JP2002183206A - 類似オブジェクト検索方法及び類似オブジェクト検索装置 - Google Patents
類似オブジェクト検索方法及び類似オブジェクト検索装置Info
- Publication number
- JP2002183206A JP2002183206A JP2000381304A JP2000381304A JP2002183206A JP 2002183206 A JP2002183206 A JP 2002183206A JP 2000381304 A JP2000381304 A JP 2000381304A JP 2000381304 A JP2000381304 A JP 2000381304A JP 2002183206 A JP2002183206 A JP 2002183206A
- Authority
- JP
- Japan
- Prior art keywords
- objects
- representative point
- neighborhood
- candidate
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
ずれかの代表点を中心とする近傍半径ε以内の近傍内デ
ータに分類する。いずれの近傍半径εにも含まれないと
きにはそのオブジェクトを代表点とする。候補オブジェ
クト抽出部4は、各代表点と参照オブジェクトの各特徴
量を比較し、代表点を類似度の高い順にソートし、その
順に足していった代表点の近傍内データの要素数の総和
が提示オブジェクト数を超えた時点の代表点を基準代表
点とする。そして、参照オブジェクトとの間の距離が、
参照オブジェクトと基準代表点との間の距離に2倍した
近傍半径を加算した値と等しいか小さくなる代表点の近
傍内データに含まれるオブジェクトを候補オブジェクト
として抽出する。検索処理部5は、候補オブジェクトの
中から参照オブジェクトに類似するオブジェクトを、類
似度の高い順に指定された提示オブジェクト数個特定す
る。
Description
タル画像データ等のオブジェクトデータの中から入力指
定されたオブジェクトと類似するオブジェクトを検索し
て提示する類似オブジェクト検索装置及びその方法、特
に正しい検索結果をより高速に得るための装置及び方法
に関する。
ベースの中から、類似検索の対象とする画像データ等の
オブジェクトデータ(以下、「参照オブジェクト」)に
類似する上位K個のオブジェクトを検索して、その処理
結果を返す類似検索方法として、例えば特開平10−2
40765号公報に記載された類似オブジェクト検索方
法がある。図9は、この従来例において類似検索処理を
示したフローチャートであるが、この図に用いて従来例
において参照オブジェクトに類似する上位K個のオブジ
ェクトを返すための処理手順について説明する。なお、
以下の説明で登場する「近傍オブジェクト」というの
は、データベースに登録されているオブジェクトのうち
参照オブジェクトに類似する所定個数のオブジェクトの
ことをいい、近傍オブジェクトのうち上位K個が処理結
果として返される。
の類似度をはかるための観点である重み及び処理結果と
して返す近傍オブジェクト数(K個)というパラメータ
が入力されると、特徴量毎に処理を分割して類似する近
傍オブジェクトを見つけている。すなわち、参照オブジ
ェクトをObR=(VR1,VR2,…,VRn)とす
ると、特徴量1について参照オブジェクトのVR1の近
傍するオブジェクトを検索して所定個数f(K)個の近
傍オブジェクトを抽出する。同様に特徴量2について参
照オブジェクトのVR2の近傍するオブジェクトを検索
してf(K)個の近傍オブジェクトを抽出する。これを
n個の各特徴量毎に行う。この結果、最大n×f(K)
個の近傍オブジェクトからなる候補オブジェクト群を生
成する。そして、候補オブジェクト群の中から各近傍オ
ブジェクトと参照オブジェクトとの類似度を計算する。
この類似度順に上位K個のオブジェクトを処理結果とし
て返却する。
るうちの各次元(要素)毎に近傍のオブジェクトを探し
出し、その上位f(K)個の中から上位K個を見つけ出
している。つまり、データベースに含まれるオブジェク
トを上位f(K)個に絞り込むことで候補オブジェクト
群を生成し、その候補オブジェクト群に含まれるオブジ
ェクト(以下、「候補オブジェクト」)に対してのみ類
似度計算を行うようにしたので類似検索処理を高速に行
うことができる。
おいては、以下の問題点がある。まず、第1に、正しい
結果が得られないという問題がある。すなわち、従来例
では、各特徴量(例えば第i特徴量)毎にオブジェクト
と参照オブジェクトを比較し、参照オブジェクトの該当
する特徴量(VRi)と近いf(K)個のオブジェクト
を探し、全特徴量に関するそれらの和集合を求めて、そ
こから上位K個のオブジェクトを探し出すとしている。
しかし、各次元毎に近いものを集めても、全体で本当に
近いデータが含まれているとは限らないという反例を容
易に示すことができる。例えば、次元数n=2、オブジ
ェクト数m=3、K=1、f(K)=1、各オブジェク
トOB1=(1,100)、OB2=(100,1)、
OB3=(1.5,1.5)、参照オブジェクトObR
=(0,0)、そして重みW=(1,1)と設定したと
する。従来例に処理によると、第1次元に関するObR
の近傍としてOb1を選ぶ。第2次元に関するObRの
近傍としてOb2を選ぶ。以上の処理により候補オブジ
ェクト群には、オブジェクトOb1,OB2が含まれる
ことになり、上位K(=1)個のオブジェクトをこの2
つの候補オブジェクトの中から選ぼうとする。ここで、
オブジェクトObxとObyの類似度を与える類似度関
数をsim(Obx,Oby)、オブジェクトObxと
Obyの第i特徴量間の距離をd(i)(Obx,Ob
y)と表すとすると、従来例の明細書に記載された例に
従うと、類似度関数は、 sim(Obx,Oby)=w1/d(1)(Obx,Oby)+w2/d(2 )(Obx,Oby) ・・・(1) という式(1)で表すことができる。この式により、参
照オブジェクトと候補オブジェクトOb1,OB2との
類似度は、 sim(ObR,Ob1)=1/1+1/100=1.
01 sim(ObR,Ob2)=1/100+1/1=1.
01 となる。しかしながら、候補オブジェクトでないオブジ
ェクトOb3の類似度は、 sim(ObR,Ob3)=1/1.5+1/1.5=
1.333… である。すなわち、参照オブジェクトに最も近いオブジ
ェクトはOb3であり、従来例が選び出す候補オブジェ
クト群{Ob1,OB2}の中には含まれていない。以
上のように、正しい結果が得られないということが容易
に証明できる。
と計算量が減らないという問題がある。従来例において
候補オブジェクト群を構成する候補オブジェクトの最大
数はn×f(K)個である。また、f(K)≧Kとも規
定されている。ここで、K=100,n=500,m=
50000という例を考えてみると、候補オブジェクト
は100×500=50000以上もあり得るという単
純計算になるが、全体のオブジェクト数50000と比
べれば全数を比較しているのと何ら変わりがない。この
具体例をもって明らかなように、従来例は、Kやnの値
が適度に小さいことを想定した技術である。
であるという問題がある。各次元毎のf(K)個の近傍
検索手段としてR−treeやk−dtreeが記載さ
れているが、その次元に区間の定義などがなければこれ
らのインデクスは適用できず、その次元において結局n
個全体の比較をしなければならない。例えば、ObRの
第i特徴量の値VRiが色だったとするとき、色に距離
(例えばRGB成分の差による計算)は定義できても順
序関係はなく、数直線で[0,1),[1,2),
[2,3)のように区間を分けておくような方法で予め
色空間の区分けをしておくことはできない。従って、第
i特徴量から求められるObRの近傍を得ようとする
と、結局全オブジェクト数m個の第i特徴量の比較を行
なわなければならない。更に、色以外にも、言葉、名前
など距離は定義できても区間は定義できない集合が存在
するため、これらに対する全数比較を避けることができ
なければ、結局m個の大きさによる計算量の多さを回避
することができない。
になされたものであり、その目的は、類似検索処理をよ
り高速に行うことができる類似オブジェクト検索装置及
びその方法を提供することにある。
するために、本発明に係る類似オブジェクト検索方法
は、類似検索の対象とするオブジェクトである参照オブ
ジェクトと、類似検索処理結果として返す提示オブジェ
クト数とが入力されると、所定の条件に従いn(nは正
整数)次元の全オブジェクトの中から参照オブジェクト
に類似した少なくとも提示オブジェクト数以上のオブジ
ェクトを候補オブジェクトとして抽出する候補オブジェ
クト生成ステップと、各候補オブジェクトと参照オブジ
ェクトとの間の類似度を算出し、類似度の高い順に取り
出した提示オブジェクト数個のオブジェクトを類似検索
処理の結果として得る検索ステップとを含む類似オブジ
ェクト検索方法において、分類対象であるオブジェクト
と近傍分類蓄積手段に代表点として既に蓄積されている
各オブジェクトとの各特徴量から求められる距離関係
上、分類対象オブジェクトがいずれかの代表点を中心と
した予め決められている近傍半径内に位置する場合に
は、当該分類対象オブジェクトをその近傍半径内の中心
となったいずれか一つの代表点の近傍内データとして前
記近傍分類蓄積手段に登録し、当該分類対象オブジェク
トがいずれの代表点を中心とした近傍半径内に位置しな
い場合には、分類対象オブジェクトを代表点としてかつ
その代表点の近傍内データとして前記近傍分類蓄積手段
に登録する近傍分類ステップを含み、前記候補オブジェ
クト生成ステップは、前記近傍分類蓄積手段に蓄積され
た各代表点と参照オブジェクトの距離関係により参照オ
ブジェクトに類似すると思われる代表点を特定し、その
特定した各代表点の近傍内データであるオブジェクトを
候補オブジェクトとして抽出するものである。
は、参照オブジェクトと前記近傍分類蓄積手段に登録さ
れた全ての代表点とを比較し、代表点を参照オブジェク
トから類似度の高い順にソートして並べるステップと、
ソートした順に各代表点の近傍内データとして登録され
ているオブジェクト数を加算していき、加算した数が提
示オブジェクト数以上になった時点で加算したオブジェ
クト数に対応する代表点を基準代表点として得るステッ
プと、参照オブジェクトとの間の距離が、参照オブジェ
クトと基準代表点との間の距離に2倍した近傍半径を加
算した値と等しいか小さくなる代表点の近傍内データに
含まれるオブジェクト候補オブジェクトとして抽出する
抽出ステップとを含むものである。
クト数が1の場合、参照オブジェクトとの間の距離が、
参照オブジェクトと基準代表点との間の距離に近傍半径
を加算した値と等しいか小さくなる代表点の近傍内デー
タに含まれるオブジェクト候補オブジェクトとして抽出
するものである。
表点を分類対象オブジェクトとして扱い前記近傍分類ス
テップを繰り返し実行することで代表点を多段階に設定
可能としたものである。
装置は、利用者が入力指定した類似検索の対象とするオ
ブジェクトである参照オブジェクト及び提示オブジェク
ト数に基づき類似検索処理を実行することによってn
(nは正整数)次元の全オブジェクトの中から、参照オ
ブジェクトに類似したオブジェクトを、類似度の高い順
に提示オブジェクト数取り出して利用者に提示する類似
オブジェクト検索装置において、全オブジェクトのうち
代表点となるオブジェクトに対応づけて、距離関係上当
該代表点を中心とする予め決められた近傍半径内に位置
するオブジェクトを近傍内データとして蓄積する近傍分
類蓄積手段と、オブジェクトと各代表点との距離関係に
応じて各オブジェクトを代表点とするか否かを決定する
と共に当該オブジェクトをいずれかの代表点の近傍内デ
ータとして含まれるよう分類し、前記近傍分類蓄積手段
に登録するオブジェクト分類処理手段と、全オブジェク
トの中から参照オブジェクトと類似している少なくとも
提示オブジェクト数以上のオブジェクトを候補オブジェ
クトとして抽出する候補オブジェクト抽出処理手段と、
前記候補オブジェクト抽出処理手段が抽出した各候補オ
ブジェクトと参照オブジェクトとの間の類似度を算出
し、類似度の高い順に取り出した提示オブジェクト数個
のオブジェクトを類似検索処理の結果として得る検索処
理手段とを有し、前記候補オブジェクト抽出処理手段
は、前記近傍分類蓄積手段に蓄積された各代表点と参照
オブジェクトの距離関係により参照オブジェクトに類似
すると思われる代表点を特定し、その特定した代表点の
近傍内データであるオブジェクトを候補オブジェクトと
して抽出するものである。
ータに含まれるオブジェクト数の偏りをなくすように近
傍半径の設定値を調整する近傍半径調整手段を有するも
のである。
好適な実施の形態について説明する。
オブジェクト検索装置の一実施の形態を示した構成図で
ある。本実施の形態における類似オブジェクト検索装置
は、入力処理部1、ε近傍生成部2、特徴量算出部3、
候補オブジェクト抽出部4、検索処理部5及び出力処理
部6を有している。入力処理部1は、利用者が入力する
オブジェクトデータ並びに類似検索処理のためのパラメ
ータとして参照オブジェクト、重み、提示オブジェクト
数を受け付ける。ε近傍生成部2は、入力されたn次元
空間に含まれるオブジェクトデータ(以下、単に「オブ
ジェクト」とも言う)をオブジェクトデータ蓄積部7に
蓄積すると共に、全オブジェクトを代表点あるいはいず
れかの代表点を中心とする近傍半径ε以内の近傍内デー
タに分類し、その分類結果をε近傍分類蓄積部8に蓄積
する。近傍半径εは、オブジェクトをグループ化するた
めに予め決められている値である。代表点については後
述する。特徴量算出部3は、オブジェクトの特徴量を計
算する。算出された特徴量は、特徴量データ蓄積部9に
蓄積される。候補オブジェクト抽出部4は、ε近傍分類
蓄積部8に蓄積された代表点と参照オブジェクトの各特
徴量を比較し、類似検索処理対象とする候補オブジェク
トを全オブジェクトの中から抽出して候補オブジェクト
一時蓄積部10に蓄積する。検索処理部5は、候補オブ
ジェクト一時蓄積部10に蓄積された候補オブジェクト
の中から参照オブジェクトに類似するオブジェクトを、
類似度の高い順に指定された提示オブジェクト数個特定
する。出力処理部6は、検索処理部5における検索処理
結果を利用者に返す。
について確認の意味で定義する。「参照オブジェクト」
は、類似検索の対象とする画像データ等のオブジェクト
データである。「提示オブジェクト数」は、利用者が検
索処理の結果として得たい参照オブジェクトに類似する
オブジェクトの数である。「候補オブジェクト」は、オ
ブジェクトデータ蓄積部7に蓄積された全オブジェクト
の中から提示オブジェクトを検索するために、候補オブ
ジェクト抽出部4によりある程度絞り込まれたオブジェ
クトのことである。
オブジェクトの中から参照オブジェクトに類似するオブ
ジェクトを所定の条件に従いある程度絞り込んで、その
絞り込んだオブジェクトに対して類似検索処理を実行す
る。このように、検索処理の対象とするオブジェクト数
を事前に減らすことで多大な処理時間を要する類似検索
処理の総実行時間を削減し、この結果、検索処理の高速
化を図っている。
オブジェクトの中から参照オブジェクトに類似するオブ
ジェクトを絞り込む際、代表点及び近傍半径εに基づく
ε近傍という概念を提示し、このε近傍を用いて提示オ
ブジェクトとはなり得ないオブジェクトを事前に排除す
るようにしたことである。換言すると、提示オブジェク
トとなりうるオブジェクトを確実に候補オブジェクトと
して選ばれるようにしたことである。このように、決し
て提示オブジェクトとして選出されることのないオブジ
ェクトを検索処理の対象外としたことで無用な検索処理
を実行させないようにすることができる。また、検索処
理対象外とする際にε近傍という概念を導入してグルー
プ化したことにより検索処理の高速化を図ることができ
る。
説明する。まず、最初に本実施の形態において類似検索
処理を実行する前に、ε近傍生成部2により全オブジェ
クトをε近傍という概念に基づき分類する必要があるの
で、このε近傍生成部2によるオブジェクト分類処理に
ついて図2に示したフローチャートを用いて説明する。
この分類処理の結果、得られるε近傍分類蓄積部8のデ
ータ構成例を図3に示す。なお、図4は、入力されたオ
ブジェクトと代表点と近傍半径εとの関係を示した概念
図であるが、図4では便宜的に2次元のオブジェクトを
例にして図示している。
されると(ステップ101)、ε近傍生成部2は、その
オブジェクトをオブジェクトデータ蓄積部7に蓄積する
と共に、特徴量算出部3により算出された当該オブジェ
クトの特徴量を特徴量データ蓄積部9に蓄積する。そし
て、入力されたオブジェクトとε近傍分類蓄積部8に登
録されているいずれかの代表点との間の距離が近傍半径
εより大きいかどうかを判断する(ステップ102)。
すなわち、入力されたオブジェクトと各代表点との各特
徴量から求められる距離関係上、当該オブジェクトがい
ずれかの代表点を中心とした近傍半径内に位置するか否
かを判断する。2つのオブジェクトObx,Obyの間
の距離を求める関数をdist(Obx,Oby)と表
すとすると、この処理は、入力されたオブジェクトをO
bx、代表点とされたオブジェクトをObyとしたと
き、dist(Obx,Oby)と近傍半径εとの大小
関係により判断することができる。dist(Obx,
Oby)が近傍半径εと等しいかあるいは小さいとき
(図4(a))、当該オブジェクトObxは、その代表
点であるオブジェクトObyのε近傍内データとしてε
近傍分類蓄積部8に登録される(ステップ103,10
4)。このように、本実施の形態においては、代表点を
中心とする近傍半径εにより形成される空間を当該代表
点の「ε近傍」と称している。
との距離が近傍半径εより大きいときは(図4
(b))、そのオブジェクトObxは、いずれの代表点
のε近傍内データとはならず、新たな代表点としてε近
傍分類蓄積部8に登録されると共に自代表点のε近傍内
データとしてε近傍分類蓄積部8に登録される(ステッ
プ105)。このように、処理対象のオブジェクトは、
いずれの代表点のε近傍内データにも含まれない場合、
すなわち、いずれの代表点とも距離が近傍半径εより離
れている場合に代表点となる。
て、最初に処理されるオブジェクトOb1は、まだいず
れのオブジェクトも代表点となっていないので必ず代表
点となる。次に処理されるオブジェクトOb2は、di
st(Ob1,Ob2)>εであれば代表点となり、d
ist(Ob1,Ob2)≦εであれば、オブジェクト
Ob1のε近傍内データとなる。この次に処理されるオ
ブジェクトOb3は、オブジェクトOb2が代表点でな
い場合、dist(Ob1,Ob3)>εであれば代表
点となり、dist(Ob1,Ob3)≦εであれば、
オブジェクトOb1のε近傍内データとなる。一方、オ
ブジェクトOb2が代表点の場合、オブジェクトOb3
は、オブジェクトOb1、Ob2とも近傍半径εより離
れていれば代表点となり、いずれかの代表点の近傍半径
ε内であれば、該当する代表点のε近傍内データとな
る。ここで、複数(この例の場合はオブジェクトOb
1、Ob2)の代表点の近傍半径ε以内であれば(図4
(c))、いずれか一方の代表点のε近傍内データとし
て登録する。どの代表点のε近傍内データに含ませるか
ということに関する制限は、いずれかただ1つの代表点
のε近傍内データとして登録されればよい。このよう
に、各オブジェクトは、いずれかの代表点のε近傍に含
まれることによってグループ化される。
施の形態では、処理を単純にするためにε近傍分類蓄積
部8に登録された代表点の並び順に判断を行うことを想
定しているが、距離が最も短くなる代表点を選択するな
どの条件を設定するようにしてもよい。
オブジェクトデータ蓄積部7に蓄積する際に併せてε近
傍内データ群に分類するようにした。これにより、オブ
ジェクトデータ蓄積部7に登録するオブジェクトが新た
に発生したときでもε近傍分類蓄積部8を再構築する必
要はなく、上記と同様の処理を新たに発生したオブジェ
クトに対して施し、そのオブジェクトをε近傍分類蓄積
部8に代表点として、あるいはいずれかの代表点のε近
傍内データとしてε近傍分類蓄積部8に追加していけば
よいことが理解できる。このように、本実施の形態は、
近傍半径εの値を変えない限りε近傍分類蓄積部8を再
構築する必要がないので保守性に優れている。
について図5に示したフローチャートを用いて説明す
る。
照オブジェクトObRと、オブジェクト間の類似度をは
かるための観点である重みW(=w1,w2,…,w
n)と、処理結果として返す提示オブジェクト数Kとい
うパラメータが利用者により入力されると(ステップ1
11)、特徴量算出部3は、参照オブジェクトの特徴量
VR1,VR2,…,VRnを計算する(ステップ11
2)。候補オブジェクト抽出部4は、参照オブジェクト
とε近傍分類蓄積部8に登録された全ての代表点とを比
較し、代表点を参照オブジェクトから類似度の高い順に
ソートして並べる(ステップ113)。類似度は、前述
した類似度関数(式(1))により算出することができ
る。
は、類似度の高い代表点のε近傍内データに含まれる要
素数を足していき、提示オブジェクト数K以上になった
時点で加算した要素数に対応する代表点を得る(ステッ
プ114)。つまり、各代表点の要素数をmx(x=
1,2,…,n、nは代表点数)とすると、 m1+m2+…+mi≧K ・・・(2) となった時点の要素数miの代表点Obiを得る。この
候補オブジェクトヲ抽出する基準となる代表点を特に基
準代表点と呼ぶことにする。図3に示したデータ内容例
をソート後の結果とみなすと、K=4のときのObi
は、Ob2である。そして、 dist(ObR,Obk)≦dist(ObR,Obi)+2ε ・・(3 ) となる代表点Obkを特定し(ステップ115)、各代
表点Obkのε近傍内データに含まれるオブジェクトを
ε近傍分類蓄積部8に基づきオブジェクトデータ蓄積部
7から候補オブジェクトとして抽出し、候補オブジェク
ト一時蓄積部10に蓄積する(ステップ116)。この
式(3)により絞り込まれた候補オブジェクトを類似検
索範囲とすれば、オブジェクトデータ蓄積部7に蓄積さ
れたオブジェクトの中で参照オブジェクトに近い順から
K個のオブジェクトを確実かつ高速に得ることができ
る。参照オブジェクトに近い(距離が短い)ほど類似度
が高くなるからである。以下、この式(3)が成立する
理由について詳述する。
り、参照オブジェクトに最も近いオブジェクトを一つだ
け抽出する場合について図6を用いて説明する。図6
(a)に示したように、参照オブジェクトObRから最
も近い代表点は、必ず基準代表点Obiとなる。基準代
表点Obiの要素数は1以上だからである。この基準代
表点Obiを中心とした近傍半径εの円に重なるよう
に、近傍半径εの円を持つ代表点Obkが存在するとす
る。つまり、各代表点のε近傍が部分的に交わっている
状態である。参照オブジェクトObRから各代表点Ob
i,Obkまでの距離は、それぞれdist(ObR,
Obi),dist(ObR,Obk)と表すことがで
きる。オブジェクトObi1は、参照オブジェクトOb
Rに最も近い代表点Obiのε近傍内データであっても
オブジェクトObk1との関係から明らかなように、他
の代表点Obkのε近傍内データであるオブジェクトO
bk1より参照オブジェクトObRに遠い、つまり、類
似していない場合がある。しかし、代表点Obkのε近
傍内データは、いずれも代表点であるオブジェクトOb
iより参照オブジェクトObRに近くなることはない。
すなわち、基準代表点Obiのε近傍と重なっていても dist(ObR,Obk)>dist(ObR,Ob
i)+ε となる代表点Obkのε近傍内データは、いずれも決し
て参照オブジェクトObRに最も近いオブジェクトには
なり得ない。
ェクトObk1は、基準代表点Obiより遠い代表点O
bkのε近傍内データであっても基準代表点Obiより
参照オブジェクトObRに近い場合がある。つまり、基
準代表点Obiのε近傍内データのみならず、 dist(ObR,Obk)≦dist(ObR,Ob
i)+ε となる代表点Obkのε近傍内データも参照オブジェク
トPbRに最も近くなる可能性があるので、検索処理部
5による類似検索処理の対象としなければならない。な
お、言うまでもないが、 dist(ObR,Obi)≦dist(ObR,Ob
k) という関係があることは前提条件である。
1のときには、 dist(ObR,Obk)≦dist(ObR,Obi)+ε ・・・(4 ) を満たす代表点Obkのε近傍内データに対しても検索
処理の対象とする必要がある。なお、式(4)を満たす
代表点は、必ず式(3)も満たすので、K=1のときも
式(3)を用いることができる。この場合、抽出される
候補オブジェクト数が増えることになる。
整数、つまり、類似度の高い順に複数のオブジェクトを
返す必要がある場合について図7を用いて説明する。類
似度の高い代表点Ob1,Ob2のε近傍に含まれる要
素数m1,m2を加算していき、提示オブジェクト数K
以上になったとき、すなわち、式(2)を満たした時点
の基準代表点Obiは既知である。図7(a)に示した
ように、基準代表点Obiのε近傍に重なるε近傍を持
つ代表点Obkが存在したとする。代表点Obiの要素
数miを加算したことで提示オブジェクト数Kを超えた
としてもオブジェクトObi1とオブジェクトObk1
との関係から明らかなように、代表点Obkのε近傍の
オブジェクトの方が参照オブジェクトに近い場合があ
る。つまり、代表点Obiの要素数miを加算したこと
によって提示オブジェクト数Kを超えたとしても代表点
Obiのε近傍内にあるオブジェクトObji1ではな
く代表点Obkのε近傍内データObk1が本来選ばれ
る可能性がある。従って、代表点Objのように基準代
表点Obiのε近傍に交わるε近傍を持つ代表点は、候
補オブジェクトとして残しておかなければ正しい結果が
得ることはできなくなる。従って、図7(b)に示した
ように、 dist(ObR,Obk)>dist(ObR,Ob
i)+2ε となったとき、すなわち、代表点Obkのε近傍が基準
代表点Obiのε近傍に重ならないような位置関係にあ
るときには、代表点Obkのε近傍内データはいずれも
基準代表点Obiのいずれのε近傍内データより参照オ
ブジェクトObRより遠くなるので、代表点Obkのε
近傍内データは選ばれることはない。
クトObRから遠い代表点Obkであっても、 dist(ObR,Obk)≦dist(ObR,Ob
i)+2ε を満たす代表点Obkであれば、図7(c)に示したオ
ブジェクトObi1とオブジェクトObk1との関係の
ように、基準代表点Obiのε近傍との交わりに関係な
く代表点Obkのε近傍内データは、候補オブジェクト
として残しておく必要がある。
複数個の場合には、 dist(ObR,Obk)≦dist(ObR,Ob
i)+2ε を満たす代表点Obkのε近傍内データに対しても検索
処理の対象とする必要がある。
る代表点Obkのε近傍内データに含まれるオブジェク
トを候補オブジェクトとして抽出する必要がある。換言
すると、式(3)を満たさない代表点に含まれるオブジ
ェクトは、決して提示オブジェクトとして選ばれること
はない。本実施の形態では、ε近傍という概念を導入し
たことで提示オブジェクトとして選出されうる候補オブ
ジェクトを確実に抽出することができる。また、候補オ
ブジェクトを絞り込む際、参照オブジェクトと比較する
のは代表点のみでよいので、この候補オブジェクトを絞
り込む処理も高速に行うことができる。
ト一時蓄積部10に蓄積された各候補オブジェクトと参
照オブジェクトの類似度を前述した類似度関数(式
(1))により算出する(ステップ117)。なお、代
表点となったオブジェクトに関しては、類似度を既に算
出しているので、再度計算せずに計算結果を保持するよ
うにしてもよい。そして、類似度の高い上位K個のオブ
ジェクトを処理結果として返す(ステップ118)。出
力処理部6は、検索処理部5における検索処理結果、す
なわち上記K個のオブジェクトを利用者に提示する(ス
テップ119)。
入力指定された参照オブジェクトに類似する提示オブジ
ェクト数個のオブジェクトを利用者に提示することがで
きるが、本実施の形態における処理結果は、全オブジェ
クトと参照オブジェクトとを個々に比較し、類似度の高
い上位K個を取り出す処理と全く同じ処理結果を得るこ
とができる。つまり、正確な検索結果を得ることができ
る。更に、全オブジェクトとの比較を行う必要がないの
で計算量を減らすことができ、このため、処理結果を高
速かつ効率的に得ることができる。
布によって構成されるε近傍の数とε近傍の中に含まれ
る要素の数により決まるため、提示オブジェクト数Kや
次元数nが大きいことには影響されない。
関係以外を要求していないので、色、言葉などの距離は
定義できても順序関係のないオブジェクトに対する類似
検索にも適用することができる。つまり、本実施の形態
を汎用的に用いることができる。
傍半径εは予め決められている値であるというだけで、
その値については言及していないが、設定値次第では検
索装置としての性能上効果的でなくなる場合がある。
ジェクトとε近傍分類蓄積部8に登録されているいずれ
かの代表点との間の距離が近傍半径εより大きいかどう
かを判断するステップ102において、ε近傍分類蓄積
部8に登録された代表点の並び順に判断を行うとする。
もし、近傍半径εが極めて大きく設定されていれば、オ
ブジェクトの多くが代表点Ob1のグループに含まれて
しまうことになる可能性が高くなる。一方、近傍半径ε
が極めて小さく設定されていれば、より多くのオブジェ
クトが代表点として設定されてしまい、結果的に全オブ
ジェクトと参照オブジェクトとの比較を行う場合と大差
がなくなってしまう可能性がある。
表点の数並びにε近傍のカバリングの適正化、すなわ
ち、各代表点のε近傍内データに含まれるオブジェクト
数が極力偏らないように近傍半径εの調整機能を有する
手段を設けたことを特徴としている。つまり、ε近傍生
成部2及び候補オブジェクト抽出部4は、図示しない近
傍半径調整手段が設定した近傍半径εに基づき各処理を
実行することになる。
タの要素数が所定のしきい値に達したときには、設定さ
れている近傍半径εが大きいと判断して小さい近傍半径
εに設定変更する。もちろん、オブジェクト数が膨大で
あれば、要素数が全体的に増えてくるので、しきい値は
全オブジェクト数に対する割合で設定するのが望まし
い。例えば、全オブジェクト数の半分をしきい値とし、
このしきい値に達する代表点のグループが存在したら近
傍半径εを半分にするなどの規則を設けておく。また、
このような規則を設けておけば、近傍半径εを自動的に
調整することも可能になる。この調整の結果、オブジェ
クトが各代表点にほぼ均等に配分されることが最適な状
態である。
数の割合が大きければ、設定されている近傍半径εが小
さいと判断して大きい近傍半径εに設定変更する。例え
ば、全オブジェクト数の0.001%をしきい値とし、
いずれかの代表点のε近傍内データの要素数がこのしき
い値を下回ったら近傍半径εを1.5倍にするなどの規
則を設けておく。
することで、全オブジェクト数に対する代表点の割合、
各代表点のε近傍内データに含まれるオブジェクトの数
の割合が適切な割合になり、これにより、類似検索処理
の効率の低下を防止することができる。
るオブジェクト数の偏りを減少させるために、オブジェ
クト分類処理において分類処理対象のオブジェクトが複
数の代表点のε近傍に位置した場合には、要素数の最も
少ない代表点のε近傍内データに割り振るようにしても
よい。
い、代表点の数も非常に多くなると、オブジェクト分類
処理において分類対象のオブジェクトと各代表点との間
の距離計算、近傍半径εとの比較、ソーティングに要す
る処理時間も膨大になってくる。
削減を図るために代表点を多段階に求めることで分類対
象のオブジェクトと距離計算をする代表点の数を削減で
きるようにしたことを特徴とする。
ジェクトの代表点のみを設定していたが、本実施の形態
では、設定した代表点の代表点を更に設定することで代
表点を多段階にし、最上段の代表点とのみ分類対象のオ
ブジェクトとの間の距離計算を行うようにした。つま
り、最上段以外の代表点は、実施の形態1でいうε近傍
内データとしても扱われる。
には、これに併せて近傍半径εも複数要する必要があ
る。代表点の段階数と設定する近傍半径εの数は同じで
あり、当然ながら代表点の段階数が上がるに連れ分類対
象オブジェクト(代表点が2段目以上の場合は代表点)
を代表点とするか否かの判断基準となる近傍半径εの設
定値は大きくなる。本実施の形態においては、図2に示
したオブジェクト分類処理を代表点の段階数分繰り返し
行えばよく、2回目以降は、前述したように分類対象の
オブジェクトは、代表点である。具体的には、n回目の
オブジェクト分類処理において設定される代表点は、n
段目の代表点であり、分類対象のオブジェクトは、n−
1段目の代表点である。図8は、本実施の形態において
更に生成される代表点とε近傍内データとの関係を示し
たテーブルを示した図であり、図3に示した1段目の代
表点と代表点ではないオブジェクトを含むε近傍内デー
タとの関係テーブルと共にε近傍分類蓄積部8に登録さ
れる。図8には、2段階目の代表点によるテーブルの例
が示されている。図8におけるε近傍内データは1段目
の代表点であり、要素数は1段目の各代表点のε近傍内
データに含まれるオブジェクト数の総和により求められ
る。
理を簡単に説明すると、最初に実施の形態1と同様にし
て図3に示したテーブルを生成する。その後、生成した
代表点を分類対象オブジェクトとしてオブジェクト分類
処理を実行し、2段目の代表点のテーブルを生成する。
これを繰り返すことで代表点を多段階とすることができ
る。
テップ115において式(3)を満たす代表点Obkを
得る。ここで、式(3)を満たさない代表点を検索処理
の対象外とする。次に、その代表点Obkに含まれる代
表点を対象に再度ステップ115を実行して代表点Ob
kを得る。ここで、式(3)を満たさない代表点を検索
処理の対象外とする。この処理を代表点でないオブジェ
クトを含む1段目のレベルまで繰り返し行うことで代表
点をふるい落とし、ステップ116において候補オブジ
ェクトを抽出する。以降の処理は実施の形態1と同じで
ある。
設定することにより代表点が増加したことに伴う類似検
索処理の効率低下を防止することができる。
ら参照オブジェクトに類似するオブジェクトを絞り込む
際、全オブジェクトを、代表点を中心とした近傍半径内
に位置するオブジェクトでグループ化し、参照オブジェ
クトと代表点との距離関係に基づき候補オブジェクトを
得るようにしたので、各オブジェクトを個々に参照オブ
ジェクトと比較する必要がないので、計算量を減らすこ
とができ、この結果、高速な類似検索処理を実現するこ
とができる。また、参照オブジェクトとの距離の関係
上、提示オブジェクトとして選ばれる可能性のあるオブ
ジェクトを近傍内データとして持つ代表点があれば、そ
の代表点の近傍内データとして含まれるオブジェクトを
候補オブジェクトとして確実に抽出されるようにしたの
で、正確な類似検索結果を提示することができる。一
方、提示オブジェクトとして選ばれる可能性のないオブ
ジェクトを事前に排除するようにしたことにより、類似
検索処理に要する処理時間を短縮することができる。
り、近傍半径を適切に調整することができるので、生成
される代表点を適正な数となるように調整することがで
きる。また、各代表点の近傍内データに含まれるオブジ
ェクト数の偏りを抑止することができるので、類似検索
処理の効率の低下を防止することができる。
り代表点の増加に伴う類似検索処理の効率低下を防止す
ることができる。
実施の形態を示した構成図である。
を示したフローチャートである。
ータ構成例を示した図である。
トと代表点と近傍半径との関係を示した概念図である。
フローチャートである。
候補オブジェクトを抽出する代表点を特定する式を説明
するために用いる図である。
候補オブジェクトを抽出する代表点を特定する式を説明
するために用いる図である。
ータ構成例を示した図である。
である。
部、4 候補オブジェクト抽出部、5 検索処理部、6
出力処理部、7 オブジェクトデータ蓄積部、8 ε
近傍分類蓄積部、9 特徴量データ蓄積部、10 候補
オブジェクト一時蓄積部。
Claims (6)
- 【請求項1】 類似検索の対象とするオブジェクトであ
る参照オブジェクトと、類似検索処理結果として返す提
示オブジェクト数とが入力されると、所定の条件に従い
n(nは正整数)次元の全オブジェクトの中から参照オ
ブジェクトに類似した少なくとも提示オブジェクト数以
上のオブジェクトを候補オブジェクトとして抽出する候
補オブジェクト生成ステップと、 各候補オブジェクトと参照オブジェクトとの間の類似度
を算出し、類似度の高い順に取り出した提示オブジェク
ト数個のオブジェクトを類似検索処理の結果として得る
検索ステップと、 を含む類似オブジェクト検索方法において、 分類対象であるオブジェクトと近傍分類蓄積手段に代表
点として既に蓄積されている各オブジェクトとの各特徴
量から求められる距離関係上、分類対象オブジェクトが
いずれかの代表点を中心とした予め決められている近傍
半径内に位置する場合には、当該分類対象オブジェクト
をその近傍半径内の中心となったいずれか一つの代表点
の近傍内データとして前記近傍分類蓄積手段に登録し、
当該分類対象オブジェクトがいずれの代表点を中心とし
た近傍半径内に位置しない場合には、分類対象オブジェ
クトを代表点としてかつその代表点の近傍内データとし
て前記近傍分類蓄積手段に登録する近傍分類ステップを
含み、 前記候補オブジェクト生成ステップは、前記近傍分類蓄
積手段に蓄積された各代表点と参照オブジェクトの距離
関係により参照オブジェクトに類似すると思われる代表
点を特定し、その特定した各代表点の近傍内データであ
るオブジェクトを候補オブジェクトとして抽出すること
を特徴とする類似オブジェクト検索方法。 - 【請求項2】 前記候補ブジェクト生成ステップは、 参照オブジェクトと前記近傍分類蓄積手段に登録された
全ての代表点とを比較し、代表点を参照オブジェクトか
ら類似度の高い順にソートして並べるステップと、 ソートした順に各代表点の近傍内データとして登録され
ているオブジェクト数を加算していき、加算した数が提
示オブジェクト数以上になった時点で加算したオブジェ
クト数に対応する代表点を基準代表点として得るステッ
プと、 参照オブジェクトとの間の距離が、参照オブジェクトと
基準代表点との間の距離に2倍した近傍半径を加算した
値と等しいか小さくなる代表点の近傍内データに含まれ
るオブジェクト候補オブジェクトとして抽出する抽出ス
テップと、 を含むことを特徴とする請求項1記載の類似オブジェク
ト検索方法。 - 【請求項3】 前記抽出ステップは、提示オブジェクト
数が1の場合、参照オブジェクトとの間の距離が、参照
オブジェクトと基準代表点との間の距離に近傍半径を加
算した値と等しいか小さくなる代表点の近傍内データに
含まれるオブジェクト候補オブジェクトとして抽出する
ことを特徴とする請求項2記載の類似オブジェクト検索
方法。 - 【請求項4】 前記近傍分類蓄積手段に登録した代表点
を分類対象オブジェクトとして扱い前記近傍分類ステッ
プを繰り返し実行することで代表点を多段階に設定可能
としたことを特徴とする請求項1記載の類似オブジェク
ト検索方法。 - 【請求項5】 利用者が入力指定した類似検索の対象と
するオブジェクトである参照オブジェクト及び提示オブ
ジェクト数に基づき類似検索処理を実行することによっ
てn(nは正整数)次元の全オブジェクトの中から、参
照オブジェクトに類似したオブジェクトを、類似度の高
い順に提示オブジェクト数取り出して利用者に提示する
類似オブジェクト検索装置において、 全オブジェクトのうち代表点となるオブジェクトに対応
づけて、距離関係上当該代表点を中心とする予め決めら
れた近傍半径内に位置するオブジェクトを近傍内データ
として蓄積する近傍分類蓄積手段と、 オブジェクトと各代表点との距離関係に応じて各オブジ
ェクトを代表点とするか否かを決定すると共に当該オブ
ジェクトをいずれかの代表点の近傍内データとして含ま
れるよう分類し、前記近傍分類蓄積手段に登録するオブ
ジェクト分類処理手段と、 全オブジェクトの中から参照オブジェクトと類似してい
る少なくとも提示オブジェクト数以上のオブジェクトを
候補オブジェクトとして抽出する候補オブジェクト抽出
処理手段と、 前記候補オブジェクト抽出処理手段が抽出した各候補オ
ブジェクトと参照オブジェクトとの間の類似度を算出
し、類似度の高い順に取り出した提示オブジェクト数個
のオブジェクトを類似検索処理の結果として得る検索処
理手段と、 を有し、 前記候補オブジェクト抽出処理手段は、前記近傍分類蓄
積手段に蓄積された各代表点と参照オブジェクトの距離
関係により参照オブジェクトに類似すると思われる代表
点を特定し、その特定した代表点の近傍内データである
オブジェクトを候補オブジェクトとして抽出することを
特徴とする類似オブジェクト検索装置。 - 【請求項6】 代表点の数及び各代表点の近傍内データ
に含まれるオブジェクト数の偏りをなくすように近傍半
径の設定値を調整する近傍半径調整手段を有することを
特徴とする請求項5記載の類似オブジェクト検索装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000381304A JP4215386B2 (ja) | 2000-12-15 | 2000-12-15 | 類似オブジェクト検索方法及び類似オブジェクト検索装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000381304A JP4215386B2 (ja) | 2000-12-15 | 2000-12-15 | 類似オブジェクト検索方法及び類似オブジェクト検索装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002183206A true JP2002183206A (ja) | 2002-06-28 |
JP4215386B2 JP4215386B2 (ja) | 2009-01-28 |
Family
ID=18849325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000381304A Expired - Fee Related JP4215386B2 (ja) | 2000-12-15 | 2000-12-15 | 類似オブジェクト検索方法及び類似オブジェクト検索装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4215386B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006190191A (ja) * | 2005-01-07 | 2006-07-20 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2010211413A (ja) * | 2009-03-09 | 2010-09-24 | Fujifilm Corp | 症例画像登録装置、方法およびプログラムならびに症例画像検索装置、方法、プログラムおよびシステム |
US7991234B2 (en) | 2003-12-12 | 2011-08-02 | Panasonic Corporation | Apparatus and method for image-classifying, and recording medium storing computer-readable program for the same |
JP2011150725A (ja) * | 2003-06-26 | 2011-08-04 | Microsoft Corp | コンピュータオブジェクトに対するアクセス制御用ユーザインタフェース |
WO2012137422A1 (ja) * | 2011-04-05 | 2012-10-11 | 日本電気株式会社 | 情報処理装置 |
JP2012234446A (ja) * | 2011-05-06 | 2012-11-29 | Fujitsu Ltd | 情報処理装置、情報処理システムおよび検索方法 |
JP2013164811A (ja) * | 2012-02-13 | 2013-08-22 | Nippon Telegr & Teleph Corp <Ntt> | データ検索装置、データ検索方法、及びデータ検索プログラム |
JP2013196665A (ja) * | 2012-03-23 | 2013-09-30 | Nippon Telegr & Teleph Corp <Ntt> | データ検索装置、データ検索方法、及びデータ検索プログラム |
WO2015048232A1 (en) * | 2013-09-26 | 2015-04-02 | Tokitae Llc | Systems, devices, and methods for classification and sensor identification using enhanced sparsity |
CN115829143A (zh) * | 2022-12-15 | 2023-03-21 | 广东慧航天唯科技有限公司 | 一种基于时空数据清洗技术的水环境治理预测系统及其方法 |
WO2023065697A1 (zh) * | 2021-10-21 | 2023-04-27 | 深圳云天励飞技术股份有限公司 | 一种乘积量化搜索方法、装置、终端和存储介质 |
-
2000
- 2000-12-15 JP JP2000381304A patent/JP4215386B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150725A (ja) * | 2003-06-26 | 2011-08-04 | Microsoft Corp | コンピュータオブジェクトに対するアクセス制御用ユーザインタフェース |
US7991234B2 (en) | 2003-12-12 | 2011-08-02 | Panasonic Corporation | Apparatus and method for image-classifying, and recording medium storing computer-readable program for the same |
JP2006190191A (ja) * | 2005-01-07 | 2006-07-20 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP4556120B2 (ja) * | 2005-01-07 | 2010-10-06 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US7895201B2 (en) | 2005-01-07 | 2011-02-22 | Sony Corporation | Information processing apparatus, methods, and program for searching sets for an element |
JP2010211413A (ja) * | 2009-03-09 | 2010-09-24 | Fujifilm Corp | 症例画像登録装置、方法およびプログラムならびに症例画像検索装置、方法、プログラムおよびシステム |
WO2012137422A1 (ja) * | 2011-04-05 | 2012-10-11 | 日本電気株式会社 | 情報処理装置 |
US9292555B2 (en) | 2011-04-05 | 2016-03-22 | Nec Corporation | Information processing device |
JP5929902B2 (ja) * | 2011-04-05 | 2016-06-08 | 日本電気株式会社 | 情報処理装置 |
JP2012234446A (ja) * | 2011-05-06 | 2012-11-29 | Fujitsu Ltd | 情報処理装置、情報処理システムおよび検索方法 |
JP2013164811A (ja) * | 2012-02-13 | 2013-08-22 | Nippon Telegr & Teleph Corp <Ntt> | データ検索装置、データ検索方法、及びデータ検索プログラム |
JP2013196665A (ja) * | 2012-03-23 | 2013-09-30 | Nippon Telegr & Teleph Corp <Ntt> | データ検索装置、データ検索方法、及びデータ検索プログラム |
WO2015048232A1 (en) * | 2013-09-26 | 2015-04-02 | Tokitae Llc | Systems, devices, and methods for classification and sensor identification using enhanced sparsity |
WO2023065697A1 (zh) * | 2021-10-21 | 2023-04-27 | 深圳云天励飞技术股份有限公司 | 一种乘积量化搜索方法、装置、终端和存储介质 |
CN115829143A (zh) * | 2022-12-15 | 2023-03-21 | 广东慧航天唯科技有限公司 | 一种基于时空数据清洗技术的水环境治理预测系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4215386B2 (ja) | 2009-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108241745B (zh) | 样本集的处理方法及装置、样本的查询方法及装置 | |
AU592704B2 (en) | Parallel associative memory | |
US9147252B2 (en) | Method for partitioning a pattern into optimized sub-patterns | |
US20040179720A1 (en) | Image indexing search system and method | |
US7895201B2 (en) | Information processing apparatus, methods, and program for searching sets for an element | |
JP5193518B2 (ja) | パターン探索装置及びその方法 | |
EP1191459A1 (en) | Data clustering methods and applications | |
CN111476317B (zh) | 一种基于强化学习技术的植保图像非密集害虫检测方法 | |
JP2002183206A (ja) | 類似オブジェクト検索方法及び類似オブジェクト検索装置 | |
Tan et al. | Elastic bands across the path: A new framework and method to lower bound DTW | |
Gordon | 359. Note: Classification in the presence of constraints | |
CN104036261B (zh) | 人脸识别方法和系统 | |
JP2925434B2 (ja) | 入力分類方法、トレーニング方法、及び装置 | |
JP3683758B2 (ja) | 類似画像検索システム,類似画像検索方法および類似画像検索プログラムを記録した記録媒体 | |
US20030177116A1 (en) | System and method for document retrieval | |
KR20010026397A (ko) | 영상의 유사도 비교방법 및 그를 이용한 영상 검색 방법 및 장치 | |
JP3903613B2 (ja) | 検索装置及び検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN116189776A (zh) | 一种基于深度学习的抗体结构生成方法 | |
Wakayama et al. | Distributed forests for MapReduce-based machine learning | |
Alb | Collapsing the Decision Tree: the Concurrent Data Predictor | |
JP7037048B2 (ja) | 探索プログラムおよび探索方法 | |
CN114495269A (zh) | 一种行人重识别方法 | |
Emam et al. | Detection of mammalian coding sequences using a hybrid approach of chaos game representation and machine learning | |
Moshkelgosha et al. | Coarse-to-fine parameter tuning for content-based object categorization | |
JP2735866B2 (ja) | データベースのデータ検索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060117 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081104 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |