JP2001273302A - 画像検索システムおよび画像検索方法 - Google Patents
画像検索システムおよび画像検索方法Info
- Publication number
- JP2001273302A JP2001273302A JP2000082581A JP2000082581A JP2001273302A JP 2001273302 A JP2001273302 A JP 2001273302A JP 2000082581 A JP2000082581 A JP 2000082581A JP 2000082581 A JP2000082581 A JP 2000082581A JP 2001273302 A JP2001273302 A JP 2001273302A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- similar
- displaying
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
て表示する場合の閲覧性の向上を図る。 【解決手段】類似画像検索部105によって画像特徴デ
ータベース104から検索された複数の画像それぞれの
画像特徴に基づき、それら画像のクラスタ分けがクラス
タ生成部106により行われる。画像表示部107は、
検索された複数の画像を、クラスタ分けの結果を用いて
クラスタ毎に分類して表示する。よって、検索された画
像の内、同一クラスタに属する画像同士、つまり互いに
類似度の高い類似画像同士をまとめて表示することが可
能となり、検索された画像間の類似性を考慮した表示を
行うことができる。
Description
された画像を検索キーに従って検索して表示する画像検
索システムおよび画像検索方法に関し、特に検索された
画像の閲覧性が向上するように改善された画像検索シス
テムおよび画像検索方法に関する。
の発達、およびディジタル画像の普及等に伴い、データ
ベースに格納されたディジタル画像を検索および表示す
るための画像検索システムの開発が進められている。画
像検索システムは、入力されたキー画像に類似する画像
をデータベースから検索してユーザに提示する。この場
合、検索された画像は、キー画像との類似度が高い画像
から順に一覧表示されるのが通常である。
目的とする画像を段階的に絞り込むという絞り込み検索
技術を利用した画像検索システムも知られている(特開
平10−162020号公報)。
目的は、主にキー画像と同一若しくは非常に類似度の高
い画像をデータベースから探すというものであるが、最
近では、キー画像との類似度がそれほど高くない画像を
も検索対象に含めることにより、できるだけ多数の類似
画像をデータベースから抽出してそれらをキー画像と比
較・照合するといった用途にも利用され始めている。
の商品のデザインと類似する商品がすでに販売されてい
るかどうかを調査したり、あるいは商品等に新たに使用
しようとするキャラクタやマークと類似するものがすで
に存在する否かを調査する場合などである。このような
調査用途においては、同一画像の検索自体が目的ではな
いため、部分的に類似する絵柄を持つ画像等を探すこと
も要求される。
くない画像についてもそれを表示してキー画像との類似
性の度合いや部分的な類似箇所などを判断することが必
要となり、多数の類似画像候補の提示が要求されること
になる。
は、キー画像との類似度が高い順に類似画像候補を順に
表示するという従来の方法では、十分な閲覧性能を期待
することはできない。キー画像との類似度が非常に高い
画像については優先表示されるものの、ある特定の一部
分についてのみ類似するような部分類似画像について
は、類似度がそれほど高くない画像と判定されてしまう
ためである。この場合、このような部分類似画像につい
ては、隣り合って表示される画像間の類似性も低いため
キー画像との類似箇所が互いに異なる画像同士が並んで
表示されてしまい、かえってキー画像との比較がしにく
くなる。
であり、キー画像との類似性のみならず、検索された画
像同士の類似性をも考慮して検索結果を提示できるよう
にし、より多くの類似画像候補の提示が要求される調査
用途等の画像検索に最適な画像検索システムおよび画像
検索方法を提供することを目的とする。
め、本発明は、データベースに格納された画像を検索キ
ーに基づいて検索して表示する画像検索システムであっ
て、検索キーに従って複数の画像が検索された場合、そ
れぞれの画像から抽出される画像特徴に基づいて、類似
画像同士が同一クラスタに含まれるように、前記検索さ
れた複数の画像をクラスタ分けするクラスタ分類手段
と、前記クラスタ分類手段によるクラスタ分けの結果に
基づいて、前記検索された複数の画像をクラスタ毎に分
類して表示する表示手段とを具備することを特徴とす
る。
れた複数の画像それぞれの画像特徴に基づいてそれら画
像のクラスタ分けが行われ、検索された複数の画像はク
ラスタ毎に分類して表示される。よって、検索された画
像の内、同一クラスタに属する画像同士、つまり互いに
類似度の高い類似画像同士をまとめて表示することが可
能となり、検索された画像間の類似性を考慮した表示を
行うことができる。
クラスタ毎に分類して検索画像を表示することにより、
クラスタ単位、つまり互いに絵柄等の類似した画像グル
ープ単位でキー画像との比較・照合を行うことが可能と
なり、調査効率の向上を図ることが可能となる。
れた画像毎に、前記検索キーとして与えられるキー画像
との類似度が所定値よりも大きいか否かを判定する手段
をさらに具備し、前記表示手段は、前記キー画像との類
似度が所定値よりも大きい画像についてはその類似度順
に並べて表示し、前記キー画像との類似度が所定値以下
の画像についてはクラスタ毎に分類して表示する手段を
有することを特徴とする。
いては、それら画像同士の類似度も高いことが期待でき
る。一方、キー画像との類似度がそれほど高くない画像
では、検索された画像同士の類似度は必ずしも高くない
ため、キー画像との類似度の差による順位付けよりも、
検索された画像同士の類似性に注目するほうが画像の閲
覧性の向上には有効である。よって、類似度順の表示と
クラスタ毎に分類表示とを組み合わせることにより、キ
ー画像との類似度が非常に高い画像とそれほど高くない
画像の双方の閲覧性を高めることが可能となる。
よって分類されたクラスタ毎に代表画像を選出する手段
をさらに具備し、前記表示手段は、クラスタ毎にその代
表画像を優先的に表示する手段を有することを特徴とす
る。
出して表示することにより、より多くの種類の画像を一
度に画面表示することが可能となる。また、代表画像と
の比較のみで済むクラスタについては、他の画像を閲覧
する必要がなくなるので、閲覧すべき画像数の削減を図
ることも可能となる。さらに、代表画像以外の他の画像
の表示が要求された場合には、その要求された代表画像
が属するクラスタ内の他の画像を、該当する代表画像に
隣接して表示する機能を追加することにより、より閲覧
性の向上を図ることが可能となる。
た画像を検索キーに基づいて検索して表示する画像検索
システムであって、検索キーに従って複数の画像が検索
された場合、それぞれの画像から抽出される画像特徴に
基づいて、互いに画像特徴が類似する画像同士を決定す
る手段と、互いに画像特徴が類似すると決定された類似
画像群毎に代表画像を選出して表示する表示手段とを具
備することを特徴とする。
示するのではなく、検索画像の中に類似度が非常に高い
画像同士が存在する場合にはその代表画像のみを表示す
る方式を用いることにより、互いに画像特徴の異なる画
像のみを検索結果として表示することが可能となる。よ
って、無駄のない効率的な画像検索を実現できる。
実施形態を説明する。 (第1の実施形態)図1には、本発明の第1実施形態に
係る画像ブラウジングシステムの機能構成が示されてい
る。この画像ブラウジングシステムはデータベースから
ディジタル画像を検索しながら閲覧するためのものであ
り、検索キーとして入力されたキー画像に類似する画像
をデータベースから検索して画面表示する。
既登録の商標に関する画像の中からキー画像と全体的に
類似する画像や部分的に類似する箇所を持つ画像などを
探し出して、それをキー画像と比較・照合するといった
用途に用いられる。このような用途に最適な閲覧性能を
提供するため、本実施形態の画像ブラウジングシステム
には、検索画像の表示の際に、キー画像との類似性だけ
ではなく、検索された画像同士の類似性をも考慮して、
類似した画像同士をまとめて提示する機能が設けられて
いる。以下、画像ブラウジングシステムの具体的な機能
構成について説明する。
は、図示のように、画像入力部101、画像特徴抽出部
102、画像特徴記憶部103、画像特徴データベース
104、類似画像検索部105、クラスタ生成部10
6、画像表示部107などの機能モジュールから構成さ
れている。
ス104に登録すべき画像、および検索キーとして用い
られるキー画像の入力に用いられるモジュールであり、
例えばスキャナを用いて紙面上の絵柄を画像データとし
て取り込んだり、コンピュータによって作成された画像
ファイルを取り込むといった機能を有している。
を介して入力された各画像データからその画像特徴を抽
出する。ここで、画像特徴(feature extracted from i
mage)とは、各画像の持つ形状特徴、色特徴などの特徴
量を示している。画像の特徴量としては、画像全体や画
像中の所定の分割領域における白・黒画素の量またはそ
の割合、ラン数、外矩の縦横比率、連結領域数などの様
々なパラメータを任意に組み合わせて用いることができ
る。画像特徴データベース104に登録すべき画像につ
いては、画像特徴抽出部102によって抽出された画像
特徴は入力された原画像データと共に画像特徴データベ
ース104に記録される。一方、検索キーとして用いら
れるキー画像については、画像特徴抽出部102によっ
て抽出された画像特徴は類似画像検索部105に送られ
る。
する画像を画像特徴データベース104から検索するた
めのものであり、この検索は、キー画像から抽出された
画像特徴と、画像特徴データベース104に格納されて
いる画像それぞれの画像特徴とを比較・照合することに
よって行われる。類似画像検索部105によって画像特
徴データベース104から検索された各画像はクラスタ
生成部106に送られる。
の画像それぞれの画像特徴に基づいてそれら画像をクラ
スタ分けするためのものであり、類似する画像特徴を持
つ画像同士が同一クラスタに含まれるように、検索され
た画像それぞれを複数のクラスタに分類する。クラスタ
は類似画像同士をまとめたグループであり、画像特徴空
間上において互いに特徴距離が近い画像同士が同一クラ
スタに分類される。
6によって得られた検索画像のクラスタ分類結果に基づ
いて、検索画像それぞれをクラスタ毎に分類してモニタ
上に表示する。この場合、ユーザによる画像の閲覧性の
向上を図るために、検索された画像の内、同一クラスタ
に属する画像同士つまり互いに類似度の高い類似画像同
士がまとめて表示される。
2のフローチャートを参照して、画像特徴データベース
104の構築処理の手順ついて説明する。まず、画像入
力部101にて登録対象の画像が入力され(ステップS
T101)、その入力画像が画像特徴抽出部102に送
られる。画像特徴抽出部102では入力画像から画像特
徴が抽出され(ステップST102)、その画像特徴が
画像特徴記憶部103によって画像特徴データベース1
04に追加記録される(ステップST103)。この作
業をすべての入力画像に対して繰り返し行うことにより
(ステップST104)、画像特徴データベース104
が構築される。
フローチャートを参照して、類似画像検索・表示のため
の処理手順について述べる。まず、ユーザによってキー
画像kとして指定された画像が画像入力部101にて入
力され(ステップST201)、そのキー画像kが画像
特徴抽出部102に送られる。画像特徴抽出部102で
はキー画像kから画像特徴が抽出される(ステップST
202)。このキー画像kから抽出された画像特徴は類
似画像検索部105に送られ、画像特徴データベース1
04から類似画像を検索する処理が開始される(ステッ
プST203)。
ス104内の登録画像iとの類似度をS(k,i)、た
だし(S(k,i)≧0)、とすると、類似画像検索部
105によりS(k,i)>Tである画像が画像特徴デ
ータベース中から類似画像候補として検索される。ここ
でTは類似度閾値とする。すべての画像をブラウズする
際はT=0とすればよい。
れた類似画像候補それぞれに関する画像特徴量の分布に
基づき、類似した画像特徴をもつ画像同士が同一クラス
タに含まれるようにクラスタ分けが行われる(ステップ
ST204)。クラスタ生成の手法としては、たとえ
ば、クラスタ間の分散が大きく、クラスタ内分散が小さ
くなるようにクラスタを設定する手法や、特徴距離の近
い画像を順次グループ化する手法などが考えられる。ク
ラスタ生成部106によってクラスタ分けされた画像ク
ラスタの例を図4に示す。
を用いた場合の例が示されている。画像特徴空間の次元
数は画像の特徴量の指標として用いられるパラメータの
数に対応しており、実際には、3次元以上の画像特徴空
間を用いても良い。クラスタA,B,Cはクラスタ生成
部106によってクラスタ分けされた画像クラスタであ
る。また、a,b,c,d,e,f,g,hはS(k,
i)>Tを満たす類似画像候補であり、S(a,k)>
S(b,k)>S(c,k)>S(d,k)>S(e,
k)>S(f,k)>S(g,k)>S(h,k)とす
る。このように、検索された類似画像候補は、その画像
特徴つまりカテゴリー別に分類されることになる。
けされた結果を用いて、クラスタごとに類似画像候補を
まとめて表示する(ステップST205)。このカテゴ
リー表示においては、クラスタの表示順は、例えばクラ
スタを構成する画像の画像特徴の重心位置がキー画像k
の画像特徴と近いクラスタから順に表示する方法などを
用いればよい。これは、図6のフローチャートに示され
ているように、まず、クラスタ毎にそこに属する画像を
画像特徴データベース104から順次読み込み(ステッ
プST301)、続いて、クラスタを構成する画像の重
心位置がキー画像kに近いクラスタから順に画像を並べ
て表示する処理(ステップST302)を行うことによ
って実現できる。
の順でクラスタの重心がキー画像kの画像特徴に近いと
すると、図5(A)のように、クラスタごとに(a,
c,g),(b,d,h),(e,f)の順で検索画像
が表示される。クラスタAについては、そこに含まれる
画像a,c,gは互いに類似した特徴を有しており、ま
たクラスタBについては、そこに含まれる画像b,d,
hは、画像a,c,gとは異なる別の点について互いに
類似した特徴を有している。クラスタCについても同様
である。
ではなく、検索された画像同士の類似性をも考慮して、
類似した画像同士をまとめて提示することにより、図5
(B)に示すような単純にキー画像kとの類似度順に画
像を表示する従来手法に比べて、本実施形態では類似し
た画像特徴を持つ画像同士が隣接して表示されるため、
画像の閲覧が容易となる利点を有する。
類似点が共通の複数の画像をまとめて観察でき、キー画
像kとの比較・検証を目視によって容易に行うことがで
きる。よって、特に登録商標の調査等に最適な画像ブラ
ウジングが可能となる。もちろん、登録商標の調査に限
らず、顕微鏡写真などの画像をデータベースに蓄積して
おくことにより、例えば微生物やウィルス等の調査目的
にも有効活用することができる。
照して、本発明の第2実施形態について説明する。本第
2実施形態の画像ブラウジングシステムは、キー画像k
と類似した画像を提示する際に、キー画像kとの類似度
の値に応じて類似度順表示あるいはカテゴリー表示の優
先度を切り替えることを特徴とするものであり、画像特
徴データベースの構築、類似画像検索、クラスタ生成処
理については第1実施形態と同様である。
部107で画像表示を行う際に、キー画像kとの類似度
が非常に高い画像については「類似度順表示」を優先
し、ある程度類似度が低い画像については「カテゴリー
表示」を優先する。図7を用いて具体的に説明する。
ってA,B,Cのクラスタに分離された場合でも、aや
bのようにキー画像kとの類似度が非常に高い(S
(k,i)>T2)画像については類似度順の表示を優
先し、残りのある程度類似度が低い画像(c,d,e,
f,g,h)についてはカテゴリー表示を優先する。こ
こで、T2は、T2>Tの関係を満たすものとする。
図示のように、キー画像kとの類似度が非常に高い画像
a,bについてはクラスタ毎の表示グループから除外さ
れて独立して表示され、それ以外の画像c,d,e,
f,g,hについてはクラスタ毎に分類した状態で表示
される。
に高いため、それら画像a,b間の類似度も高いことが
期待できる。したがって、図8の表示形態においても、
互いに類似した画像が並んで表示されることになる。ま
た、画像a,bについてはキー画像kに対して全体的に
類似している画像であり、c,d,e,f,g,hにつ
いてはキー画像kと部分的に類似した画像であると考え
ることができる。よって、類似度順の表示とクラスタ毎
のカテゴリー表示とを組み合わせることにより、キー画
像kに対して全体的に類似している画像と部分的に類似
している画像の双方の閲覧性を高めることが可能とな
る。
本第2実施形態における画像表示処理の手順を説明す
る。
索部105によって検索された各画像について、S
(k,i)>T2を満たす画像であるか否かが判定され
る(ステップST311)。この判定は、例えば類似画
像検索部105が検索時に各画像毎に算出した類似度を
もとに行うことができる。S(k,i)>T2を満たす
画像については「類似度順表示」に分類され(ステップ
ST312)、またS(k,i)>T2を満たさない画
像については「カテゴリー表示」に分類されることにな
る(ステップST313)。
た各画像は、それら画像毎に決定された上述の表示分類
(「類似度順表示」、「カテゴリー表示」)に従って表
示される(ステップST314)。
kとの類似度が高い画像を優先して表示することがで
き、かつ比較的類似度の低い画像では互いに類似した画
像同士が隣接するため、画像の閲覧が容易となる利点を
有する。
5を参照して、本発明の第3実施形態について説明す
る。本第3実施形態の画像ブラウジングシステムは、非
常に類似した画像が複数検索された場合に、それらの代
表画像のみを表示し、残りの画像の表示を省略すること
を特徴とするものであり、画像特徴データベースの構
築、類似画像検索、クラスタ生成処理については第1実
施形態と同様である。
登録された画像の中には、全く同一の画像や絵柄にほと
んど違いのない画像が複数登録されている場合がある。
そこで、画像特徴がほとんど同じ画像が存在する場合は
その代表画像のみを表示することにより、閲覧する画像
の数を削減することができ、またより多くの種類の画像
を画面に表示することが可能となる。図10を用いて具
体的に説明する。
によって検索された画像の内、画像aと画像bの画像特
徴量が非常に類似しており、また画像dと画像eと画像
fについてもそれらの画像特徴量が非常に類似している
場合が示されている。このようなに場合には、それら各
類似画像グループ毎に1つの画像を代表画像として選出
して、その代表画像のみを表示し、残りの他の画像の表
示を省略する処理が行われる。この場合の表示例を図1
1に示す。
像グループについてはaが代表画像として表示され、ま
たd,e,fからなる類似画像グループについてはdが
代表画像として表示された場合が示されている。また、
非常に類似した画像を持たない画像cについては独立し
て表示される。非常に類似した類似画像が複数個あるこ
とを示すため、代表画像の周囲には縁取りをしても良
い。
像グループに属する画像群の中からキー画像kとの類似
度がもっとも高い画像を代表画像として選ぶなどの方法
を用いることができる。もちろん、同一類似画像グルー
プに属する画像間においては、キー画像kとの類似度は
ほとんど変わらない場合が多いので、無作為に一つの画
像を代表画像として選択するようにしても良い。
図10に示すように、画像a,b,gがクラスタA、画
像d,e,hがクラスタB、さらに画像cがクラスタC
として分類されており、クラスタAについては画像a,
bは非常に類似しているが、gはa,bとの類似性はそ
れほど高くなく、同様にクラスタBについても画像d,
e,fは非常に類似しているが、hはd,e,fとの類
似性はそれほど高くないような場合を想定している。
リー表示が第1実施形態と同様にして行われるが、クラ
スタAについては、画像a,b,gの全てが表示される
のではなく、画像gと、類似画像グループを構成する画
像a,bの中から選出された代表画像aのみが表示さ
れ、bは表示されない。また、クラスタBについても、
画像d,e,f,hの全てではなく、画像hと、類似画
像グループを構成する画像d,e,fの中から選出され
た代表画像dのみが表示される。
分散が非常に小さいクラスタを設定した場合には、同一
クラスタ内に属する画像すべてが互いに非常に類似した
もの同士となる。よって、このような場合にはクラスタ
毎に1つの画像のみを代表画像として選出して表示すれ
ばよい。このように、クラスタ毎に代表画像を選出して
表示するための処理手順の例を図13に示す。
部106によって生成された各クラスタ毎に、それに属
する画像の中でもっともキー画像kとの類似度が高い画
像を決定し、それを代表画像として選出する(ステップ
ST321)。例えば、図10のようなクラスタ分けが
なされている場合には、クラスタAについては画像a
が、クラスタBについては画像dが、クラスタCについ
ては画像cが、代表画像として選出されることになる。
毎に選出した代表画像を並べて表示する(ステップST
322)。これにより、図11と同じ表示形態で検索画
像が表示される。
て、表示が省略されている画像を代表画像からブラウズ
する場合の処理手順について説明する。
ザによるマウスのクリック操作等によって特定の代表画
像が選択されると(ステップST331のYES)、画
像表示部107は、選択された代表画像が属するクラス
タ内の他の画像を画像特徴データベース104から読み
込み(ステップST332)、その読み込んだ画像を、
選択された代表画像に隣接するように画面表示する(ス
テップST333)。この場合の表示例を図15に示
す。
された場合の例である。この場合、クラスタBに属する
他の画像の中で、代表画像dと非常に類似した画像つま
り代表画像として選出されなかった残りの画像e,f
(あるいは画像e,f,h)が画像特徴データベース1
04から読み込まれて表示される。
に非常に類似した画像が複数存在する場合、代表画像の
みを表示し、残りの類似画像の表示を省略することによ
り、閲覧する画像の数を削減でき、より多くの種類の画
像を画面に表示できる利点を持つ。
の特徴を第1乃至第3実施形態に分けて説明したが、こ
れら第1乃至第3実施形態それぞれの表示機能を全て併
せ持つシステムを実現し、必要に応じて表示形態を選択
してもよい。例えば、通常は第1実施形態の表示形態を
利用し、検索された画像数が非常に多い場合、つまり1
クラスタ当たりの画像数が非常に多い場合には、第3実
施形態の表示形態に切り換えるなどの方法により、より
閲覧性の向上を実現できる。
ジングシステムはどれもコンピュータ上で実行可能なソ
フトウェアとして実現することができる。この場合、そ
の手順を含むコンピュータプログラムをコンピュータ読
み取り可能な記録媒体を通じて通常のコンピュータに導
入するだけで、本実施形態と同様の効果を容易に得るこ
とが可能となる。
下の効果を有する。
表示する従来手法に比べて、類似した画像同士が隣接す
るため、画像の閲覧が容易となる。
して表示することができ、かつ比較的類似度の低い画像
では互いに類似した画像同士が隣接するため、画像の閲
覧が容易となる。
合、代表画像のみを表示し、残りの類似画像の表示を省
略することにより、閲覧する画像の数を削減できたり、
より多くの種類の画像を画面に表示できる。
ステムの機能構成を示すブロック図。
る画像特徴データベースの構築処理の手順を示すフロー
チャート。
る類似画像検索・表示処理の手順を示すフローチャー
ト。
て行われたクラスタ分けの結果の一例を示す図。
る検索結果表示画面の一例を示す図。
る検索結果表示処理手順の一例を示すフローチャート。
て行われたクラスタ分けの結果の別の例を示す図。
る検索結果表示画面の他の例を示す図。
る検索結果表示処理手順の他の例を示すフローチャー
ト。
って行われたクラスタ分けの結果のさらに別の例を示す
図。
ける検索結果表示画面のさらに他の例を示す図。
ける検索結果表示画面のさらに別のもう一つの例を示す
図。
ける検索結果表示処理手順のさらに他の例を示すフロー
チャート。
ング処理の手順を示すフローチャート。
ける検索結果表示画面のさらに別のもう一つの例を示す
図。
Claims (10)
- 【請求項1】 データベースに格納された画像を検索キ
ーに基づいて検索して表示する画像検索システムであっ
て、 検索キーに従って複数の画像が検索された場合、それぞ
れの画像から抽出される画像特徴に基づいて、類似画像
同士が同一クラスタに含まれるように、前記検索された
複数の画像をクラスタ分けするクラスタ分類手段と、 前記クラスタ分類手段によるクラスタ分けの結果に基づ
いて、前記検索された複数の画像をクラスタ毎に分類し
て表示する表示手段とを具備することを特徴とする画像
検索システム。 - 【請求項2】 前記表示手段は、 前記クラスタ分類手段によって分類されたクラスタ毎に
同一クラスタ内に属する類似画像同士を隣接して表示す
る手段を有することを特徴とする請求項1記載の画像検
索システム。 - 【請求項3】 前記検索キーに従って検索された画像毎
に、前記検索キーとして与えられるキー画像との類似度
が所定値よりも大きいか否かを判定する手段をさらに具
備し、 前記表示手段は、 前記キー画像との類似度が所定値よりも大きい画像につ
いてはその類似度順に並べて表示し、前記キー画像との
類似度が所定値以下の画像についてはクラスタ毎に分類
して表示する手段を有することを特徴とする請求項1記
載の画像検索システム。 - 【請求項4】 前記クラスタ分類手段によって分類され
たクラスタ毎に代表画像を選出する手段をさらに具備
し、 前記表示手段は、 クラスタ毎にその代表画像を優先的に表示する手段を有
することを特徴とする請求項1記載の画像検索システ
ム。 - 【請求項5】 データベースに格納された画像を検索キ
ーに基づいて検索して表示する画像検索システムであっ
て、 検索キーに従って複数の画像が検索された場合、それぞ
れの画像から抽出される画像特徴に基づいて、互いに画
像特徴が類似する画像同士を決定する手段と、 互いに画像特徴が類似すると決定された類似画像群毎に
代表画像を選出して表示する表示手段とを具備すること
を特徴とする画像検索システム。 - 【請求項6】 前記表示手段は、 前記検索キーに従って検索された複数の画像の中で他の
画像と類似しない画像と、前記類似画像群毎に選出され
た代表画像を表示する手段を有することを特徴とする請
求項5記載の画像検索システム。 - 【請求項7】 データベースに格納された画像を検索キ
ーに基づいて検索して表示する画像検索方法であって、 検索キーに従って複数の画像が検索された場合、それぞ
れの画像から抽出される画像特徴に基づいて、類似画像
同士が同一クラスタに含まれるように、前記検索された
複数の画像をクラスタ分けするクラスタ分類ステップ
と、 前記クラスタ分類ステップによるクラスタ分けの結果に
基づいて、前記検索された複数の画像をクラスタ毎に分
類して表示する表示ステップとを具備することを特徴と
する画像検索方法。 - 【請求項8】 データベースに格納された画像を検索キ
ーに基づいて検索して表示する画像検索方法であって、 検索キーに従って複数の画像が検索された場合、それぞ
れの画像から抽出される画像特徴に基づいて、互いに画
像特徴が類似する画像同士を決定するステップと、 互いに画像特徴が類似すると決定された類似画像群毎に
代表画像を選出して表示するステップとを具備すること
を特徴とする画像検索方法。 - 【請求項9】 データベースに格納された画像を検索キ
ーに基づいて検索して表示するためのコンピュータプロ
グラムが記録されたコンピュータ読み取り可能な記録媒
体であって、 前記コンピュータプログラムは、 検索キーに従って複数の画像が検索された場合、それぞ
れの画像から抽出される画像特徴に基づいて、類似画像
同士が同一クラスタに含まれるように、前記検索された
複数の画像をクラスタ分けするクラスタ分類ステップ
と、 前記クラスタ分類ステップによるクラスタ分けの結果に
基づいて、前記検索された複数の画像をクラスタ毎に分
類して表示する表示ステップとを具備することを特徴と
する記録媒体。 - 【請求項10】 データベースに格納された画像を検索
キーに基づいて検索して表示するためのコンピュータプ
ログラムが記録されたコンピュータ読み取り可能な記録
媒体であって、 前記コンピュータプログラムは、 検索キーに従って複数の画像が検索された場合、それぞ
れの画像から抽出される画像特徴に基づいて、互いに画
像特徴が類似する画像同士を決定するステップと、 互いに画像特徴が類似すると決定された類似画像群毎に
代表画像を選出して表示するステップとを具備すること
を特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000082581A JP3457617B2 (ja) | 2000-03-23 | 2000-03-23 | 画像検索システムおよび画像検索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000082581A JP3457617B2 (ja) | 2000-03-23 | 2000-03-23 | 画像検索システムおよび画像検索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001273302A true JP2001273302A (ja) | 2001-10-05 |
JP3457617B2 JP3457617B2 (ja) | 2003-10-20 |
Family
ID=18599368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000082581A Expired - Lifetime JP3457617B2 (ja) | 2000-03-23 | 2000-03-23 | 画像検索システムおよび画像検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3457617B2 (ja) |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003051011A (ja) * | 2001-03-19 | 2003-02-21 | Ricoh Co Ltd | 画像空間表示方法および装置 |
JP2003178097A (ja) * | 2001-12-13 | 2003-06-27 | Fuji Photo Film Co Ltd | 画像データベース装置およびその動作制御方法 |
JP2003203090A (ja) * | 2002-01-07 | 2003-07-18 | Ricoh Co Ltd | 画像空間表示方法 |
JP2003303211A (ja) * | 2002-04-12 | 2003-10-24 | Fuji Photo Film Co Ltd | 画像表示制御装置 |
JP2003303333A (ja) * | 2002-04-12 | 2003-10-24 | Fuji Photo Film Co Ltd | 画像表示制御装置 |
JP2003330941A (ja) * | 2002-05-08 | 2003-11-21 | Olympus Optical Co Ltd | 類似画像分類装置 |
JP2004192434A (ja) * | 2002-12-12 | 2004-07-08 | Seiko Epson Corp | 文書抽出装置及び文書抽出プログラム並びに文書抽出方法 |
JP2005107990A (ja) * | 2003-09-30 | 2005-04-21 | Ricoh Co Ltd | 電子図鑑生成方法及び電子図鑑生成プログラム |
JP2005347859A (ja) * | 2004-05-31 | 2005-12-15 | Murata Mach Ltd | 出力画像選択装置 |
JP2006085378A (ja) * | 2004-09-15 | 2006-03-30 | Canon Inc | 情報処理装置及びその制御方法、プログラム |
JP2006277196A (ja) * | 2005-03-29 | 2006-10-12 | Seiko Epson Corp | 画像データの関連情報提供技術 |
JP2007080061A (ja) * | 2005-09-15 | 2007-03-29 | Univ Of Tsukuba | Webページの検索方法及びWebページのクラスタリング方法 |
JPWO2005046942A1 (ja) * | 2003-11-13 | 2007-08-23 | 独立行政法人科学技術振興機構 | ロボットの駆動方法 |
JP2007257465A (ja) * | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 画像表示装置および方法並びにプログラム |
JP2007279174A (ja) * | 2006-04-04 | 2007-10-25 | Fujifilm Corp | 画像表示制御装置ならびにその制御方法およびそのプログラム |
JP2007286767A (ja) * | 2006-04-13 | 2007-11-01 | Canon Inc | 画像検索システム、及び、画像検索サーバ及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
KR100842310B1 (ko) | 2007-06-21 | 2008-06-30 | (주)엔써즈 | 동영상 데이터들을 서로 동일성이 있는 동영상데이터들끼리 클러스터링하는 방법 및 시스템 |
JPWO2006087854A1 (ja) * | 2004-11-25 | 2008-08-07 | シャープ株式会社 | 情報分類装置、情報分類方法、情報分類プログラム、情報分類システム |
JP2008204348A (ja) * | 2007-02-22 | 2008-09-04 | Sony Corp | 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム |
KR100908890B1 (ko) * | 2007-07-18 | 2009-07-23 | (주)엔써즈 | 동영상 데이터 클러스터를 이용한 동영상 데이터 검색서비스 제공 방법 및 장치 |
JP2009169536A (ja) * | 2008-01-11 | 2009-07-30 | Ricoh Co Ltd | 情報処理装置、画像形成装置、ドキュメント生成方法、ドキュメント生成プログラム |
JP2009540451A (ja) * | 2006-06-16 | 2009-11-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 臨床医駆動の例示ベースのコンピュータ支援診断 |
JP2009277155A (ja) * | 2008-05-16 | 2009-11-26 | Ricoh Co Ltd | 画像検索装置、画像検索方法、情報処理プログラム及び記録媒体 |
KR100946694B1 (ko) | 2007-08-07 | 2010-03-12 | 주식회사 코난테크놀로지 | 영상 정보 기반의 동영상 파일 중복 검사와 관리를 위한시스템 및 방법 |
JP2010286861A (ja) * | 2009-06-09 | 2010-12-24 | Yahoo Japan Corp | 画像検索装置 |
JP2011008531A (ja) * | 2009-06-25 | 2011-01-13 | Fuji Xerox Co Ltd | 情報処理装置および要約プログラム |
JP2011048668A (ja) * | 2009-08-27 | 2011-03-10 | Hitachi Kokusai Electric Inc | 画像検索装置 |
KR101030130B1 (ko) | 2009-07-31 | 2011-04-20 | 주식회사 다음커뮤니케이션 | 중복 콘텐츠 검출 장치 및 검출 방법 |
JP2011520175A (ja) * | 2008-04-14 | 2011-07-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数の保存されたディジタル画像を検索するための方法及び装置 |
JP2011145791A (ja) * | 2010-01-13 | 2011-07-28 | Hitachi Ltd | 識別器学習画像生成プログラム、方法、及びシステム |
JP2012079187A (ja) * | 2010-10-05 | 2012-04-19 | Yahoo Japan Corp | 特徴ベクトル生成装置、特徴ベクトル生成方法及びプログラム |
JP2013239203A (ja) * | 2013-08-05 | 2013-11-28 | Toshiba Corp | 電子機器、方法、及びプログラム |
JP2013254286A (ja) * | 2012-06-06 | 2013-12-19 | Dainippon Screen Mfg Co Ltd | 欠陥画像の提示方法 |
JP2014006613A (ja) * | 2012-06-22 | 2014-01-16 | Dainippon Screen Mfg Co Ltd | 近傍探索方法および類似画像探索方法 |
JP2015049796A (ja) * | 2013-09-03 | 2015-03-16 | キヤノン株式会社 | 情報処理装置、表示装置および表示システム |
WO2017026172A1 (ja) * | 2015-08-10 | 2017-02-16 | 日本電気株式会社 | 表示処理装置及び表示処理方法 |
JP2018190326A (ja) * | 2017-05-11 | 2018-11-29 | 日本電信電話株式会社 | 参照画像選択装置、方法、及びプログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6378228A (ja) * | 1986-09-20 | 1988-04-08 | Matsushita Electric Ind Co Ltd | 情報検索装置 |
JPH03214257A (ja) * | 1990-01-19 | 1991-09-19 | Nippon Telegr & Teleph Corp <Ntt> | データベース検索解表示装置 |
JPH0676004A (ja) * | 1992-07-06 | 1994-03-18 | Nec Corp | データベース検索解表示装置 |
JPH07244668A (ja) * | 1994-03-04 | 1995-09-19 | Hitachi Ltd | データ解析システム |
JPH09101990A (ja) * | 1995-07-31 | 1997-04-15 | Toshiba Corp | 情報フィルタリング装置 |
JPH09231238A (ja) * | 1996-02-20 | 1997-09-05 | Omron Corp | テキスト検索結果表示方法及び装置 |
JPH11175535A (ja) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | 画像検索方法およびその装置およびこれを利用した検索サービス |
JP2001155026A (ja) * | 1999-11-26 | 2001-06-08 | Olympus Optical Co Ltd | 3次元画像データベース装置及び3次元画像データベース構築方法 |
-
2000
- 2000-03-23 JP JP2000082581A patent/JP3457617B2/ja not_active Expired - Lifetime
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6378228A (ja) * | 1986-09-20 | 1988-04-08 | Matsushita Electric Ind Co Ltd | 情報検索装置 |
JPH03214257A (ja) * | 1990-01-19 | 1991-09-19 | Nippon Telegr & Teleph Corp <Ntt> | データベース検索解表示装置 |
JPH0676004A (ja) * | 1992-07-06 | 1994-03-18 | Nec Corp | データベース検索解表示装置 |
JPH07244668A (ja) * | 1994-03-04 | 1995-09-19 | Hitachi Ltd | データ解析システム |
JPH09101990A (ja) * | 1995-07-31 | 1997-04-15 | Toshiba Corp | 情報フィルタリング装置 |
JPH09231238A (ja) * | 1996-02-20 | 1997-09-05 | Omron Corp | テキスト検索結果表示方法及び装置 |
JPH11175535A (ja) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | 画像検索方法およびその装置およびこれを利用した検索サービス |
JP2001155026A (ja) * | 1999-11-26 | 2001-06-08 | Olympus Optical Co Ltd | 3次元画像データベース装置及び3次元画像データベース構築方法 |
Cited By (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003051011A (ja) * | 2001-03-19 | 2003-02-21 | Ricoh Co Ltd | 画像空間表示方法および装置 |
JP2003178097A (ja) * | 2001-12-13 | 2003-06-27 | Fuji Photo Film Co Ltd | 画像データベース装置およびその動作制御方法 |
US7362922B2 (en) | 2001-12-13 | 2008-04-22 | Fujifilm Corporation | Image database apparatus and method of controlling operation of same |
JP2003203090A (ja) * | 2002-01-07 | 2003-07-18 | Ricoh Co Ltd | 画像空間表示方法 |
JP2003303211A (ja) * | 2002-04-12 | 2003-10-24 | Fuji Photo Film Co Ltd | 画像表示制御装置 |
JP2003303333A (ja) * | 2002-04-12 | 2003-10-24 | Fuji Photo Film Co Ltd | 画像表示制御装置 |
JP2003330941A (ja) * | 2002-05-08 | 2003-11-21 | Olympus Optical Co Ltd | 類似画像分類装置 |
US7266554B2 (en) | 2002-12-12 | 2007-09-04 | Seiko Epson Corporation | Document extracting device, document extracting program, and document extracting method |
JP2004192434A (ja) * | 2002-12-12 | 2004-07-08 | Seiko Epson Corp | 文書抽出装置及び文書抽出プログラム並びに文書抽出方法 |
JP2005107990A (ja) * | 2003-09-30 | 2005-04-21 | Ricoh Co Ltd | 電子図鑑生成方法及び電子図鑑生成プログラム |
JPWO2005046942A1 (ja) * | 2003-11-13 | 2007-08-23 | 独立行政法人科学技術振興機構 | ロボットの駆動方法 |
JP2005347859A (ja) * | 2004-05-31 | 2005-12-15 | Murata Mach Ltd | 出力画像選択装置 |
JP4717402B2 (ja) * | 2004-09-15 | 2011-07-06 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
JP2006085378A (ja) * | 2004-09-15 | 2006-03-30 | Canon Inc | 情報処理装置及びその制御方法、プログラム |
JPWO2006087854A1 (ja) * | 2004-11-25 | 2008-08-07 | シャープ株式会社 | 情報分類装置、情報分類方法、情報分類プログラム、情報分類システム |
JP4550882B2 (ja) * | 2004-11-25 | 2010-09-22 | シャープ株式会社 | 情報分類装置、情報分類方法、情報分類プログラム、情報分類システム |
JP2006277196A (ja) * | 2005-03-29 | 2006-10-12 | Seiko Epson Corp | 画像データの関連情報提供技術 |
JP2007080061A (ja) * | 2005-09-15 | 2007-03-29 | Univ Of Tsukuba | Webページの検索方法及びWebページのクラスタリング方法 |
JP2007257465A (ja) * | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 画像表示装置および方法並びにプログラム |
JP2007279174A (ja) * | 2006-04-04 | 2007-10-25 | Fujifilm Corp | 画像表示制御装置ならびにその制御方法およびそのプログラム |
JP2007286767A (ja) * | 2006-04-13 | 2007-11-01 | Canon Inc | 画像検索システム、及び、画像検索サーバ及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
US8203732B2 (en) | 2006-04-13 | 2012-06-19 | Canon Kabushiki Kaisha | Searching for an image utilized in a print request to detect a device which sent the print request |
JP2009540451A (ja) * | 2006-06-16 | 2009-11-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 臨床医駆動の例示ベースのコンピュータ支援診断 |
JP2008204348A (ja) * | 2007-02-22 | 2008-09-04 | Sony Corp | 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム |
US8064633B2 (en) | 2007-02-22 | 2011-11-22 | Sony Corporation | Information processing apparatus, image display apparatus, control methods therefor, and programs for causing computer to perform the methods |
KR100842310B1 (ko) | 2007-06-21 | 2008-06-30 | (주)엔써즈 | 동영상 데이터들을 서로 동일성이 있는 동영상데이터들끼리 클러스터링하는 방법 및 시스템 |
KR100908890B1 (ko) * | 2007-07-18 | 2009-07-23 | (주)엔써즈 | 동영상 데이터 클러스터를 이용한 동영상 데이터 검색서비스 제공 방법 및 장치 |
KR100946694B1 (ko) | 2007-08-07 | 2010-03-12 | 주식회사 코난테크놀로지 | 영상 정보 기반의 동영상 파일 중복 검사와 관리를 위한시스템 및 방법 |
JP2009169536A (ja) * | 2008-01-11 | 2009-07-30 | Ricoh Co Ltd | 情報処理装置、画像形成装置、ドキュメント生成方法、ドキュメント生成プログラム |
JP2011520175A (ja) * | 2008-04-14 | 2011-07-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数の保存されたディジタル画像を検索するための方法及び装置 |
JP2009277155A (ja) * | 2008-05-16 | 2009-11-26 | Ricoh Co Ltd | 画像検索装置、画像検索方法、情報処理プログラム及び記録媒体 |
JP2010286861A (ja) * | 2009-06-09 | 2010-12-24 | Yahoo Japan Corp | 画像検索装置 |
JP2011008531A (ja) * | 2009-06-25 | 2011-01-13 | Fuji Xerox Co Ltd | 情報処理装置および要約プログラム |
KR101030130B1 (ko) | 2009-07-31 | 2011-04-20 | 주식회사 다음커뮤니케이션 | 중복 콘텐츠 검출 장치 및 검출 방법 |
JP2011048668A (ja) * | 2009-08-27 | 2011-03-10 | Hitachi Kokusai Electric Inc | 画像検索装置 |
US8538141B2 (en) | 2010-01-13 | 2013-09-17 | Hitachi, Ltd. | Classifier learning image production program, method, and system |
JP2011145791A (ja) * | 2010-01-13 | 2011-07-28 | Hitachi Ltd | 識別器学習画像生成プログラム、方法、及びシステム |
JP2012079187A (ja) * | 2010-10-05 | 2012-04-19 | Yahoo Japan Corp | 特徴ベクトル生成装置、特徴ベクトル生成方法及びプログラム |
JP2013254286A (ja) * | 2012-06-06 | 2013-12-19 | Dainippon Screen Mfg Co Ltd | 欠陥画像の提示方法 |
JP2014006613A (ja) * | 2012-06-22 | 2014-01-16 | Dainippon Screen Mfg Co Ltd | 近傍探索方法および類似画像探索方法 |
JP2013239203A (ja) * | 2013-08-05 | 2013-11-28 | Toshiba Corp | 電子機器、方法、及びプログラム |
JP2015049796A (ja) * | 2013-09-03 | 2015-03-16 | キヤノン株式会社 | 情報処理装置、表示装置および表示システム |
WO2017026172A1 (ja) * | 2015-08-10 | 2017-02-16 | 日本電気株式会社 | 表示処理装置及び表示処理方法 |
JPWO2017026172A1 (ja) * | 2015-08-10 | 2018-05-31 | 日本電気株式会社 | 表示処理装置及び表示処理方法 |
JP6996742B2 (ja) | 2015-08-10 | 2022-01-17 | 日本電気株式会社 | 表示処理装置及び表示処理方法 |
JP2018190326A (ja) * | 2017-05-11 | 2018-11-29 | 日本電信電話株式会社 | 参照画像選択装置、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3457617B2 (ja) | 2003-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3457617B2 (ja) | 画像検索システムおよび画像検索方法 | |
US6072904A (en) | Fast image retrieval using multi-scale edge representation of images | |
US7382903B2 (en) | Method for selecting an emphasis image from an image collection based upon content recognition | |
US6522782B2 (en) | Image and text searching techniques | |
US20050080770A1 (en) | System and process for presenting search results in a tree format | |
US20020078043A1 (en) | Image searching techniques | |
Park et al. | Color image retrieval using hybrid graph representation | |
US6853389B1 (en) | Information searching apparatus, information searching method, and storage medium | |
US20090150376A1 (en) | Mutual-Rank Similarity-Space for Navigating, Visualising and Clustering in Image Databases | |
JP2010519659A (ja) | 見本画像に基づく画像の検索 | |
JP4173246B2 (ja) | 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 | |
JP2007286767A (ja) | 画像検索システム、及び、画像検索サーバ及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 | |
EP2168064A1 (en) | System and method of saving digital content classified by person-based clustering | |
JP2002288219A (ja) | 情報検索システムおよび方法 | |
Heesch et al. | NN k networks for content-based image retrieval | |
JP2007317034A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP6080409B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2004213626A (ja) | 情報の格納及び検索 | |
Ravishankar et al. | Dominant color region based indexing for cbir | |
JP5433396B2 (ja) | マンガ画像からテキストを抽出するマンガ画像解析装置、プログラム、検索装置及び方法 | |
US6522779B2 (en) | Representing an image with a posterized joint histogram | |
Aksoy et al. | Content-based image database retrieval using variances of gray level spatial dependencies | |
JP2004038744A (ja) | 画像認識アルゴリズム生成方法,画像認識アルゴリズム生成装置,画像認識アルゴリズム生成プログラムおよび画像認識アルゴリズム生成プログラムを記録した記録媒体 | |
Schreck | Visual-interactive analysis with self-organizing maps-advances and research challenges | |
Herr et al. | Visual Exploration of Patent Collections with IPC Clouds. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
R151 | Written notification of patent or utility model registration |
Ref document number: 3457617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070801 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080801 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090801 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100801 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100801 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 10 |
|
EXPY | Cancellation because of completion of term |