JP2009163466A - 画像検索装置 - Google Patents
画像検索装置 Download PDFInfo
- Publication number
- JP2009163466A JP2009163466A JP2007341547A JP2007341547A JP2009163466A JP 2009163466 A JP2009163466 A JP 2009163466A JP 2007341547 A JP2007341547 A JP 2007341547A JP 2007341547 A JP2007341547 A JP 2007341547A JP 2009163466 A JP2009163466 A JP 2009163466A
- Authority
- JP
- Japan
- Prior art keywords
- image
- key
- feature
- management table
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】まず、蓄積DBサーバ2に蓄積されている蓄積画像の特徴量と、特徴量のインデックスキーとを関連付け、また、蓄積画像の画像IDとこの蓄積画像の特徴量に対応するインデックスキーとを関連付けて、検索DBサーバ3に登録しておく。次に、検索実行サーバ5は検索DBサーバ3と通信し、検索作業者が指定した指定画像の画像IDに基づいて、指定画像の特徴量に対応するインデックスキーを探し出し、探し出したインデックスキーに一致するインデックスキーに関連付けられている蓄積画像の画像IDを特定し、特定した画像IDに投票する。ここでは、特徴量よりもデータ長が短いインデックスキー同士を比較することで、検索時間を短縮している。最後に、投票数が多い画像IDを有する蓄積画像を蓄積DBサーバ2から取得し、検索結果として出力側端末機7に表示させる。
【選択図】図1
Description
この手法では、図形の重心点の近傍に存在する複数個の点(例えば6個の点。以下、この点を近傍点という)を適宜に抽出し、抽出した6個の近傍点の内から2個の近傍点を選び出す15種類の組合せ(∵6C2 =15)について、重心点から2個の近傍点夫々までの距離の比を数列とした量が、この図形の特徴を数値的に示す特徴量として用いられる。この特徴量は相似不変量であるため、図形(延いては画像)の相似変換に耐性がある。同様にして、全ての図形夫々について特徴量が算出され、算出された全ての図形の特徴量が、画像の特徴量として用いられる。
以上のようにして算出される画像の特徴量は、1枚の画像当たり7千個を超えることがあり、各特徴量は20バイト程度のデータ長を有する。このため、画像を検索する際に、データ長が長い特徴量同士の比較を多数回実行する必要があり、検索速度が遅くなる傾向がある。
この手法を用いる場合、10万枚の蓄積画像を識別すべく、例えば4バイトのデータ長を有する整数が識別情報(以下、画像IDという)として各蓄積画像に付与され、この画像IDと、20バイトのデータ長を有する数列(以下、20バイト数列という)で表される特徴量とが関連付けられて画像を管理する画像管理テーブルに登録される。
指定画像に類似している蓄積画像の画像IDの投票数は、指定画像に類似していない蓄積画像の画像IDに対する投票数より多くなるため、最も投票数が多い画像IDを有する蓄積画像が、指定画像に最も類似している類似画像であると判断される。
しかしながら、検索時間を短縮するためには、演算能力が非常に高い演算部、及び記憶容量が大きい一次記憶装置等の高価な計算資源を用いる必要があるため、十分なコストパフォーマンスが得られないという問題がある。
蓄積部には、画像が蓄積されている。以下では、蓄積部に蓄積されている画像を蓄積画像といい、検索手段は、蓄積画像の中から指定画像に類似する蓄積画像(以下、類似画像という)を検索する。
キー管理テーブルにおいては、蓄積画像の特徴を数値的に示す特徴量と、特徴量の索引項目としてのインデックスキーとが関連付けられており、インデックスキーは、蓄積画像の特徴量よりも情報量が少ない。
特徴管理テーブルでは、識別情報と、この識別情報が付与された蓄積画像の特徴量に対応するインデックスキーとが関連付けられている。
つまり、本発明の画像検索装置が用いるリレーショナル・データベースでは、蓄積画像と特徴量とを、識別情報及びインデックスキーを介在して関連付けている。
特徴キー探索手段は、蓄積管理テーブル、キー管理テーブル及び/又は特徴管理テーブルを参照して、指定画像の特徴量に対応するインデックスキーを探し出す。
以上の結果、画像を検索するために高い演算能力及び長い演算時間を必要としない。
結果出力手段は、蓄積管理テーブルを参照して、画像選択手段が選択した識別情報に一致する識別情報に関連付けられている蓄積画像を蓄積部から取得して、取得した蓄積画像を検索結果(即ち類似画像)として表示部へ出力する。
表示部は、結果出力手段から入力された検出結果(即ち検索手段による検索結果)を表示する。検索作業者は、表示部に表示された類似画像を視認して、この類似画像が所望の画像であるか否かを判断する。
このようなインデックスキーを用いる場合、1つの命令では演算不可能な長いデータ長を有するインデックスキーを用いる場合に比べて、インデックスキー同士の比較に要する演算部のサイクル・タイムを短縮することができる。従って、検索時間を更に短縮することができる。
何故ならば、一般に、キー管理テーブル及び/又は特徴管理テーブルには、各種データを登録可能な上限が存在するため、現在使用されているキー管理テーブル及び/又は特徴管理テーブルが登録の上限に達する直前に、このキー管理テーブル及び特徴管理テーブルを旧い各種管理テーブルとして、新しい各種管理テーブルが生成されるからである。あるいは、一ヶ月毎、半期毎等に、現在使用されているキー管理テーブル及び特徴管理テーブルを旧い各種管理テーブルとして、新しい各種管理テーブルが生成されるからである。
また、一の組のキー管理テーブルを参照して、指定画像の特徴量に対応するインデックスキーに基づいて指定画像の特徴量を探し出し、このようにして探し出した指定画像の特徴量と、他の組のキー管理テーブル及び特徴管理テーブルとを用いて、特徴キー探索手段がインデックスキーを探索し、類似度算出手段が類似度を算出する。
最終的に、画像選択手段が識別情報を選択する。
まず、蓄積制御手段は、リレーショナル・データベースに登録すべき画像を蓄積部に蓄積させ、特徴算出手段は、リレーショナル・データベースに登録すべき画像(即ち蓄積画像)の特徴量を算出し、情報発行手段は、蓄積画像に対して識別情報を発行する。
また、登録判定手段は、キー管理テーブルを参照して、特徴算出手段が算出した特徴量に関連付けてインデックスキーが既に登録されているか否かを判定する。登録判定手段が否(即ち同一の特徴量が登録されていない)と判定した場合、キー発行手段は、特徴算出手段が算出した特徴量に対してインデックスキーを発行し、キー管理登録手段は、キー発行手段が発行したインデックスキーと、特徴算出手段が算出した特徴量とを関連付けてキー管理テーブルに登録する。ここで、キー発行手段が発行するインデックスキーは、特徴算出手段が算出した特徴量よりも情報量が少ない。
以上のようにして画像登録手段は、蓄積画像を蓄積し、特徴量の算出と識別情報の発行とを行なし、同一の特徴量を重複して登録してしまう無駄を避けつつ、各種管理テーブルに各種データを登録することができる。
画像登録の際、特徴管理登録手段は、特徴管理テーブルに登録すべきインデックスキーをキーフィールドに格納する場合に、インデックスキーをフィールド値に対応させるハッシュ関数と、登録すべきインデックスキー(以下、登録インデックスキーという)とに基づいてハッシュ値を算出し、算出されたハッシュ値に等しいフィールド値が付与されているキーフィールドに、登録インデックスキーを格納する。
また、一つのレコードに、インデックスキーが格納されているキーフィールドとインデックスキーが格納されていないキーフィールド(以下、空きキーフィールドという)とが存在する場合、特徴管理登録手段は、空きキーフィールドに、インデックスキーが格納されていないことを示すキー未格納情報を格納する。このため、何も格納されていないキーフィールドを有するレコードによってリレーショナル・データベースにエラーが生じることが防止される。
一般に、1枚の蓄積画像の全ての特徴量夫々に関連付けられているインデックスキーのハッシュ値が互いに等しい可能性は低いため、一つのレコードに各1個の識別情報とインデックスキーとが格納される無駄は自然と避けられる。
仮に、一つのレコードに各1個の識別情報フィールドとキーフィールドとが設けられている場合、レコードの件数が多くなるため、このような特徴管理テーブルに新たなレコードを挿入する演算時間は長くなり、画像の登録のための登録時間が長くなる。
次に、類似度算出手段は、ハッシュ値に基づいて特定したキーフィールドに格納されているインデックスキーの内から、特徴キー探索手段が探し出したインデックスキーに等しいインデックスキーを特定し、特定したインデックスキーに関連付けられている識別情報を所要の識別情報として特定し、特定した識別情報に関連付けて類似度を算出する。
特徴管理登録手段は、Mでインデックスキーを除算した場合の剰余を求めるハッシュ関数を用いる。このハッシュ関数は、類似度算出手段が用いるハッシュ関数と同じものである。
従って、キーフィールドにインデックスキーを格納せずとも、キーフィールドに格納されている値と、キーフィールドに付与されているフィールド値とを用いて、インデックスキーを容易に求めることができる。しかも、キーフィールドに格納すべきデータの情報量を低減することができる。
このために、画像登録の際、キー発行手段は、旧いキー管理テーブルを参照し、特徴算出手段が算出した特徴量に関連付けてインデックスキーが登録されているか否かを判定し、登録されていると判定した場合、登録されているインデックスキーのハッシュ値に等しいハッシュ値を有するインデックスキーを発行する。
新規登録すべきキー管理テーブル及び特徴管理テーブルに対するインデックスキーの新規登録が終了した後で、即ち新しい各種管理テーブルの新規登録が終了した後で、新規登録が終了した新しい各種管理テーブルは、既に新規登録が終了している旧い各種管理テーブルにマージされる。
以上の結果、既に新規登録が終了している旧い各種管理テーブルに、重複する特徴量が登録されることを防止することができる。
更に画像登録手段は、新規登録が終了した新しい特徴管理テーブルに登録されている識別情報及び新インデックスキーを、新インデックスキーをこの新インデックスキーに対応付けられている旧インデックスキーを変換して、既に新規登録が終了している旧い各種管理テーブルに登録する。
以上の結果、既に新規登録が終了している旧い各種管理テーブルに、重複していない特徴量を登録することができる。
このために、検索手段は、情報キー探索手段及び情報付与手段を更に有し、画像登録手段は、第2の登録判定手段、第2のキー発行手段、第2のキー管理登録手段及び第2の特徴管理登録手段を更に有する
キー管理テーブルでは、特徴量又は画像に付属する付属情報と、インデックスキーとが関連付けられる。ここで、付属情報とは、蓄積画像を作成した作者の名前、作成年月日等を示す情報である。
具体的には、第2の登録判定手段は、キー管理テーブルを参照し、リレーショナル・データベースに登録すべき画像の付属情報(以下、登録付属情報という)に関連付けてインデックスキーが既に登録されているか否かを判定する。
第2の登録判定手段が否(即ち登録付属情報がまだ登録されていない)と判定した場合、第2のキー発行手段は、登録付属情報に対してインデックスキーを発行する。第2のキー管理登録手段は、第2のキー発行手段が発行したインデックスキーと、登録付属情報とを関連付けてキー管理テーブルに登録する。
以上のように、付属情報は特徴量と同様にキー管理テーブルに登録されているため、付属情報を登録するためのテーブルを別途準備する必要がない。また、特徴量のインデックスキーの比較によって類似画像を探し出す処理と同様にして、付属情報のインデックスキーの比較によって、特徴量に基づく検索の結果を更に絞込む処理を実行することができる。
画像登録手段のキー管理登録手段は、特徴量とインデックスキーとを関連付けてキー管理テーブルに登録する際に、この特徴量とインデックスキーとに更に関連付けて、枚数情報を登録する。また、枚数計数手段は、特徴算出手段が算出した特徴量に関連付けてインデックスキーが既に登録されていると判定した場合、登録されているインデックスキーに関連付けられている枚数情報を増加させる。
多数枚の蓄積画像に共通の普遍的な特徴量は、蓄積画像同士を識別する役には立ち難い。逆に、少数枚の蓄積画像に共通の特徴量は、蓄積画像同士を識別する場合に有用である。
以上の結果、効率よく画像を検索することができる。
つまり、指定画像の類似画像が表示部に表示されるまで、検索作業者が長時間待たされることがなく、類似画像の候補の中に検索作業者が所望する画像が存在する場合はこの時点で画像の検索を打ち切ることもできるため、検索作業者の利便性を向上させることができ、また、検索の効率を向上させることができる。
リレーショナル・データベースから画像の登録を抹消する場合は、蓄積部に蓄積されている蓄積画像と、この蓄積画像の識別情報を削除する必要がある。また、蓄積部から削除された蓄積画像のみが有する特徴量及びこの特徴量のインデックスキーを削除する必要があるが、これらの削除には長時間を要する。
このために無効付与手段は、リレーショナル・データベースから画像の登録を抹消する際、少なくとも特徴管理テーブルについて、登録を抹消すべき画像の識別情報に対し、無効を意味する無効情報を付与する。
以下では、無効情報が付与されている識別情報(即ち登録が抹消された画像の識別情報)を抹消識別情報という。
また、無効情報を削除することによって、画像の登録抹消を容易に取り消すことができる。更に、例えば画像の検索、登録等が実行されない夜間、休日等に、抹消識別情報、抹消識別情報を有する蓄積画像、及びこの蓄積画像のみに関わるインデックスキーを、まとめて削除することができるため、画像の登録抹消を実行することによってリレーショナル・データベースがロックされ、画像の検索、登録等が実行できなくなることを防止することができる。
図1は、本発明の実施の形態1に係る画像検索装置の全体的な構成を示す模式図である。
図中1は画像検索装置であり、画像検索装置1は、夫々計算機を用いてなる蓄積DBサーバ2、検索DBサーバ3、特徴抽出サーバ4、検索実行サーバ5、入力側端末機6、及び出力側端末機7、並びにLAN8を備える。ここで、DBとはデータベースの略であり、LANとはローカル・エリア・ネットワークの略である。
各種サーバ2,3,4,5及び各種端末機6,7は夫々LAN8に接続されており、LAN8を介して互いに通信可能にしてある。各計算機は、後述するように、蓄積部90、各種管理テーブル、検索手段が有する各手段、表示部63、画像登録手段が有する各手段の内の1つ以上を備える。
図中の白抜矢符は画像を登録する際の各種データの主要な流れを示し、矢符は画像を検索する際の各種データの主要な流れを示している。
蓄積DBサーバ2は、蓄積DBサーバ2の制御中枢であるCPU20と、制御プログラム及びデータ等が記憶されているROM21と、一次記憶装置として用いられるRAM22と、二次記憶装置として用いられるHDD23と、LAN8に接続するためのI/F(インタフェース)24とを備える。
同様に、検索DBサーバ3は、CPU30とROM31とRAM32とHDD33とI/F34とを備え、特徴抽出サーバ4は、CPU40とROM41とRAM42とHDD43とI/F44とを備え、検索実行サーバ5は、CPU50とROM51とRAM52とHDD53とI/F54とを備える。
同様に、出力側端末機7は、CPU70とROM71とRAM72と表示部73と操作部74とHDD75とI/F76とを備える。
入力側端末機6は、画像検索装置1に画像を登録する登録作業者が使用し、出力側端末機7は、画像検索装置1で画像を検索する検索作業者が使用する。
以下では、まずHDD33に各1個のキー管理テーブル92と特徴管理テーブル93とが記憶されている場合を説明し、次に各複数個のキー管理テーブル921,…,92Nと特徴管理テーブル931,…,93Nとが記憶されている場合を説明する。
また、画像検索装置1に画像を登録する手順を先に説明し、次いで、画像検索装置1で画像を検索する手順を説明する。
まず、入力側端末機6で実行される画像読込処理について説明する。
入力側端末機6のCPU60は、表示部63を制御して、登録作業者に画像を登録させるための画面を表示させて、画像検索装置1に登録すべき画像を読み込むための読込指示を受け付ける(S11)。ここで、登録作業者は、スキャナ67に原稿をセットし、表示部63を視認しながら操作部64を操作して、原稿画像の読込指示を入力する。
次にCPU60は、表示部63を制御して、登録作業者に付属情報を入力させるための画面を表示させて、付属情報を受け付ける(S14)。登録作業者は、表示部63に表示された画面を視認しながら、操作部64を操作して付属情報を入力する。
複数枚の画像を登録する場合は、S11〜S16の処理が繰り返し実行される。なお、S15及びS16で複数枚の画像が送信される構成でもよい。ただしこの場合、例えばCPU60が各画像に連番を振り、この連番と共に画像を送信することによって、後述するように蓄積DBサーバ2及び特徴抽出サーバ4夫々で発行される画像IDに齟齬が生じないようにするか、又は、入力側端末機6で画像IDを発行して、発行した画像IDと共に画像を送信する。
蓄積DBサーバ2のCPU20は、入力側端末機6から画像を受信したか否かを判定し(S18)、受信していない場合は(S18でNO)、S18の処理を繰り返し実行する。入力側端末機6から画像を受信した場合(S18でYES)、CPU20は、蓄積実行処理を行なうサブルーチン(図6参照)を呼び出し、実行する(S19)。
S19の処理完了後、CPU20はS18へ処理を戻す。
特徴抽出サーバ4のCPU40は、入力側端末機6から画像及び付属情報を受信したか否かを判定し(S20)、受信していない場合は(S20でNO)、S20の処理を繰り返し実行する。画像及び付属情報を受信した場合(S20でYES)、CPU40は、特徴抽出処理を行なうサブルーチン(図7参照)を呼び出し、実行する(S21)。
S21の処理完了後、CPU40はS20へ処理を戻す。S20で受信した画像及び付属情報は、HDD43に記憶させてもよいが、S21の処理完了後に削除することが望ましい。
蓄積DBサーバ2のCPU20は、S18で受信した画像を蓄積部90に蓄積させる(S31)。つまりS31におけるCPU20は、蓄積制御手段として機能する。S31の処理を実行する前に、ファイル名が等しい画像が既に蓄積されている場合は、誤って上書きしないように、例えば蓄積部90に設けた別個のサブ・フォルダに蓄積する。
蓄積管理テーブル91における主キーは画像IDである。また、画像IDが4バイト整数であるため、1個の蓄積管理テーブル91には、約232枚の画像を登録することができる。
S33の処理完了後、CPU20は、処理を蓄積側受信処理のルーチンへ戻す。
以下では、蓄積部90に蓄積されている画像を蓄積画像という。
まず、特徴抽出サーバ4で実行される特徴抽出処理について説明する。
特徴抽出サーバ4のCPU40は、S20で受信した画像に対して画像IDを発行する(S41)。つまりS41におけるCPU40は、情報発行手段として機能する。S20で受信した画像とは、S31で蓄積部90に蓄積される蓄積画像に等しく、S41の処理で発行されるIDは、S32の処理で発行される画像IDに等しい。
更に、CPU40は、S20で受信した画像に基づいて、この画像の特徴を数値的に示す特徴量を抽出する(S42)。つまり、S42におけるCPU40は、特徴算出手段として機能する。
S42の処理完了後、CPU40は、S41で発行した画像IDと、S42で抽出した約7千個の特徴量と、S20で受信した付属情報とを関連付けて、検索DBサーバ3へ送信し(S43)、処理を抽出側受信処理のルーチンへ戻す。
検索DBサーバ3のCPU30は、特徴抽出サーバ4から画像ID、特徴量及び付属情報を受信したか否かを判定し(S44)、受信していない場合は(S44でNO)、S44の処理を繰り返し実行する。画像ID、特徴量及び付属情報を受信した場合(S44でYES)、受信した画像ID、特徴量及び付属情報をHDD33に一時的に記憶させてから、テーブル管理処理を行なうサブルーチン(図8参照)を呼び出し、実行する(S45)。
S45の処理完了後、CPU30はS44へ処理を戻す。
このために、画像IDと特徴量との対応関係を、画像IDとインデックスキーとの対応関係、及び、インデックスキーと特徴量との対応関係に分割しておく必要がある。
以下では、まず、特徴量のみを登録する場合について説明し、次に、特徴量及び付属情報の両方を登録する場合について説明する。
キー管理テーブル92における主キーはインデックスキーである。
本実施の形態におけるインデックスキーは4バイト整数であり、原則として連番で『0x00000001』から順に採番される。また、本実施の形態では、『0x00000000』は、キーフィールドにインデックスキーが格納されていないことを示すキー未格納情報として用いられる。つまり、インデックスキーが格納されているキーフィールドには、『0x00000001』以上の4バイト整数が格納されており、インデックスキーが格納されていないキーフィールドには、『0x00000000』が格納されている。
また、検索精度を向上させるために、20バイト数列よりも更にデータ長が長い特徴量が登録される画像検索装置を構成しても、インデックスキーのデータ長が同じ4バイト整数であれば、この画像検索装置の検索時間と画像検索装置1の検索時間とは、ほとんど変わらない。つまり、検索時間を大幅に増大させることなく、検索精度を向上させることが容易である。
キー管理テーブル92の容量を節約し、また、検索の手間を省くために、同一の特徴量又は付属情報には異なるインデックスキーが発行されないようにする必要がある。従って、インデックスキーの発行前には、登録すべき特徴量又は付属情報に一致する特徴量がキー管理テーブル92に登録されていないことが予め確認される。
16個のキーフィールドには、4ビットのデータ長を有する整数を用いてなる相異なるフィールド値『0x0』,『0x1』,…,『0xF』が夫々付与されている。
登録処理の演算時間を短縮すべく、本実施の形態では特徴管理テーブル93の各レコードに複数個の特徴量フィールドが設けられている。
以上のことから、キー管理テーブル92及び特徴管理テーブル93のデータ量の合計は、従来の画像検索装置の画像管理テーブルのデータ量よりも大幅に増大することはなく、蓄積画像の枚数及び内容等によっては、むしろ減少する可能性もある。
例えば、『0x00000001』という第1の画像IDに関連付けられて、『0x1122334455667788990011223344556677889900』という第1の特徴量と、『0x0011223344556677889999887766554433221100』という第2の特徴量とが、この順で与えられた場合、『0x00000001』という第1のインデックスキーと、『0x00000002』という第2のインデックスキーとが、この順で発行される。
また、IDフィールドに第1の画像IDを格納し、フィールド値『0x0』のキーフィールドに第1のインデックスキーを格納し、フィールド値『0x1』のキーフィールドに第2のインデックスキーを格納し、フィールド値『0x2』〜『0xF』のキーフィールドにキー未格納情報を格納してあるレコードが、特徴管理テーブル93に挿入される。
また、IDフィールドに第2の画像IDを格納し、フィールド値『0x0』のキーフィールドに第2のインデックスキーを格納し、フィールド値『0x1』のキーフィールドに第3のインデックスキーを格納し、フィールド値『0x2』〜『0xF』のキーフィールドにキー未格納情報を格納してあるレコードが、特徴管理テーブル93に挿入される。
本実施の形態におけるハッシュ関数は、インデックスキーを“16”(即ちレコード1件当たりのキーフィールドの個数M)で除算した剰余を求める関数である。つまり、“フィールド値”=“ハッシュ値”=“インデックスキー”%“M”である。
従って、ハッシュ値の算出処理、及びハッシュ値に等しいフィールド値が付与されているキーフィールドにインデックスキーを格納する処理は、画像登録時の演算時間を大幅に増大させることはない。
具体的には、例えばIDフィールドに第1の画像IDを格納し、フィールド値『0x1』のキーフィールドに、ハッシュ値『0x1』の第1のインデックスキーを格納し、フィールド値『0x2』のキーフィールドにハッシュ値『0x2』の第2のインデックスキーを格納し、フィールド値『0x0』及び『0x3』〜『0xF』のキーフィールドにキー未格納情報を格納してあるレコードが、特徴管理テーブル93に挿入される。
図14に示す特徴管理テーブル93には、前述の第1〜第3の画像IDに係るインデックスキーと、第4の画像IDに係るインデックスキーとが記載されている。
第4の画像IDには、ハッシュ値『0x0』のインデックスキーと、第1〜第3のインデックスキーと、ハッシュ値『0x4』〜『0xF』のインデックスキーとが関連付けられている。
結果テーブル95は、画像検索の際に、検索実行サーバ5のCPU50が生成してRAM52に一時的に記憶させる。
検索作業者が、指定画像の画像IDとして第1の画像IDを指定した場合、結果テーブル95には、第2〜第4の画像ID夫々について、各画像IDが格納されたIDフィールドと、投票数“0”が格納された投票数フィールドとが関連付けられているレコードが設けられる。
一方、フィールド値『0x1』以外のフィールド値が付与されているキーフィールドは注目されない。何故ならば、第1のインデックスキーは最下位ニブルが『0x1』であり、フィールド値『0x1』以外のフィールド値が付与されているキーフィールドには、最下位ニブルが『0x1』であるインデックスキーは格納されていないことが自明だからである。
マッチングの結果として図15(b)に示すような投票数が得られた場合、第4の画像IDに係る投票数が最も多いため、第4の画像IDを有する蓄積画像が、指定画像の類似画像として蓄積部90から取得され、取得された類似画像が、出力側端末機7の表示部73に表示される。又は、投票数が多い順に適宜の枚数の類似画像が取得されて表示部73に表示される。ただし、画像IDに係る投票数が所定の最低投票数を下回る場合、この画像IDに係る蓄積画像は取得されず、投票数が所定の最低投票数以上である画像IDが存在しない場合は、類似画像が存在しないことを示すテキスト、アイコン等が表示部73に表示される。
図16は、本発明の実施の形態1に係る画像検索装置のキー管理テーブル91を説明する模式図である。図に示すように、キー管理テーブル92には、キーフィールドと特徴量フィールドとが関連付けられているレコードが設けられている。ただし、図中のインデックスキーは下4桁が記載されており、特徴量は途中が省略されている。
しかしながら、更に積極的にレコード件数を低減するためには、次のような手順でインデックスキーを発行することが望ましい。
この場合、空きキーフィールドに格納可能なインデックスキーは、ハッシュ値『0x0』〜『0x2』及び『0x4』〜『0xF』を有するインデックスキーであり、インデックスキー『0x00000020』〜『0x00000022』及び『0x00000014』〜『0x0000001F』が該当する。これらのインデックスキーの内、最小値は『0x00000014』である。このため、未登録特徴量に対して、インデックスキー『0x00000014』が発行される。
以上の結果、図示はしないが、第3の画像IDに関連付けて2個のインデックスキーを特徴管理テーブル93に登録するためのレコード件数が、1件に低減される。
図14に示すように、各キーフィールドに格納されているインデックスキーの最下位ニブルと、各キーフィールドに付与されているフィールド値とは一致している。つまり、各キーフィールドに格納されているインデックスキーの最下位ニブルは冗長な情報である。
この冗長な情報を削除して特徴管理テーブル93のデータ量を更に低減するためには、各キーフィールドに、4バイト整数であるインデックスキーの上位28ビット整数を格納すればよい。このとき、キーフィールドに格納されている28ビット整数と、このキーフィールドのフィールド値とに基づいて、インデックスキーは容易に求められる。
なお、各レコードに256個のキーフィールドを設けて、インデックスキーの下位8ビットをハッシュ値として用いる場合は、インデックスキーの格納値として、インデックスキーを8ビットだけ右シフトした値が用いられる。この結果、格納値のデータ長はインデックスキーのデータ長よりも1バイト短縮されるため、特徴管理テーブル93のデータ量は更に低減される。
本実施の形態では、キー管理テーブル92に、特徴量又は付属情報とインデックスキーとが関連付けて登録されるようにしてあり、特徴管理テーブル93に、画像IDと、特徴量又は付属情報のインデックスキーとが関連付けて登録されるようにしてある。
付属情報は、特徴量に基づく検索の結果を更に絞込むために用いられる。つまり、類似画像を求めるために、指定画像の特徴量と付属情報とのAND検索が実行される。
この場合、リレーショナル・データベースでは、特徴管理テーブル93を用いたマッチング処理を行なった後、マッチング処理によって生成された結果テーブル95と付属情報管理テーブルとを結合してなるテーブルを用いて、特徴量に基づく検索結果の付属情報による絞込み処理を実行しなければならない。この結果、検索時間が増大し、また、RAM52に一時的に記憶されるテーブルのデータ量が増大するという問題がある。
ここでは、画像を作成した作者の名前(以下、ユーザ名という)を付属情報としてキー管理テーブル92に登録し、また、付属情報のインデックスキーを特徴管理テーブル93に登録し、更に、特徴量のインデックスキーを介したマッチングを行なって、特徴量に基づく検索結果をユーザ名で絞込む場合について例示する。
付属情報であるユーザ名は、20バイトのデータ長を有する文字列(以下、20バイト文字列という)として表される。
具体的には、特徴量の先頭1バイトに、特徴量であることを示す先頭情報『00』が付加され、ユーザ名の先頭1バイトには、付属情報であることを示す先頭情報『01』が付加される。
このようにして、21バイトのデータ長を有する特徴量及び付属情報夫々は、前述したような20バイト数列である特徴量をキー管理テーブル92に登録する手順と同様の手順で、インデックスキーに関連付けられてキー管理テーブル92に登録される。また、特徴量及び付属情報夫々のインデックスキーは、画像IDに関連付けられて、特徴管理テーブル93に登録される。
また、付属情報としてユーザ名と作成年月日とを用いる場合、ユーザ名であることを示す先頭情報と、作成年月日であることを示す先頭情報とを異ならせてもよい。
本実施の形態においては、検索作業者は、蓄積部90に蓄積されている蓄積画像を指定画像として指定する。この場合、まず、蓄積管理テーブル91が参照されて、指定画像として指定された蓄積画像に関連付けられている画像IDが特定される。ここで特定された画像IDが、検索作業者が指定した指定画像の画像IDである。
画像IDが特定された後、特定された画像IDを除く蓄積画像の画像ID夫々について、各画像IDが格納されたIDフィールドと、投票数“0”が格納された投票数フィールドと、付属情報が一致していることを示す一致情報、及び付属情報が一致していないことを示す不一致情報の何れか一方を格納する一致/不一致フィールドとが関連付けられているレコードが設けられる。
図17には、マッチングによって、画像ID『0x00000001』(以下、第1の画像IDという)に関連付けて投票数“2000”という結果が得られ、画像ID『0x00000002』(以下、第2の画像IDという)に関連付けて投票数“3000”という結果が得られた場合が例示されている。
仮に、付属情報による絞込み処理を実行しない場合は、第2の画像IDを有する蓄積画像が、第1の画像IDを有する蓄積画像よりも優先的に、指定画像の類似画像として出力側端末機7の表示部73に表示される。
図17には、絞込みによって、第1の画像IDに関連付けて一致情報が付与され、第2の画像IDに関連付けて不一致情報が付与された場合が例示されている。
複数の付属情報(例えばユーザID、作成年月日及びサイズ)が指定された場合、指定された複数の付属情報夫々について付属情報の一致/不一致が判定される。AND検索(又はOR検索)を行なう場合、全ての付属情報(又は何れか一つの付属情報)が一致する蓄積画像は、類似画像としての表示部73に表示され、何れか一つの付属情報(又は全ての付属情報)が一致しない蓄積画像は、蓄積部90から取得されることはない。
指定された付属情報がキー管理テーブル92に登録されていない場合、検索作業者が指定した付属情報が付属する蓄積画像が蓄積部90に蓄積されていないため、出力側端末機7の表示部73に、類似画像が存在しないことを示すテキスト、アイコン等が表示される。
指定された付属情報がキー管理テーブル92に登録されている場合は、指定された付属情報に関連付けられているインデックスキーが特定される。
一方、検索作業者が蓄積画像以外の画像を指定画像として指定する場合は、指定画像の特徴量が抽出され、抽出された特徴量に、特徴量であることを示す情報『00』を付加した上で、この特徴量に一致する特徴量がキー管理テーブル92に登録されているか否かが判定され、既にキー管理テーブル92に登録されている特徴量に関連付けられているインデックスキーが特定される。抽出された特徴量の内、まだキー管理テーブル92に登録されていない特徴量は無視される。何故ならこの特徴量を有する蓄積画像が蓄積部90に蓄積されていないことが自明だからである。
また、n+1個目のキー管理テーブル92n+1と、このキー管理テーブル92n+1に対応する特徴管理テーブル93n+1との組が新たに設けられ、これらの各種管理テーブルを、新規登録すべき各種管理テーブルとするテーブル情報が情報管理テーブル94に登録される。
また、以下では、先代の各種管理テーブルとして1個目のキー管理テーブル921及び特徴管理テーブル931の組と2個目のキー管理テーブル922及び特徴管理テーブル932の組とを例示し、現行の各種管理テーブルとして3個目のキー管理テーブル923及び特徴管理テーブル933の組を例示する。キー管理テーブル921,922,923(及び特徴管理テーブル931,932,933)は、この順に生成されるものとする。
また、指定された指定画像の画像IDが特徴管理テーブル933に登録されているか否かを判定し、登録されていない場合は、特徴管理テーブル932に登録されているか否かを判定し、更に登録されていない場合は、特徴管理テーブル931に登録されているか否かを判定して、指定画像の画像IDに関連付けられているインデックスキーが特定される。
特徴管理テーブル932に関するマッチング処理が終了した後、キー管理テーブル922が参照され、指定画像に係るインデックスキーに関連付けられている特徴量が探し出される。
最後に、指定された指定画像の画像IDが登録されていない他の特徴管理テーブル(この場合、特徴管理テーブル931)に対応するキー管理テーブル921が参照されて、探し出された特徴量に関連付けられているインデックスキーが特定され、特定されたインデックスキーについて、特徴管理テーブル931に関してマッチング処理が実行される。
このため、古い蓄積画像(例えば蓄積されてから所定の年数が経過した蓄積画像)の画像ID及び特徴量が登録されているキー管理テーブル921〜92n及び特徴管理テーブル931〜93nの組は画像の検索に用いず、キー管理テーブル92n+1〜92N及び特徴管理テーブル93n+1〜93Nの組を画像の検索に用いることが考えられる。この場合、キー管理テーブル921〜92n及び特徴管理テーブル931〜93nの組と、これらの各種管理テーブルに関連付けて情報管理テーブル94に登録されているテーブル情報とは、HDD33から、HDD33よりも大容量且つ読み書きの速度が遅い他の二次記憶装置へ移動させてもよい。
以上のような場合、画像の検索に用いるべき各種管理テーブルが限定されるため、全ての各種管理テーブルを画像の検索に用いる場合と比べて、検索時間が短縮される。
しかしながら、例えば所定の期間毎に、n個目のキー管理テーブル92n及び特徴管理テーブル93nの組を先代の各種管理テーブルとして、新たにn+1個目のキー管理テーブル92n+1及び特徴管理テーブル93n+1の組を生成する場合は、キー管理テーブル92nが満杯になっていないことがある。
この場合、キー管理テーブル921が満杯になっていなければ、キー管理テーブル921にキー管理テーブル922をマージ(即ち併合)し、特徴管理テーブル931に特徴管理テーブル932をマージすることが可能である。
また、画像を検索する際は、特徴管理テーブル931及び特徴管理テーブル932の両方に亘ってマッチングを実行せずに、1個の特徴併合テーブル930を用いてマッチングを実行することができる。従って、インデックスキーを特徴量に戻してから再変換する処理が不要になり、検索時間が短縮される。
新インデックスキーから旧インデックスキーへの変換処理としては、キー管理テーブル921にて使用されているインデックスキーの最大値よりも大きく、且つ、ハッシュ値が『0x0』である値mを新インデックスキーに加算する処理が最も簡単である。
しかしながら、同一の特徴量に対してキー管理テーブル921にて関連付けられている旧インデックスキーとキー管理テーブル922にて関連付けられている新インデックスキーとは異なる。このため、特徴管理テーブル932に登録されている画像IDと、この画像IDに関連付けられている新インデックスキーに対応する旧インデックスキーとを、特徴併合テーブル930に登録する必要がある。
生成されたキー併合テーブル920及び特徴併合テーブル930が他の二次記憶装置へ移動された場合、これらに対応して情報管理テーブル94に登録されているテーブル情報も他の二次記憶装置へ移動される。更に、特徴併合テーブル930に登録されている画像IDを有する蓄積画像と蓄積管理テーブル91の登録内容とが他の二次記憶装置へ移動される。
また、キー管理テーブル921にキー管理テーブル922に登録されているレコードを全てマージすることができない場合は、キー管理テーブル921,922の両方に登録されている特徴量を格納しているレコードを優先的にマージすることが望ましい。
更に、マージされたキー管理テーブルにて、同一の特徴量に異なる複数個のインデックスキーが関連付けられており、しかも、複数個のインデックスキーを同一のインデックスキーに変換することが困難である場合は、例えばマッチングの際に、1個の特徴量に対して複数個のインデックスキー全てを特定する必要がある。
現行のキー管理テーブルが満杯である場合、現行のキー管理テーブルには特徴量及びインデックスキーを登録することができないので、キー管理テーブル及び特徴管理テーブルの組を世代交代する必要がある。具体的には、登録側受信処理のS44の処理で受信した特徴量の個数が、現行のキー管理テーブルに挿入可能なレコードの残り件数を超過している場合、現行のキー管理テーブルが満杯であると判定される。
世代交代をする場合(S51でYES)、CPU30は、現行の各種管理テーブルの組(例えばキー管理テーブル922及び特徴管理テーブル932の組)が先代の管理テーブルの組となるよう情報管理テーブル94に登録されているテーブル情報を更新する(S52)
次いで、CPU30は新たな各種管理テーブルの組(この場合、キー管理テーブル923及び特徴管理テーブル933の組)を生成し(S53)、新たな各種管理テーブルの組が現行の管理テーブルの組となるよう情報管理テーブル94にテーブル情報を登録する(S54)
S55の処理完了後、CPU30は処理を登録側受信処理のルーチンへ戻す。
以下では、現行の各種管理テーブルの組として、キー管理テーブル923及び特徴管理テーブル933の組を例示し、先代の各種管理テーブルの組として、キー管理テーブル921,922及び特徴管理テーブル931,932の組を例示する。
CPU30は、先頭情報が付加された特徴量(又は付属情報)の内の1つを適宜に選択し(S62)、選択した特徴量(又は付属情報)が、現行のキー管理テーブル923に既に登録されているか否かを判定する(S63)。このためにCPU30は、現行のキー管理テーブル923の特徴量フィールドを検索して、S62の処理で選択した特徴量(又は付属情報)に一致する特徴量(又は付属情報)が存在するか否かを判定する。
S44で受信した特徴量及び付属情報が全てS62の処理で選択された場合(S66でYES)、S44で受信した特徴量及び付属情報が全て既登録及び未登録の何れか一つに分類されたため、CPU30は処理をS67へ移す。
S67の処理完了後、CPU30は、S64の処理で既登録に分類された特徴量及び付属情報を処理対象にして、特徴管理格納処理を行なうサブルーチン(図12参照)を呼び出し、実行する(S68)。
S68の処理完了後、CPU30はS81へ処理を戻す。
次に、CPU30は、S73で算出したハッシュ値に等しいフィールド値が付与されている空きキーフィールドが、RAM32に記憶されている特徴管理レコードに存在するか否かを判定し(S74)、存在しない場合は(S74でNO)、新たな特徴管理レコードを生成して(S75)、RAM32に一時的に記憶させる。
処理対象である特徴量及び付属情報が全てS71で選択された場合(S77でYES)、これらの特徴量及び付属情報夫々のインデックスキーが全て特徴管理レコードに格納されたため、CPU30は、処理を登録実行処理のルーチンへ戻す。
S83で選択した特徴量(又は付属情報)が先代のキー管理テーブル921,922にまだ登録されていない場合(S84でNO)、CPU30は処理をS87へ移す。この場合、S83で選択した特徴量(又は付属情報)は未登録の特徴量のままである。
S65の処理で未登録に分類された特徴量及び付属情報が全てS83で選択された場合(S87でYES)、CPU30は、S86の処理で既登録に分類された特徴量及び付属情報と、これらの特徴量及び付属情報夫々に関連付けられているハッシュ値(即ちS85で算出したハッシュ値)とを処理対象にして、キー管理格納処理を行なうサブルーチン(図13参照)を呼び出し、実行する(S88)。
S68の処理完了後、CPU30はS111へ処理を戻す。
このような空きキー管理レコードが存在しない場合(S92でNO)、CPU30は、S91で選択した特徴量(又は付属情報)に対応付けられているハッシュ値に等しいハッシュ値を有し、且つ、現行のキー管理テーブル923でまだ使用されていないインデックスキーを発行する(S93)。
S95の処理完了後、CPU30は、S95で発行したインデックスキーと特徴未格納情報とが格納されている空きキー管理レコードを現行のキー管理テーブル923に挿入する(S96)。
処理対象である特徴量及び付属情報が全てS91で選択された場合(S99でYES)、CPU30は、処理を登録実行処理のルーチンへ戻す。
S111の処理完了後、CPU30は、S86の処理完了後にも未登録に分類されている特徴量及び付属情報が存在するか否かを判定し(S112)、存在する場合(S112でYES)、処理をS113へ移す。
S116の処理完了後、又は、S114でNOの場合、CPU30は、S86の処理完了後にも未登録に分類されている特徴量及び付属情報が全てS113で選択されたか否かを判定し(S117)、まだ選択されていない特徴量又は付属情報が存在する場合は(S117でNO)、処理をS113へ戻す。
S123で呼び出した特徴管理格納処理の処理完了後、CPU30は、RAM32に記憶されている特徴管理レコードを、全て現行の特徴管理テーブル933に挿入し(S124)、処理をテーブル管理処理のルーチンへ戻す。
更にまた、図10に示すように、S86の処理で全ての特徴量及び付属情報が既登録に分類されており、未登録に分類されている特徴量及び付属情報が存在しない場合(S112でNO)、全ての特徴量及び付属情報夫々のインデックスキーが全て特徴管理レコードに格納されたため、処理をS124へ移す。
また、図11に示すように、S116の処理完了後、未登録に分類されている特徴量及び付属情報が存在しない場合(S120でNO)、全ての特徴量及び付属情報夫々のインデックスキーが全て特徴管理レコードに格納されたため、処理をS124へ移す。
CPU30は、変数kを“1”インクリメントして(S134)、後述するS138及びS141で変換前後のインデックスキーを対応付けるための対応テーブル96を生成してRAM32に一時的に記憶させる(S135)。次いでCPU30は、k個目のキー管理テーブル92kにて、1件のキー管理レコードを適宜に選択し(S136)、選択したキー管理レコードに格納されている特徴量(以下、選択特徴量という)に一致する特徴量が、キー併合テーブル920に登録されているか否かを判定する(S137)。
S138又はS141の処理完了後、CPU30は、k個目のキー管理テーブル92kに設けられている全てのキー管理レコードがS136にて選択されたか否かを判定し(S142)、まだ選択されていないキー管理レコードが存在する場合は(S142でNO)、処理をS136へ戻す。
次いでCPU30は、変数kが個数K以上であるか否かを判定し(S145)、k<Kである場合は(S145でNO)、処理をS134へ移す。
S134〜S145の処理を繰り返すことによって、k個目のキー管理テーブル92k及び特徴管理テーブル93kは、1個目〜k−1個目のキー管理テーブル1〜92k−1及び特徴管理テーブル1〜93k−1がマージされているキー併合テーブル920及び特徴併合テーブル930にマージされる。
S147の処理で更新されたテーブル情報には、例えば1個目〜K個目の各種管理テーブルがキー併合テーブル920及び特徴併合テーブル930にまとめられていることを示す情報が含まれ、また、K+1個目〜N個目の各種管理テーブルを、新たな1個目〜N−K個目の各種管理テーブルとする情報が含まれる。
また、各種併合テーブル920,930のアーカイブに伴い、図示はしないが、情報管理テーブル94に登録されているテーブル情報、蓄積部90に蓄積されている蓄積画像、及びHDD23に記憶されている蓄積管理テーブル91の登録内容が他の二次記憶装置にてアーカイブされ、元のデータは削除される。
図20は、出力側端末機7で実行される画像表示処理(前半部分)及び蓄積DBサーバ2で実行される蓄積画像送信処理夫々の手順を示すフローチャートであり、図21は、出力側端末機7で実行される画像表示処理(後半部分)、検索実行サーバ5で実行される結果送信処理、及び蓄積DBサーバ2で実行される類似画像送信処理夫々の手順を示すフローチャートである。
検索指示を受け付けたCPU70は、蓄積画像リストを要求するリスト要求を蓄積DBサーバ2へ送信し(S152)、蓄積DBサーバ2から蓄積画像リストを受信したか否かを判定して(S153)、まだ受信していない場合(S153でNO)、S153の処理を繰り返し実行する。
出力側端末機7からリスト要求を受信した場合(S154でYES)、CPU20は、蓄積画像リストを生成して出力側端末機7へ送信し(S155)、処理をS154へ戻す。
なお、画像の登録の際に、蓄積画像を作成した作者の名前、画像検索装置1に登録された登録年月日等の付属情報を蓄積管理テーブル91に登録し、これらの付属情報を蓄積画像リストに含ませてもよい。
以下では、検索作業者が操作部74から直接的に入力した1個のユーザ名を付属情報として指定した場合を例示する。
指定画像及び付属情報が指定された場合(S157でYES)、CPU70は、図21に示すように、指定された蓄積画像に関連付けられている画像IDと指定された付属情報とを検索実行サーバ5へ送信する(S158)。
S158の処理完了後、CPU70は、検索実行サーバ5から検索結果情報を受信したか否かを判定して(S159)、まだ受信していない場合(S159でNO)、S159の処理を繰り返し実行する。
出力側端末機7から画像ID及び付属情報を受信した場合(S160でYES)、CPU50は、受信した画像ID及び付属情報をRAM52に一時的に記憶させてから、画像検索処理を行なうサブルーチン(図22〜図23参照)を呼び出し、実行する(S161)。
S161の処理完了後、CPU20は、S161で呼び出した画像検索処理によって得られた検索結果情報を出力側端末機7へ送信し(S162)、処理をS160へ戻す。
出力側端末機7から画像IDを受信した場合(S167でYES)、CPU20は、蓄積管理テーブル91を参照して、S167で受信した画像IDを有する蓄積画像を読み出し、出力側端末機7へ送信して(S168)、処理をS167へ戻す。
なお、投票数が多い順に類似画像を並べるのみならず、類似度が少ない順、ファイル名、作成年月日、ユーザ名、登録年月日等の昇順/降順に並べ替え可能であるようにしてもよい。
図22に示すように、検索実行サーバ5のCPU50は、各種管理テーブルを要求するテーブル要求を検索DBサーバ3へ送信し(S181)、検索DBサーバ3から各種管理テーブルを受信したか否かを判定して(S182)、まだ受信していない場合(S182でNO)、S182の処理を繰り返し実行する。
検索実行サーバ5からテーブル要求を受信した場合(S183でYES)、CPU30は、1個目〜N個目のキー管理テーブル921〜92N及び特徴管理テーブル931〜93Nと情報管理テーブル94とを読み出して検索実行サーバ5へ送信し(S184)、処理をS183へ戻す。
次いで、CPU50は、結果送信処理のS160で受信した付属情報に、先頭情報『01』を付加する(S185)。S185で先頭情報『01』を付加した付属情報とは、検索作業者が指定した付属情報に、先頭情報を付加したものである。以下では、この付属情報を指定付属情報という。
更にCPU50は、S182で受信した1個目〜N個目のキー管理テーブル921〜92Nの特徴量フィールドを検索して、指定付属情報に一致する付属情報が存在するか否かを判定する(S186)。
更にCPU50は、キー管理テーブル92Jを参照して、指定特徴キーに関連付けられている特徴量を指定特徴量として区別しておく(S191)。指定特徴量は、後述するS201の処理で利用される。
指定付属情報に一致する付属情報がキー管理テーブル92Jに登録されている場合(S193でYES)、CPU50は、指定付属情報に一致する付属情報に関連付けられているインデックスキー(以下、指定付属キーという)を特定する(S194)。
S195及びS196の処理が実行されることによって、図17に示すような結果テーブル95が得られる。
S196の処理完了後、CPU50は、変数jに“1”を代入し(S197)、処理をS198へ移す。
S204の処理完了後、CPU50は、変数jを“1”インクリメントし(S205)、処理をS198へ移す。
一方、類似画像が存在しないことがわかった(即ち、各画像IDに関連付けられている投票数が、所定の最低投票数未満であるか、又は各画像IDが不一致情報に関連付けられている)場合、CPUは、類似画像の画像IDが含まれていない検索結果情報を生成する。
まず、検索実行サーバ5で実行されるマッチング実行処理について説明する。(図24)
CPU50は、処理対象である指定特徴キーの内、1個の指定特徴キーを適宜に選択し(S211)、選択した指定特徴キーのハッシュ値を算出し(S212)、J個目の特徴管理テーブル93J(又はj個目の特徴管理テーブル93j)に関し、S212で算出したハッシュ値に等しいフィールド値が付与されているキーフィールドを特定する(S213)。
指定特徴キーが全てS211で選択された場合(S215でYES)、CPU50は、処理を画像検索処理のルーチンへ戻す。
CPU50は、処理対象である指定付属キーのハッシュ値を算出し(S221)、J個目の特徴管理テーブル93J(又はj個目の特徴管理テーブル93j)に関し、S221で算出したハッシュ値に等しいフィールド値が付与されているキーフィールドを特定する(S222)。
S223の処理完了後、CPU50は、処理を画像検索処理のルーチンへ戻す。
図26は、本発明の実施の形態2に係る画像検索装置で実行される登録実行処理手順のサブルーチンを示すフローチャートである。
図16に示すように、実施の形態1のキー管理テーブル921〜92N夫々には、各レコードにつき、各1個のキーフィールドと特徴量フィールドとが関連付けて設けられている。
一方、図28に示すように、本実施の形態のキー管理テーブル921〜92N夫々には、各レコードにつき、各1個のキーフィールドと特徴量フィールドと枚数フィールドとが関連付けて設けられている。この枚数フィールドには、特徴量フィールドに格納されている特徴量(又は付属情報)を有する蓄積画像の枚数を示す1個の枚数情報が格納される。
このようなキー管理テーブル921〜92Nをマージする場合、重複する特徴量(又は付属情報)に関連付けられている枚数情報は、単純に加算される。
即ち、多くの枚数を示す枚数情報に関連付けられているインデックスキーは、少ない枚数を示す枚数情報に関連付けられているインデックスキーよりも、蓄積画像を識別する能力が低い。
一方、本実施の形態では、検索作業者が指定画像を指定してから、表示部73に最終的な検索結果が表示されるまでの間に、暫定的な検索結果(以下、暫定検索結果という)が表示部73に表示される。この場合、検索作業者を長時間待たせ続けることがなくなり、暫定検索結果として表示された蓄積画像の中に検索作業者が所望する画像が存在した場合には、検索作業者が手動で検索を中断することも可能になる。
つまり、最低投票数以上の投票数が関連付けられている画像IDを有する蓄積画像は類似画像の候補であり、検索作業者が所望する画像である可能性が少なからずある。従って、最低投票数以上の投票数が関連付けられている画像IDを有する蓄積画像を、暫定的な検出結果として表示部73に表示させることによって、検索作業者の利便性が向上される。
図31は、結果テーブル95を説明する模式図である。
本実施の形態のマッチング実行処理は、図24に示す実施の形態1のマッチング実行処理に相当し、実施の形態1と同様に画像検索処理(図22〜図23参照)で呼び出される。マッチング実行処理のS273〜S275の処理は、図24に示すS212〜S214の処理と同様である。
更に、本実施の形態の画像表示処理及び類似画像送信処理のS294〜S300の処理は、図21に示すS163〜S169の処理と同様であるため、説明を省略する。
未送信情報が関連付けられている場合(S278でYES)、CPU50は、この画像IDを含む暫定検索結果を出力側端末機7へ送信し(S279)、結果テーブル95にて、この画像IDに関連付けられている未送信情報を送信済情報に更新する(S280)。
指定特徴キーが全てS272で選択された場合(S281でYES)、CPU50は、処理を画像検索処理のルーチンへ戻す。
暫定検索結果の送信後、第2の画像IDには送信済情報が関連付けられるため、今後、第2の画像IDが暫定検索結果に含まれることはないが、第1の画像IDは投票数が増加することによって、また、第3の画像IDは不一致情報が一致情報に更新されることによって、暫定検索結果に含まれることになる。
検索実行サーバ5から暫定検索結果を受信した場合(S292でYES)、CPU50は、図30に示すように、受信した暫定検索結果に含まれている画像IDを蓄積DBサーバ2へ送信し(S311)、蓄積DBサーバ2から蓄積画像を受信したか否かを判定して(S312)、まだ受信していない場合は(S312でNO)、S312の処理を繰り返し実行する。
最低投票数が“1000”である場合、図31に示す結果テーブル95においては、第2の画像IDを有する蓄積画像が、指定画像の暫定的な類似画像として表示部73に表示される。
その他、実施の形態1に対応する部分には同一符号を付してそれらの説明を省略する。
図32は、本発明の実施の形態3に係る画像検索装置で実行される登録抹消処理(前半部分)及び蓄積画像送信処理夫々の手順を示すフローチャートである。登録抹消処理は入力側端末機6で実行され、本実施の形態の蓄積画像送信処理は、実施の形態1,2と同様に蓄積DBサーバ2で実行される。図32に示すS324及びS325の処理は、図20に示すS154及びS155の処理と同様であるため、説明を省略する。
図33は、入力側端末機6で実行される登録抹消処理(後半部分)、蓄積DBサーバ2で実行される画像削除処理、及び実施の形態2と同様に検索DBサーバ3で実行される登録無効化処理夫々の手順を示すフローチャートである。
しかしながら、登録されているデータの整合性を各種管理テーブル間で保ちつつ各種管理テーブルからデータを削除する処理は煩雑であり、長時間を要するという問題がある。また、画像の登録と画像の登録抹消とが同時的に発生すると、各種DBサーバ2,3のCPU20,30に演算負荷が集中し、しかも、各種管理テーブルを更新するために各種管理テーブルを互いに長時間ロックし合うという問題がある。
図14に示す実施の形態1の特徴管理テーブル93とは異なり、本実施の形態における特徴管理テーブル931〜93N夫々の各レコードには、各1個のIDフィールド、及び有効/無効フィールドと、M個のキーフィールドとが関連付けて設けられている。図中のインデックスキーは下4桁が記載されており、キー未格納情報として「未」が記載されている。
有効/無効フィールドには、IDフィールドに格納されている画像IDが有効であることを示す有効情報(図中「○」)又は無効であることを示す無効情報(図中「×」)が格納される。
登録抹消指示を受け付けたCPU60は、蓄積画像リストを要求するリスト要求を蓄積DBサーバ2へ送信し(S322)、蓄積DBサーバ2から蓄積画像リストを受信したか否かを判定して(S323)、まだ受信していない場合(S323でNO)、S323の処理を繰り返し実行する。
登録作業者は、表示部63を視認しながら操作部64を操作して、蓄積部90に蓄積されている蓄積画像の中から、1枚又は複数枚の蓄積画像を抹消画像として指定する。
抹消画像が指定された場合(S327でYES)、CPU60は、図33に示すように、指定された抹消画像に関連付けられている画像IDと登録の抹消を指示する抹消指示とを、蓄積DBサーバ3及び検索DBサーバ3夫々へ送信し(S328)、登録抹消処理を終了する。
入力側端末機6から画像ID及び抹消指示を受信した場合(S329でYES)、CPU20は、蓄積管理テーブル91を参照して、S329で受信した画像IDを有する蓄積画像を削除し(S330)、S329で受信した画像IDに関連付けて蓄積管理テーブル91に登録されている蓄積画像のアドレス及びファイル名を、無効な値(例えば“0”)に更新して(S331)、処理をS329へ戻す。
蓄積管理テーブル91において無効な値に関連付けられている画像IDは、欠番にしてもよく、後に再利用してもよいが、再利用する場合は、蓄積DBサーバ2と特徴抽出サーバ4とで夫々発行される画像IDに齟齬が生じないようにする必要がある(例えば蓄積DBサーバ2と特徴抽出サーバ4とで夫々画像IDを発行する代わりに、画像ID発行用のサーバを別途設けて、ここで画像IDを管理する)。
入力側端末機6から画像ID及び抹消指示を受信した場合(S332でYES)、CPU20は、特徴管理テーブル931〜93Nを夫々参照して、S332で受信した画像IDに無効情報を付与して(S333)、処理をS329へ戻す。S331におけるCPU20は無効付与手段として機能し、S332で受信した画像IDに関連付けて特徴管理テーブル931〜93Nの何れかに登録されている有効情報を無効情報に更新する。
図35は、検索DBサーバ3で実行されるDB側送信処理の手順を示すフローチャートである。
本実施の形態のDB側送信処理は、図22に示す実施の形態1のDB側送信処理に相当し、S341及びS343の処理は、図22に示すS183及びS184の処理と略同様である。
この結果、検索実行サーバ5では、無効情報に関連付けられている画像IDが投票の対象になることはない。なお、無効情報が格納されているレコードを検索実行サーバ5のCPU50が排除する構成でもよい。
まず、特徴管理テーブル931〜93Nにおいて無効情報に関連付けられているインデックスキーに一致するインデックスキーをキー管理テーブル921〜92Nにて特定し、特定されたインデックスキーに関連付けられている枚数情報を“1”デクリメントする。この結果として枚数情報が“0”に達したインデックスキーに関連付けられている特徴量は、既に削除された蓄積画像のみが有していた特徴量であるため、この特徴量を特徴未格納情報に変更する。
なお、特徴管理テーブル931〜93Nに枚数情報が登録されていない場合(例えば実施の形態1の場合)であっても、無効情報に関連付けられているインデックスキーに一致するインデックスキーが、有効情報が格納されているレコードに格納されているか否かを判定し、格納されていないときに、キー管理テーブル921〜92Nを更新してこのインデックスキーを再利用可能にすればよい。
その他、実施の形態1,2に対応する部分には同一符号を付してそれらの説明を省略する。
2 蓄積DBサーバ(計算機)
20,30,40,50,60,70 CPU(演算部)
3 検索DBサーバ(計算機)
4 特徴抽出サーバ(計算機)
5 検索実行サーバ(計算機)
6 入力側端末機(計算機)
7 出力側端末機(計算機)
73 表示部
90 蓄積部
91 蓄積管理テーブル(リレーショナル・データベース)
92,921,…,92N キー管理テーブル(リレーショナル・データベース)
93,931,…,93N 特徴管理テーブル(リレーショナル・データベース)
Claims (14)
- 指定された画像に類似する画像を、リレーショナル・データベースを用いて検索する検索手段を備える画像検索装置において、
前記リレーショナル・データベースは、
画像を蓄積する蓄積部に蓄積されている画像、及び該画像を識別する識別情報が関連付けられている蓄積管理テーブルと、
画像の特徴を数値的に示す特徴量、及び該特徴量よりも情報量が少ないインデックスキーが関連付けられているキー管理テーブルと、
識別情報、及び該識別情報を有する画像の特徴量に対応するインデックスキーが関連付けられている特徴管理テーブルと
を有し、
前記検索手段は、前記指定された画像の特徴量に対応するインデックスキーと、前記蓄積部に蓄積されている画像の特徴量に対応するインデックスキーとを用いて、前記指定された画像に類似する画像を検索するようにしてあることを特徴とする画像検索装置。 - 前記検索手段は、
前記蓄積管理テーブル、前記キー管理テーブル、及び/又は前記特徴管理テーブルを参照して、前記指定された画像の特徴量に対応するインデックスキーを探し出す特徴キー探索手段と、
前記特徴管理テーブルを参照して、前記特徴キー探索手段が探し出したインデックスキーに一致するインデックスキーに関連付けられている識別情報を特定し、特定した識別情報に関連付けて、前記指定された画像と前記蓄積部に蓄積されている画像との類似度を算出する類似度算出手段と、
該類似度算出手段が算出した類似度の高低に基づいて、前記指定された画像に類似する画像の識別情報を選択する画像選択手段と、
前記蓄積管理テーブルを参照して、前記画像選択手段が選択した識別情報に一致する識別情報に関連付けられている画像を前記蓄積部から取得して、取得した画像を検索結果として、前記検索手段による検索結果を表示する表示部へ出力する結果出力手段と
を有することを特徴とする請求項1に記載の画像検索装置。 - 各インデックスキーは、少なくとも前記類似度算出手段として機能する演算部が1つの命令で演算可能なデータ長を有することを特徴とする請求項2に記載の画像検索装置。
- 少なくともキー管理テーブル及び特徴管理テーブルの組が複数設けられており、
一の組のキー管理テーブル及び特徴管理テーブルを用いて、前記特徴キー探索手段がインデックスキーを探索し、前記類似度算出手段が類似度を算出するようにしてあり、
前記検索手段は、前記一の組のキー管理テーブルを参照して、前記指定された画像の特徴量に対応するインデックスキーに基づいて前記指定された画像の特徴量を探し出す手段を更に有し、
該手段が探し出した前記指定された画像の特徴量、及び他の組のキー管理テーブル及び特徴管理テーブルを用いて、前記特徴キー探索手段がインデックスキーを探索し、前記類似度算出手段が類似度を算出するようにしてあることを特徴とする請求項2又は3に記載の画像検索装置。 - 前記リレーショナル・データベースに画像を登録する画像登録手段を更に備え、
該画像登録手段は、
前記リレーショナル・データベースに登録すべき画像を前記蓄積部に蓄積させる蓄積制御手段と、
前記画像に基づいて、該画像の特徴量を算出する特徴算出手段と、
前記画像に対して識別情報を発行する情報発行手段と、
該情報発行手段が発行した識別情報、及び前記蓄積制御手段が前記蓄積部に蓄積した画像を関連付けて前記蓄積管理テーブルに登録する蓄積管理登録手段と、
前記キー管理テーブルを参照し、前記特徴算出手段が算出した特徴量に関連付けてインデックスキーが既に登録されているか否かを判定する登録判定手段と、
該登録判定手段が否と判定した場合、前記特徴量に対し、該特徴量よりも情報量が少ないインデックスキーを発行するキー発行手段と、
該キー発行手段が発行したインデックスキー、及び前記特徴量を関連付けて前記キー管理テーブルに登録するキー管理登録手段と、
前記識別情報、及び前記特徴量に関連付けて前記キー管理テーブルに登録されているインデックスキーを関連付けて前記特徴管理テーブルに登録する特徴管理登録手段と
を有することを特徴とする請求項2から4に記載の画像検索装置。 - 前記特徴管理テーブルの各レコードには、識別情報を格納する識別情報フィールドと、互いに異なるフィールド値が付与されており、夫々インデックスキーを格納するM(Mは2以上の自然数)個のキーフィールドとが関連付けて設けてあり、
前記特徴管理登録手段は、
インデックスキーをフィールド値に対応させるハッシュ関数、及び前記特徴管理テーブルに登録すべきインデックスキーに基づいて算出されたハッシュ値に等しいフィールド値が付与されているキーフィールドに、前記インデックスキーを格納する手段と、
互いにハッシュ値が等しい前記インデックスキーが複数存在する場合は、前記インデックスキー夫々を、異なるレコードのキーフィールドに格納する手段と、
インデックスキーが格納されているキーフィールド及び格納されていないキーフィールドを有するレコードに関し、インデックスキーが格納されていないキーフィールドに、インデックスキーが格納されていないことを示すキー未格納情報を格納する手段と
を有し、
前記類似度算出手段は、
前記ハッシュ関数、及び前記特徴キー探索手段が探し出したインデックスキーに基づいて算出されたハッシュ値に基づいて、前記特徴管理テーブルの前記ハッシュ値に等しいフィールド値が付与されているキーフィールドを特定する手段と、
該手段が特定したキーフィールドに格納されているインデックスキーの内の前記特徴キー探索手段が探し出したインデックスキーに一致するインデックスキーに関連付けられている識別情報を特定し、特定した識別情報に関連付けて類似度を算出する手段と
を有することを特徴とする請求項5に記載の画像検索装置。 - 各レコードのキーフィールドに付与されるフィールド値として、“0”以上“M−1”以下の整数を用いるようにしてあり、
各インデックスキーは、整数を用いてなり、
前記特徴管理登録手段は、インデックスキーをMで除算した場合の剰余を求める前記ハッシュ関数、及び前記特徴管理テーブルに登録すべきインデックスキーに基づいて算出されたハッシュ値に等しいフィールド値が付与されているキーフィールドに、前記インデックスキーをMで除算した場合の商を格納するようにしてあることを特徴とする請求項6に記載の画像検索装置。 - 前記特徴管理登録手段は、前記登録判定手段が登録されていると判定した場合、登録されているインデックスキーを優先的にキーフィールドに格納するようにしてあり、
前記キー発行手段は、前記特徴管理登録手段が前記インデックスキーを格納した後で、インデックスキーが未格納であるキーフィールドのフィールド値に等しいハッシュ値を有するインデックスキーの内、該インデックスキーに関連付けて前記キー管理テーブルに特徴量が登録されていないインデックスキーを発行するようにしてあることを特徴とする請求項6又は7に記載の画像検索装置。 - インデックスキー並びに特徴量及び識別情報を新規登録すべきキー管理テーブル及び特徴管理テーブルの組と、新規登録が終了しているキー管理テーブル及び特徴管理テーブルの組とが設けられており、
前記キー発行手段は、
前記新規登録が終了しているキー管理テーブルを参照し、前記特徴算出手段が算出した特徴量に関連付けてインデックスキーが登録されているか否かを判定する手段と、
該手段が登録されていると判定した場合、登録されているインデックスキーのハッシュ値に等しいハッシュ値を有するインデックスキーを発行する手段と
を有し、
前記画像登録手段は、
前記新規登録すべきキー管理テーブル及び特徴管理テーブルに対する新規登録が終了した後で、前記新規登録すべきキー管理テーブルに登録されている特徴量に一致する特徴量が、前記新規登録が終了しているキー管理テーブルに登録されているか否かを判定する第1手段と、
該第1手段が登録されていると判定した場合、前記新規登録すべきキー管理テーブルに登録されているインデックスキーを、前記特徴量に関連付けて前記新規登録が終了しているキー管理テーブルに登録されているインデックスキーに対応付ける第2手段と、
前記第1手段が否と判定した場合、登録されていないと判定された特徴量に関連付けて前記新規登録すべきキー管理テーブルに登録されているインデックスキーのハッシュ値に等しいハッシュ値を有し、しかも、前記新規登録が終了しているキー管理テーブルにて特徴量に関連付けられていないインデックスキーを発行する第3手段と、
該第3手段が発行したインデックスキー、及び前記特徴量を関連付けて前記新規登録が終了しているキー管理テーブルに登録する第4手段と、
前記新規登録すべきキー管理テーブルに登録されているインデックスキーを、前記第3手段が発行したインデックスキーに対応付ける第5手段と、
前記新規登録すべき特徴管理テーブルに登録されている識別情報及びインデックスキーを、該インデックスキーを前記第2手段及び/又は第5手段によって対応付けられているインデックスキーに変換して、前記新規登録が終了しているキー管理テーブル及び特徴管理テーブルに登録する第6手段と
を更に有することを特徴とする請求項6から8の何れかひとつに記載の画像検索装置。 - 前記キー管理テーブルは、画像の特徴量又は画像に付属する付属情報と、少なくとも前記特徴量よりも情報量が少ないインデックスキーとが関連付けられるようにしてあり、
前記検索手段は、
前記蓄積管理テーブル、前記キー管理テーブル、及び/又は前記特徴管理テーブルを参照して、指定された付属情報に対応するインデックスキーを探し出す情報キー探索手段と、
前記特徴管理テーブルを参照して、前記情報キー探索手段が探し出したインデックスキーに一致するインデックスキーに関連付けられている識別情報を特定し、特定した識別情報に関連付けて、付属情報が一致していることを示す一致情報を付与する情報付与手段と
を更に有し、
前記結果出力手段は、前記蓄積管理テーブルを参照して、前記画像選択手段が選択した識別情報の内、前記情報付与手段が一致情報を付与した識別情報に一致する識別情報に関連付けられている画像を前記蓄積部から取得するようにしてあり、
前記画像登録手段は、
前記キー管理テーブルを参照し、前記リレーショナル・データベースに登録すべき画像の付属情報に関連付けてインデックスキーが既に登録されているか否かを判定する第2の登録判定手段と、
該第2の登録判定手段が否と判定した場合、前記付属情報に対してインデックスキーを発行する第2のキー発行手段と、
該キー発行手段が発行したインデックスキー、及び前記付属情報を関連付けて前記キー管理テーブルに登録する第2のキー管理登録手段と、
前記情報発行手段が発行した識別情報、及び前記付属情報に関連付けて前記キー管理テーブルに登録されているインデックスキーを関連付けて前記特徴管理テーブルに登録する第2の特徴管理登録手段と
を更に有することを特徴とする請求項5から9の何れかひとつに記載の画像検索装置。 - 互いに通信可能な複数の計算機を用いてなり、
各計算機は、前記蓄積部、前記リレーショナル・データベースが有する各種管理テーブル、前記検索手段が有する各手段、前記表示部、前記画像登録手段が有する各手段の内の1つ以上を備えることを特徴とする請求項5から10の何れかひとつに記載の画像検索装置。 - 前記キー管理テーブルには、関連付けられているインデックスキー及び特徴量に更に関連付けて、該特徴量を有する画像の枚数を示す枚数情報が登録されるようにしてあり、
前記キー管理登録手段は、インデックスキー及び特徴量を関連付けて前記キー管理テーブルに登録する際に、前記枚数情報を登録するようにしてあり、
前記類似度算出手段は、
前記特徴キー探索手段が探し出したインデックスキーの内、前記キー管理テーブルにて前記インデックスキーに一致するインデックスキーに関連付けられている枚数情報が示す枚数が所定枚数以上であり、且つ、前記枚数が最も少ないインデックスキーから枚数の少なさの順にインデックスキーを特定する手段と、
前記特徴管理テーブルを参照して、前記手段が特定したインデックスキーに関連付けられている識別情報を特定し、特定した識別情報に関連付けて類似度を算出する手段と
を有し、
前記画像登録手段は、
前記登録判定手段が、前記特徴算出手段が算出した特徴量に関連付けてインデックスキーが既に登録されていると判定した場合、登録されているインデックスキーに関連付けられている枚数情報を増加させる枚数計数手段
を更に有することを特徴とする請求項5から11の何れかひとつに記載の画像検索装置。 - 前記画像選択手段は、
暫定的に、前記類似度算出手段が算出した類似度が所定類似度以上に達した識別画像を選択する第1の手段と、
最終的に、前記類似度算出手段が算出した類似度が最も高い識別画像から類似度の高さの順に識別画像を選択する第2の手段と
を有し、
前記結果出力手段は、
前記第1の手段が選択した識別情報に一致する識別情報に関連付けられている画像を前記蓄積部から取得して、取得した画像を暫定的な検索結果として前記表示部へ出力する手段と、
前記第2の手段が選択した識別情報に一致する識別情報に関連付けられている画像を前記蓄積部から取得して、取得した画像を最終的な検索結果として前記表示部へ出力する手段と
を有することを特徴とする請求項2から12の何れかひとつに記載の画像検索装置。 - 前記リレーショナル・データベースから画像の登録を抹消する際、少なくとも前記特徴管理テーブルについて、登録を抹消すべき画像の識別情報に対し、無効を意味する無効情報を付与する無効付与手段を更に備え、
前記類似度算出手段は、前記無効情報が付与されている識別情報を除く識別情報の中から、前記特徴キー探索手段が探し出したインデックスキーに一致するインデックスキーに関連付けられている識別情報を特定するようにしてあることを特徴とする請求項2から13の何れかひとつに記載の画像検索装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007341547A JP5142705B2 (ja) | 2007-12-29 | 2007-12-29 | 画像検索装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007341547A JP5142705B2 (ja) | 2007-12-29 | 2007-12-29 | 画像検索装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009163466A true JP2009163466A (ja) | 2009-07-23 |
JP5142705B2 JP5142705B2 (ja) | 2013-02-13 |
Family
ID=40966022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007341547A Active JP5142705B2 (ja) | 2007-12-29 | 2007-12-29 | 画像検索装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5142705B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014507841A (ja) * | 2011-01-07 | 2014-03-27 | トムソン ライセンシング | オンラインストレージのための装置及び方法、送信装置及び方法並びに受信装置及び方法 |
CN103903291A (zh) * | 2012-12-24 | 2014-07-02 | 阿里巴巴集团控股有限公司 | 一种自动修改图片的方法和装置 |
JP2016033798A (ja) * | 2014-07-31 | 2016-03-10 | 株式会社リコー | 情報処理システム、情報処理方法および情報処理装置 |
JP2016033695A (ja) * | 2014-07-30 | 2016-03-10 | 東芝テック株式会社 | 認識辞書管理装置及びプログラム |
JP2021099803A (ja) * | 2019-12-20 | 2021-07-01 | 楽天グループ株式会社 | ディープバイナリハッシュおよび量子化を介した効率的なクロスモーダル検索 |
CN113127659A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 图像数据录入方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06168277A (ja) * | 1992-11-30 | 1994-06-14 | Canon Inc | 画像検索装置及び方法 |
JP2006185320A (ja) * | 2004-12-28 | 2006-07-13 | Ricoh Co Ltd | 画像検索装置 |
WO2006092957A1 (ja) * | 2005-03-01 | 2006-09-08 | Osaka Prefecture University Public Corporation | 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置 |
-
2007
- 2007-12-29 JP JP2007341547A patent/JP5142705B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06168277A (ja) * | 1992-11-30 | 1994-06-14 | Canon Inc | 画像検索装置及び方法 |
JP2006185320A (ja) * | 2004-12-28 | 2006-07-13 | Ricoh Co Ltd | 画像検索装置 |
WO2006092957A1 (ja) * | 2005-03-01 | 2006-09-08 | Osaka Prefecture University Public Corporation | 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014507841A (ja) * | 2011-01-07 | 2014-03-27 | トムソン ライセンシング | オンラインストレージのための装置及び方法、送信装置及び方法並びに受信装置及び方法 |
US9519800B2 (en) | 2011-01-07 | 2016-12-13 | Thomson Licensing | Device and method for online storage, transmission device and method, and receiving device and method |
CN103903291A (zh) * | 2012-12-24 | 2014-07-02 | 阿里巴巴集团控股有限公司 | 一种自动修改图片的方法和装置 |
JP2016033695A (ja) * | 2014-07-30 | 2016-03-10 | 東芝テック株式会社 | 認識辞書管理装置及びプログラム |
JP2016033798A (ja) * | 2014-07-31 | 2016-03-10 | 株式会社リコー | 情報処理システム、情報処理方法および情報処理装置 |
JP2021099803A (ja) * | 2019-12-20 | 2021-07-01 | 楽天グループ株式会社 | ディープバイナリハッシュおよび量子化を介した効率的なクロスモーダル検索 |
JP7055187B2 (ja) | 2019-12-20 | 2022-04-15 | 楽天グループ株式会社 | ディープバイナリハッシュおよび量子化を介した効率的なクロスモーダル検索 |
CN113127659A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 图像数据录入方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5142705B2 (ja) | 2013-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10025904B2 (en) | Systems and methods for managing a master patient index including duplicate record detection | |
CN102918494B (zh) | 基于数据库模型不可知论、纲要不可知论且工作负载不可知论的数据存储和存取模型的数据存储和/或检索方法和系统 | |
US10572461B2 (en) | Systems and methods for managing a master patient index including duplicate record detection | |
JP4352079B2 (ja) | 分散データベースから情報を検索するシステム、装置、および方法 | |
JP4559371B2 (ja) | Nグラム・ワード分解を用いた携帯型文書索引付け用のシステム及び方法 | |
JP5375413B2 (ja) | データ変換装置、データ変換方法、およびデータ変換プログラム | |
JP5142705B2 (ja) | 画像検索装置 | |
EP1074925A2 (en) | Document management system, information processing apparatus, document management method and computer-readable recording medium | |
US20030225770A1 (en) | Collaborative data cleansing | |
US7937652B2 (en) | Document processing device, computer readable recording medium, and computer data signal | |
CN107148616A (zh) | 用于分布式版本控制的高效注释系统 | |
WO2007077132A2 (en) | File system dump/restore by node numbering | |
JP5424798B2 (ja) | メタデータ設定方法及びメタデータ設定システム、並びにプログラム | |
US20220083576A1 (en) | Information processing system and non-transitory computer readable medium | |
JP3140922B2 (ja) | 設備管理システム | |
US11880392B2 (en) | Systems and methods for associating data with a non-material concept | |
JP4011662B2 (ja) | 電子ファイリング方法及び装置 | |
TWI659320B (zh) | 內容可索引之文件影像檔的建立方法及其索引方法 | |
Díaz et al. | Automatic knowledge-graph creation from historical documents: The Chilean dictatorship as a case study | |
Golshanara | Temporal Data Exchange and Repair | |
CN118467534A (zh) | 一种识别数据库表间关系的方法、系统、电子设备及存储介质 | |
JP2023176448A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
Chatterjee et al. | A probabilistic approach to information retrieval in heterogeneous databases | |
CN117708045A (zh) | 一种美术馆藏品数据批量处理的方法与系统 | |
CN117009588A (zh) | 一种基于知识图谱的三维数据关联检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121120 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5142705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |