JP4074366B2 - 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は指定された画像に基づいて、指定された画像に類似する画像を管理する画像の中から検索する画像検索装置に関し、特に、複数の指定された画像に基づいて画像を検索する画像検索装置に関する。
【０００２】
【従来の技術】
画像データを管理する画像データベースにおいて、画像データは、キーワード及び色味キー等の検索キーや、画像の形状、色味等の画像の特徴量等の検索条件とともに登録されている。一般に、このような画像データベースにおいて、ユーザにより指定された画像に類似する画像を、登録する画像の中から検索する類似画像検索が可能である。
【０００３】
類似画像検索は、画像の形状、テクスチャパターン及び色味等の画像の特徴量に基づいて類似性が判断される。すなわち、画像データベースにおいて、ユーザにより所望の画像に類似する画像が指定され、このユーザにより検索のために指定された画像（以下、「キー画像」という。）から上記特徴量が抽出され、この抽出された特徴量と、画像データベースに登録されている画像の特徴量とが比較され、両画像の類似の程度を示す類似度が算出され、この類似度に基づきキー画像に類似していると判断した登録画像の情報が検索結果として出力される。
【０００４】
【発明が解決しようとする課題】
ユーザがキー画像を指定するとき通常は１つのキー画像を指定するが、１つのキー画像により特定される特徴量だけではユーザが望む画像が検索結果として得られない場合があり、検索精度が低くなる場合があった。例えば、１つの画像中に複数の特徴がありユーザがその中のある特徴に注目したい場合や、もしくは、多数の検索条件を指定し、検索範囲を広げたいたい場合等がある。
【０００５】
この問題を解決する１つの方法として、例えば、特開平７−６５１６９号公報に開示された方法がある。この発明では、複数のキー画像が指定され、各キー画像において所定の領域をそれぞれ選択し、選択された各領域においてそれぞれ特徴を抽出し、抽出した各特徴を用いて画像を検索する。これにより、キー画像のそれぞれの所定領域が示す特徴を全て有する画像を検索できる。すなわち、複数の画像により検索条件を広範囲に指定できる。しかし、この方法では、ユーザは各キー画像において検索時に使用する特徴部分をそれぞれ指定する必要があり、キー画像数が増加する程、また特徴量の種類が多岐にわたるほど、この作業はユーザにとって煩雑な作業となる。
【０００６】
本発明は上記課題を解決すべくなされたものであり、その目的とするところは、複数の画像を指定し、それらの画像に基づき画像を検索する場合において、ユーザの負担を軽減し、検索精度を向上させた画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体を提供することにある。
【００１０】
【課題を解決するための手段】
本発明に係る画像検索装置は、検索対象画像を記憶する画像記憶手段と、検索条件を特定するためのキー画像を複数指定する指定手段と、指定された複数のキー画像の各々について複数種類の特徴量を取得する第１の特徴量取得手段と、検索対象画像について複数種類の特徴量を取得する第２の特徴量取得手段と、各キー画像の特徴量を、複数のキー画像間にて同じ種類どうしで比較し、相互に近似する値を持つ特徴量の種類を、検索に使用する共通特徴量として決定する特徴量決定手段と、共通特徴量とこれに対応する検索対象画像の特徴量とを用いて、キー画像と検索対象画像との間の類似の程度を示す第１の類似度を算出する第１の類似度算出手段と、各キー画像の全ての種類の特徴量とこれに対応する検索対象画像の特徴量とを用いてキー画像毎に前記検索対象画像との類似度を算出し、このうち最も高い類似度を前記キー画像と前記検索対象画像との間の類似の程度を示す第２の類似度とする第２の類似度算出手段と、第１及び第２の類似度から、前記第１の類似度に対する重みを前記第２の類似度に対する重みよりも大きくして第３の類似度を算出する第３の類似度算出手段と、第３の類似度が所定値より高いときに、検索対象画像をキー画像に類似する画像として抽出する抽出手段とを備える。
【００１３】
本発明に係る画像検索方法は、キー画像に基づいて、記憶する検索対象画像の中からキー画像に類似する画像を検索する画像検索方法である。第２の画像検索方法は、キー画像を複数指定する指定ステップと、指定された複数のキー画像の各々について複数種類の特徴量を取得する第１の特徴量取得ステップと、検索対象画像について複数種類の特徴量を取得する第２の特徴量取得ステップと、各キー画像の特徴量を、前記複数のキー画像間にて同じ種類どうしで比較し、相互に近似する値を持つ特徴量の種類を、検索に使用する共通特徴量として決定する特徴量決定ステップと、共通特徴量とこれに対応する検索対象画像の特徴量とを用いて、キー画像と前記検索対象画像との間の類似の程度を示す第１の類似度を算出する第１の類似度算出ステップと、各キー画像の全ての種類の特徴量とこれに対応する検索対象画像の特徴量とを用いてキー画像毎に前記検索対象画像との類似度を算出し、このうち最も高い類似度を前記キー画像と前記検索対象画像との間の類似の程度を示す第２の類似度とする第２の類似度算出ステップと、第１及び第２の類似度から、前記第１の類似度に対する重みを前記第２の類似度に対する重みよりも大きくして第３の類似度を算出する第３の類似度算出ステップと、第３の類似度が所定値より高いときに、検索対象画像をキー画像に類似する画像として抽出する抽出ステップとを有する。
【００１５】
本発明に係る記録媒体は、画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体であり、以下に示す画像検索プログラムを記録する；画像検索プログラムは、キー画像を複数指定する指定手順と、指定された複数のキー画像の各々について複数種類の特徴量を取得する第１の特徴量取得手順と、検索対象画像について複数種類の特徴量を取得する第２の特徴量取得手順と、各キー画像の特徴量を、複数のキー画像間にて同じ種類どうしで比較し、相互に近似する値を持つ特徴量の種類を、検索に使用する共通特徴量として決定する特徴量決定手順と、共通特徴量とこれに対応する検索対象画像の特徴量とを用いて、キー画像と前記検索対象画像との間の類似の程度を示す第１の類似度を算出する第１の類似度算出手順と、各キー画像の全ての種類の特徴量とこれに対応する検索対象画像の特徴量とを用いてキー画像毎に前記検索対象画像との類似度を算出し、このうち最も高い類似度を前記キー画像と前記検索対象画像との間の類似の程度を示す第２の類似度とする第２の類似度算出手順と、第１及び第２の類似度から、前記第１の類似度に対する重みを前記第２の類似度に対する重みよりも大きくして第３の類似度を算出する第３の類似度算出手順と、第３の類似度が所定値より高いときに、検索対象画像をキー画像に類似する画像として抽出する抽出手順とをコンピュータに実行させる。
【００１６】
【発明の実施の形態】
以下、添付の図面を用いて本発明に係る画像検索装置の実施の形態を説明する。本実施形態の画像検索装置は、指定された複数のキー画像に基づいて、それらのキー画像に共通して類似する画像を検索する。このとき、画像検索装置は、複数のキー画像のそれぞれから、一または複数種類の特徴量を抽出し、キー画像間で同じ種類の特徴量どうしを比較することにより、検索に用いる特徴量の種類を特定し、特定した種類の特徴量のみを用いて類似度を計算し、この類似度に基づき画像を検索する。これにより、複数のキー画像に共通した特徴を有する画像を検索できる。また、画像検索装置は、類似度の算出において、複数のキー画像の全てに類似する度合いを示す類似度に、複数のキー画像のいずれかに類似する度合いを示す類似度を組み合わせて、検索に用いる類似度を計算することにより、検索範囲の広範な設定を可能とし、類似画像の検索精度を向上させる。
【００１７】
＜画像検索装置の全体構成＞
図１に本実施形態の画像検索装置（以下、「システム」と称す。）の概略構成図を示す。図１に示すように、システムは中央演算処理（以下、「ＣＰＵ」と称す。）を備え、システム全体を制御する制御装置１を中心として構成される。この制御装置１には、画像あるいは文字等の表示や、操作のための表示等を行うディスプレイ２と、各種入力、指示操作等を行うためのキーボード３およびマウス４と、データ保管媒体に対してデータの書き込み／読み出しを行うフロッピーディスク装置５ｂおよびハードディスク装置６と、文字や画像データ等を印刷するプリンタ７と、画像データを取り込むためのスキャナ８と、ＣＤ−ＲＯＭ９ａに格納されたデータを読み出すためのＣＤ−ＲＯＭ装置９ｂと、音声出力のためのスピーカ１０と、音声入力のためのマイクロホン１１とが接続される。
【００１８】
図２に本システムのブロック図を示す。ＣＰＵ２０１には、データバス２２０を介して、本システムを制御するプログラムが格納されているＲＯＭ２０３と、ＣＰＵ２０１が制御のために実行するプログラムやデータを一時的に格納するＲＡＭ２０４とが接続される。また、ＣＰＵ２０１にデータバス２２０を介して接続される回路には、画像あるいは文字等の表示のためディスプレイ２を制御する表示制御回路２０５と、キーボード３からの入力を転送制御するキーボード制御回路２０６と、マウス４からの入力を転送制御するマウス制御回路２０７と、フロッピーディスク装置５ｂを制御するフロッピーディスク装置制御回路２０８と、ハードディスク装置６を制御するハードディスク装置制御回路２０９と、プリンタ７への出力を制御するプリンタ制御回路２１０と、スキャナ８を制御するスキャナ制御回路２１１と、ＣＤ−ＲＯＭ装置９ｂを制御するＣＤ−ＲＯＭ装置制御回路２１２と、スピーカ１０を制御するスピーカ制御回路２１３と、マイクロホン１１を制御するマイクロホン制御回路２１４とがある。さらに、ＣＰＵ２０１には、システムを動作させるために必要な基準クロックを発生させるためのクロック２０２が接続され、また、各種拡張ボードを接続するための拡張スロット２１５がデータバス２２０を介して接続される。なお、拡張スロット２１５にＳＣＳＩＩボードを接続し、このＳＣＳＩＩボードを介してフロッピーディスク装置５ｂ、ハードディスク装置６、スキャナ８またはＣＤ−ＲＯＭ装置９ｂ等を接続してもよい。
【００１９】
なお、上記システムにおいて、画像データ保管媒体としてはフロッピーディスク５ａ、ハードディスク装置６を用いているが、光磁気ディスク（ＭＯ）等の他の情報記憶媒体でもよい。また、画像データ入力装置としてスキャナ８を用いているが、スチルビデオカメラやデジタルカメラ等の他のデータ入力装置であってもよい。さらに、出力装置としてプリンタ７を用いているが、デジタル複写機等の他の出力装置であってもよい。また、本システムでは、制御処理を実現するプログラムをＲＯＭ２０３に格納する。しかし、このプログラムの一部または全部をフロッピーディスク５ａやハードディスク装置６やＣＤ−ＲＯＭ９ａ等の情報記憶媒体に格納しておき、必要に応じて情報記憶媒体よりプログラムおよびデータをＲＡＭ２０４に読み出し、これを実行させてもよい。
【００２０】
＜画像データベース＞
本システムは、画像データを保管、管理するため、画像データおよびその検索キーとなる付加情報等を含む画像データベースと、画像から色特徴を抽出する際に参照される色空間領域テーブルとを有する。画像データベースおよび色空間領域テーブルはハードディスク装置６等の情報記憶媒体上に論理的に構成されている。図３に本システムの画像データベース５０の構成の一例を示す。画像データベース５０は、画像情報である「画像データ」と、その画像データに対する種々の検索情報とを管理している。画像データに対する検索情報には、「キーワード」や「色味キー」等の検索キーや、画像データの特徴を示す種々の特徴量がある。特徴量には、画像の色に関する特徴を示す色特徴や、画像の形状、テクスチャパターン等の情報があり、この特徴量に基づき画像間の類似度が計算される。
【００２１】
＜画像検索装置の制御動作＞
以下に、本システムの具体的な制御動作についてフローチャートを用いて説明する。
【００２２】
＜メインルーチン＞
図４は本システムにおいてＣＰＵ２０１により実行されるプログラムのメインルーチンを示すフローチャートである。本プログラムが起動されると、まず、以降の各処理で必要なフラグ等のイニシャライズや、初期メニュー画面の表示等を行う初期設定処理が行われる（Ｓ１）。初期メニュー画面上では、所定の処理を選択するための選択項目がアイコンとして表示されており、この選択項目の１つがユーザにより選択されることにより所定の処理が実行される。なお、本システムにおいては、ディスプレイ２等上に表示された初期メニュー画面等の設定画面上で、ユーザにより、キーボード３やマウス４等を介して各種処理の選択、設定値の入力等が行われる。ステップＳ１の後、初期メニュー画面上でユーザによるメニューの選択がなされたか否かを判定する（Ｓ２）。
【００２３】
ステップＳ２において、「画像登録」が選択されれば、画像データをその特徴量とともに画像データベース５０に登録する等の処理を行う画像登録処理（Ｓ３）へ進み、その後、ステップＳ６へ進む。
【００２４】
ステップＳ２において、「類似画像検索」が選択されれば、指定されたキー画像に類似する画像を画像データベース５０から検索する処理を行う類似画像検索処理（Ｓ４）へ進み、その後、ステップＳ６へ進む。
【００２５】
ステップＳ２において、「その他のメニュー」が選択されれば、その他のメニュー処理を行い（Ｓ５）、その後、ステップＳ６へ進む。
【００２６】
ステップＳ２において、メニュー選択されなければ、なにもせずにステップＳ６へ進む。ステップＳ６では、その他の処理を実行し、すべての処理が終わるとステップＳ２へ戻り、以後、同様の処理が繰り返される。
【００２７】
ここで、その他のメニュー処理（ステップＳ５）については、一般的な検索システムと基本的に同様であり、本発明に直接関係しないのでここでの説明は省略し、特に、画像登録処理（ステップＳ３）及び類似画像検索処理（ステップＳ４）について以下に詳細に説明する。
【００２８】
＜画像登録処理＞
画像登録処理（ステップＳ３）について図５のフローチャートを用いて説明する。本処理では、ユーザにより指定された登録すべき画像から特徴量を抽出し、その特徴と指定された画像とを画像データベース５０に登録する処理が行われる。
【００２９】
最初に、画像データベース５０に登録するためにユーザにより指定された画像を読み込む（Ｓ３１）。その後、指定された画像から特徴量を抽出する処理である特徴量抽出処理を行う（Ｓ３２）。ここでは、色特徴、形状、テクスチャ等の複数種類の特徴量を指定された画像から抽出する。その後、抽出した特徴量を、指定された画像の画像データに付与し（Ｓ３３）、指定された画像データとともに画像データベース５０に登録する（Ｓ３４）。このとき、ファイル名や画像サイズ等の属性情報も画像データに関連づけて登録する。その後、リターンする。
【００３０】
＜類似画像検索処理＞
類似画像検索処理（ステップＳ４）について図６のフローチャートを用いて説明する。本処理では、ユーザにより指定された複数の検索キーとなる画像（キー画像）のそれぞれから、所定の特徴量を抽出し、複数のキー画像に共通する特徴を示す特徴量（以下、「共通特徴量」という。）を、各特徴量の中から選択する。その後、共通特徴量またはその他の特徴量に基づいて画像データベース５０に登録されている画像の中から、キー画像に類似する画像を検索する処理を行う。
【００３１】
図６において、最初に、ユーザにより指定された複数のキー画像を読み込む（Ｓ４１）。各キー画像の特徴量を画像データベース５０から取得する（Ｓ４２）。ここで、各キー画像から、色味、形状、テクスチャ等の複数種類の特徴量が取得される。次に、各キー画像間の特徴量を比較し、類似画像検索のための条件となる特徴量を計算する検索用特徴量作成処理を行う（Ｓ４３）。この検索用特徴量作成処理については後述する。
【００３２】
その後、ステップＳ４３で求めた特徴量と、画像データベース５０に登録されている各画像の特徴量とを比較し、キー画像と、画像データベース５０に登録されている検索対象の画像との類似性を判断し、画像データベース５０の登録画像の中からキー画像に類似する画像を検索する処理を行う（Ｓ４４〜Ｓ４６）。
【００３３】
すなわち、画像データベース５０において、未だキー画像との間で類似度が計算されていない、検索の対象画像があるか否かを判断する（Ｓ４４）。画像データベース５０において検索の対象画像がある場合、その対象画像の特徴量を画像データベース５０から読み込む（Ｓ４５）。その後、キー画像の特徴量と対象画像の特徴量とから、画像間の類似の度合いを示す類似度を計算する類似度計算処理を行い（Ｓ４６）、ステップＳ４３に戻る。この類似度計算処理（Ｓ４６）については後述する。画像データベース５０中の全ての対象画像について類似度の計算が行われるまで上記ステップＳ４３〜Ｓ４５を繰り返す。
【００３４】
画像データベース５０中の全ての対象画像について類似度の計算が行われると、検索結果出力処理を行い（Ｓ４７）、リターンする。検索結果出力処理（ステップＳ４７）では、画像データベース５０中の全ての対象画像に対して計算された類似度に基づき、その類似度が所定値（しきい値）より高い対象画像について、その対象画像がキー画像に類似していると判断する。類似していると判断された対象画像については、類似度の高い順に検索結果として画面上に表示する。
【００３５】
このとき、類似度のしきい値を設けず、類似度の高い順に所定の数だけの画像を検索結果として画面上に表示するようにしてもよい。また、検索結果として、画像データのファイル名及び格納場所等の属性情報を出力するようにしてもよい。また、ステップＳ４３〜Ｓ４５における対象画像は、画像データベース５０に登録される全ての画像を対象としなくてもよく、事前に所定の条件に基づいて選択された画像を対象としてもよい。
【００３６】
次に、検索用特徴量作成処理（ステップＳ４３）について図７のフローチャートを用いて説明する。ここでは、複数のキー画像に共通して類似する画像を検索する際に用いる共通特徴量を求める。すなわち、各キー画像から抽出された特徴量について、複数のキー画像間で、同じ種類の特徴量どうしを比較し、値が近似する特徴量を求めることにより、複数のキー画像に共通する特徴を示す特徴量（以下、「共通特徴量」という。）を求める。以下に具体的に説明する。
【００３７】
図７に示すように、最初に、対象画像と各画像との間の特徴量の差を特徴量毎に求める（Ｓ４３１）。次に、特徴量毎に特徴量の差の平均値を求める（Ｓ４３２）。このときの計算例を図８に示す。ここで、図８は、図９に示すような５つの特徴量（特徴量１〜特徴量５）を有する３つのキー画像（キー画像１〜キー画像３）が指定された場合の計算例を示す。このようにして求められた特徴量の差の平均値は、その値が小さいほど、その特徴量について画像が近似することを示す。
【００３８】
その後、特徴量の差の平均値がしきい値以下となる特徴量（特徴量の種類）、を共通特徴量として選択する（Ｓ４３３）。つまり、特徴量の差の平均値がしきい値より小さい場合に、その特徴量が各キー画像に共通する特徴量であると判断する。図８の例では、しきい値は０．１に設定され、特徴量２と特徴量３とが共通特徴量として選択される。このように、キー画像間で同じ種類の特徴量どうしを比較することにより、検索に用いるための特徴量の種類を決定する。最後に、共通特徴量として選択された特徴量については、それであることを示すフラグを設定する（Ｓ４３４）。
【００３９】
次に、類似度算出処理（ステップＳ４６）について説明する。類似度算出処理では、キー画像と検索対象画像とから抽出した特徴量に基づいて、当該対象画像の全キー画像またはキー画像のいずれかに対する類似度を算出する。具体的には以下に示す３つの計算方法により類似度を算出する。これらの方法のうちいずれを使用するかは、ユーザにより選択される。なお、以下では、説明の便宜上、特徴量が図１０で示すような値となるキー画像１〜キー画像３が指定されたものとして説明する。
【００４０】
（ａ）共通特徴量に基づく類似度の算出
この方法では、キー画像と対象画像間の画像間の類似度を算出する際に、ステップＳ４３で求めた共通特徴量として選択された特徴量のみを用いて、その対象画像のキー画像に対する類似度を計算する。したがって、類似度の計算において共通特徴量以外の特徴量は用いない。これにより、検索結果として、複数のキー画像に共通する特徴を有する画像が精度よく得られる。この場合、複数のキー画像の全てに類似する画像が検索されることになる。すなわち、この場合、キー画像間においてＡＮＤ条件の検索が行われ、複数のキー画像により検索条件の範囲の絞り込みができる。
【００４１】
図１１に類似度の計算の一例を示す。ここでは、共通特徴量として選択された特徴量２と特徴量３との値に基づき、キー画像と対象画像間の距離を求め、その距離に基づき類似度を求めている。なお、図１１において各値は具体的には以下の式（４）〜（６）を用いて求められている。
各特徴量の差＝｜（キー画像の特徴量）−（対象画像の特徴量）｜ …（４）
距離＝{（各特徴量の差）²の和}の平方根 …（５）
類似度＝１．０／距離 …（６）
このようにして求められた類似度は、その値が大きいほど類似性が高いことを示す。
【００４２】
（ｂ）全ての特徴量に基づく類似度の算出
この方法では、対象画像とキー画像との間で、全ての特徴量に基づいて、キー画像毎に類似度を算出する。その後、各キー画像に対して算出された類似度の中で、最も類似度（類似性）が高いものを、その対象画像のキー画像に対する類似度とする。この場合、複数のキー画像のうちの少なくともいずれか１つに類似する画像が検索されることになる。すなわち、この場合はキー画像間においてＯＲ条件での検索が行われ、キー画像の数を増加することにより、検索条件の範囲を広げることができる。
【００４３】
例えば、図１２に示すように、各キー画像と対象画像間で、全ての特徴量について特徴量間の距離を特徴量毎に求め、それらの各特徴量間の距離に基づいてキー画像と対象画像間の距離を求め、その距離により類似度を計算する。具体的には、図１２において各値は以下の式で計算される。
各特徴量の距離＝｜（キー画像の特徴量）−（対象画像の特徴量）｜ …（１）
距離＝{（各特徴量の距離）²の和}の平方根 …（２）
類似度＝１．０／距離 …（３）
【００４４】
このようにして求められた類似度は、その値が大きいほど類似性が高いことを示す。すなわち、図１２においては、第３のキー画像に対する類似度が最も高いので、この値をその対象画像のキー画像に対する類似度とする。
【００４５】
（ｃ）全ての特徴量に基づいて計算された類似度と、共通特徴量に基づいて算出した類似度とによる類似度の算出
この方法では、（ａ）で求めた共通特徴量に基づく類似度と、（ｂ）で求めた全ての特徴量（全特徴量類似度）に基づく類似度とを組み合わせて、最終的な類似度を計算する。このとき、共通特徴量に基づく類似度に重みをつけた後、両類似度を足し合わせて平均値を取り、その対象画像のキー画像に対する類似度とする。すなわち、ＡＮＤ条件とＯＲ条件とを組み合わせて画像検索を行うことにより、キー画像のいずれかに類似する画像の中で、より全キー画像に共通する特徴を持った画像が検索結果として得られ、（ｂ）の場合と比較してより検索精度を向上できる。
【００４６】
例えば、図１３に示すように、図１１で求められた共通特徴量ａに対する重みを、図１２で求められた類似度ｂに対する重みより大きくし、これらの類似度に重みを考慮した平均値をとることにより、最終的に類似度ｃを算出している。なお、図１３において、類似度は次式で求められる。
類似度＝｛（共通特徴量による類似度×共通特徴量に対する重み）
＋（全特徴量による類似度×全特徴量に対する重み）｝
／（共通特徴量に対する重み＋全特徴量に対する重み） …（８）
【００４７】
以上のように、本実施形態の画像検索装置においては、複数のキー画像が指定された場合に、それらのキー画像から特徴量を抽出し、キー画像間に共通する特徴量を選択し、その共通する特徴量を用いて画像間の類似性を判断する。このように、複数のキー画像から自動的に共通する特徴量が決定されるためユーザの負担を軽減することができる。また、複数のキー画像を用いて、それらに共通した特徴を有する画像の検索が可能となるため、キー画像を複数指定することによる検索条件の絞り込みが可能となる。また、類似度の算出において、複数のキー画像の少なくともいずれか１つに類似する度合いを示す類似度を考慮することにより、検索条件の広範な設定が可能となり、検索精度を向上させることができる。
【００４８】
【発明の効果】
本発明の第１の画像検索装置、第１の画像検索方法又は画像検索プログラムを記録した第１の記録媒体によれば、キー画像から特徴量が抽出された特徴量の中から、検索に使用される特徴量が決定され、検索に使用されると決定された特徴量のみを用いて類似度が計算される。これにより、複数のキー画像を用いて、それらに共通した特徴を有する画像の検索が可能となる。したがって、キー画像を複数指定することによる検索条件の絞り込みが可能となり、検索精度が向上できるる。また、このとき、指定されたキー画像から自動的に特徴量が抽出され、その特徴量に基づいて類似画像が検索されるため、ユーザの負担が軽減される。
【００４９】
本発明の第２の画像検索装置、第２の画像検索方法又は画像検索プログラムを記録した第２の記録媒体によれば、類似度の算出において、複数のキー画像の全てに類似する度合いを示す類似度に、複数のキー画像の少なくともいずれか１つに類似する度合いを示す類似度がさらに組み合わされて、検索に用いる類似度が計算される。したがって、キー画像を複数指定することによる検索条件の広範な設定が可能となり、類似画像の検索精度をさらに向上できる。
【図面の簡単な説明】
【図１】 本実施形態の画像検索装置の構成の概略を示す図。
【図２】 画像検索装置の制御装置を中心としたブロック図。
【図３】 画像データベースの構成の一例を示す図。
【図４】 画像検索装置のメインフローのフローチャート。
【図５】 画像登録処理のフローチャート。
【図６】 類似画像検索処理のフローチャート。
【図７】 検索用特徴量作成処理のフローチャート。
【図８】 共通特徴量の算出方法を説明するための図。
【図９】 キー画像から抽出された特徴量の一例を示す図。
【図１０】 対象画像から抽出された特徴量の一例を示す図。
【図１１】 共通特徴量に基づく類似度の算出を説明した図。
【図１２】 全ての特徴量に基づく類似度の算出を説明した図。
【図１３】 共通特徴量に基づく類似度と、全ての特徴量に基づく類似度とを用いた類似度の算出を説明した図。
【符号の説明】
１…制御装置
２…ディスプレイ
３…キーボード
４…マウス
５ａ…フロッピーディスク
５ｂ…フロッピーディスク装置
６…ハードディスク
９ａ…ＣＤ−ＲＯＭ
９ｂ…ＣＤ−ＲＯＭ装置
５０…画像データベース
２０１…ＣＰＵ
２０３…ＲＯＭ
２０４…ＲＡＭ。

Claims (3)

1. 検索対象画像を記憶する画像記憶手段と、
   検索条件を特定するためのキー画像を複数指定する指定手段と、
   該指定手段により指定された複数のキー画像の各々について複数種類の特徴量を取得する第１の特徴量取得手段と、
   前記検索対象画像について複数種類の特徴量を取得する第２の特徴量取得手段と、
   前記各キー画像の特徴量を、前記複数のキー画像間にて同じ種類どうしで比較し、相互に近似する値を持つ特徴量の種類を、検索に使用する共通特徴量として決定する特徴量決定手段と、
   前記共通特徴量とこれに対応する前記検索対象画像の特徴量とを用いて、前記キー画像と前記検索対象画像との間の類似の程度を示す第１の類似度を算出する第１の類似度算出手段と、
   前記各キー画像の全ての種類の特徴量とこれに対応する前記検索対象画像の特徴量とを用いてキー画像毎に前記検索対象画像との類似度を算出し、このうち最も高い類似度を前記キー画像と前記検索対象画像との間の類似の程度を示す第２の類似度とする第２の類似度算出手段と、
   前記第１及び第２の類似度から、前記第１の類似度に対する重みを前記第２の類似度に対する重みよりも大きくして第３の類似度を算出する第３の類似度算出手段と、
   該第３の類似度算出手段により算出された第３の類似度が所定値より高いときに、前記検索対象画像を前記キー画像に類似する画像として抽出する抽出手段とを備えたことを特徴とする画像検索装置。
2. キー画像に基づいて、記憶する検索対象画像の中から前記キー画像に類似する画像を検索する画像検索方法において、
   前記キー画像を複数指定する指定ステップと、
   前記指定された複数のキー画像の各々について複数種類の特徴量を取得する第１の特徴量取得ステップと、
   前記検索対象画像について複数種類の特徴量を取得する第２の特徴量取得ステップと、
   前記各キー画像の特徴量を、前記複数のキー画像間にて同じ種類どうしで比較し、相互に近似する値を持つ特徴量の種類を、検索に使用する共通特徴量として決定する特徴量決定ステップと、
   前記共通特徴量とこれに対応する前記検索対象画像の特徴量とを用いて、前記キー画像と前記検索対象画像との間の類似の程度を示す第１の類似度を算出する第１の類似度算出ステップと、
   前記各キー画像の全ての種類の特徴量とこれに対応する前記検索対象画像の特徴量とを用いてキー画像毎に前記検索対象画像との類似度を算出し、このうち最も高い類似度を前記キー画像と前記検索対象画像との間の類似の程度を示す第２の類似度とする第２の類似度算出ステップと、
   前記第１及び第２の類似度から、前記第１の類似度に対する重みを前記第２の類似度に対する重みよりも大きくして第３の類似度を算出する第３の類似度算出ステップと、
   前記第３の類似度が所定値より高いときに、前記検索対象画像を前記キー画像に類似する画像として抽出する抽出ステップとを有することを特徴とする画像検索方法。
3. 画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体において、
   前記画像検索プログラムは、
   前記キー画像を複数指定する指定手順と、
   前記指定された複数のキー画像の各々について複数種類の特徴量を取得する第１の特徴量取得手順と、
   前記検索対象画像について複数種類の特徴量を取得する第２の特徴量取得手順と、
   前記各キー画像の特徴量を、前記複数のキー画像間にて同じ種類どうしで比較し、相互に近似する値を持つ特徴量の種類を、検索に使用する共通特徴量として決定する特徴量決定手順と、
   前記共通特徴量とこれに対応する前記検索対象画像の特徴量とを用いて、前記キー画像と前記検索対象画像との間の類似の程度を示す第１の類似度を算出する第１の類似度算出手順と、
   前記各キー画像の全ての種類の特徴量とこれに対応する前記検索対象画像の特徴量とを用いてキー画像毎に前記検索対象画像との類似度を算出し、このうち最も高い類似度を前記キー画像と前記検索対象画像との間の類似の程度を示す第２の類似度とする第２の類似度算出手順と、
   前記第１及び第２の類似度から、前記第１の類似度に対する重みを前記第２の類似度に対する重みよりも大きくして第３の類似度を算出する第３の類似度算出手順と、
   前記第３の類似度が所定値より高いときに、前記検索対象画像を前記キー画像に類似する画像として抽出する抽出手順とをコンピュータに実行させることを特徴とする画像検索プログラムを記録した記録媒体。

Images