JP2003122758A - 画像検索方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】複数の画像の中から所望の画像を類似検索する
において、画像のアスペクト比を考慮した類似検索を可
能とし、検索精度を向上させる。 【解決手段】画像分割部１０１はクエリ画像を複数種類
の分割方法で複数のブロックに分割する。ブロック特徴
量抽出部１０２は、ブロックの特徴量に基づいて画像特
徴量を取得することにより、クエリ画像について上記複
数の分割方法の各々に対応した複数の特徴量１１３を取
得する。類似度算出部１０４は、複数種類のクエリ画像
特徴量１１３を用いて画像記録部１０３に記録されてい
る対象画像との間の類似度を計算し、類似画像検索を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータやデ
ジタルカメラ、ビデオ録画器等に好適に適用可能な画像
検索方法及び装置と、その制御をコンピュータに実行さ
せるための制御プログラム及び該制御プログラムを記録
したコンピュータ可読媒体に関する。

【０００２】

【従来の技術】蓄積されている多数の画像の中から、所
望の画像を検索する場合、検索元となる画像（以降、ク
エリ画像と呼ぶことにする）を提示し、提示されたクエ
リ画像と似ている画像を探す技術、いわゆる類似画像検
索技術がこれまで多数提案されている。この種の類似画
像検索技術の一つとして、米国特許第５５７９４７１号
に記載された画像検索方法が挙げられる。

【０００３】この画像検索方法について簡単に説明す
る。まず、蓄積されている検索の対象の画像（以降、対
象画像と呼ぶことにする）をｍ×ｎ個のブロックに分割
する。そして、それぞれのブロックについてそのブロッ
クの代表色、すなわち、最頻の色を求める。こうして得
られた各ブロックの代表色を、所定のブロック順序で並
べて画像の特徴量とし、対象画像に対応付けて記憶す
る。クエリ画像についても同様の手法で特徴量を求め、
クエリ画像と対象画像の２つの特徴量から類似度を算出
し、類似度の高い対象画像から順に検索結果として出力
する。

【０００４】

【発明が解決しようとする課題】しかしながら、蓄積さ
れている画像の中には、画像の縦のサイズと横のサイズ
の比率（以降、アスペクト比と呼ぶことにする）が異な
る画像が多数存在する。これに対して、上述した従来の
技術では、これらのアスペクト比の異なる画像に対し
て、同一のブロック分割を行う。このため、アスペクト
比の異なる画像を比較した場合、本来比較対照とすべき
ブロックの位置がずれてしまい、２つの画像の類似度が
低下してしまうという課題がある。あるいは、画像の特
定の領域に対するブロックの分割位置がずれるため、そ
のブロックに対応する代表色が、２つの画像の間で異な
り、結果として類似度が低下するという課題がある。

【０００５】例えば、図７に示すように、縦長の画像７
０１と横長の画像７０２を、それぞれ、８×８のブロッ
クに分割し、アスペクト比が同じ正方形になるように、
それぞれの画像を偏倍して重ね合わせると７０３に示す
ようになる。この場合、７０３に示されるように、比較
すべきブロックの位置がずれたり、分割する画像の領域
が異なるために代表色が代わってしまうという現象が発
生する。

【０００６】一般的に、画像を特徴付ける情報は、画像
の周辺部より中央付近に集中することが多く、画像の中
央付近での上記問題点による類似度の低下は、検索の精
度に大きく影響を及ぼす。

【０００７】また、従来の技術においては、クエリ画像
のアスペクト比を考慮せず、上記特徴量のみを用いて類
似する画像を検索していたため、クエリ画像と異なるア
スペクト比の対象画像も検索結果として出力されてしま
う。そのため、クエリ画像とアスペクト比が同じ画像を
検索したい場合でも、アスペクト比が異なる画像が検索
結果の候補として出力されてしまうので、検索結果の中
から目視によりアスペクト比が同じ画像を探さなければ
ならないという煩雑さがあった。

【０００８】本発明は上記の課題に鑑みてなされたもの
であり、複数の画像の中から所望の画像を類似検索する
画像を検索する類似画像検索方法において、画像のアス
ペクト比を考慮した類似検索を可能とすることを目的と
する。また、本発明の他の目的は、異なるアスペクト比
の画像が混在する場合の検索精度を向上することにあ
る。更に、本発明の他の目的は、アスペクト比の一致す
る画像を類似検索の対象とすることを可能にすることに
ある。

【０００９】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明の画像検索方法は、画像を複数種類の分割
方法で複数のブロックに分割する分割工程と、前記分割
工程で得られたブロックの特徴量に基づいて画像特徴量
を取得することにより、前記画像について前記複数の分
割方法の各々に対応した複数の特徴量を取得する取得工
程と、検索元の画像として指定されたクエリ画像につい
て前記分割工程と前記取得工程を適用し、該クエリ画像
について複数の特徴量を取得し、該複数の特徴量を用い
て類似画像検索をする検索工程とを備える。

【００１０】また、本発明の他の態様による画像検索方
法は、画像を複数のブロックに分割する分割工程と、前
記分割工程で得られたブロックの特徴量に基づいて画像
特徴量を取得することにより、前記画像について特徴量
を取得する取得工程と、検索元の画像として指定された
クエリ画像について前記分割工程と前記取得工程を適用
し、該クエリ画像について複数の特徴量を取得し、該特
徴量を用いて類似画像検索をする検索工程とを備え、前
記分割工程は、画像のアスペクト比に応じてブロックの
分割方法を変えることを特徴とする。

【００１１】更に本発明の他の態様による画像検索方法
は、検索元の画像として指定されたクエリ画像について
特徴量を取得する取得工程と、前記クエリ画像について
取得された特徴量を用いて類似画像検索をする検索工程
とを備え、前記検索工程は、該クエリ画像のアスペクト
比との差異が所定範囲であるアスペクト比を有する画像
のみを検索対象の画像とすることを特徴とする。

【００１２】更に、本発明によれば、上記画像検索方法
を実行する画像検索装置が提供される。また、本発明に
よれば、上記画像検索方法をコンピュータに実行させる
ための制御プログラム及び該制御プログラムを格納する
コンピュータ可読メモリが提供される。

【００１３】

【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態を説明する。

【００１４】図１は本実施形態による画像検索装置の機
能構成を説明する図である。図１において、１０１は画
像分割部であり、入力された画像データ１１１（対象画
像データ或いはクエリ画像データ）を複数種類の方法で
ブロックに分割する。本実施形態では、画像全体を等し
く分割する分割方法と、画像の中央部を等しく分割する
分割方法を用いる。１０２はブロック特徴量抽出部であ
り、画像分割部１０１の分割結果を受けて、各ブロック
の特徴量を各分割方法毎に抽出する。本実施形態では、
各ブロックの特徴量として各ブロックにおける最頻の色
（代表色）を用いる。ブロック特徴量抽出部１０２にお
いて得られた画像特徴量が、対象画像データより得られ
たものであれば対象画像特徴量１１２として画像記録部
１０３へ、クエリ画像データより得られたものであれば
クエリ画像特徴量１１３として類似度計算部１０４へ出
力される。

【００１５】１０３は画像記録部であり、ブロック特徴
量抽出部１０２より得られた対象画像特徴量１１２を、
その元の対象画像に対応付けて記録する。１０４は類似
度計算部であり、クエリ画像特徴量１１３と、画像記録
部１０３に記録されている各対象画像特徴量との間で類
似度計算を行い、類似検索を行う。そして、類似度計算
の結果、類似度の高い順に対応する対象画像を検索候補
として出力する。１０５はアスペクト比比較部であり、
クエリ画像と対象画像との間のアスペクト比を比較し、
その差が大きい場合は、その対象画像を類似度計算の対
象から外す。また、類似度計算部１０４では、クエリ画
像と対象画像のアスペクト比の差に基づいて上述した２
種類の分割方法のいずれの特徴量を用いるかを選択す
る。

【００１６】図２は本実施形態による画像検索装置の構
成を示すブロック図である。図２において、２０１はＣ
ＰＵでありＲＯＭ２０２やＲＡＭ２０３に格納された制
御プログラムを実行することにより本画像検索装置の各
種処理（添付のフローチャートを参照して後述する処理
を含む）を実現する。すなわち、図１で上述した各機能
が実現される。２０２はＲＯＭであり、各種データ、ブ
ートプログラムを記憶する。２０３はＲＡＭでありＣＰ
Ｕ２０１のメインメモリとして機能する。

【００１７】２０４はＣＤ−ＲＯＭドライブであり、記
憶媒体としてのＣＤ２０５に記憶されたデータを読み出
す。２０６はＨＤドライブであり、各種制御プログラム
を格納する。なおＨＤドライブに格納された制御プログ
ラムは、ＲＡＭ２０３にロードされ、ＣＰＵ２０１によ
り実行される。

【００１８】２０７はキーボード、２０９はポインティ
ングデバイス（本例ではマウス）であり、ユーザによる
各種操作入力を可能とする。２０８はディスプレイであ
り、ＣＰＵ２０１の制御の下、各種表示を行う。２１０
はプリンタでありＣＰＵ２０１の制御の下で印刷出力を
行う。２１１はバスであり、上述した各構成を、相互に
通信可能に接続する。

【００１９】なお、本例では、ＲＯＭ２０２には、図４
に示される制御手順プログラム４０１が格納されてい
る。また、図２におけるＲＡＭ２０３には、図６に示さ
れるように、画像検索プログラム６０３、画像データベ
ース６０４、検索結果リスト６０５、検索モード６０６
などが格納されている。

【００２０】図３は、プログラム等が媒体であるＣＤ−
ＲＯＭ２０５からコンピュータシステムに供給されるこ
とを示す。図５は、記録媒体ＣＤ−ＲＯＭ２０５中のデ
ータ記憶状態を示す図であり、画像検索プログラム５０
１が記憶されている。

【００２１】図６は、ＣＤ−ＲＯＭ２０５に格納されて
いる画像検索プログラム５０１が、ＲＡＭ２０３にロー
ドされ、実行可能となった状態のメモリマップを示す。
実行可能となった状態では、画像検索プログラム６０３
以外に、この画像検索プログラムが使用するメモリとし
て、画像データベース６０４などが、ＨＤドライブ２０
６よりロードされている。また、画像検索プログラムで
使用する検索結果リスト６０５、検索モード６０６など
の領域が確保され、初期化される。

【００２２】なお、検索結果リスト６０５は、所定のし
きい値以上の類似度を持つ検索結果が格納される領域で
あり、後述する画像ＩＤとクエリ画像との類似度が対応
されて格納される。また、検索モード６０６には、クエ
リ画像の縦のサイズと横のサイズの比率（アスペクト
比）と同じ比率を持つ画像のみを検索するか、アスペク
ト比が異なる画像も含めて検索するかを示すモードであ
り、前者をアスペクト指定モード、後者をアスペクト・
フリー・モードと呼ぶことにする。

【００２３】図８は、ＲＡＭ２０３に読み込まれた画像
データベース６０４の構成を示した図である。画像デー
タベース６０４には、各画像に対して、画像の識別子で
ある画像ＩＤ、画像データが格納されているファイル
名、画像の横のサイズを表す横サイズ、画像の縦のサイ
ズをあらわす縦サイズ、画像全体の特徴を表す全域特徴
量、および、画像の中心部分の特徴を表す部分特徴量が
対応付けられて格納される。なお、縦サイズ、ならびに
横サイズは、ピクセル数が格納される。

【００２４】また、全域特徴量とは、図９に示すよう
に、画像全体を８×８のブロックに均等に分割し、各ブ
ロックに対して代表色を求め、６４個のブロックの代表
色の値を順番に並べたものである。図９は横長の画像を
示しているが、縦長の画像に対しては、図９を９０°右
または左に回転したものになる。また、部分特徴量と
は、図１０に示すように、縦サイズ、横サイズのうちの
小さい方のサイズを一辺とする正方形の領域を画像の中
央部に設定し、この領域（太線で示される領域）を８×
８のブロックに均等に分割し、各ブロックに対して代表
色を求め、得られた６４個のブロックの代表色の値を順
番に並べたものである。なお、図１０は横長の画像を示
しているが、縦長の画像に対しては、図１０を９０°右
または左に回転したものになる。

【００２５】次に、図１１乃至図１３を参照して、本画
像検索装置の動作を説明する。

【００２６】まず、ＣＤ−ＲＯＭ２０５に格納された画
像検索プログラム５０１などをＣＤ−ＲＯＭドライブ２
０４からＲＡＭ２０３にロードし、さらに、ＨＤドライ
ブ２０６から画像データベース６０４などをＲＡＭ２０
３にロードし、ＲＡＭ２０３に検索結果リスト６０５、
検索モード６０６などの領域を確保し、必要な初期化を
行う（ステップＳ１０１）。

【００２７】次に、ステップＳ１０２において、キーボ
ード２０７、または、マウス２０９による指示に従って
処理を分岐させる。画像登録の指示が行われた場合は、
ステップＳ１０３へ分岐し、画像検索の指示が行われた
場合はステップＳ１０４へ分岐し、モード設定の指示が
行われた場合はステップＳ１０５へ分岐する。ステップ
Ｓ１０３は、指定された画像を画像データベース６０４
に登録する処理であり、図１２を用いて説明する。ステ
ップＳ１０４は、画像データベース６０４から指定され
た画像を類似する画像を検索する処理であり、図１３を
用いて説明する。ステップＳ１０５は、画像検索のモー
ドを切り替える処理であり、オペレータの指示に基づ
き、アスペクト指定モードとアスペクト・フリー・モー
ドを切り替え、指定されたモードを示すフラグが検索モ
ード６０６へ格納される。

【００２８】図１２は、ステップＳ１０３による画像登
録処理を説明するためのフローチャートである。

【００２９】ステップＳ２０１において、登録する画像
を指定する。指定の方法としては、ＨＤドライブ２０６
に格納されている画像ファイル名をキーボード２０７に
よって入力したり、ＨＤドライブ２０６に格納されてい
る画像ファイル（或いはそのアイコン）をディスプレイ
２０８に表示し、マウス２０９を用いて指定する方法な
ど、複数の指定方法があり、どの指定方法を用いてもか
まわない。

【００３０】ステップＳ２０２では、ステップＳ２０１
で指定された画像に対して、画像の全域にわたる特徴量
（全域特徴量）を抽出する。まず画像分割部１０１が、
図９に示すように画像の全体を８×８のブロックに均等
に分割し、ブロック特徴量抽出部１０２が各ブロックに
対して代表色を求めて、６４個のブロックの代表色の値
を順番に並べることにより全域特徴量が抽出される。こ
のような全域特徴量を抽出する方法は、米国特許第５５
７９４７１号等に記載されているように、公知の技術で
あるので、詳細な説明は省略する。

【００３１】ステップＳ２０３では、ステップＳ２０１
で指定された画像に対する部分特徴量を抽出するための
部分領域が決定される。部分領域とは、図１０に示すよ
うに、縦サイズ、横サイズのうちの小さいサイズを一辺
とする正方形の領域を画像の中央に配置して得られる領
域（太線で示される領域）である。

【００３２】ステップＳ２０４では、ステップＳ２０３
で決定された部分領域に対する特徴量（部分特徴量）を
抽出する。すなわち、画像分割部１０１は、図１０に示
すように部分領域を設定し、この領域内の画像を８×８
のブロックに均等に分割する。そして、ブロック抽出部
１０２は、各ブロックに対して代表色を求め、６４個の
ブロックの代表色の値を順番に並べることにより部分特
徴量を得る。なお、各ブロック毎の特徴量抽出は上記全
域特徴量の抽出と同様、米国特許第５５７９４７１号等
に記載されている方法を用いることができる。

【００３３】ステップＳ２０５では、画像記録部１０３
が、ステップＳ２０１で指定された画像に関する情報
を、画像データベース６０４へ登録する。具体的には、
画像データベース６０４に登録されている画像の画像Ｉ
Ｄに関して、使用されていない番号を求め、登録する画
像の画像ＩＤとする。そして、この画像ＩＤと、ステッ
プＳ２０１において指定される画像のファイル名、画像
の横サイズ、縦サイズ、ステップＳ２０２において求め
た全域特徴量、ならびに、ステップＳ２０４において求
めた部分特徴量の組を、画像データベース６０４に登録
する。

【００３４】次に、ステップＳ１０４における画像検索
処理について、図１３を参照して説明する。

【００３５】ステップＳ３０１では、検索の元となる画
像（クエリ画像）を指定し、指定されたクエリ画像の特
徴量を抽出する。クエリ画像の指定の方法としては、Ｈ
Ｄドライブ２０６に格納されているファイル名をキーボ
ード２０７によって入力したり、ＨＤドライブ２０６に
格納されている画像ファイルをディスプレイ２０８に表
示し、マウス２０９を用いて指定する方法など、複数の
指定方法がある。そして、ステップＳ２０２からステッ
プＳ２０４へかけて行った処理と同様にして、画像分割
部１０１とブロック特徴量抽出部１０２により、指定さ
れたクエリ画像の全域特徴量および部分特徴量を抽出す
る。また、別の画像の指定方法として、画像データベー
ス６０４に格納されている画像をランダムにディスプレ
イ２０８に表示し、その中からマウス２０９を用いて選
択する方法も可能である。この場合は、指定された画像
に対する全域特徴量と部分特徴量は、画像データベース
６０４から容易に求めることができる。

【００３６】次に、ステップＳ３０２において、画像デ
ータベース６０４からクエリ画像と比較する対象画像を
一つずつ順番に取り出す。ステップＳ３０３において、
全ての画像を取り出し終えていればステップＳ３１０へ
進み、未処理の対象画像を取り出せた場合はステップＳ
３０４へ進む。

【００３７】ステップＳ３０４において、ステップＳ３
０１で指定されたクエリ画像とステップＳ３０２で取り
出された対象画像のアスペクト比を比較する。アスペク
ト比は、画像の縦サイズの値を横サイズの値で割った値
とする。アスペクト比の同一性に関しては、ある程度余
裕を持たせる用にする。例えば、クエリ画像のアスペク
ト比の０．９倍の値と１．１倍の値の間に、対象画像の
アスペクト比の値がおさまっていれば、両者は同じであ
ると見なすものとする。アスペクト比が同じと見なされ
た場合は、ステップＳ３０５へ進み、同じでなければス
テップＳ３０６へ進む。

【００３８】ステップＳ３０５では、クエリ画像と対象
画像の全域特徴量を比較し、類似度を求める。全域特徴
量のように、画像をブロックに分割し、各ブロックの代
表色の列を特徴量として、２つの特徴量から類似度を算
出する方法は、米国特許第５５７９４７１号等に記載さ
れているように、公知の技術であるので、詳細な説明は
省略する。類似度を求めた後は、ステップＳ３０８へ進
む。

【００３９】一方、ステップＳ３０６でアスペクト比が
異なると判定された場合、ステップＳ３０６において、
検索モード６０６の状態をチェックする。検索モード６
０６がアスペクト指定モードを示しておれば比較不可能
としてステップＳ３０２へ戻り、次の対象画像経処理を
移す。また、検索モード６０６がアスペクト・フリー・
モードであれば、比較可能としてステップＳ３０７へ進
む。このように、アスペクト指定モードでは、比較する
２つの画像のアスペクト比がある程度同じでない場合、
その対象画像は検索の対象外となる。

【００４０】ステップＳ３０７では、クエリ画像と対象
画像の全域特徴量と部分特徴量を、それぞれ比較し、類
似度を求める。比較の組み合わせとして、クエリ画像の
全域特徴量と対象画像の全域特徴量、クエリ画像の全域
特徴量と対象画像の部分特徴量、クエリ画像の部分特徴
量と対象画像の全域特徴量、クエリ画像の部分特徴量と
対象画像の部分特徴量の４通りをそれぞれ比較して類似
度を求め、類似度の最も高い値を、クエリ画像と対象画
像の類似度とする。それぞれの比較において使用される
類似度算出方法は、ステップＳ３０５と同様の手法を適
用できることは当業者には明らかであろう。このよう
に、アスペクト比の異なる画像に対して複数種類のブロ
ック分割方法で求めた特徴量を比較することによって、
より最適な類似度を求めることができる。ステップＳ３
０７の処理を終えるとステップＳ３０８へ進む。

【００４１】ステップＳ３０８では、ステップＳ３０５
またはステップＳ３０７において求められた類似度の値
によって分岐する。類似度が所定の値より大きければ、
２つの画像は類似しているものとしてステップＳ３０９
へ進み、小さければ類似していないものしてステップＳ
３０２へ戻る。ステップＳ３０９では、対象画像の画像
ＩＤとステップＳ３０５またはステップＳ３０７で求め
られた類似度の値を対応させ、これを検索結果として検
索結果リスト６０５へ追加する。処理を終えるとステッ
プＳ３０２へ戻る。

【００４２】こうして、全ての対象画像について処理を
終えると、ステップＳ３０３からステップＳ３１０へ処
理が進む。ステップＳ３１０では、検索結果リスト６０
５に格納されている検索結果を元に、検索結果の画像と
類似度をディスプレイ２０８へ表示する。なお、表示す
る画像のデータは、画像ＩＤと画像データベース６０４
から得られるファイル名から求めることができる。

【００４３】以上に説明したように、本実施形態によれ
ば、複数のブロック分割方法、特に画像の中央付近のブ
ロックのブロックの縦横比が等しくなるブロック分割を
用いて得られた特徴量を用いて類似度を計算する。この
ため、アスペクト比が異なる画像、例えば、縦長の画像
と横長の画像が混在する画像群の中から、提示した画像
に類似する画像を探す場合でも、アスペクト比に起因し
た類似度の低下を防ぐことができ、正確な検索結果を得
ることができる。

【００４４】また、上記実施形態によれば、クエリ画像
と対象画像のアスペクト比の差が小さければ全域特徴量
を用い、アスペクト比の差が大きければ全域特徴量と部
分特徴量を用いて類似度計算を行う。特に、アスペクト
比の差が大きい場合には、画像の中央付近の各ブロック
の縦横比が等しくなるようにブロック分割して得られた
特徴量が用いられる。このため、アスペクト比が異なる
画像が混在する場合でも正確な検索結果を得ることがで
きる。

【００４５】更に、上記実施形態によれば、アスペクト
指定モードが指定された場合には、提示された画像と同
じアスペクト比を有する画像のみが検索対象となるの
で、検索結果の中にアスペクト比が異なる画像が混在せ
ず、検索結果の確認が容易になる。すなわち、例えばア
スペクト指定モードを設けて、アスペクト比にこだわる
検索（同一アスペクト比を有する画像の類似検索）を行
うことができる。

【００４６】

【他の実施形態】なお、上記実施形態では、画像の全域
特徴量として、図９に示されてるように、均一なサイズ
のブロックに分割して得られた特徴量を用いたがこれに
限られるものではない。例えば、図１４に示されるよう
に、アスペクト比の異なる画像において、中央付近のブ
ロックのアスペクト比が等しくなるように分割を行って
もよい。例えば、図１４に示されるブロックの分割の例
では、縦横のサイズが短い辺に対しては均等に８分割
し、長い辺に対しては、中央４列のブロックが正方形に
なるように分割し、両端のブロックは縦横の比率が１×
２になるように分割している。例えば、縦横のサイズが
４８０×６４０画素の画像では、中央４列のブロックは
縦横６０×６０画素、その外側の列のブロックは、縦横
６０×８０画素、両端の列のブロックは６０×１２０画
素になる。

【００４７】以上は、縦長の画像と横長の画像とで、ブ
ロック分割方法が異なることになるが、同じ横長同士の
分割においても、ブロック分割方法を変えることも可能
である。例えば、縦横の比率が３対４の画像に対しては
図１４と同じ分割方法を用い、縦横の比率が９対１６の
画像に対しては、中央２列のブロックのみが正方形にな
り、外側に行くにつれて、ブロックの横のサイズが長く
なるようにしてもよい。

【００４８】以上のように、画像のアスペクト比に応じ
てブロックの分割方法を変更することにより、各アスペ
クト比に応じて適切に画像を分割することができ、より
精度の高い類似画像検索を実現できる。すなわち、画像
全域の特徴量を算出するにおいて、図９に示した分割方
法に代えて図１４に示した分割方法を用いることで、よ
り高精度な類似画像検索が可能となる。なお、画像の全
域を均等に分割する分割方法（図９）、画像の中央部分
を用いて画像の全域を均等に分割する分割方法（図１
０）に加えて、アスペクト比に応じた分割方法で画像を
分割して得られた特徴量を用い、これら３種類の特徴量
を用いて類似画像検索を行うようにしてもよい。

【００４９】この場合、各分割方法から得られた特徴量
を、上記ステップＳ３０５、Ｓ３０７においてどのよう
に使用するかには種々の方法が考えられるが、一例を示
せば以下のとおりである。例えば、ステップＳ３０５で
は、図９と図１４に示した分割方法から得られた特徴量
を用いてステップＳ３０７で説明したように各特徴量の
組み合わせで類似度を計算し、得られた４つの類似度の
うちの最大の類似度を採用する（ステップＳ３０５の処
理）。一方、ステップＳ３０７では、図１０と図１４に
示した分割方法から得られた特徴量を用いて各特徴量の
組み合わせで類似度を計算し、得られた４つの類似度の
うちの最大の類似度を採用する（ステップＳ３０７）。

【００５０】更に、図１４のような、アスペクト比に応
じた分割方法のみを採用して、クエリ画像と対象画像の
アスペクト比の差異にかかわらず同一の類似度検索を行
うように構成しても、アスペクトの差異を考慮した類似
画像検索が可能となる。

【００５１】また、上記実施形態では、画像の全域特徴
量と部分特徴量として、分割された全てのブロックの代
表色の並びを画像の特徴量としていたがこれに限られる
ものではない。例えば、８×８のブロックの代表色を縦
横８×８画素の画像とみなし、ＪＰＥＧ等で用いられて
いるＤＣＴを施して得られるＤＣＴ係数の直流成分とジ
グザグスキャンによって得られる一定個数の低周波成分
をその画像の特徴量として記憶するようにしてもよい。
この場合は、特徴量に含まれていない高周波成分を０と
して、逆ＤＣＴを施して８×８画素の画像に戻してから
比較してもよいが、ＤＣＴ係数を直接比較することによ
って類似度を算出することも可能である。

【００５２】また、本実施形態では、画像の全域特徴量
と部分特徴量として、ブロックに分割した各ブロックの
代表色の集合としたが、代表色でなく平均色を用いても
良い。また、代表色の変わりに、画像のエッジを求め、
各ブロック内のラン数、平均ラン長、ラン長分布などを
用いても良い。これらの特徴量を比較して類似度を求め
る方法は、加藤らによる「画像対話型商標・意匠データ
ベース ＴＲＡＤＥＭＡＲＫ」（電子情報通信学会論文
誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７２−Ｄ−ＩＩ、Ｎｏ．４に記
載されている方法が適用できる。

【００５３】また、本実施形態では、部分特徴量を１つ
だけ使用していたが、構図の関係から左端、または、右
端に特徴的な領域がある場合に対応するために、図１０
の太枠で示される第１の部分領域、図１０の太枠を右端
に寄せた第２の部分領域、左端に寄せた第３の部分領域
と、計３つの部分領域を使用して、それぞれ特徴量を同
様にして求め、ステップＳ３０７において、全域特徴量
と合わせた４つの特徴量を用いて２つの画像間で計１６
通りの類似度を求め、最も高い類似度を２つの画像の類
似度とするようにしても良い。なお、図１０は横長の画
像を示しているが、縦長の画像に対しては、図１０を右
に９０°回転したものになり、第２の部分領域は例えば
太枠を上端に寄せた領域、第３の部分領域は太枠を下端
に寄せた領域になる。

【００５４】また、ステップＳ３０４において、２つの
画像のアスペクト比を比較する場合、アスペクト比の差
がある程度の範囲に収まる場合は、アスペクト比が同じ
であるとしていたが、等しくなければ同じであると見な
さないことももちろん可能である。また、縦長のクエリ
画像に対しては縦長の対象画像のみがアスペクト比の同
じ画像であると見なし、横長のクエリ画像に対しては横
長の対象画像のみがアスペクト比の同じ画像であると見
なすようにしても良い。

【００５５】また、上記実施形態では、外部記憶装置と
してＣＤ−ＲＯＭから画像検索プログラムを直接ＲＡＭ
２０３にロードして実行させる例を示したが、この他
に、ＣＤ−ＲＯＭから画像検索プログラムをいったんＨ
Ｄ２０６に格納（インストール）しておき、本画像検索
プログラムを動作させる時点で、ＨＤ２０６からＲＡＭ
２０３にプログラムをロードするようにしてもよい。

【００５６】また、本画像検索プログラムを記録する媒
体は、ＣＤ−ＲＯＭ以外にＦＤ（フロッピー（登録商
標）ディスク）、ＩＣメモリカード等であってもよい。

【００５７】更に、本画像検索プログラムを、ＲＯＭに
記録しておき、これをメモリマップの一部となるように
構成し、直接ＣＰＵで実行することも可能である。

【００５８】なお、本発明は、複数の機器（例えばホス
トコンピュータ，インタフェイス機器，リーダ，プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機，ファクシミリ装置
など）に適用してもよい。

【００５９】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００６０】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００６１】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００６２】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００６３】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００６４】

【発明の効果】以上説明したように、本発明によれば、
複数の画像の中から所望の画像を類似検索するにおい
て、画像のアスペクト比を考慮した類似検索が可能とな
り、異なるアスペクト比の画像が混在する場合の検索精
度を向上させることができる。

【図面の簡単な説明】

【図１】本実施形態による画像検索装置の機能構成を説
明する図である。

【図２】本実施形態による画像検索装置の構成を示すブ
ロック図である。

【図３】プログラム等が媒体からコンピュータシステム
に供給されることを示す図である。

【図４】本実施形態のＲＯＭのデータ構成例を示す図で
ある。

【図５】画像検索プログラム等が記録されている媒体の
データ構成例を示す図である。

【図６】画像検索処理プログラム実行時におけるＲＡＭ
上のメモリマップの構造を説明する図である。

【図７】アスペクト比の異なる画像に対して均一にブロ
ック分割した場合のブロックのずれを説明する図であ
る。

【図８】メモリマップ上の画像データベースのデータ構
成例を示す図である。

【図９】全域特徴量抽出のためのブロック分割方法を説
明する図である。

【図１０】部分特徴量抽出のためのブロック分割方法を
説明する図である。

【図１１】本実施形態による画像検索装置の処理を説明
するフローチャートである。

【図１２】本実施形態の画像検索装置における画像登録
処理を説明するフローチャートである。

【図１３】本実施形態の画像検索装置における画像検索
処理を説明するフローチャートである。

【図１４】全域特徴量抽出のための他の実施形態による
ブロック分割を説明する図である。

Claims (28)

【特許請求の範囲】
1. 【請求項１】 画像を複数種類の分割方法で複数のブロ
   ックに分割する分割工程と、 前記分割工程で得られたブロックの特徴量に基づいて画
   像特徴量を取得することにより、前記画像について前記
   複数の分割方法の各々に対応した複数の特徴量を取得す
   る取得工程と、 検索元の画像として指定されたクエリ画像について前記
   分割工程と前記取得工程を適用し、該クエリ画像につい
   て複数の特徴量を取得し、該複数の特徴量を用いて類似
   画像検索をする検索工程とを備えることを特徴とする画
   像検索方法。
2. 【請求項２】 前記ブロックの特徴量としてブロック内
   の代表色を用いることを特徴とする請求項１に記載の画
   像検索方法。
3. 【請求項３】 前記ブロックの特徴量としてブロック内
   の平均色を用いることを特徴とする請求項１に記載の画
   像検索方法。
4. 【請求項４】 前記複数の分割方法は、画像全体をブロ
   ックに分割する第１分割方法と、画像の中央部分を抽出
   してブロックへ分割する第２分割方法とを含むことを特
   徴とする請求項１に記載の画像検索方法。
5. 【請求項５】 前記第２分割方法は、前記中央部分を、
   縦横のサイズが等しいブロックに分割することを特徴と
   する請求項４に記載の画像検索方法。
6. 【請求項６】 検索の対象となる複数の対象画像の各々
   に対して、前記分割工程と前記取得工程を適用して複数
   の特徴量を取得し、該複数の対象画像と複数の特徴量を
   対応付けて格納する格納工程を更に備えることを特徴と
   する請求項１に記載の画像検索方法。
7. 【請求項７】 前記検索工程は、前記複数の対象画像の
   各々と前記クエリ画像との間で、複数の特徴量の各組み
   合わせについて類似度を算出し、最も高い類似度を当該
   ２つの画像の類似度とすることを特徴とする請求項６に
   記載の画像検索方法。
8. 【請求項８】 前記複数の分割方法は、画像のアスペク
   ト比に応じてその分割形態が変化する分割方法を含むこ
   とを特徴とする請求項１に記載の画像検索方法。
9. 【請求項９】 前記検索工程は、該クエリ画像のアスペ
   クト比との差異が所定範囲であるアスペクト比を有する
   画像のみを検索対象の画像とすることを特徴とする請求
   項１に記載の画像検索方法。
10. 【請求項１０】 画像を複数のブロックに分割する分割
    工程と、 前記分割工程で得られたブロックの特徴量に基づいて画
    像特徴量を取得することにより、前記画像について特徴
    量を取得する取得工程と、 検索元の画像として指定されたクエリ画像について前記
    分割工程と前記取得工程を適用し、該クエリ画像につい
    て複数の特徴量を取得し、該特徴量を用いて類似画像検
    索をする検索工程とを備え、 前記分割工程は、画像のアスペクト比に応じてブロック
    の分割方法を変えることを特徴とする画像検索方法。
11. 【請求項１１】 前記分割工程は、画像が縦長であるか
    横長であるかに応じて分割方法を変えることを特徴とす
    る請求項１０に記載の画像検索方法。
12. 【請求項１２】 前記検索工程は、該クエリ画像のアス
    ペクト比との差異が所定範囲であるアスペクト比を有す
    る画像のみを検索対象の画像とすることを特徴とする請
    求項１０に記載の画像検索方法。
13. 【請求項１３】 検索元の画像として指定されたクエリ
    画像について特徴量を取得する取得工程と、 前記クエリ画像について取得された特徴量を用いて類似
    画像検索をする検索工程とを備え、 前記検索工程は、該クエリ画像のアスペクト比との差異
    が所定範囲であるアスペクト比を有する画像のみを検索
    対象の画像とすることを特徴とする画像検索方法。
14. 【請求項１４】 画像を複数種類の分割装置で複数のブ
    ロックに分割する分割手段と、 前記分割手段で得られたブロックの特徴量に基づいて画
    像特徴量を取得することにより、前記画像について前記
    複数の分割装置の各々に対応した複数の特徴量を取得す
    る取得手段と、 検索元の画像として指定されたクエリ画像について前記
    分割手段と前記取得手段を適用し、該クエリ画像につい
    て複数の特徴量を取得し、該複数の特徴量を用いて類似
    画像検索をする検索手段とを備えることを特徴とする画
    像検索装置。
15. 【請求項１５】 前記ブロックの特徴量としてブロック
    内の代表色を用いることを特徴とする請求項１４に記載
    の画像検索装置。
16. 【請求項１６】 前記ブロックの特徴量としてブロック
    内の平均色を用いることを特徴とする請求項１４に記載
    の画像検索装置。
17. 【請求項１７】 前記複数の分割装置は、画像全体をブ
    ロックに分割する第１分割装置と、画像の中央部分を抽
    出してブロックへ分割する第２分割装置とを含むことを
    特徴とする請求項１４に記載の画像検索装置。
18. 【請求項１８】 前記第２分割装置は、前記中央部分
    を、縦横のサイズが等しいブロックに分割することを特
    徴とする請求項１７に記載の画像検索装置。
19. 【請求項１９】 検索の対象となる複数の対象画像の各
    々に対して、前記分割手段と前記取得手段を適用して複
    数の特徴量を取得し、該複数の対象画像と複数の特徴量
    を対応付けて格納する格納手段を更に備えることを特徴
    とする請求項１４に記載の画像検索装置。
20. 【請求項２０】 前記検索手段は、前記複数の対象画像
    の各々と前記クエリ画像との間で、複数の特徴量の各組
    み合わせについて類似度を算出し、最も高い類似度を当
    該２つの画像の類似度とすることを特徴とする請求項１
    ９に記載の画像検索装置。
21. 【請求項２１】 前記複数の分割装置は、画像のアスペ
    クト比に応じてその分割形態が変化する分割装置を含む
    ことを特徴とする請求項１４に記載の画像検索装置。
22. 【請求項２２】 前記検索手段は、該クエリ画像のアス
    ペクト比との差異が所定範囲であるアスペクト比を有す
    る画像のみを検索対象の画像とすることを特徴とする請
    求項１４に記載の画像検索装置。
23. 【請求項２３】 画像を複数のブロックに分割する分割
    手段と、 前記分割手段で得られたブロックの特徴量に基づいて画
    像特徴量を取得することにより、前記画像について特徴
    量を取得する取得手段と、 検索元の画像として指定されたクエリ画像について前記
    分割手段と前記取得手段を適用し、該クエリ画像につい
    て複数の特徴量を取得し、該特徴量を用いて類似画像検
    索をする検索手段とを備え、 前記分割手段は、画像のアスペクト比に応じてブロック
    の分割装置を変えることを特徴とする画像検索装置。
24. 【請求項２４】 前記分割手段は、画像が縦長であるか
    横長であるかに応じて分割装置を変えることを特徴とす
    る請求項２３に記載の画像検索装置。
25. 【請求項２５】 前記検索手段は、該クエリ画像のアス
    ペクト比との差異が所定範囲であるアスペクト比を有す
    る画像のみを検索対象の画像とすることを特徴とする請
    求項２３に記載の画像検索装置。
26. 【請求項２６】 検索元の画像として指定されたクエリ
    画像について特徴量を取得する取得手段と、 前記クエリ画像について取得された特徴量を用いて類似
    画像検索をする検索手段とを備え、 前記検索手段は、該クエリ画像のアスペクト比との差異
    が所定範囲であるアスペクト比を有する画像のみを検索
    対象の画像とすることを特徴とする画像検索装置。
27. 【請求項２７】 請求項１乃至１３のいずれかに記載の
    方法をコンピュータによって実行するための制御プログ
    ラムを格納するコンピュータ可読メモリ。
28. 【請求項２８】 請求項１乃至１３のいずれかに記載の
    方法をコンピュータによって実行するための制御プログ
    ラム。