JP2001273493A - オブジェクト検索装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像内のオブジェクトの位置、大きさにかか
わらず類似オブジェクトが存在する画像を抽出する際
に、縮小画像を用い、背景領域を削除して検索時間の短
縮化を図り、さらに領域設定に自由度をもたせ、オブジ
ェクトの状態に合わせたブロック分割を可能しオブジェ
クト検索の精度を向上させる。 【解決手段】 矩形、楕円、自由手書き曲線で指定され
た教示オブジェクト領域を色相値の複雑度に応じてｎ＊
ｍ個のブロックに分割し、縮小された検索対象画像にお
ける各ブロックの代表色相値に対応した色相値のヒスト
グラムをＸ軸、Ｙ軸方向に対して求め、このヒストグラ
ムデータを用いて検索対象画像に教示オブジェクトが存
在するかを判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、大量の画像または
映像の中から目的とする画像または映像の１コマを検索
するオブジェクト検索装置および方法に関する。

【０００２】

【従来の技術】近年、マルチメディア情報関連のコンピ
ュータシステムが個人ベースで使用されるようになり、
メディアとしてインターネットのワールド・ワイド・ウ
ェブ（以下、ＷＷＷと称する）上のサイトのフリー素
材、カメラ付ＰＣやデジタルカメラによりユーザ自身が
撮影した画像、ビデオ映像の各フレーム画像等の画像素
材が手軽に取扱えるようになった。

【０００３】これら画像を大量に収集した後に、集まっ
た画像データから各個人が必要とする画像、例えば各個
人の好みや感覚にあった画像を検索する方法として、特
開平１１―１９１１０９号公報に開示された技術があ
る。この技術は、ユーザにより検索被対象である指定オ
ブジェクトが示されると指定オブジェクトを含む矩形領
域が定められる、その後、この矩形領域を予め定められ
たブロック数に分割し、各ブロックにおける代表色相値
を求め、各代表色相値についての検索対象画像における
Ｙ軸またはＸ軸へのヒストグラムデータを抽出し、ヒス
トグラムデータ上で分布が連続して隣り合う塊領域を検
出して、検索対象画像から指定オブジェクトを抽出する
ことで、指定オブジェクトとは位置や大きさが異なって
いても検索対象画像からオブジェクトの検索が行えるよ
うにしたものである。

【０００４】

【発明が解決しようとする課題】しかしながら、特開平
１１―１９１１０９号公報に開示された方法では、検索
対象画像が大きい場合に検索に時間がかかる、指定オブ
ジェクトを含む領域設定が矩形のみで領域指定に自由度
が無い、指定オブジェクトを含む領域のブロック分割が
固定的であり指定オブジェクトの状態に合わせたブロッ
ク分割ができない等という課題があった。

【０００５】そこで、本発明は、検索時間を短縮でき、
指定オブジェクトを含む領域設定に自由度をもたせ、指
定オブジェクトの状態に合わせたブロック分割を可能に
しつつ、提示した画像内のオブジェクトが他の画像内の
どの位置にあっても、さらに提示したオブジェクトの大
きさにかかわらず類似したオブジェクトが存在する画像
を抽出することが可能なオブジェクト検索装置および方
法を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明のオブジェクト検
索装置および方法は以下のように構成されている。

【０００７】本発明のオブジェクト検索装置は、画像を
蓄積する蓄積部と、この蓄積部から検索対象画像を読み
出して検索対象画像の縮小画像を作成する作成手段と、
この作成手段により作成された縮小画像および教示オブ
ジェクトを含む教示オブジェクト領域を色相画像に変換
する変換手段と、教示オブジェクト領域をｎ＊ｍのブロ
ックに分割する分割する分割手段と、この分割手段によ
り分割された各ブロックの代表色相値を決定する決定手
段と、この決定手段で決定された各ブロックの代表色相
値に対応した色相値の、前記変換手段により色相画像に
変換された縮小画像におけるヒストグラムをＸ軸および
Ｙ軸に対して抽出する抽出手段と、ヒストグラムデータ
を用いて色相画像に変換された縮小画像に教示オブジェ
クトが存在するかを判定する判定手段と備えたことを特
徴とする。

【０００８】また、本発明のオブジェクト検索装置は、
画像を蓄積する蓄積部と、この蓄積部から読み出された
検索対象画像および教示オブジェクトを含む教示オブジ
ェクト領域を色相画像に変換する変換手段と、教示オブ
ジェクト領域をｎ＊ｍのブロックに分割する分割する分
割手段であって、教示オブジェクト領域内の色相値の複
雑度に応じて分割ブロック数を変更する分割手段と、こ
の分割手段により分割された各ブロックの代表色相値を
決定する決定手段と、この決定手段で決定された各ブロ
ックの代表色相値に対応した色相値の、変換手段により
色相画像に変換された検索対象画像におけるヒストグラ
ムをＸ軸およびＹ軸に対して抽出する抽出手段と、ヒス
トグラムデータを用いて色相画像に変換された検索対象
画像に教示オブジェクトが存在するかを判定する判定手
段とを備えたことを特徴とする。

【０００９】また、本発明のオブジェクト検索装置は、
画像を蓄積する蓄積部と、この蓄積部から読み出された
検索対象画像および教示オブジェクトを含む教示オブジ
ェクト領域を色相画像に変換する変換手段と、教示オブ
ジェクト領域をｎ＊ｍのブロックに分割する分割する分
割手段であって、ブロックの前記教示オブジェクト領域
内における位置により分割ブロックの大きさを変更する
分割手段と、この分割手段により分割された各ブロック
の代表色相値を決定する決定手段と、この決定手段で決
定された各ブロックの代表色相値に対応した色相値の、
変換手段により色相画像に変換された検索対象画像にお
けるヒストグラムをＸ軸およびＹ軸に対して抽出する抽
出手段と、ヒストグラムデータを用いて色相画像に変換
された検索対象画像に教示オブジェクトが存在するかを
判定する判定手段とを備えたことを特徴とする。

【００１０】また、本発明のオブジェクト検索装置は、
画像を蓄積する蓄積部と、この蓄積部から読み出された
検索対象画像および教示オブジェクトを含む教示オブジ
ェクト領域を色相画像に変換する変換手段と、教示オブ
ジェクト領域をｎ＊ｍのブロックに分割する分割する分
割手段であって、教示オブジェクト領域内の色相値の複
雑度に応じて分割ブロックの大きさを変更する分割手段
と、この分割手段により分割された各ブロックの代表色
相値を決定する決定手段と、この決定手段で決定された
各ブロックの代表色相値に対応した色相値の、変換手段
により色相画像に変換された検索対象画像におけるヒス
トグラムをＸ軸およびＹ軸に対して抽出する抽出手段
と、ヒストグラムデータを用いて色相画像に変換された
検索対象画像に教示オブジェクトが存在するかを判定す
る判定手段とを備えたことを特徴とする。

【００１１】また、本発明のオブジェクト検索装置は、
画像を蓄積する蓄積部と、この蓄積部から読み出された
検索対象画像および教示オブジェクトを含む教示オブジ
ェクト領域を色相画像に変換する変換手段と、教示オブ
ジェクト領域をｎ＊ｍのブロックに分割する分割する分
割手段であって、教示オブジェクト領域の縦横比に応じ
て分割ブロックの大きさを変更する分割手段と、この分
割手段により分割された各ブロックの代表色相値を決定
する決定手段と、この決定手段で決定された各ブロック
の代表色相値に対応した色相値の、変換手段により色相
画像に変換された検索対象画像におけるヒストグラムを
Ｘ軸およびＹ軸に対して抽出する抽出手段と、ヒストグ
ラムデータを用いて色相画像に変換された検索対象画像
に教示オブジェクトが存在するかを判定する判定手段と
備えたことを特徴とする。

【００１２】また、本発明のオブジェクト検索方法は、
教示オブジェクトを含む教示オブジェクト領域および検
索対象画像を色相画像に変換し、教示オブジェクト領域
を所定数のブロックに分割して各ブロックにおける代表
色相値を決定し、各ブロックの代表色相値に対応した色
相値の、色相画像に変換された検索対象画像でのヒスト
グラムをＸ軸およびＹ軸に対して抽出し、このヒストグ
ラムデータを用いて色相画像に変換された検索対象画像
に教示オブジェクトが存在する確率の低い検索対象画像
を検索対象画像から除去し、教示オブジェクト領域を所
定数よりも多い数のブロックに再分割して各ブロックに
おける代表色相値を決定し、所定数よりも多い数の各ブ
ロックの代表色相値に対応した色相値の、低確率の検索
対象画像除去後の検索対象画像でのヒストグラムをＸ軸
およびＹ軸に対して再抽出し、この再抽出されたヒスト
グラムデータを用いて検索対象画像に教示オブジェクト
が存在するかを判断することを特徴とする。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。

【００１４】ここでは、検索したいオブジェクトを教示
オブジェクトとよび、オブジェクトを探す対象画像を検
索対象画像とよぶ。また、カラー画像は各画素をＲ、
Ｇ、Ｂの各原色の濃度を指定することによって表現され
るのが一般的であるが、画像取得時の影響を受けにくい
安定したカラー画像処理を行うため、本システムでは色
相画像を用いる。色相は色の違いを区別する属性であ
り、図１に示されるように０〜２πの角度値で表現され
る。また、ＲＧＢ画像をＨＳＩ（Ｈ：Ｈｕｅ（色相）、
Ｓ：Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｉ：Ｉｎｔｅｎｓ
ｉｔｙ（明度））変換することにより色相値を求める。

【００１５】ＨＳＩ変換には以下に示す方法がある。た
だし、ここでＲ、Ｇ、Ｂ、Ｓ、Ｉの値は０〜１であり、
Ｈの値は前述したように０〜２πの値を持つ。

【００１６】まず、Ｉを次式で定義する。

【００１７】Ｉ＝（Ｉｍ ａｘ＋Ｉｍ ｉｎ）／２ ただし、Ｉｍ ａｘ＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝ Ｉｍ ｉｎ＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝ １）Ｉｍ ａｘ＝Ｉｍ ｉｎのとき Ｓ＝０ Ｈ＝不定 ２）Ｉｍ ａｘ≠Ｉｍ ｉｎのときＳを以下のように定義
する。

【００１８】Ｉ≦０．５のときＳ＝（Ｉｍ ａｘ−Ｉｍ
ｉｎ）／（Ｉｍ ａｘ＋Ｉｍ ｉｎ） Ｉ＞０．５のときＳ＝（Ｉｍ ａｘ−Ｉｍ ｉｎ）／（２
−Ｉｍ ａｘ―Ｉｍｉｎ） 次にｒ、ｇ、ｂを以下のように求める。

【００１９】 ｒ＝（Ｉｍ ａｘ―Ｒ）／（Ｉｍ ａｘ−Ｉｍ ｉｎ） ｇ＝（Ｉｍ ａｘ―Ｇ）／（Ｉｍ ａｘ−Ｉｍ ｉｎ） ｂ＝（Ｉｍ ａｘ―Ｂ）／（Ｉｍ ａｘ−Ｉｍ ｉｎ） 最後にＨを以下のように求める。

【００２０】 Ｒ＝Ｉｍ ａｘのとき Ｈ＝（π／３）（ｂ−ｇ） Ｇ＝Ｉｍ ａｘのとき Ｈ＝（π／３）（２＋ｒ−ｂ） Ｂ＝Ｉｍ ａｘのとき Ｈ＝（π／３）（４＋ｇ−ｒ） ただし、Ｈ＜０のときはＨの値に２πを加えるものとす
る。

【００２１】図２は本発明の実施形態に係わるオブジェ
クト検索装置の全体構成を示すブロック図である。

【００２２】検索装置本体１はシステム全体を制御する
システム制御部３に接続されるとともに、ＷＷＷや画像
データベースなどと接続されている。画像蓄積部５はＷ
ＷＷや画像データベースなどから目的に応じて取り込ま
れる画像を蓄積する。画像表示制御部７は画像蓄積部５
から若しくは直接ＷＷＷや画像データベースから画像を
受け、教示オブジェクトを指定するための画像を表示部
８に表示させる。ユーザインタフェース部９はユーザか
らマウス、ペン、タッチパネルなどを介して入力される
教示オブジェクト領域指定座標を受ける。教示オブジェ
クト領域表示部１１はユーザインタフェース部９に接続
され、画像表示部８に表示されている画像上にユーザの
指定による教示オブジェクト領域を表示する。教示オブ
ジェクト領域抽出部１３は画像表示制御部７および教示
オブジェクト領域表示部１１に接続され教示オブジェク
ト領域を抽出する。ブロック分割部１５は教示オブジェ
クト領域抽出部１３に接続され、教示オブジェクト領域
を所定数のブロックに分割する。代表色相値決定部１７
はブロック分割部１５に接続され、ブロック分割された
教示オブジェクト領域のブロック毎に代表色相値を決定
する。縮小画像作成部１９は画像蓄積部５に接続され、
画像蓄積部５に蓄積されている各検索対象画像の縮小画
像を作成する。色相画像変換部２１は縮小画像作成部１
９に接続され、縮小画像作成部１９で作成された縮小画
像を色相画像に変換する。ヒストグラム算出部２３は代
表色相値決定部１７および色相画像変換部２１に接続さ
れ、色相画像変換部２１で色相値に変換された画像から
所定の色相値におけるヒストグラムを算出する。オブジ
ェクト検索部２５はヒストグラム算出部２３に接続さ
れ、ユーザにより指示された教示オブジェクトを含む画
像を検索対象画像から検索する。オブジェクト検索結果
表示部２７はオブジェクト検索部２５に接続され、オブ
ジェクト検索部２５のオブジェクト検索結果を表示す
る。

【００２３】次に、本実施形態の動作を図２および図３
を用いて説明する。図３は本実施形態の動作を説明する
ためのフローチャートである。

【００２４】ユーザにより教示オブジェクトを含む画像
が画像蓄積部５から選択されると、選択された画像が画
像表示制御部７を介して表示部８に表示される（ステッ
プＳ３０１）。ここでユーザがペン、マウス、タッチパ
ネルなどのインタフェース機器を用い、ユーザインタフ
ェース部９を介して、表示部８に表示されている教示オ
ブジェクトを含む画像上に教示オブジェクトの領域を指
定する（ステップＳ３０３）。ユーザによる教示オブジ
ェクト領域の指定終了後、教示オブジェクト領域表示部
１１が画像表示制御部７を介して教示オブジェクト領域
を表示部８に提示しユーザに確認を促す（ステップＳ３
０５）。

【００２５】この教示オブジェクト領域は教示オブジェ
クトを囲む矩形領域の他、楕円領域や自由手書き曲線領
域が可能で、どの形状で教示オブジェクト領域を指定す
るかをユーザに事前に指定させる。また、教示オブジェ
クト領域の指定後、ユーザがインタフェース機器を用い
て自由曲線で教示オブジェクト以外の領域すなわち背景
領域を指定すると、教示オブジェクト領域表示部１１は
背景部分の領域を削除する。このユーザによる背景部分
の指定方法には背景色指定方法も考えられる。また、教
示オブジェクトを指定するための画像全体からエッジ情
報を抽出し、ユーザが指定した教示オブジェクト領域外
に継続しているようなエッジ部分は教示オブジェクトと
は無関係な背景領域によるものであると判断し、そのエ
ッジを含む部分を教示オブジェクト領域から自動的に削
除してもよい。さらに、このように自動的に背景領域と
思われる部分を削除した後に、ユーザによる領域の追
加、削除などの修正を行えるようにしてもよい。

【００２６】楕円あるいは自由曲線で教示オブジェクト
領域を指定する場合、教示オブジェクト領域表示部１１
は指定された教示オブジェクト領域をより小さな矩形の
集合で近似する。この近似により、矩形で教示オブジェ
クト領域の指定を行った場合と同様な処理でオブジェク
ト検索を行う。これにより、楕円あるいは自由曲線によ
りユーザインタフェースを向上させつつ、検索処理は矩
形で教示オブジェクト領域を指定した場合と同様な処理
の繰り返しで実行することが可能になり複雑な処理が回
避できる。

【００２７】ステップＳ３０７にて領域が妥当でないと
ユーザにより判断された場合、ユーザの指示で処理はス
テップＳ３０３に戻され再度教示オブジェクト領域の指
定が行われる。ステップＳ３０７にてユーザにより領域
が妥当と判断されると、教示オブジェクト領域抽出部１
３が画像表示制御部７からの表示画像情報および教示オ
ブジェクト領域表示部からの領域情報を基に教示オブジ
ェクト領域を画像中から抽出する（ステップＳ３０
９）。ブロック分割部１５は教示オブジェクト領域抽出
部１３によって抽出された教示オブジェクト領域を所定
数のブロックに分割する（ステップＳ３１１）。

【００２８】ここで、ブロック分割部１５は教示オブジ
ェクト領域内の各画素を色相値に変換し、色相値のばら
つき具合（複雑度）により分割ブロック数を変化させ
る。具体的には、変換された色相値が所定の個数以内の
場合は、あらかじめ決められた個数のブロックに分割
し、色相値が所定の個数以上存在する場合はブロック数
を増やし、正確に教示オブジェクトを表すようにブロッ
ク分割する。また、ブロック分割部１５は教示オブジェ
クト領域内の各画素を色相値に変換し、色相値のばらつ
き（複雑度）に応じて分割ブロックの大きさを変化させ
る。具体的には、変換された色相値が所定の個数以内の
場合には、あらかじめ定められた大きさのブロックに分
割し、色相値が所定の個数以上の場合にはブロックの大
きさを小さくし、教示オブジェクト領域内を細かくブロ
ック分割する。

【００２９】なお、ブロック分割部１５が分割ブロック
の数および大きさをあらかじめ定められたブロック数、
大きさに分割するよう指定できるようにしてもよい。さ
らに、ブロック分割部１５が教示オブジェクト領域を囲
む矩形の縦横比により縦方向および横方向の分割ブロッ
クの数を決定するように、教示オブジェクトの形状に応
じたブロック分割を行ってもよい。さらに、ブロック分
割部１５が教示オブジェクト領域内での位置により分割
ブロックの大きさを変更する処理を行ってもよい。この
場合、ブロック分割部１５は教示オブジェクト領域の周
辺部分については比較的大きなブロックで分割し、オブ
ジェクト領域の中心部分では細かくブロック分割する。
これにより、背景領域を含みやすい周辺部分での背景領
域による特徴量を小さくでき、オブジェクトの特徴量を
よりよくとらえたブロック分割が行える。

【００３０】さらに、ブロック分割部１５がブロック分
割数または各分割ブロックの大きさを段階的に複数種類
用意して複数種類のブロック分割を行い、その結果を保
持してもよい。これにより後述するオブジェクト検索に
おいて検索対象画像からオブジェクトを検索する際に、
まず粗いブロック分割段階でのオブジェクト検索を行
い、検索対象画像に目的とするオブジェクトが存在する
か否かをチェックし、目的のオブジェクトが存在する可
能性が低い検索対象画像については検索初期の段階で切
捨てることで、全体的な検索時間が短縮できる。また、
段階的に分割ブロックを用意する場合、教示オブジェク
ト領域内の特徴量により何段階の分割ブロックを用いる
かを決定してもよい。分割ブロックの段階数を決定する
ための教示領域内の特徴量には、例えば教示オブジェク
ト領域内の色相値の複雑度や教示オブジェクト領域内の
エッジ量などが使用できる。

【００３１】ブロック分割部１５による教示オブジェク
ト領域のブロック分割終了後、代表色相値決定部１７が
分割された各ブロック内での代表色相値を決定する（ス
テップＳ３１３）。代表色相値の決定は、分割されたブ
ロック内で各画素を色相値に変換し最も出現頻度の多い
色相値を代表色相値としてもよいし、ブロック内での平
均色相値を代表色相値としてもよい。

【００３２】ここで、図４を用いて教示オブジェクト領
域の指定から教示オブジェクト領域内のブロック分割ま
での例を説明する。これ以降の説明では簡略化のため
に、矩形による教示オブジェクト領域の指定が行われ、
ブロック分割の数は３＊３に固定され、各ブロックの大
きさは同一で固定され、１種類のブロック分割が行われ
るものとし、さらに背景領域の除去は省略する。図４は
教示オブジェクト領域（矩形）の指定、教示オブジ
ェクト領域のブロック分割（ブロック１〜ブロック
９）、各ブロックの代表色相値の決定（Ｈ１〜Ｈ９）
を示している。において、ブロック１の代表色相値は
Ｈ１、ブロック２の代表色相値はＨ２、ブロック３の代
表色相値はＨ３、ブロック４の代表色相値はＨ４、ブロ
ック５の代表色相値はＨ５、ブロック６の代表色相値は
Ｈ６、ブロック７の代表色相値はＨ７、ブロック８の代
表色相値はＨ８、ブロック９の代表色相値はＨ９となっ
ている。

【００３３】次に、検索対象画像に教示オブジェクト領
域として指定された目的とするオブジェクトが存在する
か否かを判定するオブジェクト検索を図２乃至図４を用
いて説明する。

【００３４】ステップＳ３１３で代表色相値決定部１７
が各ブロックの代表色相値を決定した後、縮小画像作成
部１９は検索対象となる検索対象画像を１枚ずつ画像蓄
積部５から読み出し、検索対象画像の縮小画像を作成す
る（ステップＳ３１５）。ここで、縮小画像作成部１９
による縮小画像の作成は所定の大きさ以上の検索対象画
像についてのみ行う。なお、全ての対象画像について所
定の大きさへの縮小処理を行ってもよい。オブジェクト
検索処理は画像蓄積部５に蓄積されている画像１枚ずつ
に対して順次行う。縮小画像作成部１９による縮小画像
作成終了後、色相画像変換部２１が縮小画像を色相画像
に変換する（ステップＳ３１７）。

【００３５】色相画像変換部２１による色相画像変換処
理後、ヒストグラム算出部２３は変換された色相画像に
対して、先に代表色相値決定部１７により決定された教
示オブジェクト領域の各ブロックの代表色相値について
のＹ軸およびＸ軸へのヒストグラムを算出する（ステッ
プＳ３１９）。具体的に説明すると、ヒストグラム算出
部２３は図４のブロック１の代表色相値Ｈ１について、
色相画像変換部２１により色相画像に変換された検索画
像内をＹ軸およびＸ軸に射影をとるかたちで頻度分布を
求める。ヒストグラム算出部２３はこの処理をブロック
９の代表色相値Ｈ９まで行うことで、１枚の検索画像に
対してその色相値からＹ軸へのヒストグラムを９種類、
Ｘ軸へのヒストグラムを９種類算出する。

【００３６】図５は代表色相値に対応した検索画像のヒ
ストグラムの算出例を示した説明図である。図５におい
て、各ヒストグラムの軸は座標軸を示し、Ｙ軸へのヒス
トグラムでは縮小された検索対象画像のＹ方向の幅まで
の値を、Ｘ軸へのヒストグラムでは縮小された検索対象
画像のＸ方向の幅までの値が対応する。図５に示すよう
に、Ｙ軸およびＸ軸について各代表色相値でのヒストグ
ラムが算出されると、例えば色相画像上でＨ１と同じ値
をもつ座標のＹ座標値でＹ軸へのヒストグラムの値が加
算され、同じくＨ１と同じ値をもつ座標のＸ座標値でＸ
軸へのヒストグラムが加算される。ここで、代表色相値
として決定された各色相値（Ｈ１〜Ｈ９）に対して、所
定の値の幅を設けるようにしてもよい。すなわち、実際
の教示オブジェクト領域から算出された代表色相値がＨ
１〜Ｈ９であったとして、検索対象画像より変換された
色相値からそれぞれの代表色相値に対するヒストグラム
を算出する際に、代表色相値の幅に±αの値を付加した
値、Ｈ１±α、Ｈ２±α、Ｈ３±α、Ｈ４±α、Ｈ５±
α、Ｈ６±α、Ｈ７±α、Ｈ８±α、Ｈ９±αの範囲に
おさまる場合には、それぞれ対応するＨ１〜Ｈ９のヒス
トグラムに加算するようにする。これにより、ある程度
の色相値の変動にも対処することが可能になる。

【００３７】ヒストグラム算出部２３によるヒストグラ
ム算出終了後、オブジェクト検索部２５がヒストグラム
を解析し教示オブジェクトが検索対象画像中に存在する
か否かを判定する（ステップＳ３２１）。図６は教示オ
ブジェクトが検索対象画像中に存在するかの判定例を示
す説明図である。図６において、目的とするオブジェク
トが検索対象画像内に存在するか否かは、各代表色相値
が存在する教示オブジェクト領域内の分割ブロックの位
置関係と、各代表色相値で算出されたヒストグラムにお
いてデータが存在する位置の位置関係が同じか否かをチ
ェックすることで判定される。具体的には図６におい
て、代表色相値Ｈ１、Ｈ２、Ｈ３は教示オブジェクト領
域を分割したブロックは横方向に並んだ位置関係にあ
り、同様にＨ４、Ｈ５、Ｈ６とＨ７、Ｈ８、Ｈ９もそれ
ぞれ横方向に並んだ位置関係にある。一方、代表色相値
Ｈ１、Ｈ４、Ｈ７は教示オブジェクト領域を分割したブ
ロックにおいては縦方向に並んだ位置関係にあり、同様
にＨ２、Ｈ５、Ｈ８およびＨ３、Ｈ６、Ｈ９もそれぞれ
縦方向に並んだ位置関係にある。これら代表色相値の位
置関係が、各代表色相値におけるＹ軸およびＸ軸へのヒ
ストグラムデータの位置関係に反映されているかどうか
を調べることで、検索対象画像中に目的のオブジェクト
が存在するかどうかの判定を行う。図６に示されるよう
に、検索対象画像の色相画像から算出されたＨ１、Ｈ
４、Ｈ７におけるＹ軸へのヒストグラムデータを加算
し、ヒストグラムデータが連続して出現すれば検索対象
画像中でも色相値Ｈ１、Ｈ４、Ｈ７の値をもつ領域が縦
方向に連続して出現していることになる。同様に、Ｈ
２、Ｈ５、Ｈ８におけるＹ軸へのヒストグラムデータを
加算し、ヒストグラムデータが連続して出現すれば検索
対象画像中でも色相値Ｈ２、Ｈ５、Ｈ８の値をもつ領域
が縦方向に連続して出現していることに、Ｈ３、Ｈ
６、Ｈ９におけるＹ軸へのヒストグラムデータを加算
し、ヒストグラムデータが連続して出現すれば検索対象
画像中でも色相値Ｈ３、Ｈ６、Ｈ９の値をもつ領域が縦
方向に連続して出現していることになる。さらに、検
索対象画像の色相画像から算出されたＨ１、Ｈ２、Ｈ３
におけるＸ軸へのヒストグラムデータを加算し、ヒスト
グラムデータが連続して出現すれば検索対象画像中でも
色相値Ｈ１、Ｈ２、Ｈ３の値をもつ領域が横方向に連続
して出現していることになる。同様にＨ４、Ｈ５、Ｈ
６におけるＸ軸へのヒストグラムデータを加算し、ヒス
トグラムデータが連続して出現すれば検索対象画像中で
も色相値Ｈ４、Ｈ５、Ｈ６の値をもつ領域が横方向に連
続して出現し、Ｈ７、Ｈ８、Ｈ９におけるＸ軸へのヒ
ストグラムデータを加算し、ヒストグラムデータが連続
して出現すれば検索対象画像中でも色相値Ｈ７、Ｈ８、
Ｈ９の値をもつ領域が横方向に連続して出現しているこ
とになる。これらの条件を満たしていれば、検索対象画
像中に目的とするオブジェクトが存在すると判断でき
る。この際、全ての条件が満たされていなくとも満たさ
れる条件の割合を目的のオブジェクトが対照画像中に存
在するか否かの確率として利用することもできる。ま
た、それぞれの代表色相値によるヒストグラムデータの
出現位置の位置関係は、縦および横方向のみの解析にと
どまらず、例えば縦および横方向に加え斜め方向でのヒ
ストグラムデータの連続性を解析するようにしてもよ
い。

【００３８】このように、それぞれの代表色相値による
ヒストグラムデータの連続性の検証を行うことで、目的
とするオブジェクトが検索対象画像中に存在するか否か
を判定し、ヒストグラムデータの量については検証を行
わないので、オブジェクトの多少の向きや大きさの変動
にも対処することが可能になり、検索対象画像中のオブ
ジェクトの存在位置にも影響を受けないオブジェクト検
索が可能になる。

【００３９】図２乃至図３に戻り、オブジェクト検索終
了後、オブジェクト検索部２５は検索対象画像内に目的
とするオブジェクトが存在するか否かを判断する（ステ
ップＳ３２３）。目的とするオブジェクトが存在しない
と判断された際、オブジェクト検索部２５は次の検索対
象画像についてオブジェクト検索処理を行うため、縮小
画像作成部１９に対して次の検索対象画像の縮小画像作
成指示を行う（ステップＳ３２５）。目的とするオブジ
ェクトが存在すると判断された際、オブジェクト検索結
果表示部２７が画像表示制御部７を介して検索対象画像
を教示オブジェクトを含む画像として表示部８に表示さ
せる（ステップＳ３２７）。オブジェクト検索結果表示
部２７の検索対象画像表示後、オブジェクト検索部２５
は全ての検索対象画像について処理が終了したかを判断
する（ステップＳ３２９）。全ての検索対象画像につい
ての処理が終了していなければ、オブジェクト検索部２
５はステップＳ３２５の処理を行い、全ての検索対象画
像について処理が終了したと判断すれば処理を終了す
る。

【００４０】次に、本発明の実施形態について説明す
る。

【００４１】図７は本発明の他の実施形態に係わるオブ
ジェクト検索装置の全体構成を示すブロック図である。
なお、図２と同一部には同一符号を付し、説明は省略す
る。

【００４２】本実施例ではオブジェクト検索結果記憶部
７１および教示オブジェクト検索部７３が図２に対して
新たに追加されている。オブジェクト検索結果記憶部７
１はオブジェクト検索部２５、オブジェクト検索部２５
による検索結果とその際の教示オブジェクト領域画像を
記憶する。教示オブジェクト検索部７３はユーザが指定
した教示オブジェクト領域に類似した教示オブジェクト
領域画像を、既にオブジェクト検索結果記憶部７１に記
憶されている教示オブジェクト領域画像から検索する。
本実施例では、オブジェクト検索結果を記憶することに
より、次回のオブジェクト検索の際にこの記憶された情
報を再利用することで検索対象となる画像を絞り込む。
ここで、オブジェクト検索結果記憶部７１には検索結果
として教示オブジェクト領域画像と、その教示オブジェ
クト領域画像により検索を行った結果、教示オブジェク
トに類似する領域が存在すると判断された検索対象画像
のファイル名と、検索対象画像中での教示オブジェクト
に類似する領域の座標位置と、どの程度の確率で教示オ
ブジェクトに類似する領域が存在するかを示した数値が
記憶される。

【００４３】ここで、本実施例における動作を図７およ
び図８を用いて説明する。図８は本実施例における動作
を説明するためのフローチャートである。なお、図８の
フローチャートにおいて、教示オブジェクト領域指定ま
での処理フローは図３におけるステップＳ３０１からス
テップＳ３０７までと同一であり説明を省略する。ま
た、本処理フローに先立ち、オブジェクト検索部２５で
の検索結果はオブジェクト検索結果記憶部に記憶されて
いるものとする。

【００４４】ユーザによる教示領域の確認後、教示オブ
ジェクト検索部７３が既にオブジェクト検索結果記憶部
７１に記憶されている教示オブジェクト領域画像から今
回教示オブジェクト領域抽出部１３が抽出した教示オブ
ジェクト領域画像に類似した画像を検索する（ステップ
Ｓ８０１）。ステップＳ８０３において、類似画像が無
いと判断された場合、図３のステップＳ３０９に処理が
移り、教示オブジェクト領域がブロック分割され、ブロ
ック内の代表色相値が決定され、この代表色相値をもと
に全ての検索対象画像についてのオブジェクト検索が行
われる。

【００４５】ステップＳ８０３において、類似画像が存
在すると判断された際、教示オブジェクト検索部７３は
類似すると判断された教示オブジェクト領域による検索
結果の中からオブジェクトが存在すると判断された検索
対象画像のファイル名などの情報をオブジェクト検索結
果記憶部から抽出する（ステップＳ８０５）。この抽出
後、教示オブジェクト検索部７３は抽出された結果を画
像表示制御部１５を介して表示部８に表示させる（ステ
ップＳ８０７）。

【００４６】さらに、図７の画像蓄積部５への新規画像
登録時に、教示オブジェクト検索部７３はオブジェクト
検索結果記憶部７１に記憶されている過去に使用された
全ての教示オブジェクト領域画像により、新規画像のオ
ブジェクト検索を行いその結果をオブジェクト検索結果
記憶部７１に記憶する。これにより、既に検索されたオ
ブジェクトに類似するオブジェクトについての検索結果
が短時間で表示できる。また、新規登録画像に対する過
去に使用された全ての教示オブジェクト領域でのオブジ
ェクト検索は登録時に行う他、深夜のようにユーザが指
定した時間帯で行うようにしてもよい。

【００４７】

【発明の効果】本発明によれば、提示した画像内のオブ
ジェクトが他の画像内のどの位置にあってもまたオブジ
ェクトの大きさにかかわらず類似したオブジェクトが存
在する画像を抽出することを可能にしつつ、縮小画像を
用いることおよび教示オブジェクト領域以外の背景領域
を削除することにより検索時間の短縮化が図れ、さらに
指定オブジェクトを含む領域設定に自由度をもたせ、指
定オブジェクトの状態に合わせたブロック分割を可能し
オブジェクト検索の精度を向上させることができる。

【図面の簡単な説明】

【図１】色相値を説明する図。

【図２】本発明の実施形態に係わるオブジェクト検索装
置の全体構成を示すブロック図。

【図３】本実施形態の動作を説明するためのフローチャ
ート。

【図４】教示オブジェクト領域の指定から教示オブジェ
クト領域内のブロック分割までの例の説明図。

【図５】代表色相値に対応した検索画像のヒストグラム
の算出例を示した説明図。

【図６】教示オブジェクトが検索対象画像中に存在する
かの判定例を示した説明図。

【図７】本発明の他の実施形態に係わるオブジェクト検
索装置の全体構成を示すブロック図。

【図８】本発明の他の実施例の動作を説明するためのフ
ローチャート。

【符号の説明】

５ 画像蓄積部 ７ 表示制御部 ８ 表示部 ９ ユーザインタフェース部 １１ 教示オブジェクト領域表示部 １３ 教示オブジェクト領域抽出部 １５ ブロック分割部 １７ 代表色相値決定部 １９ 縮小画像作成部 ２１ 色相画像変換部 ２３ ヒストグラム算出部 ２５ オブジェクト検索部 ２７ オブジェクト検索結果表示部

Claims (14)

【特許請求の範囲】
1. 【請求項１】 画像を蓄積する蓄積部と、 この蓄積部から検索対象画像を読み出し、検索対象画像
   の縮小画像を作成する作成手段と、 この作成手段により作成された縮小画像および教示オブ
   ジェクトを含む教示オブジェクト領域を色相画像に変換
   する変換手段と、 前記教示オブジェクト領域をｎ＊ｍのブロックに分割す
   る分割する分割手段と、 この分割手段により分割された各ブロックの代表色相値
   を決定する決定手段と、 この決定手段で決定された各ブロックの代表色相値に対
   応した色相値の、前記変換手段により色相画像に変換さ
   れた縮小画像におけるヒストグラムをＸ軸およびＹ軸に
   対して抽出する抽出手段と、 前記ヒストグラムデータを用いて前記色相画像に変換さ
   れた縮小画像に前記教示オブジェクトが存在するかを判
   定する判定手段とを具備したことを特徴とするオブジェ
   クト検索装置。
2. 【請求項２】 前記作成手段は、所定の大きさ以上の検
   索対象画像についてのみ検索対象画像の縮小画像を作成
   することを特徴とする請求項１記載のオブジェクト検索
   装置。
3. 【請求項３】 画像を蓄積する蓄積部と、 この蓄積部から読み出された検索対象画像および教示オ
   ブジェクトを含む教示オブジェクト領域を色相画像に変
   換する変換手段と、 前記教示オブジェクト領域をｎ＊ｍのブロックに分割す
   る分割する分割手段であって、前記教示オブジェクト領
   域内の色相値の複雑度に応じて分割ブロック数を変更す
   る分割手段と、 この分割手段により分割された各ブロックの代表色相値
   を決定する決定手段と、 この決定手段で決定された各ブロックの代表色相値に対
   応した色相値の、前記変換手段により色相画像に変換さ
   れた検索対象画像におけるヒストグラムをＸ軸およびＹ
   軸に対して抽出する抽出手段と、 前記ヒストグラムデータを用いて前記色相画像に変換さ
   れた検索対象画像に前記教示オブジェクトが存在するか
   を判定する判定手段とを具備したことを特徴とするオブ
   ジェクト検索装置。
4. 【請求項４】 画像を蓄積する蓄積部と、 この蓄積部から読み出された検索対象画像および教示オ
   ブジェクトを含む教示オブジェクト領域を色相画像に変
   換する変換手段と、 前記教示オブジェクト領域をｎ＊ｍのブロックに分割す
   る分割する分割手段であって、ブロックの前記教示オブ
   ジェクト領域内における位置により分割ブロックの大き
   さを変更する分割手段と、 この分割手段により分割された各ブロックの代表色相値
   を決定する決定手段と、 この決定手段で決定された各ブロックの代表色相値に対
   応した色相値の、前記変換手段により色相画像に変換さ
   れた検索対象画像におけるヒストグラムをＸ軸およびＹ
   軸に対して抽出する抽出手段と、 前記ヒストグラムデータを用いて前記色相画像に変換さ
   れた検索対象画像に前記教示オブジェクトが存在するか
   を判定する判定手段とを具備したことを特徴とするオブ
   ジェクト検索装置。
5. 【請求項５】 画像を蓄積する蓄積部と、 この蓄積部から読み出された検索対象画像および教示オ
   ブジェクトを含む教示オブジェクト領域を色相画像に変
   換する変換手段と、 前記教示オブジェクト領域をｎ＊ｍのブロックに分割す
   る分割する分割手段であって、前記教示オブジェクト領
   域内の色相値の複雑度に応じて分割ブロックの大きさを
   変更する分割手段と、 この分割手段により分割された各ブロックの代表色相値
   を決定する決定手段と、 この決定手段で決定された各ブロックの代表色相値に対
   応した色相値の、前記変換手段により色相画像に変換さ
   れた検索対象画像におけるヒストグラムをＸ軸およびＹ
   軸に対して抽出する抽出手段と、 前記ヒストグラムデータを用いて前記色相画像に変換さ
   れた検索対象画像に前記教示オブジェクトが存在するか
   を判定する判定手段とを具備したことを特徴とするオブ
   ジェクト検索装置。
6. 【請求項６】 画像を蓄積する蓄積部と、 この蓄積部から読み出された検索対象画像および教示オ
   ブジェクトを含む教示オブジェクト領域を色相画像に変
   換する変換手段と、 前記教示オブジェクト領域をｎ＊ｍのブロックに分割す
   る分割する分割手段であって、前記教示オブジェクト領
   域の縦横比に応じて分割ブロックの大きさを変更する分
   割手段と、 この分割手段により分割された各ブロックの代表色相値
   を決定する決定手段と、 この決定手段で決定された各ブロックの代表色相値に対
   応した色相値の、前記変換手段により色相画像に変換さ
   れた検索対象画像におけるヒストグラムをＸ軸およびＹ
   軸に対して抽出する抽出手段と、 前記ヒストグラムデータを用いて前記色相画像に変換さ
   れた検索対象画像に前記教示オブジェクトが存在するか
   を判定する判定手段とを具備したことを特徴とするオブ
   ジェクト検索装置。
7. 【請求項７】 教示オブジェクトを含む前記教示オブジ
   ェクト領域を、ユーザインタフェース部を介して矩形ま
   たは楕円または手書き自由曲線で指定させて表示する領
   域表示部を備えたことを特徴とする請求項１乃至６記載
   のオブジェクト検索装置。
8. 【請求項８】 前記領域表示部は矩形または楕円または
   手書き自由曲線で指定された前記教示オブジェクト領域
   を、矩形領域の集合で近似することを特徴とする請求項
   ７記載のオブジェクト検索装置。
9. 【請求項９】 前記領域表示部はユーザインタフェース
   部を介した指示により前記教示オブジェクト領域のオブ
   ジェクト以外の背景部分を前記教示オブジェクト領域か
   ら削除することを特徴とする請求項１乃至８記載のオブ
   ジェクト検索装置。
10. 【請求項１０】 前記領域表示部は、前記教示オブジェ
    クト領域の指定後、自動的に、前記教示オブジェクト領
    域のオブジェクト以外の背景部分を除去することを特徴
    とする請求項１乃至８記載のオブジェクト検索装置。
11. 【請求項１１】 背景部分の自動除去後、オブジェクト
    領域の追加、削除を行う手段を有することを特徴とした
    請求項１０項記載のオブジェクト検索装置。
12. 【請求項１２】 オブジェクト検索結果およびそのとき
    の教示オブジェクト領域画像を記憶する記憶手段を有
    し、次回検索時にはまずこの記憶手段に記憶されている
    教示オブジェクト中に新たに指定した教示オブジェクト
    画像に類似する画像が存在するか否かを判断し、存在す
    る場合は対応するオブジェクト検索結果を用い、存在し
    ない場合は新たにオブジェクト検索を行うことを特徴と
    する請求項１乃至１１記載のオブジェクト検索装置。
13. 【請求項１３】 オブジェクト検索結果およびそのとき
    の教示オブジェクト領域画像を記憶する記憶手段を有
    し、前記蓄積部に新規に蓄積される画像については記憶
    されている教示オブジェクト領域に対する検索をあらか
    じめ全て実行することを特徴とする請求項１乃至１２記
    載のオブジェクト検索装置。
14. 【請求項１４】 教示オブジェクトを含む教示オブジェ
    クト領域および検索対象画像を色相画像に変換し、 前記教示オブジェクト領域を所定数のブロックに分割
    し、各ブロックにおける代表色相値を決定し、 各ブロックの代表色相値に対応した色相値の、前記色相
    画像に変換された検索対象画像でのヒストグラムをＸ軸
    およびＹ軸に対して抽出し、 このヒストグラムデータを用いて前記色相画像に変換さ
    れた検索対象画像に前記教示オブジェクトが存在する確
    率の低い検索対象画像を検索対象画像から除去し、 前記教示オブジェクト領域を前記所定数よりも多い数の
    ブロックに再分割し、各ブロックにおける代表色相値を
    決定し、 前記所定数よりも多い数の各ブロックの代表色相値に対
    応した色相値の、前記確率の低い検索対象画像除去後の
    検索対象画像でのヒストグラムをＸ軸およびＹ軸に対し
    て再抽出し、 この再抽出されたヒストグラムデータを用いて、前記確
    率の低い検索対象画像除去後の検索対象画像に前記教示
    オブジェクトが存在するかを判断することを特徴とする
    オブジェクト検索方法。