JP2000207420A - 類似画像検索システム，類似画像検索方法および類似画像検索プログラムを記録した記録媒体 - Google Patents

類似画像検索システム，類似画像検索方法および類似画像検索プログラムを記録した記録媒体

Info

Publication number
JP2000207420A
JP2000207420A JP11310519A JP31051999A JP2000207420A JP 2000207420 A JP2000207420 A JP 2000207420A JP 11310519 A JP11310519 A JP 11310519A JP 31051999 A JP31051999 A JP 31051999A JP 2000207420 A JP2000207420 A JP 2000207420A
Authority
JP
Japan
Prior art keywords
search
image
area
subset
similar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11310519A
Other languages
English (en)
Other versions
JP3683758B2 (ja
Inventor
Kazuyoshi Mitsui
一能 三井
Hiroki Akama
浩樹 赤間
Michiyoshi Sato
路恵 佐藤
Masashi Yamamuro
雅司 山室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP31051999A priority Critical patent/JP3683758B2/ja
Publication of JP2000207420A publication Critical patent/JP2000207420A/ja
Application granted granted Critical
Publication of JP3683758B2 publication Critical patent/JP3683758B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 類似画像検索システムにおいて，ユーザは直
観的で負担の少ない手順で検索条件を指示することがで
き，同時に背景の影響を受けない類似検索を可能にす
る。 【解決手段】 オブジェクト格納部13に予め検索対象の
画像から抽出したオブジェクトを格納して管理する。検
索領域指定部121 は，例示画像10を表示し，その画像上
で検索領域をユーザに直接指定させる。オブジェクト検
索部121 は，オブジェクト格納部13から指定された検索
領域に含まれるオブジェクト集合を検索し，そのオブジ
ェクト集合を検索キーに選択する。類似画像検索部17
は，選択された検索キーを用いて類似画像の検索を行
う。検索領域指定部121 において，ユーザは検索したく
ない領域を指定することもできる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は，類似画像検索シス
テムに関し，特に画像の部分的な特徴量をキーとして類
似画像を検索するシステムにおける検索条件の生成およ
び表示方法の技術に関するものである。
【０００２】
【従来の技術】まず，部分画による類似検索について説
明する。図１０に，一般的な従来の部分画による類似検
索の処理の流れを示す。まず，ステップＳ１００では，
例示画像中の検索したい領域をユーザに指定させ，画像
中の検索領域を検索キーとして入力する。領域の指定方
法には大きく分けて二つあるが，それぞれについては後
で述べる。次に，ステップＳ１０１では，選んだ検索領
域の色分布などを多次元ベクトルで算出する。算出した
結果をこの領域の特徴量と呼ぶ。この特徴量を検索キー
として，次のステップＳ１０２，Ｓ１０３では，データ
ベース内の検索対象である画像の部分領域の特徴量との
類似度計算を行い，類似度の高い順に画像を出力する。
【０００３】類似度計算は，特徴量である多次元ベクト
ル間の距離として算出され，代表的な距離計算法として
はユークリッド距離がある。これは，二つのベクトルｖ
＝｛ｖ1 ，ｖ2 ｝，ｕ＝｛ｕ1 ，ｕ2 ｝の距離を， distance（ｖ，ｕ）＝（Σi （ｖi −ｕi ）2 ）1/2 のように算出するものである。
【０００４】また，データベースに格納する特徴量を求
めるための部分領域のとり方には，画像を均等な矩形領
域に分割するもの（Columbia大学のVisualseek），エッ
ジの強さにより部分領域に分けるもの（ＮＴＴ社の ExS
ight：情報処理学会研究報告，97-DBS-113, Vol.97, N
o.64, pp.155-160, 1997 ）などがある。
【０００５】次に，従来の類似画像検索システムにおけ
る検索領域の指定方法について説明する。これまでの画
像検索システムでは，Informix社のＶＩＲに見られるよ
うに，検索のキーを与える手段として画像の部分領域を
矩形などの形状で選択するものがある。選択された領域
から検索キーとなる特徴量を算出し，これを検索キーと
して特徴量の類似する画像を検索する。このような検索
キーの指定方法を，領域指定法と呼ぶ。
【０００６】また，ＮＴＴ社の ExSightは，事前に画像
からオブジェクトを抽出しデータベースに格納すること
を特徴とする類似画像検索システムであり，画像中の一
つのオブジェクトをユーザが選び，そのオブジェクトを
検索キーとして類似する画像を検索する。さらに ExSig
htでは，複数のオブジェクトを組み合わせた検索も可能
で，複数個の検索キーを用いて検索を行い，それぞれの
類似検索の結果の積集合をとることで，複数個のオブジ
ェクトのそれぞれに類似するものが同時に含まれる画像
の検索を行うことができる。このような検索条件の指定
方法を，オブジェクト指定法と呼ぶ。また，複数の検索
キーの組合せを検索条件と呼ぶ。
【０００７】以上に挙げた方法では，ユーザの指定した
領域およびオブジェクトが一つの検索キーに対応する。
オブジェクト指定法においては複数の検索キーを指定す
る場合には，それぞれに対応するオブジェクトを一つ一
つ選択する必要がある。
【０００８】
【発明が解決しようとする課題】図１１は従来技術の問
題点を説明するための図であって，図１１（イ）は指定
された検索領域，図１１（ロ）は領域指定法の場合に選
択されたキー，図１１（ハ）はオブジェクト指定法の場
合のキーを示す。
【０００９】前述したInformix社のＶＩＲでとられてい
る検索領域を単純に矩形で指定する方法は，ユーザの指
定方法は直観的で分かりやすいが，図１１（ロ）に示さ
れるように検索したい対象以外にも，背景領域も検索キ
ーとして選ばれてしまうため，背景の影響を受けやす
い。これは検索精度を悪くする原因となる。
【００１０】また，ＮＴＴ社の ExSightは，事前に画像
中のオブジェクトをデータベースに格納しておき，ユー
ザは検索領域を指定する代わりにオブジェクトを選ぶこ
とで，背景を含まない検索キーを指定することができ
る。しかし，データベースには，有意なオブジェクトと
ともにそうでないオブジェクトも多く格納されているた
め，例えば図１１（ハ）に示されるように，指定したオ
ブジェクトが必ずしもユーザが指定したかった領域と一
致しているとは限らない。双方にギャップがある場合に
は，ユーザに対し，ユーザが指定したかった領域が選べ
ていないような違和感を与えてしまう。
【００１１】図１２のような顔の絵を例にとると，この
顔はヒゲの部分で上下に分かれているので， ExSight等
のオブジェクト抽出法によりオブジェクトを抽出した場
合，二つの顔オブジェクトＡ，ＣとヒゲオブジェクトＢ
として抽出される。これは顔に関する特別な知識を使わ
ない限り，現状の画像処理で一つにまとめることは難し
い。このとき，顔を検索キーに選ぼうとすると上記の三
つのオブジェクトの中から選ばなければならないため，
ユーザ要求との不一致が生じる。
【００１２】また，オブジェクトの選び方に複数の候補
がある場合，どのオブジェクトによって検索するべきか
はユーザが指示しなければならず，さらに，オブジェク
トの組合せで検索する場合には，その組合せの候補もユ
ーザが指示しなければならない。そのため，検索条件を
指定するまでのユーザの負担が大きい。図１２を例に挙
げると，三つのオブジェクトに対しては７通りの選び方
（Ａ，Ｂ，Ｃ，ＡＢ，ＡＣ，ＢＣ，ＡＢＣ）が存在す
る。
【００１３】以上に挙げた方法は，どれも検索キーを一
つ一つ指定していかなければならないので，複数の検索
キーからなる検索条件を作る場合には，ユーザの負担が
大きくなる。
【００１４】本発明の目的は，領域指定法，オブジェク
ト指定法それぞれの欠点を解決し，ユーザにとって直観
的で負担の少ない手順で検索条件を指示することがで
き，同時に類似検索は背景の影響を受けないオブジェク
トに基づく検索条件によって行われるようにすることで
ある。
【００１５】
【課題を解決するための手段】本発明は，上に述べた課
題を解決するものである。図１に，この本発明の構成図
を示す。
【００１６】第１の発明は，検索キーを選択するための
手段として，予め検索対象の画像からオブジェクトを抽
出し，データベースに格納，管理するオブジェクト格納
部１３と，例示画像１０を表示し，その画像上でユーザ
が検索したい領域をユーザに直接指定させる検索領域指
定部１２１と，この検索領域指定部１２１によって指定
された検索領域を入力として，オブジェクト格納部１３
から上記領域に含まれるオブジェクト集合を検索し，検
索キーに選択するオブジェクト検索部１２２とを持つこ
とを特徴とする。
【００１７】さらに，第２の発明は，検索領域指定部１
２１において，ユーザが検索したくない領域を，ユーザ
に直接指定させることにより，オブジェクト検索部１２
２において，検索したくない領域に含まれるオブジェク
ト集合をオブジェクト格納部１３から検索し，選択され
ている検索キーから除く手段を持つことを特徴とする。
【００１８】さらにまた，第３の発明は，上記第１およ
び第２の発明の検索キー選択方法を繰り返すことによ
り，ユーザが検索キーの選択，および排除を何度も試行
できるようにしたことを特徴とする。
【００１９】第４の発明は，上記第１〜第３の発明の検
索キー選択方法において検索キーとして不適切なオブジ
ェクトに関する条件を，オブジェクト条件保持部１４に
保持して管理し，上記検索キー選択方法により得られた
オブジェクト集合を入力とし，条件を満たすものをオブ
ジェクト集合から除くオブジェクトフィルタリング部１
２３を持つことを特徴とする。
【００２０】第５の発明は，画像中で指定された検索領
域の類似検索を行うにあたって，上記第１〜第４の発明
の検索キー選択方法によって選択された検索キーの集合
を入力とし，それらから算出される複数組の特徴量によ
って類似検索されるオブジェクトを少なくとも一つ含む
ような画像を検索する類似画像検索部１７を持つことを
特徴とする。
【００２１】第６の発明は，画像中で指定された検索領
域の類似検索を行うにあたって，上記第１〜第４の発明
の検索キー選択方法によって選択された検索キーの集合
を入力とし，それらから算出される複数組の特徴量のそ
れぞれに類似検索されるオブジェクトをすべて含むよう
な画像を検索することを特徴とする。
【００２２】第７の発明は，画像中で指定された検索領
域について上記第１〜第４の発明の検索キー選択方法に
よって選択された検索キーの集合を入力とし，その部分
集合すべてを数えあげる部分集合生成部１７１を持ち，
この部分集合生成部１７１によって生成された部分集合
に対し，個々の部分集合内の類似検索は，上記第５また
は第６の発明の類似画像検索手段を用い，部分集合間で
は部分集合の検索結果の和集合または積集合をとるよう
に画像を検索する手段を持つことを特徴とする。
【００２３】第８の発明は，上記第１〜第４の発明の検
索キー選択方法により選択された検索キーのオブジェク
トの集合を分類するための類似基準として与えられた条
件を，クラスタリング条件保持部２０に保持して管理
し，オブジェクトの画像データおよびオブジェクトの
色，形，配置等の特徴量およびそれらから算出される統
計量を入力として，オブジェクトの集合を類似基準に従
って分類する検索キークラスタリング手段１７５を持
ち，それぞれのクラスタを一つの単位として，第７の発
明における部分集合生成部１７１の処理を行い，出力さ
れるオブジェクトの部分集合に対して上記類似画像検索
を行えるようにしたことを特徴とする。
【００２４】第９の発明は，検索キーとして不適切なオ
ブジェクトの集合の条件を，部分集合条件保持部１８に
保持して管理し，部分集合生成部１７１によって生成さ
れる部分集合を入力とし，上記オブジェクト集合条件に
よって不適切な部分集合を除いた集合を出力とする部分
集合フィルタリング部１７２を持ち，この出力されたオ
ブジェクトの部分集合によって，上記第７の発明におけ
る類似画像検索を行うことを特徴とする。また，この部
分集合フィルタリング部１７２は，上記第８の発明を利
用する場合には，クラスタを一つの単位として，不適切
な部分集合の除去を行う。
【００２５】第１０の発明は，検索領域を指定した例示
画像１０上において，第１〜第４の発明の検索キー選択
方法によって選択されたオブジェクト集合のオブジェク
トを，検索領域に重ねて表示する検索キー表示部１６を
持つことを特徴とする。
【００２６】第１１の発明は，検索領域を指定した例示
画像１０上において，第７〜第９の発明において得られ
た部分集合を入力として，一つまたは複数の部分集合に
含まれるオブジェクトを検索領域に重ねて表示する検索
キー表示部１６を持つことを特徴とする。
【００２７】第１２の発明は，上記第１０または第１１
の発明において，表示されるオブジェクトまたはオブジ
ェクト集合を入力とし，オブジェクトの個数，特徴量に
関する条件に変換し，上記第４の発明におけるオブジェ
クトフィルタリング部１２３または第９の発明における
部分集合フィルタリング部１７２が使用するオブジェク
ト条件保持部１４または部分集合条件保持部１８の条件
に設定，追加することを特徴とする。
【００２８】本発明の作用は，以下のとおりである。上
記第１の発明によれば，ユーザは検索キーを指定する場
合には，例示画像１０上で直接領域を囲むだけで済み，
その検索領域の類似検索はその領域に含まれるオブジェ
クトの集合により行われるので，背景に影響されずに類
似検索を行うことができる。
【００２９】また，第２の発明または第３の発明のうち
一つまたは複数を，第１の発明と組み合わせることによ
り，複数の検索領域を選択したり，離れた領域を検索領
域として指定したり，中空きの領域を指定することがで
きる。
【００３０】従来のオブジェクト指定法と比べ，ユーザ
は画像上で直接検索領域を指定できるので直観的な指定
ができる。また，検索領域を条件にしてオブジェクト集
合を一括して検索キーに選択するので，ユーザはオブジ
ェクトを意識する必要がなくなる。さらに，第４の発明
を組み合わせることにより，オブジェクトを選び過ぎな
いようにオブジェクトフィルタリング部１２３に適切な
条件を与えておくことで，例えば面積の小さいオブジェ
クトをオブジェクト選択から外すことができる。
【００３１】従来の領域指定法と比べると，背景に依存
しない特徴量を検索キーに使えるので，より正確な検索
条件によって類似画像検索を実施できる。
【００３２】第５と第６の発明は，複数の検索キーを使
った二つの類似画像検索方法について述べている。第５
の発明は，指定した検索キーのうちどれか一つに類似す
る画像を検索する方法であり，例えば図１０の例の場
合，顔に対応するオブジェクトとしてＡまたはＣの二つ
を検索キーに選んで，どちらかに似たオブジェクトを持
つような検索方法である。一方，第６の発明は，指定し
た検索キーのすべてに類似する画像を検索する方法であ
り，例えば図１０の例の場合には，顔に対応するオブジ
ェクトとしてＡ（顔のオブジェクト）とＢ（ヒゲのオブ
ジェクト）を検索キーに選び，それぞれに類似するオブ
ジェクトを両方含むような検索方法である。意味的に言
い換えるとヒゲを生えている顔を探す類似検索になる。
【００３３】第７の発明は，複数の検索キーを使った類
似検索において，可能性のあるオブジェクトの組合せを
システム側で自動的に生成し類似検索を実行すること
で，オブジェクト指定法で問題となっていた検索キーの
組合せの指定を不要にする。例えば図１２の例におい
て，顔に対応するオブジェクトの集合として，ユーザが
領域を指定し，検索キーとしてＡ，Ｂ，Ｃが選択された
とする。このとき，本発明により，集合｛Ａ，Ｂ，Ｃ｝
から得られる空でない部分集合｛Ａ｝，｛Ｂ｝，
｛Ｃ｝，｛Ａ，Ｂ｝，｛Ａ，Ｃ｝，｛Ｂ，Ｃ｝，｛Ａ，
Ｂ，Ｃ｝による類似検索に置き換えることで，洩れのな
い検索を実施することができる。
【００３４】さらに，第８の発明によれば，オブジェク
トの集合をクラスタリング条件として与えられた類似基
準に従って分類することで，検索に有効なクラスタを一
単位とした部分集合を生成することができる。
【００３５】さらに，第９の発明を適用することで，上
記の部分集合において不要な組合せを除いた類似検索に
置き換えることができる。例えば，先ほどの例で二つ以
上のオブジェクトの組合せとして検索したい場合を考え
る。部分集合の条件として要素数が１のとき，ｔｒｕｅ
になる条件を部分集合フィルタリング部１７２に持たせ
ておくことで，先ほど生成した部分集合のうちこの条件
を満たすものを除いた｛Ａ，Ｂ｝，｛Ａ，Ｃ｝，｛Ｂ，
Ｃ｝，｛Ａ，Ｂ，Ｃ｝によって類似検索を行うようにな
る。また，第８の発明におけるクラスタを一単位として
効率的に検索対象となる部分集合を絞り込むこともでき
る。
【００３６】第１０および第１１の発明によれば，上記
第１，第２，第３，第４，第７，第８および第９の発明
によって，検索の行われるオブジェクトの集合を，ユー
ザが例示画像１０上で指定した領域上に重ねて表示する
ことで，類似検索のキーとなっているオブジェクトの集
合をユーザが把握することを可能にする。さらに，第１
２の発明を組み合わせることで，表示されているオブジ
ェクトまたはオブジェクト集合を入力として，ユーザが
検索に不適切なオブジェクトまたはオブジェクト集合の
条件を生成し，オブジェクト条件保持部１４または部分
集合条件保持部１８の条件に設定または追加することが
できる。これにより，以降の類似検索において不要なオ
ブジェクトまたはオブジェクトの組合せを省くことがで
きる。
【００３７】以上の各処理手段は，計算機とソフトウェ
ア・プログラムによって実現することができる。以上の
各処理手段を実現するためのプログラムは，計算機が読
み取り可能な可搬媒体メモリ，半導体メモリ，ハードデ
ィスクなどの適当な記録媒体に格納することができる。
【００３８】
【発明の実施の形態】以下，図１に示す本発明の構成に
ついて，具体的な実施の形態に従ってさらに詳しく説明
する。
【００３９】図１において，例示画像１０は，検索キー
を指定するための画像である。フィルタリング条件生成
部１１は，例示画像１０上に表示されるオブジェクトま
たはオブジェクト集合を入力とし，オブジェクトの個
数，特徴量に関する条件に変換して，オブジェクト条件
保持部１４または部分集合条件保持部１８に設定，追加
する手段である。
【００４０】検索キー選択部１２は，例示画像１０上で
指定された検索領域から検索キーを選択するもので，検
索領域指定部１２１，オブジェクト検索部１２２，オブ
ジェクトフィルタリング部１２３からなる。検索領域指
定部１２１は，例示画像１０を表示し，その画像上でユ
ーザが検索したい領域をユーザに直接指定させる手段で
ある。オブジェクト検索部１２２は，検索領域指定部１
２１によって指定された検索領域を入力として，オブジ
ェクト格納部１３から検索領域に含まれるオブジェクト
集合を検索し，それを検索キーに選択する手段である。
オブジェクトフィルタリング部１２３は，オブジェクト
検索部１２２が検索したオブジェクト集合を入力とし，
オブジェクト条件保持部１４が保持する条件を満たすも
のをオブジェクト集合から除く手段である。
【００４１】オブジェクト格納部１３は，予め検索対象
の画像から抽出されたオブジェクトをデータベースに格
納して管理するものである。オブジェクト条件保持部１
４は，オブジェクトフィルタリング部１２３が使用する
条件を，システム開発者，管理者もしくはユーザの設定
により，またはフィルタリング条件生成部１１の設定に
より保持するものである。
【００４２】オブジェクト集合１５は，検索キー選択部
１２によって選択された検索キーとなるオブジェクトの
集合であり，類似画像検索部１７の入力となる。検索キ
ー表示部１６は，オブジェクト集合１５または後述する
検索キーの部分集合１７３を，例示画像１０上において
指定された検索領域に重ねて表示する手段である。
【００４３】類似画像検索部１７は，オブジェクト集合
１５の検索キーを用いて類似画像の検索を行うものであ
り，部分集合生成部１７１，部分集合フィルタリング部
１７２，類似検索エンジン１７４からなる。
【００４４】部分集合生成部１７１は，オブジェクト集
合１５を入力とし，その検索キーの部分集合のすべてを
生成する手段である。部分集合フィルタリング部１７２
は，部分集合生成部１７１が生成した部分集合につい
て，部分集合条件保持部１８が保持する条件を満たすも
のを部分集合から取り除く手段である。検索キーの部分
集合１７３は，部分集合フィルタリング部１７２の出力
であり，類似検索エンジン１７４が類似検索をするとき
に用いる検索キー群である。類似検索エンジン１７４
は，画像中の部分的な領域の色，形等の状態に関する特
徴量を示す検索キーの部分集合１７３をもとに，それら
と類似するオブジェクトを含む画像を検索するものであ
る。この類似検索エンジン１７４が行う個々の検索キー
をもとにした類似画像の検索自体は，従来のオブジェク
ト指定法で行っていた処理と同様である。
【００４５】検索キークラスタリング部１７５は，オブ
ジェクトの画像データおよび色，形，配置等の特徴量お
よびそれらから算出される統計量により，オブジェクト
の集合を類似基準に従って分類する手段である。
【００４６】部分集合条件保持部１８は，部分集合フィ
ルタリング部１７２が使用する条件を，システム開発
者，管理者もしくはユーザの設定により，またはフィル
タリング条件生成部１１の設定により保持するものであ
る。検索結果画像１９は，類似画像検索部１７によって
検索された結果の画像である。
【００４７】クラスタリング条件保持部２０は，検索キ
ークラスタリング部１７５が類似基準として使用するク
ラスタリング条件を，システム開発者，管理者もしくは
ユーザの設定により保持するものである。
【００４８】以下，上記各処理手段の機能について具体
例に従って説明する。〔検索領域の指定〕例示画像１０
上での領域指定を矩形で指定する場合の例を，図２に示
す。検索領域指定部１２により，複数の矩形を指定する
場合，検索したい領域かそうでないかを同時に指定する
ことにより，離れた領域を同時に検索領域に指定した
り，中空きの領域を検索領域に指定することができる。
【００４９】図２（イ）は，例示画像１０上で一つの検
索領域を指定した場合であり，この場合には，一つの検
索領域に含まれるオブジェクト集合が検索キーの対象と
なる。図２（ロ）は，例示画像上で二つの検索領域を指
定した場合であり，この二つの検索領域に含まれるオブ
ジェクト集合が検索キーの対象となる。また，図２
（ハ）は，ユーザが二つの検索領域を指定し，内側の矩
形領域は検索したくない領域に指定した場合である。こ
の場合，中空きの領域が検索領域として指定されたこと
になる。
【００５０】〔オブジェクトの検索〕例示画像１０上で
矩形で検索領域が指定された場合の，オブジェクト検索
部１２２によるオブジェクトの検索は，指定された矩形
と，オブジェクト格納部１３のデータベースに格納され
ているオブジェクトの外接矩形との包含関係を調べるこ
とにより，検索領域の内部に含まれる外接矩形を持つオ
ブジェクトを選択することで実施される。
【００５１】例示画像１０内に含まれるオブジェクト集
合として，図３を例に考える。それぞれのオブジェクト
の外接矩形を左上，右下の座標を並べて次のように表
す。
【００５２】 オブジェクトａ：２０，２０，８０，１００ オブジェクトｂ：２５，７０，７５，１１０ オブジェクトｃ：３０，７５，７０，１２０ このとき，検索領域が（１０，１０，１００，１００）
の場合には，オブジェクトａのみが選択され，検索領域
が（１０，１０，１００，１１０）の場合には，オブジ
ェクトａ，ｂが選択される。
【００５３】〔複数の検索領域の選択〕検索キー選択部
１２において，複数の検索領域を連続して選択した場合
の複数の検索領域によって選ばれるオブジェクト集合に
ついて，図３の例示画像１０を例にとり図４に従って説
明する。
【００５４】検索領域（１０，１０，１００，１３０）
を選び，次に検索領域（２５，５０，８０，１２０）を
検索したくない領域に指定したとする。この検索領域を
指定した結果を図４（イ）に示す。図４（ロ）に示すよ
うに，最初の領域指定により，オブジェクトａ，ｂ，ｃ
が選択され，検索条件とするオブジェクト集合の中に入
れる。次の領域指定によりオブジェクトｂが選択され，
最初に選択されたオブジェクト集合から除かれる（図４
（ハ））。よって，この二つの検索領域により，最終的
に検索条件となるオブジェクト集合内にａ，ｃが残り，
図４（ニ）に示すようにオブジェクトａ，ｃが選択され
ることになる。
【００５５】〔オブジェクトのフィルタリング〕オブジ
ェクトフィルタリング部１２３の機能について説明す
る。例えば，検索領域により選択されるオブジェクトの
うち，オブジェクトの面積が小さいものを除くため，オ
ブジェクト条件として「getPixelArea（オブジェクト）
≦２００」の条件をフィルタリング条件生成部１１によ
って生成し，この条件をオブジェクト条件保持部１４に
持たせておく。これはオブジェクトの面積をピクセル数
で見たときに，２００ピクセルより小さい場合にｔｒｕ
ｅとなる条件である。選択されているオブジェクト集合
を｛Ａ，Ｂ，Ｃ｝とし， Ａのピクセル数＝３００ Ｂのピクセル数＝２００ Ｃのピクセル数＝１５０ とすると，オブジェクトＢ，Ｃは上記の条件を成立させ
るためオブジェクト集合から除かれる。結果として，
｛Ａ｝がオブジェクト集合として残る。
【００５６】〔検索キー選択部の処理の流れ〕検索キー
選択部１２において，複数の検索領域を連続して選択す
るときの処理の流れを，図５に示す。
【００５７】ステップＳ１１では，まず検索条件として
使われるオブジェクト集合を保持する変数をresultSet
とし，ある検索領域に含まれるオブジェクト集合を保持
する変数をcurrentSetとし，変数resultSet を空集合に
初期化する。
【００５８】次に，領域指定が終了するまで，以下のス
テップＳ１３〜Ｓ１８による領域指定を続ける（ステッ
プＳ１２）。まず，ステップＳ１３では，検索領域指定
部１２１によって，ユーザの入力により検索領域を指定
する。すでにオブジェクトが選択されている場合には，
新しく指定した領域を加えるのか除くのかをユーザから
の入力により指定する。
【００５９】ステップＳ１４では，オブジェクト検索部
１２２によって，検索領域に包含されるようなオブジェ
クトを，オブジェクト格納部１３から取り出し，curren
tSetに代入する。
【００６０】ステップＳ１５の判定により，検索領域の
指定が「加える」である場合，ステップＳ１６を実行
し，検索領域の指定が「除く」である場合，ステップＳ
１７を実行する。ステップＳ１６では，resultSet とcu
rrentSetのそれぞれに含まれるオブジェクトの和集合を
とり，resultSet に入れる。ステップＳ１７では，resu
ltSet 内のオブジェクトのうち，currentSetに含まれる
ものを取り除く。
【００６１】次に，ステップＳ１８では，オブジェクト
フィルタリング部１２３によって，オブジェクト条件保
持部１４にオブジェクトに関する条件が設定されている
場合，resultSet の各オブジェクトに対して，条件を満
たすかどうかをテストし，満たす場合にはresultSet か
ら取り除く。
【００６２】以上のステップＳ１３〜Ｓ１８を繰り返
し，領域指定が終了したならば，ステップＳ１９へ進
み，resultSet に入っているオブジェクトを，選択され
たオブジェクト集合１５とする。
【００６３】〔第１の類似検索の例〕検索キー選択部１
２によって検索キーとして選択されたオブジェクトを
ａ，ｂとする。それぞれをキーに類似画像検索した結果
が，次のようになる場合を考える。
【００６４】ａ：ＡＢＣＤ ｂ：ＡＤＥＦ ＡＢＣＤは，ａをキーに類似検索した結果の画像を類似
度順に並べたものとする。
【００６５】第１の類似検索の例では，それぞれの結果
集合のＯＲ（論理和）集合をとり，適当な基準でソート
した結果を返す。ソートする基準には，例えばそれぞれ
の類似検索における類似度順にソートするなどの方法が
ある。上記の場合には，例えば次のような結果が得られ
る。
【００６６】ａ or ｂ：ＡＢＣＤＥＦ 〔第２の類似検索の例〕第２の類似検索の例を説明す
る。上記第１の類似検索の例と同じ例を用いると，第２
の類似検索では，それぞれの結果集合のＡＮＤ（論理
積）集合をとり，適当な基準でソートした結果を返す。
ソートする基準には，例えばそれぞれの類似検索におけ
る類似度順にソートするなどの方法がある。上記の場合
には，例えば次のような結果が得られる。
【００６７】ａ and ｂ：ＡＤ 〔部分集合の生成〕前述した第１および第２の類似検索
の例で説明したように，各検索キーについての検索結果
について，ＯＲ集合またはＡＮＤ集合をとる検索でもよ
いが，検索漏れを少なくするために，検索キーの部分集
合を作り，これについて次のように検索結果を求めても
よい。このための部分集合生成部１７１の機能について
説明する。図３の例示画像１０から検索キーとしてａ，
ｂ，ｃが選択されたとする。部分集合生成部１７１は，
この検索キーの集合から，次の７個の部分集合を作り，
各部分集合の類似検索を実施し，その結果をまとめる。
【００６８】｛ａ｝ ｛ｂ｝ ｛ｃ｝ ｛ａ，ｂ｝ ｛ａ，ｃ｝ ｛ｂ，ｃ｝ ｛ａ，ｂ，ｃ｝ 複数の類似検索は自動的に行われるので，ユーザは洩れ
のない類似検索を少ない手順で実施することができる。
【００６９】〔部分集合のフィルタリング〕部分集合フ
ィルタリング部１７２の機能について説明する。これ
は，部分集合生成部１７１において，ユーザが予めフィ
ルタリング条件生成部１１により不要な検索キーの組合
せの条件を与え，部分集合条件保持部１８に格納してお
いたときに，生成する部分集合を制限するものである。
【００７０】前述した部分集合の生成と同じ例を用いて
説明する。例えば，不要な組合せの条件として，「キー
の個数が２でない場合にｔｒｕｅ」という条件を与える
と，このとき，この条件を満たす組合せは除かれて，次
の三つの部分集合によって，類似検索が行われる。
【００７１】｛ａ，ｂ｝ ｛ａ，ｃ｝ ｛ｂ，ｃ｝ 〔類似画像検索部の処理の流れ〕類似画像検索部１７の
処理の流れを，図６に示す。
【００７２】ステップＳ２１では，入力となるオブジェ
クト集合１５を保持する集合型変数をinputSet，検索結
果を保持するリスト型変数をresult，検索に含まない部
分集合の条件を保持する集合型変数をnogoodConditionS
et，検索すべきキーの組合せを保持する集合型変数をca
ndidateSetとし，resultの初期値を空リストとする。そ
して，部分集合生成部１７１により，inputSetの集合の
空集合でない部分集合をすべて列挙し，これをcandidat
eSetに入れる。
【００７３】ステップＳ２２では，部分集合フィルタリ
ング部１７２によって，nogoodConditionSetに条件が設
定されているかどうかを調べ，条件が設定されていれ
ば，candidateSetの各部分集合に対してnogoodConditio
nSetの条件を適用する。もし，nogoodConditionSetの条
件を満たす部分集合があれば，その部分集合をcandidat
eSetから取り除く。
【００７４】次に，candidateSetの保持するすべての部
分集合に対し，類似検索エンジン１７４を用いてステッ
プＳ２３〜Ｓ２９の類似検索を行う。まず，ステップＳ
２３では，candidateSetの保持する未処理の部分集合を
一つ取り出す。ステップＳ２４では，この部分集合内の
各検索キーについて類似検索を実行し，類似オブジェク
トＩＤと類似度，およびそれを含む画像ＩＤの組（画像
ＩＤ，類似オブジェクトＩＤ，類似度）の結果リストを
作る。ステップＳ２４の処理を部分集合内のすべての検
索キーについて繰り返す（ステップＳ２５）。
【００７５】一つの部分集合のすべての検索キーについ
ての類似検索が終了したならば，ステップＳ２６では，
同じ画像に含まれるオブジェクトの組を得るために，そ
れぞれの結果リストに共通して現れる画像ＩＤの集合を
求める（ＡＮＤ処理）。ステップＳ２７では，結果リス
ト内のすべての組に対し，ステップＳ２６で求めた共通
画像ＩＤを持つ組を取り出し，resultに追加する。
【００７６】以上のステップＳ２３〜Ｓ２７を，candid
ateSetの保持する全部分集合について実行したならば
（ステップＳ２８），次のステップＳ２９へ進み。resu
lt内の組を類似度でソートする。この結果を検索結果画
像１９とする。
【００７７】上記の処理では，オブジェクトの部分集合
の検索を，部分集合内ではＡＮＤ検索，部分集合間では
ＯＲ検索を実施する場合について述べたが，部分集合内
でＯＲ検索，部分集合間でＡＮＤ検索を行うような実施
も可能である。
【００７８】なお，後述する「検索キーの部分集合の切
り替え表示」に対応して，切り替え表示された部分集合
の検索キーを用いた検索結果を，それぞれの切り替え表
示ごとに検索結果画像１９として出力してもよい。
【００７９】〔検索キーのクラスタリング〕部分集合生
成部１７１において検索キーの部分集合を作る際に，す
べての部分集合を作るのではなく，真に検索に有効な部
分集合を作り出すために，検索キークラスタリング部１
７５を設けてもよい。以下，検索キークラスタリング部
１７５の機能について説明する。図７のような画像全体
で検索する場合を例に取り上げる。図７（Ａ）に示す画
像中には，検索キーとして５つのオブジェクトａ，ｂ，
ｃ，ｄ，ｅが存在するとする。また，これらのオブジェ
クトの色特徴量は，次のようなベクトル値をとるものと
する。
【００８０】オブジェクトａ：（０，２５５，０） オブジェクトｂ：（２５５，０，０） オブジェクトｃ：（２５０，０，０） オブジェクトｄ：（２５３，０，０） オブジェクトｅ：（１２０，６０，０） また，クラスタリング条件保持部２０に，次のようなク
ラスタリング条件が保持されているとする。 『クラスタリング条件：オブジェクト数が５以上のとき
に，オブジェクトの色特徴量のユークリッド距離を求め
て，閾値１０を基準に距離が１０以内のオブジェクトを
一つのグループに分類する。』 図７（Ａ）に示す５つのオブジェクトが検索キーとして
選択されたとき，上記のクラスタリング条件が有効にな
り，検索キーのクラスタリングが行われる。計算した上
記５つのオブジェクトのユークリッド距離を図８に示
す。図８に示すそれぞれの距離が１０以下のオブジェク
ト対をグルーピングしていくと，次の３つのグループに
分類される。
【００８１】グループＧ１＝｛ａ｝ グループＧ２＝｛ｂ，ｃ，ｄ｝ グループＧ３＝｛ｅ｝ 次に，これらのグループを単位に部分集合を生成する。
【００８２】｛Ｇ１｝ ｛Ｇ２｝ ｛Ｇ３｝ ｛Ｇ１，Ｇ２｝ ｛Ｇ１，Ｇ３｝ ｛Ｇ２，Ｇ３｝ ｛Ｇ１，Ｇ２，Ｇ３｝ 次に，フィルタリング条件が設定されていれば，部分集
合フィルタリング部１７２により，部分集合に対し照合
が行われ，不適切な部分集合は取り除かれる。グループ
単位で照合が行われるか，あるいはグループ内のオブジ
ェクトに対し照合が行われるかは，部分集合条件保持部
１８に保持されているフィルタリング条件に依存する。
例えば「オブジェクト数が１のものは取り除く」という
条件が設定されている場合には，グループＧ１，Ｇ３が
除かれる。
【００８３】以上の過程によって，次のような５組の検
索キーの部分集合が得られる。 ｛｛ｂ，ｃ，ｄ｝｝ ｛｛ａ｝，｛ｂ，ｃ，ｄ｝｝ ｛｛ａ｝，｛ｅ｝｝ ｛｛ｂ，ｃ，ｄ｝，｛ｅ｝｝ ｛｛ａ｝，｛ｂ，ｃ，ｄ｝｛ｅ｝｝ この部分集合に対して，ＡＮＤ検索またはＯＲ検索によ
る類似画像検索が行われる。ここでは，オブジェクトの
色特徴量に基づくクラスタリングの例を取り上げたが，
同様にオブジェクトの形に関する分類，面積に関する分
類，位置に関する分類などを用いることもできる。
【００８４】〔検索キーの表示〕検索キー表示部１６に
よる検索キーの表示機能について説明する。これは，前
述した検索キー選択部１２によって選択されたオブジェ
クト集合１５を，ユーザが例示画像１０上で指定した検
索領域上に重ねて表示するものである。
【００８５】図９は，この選択されたオブジェクト集合
の表示例を示している。ここでは，顔のオブジェクトａ
とヒゲのオブジェクトｂの二つのオブジェクトが選択さ
れているので，それをこの例では外接矩形に内接する楕
円として表示している。別の処理方法としては，矩形や
オブジェクトの輪郭などを表示するなどが考えられる。
【００８６】〔検索キーの部分集合の切り替え表示〕検
索キー表示部１６により検索キーの部分集合１７３を表
示することもできる。例えば，前述した部分集合のフィ
ルタリングの例では，フィルタリングの結果，三つの部
分集合が存在するので，３通りの表示を切替えることが
できる。部分集合は，類似検索の最小単位を表し，ユー
ザはこの機能によりそれを確認することができる。な
お，表示するオブジェクトは，類似検索エンジン１７４
による類似検索後に行うこともできる。
【００８７】〔フィルタリング条件の生成〕フィルタリ
ング条件生成部１１の機能について説明する。これは，
検索キー表示部１６で表示したオブジェクトまたはオブ
ジェクト集合について，検索条件を入力し，それをオブ
ジェクト条件保持部１４または部分集合条件保持部１８
の条件に設定または追加するものである。例えば，上記
部分集合の生成の説明で用いた例を使うと，部分集合ａ
を表示し，これを使って，要素数が１のときにｔｒｕｅ
となる条件を入力する。これを部分集合条件保持部１８
に設定することにより，次回の検索より，部分集合フィ
ルタリング部１７２によって，要素数が１の部分集合の
生成が抑制されるようになる。
【００８８】
【発明の効果】以上説明したように，本発明によれば，
ユーザは検索キーを指定するためには，画像上で直接領
域を囲むだけで済む。また，複数の領域を選択し，それ
らの間の論理演算として和（検索領域を加える）と差
（検索領域を削る）を指定することで，離れた領域を検
索領域として指定したり，中空きの領域を指定すること
ができる。
【００８９】従来のオブジェクト指定法と比べ，ユーザ
は画像上で直接検索領域を指定できるので直観的な指定
ができる。また，検索領域を条件にしてオブジェクト集
合を一括して検索キーに選択するので，ユーザはオブジ
ェクトを意識する必要がなくなる。また，オブジェクト
を選び過ぎないようにオブジェクトフィルタリング手段
に適切な条件を与えておくことで，例えば面積の小さい
オブジェクトをオブジェクト選択から外すことができ
る。
【００９０】従来の領域指定法と比べると，類似検索に
参照される特徴量は背景に依存しない検索を行うことが
できる。
【００９１】また，本発明によれば，従来のオブジェク
ト指定法でユーザに委ねられていたオブジェクトおよび
オブジェクトの組合せの多様性をシステム側で扱えるよ
うにし，必要な組合せは自動的に生成して検索すること
が可能になるので，オブジェクト指定法で問題となって
いたキー指定のユーザの負担はなくなる。
【００９２】また，本発明によれば，生成された検索条
件をユーザが把握することが可能となり，どのようなオ
ブジェクトの組合せによって検索が行われるかを知るこ
とができる。不要な組合せが見つかった場合には，部分
集合フィルタリング部がフィルタリングに使用する条件
に追加することにより，以降の検索においては不要なオ
ブジェクトの組合せを抑制することができる。
【図面の簡単な説明】
【図１】本発明の構成図である。
【図２】本発明による検索領域の指定方法の例を示す図
である。
【図３】検索領域とオブジェクト集合の選択の例を示す
図である。
【図４】複数の検索領域によって選ばれるオブジェクト
集合の例を示す図である。
【図５】検索キー選択部において複数の検索領域を連続
して選択するときの処理の流れを示す図である。
【図６】類似画像検索部の処理の流れを示す図である。
【図７】検索キーのクラスタリングを説明するための図
である。
【図８】クラスタリングのためのユークリッド距離の計
算結果の例を示す図である。
【図９】選択されたオブジェクト集合の表示例を示す図
である。
【図１０】一般的な従来の部分画による類似検索の処理
の流れを示す図である。
【図１１】従来技術の問題点説明図である。
【図１２】検索したい領域とオブジェクトが一致しない
例を示す図である。
【符号の説明】
１０ 例示画像 １１ フィルタリング条件生成部 １２ 検索キー選択部 １２１ 検索領域指定部 １２２ オブジェクト検索部 １２３ オブジェクトフィルタリング部 １３ オブジェクト格納部 １４ オブジェクト条件保持部 １５ オブジェクト集合 １６ 検索キー表示部 １７ 類似画像検索部 １７１ 部分集合生成部 １７２ 部分集合フィルタリング部 １７３ 検索キーの部分集合 １７４ 類似検索エンジン １７５ 検索キークラスタリング部 １８ 部分集合条件保持部 １９ 検索結果画像 ２０ クラスタリング条件保持部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 路恵 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 山室 雅司 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 画像中の部分的な領域の状態に関する特
    徴量を検索キーとして類似する部分を含む画像を検索す
    るシステムにおいて，予め検索対象の画像からオブジェ
    クトを抽出し，データベースに格納して管理するオブジ
    ェクト格納手段と，例示画像を表示し，その画像上でユ
    ーザが検索したい領域をユーザに直接指定させる検索領
    域指定手段と，上記検索領域指定手段によって指定され
    た検索領域を入力として，上記オブジェクト格納手段か
    ら上記検索領域に含まれるオブジェクト集合を検索し，
    そのオブジェクト集合を検索キーに選択するオブジェク
    ト検索手段と，上記オブジェクト検索手段によって選択
    された検索キーを用いて類似画像の検索を行う類似画像
    検索手段とを備えることを特徴とする類似画像検索シス
    テム。
  2. 【請求項２】 請求項１記載の類似画像検索システムに
    おいて，上記検索領域指定手段は，ユーザが検索したく
    ない領域をユーザに直接指定させる手段を持ち，上記オ
    ブジェクト検索手段は，上記検索領域指定手段によって
    指定された検索したくない領域に含まれるオブジェクト
    集合を上記オブジェクト格納手段から検索し，選択され
    ている検索キーから除く手段を持つことを特徴とする類
    似画像検索システム。
  3. 【請求項３】 請求項１または請求項２記載の類似画像
    検索システムにおいて，上記検索領域指定手段および上
    記オブジェクト検索手段は，検索領域の指定およびオブ
    ジェクトの検索の処理を繰り返す機能を持ち，ユーザに
    対し検索キーの選択または排除を何度も試行させること
    を特徴とする類似画像検索システム。
  4. 【請求項４】 請求項１ないし請求項３のいずれかに記
    載の類似画像検索システムにおいて，検索キーとして不
    適切なオブジェクトに関する条件を管理し，上記検索領
    域指定手段および上記オブジェクト検索手段によって得
    られたオブジェクト集合を入力とし，条件を満たすもの
    を上記オブジェクト集合から除くオブジェクトフィルタ
    リング手段を備えることを特徴とする類似画像検索シス
    テム。
  5. 【請求項５】 請求項１ないし請求項４のいずれかに記
    載の類似画像検索システムにおいて，上記類似画像検索
    手段は，上記選択された検索キーの集合を入力として，
    それらから算出される複数組の特徴量によって類似検索
    されるオブジェクトを少なくとも一つ含むような画像を
    検索することを特徴とする類似画像検索システム。
  6. 【請求項６】 請求項１ないし請求項４のいずれかに記
    載の類似画像検索システムにおいて，上記類似画像検索
    手段は，上記選択された検索キーの集合を入力として，
    それらから算出される複数組の特徴量のそれぞれに類似
    検索されるオブジェクトをすべて含むような画像を検索
    することを特徴とする類似画像検索システム。
  7. 【請求項７】 請求項１ないし請求項４のいずれかに記
    載の類似画像検索システムにおいて，上記類似画像検索
    手段は，上記選択された検索キーの集合を入力として，
    その部分集合を生成する部分集合生成手段を備え，この
    部分集合生成手段によって生成された部分集合に対し，
    個々の部分集合内の類似検索は，各部分集合に含まれる
    検索キーから算出される複数組の特徴量によって類似検
    索されるオブジェクトを少なくとも一つ含むような画像
    を検索するか，または複数組の特徴量のそれぞれに類似
    検索されるオブジェクトをすべて含むような画像を検索
    することによって行い，部分集合間では上記各部分集合
    の検索結果の和集合または積集合をとるように画像を検
    索することを特徴とする類似画像検索システム。
  8. 【請求項８】 請求項７記載の類似画像検索システムに
    おいて，上記類似画像検索手段は，オブジェクトの画像
    データおよびオブジェクトの状態の特徴量およびそれら
    から算出される統計量を入力として，オブジェクトの集
    合を所定の類似基準に従って分類する検索キークラスタ
    リング手段を備え，上記選択された検索キーの集合を該
    検索キークラスタリング手段によって複数のクラスタに
    分類し，それぞれのクラスタを一つの単位として上記部
    分集合生成手段における部分集合の生成を行うことを特
    徴とする類似画像検索システム。
  9. 【請求項９】 請求項７または請求項８記載の類似画像
    検索システムにおいて，上記類似画像検索手段は，検索
    キーとして不適切なオブジェクトの集合の条件を管理
    し，上記部分集合生成手段によって生成される部分集合
    を入力として，上記オブジェクト集合条件によって不適
    切な部分集合を除いた集合を出力とする部分集合フィル
    タリング手段を備え，この出力されたオブジェクトの部
    分集合に対して上記類似画像検索を行うことを特徴とす
    る類似画像検索システム。
  10. 【請求項１０】 請求項１ないし請求項９のいずれかに
    記載の類似画像検索システムにおいて，上記検索領域指
    定手段と上記オブジェクト検索手段，またはこれらと上
    記オブジェクトフィルタリング手段によって選択された
    オブジェクト集合を，検索領域を指定した画像上におい
    て，検索領域に重ねて表示する検索キー表示手段を備え
    ることを特徴とする類似画像検索システム。
  11. 【請求項１１】 請求項７，請求項８または請求項９記
    載の類似画像検索システムにおいて，上記部分集合生成
    手段によって生成された部分集合，またはこの部分集合
    からさらに上記部分集合フィルタリング手段によって不
    適切な部分集合を除いた部分集合を入力として，検索領
    域を指定した画像上において，一つまたは複数の部分集
    合に含まれるオブジェクトを検索領域に重ねて表示する
    検索キー表示手段を備えることを特徴とする類似画像検
    索システム。
  12. 【請求項１２】 請求項１０または請求項１１記載の類
    似画像検索システムにおいて，上記検索キー表示手段に
    よって検索領域を指定した画像上に表示されるオブジェ
    クトまたはオブジェクト集合を入力とし，オブジェクト
    の個数または特徴量に関する条件に変換するフィルタリ
    ング条件生成手段を持ち，生成されたフィルタリング条
    件を，上記検索領域指定手段および上記オブジェクト検
    索手段によって得られたオブジェクト集合から検索キー
    として不適切なオブジェクトを取り除く，または上記オ
    ブジェクト集合から生成される部分集合から不適切な部
    分集合を取り除くための条件とすることを特徴とする類
    似画像検索システム。
  13. 【請求項１３】 画像中の部分的な領域の状態に関する
    特徴量を検索キーとして類似する部分を含む画像を検索
    するシステムにおける類似画像検索方法において，予め
    検索対象の画像からオブジェクトを抽出し，データベー
    スに格納して管理する第１の過程と，例示画像を表示
    し，その画像上でユーザが検索したい領域をユーザに直
    接指定させ，検索領域を入力する第２の過程と，上記第
    ２の過程によって得られた検索領域をもとに，上記デー
    タベースから上記検索領域に含まれるオブジェクト集合
    を検索し，そのオブジェクト集合を検索キーに選択する
    第３の過程と，上記第３の過程によって選択された検索
    キーを用いて類似画像の検索を行う第４の過程とを有す
    ることを特徴とする類似画像検索方法。
  14. 【請求項１４】 画像中の部分的な領域の状態に関する
    特徴量を検索キーとして類似する部分を含む画像を検索
    する類似画像検索システムを計算機によって実現するた
    めのプログラムを記録した記録媒体であって，例示画像
    を表示し，その画像上でユーザが検索したい領域をユー
    ザに直接指定させ，検索領域を入力する処理と，入力し
    た検索領域をもとに，予め検索対象の画像から抽出され
    たオブジェクトを格納するデータベースから，上記検索
    領域に含まれるオブジェクト集合を検索し，そのオブジ
    ェクト集合を検索キーに選択する処理と，選択された検
    索キーを用いて類似画像の検索を行う処理とを計算機に
    実行させるプログラムを記録したことを特徴とする類似
    画像検索プログラムを記録した記録媒体。
JP31051999A 1998-11-12 1999-11-01 類似画像検索システム，類似画像検索方法および類似画像検索プログラムを記録した記録媒体 Expired - Fee Related JP3683758B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31051999A JP3683758B2 (ja) 1998-11-12 1999-11-01 類似画像検索システム，類似画像検索方法および類似画像検索プログラムを記録した記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP32250198 1998-11-12
JP10-322501 1998-11-12
JP31051999A JP3683758B2 (ja) 1998-11-12 1999-11-01 類似画像検索システム，類似画像検索方法および類似画像検索プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2000207420A true JP2000207420A (ja) 2000-07-28
JP3683758B2 JP3683758B2 (ja) 2005-08-17

Family

ID=26566354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31051999A Expired - Fee Related JP3683758B2 (ja) 1998-11-12 1999-11-01 類似画像検索システム，類似画像検索方法および類似画像検索プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3683758B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007026951A1 (ja) * 2005-08-31 2007-03-08 Toyota Jidosha Kabushiki Kaisha 画像検索方法及び装置
JP2007323319A (ja) * 2006-05-31 2007-12-13 Nippon Telegr & Teleph Corp <Ntt> 類似検索処理方法及び装置及びプログラム
JP2008269557A (ja) * 2007-03-26 2008-11-06 Seiko Epson Corp 画像検索装置、および画像検索方法
US7574051B2 (en) 2005-06-10 2009-08-11 British Telecommunications Plc Comparison of patterns
US7593602B2 (en) 2002-12-19 2009-09-22 British Telecommunications Plc Searching images
US7724944B2 (en) 2004-08-19 2010-05-25 Mitsubishi Electric Corporation Image retrieval method and image retrieval device
JP2010128925A (ja) * 2008-11-28 2010-06-10 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2010146581A (ja) * 2010-01-13 2010-07-01 Fujifilm Corp 人物画像検索装置
JP2011059733A (ja) * 2009-09-04 2011-03-24 Canon Inc 画像検索装置及び画像検索方法
US8040428B2 (en) 2005-12-19 2011-10-18 British Telecommunications Public Limited Company Method for focus control
US8135210B2 (en) 2005-07-28 2012-03-13 British Telecommunications Public Limited Company Image analysis relating to extracting three dimensional information from a two dimensional image
JP2012053776A (ja) * 2010-09-02 2012-03-15 Ntt Comware Corp 表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法
JP2012203645A (ja) * 2011-03-25 2012-10-22 Canon Inc 情報処理装置、情報処理方法及びプログラム
WO2015146521A1 (ja) * 2014-03-27 2015-10-01 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP2017076425A (ja) * 2009-12-24 2017-04-20 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05242160A (ja) * 1992-02-27 1993-09-21 Matsushita Electric Ind Co Ltd 画像特徴抽出装置、画像照合装置および画像検索装置
JPH09204440A (ja) * 1996-01-29 1997-08-05 Fujitsu Ltd 画像検索システム、画像検索方法、及び記録媒体
JPH10254901A (ja) * 1997-03-14 1998-09-25 Omron Corp 画像検索方法および装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05242160A (ja) * 1992-02-27 1993-09-21 Matsushita Electric Ind Co Ltd 画像特徴抽出装置、画像照合装置および画像検索装置
JPH09204440A (ja) * 1996-01-29 1997-08-05 Fujitsu Ltd 画像検索システム、画像検索方法、及び記録媒体
JPH10254901A (ja) * 1997-03-14 1998-09-25 Omron Corp 画像検索方法および装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593602B2 (en) 2002-12-19 2009-09-22 British Telecommunications Plc Searching images
US7724944B2 (en) 2004-08-19 2010-05-25 Mitsubishi Electric Corporation Image retrieval method and image retrieval device
US7574051B2 (en) 2005-06-10 2009-08-11 British Telecommunications Plc Comparison of patterns
US8135210B2 (en) 2005-07-28 2012-03-13 British Telecommunications Public Limited Company Image analysis relating to extracting three dimensional information from a two dimensional image
WO2007026951A1 (ja) * 2005-08-31 2007-03-08 Toyota Jidosha Kabushiki Kaisha 画像検索方法及び装置
JP2007066019A (ja) * 2005-08-31 2007-03-15 Toyota Motor Corp 画像検索方法及び装置
US8306332B2 (en) 2005-08-31 2012-11-06 Toyota Jidosha Kabushiki Kaisha Image search method and device
US8040428B2 (en) 2005-12-19 2011-10-18 British Telecommunications Public Limited Company Method for focus control
JP2007323319A (ja) * 2006-05-31 2007-12-13 Nippon Telegr & Teleph Corp <Ntt> 類似検索処理方法及び装置及びプログラム
JP2008269557A (ja) * 2007-03-26 2008-11-06 Seiko Epson Corp 画像検索装置、および画像検索方法
JP2010128925A (ja) * 2008-11-28 2010-06-10 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2011059733A (ja) * 2009-09-04 2011-03-24 Canon Inc 画像検索装置及び画像検索方法
US9075827B2 (en) 2009-09-04 2015-07-07 Canon Kabushiki Kaisha Image retrieval apparatus, image retrieval method, and storage medium
JP2017076425A (ja) * 2009-12-24 2017-04-20 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム
JP2019003672A (ja) * 2009-12-24 2019-01-10 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム
US11250047B2 (en) 2009-12-24 2022-02-15 Nikon Corporation Retrieval support system, retrieval support method and retrieval support program
JP2010146581A (ja) * 2010-01-13 2010-07-01 Fujifilm Corp 人物画像検索装置
JP2012053776A (ja) * 2010-09-02 2012-03-15 Ntt Comware Corp 表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法
JP2012203645A (ja) * 2011-03-25 2012-10-22 Canon Inc 情報処理装置、情報処理方法及びプログラム
WO2015146521A1 (ja) * 2014-03-27 2015-10-01 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP2015191287A (ja) * 2014-03-27 2015-11-02 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム

Also Published As

Publication number Publication date
JP3683758B2 (ja) 2005-08-17

Similar Documents

Publication Publication Date Title
JP4540970B2 (ja) 情報検索装置及びその方法
US6556710B2 (en) Image searching techniques
US6522782B2 (en) Image and text searching techniques
JP3683758B2 (ja) 類似画像検索システム，類似画像検索方法および類似画像検索プログラムを記録した記録媒体
US7065521B2 (en) Method for fuzzy logic rule based multimedia information retrival with text and perceptual features
JP4569955B2 (ja) 情報格納及び検索方法
US6654742B1 (en) Method and system for document collection final search result by arithmetical operations between search results sorted by multiple ranking metrics
US6385602B1 (en) Presentation of search results using dynamic categorization
JP4451598B2 (ja) グループの計算によるナビゲーション方法、この方法を実施する受信器、及び、この方法を表示するグラフィックインタフェース
CN109063198B (zh) 融媒体资源的多维可视化搜索推荐系统
JP3199976B2 (ja) 画像データベース装置
JP4374902B2 (ja) 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
JP2004178604A (ja) 情報検索装置及びその方法
US6522780B1 (en) Indexing of images and/or text
US6470337B1 (en) Information retrieval system using a hierarchical index for narrowing a retrieval result and its method and storing medium with information retrieval program stored therein
CN109543077B (zh) 社区搜索方法
JPH10162020A (ja) 画像データベースのブラウジング方法
US6522779B2 (en) Representing an image with a posterized joint histogram
JP2004192555A (ja) 情報管理方法、情報管理装置及び情報管理プログラム
CN107480155A (zh) 一种视频搜索系统
KR20030062585A (ko) 멀티미디어 객체의 특징 기술정보 생성방법
JP2000035965A (ja) 類似特徴量の検索方法及び装置及び類似特徴量の検索プログラムを格納した記憶媒体
JPH11338873A (ja) 再検索方法及び装置及び再検索プログラムを格納した記憶媒体及び追加検索語候補提示方法及び装置及び追加検索語候補提示プログラムを格納した記憶媒体
US6671402B1 (en) Representing an image with weighted joint histogram
JP2000331009A (ja) 映像検索方法および装置と映像検索プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050526

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090603

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090603

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100603

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100603

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110603

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120603

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130603

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees