JP2001282846A - 画像検索方法及び装置 - Google Patents
画像検索方法及び装置Info
- Publication number
- JP2001282846A JP2001282846A JP2000091316A JP2000091316A JP2001282846A JP 2001282846 A JP2001282846 A JP 2001282846A JP 2000091316 A JP2000091316 A JP 2000091316A JP 2000091316 A JP2000091316 A JP 2000091316A JP 2001282846 A JP2001282846 A JP 2001282846A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- feature amount
- images
- image feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】ユーザの記憶に基づいた提示画像を用いて類似
画像検索を行うにあたり、ユーザの意図をより的確に反
映した検索を行うことを可能とする。 【解決手段】外部記憶装置には、複数枚の画像と、該複
数毎の画像の各々の特徴量を画像とが関連づけて記憶さ
れる。この外部記憶装置に蓄積された複数枚の画像から
所望の画像を検索するにおいて、まず、描画された検索
元画像の画像特徴量を算出する（Ｓ１６１、Ｓ１６
２）。外部記憶装置に格納された画像特徴量のそれぞれ
を所定範囲で変化させることで１つの画像について複数
の画像特徴量を取得し、取得した画像特徴量と検索元画
像の画像特徴量とに基づいて、外部記憶装置に格納され
た複数枚の画像の各々と前記検索元画像との類似度を算
出することにより、曖昧な画像検索を行う（Ｓ１６
３）。この曖昧な画像検索で得られた画像を一覧表示す
る（Ｓ１６４）。
画像検索を行うにあたり、ユーザの意図をより的確に反
映した検索を行うことを可能とする。 【解決手段】外部記憶装置には、複数枚の画像と、該複
数毎の画像の各々の特徴量を画像とが関連づけて記憶さ
れる。この外部記憶装置に蓄積された複数枚の画像から
所望の画像を検索するにおいて、まず、描画された検索
元画像の画像特徴量を算出する（Ｓ１６１、Ｓ１６
２）。外部記憶装置に格納された画像特徴量のそれぞれ
を所定範囲で変化させることで１つの画像について複数
の画像特徴量を取得し、取得した画像特徴量と検索元画
像の画像特徴量とに基づいて、外部記憶装置に格納され
た複数枚の画像の各々と前記検索元画像との類似度を算
出することにより、曖昧な画像検索を行う（Ｓ１６
３）。この曖昧な画像検索で得られた画像を一覧表示す
る（Ｓ１６４）。
Description
【０００１】
【発明の属する技術分野】本発明は、複数の画像から所
望の画像を検索するための、画像検索方法および装置に
関するものである。
望の画像を検索するための、画像検索方法および装置に
関するものである。
【０００２】
【従来の技術】多数の画像データを蓄積したデータベー
スから、所望の画像を検索するための検索方法が種々提
案されている。これらは、・キーワードや撮影日時等の
非画像情報を画像に関連付け、それを基に検索を行なう
方法と、・画像自体の特徴量（輝度・色差情報、画像周
波数、ヒストグラムなど）を基に検索を行なう方法の２
つに大別される。
スから、所望の画像を検索するための検索方法が種々提
案されている。これらは、・キーワードや撮影日時等の
非画像情報を画像に関連付け、それを基に検索を行なう
方法と、・画像自体の特徴量（輝度・色差情報、画像周
波数、ヒストグラムなど）を基に検索を行なう方法の２
つに大別される。
【０００３】後者において、データベースに対してある
画像を提示し、その画像の特徴量を検索キーとして画像
を検索する方法を特に類似画検索と呼ぶ。これは、画像
処理について特別な知識を持たないユーザに対し、直惑
的に分かりやすい検索インターフェースを提供できると
いう利点がある。
画像を提示し、その画像の特徴量を検索キーとして画像
を検索する方法を特に類似画検索と呼ぶ。これは、画像
処理について特別な知識を持たないユーザに対し、直惑
的に分かりやすい検索インターフェースを提供できると
いう利点がある。
【０００４】
【発明が解決しようとする課題】ユーザの記憶に基づい
て検索を行なう場合、現実の画像と記憶の中の画像とが
正確に一致することはまれである。従って、「このよう
な画像」といった具合に画像を提示することにより検索
できることが望ましい。しかしながら、一般的な類似画
検索の方式では、画像の明るさや色調を正確に再現しな
ければ所望の画像が得られないという問題があった。
て検索を行なう場合、現実の画像と記憶の中の画像とが
正確に一致することはまれである。従って、「このよう
な画像」といった具合に画像を提示することにより検索
できることが望ましい。しかしながら、一般的な類似画
検索の方式では、画像の明るさや色調を正確に再現しな
ければ所望の画像が得られないという問題があった。
【０００５】本発明は、上記の問題に鑑みてなされたも
のであり、ユーザの記憶に基づいた提示画像を用いて類
似画像検索を行うにあたり、ユーザの意図をより的確に
反映した検索を可能とすることを目的とする。
のであり、ユーザの記憶に基づいた提示画像を用いて類
似画像検索を行うにあたり、ユーザの意図をより的確に
反映した検索を可能とすることを目的とする。
【０００６】
【課題を解決するための手段】上記の目的を達成するた
めの本発明の画像検索装置は例えば以下の構成を備え
る。すなわち、蓄積された複数枚の画像から所望の画像
を検索する画像検索装置であって、前記複数枚の画像
と、該複数毎の画像の各々の特徴量を画像と関連づけて
記憶する記憶手段と、検索元画像の画像特徴量を算出す
る特徴量算出手段と、前記記憶手段に格納された画像特
徴量のそれぞれを所定範囲で変化させることで１つの画
像について複数の画像特徴量を取得する取得手段と、前
記取得手段で取得した画像特徴量と前記特徴量算出手段
で算出された画像特徴量とに基づいて、前記複数枚の画
像の各々と前記検索元画像との類似度を算出して画像検
索を行う検索手段とを備える。
めの本発明の画像検索装置は例えば以下の構成を備え
る。すなわち、蓄積された複数枚の画像から所望の画像
を検索する画像検索装置であって、前記複数枚の画像
と、該複数毎の画像の各々の特徴量を画像と関連づけて
記憶する記憶手段と、検索元画像の画像特徴量を算出す
る特徴量算出手段と、前記記憶手段に格納された画像特
徴量のそれぞれを所定範囲で変化させることで１つの画
像について複数の画像特徴量を取得する取得手段と、前
記取得手段で取得した画像特徴量と前記特徴量算出手段
で算出された画像特徴量とに基づいて、前記複数枚の画
像の各々と前記検索元画像との類似度を算出して画像検
索を行う検索手段とを備える。
【０００７】また、上記の目的を達成するための本発明
による画像検索方法は例えば以下の工程を備える。すな
わち、複数枚の画像と該複数毎の画像の各々の特徴量を
画像と関連づけて記憶する記憶手段から所望の画像を検
索する画像検索方法であって、検索元画像の画像特徴量
を算出する特徴量算出工程と、前記記憶手段に格納され
た画像特徴量のそれぞれを所定範囲で変化させることで
１つの画像について複数の画像特徴量を取得する取得工
程と、前記取得工程で取得した画像特徴量と前記特徴量
算出工程で算出された画像特徴量とに基づいて、前記複
数枚の画像の各々と前記検索元画像との類似度を算出し
て画像検索を行う検索工程とを備える。
による画像検索方法は例えば以下の工程を備える。すな
わち、複数枚の画像と該複数毎の画像の各々の特徴量を
画像と関連づけて記憶する記憶手段から所望の画像を検
索する画像検索方法であって、検索元画像の画像特徴量
を算出する特徴量算出工程と、前記記憶手段に格納され
た画像特徴量のそれぞれを所定範囲で変化させることで
１つの画像について複数の画像特徴量を取得する取得工
程と、前記取得工程で取得した画像特徴量と前記特徴量
算出工程で算出された画像特徴量とに基づいて、前記複
数枚の画像の各々と前記検索元画像との類似度を算出し
て画像検索を行う検索工程とを備える。
【０００８】
【発明の実施の形態】以下、添付の図面を参照して、本
発明の好適な実施形態を説明する。
発明の好適な実施形態を説明する。
【０００９】［第１の実施形態］図１は、第１の実施形
態による画像検索処理を実現するコンピュータシステム
の構成を示すブロック図である。図１において、１０１
はＣＰＵで、システム全体の制御を行なっている。１０
２はキーボードで、１０２ａのマウスとともにシステム
に入力するために使用される。１０３は表示装置で、Ｃ
ＲＴや液晶等で構成されている。１０４はＲＯＭ、１０
５はＲＡＭで、システムの記憶装置を構成し、ＣＰＵ１
０１が実行するプログラムやＣＰＵ１０１によって利用
されるデータを記憶する。１０６はハードディスク装
置、１０７はフロッピー（登録商標）ディスク装置で、
システムのファイルシステムに使用される外部記憶装置
を構成している。１０８はプリンタである。
態による画像検索処理を実現するコンピュータシステム
の構成を示すブロック図である。図１において、１０１
はＣＰＵで、システム全体の制御を行なっている。１０
２はキーボードで、１０２ａのマウスとともにシステム
に入力するために使用される。１０３は表示装置で、Ｃ
ＲＴや液晶等で構成されている。１０４はＲＯＭ、１０
５はＲＡＭで、システムの記憶装置を構成し、ＣＰＵ１
０１が実行するプログラムやＣＰＵ１０１によって利用
されるデータを記憶する。１０６はハードディスク装
置、１０７はフロッピー（登録商標）ディスク装置で、
システムのファイルシステムに使用される外部記憶装置
を構成している。１０８はプリンタである。
【００１０】図９は、第１の実施形態による画像検索処
理の概要を示すフローチャートである。図９において、
ステップＳ１６１で、ユーザが表示装置１０３上に、所
望のイラスト（以下、単に画像という）を描画する。ス
テップＳ１６２で、上記描画された画像の特徴量を計算
する。ステップＳ１６３で、上記特徴量に基づき類似画
像を曖昧検索する。ステップＳ１６４で、上記検索によ
り得られた類似画像を表示装置１０３に表示する。ステ
ップＳ１６５で検索作業を終了するかどうかの判断を行
ない、続ける場合はステップＳ１６１に戻り、終了する
場合は本検索処理を終了する。
理の概要を示すフローチャートである。図９において、
ステップＳ１６１で、ユーザが表示装置１０３上に、所
望のイラスト（以下、単に画像という）を描画する。ス
テップＳ１６２で、上記描画された画像の特徴量を計算
する。ステップＳ１６３で、上記特徴量に基づき類似画
像を曖昧検索する。ステップＳ１６４で、上記検索によ
り得られた類似画像を表示装置１０３に表示する。ステ
ップＳ１６５で検索作業を終了するかどうかの判断を行
ない、続ける場合はステップＳ１６１に戻り、終了する
場合は本検索処理を終了する。
【００１１】以下、これらステップＳ１６１〜Ｓ１６５
の各々について詳細に説明する。
の各々について詳細に説明する。
【００１２】『ステップＳ１６１の説明』ステップＳ１
６１では、まず図２に示す如く検索操作画面を表示部１
０３に表示する。図２において、描画領域２１はユーザ
が描画ツール２２を操作する（描画ツール２２は例えば
マウスにより操作される）ことにより所望の画像を描画
する領域である。２３は色指定スクロールバーであり、
赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞの輝度を指定す
ることにより所望の色を設定する。２４はクリアボタン
であり、描画領域２１をクリアする（例えば、白く塗り
つぶす）。２５は検索ボタンであり、類似画像の検索の
開始を指示する。２６ａ〜２６ｈは検索画像表示領域で
あり、後述する類似画像検索の結果得られた画像を、類
似度の高い順に表示する。２７は次ページボタンであ
り、更に下位の検索結果を検索画像表示領域２６ａ〜２
６ｈに表示させる場合に用いる。２８は終了ボタンであ
り、本画像検索処理の終了を指示するのに用いられる。
６１では、まず図２に示す如く検索操作画面を表示部１
０３に表示する。図２において、描画領域２１はユーザ
が描画ツール２２を操作する（描画ツール２２は例えば
マウスにより操作される）ことにより所望の画像を描画
する領域である。２３は色指定スクロールバーであり、
赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞの輝度を指定す
ることにより所望の色を設定する。２４はクリアボタン
であり、描画領域２１をクリアする（例えば、白く塗り
つぶす）。２５は検索ボタンであり、類似画像の検索の
開始を指示する。２６ａ〜２６ｈは検索画像表示領域で
あり、後述する類似画像検索の結果得られた画像を、類
似度の高い順に表示する。２７は次ページボタンであ
り、更に下位の検索結果を検索画像表示領域２６ａ〜２
６ｈに表示させる場合に用いる。２８は終了ボタンであ
り、本画像検索処理の終了を指示するのに用いられる。
【００１３】さて、ステップＳ１６１では、ユーザの操
作により描画領域２１にイラストを描きこみ、適当なタ
イミングで次のステップＳ１６２へ進む。この処理を図
３に示すフローチャートを用いて説明する。
作により描画領域２１にイラストを描きこみ、適当なタ
イミングで次のステップＳ１６２へ進む。この処理を図
３に示すフローチャートを用いて説明する。
【００１４】図３は、ステップＳ１６１における画像描
画処理の詳細を説明するフローチャートである。なお、
ｘ0、ｙ0は、直前のマウスポインタの位置を記憶してお
く変数、ｘ1，ｙ1は、マウスポインタの現在位置が格納
されている変数である。
画処理の詳細を説明するフローチャートである。なお、
ｘ0、ｙ0は、直前のマウスポインタの位置を記憶してお
く変数、ｘ1，ｙ1は、マウスポインタの現在位置が格納
されている変数である。
【００１５】ステップＳ３１では、ユーザによりマウス
１０２ａが動かされたかどうかの判断を行なう。ただ
し、ここでは、マウス１０２ａの操作により、マウスポ
インタ（描画領域２１内にあるときは描画ツール２２と
なる）が動いたか否かを判定する。動いていなければＳ
３１に戻る。すなわち、マウス１０２ａの動きを監視す
るループを形成している。マウス１０２ａが動けばステ
ップＳ３２に進む。
１０２ａが動かされたかどうかの判断を行なう。ただ
し、ここでは、マウス１０２ａの操作により、マウスポ
インタ（描画領域２１内にあるときは描画ツール２２と
なる）が動いたか否かを判定する。動いていなければＳ
３１に戻る。すなわち、マウス１０２ａの動きを監視す
るループを形成している。マウス１０２ａが動けばステ
ップＳ３２に進む。
【００１６】ステップＳ３２では、マウス１０２ａマウ
スボタンが押下されているか否かの判断を行なう。押下
されていなければ、ステップＳ３４に進み、現在のマウ
スポインタの位置（ｘ1，ｙ1）を（ｘ0，ｙ0）に代入し
て、ステップＳ３１に戻る。この結果、描画は行なわれ
ず、単にマウスポインタが移動することになる。
スボタンが押下されているか否かの判断を行なう。押下
されていなければ、ステップＳ３４に進み、現在のマウ
スポインタの位置（ｘ1，ｙ1）を（ｘ0，ｙ0）に代入し
て、ステップＳ３１に戻る。この結果、描画は行なわれ
ず、単にマウスポインタが移動することになる。
【００１７】一方、ステップＳ３２でマウスボタンが押
下されている、すなわちドラッグ中であると判断される
と、処理はステップＳ３３に進む。ステップＳ３３で
は、直前のマウスポインタ位置（ｘ0，ｙ0）と、現在の
マウスポインタ位置（ｘ1，ｙ1）の間に、色指定スクロ
ールバー２３により決まる色で、直線を描画する。
下されている、すなわちドラッグ中であると判断される
と、処理はステップＳ３３に進む。ステップＳ３３で
は、直前のマウスポインタ位置（ｘ0，ｙ0）と、現在の
マウスポインタ位置（ｘ1，ｙ1）の間に、色指定スクロ
ールバー２３により決まる色で、直線を描画する。
【００１８】続くステップＳ３５では、現在のマウスポ
インタ位置（ｘ1，ｙ1）を（ｘ0，ｙ0）に代入して図３
の処理を終える。そして、この時点で、ステップＳ１６
１を終了し、処理はステップＳ１６２に進む。このよう
に、新たな直線の描画が行われる毎に処理がステップＳ
162以降へ進むので、ユーザから見ると、イラストに少
し描画を加えるたびに、検索が自動的に実行されるよう
にみえる。
インタ位置（ｘ1，ｙ1）を（ｘ0，ｙ0）に代入して図３
の処理を終える。そして、この時点で、ステップＳ１６
１を終了し、処理はステップＳ１６２に進む。このよう
に、新たな直線の描画が行われる毎に処理がステップＳ
162以降へ進むので、ユーザから見ると、イラストに少
し描画を加えるたびに、検索が自動的に実行されるよう
にみえる。
【００１９】なお、微小な直線の描画毎に検索処理を行
うと処理速度が追従しなくなり、かえって使いにくくな
る可能性があるので、ステップＳ１６２への移行を、所
定量以上の直線が描画される毎に行うようにしてもよ
い。
うと処理速度が追従しなくなり、かえって使いにくくな
る可能性があるので、ステップＳ１６２への移行を、所
定量以上の直線が描画される毎に行うようにしてもよ
い。
【００２０】『ステップＳ１６２の説明』ステップＳ１
６２では、描画領域２１に描画された画像の画像特徴量
を計算する。
６２では、描画領域２１に描画された画像の画像特徴量
を計算する。
【００２１】本実施形態では、特徴量の算出にあたり、
画像を複数領域に分割し、各領域のＲ、Ｇ、Ｂ値の平均
値を求め、これを特徴量とする。以下、本実施形態によ
る特徴量の算出について詳細に説明する。
画像を複数領域に分割し、各領域のＲ、Ｇ、Ｂ値の平均
値を求め、これを特徴量とする。以下、本実施形態によ
る特徴量の算出について詳細に説明する。
【００２２】図４は、特徴量の算出のための、画像の分
割状態を示す図である。図４に示すように、描画領域２
１の大きさは水平方向にＷ画素、垂直方向にＨ画素であ
り、これを、水平方向に３分割、垂直方向に２分割、計
６分割し、左上から順に領域（０，０）、領域（１，
０）、…領域（２，１）とする。これら各領域のＲ，
Ｇ，Ｂ値の平均値を算出し、計１８個の数値をもって、
検索したい画像の特徴量とする。
割状態を示す図である。図４に示すように、描画領域２
１の大きさは水平方向にＷ画素、垂直方向にＨ画素であ
り、これを、水平方向に３分割、垂直方向に２分割、計
６分割し、左上から順に領域（０，０）、領域（１，
０）、…領域（２，１）とする。これら各領域のＲ，
Ｇ，Ｂ値の平均値を算出し、計１８個の数値をもって、
検索したい画像の特徴量とする。
【００２３】以上の様な特徴量算出処理の流れを、図５
のフローチャートを用いて更に説明する。図５は本実施
形態による特徴量算出処理を説明するフローチャートで
ある。図５に示されるように、まず、ステップＳ５１で
変数ｋを値０で初期化し、ステップＳ５２で変数ｊを値
０で初期化し、ステップＳ５３で変数ｉを値０で初期化
する。
のフローチャートを用いて更に説明する。図５は本実施
形態による特徴量算出処理を説明するフローチャートで
ある。図５に示されるように、まず、ステップＳ５１で
変数ｋを値０で初期化し、ステップＳ５２で変数ｊを値
０で初期化し、ステップＳ５３で変数ｉを値０で初期化
する。
【００２４】続いて、ステップＳ５４で配列ｄのｋ番目
の要素ｄ（ｋ）に、上記ステップＳ５０で選択した画像
データによって得られる画像の領域（ｉ，ｊ）のＲ値の
平均値を代入する。また、ｄ（ｋ＋１）にＧ値の平均
値、ｄ（ｋ＋２）にＢ値の平均値を代入する。なお、
Ｒ，Ｇ，Ｂ値の平均値の算出方法は図６のフローチャー
トを用いて後述する。
の要素ｄ（ｋ）に、上記ステップＳ５０で選択した画像
データによって得られる画像の領域（ｉ，ｊ）のＲ値の
平均値を代入する。また、ｄ（ｋ＋１）にＧ値の平均
値、ｄ（ｋ＋２）にＢ値の平均値を代入する。なお、
Ｒ，Ｇ，Ｂ値の平均値の算出方法は図６のフローチャー
トを用いて後述する。
【００２５】次に、ステップＳ５５で、ｋを値３だけ増
加させ、ステップＳ５６で、ｉを値１だけ増加させる。
ステップＳ５７で、ｉを値２と比較し、２より大きけれ
ばステップＳ５８へ進む。そうでなければＳ５４へ戻
る。ステップＳ５８では、ｊを値１だけ増加させ、ステ
ップＳ５９で、ｊを値１と比較し、１より大きければ処
理を完了する。そうでなければＳ５３へ戻る。
加させ、ステップＳ５６で、ｉを値１だけ増加させる。
ステップＳ５７で、ｉを値２と比較し、２より大きけれ
ばステップＳ５８へ進む。そうでなければＳ５４へ戻
る。ステップＳ５８では、ｊを値１だけ増加させ、ステ
ップＳ５９で、ｊを値１と比較し、１より大きければ処
理を完了する。そうでなければＳ５３へ戻る。
【００２６】上記処理を完了すると、１８個の要素を持
つ配列ｄ（）に、検索したい画像の特徴量が格納され
る。
つ配列ｄ（）に、検索したい画像の特徴量が格納され
る。
【００２７】尚、上記の例では特徴量算出のため、図４
に示すように画像を６個の領域に分割しているので、ス
テップＳ５７で変数ｉと値２を比較し、ステップＳ５９
で変数ｊと値１を比較しているが、画像の分割数が異な
れば上記の各値もそれに応じて変更されることは明らか
である。分割数を変更した場合は、特徴量の要素数は１
８個でなく、それに応じて増減する。
に示すように画像を６個の領域に分割しているので、ス
テップＳ５７で変数ｉと値２を比較し、ステップＳ５９
で変数ｊと値１を比較しているが、画像の分割数が異な
れば上記の各値もそれに応じて変更されることは明らか
である。分割数を変更した場合は、特徴量の要素数は１
８個でなく、それに応じて増減する。
【００２８】また、本実施形態では、図４に示すように
画像を６個の等面積の矩形領域に分割しているが、分割
は矩形に限らずより複雑な形状でもよい。
画像を６個の等面積の矩形領域に分割しているが、分割
は矩形に限らずより複雑な形状でもよい。
【００２９】図６は本実施形態による領域毎のＲ，Ｇ，
Ｂ値の平均値算出方法を説明するフローチャートであ
る。なお、ここで、画像データは、Ｒ（Ｘ，Ｙ）、Ｇ
（Ｘ，Ｙ）、Ｂ（Ｘ，Ｙ）の３つの配列に格納されてい
るものとする。但し、０≦Ｘ＜Ｗ、０≦Ｙ＜Ｈであり、
画像の左上隅を起点（０，０）とする。尚、以下のフロ
ーではＸ0≦Ｘ＜Ｘ1、Ｙ0≦Ｙ＜Ｙ1の部分領域の平均濃
度を算出し、変数ＤＲ，ＤＧ，ＤＢにそれぞれＲ，Ｇ，
Ｂの平均濃度を返す。
Ｂ値の平均値算出方法を説明するフローチャートであ
る。なお、ここで、画像データは、Ｒ（Ｘ，Ｙ）、Ｇ
（Ｘ，Ｙ）、Ｂ（Ｘ，Ｙ）の３つの配列に格納されてい
るものとする。但し、０≦Ｘ＜Ｗ、０≦Ｙ＜Ｈであり、
画像の左上隅を起点（０，０）とする。尚、以下のフロ
ーではＸ0≦Ｘ＜Ｘ1、Ｙ0≦Ｙ＜Ｙ1の部分領域の平均濃
度を算出し、変数ＤＲ，ＤＧ，ＤＢにそれぞれＲ，Ｇ，
Ｂの平均濃度を返す。
【００３０】尚、図６のステップＳ５４における領域
（ｉ，ｊ）に相当する領域は、 Ｘ0＝Ｗ＊ｉ／３，Ｘ１＝Ｗ＊（ｉ＋１）／３ Ｙ0＝Ｈ＊ｊ／２，Ｙ１＝Ｈ＊（ｊ＋１）／２ に対応するので、定数Ｘ0，Ｘ1，Ｙ0，Ｙ1を上記のよう
に初期化してから図６に示すフローチャートを実行す
る。
（ｉ，ｊ）に相当する領域は、 Ｘ0＝Ｗ＊ｉ／３，Ｘ１＝Ｗ＊（ｉ＋１）／３ Ｙ0＝Ｈ＊ｊ／２，Ｙ１＝Ｈ＊（ｊ＋１）／２ に対応するので、定数Ｘ0，Ｘ1，Ｙ0，Ｙ1を上記のよう
に初期化してから図６に示すフローチャートを実行す
る。
【００３１】まず、ステップＳ６１で変数ＤＲ，ＤＧ，
ＤＢを０で初期化し、ステップＳ６２で変数ＹをＹ0で
初期化し、ステップＳ６３で変数ＸをＸ0で初期化す
る。次に、ステップＳ６４で、ＤＲにＲ（Ｘ，Ｙ）を加
える。同様にＤＧにＧ（Ｘ，Ｙ）、ＤＢにＢ（Ｘ，Ｙ）
を加える。
ＤＢを０で初期化し、ステップＳ６２で変数ＹをＹ0で
初期化し、ステップＳ６３で変数ＸをＸ0で初期化す
る。次に、ステップＳ６４で、ＤＲにＲ（Ｘ，Ｙ）を加
える。同様にＤＧにＧ（Ｘ，Ｙ）、ＤＢにＢ（Ｘ，Ｙ）
を加える。
【００３２】ステップＳ６５で変数Ｘを値１だけ増加さ
せ、ステップＳ６６で変数ＸとＸ1を比較し、等しけれ
ばＳ６７へ、そうでなければＳ６４へ戻る。ステップＳ
６７で変数Ｙを値１だけ増加させ、ステップＳ６８で変
数ＹとＹ1を比較し、等しければＳ６９へ、そうでなけ
ればＳ６３へ戻る。こうして、領域（ｉ，ｊ）における
全画素の色成分毎の色値の和が得られる。
せ、ステップＳ６６で変数ＸとＸ1を比較し、等しけれ
ばＳ６７へ、そうでなければＳ６４へ戻る。ステップＳ
６７で変数Ｙを値１だけ増加させ、ステップＳ６８で変
数ＹとＹ1を比較し、等しければＳ６９へ、そうでなけ
ればＳ６３へ戻る。こうして、領域（ｉ，ｊ）における
全画素の色成分毎の色値の和が得られる。
【００３３】次に、ステップＳ６９で、変数ＤＲ，Ｄ
Ｇ，ＤＢをそれぞれ領域内の画素の数（すなわち、（Ｘ
1−Ｘ0）×（Ｙ1−Ｙ0））で除算する。この結果、Ｄ
Ｒ，ＤＧ，ＤＢは領域内の画素濃度を画素数で割った平
均濃度となる。
Ｇ，ＤＢをそれぞれ領域内の画素の数（すなわち、（Ｘ
1−Ｘ0）×（Ｙ1−Ｙ0））で除算する。この結果、Ｄ
Ｒ，ＤＧ，ＤＢは領域内の画素濃度を画素数で割った平
均濃度となる。
【００３４】『ステップＳ１６３の説明』ステップＳ１
６３では、上記画像特徴量に基づき、類似画検索を行な
う。
６３では、上記画像特徴量に基づき、類似画検索を行な
う。
【００３５】ハードディスク装置１０６にはＮ枚の画像
データが蓄積されており、各々の画像の特徴量が、上で
説明したのと同じ方法により事前に算出され、格納され
ているものとする。画像データは周知のＪＰＥＧ，Ｆｌ
ａｓｈＰｉｘなどの標準的なファイル形式で格納してあ
ってもよいし、所謂ＲＤＢＭＳ（リレーショナルデータ
ベースマネジメントシステム）に独自の形式で格納して
あってもよい。
データが蓄積されており、各々の画像の特徴量が、上で
説明したのと同じ方法により事前に算出され、格納され
ているものとする。画像データは周知のＪＰＥＧ，Ｆｌ
ａｓｈＰｉｘなどの標準的なファイル形式で格納してあ
ってもよいし、所謂ＲＤＢＭＳ（リレーショナルデータ
ベースマネジメントシステム）に独自の形式で格納して
あってもよい。
【００３６】また、画像特徴量は、Ｎ×１８の大きさを
もつ２次元配列Ｄ（ｎ，ｉ）（ただし０≦ｎ＜Ｎ，０≦
ｉ＜１８）に格納されているものとする。
もつ２次元配列Ｄ（ｎ，ｉ）（ただし０≦ｎ＜Ｎ，０≦
ｉ＜１８）に格納されているものとする。
【００３７】このとき、提示画像と第ｎ番目の画像との
画像間距離Ｓ（ｎ）を以下の式１で定義する。
画像間距離Ｓ（ｎ）を以下の式１で定義する。
【００３８】
【数１】
【００３９】この画像間距離が小さいほど、画像の類似
度は高いと判定する。ここで、αは曖昧度を反映するた
めの係数であり、適当な範囲の値をとる。α＝１．０の
みで類似度を計算すれば、曖昧度のない厳密な比較にな
る。一方、例えばα＝０．８とすると、ＤＢ中の各画像
の輝度を全体的に２割減にした、暗い画像と比較してい
ることになる。以下のルーチンでは、アルファの値を変
化させてそれぞのαにおける類似度を算出し、最も小さ
い類似度を採用するので、最適なαの算出を含めた画像
間距離の算出が行われていることになる。
度は高いと判定する。ここで、αは曖昧度を反映するた
めの係数であり、適当な範囲の値をとる。α＝１．０の
みで類似度を計算すれば、曖昧度のない厳密な比較にな
る。一方、例えばα＝０．８とすると、ＤＢ中の各画像
の輝度を全体的に２割減にした、暗い画像と比較してい
ることになる。以下のルーチンでは、アルファの値を変
化させてそれぞのαにおける類似度を算出し、最も小さ
い類似度を採用するので、最適なαの算出を含めた画像
間距離の算出が行われていることになる。
【００４０】本実施形態による画像検索では、まず、Ｎ
枚全ての画像と、提示画像の間の画像間距離Ｓ（ｎ）
（０≦ｎ＜Ｎ）を計算し、次にＳ（ｎ）の小さいものか
ら順にＭ個（０＜Ｍ＜Ｎ）を選び出すことを行なう。以
下、図７により類似度Ｓ（ｎ）の計算方法を説明し、図
８によりＭ個の画像の選出手順を説明する。
枚全ての画像と、提示画像の間の画像間距離Ｓ（ｎ）
（０≦ｎ＜Ｎ）を計算し、次にＳ（ｎ）の小さいものか
ら順にＭ個（０＜Ｍ＜Ｎ）を選び出すことを行なう。以
下、図７により類似度Ｓ（ｎ）の計算方法を説明し、図
８によりＭ個の画像の選出手順を説明する。
【００４１】まず、図７を用いて、曖昧度を反映した画
像間距離算出の方法を説明する。図７は第１の実施形態
による画像間距離（類似度）の算出手順を説明するフロ
ーチャートである。なお、配列α（）は３つの要素をも
ち、本例では、α（０）＝０．８，α（１）＝１．０，
α（２）＝１．２とする。この場合、±２０％の曖昧度
をもたせた検索が行われることになる。
像間距離算出の方法を説明する。図７は第１の実施形態
による画像間距離（類似度）の算出手順を説明するフロ
ーチャートである。なお、配列α（）は３つの要素をも
ち、本例では、α（０）＝０．８，α（１）＝１．０，
α（２）＝１．２とする。この場合、±２０％の曖昧度
をもたせた検索が行われることになる。
【００４２】まず、ステップＳ７１で、変数ｎを値０で
初期化し、ステップＳ７２で、変数ｊを値０で、Ｓ
（ｎ）を十分大きな値で初期化し、ステップＳ７３で、
変数ｉを値０で、Ｓを値０で初期化する。
初期化し、ステップＳ７２で、変数ｊを値０で、Ｓ
（ｎ）を十分大きな値で初期化し、ステップＳ７３で、
変数ｉを値０で、Ｓを値０で初期化する。
【００４３】ステップＳ７４でＤ（ｎ，ｉ）×α（ｉ）
とｄ（ｉ）の差分の二乗をＳ（ｎ）に加算する。ステッ
プＳ７５で変数ｉを値１だけ増加させる。ステップＳ７
６で変数ｉと値１８を比較し、等しければステップＳ７
７へ進み、そうでなければステップＳ７４へ戻って上述
の処理を繰り返す。
とｄ（ｉ）の差分の二乗をＳ（ｎ）に加算する。ステッ
プＳ７５で変数ｉを値１だけ増加させる。ステップＳ７
６で変数ｉと値１８を比較し、等しければステップＳ７
７へ進み、そうでなければステップＳ７４へ戻って上述
の処理を繰り返す。
【００４４】以上の処理により、提示画像とデータベー
スに登録された画像との間の、α（ｊ）における１８個
の特徴量の差分値が累積されて、Ｓに格納される。
スに登録された画像との間の、α（ｊ）における１８個
の特徴量の差分値が累積されて、Ｓに格納される。
【００４５】ステップＳ７７では、Ｓ（ｎ）とｓを比較
し、Ｓ（ｎ）が小さければＳ７８へ、そうでなければＳ
７９へ進む。ステップＳ７８で、Ｓ（ｎ）にｓを代入す
る。ステップＳ７９で、変数ｊを値１だけ増加させる。
ステップＳ７Ａで、変数ｊと値３を比較し、等しければ
Ｓ７Ｂへ、そうでなければＳ７３へ進む。以上の処理に
より、Ｓ（ｎ）には、α（０）〜α（２）を用いた画像
間距離のうちで、最も小さい値が格納されることにな
る。
し、Ｓ（ｎ）が小さければＳ７８へ、そうでなければＳ
７９へ進む。ステップＳ７８で、Ｓ（ｎ）にｓを代入す
る。ステップＳ７９で、変数ｊを値１だけ増加させる。
ステップＳ７Ａで、変数ｊと値３を比較し、等しければ
Ｓ７Ｂへ、そうでなければＳ７３へ進む。以上の処理に
より、Ｓ（ｎ）には、α（０）〜α（２）を用いた画像
間距離のうちで、最も小さい値が格納されることにな
る。
【００４６】ステップＳ７Ｂでは、変数ｎを値１だけ増
加させる。ステップＳ７Ｃで変数ｎとＮを比較し、等し
ければ本処理を完了する。そうでなければステップＳ７
２へ戻る。
加させる。ステップＳ７Ｃで変数ｎとＮを比較し、等し
ければ本処理を完了する。そうでなければステップＳ７
２へ戻る。
【００４７】上記処理によれば、配列Ｓ（ｎ）に、提示
画像と全蓄積画像との間の画像間距離が格納される。ま
た、各々の画像間距離は曖昧度を反映しており、直接比
較したときと、±２０％画像全体を明るく（或いは暗
く）してから比較したときの３つの画像間距離の中で最
小のものが格納されている。
画像と全蓄積画像との間の画像間距離が格納される。ま
た、各々の画像間距離は曖昧度を反映しており、直接比
較したときと、±２０％画像全体を明るく（或いは暗
く）してから比較したときの３つの画像間距離の中で最
小のものが格納されている。
【００４８】画像同士を比較するときは画像内部の輝度
・色差の分布を重視し、画像全体が明るい（暗い）場合
は単に照明等の条件が異なるだけであるので無視でき
る。ステップＳ７４で計算されるＳが最小になるαを採
用する上記アルゴリズムにより、より人間の感覚に近い
類似画検索を行える。
・色差の分布を重視し、画像全体が明るい（暗い）場合
は単に照明等の条件が異なるだけであるので無視でき
る。ステップＳ７４で計算されるＳが最小になるαを採
用する上記アルゴリズムにより、より人間の感覚に近い
類似画検索を行える。
【００４９】続いて、画像間距離の小さなものから順に
Ｍ個を選出し、その画像番号を配列Ｔ（）に格納する処
理を図８を用いて説明する。図８は本実施形態による類
似画像の選択手順を説明するフローチャートである。
Ｍ個を選出し、その画像番号を配列Ｔ（）に格納する処
理を図８を用いて説明する。図８は本実施形態による類
似画像の選択手順を説明するフローチャートである。
【００５０】まず、ステップＳ８１で変数ｊを値０で初
期化し、ステップＳ８２で変数ｉを値０で初期化する。
また、ステップＳ８３で変数ｍｉｎを値０で、Ｌを十分
大きな値で初期化する。
期化し、ステップＳ８２で変数ｉを値０で初期化する。
また、ステップＳ８３で変数ｍｉｎを値０で、Ｌを十分
大きな値で初期化する。
【００５１】ステップＳ８４で、ｉ番目の画像の画像関
距離Ｓ（ｉ）とＬを比較し、Ｓ（ｉ）＜Ｌならステップ
Ｓ８５へ、そうでなければステップＳ８６へ進む。ステ
ップＳ８５では、変数ｍｉｎに値ｉを代入し、ＬにＳ
（ｉ）を代入する。ステップＳ８６では、ｉを値１だけ
増加させる。
距離Ｓ（ｉ）とＬを比較し、Ｓ（ｉ）＜Ｌならステップ
Ｓ８５へ、そうでなければステップＳ８６へ進む。ステ
ップＳ８５では、変数ｍｉｎに値ｉを代入し、ＬにＳ
（ｉ）を代入する。ステップＳ８６では、ｉを値１だけ
増加させる。
【００５２】ステップＳ８７でｉとＮを比較し、等しけ
ればステップＳ８８へ、そうでなければステップＳ８３
へ戻る。ステップＳ８８では、Ｔ（ｊ）に値ｍｉｎを代
入する。ステップＳ８９でＳ（ｍｉｎ）に十分大きな値
を代入する。ステップＳ８Ａでｊを値１だけ増加させ
る。ステップＳ８ＢでｊとＭを比較し、等しければ処理
を完了する。そうでなければステップＳ８２へ戻る。
ればステップＳ８８へ、そうでなければステップＳ８３
へ戻る。ステップＳ８８では、Ｔ（ｊ）に値ｍｉｎを代
入する。ステップＳ８９でＳ（ｍｉｎ）に十分大きな値
を代入する。ステップＳ８Ａでｊを値１だけ増加させ
る。ステップＳ８ＢでｊとＭを比較し、等しければ処理
を完了する。そうでなければステップＳ８２へ戻る。
【００５３】上記処理によって、配列Ｔ（ｊ）（０≦ｊ
＜Ｍ−１）に、提示画像との類似度の高い順に画像番号
が格納される。
＜Ｍ−１）に、提示画像との類似度の高い順に画像番号
が格納される。
【００５４】『ステップＳ１６４の説明』図２の操作画
面に従って、処理内容を説明する。
面に従って、処理内容を説明する。
【００５５】２６ａ〜ｈには、上記処理により検索され
た類似画像を縮小表示する。２６ａには、もっとも類似
度の高い画像番号Ｔ（０）に対応する画像、２６ｂには
Ｔ（１）に対応する画像…と表示し、２６ｈには、この
中で最も類似度の低い画像を表示する。
た類似画像を縮小表示する。２６ａには、もっとも類似
度の高い画像番号Ｔ（０）に対応する画像、２６ｂには
Ｔ（１）に対応する画像…と表示し、２６ｈには、この
中で最も類似度の低い画像を表示する。
【００５６】縮小表示には、格納された画像データをデ
コードし、画面上に縮小して表示しても良いし、標準的
な画像フォーマットであるＦｌａｓｈＰｉｘのように、
アイコン用の低解像度のアイコンデータを持っている場
合は、アイコンデータを表示しても良い。
コードし、画面上に縮小して表示しても良いし、標準的
な画像フォーマットであるＦｌａｓｈＰｉｘのように、
アイコン用の低解像度のアイコンデータを持っている場
合は、アイコンデータを表示しても良い。
【００５７】各アイコン画像はポインティングデバイス
１０２ａを用いて「選択」できるようにしておく。
１０２ａを用いて「選択」できるようにしておく。
【００５８】ボタン２７を押すと、次候補、つまりＴ
（８）〜Ｔ（１５）に対応する画像を２６ａ〜ｈに縮小
表示する。これをＴ（Ｍ−１）に達するまで繰り返すこ
とができる。
（８）〜Ｔ（１５）に対応する画像を２６ａ〜ｈに縮小
表示する。これをＴ（Ｍ−１）に達するまで繰り返すこ
とができる。
【００５９】『ステップＳ１６５の説明』ステップＳ１
６５では、処理完了ボタン２８が押されたか否かの判断
を行ない、押された場合は処理を完了する。押されなけ
れば、ステップＳ１６１に戻り、イラスト描画を継続す
る。
６５では、処理完了ボタン２８が押されたか否かの判断
を行ない、押された場合は処理を完了する。押されなけ
れば、ステップＳ１６１に戻り、イラスト描画を継続す
る。
【００６０】［その他の実施形態］上記曖昧度は、ＲＧ
Ｂに対し等しい値を適用しているので、これは輝度成分
を変化させていることに相当する。しかしながら、曖昧
度を作用させる成分はこれに限られるものではなく、例
えば色差成分を変化させるようにしてもよい。この場合
には、特徴量をＲＧＢでなくＹＵＶで表現し、Ｙ・Ｕ・
Ｖを別々に変化させればよい。
Ｂに対し等しい値を適用しているので、これは輝度成分
を変化させていることに相当する。しかしながら、曖昧
度を作用させる成分はこれに限られるものではなく、例
えば色差成分を変化させるようにしてもよい。この場合
には、特徴量をＲＧＢでなくＹＵＶで表現し、Ｙ・Ｕ・
Ｖを別々に変化させればよい。
【００６１】また、上記実施形態では画像間距離が最小
になる係数αを選択しているが、これに限らない。上記
実施形態では、３つのαについて等しく画像間距離を計
算するので計算量が増えてしまうが、例えば処理を軽減
したいときは３つの候補を全て計算して最小のものを選
ぶ代わりに、全部のタイルについて各々ランダムにαを
選ぶようにしてもよい。各タイルについてランダムにα
を選ぶことにより、αを１に固定して処理するよりも選
択肢を増やすことができ、上記実施形態と同様の効果を
得ることができる。
になる係数αを選択しているが、これに限らない。上記
実施形態では、３つのαについて等しく画像間距離を計
算するので計算量が増えてしまうが、例えば処理を軽減
したいときは３つの候補を全て計算して最小のものを選
ぶ代わりに、全部のタイルについて各々ランダムにαを
選ぶようにしてもよい。各タイルについてランダムにα
を選ぶことにより、αを１に固定して処理するよりも選
択肢を増やすことができ、上記実施形態と同様の効果を
得ることができる。
【００６２】また、上記実施形態ではαの範囲を±２０
％にしているが、画像の特性や操作者の好みにより増減
してもよい。或いは、操作者により任意に設定できるよ
うにしてもよい。
％にしているが、画像の特性や操作者の好みにより増減
してもよい。或いは、操作者により任意に設定できるよ
うにしてもよい。
【００６３】また、上記実施形態ではαを３段階に変化
させているが、単にαの候補数を増やすだけでより細か
く曖昧度を反映することもできる。これは処理負荷との
トレードオフであるので、操作者により設定できるよう
にしてもよい。
させているが、単にαの候補数を増やすだけでより細か
く曖昧度を反映することもできる。これは処理負荷との
トレードオフであるので、操作者により設定できるよう
にしてもよい。
【００６４】また、上記実施形態ではαの算出アルゴリ
ズムの一例を示しただけであり、他のアルゴリズムを用
いてもよい。例えば上記ではαを数段階に変化させて距
離最小のものを選んだのであるが、無段階に変化させた
ときの最適値を採用するようにしてもよい。すなわち、
αを変化させていく中で最適なαを決定し、画像間距離
を得るようにすればよい。
ズムの一例を示しただけであり、他のアルゴリズムを用
いてもよい。例えば上記ではαを数段階に変化させて距
離最小のものを選んだのであるが、無段階に変化させた
ときの最適値を採用するようにしてもよい。すなわち、
αを変化させていく中で最適なαを決定し、画像間距離
を得るようにすればよい。
【００６５】なお、本発明は、複数の機器（例えばホス
トコンピュータ、インタフェイス機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。
トコンピュータ、インタフェイス機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。
【００６６】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。
【００６７】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００６８】
【発明の効果】以上説明したように、本発明によれば、
ユーザの記憶に基づいた提示画像を用いて類似画像検索
を行うにあたり、ユーザの意図をより的確に反映した検
索を行うことが可能となる。
ユーザの記憶に基づいた提示画像を用いて類似画像検索
を行うにあたり、ユーザの意図をより的確に反映した検
索を行うことが可能となる。
【図１】第１の実施形態による画像検索処理を実現する
コンピュータシステムの構成を示すブロック図である。
コンピュータシステムの構成を示すブロック図である。
【図２】第１の実施形態による検索操作画面例を示す図
である。
である。
【図３】ステップＳ１６１における画像描画処理の詳細
を説明するフローチャートである。
を説明するフローチャートである。
【図４】特徴量の算出のための、画像の分割状態を示す
図である。
図である。
【図５】本実施形態による特徴量算出処理を説明するフ
ローチャートである。
ローチャートである。
【図６】本実施形態による領域毎のＲ，Ｇ，Ｂ値の平均
値算出方法を説明するフローチャートである。
値算出方法を説明するフローチャートである。
【図７】第１の実施形態による画像間距離（類似度）の
算出手順を説明するフローチャートである。
算出手順を説明するフローチャートである。
【図８】本実施形態による類似画像の選択手順を説明す
るフローチャートである。
るフローチャートである。
【図９】第１の実施形態による画像検索処理の概要を示
すフローチャートである。
すフローチャートである。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｆ (72)発明者 草間 澄 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 Ｆターム(参考） 5B050 BA16 EA04 EA09 EA18 FA19 GA08 5B075 ND06 NK06 NK37 PP02 PP03 PQ02 PQ46 PQ48 PQ74 PR06 QM08 QP05 5L096 AA02 FA81 JA03
Claims (15)
- 【請求項１】 蓄積された複数枚の画像から所望の画像
を検索する画像検索装置であって、 前記複数枚の画像と、該複数毎の画像の各々の特徴量を
画像と関連づけて記憶する記憶手段と、 検索元画像の画像特徴量を算出する特徴量算出手段と、 前記記憶手段に格納された画像特徴量のそれぞれを所定
範囲で変化させることで１つの画像について複数の画像
特徴量を取得する取得手段と、 前記取得手段で取得した画像特徴量と前記特徴量算出手
段で算出された画像特徴量とに基づいて、前記複数枚の
画像の各々と前記検索元画像との類似度を算出して画像
検索を行う検索手段とを備えることを特徴とする画像検
索装置。 - 【請求項２】 前記取得手段は、各画像特徴量につい
て、輝度成分をＮ段階に変化させることを特徴とする請
求項１に記載の画像検索装置。 - 【請求項３】 前記取得手段は、各画像特徴量につい
て、色差成分をＮ段階に変化させることを特徴とする請
求項１に記載の画像検索装置。 - 【請求項４】 前記検索手段は、前記記憶手段に記憶さ
れている各画像について、前記取得手段で取得された複
数の画像特徴量を用いて前記検索元画像との類似度を算
出し、最大の類似度を当該画像と該検索元画像との類似
度とすることを特徴とする請求項１に記載の画像検索装
置。 - 【請求項５】 前記取得手段は、画像特徴量の輝度成分
を無段階に変化させることを特徴とする請求項１に記載
の画像検索装置。 - 【請求項６】 前記取得手段は、画像特徴量の色差成分
を無段階に変化させることを特徴とする請求項１に記載
の画像検索装置。 - 【請求項７】 前記取得手段において、画像特徴量を変
化させる段階数及びその変化幅を操作者が指定する指定
手段を更に備えることを特徴とする請求項１に記載の画
像検索装置。 - 【請求項８】 複数枚の画像と該複数毎の画像の各々の
特徴量を画像と関連づけて記憶する記憶手段から所望の
画像を検索する画像検索方法であって、 検索元画像の画像特徴量を算出する特徴量算出工程と、 前記記憶手段に格納された画像特徴量のそれぞれを所定
範囲で変化させることで１つの画像について複数の画像
特徴量を取得する取得工程と、 前記取得工程で取得した画像特徴量と前記特徴量算出工
程で算出された画像特徴量とに基づいて、前記複数枚の
画像の各々と前記検索元画像との類似度を算出して画像
検索を行う検索工程とを備えることを特徴とする画像検
索方法。 - 【請求項９】 前記取得工程は、各画像特徴量につい
て、輝度成分をＮ段階に変化させることを特徴とする請
求項８に記載の画像検索方法。 - 【請求項１０】 前記取得工程は、各画像特徴量につい
て、色差成分をＮ段階に変化させることを特徴とする請
求項８に記載の画像検索方法。 - 【請求項１１】 前記検索工程は、前記記憶手段に記憶
されている各画像について、前記取得工程で取得された
複数の画像特徴量を用いて前記検索元画像との類似度を
算出し、最大の類似度を当該画像と該検索元画像との類
似度とすることを特徴とする請求項８に記載の画像検索
方法。 - 【請求項１２】 前記取得工程は、画像特徴量の輝度成
分を無段階に変化させることを特徴とする請求項８に記
載の画像検索方法。 - 【請求項１３】 前記取得工程は、画像特徴量の色差成
分を無段階に変化させることを特徴とする請求項８に記
載の画像検索方法。 - 【請求項１４】 前記取得工程において、画像特徴量を
変化させる段階数及びその変化幅を操作者が指定する指
定工程を更に備えることを特徴とする請求項８に記載の
画像検索方法。 - 【請求項１５】 複数枚の画像と該複数毎の画像の各々
の特徴量を画像と関連づけて記憶する記憶手段から所望
の画像を検索する画像検索処理をコンピュータに実行さ
せるための制御プログラムを格納する記憶媒体であっ
て、該制御プログラムが、 検索元画像の画像特徴量を算出する特徴量算出工程のコ
ードと、 前記記憶手段に格納された画像特徴量のそれぞれを所定
範囲で変化させることで１つの画像について複数の画像
特徴量を取得する取得工程のコードと、 前記取得工程で取得した画像特徴量と前記特徴量算出工
程で算出された画像特徴量とに基づいて、前記複数枚の
画像の各々と前記検索元画像との類似度を算出して画像
検索を行う検索工程のコードとを備えることを特徴とす
る記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000091316A JP2001282846A (ja) | 2000-03-29 | 2000-03-29 | 画像検索方法及び装置 |
| US09/818,391 US7194453B2 (en) | 2000-03-29 | 2001-03-27 | Image retrieval method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000091316A JP2001282846A (ja) | 2000-03-29 | 2000-03-29 | 画像検索方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001282846A true JP2001282846A (ja) | 2001-10-12 |
Family
ID=18606787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000091316A Pending JP2001282846A (ja) | 2000-03-29 | 2000-03-29 | 画像検索方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7194453B2 (ja) |
| JP (1) | JP2001282846A (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7266545B2 (en) * | 2001-08-07 | 2007-09-04 | International Business Machines Corporation | Methods and apparatus for indexing in a database and for retrieving data from a database in accordance with queries using example sets |
| US7133555B2 (en) * | 2002-08-02 | 2006-11-07 | Intel Corporation | Image color matching scheme |
| US20070030523A1 (en) * | 2005-08-02 | 2007-02-08 | Kabushiki Kaisha Toshiba | System and method for identifying a submitter of a printed or scanned document |
| US8165406B2 (en) * | 2007-12-12 | 2012-04-24 | Microsoft Corp. | Interactive concept learning in image search |
| JP5516882B2 (ja) * | 2010-07-29 | 2014-06-11 | セイコーエプソン株式会社 | プログラム、情報記憶媒体、端末装置、表示システムおよび画像生成方法 |
| US9141255B2 (en) * | 2010-12-21 | 2015-09-22 | Disney Enterprises, Inc. | Mosaic generation from user-created content |
| CN102332034B (zh) * | 2011-10-21 | 2013-10-02 | 中国科学院计算技术研究所 | 一种人像图片检索方法和装置 |
| CN102591918A (zh) * | 2011-12-16 | 2012-07-18 | 华中科技大学 | 基于多智能体系统的遥感影像检索方法 |
| JP2013196514A (ja) * | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
| KR102056664B1 (ko) * | 2012-10-04 | 2019-12-17 | 한국전자통신연구원 | 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템 |
| JP6351240B2 (ja) * | 2013-11-20 | 2018-07-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2017054555A (ja) * | 2016-12-20 | 2017-03-16 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07118014B2 (ja) | 1990-02-26 | 1995-12-18 | 松下電器産業株式会社 | パターン認識装置 |
| US5848198A (en) * | 1993-10-08 | 1998-12-08 | Penn; Alan Irvin | Method of and apparatus for analyzing images and deriving binary image representations |
| US5801773A (en) * | 1993-10-29 | 1998-09-01 | Canon Kabushiki Kaisha | Image data processing apparatus for processing combined image signals in order to extend dynamic range |
| JPH08241407A (ja) * | 1995-01-31 | 1996-09-17 | Internatl Business Mach Corp <Ibm> | ディジタル・カラー・イメージの空間フィルタ処理システム |
| US5872865A (en) * | 1995-02-08 | 1999-02-16 | Apple Computer, Inc. | Method and system for automatic classification of video images |
| DE69601592T2 (de) * | 1995-05-03 | 1999-09-16 | Agfa-Gevaert N.V., Mortsel | Farbtonbereiche angewandte selektive Farbkorrektur |
| JP3666979B2 (ja) | 1996-03-22 | 2005-06-29 | キヤノン株式会社 | 画像処理方法及びその装置及びその方法又は装置に用いられる参照画像データの作成方法 |
| US5915038A (en) * | 1996-08-26 | 1999-06-22 | Philips Electronics North America Corporation | Using index keys extracted from JPEG-compressed images for image retrieval |
| US5899999A (en) * | 1996-10-16 | 1999-05-04 | Microsoft Corporation | Iterative convolution filter particularly suited for use in an image classification and retrieval system |
| JP3609225B2 (ja) | 1996-11-25 | 2005-01-12 | 日本電信電話株式会社 | 類似オブジェクト検索装置 |
| US6137498A (en) * | 1997-01-02 | 2000-10-24 | Runaway Technology, Inc. | Digital composition of a mosaic image |
| US6400853B1 (en) * | 1997-03-19 | 2002-06-04 | Canon Kabushiki Kaisha | Image retrieval apparatus and method |
| JP3673615B2 (ja) * | 1997-06-19 | 2005-07-20 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JP3747589B2 (ja) * | 1997-09-17 | 2006-02-22 | コニカミノルタビジネステクノロジーズ株式会社 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
| JP3695084B2 (ja) * | 1997-09-19 | 2005-09-14 | コニカミノルタビジネステクノロジーズ株式会社 | 類似画像検索装置および類似画像の検索方法およびプログラム記憶媒体 |
| AU1365699A (en) * | 1997-10-27 | 1999-05-17 | Imagen Incorporated | Image search and retrieval system |
| JP3621245B2 (ja) | 1997-12-12 | 2005-02-16 | 株式会社東芝 | 人物認識装置、人物認識方法、および、人物認識プログラムの記録媒体 |
| JP4074366B2 (ja) * | 1998-02-24 | 2008-04-09 | コニカミノルタビジネステクノロジーズ株式会社 | 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体 |
| US6263113B1 (en) * | 1998-12-11 | 2001-07-17 | Philips Electronics North America Corp. | Method for detecting a face in a digital image |
| US6404925B1 (en) * | 1999-03-11 | 2002-06-11 | Fuji Xerox Co., Ltd. | Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition |
| US6724946B1 (en) * | 1999-03-26 | 2004-04-20 | Canon Kabushiki Kaisha | Image processing method, apparatus and storage medium therefor |
| US6757428B1 (en) * | 1999-08-17 | 2004-06-29 | National Instruments Corporation | System and method for color characterization with applications in color measurement and color matching |
-
2000
- 2000-03-29 JP JP2000091316A patent/JP2001282846A/ja active Pending
-
2001
- 2001-03-27 US US09/818,391 patent/US7194453B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020009231A1 (en) | 2002-01-24 |
| US7194453B2 (en) | 2007-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6731826B1 (en) | Image search apparatus and method, and computer readable memory | |
| US9262441B2 (en) | Wildcard color searching | |
| US7392233B2 (en) | Image searching system, image searching method, and a recording medium storing an image searching program | |
| Niblack et al. | QBIC project: querying images by content, using color, texture, and shape | |
| JP2776295B2 (ja) | 画像インデックス生成方法及び画像インデックス生成装置 | |
| US7620247B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| US8094935B2 (en) | Representative color extracting method and apparatus based on human color sense and data histogram distributions | |
| Stejić et al. | Genetic algorithm-based relevance feedback for image retrieval using local similarity patterns | |
| JP2010512607A (ja) | デジタルコラージュのための画像処理システム | |
| JP2001282846A (ja) | 画像検索方法及び装置 | |
| US20080219563A1 (en) | Configuration of a plurality of images for multi-dimensional display | |
| US6718075B1 (en) | Image search method and apparatus | |
| JPH09293082A (ja) | 画像検索装置及び画像検索方法 | |
| US6816633B1 (en) | Image retrieval apparatus and method | |
| JP2011039944A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US6968095B1 (en) | Image search apparatus and method, and computer readable memory | |
| US6999636B1 (en) | Image search method and apparatus | |
| US7755646B2 (en) | Image management through lexical representations | |
| JP2001134765A (ja) | 画像検索方法及び装置 | |
| US7130492B2 (en) | Image processing apparatus and method, and program | |
| JP2000076270A (ja) | 画像検索システム及びその制御方法、画像検索装置及びその制御方法、コンピュータ可読メモリ | |
| JP2001143080A (ja) | 画像検索方法及び装置 | |
| CN111556192B (zh) | 手机照片拖动比较排序方法及系统 | |
| Cinque et al. | Retrieval of images using rich-region descriptions | |
| JP2000076268A (ja) | 画像検索装置及びその方法、コンピュータ可読メモリ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040607 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040607 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040607 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061222 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070202 |