JP2000076302A - 画像検索方法，画像検索装置および電子スチルカメラ - Google Patents

Abstract

(57)【要約】 【課題】 描画入力した画像イメージを基に所望の記録
画像を検索する画像検索方法，画像検索装置および電子
スチルカメラの提供。 【解決手段】 画像検索装置１００は手書き入力された
描画図５０１，５０２，５０３の特徴要素と記録画像の
部分画像５０１’，５０２’，５０３，・・の特徴要素
との比較により特徴要素の一致度の高い記録画像を抽出
して、候補画像１１１，１１２，１１３，１１４，・・
として表示し、表示された候補画像の中からユーザがイ
メージした画像（図１（ｃ）の例では画像１１１）を選
択することにより、キーワード入力やコマ送りなしに所
望の画像を検索する。特徴要素の例としては検索用描画
図の輪郭特徴と記録画像の輪郭特徴や、検索用描画図の
輪郭内部に施された色彩と部分画像の色彩、または検索
用描画図の配置と部分画像の配置等を挙げることができ
るがこれらに限定されない。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像の検索技術に関
し、特に、描画入力した画像イメージを基に記録画像を
検索する画像検索技術に関する。

【０００２】

【従来の技術】デジタルカメラで撮像された被写体像
は、ＣＣＤによる光電変換、信号変換及び信号処理等を
経て画像データとして記憶媒体に記録される。この場
合、画像データは記録媒体上に撮像した順番に記録され
てゆく。

【０００３】また、デジタルカメラの多くは液晶ディス
プレイ等からなる表示装置を備えており、撮像後に記録
媒体から読み出した再生画像を表示することもできる。
しかし、このようなデジタルカメラで再生画像を表示す
る場合には、画像データは撮像した順序で記録媒体から
読み出されるので、表示装置の画面上にも撮像順に表示
される。

【０００４】そして、記録画像の中から所望の画像を探
し出そうとする場合には所望の画像が現われるまで再生
画像をコマ送りしたり、サイズの小さい簡易画像（サム
ネイル画像）を１画面に複数枚表示（マルチ画面表示）
してコマ送りし、所望の簡易画像が表示された場合にそ
れを指定して元の画像を再生して表示していた。

【０００５】

【発明が解決しようとする課題】上記従来の検索方法は
記録されている画像が少ない場合にはともかく、大量の
画像が記録されている場合には所望の画像を探し出すた
めのコマ送りが煩わしいという問題点があった。また、
これに加えて所望の画像を複数枚探し出す場合（所望の
画像が記録画像の最後に有った場合）には記録画像を全
て再生してコマ送りして探し出さなければならないとい
う問題点があった。

【０００６】コマ送りによる画像検索の他に、キーワー
ドによって画像を検索することもできるが、この場合に
は予め画像に対応させてキーワードを登録する必要があ
り、画像入力時にキーワードを付加する必要がある他、
画像とキーワードの対応付けをユーザが記憶したりメモ
したりしておかなければならないという問題点があっ
た。

【０００７】本発明は、上記問題点を解決するためにな
されたものであり、描画入力した画像イメージを基に所
望の記録画像を検索する画像検索方法，画像検索装置お
よび電子スチルカメラの提供を目的とする。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明の画像検索方法はイメージを描画し、
この描画図と画像記録用メモリに記録された各画像とを
順次比較して、類似度の高い記録画像を取り出して表示
することを特徴とする。

【０００９】また、第２の発明の画像検索方法はイメー
ジを描画し、この描画図と画像記録用メモリに記録され
た各画像とを順次比較して得た類似画像の一つを検索用
画像として、画像記録用メモリに記録された各画像と比
較し、類似度の高い記録画像を取り出して表示すること
を特徴とする。

【００１０】また、第３の発明の画像検索方法は画像記
録用メモリに記録された画像の一つを検索用画像として
選び、この検索用画像と画像記録用メモリに記録された
各画像とを比較して、類似度の高い記録画像を取り出し
て表示することを特徴とする。

【００１１】また、第４の発明の画像検索方法は撮像装
置において、撮影像を検索用画像として前記撮影像と画
像記録用メモリに記録された各画像とを順次比較して、
類似度の高い記録画像を取り出して表示することを特徴
とする。

【００１２】また、第５の発明は上記第１〜第４の発明
のいずれかの画像検索方法において、比較は、下記ａ〜
ｄのいずれかを比較することにより行なわれることを特
徴とする。 ａ：輪郭 ｂ：輪郭と色彩 ｃ：輪郭とその位置 ｄ：輪郭とその位置および色彩

【００１３】また、第６の発明は上記第４の発明の画像
検索方法において、画像記録用メモリに記録された各画
像から前記ａ〜ｄのいずれかを抽出した特徴要素を予め
メモリに登録することを特徴とする。

【００１４】また、第７の発明は上記第１〜第６の発明
のいずれかの画像検索方法において、類似度の高い画像
は、その数に応じて表示サイズを縮小してマルチ表示す
ることを特徴とする。

【００１５】また、第８の発明は上記第１〜第４の発明
のいずれかの画像検索方法において、検索用画像は不要
な部分を消去してから順次記録画像と比較することを特
徴とする。

【００１６】また、第９の発明の画像検索装置は、複数
の画像を記録した画像記録手段と、絵または図形を描画
入力する描画入力手段と、この描画入力手段により描画
入力された絵または図形と画像記録手段に記録されてい
る各画像とを比較して類似度の高い記録画像を得る画像
認識手段と、この画像認識手段による比較結果を報知す
る報知手段と、を有することを特徴とする。

【００１７】また、第１０の発明の画像検索装置は、複
数の画像を記録した画像記録手段と、絵または図形を描
画入力する描画入力手段と、この描画入力手段により描
画入力された絵または図形と画像記録手段に記録されて
いる各画像とを比較して類似画像を得る一次画像抽出手
段と、この一次画像抽出手段で得た類似画像と画像記録
手段に記録されている各画像とを比較して類似度の高い
記録画像を得る画像認識手段と、この画像認識手段によ
る比較結果を報知する報知手段と、を有することを特徴
とする。

【００１８】また、第１１の発明の画像検索装置は、複
数の画像を記録した画像記録手段と、この画像記録手段
に記録されている画像の一つを検索用画像として選択す
る画像選択手段と、この画像選択手段により選択された
検索用画像と画像記録手段に記録されている各画像とを
比較して類似度の高い記録画像を得る画像認識手段と、
この画像認識手段による比較結果を報知する報知手段
と、を有することを特徴とする。

【００１９】また、第１２の発明は上記第９または第１
０の発明の画像検索装置において、画像入力手段は手書
き入力であることを特徴とする。

【００２０】また、第１３の発明は上記第９〜第１１の
発明のいずれかの画像検索装置において、画像認識手段
は描画入力手段により描画入力された絵または図形、一
次画像抽出手段で得た類似画像、或いは画像選択手段に
より選択された検索用画像の特徴要素を抽出し、画像記
録手段に記録されている各画像から抽出された特徴要素
と比較することを特徴とする。

【００２１】また、第１４の発明は上記第９〜第１１の
発明のいずれかの画像検索装置において、報知手段は表
示手段であることを特徴とする。

【００２２】また、第１５の発明の電子スチルカメラ
は、画像記録手段と表示手段を備えた電子スチルカメラ
において、被写体を撮影し、撮影像を出力する撮影手段
と、この撮影手段から出力された撮影像と画像記録手段
に記録された各画像とを比較して類似度の高い記録画像
を得る画像認識手段と、この画像認識手段による認識結
果を報知する報知手段と、を有することを特徴とする。

【００２３】

【発明の実施の形態】＜実施形態（１）＞図１は本発明
の描画入力による画像検索方法の概要説明図である。本
実施の形態では、画像検索装置１００は指やタッチペン
３Ａ等で手書きされた検索用描画図（検索したい画像の
全体像または部分像を描いた図をいう）５０１，５０
２，５０３（図１（ａ））の特徴要素と記録画像の部分
画像５０１’，５０２’，５０３’、・・（図１
（ｂ））の特徴要素との比較により特徴要素の一致度の
高い記録画像を抽出して、候補画像１１１，１１２，１
１３，１１４，・・として表示し（図１（ｃ））、表示
された候補画像の中からユーザがイメージした画像（図
１（ｃ）の例では画像１１１）を選択することにより、
キーワード入力やコマ送りなしに所望の画像を容易に検
索できる。

【００２４】ここで、比較する特徴要素の例としては検
索用描画図の輪郭特徴と記録画像の輪郭特徴（図８）
や、検索用描画図の輪郭内部に施された色彩と部分画像
の色彩（図９）、または検索用描画図の配置と部分画像
の配置等（図１０）を挙げることができるがこれらに限
定されない。

【００２５】［回路構成例］図２はデジタルカメラの構
成例を示すブロック図であり、画像検索装置１００は撮
像部１、描画入力部２、操作部３、制御部４、画像認識
部５、作業用メモリ６，画像記録用メモリ７、画像再生
部８、表示部９および液晶ディスプレイ（ＬＣＤ）１０
を備えている。

【００２６】撮像部１は撮像レンズやレンズ駆動機構、
絞り機構等の光学系と撮像レンズを介して集光された光
学像を電気信号に変換する撮像素子と、撮像素子駆動部
および得られた電気信号をデジタルデータに変換する信
号変換部を有している。

【００２７】操作部２は電源スイッチや処理選択ボタン
等を備えている。ユーザが操作部２の電源スイッチや処
理選択ボタン等を操作すると操作内容に対応した電気信
号（コード）が制御部４に送られる。これにより、ユー
ザは制御部４に画像検索装置１００の起動や画像検索動
作上必要な指示を与えることができる。

【００２８】描画入力部３はペンまたは指で絵や線を描
くとその結果が電気信号に変換される部材から構成され
ている。描画入力部３として、本実施例では液晶ディス
プレイ１０の上に設けた透明な感圧入力板（プラスチッ
ク等の材料からなる透明板に圧力を検知して電気信号を
出力する複数の圧電素子を配設したもの）、タッチペン
や指による描画やポイントがなされると電気信号とタッ
チ位置の座標値（ｘ，ｙ）を出力するよう構成したが、
感圧素子を配設した平板（入力タブレット）を用いてタ
ッチペンや指による描画やポイントがなされると電気信
号とタッチ位置の座標値（ｘ，ｙ）を出力するようにし
てもよい。また、液晶ディスプレイ１０の上に熱線を検
知して電気信号を出力する感熱素子を複数配設した透明
板（感熱透明板）を設け、指で描画やポイントがなされ
るとユーザの指から出る熱線を検知して電気信号とタッ
チ位置の座標値（ｘ，ｙ）を出力するようにしてもよ
い。また、光線を出す入力ペンと液晶ディスプレイ１０
の上に特定波長の光線を検知して電気信号を出力する光
線検知素子を複数配設した透明板を設け、入力ペンでポ
イントがなされると入力ペンから出る特定波長の光線を
検知して電気信号とタッチ位置の座標値（ｘ，ｙ）を出
力するようにしてもよい。なお、描画入力部３を設けず
に、例えば、ＬＣＤ１０上にカーソルを表示させ、これ
をマウス或いはカーソルキー等で任意に移動させること
により描画するようにしてもよい。

【００２９】制御部４はＣＰＵ，プログラム格納用メモ
リおよび一時記憶用メモリ（図示せず）を備え、画像検
索装置１００の制御および本発明の画像検索処理の実行
制御を行なう。プログラム格納用メモリはＲＯＭ等の不
揮発性メモリからなり制御プログラムの他、画像検索処
理プログラム群が格納されている。また、一時記憶用メ
モリはＲＡＭからなり、プログラムやデータを一時的に
記憶する。そして、画像検索装置１００の起動時にプロ
グラム格納用メモリから作業用メモリに制御プログラム
と画像検索プログラム等が一時的に記憶され、ＣＰＵに
より実行制御されて画像検索処理を実行する。

【００３０】画像認識部５は描画入力した検索用描画図
および記録画像の特徴要素の抽出を行なって両者の特徴
の一致度を調べて認識処理を行なう。また、予め記録画
像の特徴要素を用いて画像検索を行なうようにした場合
には図１２に示したような特徴リストを記録する領域が
確保される。

【００３１】作業用メモリ６はＤＲＡＭ等からなり、画
像認識等の際の画像データの記憶等に用いられる。

【００３２】画像記録用メモリ７はフラッシュメモリや
メモリカードまたは磁気ディスクや光ディスク等の記録
媒体からなり、圧縮処理された撮影画像データが記録さ
れる。

【００３３】画像再生部８は、読み出された記録画像デ
ータ（圧縮データ）の伸張処理を行なうため圧縮画像デ
ータを圧縮前の画像と同じ大きさで且つ同じ密度の画像
に伸張する第１の伸張部と、圧縮画像データを圧縮前の
画像と同じ大きさで且つ元の画像より密度が粗い画像に
伸張する第２の伸張部と、圧縮画像データを元の画像よ
り小さなサイズの画像に伸張し、縮小画像を再生する画
像縮小部を有している。

【００３４】上記第１の伸張部では画像は元通りに復元
（再生）されるが、記録されている画像の数が多い場合
には検索時間がかかるので、本実施例では、後述する画
像の特徴抽出時（図３，図４）には第２の伸張部を用い
て画素密度を粗にして伸張を行なうようにして、再生速
度を迅速化している。

【００３５】また、画像縮小部は、画像認識部５で認識
処理した画像のうちで一致度が所定範囲の画像が複数枚
ある場合にそれらを１画面上に９画像（３×３）、１６
画像（４×４）といったようにマルチ画像表示する場合
に、表示する再生画像のサイズを縮小（１画面上に９画
像の場合には１／９のサイズ、１６画像の場合には１／
１６のサイズ、・・）するように伸張する。

【００３６】なお、マルチ画像表示するように構成した
場合で、画像検索装置１００がメモリ容量が十分に大き
い画像記録用メモリを備えている場合には、上述のよう
な画像縮小部を設けることなく画像の記録時に予め画像
を複数のサイズに縮小して各画像と関連づけて記憶させ
ておき、表示の際に必要なサイズの縮小画像を抽出でき
るようにしてもよい。

【００３７】表示部９はビデオエンコーダおよびＶＲＡ
Ｍ等の画像メモリを有し、画像データや描画入力された
データをイメージデータに変換してＶＲＡＭにビットマ
ップイメージで展開して、液晶ディスプレイ（ＬＣＤ）
９上に画像表示させる。

【００３８】［実施例１−１］ 描画入力による画像検
索動作（画像特徴の抽出を伴う例）図３は本発明の画像
検索方法に基づく画像検索装置１００の動作例を示すフ
ローチャートであり、図４は図３のステップＳ６の描画
図の特徴抽出処理の一実施例を示すフローチャートであ
り、図５は図３のステップＳ８の記録画像の特徴抽出処
理の一実施例を示すフローチャートであり、図６は図３
のステップＳ１０の画像認識処理の一実施例を示すフロ
ーチャートである。また、図７は描画用選択画面の例を
示す図であり、図８は輪郭のみの描画入力による画像検
索例の説明図であり、図９は色彩付の描画による画像検
索例の説明図であり、図１０は描画図の位置指定による
画像検索例の説明図である。

【００３９】また、本実施例では描画入力部３として液
晶ディスプレイ１０上に設けた、感圧素子を配置した透
明なパネル（以下、画面１１０）を用いているが前述し
たようにこれに限定されない。ユーザはタッチペン３Ａ
を用いて画面１１０にタッチして輪郭図を入力したり色
彩や表示位置を指定できる。

【００４０】ステップＳ１：（描画方法の選択） 図３で、画像検索処理が起動されると液晶ディスプレイ
１０の画面はクリアされ、白色表示される。また、図７
（ａ）の例に示すように色なし描画指定アイコン９１お
よび色彩見本９１１（白），９１２（緑），９１３
（黄），９１４（茶），・・，９１９（黒）等の複数の
色見本指定コマからなる帯状の色標本９２（図７
（ｂ））が表示される。なお、図７（ｂ）の例では色見
本９２を９色としたがこれに限定されず混合色を含む多
数の色見本としてよい。また、色標本を個々の色見本で
区分せずに白→暖色→中間色→寒色→黒色に至る色分布
からなる帯としてもよい。また、色見本の形状を円グラ
フ状にしてもよい。

【００４１】ユーザが色なし描画指定アイコン９１を選
択（本実施例ではタッチペンでポイント）するとＳ２に
遷移し、色指定アイコン９２を選択するとＳ３に遷移す
る。また、ポイント結果（どのアイコンを指定したか）
はＲＡＭに（例えば、ポイントされた場合にアイコンに
対応するフラグをオンにする等の方法により）記憶され
る。

【００４２】ステップＳ２：（描画（色指定なし）） ユーザが画像検索装置１００の画面１１０にタッチペン
３Ａを接触させながら輪郭図を描くと（図８（ａ））、
描画入力部３によってその接触軌跡が電気信号に変換さ
れて制御部４を介して表示部９のＶＲＡＭに送られると
共に、画像認識部５に送られる。表示部９では受取った
電気信号をラスタデータに変換してＶＲＡＭにビットマ
ップイメージで展開し、検索用描画図のイメージを黒色
（または黒色以外の単一色）で表示する。図８（ａ）の
例はユーザが大きな山５０１、小さな山５０２および家
５０３のイメージを検索用描画図として描いた例であ
り、描画された大きな山５０１、小さな山５０２および
家５０３の検索用描画図が電気信号に変換される。な
お、画面には位置指定アイコン９３と描画終了アイコン
９４が表示される。

【００４３】ステップＳ３：（描画（色彩指定あり）） ユーザが画像検索装置１００の画面１１０にタッチペン
３Ａを接触させながら検索用描画図を描いたり、輪郭内
部を塗り潰したり、斜線を引くと（図９（ａ））、描画
入力部３によってそのイメージが電気信号に変換されて
制御部４を介して表示部９のＶＲＡＭに送られると共
に、画像認識部５に送られる。表示部９では受取った電
気信号をＲ，Ｇ，Ｂのラスタデータに変換してＶＲＡＭ
にビットマップイメージで展開し描画イメージ（輪郭ま
たは輪郭および内部色で表現されたイメージ）を指定色
で表示する。画面には、色標本９２，位置指定アイコン
９３および描画終了アイコン９４が表示される。

【００４４】なお、輪郭と内部の色を別にする場合には
画面１１０に表示されている色標本９２をポイントして
次の色を選択する。図９（ａ）の例はユーザが図８の大
きな山５０１、小さな山５０２および家５０３のイメー
ジに色彩（山５０１には緑色９１２を、山５０２には茶
色９１４を、家５０３には黄色９１３）を施した例であ
る。また、ポイント結果は制御部４の記憶用メモリ（以
下、ＲＡＭ）に記憶される。また、検索用描画図につい
て指定色データ（コード）と輪郭および輪郭内部との対
応づけを行ない、その結果をＲＡＭに記憶する。

【００４５】対応付けは、例えば、検索用描画図の番号
を「１」、輪郭コードを「１」、内部コードを「２」と
し、輪郭および内部の指定色を同じ緑とし、緑の色コー
ドを「０８」とした場合には、「１１０８２０８」とし
て記憶するようにし、輪郭の指定色を青（コード＝「０
３」）、内部の指定色を青（コード＝０６）とした場合
には、「１１０３２０６」として記憶するようにして行
なうことができる。

【００４６】ステップＳ４：（位置指定） また、画面１１０に表示されている位置指定アイコン９
３がポイントされた場合には、ＲＡＭに確保された位置
指定フラグのうちその検索用描画図に対応する位置指定
フラグをオン（＝１）とする。なお、画面には描画追加
アイコン９５と全描画終了アイコン９６が表示される。

【００４７】ステップＳ５：（追加描画入力判定） また、画面１１０に表示されている全描画終了アイコン
９４（９６）がポイントされた場合には、制御部４は描
画終了と判定してＳ６の特徴抽出処理に遷移する。ま
た、検索用描画を追加する場合（図８（ａ），図９
（ａ））には描画追加アイコン９５をポイントすると追
加描画入力のために、ステップＳ１でポイントした結果
に応じてＳ２またはＳ３に戻る。

【００４８】ステップＳ６：（描画図の特徴抽出） 画像認識部５は検索用描画図の特徴データを抽出する。
なお、特徴データとして本実施例では輪郭特徴、輪郭特
徴と色彩特徴、輪郭特徴と配置、輪郭特徴，色彩特徴お
よび配置のいずれかを抽出する（図５：ステップＳ６−
１〜Ｓ６−４）がこれらに限定されないことは前述した
とおりである。特徴データとしてどの組合せを抽出する
かは、上記ステップＳ１〜Ｓ４でアイコン９１〜９３の
どの組合せが選択されているかによる。以下、本ステッ
プについて図４のフローチャートを基に説明する。な
お、検索用描画図が複数描かれている場合（図８
（ａ），図９（ａ））には各描画図単位に特徴抽出が行
なわれる（すなわち、描画毎に切出し、順次特徴抽出を
行なう）。

【００４９】・ステップＳ６−１；図４で、画像認識部
５はＤＲＡＭ６に展開されたラスタデータからに示すよ
うに矩形枠内の検索用描画図の輪郭を切出す。なお、検
索用描画図として複数の図を描いた場合には描画単位に
切出して記憶する（図８（ｂ），図９（ｂ））。また、
切出した検索用描画図の数ｉをカウントすると共に検索
用描画図に大きさの順に番号を付けるか記憶位置を大き
さの順に入替える（逆順にソートする）。また、検索用
描画図の大きさの比較基準は本実施例では外接枠の大き
さ（外接枠の対角線の長さ）としたがこれに限定されな
い。

【００５０】・ステップＳ６−２；切出した検索用描画
図の特徴ベクトル（方向と線分の始点および長さの組で
表される）を抽出し、輪郭特徴データとしてＲＡＭに記
憶する。輪郭特徴は、本実施例では、例えば、山５０１
では山裾ａ（始点）から頂上ｂまでの線分の長さとその
角度で現わされるベクトルＡ１と、頂上ｂ（始点）から
山裾ｃまでの線分の長さとその角度で現わされるベクト
ルＡ２の組として与えられる。なお、山のピークが幾つ
もある場合にはそのピークを終点（または始点）として
ベクトル成分を抽出する。また、家５０３のように輪郭
が不連続の場合には節点ｐ１，ｐ２，・・を終点（また
は始点）としてベクトル成分を抽出する。また、輪郭が
曲線や円弧を含んでいる場合には曲線を現わす関数の係
数と初期値や円弧の曲率半径等を抽出する。

【００５１】・ステップＳ６−３：ステップＳ１〜Ｓ３
でアイコン９２が選択された場合（色指定があった場
合）には、画像認識部５は検索用描画図（図９（ｂ））
の色特徴を抽出する。検索用描画図の色特徴は後述の記
録画像の色特徴を抽出する場合と同様に色分布から求め
ることもできるが、本実施例では上記ステップＳ３で色
彩ありの描画を行なった場合にＲＡＭに記憶した指定色
データ（コード）と輪郭および輪郭内部との対応づけの
結果（色データ）を色特徴として画像認識部５に与え
る。なお、本実施例では色特徴を当該検索用描画図に含
まれる画素数とそれぞれの色画素Ｒ（赤），Ｇ（緑），
Ｂ（青）との比率としているがこれに限定されない。ス
テップＳ１〜Ｓ３でアイコン９２が選択されなかった場
合には、Ｓ６−４に遷移する。

【００５２】・ステップＳ６−４：ＲＡＭに確保された
位置指定フラグを調べ、検索用描画図に対応する位置指
定フラグがオンの場合には、画像認識部５は画面上での
検索用描画図の中心座標を抽出してＲＡＭに記憶する。
中心座標は図９（ａ）の例に示すように切出された検索
用描画図に外接する枠の中心点の座標（ａ，ｂ）として
得ることができる。図１０（ａ）の例では検索用描画図
７０１（家）に外接する枠７０１Ａとその中心が示され
ている。また、検索用描画図に対応する位置指定フラグ
がオフの場合には、Ｓ６−５に遷移する。

【００５３】・スップＳ６−５：上記ステップＳ６−１
で切出した検索用描画図について上記ステップＳ６−２
〜Ｓ６−４の特徴抽出処理を繰り返し、切出した全ての
検索用描画図について特徴抽出処理が終了するとＳ７に
遷移する。

【００５４】ステップＳ７：（画像データの簡易伸張） 上記ステップＳ７の検索用描画図の特徴抽出処理が終了
したあと、制御部４は画像記録用メモリ７に記録されて
いる１画像分の画像データ（圧縮画像データ）を読み出
して画像再生部８の第２の伸張部で圧縮画像データを圧
縮前の画像と同じ大きさで且つ元の画像より粗密度の画
像に伸張して作業用メモリ（以下、ＤＲＡＭ）５に記憶
する。

【００５５】ステップＳ８：（記録画像の特徴抽出） 画像認識部５はＤＲＡＭ６に記憶された１フレーム分の
画像の特徴データを抽出する。なお、抽出する特徴デー
タはステップＳ６の描画図の特徴抽出の場合と同様の特
徴を抽出する。以下、本ステップについて図５のフロー
チャートを基に説明する。なお、画像中に複数の部分画
像が含まれている場合には矩形枠が所定の大きさ以上の
部分画像を切出し、大きい順に検索用描画図と同じ数に
なるまで部分画像単位に特徴抽出を行なう（すなわち、
大きな部分画像順に検索用描画図と同じ数になるまで順
次切出しおよび特徴抽出を行なう）。

【００５６】・ステップＳ８−１；画像認識部５はＤＲ
ＡＭ６展開されたラスタデータから図８（ｃ）に示すよ
うに矩形枠内の画像の輪郭を切出す。また、１フレーム
の画像に部分画像が複数含まれている場合には矩形枠が
所定の大きさ以上の部分画像を切出してＤＲＡＭ６に記
憶する。なお、切出した部分画像の数がステップ６−１
で切出した検索用描画図の数ｉを超える場合には大きい
順にｉ個記憶する。なお、部分画像の大きさの比較基準
は本実施例では外接枠の大きさ（外接枠の対角線の長
さ）としたがこれに限定されない。

【００５７】・ステップＳ８−２；切出した部分画像５
０１’、５０２’、５０３’の特徴ベクトル（方向と線
分の始点および長さの組で表される）や曲線を現わす関
数の係数と初期値や曲率半径等を抽出して輪郭特徴デー
タとしてＲＡＭに記憶する。なお、輪郭特徴の抽出方法
は検索画像の抽出方法と同じでよい。

【００５８】・ステップＳ８−３：ステップＳ１〜Ｓ３
でアイコン９２が選択された場合（色指定があった場
合）には、画像認識部５は部分画像の色特徴を抽出して
ＲＡＭに記憶する。検索用描画図の色特徴は切出した部
分画像の色分布から求めることができる。なお、本実施
例では色特徴を当該部分画像に含まれる画素数とそれぞ
れの色画素Ｒ，Ｇ，Ｂとの比率としているがこれに限定
されない。

【００５９】図９（ｃ）の例はカラー画像の部分画像で
ある山５０１’、５０２’および家５０３’の色分布の
山５０１’は緑色成分が８０％以上、山５０２’には茶
色成分が９０％、家５０３’には灰色成分７０％、黄色
成分３０％）の例である。また、色特徴の抽出結果はそ
の輪郭特徴データと関連付けられてＲＡＭに記憶され
る。また、ステップＳ１〜Ｓ３でアイコン９２が選択さ
れなかった場合には、Ｓ８−４に遷移する。

【００６０】・ステップＳ８−４：ＲＡＭに確保された
位置指定フラグを調べ、検索用描画図（図１０（ｂ））
に対応する位置指定フラグがオンの場合には、画像認識
部５は画面上での部分画像の中心座標を抽出してＲＡＭ
に記憶する。中心座標は図１０（ｃ），（ｄ）の例に示
すように部分画像７０１’に外接する枠の中心点の座標
（ｃ，ｄ）または部分画像７０１”に外接する枠の中心
点の座標（ｅ，ｆ）として得ることができる。また、検
索用描画図に対応する位置指定フラグがオフの場合に
は、Ｓ８−５に遷移する。

【００６１】・スップＳ８−５：上記ステップＳ８−１
で切出した部分画像について上記ステップＳ８−２〜Ｓ
８−４の特徴抽出処理を繰り返し、切出した全ての部分
画像について特徴抽出処理が終了するとＳ９に遷移す
る。

【００６２】ステップＳ９：（記録画像の特徴抽出繰り
返し） 記録画像の全てについて特徴抽出が終るまで上記ステッ
プＳ７，Ｓ８を繰り返す。

【００６３】ステップＳ１０：（画像認識処理） 記録画像の特徴抽出が終ると制御部４は、検索用描画図
の特徴データと各画像の特徴データを順次比較して一致
率を算出する。そして、一致率が所定の閾値以上の画像
について類似画像として認識し（一致率が１００％なら
一致）、その画像を候補画像としてその画像番号をＲＡ
Ｍに記憶する。なお、検索用描画図が複数ある場合に
は、大きさの順に順次その特徴データと各部分画像の特
徴データを比較し、総合一致率（検索用描画図画１つの
場合には一致率と等しい）が所定の閾値以上の画像につ
いて類似画像として認識し、その画像を候補画像として
その画像番号をＲＡＭに記憶する。以下、本ステップに
ついて図６のフローチャートを基に説明する。

【００６４】・ステップＳ１０−１；ＲＡＭに記憶した
ｊ（ｊ＝１〜ｎ）番目の検索用描画図（図８（ｂ），図
９（ｂ）または図１０（ｂ））の輪郭特徴データと、Ｒ
ＡＭに記憶した１フレーム分の画像の各部分画像（図８
（ｃ），図９（ｃ），図１０（ｃ）または図１０（ｄ）
で枠線で囲まれた画像）の輪郭特徴データを比較して輪
郭特徴の一致率Γを求める。

【００６５】輪郭特徴の一致率（以下、輪郭一致率）は
本実施例では、切出した検索用描画図と部分画像の線分
ベクトルや、曲線を現わす関数の係数と初期値や、円弧
の曲率半径の一致率を求め、次に夫々の一致率の自乗平
均を計算して輪郭一致率Γとしている。具体的には、図
１１に示すように、切出した検索用描画図５０１の原点
を左下とした場合に検索用ベクトルを形成する各部分ベ
クトル（特徴データ）のうち右廻りにみて原点に最も近
い部分ベクトル（図１１の例ではベクトルＡ１）の線分
長Ａ１Ｌと（図１１（ａ））、部分画像５０１’の原点
を左下とした場合に部分画像５０１’を形成する各部分
ベクトルのうち右廻りにみて原点に最も近い部分ベクト
ル（実施例ではベクトルＢ１）の線分長Ｂ１Ｌ（図１１
（ｂ））との比率Ｌｒ１（ｒ１＝Ｂ１Ｌ／Ａ１Ｌ）を求
め、次に、ベクトルＡ１とベクトルＢ１の方向Ａ１θ，
Ｂ１θの比率θｒ１を求める。そして、γ１＝（１−｜
１−Ｌｒ１｜）×（１−｜１−θｒ１｜）＞ρとして線
分ベクトルＡ１の一致率γ１を求める。

【００６６】また、原点に最も近い輪郭成分が曲線或い
は円弧の場合には、曲線を現わす関数の係数の比率と初
期値の比率、或いは曲率半径の比率を算出し、上述した
ベクトル成分の一致率算出と同様の方法で一致率γ１を
求める。この場合、一致率が１に近いほど類似度が高く
γ１＝１で完全一致となる。ここで一致率γが０に近い
ほど類似度が低い。

【００６７】次に、γ１＞ρのとき、検索用描画図５０
１のベクトルＡ１の右隣の線分ベクトルＡ２の線分長Ａ
２Ｌと、部分画像５０１’のベクトルＡ１の右隣の線分
ベクトルＢ２の線分長Ｂ２Ｌとの比率Ｌｒ２（ｒ２＝Ｂ
２Ｌ／Ａ２Ｌ）を求め、次に、ベクトルＡ２とベクトル
Ｂ２の方向Ａ２θ，Ｂ２θの比率θｒ２を求めて線分ベ
クトルＡ２の一致率γ２を求める。

【００６８】また右隣の輪郭成分が曲線或いは円弧の場
合には、曲線を現わす関数の係数の比率と初期値の比
率、或いは曲率半径の比率等を算出し、上述したベクト
ル成分の一致率算出と同様の方法で一致率γ２を求め
る。

【００６９】また、図１１の例では検索用描画図５０１
を山としたため線分ベクトルがＡ１，Ａ２の２つしか示
されていないが、図８（ａ）の家５０３のように線分ベ
クトルや曲線或いは円弧が多い複雑な検索用描画図の場
合には各線分について同様に一致率γ３，γ４，・・
・，γｍ（ｍは線分ベクトルおよび曲線の数の和）を求
める。

【００７０】・ステップＳ１０−２；次に、部分ベクト
ルの一致率γ１，γ２，γ３，・・・，γｍの自乗平均
を求めて部分画像の輪郭一致率Γとし、ｆ番目の部分画
像とｊ番目の検索用描画図との一致率Γｆｊが閾値ρを
超えているか否かを判定し、Γｆｊ≧ρの場合にはＳ１
０−３に遷移し、Γｆｊ＜ρの場合にはＳ１０−４に遷
移する。

【００７１】・ステップＳ１０−３；上記ステップＳ１
０−２でΓｆｊ≧ρの場合には輪郭類似と認識して部分
画像の部分画像番号ｆ、検索用描画図番号ｊおよび輪郭
一致率ΓｆｊをＲＡＭに一時記憶する。なお、この場
合、輪郭一致率Γ１１，Γ１２，・・・，Γｆｊ，・・
・，Γｋｊの中から一致率の高い順に所定数の輪郭一致
率（但し、輪郭一致率が閾値ρ以上のものが所定数に満
たない場合には輪郭一致率が閾値ρ以上のもののみ）を
抽出し、対応する部分画像番号および検索用描画図番号
ｊと共にＲＡＭに記憶される（所定数以上の場合には一
致率が低いものからリジェクトしていく）。

【００７２】なお、本実施例では、線分長±８０％（＝
誤差±２０％）、方向±８０％（＝誤差±２０％）の範
囲を類似とし、閾値ρを０．６４（０．８×０．８＝
０．６４）としたがこれに限定されない。

【００７３】・ステップＳ１０−４；そして、ｋ個の部
分画像とｊ番目の検索用画像の輪郭一致率Γ１１，Γ１
２，・・・，Γｆｊ，・・・，Γｋｊを得るまで上記Ｓ
１０−１〜Ｓ１０−３の動作を繰り返し、ｋ個の部分画
像について上記処理が終るとＳ１０−５に遷移する。

【００７４】また、本実施例では上述した方法により輪
郭一致率を求め類似、非類似を判定（認識）しているが
これに限定されず、検索用描画図と記録画像の部分画像
の輪郭イメージそのものを抽出して比較するようにして
もよく、また、公知の輪郭認識方法を用いてもよい。

【００７５】・ステップＳ１０−５；ステップＳ２でＲ
ＡＭに記憶された指定色データ（コード）と輪郭および
輪郭内部との対応づけの結果（アイコン９２が選択され
たていたか否か（色指定があった場合））を調べ、色指
定がされていた場合にはＳ１０−６に遷移し、色指定が
されていなかった場合にはＳ１０−１１に遷移する。

【００７６】・ステップＳ１０−６；画像認識部５は上
記ステップＳ１０−４でＲＡＭに記憶された部分画像番
号の部分画像について、ステップＳ６−３でＲＡＭに記
憶したｊ番目の検索用描画図の色特徴データとステップ
Ｓ８−３でＲＡＭに記憶した色特徴データとを比較して
色彩一致率ＲＧＢΓｊを求める。

【００７７】具体的には、本実施例ではステップＳ６−
３およびステップＳ８−３で述べたようにｊ番目の検索
用描画図の色特徴を当該検索用描画図に含まれる画素数
とそれぞれの色画素Ｒ，Ｇ，Ｂとの比率（ｃ１ｊ、ｃ２
ｊ、ｃ３ｊ）：（ｊ＝１〜ｎ）とし、各部分画像の色特
徴を当該部分画像に含まれる画素数とそれぞれの色画素
Ｒ，Ｇ，Ｂとの比率（Ｃ１ｆ、Ｃ２ｆ、Ｃ３ｆ：（ｆ＝
ｊ１〜ｋ））としているので、ｆ番目の部分画像ｔとｊ
番目の検索用描画図のＲ，Ｇ，Ｂの色特徴一致率、 Ｒγｆｊ＝Ｃ１ｆ／ｃ１ｊ、Ｇγ＝Ｃ２ｆ／ｃ２ｊ、Ｂ
γ＝Ｃ３ｆ／ｃ３ｊ を求め、Ｒγｆｊ，ＧγｆｊおよびＢγｆｊの最小自乗
平均をその部分画像ｆとｊ番目の検索用描画図の色彩一
致率ＲＧＢΓｆｊとする。

【００７８】・ステップＳ１０−７；次に、色彩一致率
が極端に低い場合にその部分画像番号等をＲＡＭから削
除する（すなわち、部分画像をリジェクトする）ため
に、色彩一致率ＲＧＢΓｆｊと閾値ρ’を比較し、ＲＧ
ＢΓｆｊ＜ρ’のときにはＳ１０−８に遷移し、ＲＧＢ
Γｆｊ≧ρ’のときにはＳ１０−８に遷移する。

【００７９】・ステップＳ１０−８；ＲＡＭに記憶した
輪郭一致率Γのうちからその部分画像番号に対応する輪
郭一致率を削除してＳ１０−１０に遷移する。

【００８０】例えば、図９で（ｂ）の検索用描画図５０
３の色彩は茶色成分が多く、（ｃ）の部分画像５０３’
は灰色成分が多くて色彩が異なり色彩一致率ＲＧＢγが
閾値ρ’以下となるので非類似としてリジェクトされる
（この場合、仮に、検索用描画図（部分画像）５０３と
部分画像５０３’の輪郭一致率が高くても部分画像５０
３’は非類似としてリジェクトされる。なお、本実施例
ではρ’＝０．５としたがこれに限定されない。 ・ステップＳ１０−９；色彩一致率ＲＧＢΓｆｊをその
部分画像番号ｆと対応づけてＲＡＭに記憶する。

【００８１】・ステップＳ１０−１０；そして、ｋ個の
部分画像とｊ番目の検索用画像の色彩一致率ＲＧＢΓ１
１，ＲＧＢΓ１２，・・・，ＲＧＢΓｆｊ，・・・，Ｒ
ＧＢΓｋｊを得るまで上記Ｓ１０−６〜Ｓ１０−８また
はＳ１０−９の動作を繰り返し、ｋ個の部分画像につい
て上記処理が終るとＳ１０−１１に遷移する。

【００８２】・ステップＳ１０−１１；ＲＡＭに確保さ
れた位置指定フラグを調べ、ｊ番目の検索用描画図に対
応する位置指定フラグがオンの場合には位置指定ありと
してＳ１０−１２に遷移し、オフの場合には位置指定な
しとしてＳ１０−１７に遷移する。

【００８３】・ステップＳ１０−１２；画像認識部５は
ステップＳ６−４でＲＡＭに記憶した検索用描画図の中
心座標と、ステップＳ８−４でＲＡＭに記憶した各部分
画像の中心座標を比較し、ｆ番目の部分画像との位置一
致率ＸΓｆｊを求める。位置一致率は、本実施例では座
標値の自乗平均の比率（すなわち、原点からの距離の比
率）としている。

【００８４】例えば、図１０（ａ）の検索用描画図７０
１の中心座標（ａ，ｂ）と図１０（ｃ） の部分画像７
０１’の位置一致率は、 ＸΓ７０１’＝（ａ²＋ｂ²）^1/2／（ｃ²＋ｄ²）^1/2 で与えられ、検索用描画図７０１の中心座標（ａ，ｂ）
と図１０（ｄ）の部分画像７０１”の位置一致率は、 ＸΓ７０１”＝（ａ²＋ｂ²）^1/2／（ｅ²＋ｆ²）^1/2 で与えられる。

【００８５】・ステップＳ１０−１３；位置一致率ＸΓ
ｆｊと閾値ρ”を比較し、ＸΓｆｊ＜ρ”のときにはＳ
１０−１４に遷移し、ＸΓｆｊ≧ρ”のときにはＳ１０
−１５に遷移する。

【００８６】・ステップＳ１０−１４；位置一致率ＸΓ
ｆｊが閾値ρ”以下の場合にはその部分画像番号ｆに関
連する輪郭一致率および色彩一致率等をＲＡＭから削除
して（すなわち、部分画像をリジェクトして）Ｓ１０−
１６に遷移する。

【００８７】例えば、図１０で閾値をＸρ（＝０．８）
としたとき、図１０（ｃ）の部分画像７０１’は位置が
ほぼ一致（ＸΓ７０１’＞ρ”）しているが、図１０
（ｄ）の部分画像７０１”は位置が異なる（ＸΓ７０
１”＜ρ”）ので部分画像はリジェクトされる（結果と
して、部分画像７０１”を含む記録画像は検索用描画図
７０１の認識対象外となる）。

【００８８】・ステップＳ１０−１５；位置一致率ＸΓ
ｆｊが閾値ρ”以上の場合にはその位置一致率ＸΓｆｊ
を部分画像番号ｆに対応づけてＲＡＭに記憶する。

【００８９】・ステップＳ１０−１６；ｋ個の部分画像
とｊ番目の検索用画像の位置一致ＸΓ１１，ＸΓ１２，
・・・，ＸΓｆｊ，・・・，ＸΓｋｊを得るまで上記Ｓ
１０−１２〜Ｓ１０−１４またはＳ１０−１５の動作を
繰り返し、ｋ個の部分画像について上記処理が終るとＳ
１０−１７に遷移する。

【００９０】・ステップＳ１０−１７；検索用描画図の
全てについて一致率による比較が終るまで上記ステップ
Ｓ１０−１〜Ｓ１０−１６を繰り返し、検索用描画図の
全てについて比較が終るとＳ１０−１７に遷移する。

【００９１】・ステップＳ１０−１８；ここではＲＡＭ
に記憶されている部分画像番号の数（＝類似部分画像の
数）を調べ、それが０の場合にはＳ１０−６に遷移す
る。

【００９２】・ステップＳ１０−１９；また、ＲＡＭに
記憶されている部分画像番号の数が１以上の場合には、
下記ａ〜ｄのいずれかのケースにより総合一致率を求め
る。 ａ：色指定および位置指定がない場合にはＲＡＭに記憶
されている輪郭一致率の自乗平均値を総合一致率Ξγと
する。 ｂ：色指定があった場合にはＲＡＭに記憶されている輪
郭一致率および色彩一致率の自乗平均値を総合一致率Ξ
γとする。 ｃ：位置指定があった場合にはＲＡＭに記憶されている
輪郭一致率および位置一致率の自乗平均値を総合一致率
Ξγとする。 ｄ：色彩指定および位置指定があった場合にはＲＡＭに
記憶されている輪郭一致率，色彩一致率および位置一致
率の自乗平均値を総合一致率Ξγとする。

【００９３】・ステップＳ１０−２０；下記ａ〜ｄのい
ずれかのケースにより閾値を決定し、総合一致率Ξγと
閾値を比較し、総合一致率Ξγ＜閾値の場合にはこの画
像をリジェクトしてＳ１０−２２に遷移し、総合一致率
Ξγ≧閾値の場合にはＳ１０−２１に遷移する。

【００９４】ａ：色指定および位置指定がない場合には
閾値＝ρ（輪郭一致率の閾値） ｂ：色指定があった場合には閾値＝ρ’（色彩一致率の
閾値） ｃ：位置指定があった場合には閾値＝ρ”（位置指定の
閾値） ｄ：色彩指定および位置指定があった場合には閾値ρ，
ρ’，ρ”のうちの最大のものを閾値とする。 なお、本実施例では閾値ρ，ρ’，ρ”のうちの最大の
ものを閾値としたがこれに限定されず、ρ，ρ’，ρ”
のいずかかか新たな閾値Ρを閾値としてもよい。

【００９５】・ステップＳ１０−２１；総合一致率Ξγ
が閾値を超える場合にその画像を候補画像として、その
画像番号をＲＡＭに記憶する。

【００９６】ステップＳ１０−２２；ＲＡＭに記録され
ている記録画像の特徴データについて上記ステップＳ１
−１〜Ｓ１−５の認識処理を繰り返し、全ての記録画像
について認識処理が終了するとＳ１１に遷移する。

【００９７】ステップＳ１１：（候補画像の表示方法決
定） ＲＡＭに記憶されている候補画像の画像番号を調べ、そ
れが１個の場合にはＳ１２に遷移する。また、候補画像
が複数の場合にはＳ１３に遷移する。候補画像がない場
合にはＳ１４に遷移する。

【００９８】ステップ１２：（１フレームの大きさの検
索画像表示） 当該画像番号の画像データを画像記録用メモリ７から読
み出して、画像再生部８の第１の伸張部で１フレーム分
の画像データに伸張して検索画像イメージを再生して表
示部９に送って液晶ディスプレイ１０に表示する。この
場合、図８（ｃ）の例に示すように検索用描画図による
認識対象となった部分画像（５０１’、５０２’、５０
３’）を囲む枠線を表示するようにしてもよい。

【００９９】ステップＳ１３：（検索画像マルチ表示） 候補画像が複数個の場合には検索画像番号の画像データ
を順次画像記録用メモリ７から読み出して、画像再生部
８の画像縮小部で画像を縮小して表示部８に送り検索画
像イメージを再生して液晶ディスプレイ１０にマルチ表
示する。この場合、図８（ｄ）に示すように候補画像が
２〜４個の場合には縮小サイズを１／４として表示し、
５〜９個の場合には縮小サイズを１／９、１０〜１６個
の場合には縮小サイズを１／１６、といったように自動
的に縮小サイズを選択する。

【０１００】また、縮小サイズを１／４（または１／
９）に固定し、候補画像が多くて１画面のマルチ表示で
は間に合わない場合には、次の画面にスクロールできる
ようにしてもよい。

【０１０１】マルチ表示された画像の中からユーザが所
望の画像を指またはタッチペンでポイントするとＳ１２
に遷移してその画像を１フレームの大きさの画像として
表示する。

【０１０２】また、候補画像が複数個の場合にマルチ表
示せず、１フレーム分のサイズの画像として１つずつ表
示するようにしてもよい。この場合は、総合一致率の大
きな画像から並べて（総合一致率で逆順ソートして）お
き、ユーザのポイントにより順次、スクロール表示可能
にすることが望ましい。

【０１０３】ステップＳ１４：（検索画像なしのメッセ
ージ表示） 候補画像がなかった場合にはその旨のメッセージを表示
して検索用描画図の入力（すなわち、描画のやり直し）
を促す。上記画像検索方法によれば、手書きの描画図と
記録画像の類似性を認識して画像記録メモリをいわゆる
曖昧検索するので、早送りの手間やキーワード入力の煩
わしさなしに画像記録メモリに記録された大量の画像の
中からユーザのイメージに合った画像を探し出すことが
できる。また、色彩や位置を検索要素とした場合には、
検索の精度が向上する。

【０１０４】なお、図３のフローチャートでは全ての描
画図および記録画像の特徴抽出処理（Ｓ６〜Ｓ８）を行
なった後にまとめて画像認識処理（Ｓ１０）を行なうよ
うにしたが、これに限定されず、例えば、画像認識処理
中に順次必要に応じて特徴抽出処理を行なうようにして
もよい（すなわち、図３のフローでＳ６〜Ｓ８を行なわ
ず、Ｓ６〜Ｓ８の処理をＳ１０の中で行なうようにす
る。

【０１０５】また、図３のフローチャートでは画像認識
を描画図および記録画像の特徴要素の比較結果により認
識を行なうようにしたが、これ以外の方法（例えば、描
画図と記録画像のイメージ同士の比較処理や、公知の方
法）により画像認識を行なってもよい（この場合、Ｓ６
〜Ｓ８の特徴抽出処理は行なわない）。

【０１０６】［実施例１−２］ 描画入力による画像検
索動作（予め抽出した画像の特徴要素を用いた例） 上記実施例１では描画図による検索のたびに描画図と記
録画像の特徴を抽出して画像認識を行なったが、本実施
例は記録画像の特徴を（記録画像の記録時等に）予め抽
出して画像記録用メモリ７に確保した特徴リストに記録
しておき、描画検索の際には描画図の特徴だけを抽出し
て、特徴リストに登録されている記録画像の特徴とを比
較して画像認識を行なう例である。

【０１０７】図１２は記録画像の特徴リストの一実施例
の構造図であり、記録画像の特徴リスト８０は記録画像
の画像番号を格納する画像番号欄８１と、当該画像の部
分画像の特徴データを格納する部分画像特徴欄８２−
１，８２−２，・・・，８２−ｎを備えている。また、
各部分画像特徴欄８２は複数の輪郭特徴（例えば、線分
の長さおよび方向によって規定される特徴ベクトル値，
部分曲線の係数等や円弧の曲率半径）や、色彩特徴（例
えば、部分画像の画素数に対する色画素（Ｒ，Ｇ，Ｂ）
比率）や、部分画像の中心座標（ｘｉ，ｙｊ）を格納す
る細分欄を有している。

【０１０８】これら特徴値は画像記録用メモリ７への記
録画像の入力時（撮像や外部画像処理装置からの受信画
像の記録時）に自動的に格納することができる。図１３
は特徴リストへの画像の特徴データ登録処理時の動作例
を示すフローチャートである。図１３のステップＴ１で
は、撮像がなされた場合や（画像検索装置がデジタルカ
メラのような撮像部を備えている場合）或いは外部画像
処理装置からの画像を受信した場合のように画像データ
（通常は圧縮されている）の入力があるとそれを画像記
録用メモリ７に記録する（画像データが圧縮されていな
い場合には圧縮処理を施して記録する）。次に、ステッ
プＴ２では当該画像の特徴抽出処理を行なう。ここでの
特徴抽出処理はＤＲＡＭ６に記憶されている入力画像デ
ータについて行なうが、前述した図３の画像の特徴抽出
処理（ステップＳ８（図５のＳ８−１〜Ｓ８−５））と
同様の手順によって行なうことができる。但し、本実施
例では色特徴および位置特徴を自動的に特徴リスト８０
に登録するので、図５のステップＳ８−３での色指定の
有無の判定およびステップＳ８−４での位置指定の有無
の判定動作は行なわない（Ｔ２ではこれらの手順を削除
する）。

【０１０９】ステップＴ３では上記ステップＴ２で得た
特徴データを各部分画像毎に部分画像特徴欄８２−１，
８２−２，・・・，８２−ｉに格納すると共に画像番号
欄８１に当該画像の画像番号を格納して、１画像分の特
徴データを登録する。

【０１１０】ステップＴ４では入力画像の数だけ上記ス
テップＴ１〜Ｔ３を繰り返す。

【０１１１】図１４は特徴リストを備えた画像検索装置
の画像検索動作例を示すフローチャートである。図１４
のステップＵ１ではユーザによる描画入力、色指定（任
意）、位置指定（任意）等の描画入力処理を行なう。な
お、描画入力処理は前述した図３のステップＳ１〜Ｓ５
と同様の手順によって行なうことができる。ステップＵ
２では、ユーザが描いた検索用描画図の特徴抽出処理を
行なう。なお、特徴抽出処理は前述した図３の画像のス
テップＳ６（＝図４のステップＳ６−１〜Ｓ６−５）と
同様の手順によって行なうことができる。ステップＵ３
では、処理速度を向上させるために画像記録用メモリ７
の特徴リスト８０をＲＡＭに一時記憶する。ステップＵ
４ではステップＵ２で抽出した検索用描画図の特徴と特
徴リスト８０に登録された各画像の特徴とを比較して画
像認識処理を行ない、候補画像を求める。なお、画像認
識処理は前述した図３の画像のステップＳ１０（＝図６
のステップＳ１０−１〜Ｓ１０−２２）と同様の手順に
よって行なうことができる。

【０１１２】ステップＵ５では候補画像の数に応じて画
像表示処理を行なう。なお、画像表示処理は前述した図
３の画像のステップＳ１１〜Ｓ１４と同様の手順によっ
て行なうことができる。上述したように、本実施例では
描画図による検索時には記録画像の特徴抽出を行なわな
いので高速検索が可能となる。また、色彩や位置を検索
要素とした場合でも高速検索ができるので、高速且つ精
度の高い検索が可能となる。

【０１１３】＜実施形態（２）＞ 一次抽出画像による
画像検索 本実施形態では、画像検索装置は前述した実施形態１と
同様に指やタッチペン３Ａ等で手書き入力した検索用描
画図の特徴要素と記録画像の特徴要素との比較により特
徴要素の一致度の高い記録画像を候補画像として抽出す
るが、認識精度の高精度化と検索速度の高速化のため
に、実施形態１のように全ての画像について特徴要素の
認識を行なわず、検索用描画図により検索された画像の
一つを用いてその特徴要素と記録画像の特徴要素を比較
して、一致率の高い画像を候補画像とし、表示した候補
画像の中からユーザがイメージした画像を選択すること
によりキーワード入力やコマ送りなしに所望の画像を検
索する。

【０１１４】なお、本実施形態では画像検索装置の回路
構成は説明上、図２の例と同様とし、 比較する特徴要
素についても実施形態（１）の例と同様とするがそれら
に限定されない。また、その他の説明図（図１，図７〜
図１０、図１２，図１３）についても同様とする。

【０１１５】［実施例２−１］図１５は一次抽出画像に
よる画像検索例の説明図である。図１５で、（ａ）はユ
ーザによって手書き入力された検索用描画図５０１、５
０３の例であり、（ｂ）は検索用描画図５０１、５０３
の特徴要素を基に検索された画像（画像１０５）の例で
あり、（ｃ）は画像１０５はユーザの所望の画像ではな
かったが、検索画像に類似した部分像５０１’、５０
３’があるのでユーザが検索用画像として指定した結
果、検索された複数の画像（画像１５１〜１５４）をマ
ルチ表示した例である。

【０１１６】図１６は一次抽出画像を用いた画像検索装
置の動作例を示すフローチャートである。 ステップＶ１：（描画入力処理） ここではユーザによる描画入力、色指定（任意）、位置
指定（任意）等の描画入力処理を行なう。なお、描画入
力処理は前述した図３のステップＳ１〜Ｓ５と同様の手
順によって行なうことができる。 ステップＶ２：（検索用描画図の特徴抽出処理） 次に、ユーザが描いた検索用描画図の特徴抽出処理を行
なう。なお、特徴抽出処理は前述した図３の画像のステ
ップＳ６（＝図４のステップＳ６−１〜Ｓ６−５）と同
様の手順によって行なうことができる。 ステップＶ３：（画像データの簡易伸張） 上記ステップＶ２での検索用描画図の特徴抽出処理が終
了したあと、制御部４は画像記録用メモリ７に記録され
ている１画像分の画像データ（圧縮画像データ）を読み
出して画像再生部８の第２の伸張部で圧縮画像データを
圧縮前の画像と同じ大きさで且つ元の画像より粗密度の
画像に伸張してＤＲＡＭ６に記憶する。

【０１１７】ステップＶ４：（画像データの特徴抽出処
理） 次に、ＤＲＡＭ６に記憶された伸張済み画像データにつ
いて特徴抽出処理を行なう。この特徴抽出処理は前述し
た図３の画像の特徴抽出処理（ステップＳ８（図５のＳ
８−１〜Ｓ８−５））と同様の手順によって行なうこと
ができる。

【０１１８】ステップＶ５：（記録画像の特徴抽出繰り
返し） 記録画像の全てについて特徴抽出が終るまで上記ステッ
プＶ３，Ｖ４を繰り返す。

【０１１９】ステップＶ６：（一次抽出処理） ステップＶ２で抽出した検索用描画図の特徴とステップ
Ｖ４で抽出した画像の特徴とを比較して画像認識処理を
行ない、候補画像を求める。なお、画像認識処理は前述
した図３の画像のステップＳ１０のうち、図６のステッ
プＳ１０−１〜Ｓ１０−２１までと同様の手順によって
行なうことができる（ステップＳ１０−２２はこの場合
不要）。

【０１２０】ステップＶ７：（画像終了判定） 上記Ｖ６で候補画像がみつかった場合にはそれを一次抽
出画像としてＶ９に遷移する。また、候補画像がみつか
らなかった場合には記録画像の終了判定を行ない、記録
画像がまだある場合にはＶ６に戻ってつぎの候補画像の
認識処理を行なう。

【０１２１】ステップＶ８：（一次抽出画像がない場
合） 上記ステップＶ７で記録画像が終了したと判定された場
合は一次抽出画像がみつからなかったものと判定して
「一次抽出画像がない」旨のメッセージを液晶ディスプ
レイ１０に表示して描画図の再入力を促しＶ１に戻る。

【０１２２】ステップＶ９：（一次抽出画像の表示） ステップＶ６で抽出した候補画像をユーザに確認させる
ために、１フレーム分の大きさに伸張して液晶ディスプ
レイ１０に表示する。また、この際画面上に確認用アイ
コン（ＯＫアイコンとＮＯアイコン（図示せず））を表
示する。

【０１２３】ステップＶ１０：（一次抽出画像の確認） ユーザがＯＫアイコンをポイントすると、表示された一
次抽出画像を検索用画像として用いるものとしてＶ１１
に遷移する。また、ＮＯアイコンがポイントされると次
の抽出画像をヒットするためにＶ６に戻る。

【０１２４】ステップＶ１１：（一次抽出画像による画
像認識処理） ステップＶ６で抽出した一次抽出画像の特徴データはス
テップＶ４で求めてあるので、ＲＡＭに記憶されている
一次抽出画像の特徴データとステップＶ４で抽出した画
像の特徴とを比較して画像認識処理を行ない、候補画像
を求める。なお、画像認識処理は前述した図３の画像の
ステップＳ１０（＝図６のステップＳ１０−１〜Ｓ１０
−２２まで）と同様の手順によって行なうことができ
る。但し、検索用描画図の特徴データの代りに一次抽出
画像の特徴データを用いる。

【０１２５】ステップＶ１２：（候補画像表示処理） 記録画像の検索が全て終ると、候補画像の数に応じて画
像表示処理を行なう。なお、画像表示処理は前述した図
３の画像のステップＳ１１〜Ｓ１４と同様の手順によっ
て行なうことができる。

【０１２６】上記方法によれば、２枚目以降の検索画像
は手書きされたイメージ（描画図）よりもあいまいでな
い（すなわち、より正確な）像をもとにした特徴データ
を用いて検索できるので、実施形態１（実施例１−１）
の場合よりも検索精度が向上する。また、検索スピード
も早くなる。なお、上記ステップＶ９およびＶ１０は省
略してもよい。

【０１２７】［実施例２−２］なお、本実施形態で実施
例１−２のように予め抽出した画像特徴を用いて認識処
理を行なうようにすることもできる。この場合は予め記
録画像の特徴を登録した特徴リスト（図１２）を画像記
録用メモリ７に記録しておき、上記図１６のステップＶ
１０を図１７のステップＶ１０−１、Ｖ１０−２で置き
換えればよく、さらにステップＶ３〜Ｖ５が不要となる
ので検索精度が向上するだけでなく、高速検索が可能と
なる。

【０１２８】図１７に一次抽出画像および予め抽出した
画像特徴を用いて認識処理を行う場合のフローチャート
を示す。図１７ではステップＶ１０−１で、処理速度を
向上させるために画像記録用メモリ７の特徴リストをＲ
ＡＭに一時記憶する。ステップＶ１０−２ではステップ
Ｖ６で抽出した一次抽出画像の特徴と特徴リストに登録
された各画像の特徴とを比較して画像認識処理を行な
い、候補画像を求める。なお、画像認識処理は前述した
図３の画像のステップＳ１０（＝図６のステップＳ１０
−１〜Ｓ１０−２２）と同様の手順によって行なうこと
ができる。また、その他のステップの動作は図１６の場
合と同様である。

【０１２９】［実施例２−３］上記実施例では手書の検
索用描画図を用いて記録画像から候補画像を抽出し、そ
れを用いてさらに記録画像から候補画像を検索したが、
早送り等の公知の画像検索方法を含む検索方法によって
得た画像を用いて記録画像を検索することもできる。す
なわち、図１６または図１７のステップＶ１で早送り等
の公知の検索方法を含む検索を行ない、ステップＶ２で
検索された画像の特徴抽出処理を行なうようにし、ステ
ップＶ６〜Ｖ９を削除する。なお、特徴抽出処理は前述
した図３の画像の特徴抽出処理（ステップＳ８（図５の
Ｓ８−１〜Ｓ８−５））と同様の手順によって行なうこ
とができる。これにより、正確で迅速な画像検索が実現
できる。

【０１３０】［実施例２−４］ 不要部分の消去機能の
付加 また、図１６、図１７で検索用に用いる一次抽出画像が
人物の場合（例えば、他の記録画像に記録されている人
物と同一人物で顔は同じであっても服装や姿勢が異なる
ことが多い、このような場合には認識効率が低下するこ
とが予想されるので、変化の少ない特定の部分（人物の
場合には顔）だけを検索用画像とすると認識効率が向上
し、しかも、検索に不都合な点は生じない。

【０１３１】そこで、上記ステップＶ８で表示される一
次抽出画像のうちの不要な像を消すことができるよう
に、消去選択ボタンを設けて（或いは画面に消去指定ア
イコンを表示して）、ボタン操作をしたあと（或いはア
イコンをポイントしたあと）、カーソルまたは指やタッ
チペンで消去範囲を指定するとその部分が消去できるよ
うにする。これにより不要な部分の特徴要素を検索に用
いないので、検索速度が更に向上するとともに、検索精
度がより向上する。

【０１３２】＜実施形態（３）＞本実施形態では撮像し
た画像を用いて記録画像を検索する。また、画像検索装
置としてデジタルカメラのように撮像部および表示部を
有する撮像装置を用いる。すなわち、撮像の特徴要素と
記録画像の特徴要素との比較により特徴要素の一致率の
高い記録画像を候補画像とし、表示された候補画像の中
からユーザがイメージした画像（図１（ｃ）の例では画
像１１１）を選択することにより、キーワード入力やコ
マ送りなしに所望の画像を検索可能とする。なお、本実
施形態では比較する特徴要素についても実施形態（１）
の例と同様とするが、それらに限定されない。

【０１３３】［回路構成例］図１８は、本発明を適用し
たデジタルカメラの回路構成例を示すブロック図であ
り、デジタルカメラ２００は、撮像部１１、操作部１
２、制御部１３、画像認識部１４、ＤＲＡＭ１５、画像
記録用メモリ１６、画像処理部１７，表示部１８、液晶
ディスプレイ（ＬＣＤ）１９を備えている。

【０１３４】撮像部１１は撮像レンズやレンズ駆動機
構、絞り機構等の光学系と撮像レンズを介して集光され
た光学像を電気信号に変換する撮像素子と、撮像素子駆
動部および得られた電気信号をデジタルデータに変換す
る信号変換部を有している。

【０１３５】操作部１２は電源スイッチや処理モード選
択ボタン等の他、シャッターボタン等の撮像用ボタンま
たスイッチほかを備えている。ユーザが操作部１２のス
イッチやボタン等を操作すると操作内容に対応した電気
信号（コード）が制御部１３に送られる。これにより、
ユーザは制御部１３にデジタルカメラ２００の起動や処
理動作上必要な指示を与えることができる。

【０１３６】制御部１３はＣＰＵ，プログラム格納用メ
モリ（ＲＯＭ）および一時記憶用メモリ（ＲＯＭ）（図
示せず）を備え、デジタルカメラ２００全体の動作制御
と、各処理モードでの処理の実行制御、例えば、撮像や
画像の記録、再生、表示の他、本発明の画像検索処理を
含む各種処理モードの実行制御を行なう。なお、画像検
索処理モードではプログラム格納用メモリからＲＡＭに
画像検索プログラムを一時的にロードし、画像検索処理
の実行を制御する。

【０１３７】画像認識部１４は、画像検索処理モードで
撮像した画像の特徴要素の抽出を行なってＲＡＭに記憶
し、記録画像の特徴要素との一致度を調べて認識処理を
行なう。

【０１３８】ＤＲＡＭ１５は撮像部１１によって取込ま
れた画像データの一時記憶や、再生された画像データの
一時記憶、画像認識等の際の画像データの記憶等の他、
処理に作業用バッファとして用いられる。

【０１３９】画像記録用メモリ１６はフラッシュメモリ
或いはメモリカード等の記録媒体からなり、圧縮処理さ
れた撮影画像データが記録される。また、撮影画像より
サイズや記録密度の小さな簡易画像（サムネイル画像）
データを記録することもできる。また、予め記録画像の
特徴要素を用いて画像検索を行なうようにした場合には
図１２に示したような特徴リストを記録する領域が確保
される。また、画像データに画像管理を行なうようにし
た場合には画像データに加えて画像データをファイル単
位に管理する画像ファイル管理リスト領域が確保され
る。

【０１４０】画像処理部１７は、画像データ伸張／デー
タ圧縮部、カラープロセッサインターフェイス、通信イ
ンターフェイス、表示制御用インターフェイス等の回路
で構成され、ＣＰＵによって動作制御されてデジタルカ
メラ２００の主要な動作、例えば、画像の取込み、撮像
処理、画像データの圧縮、圧縮データの記録、再生（圧
縮画像データの取り出し、圧縮画像データの伸張）等の
画像処理動作を実行する。

【０１４１】また、画像データ伸張／圧縮部は画像デー
タを圧縮する画像圧縮部と、図２の画像再生部と同様に
圧縮画像データを圧縮前の画像と同じ大きさで且つ同じ
密度の画像に伸張する第１の伸張部と、圧縮画像データ
を圧縮前の画像と同じ大きさで且つ元の画像より粗密度
（密度が粗いことをいう）の画像に伸張する第２の伸張
部と、圧縮画像データを元の画像より小さなサイズの画
像に伸張且つ縮小して再生する画像縮小部を有してい
る。

【０１４２】なお、マルチ表示するように構成した場合
で、デジタルカメラ２００がメモリ容量が十分に大きい
画像記録用メモリを備えている場合には、上述のような
画像縮小部を設けることなく画像の記録時に予め画像を
複数のサイズに縮小して各画像と関連づけて記憶させて
おき、表示の際に必要なサイズの縮小画像を抽出するこ
ともできる。

【０１４３】表示部１８はビデオエンコーダおよびＶＲ
ＡＭ等の画像メモリを有し、画像データや描画入力され
たデータをイメージデータに変換してＶＲＡＭにビット
マップ展開して、液晶ディスプレイ（ＬＣＤ）１９上に
画像表示する。

【０１４４】［実施例３−１］図１９は撮影画像による
画像検索例の説明図である。図１９で、（ａ）に示す画
像１９１は、１年前にデジタルカメラ２００で撮影した
子供（幼児）の画像を記録画像の中から検索するため
に、検索用画像として撮像した幼児の画像である。

【０１４５】デジタルカメラ２００で幼児を撮像した
後、処理モードを画像検索処理モードにすると、いま撮
った乳児の画像１９１の特徴要素を抽出して記録画像の
特徴要素と比較し、認識処理する。（ｂ）に示す子供の
画像１９２と（ｃ）に示す母親と一緒の画像１９３は乳
児の画像１９１の特徴要素をもとに検索され、表示され
た画像の例である。

【０１４６】図２０は撮影画像によるデジタルカメラの
画像検索動作例を示すフローチャートである。

【０１４７】ステップＷ１：（撮像） ＲＥＣモード（撮像／記録モード）で検索に用いる画像
としたい被写体を撮像する。すなわち、ユーザが操作部
２のシャッターボタンを押すと、被写体像が撮像部１１
によって電気信号に変換され、被写体像が画像データと
してＤＲＡＭ１５に取込まれる。ＤＲＡＭ１５に取込ま
れた画像データは画像処理部１７でカラー処理の画像処
理を施されて映像信号として表示部１８に送られて液晶
ディスプレイ１９に静止画表示される。

【０１４８】ステップＷ２：（画像検索処理モードの選
択） ここで、ユーザが操作部１２の機能選択ボタンに割当て
られた画像検索処理モード選択ボタン（画面に画像検索
処理モード選択アイコンを表示してもよい）を操作する
と、画像検索処理モードとなりステップＷ３に遷移する
（所定時間内に画像検索処理モード選択がなされない場
合には画像記録処理に移行する）。なお、画像検索処理
モードの選択をステップＷ１で行ない、撮像をステップ
Ｗ２で行なうようにしてもよい。この場合、ステップＷ
２で撮像を行なった後に直ちにステップＷ３に移行して
もよいが、撮像後、所定キーを操作するとステップＷ４
に移行するようにしてもよい。

【０１４９】ステップＷ３：（撮像の特徴抽出処理） 次に、今撮像した画像の特徴抽出処理を行なう。なお、
撮像した画像の特徴抽出処理は前述した図３の画像のス
テップＳ１０（＝図５のステップＳ８−１〜Ｓ８−５）
までと同様の手順によって行なうことができる。但し、
ステップＳ８−３での色指定の判定およびステップ８−
４での位置指定の判定を行なわない。

【０１５０】ステップＷ４：（画像データの簡易伸張） 上記ステップＷ３での撮像の特徴抽出処理が終了したあ
と、制御部１３は画像記録用メモリ１６に記録されてい
る１画像分の画像データ（圧縮画像データ）を読み出し
て画像処理部１７の第２の伸張部で圧縮画像データを圧
縮前の画像と同じ大きさで且つ元の画像より粗密度の画
像に伸張してＤＲＡＭ１５に記憶する。

【０１５１】ステップＷ５：（画像データの特徴抽出処
理） 次に、ＤＲＡＭ１５に記憶された伸張済み画像データに
ついて特徴抽出処理を行なう。この特徴抽出処理は前述
した図３の画像の特徴抽出処理（ステップＳ８（図５の
Ｓ８−１〜Ｓ８−５））と同様の手順によって行なうこ
とができる。但し、ステップＳ８−３での色指定の判定
およびステップ８−４での位置の判定確認を行なわな
い。

【０１５２】ステップＷ６：（記録画像の特徴抽出繰り
返し） 記録画像の全てについて特徴抽出が終るまで上記ステッ
プＷ４，Ｗ５を繰り返す。

【０１５３】ステップＷ７：（撮像画像による画像認識
処理） ステップＷ３で抽出してＲＡＭに記憶した撮像画像の特
徴データとステップＷ５で抽出した記録画像の特徴とを
比較して画像認識処理を行ない、候補画像を求める。な
お、画像認識処理は前述した図３の画像のステップＳ１
０（＝図６のステップＳ１０−１〜Ｓ１０−２２まで）
と同様の手順によって行なうことができる。但し、検索
用描画図の特徴データの代りに撮像画像の特徴データを
用いるものとし、また、ステップＳ１０−５〜Ｓ１０−
１０での色指定の判定およびステップ１０−１１〜Ｓ１
０−１６での位置指定の判定を行なわない。

【０１５４】ステップＷ８：（検索画像表示処理） 記録画像の検索が全て終ると、検索された候補画像の数
に応じて画像表示処理を行なう。なお、画像表示処理は
前述した図３の画像のステップＳ１１〜Ｓ１４と同様の
手順によって行なうことができる。上記画像検索方式に
より、実施形態１，２の場合と比較してより正確な検索
ができる。また、迅速な画像検索が可能となる。

【０１５５】［実施例３−２］ 特徴リストを用いた例 また、本実施形態で実施例１−２のように予め抽出した
画像特徴を用いて認識処理を行なうようにすることもで
きる。この場合は予め記録画像の特徴を登録した特徴リ
スト（図１２）を画像記録用メモリ１６に記録してお
き、上記図２０のステップＷ７を図２１のステップＷ７
−１、Ｗ７−２で置き換えればよく、ステップＷ４〜Ｗ
６が不要となるので検索精度が向上するだけでなく、更
に高速検索が可能となる。

【０１５６】図２１に撮像画像および予め抽出した画像
特徴を用いて認識処理を行う場合のフローチャートを示
す。図２１ではステップＷ７−１で、処理速度を向上さ
せるために画像記録用メモリ１６の特徴リストをＲＡＭ
に一時記憶する。ステップＷ７−２ではステップＷ３で
抽出した一次抽出画像の特徴と特徴リストに登録された
各記録画像の特徴とを比較して画像認識処理を行ない、
検索候補画像を求める。なお、画像認識処理は前述した
図３の画像のステップＳ１０（＝図６のステップＳ１０
−１〜Ｓ１０−２２）と同様の手順によって行なうこと
ができる。また、その他のステップの動作は図２０の場
合と同様である。

【０１５７】［実施例３−３］ 不要部分の消去機能の
付加 また、図２０、図２１で検索用に用いる被写体が人物の
場合（例えば、図１９（ａ）の幼児１９１）は記録画像
に記録されている人物（例えば、図１９（ｂ）の乳児１
９２）と同一人物で顔は同じであっても服装や姿勢が異
なることが多い。このような場合には認識効率が低下す
ることが予想されるので、変化の少ない特定の部分（人
物の場合には顔）だけを検索用画像とすると認識効率が
向上し、しかも、検索に不都合な点は生じない。

【０１５８】そこで、上記ステップＷ１で表示される撮
像画像のうち不要部分を消すことができるように、消去
選択ボタンを設けて（或いは画面に消去指定アイコンを
表示して）、ボタン操作がなされると（或いはアイコン
がポイントされる）、カーソルまたは指やタッチペンで
消去範囲を指定するとその部分が消去できるようにし、
上記ステップＷ２での撮像からの特徴抽出を消去後の特
定部分（例えば、顔）から行なう。これにより不要な部
分の特徴要素を検索に用いないので、検索速度が更に向
上するとともに、検索精度がより向上する。

【０１５９】以上本発明のいくつかの実施例について説
明したが、本発明は上記実施例に限定されるものではな
く種々の変形実施が可能であることはいうまでもない。

【０１６０】

【発明の効果】以上説明したように、第１の発明の画像
検索方法および第９の発明の画像検索装置によれば、描
画したイメージと記録画像を比較していわゆる曖昧検索
を行なうので、早送りの手間やキーワード入力の煩わし
さなしに画像記録メモリに記録された大量の画像の中か
らユーザのイメージに合った画像を探し出すことができ
る。また、色彩や位置を検索要素とした場合には、検索
の精度が向上する。

【０１６１】また、第２の発明の画像検索方法および第
１０の発明の画像検索装置によれば、最初に描画のイメ
ージで記録画像を検索してから、検索で得た画像でさら
に検索を行なうので、２枚目以降の検索画像は描画され
たイメージ（描画図）よりも明確な像をもとにして検索
できるので、検索精度が向上する。また、検索スピード
も早くなる。

【０１６２】また、第３の発明の画像検索方法および第
１１の発明の画像検索装置によれば、所望の記録画像を
検索用の像として記録画像を検索するので簡単で正確且
つ迅速な画像検索が実現できる。

【０１６３】また、第４の発明の画像検索方法および第
１５の発明の電子スチルカメラによれば、撮影像で記録
画像を検索するので簡単で正確且つ撮影現場での迅速な
画像検索が実現できる。

【０１６４】また、第５の発明の画像検索方法によれ
ば、輪郭を比較要素とすることにより画像認識が容易に
なる。また、色彩および／または位置を比較要素とする
ことにより認識精度が向上する。

【０１６５】また、第６の発明の画像検索方法によれば
記録画像の比較要素を予めメモリに登録しておき、検索
時にそれを基に画像認識を行なえるので検索精度が向上
するだけでなく、より高速な検索が可能となる。

【０１６６】また、第７の発明の画像検索方法によれば
候補画像が複数ある場合にマルチ表示できるので、ユー
ザは所望の画像をマルチ表示画面から即時に選ぶことが
できる。

【０１６７】また、第８の発明の画像検索方法によれば
検索用画像のうちの検索に適した部分画像だけで検索を
行なえるので検索速度が更に向上するとともに、検索精
度がより向上する。

【０１６８】また、第１２の発明の画像検索装置によれ
ばイメージの入力を手書き入力で行なうのでイメージ入
力が簡単でユーザにイメージ入力操作上の負担を与えな
い。

【０１６９】また、第１３の発明の画像検索装置によれ
ば入力イメージ或いは画像の特徴要素と記録画像の特徴
要素を比較するので、検索精度が高い。

【０１７０】また、第１４の発明の画像検索装置によれ
ば認識結果の報知を液晶ディスプレイ等の画面への表示
により行なうので、ユーザが一見して認識結果を知るこ
とができる。また、画像検索装置による認識順位が高く
てもユーザの所望する結果でない場合や、認識順位が低
くてもユーザの所望する結果である場合があるが、認識
結果を表示することによりユーザが真に所望する結果を
得るチャンスがより増大する。

【図面の簡単な説明】

【図１】本発明の描画入力による画像検索方法の概要説
明図である。

【図２】画像検索装置の構成例を示すブロック図であ
る。

【図３】本発明の画像検索方法に基づく画像検索装置の
動作例を示すフローチャートである。

【図４】描画図の特徴抽出処理の一実施例を示すフロー
チャートである。

【図５】記録画像の特徴抽出処理の一実施例を示すフロ
ーチャートである。

【図６】画像認識処理の一実施例を示すフローチャート
である。

【図７】描画用選択画面の例を示す図である。

【図８】輪郭のみの描画入力による画像検索例の説明図
である。

【図９】色彩付描画による画像検索例の説明図である。

【図１０】描画図の位置指定による画像検索例の説明図
である。

【図１１】線分ベクトルの一例を示す説明図である。

【図１２】記録画像の特徴リストの一実施例の構造図で
ある。

【図１３】特徴リストへの画像の特徴データ登録処理時
の動作例を示すフローチャートである。

【図１４】 特徴リストを備えた画像検索装置の画像検
索動作例を示すフローチャートである。

【図１５】一次抽出画像による画像検索例の説明図であ
る。

【図１６】一次抽出画像を用いた画像検索装置の動作例
を示すフローチャートである。

【図１７】一次抽出画像および予め抽出した画像特徴を
用いて認識処理を行う場合のフローチャートである。

【図１８】本発明を適用したデジタルカメラの回路構成
例を示すブロック図である。

【図１９】撮影画像による画像検索例の説明図である。

【図２０】撮影画像によるデジタルカメラの画像検索動
作例を示すフローチャートである。

【図２１】撮影画像および予め抽出した画像特徴を用い
て認識処理を行う場合のフローチャートである。

【符号の説明】

３ 描画入力部（描画入力手段） ５，１４ 画像認識部（描画特徴抽出手段、一次画像抽
出手段、画像特徴抽出手段、画像認識手段、一次画像抽
出手段） ７，１６ 画像記録用メモリ（画像記録手段） ９，１８ 表示部（報知手段） １０，１９ 液晶ディスプレイ（報知手段） １００，２００ デジタルカメラ（電子スチルカメラ；
画像検索装置） １９１ 撮影像 ５０１，５０２，５０３，７０１ 検索用描画図（描画
図；イメージ）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/91 Ｇ０６Ｆ 15/70 ４６０Ｚ ９Ａ００１ Ｈ０４Ｎ 5/781 ５１０ 5/91 Ｊ Ｆターム(参考） 5B075 ND06 NK07 NK08 PP10 PP13 PP14 PP28 PQ02 PQ36 PQ46 PQ48 PR06 QM08 5C022 AA13 AB12 AC03 AC31 AC32 AC42 AC54 AC56 AC69 AC74 5C052 AA17 AB04 AC08 CC06 CC11 DD02 EE02 EE03 EE08 5C053 FA08 FA27 GB21 HA30 JA16 KA03 KA04 KA24 LA01 5L096 AA02 BA08 DA04 EA37 FA06 FA69 GA40 JA03 JA11 9A001 FF03 HH23 JJ71 KK42 KK62

Claims (15)

【特許請求の範囲】
1. 【請求項１】 イメージを描画し、この描画図と画像記
   録用メモリに記録された各画像とを順次比較して、類似
   度の高い記録画像を取り出して表示することを特徴とす
   る画像検索方法。
2. 【請求項２】 イメージを描画し、この描画図と画像記
   録用メモリに記録された各画像とを順次比較して得た類
   似画像の一つを検索用画像として、前記画像記録用メモ
   リに記録された各画像と比較し、類似度の高い記録画像
   を取り出して表示することを特徴とする画像検索方法。
3. 【請求項３】 画像記録用メモリに記録された画像の一
   つを検索用画像として選び、この検索用画像と前記画像
   記録用メモリに記録された各画像とを比較して、類似度
   の高い記録画像を取り出して表示することを特徴とする
   画像検索方法。
4. 【請求項４】 撮像装置において、撮影像を検索用画像
   として前記撮影像と画像記録用メモリに記録された各画
   像とを順次比較して、類似度の高い記録画像を取り出し
   て表示することを特徴とする画像検索方法。
5. 【請求項５】 前記比較は、下記ａ〜ｄのいずれかを比
   較することにより行なわれることを特徴とする請求項１
   乃至４のいずれか１項に記載の画像検索方法。 ａ：輪郭 ｂ：輪郭と色彩 ｃ：輪郭とその位置 ｄ：輪郭とその位置および色彩
6. 【請求項６】 前記画像記録用メモリに記録された各画
   像から前記ａ〜ｄのいずれかを抽出した特徴要素を予め
   メモリに登録することを特徴とする請求項４に記載の画
   像検索方法。
7. 【請求項７】 前記類似度の高い画像は、その数に応じ
   て表示サイズを縮小してマルチ表示することを特徴とす
   る請求項１乃至６のいずれか１項に記載の画像検索方
   法。
8. 【請求項８】 前記検索用画像は不要な部分を消去して
   から順次記録画像と比較することを特徴とする請求項２
   乃至４のいずれか１項に記載の画像検索方法。
9. 【請求項９】 複数の画像を記録した画像記録手段と、
   絵または図形を描画入力する描画入力手段と、 この描画入力手段により描画入力された前記絵または図
   形と前記画像記録手段に記録されている前記各画像とを
   比較して類似度の高い記録画像を得る画像認識手段と、 この画像認識手段による比較結果を報知する報知手段
   と、を有することを特徴とする画像検索装置。
10. 【請求項１０】 複数の画像を記録した画像記録手段
    と、絵または図形を描画入力する描画入力手段と、 この描画入力手段により描画入力された前記絵または図
    形と前記画像記録手段に記録されている前記各画像とを
    比較して類似画像を得る一次画像抽出手段と、 この一次画像抽出手段で得た前記類似画像と前記画像記
    録手段に記録されている前記各画像とを比較して類似度
    の高い記録画像を得る画像認識手段と、 この画像認識手段による比較結果を報知する報知手段
    と、を有することを特徴とする画像検索装置。
11. 【請求項１１】 複数の画像を記録した画像記録手段
    と、この画像記録手段に記録されている画像の一つを検
    索用画像として選択する画像選択手段と、 この画像選択手段により選択された前記検索用画像と前
    記画像記録手段に記録されている各画像とを比較して類
    似度の高い記録画像を得る画像認識手段と、 この画像認識手段による比較結果を報知する報知手段
    と、を有することを特徴とする画像検索装置。
12. 【請求項１２】 前記画像入力手段は手書き入力である
    ことを特徴とする請求項９または１０記載の画像検索装
    置。
13. 【請求項１３】 前記画像認識手段は前記描画入力手段
    により描画入力された前記絵または図形、前記一次画像
    抽出手段で得た前記類似画像、或いは前記画像選択手段
    により選択された前記検索用画像の特徴要素を抽出し、
    前記画像記録手段に記録されている各画像から抽出され
    た特徴要素と比較することを特徴とする請求項９乃至１
    １のいずれか１項に記載の画像検索装置。
14. 【請求項１４】 前記報知手段は表示手段であることを
    特徴とする請求項９乃至１１のいずれか１項に記載の画
    像検索装置。
15. 【請求項１５】 画像記録手段と表示手段を備えた電子
    スチルカメラにおいて、被写体を撮影し、撮影像を出力
    する撮影手段と、 この撮影手段から出力された前記撮影像と前記画像記録
    手段に記録された各画像とを比較して類似度の高い記録
    画像を得る画像認識手段と、 この画像認識手段による認識結果を報知する報知手段
    と、を有することを特徴とする電子スチルカメラ。