JP2008015599A - 電子機器および検索補助プログラム - Google Patents

Abstract

【課題】 画像認識によって間違った特徴情報が抽出されても、検索に先立って正確な特徴情報を取得できるようにする。
【解決手段】 特徴抽出手段は、検索対象物を含む画像データから画像認識によって検索対象物の特徴情報を抽出し、その結果を表示する。検索者は、その表示を見て画像認識が正確でない判断すると、特徴設定操作（特徴変更操作）に基づいて検索対象物の特徴情報を手動で設定することができる。この手動設定がなされない場合は、上記画像認識で抽出された特徴情報が対象物検索における検索キーとして出力され、一方、特徴設定操作がなされた場合は、該操作によって設定された特徴情報が検索キーとして出力される。出力された検索キーに基づいてデータベース検索が行われる。
【選択図】 図４

Description

本発明は、画像データ中の検索対象物に関する情報を得ることが可能な電子機器、および検索補助プログラムに関する。

例えば花を撮像した際に、得られた画像データから画像認識技術によって花の特徴を抽出し、その特徴情報を検索キーとして花データベースから花の名前などを検索し、検索結果を表示できるようにした電子カメラが提案されている（例えば、特許文献１参照）。このような検索機能をカメラに持たせることで、野山や山里を散策中に名前の知らない花を見つけた場合、その花を撮影するだけで手軽に花の名前等を知ることができる。

特開２００５−１０００１２号公報

画像認識によって画像データから花などの検索対象物の特徴情報を正確に抽出するには、画像データ中の検索対象物の占める領域を正確に特定する必要がある。しかし、例えば検索対象物の背景または前景の色合いなどによっては、検索対象物の占める領域を正確に特定できないことがあり、この場合は抽出される特徴情報も正確性を欠く。また、上記領域を正確に特定したとしても、検索対象物の向きや、形の個体差などにより、本来対象物が有する特徴を正確に抽出できないこともがある。検索キーとしての特徴が正確でないと、当然ながら正確な検索結果は得られない。

本発明に係る電子機器は、検索対象物を含む画像データから画像認識によって検索対象物の特徴情報を抽出する特徴抽出手段と、特徴情報抽出の結果を表示する表示手段と、特徴情報抽出の結果表示後、特徴設定操作に基づいて検索対象物の特徴情報を設定する特徴設定手段と、特徴設定操作がなされない場合は特徴抽出手段にて抽出された特徴情報を対象物検索における検索キーとして出力し、特徴設定操作がなされた場合は、その操作によって設定された特徴情報を検索キーとして出力する出力制御手段とを具備することを特徴とする。
上記特徴情報は、前記検索対象物の形状に関する特徴を表す情報であってもよい。また上記特徴情報は、検索対象物の形状を視覚的に表す図形として表示されるようにしてもよい。
本発明に係る他の電子機器は、表示手段と、表示手段の表示内容からいずれかを選択するための選択手段と、画像データ中の検索対象物に関する複数の上位特徴情報を表示手段に選択可能に表示し、選択手段により上位特徴情報のいずれかが選択されると、選択された上位特徴情報に応じた複数の下位特徴情報を選択可能に表示手段に表示し、選択手段により下位特徴情報のいずれかが選択されると、選択された上位特徴情報および下位特徴情報の双方で特定される特徴情報を対象物検索における検索キーとして出力する制御手段とを具備することを特徴とする。
下位特徴情報のいずれかが選択されると、選択された下位特徴情報が表す特徴を、対応する上位特徴情報に反映させて当該上位特徴情報を再表示するようにしてもよい。上位特徴情報は前記検索対象物の形状を表し、下位特徴情報は、上位特徴情報で特定される形状を更に具体化した形状を表すものであってもよい。上位および下位特徴情報は、形状を視覚的に表す図形として表示されるようにしてもよい。検索対象物の色を更に選択可能とし、選択された色を前記選択された上位特徴情報に反映させて当該上位特徴情報を再表示するようにしてもよい。
本発明に係る他の電子機器は、画像データ中の検索対象物の複数部位に対してそれぞれ色を選択するための選択手段と、選択されたそれぞれの色を対象物検索における検索キーとして出力する制御手段とを具備することを特徴とする。
選択手段は、画像データの画素を選択する画素選択手段と、選択された画素の色を選択色として設定する色設定手段とから構成されてもよい。選択されたそれぞれの色を表示する表示手段を更に設けてもよい。
上述した電子機器は、被写体を撮像して前記画像データを得る撮像手段を更に備えていてもよい。また電子機器は、出力された特徴情報を検索キーとして、データベースから検索対象物に関する情報を検索する検索手段を更に備えていてもよい。
上述した各機能は、コンピュータプログラムとして提供することができる。

本発明によれば、画像認識によって間違った特徴が抽出された場合でも、正確な特徴情報を入力して正確な検索結果を得ることが可能となる。

−第１の実施形態−
図１〜図４により本発明をデジタルカメラに適用した場合の第１の実施形態を説明する。
図１は本実施形態におけるデジタルカメラ（以下、カメラ）の制御ブロック図である。メインＣＰＵ（以下、単にＣＰＵ）１は、カメラ全体のシーケンスを制御するマイクロプロセッサである。撮像部２は、撮影レンズ２ａと、撮影レンズ２ａの透過光束を受光して光電変換する撮像素子２ｂと、撮像素子２ｂの光電変換出力に種々の画像処理を加えて画像データを生成する画像処理部２ｃと、生成された画像データが格納（記録）される画像格納部２ｄとを有する。画像表示部３は、例えば液晶モニタとその駆動回路から構成され、画像格納部２ｄに格納された画像をモニタ画面に表示する。

本実施形態のカメラは花情報検索機能を持ち、撮影した画像に含まれる花の特徴を画像認識によって抽出し、抽出した特徴情報を検索キーとして、その花の名称などをデータベースから検索して表示することができる。以下、この機能について詳述する。

図１において、タッチペン１１は、画像表示部３に表示された種々の機能を選択するための操作部材である。マーク位置読み取り部１２は、モニタ画面に組み込まれたタッチセンサであり、タッチペン１１で選択された機能を検知してＣＰＵ１に伝達する。なお、タッチペン１１に代えてカメラに設けられた操作ボタンを用いてもよい。

図鑑データベース１３は、花の形状や色などの特徴情報に花の名称や生態情報、画像等を対応づけたもので、複数種類の花をサポートする。特徴格納部１４には、ＣＰＵ１が画像認識によって抽出した花の特徴情報、あるいは検索者がタッチペン１１で選択したマークに応じた花の特徴情報が格納される。ＣＰＵ１は、所定の検索エンジンを用いることで、特徴格納部１４に格納された特徴情報を検索キーとして図鑑データベース１３からその花の名称や生態情報を検索する。検索結果は、画像表示部３に表示される。

図２，図３を参照して花情報検索の手順を説明する。
花情報検索を行うにあたり、検索者は、まず画像表示部３に検索したい花を含む画像を表示させ、次いで検索モードを設定する。検索モードは、例えばメニュー画面で設定したり、特定のボタン操作で設定することができる。表示画面に組み込まれたタッチセンサの操作でモード切り替えを行ってもよい。図２（ａ）は検索モード設定時の初期画面を示している。

なお、先に検索モードを設定してから画像を選んで表示させてもよいし、あるいは検索モード設定状態で撮影を行うと、その撮影によって得られた画像データに対して検索が実行できるようにしてもよい。また、必要に応じて画像表示部３上でズームや画角調整、色補正等の画像処理を行ってもよい。

図２（ａ）の初期画面において、検索者は、例えば選択ボタンなどの操作により、特徴を抽出する対象物が何であるかを選択する。ここでは、対象物として「花」または「葉」が選択できるものとする。「花」を選択すると、ＣＰＵ１は、画像表示部３に図２（ｂ）に示すような複数（ここでは、８個）の花形状マーク２１ａ〜２１ｈを表示するとともに、画面右上に「認識」ボタンを表示する。花形状マーク２１ａ〜２１ｈは、予め花の形状をいくつかのグループに分け、それらのグループごとに各形状的特徴を模式的に表した図形（シンボルマーク）である。

タッチペン１１で「認識」ボタンをタッチすると、ＣＰＵ１は画像の自動認識を開始する。自動認識は、所定の画像認識プログラムを用いて行われ、画像全体から花が占める領域を切り出し、切り出された領域の形と色を花の特徴情報として抽出する。図２（ｂ）の表示例では、切り出した花領域のみを残し、他はブラックアウト表示としているが、これは必ずしも行わなくてよい。

図２に示した花は、離弁かつ軸対象の花であり、花弁の色は黄色、しべ部分の色は緑色である。ＣＰＵ１は、自動認識によりこれらの形状および色を抽出し、抽出した特徴情報を特徴格納部１４に格納するとともに、複数の花形状マーク２１ａ〜２１ｈから、抽出した特徴を表すマークを選択する。離弁・軸対象の花を表す花形状マークはマーク２１ａであり、ＣＰＵ１の自動認識が正しければ、マーク２１ａが選択されることになる。

そして、自動認識結果を検索者に報知するために、ＣＰＵ１は、選択したマーク２１ａ以外のマーク２１ｂ〜２１ｈを、非選択マークとして全てグレー表示とし（図２（ｃ））、一方、マーク２１ａに関しては、その花弁部分を認識した花色（この場合は黄色）で表示し、さらに同しべ部分を認識したしべ部分の色（この場合は緑色）で表示する（図２（ｄ））。またこのとき、画面右上には、上述した「認識」ボタンに代えて「検索」ボタンを表示する。

検索者は、この図２（ｃ）の表示を見て、ＣＰＵ１がマーク２１ａを選択したことを知り、その妥当性を判断する。このように、花の形状を視覚的に表す花形状マークを用いることで、検索者は花冠のつくりに関する用語、例えば舌状花、唇状花等の用語を知らなくても、選択されたマークが妥当か否か、つまり自動認識結果が正しいか否かを即座に判断できる。

自動認識結果が正しいと判断した場合、検索者は「検索」ボタンをタッチすることで検索を開始することができる。しかし、ＣＰＵ１の認識結果は常に正しいとは限らず、例えば背景の状況によっては花部分の切り出しに不備が生じたり、切り出しが正確でも花の角度によっては正確な認識が行えないことがある。例えば図２の画像において、自動認識結果としてマーク２１ｇが選択されたとする。マーク２１ｇは、漏斗状の花を表すマークであり、画像中の花の形状とは明らかに異なる。マーク２１ｇが選択（黄色に着色表示）されたことで、検索者は自動認識が間違っていることを把握でき、検索を開始する前に花の特徴情報を変更することができる。

特徴情報の変更は、検索者が正しいと思う花形状マークをタッチペン１１でタッチするだけでよい。例えば検索者がマーク２１ａをタッチすると、ＣＰＵ１はマーク２１ｇの選択を解除し、代わりにマーク２１ａを選択する。画面上においては、マーク２１ｇをグレー表示とし、変わりにマーク２１ａを黄色と緑色で着色表示することで、選択の変更を検索者に報知する。このことは、花の形状に関する特徴情報を漏斗型から離弁・軸対象に変更したことを意味する。
上記ＣＰＵ１によって抽出された花の特徴情報（形状、色）、あるいは検索者によって変更された同特徴情報は、特徴格納部１４に格納される。

その後、検索者が「検索」部分をタッチすると、ＣＰＵ１は特徴格納部１４に格納された特徴情報を検索キーとして、図鑑データベース１３からそれらの特徴に符合する花情報を検索し、検索結果を画面に表示する。検索によって１種類の花に絞り込めない場合もあり、その場合は複数の花を候補として表示する。図３（ａ）はその表示例を示し、これは４種類の花が候補に挙がった例を示している。それぞれの花の名称と画像が表示されている。

なお、候補数が一定数を超える場合には、件数のみ、または名称のみが表示され、候補数が一定数以内であれば、画像と名称とを表示させるようにしてもよい。また、検索された全ての候補を画面のスクロールにより順次閲覧可能に表示してもよい。

検索者は、表示された画像を見て、最も検索対象の花に近いと判断した候補の画像または名称をタッチペン１１で選択する。図３（ａ）に示すように、検索に供した元の画像、および自動認識によって認識された花部分のみの画像も候補と同時に表示されるので、いちいち画面を戻さなくても対比が容易に行える。

検索者がいずれかの候補を選択すると、ＣＰＵ１は、選択された候補に関する詳細情報を表示する（図３（ｂ））。このとき表示されるのは、その植物の特徴を最も顕著に示す部位の画像と、全形画像と、説明文である。検索者は、これらの表示を見て再度妥当性を判断し、間違いないと判断したならば、「決定」の操作を行う。「決定」操作は、ボタン操作または画面のタッチ操作で行うことができる。決定操作がなされると、ＣＰＵ１は、元画像ファイルに決定された花の名称を含むファイル名称を付し、記録媒体に保存する。図３（ｃ）はこの画像ファイル保存時の表示画面を示している。

なお、花の種類ごとにフォルダを作成し、同一種類の花の画像は自動的に同一のフォルダに格納されるようにしてもよい。例えばツキミソウの画像は、「ツキミソウ」という文字列を含む名称のフォルダに自動的に格納する。これによれば、後で特定の花の画像を見たい場合に、素早くその画像を見つけることができる。

また、上記決定操作に伴い、決定された花の名称や特徴、説明などを、付随情報として対象物の画像ファイルに関連づけて保存するようにしてもよい。これは、画像ファイルとは別の添付ファイルとして保存してもよいし、画像ファイルに例えばＥｘｉｆ情報として組み込んでもよい。これによれば、後に画像を表示する際に、画像とともに付随情報をも表示させることができる。さらに、画像に対応づけられた付随情報は、画像データの分類、整理や、ライブラリの作成に役立たせることができる。例えば、黄色の花のみを選択して画像を一覧表示させたり、離弁形状の花のみを同様に一覧表示させることも容易に行える。

図４は、上記の花情報検索をソフト的に実現するための処理手順の一例を示している。
検索者が検索モードを設定するのに伴い、ＣＰＵ１がこのプログラムを起動する。まずステップＳ１，１６で、検索対象画像ファイルが選択されるか、または検索モードが解除されるのを待ち、検索モードが解除されると処理を終了させる。対象画像が選択されると、ステップＳ２で特徴抽出する対象物（花か葉か）が選択されるのを待つ。いずれかの対象が選択されると、ステップＳ３でその対象に応じた複数の形状マークを表示する。例えば「花」が選択された場合は、上述した花形状マーク２１ａ〜２１ｈが表示され、「葉」が選択された場合は不図示の葉形状マーク（複数）が表示される。またこのとき、「認識」ボタンも表示される。

ステップＳ４で「認識」ボタンの操作を確認すると、ステップＳ５で自動認識を行い、花または葉の特徴情報を抽出する。ステップＳ６では、自動認識結果を形状マークに反映させる。すなわち、認識した形状に応じた形状マークを選択するとともに、選択したマークを認識した色で着色表示する。またこのとき、「検索」ボタンを表示する。

次に、ステップＳ７，Ｓ８のループで、「検索」ボタンの操作、および特徴変更操作のいずれかを待つ。上述したように、検索者は自動認識によって抽出された形状が正しくないと判断したときに特徴変更操作を行う。特徴変更操作を確認すると、ステップＳ９でその操作に応じて特徴情報を変更するとともに、その変更をマーク表示に反映させ、ステップＳ７に戻る。

「検索」ボタンの操作を確認すると、ステップＳ１０で上記特徴情報（特徴格納部１４に格納されている）を検索キーとしてデータベース検索を行う。検索キーは、特徴情報の変更がなされていなければ自動認識で得られた特徴情報であり、変更された場合は変更後の特徴情報である。ステップＳ１１では検索結果を表示する。ステップＳ１２で候補選択操作が確認されると、ステップＳ１３で選択された花の情報を表示する。なお、選択候補が１のみの場合は、ステップＳ１０からステップＳ１３に飛ぶようにしてもよい。ステップＳ１４では決定操作を待ち、決定操作がなされると、ステップＳ１５で画像ファイル名を設定し、画像ファイルを保存する。その後、ステップＳ１に戻る。

−第２の実施形態−
図５〜図８により本発明の第２の実施形態を説明する。
本実施形態における花情報検索では、花の特徴情報を抽出するための画像認識は行わず、検索者自身が特徴情報を選択する。検索モードが設定されると、図５（ａ）に示すように、画面の右下に特徴抽出対象（花か葉か）の選択ボタンが表示される。検索者がタッチペン１１により例えば「花」を選択すると、上述と同様の花形状マーク２１ａ〜２１ｈが表示され、検索者がいずれかのマークを選択可能な状態となる。

なお、特徴抽出対象物の選択をボタン操作で行うようにしてもよい。例えば特定のボタンを操作するたびに、花形状マーク２１ａ〜２１ｈと葉形状マーク（不図示）を入れ替えて表示するようにしてもよい。

各々の花形状マーク２１ａ〜２１ｈには、予め下位マークが用意されていることが先の実施形態と相違する。検索者が対象となる花の形状に最も近い花形状マークをタッチペン１１で選択すると、ＣＰＵ１は、選択された花形状マークを枠で囲んで検索者に報知するとともに、その花形状マークに応じた下位マークを表示する。図５（ｂ）はその表示例を示し、花形状マーク２１ａに対応する下位マーク（総括して符号２２で示す）が、花形状マーク２１ａの直ぐ下に別ウィンドウで表示される。

このケースでは、下位マーク２２は花弁の枚数を選択するための手段として機能する。すなわち本実施形態では、花弁形状および色に加えて、花弁枚数も検索キーとして加えることができる。画像中の花の花弁数は４枚であるから、検索者は花弁４枚の下位マークを選択する。ＣＰＵ１は、選択された花弁の枚数を、先に選択された花の形状とともに特徴格納部１４に格納する。また、下位マークの選択に伴い、ＣＰＵ１は、図５（ｃ）に示すように全ての下位マーク２２を消し、代わりに上位マークである花形状マーク２１ａを花弁４枚のマーク（当初は６枚）に変更する。

このように、特徴抽出に用いるマークを階層構造としたので、操作に迷うことなく適切な特徴抽出が行える。また、下位マーク２２での選択状況が上位マークに反映されるので、検索者は上位マーク２１ａを見るだけで下位マーク２２での選択状況を確認できる。

ここで、下位マーク２２の機能は花弁枚数の選択に限定されない。例えば合弁形状の花（マーク２１ｃ）や、逆に花弁数が極めて多い花（マーク２１ｂ）に対しては、花弁数を選択しても意味がない。このような場合は、下位マーク２２を、花のつき方やより詳細な花の形状を選択するための手段として用いることができる。また花形状マークによっては、下位マーク２２が設定されないものがあってもよいし、逆により深い階層構造（３階層以上）のものがあってもよい。

次に、花の色を指定するために、検索者はタッチペン１１で画像中の花弁部分のいずれかをタッチする。ＣＰＵ１は、タッチされた部分の画素をタッチセンサから読み取り、その画素の色を花弁の色と認識し、特徴格納部１４に格納する。この操作は、花の形状によっては複数の部位に対して有効であり、例えば花形状マークのうち花部分としべ部分とが明確に区別されているもの（マーク２１ａ〜２１ｃなど）では、花弁の色としべ部分の色とを別々に入力できる。

図５（ｃ）は、検索者が花弁色の入力を指定し、花弁部分をタッチペン１１でタッチした状態を示している。同様に図６（ａ）は、しべ部分の色の入力を指定し、しべ部分をタッチした状態を示している。ＣＰＵ１は、選択されている花形状マークの花弁部分およびしべ部分を、それぞれ認識した色で着色表示する。このように、検索対象物の複数部位の色を別々に指定できるので、一部位（例えば花弁のみ）の色指定と比べて検索キーが充実し、正確な検索結果を得る可能性を高めることができる。また、下位マーク２２での選択状況や、色の指定状況が上位マークに反映されるので、検索者は上位マーク２１ａを見るだけで自身の指定内容を一目で確認できる。

以上で花の形状と色に関する特徴情報を取得できたが、本実施形態では、必要に応じてそれ以外の特徴情報を指定することもできる。これらの特徴情報としては、例えばその植物が樹木か草本か、高さはどの程度か、花はいずれの向きで咲くか（上向き、横向きなど）が挙げられる。これらの特徴情報は、例えば画面の下部に表示されたマーク２３，２４で選択可能である。この例では、マーク２４のいずれかを選択することで植物全体の形状あるいは高さを指定し（図６（ｂ））、マーク２３のいずれかを選択することで花の咲く向きを指定する（図６（ｃ））。マーク２３，２４のいずれも各々の特徴を視覚的に表すものであるから、検索者は直感的にいずれを選択すればよいかが分かる。これらの特徴情報も特徴格納部１４に格納される。

図８は本実施形態におけるＣＰＵ１の処理手順の一例を示している。なお、図４と同様のステップには同一のステップ番号を付し、相違点を中心に説明する。
ステップＳ２で特徴抽出する対象物の選択が確認されると、ステップＳ５１でその対象に応じた複数の形状マーク（花形状マークまたは葉形状マーク）を表示する。ステップＳ５２では、検索者による形状マークの選択の有無を判定し、選択されていない場合はステップＳ２に戻り、選択された場合はステップＳ５３に進む。

ステップＳ５３では、選択結果を形状マークに反映させるとともに、ステップＳ５４で、選択された形状マークに対応する下位マークを表示する。ステップＳ５５では下位マークの選択を待ち、下位マークが選択されると、ステップＳ５６で全ての下位マークを消灯するとともに、下位マークの選択結果を上位マークである形状マークに反映させる。

ステップＳ５７では検索者による色の選択（例えば、花弁色の選択）を待つ。これは、上述したようにタッチペン１１で画素を選択することでなされる。色が選択されると、ステップＳ５８で色選択結果を形状マークに反映させる。ステップＳ７，Ｓ５９では、「検索」ボタンの操作か、他の部位の色選択（例えば、しべ部分の色の選択）操作がなされるのを待つ。色選択操作がなされると、ステップＳ６０でその色選択結果を形状マークに反映させる。なお、フローには記載していないが、上述したように植物全体の形状あるいは高さ、花の咲く向き等を特徴情報として加えることが出来る。
図７に示すように、「検索」ボタンが操作された後の動作は、図４の処理と同様である。

−第３の実施形態−
図９〜図１２により本発明の第３の実施形態を説明する。
第２の実施形態では、「花」と「葉」のいずれか一方の特徴情報を検索キーとしたが、本実施形態では双方の特徴情報を検索キーとして設定できる。

図９（ａ）は特徴抽出対象として「花」を選択した後、花形状マーク２１ｇを選択した瞬間を示している。マーク選択により、図９（ｂ）に示すように下位マークが表示される。この例では、下位マーク２２が花のつき方を選択するための選択肢として機能する。下位マーク２２を選択すると、上述したようにその特徴が上位マークである花形状マーク２１ｇに反映される。また、選択された花の形状、および花のつき方に関する特徴情報が特徴格納部１４に格納される。

次に、花の色を選択するが、これは第２の実施形態で示したと同様にタッチペン１１で画像の一部をタッチすることで行う（図９（ｃ））。この場合も、花の複数部分に対して独立に色を選択することができ、選択した色は、選択した花形状マークに反映される。また、マーク２３，２４を用いた植物の形状、高さ、花の咲く向き等の指定も先の実施形態と同様にして行う（図１０（ａ），（ｂ））。これらの操作によって得られた各特徴情報は、特徴格納部１４に格納される。

以上で花の特徴情報が取得できたが、更に葉の特徴情報を検索キーに加えたい場合は、画面右下の選択部で「葉」を選択する（図１０（ｃ））。これに伴い、ＣＰＵ１は図１１（ａ）に示すような葉形状マーク、すなわち鋸歯・切れ込みなしマーク３１ａ、鋸歯のみマーク３１ｂ、切れ込みのみマーク３１ｃ、鋸歯・切れ込みありマーク３１ｄを表示する。葉形状マークにも下位マークが用意されており、例えば検索者が波形状マーク３１ａを選択すると、図１１（ｂ）に示す下位マーク３２が表示される。検索者が下位マーク３２のいずれか（図では羽状複葉マーク）を選択すると、ＣＰＵ１は、図１１（ｃ）に示すように全ての下位マーク３２を消し、代わりに上位マークである葉形状マーク３１ａを、選択された下位マーク３２に置き換える。またＣＰＵ１は、選択されたマークに対応する葉の特徴情報、すなわち「鋸歯・切れ込みなしの羽状複葉」を特徴格納部１４に格納する。

次に、検索者はタッチペン１１で画像の葉の部分をタッチすることで、葉の色を入力する（図１１（ｃ））。これにより、ＣＰＵ１はタッチされた画素の色を葉の色と認識し、選択されている葉形状マーク３１ａをその色で着色表示する。葉の色情報は、特徴格納部１４に格納される。

葉の色が取得されると、ＣＰＵ１は図１２（ａ）に示すように画面下部に葉のつき方を示すマーク３３を表示する。ここでは、葉のつき方が互生であるか、対生であるか、輪生であるかをマーク３３で選択できる。検索者がいずれかのマーク３３をタッチペン１１で選択すると、ＣＰＵ１はその選択されたマーク３３に対応する特徴情報を特徴格納部１４に格納する。

図１２（ｂ）に示すように「検索」ボタンが操作されると、特徴格納部１４に格納された各種特徴情報を検索キーとしてデータベース検索が行われる。検索結果の表示や画像ファイルの保存については先の実施形態と同様である。本実施形態では、花の特徴情報だけでなく葉の特徴情報をも検索キーとして加わえているので、先の実施形態の比べて候補数を絞ることができ、また検索結果の信頼性も増す。

なお、第１の実施形態と第２，第３の実施形態とを組み合わせてもよい。例えば、基本的には自動認識によって特徴情報を抽出するが、これを検索者が変更する際に、上述したような階層構造のマークを用いて行えるようにしてもよい。特徴抽出対象は花や葉に限定されず、茎の形状や全草の形状であってもよい。さらに上記以外の特徴情報、例えば花や葉の大きさ、花の咲く季節、場所等を検索キーとして加えてもよい。検索対象物も花に限定されず、鳥や、昆虫、魚、人工物等であってもよい。検索対象物が鳥の場合には望遠系光学系、植物や昆虫のように近くに寄ることが可能な場合には、焦点深度が浅く、対象物にのみ合焦して背景はぼかすようなマクロ光学系で撮影した画像データが好ましい。

また以上の各実施形態では、全ての特徴情報が揃ってから検索を開始する例を示したが、１つの特徴情報が抽出されるたびに検索および検索結果の表示が行われるようにしてもよい。例えば、花の基本的形状が特定された時点で最初の検索を行い、次に花びらの枚数が特定された時点で先の検索結果に対して絞り込み検索を行うというような検索方式である。この場合は、より少ない特徴情報でいち早く目的の花情報が得られる可能性が高まる。また、例えば第３の実施形態においては、花に関する特徴情報が全て揃った時点で最初の検索を行い、その結果、候補が多すぎる場合に更に葉の特徴情報を設定して絞り込み検索が行えるようにしてもよい。

以上はデジタルカメラにて説明したが、例えばカメラ付き携帯電話機や、撮像機能を持つその他の電子機器、あるいは撮像機能を持たない電子機器にも本発明を適用可能である。撮像機能を持たない機器の場合は、他のデジタルカメラなどで撮像された画像データを、着脱可能な記憶媒体や、有線／無線の通信手段を通じて入力し、その画像データに対して上述した処理を行う。この種の電子機器としては、例えばデジタルカメラから入力した画像データを外部モニタ装置（ＴＶ等）の画面に表示することを主目的としたフォトビューワ装置や、フォトストレージと呼ばれる機器などが挙げられる。あるいは、いわゆる電子辞書や小型ゲーム機、ＰＤＡ（Personal Digital Assistance）でもよい。

さらに、上述した自動あるいは手動の特徴抽出、およびその特徴情報に基づく検索機能がプログラムとして提供されれば、そのプログラムをパーソナルコンピュータ等に組み込んで使用することもできる。

また、上述した電子機器は、必ずしも図鑑データベースおよび検索手段を有していなくてもよい。例えば、デジタルカメラは特徴情報を抽出する機能と、抽出した特徴を外部に送信する通信機能とを備え、一方、特定のＷｅｂサーバに図鑑データベースと検索エンジンとを置き、カメラからの特徴情報をサーバが受信して検索を実行し、検索結果をカメラに送り返すようなシステムでもよい。

実施形態におけるデジタルカメラの制御ブロック図。 第１の実施形態における花情報検索の手順を説明する説明図。 図２の続きを説明する図。 第１の実施形態における花情報検索の制御手順を示すフローチャート。 第２の実施形態における花情報検索の手順を説明する説明図。 図５の続きを説明する図。 図６の続きを説明する図。 第２の実施形態における花情報検索の制御手順を示すフローチャート。 第３の実施形態における花情報検索の手順を示す説明図。 図９の続きを説明する図。 図１０の続きを説明する図。 図１１の続きを説明する図。

符号の説明

１ メインＣＰＵ
２ 撮像部
３ 画像表示部
１１ タッチペン
１２ マーク位置読取り部
１３ 図鑑データベース
１４ 特徴格納部
２１ａ〜２１ｈ 花形状マーク
２２ 下位マーク
３１ａ〜３１ｄ 葉形状マーク
３２ 下位マーク

Claims (16)

1. 検索対象物を含む画像データから画像認識によって該検索対象物の特徴情報を抽出する特徴抽出手段と、
   前記特徴情報抽出の結果を表示する表示手段と、
   前記特徴情報抽出の結果表示後、特徴設定操作に基づいて前記検索対象物の特徴情報を設定する特徴設定手段と、
   前記特徴設定操作がなされない場合は前記特徴抽出手段にて抽出された特徴情報を対象物検索における検索キーとして出力し、前記特徴設定操作がなされた場合は、該操作によって設定された特徴情報を前記検索キーとして出力する出力制御手段とを具備することを特徴とする電子機器。
2. 前記特徴情報は、前記検索対象物の形状に関する特徴を表す情報であること特徴とする請求項１に記載の電子機器。
3. 前記特徴情報は、前記形状を視覚的に表す図形として表示されることを特徴とする請求項２に記載の電子機器。
4. 表示手段と、
   該表示手段の表示内容からいずれかを選択するための選択手段と、
   画像データ中の検索対象物に関する複数の上位特徴情報を前記表示手段に選択可能に表示し、前記選択手段により前記上位特徴情報のいずれかが選択されると、選択された上位特徴情報に応じた複数の下位特徴情報を選択可能に表示手段に表示し、前記選択手段により前記下位特徴情報のいずれかが選択されると、前記選択された上位特徴情報および下位特徴情報の双方で特定される特徴情報を対象物検索における検索キーとして出力する制御手段とを具備することを特徴とする電子機器。
5. 前記下位特徴情報のいずれかが選択されると、選択された下位特徴情報が表す特徴を、対応する上位特徴情報に反映させて当該上位特徴情報を再表示することを特徴とする請求項４に記載の電子機器。
6. 前記上位特徴情報は前記検索対象物の形状を表し、前記下位特徴情報は、前記上位特徴情報で特定される形状を更に具体化した形状を表すことを特徴とする請求項４または５に記載の電子機器。
7. 前記上位および下位特徴情報は、前記形状を視覚的に表す図形として表示されることを特徴とする請求項６に記載の電子機器。
8. 前記検索対象物の色を更に選択可能とし、選択された色を前記選択された上位特徴情報に反映させて当該上位特徴情報を再表示することを特徴とする請求項４〜７のいずれかに記載の電子機器。
9. 画像データ中の検索対象物の複数部位に対してそれぞれ色を選択するための選択手段と、
   選択されたそれぞれの色を対象物検索における検索キーとして出力する制御手段とを具備することを特徴とする電子機器。
10. 前記選択手段は、画像データの画素を選択する画素選択手段と、選択された画素の色を選択色として設定する色設定手段とから構成されることを特徴とする請求項９記載の電子機器。
11. 前記選択されたそれぞれの色を表示する表示手段を更に備えることを特徴とする請求項９または１０に記載の電子機器。
12. 被写体を撮像して前記画像データを得る撮像手段を更に備えることを特徴とする請求項１〜１１のいずれかに記載の電子機器。
13. 前記出力された特徴情報を検索キーとして、データベースから前記検索対象物に関する情報を検索する検索手段を更に備えることを特徴とする請求項１〜１２のいずれかに記載の電子機器。
14. 検索対象物を含む画像データから画像認識によって該検索対象物の特徴情報を抽出する特徴抽出手段と、
    前記特徴情報抽出の結果を表示する表示手段と、
    前記特徴情報抽出の結果表示後、特徴設定操作に基づいて前記検索対象物の特徴情報を設定する特徴設定手段と、
    前記特徴設定操作がなされない場合は特徴抽出手段にて抽出された特徴情報を対象物検索における検索キーとして出力し、前記特徴設定操作がなされた場合は、該操作によって設定された特徴情報を前記検索キーとして出力する出力制御手段としてコンピュータを機能させるための検索補助プログラム。
15. 表示手段と、
    該表示手段の表示内容からいずれかを選択するための選択手段と、
    画像データ中の検索対象物に関する複数の上位特徴情報を前記表示手段に選択可能に表示し、前記選択手段により前記上位特徴情報のいずれかが選択されると、選択された上位特徴情報に応じた複数の下位特徴情報を選択可能に表示手段に表示し、前記選択手段により前記下位特徴情報のいずれかが選択されると、前記選択された上位特徴情報および下位特徴情報の双方で特定される特徴情報を対象物検索における検索キーとして出力する制御手段としてコンピュータを機能させるための検索補助プログラム。
16. 画像データ中の検索対象物の複数部位に対してそれぞれ色を選択するための選択手段と、
    選択されたそれぞれの色を対象物検索における検索キーとして出力する制御手段としてコンピュータを機能させるための検索補助プログラム。

Images