JP2005269605A - デジタル図鑑システム、図鑑検索方法、図鑑検索プログラム - Google Patents

Abstract

【課題】様々な方向から被写体を撮像した場合に精度よく被写体の名称を検索する。
【解決手段】画像を連続して撮像する撮像手段と、連続して撮像された各々の画像の中から主要被写体を選択する主要被写体選択手段と、連続して撮像された各々の画像における主要被写体の大きさの変化、および、撮像手段の画角内における主要被写体の位置の変化に基づいて、主要被写体の移動方向を算出する移動方向算出手段と、被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、主要被写体選択手段によって選択された主要被写体、および移動方向に基づいて、主要被写体の名称を検索する名称検索手段とを備えたデジタル図鑑システムを提供する。
【選択図】図１

Description

本発明は、デジタル図鑑システム、図鑑検索方法、図鑑検索プログラムに関する。特に本発明は、撮像された被写体の名称を検索して利用者に提供するデジタル図鑑システム、図鑑検索方法、及びデジタル図鑑システムを機能させる図鑑検索プログラムに関する。

近年、ダイビングや登山などで見つけた動植物の種類を、その場で知りたいという要望が高まっている。これに対し、デジタルカメラを用いて被写体を撮像した画像に基づいて画像データベースから被写体の名称を検索して利用者に提供するデジタル図鑑システムが知られている（例えば、特許文献１参照。）。

従来のデジタル図鑑システムにおいては、例えば、被写体を撮像した画像の二値化画像と、画像データベースに格納されている項目毎の二値化画像との比較等により、被写体の名称を画像データベースから検索している。

特開平１０−２５４９０１

しかしながら、魚は常に泳いでいるので、カメラに対して魚が真横を向いた状態などの、理想的なアングルで撮像することは非常に困難である。また、ダイビング中は、魚がダイバーの上方や下方を通り過ぎる場合もある。このように、ダイビング中に魚を撮像する場合のカメラのアングルには、多くのバリエーションが存在する。

このため、ダイビング中に撮像された魚の画像を用いて、二値化画像等の比較により被写体の名称を検索する場合には、精度のよい検索結果を得ることは困難である。また、かかる問題は、魚以外の移動性生物を撮像する場合にも同様に存在する。しかし、従来のデジタル図鑑システムにおいては、このような場合に精度のよい検索結果を得る方法は提案されていない。

上記課題を解決するために、本発明の第１の形態においては、画像を撮像する撮像手段と、画像の中から主要被写体を選択する主要被写体選択手段と、撮像手段の、上下方向の傾きを計測する傾き計測手段と、被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、主要被写体選択手段によって選択された主要被写体、および傾き計測手段によって計測された傾きに基づいて、主要被写体の名称を検索する名称検索手段とを備える。

画像データベースは被写体の画像を３次元情報として格納しており、名称検索手段は、傾きを主要被写体に対する撮像方向として用いることにより、画像データベースから主要被写体の名称を検索してもよい。当該デジタル図鑑システムは、傾き計測手段によって計測された傾きを用いて、主要被写体の画像を、水平方向から撮像した画像に補正する上下方向画像補正手段を更に備え、名称検索手段は、上下方向画像補正手段によって補正された画像を用いて主要被写体の名称を検索してもよい。当該デジタル図鑑システムは、傾き計測手段によって計測された傾きを用いて、主要被写体の画像を、鉛直方向から撮像した画像に補正する上下方向画像補正手段を更に備え、名称検索手段は、上下方向画像補正手段によって補正された画像を用いて主要被写体の名称を検索してもよい。

名称検索手段は、上下方向補正手段によって補正された画像から、主要被写体の特徴を抽出する第１特徴抽出手段と、画像データベースに名称が格納されている複数の被写体のそれぞれについて、画像データベースに格納されている当該被写体の特徴、及び第１特徴抽出手段が抽出した主要被写体の特徴を比較することにより、複数の被写体のそれぞれ及び主要被写体の間の類似度を算出する類似度算出手段と、複数の被写体のそれぞれについて算出された類似度に基づいて、複数の被写体の名称の中から、主要被写体の名称を選択する名称選択手段とを有してもよい。

名称選択手段は、複数の被写体の名称のうち、類似度が最も高い、予め定められた数の被写体の名称を選択し、当該デジタル図鑑システムは、名称選択手段が選択した名称を表示する表示手段を更に備えてもよい。名称検索手段は、名称選択手段が複数の名称を選択した場合に、複数の名称のそれぞれに対応付けて画像データベースに格納されている互いに異なる種類の特徴の中で、被写体の名称毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する識別特徴選択手段を更に有し、表示手段は、識別特徴を示す情報を更に表示してもよい。名称選択手段は、複数の被写体のすべてにおいて、算出された類似度が予め定められた基準値より低い場合に、主要被写体の名称が検索できなかった旨を利用者に通知してもよい。

名称検索手段は、上下方向補正手段によって補正された画像から、主要被写体とは異なる被写体の特徴を抽出する第２特徴抽出手段を更に有し、画像データベースは、被写体に対して関連性の高い物体が有する特徴に更に対応づけて、被写体の名称を格納し、類似度算出手段は、画像データベースに名称が格納されている複数の被写体のそれぞれについて、画像データベースに格納されている当該被写体に対して関連性の高い物体が有する特徴、及び第２特徴抽出手段が抽出した主要被写体とは異なる被写体の特徴を更に比較することにより、複数の被写体のそれぞれ及び主要被写体の間の類似度を算出してもよい。

名称検索手段は、画像に付帯する付帯情報を取得する付帯情報取得手段を更に有し、画像データベースは、被写体の画像に付帯する付帯情報に更に対応づけて、被写体の名称を格納し、類似度算出手段は、画像データベースに名称が格納されている複数の被写体のそれぞれについて、画像データベースに格納されている当該被写体の画像に付帯する付帯情報、及び付帯情報取得手段が取得した付帯情報を比較することにより、複数の被写体のそれぞれ及び主要被写体の間の類似度を算出してもよい。

撮像手段は、動画像を撮像し、画像データベースは、被写体の動きを示す動き情報に更に対応づけて、被写体の名称を格納し、名称検索手段は、動画像に含まれる複数のフレーム画像のそれぞれにおける主要被写体に基づいて、主要被写体の動きを検出する動き検出手段と、画像データベースに名称が格納されている複数の被写体のそれぞれについて、画像データベースに格納されている当該被写体の動き情報により示される動き、及び動き検出手段が検出した主要被写体の動きを比較することにより、複数の被写体のそれぞれ及び主要被写体の間の類似度を算出する類似度算出手段と、複数の被写体のそれぞれについて算出された類似度に基づいて、複数の被写体の名称の中から、主要被写体の名称を選択する名称選択手段とを有してもよい。名称検索手段は、複数のフレーム画像のそれぞれにおける主要被写体に含まれる特徴点を検出する特徴点検出手段を更に有し、動き検出手段は、特徴点検出手段によって検出された特徴点の位置の、複数のフレーム画像のそれぞれにおける変化に基づいて、主要被写体の動きを検出してもよい。

また、本発明の第２の形態においては、画像を連続して撮像する撮像手段と、連続して撮像された各々の画像の中から主要被写体を選択する主要被写体選択手段と、連続して撮像された各々の画像における主要被写体の大きさの変化、および、撮像手段の画角内における主要被写体の位置の変化に基づいて、主要被写体の移動方向を算出する移動方向算出手段と、被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、主要被写体選択手段によって選択された主要被写体、および移動方向に基づいて、主要被写体の名称を検索する名称検索手段とを備える。

当該デジタル図鑑システムは、撮像手段の撮像方向の変化を算出する撮像方向変化算出手段を更に備え、移動方向算出手段は、更に撮像方向変化算出手段が算出した撮像方向の変化に基づいて主要被写体の移動方向を算出してもよい。画像データベースは被写体の画像を３次元情報として格納しており、名称検索手段は、移動方向及び３次元情報に基づいて生成された、撮像方向に垂直な面に投影した被写体の投影画像を用いて、画像データベースから主要被写体の名称を検索してもよい。

当該デジタル図鑑システムは、移動方向算出手段によって算出された主要被写体の移動方向に基づいて、主要被写体の画像を補正する移動方向画像補正手段を更に備え、名称検索手段は、移動方向画像補正手段によって補正された画像を用いて画像データベースから主要被写体の名称を検索してもよい。移動方向画像補正手段は、移動方向のベクトルを撮像方向に垂直な面に投影した投影ベクトルの長さを、移動方向のベクトルの長さに伸張するのに必要な割合だけ、主要被写体を投影ベクトルの方向へ伸張させることによって、主要被写体の画像を補正してもよい。当該デジタル図鑑システムは、画像データベースを更に備えてもよい。当該デジタル図鑑システムは、撮像手段をダイビング用に耐圧防水する耐圧防水ケースを更に備えてもよい。

また、本発明の第３の形態においては、撮像手段を用いた図鑑検索方法であって、画像を撮像する撮像段階と、画像の中から主要被写体を選択する主要被写体選択段階と、撮像手段の、上下方向の傾きを計測する傾き計測段階と、被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、主要被写体選択段階において選択された主要被写体、および傾き計測段階において計測された傾きに基づいて、主要被写体の名称を検索する名称検索段階とを備える。

また、本発明の第４の形態においては、撮像手段を用いた図鑑検索方法であって、画像を連続して撮像する撮像段階と、連続して撮像された各々の画像の中から主要被写体を選択する主要被写体選択段階と、連続して撮像された各々の画像における主要被写体の大きさの変化、および、撮像手段の画角内における主要被写体の位置の変化に基づいて、主要被写体の移動方向を算出する移動方向算出段階と、被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、主要被写体選択段階において選択された主要被写体、および移動方向に基づいて、主要被写体の名称を検索する名称検索段階とを備える。

また、本発明の第５の形態においては、デジタル図鑑システムとしてコンピュータを機能させる図鑑検索プログラムであって、コンピュータを、画像を撮像する撮像手段と、画像の中から主要被写体を選択する主要被写体選択手段と、撮像手段の、上下方向の傾きを計測する傾き計測手段と、被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、主要被写体選択手段によって選択された主要被写体、および傾き計測手段によって計測された傾きに基づいて、主要被写体の名称を検索する名称検索手段とを備えるデジタル図鑑システムとして機能させる。

また、本発明の第６の形態においては、デジタル図鑑システムとしてコンピュータを機能させる図鑑検索プログラムであって、コンピュータを、画像を連続して撮像する撮像手段と、連続して撮像された各々の画像の中から主要被写体を選択する主要被写体選択手段と、連続して撮像された各々の画像における主要被写体の大きさの変化、および、撮像手段の画角内における主要被写体の位置の変化に基づいて、主要被写体の移動方向を算出する移動方向算出手段と、被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、主要被写体選択手段によって選択された主要被写体、および移動方向に基づいて、主要被写体の名称を検索する名称検索手段とを備えるデジタル図鑑システムとして機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、様々な方向から被写体を撮像した場合であっても、精度よく被写体の名称を検索することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係るデジタル図鑑システム１０の構成の一例を示すブロック図である。デジタル図鑑システム１０は、被写体の画像を撮像し、撮像した画像に基づいて被写体の名称を検索して利用者に提供する。例えば、デジタル図鑑システム１０は、利用者が登山やダイビング等を行う場合に、利用者が発見した動植物等の画像を撮像し、当該画像から抽出した特徴を用いて当該動植物の名前や生態の解説等の情報を検索し、それらの情報を利用者に提供する。

本発明の実施形態に係るデジタル図鑑システム１０は、様々な方向から被写体を撮像した場合であっても、精度よく被写体の名称を検索することを目的とする。

デジタル図鑑システム１０は、撮像装置２０、画像補正手段３０、名称検索手段３２、及び通信手段３４を備える。デジタル図鑑システム１０は、通信手段３４によりネットワーク３６に接続し、ネットワーク３６を介して、被写体の特徴に対応付けて当該被写体の名称を格納する画像データベース（３８ａ、３８ｂ、・・・３８ｃ。以降、まとめて３８と表記）から、被写体の名称を検索する。通信手段３４は、例えば、イーサネット（登録商標）等の有線通信、又は、無線ＬＡＮやブルートゥース（登録商標）、ＣＤＭＡ等の無線通信により、例えばインターネット網等のネットワーク３６に接続する。

撮像装置２０は、撮像ユニット２５、表示手段５０、枠表示手段４０、及び２次メモリ６０を有する。撮像装置２０は、例えば、静止画を撮像するデジタルスチルカメラであってよく、また、例えば、動画を撮影するデジタルビデオカメラであってもよい。撮像ユニット２５は、被写体の画像を撮像すると共に、画像の中から主要被写体を選択し、撮像した被写体の画像、及び選択した主要被写体を示す情報を、画像補正手段３０、枠表示手段４０、及び表示手段５０に出力する。表示手段５０は、例えばＬＣＤモニタであり、撮像ユニット２５により撮像された被写体の画像、及び撮像された画像に基づいて検索された被写体の名称や説明等を表示する。枠表示手段４０は、撮像した画像に重畳して、例えば主要被写体等を囲む枠を表示手段５０に表示させる。２次メモリ６０は、例えばフラッシュメモリ等の不揮発性メモリであり、撮像ユニットにより撮像された画像を格納する。

画像補正手段３０は、撮像ユニット２５における撮像方向や、撮像した画像から算出された主要被写体の移動方向に基づいて、撮像ユニット２５から受け取った画像を補正する。そして、画像補正手段３０は、補正した画像を名称検索手段３２に出力する。名称検索手段３２は、画像補正手段３０から受け取った画像における、主要被写体の特徴を抽出する。ここで、主要被写体の特徴とは、例えば、画像処理技術によって主要被写体の画像から抽出される、輪郭形状、二値化画像、色分布等である。そして、名称検索手段３２は、主要被写体の画像から抽出した特徴を、通信手段３４を介して画像データベース３８に送信し、画像データベース３８に格納されている被写体の中で、主要被写体から抽出された特徴に一致する、又は近い特徴を有する被写体を検索させ、検索結果を通信手段３４を介して受信する。そして、名称検索手段３２は、受信した検索結果を表示手段５０に表示させて、撮像ユニット２５により撮像された主要被写体の名称や説明を利用者に提供する。

なお、本図に示した構成は一例であり、本図の構成に多様な変更を加えてもよい。例えば、本図に示した名称検索手段３２は、通信手段３４及びネットワーク３６を介して、デジタル図鑑システム１０の外部に設けられた画像データベース３８にアクセスしたが、これに代えて、デジタル図鑑システム１０の内部に設けられた画像データベース３８にアクセスしてもよい。これにより、デジタル図鑑システム１０は、外部との情報通信ができない環境であっても、主要被写体の名称を検索することができる。

更に、デジタル図鑑システム１０は、例えば、外部との情報通信ができない場合には内部に設けられた画像データベース３８を利用し、それ以外の場合には外部に設けられた画像データベース３８を利用する等、外部の画像データベース３８と内部の画像データベース３８との何れを利用するかを切り替え可能に制御してもよく、また、外部の画像データベース３８と内部の画像データベース３８との双方を同時に利用してもよい。このように、利用する画像データベース３８の構成を利用環境や利用目的等に応じて柔軟に変更することにより、効率よく被写体の名称を検索することができ、利便性が向上する。

図２は、本実施形態に係る撮像ユニット２５の構成の一例を示すブロック図である。撮像ユニット２５は、撮像手段１００、１次メモリ１１０、撮像制御手段１２０、画像処理手段１３０、及び変更操作手段１５０を含む。

本実施形態に係る撮像装置２０は、撮像手段１００により捕捉された画像から主要被写体を認識する。そして、撮像装置２０は、認識した主要被写体の画像に基づいて撮像処理を制御すると共に、認識した主要被写体を枠で囲んで表示して利用者に通知することにより、利用者が所望する画像を容易かつ高品質に撮像することができるようにすることを目的とする。
また、本実施形態に係る撮像装置２０は、名称検索手段３２により名称を検索する対象である主要被写体を正確に自動認識することにより、効率よく、精度の高い検索を実行させることを目的とする。

撮像手段１００は、光学系１０２、ＣＣＤ１０４、及び撮像信号処理手段１０６を有し、被写体の画像を捕捉する。光学系１０２は、例えばフォーカスレンズやズームレンズ等を含み、被写体像をＣＣＤ１０４の受光面上に結像する。また、光学系１０２は、例えばフォーカスレンズを駆動することにより、撮像装置２０から焦点の合う被写体までの距離である合焦距離を変更することができる。ＣＣＤ１０４は、複数の受光素子を含み、光学系１０２により受光面に結像された被写体の光学像によって各受光素子に蓄積された電荷を電圧信号として撮像信号処理手段１０６に出力する。また、ＣＣＤ１０４は、各受光素子に電荷を蓄積する時間を制御することによって露出度を制御することができる。

撮像信号処理手段１０６は、ＣＣＤ１０４から受け取った、被写体像を示すアナログの電圧信号を、Ｒ、Ｇ、及びＢの各成分に分解する。そして、撮像信号処理手段１０６は、Ｒ、Ｇ、及びＢの各成分を調整することにより、被写体像のホワイトバランスを調整する。また、撮像信号処理手段１０６は、例えば被写体像のガンマ補正等の処理を行ってもよい。そして、撮像信号処理手段１０６は、Ｒ、Ｇ、及びＢの各成分に分解されたアナログ信号をＡ／Ｄ変換し、その結果得られた被写体像を示すデジタルの画像データを１次メモリ１１０に出力する。１次メモリ１１０は、例えばＤＲＡＭ等の揮発性メモリであり、撮像信号処理手段１０６が出力したデジタルの画像データを格納する。

撮像制御手段１２０は、撮像手段１００に含まれる機構部材を駆動することにより、被写体を示す画像の撮像を制御する。撮像制御手段１２０は、自動焦点手段１２２、露出選択手段１２４、及びホワイトバランス設定手段１２６を有する。自動焦点手段１２２は、光学系１０２における合焦距離を制御する。例えば、自動焦点手段１２２は、ステッピングモータ等を用いてフォーカスレンズを駆動させることにより、光学系１０２における合焦距離を制御する。

露出選択手段１２４は、撮像手段１００における被写体像の露出度を制御する。具体的には、露出選択手段１２４は、ＣＣＤ１０４に含まれる受光素子における電荷の蓄積時間を制御することにより、露出度を制御する。これに代えて、露出選択手段１２４は、撮像手段１００に含まれる図示しない機械式シャッタを制御することにより、露出度を制御してもよい。ホワイトバランス設定手段１２６は、撮像手段１００における被写体を示す画像のホワイトバランスを設定する。具体的には、ホワイトバランス設定手段１２６は、撮像信号処理手段１０６におけるＲ、Ｇ、及びＢの各成分の調整処理を制御することにより、ホワイトバランスを設定する。
また、撮像制御手段１２０は、撮像手段１００におけるズーム動作、及び絞り動作を制御してもよい。

画像処理手段１３０は、撮像信号処理手段１０６により１次メモリ１１０に格納されたデジタルの画像データを処理し、処理した結果を、表示手段５０、２次メモリ６０、及び画像補正手段３０に出力する。ここで、画像データの処理とは、例えば、ＹＣ変換処理、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）等のデータ圧縮処理、及びＮＴＳＣやＰＡＬ等のビデオ信号への変換処理である。また、画像処理手段１３０は、主要被写体選択手段１４０を有する。

主要被写体選択手段１４０は、撮像信号処理手段１０６から受け取った、撮像手段１００により捕捉された捕捉画像の中から、主要被写体を選択する。主要被写体選択手段１４０は、繰り返し捕捉手段１４２、合焦距離算出手段１４４、主要被写体距離算出手段１４６、及び領域選択手段１４８を含む。繰り返し捕捉手段１４２は、光学系１０２により合焦距離を変更しつつ繰り返し画像を捕捉させて撮像信号処理手段１０６から受け取り、受け取った画像を合焦距離算出手段１４４に出力する。合焦距離算出手段１４４は、繰り返し捕捉手段１４２によって捕捉された画像に基づいて、画像に含まれる領域毎に、最も焦点の合っている画像が得られた合焦距離を算出し、算出した結果を主要被写体距離算出手段１４６に出力する。

主要被写体距離算出手段１４６は、合焦距離算出手段１４４が算出した領域毎の合焦距離に基づいて、主要被写体までの距離である主要被写体距離を算出し、算出した結果を領域選択手段１４８に出力する。領域選択手段１４８は、主要被写体距離算出手段１４６から受け取った主要被写体距離だけ離れている領域を、主要被写体として、捕捉した画像の中から選択する。そして、領域選択手段１４８は、選択した領域に関する情報を、枠表示手段４０、自動焦点手段１２２、露出選択手段１２４、ホワイトバランス設定手段１２６、及び画像補正手段３０に出力する。

図１に示した枠表示手段４０は、主要被写体選択手段１４０により選択された主要被写体を囲む枠を、撮像手段１００により捕捉された捕捉画像に重畳して表示手段５０に表示させる。具体的には、枠表示手段４０は、領域選択手段１４８により選択された領域を囲む枠を、表示手段５０に表示させる。変換操作手段１５０は、例えば撮像装置２０の利用者による操作等に基づいて、主要被写体距離算出手段１４６により出力される主要被写体距離を変更する。

本実施形態に係る撮像装置２０によれば、撮像手段１００により捕捉された画像から主要被写体を自動的に認識することができる。また、認識された主要被写体を枠で囲んで表示することにより、利用者が容易に認識結果を知ることができる。

図３は、本実施形態に係る合焦距離算出手段１４４における処理の一例を示す。合焦距離算出手段１４４は、撮像手段１００により捕捉された捕捉画像２００を、複数の領域に分割する。例えば、合焦距離算出手段１４４は、捕捉画像２００を縦６個、横６個の長方形に分割する。これに変えて、合焦距離算出手段１４４は、捕捉画像２００を、それぞれ異なる形状及び面積を有する複数の領域に分割してもよい。この場合、合焦距離算出手段１４４は、例えば、主要被写体の存在確率の高い中央付近等において捕捉画像２００をより小さな領域に分割することにより、捕捉画像２００全体を一様に小さな領域に分割した場合に比べて、処理に要する負荷を抑えつつ、高い精度で合焦距離を算出することができる。

そして、合焦距離算出手段１４４は、分割した複数の領域のそれぞれにおける部分画像の合焦度を検出する。例えば、合焦距離算出手段１４４は、それぞれの領域の画像信号を、高速フーリエ変換（ＦＦＴ）等により複数の周波数成分に分解し、当該領域における高周波成分のレベルを合焦度として検出する。そして、合焦距離算出手段１４４は、繰り返し捕捉手段１４２により複数の合焦距離において捕捉された画像のうち、当該領域において合焦度が最も高い画像を検出し、その画像が捕捉された距離を、当該領域における合焦距離として算出する。

本実施形態に係る撮像装置２０によれば、捕捉画像における各領域毎の合焦距離を高い精度で算出することができる。

図４は、本実施形態に係る主要被写体距離算出手段１４６において用いられる重みの一例を示す。図４（ａ）は、撮像手段１００により捕捉された画像の領域毎に予め定められた重みの一例を示す。主要被写体距離算出手段１４６は、同一の合焦距離を有する領域の面積と領域毎に予め定められた重みとの積和を算出する。具体的には、主要被写体距離算出手段１４６は、合焦距離算出手段１４４における領域毎の合焦距離の算出結果に基づいて、同一の合焦距離を有する複数の領域を、当該合焦距離に存在する被写体として検出する。そして、主要被写体距離算出手段１４６は、複数の領域のそれぞれについて、当該領域の面積と、例えば図４（ａ）に示したような当該領域に予め定められた重みとの積を算出する。そして、主要被写体距離算出手段１４６は、複数の領域において算出した積の総和を、当該合焦距離に存在する被写体の重みとして算出する。

図４（ａ）において、画像の中央部分における領域毎の重みは、画像の周辺部分における領域毎の重みに比べてより大きくなっている。これは、一般に、画像の中央部分に主要被写体を配置する構図が多く用いられるためである。ここで、本図に示した領域毎の重みは一例であり、本図の内容に限定されない。例えば、重みは常に一定ではなく、撮像条件によって変化してもよい。具体的には、撮像装置２０における撮影モードがポートレイトモードである場合には、画像の中央部分における領域毎の重みを、図４（ａ）に比べて大きくしてもよい。

図４（ｂ）は、撮像手段１００により捕捉された画像の合焦距離と距離重みとの関係の一例を示す。主要被写体距離算出手段１４６は、先に算出した、同一の合焦距離を有する複数の領域における重みの総和に、例えば図４（ｂ）から取得される当該合焦距離に対する距離重みを乗じた値を算出する。そして、主要被写体距離算出手段１４６は、算出した値が最も大きい合焦距離を、主要被写体距離として算出する。

図４（ｂ）において、距離重みは、合焦距離が大きくなるほど小さくなっている。これは、一般に、主要被写体は、他の被写体に比べて、撮像装置２０により近い位置に存在しているためである。ここで、本図に示した距離重みは一例ではり、本図の内容に限定されない。例えば、重みが常に固定されているのではなく、撮像条件によって変化してもよい。具体的には、撮像装置２０の撮影モードがマクロモードである場合には、合焦距離の増加に伴う距離重みの減少の度合いをより大きくしてもよい。また、撮影モードにおける典型的な合焦距離において、距離重みが最大となるようにしてもよい。

本実施形態に係る撮像装置２０によれば、領域毎及び合焦距離毎の重みを用いて主要被写体距離を算出することにより、精度よく主要被写体を認識することができる。

図５は、本実施形態に係るデジタル図鑑システム１０の外観の一例を示す。図５（ａ）は、ある時点におけるデジタル図鑑システム１０の外観の一例を示す。図５（ａ）に示したデジタル図鑑システム１０は、遠距離ボタン２０２及び近距離ボタン２０４を備える。遠距離ボタン２０２及び近距離ボタン２０４は、変更操作手段１５０の一例である。

領域選択手段１４８は、撮像手段１００が捕捉した画像の中から、主要被写体距離算出手段１４６により算出された主要被写体距離だけ離れている領域を、主要被写体として選択する。そして、枠表示手段４０は、表示手段５０により表示された撮像画像に重畳して、領域選択手段１４８が選択した領域を囲む枠２０６を表示させる。具体的には、枠表示手段４０は、主要被写体の外周の近傍で、外周に沿う枠２０６を表示手段５０に表示させる。ここで、外周の近傍とは、主要被写体を示す領域の外周そのものに限定されず、例えば、枠表示手段４０は、外周に対して、予め定められた画素だけ外側に広げた枠２０６を表示させてもよい。これにより、表示された枠２０６によって補足画像における重要な領域である主要被写体が見えづらくなるという問題を防ぐことができる。

図５（ｂ）は、利用者が遠距離ボタン２０２を操作した場合の、デジタル図鑑システム１０の外観の一例を示す。利用者が遠距離ボタン２０２を押下した場合、遠距離ボタン２０２は、主要被写体距離をより遠くに変更させるべく、主要被写体距離算出手段１４６に通知する。また、利用者が近距離ボタン２０４を押下した場合、近距離ボタン２０４は、主要被写体距離をより近くに変更させるべく、主要被写体距離算出手段１４６に通知する。

これを受けて、主要被写体距離算出手段１４６は、合焦距離毎の被写体の重みに基づいて選択した複数の主要被写体距離の候補の中から、その時点の主要被写体距離の次に遠い又は近い主要被写体距離候補を新しい主要被写体距離として選択し、その結果を領域選択手段１４８に出力する。そして、領域選択手段１４８は、新しい主要被写体距離だけ離れている領域を主要被写体として選択し、当該領域を示す情報を枠表示手段４０に出力する。これを受けて、枠表示手段４０は、枠２０６に代えて、枠２０８を表示手段５０に表示させる。

本実施形態に係る撮像装置２０によれば、自動的に認識された主要被写体が正しくない場合であっても、利用者は、正しい主要被写体距離を選択することにより、意図した撮像を実行することができる。
また、撮像装置２０により動画を撮影している場合に、変更操作手段１５０を用いて主要被写体距離を変更することにより、撮影しながらであっても、構図を変更することなく主要被写体を変更することができる。

図６は、本実施形態に係る撮像装置２０の処理の一例を示すフローチャートである。撮像装置２０は、利用者が撮像装置２０のレリーズスイッチを半押しした場合に、以降の処理を開始する（Ｓ１０００）。また、これに変えて、撮像装置２０は、電源が投入されている場合、常に以降の処理を行ってもよい。続いて、撮像装置２０は、撮像手段１００により被写体の画像を捕捉し、画像の中から主要被写体を選択する（Ｓ１０１０）。続いて、撮像装置２０は、選択した主要被写体に基づいて、撮像制御手段１２０により撮像手段１００における画像の撮像を制御する（Ｓ１０２０）。続いて、撮像装置２０は、撮像手段１００により被写体の画像を捕捉し、表示手段５０に表示させる（Ｓ１０３０）。

続いて、撮像装置２０は、利用者による操作に基づいて主要被写体距離を変更する（Ｓ１０４０）。続いて、撮像装置２０は、レリーズスイッチが全押しされた場合に、撮像手段１００により被写体像を撮像し、撮像された画像データを１次メモリ１１０に格納する。そして、撮像装置２０は、画像処理手段１３０によりデータ圧縮処理等の画像処理を行い、画像データを２次メモリ６０に格納する（Ｓ１０５０）。ここで、名称検索手段３２により主要被写体の名称を画像データベース３８から検索する場合には、撮像装置２０は、撮像した画像データを２次メモリ６０に格納するのに代えて、画像データ及び選択された主要被写体の領域を示す情報を、画像補正手段３０に出力する。また、撮像装置２０は、画像補正手段３０において連続した画像が必要とされる場合に、レリーズスイッチが一度全押しされたことによって、連続して画像を撮像し、それぞれの画像及び当該画像において選択された主要被写体の領域を示す情報を、画像補正手段３０に出力してもよい。

図７は、Ｓ１０１０の詳細を示すフローチャートである。繰り返し捕捉手段１４２は、予め定められた複数の合焦距離のそれぞれについて、以下の処理を繰り返す（Ｓ１１００）。ここで、予め定められた複数の合焦距離とは、光学系１０２により合焦可能な範囲から選択した、主要被写体距離の算出に必要な複数の距離である。これら複数の合焦距離は固定されていなくともよく、撮像装置２０の撮影モードによって変化してもよい。例えば、撮像モードがポートレイトモードである場合には、撮像装置２０に近い範囲において、遠い範囲に比べてより多くの合焦距離を選択してもよい。

また、繰り返し捕捉手段１４２は、撮像手段１００に例えば毎秒３０コマよりも高い頻度で捕捉させた画像のうち、毎秒３０コマ分の画像を表示手段５０により表示させ、他のコマの画像を用いて合焦距離の算出処理を合焦距離算出手段１４４により行わせてもよい。これにより、利用者に合焦距離が一定の画像を表示しながら、複数の合焦距離で画像を捕捉することができる。

まず、繰り返し捕捉手段１４２は、光学系１０２における合焦距離を変更する（Ｓ１１１０）。続いて、撮像手段１００は、被写体の画像を捕捉し、画像データを１次メモリ１１０に格納する（Ｓ１１２０）。続いて、合焦距離算出手段１４４は、捕捉された画像を複数の領域に分割し、各領域における合焦度を算出する（Ｓ１１３０）。撮像装置２０は、予め定められた複数の合焦距離のそれぞれについて、Ｓ１１１０からＳ１１３０の処理を繰り返す（Ｓ１１４０）。

続いて、主要被写体距離算出手段１４６は、複数の領域のそれぞれについて、複数の合焦距離において捕捉された画像のうち、最も合焦度が大きい距離を、当該領域における合焦距離として算出する（Ｓ１１５０）。続いて、主要被写体距離算出手段１４６は、複数の領域のうち、同一の合焦距離を有する複数の領域を検出し、それぞれの領域の面積と、当該領域に対して予め定められた重みとの積を算出する。そして、主要被写体距離算出手段１４６は、領域毎に算出した積の総和を求める。そして、主要被写体距離算出手段１４６は、それぞれの合焦距離について、当該合焦距離に対して予め定められた距離重みを先に求めた総和に乗じた値を算出する。主要被写体距離算出手段１４６は、以上の処理を、同一の合焦距離を有する領域群のそれぞれに対して行い、算出した値の大きい順に複数の合焦距離を選択し、値の最も大きい合焦距離を主要被写体距離に、それ以外を主要被写体距離の候補として選択する（Ｓ１１６０）。続いて、領域選択手段１４８は、算出された主要被写体距離を合焦距離として有する複数の領域を、主要被写体として検出する（Ｓ１１７０）。

図８は、Ｓ１０２０及びＳ１０３０の詳細を示すフローチャートである。自動焦点手段１２２は、領域選択手段１４８によって選択された領域、即ち主要被写体に焦点を合わせるべく、光学系１０２を制御する（Ｓ１２００）。また、露出選択手段１２４は、領域選択手段１４８によって選択された領域、即ち主要被写体に、他の領域よりも大きな重みを付けて画像の露出度を選択する（Ｓ１２１０）。また、ホワイトバランス設定手段１２６は、領域選択手段１４８によって選択された領域、即ち主要被写体に、他の領域よりも大きな重みを付けて画像のホワイトバランスを設定する（Ｓ１２２０）。

続いて、撮像手段１００は、選択された主要被写体に基づいて制御された、焦点、露出度、及びホワイトバランスの設定等の撮像条件に基づいて、被写体の画像を捕捉する（Ｓ１２３０）。続いて、表示手段５０は、捕捉された画像を表示する（Ｓ１２４０）。続いて、枠表示手段４０は、領域選択手段１４８が選択した領域を囲む枠を、捕捉された画像に重畳して表示手段５０に表示させる（Ｓ１２５０）。

図９は、Ｓ１０４０の詳細を示すフローチャートである。撮像装置２０は、利用者によりレリーズスイッチが全押しされたか否かを判定する（Ｓ１３００）。レリーズスイッチが全押しされていない場合（Ｓ１３００：Ｎｏ）、撮像装置２０は、変更操作手段１５０が主要被写体距離を変更したか否かを判定する（Ｓ１３１０）。主要被写体距離が変更されていない場合（Ｓ１３１０：Ｎｏ）、撮像装置２０は、処理をＳ１３００に戻し、再度レリーズスイッチが全押しされたか否かを判定する。

主要被写体距離が変更された場合（Ｓ１３１０：Ｙｅｓ）、即ち、利用者が変更操作手段１５０を用いて主要被写体距離算出手段１４６における主要被写体距離の候補の何れかに主要被写体距離を変更した場合、主要被写体距離算出手段１４６は、変更された主要被写体距離を領域選択手段１４８に出力する。そして、領域選択手段１４８は、変更された主要被写体距離だけ離れている領域を再度選択する（Ｓ１１７０）。

続いて、自動焦点手段１２２は、変更された主要被写体距離に焦点を合わせるべく光学系１０２を駆動させる（Ｓ１２００）。また、露出選択手段１２４は、変更された主要被写体距離に対応して選択された領域に、他の領域よりも大きな重みを付けて画像の露出度を選択する（Ｓ１２１０）。また、ホワイトバランス設定手段１２６は、変更された主要被写体距離に対応して選択された領域に、他の領域よりも大きな重みを付けてホワイトバランスを設定する（Ｓ１２２０）。

続いて、撮像手段１００は、変更された主要被写体距離に基づいて変更された撮像条件を用いて被写体の画像を捕捉する（Ｓ１２３０）。そして、表示手段５０は、捕捉された画像を表示する（Ｓ１２４０）。更に、枠表示手段４０は、変更された主要被写体距離に基づいて選択された領域を囲む枠を、表示手段５０に表示させることにより、主要被写体が変更されたことを利用者に通知する（Ｓ１２５０）。
一方、レリーズスイッチが全押しされた場合（Ｓ１３００：Ｙｅｓ）、撮像装置２０は、処理をＳ１０５０に進め、被写体像の撮像を行う。

本実施形態に係る撮像装置２０によれば、主要被写体選択手段１４０により認識された主要被写体に基づいて焦点、露出度、及びホワイトバランス等の撮像条件を決定して撮像手段１００を制御することにより、利用者が所望する画像を高い品質で撮像することができる。

図１０は、本実施形態に係る画像補正手段３０の構成の一例を示すブロック図である。本実施形態に係る画像補正手段３０は、撮像装置２０により撮像された画像に基づいて、名称検索手段３２が当該画像における主要被写体の名称を画像データベース３８から検索する場合に、理想的なアングルで主要被写体が撮像されていない場合であっても、撮像された画像を補正することにより、名称検索手段３２において精度の高い検索結果を得ることを目的とする。ここで、理想的なアングルとは、撮像された画像において、被写体の特徴が最もよく現れる、被写体を精度よく識別する場合に理想的なアングルのことであり、例えば、被写体が魚である場合には真横である。また、画像データベース３８において、被写体毎に格納されている画像を撮像したアングルは、このような理想的なアングルであることが望ましい。

画像補正手段３０は、撮像装置２０から、連続して撮像された複数の画像を受け取る。ここで、連続して撮像された画像とは、連続して撮像された静止画であってよく、また、撮影された動画から抽出された、連続するフレーム画像であってもよい。また、連続して撮像された画像とは、非常に短い時間間隔、例えば１／３０秒等の時間間隔で続けて撮像された画像である必要はなく、主要被写体の移動方向が大きく変化しない程度の時間間隔で撮像された画像であることが、後述の計算を容易にするためには好ましい。

画像補正手段３０は、撮像方向変化算出手段３００、移動方向算出手段３１０、移動方向画像補正手段３２０、傾き計測手段３３０、及び上下方向画像補正手段３４０を有する。撮像方向変化算出手段３００は、撮像手段１００の撮像方向の変化を算出し、その結果を移動方向算出手段３１０に出力する。移動方向算出手段３１０は、撮像装置２０から受け取った、連続して撮像された画像に基づいて、３次元空間内における主要被写体の移動方向を算出し、算出した結果を移動方向画像補正手段３２０に出力する。

移動方向算出手段３１０は、大きさ変化検出手段３１２、位置変化検出手段３１４、位置変化補正手段３１６、及び結果算出手段３１８を含む。大きさ変化検出手段３１２は、撮像装置２０から、連続して撮像された画像、及びそれぞれの画像における主要被写体の領域を示す情報を受け取る。そして、大きさ変化検出手段３１２は、連続して撮像された各々の画像における主要被写体の大きさの変化を検出し、検出結果を結果算出手段３１８に出力する。

位置変化検出手段３１４は、撮像装置２０から、連続して撮像された画像、及びそれぞれの画像における主要被写体の領域を示す情報を受け取る。そして、位置変化検出手段３１４は、連続して撮像された各々の画像の、撮像装置２０の画角内における主要被写体の位置の変化を検出し、検出結果を位置変化補正手段３１６に出力する。位置変化補正手段３１６は、撮像方向変化算出手段３００から受け取った撮像方向の変化に基づいて、位置変化検出手段３１４により検出された主要被写体の位置の変化量を補正し、その結果を結果算出手段３１８に出力する。

結果算出手段３１８は、大きさ変化検出手段３１２から受け取った主要被写体の大きさの変化、及び位置変化補正手段３１６から受け取った、画角内における主要被写体の位置の変化に基づいて、主要被写体の移動方向を算出する。ここで、算出された移動方向は、例えば、予め定められた座標系、具体的には、レンズの中心を原点とし、光軸をＺ方向に、光軸に垂直な面における水平方向をＸ方向に、Ｚ方向とＸ方向との何れにも垂直な方向をＹ方向とする座標系におけるベクトルとして算出されてよい。

移動方向画像補正手段３２０は、結果算出手段３１８により算出された、主要被写体の移動方向に基づいて、撮像装置２０により撮像された画像における主要被写体の画像を補正する。具体的には、移動方向画像補正手段３２０は、主要被写体の移動方向に基づいて、主要被写体の画像を、予め定められた方向から撮像した画像に補正する。ここで、予め定められた方向とは、例えば、名称検索手段３２が主要被写体の名称の検索に用いる画像データベース３８に格納されている被写体の画像が撮像された方向である。より具体的には、画像データベース３８に格納されている被写体の画像が、当該被写体の移動方向を、撮像方向に垂直な面内の水平左向き方向とするアングルで撮像されている場合に、移動方向画像補正手段３２０は、算出した主要被写体の移動方向を、撮像方向に垂直な面内の水平左向き方向にするべく、当該画像に対して変形や回転等の処理を行うことにより、当該画像を補正する。また、移動方向画像補正手段３２０は、撮像された画像における主要被写体の領域を示す情報を、補正した画像においても主要被写体の領域を示すべく補正する。そして、移動方向画像補正手段３２０は、補正した画像、及び当該画像における、主要被写体の領域を示す補正した情報を、上下方向画像補正手段３４０に出力する。

傾き計測手段３３０は、撮像手段１００の上下方向の傾きを計測し、計測結果を上下方向画像補正手段３４０に出力する。例えば、傾き計測手段３３０は、撮像手段１００に設けられた重りや加速度センサ等を用いることにより、撮像手段１００の上下方向の傾きを計測する。上下方向画像補正手段３４０は、移動方向画像補正手段３２０から、主要被写体の移動方向に基づいて補正された画像、及び当該画像における主要被写体の領域を示す情報を受け取る。そして、上下方向画像補正手段３４０は、傾き計測手段３３０によって計測された傾きを用いて、主要被写体の画像を、予め定められた方向から撮像した画像に補正する。ここで、予め定められた方向から撮像した画像とは、例えば水平方向や鉛直方向から撮像した画像、つまり、主要被写体の真横や真上から撮像した画像であり、名称検索手段３２が主要被写体の名称の検索に用いる画像データベース３８におけるアングルに一致していることが望ましい。また、上下方向画像補正手段３４０は、受け取った画像における主要被写体の領域を示す情報を、補正した画像においても主要被写体の領域を示すべく補正する。そして、上下方向画像補正手段３４０は、補正した画像、及び当該画像における、主要被写体の領域を示す補正した情報を、名称検索手段３２に出力する。

図１に示した名称検索手段３２は、移動方向算出手段３１０により算出された主要被写体の移動方向、及び傾き計測手段３３０により計測された撮像手段１００の傾きに基づいて、主要被写体の名称を検索する。具体的には、名称検索手段３２は、上下方向画像補正手段３４０から、主要被写体の移動方向、及び撮像手段１００における上下方向の傾きに基づいて補正された画像、及び当該画像における主要被写体の領域を示す情報を受け取る。そして、名称検索手段３２は、受け取った画像画像における主要被写体の特徴、例えば主要被写体の二値化画像、輪郭形状、色分布等を抽出し、抽出した特徴を用いて、画像データベース３８から主要被写体の名称を検索する。そして、名称検索手段３２は、画像データベース３８から受け取った検索結果を、表示手段５０により表示させて利用者に提供する。

本実施形態に係るデジタル図鑑システム１０によれば、主要被写体の移動方向、及び撮像手段１００における上下方向の傾きを用いて補正した画像を用いることにより、理想アングルで撮像していない場合であっても、精度の高い検索結果を得ることができる。これにより、ダイビング中のように、利用者が主要被写体を見上げたり見下ろしたりすることが多く、また、被写体が様々な方向に移動することにより、常に理想的なアングルで被写体を撮像することが困難な場合であっても、精度の高い検索結果を得ることができる。

なお、本図に示した画像補正手段３０の構成は一例であり、本図の構成に多様な変更を加えてもよい。例えば、画像補正手段３０は、移動方向画像補正手段３２０及び上下方向画像補正手段３４０の何れか一方を有していなくともよい。この場合、画像補正手段３０は、移動方向及び上下方向の何れか一方についてのみ画像を補正し、名称検索手段３２により検索させる。また、例えば、画像補正手段３０は、主要被写体の画像を補正するのに代えて、撮像装置２０により撮像された画像と、当該画像における主要被写体の領域を示す情報と、移動方向算出手段３１０により算出された主要被写体の移動方向、及び傾き計測手段３３０により計測された撮像方向の少なくとも一方を示す情報とを名称検索手段３２に出力してもよい。この場合、名称検索手段３２は、主要被写体の画像から抽出された特徴と、主要被写体の移動方向及び撮像方向の少なくとも一方とを画像データベース３８に送信し、それらの情報に基づいて、主要被写体の名称を検索させる。

図１１は、本実施形態に係る移動方向算出手段３１０の処理の一例を示す。図１１（ａ）は、撮像手段１００により連続して撮像した画像における、主要被写体の像の変化を示す。本実施形態に係る移動方向算出手段３１０は、連続して撮像した２つの画像において主要被写体がＡからＢに移動している場合に、主要被写体の移動方向を、図１１（ａ）に示した画像に垂直な方向の成分も含めて算出することを目的とする。

移動方向算出手段３１０は、まず、ＡとＢとを含む平面における、主要被写体の移動方向のベクトルを算出し、その後、算出したベクトルに対して、予め定められた座標系への座標変換を行い、得られた結果を移動方向画像補正手段３２０に出力する。ここで、予め定められた座標系とは、例えば、レンズの中心を原点とし、光軸をＺ方向に、光軸に垂直な面における水平方向をＸ方向に、Ｚ方向とＸ方向との何れにも垂直な方向をＹ方向とする座標系である。

大きさ変化検出手段３１２は、連続して撮像された画像のそれぞれで主要被写体の画像に対する輪郭抽出処理を行い、その結果に基づいて、主要被写体における、画像や外接矩形の辺の長さ等の変化として、主要被写体の大きさの変化を検出する。位置変化検出手段３１４は、撮像した画像内における主要被写体の移動距離と、撮像手段１００、具体的には光学系１０２における画角とに基づいて、主要被写体の位置変化を角度で検出する。

撮像方向変化算出手段３００は、連続して撮像された画像のそれぞれにおける、主要被写体を除いた背景画像を抽出する。そして、撮像方向変化算出手段３００は、それぞれの画像における背景画像の移動方向及び移動量を算出することにより、撮像方向の変化量を算出する。ここで、撮像手段１００により撮像される画像においては、大半の領域が背景画像である場合が多いので、撮像方向変化算出手段３００は、撮像された画像全体の移動方向及び移動距離を算出することにより、撮像方向の変化量を算出してもよい。また、これに変えて、撮像方向変化算出手段３００は、例えば加速度センサを用いることにより、撮像手段１００の回転についての情報を取得し、その情報に基づいて撮像方向の変化量を算出してもよい。そして、位置変化補正手段３１６は、位置変化検出手段３１４の検出結果に、撮像方向変化算出手段３００により算出された変化量を加えることにより、検出された主要被写体の位置の変化量を補正し、その結果を結果算出手段３１８に出力する。これにより、利用者は、撮像手段１００の画角内に限定されることなく、広い範囲で主要被写体を捕捉して撮像し、当該主要被写体の名称を検索することができる。

図１１（ｂ）は、主要被写体が移動する面における、移動方向の算出処理の一例を示す。本例において、主要被写体が画像上をＡからＢに移動した場合に、大きさ変化検出手段３１２は、主要被写体の大きさの変化の割合をα（面積の変化の割合はαの二乗）と検出したとする。また、位置変化補正手段３１６は、主要被写体の位置変化の角度を、撮像手段１００のレンズの中心を通る、投影面における直線ＡＢに垂直な線で二分して、それぞれφ１及びφ２として出力したとする。本図において、ＯＸ及びＯＹに挟まれた領域は、撮像手段１００により撮像可能な空間を、ＡとＢとを通る平面で切断した場合の、断面である。また、本図において、移動方向算出手段３１０が算出すべき主要被写体の移動方向は、角度θにより示される。

移動方向算出手段３１０は、主要被写体の実際の大きさについての情報を有していないので、大きさ変化検出手段３１２により検出される主要被写体の大きさの変化量、及び位置変化補正手段３１６により出力される主要被写体の位置の変化量のみを用いる場合には、主要被写体がＡ及びＢを通る直線上と、Ａ'及びＢ'を通る直線上との何れを移動したのかを判定することはできない。しかし、ＯＡとＯＢとの比、及びＯＡ'とＯＢ'との比は等しい、つまり、三角形ＯＡＢと三角形ＯＡ'Ｂ'とは相似なので、主要被写体がＡとＢとを通る直線上を移動した場合と、Ａ'とＢ'とを通る直線上を移動した場合とでは、それぞれの直線が撮像方向に垂直な面となす角θ及びθ'の大きさは変わらない。また、本例において、移動方向算出手段３１０は、主要被写体の移動方向としてθ又はθ'のみを算出すればよく、主要被写体が何れの直線上を移動したか、言い換えれば、主要被写体が実際に移動した距離を算出する必要はない。従って、本例においては、撮像手段１００からＡまでの距離、すなわちＯＡを１とする。従って、本例において、ＯＢは１／αとなる。

結果算出手段３１８は、主要被写体がＡからＢに移動した場合の、撮像方向に垂直な方向の移動距離ＡＤを、次の数式により算出する。

次に、結果算出手段３１８は、主要被写体がＡからＢに移動した場合の、撮像方向に平行な方向の移動距離ＤＢを、次の数式により算出する。

更に、結果算出手段３１８は、次の数式により、θの正接を算出する。

そして、結果算出手段３１８は、例えば三角関数テーブル等を参照することにより、θを算出する。そして、結果算出手段３１８は、ＡとＢとを含む平面上に存在し、撮像方向に垂直な方向に角度θの傾きを有するベクトルを算出し、当該ベクトルを予め定められた座標系に座標変換することにより、主要被写体の移動方向を示すベクトルを算出する。

図１２は、本実施形態に係る移動方向画像補正手段３２０における処理の一例を示す。図１２（ａ）は、主要被写体の移動方向のベクトル４００の一例を示す俯瞰図である。図１２（ｂ）は、撮像装置２０により撮像された画像の一例を示す。図１２（ｃ）は、移動方向画像補正手段３２０により補正された画像の一例を示す。図１２（ｄ）は、移動方向画像補正手段３２０により更に補正された画像の一例を示す。

移動方向画像補正手段３２０は、移動方向算出手段３１０により算出された移動方向のベクトル４００を撮像方向４０２に垂直な面４０４に投影した投影ベクトル４０６の長さを、移動方向のベクトル４００の長さに伸張するのに必要な割合だけ、主要被写体の画像４０８を投影ベクトル４０６の方向へ伸張させることによって、主要被写体の画像４０８を画像４１０に補正する。また、移動方向画像補正手段３２０は、回転処理を行うことにより画像４１０を更に補正し、補正した画像４１２を上下方向画像補正手段３４０に出力する。

本実施形態に係るデジタル図鑑システム１０によれば、主要被写体の３次元空間内における移動方向が撮像方向に垂直な成分を有しており、撮像した画像における主要被写体の画像が変形している場合であっても、例えば主要被写体を真横から見た画像等の、理想的なアングルの画像に補正することにより、精度よく主要被写体の名称を検索することができる。

図１３は、本実施形態に係る名称検索手段３２の構成の一例を示すブロック図である。名称検索手段３２は、第１特徴抽出手段５００、第２特徴抽出手段５１０、付帯情報取得手段５２０、特徴点検出手段５３０、動き検出手段５４０、類似度算出手段５５０、名称選択手段５６０、及び識別特徴選択手段５７０を含む。

第１特徴抽出手段５００は、図１０に示した上下方向画像補正手段３４０から、主要被写体の移動方向及び撮像手段１００の傾きに基づいて補正された画像、及び当該補正された画像における、補正された主要被写体の領域を示す情報を受け取る。そして、第１特徴抽出手段５００は、当該補正された画像から、主要被写体の特徴を抽出する。そして、第１特徴抽出手段５００は、抽出した特徴を示す情報を、類似度算出手段５５０に出力する。第２特徴抽出手段５１０は、上下方向画像補正手段３４０から、補正された画像、及び当該補正された画像における、補正された主要被写体の領域を示す情報を受け取る。そして、第２特徴抽出手段５１０は、当該補正された画像から、主要被写体とは異なる被写体の特徴を抽出する。そして、第２特徴抽出手段５１０は、抽出した特徴を示す情報を、類似度算出手段５５０に出力する。

付帯情報取得手段５２０は、撮像装置２０により撮像された画像に付帯する付帯情報を、画像補正手段３０を介して取得する。ここで、付帯情報は、例えば、画像が撮像されたときに、撮像装置２０が有するＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）機能により取得された撮像地点の緯度、軽度、高度、及び深度を含んでいてよい。また、付帯情報は、例えば、撮像装置２０が有するカレンダー機能により取得された撮影日時、及び当該撮像日時に基づく季節情報を含んでいてよい。また、付帯情報は、例えば、撮像装置２０が有する温度計により取得された気温または水温を含んでいてよい。また、付帯情報は、例えば、主要被写体距離算出手段１４６により算出された、撮像装置２０から主要被写体までの距離、画像内における主要被写体の大きさ、及び撮像装置２０における撮像倍率等により算出された、主要被写体における実際の大きさを示す情報を含んでいてよい。そして、付帯情報取得手段５２０は、取得した付帯情報を、類似度算出手段５５０に出力する。

特徴点検出手段５３０は、例えばデジタルビデオカメラである撮像装置２０が動画像を撮像する場合に、上下方向画像補正手段３４０から、当該動画像に含まれる複数のフレーム画像のそれぞれが補正された画像、及び当該画像における、補正された主要被写体の領域を示す情報を受け取る。そして、特徴点検出手段５３０は、受け取ったそれぞれの画像における主要被写体に含まれる特徴点を検出する。そして、特徴点検出手段５３０は、受け取った画像のそれぞれ、当該画像における主要被写体の領域を示す情報、及び当該画像において検出した特徴点の位置を、動き検出手段５４０に出力する。動き検出手段５４０は、撮像装置２０によって撮像された動画像に含まれる複数のフレーム画像のそれぞれにおける主要被写体に基づいて、主要被写体の動きを検出する。具体的には、動き検出手段５４０は、特徴点検出手段５３０によって検出された特徴点の位置の、当該複数のフレーム画像のそれぞれにおける変化に基づいて、主要被写体の動きを検出してよい。そして、動き検出手段５４０は、検出した主要被写体の動きを示す情報を、類似度算出手段５５０に出力する。

類似度算出手段５５０は、第１特徴抽出手段５００から受け取った主要被写体の特徴に基づいて、画像データベース３８に名称が格納されている複数の被写体のそれぞれと、主要被写体との間の類似度を算出する。具体的には、類似度算出手段５５０は、画像データベース３８に名称が格納されている複数の被写体のそれぞれについて、画像データベース３８に格納されている当該被写体の特徴を示す情報を、通信手段３４を介して画像データベース３８から取得する。そして、類似度算出手段５５０は、当該複数の被写体のそれぞれについて、当該被写体の特徴と、第１特徴抽出手段が抽出した主要被写体の特徴を比較することにより、当該複数の被写体のそれぞれと主要被写体との間の類似度を算出する。

ここで、類似度算出手段５５０は、第２特徴抽出手段５１０から受け取った、補正された画像における主要被写体とは異なる被写体が有する特徴に更に基づいて、当該複数の被写体のそれぞれと、主要被写体との間の類似度を算出してもよい。また、類似度算出手段５５０は、付帯情報取得手段５２０から受け取った、撮像された画像に付帯する付帯情報に更に基づいて、当該複数の被写体のそれぞれと、主要被写体との間の類似度を算出してもよい。また、類似度算出手段５５０は、動き検出手段５４０から受け取った、主要被写体の動きを示す情報に更に基づいて、当該複数の被写体のそれぞれと、主要被写体との間の類似度を算出してもよい。そして、類似度算出手段５５０は、算出した類似度を、名称選択手段５６０に出力する。

名称選択手段５６０は、画像データベース３８に名称が格納されている複数の被写体のそれぞれについて、類似度算出手段５５０によって算出された、当該被写体と主要被写体との間の類似度に基づいて、当該複数の被写体の名称の中から、主要被写体の名称を選択する。例えば、名称選択手段５６０は、当該複数の被写体の名称のうち、類似度が最も高い１つの被写体の名称を選択してよい。これに代えて、名称選択手段５６０は、例えば、当該複数の被写体の名称のうち、類似度が最も高い、予め定められた数の被写体の名称を選択してよい。ここで、予め定められた数とは、例えば利用者によって定められた数であってよく、また、例えば最も高い類似度の値等によって示される、算出された類似度の分布に従って決まる値であってもよい。そして、名称選択手段５６０は、選択した名称を表示手段５０に表示させる。また、名称選択手段５６０は、選択した名称を、識別特徴選択手段５７０に出力する。

識別特徴選択手段５７０は、名称選択手段５６０により選択された複数の名称が示す被写体のそれぞれを、被写体が有する特徴を互いに比較することによって識別する場合に、被写体が有する互いに異なる種類の特徴の中で、最も容易にそれぞれの被写体を識別することのできる特徴である識別特徴を選択する。そして、識別特徴選択手段５７０は、選択した識別特徴を示す情報を表示手段５０に表示させる。

本実施形態に係るデジタル図鑑システム１０によれば、撮像した画像に対して、主要被写体を水平方向から撮像した画像や、鉛直方向から撮像した画像となるべく補正を行った画像や、または、主要被写体の移動方向に基づいて補正を行った画像から、主要被写体の特徴を抽出することができる。そして、画像データベースに格納されているそれぞれの被写体の特徴と、抽出した主要被写体の特徴とを比較して、それぞれの被写体と主要被写体との間の類似度を算出すると共に、当該類似度に基づいて、主要被写体の名称を検索することができる。これにより、主要被写体を、理想的なアングルから撮像できない場合であっても、精度よく主要被写体の名称を検索することができる。

一方、画像を撮像するアングルによっては、主要被写体において特徴的な部位を含む画像を撮像できていないことにより、主要被写体の名称を一意に決定することが困難な場合がある。しかし、デジタル図鑑システム１０によれば、類似度が高い複数の被写体の名称を表示することにより、主要被写体の名称を一意に決定することが困難であるにも関わらず、比較的類似度の高い１つの被写体の名称のみを表示する場合に比べて、より正確な情報を利用者に提供することができる。

図１４は、本実施形態に係る画像データベース３８の第１の例を示す。本例において、画像データベース３８は、被写体の特徴に加えて、被写体に対して関連性の高い物体が有する特徴に更に対応づけて、被写体の名称を格納している。ここで、被写体の特徴は、例えば、被写体を、水平方向等の理想アングルから撮像した画像、または、当該画像から公知の画像処理技術を用いて抽出される、輪郭形状、二値化画像、色分布、模様といった、多様な情報を含んでいてよい。そして、本例における画像データベース３８は、被写体に対して関連性の高い物体が有する特徴として、被写体の背景の特徴を格納している。例えば、画像データベース３８は、魚の名称及び特徴を対応づけて格納している場合において、当該魚の生息場所である岩場や珊瑚といった、当該魚を撮像した場合において、撮像した画像の背景に存在する可能性の高い物体の特徴を格納している。そして、類似度算出手段５５０は、画像データベース３８に名称が格納されている複数の被写体のそれぞれについて、画像データベース３８に格納されている当該被写体の特徴を示す情報、及び当該被写体に対して関連性の高い物体が有する特徴を示す情報を、通信手段３４を介して取得する。

続いて、類似度算出手段５５０は、当該複数の被写体のそれぞれについて、当該被写体の特徴と、第１特徴抽出手段５００が抽出した主要被写体の特徴とを比較すると共に、当該被写体に対して関連性の高い物体が有する特徴と、第２特徴抽出手段５１０が抽出した、主要被写体とは異なる被写体の特徴とを比較することにより、当該複数の被写体のそれぞれと主要被写体との間の類似度を算出する。例えば、類似度算出手段５５０は、当該複数の被写体のそれぞれについて、画像データベース３８から取得した、当該被写体の背景の特徴と、画像補正手段３０によって補正された画像の中の、主要被写体以外の画像から抽出した特徴とを比較することにより、類似度を算出してよい。ここで、類似度算出手段５５０は、例えば、画像データベース３８に格納されている被写体の特徴と、主要被写体の特徴との類似度を算出した後で、画像補正手段３０によって補正された画像の中の、主要被写体以外の画像から抽出した特徴に、画像データベース３８に格納されている背景の特徴に対して、利用者等によって予め定められた基準値以上の類似度で類似する特徴が含まれている場合には、例えば３０％等として予め定められた割合だけ、算出した類似度を増加させることにより、それぞれの被写体と主要被写体との間の類似度を算出してよい。

そして、名称選択手段５６０は、当該複数の被写体のそれぞれについて算出された類似度に基づいて、当該複数の被写体の名称から、主要被写体の名称を選択すると共に、選択した名称を、表示手段５０に表示させる。

本実施形態に係るデジタル図鑑システム１０によれば、撮像した画像における主要被写体の特徴だけでなく、例えば背景の物体や、周囲に存在する可能性の高い物体等の、当該主要被写体に対して関連性の高い他の被写体の特徴に更に基づいて、主要被写体の名称を検索することができる。これにより、主要被写体の名称を、より高い精度で検索することができる。

図１５は、本実施形態に係る画像データベース３８の第２の例を示す。本例において、画像データベース３８は、被写体の特徴に加えて、被写体の画像に付帯する付帯情報に更に対応づけて、被写体の名称を格納している。具体的には、本例における画像データベース３８は、付帯情報として、被写体の画像を撮像する場合の水温の範囲、即ち当該被写体が生息している水温の範囲を格納している。そして、類似度算出手段５５０は、画像データベース３８に名称が格納されている複数の被写体のそれぞれについて、画像データベース３８に格納されている当該被写体の特徴を示す情報、及び当該被写体を撮像する場合の水温の範囲を取得する。

続いて、類似度算出手段５５０は、当該複数の被写体のそれぞれについて、当該被写体の特徴と、第１特徴抽出手段５００が抽出した主要被写体の特徴とを比較すると共に、当該被写体の画像に付帯する付帯情報と、付帯情報取得手段５２０が取得した付帯情報とを比較することにより、当該複数の被写体のそれぞれと主要被写体との間の類似度を算出する。ここで、類似度算出手段５５０は、例えば、画像データベース３８に格納されている被写体の特徴と、主要被写体の特徴との類似度を算出した後で、撮像装置２０が画像を撮像した時の水温が、画像データベース３８に格納されている水温の範囲に含まれている場合には、例えば３０％等として予め定められた割合だけ、算出した類似度を増加させることにより、それぞれの被写体と主要被写体との間の類似度を算出してよい。

そして、名称選択手段５６０は、当該複数の被写体のそれぞれについて算出された類似度に基づいて、当該複数の被写体の名称から、主要被写体の名称を選択すると共に、選択した名称を、表示手段５０に表示させる。

本実施形態に係るデジタル図鑑システム１０によれば、撮像した画像における主要被写体の特徴だけでなく、例えば撮像時の気温または水温や、撮像日時、或いは撮像地点といった、撮像した画像に付帯する付帯情報に更に基づいて、主要被写体の名称を検索することができる。これにより、主要被写体の名称を、より高い精度で検索することができる。

図１６は、本実施形態に係る識別特徴選択手段５７０における処理の一例を示す。識別特徴選択手段５７０は、名称選択手段５６０が複数の名称を選択した場合に、当該複数の名称のそれぞれに対応づけて画像データベース３８に格納されている、互いに異なる種類の特徴の中で、被写体の名称毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する。以降、識別特徴選択手段５７０が選択する識別特徴の具体例について説明する。

図１６（ａ）は、被写体毎及び特徴の種類毎の、特徴の確かさの分布の一例を示す。本図に示した、被写体（イシダイ、マダイ、・・・）のそれぞれと、特徴の種類（特徴Ａ、特徴Ｂ、・・・）のそれぞれとに対応付けられた特徴の確かさの分布は、特徴の値を示す特徴量と、被写体がそれぞれの名称を有する確率との相関を示す。具体的には、分布６００は、被写体から抽出した特徴量がＶ１である場合、その被写体がイシダイである確率がＰ１であることを示す。図１６（ｂ）は、特徴Ａにおけるイシダイ及びマダイのそれぞれに対応する特徴の確かさの分布の重ね合わせを示す。図１６（ｃ）は、特徴Ｂにおけるイシダイ及びマダイのそれぞれに対応する特徴の確かさの分布の重ね合わせを示す。

図１６（ｂ）に示すように、特徴Ａにおいて特徴量がＶ５である被写体には、イシダイ及びマダイの双方が含まれる。これは、特徴Ａにおいて、イシダイ及びマダイの特徴の確かさの分布の重なりが大きいためである。つまり、名称選択手段５６０によって、イシダイ及びマダイという２つの名称が選択された場合には、特徴Ａに着目してそれぞれを識別することは容易ではない。一方、図１６（ｃ）に示すように、特徴Ｂにおいて特徴量がＶ６である被写体には、イシダイは含まれているがマダイは含まれていない。これは、特徴Ｂにおいて、イシダイ及びマダイの特徴の確かさの分布の重なりが小さいためである。つまり、名称選択手段５６０によって、イシダイ及びマダイという２つの名称が選択された場合には、特徴Ｂに着目することにより、それぞれを、より容易に識別することができる。

識別特徴選択手段５７０は、本図に示したような、被写体毎及び特徴毎の特徴の確かさの分布の重なりの大きさを、画像データベース３８から取得する。そして、識別特徴選択手段５７０は、イシダイとマダイとを識別する必要がある場合には、識別特徴として特徴Ｂを選択する。そして、識別特徴選択手段５７０は、選択した識別特徴を示す情報を、表示手段５０に表示させる。例えば、画像データベース３８によって、被写体が有する特徴のそれぞれに対応づけて、当該被写体における当該特徴が示す部位の画像が格納されている場合に、識別特徴選択手段５７０は、名称選択手段５６０が選択した複数の名称のそれぞれについて、当該名称に対応する被写体における、選択した識別特徴が示す部位の画像を、画像データベース３８から読み出す。そして、識別特徴選択手段５７０は、名称選択手段５６０が選択した複数の名称のそれぞれに対応づけて、画像データベース３８から読み出した、当該名称の被写体における識別特徴を示す部位の画像を、表示手段５０に表示させてよい。

図１３において説明したように、本実施形態に係るデジタル図鑑システム１０によれば、主要被写体において特徴的な部位を含む画像を撮像できておらず、主要被写体の名称を一意に決定することが困難な場合には、主要被写体に対する類似度が高い複数の被写体の名称を表示することができる。そして、この場合、更に、識別特徴選択手段５７０が選択した識別特徴を示す情報を利用者に提供することにより、利用者が、デジタル図鑑システム１０を用いて被写体を観察することを、より手厚く補助することができる。例えば、外見が類似する複数の魚の名称を表示した場合に、それぞれの魚において互いに大きく異なる特徴である尾ひれの模様を示す画像を、それぞれの名称に並べて更に表示することにより、利用者に対して、それぞれの魚を、どのようにして識別すればよいかを示す情報を提供することができる。

図１７は、本実施形態に係る動き検出手段５４０における処理の一例を示す。本例において、撮像装置２０は動画像を撮像する。そして、撮像された動画像は、フレーム画像６１０及びフレーム画像６２０を含む。まず、特徴点検出手段５３０は、フレーム画像６１０における主要被写体６１２に含まれる特徴点６１４を検出する。続いて、特徴点検出手段５３０は、フレーム画像６２０における主要被写体６２２に含まれる特徴点６２４を検出する。ここで、特徴点検出手段５３０は、主要被写体に含まれる特徴点として、主要被写体に含まれる複数の部位のうち、複数のフレーム画像の間での形状または位置の変化がより大きい部位に含まれる点を選択してよい。なお、この場合、特徴点検出手段５３０は、複数のフレーム画像を一時的に保持することのできるバッファメモリを含んでいてよい。また、本図では、特徴点検出手段５３０は、主要被写体において１個の特徴点を検出しているが、これに代えて、複数の特徴点をそれぞれのフレーム画像において検出してもよい。

そして、類似度算出手段５５０は、特徴点６１４の位置から、特徴点６２４の位置への変化に基づいて、主要被写体の動きを検出する。例えば、類似度算出手段５５０は、特徴点の位置の変化を示す変位ベクトルを、主要被写体の動きを示す情報として検出してよい。なお、類似度算出手段５５０は、特徴点検出部５５０によって検出された特徴点の位置の変化に代えて、例えば、主要被写体全体の画像の変化や、主要被写体の輪郭形状の変化等の、他の情報に基づいて、主要被写体の動きを検出してもよい。

一方、本例における画像データベース３８は、被写体の特徴に加えて、被写体の動きを示す動き情報に更に対応づけて、被写体の名称を格納している。ここで、動き情報とは、例えば、被写体が動いた場合の、当該被写体が有する部位に含まれる特徴点の位置の時間変化を示す変位ベクトルであってよく、また、動いている被写体を示す動画像であってもよい。また、動き情報とは、例えば、画像データベース３８が、被写体の画像を３次元モデル等の３次元情報として格納している場合における、当該被写体が動いた場合の、当該３次元モデルの時間変化を示す情報であってもよい。

そして、類似度算出手段５５０は、画像データベース３８に名称が格納されている複数の被写体のそれぞれについて、画像データベース３８に格納されている当該被写体の特徴を示す情報、及び当該被写体の動き情報を取得する。続いて、類似度算出手段５５０は、当該複数の被写体のそれぞれについて、当該被写体の特徴と、第１特徴抽出手段５００が抽出した主要被写体の特徴とを比較すると共に、動き情報が示す当該被写体の動きと、動き検出手段５４０が検出した主要被写体の動きとを比較することにより、当該複数の被写体のそれぞれと主要被写体との間の類似度を算出する。ここで、類似度算出手段５５０は、例えば、画像データベース３８に格納されている被写体の特徴と、主要被写体の特徴との類似度を算出した後で、主要被写体の尾ひれを示す部位に含まれる特徴点の変位ベクトルと、画像データベース３８に格納されている、尾ひれを示す部位に含まれる特徴点の変位ベクトルとが、例えば利用者等によって予め定められた基準値以上の類似度で類似している場合には、例えば３０％等として予め定められた割合だけ、算出した類似度を増加させることにより、それぞれの被写体と主要被写体との類似度を算出してよい。

そして、名称選択手段５６０は、当該複数の被写体のそれぞれについて算出された類似度に基づいて、当該複数の被写体の名称から、主要被写体の名称を選択すると共に、選択した名称を、表示手段５０に表示させる。

本実施形態に係るデジタル図鑑システム１０によれば、静止画像から得られる画像の特徴等の情報だけでなく、動画像から得られる、主要被写体の動きを示す情報に更に基づいて、主要被写体の名称を検索することができる。これにより、主要被写体が特徴的な動きを示す場合等において、静止画像から得られる情報のみに基づいて検索する場合に比べて、より高い精度で主要被写体の名称を検索することができる。

また、主要被写体に含まれる特徴点の位置の変化に基づいて、主要被写体の動きを検出することにより、画像全体の変化に基づいて動きを検出する場合に比べて、より少ない情報量で、当該動きに基づいて主要被写体の名称を検索することができるので、検索処理の高速化や、デジタル図鑑システム１０の小型化を実現することができる。

なお、特徴点検出手段５３０及び動き検出手段５４０は、画像補正手段３０によって補正されたフレーム画像ではなく、補正される前のフレーム画像に基づいて、特徴点の検出及び主要被写体の動きの検出を行ってもよい。但し、この場合、類似度算出手段５５０は、動き検出手段５４０によって検出された動きの方向、例えば特徴点の変位ベクトルを、画像データベース３８に格納されている動き情報における動きの方向と略同一の座標系における方向とするべく、移動方向算出手段３１０によって算出された主要被写体の移動方向、及び画像データベース３８に格納されている被写体毎の移動方向、或いは、傾き計測手段３３０によって計測された撮像方向、及び画像データベース３８に格納されている画像の撮像方向に基づいて、動き検出手段５４０によって検出された動きの方向を補正してよい。

また、本例において、画像データベース３８は、被写体のそれぞれについて、被写体の特徴と動き情報とを格納しているが、これに代えて、画像データベース３８は、被写体の特徴を格納していなくともよい。この場合、類似度算出手段５５０は、動き検出手段５４０によって検出された主要被写体の特徴のみ、または、主要被写体の特徴とは異なる、他の特徴や情報等とを更に用いて、画像データベース３８に格納されている被写体と主要被写体との間の類似度を算出してよい。

図１８は、本実施形態に係るデジタル図鑑システム１０における処理の流れの一例を示すフローチャートである。まず、大きさ変化検出手段３１２は、撮像装置２０により連続して撮像された画像における、主要被写体の大きさの変化を検出する（Ｓ１４００）。続いて、位置変化検出手段３１４は、撮像装置２０により連続して撮像された画像における、主要被写体の位置の変化を、角度として検出する（Ｓ１４１０）。続いて、撮像方向変化算出手段３００は、撮像装置２０における撮像方向の変化を算出する（Ｓ１４２０）。続いて、位置変化補正手段３１６は、位置変化検出手段３１４により検出された主要被写体の位置の変化量を、撮像方向変化算出手段３００により算出された撮像方向の変化量に基づいて補正する（Ｓ１４３０）。

続いて、結果算出手段３１８は、大きさ変化検出手段３１２により検出された主要被写体の大きさ、及び位置変化補正手段３１６により補正された主要被写体の位置の変化に基づいて、３次元空間内における主要被写体の移動方向を算出する（Ｓ１４４０）。続いて、移動方向画像補正手段３２０は、撮像装置２０により撮像された主要被写体の画像を、移動方向算出手段３１０により算出された当該主要被写体の移動方向に基づいて補正する（Ｓ１４５０）。続いて、傾き計測手段３３０は、撮像手段１００の上下方向の傾きを計測する（Ｓ１４６０）。続いて、上下方向画像補正手段３４０は、傾き計測手段３３０により計測された傾きに基づいて、主要被写体の画像を補正する（Ｓ１４７０）。

続いて、名称検索手段３２は、主要被写体の移動方向、及び撮像手段１００の上下方向の傾きに基づいて補正された主要被写体の画像から特徴を抽出し、抽出した特徴を用いて、画像データベース３８から主要被写体の名称を検索する（Ｓ１４８０）。続いて、名称検索手段３２は、画像データベース３８から受け取った検索結果を表示手段５０に表示させて、利用者に提供する。

本実施形態に係るデジタル図鑑システム１０によれば、主要被写体の移動方向、及び撮像手段１００の上下方向の傾きに基づいて、画像データベース３８に格納されている画像を撮像した方向と同じ方向の画像に補正することができるので、画像及び画像から抽出した特徴を用いて検索した場合に、精度の高い検索結果を得ることができる。
また、画像データベース３８には、所定の方向から撮像した画像を格納するだけよく、画像データベースのデータ量を軽減することができる。
更に、デジタル図鑑システム１０がネットワーク３６を介して画像データベース３８に接続している場合には、デジタル図鑑システム１０の端末において画像補正処理を実行するので、画像データベース３８の負荷が軽減され、多数の利用者が同時に利用することができ、利便性が向上する。

図１９は、図１８に示したＳ１４８０の詳細を示すフローチャートである。まず、第１特徴抽出手段５００は、上下方向画像補正手段３４０によって補正された画像から、主要被写体の特徴を抽出する（Ｓ１５００）。続いて、類似度算出手段５５０は、第１特徴抽出手段５００から受け取った主要被写体の特徴に基づいて、画像データベース３８に名称が格納されている複数の被写体のそれぞれと、主要被写体との間の類似度を算出する（Ｓ１５１０）。

続いて、名称選択手段５６０は、画像データベース３８に名称が格納されている複数の被写体のそれぞれについて、類似度算出手段５５０によって算出された、当該被写体と主要被写体との間の類似度に基づいて、当該複数の被写体の名称の中から、主要被写体の名称を選択する（Ｓ１５２０）。そして、名称選択手段５６０は、図１８に示したＳ１４９０において、選択した名称を表示手段５０に表示させる。ここで、デジタル図鑑システム１０は、名称選択手段５６０が複数の名称を選択した場合には、表示している複数の名称の何れかを利用者に選択させると共に、選択された名称に対応する被写体の画像や詳細な説明といった情報を、画像データベース３８から更に読み出して、表示手段５０を用いて表示してもよい。

また、名称選択手段５６０は、画像データベース３８に名称が格納されている複数の被写体のすべてにおいて、類似度算出手段５５０によって算出された類似度が、例えば利用者等によって予め定められた基準値より低い場合に、主要被写体の名称が検索できなかった旨を、例えば表示手段５０に表示させることにより利用者に通知してもよい。

画像を撮像するアングルによっては、主要被写体において特徴的な部位を含む画像を撮像できず、主要被写体に対して十分に高い精度で類似している被写体を画像データベース３８から検索できない場合がある。しかし、デジタル図鑑システム１０によれば、このような場合であっても、検索できなかった旨を利用者に通知することにより、利用者に、例えば異なるアングルで再度撮像すべきであると認識させて、次回には、より高い確率で主要被写体の名称を検索することのできる画像を撮像させることができる。なお、本図において、名称検索手段３２は、主要被写体の特徴のみに基づいて主要被写体の名称を検索しているが、図１３から図１７にかけて説明したように、更に、主要被写体とは異なる被写体、撮像された画像に付帯する付帯情報、または主要被写体の動きに更に基づいて、主要被写体の説明を検索してもよい。

図２０は、本実施形態の変形例に係る画像データベース３８の一例を示す。図１４に示した画像データベース３８は、本実施形態の変形例に係るデジタル図鑑システム１０において、画像補正手段３０により補正された画像を検索に用いるのではなく、撮像装置２０により撮像された画像と、画像補正手段３０により算出された当該画像における主要被写体の移動方向、又は撮像手段１００の上下方向の傾きとを、名称検索手段３２が画像データベース３８に送信して、主要被写体の名称を検索させる場合に、特に有効に用いることができる。

本例における画像データベース３８は、複数の被写体のそれぞれについて、当該被写体の画像を３次元情報４２０として格納している。ここで、３次元情報４２０とは、対応する被写体の任意の方向への投影画像を生成することのできる情報であり、例えば、ポリゴン等のモデルデータ、及び当該モデルデータにマッピングすることのできるテクスチャデータである。また、画像データベース３８は、複数の被写体のそれぞれについて、当該被写体の画像の３次元情報４２０に加えて、当該３次元情報４２０と同じ座標系における、当該被写体の移動方向を示すベクトル４２２を格納している。

名称検索手段３２は、移動方向を示すベクトル４２２及び３次元情報４２０に基づいて画像データベース３８により生成された、撮像方向と垂直な面に投影した被写体の投影画像を用いて、画像データベース３８から主要被写体の名称を検索する。具体的には、名称検索手段３２は、撮像手段１００により撮像された画像から抽出した二値化画像等の特徴を示す情報、及び移動方向算出手段３１０により算出された当該画像における主要被写体の移動方向のベクトルを画像データベース３８に送信する。このベクトルは、例えば、撮像手段１００におけるレンズの中心を原点とし、光軸をＺ方向に、光軸に垂直な面における水平方向をＸ方向に、Ｚ方向とＸ方向との何れにも垂直な方向をＹ方向とする座標系におけるベクトルである等、撮像方向との関係が明確であるものが好ましい。そして、画像データベース３８は、受け取った移動方向のベクトルを被写体に対応付けて格納している移動方向のベクトル４２２に一致させるようにモデルデータの座標軸を回転させ、撮像方向に垂直な面にモデルデータを投影した場合の投影画像を生成する。そして、画像データベース３８は、生成した投影画像から抽出した二値化画像等の特徴を、名称検索手段３２から受け取った特徴と比較し、比較結果に基づいて、当該被写体を検索結果とするか否かを判定する。また、画像データベース３８は、名称検索手段３２から受け取った上下方向の傾きを更に用いて座標軸を回転させて、つまり、上下方向の傾きを主要被写体に対する撮像方向として用いて、投影画像を生成してもよい。

本実施形態に係るデジタル図鑑システム１０によれば、３次元情報４２０を有する画像データベース３８において、任意の方向の投影画像を生成して比較することにより、撮像手段１００により撮像した方向と同じ方向から見た場合の画像を用いて検索を行うことができるので、精度のよい検索結果を得ることができる。また、デジタル図鑑システム１０がネットワーク３６を介して画像データベース３８に接続している場合には、デジタル図鑑システム１０の端末における画像処理の負荷を軽減させることができるので、デジタル図鑑システム１０の製造コストを抑えることができる。

図２１は、本実施形態に係るデジタル図鑑システム１０の外観の一例を示す。本実施形態に係るデジタル図鑑システム１０は、撮像手段１００をダイビング用に耐圧防水する耐圧防水ケース１５を備える。これにより、利用者は、ダイビング中に発見した動物等の種類を、その場で、水中にいながらにして知ることができ、利便性が向上する。

図２２は、本実施形態に係るデジタル図鑑システム１０として動作させるパーソナルコンピュータ７０のハードウェア構成の一例を示すブロック図である。パーソナルコンピュータ７０は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インターフェース７０６と、ハードディスクドライブ７１０と、フレキシブルディスクドライブ７１２と、ＣＤ−ＲＯＭドライブ７１４とを備える。ＣＰＵ７００は、ＲＯＭ７０２及びＲＡＭ７０４に格納されたプログラムに基づいて動作し、各部の制御を行う。

フレキシブルディスクドライブ７１２は、フレキシブルディスク７２０からデータ又はプログラムを読み取り、ＲＡＭ７０４に格納する。ＣＤ−ＲＯＭドライブ７１４は、ＣＤ−ＲＯＭ７２２からデータ又はプログラムを読み取り、ＲＡＭ７０４に格納する。

デジタル図鑑システム１０に提供されるプログラムは、フレキシブルディスク７２０又はＣＤ−ＲＯＭ７２２等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは記録媒体から読み出され、デジタル図鑑システム１０にインストールされ、デジタル図鑑システム１０において実行される。記録媒体により提供されてデジタル図鑑システム１０にインストールされるプログラムは、デジタル図鑑システム１０に働きかけて、図１から図２１において説明したデジタル図鑑システム１０の機能を実行させる。

図２２に示した記録媒体の一例としてのフレキシブルディスク７２０又はＣＤ−ＲＯＭ７２２には、本出願で説明した実施形態におけるデジタル図鑑システム１０の動作の一部又は全ての機能を格納することができる。これらのプログラムは記録媒体から直接デジタル図鑑システム１０によって読み出されて実行されても、デジタル図鑑システム１０にインストールされた後にデジタル図鑑システム１０において実行されてもよい。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されてもよい。また、符号化した形態で格納されていてもよい。

記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤ、ＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアカードなどの半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の格納装置を記録媒体として使用し、通信網を介してプログラムをデジタル図鑑システム１０に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本実施形態に係るデジタル図鑑システム１０の構成の一例を示すブロック図である。 本実施形態に係る撮像ユニット２５の構成の一例を示すブロック図である。 本実施形態に係る合焦距離算出手段１４４における処理の一例を示す図である。 本実施形態に係る主要被写体距離算出手段１４６において用いられる重みの一例を示す図である。 本実施形態に係るデジタル図鑑システム１０の外観の一例を示す図である。 本実施形態に係る撮像装置２０の処理の一例を示すフローチャートである。 Ｓ１０１０の詳細を示すフローチャートである。 Ｓ１０２０及びＳ１０３０の詳細を示すフローチャートである。 Ｓ１０４０の詳細を示すフローチャートである。 本実施形態に係る画像補正手段３０の構成の一例を示すブロック図である。 本実施形態に係る移動方向算出手段３１０の処理の一例を示す図である。 本実施形態に係る移動方向画像補正手段３２０における処理の一例を示す図である。 本実施形態に係る名称検索手段３２の構成の一例を示すブロック図である。 本実施形態に係る画像データベース３８の第１の例を示す。 本実施形態に係る画像データベース３８の第２の例を示す。 本実施形態に係る識別特徴選択手段５７０における処理の一例を示す。 本実施形態に係る動き検出手段５４０における処理の一例を示す。 本実施形態に係るデジタル図鑑システム１０における処理の流れの一例を示すフローチャートである。 図１８に示したＳ１４８０の詳細を示すフローチャートである。 本実施形態の変形例に係る画像データベース３８の一例を示す図である。 本実施形態に係るデジタル図鑑システム１０の外観の一例を示す図である。 本実施形態に係るデジタル図鑑システム１０として動作させるパーソナルコンピュータ７０のハードウェア構成の一例を示すブロック図である。

符号の説明

１０ デジタル図鑑システム、１５ 耐圧防水ケース、２０ 撮像装置、２５ 撮像ユニット、３０ 画像補正手段、３２ 名称検索手段、３４ 通信手段、３６ ネットワーク、３８ 画像データベース、４０ 枠表示手段、５０ 表示手段、６０ ２次メモリ、１００ 撮像手段、１０２ 光学系、１０４ ＣＣＤ、１０６ 撮像信号処理手段、１１０ １次メモリ、１２０ 撮像制御手段、１２２ 自動焦点手段、１２４ 露出選択手段、１２６ ホワイトバランス設定手段、１４０ 主要被写体選択手段、１４２ 繰り返し捕捉手段、１４４ 合焦距離算出手段、１４６ 主要被写体距離算出手段、１４８ 領域選択手段、２０２ 遠距離ボタン、２０４ 近距離ボタン、３００ 撮像方向変化算出手段、３１０ 移動方向算出手段、３１２ 大きさ変化検出手段、３１４ 位置変化検出手段、３１６ 位置変化補正手段、３１８ 結果算出手段、３２０ 移動方向画像補正手段、３３０ 傾き計測手段、３４０ 上下方向画像補正手段、５００ 第１特徴抽出手段、５１０ 第２特徴抽出手段、５２０ 付帯情報取得手段、５３０ 特徴点検出手段、５４０ 動き検出手段、５５０ 類似度算出手段、５６０ 名称選択手段、５７０ 識別特徴選択手段、７００ ＣＰＵ、７０２ ＲＯＭ、７０４ ＲＡＭ、７０６ 通信インターフェース、７１０ ハードディスクドライブ、７１２ フレキシブルディスクドライブ、７１４ ＣＤ−ＲＯＭドライブ、７２０ フレキシブルディスク、７２２ ＣＤ−ＲＯＭ

Claims (23)

1. 画像を撮像する撮像手段と、
   前記画像の中から主要被写体を選択する主要被写体選択手段と、
   前記撮像手段の、上下方向の傾きを計測する傾き計測手段と、
   被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、前記主要被写体選択手段によって選択された前記主要被写体、および前記傾き計測手段によって計測された傾きに基づいて、前記主要被写体の名称を検索する名称検索手段と
   を備えるデジタル図鑑システム。
2. 前記画像データベースは前記被写体の画像を３次元情報として格納しており、
   前記名称検索手段は、前記傾きを前記主要被写体に対する撮像方向として用いることにより、前記画像データベースから前記主要被写体の名称を検索する
   請求項１に記載のデジタル図鑑システム。
3. 前記傾き計測手段によって計測された前記傾きを用いて、前記主要被写体の画像を、水平方向から撮像した画像に補正する上下方向画像補正手段を更に備え、
   前記名称検索手段は、前記上下方向画像補正手段によって補正された画像を用いて前記主要被写体の名称を検索する
   請求項１に記載のデジタル図鑑システム。
4. 前記傾き計測手段によって計測された前記傾きを用いて、前記主要被写体の画像を、鉛直方向から撮像した画像に補正する上下方向画像補正手段を更に備え、
   前記名称検索手段は、前記上下方向画像補正手段によって補正された画像を用いて前記主要被写体の名称を検索する
   請求項１に記載のデジタル図鑑システム。
5. 前記名称検索手段は、
   前記上下方向補正手段によって補正された画像から、前記主要被写体の特徴を抽出する第１特徴抽出手段と、
   前記画像データベースに名称が格納されている複数の被写体のそれぞれについて、前記画像データベースに格納されている当該被写体の特徴、及び前記第１特徴抽出手段が抽出した前記主要被写体の特徴を比較することにより、前記複数の被写体のそれぞれ及び前記主要被写体の間の類似度を算出する類似度算出手段と、
   前記複数の被写体のそれぞれについて算出された前記類似度に基づいて、前記複数の被写体の名称の中から、前記主要被写体の名称を選択する名称選択手段と
   を有する請求項３または４に記載のデジタル図鑑システム。
6. 前記名称選択手段は、前記複数の被写体の名称のうち、前記類似度が最も高い、予め定められた数の被写体の名称を選択し、
   当該デジタル図鑑システムは、
   前記名称選択手段が選択した名称を表示する表示手段
   を更に備える
   請求項５に記載のデジタル図鑑システム。
7. 前記名称検索手段は、
   前記名称選択手段が複数の名称を選択した場合に、前記複数の名称のそれぞれに対応付けて前記画像データベースに格納されている互いに異なる種類の特徴の中で、被写体の名称毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する識別特徴選択手段
   を更に有し、
   前記表示手段は、前記識別特徴を示す情報を更に表示する
   請求項６に記載のデジタル図鑑システム。
8. 前記名称選択手段は、前記複数の被写体のすべてにおいて、算出された前記類似度が予め定められた基準値より低い場合に、前記主要被写体の名称が検索できなかった旨を利用者に通知する
   請求項５に記載のデジタル図鑑システム。
9. 前記名称検索手段は、
   前記上下方向補正手段によって補正された画像から、前記主要被写体とは異なる被写体の特徴を抽出する第２特徴抽出手段
   を更に有し、
   前記画像データベースは、被写体に対して関連性の高い物体が有する特徴に更に対応づけて、被写体の名称を格納し、
   前記類似度算出手段は、前記画像データベースに名称が格納されている複数の被写体のそれぞれについて、前記画像データベースに格納されている当該被写体に対して関連性の高い物体が有する特徴、及び前記第２特徴抽出手段が抽出した前記主要被写体とは異なる被写体の特徴を更に比較することにより、前記複数の被写体のそれぞれ及び前記主要被写体の間の前記類似度を算出する
   請求項５に記載のデジタル図鑑システム。
10. 前記名称検索手段は、
    前記画像に付帯する付帯情報を取得する付帯情報取得手段
    を更に有し、
    前記画像データベースは、被写体の画像に付帯する前記付帯情報に更に対応づけて、被写体の名称を格納し、
    前記類似度算出手段は、前記画像データベースに名称が格納されている複数の被写体のそれぞれについて、前記画像データベースに格納されている当該被写体の画像に付帯する前記付帯情報、及び前記付帯情報取得手段が取得した前記付帯情報を比較することにより、前記複数の被写体のそれぞれ及び前記主要被写体の間の前記類似度を算出する
    請求項５に記載のデジタル図鑑システム。
11. 前記撮像手段は、動画像を撮像し、
    前記画像データベースは、被写体の動きを示す動き情報に更に対応づけて、被写体の名称を格納し、
    前記名称検索手段は、
    前記動画像に含まれる複数のフレーム画像のそれぞれにおける前記主要被写体に基づいて、前記主要被写体の動きを検出する動き検出手段と、
    前記画像データベースに名称が格納されている複数の被写体のそれぞれについて、前記画像データベースに格納されている当該被写体の前記動き情報により示される動き、及び前記動き検出手段が検出した前記主要被写体の動きを比較することにより、前記複数の被写体のそれぞれ及び前記主要被写体の間の類似度を算出する類似度算出手段と、
    前記複数の被写体のそれぞれについて算出された前記類似度に基づいて、前記複数の被写体の名称の中から、前記主要被写体の名称を選択する名称選択手段と
    を有する請求項３または４に記載のデジタル図鑑システム。
12. 前記名称検索手段は、
    前記複数のフレーム画像のそれぞれにおける前記主要被写体に含まれる特徴点を検出する特徴点検出手段
    を更に有し、
    前記動き検出手段は、前記特徴点検出手段によって検出された前記特徴点の位置の、前記複数のフレーム画像のそれぞれにおける変化に基づいて、前記主要被写体の動きを検出する
    請求項１１に記載のデジタル図鑑システム。
13. 画像を連続して撮像する撮像手段と、
    前記連続して撮像された各々の画像の中から主要被写体を選択する主要被写体選択手段と、
    前記連続して撮像された各々の画像における前記主要被写体の大きさの変化、および、前記撮像手段の画角内における前記主要被写体の位置の変化に基づいて、前記主要被写体の移動方向を算出する移動方向算出手段と、
    被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、前記主要被写体選択手段によって選択された前記主要被写体、および前記移動方向に基づいて、前記主要被写体の名称を検索する名称検索手段と
    を備えるデジタル図鑑システム。
14. 前記撮像手段の撮像方向の変化を算出する撮像方向変化算出手段を更に備え、
    前記移動方向算出手段は、更に前記撮像方向変化算出手段が算出した撮像方向の変化に基づいて前記主要被写体の移動方向を算出する
    請求項１３に記載のデジタル図鑑システム。
15. 前記画像データベースは前記被写体の画像を３次元情報として格納しており、
    前記名称検索手段は、前記移動方向及び前記３次元情報に基づいて生成された、撮像方向に垂直な面に投影した前記被写体の投影画像を用いて、前記画像データベースから主要被写体の名称を検索する
    請求項１３に記載のデジタル図鑑システム。
16. 前記移動方向算出手段によって算出された前記主要被写体の移動方向に基づいて、前記主要被写体の画像を補正する移動方向画像補正手段を更に備え、
    前記名称検索手段は、前記移動方向画像補正手段によって補正された画像を用いて前記画像データベースから前記主要被写体の名称を検索する
    請求項１３に記載のデジタル図鑑システム。
17. 前記移動方向画像補正手段は、前記移動方向のベクトルを撮像方向に垂直な面に投影した投影ベクトルの長さを、前記移動方向のベクトルの長さに伸張するのに必要な割合だけ、前記主要被写体を前記投影ベクトルの方向へ伸張させることによって、前記主要被写体の画像を補正する請求項１６に記載のデジタル図鑑システム。
18. 前記画像データベースを更に備える、請求項１から１７のいずれかに記載のデジタル図鑑システム。
19. 前記撮像手段をダイビング用に耐圧防水する耐圧防水ケースを更に備える、請求項１３に記載のデジタル図鑑システム。
20. 撮像手段を用いた図鑑検索方法であって、
    画像を撮像する撮像段階と、
    前記画像の中から主要被写体を選択する主要被写体選択段階と、
    前記撮像手段の、上下方向の傾きを計測する傾き計測段階と、
    被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、前記主要被写体選択段階において選択された前記主要被写体、および前記傾き計測段階において計測された傾きに基づいて、前記主要被写体の名称を検索する名称検索段階と
    を備える図鑑検索方法。
21. 撮像手段を用いた図鑑検索方法であって、
    画像を連続して撮像する撮像段階と、
    前記連続して撮像された各々の画像の中から主要被写体を選択する主要被写体選択段階と、
    前記連続して撮像された各々の画像における前記主要被写体の大きさの変化、および、前記撮像手段の画角内における前記主要被写体の位置の変化に基づいて、前記主要被写体の移動方向を算出する移動方向算出段階と、
    被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、前記主要被写体選択段階において選択された前記主要被写体、および前記移動方向に基づいて、前記主要被写体の名称を検索する名称検索段階と
    を備える図鑑検索方法。
22. デジタル図鑑システムとしてコンピュータを機能させる図鑑検索プログラムであって、
    前記コンピュータを、
    画像を撮像する撮像手段と、
    前記画像の中から主要被写体を選択する主要被写体選択手段と、
    前記撮像手段の、上下方向の傾きを計測する傾き計測手段と、
    被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、前記主要被写体選択手段によって選択された前記主要被写体、および前記傾き計測手段によって計測された傾きに基づいて、前記主要被写体の名称を検索する名称検索手段と
    を備えるデジタル図鑑システムとして機能させる図鑑検索プログラム。
23. デジタル図鑑システムとしてコンピュータを機能させる図鑑検索プログラムであって、
    前記コンピュータを、
    画像を連続して撮像する撮像手段と、
    前記連続して撮像された各々の画像の中から主要被写体を選択する主要被写体選択手段と、
    前記連続して撮像された各々の画像における前記主要被写体の大きさの変化、および、前記撮像手段の画角内における前記主要被写体の位置の変化に基づいて、前記主要被写体の移動方向を算出する移動方向算出手段と、
    被写体の特徴に対応付けて被写体の名称を格納する画像データベースから、前記主要被写体選択手段によって選択された前記主要被写体、および前記移動方向に基づいて、前記主要被写体の名称を検索する名称検索手段と
    を備えるデジタル図鑑システムとして機能させる図鑑検索プログラム。

Images