JP2005269604A - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

Abstract

【課題】容易に高品質な画像を撮像する。
【解決手段】撮像装置であって、画像を捕捉する撮像手段と、捕捉された捕捉画像を表示する表示手段と、捕捉画像の中から主要被写体を選択する主要被写体選択手段と、主要被写体を囲む枠を捕捉画像に重畳して表示させる枠表示手段とを備え、撮像手段は、合焦距離を変更することのできる光学系を有し、主要被写体選択手段は、光学系により合焦距離を変更しつつ繰り返し画像を捕捉させる繰り返し捕捉手段と、捕捉された画像に基づいて、画像に含まれる領域毎に最も焦点の合っている画像が得られた合焦距離を算出する合焦距離算出手段と、主要被写体までの距離である主要被写体距離を算出する主要被写体距離算出手段と、画像の中から主要被写体距離だけ離れている領域を選択する領域選択手段とを有する撮像装置を提供する。
【選択図】図２

Description

本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。特に本発明は、捕捉した画像に基づいて撮像条件を制御する撮像装置、撮像方法、及び撮像装置を機能させる撮像プログラムに関する。

従来、デジタルカメラなどの撮像装置において、利用者にとって最も重要な撮像対象である主要被写体に基づいて撮像条件を制御している。例えば、主要被写体に焦点が合った画像を撮像するべく、撮像装置における光学系の合焦距離を、撮像装置と主要被写体との距離に設定する。ここで、従来の撮像装置においては、利用者がレリーズスイッチを半押しにした場合に、ファインダの中心に表示されている物体を主要被写体と認識し、当該主要被写体と撮像装置との距離を測距センサ等により計測して光学系の合焦距離を制御することにより、主要被写体に焦点が合った画像を撮奏することができる。

現時点で先行技術文献の存在を認識していないので、先行技術文献に関する記載を省略する。

しかしながら、従来の撮像装置においては、主要被写体が中心から外れた構図で撮像したい場合、利用者は、主要被写体をファインダの中心に捉えた状態でレリーズスイッチを半押しにして主要被写体に合焦させた後、ファインダに表示された画像が意図した構図となるように撮像装置の向きを変えてレリーズスイッチを全押しにして撮像する必要があった。このため、撮像が完了するまでに必要とされる操作が多く、重要なシャッターチャンスを逃してしまう場合があった。

また、主要被写体が移動することにより撮像装置と主要被写体との距離が変化するような場合に、レリーズスイッチを半押しにしたまま構図を変更している間に主要被写体に焦点が合わなくなり、撮像した画像が焦点の合わない品質の低い画像になってしまうという問題があった。

そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、撮像装置であって、画像を捕捉する撮像手段と、撮像手段によって捕捉された捕捉画像を表示する表示手段と、捕捉画像の中から、主要被写体を選択する主要被写体選択手段と、表示手段に、主要被写体を囲む枠を捕捉画像に重畳して表示させる枠表示手段とを備える。枠表示手段は、主要被写体の外周の近傍で外周に沿う枠を表示してもよい。

撮像手段は、当該撮像装置から焦点の合う被写体までの距離である合焦距離を変更することのできる光学系を有し、主要被写体選択手段は、光学系により合焦距離を変更しつつ繰り返し画像を捕捉させる繰り返し捕捉手段と、繰り返し捕捉手段によって捕捉された画像に基づいて、画像に含まれる領域毎に、最も焦点の合っている画像が得られた合焦距離を算出する合焦距離算出手段と、合焦距離算出手段が算出した、領域ごとの合焦距離に基づいて、主要被写体までの距離である主要被写体距離を算出する主要被写体距離算出手段と、画像の中から、主要被写体距離だけ離れている領域を選択する領域選択手段とを有し、枠表示手段は、領域選択手段が選択した領域を囲む枠を表示してもよい。

主要被写体距離算出手段は、同一の合焦距離を有する領域の面積と領域ごとに予め定められた重みとの積和に、合焦距離ごとに予め定められた距離重みを乗じた値が最も大きい合焦距離を、主要被写体距離として算出してもよい。主要被写体距離を変更する変更操作手段を更に備え、領域選択手段は、変更操作手段により主要被写体距離が変更された場合に、変更された主要被写体距離だけ離れている領域を再度選択し、枠表示手段は、領域選択手段が再度選択した領域を囲む枠を表示してもよい。

当該撮像装置は、変更操作手段によって変更された主要被写体距離に焦点を合わせる自動焦点手段を更に有してもよい。当該撮像装置は、領域選択手段が選択した領域に、他の領域よりも大きな重みを付けて画像の露出度を選択する露出選択手段を更に備えてもよい。当該撮像装置は、領域選択手段が選択した領域に、他の領域よりも大きな重みを付けて画像のホワイトバランスを設定するホワイトバランス設定手段を更に備えてもよい。

当該撮像装置は、主要被写体の特徴を抽出する特徴抽出手段と、被写体が有する特徴に対応付けて被写体の説明を格納する画像データベースから、特徴抽出手段が抽出した特徴を用いて、主要被写体の説明を検索する説明検索手段とを更に備えてもよい。当該撮像装置は、画像から、主要被写体とは異なる被写体の特徴を抽出する第２特徴抽出手段を更に備え、説明検索手段は、被写体に対して関連性の高い物体が有する特徴に更に対応付けて被写体の説明を格納する画像データベースから、第２特徴抽出手段が抽出した、主要被写体とは異なる被写体の特徴を更に用いて、主要被写体の説明を検索してもよい。第２特徴抽出手段は、主要被写体とは異なる被写体の特徴を抽出する場合に、繰り返し捕捉手段が合焦距離を変更しつつ繰り返し捕捉させた複数の画像のうち、合焦距離算出手段によって算出された、当該被写体が含まれる領域の合焦距離において捕捉された画像から、当該被写体の特徴を抽出してもよい。

当該撮像装置は、画像に付帯する付帯情報を取得する付帯情報取得手段を更に備え、説明検索手段は、被写体の画像に付帯する付帯情報に更に対応付けて被写体の説明を格納する画像データベースから、付帯情報取得手段が取得した付帯情報を更に用いて、主要被写体の説明を検索してもよい。主要被写体距離算出手段は、画像に含まれる領域のそれぞれについての、画像データベースが格納する被写体の特徴と同一の種類の特徴が当該領域に含まれるか否かの判断結果に更に基づいて、主要被写体距離を算出してもよい。合焦距離算出手段は、利用者によって予め定められた当該撮像装置の撮像モードに基づいて、画像を複数の領域に分割する場合の分割方法を制御してもよい。

本発明の第２の形態においては、撮像装置による撮像方法であって、画像を捕捉する撮像段階と、撮像段階において捕捉された捕捉画像を表示する表示段階と、捕捉画像の中から、主要被写体を選択する主要被写体選択段階と、主要被写体を囲む枠を捕捉画像に重畳して表示させる枠表示段階とを備える。撮像段階は、当該撮像装置から焦点の合う被写体までの距離である合焦距離を変更することのできる光学段階を有し、主要被写体選択段階は、光学段階における合焦距離を変更しつつ繰り返し画像を捕捉させる繰り返し捕捉段階と、繰り返し捕捉段階において捕捉された画像に基づいて、画像に含まれる領域毎に、最も焦点の合っている画像が得られた合焦距離を算出する合焦距離算出段階と、合焦距離算出段階において算出された、領域ごとの合焦距離に基づいて、主要被写体までの距離である主要被写体距離を算出する主要被写体距離算出段階と、画像の中から、主要被写体距離だけ離れている領域を選択する領域選択段階とを有し、枠表示段階は、領域選択手段が選択した領域を囲む枠を表示してもよい。主要被写体距離算出段階は、同一の合焦距離を有する領域の面積と領域ごとに予め定められた重みとの積和に、合焦距離ごとに予め定められた距離重みを乗じた値が最も大きい合焦距離を、主要被写体距離として算出してもよい。

本発明の第３の形態においては、撮像装置を機能させる撮像プログラムであって、当該撮像装置を、画像を捕捉する撮像手段と、撮像手段によって捕捉された捕捉画像を表示する表示手段と、捕捉画像の中から、主要被写体を選択する主要被写体選択手段と、表示手段に、主要被写体を囲む枠を捕捉画像に重畳して表示させる枠表示手段として機能させる。撮像手段は、当該撮像装置から焦点の合う被写体までの距離である合焦距離を変更することのできる光学系を有し、主要被写体選択手段は、光学系により合焦距離を変更しつつ繰り返し画像を捕捉させる繰り返し捕捉手段と、繰り返し捕捉手段によって捕捉された画像に基づいて、画像に含まれる領域毎に、最も焦点の合っている画像が得られた合焦距離を算出する合焦距離算出手段と、合焦距離算出手段が算出した、領域ごとの合焦距離に基づいて、主要被写体までの距離である主要被写体距離を算出する主要被写体距離算出手段と、画像の中から、主要被写体距離だけ離れている領域を選択する領域選択手段とを有し、枠表示手段は、領域選択手段が選択した領域を囲む枠を表示してもよい。主要被写体距離算出手段は、同一の合焦距離を有する領域の面積と領域ごとに予め定められた重みとの積和に、合焦距離ごとに予め定められた距離重みを乗じた値が最も大きい合焦距離を、主要被写体距離として算出してもよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、主要被写体を正確に認識すると共に、認識した主要被写体の画像に基づいて撮像条件を制御することにより、容易に高品質な画像を撮像することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の実施形態に係るデジタル図鑑システム１０の構成の一例を示すブロック図である。デジタル図鑑システム１０は、被写体の画像を撮像して、画像の中から主要被写体を選択する撮像装置２０と、撮像された被写体の画像に基づいて被写体の説明を検索する図鑑処理手段３２と、外部との情報通信を行う通信手段３４とを備える。撮像装置２０は、撮像ユニット２５と、撮像した画像及び検索した被写体の説明を表示して利用者に提供する、例えばＬＣＤモニタ等の表示手段５０と、撮像した画像に重畳して、例えば主要被写体等を囲む枠を表示手段５０に表示させる枠表示手段４０と、撮像した画像を格納する、例えばフラッシュメモリ等の不揮発性メモリである２次メモリ６０とを有する。撮像装置２０は、例えば、静止画を撮影するデジタルスチルカメラであってよく、また、動画を撮影するデジタルビデオカメラであってもよい。

本発明の実施形態に係るデジタル図鑑システム１０は、例えば、図示しない動作モード切替スイッチ等を用いて利用者に設定されることにより、自身の動作モードを、撮像装置２０により撮像された被写体の説明を検索して利用者に提供するデジタル図鑑として動作する「デジタル図鑑モード」と、撮像装置２０により撮像された被写体の画像を表示手段５０により表示すると共に、２次メモリ６０に格納する、所謂通常のデジタルカメラとして動作する「デジタルカメラモード」とに、切り替え可能に設定することができる。

図２は、本実施形態に係る撮像ユニット２５の構成の一例を示すブロック図である。撮像ユニット２５は、撮像手段１００、１次メモリ１１０、撮像制御手段１２０、画像処理手段１３０、及び変更操作手段１５０を含む。

本実施形態に係る撮像装置２０は、撮像手段１００により捕捉された画像から主要被写体を認識する。そして、撮像装置２０は、認識した主要被写体の画像に基づいて撮像処理を制御すると共に、認識した主要被写体を枠で囲んで表示して利用者に通知することにより、利用者が所望する画像を容易かつ高品質に撮像することができるようにすることを目的とする。
また、デジタル図鑑システム１０の動作モードが「デジタル図鑑モード」である場合には、説明を検索する対象である主要被写体を正確に自動認識することにより、効率よく、精度の高い検索を実行することを目的とする。

撮像手段１００は、光学系１０２、ＣＣＤ１０４、及び撮像信号処理手段１０６を有し、被写体の画像を捕捉する。光学系１０２は、例えばフォーカスレンズやズームレンズ等を含み、被写体像をＣＣＤ１０４の受光面上に結像する。また、光学系１０２は、例えばフォーカスレンズを駆動することにより、撮像装置２０から焦点の合う被写体までの距離である合焦距離を変更することができる。ＣＣＤ１０４は、複数の受光素子を含み、光学系１０２により受光面に結像された被写体の光学像によって各受光素子に蓄積された電荷を電圧信号として撮像信号処理手段１０６に出力する。また、ＣＣＤ１０４は、各受光素子に電荷を蓄積する時間を制御することによって露出度を制御することができる。

撮像信号処理手段１０６は、ＣＣＤ１０４から受け取った、被写体像を示すアナログの電圧信号を、Ｒ、Ｇ、及びＢの各成分に分解する。そして、撮像信号処理手段１０６は、Ｒ、Ｇ、及びＢの各成分を調整することにより、被写体像のホワイトバランスを調整する。また、撮像信号処理手段１０６は、例えば被写体像のガンマ補正等の処理を行ってもよい。そして、撮像信号処理手段１０６は、Ｒ、Ｇ、及びＢの各成分に分解されたアナログ信号をＡ／Ｄ変換し、その結果得られた被写体像を示すデジタルの画像データを１次メモリ１１０に出力する。１次メモリ１１０は、例えばＤＲＡＭ等の揮発性メモリであり、撮像信号処理手段１０６が出力したデジタルの画像データを格納する。

撮像制御手段１２０は、撮像手段１００に含まれる機構部材を駆動することにより、被写体を示す画像の撮像を制御する。撮像制御手段１２０は、自動焦点手段１２２、露出選択手段１２４、及びホワイトバランス設定手段１２６を有する。自動焦点手段１２２は、光学系１０２における合焦距離を制御する。例えば、自動焦点手段１２２は、ステッピングモータ等を用いてフォーカスレンズを駆動させることにより、光学系１０２における合焦距離を制御する。

露出選択手段１２４は、撮像手段１００における被写体像の露出度を制御する。具体的には、露出選択手段１２４は、ＣＣＤ１０４に含まれる受光素子における電荷の蓄積時間を制御することにより、露出度を制御する。これに代えて、露出選択手段１２４は、撮像手段１００に含まれる図示しない機械式シャッタを制御することにより、露出度を制御してもよい。ホワイトバランス設定手段１２６は、撮像手段１００における被写体を示す画像のホワイトバランスを設定する。具体的には、ホワイトバランス設定手段１２６は、撮像信号処理手段１０６におけるＲ、Ｇ、及びＢの各成分の調整処理を制御することにより、ホワイトバランスを設定する。また、撮像制御手段１２０は、撮像手段１００におけるズーム動作、及び絞り動作を制御してもよい。

画像処理手段１３０は、撮像信号処理手段１０６により１次メモリ１１０に格納されたデジタルの画像データを処理し、処理した結果を表示手段５０及び２次メモリ６０に出力する。更に、画像処理手段１３０は、デジタル図鑑システム１０の動作モードが「デジタル図鑑モード」である場合に、処理した結果を図鑑処理手段３２に出力する。ここで、画像データの処理とは、例えば、ＹＣ変換処理、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）等のデータ圧縮処理、及びＮＴＳＣやＰＡＬ等のビデオ信号への変換処理である。また、画像処理手段１３０は、主要被写体選択手段１４０を有する。

主要被写体選択手段１４０は、撮像信号処理手段１０６から受け取った、撮像手段１００により捕捉された捕捉画像の中から、主要被写体を選択する。主要被写体選択手段１４０は、繰り返し捕捉手段１４２、合焦距離算出手段１４４、主要被写体距離算出手段１４６、及び領域選択手段１４８を含む。繰り返し捕捉手段１４２は、光学系１０２により合焦距離を変更しつつ繰り返し画像を捕捉させて撮像信号処理手段１０６から受け取り、受け取った画像を合焦距離算出手段１４４に出力する。合焦距離算出手段１４４は、繰り返し捕捉手段１４２によって捕捉された画像に基づいて、画像に含まれる領域毎に、最も焦点の合っている画像が得られた合焦距離を算出し、算出した結果を主要被写体距離算出手段１４６に出力する。

主要被写体距離算出手段１４６は、合焦距離算出手段１４４が算出した領域毎の合焦距離に基づいて、主要被写体までの距離である主要被写体距離を算出し、算出した結果を領域選択手段１４８に出力する。領域選択手段１４８は、主要被写体距離算出手段１４６から受け取った主要被写体距離だけ離れている領域を、主要被写体として、捕捉した画像の中から選択する。そして、領域選択手段１４８は、選択した領域に関する情報を、枠表示手段４０、自動焦点手段１２２、露出選択手段１２４、及びホワイトバランス設定手段１２６に出力する。また、領域選択手段１４８は、デジタル図鑑システム１０の動作モードが「デジタル図鑑モード」である場合、選択した領域に関する情報を、図鑑処理手段３２に出力する。

図１に示した枠表示手段４０は、主要被写体選択手段１４０により選択された主要被写体を囲む枠を、撮像手段１００により捕捉された捕捉画像に重畳して表示手段５０に表示させる。具体的には、枠表示手段４０は、領域選択手段１４８により選択された領域を囲む枠を、表示手段５０に表示させる。変換操作手段１５０は、例えば撮像装置２０の利用者による操作等に基づいて、主要被写体距離算出手段１４６により出力される主要被写体距離を変更する。

本実施形態に係る撮像装置２０によれば、撮像手段１００により捕捉された画像から主要被写体を自動的に認識することができる。また、認識された主要被写体を枠で囲んで表示することにより、利用者が容易に認識結果を知ることができる。

図３は、本実施形態に係る合焦距離算出手段１４４における処理の一例を示す。合焦距離算出手段１４４は、撮像手段１００により捕捉された捕捉画像２００を、複数の領域に分割する。例えば、合焦距離算出手段１４４は、捕捉画像２００を縦６個、横６個の長方形に分割する。これに変えて、合焦距離算出手段１４４は、捕捉画像２００を、それぞれ異なる形状及び面積を有する複数の領域に分割してもよい。この場合、合焦距離算出手段１４４は、例えば、主要被写体の存在確率の高い中央付近等において捕捉画像２００をより小さな領域に分割することにより、捕捉画像２００全体を一様に小さな領域に分割した場合に比べて、処理に要する負荷を抑えつつ、高い精度で合焦距離を算出することができる。

また、合焦距離算出手段１４４は、利用者等によって予め定められた撮像装置２０の撮像モードに基づいて、捕捉画像２００を複数の領域に分割する場合の分割方法を制御してよい。ここで、分割方法とは、例えば、領域の数や、分割した複数の領域のそれぞれにおける大きさ及び形状を示す。このように、撮像モードに基づいて領域の分割方法を制御することにより、例えば、撮像モードとしてポートレイトモードが選択されている場合には、通常の撮像モードが選択されている場合に比べて、領域の数をより少なくして、合焦距離の算出に要する時間を短縮したり、また、通常の撮像モードに比べて、より広角で画像を撮像する撮像モードが選択されている場合には、領域の数をより多くして、合焦距離の算出の精度を向上させたりすることができる。

そして、合焦距離算出手段１４４は、分割した複数の領域のそれぞれにおける部分画像の合焦度を検出する。例えば、合焦距離算出手段１４４は、それぞれの領域の画像信号を、高速フーリエ変換（ＦＦＴ）等により複数の周波数成分に分解し、当該領域における高周波成分のレベルを合焦度として検出する。そして、合焦距離算出手段１４４は、繰り返し捕捉手段１４２により複数の合焦距離において捕捉された画像のうち、当該領域において合焦度が最も高い画像を検出し、その画像が捕捉された距離を、当該領域における合焦距離として算出する。

以上のように、本実施形態に係る撮像装置２０によれば、捕捉画像における領域毎の合焦距離を高い精度で算出することができる。

図４は、本実施形態に係る主要被写体距離算出手段１４６において用いられる重みの一例を示す。図４（ａ）は、撮像手段１００により捕捉された画像の領域毎に予め定められた重みの一例を示す。主要被写体距離算出手段１４６は、同一の合焦距離を有する領域の面積と領域毎に予め定められた重みとの積和を算出する。具体的には、主要被写体距離算出手段１４６は、合焦距離算出手段１４４における領域毎の合焦距離の算出結果に基づいて、同一の合焦距離を有する複数の領域を、当該合焦距離に存在する被写体として検出する。そして、主要被写体距離算出手段１４６は、複数の領域のそれぞれについて、当該領域の面積と、例えば図４（ａ）に示したような当該領域に予め定められた重みとの積を算出する。そして、主要被写体距離算出手段１４６は、複数の領域において算出した積の総和を、当該合焦距離に存在する被写体の重みとして算出する。

図４（ａ）において、画像の中央部分における領域毎の重みは、画像の周辺部分における領域毎の重みに比べてより大きくなっている。これは、一般に、画像の中央部分に主要被写体を配置する構図が多く用いられるためである。ここで、本図に示した領域毎の重みは一例であり、本図の内容に限定されない。例えば、重みは常に一定ではなく、撮像条件によって変化してもよい。具体的には、撮像装置２０における撮影モードがポートレイトモードである場合には、画像の中央部分における領域毎の重みを、図４（ａ）に比べて大きくしてもよい。

図４（ｂ）は、撮像手段１００により捕捉された画像の合焦距離と距離重みとの関係の一例を示す。主要被写体距離算出手段１４６は、先に算出した、同一の合焦距離を有する複数の領域における重みの総和に、例えば図４（ｂ）から取得される当該合焦距離に対する距離重みを乗じた値を算出する。そして、主要被写体距離算出手段１４６は、算出した値が最も大きい合焦距離を、主要被写体距離として算出する。

図４（ｂ）において、距離重みは、合焦距離が大きくなるほど小さくなっている。これは、一般に、主要被写体は、他の被写体に比べて、撮像装置２０により近い位置に存在しているためである。ここで、本図に示した距離重みは一例ではり、本図の内容に限定されない。例えば、重みが常に固定されているのではなく、撮像条件によって変化してもよい。具体的には、撮像装置２０の撮影モードがマクロモードである場合には、合焦距離の増加に伴う距離重みの減少の度合いをより大きくしてもよい。また、撮影モードにおける典型的な合焦距離において、距離重みが最大となるようにしてもよい。

本実施形態に係る撮像装置２０によれば、領域毎及び合焦距離毎の重みを用いて主要被写体距離を算出することにより、精度よく主要被写体を認識することができる。

図５は、本実施形態に係るデジタル図鑑システム１０の外観の一例を示す。図５（ａ）は、ある時点におけるデジタル図鑑システム１０の外観の一例を示す。図５（ａ）に示したデジタル図鑑システム１０は、遠距離ボタン２０２及び近距離ボタン２０４を備える。遠距離ボタン２０２及び近距離ボタン２０４は、変更操作手段１５０の一例である。

領域選択手段１４８は、撮像手段１００が捕捉した画像の中から、主要被写体距離算出手段１４６により算出された主要被写体距離だけ離れている領域を、主要被写体として選択する。そして、枠表示手段４０は、表示手段５０により表示された撮像画像に重畳して、領域選択手段１４８が選択した領域を囲む枠２０６を表示させる。具体的には、枠表示手段４０は、主要被写体の外周の近傍で、外周に沿う枠２０６を表示手段５０に表示させる。ここで、外周の近傍とは、主要被写体を示す領域の外周そのものに限定されず、例えば、枠表示手段４０は、外周に対して、予め定められた画素だけ外側に広げた枠２０６を表示させてもよい。これにより、表示された枠２０６によって補足画像における重要な領域である主要被写体が見えづらくなるという問題を防ぐことができる。

図５（ｂ）は、利用者が遠距離ボタン２０２を操作した場合の、デジタル図鑑システム１０の外観の一例を示す。利用者が遠距離ボタン２０２を押下した場合、遠距離ボタン２０２は、主要被写体距離をより遠くに変更させるべく、主要被写体距離算出手段１４６に通知する。また、利用者が近距離ボタン２０４を押下した場合、近距離ボタン２０４は、主要被写体距離をより近くに変更させるべく、主要被写体距離算出手段１４６に通知する。

これを受けて、主要被写体距離算出手段１４６は、合焦距離毎の被写体の重みに基づいて選択した複数の主要被写体距離の候補の中から、その時点の主要被写体距離の次に遠い又は近い主要被写体距離候補を新しい主要被写体距離として選択し、その結果を領域選択手段１４８に出力する。そして、領域選択手段１４８は、新しい主要被写体距離だけ離れている領域を主要被写体として選択し、当該領域を示す情報を枠表示手段４０に出力する。これを受けて、枠表示手段４０は、枠２０６に代えて、枠２０８を表示手段５０に表示させる。

本実施形態に係る撮像装置２０によれば、自動的に認識された主要被写体が正しくない場合であっても、利用者は、正しい主要被写体距離を選択することにより、意図した撮像を実行することができる。
また、撮像装置２０により動画を撮影している場合に、変更操作手段１５０を用いて主要被写体距離を変更することにより、撮影しながらであっても、構図を変更することなく主要被写体を変更することができる。

図６は、本実施形態に係る撮像装置２０の処理の一例を示すフローチャートである。撮像装置２０は、利用者が撮像装置２０のレリーズスイッチを半押しした場合に、以降の処理を開始する（Ｓ１０００）。また、これに変えて、撮像装置２０は、電源が投入されている場合、常に以降の処理を行ってもよい。続いて、撮像装置２０は、撮像手段１００により被写体の画像を捕捉し、画像の中から主要被写体を選択する（Ｓ１０１０）。続いて、撮像装置２０は、選択した主要被写体に基づいて、撮像制御手段１２０により撮像手段１００における画像の撮像を制御する（Ｓ１０２０）。続いて、撮像装置２０は、撮像手段１００により被写体の画像を捕捉し、表示手段５０に表示させる（Ｓ１０３０）。

続いて、撮像装置２０は、利用者による操作に基づいて主要被写体距離を変更する（Ｓ１０４０）。続いて、撮像装置２０は、レリーズスイッチが全押しされた場合に、撮像手段１００により被写体像を撮像し、撮像された画像データを１次メモリ１１０に格納する。そして、撮像装置２０は、画像処理手段１３０によりデータ圧縮処理等の画像処理を行い、画像データを２次メモリ６０に格納する（Ｓ１０５０）。ここで、デジタル図鑑システム１０の動作モードが「デジタル図鑑モード」である場合、撮像装置２０は、画像データを２次メモリ６０に格納するのに代えて、画像データ及び選択された主要被写体の領域を示す情報を、図鑑処理手段３２に出力する。

図７は、Ｓ１０１０の詳細を示すフローチャートである。繰り返し捕捉手段１４２は、予め定められた複数の合焦距離のそれぞれについて、以下の処理を繰り返す（Ｓ１１００）。ここで、予め定められた複数の合焦距離とは、光学系１０２により合焦可能な範囲から選択した、主要被写体距離の算出に必要な複数の距離である。これら複数の合焦距離は固定されていなくともよく、撮像装置２０の撮影モードによって変化してもよい。例えば、撮像モードがポートレイトモードである場合には、撮像装置２０に近い範囲において、遠い範囲に比べてより多くの合焦距離を選択してもよい。

また、繰り返し捕捉手段１４２は、撮像手段１００に例えば毎秒３０コマよりも高い頻度で捕捉させた画像のうち、毎秒３０コマ分の画像を表示手段５０により表示させ、他のコマの画像を用いて合焦距離の算出処理を合焦距離算出手段１４４により行わせてもよい。これにより、利用者に合焦距離が一定の画像を表示しながら、複数の合焦距離で画像を捕捉することができる。

まず、繰り返し捕捉手段１４２は、光学系１０２における合焦距離を変更する（Ｓ１１１０）。続いて、撮像手段１００は、被写体の画像を捕捉し、画像データを１次メモリ１１０に格納する（Ｓ１１２０）。続いて、合焦距離算出手段１４４は、捕捉された画像を複数の領域に分割し、各領域における合焦度を算出する（Ｓ１１３０）。撮像装置２０は、予め定められた複数の合焦距離のそれぞれについて、Ｓ１１１０からＳ１１３０の処理を繰り返す（Ｓ１１４０）。

続いて、主要被写体距離算出手段１４６は、複数の領域のそれぞれについて、複数の合焦距離において捕捉された画像のうち、最も合焦度が大きい距離を、当該領域における合焦距離として算出する（Ｓ１１５０）。続いて、主要被写体距離算出手段１４６は、複数の領域のうち、同一の合焦距離を有する複数の領域を検出し、それぞれの領域の面積と、当該領域に対して予め定められた重みとの積を算出する。そして、主要被写体距離算出手段１４６は、領域毎に算出した積の総和を求める。そして、主要被写体距離算出手段１４６は、それぞれの合焦距離について、当該合焦距離に対して予め定められた距離重みを先に求めた総和に乗じた値を算出する。主要被写体距離算出手段１４６は、以上の処理を、同一の合焦距離を有する領域群のそれぞれに対して行い、算出した値の大きい順に複数の合焦距離を選択し、値の最も大きい合焦距離を主要被写体距離に、それ以外を主要被写体距離の候補として選択する（Ｓ１１６０）。続いて、領域選択手段１４８は、算出された主要被写体距離を合焦距離として有する複数の領域を、主要被写体として検出する（Ｓ１１７０）。

図８は、Ｓ１０２０及びＳ１０３０の詳細を示すフローチャートである。自動焦点手段１２２は、領域選択手段１４８によって選択された領域、即ち主要被写体に焦点を合わせるべく、光学系１０２を制御する（Ｓ１２００）。また、露出選択手段１２４は、領域選択手段１４８によって選択された領域、即ち主要被写体に、他の領域よりも大きな重みを付けて画像の露出度を選択する（Ｓ１２１０）。また、ホワイトバランス設定手段１２６は、領域選択手段１４８によって選択された領域、即ち主要被写体に、他の領域よりも大きな重みを付けて画像のホワイトバランスを設定する（Ｓ１２２０）。

続いて、撮像手段１００は、選択された主要被写体に基づいて制御された、焦点、露出度、及びホワイトバランスの設定等の撮像条件に基づいて、被写体の画像を捕捉する（Ｓ１２３０）。続いて、表示手段５０は、捕捉された画像を表示する（Ｓ１２４０）。続いて、枠表示手段４０は、領域選択手段１４８が選択した領域を囲む枠を、捕捉された画像に重畳して表示手段５０に表示させる（Ｓ１２５０）。

図９は、Ｓ１０４０の詳細を示すフローチャートである。撮像装置２０は、利用者によりレリーズスイッチが全押しされたか否かを判定する（Ｓ１３００）。レリーズスイッチが全押しされていない場合（Ｓ１３００：Ｎｏ）、撮像装置２０は、変更操作手段１５０が主要被写体距離を変更したか否かを判定する（Ｓ１３１０）。主要被写体距離が変更されていない場合（Ｓ１３１０：Ｎｏ）、撮像装置２０は、処理をＳ１３００に戻し、再度レリーズスイッチが全押しされたか否かを判定する。

主要被写体距離が変更された場合（Ｓ１３１０：Ｙｅｓ）、即ち、利用者が変更操作手段１５０を用いて主要被写体距離算出手段１４６における主要被写体距離の候補の何れかに主要被写体距離を変更した場合、主要被写体距離算出手段１４６は、変更された主要被写体距離を領域選択手段１４８に出力する。そして、領域選択手段１４８は、変更された主要被写体距離だけ離れている領域を再度選択する（Ｓ１１７０）。

続いて、自動焦点手段１２２は、変更された主要被写体距離に焦点を合わせるべく光学系１０２を駆動させる（Ｓ１２００）。また、露出選択手段１２４は、変更された主要被写体距離に対応して選択された領域に、他の領域よりも大きな重みを付けて画像の露出度を選択する（Ｓ１２１０）。また、ホワイトバランス設定手段１２６は、変更された主要被写体距離に対応して選択された領域に、他の領域よりも大きな重みを付けてホワイトバランスを設定する（Ｓ１２２０）。

続いて、撮像手段１００は、変更された主要被写体距離に基づいて変更された撮像条件を用いて被写体の画像を捕捉する（Ｓ１２３０）。そして、表示手段５０は、捕捉された画像を表示する（Ｓ１２４０）。更に、枠表示手段４０は、変更された主要被写体距離に基づいて選択された領域を囲む枠を、表示手段５０に表示させることにより、主要被写体が変更されたことを利用者に通知する（Ｓ１２５０）。
一方、レリーズスイッチが全押しされた場合（Ｓ１３００：Ｙｅｓ）、撮像装置２０は、処理をＳ１０５０に進め、被写体像の撮像を行う。

本実施形態に係る撮像装置２０によれば、主要被写体選択手段１４０により認識された主要被写体に基づいて焦点、露出度、及びホワイトバランス等の撮像条件を決定して撮像手段１００を制御することにより、利用者が所望する画像を高い品質で撮像することができる。

図１０は、本発明の実施形態に係る部分図３０の詳細の一例を示すブロック図である。本図に示した、デジタル図鑑システム１０が有する図鑑処理手段３２は、通信手段３４によりネットワーク３６に接続する。そして、デジタル図鑑システム１０は、ネットワーク３６を介して、被写体における互いに異なる複数の種類の特徴に対応付けて当該被写体の説明を格納する、複数の画像データベース（３８ａ、３８ｂ、・・・３８ｃ。以降、まとめて３８と表記）から被写体の説明を検索する。ここで、ネットワーク３６は、例えばインターネット網である。また、画像データベース３８は、例えば、インターネットに接続された、単一の画像データベース提供サービスであってよく、また、互いに異なる複数の画像データベース提供サービスであってもよい。

本実施形態における図鑑処理手段３２及び通信手段３４は、複数の特徴を用いて被写体の説明を検索する場合に、効率よく精度の高い検索結果を得ることを目的とする。

図鑑処理手段３２は、第１特徴抽出手段３００、第２特徴抽出手段３０２、付帯情報取得手段３０４、特徴選択手段３１０、画像データベース選択手段３２０、説明検索手段３３０、及び通知ユニット３８０を有する。第１特徴抽出手段３００は、撮像手段１００により捕捉された被写体の画像と、主要被写体選択手段１４０により選択された主要被写体を示す領域とを、図２に示した画像処理手段１３０から受け取る。そして、第１特徴抽出手段３００は、受け取った画像における主要被写体の特徴を抽出し、特徴選択手段３１０に出力する。ここで、主要被写体の特徴とは、例えば、画像処理技術によって抽出される、輪郭形状、二値化画像、色分布等である。第２特徴抽出手段３０２は、撮像手段１００により捕捉された被写体の画像と、主要被写体選択手段１４０により選択された主要被写体を示す領域とを、画像処理手段１３０から受け取る。そして、第２特徴抽出手段３０２は、受け取った画像における、主要被写体とは異なる被写体の特徴を抽出し、特徴選択手段３１０に出力する。

付帯情報取得手段３０４は、撮像手段１００により捕捉された被写体の画像、及び当該画像に付帯する付帯情報を、画像処理手段１３０から取得する。ここで、付帯情報は、例えば、撮像手段１００が画像を捕捉したときに、撮像装置２０が有するＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）機能により取得された撮像地点の緯度、軽度、高度、及び深度を含んでいてよい。また、付帯情報は、例えば、撮像装置２０が有するカレンダー機能により取得された撮影日時、及び当該撮像日時に基づく季節情報を含んでいてよい。また、付帯情報は、例えば、撮像装置２０が有する温度計により取得された気温を含んでいてよい。また、付帯情報は、例えば、主要被写体距離算出手段１４６により算出された、撮像装置２０から主要被写体までの距離、画像内における主要被写体の大きさ、及び撮像装置２０における撮像倍率等により算出された、主要被写体における実際の大きさを示す情報を含んでいてよい。そして、付帯情報取得手段３０４は、取得した付帯情報を、特徴選択手段３１０に出力する。

特徴選択手段３１０は、第１特徴抽出手段３００により主要被写体から抽出された全ての種類の特徴の中から、一部の種類の特徴を選択する。そして、特徴選択手段３１０は、選択した当該一部の種類の特徴と、選択しなかった他の種類の特徴とのそれぞれを、画像データベース選択手段３２０に出力する。また、特徴選択手段３１０は、第２特徴抽出手段３０２によって主要被写体とは異なる被写体から抽出された全ての種類の特徴の中から、一部の種類の特徴を選択する。そして、特徴選択手段３１０は、選択した当該一部の種類の特徴と、選択しなかった他の種類の特徴とのそれぞれを、画像データベース選択手段３２０に出力する。また、特徴選択手段３１０は、付帯情報取得手段３０４により取得された、画像に付帯する全ての種類の付帯情報の中から、一部の種類の付帯情報を選択する。そして、特徴選択手段３１０は、選択した当該一部の種類の付帯情報と、選択しなかった他の種類の付帯情報とのそれぞれを、画像データベース選択手段３２０に出力する。

なお、特徴選択手段３１０は、主要被写体から第１特徴抽出手段３００により抽出された全ての種類の特徴を、当該一部の種類の特徴または当該他の種類の特徴として選択するのではなく、当該全ての種類の特徴のうち、少なくとも一部の種類の特徴を、当該一部の種類の特徴または当該他の種類の特徴として選択してもよい。具体的には、特徴選択手段３１０は、主要被写体から第１特徴抽出手段３００により抽出された全ての種類の特徴のうち、予め定められた基準値以上の確からしさで抽出された少なくとも一部の種類の特徴の中から、一部の種類の特徴を選択すると共に、当該少なくとも一部の種類の特徴の中の、当該一部の種類の特徴とは異なる種類の特徴を、他の種類の特徴として選択してよい。ここで、特徴の確からしさとは、主要被写体を示す画像が、当該特徴を実際に有している確度を示す値であってよく、例えば、当該特徴が抽出される場合に用いられた画像データの品質等に基づいて、当該特徴の種類について予め定められた方法を用いて算出された値であってよい。例えば、被写体の輪郭形状を示す特徴において、確からしさは、隣接する画素における画素値の差の最大値として算出されてよい。即ち、特徴選択手段３１０は、捕捉された画像における合焦度が十分に高くないといった理由により、算出された画素値の差の最大値が、利用者等によって予め定められた基準値以下である場合には、当該捕捉された画像において、被写体の輪郭形状を示す特徴は、十分に確からしいとは言えないとして、前述した一部の種類の特徴及び他の種類の特徴を選択する場合に、被写体の輪郭形状を示す特徴を除外してよい。

また、特徴選択手段３１０は、同様にして、第２特徴抽出手段３０２により抽出された全ての種類の特徴のうち、予め定められた基準値以上の確からしさで抽出された少なくとも一部の種類の特徴の中から、一部の種類の特徴を選択すると共に、当該少なくとも一部の種類の特徴の中の、当該一部の種類の特徴とは異なる種類の特徴を、他の種類の特徴として選択してよい。更に、特徴選択手段３１０は、同様にして、付帯情報取得手段３０４により取得された全ての種類の付帯情報のうち、予め定められた基準値以上の確からしさで取得された少なくとも一部の種類の付帯情報の中から、一部の種類の付帯情報を選択すると共に、当該少なくとも一部の種類の付帯情報の中の、当該一部の種類の付帯情報とは異なる種類の付帯情報を、他の種類の付帯情報として選択してよい。

画像データベース選択手段３２０は、通知手段３４を介して複数の画像データベース３８から受け取った情報に基づいて、複数の画像データベース３８の中から、第１特徴抽出手段３００が抽出した種類の特徴を格納する画像データベース３８を選択する。ここで、被写体の説明とは、被写体の名称、更に、被写体が動植物である場合には生態の解説等を含んでいてもよい。また、被写体の説明は、文字情報に限定されず、被写体の参照画像等の画像データ、３次元形状データ、生息地域、高度、及び深度等の多様な情報を含んでいてもよい。また、画像データベース選択手段３２０は、被写体に対して関連性の高い物体が有する特徴に更に対応づけて被写体の説明を格納する複数の画像データベース３８の中から、主要被写体とは異なる被写体における、第２特徴抽出手段３０２が抽出した種類の特徴を更に格納する画像データベース３８を選択してもよい。また、画像データベース選択手段３２０は、撮像された画像に付帯する付帯情報に更に対応づけて被写体の説明を格納する複数の画像データベース３８の中から、付帯情報取得手段３０４が取得した種類の付帯情報を更に格納する画像データベース３８を選択してもよい。

説明検索手段３３０は、画像データベース選択手段３２０が選択した画像データベース３８から、第１特徴抽出手段３００が抽出した特徴を用いて主要被写体の説明を検索する。また、説明検索手段３３０は、画像データベース選択手段が選択した画像データベース３８から、第２特徴抽出手段３０２が抽出した、主要被写体とは異なる被写体の特徴を更に用いて、主要被写体の説明を検索してもよい。また、説明検索手段３３０は、画像データベース選択手段３２０が選択した画像データベース３８から、付帯情報取得手段３０４が取得した付帯情報を更に用いて、主要被写体の説明を検索してもよい。説明検索手段３３０は、候補名称検索手段３４０、重複被写体選択手段３５０、名称決定ユニット３６０、及び説明読み出し手段３７０を含む。

候補名称検索手段３４０は、通信手段３４を介して画像データベース３８と通信することにより、第１特徴抽出手段３００及び第２特徴抽出手段３０２が抽出した特徴、並びに付帯情報取得手段３０４が取得した付帯情報を用いて、複数の画像データベース３８のそれぞれから主要被写体の名称の候補である候補名称を検索する。そして、候補名称検索手段３４０は、検索した結果を、重複被写体選択手段３５０、名称決定ユニット３６０、及び通知ユニット３８０に出力する。ここで、候補名称検索手段３４０は主要被写体の名称の候補を検索したが、検索の対象は名称の候補のみには限定されず、被写体を識別することのできる情報であればよい。また、候補名称検索手段３４０は、主要被写体の名称の候補に加えて、当該名称に対応する被写体の説明を検索してもよい。

重複被写体選択手段３５０は、候補名称検索手段３４０から受け取った検索結果に基づいて、複数のデータベースで重複して検索された重複被写体を選択する。具体的には、重複被写体選択手段３５０は、候補名称検索手段３４０から受け取った複数の画像データベース３８の検索結果に含まれる複数の被写体の名称のうち、それぞれの画像データベースで互いに一致する名称を有する被写体を重複被写体として選択する。そして、重複被写体選択手段３５０は、選択した重複被写体の名称を、主要被写体の名称として説明読み出し手段３７０に出力する。

名称決定ユニット３６０は、候補名称検索手段３４０から受け取った複数の画像データベース３８の検索結果に基づいて、主要被写体として最も確からしい名称を決定し、その結果を説明読み出し手段３７０に出力する。説明読み出し手段３７０は、重複被写体選択手段３５０及び名称決定ユニット３６０の少なくとも一方から受け取った主要被写体の名称に基づいて、少なくとも１つの画像データベース３８に格納された、主要被写体の説明を読み出す。具体的には、説明読み出し手段３７０は、主要被写体の名称を、送信手段４００を用いて少なくとも１つの画像データベース３８に送信して、それぞれの画像データベース３８において主要被写体の説明を検索させ、その結果得られた主要被写体の説明を、受信手段４１０を用いて読み出す。そして、説明読み出し手段３７０は、読み出した説明を、表示手段５０に表示させることにより、利用者に提供する。通知ユニット３８０は、候補名称検索手段３４０から受け取った複数の画像データベース３８の検索結果に対して更なる絞り込みを行う場合に、被写体の何れの部分を撮像すべきかを利用者に通知する。

通信手段３４は、送信手段４００及び受信手段４１０を有する。送信手段４００は、図鑑処理手段３２が有する各部からの要求に応じて、ネットワーク３６を介して接続した複数の画像データベース３８に情報を送信する。例えば、送信手段４００は、デジタル図鑑システム１０の外部に設けられた画像データベース３８へ、第１特徴抽出手段３００により抽出された主要被写体の特徴を送信する。

受信手段４１０は、ネットワークを介して接続した複数の画像データベース３８から受け取った情報を、図鑑処理手段３２が有する各部に送信する。例えば、受信手段４１０は、画像データベース３８から検索された主要被写体の説明を、ネットワーク３６を介して受信し、候補名称検索手段３４０又は説明読み出し手段３７０に送信する。送信手段４００及び受信手段４１０は、例えば、イーサネット（登録商標）等の有線通信、又は、無線ＬＡＮやブルートゥース（登録商標）、ＣＤＭＡ等の無線通信により、ネットワーク３６に接続する。

本発明の実施形態に係るデジタル図鑑システム１０によれば、ネットワーク３６を介して接続した画像データベース３８を用いることにより、デジタル図鑑システム１０の小型化、及び低コスト化を実現することができる。
また、インターネット網等に接続されている多様な画像データベースを用いて検索を行うことにより、広い検索範囲で、正確な検索結果を得ることができる。

また、本発明の実施形態に係るデジタル図鑑システム１０によれば、画像から抽出した特徴のうち、確からしい特徴のみを用いて検索を行うことができる。これにより、例えば、主要被写体が花である場合に、撮像条件が十分に良くないために、主要被写体におけるおしべの数やめしべの数といった特徴を、十分に高い精度で認識できなかった場合には、おしべの数やめしべの数という特徴を用いることなく、他の特徴のみを用いて、主要被写体の説明を検索することができるので、検索の精度を向上させることができる。

なお、本図に示した構成は一例であり、本図の構成に多様な変更を加えてもよい。例えば、図鑑処理手段３２は、第２特徴抽出手段３０２及び付帯情報取得手段３０４の少なくとも一方を含んでいなくともよい。また、例えば、説明検索手段３３０は、重複被写体選択手段３５０及び名称決定ユニット３６０の少なくとも一方を有していなくともよい。この場合、説明読み出し手段３７０は、重複被写体選択手段３５０又は名称決定ユニット３６０から受け取った主要被写体の名称に基づいて、主要被写体の説明を画像データベース３８から読み出す。また、例えば、説明検索手段３３０は、通知ユニット３８０を備えていなくともよい。

また、本図に示した図鑑処理手段３２は、通信手段３４及びネットワーク３６を介して、デジタル図鑑システム１０の外部に設けられた複数の画像データベース３８にアクセスしたが、これに代えて、デジタル図鑑システム１０の内部に設けられた複数の画像データベース３８にアクセスしてもよい。これにより、デジタル図鑑システム１０は、外部との情報通信ができない場合であっても、主要被写体の説明を検索することができる。

更に、デジタル図鑑システム１０は、例えば、外部との情報通信ができない場合には内部に設けられた画像データベース３８を利用し、それ以外の場合には外部に設けられた画像データベース３８を利用する等、外部の画像データベース３８と内部の画像データベース３８との何れを利用するかを切り替え可能に制御してもよく、また、外部の画像データベース３８と内部の画像データベース３８との双方を同時に利用してもよい。このように、利用する画像データベース３８の構成を利用目的や利用環境に応じて柔軟に変更することにより、効率よく被写体の説明を検索することができる。

図１１は、本実施形態に係る画像データベース選択手段３２０及び候補名称検索手段３４０の詳細を示すブロック図である。画像データベース選択手段３２０は、第１画像データベース選択手段３２２、及び第２画像データベース選択手段３２４を含む。第１画像データベース選択手段３２２は、受信手段４１０を用いて、ネットワーク３６を介して画像データベース３８の情報、例えば、複数の画像データベース３８のそれぞれに格納されている特徴の種類等を受け取り、それらの情報に基づいて、第１特徴抽出手段３００により抽出された特徴のうち、特徴選択手段３１０により選択された一部の種類の特徴を格納する第１画像データベースを選択する。そして、第１画像データベース選択手段３２２は、選択した第１画像データベースを示す情報を、候補名称検索手段３４０に出力する。

第２画像データベース選択手段３２４は、受信手段４１０を用いて、ネットワーク３６を介して画像データベース３８の情報を受け取り、それらの情報に基づいて、第１特徴抽出手段３００により抽出された特徴のうち、特徴選択手段３１０により選択された一部の種類の特徴とは異なる、他の種類の特徴を格納する第２画像データベースを選択する。そして、第２画像データベース選択手段３２４は、選択した第２画像データベースを示す情報を、候補名称検索手段３４０に出力する。

候補名称検索手段３４０は、第１検索手段３４２、及び第２検索手段３４４を含む。第１検索手段３４２は、第１画像データベース選択手段３２２により選択された第１画像データベースから、特徴選択手段３１０により選択された一部の種類の特徴を用いて主要被写体の名称の候補を検索する。具体的には、第１検索手段３４２は、送信手段４００を用いることにより、ネットワーク３６を介して第１画像データベースに当該一部の種類の特徴を送信する。そして、第１検索手段３４２は、受信手段４１０を用いることにより、ネットワーク３６を介して第１画像データベースにおける検索の結果を受け取り、受け取った主要被写体の名称の候補を重複被写体選択手段３５０に出力する。

第２検索手段３４４は、第２画像データベース選択手段３２４により選択された第２画像データベースから、特徴選択手段３１０により選択された一部の種類の特徴とは異なる、他の種類の特徴を用いて主要被写体の名称を検索する。具体的には、第２検索手段３４４は、送信手段４００を用いることにより、ネットワーク３６を介して第２画像データベースに当該他の種類の特徴を送信する。そして、第２検索手段３４４は、受信手段４１０を用いることにより、ネットワーク３６を介して第２画像データベースに対する検索の結果を受け取り、受け取った主要被写体の説明を重複被写体選択手段３５０に出力する。

図１０に示した重複被写体選択手段３５０は、第１検索手段３４２及び第２検索手段３４４のそれぞれから受け取った検索結果である主要被写体の名称に基づいて、第１画像データベース及び第２画像データベースの双方で重複して検索された重複被写体を選択する。具体的には、重複被写体選択手段３５０は、第１検索手段３４２及び第２検索手段３４４のそれぞれから受け取った検索結果に含まれる複数の被写体のうち、名称が互いに一致する被写体を重複被写体として選択する。そして、重複被写体選択手段３５０は、選択した重複被写体の名称を、主要被写体の名称として、図１０に示した説明読み出し手段３７０に出力する。

なお、第１画像データベース選択手段３２２は、複数の画像データベース３８の中から、第１特徴抽出手段３００により抽出されて、特徴選択手段３１０により選択された一部の種類の特徴を用いて、第１検索手段３４２が、より高い精度で主要被写体の説明を検索することのできる画像データベース３８を、第１画像データベースとして、より高い優先度で選択してよい。具体的には、第１画像データベース選択手段３２２は、複数の画像データベース３８の中から、当該一部の種類の特徴に対応づけて説明を格納している被写体の数が、他の画像データベース３８に比べてより多い画像データベース３８を、第１画像データベースとして、より高い優先度で選択してよい。

また、第２画像データベース選択手段３２４は、複数の画像データベース３８の中から、第１特徴抽出手段３００により抽出されて、特徴選択手段３１０により選択された一部の種類の特徴とは異なる、他の種類の特徴を用いて、第２検索手段３４４が、より高い精度で主要被写体の説明を検索することのできる画像データベース３８を、第２画像データベースとして、より高い優先度で選択してよい。具体的には、第２画像データベース選択手段３２４は、複数の画像データベース３８の中から、当該他の種類の特徴に対応づけて説明を格納している被写体の数が、他の画像データベース３８に比べてより多い画像データベース３８を、第２画像データベースとして、より高い優先度で選択してよい。なお、第１画像データベース選択手段３２２及び第２画像データベース選択手段３２４のそれぞれは、複数の画像データベース３８のそれぞれから、当該画像データベース３８が、被写体が有する特徴に対応づけて説明を格納している被写体の数を、複数の特徴の種類のそれぞれについて、通信手段３４を介して取得してよい。

なお、本図に示した構成は一例であり、本図の構成に多様な変更を加えてもよい。例えば、本図において、図鑑処理手段３２は、特徴選択手段３１０により選択された一部の種類の特徴を用いて第１画像データベースから主要被写体の説明を検索し、他の種類の特徴を用いて第２画像データベースから主要被写体の説明を検索したが、これに代えて、図鑑処理手段３２は、１つ又は３つ以上の画像データベースを用いて検索を実行するべく、第１特徴抽出手段３００により抽出された複数の特徴から、特徴選択手段３１０により任意の数の特徴群を選択してもよい。そして、重複被写体選択手段３５０は、複数の画像データベース３８の検索結果の中で、重複している名称を主要被写体の名称として選択し、説明読み出し手段３７０に出力してもよい。

本実施形態に係るデジタル図鑑システム１０によれば、複数の画像データベース３８から検索に用いる画像データベース３８を選択すると共に、それらにおける検索結果に基づいて、主要被写体の説明を検索することができる。これにより、従来の情報検索システムにおけるロードバランサーの様な負荷分散システムを用いることなく、適切な負荷分散を実現できる。これにより、デジタル図鑑システム１０は、画像データベース３８に直接アクセスして検索を実行することができるので、検索処理の応答速度を向上させることができる。

また、デジタル図鑑システム１０によれば、特徴選択手段３１０が選択した一部の種類の特徴を用いて、より高い精度で主要被写体の説明を検索することができる画像データベース３８を、第１画像データベースとして選択すると共に、他の種類の特徴を用いて、より高い精度で主要被写体の説明を検索することができる画像データベース３８を、第２画像データベースとして選択することができる。これにより、画像データベース３８のそれぞれにおいて、ある種類の特徴を用いた場合には、高い精度で被写体の説明を検索することができるものの、他の種類の特徴を用いた場合には、十分に高い精度で被写体の説明を検索することができないというように、特徴の種類毎における検索の精度にばらつきがある場合であっても、画像から抽出された特徴のそれぞれを、当該特徴の種類について高い精度で被写体の説明を検索することができる画像データベース３８に対して用いることにより、主要被写体の説明を、高い精度で検索することができる。

また、ある種類の特徴において、より多くの被写体の説明を検索対象として格納している画像データベース３８を、当該種類の特徴について、より高い精度で被写体の説明を検索することができる画像データベース３８であるとすることにより、第１画像データベース選択手段３２２及び第２画像データベース選択手段３２４が選択した画像データベース３８を用いて、高い精度で主要被写体の説明を検索することができる。

また、特徴の種類毎の、説明を格納している被写体の数を、画像データベース３８のそれぞれから取得して、検索の精度を判定することにより、インターネットにおいて公開されているような、多様な画像データベース３８を用いる場合であっても、最適な画像データベース３８を選択して、高い精度で主要被写体の説明を検索することができる。

図１２は、本実施形態に係る第１特徴抽出手段３００の処理の一例を示す。図１２（ａ）は、第１特徴抽出手段３００が画像処理手段１３０から受け取った画像２２０を示す。第１特徴抽出手段３００は、枠２２２により囲まれた主要被写体の画像から、主要被写体の特徴を抽出する。ここで、第１特徴抽出手段３００は、説明の検索に要する時間を短縮し、且つ、正確な検索結果を取得するべく、利用者が予め入力した主要被写体の大まかな種類を示す情報に基づいて、抽出する特徴を選択してもよい。例えば、利用者が、主要被写体を花であると判断した場合に、花であることを示す情報を図示しない種類入力手段を用いてデジタル図鑑システム１０に入力する。そして、第１特徴抽出手段３００は、入力された情報に基づいて、主要被写体の種類毎に予め定められた特徴を抽出する。

第１特徴抽出手段３００は、例えば、主要被写体が花であると利用者により入力された場合に、枠２２２で囲まれた主要被写体の画像データに対して輪郭抽出処理を行う。そして、第１特徴抽出手段３００は、得られた輪郭の内部における色分布に基づいて、画像データを花の部分と茎及び葉の部分とに分割する。そして、第１特徴抽出手段３００は、花の色及び花の輪郭形状を特徴として抽出する。

図１２（ｂ）は、第１特徴抽出手段３００により抽出された、画像２２０の主要被写体における花の輪郭形状２２４を示す。また、第１特徴抽出手段３００は、花の輪郭形状に対して形状認識を行うことにより、花弁の数を特徴として抽出する。さらに、主要被写体の画像データの花部分を画像認識することにより、おしべの数を特徴として抽出する。そして、第１特徴抽出手段３００は、抽出した特徴を、特徴選択手段３１０に出力する。

図１３は、本実施形態に係る画像データベース３８の第１の例を示す。特徴選択手段３１０は、第１特徴抽出手段３００により抽出された複数の特徴から、一部の特徴を選択する。例えば、特徴選択手段３１０は、第１特徴抽出手段３００が画像２２０から抽出した、花の色、花の輪郭形状、花弁の数、及びおしべの数から、花の色及び花の輪郭形状を選択する。そして、特徴選択手段３１０は、選択した特徴を示す情報を、画像データベース選択手段３２０に出力する。

これを受けて、画像データベース選択手段３２０は、特徴選択手段３１０により選択された一部の特徴である花の色及び花の輪郭形状を格納する第１画像データベース、並びに、特徴選択手段３１０により選択された他の特徴である花弁の数及びおしべの数を格納する第２画像データベースを選択する。

図１３（ａ）は、画像データベース選択手段３２０により選択された、第１画像データベース２２６の一例を示す。図１３（ｂ）は、画像データベース選択手段３２０により選択された、第２画像データベース２２８の一例を示す。第１検索手段３４２は、第１画像データベース２２６から、花の色が白で、花の輪郭形状が輪郭形状２２４である被写体を検索する。第２検索手段３４４は、第２画像データベース２２８から、花弁の数が６で、おしべの数が６である被写体を検索する。

重複被写体選択手段３５０は、第１検索手段３４２及び第２検索手段３４４のそれぞれが検索した被写体のうち、双方で重複する被写体として、例えば「テッポウユリ」を選択する。そして、説明読み出し手段３７０は、重複被写体選択手段３５０が選択した「テッポウユリ」の説明を、第１画像データベース２２６及び第２画像データベース２２８から読み出し、表示手段５０に表示させる。

本実施形態に係るデジタル図鑑システム１０によれば、複数の画像データベース３８を用いて主要被写体の説明を検索する場合に、それぞれの画像データベース３８において互いに異なる特徴に基づいて検索を実行することにより、それぞれの画像データベース３８における検索結果が互いに類似することを防ぐことができる。これにより、効率的に検索結果の絞り込みを行うことができると共に、正確な検索結果を得ることができる。

図１４は、本実施形態に係る画像データベース３８の第２の例を示す。画像データベース３８は、被写体の説明に対応づけて、図１３に示した画像データベース３８が格納する当該被写体そのものの特徴に加えて、当該被写体に対して関連性の高い物体が有する特徴を、更に格納してもよい。例えば、画像データベース３８は、被写体が花である場合に、当該被写体に対して関連性の高い物体が有する特徴として、当該被写体である花が咲いている地面の色を示す特徴を格納してよい。本図において、画像データベース３８は、「テッポウユリ」という被写体の説明に対応づけて、地面の色の特徴として、「濃い茶色」を示す特徴量を格納している。また、画像データベース３８は、「テッポウユリ」とは異なる被写体の説明に対応づけて、砂地の色や、岩場の色等を示す特徴量を格納してよい。

第２特徴抽出手段３０２は、撮像手段１００により捕捉された画像から、主要被写体選択手段１４０により選択された主要被写体とは異なる被写体の特徴を抽出する。例えば、第２特徴抽出手段３０２は、輪郭抽出処理等によって抽出した、捕捉された画像に含まれる複数の被写体の中から、画面内における被写体の位置、被写体における色分布、または主要被写体との位置関係等に基づいて、地面を示す被写体を検出する。そして、第２特徴抽出手段３０２は、検出した、地面を示す被写体における色を認識する。ここで、第２特徴抽出手段３０２は、例えば、予め定められた複数の色の範囲のうち、地面を示す被写体における色分布に対して最も合致度の高い色の範囲を検出してよい。

続いて、特徴選択手段３１０は、第１特徴抽出手段３００によって抽出された、主要被写体における複数の種類の特徴のうち、一部の種類の特徴を選択すると共に、第２特徴抽出手段３０２によって抽出された、主要被写体とは異なる被写体における複数の種類の特徴のうち、一部の種類の特徴を選択する。続いて、第１画像データベース選択手段３２２は、第１特徴抽出手段３００によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴を格納すると共に、第２特徴抽出手段３０２によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴を格納する画像データベース３８を、第１画像データベースとして選択する。ここで、第１画像データベース選択手段３２２は、複数の画像データベース３８の中から、第１特徴抽出手段３００によって抽出された当該一部の種類の特徴、及び第２特徴抽出手段３０２によって抽出された当該一部の種類の特徴を用いて、第１検索手段３４２が、より高い精度で主要被写体の説明を検索することのできる画像データベース３８を、第１画像データベースとして、より高い優先度で選択してよい。

また、第２画像データベース選択手段３２４は、第１特徴抽出手段３００によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴とは異なる、他の種類の特徴を格納すると共に、第２特徴抽出手段３０２によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴とは異なる、他の種類の特徴を格納する画像データベース３８を、第２画像データベースとして選択する。ここで、第２画像データベース選択手段３２４は、複数の画像データベース３８の中から、第１特徴抽出手段３００によって抽出された当該他の種類の特徴、及び第２特徴抽出手段３０２によって抽出された当該他の種類の特徴を用いて、第２検索手段３４４が、より高い精度で主要被写体の説明を検索することのできる画像データベース３８を、第２画像データベースとして、より高い優先度で選択してよい。

続いて、第１検索手段３４２は、第１特徴抽出手段３００によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴と、第２特徴抽出手段３０２によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴との双方を用いて、第１画像データベース選択手段３２２により選択された第１画像データベースから、主要被写体の名称の候補を検索する。また、第２検索手段３４４は、第１特徴抽出手段３００によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴とは異なる他の種類の特徴と、第２特徴抽出手段３０２によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴とは異なる他の種類の特徴との双方を用いて、第２画像データベース選択手段３２４により選択された第２画像データベースから、主要被写体の名称の候補を検索する。続いて、重複被写体選択手段３５０は、図１１において説明したように、第１検索手段３４２及び第２検索手段３４４のそれぞれにおける主要被写体の名称の候補の検索結果に基づいて、主要被写体の名称を選択し、説明読み出し手段３７０に出力する。

本発明の実施形態に係るデジタル図鑑システム１０によれば、捕捉された画像における、背景画像や周囲に存在する物体の画像といった、主要被写体とは異なる被写体の特徴に更に基づいて、主要被写体の説明を検索することができる。これにより、例えば、主要被写体が植物である場合に、植物が生えている地面の色といった、主要被写体が生育する環境を示す情報や、主要被写体と同様の環境で生育する植物等に基づいて、主要被写体である植物を特定するというように、より多くの情報に基づいて、主要被写体を特定することができる。従って、デジタル図鑑システム１０によれば、より高い精度で主要被写体の説明を検索することができる。

図１５は、本実施形態に係る画像データベース３８の第３の例を示す。画像データベース３８は、被写体の説明に対応づけて、図１３に示した第１画像データベース２２６または第２画像データベース２２８が格納する当該被写体の特徴に加えて、当該被写体の画像における撮像日時の範囲を更に格納してもよい。ここで、撮像日時の範囲とは、例えば、主要被写体が花である場合における、一年のうち、花が咲いている期間を示す範囲であってよい。

付帯情報取得手段３０４は、撮像手段１００によって捕捉された画像に付帯する付帯情報を取得する。例えば、付帯情報取得手段３０４は、付帯情報として、当該画像の撮像日時を取得する。続いて、特徴選択手段３１０は、第１特徴抽出手段３００によって抽出された、主要被写体における複数の種類の特徴のうち、一部の種類の特徴を選択すると共に、付帯情報取得手段３０４によって取得された、画像に付帯する複数の種類の付帯情報のうち、一部の種類の付帯情報を選択する。

続いて、第１画像データベース選択手段３２２は、第１特徴抽出手段３００によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴を格納すると共に、付帯情報取得手段３０４によって取得された付帯情報の種類のうち、特徴選択手段３１０によって選択された一部の種類の付帯情報を格納する画像データベース３８を、第１画像データベースとして選択する。例えば、特徴選択手段３１０によって、一部の種類の付帯情報として、画像の撮像日時が選択された場合、第１画像データベース選択手段３２２は、複数の画像データベース３８の中から、被写体そのものにおける当該一部の種類の特徴に加えて、被写体の画像における撮像日時の範囲に更に対応づけて、被写体の説明を格納する画像データベース３８を、第１画像データベースとして選択する。また、第１画像データベース選択手段３２２は、複数の画像データベース３８の中から、第１特徴抽出手段３００によって抽出された当該一部の種類の特徴、及び付帯情報取得手段３０４によって取得された当該一部の種類の付帯情報を用いて、第１検索手段３４２が、より高い精度で主要被写体の説明を検索することのできる画像データベース３８を、第１画像データベースとして、より高い優先度で選択してよい。

また、第２画像データベース選択手段３２４は、第１特徴抽出手段３００によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴とは異なる、他の種類の特徴を格納すると共に、付帯情報取得手段３０４によって取得された付帯情報の種類のうち、特徴選択手段３１０によって選択された一部の種類の付帯情報とは異なる、他の種類の付帯情報を格納する画像データベース３８を、第２画像データベースとして選択する。ここで、第２画像データベース選択手段３２４は、複数の画像データベース３８の中から、第１特徴抽出手段３００によって抽出された当該他の種類の特徴、及び付帯情報取得手段３０４によって取得された当該他の種類の付帯情報を用いて、第２検索手段３４４が、より高い精度で主要被写体の説明を検索することのできる画像データベース３８を、第２画像データベースとして、より高い優先度で選択してよい。

続いて、第１検索手段３４２は、第１特徴抽出手段３００によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴と、付帯情報取得手段３０４によって取得された付帯情報の種類のうち、特徴選択手段３１０によって選択された一部の種類の付帯情報との双方を用いて、第１画像データベース選択手段３２２により選択された第１画像データベースから主要被写体の名称を検索する。例えば、特徴選択手段３１０によって、一部の種類の付帯情報として、画像の撮像日時が選択された場合、第１検索手段３４２は、第１画像データベース選択手段３２２が選択した第１画像データベースから、被写体そのものにおける当該一部の種類の特徴と、捕捉された画像の撮像日時を含む範囲とに対応づけられた被写体の名称を、主要被写体の名称として検索する。また、第２検索手段３４４は、第１特徴抽出手段３００によって抽出された特徴の種類のうち、特徴選択手段３１０によって選択された一部の種類の特徴とは異なる他の種類の特徴と、付帯情報取得手段３０４によって取得された付帯情報の種類のうち、特徴選択手段３１０によって選択された一部の種類の付帯情報とは異なる他の種類の付帯情報の双方を用いて、第２画像データベース選択手段３２４により選択された第２画像データベースから主要被写体の名称を検索する。続いて、重複被写体選択手段３５０は、図１１において説明したように、第１検索手段３４２及び第２検索手段３４４のそれぞれにおける主要被写体の名称の検索結果に基づいて、主要被写体の名称を選択し、説明読み出し手段３７０に出力する。

本発明の実施形態に係るデジタル図鑑システム１０によれば、主要被写体の特徴に加えて、画像に付帯する付帯情報に更に基づいて検索することにより、より高い精度で主要被写体の説明を検索することができる。

また、デジタル図鑑システム１０によれば、画像の撮像日時に更に基づいて、主要被写体の説明を検索することができる。これにより、例えば、主要被写体が花である場合に、画像データベース３８に格納されている多数の被写体のうち、画像の撮像日時に開花している花の中から、主要被写体の特徴に類似する特徴を有する花の説明を検索することができる。従って、より高い精度で、また、より効率的に、主要被写体の説明を検索することができる。

なお、複数の画像データベース３８の少なくとも一部は、特定の撮像日時の範囲に対応する被写体のみについて、被写体の説明を格納していてよい。具体的には、複数の画像データベース３８の少なくとも一部は、特定の季節に対応する被写体のみについて、被写体の説明を格納していてよい。ここで、当該特定の季節が示す撮像日時の範囲は、画像データベース選択手段３２０に予め格納されていてもよく、或いは、画像データベース選択手段３２０が、当該少なくとも一部の画像データベース３８のそれぞれから、通信手段３４を介して取得してもよい。

これにより、当該特定の撮像日時の範囲においては、検索の精度、即ち検索可能な被写体の数を減らすことなく、画像データベース３８のサイズを小さくすることができる。 或いは、画像データベース３８のサイズが同じである場合には、検索の精度をより向上させることができる。例えば、主要被写体が花である場合において、「春」といった特定の季節に開花している花の説明のみを画像データベース３８に格納しておくと共に、画像の撮像日時が「春」として予め定められた期間内に含まれている場合には、当該画像データベース３８を選択することにより、画像データベース３８のサイズが、特定の季節に関わりなく花の説明を格納している画像データベースに比べて小さい場合であっても、「春」の花の説明を十分に高い精度で検索することができる。従って、記憶容量が十分に大きくないという理由により、従来はデジタル図鑑システムとして利用できなかった電子機器であっても、高い精度で主要被写体の説明を検索することができるデジタル図鑑システム１０として利用できるので、利用者にとっての利便性が向上する。

図１６は、本実施形態に係る図鑑処理手段３２の処理の一例を示すフローチャートである。まず、デジタル図鑑システム１０の動作モードが「デジタル図鑑モード」である場合に、第１特徴抽出手段３００は、撮像装置２０により撮像された画像、及び当該画像において選択された主要被写体の領域を示す情報を画像処理手段１３０から受け取り、当該画像における主要被写体の特徴を抽出する（Ｓ１４００）。

続いて、特徴選択手段３１０は、第１特徴抽出手段３００が抽出した特徴のうち、全ての種類の特徴を格納する画像データベース３８が、複数の画像データベース３８の中に含まれているか否かを判定する（Ｓ１４１０）。全ての種類の特徴を格納する画像データベース３８が複数の画像データベース３８の中に含まれている場合（Ｓ１４１０：Ｙｅｓ）、特徴選択手段３１０は、全ての種類の特徴を選択する（Ｓ１４２０）。

一方、全ての種類の特徴を格納する画像データベース３８が複数の画像データベース３８の中に含まれていない場合（Ｓ１４１０：Ｎｏ）、特徴選択手段３１０は、選択する種類を減らして、一部の特徴を選択する（Ｓ１４３０）。これにより、利用可能な画像データベース３８の規模が小さく、抽出した特徴のすべてを用いて主要被写体の説明の検索を実行できない場合であっても、その画像データベース３８を用いて検索を実行することができる。これにより、多様な画像データベース３８を用いて検索を実行できるので、広い検索範囲で精度の高い検索結果を得ることができる。

続いて、画像データベース選択手段３２０は、特徴選択手段３１０が選択した種類の特徴を格納する第１画像データベースと、選択した種類の他の種類の特徴を格納する第２画像データベースとを選択する（Ｓ１４４０）。続いて、第１検索手段３４２及び第２検索手段３４４のそれぞれは、第１画像データベース及び第２画像データベースのそれぞれから主要被写体の名称の候補を検索する（Ｓ１４５０）。続いて、候補名称検索手段３４０は、それぞれの画像データベース３８において、主要被写体の名称の候補が検索されたか否か、つまり、選択された画像データベース３８の中に、選択された種類の特徴によって検索される被写体が存在するか否かを判定する（Ｓ１４６０）。

選択された画像データベース３８の中に、選択された種類の特徴によって検索される被写体が存在しない場合（Ｓ１４６０：Ｎｏ）、画像データベース選択手段３２０は、複数の画像データベース３８の中から、全ての選択可能な画像データベース３８を既に選択したか否かを判定する（Ｓ１４７０）。全ての選択可能な画像データベース３８を未だ選択していない場合（Ｓ１４７０：Ｎｏ）、画像データベース選択手段３２０は、処理をＳ１４４０に戻し、選択可能な他の画像データベース３８を選択する。

全ての選択可能な画像データベース３８を既に選択している場合（Ｓ１４７０：Ｙｅｓ）、即ち、第１特徴抽出手段３００により抽出された特徴によって検索される被写体が、複数の画像データベース３８のいずれの中にも存在しない場合に、特徴選択手段３１０は、選択する特徴の種類を減らして、再び特徴を選択する（Ｓ１４３０）。これにより、例えば、画像の撮像条件が悪い等の理由により、抽出した特徴の品質が低く、抽出した全ての種類の特徴を用いて正確な検索結果を得られない場合であっても、利用者に撮像条件の改善を求めることなく、主要被写体の説明を検索することができ、利用者の利便性が向上する。

また、ここで、特徴選択手段３１０は、候補名称検索手段３４０により主要被写体の候補名称を検索させるべく、第１特徴抽出手段３００により抽出された特徴のうちの一部の種類の特徴を、第１画像データベースの選択及び第１検索手段３４２における主要被写体の候補名称の検索に用いられる特徴の種類、並びに、第２画像データベースの選択及び第２検索手段３４４における主要被写体の候補名称の検索に用いられる特徴の種類の何れからも除外してもよい。これにより、第１特徴抽出手段３００により抽出された特徴に大きなノイズが載っている場合など、検索の成功率が低くなる場合に、成功率低下の原因となる特徴を除外することにより、検索の成功率を向上させることができる。

一方、選択された画像データベース３８の中に、選択された種類の特徴によって検索される被写体が存在する場合（Ｓ１４６０：Ｙｅｓ）、重複被写体選択手段３５０は、それぞれの画像データベース３８において検索された主要被写体の名称の候補の中で、互いに重複している名称を主要被写体の名称として選択する（Ｓ１４８０）。続いて、説明読み出し手段３７０は、重複被写体選択手段３５０が選択した名称に基づいて主要被写体の説明を読み出し、表示手段５０により表示させて利用者に提供する（Ｓ１４９０）。

以上のように、本発明の実施形態に係るデジタル図鑑システム１０によれば、複数の画像データベース３８から、主要被写体の説明を精度よく検索することができる。

なお、本図において、デジタル図鑑システム１０は、第１特徴抽出手段３００が抽出した主要被写体の特徴のみに基づいて、主要被写体の説明を検索したが、これに加えて、第２特徴抽出手段３０２が抽出した、主要被写体とは異なる被写体の特徴、及び付帯情報取得手段３０４が取得した、撮像された画像に付帯する付帯情報に更に基づいて、主要被写体の説明を検索してもよい。

図１７は、本実施形態に係る名称決定ユニット３６０の詳細の一例を示すブロック図である。本発明の実施形態に係る名称決定ユニット３６０は、候補名称検索手段３４０により複数の候補が検索された場合に、精度よく主要被写体の名称を決定することを目的とする。

名称決定ユニット３６０は、一部検索候補選択手段３６２、再検索手段３６４、確率取得手段３６６、及び名称決定手段３６８を含む。一部検索候補選択手段３６２は、候補名称検索手段３４０により検索された候補名称の中に、複数の画像データベース３８のいずれにおいても検索された候補名称が存在しない場合に、複数の画像データベース３８の中の一部の画像データベース３８から検索されており、かつ、他の画像データベース３８から検索されていない候補名称を選択し、選択した候補名称を示す情報を再検索手段３６４に出力する。再検索手段３６４は、一部検索候補選択手段３６２によって選択された候補名称が他の画像データベース３８に登録されているか否かを、通信手段３４を用いて画像データベース３８から検索し、検索した結果を確率取得手段３６６に出力する。

確率取得手段３６６は、候補名称検索手段３４０により検索された候補名称を受け取ると共に、主要被写体が候補名称を有する確率を、画像データベース３８及び候補名称の組み合わせ毎に、通信手段３４を介して画像データベース３８から取得する。ここで、候補名称検索手段３４０が、主要被写体が当該候補名称を有する確率の指標値を候補名称の検索結果と併せて取得した場合、確率取得手段３６６は、当該確率の指標値を画像データベース３８から取得するのに代えて、候補名称検索手段３４０から取得してもよい。

また、確率取得手段３６６は、候補名称検索手段３４０により検索された候補名称の中に、複数の画像データベース３８のいずれにおいても検索された候補名称が存在しない場合に、再検索手段３６４から受け取った検索結果に基づいて、画像データベース３８及び候補名称の組み合わせ毎に取得した確率の指標値を補正する。そして、確率取得手段３６６は、画像データベース３８及び候補名称の組み合わせ毎に取得した、主要被写体が当該候補名称を有する確率の指標値を、名称決定手段３６８に出力する。

名称決定手段３６８は、確率取得手段３６６から受け取った、主要被写体が候補名称のそれぞれを有する確率の指標値に基づいて、主要被写体の最も確からしい名称を決定する。そして、名称決定手段３６８は、決定した主要被写体の名称を、図１０に示した説明読み出し手段３７０に出力する。

本発明の実施形態に係るデジタル図鑑システム１０によれば、複数の候補名称が検索された場合であっても、それぞれの候補名称の確からしさを示す確率の指標値を用いることにより、精度よく主要被写体の名称を決定できる。

図１８は、本実施形態に係る名称決定ユニット３６０の処理の一例を示す。図１８（ａ）は、画像データベース３８毎の、当該画像データベース３８に予め登録されている被写体の名称の数、及び当該画像データベース３８から検索された候補名称を示す。例えば、Ａの画像データベース３８には１００の被写体の名称が予め登録されており、候補名称検索手段３４０によって２つの候補名称（ユリ、バラ）が検索されている。

図１８（ｂ）は、確率取得手段３６６が候補名称毎に取得した、主要被写体が当該候補名称を有する確率の指標値を示す。確率取得手段３６６は、それぞれの画像データベース３８から、候補名称毎に、主要被写体が当該候補名称を有する確率の指標値を取得する。ここで、主要被写体が候補名称を有する確率の指標値とは、画像データベース３８から検索された候補名称が、主要被写体の名称としてどの程度確かであるかを示す指標であり、例えば、より規模の大きい画像データベース３８において、より少ない数の候補名称が検索されたという様な、より信頼できる結果が得られた場合に、検索された候補名称はより大きな指標値を有することが望ましい。

例えば、確率取得手段３６６は、それぞれの画像データベース３８に予め格納されている被写体の名称の数、及び当該画像データベース３８において検索された候補名称の数を用いて算出された値、より具体的には、それぞれの画像データベース３８に予め格納されている被写体の名称の数を、当該画像データベース３８において検索された候補名称の数で除算した値を、指標値として、当該画像データベース３８から取得する。これに代えて、確率取得手段３６６は、それぞれの画像データベース３８に予め格納されている被写体の名称の数を当該画像データベース３８から取得し、取得した被写体の名称の数を、当該画像データベース３８から検索された候補名称の数で除算することにより、指標値を取得してもよい。

そして、確率取得手段３６６は、それぞれの候補名称について、当該候補名称が検索されたすべての画像データベース３８における指標値の総和を算出する。例えば、確率取得手段３６６は、候補名称が「ユリ」である場合に、Ａの画像データベース３８における指標値１００／２と、Ｂの画像データベース３８における指標値３００／２との和である２００を算出する。

ここで、確率取得手段３６６は、一部検索候補選択手段３６２によって選択された候補名称が他の画像データベース３８に登録されていると再検索手段３６４により検出された場合に、主要被写体が当該候補名称を有する確率の指標値を減じる。例えば、確率取得手段３６６は、他の画像データベースに予め格納されている被写体の名称の数、及び当該他の画像データベースから検索された候補名称の数を用いて取得された指標値を、主要被写体が一部検索候補選択手段３６２によって選択された候補名称を有する確率の指標値から減じる。具体的には、確率取得手段３６６は、図１８（ｂ）に示した候補名称の中で、スイレンがＡの画像データベース３８に登録されていた場合に、Ａの画像データベース３８において検索された候補名称における指標値である１００／２を、スイレンにおける指標値の合計である２１６から減じることにより、指標値を補正する。そして、確率取得手段３６６は、候補名称毎の指標値の総和を名称決定手段３６８に出力する。これを受けて、名称決定手段３６８は、それぞれの候補名称の中で、指標値の総和が最も大きい候補である「ユリ」を主要被写体の名称と決定する。

なお、以上の説明において、確率取得手段３６６は、候補名称毎の指標値の総和を算出したが、これに代えて、確率取得手段３６６は、それぞれの指標値を、互いに独立して名称決定手段３６８に出力してもよい。この場合、名称決定手段３６８は、最も大きな指標値を有する候補名称を、主要被写体の名称として決定してもよい。更に、この場合、確率取得手段３６６は、一部検索候補選択手段３６２によって選択された候補名称が他の画像データベース３８に登録されていた場合に、他の画像データベース３８から検索された候補名称における指標値、乃至は当該指標値に所定の係数を乗じた値を、一部検索候補選択手段３６２によって選択された候補名称における画像データベース３８毎の指標値から減じてもよい。

本実施形態に係るデジタル図鑑システム１０によれば、複数の画像データベース３８から検索された候補名称の数が同じであっても、より大規模な画像データベースにおける検索結果をより重視することにより、精度よく主要被写体の名称を決定することができる。
また、本実施形態に係るデジタル図鑑システム１０によれば、ある画像データベース３８におけるデータの精度が悪く、他の画像データベース３８で除外された候補名称を出力した場合であっても、当該画像データベース３８の出力結果における確率の指標値を減じることにより、精度よく主要被写体の名称を決定することができる。

図１９は、名称決定ユニット３６０における処理の流れの一例を示すフローチャートである。まず、確率取得手段３６６は、候補名称検索手段３４０により検索された候補名称のそれぞれを主要被写体が有する確率の指標値を、画像データベース３８及び候補名称の組み合わせ毎に取得する（Ｓ１５００）。

続いて、名称決定ユニット３６０は、検索された候補名称の中に、複数の画像データベース３８の何れにおいても検索された候補名称が存在するか否かを判定する（Ｓ１５１０）。検索された候補名称の中に、複数の画像データベースの何れにおいても検索された候補名称が存在する場合に（Ｓ１５１０：Ｙｅｓ）、名称決定手段３６８は、それらの候補名称のそれぞれについて確率取得手段３６６によって取得された確率の指標値に基づいて、主要被写体の最も確からしい名称を決定する（Ｓ１５７０）。

一方、検索された候補名称の中に、複数の画像データベース３８のいずれにおいても検索された候補名称が存在しない場合に（Ｓ１５１０：Ｎｏ）、名称決定ユニット３６０は、検索された候補名称のすべてについて、以下の処理を繰り返す（Ｓ１５２０）。

まず、一部検索候補選択手段３６２は、当該候補名称を選択する（Ｓ１５３０）。続いて、再検索手段３６４は、一部検索候補選択手段３６２によって選択された候補名称が他の画像データベースに登録されているか否かを検索して判定する（Ｓ１５４０）。一部検索候補選択手段３６２によって選択された候補名称が他の画像データベース３８に登録されている場合に（Ｓ１５４０：Ｙｅｓ）、確率取得手段３６６は、主要被写体が当該候補名称を有する確率の指標値を減じる（Ｓ１５５０）。名称決定ユニット３６０は、Ｓ１５３０からＳ１５５０までの処理を、検索された候補名称のすべてについて繰り返す（Ｓ１５６０）。

そして、名称決定手段３６８は、複数の画像データベース３８の中の一部の画像データベース３８から検索された候補名称の中から、それぞれの候補名称における確率の指標値を用いて、最も確からしい名称を決定する（Ｓ１５７０）。これにより、候補名称の検索に用いる画像データベース３８の中に、精度の低い画像データベース３８や、検索範囲の狭い画像データベース３８が含まれている場合であっても、精度よく主要被写体の名称を決定できる。

図２０は、本実施形態に係る通知ユニット３８０の詳細の一例を示すブロック図である。本発明の実施形態に係る通知ユニット３８０は、候補名称検索手段３４０により複数の候補名称が検索された場合に、候補名称の絞り込みを効率よく行うにはどこを撮像すべきかを利用者にアドバイスすることにより、利用者の利便性を向上させることを目的とする。

通知ユニット３８０は、識別特徴選択手段３８２、特徴部位検索手段３８４、及び通知手段３８６を含む。識別特徴選択手段３８２は、候補名称検索手段３４０によって複数の被写体の候補名称が検索された場合に、複数の被写体に対応付けて画像データベース３８に格納されている互いに異なる種類の特徴の中で、被写体毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する。ここで、識別特徴とは、具体的には被写体の部位、例えば、被写体が植物の場合は、花びら、葉、おしべ等を示す。そして、識別特徴選択手段３８２は、選択した識別特徴を示す情報を、特徴部位検索手段３８４及び通知手段３８６に出力する。

特徴部位検索手段３８４は、識別特徴選択手段３８２から識別特徴に関する情報を受け取る。そして、特徴部位検索手段３８４は、画像処理手段１３０から受け取った主要被写体の画像の中から、識別特徴に当たる部位を示す画像を検索し、当該画像を示す情報、例えば領域情報等を通知手段３８６に出力する。

通知手段３８６は、識別特徴選択手段３８２から識別特徴を示す情報を受け取ると共に、特徴部位検索手段３８４から、主要被写体における識別特徴に当たる部位の領域を示す情報を受け取る。そして、通知手段３８６は、識別特徴選択手段３８２によって選択された識別特徴の内容を、デジタル図鑑システム１０の利用者に通知する。具体的には、通知手段３８６は、識別特徴に当たる部位の領域を示す情報を枠表示手段４０に出力することにより、表示手段５０において、当該部位を枠で囲んで表示させる。これにより、通知手段３８６は、主要被写体の中で、当該部位を撮属すべき旨を利用者に通知することができる。

このように、本発明の実施形態に係る通知ユニット３８０によれば、通知手段３８６が、どの部位を撮像すべきかを利用者に通知することにより、利用者が、効率よく絞り込みを行う場合にはどうすればよいのかを知ることができるので、利用者にとっての利便性が向上する。

なお、本図に示した構成は一例であり、本図の構成に多様な変化を加えてもよい。例えば、通知ユニット３８０は、特徴部位検索手段３８４を含んでいなくともよい。ここで、画像データベース３８が、複数の被写体に対応付けて格納している互いに異なる種類の特徴のそれぞれについて、当該特徴を示す部位の画像を有している場合に、通知手段３８６は、識別特徴選択手段３８２から受け取った識別特徴を示す情報に基づいて、当該識別特徴である部位の画像を、通信手段３４を用いて画像データベース３８から取得し、当該画像を表示手段５０に表示することにより、主要被写体の中で、識別特徴である部位を撮像すべき旨を利用者に通知してもよい。これにより、利用者は、部位の名称を知らなくとも、効率よく候補名称の絞り込みを行うことができる。

図２１は、本実施形態に係る画像データベース３８に格納されている、特徴の確かさの分布の一例を示す。図２１（ａ）は、被写体毎及び特徴の種類毎の、特徴の確かさの分布の一例を示す。本図に示した、被写体（ユリ、バラ、・・・）のそれぞれと、特徴の種類（特徴Ａ、特徴Ｂ、・・・）のそれぞれとに対応付けられた特徴の確かさの分布は、特徴の値を示す特徴量と、被写体がそれぞれの名称を有する確率との相関を示す。具体的には、分布２４０は、被写体から抽出した特徴量がＶ１である場合、その被写体がユリである確率がＰ１であることを示す。

図２１（ｂ）は、特徴Ａにおけるユリ及びバラのそれぞれに対応する特徴の確かさの分布の重ね合わせを示す。図２１（ｃ）は、特徴Ｂにおけるユリ及びバラのそれぞれに対応する特徴の確かさの分布の重ね合わせを示す。図２１（ｂ）に示すように、特徴Ａにおいて特徴量がＶ５である被写体には、ユリ及びバラの双方が含まれる。これは、特徴Ａにおいて、ユリ及びバラの特徴の確かさの分布の重なりが大きいためである。これにより、候補名称検索手段３４０は、特徴Ａを用いて検索した場合に、ユリとバラとを識別することが困難である。

一方、図２１（ｃ）に示すように、特徴Ｂにおいて特徴量がＶ６である被写体には、ユリは含まれているがバラは含まれていない。これは、特徴Ｂにおいて、ユリ及びバラの特徴の確かさの分布の重なりが小さいためである。これにより、候補名称検索手段３４０は、特徴Ｂを用いて検索した場合に、ユリとバラとを容易に識別することができる。

識別特徴選択手段３８２は、本図に示したような、被写体毎及び特徴毎の特徴の確かさの分布の重なりの大きさを、画像データベース３８から取得する。そして、識別特徴選択手段３８２は、ユリとバラとを識別する必要がある場合には、識別特徴として特徴Ｂを選択し、特徴Ｂを示す情報を、特徴部位検索手段３８４及び通知手段３８６に出力する。

本発明の実施形態に係るデジタル図鑑システム１０によれば、特徴の確かさの分布の重なりに基づいて識別特徴を選択することにより、効率的に絞り込みを行うことができる。

図２２は、本実施形態に係る通知手段３８６における通知処理の第１の例を示す。本例において、デジタル図鑑システム１０の利用者は、まず画像５００を撮像して、主要被写体５０２の説明の検索を試みた後で、通知手段３８６による通知を受けて、再度、画像５１０を撮像する。図２０において説明したように、通知手段３８６は、撮像手段１００によって撮像された画像に含まれる主要被写体の識別特徴に当たる部位の領域を示す情報を、特徴部位検索手段３８４から受け取ると共に、当該画像を、当該部位の領域を枠で囲んだ状態で表示手段５０に表示させる。しかし、特徴部位検索手段３８４によって、主要被写体の中から、当該部位を示す画像が検索されなかった場合、通知手段３８６は、撮像手段１００を用いて当該部位を含む画像を撮像するための撮像方法を示す情報を、利用者に通知してよい。

ここで、撮像方法を示す情報は、例えば、撮像手段１００の撮像方向を示す情報を含んでいてよい。例えば、デジタル図鑑システム１０が、撮像した画像５００において、花である主要被写体５０２の説明を検索する場合に、識別特徴選択手段３８２が、主要被写体５０２のうち、葉である部位を示す識別特徴を選択したとする。この場合、画像５００における主要被写体５０２には、葉である部位を示す画像は含まれていないので、特徴部位検索手段３８４は、当該識別特徴に当たる部位を示す画像を、主要被写体５０２から検索することはできない。一方、本例において、画像データベース３８は、被写体におけるそれぞれの部位の間の位置関係を示す情報を格納しているとする。そして、通知手段３８６は、画像データベース３８から、主要被写体５０２に画像が含まれている部位、例えば花弁及び茎と、選択された識別特徴に当たる部位である葉との位置関係を取得する。そして、通知手段３８６は、主要被写体５０２における葉である部位が、画像５００として撮像された範囲の下方に位置していると検出する。そして、通知手段３８６は、下方向を示す矢印５０４を、例えば画像５００に重畳して表示手段５０に表示させることにより、撮像手段１００の撮像方向を、より下方に向くべく変更すべきである旨を利用者に通知する。これを受けて、利用者は、撮像方向をより下方に向くべく変更して、撮像手段１００に画像５１０を撮像させる。このようにして撮像された画像５１０に含まれる主要被写体５１２は、識別特徴が示す部位である葉を含んでいるので、説明検索手段３３０は、当該識別特徴に基づいて、主要被写体５１２の説明を精度よく検索することができる。

主要被写体である物体が、類似する特徴を有する他の物体に対して明確な差異を示す特徴的な部位である、識別特徴が示す部位を有していたとしても、デジタル図鑑システム１０の利用者が、被写体における当該部位の位置を知っているとは限らない。このため、撮像された画像において、当該特徴的な部位が含まれてない場合がある。しかし、本発明の実施形態に係るデジタル図鑑システム１０によれば、当該特徴的な部位を含む画像を撮像する場合の撮像方法を示す情報を、利用者に通知することができるので、利用者は、当該通知に基づいて、主要被写体の説明が高い精度で検索される画像を撮像することができる。

そして、撮像方法を示す情報として、撮像方向を示す情報が通知されることにより、当初撮像した画像において、撮像範囲内に特徴的な部位が含まれていない場合であっても、利用者は、当該通知に基づいて撮像方向を変更して、主要被写体の説明が高い精度で検索される画像を撮像することができる。

図２３は、本実施形態に係る通知手段３８６における通知処理の第２の例を示す。本例において、デジタル図鑑システム１０の利用者は、まず画像５２０を撮像して、主要被写体５２２の説明の検索を試みた後で、通知手段３８６による通知を受けて、再度、画像５３０を撮像する。以降、特徴部位検索手段３８４によって、主要被写体の中から当該部位を示す画像が検索されなかった場合において、通知手段３８６が利用者に通知する、撮像手段１００を用いて当該部位を含む画像を撮像するための撮像方法を示す情報が、撮像手段１００の位置を示す情報を含む場合の例を説明する。

例えば、デジタル図鑑システム１０が、撮像した画像５２０において、花である主要被写体５２２の説明を検索する場合に、識別特徴選択手段３８２が、主要被写体５２２のうち、おしべである部位を示す識別特徴を選択したとする。この場合、画像５２０における主要被写体５２２には、おしべである部位を示す画像は含まれていないので、特徴部位検索手段３８４は、当該識別特徴に当たる部位を示す画像を、主要被写体５２２から検索することはできない。一方、本例において、画像データベース３８は、被写体を複数の方向から見た場合に、それぞれの方向について、被写体に含まれるそれぞれの部位が見えるか否か、及び当該方向から見た場合のそれぞれの部位の特徴を示す情報を格納しているとする。そして、通知手段３８６は、画像データベース３８から取得した情報に基づいて、画像５２０における、主要被写体５２２を撮像した方向を検出すると共に、検出した方向と、選択された識別特徴に当たる部位である、おしべを含む画像を撮像することができる方向との差を検出する。そして、通知手段３８６は、主要被写体５２２の上方から見て、主要被写体５２２を中心として左回りに９０度だけ回転した位置から主要被写体５２２を撮像することにより、おしべを含む画像を撮像することができると判断する。そして、通知手段３８６は、左回りでの９０度の回転を示す矢印５２４を、例えば画像５２０に重畳して表示手段５０に表示させることにより、撮像手段１００の位置を、上方から見て、主要被写体５２２を中心として左回りに９０度だけ回転した位置に変更すべきである旨を利用者に通知する。これを受けて、利用者は、通知された内容に従って、主要被写体に向かって左側から画像を撮像できる位置に移動して、撮像手段１００に、画像５３０を撮像させる。このようにして撮像された画像５３０に含まれる主要被写体５１２は、識別特徴が示す部位であるおしべを含んでいるので、説明検索手段３３０は、当該識別特徴に基づいて、主要被写体５３２の説明を精度よく検索することができる。

このように、撮像方法を示す情報として、撮像手段１００の位置を示す情報が通知されることにより、当初、主要被写体における特徴的な部位が撮像できない位置から画像を撮像していた場合であっても、利用者は、当該通知に基づいて画像を撮像する位置を変更して、主要被写体の説明が高い精度で検索される画像を撮像することができる。

図２４は、本実施形態に係る通知手段３８６における通知処理の第３の例を示す。本例において、デジタル図鑑システム１０の利用者は、まず画像５４０を撮像して、主要被写体５４２の説明の検索を試みた後で、通知手段３８６による通知を受けて、再度、画像５５０を撮像する。以降、特徴部位検索手段３８４によって、主要被写体の中から当該部位を示す画像が検索されなかった場合において、通知手段３８６が利用者に通知する、撮像手段１００を用いて当該部位を含む画像を撮像するための撮像方法を示す情報が、撮像手段１００の撮像倍率を示す情報を含む場合の例を説明する。

例えば、デジタル図鑑システム１０が、撮像した画像５４０において、花である主要被写体５２２の説明を検索する場合に、識別特徴選択手段３８２が、主要被写体５４２のうち、おしべである部位を示す識別特徴を選択したとする。この場合、画像５４０における主要被写体５４２には、おしべである部位を示す画像は含まれているものの、その大きさが非常に小さいために、特徴部位検索手段３８４は、当該識別特徴に当たる部位を示す画像を、主要被写体５４２から検索することはできない。一方、本例において、画像データベース３８は、被写体におけるそれぞれの部位の間の位置関係を示す情報を格納しており、通知手段３８６は、画像データベース３８から、主要被写体５４２に画像が含まれている部位、例えば花弁と、選択された識別特徴に当たる部位であるおしべとの位置関係を示す情報を取得する。そして、通知手段３８６は、主要被写体５４２におけるおしべである部位が、花弁である部位の中央に位置していると検出する。そして、通知手段３８６は、撮像倍率の増大を示すアイコン画像５４４を、例えば画像５４０に重畳して表示手段５０に表示させることにより、撮像手段１００を用いて、おしべである部位の、より詳細な画像を撮像すべきである旨を利用者に通知する。これを受けて、利用者は、撮像倍率を増大させて、撮像手段１００に画像５５０を撮像させる。このようにして撮像された画像５５０に含まれる主要被写体５５２は、識別特徴が示す部位であるおしべを、特徴部位検索手段３８４が検索できる程度に大きな画像として含んでいるので、説明検索手段３３０は、当該識別特徴に基づいて、主要被写体５５２の説明を精度よく検索することができる。

このように、撮像方法を示す情報として、撮像手段１００の撮像倍率を示す情報が通知されることにより、当初、主要被写体における特徴的な部位を示す画像が小さすぎるために、当該部位を示す画像を検索できない場合であっても、利用者は、当該通知に基づいて画像を撮像する際の撮像倍率を変更して、主要被写体の説明が高い精度で検索される画像を撮像することができる。

なお、通知手段３８６が利用者に通知する、撮像方法を示す情報は、撮像手段１００の撮像方向、位置、及び撮像倍率とは異なる、多様な情報を含んでいてもよい。例えば、当該撮像方法を示す情報は、撮像手段１００における露光時間やホワイトバランスといった、撮像条件を示す情報を含んでいてもよい。

図２５は、本実施形態に係る通知ユニット３８０における処理の流れの一例を示すフローチャートである。まず、識別特徴選択手段３８２は、候補名称検索手段３４０により複数の候補名称が検索されたか否かを判定する（Ｓ１６００）。候補名称検索手段３４０により複数の候補名称が検索された場合（Ｓ１６００：Ｙｅｓ）、識別特徴選択手段３８２は、画像データベース３８から、複数の特徴のそれぞれについて、検索された複数の被写体の全ての組み合わせにおける、当該特徴の確かさの分布の重なりの大きさを取得する（Ｓ１６１０）。

続いて、識別特徴選択手段３８２は、検索された複数の被写体の全ての組み合わせにおける、特徴の確かさの分布の重なりの大きさが最も小さくなる特徴を識別特徴として選択する（Ｓ１６２０）。ここで、識別特徴選択手段３８２は、重なりの大きさの総和や平均値等に基づいて識別特徴を選択してもよく、また、被写体の組み合わせ毎に異なる重みを付した重なりの大きさの総和や平均値等に基づいて識別特徴を選択してもよい。

続いて、特徴部位検索手段３８４は、識別特徴選択手段３８２により選択された識別特徴を示す部位を、主要被写体の画像の中から検索する（Ｓ１６３０）。例えば、特徴部位検索手段３８４は、二値化された主要被写体画像に対して、識別特徴を示す部位毎の二値化画像パターンを用いたパターンマッチング処理を行うことにより、主要被写体の画像の中から、識別特徴を示す部位を検索する。続いて、通知手段３８６は、特徴部位検索手段３８４により検索された、主要被写体の画像における識別特徴に当たる部位を示す領域を、枠表示手段４０を用いて表示手段５０が表示する主要被写体の画像に重畳して表示させることにより、被写体のどの部分を撮像すればよいかを利用者に通知する（Ｓ１６４０）。

以上のように、本発明の実施形態に係るデジタル図鑑システム１０によれば、目の前の被写体の部位として識別特徴を示す部位を理解することができるので、利用者が、容易かつ効率的に候補名称の絞り込みを行うことができる。

図２０から図２５にかけて、通知手段３８６は、識別特徴選択手段３８２によって選択された識別特徴に当たる部位を囲む枠を表示手段５０に表示させて、当該部位を利用者に通知したり、また、撮像方法を示す矢印やアイコン画像を表示手段５０に表示させて、当該撮像方法を利用者に通知したりするとして説明した。しかし、通知手段３８６は、これに代えて、選択された識別特徴の内容を、音声を用いて利用者に通知してもよい。例えば、通知手段３８６は、選択された識別特徴に対応づけて格納されている、当該識別特徴に当たる部位の名称を示す音声データを、画像データベース３８から読み出して、「葉を撮像してください」等の音声として、デジタル図鑑システム１０に設けられたスピーカ等の音声出力手段を用いて出力してよい。また、通知手段３８６は、撮像手段１００を用いて、識別特徴に当たる部位を含む画像を撮像するための撮像方法を示す情報を、音声を用いて利用者に通知してもよい。例えば、図２２に示した画像５００が撮像された場合には、通知手段３８６は、「下の方を撮像してください」という音声を、スピーカ等の音声出力手段を用いて出力してよい。このように、通知手段３８６が、音声を用いて利用者に通知を行うことにより、電子機器の取り扱い経験の少ない利用者がデジタル図鑑システム１０を利用する場合であっても、利用者は、通知された内容を、容易に理解することができる。

また、通知手段３８６が、識別特徴選択手段３８２によって選択された識別特徴の内容に基づいて、撮像手段１００における撮像方法を示す情報を、表示手段５０に表示させて利用者に通知するのに代えて、図２に示した撮像制御手段１２０が、選択された識別特徴の内容に基づいて、撮像手段１００の動作を制御してもよい。具体的には、撮像制御手段１２０は、識別特徴選択手段３８２によって選択された識別特徴を示す情報、及び特徴部位検索手段３８４によって検索された、当該識別特徴に当たる部位を示す画像を受け取り、受け取った識別特徴及び画像に基づいて、撮像手段１００の動作を制御してよい。これにより、利用者が、通知手段３８６からの通知に基づいて、撮像装置２０を操作しなくとも、撮像手段１００の動作を自動的に制御して、選択された識別特徴、或いは識別特徴に当たる部位を含む画像を撮像することにより、主要被写体の説明を検索することができる。

例えば、撮像制御手段１２０は、特徴部位検索手段３８４によって、画像に含まれる主要被写体の中から、識別特徴に当たる部位が検索されなかった場合に、当該部位が撮像手段１００の撮像範囲に含まれるべく、撮像手段１００の撮像方向を制御してよい。例えば、図２２に示したように、撮像された画像５００に含まれる主要被写体５０２に、識別特徴に当たる、葉である部位を示す画像が含まれていない場合には、撮像制御手段１２０は、図２２において説明した通知手段３８６と同様にして、当該葉である部位の位置を検出すると共に、当該葉である部位が撮像手段１００の撮像範囲に含まれるべく、撮像手段１００の撮像方向を、より下方に変更してよい。この場合、撮像制御手段１２０は、例えば、光学系１０２における光軸の方向を制御するべく、撮像手段１００に設けられたアクチュエータを駆動させることにより、撮像手段１００の撮像方向を制御してよい。これにより、利用者が、当初、主要被写体における特徴的な部位である、識別特徴に当たる部位を有しない画像を撮像した場合であっても、撮像方向を自動的に制御して、当該部位を含む画像を撮像することができるので、利用者に負担をかけることなく、主要被写体の説明を高い精度で検索することができる。

また、例えば、撮像制御手段１２０は、特徴部位検索手段３８４によって、画像に含まれる主要被写体の中から、識別特徴に当たる部位が検索されなかった場合に、当該部位が撮像手段１００の撮像範囲に含まれるべく、撮像手段の位置を制御してよい。例えば、図２３に示したように、撮像された画像５２０に含まれる主要被写体５２２に、識別特徴に当たる、おしべである部位が含まれていない場合には、撮像制御手段１２０は、図２３において説明した通知手段３８６と同様にして、当該おしべである部位を含む画像を撮像できる方向を検出すると共に、当該おしべである部位が撮像手段１００の撮像範囲に含まれるべく、撮像手段１００の位置を、上方から見て、主要被写体５２２を中心として左回りに９０度だけ回転した位置に変更してよい。ここで、デジタル図鑑システム１０のうち、撮像手段１００を含む少なくとも一部は、例えば、車輪及びモータ等により自走可能に設けられていたり、または、小型のヘリコプター等に設けられたりしていてよく、撮像制御手段１２０が、当該少なくとも一部の位置及び向きを制御できてよい。これにより、利用者が、当初、主要被写体における特徴的な部位である、識別特徴に当たる部位が写らない方向から画像を撮像した場合であっても、画像を撮像する位置を自動的に制御して、当該部位を含む画像を撮像することにより、利用者に負担をかけることなく、主要被写体の説明を検索することができる。

また、例えば、撮像制御手段１２０は、撮像手段１００によって撮像された画像のうち、特徴部位検索手段３８４によって検索された、識別特徴に当たる部位を示す画像の大きさの、撮像された画像全体の大きさに対する割合が、予め定められた基準値より小さい場合に、撮像手段１００の撮像倍率をより大きくしてよい。例えば、特徴部位検索手段３８４が、撮像された画像に含まれる主要被写体における、識別特徴に当たる部位を示す画像を、画像に含まれる大凡の特徴に基づいて検索できたものの、当該画像から、主要被写体を複数の被写体の候補から絞り込むことができる程度に詳細な特徴として、当該識別特徴を抽出できなかったとする。そして、撮像制御手段１２０は、検索された部位の画像の大きさの、撮像された画像全体に対する割合が、予め定められた基準値より小さい場合に、撮像手段１００の撮像倍率を、当該割合に応じて、より大きくする。なお、予め定められた基準値は、説明検索手段３３０が、十分に高い精度で主要被写体の説明を検索できる程度に詳細な識別特徴を、撮像された画像から抽出可能な場合における、当該識別特徴に当たる部位を示す画像の、撮像された画像全体に対する割合の典型値であってよく、例えば利用者等によって予め定められていてよい。これにより、利用者が、当初、主要被写体における特徴的な部位を、十分に大きく撮像できていない場合であっても、撮像手段１００における撮像倍率を自動的に増大させて、当該部位を十分な大きさで含む画像を撮像することにより、利用者に負担をかけることなく、主要被写体の説明を検索することができる。

また、画像データベース３８は、被写体が有する互いに異なる複数の種類の特徴に対応づけて、当該被写体が危険性の高い物体であるか否かを示す危険物情報を更に格納していてもよい。この場合、通知手段３８６は、説明検索手段３３０が説明や候補名称を検索した被写体に対応する危険物情報によって、当該被写体が危険性の高い物体であると示されている場合には、例えば表示手段５０に「危険」といった文字を表示させる等して、利用者にその旨を通知してもよい。これにより、利用者が、主要被写体が危険性の高い動植物であることを知らずに、当該動植物における特徴的な部位をより詳細に示す画像を撮像するべく、当該動植物に不用意に近寄ることを防止することができる。

なお、以上に説明した、本発明の実施形態に係るデジタル図鑑システム１０において、撮像装置２０と、図鑑処理手段３２と、通信手段３４とは、単一の機器として形成されてもよく、また、相互に接続する複数の機器として形成されてもよい。そして、デジタル図鑑システム１０が単一の機器として形成されている場合において、例えば、デジタルスチルカメラまたはデジタルビデオカメラである撮像装置２０は、図１０から図２５にかけて説明した図鑑処理手段３２及び通信手段３４を含んでいてもよい。

この場合、図１０に示した第２特徴抽出手段３０２は、主要被写体とは異なる被写体の特徴を抽出する場合に、図２に示した繰り返し捕捉手段１４２が、合焦距離を変更しつつ撮像手段１００に繰り返し捕捉させた複数の画像のうち、合焦距離算出手段１４４によって算出された、当該被写体が含まれる領域の合焦距離において捕捉された画像から、当該被写体の特徴を抽出してよい。これにより、第２特徴抽出手段３０２が、より合焦度の高い鮮明な画像から、当該被写体の特徴を抽出することができるので、デジタル図鑑システム１０は、より高い精度で主要被写体の説明を検索することができる。

また、図２に示した主要被写体距離算出手段１４６は、画像に含まれる領域のそれぞれについての、画像データベース３８が格納する被写体の特徴と同一の種類の特徴が当該領域に含まれるか否かの判断結果に更に基づいて、主要被写体距離を算出してよい。これにより、利用可能な画像データベース３８が、例えば花といった、特定の種類の被写体についての説明のみを格納している場合に、主要被写体距離算出手段１４６は、撮像された画像に含まれる、当該特定の種類の被写体、具体的には、当該特定の種類の被写体が有する特徴と同一の種類の特徴を有する被写体を、主要被写体として選択することができる。従って、利用者が、特定の種類の被写体の説明を検索するべく、当該特定の種類の被写体についての画像データベース３８を利用している場合に、利用者が説明を検索したいと所望する被写体を、主要被写体として精度よく選択することができる。

図２６は、本実施形態に係るデジタル図鑑システム１０として動作させるパーソナルコンピュータ７０のハードウェア構成の一例を示すブロック図である。パーソナルコンピュータ７０は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インターフェース７０６と、ハードディスクドライブ７１０と、フレキシブルディスクドライブ７１２と、ＣＤ−ＲＯＭドライブ７１４とを備える。ＣＰＵ７００は、ＲＯＭ７０２及びＲＡＭ７０４に格納されたプログラムに基づいて動作し、各部の制御を行う。

フレキシブルディスクドライブ７１２は、フレキシブルディスク７２０からデータ又はプログラムを読み取り、ＲＡＭ７０４に格納する。ＣＤ−ＲＯＭドライブ７１４は、ＣＤ−ＲＯＭ７２２からデータ又はプログラムを読み取り、ＲＡＭ７０４に格納する。

デジタル図鑑システム１０に提供されるプログラムは、フレキシブルディスク７２０又はＣＤ−ＲＯＭ７２２等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは記録媒体から読み出され、デジタル図鑑システム１０にインストールされ、デジタル図鑑システム１０において実行される。記録媒体により提供されてデジタル図鑑システム１０にインストールされるプログラムは、デジタル図鑑システム１０に働きかけて、図１から図２５において説明したデジタル図鑑システム１０の機能を実行させる。

図２６に示した記録媒体の一例としてのフレキシブルディスク７２０又はＣＤ−ＲＯＭ７２２には、本出願で説明した実施形態におけるデジタル図鑑システム１０の動作の一部又は全ての機能を格納することができる。

これらのプログラムは記録媒体から直接デジタル図鑑システム１０によって読み出されて実行されても、デジタル図鑑システム１０にインストールされた後にデジタル図鑑システム１０において実行されてもよい。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されてもよい。また、符号化した形態で格納されていてもよい。

記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤ、ＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアカードなどの半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の格納装置を記録媒体として使用し、通信網を介してプログラムをデジタル図鑑システム１０に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明の実施形態に係るデジタル図鑑システム１０の構成の一例を示すブロック図である。 本実施形態に係る撮像ユニット２５の構成の一例を示すブロック図である。 本実施形態に係る合焦距離算出手段１４４における処理の一例を示す図である。 本実施形態に係る主要被写体距離算出手段１４６において用いられる重みの一例を示す図である。 本実施形態に係るデジタル図鑑システム１０の外観の一例を示す図である。 本実施形態に係る撮像装置２０の処理の一例を示すフローチャートである。 Ｓ１０１０の詳細を示すフローチャートである。 Ｓ１０２０及びＳ１０３０の詳細を示すフローチャートである。 Ｓ１０４０の詳細を示すフローチャートである。 本発明の実施形態に係る部分図３０の詳細の一例を示すブロック図である。 本実施形態に係る画像データベース選択手段３２０及び候補名称検索手段３４０の詳細を示すブロック図である。 本実施形態に係る特徴抽出手段３００の処理の一例を示す図である。 本実施形態に係る画像データベース３８の第１の例を示す図である。 本実施形態に係る画像データベース３８の第２の例を示す図である。 本実施形態に係る画像データベース３８の第３の例を示す図である。 本実施形態に係る図鑑処理手段３２の処理の一例を示すフローチャートである。 本実施形態に係る名称決定ユニット３６０の詳細の一例を示すブロック図である。 本実施形態に係る決定ユニット３６０の処理の一例を示す図である。 名称決定ユニット３６０における処理の流れの一例を示すフローチャートである。 本実施形態に係る通知ユニット３８０の詳細の一例を示すブロック図である。 本実施形態に係る画像データベース３８に格納されている、特徴の確かさの分布の一例を示す図である。 本実施形態に係る通知手段３８６における通知処理の第１の例を示す図である。 本実施形態に係る通知手段３８６における通知処理の第２の例を示す図である。 本実施形態に係る通知手段３８６における通知処理の第３の例を示す図である。 本実施形態に係る通知ユニット３８０における処理の流れの一例を示すフローチャートである。 本実施形態に係るデジタル図鑑システム１０として動作させるパーソナルコンピュータ７０のハードウェア構成の一例を示すブロック図である。

符号の説明

１０ デジタル図鑑システム、２０ 撮像装置、２５ 撮像ユニット、３２ 図鑑処理手段、３４ 通信手段、３６ ネットワーク、３８ 画像データベース、４０ 枠表示手段、５０ 表示手段、６０ ２次メモリ、１００ 撮像手段、１０２ 光学系、１０４ ＣＣＤ、１０６ 撮像信号処理手段、１１０ １次メモリ、１２０ 撮像制御手段、１２２ 自動焦点手段、１２４ 露出選択手段、１２６ ホワイトバランス設定手段、１４０ 主要被写体選択手段、１４２ 繰り返し捕捉手段、１４４ 合焦距離算出手段、１４６ 主要被写体距離算出手段、１４８ 領域選択手段、２０２ 遠距離ボタン、２０４ 近距離ボタン、３００ 第１特徴抽出手段、３０２ 第２特徴抽出手段、３０４ 付帯情報取得手段、３１０ 特徴選択手段、３２０ 画像データベース選択手段、３２２ 第１画像データベース選択手段、３２４ 第２画像データベース選択手段、３３０ 説明検索手段、３４０ 候補名称検索手段、３４２ 第１検索手段、３４４ 第２検索手段、３５０ 重複被写体選択手段、３６０ 名称決定ユニット、３６２ 一部検索候補選択手段、３６４ 再検索手段、３６６ 確率取得手段、３６８ 名称決定手段、３７０ 説明読み出し手段、３８０ 通知ユニット、３８２ 識別特徴選択手段、３８４ 特徴部位検索手段、３８６ 通知手段、４００ 送信手段、４１０ 受信手段、７００ ＣＰＵ、７０２ ＲＯＭ、７０４ ＲＡＭ、７０６ 通信インターフェース、７１０ ハードディスクドライブ、７１２ フレキシブルディスクドライブ、７１４ ＣＤ−ＲＯＭドライブ、７２０ フレキシブルディスク、７２２ ＣＤ−ＲＯＭ

Claims (20)

1. 画像を捕捉する撮像手段と、
   前記撮像手段によって捕捉された捕捉画像を表示する表示手段と、
   前記捕捉画像の中から、主要被写体を選択する主要被写体選択手段と、
   前記表示手段に、前記主要被写体を囲む枠を前記捕捉画像に重畳して表示させる枠表示手段と
   を備える撮像装置。
2. 前記枠表示手段は、前記主要被写体の外周の近傍で前記外周に沿う枠を表示する請求項１に記載の撮像装置。
3. 前記撮像手段は、当該撮像装置から焦点の合う被写体までの距離である合焦距離を変更することのできる光学系を有し、
   前記主要被写体選択手段は、
   前記光学系により前記合焦距離を変更しつつ繰り返し前記画像を捕捉させる繰り返し捕捉手段と、
   前記繰り返し捕捉手段によって捕捉された前記画像に基づいて、前記画像に含まれる領域毎に、最も焦点の合っている画像が得られた合焦距離を算出する合焦距離算出手段と、
   前記合焦距離算出手段が算出した、前記領域ごとの合焦距離に基づいて、前記主要被写体までの距離である主要被写体距離を算出する主要被写体距離算出手段と、
   前記画像の中から、前記主要被写体距離だけ離れている領域を選択する領域選択手段と
   を有し、
   前記枠表示手段は、前記領域選択手段が選択した領域を囲む枠を表示する
   請求項１に記載の撮像装置。
4. 前記主要被写体距離算出手段は、同一の合焦距離を有する領域の面積と前記領域ごとに予め定められた重みとの積和に、合焦距離ごとに予め定められた距離重みを乗じた値が最も大きい合焦距離を、前記主要被写体距離として算出する請求項３に記載の撮像装置。
5. 前記主要被写体距離を変更する変更操作手段を更に備え、
   前記領域選択手段は、前記変更操作手段により前記主要被写体距離が変更された場合に、変更された主要被写体距離だけ離れている領域を再度選択し、
   前記枠表示手段は、前記領域選択手段が再度選択した領域を囲む枠を表示する
   請求項３に記載の撮像装置。
6. 前記変更操作手段によって変更された主要被写体距離に焦点を合わせる自動焦点手段を更に有する請求項５に記載の撮像装置。
7. 前記領域選択手段が選択した領域に、他の領域よりも大きな重みを付けて前記画像の露出度を選択する露出選択手段を更に備える請求項５に記載の撮像装置。
8. 前記領域選択手段が選択した領域に、他の領域よりも大きな重みを付けて前記画像のホワイトバランスを設定するホワイトバランス設定手段を更に備える請求項５に記載の撮像装置。
9. 前記主要被写体の特徴を抽出する特徴抽出手段と、
   被写体が有する特徴に対応付けて被写体の説明を格納する画像データベースから、前記特徴抽出手段が抽出した特徴を用いて、前記主要被写体の説明を検索する説明検索手段と
   を更に備える請求項３に記載の撮像装置。
10. 前記画像から、前記主要被写体とは異なる被写体の特徴を抽出する第２特徴抽出手段
    を更に備え、
    前記説明検索手段は、被写体に対して関連性の高い物体が有する特徴に更に対応付けて被写体の説明を格納する前記画像データベースから、前記第２特徴抽出手段が抽出した、前記主要被写体とは異なる被写体の特徴を更に用いて、前記主要被写体の説明を検索する
    請求項９に記載の撮像装置。
11. 前記第２特徴抽出手段は、前記主要被写体とは異なる被写体の特徴を抽出する場合に、前記繰り返し捕捉手段が前記合焦距離を変更しつつ繰り返し捕捉させた複数の前記画像のうち、前記合焦距離算出手段によって算出された、当該被写体が含まれる領域の合焦距離において捕捉された前記画像から、当該被写体の特徴を抽出する
    請求項１０に記載の撮像装置。
12. 前記画像に付帯する付帯情報を取得する付帯情報取得手段
    を更に備え、
    前記説明検索手段は、被写体の画像に付帯する前記付帯情報に更に対応付けて被写体の説明を格納する前記画像データベースから、前記付帯情報取得手段が取得した前記付帯情報を更に用いて、前記主要被写体の説明を検索する
    請求項９に記載の撮像装置。
13. 前記主要被写体距離算出手段は、前記画像に含まれる領域のそれぞれについての、前記画像データベースが格納する被写体の特徴と同一の種類の特徴が当該領域に含まれるか否かの判断結果に更に基づいて、前記主要被写体距離を算出する
    請求項９に記載の撮像装置。
14. 前記合焦距離算出手段は、利用者によって予め定められた当該撮像装置の撮像モードに基づいて、前記画像を複数の前記領域に分割する場合の分割方法を制御する
    請求項３に記載の撮像装置。
15. 撮像装置による撮像方法であって、
    画像を捕捉する撮像段階と、
    前記撮像段階において捕捉された捕捉画像を表示する表示段階と、
    前記捕捉画像の中から、主要被写体を選択する主要被写体選択段階と、
    前記主要被写体を囲む枠を前記捕捉画像に重畳して表示させる枠表示段階と
    を備える撮像方法。
16. 前記撮像段階は、当該撮像装置から焦点の合う被写体までの距離である合焦距離を変更することのできる光学段階を有し、
    前記主要被写体選択段階は、
    前記光学段階における前記合焦距離を変更しつつ繰り返し前記画像を捕捉させる繰り返し捕捉段階と、
    前記繰り返し捕捉段階において捕捉された前記画像に基づいて、前記画像に含まれる領域毎に、最も焦点の合っている画像が得られた合焦距離を算出する合焦距離算出段階と、
    前記合焦距離算出段階において算出された、前記領域ごとの合焦距離に基づいて、前記主要被写体までの距離である主要被写体距離を算出する主要被写体距離算出段階と、
    前記画像の中から、前記主要被写体距離だけ離れている領域を選択する領域選択段階と
    を有し、
    前記枠表示段階は、前記領域選択手段が選択した領域を囲む枠を表示する
    請求項１５に記載の撮像方法。
17. 前記主要被写体距離算出段階は、同一の合焦距離を有する領域の面積と前記領域ごとに予め定められた重みとの積和に、合焦距離ごとに予め定められた距離重みを乗じた値が最も大きい合焦距離を、前記主要被写体距離として算出する請求項１６に記載の撮像方法。
18. 撮像装置を機能させる撮像プログラムであって、
    当該撮像装置を、
    画像を捕捉する撮像手段と、
    前記撮像手段によって捕捉された捕捉画像を表示する表示手段と、
    前記捕捉画像の中から、主要被写体を選択する主要被写体選択手段と、
    前記表示手段に、前記主要被写体を囲む枠を前記捕捉画像に重畳して表示させる枠表示手段と
    して機能させる撮像プログラム。
19. 前記撮像手段は、当該撮像装置から焦点の合う被写体までの距離である合焦距離を変更することのできる光学系を有し、
    前記主要被写体選択手段は、
    前記光学系により前記合焦距離を変更しつつ繰り返し前記画像を捕捉させる繰り返し捕捉手段と、
    前記繰り返し捕捉手段によって捕捉された前記画像に基づいて、前記画像に含まれる領域毎に、最も焦点の合っている画像が得られた合焦距離を算出する合焦距離算出手段と、
    前記合焦距離算出手段が算出した、前記領域ごとの合焦距離に基づいて、前記主要被写体までの距離である主要被写体距離を算出する主要被写体距離算出手段と、
    前記画像の中から、前記主要被写体距離だけ離れている領域を選択する領域選択手段と
    を有し、
    前記枠表示手段は、前記領域選択手段が選択した領域を囲む枠を表示する
    ことを特徴とする請求項１８に記載の撮像プログラム。
20. 前記主要被写体距離算出手段は、同一の合焦距離を有する領域の面積と前記領域ごとに予め定められた重みとの積和に、合焦距離ごとに予め定められた距離重みを乗じた値が最も大きい合焦距離を、前記主要被写体距離として算出することを特徴とする請求項１９に記載の撮像プログラム。

Images