JP2009521134A - シーン認識撮影システム及びシーン認識撮影方法 - Google Patents

Abstract

【課題】撮像されているシーンを認識して、初心者でも容易に良好な構図の画像を取得できるようにしたシーン認識撮影装置及びシーン認識撮影方法を提供することである。
【解決手段】カメラ制御部１１にて、撮像素子１６より取得した取得画像から該取得画像の特徴量を算出する。また、構図を決定する際の基準となる特徴量を備えた基準特徴情報は、内部メモリ２０またはストレージデバイス２２にデータベースとして複数種類格納している。更に、カメラ制御部１０では、上記算出された特徴量と基準特徴情報とを比較することで、上記基準特徴情報の中から上記取得画像の特徴量に類似する特徴量を備えた基準特徴情報を検索する。そして、上記取得画像と検索された上記基準特徴情報を比較した結果に基づいて、構図に関する情報を表示装置２４に表示する。
【選択図】 図１

Description

本発明は、良好な構図の画像を取得できるようにユーザに情報を提示するシーン認識撮影システム及びシーン認識撮影方法に関するものである。

近年、デジタルカメラは高機能化が進み、多様な撮影モードを設定することが可能となってきている。そして、各種撮影モードに適したＡＥ（自動露出）やシャッタスピードで撮影を行うことができるようになってきている。

ところが、カメラの構図を適切に決めることは初心者にはまだ難しいものである。更に、ユーザ毎の主観的な好ましい構図というのは、それぞれ異なっている。

そのため、複数の撮影モードの中から、ユーザが撮影しようとする撮影モードを選択すると、表示画面上に撮影対象に応じた撮影アドバイスを表示するカメラが知られている（例えば、下記特許文献１参照）。このカメラは、選択された撮影モードに応じたアイコンが表示画面上に表示され、撮影モードに応じた撮影アドバイスが表示され、ユーザに対して失敗撮影を起こさないよう注意を促すものである。

また、下記特許文献２には、エリアセンサの出力を基に撮影する被写体情報を認識する被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段を有し、前記被写体認識手段は設定された撮影モードに応じて被写体情報を認識するためのアルゴリズムを変更するカメラが開示されている。

更に、撮影時に画像データに付与された位置情報を参照し、その位置情報から関連する複数の構造物画像を抽出し、撮影された画像と、抽出された複数の関連する構造物画像との相関値を算出して、相関が最も高い画像に含まれる構造物を撮影された画像として被写体を推定する方法が、下記特許文献３に開示されている。
特開２０００−３３３０４５号公報 特開２００１−３３０８８２号公報 特開２００４−２１４７６０号公報

しかしながら、上記特許文献１に記載の技術では、ユーザが表示されたアドバイスを見ながら失敗がないように構図を設定するよう考える必要があり、構図をどちらの方向に移動すればよいかはユーザ自身が決める必要があるという課題を有している。

また、上記特許文献２に記載のカメラでは、被写体認識を行う際に、入力された画像情報のみから、色情報や物体の面積情報等の認識処理を行うため、正確な認識を行うことは困難である。

更に、上記特許文献３に記載のカメラは、被写体認識を行うときに位置情報を参照してその位置情報に関連する複数の画像から相関値を算出することにより被写体を推定しているが、この方法によると位置に関連する画像しか参照されないため、撮影位置と共に参照画像が登録されていない場合、検索を行うことができないものであった。

したがって本発明は上記実情に鑑みてなされたものであり、その目的は、初心者でも容易に良好な構図の画像を取得できるようにしたシーン認識撮影システム及びシーン認識撮影方法を提供することである。

すなわち第１の発明は、撮像素子より取得された取得画像から該取得画像の特徴量を算出する算出部と、構図を決定する際の基準となる特徴量を備えた基準特徴情報を複数種類格納するデータベースと、前記算出部で算出された特徴量と、前記基準特徴情報とを比較することで、前記基準特徴情報の中から前記取得画像の特徴量に類似する特徴量を備えた基準特徴情報を検索する検索部と、前記取得画像と前記検索部で検索された前記基準特徴情報を比較した結果に基づいて構図に関する情報を報知する報知部と、を具備することを特徴とする。

第２の発明は、撮像素子より取得された取得画像から該取得画像の特徴量を算出する算出部と、構図を決定する際の基準となる特徴量を備えた基準特徴情報を複数種類格納するデータベースと、前記算出部で算出された特徴量と、前記基準特徴情報とを比較することで、前記基準特徴情報の中から前記取得画像の特徴量に類似する特徴量を備えた基準特徴情報を検索する検索部と、前記取得画像と前記検索部で検索された前記基準特徴情報を比較した結果に基づいて、撮影装置の方向を制御する方向制御部と、を具備することを特徴とする。

第３の発明は、シーンを認識して撮影を行うシーン認識撮影方法であって、撮像素子より取得された取得画像から該取得画像の特徴量を算出する第１のステップと、前記算出された特徴量と、データベースに格納された構図を決定する際の基準となる特徴量を備えた基準特徴情報とを比較することで、前記基準特徴情報の中から前記取得画像の特徴量に類似する特徴量を備えた基準特徴情報を検索する第２のステップと、前記取得画像と前記基準特徴情報を比較した結果に基づいて構図に関する情報を報知する第３のステップと、を具備することを特徴とする。

そして第４の発明は、シーンを認識して撮影を行うシーン認識撮影方法であって、撮像素子より取得された取得画像から該取得画像の特徴量を算出する第１のステップと、前記算出された特徴量と、データベースに格納された構図を決定する際の基準となる特徴量を備えた基準特徴情報とを比較することで、前記基準特徴情報の中から前記取得画像の特徴量に類似する特徴量を備えた基準特徴情報を検索する第２のステップと、前記取得画像と前記基準特徴情報を比較した結果に基づいて、撮影装置の方向を制御する第３のステップと、を具備することを特徴とする。

本発明によれば、初心者でも容易に良好な構図の画像を取得できるようにしたシーン認識撮影システム及びシーン認識撮影方法を提供することができる。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係るシーン認識撮影システムが適用された撮像装置としてのカメラの基本的な構成を示すブロック図である。

図１に於いて、このカメラは、カメラ制御部１０と、光学系１２と、ズーム制御部１４と、撮像素子１６と、撮影モード設定部１８と、内部メモリ２０と、ストレージデバイス２２と、表示装置２４及び操作部２６とを有して構成されている。

前記カメラ制御部１０は、制御手段としてこのカメラ全体の制御動作を司るもので、画像特徴の算出手段と検索手段としての機能をも有している。光学系１２は撮影レンズ等を有して構成されるもので、カメラ制御部１０からの指示に従って、ズーム制御部１４により光軸方向に位置制御されるようになっている。また、撮像素子１６は、光学系１２を介して入射される被写体の光学像を結像するためのもので、ＣＣＤ等により構成される。この撮像素子１６で取り込まれた光学像は、図示されない画像処理部を介して電気信号に変換された後、カメラ制御部１０に出力される。

前記撮影モード設定部１８は、このカメラの撮影時の撮影モードを設定するためのものである。内部メモリ２０及びストレージデバイス２２は、構図を決定する際の基準となる特徴量（基準特徴量）を備えた基準特徴量情報として複数の参照画像が格納されている。特徴量とは、例えば、色の割合、輝度のヒストグラムやテクスチャ情報等である。これらの内部メモリ２０及びストレージデバイス２２内の基準特徴量が検索されることにより、後述するように構図が設定される。

報知手段として機能する表示装置２４には、撮影された被写体の画像や構図に関する情報等が表示される。また、操作部２６は操作手段を構成するもので、例えば撮影動作の実行を指示するレリーズスイッチやズームスイッチ、電源スイッチ、後述するスイッチ群２６ａ等、当該カメラを操作するために必要な操作釦を含むスイッチ群で構成される。

図２は、本発明の第１の実施形態に於けるカメラの構造を示したもので、カメラの後方より見た背面図である。

このカメラ３０の背面側には、表示装置２４としての液晶ファインダ２４ａと、操作部２６の一部を構成する操作スイッチ群２６ａが設けられている。この操作スイッチ群２６ａは、決定釦と方向指示釦とから構成されている。

次に、図３のフローチャートを参照して、本発明の第１の実施形態に於けるカメラの撮影動作について説明する。先ず、カメラの移動方向を指示して良好な構図設定を行う場合について説明する。

本シーケンスが開始されると、先ず、ステップＳ１に於いて、撮影モードの設定を行う。撮影モードとは、ユーザが撮影しようとするシーンの種類に対応して、自動露出、シャッタ速度、オートフォーカスの条件や、撮影した画像に対する画像処理の内容を変えて設定された撮影条件である。例えば、人物を撮影するシーンに対応するポートレートモード、遠くの被写体を撮影するシーンに対応する景色モード、近くの被写体を撮影するシーンに対応するマクロモード、人物と遠くの景色を同時に撮影するシーンに応じた記念撮影モード、ユーザがカメラを手にして自分自身を撮影するシーンであるセルフポートレートモード等が、撮影モードとして例示できる。ステップＳ１では、ユーザが撮影しようとするシーンに合わせて操作釦を操作することで、撮影に先立って選択した撮影モードを設定する。

次にステップＳ２に於いて、被写体の画像を、光学系１２を介して撮像素子１６から取得する。このステップＳ２で取得される被写体の画像は、いわゆるプリ撮影で取得される画像であってもよいし、いわゆる本撮影で取得される画像であってもよい。例えば、ここで取得した取得画像（入力画像）が、図４Ａに示されるような構図であったとする。この場合の構図は、被写体３４と背景の山３６の一部が写っている画像３２である。

次いで、ステップＳ３にて前記ステップＳ２で取得された画像の画像信号から、その画像の特徴量をカメラ制御部１０内にて算出する。そして、ステップＳ４にて、前記特徴量に基づいて、内部メモリ２０またはストレージデバイス２２内に格納されている参照画像から、前記ステップＳ２で取得された画像に類似する類似画像を検索する。尚、この参照画像が、撮影モード毎に用意された理想的な構図を示すものである。例えば、ステップＳ４では、図４Ｂに示されるような構図の画像が類似画像３５として検索される。

ステップＳ５では、前記ステップＳ２で取得された取得画像とステップＳ４で検索された類似画像とを比較することにより、両者のずれをカメラ制御部１０内で算出する。次に、ステップＳ６に於いて、ずれ量の大きさを判定する。この判定の結果、ずれ量が十分小さい、すなわち類似画像４０の構図に似ていると判定されたならば、ステップＳ９へ移行する。一方、ずれ量が大きいと判定された場合は、ステップＳ７へ移行する。

そして、ステップＳ７にて、前記ステップＳ６の比較結果より得られたずれ量に基づいて、図４Ａに示される取得画像３２の構図を、図４Ｂに示される類似画像４０の構図となるように変更するべく構図の変更方向（移動方向）を算出する。次いで、ステップＳ８に於いて、構図を算出した移動方向に変更させることをユーザに報知するために、指示表示３８を、表示装置２４の液晶ファインダ２４ａ内に表示（画像３２）する。

この後、ユーザが液晶ファィンダ２４ａ内の指示表示３８に従って、カメラ３０の構図を調整して、再び撮影を行うと、ステップＳ２からの処理を繰り返す。

取得画像３２と類似画像４０が似ていると判定された場合は、ステップＳ９に於いて液晶ファインダ２４ａに撮影ＯＫの指示が表示される（図示せず）。そして、ステップＳ１０に於いて、前記ステップＳ９でＯＫとなった構図にて、ユーザは本撮影を行うことができる。

ここで、ずれ量の大きさは、特徴量の比較に於いて、取得画像と検索された画像との位置ずらしを行うことにより、類似度の変化の様子から類推することができる。すなわち、検索された画像を上下、左右方向に微妙にずらし、類似度の変化を観察し、類似度が高くなる方向を探索し、更に、探索された類似度が大きくなる方向へずらし、複数のずらした量とそれに伴う類似度の値との関数関係より、類似度が極小となるようなずれ量を求めれば、その値が初期ずれ量となる。したがって、前述の類似度が極小となるようなずれ量は、いわゆる、最急降下法や最小２乗法のような最適化問題を解くことになる。

以上が、カメラの移動方向を指示して良好な構図設定を行う場合の例である。

このように、撮像素子１６に取り込まれた入力画像と、該入力画像に対して検索された類似画像とが位置的なずれを有している可能性は高いが、類似画像が良好な構図である場合は、撮影装置を平行移動、またはパン、或いはティルトして、検索された類似画像に近い配置になるようにカメラを移動させるべき方向である移動方向を、構図に関する情報として、液晶ファインダ２０ａ内に表示する。このことにより、ユーザは、表示に従ってカメラを操作して、類似画像の構図と近い構図になるまで、現在の構図を適切に設定することができる。

以上のように、本実施形態では、取得画像と類似画像とのずれ量に基づいて構図の移動方向を算出しているが、これに限られるものではなく、取得画像と類似画像で被写体の大きさの違いを算出し、大きさの違いに応じてズーム量の変更を指示する表示を出力して、検索された類似画像と取得画像の構図が似たものになるように構図設定の支援を行うようにすることもできる。

次に、こうしたズーム操作を支援して良好な構図設定を行う場合のカメラの撮影動作について、図５のフローチャートを参照して説明する。

本シーケンスが開始されると、先ずステップＳ１１に於いて、撮影モードの設定を行う。次いで、ステップＳ１２に於いて、被写体の画像を、光学系１２を介して撮像素子１６から取得する。このステップＳ１２で取得される被写体の画像は、いわゆるプリ撮影で取得される画像であってもよいし、いわゆる本撮影で取得される画像であってもよい。例えば、ここで取得した取得画像（入力画像）が、図６Ａに示されるような構図であったとする。この場合の構図は、画面の略半分位に被写体４４が写っている画像４２である。

次いで、ステップＳ１３にて、前記ステップＳ１２で取得された画像の画像信号から、その画像の特徴量をカメラ制御部１０内にて算出する。ここで、特徴量とは、例えば、色の割合、輝度のヒストグラムやテクスチャ情報等である。そして、ステップＳ１４にて、前記特徴量に基づいて、内部メモリ２０またはストレージデバイス２２内に格納されている参照画像から、前記ステップＳ１２で取得された画像に類似する類似画像を検索する。尚、この参照画像は、撮影モード毎に用意された理想的な構図であり、例えば、図６Ｂに示されるような構図が、類似画像４８として検出される。

ステップＳ１５では、前記ステップＳ１２で取得された取得画像とステップＳ１４で検索された類似画像とを比較することにより、ズーム量がカメラ制御部１０内で算出される。次に、ステップＳ１６に於いて、ズーム量の大きさが判定される。この判定の結果、ズーム量が適切である、すなわち類似画像４８の構図に似ていると判定されたならば、ステップＳ１９へ移行する。一方、まだズーム量が適切でないと判定された場合は、ステップＳ１７へ移行する。

そして、ステップＳ１７にて、前記ステップＳ１６の比較結果より得られたズーム量に基づいて、図６Ａに示される画像４２の構図を、図６Ｂに示される類似画像４８の構図となるように、ズームアップ（またはズームダウン）するべくそのズーム量やズーム方向が算出される。次いで、ステップＳ１８に於いて、カメラ３０のズームアップ（またはズームダウン）操作を行わせるべく、ズーム量やズーム量を変える方向（ズーム方向）の表示４６を、表示装置２４の液晶ファインダ２４ａ内に表示（画像４２）する。この場合、矢印の表示４６が右上に向いていることから、ズームアップ操作を促していることがわかる。図示されないが、矢印の表示が右下に向いている場合はズームダウン操作を促している。また、例えば、矢印の色や大きさでズーム量を報知することもできる。

この後、ユーザが、液晶ファィンダ２４ａ内の矢印表示４６に従ってカメラ３０のズームアップ（またはズームダウン）操作を行って、構図を調整して、再び撮影を行うと、ステップＳ１２からの処理を繰り返す。

取得画像４２と類似画像４８が似ていると判定された場合は、ステップＳ１９に於いて液晶ファインダ２４ａに撮影ＯＫの指示が表示される（図示せず）。そして、ステップＳ２０に於いて、前記ステップＳ１９でＯＫとなった構図にて、実際の撮影が行われる。

以上がカメラのズーム操作を指示して良好な構図設定を行う場合の例である。

尚、前述した例では、ズーム方向を液晶ファインダ２４ａ内に表示し、ユーザが表示に従ってズームを変化させるようにしているが、これに限られずにカメラ側で自動的にズーム量を変化させるようにしてもよい。

このように、撮像素子で取り込まれた入力画像に於いてズーム値が適切でない場合に、ズーム量やズーム量を変える方向を、構図に関する情報として報知することによって、より適切な構図の設定が行えるような情報をユーザに提供することができる。

また、カメラ制御部１０に方向検出手段の機能を持たせ、構図の長手方向が水平方向であるか垂直方向であるかを検出して、縦構図であるか横構図であるかを判別し、それぞれの構図に対して適切な構図の支援を行うようにしてもよい。

尚、報知手段として表示装置２４を説明したが、報知手段として液晶ファインダ２４ａとは別に設けたランプを用いて、ランプの点灯パターンによって移動方向またはズーム量、ズーム方向を報知するようにしてもよい。例えば、液晶ファインダ２４ａの接地面とは反対の面に別途ランプを設けておけば、ユーザ自身を撮影する際（例えば、セルフポートレートモードや記念撮影モードが設定された場合）の構図の調整が簡単になる。セルフポートレートモードが設定された場合に、報知手段として、液晶ファインダ２４ａとは別に設けられたランプを用いて、その他の撮影モードが設定された場合に、報知手段として液晶ファインダ２４ａを用いるようにカメラ制御部１０で制御してもよい。

また、報知手段としてスピーカを用いて、音乃至音声で移動方向やズーム量を報知するようにしてもよい。更に、本実施形態での移動方向またはズーム量、ズーム方向の報知には、直接的に移動方向またはズーム量、ズーム方向を報知する場合の他、構図の適否、すなわちカメラが好ましい方向を向いているか否か、ズーム量が適切か否かの情報のみを報知する場合を含むこともできる。

以上のように、第１の実施形態によれば、参照画像として登録されている良好な構図の画像に類似する画像との比較によって入力画像との差異を表示するために、ユーザはその表示された情報に基づいて構図の微調整を行うことができ、良好な構図を設定することができるようになる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

前述した第１の実施形態は、入力画像と類似画像とを比較して、そのずれ量またはズーム量に応じて、ユーザがより適切な構図の設定を行うことができるようにしている。しかしながら、第１の実施形態の構成に加えて、方向制御部を設けて前記ずれ量に応じてカメラの方向を制御して良好な構図を設定することができるようにしてもよい。

以下、この第２の実施形態について説明するが、カメラの基本的な構成については、図１に示される第１の実施形態と同じであり、基本的な撮影動作についても同様である。したがって、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる部分の構成及び動作についてのみ説明する。

図７は、本発明の第２の実施形態に係るシーン認識撮影システムが適用されたカメラの構成を示すブロック図である。

図７に於いて、カメラ制御部１０には、更に該カメラの方向を制御するための方向制御部２８が接続されている。この方向制御部２８は、例えば図示されないモータ付の三脚に取付けられたカメラの向きを、求められたずれ量に応じてモータに制御信号を与えて変更させるものである。

次に、図８のフローチャートを参照して、本発明の第２の実施形態に於けるカメラの撮影動作について説明する。

本シーケンスが開始されると、先ずステップＳ２１に於いて、前述した第１の実施形態と同様に、撮影モードの設定を行う。次に、ステップＳ２２に於いて、図示されない被写体の画像を、光学系１２を介して撮像素子１６によって取得する（図４Ａ参照）。

次いで、ステップＳ２３にて前記ステップＳ２２で取得された画像の画像信号から、その画像の特徴量がカメラ制御部１０内にて算出される。そして、ステップＳ２４にて、前記特徴量に基づいて、内部メモリ２０またはストレージデバイス２２内に格納されている参照画像から、前記ステップＳ２２で取得された画像の類似画像を検索する。

ステップＳ２５では、前記ステップＳ２２で取得された取得画像とステップＳ２４で検索された類似画像とを比較することにより、適切な方向をカメラ制御部１０内で算出する。そして、ステップＳ２６に於いて、カメラ制御部１０から方向制御部２８に指示が出力されて、前記ステップＳ２５の比較結果より得られた方向に、該カメラの向きを変更する（図４Ｂ参照）ために、モータへの制御信号を出力する。モータは、制御信号に従って作動する。

次いで、ステップＳ２７にて、液晶ファインダ２４ａに撮影ＯＫの指示が表示されると、続くステップＳ２８に於いて、前記ステップＳ２７でＯＫとなった構図にて、実際の撮影が行われる。

このように、第２の実施形態によれば、入力画像と類似画像とを比較してその差よりカメラの移動すべき方向を求め、移動方向制御部２８によってカメラの方向を制御するので、良好な構図でカメラの撮影を行うことができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

前述した第１及び第２の実施形態は、基準特徴情報である参照画像については全ての参照画像が検索対象となっているが、この第３の実施形態は、検索対象となっている基準特徴情報が撮影モード別に分類されている。

尚、以下に述べる第３の実施形態に於いて、カメラの基本的な構成については、図１に示される第１の実施形態と同じであり、基本的な撮影動作についても同様である。したがって、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる部分動作についてのみ説明する。

参照画像は、内部メモリ２０またはストレージデバイス２２内に格納されているが、本実施形態に於いては、撮影モード毎に分類されて格納されている。そのため、ステップＳ４やステップＳ１４またはステップＳ２４に於いて参照画像から類似画像を検索する際には、ステップＳ２１で設定された撮影モードに対応して分類されている構図の画像が検索される。

したがって、第１の実施形態や第２の実施形態のように、全ての構図の画像から参照画像を検索するのではなく、撮影モード毎に分類された参照画像について検索すればよいので、撮影モードに適した画像の検索がされやすくなる。

尚、前述した例では、カメラの移動方向を指示して良好な構図設定を行う場合の例について述べたが、ズーム操作を指示して良好な構図設定を行う場合についても同様であるので、ここでの説明は省略する。

このように、第３の実施形態によれば、撮影モード毎に基準特徴情報が分類されているので、検索時間が短縮されると共に、撮影モードでの分類がなされているためにシーンが限定されており、精度の良い検索が行える。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。

第４の実施形態は、検索対象となっている基準特徴情報である参照画像を、ユーザ側で設定することができるようにしている。

尚、以下に述べる第４の実施形態に於いて、カメラの基本的な構成については、図１に示される第１の実施形態と同じであり、基本的な撮影動作についても同様である。したがって、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる部分動作についてのみ説明する。

つまり、第４の実施形態に於いては、内部メモリ２０またはストレージデバイス２２内に格納される参照画像を、例えば操作部２６の操作により、ユーザの好みに応じて予め登録するようにする。これにより、ユーザ毎の主観による良好な構図の画像を設定することが可能になる。

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。

第５の実施形態は、入力画像に人物が含まれている場合には、人物の顔画像を検出して参照画像から類似する画像を検索するものである。種々のシーンの中でも人物を含む構図は、比較的多くの場面で撮影対象となってくる構図である。人物の顔の認識技術は周知であるので、本実施形態では、これらの技術を利用して特徴量として顔領域を抽出し、最適な構図の画像が得られるように支援する。

以下、本発明の第５の実施形態について説明するが、カメラの基本的な構成については、図１に示される第１の実施形態と同じであり、基本的な撮影動作についても同様である。したがって、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる部分動作についてのみ説明する。

図９は、本発明の第５の実施形態に係るカメラの撮影動作について説明するためのフローチャートである。

本シーケンスが開始されると、先ずステップＳ３１に於いて、前述した第１、第２の実施形態と同様に、撮影モードの設定を行う。次に、ステップＳ３２に於いて、被写体の画像を、光学系１２を介して撮像素子１６から取得する。このステップＳ３２で取得される被写体の画像は、いわゆるプリ撮影で取得される画像であってもよいし、いわゆる本撮影で取得される画像であってもよい。例えば、ここで取得した取得画像（入力画像）が、図１０Ａに示されるような構図であったとする。この場合の構図は、画面の略半分位で、且つ左側に被写体５２ａ〜５２ｃが写っている画像５０である。

次いで、ステップＳ３３にて前記ステップＳ３２で取得された画像の画像信号から、顔の領域（顔画像）の数を、顔画像検出手段であるカメラ制御部１０にて検出する。この場合、被写体５２ａ、５２ｂ、５２ｃに対して顔画像の数は、５４ａ、５４ｂ、５４ｃの３つである。尚、この顔領域の検出に関しては、周知の技術であるので、ここでの説明は省略する。そして、続くステップＳ３４にて、内部メモリ２０またはストレージデバイス２２内に格納されている参照画像から、前記ステップＳ３３で取得された顔画像の数に一致したものを検索する。

ステップＳ３５では、前記ステップＳ３２で取得された取得画像とステップＳ３４で検索された類似画像とを比較することにより、ずれ量及びズーム量をカメラ制御部１０内で算出する。次に、ステップＳ３６に於いて、ずれ量及びズーム量の大きさを判定する。この判定の結果、ずれ量及びズーム量が適切である、すなわち、図１０Ｂに示されるような類似画像５６の構図に似ていると判定されたならば、ステップＳ３９へ移行する。一方、まだ適切でないと判定された場合は、ステップＳ３７へ移行する。

そして、ステップＳ３７にて、前記ステップＳ３５の比較結果より得られたずれ量に基づいて、カメラを移動させるべく方向及びズーム量を算出する。次いで、ステップＳ３８に於いて、構図を算出した移動方向に変更させることをユーザに報知するために、指示表示及びズーム方向指示を、表示装置２４の液晶ファインダ２４ａ内に表示する（図示せず）。

この後、ユーザが液晶ファィンダ２４ａ内の指示表示に従ってカメラ３０の構図を調整して、再び撮影を行うと、前記ステップＳ３２からの処理を繰り返す。

取得画像５０と類似画像５６が似ていると判定された場合は、ステップＳ３９に於いて液晶ファインダ２４ａに撮影ＯＫの指示が表示される（図示せず）。そして、ステップＳ４０に於いて、前記ステップＳ３９でＯＫとなった構図にて、ユーザは本撮影を行うことができる。

このように、第５の実施形態によれば、入力画像の顔領域を抽出して参照画像との類似度の比較を行うことにより、更に精度の良い検索を行うことが可能となり、入力画像をよりよく表現した参照画像が得られ、好ましい構図を設定するための支援を行うことが可能となる。

（第６の実施形態）
次に、本発明の第６の実施形態を説明する。

前述した第１乃至第５の実施形態は、液晶ファインダ２４ａには入力画像のみが表示されて、カメラの移動方向やズーム量やズーム方向の指示表示が、構図に関する情報として表示されるようになっている。この第６の実施形態では、入力画像と共に構図に関する情報として類似画像を液晶ファインダ２４ａに表示するようにしている。

以下、本発明の第６の実施形態について説明するが、カメラの基本的な構成については、図１乃至図１０Ａ及び図１０Ｂに示される第１乃至第５の実施形態と同じであり、基本的な撮影動作についても同様である。したがって、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる部分動作についてのみ説明する。

図１１は、本発明の第６の実施形態に係るカメラの撮影動作について説明するためのフローチャートである。

本シーケンスが開始されると、先ずステップＳ４１に於いて、撮影モードの設定を行う。次いで、ステップＳ４２に於いて、被写体の画像を、光学系１２を介して撮像素子１６から取得する。このステップＳ４２で取得される被写体の画像は、いわゆるプリ撮影で取得される画像であってもよいし、いわゆる本撮影で取得される画像であってもよい。例えば、ここで取得した取得画像（入力画像）が、図１２Ａに示されるような構図であったとする。この場合の構図は、被写体６２と背景の山６４の一部が写っている画像６０である。

次いで、ステップＳ４３にて前記ステップＳ４２で取得された画像の画像信号から、その画像の特徴量をカメラ制御部１０内にて算出する。そして、ステップＳ４３にて、前記特徴量に基づいて、内部メモリ２０またはストレージデバイス２２内に格納されている参照画像から、前記ステップＳ４２で取得された画像に類似する類似画像を検索する。

更に、ステップＳ４５に於いて、前記ステップＳ４４にて検索された類似画像を、例えば、図１２Ｂに示されるように、入力画像６６ａと共に類似画面６６ｂとして、液晶ファインダ２４ａに表示する。すなわち、液晶ファインダ２４ａに表示される画像６６としては、入力画像６６ａと類似画像６６ｂの２つが同時に表示される。

この後、ユーザが液晶ファィンダ２４ａ内の類似画像６６ｂを見ながらカメラ３０の構図を調整する。そして、ユーザによって入力画像６６ａと類似画像６６ｂが似ていると判定された場合に、ステップＳ４６に移行して、実際の撮影が行われる。

このように、第６の実施形態によれば、入力画像と類似画像の両方を見ながらユーザが構図変更を行うので、実際にどれくらい構図を移動させればよいのか視覚的に確認することができる。

また、前述した例では構図の移動方向の変更について説明したが、これに限られるものではなく、ズーム操作の場合についても同様の操作を行うことによって変更が可能であるのは言うまでもない。

（第７の実施形態）
前述した第１乃至第６の実施形態は、参照画像がカメラ３０内の内部メモリ２０またはストレージデバイス２２に格納されているものとして説明した。これに対し、第７の実施形態は、撮像装置としてのカメラ３０とは遠隔のサーバを、インターネット、電話網等の通信回線を介して設けて、該サーバに基準特徴情報の少なくとも一部を格納しておき、通信回路を利用してカメラ側に取得するようにしている。

図１３は、本発明の第７の実施形態に係るシーン認識撮影システムが適用されたカメラシステムの構成を概略的に示した図である。

図１３に示されるように、このカメラ３０は、通信回線を介して、カメラ３０の外部に設けられたサーバ７０と通信が行われるようになっている。前述した第１乃至第６の実施形態で説明した内部メモリ２０及びストレージデバイス２２に格納される参照画像や関連情報は、サーバ７０側で有しているので、通信手段であるアンテナ３０ａを介して通信回線を利用して該サーバ側７０にカメラ３０側の画像情報を送信し、サーバ７０側で検索を行うことにより類似する画像を取得するようになっている。

尚、カメラ３０内の構成は、図１或いは図７のブロック図に示される構成と同様である。また、カメラの構図設定の動作についても、参照画像が通信回線を介してサーバから取得される以外は、前述した第１乃至第６の実施形態と同様であるので、ここでは説明を省略する。

このように、第７の実施形態によれば、遠隔地にサーバを設けて通信手段によりサーバ側で検索処理を行い、サーバ側で負荷の高い処理を行わせることにより、カメラ側の処理に負荷をかけることなく処理を行うことができる。また、基準特徴情報としても、カメラ内のストレージデバイスに保存しておく場合と比較して、より多くの参照画像を保存しておくことが可能となり、より多様なシーンに対応することが可能となる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態以外にも、本発明の要旨を逸脱しない範囲で種々の変形実施が可能である。

例えば、基準特徴情報として画像の特徴量のみがデータベース内に格納されている場合も考えることができ、取得画像に関する特徴量算出演算を行うことにより、必要な特徴量が求められれば、類似度の計算を行うことができ、この方法により、直接的な画像がデータベースに登録されていなくてもその特徴量のみが保存されていれば、特に画像そのものがデータベースに登録されている必要はない場合でも同様に前述の手法を用いて対応することが可能である。

更に、前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

図１は、本発明の第１の実施形態に係るシーン認識撮影システムが適用されたカメラの基本的な構成を示すブロック図である。 図２は、本発明の第１の実施形態に於けるカメラの構造を示したもので、カメラの後方より見た背面図である。 図３は、本発明の第１の実施形態に於けるカメラの撮影動作について説明するもので、カメラの移動方向を指示して良好な構図設定を行うためのフローチャートである。 図４Ａは第１の実施形態に於いてカメラの移動方向を指示して良好な構図設定を行う場合の液晶ファインダに表示される画像の例を示すもので、入力画像の例を示した図である。 図４Ｂは第１の実施形態に於いてカメラの移動方向を指示して良好な構図設定を行う場合の液晶ファインダに表示される画像の例を示すもので、類似画像の例を示した図である。 図５は、本発明の第１の実施形態に於けるカメラの撮影動作について説明するもので、カメラのズーム操作を支援して良好な構図設定を行うためのフローチャートである。 図６Ａは第１の実施形態に於いてカメラのズーム操作を支援する場合の液晶ファインダに表示される画像の例を示すもので、入力画像の例を示した図である。 図６Ｂは第１の実施形態に於いてカメラのズーム操作を支援する場合の液晶ファインダに表示される画像の例を示すもので、類似画像の例を示した図である。 図７は、本発明の第２の実施形態に係るシーン認識撮影システムが適用されたカメラの構成を示すブロック図である。 図８は、本発明の第２の実施形態に於けるカメラの撮影動作について説明するためのフローチャートである。 図９は、本発明の第５の実施形態に係るカメラの撮影動作について説明するためのフローチャートである。 図１０Ａは第５の実施形態に於いてカメラの操作を支援する場合の液晶ファインダに表示される画像の例を示すもので、入力画像の例を示した図である。 図１０Ｂは第５の実施形態に於いてカメラの操作を支援する場合の液晶ファインダに表示される画像の例を示すもので、類似画像の例を示した図である。 図１１は、本発明の第６の実施形態に係るカメラの撮影動作について説明するためのフローチャートである。 図１２Ａは第６の実施形態に於いてカメラの操作を支援する場合の液晶ファインダに表示される画像の例を示すもので、入力画像の例を示した図である。 図１２Ｂは第６の実施形態に於いてカメラの操作を支援する場合の液晶ファインダに表示される画像の例を示すもので、入力画像と類似画像を同時に表示した例を示した図である。 図１３は、本発明の第７の実施形態に係るシーン認識撮影システムが適用されたカメラシステムの構成を概略的に示した図である。

符号の説明

１０…カメラ制御部、１２…光学系、１４…ズーム制御部、１６…撮像素子、１８…撮影モード設定部、２０…内部メモリ、２２…ストレージデバイス、２４…表示装置、２４ａ…液晶ファインダ、２６…操作部、２６ａ…操作スイッチ群、２８…方向制御部、３０…カメラ、３０ａ…アンテナ、３２…取得画像（入力画像）、３４…被写体、３６…山、３８…指示表示、４０…類似画像。

Claims (22)

1. 撮像素子より取得された取得画像から該取得画像の特徴量を算出する算出部と、
   構図を決定する際の基準となる特徴量を備えた基準特徴情報を複数種類格納するデータベースと、
   前記算出部で算出された特徴量と、前記基準特徴情報とを比較することで、前記基準特徴情報の中から前記取得画像の特徴量に類似する特徴量を備えた基準特徴情報を検索する検索部と、
   前記取得画像と前記検索部で検索された前記基準特徴情報を比較した結果に基づいて構図に関する情報を報知する報知部と、
   を具備することを特徴とするシーン認識撮影システム。
2. 前記データベース内には撮影モード毎に前記基準特徴情報が分類されて格納されており、
   前記検索部は、ユーザが設定した撮影モードに対応して分類された基準特徴情報に対して検索を行うことを特徴とする請求項１に記載のシーン認識撮影システム。
3. 前記報知部は、前記構図に関する情報として構図の変更方向を報知することを特徴とする請求項１若しくは２に記載のシーン認識撮影システム。
4. 前記報知部は、前記構図に関する情報としてズームに関する情報を報知することを特徴とする請求項１若しくは２に記載のシーン認識撮影システム。
5. 前記基準特徴情報をユーザが設定するための操作部を更に具備することを特徴とする請求項１乃至４の何れか１に記載のシーン認識撮影システム。
6. 前記算出部は、前記特徴量として人物の顔に関する情報を算出し、
   前記検索部は、前記基準特徴情報を検索する際に前記人物の顔に関する情報を用いて検索を行うことを特徴とする請求項１乃至５の何れか１に記載のシーン認識撮影システム。
7. 前記構図の長手方向が水平方向であるか垂直方向であるかを検出する方向検出部を更に具備することを特徴とする請求項１乃至６の何れか１に記載のシーン認識撮影システム。
8. 前記撮像素子を備えた撮像装置と、該撮像装置と通信部を介して通信を行うサーバと、で構成され、
   前記データベースの少なくとも一部を、前記サーバに備えたことを特徴とする請求項１乃至７の何れか１に記載のシーン認識撮影システム。
9. 撮像素子より取得された取得画像から該取得画像の特徴量を算出する算出部と、
   構図を決定する際の基準となる特徴量を備えた基準特徴情報を複数種類格納するデータベースと、
   前記算出部で算出された特徴量と、前記基準特徴情報とを比較することで、前記基準特徴情報の中から前記取得画像の特徴量に類似する特徴量を備えた基準特徴情報を検索する検索部と、
   前記取得画像と前記検索部で検索された前記基準特徴情報を比較した結果に基づいて、撮影装置の方向を制御する方向制御部と、
   を具備することを特徴とするシーン認識撮影システム。
10. 前記データベース内には撮影モード毎に前記基準特徴情報が分類されて格納されており、
    前記検索部は、ユーザが設定した撮影モードに対応して分類された基準特徴情報に対して検索を行うことを特徴とする請求項９に記載のシーン認識撮影システム。
11. 前記基準特徴情報を選択して設定する操作部を更に具備することを特徴とする請求項９若しくは１０に記載のシーン認識撮影システム。
12. 前記算出部は、前記特徴量として人物の顔に関する情報を算出し、
    前記検索部は、前記基準特徴情報を検索する際に前記人物の顔に関する情報を用いて検索を行うことを特徴とする請求項９乃至１１の何れか１に記載のシーン認識撮影システム。
13. 前記構図の長手方向が水平方向であるか垂直方向であるかを検出する方向検出部を更に具備することを特徴とする請求項９乃至１２の何れか１に記載のシーン認識撮影システム。
14. 前記撮像素子を備えた撮像装置と、該撮像装置と通信部を介して通信を行うサーバと、で構成され、
    前記データベースの少なくとも一部を、前記サーバに備えたことを特徴とする請求項９乃至１３の何れか１に記載のシーン認識撮影システム。
15. シーンを認識して撮影を行うシーン認識撮影方法であって、
    撮像素子より取得された取得画像から該取得画像の特徴量を算出する第１のステップと、
    前記算出された特徴量と、データベースに格納された構図を決定する際の基準となる特徴量を備えた基準特徴情報とを比較することで、前記基準特徴情報の中から前記取得画像の特徴量に類似する特徴量を備えた基準特徴情報を検索する第２のステップと、
    前記取得画像と前記基準特徴情報を比較した結果に基づいて構図に関する情報を報知する第３のステップと、
    を具備することを特徴とするシーン認識撮影方法。
16. 前記第３のステップは、前記構図に関する情報として構図の変更方向を報知することを特徴とする請求項１５に記載のシーン認識撮影方法。
17. 前記第３のステップは、前記構図に関する情報としてズームに関する情報を報知することを特徴とする請求項１５に記載のシーン認識撮影方法。
18. 前記第２のステップの前に前記基準特徴情報をユーザが設定する第４のステップを更に具備することを特徴とする請求項１５に記載のシーン認識撮影方法。
19. 前記第１のステップは、前記特徴量として人物の顔に関する情報を算出し、
    前記第２のステップは、前記基準特徴情報を検索する際に前記人物の顔に関する情報を用いて検索を行うことを特徴とする請求項１５若しくは１８に記載のシーン認識撮影方法。
20. シーンを認識して撮影を行うシーン認識撮影方法であって、
    撮像素子より取得された取得画像から該取得画像の特徴量を算出する第１のステップと、
    前記算出された特徴量と、データベースに格納された構図を決定する際の基準となる特徴量を備えた基準特徴情報とを比較することで、前記基準特徴情報の中から前記取得画像の特徴量に類似する特徴量を備えた基準特徴情報を検索する第２のステップと、
    前記取得画像と前記基準特徴情報を比較した結果に基づいて、撮影装置の方向を制御する第３のステップと、
    を具備することを特徴とするシーン認識撮影方法。
21. 前記第２のステップの前に前記基準特徴情報をユーザが設定する第４のステップを更に具備することを特徴とする請求項２０に記載のシーン認識撮影方法。
22. 前記第１のステップは、前記特徴量として人物の顔に関する情報を算出し、
    前記第２のステップは、前記基準特徴情報を検索する際に前記人物の顔に関する情報を用いて検索を行うことを特徴とする請求項２０若しくは２１に記載のシーン認識撮影方法。

Images