JP2015186210A - 撮像装置、撮像装置の制御方法及びプログラム - Google Patents

Abstract

【課題】撮影画像内の所定の物体の領域が複数の属性を持つと認識された場合でも、容易にユーザによる属性の指定を可能にする。【解決手段】撮像装置１００Ａでは、物体認識部１０９が撮像素子１０２により得られた画像内の物体の属性とその領域とを認識し、画像内の所定の領域が複数の属性を持つと認識された場合に、複数の属性の各属性とその領域とが切り替えられて表示部１０８に表示され、表示部１０８に表示された属性の中からユーザが指定した属性を物体指定部１１１が主被写体の属性として指定し、撮影パラメータ設定部１１０が主被写体として指定された属性に基づいて撮影パラメータをその領域と設定し、設定された撮影パラメータで撮像素子１０２による撮影を行う。【選択図】図５

Description

本発明は、物体認識機能を備える撮像装置に関する。

画像から特定の被写体パターンを自動的に検出する画像処理技術は、通信会議やマン・マシン・インタフェース、セキュリティ、人間の顔を追跡するモニタシステム、画像圧縮等の多くの分野で使用されている。例えば、画像内の顔の位置を検出し、顔に焦点を合わせ、顔に最適な露出で撮影する撮像装置が提案されている（特許文献１参照）。また、顔に限らず、画像内の多種の物体を検出する技術として、局所領域の位置関係を確率モデルで表現し、人間の顔や自動車等の認識を学習によって行う技術が提案されている（非特許文献１参照）。

このような技術によれば、画像内から様々な物体の属性（物体が何であるかを示す情報）とその領域を認識することができるため、認識された属性とその領域とに基づいて、適切な撮影制御や画像処理を行うことが可能になる。また、認識された領域毎に、その属性に応じたエッジ強調や彩度強調、階調補正等の撮影パラメータを設定することにより、各領域の撮影対象に対して適切な処理を行うことができ、これにより、高画質な画像を取得することが可能になる。

特開２００５−３１８５５４号公報

柳井啓司、「一般物体認識の現状と今後」、情報処理学会論文誌：コンピュータビジョンとイメージメディア、Vol48, No.SIG16(CVIM19)、2007年11月

撮影画像内から複数の物体が認識された場合に、どの物体を主被写体として撮影制御や画像処理を行うかを決定する方法として、ユーザがタッチパネルを介して画像内の位置を指定する方法がある。しかし、指定された物体が複数の属性を持つという認識結果が得られているときがあり、この場合には、位置指定のみでは、指定位置を含むどの領域の属性を用いて撮影制御や画像処理を行えばよいかを判断することが困難な場合がある。例えば、木と、木を含む森と、森を含む山とが写っている画像において木の位置が指定された場合に、木、森、山という属性のうちのどの属性を用いればよいかの判断を撮像装置側で正確に行わせることは容易でない。

また、撮影画像内の領域毎に属性に応じた撮影パラメータを設定したいときに、複数の属性が重複する領域がある場合、一意に撮影パラメータを設定することは容易でない。例えば、前例の木と、木を含む森と、森を含む山とが写っている画像では、木の領域において、木と森と山の属性が重複するため、木、森、山のうちのどの属性に応じて撮影パラメータを設定すればよいかの判断を撮像装置側で正確に行わせることは容易でない。

本発明は、撮影画像内の所定の物体の領域が複数の属性を持つと認識された場合に、容易にユーザによる属性の指定を可能にする技術を提供することを目的とする。また、本発明は、撮影画像内に複数の属性が重複する領域があると認識された場合に、各属性に対して適切な撮影パラメータでの撮影を行うことができる技術を提供することを目的とする。

本発明に係る撮像装置は、撮像手段と、前記撮像手段により得られた画像を表示する表示手段と、前記撮像手段により得られた画像内の物体の属性とその領域とを認識する認識手段と、前記認識手段が前記画像内の所定の領域が複数の属性を持つと認識した場合に、前記複数の属性の各属性とその領域とを切り替えて前記表示手段に表示させる制御手段と、前記表示手段に表示された属性の中からユーザが指定した属性を主被写体の属性として指定する指定手段と、前記指定手段により主被写体として指定された属性に基づいて撮影パラメータを前記属性に対応する領域に設定する設定手段とを備えることを特徴とする。

本発明に係る別の撮像装置は、撮像手段と、前記撮像手段により得られた画像内の物体の属性とその領域とを認識する認識手段と、前記認識手段により認識された属性とその領域とに基づいて撮影パラメータを設定する設定手段と、前記認識手段により認識された物体の属性とその領域に基づいて撮影パラメータを設定する設定手段と、前記撮像手段による撮影を指示する指示手段と、前記認識手段が前記撮像手段により得られた画像内に複数の属性が重複する領域があると認識した場合において前記指示手段による撮影指示があったときに、前記複数の属性のそれぞれに応じた撮影パラメータをその属性に対応する領域に適用した複数枚の撮影を行う制御手段とを備えること特徴とする。

本発明によれば、撮影画像内の所定の物体の領域が複数の属性を持つとの認識結果が得られた場合に、ユーザは容易に主被写体とする物体の属性を指定することができる。また、本発明によれば、複数の属性が重複する領域があるとの認識結果が得られた場合に、各属性に応じて適切な撮影パラメータが設定され、これにより、品質の高い画像を撮影することができる。

本発明の第１実施形態に係る撮像装置の概略構成を示すブロック図である。 図１の撮像装置での物体認識部による物体認識結果の例を示す図である。 図１の撮像装置での物体認識部による物体認識結果の別の例を示す図である。 図１の撮像装置において複数の属性の中からユーザが所望する属性を選定する処理のフローチャートである。 図１の撮像装置において複数の属性を指定時間で切り替え表示する例を示す図である。 本発明の第２実施形態に係る撮像装置の概略構成を示すブロック図である。 図６の撮像装置での物体認識部による物体認識結果の例を示す図である。 図６の撮像装置での物体認識部による物体認識結果の別の例を示す図である。 複数の異なる属性の重複する領域がある場合に、図６の撮像装置により撮影される複数枚の撮影画像について設定される撮影パラメータを模式的に示す図である。 図６の撮像装置での、撮影パラメータを変更して複数枚の画像を撮影する処理のフローチャートである。 図６の撮像装置での、撮影枚数を削減して画像を撮影するための撮影パラメータの設定処理のフローチャートである。

以下、本発明の実施形態について、添付図面を参照して説明する。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る撮像装置１００Ａの概略構成を示すブロック図である。撮像装置１００Ａは、例えば、被写体像を撮影するデジタルカメラである。但し、本発明に係る撮像装置は、デジタルカメラに限定されるものではなく、撮影機能を有する電子機器は本発明に係る撮像装置の範疇に含まれる。例えば、撮像装置１００Ａは、カメラ機能付き携帯通信端末（携帯電話、スマートフォン等）、カメラ機能付き携帯型コンピュータ（タブレット端末）、カメラ機能付き携帯ゲーム機等であってもよい。

撮像装置１００は、撮像光学系１０１、撮像素子１０２、アナログ信号処理部１０３、Ａ／Ｄ変換部１０４、制御部１０５、画像処理部１０６、記憶部１０７、表示部１０８、物体認識部１０９、撮影パラメータ設定部１１０及び物体指定部１１１とを有する。

撮像光学系１０１は、被写体からの反射光を集光し、撮像素子１０２に被写体像として結像させる。撮像素子１０２は、具体的には、光電変換により光学像である被写体像を電気信号に変換するＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。撮像素子１０２は、結像した被写体像の光の強さに応じた電気信号を画素単位で出力する。撮像素子１０２から出力される映像信号である電気信号は、撮影した被写体像を示すアナログ信号である。そのため、撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３に入力され、アナログ信号処理部１０３は、受信した映像信号に対して相関二重サンプリング（ＣＤＳ）等の信号処理を施す。こうしてアナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタル信号（デジタル画像データ）に変換されて、制御部１０５及び画像処理部１０６へと送られる。

制御部１０５は、例えば、マイクロコンピュータである。制御部１０５は、所定のプログラムを実行するＣＰＵと、ＣＰＵが実行するプログラム等を格納するＲＯＭと、ＣＰＵがプログラムを実行するワークエリアとして機能すると共にＣＰＵが算出したデータを一時的に記憶するＲＡＭとを有する。制御部１０５は、ＲＯＭに記憶されたプログラムコードをＲＡＭの作業領域に展開し、実行することで、撮像装置１００Ａの各部を制御することにより、撮像装置１００Ａの全体的な動作を制御する。

また、制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像光学系１０１が備える不図示の焦点制御機構及び露出制御機構を制御することにより、撮影時の焦点設定や露出設定等の撮影条件を制御する。なお、焦点制御機構は、撮像光学系１０１が備えるフォーカスレンズやズームレンズを光軸方向で駆動させるアクチュエータ等であり、露出制御機構は、絞りやシャッタを駆動させるアクチュエータ等である。制御部１０５は、物体認識部１０９による認識結果に基づいて撮影パラメータ設定部１１０で設定された撮影パラメータに従い、認識された物体の領域のコントラスト値を用いた焦点制御や認識された物体の領域の輝度値を用いた露出制御を行う。したがって、撮像装置１００Ａでは、撮影画像内の物体の領域やその属性を考慮した撮影処理を行うことができる。更に、制御部１０５は、撮像素子１０２の読み出し制御（例えば、撮像素子１０２からの映像信号の出力タイミングや出力画素の調整等）も行う。

画像処理部１０６は、Ａ／Ｄ変換部１０４から取得した映像信号（デジタル画像データ）に対して、ガンマ補正やホワイトバランス処理等の画像処理を施す。また、画像処理部１０６は、撮影パラメータ設定部１１０から供給される画像内の主要な物体に関する情報（具体的には、物体の属性とその領域）を用いて画像処理を行う機能を有する。

記憶部１０７は、画像処理部１０６から出力された映像信号を、例えば、ハードディスクやメモリカード（半導体メモリ）等の記憶媒体に記憶する。記憶媒体は、撮像装置１００Ａに内蔵されたものであってもよいし、撮像装置１００Ａに着脱自在なものあってもよく、更に、更にネットワークを介して通信可能に接続されたものであってもよい。表示部１０８は、例えば、ＬＣＤや有機ＥＬディスプレイであり、画像処理部１０６から出力された映像信号を画像として表示する。本実施形態では、表示部１０８はタッチパネル機能を有するものとする。撮像装置１００Ａは、撮像素子１０２で時系列的に逐次撮影した画像を表示部１０８に逐次表示させることで、表示部１０８を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、表示部１０８は、物体認識部１０９によって認識された物体の画像内での領域や属性を表示する機能を有する。

物体認識部１０９は、画像処理部１０６から出力された映像信号に基づき、映像（画像）内の物体の属性とその領域とを検出し、検出した属性とその領域とに関する情報を表示部１０８と撮影パラメータ設定部１１０へ出力する。このような属性とその領域に関する情報は、画像内に複数の物体が存在する場合には、その個数分だけ出力される。

物体認識部１０９での物体認識の方法としては、公知の技術を用いることができる。例えば、入力画像から特徴ベクトル等の特徴量を検出し、検出した特徴量を人や自動車、山、建物等の検出対象物体の特徴量を保持した認識辞書と比較する。この比較の結果として、類似度や評価値と称される尤度を検出することで、検出対象物体を検出する。なお、このような特徴量と認識辞書と用いる方法では、尤度が所定の閾値以上の場合に検出対象物体が検出されたとのみなし検出の判定を行うことができる。

撮影パラメータ設定部１１０は、物体認識部１０９による認識結果に基づいて、撮影パラメータを設定する。撮影パラメータ設定部１１０が設定したパラメータは制御部１０５に供給され、焦点状況や露出状況等の撮影条件の制御に利用される。また、撮影パラメータ設定部１１０が設定したパラメータは画像処理部１０６へ供給され、認識された物体の領域毎にその属性に適した画像処理等が行われる。例えば、「空」という属性で認識された領域に対しては、白飛びさせずに濃い青で色再現を行い、「建物」という属性で認識された領域に対しては、エッジを強調する等の画像処理を行うことが可能になる。

物体指定部１１１は、ユーザの操作に供される入力インタフェースであり、本実施形態では、具体的には、表示部１０８に設けられるタッチパネルである。但し、物体指定部１１１は、タッチパネルに限定されるものではなく、例えば、表示部１０８に表示されるアイコンやメニュー等を選択、決定する各種ボタンであってもよい。

ユーザ（撮影者）は、表示部１０８に表示された画像内の主被写体としたい物体にタッチすることで主被写体を選択することができる。すると、物体指定部１１１は、ユーザが指定したタッチした画像内での位置（以下「指定位置」という）に基づき、指定位置の近傍に存在する認識結果を探索する。そして、物体指定部１１１は、物体認識部１０９によって認識された物体の中から主被写体となる物体を選定する。撮影パラメータ設定部１１０は、主被写体として選定された物体の属性とその領域に基づいて撮影パラメータを設定する。

図２は、撮像装置１００Ａでの物体認識部１０９による認識結果の例を示す図である。図２（ａ）は、物体認識部１０９への入力画像を示している。図２（ｂ）〜（ｄ）は、物体認識部１０９による物体認識結果１〜３を示しており、黒塗りされた部分が認識された物体の領域である。

図２（ｂ）は、画像上部の物体に「空」という属性とその領域が認識されたことを示している。また、図２（ｃ）は、画像中央部から画像下部にかけての物体に「川」という属性とその領域が認識されたことを示している。図２（ｄ）は、画像右側の物体に「建物」という属性とその領域がそれぞれ認識されたことを示している。このように１つの物体に１つの属性が認識された場合、ユーザが表示部１０８のタッチパネル内の主被写体としたい物体にタッチすると、物体指定部１１１は指定された位置情報に基づいて、主被写体となる物体の属性とその領域を選定することができる。

しかし、画像内のある領域が複数の属性を持つとの認識結果が得られた場合には、物体指定部１１１は、ユーザによる指定位置の位置情報のみでは、主被写体となる物体の属性とその領域を選定することが難しくなる。その例について、図３を参照して説明する。

図３は、撮像装置１００Ａでの物体認識部１０９による認識結果の別の例を示す図である。図３（ａ）は、物体認識部１０９への入力画像を示しており、図２（ａ）と同じである、図３（ｂ）〜（ｄ）は、物体認識部１０９による物体認識結果４〜６例を示しており、黒塗りされた部分が認識された物体の領域である。

図３（ｂ）では、黒塗りされた物体に「木」という属性が認識され、図３（ｃ）では、黒塗りされた物体に「森」という属性が認識され、図３（ｄ）では黒塗りされた物体に「山」という属性が認識されている。そのため、特に図３（ｂ）で黒塗りされた領域又はその近傍位置をユーザが主被写体たる物体として物体指定部１１１を介して指定した場合、物体認識部１０９は、ユーザが所望する物体の属性が「木」か「森」か「山」かを正確に判断することができない。

そこで、撮像装置１００Ａでは、ユーザによる指定位置に基づき、表示部１０８に表示する主被写体となり得る物体の属性を指定時間で、順次、切り替えるようにする。これにより、ユーザは、指定位置を含む領域に複数の属性がある場合でも、所望の属性が表示された時点で表示部１０８にタッチすることにより、容易に所望の物体を主被写体として指定することができる。以下、複数の属性から所望の属性を指定する処理について、図４のフローチャートを参照して説明する。

図４は、撮像装置１００Ａでの、複数の属性の中からユーザが所望する属性を選定する処理のフローチャートである。図４に示す各処理は、制御部１０５のＣＰＵがＲＯＭに格納されたプログラムをＲＡＭに展開し、撮像装置１００Ａを構成する各部の動作を制御することによって実現される。

ステップＳ４０１では、画像処理部１０６が、撮像素子１０２から出力される映像（画像）信号をＡ／Ｄ変換部１０４によりデジタル信号に変換して得られる撮像画像（デジタル画像データ）を取得する。続いて、ステップＳ４０２において、物体認識部１０９が、画像処理部１０６での処理後の画像データを入力画像として取得し、物体認識処理を行う。これにより、物体認識処理の結果として、入力画像内の物体の属性とその領域に関する情報が得られる。

続くステップＳ４０３では、制御部１０５が、物体指定部１１１を介したユーザによる主被写体としての物体の指定があるか否かを判定する。制御部１０５は、物体指定がある場合（Ｓ４０３でＹＥＳ）、処理をステップＳ４０４へ進め、物体指定がない場合（Ｓ４０３でＮＯ）、処理をステップＳ４０９へ進める。

ステップＳ４０４では、制御部１０５が、ステップＳ４０３で指定された位置の位置情報に複数の属性があるか否かを判定する。制御部１０５は、複数の属性がある場合（Ｓ４０４でＹＥＳ）、処理をステップＳ４０５へ進め、複数の属性がない場合（Ｓ４０４でＮＯ）、処理をステップＳ４０６へ進める。ステップＳ４０５では、制御部１０５が、ステップＳ４０３で指定された位置の位置情報に基づいて、物体認識部１０９が認識した複数の属性を指定時間で表示部１０８に切り替え表示することにより、ユーザに主被写体となる物体の属性を選択させる。

図５（ａ）は、図３に示した認識結果として得られた複数の属性を指定時間で切り替え表示する例を示す図である。前述の通り、図３（ａ）の入力画像について、図３（ｂ）に示す「木」の位置の位置情報からは、「木」、「森」及び「山」の属性が認識されている。そのため、主被写体となる物体の属性として「木」を選択する画面、「森」を選択する画面、「山」を選択する画面の各画面が、指定時間毎に順次切り替わる。所定の画面が表示されているときにユーザが表示部１０８の表示画面にタッチすると、その画面で示された属性が主被写体となる物体の属性として選択される。

ステップＳ４０６では、制御部１０５が、ステップＳ４０３での指定位置の位置情報に基づき、主被写体となる物体の属性を決定する。ステップＳ４０５，Ｓ４０６により主被写体とする物体の属性が決定されると、ステップＳ４０７において、撮影パラメータ設定部１１０は、主被写体として決定された物体の属性とその領域に基づいて、撮影パラメータを設定する。続くステップＳ４０８では、制御部１０５が撮影制御を行うと共に、画像処理部１０６が取得した映像信号に対する画像処理を行う。その後、ステップＳ４０９において、制御部１０５は、撮影モードが継続しているか否かを判定する。制御部１０５は、撮影モードが継続している場合（Ｓ４０９でＹＥＳ）、処理をステップＳ４０１へ戻し、撮影モードが終了していれば（Ｓ４０９でＮＯ）、本処理を終了させる。

ここで、ステップＳ４０４〜Ｓ４０５において、ユーザに主被写体となる物体を指定させて、主被写体となる物体の属性と領域を決定するのは、指定された物体の属性とその領域に基づいて撮影制御や画像処理の内容を変更するためである。よって、主被写体となる物体の選択結果が、撮影制御や画像処理に変化や影響を与えないのであれば、ユーザに主被写体とする物体の選択を行わせる必要はない。

つまり、主被写体となる物体の属性とその領域に基づいて設定される撮影パラメ−タが類似する（実質的に差異がない）複数の属性を同値の（１つの）属性として取り扱っても）問題はない。具体的には、図３の例において、「木」と「森，山」とでは、設定される撮影パラメータの差異は大きいが、「森」と「山」とでは、設定される撮影パラメータの差異が小さい。よって、この場合、「森」と「山」とを同じ属性として取り扱うグルーピングを行っても問題はない。

図５（ｂ）は、図３に示した認識結果として得られた複数の属性のうち、撮影パラメータの設定に影響を与えない属性をまとめて、指定時間で切り替え表示する例を示す図である。図５（ｂ）には、「森」と「山」とを切り替え表示の対象とせず、「木」と「森，山」とで切り替え表示を行うことで、ユーザに主被写体となる物体の選択を行わせる例が示されている。これにより、ユーザに提示する物体の属性の候補を絞ることができるために、ユーザにとっては、主被写体となる物体の選択が容易となり、また、速やかに撮影動作に移ることができる。

なお、本実施形態では、物体指定部１１１を介してユーザにより主被写体とする物体の属性と領域を選定させる構成を取っている。そのためには、主被写体とする物体の属性とその領域の候補を通知する必要があり、そこで、表示部１０８に撮影画像に重畳させて物体の属性とその領域を表示させている。このとき、複数の属性を有する物体の領域と複数の属性を有さない物体の領域とでは、異なる表示方法を取ることが好ましい。つまり、指定時間毎に属性を切り替えて表示する領域と、時間に関係なく属性を切り替えない領域とで、表示方法（例えば、領域に重畳する色や網掛けパターン、領域を示す枠の色や枠線のパターン）を異なるものとすることが好ましい。これによって、ユーザの操作性を向上させることができる。

以上の説明の通り、第１実施形態によれば、所定の物体の領域が複数の属性を持つという認識結果が得られた場合でも、ユーザは、主被写体となる物体の属性を容易に指定することができる。

＜第２実施形態＞
図６は、本発明の第２実施形態に係る撮像装置１００Ｂの概略構成を示すブロック図である。撮像装置１００Ｂは、第１実施形態に係る撮像装置１００Ａと比較すると、撮影指示部１１２を備えている点と、物体指定部１１１を備えていない点とで相違する。撮像装置１００Ｂが備える構成要素であって、撮像装置１００Ａが備える構成要素と同じものについて、同じ符号を付して、ここでの説明を省略する。

撮影指示部１１２は、具体的には、シャッタボタンと、第２実施形態の特徴である後述のブラケット撮影を行う際の撮影枚数等の撮影条件を設定するための操作ボタン等を含む。ユーザは、撮影指示部１１２を介して、撮影タイミングを制御部１０５へ指示する。なお、第１実施形態で説明した撮像装置１００Ａも、勿論、シャッタボタンを備えているが、撮像装置１００Ａの特徴部分ではないために、図１での図示を省略すると共に説明を省略している。

撮像装置１００Ｂでは、第１実施形態に係る撮像装置１００Ａと同様に、物体認識部１０９による認識結果に基づいて設定される撮影パラメータを用いて、制御部１０５による撮影制御と画像処理部１０６による画像処理が実施される。

図７は、撮像装置１００Ｂでの物体認識部１０９による認識結果の例を示す図である。図７（ａ）は、物体認識部１０９への入力画像を示しており、図７（ｂ），（ｃ）は、物体認識部１０９による物体認識結果７，８を示しており、太線で囲まれた部分が認識された物体の領域である。図７（ｂ）は、画像上部の物体に「空」という属性とその領域が、図７（ｃ）は、画像右側の物体に「建物」という属性とその領域がそれぞれ認識されたことを示している。

例えば、図７（ｂ）のように「空」という属性で認識された領域に対しては、白飛びさせずに濃い青で色再現を行う。また、図７（ｃ）のように「建物」という属性で認識された領域に対しては、エッジを強調する等の画像処理を行う。このように、各物体の領域毎にその属性に応じた撮影パラメータを設定することで、高画質な画像を撮影することができる。

一方、物体認識部１０９による認識結果として、複数の属性が重複する領域が認識される場合がある。図８は、撮像装置１００Ｂでの物体認識部１０９による認識結果の別の例を示す図である。図８（ａ）は、物体認識部１０９への入力画像を示しており、図７（ａ）と同じである。図８（ｂ）〜（ｄ）は、物体認識部１０９による物体認識結果８〜１０を示しており、太線で囲まれた部分が認識された物体の領域である。図８（ｂ）では、太線で囲まれた物体に「山」という属性とその領域が認識されている。図８（ｃ）では、太線で囲まれた物体に「森」という属性とその領域が認識され、図８（ｄ）では太線で囲まれた物体に「木」という属性とその領域が認識されている。よって、「木」という属性であると認識された領域は、「森」という属性であると認識された領域であると共に、「山」という属性であると認識された領域でもある。また、「森」という属性であると認識された領域は、「山」という属性であると認識された領域でもある。

物体認識部１０９による認識の結果、図７で示したように異なる属性が重複しない領域については、撮影パラメータ設定部１１０は、その領域の属性に応じた撮影パラメータを設定すればよい。しかし、図８に示したように異なる属性が重複した領域については、撮影パラメータ設定部１１０は、その領域に対してどの属性に応じた撮影パラメータを設定すればよいかがわからない。つまり、図８の例では、「木」、「森」、「山」のどの属性に応じて撮影パラメータを設定すればよいかがわからない。

そこで、撮像装置１００Ｂでは、物体認識部１０９により複数の属性が重複する領域があると認識された場合に、複数の属性のそれぞれに応じた撮影パラメータを適用した複数枚の撮影（所謂、ブラケット撮影に準ずる撮影）を自動で行う。図９は、複数の異なる属性が重複する領域がある場合に撮影される複数枚の撮影画像について設定される撮影パラメータを模式的に示す図である。

図９（ａ）の撮影画像１は、「空」、「建物」及び「山」の各領域に、「空」、「建物」及び「山」の属性に適応する撮影パラメ−タが適用された画像を示している。同様に、図９（ｂ）の撮影画像２は、「空」、「建物」及び「森」の各領域に、「空」、「建物」及び「森」の属性に適応する撮影パラメ−タが適用された画像を示している。図９（ｃ）の撮影画像３は、「空」、「建物」及び「木」の各領域に、「空」、「建物」及び「木」の属性に適応する撮影パラメ−タが適用された画像を示している。

このとき、異なる属性の重複がない「空」の領域については、図９（ａ）〜（ｃ）に同等の撮影パラメータが設定され、「建物」の領域についても、「空」の場合と同様にして撮影パラメータが設定される。一方、異なる属性に重複がある「山」、「森」及び「木」については、対応する各領域に「山」、「森」及び「木」の撮影パラメータがそれぞれ設定される。つまり、図９の例では、撮影パラメータを変えた３枚の撮影画像が撮影される。以下、このように複数の異なる属性が重複する領域がある場合に、撮影パラメータを変更して複数枚の画像を撮影する処理について、図１０のフローチャートを参照して説明する。

図１０は、撮像装置１００Ｂでの、撮影パラメータを変更して複数枚の画像を撮影する処理のフローチャートである。図１０に示す各処理は、制御部１０５のＣＰＵがＲＯＭに格納されたプログラムをＲＡＭに展開し、撮像装置１００Ａを構成する各部の動作を制御することによって実現される。

ステップＳ１００１，Ｓ１００２の各処理は、図４を参照して説明したステップＳ４０１，４０２と同じであるため、ここでの説明を省略する。ステップＳ１００３において、制御部１０５は、複数の属性が重複する領域があるか否かを判定する。制御部１０５は、複数の属性が重複する領域がある場合（Ｓ１００３でＹＥＳ）、処理をステップＳ１００４へ進め、複数の属性が重複する領域がない場合（Ｓ１００３でＮＯ）、処理をステップＳ１００９へ進める。

ステップＳ１００４では、ある領域において重複する複数の属性の中からいずれか１つを撮影対象とする属性として選択する。続くステップＳ１００５では、撮影パラメータ設定部１１０が、ステップＳ１００４で選択された属性に基づく撮影パラメータと、属性に重複のない領域のその属性に基づく撮影パラメータとを、対応する各領域に設定する。ステップＳ１００６では、制御部１０５が、ステップＳ１００５で設定された撮影パラメータでの撮影処理を行う。ステップＳ１００７において、記憶部１０７が、撮影された撮影画像を所定の記憶媒体に記憶する。

続いて、ステップＳ１００８において、制御部１０５は、複数の属性が重複する領域についての全ての属性での撮影が完了したか否かを判定する。制御部１０５は、撮影が完了していない場合（Ｓ１００８でＮＯ）、処理をステップＳ１００４へ戻し、撮影が完了した場合（Ｓ１００８でＹＥＳ）、本撮影処理を終了させる。

ステップＳ１００９では、撮影パラメータ設定部１１０が、認識された属性の組み合わせは１通りしかないため、各領域に対して一意に各属性に応じた撮影パラメータを設定する。ステップＳ１０１０，Ｓ１０１１の処理の内容は、ステップＳ１００６，Ｓ１００７と同じであるので、その説明を省略する。ステップＳ１０１１の処理の終了により、本撮影処理は終了となる。

以上の通り、第２実施形態によれば、撮影画像に複数の属性が重複する領域がある場合に、検出された各属性を撮影対象として、順次、撮影パラメータを最適化させて画像を撮影する。よって、ユーザは、主被写体を指定する等の判断と操作を行う必要がなく、簡単に高い品質の画像を取得することができる。

その一方で、図９及び図１０を参照して説明した撮影方法では、撮影枚数が、重複した属性の数の分だけ多くなり、撮影画像の中には、撮影者が意図しない撮影条件で撮影された画像が増えてしまうおそれがある。また、複数の属性のうちに撮影パラメータが同等となる属性がある場合には、結果的に類似した複数の画像が撮影され、不要な画像を記憶してしまうことになる。

類似した撮影画像であれば、複数は必要とせず、１枚でよいと考えられる。そこで、複数の属性が重複する領域があり、それら複数の属性のうちに撮影パラメータの差異が小さいものがある場合には、それら複数の属性のうちの１つの属性の撮影パラメータで撮影を行い、撮影枚数を削減することとする。以下、複数の異なる属性が重複する領域がある場合に撮影枚数を削減して撮影を行う処理について、図１１のフローチャートを参照して説明する。

図１１は、撮像装置１００Ｂでの、撮影枚数を削減して画像を撮影するための撮影パラメータの設定処理のフローチャートである。図１１のフローチャートの処理は、図１０に示した一連の撮影処理のうちステップＳ１００４〜Ｓ１００５の処理に置換して実行される処理となる。

ステップＳ１１０１において、撮影パラメータ設定部１１０は、複数の属性のそれぞれに基づく撮影パラメータを撮影候補パラメータとして生成する。続くステップＳ１１０２では、撮影パラメータ設定部１１０は、ステップＳ１１０１で生成された撮影候補パラメータ間の類似度を算出する。その後、ステップＳ１１０３において、撮影パラメータ設定部１１０は、類似度の高い撮影候補パラメータがあるか否かを判定する。なお、類似度が高いか否かの判定方法には特に制限はなく、例えば、単純に、撮影パラメータの差が所定値より小さいか否かで判定してもよい。撮影パラメータ設定部１１０は、類似度の高い撮影候補パラメータがある場合（Ｓ１１０３でＹＥＳ）、処理をステップＳ１１０４へ進め、類似度の高い撮影候補パラメータがない場合（Ｓ１１０３でＹＥＳ）、処理をステップＳ１１０５へ進める。

ステップＳ１１０４では、撮影パラメータ設定部１１０は、類似度の高い撮影候補パラメータのうちの１つを撮影パラメータに設定する。このとき、類似度の高い他の撮影候補パラメータは破棄される。なお、ステップＳ１１０４では、類似した複数の撮影候補パラメータから１つの撮影パラメータを生成するようにしてもよい。ステップＳ１１０５では、撮影パラメータ設定部１１０は、ステップＳ１１０１で生成した撮影候補パラメータのうちの１つを撮影パラメータに設定する。なお、ステップＳ１１０１で生成した複数の撮影候補パラメータに類似度の高いものがない場合には、結果的には、ステップＳ１１０１で生成した複数の撮影候補パラメータのそれぞれの撮影パラメータを用いた撮影が行われることになる。ステップＳ１１０４，Ｓ１１０５により撮影パラメータが設定されると、本処理は終了となる。以上の処理により、類似した撮影パラメータによる不要な撮影を減らすことができる。

図１１のフローチャートの処理において、不要に撮影枚数を増加させないために、更に、１回の撮影指示に基づいて撮影する画像数の最大値（以下「最大撮影枚数」という）を設定することができるようにしてもよい。その場合、撮影指示部１１２において、撮影タイミングだけでなく最大撮影枚数を設定することができる構成とする。具体的には、複数の属性が重複している領域がある場合に、それら複数の属性の数が予め設定された閾値である最大撮影枚数以下であるか否かを、制御部１０５又は撮影パラメータ設定部１１０又は物体認識部１０９が判断する。

複数の属性の数が最大撮影枚数以下であれば、各属性で撮影パラメータを順次設定し、撮影を行う。一方、複数の属性の数が最大撮影枚数を超えている場合には、実際に撮影を行う際の撮影パラメータの数を最大撮影枚数以下に絞り込む。この絞り込みの方法としては、複数の属性のそれぞれに基づいて決定される撮影パラメータの中から、分散値が大きくなるように、撮影パラメータを選択する方法が挙げられる。こうして、撮影枚数を少なく抑えることができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、上記本実施形態では、１台の撮像装置１００Ａ，１００Ｂが、被写体像を取得して解析し、解析結果に基づいて物体（被写体）の属性決定や撮影パラメータ設定等を行って撮影を行う例を取り上げた。しかし、これに限られず、被写体像を取得するカメラ部と、被写体像を解析し、解析結果に基づいて物体の属性決定や撮影パラメータ設定等を行ってカメラ部を制御する制御部とが、通信可能な別装置であってもよい。例えば、カメラ部が撮影して生成した撮影情報（ＲＡＷデータ）をネットワーク等を介して制御部である外部の情報処理装置（例えば、パーソナルコンピュータ）に送信する。すると、情報処理装置は取得したＲＡＷデータを解析してカメラ部での撮影条件を決定し、決定した撮影条件をネットワーク等を介してカメラ部へ送信し、カメラ部は受信した撮影条件で撮影を行う構成であってもよい。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００Ａ，１００Ｂ 撮像装置
１０１ 撮像光学系
１０２ 撮像素子
１０３ アナログ信号処理部
１０４ Ａ／Ｄ変換部
１０５ 制御部
１０６ 画像処理部
１０７ 記憶部
１０８ 表示部
１０９ 物体認識部
１１０ 撮影パラメータ設定部
１１１ 物体指定部
１１２ 撮影指示部

Claims (13)

1. 撮像手段と、
   前記撮像手段により得られた画像を表示する表示手段と、
   前記撮像手段により得られた画像内の物体の属性とその領域とを認識する認識手段と、
   前記認識手段が前記画像内の所定の領域が複数の属性を持つと認識した場合に、前記複数の属性の各属性とその領域とを切り替えて前記表示手段に表示させる制御手段と、
   前記表示手段に表示された属性の中からユーザが指定した属性を主被写体の属性として指定する指定手段と、
   前記指定手段により主被写体として指定された属性に基づいて撮影パラメータを前記属性に対応する領域に設定する設定手段とを備えることを特徴とする撮像装置。
2. 前記制御手段は、前記認識手段が認識した属性とその領域とを、前記撮像手段により得られた画像に重畳させて表示することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記認識手段が前記画像内の所定の領域が複数の属性を持つと認識した場合に、前記複数の属性のうち、前記設定手段にて設定される撮影パラメータが類似する属性がある場合には、それらの属性を同値の属性として取り扱うグルーピングを行うことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、前記認識手段が前記画像内において複数の属性を有すると認識した物体の領域と、複数の属性を有さないと認識した物体の領域とを、前記表示手段において異なる表示方法で表示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記指定手段は、前記表示手段に設けられたタッチパネルに対する操作で指定された物体の属性を前記主被写体の属性として指定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 撮像手段と、
   前記撮像手段により得られた画像内の物体の属性とその領域とを認識する認識手段と、
   前記認識手段により認識された属性とその領域とに基づいて撮影パラメータを設定する設定手段と、
   前記撮像手段による撮影を指示する指示手段と、
   前記認識手段が前記撮像手段により得られた画像内に複数の属性が重複する領域があると認識した場合において前記指示手段による撮影指示があったときに、前記複数の属性のそれぞれに応じた撮影パラメータをその属性に対応する領域に適用した複数枚の撮影を行う制御手段とを備えること特徴とする撮像装置。
7. 前記設定手段は、前記認識手段が前記画像内に認識した物体の属性とその領域ごとに撮影パラメータを設定することを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段は、前記認識手段が前記画像内に複数の属性が重複する領域があると認識した場合において前記複数の属性のうちに撮影パラメータの差異が小さいものがある場合には、前記差異の小さい撮影パラメータのうちの１つの撮影パラメータで撮影を行うことを特徴とする請求項６又は７に記載の撮像装置。
9. 前記制御手段は、前記認識手段が前記画像内に複数の属性が重複する領域があると認識した場合において前記複数の属性のうちに撮影パラメータの差異が小さいものがある場合には、前記差異の小さい撮影パラメータから生成される１つの撮影パラメータで撮影を行うことを特徴とする請求項６又は７に記載の撮像装置。
10. 前記認識手段が前記画像内に複数の属性が重複する領域があると認識した場合に、
    前記指示手段は、前記撮像手段が撮影する最大撮影枚数を設定し、
    前記設定手段は、前記複数の属性の数が前記最大撮影枚数よりも多い場合に、前記複数の属性のそれぞれに基づいて決定される撮影パラメータの中から分散値が大きくなるように撮影パラメータを選択して、前記撮像手段が撮影する画像数を前記最大撮影枚数以下に絞り込むことを特徴とする請求項６乃至９のいずれか１項に記載の撮像装置。
11. 撮像装置の制御方法であって、
    撮像手段により得られた画像内の物体の属性とその領域とを認識する認識ステップと、
    前記認識ステップで前記画像内の所定の領域が複数の属性を持つと認識された場合に、前記複数の属性の各属性とその領域とを切り替えて表示手段に表示する表示ステップと、
    前記表示手段に表示された属性の中からユーザが指定した属性を主被写体の属性として指定する指定ステップと、
    前記指定ステップで主被写体として指定された属性に基づく撮影パラメータを前記属性に対応する領域に設定する設定ステップと、
    前記設定ステップで設定された撮影パラメータで前記撮像手段による撮影を行う撮影ステップとを有することを特徴とする撮像装置の制御方法。
12. 撮像装置の制御方法であって、
    撮像手段により得られた画像内の物体の属性とその領域とを認識する認識ステップと、
    前記認識ステップで前記画像内に複数の属性が重複する領域があると認識された場合において撮影指示があったときに、前記複数の属性のそれぞれに応じた撮影パラメータをその属性に対応する領域に適用した複数枚の撮影を行う撮影ステップとを有することを特徴とする撮像装置の制御方法。
13. 請求項１１又は１２に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。