JP2020167626A

JP2020167626A - 撮像装置およびその制御方法

Info

Publication number: JP2020167626A
Application number: JP2019068852A
Authority: JP
Inventors: 原田　修; Osamu Harada; 修原田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2020-10-08
Also published as: US20200314318A1; US11190704B2

Abstract

【課題】主被写体が記録領域外にはずれ、非常に明るい背景と被ることがあっても視認性のあるライブビュー表示を可能にした撮像装置の露出制御方法を提供すること。【解決手段】メイン撮像部と、メイン撮像部の撮影範囲とその周辺領域を撮像するメイン撮像部とは異なる光学系及び撮像素子を備えたサブ撮像部と、ライブビュー中にサブ撮像部からの画像及びメイン撮像部の撮影範囲である記録領域を表示する表示部と、主被写体が記録領域内にある時、記録領域内の測光情報よりサブ撮像部の露出を制御し、主被写体が記録領域外からはずれ、記録領域外に所定値を超える明るさを含む領域が存在する時、サブ撮像部の露出を所定値だけ下げるよう制御し、該サブ撮像部から出力された画像でライブビュー表示することを特徴とする。【選択図】図１

Description

本発明は、撮像装置に関し、特に複数の撮像手段を有する撮像装置およびその制御方法に関するものである。

高倍率のズームレンズを備えた撮像装置では、望遠撮影時に撮影画角が狭くなるため、わずかな手振れによるカメラの傾きや主被写体の小さな動きによって、撮影前のライブビュー表示から主被写体がフレームアウトしてしまう。このため撮影者が画角から外れた主被写体を撮影画角内に捉え直す操作が発生する。

このような問題を解決するために特許文献１では、フレーミングアシスト機能を備えたカメラが開示されている。特許文献１では、撮影者が望遠時に主被写体をフレームから見失ってしまったとき、フレーミングアシストボタンを押して広角側にズームアウトすることで見失った主被写体の位置確認を実現している。

また、特許文献２では、異なる画角の撮像を行う、複数の撮像素子を備える撮像装置が提案されている。特許文献２に開示の撮像装置では、望遠側の撮像を行う撮像光学系の画角が変更された場合、広角側の撮像を行う撮像光学系の画角を制御することにより、ユーザーによる主被写体の把握を容易にすることで、フレーミングを支援することができる。

特開２０１６−５９０６１号公報特開２０１２−１４７０８２号公報

しかしながら、特許文献１に開示された手法では、単一の撮影光学系制御によるフレーミング操作であり、撮影までのタイムラグが発生するので、シャッタチャンスを逃すおそれがある。また、特許文献２の構成において、それぞれの撮像手段で露出制御を行う場合、主被写体（追尾被写体）以外に非常に明るい背景が存在する場合には主被写体領域の画像レベルが飽和することがある。その場合、主被写体が明るい背景と被ると視認性が悪化し、追跡対象を見失ってしまう。

そこで本発明の目的は、複数の撮像手段を有する撮像装置において、主被写体領域（追尾被写体）の視認性のあるライブビュー表示を可能な手段を提供することである。

上記目的を達成するために、本発明は、第１の画角で撮像する第１の撮像手段と、前記第１の画角を含む該第１の画角よりも広い第２の画角で撮像する第２の撮像手段と、前記第２の撮像手段により取得した画像を表示する表示手段と、前記第２の撮像手段の露出を制御する露出制御手段と、を有し、前記露出制御手段は、主被写体が前記第１の画角の外にあり、かつ、前記第２の撮像手段により撮像された画像の明るさが所定より大きい場合には、前記第２の撮像手段の露出を下げるように制御することを特徴とする。

本発明によれば、複数の撮像手段を有する撮像装置において、主被写体領域（追尾被写体）の視認性のあるライブビュー表示ができる。

本発明に係る撮像装置の構成例を示すブロック図本発明に係る望遠サポート時のライブビュー表示例本発明の第１の実施形態に係る撮像装置の望遠サポート時の露出制御を説明するフローチャート本発明の第２の実施形態に係る撮像装置の望遠サポート時の露出制御を説明するフローチャート

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（第１の実施形態）
図１は、本発明に係る撮像装置の構成例を示すブロック図である。図１に示すように、撮像装置１００は、システム制御部１０１、第１撮像部１１０、第２撮像部１２０、ズーム操作部１３０、表示部１４０、フレーミング支援指示部１５０を備えて構成されている。

第１の撮像部１１０は、第１撮像光学系１１１と第１撮像素子１１２とを備える。第１撮像光学系１１１は、光学素子を備え、光学的に被写体像のズーム倍率の変更、つまり、焦点距離を変更することが可能である。焦点距離の変更は、例えば、光軸方向におけるズームレンズの位置を変更することにより行うことができる。第１撮像光学系１１１は第１撮像素子１１２の動作状態（撮像または停止）に依らず、焦点距離の変更が可能である。

また、第１撮像素子１１２は、第１撮像光学系１１１を介して入力される被写体像を光電変換してデジタル映像信号に変換し、第１画像信号としてシステム制御部１０１が備える撮像制御部１０２へ出力する。本明細書では、光電変換から画像信号の出力までの動作を撮像動作と呼ぶ。第１撮像素子１１２による撮像動作は、撮像制御部１０２の撮像動作指示に基づいて実行される。

第２撮像部１２０は、第１撮像光学系１１１の広角端よりも広角を撮像可能な第２撮像光学系１２１と第２撮像素子１２２とを備える。第２撮像光学系は、光学素子を備えるが、本実施形態の第２撮像光学系１２１は単焦点光学系であり、第１撮像光学系の広角端の焦点距離よりも短い焦点距離を有する。

また、第２撮像素子１２２は、第２撮像光学系１２１を介して入力される被写体像を光電変換してデジタル映像信号に変換し、第２画像信号として撮像制御部１０２へ出力する。第２撮像素子１２２による撮像動作も、撮像制御部１０２の撮像動作指示に基づいて実行される。

尚、第１撮像光学系１１１の光軸と第２撮像光学系１２１の光軸の相対的な位置関係は固定されている。そのため、第１撮像部１１０で撮影される第１画像の領域の、第２撮像部１２０で撮像した第２画像中における位置と大きさは、第１撮像光学系１１１と第２撮像光学系１１２の光軸の相対位置と、焦点距離の関係から取得できる。

ズーム操作部１３０は、第１撮像光学系１１１の焦点距離を変更するための操作部材である。ズーム操作部１３０の操作を受けて、撮像制御部１０２が第１撮像光学系１１１を構成するズームレンズの位置を制御することで、第１撮像光学系１１１の焦点距離が変更される。撮影可能状態ではユーザーによりズーム操作部１３０が操作されると、被写体撮像準備のための焦点距離の変更が随時実行される。第１撮像部１１０が電子ズーム機能を有する場合、第１撮像光学系１１１の焦点距離は変わらないままズーム倍率が変更されるが、本願では電子ズームも焦点距離に変換して扱うものとする。例えば、焦点距離が１００ｍｍで電子ズーム倍率が２倍のときは、焦点距離が２００ｍｍであるとして扱う。

表示部１４０は、第１撮像部１１０及び第２撮像部１２０により取得された画像信号が、システム制御部１０１において所定の信号処理が行われることで生成される表示用映像信号を受信してモニタ表示を行う。表示部１４０は、撮影準備中（レリーズボタン押下前）にこのようなモニタ表示をすることにより、ユーザーがフレーミングを行うためのライブビュー機能を提供できる。また、静止画撮影直後の確認用画像、諸設定を行うためのユーザインターフェース情報などが表示される。

次に、システム制御部１０１の機能構成について説明する。図１に示すように、システム制御部１０１は、撮像制御部１０２、第１画像領域決定部１０３、画像処理部１０４、被写体検出部１０５、時間計測部１０６、表示制御部１０７を備えて構成される。

撮像制御部１０２は、第１撮像光学系１１１、第２撮像光学系１２１を構成する光学素子を制御し、第１撮像素子１１２、第２撮像素子１２２による撮像動作を制御することで、第１撮像部１１０、第２撮像部１２０による撮像処理を制御する。本実施形態においては、撮影指示に応じて第１撮像部１１０により撮像された画像が記録画像として記録される。

撮像制御部１０２は、第１撮像光学系１１１の焦点距離が、ズーム操作部１３０によって指示される焦点距離になるように、第１撮像光学系１１１を構成するズームレンズの位置を制御する。加えて、現在の第１撮像光学系１１１の現在の画角に関する情報を第１画像領域決定部１０３に出力する。尚、画角に関する情報とは、画角を一義的に取得することができる情報であればよく、画角そのものでもよいし、焦点距離、ズーム倍率や、ズームレンズの位置等の情報を用いることができる。焦点距離の変更と、画角に関する情報の出力は、ユーザーによるズーム操作部１３０の操作を受けて随時実行される。また、撮像制御部１０２は、画像処理部１０４からフィードバックされた画像の評価値に基づいて第１撮像部１１０の撮像パラメータを随時変更することができる。そして、第１撮像部１１０で撮像した第１画像信号及び第２撮像部１２０で撮像した第２画像信号を、画像処理部１０４へ出力する。

また、ユーザーが不図示の撮影実行指示部材（所謂レリーズボタン）を操作することにより撮影実行を指示した場合、撮像制御部１０２は、第１撮像部１１０に撮像動作を実行させ、撮像された静止画像や動画データが不図示の記録部に記録される。

第１画像領域決定部１０３は、第２画像における、第１画像に対応する領域（単に第１画像領域と呼ぶことがある）の位置と大きさを決定する。第１画像に対応する領域の大きさは、現在の第１撮像光学系１１１と第２撮像光学系１２１の焦点距離の関係から取得できる。例えば、焦点距離以外の条件が同じであれば、第１撮像光学系１１１の焦点距離が、第２撮像光学系１１２の焦点距離の１０倍のとき、第２画像における第１画像に対応する領域の大きさは、縦横ともに第２画像全体の１／１０になる。第１画像に対応する領域の中心位置は、第１撮像光学系１１１と第２撮像光学系１１２との相対位置によって決定される。本実施例の場合は、この相対位置は固定であるため、第２画像における第１画像に対応する領域の中心位置は一定である。中心位置と第２撮像光学系１２１の焦点距離に関する情報とを不図示の記録部に記録しておくこともできる。この場合、第１画像領域決定部１０３が、記録部から中心位置情報と第２撮像光学系１２１の画角に関する情報を読み出す。そして、読み出したこれらの情報と、撮像制御部１０２から受信した第１撮像光学系１１１の画角に関する情報とに基づいて、第２画像における、第１画像に対応する領域を決定することができる。尚、第２撮像光学系１２１の画角に関する情報も、第１撮像光学系１１１の画角に関する情報と同様に撮像制御部１０２から取得してもよい。

第１画像領域決定部１０３は決定した第１画角の位置と大きさに関する情報を、画像処理部１０４へ出力する。

画像処理部１０４は、第１撮像素子１１２から出力された第１画像および第２撮像素子１２２から出力された第２画像に対してガンマ／ニー処理、フィルタ処理、ハードウエアなどの画像処理を実行する。画像処理が施された画像信号は、被写体検出部１０５へ出力される。

また、画像処理１０４は、第１撮像部１１０および第２撮像部１２０により取得した画像に対して所定の信号処理を行うことで、表示用映像信号を生成する。例えば、第２撮像素子１２２から出力された画像に対して第１撮像素子１１２の撮影領域（記録領域）を記録領域枠として重畳した表示用映像信号を生成する。また、例えば、第２撮像素子１２２から出力された画像信号の一部に第１撮像素子１１２から出力した画像を合成して表示用映像信号として生成する。このときに生成される表示用映像信号に基づく画像については図２を用いて後述する。生成された表示用映像信号は表示制御部１０７に出力され、表示制御部１０７を介して表示部１４０に表示される。

また、画像処理部１０４は、第１撮像部１１０および第２撮像部１２０から取得された画像データに基づき撮影範囲内の明るさの強度、分布などから測光評価を行う。例えば、露出評価値を算出して撮像制御部１０２へフィードバックし、その結果に基づいて、撮像制御部１０２が第１撮像部１１０および第２撮像部１２０の露出制御を行う。露出評価値としては、例えば、階調情報が失われた画素（白飛び、黒つぶれ）の数もしくは割合、画像の輝度（明度）ヒストグラムの最頻値、平均値、もしくは中央値などを利用することができる。画像処理部１０４は、第２の画像全体の露出評価値と、第１画像に対応する領域の露出評価値とを取得することができる。また、例えば、コントラストＡＦや、撮像素子の画素をそれぞれ２分割し、それぞれに独立した光路を形成するマイクロレンズを構成して実施される位相差方式によるフォーカス評価を行う構成としてもよい。そのほか、第１画像および第２画像の種々の評価値を算出して、撮像制御部１０２へフィードバックする。これらの評価値に基づいて、撮像制御部１０２は、第１撮像部１１０および第２撮像部１２０の露出制御やＡＦ（オートフォーカス）制御などの撮像パラメータを設定して撮像制御を行う。

被写体検出部１０５は、画像処理部１０４により処理された第１画像および第２画像のデータに基づいて、主被写体（追尾被写体）のそれぞれの画角内の移動状態、被写体種別を検出する。これは、第１撮像素子１１２または第２撮像素子１２２からの画像出力を基に、例えば人物の顔認識機能や、測距による被写体位置・速度検出、またライブビュー中の表示部１４０に対するユーザー操作に応じた被写体の特徴抽出機能などにより検出される。この被写体検出部１０５により捕捉した主被写体を追跡し、追跡対象の主被写体の存在位置が記録領域（第１撮像部１１０による撮像領域）の内か外の判断や、主被写体の移動先の予測を行う。

時間計測部１０６は、撮像制御部１０２が第１撮像部１１０の撮像動作状態を開始させたタイミングを起点として、第１撮像部１１０の撮像動作状態の継続時間を計測する。また、計測の結果、撮像動作状態の継続時間が所定の時間以上になったことを検出した場合、撮像動作の継続時間経過信号を撮像制御部１０２に出力する。

次に図２を参照して、本実施形態に係る望遠サポート（フレーミング支援）制御動作について説明する。図２は、本発明に係る望遠サポート時の第１撮像部１１０および第２撮像部１２０により撮像された画像のライブビュー表示の例である。主被写体９１を追尾している場合の表示例であり、記録領域枠９２を表示することで記録領域内に主被写体９１をフレーミングできるように撮影サポートをする。図２（ａ）は、撮像装置１００における通常撮影時の表示例であり、メイン撮像部（第１撮像素子１１２）から出力された画像を表示面全体に表示している。このとき、第２撮像部１２０による撮像は不要である。

望遠サポート（フレーミング支援）状態になると、まず、第２撮像部１２０を起動し、第２撮像光学系１２１および第２撮像素子１２２を制御して、望遠サポートのためのライブビュー表示用画像を生成する。その例が図２（ｂ）〜（ｃ）である。第２撮像部１２０から入力された画像信号に対して、第１画像領域決定部１０３が第１撮像部１１０の画角の位置を算出する。第２撮像素子１２２の出力画像に、算出された領域の位置と大きさを示す枠である記録領域枠９２を合成して表示部１４０に表示される。

図２（ｂ）では、第２撮像素子１２２から取得された画像が表示面全体に参照領域として表示され、メイン撮像部（第１撮像部１１０）の撮影範囲であるところの記録領域を示す記録領域枠９２が表示されている。また、図２（ｃ）では、第２撮像素子１２２から出力された全体画像に、第１撮像素子１１２から出力される画像が合成され、表示画面上の所定の表示領域である記録領域９３に表示されている。

図２（ｄ）は、図２（ｂ）（ｃ）と同様にサブ画像（第２撮像素子１２２から出力された画像）を全体に表示し、メイン撮像部（第１撮像部１１０）による記録領域は記録領域枠９２で示されている。しかし、この例においては、メイン撮像部（第１撮像部１１０）では、主被写体９１が捉えられておらず、この場合、主被写体を撮影（記録）することはできない。ユーザーは、記録領域枠９２内に主被写体９１が入るように、カメラの向きやズーム操作を行うことで、主被写体９１をメイン撮像部（第１撮像部１１０）の撮影範囲に捉えて撮影を行う。

通常の撮影状態から望遠サポート状態へ遷移する条件として、本実施形態では、第１撮像光学系１１１の焦点距離が所定値を超えたときを例に説明する。撮影制御部１０２は、例えば、ユーザーがズーム操作部１３０を操作することで、第１撮像光学系１１１の焦点距離を所定値以上に設定したときに、第２撮像部を起動して望遠サポート状態となる。また。表示部１４０は、望遠サポート状態である時は第２撮像素子１２２の出力より取得した画像をライブビュー表示し、第１撮像光学系１１１の焦点距離が所定値より短い時は第１撮像素子１１２の出力より取得した画像をライブビュー表示する。

なお、望遠サポートを開始する条件はこの限りではなく、ユーザーの操作により望遠サポートの有効／無効の切換えを可能とし、望遠サポートを有効にした場合に限り第１撮像光学系１１１の焦点距離に応じて遷移してもよい。また、望遠サポートへ遷移する第１撮像光学系１１１の焦点距離の切替点を固定された所定値にしてもよいし、主被写体の移動速度や撮影者の撮像装置の追跡速度により可変としてもよい。また、ユーザー操作に応じて、例えば、フレーミングアシストボタンなど、フレーミング支援指示部１５０の操作を継続している間に限り、望遠サポート状態にするような構成としてもよい。

ここで、記録領域内に主被写体９１が収まっているとき、第２撮像部１２０（サブ撮像部）は記録領域内が適正露出となるよう露出制御され、第２撮像素子１２２から出力された画像がライブビュー画像として表示される。第１撮像部１１０より広角である第２撮像部１２０の撮像範囲全域で露出制御を行うと、記録領域枠９２外が記録領域枠９２内に比べ非常に明るい又は暗い状態にあるとき、記録領域枠９２外の測光値の影響度が高くなる。その結果、記録領域枠９２内が最適な露出とならず視認性が悪くなってしまうため、メイン撮像部（第１撮像部１１０）の記録領域に相当する記録領域枠９２に合わせた露出制御が望ましい。

しかしながら、第２撮像素子１２２上の記録領域枠９２に相当する領域が適正露出となるよう制御されているため、例えば図２（ｄ）のように、記録領域枠９２外に非常に明るい背景が存在する場合には、この記録領域外の画像レベルが飽和することがある。そのため、主被写体９１が記録領域枠９２から外にはずれて非常に明るい背景と被った場合であっても、視認性を悪化させることなく追跡対象を追尾できるように適切な露出制御を行う必要がある。

そこで、本実施形態においては、主被写体が記録領域に捉えられているか否かに応じて、露出制御の評価枠を切り替える。まず、第２撮像素子１２２からの出力に基づき、図２（ｂ）、（ｃ）のように主被写体９１が記録領域９２内にあるときは、記録領域枠９２に相当する領域内での明るさの状態を画像処理１０４で評価する。その評価値に基づいて、記録領域枠９２の領域が適正な明るさとなるよう露出条件を決定することで、記録領域枠９２内に捉えられている主被写体９１が適正な明るさとなるように露出制御を行う。一方、図２（ｄ）の主被写体９１が記録領域枠９２外に存在する時は、記録領域枠９２外の明るさの状態を画像処理部１０３で評価し、ユーザーがライブビュー表示上で主被写体９１の明るさが適正となるよう露出条件を決定する。

次に、本発明の第１の実施形態に係る望遠サポートにおける露出制御について、図３のフローチャートを用いて説明する。図３は、本発明の第１の実施形態に係る撮像装置の望遠サポート（フレーミング支援）時の露出制御を説明するフローチャートであり、撮像装置１００が通常の撮影状態から望遠サポート状態に遷移した後の動作を説明する。図３に示す各処理は、システム制御部１０１によって、各処理ブロックを制御し実行され、システム制御部１０１が有するメモリ（不図示）に格納されているプログラムを展開して実行することにより実現される。また、撮影指示が入力されると、各工程を停止し、第１撮像素子１１１による本撮影動作を開始する。本撮影動作では、ＡＥ処理により決定された露光時間で撮像し、得られた画像信号を記録媒体へ記録する処理を行う。撮影指示は、不図示のシャッタボタンの押下によりユーザから入力されてもよいし、自動撮影モードの際などにシステム制御部１０１が自動で撮影指示を発生させ、撮像制御部１０２へ入力してもよい。

尚、本第１の実施形態においては、主被写体９１の画角内の移動状態を、主被写体９１の動き方向、スピードに加え、撮影者が主被写体を追跡した時の撮像装置の動き方向、スピードを加味したものとする。撮像装置１００の動き方向、スピードは、例えば角速度センサ（不図示）により取得することができる。撮像装置１００が望遠サポート状態に遷移すると、本フローチャートは開始される。

まず、ステップＳ２０１で第２撮像部１２０による撮像が行われ、システム制御部１０１は第２撮像素子１２２より画像を取得する。この受け取った画像に基づいて、画像処理部１０４、撮像制御部１０２による望遠サポート状態に対応した露出制御を開始する。

ステップＳ２０２へ進み、第１撮像素子１１２および第２撮像素子１２２から出力された画像から、望遠サポート状態に対応したライブビュー表示用画像を生成し、生成した表示用画像を表示部１４０へ表示する。

ステップＳ２０３では、被写体検出部１０５により主被写体９１が記録領域内に存在するか否かを判定する。主被写体が記録領域外に外れた場合にはステップＳ２０４へ進み、主被写体が記録領域内に存在する場合にはステップＳ２１０へ進む。なお、主被写体９１が記録領域内に存在するかの判断は、第１撮像素子１１２又は第２撮像素子１２２のどちらの出力を用いて検出することも可能である。また、例えば、ユーザーがフレーミングアシストボタンなどのフレーミング支援指示部１５０の操作があった場合に、主被写体が記録領域外に外れたものと判断する構成としてもよい。

主被写体が記録領域外に存在するとき、ステップＳ２０４で、被写体検出部１０５は、主被写体９１が記録領域枠９２から離脱した方向を検出する。このとき主被写体の動き方向の検出が出来ればどのような手段を用いてもよく、第１撮像素子１１２により出力された過去の画像からの予測に基づいて検出してもよいし、第２撮像素子１２２により出力された第２画像の全体から検出する構成であってもよい。外部センサにより検出する構成であっても構わない。

ステップＳ２０５では、Ｓ２０４の検出結果に基づいて、画像処理部１０４は、評価領域を主被写体９１の離脱方向に該当する領域に変更して測光を行う。又は、評価領域を広げて測光するようにしてもよい。

ステップＳ２０６では、Ｓ２０５の測光の評価値に基づいて、画像輝度が所定値より大きいか否かの明るさの判定を行う。所定値より大きい場合（Ｙｅｓ）はステップＳ２０７へ進み、所定値以下の場合（Ｎｏ）はステップＳ２１０へ進む。ここで、輝度の所定値は、例えば、ライブビュー表示上の背景レベルが飽和レベル付近であり、ライブビュー表示の輝度がこの所定値を超えた場合に、主被写体の視認性が保証できないような輝度レベルである。実測などにより算出された設計値であってもよい。

ステップＳ２０７において撮像制御部１０２は、第２撮像部１２０の露出パラメータを、現在の露出レベルより低露出となるよう変更する。変更値は、実験により求められた値や、ステップＳ２０５の測光結果に基づき算出された値であり、ライブビュー表示上の主被写体の視認性が保証されるものであれば構わない。その後、ステップＳ２０８へ進む。

一方、ステップＳ２０３において主被写体が記録領域内に存在する（Ｙｅｓ）と判断されたとき、またはステップＳ２０６において画像の輝度が所定値以下のときには、ステップＳ２１０へ進む。ステップＳ２１０では、画像処理部１０４は、第２撮像素子１２２により出力された画像のうち記録領域（第１撮像部１１０による撮影範囲）に相当する領域の測光を行う。主被写体が記録領域内に存在する場合（ステップＳ２０３でＹｅｓ）は、記録領域に相当する領域で測光することで主被写体に適正な露出制御ができる。また、主被写体が記録領域外にあっても画像輝度が所定値以下の場合（ステップＳ２０７でＮｏ）には、ライブビュー表示上の背景レベルが飽和レベルになく主被写体の視認性が保証できると判断できる。その場合も、画像処理部１０４は測光領域を変更することなく記録領域に相当する領域の測光を行う。その後、ステップＳ２０８へ進み、撮影者のレリーズ待機状態となる。

ステップＳ２０８では、撮影者のレリーズ操作待機状態であり、レリーズ操作（撮影指示）があったかどうかを判定する。撮影者がレリーズ操作を行う（ＯＮ）とステップＳ２０９へ進み、撮影者がレリーズ操作を行わなかったとき（ＯＦＦ）は、ステップＳ２０２の動作に戻る。

ステップＳ２０９では、撮影者のレリーズ操作に応答して、システム制御部１０１は第１撮像部１１０（メイン撮像部）での撮影動作を実行し、不図示の記録メディアに取得画像が記録されて本フローは終了する。このとき、表示部１４０には、取得した画像が確認画像として表示される。なお、撮影・記録が実行されたあとも、望遠サポート状態が継続している間は本フローチャートの露出制御が繰り返し継続される。

以上説明したように、第１の実施形態の撮像装置では、望遠サポート時における主被写体が記録領域から外れたときには、記録領域外の測光結果に基づき露出制御を実行する。また、ライブビュー画像の明るさが所定値を超えた場合には、第２撮像素子１２２の露出を下げ、ライブビュー表示に反映するようにした。そうすることで、明るい背景被写体と主被写体が重なる場合であっても、画像全体の露出を下げることで、主被写体の視認性が保証され、撮影者が主被写体を見失うことなく追跡を継続することが可能となる。

尚、上記ステップＳ２０５では、記録領域外のうち主被写体の離脱方向に該当する領域を測光するようにしていたが、上記測光動作はこれに限らず、上記離脱した方向の検出（ステップＳ２０４）を省略し、記録領域外全体を測光し、明るさ判定に移行してもよい。

また、主被写体が記録領域外にあっても、被写体検出部１０５により主被写体の画角内での移動状態を予測し、この予測結果が短期間に主被写体が頻繁に記録領域内外を行き来しているような場合は、記録領域内を測光した結果に基づいて露出制御してもよい。これにより主被写体が記録領域内外の行き来する度に、露出値が切り替わることでライブビューがちらつき、視認性が悪化することを抑制できる。

また、本実施形態においては、主被写体が記録領域から離脱した時の記録領域外のどの領域を測光するかの決定は、主被写体が記録領域から離脱した方向としていたが、測光する領域の決定手段はこれに限らない。例えば、被写体検出部１０５により、ライブビュー表示画面内の主被写体の移動方向・速度に基づき、ライブビューの次フレーム表示画面内に主被写体が存在する位置を予測し、この位置を含む領域を測光対象とし露出制御してもよい。これにより適切に露出制御された画像をライブビュー表示に同期させることが可能となる。

（第２の実施形態）
望遠サポート時に、記録領域外からはずれた主被写体が所定値よりも明るい背景と被るような場合においてもライブビュー表示上での視認性を向上させるために、第１の実施形態では第２撮像素子１２２の露出を下げるようにしていた。しかしながら、この場合、この背景の本来の明るさを知ることはできないため、ライブビュー表示上の視認性は保証されるが最適な露出条件でない場合がある。また、本来第１撮像素子１１２は大判サイズであっても、撮像装置１００の外形を最適サイズにするには、サブの第２撮像素子１２２はメインセンサよりも外形を小さくすることが望ましく、画素サイズもより小サイズとなってしまう。この結果、サブセンサである第２撮像素子１２２は、第１撮像素子１１２に比べダイナミックレンジが狭く、より飽和しやすくなる可能性がある。

そこで、第２の実施形態では、よりダイナミックレンジの広いメインの第１撮像部１１０を制御することで、望遠サポート時におけるライブビュー表示上の主被写体の視認性を向上させる露出制御を実現する。

以下、図４のフローチャートを参照して、本発明の第２の実施形態に係る撮像装置の動作について説明する。図４は、本発明の第２の実施形態に係る撮像装置の望遠サポート（フレーミング支援）時の露出制御を説明するフローチャートである。図４に示す各処理は、システム制御部１０１によって各処理ブロックを制御して実行され、システム制御部１０１が有するメモリ（不図示）に格納されているプログラムを展開して実行することにより実現される。図４における動作は、図３の動作に基づいて変形したものであるため、図中の共通動作については、同一の符号を付しその説明は省略する。撮像装置１００が望遠サポート状態に遷移すると、本フローチャートは開始される。ステップＳ２０１からＳ２０６までの処理は、図３と同様である。第１の実施形態で説明した図３のフローチャートとの違いは、ステップＳ２０６の明るさ判定において、明るさが所定値を超えたと判定されたあとの制御の部分である。

ステップＳ２０６において画像の輝度が所定値より大きいと判断されると、すなわち、主被写体が記録領域内から外れ、記録領域外の輝度が所定値を超える場合に、ステップＳ３０１へ進み、第１撮像部１１０の焦点距離を広角へ移動する。つまり、第１撮像部１１０の撮影範囲（記録領域）と第２撮像部１２０と同じになるように画角を制御する。この状態においては、主被写体は記録領域からはずれていて、メインである第１撮像部１１０による撮影・記録は実行されないため、焦点距離を広角側に移動することは撮影に支障がない。なお、本実施形態では、第１撮像部１１０の焦点距離を第２撮像部１２０と同じになるよう移動させるようにしたがこの限りではなく、主被写体が画面内に収まっていれば第２撮像部１２０の焦点距離と同じでなくても構わない。

次にステップＳ３０２では、測光を行うための第１撮像素子１１２より画像を取得する。

その後、ステップＳ３０３へ進み、すぐに第１撮像部１１０の焦点距離を元の位置（ステップＳ３０１実行前の位置）に戻す。ここで、画像取得時の第１撮像素子１１２の露出は、画像処理部１０４および撮像制御部１０２において、撮像範囲内に飽和する箇所がないような露出条件を算出して制御される。

ステップＳ３０４で、ステップＳ３０２で取得した画像に基づいて、画像処理部１０４は記録領域に相当する領域と主被写体とその周辺領域の測光値を求め、これらの比を算出する。この算出値より、第２撮像素子１２２の露出条件を決定し露出を変更する（ステップＳ２０７）。

以上のように第２の実施形態の撮像装置では、第１撮像部１１０の焦点距離を広角にしたときの測光値に基づいて、第２撮像素子１２２の露出を制御する。こうすることで、望遠サポート時における主被写体が記録領域枠から外れ、記録領域枠外に所定値を超える明るい背景がある場合でも、主被写体が適正露出になるように制御することができる。特に、明るい背景である領域が第２撮像素子１２２では飽和してしまうような場合には、よりダイナミックレンジの広い第１撮像素子１１２を用いて測光することでより正確な露出値を算出することができる。結果、ライブビュー表示上の主被写体の視認性を最適な露出条件でかつ短時間に実現することが可能となる。

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で説明した撮像装置は、デジタルスチルカメラやデジタルビデオカメラに適用することができる。

また、本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、１つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００撮像装置
１１０第１撮像部
１１１第１撮像光学系（メイン光学系）
１１２第１撮像素子（メインセンサ）
１２０第２撮像部
１２１第２撮像光学系（サブ光学系）
１２２第２撮像素子（サブセンサ）
１４０表示部
１０１システム制御部
１０２撮像制御部
１０４画像処理部
１０５被写体検出部

Claims

第１の画角で撮像する第１の撮像手段と、
前記第１の画角を含む該第１の画角よりも広い第２の画角で撮像する第２の撮像手段と、
前記第２の撮像手段により取得した画像を表示する表示手段と、
前記第２の撮像手段の露出を制御する露出制御手段と、を有し、
前記露出制御手段は、主被写体が前記第１の画角の外にあり、かつ、前記第２の撮像手段により撮像された画像の明るさが所定より大きい場合には、前記第２の撮像手段の露出を下げるように制御することを特徴とする撮像装置。
前記第１の撮像手段により取得した画像を記録画像として記録する記録手段と、を有することを特徴とする請求項１に記載の撮像装置。
前記表示手段は、ライブビュー中に前記第２の撮像手段により取得した画像に前記第１の画角を示す枠を重畳して表示することを特徴とする請求項１又は２に記載の撮像装置。
前記露出制御手段は、前記主被写体が前記第１の画角内にあるときは、該第１の画角に相当する領域の輝度が適正になるように前記第２の撮像手段の露出を制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記主被写体の位置および動きを検出できる検出手段と、を有し、
前記検出手段は、前記主被写体が前記第１の画角から外れた方向を検出し、
前記露出制御手段は、前記第１の画角の外の領域のうち、前記検出手段により検出された方向に所定より明るい領域が存在する場合に、前記第２の撮像手段の露出を下げるように露出を制御することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記検出手段は、前記主被写体が前記第１の画角から外れた方向と速度から次のフレームを表示するときの該主被写体の位置を予測し、
前記露出制御手段は、前記予測された位置を含む領域が所定より明るいときに前記第２の撮像手段の露出を下げるように露出を制御することを特徴とする請求項５に記載の撮像装置。
前記検出手段による検出に基づいて、前記主被写体が前記第１の画角の内と外への移動を繰り返す場合は、
前記露出制御手段は、前記第１の画角の外の明るさを前記第２の撮像手段の露出制御に反映しないことを特徴とする請求項５又は６に記載の撮像装置。
前記露出制御手段は、自装置が望遠サポート状態であるときに前記第２の撮像手段の露出制御を実行することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記第１の撮像手段の焦点距離が所定より広角になったとき、ユーザーによる該望遠サポートへの切り替え指示があったとき、望遠サポートの指示が継続して発されている場合、のいずれかの場合に前記望遠サポート状態となるように制御する制御手段と、
を有することを特徴とする請求項８に記載の撮像装置。
前記所定の明るさは、前記第１の撮像手段の焦点距離を前記所定より広角へ移動したときの測光値に基づいて算出することを特徴とする請求項９に記載の撮像装置。
前記主被写体が前記第２の画角に含まれるように前記第２の撮像手段の焦点距離を制御するズーム制御手段と、をさらに有することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
第１の画角で撮像する第１の撮像手段と、
前記第１の画角を含む該第１の画角よりも広い第２の画角で撮像する第２の撮像手段と、
前記第２の撮像手段により取得した画像を表示する表示手段と、を有する撮像装置の制御方法であって、
主被写体が前記第１の画角の外にあり、かつ、前記第２の撮像手段により撮像された画像の明るさが所定より大きい場合には、前記第２の撮像手段の露出を下げるように制御するステップ
を有することを特徴とする。
前記第１の撮像手段により取得した画像を記録画像として記録するステップと、をさらに有することを特徴とする請求項１２に記載の撮像装置の制御方法。
前記第１又は第２の撮像手段により取得した画像を表示するステップと、
ライブビュー中に前記第２の撮像手段により取得した画像に前記第１の画角を示す枠を重畳して表示するステップと
を有することを特徴とする請求項１２又は１３に記載の撮像装置の制御方法。
請求項１２乃至１４のいずれか１項に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラム。
請求項１５に記載のプログラムを記載したコンピュータで読み取り可能な記録媒体。