JP2020088810A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】 複数の撮像部を備えた撮像装置を用いて、電力の消費を削減しつつ、ユーザーのフレーミングを支援する。【解決手段】 撮像装置１００は、第１の画像信号を出力する第１の撮像素子１１２と、第２の画像信号を出力する第２の撮像素子１２２と、第１の画像信号に基づく第１の画像と、第２の画像信号に基づく第２の画像との表示を制御する表示制御部１０７と、第１の画像の画角である第１の画角よりも広角の第２の画角にて取得された第２の画像信号における、第１の画像に対応する領域の視認性を判定する判定手段１０５と、判定手段により、第１の画像に対応する領域の視認性が低いと判定されると、第１の撮像素子に撮像動作を実行させる撮像制御手段１０２と、第１の撮像素子１１２が撮像準備中に撮像動作を実行すると、第１の画像信号と第２の画像信号とを合成して第３の画像信号を生成する画像処理手段１０４と、を備える。【選択図】 図１

Description

本発明は、複数の撮像素子を有する撮像装置及びその制御方法に関する。

従来、ユーザーのフレーミングを支援する機能を備えた撮像装置が知られている。特に、高倍率のズームレンズを備えた撮像装置では、高倍ズーム撮影時に撮影画角が狭くなるため、僅かな手振れによるカメラの傾きや主被写体の小さな動きによって、撮影前のライブビュー表示から主被写体がフレームアウトしてしまう。このためユーザーが画角から外れた主被写体を撮影画角内に捉え直す操作が発生する。この操作を支援するために、異なる画角の撮像を行う、複数の撮像素子を備える撮像装置が提案されている。特許文献１に開示の撮像装置では、望遠側の撮像を行う撮像光学系の画角が変更された場合、広角側の撮像を行う撮像光学系の画角を制御することにより、ユーザーによる主被写体の把握を容易にすることで、フレーミングを支援することができる。

特開２０１２−１４７０８２号公報

しかしながら、複数の撮像素子による撮像動作を同時に実行すると、電力の消費が増加する。そこで本発明の目的は、複数の撮像素子を備えた撮像素子において、消費電力の増加を低減しつつ、ユーザーのフレーミングを支援することが出来る撮像装置及び撮像装置の制御方法を提供することである。

本発明の一側面としての撮像装置は、第１の撮像光学系からの光に基づいて第１の画像信号を出力する第１の撮像素子と、第２の撮像光学系からの光に基づいて第２の画像信号を出力する第２の撮像素子と、前記第１の画像信号に基づく第１の画像と、前記第２の画像信号に基づく第２の画像との表示を制御する表示制御部と、前記第１の画像の画角である第１の画角よりも広角の第２の画角にて取得された前記第２の画像信号における、前記第１の画像に対応する領域の視認性を判定する判定手段と、
前記判定手段により、前記第１の画像に対応する領域の視認性が低いと判定されると、前記第１の撮像素子に撮像動作を実行させる撮像制御手段と、前記第１の撮像素子が撮像準備中に前記撮像動作を実行すると、前記第１の画像信号と前記第２の画像信号とを合成して第３の画像信号を生成する画像処理手段と、を備え、前記表示制御部は、前記第３の画像信号に基づく画像を表示部に表示させるように制御することを特徴とする。本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

本発明によれば、複数の撮像素子を備えた撮像装置を用いて、電力の消費を削減しつつ、ユーザーのフレーミングを支援することが出来る。

本発明の実施形態である撮像装置の構成を示すブロック図である。 第１の実施の形態のフレーミング支援制御動作例を示すフローチャートである。 第２の実施の形態のフレーミング支援制御動作例を示すフローチャートである。 第３の実施の形態のフレーミング支援制御動作例を示すフローチャートである。 第４の実施の形態のフレーミング支援制御動作例を示すフローチャートである。 第５の実施の形態のフレーミング支援制御動作例を示すフローチャートである。 本発明の実施形態において表示部が表示する画像の例である。

以下、ライブビュー中（撮像準備中）には望遠側の撮像部の撮像動作を停止させることで電力の消費量を軽減する撮像装置について説明をする。ただし、広角側の撮像部が撮像した画像のうち、望遠側の撮像部により取得される画像に対応する領域の視認性が低い時は望遠側の撮像部も撮像動作をさせることで、ユーザの利便性を向上させる。撮影指示を受けると、望遠側の撮像部の撮像動作を開始することで、望遠側の画角の撮像画像を取得することができる。

以下、本発明の実施形態を図面に基づいて説明する。

［第１の実施の形態］
図１は本実施形態による撮像装置１００の構成例を示す図である。

図１に示すように、撮像装置１００は、システム制御部１０１、第１撮像部１１０、第２撮像部１２０、ズーム操作部１３０、表示部１４０、フレーミング支援指示部１５０を備えて構成されている。

第１の撮像部１１０は、第１撮像光学系１１１と第１撮像素子１１２とを備える。第１撮像光学系１１１は、光学素子を備え、光学的に被写体像のズーム倍率の変更、つまり、焦点距離を変更することが可能である。焦点距離の変更は、例えば、光軸方向におけるズームレンズの位置を変更することにより行うことができる。第１撮像光学系１１１は第１撮像素子１１２の動作状態（撮像または停止）に依らず、焦点距離の変更が可能である。

また、第１撮像素子１１２は、第１撮像光学系１１１を介して入力される被写体像を光電変換してデジタル映像信号に変換し、第１画像信号としてシステム制御部１０１が備える撮像制御部１０２へ出力する。本明細書では、光電変換から画像信号の出力までの動作を撮像動作と呼ぶ。第１撮像素子１１２による撮像動作は、撮像制御部１０２の撮像動作指示に基づいて実行される。

第２撮像部１２０は、第１撮像光学系１１１の広角端よりも広角を撮像可能な第２撮像光学系１２１と第２撮像素子１２２とを備える。第２撮像光学系は、光学素子を備えるが、本実施形態の第２撮像光学系１２１は単焦点光学系であり、第１撮像光学系の広角端の焦点距離よりも短い焦点距離を有する。

また、第２撮像素子１２２は、第２撮像光学系１２１を介して入力される被写体像を光電変換してデジタル映像信号に変換し、第２画像信号として撮像制御部１０２へ出力する。第２撮像素子１２２による撮像動作も、撮像制御部１０２の撮像動作指示に基づいて実行される。

尚、第１撮像光学系１１１の光軸と第２撮像光学系１２１の光軸の相対的な位置関係は固定されている。そのため、第１撮像部１１０で撮影される第１画像の領域の、第２撮像部１２０で撮像した第２画像中における位置と大きさは、第１と第２の撮像光学系１１１、１１２の光軸の相対位置と、焦点距離の関係から取得できる。

ズーム操作部１３０は、第１撮像光学系１１１の焦点距離を変更するための操作部材である。ズーム操作部１３０の操作を受けて、撮像制御部１０２が第１撮像光学系１１１を構成するズームレンズの位置を制御することで、第１撮像光学系１１１の焦点距離が変更される。撮影可能状態ではユーザーによりズーム操作部１３０が操作されると、被写体撮像準備のための焦点距離の変更が随時実行される。第１撮像部１１０が電子ズーム機能を有する場合、第１撮像光学系１１１の焦点距離は変わらないままズーム倍率が変更されるが、本願では電子ズームも焦点距離に変換して扱うものとする。例えば、焦点距離が１００ｍｍで電子ズーム倍率が２倍のときは、焦点距離が２００ｍｍであるとして扱う。

表示部１４０は、第１撮像部１１０及び第２撮像部１２０により取得された画像信号が、システム制御部１０１において所定の信号処理が行われることで生成される表示用映像信号を受信してモニタ表示を行う。表示部１４０は、撮像準備中（レリーズボタン押下前）にこのようなモニタ表示をすることにより、ユーザーがフレーミングを行うためのライブビュー機能を提供できる。

次に、システム制御部１０１の機能構成について説明する。

図１に示すように、システム制御部１０１は、撮像制御部１０２、第１画像領域決定部１０３、画像処理部１０４、視認性判定部１０５、時間計測部１０６、表示制御部１０７を備えて構成される。

撮像制御部１０２は、第１撮像光学系１１１、第２撮像光学系１２１を構成する光学素子を制御し、第１撮像素子１１２、第２撮像素子１２２による撮像動作を制御することで、第１撮像部１１０、第２撮像部１２０による撮像処理を制御する。

撮像制御部１０２は、第１撮像光学系１１１の焦点距離が、ズーム操作部１３０によって指示される焦点距離になるように、第１撮像光学系を構成するズームレンズの位置を制御する。加えて、現在の第１撮像光学系１１１の現在の画角に関する情報を第１画像領域決定部１０３に出力する。尚、画角に関する情報とは、画角を一義的に取得することができる情報であればよく、画角そのものでもよいし、焦点距離、ズーム倍率や、ズームレンズの位置等の情報を用いることができる。焦点距離の変更と、画角に関する情報の出力は、ユーザによるズーム操作部１３０の操作を受けて随時実行される。

また撮像制御部１０２は、視認性判定部１０５の判定結果に基づいて、撮像準備中に第１撮像部１１０の撮像動作状態を、撮像状態から撮像停止状態へ、あるいは撮像停止状態から撮像状態へと切り替える。撮像停止状態では、第１撮像素子１１２に対して、電源の供給やクロック等の制御信号の少なくとも一部の供給が停止されており、撮像状態よりも消費電力が低い。制御の詳細は後述する。尚、撮像準備中の撮像状態とは、ライブビュー画像の撮像状態のことを指す。

さらに撮像制御部１０２は、第１撮像部１１０で撮像した第１画像信号及び第２撮像部１２０で撮像した第２画像信号を、画像処理部１０４へ出力する。

また、ユーザーが不図示の撮影実行指示部材（所謂レリーズボタン）を操作することにより撮影実行を指示した場合、撮像制御部１０２は、第１撮像部１１０に撮像動作を実行させ、撮像された静止画像や動画データが不図示の記録部に記録される。

第１画像領域決定部１０３は、第２画像における、第１画像に対応する領域（単に第１画像領域と呼ぶことがある）の位置と大きさを決定する。第１画像に対応する領域の大きさは、現在の第１撮像光学系１１１と第２撮像光学系１２１の焦点距離の関係から取得できる。例えば、焦点距離以外の条件が同じであれば、第１撮像光学系１１１の焦点距離が、第２撮像光学系１１２の焦点距離の１０倍のとき、第２画像における第１画像に対応する領域の大きさは、縦横ともに第２画像全体の１／１０になる。第１画像に対応する領域の中心位置は、第１撮像光学系１１１と第２撮像光学系１１２との相対位置によって決定される。本実施例の場合は、この相対位置は固定であるため、第２画像における第１画像に対応する領域の中心位置は一定である。中心位置と第２撮像光学系１２１の焦点距離に関する情報とを不図示の記録部に記録しておくこともできる。この場合、第１画領域決定部１０３が、記録部から中心位置情報と第２撮像光学系１２１の画角に関する情報を読み出す。そして、読み出したこれらの情報と、撮像制御部１０２から受信した第１撮像光学系１１１の画角に関する情報とに基づいて、第２画像における、第１画像に対応する領域を決定することができる。尚、第２撮像光学系１２１の画角に関する情報も、第１撮像光学系１１１の画角に関する情報と同様に撮像制御部１０２から取得してもよい。

第１画像領域決定部１０３は決定した第１画角の位置と大きさに関する情報を、画像処理部１０４へ出力する。

画像処理部１０４は、撮像制御部１０２から入力された画像に対して所定の信号処理を行うことで、表示用映像信号を生成し、表示制御部１０７に出力する。図７は、表示用映像信号に基づいて表示部１４０が表示する画像の例である。画像処理部１０４は、撮像制御部１０２から入力された第２画像信号に対して、第１画像領域決定部１０３から入力された第１画角の位置と大きさを示す枠（つまり、第１画像に対応する領域の輪郭）７０１を合成して表示用映像信号を生成する。このときに生成される表示用映像信号に基づく画像が図７（ａ）である。第２画像信号に基づく第２画像７００に、枠７０１が合成された画像が表示される。

また、画像処理部１０４は、撮像制御部１０２から入力された第２画像信号の一部に、第１画像信号を合成して表示用映像信号を生成することもできる。このときに生成される表示用映像信号に基づく画像が図７（ｂ）である。第２画像信号に基づく第２画像７００に、枠７０１と、第１画像信号に基づく第１画像７０２が合成された画像が表示される。

更に、画像処理部１０４は撮像制御部１０２から入力された第２画像全体を評価領域として算出した露出評価値と、第２の画像のうち、第１画像に対応する領域を評価領域として算出した露出評価値とを比較した結果を、視認性判定部１０５へ出力する。露出評価値としては、例えば、階調情報が失われた画素（白飛び、黒つぶれ）の数もしくは割合、画像の輝度（明度）ヒストグラムの最頻値、平均値、もしくは中央値などを利用することができる。また画像処理部１０４は、第２画像全体の露出評価値と、第１画像に対応する領域の露出評価値の差と比の少なくともいずれかを取得することで、両者を比較することができる。

視認性判定部１０５は、画像処理部１０４から入力された露出評価値の比較結果に基づいて、第１画像に対応する領域の視認性が低いか否かを判定し、判定結果を撮像制御部１０２へ出力する。露出評価値の比較結果（差または比）が所定の値以上であれば、視認性が低い判定し、所定の値未満であれば、視認性が高いと判定する。

時間計測部１０６は、撮像制御部１０２が第１撮像部１１０の撮像動作状態を開始させたタイミングを起点として、第１撮像部１１０の撮像動作状態の継続時間を計測する。また、時間計測部１０６は計測結果である撮像動作状態の継続時間が所定の時間以上になったことを検出した場合、撮像動作継続時間経過信号を撮像制御部１０２に出力する。

次に、本実施形態の撮像装置１００の動作制御について説明する。図２は本実施形態における撮像装置１００のライブビュー中のフレーミング支援制御動作の例を示すフローチャートである。図２に示す各処理は、システム制御部１０１が行う。また、撮像指示が入力されると、各工程を停止し、第１撮像素子による本撮像動作を開始する。本撮像動作では、ＡＥ処理により決定された露光時間で撮像し、得られた画像信号を記録媒体へ記録する処理を行う。撮像指示は、不図示のシャッタボタンの押下によりユーザから入力されてもよいし、自動撮影モードの際などにシステム制御部１０１が自動で撮影指示を発生させ、撮像制御部１０２へ入力してもよい。

図２に示すフローチャートは、撮像装置１００の電源が投入され、撮像装置１００を撮影可能状態にするための準備処理が開始されることによって実行される。

まず、撮像制御部１０２は第１撮像光学系１１１及び第２撮像光学系１２１を各々初期状態に設定する（Ｓ２００）。具体的には、第１、第２撮像光学系１１１、１２１を構成するレンズの位置を初期位置に制御する。

次に、撮像制御部１０２は第２撮像部１２０の第２撮像素子１２２に対して所定の電源やクロック等の制御信号を出力して、第２撮像素子１２２に撮像動作を開始させる（Ｓ２０１）。

第１画像領域決定部１０３は、第１撮像光学系１１１と、第２撮像光学系１２１とのそれぞれの焦点距離に関する情報に基づいて第２画像信号に対応する第２画像中の、第１画像に対応する領域の位置とサイズを決定する（Ｓ２０２）。

画像処理部１０４は、撮像制御部１０２から入力された第２画像信号に、第１画像領域決定部１０３から入力された第１画像に対応する領域の位置とサイズを示す枠７０１を合成した表示用映像信号を生成し、表示制御部１０７に出力する。表示制御部１０７は表示用映像信号を表示部１４０へ出力し、モニタ表示用信号に基づく画像を表示部１４０に表示させる（Ｓ２０３）。

画像処理部１０４は、第２撮像部１２０が撮像した第２画像全体を評価領域とした露出評価値を算出する（Ｓ２０４）。尚、第２画像全体を評価領域とするとは、第２画像全体の画像信号を全て用いることに限定されず、画像信号を間引いて用いたり、一部のみを用いたりしてもよい。ただし、少なくとも、第２画像のうち、第１画像に対応する領域以外の領域の少なくとも一部を用いるものとする。

次に画像処理部１０４は第２画像中の、第１画像に対応する領域を評価領域とした露出評価値を算出する（Ｓ２０５）。

次に画像処理部１０４は、第２画像の露出評価値と、第２画像の中の第１画像に対応する領域の露出評価値の差分をとり、結果を視認性判定部１０５へ出力する（Ｓ２０６）。尚、露出評価値の比較結果として比を用いる場合は、比をとって出力する。

次に、視認性判定部１０５は、画像処理部１０４から入力された露出評価値の差が所定値よりも大きいか否か（すなわち第１画像に対応する領域の露出が適正レベルか否か）について判定する（Ｓ２０７）。露出評価値の差が所定値よりも大きいと判定された場合（Ｓ２０７にてＹｅｓ）、第２画像全体の露出が適正レベルであっても、第１画像に対応する領域の露出が適正レベルでない可能性が高いため、ステップＳ２０８へ遷移する。

ステップＳ２０８に遷移すると、撮像制御部１０２は第１撮像部１１０の第１撮像素子１１２に対して必要な電源やクロック等の制御信号を供給して、第１画像信号の撮像動作を開始させる。さらに、時間計測部に対して、第１画像信号の撮影動作を開始したことを通知する（Ｓ２０８）。

画像処理部１０４は、例えば図７（ｂ）のように、第２画像の一部に第１画像を合成し、ユーザーがフレーミング時に参照可能な表示用映像信号を生成し、表示制御部１０７に出力する。表示制御部１０７は、表示用映像信号に基づく画像を表示部１４０に表示させる（Ｓ２０９）。ステップＳ２０８とＳ２０９とにより、第１撮像部１１０により第１画像に適した露出で第１画像信号が取得され、取得された第１画像信号を第２の画像信号に合成した画像が表示される。これにより、第２画像における第１画像に対応する領域の露出が適正レベルでない場合でも、視認性が高い第１画像と第２画像とを表示することができる。

撮像動作継続時間経過信号を時間計測部１０６から撮像制御部１０２へ入力された場合（Ｓ２１０でＹｅｓ）、処理はステップＳ２０７へと遷移し、視認性が低い状態であるか否かを再度判定する。

一方、画像処理部１０４から出力された露出評価値の差が所定値よりも小さいと判定された場合（Ｓ２０７でＮｏ）、処理はステップＳ２１１へ遷移し、第１撮像部１１０の撮像動作を停止または停止状態を継続する。

第１撮像部１１０が撮像動作を行っていない場合（Ｓ２１１でＮｏ）、処理はステップＳ２０７へ遷移し、視認性が低い状態であるか否かを再度判定する。ステップＳ２０７、Ｓ２１１がともにＮｏである場合は、どちらかがＹｅｓになるか、撮影指示が入力されるまでこの判定を繰り返す。

第１撮像部１１０が撮像動作を行っている場合（Ｓ２１１でＹｅｓ）、撮像制御部１０２は第１撮像部１１０の撮像素子１１２に対して必要な電源やクロック等の制御信号の供給を停止して撮像動作を停止させる（Ｓ２１２）。これにより、第１撮像部１１０が、撮像動作状態が、撮像状態から撮像停止状態へ切り替えられる。このとき、撮像制御部１０２は時間計測部１０６に対して、第１撮像部の撮像動作を停止したことを通知する。

画像処理部１０４は、撮像制御部１０２から入力された第２画像７００に第１画像に対応する領域の輪郭を示す枠７０１を合成した表示用映像信号を生成し、表示制御部１０７に出力する。表示制御部１０７は、表示用映像信号に基づく画像を表示部１４０に表示させる（Ｓ２１３）。

このように、本実施形態では、フレーミング中は積極的に第１撮像素子１１２の撮像動作を停止させる。そして、より広角を撮影する第２撮像部１２０が撮像した第２画像と撮影時に記録される第１画像に対応する領域の輪郭を示す枠を表示部１４０にライブビュー表示するようにしている。

本実施例によれば、第１撮像光学系１１１のズーム倍率を高倍に設定した撮影時にも、表示部１４０のライブビュー表示上から主被写体がフレームアウトしてしまう頻度が抑制される。さらに、第１画像に対応する領域の視認性に関わらず複数の撮像部を同時に動作させる従来の構成と比較して、第１撮像部１１０の撮像動作を停止させた分消費電力を削減することが出来る。

さらにまた、ライブビュー表示上の第１画像に対応する領域の視認性の低下を自動的に判定して、視認性が低いと判定した場合、自動的に第１撮像部１１０の撮像動作を開始してライブビュー表示に追加するようにしている。

このようにすることで第１画像に対応する領域内にある被写体の視認性の低下による、フレーミング操作性の低下を軽減することができるため、ユーザーのフレーミング支援を改善している。

［第２の実施の形態］
次に、本発明の第２の実施形態による撮像装置の一例について説明する。第１の実施形態では、撮像装置１００は電源が投入され、撮像準備処理が開始されるとフレーミング支援動作を開始する例について説明をした。本実施形態では、ユーザーが手動でフレーミング支援機能のオン／オフ状態を切り替えるためのフレーミング支援指示部１５０を備え、撮像制御部１０２がこのフレーミング支援指示部１５０の指示に従って支援動作を行う形態について説明をする。

本実施形態の撮像装置１００の構成は、第１の実施形態と同様であるため説明を省略する。図３は、本実施形態を説明するためのフローチャートである。なお、図３に示すフローチャートにおいて、図２に示すステップと同一の処理については同一の参照符号を付して説明を省略する。

ステップＳ２００の処理を行った後、撮像制御部１０２は第１撮像部１１０の第１撮像素子１１２に対して所定の電源やクロック等の制御信号を出力して第１画像撮像動作を開始させる（Ｓ３０１）。

次に画像処理部１０４は、第１画像信号に基づいて、ユーザーがフレーミング時に参照する表示用映像信号を生成し、表示制御部１０７を介して表示部１４０に出力する（Ｓ３０２）。この際、表示用映像信号には第２画像信号は合成されておらず、撮像装置１００は、いわゆる通常のライブビュー表示を行う撮像準備状態となる。

次に撮像制御部１０２は、フレーミング支援指示部１５０によって、フレーミング支援機能がオン状態に設定されているか否かについて判定する（Ｓ３０３）。フレーミング支援指示部１５０によって、フレーミング支援機能がオフ状態に設定されている場合（Ｓ３０３でＮｏ）、ステップＳ３０２へ戻り、フレーミング支援機能がオン状態に設定されるまで、第１画像信号に基づくライブビュー表示を続ける。一方、フレーミング支援指示部１５０によって、フレーミング支援機能がオン状態に設定されている場合（Ｓ３０３でＹｅｓ）、ステップＳ３０４へ遷移する。

撮像制御部１０２は第１撮像部１１０の撮像素子１１２に対して必要な電源やクロック等の制御信号の供給を停止して撮像動作を停止させる（Ｓ３０４）。第１撮像撮像部による撮像動作を停止させると、ステップＳ２０１へ遷移し、第１実施形態のステップＳ２０１と同様の処理を行う。尚、ステップＳ３０４とステップＳ２０１との順番は逆でもよい。

ステップＳ２０１以降の処理は、第１の実施形態と基本的に同じである。しかしながら、ステップＳ２１０、Ｓ２１１、Ｓ２１３から再度評価値の差を判定するステップ（Ｓ２０７）に遷移する前に、フレーミング支援機能がオン状態に設定されているか否かについて判定する点（Ｓ３０５）で異なる。

フレーミング支援指示部１５０によって、フレーミング支援機能がオフ状態に設定されている場合（Ｓ３０５でＹｅｓ）、処理はステップＳ３０６へ遷移し、撮像制御部１０３は第２撮像部１２０の撮像動作を停止させる（Ｓ３０６）。一方、フレーミング支援指示部１５０によって、フレーミング支援機能がオン状態に設定されている場合（Ｓ３０５でＮｏ）、処理はステップＳ２０７へ遷移する。

ステップＳ３０６で第２撮像部１２０の撮像動作を停止させると、撮像制御部１０２は第１撮像部１１０の撮像動作を開始させて（Ｓ３０７）、処理はステップＳ３０２へ遷移する。

このように構成すると、高倍ズーム撮影時であっても撮像装置１００を三脚等に固定して、静止した被写体を望遠撮影するようなフレームアウトの懸念が少ない場面で、ユーザーの選択でフレーミング支援機能を停止させることが出来る。

［第３の実施の形態］
次に、本発明の第３の実施形態による撮像装置の一例について説明する。第１の実施形態では、第２撮像光学系１２１は、第１撮像光学系１１１の広角端よりも短い焦点距離をもつ撮像光学系で構成した場合のフレーミング支援動作例について説明をした。一方、本実施形態では、第２撮像光学系１２１が、第１撮像光学系１１１の広角端と望遠端の中間の焦点距離を持つ場合について説明をする。本実施形態では、第一撮像光学系１１１が第２撮像光学系１２１よりも狭い画角を撮影する場合に、フレーミング支援制御を行う。

本実施形態の撮像装置１００の構成は、第１の実施形態と同様であるため説明を省略する。図４は、本実施形態におけるフレーミング支援制御動作を説明するためのフローチャートである。

なお、図４に示すフローチャートにおいて、図２及び図３に示すステップと同一の処理については同一の参照符号を付して説明を省略する。

実施形態２と同様に、ステップＳ３０２迄の処理を行う。

次に撮像制御部１０２は、第１撮像光学系の現在の焦点距離に関する情報と、第２撮像光学系１２１の焦点距離に関する情報から、第１撮像部１１０の撮像する第１画角が第２撮像部１２０の撮像する第２画角より狭いか否かについて判定する（Ｓ４０１）。

ズーム操作部１３０によるズーム倍率変更の指示によって、第１画角が第２撮像部１２０の撮像する第２画角より広い画角に設定されている場合（Ｓ４０１でＮｏ）、処理はステップＳ３０２へ遷移する。

一方、ズーム操作部１３０によって、第１画角が第２撮像部１２０の撮像する第２画角より狭い画角に設定されている場合（Ｓ４０１でＹｅｓ）、処理はステップＳ３０４へ遷移する。

本実施形態における、ステップＳ２０１以降フレーミング支援動作は、第１の実施形態におけるステップＳ２０１以降のフレーミング支援動作と基本的に同一である。しかしながら、ステップＳ２１０、Ｓ２１１、Ｓ２１３から再度評価値の差が所定値以降か否かを判定するステップ（Ｓ２０７）に遷移する前に、第１画角が第２画角より狭いか否かについて判定する（Ｓ４０２）点で異なる。

ズーム操作部１３０により第１画角の方が第２画角より広い画角に設定されている場合（Ｓ４０２でＹｅｓ）、処理はステップＳ３０６へ遷移し、撮像制御部１０３は第２撮像部１２０の撮像動作を停止させる（Ｓ３０６）。

一方、ズーム操作部１３０により第１画角の方が第２画角より狭い画角に設定されている場合（Ｓ４０２でＮｏ）、処理はステップＳ２０７へ遷移する。

ステップＳ３０６で第２撮像部１２０の撮像動作を停止させると、撮像制御部１０２は第１撮像部１１０の撮像動作を開始させて（Ｓ３０７）、処理はＳ３０２へ遷移する。

このように構成すると、自動的に第１撮像光学系１１１のズーム倍率をある程度高倍（具体的には第２撮像光学系１２１よりも狭角）に設定した高倍ズーム撮影時のみ、フレーミング支援機能を有効にすることが出来る。尚、本実施形態では、第１画角が第２画角よりも広いとフレーミング支援機能を有効にしたが、第１画角が第２画角よりも所定値以上広い場合にフレーミング支援機能を有効にする構成としてもよい。例えば、第１画角が第２画角の０．５倍以下のときにフレーミング支援機能を有効にする構成としてもよい。

［第４の実施の形態］
次に、本発明の第４の実施形態による撮像装置の一例について説明する。

なお、本実施形態の撮像装置１００の構成は第１の実施形態の撮像装置１００と同様であるため説明を省略する。

第１撮像光学系１１１のズーム倍率が所定の倍率以上に設定された場合、第２撮像光学系１２１の撮像画角である第２画角と第１画角の差が大きくなり、ライブビュー表示上の第１画角を示す枠が小さくなるため、主被写体を視認しにくくなる。本の実施形態では、このような場合のフレーミング支援について説明する。

図５は、本実施形態におけるフレーミング支援制御動作の例を説明するためのフローチャートである。なお、図５に示すフローチャートにおいて、図２に示すステップと同一の処理については同一の参照符号を付して説明を省略する。

図２で説明したように、ステップＳ２００〜Ｓ２０３の処理を行った後、画像処理部１０４は、第２画像の画角情報と、第２画像の中の第１画角情報とから画角差を算出して、視認性判定部１０５へ出力する（Ｓ５０１）。尚、画角差の代わりに、画角の比を用いることもできる。また、画角の比や差に対応する値であれば、画角差の代わりに用いることもできる。例えば、焦点距離の比や差、第１撮像光学系１１１の広角端を基準としたズーム倍率の比や差である。

次に、視認性判定部１０５は、画像処理部１０４で算出された画角差が所定値よりも大きいか否か（すなわち第１画像領域内の被写体が視認し難いか否か）について判定する（Ｓ５０２）。

画角差が所定値以上であると（ステップＳ５０２でＹｅｓ）、撮像制御部１０２は第１撮像部１１０の撮像素子１１２に第１画像撮影動作を開始させるとともに、動作継続時間計測部に対して、第１画像撮影動作を開始したことを通知する（Ｓ２０８）。一方、画像処理部１０４で算出された画角差が所定値よりも小さいと判定された場合（Ｓ５０２でＮｏ）、処理はステップＳ２１１へ遷移する。

このように、視認性判定部１０５で、第２画角と第１画角との画角差が所定値以上の場合に、視認性が低下したと判定して自動的に第１撮像部１１０の撮像動作を開始して、第１画像をライブビュー表示画像に追加する。このようにすることで第１画像領域内にある被写体の視認性の低下による、フレーミング操作性の低下を軽減して、ユーザーのフレーミング支援をすることができる。

［第５の実施の形態］
次に、本発明の第５の実施形態による撮像装置の一例について説明する。

なお、本実施形態の撮像装置１００の構成は第１の実施形態の撮像装置１００と同様であるため、説明を省略する。本実施形態では、ユーザーがタッチパネル等の操作部材を用いて、主被写体（人物等の顔や物体）を指定する操作を行い、画像処理部１０４が第１画像領域を対象として被写体の認識処理を行い、フレーミング支援を行う場合の、フレーミング支援について説明する。

図６は、本実施形態のフレーミング支援制御動作例を説明するためのフローチャートである。なお、図６に示すフローチャートにおいて、図２に示すステップと同１の処理については同１の参照符号を付して説明を省略する。

図２で説明したよう、ステップＳ２００〜Ｓ２０３の処理を行った後、撮像装置１００はユーザーからのタッチパネル等の操作部材（不図示）による、主被写体指定操作を受け付ける（Ｓ６０１）。

画像処理部１０４は、ステップＳ２０３で生成した表示用映像信号に、ステップＳ６０１で指定された主被写体を囲む枠（被写体追尾枠と呼ぶ）をさらに合成した表示用映像信号を生成し、表示制御部１０７を介して表示部１４０に出力する（Ｓ６０２）。

次に、画像処理部１０４は、第２画像の中の第１画像領域に対して、主被写体を検出するための主被写体認識処理を実行して、認識の可否を視認性判定部１０５へ出力する（Ｓ６０３）。

次に、視認性判定部１０５は、画像処理部１０４から入力された認識の可否の結果に基づいて、第２画像における主被写体の視認性について判定する（Ｓ６０４）。ステップＳ６０３で主被写体が認識出来なかった場合（ステップＳ６０４でＹｅｓ）、撮像制御部１０２は第１撮像素子１１２に第１画像の撮影動作を開始させ、動作継続時間計測部に対して、第１画像撮影動作を開始したことを通知する（Ｓ２０８）。一方、ステップＳ６０３で主被写体が認識出来なかった場合（ステップＳ６０４でＮｏ）、処理はステップＳ２１１へ遷移し、第１撮像部１１０の撮像素子１１２が撮影動作中であれば撮影動作を停止させる（Ｓ２１２）。

ステップＳ２０８で第１撮像素子１１２に第１画像の撮影動作を開始させると、画像処理部１０４は、第１画像に対して、主被写体を検出するための主被写体認識処理を実行して認識の可否を第視認性判定部１０５へ出力する（Ｓ６０５）。

次に、視認性判定部１０５は、画像処理部１０４から入力された認識の可否の結果に基づいて第１画像における主被写体の視認性について判定する（Ｓ６０５）。

主被写体が画像処理部１０４で認識出来なかった場合（ステップＳ６０５でＮｏ）、撮像制御部１０２は第１撮像素子１１２の第１画像撮影動作を停止させる（Ｓ６０７）。

その後、ステップＳ６０２で生成した表示用映像信号から、被写体追尾枠を消去した表示用映像信号を生成し、表示部１４０に出力し、被写体の追尾枠を消去し（Ｓ６０８）、Ｓ６０１へ遷移してユーザーからの主被写体指定操作を待機する（Ｓ６０８）。

一方、主被写体が画像処理部１０４で認識出来た場合（ステップＳ６０５でＹｅｓ）、処理はステップＳ６０６へ遷移してＳ６０２と同様の処理で被写体追尾枠を表示し、ステップＳ２０９へ遷移し、第２画像の一部に第１画像を合成した画像を表示する。ステップＳ２０９、２１０は第１の実施形態と同様である。このとき、表示する画像は、第２画像に第１画像を合成した画像に追尾枠が追加された画像であり、図７（ｂ）の第１画像領域の輪郭を示す枠７０１の代わりに、追尾枠が合成された画像である。尚、図６のフローでは、第１撮像部による撮像動作の継続時間が所定時間以上になるまで、新たな被写体認識を行わないが、第２画像では認識が不可能であっても、第１画像では認識が可能な場合、第１画像に対する被写体認識処理を周期的に行ってもよい。周期的に行われる被写体認識処理の結果に基づいて、主被写体に対してＡＦ／ＡＥ処理を周期的に行うことで、撮影指示が入力された後で新たにＡＦ／ＡＥ処理を行なわずに本撮像を行うことができる。

本実施形態では、このように、視認性判定部１０５で、第２画像中における第１画像領域内にてユーザーが指定した主被写体が認識出来なくなった場合に視認性が低下したと判定する。そして、自動的に第１撮像部１１０の撮像動作を開始して、実際の第１画像を対象として主被写体認識処理を実行する。これにより、第１画角領域内にある被写体の視認性の低下による、フレーミング操作性の低下を軽減して、ユーザーのフレーミング支援をすることができる。

なお、本実施形態では、第１画像領域内にてユーザーが指定した主被写体が認識出来なくなった場合に、視認性が低下したと判定して第１撮像部１１０の動作を開始する例について説明をしたが、本発明はこれに限定されない。

例えば、ユーザーが指定した人物の顔を撮影したい場合には、第１画像領域中に存在する顔領域を、公知のアルゴリズムにより検出する処理を行う。この時予め用意した顔の特徴量と、第１画像領域上の分割領域から抽出した特徴量とを比較しながら、特徴量の相関値が所定の閾値を超える領域を顔領域であると認識する。この特徴量の相関値を指標として、第１画像領域内で得られる相関値が所定の閾値以下に低下した場合に、第１画像領域の視認性が低下したと判定するようにしてもよい。このようにすることで、第１画像領域内において、指定された人物の顔を完全に見失う前に、第１画像による顔検出処理が実行される。そのため、ユーザーへの被写体追尾枠の提示が消去され、フレーミング操作性が低下する確率を軽減することが出来る。

［変形例］
上述の第１〜５の実施形態において、第１及び第２の撮像素子は、第１及び第２の画像信号としてデジタル映像信号を出力する。しかしながら、第１及び第２の撮像素子はアナログ信号を出力し、後段、例えばシステム制御部１０１内で入力されたアナログ信号をデジタル信号に変換してもよい。

また、上述の第１〜５の実施形態において、第２の撮像光学系１２１の焦点距離は固定されているものとした。しかしながら、第１の撮像光学系１１１よりも第２の撮像光学系１２１の方が短い焦点距離をとれば、第２撮像部１２０がフレーミングを支援することができる。よって、第２の撮像の撮像光学系は、第１の撮像光学系の望遠端よりも短い焦点距離をとることができれば、焦点距離が可変であってもよい。

また、第１〜第５の実施形態では、露出評価値、画角差、被写体認識の可否、のいずれかに基づいて第１画像に対応する領域の視認性を判定した。しかしながら、第１画像領域内の視認性を判定できれば、視認性の判定方法はこれらに限定されない。

例えば、撮像装置１００の振れを検出する振れ検出部と、第１撮像部１１０により撮影される第１画像の振れを補正する補正部とを備え、検出された振れ量が所定値以上であった場合に、第１画像領域の視認性が低下したと判定するようにしてもよい。補正部は、第１撮像部１１０に備えられており、第１撮像光学系１１１を構成する光学素子と第１撮像素子１１２とのうち、少なくともいずれかを第１撮像光学系１１１の光軸に垂直な平面において移動させるように制御することで、振れを補正する。このように構成することで、夜景などの暗いシーンで、カメラを手持ち撮影した場合などの、手振れによる第１画像領域内にある被写体の視認性の低下による、フレーミング操作性の低下を軽減して、ユーザーのフレーミング支援をすることが出来る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。また、上述の実施形態は適宜組み合わせて実施をすることができる。

１００ 撮像装置
１０２ 撮像制御部
１０３ 第１画角検出部
１０４ 画像処理部
１０５ 視認性判定部
１０６ 時間計測部
１１０ 第１撮像部
１１１ 第１撮像光学系
１２０ 第２撮像部
１２１ 第２撮像光学系
１３０ ズーム操作部
１４０ 表示部
１５０ フレーミング支援指示部

Claims (18)

1. 第１の撮像光学系からの光に基づいて第１の画像信号を出力する第１の撮像素子と、第２の撮像光学系からの光に基づいて第２の画像信号を出力する第２の撮像素子と、
   前記第１の画像信号に基づく第１の画像と、前記第２の画像信号に基づく第２の画像との表示を制御する表示制御部と、
   前記第１の画像の画角である第１の画角よりも広角の第２の画角にて取得された前記第２の画像信号における、前記第１の画像に対応する領域の視認性を判定する判定手段と、
   前記判定手段により、前記第１の画像に対応する領域の視認性が低いと判定されると、前記第１の撮像素子に撮像動作を実行させる撮像制御手段と、
   前記第１の撮像素子が撮像準備中に前記撮像動作を実行すると、前記第１の画像信号と前記第２の画像信号とを合成して第３の画像信号を生成する画像処理手段と、を備え、
   前記表示制御部は、前記第３の画像信号に基づく画像を表示部に表示させるように制御することを特徴とする撮像装置。
2. 前記判定手段は、前記第１の画像に対応する領域の露出評価値と、前記第２の画像の露出評価値との、比較結果に基づいて、前記第１の画像に対応する領域の視認性を判定することを特徴とする請求項１に記載の撮像装置。
3. 前記露出評価値は、前記第１の画像に対応する領域と前記第２の画像のそれぞれにおける、階調情報が失われた画素に関する情報と、画像の輝度に関する情報との少なくともいずれかであることを特徴とする請求項２に記載の撮像装置。
4. 前記比較結果は、前記第１の画像に対応する領域の露出評価値と、前記第２の画像の露出評価値との差と比の少なくともいずれかであることを特徴とする請求項２または３に記載の撮像装置。
5. 前記判定手段は、前記第１の画像に対応する領域の露出評価値と、前記第２の画像の露出評価値との差が所定値以上のときに前記第１の画像に対応する領域の視認性が低いと判定することを特徴とする請求項４に記載の撮像装置。
6. 前記判定手段は、前記第１の画像に対応する領域の露出評価値と、前記第２の画像の露出評価値との比が所定値以上のときに前記第１の画像に対応する領域の視認性が低いと判定することを特徴とする請求項４に記載の撮像装置。
7. 前記判定手段は、前記第１の画角と前記第２の画角との差と比の少なくともいずれかに基づいて前記第１の画像に対応する領域の視認性を判定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記判定手段は、前記第１の画角と前記第２の画角との差が所定値以上であるとき、関第１の画像に対応する領域の視認性が低いと判定することを特徴とする請求項７に記載の撮像装置。
9. 前記判定手段は、前記第１の画角と前記第２の画角との比が所定値以上であるとき、関第１の画像に対応する領域の視認性が低いと判定することを特徴とする請求項７に記載の撮像装置。
10. 前記画像処理手段は、前記第１の画角に対応する領域を対象とした被写体の認識処理を行い、
    前記判定手段は、前記画像処理手段による前記認識処理の結果に基づいて、前記第１の画像に対応する領域の視認性を判定することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記撮像装置の振れを検出する振れ検出部と、
    前記振れによる第１の画像の振れを補正する補正部と、を備え、
    前記判定部は、前記振れ検出部が検出した振れ量が所定値以上であった場合に、前記第１の画像に対応する領域の視認性が低いと判定することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記補正部は、前記第１の撮像光学系に含まれる光学素子または、第１の撮像素子を、前記第１の撮像光学系の光軸に垂直な平面において移動させるように制御することを特徴とする請求項１１に記載の撮像装置。
13. 前記撮像制御部が、前記第１の撮像素子の撮像動作を開始させたタイミングからの撮像動作の継続時間を計測する時間計測部を備え、前記撮像制御部は前記動作継続時間が所定の時間以上になるまで前記撮像動作を継続させるように制御することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記第１の画角に関する情報と前記第２の画角に関する情報とに基づいて、前記第２の画角にて取得された前記第２の画像信号における前記第１の画像に対応する領域を決定する領域決定手段を備えることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記第１の画角に関する情報は、前記第１の画角の情報、前記第１の画角に対応する前記第１の撮像光学系の焦点距離の情報、前記第１の画像のズーム倍率の情報、第１の撮像光学系のズームレンズの位置に関する情報の少なくともいずれかであり、
    前記第２の画角に関する情報は、前記第２の画角の情報、前記第２の画角に対応する前記第２の撮像光学系の焦点距離の情報、前記第２の画像のズーム倍率の情報、前記第２の撮像光学系のズームレンズの位置に関する情報の少なくともいずれかであることを特徴とする請求項１４に記載の撮像装置。
16. 前記領域決定手段は、
    前記第１の画角に関する情報と前記第２の画角に関する情報と前記第１の撮像光学系と前記第２の撮像光学系との相対位置に関する情報とに基づいて前記第２の画角にて取得された前記第２の画像信号における前記第１の画像に対応する領域を決定することを特徴とする請求項１４又は１５に記載の撮像装置。
17. 前記第１の撮像光学系の焦点距離を変更する操作手段を備えることを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
18. 第１の撮像光学系からの光に基づいて第１の画像信号を出力する第１の撮像素子による撮像動作を実行する第１の撮像工程と、
    第２の撮像光学系からの光に基づいて第２の画像信号を出力する第２の撮像素子による撮像動作を実行する第２の撮像工程と、
    前記第１の画像信号に基づく第１の画像と、前記第２の画像信号に基づく第２の画像との表示を制御する表示制御工程と、
    前記第１の画像の画角である第１の画角よりも広角の第２の画角にて取得された前記第２の画像信号における、前記第１の画像に対応する領域の視認性を判定する判定工程と、
    前記判定工程により、前記第１の画像に対応する領域の視認性が低いと判定されると、前記第１の撮像素子に撮像動作を実行させる撮像制御手段と、
    撮像準備中に前記第１の撮像素子が前記撮像動作を実行すると、前記第１の画像信号と前記第２の画像信号とを合成して第３の画像信号を生成する画像処理工程と、を備え、
    前記表示制御工程において、前記第３の画像信号に基づく画像を表示部に表示させるように制御することを特徴とする撮像装置の制御方法。

Images