JP2021087097A - 撮像装置及び制御方法 - Google Patents

Abstract

【課題】 流し撮り撮影の際に被写体振れが生じたり意図通りの撮影構図とならない失敗撮影を軽減できるようにする。【解決手段】 画像信号を取得する撮像手段と、撮影構図を決定する構図決定手段と、前記撮像手段により取得された画像信号に基づいて被写体を検出する被写体検出手段と、前記構図決定手段により決定された撮影構図と前記被写体検出手段により検出された被写体の位置情報とに基づいて構図ズレ量を算出する算出手段と、前記算出手段により算出された構図ズレ量を表す指標を、前記撮像手段により取得された画像信号に基づく撮像画像に重畳して表示する表示手段と、前記構図ズレ量に基づいて像ブレを補正するブレ補正手段と、を有する。【選択図】 図７

Description

本発明は撮像装置に関し、特に被写体の像ブレを補正する技術に関する。

撮影技法の一つとして知られる流し撮りは、被写体の躍動感を表現するため、撮像素子上で一定の振れ量（以下、背景流し量という）が得られるようにシャッタ速度を設定し、被写体の動きに合わせてカメラを追従させながら撮影する技法である。

流し撮りが一般的に難しい撮影技法とされる理由の一つに、被写体の動きに対して撮影方向のズレが生じないようにカメラを追従させることの難しさが挙げられる。被写体の動きに対して撮影方向にズレが生じると、そのズレが被写体振れとなって撮影画像に現れる。

また、難しい撮影技法とされる別の理由として、フレーミングの難しさが挙げられる。例えばレーシングカー等の高速で移動する被写体の流し撮りなどにおいては、ユーザの意図通りの構図で撮影するためのフレーミング技術が必要となる。

流し撮りを容易に行えるように、特許文献１では、カメラのパンニング量と被写体の動きベクトルに基づいて２つの指標を表示することで、ユーザがパンニング速度を知覚および調節しやすいようにする技術が開示されている。

特開２０１６−２２００２４号公報

特許文献１に開示された技術は、ユーザが被写体の移動量とカメラのパンニング量を視認しやすくすることでカメラを追従させながら行う撮影を容易にしているが、フレーミングについてなんら考慮されておらずフレーミングの難しさを解消するものではない。

そこで、本発明は、流し撮り撮影の際に被写体振れが生じたり意図通りの撮影構図とならない失敗撮影を軽減することができる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明に係る撮像装置は、画像信号を取得する撮像手段と、撮影構図を決定する構図決定手段と、前記撮像手段により取得された画像信号に基づいて被写体を検出する被写体検出手段と、前記構図決定手段により決定された撮影構図と前記被写体検出手段により検出された被写体の位置情報とに基づいて構図ズレ量を算出する算出手段と、前記算出手段により算出された構図ズレ量を表す指標を、前記撮像手段により取得された画像信号に基づく撮像画像に重畳して表示する表示手段と、前記構図ズレ量に基づいて像ブレを補正するブレ補正手段と、を有することを特徴とする。

本発明によれば、流し撮り撮影の際に被写体振れが生じたり意図通りの撮影構図とならない失敗撮影を軽減することができる。

本発明に係る第１の実施形態である撮像装置としてのデジタルカメラの構成の概略を示す図である。 本発明に係る第１の実施形態における像ブレ補正機能及び流し撮りアシスト機能に関する構成図である。 流し撮り時におけるベクトル検出を説明するための図である。 検出した動きベクトルをヒストグラム（度数分布）演算した結果を示す図である。 本発明に係る第１の実施形態における構図情報を説明するための図である。 本発明に係る第１の実施形態における構図ズレ量を説明するための図である。 本発明に係る第１の実施形態における流し撮りアシスト制御のフローチャートである。 本発明に係る第１の実施形態におけるブレ補正量算出のフローチャートである。 本発明に係る第１の実施形態における構図ズレ量を表す指標の変形例を示す図である。 本発明に係る第２の実施形態における撮像装置としてのデジタルカメラの構成の概略を示す図である。 本発明に係る第２の実施形態におけるメイン画角とサブ画角の表示例を示す図である。 本発明に係る第２の実施形態における構図ズレ量を表す指標の変形例を示す図である。

以下、添付図面を参照して、本発明に係る実施形態を説明する。

（第１の実施形態）
図１は本発明に係る第１の実施形態である撮像装置としてのデジタルカメラの構成の概略を示す図である。

交換レンズ１００は、撮影レンズユニット１０１を備える。撮影レンズユニット１０１は、主撮像光学系１０２、ズームレンズ１０３、およびシフトレンズ１０４を備える。主撮像光学系１０２は絞り、固定レンズ、フォーカスレンズ等を備える。ズームレンズ１０３は焦点距離を変更するために光軸方向に移動可能なレンズである。シフトレンズ１０４は像ブレ補正のために光軸と直交する方向に移動可能なレンズであり、像ブレを補正する補正レンズの役目をもつ。

交換レンズ１００は位置センサ１０５、ズームエンコーダ１０６、角速度センサ１０９を備える。位置センサ１０５は、シフトレンズ１０４の位置を検出するセンサであって、例えばシフトレンズ１０４に備えられた磁石の磁界を検出するホール素子であり、シフトレンズ１０４の移動による磁界の変化に基づいて位置を検出する。ズームエンコーダ１０６はズームレンズ１０３の位置を検出する。角速度センサ１０９は、撮像装置の振れを検出する振れ検出手段であり、検出した角速度信号を振れ検出信号として出力する。

レンズ制御部１１０は、レンズシステム制御用のマイクロコンピュータを備える。レンズ制御部１１０は、ドライバ１０７を介してシフトレンズ１０４の駆動制御を行う。アンプ１０８は、位置センサ１０５の出力を増幅し、シフトレンズ１０４の位置検出信号をレンズ制御部１１０に出力する。

交換レンズ１００はマウント接点部１１３を有し、カメラ筐体部１１５のマウント接点部１１４と接続される。

レンズ制御部１１０は、像ブレ補正用の制御を行う像ブレ補正制御部１１１と、流し撮りアシスト用の制御を行う流し撮り制御部１１２を備える。レンズ制御部１１０は、その他にもフォーカスレンズを用いた焦点調節制御や絞りを用いた絞り制御等も行う。

像ブレ補正制御部１１１による像ブレ補正では、例えばヨー方向とピッチ方向といった直交する２軸に関して振れの検出および像ブレ補正が行われるが、２軸に関して同じ構成であるため共通の説明とする。

カメラ筐体部１１５は、撮像素子１１６の前方に配置され撮像素子１１６の露光時間を制御するためのシャッタ１３４を備える。撮像素子１１６は、例えばＣＭＯＳ型イメージセンサ等であり、撮像光学系を通して結像される被写体像を光電変換により電気信号として出力する。アナログ信号処理回路（ＡＦＥ）１１７は、撮像素子１１６から出力される画像信号を処理してカメラ信号処理回路１１８に出力する。

カメラ信号処理回路１１８は、構図設定部１５０、被写体検出部１５１、構図ズレ検出部１１９、ＣＰＵ１２０、画像処理部１２２、動きベクトル検出部１２３を備える。

構図設定部１５０は、構図情報をメモリに記憶する。構図情報の詳細は後述する。被写体検出部１５１は、ＡＦＥ１１７から出力された画像信号に含まれる被写体を検出する。

構図ズレ検出部１１９は、メモリに記憶された構図情報および被写体検出部１５１の被写体検出結果に基づいてフレーミングのズレ量を検出する。ＣＰＵ１２０は、撮影された画像信号に対する画像処理や画像処理後の画像表示などの全体的な制御を行う。画像処理部１２２は、各種画像処理部及びバッファメモリ等から構成されており、画像信号に対して、倍率色収差補正、現像処理、ノイズリダクション処理、幾何変形、拡縮といったリサイズなどの処理を行う。その他、画像処理部１２２は、ＡＦＥ１１７から出力された画像信号に対して画素補正、黒レベル補正、シェーディング補正、傷補正などを行う撮像補正部等も備える。

動きベクトル検出部１２３は、ＡＦＥ１１７から出力された撮像時刻が異なる複数の画像信号に基づいて被写体の動きを検出する。また、カメラ信号処理回路１１８は、ＡＦＥ１１７から出力された画像信号を処理して記録用の信号をメモリーカード１３６に出力し、また、表示用の信号を表示部１２８に出力する。

表示部１２８は、液晶ディスプレイや電子ビューファインダーから成り、カメラ信号処理回路１１８から出力された画像信号に対応した画像やメニュー画面などを表示する。

また、静止画撮影の撮影前や、動画撮影時には、撮像素子１１６を用いて取得される画像信号をリアルタイムで処理して表示する。操作手段である操作部１２９は、ユーザにより操作される切り替えスイッチやボタン、タッチパネル等を含み、電源のＯＮ／ＯＦＦ、レリーズのＯＮ等の操作に使用される。ユーザは撮影モード設定時には切り替えスイッチを操作して、流し撮りアシストモードや像ブレ補正モードなどの各種モードを設定可能である。また、表示部１２８および操作部１２９を介して流し撮り撮影における構図設定を行うことが可能である。構図の設定方法については後述する。また、カメラ信号処理回路１１８は、流し撮り撮影を行う際の構図の視認性を向上させるために画角の一部をクロップした画像信号をメモリに記憶する。

タイミングジェネレータ（ＴＧ）１３０は、撮像素子１１６やＡＦＥ１１７の動作タイミングを設定する。カメラ制御部１２４は、カメラシステム制御用のマイクロコンピュータを備え、撮像システムの各部を制御する。カメラ制御部１２４は、シャッタ制御部１２５、被写体角速度算出部１２６、シャッタ速度算出部１２７、構図ズレ角速度算出部１４０を備える。

シャッタ制御部１２５は、ドライバ１３１を介してシャッタ駆動用モータ１３５を制御し、シャッタ１３４の動作を制御する。被写体角速度算出部１２６は、動きベクトル検出部１２３の検出結果や焦点距離に基づいて主被写体の角速度情報を算出する。シャッタ速度算出部１２７は、後述する角速度センサ１３２により検出された振れ検出信号に基づいて流し撮りアシストモードが設定されたときのシャッタ速度を算出する。構図ズレ角速度算出部１４０については後述する。

カメラ筐体部１１５は、交換レンズ１００とのマウント接点部１１４を備える。レンズ制御部１１０とカメラ制御部１２４は、マウント接点部１１３、１１４を介して所定のタイミングで通信を行う。カメラ制御部１２４は、カメラ筐体部１１５の各回路への電源供給および初期設定を行う。また、マウント接点部１１３、１１４を介して交換レンズ１００への電源供給が行われ、レンズ制御部１１０は交換レンズ１００内の初期設定を行う。カメラ制御部１２４とレンズ制御部１１０とが通信可能な状態となった後、両者の間で所定のタイミングで通信が開始される。カメラ制御部１２４からレンズ制御部１１０への通信では、カメラの状態、撮影設定情報等が送信される。またレンズ制御部１１０からカメラ制御部１２４への通信では、交換レンズ１００の焦点距離情報、角速度情報等が送信される。

角速度センサ１３２はカメラ筐体部１１５の振れを検出し、検出した角速度信号を振れ検出信号としてカメラ制御部１２４に出力する。距離取得部１３３は、撮像画像に関連する距離情報を取得してカメラ信号処理回路１１８に出力する。距離情報の取得方法については後述する。

以上のように、角速度センサ１０９、１３２のそれぞれから振れ検出信号が出力される。そこで、本実施形態では、流し撮りアシストモードではない通常モードがユーザにより選択された場合、像ブレ補正制御部１１１は角速度センサ１０９による振れ検出信号を用いてシフトレンズ１０４の駆動制御を行うものとする。

次に、図２を参照して像ブレ補正機能に関して説明する。図２は像ブレ補正機能及び流し撮りアシスト機能に関する構成図である。なお、図１と共通の構成要素については既に使用した符号を付し詳細な説明を省略する。

像ブレ補正制御部１１１は、オフセット除去部２０１を備え、角速度センサ１０９から出力される振れ検出信号に含まれるオフセットを除去する。オフセット除去部２０１は、例えばハイパスフィルタ（ＨＰＦ）等で構成されたフィルタ演算部によって、角速度センサ１０９の出力に含まれている直流成分を除去する。

利得位相算出部２０２は、オフセット除去部２０１の出力を取得し、増幅および位相補償を行う。利得位相算出部２０２は、オフセット成分が除去された振れ検出信号に対して所定のゲインで増幅する増幅器および位相補償フィルタで構成される。

積分器２０３は、利得位相算出部２０２の出力を積分する。積分器２０３は任意の周波数帯域でその特性を変更可能な機能を有しており、シフトレンズ１０４の駆動量を算出するために用いられる。

像ブレ補正制御部１１１は、撮像装置のパンニング（またはチルティング）の判定処理を行う。例えば、角速度センサ１０９の出力である角速度信号の示す角速度が所定の閾値以上の大きさであって、所定時間（判定用の閾値時間）が経過した場合、パンニング動作中であると判定される。この場合、オフセット除去部２０１内のＨＰＦのカットオフ周波数を高周波側に徐々に変更する処理が行われる。

カットオフ周波数を高周波側へ徐々に変更し、像ブレ補正制御の目標信号を徐々に小さくすることで、シフトレンズ１０４を制御範囲内の中心位置に戻す制御が行われる。この制御を行わない場合には、パンニング動作と判定されるほどの大きな振れの角速度信号によって像ブレ補正が行われる。その結果、シフトレンズ１０４が補正限界点（制御範囲の限界位置）に到達し、ユーザには不自然な画角変化が画面上で見えるおそれがある。ＨＰＦのカットオフ周波数を高周波側へ徐々に変更する処理を行うことで、このような現象の発生を防止できる。

像ブレ補正制御判定部（以下、制御判定部という）２０４は、積分器２０３と後述の積分器２２５の各出力を取得し、カメラ情報取得部２２６の出力に応じてシフトレンズ１０４を駆動させるための信号を、以下のように切り替える。

撮影モードが流し撮りアシストモードに設定されている場合 制御判定部２０４は、流し撮り制御部１１２で算出された積分器２２５の出力を選択する。一方、撮影モードが流し撮りアシストモード以外に設定されている場合 制御判定部２０４は、像ブレ補正制御部１１１で算出された積分器２０３の出力を選択する。

なお、流し撮り制御部１１２内の積分器２２５およびカメラ情報取得部２２６については後述する。

位置センサ１０５は、シフトレンズ１０４の位置を検出し、位置検出信号をアンプ１０８が増幅する。アナログ／デジタル変換器（Ａ／Ｄ変換器）２０６は、アンプ１０８が増幅した位置検出信号をデジタル化して減算器２０５に出力する。

減算器２０５は、制御判定部２０４の出力を正入力とし、Ａ／Ｄ変換器２０６の出力を負入力として減算を行い、減算結果である偏差データを制御器２０７へ出力する。

制御器２０７は、減算器２０５の出力する偏差データに対し、所定のゲインで増幅する増幅器、および位相補償フィルタを備える。偏差データは、制御器２０７において増幅器および位相補償フィルタによって処理された後、パルス幅変調部２０８に出力される。

パルス幅変調部２０８は、制御器２０７の出力データを取得し、パルス波のデューティー比を変化させるＰＷＭ波形に変調して、シフトレンズ駆動用のドライバ１０７へ出力する。シフトレンズ１０４の駆動にはボイスコイル型モータが使用され、ドライバ１０７はパルス幅変調部２０８の出力にしたがって、シフトレンズ１０４を撮像光学系の光軸と直交する方向に移動させる。

次に、図１および図２を参照して流し撮りアシストモードにおける流し撮りアシスト機能について説明する。

ユーザが操作部１２９により、流し撮りアシストモードに設定する操作を行うと、カメラ制御部１２４は流し撮りアシストの制御に切り替える。また、その切り替えを示す情報がカメラ制御部１２４からレンズ制御部１１０へと送信され、レンズ制御部１１０は流し撮りアシストの制御に切り替わる。流し撮り制御部１１２が備えるカメラ情報取得部２２６は、通信制御部２１１を介してカメラ制御部１２４から送信されてくる各種のカメラ情報を取得する。カメラ情報は、流し撮りアシストモードの設定情報や構図情報、レリーズ情報等である。カメラ情報取得部２２６は、制御判定部２０４に対して判定処理に必要な情報を出力する。

角速度出力部２２２は、オフセット除去部２０１の出力、つまりオフセット成分が除去された角速度センサ１０９の角速度信号を取得する。そして、角速度出力部２２２は、通信制御部２１１とマウント接点部１１３、１１４を介して、カメラ制御部１２４へ角速度信号を送信する。

被写体角速度取得部２２３は、カメラ筐体部１１５内の被写体角速度算出部１２６で算出される主被写体の角速度情報を、マウント接点部１１３、１１４と通信制御部２１１を介して取得する。

構図ズレ角速度取得部２２８は、カメラ筐体部１１５内の構図ズレ角速度算出部１４０で算出される構図とのズレを示す角速度データを、マウント接点部１１３、１１４と通信制御部２１１を介して取得する。

加算器２２７は、被写体角速度取得部２２３の出力と構図ズレ角速度取得部２２８の出力との加算を行い、合成角速度を減算器２２４の負入力に出力する。

減算器２２４は、オフセット除去部２０１の出力を正入力とし、加算器２２７の出力を負入力として、減算を行う。減算器２２４によって、合成角速度と、オフセット成分が除去された検出信号の示す角速度との偏差が算出される。

減算器２２４は偏差を積分器２２５に出力する。積分器２２５は偏差を積分し、積分演算の結果を制御判定部２０４に出力する。

被写体角速度算出部１２６が行う主被写体の角速度情報の算出処理では、画像の動き量を動きベクトルで検出し、検出した動きベクトルから主被写体に対応するベクトル（被写体ベクトル）のみを正確に検出する処理が実行される。そして、検出された被写体ベクトルを角速度（被写体角速度）へ変換する処理が行われる。

ここで、被写体ベクトルを正確に検出する方法について説明する。カメラ本体部１１５では、流し撮りアシスト中にカメラ信号処理回路１１８内の動きベクトル検出部１２３が動きベクトルを検出する。つまり、ＡＦＥ１１７で信号処理された複数の画像信号を用いて画像の動きベクトルが検出される。

図３を参照して具体例を説明する。図３は流し撮り時におけるベクトル検出を説明するための図であって、動体である被写体３０１の撮影シーンの例を示し、撮影画面の水平方向をＸ方向とし、垂直方向をＹ方向と定義する。この場合、動きベクトル検出部１２３により検出される２種類の動きベクトルは、被写体３０１の部分に対応する動きベクトルと背景部分に対応する動きベクトルである。検出枠３０２は、動きベクトルを検出するための複数の検出ブロックが配置される位置を示す枠であって、表示部１２８に表示されない。フォーカス枠（焦点検出枠）３０３は、焦点調節制御の対象となる領域を示す枠であって、表示部１２８に表示される。

図３では、流し撮りにおいて被写体振れのみを補正するために密集型の配置を行っている。つまり、密集型の配置に設定することで、各検出ブロックが被写体ベクトルを検出する検出精度を高めることができる。

次に、距離取得部１３３による画像の距離情報と動きベクトル検出部１２３による動きベクトルとの関係について説明する。

撮影された画像内の被写体の距離情報（深度情報）は、奥行き方向における撮像装置と被写体との距離関係を示す情報である。距離取得部１３３により取得される距離情報は、大別して２種類に分類することができ、至近方向の距離と無限方向（無限遠の方向）の距離の情報である。至近方向の距離は、カメラ位置からカメラ側の被写体までの距離であり、フォーカス枠３０３に対応する被写体部分の距離情報（近距離情報）である。無限方向の距離は、カメラ位置から背景側の被写体までの距離であり、フォーカス枠に対応していない背景部分の距離情報（遠距離情報）である。

ここで距離情報の取得方法には下記の方法がある。距離取得部１３３は、位相差検出用のオートフォーカス用センサ（ＡＦセンサ）を用いて距離情報を取得する。この場合には、撮像装置がＡＦ専用の検出部を備え、像信号の位相差が検出されて、像ずれ量またはデフォーカス量等を距離情報として取得できる。

または、距離取得部１３３は、撮像素子１１６による画像信号からコントラスト検出によりオートフォーカス用の評価値を取得し、当該評価値を用いて距離情報を取得する。

また別の方法として、像面位相差検出機能を有する瞳分割型撮像素子を用いて、撮影レンズを通過する入射光を２方向の光に分けることで一対の像信号が得られる。つまり撮像光学系の異なる瞳部分領域をそれぞれ通過する光を撮像素子の光電変換部が受光する。光電変換後の対をなす像信号の位相差から像ずれ量またはデフォーカス量等を距離取得部１３３が距離情報として取得する。

カメラ信号処理回路１１８は距離取得部１３３から取得した距離情報に基づいて、図３の検出枠３０２における各検出ブロックに対応する距離情報の重み付けを行う。

例えば、背景部分に相当する検出ブロックの距離情報を３０ｍとし、被写体部分に相当する検出ブロックの距離情報を１０ｍとするべく重み付け処理が行われる。

距離情報を用いることで、被写体ベクトルと背景ベクトルの判別精度を上けることができる。

次に、図４を用いて被写体ベクトルの検出方法（判別方法）を説明する。図４は、動きベクトル検出部１２３が検出した動きベクトルをヒストグラム（度数分布）演算した結果を示す図である。横軸はブレ量（単位：ｐｉｘｅｌ）を表し、動きベクトルに相当する。縦軸は動きベクトルの度数を表す。

図４（ａ）は、ユーザが一定の角速度以上でカメラを振っている方向（例えば図３の水平方向）に対する動きベクトルのヒストグラムを示す。図３に示す撮影シーンの例では、動きベクトル検出部１２３により検出される動きベクトルは、大別して２種類の動きベクトルに分類される。被写体振れ（被写体とカメラの撮影方向とのズレ）に相当する動きベクトルと、背景振れに相当する動きベクトルである。

動きベクトル検出部１２３は、設定された検出ブロック位置での時間的に連続する２つのフレーム画像を比較して動きベクトルを検出するが、被写体振れに相当する動きベクトルか背景振れに相当する動きベクトルかを判別できない。

そこで本実施形態では、距離取得部１３３から取得した距離情報と角速度センサ１３２により検出した角速度信号を用いて、動きベクトル検出部１２３で検出した複数の動きベクトルを被写体に対応する被写体ベクトルと背景に対応する背景ベクトルとに分離する。以下では、被写体ベクトルのみを検出する処理について説明する。

図４（ａ）には、ゼロ付近に位置する第１のベクトル群４０１と、ブレ量４０３付近に位置する第２のベクトル群４０２が存在するブレ量４０３は、撮像素子１１６上の動き量に換算した角速度センサ１３２の出力である角速度信号に対応する。第２のベクトル群４０２は、ブレ量４０３を中心とした範囲４０４に含まれるベクトル群である。範囲４０４は背景判定用の閾値範囲である。度数の閾値４０５は、有効な動きベクトルであるか否かを判定するための閾値である。

カメラ制御部１２４は、ブレ量４０３を中心とする範囲４０４に含まれ、度数が閾値４０５以上である動きベクトルを背景ベクトルの候補と判定する。図４（ａ）では、第２のベクトル群４０２のうち、閾値４０５以上の度数をもつ動きベクトルが背景ベクトルの候補と判定される。

また、カメラ制御部１２４は、範囲４０４から外れるベクトルであって、度数が閾値４０５以上である動きベクトルを被写体ベクトルの候補と判定する。図４（ａ）の例では、第１のベクトル群４０１のうち、閾値４０５以上の度数をもつ動きベクトルが被写体ベクトルの候補と判定される。

本実施形態において背景判定用の閾値範囲４０４を設けている理由は、例えば角速度センサ１３２の出力のバラつきや焦点距離のバラつき等に起因する、動きベクトル検出部１２３の誤検出の発生を想定しているためである。

カメラ制御部１２４は、被写体ベクトルの候補を判定後、被写体ベクトルの候補の距離情報を確認し、至近距離側の情報が取得できている場合、フォーカス枠３０３に最も近い検出ブロックを選定する。なお、フォーカス枠３０３に最も近い検出ブロックを起点として、その周囲にある一定数の動きベクトルを積算する処理を行ってもよい。以上のように選定あるいは演算された動きベクトルを被写体ベクトルとする。

本実施形態では、被写体ベクトルと背景ベクトルの分離に角速度センサ１３２を用いる例を説明したが、角速度センサ１０９を用いてもよいし、角速度センサ１０９、１３２を併用してもよい。併用する場合、角速度センサ１０９、１３２のそれぞれで検出した角速度信号を平均化することで精度よくブレ量４０３を算出することができる。

一方、図４（ｂ）は、ユーザにより一定の角速度以下でカメラを振っている方向、または、カメラを振っていない方向（例えば図３の垂直方向）におけるヒストグラムを示している。図４（ｂ）の軸および縦軸の設定については図４（ａ）と同じである。

図４（ｂ）では、カメラの振れの角速度が非常に小さいため、動きベクトル検出部１２３が検出したすべての動きベクトルは、背景判定用の閾値範囲８０４に含まれている。

しかし実際には、カメラのパンニング（またはチルティング）方向でなくても微小な被写体振れは発生し得る。微小な被写体振れを抽出するために、フォーカス枠３０３に最も近い検出ブロックの距離情報が取得できている場合には、フォーカス枠３０３に最も近い検出ブロックが選定される。なお、フォーカス枠３０３に最も近い検出ブロックを起点として、その周囲にある一定数の被写体ベクトルを積算する処理を行ってもよい。

以上のようにして被写体ベクトルが決定された後、被写体角速度の算出処理が実行される。焦点距離、フレームレート、撮像素子の画素ピッチを用いて、角速度［ｄｅｇｒｅｅ／ｓｅｃ］から像面移動量［ｐｉｘｅｌ］へ換算する処理とは逆の処理によって、像面移動量［ｐｉｘｅｌ］から角速度［ｄｅｇｒｅｅ／ｓｅｃ］を算出できる。ここでのフレームレートは、動きベクトルの検出に用いた時間的に連続する２つのフレーム画像の撮像タイミングのズレに対応する。

カメラ制御部１２４は、被写体角速度算出部１２６が算出した被写体角速度に、角速度出力部２２２から出力される角速度信号に対応する角速度を加算した値をレンズ制御部１１０に送信する。

カメラ制御部１２４が送信する情報は、マウント接点部１１３、１１４を介して交換レンズ１００内のレンズ制御部１１０が受信する。

次に図５を参照し、構図決定手段１５０について説明する。図５は、構図情報を説明する図である。

本実施形態では、デジタルカメラの設定メニュー画面から流し撮りアシストモードにおける撮影構図の設定モード（構図設定モード）に遷移可能となっている。構図決定手段１５０は構図設定モードに入ると表示部および操作部を介してユーザの指示する構図情報を取得する。

構図設定モードに遷移すると、構図決定手段１５０の指示により表示部１２８には撮影画角の画像がライブビュー表示される。ユーザは操作部１２９を介し被写体位置を指定することができる。

構図決定手段１５０は、被写体位置が決定されると被写体位置の代表的な座標を算出する。図５においては領域５０１が被写体位置として指定された場合を示しており、領域５０１の重心を用いて代表座標Ｏを算出している。続いて、構図決定手段１５０は代表座標Ｏと撮影画角の各頂点とのオフセット値を算出する。

図５においては、以下のようなオフセット値が算出される。頂点ａは、水平方向に−Ｊ画素、垂直方向に＋Ｌ画素である。頂点ｂは、水平方向に＋Ｋ画素、垂直方向に＋Ｌ画素である。頂点ｃは、水平方向に−Ｊ画素、垂直方向に−Ｍ画素である。頂点ｄは、水平方向に＋Ｋ画素、垂直方向に−Ｍ画素である。

このようにして算出された被写体と撮影画角の関係性を示す座標情報（構図情報）は構図決定手段１５０によりメモリに記憶される。

なお、ここでは撮影画角の４つの頂点と主被写体位置の代表座標に基づいて構図情報を求める方法について説明したが、被写体位置と撮影画角の相対的な位置関係が一意に決定可能なデータであればよい。例えば撮影画角の頂点から代表座標Ｏまでのオフセットと、撮影画角の水平および垂直画素サイズを用いることでも同様の座標位置を算出することができる。

次に図６を参照し、構図ズレ量について説明する。図６は、構図ズレ量を説明するための図であって、図６（ａ）は、撮影画角と被写体検出結果を示している。

被写体検出部１５１は、画像に含まれる被写体を検出し、被写体が検出された場合は構図ズレ検出部１１９によって構図ズレ量を算出する。被写体の検出は、例えば動きベクトル検出部１２３による被写体ベクトルの算出処理と同様の方法を用いることで実現できる。また、これに限らず公知の画像解析技術などを用いて被写体を検出するようにしてもよい。

被写体が検出された場合、被写体検出部１５１は動きベクトル検出部１２３で算出される被写体検出領域を取得し、次いで被写体検出領域の代表的な座標を求める。

図６（ａ）中の網掛け部分は被写体検出領域を示し、点Ｖは被写体検出領域の重心に対応する被写体の代表座標Ｖを示している。

次に、構図ズレ検出部１１９は、構図情報を読み出し被写体の代表座標Ｖに対し、構図決定手段１５０により算出されメモリに記憶された各頂点のオフセット値をそれぞれ加算することで４つの頂点座標を求める。

図６（ｂ）は、被写体６００の代表座標Ｖに対して構図情報のオフセット値を加算して求められる４つの頂点ｅ、ｆ、ｇ、ｈにより形成される矩形領域（目標撮影領域と呼ぶ）を示している。

４つの頂点ｅ、ｆ、ｇ、ｈにより形成される矩形領域は撮影画角と同じサイズの矩形でとなる。

つまり、撮影画角と、目標撮影領域を重ね合わせるように撮影することで、あらかじめ設定した構図通りの撮影結果を得ることができる。

撮影画角と目標撮影領域は同サイズの矩形であるため矩形間の対応点はいずれの位置においても同じズレ量を示す。構図ズレ検出部１１９は撮影画角と目標撮影領域のズレ量を構図ズレ量［Ｐｉｘｅｌ］としてメモリに記憶する。

図６（ｃ）は表示部１２８に構図ズレ量を表示する例である。

表示部１２８は、撮影画角の画像がライブビュー表示するとともに、目標撮影領域を示す指標を重畳して表示する。このようにすることで、ユーザに対して意図通りの構図とのズレを報知し意図通りの構図に合わせやすくすることができる。

構図ズレ量が検出された後、カメラ制御部で構図ズレ角速度の算出処理が実行される。構図ズレ量は像面移動量［ｐｉｘｅｌ］と同等の座標系で表されるため被写体ベクトル同様、角速度に変換することが可能である。

カメラ制御部１２４は、構図ズレ角速度算出部１４０が算出した構図ズレ角速度をレンズ制御部１１０に送信する。カメラ制御部１２４の送信情報は、マウント接点部１１３、１１４を介して交換レンズ１００内のレンズ制御部１１０が受信する。

次に、図７、図８のフローチャートを参照し、流し撮りアシスト制御について説明する。図７は流し撮りアシスト制御に関する全体的な処理の流れを示すフローチャートである。

以下の処理は、カメラ制御部１２４およびレンズ制御部１１０の各ＣＰＵが所定の制御プログラムを解釈して実行することにより実現される。

ステップＳ７０１において、カメラ制御部１２４は、操作部１２９でユーザにより流し撮りアシストモードの設定操作が行われたか否かを判定する。流し撮りアシストモードに設定されている場合はステップＳ７０２の処理に進み、流し撮りアシストモード以外に設定されている場合は流し撮りアシスト制御は行われず、ステップＳ７１１へ移行する。

ステップＳ７０２において、カメラ制御部１２４は、カメラ本体部１１５に装着された交換レンズ１００が流し撮りアシストに対応している交換レンズであるか否かを判定する。交換レンズ１００が流し撮りアシストに対応していると判定された場合はステップＳ７０３に進み、交換レンズ１００が流し撮りアシストに対応していない場合はステップＳ７１０へ進む。なお、交換レンズ１００が流し撮りアシストに対応しているか否かの判定処理は、レンズ制御部１１２からカメラ制御部１２４へ送信されるレンズ情報に基づいて行われる。また、レンズ一体型のデジタルカメラであればステップＳ７０２の処理を省略してステップＳ７０３へ進めばよい。

ステップＳ７０３において、距離取得部１３３は、撮像画像に関連する距離情報を取得し、動きベクトル検出部１２３は、動きベクトルの検出枠３０２を設定して、ステップＳ７０４へ進む。

ステップＳＳ７０４において、カメラ制御部１２４は、レンズ制御部１１０を介して位置センサ１０５により検出されるシフトレンズ１０４の位置情報を取得する。ここで取得されるシフトレンズ１０４の位置情報は、例えば、動きベクトル検出部１２３の検出期間における位置センサ１０５の出力の平均値である。

次に、ステップＳ７０５において、動きベクトル検出部１２３は、動きベクトルを検出しステップＳ７０６へ進む。

ステップＳ７０６において、カメラ制御部１２４は、レンズ制御部１１２を介して角速度センサ１０９により検出される角速度信号を取得する。また、カメラ制御部１２４は、角速度センサ１３２により検出される角速度信号を取得する。なお、本ステップで取得される角速度信号は、動きベクトル検出部１２３の検出期間（動きベクトルの検出に用いる２つの画像が撮像される間の期間）における角速度センサ１０９の出力の平均値及び角速度センサ１３２の出力の平均値である。

次に、ステップＳ７０７において、カメラ制御部１２４は、ステップＳ７０６で取得した角速度を像面移動量へ換算する演算を行う。角速度センサ１０９により検出される角速度と、撮像光学系の焦点距離と、フレームレートを用いて像面上での移動量（像面移動量）が算出される。

次に、ステップＳ７０８において、カメラ制御部１２４は、構図情報を取得する。

次に、ステップＳ７０９において、一連の動作で取得した各種情報に基づいてブレ補正量を算出する。ブレ補正量の算出処理の詳細については図８〜９を用いて後で説明する。

次に、ステップＳ７１０において、シャッタ速度算出部１２７は、流し撮りアシスト用のシャッタ速度を算出する。

次に、ステップＳ７１１において、レンズ制御部１１０は、ステップＳ７０９で算出されたブレ補正量と、ステップＳ７１０で算出された流し撮りアシスト用のシャッタ速度の各データをカメラ制御部１２４から受信する。そして、露光期間中にシフトレンズ１０４を駆動させる制御量を決定する。そして、操作部１２９でユーザにより静止画撮影が指示されると、ドライバ１０７は、決定された制御量にしたがって露光期間中にシフトレンズ１０４を駆動する。なお、ステップＳ７０１で流し撮りアシストモード以外に設定されていると判定された場合、レンズ制御部１１２は、露光期間中に角速度センサ１０９により検出される角速度に基づいて露光期間中にシフトレンズ１０４を駆動させる制御量を決定する。そして、ドライバ１０７は、決定された制御量にしたがって露光期間中にシフトレンズ１０４を駆動する。また、ステップＳ７０２で交換レンズ１００が流し撮りアシストに対応していないと判定された場合も、レンズ制御部１１２は、露光期間中に角速度センサ１０９により検出される角速度に基づいて露光期間中にシフトレンズ１０４を駆動させる制御量を決定する。そして、ドライバ１０７は、決定された制御量にしたがって露光期間中にシフトレンズ１０４を駆動する。

次に、図８のフローチャートを参照して、図７のステップＳ７０９のブレ補正量算出について説明する。図８は、ブレ補正量算出の流れを示すフローチャートである。

ステップＳ８０１において、カメラ制御部１２４は、ステップＳ７０４で取得されたシフトレンズ１０４の位置情報の値を動きベクトルと同成分に換算し、動きベクトル検出部１２３の検出値に加算する処理を実行する。

これにより、動きベクトルの検出中に像ブレ補正制御によってシフトレンズ１０４が駆動されたとしても、本来の被写体振れに対応した動きベクトルを求めることができる。

次に、ステップＳ８０２において、ステップＳ７０３で取得された画面内の距離情報（距離マップ）に基づき、動きベクトル検出部１２３で検出された各検出ブロックに対応する距離情報の重み付け処理が実行される。

次に、ステップＳ８０３において、カメラ制御部１２４は、ステップＳ７０５で検出された動きベクトルのヒストグラムを生成する。

次に、ステップＳ８０４において、カメラ制御部１２４は、動きベクトル検出部１２３の検出結果に基づき、被写体ベクトルが検出できているか否かを判定する。被写体ベクトルが検出できていると判定された場合はステップＳ８０５へ進み、被写体ベクトルが検出できていないと判定された場合はステップＳ８１２へ進む。

ステップＳ８０５において、カメラ制御部１２４は、被写体ベクトル候補の中から使用する被写体ベクトルを選択することで被写体ベクトルを算出する。

次に、ステップＳ８０６において、被写体角速度算出部１２８は、被写体の角速度を算出する。つまり、ステップＳ７０７で角速度から像面移動量を算出した方法とは逆の方法によって、被写体の像面移動量から被写体角速度を算出する処理が行われる。

次に、Ｓ８０７において、カメラ制御部１２４は、被写体検出部１５１の検出結果に基づき被写体の代表座標が検出できているか否かを判定する。被写体の代表座標が検出できていると判定された場合はステップＳ８０８へ進み、被写体の代表座標が検出できていないと判定された場合はステップＳ８１１へ進む。

ステップＳ８０８において、構図ズレ検出部１１９は、撮影領域と被写体を含む構図との座標のズレに基づいて構図ズレベクトルを算出する。

次にステップＳ８０９において、構図ズレ角速度算出部１４０は、構図ズレの角速度を算出し、ステップＳ８１０へ進む。

一方、被写体の代表座標が検出できていないと判定された場合、ステップＳ８１１において、構図ズレ角速度算出部１４０は、構図ズレ角速度を０に設定し、ステップＳ８１０へ進む。

ステップＳ８１０において、カメラ制御部１２４は、ステップＳ８０６で算出された被写体角速度に対し、角速度出力部２２２からカメラ制御部１２４へ送信される角速度の値を加算してレンズ制御部１１０へ送信する。そして、被写体角速度取得部２２３は、カメラ制御部１２４からレンズ制御部１１０へ送信された被写体角速度を取得して加算器２２７に出力する。さらに、構図ズレ角速度取得部２２８は、カメラ制御部１２４からレンズ制御部１１０へ送信された構図ズレ角速度を取得して加算器２２７に出力する。加算器２２７は、被写体角速度と構図ズレ角速度を加算し合成角速度を減算器２２４に出力する。減算器２２４は、交換レンズ１００内の角速度センサ１０９による角速度と合成角速度との差分を演算する。積分器２２５は、算出された差分を積分し、積分値を補正制御の目標制御値（ブレ補正量）として制御判定部２０４へ出力する。

被写体ベクトルが検出できていないと判定された場合、像ブレ補正制御に切り替わり像ブレ補正制御部１１１が制御を行う。

ステップＳ８１２において、交換レンズ１００内の角速度センサ１０９により検出される角速度が取得される。

次に、ステップＳ８１３において、オフセット除去部２０１は、例えば、任意の周波数帯域でその特性を変更し得る機能を有するハイパスフィルタを用いて、角速度信号に含まれる低周波数成分を遮断してから高周波数帯域の信号を出力する処理を行う。この処理によって角速度信号に重畳しているオフセット成分が除去される。

次に、ステップＳ８１４において、利得位相算出部２０２は、オフセット成分が除去された角速度信号に対し、所定のゲインを有する増幅器および位相補償フィルタで構成されたフィルタ回路が利得および位相を算出して信号処理を行う。

次に、ステップＳ８１５において、積分器２０３は、信号処理された角速度信号を積分する。積分により得られた角度値は、像ブレ補正制御の目標制御値（ブレ補正量）として、制御判定部２０４に出力される。

以上説明したように、本実施形態では、撮影画角の画像に対し構図ズレ量を表す指標を重畳して表示する。そして、構図ズレ量に基づいて構図ズレをキャンセルするようにシフトレンズ１０４を移動させることで構図と手振れを考慮した流し撮りアシストを行うことが可能となる。

なお、本実施形態では、図６を用いて構図ズレ量を表す指標として画角相当の枠を表示する例について示した。構図ズレ量を表す指標は図６に示した形態に限定されず、例えば図９に示すように構図ズレ量を表す指標として被写体の目標位置を表示するようにしてもよい。図９は、構図ズレ量を表す指標の変形例を示す図であり、構図情報として構図上の被写体の代表座標Ｏ及び被写体検出結果から得られる画角上の被写体の代表座標Ｖを結ぶ指標１１００を表示する。

（第２の実施形態）
撮像装置の中には、撮影画角の異なる複数の撮像光学系を有し、撮影画角の異なる複数の撮像光学系で撮影した画像を選択または合成して表示できるものが知られている。第２の実施形態では、主撮像光学系１０２よりも画角の広い（広角の）副撮像光学系９００を備えた多眼構成の撮像装置に本発明を適用した例について説明する。

図１０は、第２の実施形態である撮像装置としてのデジタルカメラの構成の概略を示す図である。なお、図１０において図１と共通の構成要素については既に使用した符号を付すことで、それらの詳細な説明を省略する。

図１０に示した撮像装置では、図１に示した撮像装置の構成に対して、副撮像光学系９００、副撮像素子９０１、副撮像用ＡＦＥ９０２、座標変換部９０３が追加されている。

副撮像光学系９００は、主撮像光学系１０２より広角撮影が可能な光学系が構成される。副撮像素子９０１は、例えばＣＭＯＳ型イメージセンサ等であり、撮像光学系を通して結像される被写体像を光電変換により電気信号として出力する。副撮像用アナログ信号処理回路（ＡＦＥ）９０２は、副撮像素子９０１から出力される画像信号を処理してカメラ信号処理回路１１８に出力する。座標変換部９０３は、主撮像光学系１０２の画角（メイン画角）と副光学系９００の画角（サブ画角）間の座標変換を行う。座標変換を行うことによって、広角である副光学系９００により取得された画像に、主撮像光学系１０２の画角がどの範囲となるのかを示す指標を重畳表示させることができる。

本実施形態において、表示部１２８は、流し撮りアシストモード時にサブ画角のライブビュー画像とメイン画角の撮像画角に相当する領域を示す指標とを重畳して表示する。

図１１は、メイン画角とサブ画角の表示例を示す図であって、図１１（ａ）は、サブ画角１０００とメイン画角１００１を示す指標を重畳して表示した例である。被写体が主撮像光学系１０２の画角内、または副光学系９００の画角内に入ると第１の実施形態と同様に被写体領域を決定し表示を行う。座標変換部９０３を介して、被写体領域の座標を表示用の座標系に変換することで被写体領域を示す指標を表示することが可能である。

図１１（ｂ）は、図１１（ａ）に対してさらに被写体領域を示す指標及び目標撮影領域１００２が重畳されている例を示している。このように多眼構成の撮像装置であれば、広角表示で被写体の動きを視認しやすくなる。また、メイン画角と目標撮影領域の全体像とを表示画角内に表示できるため、メイン画角に入る前から構図のズレを補正するようなフレーミングを行うことが可能になる。

構図ズレ量を表す指標は図１１に示した形態に限定されず、例えば図１２に示すように構図ズレ量を表す指標として被写体の目標位置を表示するようにしてもよい。図１２は、構図ズレ量を表す指標の変形例を示す図であり、構図情報として構図上の被写体の代表座標Ｏ及び被写体検出結果から得られる画角上の被写体の代表座標Ｖを結ぶ指標１２００を表示する。さらに、メイン画角１００１も重畳表示するので、ユーザはサブ画角１０００上のどの方向にどの程度メイン画角１００１を移動させればよいか容易に把握することができる。

なお、上記の２つの実施形態では、シフトレンズ１０４を光軸と直交する方向に移動させて像ブレ補正を行う例を説明したが、光学的の像ブレ補正を行う方法は限定されず、例えば撮像素子１１６を光軸と直交する方向に移動させて像ブレ補正を行ってもよい。あるいは、シフトレンズ１０４と撮像素子１１６の両方を光軸と直交する方向に移動させて像ブレ補正を行ってもよい。

Claims (8)

1. 画像信号を取得する撮像手段と、
   撮影構図を決定する構図決定手段と、
   前記撮像手段により取得された画像信号に基づいて被写体を検出する被写体検出手段と、
   前記構図決定手段により決定された撮影構図と前記被写体検出手段により検出された被写体の位置情報とに基づいて構図ズレ量を算出する算出手段と、
   前記算出手段により算出された構図ズレ量を表す指標を、前記撮像手段により取得された画像信号に基づく撮像画像に重畳して表示する表示手段と、
   前記構図ズレ量に基づいて像ブレを補正するブレ補正手段と、
   を有することを特徴とする撮像装置。
2. 第１の画像信号を取得する第１の撮像手段と、
   前記第１の撮像手段よりも広角撮影された第２の画像信号を取得する第２の撮像手段と、
   前記第１の撮像手段により取得された第１の画像信号の座標系と前記第２の撮像手段により取得された第２の画像信号の座標系との間の座標変換を行う座標変換手段と、
   撮影構図を決定する構図決定手段と、
   前記第１の撮像手段により取得された第１の画像信号または前記第２の撮像手段により取得された第２の画像信号に基づいて被写体を検出する被写体検出手段と、
   前記構図決定手段により決定された撮影構図と前記被写体検出手段により検出された被写体の位置情報とに基づいて構図ズレ量を算出する算出手段と、
   前記算出手段により算出された構図ズレ量を表す指標を、前記第２の撮像手段により取得された第２の画像信号に基づく撮像画像に重畳して表示する表示手段と、
   前記構図ズレ量に基づいて像ブレを補正するブレ補正手段と、
   を有し、
   前記表示手段は、前記第２の撮像手段により取得された第２の画像信号に基づく撮像画像に対し、前記第２の撮像手段により取得された第２の画像信号の座標系に基づいて座標変換された前記第１の撮像手段により取得された第１の画像信号の画角を表す指標をさらに重畳して表示することを特徴とする撮像装置。
3. 前記構図ズレ量を表す指標は、前記構図決定手段により決定された撮影構図とするための画角の目標位置を表す指標であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記構図ズレ量を表す指標は、前記検出手段により検出された被写体の前記構図決定手段により決定された撮影構図における目標位置を表す指標であることを特徴とする請求項１または２に記載の撮像装置。
5. 前記構図決定手段は、前記表示手段にライブビュー表示を行っているときに操作部を介してユーザに指定された被写体位置に基づいて前記撮影構図を決定することを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
6. 撮影モードを設定する撮影モード設定手段をさらに有し、
   前記表示手段は、前記撮影モード設定手段により流し撮り撮影をアシストする撮影モードが設定されている場合に、前記構図ズレ量を表す指標を表示することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 撮影構図を決定する構図決定ステップと、
   撮像手段により取得された画像信号に基づいて被写体を検出する被写体検出ステップと、
   前記構図決定ステップで決定された撮影構図と前記被写体検出ステップで検出された被写体の位置情報とに基づいて構図ズレ量を算出する算出ステップと、
   前記算出ステップで算出された構図ズレ量を表す指標を、前記撮像手段により取得された画像信号に基づく撮像画像に重畳して表示する表示ステップと、
   前記構図ズレ量に基づいて像ブレを補正するブレ補正ステップと、
   を有することを特徴とする撮像装置の制御方法。
8. 第１の画像信号を取得する第１の撮像ステップと、
   前記第１の画像信号よりも広角撮影された第２の画像信号を取得する第２の撮像ステップと、
   前記第１の撮像ステップで取得された第１の画像信号の座標系と前記第２の撮像ステップで取得された第２の画像信号の座標系との間の座標変換を行う座標変換ステップと、
   撮影構図を決定する構図決定ステップと、
   前記第１の撮像ステップで取得された第１の画像信号または前記第２の撮像ステップで取得された第２の画像信号に基づいて被写体を検出する被写体検出ステップと、
   前記構図決定ステップで決定された撮影構図と前記被写体検出ステップで検出された被写体の位置情報とに基づいて構図ズレ量を算出する算出ステップと、
   前記算出ステップで算出された構図ズレ量を表す指標を、前記第２の撮像ステップで取得された第２の画像信号に基づく撮像画像に重畳して表示する表示ステップと、
   前記構図ズレ量に基づいて像ブレを補正するブレ補正ステップと、
   を有し、
   前記表示ステップは、前記第２の撮像ステップで取得された第２の画像信号に基づく撮像画像に対し、前記第２の撮像ステップで取得された第２の画像信号の座標系に基づいて座標変換された前記第１の撮像ステップで取得された第１の画像信号の画角を表す指標をさらに重畳して表示することを特徴とする撮像装置の制御方法。

Images