JP2018146663A - 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置 - Google Patents

Abstract

【課題】被写体の画像ブレを補正する像ブレ補正において、画面内の被写体の動き量を精度良く検出する。【解決手段】撮像システムは、振れを検出する角速度センサ１１１、１７１を備え、振れ検出信号に基づいてシフトレンズ群１０４の駆動を制御して像ブレを補正する。動きベクトル検出部１５１は複数の撮像画像から動きベクトルを検出する。距離取得部１８１は撮像画像に関連する距離情報を取得する。カメラ制御部１４３は振れ検出信号と動きベクトルを取得し、距離情報に基づく至近方向における動きベクトルの検出値を用いて被写体を決定し、当該被写体の角速度を算出する。レンズ制御部１１２の流し撮り制御部１２２は、オフセットが除去された角速度検出信号と、カメラ制御部１４３から取得した被写体の角速度を用いてシフトレンズ群１０４の駆動制御を行うことで流し撮りを支援する制御を行う。【選択図】図１

Description

本発明は、像ブレ補正装置およびその制御方法、撮像装置、レンズ装置に関する。

流し撮りは、被写体の躍動感を表現する撮影技術の１つであり、シャッタ速度を低速に設定し、例えば水平方向に移動している被写体の動きに合わせてユーザがカメラを追従させながら撮影する手法である。

流し撮りは初心者にとって難しい撮影技法とされ、その理由は２つある。１つ目の理由は、被写体とカメラとのズレがないように追従させながら撮影するのが難しいことである。被写体とカメラとのズレが生じると被写体振れが発生する。２つ目の理由は、シャッタ速度の最適な設定値がユーザに分からないことである。シャッタ速度が低速に設定される程、背景の流し量は増加するので被写体の躍動感は得られるが、一方で手ブレや被写体振れが発生しやすくなる。

流し撮りの成功確率を高めるために、流し撮りを支援する機能（以下、流し撮りアシストという）が知られている。流し撮りアシストの例として、被写体とカメラとのズレを検出し、そのズレに応じた被写体振れを光学的な補正系で補正する機能（以下、第１アシスト機能という）がある。また、流し撮りのためのシャッタ速度をカメラが自動的に設定する機能（以下、第２アシスト機能という）がある。特許文献１では、第１アシスト機能について、被写体の速度とカメラを移動させる速度との差分を検出し、当該差分に相当するズレ量を、手ブレ補正機能により補正する撮像装置が開示されている。

特開２００６−３１７８４８号公報

特許文献１に開示の撮像装置は、被写体の速度とカメラを移動させる速度との差分を検出する際、動きベクトルと角速度を用いる。動きベクトルで検出したベクトルの中から被写体に対応するベクトル（以下、被写体ベクトルという）が検出され、被写体とカメラとのズレが検出される。

しかしながら、角速度センサは固有のオフセット成分を有するため、そのオフセット成分により演算誤差が発生する。また、角速度をベクトルと比較するために撮像面上の移動量（以下、像面移動量という）を算出する際、フレームレートでの除算が行われる。角速度センサの出力にオフセット成分が重畳し、且つ低輝度な撮影シーンでフレームレートが低速になると、像面移動量の演算誤差が大きくなる。その結果、被写体ベクトルが誤検出される可能性がある。
本発明の目的は、被写体の画像ブレを補正する像ブレ補正において、画面内の被写体の動き量を精度良く検出することである。

本発明の一実施形態の像ブレ補正装置は、撮像光学系を通して撮像手段により撮像される被写体の画像のブレを、像ブレ補正手段により補正する像ブレ補正装置であって、画像に関連する距離情報を取得する取得手段と、検出手段により検出される振れの検出信号および撮像された複数の画像から被写体の動き量を算出する算出手段と、前記距離情報に基づく至近方向における前記動き量を用いて被写体を決定し、当該被写体の像ブレを補正する制御量を算出して前記像ブレ補正手段を制御する制御手段と、を備える。

本発明の像ブレ補正装置によれば、被写体の画像ブレを補正する像ブレ補正において、画面内の被写体の動き量を精度良く検出することができる。

本実施形態における撮像装置の構成を示す図である。 本実施形態における光学補正系の制御ブロック図である。 流し撮り時におけるベクトル検出を説明する図である。 本実施形態における被写体ベクトル検出を説明する図である。 本実施形態における流し撮りアシストのプログラム線図の模式図である。 距離情報を説明する図である。 本実施形態における流し撮りアシストのフローチャートである。 本実施形態における第１アシスト機能のフローチャートである。 本実施形態における第２アシスト機能のフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。図１は、本実施形態に関わる撮像装置の構成例を示す図である。交換レンズ１００をカメラ本体部１３１に装着可能な撮像システムの一例として、流し撮りを支援する流し撮りアシストの機能を有するデジタルカメラを説明する。流し撮りアシストの設定が行われた場合の制御モードを、「流し撮りアシストモード」という。

交換レンズ１００は、撮影レンズユニット１０１を備える。撮影レンズユニット１０１は、主撮像光学系１０２、焦点距離を変更可能なズームレンズ群１０３、および像ブレ補正用のシフトレンズ群１０４を有する。シフトレンズ群（以下、単にシフトレンズともいう）１０４は、被写体からの光の結像位置を変更することにより像ブレを補正する補正レンズの役目をもつ。撮影レンズユニット１０１の光軸と垂直な方向にシフトレンズを移動させることにより、撮像装置の振れによる光軸に対する像の振れを光学的に補正できる。

交換レンズ１００はズームエンコーダ１０６、位置センサ１０５、角速度センサ１１１を備える。ズームエンコーダ１０６は、ズームレンズ群１０３の位置を検出する。位置センサ１０５はシフトレンズ群１０４の位置を検出する。角速度センサ１１１は、撮像装置の振れを検出する振れ検出手段の一例であり、振れ検出信号を出力する。

レンズ制御部１１２は、レンズシステム制御用のマイクロコンピュータを備える。レンズ制御部１１２は、ドライバ１１３を介してシフトレンズ群１０４の駆動制御を行う。アンプ１１４は、シフトレンズ群１０４の位置センサ１０５の出力を増幅し、位置検出信号をレンズ制御部１１２に出力する。

交換レンズ１００はマウント接点部１１５を有し、カメラ本体部１３１のマウント接点部１４４と接続される。レンズ制御部１１２は、第１および第２の制御部を備える。第１の制御部は、手ブレ補正制御を行う手ブレ補正制御部１２１である。第２の制御部は、流し撮りアシスト用の制御を行う流し撮り制御部１２２である。レンズ制御部１１２はその他にもフォーカスレンズの移動による焦点調節制御や絞り制御等も行うが、図示上の簡略化のため省略する。また、手ブレ補正制御部１２１による手ブレ補正では、例えば横方向と縦方向といった、直交する２軸に関して振れの検出および補正が行われるが、２軸に関して同じ構成であるため、１軸分のみ説明する。このように、本実施形態の撮像装置は、光学素子（シフトレンズ）を光軸と直交する方向に移動させて像ブレ補正を行う像ブレ補正装置を備える。

カメラ本体部１３１は、露光時間を制御するためのシャッタ１３２を備える。撮像素子１３３は、例えばＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等であり、撮像光学系を通して結像される被写体からの光を受光し、光電変換により電気信号を出力する。アナログ信号処理回路（ＡＦＥ）１３４は、撮像素子１３３の出力信号を処理してカメラ信号処理回路１３５に供給する。

カメラ信号処理回路１３５は動きベクトル検出部１５１を備える。動きベクトル検出部１５１は、撮像素子１３３の出力信号に基づいて被写体の動きを検出する。またカメラ信号処理回路１３５は、撮像素子１３３の出力信号を処理して記録用の信号をメモリカード１４０に出力し、また表示用の信号を表示部１４１に出力する。タイミングジェネレータ（ＴＧ）１３６は、撮像素子１３３やアナログ信号処理回路１３４の動作タイミングを設定する。操作部１４２は、電源スイッチ、レリーズスイッチ、切り替えスイッチ等を備える。ユーザは切り替えスイッチを操作して、流し撮りアシストモードに設定可能である。

カメラ制御部１４３は、カメラシステム制御用のマイクロコンピュータを備え、撮像システムの各構成部を制御する。カメラ制御部１４３は、シャッタ制御部１６１、被写体角速度算出部１６２、シャッタ速度算出部１６３を備える。シャッタ制御部１６１はドライバ１３８を介してシャッタ駆動用モータ１３９を制御し、シャッタ１３２の動作を制御する。被写体角速度算出部１６２は主被写体の角速度を算出する。シャッタ速度算出部１６３は、流し撮りアシストモードが設定されたときのシャッタ速度を算出する。

メモリカード１４０は、撮影された映像の信号を記録するための記録媒体である。表示部１４１は液晶パネル（ＬＣＤ）等の表示デバイスを備える。表示部１４１はユーザがカメラで撮影しようとしている画像のモニタ表示を行い、また撮影された画像を画面に表示する。

カメラ本体部１３１は、交換レンズ１００とのマウント接点部１４４を備える。レンズ制御部１１２とカメラ制御部１４３は、マウント接点部１１５および１４４を介して所定のタイミングでシリアル通信を行う。角速度センサ１７１はカメラ本体部１３１の振れを検出し、振れ検出信号をカメラ制御部１４３に出力する。距離取得部１８１は、撮像画像に関連する距離情報を取得してカメラ信号処理回路１３５に出力する。

図１の撮像システムにおいて、ユーザが操作部１４２の電源スイッチを操作し、カメラの電源がＯＮすると、その状態変化をカメラ制御部１４３が検出する。カメラ制御部１４３は、カメラ本体部１３１の各回路への電源供給および初期設定を行う。また、交換レンズ１００への電源供給が行われ、レンズ制御部１１２は交換レンズ１００内の初期設定を行う。カメラ制御部１４３とレンズ制御部１１２とが通信可能な状態となった後、両者の間で所定のタイミングで通信が開始される。カメラ制御部１４３からレンズ制御部１１２への通信では、カメラの状態、撮影設定情報等が送信される。またレンズ制御部１１２からカメラ制御部１４３への通信では、交換レンズ１００の焦点距離情報、角速度情報等が送信される。

ユーザは操作部１４２の切り替えスイッチを操作することにより、通常モードと流し撮りアシストモードを変更することができる。通常モードとは、流し撮りアシストモードの設定が行われていないモードである。通常モードが選択された場合、交換レンズ１００内では角速度センサ１１１が、手ブレ等によりカメラに加わる振れを検出する。手ブレ補正制御部１２１は角速度センサ１１１による検出信号を用いてシフトレンズ群１０４の駆動制御を行う。これにより、手ブレ補正動作が行われ、撮像画像の像ブレが低減される。

図２を参照して、手ブレ補正機能に関して説明する。図２は手ブレ補正と流し撮りアシスト動作に関する構成図である。図１と共通の構成については既に使用した符号を付すことで、それらの詳細な説明を省略する。

手ブレ補正制御部１２１はオフセット除去部２０１を備え、角速度センサ１１１による角速度検出信号に含まれるオフセットを除去する。オフセット除去部２０１は、例えばハイパスフィルタ（ＨＰＦ）等で構成されたフィルタ演算部によって、角速度センサ１１１の出力に含まれている直流成分を除去する。利得位相算出部２０２は、オフセット除去部２０１の出力を取得し、増幅および位相補償を行う。利得位相算出部２０２はオフセット成分が除去された角速度信号に対し、所定のゲインで増幅する増幅器、および位相補償フィルタで構成される。積分器２０３は利得位相算出部２０２の出力を積分する。積分器２０３は任意の周波数帯域で、その特性を変更し得る機能を有しており、シフトレンズ群１０４の駆動量を算出する。

手ブレ補正制御部１２１は、撮像装置のパンニング（またはチルティング）の判定処理を行う。例えば、角速度センサ１１１の検出信号の示す角速度が、所定の閾値以上の大きさであって、所定時間（判定用の閾値時間）が経過した場合、パンニング動作中であると判定される。この場合、オフセット除去部２０１内のＨＰＦのカットオフ周波数を高周波側に除々に変更する処理が行われる。カットオフ周波数を高周波側へ除々に変更し、手ブレ補正制御の目標信号を除々に小さくすることで、シフトレンズを光学中心位置に戻す制御が行われる。この制御を行わない場合には、パンニング動作と判定されるほどの大きな振れの角速度検出信号によって手ブレ補正が行われる。その結果、シフトレンズが補正限界点（制御範囲の限界位置）に到達し、撮影者に不自然な画角変化が画面上で見える可能性がある。ＨＰＦのカットオフ周波数を高周波側へ除々に変更する処理を行うことで、このような現象の発生を防止できる。

像ブレ補正制御判定部（以下、制御判定部という）２０４は、積分器２０３と後述の積分器２２５の各出力を取得し、カメラ情報取得部２２６の出力に応じてシフトレンズを駆動させるための信号を、以下のように切り替える。
（１）撮影モードが流し撮りアシストモードに設定されている場合
制御判定部２０４は、流し撮り制御部１２２で算出された積分器２２５の出力を選択する。
（２）撮影モードが流し撮りアシストモード以外に設定されている場合
制御判定部２０４は、手ブレ補正制御部１２１で算出された積分器２０３の出力を選択する。なお、積分器２２５およびカメラ情報取得部２２６については後述する。

位置センサ１０５は、シフトレンズ群１０４の位置を検出し、検出信号をアンプ１１４が増幅する。Ａ（アナログ）／Ｄ（デジタル）変換器２０６は、アンプ１１４が増幅した検出信号をデジタル化して減算器２０５に出力する。減算器２０５は、制御判定部２０４の出力を正入力とし、Ａ／Ｄ変換器２０６の出力を負入力として減算を行い、減算結果である偏差データを制御器２０７へ出力する。制御器２０７は、減算器２０５の出力する偏差データに対し、所定のゲインで増幅する増幅器、および位相補償フィルタを備える。偏差データは、制御器２０７において増幅器および位相補償フィルタによって信号処理が行われた後、パルス幅変調部２０８に出力される。パルス幅変調部２０８は、制御器２０７の出力データを取得し、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、シフトレンズ駆動用のドライバ１１３へ出力する。シフトレンズ群１０４の駆動にはボイスコイル型モータが使用され、ドライバ１１３はパルス幅変調部２０８の出力にしたがって、シフトレンズ群１０４を撮像光学系の光軸と垂直な方向に移動させる。

次に、流し撮りアシストに係る第１アシスト機能について説明する。
図１および図２を参照して、流し撮り制御部１２２について説明する。ユーザが操作部１４２により、流し撮りアシストモードに設定する操作を行うと、カメラ制御部１４３は流し撮りアシストの制御に切り替える。また、その切り替えを示す情報がカメラ制御部１４３からレンズ制御部１１２へと送信され、レンズ制御部１１２は流し撮りアシストモードの制御に切り替わる。カメラ情報取得部２２６（図２）は、通信制御部２１１を介してカメラ制御部１４３から送信されてくる各種のカメラ情報を取得する。カメラ情報は、流し撮りアシストモードの設定情報やレリーズ情報等である。カメラ情報取得部２２６は、制御判定部２０４に対し、判定処理に必要な情報を出力する。

角速度出力部２２２は、オフセット除去部２０１の出力、つまりオフセット成分が除去された角速度センサ１１１の角速度検出信号を取得する。角速度出力部２２２は、通信制御部２１１とマウント接点部１１５を介して、カメラ制御部１４３へ角速度検出信号を送信する。被写体角速度取得部２２３は、カメラ本体部１３１内の被写体角速度算出部１６２で算出される被写体の角速度のデータを、マウント接点部１４４と通信制御部２１１を介して取得する。減算器２２４は、オフセット除去部２０１の出力を正入力とし、被写体角速度取得部２２３の出力を負入力として、減算を行う。被写体角速度取得部２２３による被写体の角速度から、オフセット成分が除去された検出信号の示す角速度が減算されることで、偏差が算出される。減算器２２４は偏差を積分器２２５に出力する。積分器２２５は偏差を積分し、積分演算の結果を制御判定部２０４に出力する。

被写体角速度算出部１６２が行う被写体の角速度の算出処理では、画像の動き量をベクトルで検出し、検出した全ベクトルから被写体に対応するベクトル（被写体ベクトル）のみを正確に検出する処理が実行される。検出された被写体ベクトルを角速度（被写体角速度）へ変換する処理が行われる。

ここで、被写体ベクトルを正確に検出する方法について説明する。カメラ本体部１３１では、流し撮りアシスト中にカメラ信号処理回路１３５内の動きベクトル検出部１５１が動きベクトルを検出する。つまり、アナログ信号処理回路１３４で信号処理された複数の映像情報から、画像の動きベクトルが検出される。図３を参照して具体例を説明する。図３は動体である被写体３０１の撮影シーンの例を示し、撮影画面の水平方向をＸ方向とし、垂直方向をＹ方向と定義する。この場合、動きベクトル検出部１５１により検出される２種類のベクトルは、被写体３０１の部分に対応するベクトルと、背景部分に対応するベクトルである。複数の検出ブロックに相当する矩形枠は、動きベクトルを検出するための検出枠３０２である。図３の設定は、流し撮りにおいて被写体の振れのみを光学的補正系で補正するために密集型の配置とされている。つまり、密集型の配置に設定することで、検出枠３０２に対応する各検出ブロックの検出精度を高めることができる。被写体に焦点を合わせるためのフォーカス枠（焦点検出枠）３０３を矩形枠で示す。

図４は、動きベクトル検出部１５１が検出したベクトルをヒストグラム（度数分布）演算したときの結果を例示する。横軸はブレ量（単位：ｐｉｘｅｌ）を表し、動きベクトルに相当する。縦軸は動きベクトルの度数を表す。図４（Ａ）は図３のＸ方向（画面の水平方向）のヒストグラムを示す。図４（Ｂ）は図３のＹ方向（画面の垂直方向）のヒストグラムを示す。図４（Ｃ）は像面移動量に関する誤算出を説明するためのヒストグラムの例を示す。

まず、図４（Ａ）を用いてＸ方向の動作について説明する。図３の被写体３０１の撮影において、カメラが被写体３０１の動きに上手く追従できていれば、被写体とカメラとのズレ量は小さい。この場合、被写体３０１の部分に相当するベクトル群４０１は０ｐｉｘ付近に存在する。一方、カメラが被写体３０１の動きに上手く追従できていなければ、被写体とカメラとのズレ量は大きくなる。その結果、被写体３０１の部分に相当するベクトル群４０１は０ｐｉｘの位置から離れていく。動きベクトル検出部１５１は、検出したベクトルに対して、当該ベクトルが主被写体に対応するベクトル（以下、主被写体ベクトルという）であるか、背景に対応するベクトル（以下、背景ベクトルという）であるかを判別していない。つまり、この段階では、被写体３０１に対応するベクトル群４０１と、背景に対応するベクトル群４０２の区別がつかない。そこで、背景ベクトルの大きさと、撮像面上での振れ量（像面移動量）とが同等になることを利用して、被写体ベクトルと背景ベクトルを判別する処理が行われる。具体的には、交換レンズ１００内の角速度センサ１１１の角速度から像面移動量４０３が算出される。そして、像面移動量４０３を基準にして、予め定められた範囲（以下、背景判定閾値という）４０４内に存在するベクトルが背景ベクトルと判定される。また、被写体判定用の閾値４０５が度数軸上に設定される。背景判定閾値４０４の範囲外に存在するベクトルであって、かつ閾値４０５を超えているベクトルが被写体ベクトルと判定される。

最終的に制御に使用するベクトルである主被写体ベクトルは、被写体ベクトルと判定されたベクトル群４０１の内、カメラのフォーカス枠３０３（図３）に最も近いベクトルの位置を起点とし、その周囲のベクトルを同心円状に積算した値によって算出される。被写体ベクトルに関して、フォーカス枠３０３に最も近い被写体ベクトルを起点にする理由は、通常、撮影者は撮影対象である主被写体にフォーカス枠３０３を合わせているからである。積算により算出された被写体ベクトルは主被写体の像面移動量に相当する。主被写体の像面移動量を角速度へ換算することで主被写体の角速度（補正すべき被写体振れ量）が求まる。尚、像面移動量の算出時に用いる角速度については、角速度センサ１１１の代わりに、カメラ本体部１３１内の角速度センサ１７１により検出される角速度を用いてもよい。

続いて、図４（Ｂ）を用いてカメラのＹ方向の動作を説明する。図３の撮影シーンでは、撮影者がＸ方向へカメラを移動させる操作を行うものとする。この場合、Ｙ方向の角速度は微小な値（例えば１ｄｅｇ／ｓｅｃ以下）となる。つまり、Ｙ方向の像面移動量４０３は０ｐｉｘ付近に位置することになるので、Ｙ方向における微小な被写体ベクトルは背景判定閾値４０４の範囲内に含まれる。そのため、被写体に対応するベクトル群４０１が背景ベクトルの候補として誤検出される可能性がある。

図４（Ｃ）は、カメラの加振方向および非加振方向に関係なく像面移動量４０３が背景ベクトルと乖離してしまった場合を例示し、被写体ベクトルの誤検出が発生する場合を示している。角速度をベクトルと比較するために角速度から像面移動量を算出する処理では、角速度に焦点距離を乗算してフレームレートで除算する演算が行われる。ここで、角速度センサ１１１の出力にはセンサ固有のオフセット成分が重畳されているため、例えばカメラを静定させた状態であってもオフセット成分の影響により、角速度が０ｄｅｇ／ｓｅｃになるとは限らない。このオフセット成分は温度変化によっても変動する。また、フレームレートは撮影環境によって低速になる場合があり、その理由について図５を用いて説明する。

図５は流し撮り時の露光前のプログラム線図を示す模式図であり、光量Ｅｖ値、シャッタ速度Ｔｖ値、絞りＡｖ値をそれぞれ示す。露出量Ｅｖ：Ａは日中の快晴での屋外の明るさを示し、露出量Ｅｖ：Ｂは薄暗い室内の明るさを示し、露出量Ｅｖ：Ｃは街灯がある夜景の明るさを示している。像ブレが発生した画像データを用いて動きベクトル検出が行われると、動きベクトル検出の信頼度が低下する可能性がある。そのため、基本的には、シャッタ速度Ｔｖ：Ａ（例えば１／２５０秒）の高速シャッタ速度が設定される。流し撮り時の露光前のプログラム線図は、シャッタ速度優先のプログラム線図として、絞りとＩＳＯ感度で露出調整が行われる。露出量Ｅｖ：Ｂに示すように周囲の明るさが薄暗くなり、絞りを開放にしても適正露出にならない場合には、シャッタ速度Ｔｖ値を変更する制御が行われる。つまり、表示部１４１において低輝度状態での画面が表示されるよりも適正露出に制御にしてカメラとして撮影し易いことが優先されるため、シャッタ速度はＴｖ：ＡからＴｖ：Ｂへと徐々に低速側へ変更される。この際、シャッタ速度に応じてフレームレートも低速側へと変更される。角速度から像面移動量を算出する際には、角速度センサ１１１の出力に含まれるオフセット成分や、フレームレートの低下に伴う像面移動量４０３への算出誤差が問題となる。つまり図４（Ｃ）に示すように、像面移動量４０３が背景ベクトル（４０２）と乖離してしまうと、被写体ベクトル（４０１）の誤検出が発生する可能性がある。

図４（Ｂ）や図４（Ｃ）に示す例において、被写体ベクトルを正しく検出できない場合、本実施形態では、距離取得部１８１（図１）により取得される、画像に関連する距離情報を利用することで、被写体ベクトルの検出精度を向上させることができる。

ここで、図６を用いて距離取得部１８１による画像の距離情報を説明する。撮影された画像内の被写体の距離情報（深度情報）は、奥行き方向における撮像装置と被写体との距離関係を示す情報である。距離取得部１８１による距離情報は、大別して２種類に分類することができ、至近方向の距離５０１と無限方向（無限遠の方向）の距離５０２である。図６は図３の画像に対応する距離マップの例を示し、至近方向の距離５０１はカメラ位置からカメラ側の被写体までの距離であり、無限方向の距離５０２はカメラ位置から背景側の被写体までの距離である。

距離情報の取得には下記の方法がある。
・オートフォーカス用センサ（ＡＦセンサ）を利用する方法
距離取得部１８１は、位相差検出用のＡＦセンサを用いて距離情報を取得する。この場合には、撮像装置がＡＦ専用の検出部を備え、像信号の位相差が検出されて、像ずれ量またはデフォーカス量等を距離情報として取得できる。

・コントラスト方式のＡＦ用評価値を用いる方法
距離取得部１８１は、撮像素子１３３による画像信号からコントラスト検出によりオートフォーカス用の評価値を取得し、当該評価値を用いて距離情報を取得する。

・像面位相差式のＡＦ機能を有する撮像素子を用いる方法
位相差検出機能を有する瞳分割型撮像素子を用いて、撮影レンズを通過する入射光を２方向の光に分けることで一対の像信号が得られる。つまり撮像光学系の異なる瞳部分領域をそれぞれ通過する光を撮像素子の光電変換部が受光する。光電変換後の対をなす像信号の位相差から像ずれ量またはデフォーカス量等を距離取得部１８１が距離情報として取得する。

・撮影者が距離情報を設定した値を取得する方法
撮影者が撮影前に手動で被写体までの距離を設定する設定部を有する構成において、距離取得部１８１は設定部により設定された値を距離情報として取得する。

動きベクトル検出部１５１は、距離取得部１８１により取得された距離情報に基づいて、至近方向の距離５０１に位置する検出ブロックのベクトルのみを抽出する。つまり、図６において、無限方向の距離５０２に位置する検出ブロック（例えば１行１列目の検出ブロック）のベクトルが被写体ベクトルとして扱われないように除外される。図４（Ｂ）に示す例では、カメラの非加振方向において微小な被写体ベクトル候補が背景判定閾値４０４の範囲内に含まれている。このような場合でも、至近方向の距離情報が取得できていれば、フォーカス枠３０３に最も近い検出ブロック５０３（図６）を起点として、同心円状に周囲の至近方向の距離５０１に位置する検出ブロックのベクトルを積算することができる。最も度数の高いベクトルが被写体ベクトルの判定用の閾値４０５未満であったとしても、動きベクトル検出部１５１の検出信頼度が高い場合には、検出されたベクトルを被写体ベクトルとして決定できる。動きベクトル検出部１５１により検出されるベクトルの検出信頼度は、ベクトル検出値と同時に出力される値である。例えば画像情報に特徴点がない場合や、低輝度で画像情報のコントラストが低い場合等に検出信頼度が低い値をとるものとする。つまり、動きベクトル検出部１５１により画像情報を対象として検出し難い場合に取得されるベクトルは検出信頼度が低いと判定される。なお、図４（Ｃ）に示す像面移動量が誤差を有する場合においても同様であり、距離情報を利用することで被写体ベクトルの検出精度が高まる。

被写体ベクトルが決定された後、被写体角速度の算出処理が実行される。焦点距離、フレームレート、および撮像素子の画素ピッチを用いて、角速度［ｄｅｇ／ｓｅｃ］から像面移動量［ｐｉｘ］を算出する処理とは逆の算出処理によって、像面移動量［ｐｉｘ］から角速度［ｄｅｇ／ｓｅｃ］を算出することができる。カメラ制御部１４３は、被写体角速度算出部１６２が算出した被写体の角速度に、交換レンズ１００内の角速度出力部２２２による角速度データを加算した値をレンズ制御部１１２に送信する。カメラ制御部１４３の送信情報は、マウント接点部１４４，１１５を介して交換レンズ１００内のレンズ制御部１１２が受信する。

続いて、流し撮りアシストの第２アシスト機能について説明する。
カメラ本体部１３１内のシャッタ速度算出部１６３は、流し撮りアシスト用のシャッタ速度を算出する。具体的には以下の情報を用いて、（１）式によりシャッタ速度が算出される。
ＴＶ＝α／ｆ／（ωｃ―ωｓ）・・・・・（１）
上式中、
ＴＶ：シャッタ速度、
α：操作部１４２により撮影者が設定する背景の流し効果の設定値、
ｆ：マウント接点部１１５，１４４を介して得られる交換レンズ１００の焦点距離、
ωｃ：カメラ本体部１３１内の角速度センサ１７１により検出される角速度、
ωｓ：被写体角速度算出部１６２により算出される被写体角速度、
である。

背景の流し効果の設定値αは、背景画像の振れ量が像面上移動量で例えば８００μｍ（マイクロメートル）となるように、予め設定される値である。背景の流し効果については小、中、大のように、複数の効果を段階的に設定可能である。撮影者は、流し撮りアシストモードを設定し、背景の流し効果を所望の設定にするだけで、カメラ本体部１３１がシャッタ速度を自動的に設定して制御する。よって、流し撮りに不慣れな撮影者でも簡単にシャッタ速度の設定を行える。

図７〜図９のフローチャートを参照し、流し撮りアシストの制御について説明する。図７は流し撮りアシストの制御に関する全体的な処理の流れを示すフローチャートである。以下の処理は、カメラ制御部１４３およびレンズ制御部１１２の各ＣＰＵが所定の制御プログラムを解釈して実行することにより実現される。

（Ｓ６０１）流し撮りアシストモードの判定処理
カメラ制御部１４３は、操作部１４２で撮影者により流し撮りアシストモードの設定操作が行われたか否かを判定する。流し撮りアシストモードに設定された場合、Ｓ６０２の処理に進み、流し撮りアシストモード以外に設定された場合、流し撮りアシストの制御は行われず、処理を終了する。

（Ｓ６０２）交換レンズ１００の判別処理。
カメラ制御部１４３はカメラ本体部１３１に装着された交換レンズ１００が流し撮りアシストに対応した交換レンズであるか否かを判定する。交換レンズ１００が、流し撮りアシストに対応した交換レンズであると判定された場合、Ｓ６０３に進み、流し撮りアシストに対応していない交換レンズであると判定された場合、Ｓ６０８へ進む。尚、交換レンズ１００が流し撮りアシストに対応しているか否かの判定処理は、レンズ制御部１１２からカメラ制御部１４３へ送信されるレンズ情報の信号に基づいて行われる。

（Ｓ６０３）距離情報取得。
距離取得部１８１は、撮像画像に関連する距離情報を取得する。動きベクトル検出部１５１はベクトルの検出枠３０２を設定する。次にＳ６０４へ進む。

（Ｓ６０４）動きベクトル検出。
動きベクトル検出部１５１は画面内の被写体の動きベクトルを検出し、次にＳ６０５へ進む。

（Ｓ６０５）角速度検出。
角速度センサ１１１により検出される角速度検出信号は、レンズ制御部１１２からカメラ制御部１４３へ送信される。カメラ制御部１４３は振れの角速度検出信号を取得し、次にＳ６０６へ進む。

（Ｓ６０６）像面移動量算出。
カメラ制御部１４３は、Ｓ６０５で取得した角速度を像面移動量へ換算する演算を行う。交換レンズ１００内の角速度センサ１１１により検出される角速度と、撮像光学系の焦点距離と、フレームレートを用いて像面上での移動量（像面移動量）が算出される。次にＳ６０７へ進む。

（Ｓ６０７）被写体角速度算出。
被写体角速度算出部１６２は、Ｓ６０４で検出されたベクトルから判定される主被写体ベクトルから主被写体の角速度を算出する。算出処理の詳細については図８を用いて後で説明する。次にＳ６０８へ進む。

（Ｓ６０８）シャッタ速度算出。
シャッタ速度算出部１６３は、流し撮りアシスト用のシャッタ速度を算出する。算出処理の詳細については図９を用いて後で説明する。次にＳ６０９へ進む。

（Ｓ６０９）像ブレ補正系の駆動。
レンズ制御部１１２は、Ｓ６０７で算出された被写体角速度と、Ｓ６０８で算出された流し撮りアシスト用のシャッタ速度の各データをカメラ制御部１４３から受信し、露光期間中にシフトレンズ群１０４を駆動させる制御量を決定する。ドライバ１１３は決定された制御量にしたがってシフトレンズ群１０４を駆動する。光学的な像ブレ補正系により、カメラのパンニング動作時の角速度と主被写体の角速度との差分が低減される結果、流し撮りの成功確率を高めることができる。その後、図７の処理を終了する。

図８のフローチャートを参照して、図７のＳ６０７に示す被写体角速度の算出処理、および手ブレ補正量の算出処理について説明する。
（Ｓ７０１）ヒストグラム生成。
カメラ制御部１４３は、図７のＳ６０４で検出されたベクトルによりヒストグラム演算を行う。ヒストグラム（図４）が生成された後、次のＳ７０２へ進む。

（Ｓ７０２）フレームレート判定。
カメラ制御部１４３は現在のフレームレートを取得し、予め設定された閾値（Ａと表記する）と比較する。取得されたフレームレートが閾値Ａ以上であると判定された場合、Ｓ７０３に進み、閾値Ａ未満であると判定された場合、Ｓ７０８へ進む。

（Ｓ７０３）オフセット判定。
カメラ制御部１４３は、角速度センサ１１１に重畳されるオフセット成分を予め設定された閾値（Ｂと表記する）と比較する。オフセット成分はレンズ制御部１１２から取得される。オフセット成分が閾値Ｂ以下であると判定された場合、Ｓ７０４に進み、閾値Ｂより大きいと判定された場合、Ｓ７０８へ進む。

（Ｓ７０４）被写体ベクトルの検出可能性の判定。
カメラ制御部１４３は、動きベクトル検出部１５１の検出結果に基づき、被写体ベクトルが検出できているか否かを判定する。被写体ベクトルが検出できていると判定された場合、Ｓ７０５へ進む。被写体ベクトルが検出できていないと判定された場合、Ｓ７０８へ進む。

（Ｓ７０５）被写体ベクトル算出１。
カメラ制御部１４３およびカメラ信号処理回路１３５が行う被写体ベクトル算出処理には２種類あり、Ｓ７０５に示す第１の算出処理と、後述するＳ７１０に示す第２の算出処理である。第１の算出処理では、図３に例示するフォーカス枠３０３の位置に最も近い検出ブロックを起点として、同心円状に検出ブロックを検索する処理が実行され、一定数の被写体ベクトルを積算する処理が行われる。次にＳ７０６へ進む。

（Ｓ７０６）被写体角速度算出。
主被写体が決定されると、被写体角速度算出部１６２は主被写体の角速度を算出する。つまり、図７のＳ６０６で角速度から像面移動量を算出した方法とは逆の方法によって、主被写体の像面移動量から被写体角速度を算出する処理が行われる。次にＳ７０７へ進む。

（Ｓ７０７）被写体振れ補正量算出。
カメラ制御部１４３は、Ｓ７０６で算出された被写体角速度に対し、角速度出力部２２２からカメラ制御部１４３へ送信される角速度の値を加算して、レンズ制御部１１２へ送信する。被写体角速度取得部２２３はカメラ制御部１４３からレンズ制御部１１２へ送信された被写体角速度を取得して減算器２２４に出力する。減算器２２４は、交換レンズ１００内の角速度センサ１１１の角速度と、被写体角速度との差分を演算する。積分器２２５は算出された差分を積分し、被写体の振れ補正制御の目標制御値（被写体振れ補正量）として制御判定部２０４へ出力する。次にリターン処理へ移行する。

（Ｓ７０８）至近方向の距離情報の取得可能性判定。
カメラ制御部１４３は、距離取得部１８１により取得される距離情報に基づいて、図６の至近方向の距離５０１に相当する距離情報が取得できているか否かを判定する。至近方向の距離情報が取得できていると判定された場合、Ｓ７０９へ進む。至近方向の距離情報が取得できていないと判定された場合にはＳ７１１に進み、被写体の振れ補正制御ではなく手ブレ補正制御に切り替わる。

（Ｓ７０９）検出信頼度の判定。
カメラ制御部１４３は、図３に示すフォーカス枠３０３に最も近い検出ブロックを起点として、同心円状に積算する対象である検出ブロックに係るベクトル検出の信頼度を判定する。ベクトル検出の信頼度が高い検出ブロックの数が閾値以上であると判定された場合、Ｓ７１０へ進む。また、ベクトル検出の信頼度が高い検出ブロックの数が閾値未満であると判定された場合にはＳ７１１に進み、被写体の振れ補正制御ではなく手ブレ補正制御に切り替わる。

（Ｓ７１０）被写体ベクトル算出２。
本ステップで第２の算出処理が実行されるのは、Ｓ７０８で至近方向の距離情報が取得できており、且つＳ７０９でベクトル検出の信頼度が高い場合である。この場合、図３のフォーカス枠３０３に最も近い検出ブロックを起点として、同心円状にて周囲の至近方向に位置する検出ブロックのベクトルが積算される。次にＳ７０６へ進む。

（Ｓ７１１）角速度取得。
Ｓ７０２〜７０４、Ｓ７０８、Ｓ７０９で否定的判定結果となった場合に本ステップに移行して手ブレ補正制御に切り替わり、手ブレ補正制御部１２１が制御を行う。交換レンズ１００内の角速度センサ１１１により検出される角速度が取得され、次のＳ７１２へ進む。

（Ｓ７１２）オフセット除去。
レンズ制御部１１２の手ブレ補正制御部１２１は、Ｓ７１１で取得した角速度に重畳しているオフセット成分を除去する。例えば、任意の周波数帯域でその特性を変更し得る機能を有するハイパスフィルタを用いる方法がある。この方法では、角速度に含まれる低周波数成分をハイパスフィルタで遮断してから高周波数帯域の信号を出力することで、角速度に重畳しているオフセット成分が除去される。

（Ｓ７１３）利得・位相算出。
図２の利得位相算出部２０２は、Ｓ７１２でオフセット除去された角速度に対して、フィルタ処理を施す際の利得および位相を算出する。所定のゲインで増幅する増幅器、および位相補償フィルタで構成されたフィルタ回路により、角速度検出信号に対する信号処理が行われた後、次のＳ７１４へ進む。

（Ｓ７１４）手ブレ補正量算出。
図２の積分器２０３は、Ｓ７１３のフィルタ回路によって信号処理された角速度を積分する。積分により得られた角度値は手ブレ補正制御の目標制御値（手ブレ補正量）として、制御判定部２０４に出力される。その後、リターン処理へ移行する。

次に図９のフローチャートを参照して、図７のＳ６０８に示す流し撮り用のシャッタ速度の算出について説明する。

（Ｓ８０１）背景流し量取得。
カメラ制御部１４３は、操作部１４２により撮影者が設定操作を行った背景流し効果の設定値（α）を取得し、次のＳ８０２へ進む。

（Ｓ８０２）焦点距離取得
カメラ制御部１４３は、レンズ制御部１１２から送信される焦点距離の情報を、マウント接点部１１５、１４４を介して取得し、次のＳ８０３へ進む。

（Ｓ８０３）カメラ本体部内の角速度取得。
カメラ制御部１４３は、カメラ本体部１３１内の角速度センサ１７１により検出される角速度（ωｃ）を取得した後、次のＳ８０４へ進む。

（Ｓ８０４）被写体角速度取得。
図８のＳ７０６で演算された被写体角速度（ωｓ）が取得され、次のＳ８０５へ進む。

（Ｓ８０５）シャッタ速度算出。
シャッタ速度算出部１６３は、Ｓ８０１〜Ｓ８０４で取得された各データを用いて、（１）式に基づき、流し撮り用のシャッタ速度（ＴＶ）を算出する。尚、図７のＳ６０２で流し撮りアシストに対応していないレンズがカメラ本体部１３１に装着されていると判定された場合には、角速度センサ１１１により検出される角速度を取得できない。この場合には、図８のＳ７０１のヒストグラムから判別される背景ベクトルにより背景の角速度が算出されて、流し撮り用のシャッタ速度が算出される。または、シャッタ速度算出部１６３にて予めプログラムされた値（例えば１／６０秒）によりシャッタ速度を設定してもよい。または、第２アシスト機能におけるシャッタ速度の設定に関して、ユーザが操作部１４２で自動設定と手動設定を選択できる構成にしてもよい。つまり、流し撮りに習熟している撮影者は、手動でシャッタ速度を任意に設定することができる。また、流し撮りに不慣れな撮影者は自動設定を選択できる。

本実施形態では、シフトレンズの駆動信号を算出するために、被写体ベクトルの検出を精度良く実行することができる。流し撮りアシストにかかわる第１および第２アシスト機能により、背景画像が流れて主被写体の像ブレが低減された、綺麗な流し撮り写真が簡単に撮影可能となる。
以上、本発明の好ましい実施形態について図１に示す撮像装置、所謂ミラーレスカメラを用いて説明したが、本発明は一眼レフカメラやコンパクトデジタルカメラ等にも幅広く適用可能である。

１００ 交換レンズ
１１２ レンズ制御部
１３１ カメラ本体部
１４３ カメラ制御部

Claims (14)

1. 撮像光学系を通して撮像手段により撮像される被写体の画像のブレを、像ブレ補正手段により補正する像ブレ補正装置であって、
   画像に関連する距離情報を取得する取得手段と、
   検出手段により検出される振れの検出信号および撮像された複数の画像から被写体の動き量を算出する算出手段と、
   前記距離情報に基づく至近方向における前記動き量を用いて被写体を決定し、当該被写体の像ブレを補正する制御量を算出して前記像ブレ補正手段を制御する制御手段と、を備える
   ことを特徴とする像ブレ補正装置。
2. 前記制御手段は、
   前記検出信号から算出される像ブレの制御量により前記像ブレ補正手段を制御する第１の制御手段と、
   前記像ブレ補正装置に対する前記被写体の角速度データを算出し、前記被写体の像ブレを補正する制御量を算出して前記像ブレ補正手段を制御する第２の制御手段と、を有する
   ことを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記取得手段は、オートフォーカス用の位相差検出手段による検出信号、または、前記撮像手段による画像信号のコントラストの評価値、または、像面位相差式の撮像素子による画像信号を用いて前記距離情報を取得する
   ことを特徴とする請求項１または請求項２に記載の像ブレ補正装置。
4. 前記距離情報を設定する設定手段を備え、
   前記取得手段は、前記設定手段により設定された前記距離情報を取得する
   ことを特徴とする請求項１または請求項２に記載の像ブレ補正装置。
5. 前記第２の制御手段は、前記撮像光学系の焦点距離、フレームレート、および撮像素子の画素ピッチを用いて、前記被写体の角速度データを算出する
   ことを特徴とする請求項２に記載の像ブレ補正装置。
6. 前記第２の制御手段は、前記フレームレートが閾値より小さく、かつ、至近方向における前記動き量が取得できる場合、画面内の焦点検出枠に最も近い位置を起点として、周囲の至近方向に位置する領域の動き量を積算することで前記被写体の動き量を算出する
   ことを特徴とする請求項５に記載の像ブレ補正装置。
7. 前記第２の制御手段は、前記検出手段による検出信号のオフセットが閾値より大きく、かつ至近方向における前記動き量が取得できる場合、画面内の焦点検出枠に最も近い位置を起点として、周囲の至近方向に位置する領域の動き量を積算することで前記被写体の動き量を算出する
   ことを特徴とする請求項５に記載の像ブレ補正装置。
8. 至近方向における前記動き量が取得できない場合、前記第１の制御手段が前記像ブレ補正手段を制御する
   ことを特徴とする請求項６または請求項７に記載の像ブレ補正装置。
9. 流し撮りを支援するモードを設定する設定手段を備え、
   前記モードが設定された場合、前記第２の制御手段が前記像ブレ補正手段を制御し、前記モードが設定されない場合、前記第１の制御手段が前記像ブレ補正手段を制御する
   ことを特徴とする請求項２に記載の像ブレ補正装置。
10. 前記像ブレ補正手段は、前記被写体からの光の結像位置を変更することにより像ブレを補正する補正レンズを備える
    ことを特徴とする請求項１乃至９のいずれか１項に記載の像ブレ補正装置。
11. 請求項１乃至１０のいずれか１項に記載の像ブレ補正装置と、
    前記撮像手段を備える
    ことを特徴とする撮像装置。
12. 撮像装置の振れを検出する振れ検出手段と、
    流し撮りを支援するモードを設定する設定手段と、
    前記モードが設定された場合、前記振れ検出手段による検出信号および被写体の角速度から流し撮り用のシャッタ速度を算出してシャッタ制御を行う制御手段と、を備える
    ことを特徴とする請求項１１に記載の撮像装置。
13. 請求項１１または請求項１２に記載の撮像装置の本体部に装着可能なレンズ装置であって、
    前記像ブレ補正手段と、
    レンズ装置の振れを検出する前記検出手段と、
    前記検出手段による検出信号と、前記撮像装置の本体部から取得した撮像装置に対する被写体の角速度データとの差分から前記制御量を算出して前記像ブレ補正手段を制御する制御手段と、を備える
    ことを特徴とするレンズ装置。
14. 撮像光学系を通して撮像手段により撮像される被写体の画像のブレを、像ブレ補正手段により補正する像ブレ補正装置にて実行される制御方法であって、
    画像に関連する距離情報を取得する工程と、
    検出手段により検出される振れの検出信号および撮像された複数の画像から被写体の動き量を算出する工程と、
    前記距離情報に基づく至近方向における前記動き量を用いて被写体を決定し、当該被写体の像ブレを補正する制御量を算出して前記像ブレ補正手段を制御する工程と、を有する
    ことを特徴とする像ブレ補正装置の制御方法。
    
    
    
    

Images