JP2019117977A - 防振制御装置、撮像装置、撮像システム、制御方法及びプログラム - Google Patents

Abstract

【課題】シャッタ速度に応じた好適な振れ補正を実現する。【解決手段】防振制御装置は、撮像装置において行われる撮像に係るシャッタ速度の情報を取得し、撮像装置に生じた振れを各々異なる補正方式の第１の補正手段及び第２の補正手段に補正させるよう制御する。防振制御装置は、情報取得がなされたシャッタ速度に応じて、第１の補正手段及び第２の補正手段への振れの補正の割り当てを異ならせる。【選択図】図２

Description

本発明は、防振制御装置、撮像装置、撮像システム、制御方法及びプログラムに関し、特に複数種類の方式を用いて撮像装置に生じた振れの影響を補正する技術に関する。

近年のデジタルカメラやビデオカメラ等の撮像装置には、装置に生じた振れによる撮像画像への影響を補正する機能が採用されており、該機能を使用することで、良好な画質の撮像画像の提供を可能ならしめている。

撮像装置に生じた振れを検出してその影響を補正する方式には、種々の方式があり、各々異なる機構やソフトウェアにより実現される。例えば、光学式振れ補正方式として、振れに起因する像振れ（撮像素子に結像される光学像の位置のずれ）を補正すべく、撮像光学系に備えられた防振レンズ機構を駆動させることで、像振れを低減する方式がある。また例えば、電子式振れ補正方式として、撮像画像として出力される（抽出される）領域を撮像素子の有する画素の一部とし、振れに応じて該抽出領域の位置を調整することで、連続して出力される撮像画像における被写体像の位置を安定させる方式もある。

撮像装置の中には、このような光学式振れ補正方式と電子式振れ補正方式の双方を採用することで、各々の特性を考慮した振れ補正を可能ならしめるものもある（特許文献１）。

特許第４５１８１９７号公報

特許文献１に記載される撮像装置では、検出された振れを高周波成分と低周波成分とに分類し、光学式振れ補正によって高周波成分の振れに対応する補正を行い、電子式振れ補正によって低周波成分の振れに対応する補正を行うよう構成されている。

ところで、特に電子式振れ補正による防振性能は、撮像条件によっては好適に実現されない可能性があった。より詳しくは、例えばシャッタ速度が低速になる低照度条件下等においては、露光中に光学像の結像位置がずれることによって被写体像がボケる、所謂「蓄積振れ」が生じ得るため、切り出し領域の調整を行ったとしても好適な画像が得られない可能性があった。即ち、切り出し領域の調整を行ったとしても、このようなシャッタ速度が低速になる撮像条件においては、撮像された画像信号がそもそも蓄積振れの影響を含んでいるため、好適な出力とならない可能性があった。特許文献１に記載の撮像装置でも、このような撮像条件については何らの考慮もなされていなかった。

本発明は、上述の問題点に鑑みてなされたものであり、シャッタ速度に応じた好適な振れ補正を実現する防振制御装置、撮像装置、撮像システム、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の防振制御装置は、撮像装置に生じた振れを検出する検出手段と、撮像装置において行われる撮像に係るシャッタ速度の情報を取得する取得手段と、検出手段により検出された振れを、各々異なる補正方式の第１の補正手段及び第２の補正手段に補正させるよう制御する制御手段と、を有し、制御手段は、取得手段により情報取得がなされたシャッタ速度に応じて、第１の補正手段及び第２の補正手段への振れの補正の割り当てを異ならせることを特徴とする。

このような構成により本発明によれば、シャッタ速度に応じた好適な振れ補正を実現することが可能となる。

本発明の実施形態１及び変形例に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態１及び変形例に係る振れ補正機能の構成を示したブロック図 本発明の実施形態及び変形例に係る、角速度信号の分離を説明するための図 本発明の実施形態１及び変形例に係る、周波数分離部２０３において設定される分離周波数を説明するための図 本発明の実施形態１に係るデジタルカメラ１００において実行される防振制御処理を例示したフローチャート 本発明の実施形態２に係る撮像システム６００の機能構成を示したブロック図 本発明の実施形態２に係る振れ補正機能の構成を示したブロック図 本発明の実施形態２に係る撮像システム６００において実行される防振制御処理を例示したフローチャート

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、防振制御装置の一例としての、発生した振れを検出し、該振れに起因する撮像画像への影響を２種類の方式の補正を行うことにより低減可能なデジタルカメラ１００に、本発明を適用した例を説明する。しかし、本発明は、撮像装置に生じた振れを検出し、該振れに起因する撮像画像への影響を、複数の方式の補正を行うことにより低減することが可能な任意の機器に適用可能である。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。本実施形態では、デジタルカメラ１００はレンズ一体型の態様を示し、静止画像及び動画像の撮影に対応しているものとする。

ズームユニット１０１は、撮像設定のうちの焦点距離を変更するズームレンズ、及びその駆動機構、位置検出センサ等を含むレンズユニットである。ズームユニット１０１において、ズームレンズが光軸方向に移動されることで焦点距離が変化し、後述の撮像部１０９の撮像素子に結像される光学像が変化する。ズームユニット１０１における駆動制御は、ズーム駆動制御部１０２により行われる。ズーム駆動制御部１０２は、ズームレンズの駆動制御を行うため、光軸上におけるズームレンズの位置（ズーム位置）も検出可能に構成される。

振れ補正レンズユニット１０３は、本実施形態のデジタルカメラ１００において、デジタルカメラ１００に生じた振れによる影響（像振れ）を補正する１つの構成である。振れ補正レンズユニット１０３は、振れに起因して生じる、撮像素子上における被写体の光学像の結像位置のずれ（像振れ）を補正するための振れ補正レンズ（シフトレンズ）、及びその駆動機構、位置検出センサ等を含む。振れ補正レンズユニット１０３において、シフトレンズが光軸に直交する方向に移動されることで、被写体に係る光学像の結像位置が維持されるよう、像振れの補正が行われる。シフトレンズの移動は、光軸に直交する方向の成分を有していればよく、特に移動方向は限定されない。振れ補正レンズユニット１０３における駆動制御は、光学式振れ補正制御部１０４により行われる。より詳しくは光学式振れ補正制御部１０４は、補正に係り決定した駆動量の情報（駆動信号）を振れ補正レンズユニット１０３に送出することで、駆動制御を行う。本実施形態において振れ補正レンズユニット１０３及び光学式振れ補正制御部１０４は、本発明に係る第１の補正手段としての、像振れを光学的に補正する光学式振れ補正方式の補正機能を実現する。

絞り・シャッタユニット１０５は、絞りとシャッタとが一体となって構成されるユニットである。絞りは、撮像部１０９に入射する光量を調節し、シャッタは開閉によって露出量を制御する。絞り・シャッタユニット１０５の駆動制御は、絞り・シャッタ駆動制御部１０６により行われる。

フォーカスユニット１０７は、焦点調節を行うフォーカスレンズ、及びその駆動機構、位置検出センサ等を含むレンズユニットである。フォーカスユニット１０７において、フォーカスレンズが光軸方向に移動されることで、撮像素子に結像される光学像の焦点状態が変化する。フォーカスユニット１０７駆動制御は、フォーカス駆動制御部１０８により行われる。

なお、ズームユニット１０１、振れ補正レンズユニット１０３、絞り・シャッタユニット１０５及びフォーカスユニット１０７により撮像光学系は構成され、被写体からの反射光が該撮像光学系を介してデジタルカメラ１００内に入射する。

撮像部１０９は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を含み、撮像光学系によって素子の撮像面に形成された光学像を光電変換することで、撮像画像に係るアナログ画像信号（電気信号）を出力する。なお、撮像感度は、例えば、撮像素子に蓄積される信号電荷の検出感度、もしくは不図示の増幅回路の増幅利得などを変化させることで変更可能であり、制御部１１９により制御される。

撮像信号処理部１１０は、Ａ／Ｄ変換処理や現像処理等、撮像部１０９により出力された電気信号を映像信号に変換する処理を行う。また撮像信号処理部１１０により変換された映像信号は、映像信号処理部１１１により用途に応じて加工される。表示部１１２は、例えばＬＣＤ等の表示装置であり、映像信号処理部１１１により出力された信号（出力信号）に基づいて、必要に応じて画像表示を行う。表示部１１２は、撮像によって出力された信号をスルー表示することで、電子ビューファインダとして機能する。

電源部１１３は、デジタルカメラ１００が有する各ブロックの動作に必要な電源を供給する。外部入出力端子部１１４は、外部との間で通信信号及び映像信号の入出力を行う。振れ検出部１１７は、角速度センサ等により構成され、デジタルカメラ１００に振れが生じると、回転方向（ピッチ方向、ヨー方向、及びロール方向）ごとにその振れ量を検出し、出力する。

電子式振れ補正制御部１１８は、本実施形態のデジタルカメラ１００において、デジタルカメラ１００に生じた振れによる影響を補正する１つの構成である。電子式振れ補正制御部１１８は、撮像部１０９により連続して撮像された画像信号のうちから、一定の被写体像が現れている領域の信号を抽出して出力信号として出力させるように、映像信号処理部１１１を制御することで振れ補正を実現させる。換言すれば、電子式振れ補正制御部１１８は、出力信号に係る画像中において、特定の撮像範囲の被写体像が現れるように映像信号処理部１１１の動作を制御することで、振れ補正を行う。このため、例えば補正を行うモードにおいては、撮像素子により光電変換される撮像範囲の画角と、出力信号に対応する範囲の画角とは後者が小さく設定されており、映像信号処理部１１１に入力される画像信号には、出力されない余剰画素が含まれる。即ち、映像信号処理部１１１は、余剰画素を含む範囲を出力画像に係る領域の抽出に使用可能であり、当該範囲（可動範囲）で振れの補正を実現できる。従って、本実施形態において電子式振れ補正制御部１１８及び映像信号処理部１１１は、本発明に係る第２の補正手段としての、像振れを電子的に補正する電子式振れ補正方式の補正機能を実現する。

制御部１１９は、例えばマイクロコンピュータであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１１９は、例えば記憶部１１６に記憶されている各ブロックの動作プログラムを読み出し、不図示のメモリに展開して実行することにより各ブロックの動作を制御する。ここで、記憶部１１６は、例えば不揮発性メモリであり、各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。また記憶部１１６は、出力信号（映像情報）やデジタルカメラ１００の動作に係る種々のデータの記憶可能に構成されていてよい。本実施形態では、光学式振れ補正制御部１０４及び電子式振れ補正制御部１１８は、制御部１１９とは別の構成として説明するが、これらの構成は制御部１１９により実現されるものであってもよい。

操作部１１５は、例えばシャッタレリーズボタンやスイッチ等の、デジタルカメラ１００が有するユーザインタフェースである。操作部１１５は、ユーザインタフェースに対する操作入力がなされたことを検出すると、対応する制御信号を制御部１１９に出力する。

例えば操作部１１５は、振れによる補正を行うモード（振れ補正モード）の実行有無を切り替え可能に構成された振れ補正スイッチを含む。振れ補正スイッチにより振れ補正モードを実行させる状態にある場合、制御部１１９は、光学式振れ補正制御部１０４及び電子式振れ補正制御部１１８に対応する動作を行わせるよう制御を行う。該制御において、光学式振れ補正及び電子式振れ補正の有効／無効の設定は、それぞれ個別に行えるものであってよい。

また例えば操作部１１５は、静止画撮影モード及び動画撮影モードのうちから、いずれの撮影モードを実行させるかを選択可能な撮影モード選択スイッチを含む。撮影モード選択スイッチの操作によりいずれかの撮影モードが選択されると、制御部１１９はモードに応じて、ズームユニット１０１、光学式振れ補正制御部１０４、絞り・シャッタユニット１０５、フォーカスユニット１０７を動作させるよう制御する。

また例えば操作部１１５は、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にＯＮするように構成されたシャッタレリーズボタンを含む。操作部１１５は、シャッタレリーズボタンが約半分押し込まれたときに、スイッチＳＷ１がＯＮになったことを示すＳＷ１信号を出力し、シャッタレリーズボタンが最後まで押し込まれたときに、スイッチＳＷ２がＯＮになったことを示すＳＷ２信号を出力する。

ＳＷ１信号が出力されると、フォーカス駆動制御部１０８が、フォーカスユニット１０７を駆動してピント調節を行うとともに、絞り・シャッタ駆動制御部１０６が、絞り・シャッタ１０５を駆動して適正な露光量に設定する。続いてＳＷ２信号が出力されると、撮像部１０９に露光された光学像に基づく画像データが記憶部１１６に記憶される。

また例えば操作部１１５は、動画記録スイッチを含む。動画記録スイッチが押下げられると、動画撮影が開始され、記録中に再度スイッチが押されると、記録が終了する。なお、動画撮影中にも、ユーザがシャッタレリーズボタンを押下することで、静止画撮影を行うことが可能である。

また例えば操作部１１５は、再生モードを選択するための再生モード選択スイッチを含む。再生モード選択スイッチによって再生モードが選択された時には、制御部１１９は、振れ補正に係る動作を停止させる。このとき、振れ補正レンズユニット１０３のアクチュエータへの通電を切ってもよいし、アクチュエータへ通電して所定位置に固定するように制御してもよい。

また例えば操作部１１５は、ズーム倍率の変更を指示するための変倍スイッチを有する。変倍スイッチが操作されることによりズーム倍率の変更指示がなされると、制御部１１９を介して動作指示を受けたズーム駆動制御部１０２が、ズームユニット１０１を駆動して、指示されたズーム位置にズームユニット１０１（ズームレンズ）を移動させる。

〈振れ補正機能に係る構成〉
次に、本実施形態のデジタルカメラ１００により実現される振れ補正機能（防振機能）に係る構成について、図２のブロック図を参照して説明する。なお、図２の例では、本機能の実現に係る各種ブロックが光学式振れ補正制御部１０４によって実現されるものとして示されているが、本発明の実施はこれに限られるものではない。即ち、機能実現に係る各種ブロックは、電子式振れ補正制御部１１８または制御部１１９により実現されるものであってもよいし、光学式振れ補正制御部１０４、電子式振れ補正制御部１１８及び制御部１１９の一部または全部が共働することで実現されてもよい。

振れ検出部１１７によりデジタルカメラ１００に生じた振れに係る角速度信号が出力されると、該信号はＡ／Ｄ変換部２０１においてデジタルデータに変換される。本実施形態では、振れ検出部１１７が有する角速度センサは、角速度信号をアナログ信号として出力するものとして説明するが、センサ自体にＡ／Ｄ変換機能が備わっているものであってもよい。Ａ／Ｄ変換部２０１によりデジタルデータに変換された角速度信号は、振れ量の出力値のばらつきを低減するために、ジャイロゲイン部２０２において出力調整が行われ、周波数分離部２０３に出力される。

周波数分離部２０３は、本発明に係る第１の閾値としての周波数を基準に、入力された角速度信号を、該閾値よりも高い周波数成分の振れを示す高周波角速度信号と、該閾値よりも低い周波数成分の振れを示す低周波角速度信号とに分離して出力する。より詳しくは、周波数分離部２０３は、制御部１１９から入力された、絞り・シャッタ駆動制御部１０６の制御に係るシャッタスピードの情報に基づいて、閾値とする周波数を決定し、該閾値に基づいて角速度信号の分離を行う。

ここで、周波数分離部２０３の構成例を図３に示す。周波数分離部２０３が例えば図３（ａ）のように構成される場合、入力された角速度信号（入力角速度信号）がハイパスフィルタ（ＨＰＦ）３０１に入力されることにより、閾値よりも高い周波数成分の振れを示す高周波角速度信号が抽出されて出力される。また、該高周波角速度信号は減算器３０２にも出力され、減算器３０２において入力角速度信号から高周波角速度信号が減算されることにより、低周波角速度信号が出力される。また周波数分離部２０３が例えば図３（ｂ）のように構成される場合、入力角速度信号がローパスフィルタ（ＬＰＦ）３０３に入力されることにより、閾値よりも低い周波数成分の振れを示す低周波角速度信号が抽出されて出力される。同様に、該低周波角速度信号は減算器３０４に出力され、減算器３０４において入力角速度信号から低周波角速度信号が減算されることにより、高周波角速度信号が出力される。

本実施形態の周波数分離部２０３では、入力角速度信号を高周波角速度信号と低周波角速度信号とに分離する閾値（分離周波数：カットオフ周波数）は、詳細は後述するがシャッタスピードに応じて変化させることが可能に構成される。例えば、周波数分離部２０３が図３（ａ）である態様において、ＨＰＦ３０１の周波数対ゲインの特性は図３（ｃ）に示されるようになっていてよい。図示されるように、ＨＰＦ３０１のカットオフ周波数をｆ０（基準分離周波数）からｆ１（＜ｆ０）に変更することにより、高周波角速度信号の周波数帯域を低周波側にシフトすることができる。また例えば、周波数分離部２０３が図３（ｂ）である態様において、ＬＰＦ３０３の周波数対ゲインの特性は図３（ｄ）に示されるようになっていてよい。図示されるように、ＬＰＦ３０３のカットオフ周波数をｆ０（基準分離周波数）からｆ１（＜ｆ０）に変更することにより、低周波角速度信号の周波数帯域を低周波側にシフトすることができる。高周波角速度信号は、入力信号と低周波角速度信号との差分であるため、低周波角速度信号の周波数帯域を低周波側にシフトすることは、即ち高周波角速度信号の周波数帯域を低周波側にシフトすることと等価である。このようにカットオフ周波数を低周波数側にシフトさせることにより、低周波角速度信号を減衰させ、その減衰した低周波角速度成分を高周波角速度信号に割り当てることができる。

このように入力角速度信号を分離すると、周波数分離部２０３は、分離した高周波角速度信号を積分器２０４に、低周波角速度信号を積分器２０６に出力する。

積分器２０４及び振れ補正量算出部２０５は、周波数分離部２０３から出力された高周波角速度信号に基づいて、振れ補正レンズユニット１０３における補正動作に係る振れ補正量を導出する。積分器２０４は、任意の周波数帯域でその特性を変更し得る機能を有しており、周波数分離部２０３から入力された高周波角速度信号を積分する。積分器２０４における積分処理にあたり、パンニング処理部２０８が周波数分離部２０３の出力または積分器の出力に応じて、積分器２０４の時定数を基準時定数（最初に設定される時定数）から変更する処理を行う。これは積分器２０４の時定数が長い場合、大きくなった出力がゼロ付近に収束するまでに長い時間を要してしまい、その間に振れ補正が補正限界に達してしまう可能性があることによる。即ち、パンニング処理部２０８は、積分器２０４の出力が早くゼロ付近に収束するように、積分器２０４の時定数を制御している。

振れ補正量算出部２０５は、積分器２０４の出力信号に基づき、光学式の振れ補正に係る振れ補正レンズユニット１０３の補正量を導出する。なお、シフトレンズによって補正可能な像振れは、ズーム設定によって補正量の上限が変化する。故に、本実施形態において振れ補正量算出部２０５は、ズーム駆動制御部１０２から出力されるズーム倍率の情報に基づいて、光学式振れ補正に係る補正可能範囲を特定する。そして振れ補正量算出部２０５は、入力された高周波角速度信号に敏感度を掛け、シフトレンズが補正可能範囲の内側で駆動されるよう、高周波角速度信号に基づいて決定した補正量に制限を設けて最終的な補正量の導出を行う。光学式振れ補正制御部１０４は、該導出した補正量に基づいて、振れ補正レンズユニット１０３の駆動制御を行う。

一方、積分器２０６及び振れ補正量算出部２０７は、周波数分離部２０３から出力された低周波角速度信号に基づいて、映像信号処理部１１１における補正動作に係る振れ補正量を導出する。積分器２０６は、任意の周波数帯域でその特性を変更し得る機能を有しており、周波数分離部２０３から入力された低周波角速度信号を積分する。積分器２０４と同様に、積分器２０６における積分処理にあたり、パンニング処理部２０８が積分器２０６の時定数を制御する処理を行う。

振れ補正量算出部２０７は、積分器２０６の出力信号に基づき、電子式の振れ補正に係る映像信号処理部１１１の補正量を導出する。振れ補正量算出部２０５と同様に、振れ補正量算出部２０７も、電子式の振れ補正によって補正可能な像振れの補正量上限が、ズーム設定によって変化する。故に、本実施形態において振れ補正量算出部２０７は、ズーム駆動制御部１０２から出力されるズーム倍率の情報に基づいて、電子式振れ補正に係る補正可能範囲、即ち可動範囲を特定する。そして振れ補正量算出部２０７は、出力信号に係る領域が可動範囲の内側で抽出を行うよう、入力された低周波角速度信号に基づいて決定した補正量に制限を設けて最終的な補正量（抽出領域のシフト量）の導出を行う。光学式振れ補正制御部１０４は、該導出した補正量を電子式振れ補正制御部１１８に伝送し、電子式振れ補正制御部１１８に該補正量に基づく映像信号処理部１１１の制御を行わせる。

以上、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

《補正割り当ての変更》
上述したように本実施形態のデジタルカメラ１００では、光学式の振れ補正と電子式の振れ補正とを併用して、デジタルカメラ１００に生じる像振れを補正（低減）する。より詳しくは、本実施形態のデジタルカメラ１００では、撮像環境の条件あるいは撮像設定に応じて２種類の補正方式それぞれへの補正の割り当て量（周波数帯域）を変更することで、振れ補正を行う。

上述したように、低照度の環境下等においての撮像では、シャッタ速度が低速となり露光時間が長くなるため、露光中における蓄積振れの発生が目立ちやすくなる。蓄積振れは、振れの量が大きい場合や振れの周波数が高い場合に、撮像画像により顕著に現れる。換言すれば、露光時間が長くなることで、振れによって被写体の光学像が撮像素子上に結像される位置が露光期間中変化し得、結果、撮像された画像信号において既に被写体像がボケたような状態となっている。このため、該画像信号から抽出して電子的な振れ補正を行ったとしても好適な振れ補正がなされない。

従って、本実施形態のデジタルカメラ１００では、例えば動画撮影時やスルー表示時において露光時間が長くなる場合に、周波数分離部２０３の分離周波数を、シャッタ速度が高速もしくは通常の状態である場合よりも低周波数側にシフトする。例えば図４（ａ）に示されるように、周波数分離部２０３はシャッタスピード（Ｔｖ）に応じて分離の基準となる閾値（分離周波数）を変更可能に構成されるものであってよい。図４（ａ）の例では、シャッタスピードが所定の値Ｔｈ１（例えば１／６０）より速い場合、分離周波数は、通常の光学式振れ補正と電子式振れ補正の割り当てに係る基準分離周波数ｆ０（例えば５Ｈｚ）に設定される。また撮像環境がより低照度で、さらに低速のシャッタスピード（例えば１／１５）になった場合には、分離周波数はｆ１（例えば３Ｈｚ）に変更される。同様にさらに閾値Ｔｈ２よりも低速のシャッタスピード（例えば１／４以下）になった場合には、分離周波数はｆ２（例えば１Ｈｚ）に変更される。これにより、電子式の振れ補正に割り当てる周波数帯を、低周波数側にシフトさせて高周波数帯に係る補正を減衰させ、一方で光学式の振れ補正に、より低周波数帯の振れを補正させるよう割り当てることで、蓄積振れを目立ち難くする。

即ち、本実施形態のデジタルカメラ１００では、シャッタ速度が低速となる場合には、シャッタ速度が高速もしくは通常の状態である場合よりも、光学式の振れ補正によって補正を行う周波数帯を低周波数側まで拡張することで蓄積振れの発生を低減する。一方で、電子式の振れ補正については過補正とならぬよう、シャッタ速度が高速もしくは通常の状態である場合よりも、電子式の振れ補正によって補正を行う周波数帯を狭くする。このような補正割り当ての変更により、本実施形態のデジタルカメラ１００では、シャッタ速度に応じた好適な像振れの補正を行うことができる。

《防振制御処理》
このような構成をもつ本実施形態のデジタルカメラ１００において実行される防振制御処理について、図５のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１１９が、例えば記憶部１１６に記憶されている対応する処理プログラムを読み出し、不図示のメモリに展開して実行することにより実現することができる。本防振制御処理は、例えばデジタルカメラ１００において振れ補正モードが設定された状態で、スルー表示もしくは動画撮影が行われる際に開始されるものとして説明する。

Ｓ５０１で、制御部１１９は、撮像に係るシャッタスピードＴｖを導出する。シャッタスピードは、例えば撮影環境の解析に基づいて制御部１１９が決定し、絞り・シャッタ駆動制御部１０６に供給されるものであってもよいし、絞り・シャッタ駆動制御部１０６から取得されるものであってもよい。また、本ステップにおいて導出されるシャッタスピードは、撮像を行うフレームに係り決定されたものに限られず、例えば直近５フレームの移動平均値により導出されるものであってもよい。

Ｓ５０２で、Ａ／Ｄ変換部２０１及びジャイロゲイン部２０２は、振れ検出部１１７により検出された振れに係るアナログ角速度信号に基づき、本フレームに係り補正するデジタル角速度信号を取得する。

Ｓ５０３で、周波数分離部２０３は、Ｓ５０１において導出されたシャッタスピードに基づき、角速度信号の分離周波数を設定する。分離周波数の決定は、例えば図４（ａ）に示したように、シャッタスピードに係る閾値と導出されたシャッタスピードとの比較により行われるものであってよい。図４（ａ）の例では、分離周波数は、シャッタスピードが閾値Ｔｈ１よりも速い場合には基準分離周波数であるｆ０に設定され、閾値Ｔｈ２よりも速く閾値Ｔｈ１以下である場合にはｆ１を分離周波数に設定され、閾値Ｔｈ１以下である場合にはｆ２に設定される。なお、本実施形態ではシャッタスピードに閾値を設けて、該閾値との比較により分離周波数を設定するものとして説明するが、本発明の実施はこれに限られるものではない。上述した通り、シャッタ速度が低速になるほど露光時間は長期化し、結果として出力信号における蓄積振れによる影響が顕在化し得るものであるため、本発明の実施においては、シャッタ速度が低速になるほど分離周波数を低くするものであってもよい。

Ｓ５０４で、制御部１１９は、振れ補正モードが解除されたか否かを判断する。制御部１１９は、振れ補正モードが解除されたと判断した場合は本防振制御処理を完了し、解除されていないと判断した場合は処理をＳ５０１に戻し、次フレーム（あるいは次のシャッタスピード判断を行うフレーム）について同様の処理を繰り返す。

このようにすることで、本実施形態の防振制御装置によれば、シャッタ速度に応じて光学式の振れ補正と電子式の振れ補正への補正量の割り当てを変更することができるため、より撮像条件を考慮した好適な像振れ補正を実現することができる。

［変形例］
上述した実施形態では、図４（ａ）に示した通り、シャッタスピードごとの分離周波数が予め定められており、入力されたシャッタスピードに基づいて周波数分離部２０３が設定を異ならせるものとして説明したが、本発明の実施はこれに限られるものではない。

補正割り当ての変更は、シャッタスピードだけでなく、その他の撮像設定等を考慮して決定されるものであってもよい。例えば、焦点距離及びズーム倍率の少なくともいずれかに応じて、光学式の振れ補正及び電子式の振れ補正が可能な補正量が定まるため、これを考慮して補正割り当ての変更は行われるものであってもよい。より詳しくは、焦点距離及びズーム倍率の少なくともいずれかに応じて映像信号処理部１１１における補正の可動範囲が定まるため、周波数分離部２０３は該可動範囲に基づいて電子式振れ補正制御部１１８に割り当てることが可能な周波数帯を特定すればよい。

このとき、低速と判断するシャッタスピードでは蓄積振れによる影響が生じ得るため、映像信号処理部１１１における可動範囲を、シャッタスピードに応じて、焦点距離及びズーム倍率の少なくともいずれかに基づいて定まる上限以下に狭めるものとする。可動範囲の変更は、例えば図４（ｂ）に示されるように、上限の可動範囲のうちの余剰画素を電子式の振れ補正にどの程度使用するか（使用率）を、シャッタスピードに応じて決定するものであってよい。図４（ｂ）の例では、シャッタスピードが所定の値Ｔｈ１より速い場合には、焦点距離及びズーム倍率の少なくともいずれかに応じて定まる可動範囲（上限）の全てを振れ補正に使用するものとして決定される。これに対し、シャッタスピードがＴｈ１から低速になるにつれて、可動範囲の使用率を５０％、２５％・・・と低下させ、電子式の振れ補正により行われる補正度合いが小さくなるよう制御される。可動範囲が変更された場合、当該範囲で補正不能な周波数帯の角速度信号については振れ補正レンズユニット１０３により補正すべく、周波数分離部２０３は、変更後の可動範囲の制限の情報に基づいて、分離周波数を変更して設定すればよい。

このようにすることで、映像信号処理部１１１において許容可能な補正量を踏まえた上で、電子式振れ補正制御部１１８に補正を割り当てる周波数成分をより好適に決定することができる。

［実施形態２］
上述した実施形態１及び変形例では、レンズ一体型のデジタルカメラ１００に本発明を適用した態様について説明したが、本発明の実施はこれに限られるものではなく、レンズを交換可能に構成された撮像装置であっても実施可能であることは言うまでもない。即ち、光学式の振れ補正を行う構成と電子式の振れ補正を行う構成とが、一体となって使用される異なる装置に各々備えられるものであっても、本発明は実施可能である。

以下、本実施形態ではカメラ本体と交換レンズとで構成される撮像システムにおいて、本発明を実施する態様について説明する。なお、本実施形態の撮像システムでは、上述したシフトレンズ駆動により行われる光学式振れ補正、及び撮像画像からの抽出領域の制御により行われる電子式振れ補正に加え、さらに撮像素子の位置及び回転を制御することにより行われる振れ補正機能を含む。

《撮像システム６００の構成》
まず、本実施形態の撮像システム６００の機能構成について、図６のブロック図を参照して説明する。なお、撮像システム６００の構成において、実施形態１のデジタルカメラ１００と同様の構成については同一の参照番号を付して説明を省略し、以下では本実施形態の撮像システム６００の特徴的な構成について説明する。

図６において撮像システム６００は、交換レンズ６１０とカメラ本体６２０とが接続されることにより構成される。交換レンズ６１０とカメラ本体６２０とは、各々が有するマウント接点部６１１、マウント接点部６２１が接触されることにより、情報通信が可能に構成されるものとする。

交換レンズ６１０は、交換レンズ６１０の有する各ブロックを制御するために、カメラ本体６２０とは独立したレンズ制御部６１２を有する。レンズ制御部６１２は、不図示の記憶部に格納された各ブロックの動作プログラムをメモリに展開して実行することにより、各ブロックの動作を制御するものであってよい。また交換レンズ６１０は、カメラ本体６２０とは別にレンズ振れ検出部６１３を有し、単体で振れの発生を検出可能に構成される。レンズ振れ検出部６１３は振れ検出部１１７と同様の構成であってよく、角速度センサ等により構成され、交換レンズ６１０もしくはカメラ本体６２０に生じた振れを検出し、その振れ量を出力する。従って、交換レンズ６１０は、単体で振れ補正機能を実現可能に構成されており、マウント接点部６１１及び６２１を介することで、振れ補正に係る各種制御量等を制御部１１９に伝送することも可能である。なお、交換レンズ６１０の駆動に係る電源は、カメラ本体６２０の電源部１１３から、マウント接点部６１１及び６２１を介して供給されるものであってよい。

一方、本実施形態のカメラ本体６２０では、撮像部１０９は、光軸中心に回動可能であり、かつ光軸と直交する方向に移動可能に構成された撮像素子及びその駆動機構と状態検出センサ等を有する。撮像素子の駆動制御は、撮像振れ補正制御部６２２により行われる。即ち、撮像素子と撮像振れ補正制御部６２２とは、本実施形態の撮像システム６００において、撮像システム６００に生じた振れに依る像振れを補正する１つの構成である。撮像振れ補正制御部６２２は、振れに起因して生じる、撮像素子上における被写体の光学像の結像位置のずれ及び回転を補正するよう撮像素子を駆動させることにより、像振れの補正を行う。従って、本実施形態において撮像素子及び撮像振れ補正制御部６２２は、本発明に係る第３の補正手段としての、像振れを機械的に補正する機械式振れ補正方式の補正機能を実現する。

なお、本実施形態ではカメラ本体６２０と交換レンズ６１０のそれぞれに振れ検出部１１７、レンズ振れ検出部６１３が含まれる。従って、カメラ本体６２０と交換レンズ６１０にて、各々が有する振れ検出部の出力を用いて振れ補正に係る駆動制御が行われるものであってもよいし、いずれか一方の振れ検出部の出力を共有し、両装置の振れ補正に係る駆動制御が行われるものであってもよい。本実施形態では、実施形態１と同様に光学式振れ補正制御部１０４が主体となって補正割り当ての変更を含む防振制御処理を行うため、交換レンズ６１０の有するレンズ制御部６１２によって出力される振れ量の情報が、両装置の制御に用いられるものとする。また絞り・シャッタユニット１０５及び絞り・シャッタ駆動制御部１０６はカメラ本体６２０が備えるため、シャッタスピードの情報は制御部１１９により、マウント接点部６１１及び６２１を介して光学式振れ補正制御部１０４に供給されるものとする。

〈振れ補正機能に係る構成〉
続いて、本実施形態の撮像システム６００により実現される振れ補正機能に係る構成について、図７のブロック図を参照して説明する。なお、図７の例では実施形態１と同様に、本機能の実現に係る各種ブロックが光学式振れ補正制御部１０４によって実現されるものとして説明するが、本発明の実施はこれに限られるものではない。また、本実施形態の振れ補正機能に係る構成の説明において、実施形態１の同機能に係る同様の構成については同一の参照番号を付して説明を省略する。

積分器２０６及び振れ補正量算出部２０７は、周波数分離部２０３から出力された低周波角速度信号に基づいて、カメラ本体６２０において行われる補正動作に係る振れ補正量を導出する。本実施形態ではカメラ本体６２０は、電子式の振れ補正機能に加えて機械式の振れ補正機能を有するため、振れ補正量算出部２０７は、両振れ補正に係る補正量を導出する。上述した変形例のように、焦点距離及びズーム倍率の少なくともいずれかに応じて定まる、映像信号処理部１１１における電子式振れ補正の可動範囲をシャッタスピードに応じて制限し、振れ補正量算出部２０７はこれを考慮して補正量を導出する。より詳しくは、シャッタスピードに応じて設定される分離周波数に基づいて周波数分離部２０３において分離された低周波角速度信号を補正するため、電子式振れ補正の補正量は制限された可動範囲に収まるよう導出される。一方で、低周波角速度信号のうち、当該制限により電子式振れ補正にて補正されない周波数成分が生じ得るため、本実施形態の撮像システム６００では、これを機械式振れ補正によって補正させる。故に、振れ補正量算出部２０７は、シャッタスピードに応じた可動範囲の制限により、電子式振れ補正の補正量を低減させる制御を行う場合には、これを補うよう、低周波角速度信号に係る機械式振れ補正の補正量を導出する。振れ補正量算出部２０７により導出された機械式及び電子式の振れ補正の補正量は、各々、マウント接点部６１１及び６２１を介して、電子式振れ補正制御部１１８及び撮像振れ補正制御部６２２に伝送される。

なお、本実施形態では振れ補正量算出部２０７が、映像信号処理部１１１における焦点距離及びズーム倍率の少なくともいずれかに基づく可動範囲の制限に応じて、電子式振れ補正と機械式振れ補正それぞれに割り当てる補正量を決定するものとして説明する。しかし本発明の実施はこれに限られず、周波数分離部２０３と同様、低周波角速度信号をさらに細かい周波数成分に分離する分離周波数を設け、これをシャッタスピードに応じて変化させることにより割り当ては行われてもよい。このとき、蓄積振れの影響を低減するため、本発明に係る第２の閾値としての周波数を基準に、低周波角速度信号を、閾値よりも高い周波数成分の角速度信号と、閾値よりも低い周波数成分の角速度信号とに分離され、積分器２０６に入力されるものとしてもよい。当該分離は、本実施形態では周波数分離部２０３により行われるものとして説明するが、シャッタスピード、焦点距離及びズーム倍率の情報取得を可能に構成された他の要素により行われるものであってもよい。そして積分器２０６及び振れ補正量算出部２０７は、分離された各角速度信号を処理し、電子式振れ補正と機械式振れ補正の各補正量を導出すればよい。

このようにすることで、本実施形態の撮像システム６００では、蓄積振れの発生を低減するよう、３種類の方式の補正に分離して、撮像システム６００に生じた振れに依る出力信号への影響を低減する。

《防振制御処理》
次に、本実施形態の撮像システム６００において実行される防振制御処理について、図８のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１１９が、例えば記憶部１１６に記憶されている対応する処理プログラムを読み出し、不図示のメモリに展開して実行することにより実現することができる。本防振制御処理は、例えばカメラ本体６２０において振れ補正モードが設定された状態でスルー表示もしくは動画撮影が行われる際に開始されるものとして説明する。なお、本実施形態の防振制御処理において、実施形態１の防振制御処理と同様の処理を行うステップについては、同一の参照番号を付して説明を省略し、以下では本実施形態の特徴的な処理を行うステップについて説明する。

Ｓ５０１において導出されたシャッタスピードを受信すると、光学式振れ補正制御部１０４はＳ８０１で、ズーム駆動制御部１０２及びフォーカス駆動制御部１０８から、撮像に係るズーム倍率及び焦点距離の情報を取得する。

Ｓ８０２で、Ａ／Ｄ変換部２０１及びジャイロゲイン部２０２は、レンズ振れ検出部６１３により検出された振れに係るアナログ角速度信号に基づき、本フレームに係り補正するデジタル角速度信号を取得する。

Ｓ８０３で、周波数分離部２０３は、まず、振れ補正レンズユニット１０３により補正を行う高周波角速度信号を分離するための分離周波数（第１の分離周波数）を、シャッタスピードに基づいて設定する。第１の分離周波数の設定は、実施形態１と同様に、図４（ａ）のような予め定められた閾値とシャッタスピードとの比較によりなされるものであってよい。

Ｓ８０４で、周波数分離部２０３は、シャッタスピード、ズーム倍率及び焦点距離の情報に基づいて、映像信号処理部１１１において行われる電子式振れ補正の可動範囲を特定する。具体的には周波数分離部２０３はまず、ズーム倍率及び焦点距離の情報に基づいて、シャッタスピードに依らない電子式振れ補正の可動範囲（上限可動範囲）を特定する。その後、周波数分離部２０３は、シャッタスピードに応じて該補正の可動範囲を制限するか否か判断する。該判断は、シャッタスピードについて予め定められた閾値とシャッタスピードとを比較することにより、図４（ｂ）のような使用率を特定することにより行われるものであってよい。そして周波数分離部２０３は、該判断を経て、最終的な電子式振れ補正の可動範囲（上限可動範囲の余剰画素数×使用率＋出力信号の画素数に対応）を特定する。

Ｓ８０５で、周波数分離部２０３は、電子式振れ補正と機械式振れ補正のそれぞれに割り当てる角速度信号を分離するための分離周波数（第２の分離周波数）を、電子式振れ補正の可動範囲の情報に基づいて設定し、処理をＳ５０４に移す。本ステップにおいて設定される第２の分離周波数は、Ｓ８０３において設定された第１の分離周波数とは異なり、第１の分離周波数よりも低く、低周波角速度信号をさらに２つの周波数成分に分離可能な周波数となっている。電子式振れ補正の可動範囲は、シャッタスピードが低いほど上限の範囲から縮小されるため、第２の分離周波数はシャッタスピードに応じて機械式振れ補正に割り当てる周波数帯域（第１の分離周波数を下回り、第２の分離周波数を上回る範囲）が拡張される。このように本ステップにて、電子式振れ補正と機械式振れ補正とに割り当てる第２の分離周波数が設定されることで、周波数分離部２０３は入力角速度信号を、振れ補正レンズユニット１０３、映像信号処理部１１１及び撮像素子に補正させる信号に分離できる。

以上説明したように、本実施形態の撮像システムによれば、光学式振れ補正方式、電子式振れ補正方式、及び機械式振れ補正方式の振れ補正機能を有するシステムにおいても、蓄積振れの発生を低減し、シャッタ速度に応じた好適な振れ補正を実現できる。

［変形例］
上述した実施形態１及び２では、振れ補正の方向に関わらず、（第１、第２の）分離周波数でそれぞれの振れ補正方式に割り当てる角速度信号を分離したが、振れ補正の方向によって、（第１、第２の）分離周波数が異なるものとしてもよい。また、検出した全ての回転方向の振れのそれぞれを、撮像システム（レンズ一体型のカメラまたはカメラ本体と交換レンズ）が備える全ての振れ補正方式のそれぞれで補正する必要はない。例えば、実施形態２の場合、光学式振れ補正方式ではピッチ方向とヨー方向の振れ補正を行い、ロール補正については電子式振れ補正方式及び機械式振れ補正方式の２つの方式で行うものとしてもよい。この場合、ピッチ方向とヨー方向についての角速度信号を実施形態２に従って、第１及び第２の分離周波数で分離した角速度信号をそれぞれの補正方式に割り当てればよい。このとき、ロール方向の角速度信号についても、電子式振れ補正方式と機械式振れ補正方式とのそれぞれに割り当てる角速度信号を分離する周波数をシャッタ速度に応じて変更することが好ましい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、１０１：ズームユニット、１０２：ズーム駆動制御部、１０３：振れ補正レンズユニット、１０４：光学式振れ補正制御部、１０５：絞り・シャッタユニット、１０６：絞り・シャッタ駆動制御部、１０７：フォーカスユニット、１０８：フォーカス駆動制御部、１０９：撮像部、１１１：映像信号処理部、１１２：表示部、１１７：振れ検出部、１１８：電子式振れ補正制御部、１１９：制御部、２０３：周波数分離部、２０５：振れ補正量算出部、２０７：振れ補正量算出部、６００：撮像システム、６１０：交換レンズ、６１２：レンズ制御部、６１３：レンズ振れ検出部、６２０：カメラ本体、６２２：撮像振れ補正制御部

Claims (15)

1. 撮像装置に生じた振れを検出する検出手段と、
   前記撮像装置において行われる撮像に係るシャッタ速度の情報を取得する取得手段と、
   前記検出手段により検出された振れを、各々異なる補正方式の第１の補正手段及び第２の補正手段に補正させるよう制御する制御手段と、を有し、
   前記制御手段は、前記取得手段により情報取得がなされた前記シャッタ速度に応じて、前記第１の補正手段及び前記第２の補正手段への前記振れの補正の割り当てを異ならせる
   ことを特徴とする防振制御装置。
2. 前記第１の補正手段は、前記撮像装置の撮像光学系の動作を制御することで、撮像素子における結像位置を移動させて前記振れを補正する、光学式振れ補正方式の補正手段であることを特徴とする請求項１に記載の防振制御装置。
3. 前記第２の補正手段は、撮像により得られた画像信号のうちから抽出する領域を異ならせることで前記振れを補正する、電子式振れ補正方式の補正手段であることを特徴とする請求項１または２に記載の防振制御装置。
4. 前記制御手段は、前記第２の補正手段の補正における、前記画像信号のうちの前記領域の抽出に使用可能な可動範囲を、前記シャッタ速度に応じて異ならせることを特徴とする請求項３に記載の防振制御装置。
5. 前記制御手段は、前記シャッタ速度が低速であるほど前記可動範囲を狭めることにより、前記第２の補正手段による補正度合いを変更することを特徴とする請求項４に記載の防振制御装置。
6. 前記可動範囲は、前記撮像装置において行われる撮像に係る焦点距離及びズーム倍率の少なくともいずれかに応じて上限が定められるものであり、
   前記制御手段は、前記シャッタ速度に応じて、前記可動範囲を前記上限以下の範囲に変更する
   ことを特徴とする請求項４または５に記載の防振制御装置。
7. 前記制御手段は、前記シャッタ速度が低速であるほど、前記振れの前記第２の補正手段への補正の割り当てを減らし、前記第１の補正手段への補正の割り当てを増やすことを特徴とする請求項１乃至６のいずれか１項に記載の防振制御装置。
8. 前記制御手段は、前記振れを周波数成分で分離して、前記第１の補正手段及び前記第２の補正手段の各々に異なる周波数成分の補正を割り当てることを特徴とする請求項１乃至７のいずれか１項に記載の防振制御装置。
9. 前記シャッタ速度に応じて、前記振れの分離を行う周波数に係る第１の閾値を設定する設定手段をさらに有し、
   前記制御手段は、前記振れのうちの周波数が前記第１の閾値を上回る周波数成分の振れの補正を前記第１の補正手段に割り当て、前記振れのうちの周波数が前記第１の閾値を下回る周波数成分の振れの補正を前記第２の補正手段に割り当てる
   ことを特徴とする請求項８に記載の防振制御装置。
10. 前記第１の補正手段及び前記第２の補正手段と異なる補正方式の第３の補正手段をさらに有し、
    前記制御手段は、前記第１の閾値を下回る周波数成分の振れのうち、周波数が前記第１の閾値よりも低い第２の閾値を上回る周波数成分の振れの補正を前記第３の補正手段に割り当て、周波数が前記第２の閾値を下回る周波数成分の振れの補正を前記第１の補正手段に割り当てる
    ことを特徴とする請求項９に記載の防振制御装置。
11. 前記第３の補正手段は、前記撮像装置の撮像素子の位置を駆動させることで、該撮像素子における結像位置を移動させて前記振れを補正する方式の補正手段であることを特徴とする請求項１０に記載の防振制御装置。
12. 撮像装置に生じた振れを検出する検出手段と、
    前記検出手段により検出された前記振れによる撮像への影響を補正する、各々異なる補正方式の第１の補正手段及び第２の補正手段と、
    前記撮像装置において行われる撮像に係るシャッタ速度の情報を取得する取得手段と、
    前記検出手段により検出された振れを、前記第１の補正手段及び前記第２の補正手段に補正させるよう制御する制御手段と、を有し、
    前記制御手段は、前記取得手段により情報取得がなされた前記シャッタ速度に応じて、前記第１の補正手段及び前記第２の補正手段への前記振れの補正の割り当てを異ならせる
    ことを特徴とする撮像装置。
13. 防振制御装置と撮像装置とを有する撮像システムであって、
    前記撮像装置に生じた振れを検出する検出手段と、
    前記撮像装置において行われる撮像に係るシャッタ速度の情報を取得する取得手段と、
    前記検出手段により検出された前記振れによる撮像への影響を補正する、各々異なる補正方式の第１の補正手段及び第２の補正手段と、
    前記検出手段により検出された振れを前記第１の補正手段及び前記第２の補正手段に補正させるよう制御する制御手段と、
    を有し、
    前記制御手段は、前記取得手段により情報取得がなされた前記シャッタ速度に応じて、前記第１の補正手段及び前記第２の補正手段への前記振れの補正の割り当てを異ならせる
    ことを特徴とする撮像システム。
14. 撮像装置に生じた振れを検出する検出工程と、
    前記撮像装置において行われる撮像に係るシャッタ速度の情報を取得する取得工程と、
    前記検出工程において検出された振れを、各々異なる補正方式の第１の補正手段及び第２の補正手段に補正させるよう制御する制御工程と、を有し、
    前記制御工程では、前記取得工程において情報取得がなされた前記シャッタ速度に応じて、前記第１の補正手段及び前記第２の補正手段への前記振れの補正の割り当てが異なるよう制御される
    ことを特徴とする防振制御装置の制御方法。
15. コンピュータを、請求項１乃至１１のいずれか１項に記載の防振制御装置の補正手段を除く各手段として機能させるためのプログラム。

Images