JP2013135445A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 ズーム位置に応じて画像の切り出し位置を制御する撮像装置及び制御方法において、ズーム動作中の滑らかな画像表示と、ズーム停止時に表示する画像の解像感の低下抑制とを両立させること。
【解決手段】 ズーム動作中には、１画素単位より小さい単位で切り出し位置を決定し、順次設定する。また、ズーム動作が停止したときには、ズーム停止時の切り出し位置が１画素単位の値でなければ、１画素単位の値になるように切り出し位置を移動させる。
【選択図】 図１

Description

本発明は、撮像装置およびその制御方法に関し、特に手ぶれ補正機能を有する撮像装置およびその制御方法に関する。

撮像レンズの組み立て誤差や、撮像素子の取り付け誤差などにより、光軸と撮像素子の中心とがずれる場合がある。この中心位置のずれ（以下、光軸ズレという）は、フォーカスレンズ及び倍率変更レンズの移動に合わせて変動する。特許文献１，２は、焦点検出やズーミング等、可動レンズ群の移動時に、光軸上にある被写体の結像位置が移動しないように撮像素子上の画素の読み出し位置を調整したカメラを記載している（特許文献１，２）。

特開２００７−６０４８６号公報 特開２０１１−１１４７９４号公報

特許文献１，２のように、ズーム（変倍）レンズを備えた撮像装置において、ズーム位置（倍率）に応じて画像の切り出し位置を変更して光軸ズレを補正する場合、次のような課題があった。

ズーム位置によって異なる光軸ズレを補正するには、ズーム動作中に画像の切り出し位置を順次変更する必要がある。しかし、この切り出し位置の最小単位を１画素とすると、ズーム動作中に切り出し位置を順次変化させた場合に、切り出し位置の変化が画面のガタつきや画面の振れとしてユーザに知覚され、違和感を与えてしまう。この問題を抑制するには、切り出し位置を１画素よりも十分小さい単位で切り出し位置を変化させることで抑制すればよい。この場合、１画素未満の画素位置に対応する切り出し位置の画像は、実際の画素値を補間して生成する。例えば、ｘｙ直交座標系でｘ方向に隣接する２つの画素（ｘ，ｙ）＝（１，１）および（２，１）の中間の位置（１．５，１）の位置に対応する画素値は、（１，１）の画素値と（２，１）の画素値の平均値として求めることができる。なお、この補間方法は単なる一例であり、他の補間方法を用いてもよい。

このように、補間によって１画素未満の単位で切り出し位置に対応する画像を生成する場合、ズーム動作が停止したときのズーム位置に対応する切り出し位置の画像が補間画像となることがある。補間画像は補間により推定された画素値で構成される画像であるため、補間を必要としない切り出し画像と比較して解像感が低下するという課題があった。

本発明は上述した課題に鑑みてなされたものである。本発明は、ズーム位置に応じて画像の切り出し位置を制御する撮像装置及び制御方法において、ズーム動作中の滑らかな画像表示と、ズーム停止時に表示する画像の解像感の低下抑制とを両立させることを目的とする。

上記目的を達成するための本発明の一態様による撮像装置は以下の構成を備える。

このような構成により、本発明によれば、ズーム位置に応じて画像の切り出し位置を制御する撮像装置及び制御方法において、ズーム動作中の滑らかな画像表示と、ズーム停止時に表示する画像の解像感の低下抑制とを両立させることが可能となる。

本発明の第１の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの構成例を示すブロック図 図１の切り出し部の構成例を示すブロック図 広角端及び望遠端における、光軸ズレと光軸ズレを補正するための切り出し位置の例を示す図 （ａ）は、ズーム位置と光軸ズレの関係例を示す図、（ｂ）は、ズーム位置と対応する補正量の記憶方法を説明する図 本発明の第１の実施形態における切り出し位置の決定処理の例を示すフローチャート ズーム動作、ズーム動作停止、ズーム動作再開というシーケンスにおける目標位置と、決定される切り出し位置との関係を説明する図 本発明の第２の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの構成例を示すブロック図 図７のブレ補正制御部で行われる手ぶれ補正処理を説明するフローチャート

（第１の実施形態）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、本発明の実施形態に係る撮像装置の一例としてのデジタルビデオカメラについて説明するが、本発明は動画撮影機能を有する任意の撮像装置に対して適用可能である。また、ここでいう撮像装置には、カメラ付きの携帯電話、ゲーム機、パーソナルコンピュータなど、撮像装置が組み込まれた、もしくは内蔵された機器も含まれる。

（撮像装置の全体構成）
図１は、第１の実施形態に係るデジタルビデオカメラ１００の構成例を示すブロック図である。図１において、撮像光学系１０１は、デジタルビデオカメラ１００が有する撮像素子の撮像面に被写体の光学像を形成する。撮像光学系１０１は倍率が可変なズームレンズである。撮像部１０２は、撮像光学系１０１が形成する光学像を撮像素子によって光電変換し、複数の画素からなる撮像画像を表す画像信号を撮像信号処理部１０３に供給する。

撮像信号処理部１０３は、撮像部１０２から出力された画像信号に利得調整、色バランス調整及びγ補正など周知の信号処理を施し、記憶部１０４に一時的に格納する。切り出し部１０５は記憶部１０４に一時的に格納された画像信号のうち、切り出し位置制御部１１１から設定された任意の領域（切り出し領域）に対応する画像信号を出力する。切り出し部１０５は切り出し位置制御部１１１から設定された領域の座標が１画素よりも小さな単位で指定されている場合、補間処理を行い、設定された切り出し領域に対応する画像信号を生成して出力する。補間が不要な場合、切り出し部１０５は切り出し領域に対応する画像信号を読み出して補間せずに出力する。補間処理については後で詳細に説明する。

制御部１０６は、デジタルビデオカメラ１００の動作全体を制御する。制御部１０６は例えばＣＰＵであり、ＲＯＭなどの不揮発性記憶装置に記憶された制御プログラムをＲＡＭのようなメモリに読み込み、実行することで、後述の光軸ズレ補正動作を始めとする各種動作を実現する。なお、制御部１０６が主体として記載する処理の少なくとも一部は、ＡＳＩＣや電子回路等のハードウェアが実行してもよい。

制御部１０６は、操作部１０７からのユーザ操作に応じてレンズ駆動部１０８に制御信号を出力する。レンズ駆動部１０８は制御信号に応じて撮像光学系１０１の倍率を変化させる変倍レンズ群を光軸方向に駆動し、撮像光学系１０１の倍率を変更する。エンコーダ１０９は変倍レンズ群の位置（ズーム倍率）を検出し、ズーム位置信号を制御部１０６に出力する。ズーム位置信号は制御部１０６から光軸ズレ補正部１１０に与えられる。なお、ズーム位置信号はエンコーダ１０９から光軸ズレ補正部１１０に直接与えられてもよい。

光軸ズレ補正部１１０は、ズーム位置信号が示すズーム位置に応じた光軸ズレを補正するための切り出し目標位置を演算し、切り出し位置制御部１１１に出力する。切り出し位置制御部１１１は、撮像光学系１０１がズーム動作中かどうかに応じて、切り出し目標位置から実際の切り出し位置を決定し、切り出し部１０５に設定する。光軸ズレ補正部１１０及び切り出し位置制御部１１１の少なくとも一方は、制御部１０６がソフトウェア的に実現してもよい。

（切り出し及び画素補間処理）
図２は、切り出し部１０５の構成例を示すブロック図である。以下、切り出し部１０５で行われる切り出し処理及び画素補間処理について、図２を参照して詳しく説明する。先に説明したように記憶部１０４には画像信号が一時的に格納されており、記憶部１０４の読み出しアドレスを制御することで、撮像画像を構成する画素のうち、任意の領域に含まれる画素の画像信号を読み出すことができる。

アドレス制御部２０１には画像の水平方向の座標を表すｈｃ（Ｈカウント値）と垂直方向の座標を表すｖｃ（Ｖカウント値）が入力される。アドレス制御部２０１は、Ｈカウント値とＶカウント値を記憶部１０４上のアドレスに変換し、Ｈカウント値とＶカウント値の組み合わせにより特定される位置の画素の画像信号を読み出す。ここでは、（Ｈカウント値，Ｙカウント値）＝（０，０）が撮像画像の左上画素に対応し、Ｈカウント値が増加すると画像の右（水平）方向に、Ｙカウント値が増加すると画像の下（垂直）方向にそれぞれ座標が移動するものとする。また、読み出し順序は、水平方向に順次１ライン分の画素の読出しを行い、完了するとＨカウント値を０にクリアするとともにＶカウント値を１加算して、次のラインの先頭から読出すものとする。Ｈカウント値とＶカウント値は例えば制御部１０６が読み出し開始時から順次供給することができる。

また、Ｈカウント値およびＶカウント値に所定のオフセットを加算することで、読み出し開始アドレス（切り出し位置）を１画素単位で設定することができる。Ｈカウント値は、加算器２０４でH方向オフセット２０２と加算されてアドレス制御部２０１に入力されるので、Ｈ方向オフセット２０２に応じた水平位置から画像信号の読み出しを開始することができる。同様に、Ｖカウント値は加算器２０５で垂直方向オフセット２０３と加算されてアドレス制御部２０１に入力されるので、垂直方向オフセット２０３に応じた垂直位置から画像信号の読出しを開始することができる。切り出し位置制御部１１１は、決定した切り出し位置（切り出し領域の原点）に対応するH方向オフセット２０２、V方向オフセット２０３を切り出し部１０５に設定することにより、切り出し位置を設定する。

なお、水平方向及び垂直方向の読み出し終了座標についても切り出し位置制御部１１１が直接設定してもよい。しかし、切り出し領域の大きさ（Ｈw，Ｙw）は表示解像度等に応じて予め定められているため、Ｈカウント値及びＹカウント値を供給する構成要素（例えば制御部１０６）がＨカウント値のクリアとＹカウント値の増加を制御することで適切な読出しが実現できる。具体的には、Ｈカウント値＝Ｈｗとなると、次のＨカウント値を０にクリアし、Ｙカウント値を１加算する。また、Ｈカウント値＝ＨｗかつＹカウント値＝Ｙｗとなると、次のカウント値は供給せず、読み出しを終了させることができる。

なお、撮像画像から任意の矩形領域に対応する画像信号を読み出す方法に特に制限は無く、従来から採用されている任意の方法を利用可能であるため、これ以上の説明は省略する。

記憶部１０４から順次読み出された画像信号は、係数（１−Vk）の乗算器２０６と１H遅延回路２０７に印加され、１H遅延回路の出力は係数Vkの乗算器２０８に印加される。加算器２０９は乗算器２０６と乗算器２０８の出力を加算する。即ち、加算器２０９の出力は、垂直方向に隣接する画素の画像信号を係数Vkの重みで加重平均したものである。係数Vkは０以上、１以下の値を取ることができ、０より大きく１より小さい係数Vkにより、垂直方向における１画素未満の座標に対応する画素値を求めることができる。係数Vk＝０の場合、加算器２０９は現在のラインの画像信号をそのまま出力する。これは垂直方向の画素補間が行われない状態である。また、係数Vk＝０．５の場合、加算器２０９は現在のラインの画素の画像信号と次（下）のラインの画素の画像信号の平均値を出力する。これは垂直方向（下方向）に０．５画素分移動した位置の画素の画素信号である。このように、係数Ｖkが１に近づくほど、次のラインに近い座標の画素値が得られる。このようにして垂直方向で１画素以下の切り出し位置の変更が可能になる。

加算器２０９から出力された画像信号は、係数（１−Hk）の乗算器２１０と１画素遅延回路２１１に印加され、１画素遅延回路２１１の出力は係数Hkの乗算器２１２に印加される。加算器２１３は乗算器２１０と乗算器２１２の出力を加算する。即ち、加算器２１３の出力は、水平方向に隣接する画像信号を係数Hkの重みで加重平均したものである。垂直方向と同様、係数Ｈkは０以上、１以下の値を取ることができ、０より大きく１より小さい係数Ｈkにより、水平方向における１画素未満の座標に対応する画素値を求めることができる。Hk＝０の場合、加算器２１３は現在の画像信号をそのまま出力する。これは水平方向の画素補間が行われない状態である。また、係数Ｈk＝０．５の場合、加算器２０９は現在の画素の画像信号と水平方向で次（右）の画素の画像信号の平均値を出力する。これは水平方向（右方向）に０．５画素分移動した位置の画素の画素信号である。このように、係数Hkが１に近づくほど、水平方向で次の画素に近い座標の画素値が得られる。このようにして水平方向で１画素以下の切り出し位置の変更が可能になる。

係数Ｖk，Ｈkを組み合わせることで、水平方向及び垂直方向の両方で１画素未満の座標における画素値を算出することができる。

（光軸ズレ補正）
次に、撮像部１０２（撮像素子）の中心位置と、撮像光学系１０１の光軸とのずれ（光軸ズレ）及び光軸を補正するための切り出し位置の決定方法について、図３および図４を参照して説明する。

図３は、撮像部１０２が形成する光学像の光軸位置、撮像素子の中心位置、切り出し位置の関係の一例を示した図である。３０１は撮像部１０２の有効領域、３０２は撮像部１０２の有効領域の中心位置を示している。図３（ａ）は、ズームレンズである撮像光学系１０１の画角が広角端の場合を示し、３０３ａは光軸位置を示す。光軸ズレは、有効領域の中心位置３０２を基準とした光軸３０３ａの相対位置で規定し、水平方向の光軸ズレをＸａ、垂直方向の光軸ズレをＹａで示している。有効領域３０１から光軸中心に対応する位置を中心とした領域３０４ａの画像信号を切り出して出力することにより、光軸ズレの無い画像が得られる。画面左上を原点（０，０）とした場合、広角端で光軸ズレを補正するための切り出し範囲の原点（切り出し位置）は（Ｈａ，Ｖａ）となる。

一方、図３（ｂ）は、撮像光学系１０１が望遠端の場合を示している。この場合の光軸ズレは水平方向にＸｂ、垂直方向にＹｂであり、光軸ズレを補正するための切り出し位置は（Ｈｂ，Ｖｂ）となる。

図３では広角端と望遠端における光軸ズレと、それを補正するための切り出し位置を示したが、広角端と望遠端とでは光軸ズレの量が異なる。図３の例では、Ｘａ＞Ｘｂ及びＹａ＞Ｙｂである。そのため、広角端と望遠端の中間位置では図３（ａ），（ｂ）に示した切り出し位置では正しい補正ができず、ズーム位置に応じて切り出し位置を変更する必要がある。

図４（ａ）は、ズーム位置と水平方向の光軸ズレの関係の例を示す図である。この関係は予め測定することができるため、ズーム位置と光軸ズレもしくは光軸ズレを補正する切り出し位置との対応関係を記憶しておくことにより、任意のズーム位置における光軸ズレを補正することができる。しかしながら、すべてのズーム位置について光軸ズレ量または光軸ズレを補正する切り出し位置を用意すると膨大なデータ量になる。光軸ズレ補正に係るデータを保存するメモリ容量を削減するため、例えば図４（ｂ）のように離散的なズーム位置について、ズーム位置と光軸ズレを補正する切り出し位置（補正量）との対応関係を記憶することができる。他のズーム位置に対応する補正量については、記憶されている値を補間して求めることができる。

上述したように本実施形態の切り出し部１０５では１画素以下の単位で切り出し位置を変更することができるので、切り出し位置の変化を滑らかにすることができる。そのため、切り出された画像を例えばＥＶＦに連続的に表示したり動画として記録した場合でも、切り出し位置の変化が気付かれにくくなる。なお、本実施形態では離散的な補正量を線形補間することで任意のズーム位置に対する補正量を求めているが、他の任意の方法を用いることができる。例えば、多項式を用いてより滑らかにフィッテングするように補間してもよい。このようにズーム位置に応じた切り出し位置を算出し、切り出し部１０５にオフセット値として設定することで、ズーム動作を行ったときの画像の中心位置の移動を補正することができる。ただし、本実施形態では、光軸ズレ補正部１１０が求めた切り出し位置は目標値であり、最終的に切り出し部１０５に設定される切り出し位置は切り出し位置制御部１１１で決定される。なお、図４（ａ）、図４（ｂ）は水平方向の光軸ズレおよび読み出し位置のみを図示しているが、垂直方向の光軸ズレの補正も同様の処理で行うことができる。

（切り出し位置の決定処理）
次に、切り出し位置制御部１１１で行われる切り出し位置の制御処理動作について図５のフローチャートを参照して説明する。図５に示す、切り出し位置制御部１１１において実行される処理は、映像のフレームレートに同期して行われ、例えば、映像がＮＴＳＣフォーマットであれば１６．６７ｍｓの周期で、繰り返し実行される。従って、ズーム動作中にズーム倍率が連続的に変化しても、実行時におけるズーム倍率に応じた切り出し位置を決定し、切り出し部１０５に順次設定することができる。

まず、Ｓ１０１において切り出し位置制御部１１１は、光軸ズレ補正部１１０で算出された、ズーム位置に応じた光軸ズレを補正するための切り出し位置（目標位置）を取得する。

Ｓ１０２において切り出し位置制御部１１１は、撮像光学系１０１におけるズーム動作が停止中か否かを、例えば制御部１０６を通じて判定する。切り出し位置制御部１１１がエンコーダ１０９の出力から直接判定してもよい。切り出し位置制御部１１１は、ズーム停止中と判定された場合はＳ１０３に、ズーム動作中と判定された場合はＳ１１１に処理を進める。

Ｓ１０３において切り出し位置制御部１１１は、前回のズーム動作における切り出し位置の変化の方向（水平方向、垂直方向ごとに増加（正）方向もしくは減少（負）方向）を示す情報を例えば切り出し位置制御部１１１内のメモリに保存する。また、変化量についても合わせて保存してもよい。

Ｓ１０４において切り出し位置制御部１１１は、現在設定されている切り出し位置の小数部が０か否か、すなわち、現在の切り出し領域の画像生成に補間が必要か否かを判定する。切り出し位置の小数部が０と判定された場合、切り出し位置制御部１１１は、Ｓ１０８で最終的な切り出し位置を演算する。この場合、現在設定されている切り出し位置（目標位置＋微調整量）が１画素単位の値になっているため、現在の切り出し位置が最終的な切り出し位置として求められる。

一方、Ｓ１０４において、切り出し位置の小数部が０でないと判定された場合、切り出し位置制御部１１１はＳ１０５で、Ｓ１０３で保存した前回ズーム動作中の切り出し位置の変化方向が正方向か否かを判定する。

変化方向が正（増加）方向であると判定された場合、切り出し位置制御部１１１はＳ１０６で微調整値を所定のステップαだけ増加させ、Ｓ１０８に処理を進める。Ｓ１０５において変化方向が負（減少）方向と判定された場合、切り出し位置制御部１１１はＳ１０７で微調整値を所定のステップαだけ減少させ、Ｓ１０８に処理を進める。

Ｓ１０８において切り出し位置制御部１１１は、Ｓ１０１で取得した目標位置に、Ｓ１０６またはＳ１０７で算出した微調整値を加算し、最終的な切り出し位置を求める。

Ｓ１０９において切り出し位置制御部１１１は、算出した最終的な切り出し位置の水平座標の整数部をＨ方向オフセット２０２、垂直座標の整数部をＶ方向オフセット２０３として切り出し部１０５に設定する。切り出し位置制御部１１１はまた、水平座標の小数部を乗算器２０６および乗算器２０８の係数Hk、垂直座標の小数部を乗算乗算器２１０および乗算器２１２の係数Vkとして切り出し部１０５に設定する。

Ｓ１１０において切り出し位置制御部１１１は、前回設定した切り出し位置と、今回設定した切り出し位置とから、切り出し位置の変化方向を検出する。切り出し位置の変化量も合わせて検出してもよい。

Ｓ１０４からＳ１０８の処理は、ズーム停止時に１画素未満の切り出し位置となっていた場合に、切り出し位置をズーム中の変化方向に従って１画素単位の切り出し位置まで徐々に移動させるための処理である。

すなわち、ズーム停止中、光軸ズレ補正部１１０が出力する目標位置は変化しないので、目標位置の小数部が０でない場合には、切り出し位置の小数部が０となるよう、目標位置に微調整量を適用して切り出し位置を移動させる。停止前のズーム方向に応じた切り出し位置の変化方向で最も近い座標単位の切り出し位置に１回で移動させてもよいが、その移動量が大きい場合、ズーム停止時の画像の移動が目立つおそれがある。そのため、本実施形態では、ステップαを移動単位として、徐々に切り出し位置の小数部が０となるように切り出し位置を変更している。なお、徐々に切り出し位置の小数部を０にしなくても、また、ズーム停止直前の切り出し位置の変化方向とは逆の方向に切り出し位置を移動させても、ズーム停止時の画像の解像間の低下を抑制する効果を得ることができる。

次に、Ｓ１０２においてズーム動作中と判定された場合の処理を説明する。Ｓ１１１において切り出し位置制御部１１１は、現在の微調整値が０か否かを判定する。０と判定された場合、切り出し位置制御部１１１はＳ１１６で最終的な切り出し位置を求める。最終的な切り出し位置はＳ１０８と同様、Ｓ１０１で取得した目標位置に微調整値を加算して求める。従って、微調整値が０の場合、光軸ズレ補正部１１０から取得した目標位置がそのまま最終的な切り出し位置として求められる。

Ｓ１１１において微調整値が０ではないと判定されるのは、ズーム停止位置の切り出し位置の小数部が０でなく、切り出し位置が微調整量によって変更された状態で、ズーム動作が再開された場合である。この場合、切り出し位置制御部１１１はＳ１１２で、Ｓ１０３で保存した前回のズーム動作中における切り出し位置の変化方向と現在の変化方向を比較して、変化の方向が切り替わったか否かを判定する。

変化の方向が切り替わった（すなわち、ズーム停止前と逆方向のズーム動作が開始された）と判定された場合、切り出し位置制御部１１１はＳ１１３で、微調整値が徐々に０に近づくよう、現在の微調整値の絶対値を所定値だけ減少させる。一方、Ｓ１１２において、切り出し位置の変化の方向が同じと判定された場合は、ズーム停止前と同方向のズーム動作が開始されたことを意味する。この場合、切り出し位置制御部１１１はＳ１１４で、光軸ズレ補正部１１０から取得した目標位置が現在位置（現在の切り出し位置）を通過したか否かを判定する。この判定は、目標位置を（ｘ０，ｙ０）、現在位置を（ｘ１，ｙ１）とすると、
切り出し方向の変化方向が正の場合：ｘ０＞ｘ１ 又は ｙ０＞ｙ１
切り出し方向の変化方向が負の場合：ｘ０＜ｘ１ 又は ｙ０＜ｙ１
となったかどうかを判別することにより実行できる。

目標位置が現在位置を通過していない場合、現在の目標位置が、ズーム停止時の目標位置と、調整量によって移動させた切り出し位置との間に存在することを意味する。そのため、目標位置が現在位置を通過してないと判定された場合、切り出し位置制御部１１１は、切り出し位置を更新することなく、調整量によって移動させた現在の切り出し位置を維持し、Ｓ１０９で切り出し部１０５に設定する。

一方、Ｓ１１４で、目標位置が現在位置を通過したと判定された場合、切り出し位置制御部１１１はＳ１１５で微調整値に０を設定する。これにより、Ｓ１１６では光軸ズレ補正部１１０から取得した目標位置がそのまま最終的な切り出し位置として求まるようになる。

次に、本実施形態の撮像装置において切り出し位置が変化する様子について、図６を参照して説明する。図６は時刻Ｔ０からズーム動作が開始され、時刻Ｔ１で一旦ズーム動作が停止され、時刻Ｔ２で再度ズーム動作が開始されるという操作がなされた場合の、目標位置と最終的な切り出し位置の変化を示している。また、ズーム位置に対する光軸ズレ補正量は、図４（ｂ）に示すように、広角端の方が望遠端より大きくなるものとする。

まず、図６（ａ）は、光軸ズレ補正部１１０において算出される目標位置の変化の様子を表している。時刻Ｔ０から時刻Ｔ１までは、広角側から望遠側に向かってズーム位置が連続的に変化していくので、必要な補正量も連続的に減少し、順次設定される切り出し位置の座標値も小さくなっている。また、１画素未満の単位で補正量を求めているため、切り出し位置も１画素未満の単位で滑らかに変化している。

時刻Ｔ１で一旦ズーム動作が停止すると、光軸ズレ補正部１１０は、停止したズーム位置に対応した目標位置を出力し続ける。時刻Ｔ２でズーム動作が再開し、さらに望遠側に向かって連続的にズーム位置が変化していくと、時刻Ｔ０から時刻Ｔ１と同様に、補正量並びに切り出し位置の座標値は時刻Ｔ２から時刻Ｔ３に向かって連続的に小さくなる。

図６（ａ）のように、ズーム動作が停止した時刻Ｔ１におけるズーム位置に対応する補正量の小数部が０でない場合、目標位置を切り出し部１０５に設定すると、ズーム動作が再開する時刻Ｔ２までの間、補間された切り出し画像が出力され、解像感が低下する。

図６（ｂ）はこのような問題を回避するために本実施形態の切り出し位置制御部１１１が行う処理を示している。時刻Ｔ０から時刻Ｔ１の間は、図６（ａ）と同様、光軸ズレ補正部１１０が算出する目標位置６０１が最終的な切り出し位置として切り出し部１０５に設定される。

時刻Ｔ１においてズーム動作が停止した時点で設定されている切り出し位置（補正量）ｎ’の小数部は０でない。この場合、切り出し位置制御部１１１は、ズーム動作が停止した時刻Ｔ１の目標位置から、直前のズーム動作中と同じ方向で小数部が０となる次の切り出し位置ｎまで切り出し位置を移動させる。この移動は、目標位置を微調整量で補正した切り出し位置を切り出し部１０５に設定することで行う。図６（ｂ）において、時刻Ｔ１までは目標位置６０１＝切り出し位置６０２であるが、時刻Ｔ１から目標位置６０１が変化しないのに対し、時刻Ｔ１の目標位置の小数部が０でない場合、切り出し位置６０２はさらに移動し続ける。

図６（ｂ）の場合、時刻Ｔ１の直前までの切り出し位置または補正量の変化方向が負方向であるため、目標位置をさらに減少させるように負の微調整量を適用する。Ｓ１０７において、ステップαを単位として微調整量６０３の絶対値を徐々に増加させ、時刻Ｔ１（ズーム停止位置）における目標位置ｎ’から、変化方向に沿って次に小数部が０となる切り出し位置ｎまで切り出し位置を移動させる。これは、図５におけるＳ１０４→Ｓ１０５→Ｓ１０７→Ｓ１０８の処理の繰り返しに相当する。時刻Ｔ４で、１画素単位の切り出し位置ｎに達すると、微調整値の値を維持する（図５のＳ１０４→Ｓ１０８）。

このように、ズーム停止中の切り出し位置の移動は、直前のズーム動作中における切り出し位置の変化方向と同一の方向、即ち、現在の切り出し位置から負方向にある１画素単位の切り出し位置ｎまで徐々に移動させるように制御する。この、ｎ’からｎまでの移動は、上述の微調整量の絶対値を０からステップαを単位として徐々に増加させることにより実現する。ステップαの値は、直前のズーム動作における補正量の変化率と、ｎ’からｎまで補正量を変化させる際の変化率に大きな差が無いように設定することができる。例えば、ズーム開始時の補正量がｎ”であったとすると、α＝（ｎ”−ｎ’）／（Ｔ１−Ｔ０）を基準として、（ｎ’−ｎ）／αが割り切れる最も近い値にαを決定することができる。

時刻Ｔ２においてズーム動作が再開すると、ズーム位置の変化に応じて目標位置６０１が変化する。しかし、前回のズーム動作における切り出し位置の変化方向と、再開後のズーム動作における切り出し位置の変化方向が同じであるので、目標位置６０１が現在の切り出し位置ｎを通過するまでは、切り出し位置の変更を行わないように制御する。これは、図５において、Ｓ１１１→Ｓ１１２→Ｓ１１３→Ｓ１０９の処理に相当する。従って、ズーム動作が再開した時刻Ｔ２から、目標位置６０１が現在の切り出し位置ｎとなる時刻Ｔ５までの間は、現在の切り出し位置ｎが保持される。そして時刻Ｔ５を過ぎ、目標位置６０１が現在の切り出し位置を通過すると、微調整値が０となり、それ以降は目標位置６０１＝切り出し位置６０２となる。

図６（ｃ）は、時刻Ｔ２で再開されたズーム動作が、ズーム停止前とは逆方向の、望遠側から広角側へのズーム動作である場合の切り出し位置制御部１１１の制御例を示している。時刻Ｔ０から時刻Ｔ２においては、図６（ｂ）と同様の為、説明を省略する。

時刻Ｔ２において望遠側から広角側に向かってズーム動作が開始されると、目標位置６０１の座標値は大きくなる方向に変化していく。この場合、ズーム停止中に移動させた切り出し位置を速やかに目標位置に戻す必要がある。そのためには、微調整量を０とすればよい。しかし、直ちに微調整量を０とした場合、画像の移動が目立つ場合がある。そのため、本実施形態では、微調整量の絶対値を徐々に減少させる。この処理は、図５における、Ｓ１１１→Ｓ１１２→Ｓ１１４→Ｓ１１６→Ｓ１０９の処理に相当する。図６（ｃ）の例では、時刻Ｔ２から時刻Ｔ６までの間、徐々に微調整量の絶対値を減少させて切り出し位置と目標位置との差を縮めている。時刻Ｔ６で微調整量が０となり、その後は目標位置６０１＝切り出し位置６０２となる。

なお、Ｓ１１４で微調整量を減少させる単位は、画像の移動が目立たない範囲で大きく設定することができ、具体的な値は例えば実験的に求めることができる。また、ズーム動作の速さ（目標位置の変化率）に応じて値を変化させてもよい。

なお、図６においては、理解及び説明を容易にするため、水平方向、垂直方向のいずれか一方について説明したが、他方についても同様の制御を行う。

以上、本実施形態によれば、撮像光学系がズーム動作中は、ズーム位置に応じた切り出し位置を１画素単位より小さい単位で求めることで、光軸ズレを補正するための切り出し位置の変化が目立たないよう、切り出し位置を滑らかに変化させることが可能となる。また、ズーム動作が停止した際の切り出し位置が１画素単位の位置でない場合は、撮像素子からの読出し画素単位の切り出し位置まで切り出し位置を移動させるので、ズーム停止時に出力される画像信号の解像度感の低下を防止することができる。

また、ズーム停止時に切り出し位置を移動させる場合には、直前のズーム動作における切り出し位置の変化方向と等しい方向に移動させるため、撮像画像の不自然なガタつきや揺らぎを防止できる。このように、ズーム動作中の滑らかな切り出し位置の変更と、ズームを行っていないときの解像度感を両立した切り出し位置の制御を実現することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態に係る撮像装置は、角速度センサを用いて撮像装置本体の振れを検出し、検出した振れに応じて撮像画像の切り出し位置を移動することによって撮像画像のブレを電気的に補正する、電子手ぶれ補正機能を有する。

図７は、本実施形態に係る撮像装置の一例としてのデジタルビデオカメラ２００の構成例を示すブロック図である。図７において、第１の実施形態に係るデジタルビデオカメラ１００と同一の構成については同一の符号を付し、詳細な説明は省略する。

本実施形態のデジタルビデオカメラ２００は、角速度センサ１１２より得られた振れ信号に基づいて画像の切り出し位置を算出するブレ補正制御部１１４を備える。そして、ブレ補正制御部１１４が算出する切り出し位置と、切り出し位置制御部１１１が決定した切り出し位置とを加算した切り出し位置を切り出し部１０５に設定することにある。

角速度センサ１１２はデジタルビデオカメラ２００に加わる振れを検出して電気信号に変換する。アンプ１１３は、角速度センサ１１２の出力を最適な感度に増幅して、ブレ補正制御部１１４に供給する。ブレ補正制御部１１４は、アンプ１１３の出力をディジタル信号に変換するＡ／Ｄ変換器を内蔵しており、検出された角速度（アンプ１１３の出力）を積分して角変位を算出する。得られた角変位、即ち、撮像装置の振れ角θと撮像光学系１０１の焦点距離ｆおよび撮像部１０２が有する撮像素子の画素ピッチｍから、振れによって生じる撮像素子上の画素移動量と移動方向を求め、切り出し位置を決定する。
（電子手ぶれ補正処理）

図８は、ブレ補正制御部１１４で行われる手ぶれ補正（切り出し位置算出）処理を説明するフローチャートである。図８に示される処理は、映像のフレームレートに同期して行われ、例えば、映像がＮＴＳＣフォーマットであれば１６．６７ｍｓの周期で繰り返し実行される。

まず、Ｓ２０１においてブレ補正制御部１１４は、アンプ１１３から角速度データを取得し、内蔵するＡ／Ｄ変換器でディジタル信号に変換する。Ｓ２０２においてブレ補正制御部１１４は、取得した角速度データから、振れが生じていないときの角速度センサの出力である基準値を減算する。この処理以降、振れが生じていないときの角速度データは０となり、０を中心として符号を持った値として処理される。

Ｓ２０３においてブレ補正制御部１１４は、角速度データにＨＰＦ処理を適用し、角速度データのＤＣ成分を除去する。Ｓ２０４においてブレ補正制御部１１４は、ＤＣ成分除去後の角速度データにさらにＨＰＦ処理を適用し、ブレ補正の対象とする振れ成分の周波数帯域を制限する。この帯域制限に用いるＨＰＦのカットオフ周波数ｆｃは可変であるものとする。

Ｓ２０５においてブレ補正制御部１１４は、帯域制限された角速度データを積分処理して角変位データを算出する。ここで得られた角変位が即ち撮像装置の振れ角θとなる。Ｓ２０６においてブレ補正制御部１１４は、ユーザ操作により手ぶれ補正機能が有効（オン）と設定されているか否かを判定する。手ぶれ補正機能がオンの場合、ブレ補正制御部１１４は、Ｓ２０７で角変位データを用いて画像の切り出し位置を算出する。切り出し位置は、デジタルビデオカメラ２００の振れによって生じる、撮像素子上の画像の移動を相殺するように算出する。ここで、Ｓ２０５で求めたデジタルビデオカメラ２００の振れ角をθ、撮像光学系１０１の焦点距離をｆ、撮像素子の画素ピッチをｍとすると、画素の移動量及び移動方向はｆ×ｔａｎθ÷ｍとして算出することができる。従って、前回求めた切り出し位置に対し、画素の移動量及び移動方向を反映させることにより、切り出し位置を更新することができる。

Ｓ２０６において、手ぶれ補正機能がオンではないと判定されるとＳ２０８に進み、振れを補正するための切り出し位置を０（０，０）に設定する。ブレ補正制御部１１４は、振れが検出されないときには０を出力する。

図７に戻り、加算器１１５は、ブレ補正制御部１１４の出力と切り出し位置制御部１１１の出力を加算して切り出し部１０５に供給する。加算器１１５の出力は、切り出し位置制御部１１１が算出する切り出し位置を基準位置として、振れに応じて切り出し位置が変更されるようになる。このように、振れによって生じる画素移動を相殺するように、撮像素子の該当領域から画像信号を読み出すように切り出し部１０５の切り出し位置を変更することで、電気的に画像のブレを補正する。ブレ補正制御部１１４は、ユーザ操作により手ぶれ機能がオフされているときは０を出力するので、切り出し位置制御部１１１の出力がそのまま切り出し部１０５に供給される。このように、本実施形態のデジタルビデオカメラ２００は、手ぶれ補正機能がオンのときは、画像の切り出し位置を変更することで画像のブレを補正することができる。また、手ぶれ補正機能がオフのときは、ズーム動作中の滑らかな切り出し位置の変更と、ズームを行っていないときの解像度感を両立した切り出し位置の制御を実現することができる。

本発明の実施形態ではレンズ固定式のデジタルビデオカメラを例示して説明したが、交換レンズ式のカメラであってもよい。その際は、交換レンズ側でズーム動作及びズーム位置の検出を行い、その検出結果を本体（撮像装置）側で使用すればよい。

Claims (7)

1. ズーム倍率が可変な撮像光学系と、
   前記撮像光学系が形成した光学像を撮像し、複数の画素からなる撮像画像を出力する撮像手段と、
   設定された切り出し位置に対応する、予め定められた大きさを有する領域の画像を、前記撮像画像から生成する切り出し手段と、
   前記撮像光学系のズーム倍率および前記撮像光学系がズーム動作中か否かに応じて、前記切り出し手段に設定する切り出し位置を決定し、前記切り出し手段に設定する制御手段とを有し、
   前記制御手段は、前記撮像光学系がズーム動作中である場合には、変化するズーム倍率に対応した切り出し位置を前記撮像手段の１画素未満の単位で決定して前記切り出し手段に順次設定し、前記撮像光学系がズーム動作を停止した場合、停止時のズーム倍率に対応して決定した切り出し位置が１画素単位の値でなければ、隣接する１画素単位の値を前記切り出し手段に設定することを特徴とする撮像装置。
2. 前記制御手段は、前記撮像光学系がズーム動作を停止した場合、停止時のズーム倍率に対応して決定した切り出し位置が１画素単位の値でなければ、前記停止時のズーム倍率に対応して決定した切り出し位置から、停止前のズーム動作中における前記切り出し位置の変化方向と同一の方向にある最も近い１画素単位の切り出し位置を前記切り出し手段に設定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記撮像光学系がズーム動作を停止した場合、停止時のズーム倍率に対応して決定した切り出し位置が１画素単位の値でなければ、前記停止時のズーム倍率に対応して決定した切り出し位置から、停止前のズーム動作中における前記切り出し位置の変化方向と同一の方向にある最も近い１画素単位の切り出し位置まで、予め定められた単位で前記切り出し位置が移動するように前記切り出し手段に設定することを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記撮像光学系のズーム動作が停止した状態からズーム動作が再開された場合、停止する前のズーム動作と、前記再開されたズーム動作とが同じ方向のズーム動作であれば、ズーム位置に対応した切り出し位置が現在の切り出し位置に達するまでは前記切り出し位置を変更しないことを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記撮像光学系のズーム動作が停止した状態からズーム動作が再開された場合、停止する前のズーム動作と、前記再開されたズーム動作とが逆方向のズーム動作であれば、現在の切り出し位置が徐々に前記再開されたズーム動作におけるズーム倍率に対応した切り出し位置に近づくように前記切り出し位置を決定し、前記切り出し手段に設定することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 前記撮像装置の振れを検出する検出手段と、
   前記検出手段で検出された振れを補正するための撮像画像の切り出し位置を算出するブレ補正手段と、
   前記制御手段が決定した切り出し位置に、前記ブレ補正手段が算出した切り出し位置を加算して前記切り出し手段に供給する加算手段とをさらに有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
7. ズーム倍率が可変な撮像光学系と、
   前記撮像光学系が形成した光学像を撮像し、複数の画素からなる撮像画像を出力する撮像手段と、を有する撮像装置の制御方法であって、
   切り出し手段が、設定された切り出し位置に対応する、予め定められた大きさを有する領域の画像を、前記撮像画像から生成する切り出し工程と、
   制御手段が、前記撮像光学系のズーム倍率および前記撮像光学系がズーム動作中か否かに応じて、前記切り出し手段に設定する切り出し位置を決定し、前記切り出し手段に設定する制御工程とを有し、
   前記制御工程において前記制御手段は、前記撮像光学系がズーム動作中である場合には、変化するズーム倍率に対応した切り出し位置を前記撮像手段の１画素未満の単位で決定して前記切り出し手段に順次設定し、前記撮像光学系がズーム動作を停止した場合、停止時のズーム倍率に対応して決定した切り出し位置が１画素単位の値でなければ、隣接する１画素単位の値を前記切り出し手段に設定することを特徴とする撮像装置の制御方法。

Images