JP2011119846A - 撮像装置、撮像方法、およびプログラム - Google Patents

Abstract

【課題】ズームをテレ端側にした場合にも従来の光学手振れ補正に比較してより大きな補正角を確保する。
【解決手段】ワイド端では撮像画像の解像度を重視して３(deg)程度の補正角を確保するようにし、その後テレ側に移動するまでは、手振れ補正性能を重視して１(deg)程度の補正角が維持されるようにし、テレ端側ではズーム倍率を重視しつつも０．６(deg)以上の補正角を確保するように設計するためには、光学手振れ補正に組み合わせる電子手振れ補正については、曲線Ｌ１との比較により、同図の横軸値１乃至４付近は補正量をゼロとし、同図の横軸値４乃至１１付近は補正量を徐々に増すようにし、同図の横軸値１１付近以降は補正量が一定となるように設計すればよい。本発明は、デジタルビデオカメラに適用できる。
【選択図】図２

Description

本発明は、撮像装置、撮像方法、およびプログラムに関し、特に、光学手振れ補正と電子手振れ補正の両方を行うようにした撮像装置、撮像方法、およびプログラムに関する。

従来、デジタルビデオカメラやデジタルスチルカメラ（以下、単にカメラとも称する）には、ユーザ（撮像者）の手振れに起因した画像のブレを補正するための手振れ補正機能を有するものがある。手振れ補正機能は、光学手振れ補正と電子手振れ補正に大別することができる（例えば、特許文献１参照）。

光学手振れ補正には、レンズ群全体を移動させるジンバルメカを用いる方式、レンズ群の端に光学シフトレンズを設ける方式、VAP(variable angle prism)を用いる方式、光学シフトレンズとVAPの両方を用いる方式などが存在し、いずれの方式においても、ジャイロセンサにより検知した手振れ量に応じ、レンズ群を介して撮像素子に入射される光軸をシフトすることにより、手振れを相殺するようになされている。

電子手振れ補正は、撮像素子から出力される画像の全領域（撮像領域）をそのまま撮像画像とするのではなく、当該撮像領域上の、ジャイロセンサにより検知した手振れ量に応じて移動させる切り出し領域を撮像画像とすることにより、手振れを相殺するようになされている。撮像領域における切り出し領域の移動可能な範囲を、以下、電子手振れ余剰と称する。

特開２００４−８８５６７

図１は、光学手振れ補正と電子手振れ補正の特性を示している。同図に示すように、光学手振れ補正は、電子手振れ補正に比較して概ね優れてはいるものの、サイズやコスト面で劣り、ズームを望遠端（以下、テレ端とも称する）側にした場合に補正角が少なくなってしまうという欠点がある。

これに対して、電子手振れ補正は、ズームをテレ端側にした場合、画質が劣化するものの電子手振れ余剰を確保できるのである程度の補正角を確保することができる。

本発明はこのような状況に鑑みてなされたものであり、光学手振れ補正と電子手振れ補正とを組み合わせることにより、ズームをテレ端側にした場合にも従来の光学手振れ補正に比較してより大きな補正角を確保できるようにするものである。

本発明の一側面である撮像装置は、光学ズームレンズと、前記光学ズームレンズを駆動するアクチュエータと、前記光学ズームレンズを介して入射される被写体の光学像を電気信号としての画像信号に変換する撮像素子とを備える撮像装置において、前記撮像装置に生じた手振れ量を検出する検出手段と、検出された前記手振れ量に応じ、前記撮像素子に入射される前記光学像をシフトすることにより光学手振れ補正を行う光学手振れ補正手段と、変換された前記画像信号に対する画像上に設けられる所定サイズの切り出し領域を、予め設計されている電子手振れ余剰の範囲で、検出された前記手振れ量に応じて移動させ、前記画像の前記切り出し領域を抽出することにより電子手振れ補正を行う電子手振れ補正手段と、前記アクチュエータを制御して、予め設計されている前記電子手振れ余剰の変化に対応付けて、前記光学ズームレンズによるズーム倍率の変化の速度を変調させる光学ズーム速度変調手段とを含む。

前記光学ズーム速度変調手段は、ユーザのズーム操作に対応したズームポジションｘ、予め設計されている電子手振れ余剰の変化に連動する電子ズーム倍率ｋ、および前記光学ズームレンズの焦点距離Ｅから得られる減速変調量Ｊを、予め決定されている前記光学ズームレンズによるズーム倍率の変化の速度Ｖとその最高速度Ｖmaxに乗算することにより、前記光学ズームレンズによるズーム倍率の変化の速度を変調させるようにすることができる。

前記光学ズーム速度変調手段は、ユーザのズーム操作に対応したズームポジションｘ、予め設計されている電子手振れ余剰の変化に連動する電子ズーム倍率ｋ、および前記光学ズームレンズの焦点距離Ｅを用いた微分演算または差分演算により前記減速変調量Ｊを逐次算出するようにすることができる。

前記光学ズーム速度変調手段は、ユーザのズーム操作に対応したズームポジションｘ、予め設計されている電子手振れ余剰の変化に連動する電子ズーム倍率ｋ、および前記光学ズームレンズの焦点距離Ｅの組み合わせに、予め算出された前記減速変調量Ｊが対応付けられている減速変調量テーブルを参照することにより、前記減速変調量Ｊを取得するようにすることができる。

前記電子手振れ余剰は、ズームポジションがワイド側からテレ側に移動するにつれて、ゼロの区間、徐々に増加する区間、最大値を維持する区間を順に推移して変化するように予め設計されているようにすることができる。

本発明の一側面である撮像方法は、光学ズームレンズと、前記光学ズームレンズを駆動するアクチュエータと、前記光学ズームレンズを介して入射される被写体の光学像を電気信号としての画像信号に変換する撮像素子とを備える撮像装置の撮像方法において、前記撮像装置に生じた手振れ量を検出する検出ステップと、検出された前記手振れ量に応じ、前記撮像素子に入射される前記光学像をシフトすることにより光学手振れ補正を行う光学手振れ補正ステップと、変換された前記画像信号に対する画像上に設けられる所定サイズの切り出し領域を、予め設計されている電子手振れ余剰の範囲で、検出された前記手振れ量に応じて移動させ、前記画像の前記切り出し領域を抽出することにより電子手振れ補正を行う電子手振れ補正ステップと、前記アクチュエータを制御して、予め設計されている前記電子手振れ余剰の変化に対応付けて、前記光学ズームレンズによるズーム倍率の変化の速度を変調させる光学ズーム速度変調ステップとを含む。

本発明の一側面であるプログラムは、光学ズームレンズと、前記光学ズームレンズを駆動するアクチュエータと、前記光学ズームレンズを介して入射される被写体の光学像を電気信号としての画像信号に変換する撮像素子とを備える撮像装置の制御用のプログラムであって、前記撮像装置に生じた手振れ量を検出する検出ステップと、検出された前記手振れ量に応じ、前記撮像素子に入射される前記光学像をシフトすることにより光学手振れ補正を行う光学手振れ補正ステップと、変換された前記画像信号に対する画像上に設けられる所定サイズの切り出し領域を、予め設計されている電子手振れ余剰の範囲で、検出された前記手振れ量に応じて移動させ、前記画像の前記切り出し領域を抽出することにより電子手振れ補正を行う電子手振れ補正ステップと、前記アクチュエータを制御して、予め設計されている前記電子手振れ余剰の変化に対応付けて、前記光学ズームレンズによるズーム倍率の変化の速度を変調させる光学ズーム速度変調ステップとを含む処理を撮像装置のコンピュータに実行させる。

本発明の一側面においては、
撮像装置に生じた手振れ量が検出され、検出された手振れ量に応じ、撮像素子に入射される光学像がシフトされることにより光学手振れ補正が行われる。また、変換された画像信号に対する画像上に設けられる所定サイズの切り出し領域が、予め設計されている電子手振れ余剰の範囲で、検出された手振れ量に応じて移動されて、画像の切り出し領域が抽出されることにより電子手振れ補正が行われる。さらに、光学ズームレンズを駆動するアクチュエータが制御されて、予め設計されている電子手振れ余剰の変化に対応付けて、光学ズームレンズによるズーム倍率の変化の速度が変調される。

本発明の一側面によれば、ズームをテレ端側にした場合にも従来の光学手振れ補正に比較してより大きな補正角を確保することができる。

また、本発明の一側面によれば、ユーザに違和感を与えることなく、ズーム倍率を滑らかに変化させることができる。

電子手振れ補正、光学手振れ補正、およびハイブリッド手振れ補正の特性を示す図である。 トータルズーム倍率と補正角の関係を示す図である。 電子手振れ補正の電子手振れ余剰を説明するための図である。 トータルズーム倍率と電子手振れ余剰の関係を示す図である。 電子ズームと切り出しサイズの関係を説明する図である。 ズームポジションと、トータルズーム倍率に対応する焦点距離Ｅの対数値logＥとの関係を示す図である。 トータルズーム倍率の光学ズーム寄与分と電子ズーム寄与分を分けて示す図である。 電子ズーム倍率ｋの変化に対する光学ズーム速度Ｖ’の関係を示す図である。 本発明の適用したデジタルビデオカメラの構成例を示すブロック図である。 手振れ補正モード設定画面の表示例を示す図である。 光学ズーム速度制御処理を説明するフローチャートである。

以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
１．発明の概要
２．実施の形態

＜１．発明の概要＞
本発明は、ズームレンズによる光学ズーム機能と電子ズーム機能のうち、少なくとも光学ズーム機能を備えたカメラにおいて、光学手振れ補正と電子手振れ補正とを組み合わせることによりハイブリッド手振れ補正を実現し、図１に示すように、光学手振れ補正と電子手振れ補正とが相互の欠点を補うことにより、ズームをテレ端側にした場合にもある程度の補正角を確保できるようにするものである。

ここで、ズームをテレ端側にした場合にもある程度の補正角を確保するとは、必ずしもズームの広角端（以下、ワイド端とも称する）における補正角と同じ補正角をテレ端側に要求していないことを意味する。すなわち、カメラを保持して撮像するユーザの移動を考慮した場合、ユーザが移動しながら撮像するような状況ではズームをワイド端側に設定しており、反対に、ズームをテレ端側に設定して撮像しているような状況ではユーザは静止していることが多い。当然、ユーザが移動しながら撮像すれば手振れ量は大きくなり、静止して撮像すれば手振れ量を小さくなるので、ワイド端側ほど手振れに対する補正角を大きく設計し、テレ端側はワイド端側よりも少ない補正角に設計すればよいことになる。

図２は、トータルズーム倍率（光学ズームと電子ズームを組み合わせた倍率）と補正角の関係を示している。同図の曲線Ｌ１は、光学手振れ補正のみによる補正角の変化を示している。すなわち、光学手振れ補正の補正角は、ワイド端側ほど大きく、テレ端側になるほど小さいことがわかる。

なお、補正角の値については、３(deg)付近は、ユーザが歩きながら撮像したときの手振れに対応可能な値である。また、１(deg)付近の補正角は、ユーザが止まった状態でカメラを意識的に固定することなく気軽に保持して撮像したときの手振れに対応可能な値である。さらに、０．３(deg)付近は、ズームをテレ端側にしたときの既存の光学手振れ補正により確保されている値である。

したがって、本発明を適用したカメラにおいては、テレ端側でのより大きな補正角の確保を目的として、同図の曲線Ｌ２に示すような補正角の変化を、光学手振れ補正と電子手振れ補正の組み合わせにより実現する。

すなわち、ワイド端では撮像画像の解像度を重視して３(deg)程度の補正角を確保するようにし、その後テレ側に移動するまでは、手振れ補正性能を重視して１(deg)程度の補正角が維持されるようにし、テレ端側ではズーム倍率を重視しつつも０．６(deg)以上の補正角を確保するように設計する。

なお、曲線Ｌ２に示された補正角の変化を実現するに際しての光学手振れ補正に組み合わせる電子手振れ補正については、曲線Ｌ１との比較により、同図の横軸値１乃至４付近は補正量をゼロとし、同図の横軸値４乃至１１付近は補正量を徐々に増すようにし、同図の横軸値１１付近以降は補正量が一定となるように設計すればよいことがわかる。

ここで、電子手振れ補正の補正量の設定について説明するが、その前に改めて電子手振れ補正について簡単に説明する。

図３は、手振れが発生している動画像を構成する連続した２枚の画像を示している。同図に示すように、手振れが発生すると画像上における被写体の位置がずれてしまう。これを補正するためには、撮像素子から出力される画像の全領域（撮像領域１０）から、ジャイロセンサにより検知した手振れ量に応じて移動させる切り出し領域１２を切り出すことにより、電子手振れ補正後の画像（撮像画像）とする。

この切り出し領域１２の移動可能な範囲が電子手振れ余剰１１であるので、電子手振れ余剰１１のサイズ（以下、電子手振れ余剰サイズと称する）が、電子手振れ補正による補正量を決定づけるパラメータとなる。

したがって、上述したように電子手振れ補正の補正量を設計するとは、すなわち、図４に示す曲線Ｌ１１のように、同図の横軸値１乃至４付近は電子手振れ余剰サイズをゼロとし、同図の横軸値４乃至１１付近は電子手振れ余剰サイズを徐々に増すようにし、同図の横軸値１１付近以降は電子手振れ余剰サイズが一定となるように設計することになる。これにより、トータルズーム率に対する補正角の変化を、図２に示された曲線Ｌ２の形状に推移させることができる。

なお、図３からも明らかなように、電子手振れ余剰サイズは、切り出し領域１２のサイズと相反する変化をする。つまり、切り出し領域１２のサイズが小さければ、電子手振れ余剰サイズを大きくとることができるが、切り出し領域１２のサイズが大きければ、電子手振れ余剰サイズを小さくせざるを得ない。一方、切り出し領域１２のサイズＮ（％）は、図５に示すように、電子ズームの倍率ｋにも連動している。
Ｎ＝１００／ｋ（％）

したがって、図４に示された曲線Ｌ１１のように電子手振れ余剰を変化させるためには、これに伴って電子ズームの倍率ｋも複雑に変化させる必要が生じる。具体的には、例えば後述する図７の曲線Ｌ３２のように変化させる必要が生じる。ただし、電子ズームを光学ズームのテレ側に連結させたり併走させたりする場合には、ユーザに対しズーミング時に違和感を生じさせないようトータルズーム倍率の変化が滑らかとなるようにする必要がある。

ここで、トータルズーム倍率の変化について説明する。

図６および図７は、ズームポジションと、トータルズーム倍率に対応する焦点距離Ｅの対数値logＥとの関係を示しており、横軸がズームポジション、縦軸がトータルズーム倍率に対応する焦点距離の対数値logＥとされている。ズームポジションは、ユーザからのズーム操作に応じて等速で増減される値とする。

図６Ａは、ズームポジションに対するトータルズーム倍率の理想的な変化として挙げることができるトータルズーム倍率に対応する焦点距離Ｅの対数値logＥを示す曲線Ｌ２１の傾き（対数焦点距離Ｅの微分量）が一定である状態を示している。このような理想的な変化であれば、撮像される画像を見ているユーザに対して、トータルズーム倍率が滑らかに変化していると感じさせることができる。

図６Ｂでは、ズームポジションに対するトータルズーム倍率に対応する焦点距離Ｅの対数値logＥを示す曲線Ｌ２２が、ワイド端側から中間付近までは傾きが一定であるものの、テレ端側でその傾きが増している。これはズーム速度がテレ端側になるに従って加速していることを意味する。このような変化は、上述した同図Ａのような理想形ではないものの、ユーザに対して違和感をあまり与えることがない。

これらに対して、図６Ｃでは、ズームポジションに対するトータルズーム倍率に対応する焦点距離の対数値を示す曲線Ｌ２３に段差が生じている。これはズーム速度が等速である状態からいったん加速して再び元の等速に戻ったことを意味する。このような変化は、ユーザに対して違和感を与えるので好ましくない。

しかしながら、電子ズーム倍率ｋを、図７の曲線Ｌ３２（図４の曲線Ｌ１１で示された電子手振れ余剰を変化させる場合に対応する）のように変化させることを前提とした場合、光学ズームを図７の曲線Ｌ３１に示すようにほぼ一定の速度で駆動させると、トータルズーム倍率は図７の曲線Ｌ３３に示されるようになってしまう。これは、図６Ｃの曲線Ｌ２３と同様に、ユーザに対して違和感を与えるので好ましくない。

よってトータルズーム倍率に対応する焦点距離Ｅの対数値logＥを示す曲線の傾きが一定となるように、光学ズーム側の倍率変化を高精度に制御して、その変化の速度を変調させる必要がある。

［設計手法１］
具体的には、電子ズーム倍率ｋが加味される前の光学ズームのみによるトータルズーム倍率の変化の速度δlog（Ｅ）／δｘ（＝一定）と、電子ズーム倍率ｋが加味されたときのトータルズーム倍率の変化の速度δlog（ｋＥ）／δｘとが一定となるように制御する。ただし、Ｅはトータルズーム倍率に対応する焦点距離、ｘはズームポジション、ｋは電子ズーム倍率である。

電子ズーム倍率ｋが加味される前の光学ズームのみによるトータルズーム倍率の変化の速度δlog（Ｅ）／δｘは、次式（１）に示すように変形できる。
δlog（Ｅ）／δｘ＝（δＥ／δｘ）／Ｅ
・・・（１）

これに対して、電子ズーム倍率ｋが加味されたときのトータルズーム倍率の変化の速度δlog（ｋＥ）／δｘは、次式（２）に示すように変形できる。
δlog（ｋＥ）／δｘ＝（δｋ／δｘ）／ｋ＋（δＥ／δｘ）／Ｅ
・・・（２）

したがって、電子ズーム倍率ｋを加味する前の速度（式（１）の右辺）と、電子ズーム倍率ｋを加味したときの速度（式（２）の右辺）とが一定となるためには、電子ズーム倍率の変化の速度Ｖと、その最高速度Ｖmaxに次式（３）に示す減速変調量Ｊを乗算して変調すればよいことになる。
Ｊ＝｛（δＥ／δｘ）／Ｅ｝／｛（δｋ／δｘ）／ｋ＋（δＥ／δｘ）／Ｅ｝
・・・（３）

このような変調により、図８に示すように、電子ズーム倍率ｋの値（曲線Ｌ４１）が増すにつれて、変調後の光学ズーム倍率の変化の速度Ｖ（曲線Ｌ４２）を減少させることになる。

なお、減速変調量Ｊは逐次計算するようにしてもよいが、ズームポジションｘ、電子ズーム倍率ｋ、および焦点距離Ｅの様々な組み合わせに、予め計算された減速変調量Ｊが対応付けられている減速変調量テーブルを保持するようにし、それを参照するようにしてもよい。

減速変調量Ｊを逐次計算する場合、式（３）に示されたような微分演算を行う代わりに差分演算を適用してもよい。
［設計手法２］
ところで、上記の設定手法１では、光学ズームの焦点距離の変化が等速であることを前提としていたが、光学ズームの焦点距離の変化が等速ではない場合、減速変調量Ｊとして次式（４）を用いればよい。
Ｊ＝｛（δＥ／δｘ（x_def））／Ｅ（x_def）｝
／｛（δｋ／δｘ）／ｋ＋（δＥ／δｘ）／Ｅ｝
・・・（４）

ここで、x_defは、光学ズームの焦点距離の変化の速度が等速なる境界条件付近の速度である。

［設計手法３］
ところで、電子ズーム倍率ｋの変化の形状を任意に設計したい場合には、次式（５）に基づいて電子ズーム倍率ｋを算出し、その結果得られる電子ズーム倍率ｋを式（３）に代入すればよい。
｛（δＥ／δｘ）／Ｅ｝／｛（δｋ／δｘ）／ｋ＋（δＥ／δｘ）／Ｅ｝
＝（δＥ_calc／δｘ）／Ｅ_calc

∫｛（（δＥ／δｘ）／Ｅ）／（（δＥ_calc／δｘ）／Ｅ_calc）｝
−（δＥ／δｘ）／Ｅ ｄｘ
＝log（ｋ）＋Ｃ
・・・（５）

このように、電子ズーム倍率ｋの変化の形状を任意に設計できれば、以下のような問題を解決することができる。

例えば、フォーカスレンズの速度をズームの最高速時に追従させるために、ズームの速度を減速する処理が必要な場合があり、これは一般に「テレ端落とし」と称されている。高倍率のズームレンズでは、望遠側のズーム方向の移動量に対するフォーカス方向の移動量が大きいため、このテレ端落としの傾向が顕著であるが、ズーム速度が高速である時と低速である時で見た目が異なり、加えて、対数軸上で線形に焦点距離が変化しないため、ユーザに多少の違和感を与えてしまっている。そこで、最高速度で、このテレ端落としの速度よりも低い速度に制御された焦点距離カーブを設計して、その焦点距離カーブから、電子ズームカーブを設計するようにすれば、テレ端落とし自体を回避して自然なズームを実現することが可能である。

［設計手法４］
電子ズームの速度Ｖのみならず、その最高速度Ｖmaxも変調することにより、最大速度制御の様々な問題を回避することができる。例えば、設計上の不都合から、焦点距離の形状に回避しづらいばらつきがある場合には、
（δｋ／δｘ）／ｋ ∝ （δＥ／δｘ）／Ｅ
log（ｋ）＝Ａ exp（logＥ）＋Ｂ
つまり
log（ｋ）＝Ｅ(0) Ｅ^Ａ
ただし、焦点距離ＥのＡのべき乗、光学ワイド端（ｘ＝０）でｋ＝１となり、Ｅ(0)は光学Wide端の焦点距離として、この状態に近い形状に電子ズーム倍率ｋの変化の形状を設計する。

この様に、焦点距離Ｅを基準にして電子ズーム倍率ｋを設計することにより、光学ズーム速度をできるだけ変調させないようにすることができる。

上述した設計手法１と４の一方または、両方を組み合わせることにより、滑らかな制御と自由な電子手振れ余剰の設計の両立が可能になる。なお、ズームレンズの性能によっては、設計手法１の制御ができないことがあり、その場合に設計手法４のみを採用するようにする。

＜２．実施の形態＞
［デジタルビデオカメラの構成例］
図９は、本発明の実施の形態であるデジタルビデオカメラの構成例を示している。このデジタルビデオカメラ１００は、ズームレンズによる光学ズーム機能と電子ズーム機能を備えており、さらに、光学シフトレンズによる光学手振れ補正機能と電子手振れ補正機能とを組み合わせたハイブリッド手振れ補正機能を有している。なお、以下の説明においては、画像に対応する音声に関する記載を省略している。

このデジタルビデオカメラ１００は、制御系として、制御部１０１、操作部１０２、ROM１０３、RAM１０４、ジャイロセンサ１１８を有している。また、デジタルビデオカメラ１００は、撮像系として、モータドライバ１０５、光学シフトレンズ１０６とそのアクチュエータ１０７、ズームレンズ１０８とそのアクチュエータ１０９、フォーカスレンズ１１０とそのアクチュエータ１１１を有している。また、撮像系にはタイミングジェネレータ１１２、および撮像素子１１３が含まれる。

さらに、デジタルビデオカメラ１００は、画像処理系として、画像処理部１１４、ビューファインダ１１５、記録部１１６、およびモニタ１１７を有している。

制御部１０１は、CPUなどから成り、ROM１０３に記録されている制御用プログラムを実行することによりデジタルビデオカメラ１００の各部を制御する。操作部１０２は、各種のボタンやモニタ１１７に積層されたタッチパネルなどから成り、ユーザの操作入力を受け付けて対応する操作信号を制御部１０１に通知する。ROM１０３には、制御用プログラムの他、減速変調量テーブルなどが予め記録されている。RAM１０４には、各種のデータが一時的に保持される。ジャイロセンサ１１８は、デジタルビデオカメラ１００に生じた手振れを検知し、手振れ量を示す検知信号を制御部１０１に通知する。

モータドライバ１０５は、制御部１０１からの制御にしたがって、各アクチュエータ１０７，１０９，１１１を駆動させる。光学シフトレンズ１０６は、アクチュエータ１０７に駆動されることにより光学手振れ補正を行う。ズームレンズ１０８は、アクチュエータ１０９に駆動されることにより光学ズーム倍率を変化させる。フォーカスレンズ１１０は、アクチュエータ１１１に駆動されることにより合焦距離を変化させる。タイミングジェネレータ１１２は、撮像素子１１３における画素の取得タイミングを制御する。CMOSまたはCCDなどから成る撮像素子１１３は、レンズ群を介して入射される光学像を電子データである画像信号に変換して画像処理部１１４に出力する。

画像処理部１１４は、撮像時において、撮像素子１１３から入力される画像信号に基づいてファインダ用動画像を生成し、ビューファインダ１１５またはモニタ１１７に出力する。また、画像処理部１１４は、記録時において、撮像素子１１３から入力される画像信号を符号化し、その結果得られる符号化ビデオ信号を記録部１１６に出力する。さらに、画像処理部１１４は、再生時において、記録部１１６から入力される符号化ビデオ信号を復号し、その結果得られる画像信号に基づいてモニタ用動画像を生成し、ビューファインダ１１５またはモニタ１１７に出力する。

さらに、画像処理部１１４は、撮像時および記録時において、撮像素子１１３から入力される画像信号の全領域（図３の撮像領域１０）から所定の範囲（図３の切り出し領域１２）を切り出すことにより、電子手振れ補正または電子ズームを実現する。

ビューファインダ１１５は、撮像時においてファイン用動画像を、再生時においてモニタ用動画像を表示する。記録部１１６は、記録時において、画像処理部１１４から入力される符号化ビデオ信号を記録メディア（不図示）に記録する。また、記録部１１６は、再生時において、記録メディアから符号化ビデオ信号を読み出して画像処理部１１４に出力する。モニタ１１７は、液晶ディスプレイなどから成り、撮像時においてファイン用動画像を、再生時においてモニタ用動画像を表示する。さらに、モニタ１１７は、ユーザに対して各種の設定画面を表示する。

図１０は、モニタ１１７に表示される手振れ補正モード設定画面の表示例を示している。手振れ補正モード設定画面１５０には、オフボタン１５１、スタンダードボタン１５２、およびアクティブボタン１５３が設けられている。オフボタン１５１が選択された場合、手振れ補正機能が無効とされる。スタンダードボタン１５２が選択された場合、光学手振れ補正機能が有効、電子手振れ補正機能が無効とされるスタンダード手振れ補正モードとなる。アクティブボタン１５３が選択された場合、光学手振れ補正機能と電子手振れ補正機能の両方が有効とされるハイブリッド手振れ補正モードとなる。

ハイブリッド手振れ補正モードは、スタンダード手振れ補正モードに比較して、テレ端側における手振れ補正角を大きく確保することができる。したがって、より活発に移動しながらの撮像が可能となる。ただし、電子手振れ補正により撮像領域１０の切り出しが行われるので、切り出し領域１２のサイズが記録する動画像の画角サイズよりも小さい場合には切り出し領域１２の画像を拡大する処理などにより画質が劣化することがある。あるいは、記録する動画像の画角サイズを制限する必要が生じる。

［動作説明］
次に、デジタルビデオカメラ１００がハイブリッド手振れ補正モードとされている場合において、ズームレンズ１０８による光学ズーム倍率の変化の速度を制御する処理（以下、光学ズーム速度制御処理と称する）について説明する。

図１１は、光学ズーム速度制御処理を説明するフローチャートである。

ステップＳ１において、制御部１０１は、操作部１０２を用いたユーザによるズーム操作に基づいて、ズームレンズ１０８の現在のズームポジションｘを取得する。ステップＳ２において、制御部１０１は、モータドライバ１０５からズームレンズ１０８の焦点距離Ｅを取得する。ステップＳ３において、制御部１０１は、現在の電子ズーム倍率ｋを取得する。

ステップＳ４において、制御部１０１は、前回のステップＳ１乃至Ｓ３で取得したズームポジションｘ、焦点距離Ｅ、および電子ズーム倍率ｋと、直前のステップＳ１乃至Ｓ３で取得したズームポジションｘ、焦点距離Ｅ、および電子ズーム倍率ｋを用い、式（３）に従って減速変調量Ｊを算出する。または、式（３）の代わりに同等の差分演算を適用して減速変調量Ｊを算出する。もしくは、予め用意されている減速変調量テーブルを参照することにより、対応する減速変調量Ｊを取得するようにしてもよい。

ステップＳ５において、制御部１０１は、予め決定されている光学ズーム倍率の変化の最大速度Ｖmaxに減速変調量Ｊを乗算することによりその最大速度をＶ’max（＝ＪＶmax）に変調する。ステップＳ６において、制御部１０１は、予め決定されている光学ズーム倍率の変化の速度Ｖに減速変調量Ｊを乗算することによりその速度をＶ’（＝ＪＶ）に変調する。変調結果の最大速度Ｖ’maxおよび速度Ｖ’はモータドライバ１０５に通知され、モータドライバ１０５は、通知された変調結果の最大速度Ｖ’maxおよび速度Ｖ’に基づいてアクチュエータ１０９を駆動させることにより、ズームレンズ１０８によるズーム倍率の変化の速度が制御される。この後、処理はステップＳ１に戻されて、それ以降が繰り返される。以上で、光学ズーム速度制御処理の説明を終了する。

なお、以上に説明した光学ズーム速度制御処理では、上述した設計手法１を適用した場合についてのみ説明したが、デジタルビデオカメラ１００に設計手法２乃至４を適用することもできる。

[変形例]
ところで、ズームレンズ１０８を駆動させるに際してはその駆動音が大きく、速度が高速になったときにズームレンズ１０８とレンズ鏡筒の共振音が発生してユーザに聞こえてしまう場合がある。これを避けるためには、速度の遷移過程を除き固定段階速度として、その固定速度に対して変調をかけ、ズームの全域に対して、共振速度が発生されない速度に、固定速度を限定するようにしてもよい。

この固定速度の中で、非常に低速な速度選択時に、速度変調のズーム方向の解像度だけでなく、ズームの速度の変化点が目立つという懸念があるが一般的には目立たない。仮に、その様な症状が出た場合には、超低速時のみ変調を解除するようにすればよい。

[まとめ]
本発明を適用したデジタルビデオカメラによれば、ハイブリッド手振れ補正を実現しつつ、ユーザに対して、画像内の被写体のサイズの変化に違和感を与えないようにすることができる。

本発明を適用したデジタルビデオカメラなどに対しては、電子手振れ余剰の変化の形状を任意に設計することができる。したがって、電子ズームと光学ズームを組み合わせたハイブリットズームについてもその組み合わせ方を任意に設計することができる。さらに、テレ端落としによる不自然な画面遷移をなくし、且つ、ズーム速度を高速に制御することができる。また、自在な遷移カーブで画面の拡大/縮小スピードを設計することができる。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１００ デジタルビデオカメラ， １０１ 制御部， １０５ モータドライバ， １０６ 光学シフトレンズ， １０７ アクチュエータ， １０８ ズームレンズ， １０９ アクチュエータ， １１４ 画像処理部

Claims (7)

1. 光学ズームレンズと、
   前記光学ズームレンズを駆動するアクチュエータと、
   前記光学ズームレンズを介して入射される被写体の光学像を電気信号としての画像信号に変換する撮像素子と
   を備える撮像装置において、
   前記撮像装置に生じた手振れ量を検出する検出手段と、
   検出された前記手振れ量に応じ、前記撮像素子に入射される前記光学像をシフトすることにより光学手振れ補正を行う光学手振れ補正手段と、
   変換された前記画像信号に対する画像上に設けられる所定サイズの切り出し領域を、予め設計されている電子手振れ余剰の範囲で、検出された前記手振れ量に応じて移動させ、前記画像の前記切り出し領域を抽出することにより電子手振れ補正を行う電子手振れ補正手段と、
   前記アクチュエータを制御して、予め設計されている前記電子手振れ余剰の変化に対応付けて、前記光学ズームレンズによるズーム倍率の変化の速度を変調させる光学ズーム速度変調手段と
   を含む撮像装置。
2. 前記光学ズーム速度変調手段は、ユーザのズーム操作に対応したズームポジションｘ、予め設計されている電子手振れ余剰の変化に連動する電子ズーム倍率ｋ、および前記光学ズームレンズの焦点距離Ｅから得られる減速変調量Ｊを、予め決定されている前記光学ズームレンズによるズーム倍率の変化の速度Ｖとその最高速度Ｖmaxに乗算することにより、前記光学ズームレンズによるズーム倍率の変化の速度を変調させる
   請求項１に記載の撮像装置。
3. 前記光学ズーム速度変調手段は、ユーザのズーム操作に対応したズームポジションｘ、予め設計されている電子手振れ余剰の変化に連動する電子ズーム倍率ｋ、および前記光学ズームレンズの焦点距離Ｅを用いた微分演算または差分演算により前記減速変調量Ｊを逐次算出する
   請求項２に記載の撮像装置。
4. 前記光学ズーム速度変調手段は、ユーザのズーム操作に対応したズームポジションｘ、予め設計されている電子手振れ余剰の変化に連動する電子ズーム倍率ｋ、および前記光学ズームレンズの焦点距離Ｅの組み合わせに、予め算出された前記減速変調量Ｊが対応付けられている減速変調量テーブルを参照することにより、前記減速変調量Ｊを取得する
   請求項２に記載の撮像装置。
5. 前記電子手振れ余剰は、ズームポジションがワイド側からテレ側に移動するにつれて、ゼロの区間、徐々に増加する区間、最大値を維持する区間を順に推移して変化するように予め設計されている
   請求項２に記載の撮像装置。
6. 光学ズームレンズと、
   前記光学ズームレンズを駆動するアクチュエータと、
   前記光学ズームレンズを介して入射される被写体の光学像を電気信号としての画像信号に変換する撮像素子と
   を備える撮像装置の撮像方法において、
   前記撮像装置に生じた手振れ量を検出する検出ステップと、
   検出された前記手振れ量に応じ、前記撮像素子に入射される前記光学像をシフトすることにより光学手振れ補正を行う光学手振れ補正ステップと、
   変換された前記画像信号に対する画像上に設けられる所定サイズの切り出し領域を、予め設計されている電子手振れ余剰の範囲で、検出された前記手振れ量に応じて移動させ、前記画像の前記切り出し領域を抽出することにより電子手振れ補正を行う電子手振れ補正ステップと、
   前記アクチュエータを制御して、予め設計されている前記電子手振れ余剰の変化に対応付けて、前記光学ズームレンズによるズーム倍率の変化の速度を変調させる光学ズーム速度変調ステップと
   を含む撮像方法。
7. 光学ズームレンズと、
   前記光学ズームレンズを駆動するアクチュエータと、
   前記光学ズームレンズを介して入射される被写体の光学像を電気信号としての画像信号に変換する撮像素子と
   を備える撮像装置の制御用のプログラムであって、
   前記撮像装置に生じた手振れ量を検出する検出ステップと、
   検出された前記手振れ量に応じ、前記撮像素子に入射される前記光学像をシフトすることにより光学手振れ補正を行う光学手振れ補正ステップと、
   変換された前記画像信号に対する画像上に設けられる所定サイズの切り出し領域を、予め設計されている電子手振れ余剰の範囲で、検出された前記手振れ量に応じて移動させ、前記画像の前記切り出し領域を抽出することにより電子手振れ補正を行う電子手振れ補正ステップと、
   前記アクチュエータを制御して、予め設計されている前記電子手振れ余剰の変化に対応付けて、前記光学ズームレンズによるズーム倍率の変化の速度を変調させる光学ズーム速度変調ステップと
   を含む処理を撮像装置のコンピュータに実行させるプログラム。

Images