JP2014126861A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】簡単な構成で、良好な像振れ補正効果が得られるようにした撮像装置を提供する。
【解決手段】画像を撮像する撮像部と、２つの画像の間の動きベクトルを検出する動きベクトル検出部と、撮像装置の振れを検出する振れ検出部と、２つの画像のうち、前のフレームの画像を撮像してから次のフレームの画像を撮像するまでの振れ検出部の出力に基づいて、２つの画像の間での撮像装置の振れ量を算出する振れ算出部と、振れ算出部の出力を、画像の像振れ量に変換する像振れ変換部と、動きベクトル検出部の出力と像振れ変換部の出力のうちの少なくとも１つを用いて画像の像振れ量を電子的に補正するための補正量を算出する補正量算出部と、補正量算出部の出力に基づいて画像の像振れを電子的に補正する補正部とを備える。
【選択図】図３

Description

本発明は、撮像装置において、画像を変形する方式を用いて、撮像装置の振れに起因する撮像画像の像振れを補正する技術に関するものである。

近年、撮像装置に生じた振れを補正する技術の進歩に伴い、撮影者が静止した状態での手振れによって発生する撮像画像の像振れを補正するだけでなく、撮影者が歩行しながら撮影を行うときに発生する撮像画像の像振れを補正する像振れ補正機能が普及してきている。撮影者が歩行しながら撮影を行う際には、撮像画像の水平垂直方向の像振れだけでなく、撮像画像に対して以下に示すような像振れが生じる。例えば、撮像装置が光軸回りに回転することによって撮像画像が回転する像振れや、撮像装置が被写体に対して傾くことによって撮像画像が台形状に歪む像振れ等である。

このような歩行しながらの撮影において、撮像画像に発生する種々の像振れを補正する方法として、撮像画像の画像変形量を算出し、その画像変形量を打ち消すように画像を変形する方法が知られている（特許文献１参照）。また、撮像画像の種々の画像変形量を算出する方法として、角速度センサ等のセンサに加えて、撮像画像から得られる動きベクトルを用いて画像変形量を演算する方法が知られている（特許文献２参照）。

特開２０１１−１４６２６０号公報 特開２００９−１２４５９７号公報

特許文献１に記載の技術では、撮像装置に加えられる振れによって撮像画像に生じる変形量を、並進（水平・垂直）、あおり（水平・垂直）、拡大縮小、回転、せん断の各変形成分に分解する。そして、各々についてフィルタリング処理等を行い、射影変換行列（ホモグラフィ行列）を算出している。しかしながら、撮像装置に加えられる振れ成分毎にフィルタリング処理等を行っていたため、演算量が非常に多く処理が複雑であった。

また、特許文献２に記載の技術では、角速度センサ等のセンサを用いて回転に対する補正量を算出し、動きベクトルを用いて並進に対する補正量を算出している。しかしながら、動きベクトルが正しく検出できないような撮影状況下では、並進運動によって生じる像振れの検出の精度が悪化し、結果として映像の品質劣化を招く。例えば、被写体によっては、撮像した画像のコントラストが極端に低くなる場合があり、このようなときには動きベクトルの検出精度が劣化する可能性がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、簡単な構成で、良好な像振れ補正効果が得られるようにした撮像装置を提供することである。

本発明に係わる撮像装置は、画像を撮像する撮像手段と、前記画像のうち２つの画像の間の動きベクトルを検出する動きベクトル検出手段と、振れを検出する振れ検出手段と、前記振れ算出手段の出力を、画像の像振れ量に変換する像振れ変換手段と、前記２つの画像のうち、前のフレームの画像を撮像してから次のフレームの画像を撮像するまでの前記振れ検出手段の出力に基づいて、前記２つの画像を撮影する間での前記撮像装置の振れ量を算出する振れ算出手段と、前記動きベクトル検出手段の出力と前記像振れ変換手段の出力のうちの少なくとも１つを用いて、前記画像の像振れ量を電子的に補正するための補正量を算出する補正量算出手段と、前記補正量算出手段の出力に基づいて前記画像の像振れを電子的に補正する補正手段と、を備えることを特徴とする。

本発明によれば、簡単な構成で、良好な像振れ補正効果が得られるようにした撮像装置を提供することが可能となる。

本発明の第１の実施形態に係る撮像装置の一例としてのビデオカメラの構成例を示すブロック図である。 ピンホールカメラモデルを説明する図である。 第１の実施形態における画像変形量演算部の構成を示すブロック図である。 第１の実施形態における動きベクトル検出部を説明するための図である。 第１の実施形態におけるフレーム間振れ算出部の構成を示すブロック図である。 第１の実施形態における並進合成部の構成を示すブロック図である。 第１の実施形態における並進合成部の動作を説明するための図である。 本発明の第２の実施形態に係る撮像装置の一例としてのビデオカメラの構成例を示すブロック図である。 第２の実施形態における画像変形量演算部の構成を示すブロック図である。 本発明の第３の実施形態における並進合成部の動作を説明するための図である。 本発明の実施形態における「振れ」の定義を説明するための図である。 本発明の実施形態における「像振れ」の定義を説明するための図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

最初に、本発明の実施形態において使用する言葉の定義について説明する。本発明の実施形態の説明においては、撮像装置に加えられる振動を「振れ」とし、撮像装置に加えられる振れによって発生する撮像画像の変形を「像振れ」とする。本発明の実施形態において「振れ」は、図１１（ａ）及び図１１（ｂ）に示すように、ＹＡＷ、ＰＩＴＣＨ、ＲＯＬＬ方向の３種類の「角度振れ」と、互いに直交する軸（水平軸、垂直軸、光軸）に平行な方向である、水平、垂直、光軸方向の３種類の「平行振れ」（シフト振れ）の総称を意味する。なお、ＹＡＷ方向は垂直軸回りの方向である。ＰＩＴＣＨは水平軸回りの方向である。ＲＯＬＬ方向は光軸回りの方向である。また、「像振れ」は、図１２（ａ）乃至図１２（ｆ）に示すように、並進（水平・垂直）、回転、あおり（水平・垂直）、拡大縮小、せん断の各変形成分の総称を意味する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。以下、図１の撮像装置１００の各構成部とその一例の動作について具体的に説明する。

角速度センサ１０２は、撮像装置１００に加わる振れを角速度信号として検出し、その角速度信号をＡ／Ｄ変換器１０３に供給する。Ａ／Ｄ変換器１０３は、角速度センサ１０２からの角速度信号をデジタル化して、角速度データとしてμＣＯＭ１０１内部のフレーム間振れ演算部３００（像振れ変換部）に供給する。フレーム間振れ演算部３００は、順次撮像される動画のフレーム間で撮像装置に加わった角度振れ量を算出し、角度データとして、画像の像振れを電子的に補正する変形量を算出する画像変形量演算部２００（補正量算出部）に供給する。フレーム間振れ演算部３００の処理の詳細は後述する。

撮像光学系１２０は、変倍レンズの移動によるズーミングや、フォーカスレンズの移動によるフォーカシング等の動作を行い、被写体像を撮像素子１２３に結像させる。焦点距離検出手段であるズームエンコーダ１１９は、撮像光学系１２０の中の変倍光学系１２１の位置（ズーム位置）を検出し、μＣＯＭ１０１内部の画像変形量演算部２００に出力する。

撮像素子１２３は、撮像光学系１２０によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部１２４に供給する。信号処理部１２４は、撮像素子１２３により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して画像メモリ１２５に供給する。動きベクトル検出部１２６は、時間的に前後のフレームである２枚の撮像画像、具体的には信号処理部１２４で生成された現在の映像信号に含まれる輝度信号と、画像メモリ１２５に格納された１フレーム前の映像信号に含まれる輝度信号とに基づいて、画像の動きベクトルを検出する。動きベクトル検出部１２６によって検出された動きベクトルデータは、画像変形量演算部２００に供給される。

画像変形量演算部２００は、上述の角度データ、動きベクトルデータ及びズームエンコーダ１１９の出力を用いて、撮像画像の像振れを補正するための画像変形量を算出し、画像変形部１２７に算出した画像変形量を設定する。画像変形量演算部２００の処理の詳細は後述する。

画像変形部１２７は、画像変形量演算部２００で算出された画像変形量に基づいて、画像メモリ１２５に格納された画像を変形することによって撮像画像の像振れを補正し、記録制御部１２８及び表示制御部１３０に出力する。表示制御部１３０は、画像変形部１２７から供給された映像信号を出力して表示デバイス１３１に画像を表示させる。表示制御部１３０は表示デバイス１３１を駆動し、表示デバイス１３１は液晶表示素子（ＬＣＤやビューファインダー）等により画像を表示する。

また、記録制御部１２８は、記録開始や終了の指示に用いる操作部（不図示）によって映像信号の記録が指示された場合、画像変形部１２７から供給された映像信号を記録媒体１２９に出力し、記録させる。記録媒体１２９は、半導体メモリ等の情報記録媒体やハードディスクや磁気テープ等の磁気記録媒体である。

次に、画像変形部１２７で行われる画像変形について、詳細に説明する。

画像変形部１２７は、例えば射影変換等の幾何変換を用いて画像変形を行う。具体的には、変形前の画像（画像メモリ１２５に記憶された画像）中の画素座標を（Ｘ０，Ｙ０）（ただし、撮像光学系１２０の光軸に対応した撮像画像の中心を原点とする）とし、変形後の画像（画像変形部１２７の出力画像）中の画素座標を（Ｘ１，Ｙ１）として、同次座標で表現すると、（式１）のように記述することができる。

（式１）の左辺と右辺は同値関係（左辺または右辺に任意の倍率をかけても意味が変わらない）を示し、通常の等号では（式２）、（式３）となる。

また（式１）において、３×３の行列は一般的に射影変換行列と呼ばれ、行列の要素ｈ１〜ｈ８は、画像変形量演算部２００が設定する。なお、以下の説明では、画像変形部１２７の画像変形は、射影変換を用いることとして説明を行うが、例えばアフィン変換等、如何なる変形方法を用いても良い。

次に、画像変形量演算部２００によって行われる処理の詳細について説明する。画像変形量演算部２００では、角速度センサ１０２の出力から算出される撮像装置の振れ角度と、ズームエンコーダ１１９から算出される撮像光学系１２０の焦点距離とを用いて、画像変形部１２７の画像変形量を算出する。具体的には、（式１）の射影変換行列を算出する。

ここで、振れ角度と撮像光学系１２０の焦点距離を用いた射影変換行列の算出方法について、以下に説明する。

図２（ａ）は、撮像装置による被写体の撮像面への投影を、ピンホールカメラモデルで図示したものである。図２（ａ）において、ＸＹＺ空間座標の原点（０，０，０）は、ピンホールカメラモデルにおけるピンホール位置である。撮像面は、ピンホール位置よりも後ろ側に配置すると、撮像面に投影される画像が倒立してしまうため、像が倒立せずに扱いやすいように、図２（ａ）では仮想的にピンホール位置よりも前に撮像面Ｉを配置している。

ＸＹＺ空間座標の原点（０，０，０）と撮像面ＩとのＺ軸方向の距離は、焦点距離ｆとなる。撮像面Ｉ上の座標は、ｕｖ平面座標として定義し、ｕｖ平面座標の原点（０，０）は、ＸＹＺ空間座標における（０，０，ｆ）と一致しているものとする。ｕｖ平面座標上の座標Ｐ（ｕ，ｖ）は、ＸＹＺ空間座標上の被写体Ａ（Ｘ，Ｙ，Ｚ）が、撮像面Ｉに投影されたときの座標である。このとき、座標Ｐは（式４）で表すことができる。

（式４）は、同次座標を用いると、（式５）で表すことができる。

（式５）の３×４の行列の４列目の要素は、本実施形態の説明においては０のままとするので、（式５）は（式６）としても同じである。

図２（ｂ）は、図２（ａ）のピンホールカメラモデルを、Ｒ回転（撮像装置に回転振れＲが生じ、撮像装置の平行移動である平行振れは生じていない）したときのものである。図２（ｂ）においては、図２（ａ）のＸＹＺ空間座標をＲ回転した座標をＸ’Ｙ’Ｚ’空間座標としている。Ｘ’Ｙ’Ｚ’空間座標の原点（０，０，０）は、ＸＹＺ空間座標と一致しているものとする。つまり図２（ｂ）は、撮像装置に回転振れＲが生じ、撮像装置の平行移動である平行振れは生じていない状態を、ピンホールカメラモデルで単純化して表現しているものである。

図２（ｂ）のピンホールカメラモデルにおいて、撮像面Ｉ’は、図２（ａ）と同様、原点（０，０，０）からの距離が焦点距離ｆの位置に配置されている。撮像面Ｉ’上の座標は、ｕ’ｖ’平面座標として定義し、ｕ’ｖ’平面座標の原点（０，０）は、Ｘ’Ｙ’Ｚ’空間座標における（０，０，ｆ）と一致しているものとする。ｕ’ｖ’平面座標上の座標Ｐ’（ｕ’，ｖ’）は、Ｘ’Ｙ’Ｚ’空間座標上の被写体Ａ’（Ｘ’，Ｙ’，Ｚ’）が、撮像面Ｉ’に投影されたときの座標である。なお、図２（ａ）の被写体Ａと図２（ｂ）の被写体Ａ’の世界座標系での位置は、同じ位置である（すなわち、被写体が移動していない）ものとする。このとき座標Ｐ’は、同次座標を用いると、（式６）と同様に（式７）で表すことができる。

また、被写体Ａと被写体Ａ’の世界座標系での位置は同じであるため、両者の座標の関係は、（式８）で表すことができる。

更に、（式６）、（式７）を変形して（式８）に代入すると、（式９）を導出することができる。

（式９）は、ピンホールカメラがＲ回転（撮像装置に回転振れＲが生じ、撮像装置の平行移動である平行振れは生じていない）する前後での、撮像面上での被写体像の位置の対応関係を示したものである。即ち、撮像装置にＲ回転の振れが加わったとき、撮像面上での画素がどこからどこへ移動するかを示す式となる。よって、像振れの補正を行うためには、撮像装置に振れが加わったときの画素移動量を元に戻す変換を行えばよい。すなわち（式１０）に従って、撮像装置にＲ回転の振れが加わったことにより、移動してしまった画素位置を元に戻す変換を行えばよい。

よって、図１の撮像装置１００に加わる振れをＲ、撮像光学系１２０の焦点距離をｆとし、像振れ補正を行うための射影変換行列をＨとすると、Ｈは（式１１）となる。

なお、撮像装置に加わった光軸に垂直な平面上の第１の方向回りの振れであるＹＡＷ方向の角度振れ量をθy、光軸に垂直な平面上の第１の方向と直交する方向である第２の方向回りの振れであるＰＩＴＣＨ方向の角度振れ量をθp、ＲＯＬＬ方向の角度振れ量をθrとすると、Ｒは（式１２）で表すことができる。

（式１１）のＨは、（式１３）を用いることにより、並進ｔ→、拡大縮小ｓ（定数）、回転ｒ（行列）、せん断ｋ（行列）、あおりｖ→の各変形成分に分解することができる。

ここで、
ｔｘ … 水平並進量
ｔｙ … 垂直並進量
θ … 回転角
ｖx … 水平あおり量
ｖy … 垂直あおり量
α … せん断の非等方倍率
φ … せん断の方向角
である。

（式１１）、（式１２）、（式１３）より、各変形成分に対する方程式を解くと、（式１４）〜（式２１）となる。

ここで、本実施形態においては、画像変形量演算部２００の処理は、以下に説明するように、演算を簡略化する。撮像装置に加わる角度振れは、パンニング等のユーザーが意図的に撮像装置を操作する動きを除いては、それほど大きくはならない。よって、撮像装置に加わる振れ角度がγのとき、ｃｏｓγ＝１、ｓｉｎγｔａｎγ＝０、ｓｉｎγｓｉｎγ＝０と近似することができ、（式１４）〜（式２１）は（式２２）〜（式２９）で表すことができる。

このとき、（式２７）より拡大縮小は１倍となり、（式２８）、（式２９）より、せん断の非等方倍率は１倍、方向角は０度となる。すなわち、撮像装置に加わる角度振れによって撮像画像に生じる変形成分としては、拡大縮小、せん断は他の変形成分と比較して、小さいことが分かる。

よって、本実施形態における画像変形量演算部２００の処理では、拡大縮小、せん断の各変形成分の補正は行わず、並進、回転、あおりの補正のみを行うものとする。

以下、図３及び図４のブロック図を用いて、本実施形態における、画像変形量演算部２００及びフレーム間振れ演算部３００の各構成部とその一例の動作について具体的に説明する。

まず、撮像された動画像の動きベクトルを算出するブロックについて説明する。図３のブロック図において、動きベクトル検出部１２６は、フレーム画像間における局所的な動きベクトルを検出する。このとき、局所動きベクトルの検出位置として、例えば図４に示すように、縦６ブロック、横１０ブロックの格子状に検出ブロック４０１を配置する。そして、検出ブロック４０１毎に局所動きベクトルを算出する。動きベクトルの算出は、テンプレートマッチングや勾配法等の公知の手法を用いることができるので、詳細な説明は省略する。

ブロック単位に検出された局所動きベクトルは、動きベクトル処理部２０１に供給され、画面全体の動きベクトル値である代表ベクトルを決定する。具体的には、局所動きベクトル値の中央値又は平均値が、画像全体の代表ベクトル値とされる。

このとき、動きベクトル処理部２０１は、代表動きベクトル値の信頼度（正確さの尺度）を求める。具体的には、動きベクトル処理部２０１は、局所動きベクトル値の分散値を求め、その分散値に基づいて代表動きベクトル値の信頼度を決定する。分散値が小さい（つまり、局所動きベクトルが分散していない）場合に、動きベクトル処理部２０１は、代表動きベクトル値の信頼度は高いと判定する。逆に分散値が大きい（つまり、局所動きベクトルが分散している）場合に、動きベクトル処理部２０１は、代表動きベクトル値の信頼度は低いと判定する。これは、映像信号の動き方向が均一な場合には、その画像から得られるブロック単位の局所動きベクトル値は均一なベクトル量であることに基づいている。なお、動きベクトル処理部２０１において、信頼度の判定の基準となる基準値（局所動きベクトルの分散値の基準値）は、予め定められる。動きベクトル処理部２０１による信頼度の判定結果と代表動きベクトル値は、並進合成部２０３に供給される。なお、動きベクトルの信頼度の評価について局所動きベクトルの分散値に基づいて算出する方法を一例に説明したが、動きベクトルの信頼度を評価できればどのような方法を用いてもよい。

次に、角速度センサの出力信号を処理するブロックについて説明する。なお、ＹＡＷ方向の角度振れによって、（式２２）、（式２５）から水平方向の並進、水平方向のあおりが生じ、ＰＩＴＣＨ方向の角度振れによって、（式２３）、（式２６）から垂直方向の並進、垂直方向のあおりが生じる。しかし、両者の処理は同じとなるので、以下の説明においては、いずれか一方の制御に関してのみ説明を行う。

図５はフレーム間振れ演算部３００の構成を説明するブロック図である。図５（ａ）のブロック図において、Ａ／Ｄ変換器１０３から供給された角速度データは、積分器３０２で積分される。そして積分器３０２は、角速度データの積分結果である角度データを出力する。タイミング生成部３０１は、動画像を構成するフレーム画が撮像されるタイミングに同期した信号を、差分演算部３０３に出力する。差分演算部３０３は、タイミング生成部３０１からの信号を受けて、積分器３０２の出力データを保持する。そして差分演算部３０３は、前回保持した値との差分、即ち、前フレーム画像が撮像された時刻から現フレーム画像が撮像された時刻までの撮像装置の角度振れ量を出力する。

なお、フレーム間振れ演算部３００の別の一例として、図５（ｂ）に示すようにしてもよい。即ち、タイミング生成部３０１から出力される信号を積分器３０２に直接供給し、積分値をリセットすることでフレーム間の角度振れ量を取得する構成としてもよい。

このようにして、フレーム間振れ演算部３００は、前フレーム画像が撮像された時刻から現フレーム画像が撮像された時刻までの撮像装置の角度振れ量を算出し、画像変形量演算部２００に供給する。

図３のブロック図において、フレーム間振れ演算部３００の出力であるフレーム間の角度振れ量は、並進変換部２０２に供給される。並進変換部２０２は、フレーム間の角度振れ量を画像上の並進像振れ量に変換する。具体的には、並進変換部２０２は、フレーム間振れ演算部３００の出力である１フレーム間の角度振れ量に、焦点距離演算部２０４から供給される撮像光学系１２０の焦点距離ｆを乗じて、１フレーム間に発生した画像上の並進像振れ量に変換する。焦点距離ｆを乗算する算出方法は、（式２２）、（式２３）の並進の算出式による。焦点距離ｆは、焦点距離演算部２０４において、ズームエンコーダ１１９の出力から、撮像光学系１２０の焦点距離を算出することができる。

ところで、動きベクトル処理部２０１の出力である代表動きベクトルは、フレーム間の画面上の並進像振れ量そのものである。従って、上述したように角速度センサの出力からフレーム間の角度振れ量を算出することによって、角速度センサから得られた並進像振れ量と、動きベクトル検出部１２６から供給される動きベクトルとを、同一単位かつ、同一時間軸上の時系列データとして扱うことができる。以降、角速度センサから得られた並進像振れ量と、動きベクトルから得られる並進像振れ量を区別するため、便宜上、前者をセンサ並進像振れ、後者をベクトル並進像振れと呼ぶ。

並進合成部２０３には、並進変換部２０２の出力であるセンサ並進像振れと、動きベクトル処理部２０１の出力である代表動きベクトル（ベクトル並進像振れ）とその信頼度が供給され、これらに基づいて最終的に補正量の演算に用いられる並進像振れデータを求める。

図６は、並進合成部２０３の具体的な動作を説明するためのブロック図である。動きベクトル処理部２０１から供給されたベクトル並進像振れデータは、乗算器２４２に供給され、所定の倍率が乗算される。また、並進変換部２０２から供給されたセンサ並進像振れデータは、乗算器２４３に供給され、所定の倍率が乗算される。乗算器２４２の出力と乗算器２４３の出力は、加算器２４４で上記の倍率に基づく比率で加算され、最終的に補正量の演算に用いるための並進像振れデータとして出力される。制御部２４１には、動きベクトル処理部２０１の出力である代表動きベクトルの信頼度が供給されており、信頼度に応じて、乗算器２４２及び乗算器２４３の倍率を設定する。乗算器２４２に設定する倍率をＫ１、乗算器２４３に設定する倍率をＫ２とすると、Ｋ１、Ｋ２は以下の式が成り立つような値を設定する。

０≦Ｋ１≦１ …（式３０）
０≦Ｋ２≦１ …（式３１）
（Ｋ１＋Ｋ２）＝１ …（式３２）
図７は制御部２４１において決定されるＫ１、Ｋ２の特性を示すグラフである。信頼度が閾値１より小さいときは、Ｋ１＜Ｋ２となるような倍率を設定する。信頼度が閾値１と閾値２の間にある場合は、信頼度が大きくなるにつれて、Ｋ１が大きく（Ｋ２が小さく）なるように設定する。そして信頼度が閾値２より大きいときは、Ｋ１＞Ｋ２となるような倍率を設定する。このように、動きベクトルの信頼性が高い場合には、動きベクトルから得られた並進像振れ量の割合を大きくする。逆に動きベクトルの信頼性が低い場合には、動きベクトルから得られる並進像振れデータの割合を小さくし、代わりに角速度センサから得られた並進像振れデータの割合を大きくする。

再び図３に戻り、並進像振れの補正量を算出するための符号２１１から２１４までのブロックについて説明を行う。ＨＰＦ２１１には、前述した並進合成部２０３からの出力のうち、ＹＡＷ方向またはＰＩＴＣＨ方向の並進像振れデータが供給される。ＨＰＦ２１１は、任意の周波数帯域でその特性を変更し得る機能を有しており、並進像振れに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なおＨＰＦ２１１は、本実施形態において必須の構成ではなく、並進合成部２０３からの出力をセンタリング部２１２に直接供給してもよい。

センタリング部２１２は、撮像装置１００のＹＡＷ方向またはＰＩＴＣＨ方向に対して、補正量をゼロに戻すような入力値（以下、センタリング量とする）を、ＨＰＦ２１１の出力に対して加算する処理を行う。このセンタリング部２１２の処理は、パンニングもしくは補正しきれない大きな角度振れが生じたときに行う。なおセンタリング部２１２は、本実施形態において必須の構成ではなく、ＨＰＦ２１１からの出力を積分器２１３に直接供給してもよい。

積分器２１３は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部２１２からの出力を積分し、飽和防止制御部２１４に供給する。飽和防止制御部２１４は、積分器２１３からの出力が所定値（以下、リミット値とする）以上とならないように、積分器２１３からの出力を制限する制御を行う。また、飽和防止制御部２１４は、積分器２１３からの出力がリミット値に近づいたときに、ＨＰＦ２１１のカットオフ周波数を高域側に変更したり、積分器２１３の時定数を短くしたり、センタリング部２１２のセンタリング量を大きくする等の制御を行う。これらの飽和防止制御部２１４の処理によって、パンニングによって発生する低周波数帯域の動き成分を遮断することができ、撮影者のパンニング操作を妨げてしまう不具合を防止することができる。具体的には、補正手段（画像変形部１２７や補正光学系１２２）が中心に向かいやすくすることによって、検出する振れに対する像振れ補正の度合いを下げる（像振れ補正の追従性を下げる）ことになる。飽和防止制御部２１４の出力は、最終的な並進補正量となり、画像変形量合成部２０５に供給される。

次に、あおり像振れの補正量を算出するための符号２２０から２２４までのブロックについて説明を行う。符号２２０から２２４までのブロックは、あおり変換部２２０の処理を除いては、符号２１１から２１４までのブロックと処理が同じであるため、あおり変換部２２０についてのみ説明を行い、他のブロックについての説明は省略する。

あおり変換部２２０には、前述したフレーム間振れ演算部３００からの出力のうち、ＹＡＷ方向またはＰＩＴＣＨ方向の角度振れデータが供給される。あおり変換部２２０は、角度振れデータを焦点距離演算部２０４によって算出された焦点距離ｆで除算して、ＨＰＦ２２１に供給する。焦点距離ｆで除算するのは、（式２５）、（式２６）のあおりの算出式による。飽和防止制御部２２４の出力は、最終的なあおり補正量となり、画像変形量合成部２０５に供給される。

次に、光軸回りの回転像振れの補正量を算出するための符号２３１から２３４までのブロックについて説明を行う。

ＨＰＦ２３１には、前述したフレーム間振れ演算部３００からの出力のうち、ＲＯＬＬ方向の角度振れデータが供給される。ＨＰＦ２３１は、任意の周波数帯域でその特性を変更し得る機能を有しており、角度振れデータに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なおＨＰＦ２３１は、本実施形態において必須の構成ではなく、フレーム間振れ演算部３００からの出力をセンタリング部２３２に直接供給してもよい。

センタリング部２３２は、撮像装置１００のＲＯＬＬ方向に対して、補正しきれない大きな角度振れが生じたとき、センタリング部２１２，２２２と同様、センタリング量をＨＰＦ２３１の出力に対して加算する処理を行う。なおセンタリング部２３２は、本実施形態において必須の構成ではなく、ＨＰＦ２３１またはフレーム間振れ演算部３００からの出力を積分器２３３に直接供給してもよい。

積分器２３３は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部２３２からの出力を積分し、飽和防止制御部２３４に供給する。飽和防止制御部２３４は、積分器２３３からの出力が所定のリミット値以上とならないように、積分器２３３からの出力をリミットする制御を行う。また、飽和防止制御部２３４は、積分器２３３からの出力がリミット値に近づいたときに、ＨＰＦ２３１のカットオフ周波数を高域側に変更したり、積分器２３３の時定数を短くしたり、センタリング部２３２のセンタリング量を大きくする等の制御を行う。飽和防止制御部２３４の出力は、最終的な回転補正量となり、画像変形量合成部２０５に供給される。

画像変形量合成部２０５は、飽和防止制御部２１４，２２４，２３４から出力された、並進、あおり、回転補正量を合成する演算を行う。具体的には（式１３）に従って、（式１）の射影変換行列を算出する。このとき、拡大縮小、せん断の変形量は、（式２７）、（式２８）、（式２９）に示した値とする。画像変形量合成部２０５は、算出した射影変換行列の各要素の値を、画像変形部１２７へと出力する。画像変形部１２７では、画像変形量合成部２０５からの出力に基づいて、画像変形による像振れ補正が行われる。

以上説明してきたように、本発明の第１の実施形態においては、フレーム間に発生した角度振れ量から算出した並進像振れ量と、動きベクトルとを所定の割合で加算する並進合成部２０３を設け、その結果に基づいて並進像振れを補正する構成とした。これによって、角速度センサから求める並進補正量と、動きベクトルから求める並進補正量の演算部を共通化することが可能となり、簡単な構成で、良好な像振れ補正性能を実現することができる。

また、並進合成部２０３は、動きベクトルの信頼性に応じて、加算する割合を変更する構成とした。これによって、動きベクトルの信頼性が低い場合には、角速度センサから求めた並進像振れ量の割合を大きくすることが可能となり、動きベクトルの検出が正しく行われない撮影状況においても、画質の劣化を最小限に抑えることができる。

（第２の実施形態）
図８は、本発明の第２の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、図８において、図１と同様の構成には、同じ符号を付し、説明は省略する。図８は、図１の構成に対し、光軸に垂直方向に移動することによって撮像画像の像振れを光学的に補正する補正光学系１２２と、補正光学系１２２を制御するためのブロックが追加された構成となっている。

Ａ／Ｄ変換器１０３の出力は、フレーム間振れ演算部３００に供給されるとともに、図８の構成においては、ＨＰＦ１０４に対しても供給される。ＨＰＦ１０４は、任意の周波数帯域でその特性を変更し得る機能を有しており、Ａ／Ｄ変換器１０３からの角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。撮像装置１００に対して、パンニング等の大きな角度振れが生じると、ＨＰＦ１０４のカットオフ周波数は、角度振れが小さいときよりも高い値に設定される。

敏感度演算部１０５は、ズームエンコーダ１１９の出力に応じて、各ズーム位置において最適な補正光学系１２２の駆動量を算出するための係数を算出し、ＨＰＦ１０４の出力に乗算して積分器１０６へと供給する。積分器１０６は、任意の周波数帯域でその特性を変更し得る機能を有しており、敏感度演算部１０５からの出力を積分し、飽和防止制御部１０７に供給する。撮像装置１００に対して、パンニング等の大きな角度振れが生じると、積分器１０６の時定数は、角度振れが小さいときよりも短い値に設定される。

飽和防止制御部１０７は、積分器１０６の出力が所定のリミット値より大きくなったときに、リミット値内に抑制するように積分器１０６の出力をリミットし、リミットした出力を減算器１０８に供給する。

位置検出部１１７は、磁石とそれに対向する位置に備えられたホール・センサとからなり、補正光学系１２２の光軸と垂直な方向への移動量を検出する。Ａ／Ｄ変換器１１８は、位置検出部１１７にて検出された補正光学系１２２の位置を、アナログ信号からデジタル信号へ変換（Ａ／Ｄ変換）する。減算器１０８は、デジタル化した補正光学系１２２の位置データを飽和防止制御部１０７の出力から減算し、その結果である偏差データを制御フィルタ１０９に供給する。ここで、端子Ｂ１１４と端子Ｂ１１６は、各々が電気的に接続されていることを示している。

制御フィルタ１０９は、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。制御フィルタ１０９において増幅器及び位相補償フィルタによる信号処理が行われた後、減算器１０８から供給された偏差データが、パルス幅変調部１１０に出力される。

パルス幅変調部１１０は、制御フィルタ１０９を通過して供給されたデータを、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動部１１１に供給する。モータ１１２は、補正光学系１２２の駆動用のボイス・コイル型モータであり、モータ駆動部１１１に駆動されることにより、補正光学系１２２が光軸と垂直な方向に移動される。ここで、端子Ａ１１３と端子Ａ１１５は、各々が電気的に接続されていることを示している。

。以上のブロックによって、飽和防止制御部１０７の出力に対して、位置検出部１１７の出力を減算し、補正光学系１２２の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。Ａ／Ｄ変換器１１８の出力は、減算器１０８の他に画像変形量演算部にも供給される。

補正光学系１２２は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸を偏向する、振れ補正可能な光学系である。補正光学系１２２の移動が行われた結果、撮像装置１００の振れによって生じる撮像面上の被写体の並進方向の像振れが補正された像が、撮像素子１２３に結像される。

以下、図９のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、図９において、図３と同様の構成には、同じ符号を付し、説明は省略する。図９の画像変形量演算部２００の構成は、図３に対し、並進補正量換算部２０６と減算器２０７が追加されたものとなっている。

並進補正量換算部２０６は、Ａ／Ｄ変換器１１８の出力を用いることによって、補正光学系１２２によって補正された、撮像面上での並進補正量を演算する。補正光学系１２２による像振れ像振れ補正は、撮像面上での像振れ像振れの各変形成分のうち、並進方向の像振れを光学的に補正することができる。従って、図３を用いて説明したように角速度センサからの出力データを全て用いて並進補正量を演算すると、過補正となってしまう。そこで図９の構成においては、並進補正量換算部２０６によって補正光学系１２２の並進補正量を算出し、減算器２０７で、並進変換部２０２の出力から補正光学系１２２の並進補正量を減算することによって、並進像振れ以外の像振れと、補正光学系１２２で補正しきれなかった並進補正量のみを画像変形部１２７で補正する構成としている。

以上のように、本発明の第２の実施形態においては、第１の実施形態の構成に加えて、補正光学系１２２によって、並進像振れの補正を、光学的にも行う構成とした。これによって、並進方向の変形に必要な余剰画素を、更に小さく抑えることが可能となり、画像変形部１２７が出力することのできる画素数をできるだけ大きく保ち、画質の劣化を最小限に抑えることができる。

なお、この第２の実施形態においては、光学的な像振れ補正手段として、補正光学系１２２を例にとって説明したが、これに限定されるものではない。例えば、撮像素子１２３を駆動する方法や、プリズムを用いる方法等、種々の像振れ補正手段を用いることができる。

（第３の実施形態）
次に、図３の並進合成部２０３が実行する処理の第２の方法について、第３の実施形態として以下に図面を用いて詳細な説明を行う。第１の実施形態では、動きベクトルの信頼度に応じて、ベクトル並進像振れとセンサ並進像振れを加算する割合を変更したが、動きベクトルを直接評価せずとも、動きベクトルの信頼性を類推することは可能である。たとえば、ズーム操作がなされている時は、動きベクトル検出部で算出される局所動きベクトルは、画面中心から放射方向に検出される。これらの局所動きベクトルを用いて算出された代表動きベクトルは信頼性の低いものと考えてよい。また、撮像装置を大きくパン、チルトさせながら撮影している場合においては、フレーム間の画像上の移動量が大きくなり、動きベクトルの検出範囲を超えてしまう場合がある。このような場合も動きベクトルの信頼性は低いものとしてよい。第３の実施形態では、動きベクトル以外の情報を用いて、ベクトル並進像振れとセンサ並進像振れを加算する割合を変更する方法について説明する。

本実施形態における撮像装置の構成は図１、図３、図５、図６と同じ構成で実現できる。図６の並進合成部２０３における制御部２４１は、動きベクトル処理部２０１が算出した動きベクトルの信頼度を受取ると共に、Ａ／Ｄ変換器１０３の出力、ズームエンコーダ１１９の出力を受取り、これらの情報に基づいてベクトル並進像振れとセンサ並進像振れを加算する割合を変更する。

図１０のフローチャートは、制御部２４１の処理の一例を示したものである。図１０のフローチャートの処理は、例えば６０Ｈｚ等の所定の周期で繰り返し実行される。

ステップＳ１００では、変数ＳＥＮＳＯＲ＿ＯＵＴ１を、Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向の出力に基づいて生成された信号とすると、ＳＥＮＳＯＲ＿ＯＵＴ１が閾値ＡＭＰ＿ＴＨ１より大きいかどうかの判定を行う。Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向の出力に基づいて生成された信号とは、Ａ／Ｄ変換器１０３の出力を元に生成された信号であればどのような信号を用いてもよい。例えば、Ａ／Ｄ変換器１０３の出力そのものであってもいいし、Ａ／Ｄ変換器１０３の出力に対して種々のフィルタリング処理を行ったりゲイン等をかけた信号であってもいい。ステップＳ１００でＳＥＮＳＯＲ＿ＯＵＴ１がＡＭＰ＿ＴＨ１より大きいと判定された場合は、ステップＳ１０１の処理へと進む。

ステップＳ１０１では、カウンタＣＯＵＮＴＥＲ１の値をインクリメントし、ステップＳ１０２の処理に進む。ステップＳ１０２では、カウンタＣＯＵＮＴＥＲ１が閾値ＴＩＭＥ＿ＴＨ１より大きいかどうかの判定を行う。ステップＳ１０２でＣＯＵＮＴＥＲ１がＴＩＭＥ＿ＴＨ１以下であると判定された場合は、ステップＳ１０６に進む。ステップＳ１０２でＣＯＵＮＴＥＲ１がＴＩＭＥ＿ＴＨ１より大きいと判定された場合は、ステップＳ１０３の処理に進みＰＡＮ＿ＦＬＡＧに１を書き込む。ステップＳ１０３の処理が行われるのは、ＹＡＷ方向或いはＰＩＴＣＨ方向に所定時間（ＴＩＭＥ＿ＴＨ１）以上、所定の大きさ（ＡＭＰ＿ＴＨ１）以上の振れが加えられたとき、即ち、ステップＳ１０３の処理が行われるのは、撮像装置１００にパンニング或いはチルティング操作が行われた状態（パンニング状態あるいはチルティング状態）のときとなる。

ステップＳ１００において、ＳＥＮＳＯＲ＿ＯＵＴ１がＡＭＰ＿ＴＨ１以下であると判定された場合は、ステップＳ１０４の処理へと進む。ステップＳ１０４では、ステップＳ１０１でインクリメントするカウンタＣＯＵＮＴＥＲ１の値をクリアし、ステップＳ１０５に進む。ステップＳ１０５では、ＰＡＮ＿ＦＬＡＧをクリアし、ステップＳ１０６に進む。

ステップＳ１０６では、ズームエンコーダ１１９の出力値が前回処理された時からどれだけ変化したかを求めて、変数ＺＯＯＭ＿ＳＰＥＥＤに格納し、ステップＳ１０７に進む。即ちステップＳ１０６ではズーム操作された時のズーム倍率の変化スピードを求めて記憶する。ステップＳ１０７でＺＯＯＭ＿ＳＰＥＥＤがＺＯＯＭ＿ＴＨ１より大きいと判定された場合は、ステップＳ１０８へ進む。ステップＳ１０８では、ＺＯＯＭ＿ＦＬＡＧに１を書き込み、ステップＳ１１０に進む。ステップＳ１０７において、ＺＯＯＭ＿ＳＰＥＥＤがＺＯＯＭ＿ＴＨ１以下であると判定された場合は、ステップＳ１０９に進む。ステップＳ１０９では、ＺＯＯＭ＿ＦＬＡＧをクリアし、ステップＳ１１０に進む。

ステップＳ１１０では、ＰＡＮ＿ＦＬＡＧが１、または、ＺＯＯＭ＿ＦＬＡＧが１であるかを判定する。即ち、ステップＳ１１０では、撮像装置１００にパンニング或いはチルティング操作が行われたか、若しくはズーム操作が行われたかを判定する。いずれか一方でも１である場合は、ステップＳ１１１に進む。ステップＳ１１１では、乗算部２４２の倍率Ｋ１を０に、乗算部２４３の倍率Ｋ２を１に設定する。即ち、ベクトル並進像振れデータは使わずに、センサ並進像振れデータそのものが補正量の演算に使用されることを意味する。ステップＳ１１０で、ＰＡＮ＿ＦＬＡＧ、ＺＯＯＭ＿ＦＬＡＧがどちらも１ではないと判定された場合は、ステップＳ１１２に進む。ステップＳ１１２では、動きベクトル処理部２０１によって算出される動きベクトルの信頼度に応じて、乗算部２４２、２４３の倍率を設定し、図１０の処理は終了となる。なお、ステップＳ１１２で実行される処理は、第１の実施形態と同様であるため、説明を省略する。

以上説明してきたように、本発明の第３の実施形態においては、動きベクトルの信頼性に加えて、角速度センサの出力、ズームエンコーダの出力に応じて、並進合成部２０３における、ベクトル並進像振れとセンサ並進像振れを加算する割合を変更する構成とした。これによって、パンニングやチルティング操作、ズーム操作が行われた場合は、角速度センサから求めた並進像振れデータを用いて像振れ補正を行うことにより、動きベクトルの検出が正しく行われない撮影状況においても、画質の劣化を最小限に抑えることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 画像を撮像する撮像手段と、
   前記画像のうち２つの画像の間の動きベクトルを検出する動きベクトル検出手段と、
   振れを検出する振れ検出手段と、
   前記振れ算出手段の出力を、画像の像振れ量に変換する像振れ変換手段と、
   前記２つの画像のうち、前のフレームの画像を撮像してから次のフレームの画像を撮像するまでの前記振れ検出手段の出力に基づいて、前記２つの画像を撮影する間での前記撮像装置の振れ量を算出する振れ算出手段と、
   前記動きベクトル検出手段の出力と前記像振れ変換手段の出力のうちの少なくとも１つを用いて、前記画像の像振れ量を電子的に補正するための補正量を算出する補正量算出手段と、
   前記補正量算出手段の出力に基づいて前記画像の像振れを電子的に補正する補正手段と、
   を備えることを特徴とする撮像装置。
2. 前記補正量算出手段は、前記画像の並進像振れとあおり像振れと光軸回りの回転像振れのうち、並進像振れを含む少なくとも２つの像振れを補正するための補正量を演算するとともに、前記並進像振れを補正するための補正量は、前記動きベクトル検出手段の出力と前記像振れ変換手段の出力とに基づいて算出し、並進像振れ以外の像振れを補正するための補正量は、前記像振れ変換手段の出力に基づいて算出することを特徴とする請求項１に記載の撮像装置。
3. 前記補正量算出手段は、前記動きベクトル検出手段の出力と、前記像振れ変換手段の出力を所定の比率で加算した結果に基づいて、前記並進像振れを補正するための補正量を算出することを特徴とする請求項２に記載の撮像装置。
4. 前記補正量算出手段は、前記動きベクトル検出手段によって検出される前記動きベクトルの信頼度に応じて、前記動きベクトル検出手段の出力と前記像振れ変換手段の出力とを加算する比率を変更し、前記動きベクトルの信頼度が低いときには、前記動きベクトルの信頼度が高い時よりも、前記動きベクトル検出手段の出力を加算する比率を小さくすることを特徴とする請求項３に記載の撮像装置。
5. 前記補正量算出手段は、前記撮像装置がパンニング或いはチルティング状態であると判定された場合には、前記撮像装置がパンニング或いはチルティング状態ではないと判定された場合よりも、前記動きベクトル検出手段の出力を加算する比率を小さくすることを特徴とする請求項３に記載の撮像装置。
6. 前記振れ算出手段は、前記撮像手段によって順次撮像される周期よりも短い周期で、前記振れ検出手段の出力を積分する積分手段を有し、
   前記２つの画像のうち、前記前のフレームの画像を撮像しているときの前記積分手段の出力と、前記次のフレームの画像を撮像しているときにおける前記積分手段の出力の差分を演算することにより、前記２つの画像の間での前記撮像装置の振れ量を算出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記振れ算出手段は、前記撮像手段によって順次撮像される周期よりも短い周期で、前記振れ検出手段の出力を積分する積分手段を有し、
   前記動画像を構成する画像が撮像されるときの前記積分手段の出力を取得して前記積分手段の積分値をリセットすることにより、前記２つの画像の間での前記撮像装置の振れ量を算出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 画像を撮像する撮像手段を備える撮像装置を制御する方法であって、
   前記画像のうち２つの画像の間の動きベクトルを検出する動きベクトル検出工程と、
   振れを検出する振れ検出工程と、
   前記２つの画像のうち、前のフレームの画像を撮像してから次のフレームの画像を撮像するまでの前記振れ検出工程の出力に基づいて、前記２つの画像の間での前記撮像装置の振れ量を算出する振れ算出工程と、
   前記振れ算出工程の出力を、画像の像振れ量に変換する像振れ変換工程と、
   前記動きベクトル検出工程の出力と前記像振れ変換工程の出力のうちの少なくとも１つを用いて前記画像の像振れ量を電子的に補正するための補正量を算出する補正量算出工程と、
   前記補正量算出工程の出力に基づいて前記画像の像振れを電子的に補正する補正工程と、を有
   することを特徴とする撮像装置の制御方法。
9. 請求項８に記載の制御方法をコンピュータに実行させるためのプログラム。
10. 請求項８に記載の制御方法をコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images