JP2012199802A - 撮像装置、及びその制御方法、プログラム - Google Patents

Abstract

【課題】ローリングシャッタ問題による歪みを補正する場合の補正残り、あるいは過補正を低減する。
【解決手段】ローリングシャッタ方式で駆動する撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における撮像装置の振動を検出し、検出された振動の時間特性を取得する。振動の時間特性について、振動に起因して画像に生じる被写体像の歪み量の周波数分布を解析し、当該周波数分布から歪み量が極大となる周波数を、歪み量の中心周波数として決定する。そして少なくとも中心周波数について、振動の時間特性を取得した際に生じた位相ズレがなくなるように、振動の時間特性を補償し、補償後の振動の時間特性から算出された補正量を用いて、撮像素子のラインごとに振動に起因して生じた被写体像の歪みを補正する。
【選択図】図２

Description

本発明は、撮像された画像に含まれる、手ぶれによる画像の歪みを補正する技術に関する。

近年、デジタルビデオカメラのような撮像装置は、撮像素子として、ＣＣＤより消費電力が低いＣＭＯＳセンサが用いられるようになってきている。ＣＣＤとＣＭＯＳセンサの違いは、消費電力だけでなく、その撮影時の露光方式についても両者は異なる。

ＣＣＤでは１つの撮像画像を撮像する際に、撮像素子の全ての画素の露光タイミング及び露光期間が同一であるのに対し、ＣＭＯＳセンサでは撮像素子を構成するラインごとにシャッタの開閉タイミングが異なるため露光期間に差が生じる。ＣＭＯＳセンサのような駆動方式は、ローリングシャッタ方式と呼ばれる。

このようなローリングシャッタ方式の撮像素子で撮影を行った場合、例えば露光中の被写体の移動、あるいは露光中の撮像装置を把持する撮影者の手ぶれにより、撮像素子のラインごとに被写体像が移動するため、撮像画像において歪みが生じることがあった。当該歪みが発生する現象は、「ローリングシャッタ問題」や「フォーカルプレーン現象」と呼ばれる。特にローリングシャッタ問題による歪みは、メカシャッタを用いる静止画撮影よりも、メカシャッタを用いない動画撮影において、より顕著に現れうる。

上述したようなローリングシャッタ問題による歪みのうち、撮影者の手ぶれにより生じた歪みを補正する技術が特許文献１に開示されている。特許文献１では、撮像装置に設けられた角速度センサにより検出した手ぶれ速度を積分することにより手ぶれの時間特性を取得し、撮像素子のラインごとの撮影時の撮像装置の位置変化に応じて歪みを補正することが開示されている。

特開２００６−１８６４８１号公報

しかしながら、角速度センサのサンプリング周波数が数ｋＨｚ〜数十ｋＨｚであるのに対し、手ぶれの周波数は０Ｈｚ〜１５Ｈｚ程度であり、両者の周波数はオーダーが著しく異なる。このような角速度センサの出力信号から手ぶれの時間特性を取得するために、特許文献１に示されるＦＩＲ（有限インパルス応答）フィルタを用いて信号処理する場合、多くのタップ数が必要となるため、回路規模を増大させてしまうことになる。

回路規模の増大を回避するためには、ＦＩＲフィルタではなくＩＩＲ（無限インパルス応答）フィルタを用いることが考えられるが、ＩＩＲフィルタは直線位相ではないため、周波数帯ごとに異なる位相遅れあるいは位相進みを生じる。即ち、このようにＩＩＲフィルタを用いて得られた手ぶれの時間特性にはＩＩＲフィルタの位相特性による位相ズレが生じているため、手ぶれの周波数によってはローリングシャッタ問題による歪みを補正するための補正量が正しく算出されないことがある。つまり、ＩＩＲフィルタを用いて得られた手ぶれの時間特性から算出した補正量を用いて、ローリングシャッタ問題による歪みを補正した場合、画像に補整残り、あるいは過補正といった現象が生じることになる。

本発明は、上述の問題点に鑑みてなされたものであり、ローリングシャッタ問題による歪みを補正する場合の補正残り、あるいは過補正を低減することを目的とする。

前述の目的を達成するために、本発明の撮像装置の一態様は、以下の構成を備える。
ローリングシャッタ方式で駆動する撮像素子を備える撮像装置であって、撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における撮像装置の振動を検出する検出手段と、検出手段により検出された振動の時間特性を取得する取得手段と、振動の時間特性について、振動に起因して画像に生じる被写体像の歪み量の周波数分布を解析する解析手段と、歪み量の周波数分布から、当該歪み量が極大となる周波数を歪み量の中心周波数として決定する決定手段と、少なくとも中心周波数について、前記取得手段により生じた位相ズレがなくなるように、振動の時間特性を補償する補償手段と、補償手段により補償された振動から算出された補正量を用いて、撮像素子のラインごとに振動に起因して生じた被写体像の歪みを補正する補正手段と、を備えることを特徴とする。

また、本発明の撮像装置の別の態様は、以下の構成を備える。
ローリングシャッタ方式で駆動する撮像素子を備える撮像装置であって、撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における撮像装置の振動を検出する検出手段と、検出手段により検出された振動の時間特性を取得する取得手段と、画像を撮像時の撮像装置のパラメータに基づいて、振動に起因して画像に生じる被写体像の歪み量の中心周波数が存在すると推定される周波数帯を含む複数の周波数を検波周波数として選択する第１の選択手段と、振動の時間特性について、振動のうちの検波周波数に起因して画像に生じる被写体像の歪み量の周波数分布を解析する解析手段と、歪み量の周波数分布から、当該歪み量が極大となる周波数を歪み量の中心周波数として決定する決定手段と、少なくとも中心周波数について、前記取得手段により生じた位相ズレがなくなるように、振動の時間特性を補償する補償手段と、補償手段により補償された振動から算出された補正量を用いて、撮像素子のラインごとに振動に起因して生じた被写体像の歪みを補正する補正手段と、を備えることを特徴とする。

このような構成により本発明によれば、ローリングシャッタ問題による歪みを補正する場合の補正残り、あるいは過補正を低減することが可能となる。

本発明の実施形態に係るデジタルビデオカメラの機能構成を示したブロック図 本発明の実施形態に係る歪み補正量算出部１０６の機能構成を示したブロック図 本発明の実施形態に係るブレ量算出部２０１の構成を示したブロック図 本発明の実施形態１に係るブレ量解析部２０２の構成を示したブロック図 本発明の実施形態１に係る中心周波数の決定方法を説明するための図 本発明の実施形態に係る位相補償部２０５の構成を示したブロック図 本発明の実施形態に係る位相補償を説明するための図 本発明の実施形態に係る撮像画像の補正量の算出方法を説明するための図 本発明の実施形態２及び変形例１及び２に係る撮影状況の推定方法を説明するための図 本発明の実施形態２及び変形例１及び２に係る、推定された撮影状況における歪み量の一般的な中心周波数を例示した図 本発明の実施形態２及び変形例２に係る、推定された撮影状況についての検波周波数のセットを例示した図 本発明の実施形態２及び変形例１及び２に係る、手ぶれの時間特性を検波する検波周波数のセットを決定する方法を説明するための図 本発明の実施形態２及び変形例１及び２に係る、手ぶれの時間特性のブレ量の検波周波数についての周波数分布 本発明の変形例１に係る補助情報のパラメータについて推定された撮影状況の信頼度を例示した図 本発明の変形例１に係る、撮影状況の信頼度に応じた検波周波数の選択方法を説明するための図 本発明の変形例２に係る、検波周波数の決定方法を説明するための図

（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、ローリングシャッタ問題による歪みのうち、手ぶれに起因して生じる歪みを補正可能なデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明は、ローリングシャッタ問題による歪みのうち、手ぶれに起因して生じる歪みを補正することが可能な任意の機器に適用可能である。また、本明細書において、「ローリングシャッタ問題により生じる歪み」のうち、手ぶれに起因して生じる歪みを「ローリング歪み」として記載し、以下に説明するものとする。

（デジタルビデオカメラ１００の機能構成）
図１は、本発明の実施形態に係るデジタルビデオカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルビデオカメラ１００が備える各ブロックの動作を制御する。具体的には制御部１０１は、例えばＲＯＭ１０２に記憶されている撮影処理等の処理プログラムを読み出して、不図示の揮発性メモリに展開して実行することにより、デジタルビデオカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、上述した処理プログラムに加え、各ブロックの動作において必要なパラメータ等が記憶される。

なお、本実施形態ではハードウェアとしてデジタルビデオカメラ１００が備える各ブロックにおいて各処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は当該各ブロックと同様の処理を行うプログラムで実現されてもよい。

撮像部１０３は、例えばＣＭＯＳセンサ等のローリングシャッタ方式の撮像素子を備えるブロックである。撮像部１０３は、不図示の光学系により撮像素子に結像された光学像を光電変換して得られたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、デジタル画像信号（画像データ）を出力する。撮像部１０３より出力された画像データは、例えば画像メモリ１０４に一時的に格納される。

画像処理部１０７は、撮像部１０３により撮像されて画像メモリ１０４に格納された画像データに対して、ゲイン調整、ホワイトバランス調整等の画像処理を適用するブロックである。また画像処理部１０７は、後述する歪み補正量算出部１０６により算出された歪み補正量を用いて、画像メモリ１０４に格納された画像データに生じている、ローリング歪みをラインごとに補正する。

デジタルビデオカメラ１００を用いて動画撮影を行う場合、画像処理部１０７において各種画像処理あるいはローリング歪み補正処理が実行された画像データは、所定の符号化方式に従って画像処理部１０７において符号化される。そして符号化されて得られた動画データは、記録媒体１０８に伝送されて記録される。

ブレ検出部１０５は、例えば角速度センサであって、デジタルビデオカメラ１００に加わったぶれ（手ぶれ）により生じる角速度を検出するセンサである。ブレ検出部１０５は、検出したデジタルビデオカメラ１００の３軸の角速度を、例えば歪み補正量算出部１０６に出力する。

歪み補正量算出部１０６は、手ぶれにより画像データ内の像に生じたローリング歪みを補正する補正量を算出するブロックであり、算出した補正量の情報を画像処理部１０７に出力する。

（歪み補正量算出部１０６の内部構成）
ここで、歪み補正量算出部１０６の内部構成、及び歪み補正量算出部１０６内で行われる処理について、図を用いて以下に詳細に説明する。

図２（ａ）は、本実施形態に係る歪み補正量算出部１０６の内部構成を示した図である。歪み補正量算出部１０６には、ブレ検出部１０５により検出された、１フレームの画像の撮像中に生じた角速度変化の情報が入力される。

ブレ量算出部２０１は、入力された１フレームの画像の撮像中に生じた角速度変化の情報から、当該角速度変化による撮像素子上の画素を単位とした像のブレ量の時間特性を取得する。

ブレ量算出部２０１は、図３に示すような構成となっており、まず入力された角速度変化の情報はＩＩＲフィルタ３０１で手ぶれの周波数に合わせて信号処理される。さらにブレ量算出部２０１により出力された角速度変化情報は、積分器３０２において積分処理がなされることにより、手ぶれの角変位情報θとして出力される。なお、手ぶれの角変位情報θは、例えばローリング歪みが生じうる、撮像素子の撮像面に対するピッチ方向及びヨー方向の角度について出力される。

ブレ量変換部３０３は、積分器３０２から入力された角変位情報θを、当該角変異により生じる、撮像素子上の画素を単位とした像のブレ量に変換する。具体的にはブレ量変換部３０３は、以下の式を用いて角変位情報θから、撮像素子上の像のブレ量に変換する。
ｆ_Ｌ・ｔａｎθ／ｐ
ここで、ｆ_Ｌは焦点距離、ｐは撮像素子上の画素ピッチである。

このように算出されたブレ量の時間特性は、位相補償部２０５及びブレ量解析部２０２に出力される。

なお、ブレ量算出部２０１では、ＩＩＲフィルタ３０１による手ぶれの周波数に応じた位相ズレ、及び積分器３０２の積分演算によるπ／２の位相遅れが生じることになる。このうち後者の積分演算による位相遅れについては手ぶれの周波数によらず固定の位相ズレであるため、π／２位相進めるように処理することにより影響をなくすことができる。本実施形態では、手ぶれの周波数に応じた位相ズレを低減するために、１フレームの撮像中に生じた手ぶれの周波数分布から手ぶれの中心周波数を特定する。そして、後述のブレ量解析部２０２、中心周波数決定部２０３、及び位相補償制御部２０４の処理において、少なくとも当該中心周波数について位相ズレが積分演算によるπ／２のみとなるように位相補償パラメータを算出し、位相補償部２０５に出力する。

ブレ量解析部２０２は、入力された手ぶれの時間特性に対して離散フーリエ変換を実行することにより、手ぶれの周波数分布を解析する。ブレ量解析部２０２における離散フーリエ変換は、図４に示すような回路構成によりハードウェアにおいて実行可能である。

入力された手ぶれの時間特性は、乗算器４０１及び乗算器４０２のそれぞれにおいて、所望の周波数の正弦波または余弦波が乗算され、加算器４０３または加算器４０４に入力される。シフトレジスタ４０５は、加算器４０３からの出力を遅延させ、乗算器４０７及び加算器４０３に出力する。同様にシフトレジスタ４０６は、加算器４０４からの出力を遅延させ、乗算器４０８及び加算器４０４に出力する。乗算器４０７及び乗算器４０８は、それぞれシフトレジスタ４０５及びシフトレジスタ４０６の出力を２乗する。そして乗算された結果は加算器４０９で足し合わせられた後、平方根演算器４１０で平方根を算出する。このようにすることで、離散フーリエ変換をハードウェアとして実行できる。

ブレ量解析部２０２で解析されたブレ量の周波数分布は、中心周波数決定部２０３に出力される。一般にはブレ量の周波数分布は図４に示すように、０〜１５Ｈｚに分布し、低周波であるほどブレ量、即ち手ぶれの振幅（最大ブレ量）が大きくなる傾向を示す。

中心周波数決定部２０３は、入力されたブレ量の周波数分布から、１フレームの撮像中に生じた手ぶれの中心周波数を決定する。

ブレ量解析部２０２で解析されたブレ量の周波数分布から、手ぶれの時間特性のうち、単一周波数ｆの振動は、当該周波数における最大ブレ量である振幅Ａ（ｆ）を用いて、
Ａ（ｆ）・ｓｉｎ（ωｔ） （ω＝２πｆ）
と表すことができる。即ち、周波数ごとの振動の速度は、手ぶれの時間特性を微分して
Ａ（ｆ）ω・ｃｏｓ（ωｔ）
と表すことができる。

例えば、撮像素子の連続するライン間の露光開始の時刻の差がΔｔである場合、前のラインの撮像が開始されてから次のラインの撮像が開始されるまでの期間Δｔでの像の変位量は、図５（ａ）のようなΔｔの中央の時刻ｔ_０の速度を平均速度とみなし、
Ａ（ｆ）ω・ｃｏｓ（ωｔ_０）・Δｔ
と表すことができる。当該式から、既にブレ量解析部２０２より得られているＡ（ｆ）（図５（ｂ））を分離し、ωｔ_０が一定として近似すると、残りの項は
ω・ｃｏｓ（ωｔ_０）・Δｔ
⇒２π・ｃｏｓ（ωｔ_０）・Δｔ×ｆ＝ｃ×ｆ （ｃ＝ｃｏｎｓｔ．）
と変形でき、図５（ｃ）のような周波数に対する一次関数で表すことができる。

即ち、中心周波数決定部２０３では、入力された図５（ｂ）のようなブレ量の周波数分布に対して、図５（ｃ）のような一次関数を乗じることにより、図５（ｄ）のような撮像画像における歪み量の周波数分布を得ることができる。

本実施形態では、撮像画像における歪み量の周波数分布において歪み量が最大となる周波数ｆ_ａを中心周波数として決定する。そして、当該中心周波数においてＩＩＲフィルタ３０１による位相遅れがπ／２となるように後述する位相補償制御部２０４に位相補償パラメータを設定させる。このようにすることで、歪み量が最も大きい、即ち位相ズレが生じた場合に像の補整残りまたは過補正による歪みが目立ちやすい周波数（中心周波数）において歪みをなくすようにできる。

位相補償制御部２０４は、位相補償部２０５での手ぶれの時間特性の位相補償処理において、中心周波数決定部２０３で決定した中心周波数近傍の位相遅れがπ／２となるような位相補償パラメータを算出して、位相補償部２０５に出力する。なお、位相補償パラメータは、中心周波数近傍の周波数帯において、位相補償後のブレ量の位相が目標位相である−π／２となるように、公知の方法で決定される。

位相補償部２０５は、位相補償フィルタであり、例えば当該位相補償フィルタの位相特性は図７（ａ）のようになる。位相補償部２０５は、入力された手ぶれの時間特性を、中心周波数決定部２０３で決定された中心周波数でＩＩＲフィルタ３０１により生じた位相ズレを補償し、当該周波数での位相遅れが積分器３０２により生じたπ／２となるように位相補償を行う。

位相補償部２０５の内部構成は、例えば図６のようになる。加算器６０１は、入力された手ぶれの時間特性（ブレ量）と、後述する増幅器６０３の出力とを足し合わせ、位相補償後のブレ量を撮像画像歪み量算出部２０６に出力する。またシフトレジスタ６０２は、入力された位相補償後のブレ量を遅延させ、増幅器６０３に出力する。増幅器６０３は、シフトレジスタ６０２からの出力に対して、位相補償制御部２０４より入力された位相補償パラメータであるフィルタ係数Ｋを乗算して加算器６０１に出力する。

このような構成により、位相補償制御部２０４で適切に設定された位相補償パラメータを用いて、位相補償部２０５の出力であるブレ量の位相特性を、図７（ｂ）のように中心周波数において−π／２とすることができる。

撮像画像歪み量算出部２０６は、入力された位相補償後の手ぶれの時間特性を用いて、ブレ量算出部２０１における位相ズレが補償された、撮像素子のラインごとの撮像画像の歪み量を算出する。撮像素子のライン間の撮像画像の歪み量は、例えばＮライン目とＮ＋１ライン目の間に生じる歪み量を例にとると、図８に示すように露光開始時刻におけるブレ量の差から算出することができる。

このように算出された歪み量をなくすように決定された補正量を用いて、画像処理部１０７は、撮像素子のラインごとに、ローリングシャッタ問題による撮像画像の歪みを補正することができる。

（まとめ）
以上説明したように、本実施形態の撮像装置は、ローリングシャッタ問題による歪みを補正する場合の補正残り、あるいは過補正を低減することができる。具体的には撮像装置は、ローリングシャッタ方式で駆動する撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における撮像装置の振動を検出し、検出された振動の時間特性を取得する。振動の時間特性について、振動に起因して画像に生じる被写体像の歪み量の周波数分布を解析し、当該周波数分布から歪み量が極大となる周波数を、歪み量の中心周波数として決定する。そして少なくとも中心周波数について、振動の時間特性を取得した際に生じた位相ズレがなくなるように、振動の時間特性を補償し、補償後の振動の時間特性から算出された補正量を用いて、撮像素子のラインごとに振動に起因して生じた被写体像の歪みを補正する。

このようにすることで、少なくとも、撮像画像における歪み量が最も大きく、補整残りあるいは過補正による歪みが目立ちやすい中心周波数について、ＩＩＲフィルタを用いたことによる位相ズレを補償することができる。このため、ローリングシャッタ問題による歪みを補正した場合に、撮像画像全体において歪みを目立たなくすることができる。さらに、１フレームの画像を撮像中の手ぶれの時間特性に応じて動的に中心周波数を決定するため、適切にローリングシャッタ問題による歪みを補正することができる。

（実施形態２）
上述した実施形態１では、手ぶれの時間特性の全ての周波数についてブレ量の周波数分布を解析して中心周波数を決定する方法について説明した。本実施形態２では、限られた周波数についてのブレ量の周波数分布を解析することにより中心周波数を決定する方法について説明する。

（歪み補正量算出部１０６の内部構成）
図２（ｂ）は、本実施形態に係る歪み補正量算出部１０６の内部構成を示した図である。なお、本実施形態の歪み補正量算出部１０６において、上述した実施形態１と同一の構成については、同一の参照符号を付して説明を省略し、本実施形態に特徴的な構成あるいは処理の説明に留める。

本実施形態の歪み補正量算出部１０６には、ブレ検出部１０５により検出された、１フレームの画像の撮像中に生じた角速度変化の情報に加え、当該画像の撮像時のデジタルビデオカメラ１００の状態を示す補助情報が制御部１０１により入力される。補助情報とは、例えば不図示のジャイロセンサの最大加速度（ジャイロデータ）、焦点距離、主被写体情報、あるいはシャッタスピード等の情報であり、本実施形態では当該補助情報は補助情報解析部２１１に入力される。

補助情報解析部２１１は、入力された補助情報から、デジタルビデオカメラ１００の撮影状況が、両手持ち撮影、片手持ち撮影、及び歩き撮り撮影のいずれであるかを推定する。一般的にこれらの撮影状況では、撮影者による把持方法や移動状態により、デジタルビデオカメラ１００に生じうる手ぶれの周波数分布が図９（ａ）のように異なる。具体的には、移動しながらの撮影である歩き撮り撮影では、手ぶれによるブレ量は相対的に大きくなり、これに対して撮影者が移動せずに両手でデジタルビデオカメラ１００を構える両手持ち撮影では、手ぶれによるブレ量は相対的に小さくなると考えられる。

ジャイロデータについては、例えば２〜３Ｈｚ程度の１つの低周波を検波することで、当該周波数におけるブレ量を、閾値を用いて「大きい」、「標準」、及び「小さい」のいずれかに分類する。そして補助情報解析部２１１は、ブレ量が大きい場合は「歩き撮り撮影」、小さい場合は「両手持ち撮影」と推定する。

焦点距離については、ズーム位置がテレ寄りであるほど、手ぶれが像の歪みとして現れやすいため、撮影者はデジタルビデオカメラ１００をしっかりと固定して撮影する状況が推定される。即ち、補助情報解析部２１１は、焦点距離が長い場合は「両手持ち撮影」、焦点距離が短い場合は「歩き撮り撮影」と推定する。

主被写体情報については、ズーム位置がワイド時の撮像画像における主被写体の大きさが小さい、あるいは主被写体までの距離が遠い場合、即ちズーム位置をテレ寄りにした撮影がなされると思われる。即ち、補助情報解析部２１１は、主被写体の大きさが小さい、あるいは主被写体までの距離が遠い場合は「両手持ち撮影」、主被写体の大きさが大きい、あるいは主被写体までの距離が近い場合は「歩き撮り撮影」と推定する。

シャッタスピードについては、露光時間が長い場合は蓄積ブレの影響が大きくなり、低周波のブレに起因する撮像画像の歪みは目立ちにくくなると考えられる。即ち、補助情報解析部２１１は、シャッタスピードが遅い場合は低周波成分のブレ量が少ない「両手持ち撮影」と推定し、位相補償周波数を高周波側に寄せる。

即ち、補助情報解析部２１１は、入力された補助情報のそれぞれについて、予め定められた状態や閾値を用いて、それぞれのパラメータを図９（ｂ）のように分類し、補助情報のパラメータごとに撮影状況を推定する。このようにすることで、一般的なブレ量の周波数分布から実際の手ぶれの時間特性の中心周波数を決定するために検波する周波数を、後述の検波周波数決定部２１２で決定することができる。

検波周波数決定部２１２は、補助情報解析部２１１で推定された補助情報のパラメータごとの撮影状況から、実際の手ぶれの時間特性についてのブレ量の周波数分布を検波する周波数（検波周波数）を決定（第１の選択）する。撮像画像における歪み量の周波数分布を考えると、中心周波数が撮影状況ごとに例えば図１０のような傾向になるため、当該傾向に基づいて、実際の手ぶれの時間特性の中心周波数は推定可能である。即ち、このように推定された中心周波数近傍の周波数について、重点的に実際の手ぶれの時間特性についてのブレ量の周波数分布を検波すれば、実際の中心周波数を簡易的に特定可能であると考えられる。

検波周波数決定部２１２は、まず補助情報のそれぞれのパラメータに対する検波周波数を離散的に選択する。具体的には検波周波数決定部２１２は、補助情報のそれぞれのパラメータについて推定された撮影状況に対応した、図１１のような一般的なブレ量の周波数分布の中心周波数に基づいて予め設定された離散的な検波周波数のセットを、当該パラメータごとに選択する。

そして検波周波数決定部２１２は、補助情報のそれぞれのパラメータに対して選択された離散的な検波周波数のセットを組み合わせて、後述するブレ量検波部２１３で実際の手ぶれの時間特性を検波する最終的な検波周波数のセットを決定する。

例えば、補助情報の２つのパラメータを用いて最終的な検波周波数のセットを決定する場合を考える。１つのパラメータについて選択された検波周波数のセットが図１２（ａ）であり、もう一方のパラメータについて選択された検波周波数のセットが図１２（ｂ）である場合、最終的な検波周波数のセットは１番目から５番目それぞれの周波数の平均をとり、
１番目：（２＋２）／２＝２Ｈｚ
２番目：（３＋７）／２＝５Ｈｚ
３番目：（４＋８）／２＝６Ｈｚ
４番目：（５＋９）／２＝７Ｈｚ
５番目：（１２＋１２）／２＝１２Ｈｚ
となる（図１２（ｃ）に示される）。

このようにすることで、離散的に決定された周波数に対して、実際の手ぶれの時間特性からブレ量の周波数分布を検波するため、全周波数に対するブレ量の周波数分布の解析（検波）より、当該処理に係る処理負荷を軽減できる。

ブレ量検波部２１３は、入力された手ぶれの時間特性について、検波周波数決定部２１２で決定された検波周波数のセットに含まれる周波数について離散フーリエ変換し、それぞれの周波数のブレ量の周波数分布を得る。得られるブレ量の周波数分布は、例えば図１３のように離散的となる。中心周波数決定部２０３は、当該周波数分布に対して２π・ｃｏｓ（ωｔ_０）・Δｔを乗算することにより、極大の歪み量を示す周波数を中心周波数として決定する。

以上説明したように、本実施形態の撮像装置は、撮影状況を推定して検波周波数を決定することにより、手ぶれの時間特性の中心周波数を算出する処理を軽減することができる。このようにして得られた中心周波数を用いることで、上述の実施形態１と同様に少なくとも、補整残りあるいは過補正による歪みが目立ちやすい周波数について、ＩＩＲフィルタを用いたことによる位相ズレを補償することができる。

（変形例１）
上述した実施形態２では、検波周波数決定部２１２は補助情報のパラメータそれぞれについて選択された固定の検波周波数のセットの平均をとって、実際の手ぶれの時間特性を検波する検波周波数のセットを決定するものとして説明した。本変形例１では、補助情報のパラメータそれぞれについて推定した撮影状況について信頼度を設け、各撮影状況の中心周波数の信頼度に基づいて検波周波数のセットを決定する方法について説明する。

例えば、補助情報のパラメータそれぞれについて推定した撮影状況について、図１４に示すような推定の信頼度が設定されている場合を考える。検波周波数決定部２１２は、補助情報解析部２１１により補助情報のパラメータそれぞれについて推定された撮影状況に対して、予め定められた図１０のような中心周波数を選択し、当該中心周波数を中心として検波周波数のセットを選択する。

例えば、推定された撮影状況の信頼度が１である場合、図１５（ａ）に示すように中心周波数６Ｈｚを中心とした検波周波数のセットが、１Ｈｚ間隔の４、５、６、７、８Ｈｚの周波数となるように設定されているとする。検波周波数決定部２１２は、補助情報の１つのパラメータの推定された撮影状況の信頼度が０．５である場合、信頼度１の検波周波数のセットに比べ、検波周波数のセットの間隔が当該撮影状況の信頼度の逆数、即ち２倍となるように検波周波数のセットを選択する。つまり、推定された撮影状況の中心周波数６Ｈｚを中心として、検波する周波数の周波数間隔が２倍である２Ｈｚ間隔となる、図１５（ｂ）のような検波周波数のセットが当該パラメータに対して選択される。

そして検波周波数決定部２１２は、補助情報のパラメータそれぞれについて撮影状況の信頼度に基づいて選択された検波周波数のセットを平均することにより、実際の手ぶれの時間特性を検波する、最終的な検波周波数のセットを決定する。

このように、補助情報である撮影時のデジタルビデオカメラ１００の状態に応じて、撮影状況を推定する際に、推定の信頼度を用いることで、より撮影時の状態に柔軟に対応した検波周波数を用いて、手ぶれの時間特性の検波を実行することができる。

なお、本変形例の説明において、検波周波数のセットは、周波数の間隔が信頼度の逆数となるように中心周波数を中心として選択されるものとして説明したが、本発明の実施はこれに限らない。例えば、信頼度ごとに周波数の間隔が予め定められていてもよいし、中心周波数に応じて周波数の間隔が変化してもよい。あるいは、検波周波数のセットにおける周波数の間隔は、等間隔でなくてもよい。

（変形例２）
上述した実施形態１及び変形例１では、検波周波数決定部２１２が決定した検波周波数のセットについて検波を行って、手ぶれの時間特性についての中心周波数を、当該検波周波数のセットのうち、歪み量が極大となる周波数に決定するものとして説明した。本変形例ではさらに、検波周波数で手ぶれの時間特性を検波した結果の歪み量の周波数分布をフィードバックすることにより、より正確な中心周波数を決定する方法について説明する。

（歪み補正量算出部１０６の内部構成）
図２（ｃ）は、本変形例に係る歪み補正量算出部１０６の内部構成を示した図である。なお、本実施形態の歪み補正量算出部１０６において、上述した実施形態１及び実施形態２と同一の構成については、同一の参照符号を付して説明を省略し、本実施形態に特徴的な構成あるいは処理の説明に留める。

検波周波数調整部２２１は、中心周波数決定部２０３で得られた手ぶれの時間特性を検波した結果の歪み量の周波数分布に基づいて、ブレ量検波部２１３で検波に用いる検波周波数のセットを制御するブロックである。

例えば中心周波数決定部２０３で、検波周波数についてのブレ量の周波数分布に対して、２π・ｃｏｓ（ωｔ_０）・Δｔが乗じられることにより得られた、撮像画像における歪み量の周波数分布が図１６（ａ）のようであった場合を考える。当該周波数分布では、極大の歪み量を有する周波数が４Ｈｚであり、当該周波数を挟む周波数である２Ｈｚ及び６Ｈｚにおいて歪み量が減少しているため、手ぶれの時間特性の正確な中心周波数は２〜６Ｈｚの周波数帯に存在すると考えられる。

検波周波数調整部２２１は、周波数分布の結果を中心周波数決定部２０３より入力されると、上述のような傾向を判別し、検波周波数決定部２１２から入力されて１度ブレ量検波部２１３に出力した検波周波数のセットを変更する。例えば図１６（ａ）のような周波数分布の結果である場合は、図１６（ｂ）のように検波周波数の中心である周波数をシフトして新たな検波周波数のセットを設定（第２の選択）し、ブレ量検波部２１３に出力する。

このようにすることで、中心周波数決定部２０３は複数回の検波結果を用いて中心周波数を決定することが可能になるため、よりＩＩＲフィルタ３０１による位相ズレの補償精度を向上させることができる。

なお、上述した変形例１及び２は、別々の実施形態として説明したが、当該変形例が組み合わせ可能であることは、容易に想像されよう。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. ローリングシャッタ方式で駆動する撮像素子を備える撮像装置であって、
   前記撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における前記撮像装置の振動を検出する検出手段と、
   前記検出手段により検出された前記振動の時間特性を取得する取得手段と、
   前記振動の時間特性について、前記振動に起因して前記画像に生じる被写体像の歪み量の周波数分布を解析する解析手段と、
   前記歪み量の周波数分布から、当該歪み量が極大となる周波数を前記歪み量の中心周波数として決定する決定手段と、
   少なくとも前記中心周波数について、前記取得手段により生じた位相ズレがなくなるように、前記振動の時間特性を補償する補償手段と、
   前記補償手段により補償された前記振動から算出された補正量を用いて、前記撮像素子のラインごとに前記振動に起因して生じた被写体像の歪みを補正する補正手段と、
   を備えることを特徴とする撮像装置。
2. ローリングシャッタ方式で駆動する撮像素子を備える撮像装置であって、
   前記撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における前記撮像装置の振動を検出する検出手段と、
   前記検出手段により検出された前記振動の時間特性を取得する取得手段と、
   前記画像を撮像時の前記撮像装置のパラメータに基づいて、前記振動に起因して前記画像に生じる被写体像の歪み量の中心周波数が存在すると推定される周波数帯を含む複数の周波数を検波周波数として選択する第１の選択手段と、
   前記振動の時間特性について、前記振動のうちの前記検波周波数に起因して前記画像に生じる被写体像の歪み量の周波数分布を解析する解析手段と、
   前記歪み量の周波数分布から、当該歪み量が極大となる周波数を前記歪み量の中心周波数として決定する決定手段と、
   少なくとも前記中心周波数について、前記取得手段により生じた位相ズレがなくなるように、前記振動の時間特性を補償する補償手段と、
   前記補償手段により補償された前記振動から算出された補正量を用いて、前記撮像素子のラインごとに前記振動に起因して生じた被写体像の歪みを補正する補正手段と、
   を備えることを特徴とする撮像装置。
3. 前記解析手段で解析された前記歪み量の周波数分布に基づいて、前記検波周波数とは異なる新たな検波周波数を選択する第２の選択手段をさらに備え、
   前記解析手段は、前記振動の時間特性について前記振動のうちの前記新たな検波周波数に起因して前記画像に生じる被写体像の歪み量の周波数分布を解析し、
   前記決定手段は、前記検波周波数についての歪み量の周波数分布、及び前記新たな検波周波数についての歪み量の周波数分布を用いて、前記中心周波数を決定することを特徴とする請求項２に記載の撮像装置。
4. 前記撮像時のパラメータは、撮像時の振動、焦点距離、主被写体情報、及びシャッタスピードの少なくともいずれかであり、
   前記第１の選択手段は、前記撮像時のパラメータに基づいて前記画像を撮像時の前記撮像装置の撮影状況を推定し、当該推定された撮影状況ごとに予め定められた周波数を用いて前記検波周波数を選択することを特徴とする請求項２または３に記載の撮像装置。
5. 前記第１の選択手段は、前記推定された撮影状況ごとに予め定められた周波数と当該撮影状況の推定の信頼度とに基づいて前記検波周波数を選択することを特徴とする請求項４に記載の撮像装置。
6. 前記解析手段は、前記撮像素子の連続するライン間で前のラインが露光開始してから次のラインが露光開始するまでの期間の前記振動に起因して前記画像に生じる被写体像の歪み量の周波数分布を解析することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. ローリングシャッタ方式で駆動する撮像素子を備える撮像装置の制御方法であって、
   検出手段が、前記撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における前記撮像装置の振動を検出する検出工程と、
   取得手段が、前記検出工程において検出された前記振動の時間特性を取得する取得工程と、
   解析手段が、前記振動の時間特性について、前記振動に起因して前記画像に生じる被写体像の歪み量の周波数分布を解析する解析工程と、
   決定手段が、前記歪み量の周波数分布から、当該歪み量が極大となる周波数を前記歪み量の中心周波数として決定する決定工程と、
   補償手段が、少なくとも前記中心周波数について、前記取得工程において生じた位相ズレがなくなるように、前記振動の時間特性を補償する補償工程と、
   補正手段が、前記補償工程において補償された前記振動から算出された補正量を用いて、前記撮像素子のラインごとに前記振動に起因して生じた被写体像の歪みを補正する補正工程と、
   を備えることを特徴とする撮像装置の制御方法。
8. ローリングシャッタ方式で駆動する撮像素子を備える撮像装置の制御方法であって、
   検出手段が、前記撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における前記撮像装置の振動を検出する検出工程と、
   取得手段が、前記検出工程において検出された前記振動の時間特性を取得する取得工程と、
   第１の選択手段が、前記画像の撮像時のパラメータから、前記振動に起因して前記画像に生じる被写体像の歪み量の中心周波数が存在すると推定される周波数帯を含む複数の周波数を検波周波数として選択する第１の選択工程と、
   解析手段が、前記振動の時間特性について、前記振動のうちの前記検波周波数に起因して前記画像に生じる被写体像の歪み量の周波数分布を解析する解析工程と、
   決定手段が、前記歪み量の周波数分布から、当該歪み量が極大となる周波数を前記歪み量の中心周波数として決定する決定工程と、
   補償手段が、少なくとも前記中心周波数について、前記取得工程において生じた位相ズレがなくなるように、前記振動の時間特性を補償する補償工程と、
   補正手段が、前記補償工程において補償された前記振動から算出された補正量を用いて、前記撮像素子のラインごとに前記振動に起因して生じた被写体像の歪みを補正する補正工程と、
   を備えることを特徴とする撮像装置の制御方法。
9. コンピュータを、請求項１乃至６のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images