JP2015019231A - 撮像装置及び像振れ補正処理方法 - Google Patents

Abstract

【課題】 撮影状況に応じて像振れ補正処理に要する演算量を削減すること。
【解決手段】 像振れ補正処理を行う撮像装置であって、被写体像を撮像して画像を出力する撮像素子（１０２）と、撮像装置の動き情報を取得する動き情報取得部（１０５）と、撮像素子により撮像された画像の検出領域から動きベクトルを検出する動きベクトル検出部（１０７）と、動き情報取得部により取得した動き情報に応じて、前記検出領域及び前記画像の像振れを補正するための像振れ補正方法を決定する像振れ補正処理制御部（１０６）と、動きベクトル検出部により検出された動きベクトルに基づいて、像振れ補正処理制御部により決定された像振れ補正方法を用いて前記画像の像振れを補正する像振れ補正手段（１０８、１０９）とを有する。
【選択図】 図１

Description

本発明は、撮像装置及び像振れ補正処理方法に関し、特に、撮像装置の動きに起因する画像の像振れを低減する像振れ補正処理方法に関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して像振れ補正処理を施すためには、フレーム画像間の動き量を検出して複数枚の画像に対して位置合わせ処理を行う必要がある。フレーム画像間の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影された複数のフレーム画像からフレーム画像間の動き量を推定したりする方法等がある。複数のフレーム画像を用いてフレーム画像間の動き量を推定する方法は種々提案されているが、その代表的なものとしてテンプレートマッチングにより動きベクトルを検出するという方法がある。

テンプレートマッチングでは、まず映像中の任意の２枚のフレーム画像の一方を原画像、もう一方を参照画像と定義する。そして、原画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の輝度値の分布との相関を求める。このとき、参照画像中で最も相関が高くなる位置がテンプレートブロックの移動先であり、原画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。以上のようにして求められた複数の動きベクトルを用いて統計的な処理等によりフレーム画像間の動きを幾何変形量として算出する。

このとき、画像上に生じている像振れの種類としては、並進、回転、拡大縮小及びあおり等があり、撮影状況に応じて支配的な像振れの種類が異なる。そこで、支配的な像振れの種類に応じて像振れ補正処理の方法を変更することでより良好な像振れ補正結果を生成する方法が提案されている。特許文献１に記載の画像処理装置は、像振れの情報に基づいて像振れ補正のための幾何変形パラメータの推定方法を変更することで、撮影状況が変わっても良好な像振れ補正結果が生成できるようにしている。

特開２００７−１６６２６９号公報

しかしながら、特許文献１は像振れ補正処理の安定性を向上させるために、撮影状況に応じて像振れ補正対象とする像振れの動き成分を変更するものである。このため演算量が多く消費電力が大きいという課題があった。さらに、像振れ補正対象とする像振れの動き成分に応じて動きベクトル検出方法を変更することについては考慮されていない。

本発明は上記問題点を鑑みてなされたものであり、撮影状況に応じて像振れ補正処理に要する演算量を削減することを目的とする。

上記目的を達成するために、像振れ補正処理を行う本発明の撮像装置は、被写体像を撮像して画像を出力する撮像手段と、前記撮像装置の動き情報を取得する動き情報取得手段と、前記撮像手段により撮像された画像の検出領域から動きベクトルを検出するベクトル検出手段と、前記動き情報取得手段により取得した動き情報に応じて、前記検出領域及び前記画像の像振れを補正するための像振れ補正方法を決定する制御手段と、前記ベクトル検出手段により検出された動きベクトルに基づいて、前記制御手段により決定された像振れ補正方法を用いて前記画像の像振れを補正する像振れ補正手段とを有する。

本発明によれば、撮影状況に応じて像振れ補正処理に要する演算量を削減することができ、消費電力を抑えることできる。

本発明の第１の実施形態における撮像装置の構成を示すブロック図。 第１の実施形態における撮像装置の動作を示すフローチャート。 第１の実施形態における像振れの動きに対する動きベクトルの検出領域を説明する図。 テンプレートマッチングの概要を説明する図。 第２の実施形態における撮像装置の構成を示すブロック図。 第２の実施形態における撮像装置の動作を示すフローチャート。 第２の実施形態における動きベクトルの検出領域を説明する図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の構成を示すブロック図である。同図において、光学系１０１は被写体像を形成し、ＣＣＤセンサやＣＭＯＳセンサ等から構成される撮像素子１０２により光学系１０１が形成した被写体像を光電変換する。現像処理部１０３は不図示のＡ／Ｄ変換部、オートゲイン制御部（ＡＧＣ）、オートホワイトバランス部を含み、撮像素子１０２から出力される電気信号からデジタルの映像信号を形成する。撮像素子１０２及び現像処理部１０３により、画像の取得を行う撮像系が構成される。メモリ１０４は、現像処理部１０３により形成された、１フレームまたは複数フレーム分の画像の映像信号を一時的に記憶保持する。

動き情報取得部１０５は、手振れやカメラワーク等の撮像装置の動きの種類及び動き量を含む動き情報を取得するジャイロセンサ等の検出装置で構成される。像振れ補正処理制御部１０６は、動き情報取得部１０５から得られる撮像装置の動き情報に基づいて後述の動きベクトル検出部１０７及び幾何変形パラメータ推定部１０８の処理内容を変更する。動きベクトル検出部１０７では、現像処理部１０３及びメモリ１０４から入力される２枚のフレーム画像間の動きベクトルを検出する。

幾何変形パラメータ推定部１０８では、動きベクトル検出部１０７において検出された動きベクトルを用いて、像振れ補正処理制御部１０６により変更された処理を行い、フレーム画像間の像振れの動きの補正量を幾何変形パラメータとして出力する。幾何変形処理部１０９は、像振れ補正の為の幾何変形パラメータに基づいて、フレーム画像に対して像振れを補正するための幾何変形処理を行う。そして、画像記録部１１０では像振れ補正処理の施された映像を記録媒体に記録し、画像表示部１１１は像振れ補正処理の施された映像を不図示のディスプレイへ表示する。

以上のように構成された撮像装置の動作について、図２に示すフローチャートを用いて説明する。Ｓ２０１では、光学系１０１によって形成された被写体像を、撮像素子１０２が被写体輝度に応じたアナログ信号に変換して出力し、現像処理部１０３の処理を施すことで映像信号が生成される。ここで、現像処理部１０３は、不図示のＡ／Ｄ変換部によってアナログ信号を例えば１２ビットのデジタル信号に変換し、更に、不図示のＡＧＣ及びＡＷＢによって信号レベル補正や白レベル補正を行う。そして、現像処理部１０３により処理されたデジタル映像信号は、メモリ１０４に記憶保持される。第１の実施形態における撮像装置では、所定のフレームレートで順次フレーム画像が生成され、メモリ１０４に記憶保持されたフレーム画像は動きベクトル検出部１０７に入力される。また、メモリ１０４において記憶保持されているフレーム画像も順次更新される。

Ｓ２０２では、画像入力と並行して、動き情報取得部１０５により撮像装置の動き情報を取得する。動き情報取得の一例としてジャイロセンサを使用した場合には、撮像装置のロール、ピッチ、そしてヨー方向の動き情報を得ることができる。なお、動き情報の取得手段はジャイロセンサに限られるものではなく、撮像装置の動き情報を得られるその他の手段を用いても良い。

Ｓ２０３では、像振れ補正処理制御部１０６において、動き情報取得部１０５から得られる撮像装置の動き情報に基づいて、動きベクトル検出部１０７における動きベクトルの検出領域及び検出数を設定する。

表１は像振れ補正の対象とする像振れの動き成分と、その動き成分を精度良く補正する為に必要となる動きベクトルの検出領域及び検出数との関係を示す。また、図３は像振れの動き成分と検出領域の関係を表す概要図を示している。表１は、例えば像振れ補正の対象とする像振れの動き成分としてあおりの補正を行う場合には、画面全域から多数の動きベクトルを検出する必要があることを示している。

図３を用いてその理由を説明する。図３の（ａ）はフレーム画像間で縦方向のあおりの動きが生じている場合に検出される動きベクトルの大きさと方向を模式的に表している。ここで、３０１はフレーム画像全体、３０２はあおりの動きを表す動きベクトル、そして３０３は動きベクトルの検出を行う領域を示している。同図より、あおりの動きでは画像３０１上の各位置において動きベクトルの大きさや方向が異なる。そのため、画面全域から動きベクトルを検出しなければ、あおりの動きを精度良く推定することはできない。また、あおりのような複雑な動きに対しては多数の動きベクトルを用いなければ安定した推定を行うことができない。従って、あおりの動きまで像振れ補正の対象とする場合には３０３に示すようにフレーム画像の全域から多数の動きベクトルを検出する必要がある。

また、回転の動き成分を像振れ補正の対象とする場合には、画面の中央近辺の領域から動きベクトルを検出すれば良い。ここで、画像上に生じる回転の動きベクトルは、図３（ｂ）のベクトル３０４が示すように画像中心を回転中心とした点対称の動きを示す。従って、回転の動きの推定には画像中心を基準として点対称の位置関係にある動きベクトル対を検出すれば良く、必ずしも画面全域から動きベクトルを検出する必要は無い。つまり、画像中心を含み、垂直方向が狭くなっている領域３０５を動きベクトルの検出領域としても、回転の動きを検出するのに必要な動きベクトルを検出することできる。このとき、画像は上から下へ向かってラスタ的に入力されるため、検出領域３０５を画像の上部や中央部の近傍に配置することで画像全域の入力が完了するよりも早い時点で動きベクトルの検出を完了することができる。ただし、回転の動き成分を精度良く推定するためには、回転中心及び回転中心を基準として点対称の位置関係にある動きベクトル対が検出できるような配置にする必要がある。

また、あおりの検出領域３０３と比較して検出領域が狭くなる分だけ、検出する動きベクトルの数を少なくすることができる。以上のことから、あおりの動きが像振れ補正の対象に含まれていなければ、回転の動きを像振れ補正対象とした場合に、あおりの動きが像振れ補正の対象に含まれている場合よりも処理時間を短く、演算量を少なくすることができる。

また、図３（ｃ）における動きベクトル群３０６に示されるような並進の動きを像振れ補正の対象とする場合には、画像上のごく一部の領域３０７について動きベクトルの検出を行えば良い。撮像装置の支配的な動きが並進の動きである場合には、そこから検出される動きベクトル３０６は画像上のどの位置においても同じ大きさと方向を有している。従って、動きベクトルを検出する位置に制限は無く、回転の動きよりもさらに少ない数の動きベクトルからでも精度良く並進の動きを推定することが可能となる。また、回転の動きの場合とは異なり、点対称の位置関係で動きベクトルを検出する必要も無いため、検出領域を画像のより上部に配置することが可能となる。これにより、あおり及び回転の動きが像振れ補正の対象に含まれていなければ、並進の動きを推定する場合に、更なる演算量の削減と処理時間の短縮を図ることが可能となる。

このように、補正の対象とする像振れの動き成分に応じて動きベクトルの検出領域及び検出数を変更することで演算量を削減し、処理時間を短縮し、消費電力を少なくすることが可能となる。

ここで、表１においてより上段に示されている像振れの動き成分に対する動きベクトルの検出領域及び検出数は、より下段に示されている像振れの動き成分のもの包含している。例えば、あおりの動きを対象とした動きベクトルの検出領域と検出数を選択した場合には、同時に回転及び並進の幾何変形成分を推定するための動きベクトルを検出することが可能である。本第１の実施形態では、あおり、回転、並進の動きについて述べたがこれに限るものではなく、例えば変倍やせん断の動きについても同様の考えに基づいて動きベクトルの検出領域と検出数を変更することで、演算量の削減を図ることが可能となる。このようにしてＳ２０３で変更された動きベクトル検出領域及び検出数の情報は動きベクトル検出部１０７へ伝送される。

Ｓ２０４では、動きベクトル検出部１０７において、像振れ補正処理制御部１０６で決定された動きベクトル検出領域及び検出数に基づいて、入力された２枚のフレーム画像間での動きベクトルの検出を行う。第１の実施形態では、動きベクトル検出方法の一例としてテンプレートマッチングを用いた方法について説明する。

ここで、図４を参照してテンプレートマッチングの概要について説明する。図４（ａ）は原画像、図４（ｂ）は参照画像であり、これらの画像は現像処理部１０３及びメモリ１０４から入力されるフレーム画像である。そして、図４の４０１に示すように原画像中の任意の位置にテンプレートブロックを配置し、テンプレートブロック４０１と参照画像の各領域との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、実際には参照画像上の相関値を算出する矩形領域をサーチ範囲４０２として設定する。サーチ範囲４０２の位置や大きさについては特に制限は無いが、サーチ範囲４０２の内部にテンプレートブロック４０１の移動先に相当する領域が含まれていないと正しい動きベクトルを検出することはできない。

本第１の実施形態では、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下「ＳＡＤ」と略す。）を使用する。ＳＡＤの計算式を式（１）に示す。

式（１）において、ｆ（ｉ，ｊ）はテンプレートブロック４０１内の座標（ｉ，ｊ）における輝度値を表しており、ｇ（ｉ，ｊ）はサーチ範囲４０２において相関値算出の対象となるブロック４０３内の各輝度値を表す。そしてＳＡＤでは、両ブロック内の各輝度値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることができる。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレートブロック４０１と相関値算出領域４０３のブロック内のテクスチャが類似していることを表している。

本第１の実施形態では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いても良い。そして、サーチ範囲４０２の全領域について相関値算出領域４０３を移動させて相関値を算出する。テンプレートブロック４０１とサーチ範囲４０２との間で相関値を算出し、相関が最も高くなる位置を判定することにより、原画像上のテンプレートブロックが参照画像においてどの位置に移動したか、つまり画像間の動きベクトルを検出することが可能となる。以上のような動きベクトル検出処理を入力されたフレーム画像間の複数の領域で行う。そして、検出された動きベクトル群は幾何変形パラメータ推定部１０８に伝送される。

また、Ｓ２０５では、像振れ補正処理制御部１０６において、像振れ補正の対象とする像振れの動き成分に応じて幾何変形パラメータの推定方法を選択する。本第１の実施形態では、幾何変形を表す手段の一例としてホモグラフィ行列と呼ばれる３×３の行列式を用いる場合について説明する。

まず、画像上のある点ａ、
a = [x, y, 1]^T …（２）
が次フレームにおいて点ａ′、
a' = [x', y', 1]^T …（３）
に移動したとする。ここで、添え字Ｔは転置行列であること示す。

式（２）の点ａと式（３）の点ａ′の対応関係は、ホモグラフィ行列Ｈを用いることにより、
a' = Ha …（４）
と表すことができる。

ホモグラフィ行列Ｈは画像間の並進、回転、変倍、せん断、あおりによる変形量を示す行列式であり、以下の式（５）により表すことができる。

ホモグラフィ行列Ｈの各要素は、ステップＳ２０４で得られる動きベクトル群、つまりフレーム画像間における代表点の対応関係を用いて推定処理を行うことにより求めることができる。

表１には、上述した動きベクトルの検出領域及び検出数の他に、像振れ補正対象とする像振れの動き成分に対する幾何変形パラメータの推定方法が示されている。表１より、あおりの動きまでを像振れ補正の対象とした場合には８自由度の最小二乗法を使用して、幾何変形パラメータを推定する必要がある。ここで、式（５）のホモグラフィ行列Ｈでは、パラメータｈ₁₃、ｈ₂₃が並進の動き成分、ｈ₁₁、ｈ₁₂、ｈ₂₁、ｈ₂₂が回転、変倍、せん断の動き成分を表し、そしてｈ₃₁、ｈ₃₂があおりの動き成分を表している。従って、あおりの動き成分までを像振れ補正の対象とする場合には上記の８個のパラメータ全てを推定しなければならないため、８自由度の最小二乗法を使用する必要がある。

次に、回転の動き成分までを像振れ補正の対象とする場合には、あおりの動き成分を表すパラメータであるｈ₃₁及びｈ₃₂を推定する必要が無いため、それ以外の６個のパラメータ推定、つまり６自由度での最小二乗法による推定を行えば良いことになる。従って、補正する像振れの動き成分を回転の動き成分まで（並進成分と回転成分）とした場合には、あおりまで（並進成分、回転成分、およびあおり成分）の場合と比較して自由度が少ない分、ベクトル数が少なくても安定した解を得ることが可能である。この場合、さらに演算量を削減することができる。

そして、並進の動き成分のみを像振れ補正の対象とする場合には、式（５）におけるｈ₁₃及びｈ₂₃のパラメータについてのみ推定を行えば良い。また、並進の動き成分は画像の平行移動という簡単な動きであるため、最小二乗法のような統計的な推定方法を使用する必要はなく、ヒストグラム処理のような単純な処理でも精度良く推定を行うことが可能となる。さらに、画像上に生じているのが並進の動きのみであれば、画像上のどの位置においても同じ大きさ、同じ方向の動きとなるため、少ない数の動きベクトルでも精度良く並進の動きを推定することが可能である。以上のように並進の幾何変形量の推定では少ない動きベクトルによる単純な推定方法でパラメータの推定が可能であるため、演算量を大幅に削減することができる。

なお、上記例では、幾何変形量の推定方法として最小二乗法やヒストグラム処理を用いているが、これに限られるものではなく他の推定手法を用いても良い。

また、Ｓ２０５では像振れ補正対象とする像振れの動き成分に応じて推定方法を変更することで演算量の削減を図っているが、総合的な演算量はＳ２０３で決定した動きベクトルの検出領域及び検出数との組み合わせで決定される。表１より、あおりの動き成分に対しては画面全体から多くの動きベクトルを検出し、統計的な処理で式（５）に示した８個全ての幾何変形パラメータを求める必要があるため演算量は増大する。それに対して、例えば並進の幾何変形に対しては画面の一部の領域から小数の動きベクトルを検出すれば良く、さらに推定方法もヒストグラム処理のような単純なもので良いため、演算量を大幅に削減することが可能である。そして、選択された幾何変形量推定方法の情報は幾何変形パラメータ推定部１０８へ伝送される。

Ｓ２０６では、動きベクトル検出部１０７から得られた動きベクトル群を用いて、像振れ補正処理制御部１０６で選択された幾何変形量推定方法に基づいてフレーム画像間の幾何変形量の推定を行い、像振れの補正量を算出する。ここで、Ｓ２０５で述べたような方法で推定されたホモグラフィ行列Ｈは、撮像装置の像振れによる画像の変形量を表す。このため、画像の像振れを補正するには、像振れによる変形を打ち消すような画像変形量となるようにホモグラフィ行列Ｈを変換する必要がある。つまり、ホモグラフィ行列Ｈを逆行列Ｈに変換することにより、点ａ′と点ａの対応関係は、
a = H^-1a' …（６）
と表すことができる。式（６）により、像振れが生じた後の点ａ’を、像振れが生じる前の点ａと同じ座標に戻すことが可能となる。

Ｓ２０７では、幾何変形処理部１０９において、Ｓ２０６で得られた像振れ補正の為の幾何変形量を用いて画像に幾何変換処理を施すことで像振れ補正を行う。そして、Ｓ２０８では像振れ補正処理が施された映像を、画像記録部１１０によって不図示の記憶装置に記憶したり、画像表示部１１１において不図示の表示装置に表示したりする。

ここまで、像振れ補正対象とする像振れの動き成分に応じて動きベクトルの算出方法及び画像変形量の推定方法を切り替えることにより演算量を削減することについて述べた。ここで、実際にどの像振れの動き成分を補正するべきかについて、動き情報取得部１０５より得られるジャイロセンサで計測された撮像装置の動き情報を利用して判定する方法について説明する。

表２に、動き情報取得部１０５のジャイロセンサから得られる撮像装置の動き情報と、それに対する像振れの動き成分の組み合わせを示す。ジャイロセンサからは撮像装置のパン・チルト及びロールの動き量の大きさを取得することが可能である。即ち、光軸に直交する２軸回りの撮像装置の回転と、光軸回りの撮像装置の回転の動き量の大きさを得られる。このとき、撮像装置のパン・チルトの動きが画像上でのあおりの変形を表し、撮像装置のロールの動きが画像上での回転の動き（画像の傾き）を示している。

従って、例えばパン・チルトの動き量が予め定められた閾値よりも小さく、さらにロールの動き量も予め定められた閾値よりも小さい場合には画像上に現れている像振れの動き成分としてはあおりと回転の成分は小さく、並進の成分が支配的であると判定できる。この場合には、並進の動き成分のみを像振れ補正対象とすれば良いので、表１に示すように、画像の一部の領域から少数の動きベクトルを検出し、ヒストグラム処理により並進の動きを推定すれば良い。また、パン・チルトの動き量は閾値より小さいが、ロールの動き量が閾値以上の場合には、画像上に現れている像振れの動き成分としてはあおりの成分は小さく、回転の成分が大きいと判定できる。この場合には、回転の像振れの動き成分まで（並進成分と回転成分）を像振れ補正対象とする必要がある。そのため、表１に示すように、画面中央付近の領域から動きベクトルを検出し、６自由度の最小二乗法を用いて式（５）に示したホモグラフィ行列の回転の動きを表すパラメータまでの推定を行う。さらに、ロールの動き量の大きさに関わらず、パンニングやチルティングの動き量が閾値以上の場合には画像上に現れている像振れの動き成分としてあおりの成分が顕著になっていると判定できる。このような場合には、表１に示すように、画面全域から多数の動きベクトルを検出し、それらを用いて８自由度の最小二乗法により、式（５）に示したホモグラフィ行列のあおりの動きを表すパラメータまでの推定を行う。

以上説明したように、像振れ補正処理制御部１０６は、動き情報取得部１０５から得られる撮像装置の動き情報を用いて画像上に現れる像振れの動き成分を判定する。そして、判定結果に応じて、良好な像振れ補正を行うために十分な動きベクトルの検出領域及び検出数、そして幾何変形パラメータ推定方法を選択する。これにより、撮像装置に生じている像振れの状況に応じて像振れ補正処理に要する演算量を削減することができるため、消費電力を抑えることが可能となる。

しかしながら、撮影中に像振れ補正方法を単純に切り替えるだけでは、切り替わりの前後のフレーム画像間で幾何変形のモデルが変わることにより、動きに不連続さが生じてしまう可能性がある。これを解消する方法の一例としては、幾何変形パラメータに時間的な平滑化処理を施すというものがある。これは、像振れ補正処理をしている間は過去の数フレーム分の幾何変形パラメータを記憶保持しておき、切り替わった直後の数フレームに対して過去の幾何変形パラメータの影響を残した幾何変形パラメータに補正して像振れ補正処理を行うというものである。これにより、切り替わりの瞬間の不連続な動きを解消し、徐々に異なる推定方法による像振れ補正結果に切り替えていくことが可能となる。ここで、平滑化の方法には特に制限は無く、例えば移動平均や、ＩＩＲフィルタ等、どのような方法を用いても良い。また、以上の処理は幾何変形パラメータ推定部１０８において行われる。

なお、上記説明では、撮像装置の動きが、あおり、回転、並進のいずれかであるかに応じて、動きベクトルの検出領域及び検出数、及び幾何変形量の推定方法を変更した。しかしながら、本発明はこれに限るものではなく、撮像装置の動きがあおりか否か、回転か否か、並進か否かのいずれかを判断し、判断結果に応じて動きベクトルの検出領域及び検出数、及び幾何変形量の推定方法を変更しても良い。例えば、並進か否かを判断する場合、並進であれば表１に示すように検出領域を画面上部、検出数を少、幾何変形量の推定方法をヒストグラムとし、並進でなければ、検出領域を画面全域、検出数を多、幾何変形量の推定方法を８自由度の最小二乗法とする。このように制御することで、常に画面全体を検出領域とし、検出数を多、幾何変形量の推定方法を８自由度の最小二乗法とする場合と比較して、並進時の像振れ補正処理に要する演算量を削減することができる。

以上説明したように、本第１の実施形態によれば、撮像装置の動きに応じて動きベクトルの検出領域及び検出数、及び画像幾何変形量の推定方法を変更することで、像振れ補正処理に要する演算量を削減することができる。これにより、撮像装置の動きに応じた効率的な像振れ補正処理を行うことが可能となり、消費電力を削減することが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図５は、第２の実施形態における撮像装置の構成を示すブロック図である。本第２の実施形態では、入力画像上に存在する特定の領域を避けて動きベクトル検出領域を設定することで、より良好な像振れ補正映像を生成する。なお、図５に示す本第２の実施形態の撮像装置は、図１に示した構成に加えて、領域判定部５０１を更に有する。それ以外は図１に示した構成要素と同じであるので、図１と同符号を付して説明を省略する。

また、本第２の実施形態における撮像装置の動作のフローチャートを図６に示す。本第２の実施形態では、第１の実施形態と異なる処理を行う部分についてのみ詳細に説明する。

Ｓ２０１及びＳ２０２で行われる処理は、図２におけるＳ２０１及びＳ２０２で行われる処理と同じである。Ｓ６０１では、領域判定部５０１において、Ｓ２０１で入力された画像中に存在する像振れの動きを検出することが困難な、予め決められた条件を満たす除外領域を特定する。ここで、像振れの動きを検出することが困難な領域とは、次のような領域のことを指す。まず、画像中に移動物体が存在している領域である。移動物体から検出される動きベクトルは移動物体の動きを表すものであり、これらの動きを用いても像振れの動きを表す幾何変形パラメータを推定することはできない。また、低コントラスト領域では、その領域についてはテクスチャが存在しないためテンプレートマッチングでは動きベクトルを正しく検出することはできない。更に、繰り返し領域では、同じテクスチャが複数存在するためにどれが正しい動きベクトルであるかを判定することは困難である。

そこで、本ステップでは上記のような像振れを表す動きベクトルを正しく検出することが困難な領域を検出し、以降の処理における動きベクトル検出領域の設定時にこれらの領域を避けて検出領域の設定を行うように指示する。

ここで、移動物体の検出方法としては、例えば背景差分法を利用したり、ジャイロセンサから得られる撮像装置の動き情報を利用する方法等がある。また、低コントラスト領域の判定方法としては、例えば画像中の各領域について分散値を算出してその領域のテクスチャの複雑さを判定すれば良い。さらに、繰り返し領域の判定方法については、例えば画像の各領域について輝度勾配のような特徴量を算出し、周辺領域の特徴量との比較を行うことで同じようなテクスチャが存在しているかどうかを判定することができる。それ以外にも、例えば歩行中の人物のような領域を移動物体として抽出する場合には、一般的な顔認識の手法を使用して人物の位置や大きさを抽出するといった方法がある。

そして、Ｓ６０２では、像振れ補正処理制御部１０６において、動き情報取得部から得られる撮像装置の動き情報に加えて、領域判定部５０１から得られる移動物体領域情報を用いて動きベクトルの検出領域を設定する。

ここでは、像振れを表す動きベクトルが検出困難な領域の例として、画像中に移動物体が存在している場合について説明する。図７に、入力画像中に移動物体が存在している場合の概要図を示す。同図において、７０１は移動物体を示しており、７０２が移動物体７０１から検出される動きベクトルを示している。それに対して７０３は、撮像装置が縦方向に動いた場合に生じる像振れの動きを表す動きベクトルを示している。像振れの動きは撮像装置の動きに起因するものであり、静止している領域の動きベクトルから得ることができるため、多くの場合において動きベクトル７０３に示すような背景領域の動きが像振れの動きを表していることになる。また、像振れの動きを表す動きベクトル７０３は画像中に並進の像振れが生じていることを示している。このような場合には、並進の像振れのみを像振れ補正対象となる動き成分とすればよいので、表１より、動きベクトルの検出領域は画像上のどこか一部の領域に設定すればよいことになる。

しかしながら、例えば動きベクトルの検出領域を図７の７０４に示すような位置に設定してしまうと、移動物体の動きベクトルが検出されることになるため、像振れの動き成分を表す動きベクトルを検出することはできない。そこで、領域判定部５０１から得られる移動物体領域の判定情報を用いることで、７０５に示すような、移動物体の存在していない領域、つまり背景領域に動きベクトルの検出領域を設定する。これにより、画像上に移動物体が存在している場合でも、正しく像振れの動きを表す動きベクトルを検出することが可能となる。また、例えば画像上の多くの領域が移動物体の存在する領域であった場合には動きベクトル検出領域の位置だけでなく大きさも変更することにより、正しい動きベクトルのみを検出することができる。

本第２の実施形態においては、並進の像振れを像振れ補正の対象とする場合について述べたが、回転やあおりの動きについても同様の方法により動きベクトル検出領域を設定すれば良好な像振れ補正結果を得ることが可能である。

なお、図６におけるＳ２０４からＳ２０８における処理は、第１の実施形態で説明した図２におけるＳ２０４からＳ２０８における処理と同様であるため、説明を省略する。

上記の通り本第２の実施形態によれば、第１の実施形態と同様に撮像装置の動き情報に基づいて動きベクトルの検出領域や幾何変形パラメータの推定を行うことに加えて、像振れ補正に必要な動きベクトルを正しく求めることが困難な領域の判定を行う。そして、判定された領域を避けるように、動きベクトルを検出する領域の位置や大きさを設定する。これにより、第１の実施形態と同様の効果に加えて、どのようなシーンに対しても良好に像振れ補正処理を行うことができる。

Claims (11)

1. 像振れ補正処理を行う撮像装置であって、
   被写体像を撮像して画像を出力する撮像手段と、
   前記撮像装置の動き情報を取得する動き情報取得手段と、
   前記撮像手段により撮像された画像の検出領域から動きベクトルを検出するベクトル検出手段と、
   前記動き情報取得手段により取得した動き情報に応じて、前記検出領域及び前記画像の像振れを補正するための像振れ補正方法を決定する制御手段と、
   前記ベクトル検出手段により検出された動きベクトルに基づいて、前記制御手段により決定された像振れ補正方法を用いて前記画像の像振れを補正する像振れ補正手段と
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記動き情報取得手段により取得した動き情報から、前記撮像装置の動きが並進であるかどうかを判断し、前記並進である場合に前記並進でない場合よりも狭い検出領域を決定し、前記並進でない場合に前記並進の場合よりもより広い検出領域を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記像振れ補正方法として、前記撮像装置の動きが並進である場合に、並進でない場合よりも演算量の少ない像振れ補正方法を選択することを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記動き情報取得手段により取得した動き情報から、更に前記撮像装置の動きが、あおり及び回転の少なくともいずれかを含むかどうかを判断し、前記あおりを含むの場合に前記あおりを含まない場合よりも広い検出領域を決定し、前記あおりを含まない場合であって前記回転を含む場合に前記並進である場合よりも広い検出領域を決定することを特徴とする請求項２または３に記載の撮像装置。
5. 前記制御手段は、前記像振れ補正方法として、前記撮像装置の動きが前記あおり含まない場合に含む場合よりも演算量の少ない像振れ補正方法を選択し、前記あおりを含まない場合であって前記回転を含む場合に前記並進である場合よりも演算量の多い像振れ補正方法を選択することを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記像振れ補正方法として、前記撮像装置の動きが前記あおりを含む場合に８自由度の最小二乗法とし、前記あおりを含まず前記回転を含む場合に６自由度の最小二乗法とし、前記並進の場合にヒストグラムを利用した処理とすることを特徴とする請求項４に記載の撮像装置。
7. 前記動き情報取得手段は、前記撮像装置の動き情報として、前記撮像装置の光軸に直交する軸回り方向の回転の動き量と光軸回り方向の回転の動き量を取得し、
   前記制御手段は、前記撮像装置の光軸に直交する軸回り方向の回転の動き量と光軸回り方向の回転の動き量の大きさに応じて、前記撮像装置の動きを決定することを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
8. 前記動き情報取得手段は、前記撮像装置の動き情報として、前記撮像装置の光軸に直交する軸回り方向の動き量と光軸回り方向の回転の動き量を取得し、
   前記制御手段は、
   前記撮像装置の光軸に直交する軸回り方向の回転の動き量が閾値よりも小さく、前記光軸回り方向の回転の動き量が閾値よりも小さい場合に、前記撮像装置の動きが並進と判断し、
   前記撮像装置の光軸回り方向の回転の動き量が閾値よりも小さく、前記撮像装置の光軸に直交する軸回り方向の回転の動き量が閾値以上の場合に、前記撮像装置の動きが回転と判断し、
   前記撮像装置の光軸に直交する軸回り方向の回転の動き量が閾値以上である場合に、前記撮像装置の光軸回り方向の回転の動き量に関わらず、前記撮像装置の動きをあおりと判断する
   ことを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
9. 前記撮像手段によって撮像された画像において、前記撮像装置の振れを表す動きベクトルを検出することが困難である、予め決められた条件を満たす除外領域を検出する領域判定手段を更に有し、
   前記制御手段は、前記除外領域を前記検出領域に含めないことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記除外領域は、移動物体が存在している領域、低コントラスト領域、繰り返しのテクスチャを有する領域、人物の顔が存在する領域の少なくともいずれかを含むことを特徴とする請求項９に記載の撮像装置。
11. 撮像装置における像振れ補正処理方法であって、
    撮像手段が、被写体像を撮像して画像を出力する撮像工程と、
    動き情報取得手段が、前記撮像装置の動き情報を取得する動き情報取得工程と、
    制御手段が、前記動き情報取得工程で取得した動き情報に応じて、動きベクトルを検出する前記画像における検出領域を決定する決定工程と、
    ベクトル検出手段が、前記撮像工程で撮像された画像の前記検出領域から、動きベクトルを検出するベクトル検出工程と、
    前記制御手段が、前記画像の像振れを補正するための像振れ補正方法を決定する制御工程と、
    像振れ補正手段が、前記ベクトル検出工程で検出された動きベクトルに基づいて、前記制御工程で決定された像振れ補正方法を用いて前記画像の像振れを補正する像振れ補正手段と
    を有することを特徴とする像振れ補正処理方法。

Images