JP2007082044A - 撮像方法および撮像装置 - Google Patents

Abstract

【課題】 低照度被写体の撮像時に露光にじみを防止し、Ｓ／Ｎを良好とする。
【解決手段】 捕捉された複数の画像の最初の画像に関しては、Ｓ１１で手ぶれ補正がＯＦＦに設定される。Ｓ１２ではフィルタ係数ｋが１に設定される。初期時はフィルタの過渡応答を解消するための制御である。Ｓ１３では、カウンタに１が加算される。そして、処理が終了する。次の画像に関する処理において、Ｓ２０で手ぶれの検出と補正を行う。つまり、検出した動きベクトルに応じて、手ぶれ成分を打ち消す補正がなされる。Ｓ２１では、信頼性Ｒおよびフィルタ係数Ｋｙに応じてフィルタの係数ｋが算出される。Ｓ１３において、カウンタに１が加算されて処理が終了する。算出されたフィルタ係数ｋがフィルタに供給され、フィルタ係数が適切な値に設定される。
【選択図】 図７

Description

この発明は、画質の良好な静止画、動画等を得ることができる撮像方法および撮像装置に関する。

撮像装置において、低照度状態では、入射光量が少ないため電荷蓄積量が減少し、撮像素子から出力される信号のショット雑音などのランダムノイズ成分が相対的に高まることによって、撮像信号のＳ／Ｎが悪化する。長時間の露光を行うことで電荷蓄積量を増加させ、ランダム成分を相対的に低くすることでＳ／Ｎを改善することができる。しかしながら、長時間露光は、露光中の手ぶれによる画像のにじみ（露光にじみと適宜称する）を発生させるため、三脚などによって撮像装置を固定する必要があった。

下記の特許文献１には、かかる問題を解決するために、露光にじみが殆ど生じないシャッター速度例えば１／３０秒でもって撮像することを繰り返し、この連写により得られた複数の画像の手ぶれを補正して重ね合わせることが記載されている。ここでの手振れは、露光期間の間隔例えば１フィールド、１フレームの間で生じる手振れである。特許文献２にも同様に、全露光時間を複数の露光期間に分割し、各露光期間で得られた画像を手ぶれ補正して加算することで画質の良好な画像を得ることが記載されている。

特開平９−２６１５２６号公報

特開平１１−７５１０５号公報

特許文献１または特許文献２に記載されているように、手ぶれを補正した複数の画像を加算する方法は、単純加算であるために、加算する画像枚数に応じてメモリ容量が増大するため、加算できる画像枚数が制限され、十分なＳ／Ｎ比の向上を達成できない問題があった。また、不要な動き被写体などが進入した画像およびローコントラストの画像では、手ぶれ補正のための動きベクトルの精度が低くなり、画質の改善が不充分となる欠点があった。

したがって、この発明の目的は、低照度状態でも、手ぶれが生ぜず、良好な画質の撮像画像を生成することができる撮像方法および撮像装置を提供することにある。

上述した課題を解決するために、この発明は、時間的に異なる複数の画像を捕捉する画像捕捉ステップと、
複数の画像から動きを検出し、動き情報を生成する動き検出ステップと、
動き情報の信頼性を判定する信頼性判定ステップと、
動き情報に応じて複数の画像間で生じる手振れを補正する手ぶれ補正ステップと、
巡回型フィルタにより手ぶれ補正後の画像をフィルタ処理するフィルタステップとを備え、
動き情報の信頼性に応じてフィルタ処理の特性を変化させる撮像方法である。

この発明は、時間的に異なる複数の画像を捕捉する画像捕捉手段と、
複数の画像から動きを検出し、動き情報を生成する動き検出手段と、
動き情報の信頼性を判定する信頼性判定手段と、
動き情報に応じて複数の画像間で生じる手振れを補正する手ぶれ補正手段と、
巡回型フィルタにより手ぶれ補正後の画像をフィルタ処理するフィルタ手段とを備え、
動き情報の信頼性に応じてフィルタ手段の特性を変化させる撮像装置である。

この発明によれば、低照度状態でも露光にじみの生じない蓄積時間で連写を行うことによって、複数の画像を取得し、複数の画像間の手振れ補正することで、手振れのない画像を生成し、さらに、巡回型フィルタによってフィルタ処理することで、Ｓ／Ｎを改善した画像を生成することができる。時間方向の巡回型フィルタを使用することで、単純加算の方法と異なり、画像枚数に制限なく長期間にわったて取り込むことができる。この発明では、ローコントラスト、画像捕捉中の不要な動き被写体によって、動きベクトルの信頼性が低下することを考慮し、信頼性に応じたフィルタ係数の制御を行うことによって、画質を向上させることができる。

以下、この発明の一実施の形態による撮像装置について図面を参照しながら説明する。一実施の形態の全体の構成が図１に示されている。図１において、参照符号１１０は、撮像光学系を示す。撮像光学系１１０は、被写体の拡大／縮小を行うためのズームレンズ、焦点距離を調整するためのフォーカスレンズ、光量を調整するためのアイリス（絞り）、ＮＤ(Neutral Density)フィルタ、並びにこれらのレンズおよびアイリスを駆動する駆動
回路を備えている。ズームレンズ、フォーカスレンズ、ＩＲＩＳ、およびＮＤフィルタは、ドライバ１１１により駆動される。

撮像光学系１１０を通過した被写体光がＣＣＤ（Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の素子を利用した撮像素子１２０に入射さ
れ、撮像素子１２０によって被写体光に応じた撮像信号が捕捉される。なお 撮像装置の一例は、ディジタルカメラであるが、ＰＤＡ(Personal Digital Assistants)、携帯電話
機等であっても良く、また、動画を撮影する装置であっても良い。

撮像素子１２０は、原色系と補色系のいずれでもよく、光学撮像系１１０に入射された被写体を光電変換したＲＧＢ各色の原色信号または補色系のアナログ信号を出力する。タイミングジェネレータ（図においては、ＴＧと標記する）１２１から各種タイミング信号が撮像素子１２０に対して供給され、撮像素子１２０が駆動される。タイミングジェネレータ１２１は、撮像素子１２０を駆動するための各種タイミング信号を生成する。

撮像素子１２０からの撮像信号がＩＣ(Integrated Circuit) として構成されたアナロ
グ信号処理回路１３０に供給される。アナログ信号処理部１３０において、色信号ごとに、サンプルホールドされ、ＡＧＣ（Automatic Gain Control)によってゲインが制御され
、Ａ／Ｄ変換によってデジタル信号とされた撮像信号が出力される。

アナログ信号処理部１３０からのディジタル撮像信号がメモリコントローラ１５０、手ぶれ検出部１４０および輝度検出部１８０に供給される。手ぶれ検出部１４０は、撮像された複数の画像のそれぞれの動きを検出し、動き情報としての動きベクトルを出力する。動きベクトル検出部１４１と特徴抽出部１４２とから構成されている。動きベクトル検出部１４１は、アナログ信号処理部１３０より出力される時系列のディジタル画像信号に基づいて動きベクトルを検出する。特徴抽出部１４２は、特徴情報を抽出する。特徴情報は、検出された動きベクトルと対応する評価値である。輝度検出部１８０は、アナログ信号処理部１３０より出力される信号の輝度レベルを検出する。

検出された動きベクトル、抽出された特徴情報並びに検出された輝度レベルがシステムコントローラ１７０に対して供給される。システムコントローラ１７０は、特徴情報および輝度レベルを基に、検出された動きベクトルの信頼性を算出する。

メモリコントローラ１５０は、画像メモリ１５１を制御する部分である。画像メモリ１５１は、手ぶれ検出と補正の時間的な位相を調整するためのメモリである。アナログ信号処理部１３０から出力されたディジタル画像信号は、メモリコントローラ１５０を介して画像メモリ１５１に記憶され、動きベクトル検出に必要な時間を遅延させた後、画像メモリ１５１から読み出されると同時に、メモリコントローラ１５０によって、システムコントローラ１７０が指示する手ぶれ補正量にしたがって、手ぶれ補正がなされる。

メモリコントローラ１５０からの手ぶれ補正後のディジタル画像信号がフィルタ１６０に供給される。フィルタ１６０は、デジタル回路からなる巡回型フィルタの構成とされており、１フィールドまたは１フレームのメモリを有する。フィルタ１６０から出力画像信号が得られる。この出力画像信号は、Ｓ／Ｎ比が改善され、手ぶれ補正がされた画像信号である。出力画像信号は、図示しないが、圧縮されてメモリカード等の記録メディアに記録されると共に、ＬＣＤ（Liquid Crystal Display)等の画像表示部に表示される。

システムコントローラ１７０は、ドライバ１１１、タイミングジェネレータ１２１、およびアナログ信号処理部１３０を制御する。また、動きベクトル検出部１４１からの動きベクトル、特徴抽出部１４２からの特徴情報および輝度検出部１８０からの輝度レベルがシステムコントローラ１７０に供給される。さらに、システムコントローラ１７０は、メモリコントローラ１５０による手ぶれ補正を制御し、特徴抽出部１４２からの特徴量および輝度検出部１８０からの輝度レベルを基に動きベクトルの信頼性を判定し、信頼性に基づいてフィルタ１６０のフィルタ係数を制御する。

さらに、輝度検出部１８０によってオートフォーカス制御のためのＡＦ(Auto Focus)用信号、自動露光用の信号およびオートホワイトバランス用の信号が生成される。これらの信号がシステムコントローラ１７０に供給され、システムコントローラ１７０によって、撮像光学系１１０を制御する信号が形成され、形成された制御信号がドライバ１１１に供給される。

また、手ぶれによって撮像素子１２０に投射される被写体のブレを低減するために、システムコントローラ１７０は、露光にじみを生じない程度の電子シャッタースピードとなるように、タイミングジェネレータ１２１を制御する。一般に、露光にじみを生じない程度のシャッタースピードは、「１／焦点距離（３５ｍｍ換算）」と言われている。焦点距離としては、システムコントローラ１７０がフォーカス制御のために算出した値が使用される。

低照度時には、システムコントローラ１７０は、長時間露光（すなわち、遅いシャッター速度）とする代わりに、上述した露光にじみが生じない程度のシャッタースピードでもって、所定間隔例えば１フィールドまたは１フレームの間隔で複数枚の画像を取り込むように、画像取込み動作を制御する。取り込まれる画像の枚数は、被写体の明るさに対応した枚数、または予め設定した所定の枚数となされる。静止画カメラの場合では、複数枚の画像は、被写体が変化しないで、手ぶれがなければ、同一画像である。取り込まれた複数枚の画像を手ぶれ補正およびフィルタ処理した結果の画像が出力画像とされる。

手ぶれ検出部１４０においては、ブロックマッチングによる動き検出方法の一つである代表点マッチング方式によって、画面の全体的な動きが検出される。この方式は、比較するフレーム間で、被写体がほぼ同一であることが前提としているので、フレーム間で大きく異なる被写体には適さない。

図２は、手ぶれ検出部１４０の一例の構成を示す。画像入力２０１は、動きベクトルの検出対象となる画像データの入力部である。画像入力２０１より入力された画像データは、動き検出に不要な周波数成分を除去するためのフィルタ処理回路２１０に供給される。フィルタ処理回路２１０の出力が代表点抽出理回路２２０に供給される。代表点抽出回路２２０は、入力画像データの複数画素から構成される領域毎に、所定位置の画素データ（代表点と称する）を抽出し、その輝度レベルを記憶する。

代表点抽出回路２２０からの代表点とフィルタ処理回路２１０の出力の画素データとが減算器２３０によって減算される。減算処理は、領域毎になされる。絶対値変換回路２４０は、減算器２３０より出力された差信号を絶対値化する。

動きベクトル検出回路２５０は、差信号（以下、残差と適宜称する）の絶対値を使用して動きベクトルを検出する。検出された動きベクトル２６０が出力される。フィルタ処理回路２１０、代表点抽出回路２２０、減算器２３０、絶対値変換回路２４０および動きベクトル検出回路２５０が動きベクトル検出部１４１を構成する。

また、動きベクトル２６０の示す座標位置の評価値が特徴抽出回路１４２に供給される。特徴抽出部１４２は、検出された動きベクトル２６０に対応する評価値を特徴情報２６１として出力する。

図３は代表点マッチング方式による動きベクトルの検出方法を示すものである。１枚の撮像画像例えば１フレームの画像が多数の領域に分割される。図３において、検出領域３０１は、例えば時刻ｎのフレームの動きベクトルの検出するための探索領域である。図の例では、（５×５）画素の大きさの領域が設定されている。この検出領域３０１の中で、代表点と最も輝度相関が高い画素が動きベクトルとして検出される。時刻ｍのフレームの検出領域３０１と空間的に同一位置の参照領域３０６内に代表点３０２が設定される。代表点３０２は、比較元となる時刻ｍの画像に１画素のみ存在する。時刻ｎとｍの間隔は、連写によって複数枚の画像が取り込まれる間隔例えば１フィールドまたは１フレームである。

画素３０３は、検出領域３０１における任意の１画素を示し、検出領域３０１内の各画素が代表点３０２の比較対象の画素となる。動きベクトル３０４は、検出された動きベクトルの一例を示す。斜線を付して示す画素３０５は、動きベクトルが示す座標に存在する。

参照領域３０６および検出領域３０１の対は、各フレームにおいて多数設定され、それぞれにおいて、代表点３０２と検出領域３０１内の画素の輝度レベルとの残差が計算される。そして、検出領域３０１の（５×５）の各画素の位置における残差が積算されることによって、１枚の画像に関する（５×５）の評価値が計算され、評価値の分布の中で、極小値の位置の座標が動きベクトルとして検出される。

時刻ｍにおける座標（ｕ、ｖ）の代表点の輝度レベルをｋｍ（ｕ、ｖ）と表記し、時刻ｎにおける座標（ｘ、ｙ）における輝度レベルをｋｎ（ｘ、ｙ）と表記すると、代表点マッチング方式における動きベクトル検出における残差演算式は、下記の式（１）に示すものとなる。

求められた残差は、参照領域３０６および検出領域３０１の一つの対に関するものである。フレーム全体に存在する多数の対に関して同様に、残差が求められ、座標（ｘ，ｙ）のそれぞれにおいて残差が積算されることによって、座標（ｘ，ｙ）の評価値が求められる。図３の例では、（５×５）＝２５個の画素位置において評価値がそれぞれ発生する。

偏移と評価値の関係の一例は、図４に示すものとなる。評価値が極小で且つ最小点となる点ａと代表点の座標との差が動きベクトルｍｖ（ｘ、ｙ）となる。１フレームの画面の全体の代表点が座標ａの位置まで同様に動く場合に、座標ａの評価値が極小となる。式で表現すると、下記の式（２）で示すものとなる。但し、Ｐ（ｘ，ｙ）が座標（ｘ，ｙ）における評価値（すなわち、残差の絶対値の積算値）を意味している。

代表点の座標が（０，０）であれば動きベクトルは、下記の式（３）と表現できる。

特徴抽出部１４２は、図４における点ａにおける評価値を出力する回路である。すなわち、下記の式（４）を特徴情報Ｌとして出力する。

検出された動きベクトルの信頼性の判定について説明する。図５は、図４で示した偏移と評価値の関係を２次元的に表現したものである。例えば評価値が最小となる座標ａを通ってｘ軸およびｙ軸の一方に平行な平面で切断した場合の評価値の変化を示している。極小値の偏移は、点ａのｘ軸上の座標またはｙ軸上の座標である。

図５中の実線４０１は、通常の手ぶれ時の評価値の変化を示したものである。動きベクトルが検出される偏移で最小点における評価値の絶対値が十分小さくなり、最小点以外の偏移では画像間の相関は低い。この場合は、検出された動きベクトルの信頼性が高いと判定できる。

一方、ローコントラスト時の評価値の変化に基づいて検出された動きベクトルの信頼性は、低いと判定される。図５中の破線４０２は、ローコントラスト時の評価値の変化を示したものである。動きベクトルが検出される偏移で最小点における評価値の絶対値が十分小さくなり、全ての偏移において画像間の相関が高い。しかしながら、ここで検出された動きベクトルはノイズなどの影響を受けやすいため信頼性が低い。ローコントラストの場合は、代表点の輝度レベルと検出領域の画素の輝度レベルとの差が全体的に小さくなるため全体的に評価値が小さくなる。その結果、ノイズなどの影響を受け検出精度が低下や、手ぶれ以外の動きベクトルを検出する可能性がある。そのため、検出される動きベクトルの信頼性を高めるためには、ローコントラストの場合を検出し排除する必要がある。

この一実施の形態では、式（５）に示される評価値の総和を用いてローコントラストか否かの判別を行う。すなわち、Ｘ，Ｙは検波領域の横、縦の画素数とし、評価値Ｐ（ｘ、ｙ）の各座標における評価値の総和を画素数（つまり、面積）（Ｘ×Ｙ）で正規化した値Ｓを求め、Ｓが小さい場合はローコントラストの被写体であると判断する。

式（５）で求められた値Ｓから信頼度Ｒｓを求める処理を図８Ａを参照して説明する。信頼性が低い場合、つまり、Ｓがしきい値thrA未満の時は、信頼度Ｒｓが０に設定される。信頼性が高い場合、つまりＳがしきい値thrBより大きい時は、信頼度Ｒｓが１に設定される。上記以外の場合は、図８Ａに示し、下記の式（６）によって設定される。

図５における一点鎖線４０３は、複数の画像を捕捉している期間内で、移動被写体が進入した時の評価値の変化を示すものである。動きベクトルが検出される偏移で最小点における評価値の絶対値が比較的大きく、全ての偏移において画像間の相関が低い。移動被写体が進入した場合は、画像間の相関が低くなるため最小点における評価値の絶対値レベルは大きくなる。画像間の相関が低いため検出された動きベクトルの信頼性は低く、補正に用いることは不可能である。そのため、最小点における評価値Ｌを用いて信頼性の判定を行う。最小点における評価値Ｌは、式（７）で表現できる。Ｌが大きい場合は移動被写体が混在する被写体であると判定する。

式（７）で求められた値Ｌから信頼度Ｒｌを求める処理を図８Ｂを参照して説明する。信頼性が高い場合、つまりＬがしきい値thrC未満の時は、信頼度Ｒｌは１に設定される。信頼性が低い場合、つまりＬがしきい値thrDより大きい時は、信頼度Ｒｌは０に設定される。上記以外の場合は、図８Ｂに示し、下記の式（８）によって設定される。

動きベクトル検出部１４１は、上述した二つの信頼度ＲｓおよびＲｌを統合した信頼度Ｒを式（９）にしたがって求めて検出された動きベクトルと共に、システムコントローラ１７０に対して出力する。信頼度Ｒが小さい場合は動きベクトルの信頼性は低く、逆に信頼度Ｒが大きい場合は動きベクトルの信頼性は高い。なお、動きベクトル検出部１４１から評価値をシステムコントローラ１７０に対して供給し、システムコントローラ１７０において、信頼度を計算するようにしても良い。

図６は、図１中のフィルタ１６０の一例の構成を示す。メモリコントローラ１５０から出力されたデータＸ（ｚ）５０１がフィルタ１６０に入力される。フィルタ１６０の加算器５２０から出力Ｙ（ｚ）５０２が取り出される。入力データＸ（ｚ）５０１がアンプ５１０において、レベルがｋ倍に増幅されて加算器５２０に供給される。フィルタ係数ｋは、システムコントローラ１７０により指示される。但し、０≦ｋ≦１である。

加算器５２０の出力データが出力Ｙ（ｚ）として取り出されると共に、遅延器５３０に供給される。遅延器５３０の出力データがアンプ５１１を介して加算器５２０に供給される。アンプ５１１は、遅延器５３０の信号を（１−ｋ）倍に増幅する。遅延器５３０は、出力Ｙ（ｚ）５０２を１サンプリング周期遅延させる遅延器である。１サンプリング周期は、代表点が存在する参照領域と、検出領域との時間差であり、例えば１フィールドまたは１フレームである。

図６に示すフィルタ１６０において、ｋ＝１の場合には、アンプ５１１から加算器５２０に供給される前の時刻の出力成分が０となり、入力データＸ（ｚ）５０１がそのまま出力データＹ（ｚ）５０２として取り出される。ｋ≠１の場合には、アンプ５１１から加算器５２０に供給される前の時刻の出力成分が０とならず、加算器５２０において、入力データＸ（ｚ）５０１に対して前の時刻の出力成分が加算される。信号成分は、異なる時刻の間でも相関があるのに対して、ランダムノイズ成分は、相関を有しないので、加算器５２０における加算処理によってノイズ成分を減少させることができる。

ここで、フィルタ係数Ｋｙについて説明する。フィルタ係数Ｋｙは、輝度検出部１８０から出力される撮像素子１２０の信号レベルＹにより、図８Ｃにしたがって算出される。ノイズ成分が多く含まれる輝度レベルの場合、つまりＹがthrE未満の時のフィルタ係数Ｋｙは、式（１０）と表現できる。ノイズ成分が少ない輝度レベルの場合、つまりＹがthrE以上の時は、フィルタ係数Ｋｙは所定のフィルタ係数Ｋmaxに設定される。

図６に示すフィルタ１６０におけるフィルタ係数ｋは、信頼度Ｒと輝度レベルに応じたフィルタ係数Ｋｙより、式（１１）により算出される。但し、初期画像のみはフィルタの過渡応答を解消するために、フィルタ係数ｋを１に設定する。

図７を参照してシステムコントローラ１７０によってなされる制御動作について説明する。この制御動作は、複数の画像が捕捉される間隔例えば１フィールドまたは１フレーム毎に実行され、実行回数をカウンタの値が示す。低照度時に、露光にじみが生じない程度のシャッター速度でもって連写がなされ、連写で得られた所定枚数の画像が手ぶれ補正およびフィルタ処理される。所定枚数の画像の処理がなされ、カウンタの値が所定値に達すると、処理が完了し、その結果の画像が最終的な撮像画像として扱われる。

ステップＳ１０では、制御動作が１回なされる毎にインクリメントするカウンタの値（単にカウンタと称する）が０であるか否かの判別を行う。真の場合（カウンタが０である）は、処理がステップＳ１１に移り、偽の場合（カウンタが０でない）は、処理がステップＳ２０に移る。

ステップＳ１１では、手ぶれ補正がＯＦＦに設定される。つまり、メモリコントローラ１５０は、画像メモリ１５１に格納されている画像に対して手ぶれ補正を行わないで、そのまま画像が出力される。信頼性が低い場合が連続した場合に、一度も手ぶれ補正された信号が出力されないことを防ぐために、カウンタ＝０の初期時に必ず初期画像を取り込む処理を行う。

ステップＳ１２ではフィルタ１６０のフィルタ係数ｋが１に設定される。初期時はフィルタの過渡応答を解消するための制御である。ステップＳ１３では、カウンタに１が加算される。そして、処理が終了する。１フィールドまたは１フレーム後に入力される次の画像の処理がステップＳ１０から開始する。

ステップＳ２０では、手ぶれの検出と補正を行う。つまり、システムコントローラ１７０は、動きベクトル検出部１４１が検出した動きベクトルに応じて、手ぶれ成分を打ち消す補正量をメモリコントローラ１５０に指示し、メモリコントローラ１５０が画像メモリ１５１から手ぶれ補正した画像を出力する。

ステップＳ２１では、上述した式（１１）で示すように、信頼度Ｒおよびフィルタ係数Ｋｙに応じてフィルタの係数ｋが算出される。そして、ステップＳ１３において、カウンタに１が加算されて処理が終了する。システムコントローラ１７０によって算出されたフィルタ係数ｋがフィルタ１６０に供給され、フィルタ１６０のフィルタ係数が適切な値に設定される。

上述したこの発明の一実施の形態は、画面全体に関して動きベクトルを発生しているが、画面を複数のブロックに分割し、各ブロック毎に手ぶれ補正とフィルタ処理を行うようにしても良い。この発明の他の実施の形態は、各ブロック毎に処理を行うものである。

この発明の他の実施の形態において、撮像装置の全体の構成は、上述した一実施の形態に関する図１に示すものと同様であり、図１の構成要素の参照符号を他の実施の形態の説明においても使用する。他の実施の形態では、手ぶれ検出部１４０（動きベクトル検出部１４１と特徴抽出部１４１を含む）では、図９に示すように撮像素子１２０の撮像画面を縦方向にＪ分割、横方向にＩ分割して形成された（Ｉ×Ｊ）個のブロック毎に処理がなされる。各ブロック内に複数の参照領域および検出領域が設定される。したがって、メモリコントローラ１５０による手ぶれ補正動作並びにフィルタ１６０の処理も、ブロック毎になされる。輝度検出部１８０は、ブロック毎にアナログ信号処理部１３０より出力される信号の輝度レベルを検出する。

低照度に、露光にじみが生じない程度のシャッター速度でもって連写がなされ、得られた複数枚の画像を手ぶれ補正および巡回型のフィルタ処理する点は、上述した一実施の形態と同様である。但し、手ぶれ補正およびフィルタ処理は、ブロック毎になされる。

代表点方式による動きベクトル検出を行う構成は、上述した一実施の形態における構成（図２参照）と同様であり、図３を参照して説明したように、参照領域内の代表点の輝度レベルと検出領域３０１内の各画素の輝度レベルとの残差の絶対値が計算される。この場合、時刻ｍにおけるブロック（ｉ，ｊ）（但し、ｉ＝０，１，２，・・・，Ｉ−１，ｊ＝０，１，２，・・・，Ｊ−１）における座標（ｕ、ｖ）の代表点の輝度レベルをｋｍi,j
（ｕ、ｖ）、時刻ｎにおける座標（ｘ、ｙ）における輝度レベルをｋｎi,j（ｘ、ｙ）と
すると、代表点マッチング方式における動きベクトル検出における残差演算式は、下記の式（１２）で示すものとなる。

求められた残差は、参照領域３０６および検出領域３０１の一つの対に関するものである。ブロック全体に存在する多数の対に関して同様に、残差が求められ、座標（ｘ，ｙ）のそれぞれにおいて残差が積算されることによって、座標（ｘ，ｙ）の評価値が求められる。上述した一実施の形態における例では、ブロック毎に（５×５）＝２５個の画素位置において評価値がそれぞれ発生する。

上述した図４に示される偏移と評価値の関係は、ブロック毎に得られるものである。評価値が極小で且つ最小点となる点ａと代表点の座標との差がブロック（ｉ，ｊ）の動きベクトルｍｖi,j（（ｘ、ｙ）となる。１ブロックの画面の全体の代表点が座標ａの位置ま
で同様に動く場合に、座標ａの評価値が極小となる。式で表現すると、各ブロックの動きベクトルｍｖi,j（ｘ，ｙ）は、下記の式（１３）で示すものとなる。但し、Ｐi,j（ｘ，ｙ）がブロック（ｉ，ｊ）の座標（ｘ，ｙ）における評価値（すなわち、残差の絶対値の積算値）を意味している。

代表点の座標が（０，０）であれば、ブロック（ｉ，ｊ）の動きベクトルは、下記の式（１４）と表現できる。

特徴抽出部１４２は、各ブロックで求められた動きベクトルと対応する評価値を出力する回路である。すなわち、下記の式（１５）をブロック（ｉ，ｊ）の特徴情報として出力する。

図１０は、ブロック毎の偏移と評価値の関係を２次元的に表現したものである。上述した一実施の形態における図５と同様に、実線６０１は、通常の手ぶれ時の評価値の変化を示したものである。動きベクトルが検出される偏移で最小点における評価値の絶対値が十分小さくなり、最小点以外の偏移では画像間の相関は低い。この場合は、検出された動きベクトルの信頼性が高いと判定できる。

一方、ローコントラスト時の評価値の変化に基づいて検出された動きベクトルの信頼性は、低いと判定される。図１０中の破線６０２は、ローコントラスト時の評価値の変化を示したものである。動きベクトルが検出される偏移で最小点における評価値の絶対値が十分小さくなり、全ての偏移において画像間の相関が高い。しかしながら、ここで検出された動きベクトルはノイズなどの影響を受けやすいため信頼性が低い。ローコントラストの場合は、代表点の輝度レベルと検出領域の画素の輝度レベルとの差が全体的に小さくなるため全体的に評価値が小さくなる。その結果、ノイズなどの影響を受け検出精度が低下や、手ぶれ以外の動きベクトルを検出する可能性がある。そのため、検出される動きベクトルの信頼性を高めるためには、ローコントラストの場合を検出し排除する必要がある。

他の実施の形態では、式（１６）に示されるブロック毎の評価値の総和Ｓi,jを用いて
ローコントラストか否かの判別を行う。すなわち、Ｘ，Ｙは検波領域の横、縦の画素数とし、評価値Ｐi,j（ｘ、ｙ）の各座標における評価値の総和を画素数（つまり、面積）（
Ｘ×Ｙ）で正規化した値Ｓi,jを求め、Ｓi,jが小さい場合はローコントラストの被写体であると判断する。

式（１６）で求められたブロック（ｉ，ｊ）の値Ｓi,jから信頼度Ｒｓi,jは、一実施の形態と同様に、Ｓi,jがしきい値thrA未満の時は、信頼度Ｒｓi,jが０に設定される。信頼性が高い場合、つまり、Ｓi,jがしきい値thrBより大きい時は、信頼度Ｒｓi,jが１に設定される。上記以外の場合は、下記の式（１７）によって設定される。

各々の分割されたブロックにおける動きベクトル検出部１４１から出力された動きベクトルは、手ぶれ成分以外に動き被写体による成分が含まれている場合がある。動き被写体による誤動作を低減するためには、手ぶれ成分のみを抽出し、その動きベクトルに応じてメモリコントローラ１５０において、手ぶれを補正する必要がある。更に、この手ぶれ補正に加えて、検出された動きベクトルに手ぶれ以外の成分を検出し、フィルタ１６０において積分されないように信頼度Ｒｌi,j を算出する必要がある。

手ぶれ成分は、式（１８）で表現することができる。但し、ＭＤはメディアンフィルタを示す。メモリコントローラ１５０には、この手ぶれ成分ｍｖMDがシステムコントローラ１７０より指示され補正される。

動き被写体の検出と信頼度について説明する。該当するブロックに動き被写体が存在する度合いは、動きベクトル成分と手ぶれ成分との乖離度合いにより判断する。この乖離度合いLi,jは、式（１９）で表現できる。Ｌi,j が大きい場合は、移動被写体が混在する被写体であると判断する。

この時のブロック（ｉ，ｊ）の信頼度Ｒｌi,jは、一実施の形態と同様に図８Ｂにした
がってＬi,j により算出される。信頼性が高い場合、つまりＬi,j がthrC未満の時は、信頼度Ｒｌi,jは１に設定される。信頼性が低い場合、つまりＬi,j がthrDより大きい時は
、信頼度Ｒｌi,jは０に設定される。上記以外の場合は、式（２０）によって設定される
。

各々のブロック（ｉ，ｊ）における動きベクトル検出部１４１で検出された動きベクトルの信頼度をＲi,jとすると、信頼度をＲi,jは、式（２１）で表現できる。信頼度Ｒi,j
が小さい場合は動きベクトルの信頼性は低く、逆に信頼度Ｒi,jが大きい場合は動きベク
トルの信頼性は高い。

手ぶれ補正された各ブロックの画像が供給されるフィルタは、一実施の形態における図６に示す構成を有している。但し、フィルタ係数がブロック毎に設定される。ブロック毎のフィルタ係数をｋi,jとする。フィルタ係数は、（０≦ｋi,j≦１）である。

ここで、ブロック（ｉ，ｊ）のフィルタ係数Ｋｙi,jについて説明する。フィルタ係数
Ｋｙi,jは、一実施の形態と同様に、輝度検出部１８０から出力される撮像素子１２０の
信号レベルＹi,jにより、図８Ｃにしたがって算出される。ノイズ成分が多く含まれる輝
度レベルの場合、つまりＹi,jがthrE未満の時のフィルタ係数Ｋｙi,jは、式（２２）と表現できる。ノイズ成分が少ない輝度レベルの場合、つまりＹi,jがthrE以上の時は、フィ
ルタ係数Ｋｙi,jは所定のフィルタ係数Ｋmaxに設定される。

一実施の形態と同様に、フィルタ係数ｋi,jは、信頼度Ｒと輝度レベルに応じたフィル
タ係数Ｋｙi,jより、式（２３）により算出される。但し、初期画像のみはフィルタの過
渡応答を解消するために、フィルタ係数ｋを１に設定する。

システムコントローラ１７０によってなされる制御動作は、一実施の形態において説明した図７と同様である。但し、一実施の形態では、制御動作は、１フィールドまたは１フレーム毎に実行されていたが、１ブロック毎に動作することが必要とされる。そして、所定枚数の画像の全ブロックに関する処理がなされ、カウンタの値が所定値に達すると、処理が完了し、その結果の画像が最終的な撮像画像として扱われる。

上述したこの発明の他の実施の形態は、一実施の形態と比較して複数のブロックのそれぞれを個別に制御するので、フィルタ係数の制御を画像の局所的特徴に合わせて行うことができ、画質をより向上させることができる。

以上、この発明の実施の形態について具体的に説明したが、この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば動きベクトル検出は、代表点方式に限らず他の方式を使用しても良い。

この発明の一実施の形態の全体の構成を示すブロック図である。 この発明の一実施の形態における手ぶれ検出部の一例のブロック図である。 この発明の一実施の形態における動き検出を説明するための略線図である。 動きベクトル検出時の評価値と偏移の関係を３次元的に示す略線図である。 動きベクトル検出時の評価値と偏移の関係を２次元的に示す略線図である。 この発明の一実施の形態におけるフィルタの一例を示すブロック図である。 この発明の一実施の形態の処理の流れを示すフローチャートである。 この発明の一実施の形態における信頼性の判定処理を説明するための略線図である。 この発明の他の実施の形態におけるブロックを説明するための略線図である。 この発明の他の実施の形態における動きベクトル検出時の評価値と偏移の関係を２次元的に示す略線図である。

符号の説明

１２０・・・撮像素子
１４０・・・手ぶれ検出部
１４１・・・動きベクトル検出部
１４２・・・特徴抽出部
１５０・・・メモリコントローラ
１５１・・・画像メモリ
１６０・・・フィルタ
１７０・・・システムコントローラ
１８０・・・輝度検出部
２２０・・・代表点抽出回路
２３０・・・減算器
２５０・・・動きベクトル検出回路
３０１・・・検出領域
３０２・・・代表点
３０４・・・動きベクトル
４０１・・・通常の手ぶれ時の評価値と偏移の関係
４０２・・・ローコントラスト時の評価値と偏移の関係
４０３・・・移動被写体進入時の評価値と偏移の関係

Claims (8)

1. 時間的に異なる複数の画像を捕捉する画像捕捉ステップと、
   上記複数の画像から動きを検出し、動き情報を生成する動き検出ステップと、
   上記動き情報の信頼性を判定する信頼性判定ステップと、
   上記動き情報に応じて上記複数の画像間で生じる手振れを補正する手ぶれ補正ステップと、
   巡回型フィルタにより手ぶれ補正後の画像をフィルタ処理するフィルタステップとを備え、
   上記動き情報の信頼性に応じて上記フィルタ処理の特性を変化させる撮像方法。
2. 上記画像捕捉ステップにおいて、露光にじみが生じない程度の蓄積時間でもって上記複数の画像のそれぞれを捕捉する請求項１記載の撮像方法。
3. 上記複数の画像の先頭の画像に関して、上記手振れ補正ステップを行わない請求項１記載の撮像方法。
4. 上記複数の画像の先頭の画像に関して、上記巡回型フィルタの特性を変更する請求項１記載の撮像方法。
5. 上記信頼性判定ステップにおいて、ローコントラストの被写体を撮影した画像から得られた上記動き情報は、上記信頼性が低いと判定する請求項１記載の撮像方法。
6. 上記信頼性判定ステップにおいて、上記複数の画像の一部に動き被写体が存在する画像から得られた上記動き情報は、上記信頼性が低いと判定する請求項１記載の撮像方法。
7. 捕捉した画像を複数のブロックに分割し、上記ブロック毎に上記動き検出ステップ、上記信頼性判定ステップ、上記手ぶれ補正ステップ、上記フィルタステップ並びに上記フィルタ処理の特性を変化させる処理を行う請求項１記載の撮像方法。
8. 時間的に異なる複数の画像を捕捉する画像捕捉手段と、
   上記複数の画像から動きを検出し、動き情報を生成する動き検出手段と、
   上記動き情報の信頼性を判定する信頼性判定手段と、
   上記動き情報に応じて上記複数の画像間で生じる手振れを補正する手ぶれ補正手段と、
   巡回型フィルタにより手ぶれ補正後の画像をフィルタ処理するフィルタ手段とを備え、
   上記動き情報の信頼性に応じて上記フィルタ手段の特性を変化させる撮像装置。
   

Images