JP2012222510A - 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 - Google Patents

Abstract

【課題】動き補償誤差を適切に減少させ、回路規模や計算量を大きく増加させることなく揺れを少なくしつつノイズを除去した動画像を得る。
【解決手段】基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理装置は、前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出部（１０２）と、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部（１２０）であって、前記コントラスト値を使用して前記動きベクトルの算出方法を変更する動きベクトル算出部と、前記動きベクトル算出部により算出された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償部（１０６）と、前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算部（１０８）と、を備える。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置に関する。

従来の動画像のノイズ除去技術として、巡回型のノイズリダクション技術がある。この技術は、入力フレーム画像と処理済みの前フレーム画像との間で動き補償を行い、各画素に関する動き補償の信頼度を周辺画素の差分量から算出する。信頼度と動き量とノイズ推定量に応じて導出された加重加算比率（混合比率）で、入力フレーム画像（現フレーム画像）と前フレーム画像は、加重加算される（特許文献１、２参照）。

近年の動画記録の高画素化・高フレームレート化により、画素毎に（画素単位で）動き検出することは、回路規模や計算時間が多大となってしまう。一方、複数の離散点での動き検出に基づいて動き補償することで回路規模や計算量が減少するが、この場合、動き検出ひいては動き補償に誤差が生じる。また、高速に動き検出できるブロックマッチング法などでは、レンズ歪みやローリングシャッター等の影響により動き検出に誤差が生じる。さらにノイズの影響によっても、動き検出に誤差が生じる。そのため、従来のノイズ除去技術は、加重加算時に残像やアーティファクトが発生しないように、動き補償の信頼度が高いほど程、前フレーム画像の加算比率を高くし、動き補償の信頼度が低いほど、前フレーム画像の加算比率を低くする。なお、動き補償の信頼度は、動き補償した画像間の差分絶対値和（ＳＡＤ）などの相違度の評価値から算出でき、差分絶対値和が小さいほど信頼度は増加し、差分絶対値和が大きいほど信頼度は減少する。

特許第４３２１６２６ 特開２０１０−１４７９８６

しかし、画像中の低、中、高の各コントラスト部分では、同じ動き検出誤差、例えば＋方向０．５ピクセルの動き量又は動きベクトルの誤差があった場合でも、画像間の差分絶対値和（ＳＡＤ）の値に対する誤差の影響が著しく異なる。コントラストが高い部分ほど、誤差の影響で差分絶対値和は大きくなってしまう。そのため、異なるコントラストの部分が密接した被写体の場合、動き検出誤差があると、低中コントラスト部分は、前フレーム画像の加算比率が高くなるよう加重加算されても、高コントラスト部分は現フレームの加算比率が高くなるよう加重加算される。

静止物体がパン／チルト撮影される場合において、一様なパンチルトの動き量が変化して、高コントラスト部分に対する低中コントラスト部分の動き検出誤差（即ち動き補償誤差）が＋０．５ピクセルから−０．５ピクセルへ急激に変わることがある。この場合、巡回型のノイズリダクションでは、高コントラスト部分は、差分絶対値和（ＳＡＤ）が大きいので誤差がない現フレーム画像の位置にあるために、動画像として見た際に低中コントラスト部は揺れてしまうという問題が発生する。

本発明は、上記の問題に鑑みて、動き補償誤差を適切に減少させ、回路規模や計算量を大きく増加させることなく揺れを少なくしつつノイズを除去した動画像を得ることを目的とする。

本発明のある態様に係る画像処理装置は、基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理装置であって、前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出部と、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部であって、前記コントラスト値を使用して前記動きベクトルの算出方法を変更する動きベクトル算出部と、前記動きベクトル算出部により算出された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償部と、前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算部と、を備える。

本発明の別の態様に係る画像処理方法は、基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理方法であって、前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出ステップと、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出ステップであって、前記コントラスト値を使用して前記動きベクトルの算出方法を変更する動きベクトル算出ステップと、前記動きベクトル算出ステップにより算出された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償ステップと、前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算ステップと、を含む。

本発明のさらに別の態様に係る画像処理プログラムは、基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理プログラムであって、前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出手順と、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順であって、前記コントラスト値を使用して前記動きベクトルの算出方法を変更する動きベクトル算出手順と、前記動きベクトル算出手順により算出された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償手順と、前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算手順と、をコンピュータに実行させる。

本発明によると、コントラストに応じた算出方法で動きベクトルを算出でき、動き補償誤差をコントラストに応じて減少できる。このため、回路規模や計算量を大きく増加させることなく、揺れを少なくしつつノイズを除去した動画像を得ることができる。

第一実施形態に係る画像処理装置を示すブロック図である。 動き補償の信頼度と加重加算比率との関係を示すグラフである。 加重加算処理を示すシーケンス図である。 （ａ）各動きベクトル測定領域で測定された動きベクトルを示す図である。（ｂ）低コントラスト領域の動きベクトルを除去する様子を示す図である。（ｃ）動きベクトルの統計処理を示す図である。 （ａ）現フレーム画像を例示する図である。（ｂ）前フレーム画像を例示する図である。（ｃ）第二動きベクトルの測定領域と探索領域を示す図である。 第二動きベクトルを使用するコントラスト値の範囲を示す図である。 第二実施形態に係る画像処理装置を示すブロック図である。 （ａ）第一動きベクトルが選択される場合の近隣領域のコントラスト値を示す図である。（ｂ）第二動きベクトルが選択される場合の近隣領域のコントラスト値を示す図である。 第三実施形態に係る画像処理装置を示すブロック図である。 （ａ）近隣領域における第二動きベクトルを示す一例である。（ｂ）近隣領域における第二動きベクトルを示す他の例である。（ｃ）第二動きベクトルの方向変動量の一例を示す図である。（ｄ）第二動きベクトルの方向変動量の他の例を示す図である。 第一実施形態に対応する画像処理プログラムを示すフローチャートである。 第二実施形態に対応する画像処理プログラムを示すフローチャートである。 第三実施形態に対応する画像処理プログラムを示すフローチャートである。

［第一実施形態］
図１は、第一実施形態に係る画像処理装置のブロック構成図を示す。本実施形態では、画像処理装置は、撮像装置に搭載されている。撮像装置は、電子機器の一例として示すものであり、例えば、ビデオカメラ、電子スチルカメラなどである。

撮像装置は、撮像部１００と画像処理装置２００とフレームメモリ３００を備える。画像を撮影する撮像部１００は、画像処理装置２００へ画像（画像データ）を入力する画像入力部として機能する。フレームメモリ３００などのメモリは、画素（対象画素）ごとの画素値を記憶して、画素値をまとめてノイズを除去した画像として外部へ出力する。

撮像部１００は、撮像光学系、撮像素子、Ａ／Ｄ変換回路などを備える。画像処理装置２００は、第一動きベクトル算出部１０１（第一動きベクトル算出手段）、コントラスト算出部１０２（コントラスト算出手段）、条件判定部１０３（条件判定手段）、第二動きベクトル算出部１０５（第二動きベクトル算出手段）、動き補償部１０６（動き補償手段）、信頼度算出部１０７（信頼度算出手段）、加重加算部１０８（加算比率算出手段）、制御スイッチ部１０４（切換え部、切換え手段）を備える。第一動きベクトル算出部１０１と制御スイッチ部１０４と第二動きベクトル算出部１０５は、動きベクトル算出部１２０を構成する。なお、画像処理装置２００の上記の各部（又はこれら全体）は、ＡＳＩＣ、ＦＰＧＡなどの論理回路から構成されてよい。或いは、画像処理装置２００の上記の各部（又はこれら全体）は、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ／ＤＳＰ（中央演算処理装置／デジタルシグナルプロセッサ）等から構成されてもよい。

フレームメモリ３００は、撮像部１００により撮像されフレームメモリ３００に出力された現フレーム画像の画素値と、加重加算部１０８から出力された前フレーム画像の画素値とを画素値データ（画像データ）として保存する。

フレームメモリ３００に保存された前フレーム画像と現フレーム画像は、第一動きベクトル算出部１０１に入力され、それぞれ、参照画像と基準画像として使用される。ここで、「前フレーム画像」は、前回の画像処理装置２００の処理で、加重加算部１０８から出力されフレームメモリ３００に記憶された画像である。「現フレーム画像」は、今回の画像処理装置２００の処理で、加重加算の対象となる撮像部１００で撮像された画像（合成前の画像）である。

第一動きベクトル算出部１０１は、テンプレートマッチング法により、入力された２フレームの画像間の第一動きベクトルＶ１を算出し、制御スイッチ部１０４へ出力する。フレームメモリ３００に保存されている２フレームのうち、基準となる現フレーム画像（基準画像）における処理対象である対象画素の近辺の小領域は、コントラスト算出部１０２に入力される。この小領域は、加重加算の対象となっている対象画素を中心とし、画像全体に比較して小さな所定のサイズの領域であって、例えば、３×３ピクセル、５×５ピクセルの領域である。第二動きベクトル算出部１０５は、第一動きベクトル算出部１０１で算出された第一動きベクトルＶ１に基づいて、再度、第二動きベクトルＶ２を算出して、動き補償部１０６へ出力する。

コントラスト算出部１０２は、対象画素のコントラストを算出し、条件判定部１０４へと出力する。条件判定部１０４は、制御スイッチ部１０４をコントラストの大きさに応じて制御する。

動き補償部１０６は、第一動きベクトルＶ１又は第二動きベクトルＶ２に基づいて動き（位置ずれ）を補償して、参照画像としての前フレーム画像を、基準画像としての現フレーム画像に位置合わせする。さらに、動き補償部１０６は、現フレーム画像の小領域、及び、現フレーム画像に位置合わせして動き補償した前フレーム画像の小領域を切り出す。前フレーム画像の小領域は、現フレーム画像の小領域に対応し、これらの小領域は、それぞれ参照領域と基準領域と呼ばれることがある。これらの小領域は、加重加算の対象となっている対象画素を中心とし、画像全体に比較して小さな所定のサイズの領域であって、例えば、３×３ピクセル、５×５ピクセルの領域であるが、コントラスト算出部１０２に入力される小領域とサイズが異なってもよい。動き補償部１０６は、第一動きベクトルＶ１と第二動きベクトルＶ２のうちから選択された動きベクトルを相殺するように、この選択された動きベクトルに基づいて前フレーム画像の小領域の切り出し位置を決定する。

信頼度算出部１０７は、動き補償部１０６によって位置合わせされ抽出された現フレーム画像の小領域と前フレーム画像の小領域との間の相違度（差分の絶対値和ＳＡＤなど）を算出する。信頼度算出部１０７は、相違度や類似度が評価できる差の２乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）などを算出しても良い。さらに、信頼度算出部１０７は、算出された相違度から動き補償の信頼度Ｒ（即ち、動きベクトルの信頼度Ｒ）を算出して、加重加算部１０８へ出力する。なお、ＳＡＤやＳＳＤが相違度として使用される場合、信頼度Ｒは、相違度が小さいほど高くなり、相違度が大きいほど低くなるように算出される。例えば、信頼度Ｒは、相違度が大きいほど値が小さくなる関数を用いて計算できる。

加重加算部１０８は、入力された信頼度Ｒに基づいて、現フレーム画像の対象画素（小領域の中心画素）とこれに位置合せにより対応する前フレーム画像の対応画素との加算比率を算出する。前フレーム画像の対応画素の加算比率をαとすると、現フレーム画像の対象画素の加算比率は（１−α）となる。加重加算部１０８は、算出された加算比率によってこれら対象画素と対応画素を加重加算して、フレームメモリ３００に出力して保存する。加重加算として、対象画素と対応画素の加算比率を重みとして、重み付き加算又は加重平均が行われる。

図２は、信頼度Ｒと加算比率との関係を表す関数を示すグラフである。図２に示すように、加重加算部１０８は、信頼度Ｒとこの関数に基づいて、前フレーム画像の対応画素の加算比率αと、現フレーム画像の対象画素の加算比率（１−α）を決定する。図２の実線のように、前フレーム画像の加算比率αは、信頼度Ｒが低いほど小さくなる。図２の破線のように、現フレーム画像の加算比率（１−α）は、信頼度Ｒが低いほど大きくなる。加重加算部１０８は、決定された加算比率で現フレーム画像の対象画素と前フレーム画像の対応画素とを加重加算してブレンド合成する。

加重加算部１０８は、現フレーム画像の各画素に加重加算を施してフレームメモリ３００に出力する。フレームメモリ３００は、全画素について加重加算が施されたものを現フレーム画像の出力画像（合成画像）として保存する。この出力画像は、次のフレーム処理で使用する前フレーム画像として使用される。また、フレームメモリ３００に保存された出力画像は、さらに、記録媒体（メモリカード）などに出力され記録されるか、又は、表示部（液晶モニタ等）に出力され表示されてもよい。

図３は、第一実施形態に係る処理シーケンス図を示す。複数の画像を連続して撮像する動画撮像の際、一枚目の入力画像は、そのまま出力画像となる。２枚目の入力画像が撮像されたら、保存してある一枚目の出力画像（前フレーム画像）と２枚目の入力画像（現フレーム画像）とが、加重加算され合成画像が生成される。合成画像が２枚目の出力画像となる。図３に示すように、３枚目の入力画像以降も、２枚目の入力画像と同様に加重加算が行われる。

コントラスト算出部１０２におけるコントラスの算出方法について説明する。例えば、コントラスト算出部１０２は、現フレーム画像の輝度のうち、対象画素を含む小領域内での輝度の平均値を求め、その平均値と小領域内の各画素の輝度との差分量（差の絶対値）を算出し、その差分量が最大のものを対象画素に関するコントラスト値ＣＮとする。また、例えば、コントラスト算出部１０２は、現フレーム画像の輝度のうち、対象画素を含む小領域内で最も低い輝度と最も高い輝度との差を、対象画素に関するコントラスト値ＣＮとしてもよい。これら二つの場合、コントラスト値ＣＮは、０から２５５までの範囲の値としてよい。

さらに、例えば、コントラスト算出部１０２は、現フレーム画像のうち対象画素を含む小領域において、エッジを抽出するフィルタ（微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタなど）を各画素にかかるようにフィルタ処理し、小領域内の各エッジ量の合計を正規化したものを、対象画素に関するコントラスト値ＣＮとしてもよい。この場合の正規化は、他の手法によるコントラスト値ＣＮと同一の尺度になるように、０から２５５までの範囲の値になるように正規化すればよい。

なお、前述した３つのコントラスト算出方法において、現フレーム画像の輝度が利用されるが、画素の明度を示すような量、例えば三原色ＲＧＢのうちのＧの画素値などを利用してもよい。また、現フレーム画像からコントラストを算出するようにしたが、動き補償によって、現フレーム画像（基準画像）の対象画素に対して動き補償によって位置が対応する前フレーム画像の対応画素がわかるため、前フレーム画像の対応画素を含む小領域を利用してコントラストを算出してよい。

図４（ａ）−（ｃ）は、第一動きベクトル算出部１０１による第一動きベクトルＶ１の算出方法を詳細に説明する図である。第一動きベクトルＶ１は、複数の画素の動きから求められ、複数の画素の動きを反映した動きベクトルである。

まず、図４（ａ）のように、現フレーム画像内には、動きベクトルを算出するための動きベクトル測定領域１０００が離散的に設定され、離散的に配置された複数の画素に対して複数の動きベクトルが算出される。離散的な動きベクトル測定領域の設定により、動きベクトルの計算量（計算時間）や計算の回路規模が減少する。前フレーム画像には、現フレーム画像の動きベクトル測定領域１０００と同一位置の周辺に探索範囲が設定される。そして、動きベクトル測定領域１０００ごとに、探索範囲内でブロックマッチングなどにより動きベクトル１００１が算出される。ブロックマッチングにおいて、現フレーム画像の動きベクトル測定領域１０００を基準のブロックとして、前フレーム画像の探索範囲内においてこのブロックと最も類似度（例えば、誤差二乗和ＳＳＤ）の高い領域（ブロック）が探索される。

例えば、図４（ｂ）のように、現フレーム画像のブロックとマッチングの対象となる前フレーム画像のブロックとの類似度の分布から、低コントラスト領域１００２が判定できる。類似度は、前フレーム画像のブロックの位置によって変化するが、低コントラスト領域１００２（図４（ｂ）の斜線で示す）において類似度は位置に大きく依存せず類似度の分布ほぼ均一になることから、低コントラスト領域１００２を判定できる。低コントラスト領域１００２における動きベクトルは信頼性が無いものとして扱われ、第一動きベクトルＶ１の算出において無視される。

図４（ｃ）のように、低コントラスト領域１００２以外の領域での信頼性の高い動きベクトルの統計をとることにより、高頻度の動きベクトルを第一動きベクトルＶ１とする。図４（ｃ）では、動きベクトル（Ｖｘ，Ｖｙ）のうち、Ｖｘ＝２且つＶｙ＝−２の動きベクトルの頻度数は２２、Ｖｘ＝０且つＶｙ＝−１の動きベクトルの頻度数は６、Ｖｘ＝−２且つＶｙ＝−２の動きベクトルの頻度数は２、Ｖｘ＝−１且つＶｙ＝１の動きベクトルの頻度数は１である。頻度割合は、頻度数を動きベクトル測定領域の数（３５個）で割った値である。Ｖｘ＝２且つＶｙ＝−２の動きベクトルが最大の頻度で出現し、この最大の頻度の動きベクトルが第一動きベクトルＶ１に設定される。この場合に、第一動きベクトルＶ１は、画像全体の動きを代表する動きベクトル（グローバルベクトル）となる。

なお、ジャイロセンサーによる出力を、現フレーム画像と前フレーム画像の間の動き量に変換したものを、第一動きベクトルＶ１としてもよい。また、各画素に対応する第一動きベクトルＶ１が、低コントラスト領域を除いた領域における信頼性の高い動きベクトルを用いて、線形補間によって補間ベクトルとして生成されてもよい。

図５（ａ）−（ｃ）は、第二動きベクトル算出部１０５による第二動きベクトルＶ２の算出方法を示す。第二動きベクトルＶ２は、第一動きベクトルを補正することによって算出され、画素単位の動きを表す。図５（ａ）のように、現フレーム画像の各対象画素（ここでは、条件判定部１０３のコントラストに関する条件を満たすもの）に対して第二動きベクトル測定領域が設定される。図５（ｂ）のように、現フレーム画像と前フレーム画像との間の第一動きベクトルＶ１を相殺するように前フレーム画像の位置をずらして現フレーム画像に位置合わせする。その後、図５（ｃ）の点線のように、前フレーム画像において、現フレーム画像に対して設定した第二動きベクトル測定領域に対応する領域を含んだ形で、第二動きベクトル測定用の探索範囲が設定される。このような探索範囲内で、ブロックマッチングなどにより、（図４（ａ）のように離散的に配置された画素に対してではなく）現フレーム画像内のコントラストに関する条件を満たす各対象画素に対して動きベクトルが再探索される。

第一動きベクトルＶ１に対して、再探索によって算出された動きベクトルを補正量ΔＶとして加算した値が、第二動きベクトルＶ２として算出される（Ｖ２＝Ｖ１＋ΔＶ）。即ち、第二動きベクトルＶ２は、第一動きベクトルＶ１が補正量ΔＶで補正されたベクトルであり、第一動きベクトルＶ１より画素単位の動きを示す動きベクトルとなっている。第二動きベクトルＶ２は、第一動きベクトルＶ１に基づく位置合せの後に画素単位で再探索により算出されるため、離散的な動きベクトル測定領域を設定して求めた第一動きベクトルＶ１より誤差が少なく正確な値となっている。

図６は、条件判定部１０３による動きベクトル選択の条件判定を説明する図である。条件判定部１０３は、コントラストに関する条件を判定する。条件判定部１０３は、対象画素のコントラスト値ＣＮが、図６の規定範囲内にあるか否か判定する。ここで、規定範囲は、中コントラスト（中程度のコントラスト）に対応する範囲であり、条件判定部１０３は、対象画素が中コントラストであるか判定することになる。コントラスト値ＣＮが０から２５５までの値になる場合に、規定範囲は、例えば１０から４０までの範囲である。条件判定部１０３は、動き補償部１０６の動き補償で用いられる動きベクトルとして、対象画素のコントラスト値ＣＮが規定範囲内にある場合に第二動きベクトルＶ２を選択し、対象画素のコントラスト値ＣＮが規定範囲外にある場合に第一動きベクトルＶ１を選択する。

制御スイッチ部１０４は、コントラストに関する条件が満たされる場合に、第一動きベクトル算出部１０１から第二動きベクトル算出部１０５に第一動きベクトルＶ１を送り、第二動きベクトル算出部１０５は第一動きベクトルＶ１に基づいて第二動きベクトルＶ２を算出する。制御スイッチ部１０４は、コントラストに関する条件が満たされない場合に、第一動きベクトル算出部１０１から動き補償部１０６に第一動きベクトルＶ１を送る。これにより、コントラストに関する条件が満たされる場合に、動き補償部１０６が使用する動きベクトルは第二動きベクトルＶ２に設定され、条件が満たされない場合に、動き補償部１０６が使用する動きベクトルは第一動きベクトルＶ１に設定される。従って、動き補償部１０６は、対象画素のコントラスト値ＣＮが、図６に示す規定範囲内の場合には、第二動きベクトルＶ２を、それ以外の場合には第一動きベクトルＶ１を使用する。このように、制御スイッチ部１０４は、コントラスト算出部１０２により算出される対象画素のコントラスト値ＣＮに応じて、動き補償部１０６で使用する動きベクトルを切り替えることになる。

対象画素が低コントラストの場合には、再探索しても信頼性が高い動きベクトルは算出されないため、第一動きベクトルＶ１が使用される。第二動きベクトルＶ２はエッジ部で画素毎に１画素ずれて算出されることがあり、対象画素が高コントラストの場合に、画素単位で求めた第二動きベクトルＶ２を使用して加重加算すると、合成画像においてエッジ部にギザギザのアーティファクトが発生する。このため、対象画素が高コントラストの場合に、低コントラストの場合と同様に第一動きベクトルＶ１が使用される。しかし、処理対象の対象画素が中コントラストの場合には、再探索して算出した第二動きベクトルＶ２が使用されて、動き補償誤差が減少する。

−作用効果−
第一実施形態によると、画像処理装置２００は、基準画像と少なくとも一枚以上の参照画像とを加重加算する。画像処理装置２００のコントラスト算出部１０２は、基準画像中の対象画素のコントラスト値を算出する。画像処理装置２００の動きベクトル算出部１２０は、基準画像と参照画像との間の動きベクトルを算出するものであり、コントラスト値を使用して動きベクトルの算出方法を変更する。これにより、動きベクトルをコントラストに応じた算出方法で算出でき、動き補償誤差をコントラストに応じて減少できる。従って、回路規模や計算量を大きく増加させることなく、揺れを少なくしつつノイズを除去した動画像を得ることができる。

動きベクトル算出部１２０の第一動きベクトル算出部１０１は、第一の算出方法として、複数の画素の動きから第一動きベクトルＶ１を算出する。動きベクトル算出部１２０の第二動きベクトル算出部１０５は、第二の算出方法として、第一動きベクトルを補正することによって画素単位の動きを表す第二動きベクトルＶ２を算出する。条件判定部１０３は、コントラスト値に関する条件に基づいて第一動きベクトルと第二ベクトルのいずれかを選択し、動き補償部１０６は選択された動きベクトルに基づいて動き補償する。これにより、動き補償において、複数の画素の動きから小さな計算量で概略的に計算できる第一動きベクトルＶ１と、第一動きベクトルを補正することによって算出され画素単位の動きを表す精密な第二動きベクトルＶ２とを、対象画素のコントラスト値に応じて使い分けることができる。このため、動き補償誤差を必要な程度に減少でき、回路規模や計算量を不必要に増加させることなく、揺れを少なくしつつノイズを除去した動画像を得ることができる。

条件判定部１０３は、コントラスト値が規定範囲内であるか否かを判定し、コントラスト値が規定範囲内の場合に第二動きベクトルを選択し、コントラスト値が規定範囲外の場合に第一動きベクトルを選択する。これにより、動き補償において、中コントラストな対象画素に対してのみ画素単位の動きを表す精密な第二動きベクトルＶ２が使用され、それ以外は概略的に粗く計算された第一動きベクトルＶ１が使用される。従って、さらに回路規模や計算量を不必要に増加させることなく、動画像の揺れを防止するために必要な範囲で動き補償誤差を減少できる。

第一動きベクトル算出部１０１は、基準画像において離散的に配置された複数の画素に対して複数の動きベクトルを算出し、複数の動きベクトルの統計量から第一動きベクトルを算出する。或いは、第一動きベクトル算出部１０１は、基準画像において離散的に配置された複数の画素に対して複数の動きベクトルを算出し、複数の動きベクトルの補間演算により第一動きベクトルを算出する。これにより、簡便な方法で、小さな回路規模や少ない計算量で第一動きベクトルＶ１を概略的に計算できる。

［第二実施形態］
図７は、第二実施形態に係る画像処理装置のブロック構成図を示す。第二実施形態において、画像処理装置は、高コントラスト画素数算出部２０１と条件判定部２０２を備え、また、第一実施形態とは動きベクトル選択の条件判定が異なる。それ以外の構成は、第一実施形態と同様であり説明を省略する。

コントラスト算出部１０２は、第一実施形態と同じ方法で、処理の対象となる対象画素のコントラスト値ＣＮと、対象画素の周りの近隣領域内の画素のコントラスト値ＣＮとを計算する。コントラスト算出部１０２は、コントラスト値ＣＮを計算する画素を含む小領域の輝度や画素値などを利用してコントラスト値ＣＮを計算する。高コントラスト画素数算出部２０１は、対象画素の周りの近隣領域内で、コントラスト値ＣＮが第一閾値（例えば８０）以上である画素の数（高コントラストの画素数と呼ぶ）を算出する。コントラスト算出部１０２が算出するコントラスト値ＣＮは、高コントラスト画素数算出部２０１へ出力され、高コントラスト画素数算出部２０１が算出する高コントラストの画素数は、条件判定部２０２へ出力される。なお、第二実施形態において、近隣領域は、対象画素を中心とし、対象画素を除いた７×７画素の領域である。

図８（ａ）（ｂ）は、条件判定部２０２が実行する動きベクトル選択の条件判定の例について示す。条件判定部２０２は、対象画素のコントラスト値ＣＮと高コントラストの画素数に関する条件を判定する。詳細には、条件判定部２０２は、対象画素のコントラスト値ＣＮが第一実施形態と同様に規定範囲内であり、且つ、近隣領域内の高コントラストの画素数が第二閾値（例えば５）以上であるという条件が満たされるか判定する。条件判定部２０２は、動き補償部１０６の動き補償で用いられる動きベクトルとして、この条件が満たされる場合に第二動きベクトルＶ２を選択し、この条件が満たされない場合に第一動きベクトルＶ１を選択する。なお、第二閾値は、規定範囲のコントラスト値より大きいコントラスト値である。

制御スイッチ部１０４は、対象画素のコントラスト値ＣＮと高コントラストの画素数に関する条件が満たされる場合に、第一動きベクトル算出部１０１から第二動きベクトル算出部１０５に第一動きベクトルＶ１を送り、第二動きベクトル算出部１０５は第一動きベクトルＶ１に基づいて第二動きベクトルＶ２を算出する。制御スイッチ部１０４は、この条件が満たされない場合に、第一動きベクトル算出部１０１から動き補償部１０６に第一動きベクトルＶ１を送る。従って、制御スイッチ部１０４は、対象画素のコントラスト値ＣＮと、対象画素の周りの近隣領域内の画素のコントラスト値ＣＮとに応じて、動き補償部１０６で使用する動きベクトルを切り替えることになる。

図８（ａ）のように、対象画素のコントラスト値ＣＮが規定範囲（１０〜４０）内の値（２０）である場合であっても、近隣領域内の高コントラスト（コントラスト８０以上）の画素数が第二閾値（例えば５）未満の０画素である場合には、動き補償部１０６は第一ベクトルＶ１を使用する。図８（ｂ）のように、対象画素のコントラスト値ＣＮが規定範囲（１０〜４０）内の値（２０）である場合であって、さらに、近隣領域内の高コントラスト（８０以上）の画素数が第二閾値（例えば５）以上の７画素である場合には、動き補償部１０６は第二ベクトルＶ２を使用する。なお、近隣領域の高コントラストの画素数が第二閾値以上である場合に、対象画素は、高コントラスト領域（エッジ部）の近傍にあると判定できる。

次に、第二実施形態の作用効果を説明する。計算量を抑えるため小さい第二動きベクトル測定領域で第二動きベクトルが算出されることが好ましいが、中コントラストな被写体以外のノイズのため中コントラストになっている画素が存在する。このため、小さい第二動きベクトル測定領域では、再探索して動きベクトルの補正量ΔＶを求める際にノイズが乗った画素同士がマッチングして、動き補償及び加重加算後の合成画像においてノイズを強調するような第二ベクトルＶ２が求められる場合がある。

しかし、第二実施形態によると、画素数算出部２０１は、対象画素を除いた対象画素の近隣領域内で、コントラストの値が第一閾値以上である高コントラストな画素の数を算出する。そして、条件判定部は、対象画素のコントラスト値が規定範囲内で、かつ、近隣領域内の高コントラストな画素の数が第二閾値以上の場合に、第二の動きベクトルを選択する。これにより、対象画素のコントラスト値が中コントラストで、対象画素の近隣に高コントラスト領域（エッジ部）がある場合にのみ、第二動きベクトルが選択される。

従って、高コントラスト領域の近傍にある中コントラストな対象画素に対してのみ、画素単位で求めた精密な第二ベクトルＶ２が動き補償に使用される。高コントラスト領域の近傍でのみ、中コントラストな画素に対して精密に動き補償すれば揺れの少ない動画像を得ることができるため、揺れの少ない動画像を生成しつつもノイズが大きく除去できる。

［第三実施形態］
図９は、第三実施形態に係る画像処理装置のブロック構成図を示す。第三実施形態において、画像処理装置は方向変動量算出部３０１と条件判定部３０２を備え、また、第一実施形態とは動きベクトル選択の条件判定が異なる。それ以外の構成は、第一実施形態と同様であり説明を省略する。

図１０（ａ）（ｂ）のように、第二動きベクトル算出部１０５は、対象画素を含む近隣領域（第三実施形態では３×３画素の領域）内の各画素の第二動きベクトルを算出する。第二動きベクトル算出部１０５で算出される第二動きベクトルＶ２は、方向変動量算出部３０１へ出力される。方向変動量算出部３０１は、対象画素の近隣領域内における第二動きベクトルＶ２の方向の変動の程度を示す方向変動量（又は方向の分散量）を算出する。

コントラスト算出部１０２で算出される対象画素のコントラスト値ＣＮは、条件判定部３０２へ出力される。方向変動量算出部３０１で算出される方向変動量は、条件判定部３０２へ出力される。条件判定部３０２は制御スイッチ部１０４を制御し、動き補償部１０６に入力される動きベクトルを切り替える。また、第一動きベクトルＶ１は、第一動きベクトル算出部１０１から、第二動きベクトル算出部１０５と制御スイッチ部１０４へ出力される。

図１０（ｃ）（ｄ）を参照して、方向変動量の算出の一例を説明する。図１０（ｃ）（ｄ）のように、対象画素の第二動きベクトルの方向は、８方向（縦横斜めの８方向）のいずれかに近似される。同様に近隣領域内の各画素の第二動きベクトルの方向は８方向に近似される。図１０（ｃ）（ｄ）のように、対象画素の第二動きベクトルの方向から１方向離れるごとに変動量は、“１”増えるように設定され、対象画素の第二動きベクトルの方向に対する変動量の合計値が、方向変動量として算出される。図１０（ａ）の例では、対象画素の第二動きベクトルの方向は右斜め下の方向であり、方向変動量は、１７（＝４＋２＋１＋３＋４＋０＋２＋１）となる。図１０（ｂ）の例では、対象画素の第二動きベクトルの方向は右斜め上の方向であり、方向変動量は、１（＝０＋０＋０＋１＋０＋０＋０＋０＋０）となる。

条件判定部３０２は、対象画素のコントラスト値ＣＮと第二ベクトルの方向変動量に関する条件を判定する。詳細には、条件判定部３０２は、対象画素のコントラスト値ＣＮが第一実施形態と同様に規定範囲内であり、且つ、対象画素の近隣領域内の第二ベクトルの方向変動量が第三閾値（例えば５）未満であるという条件が満たされるか判定する。条件判定部１０３は、動き補償部１０６の動き補償で用いられる動きベクトルとして、この条件が満たされる場合に第二動きベクトルＶ２を選択し、この条件が満たされない場合に第一動きベクトルＶ１を選択する。

制御スイッチ部１０４は、対象画素のコントラスト値ＣＮと第二ベクトルの方向変動量に関する条件が満たされる場合に、第一動きベクトル算出部１０１から動き補償部１０６へ第二動きベクトルＶ２を送る。制御スイッチ部１０４は、この条件が満たされない場合に、第一動きベクトル算出部１０１から動き補償部１０６へ第一動きベクトルＶ１を送る。従って、制御スイッチ部１０４は、対象画素のコントラスト値ＣＮと、対象画素の周りの近隣領域内の第二ベクトルの方向変動量とに応じて、動き補償部１０６で使用する動きベクトルを切り替えることになる。

図１０（ａ）のように、対象画素のコントラスト値ＣＮが規定範囲内の値である場合であっても、３×３画素の近隣領域内の第二ベクトルの方向変動量が第三閾値（例えば５）以上の「１７」である場合には、動き補償部１０６は第一ベクトルＶ１を使用する。図１０（ｂ）のように、対象画素のコントラスト値ＣＮが規定範囲内の値である場合であって、さらに、３×３画素の近隣領域内の第二ベクトルの方向変動量が第三閾値（例えば５）未満の「１」である場合には、動き補償部１０６は第二ベクトルＶ２を使用する。

次に、第三実施形態の作用効果を説明する。第三実施形態によると、方向変動量算出部３０１は、対象画素の近隣領域内で、第二動きベクトルの方向の変動の程度を表す方向変動量を算出する。そして、条件判定部３０２は、対象画素のコントラスト値が規定範囲内で、かつ、第二動きベクトルの方向変動量が第三閾値未満の場合に、第二動きベクトルを選択する。これにより、対象画素のコントラスト値が中コントラストで、対象画素の近隣の第二動きベクトルの方向変動量が小さい場合にのみ、第二動きベクトルが選択される。

中コントラストな被写体の画素では近隣領域の第二動きベクトルの方向変動量が小さく、ノイズのために中コントラストになっている画素では方向変動量が大きくなる。しかし、第三実施形態では、動き補償及び加重加算後の合成画像においてノイズを強調するような第二ベクトルＶ２が動き補償に使用されず、揺れの少ない動画像を生成しつつもノイズが大きく除去できる。

［その他の実施形態］
上述した各実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、コンピュータに相当し、ＣＰＵと、画像データを記憶するＲＡＭ等の主記憶装置と、上記の画像処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体とを備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、画像データの加工・演算処理を実行することにより、上述の画像処理部と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

図１１のフローチャートは、画像処理装置（コンピュータ）が実行する画像処理プログラムの一例を示し、第一実施形態の画像処理に対応する。ステップＳ１００において、画像処理装置は、メモリカード等の記録媒体に記録された画像データ（動画の各フレーム）を読み取る。図１１のステップＳ１０１―Ｓ１０８で行われる処理は、それぞれ、図１の各部１０１−１０８が行う処理に対応する。フローチャートにおいて、Ｓを付した番号はステップの番号を示す。

図１２のフローチャートは、画像処理装置（コンピュータ）が実行する画像処理プログラムの他の一例を示し、第二実施形態の画像処理に対応する。図１２のステップＳ１０１、Ｓ１０２、Ｓ２０１、Ｓ２０２、Ｓ１０４−Ｓ１０８で行われる処理は、それぞれ、図７の各部１０１、１０２、２０１、２０２、１０４−１０８が行う処理に対応する。

図１３のフローチャートは、画像処理装置（コンピュータ）が実行する画像処理プログラムのさらなる他の一例を示し、第三実施形態の画像処理に対応する。図１３のステップＳ１０１、Ｓ１０２、Ｓ１０５、Ｓ３０１、Ｓ３０２、Ｓ１０６−Ｓ１０８で行われる処理は、それぞれ、図９の各部１０１、１０２、１０５、３０１、３０２、１０６−Ｓ１０８が行う処理に対応する。なお、図１３のＳ１０４ａでは、第一動きベクトルＶ１を動き補償の動きベクトルに設定する処理が行われ、Ｓ１０４ｂでは、第二動きベクトルＶ２を動き補償の動きベクトルに設定する処理が行われる。

本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。

１００ 撮像部（画像入力部）
１０１ 第一動きベクトル算出部
１０２ コントラスト算出部
１０３、２０２、３０２ 条件判定部
１０４ 制御スイッチ部
１０５ 第二動きベクトル算出部
１０６ 動き補償部
１０７ 信頼度算出部
１０８ 加重加算部
１２０ 動きベクトル算出部
２００ 画像処理装置
２０１ 高コントラスト画素数算出部
３００ フレームメモリ
３０１ 方向変動量算出部

Claims (12)

1. 基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理装置であって、
   前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出部と、
   前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部であって、前記コントラスト値を使用して前記動きベクトルの算出方法を変更する動きベクトル算出部と、
   前記動きベクトル算出部により算出された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償部と、
   前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算部と、
   を備えることを特徴とする画像処理装置。
2. 前記動きベクトル算出部は、第一の算出方法として、複数の画素の動きから第一動きベクトルを算出する第一動きベクトル算出部と、第二の算出方法として、前記第一動きベクトルを補正することによって画素単位の動きを表す第二動きベクトルを算出する第二動きベクトル算出部と、を備え、
   前記画像処理装置は、前記コントラスト値に関する条件に基づいて、前記第一動きベクトルと前記第二ベクトルのいずれかを選択する条件判定部を備え、
   前記動き補償部は前記選択された動きベクトルに基づいて動き補償することを特徴とする請求項１に記載の画像処理装置。
3. 前記条件判定部は、
   前記コントラスト値が規定範囲内であるか否かを判定し、
   前記コントラスト値が前記規定範囲内の場合に前記第二動きベクトルを選択し、前記コントラスト値が規定範囲外の場合に前記第一動きベクトルを選択することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理装置は、前記対象画素を除いた前記対象画素の近隣領域内で、コントラストの値が第一閾値以上である高コントラストな画素の数を算出する画素数算出部を備え、
   前記条件判定部は、前記対象画素の前記コントラスト値が前記規定範囲内で、かつ、前記高コントラストな画素の数が第二閾値以上の場合に、前記第二の動きベクトルを選択することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像処理装置は、前記対象画素の近隣領域内で、前記第二動きベクトルの方向の変動の程度を表す方向変動量を算出する方向変動量算出部を備え、
   前記条件判定部は、前記対象画素の前記コントラスト値が前記規定範囲内で、かつ、前記第二動きベクトルの前記方向変動量が第三閾値未満の場合に、第二動きベクトルを選択することを特徴とする請求項３に記載の画像処理装置。
6. 前記第一動きベクトル算出部は、前記基準画像において離散的に配置された前記複数の画素に対して複数の動きベクトルを算出し、前記複数の動きベクトルの統計量から第一動きベクトルを算出することを特徴とする請求項２に記載の画像処理装置。
7. 前記第一動きベクトル算出部は、前記基準画像において離散的に配置された前記複数の画素に対して複数の動きベクトルを算出し、前記複数の動きベクトルの補間演算により前記第一動きベクトルを算出することを特徴とする請求項２に記載の画像処理装置。
8. 前記画像処理装置は、前記基準画像と前記動き補償された参照画像との間で、前記対象画素に関する動き補償の信頼度を算出する信頼度算出部を備え、
   前記加重加算部は、前記信頼度に応じて前記基準画像と前記参照画像の加算比率を算出し、前記加算比率に基づいて前記基準画像と前記参照画像を加重加算することを特徴とする請求項１に記載の画像処理装置。
9. 前記信頼度算出部は、前記基準画像の前記対象画素を含む基準領域と、前記動き補償された参照画像内で前記基準領域に対応する参照領域との間で相違度を算出し、前記相違度が低いほど前記信頼度を高く算出することを特徴とする請求項８に記載の画像処理装置。
10. 請求項１から請求項１０のいずれか一つに記載の画像処理装置を備えることを特徴とする撮像装置。
11. 基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理方法であって、
    前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出ステップと、
    前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出ステップであって、前記コントラスト値を使用して前記動きベクトルの算出方法を変更する動きベクトル算出ステップと、
    前記動きベクトル算出ステップにより算出された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償ステップと、
    前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算ステップと、
    を含むことを特徴とする画像処理方法。
12. 基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理プログラムであって、
    前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出手順と、
    前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順であって、前記コントラスト値を使用して前記動きベクトルの算出方法を変更する動きベクトル算出手順と、
    前記動きベクトル算出手順により算出された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償手順と、
    前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算手順と、をコンピュータに実行させることを特徴とする画像処理プログラム。