JP2015177529A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】ノイズ低減後の画像中の主に平坦な領域においてノイズのパターンが強調されてしまうことを防止する。【解決手段】複数の画像データから、リファレンス画像データ生成部２０２において、リファレンス画像データを生成する。生成されたリファレンス画像データと、その複数の画像データとの類似度に基づいて、合成値導出部２０７はその複数の画像データにおける各画素の画素値をそれぞれ重み付け加算した合成値として導出する。そして、導出された合成値により構成される画像データを出力する。【選択図】図２

Description

本発明は、複数の画像データを合成することで、画像データに含まれるノイズを低減する画像処理装置、画像処理方法及びプログラムに関する。

デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。

デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮影感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。

画像処理の分野においては、空間方向或いは時間方向に画素値を加重平均することにより画像データに含まれるノイズを低減する手法が知られている。空間方向のノイズ低減処理は、ノイズ低減対象の画像データにおける処理対象の画素近傍の画素値を加重平均することでノイズを低減する。また、時間方向のノイズ低減処理は、連続撮影した画像間や動画撮影したフレーム間で、処理対象の画素と同じ位置の画素値を加重平均することでノイズを低減する。さらには、空間方向及び時間方向のノイズ低減処理を組み合わせた手法も提案されている。画素値を加重平均する際の各画素の重みを決定する手法は多様である。例えばＮｏｎＬｏｃａｌＭｅａｎｓ法として知られるブロックマッチングを用いて決定する手法（特許文献１）が提案されている。

特開２０１３−１２６５３０号公報

ここで、特許文献１の方法では、ノイズを含む画像を基準としたブロックマッチングを行うため、ノイズ低減後の画像中の主に平坦な領域においてノイズのパターンが強調され、それがノイズムラとして目立つという課題がある。

本発明にかかる画像処理装置は、複数の画像データを入力する入力手段と、前記入力手段で入力された複数の画像データの少なくとも一部の画像データからリファレンス画像データを生成する生成手段と、前記リファレンス画像データと、前記入力手段で入力された複数の画像データとの類似度に基づいて、前記複数の画像データにおける各画素の画素値をそれぞれ重み付け加算した合成値を導出する導出手段と、前記導出手段で導出された合成値により構成される画像データを出力する出力手段とを有することを特徴とする。

本発明により、複数の入力画像データを利用して、ノイズのパターンの発生を抑えた合成画像データを生成することが可能な効果を奏する。

実施例に係る画像処理装置のハードウェア構成を示すブロック図である。 実施例１の画像処理装置の論理構成を示すブロック図である。 実施例に係る画像処理の流れを示すフローチャート図である。 実施例１の合成処理の流れを示すフローチャート図である。 実施例１の画像処理装置の論理構成を示すブロック図である。 実施例２の合成処理の流れを示すフローチャート図である。 ノイズ低減方法を説明する模式図である。 参照画素の重みを説明する模式図である。

以下、添付の図面を参照して、本発明を好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

本実施例における画像処理装置の構成について、図１を参照して説明する。図１において、画像処理装置はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、メインバス１０９を備える。汎用Ｉ／Ｆ１０４はカメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、メモリーカードなどの外部メモリ１０７をメインバス１０９に接続する。

以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。

まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されている画像データに対してＣＰＵ１０１からの指令に基づき各種演算が行われる。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３、外部メモリ１０７に格納したりする。

上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズ低減画像データを生成し、出力する処理の詳細について説明する。

（ＮｏｎＬｏｃａｌＭｅａｎｓ）
まず、本実施例で説明するノイズ低減処理について説明しておく。本実施例では、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓと呼ばれる手法を用いる。この手法は、ノイズ低減対象となる着目画素を含む、着目画素の周辺に存在する複数の参照画素の画素値に適応的な重みを掛け、その結果を全て加算した結果で着目画素の画素値を置き換える事でノイズを低減する手法である。参照画素の画素数をＮ_Ｓ、参照画素の画素値をＩ_ｊ（ｊ＝１〜Ｎ_Ｓ）、参照画素の重みをｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）とすると、ノイズ低減処理後の着目画素の画素値Ｉ_newは次式になる。

次に、参照画素の重みの導出方法について、図７及び図８を参照して説明する。図７（ａ）は画像データ７０１の例を示しており、左上の画素を原点として各画素の画素値をＩ（ｘ、ｙ）と表すものとする。ここで、ノイズ低減処理対象である着目画素７０２の画素値はＩ（４、４）である。着目領域７０３は、着目画素７０２を中心とした３×３画素の矩形領域である。参照画素７０４は、着目画素７０２を含む５×５画素（Ｎ_Ｓ＝２５）の矩形領域内の画素である。参照領域７０５は、参照画素Ｉ（２，２）の参照領域であり、Ｉ（２，２）を中心とする、着目領域と同じサイズである３×３画素の矩形領域である。尚、参照領域は参照画素毎に存在するが、ここでは参照画素Ｉ（２，２）の参照領域だけ示している。

参照画素Ｉ（２、２）の重みを求めるために、まず、着目領域７０３と参照領域７０５とを比較して類似度を導出する。尚、類似度は所望の方法で求めてよい。例えば、図７（ｂ）のように、着目領域７０２の画素をｂ_ｓ（ｐ，ｑ）、参照領域の画素をｂ_ｊ（ｐ，ｑ）（ｊ＝１〜Ｎ_Ｓ）とする。そして、着目領域７０３と参照領域７０５との空間的に対応する画素の差を類似度とすると、類似度Ｃ_jは次式になる。

類似度Ｃ_ｊは値が小さいほど着目領域と参照領域の類似度が高くなる。そこで、類似度に応じて、重みを決定する。重みは図８に示す関数のようにＣ_ｊが小さいほど重みが大きく、Ｃ_ｊが大きいほど重みが小さくなるように決定すればよく、例えば次式で定まる。

ここで、ｈは重みの大きさを制御する変数であり、ｈを大きくするとノイズ低減効果が高くなるが、エッジがぼける。

以下同様に、着目領域７０３と各参照画素の参照領域とを順次比較していくことで、各参照画素の重みが得られる。そして、前述のように、得られた各参照画素の重みと各参照画素の画素値とを用いて着目画素の画素値を決定する。

尚、着目領域及び参照領域の設定方法はこれに限られるものではなく、着目画素、参照画素の類似度が導出可能であれば任意に設定して構わない。また、ここでは、空間方向のノイズ低減処理について説明したが、参照画素を時間方向に異なる画像データに設定することで時間方向及び空間方向のノイズ低減処理として利用可能である。

（画像処理装置の論理構成）
以下では、本実施例における画像処理について図２と図３を参照して説明する。図２は本実施例の画像処理装置の論理構成を示す模式図であり、入力部２０１、リファレンス画像データ生成部２０２、合成部２０３、出力部２０４を備える。さらに、合成部２０３は、基準画像データ選択部２０５、類似度導出部２０６、合成値導出部２０７を備える。

入力部２０１は、ＣＰＵ１０１からの指示に基づいて複数の入力画像データを入力する。入力する複数の画像データは、スチルカメラで連続撮影した画像データや、ビデオカメラで撮影した連続フレーム画像データである。入力する複数の画像データは撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影して得られる画像データをＨＤＤ１０３などの記憶装置に一旦記憶した後で入力してもかまわない。また、入力した複数の画像データはＲＡＭ１０２やＨＤＤ１０３に記憶される。

リファレンス画像データ生成部２０２は、ＣＰＵ１０１からの指示に基づいて、入力した複数の画像データからリファレンス画像データを生成する。複数の画像データはＲＡＭ１０２やＨＤＤ１０３から取得すればよい。また、生成したリファレンス画像データはＲＡＭ１０２やＨＤＤ１０３に記憶される。尚、リファレンス画像の生成方法の詳細は後述する。

合成部２０３は、ＣＰＵ１０１からの指示に基づいて複数の入力画像データ及びリファレンス画像データを取得して、ノイズ低減処理を適用した合成画像データを生成する。合成部２０３においてはまず、基準画像データ選択部２０５が、入力した複数の画像データからノイズ低減対象となる基準画像データを１つ選択する。次に、類似度導出部２０６が、リファレンス画像データと入力した複数の画像データとから類似度を導出する。このように、本実施例においては、類似度の導出処理においてノイズ低減対象となる基準画像データと入力した複数の画像データとから類似度を算出するのではなく、リファレンス画像データと入力した複数の画像データとから類似度を導出する。次に、合成値導出部２０７が、類似度導出部２０６で導出した類似度に基づいて合成値を導出することで合成画像データを生成する。この合成画像データは、基準画像データ選択部２０５で選択された基準画像データのノイズ低減画像データとなる。尚、合成画像データの生成方法の詳細は後述する。合成部２０３が取得する複数の入力画像データ及びリファレンス画像データはＲＡＭ１０２やＨＤＤ１０３から取得すればよい。また、生成した合成画像データはＲＡＭ１０２やＨＤＤ１０３に記憶される。

出力部２０４は、ＣＰＵ１０１からの指示に基づいて合成画像データをモニタ１０８に出力する。尚、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７に出力してもよいし、プリンタなどを接続して出力しても構わない。

（メイン処理フロー）
以下では、図２で説明した画像処理装置の論理構成において、複数の画像データを入力してノイズ低減した合成画像を出力する画像処理の詳細について、図３のフローチャートを参照して説明する。

ステップＳ３０１において入力部２０１は、複数の画像データを入力する。ここで入力する画像データは２以上であればよい。以下では、時間的に連続して同一被写体を撮影した３つの画像データを入力するとして説明する。

ステップＳ３０２においてリファレンス画像データ生成部２０２は、リファレンス画像データを生成する。リファレンス画像データはステップＳ３０１で入力した複数の画像データから生成される画像データであり、入力画像データの持つノイズのムラを低減することができればよい。例えば、平均画像を表す画像データや、中間値画像を表す画像データなどが利用可能である。平均画像の場合、画像中の画素位置をx,y、i番目の入力画像データにおける画素値をI_iで示すとすると、リファレンス画像データの画素値I_ref(ｘ、ｙ)は次式になる。

なお、ここでは、入力画像データの全てを用いてリファレンス画像データを生成する例を説明したが、必ずしも入力画像データの全てを用いなくてもよい。入力画像データの持つノイズのムラを低減することができればよいので、複数の入力画像データ（例えば３個）のうち、一部の入力画像データ（例えば２個）を用いてリファレンス画像データを生成してもよい。

ステップＳ３０３において合成部２０３は、ステップＳ３０２で生成したリファレンス画像データに基づき、ステップＳ３０１で入力した複数の画像データを合成し、合成画像データを生成する。尚、合成処理の詳細は後述する。

ステップＳ３０４において出力部２０４は、ステップＳ３０３で生成した合成画像データを出力する。

（合成処理）
以下では、図３で説明したステップＳ３０３における合成処理の詳細について図４のフローチャート図を参照して説明する。

ステップＳ４０１において基準画像データ選択部２０５は、ステップＳ３０１で入力した複数の画像データの中から基準画像データを決定する。以下では、１番目の画像データ（I₁）を基準画像データとして説明する。

ステップＳ４０２において合成部２０３は、ステップＳ４０１で決定した基準画像データにおいてノイズ低減処理する画素I₁(ｘ、ｙ)を決定する。以下、このノイズ低減処理する対象の画素のことを処理画素と称する。

ステップＳ４０３において合成部２０３は、ステップＳ４０２で決定した処理画素に画素位置が対応する、リファレンス画像データにおける画素（第１の画素）を基準として、リファレンス画像に着目領域を決定する。つまり、基準画像ではなく、リファレンス画像に着目領域を設定する。前述のようにリファレンス画像はノイズのムラが入力画像よりも低減された画像である。後述するように、このリファレンス画像と各入力画像との類似度を求めることで、基準画像のノイズパターンが強調されてしまうことを防止することができる。ここで、処理画素I₁(ｘ、ｙ)に対応するリファレンス画像の画素はI_ref(ｘ、ｙ)である。以下では、着目領域は図７で示したようにI_ref(ｘ、ｙ)を中心とする３×３画素の矩形領域とする。勿論、着目領域の決定方法はこれに限られるものではなく、I_ref(ｘ、ｙ)を含む領域として決定すればよい。

ステップＳ４０４において合成部２０３は、ステップＳ３０１で入力した複数の画像データの中から処理対象の画像データ（I_i）を選択する。処理対象の画像データとは、リファレンス画像データとの類似度の導出処理が行なわれる画像データのことである。ここで選択される画像データはステップＳ４０１で決定した基準画像データを含む３つの画像データのうちのいずれか１つの画像データである。すなわち、基準画像データも処理対象の画像データとして選択される。

ステップＳ４０５において合成部２０３は、ステップＳ４０２で決定した処理画素に対応する参照画素（第２の画素）を、ステップＳ４０４で選択した処理対象画像データにおける画素の中から決定する。処理画素I₁(ｘ、ｙ)に対応するi番目の入力画像データにおける参照画素はI_i(ｘ、ｙ)である。尚、参照画素はI_i(ｘ、ｙ)を含む複数の画素を決定しても良く、図７（a）で示したように、I_i(ｘ、ｙ)を中心とする５×５画素（Ｎ_Ｓ＝２５）の矩形領域内の画素を参照画素として決定することも可能である。参照画素を複数決定することで、入力画像の数よりも多くの画素をノイズ低減処理に利用可能となるため、平均画像よりも高いノイズ低減効果を得ることができる。尚、各参照画素に対応する参照領域はステップＳ４０３で決定した着目領域に応じて決定される。

ステップＳ４０６において類似度導出部２０６は、ステップＳ４０５で決定した各参照画素とステップＳ４０２で決定された処理画素との類似度を導出する。例えば、処理画素に対応するリファレンス画像データにおける着目領域と処理対象の画像データにおける各参照画素に対応する各参照領域との類似度を導出する。そして、導出した類似度から処理対象の画像データにおける各参照画素の重みを求めて、ノイズ低減処理を実行する。具体的には式（１）〜（３）を適用すればよい。このような処理を画像データごとに繰り返し行なうことにより、リファレンス画像データと各入力画像データとの類似度に基づくノイズ低減結果がそれぞれ得られる。このノイズ低減結果は、入力画像データと同サイズの画素の画素値で表される。

ステップＳ４０７において合成部２０３は、ステップＳ３０１で入力した全画像データで処理が終了したかどうか判定する。終了していればステップＳ４０８に移行し、終了していなければステップＳ４０４に移行して処理を継続する。

ステップＳ４０８において合成値導出部２０７は、ステップＳ４０４からステップＳ４０６で処理した各入力画像データについて行なわれたノイズ低減処理結果を画素毎に合成して合成値を導出する。この合成値は、ノイズ低減処理が行なわれた画像データ（基準画像データ）の各画素の画素値となる。各入力画像データについて行なわれたノイズ低減処理結果をI_i’(ｘ、ｙ)とすると、合成値Ｉ_１new(ｘ、ｙ)は次式になる。

ここで、各ノイズ低減処理結果にかかる係数ｋ_iは、一定でも良いし、撮像タイミングに応じて変更してもよく、基準画像からの時間差が大きい画像ほど小さくなるようにしてもよい。例えば、基準画像I₁’の係数はk₁=1.0、次フレームのI2’の係数はk₂=0.5、次次フレームのI₃’の係数はk₃=0.25のようになる。尚、本実施例では、ステップＳ４０４からステップＳ４０６において、画像データ毎にノイズ低減処理結果を導出して、ステップＳ４０８で結果を合成する例を説明した。しかしながら、必ずしも画像データ毎に処理する必要はなく、式（３）と式（５）を組み合わせて直接合成値を導出しても構わない。

ステップＳ４０９において合成部２０３は、全画素の合成値の導出が終了したかどうか判定する。終了していれば合成処理を終了し、終了していなければステップＳ４０２に移行して処理を継続する。

以上の処理により、本実施例では、入力した複数の画像データからリファレンス画像データを生成する。そしてこの生成したリファレンス画像データを参照して導出した類似度に基づいて複数の画像データのノイズ低減処理結果を合成する。かかる処理により、ノイズパターンの残留を抑えたノイズ低減画像データを生成することが可能になる。

なお、本実施例では、基準画像データの各画素値を合成値に置き換えることでノイズ低減処理がされた画像データを生成する例を説明した。しかしながら、基準画像データの各画素値を置き換えるのではなく、新たに基準画像データと同サイズの画像データを生成する形態であってもよい。

実施例１では、入力した複数の画像データから生成したリファレンス画像データを参照して、リファレンス画像データと各入力画像データとの間で類似度を導出する方法について説明した。しかしながら、入力画像データに局所的な移動物体が存在する場合、リファレンス画像データの移動物体の像が多重になるため、合成画像にも多重像が発生する場合がある。そこで、本実施例では、入力した複数の画像データに局所的な移動物体が存在する場合でも多重像を生じさせることなく合成画像を生成することが可能な方法について説明する。尚、実施例１と同様の処理は説明を省略し、差異のみ説明する。

図５は本実施例の画像処理装置の論理構成を示す模式図であり、入力部５０１、リファレンス画像データ生成部５０２、合成部５０３、出力部５０４を備える。さらに、合成部５０３は、基準画像データ選択部５０５、類似度導出部５０６、合成値導出部５０７、位置ずれ判定部５０８を備える。以下では、実施例１との差異がある合成部５０３のみ説明する。

合成部５０３は、ＣＰＵ１０１からの指示に基づいて複数の入力画像データ及びリファレンス画像データを取得して、ノイズ低減処理を適用した合成画像データを生成する。合成部５０３において、基準画像データ選択部５０５は、入力した複数の画像データからノイズ低減対象となる基準画像データを１つ選択する。

位置ずれ判定部５０８は、入力した複数の画像データにおいて局所的な動体が存在する画素を判定する。類似度導出部５０６は、位置ずれ判定部５０８の画素毎の判定結果に応じて、リファレンス画像データと入力画像データとから類似度を導出するか、基準画像データと入力画像データとから類似度を導出するかを切り替えながら類似度を導出する。合成値導出部２０７は、導出した類似度に基づいて合成値を導出し、合成画像データを生成する。合成部５０３が取得する複数の入力画像データ及びリファレンス画像データはＲＡＭ１０２やＨＤＤ１０３から取得すればよい。また、生成した合成画像データはＲＡＭ１０２やＨＤＤ１０３に記憶される。

（実施例２の合成処理）
図５で説明した画像処理装置の論理構成において、複数の画像データを入力してノイズ低減した合成画像を出力する画像処理の詳細は実施例１とほぼ同様である。以下では、実施例１と差異があるステップＳ３０３の合成処理について、図６のフローチャート図を参照して説明する。

ステップＳ６０１において基準画像データ選択部５０５は、ステップＳ３０１で入力した複数の画像データの中から基準画像データを決定する。以下では、１番目の画像データ（I₁）を基準画像データとして決定したとして説明する。

ステップＳ６０２において合成部５０３は、ステップＳ６０１で決定した基準画像データから処理画素（第３の画素）を決定する。処理画素はノイズ低減処理の対象画素であり、I₁(ｘ、ｙ)とする。

ステップＳ６０３において合成部５０３は、ステップＳ３０１で入力した複数の画像データの中から処理対象の画像データ（I_i）を選択する。ここで選択される画像データはステップＳ６０１で決定した基準画像データを含む３つの画像データのうちのいずれか１つの画像データである。

ステップＳ６０４において位置ずれ判定部５０８は、ステップＳ６０２で決定した処理画素の位置ずれの有無を判定する。具体的には、基準画像データにおける処理画素I₁(ｘ、ｙ)及び処理画素に画素位置が対応する処理対象の画像データにおける画素I_i(ｘ、ｙ)が同じ被写体を示している場合は位置ずれなしと判定する。異なる被写体を示している場合は位置ずれありと判定する。即ち、基準画像データにおける処理画素或いは処理対象の画像データにおける処理画素に対応する画素のいずれかに局所的な移動物体が含まれる場合は位置ずれありと判定される。ここで、処理画素及び処理画素に対応する画素が同じ被写体を示している場合、ノイズを除けば同じ画素値のはずである。そこで、次式のように、画素値の差分絶対値が所望の閾値T以下であるか否かで位置ずれがあるか否かを判定可能である。

ここで、差分絶対値がT以下であれば位置ずれなしと判定され、Tより大きければ位置ずれありと判定される。同様に、基準画像データにおける処理画素を含む近傍の画素値の分布と、処理対象の画像データにおける処理画素に対応する画素を含む近傍の画素値の分布は同じ被写体を示している場合、類似するはずである。従って、基準画像データにおける処理画素近傍の画素群の画素値と処理対象の画像データにおける処理画素に対応する画素近傍の画素群の画素値との平均値や分散などの差分絶対値が所望の閾値以下であるかを求めても判定可能である。つまり、処理画素I₁(ｘ、ｙ)及び処理画素に対応する画素Ii(ｘ、ｙ)の類似度、或いは、I₁(ｘ、ｙ)を含む複数の画素群と、Ii(ｘ、ｙ)を含む複数の画素群との間の類似度に基づいて位置ずれを判定可能である。勿論、判定方法はこれに限られるものでなく、所望の方法を用いて構わない。

ステップＳ６０５において合成部５０３は、ステップＳ６０４の判定処理において、位置ずれなしと判定された場合はステップＳ６０６に移行し、位置ずれありと判定された場合はステップＳ６０７に移行する。

ステップＳ６０６の処理は、ステップＳ４０３と同様であるため説明は省略する。

ステップＳ６０７において合成部５０３は、ステップＳ６０１で決定した基準画像データに着目領域を決定する。つまり、リファレンス画像データを用いずに、入力された画像データ間での類似度を求める。着目領域は図７で示したように着目画素I₁(ｘ、ｙ)を中心とする３×３画素の矩形領域として決定すればよい。勿論、着目領域の決定方法はこれに限られるものではなく、I₁(ｘ、ｙ)を含む領域として決定すれば任意に設定して構わない。

ステップＳ６０８からステップＳ６１２は、ステップＳ４０５からステップＳ４０９とそれぞれ同様の処理であるため説明は省略する。

以上の処理により、入力した複数の画像データの位置ずれに応じて、着目領域を設定する画像データを切り替えることで、入力画像データに局所的な移動物体が含まれる場合でも、ノイズムラを抑えた合成画像を生成することが可能になる。

＜その他の実施例＞
手持ちで撮影した静止画や動画を元にした入力画像データの場合などは、画像全体が位置ずれを含むためにリファレンス画像データがぼけるため、合成画像もぼける場合がある。そこで、画像全体の位置ずれを補正した位置補正後の複数の画像データを入力画像データとしてもよい。また、この際、局所的な移動物体による画素毎の位置ずれ判定結果もあらかじめ求めることが可能であるため、位置ずれ判定結果も入力データとして入力することも可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。

Claims (17)

1. 複数の画像データを入力する入力手段と、
   前記入力手段で入力された複数の画像データの少なくとも一部の画像データからリファレンス画像データを生成する生成手段と、
   前記リファレンス画像データと、前記入力手段で入力された複数の画像データとの類似度に基づいて、前記複数の画像データにおける各画素の画素値をそれぞれ重み付け加算した合成値を導出する導出手段と、
   前記導出手段で導出された合成値により構成される画像データを出力する出力手段と
   を有することを特徴とする画像処理装置。
2. 前記生成手段は、前記少なくとも一部の画像データの各画素の平均値で構成されるリファレンス画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記少なくとも一部の画像データの各画素の中間値で構成されるリファレンス画像データを生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記導出手段は、ノイズ低減対象の処理画素に対応する参照画素を前記複数の画像データにそれぞれ設定し、前記処理画素に対応する着目領域を前記リファレンス画像データに設定し、該着目領域と前記参照画素に対応する参照領域との類似度に基づいて前記合成値を導出することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記導出手段は、前記着目領域と前記参照画素に対応する参照領域との類似度に基づいて該参照画素の重みを決定し、決定した重みと該参照画素の画素値とに基づいて前記処理画素に対応する合成値を導出することを特徴とする請求項４に記載の画像処理装置。
6. 前記導出手段は、前記着目領域を構成する各画素と前記参照領域を構成する各画素との差分に基づいて前記類似度を決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記導出手段は、前記差分が小さい場合に、前記差分が高い場合よりも大きな重みを決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記導出手段は、前記複数の画像データの撮像タイミングに応じた係数を用いて、前記導出された合成値を補正することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記入力手段は、同じ被写体を連続して撮像して得られた複数の画像データを入力することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記入力手段は、連続フレームの画像データを前記複数の画像データとして入力することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
11. 前記入力手段で入力された複数の画像データにおける位置ずれを画素毎に判定する判定手段をさらに有し、
    前記導出手段は、位置ずれがないと判定された画素については、
    前記リファレンス画像データと、前記入力手段で入力された画像データとの類似度に基づいて前記合成値を導出し、
    位置ずれがないと判定された画素については、
    前記入力手段で入力された画像データ間の類似度に基づいて前記複数の画像データの各画素の合成値を導出することを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記判定手段は、前記複数の画像データにおける画素ごとの類似度に基づいて位置ずれを判定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記判定手段は、前記複数の画像データにおける画素群ごとの類似度に基づいて位置ずれを判定する請求項１１または１２に記載の画像処理装置。
14. 複数の画像データ毎の位置を補正する補正手段をさらに備え、
    前記入力手段は位置補正後の複数の画像データを入力することを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
15. 複数の画像データ毎の位置を補正する補正手段をさらに備え、
    前記入力手段は位置補正後の複数の画像データを入力し、
    前記判定手段は、前記補正手段で補正した位置補正の結果に基づいて位置補正後の画像データにおける位置ずれを判定することを特徴とする請求項１１から１３のいずれか一項に記載の画像処理装置。
16. 複数の画像データを入力する入力ステップと、
    前記入力ステップで入力された複数の画像データの少なくとも一部の画像データからリファレンス画像データを生成する生成ステップと、
    前記リファレンス画像データと、前記入力ステップで入力された複数の画像データとの類似度に基づいて、前記複数の画像データにおける各画素の画素値をそれぞれ重み付け加算した合成値を導出する導出ステップと、
    前記導出ステップで導出された合成値により構成される画像データを出力する出力ステップと
    を有することを特徴とする画像処理方法。
17. コンピュータを請求項１乃至請求項１５のいずれか１項に記載の画像処理装置として動作させるためのプログラム。

Images