JP2017034608A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 複数枚の画像データ間で画素の加重平均によりノイズ低減処理において、被写体によらない一様なノイズ低減効果を実現する。
【解決手段】 複数の画像データを用いて第１の画像データに対してノイズを低減処理する画像処理装置であって、前記第１の画像データにおける着目画素と同じ被写体を表す対応画素とに基づいて、複数の参照画素を設定する設定手段と、前記着目画素と、前記設定手段により設定された複数の参照画素それぞれとに関して、類似度を導出する類似度導出手段と、前記類似度に基づいて、前記参照画素それぞれの重みを導出する重み導出手段と、前記参照画素の画素値と前記重みとに基づいて、前記複数の参照画素を加重平均することにより前記着目画素の補正値を導出する補正手段と、を有することを特徴とする。
【選択図】 図２

Description

本発明は、画像データに含まれるノイズを低減する技術に関する。

デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及している。デジタル撮像装置により得られるデジタルな画像データに対して、複数の画素の画素値を加重平均することにより画像データにおけるノイズを低減するノイズ低減処理が知られている。さらに、連続して撮影した画像データや動画撮影したフレームを用いて、各画像データにおける対応する画素同士を加重平均することでノイズを低減する方法がある。特許文献１には、動画のノイズ低減処理について開示している。静止被写体領域においては高いブレンド比率とし、動被写体領域においては低いブレンド比率とした複数の画像データにおける各画素の混合処理をする。

特開２０１２−１８６５９３号公報

特許文献１に開示された方法によれば、静止被写体領域においては複数の画素の加重平均によりノイズ低減効果を得られるのに対し、動被写体領域においては低いブレンド比率を用いるためあまりノイズ低減効果を得らない。このように静止被写体領域と動被写体領域とでノイズ低減効果に差があると、ノイズムラとして目立ちやすい場合がある。
そこで本発明は、複数枚の画像データ間で画素の加重平均によりノイズ低減処理において、被写体によらない一様なノイズ低減効果を実現することを目的とする。

上記課題を解決するため本発明は、第１の画像データに対して、前記第１の画像データと少なくとも一部に共通の被写体領域が含まれている少なくとも１つの第２の画像データを用いてノイズを低減する処理を施す画像処理装置であって、前記第１の画像データにおける着目画素について、前記着目画素と同じ画素位置の前記第２の画像データにおける対応画素が前記着目画素と同じ被写体を表す画素であるかどうかを示す対応情報を導出する対応導出手段と、前記第１の画像データにおける着目画素について、前記対応情報に応じて複数の参照画素として設定する設定手段と、前記着目画素と、前記設定手段により設定された複数の参照画素それぞれとに関して、前記着目画素を含む該着目画素の近傍の複数の画素からなる着目領域と、前記参照画素を含む該参照画素の近傍の複数の画素からなる参照領域とに基づいて、前記着目画素と前記複数の参照画素それぞれとの類似度を導出する類似度導出手段と、前記類似度に基づいて、前記参照画素それぞれの重みを導出する重み導出手段と、前記参照画素の画素値と前記重みとに基づいて、前記複数の参照画素を加重平均することにより前記着目画素の補正値を導出する補正手段と、を有し、前記設定手段は、前記対応情報を参照し、前記着目画素と同じ被写体を表す対応画素がある場合、前記着目画素と同じ被写体を表す対応画素がある前記第２の画像データと前記第１の画像データとから複数の参照画素を選択し、前記着目画素と同じ被写体を表す対応画素がない場合、前記第１の画像データのみから複数の参照画素を設定することを特徴とする。

本発明により、複数枚の画像データ間で画素の加重平均によりノイズ低減処理において、被写体によらない一様なノイズ低減効果を実現できる。

画像処理装置のハードウェア構成を示すブロック図である。 画像処理装置の論理構成を示すブロック図である。 画像処理の流れを示すフローチャート図である。 補正処理の流れを示すフローチャート図である。 対応情報導出処理を説明する図である。 画素群の決定方法を説明する模式図である。 画像処理の流れを示すフローチャート図である。 補正処理の流れを示すフローチャート図である。 対応情報導出処理を説明する模式図である。 画素群の決定方法を説明する模式図である。 画像処理装置の論理構成を示すブロック図である。 画像処理の流れを示すフローチャート図である。 補正処理の流れを示すフローチャート図である。 ノイズ低減方法を説明する模式図である。 参照画素の重みを算出する関数を説明する模式図である。 補正部２０３の詳細な構成を示すブロック図である。 補正部２０３の詳細な構成を示すブロック図である。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
第１実施形態では、複数枚の画像データを用いてＮｏｎＬｏｃａｌＭｅａｎｓ（ＮＬＭ）と呼ばれるノイズ低減処理を実行することにより、注目する画像データのノイズを低減する方法を例に説明する。図１は、第１実施形態に適用可能な画像処理装置のハードウェア構成を示す図である。

画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を有する。汎用Ｉ／Ｆ１０４は、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリーカードなどの外部メモリ１０７をメインバス１０９に接続する。画像処理装置は例えば、パーソナルコンピュータ（ＰＣ）などの端末機器により実現される。第１実施形態では、撮像装置とは異なる装置を例にするが、例えば、画像処理装置が専用の画像処理回路として、撮像装置に内蔵される構成として実現することもできる。

以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影されたＲＡＷ画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算される。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３または外部メモリ１０７に格納したりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されているＲＡＷ画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信されたＲＡＷ画像データがＲＡＭ１０２に転送されてもよい。

上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに複数の画像データを入力してノイズを低減した画像データを生成し、出力する。

（ＮｏｎＬｏｃａｌＭｅａｎｓについて）
まず、第１実施形態で用いるＮｏｎＬｏｃａｌＭｅａｎｓ（以下、ＮＬＭ）について説明する。ＮＬＭは、ノイズ低減対象となる着目画素を含む着目領域と参照画素を含む参照領域とを比較し、着目領域と参照領域との類似度を算出する。複数の参照画素に類似度に応じた重みを導出し、各参照画素の画素値と対応する重みとをから重み付き平均した結果により着目画素の画素値を置き換える。参照画素の画素数をＮ_Ｓ、参照画素の画素値をＩ_ｊ（ｊ＝１〜Ｎ_Ｓ）、参照画素の重みをｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）とすると、ノイズ低減処理後の着目画素の画素値Ｉ_ｎｅｗは次式になる。

次に、参照画素の重みの算出方法について、図１４及び図１５を参照して説明する。図１４（ａ）に画像データの一例を示す。画像データ１４０１は、左上の画素を原点（０、０）として各画素の画素値をＩ（ｘ、ｙ）と表すものとする。ここで、画素１４０２を着目画素とする。着目画素の画素値はＩ（４、４）と表される。着目画素１４０２に対して領域１４０３は着目領域である。着目領域は、ノイズ低減対象となる着目画素１４０２を中心とした３×３画素の矩形領域とする。画素１４０４を参照画素群とする。着目画素１４０２を含む５×５画素（Ｎ_Ｓ＝２５）の矩形領域に含まれる画素を順に参照画素とする。領域１４０５は、画素Ｉ（２、２）を参照画素としたときの参照領域であり、参照画素Ｉ（２、２）を中心とし、着目領域と同サイズの３×３画素の矩形領域である。尚、参照領域は参照画素毎に存在するが、ここでは参照画素Ｉ（２、２）の参照領域だけ示している。

参照画素Ｉ（２、２）の重みを求めるために、まず、着目領域１４０３と当該参照画素Ｉ（２、２）の参照領域１４０５とを比較して領域間の類似度を算出する。類似度は、着目領域と参照領域とにおいて、対応する画素の画素値の差分に基づいて算出する。例えば、図１４（ｂ）のように、着目領域１４０３の画素をｂ_ｓ（ｐ、ｑ）、参照領域１４０５の画素をｂ_ｊ（ｐ、ｑ）（ｊ＝１〜Ｎ_Ｓ）とする。そして、着目領域１４０３と参照領域１４０５との空間的に対応する画素の画素値の差を類似度とすると、類似度Ｃ_ｊは次式になる。

類似度Ｃ_ｊは値が小さいほど着目領域と参照領域の類似度が高くなる。そこで、類似度に応じて、重みを決定する。図１５に、類似度Ｃ_ｊに応じた重みの関数を示す。重みは、図１５に示す関数のように、類似度Ｃ_ｊが小さい（類似している）ほど重みが大きく、類似度Ｃ_ｊが大きい（類似していない）ほど重みが小さくなるように決定すればよい。例えば次式により重みが算出される。

ここで、ｈは重みの大きさを制御する変数であり、ｈを大きくするとノイズ低減効果が高くなるが、エッジがぼける。同様に、着目領域１４０３と各参照画素の参照領域とを順次比較していくことで、各参照画素の重みが得られる。

尚、本実施形態におけるノイズ低減処理は、参照画素の重みを着目領域と参照領域の類似度に基づいて決まる方法であればよく、類似度や重みの算出方法などはここで説明した方法に限られるものではない。例えば、式（２）に示す差分二乗和ではなく、差分絶対和に基づいて類似度を算出してもよい。

ここでは説明を簡単にするため、参照画素を着目画素の近傍の画素に設定する場合を例に説明した。本実施形態では、複数枚の画像データに対してＮＬＭを用いたノイズ低減処理する。このとき、着目画素を含む画像データを基準画像データとし、参照画素は、着目画素とは異なる画像データにおける画素に設定する。着目画素を含む基準画像データとは異なる参照画素を設定する画像データを、参照画像データとして説明する。

（画像処理装置の論理構成）
第１実施形態における画像処理装置について図２と図３を参照して説明する。以下の各構成は、ＣＰＵ１０１からの指示に基づいて、それぞれの動作を実行する。図２は、第１実施形態における画像処理装置の論理構成を示すブロック図である。入力部２０１は、複数の画像データを入力する。複数の画像データは、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力する。勿論、撮像装置１０５で撮影したＲＡＷ画像データをＨＤＤ１０３などの記憶装置に一旦記憶した後で入力してもかまわない。ここで入力される複数の画像データは、同じシーンを撮影して得られる画像データである。本実施形態では、同じシーンを連続して撮影した複数の画像データを入力する。従って、複数の画像データには一部共通の被写体が含まれている。動画像を構成するフレームのうち、連続するフレームの一部を複数の画像データとして入力してもよい。

対応導出部２０２は、入力部２０１から入力された複数の画像データのうち、ノイズ低減処理の対象とする画像データ（以下、基準画像データ）と、それ以外の画像データ（以下、参照画像データ）との各画素の対応関係を判定する。本実施形態では、各画像データにおける座標位置が同じ画素を対応画素とする。各画像データにおける対応画素それぞれの画素値に基づいて、対応画素が同じ被写体を表す画素であるかどうかを判定し対応情報として導出する。導出した各画像データ間の対応情報は、ＲＡＭ１０２或いは、ＨＤＤ１０３に保存しておく。尚、対応情報の導出方法の詳細については後述する。

補正部２０３は、入力部２０１から入力した複数の入力画像データと、対応導出部２０２で導出した各画素間の対応情報とに基づいて基準画像データを補正し、補正画像データを生成する。図１６は、補正部２０３の詳細な構成を示すブロックである。補正部２０３は、参照画素決定部１５０１、類似度導出部１５０２、補正値導出部１５０３を有する。参照画素決定部１５０１は、基準画像データと少なくとも１つ以上の参照画像データとにおける対応情報に基づいて、基準画像データにおける着目画素の補正値の算出に用いる複数の参照画素を決定する。類似度導出部１５０２は、決定された各参照画素について、着目画素との類似度を式（２）を用いて算出する。補正値導出部１５０３は、各参照画素と算出された類似度とに基づいて、式（３）により各参照画素の重みを決定する。さらに、式（１）を用いて着目画素の補正値を導出する。補正部２０３により生成された補正画像データは、ＲＡＭ１０２或いは、ＨＤＤ１０３に保存される。なお、補正方法の詳細については後述する。出力部２０４は、補正部２０３が生成した補正画像データをモニタ１０８やＨＤＤ１０３等に出力する。尚、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７や、不図示の外部サーバなどに出力してもよいし、プリンタなどを接続して出力しても構わない。

（画像処理装置における処理フロー）
図２で説明した画像処理装置の論理構成における各処理の詳細について、図３に示すフローチャートを参照して説明する。ＣＰＵ１０１は、図３に示すフローチャートに基づくプログラムを読み込み実行する。

ステップＳ３０１において入力部２０１は、複数の画像データを入力する。ここで、入力される画像データには、ノイズ低減処理の対象となる１枚の基準画像データと、少なくとも１枚以上の参照画像データが含まれる。尚、以下では入力される画像データの大きさは、それぞれ幅Ｘ画素、高さＹ画素であるとして説明する。また、各画像の左上の画素を減点（０、０）として、基準画像データにおける画素値をＩ_０（ｘ、ｙ）と表す。また、Ｎ枚の参照画像データにおける画素値をそれぞれＩ_ｎ（ｘ、ｙ）と表す。ここで（ｘ、ｙ）は０＜＝ｘ＜Ｘ、０＜＝ｙ＜Ｙを満たす整数、ｎは１からＮまでの整数とし、本実施形態ではＮ＝１の場合で説明する。

ステップＳ３０２において対応情報導出部２０２は、基準画像データの各画素と、参照画像データの各画素とが同じ被写体を表す画素であるかどうかを判定する。判定結果を対応情報として導出する。同じ被写体を表す画素であるかどうかの判定には所望の方法を用いてよい。本実施形態では、画像データ間の各対応画素の画素値の差分を用いる。基準画像データの注目画素と、注目画素と同座標である参照画像データにおける対応画素との差分値が所定値より小さければ、対応画素は同じ被写体を表す画素であると判定する。一方、差分値が所定値より大きければ、対応画素は同じ被写体を表す画素ではないと判定する。

図５は、２つの画像データ間における対応情報の導出方法を説明するための図である。図５において、画像データ５０１を基準画像データとし、画像データ５０２を参照画像データとする。基準画像データと参照画像データは、前述の通り連続して撮影して得られる画像データである。そのため、静止被写体であれば、基準画像データおよび参照画像データの同じ画素位置にうつしだされている。一方動被写体の場合、連続して撮影した画像データ間であっても、各画像データにうつしだされる画素位置は異なっている可能性が高い。基準画像データ５０１における被写体５０３は、動被写体であり、参照画像データ上では動被写体５０３の位置が移動していることがわかる。基準画像データ５０１において画素Ｉ_０（ｘ_１、ｙ_１）は静止被写体の領域の画素である。また、画素Ｉ_０（ｘ_０、ｙ_０）は動被写体領域の画素である。画素Ｉ_０（ｘ_２、ｙ_２）は、静止被写体の領域であるが、参照画像データ５０２においては動被写体領域の画素位置である。このように、他の画像データでは動被写体領域の画素に対応する静止被写体の領域を、ここではオクルージョンと呼ぶ。

ここで、基準画像データ５０１における各画素と参照画像データ５０２における各画素の差分値から対応情報導出結果５０４を導出する方法について説明する。基準画像データにおける画素Ｉ_０（ｘ_１、ｙ_１）と参照画像データにおける画素Ｉ_１（ｘ_１、ｙ_１）との画素値の差分は小さくなる。従って対応情報（ｘ_１、ｙ_１）は静止被写体と判定される。また、基準画像データにおける画素Ｉ_０（ｘ_０、ｙ_０）と参照画像データにおける画素Ｉ_１（ｘ_０、ｙ_０）との画素値の差分は、大きい。この場合対応情報（ｘ_０、ｙ_０）は、非静止被写体と判定される。基準画像データにおける画素Ｉ_０（ｘ_２、ｙ_２）と参照画像データにおける画素Ｉ_１（ｘ_２、ｙ_２）との画素値の差分は大きく、対応情報（ｘ_０、ｙ_０）と同様に対応情報（ｘ_２、ｙ_２）は非静止被写体と判定される。

画像５０４は、対応情報を図示している。明領域５０５は、静止被写体と判定された領域であり、暗領域５０６は、静止被写体ではないと判定された領域である。なお、各対応画素の判定方法は、画素値の差分に基づく判定のみに限られるものではない。例えば、対象画素を含む近傍画素を含む領域間において、差分値や平均値、画素値の分散などを用いることでより精度よく判別する方法を用いてもよい。

ステップＳ３０３において補正部２０３は、入力された基準画像データに対して補正処理を適用して各画素の補正値を導出し、補正画像データを生成する。尚、補正画像データを生成する処理の詳細は後述する。ステップＳ３０４において出力部２０４は、ステップＳ３０３において生成された補正画像データを出力する。

（補正処理の詳細な処理フロー）
以下に、補正部２０３が実行する補正処理の詳細を説明する。図４は、補正処理のフローチャートである。ステップＳ４０１において補正部２０３は、基準画像データにおいて処理対象とする着目画素を選択する。着目画素は任意に選択可能であり、ここでは左上Ｉ_０（０、０）から右下Ｉ_０（Ｘ−１、Ｙ−１）へ順次選択していけばよい。ステップＳ４０２において参照画素決定部１５０１は、着目画素の対応情報を取得する。対応情報は、参照画像データの数の分、取得する。

ステップＳ４０３において参照画素決定部１５０１は、対応情報を参照し、対応画素が静止被写体か否かを判定する。着目画素について、静止被写体の対応画素が存在する場合、ステップＳ４０４に移行し、静止被写体の対応画素がない場合、ステップＳ４０５へ移行する。

ステップＳ４０４において参照画素決定部１５０１は、基準画像データにおける着目画素を中心とする３×３画素及び参照画像データにおける対応画素を中心とする３×３画素を、参照画素群として設定する。着目画素の画素位置が静止被写体の画素である場合、参照画像データにおける対応画素においても同じ被写体を表す画素値であると言える。そこで、基準画像データと参照画像データそれぞれに、参照画素群を設定する。つまり参照画像データにおける画素も、基準画像データにおける着目画素のノイズ低減処理に用いるように参照画素群を設定する。

ステップＳ４０５において参照画素決定部１５０１は、基準画像データにける着目画素を中心とする４×４画素を参照画素群として設定する。着目画素の画素位置が動被写体或いはオクルージョンの画素である場合は、着目画素のノイズ低減処理結果のために参照画像データにおける対応画素を加重平均に含めると、異なる被写体に基づく画素値を混入させることになってしまう。そのためここでは、基準画像データにおける着目画素の近傍の画素のみを用いて、着目画素のノイズ低減処理をするように、参照画素群を設定する。

ここで、ステップＳ４０４及びステップＳ４０５における参照画素群の設定方法について、図５及び図６を参照して説明する。図６において、画素６０１は静止被写体上の画素である。画素６０１を着目画素とした場合には、ステップＳ４０４において、Ｉ_０（ｘ_１、ｙ_１）を含む近傍３×３画素及び、対応画素Ｉ_１（ｘ_１、ｙ_１）を含む近傍３×３画素の計１８画素を参照画素群として設定する。このように、参照画素を設定することで、同じ被写体上の画素を用いてノイズを低減することができる。一方、画素６０２は動被写体上の画素である。画素６０２を着目画素とした場合には、参照画像データ５０２にはＩ_０（ｘ_０、ｙ_０）と同じ被写体の画素は存在しない。従って、ステップＳ４０５においてノイズ低減に寄与できる画素は基準画像データにおける４×４画素だけが参照画素群として設定される。なお着目画像データだけに参照画素を設定するステップＳ４０５では、ステップＳ４０４と同様の３×３画素を参照画素群とせずより広い範囲の領域の画素を参照画素群とする。仮に着目画像データにおける３×３画素を参照画素群とすると、参照画素の数が静止被写体の場合の１８画素とは大きく異なってしまう。結果として、動体上の画素ではノイズ低減性能が低下してノイズムラの要因となる。そこで、ステップＳ４０５の場合、Ｉ_０（ｘ_０、ｙ_０）を含む近傍４×４画素の計１６画素を参照画素群として設定する。このように動被写体の画素の場合は、静止被写体の画素の場合よりも基準画像に多く参照画素群を設定することで、静止被写体の画素と同等数の参照画素群を設定することができる。その結果、式（３）で説明したノイズ低減強度を制御する変数ｈを、静止被写体と動被写体との間で変更することなく同等にノイズを低減することが可能になる。以上の通り本実施形態では、基準画像データにおける複数の画素のみを参照画素とする場合に、Ｎ画素の参照画素を選択するとする。このとき、基準画像データと参照画像データに対して参照画素を設定する場合には、１つの画像データにつきＭ（Ｎ＞Ｍ）画素の参照画素を選択する。その結果動被写体のぼけを抑制しつつ、ノイズムラを低減することが可能になる。

なお、参照画素群の設定方法においては第１実施形態で示した数字だけに限られるものではない。静止被写体の場合には基準画像データと参照画像データとに参照画素群を設定し、動被写体の場合には基準画像データだけに参照画素群を設定する。ただし、双方の場合の参照画素数の差が小さくなるように参照画素群を設定することで、静止被写体の画素と動被写体の画素とで発生し得るノイズムラを低減する効果が得られる。

また、処理画素及び対応画素の近傍の矩形領域に含まれる複数の画素を参照画素群とする例を説明したがこれに限られるものではない。例えば、円形や菱形に設定したり、ランダムに設定したりすることも可能である。従って、例えばランダムに設定することで、静止被写体の場合と、動被写体の場合とで同じ画素数の参照画素群を設定することも可能である。

ステップＳ４０６において類似度導出部１５０２は、ステップＳ４０４或いはステップＳ４０５で設定した参照画素群のうち、類似度導出処理の対象とする画素を選択する。ステップＳ４０７において類似度導出部１５０２は、ステップＳ４０１において選択された着目画素と、ステップＳ４０６において選択された参照画素との類似度を導出する。類似度は式（２）を用いて導出する。ステップＳ４０８において類似度導出部１５０２は、ステップＳ４０４或いは、ステップＳ４０５で設定した参照画素群に含まれる全ての画素に関して類似度導出が終了したかどうか判定する。終了していればステップＳ４０９に移行し、終了していなければステップＳ４０６に移行して処理を継続する。

ステップＳ４０９において補正値導出部１５０３は、着目画素のノイズ低減処理後の画素値として補正値を導出する。補正値は、式（３）により導出した重みと、各参照画素の画素値とから、式（１）を用いて導出する。

ステップＳ４１１において補正値導出部１５０３は、基準画像データにおける全ての画素の補正値の導出が終了したかどうか判定する。終了していれば補正値導出処理を終了し、終了していなければステップＳ４０１に移行して処理を継続する。

以上の処理により、処理画素が静止被写体上の画素か、動被写体上の画素かに応じてＮＬＭの参照画素群の設定方法を切り替えることで、補正処理に用いる画素数の差を低減することができる。その結果、画素毎のノイズムラを低減して画像内で一様なノイズ低減画像を得ることが可能になる。

＜第２実施形態＞
入力される画像データの数が３以上の場合でも同様に、着目画素が静止被写体の画素か、動被写体の画素かに応じて参照画素群の設定方法を切り替えることも可能である。入力される画像データは連続して撮像された時系列の画像データである。この場合、動被写体が左右に揺れるなど周期的に振動しているような場合には、着目画素と同じ被写体を表しているとみなせる画素が、数枚おきに存在し得る。また、前述で説明した図６において、静止被写体上の画素Ｉ_０（ｘ_２、ｙ_２）のように、他の画像データにおける同じ画素位置において動体によるオクルージョンが発生している場合、動体が通過した後、再び静止被写体が現れる可能性ある。そこで第２実施形態では、対応画素のうち同じ被写体を表す画素の数に応じて参照画素群の設定方法を切り替える方法について説明する。なお、第１実施形態と同様の構成については、同一の符号を付し、その説明を省略する。

図７は、第２実施形態における処理のフローチャートである、図７を参照して第２実施形態の処理を説明する。ステップＳ７０１において入力部２０１は、複数の画像データを入力する。第２実施形態では、ノイズ低減処理の対象である基準画像データの他、２つの参照画像データを入力する。（参照画像データの数Ｎ＝２）前述の通り、基準画像データと参照画像データは、微小時刻毎に連続して同じシーンを撮像して得られる画像データである。

ステップＳ７０２において対応情報導出部２０２は、基準画像データの各画素について、同じ座標位置にある複数の参照画像データにおける対応画素それぞれとの対応関係を判定する。具体的には、着目画素と各対応画素が同じ被写体を表す画素であるかどうかを判定し、判定結果を対応情報として導出する。以下では、対応画素が存在するか否かは第１実施形態と同様に差分の大小で判断する。

ここで図９を参照して、対応画素情報の導出方法について説明する。図９において、基準画像データ９０１、参照画像データ９０２及び９０３それぞれにおいて、動被写体９０４が写されている。画像９０５は、対応情報を示している。対応情報９０５は、１行目に示す基準画像データ９０１における各画素に関して、１列目に示す各参照画像データにおける対応画素が同じ被写体を表すものと判定された場合は○、同じ被写体ではないと判定された対応画素は×を示している。

例えば、Ｉ_０（ｘ_１、ｙ_１）は静止被写体の画素であり、参照画像データ９０２および９０３それぞれにおける対応画素も同じ被写体を表す画素である。Ｉ_０（ｘ_２、ｙ_２）も同様に静止被写体の画素であるが、参照画像データ９０２では動被写体９０４があるため対応画素は同じ被写体を表す画素ではない。その後参照画像データ９０３では、さらに動被写体９０４が通過した結果、対応画素Ｉ_２（ｘ_２、ｙ_２）はＩ_０（ｘ_２、ｙ_２）と同じ被写体を表す画素である。基準画像データにおけるＩ_０（ｘ_０、ｙ_０）は動被写体の画素であり、いずれの参照画像データにおける対応画素もＩ_０（ｘ_０、ｙ_０）と同じ被写体を表す画素ではない。このように基準画像データ９０１における画素毎に、各参照画像データの対応画素が同じ被写体を表すかどうかを判定し、対応情報９０５を得る。

ステップＳ７０３において補正部２０３は、基準画像データにおける画素を順に着目画素とし、各画素のノイズ低減処理結果として補正値を導出する。補正部２０３は、補正画像データを生成する。尚、補正画像データを生成する処理の詳細は後述する。ステップＳ７０４において出力部２０４は、ステップＳ３０３において生成された補正画像データを出力する。

ステップＳ７０３における補正処理の詳細について、図８のフローチャートを参照して説明する。ステップＳ８０１およびステップＳ８０２は、第１実施形態におけるステップＳ３０１、ステップＳ３０２と同様の処理ため説明は省略する。

ステップＳ８０３において参照画素決定部１５０１は、ステップＳ８０２において取得された対応情報に基づいて、参照画素群を設定する。図９及び図１０を用いて参照画素群の設定方法を説明する。画素Ｉ_０（ｘ_１、ｙ_１）は、図１０に示すように、Ｉ_０（ｘ_１、ｙ_１）及び対応画素Ｉ_１（ｘ_１、ｙ_１）、Ｉ_２（ｘ_１、ｙ_１）それぞれを中心とする近傍３×３画素、計２７画素を参照画素群１００１として設定する。次に画素Ｉ_０（ｘ_０、ｙ_０）は、基準画像データにおけるＩ_０（ｘ_０、ｙ_０）を含む近傍５×５画素、計２５画素を参照画素群１００２として設定する。さらに画素Ｉ_０（ｘ_２、ｙ_２）は、着目画像データにおけるＩ_０（ｘ_２、ｙ_２）を中心とする４×４画素、及び参照画像データ９０３における対応画素Ｉ_２（ｘ_２、ｙ_２）を中心とする近傍４×４画素、計３２画素を参照画素群１００３として設定する。

このように、第２実施形態では着目画素毎に同じ被写体を表す対応画素数に応じて参照画素群の設定を切り替える。同じ被写体を表す対応画素がなければ基準画像データにおいてのみ参照画素群を設定する。同じ被写体を表す対応画素がある場合は、同じ被写体を表す対応画素のある参照画像データと基準画像データとにおいて参照画素群を設定する。また、それぞれの場合において、各画像データに設定する領域の範囲を変える。これにより、画素毎の参照画素数のばらつきを低減し、結果としてＮＬＭのノイズムラを低減することが可能になる。

なお参照画素群の設定方法は、第２実施形態において説明した数値例に限られるものではない。例えば、参照画像データが３枚の場合、同じ被写体を表す２、３枚対応画素がある場合は近傍３×３画素とする。１枚同じ被写体を表す対応画素がある場合は近傍４×４画素とし、同じ被写体を表す対応画素がない場合は近傍５×５画素のように、同じ被写体を表す対応画素の数が少なくなるほど１つの画像データ当たりの参照画素の画素数が多くなるように設定すればよい。なお第１実施形態と同様に、基準画像データの画素によって参照画素群に含まれる画素数の差が小さくなるように設定することが望ましい。

ステップＳ８０４からステップＳ８０８は、第１実施形態におけるステップＳ４０６からステップＳ４１０と同様の処理であるため説明は省略する。

以上の処理により、画素毎に同じ被写体を表す対応画素が存在する画像データの数に応じて、ノイズ低減処理のために用いる参照画素群の設定方法を切り替えることで、画素毎のノイズムラを低減して画像内で一様なノイズ低減画像を得ることが可能になる。

＜第３実施形態＞
第１実施形態では、複数の画像データの各画素の対応関係に応じてノイズ低減に用いる参照画素群を切り替えることで、ノイズムラを低減する方法について説明した。ところで、背景の空や建物の一様な壁などの平坦領域は、画素位置が同じ画素の画素値を単純に平均した値をノイズ低減処理の結果とすることもできる。これは、位置ずれなどによるぼけが発生することはほとんどないためである。そこで、第３実施形態では、基準画像データの各画素の特徴量に応じて異なるノイズ低減処理を適用する方法について説明する。前述の実施形態と同様の構成については、詳細な説明を省略する。

（画像処理装置の論理構成）
図１１は、本実施形態の画像処理装置の論理構成を示すブロック図である。図１１において、入力部１１０１、対応導出部１１０２及び出力部１１０４は、第１実施形態における図２に示す入力部２０１、対応導出部２０２、及び出力部２０４と同様である。補正部１１０３は、ＣＰＵ１０１からの指示に基づき、入力された複数の画像データと、各画素間の対応情報と、特徴量検出部１１０５が検出した各画素の特徴量とに基づいて基準画像データを補正する。図１７は、第３実施形態に適用できる補正部１１０３の詳細な構成を示すブロック図である。補正部は、参照画素決定部１７０１、類似度導出部１７０２、補正値導出部１７０３、特徴量判定部１７０４を有する。第１実施形態とは、特徴量判定部１７０４を有する点と、参照画素決定部１７０１が対応情報に加えて、特徴量判定結果を参照する点において異なる。各処理の詳細は、後述する。補正部１１０３は、各画素を補正値に変換した補正画像データを生成する。生成された補正画像データは、ＲＡＭ１０２或いは、ＨＤＤ１０３に保存しておく。特徴量検出部１１０５は、ＣＰＵ１０１からの指示に基づいて、入力部２０１が取得した基準画像データを取得し、各画素の特徴量を検出する。生成した各画素の特徴量データは、ＲＡＭ１０２或いは、ＨＤＤ１０３に保存しておく。尚、特徴量検出方法の詳細については後述する。

図１１で説明した画像処理装置の各構成が実行する処理の流れについて、図１２のフローチャートを参照して説明する。ステップＳ１２０１及びステップＳ１２０２は、第２実施形態において説明したステップＳ７０１及びステップＳ７０２と同様である。

ステップＳ１２０３において特徴量検出部１１０５は、基準画像データの各画素の特徴量を導出する。本実施例では、エッジ強度を特徴量として説明する。エッジ強度は、例えば、Ｒｏｂｅｒｔｓフィルタ、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｌａｐｌａｃｉａｎフィルタなどのフィルタ演算結果から得られる。以下では、特徴量、即ちエッジ強度が所定の閾値より大きい場合エッジ領域の画素であり、エッジ強度が所定の閾値以下であれば平坦領域の画素であるとみなすことができる。

ステップＳ１２０４において補正部１１０３は、入力された基準画像データに対して補正処理を適用して各画素の補正値を導出し、補正画像データを生成する。尚、補正画像データを生成する処理の詳細は後述する。ステップＳ１２０５は、出力部１１０４から、ステップＳ１４０３で生成した補正画像データを出力する。

次に、図１２において説明したステップＳ１２０４における補正処理の詳細について、図１３のフローチャートを参照して説明する。ステップＳ１３０１及びステップＳ１３０２は、第２実施形態のステップＳ８０１及びステップＳ８０２と同様のため説明は省略する。ステップＳ１３０３において特徴量判定部１７０４は、着目画素の特徴量としてエッジ強度を取得する。ステップＳ１３０４において特徴量判定部１７０４は、ステップＳ１３０３において取得したエッジ強度に基づいて着目画素がエッジ領域の画素かどうかを判定する。ここではエッジ強度が所定の閾値以上であればエッジ領域の画素であると判定してステップＳ１３０６に移行し、それ以外であれば平坦領域の画素であると判定してステップＳ１３０５に移行する。

ステップＳ１３０５において参照画素決定部１７０１は、ステップＳ１３０２において取得した対応情報から、着目画素の対応画素が同じ被写体を表すかどうかを判定する。例えば、第２実施形態で説明した図９に示す画素Ｉ_０（ｘ_１、ｙ_１）のように全ての参照画像データに対応画素が存在する場合はステップＳ１３１２に移行し、それ以外の場合はステップＳ１３０６に移行する。ステップＳ１３０６からステップＳ１３０９は、第２実施形態におけるステップＳ８０３からステップＳ８０６と同様の処理のため説明は省略する。

ステップＳ１３１０において参照画素決定部１７０１は、基準画像データにおける着目画素の補正値を導出するために用いる参照画素群を決定する。本実施形態のように異なるノイズ低減処理と組み合わせる場合も、画素毎のノイズ低減強度が異なりノイズムラの要因となる。本実施形態では、ＮＬＭによるノイズ低減処理を施す領域と、複数画像データ間で同じ画素位置の画素だけの平均処理によるノイズ低減処理を施す領域がある。ここで、平均処理に用いる画素数は、着目画素を含めると入力された画像データの数と同数である。一方、ＮＬＭでは参照画素群の設定方法により、入力された画像データの数よりも多くの画素を用いた加重平均により補正値を導出することになる。その結果、平均処理した画素よりもＮＬＭを適用した画素のノイズの方がより減少することとなり、画素毎のノイズムラの要因となり得る。そこで、ステップＳ１３０６において設定した全ての参照画素群を用いるのではなく、参照画素群に含まれる画素を参照画素の候補として、一部の画素を参照画素として補正値を導出する、これにより、補正画像データにおける画素ごとのノイズムラを抑制できる。

そこで本実施形態では、入力された画像データが３つの場合、ステップＳ１３０６において設定した全ての参照画素群に含まれる画素を候補として、そのうち着目画素との類似度が高い順に３つの画素を参照画素として選択する。すなわち式（２）により類似度を算出した場合、算出された類似度Ｃ_ｊの値の大きさで昇順にソートし、値の小さい画素を３つ参照画素として選択する。

ステップＳ１３１１において補正値導出部１７０３は、ステップＳ１３１０において決定された参照画素を用いて補正値を導出する。尚、補正値の導出方法は、第１実施形態や第２実施形態と同様の処理のため説明は省略する。

ステップＳ１３１２において補正値導出部１７０３は、着目画素の画素値と、各参照画像データの対応画素の画素値とを平均して、着目画素のノイズ低減処理した結果として補正値を導出する。ステップＳ１３１３において、第２実施形態におけるステップＳ８０８と同様である。以上の処理により、異なるノイズ低減処理と組み合わせて用いる場合であっても、画素毎のノイズムラを低減して画像内で一様なノイズ低減画像を得ることが可能になる。

なお、補正値の導出に用いる参照画素の決定方法は、類似度の高い順に３つを選ぶ方法以外の方法も適用できる。例えば、参照画素群であれば着目画素と同一の被写体である可能性が高いことはわかっているので、ランダムに選択した画素を参照画素としてもよい。あるいは、参照画素群を設定した全ての画像データから数画素ずつ選択するようにしても良い。また、入力された画像データと同数の参照画素を決定する例を説明したが、入力された画像データが多い場合、必ずしも入力された画像データ数と同数でなくともノイズムラを抑制することは可能である。

また、補正値の導出に用いる参照画素を決定する処理は、第１実施形態や第２実施形態と組み合わせて用いることも可能である。例えば、第２実施形態と組み合わせて用いた場合、画素毎に設定した参照画素数が異なる場合でも、設定した参照画素数よりも少ない参照画素を用いて補正値を導出することでノイズ低減効果は減少するが、ノイズムラ抑制効果を向上することが可能になる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (9)

1. 第１の画像データに対して、前記第１の画像データと少なくとも一部に共通の被写体領域が含まれている少なくとも１つの第２の画像データを用いてノイズを低減する処理を施す画像処理装置であって、
   前記第１の画像データにおける着目画素について、前記着目画素と同じ画素位置の前記第２の画像データにおける対応画素が前記着目画素と同じ被写体を表す画素であるかどうかを示す対応情報を導出する対応導出手段と、
   前記第１の画像データにおける着目画素について、前記対応情報に応じて複数の参照画素として設定する設定手段と、
   前記着目画素と、前記設定手段により設定された複数の参照画素それぞれとに関して、前記着目画素を含む該着目画素の近傍の複数の画素からなる着目領域と、前記参照画素を含む該参照画素の近傍の複数の画素からなる参照領域とに基づいて、前記着目画素と前記複数の参照画素それぞれとの類似度を導出する類似度導出手段と、
   前記類似度に基づいて、前記参照画素それぞれの重みを導出する重み導出手段と、
   前記参照画素の画素値と前記重みとに基づいて、前記複数の参照画素を加重平均することにより前記着目画素の補正値を導出する補正手段と、を有し、
   前記設定手段は、前記着目画素と同じ被写体を表す対応画素がある場合、前記着目画素と同じ被写体を表す対応画素がある前記第２の画像データと前記第１の画像データとから複数の参照画素を選択し、前記着目画素と同じ被写体を表す対応画素がない場合、前記第１の画像データのみから複数の参照画素を設定することを特徴とする画像処理装置。
2. 前記設定手段は、前記第１の画像データにおける複数の画素のみを参照画素とする場合は、前記着目画素を含むＮ画素の参照画素を選択し、
   前記第２の画像データのうち少なくとも１つの画像データと前記第１の画像データに対して参照画素を設定する場合は、１つの画像データにつきＭ（Ｎ＞Ｍ）画素の参照画素を選択することを特徴とする請求項１に記載の画像処理装置。
3. さらに、前記第１の画像データにおける特徴を検出する検出手段を有し、
   前記補正手段は、前記検出手段により前記第１の画像データにおける着目画素が平坦な領域の画素であると判定された場合、前記着目画素および前記対応情報が示す対応画素を平均した値を前記着目画素の補正値として導出し、
   前記検出手段により前記第１の画像データにおける着目画素がエッジを構成する画素であると判定された場合、前記参照画素の画素値と重みとに基づいて前記複数の参照画素を加重平均することにより前記着目画素の補正値を導出することを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段は、さらに、前記着目画素がエッジを構成する画素であると判定された場合、前記着目画素と同じ被写体を表す対応画素の数に応じて、前記参照画素として用いる画素を選択する選択手段を有し、
   前記選択手段により選択された参照画素に基づいて前記着目画素の補正値を導出することを特徴とする請求項３に記載の画像処理装置。
5. 前記選択手段は、前記着目画素との類似度が高い画素から順に、所定の数の画素を参照画素として選択することを特徴とする請求項４に記載の画像処理装置。
6. 前記設定手段は、前記第１の画像データを構成する各画素において、参照画素の数が同じになるように参照画素を設定することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
7. 前記第１の画像データおよび前記第２の画像データは、連続して撮影したことにより得られる画像データであることを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至７の何れか一項に記載された画像処理装置として機能させることを特徴とするコンピュータプログラム。
9. 第１の画像データに対して、前記第１の画像データと少なくとも一部に共通の被写体領域が含まれている少なくとも１つの第２の画像データを用いてノイズを低減する処理を施す画像処理方法であって、
   前記第１の画像データにおける着目画素について、前記着目画素と同じ画素位置の前記第２の画像データにおける対応画素が前記着目画素と同じ被写体を表す画素であるかどうかを示す対応情報を導出し、
   前記第１の画像データにおける着目画素について、前記着目画素と同じ被写体を表す対応画素がある場合、前記着目画素と同じ被写体を表す対応画素がある前記第２の画像データと前記第１の画像データとから複数の参照画素を選択し、前記着目画素と同じ被写体を表す対応画素がない場合、前記第１の画像データのみから複数の参照画素を設定し、
   前記着目画素と、前記設定された複数の参照画素それぞれとに関して、前記着目画素を含む該着目画素の近傍の複数の画素からなる着目領域と、前記参照画素を含む該参照画素の近傍の複数の画素からなる参照領域とに基づいて、前記着目画素と前記複数の参照画素それぞれとの類似度を導出し、
   前記類似度に基づいて、前記参照画素それぞれの重みを導出し、
   前記参照画素の画素値と前記重みとに基づいて、前記複数の参照画素を加重平均することにより前記着目画素の補正値を導出することを特徴とする画像処理装置。

Images