JP2020061080A - 画像処理装置、撮像装置、画像処理方法 - Google Patents

Abstract

【課題】 色ノイズと主に高周波領域で発生する色付き（偽色）を効果的に低減するための技術を提供すること。【解決手段】 入力画像の色ノイズを低減したノイズ低減画像を生成する。ノイズ低減画像から色差信号を生成（第一生成）する。ノイズ低減画像から特性の異なる複数のローパスフィルタをかけた画像を生成して各画像に対応する色差信号を生成（第二生成）する。第一生成で生成した色差信号と第二生成で生成した各色差信号とを色差の大きさに基づいて合成した色差信号を生成する。第一生成で生成した色差信号と該合成した色差信号とを、色付きを抑制したい領域情報に基づいて合成する。【選択図】 図２

Description

本発明は、色ノイズ及び色付き（偽色）を低減するための技術に関するものである。

デジタルカメラなどのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、及びショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮影感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像を得るためには、混入したノイズを低減する必要があり、このノイズを低減する技術が数多く知られている。その中で、非特許文献１のバイラテラルフィルタに代表されるエッジ保存型平滑化フィルタは広く利用されている。また、非特許文献２、３（NLベイズ法）には、撮影画像からパッチ集合を生成し、パッチ集合に属する全てのパッチに対してノイズ低減処理を行い、さらにこれらパッチの合成処理を行うことでデノイズされた画像を生成する手法が開示されている。非特許文献２、３（NLベイズ法）をはじめとするパッチベースノイズ低減手法では、エッジ保存型平滑化フィルタよりも、さらにエッジやテクスチャを出来るだけぼかさずにノイズのみを高精度に低減することが可能である。

Bilateral filtering for gray and color images, In Computer Vision, 1998, Sixth International Conference on (pp. 839-846), IEEE. A Non-local Bayesian image denoising algorithm, SIAM Journal on Imaging Science, 2013. Implementation of the "Non-Local Bayes" (NL-Bayes) Image Denoising Algorithm, Image Processing On Line, 3 (2013)

エッジ保存型平滑化フィルタやパッチベースノイズ低減手法を用いても、周囲に類似するパターンが少ない領域では、高精度にノイズを低減することができない。その結果、主に高周波領域で色付き（偽色）の画質課題が発生する。本発明では、色ノイズと主に高周波領域で発生する色付き（偽色）を効果的に低減するための技術を提供する。

本発明の一様態は、入力画像の色ノイズと偽色を低減する画像処理装置であって、前記入力画像の色ノイズを低減したノイズ低減画像を生成するノイズ低減手段と、前記ノイズ低減画像から色差信号を生成する第一生成手段と、前記ノイズ低減画像から特性の異なる複数のローパスフィルタをかけた画像を生成するローパスフィルタ手段と、前記ローパスフィルタ手段で生成された各画像に対応する色差信号を生成する第二生成手段と、前記第一生成手段が生成した色差信号と前記第二生成手段が生成した各色差信号とを色差の大きさに基づいて合成した色差信号を生成する合成手段と、前記第一生成手段が生成した色差信号と前記合成手段が生成した色差信号とを、色付きを抑制したい領域情報に基づいて合成する合成処理手段とを備えることを特徴とする。

本発明の構成によれば、色ノイズと主に高周波領域で発生する色付き（偽色）を効果的に低減することができる。

画像処理装置１００のハードウェア構成例を示すブロック図。 画像処理装置１００の機能構成例を示すブロック図。 参照画素の重みの決定方法を示す図。 参照画素の重みの決定方法を示す図。 色ノイズ及び高周波領域の色付き（偽色）低減処理のフローチャート。 画像処理装置１００の機能構成例を示すブロック図。 処理部６０１の詳細な機能構成例を示すブロック図。 集合生成部７０３の詳細な機能構成例を示すブロック図。 推定部７０５の詳細な機能構成例を示すブロック図。 画像合成処理の詳細を示す図。 一連のノイズ低減処理の大まかな流れを示す図。 色ノイズ及び高周波領域の色付き（偽色）低減処理のフローチャート。 ステップＳ１２０１の処理の詳細を示すフローチャート。 色付きを抑制した色差信号を生成するまでの処理の流れを図解した模式図。 パッチを示す図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
（画像処理装置のハードウェア構成例）
本実施形態に係る画像処理装置１００のハードウェア構成例について、図１のブロック図を用いて説明する。なお、画像処理装置１００のハードウェア構成は一例であり、適宜変更／変形が可能である。

ＣＰＵ１０１はＲＡＭ１０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０１は、画像処理装置１００全体の動作制御を行うと共に、画像処理装置１００が行うものとして後述する各処理を実行若しくは制御する。

ＲＡＭ１０２は、ＨＤＤ（ハードディスクドライブ）１０３からロードされたコンピュータプログラムやデータ、汎用Ｉ／Ｆ（インターフェース）１０４を介して外部から受信したデータ、を格納するためのエリアを有する。さらにＲＡＭ１０２は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０２は、各種のエリアを適宜提供することができる。

ＨＤＤ１０３には、ＯＳ（オペレーティングシステム）や、画像処理装置１００が行うものとして後述する各処理をＣＰＵ１０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。ＨＤＤ１０３に保存されているコンピュータプログラムには、以降の説明で画像処理装置１００の機能部として説明する各機能部の機能をＣＰＵ１０１に実行させるためのコンピュータプログラムが含まれている。また、ＨＤＤ１０３に保存されているデータには、以下の説明において既知の情報として説明するもの（予め設定された情報、予め取得した情報等）が含まれている。ＨＤＤ１０３に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０２にロードされ、ＣＰＵ１０１による処理対象となる。

汎用Ｉ／Ｆ１０４には、撮像装置１０５、入力装置１０６、外部メモリ１０７が接続されている。汎用Ｉ／Ｆ１０４は１つ以上の接続インターフェースにより構成されており、撮像装置１０５、入力装置１０６、外部メモリ１０７を含む各種の機器を画像処理装置１００に接続するために使用される。

撮像装置１０５は、デジタル撮像装置であり、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成し、該生成したデジタル画像データを画像処理装置１００に対して出力する。ＣＰＵ１０１は、汎用Ｉ／Ｆ１０４を介して撮像装置１０５から受信したデジタル画像データを入力画像としてＲＡＭ１０２やＨＤＤ１０３に取得（格納）する。

入力装置１０６は、キーボード、マウス、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ１０１に対して入力することができる。

外部メモリ１０７はＳＤカードやＵＳＢメモリなどの、画像処理装置１００に対して着脱可能なメモリ装置である。画像処理装置１００が処理対象とする入力画像は撮像装置１０５から取得しても良いし、ＨＤＤ１０３から取得しても良いし、外部メモリ１０７から取得しても良い。また、画像処理装置１００が処理対象とする入力画像は、他の機器、例えば、有線および／または無線のネットワークを介して外部のサーバ装置から取得しても良い。

モニタ１０８は、液晶画面などにより構成されており、ＣＰＵ１０１による処理結果を画像や文字などでもって表示することができる。なお、入力装置１０６とモニタ１０８とを一体化させてタッチパネル画面を構成しても良い。ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用Ｉ／Ｆ１０４、モニタ１０８、はいずれもバス１０９に接続されている。

本実施形態では、このような画像処理装置１００において、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像を入力して色ノイズと高周波領域の色付き（偽色）を低減した画像を出力する態様について説明する。

（ＮｏｎＬｏｃａｌＭｅａｎｓ）
まず、本実施形態で説明するノイズ低減処理について説明する。本実施形態では、ＮｏｎＬｏｃａｌＭｅａｎｓ手法を用いる。この手法では、ノイズ低減処理の対象となる着目画素を含む、該着目画素の周辺に存在する複数の参照画素の画素値に適応的な重みを掛け、その結果を全て加算した結果で該着目画素の画素値を置き換えることでノイズを低減する。参照画素の画素数をＮ_Ｓ、参照画素の画素値をＩ_ｊ（ｊ＝１〜Ｎ_Ｓ）、参照画素の重みをｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）とする。このとき、加重平均したノイズ低減処理後の着目画素の画素値Ｉ_newは以下の式（１）に従って求めることができる。

次に、参照画素の重みの決定方法について、図３及び図４を用いて説明する。図３（ａ）において１２０１は画像データの一例を示しており、左上隅の画素位置を原点（０，０）とした場合における画素位置（ｘ、ｙ）の画素の画素値をＩ（ｘ、ｙ）と表すものとする。ここで、１２０２は着目画素であり、その画素値はＩ（４、４）である。１２０３は着目領域であり、ノイズ低減処理の対象となる着目画素１２０２を中心とした３画素×３画素の矩形領域である。１２０４は参照画素であり、着目画素１２０２を含む５画素×５画素（Ｎ_Ｓ＝２５）の矩形領域内の画素である。１２０５は、参照画素（画素位置（２，２）の画素）に対する参照領域であり、参照画素（画素位置（２，２）の画素）を中心とし、着目領域１２０３と同サイズの３画素×３画素の矩形領域（参照領域）である。なお、参照領域は参照画素毎に存在するが、ここでは説明上、参照画素（画素位置（２，２）の画素）に対応する参照領域だけ示している。

参照画素（画素位置（２，２）の画素）の重みを求めるために、まず、着目領域１２０３と参照領域１２０５とを比較して類似度を求める。類似度を求める方法には様々な方法があり、特定の方法に限らない。例えば、図３（ｂ）のように、着目領域１２０３の画素位置（ｐ、ｑ）における画素値をｂ_ｓ（ｐ，ｑ）、参照領域１２０５の画素位置（ｐ、ｑ）における画素値をｂ_ｊ（ｐ，ｑ）（ｊ＝１〜Ｎ_Ｓ）とする。そして、着目領域１２０３と参照領域１２０５との空間的に対応する画素値の差を類似度Ｃ_ｊとすると、類似度Ｃ_ｊは以下の式（２）を計算することで求めることができる。

類似度Ｃ_ｊは値が小さいほど着目領域１２０３と参照領域１２０５との類似性が高いことを示している。そこで、類似度Ｃ_ｊに応じて重みを決定する。重みは図４に示す関数のように、類似度Ｃが小さいほど重みＷが大きく、類似度Ｃが大きいほど重みＷが小さくなるように決定すればよく、例えば、以下の式（３）を計算することで求めることができる。

ここで、ｈは重みの大きさを制御する変数であり、ｈを大きくすると重みｗ_ｊは大きくなる。したがって、ｈを大きくするとノイズ低減処理の効果が高くなるが、エッジがぼける。

以下同様に、着目領域１２０３と各参照画素の参照領域とを順次比較していくことで、参照画素毎の重みが得られる。なお、本実施形態におけるノイズ低減処理は、ここで説明したＮｏｎＬｏｃａｌＭｅａｎｓ手法に限られるものではない。

（画像処理装置の機能構成例）
次に、本実施形態に係る画像処理装置１００の、色ノイズ及び高周波領域の色付き（偽色）低減処理に係る機能構成例について、図２のブロック図を用いて説明する。なお、図２に示した構成は適宜変形／変更が可能である。例えば、１つの機能部を機能別に複数の機能部に分割しても良いし、２つ以上の機能部を１つの機能部に統合しても良い。また、図２の構成は、２以上の装置によって構成しても良い。その場合、各装置は回路や有線若しくは無線のネットワークを介して接続され、互いにデータ通信を行って協調動作を行うことで、以下に画像処理装置１００が行うものとして後述する各処理を実現する。これは、以下に説明する図６，７，８，９についても同様である。

以下では、図２，６，７，８，９に示す機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをＣＰＵ１０１が実行することで、該機能部の機能が実現される。なお、図２，６，７，８，９に示す機能部はハードウェアで実装しても良い。

撮像装置１０５、ＨＤＤ１０３、外部メモリ１０７等から入力される入力画像は、処理部２０１に入力される。入力画像は、ＲＡＷ画像であっても良いし、ＲＧＢの３ｃｈの画像であっても良いし、ＲＧ１Ｇ２Ｂの４ｃｈの画像であっても良い。本実施形態では、処理部２０１による処理後の入力画像が、Ｂａｙｅｒ配列のＲＡＷ画像を２×２ビニングした４ｃｈの画像であることを前提に説明を行う。なお、「２×２ビニング」とは、RAW画像の隣り合った４つのＲＧ１Ｇ２Ｂ画素を１画素の情報とみなす処理のことである。ここでは４ｃｈの画像として扱っているため、解像度は１／２になるが、情報量は処理前のRAW画像と同じである。また、当然のことながら、２×２ビニングは、処理部２０１の前後どちらで行ってもよい。さらに、１画素にＲＧＢの情報があれば本実施形態は適用可能であるため、２×２ビニング処理には特に限定されず、RAW画像から何らかの補間処理を行って生成した画像であってもよい。

処理部２０１は、入力画像に対してＮｏｎＬｏｃａｌＭｅａｎｓ手法でノイズ低減処理を行うことで、処理後の入力画像であるノイズ低減画像を生成して出力する。ここで、ノイズ低減処理は必ずしもＮｏｎＬｏｃａｌＭｅａｎｓ手法に従った処理である必要はなく、バイラテラルフィルタのようなエッジ保存型平滑化フィルタを用いた処理であっても良い。ただし、着目画素だけの画素値を比較するより、着目領域として周囲の画素値も用いてブロックで比較するＮｏｎＬｏｃａｌＭｅａｎｓのような手法の方が、効果がより大きく期待できる。

第一生成部２０２は、ノイズ低減画像から色差信号（色差情報）を生成する。ここで、人間が緑色光を最も明るく感じるという比視感度特を有することから、輝度Ｙの代わりにＧを簡易輝度として扱うと、色差信号は、Ｃｒ＝Ｒ−Ｇ、Ｃｂ＝Ｂ−Ｇで求められる。このとき、Ｇ信号はＧ１、Ｇ２の二種類あり、さらにＧ１とＧ２を平均したＧｍｉｘ＝（Ｇ１＋Ｇ２）／２という信号を算出しておく。そして、各Ｇ信号を用いて算出した色差信号を、以下の式（４）のように定義する。

そして、以下の式（５）に示すように、色差の大きさが最小値となる色差信号を採用する。

なお、当然のことながら、色差信号の求め方はこれに限るものではない。また、ノイズ低減後の画像がＲＧＢの３ｃｈだった場合は、単純にｃｒ＝Ｒ−Ｇ、ｃｂ＝Ｂ−Ｇの値を用いればよい。

ローパスフィルタ部２０３は、処理部２０１から出力されたノイズ低減画像に対し、予め規定しておいた複数のローパスフィルタ係数（タップ数）に基づいてローパスフィルタをかけた結果をそれぞれ出力する。このとき、ローパスフィルタ係数は、周波数特性の異なるものを規定しておく必要がある。なぜなら、対象領域とその周囲の被写体に応じて、色付きを抑制した信号を作るための最適なローパスフィルタ特性が異なるからである。したがって、処理対象としている画像の色付き度合いや抑制したい度合いにもよるが、より多くの種類のローパスフィルタを用意しておくことが望ましい。ただし、少なくとも一つのローパスフィルタを用意すれば、本実施形態を実施することは可能である。なお、第一生成部２０２で生成した色差信号に対してローパスフィルタをかけてもよく、その場合には第二生成部２０４の処理をスキップする。

第二生成部２０４は、ローパスフィルタ部２０３から出力されたそれぞれのノイズ低減画像（それぞれのローパスフィルタ係数に基づくローパスフィルタを適用したノイズ低減画像）に対して色差信号を生成する。色差信号の生成方法は第一生成部２０２と同様に、式（４）、（５）に基づいてＣｒ_ｍｉｎ、Ｃｂ_ｍｉｎを算出する。ただし、第二生成部２０４では、以下の式（６）に示すように、Ｃｒ_ｍｉｎとＣｒ_ｍｉｘの符号が反転しているときは採用する色差Ｃｒ_ｍｉｎを０にしてもよい。Ｃｂ信号についても同様である。式（６）に関しては、必ずしも適用しなくてもよいが、適用することにより色付きの抑制効果を高めることができる。

合成部２０５は、第一生成部２０２で生成した色差信号と、第二生成部２０４で生成した色差信号と、を比較して合成し、色付きを抑制した色差信号を生成する。具体的には、第一生成部２０２で生成した色差信号をＣｒ_１、Ｃｂ_１、第二生成部２０４で生成した色差信号をＣｒ_２〜３、Ｃｂ_２〜３とすると、先ず以下の式（７）に従って色差の大きさｃｄを算出する。ここで、色差の大きさは必ずしも式（７）に従った方法に限るものではなく、例えば二乗和でなく絶対値和で算出してもよい。また、色差の大きさは彩度の大きさに相当しているため、その他の彩度を算出する手法を用いてもよい。

そして、ｃｄ_１、ｃｄ_２、ｃｄ_３を比較し、最も大きさの小さい色差に対応するＣｒ、Ｃｂ信号を合成結果とする。ここで、ローパスフィルタをかけていない第一生成部２０２で生成した色差信号も含めて合成している理由は、そもそも色付きが発生していない領域については、ローパスフィルタをかけることで逆に色付いてしまうことがあるためである。最終合成部２０６において、色付きを抑制したい領域についてのみ、合成部２０５で生成した色差信号を用いるが、一般的に色付き領域として色付き領域の隣接領域も検出されてしまうことが多い。そこで、色付きが発生していない領域については、第一生成部２０２で生成した色差信号を採用できるように合成している。

最終合成部２０６は、第一生成部２０２で生成した色差信号と、合成部２０５で生成した色差信号と、を色付きを抑制したい領域情報に基づいて合成する。具体的には、第一生成部２０２で生成した色差信号において、色付きを抑制したい領域のみ合成部２０５で生成した色差信号に置換すればよい。色付きを抑制したい領域情報については、例えば公知の高周波領域検出技術を用いればよい。これにより、画像全体の色解像感は劣化させずに、色付きの目立つ領域のみをうまくボカして色付きを抑制することが可能となる。なお、色付きを抑制したい箇所を限定したい場合は、例えば色の情報と組み合わせてもよいし、反対に抑制領域を増やしたい場合には、エッジ判定結果を用いることなども考えられる。

（メイン処理フロー）
次に、画像処理装置１００による、色ノイズ及び高周波領域の色付き（偽色）低減処理について、同処理のフローチャートを示す図５を用いて説明する。上記の通り、図５のフローチャートにおける各処理ステップを実行する主体はＣＰＵ１０１である。

ステップＳ５０１では、入力画像に対し、例えばＮｏｎＬｏｃａｌＭｅａｎｓ手法でノイズ低減処理を行うことで、ノイズ低減画像を生成して出力する。ステップＳ５０２では、ステップＳ５０１で出力されたノイズ低減画像から色差信号を生成する。

ステップＳ５０３では、ステップＳ５０１で出力されたノイズ低減画像に対してローパスフィルタをかけた画像を生成する。ここで、ローパスフィルタ係数（タップ数）は、予め周波数特性の異なるものを複数規定しておく。つまり、ステップＳ５０３では、ノイズ低減画像に対してそれぞれのローパスフィルタ係数（タップ数）をかけた複数の画像が生成される。

ステップＳ５０４では、ステップＳ５０３にて生成された、ローパスフィルタをかけた複数のノイズ低減画像のそれぞれについて、対応する色差信号を生成する。ステップＳ５０５では、ステップＳ５０２で生成した色差信号と、ステップＳ５０４で生成した色差信号と、を合成して、色付きを抑制した色差信号を生成する。

ステップＳ５０６では、ステップＳ５０２で生成した色差信号と、ステップＳ５０５で生成した色差信号と、を色付きを抑制したい領域情報に基づいて合成する。具体的には、ステップＳ５０２で生成した色差信号において、色付きを抑制したい領域のみステップＳ５０５で生成した色差信号に置換する。

このように、本実施形態によれば、ノイズ低減処理後の画像に発生している色付きを抑制することができ、これにより画像全体の色解像感を劣化させることなく、色ノイズと高周波領域の色付き（偽色）を効果的に低減した画像が得られる。

［第２の実施形態］
以下では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態では、ノイズ低減処理にパッチベースＮＲの一つであるＮＬベイズ法を用い、第１の実施形態とは異なる方法で色ノイズと色付き（偽色）をより効果的に低減する方法について説明する。

（ＮＬベイズ法の処理の概要）
先ず、本実施形態の前提となる、パッチベースノイズ低減処理手法の一つであるＮＬベイズ法によるノイズ低減処理ついて説明する。まず、入力画像における複数の画素を着目画素として設定し、着目画素毎にパッチ集合を生成する。次に、生成したパッチ集合に含まれる各パッチのノイズを低減する。まず、パッチの各画素の平均値と、各パッチの任意の２つの画素値の積をパッチ集合に含まれる全てのパッチについて和をとり計算する共分散行列と、を算出する。この平均値と共分散行列により、ノイズのない理想的な画像の画素値が従う事前確率をモデル化（仮定）する。次に、「事後確率＝尤度×事前確率」で表わされるベイズの定理を用いて、事後確率が最大となるようなパッチの画素値を決定する。すなわち、モデル化された事前確率と、尤度に相当する予め測定された画像のノイズ分散（カメラの撮像センサに依拠）とを上記ベイズの定理に当て嵌め、事後確率を最大化するように各パッチの画素値を決定する。これにより、ノイズが低減されたパッチが得られる。そして、ノイズ低減後のパッチそれぞれを合成して、ノイズが低減された出力画像を生成する。このパッチ合成処理はアグリゲーションなどと呼ばれる。具体的には、ノイズ低減後の各パッチを入力画像における元のパッチ位置に戻し、複数のパッチが重なる画素については平均化、あるいは類似度に基づいた加重平均を行う。以上が、ＮＬベイズ法によるノイズ低減処理の内容である。

本実施形態では、まず上述したＮＬベイズ法によるノイズ低減処理を行い、色ノイズ低減画像を生成する。そして、色ノイズ低減画像とＮＬベイズ法によるノイズ低減処理における類似パッチ情報とに基づいて、色ノイズ低減画像の高周波領域に発生している色付き（偽色）を低減した色ノイズ低減信号を生成する。

（用語の定義）
ここで、本実施形態における用語について説明する。「パッチ」は、入力画像の一部に相当する矩形の領域を意味し、複数の画素で構成される。入力画像内の画素のうち着目画素を基準とする複数の画素で構成されたパッチを、以下では「着目パッチ」と呼ぶこととする。そして着目パッチについてノイズ低減を行うときに参照する、着目パッチの周辺に設定するパッチを「参照パッチ」と呼ぶこととする。参照パッチは参照画素を基準とする複数の画素で構成されたパッチである。１つの着目画素に対して複数の参照画素が設定されるため、１つの着目画素あたり複数の参照パッチが存在することになる。前述したパッチ集合は、着目パッチと、複数の参照パッチのうち、着目パッチとの類似度が高い参照パッチ（類似パッチ）との集合である。

（画像処理装置の機能構成例）
本実施形態に係る画像処理装置１００の、色ノイズ及び高周波領域の色付き（偽色）低減処理に係る機能構成例について、図６のブロック図を用いて説明する。撮像装置１０５、ＨＤＤ１０３、外部メモリ１０７等から入力される入力画像は、処理部６０１に入力される。入力画像は、第１の実施形態と同様である。

処理部６０１は、入力画像に対してパッチベースノイズ低減処理を行うことでノイズ低減画像を生成し、該生成したノイズ低減画像を出力する。パッチベースノイズ低減処理の詳細については後述する。

生成部６０３は、処理部６０１から出力されたノイズ低減画像から、縮小倍率が１／２、１／４、１／８と段階的（階層的）に大きくなっていく階層画像を生成する。ここで、階層画像とは、画像ピラミッドを構成する縮小画像群を意味する。縮小画像は公知の縮小処理技術を用いて生成すればよい。ただし、このときエイリアスが発生しないようにローパスフィルタをかけてから縮小するか、エイリアスが考慮されている縮小処理を用いる。階層の深さは自由に規定してよく、少なくとも１枚の縮小画像があれば本実施形態は実施可能であるが、効果を最大化するためには、出来るだけ階層を深くして複数枚の縮小画像を生成することが望ましい。その理由は、対象領域とその周囲の被写体に応じて、色付きを抑制した信号を作るための最適な縮小倍率が異なるからである。なお、ノイズ低減処理後の画像から階層画像を生成するのではなく、入力画像から階層画像を生成した上でノイズ低減処理を行ってもよい。

第二生成部６０４は、生成部６０３で生成したそれぞれの階層画像（縮小画像）に対して、色差信号を生成する。色差信号の生成方法は第二生成部２０４による色信号の生成方法と同様である。

処理部６０５は、第二生成部６０４で生成した色差信号に基づいて色付きを抑制した色差信号を生成する。具体的には、第二生成部６０４で生成した色差信号のうち、最も縮小率が高い色差信号をＣｒ_ｄｏｗｎ、Ｃｂ_ｄｏｗｎ、その次に縮小率が高い（＝縮小率が一段階小さい）色差信号をＣｒ_ｕｐ、Ｃｂ_ｕｐとすると、まずＣｒ_ｄｏｗｎ、Ｃｂ_ｄｏｗｎをＣｒ_ｕｐ、Ｃｂ_ｕｐと同じ解像度になるように拡大する。拡大後の色差信号をＣｒ_{ｄｏｗｎ’}、Ｃｂ_{ｄｏｗｎ’}とする。拡大処理は、例えばバイリニア補間などの公知技術を用いればよい。そして、以下の式（８）に示すように、拡大したＣｒ_{ｄｏｗｎ’}、Ｃｂ_{ｄｏｗｎ’}及びＣｒ_ｕｐ、Ｃｂ_ｕｐについて、色差の大きさｃｄを算出する。ここで、色差の大きさは必ずしも以下の式（８）に従った方法に限るものではなく、例えば二乗和でなく絶対値和で算出してもよい。また、色差の大きさは彩度の大きさに相当しているため、その他の彩度を算出する手法を用いてもよい。

そして、ｃｄ_ｕｐ、ｃｄ_{ｄｏｗｎ’}を比較して、大きさの小さい方の色差に対応するＣｒ、Ｃｂ信号を合成結果とする。さらに、その合成結果をＣｒ_ｄｏｗｎ、Ｃｂ_ｄｏｗｎとして、その次に縮小率が高い（＝縮小率が一段階小さい）色差信号をＣｒ_ｕｐ、Ｃｂ_ｕｐとして、縮小率が最も小さい縮小画像に対応する色差信号との合成を終えるまで、同様の処理を順次繰り返していく。これにより、色付きを抑制した色差信号を生成する。図１４は、色付きを抑制した色差信号を生成するまでの処理の流れを図解した模式図である。

合成部６０６は、第一生成部２０２で生成した色差信号と、処理部６０５で生成した色差信号と、を色付きを抑制したい領域情報に基づいて合成する。具体的には、第一生成部２０２で生成した色差信号において、色付きを抑制したい領域のみ処理部６０５で生成した色差信号に置換すればよい。色付きを抑制したい領域情報については、例えば公知の高周波領域検出技術を用いることができる。また、色付きを抑制したい領域情報として偽色・モアレ領域の検出結果を利用することなどが考えられる。しかし、処理部６０１で得られる類似パッチ情報を用いることで、より理想的な合成結果を得ることができる。なぜならば、類似パッチが少ないことが、主に高周波領域で発生する色付き（偽色）の根本的な原因だからである。類似パッチ情報とは、対象領域（パッチ）と類似しているパターンが周囲あるいは画像全体にどれだけあるかを示したものである。一般的に、高周波領域では類似パッチがあまり見つからないため、高周波領域検出結果を活用してもうまくいく。ただし、高周波領域でも類似パターンがたくさん存在することもある。類似パターンが多く存在する高周波領域では、高精度にノイズ低減することが可能であり、そもそも課題となる色付きが発生しない。したがって、そのような場合には色付きを抑制した色差信号に置換しない方がよいため、類似パッチ情報に基づいて合成した方がよい。具体的には、例えば類似パッチ数が既定した数より少ない領域のみ処理部６０５で生成した色差信号に置換すればよい。また、類似パッチ数に応じて第一生成部２０２で生成した色差信号と処理部６０５で生成した色差信号とをアルファブレンドすることなども考えられる。これにより、画像全体の色解像感は劣化させずに、色付きの目立つ箇所のみをうまくボカして色付きを抑制することが可能となる。なお、高周波領域検出結果や色の情報やエッジ判定結果等と類似パッチ情報とを組み合わせて色付きを抑制したい領域情報とすることも考えられる。

（処理部６０１の詳細）
処理部６０１は、パッチベースノイズ低減処理によってノイズ低減された入力画像（ノイズ低減画像）を生成して出力する。処理部６０１の詳細な機能構成例について、図７のブロック図を用いて説明する。

画素設定部７０１は、入力画像データに対して、任意の画素を指定する座標値を生成し、着目画素と着目画素に対応させるべき複数の参照画素を設定する。パッチ設定部７０２は、設定された着目画素及び複数の参照画素に基づいて、着目パッチと複数の参照パッチとを設定する。

集合生成部７０３は、複数の参照パッチの中から着目パッチとの類似度の高い参照パッチ（類似パッチ）を選別して、類似パッチ画像集合を生成する。また、類似パッチの情報を保持しておく。集合生成部７０３の詳細については後述する。

推定部７０４は、着目パッチ（類似画像パッチ集合）のノイズ量パラメータを推定する。ノイズ量パラメータの推定の詳細については後述する。推定部７０５は、類似画像パッチ集合と推定部７０４で推定されたノイズ量パラメータとに基づいて、着目パッチ（とその類似パッチ）のノイズのない理想的な画素値が従う事前確率をモデル化（仮定）する。推定部７０５による事前確率推定の詳細については後述する。

低減処理部７０６は、類似画像パッチ集合を構成する各パッチのノイズを低減する。低減処理部７０６による画像パッチノイズ低減処理の詳細については後述する。画像合成部７０７は、ノイズが低減された類似画像パッチ集合を構成する各パッチの合成（アグリゲーション）を行う。画像合成部７０７による画像合成処理の詳細については後述する。

（集合生成部７０３の詳細）
集合生成部７０３は、パッチ設定部７０２で設定された複数の参照パッチの中から着目パッチとの類似度の高い参照パッチを選別し、類似画像パッチ集合を生成する。集合生成部７０３の詳細な機能構成例について、図８のブロック図を用いて説明する。

算出部８０１は、パッチ設定部７０２で設定された各参照パッチに対して、着目パッチとの類似度を算出する。具体的には、Ｉを着目パッチ、Ｔを参照パッチとしたときに、該類似度は、例えば以下の式（９）、式（１０）を用いて算出することができる。なお、式（９）は差分絶対値和（SAD：Sum of Absolute Difference)、式（１０）は差分二乗和（SSD：Sum of Squared Difference）を示している。式（９）、式（１０）では、パッチサイズをＭ×Ｍ、一方のパッチ内の画素の位置（ｉ，ｊ）における画素値をＩ（ｉ，ｊ）、もう一方のパッチ内の画素の位置（ｉ，ｊ）における画素値をＴ（ｉ，ｊ）とする。

式（９）又は式（１０）で算出した類似度は、値が小さいほど着目パッチと参照パッチとの類似性が高くなることを意味している。選別部８０２は、算出部８０１で算出した類似度に基づいて、参照パッチの中から一部を選別し、着目パッチと選別した参照パッチとに基づいて類似画像パッチ集合を生成する。このとき、類似度の高い上位Ｎ枚を選別しても良いし、式（９）又は式（１０）で算出された類似度を閾値と比較して、条件を満たした参照パッチを選別しても良い。ただし、類似画像パッチ集合を構成するパッチ数は事前確率をモデル化（仮定）する上で大きな影響を与える。例えば、類似度の低い参照パッチを含めて類似画像パッチ集合を生成すると、事前確率の精度の低下に繋がってしまう。一方で、類似度の高いパッチのみを選別して類似画像パッチ集合を生成すると、類似度の高い参照パッチが十分に存在しない場合、パッチ枚数が足りない（所定の枚数に満たない）ことに起因してノイズ低減処理が破綻してしまう。そこで、本実施形態では、類似度の高い上位Ｎ個を選別する方式を採用する。Ｎは類似画像パッチ集合を構成する枚数であり、パラメータＮはノイズ低減処理が成立し、好適な結果が得られる数値を入力画像あるいは入力画像のノイズ量（例えば入力画像の撮影感度）に応じて定めておく。

保持部８０３は、算出部８０１で算出した類似度を閾値と比較して、条件を満たした参照パッチの枚数をＲＡＭ１０２やＨＤＤ１０３等に保存する。具体的には、類似度が閾値以上の参照パッチの枚数を保存する。これは、選別部８０２で選別した類似画像パッチ集合を構成するパッチ数とは必ずしも一致しないものである。保持部８０３で保持する枚数の情報は、着目パッチと真に類似しているパッチの枚数を意味している。

（ノイズ量パラメータの推定の詳細）
推定部７０４は、着目パッチ（類似画像パッチ集合）のノイズ量パラメータを推定する。デジタル撮像装置の撮像素子（センサ）では、ノイズ量が入射した光量に依存するようなノイズが発生する。センサのノイズモデルは、正確には温度や露光時間にも依存し、光量の二次の項も存在するため、厳密なモデル化及びパラメータの推定は困難である。しかしながら、ほとんどの条件においては、例えば以下の式（１１）に示すような簡単な一次式近似によって、ノイズ低減処理に用いる上では実用上十分な精度でノイズ量パラメータを推定することが可能である。

ここで、σ_Ｉ ^２は入力画像の画素値に対応するノイズ量、ｋとＩ_０は入力画像を撮像したセンサのノイズ特性を表す。ノイズ特性のパラメータは、ノイズ評価用のチャートを撮影して解析する等して、事前に推定しておくものとする。これにより、着目パッチのノイズ量パラメータは、パッチを構成する各画素の画素値と式（１１）に基づいて推定することができる。着目パッチのノイズ量パラメータは、以下の式（１２）で表され、σ_１ ^２、σ_２ ^２、…、σ_ｎ ^２がパッチを構成する各画素のノイズ分散を示している。なお、Σは対角行列（対角成分以外が０）となっているが、これはセンサで発生したノイズが画素毎に独立であることを意味し、ノイズ量が一定の場合にはσ^２という一つのスカラー量で表すことができる。

（事前確率推定の詳細）
推定部７０５は、類似画像パッチ集合と推定部７０４で推定されたノイズ量パラメータとに基づいて、着目パッチ（とその類似パッチ）のノイズのない理想的な画素値が従う事前確率をモデル化（仮定）する。推定部７０５の詳細な機能構成例について、図９のブロック図を用いて説明する。

算出部９０１は、類似画像パッチ集合において、パッチを構成する画素毎に画素値の平均値を算出する。ここで、この先の行列演算のため、図１５に示すようにパッチはベクトルとして表現して扱うものとする。

算出部９０２は、類似画像パッチ集合に基づいて分散共分散行列を算出する。平均ベクトルと分散共分散行列は、

を着目パッチ、

を類似画像パッチ集合を構成するパッチ（着目パッチと着目パッチの類似画像パッチ）、

を類似画像パッチ集合を構成する各パッチの列ベクトル、Ｎ_１を類似画像パッチ集合を構成するパッチの枚数、

を類似画像パッチ集合の平均列ベクトル、

を類似画像パッチ集合の分散共分散行列とすると、以下の式（１３）に基づいて算出することができる。

推定部９０３は、着目パッチ（とその類似パッチ）のノイズのない理想的な画素値が従う事前確率モデルのパラメータを推定する。ＮＬベイズ法では、類似画像パッチ集合（類似パッチ群）が多次元正規分布で表せるものと仮定し、事前確率モデルとして多次元正規分布を用いている。したがって、多次元正規分布を表すパラメータである平均ベクトルと分散共分散行列を求めた。このとき、事前確率モデルのパラメータは、ノイズのある入力画像から推定しなくてはならないことに注意が必要である。すなわち、推定したい事前確率モデルのパラメータは、

であり、

ではない。そこで、入力画像から算出可能な

から以下に示す式（１４）、（１５）の仮定を用いて

を推定する。これにより、ノイズのない理想的な画素値が従う着目パッチ（とその類似パッチ）の多次元正規分布を表すパラメータが推定できる。

（画像パッチノイズ低減処理の詳細）
低減処理部７０６は、類似画像パッチ集合を構成する各パッチのノイズを低減する。ＮＬベイズ法では、「事後確率＝尤度×事前確率」で表わされるベイズの定理を用いて、事後確率が最大となるようなパッチの画素値を決定することで各パッチのノイズ低減結果を得る。具体的には、式（１３）で得られたパラメータに基づいて、以下の式（１６）の行列演算を行えばよい。ここで、

はノイズ低減後のパッチを表し、類似画像パッチ集合を構成する各パッチ

に対して求まる。

なお、式（１６）で算出されたノイズ低減後のパッチ

は１ｓｔＳＴＥＰの結果であり、１ｓｔＳＴＥＰの結果を用いて事前確率モデルを推定し直すことで、さらにノイズ低減精度を向上させた２ｎｄＳＴＥＰの結果を得ることも可能である。

（画像合成処理の詳細）
画像合成部７０７は、ノイズが低減された類似画像パッチ集合を構成する各パッチの合成（アグリゲーション）を行う。具体的には、ノイズ低減後の各パッチを元のパッチ位置に戻し、複数のパッチが重なる画素については平均化を行う。このときの様子を図１０に示した。なお、複数のパッチが重なった際に、重み付き平均を使用してもよく、重みには例えば類似度を用いることが考えられる。以上のようにして、ノイズが低減された画像が得られる。

（メイン処理フロー）
次に、画像処理装置１００による、色ノイズ及び高周波領域の色付き（偽色）低減処理について、同処理のフローチャートを示す図１２を用いて説明する。上記の通り、図５のフローチャートにおける各処理ステップを実行する主体はＣＰＵ１０１である。

ステップＳ１２０１では、入力画像に対してパッチベースノイズ低減処理を行うことでノイズ低減画像を生成して出力する。ステップＳ１２０１におけるパッチベースノイズ低減処理の詳細については後述する。

ステップＳ１２０２では、ステップＳ１２０１で出力されたノイズ低減画像に対し、予め規定した階層数の階層画像を生成する。ステップＳ１２０３では、ステップＳ１２０１で出力されたノイズ低減画像とステップＳ１２０２で生成された階層画像（各縮小画像）に対し、それぞれ対応する画像の色差信号を生成する。

ステップＳ１２０４では、ステップＳ１２０３で生成した階層画像（各縮小画像）に対応する色差信号を合成して、色付きを抑制した色差信号を生成する。ステップＳ１２０５では、ステップＳ１２０３で生成したノイズ低減画像に対応する色差信号と、ステップＳ１２０４で生成した色付きを抑制した色差信号と、をステップＳ１２０１のパッチベースノイズ低減処理における類似パッチ情報に基づいて合成する。具体的には、ステップＳ１２０３で生成したノイズ低減画像に対応する色差信号について、類似パッチ数が少ない箇所のみステップＳ１２０４で生成した色差信号に置換する。以上説明した処理により、パッチベースノイズ低減処理後の画像に発生している色付きを抑制することができる。

＜ステップＳ１２０１におけるパッチベースノイズ低減処理の詳細＞
ステップＳ１２０１の処理の詳細について、図１３のフローチャートに従って説明する。ステップＳ１３０１では、入力画像のデータサイズのメモリ（カウンタ）をＲＡＭ１０２やＨＤＤ１０３等のメモリに用意する。このカウンタは、アグリゲーション時に複数のパッチが重なるため、各画素に何回（何枚）パッチが積み重ねられたかを記憶するために用いる。

ステップＳ１３０２では、入力画像から任意の画素を指定する座標値を生成し、着目画素と着目画素に対応させるべき複数の参照画素を設定する。参照画素は通常、着目画素の近傍の画素を用いる。具体的には、着目画素を中心とした周囲の探索範囲（矩形領域）に含まれる画素を設定する。このとき、計算量の増大も招くが、一般的に探索範囲はできるだけ大きい方が性能は向上する。その理由は、参照画素を増やすことによって、着目パッチに対する類似度の高い類似パッチがより多く集められることになるからである。

ステップＳ１３０３では、ステップＳ１３０２で設定された着目画素及び複数の参照画素に基づいて、着目パッチと複数の参照パッチとを設定する。なお、パッチサイズは入力画像のノイズ量や被写体領域によって最適なサイズが異なり、例えば３×３、５×５、７×７などを用いる。ここでは、入力画像を撮像したセンサのノイズ特性に基づいてパッチサイズを設定しておくものとする。

ステップＳ１３０４では、ステップＳ１３０３で設定された複数の参照パッチの中から未処理の参照パッチを一つ選ぶ。そして、ステップＳ１３０３で設定された着目パッチと選択した参照パッチとの類似度を算出する。この類似度には、例えばそれぞれのパッチを構成する各画素の画素値の差分二乗和又は差分絶対値和が用いられる。

ステップＳ１３０５では、ステップＳ１３０３で設定された複数の参照パッチの全てが選択されたかどうかを判定する。未選択の参照パッチがある場合はステップＳ１３０４に戻って次の処理対象とする参照パッチを決定する。一方、全ての参照パッチの類似度が算出されていれば、ステップＳ１３０６に進む。

ステップＳ１３０６では、ステップＳ１３０４で算出された類似度に基づいて、着目パッチと類似度の高い上位Ｎ個の参照パッチを選別し、着目パッチと選別した参照パッチとで類似画像パッチ集合を生成する。また、類似度が閾値以上の参照パッチの枚数を保存する。これは、類似画像パッチ集合を構成するパッチ数とは必ずしも一致しないものである。

ステップＳ１３０７では、ステップＳ１３０６で生成した類似画像パッチ集合の平均ベクトルを算出する。ステップＳ１３０８では、ステップＳ１３０６で生成した類似画像パッチ集合の分散共分散行列を算出する。平均ベクトルと分散共分散行列の算出は、上記の式（１３）に従って行う。

ステップＳ１３０９では、着目パッチ（類似画像パッチ集合）を構成する各画素のノイズ量を推定する。具体的には、着目パッチの各画素の画素値を式（１１）に代入してノイズ分散を算出し、ノイズ量パラメータとして式（１２）の形で表す。

ステップＳ１３１０では、平均ベクトルと分散共分散行列とノイズ量パラメータとに基づいて事前確率モデルを推定する。ここで、ノイズのないときに類似画像パッチ集合（類似パッチ群）が多次元正規分布でモデル化できると仮定している。したがって、ノイズのある入力画像に基づいて算出された平均ベクトル、分散共分散行列より、式（１４）、（１５）の仮定を用いて、ノイズのないときの平均ベクトルと分散共分散行列を推定する。

ステップＳ１３１１では、類似画像パッチ集合を構成するパッチの中から未処理のパッチを一つ選択する。そして、選択したパッチについて、式（１６）の行列演算に基づいてノイズを低減する。

ステップＳ１３１２では、全てのパッチが処理されたかどうかを判定する。未処理のパッチがある場合はステップＳ１３１１に戻って次の処理対象とするパッチを決定する。一方、全てのパッチのノイズ低減が完了していれば、ステップＳ１３１３に進む。

ステップＳ１３１３では、ノイズ低減された全てのパッチを保持し、入力画像における各パッチの画素位置に対応するカウンタを更新する。ステップＳ１３１４では、入力画像の全ての画素がステップＳ１３０２で着目画素として設定されたかどうかを判定する。未設定の着目画素がある場合はステップＳ１３０２に戻って次の処理対象とする着目画素を設定する。一方、全ての画素が着目画素として設定されていれば、ステップＳ１３１５に進む。なお、このとき必ずしも入力画像の全ての画素を着目画素として設定する必要はなく、例えば類似画像パッチ集合として一度でも使用されたパッチは着目パッチとしないように設定してもよい。このようにすることで、一般的なケースにおいて、ノイズ低減効果にはそれほど影響を与えずに、処理を大幅に高速化することができる。

ステップＳ１３１５では、ステップＳ１３１３で保持している全てのノイズ低減された類似画像パッチ集合とカウンタに基づいてアグリゲーションを行う。アグリゲーション処理を終え、ノイズ低減画像を生成して本処理を終える。一連のノイズ低減処理の大まかな流れを図１１に示した。

このように、本実施形態によれば、より高精度なノイズ低減処理を行った後のノイズ低減処理画像に発生している色付き（偽色）を、さらに効果的に抑制することができる。これにより、画像全体の色解像感を劣化させることなく、色ノイズと主に高周波領域の色付き（偽色）をより効果的に低減した画像が得られる。

［第３の実施形態］
第１，２の実施形態では、画像処理アプリケーションで処理を行う例を説明したが、この処理は撮像装置で撮影した画像に対して撮像装置内の画像処理ハードウェア上で実行するようにしても構わない。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像を送信し、サーバ装置上で該画像が上記の各実施形態のように処理されてもよい。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１：処理部 ２０２：第一生成部 ２０３：ローパスフィルタ部 ２０４：第二生成部 ２０５：合成部 ２０６：最終合成部

Claims (20)

1. 入力画像の色ノイズと偽色を低減する画像処理装置であって、
   前記入力画像の色ノイズを低減したノイズ低減画像を生成するノイズ低減手段と、
   前記ノイズ低減画像から色差信号を生成する第一生成手段と、
   前記ノイズ低減画像から特性の異なる複数のローパスフィルタをかけた画像を生成するローパスフィルタ手段と、
   前記ローパスフィルタ手段で生成された各画像に対応する色差信号を生成する第二生成手段と、
   前記第一生成手段が生成した色差信号と前記第二生成手段が生成した各色差信号とを色差の大きさに基づいて合成した色差信号を生成する合成手段と、
   前記第一生成手段が生成した色差信号と前記合成手段が生成した色差信号とを、色付きを抑制したい領域情報に基づいて合成する合成処理手段と
   を備えることを特徴とする画像処理装置。
2. 前記第一生成手段は、前記ノイズ低減画像のＧ信号として、Ｂａｙｅｒ配列のＧ１、Ｇ２に対応する二種類の信号と該二種類の信号の平均値との３つの種類の信号を使用し、大きさが最小値となる色差の色差信号を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第二生成手段は、前記ローパスフィルタ手段で生成された各画像のＧ信号として、Ｂａｙｅｒ配列のＧ１、Ｇ２に対応する二種類の信号と該二種類の信号の平均値との３つの種類の信号を使用し、大きさが最小値となる色差の色差信号を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記大きさが最小値となる色差と前記Ｇ１、Ｇ２の平均値を用いて算出したときの色差とを比較し、この二つの色差信号の符号が反転しているときは色差を０にすることを特徴とする請求項３に記載の画像処理装置。
5. 前記合成手段は、色差又は彩度の大きさが最も小さい色差信号を合成結果とすることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記合成処理手段は、前記第一生成手段が生成した色差信号において、高周波領域のみ前記合成手段が生成した色差信号に置換することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 入力画像の色ノイズと偽色を低減する画像処理装置であって、
   入力画像の色ノイズを低減したノイズ低減画像を生成する低減処理手段と、
   前記ノイズ低減画像から少なくとも一つ以上の縮小画像を含む階層画像を生成する生成手段と、
   前記ノイズ低減画像から色差信号を生成する第一生成手段と、
   前記縮小画像から色差信号を生成する第二生成手段と、
   前記第二生成手段が生成した色差信号を合成した色差信号を生成する合成手段と、
   前記第一生成手段が生成した色差信号と前記合成手段が生成した色差信号とを前記低減処理手段で得られた情報に基づいて合成する合成処理手段と
   を備えることを特徴とする画像処理装置。
8. 前記低減処理手段は、
   前記入力画像を構成する画素のうち、着目画素と該着目画素についての複数の参照画素を設定する手段と、
   前記着目画素を基準とした複数の画素で構成される着目パッチ、前記複数の参照画素それぞれを基準とした複数の画素で構成される複数の参照パッチ、を設定する手段と、
   前記複数の参照パッチの中から前記着目パッチに類似する類似パッチを探索し、前記着目パッチと前記類似パッチとに基づいて類似画像パッチ集合を生成する集合生成手段と、
   前記類似画像パッチ集合に基づいて事前確率を推定する手段と、
   前記類似画像パッチ集合と前記事前確率とに基づいて前記類似画像パッチ集合を構成する各パッチのノイズを低減したパッチを推定する処理手段と、
   前記処理手段で推定されたノイズ低減後のパッチに対して画像合成処理を行うことにより、前記ノイズ低減された画像を合成する手段と
   を備えることを特徴とする請求項７に記載の画像処理装置。
9. 前記集合生成手段は、前記複数の参照パッチの中から前記着目パッチとの類似度を算出する手段と、
   前記類似度の高い参照パッチの情報をメモリに保持する保持手段と、
   前記類似度に基づいて前記類似画像パッチ集合に含める参照パッチを選別する選別手段と
   を有し、
   前記着目パッチと前記選別された参照パッチとに基づいて類似画像パッチ集合を生成することを特徴とする請求項８に記載の画像処理装置。
10. 前記保持手段は、前記類似度が閾値以上の参照パッチの情報をメモリに保持することを特徴とする請求項９に記載の画像処理装置。
11. 前記選別手段は、前記類似度が閾値以上の条件を満たす参照パッチが所定の枚数に満たないとき、前記類似度の高い上位の所定の枚数の参照パッチを前記類似画像パッチ集合に含める参照パッチとして選別することを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記第一生成手段は、前記ノイズ低減画像のＧ信号として、Ｂａｙｅｒ配列のＧ１、Ｇ２に対応する二種類の信号と該二種類の信号の平均値との３つの種類の信号を使用し、大きさが最小値となる色差の色差信号を生成することを特徴とする請求項７乃至１１の何れか１項に記載の画像処理装置。
13. 前記第二生成手段は、前記階層画像を構成する各縮小画像のＧ信号として、Ｂａｙｅｒ配列のＧ１、Ｇ２に対応する二種類の信号と該二種類の信号の平均値との３つの種類の信号を使用し、大きさが最小値となる色差の色差信号を生成することを特徴とする請求項７乃至１２の何れか１項に記載の画像処理装置。
14. 前記第二生成手段は、前記大きさが最小値となる各色差信号と前記２つのＧ信号との平均値を用いて算出した各色差信号との符号がそれぞれ反転していないか比較し、反転している場合はその色差を０とすることを特徴とする請求項１３に記載の画像処理装置。
15. 前記合成手段は、基準となる解像度の縮小画像に対応する色差信号と、該縮小画像よりも縮小率が一段階小さい縮小画像に対応する色差信号と、の合成を行い、前記基準となる解像度の縮小画像に対応する色差信号と前記縮小率が一段階小さい縮小画像に対応する色差信号との彩度に相当する大きさを評価し、前記彩度に相当する大きさの小さい色差信号を合成結果とする処理を、縮小倍率が最も小さい縮小画像に対応する色差信号との合成を終えるまで順次繰り返すことを特徴とする請求項７乃至１４の何れか１項に記載の画像処理装置。
16. 前記合成処理手段は、前記第一生成手段が生成した色差信号と前記合成手段が生成した色差信号と、着目パッチと類似しているパターンが周囲あるいは画像全体にどれだけあるかを示した類似パッチ情報とに基づいて合成することを特徴とする請求項９乃至１５の何れか１項に記載の画像処理装置。
17. 請求項１乃至１６の何れか１項に記載の画像処理装置を有する撮像装置。
18. 入力画像の色ノイズと偽色を低減する画像処理装置が行う画像処理方法であって、
    前記画像処理装置のノイズ低減手段が、前記入力画像の色ノイズを低減したノイズ低減画像を生成するノイズ低減工程と、
    前記画像処理装置の第一生成手段が、前記ノイズ低減画像から色差信号を生成する第一生成工程と、
    前記画像処理装置のローパスフィルタ手段が、前記ノイズ低減画像から特性の異なる複数のローパスフィルタをかけた画像を生成するローパスフィルタ工程と、
    前記画像処理装置の第二生成手段が、前記ローパスフィルタ工程で生成された各画像に対応する色差信号を生成する第二生成工程と、
    前記画像処理装置の合成手段が、前記第一生成工程で生成した色差信号と前記第二生成工程で生成した各色差信号とを色差の大きさに基づいて合成した色差信号を生成する合成工程と、
    前記画像処理装置の合成処理手段が、前記第一生成工程で生成した色差信号と前記合成工程で生成した色差信号とを、色付きを抑制したい領域情報に基づいて合成する合成処理工程と
    を備えることを特徴とする画像処理方法。
19. 入力画像の色ノイズと偽色を低減する画像処理装置が行う画像処理方法であって、
    前記画像処理装置の低減処理手段が、入力画像の色ノイズを低減したノイズ低減画像を生成する低減処理工程と、
    前記画像処理装置の生成手段が、前記ノイズ低減画像から少なくとも一つ以上の縮小画像を含む階層画像を生成する生成工程と、
    前記画像処理装置の第一生成手段が、前記ノイズ低減画像から色差信号を生成する第一生成工程と、
    前記画像処理装置の第二生成手段が、前記縮小画像から色差信号を生成する第二生成工程と、
    前記画像処理装置の合成手段が、前記第二生成工程で生成した色差信号を合成した色差信号を生成する合成工程と、
    前記画像処理装置の合成処理手段が、前記第一生成工程で生成した色差信号と前記合成工程で生成した色差信号とを前記低減処理工程で得られた情報に基づいて合成する合成処理工程と
    を備えることを特徴とする画像処理方法。
20. コンピュータを、請求項１乃至１６の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。