JP2013242830A - 画像処理装置、画像処理プログラム、画像処理方法 - Google Patents

Abstract

【課題】 フィルタリング処理後の画像の色ずれを補正できる。
【解決手段】 画像処理装置１０は、処理対象画像３１を特徴付ける画像情報を取得する画像情報取得部１０８−２と、処理対象画像３１にフィルタリング処理を実行するフィルタリング処理部１０８−５と、処理対象画像３１を複数の補正領域に分割する分割部１０８−８と、補正領域の画素の画素値の平均値を補正領域平均値として算出する平均値算出部１０８−９と、補正領域の画素の画素値を補正する補正部１０８−１０と、を有する。補正部１０８−１０は、少なくとも、フィルタリング処理部１０８−５がフィルタリング処理を実行する前後に平均値算出部１０８−９が算出した補正領域平均値を用いて、補正領域に含まれる画素の画素値を補正する画像情報を取得する。
【選択図】図５

Description

本発明は、画像データに含まれるノイズを低減するフィルタリング処理機能を備える画像処理装置と画像処理プログラムと画像処理方法に関するものである。

デジタルカメラやスキャナ等の撮像装置により撮影された画像データ（以下「画像」ともいう。）には、撮像装置に含まれる撮像素子や回路の特性上、ショットノイズ、暗電流ノイズなどのノイズが含まれる。これら撮影された画像から高画質の画像を得るために、画像中のノイズを低減する必要がある。

しかし、画像に対して単純にローパスフィルタを用いてノイズを低減すると、エッジなどの画像中の重要な要素も同時に失われてしまい、画質が劣化する。そこで、画像データのノイズ低減においては、画像の領域の特性に応じて、適応的にノイズ低減を行うことが必要となる。

画像データに関するノイズ低減を行うフィルタリング処理技術の一つとして、εフィルタが考案されている（非特許文献１参照。）。εフィルタでは、注目画素との信号差が一定閾値以下となる周辺画素をフィルタ処理に用いることで、エッジなどの信号差の大きい成分を保存しつつノイズを低減することができる。

また、カラー画像に対する信号依存性のノイズ低減を、より少ない計算コストで実現する技術が知られている（特許文献１参照。）。この特許文献１の技術は、εフィルタに準ずる原理で注目画素周辺の類似画素群を選択して、その類似画素群の性質をεフィルタの演算結果と処理対象画素値との差分の変換処理に反映させる。このような特許文献１の技術は、エッジ以外で細かな信号差が発生することで目立ちやすい画像中の輝度ノイズに対しては有用である。

さらに、画像のエッジ部分に影響を与えることなく平坦部の色ノイズ除去を行う技術として、補正の目標値を算出して色差信号を特定の値に収束するように補正する技術が知られている（特許文献２参照。）。

しかし、従来の技術は、補正領域と未補正領域の段差がなくなるように補正するものであり、画像に対してフィルタリング処理を繰り返すことにより、フィルタリング処理後の画像に色ずれが生じるという問題がある。

本発明は上記の課題に鑑みてなされたものであって、フィルタリング処理後の画像の色ずれを補正できる画像処理装置と画像処理プログラムと画像処理方法を提供することを目的とする。

本発明は、処理対象画像に含まれるノイズを低減するために処理対象画像に対してフィルタリング処理を行う画像処理装置であって、処理対象画像を特徴付ける画像情報を取得する画像情報取得部と、処理対象画像に対して、フィルタリング処理を実行するフィルタリング処理部と、処理対象画像を複数の補正領域に分割する分割部と、補正領域に含まれる画素の画素値の平均値を補正領域平均値として算出する平均値算出部と、補正領域に含まれる画素の画素値を補正する補正部と、を有してなり、補正部は、少なくとも、フィルタリング処理部がフィルタリング処理を実行する前に平均値算出部が算出した補正領域平均値と、フィルタリング処理部がフィルタリング処理を実行した後に平均値算出部が算出した補正領域平均値と、のいずれか一方を用いて、補正領域に含まれる画素の画素値を補正する、ことを特徴とする。

本発明によれば、フィルタリング処理後の画像の色ずれを補正できる。

本発明に係る画像処理装置の実施の形態を示す撮像装置の正面図である。 上記撮像装置の上面図である。 上記撮像装置の背面図である。 上記撮像装置の電気的制御系統の例を示す機能ブロック図である。 上記撮像装置における画像処理装置の機能ブロック図である。 上記画像処理装置による色ずれ補正処理の概略を示す模式図である。 上記画像処理装置によるフィルタリング処理を示すフローチャートである。 処理対象画像の一例を示す図である。 上記画像処理装置により算出された注目画素との信号値の差分の絶対値の一例を示す図である。 上記画像処理装置により抽出された類似画素の一例を示す図である。 抽出画素平均値と、分散の算出を模式的に説明する図である。 上記画像処理装置により算出された抽出画素平均値の一例を示す図である。 上記フィルタリング処理における画素値に対するノイズの分散を示すグラフである。 上記フィルタリング処理における類似画素群の抽出画素平均値に対するノイズ量の推定関数を示すグラフである。 抽出画素平均値と処理対象画素値との差分を一次元の特定方向に射影して行う加重加算の一例を示す図である。 上記フィルタリング処理の処理回数に対するノイズ量の推定関数を示すグラフである。 上記画像処理装置のノイズ低減処理におけるフィルタリング処理の処理回数を決定するテーブルの一例を示す図である。 上記色ずれ補正処理を示すフローチャートである。 上記色ずれ補正処理における分割部による領域分割処理の遷移の一例を示す模式図である。 上記領域分割処理における補正領域の画素数と階調値との関係を示すヒストグラムの一例を示す図である。 上記色ずれ補正処理における画素値加算処理の一例を示す模式図である。 上記色ずれ補正処理における画素値加算処理で用いる補正値テーブルの一例を示す図である。

以下、本発明に係る画像処理装置と画像処理プログラムと画像処理方法の実施の形態について、図面を参照しながら説明する。

なお、本発明に係る画像処理装置は、後述するように、撮像装置が撮影した画像データのノイズを低減するフィルタリング処理を行う装置である。画像処理装置の実現方法としては、処理対象の画像データを撮影する撮像装置の一機能として実現されるようにしてもよいし、あるいは、撮像装置とは別の装置として実現されるようにしてもよい。ここで、以下の説明では、撮像装置の一機能として画像処理装置が実現される場合を例に説明する。

●画像処理装置の実施の形態●
図１は、画像処理装置の実施の形態を示す図であり、画像処理装置としての撮像装置の正面図である。図１において、撮像装置１の筐体であるカメラボディＣＢの正面には、ストロボ発光部３、ファインダ４の対物面、リモコン受光部６及び撮像レンズを含む撮像光学系を構成する鏡胴ユニット７が配置されている。カメラボディＣＢの一方の側面部には、メモリカード装填室及び電池装填室の蓋２が設けられている。

図２は、撮像装置１の上面図である。図２において、カメラボディＣＢの上面には、レリーズスイッチＳＷ１、モードダイヤルＳＷ２及びサブ液晶ディスプレイ（サブＬＣＤ）（以下「液晶ディスプレイ」を「ＬＣＤ」という。）１１が配置されている。

図３は、撮像装置１の背面図である。図３において、カメラボディＣＢの背面には、ファインダ４の接眼部、ＡＦ用発光ダイオード（以下「発光ダイオード」を「ＬＥＤ」という。）８、ストロボＬＥＤ９、被写体画像と拡大画像及び各種設定画面を表示する表示手段であるＬＣＤモニタ１０、電源スイッチ１３、広角方向ズームスイッチＳＷ３、望遠方向ズームスイッチＳＷ４、セルフタイマの設定及び解除スイッチＳＷ５、メニュースイッチＳＷ６、上移動及びストロボセットスイッチＳＷ７、右移動スイッチＳＷ８、ディスプレイスイッチＳＷ９、下移動及びマクロスイッチＳＷ１０、左移動及び画像確認スイッチＳＷ１１、ＯＫスイッチＳＷ１２、クイックアクセススイッチＳＷ１３、が配置されている。

●撮像装置の機能ブロック●
次に、撮像装置１の機能ブロックの例について説明する。図４は、撮像装置１の機能構成例を示す機能ブロック図である。撮像装置１の各種動作（処理）は、デジタル信号処理ＩＣ（集積回路）等で構成されるデジタルスチルカメラプロセッサ１０４（以下「プロセッサ１０４」という。）と、プロセッサ１０４において動作する撮像プログラムによって制御される。画像処理手段であるプロセッサ１０４は、第１のＣＣＤ（電荷結合素子）信号処理ブロック１０４−１と、第２のＣＣＤ信号処理ブロック１０４−２と、ＣＰＵ（中央処理ユニット）ブロック１０４−３と、ローカルＳＲＡＭ（ＳＲＡＭ：Static Random Access Memory）１０４−４と、ＵＳＢ（Universal
Serial Bus）ブロック１０４−５と、シリアルブロック１０４−６と、ＪＰＥＧコーデック（ＣＯＤＥＣ）ブロック１０４−７と、リサイズ（ＲＥＳＩＺＥ）ブロック１０４−８と、ＴＶ信号表示ブロック１０４−９と、メモリカードコントローラブロック１０４−１０と、を有してなる。これら各ブロックは相互にバスラインで接続されている。

プロセッサ１０４の外部には、ＲＡＷ−ＲＧＢ画像データ、ＹＵＶ画像データ及びＪＰＥＧ画像データを保存するためのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１０３、ＲＡＭ１０７、内蔵メモリ１２０及び撮像プログラムである制御プログラムが格納されているＲＯＭ１０８、が配置されており、これらはバスラインを介してプロセッサ１０４に接続している。プロセッサ１０４は、ＲＯＭ１０８に格納されている各種制御プログラムを実行し、各種制御プログラムによる機能を実現する。ＳＤＲＡＭ１０３は、フレームメモリに相当する。ＲＯＭ１０８に格納されている各種制御プログラムには、本発明に係る画像処理プログラム２０が含まれる。つまり、撮像装置１において、ＲＯＭ１０８に格納される画像処理プログラム２０をプロセッサ１０４に実行させることで、後述する本発明に係る画像処理方法が実現される。

プロセッサ１０４は、主にＣＰＵブロック１０４−３等がバスで接続されたコンピュータを実体とする。ＣＰＵブロック１０４−３がＲＯＭ１０８に記憶された画像処理プログラム２０を実行することで、画像データに対して以下に説明するノイズ低減処理と色ずれ補正処理とが施される。

なお、画像処理プログラム２０に代えて、ＡＳＩＣ（Application
Specific Integrated Circuit）等のハードウェア（不図示）によりノイズ低減処理や色ずれ補正処理を実現してもよい。

画像処理プログラム２０は、あらかじめ、ＲＯＭ１０８に記憶される。ここで、画像処理プログラム２０は、メモリカード１９２に記憶させてもよい。この場合、画像処理プログラム２０は、メモリカードスロット１９１を介してＲＯＭ１０８に読み込ませることができる。あるいは、画像処理プログラム２０は、ネットワーク（不図示）を介してダウンロードさせて、ＲＯＭ１０８に読み込ませてもよい。

鏡胴ユニット７は、ズーム（ＺＯＯＭ）レンズ７−１ａを有するズーム光学系７−１、フォーカス（ＦＯＣＵＳ）レンズ７−２ａを有するフォーカス光学系７−２、絞り７−３ａを有する絞りユニット７−３を備える。また、鏡胴ユニット７は、メカニカルシャッタ（メカシャッタ）７−４ａを有するメカシャッタユニット７−４、を備える。これらの鏡胴ユニット７の要素により、撮像光学系が構成される。

ズーム光学系７−１は、ズーム（ＺＯＯＭ）モータ７−１ｂによって駆動される。また、フォーカス光学系７−２は、フォーカスレンズ移動手段としてのフォーカス（ＦＯＣＵＳ）モータ７−２ｂによって駆動される。また、絞りユニット７−３は、絞りモータ７−３ｂによって駆動される。さらに、メカシャッタユニット７−４は、メカシャッタモータ７−４ｂによって駆動される。

ズームモータ７−１ｂ、フォーカスモータ７−２ｂ、絞りモータ７−３ｂ及びメカシャッタモータ７−４ｂの各モータは、モータードライバ７−５によって駆動される。モータードライバ７−５はプロセッサ１０４のＣＰＵブロック１０４−３によって動作が制御される。

鏡胴ユニット７を構成するズームレンズ７−１ａとフォーカスレンズ７−２ａは、撮像素子であるＣＣＤ（Charge Coupled Device）１０１の受光面上に被写体像を結像させる撮像レンズを構成する。ＣＣＤ１０１は、受光面に結像された被写体像を電気的な画像信号に変換してＦ／Ｅ−ＩＣ（フロントエンドＩＣ）１０２に出力する。

なお、本実施の形態において、撮像素子は、ＣＣＤに限らず、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いてもよい。

Ｆ／Ｅ−ＩＣ１０２は、ＣＤＳ（相関２重サンプリング部）１０２−１、ＡＧＣ（自動利得制御部）１０２−２及びＡ／Ｄ（アナログ−デジタル）変換部１０２−３を有する。Ｆ／Ｅ−ＩＣ１０２は、被写体像から変換された画像信号に対して、所定の処理を施し、デジタル信号に変換する。変換されたデジタル画像信号は、ＣＣＤ信号処理ブロック１０４−１に入力される。これらの信号処理動作は、プロセッサ１０４のＣＣＤ信号処理ブロック１０４−１から出力されるＶＤ信号（垂直駆動信号）とＨＤ信号（水平駆動信号）により制御される。また、これらの信号処理動作は、ＴＧ（タイミングジェネレータ）１０２−４を介して制御される。

ＣＣＤ信号処理ブロック１０４−１は、ＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２を経由して入力されたデジタル画像データに対して、ホワイトバランス調整及びγ調整等の信号処理を行うとともに、ＶＤ信号及びＨＤ信号を出力する。

また、ＣＰＵブロック１０４−３は、不図示のストロボ回路を制御して動作させることによってストロボ発光部３から照明光を発光させる。

ＵＳＢブロック１０４−５は、ＵＳＢコネクタ１２２に結合される。シリアルブロック１０４−６は、シリアルドライバ回路１２３−１を介してＲＳ−２３２Ｃコネクタ１２３−２に結合される。

ＴＶ信号表示ブロック１０４−９は、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に結合され、ビデオアンプ（ＡＭＰ）１１８を介してビデオジャック１１９にも結合される。

メモリカードコントローラブロック１０４−１０は、メモリカードスロット１９１のカード接点に結合されている。メモリカード１９２がメモリカードスロット１９１に装填されると、メモリカードスロット１９１の接点がメモリカード１９２の接点に接触して電気的に接続される。その結果、装填されたメモリカード１９２には、画像ファイルが記憶される。

●撮像装置の動作●
次に、撮像装置１の動作について説明をする。図１から図３に示した撮像装置１において、モードダイヤルＳＷ２を操作し、「記録モード」を選択すると、撮像装置１は記録モードでの動作を開始する。より詳しくは、図３に示した操作ｋｅｙユニット（ＳＷ１〜ＳＷ１３）に含まれるモードダイヤルＳＷ２の状態が記録モード−オンになったことを、ＣＰＵブロック１０４−３が検知することで、記録モードでの動作が開始する。

ＣＰＵブロック１０４−３はモータードライバ７−５を制御し、鏡胴ユニット７を撮像可能な位置に移動させる。さらに、ＣＣＤ１０１、Ｆ／Ｅ−ＩＣ１０２及びＬＣＤモニタ１０等の各部に電源が投入されて動作が開始される。各部の電源が投入されると、ファインダモードでの動作が開始する。

ファインダモードで動作中の撮像装置１では、撮像レンズを介してＣＣＤ１０１の受光面に結像された被写体像が画像信号に変換される。変換された画像信号は、ＣＤＳ１０２−１に出力される。このアナログＲＧＢ信号は、ＡＧＣ（自動利得制御回路）１０２−２を介してＡ／Ｄ変換器１０２−３にてデジタル画像信号に変換される。

このデジタル画像信号に含まれるＲ・Ｇ・Ｂの各信号は、プロセッサ１０４内の第２のＣＣＤ信号処理ブロック１０４−２が具備するＹＵＶ変換手段によって、ＹＵＶ画像データに変換される。

ＹＵＶ画像データは、フレームメモリとしてのＳＤＲＡＭ１０３に記録される。なお、第２のＣＣＤ信号処理ブロック１０４−２は、ＲＧＢ画像信号に対してフィルタリング処理等の適切な処理を施してＹＵＶ画像データへと変換する。

ＹＵＶ画像データは、ＣＰＵブロック１０４−３によって読み出されて、ビデオ信号表示ブロック１０４−９を介してビデオアンプ１１８及びビデオジャック１１９に送られて、これに接続されたＴＶ（テレビジョン）にて表示される。

また、ＣＰＵブロック１０４−３によって読み出されたＹＵＶ画像データは、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に送られて表示に供される。この処理が１／３０秒間隔で行われて表示が更新され、撮影者が撮像対象とする被写体をＬＣＤモニタ１０の表示によって視認しながら撮像することができるファインダモードでの動作となる。

ＣＣＤ１０１は複数の駆動モード（駆動条件）を設定することができる。この駆動モードによって、ＣＣＤ１０１から出力される画像信号の出力条件を変更することができる。駆動モードには、例えば、以下のものがある。まず、「モード１」として、『水平画素の「加算と間引き」をせずに、垂直画素の「加算と間引き」もしないモード』がある。また、「モード２」として、『水平画素を「２画素加算」し、垂直画素を「２画素加算」するモード』がある。また、「モード３」として、『水平画素を「４画素加算」し、垂直画素を「２画素間引き」するモード』がある。さらに、「モード４」として、『水平画素の「加算と間引き」をせず、垂直画素を「４画素加算」とするモード』がある。

●画像処理装置の機能●
図５は、撮像装置１によって実現される画像処理装置１００の機能ブロック図の一例である。以下の画像処理装置１００の各手段は、ＣＰＵブロック１０４−３が画像処理プログラム２０を実行することで実現される。

画像処理装置１００は、後述するフィルタリング処理を行うフィルタリング処理手段１００ａと、後述する色ずれ補正処理を行う色ずれ補正処理手段１００ｂとを有してなる。

フィルタリング処理手段１００ａは、画像取得部１０８−１、画像情報取得部１０８−２、カメラ設定情報記憶部５１、処理回数算出部１０８−３、処理回数カウント部１０８−４、フィルタリング処理部１０８−５、加重加算部１０８−６、ノイズ分散推定関数記憶部４１、フィルタリング補正部１０８−７を有する。

フィルタリング処理部１０８−５は、画像取得部１０８−１が取得した画像データ（以下「処理対象画像３１」という。）を入力データとして、画像情報取得部１０８−２が取得した画像情報に基づいて処理回数算出部１０８−３が算出した処理回数のフィルタリング処理を繰り返し行う。加重加算部１０８−６は、フィルタリング処理部１０８−５が処理した処理対象画像３１に対して、抽出画素平均値と画素値との加重加算を行う。フィルタリング補正部１０８−７は、加重加算部１０８−６が算出した加重加算値を処理対象画像３１に加算する処理を行うことで、ノイズ低減画像３２を出力する。

一方、色ずれ補正処理手段１００ｂは、分割部１０８−８、領域平均値算出部１０８−９、記憶部１０８−１０、色ずれ補正部１０８−１１を有する。

図６は、画像処理装置１００による色ずれ補正処理の概略を示す模式図である。色ずれ補正処理とは、フィルタリング処理手段１００ａによってフィルタリング処理されたノイズ低減画像３２に対して、フィルタリング処理によって生じた色ずれ（フィルタリング処理前後における所定の領域に含まれる画素の画素値の平均値の相違）を解消するために行われる処理である。

分割部１０８−８は、フィルタリング処理前の処理対象画像３１を複数の補正領域に分割する。

領域平均値算出部１０８−９は、処理対象画像３１と上述のフィルタリング処理を行ったノイズ低減画像３２の少なくともいずれか一方の補正領域に含まれる画素の画素値から、補正領域における各画素の画素値の平均値である補正領域平均値を算出する。

なお、補正領域平均値には、処理前補正領域平均値と処理後補正領域平均値とが含まれる。処理前補正領域平均値とは、フィルタリング処理前の処理対象画像３１の補正領域における各画素の画素値の平均値である。また、処理後補正領域平均値とは、フィルタリング処理後のノイズ低減画像３２の補正領域における各画素の画素値の平均値である。

記憶部１０８−１０は、処理対象画像３１に含まれる処理前補正領域平均値と、ノイズ低減画像３２に含まれる処理後補正領域平均値との少なくともいずれか一方に関連付けられた補正値が記憶されている。

色ずれ補正部１０８−１１は、処理前補正領域平均値と処理後補正領域平均値の少なくともいずれか一方に基づいた補正値を算出する。ここで、色ずれ補正部１０８−１１は、例えば、処理前補正領域平均値と処理後補正領域平均値との差分に基づいて補正値を算出する。あるいは、色ずれ補正部１０８−１１は、記憶部１０８−１０に記憶されている処理前補正領域平均値と処理後補正領域平均値との少なくともいずれか一方に関連付けられた補正値を用いて補正値を定めてもよい。

また、色ずれ補正部１０８−１１は、算出した補正値をノイズ低減画像３２に加算して、フィルタリング処理前後に生じる画素値の平均値の相違を解消した色ずれ補正後画像４０を出力する。

●フィルタリング処理●
次に、撮像装置１が実行する画像データのノイズを低減するための、フィルタリング処理と、このフィルタリング処理の処理回数の決定処理とを含む画像データのノイズ低減処理の一例について説明する。ここでは、一つの画素がＲＧＢの３成分を持つカラー画像から、画素値に大きさが依存するノイズを低減する際に処理対象画像全体に対してフィルタリング処理を繰り返す例を示す。

図７は、画像処理装置１００によるフィルタリング処理を示すフローチャートである。以下、画像処理装置１００によるフィルタリング処理について、図７のフローチャートに沿って説明する。

画像処理装置１００がフィルタリング処理を開始すると、画像取得部１０８−１が、ＳＤＲＡＭ１０３から処理対象画像３１を取得する（Ｓ１０１）。処理対象画像３１は、画像処理装置１００が含まれる撮像装置１によって撮影された画像データであるが、それ以外の画像データ（例えば、他の撮像装置によって撮影された画像データ）でもよい。

処理対象画像３１が取得されると、画像情報取得部１０８−２は、処理対象画像３１から画像情報として撮影時のカメラ設定情報や、画像特性情報を取得する（Ｓ１０２）。

ここで、撮影時のカメラ設定情報は、画像がＪＰＥＧ（Joint
Photographic Experts Group）であればデジタルカメラなどで一般的に付加されるＥｘｉｆ（Exchangeable
Image File Format）情報や、各カメラメーカーが独自に画像データのファイル内に書き込んでいる情報（メーカーノート）から取得することができる情報である。カメラ設定情報から取得する情報としては、例えば、ＩＳＯ（International Organization for Standardization）感度、光源（ＷＢ（White Balance）を含む）情報などがある。

フィルタリング処理部１０８−５が撮像装置１内部の機能としてフィルタリング処理を行う場合には、撮像装置１内のカメラ設定情報記憶部５１に撮影時のカメラ設定情報が保持されている。そのため、画像情報取得部１０８−２は、カメラ設定情報記憶部５１からカメラ設定情報を取得する。

また、画像特性情報は、撮影した処理対象画像３１から輝度値、標準偏差を算出して取得される情報である。画像特性情報の算出方法については後述する。

処理回数算出部１０８−３は、画像情報取得部１０８−２が取得したカメラ設定情報と、画像特性情報に基づいて内蔵メモリ１２０内にある処理回数テーブルとを参照して、フィルタリング処理を繰り返す処理回数を決定する（Ｓ１０３）。処理回数の決定方法については後述する。

処理回数カウント部１０８−４は、フィルタリング処理を行うたびにフィルタリング処理の処理回数を加算して、フィルタリング処理の処理回数をカウントする（Ｓ１０４）。

フィルタリング処理の処理回数が決定されると、フィルタリング処理部１０８−５は、処理対象画像３１に含まれる画素の中から注目画素を選択する（Ｓ１０５）。注目画素の選択方法としては、例えば、ラスタ走査により水平方向に１画素ずつ移動させて注目画素を選択する方法を採用することができる。

図８は、処理対象画像３１の一例を示す図であり、処理対象画像３１を構成する２５個の画素の中から１つの画素３３が注目画素として選択されていることを示している。

ただし、注目画素３３の選択方法は上述のものに限らず、いかなるものであってもよい。

注目画素の決定後、フィルタリング処理部１０８−５は、注目画素の近傍領域から類似画素を抽出する（Ｓ１０６）。類似画素の抽出方法としては、例えば、注目画素を中心としたウィンドウを設定し、注目画素との信号値の差分の絶対値が特定閾値以下のものを抽出する方法を採用することができる。

図９は、画像処理装置１００により算出された注目画素との信号値の差分の絶対値の一例を示す図である。フィルタリング処理部１０８−５は、処理対象画像３１の各画素について、注目画素３３の画素値との差分を算出する。

図１０は、画像処理装置１００により抽出された類似画素の一例を示す図である。図１０に示すように、フィルタリング処理部１０８−５は、注目画素３３の画素値との絶対差分値が所定の閾値、閾値範囲内の画素を類似画素として抽出する。この処理により、画像処理装置１００は、エッジなどの信号値が急峻に変わる部分の信号値の影響を避けることができる。

なお、注目画素との信号値の類似度としては、注目画素との信号値の差分の絶対値に限らず、ＲＧＢ空間におけるユークリッド距離や、その他にも種々の値を基準に用いることができる。

図１１は、抽出画素平均値と、分散の算出を模式的に説明する図である。例えば、図１１に示すように、ウィンドウ内の画素をＬ^＊ａ^＊ｂ^＊空間にマッピングし、その空間でのユークリッド距離を使って類似度を算出してもよい。また、類似度の数値としては、ユークリッド距離に限らずＬｐノルムを使用してもよい。

図１２は、画像処理装置１００により算出された抽出画素平均値の一例を示す図である。フィルタリング処理部１０８−５は、図１０で抽出した類似画素の平均値を抽出画素平均値３４（ＲＧＢの３次元ベクトル）として算出する（Ｓ１０７）。フィルタリング処理部１０８−５は、抽出画素平均値３４を注目画素３３に対応するフィルタリング処理結果とする。

フィルタリング処理部１０８−５は、処理対象画像３１中のすべての画素を注目画素として選択して上述のＳ１０５からＳ１０７の処理を行ったか否かを判定する（Ｓ１０８）。すべての画素を選択した場合は次ステップへ進む。すべての画素を選択していない場合、フィルタリング処理部１０８−５は、Ｓ１０５の処理に戻り、処理対象画像３１中の別の画素を注目画素としてＳ１０５からＳ１０８までの処理を行う。

次に、フィルタリング処理部１０８−５は、処理回数カウント部１０８−４のカウント回数が処理回数算出部１０８−３で算出した処理回数を終了しているか判定する（Ｓ１０９）。算出した処理回数を終了している場合は次ステップに進む。算出した処理回数を終了していない場合はＳ１０４の処理に戻り、算出した処理回数に到達するまでＳ１０４からＳ１０９までの処理を繰り返す。

処理対象画像３１の全ての画素について抽出画素平均値を算出後、加重加算部１０８−６は、処理対象画像３１の各画素において、抽出画素平均値と画素値の加重加算を行う（Ｓ１１０）。この加重加算について定式化すると、処理対象画像３１の画素値ｙ（ＲＧＢ３次元ベクトル）、類似画素群の抽出画素平均値μ（ＲＧＢ３次元ベクトル）、重み係数行列Ｗ（３×３行列）、単位行列Ｉ（３×３行列）を用いて、式（１）で補正値ｘ（ＲＧＢ３次元ベクトル）を算出する。

（１）

補正値ｘは、重み係数行列Ｗの対角成分が１に近いほど抽出画素平均値μに近付き、０に近いほど元の画素値ｙに近付く。処理対象画像３１の平坦な部分やノイズの多い部分でＷを大きく（１に近く）設定すれば、抽出画素平均値μに近付き、より多くのノイズを低減することができる。また、処理対象画像３１のテクスチャのある部分やノイズの少ない部分でＷを小さく設定すれば、元の画素値ｙに近付き、微細な信号成分を残すことができる。このように加重加算を用いることで、局所領域の特性に合わせた適応的なノイズ低減が可能となる。

次に、重み係数行列Ｗは、ＲＧＢごとのノイズの分散τ_Ｒ ^２、τ_Ｇ ^２、τ_Ｂ ^２、類似画素群の抽出画素平均値μ_Ｒ、μ_Ｇ、μ_Ｂ、設計パラメータαを用いて式（２）で算出する。

（２）

ノイズの分散τ_Ｒ ^２、τ_Ｇ ^２、τ_Ｂ ^２は、一定の設計値を用いてもよいし、加重加算の都度に推定してもよい。

図１３は、上記フィルタリング処理における画素値に対するノイズの分散を示すグラフである。Ｓ１１０にてノイズの分散τ^２を推定する方法について説明する。一般にＣＣＤやＣＭＯＳ等の撮像した画像に現れるショットノイズは、画素値が大きくなるにつれてノイズのサイズが大きくなる。このように、画素値とノイズの分散の相関性は高いので、回帰によって画素値からノイズの分散を良好な精度で推定することができる。ただし、真の画素値はノイズ低減画像からは特定できないため、類似画素群の抽出画素平均値μで真の画素値を代替する。

図１４は、フィルタリング処理における類似画素群の抽出画素平均値に対するノイズ量の推定関数を示すグラフである。本実施形態では、このような推定関数をあらかじめ設定しておき、μからτ^２を推定する。

なお、ノイズ量の推定関数は、ノイズ分散推定関数記憶部４１にルックアップテーブルで実装してもよいし、多項式などの関数をノイズ分散推定関数記憶部４１に用意してプロセッサ１０４により計算してもよい。推定関数は、例えばカラーチャート（Macbeth Color Checkerなど）を撮影し、カラーチャートの各カラーパッチの画素値バラツキをノイズと見なすことで、最小二乗法等を利用して同定することができる。カラー画像の場合、ノイズの分散τ_Ｒ ^２、τ_Ｇ ^２、τ_Ｂ ^２に対するノイズ推定関数をＲＧＢ成分のそれぞれに用意する。

また、推定関数が撮影条件によって異なる場合は、撮影条件ごとに別の関数を用意して用いればよい。例えば、ＩＳＯ感度によってノイズの大きさは変わるため、設定されたＩＳＯ感度によって使用する推定関数を切り替えることができる。この場合に、ノイズ分散推定関数記憶部４１には、複数種の推定関数を保持するのがよい。

フィルタリング補正部１０８−７は、処理対象画像３１中の画素値を補正値で置換してノイズ低減画像３２を出力する（Ｓ１１１）。出力されたノイズ低減画像３２には、後述する色ずれ補正処理が行われる。

以上のように、画像処理装置１００は、カラー画像データである処理対象画像３１に対して、信号依存性のノイズの解像感を落とすことなく低い処理コストでノイズを低減することができる。

なお、以上説明した実施形態では、処理対象画像３１がＲＧＢ成分を持つカラー画像であるものとして説明したが、本発明はＹＣＣやＬ^＊ａ^＊ｂ^＊など任意の色空間で表現されたカラー画像に対して、同様に適用することができる。また、本発明は、ｎバンドの分光画像に対しても、本実施形態における画素値をｎ次元ベクトルとみなすことで、適用可能である。

また、以上説明した実施形態では、処理対象画像に含まれる画素ごとにフィルタリング処理を実行するものとして説明したが、本発明ではこれに限定されない。例えば、フィルタリング処理として、複数の画素の画素値をまとめて行ってもよい。

●Ｓ１１０の変形例
次に、Ｓ１１０の加重加算処理の変形例について説明する。上述のＳ１１０において、加重加算処理の一例として、ＲＧＢの３次元空間での加重加算を説明したが、抽出画素平均値と処理対象画素値との差分を一次元の特定方向ｅに射影してから加重加算を行うこともできる。

図１５は、抽出画素平均値と処理対象画素値との差分を一次元の特定方向に射影して行う加重加算の一例を示す図である。上記特定方向としては、例えば、類似画素群の抽出画素平均値のＲＧＢ比率一定の方向や輝度の方向、最大分散の方向を考えることができる。ここで、ｗは重み係数（スカラー）であり、例えば式（３）のように設定できる。

（３）

１次元に射影することで、計算量を低減し、かつ、特定方向ｅ上に射影を行うことでｅに直交する方向のノイズを強制的に０にすることができる。

●画像特性情報の算出方法
次に、Ｓ１０２の処理対象画像３１から画像特性情報を算出する方法について説明する。処理対象画像３１から算出する画像特性情報としては、輝度値と標準偏差が挙げられる。

輝度値Ｙの算出は処理対象画像３１に含まれる画素ごとに行われ、ＲＧＢ信号に対して式（４）で算出される。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （４）

また、標準偏差σの算出は処理対象画像全体に対して行われ、式（５）で算出される。

（５）

ここで、ｎは処理対象画像３１の画素数、ｘiは注目画素の信号量、ｘは信号の抽出画素平均値である。標準偏差の算出は、輝度値、ＲＧＢそれぞれに算出するとよい。輝度値は処理対象画像３１内で平均を算出して使用する。

●処理回数決定処理
次に、処理回数算出部１０８−３による、処理回数決定処理について説明する。図１６は、フィルタリング処理の処理回数に対するノイズ量の推定関数を示すグラフである。図１６に示すように、処理回数を増やすと色ノイズ量が減少し、処理回数が増えるにつれて色ノイズ低減量は徐々に小さくなる傾向にある。このような特性を有するフィルタリング処理における、その処理回数の決定方法を説明する。

上述のように、Ｓ１０３では、処理回数算出部１０８−３が、画像情報取得部１０８−２で取得した画像情報と処理回数テーブルとに基づいて、処理回数を算出する。処理回数算出部１０８−３により取得される画像情報には、輝度、標準偏差、ＩＳＯ感度（センサゲイン）、光源（ＷＢ）がある。以下に、各情報での処理回数決定方法について説明する。

●輝度値に基づく処理回数決定方法
まず、画像特性情報に含まれる輝度に基づく処理回数決定方法について説明する。画像データにおいて、色ノイズが目立つのは画像の比較的暗い領域である。

図１７は、画像処理装置１００のフィルタリング処理の処理回数を決定するテーブルの一例を示す図である。

図１７（ａ）は、輝度値に基づく処理回数テーブルの一例である。処理回数決定処理にあたり、図１７（ａ）のようにあらかじめ輝度値に対して閾値を設定し、閾値で区切られた領域ごとに処理回数を設定する。処理回数の設定について、例えば、色ノイズの目立ちやすい低輝度領域の処理回数を多くし、中間輝度から高輝度に向けて徐々に少なくなるように設定する。処理回数算出部１０８−３が、処理対象画像３１から取得した輝度情報が処理回数テーブルのいずれの輝度値領域に入るのかを判断することによって、処理回数が決定される。

●標準偏差に基づく処理回数決定方法
標準偏差に基づく処理回数決定方法について説明する。この方法は、画像特性情報に基づいて算出される標準偏差に対して閾値を定め、この閾値に対して処理回数をあらかじめテーブルに設定する。処理回数算出部１０８−３は、算出された値とテーブルの閾値とを照合して処理回数を決定する。

標準偏差に基づく処理回数の決定にあたっては、ノイズが多い領域では標準偏差が高くなるが、エッジを多く含む場合にも標準偏差が高くなる傾向がある。そのため、処理回数の設定には注意が必要である。すなわち、処理回数の設定にあたっては、標準偏差がある値以上では処理回数を増やさないような設定が必要となる。

図１７（ｂ）は、標準偏差に基づく処理回数テーブルの一例である。標準偏差に基づく処理回数テーブルにおいて、ある標準偏差の領域に向けて処理回数が多くなるように設定している。また、標準偏差に基づく処理回数テーブルでは、ある標準偏差の領域を超えるとエッジを保持する目的で処理回数が少なくなるように設定している。

●ＩＳＯ感度（センサゲイン）に基づく処理回数決定方法
ＩＳＯ感度（センサゲイン）に基づく処理回数決定方法について説明する。画像データにおいて、ＩＳＯ感度が高くなるとノイズが増える傾向にある。そこで、ＩＳＯ感度に対して閾値を設定して、閾値で区切られた領域ごとに処理回数を設定する。

図１７（ｃ）は、ＩＳＯ感度に基づく処理回数テーブルの一例である。ＩＳＯ感度に基づく処理回数テーブルでは、高ＩＳＯ感度ほど処理回数が多くなるようにし、低ＩＳＯ感度になるにつれて徐々に少なくなるように設定している。

●光源情報に基づく処理回数決定方法
光源情報に基づく処理回数決定方法について説明する。様々な光源下で撮影される中で、ＷＢ（White Balance）制御では白い被写体を画像データ上で白に見せるために、最も感度の高いＧ信号量にＲ信号量とＢ信号量のレベルを合わせるようにＲ信号量とＢ信号量にゲインを乗算する。すなわち、ＷＢ制御では、色温度が低い光源下で撮影された場合には、青色の光が少ないためＷＢのＢゲインが高い値となり青色の色ノイズが多くなる。

光源情報に基づく処理回数決定方法において、画像から取得可能な光源情報としては、ＷＢゲインやＷＢ情報（白熱灯、蛍光灯、曇天など）がある。ＷＢゲインの場合には、ＲゲインとＢゲインからある程度撮影時の光源色温度を推定することができる。ＷＢ情報であれば対応する色温度（例えば、白熱灯：３０００Ｋ、蛍光灯：４０００Ｋ、曇天：６０００Ｋなど）で判定を行う。

光源情報に基づく処理回数の決定にあたり、推測された光源色温度に閾値を設定し、閾値で区切られた領域ごとに処理回数を設定する。

図１７（ｄ）は、光源情報としての光源色温度に基づく処理回数テーブルの一例である。光源情報に基づく処理回数テーブルでは、青色の色ノイズの目立ちやすい低色温度の処理回数を多く、高色温度になるにつれて徐々に少なくなるように設定している。

●複数の方法の組み合わせによる処理回数決定方法
上記のように個々の画像特性情報から処理回数を決定する方法に代えて、複数の画像特性情報を組み合わせることでより精度の高い処理回数決定が可能となる。複数の画像特性情報の組み合わせによる処理回数の決定方法の一例として、ＩＳＯ感度と標準偏差の組み合わせによる処理回数の決定方法について説明する。

撮像装置１内で本実施形態の処理を行う場合は、撮影時に用いる撮像素子は単一となる可能性が高い。一方で、ＰＣ等で本実施形態の処理を行う場合は、撮影に用いられた撮像装置は複数存在することになり、撮影で使用される撮像素子は様々なものとなる可能性がある。一般的に画像データに発生するノイズ量は撮像素子のサイズに起因する場合が高く、撮像素子のサイズが小さいほどノイズ量は多くなる。

撮像装置は、一般にＩＳＯ感度の数値を選択できるようになっているが、同じＩＳＯ感度であっても撮影に使用した撮像素子によってノイズ量は全く異なる。このような場合に、ＩＳＯ感度のみで処理回数を決定するとノイズ量の少ない画像に対して過剰にノイズ低減処理を行ってしまうおそれや、ノイズ量の多い画像に対してノイズ低減処理が不足するおそれがある。

そこで、撮像装置外で本実施形態のノイズ低減処理を行う場合に好適な処理回数の決定方法として、ＩＳＯ感度に対して、さらに標準偏差を組み合わせることができる。このような方法によれば、様々な撮像素子に最適な処理回数を決定することができる。

処理回数の決定方法の組合せ方法は、例えば以下の方法が挙げられる。まず、画像から取得したＩＳＯ感度から図１７（ｃ）に従ってＩＳＯ感度での処理回数Ｎ１を算出する。次に、処理対象画像３１から取得した標準偏差から図１７（ｂ）に従って標準偏差での処理回数Ｎ２を算出する。

Ｎ１とＮ２を算出した後、あらかじめ定めたＮ１とＮ２の優先順位に従って、フィルタリング処理の処理回数を決定する。例えば、ＩＳＯ感度と標準偏差から算出したそれぞれの処理回数で、Ｎ１≧Ｎ２の場合にはＮ２を使用し、Ｎ１＜Ｎ２の場合にはＮ１の処理回数を使用する。

一例として、ＩＳＯ感度がＩＳＯ１６００で、標準偏差σが１．２であった場合、ＩＳＯ感度での処理回数Ｎ１は４回、標準偏差での処理回数Ｎ２は２回となり、Ｎ１≧Ｎ２となるため、Ｎ２の２回を採用する。

以上説明した決定方法では、ＩＳＯ感度による処理回数と標準偏差による処理回数とを比較して、回数が少ない処理回数を実際の処理回数として決定する。そのため、この決定方法によれば、フィルタリング処理回数が増加してエッジが潰れてしまうのを防ぐことができる。

また、別の例として、ＩＳＯ感度がＩＳＯ１６００で、標準偏差σが４．５であった場合、ＩＳＯ感度での処理回数Ｎ１は４回、標準偏差での処理回数Ｎ２は６回となり、Ｎ１＜Ｎ２となるため、Ｎ１の４回を採用する。

以上説明した決定方法によれば、処理対象画像３１にエッジを含むことにより標準偏差が高くなったとしてもＩＳＯ感度による処理回数が使用されることで処理回数が抑制され、処理回数が過剰となってエッジが潰れることを防ぐことができる。また、処理回数の設定としては、ＩＳＯ感度側に最大繰り返す回数を設定してもよい。

●色ずれ補正処理●
次に、画像処理装置１００によるフィルタリング処理後の色ずれ補正処理について説明する。

図１８は、画像処理装置１００による色ずれ補正処理を示すフローチャートである。ＳＤＲＡＭ１０３から処理対象画像３１を取得すると、分割部１０８−８は、処理対象画像３１に対して補正領域の分割処理（領域分割処理）を行う（Ｓ２０１）。

ここで、領域分割処理を行う理由としては、階調値の違いやエッジなどのパターンの有無により、処理対象画像３１とノイズ低減画像３２との画素値の変化量が画素ごとに異なるためである。

なお、画像処理装置１００によるフィルタリング処理の対象となるフィルタリング領域と色ずれ補正処理の対象となる補正領域とについて、共通の領域としても（一致しても）よいし、別の領域としても（一致しなくても）よい。

図１９は、色ずれ補正処理における分割部１０８−８による領域分割処理の遷移の一例を示す模式図である。つまり、領域ごとに算出される色ずれ補正値の最適化を図るため、分割部１０８−８では、処理対象画像３１を処理対象画像３１ａ〜処理対象画像３１ｅのように複数の補正領域（図１９において鎖線で分割された領域）に分割または結合する。

図２０は、領域分割処理における補正領域の階調値と画素数との関係を示すヒストグラムの一例を示す図である。分割部１０８−８は、補正領域の分割または結合にあたり、例えば、補正領域ごとに補正領域内の画素の階調値と画素数との関係についてヒストグラムを生成する。

領域の分割または結合の判断の方法としては、例えば、分割部１０８−８は、対象となるヒストグラムの山が１つになる場合は分割不要あるいは結合可能と判断し、複数のヒストグラムの山になる場合は分割可能または結合不要と判断する、などの方法が考えられる。

領域分割の例とヒストグラムとの対応を説明すると、分割部１０８−８は、処理対象画像３１ａの補正領域３１ａ１について、ヒストグラムの山が複数になる（図２０（ａ））と判断して、処理対象画像３１ｂの複数の補正領域３１ｂ１〜３１ｂ４に分割する。

また、領域結合の例とヒストグラムとの対応を説明すると、分割部１０８−８は、処理対象画像３１ｃの補正領域３１ｃ１と３１ｃ２とのヒストグラムの山が１つになる（図２０（ｂ））と判断して、処理対象画像３１ｄの補正領域３１ｄ１に結合する。

以上の分割または結合処理を繰り返して、１つの補正領域においてヒストグラムの山が１つであり、隣接する他の補正領域と結合してもヒストグラムの山が１つにはならない場合は、分割部１０８−８は領域分割処理を終了する。このときの補正領域を均一な補正領域という。

なお、分割または結合の判断方法について、上述のようなヒストグラムにより判断する方法のほかには、補正領域内の階調値または画素値の差が基準値以下になる領域を求める方法などが考えられる。

補正領域の分割処理を終了すると、領域平均値算出部１０８−９が、処理前補正領域平均値を算出する（Ｓ２０２）。

処理前補正領域平均値を算出後、フィルタリング処理部１０８−５が、図７のＳ１０１〜Ｓ１１１に示したフィルタリング処理を行う（Ｓ２０３）。

フィルタリング処理後、領域平均値算出部１０８−９は、ノイズ低減画像３２の補正領域についての各画素の画素値の平均値である、処理後補正領域平均値を算出する（Ｓ２０４）。

図２１は、色ずれ補正処理における画素値加算処理の一例を示す模式図である。図２１において、フィルタリング処理前の処理対象画像３１には、補正領域３１０ａ（処理対象画像３１において白抜きの領域）と補正領域３１０ｂ（処理対象画像３１において網掛けの領域）とがある。
一方、フィルタリング処理後のノイズ低減画像３２において、補正領域３１０ａに対応する領域は補正領域３２０ａであり、補正領域３１０ｂに対応する領域は補正領域３２０ｂである。
また、色ずれ補正処理後の色ずれ補正後画像４０において、補正領域３１０ａと補正領域３２０ａに対応する領域は補正領域４００ａであり、補正領域３１０ｂと補正領域３２０ｂに対応する領域は補正領域４００ｂである。

フィルタリング処理前の補正領域３１０ａの処理前補正領域平均値が２００であるのに対して、フィルタリング処理後の補正領域３２０ａの処理後補正領域平均値が１８０である。また、フィルタリング処理前の補正領域３１０ｂの処理前補正領域平均値が１００であるのに対して、フィルタリング処理後の補正領域３２０ｂの処理後補正領域平均値が７０である。

色ずれ補正部１０８−１１は、フィルタリング処理の前後少なくともいずれか一方の補正領域平均値に基づいて、色ずれ補正値を算出する（Ｓ２０５）。

なお、以下の説明では、処理前補正領域平均値と処理後補正領域平均値との差分を求めて、その差分によりノイズ低減画像３２に加算する補正値を定める例について説明する。

色ずれ補正部１０８−１１による色ずれ補正値算出処理の一例について説明する。フィルタリング処理の前後の補正領域平均値を比較すると、補正領域３２０ａと補正領域３１０ａとの補正領域平均値の差分が２０であり、補正領域３２０ｂと補正領域３１０ｂとの補正領域平均値の差分が３０である。つまり、これらの補正領域平均値の差分が、フィルタリング処理によって生じた色ずれの変化量である。この変化量をフィルタリング処理後の処理後補正領域平均値に加算すれば、フィルタリング処理前後の画素値の平均値に差が生じない（色ずれが生じない）ことになる。

よって、本実施の形態において、処理前補正領域平均値と処理後補正領域平均値との差分をノイズ低減画像３２に加算する補正値とする。

色ずれ補正部１０８−１１は、算出した（読み出した）補正領域ごとの色ずれ補正値を補正領域内の各画素の画素値に加算して、色ずれ補正後画像４０を生成する（Ｓ２０６）。色ずれ補正後画像４０において、補正領域４００ａの補正領域平均値が２００で補正領域４００ｂの補正領域平均値が１００であり、フィルタリング処理前の処理対象画像３１の補正領域の補正領域平均値と差が生じていない。

なお、以上説明した色ずれ補正処理は、フィルタリング処理を複数回繰り返した後のノイズ低減画像３２に対して行うものとして説明したが、フィルタリング処理の回数は複数回に限られない。つまり、以上説明した色ずれ補正処理は、１回のフィルタリング処理によって生じた色ずれに対して行ってもよい。

また、色ずれ補正値の算出にあたっては、上述のようなフィルタリング処理前後の補正領域平均値の差分から算出する以外の方法、例えば以下のようにあらかじめ補正領域平均値に関連付けて定めた色ずれ補正値のテーブルから加算する補正値を算出してもよい。

図２２は、色ずれ補正処理における画素値加算処理で用いる補正値テーブルの一例を示す図である。補正値テーブルには、あらかじめ補正領域平均値と色ずれ補正値とが関連付けて記憶されている。すなわち、例えば、補正領域平均値が「１」のときの色ずれ補正値は「−１」、補正領域平均値が「７０」のときの色ずれ補正値は「＋３０」である。色ずれ補正部１０８−１１は、フィルタリング処理前またはフィルタリング処理後の少なくとも一方の補正領域平均値に基づいて、補正値テーブルを格納する記憶部１０８−１０を参照して色ずれ補正値を読み出す。

●実施形態の作用・効果●
画像処理装置１００は、処理対象画像３１に含まれるノイズを低減するためにフィルタリング処理を行う装置である。画像処理装置１００は、フィルタリング処理を行う機能として、処理対象画像３１を特徴付ける画像情報を取得する画像情報取得部１０８−２と、処理対象画像３１に対してフィルタリング処理を実行するフィルタリング処理部１０８−５を有する。また、画像処理装置１００は、処理対象画像３１を複数の補正領域に分割する分割部１０８−８と、補正領域に含まれる画素の画素値の平均値を補正領域平均値として算出する領域平均値算出部１０８−９と、補正領域に含まれる画素の画素値を補正する色ずれ補正部１０８−１１と、を有してなる。

そして、色ずれ補正部１０８−１１は、少なくとも、フィルタリング処理部１０８−５がフィルタリング処理を実行する前に領域平均値算出部１０８−９が算出した処理前補正領域平均値と、フィルタリング処理部１０８−５がフィルタリング処理を実行した後に領域平均値算出部１０８−９が算出した処理後補正領域平均値と、のいずれか一方を用いて、補正領域に含まれる画素の画素値を補正する。

画像処理装置１００では、階調値やエッジなどのパターンの有無の影響を考慮して処理対象画像３１を複数の補正領域に分割する。また、画像処理装置１００では、フィルタリング処理前後のフィルタリング領域内の画素の画素値の補正領域平均値に変化が生じないように補正値を算出する。

ここで、画像処理装置１００は、フィルタリング処理前後いずれか一方の補正領域平均値に基づいた色ずれ補正値をフィルタリング処理後の画素の画素値を加算する。そのため、階調値やエッジなどのパターンの有無の影響を受けることなく、フィルタリング処理による色ずれは、補正できる。

また、画像処理装置１００では、色ずれ補正部１０８−１１が、フィルタリング処理を実行する前の処理前補正領域平均値と、フィルタリング処理を実行した後の処理後補正領域平均値との差分を算出する。そして、画像処理装置１００では、差分に基づいて補正値を決定し、補正値を用いて補正する。

以上のような画像処理装置１００によれば、フィルタリング処理前後の画素値の平均値に差分を生じることなく（色ずれすることなく）、フィルタリング処理を行うことができる。

また、画像処理装置１００では、取得された画像情報に基づいてフィルタリング処理の処理回数を決定する処理回数算出部１０８−３を備える。フィルタリング処理部１０８−５は、処理回数算出部１０８−３により決定された処理回数だけフィルタリング処理を繰り返す。色ずれ補正部１０８−１１は、少なくとも、フィルタリング処理を実行する前の処理前補正領域平均値と、決定された処理回数だけフィルタリング処理を繰り返した後に算出された処理後補正領域平均値と、のいずれか一方を用いて、補正領域に含まれる画素の画素値を補正する。

以上のような画像処理装置１００によれば、フィルタリング処理を複数回繰り返した画像に対しても、フィルタリング処理前後で色ずれすることなく、フィルタリング処理を行うことができる。

また、画像処理装置１００では、色ずれ補正部１０８−１１は、フィルタリング処理を実行する前の処理前補正領域平均値と、決定された処理回数だけフィルタリング処理を繰り返した後に算出された処理後補正領域平均値と、の差分を算出する。そして、色ずれ補正部１０８−１１は、差分に基づいて補正値を決定し、補正値を用いて補正する。

以上のような画像処理装置１００によれば、フィルタリング処理を複数回繰り返した画像に対しても、フィルタリング処理前後の画素値の平均値に差分を生じることなく（色ずれすることなく）、フィルタリング処理を行うことができる。

また、画像処理装置１００では、補正領域平均値と色ずれ補正値とが関連付けて記憶されている記憶部１０８−１０を備える。色ずれ補正部１０８−１１は、フィルタリング処理を実行する前の処理前補正領域平均値、または、フィルタリング処理を実行した後に算出された処理後補正領域平均値の少なくともいずれか一方に関連付けて記憶部１０８−１０に記憶されている色ずれ補正値を用いて補正する。

以上のような画像処理装置１００によれば、記憶部１０８−１０に記憶された補正値テーブルを用いるから、迅速に補正領域平均値に基づいた色ずれ補正値を読み出すことができる。

１ ：撮像装置
２ ：蓋
３ ：ストロボ発光部
４ ：ファインダ
６ ：リモコン受光部
７ ：鏡胴ユニット
１０ ：ＬＣＤモニタ
１３ ：電源スイッチ
２０ ：画像処理プログラム
３１ ：処理対象画像
３２ ：ノイズ低減画像
３３ ：注目画素
３４ ：抽出画素平均値
４０ ：色ずれ補正後画像
４１ ：ノイズ分散推定関数記憶部
５１ ：カメラ設定情報記憶部
１００ ：画像処理装置
１０１ ：ＣＣＤ
１０３ ：ＳＤＲＡＭ
１０４ ：デジタルスチルカメラプロセッサ
１０７ ：ＲＡＭ
１０８ ：ＲＯＭ
１０８−１ ：画像取得部
１０８−２ ：画像情報取得部
１０８−３ ：処理回数算出部
１０８−４ ：処理回数カウント部
１０８−５ ：フィルタリング処理部
１０８−６ ：加重加算部
１０８−７ ：フィルタリング補正部
１０８−８ ：分割部
１０８−９ ：領域平均値算出部
１０８−１０：記憶部
１０８−１１：色ずれ補正部
１１７ ：ＬＣＤドライバ
１１８ ：ビデオアンプ
１１９ ：ビデオジャック
１２０ ：内蔵メモリ
１２２ ：ＵＳＢコネクタ
１９１ ：メモリカードスロット
１９２ ：メモリカード
３１０ ：補正領域
３２０ ：補正領域
４００ ：補正領域

特開２０１０−２１８１１０号公報 特開２０１１−１６０１６８号公報

原島博, 小田島薫, 鹿喰善明, 宮川洋, "ε-分離非線形ディジタルフィルタとその応用," 電子情報通信学会論文誌 A , Vol.J65-A, No.4, pp.297-304, 1982

Claims (10)

1. 処理対象画像に含まれるノイズを低減するために上記処理対象画像に対してフィルタリング処理を行う画像処理装置であって、
   上記処理対象画像を特徴付ける画像情報を取得する画像情報取得部と、
   上記処理対象画像に対して、フィルタリング処理を実行するフィルタリング処理部と、
   上記処理対象画像を複数の補正領域に分割する分割部と、
   上記補正領域に含まれる画素の画素値の平均値を補正領域平均値として算出する平均値算出部と、
   上記補正領域に含まれる画素の画素値を補正する補正部と、
   を有してなり、
   上記補正部は、少なくとも、上記フィルタリング処理部がフィルタリング処理を実行する前に上記平均値算出部が算出した上記補正領域平均値と、上記フィルタリング処理部がフィルタリング処理を実行した後に上記平均値算出部が算出した上記補正領域平均値と、のいずれか一方を用いて、上記補正領域に含まれる画素の画素値を補正する、
   ことを特徴とする画像処理装置。
2. 上記補正部は、上記フィルタリング処理部がフィルタリング処理を実行する前に上記平均値算出部が算出した上記補正領域平均値と、上記フィルタリング処理部がフィルタリング処理を実行した後に上記平均値算出部が算出した上記補正領域平均値と、の差分を算出し、上記差分に基づいて補正値を決定し、上記補正値を用いて補正する、
   請求項１記載の画像処理装置。
3. 上記取得された画像情報に基づいて上記フィルタリング処理の処理回数を決定する処理回数算出部、
   を備え、
   上記フィルタリング処理部は、上記処理回数算出部により決定された上記処理回数だけ上記フィルタリング処理を繰り返し、
   上記補正部は、少なくとも、上記フィルタリング処理部がフィルタリング処理を実行する前に上記平均値算出部が算出した上記補正領域平均値と、上記フィルタリング処理部が上記処理回数だけフィルタリング処理を繰り返した後に上記平均値算出部が算出した上記補正領域平均値と、のいずれか一方を用いて、上記補正領域に含まれる画素の画素値を補正する、
   請求項１記載の画像処理装置。
4. 上記補正部は、上記フィルタリング処理部がフィルタリング処理を実行する前に上記平均値算出部が算出した上記補正領域平均値と、上記フィルタリング処理部が上記処理回数だけフィルタリング処理を繰り返した後に上記平均値算出部が算出した上記補正領域平均値と、の差分を算出し、上記差分に基づいて補正値を決定し、上記補正値を用いて補正する、
   請求項３記載の画像処理装置。
5. 上記補正領域平均値と補正値とが関連付けて記憶されている記憶部、
   を備え、
   上記補正部は、上記フィルタリング処理部がフィルタリング処理を実行する前に上記平均値算出部が算出した上記補正領域平均値と関連付けて上記記憶部に記憶されている上記補正値、または、上記フィルタリング処理部がフィルタリング処理を実行した後に上記平均値算出部が算出した上記補正領域平均値と関連付けて上記記憶部に記憶されている上記補正値、のいずれか一方を用いて補正する、
   請求項１または３記載の画像処理装置。
6. 上記フィルタリング処理部は、上記処理対象画像に含まれるフィルタリング領域を構成する画素ごとに、フィルタリング処理として、
   所定の画素を注目画素として特定し、
   上記フィルタリング領域に含まれる画素の中から、上記注目画素の画素値と類似度の高い類似画素を抽出し、
   上記注目画素の画素値と上記類似画素の画素値との平均値をフィルタリング領域平均値として算出し、
   上記注目画素の画素値を上記フィルタリング領域平均値で置換し、
   上記フィルタリング領域を構成する画素ごとに各々上記フィルタリング領域平均値で置換されて生成された置換画像を新たな処理対象画像とする、
   請求項１乃至５のいずれかに記載の画像処理装置。
7. 上記フィルタリング領域は、上記補正領域と一致する、
   請求項１乃至６のいずれかに記載の画像処理装置。
8. 上記フィルタリング領域は、上記補正領域と一致しない、
   請求項１乃至６のいずれかに記載の画像処理装置。
9. 処理対象画像に含まれるノイズを低減するために上記処理対象画像に対してフィルタリング処理をコンピュータに実行させるプログラムであって、
   上記コンピュータを、
   上記処理対象画像を特徴付ける画像情報を取得する画像情報取得ステップと、
   上記処理対象画像に対して、フィルタリング処理を実行するフィルタリング処理ステップと、
   上記処理対象画像を複数の補正領域に分割する分割ステップと、
   上記補正領域に含まれる画素の画素値の平均値を補正領域平均値として算出する平均値算出ステップと、
   上記補正領域に含まれる画素の画素値を補正する補正ステップと、
   を実行する画像処理装置として機能させ、
   上記補正ステップは、少なくとも、上記フィルタリング処理ステップでフィルタリング処理を実行する前に上記平均値算出ステップで算出した上記補正領域平均値と、上記フィルタリング処理ステップでフィルタリング処理を実行した後に上記平均値算出ステップで算出した上記補正領域平均値と、のいずれか一方を用いて、上記補正領域に含まれる画素の画素値を補正する、
   ことを特徴とする画像処理プログラム。
10. 処理対象画像に含まれるノイズを低減するために上記処理対象画像に対してフィルタリング処理を画像処理装置に実行させる方法であって、
    上記画像処理装置が、
    上記処理対象画像を特徴付ける画像情報を取得する画像情報取得ステップと、
    上記処理対象画像に対して、フィルタリング処理を実行するフィルタリング処理ステップと、
    上記処理対象画像を複数の補正領域に分割する分割ステップと、
    上記補正領域に含まれる画素の画素値の平均値を補正領域平均値として算出する平均値算出部ステップと、
    上記補正領域に含まれる画素の画素値を補正する補正ステップと、
    を有してなり、
    上記補正ステップは、少なくとも、上記フィルタリング処理ステップでフィルタリング処理を実行する前に上記平均値算出ステップが算出した上記補正領域平均値と、上記フィルタリング処理ステップでフィルタリング処理を実行した後に上記平均値算出ステップで算出した上記補正領域平均値と、のいずれか一方を用いて、上記補正領域に含まれる画素の画素値を補正する、
    ことを特徴とする画像処理方法。