JP2013186560A - 画像処理装置 - Google Patents

Abstract

【課題】 様々な方向の被写体を含む画像に対して適切なノイズ低減処理を行うことができる画像処理装置を提供する。
【解決手段】 処理対象画像３１に含まれるノイズを低減するためにフィルタリング処理を行う画像処理装置１０であって、画像情報を取得する画像情報取得部１０８−２と、画像情報に基づいてフィルタリング処理の処理回数を決定する処理回数算出部１０８−３と、処理対象画像に含まれる画素ごとに、所定の画素を注目画素として特定し、注目画素に類似する画素の抽出方向を決定し、抽出方向に配列される画素から注目画素に類似する類似画素を抽出し、注目画素の画素値と類似画素の画素値との平均値を算出し、処理対象画素群を構成する画素ごとに各々平均値で置換されて生成された置換画像を新たな処理対象画像とする、処理を行う、フィルタリング処理部１００と、を有し、フィルタリング処理部１００は、処理回数だけフィルタリング処理を繰り返す。
【選択図】図５

Description

本発明は、画像データに含まれるノイズを低減する機能を備える画像処理装置に関するものである。

デジタルカメラやスキャナ等の撮像装置により撮影された画像データ（以下、「画像」ともいう。）には、撮像装置に含まれる撮像素子や回路の特性上、ショットノイズ、暗電流ノイズなどのノイズが含まれる。これら撮影された画像から高画質の画像を得るために、画像中のノイズを低減する必要がある。

しかし、画像に対して単純にローパスフィルタを用いてノイズを低減すると、エッジなどの画像中の重要な要素も同時に失われてしまい、画質が劣化する。そこで、画像データのノイズ低減においては、画像の領域の特性に応じて、適応的にノイズ低減を行うことが必要となる。

画像データに関するノイズ低減技術の一つとして、εフィルタが考案されている（非特許文献１参照。）。εフィルタでは、注目画素との信号差が一定閾値以下となる周辺画素をフィルタ処理に用いることで、エッジなどの信号差の大きい成分を保存しつつノイズを低減することができる。

また、カラー画像に対する信号依存性のノイズ低減を、より少ない計算コストで実現する技術が知られている（特許文献１参照。）。この特許文献１の技術は、εフィルタに準ずる原理で注目画素周辺の類似画素群を選択して、その類似画素群の性質をεフィルタの演算結果と処理対象画素値との差分の変換処理に反映させる。このような特許文献１の技術は、エッジ以外で細かな信号差が発生することで目立ちやすい画像中の輝度ノイズに対しては有用である。

また、画像データに関するノイズ低減技術の一つとして、画素の連続性や相関性を損なうことなく、エッジ以外の部分を平滑化する技術が知られている（特許文献２参照。）。

特許文献２の技術では、入力された画像信号の注目画素と、その水平処理方向成分画素と、その垂直処理方向成分画素を抽出し、注目画素と、その垂直処理方向成分画素より閾値を設定する。

また、特許文献２の技術では、水平処理方向成分画素を用い、設定された閾値に基づいて、注目画素を水平方向に非線形平滑化処理した画像信号を生成する。

さらに、特許文献２の技術では、垂直処理方向成分画素を用いて、注目画素に水平方向平滑化処理を行った画像信号を出力する。

しかし、従来の技術では、特定の方向（例えば水平方向と垂直方向）のみから類似画素を抽出してノイズ低減処理を行うため、その他の方向（例えば斜め方向）の被写体に対しては類似画素が抽出できない。そのため、従来の技術では、様々な方向の被写体に対して適切なノイズ低減処理を行うことが難しい。

本発明は上記の課題に鑑みてなされたものであって、様々な方向の被写体を含む画像に対して適切なノイズ低減処理を行うことができる画像処理装置を提供することを目的とする。

本発明は、処理対象画像に含まれるノイズを低減するために処理対象画像に対してフィルタリング処理を行う画像処理装置であって、処理対象画像を特徴付ける画像情報を取得する画像情報取得部と、取得された画像情報に基づいてフィルタリング処理の処理回数を決定する処理回数算出部と、処理対象画像に含まれる処理対象画素群を構成する画素ごとに、フィルタリング処理として、所定の画素を注目画素として特定し、注目画素に類似する画素を抽出するための抽出方向を決定し、注目画素から抽出方向に配列される画素の中から注目画素に類似する画素を類似画素として抽出し、注目画素の画素値と類似画素の画素値との平均値を算出し、注目画素の画素値を平均値で置換し、処理対象画素群を構成する画素ごとに各々平均値で置換されて生成された置換画像を新たな処理対象画像とする、処理を行う、フィルタリング処理部と、を有してなり、フィルタリング処理部は、処理回数だけフィルタリング処理を繰り返すことを特徴とする。

本発明によれば、様々な方向の被写体を含む画像に対して適切なノイズ低減処理を行うことができる。

本発明に係る画像処理装置の実施の形態を示す画像処理装置としての撮像装置の正面図である。 上記画像処理装置の上面図である。 上記画像処理装置の例を示す背面図である。 上記画像処理装置の電気的制御系統の例を示す機能ブロック図である。 上記画像処理装置の画像処理部の機能ブロック図である。 上記画像処理装置による実施例１のノイズ低減処理を示すフローチャートである。 処理対象画像の一例を示す図である。 上記画像処理装置による類似画素抽出処理の一例を示す図である。 上記画像処理装置による類似画素抽出処理における絶対差分値算出の一例を示す図である。 平均値と、分散の算出を模式的に説明する図である。 上記画像処理装置による平均値算出処理の一例を示す図である。 上記フィルタリング処理における画素値に対するノイズの分散を示すグラフである。 上記フィルタリング処理における類似画素群平均値に対するノイズ量の推定関数を示すグラフである。 平均値と処理対象画素値との差分を一次元の特定方向に射影して加重加算を行う一例を示す図である。 上記ノイズ低減処理におけるフィルタリング処理の処理回数に対するノイズ量の推定関数を示すグラフである。 上記画像処理装置のノイズ低減処理におけるフィルタリング処理の処理回数を決定するテーブルの一例を示す図である。 上記画像処理装置による実施例２のノイズ低減処理を示すフローチャートである。 エッジ方向検出処理の一例を示す模式図である。 エッジ方向検出フィルタの一例を示す模式図である。 上記画像処理装置による抽出画素の置換処理を示すフローチャートである。 上記画像処理装置による抽出画素の置換処理の一例である。

以下、本発明に係る画像処理装置の実施の形態について、図面を参照しながら説明する。

なお、本発明に係る画像処理装置は、後述するように、撮像装置が撮影した画像データのノイズを低減処理する装置である。画像処理装置の実現方法としては、処理対象の画像データを撮影する撮像装置の一機能として実現されるようにしてもよいし、あるいは、撮像装置とは別の装置として実現されるようにしてもよい。ここで、以下の説明では、撮像装置の一機能として画像処理装置が実現される場合を例に説明する。

●画像処理装置の実施の形態●
図１は、画像処理装置の実施の形態を示す図であり、画像処理装置としての撮像装置の正面図である。図１において、撮像装置１の筐体であるカメラボディＣＢの正面には、ストロボ発光部３、ファインダ４の対物面、リモコン受光部６及び撮像レンズを含む撮像光学系を構成する鏡胴ユニット７が配置されている。カメラボディＣＢの一方の側面部には、メモリカード装填室及び電池装填室の蓋２が設けられている。

図２は、撮像装置１の上面図である。図２において、カメラボディＣＢの上面には、レリーズスイッチＳＷ１、モードダイヤルＳＷ２及びサブ液晶ディスプレイ（サブＬＣＤ）（以下「液晶ディスプレイ」を「ＬＣＤ」という。）１１が配置されている。

図３は、撮像装置１の背面図である。図３において、カメラボディＣＢの背面には、ファインダ４の接眼部、ＡＦ用発光ダイオード（以下「発光ダイオード」を「ＬＥＤ」という。）８、ストロボＬＥＤ９、被写体画像と拡大画像及び各種設定画面を表示する表示手段であるＬＣＤモニタ１０、電源スイッチ１３、広角方向ズームスイッチＳＷ３、望遠方向ズームスイッチＳＷ４、セルフタイマの設定及び解除スイッチＳＷ５、メニュースイッチＳＷ６、上移動及びストロボセットスイッチＳＷ７、右移動スイッチＳＷ８、ディスプレイスイッチＳＷ９、下移動及びマクロスイッチＳＷ１０、左移動及び画像確認スイッチＳＷ１１、ＯＫスイッチＳＷ１２、クイックアクセススイッチＳＷ１３、が配置されている。

●撮像装置の機能ブロック●
次に、撮像装置１の機能ブロックの例について説明する。図４は、撮像装置１の機能構成例を示す機能ブロック図である。撮像装置１の各種動作（処理）は、デジタル信号処理ＩＣ（集積回路）等で構成されるデジタルスチルカメラプロセッサ１０４（以下「プロセッサ１０４」という。）と、プロセッサ１０４において動作する撮像プログラムによって制御される。画像処理手段であるプロセッサ１０４は、第１のＣＣＤ（電荷結合素子）信号処理ブロック１０４−１と、第２のＣＣＤ信号処理ブロック１０４−２と、ＣＰＵ（中央処理ユニット）ブロック１０４−３と、ローカルＳＲＡＭ（ＳＲＡＭ：スタティックランダムアクセスメモリ）１０４−４と、ＵＳＢ（ユニバーサルシリアルバス）ブロック１０４−５と、シリアルブロック１０４−６と、ＪＰＥＧコーデック（ＣＯＤＥＣ）ブロック１０４−７と、リサイズ（ＲＥＳＩＺＥ）ブロック１０４−８と、ＴＶ信号表示ブロック１０４−９と、メモリカードコントローラブロック１０４−１０と、を有してなる。これら各ブロックは相互にバスラインで接続されている。

プロセッサ１０４の外部には、ＲＡＷ−ＲＧＢ画像データ、ＹＵＶ画像データ及びＪＰＥＧ画像データを保存するためのＳＤＲＡＭ（シンクロナスランダムアクセスメモリ）１０３、ＲＡＭ１０７、内蔵メモリ１２０及び撮像プログラムである制御プログラムが格納されているＲＯＭ１０８、が配置されており、これらはバスラインを介してプロセッサ１０４に接続している。プロセッサ１０４は、ＲＯＭ１０８に格納されている各種制御プログラムを実行し、各種制御プログラムによる機能を実現する。ＳＤＲＡＭ１０３は、フレームメモリに相当する。ＲＯＭ１０８に格納されている各種制御プログラムには、本発明に係る画像処理装置の動作を実現するプログラムである、ノイズ低減プログラム２０が含まれる。つまり、撮像装置１において、ＲＯＭ１０８に格納されるノイズ低減プログラム２０をプロセッサ１０４に実行させ、ＳＤＲＡＭ１０３、ＲＡＭ１０７、内蔵メモリ１２０を使用することにより、画像処理装置のフィルタリング処理部１００と加重加算部１０９と補正値置換部１１０との機能を実現している。

プロセッサ１０４は、主にＣＰＵブロック１０４−３等がバスで接続されたコンピュータを実体とし、ＲＯＭ１０８に記憶されたノイズ低減プログラム２０をＣＰＵブロック１０４−３が実行することで、画像データに対して以下で説明するノイズ低減処理が施される。

なお、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア（不図示）によりノイズ低減処理を実装してもよい。

ノイズ低減プログラム２０は、あらかじめ、ＲＯＭ１０８に記憶される。ここで、ノイズ低減プログラムは、メモリカード１９２に記憶させて、メモリカードスロット１９１を介してＲＯＭ１０８に読み込むことができる。あるいは、ネットワーク（不図示）を介してノイズ低減プログラム２０をＲＯＭ１０８にダウンロードしてもよい。

鏡胴ユニット７は、ズーム（ＺＯＯＭ）レンズ７−１ａを有するズーム光学系７−１、フォーカス（ＦＯＣＵＳ）レンズ７−２ａを有するフォーカス光学系７−２、絞り７−３ａ、を有する絞りユニット７−３、メカニカルシャッタ（メカシャッタ）７−４ａを有するメカシャッタユニット７−４、を備えており、これらによって撮像光学系が構成される。

ズーム光学系７−１と，フォーカス光学系７−２と、絞りユニット７−３と、メカシャッタユニット７−４は、それぞれズーム（ＺＯＯＭ）モータ７−１ｂ、フォーカスレンズ移動手段としてのフォーカス（ＦＯＣＵＳ）モータ７−２ｂ、絞りモータ７−３ｂとメカシャッタモータ７−４ｂ、によって駆動される。

ズームモータ７−１ｂ、フォーカスモータ７−２ｂ、絞りモータ７−３ｂ及びメカシャッタモータ７−４ｂの各モータは、モータードライバ７−５によって駆動される。モータードライバ７−５はプロセッサ１０４のＣＰＵブロック１０４−３によって動作が制御される。

鏡胴ユニット７を構成するズームレンズ７−１ａとフォーカスレンズ７−２ａは、撮像素子であるＣＣＤ（Charge Coupled Device）１０１の受光面上に被写体像を結像させる撮像レンズを構成する。ＣＣＤ１０１は、受光面に結像された被写体像を電気的な画像信号に変換してＦ／Ｅ−ＩＣ（フロントエンドＩＣ）１０２に出力する。

なお、本実施の形態において、撮像素子は、ＣＣＤに限らず、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いてもよい。

Ｆ／Ｅ−ＩＣ１０２は、ＣＤＳ（相関２重サンプリング部）１０２−１、ＡＧＣ（自動利得制御部）１０２−２及びＡ／Ｄ（アナログ−デジタル）変換部１０２−３を有し、被写体像から変換された画像信号に対して、所定の処理を施し、デジタル信号に変換する。変換されたデジタル画像信号は、ＣＣＤ信号処理ブロック１０４−１に入力される。これらの信号処理動作は、プロセッサ１０４のＣＣＤ信号処理ブロック１０４−１から出力されるＶＤ信号（垂直駆動信号）とＨＤ信号（水平駆動信号）により、ＴＧ（タイミングジェネレータ）１０２−４を介して制御される。

ＣＣＤ信号処理ブロック１０４−１は、ＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２を経由して入力されたデジタル画像データに対して、ホワイトバランス調整及びγ調整等の信号処理を行うとともに、ＶＤ信号及びＨＤ信号を出力する。

また、ＣＰＵブロック１０４−３は、ストロボ回路１１４を制御して動作させることによってストロボ発光部３から照明光を発光させる。

ＵＳＢブロック１０４−５は、ＵＳＢコネクタ１２２に結合される。シリアルブロック１０４−６は、シリアルドライバ回路１２３−１を介してＲＳ−２３２Ｃコネクタ１２３−２に結合される。

ＴＶ信号表示ブロック１０４−９は、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に結合され、また、ＴＶ信号表示ブロック１０４−９は、ビデオアンプ（ＡＭＰ）１１８を介してビデオジャック１１９にも結合される。

メモリカードコントローラブロック１０４−１０は、メモリカードスロット１９１のカード接点に結合されている。メモリカード１９２がこのメモリカードスロット１９１に装填されると、メモリカード１９２の接点に接触して電気的に接続され、装填されたメモリカード１９２に画像ファイルを記憶する。

●撮像装置の動作●
次に、撮像装置１の動作について説明をする。図１から図３に示した撮像装置１において、モードダイヤルＳＷ２を操作し、「記録モード」を選択すると、撮像装置１は記録モードでの動作を開始する。より詳しくは、図３に示した操作ｋｅｙユニット（ＳＷ１〜ＳＷ１３）に含まれるモードダイヤルＳＷ２の状態が記録モード−オンになったことを、ＣＰＵブロック１０４−３が検知することで、記録モードでの動作が開始する。

ＣＰＵブロック１０４−３はモータードライバ７−５を制御し、鏡胴ユニット７を撮像可能な位置に移動させる。さらに、ＣＣＤ１０１、Ｆ／Ｅ−ＩＣ１０２及びＬＣＤモニタ１０等の各部に電源が投入されて動作が開始される。各部の電源が投入されると、ファインダモードでの動作が開始する。

ファインダモードで動作中の撮像装置１は、撮像レンズを介してＣＣＤ１０１の受光面に結像された被写体像に係る画像信号がＣＤＳ１０２−１に出力される。このアナログＲＧＢ信号は、ＡＧＣ（自動利得制御回路）１０２−２を介してＡ／Ｄ変換器１０２−３にてデジタル画像信号に変換される。このデジタル画像信号に含まれるＲ・Ｇ・Ｂの各信号は、プロセッサ１０４内の第２のＣＣＤ信号処理ブロック１０４−２が具備するＹＵＶ変換手段によって、ＹＵＶ画像データに変換されて、フレームメモリとしてのＳＤＲＡＭ１０３に記録される。なお、第２のＣＣＤ信号処理ブロック１０４−２は、ＲＧＢ画像信号に対してフィルタリング処理等の適切な処理を施してＹＵＶ画像データへと変換する。

ＹＵＶ画像データは、ＣＰＵブロック１０４−３によって読み出されて、ビデオ信号表示ブロック１０４−９を介してビデオアンプ１１８及びビデオジャック１１９に送られて、これに接続されたＴＶ（テレビジョン）にて表示される。

また、ＣＰＵブロック１０４−３によって読み出されたＹＵＶ画像データは、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に送られて表示に供される。この処理が１／３０秒間隔で行われて表示が更新され、撮像対象とする被写体をＬＣＤモニタ１０の表示によって視認しながら撮像することができるファインダモードでの動作となる。

ＣＣＤ１０１は複数の駆動モード（駆動条件）を設定することができる。この駆動モードによって、ＣＣＤ１０１から出力される画像信号の出力条件を変更することができる。駆動モードには、例えば、『水平画素の「加算と間引き」をせずに、垂直画素の「加算と間引き」もしないモード（以下「モード１」とする。）』、『水平画素を「２画素加算」し、垂直画素を「２画素加算」するモード（以下「モード２」とする。）』、『水平画素を「４画素加算」し、垂直画素を「２画素間引き」するモード（以下「モード３」とする。）』、『水平画素の「加算と間引き」をせず、垂直画素を「４画素加算」とするモード（以下「モード４」とする。）』、がある。

●ノイズ低減処理の実施例１●
次に、撮像装置１が実行する画像データのノイズを低減するための、フィルタリング処理と、このフィルタリング処理の処理回数の決定処理とを含む画像データのノイズ低減処理の一例について、実施例１として説明する。本実施例では、一つの画素がＲＧＢの３成分を持つカラー画像から、画素値に大きさが依存するノイズを低減する際に処理対象画像全体に対してフィルタリング処理を繰り返す例を示す。

図５は、撮像装置１によって実現される画像処理装置１０の機能ブロック図の一例を示す。画像処理装置１０のフィルタリング処理部１００は、画像取得部１０８−１が取得した画像データ（以下、処理対象画像３１という）を入力データとして、画像情報取得部１０８−２が取得した画像情報に基づいて処理回数算出部１０８−３が算出した処理回数のフィルタリング処理を繰り返し行う。加重加算部１０９は、フィルタリング処理部１００が処理した処理対象画像３１に対して、平均値と画素値との加重加算を行う。補正値加算部１１０は、加重加算部１０９が算出した加重加算値を処理対象画像３１に加算する処理を行うことで、ノイズ低減画像３２を出力する。

画像処理装置１０は、機能ブロックとして、画像取得部１０８−１、画像情報取得部１０８−２、カメラ設定情報記憶部５１、処理回数算出部１０８−３、処理回数カウント部１０８−４、フィルタリング処理部１００を有する。フィルタリング処理部１００は、注目画素選択部１０８−５、類似画素抽出部１０８−６、平均値算出部１０８−７、画素選択済判定部１０８−８、処理回数終了判定部１０８−９を有する。

また、画像処理装置１０は、加重加算部１０９、ノイズ分散推定関数記憶部４１、補正値置換部１１０を有する。各機能ブロックは、ＣＰＵブロック１０４−３がノイズ低減プログラム２０を実行することで実現される。

図６は、画像処理装置１０による実施例１のノイズ低減処理を示すフローチャートである。以下、各機能ブロックが行う処理について、図６のフローチャートに沿って説明する。

画像処理装置１０がフィルタリング処理を開始すると、画像取得部１０８−１が、処理対象画像３１が格納されるＳＤＲＡＭ１０３から処理対象画像３１を取得する（Ｓ１０１）。処理対象画像３１は、画像処理装置が含まれる撮像装置１によって撮影された画像データであるが、それ以外の画像データ（例えば、他の撮像装置によって撮影された画像データ）であってもよい。

処理対象画像３１を取得すると、画像情報取得部１０８−２は、処理対象画像３１から画像情報として撮影時のカメラ設定情報や、画像特性情報を取得する（Ｓ１０２）。

ここで、撮影時のカメラ設定情報は、画像がＪＰＥＧ（Joint
Photographic Experts Group）であればデジタルカメラなどで一般的に付加されるＥｘｉｆ（Exchangeable
Image File Format）情報や、各カメラメーカーが独自に画像データのファイル内に書き込んでいる情報（メーカーノート）から取得することができる情報である。カメラ設定情報から取得する情報としては、例えば、ＩＳＯ（International Organization for Standardization）感度、光源（ＷＢ（White Balance）を含む）情報などがある。

フィルタリング処理部１００が撮像装置１内部の機能として処理を行う場合には、撮像装置１内のカメラ設定情報記憶部５１に撮影時のカメラ設定情報が保持されている。そのため、画像情報取得部１０８−２は、カメラ設定情報記憶部５１からカメラ設定情報を取得する。

また、画像特性情報は、撮影した処理対象画像３１から輝度値、標準偏差を算出して取得される情報である。画像特性情報の算出方法については後述する。

処理回数算出部１０８−３は、画像情報取得部１０８−２が取得したカメラ設定情報、画像特性情報に基づいて内蔵メモリ１２０内にある処理回数テーブルを参照して、フィルタリング処理を繰り返す回数を決定する（Ｓ１０３）。処理回数決定方法については後述する。

処理回数カウント部１０８−４は、フィルタリング処理を行うたびにフィルタリング処理の処理回数を加算して、フィルタリング処理の処理回数をカウントする（Ｓ１０４）。

フィルタリング処理の処理回数が決定されると、注目画素選択部１０８−５は、処理対象画像３１に含まれる画素の中から注目画素を選択する（Ｓ１０５）。注目画素の選択方法としては、例えば、ラスタ走査により水平方向に１画素ずつ移動させて注目画素を選択する方法を採用することができる。

図７は、処理対象画像３１の一例を示す図であり、２５個の画素を含む処理対象画像３１の中から１つの注目画素３３が選択されていることを示している。

ただし、注目画素３３の選択方法は上述のものに限らず、いかなるものであってもよい。

注目画素の選択後、類似画素抽出部１０８−６は、処理対象画像３１からの類似画素の抽出方向を決定する（Ｓ１０６）。類似画素の抽出方向を決定する方法については、処理回数に基づいて回数ごとに異なる方向から抽出する方法、複数方向からの抽出処理を複数回行う方法、注目画素ごとに異なる抽出方向を決定する方法など、様々な方法を採ることができる。実施例１においては、処理回数に基づいて決定する方法を採り、１回目が０度（水平方向）、２回目が９０度（垂直方向）、３回目が４５度（斜め方向）、４回目が１３５度（−４５度、斜め方向）として、それぞれの方向から類似画素を抽出する。

なお、類似画素を抽出する方向については、上述の例に限らず、様々な方向（角度）を採用することができる。

注目画素の選択後、類似画素抽出部１０８−６は、注目画素の近傍領域の画素の中から類似画素を抽出する（Ｓ１０７）。類似画素の抽出方法としては、例えば、注目画素を中心としたウィンドウを設定し、注目画素との画素値の差分の絶対値が特定閾値（例えば、絶対差分値が３０以下）の画素であることを条件に抽出するなどを採用することができる。

図８は、画像処理装置による類似画素抽出処理の一例を示す図である。類似画素抽出部１０８−６は、処理対象画像３１のうち、類似画素を抽出する方向の配列の画素から、所定条件に合致する画素の配列（類似画素配列３１１、類似画素配列３１２、類似画素配列３１３、類似画素配列３１４）を選択する。

図９は、画像処理装置による類似画素抽出処理における絶対差分値算出の一例を示す図である。その後、類似画素抽出部１０８−６は、図９のように注目画素３３の画素値との絶対差分値が所定の閾値、閾値範囲内の画素を類似画素として抽出する。

例えば、図９において、類似画素配列３１１では類似画素の抽出画素数が２つ、類似画素配列３１２では類似画素の抽出画素数が３つ、類似画素配列３１３では類似画素の抽出画素数が１つ、類似画素配列３１４では類似画素の抽出画素数が３つとなる。この処理により、フィルタリング処理を行う際にエッジなどの画素値を含めて平均値を算出するおそれが低くなり、そのような画素値が急峻に変わる部分の画素値を用いて平均値を算出することでエッジが潰れるなどの影響を避けることができる。

また、注目画素との画素値の類似度としては、注目画素との画素値の差分の絶対値に限らず、ＲＧＢ空間におけるユークリッド距離や、その他にも種々の値を基準に用いることができる。

図１０は、平均値と、分散の算出を模式的に説明する図である。例えば、図１０に示すように、ウィンドウ内の画素をＬ^＊ａ^＊ｂ^＊空間にマッピングし、その空間でのユークリッド距離を使って類似度を算出してもよい。また、類似度の数値としては、ユークリッド距離に限らずＬｐノルムを使用してもよい。

図１１は、画像処理装置による平均値算出処理の一例を示す図である。平均値算出部１０８−７は、図９で抽出した類似画素について、図１１のように画素値の平均値３４（ＲＧＢの３次元ベクトル）を算出する（Ｓ１０８）。平均値算出部１０８−７は、この平均値３４を注目画素３３に対応するフィルタリング処理結果とする。

画素選択済判定部１０８−８は、処理対象画像３１中のすべての画素を注目画素として選択して上述のＳ１０５からＳ１０８の処理を行ったか否かを判定する（Ｓ１０９）。すべての画素を選択した場合は次ステップへ進む。すべての画素を選択していない場合、画像処理装置１００は、Ｓ１０５の処理に戻り、処理対象画像３１中の別の画素を注目画素としてＳ１０５からＳ１０８までの処理を行う。

処理回数終了判定部１０８−９では、処理回数カウント部１０８−４のカウント回数が処理回数算出部１０８−３で算出した処理回数に到達しているか判定する（Ｓ１１０）。算出した処理回数に到達している場合は次ステップに進む。算出した処理回数に到達していない場合はＳ１０４の処理に戻り、算出した処理回数に到達するまでＳ１０４からＳ１０９までの処理を、抽出方向を変えて繰り返す。

処理対象画像３１の全ての画素について平均値を算出後、加重加算部１０９は、処理対象画像３１の各画素において、平均値と画素値の加重加算を行う（Ｓ１１１）。この加重加算について定式化すると、処理対象画像３１の画素値ｙ（ＲＧＢ３次元ベクトル）、類似画素群の平均値μ（ＲＧＢ３次元ベクトル）、重み係数行列Ｗ（３×３行列）、単位行列Ｉ（３×３行列）を用いて、式（１）で補正値ｘ（ＲＧＢ３次元ベクトル）を算出する。

（１）

補正値ｘは、重み係数行列Ｗの対角成分が１に近いほど平均値μに近付き、０に近いほど元の画素値ｙに近付く。処理対象画像３１の平坦な部分やノイズの多い部分でＷを大きく（１に近く）設定すれば、平均値μに近付き、より多くのノイズを低減することができる。また、処理対象画像３１のテクスチャのある部分やノイズの少ない部分でＷを小さく設定すれば、元の画素値ｙに近付き、微細な信号成分を残すことができる。このように加重加算を用いることで、局所領域の特性に合わせた適応的なノイズ低減が可能となる。

次に、重み係数行列Ｗは、ＲＧＢごとのノイズの分散τ_Ｒ ^２、τ_Ｇ ^２、τ_Ｂ ^２、類似画素群の平均値μ_Ｒ、μ_Ｇ、μ_Ｂ、設計パラメータαを用いて式（２）で算出する。

（２）

ノイズの分散τ_Ｒ ^２、τ_Ｇ ^２、τ_Ｂ ^２は、一定の設計値を用いてもよいし、その都度に推定することもできる。

図１２は、上記フィルタリング処理における画素値に対するノイズの分散を示すグラフである。Ｓ１１０にてノイズの分散τ^２を推定する方法について説明する。一般にＣＣＤやＣＭＯＳ等の撮像した画像に現れるショットノイズは、画素値が大きくなるにつれてノイズのサイズが大きくなる。このように、画素値とノイズの分散の相関性は高いので、回帰によって画素値からノイズの分散を良好な精度で推定することができる。ただし、真の画素値はノイズ低減画像からは特定できないため、類似画素群の平均値μで真の画素値を代替する。

図１３は、フィルタリング処理における類似画素群平均値に対するノイズ量の推定関数を示すグラフである。本実施例では、このような推定関数をあらかじめ設定しておき、μからτ^２を推定する。

なお、ノイズ量の推定関数は、ノイズ分散推定関数記憶部４１にルックアップテーブルで実装してもよいし、多項式などの関数をノイズ分散推定関数記憶部４１に用意してプロセッサ１０４により計算してもよい。推定関数は、例えばカラーチャート（Macbeth Color Checkerなど）を撮影し、カラーチャートの各カラーパッチの画素値バラツキをノイズと見なすことで、最小二乗法等を利用して同定することができる。カラー画像の場合、ノイズの分散τ_Ｒ ^２、τ_Ｇ ^２、τ_Ｂ ^２に対するノイズ推定関数をＲＧＢ成分のそれぞれに用意する。

また、推定関数が撮影条件によって異なる場合は、撮影条件ごとに別の関数を用意して用いればよい。例えば、ＩＳＯ感度によってノイズの大きさは変わるため、設定されたＩＳＯ感度によって使用する推定関数を切り替えることができる。この場合に、ノイズ分散推定関数記憶部４１には、複数種の推定関数を保持するのがよい。

補正値置換部１１０が処理対象画像３１中の画素値を補正値で置換してノイズ低減画像３２を得て出力する（Ｓ１１２）。出力されたノイズ低減画像３２は、ＳＤＲＡＭ１０３やメモリカード１９２に格納される。

以上のように、画像処理装置１００は、カラー画像データである処理対象画像３１に対して、信号依存性のノイズの解像感を落とすことなく低い処理コストでノイズを低減することができる。

なお、以上説明した実施例では、処理対象画像３１がＲＧＢ成分を持つカラー画像であるものとして説明したが、本発明はＹＣＣやＬ^＊ａ^＊ｂ^＊など任意の色空間で表現されたカラー画像に対して、同様に適用することができる。また、本発明は、ｎバンドの分光画像に対しても、本実施例における画素値をｎ次元ベクトルとみなすことで、適用可能である。

●ステップＳ１１１の変形例
次に、Ｓ１１１の加重加算処理の変形例について説明する。

上述の実施例のＳ１１１において、加重加算処理の一例として、ＲＧＢの３次元空間での加重加算を説明したが、平均値と処理対象画素値との差分を一次元の特定方向ｅに射影してから加重加算を行うこともできる。

図１４は、平均値と処理対象画素値との差分を一次元の特定方向に射影して加重加算を行う一例を示す図である。上記特定方向としては、例えば、類似画素群の平均値のＲＧＢ比率一定の方向や輝度の方向、最大分散の方向を考えることができる。ここで、ｗは重み係数（スカラー）であり、例えば式（３）のように設定できる。

（３）

１次元に射影することで、計算量を低減し、かつ、特定方向ｅ上に射影を行うことでｅに直交する方向のノイズを強制的に０にすることができる。

●画像特定値の算出方法
次に、Ｓ１０２の処理対象画像３１から画像特性情報を算出する方法について説明する。処理対象画像３１から算出する画像特性情報としては、輝度値と標準偏差が挙げられる。

輝度値Ｙの算出は処理対象画像３１に含まれる画素ごとに行われ、ＲＧＢ信号に対して式（４）で算出される。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （４）

また、標準偏差σの算出は処理対象画像全体に対して行われ、式（５）で算出される。

（５）

ここで、ｎは処理対象画像３１の画素数、ｘiは注目画素の信号量、ｘは信号平均値である。標準偏差の算出は、輝度値、ＲＧＢそれぞれに算出するとよい。輝度値は処理対象画像３１内で平均を算出して使用する。

●処理回数決定処理
次に、処理回数算出部１０８−３による、処理回数決定処理について説明する。

図１５は、ノイズ低減処理におけるフィルタリング処理の処理回数に対するノイズ量の推定関数を示すグラフである。図１２に示すように、処理回数を増やすと色ノイズ量が減少し、処理回数が増えるにつれて色ノイズ低減量は徐々に小さくなる傾向にある。このような特性を有するフィルタリング処理における、その処理回数の決定方法を説明する。

上述のように、Ｓ１０３では、処理回数算出部１０８−３が、画像情報取得部１０８−２で取得した画像情報と処理回数テーブルとに基づいて、処理回数を算出する。取得する画像情報には、輝度、標準偏差、ＩＳＯ感度（センサゲイン）、光源（ＷＢ）がある。以下に、各情報での処理回数決定方法について説明する。

●輝度値に基づく処理回数決定方法
まず、画像特性情報に含まれる輝度に基づく処理回数決定方法について説明する。画像データにおいて、色ノイズが目立つのは画像の比較的暗い領域である。

図１６は、画像処理装置１００のノイズ低減処理におけるフィルタリング処理の処理回数を決定するテーブルの一例を示す図である。図１６（ａ）は、輝度値に基づく処理回数テーブルの一例である。処理回数決定処理にあたり、図１６（ａ）のようにあらかじめ輝度値に対して閾値を設定し、閾値で区切られた領域ごとに処理回数を設定する。処理回数の設定について、例えば、色ノイズの目立ちやすい低輝度領域の処理回数を多くし、中間輝度から高輝度に向けて徐々に少なくなるように設定する。処理回数算出部１０８−３が、処理対象画像３１から取得した輝度情報が処理回数テーブルのいずれの輝度値領域に入るのかを判断することによって、処理回数が決定される。

●標準偏差に基づく処理回数決定方法
標準偏差に基づく処理回数決定方法について説明する。この方法は、画像特性情報に基づいて算出される標準偏差に対して閾値を定め、この閾値に対して処理回数をあらかじめテーブルに設定する。処理回数算出部１０８−３は、算出された値とテーブルの閾値とを照合して処理回数を決定する。

標準偏差に基づく処理回数の決定にあたっては、ノイズが多い領域では標準偏差が高くなるが、エッジを多く含む場合にも標準偏差が高くなる傾向がある。

そのため、処理回数の設定には注意が必要である。すなわち、処理回数の設定にあたっては、標準偏差がある値以上では処理回数を増やさないような設定が必要となる。

図１６（ｂ）は、標準偏差に基づく処理回数テーブルの一例である。標準偏差に基づく処理回数テーブルにおいて、ある標準偏差の領域に向けて処理回数が多くなるように設定している。また、標準偏差に基づく処理回数テーブルでは、ある標準偏差の領域を超えるとエッジを保持する目的で処理回数が少なくなるように設定している。

●ＩＳＯ感度（センサゲイン）に基づく処理回数決定方法
ＩＳＯ感度（センサゲイン）に基づく処理回数決定方法について説明する。画像データにおいて、ＩＳＯ感度が高くなるとノイズが増える傾向にある。そこで、ＩＳＯ感度に対して閾値を設定して、閾値で区切られた領域ごとに処理回数を設定する。

図１６（ｃ）は、ＩＳＯ感度に基づく処理回数テーブルの一例である。ＩＳＯ感度に基づく処理回数テーブルでは、高ＩＳＯ感度ほど処理回数が多くなるようにし、低ＩＳＯ感度になるにつれて徐々に少なくなるように設定している。

●光源情報に基づく処理回数決定方法
光源情報に基づく処理回数決定方法について説明する。様々な光源下で撮影される中で、ＷＢ（White Balance）制御では白い被写体を画像データ上で白に見せるために、最も感度の高いＧ信号量にＲ信号量とＢ信号量のレベルを合わせるようにＲ信号量とＢ信号量にゲインを乗算する。すなわち、ＷＢ制御では、色温度が低い光源下で撮影された場合には、青色の光が少ないためＷＢのＢゲインが高い値となり青色の色ノイズが多くなる。

光源情報に基づく処理回数決定方法において、画像から取得可能な光源情報としては、ＷＢゲインやＷＢ情報（白熱灯、蛍光灯、曇天など）がある。ＷＢゲインの場合には、ＲゲインとＢゲインからある程度撮影時の光源色温度を推定することができる。ＷＢ情報であれば対応する色温度（例えば、白熱灯：３０００Ｋ、蛍光灯：４０００Ｋ、曇天：６０００Ｋなど）で判定を行う。

光源情報に基づく処理回数の決定にあたり、推測された光源色温度に閾値を設定し、閾値で区切られた領域ごとに処理回数を設定する。

図１６（ｄ）は、光源情報に基づく処理回数テーブルの一例である。光源情報に基づく処理回数テーブルでは、青色の色ノイズの目立ちやすい低色温度の処理回数を多く、高色温度になるにつれて徐々に少なくなるように設定している。

●複数の方法の組み合わせによる処理回数決定方法
上記のように個々の情報から処理回数を決定する方法に代えて、複数の情報を組み合わせることでより精度の高い処理回数決定が可能となる。複数の情報の組み合わせによる処理回数決定方法の一例として、ＩＳＯ感度と標準偏差の組み合わせによる処理回数決定方法について説明する。

撮像装置１内で本実施例の処理を行う場合は、撮影時に用いる撮像素子は単一となる可能性が高い。一方で、ＰＣ等で本実施例の処理を行う場合は、撮影に用いられた撮像装置は複数存在することになり、撮影で使用される撮像素子は様々なものとなる可能性がある。一般的に画像データに発生するノイズ量は撮像素子のサイズに起因する場合が高く、撮像素子のサイズが小さいほどノイズ量は多くなる。

撮像装置は、一般にＩＳＯ感度の数値を選択できるようになっているが、同じＩＳＯ感度であっても撮影に使用した撮像素子によってノイズ量は全く異なる。このような場合に、ＩＳＯ感度のみで処理回数を決定するとノイズ量の少ない画像に対して過剰にノイズ低減処理を行ってしまうおそれや、ノイズ量の多い画像に対してノイズ低減処理が不足するおそれがある。

そこで、撮像装置外で本実施例のノイズ低減処理を行う場合に好適な処理回数決定方法として、ＩＳＯ感度に対して、さらに標準偏差を組み合わせることができる。このような方法によれば、様々な撮像素子に最適な処理回数を決定することができる。

処理回数決定方法の組合せ方法は、例えば以下の方法が挙げられる。まず、画像から取得したＩＳＯ感度から図１６（ｃ）に従ってＩＳＯ感度での処理回数Ｎ１を算出する。次に、処理対象画像３１から取得した標準偏差から図１６（ｂ）に従って標準偏差での処理回数Ｎ２を算出する。

Ｎ１とＮ２を算出した後、あらかじめ定めたＮ１とＮ２の優先順位に従って、フィルタリング処理の処理回数を決定する。例えば、ＩＳＯ感度と標準偏差から算出したそれぞれの処理回数で、Ｎ１≧Ｎ２の場合にはＮ２を使用し、Ｎ１＜Ｎ２の場合にはＮ１の処理回数を使用する。

一例として、ＩＳＯ感度がＩＳＯ１６００で、標準偏差σが１．２であった場合、ＩＳＯ感度での処理回数Ｎ１は４回、標準偏差での処理回数Ｎ２は２回となり、Ｎ１≧Ｎ２となるため、Ｎ２の２回を採用する。

以上説明した決定方法では、ＩＳＯ感度による処理回数と標準偏差による処理回数とを比較して、回数が少ない処理回数を実際の処理回数として決定する。そのため、フィルタリング処理回数が増加してエッジが潰れてしまうのを防ぐことができる。

また、別の例として、ＩＳＯ感度がＩＳＯ１６００で、標準偏差σが４．５であった場合、ＩＳＯ感度での処理回数Ｎ１は４回、標準偏差での処理回数Ｎ２は６回となり、Ｎ１＜Ｎ２となるため、Ｎ１の４回を採用する。

以上説明した決定方法によれば、処理対象画像３１にエッジを含むことにより標準偏差が高くなったとしてもＩＳＯ感度による処理回数が使用されることで処理回数が抑制され、処理回数が過剰となってエッジが潰れることを防ぐことができる。また、処理回数の設定としては、ＩＳＯ感度側に最大繰り返す回数を設定してもよい。

●実施例１の効果●
以上説明した実施例１の画像処理装置によれば、以下の効果が得られる。

画像処理装置は、フィルタリング処理として、所定の画素を注目画素として特定し、注目画素に類似する画素を抽出するための抽出方向を決定し、注目画素から抽出方向に配列される画素の中から注目画素に類似する画素を類似画素として抽出する。また、画像処理装置は、注目画素の画素値と類似画素の画素値との平均値を算出し、注目画素の画素値を平均値で置換し、処理対象画素群を構成する画素ごとに各々平均値で置換されて生成された置換画像を新たな処理対象画像とする、処理を行う。

そして、所定の処理回数だけ上述のフィルタリング処理を繰り返す。この画像処理装置によれば、例えば斜め方向のエッジを持つ被写体など、様々な方向の被写体を含む画像に対して類似画素を見つけてフィルタリング処理を行うことができるため、このような画像に対しても適切なノイズ除去をすることができる。

また、画像処理装置は、フィルタリング処理部が、抽出方向として複数の方向を決定し、複数の抽出方向に含まれる画素それぞれの画素値に基づいて平均値を算出する。つまり、画像処理装置は、処理対象画像３１（例えば、Ｎ×Ｎの画素からなる画像サイズ）について、注目画素を中心とするＮ×１の所定方向（一次元）から類似画素の抽出する処理を、複数回（複数方向）行う。この画像処理装置によれば、特に画素数が大きい場合に、処理対象画像３１全体（二次元）に対して注目画素に対する類似画素を抽出する処理を行うよりも、効率よく処理できる。

また、画像処理装置は、フィルタリング処理部は、処理回数に基づいて抽出方向を決定する。さらに、画像処理装置は、フィルタリング処理部は、抽出方向として、注目画素ごとに異なる方向を決定する。この画像処理装置によれば、複数回行うフィルタリング処理を処理回数や注目画素ごとに異なる抽出方向で類似画素を抽出することができるため、様々な方向の被写体を含む画像に対して効率よくノイズ低減処理を行うことができる。

また、画像処理装置では、繰り返し回数決定の所定条件を被写体輝度とし、被写体輝度に応じてフィルタリング処理の繰り返し回数を決定している。この画像処理装置によれば、特に暗部で発生しやすい色ノイズに対して、暗部のフィルタリング処理の回数を増やすことができるため、色ノイズを効果的に除去することができる。

また、画像処理装置では、繰り返し回数決定の所定条件を画像から算出される標準偏差として、標準偏差に応じてフィルタリング処理の繰り返し回数を決定している。画像データにおいて、色ノイズが発生している場合には標準偏差が高くなる傾向にある。この画像処理装置によれば、標準偏差が高くなるのに対応してフィルタリング処理の繰り返し回数を増やすことができるため、色ノイズを効果的に除去することができる。

●ノイズ低減処理の実施例２●
上述の実施例１では、処理対象画像３１の各画素を注目画素３３とし、注目画素３３について一律に類似画素を抽出する方向を定めて、注目画素の画素値と類似画素の画素値との平均値を算出した。これに対し、実施例２では、処理対象画像３１から被写体のエッジ方向を検出し、注目画素３３に対する類似画素の抽出方向をエッジ方向に対応して決定する。

なお、以下に説明する実施例２では、機能ブロックなどは実施例１と共通する。そのため、実施例２の説明では、図５などを参照しつつ、実施例１との相違点について説明する。

図１７は、画像処理装置による実施例２のノイズ低減処理を示すフローチャートである。図１７に示すように、実施例２のノイズ低減処理は、図６に示した実施例１のノイズ低減処理のフローチャートと比較すると、Ｓ１０６−１のエッジ検出処理のみが相違する。そこで、以下の説明では、エッジ方向検出処理について説明する。

図１８は、エッジ方向検出処理の一例を示す模式図である。類似画素抽出部１０８−６が、処理対象画像３１の画素値と内蔵メモリ１２０に格納されるエッジ方向検出フィルタに基づいて、処理対象画像３１の被写体のエッジ方向を検出する（Ｓ１０６−１）。ここで、エッジ方向検出フィルタとは、処理対象画像３１の画素値に対応してあらかじめ定められた係数のデータである。

エッジ方向検出処理にあたり、類似画素抽出部１０８−６は、図１８に示すように処理対象画像３１の画素値とエッジ方向検出フィルタ４０の係数とから乗算値５０を算出する。乗算値５０を算出後、類似画素抽出部１０８−６は、乗算値５０を合算する。例えば、図１８に示す乗算値５０の合算値は、２４０である。

図１９は、エッジ方向検出フィルタの一例を示す模式図である。エッジ方向検出フィルタは、所定の方向ごとにフィルタの値（係数）が定められている。例えば、エッジ方向検出フィルタのうち、エッジ方向検出フィルタ４０とエッジ方向検出フィルタ４４では、類似画素を抽出する方向を０度（紙面水平方向）とする。

以下同様に、エッジ方向検出フィルタ４１とエッジ方向検出フィルタ４５では類似画素を抽出する方向を４５度、エッジ方向検出フィルタ４２とエッジ方向検出フィルタ４６では類似画素を抽出する方向を９０度（紙面垂直方向）、エッジ方向検出フィルタ４３とエッジ方向検出フィルタ４７では類似画素を抽出する方向を１３５度（−４５度）とする。

類似画素抽出部１０８−６は、方向ごとのエッジ方向検出フィルタ４０〜４７について乗算値の合算値を算出して比較し、処理対象画像３１に対するエッジ方向を決定する。例えば、エッジ方向検出フィルタ４０〜４７のうち、乗算値の合算値を比較し、合算値が最大となったフィルタについて定められた抽出方向を、エッジ方向として決定する。

エッジ方向検出フィルタ４０〜４７から算出される乗算値の合算値を比較すると、エッジ方向検出フィルタ４０の合算値が最大となる。そのため、類似画素抽出部１０８−６は、エッジ方向検出フィルタ４０について定められた方向である、０度をエッジ方向とする。

説明したエッジ方向に基づく類似画素抽出方向の決定に際して、フィルタリング処理の（繰り返す）回数ごとにその都度抽出方向を決定してもよく、処理対象画像３１の注目画素ごとにエッジ方向を検出してその都度抽出方向を決定してもよい。

そして、類似画素抽出部１０８−６は、Ｓ１０６で検出したエッジ方向に基づいて注目画素に対する類似画素の抽出方向を決定する。

●実施例２の効果●
以上説明した実施例２の画像処理装置によれば、以下の効果が得られる。

画像処理装置は、フィルタリング処理部は、処理対象画像に含まれる被写体のエッジ方向を検出し、被写体のエッジ方向に基づいて抽出方向を決定する。この画像処理装置によれば、被写体のエッジ方向に合わせて効率よくノイズ低減処理を行うことができる。

また、画像処理装置は、フィルタリング処理部は、所定の方向に応じた係数を処理対象画像の画素値に乗算して得られた値に基づいて、被写体のエッジ方向を検出する。ここで、係数は、所定の方向ごとにあらかじめ定められている。また、フィルタリング処理部は、処理対象画素群を構成する画素ごとに係数を処理対象画像の画素値に乗算して得られた値の合算値を、所定の方向ごとに算出する。そして、フィルタリング処理部は、合算値が最大となる所定の方向を、被写体のエッジ方向として検出する。この画像処理装置によれば、被写体のエッジ方向を効率よく正確に検出してノイズ低減処理を行うことができる。

●抽出画素の置換処理●
次に、画像処理装置による注目画素の置換処理を説明する。注目画素の置換処理は、フィルタリング処理部１００の平均値算出部１０８−７が、類似画素抽出部１０８−６が抽出した複数の類似画素の抽出方向のいずれかについて抽出した画素の画素値を、複数の抽出方向の他の抽出方向について抽出した画素に置換する処理である。

図２０は、画像処理装置による抽出画素の置換処理を示すフローチャートである。平均値算出部１０８−７は、類似画素抽出部１０８−６がＳ１０７で抽出した類似画素配列の抽出画素数を取得する（Ｓ２０１）。

平均値算出部１０８−７は、取得した類似画素配列の抽出画素数がこれまでに取得した抽出画素数のうち、最大の数（最大画素数）であるか否かを判断する（Ｓ２０２）。

取得した類似画素配列の抽出画素数が最大値または最大値と同値であれば、取得した類似画素配列を平均値の算出に使用する（Ｓ２０３）。一方、取得した類似画素配列の抽出画素数が最大でなければ、抽出画素数が最大値の類似画素配列に置換して平均値の算出を行う（Ｓ２０４）。

図２１は、画像処理装置による抽出画素の置換処理の一例である。この例では、１回目のフィルタリング処理を注目画素３３に対して０度、２回目のフィルタリング処理を９０度、３回目のフィルタリング処理を４５度、４回目のフィルタリング処理を−４５度で行う。

図２１において、１回目のフィルタリング処理の類似画素配列３１１の抽出画素数は３、２回目のフィルタリング処理の類似画素配列３１２の抽出画素数は４である。３回目のフィルタリング処理について、類似画素抽出部１０８−６が取得した類似画素配列３１３の抽出画素数は２である。

類似画素配列３１３の抽出画素数とこの時点の最大画素数である２回目のフィルタリング処理で取得した類似画素配列３１２の抽出画素数４とを比較すると、類似画素配列３１２の抽出画素数が上回っている。このとき、平均値算出部１０８−７は、Ｓ２０２とＳ２０４に従い、類似画素配列３１３を最大画素数の類似画素配列３１２に置換する。そして、以降の処理については類似画素配列３１２に基づいて算出された平均値を用いてフィルタリング処理を行う。

一方、４回目のフィルタリング処理について、抽出画素の置換処理を当てはめると、類似画素抽出部１０８−６が取得した類似画素配列３１４の抽出画素数は４である。類似画素配列３１４の抽出画素数とこの時点の最大画素数である２回目のフィルタリング処理で取得した類似画素配列３１２の抽出画素数４とを比較すると、類似画素配列３１２と類似画素配列３１４の抽出画素数は同値で最大値である。このとき、平均値算出部１０８−７は、Ｓ２０２とＳ２０３に従い、取得した類似画素配列３１４を使用して平均値を算出する。

平均値算出部１０８−７は、以上の抽出画素の置換処理を終了した後、図６，１７に示した実施例１，２のフィルタリング処理におけるＳ１０８の平均値算出処理を実行する。

以上した注目画素の置換処理を行うことにより、画像処理装置によれば、抽出画素数が不足した場合であっても、その場合のフィルタリング処理を他の抽出方向について抽出した画素に置き換えてフィルタリング処理を行うため、フィルタリング処理の回数を削減しつつ効率のよいノイズ低減処理を実現できる。

●抽出画素置換処理の実施例の効果●
以上説明した実施例の画像処理装置によれば、以下の効果が得られる。画像処理装置が行う注目画素の置換処理では、フィルタリング処理部は、複数の抽出方向のいずれかについて抽出した画素の画素値を、複数の上記抽出方向の他の抽出方向について抽出した画素に置換する。この置換処理によれば、フィルタリング処理を行う際に、検出画素数を記憶し、他の抽出方向として、例えば抽出画素数が最大となる類似画素配列を用いてフィルタリング処理を行うことにより、類似画素が見つからなかった方向でのフィルタ処理が削減でき、効率的なノイズ除去処理ができる。

１ ：撮像装置
１０ ：画像処理装置
２０ ：ノイズ低減プログラム
３１ ：処理対象画像
３２ ：ノイズ低減画像
３３ ：注目画素
３４ ：平均値
４１ ：ノイズ分散推定関数記憶部
５１ ：カメラ設定情報記憶部
１００ ：フィルタリング処理部
１０４ ：デジタルスチルカメラプロセッサ
１０８ ：ＲＯＭ
１０８−１ ：画像取得部
１０８−２ ：画像情報取得部
１０８−３ ：処理回数算出部
１０８−４ ：処理回数カウント部
１０８−５ ：注目画素選択部
１０８−６ ：類似画素抽出部
１０８−７ ：平均値算出部
１０８−８ ：画素選択済判定部
１０８−９ ：処理回数終了判定部
１０９：加重加算部
１１０：補正値置換部

特開２０１０−２１８１１０号公報 特許第４２４００３２号公報

原島博, 小田島薫, 鹿喰善明, 宮川洋, "ε-分離非線形ディジタルフィルタとその応用," 電子情報通信学会論文誌 A , Vol.J65-A, No.4,pp.297-304, 1982

Claims (10)

1. 処理対象画像に含まれるノイズを低減するために上記処理対象画像に対してフィルタリング処理を行う画像処理装置であって、
   上記処理対象画像を特徴付ける画像情報を取得する画像情報取得部と、
   上記取得された画像情報に基づいて上記フィルタリング処理の処理回数を決定する処理回数算出部と、
   処理対象画像に含まれる処理対象画素群を構成する画素ごとに、フィルタリング処理として、
   所定の画素を注目画素として特定し、
   上記注目画素に類似する画素を抽出するための抽出方向を決定し、
   上記注目画素から上記抽出方向に配列される画素の中から上記注目画素に類似する画素を類似画素として抽出し、
   上記注目画素の画素値と上記類似画素の画素値との平均値を算出し、
   上記注目画素の画素値を上記平均値で置換し、
   上記処理対象画素群を構成する画素ごとに各々上記平均値で置換されて生成された置換画像を新たな処理対象画像とする、処理を行う
   フィルタリング処理部と、
   を有してなり、
   上記フィルタリング処理部は、上記処理回数だけ上記フィルタリング処理を繰り返すことを特徴とする画像処理装置。
2. 上記フィルタリング処理部は、
   上記処理回数に基づいて上記抽出方向を決定する、
   請求項１記載の画像処理装置。
3. 上記フィルタリング処理部は、
   上記抽出方向として、上記注目画素ごとに異なる方向を決定する、
   請求項１記載の画像処理装置。
4. 上記フィルタリング処理部は、
   上記処理対象画像に含まれる被写体のエッジ方向を検出し、
   上記被写体のエッジ方向に基づいて上記抽出方向を決定する、
   請求項１乃至３のいずれかに記載の画像処理装置。
5. 上記画像情報取得部は、上記画像情報として被写体輝度を取得し、
   上記処理回数算出部は、取得された被写体輝度が低いほど決定するフィルタリング処理の繰り返し回数を増加させる、
   請求項１乃至４のいずれかに記載の画像処理装置。
6. 上記処理回数算出部は、
   上記画像情報として上記処理対象画像から算出される標準偏差を用いる、
   請求項１乃至４のいずれかに記載の画像処理装置。
7. 上記フィルタリング処理部は、
   上記抽出方向として複数の方向を決定し、
   複数の上記抽出方向に含まれる画素それぞれの画素値に基づいて上記平均値を算出する、
   請求項１乃至６のいずれかに記載の画像処理装置。
8. 上記フィルタリング処理部は、
   複数の上記抽出方向のいずれかについて抽出した画素の画素値を、複数の上記抽出方向の他の抽出方向について抽出した画素に置換する、
   請求項７記載の画像処理装置。
9. 処理対象画像に含まれるノイズを低減するために上記処理対象画像に対してフィルタリング処理を画像処理装置に実行させる方法であって、
   上記画像処理装置が、
   上記処理対象画像を特徴付ける画像情報を取得する画像情報取得ステップと、
   上記取得された画像情報に基づいて上記フィルタリング処理の処理回数を決定する処理回数決定ステップと、
   処理対象画像に含まれる処理対象画素群を構成する画素ごとに、フィルタリング処理として、
   注目画素として特定し、
   上記注目画素に類似する画素を抽出するための抽出方向を決定し、
   上記注目画素から上記抽出方向に配列される画素の中から上記注目画素に類似する画素を類似画素として抽出し、
   上記注目画素の画素値と上記類似画素の画素値との平均値を算出し、
   上記注目画素の画素値を上記平均値で置換し、
   上記処理対象画素群を構成する画素ごとに各々上記平均値で置換されて生成された置換画像を新たな処理対象画像とする、処理を行う、
   フィルタリング処理ステップと、
   を有してなり、
   上記フィルタリング処理ステップは、上記処理回数だけ上記フィルタリング処理が繰り返されることを特徴とする画像処理方法。
10. 処理対象画像に含まれるノイズを低減するために上記処理対象画像に対してフィルタリング処理をコンピュータに実行させるプログラムであって、
    上記コンピュータを、
    上記処理対象画像を特徴付ける画像情報を取得する画像情報取得ステップと、
    上記取得された画像情報に基づいて上記フィルタリング処理の処理回数を決定する処理回数決定ステップと、
    処理対象画像に含まれる処理対象画素群を構成する画素ごとに、フィルタリング処理として、
    注目画素として特定し、
    上記注目画素に類似する画素を抽出するための抽出方向を決定し、
    上記注目画素から上記抽出方向に配列される画素の中から上記注目画素に類似する画素を類似画素として抽出し、
    上記注目画素の画素値と上記類似画素の画素値との平均値を算出し、
    上記注目画素の画素値を上記平均値で置換し、
    上記処理対象画素群を構成する画素ごとに各々上記平均値で置換されて生成された置換画像を新たな処理対象画像とする、処理を行う、
    フィルタリング処理ステップと、
    を実行する画像処理装置として機能させ、
    上記フィルタリング処理ステップは、上記処理回数だけ上記フィルタリング処理が繰り返されることを特徴とする画像処理プログラム。