JP2015138399A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】ノイズを抑制するための処理の後に画像に斑が目立つことを抑制する。【解決手段】画像における着目画素を、当該着目画素の画素値と、当該着目画素と異なる画素の画素値とを用いて処理する処理手段と、前記着目画素と異なる画素を、当該画素の画素値と当該着目画素の画素値との類似度に基づいて選択する選択手段と、前記選択手段により選択される画素の数を設定する画素数設定手段と、前記選択手段により選択された画素の数が、前記画素数設定手段により設定された画素の数に達しているか否かを判定する判定手段と、前記判定手段による判定の結果に基づいて、前記選択手段により選択された画素の中から、前記処理に用いられる画素を決定する決定手段と、を有し、前記処理手段は、前記着目画素の画素値と、前記決定手段により決定された画素の画素値とを用いて、当該着目画素を処理する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、画像に重畳されているノイズを抑制するために用いて好適なものである。

近年、撮像素子の画素の微小化が進んでいる。この画素の微小化に起因して、撮像素子から得られる画像信号のノイズが増加する傾向にある。このノイズを信号処理により抑制する方法として、着目画素と当該着目画素の近傍にある近傍画素とを用いて平滑化処理を行う方法がある。

特許文献１には、入力画像のノイズ特性に基づいて、平滑化フィルタの特性を変更することが開示されている。具体的には、入力画像のノイズ量が多ければ、マスクサイズを大きくして広範囲に平滑化処理を行い、入力画像のノイズ量が少なければ、マスクサイズを小さくして着目画素の値をオリジナルの値（に近い値）に維持する。

また、特許文献２には、入力画像の着目画素との類似度に応じて近傍画素に重み付けを行うことが開示されている。具体的には、入力画像の着目画素を中心とした探索領域においてエッジの方向（略等しい画素値を備える画素が整列する方向）を検出し、このエッジの方向に沿った画素を選択比較画素として選択する。例えば、着目画素を中心とする５×５の画素領域において、左上隅から右下隅に向かう右下がり斜め方向におけるエッジ検出フィルタの演算結果が最小になる場合、当該右下がり斜め方向が当該着目画素のエッジの方向となる。次に、着目画素と選択比較画素との類似度を算出し、選択比較画素ごとに重みを算出する。そして、重みを乗じた選択比較画素を平滑化することで着目画素の画素値を算出する。

特開２０００−６９２９１号公報 特開２０１０−１５３９６９号公報

しかしながら、特許文献１に開示された技術では、平滑化に用いる画素数がノイズ量によって変化する。このため、ノイズの抑制効果が異なる画素が画像内に散在することになる。その結果、ノイズ抑制処理後の画像に斑が目立つという問題があった。
また、特許文献２に開示された技術でも、エッジの有無によって、平滑化に用いる画素数が異なる。このため、エッジの存在する領域ではノイズの抑制効果が小さくなり、エッジのない平坦領域ではノイズの抑制効果が大きくなる。そのため、ノイズの抑制効果が異なる画素が画像内に散在することになる。その結果、ノイズ抑制処理後の画像に斑が目立つという問題があった。
本発明は、このような問題点に鑑みてなされたものであり、ノイズ抑制処理後の画像に斑が目立つことを抑制することを目的とする。

本発明の画像処理装置は、画像における着目画素を、当該着目画素の画素値と、当該着目画素と異なる画素の画素値とを用いて処理する処理手段と、前記着目画素と異なる画素を、当該画素の画素値と当該着目画素の画素値との類似度に基づいて選択する選択手段と、前記選択手段により選択される画素の数を設定する画素数設定手段と、前記選択手段により選択された画素の数が、前記画素数設定手段により設定された画素の数に達しているか否かを判定する判定手段と、前記判定手段による判定の結果に基づいて、前記選択手段により選択された画素の中から、前記処理に用いられる画素を決定する決定手段と、を有し、前記処理手段は、前記着目画素の画素値と、前記決定手段により決定された画素の画素値とを用いて、当該着目画素を処理することを特徴とする。

本発明によれば、ノイズ抑制処理後の画像に斑が目立つことを抑制することができる。

画像処理装置の構成を示す図である。 画像処理装置の処理の第１の例を説明するフローチャートである。 閾値を示す図である。 着目画素と近傍画素を示す図である。 拡大された参照領域を示す図である。 着目画素及び近傍画素における差分絶対値等を示す図である。 画像処理装置の処理の第２の例を説明するフローチャートである。 画素値のヒストグラムを示す図である。 画像処理装置の処理の第３の例を説明するフローチャートである。 画像処理装置の処理の第４の例を説明するフローチャートである。 基準画像と非基準画像を示す図である。 着目画素に対する初回の処理における参照領域を示す図である。 着目画素に対する２回目の処理における参照領域を示す図である。

以下、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、画像処理装置の構成の適用例である撮像装置の一例を示すブロック図である。ただし、画像処理装置は、撮像装置以外の情報処理装置（パーソナルコンピュータ等）であってもよい。
画像処理装置は、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、記録部１０５、制御部１０６、操作部１０７、及び表示部１０８を備える。

光学系１０１には、フォーカスレンズや絞り、シャッターが含まれる。光学系１０１は、撮影時に、フォーカスレンズを駆動することにより被写体のピント合わせを行うことと、絞りやシャッターを制御することにより露光量の調節をすることとを行う。撮像素子１０２は、光学系１０１において結像された被写体の光量を光電変換によって電気信号にするＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子である。Ａ／Ｄ変換部１０３は、撮像素子１０２から入力した電気信号をデジタル化する。画像処理部１０４は、Ａ／Ｄ変換部１０３でデジタル化された信号に対し、ノイズ抑制処理等の処理を施して最終的にＪＰＥＧ等の画像形式の画像データに変換し、記録部１０５に記録する。

制御部１０６は、本実施形態の画像処理装置全体の動作制御を行う。操作部１０７は、ユーザーが画像処理装置に対し操作指示を行う部分である。表示部１０８は、例えば、画像処理装置（撮像装置）の背面に設置された液晶ディスプレイ等であり、撮像素子１０２で撮影され画像処理部１０４で処理された画像や、記録部１０５に保存されている画像等を表示する。

図２は、平滑化処理（ノイズ抑制処理）を行う際の画像処理装置の処理の一例を説明するためのフローチャートである。
まず、ステップＳ２０１において、画像処理部１０４は、後述するステップＳ２０４の処理で使用される閾値を設定する。図３は、ステップＳ２０１で設定される閾値の一例を示す図である。図３の横軸は、入力画像が撮像された際の感度（ＩＳＯ感度）であり、縦軸は、ステップＳ２０４の処理で使用される閾値である。図３に示す例では、感度がＴｈ１以下である場合、閾値はＮＲＴｈ＿Ｍｉｎとなり、感度がＴｈ２以上である場合、閾値はＮＲＴｈ＿Ｍａｘとなる。また、図３に示す例では、感度がＴｈ１を上回り且つＴｈ２を下回る場合、閾値は、２つの座標（Ｔｈ１，ＮＲＴｈ＿Ｍｉｎ）、（Ｔｈ２，ＮＲＴｈ＿Ｍａｘ）を結ぶ直線上の値となる。

尚、感度に加えて又は感度の代わりに、入力画像の明るさと撮像素子１０２の温度との少なくとも何れか一方に応じて閾値を変更してもよい。入力画像の明るさは、例えば、入力画像の各画素の画素値（輝度値）から求めることができる。また、撮像素子１０２の温度は、例えば、撮像素子１０２の温度を測定する温度センサの測定値から得ることができる。

図２の説明に戻り、ステップＳ２０２において、画像処理部１０４は、後述するステップＳ２０９の処理で使用される画素数を設定する。
尚、ステップＳ２０２で設定する画素数は、各画像で変更されるようにするのが望ましい。例えば、入力画像が撮像された際の感度、入力画像の明るさ、及び撮像素子１０２の温度の少なくとも何れか１つに応じて、ステップＳ２０２で設定する画素数を変更するのが望ましい。この場合、入力画像が撮像された際の感度が高いほど、入力画像の明るさが明るいほど、撮像素子１０２の温度が高いほど、ノイズが増える傾向にあるため、ステップＳ２０２で設定する画素数を多くするのが望ましい。以降では説明のため、ステップＳ２０２で設定された画素数が「８」であるものとする。また、以下の説明では、ステップＳ２０２で設定された画素数を必要に応じて平滑化画素数と称する。

図４は、着目画素４０１と、着目画素４０１を中心に含む参照領域４０２内に存在する近傍画素の一例を示す図である。図４では、着目画素４０１からの距離Ｚが１である３×３画素の参照領域４０２内に存在する８つの画素を近傍画素とする場合を例に挙げて示す。
図２の説明に戻り、ステップＳ２０３において、画像処理部１０４は、着目画素４０１の画素値Ｐｃと、近傍画素ｉの画素値Ｐｉ（ｉ＝０〜７）との差分絶対値ＤＩＦＦ（＝｜Ｐｃ−Ｐｉ｜）を近傍画素ｉのそれぞれについて算出する。尚、着目画素４０１の位置（座標）を（Ｘｃ，Ｙｃ）、近傍画素ｉの位置（座標）を（Ｘｉ，Ｙｉ）とすると、距離Ｚは、以下の式（１）で表現される。このように本実施形態では、差分絶対値ＤＩＦＦにより、着目画素４０１の画素値Ｐｃと、近傍画素ｉの画素値Ｐｉ（ｉ＝０〜７）との類似度を表す。ただし、類似度は、差分絶対値に限定されない。

次に、ステップＳ２０４において、画像処理部１０４は、差分絶対値ＤＩＦＦが、ステップＳ２０１で設定した閾値未満であるか否かを判定する。この判定の結果、差分絶対値ＤＩＦＦが閾値未満である場合には、ステップＳ２０５に進む。ステップＳ２０５に進むと、画像処理部１０４は、この近傍画素ｉを平滑化処理の対象画素とするフラグを立てる。そして、ステップＳ２０６に進む。以降では説明のため、このフラグを立てた近傍画素ｉを必要に応じて平滑化対象画素と称する。

一方、ステップＳ２０４において差分絶対値ＤＩＦＦが、ステップＳ２０１で設定した閾値以上であると判定された場合には、ステップＳ２０５を省略してステップＳ２０６に進む。
ステップＳ２０６に進むと、画像処理部１０４は、演算を行う近傍画素ｉが残っているか否かを判定する。この判定の結果、演算を行う近傍画素ｉが残っている場合には、ステップＳ２０３に戻り、未選択の近傍画素ｉを選択してステップＳ２０３〜Ｓ２０６の処理を継続する。一方、演算を行う近傍画素ｉが残っていない場合には、ステップＳ２０７に進む。

ステップＳ２０７に進むと、画像処理部１０４は、平滑化対象画素の総数が、ステップＳ２０２で設定した平滑化画素数に達しているか否かを判定する。ここでいう平滑化対象画素の総数は、ステップＳ２０５でフラグを立てた近傍画素ｉの数に、着目画素４０１の数（＝１）を加算した数である。この判定の結果、平滑化対象画素の総数が、ステップＳ２０２で設定した平滑化画素数に達している場合には、ステップＳ２０９に進む。そして、画像処理部１０４は、着目画素４０１の画素値とステップＳ２０５でフラグを立てた平滑化対象画素の画素値とを用いて着目画素４０１に対する平滑化処理を行う。

例えば、図４において、画素値がＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６の近傍画素ｉが平滑化対象画素となった場合、着目画素Ｐｃも含めると平滑化対象画素の数の合計は８となる。また、前述したように、ここでは、ステップＳ２０２において平滑化画素数として「８」が設定されているものとしている。したがって、ステップＳ２０５でフラグを立てた平滑化対象画素の総数が、ステップＳ２０２で設定した平滑化画素数に達する。そして、画像処理部１０４は、平滑化処理後の着目画素４０１の画素値Ｐ＿ＯＵＴを、以下の式（２）で算出する。このように本実施形態では、着目画素の画素値と、平滑化対象画素の画素値との平均値（算術平均値）により、平滑化処理後の着目画素の画素値が表される。
Ｐ＿ＯＵＴ＝（Ｐｃ＋Ｐ０＋Ｐ１＋Ｐ２＋Ｐ３＋Ｐ４＋Ｐ５＋Ｐ６）／８ ・・・（２）

ここで、画素値がＰ０〜Ｐ７の全ての近傍画素ｉが平滑化対象画素となった場合、着目画素４０１も含めると、平滑化対象画素の数の合計は９となり、ステップＳ２０２で設定した平滑化画素数よりも多くなる。この場合、画像処理部１０４は、差分絶対値ＤＩＦＦが小さい順に７つの近傍画素ｉを選択し、選択した近傍画素ｉと着目画素４０１の画素値を用いて平滑化処理を行う。

一方、ステップＳ２０７の判定の結果、平滑化対象画素の総数が、ステップＳ２０２で設定した平滑化画素数に達していない場合には、ステップＳ２０８に進む。
ステップＳ２０８に進むと、画像処理部１０４は、参照領域を拡大する。図５は、拡大された参照領域５０１の一例を示す図である。図５に示すように、現在よりも距離Ｚが１だけ増え、着目画素４０１からの距離Ｚが２となる範囲が新たな参照領域５０１として設定される。この参照領域５０１内に存在する近傍画素ｉは、画素値がＰ０〜Ｐ１５の合計１６個の画素となる。

そして、ステップＳ２０３に戻り、ステップＳ２０７において、平滑化対象画素の総数が、ステップＳ２０２で設定した平滑化画素数に達すると判定されるまで参照領域を拡大しながらステップＳ２０３〜Ｓ２０８の処理を継続する。
尚、参照領域を拡大した後、平滑化対象画素の総数が、ステップＳ２０２で設定した平滑化画素数よりも多くなった場合、画像処理部１０４は、以下の処理を行う。すなわち画像処理部１０４は、距離Ｚ及び差分絶対値ＤＩＦＦが小さい順にステップＳ２０２で設定した平滑化画素数から１を減算した数だけ近傍画素ｉを選択し、選択した近傍画素ｉと着目画素４０１の画素値を用いて平滑化処理を行う。このとき、画像処理部１０４は、距離Ｚを差分絶対値ＤＩＦＦよりも優先して近傍画素ｉを選択することができる。すなわち、画像処理部１０４は、差分絶対値ＤＩＦＦが閾値未満のものを、相対的に距離Ｚが小さい近傍画素ｉの差分絶対値ＤＩＦＦから順に選択することができる。このようにする場合、同一の距離Ｚの近傍画素ｉについては、差分絶対値ＤＩＦＦが小さいものから順に選択することができる。

図６は、着目画素及び近傍画素（図６（ａ））と、当該着目画素及び近傍画素における差分絶対値ＤＩＦＦ（図６（ｂ））の一例を示す図である。
図６（ａ）に示す例では、画素値がＰｃである着目画素４０１との距離Ｚが１の近傍画素ｉとして、画素値がＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７の画素がある。また、着目画素４０１との距離Ｚが２の近傍画素として、画素値がＰ８、Ｐ９、Ｐ１０、Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ１５、Ｐ１６、Ｐ１７、Ｐ１８、Ｐ１９、Ｐ２０、Ｐ２１、Ｐ２２、Ｐ２３の画素がある。さらに、これらの近傍画素ｉの画素値と着目画素４０１の画素値との差分絶対値ＤＩＦＦが、図６（ｂ）に示すようになったとする。また、ステップＳ２０１で設定された閾値は５０であるとする。

そうすると、図６（ｂ）に示す例では、平滑化対象画素として、画素値がＰ３、Ｐ４、Ｐ５、Ｐ６、Ｐ１５、Ｐ１６、Ｐ１７の近傍画素ｉが選択される。そして、平滑化処理後の着目画素の画素値Ｐ＿ＯＵＴは、以下の式（３）で表現され、結果２６となる。
Ｐ＿ＯＵＴ＝（Ｐｃ＋Ｐ３＋Ｐ４＋Ｐ５＋Ｐ６＋Ｐ１５＋Ｐ１６＋Ｐ１７）／８ ・・・（３）

尚、画像全体まで参照領域を拡大しても、平滑化対象画素の数が、ステップＳ２０２で設定した平滑化画素数に達しない場合、画像処理部１０４は、それまでに検出した平滑化対象画素と着目画素のみを用いて平滑化処理を行う。
そして、以上の処理を、入力画像の画素毎に行うことで入力画像の全体に対してノイズ抑制された出力画像を得る。

以上のように本実施形態では、着目画素４０１の画素値との差分絶対値ＤＩＦＦが閾値未満になる所定の数（平滑化画素数）の近傍画素ｉが選択されるまで参照領域を拡大し、所定の数の近傍画素ｉの画素値と着目画素４０１の画素値を用いて平滑化処理を行う。したがって、平滑化処理に用いる近傍画像ｉの数を画像全体で均一にすることができる。これにより、ノイズの抑制効果が異なる画素が画面内で散在することを抑制することができる。よって、ノイズ抑制処理後に斑が目立たない画像を生成する画像処理装置を提供することができる。

尚、本実施形態のように、平滑化処理に用いる画素の数を平滑化画素数と同じ数にすれば、平滑化処理に用いる近傍画像ｉの数を画像全体で同じにすることができるので好ましい。しかしながら、必ずしもこのようにする必要はない。例えば、参照領域を拡大した後、平滑化対象画素の総数が平滑化画素数よりも多くなった場合でも、その差が所定の範囲（例えば１）である場合には、当該平滑化対象画素の全てを、平滑化処理に用いる画素としてもよい。

（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、入力画像の全領域まで参照領域を拡大する場合を例に挙げて説明した。これに対し、本実施形態では、拡大する参照領域に予め上限値を設定することで演算負荷を軽減するようにする。このように、本実施形態と第１の実施形態とは、参照領域の大きさに上限値を設けることによる処理が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図６に付した符号と同一の符号を付す等して詳細な説明を省略する。

図７は、平滑化処理（ノイズ抑制処理）を行う際の画像処理装置の処理の一例を説明するためのフローチャートである。
ステップＳ７０１、Ｓ７０２の処理は、それぞれ第１の実施形態で説明した、図２のステップＳ２０１、Ｓ２０２の処理と同じである。
ステップＳ７０３において、画像処理部１０４は、参照領域の大きさの最大値である最大参照領域を設定する。以下、最大参照領域の設定方法の一例を説明する。
参照領域が最大となる場合、つまり着目画素４０１から最も距離Ｚの離れた画素を参照する必要が生じるのは、着目画素４０１が、画面内において、存在数が少ない画素である可能性が高いと考えられる。そのため、画面内に存在する数が少ない画素について、ステップＳ７０２にて設定した平滑化画素数に達するために必要な参照領域の大きさを予め算出し、最大参照領域として設定する。以下に、最大参照領域の設定方法の具体例を説明する。

図８は、入力画像の画素値と画素数の関係（画素値のヒストグラム）の一例を示す図である。
図８に示すように、画像処理部１０４は、画像全体に対する画素値のヒストグラムを導出（算出）する。そして、予め設定した閾値よりも存在数が小さい画素を着目画素として選択する。
次に、画像処理部１０４は、選択した全ての着目画素に対して、第１の実施形態で説明した、図２のステップＳ２０３〜Ｓ２０８の処理を行う。
最後に、画像処理部１０４は、選択した全ての着目画素のうち、最も広い参照領域を最大参照領域として設定する。
尚、最大参照領域の設定方法は、このような方法に限定されず、参照領域の拡大範囲として、入力画像の大きさを下回る大きさを上限値として設定することが可能な方法であればよい。

図７の説明に戻り、ステップＳ７０４〜Ｓ７０７の処理は、それぞれ第１の実施形態で説明した、図２のステップＳ２０３〜Ｓ２０６の処理と同じである。
そして、ステップＳ７０８に進むと、画像処理部１０４は、図２のステップＳ２０７と同様に、平滑化対象画素の総数が、ステップＳ７０２で設定した平滑化画素数に達しているか否かを判定する。この判定の結果、この判定の結果、平滑化対象画素の総数が、ステップＳ７０２で設定した平滑化画素数に達している場合には、ステップＳ７１１に進む。そして、ステップＳ７１１に進むと、画像処理部１０４は、図２のステップＳ２０９と同様に、ステップＳ７０６でフラグを立てた平滑化対象画素を用いて着目画素４０１に対する平滑化処理を行う。

一方、ステップＳ７０８の判定の結果、平滑化対象画素の総数が、ステップＳ７０２で設定した平滑化画素数に達していない場合には、ステップＳ７０９に進む。
ステップＳ７０９に進むと、画像処理部１０４は、現在の参照領域の大きさが、ステップＳ７０３で設定した最大参照領域になっているか否かを判定する。この判定の結果、現在の参照領域の大きさが、ステップＳ７０３で設定した最大参照領域になっている場合には、前述したステップＳ７１１に進み、画像処理部１０４は、平滑化処理を行う。この場合、平滑化対象画素の総数（ステップＳ７０６でフラグを立てた近傍画素ｉの数に着目画素４０１の数（＝１）を加算した数）が、ステップＳ７０２で設定した平滑化画素数に達していないとしても、検出した平滑化対象画素を用いて平滑化処理を行う。

一方、ステップＳ７０９の判定の結果、現在の参照領域の大きさが、ステップＳ７０３で設定した最大参照領域になっていない場合には、ステップＳ７１０に進む。ステップＳ７１０に進むと、画像処理部１０４は、図２のステップＳ２０８と同様に、参照領域を拡大し、ステップＳ７０４に戻る。そして、ステップＳ７０８において、平滑化対象画素の総数が平滑化画素数に達したと判定されるまで、又は、ステップＳ７０９において、現在の参照領域の大きさが最大参照領域であると判定されるまで、ステップＳ７０４〜Ｓ７１０の処理を継続する。

そして、以上の処理を、入力画像の画素毎に行うことで入力画像の全体に対してノイズ抑制された出力画像を得る。
以上のように本実施形態では、拡大する参照領域の大きさの上限値を設定するようにした。したがって、第１の実施形態で説明した効果に加え、演算負荷を軽減することができるという効果が得られる。

（第３の実施形態）
次に、第３の実施形態について説明する。前述した第１、第２の実施形態では、参照領域を拡大する場合を例に挙げて説明した。これに対し、本実施形態では、予め広範囲の参照領域を設定し、参照領域の大きさを変えない場合について説明する。このようにすると、特に画像信号に対して画像処理を施す処理をデジタルカメラの内部の電子回路で実現する場合に適した形態になる。このように、本実施形態と第１、第２の実施形態とは、参照領域を設定する方法が主として異なる。したがって、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。

図９は、平滑化処理（ノイズ抑制処理）を行う際の画像処理装置の処理の一例を説明するためのフローチャートである。
ステップＳ９０１、Ｓ９０２の処理は、それぞれ第１の実施形態で説明した、図２のステップＳ２０１、Ｓ２０２の処理と同じである。
ステップＳ９０３において、画像処理部１０４は、参照領域を設定する。このステップＳ９０３で設定される参照領域は、例えば１００×１００画素程度の広い領域を有するようにする。
残るステップＳ９０４〜Ｓ９０７の処理は、それぞれ図２のステップＳ２０３〜Ｓ２０６の処理と同じである。また、ステップＳ９０８の処理は、図２のステップＳ２０９の処理と同じである。

ここで、ステップＳ９０４における近傍画素ｉとは、ステップＳ９０３にて設定した広い参照領域に則り、例えば着目画素４０１を中心とした１００×１００画素の範囲に含まれる画素を指す。
また、ステップＳ９０８では、平滑化対象画素の中から、着目画素４０１からの距離Ｚ及び差分絶対値ＤＩＦＦが小さい順に、ステップＳ９０２で設定した平滑化画素数だけ近傍画素ｉを選択し、選択した近傍画素ｉと着目画素とを用いて平滑化処理を行う。このとき、第１の実施形態で説明したのと同様に、差分絶対値ＤＩＦＦが閾値未満の近傍画素ｉを距離Ｚが近いものから順に選択することができる。

尚、ステップＳ９０７において、参照領域内の全ての近傍画素ｉとの演算が終了した時点で、平滑化対象画素の数が、ステップＳ９０２で設定した平滑化画素数に達しない場合は、それまでに検出した平滑化対象画素と着目画素のみを用いて平滑化処理を行う。
そして、以上の処理を、入力画像の画素毎に行うことで入力画像の全体に対してノイズ抑制された出力画像を得る。

以上のように本実施形態では、広範囲の参照領域を予め設定するようにした。したがって、前述した第１の実施形態で説明した効果に加え、特に画像信号に対して画像処理を施す処理をデジタルカメラの内部の電子回路で実現する場合に適した平滑化処理を提供することが可能となるという効果が得られる。

（第４の実施形態）
次に、第４の実施形態について説明する。前述した第１の実施形態では、入力画素に対して参照領域を設定する場合を例に挙げて説明した。これに対し、本実施形態では、さらに、異なる時間に撮像された画像も参照領域として含めることにより、より広範囲の画素から平滑化対象画素を検出する。このように、本実施形態と第１〜第３の実施形態とは、参照領域を設定する方法が主として異なる。したがって、本実施形態の説明において、第１〜第３の実施形態と同一の部分については、図１〜図９に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１０は、平滑化処理（ノイズ抑制処理）を行う際の画像処理装置の処理の一例を説明するためのフローチャートである。
ステップＳ１００１において、画像処理部１０４は、時系列に連続して撮像素子１０２で撮像された複数枚の画像を取得する。ここでは、画像処理装置を撮像装置としているので、時系列に連続して撮像素子１０２で撮像された複数枚の画像を取得する場合を例に挙げて説明する。ただし、画像処理装置を撮像装置以外の情報処理装置とする場合には、不図示のパーソナルコンピュータ等から、時系列に連続した複数枚の画像を取得することになる。

次に、ステップＳ１００２において、画像処理部１０４は、ステップＳ１００１で取得された複数枚の画像のうち、基準となる画像を基準画像として設定する。
図１１は、基準画像と非基準画像の一例を示す図である。
図１１に示す例では、時刻ｔに撮像された画像を基準画像とし、時刻ｔよりも前の時刻ｔ−１〜ｔ−４に撮像された画像を非基準画像とする。
尚、基準画像と非基準画像の選択方法は、このような方法に限られない。例えば、時系列に連続した複数枚の画像のうち、中間時刻となる時刻ｔ−２で撮像された画像を基準画像として選択してもよい。

次に、ステップＳ１００３において、画像処理部１０４は、基準画像と非基準画像との位置合わせを行う。位置を合わせるための画像間の位置ずれを検出する方法は、例えば特開２００９−２５８８６８号公報に記述されたブロックマッチング等の公知の技術で実現できる。したがって、ここでは、基準画像と非基準画像との位置合わせの詳細な説明を省略する。そして、画像処理部１０４は、検出した位置ずれの分だけ、非基準画像の座標を移動し、基準画像と非基準画像との相対的な位置を合わせる。
画像処理部１０４は、以上の位置合わせ処理を基準画像と全ての非基準画像との間で個別に行う。以上の位置合わせ処理により、基準画像における着目画素及び参照領域と、全ての非基準画像の着目画素及び参照領域との相対的な位置が一致することになる。

続くステップＳ１００４〜Ｓ１００８は、それぞれ図２のステップＳ２０１〜Ｓ２０５と同じである。
図１２は、着目画素１１０１に対する初回の処理における参照領域１１０２ａ〜１１０２ｄの一例を示す図である。図１２に示す例では、初回の処理では、非基準画像において基準画像の着目画素１１０１（画素値Ｐｃ）と相対的な位置が合っている画素（画素値Ｐ０、Ｐ１、Ｐ２、Ｐ３）を近傍画素ｉとして演算を行うこととする。このように、参照領域１１０２を時間方向に拡大する場合には、基準画像の着目画素１１０１と非基準画像において基準画像の着目画素１１０１と相対的な位置が合っている画素を近傍画像ｉとして優先的に演算する。

また、ステップＳ１００３において、非基準画像の移動物体を検出し、非基準画像の参照領域が移動物体にあたる場合には、当該参照領域内の画素（又は当該参照領域内の移動物体を構成する画素）を平滑化対象画素から除外してもよい。参照領域が移動物体に該当する場合には、基準画像の着目画素１１０１と非基準画像の参照領域とが別の被写体である可能性が高い。したがって、この参照領域の画素値と着目画素１１０１の画素値とが近くなったとしても、ノイズ成分や照明等の影響によって画素値が近くなった可能性が高い。よって、このような近傍画素ｉについては平滑化処理に用いない方が画質の劣化を抑制することができることが多い。尚、移動物体を検出する方法は、例えば、特開２００６−２４１４９号公報に記載された公知の技術で実現できるので、ここでは、その詳細な説明を省略する。

図１０の説明に戻り、ステップＳ１００９において、画像処理部１０４は、時系列画像（基準画像及び非基準画像）の参照領域を切り替える。例えば、基準画像、基準画像に対し時刻が近い時刻ｔ−１、ｔ−２、ｔ−３、ｔ−４に撮像された非基準画像の順に時系列画像の参照領域を切り替えることができる。
次に、ステップＳ１０１０において、画像処理部１０４は、図２のステップＳ２０６と同様に、演算を行う近傍画素ｉが残っているか否かを判定する。この判定の結果、演算を行う近傍画素ｉが残っている場合には、ステップＳ１００６に戻り、未選択の近傍画素ｉを選択してステップＳ１００６〜Ｓ１０１０の処理を継続する。一方、演算を行う近傍画素ｉが残っていない場合には、ステップＳ１０１１に進む。

ステップＳ１０１１に進むと、画像処理部１０４は、図２のステップＳ２０７と同様に、平滑化対象画素の総数が、ステップＳ１００５で設定した平滑化画素数に達しているか否かを判定する。この判定の結果、平滑化対象画素の総数が、ステップＳ１００５で設定した平滑化画素数に達している場合には、ステップＳ１０１３に進む。そして、画像処理部１０４は、着目画素１１０１の画素値とステップＳ１００８でフラグを立てた平滑化対象画素の画素値とを用いて着目画素１１０１に対する平滑化処理を行う。

一方、ステップＳ１０１１の判定の結果、平滑化対象画素の総数が、ステップＳ１００５で設定した平滑化画素数に達していない場合には、ステップＳ１０１２に進む。ステップＳ１０１２に進むと、画像処理部１０４は、参照領域を拡大する。
図１３は、着目画素１１０１に対する２回目の処理における参照領域１１０２ａ〜１１０２ｄの一例を示す図である。

図１３において、画像処理部１０４は、基準画素と非基準画素の参照領域を拡大して新たな参照領域１１０２ｅ〜１１０２ｉを設定する。基準画像の参照領域１１０２ｅは、着目画素１１０１からの距離Ｚが１である３×３画素のうちの中心の画素を除く領域である。一方、非基準画像の参照領域１１０２ｆ〜１１０２ｉは、非基準画像の画素のうち着目画素１１０１に対応する画素からの距離Ｚが１である３×３画素のうちの中心の画素を除く領域である。具体的には図１３に示す例では、参照領域内に存在する近傍画素ｉは、画素値がＰ０〜Ｐ３９の合計４０個の画素となる。
そして、ステップＳ１０１２の処理を行うたびに、距離Ｚを１ずつ増加させることにより参照領域を拡大する。このような参照領域の拡大を、平滑化対象画素の数が、ステップＳ１００５で設定した平滑化画素数に達するまで行う（ステップＳ１００６〜Ｓ１０１２の処理を継続する）。

ここで、ステップＳ１０１１において、平滑化対象画素の総数が平滑化画素数よりも多くなった場合、例えば、以下のようにして平滑化処理を行う近傍画素ｉを選択することができる。
まず、ステップＳ１０１２で設定された最新の参照領域のうち、基準画像に対して設定された参照領域内の画素から、差分絶対値ＤＩＦＦが閾値未満の画素を、平滑化処理を行う近傍画素ｉとして選択する。このようにして基準画像に対して設定された参照領域内の画素を選択した時点で、平滑化対象画素の数が、ステップＳ１００５で設定した平滑化画素数を超えた場合には、次のようにする。すなわち、基準画像に対して設定された参照領域内の画素から、差分絶対値ＤＩＦＦが閾値未満の画素を、ステップＳ１００５で設定した平滑化画素数になるまで、差分絶対値ＤＩＦＦが小さいものから順に選択する。

基準画像に対して設定された参照領域内の画素のうち差分絶対値ＤＩＦＦが閾値未満の画素を全て選択しても、平滑化対象画素の数が、ステップＳ１００５で設定した平滑化画素数にならない場合には、次のようにする。すなわち、ステップＳ１０１２で設定された最新の参照領域のうち、基準画像に対し時刻が最も近い時刻ｔ−１で撮像された非基準画像から、ステップＳ１０１２で設定された参照領域を抽出する。そして、抽出した参照領域内の画素から、差分絶対値ＤＩＦＦが閾値未満の画素を、平滑化処理を行う近傍画素ｉとして選択する。このようにして時刻ｔ−１で撮像された非基準画像に対して設定された参照領域内の画素を選択した時点で、平滑化対象画素の数が、ステップＳ１００５で設定した平滑化画素数を超えた場合には、次のようにする。すなわち、時刻ｔ−１で撮像された非基準画像に対して設定された参照領域内の画素のうち差分絶対値ＤＩＦＦが閾値未満の画素を、ステップＳ１００５で設定した平滑化画素数になるまで、差分絶対値ＤＩＦＦが小さいものから順に選択する。

時刻ｔ−１で撮像された非基準画像に対して設定された参照領域内の画素のうち差分絶対値ＤＩＦＦが閾値未満の画素を全て選択しても、平滑化対象画素の数が、ステップＳ１００５で設定した平滑化画素数にならない場合には、次のようにする。すなわち、ステップＳ１０１２で設定された最新の参照領域のうち、基準画像に対し時刻が２番目に近い時刻ｔ−２で撮像された非基準画像から、ステップＳ１０１２で設定された参照領域を抽出する。そして、時刻ｔ−１で撮像された非基準画像と同様に平滑化処理を行う近傍画像ｉを選択する。以降同様に、平滑化対象画素の総数が平滑化画素数よりも多くなるまで、基準画像に対し時刻が近い時刻ｔ−３、ｔ−４に撮像された非基準画像の順に、最新の参照領域から参照領域を抽出し、平滑化処理を行う近傍画像ｉを選択する。

ただし、平滑化処理を行う近傍画像ｉを選択する順序は、前述した順序に限定されない。例えば、基準画像内の参照領域の画素を、非基準画像において基準画像の着目画素１１０１と相対的な位置が合っている画素よりも優先して、平滑化処理を行う近傍画像ｉとして選択してもよい。このようにした場合、基準画像に対して設定された参照領域内の画素のうち差分絶対値ＤＩＦＦが閾値未満の画素を全て選択しても、平滑化対象画素の数が、ステップＳ１００５で設定した平滑化画素数にならない場合に、非基準画像を参照する。

この場合、基準画像の着目画素１１０１と相対的な位置が合っている画素を、基準画像に対し時刻が近い非基準画像から順に選択する。その後、非基準画像に対して設定された参照領域を、基準画像に対し時刻が近い非基準画像から順に選択する。
具体的に図１２、図１３に示す例では、参照領域１１０２ｅ内の画素、参照領域１１０２ａ内の画素、参照領域１１０２ｆ内の画素、参照領域１１０２ｂ内の画素、参照領域１１０２ｇ内の画素の順に選択される。その後、参照領域１１０２ｃ内の画素、参照領域１１０２ｈ内の画素、参照領域１１０２ｄ内の画素、参照領域１１０２ｉ内の画素が選択される。

また、基準画像に対し時刻が近い時刻ｔ−１、ｔ−２、ｔ−３、ｔ−４で撮像された非基準画像の順に、ステップＳ１０１１で設定された参照領域を抽出しなくてもよい。
以上の処理を、入力画像の画素毎に行うことで入力画像の全体に対してノイズ抑制された出力画像を得る。

以上のように本実施形態では、異なる時間に撮像された画像も参照領域として含めるようにした。このように、参照領域を時間方向に拡大することで、より広範囲の画素から平滑化対象画素を検出するので、より一層画質の劣化を抑制することができる。

本実施形態では、異なる時間に撮像された画像（基準画像及び非基準画像）の参照領域を第１の実施形態のように拡大する場合を例に挙げて説明した。しかしながら、第２の実施形態のように、参照領域の大きさの上限値を設定する場合や、第３の実施形態のように、予め広範囲の参照領域を設定する場合にも、本実施形態の処理を適用することができる。第２の実施形態を適用する場合には、図１０のステップＳ１０１１とステップＳ１０１２との間に、ステップＳ７０９の処理を追加することができる。また、第３の実施形態を適用する場合には、参照領域を拡大せずに、平滑化処理を行う近傍画像ｉを選択する。このようにして第３の実施形態に本実施形態を適用する場合には、例えば、基準画像、基準画像に対し時刻が近い時刻ｔ−１、ｔ−２、ｔ−３、ｔ−４で撮像された非基準画像の順に近傍画素ｉを選択することができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

尚、処理手段は、例えば、図２のステップＳ２０９、図７のステップＳ７１１、図９のＳ９０８、図１０のステップＳ１０１２の処理を実行することにより実現される。
選択手段は、例えば、図２のステップＳ２０５、図７のステップＳ７０６、図９のステップＳ９０６、図１０のステップＳ１００８の処理を実行することにより実現される。
画素数設定手段は、例えば、図２のステップＳ２０２、図７のステップＳ７０２、図９のステップＳ９０２、図１０のステップＳ１００５の処理を実行することにより実現される。
判定手段は、例えば、図２のステップＳ２０７、図７のステップＳ７０８、図９のステップＳ９０８、図１０のステップＳ１０１０の処理を実行することにより実現される。
決定手段は、例えば、図２のステップＳ２０９、図７のステップＳ７１１、図９のＳ９０８、図１０のステップＳ１０１２の処理で平滑化処理に使用する画素を選択する処理を実行することにより実現される。
参照領域設定手段は、例えば、図２のステップＳ２０８、図７のステップＳ７１０、図９のステップＳ９０３、図１０のステップＳ１０１１の処理を実行することにより実現される。
最大参照領域設定手段は、例えば、図７のステップＳ７０３の処理を実行することにより実現される。
位置合わせ手段は、例えば、図２のステップＳ２、図７のステップＳ７、図９のステップＳ９、図１０のステップＳ１００３の処理を実行することにより実現される。
移動物体判定手段は、例えば、図１０のステップＳ１００３の処理を実行することにより実現される。

１０１ 光学系、１０２ 撮像素子、１０４ 画像処理部

Claims (17)

1. 画像における着目画素を、当該着目画素の画素値と、当該着目画素と異なる画素の画素値とを用いて処理する処理手段と、
   前記着目画素と異なる画素を、当該画素の画素値と当該着目画素の画素値との類似度に基づいて選択する選択手段と、
   前記選択手段により選択される画素の数を設定する画素数設定手段と、
   前記選択手段により選択された画素の数が、前記画素数設定手段により設定された画素の数に達しているか否かを判定する判定手段と、
   前記判定手段による判定の結果に基づいて、前記選択手段により選択された画素の中から、前記処理に用いられる画素を決定する決定手段と、を有し、
   前記処理手段は、前記着目画素の画素値と、前記決定手段により決定された画素の画素値とを用いて、当該着目画素を処理することを特徴とする画像処理装置。
2. 前記決定手段は、前記処理に用いられる画素として、前記画素数設定手段により設定された画素の数と同じ数の画素を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段により選択される画素の範囲として、前記着目画素を含む参照領域を設定する参照領域設定手段を有し、
   前記選択手段は、前記参照領域設定手段により設定された参照領域内の画素を選択することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記参照領域設定手段は、前記選択手段により選択された画素の数が、前記画素数設定手段により設定された画素の数に達していないことが前記判定手段により判定されると、前記着目画素からの距離が増加するように前記参照領域を拡大することを特徴とする請求項３に記載の画像処理装置。
5. 前記参照領域の大きさの上限値を設定する最大参照領域設定手段を有し、
   前記参照領域設定手段は、前記上限値まで、前記参照領域を拡大し、
   前記決定手段は、前記上限値まで前記参照領域を拡大しても、前記処理に用いられる画素として、前記画素数設定手段により設定された画素の数と同じ数の画素が得られない場合には、前記上限値まで拡大された前記参照領域内で前記選択手段により選択された画素を、前記処理に用いられる画素として決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記最大参照領域設定手段は、
   前記画像における画素値と画素数との関係を導出する手段と、
   当該関係において閾値よりも画素数が少ない画素値を有する画素を着目画素として、当該着目画素と異なる画素を、当該画素の画素値と、当該着目画素の画素値との類似度に基づいて選択する手段と、
   当該選択した画素の数が前記画素数設定手段により設定された数になるまで、前記着目画素を含む範囲を、当該着目画素からの距離が増加するように拡大することを、当該着目画素のそれぞれについて行う手段と、
   当該拡大した範囲のうち最大の範囲を前記参照領域の大きさの上限値として設定する手段と、を有することを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記画像の領域と同じ範囲まで前記参照領域を拡大しても、前記処理に用いられる画素として、前記画素数設定手段により設定された画素の数と同じ数の画素が得られない場合には、前記画像の領域と同じ範囲まで拡大された前記参照領域内で前記選択手段により選択された画素を、前記処理に用いられる画素として決定することを特徴とする請求項４に記載の画像処理装置。
8. 前記着目画素を含む基準画像と、当該画像と時系列に連続する少なくとも１つの画像である非基準画像とからなる複数の画像の位置合わせを行う位置合わせ手段と
   前記参照領域設定手段は、前記選択手段により選択された画素の数が、前記画素数設定手段により設定された画素の数に達していないことが前記判定手段により判定されると、前記位置合わせが行われた複数の画像のうち前記非基準画像における画素により定まる範囲であって、前記基準画像における前記参照領域に対応する範囲を前記参照領域として更に設定することを特徴とする請求項４〜７の何れか１項に記載の画像処理装置。
9. 前記決定手段は、前記着目画素、又は、前記非基準画像の前記着目画素に対応する画素からの距離が同じ画素については、前記基準画像の画素、前記基準画像に対して時系列に近い前記非基準画像の画素の順に、前記処理に用いられる画素を決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記決定手段は、前記判定手段による判定の結果、前記選択手段により選択された画素の数が、前記画素数設定手段により設定された画素の数を上回る場合には、前記選択手段により選択された画素の前記着目画素からの距離と、前記選択手段により選択された画素の画素値の前記着目画素の画素値との類似度とに基づいて、前記選択手段により選択された画素の中から、前記処理に用いられる画素を決定することを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
11. 前記決定手段は、前記選択手段により選択された画素の中から、前記着目画素からの距離が近い画素から順に前記処理に用いられる画素を決定し、前記着目画素からの距離が同じ画素については、前記着目画素の画素値との類似度が高い画素から順に前記処理に用いられる画素を決定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記着目画素を含む基準画像と、当該画像と時系列に連続する少なくとも１つの画像である非基準画像とからなる複数の画像の位置合わせを行う位置合わせ手段と
    前記位置合わせの結果に基づいて、前記画像に移動物体が含まれるか否かを判定する移動物体判定手段と、を有し、
    前記決定手段は、前記移動物体に対応する画素を、前記処理に用いられる画素から除外することを特徴とする請求項１〜１１の何れか１項に記載の画像処理装置。
13. 前記選択手段は、前記着目画素と異なる画素の中から、前記着目画素の画素値と、当該着目画素と異なる画素の画素値と、の差分の絶対値が閾値未満の画素を選択することを特徴とする請求項１〜１２の何れか１項に記載の画像処理装置。
14. 前記閾値は、前記画像が撮像された際の感度と、前記画像を撮像する撮像素子の温度と、前記画像の明るさとの少なくとも１つに応じて変更されることを特徴とする請求項１３に記載の画像処理装置。
15. 前記処理手段は、前記着目画素の画素値と、前記決定手段により決定された画素の画素値との平均値を、当該着目画素の値とすることを特徴とする請求項１〜１４の何れか１項に記載の画像処理装置。
16. 画像における着目画素を、当該着目画素の画素値と、当該着目画素と異なる画素の画素値とを用いて処理する処理工程と、
    前記着目画素と異なる画素を、当該画素の画素値と当該着目画素の画素値との類似度に基づいて選択する選択工程と、
    前記選択工程により選択される画素の数を設定する画素数設定工程と、
    前記選択工程により選択された画素の数が、前記画素数設定工程により設定された画素の数に達しているか否かを判定する判定工程と、
    前記判定工程による判定の結果に基づいて、前記選択工程により選択された画素の中から、前記処理に用いられる画素を決定する決定工程と、を有し、
    前記処理工程は、前記着目画素の画素値と、前記決定工程により決定された画素の画素値とを用いて、当該着目画素を処理することを特徴とする画像処理方法。
17. コンピュータを、請求項１〜１５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images