JP2020170306A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】ノイズ低減効果を向上させることを目的とする。【解決手段】本発明の画像処理装置は、画像の着目領域の周囲に、前記着目領域に対応する複数の領域を設定し、設定した複数の領域の少なくとも一部において、領域内に含まれる画素の位置と画素値に組み合わせを変更した変形領域を生成し、変形領域の画素値に基づいて、着目領域の画素値を補正することを特徴とする。【選択図】図８

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関するものである。特に、画像データを補正する技術に関するものである。

近年、デジタルカメラ等の画像処理装置において、ノイズ低減処理の高性能化が進んでいる。ある着目画素のノイズを十分に低減させるように補正するには、その着目画素周辺の広い範囲の画素情報も用いて処理を行う必要がある。また、ノイズを低減しつつテクスチャの情報を失わないようにする必要があり、これらに関して様々な手法が提案されている。

特許文献１は、画像領域を抽出した画像パッチの集合を生成し、その集合に属する全ての画像パッチに対して、画像パッチごとに異なるパラメータのノイズ低減処理を行い、デノイズ後の画像パッチを合成することにより、デノイズされた画像を生成している。

特開２０１３−２６６６９号公報

しかしながら、特許文献１では、例えば、着目画素の周囲に画像のエッジがある場合には、着目画素の周囲の画素情報を用いることができないためにノイズを十分に低減できないという問題がある。
本発明は、上述したような問題点に鑑み、ノイズ低減効果を向上させることを目的とする。

本発明の画像処理装置は、画像の着目領域の周囲に、前記着目領域に対応する複数の領域を設定する設定手段と、前記設定手段により設定された前記複数の領域の少なくとも一部において、該領域内に含まれる画素の位置と画素値の組み合わせを変更した変形領域を生成する生成手段と、前記変形領域の画素値に基づいて、前記着目領域の画素値を補正する補正手段と、を有することを特徴とする。

本発明によればノイズ低減効果を向上させることができる。

撮像装置の構成の一例を示す図である。 画像処理部の機能構成の一例を示す図である。 ノイズ低減処理部の動作の一例を示すフローチャートである。 ベイヤー画像信号を色ごとに分離した状態の一例を示す図である。 第１の実施形態のノイズ低減処理部の動作を示すフローチャートである。 着目領域と類似度判定領域の一例を示す図である。 類似度判定領域の幾何変形について説明するための図である。 第２の実施形態のノイズ低減処理部の動作を示すフローチャートである。 第４の実施形態のノイズ低減処理部の動作を示すフローチャートである。 第５の実施形態のノイズ低減処理部の動作を示すフローチャートである。 所定のパターンのエッジ部の一例を示す図である。

以下、図面を参照して本発明の好適な実施形態について説明する。
＜第１の実施形態＞
本実施形態では、画像処理装置がカメラ等の撮像装置である場合について説明する。
図１は、撮像装置１００の構成の一例を示すブロック図である。
撮像装置１００は、制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、光学系１０４、撮像部１０５、Ａ／Ｄ変換部１０６、画像処理部１０７、記録部１０８、表示部１０９等により構成される。

制御部１０１は、例えばＣＰＵであり、撮像装置１００全体を制御する。制御部１０１が、撮像装置１００の上述した各構成部を動作させるプログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することにより撮像装置１００全体を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリである。ＲＯＭ１０２は、撮像装置１００の各構成部を動作させるプログラムに加えて、各構成部を動作させるのに必要なパラメータ等を記録する。ＲＡＭ１０３は、書き換え可能な揮発性メモリである。ＲＡＭ１０３は、撮像装置１００の各構成部が動作することで出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を撮像部１０５に結像する。撮像部１０５は、例えば、ＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０５は、光学系１０４によって結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。本実施形態の撮像素子は原色ＲＧＢのベイヤー配列であるものとする。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、ノイズ低減、色補間（ディベイヤー）、ガンマ処理等の様々な画像処理を適用する。
記録部１０８は着脱可能なメモリカード等であり、画像処理部１０７で処理された画像がＲＡＭ１０３を介して記録画像として記録される。
表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３および記録部１０８に記録した画像やユーザからの指示を受け付けるためのユーザインターフェイスを表示する。

図２は、画像処理部１０７の機能構成の一例を示すブロック図である。
画像処理部１０７は、ホワイトバランス処理部２０１、ノイズ低減処理部２０２、現像処理部２０３等を有する。画像処理部１０７の機能構成は、制御部１０１が例えばＲＯＭに記録されたプログラムを実行することにより構成される。
ホワイトバランス処理部２０１は、ＲＡＭ１０３からベイヤー画像信号を受け取り、ＲＧＢそれぞれの色信号に対してホワイトバランスのゲインをかける。
ノイズ低減処理部２０２は、ホワイトバランス処理部２０１から出力されたベイヤー画像信号に対して、補正処理としてのノイズ低減処理を行う。ノイズ低減処理部２０２は、設定手段、補正手段、判定手段、変形手段、エッジ判定手段の一例に対応する。ノイズ低減処理については後述する。
現像処理部２０３は、ノイズ低減処理部２０２から出力されたベイヤー画像信号に対して、色補間（ディベイヤー）処理、ガンマ処理、マトリクス処理、圧縮処理等を行い、最終的な記録画像を生成する。生成された記録画像はＲＡＭ１０３を介して記録部１０８に記録される。

次に、本実施形態のノイズ低減処理部２０２の動作について説明する。
図３は、ノイズ低減処理部２０２の動作の一例を示すフローチャートである。図３のフローチャートは、制御部１０１が例えばＲＯＭ１０２に記録されたプログラムを実行することにより実現される。
Ｓ３０１では、ノイズ低減処理部２０２は入力されたベイヤー画像信号をＲ、Ｇｒ、Ｇｂ、Ｂの色ごとの画像信号に分離する。ここで、図４（ａ）は、ノイズ低減処理部２０２に入力されたベイヤー画像信号の一例を示す図である。図４（ｂ）は、色ごとに分離した画像信号の一例を示す図である。
Ｓ３０２では、ノイズ低減処理部２０２は分離した４つの画像信号それぞれに対して、ノイズ低減処理を行う。
Ｓ３０３では、ノイズ低減処理部２０２はノイズ低減処理後の４つの画像信号をベイヤー配列の画像信号に戻して、ノイズ低減処理後のベイヤー画像信号を生成する。

次に、上述したＳ３０２でのノイズ低減処理について詳細に説明する。
図５は、Ｓ３０２でのノイズ低減処理の動作の一例を示すフローチャートである。
Ｓ５０１では、ノイズ低減処理部２０２は着目領域の位置を更新する。なお、着目領域の初期位置は、例えば画像データの左上画素に設定する。初期位置以降、ノイズ低減処理部２０２は着目領域の位置を水平に３画素おきに右に移動して更新する。なお、着目領域の位置が画像の右端まで到ると、ノイズ低減処理部２０２は着目領域の位置を垂直に３画素下に移動して更新し、同様に着目領域の位置を水平に３画素おきに右に移動して更新する。

Ｓ５０２では、ノイズ低減処理部２０２は更新した着目領域ごとに類似する類似領域を抽出する。ここで、Ｓ５０２において図６（ａ）に示す位置に着目領域を更新したとする。ノイズ低減処理部２０２は着目領域の周囲であって、着目領域の基準画素を中心に類似領域の探索範囲を設定する。図６（ｂ）では着目領域の基準画素を中心として、９×９の範囲に類似領域の探索範囲が設定されている。
ノイズ低減処理部２０２は類似領域の探索範囲内で着目領域と類似度の高い領域を抽出する。具体的に、ノイズ低減処理部２０２は図６（ｃ）に示すように、探索範囲内に着目領域と同じサイズの類似度判定領域を設定する。
次に、ノイズ低減処理部２０２は例えば、下記の式（１）を用いて着目領域と類似度判定領域との差分絶対値和を算出する。ここで、式（１）のＤは差分絶対値和であり、Ｎは着目領域および類似度判定領域の画素数であり、Ｙｉは着目領域の画素値であり、Ｙｓは類似度判定領域の画素値である。差分絶対値和が小さいほど着目領域と類似度判定領域との間の類似度が高いことになる。

ここで、ノイズ低減処理部２０２は差分絶対値和Ｄの値が所定の閾値よりも小さい類似度判定領域を類似領域として抽出する。なお、本実施形態では、簡易的に差分絶対値和を用いて類似領域を判定しているが、領域間の類似度を評価できる他の手法を用いて類似領域を判定してもよい。
ノイズ低減処理部２０２は着目領域と類似度判定領域との類似度を判定した後、図６（ｄ）に示す類似領域の探索範囲内で類似度判定領域を移動させながら設定して、着目領域と類似度判定領域との類似度を判定していく。このように、ノイズ低減処理部２０２は、複数の類似度判定領域を設定していき、設定する度に着目領域と類似度判定領域との類似度を判定する。本実施形態のように、類似領域の探索範囲が９×９の画素サイズ、着目領域および類似度判定領域が３×３の画素サイズの場合には、類似度判定領域の基準画素が７×７の範囲で移動することになる。結果として、ノイズ低減処理部２０２は着目領域を除いた計４８回（７×７−１）の類似度を判定することになる。

ここで、本実施形態では、類似領域が少ない場合であってもノイズ低減効果が得られる補正を行うために、類似領域判定領域を幾何変形させた変形領域であって着目領域に類似する変形領域の画素も考慮して着目領域を補正する。

図７は、類似度判定領域の幾何変形について説明するための図である。
図７（ａ）は、図６（ｃ）の類似度判定領域を取り出した画素パッチの一例を示す図である。ここでは、図７（ａ）の画素パッチには、エッジ成分がなく、ランダムノイズ成分であるものとする。
図７（ｂ）は、図７（ａ）の画素パッチのうち中心の基準画素を通る縦方向の画素列を軸にして鏡像反転させ、画素の位置を変更させた画素パッチを示す図である。図７（ｃ）は、図７（ｂ）と同一の画素パッチである。具体的に、図７（ｂ）の画素パッチの画素値と、図７（ｃ）の画素パッチの画素値とは、Ｘ１＝Ｙ３，Ｘ２＝Ｙ２，Ｘ３＝Ｙ１，Ｘ４＝Ｙ６，Ｘ５＝Ｙ５，Ｘ６＝Ｙ４，Ｘ７＝Ｙ９，Ｘ８＝Ｙ８，Ｘ９＝Ｙ７の関係である。図７（ｃ）の画素パッチは、類似度判定領域を幾何変形させた変形領域の一例である。

図７（ｄ）は、図７（ａ）の画素パッチのうち基準画素を中心に時計回りに９０度回転させ、画素の位置を変更させた画素パッチを示す図である。図７（ｅ）は、図７（ｄ）と同一の画素パッチである。具体的に、図７（ｄ）の画素パッチの画素値と、図７（ｅ）の画素パッチの画素値とは、Ｘ１＝Ｙ７，Ｘ２＝Ｙ４，Ｘ３＝Ｙ１，Ｘ４＝Ｙ８，Ｘ５＝Ｙ５，Ｘ６＝Ｙ２，Ｘ７＝Ｙ９，Ｘ８＝Ｙ６,Ｘ９＝Ｙ３の関係である。図７（ｅ）の画素パッチは、類似度判定領域を幾何変形させた変形領域の一例である。

このように、類似度判定領域を幾何変形させた変形領域を新たに生成する。ここでは、類似度判定領域の画素パッチの縦方向の画素列を軸にして鏡像反転させる場合について説明したが、横方向の画素列を軸にして鏡像反転させてもよい。また、類似度判定領域の画素パッチを時計回りに９０度回転させる場合について説明したが、時計回りに１８０度回転させたり、時計回りに２７０度回転（反時計回りに９０度回転）させたりしてもよい。また、鏡像反転させた後に回転させたり、回転させた後に鏡像反転させたりしてもよい。更に、回転や鏡像反転に限られずに、元の画素値を用いるのであれば画素の位置をランダムに変更させてもよい。
なお、１つの類似度判定領域について幾何変形させる方法および幾何変形させる種類の数は予め設定されていてもよく、抽出された類似領域の数に応じて変更してもよい。

ノイズ低減処理部２０２は、生成した変形領域と着目領域との類似度を判定する。具体的には、ノイズ低減処理部２０２は例えば、下記の式（２）を用いて着目領域と変形領域との差分絶対値和を算出する。ここで、式（２）のＤは差分絶対値和であり、Ｎは着目領域および変形領域の画素数であり、Ｙｉは着目領域の画素値であり、Ｘｓは変形領域の画素値である。
図７（ａ）の画素パッチにエッジ成分がなく、ランダムノイズ成分であれば、画素パッチを回転や反転等して画素パッチの位置を入れ替えることにより、類似度判定領域の画素パッチとしても取り扱うことが可能となる。

ここで、ノイズ低減処理部２０２は差分絶対値和Ｄの値が所定の閾値よりも小さい変形領域を類似する変形領域として特定する。ノイズ低減処理部２０２は特定した変形領域を、着目領域に類似する類似領域の一つとして取り扱う。なお、以下では、類似領域に、着目領域に類似する変形領域を含む場合には、「類似領域を含む」と記載する。

次に、図５のフローチャートの説明に戻る。
Ｓ５０３では、ノイズ低減処理部２０２は、ノイズ低減処理部２０２は着目領域と類似領域に対してノイズ低減処理を行う。具体的に、ノイズ低減処理部２０２は例えば、下記の式（３）を用いて着目領域とＳ５０２において抽出した類似領域（変形領域を含む）との画素の平均値を算出する。ここで、式（３）のＹ_NRはノイズ低減処理後の画素値であり、Ｍは類似領域（変形領域を含む）と判定された領域の個数であり、Ｙｉは着目領域の画素値であり、Ｙｓは類似領域（変形領域を含む）の画素値である。平均値を算出する処理は、着目領域と類似領域との位置が対応する画素ごとに行われる。

なお、ノイズ低減処理部２０２は平均値を算出するのに、全ての類似領域（変形領域を含む）を用いる場合に限られず、類似度が高い順から上位Ｎ個の類似領域（変形領域を含む）を用いて平均値を算出してもよい。このように、上位Ｎ個の類似領域（変形領域を含む）を用いて平均値を算出することにより処理負荷を軽減することができる。
また、本実施形態では、平均値を算出する処理を用いて簡易的なノイズ低減処理を行っているが、着目領域と類似領域（変形領域を含む）の画素値を用いた他の手法を用いて低減処理を行ってもよい。

ノイズ低減処理部２０２は、算出した平均値を用いて入力画像を補正する。ノイズ低減処理部２０２は着目領域と類似領域の画素値をノイズ低減処理後の画素値に置き換えることで補正する。
なお、具体的な補正方法は限定されず、例えば以下のように補正してもよい。すなわち、ノイズ低減処理部２０２は置き換えた画素値を入力画像とは別の蓄積画像として記憶する。ノイズ低減処理部２０２は着目領域と類似領域が重なっている画素では、重なっている枚数分の画素値を加算して蓄積画像を生成する。ノイズ低減処理部２０２は、Ｓ５０１〜Ｓ５０３までの処理を、画像全体に亘って行うことで、各画素位置にノイズ低減処理後の画素値を加算して蓄積画像を更新する。最後に、ノイズ低減処理部２０２は蓄積画像の加算した画素値を、加算した回数で除算して補正した画像を生成する。

以上のように、本実施形態によれば、類似度判定領域の画素の位置を変更させた変形領域のうち着目領域に類似する変形領域の画素に基づいて、着目領域を補正する。したがって、探索範囲を広げることなく、探索範囲内の類似領域の数を増やすことができる。そのため、例えば、着目領域が画像のエッジ部である等の理由により探索範囲内に類似領域の数が少ない場合であっても類似領域（変形領域を含む）の数を増やすことで、ノイズ低減効果を向上させることができる。
また、本実施形態によれば、類似度判定領域を回転させたり鏡像反転させたりするように幾何変形させることで画素の位置を変更させた変形領域を生成する。したがって、ランダムではなく所定の法則に基づいて変形領域を生成することができるので変形領域を生成する処理負荷を軽減することができる。

なお、上述した実施形態では、類似度判定領域を回転させたり鏡像反転させたりした変形領域と着目領域との類似度を判定する場合について説明したが、この場合に限られない。着目領域側を回転させたり鏡像反転させたりした領域と類似度判定領域との類似度を判定してもよい。このように、着目領域側を幾何変形させることで、類似度を判定するときの処理負荷を軽減することができる。

また、上述した実施形態では、ベイヤー画像信号を図４に示すようにＲ、Ｇｒ、Ｇｂ、Ｂの色ごとの信号に分離して、それぞれの信号に対して独立にノイズ低減処理を行う場合について説明したが、この場合に限られない。例えば、ベイヤー画像信号の配列のまま着目領域を設定して、同様のノイズ低減処理を行ってもよい。なお、ベイヤー画像信号の配列のままノイズ低減処理を行う場合には、類似度判定領域から変形領域を新たに生成するときに類似度判定領域の画素を、変更前後で色の種類を維持したままでランダムに変更させることが好ましい。すなわち、Ｒの画素はランダムに異なるＲの画素に変更し、Ｇｒの画素はランダムに異なるＧｒの画素に変更し、Ｇｂの画素はランダムに異なるＧｂの画素に変更し、Ｂの画素はランダムに異なるＢの画素に変更して、変形領域を生成することが好ましい。このように、変更前後で色の種類を維持したままで変形領域を生成することで、着目領域と類似度の高い変形領域を生成することができる。
また、上述した実施形態では、着目領域を３×３の画素サイズ、探索範囲を９×９の画素サイズである場合について説明したが、この場合に限られず、異なる大きさに設定してノイズ低減処理を行ってもよい。また、着目領域の形状または探索範囲の形状は正方形である場合に限られず、異なる形状に設定してノイズ低減処理を行ってもよい。

＜第２の実施形態＞
次に、第２の実施形態のノイズ低減処理部２０２による動作について図８のフローチャートを参照して説明する。本実施形態では、着目領域が画像のエッジ部である場合に類似度判定領域を幾何変形させた変形領域を新たに生成し、着目領域が画像のエッジ部ではない場合には類似度判定領域を幾何変形させる処理を行わない。
Ｓ８０１、Ｓ８０２は、それぞれ図５のフローチャートのＳ５０１、Ｓ５０２と同様の処理であり、説明を省略する。

Ｓ８０３では、ノイズ低減処理部２０２は着目領域が画像のエッジ部であるか否かを判定する。エッジ部であるか否かを判定するには、例えば、着目領域が３×３の画素サイズである場合に着目領域内の画素値の最小値と最大値との差分が所定値以上である場合にはエッジ部であると判定し、所定値未満である場合にはエッジ部ではないと判定する方法がある。着目領域がエッジ部であると判定した場合にはＳ８０４に進み、着目領域がエッジ部ではないと判定した場合にはＳ８０６に進む。

Ｓ８０４では、ノイズ低減処理部２０２は、類似度判定領域を幾何変形させた変形領域を新たに生成する。
Ｓ８０５では、ノイズ低減処理部２０２は、生成した変形領域と着目領域との類似度を判定して、着目領域と類似する変形領域を特定する。ノイズ低減処理部２０２は特定した変形領域を、着目領域に類似する類似領域の一つとして取り扱う。
Ｓ８０４、Ｓ８０５の処理は、第１の実施形態において図７を参照して説明した処理と同様であり、詳細な説明を省略する。

Ｓ８０６では、ノイズ低減処理部２０２は、ノイズ低減処理部２０２は着目領域と類似領域に対してノイズ低減処理を行う。この処理は、図５のフローチャートのＳ５０３と同様の処理であり、説明を省略する。

以上のように、本実施形態によれば、着目領域が画像のエッジ部である場合のみ、類似度判定領域を幾何変形させて画素の位置を変更させた変形領域を生成する。着目領域が画像のエッジ部ではない場合には、変形領域を生成しなくとも、着目領域に類似する類似領域を多く抽出することができる。したがって、着目領域が画像のエッジ部ではない場合には、変形領域を生成する処理を行わないことでノイズ低減処理の処理負荷を軽減することができる。

＜第３の実施形態＞
次に、第３の実施形態のノイズ低減処理部２０２による処理について説明する。本実施形態では、類似度判定領域を幾何変形させて生成した変形領域と着目領域との類似度を判定する場合と、類似度判定領域と着目領域との類似度を判定する場合とで重み付けを変更する。
なお、本実施形態と第２の実施形態との差異は、図８のＳ８０５での動作のみであるために、Ｓ８０５の処理について説明する。

Ｓ８０５では、ノイズ低減処理部２０２は、生成した変形領域と着目領域との類似度を判定する。このとき、ノイズ低減処理部２０２は、下記の式（４）を用いて、着目領域と変形領域との差分絶対値和を算出する。ここで、式（４）のＤは、差分絶対値和であり、Ｎは着目領域および変形領域の画素数であり、Ｙｉは着目領域の画素値であり、Ｘｓは変形領域の画素値である。また、Ｍｓ（＞１）は重み係数である。

このように重み係数によって着目領域と変形領域との差分絶対値和が大きく算出される。一方、着目領域と類似度判定領域との差分絶対値和を算出する場合には、上述した式（１）に示すように重み係数は存在しない。したがって、変形領域は類似度判定領域と比べて類似と判定されることが少ない。結果として、同じ位置における類似度判定領域が採用され難くなり、様々な位置における類似領域および変形領域が採用された上で上述した式（３）を用いた平均値が算出されることから、より広範囲でのノイズ低減処理が可能である。また、重み付けを変更することで、上述した式（３）を用いて着目領域と類似領域との画素の平均値を算出する場合に、変形領域の影響が小さく、類似領域の影響が大きくなるように算出することができる。

＜第４の実施形態＞
次に、第４の実施形態のノイズ低減処理部２０２による動作について図９のフローチャートを参照して説明する。本実施形態では、着目領域が画像のエッジ部でない場合であっても類似領域の数が閾値以上ではない場合には類似度判定領域を幾何変形させた変形領域を生成する。
Ｓ９０１、Ｓ９０２、Ｓ９０４〜Ｓ９０６は、それぞれ図８のフローチャートのＳ８０１、Ｓ８０２、Ｓ８０４〜Ｓ８０６と同様の処理であり、説明を省略する。

Ｓ９０３において着目領域がエッジ部であると判定した場合にはＳ９０４に進み、着目領域がエッジ部ではないと判定した場合にはＳ９０７に進む。
Ｓ９０７では、ノイズ低減処理部２０２は、抽出した類似領域の数をカウントし、類似領域の数が所定数以上であるか否かを判定する。類似領域の数が所定数以上である場合にはＳ９０６に進み、ノイズ低減処理部２０２は着目領域と類似領域に対してノイズ低減処理を行う。一方、類似領域の数が所定数以上ではない場合にはＳ９０４に進み、ノイズ低減処理部２０２は、類似度判定領域を幾何変形させた変形領域を新たに生成する。
なお、Ｓ９０４、Ｓ９０５の処理は、第１の実施形態において図７を参照して説明した処理と同様であり、詳細な説明を省略する。

以上のように、本実施形態によれば、着目領域に類似する類似領域の数が閾値よりも小さい場合に、類似度判定領域を幾何変形させた変形領域を生成する。したがって、類似領域の数が閾値以上である場合には、変形領域を生成する処理を行わないことでノイズ低減処理の処理負荷を軽減することができる。

＜第５の実施形態＞
次に、第５の実施形態のノイズ低減処理部２０２による動作について図１０のフローチャートを参照して説明する。本実施形態では、着目領域に含まれるエッジ部の状態を判定して、判定したエッジ部の状態に基づいて類似度判定領域を幾何変形させる方法を変更する。
Ｓ１００１、Ｓ１００２、Ｓ１００５〜Ｓ１００７は、それぞれ図８のフローチャートのＳ８０１、Ｓ８０２、Ｓ８０４〜Ｓ８０６と同様の処理であり、説明を省略する。

Ｓ１００３において着目領域がエッジ部であると判定した場合にはＳ１００４に進み、着目領域がエッジ部ではないと判定した場合にはＳ１００７に進む。
Ｓ１００４では、ノイズ低減処理部２０２は、着目領域が所定のパターンのエッジ部であるか否かを判定する。所定のパターンのエッジ部である場合にはＳ１００８に進み、所定のパターンのエッジ部ではない場合にはＳ１００５に進む。

図１１は、所定のパターンのエッジ部の一例を示す図である。図１１（ａ）〜（ｈ）は、８つのエッジパターンを示している。ここでは、着目領域が所定のパターンのエッジ部であるか否かは、着目領域と８つのエッジパターンとの一致度に基づいて判定することができる。例えば、着目領域とエッジパターンとの間で差分絶対値和を算出し、差分絶対値和の値が閾値以下である場合には所定のパターンのエッジ部であると判定し、閾値以下ではない場合には所定のパターンのエッジ部ではないと判定する。

図１０のフローチャートに戻る。
Ｓ１００８では、ノイズ低減処理部２０２は、類似判定領域を９０度回転、２７０度回転させた変形領域を生成し、鏡像反転させた変形領域を生成しないようにする。着目領域が所定のパターンのエッジ部である場合には、鏡像反転させても近くに類似するパターンがある可能性が低いために、ノイズ低減処理部２０２は一部の幾何変形をしないようにする。
Ｓ１００９では、ノイズ低減処理部２０２は、９０度回転、２７０度回転させた変形領域と着目領域との類似度を判定して、着目領域と類似する変形領域を特定する。ノイズ低減処理部２０２は特定した変形領域を、着目領域に類似する類似領域の一つとして取り扱う。
一方、Ｓ１００４において所定のパターンのエッジ部ではないと判定して、Ｓ１００５に進んだ場合には、ノイズ低減処理部２０２は、鏡像反転させた変形領域も生成する。

以上のように、本実施形態によれば、着目領域が特定のパターンのエッジ部である場合には類似度判定領域を例えば、９０度回転や２７０度回転等の特定の変換のみを行って変形領域を生成する。したがって、特定のパターンのエッジ部である場合には、不要な変形領域を生成する処理を行わないことでノイズ低減処理の処理負荷を軽減することができる。

＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは記録媒体を介してシステムまたは装置に供給し、システムまたは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラムおよびそのプログラムを記憶した記録媒体は本発明を構成することになる。

以上のように、本発明を好適な実施形態に基づいて説明したが、本発明は上述した特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した実施形態は本発明の一実施形態を示すものにすぎず、適宜変更したり、各実施形態を組み合せたり、各実施形態の変形例を他の実施形態に組み合せたりすることができる。

また、本実施形態では、本発明を撮像装置に適用する場合を例にして説明したが、この場合に限定されず画像処理できる装置であれば適用可能である。すなわち、本発明は、パーソナルコンピュータ、ＰＤＡ、スマートフォン、タブレット端末、携帯電話端末、携帯型の画像ビューワ、デジタルフォトフレーム、ゲーム機、電子ブックリーダ等に適用可能である。

１００：撮像装置（画像処理装置） １０１：制御部 １０２：ＲＯＭ １０３：ＲＡＭ １０４：光学系 １０５：撮像部 １０６：Ａ／Ｄ変換部 １０７：画像処理部 １０８：記録部 １０９：表示部 ２０１：ホワイトバランス調整部 ２０２：ノイズ低減処理部 ２０３：現像処理部

Claims (14)

1. 画像の着目領域の周囲に、前記着目領域に対応する複数の領域を設定する設定手段と、
   前記設定手段により設定された前記複数の領域の少なくとも一部において、該領域内に含まれる画素の位置と画素値の組み合わせを変更した変形領域を生成する変形手段と、
   前記変形領域の画素値に基づいて、前記着目領域の画素値を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記変形領域と、前記着目領域との類似度を判定する判定手段を有し、
   前記補正手段は、前記着目領域と類似する前記変形領域の画素値に基づいて、前記着目領域の画素値を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記変形領域は、前記設定手段により設定された前記複数の領域の少なくとも一部において、該領域の所定の画素を中心として、該領域内のそれぞれの画素値が対応する画素の位置を、該領域内で回転および所定の画素列に対する鏡像反転の少なくとも何れかにより変更した領域であることを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段は、更に、
   前記設定手段により設定された前記複数の領域のうち、前記着目領域に類似する類似領域の画素に基づいて、前記着目領域を補正することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記補正手段は、
   前記着目領域に類似する変形領域の画素値と、前記着目領域に類似する類似領域の画素値とに基づいて、前記着目領域の画素値を補正する場合に、前記着目領域に類似する変形領域の画素値と、前記着目領域に類似する類似領域の画素値との間で重み付けを変更して前記着目領域の画素値を補正することを特徴とする請求項４に記載の画像処理装置。
6. 前記補正手段は、
   前記着目領域に類似する変形領域の画素値よりも前記着目領域に類似する類似領域の画素値の影響が大きくなるように前記着目領域の画素値を補正することを特徴とする請求項５に記載の画像処理装置。
7. 前記補正手段は、
   前記着目領域が画像のエッジ部である場合には、前記着目領域に類似する変形領域の画素値と、前記着目領域に類似する類似領域の画素値とに基づいて、前記着目領域の画素値を補正することを特徴とする請求項４ないし６の何れか１項に記載の画像処理装置。
8. 前記補正手段は、
   前記着目領域が画像のエッジ部ではない場合には、前記着目領域に類似する類似領域の画素値に基づいて、前記着目領域の画素値を補正することを特徴とする請求項７に記載の画像処理装置。
9. 前記補正手段は、
   前記設定手段により設定された複数の領域のうち、前記着目領域に類似する類似領域の数が閾値よりも小さい場合には、前記着目領域に類似する変形領域の画素値と、前記着目領域に類似する類似領域の画素値とに基づいて、前記着目領域の画素値を補正することを特徴とする請求項４ないし８の何れか１項に記載の画像処理装置。
10. 前記補正手段は、
    前記設定手段により設定された複数の領域のうち、前記着目領域に類似する類似領域の数が閾値以上の場合には、前記着目領域に類似する類似領域の画素値に基づいて、前記着目領域の画素値を補正することを特徴とする請求項９に記載の画像処理装置。
11. 前記着目領域に含まれるエッジ部の状態を判定するエッジ判定手段を有し、
    前記補正手段は、
    前記エッジ判定手段により判定されたエッジ部の状態に基づいて、前記設定手段により設定された領域から前記変形領域を生成する方法を変更することを特徴とする請求項１ないし１０の何れか１項に記載の画像処理装置。
12. 前記補正手段は、
    ベイヤー画像信号のまま画像を補正する場合には、前記設定手段により設定された領域の画素の位置を、変更前後で色の種類を維持したままで生成した変形領域の画素値に基づいて、前記着目領域の画素値を補正することを特徴とする請求項１に記載の画像処理装置。
13. 画像の着目領域の周囲に、前記着目領域に対応する複数の領域を設定する設定ステップと、
    前記設定ステップにより設定された前記複数の領域の少なくとも一部において、該領域内に含まれる画素の位置と画素値の組み合わせを変更した変形領域を生成する変形ステップと、
    前記変形領域の画素値に基づいて、前記着目領域の画素値を補正する補正ステップと、
    を有することを特徴とする画像処理方法。
14. コンピュータを、請求項１ないし１２の何れか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

Images