JP2014027337A - 画像処理装置、画像処理方法、プログラムおよび撮像装置 - Google Patents

Abstract

【課題】例えば、ノイズリダクションの強度を適切に設定する。
【解決手段】画像処理装置は、所定のノイズ成分を除去するためのノイズリダクションの強度を設定するノイズリダクション強度設定部と、エッジ率に応じて得られる補正データに基づいて、前記ノイズリダクションの強度を補正するノイズリダクション強度補正部とを有する。
【選択図】図３

Description

本開示は、画像処理装置、画像処理方法、プログラムおよび撮像装置に関する。

撮像装置による撮像により得られる画像データに、イメージセンサの特性に起因するノイズ等が重畳する場合がある。これらのノイズを除去する処理は、一般に、ノイズリダクション（ＮＲ(Noise Reduction)）処理と称され、様々な手法のノイズリダクション処理が提案されている。例えば、下記特許文献１には、エッジの有無を判別し、周囲にエッジが存在すると判定されたエッジ付近に対しては、ノイズリダクション処理を行わないようにした技術が記載されている。

特開２００８−１７７７２４号公報

特許文献１に記載の技術では、エッジを保存しつつ、ノイズを除去できるものの、ノイズ付近にノイズリダクション処理が行われないため、ノイズ付近のＳ／Ｎ比(Signal to Noise Ratio)が悪化するおそれがある、という問題があった。

したがって、本開示の目的の一つは、エッジの度合いを示すエッジ率に応じて、ノイズリダクションの強度を適切に設定できる、画像処理装置、画像処理方法、プログラムおよび撮像装置を提供することにある。

上述した課題を解決するために、本開示は、例えば、
所定のノイズ成分を除去するためのノイズリダクションの強度を設定するノイズリダクション強度設定部と、
エッジ率に応じて得られる補正データに基づいて、ノイズリダクションの強度を補正するノイズリダクション強度補正部と
を有する画像処理装置である。

本開示は、例えば、
所定のノイズ成分を除去するためのノイズリダクションの強度を設定するノイズリダクション強度設定部と、
所定の評価値に基づいて、エッジ率を算出するエッジ率算出部と、
エッジ率に応じて、ノイズリダクションの強度を補正するノイズリダクション強度補正部と、
ノイズ成分を除去するノイズ除去部と
を有し、
所定の評価値は、注目画素を中心とする所定サイズの第１のブロックと、注目画素とは異なる画素を中心とする、所定サイズと同一のサイズの第２のブロックとの間のＳＡＤの値に基づいて設定され、
ノイズ除去部は、補正されたノイズリダクションの強度と、ＳＡＤの値とに基づいてノイズ成分を除去する画像処理装置である。

本開示は、例えば、
所定のノイズ成分を除去するためのノイズリダクションの強度を設定し、
エッジ率に応じて、ノイズリダクションの強度を補正する
画像処理装置における画像処理方法である。

本開示は、例えば、
所定のノイズ成分を除去するためのノイズリダクションの強度を設定し、
エッジ率に応じて、ノイズリダクションの強度を補正する
画像処理装置における画像処理方法を、コンピュータに実行させるプログラムである。

本開示は、例えば、
撮像部と、
所定のノイズ成分を除去するためのノイズリダクションの強度を設定するノイズリダクション強度設定部と、
エッジ率に応じて得られる補正データに基づいて、ノイズリダクションの強度を補正するノイズリダクション強度補正部と、
撮像部を介して取得される画像データに対して、補正されたノイズリダクションの強度に基づいて、ノイズリダクション処理を行うノイズ除去部と
を有する撮像装置である。

少なくとも一つの実施形態によれば、ノイズ除去部により実行されるノイズリダクション処理におけるノイズリダクションの強度を適切に設定できる。

画像データの入力レベルとノイズの分散との関係を説明するための図である。 画像データの入力レベルに応じて、ノイズリダクションの強度を変化させる例を説明するための図である。 第１の実施形態における画像処理装置の構成の一例を説明するための図である。 補正データの一例を説明するための図である。 補正データの一例を説明するための図である。 補正データの他の例を説明するための図である。 第１の実施形態における処理の流れの一例を示すフローチャートである。 第２の実施形態における画像処理装置の構成の一例を説明するための図である。 ＳＡＤ値の算出方法の一例を説明するための図である。 複数のＳＡＤ値を平均値を算出する処理の一例を説明するための図である。 第２の実施形態における処理の流れの一例を示すフローチャートである。 第３の実施形態における画像処理装置の構成の一例を説明するための図である。 第３の実施形態における処理の流れの一例を示すフローチャートである。 変形例を説明するための図である。 変形例を説明するための図である。 変形例を説明するための図である。

以下、本開示の実施形態について図面を参照しながら説明する。なお、説明は、以下の順序で行う。
＜１．第１の実施形態＞
＜２．第２の実施形態＞
＜３．第３の実施形態＞
＜４．変形例＞
なお、以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。

＜１．第１の実施形態＞
「画像データの入力レベルとノイズの分散との関係について」
始めに、本開示の理解を容易にするために、画像データの入力レベルとノイズの分散との関係について説明する。撮像装置内で発生するノイズの成分には、画像データの入力レベル（輝度）に依存して変化するものが知られている。図１は、ある画素の輝度値をｘとし、輝度値ｘに対するノイズの分散を模式的に示したものである。図１からも明らかなように、輝度値ｘが大きくなるにつれてノイズの分散が増加する。ここで、画像データの輝度に依存しないノイズを含めると、ノイズの分散は、例えば、下記の式１により定義することができる。

式１において、ａは、主にイメージセンサの光学ショットノイズに起因する、輝度に依存性のあるノイズ成分であり、輝度の平方根に略比例するノイズ成分である。ｂは、熱雑音などの、輝度に依存しないフロアノイズの成分である。ｘは、ある画素の輝度値を示す。ａ、ｂは、イメージセンサの特性によって決定される。式１は一例であり、簡易化した下記の式（例えば、式２）や、より詳細にノイズ成分が規定された他の式によりノイズの分散が定義されてもよい。ノイズは、一定の感度以下では、正規分布とみなすことができる。

輝度に依存性のあるノイズは、予測されるノイズの分散にあわせて閾値を変化させることにより効果的に除去することができる。式１で算出されるσ（ｘ）を使用して、式３により閾値Ｔｈを画素毎に算出する。

式３におけるＳは、強度調整値であり、例えば、撮像装置の出荷時にデフォルトの数値が設定される。強度調整値Ｓが可変とされてもよい。例えば、ユーザの設定に応じて強度調整値Ｓが変更できるようにしてもよい。ユーザによりノイズリダクションの強度を大きくする設定がなされたときには、強度調整値Ｓが大きくされ、ユーザによりノイズリダクションの強度を小さくする設定がなされたときには、強度調整値Ｓが小さくされる。

式３により算出される閾値は、ノイズリダクション処理を行うノイズ除去部に対して設定されるものである。ノイズ除去部としては、ε（イプシロン）フィルタや、ウェーブレットフィルタが例示される。図２に示すように、閾値を大きくすることによりノイズリダクションの強度を大きくすることができ、閾値を小さくすることにより、ノイズリダクションの強度を小さくすることができる。画素毎に算出される閾値を用いたノイズリダクション処理により、ノイズを効果的に除去することができる。

ところで、ノイズが重畳された画像データを参照して閾値Ｔｈを算出すると、閾値Ｔｈの精度が悪化する場合がある。この結果、適切なノイズリダクション強度が適用されなくなる。特に、画像データにおけるエッジ付近において不適切な強度のノイズリダクションが適用された場合、エッジがなまるなどの問題が起こり、画質の劣化が大きくなる。そこで、本開示では、例えば、閾値Ｔｈをエッジ率に応じて補正することにより、画像のエッジ領域におけるノイズリダクションの強度をより適切なものにする。以下、本開示の内容の具体的な例について、説明する。

「画像処理装置の構成」
図３は、第１の実施形態における画像処理装置の構成を説明するための図である。画像処理装置１は、例えば、撮像装置に内蔵される。参照符号１０１、１０２、１０３は、撮像装置が有するイメージセンサ、アナログフロントエンド（ＡＦＥ）、バッファメモリをそれぞれ示す。バッファメモリ１０３の後段に、画像処理装置１が接続される。バッファメモリ１０３には、１フレームもしくは画像処理装置１の処理に必要なサイズの画像データが蓄積され、バッファメモリ１０３に蓄積された画像データに対して、画像処理装置１によるノイズリダクション処理が行われる。

画像処理装置１は、例えば、ノイズリダクション強度設定部１０４、エッジ率算出部１０５、補正データ算出部１０６、ノイズリダクション強度補正部１０７およびノイズ除去部１０８を含む構成とされる。これらの構成のうち、一部の構成が撮像装置の構成とされてもよく、例示した構成とは異なる構成が画像処理装置１に追加されてもよい。

なお、図示は省略しているが、撮像装置は、図１に例示する構成の他に、ＬＣＤ(Liquid Crystal Display)等の表示デバイスや、ハードディスクやＵＳＢ(Universal Serial Bus)等のメモリ、撮像装置の各部を制御するシステムコントローラなどを有する構成としてもよい。画像処理装置１による処理が行われた画像データに対して公知のデジタル画像処理が行われた後に、画像データが表示デバイスに表示されたり、メモリに記憶される。

各部について、詳細に説明する。撮像装置のレンズおよび絞り（図示を省略している）により被写体からの光画像が集光される。絞りによって光画像の光量が調節される。集光された光画像がイメージセンサ１０１により光電変換され、電気信号であるアナログ画像データが生成される。イメージセンサ１０１は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどから構成される。イメージセンサ１０１は、例えば、ベイヤ配列のＲＧＢのカラーフィルタを有する。

ＡＦＥ１０２は、イメージセンサ１０１から供給されるアナログ画像データに対して、例えば、ＣＤＳ(Correlated Double Sampling)処理を行ってＳ／Ｎ比(Signal to Ratio)を良好にする。ＡＦＥ１０２は、さらに、ＡＧＣ(Automatic Gain Control)処理を行うことにより利得を制御する。そして、ＡＦＥ１０２は、アナログ画像データに対してＡ／Ｄ(Analog to Digital)変換処理を行い、デジタル画像データを生成する。ＡＦＥ１０２は、生成したデジタル画像データを出力する。ＡＦＥ１０２から出力されたデジタル画像データがバッファメモリ１０３に供給される。

バッファメモリ１０３は、ＡＦＥ１０２から供給されるデジタル画像データを記憶するメモリである。バッファメモリ１０３に、後段の画像処理装置１が処理を行うのに必要な分の画像データが記憶される。例えば、ある画素を注目画素として設定し、注目画素を中心とした所定サイズの領域の画像データが、バッファメモリ１０３に供給される。バッファメモリ１０３に、例えば、１フレーム分の画像データが記憶されるようにしてもよい。１フレームの画像データにおける所定の領域に対して、画像処理装置１が処理を行うようにしてもよい。バッファメモリ１０３から出力される画像データが、ノイズリダクション強度設定部１０４、エッジ率算出部１０５およびノイズ除去部１０８に供給される。

画像処理装置１の各部について説明する。ノイズリダクション強度設定部１０４は、注目画素の輝度値、もしくは、注目画素の輝度値に加え、注目画素の周囲の画素の輝度値を使用して、基準となる輝度情報（以下、基準輝度情報と適宜、称する）を算出する。ノイズリダクション強度設定部１０４は、基準輝度情報を使用して、ノイズの分散σ（ｘ）を算出する。ノイズの分散は、上述した式１により算出することができる。式１におけるｘが、基準輝度情報に相当する。式１におけるａおよびｂは、イメージセンサ１０１の特性に基づく値であり、撮像装置において既知の値である。ノイズリダクション強度設定部１０４は、既知の値であるａおよびｂを図示しないメモリ等に保持している。したがって、ノイズリダクション強度設定部１０４は、式１によりノイズの分散σ（ｘ）を算出することができる。

ノイズリダクション強度設定部１０４は、ノイズの分散σ（ｘ）に対して所定の強度調整値Ｓを乗算し、閾値Ｔｈを算出する。なお、ノイズリダクション強度設定部１０４により算出される閾値Ｔｈを、閾値Ｔｈ１と適宜、称する。閾値Ｔｈ１により、ノイズリダクションの強度が設定される。ノイズリダクション強度設定部１０４により設定されたノイズリダクションの強度が、ノイズリダクション強度補正部１０７に供給される。

エッジ率算出部１０５は、例えば、注目画素と、注目画素の周囲の画素の輝度の分布を参照して、注目画素のエッジ率を算出する。エッジ率は、エッジの度合いを示し、例えば、エッジ率が小さいほど、注目画素が画像の平坦部の画素であることを示し、エッジ率が大きいほど、注目画素がエッジ上の画素であることを示す。

第１の実施形態におけるエッジ率を算出する方法は、特に限定されることはない。例えば、注目画素の輝度値と周辺画素の輝度値との間の差分をそれぞれ算出し、その平均値に応じてエッジ率を規定してもよい。例えば、注目画素を中心とする所定サイズ（例えば、３×３）の領域に対して一次または二次の微分フィルタを適用し、その結果をエッジ率として規定してもよい。エッジ率算出部１０５により算出されたエッジ率が、補正データ算出部１０６に供給される。

補正データ算出部１０６は、エッジ率算出部１０５から供給されるエッジ率に応じて、補正データを算出する。補正データの算出の例については、後述する。

ノイズリダクション強度補正部１０７は、ノイズリダクション強度設定部１０４により設定されたノイズリダクションの強度を、補正データ算出部１０６から供給される補正データに基づいて補正する。ノイズリダクション強度補正部１０７は、例えば、閾値Ｔｈ１に対して補正データを乗算し、最終的なノイズリダクションの強度である閾値Ｔｈ２を算出することにより、ノイズリダクションの強度を補正する。ノイズリダクション強度補正部１０７は、閾値Ｔｈ２をノイズ除去部１０８に供給する。

ノイズ除去部１０８は、閾値Ｔｈ２に基づいてノイズを除去するノイズリダクション処理を行う。ノイズ除去部１０８は、例えば、εフィルタにより構成される。εフィルタは、２次元のフィルタであり、閾値Ｔｈ２を用いて、入力される画像データに対して非線形なフィルタ処理を行う機能を有する。なお、ノイズ除去部１０８は、閾値等のある設定値に応じてノイズリダクションの強度を可変できるものであれば、εフィルタに限定されることはない。ノイズ除去部１０８が、例えば、ウェーブレットフィルタなどの他のフィルタであってもよい。ノイズリダクション処理が施された画像データがノイズ除去部１０８から出力される。

ノイズ除去部１０８から出力される画像データに対して、デモザイク処理やＡＦ(Auto Focus)、ＡＥ(Auto Exposure)、ＡＷＢ(Auto White Balance)などのカメラ信号処理が行われる。カメラ信号処理が行われた画像データが、例えば、表示デバイスに供給され、表示デバイスに画像データに基づく画像が表示される。カメラ信号処理が行われた画像データが、所定のフォーマットで圧縮され、圧縮された画像データがメモリに記憶されてもよい。

「画像処理装置の動作」
画像処理装置１の動作の一例について、説明する。バッファメモリ１０３には、例えば、注目画素として設定された画素を含み、注目画素を中心とする３（画素）×３（画素）のブロックの画像データが記憶されているものとして説明する。

ノイズリダクション強度設定部１０４は、３×３のブロックの画像データを使用して、基準輝度情報ｘを設定する。基準輝度情報ｘは、例えば、注目画素の輝度値をそのまま基準輝度情報ｘとして設定する。ノイズの影響を低減するために、ブロック内の９個の画素の輝度値の平均値や中央値を基準輝度情報ｘとしてもよい。ノイズリダクション強度設定部１０４は、基準輝度情報ｘと、既知の値であるａ、ｂとを用いて、式１に基づき、ノイズの分散σ（ｘ）を算出する。そして、ノイズリダクション強度設定部１０４は、式３に基づき、ノイズの分散σ（ｘ）に基づく閾値Ｔｈ１を算出する。閾値Ｔｈ１がノイズリダクション強度補正部１０７に供給される。

ノイズリダクション強度設定部１０４による処理と並行して、エッジ率算出部１０５は、エッジ率を算出する。エッジ率が補正データ算出部１０６に供給される。補正データ算出部１０６は、エッジ率に応じた補正データを算出し、算出した補正データをノイズリダクション強度補正部１０７に供給する。ノイズリダクション強度補正部１０７は、補正データに基づいて閾値Ｔｈ１を補正し、最終的なノイズリダクションの強度である閾値Ｔｈ２を算出する。閾値Ｔｈ２がノイズ除去部１０８に供給される。ノイズ除去部１０８は、閾値Ｔｈ２に基づいたノイズリダクション処理を行う。

ある注目画素に対する処理が終了すると、新たな注目画素が設定され、上述した処理と同様の処理が繰り返される。注目画素は、例えば、ラスタースキャン順に設定される。画像処理装置１における処理により、ノイズが除去もしくは低減された画像データが得られる。

「補正データの一例」
補正データ算出部１０６により算出される補正データの一例について説明する。補正データ算出部１０６は、エッジ率算出部１０５から供給されるエッジ率に応じて、注目画素を、例えば、エッジ部、ディテール部（細かな模様などの部分）、平坦部（画像がほとんど変化しない部分）のいずれかに分類する。各分類には、補正データの一例である倍率が対応付けられている。倍率は、例えば、０から１の間の所定値とされる。

図４に例示するように、例えば、エッジ率が０から所定値Ｐ１以下の場合は、平坦部に分類される。エッジ部の分類には、例えば、倍率１．０が対応付けられている。エッジ率が所定値Ｐ１より大きく所定値Ｐ２以下の場合は、ディテール部に分類される。ディテール部には、例えば、倍率０．８が対応付けられている。エッジ率が所定値Ｐ２より大きい場合は、エッジ部に分類される。エッジ部には、倍率が０．５が対応付けられている。

補正データ算出部１０６は、分類に応じた倍率を補正データとして決定する。なお、必ずしもエッジ部等に分類する必要はなく、図５に例示するように、エッジ率の大きさに応じて倍率が決定されてもよい。図６に示すように、所定のエッジ率（例えば、所定値Ｐ２）までは、倍率を略リニアに変化させ、所定のエッジ率以上は、倍率を所定値（例えば、０．５）に決定するようにしてもよい。エッジ率に対して所定の演算を行うことにより倍率を算出するようにしてもよい。

補正データ算出部１０６は、決定した倍率をノイズリダクション強度補正部１０７に供給する。ノイズリダクション強度補正部１０７は、閾値Ｔｈ１に対して所定の倍率を乗算し、閾値Ｔｈ２を算出する。

エッジ率が大きいほど倍率が小さくなることから、閾値Ｔｈ２が小さくなる。すなわち、ノイズリダクションの強度が小さくなる。このように、エッジ率が大きいほどノイズリダクションの強度が小さくなるように補正されるため、エッジを保存しつつ、ノイズを効果的に除去することができる。さらに、エッジ率が大きい場合であっても、所定の強度のノイズリダクション処理が実行されるため、エッジ付近のノイズを除去することができる。輝度に依存性のあるノイズ成分を効果的に除去するように設定されたノイズリダクションの強度を、エッジが保存されるように、適切なノイズリダクションの強度に補正できる。

「処理の流れの一例」
第１の実施形態における画像処理装置１の処理の流れの一例を、図７に示すフローチャートを参照して説明する。なお、一部の処理は、撮像装置のイメージセンサやＡＦＥにより実行される。ステップＳＴ１０１では、イメージセンサ１０１により光電変換処理が実行され、アナログ画像データが取得される。そして、処理がステップＳＴ１０２に進む。

ステップＳＴ１０２では、アナログ画像データに対するＡＦＥ１０２による処理が実行される。ＡＦＥ１０２による処理により、デジタル画像データが得られる。そして、処理がステップＳＴ１０３に進む。

ステップＳＴ１０３では、処理に必要な分のデジタル画像データがバッファメモリ１０３に記憶される。例えば、注目画素を中心とする３×３のブロックの画像データがバッファメモリ１０３に記憶される。もちろん、ブロックサイズは、３×３のサイズに限定されることはなく、任意のサイズを設定できる。そして、処理がステップＳＴ１０４に進む。

ステップＳＴ１０４では、ノイズリダクション強度設定部１０４によりノイズリダクションの強度が設定される。上述したように、ノイズリダクション強度設定部１０４は、基準輝度情報を設定し、基準輝度情報等を用いてノイズの分散σ（ｘ）を算出する。そして、ノイズの分散に対して所定の強度調整値Ｓを乗算し、閾値Ｔｈ１を算出する。閾値Ｔｈ１がノイズリダクションの強度として設定される。そして、処理がステップＳＴ１０５に進む。

ステップＳＴ１０５では、エッジ率算出部１０５によりエッジ率が算出される。算出されたエッジ率が補正データ算出部１０６に供給される。そして、処理がステップＳＴ１０６に進む。

ステップＳＴ１０６では、補正データ算出部１０６により、エッジ率に応じた補正データが算出（決定）される。補正データが、ノイズリダクション強度補正部１０７に供給される。そして、処理がステップＳＴ１０７に進む。

ステップＳＴ１０７おいて、ノイズリダクション強度補正部１０７は、補正データに基づいて、ノイズリダクションの強度を補正する。ノイズリダクション強度補正部１０７は、例えば、補正データの一例である所定の倍率を閾値Ｔｈ１に乗算し、閾値Ｔｈ２を算出することにより、ノイズリダクションの強度を補正する。閾値Ｔｈ２がノイズ除去部１０８に供給される。そして、処理がステップＳＴ１０８に進む。

ステップＳＴ１０８において、ノイズ除去部１０８は、補正後のノイズリダクションの強度である閾値Ｔｈ２に基づいて、ノイズリダクション処理を実行する。図示は省略しているが、ステップＳＴ１０８の後に新たな注目画素が設定され、ステップＳＴ１０４からステップＳＴ１０８の処理が繰り返される。画像データの全ての画素に対する処理が行われると、処理が終了する。

図７に例示する処理の流れにおいて、一部の処理が並列に行われてもよい。例えば、例えば、ステップＳＴ１０４の処理と、ステップＳＴ１０５の処理およびステップＳＴ１０６の処理とが、並列に行われるようにしてもよい。

＜２．第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態における画像処理装置２は、画像処理装置１と同様に、例えば、撮像装置に内蔵される。図８は、画像処理装置２の構成の一例を説明するための図である。なお、図８において、画像処理装置１と同一部分または相応する部分には、共通の参照符号を付している。共通の参照符号が付された構成については、適宜、重複した説明を省略する。

画像処理装置２は、ノイズリダクション強度設定部１０４、補正データ算出部１０６、ノイズリダクション強度補正部１０７、ＳＡＤ(Sum of Absolute Difference)算出部２０１、ＳＡＤ平均算出部２０２、エッジ率算出部２０３およびノイズ除去部２０４を含む構成とされる。これらの構成のうち、一部の構成が撮像装置の構成とされてもよく、例示した構成とは異なる構成が画像処理装置２に追加されてもよい。

ＳＡＤ算出部２０１は、バッファメモリ１０３に接続され、バッファメモリ１０３に記憶される画像データに基づいて、所定の評価値の一例であるＳＡＤ値を例えば、複数、算出する。ＳＡＤ値の算出の例については、後述する。ＳＡＤ算出部２０１は、ＳＡＤ平均算出部２０２に接続され、ＳＡＤ算出部２０１からＳＡＤ平均算出部２０２に対して複数のＳＡＤ値が供給される。ＳＡＤ算出部２０１は、さらに、ノイズ除去部２０４に接続され、ＳＡＤ算出部２０１からノイズ除去部２０４に対して、一または複数のＳＡＤ値が供給される。

ＳＡＤ平均算出部２０２は、ＳＡＤ算出部２０１から供給されるＳＡＤ値の平均値を算出する。算出されたＳＡＤ値の平均値が、エッジ率算出部２０３に供給される。

エッジ率算出部２０３は、ＳＡＤ平均算出部２０２から供給されるＳＡＤ値の平均値に応じて、エッジ率を算出する。例えば、ＳＡＤ値の平均値およびＳＡＤ値の平均値に対応するエッジ率が記述されたテーブルを保持し、このテーブルを読み込むことにより、エッジ率算出部２０３は、ＳＡＤ値の平均値に応じたエッジ率を算出する。ＳＡＤ値の平均値に対して所定の演算を行うことにより、エッジ率を算出するようにしてもよい。

なお、エッジ率算出部２０３は、バッファメモリ１０３とノイズ除去部２０４との間のラインに接続され、エッジ率算出部２０３に対して、バッファメモリ１０３に記憶される画像データが供給可能となるように構成される。

ノイズ除去部２０４は、ノイズリダクション強度補正部１０７により補正されたノイズリダクションの強度に基づいて、ノイズリダクション処理を行う。ノイズ除去部２０４は、ノイズ除去部１０８と同様に、例えば、εフィルタによって構成される。

ノイズ除去部２０４は、さらに、ＳＡＤ算出部２０１から供給される一または複数のＳＡＤ値を使用して、ノイズリダクション処理を実行する。ＳＡＤ値を使用したノイズリダクション処理は、様々な手法が提案されている。関連する技術の一例を示せば、特開２００９−１０５５３３に記載されている手法が挙げられる。当該文献には、複数の画像を高速に撮像し、ＳＡＤ値に基づいて、複数の画像の加算割合を決定し、決定された加算割合に応じて、複数の画像を合成してノイズを低減する手法が記載されている。ノイズ除去部２０４は、例えば、複数の画像を重ね合わせた画像に対して、さらに、最終的なノイズリダクションの強度に基づいたノイズリダクション処理を行う。

「画像処理装置の動作」
画像処理装置２の動作の一例について、説明する。バッファメモリ１０３には、例えば、７×７のブロックの画像データが記憶されているものとして説明する。

ノイズリダクション強度設定部１０４は、バッファメモリ１０３に蓄積された画像データにおける所定の画素を注目画素として設定する。ノイズリダクション強度設定部１０４は、基準輝度情報ｘを設定する。基準輝度情報ｘの設定の例は、上述した通りである。

ノイズリダクション強度設定部１０４は、基準輝度情報ｘと、既知の値であるａ、ｂを用いて、式１に基づくノイズの分散σ（ｘ）を算出し、ノイズの分散σ（ｘ）に基づいて、閾値Ｔｈ１を算出する。閾値Ｔｈ１がノイズリダクション強度補正部１０７に供給される。

ＳＡＤ算出部２０１は、バッファメモリ１０３に記憶された７×７のブロックの画像データを使用して、複数のＳＡＤ値を算出する。複数のＳＡＤ値がＳＡＤ平均算出部２０２に供給される。ＳＡＤ平均算出部２０２は、ＳＡＤ値の平均値を算出する。ＳＡＤ値の平均値がエッジ率算出部２０３に供給される。エッジ率算出部２０３は、ＳＡＤ値の平均値に応じてエッジ率を算出する。算出されたエッジ率が補正データ算出部１０６に供給される。

補正データ算出部１０６は、エッジ率に応じて補正データを生成する。補正データがノイズリダクション強度補正部１０７に供給される。ノイズリダクション強度補正部１０７は、補正データに基づいて閾値Ｔｈ１を補正し、最終的なノイズリダクションの強度である閾値Ｔｈ２を算出する。閾値Ｔｈ２がノイズ除去部２０４に供給される。ノイズ除去部２０４は、ＳＡＤおよび閾値Ｔｈ２を使用したノイズリダクション処理を実行する。

ある注目画素に対する処理が終了すると、新たな注目画素が設定され、上述した処理と同様の処理が繰り返される。注目画素は、例えば、ラスタースキャン順に設定される。画像処理装置２における処理により、ノイズが除去もしくは低減された画像データが得られる。

「ＳＡＤについて」
ＳＡＤ算出部２０１により算出されるＳＡＤ値について、説明する。図９は、ＳＡＤ値の算出の一例を説明するための図である。バッファメモリ１０３に蓄積された画像データにおける所定の画素が注目画素として設定される。注目画素を中心とする、例えば、３×３のブロック（以下、ターゲットブロックと適宜、称する）が設定される。バッファメモリ１０３に蓄積された画像データに対して、注目画素と異なる画素を中心とする、ターゲットブロックと同一のサイズのブロック（以下、参照ブロックと適宜、称する）が設定される。

ターゲットブロック内の各画素の輝度値と、参照ブロック内の対応する各画素の輝度値との差分の絶対値の、ブロック内の全画素についての総和（以下、差分絶対値和と適宜、称する。）が演算される。この差分絶対値和がＳＡＤ値に相当する。

参照ブロックを変化することにより、複数のＳＡＤ値が得られる。例えば、図１０に示す７×７のブロックの画像データがバッファメモリ１０３に蓄積されているとする。画像データの所定の画素が注目画素として設定され、注目画素の周囲に３×３のターゲットブロックＴＢが設定される。なお、注目画素が、画像の端部に位置する場合は、ターゲットブロックＴＢのサイズを適宜、変更されてもよい。

７×７のブロック内において、複数の参照ブロックが設定される。例えば、３個の参照ブロックＲＢ（参照ブロックＲＢ１、参照ブロックＲＢ２および参照ブロックＲＢ３）が設定される。なお、参照ブロックの数や位置は、適宜、変更することができる。

ＳＡＤ算出部２０１は、ターゲットブロックＴＢと、３個の参照ブロックのそれぞれとの間でＳＡＤ値の演算処理を行い、３個のＳＡＤ値を算出する。３個のＳＡＤ値がＳＡＤ平均算出部２０２に供給される。ＳＡＤ平均算出部２０２は、３個のＳＡＤ値の平均値を算出する。ＳＡＤ値の平均値がエッジ率算出部２０３に供給される。

ここで、ＳＡＤ値の平均値が大きいことは、ブロック同士の差分が大きい、すなわち、エッジである可能性が大きいことを意味する。したがって、エッジ率算出部２０３は、ＳＡＤ値の平均が大きいほど、エッジ率が大きくなるように、エッジ率を算出する。

エッジ率が大きいほど、補正データの一例である倍率が小さくなるように、補正データ算出部１０６により倍率が算出される。ノイズリダクション強度補正部１０７は、補正データ算出部１０６により算出される倍率に応じて、ノイズリダクションの強度を補正する。つまり、エッジ率が大きいほど、ノイズリダクションの強度が小さくなるように、ノイズリダクションの強度が補正される。補正されたノイズリダクションの強度に基づいて、ノイズ除去部２０４によるノイズリダクション処理が行われる。すなわち、エッジを保存しつつ、ノイズを効果的に除去または低減できる。

このように、第２の実施形態における画像処理装置２は、評価値の一例であるＳＡＤ値を使用して、エッジ率を算出するようにしている。複数のＳＡＤ値の平均に基づいてエッジ率を算出ことにより、エッジ率を精度良く算出することができる。

さらに、撮像装置等において、ＳＡＤ値を使用した何らかしらの処理（必ずしも、ノイズリダクション処理に限られない。ＳＡＤ値を使用して、デプスマップを生成する処理や動きベクトルを求める処理でもよい。）を行う場合には、そのＳＡＤ値を、エッジ率を算出する処理に流用することができ、ＳＡＤ値を算出するための構成を新たに追加する必要が無い。このため、回路規模を増大することなく、効果的なノイズリダクション処理を行うことができる。

「処理の流れ」
第２の実施形態における画像処理装置２の処理の流れの一例を、図１１に示すフローチャートを参照して説明する。なお、一部の処理は、撮像装置のイメージセンサやＡＦＥにより実行される。ステップＳＴ２０１では、イメージセンサ１０１により光電変換処理が実行され、アナログ画像データが取得される。そして、処理がステップＳＴ２０２に進む。

ステップＳＴ２０２では、アナログ画像データに対するＡＦＥ１０２による処理が実行される。ＡＦＥ１０２による処理により、デジタル画像データが得られる。そして、処理がステップＳＴ２０３に進む。

ステップＳＴ２０３では、処理に必要な分のデジタル画像データがバッファメモリ１０３に記憶される。７×７のブロックの画像データがバッファメモリ１０３に記憶される。もちろん、ブロックサイズは、７×７のサイズに限定されることはなく、任意のサイズを設定できる。そして、処理がステップＳＴ２０４に進む。

ステップＳＴ２０４では、ノイズリダクション強度設定部１０４によりノイズリダクションの強度が設定される。上述したように、ノイズリダクション強度設定部１０４は、基準輝度情報を設定し、基準輝度情報等を用いてノイズの分散σ（ｘ）を算出する。そして、ノイズの分散σ（ｘ）に対して所定の強度調整値Ｓを乗算し、閾値Ｔｈ１を算出する。閾値Ｔｈ１がノイズリダクションの強度として設定される。そして、処理がステップＳＴ２０５に進む。

ステップＳＴ２０５では、ＳＡＤ算出部２０１により複数のＳＡＤ値が算出される。複数のＳＡＤ値がＳＡＤ平均算出部２０２に供給される。そして、処理がステップＳＴ２０６に進む。

ステップＳＴ２０６では、ＳＡＤ平均算出部２０２によりＳＡＤ値の平均値が算出される。ＳＡＤ値の平均値がエッジ率算出部１０５に供給される。そして、処理がステップＳＴ２０７に進む。

ステップＳＴ２０７では、エッジ率算出部２０３によりエッジ率が算出される。エッジ率算出部２０３は、ＳＡＤ値の平均値に基づいて、エッジ率を算出する。エッジ率が補正データ算出部１０６に供給される。そして、処理がステップＳＴ２０８に進む。

ステップＳＴ２０８では、補正データ算出部１０６により補正データが算出される。補正データ算出部１０６は、エッジ率に応じて倍率を算出し、算出した倍率を示す情報をノイズリダクション強度補正部１０７に供給する。そして、処理がステップＳＴ２０９に進む。

ステップＳＴ２０９では、補正データに基づいてノイズリダクションの強度が補正される。ノイズリダクション強度補正部１０７は、閾値Ｔｈ１に対して所定の倍率を乗算することによりノイズリダクションの強度を補正し、最終的なノイズリダクションの強度である閾値Ｔｈ２を算出する。閾値Ｔｈ２がノイズ除去部２０４に供給される。そして、処理がステップＳＴ２１０に進む。

ステップＳＴ２１０において、ノイズ除去部２１０は、補正後のノイズリダクション強度である閾値Ｔｈ２に基づいて、ノイズリダクション処理を実行する。図示は省略しているが、ステップＳＴ２１０の後に、新たな注目画素が設定され、ステップＳＴ２０４からステップＳＴ２１０の処理が繰り返される。画像データの全ての画素に対する処理が行われると、処理が終了する。

図１１に例示する処理の流れにおいて、一部の処理が並列に行われてもよい。例えば、例えば、ステップＳＴ２０４の処理と、ステップＳＴ２０５の処理、ステップＳＴ２０６の処理、ステップＳＴ２０７の処理およびステップＳＴ２０８の処理とが、並列に行われるようにしてもよい。

＜３．第３の実施形態＞
次に、第３の実施形態について説明する。第３の実施形態における画像処理装置３は、画像処理装置２と同様に、例えば、撮像装置に内蔵される。図１２は、画像処理装置３の構成の一例を説明するための図である。なお、図１２において、画像処理装置２と同一部分または相応する部分には、共通の参照符号を付している。共通の参照符号が付された構成については、適宜、重複した説明を省略する。

画像処理装置３は、画像処理装置２と略同一の構成とされる。画像処理装置２と異なる点は、エッジ率算出部１０５に代わりエッジ率算出部３０１が設けられ、エッジ率算出部３０１が、ノイズリダクション強度設定部１０４とノイズリダクション強度補正部１０７との間に接続される点である。すなわち、画像処理装置３は、エッジ率算出部３０１に対して、ノイズリダクション強度設定部１０４から閾値Ｔｈ１が供給可能な構成とされる。

上述したように、画像処理装置２では、ＳＡＤ値の平均値に応じて、エッジ率を算出するようにしている。ところで、画像データにおける輝度が大きい平坦部の箇所についてＳＡＤ値を算出すると、ＳＡＤ値が大きくなる傾向がある。これは、イメージセンサ１０１で発生する光学ショットノイズの大きさが、輝度の平方根に略比例して大きくなることに起因するためである。すなわち、輝度が大きい箇所ではノイズの振幅が大きくなる場合があるため、本来、エッジまたはエッジ付近でないにも関わらず、ＳＡＤ値が大きくなってしまう。このため、エッジ率の判定の精度が劣化する。そこで、第３の実施形態では、ノイズの輝度依存性をキャンセルするように、ＳＡＤ値の平均値を正規化する処理を行う。

例えば、エッジ率算出部３０１は、ＳＡＤ値の平均値を、輝度の平方根の成分を含む閾値Ｔｈ１で除算することによりＳＡＤ値の平均値を正規化する。正規化処理の結果に応じて、エッジ率を算出する。他の処理については、画像処理装置２と同様であるので、重複した説明を省略する。

正規化処理では、ノイズリダクションの強度を設定するために算出される閾値Ｔｈ１を流用している。すなわち、正規化処理に必要なパラメータを算出するための新たな構成を追加することはなく、回路規模の増加などを防止できる。さらに、エッジ率の算出の精度が向上するため、例えば、エッジでない箇所に対するノイズリダクションの強度が小さくなることを防止できる。

「処理の流れ」
第３の実施形態における画像処理装置３の処理の流れの一例を、図１３に示すフローチャートを参照して説明する。なお、一部の処理は、撮像装置のイメージセンサやＡＦＥにより実行される。ステップＳＴ３０１では、イメージセンサ１０１により光電変換処理が実行され、アナログ画像データが取得される。そして、処理がステップＳＴ３０２に進む。

ステップＳＴ３０２では、アナログ画像データに対するＡＦＥ１０２による処理が実行される。ＡＦＥ１０２による処理により、デジタル画像データが得られる。そして、処理がステップＳＴ３０３に進む。

ステップＳＴ３０３では、処理に必要な分のデジタル画像データがバッファメモリ１０３に記憶される。例えば、７×７のブロックの画像データがバッファメモリ１０３に記憶される。もちろん、ブロックサイズは、７×７のサイズに限定されることはなく、任意のサイズを設定できる。そして、処理がステップＳＴ３０４に進む。

ステップＳＴ３０４では、ノイズリダクション強度設定部１０４によりノイズリダクションの強度が設定される。上述したように、ノイズリダクション強度設定部１０４は、基準輝度情報を設定し、基準輝度情報等を用いてノイズの分散σ（ｘ）を算出する。そして、ノイズの分散σ（ｘ）に対して所定の強度調整値Ｓを乗算し、閾値Ｔｈ１を算出する。閾値Ｔｈ１がノイズリダクションの強度として設定される。そして、処理がステップＳＴ３０５に進む。

ステップＳＴ３０５では、ＳＡＤ算出部２０１により複数のＳＡＤ値が算出される。複数のＳＡＤ値がＳＡＤ平均算出部２０２に供給される。そして、処理がステップＳＴ３０６に進む。

ステップＳＴ３０６では、ＳＡＤ平均算出部２０２によりＳＡＤ値の平均値が算出される。ＳＡＤ値の平均値がエッジ率算出部３０１に供給される。そして、処理がステップＳＴ３０７に進む。

ステップＳＴ３０７では、エッジ率算出部３０１によりエッジ率が算出される。エッジ率算出部３０１は、ＳＡＤ値の平均値を閾値Ｔｈ１で正規化する処理を行う。エッジ率算出部３０１は、例えば、ノイズリダクション強度設定部１０４により設定されたノイズリダクションの強度である閾値Ｔｈ１で、ＳＡＤ値の平均値を除算する。エッジ率算出部３０１は、正規化処理により算出される値に応じて、エッジ率を算出する。エッジ率が補正データ算出部１０６に供給される。そして、処理がステップＳＴ３０８に進む。

ステップＳＴ３０８では、補正データ算出部１０６により補正データが算出される。補正データ算出部１０６は、エッジ率に応じて倍率を算出し、算出した倍率を示す情報をノイズリダクション強度補正部１０７に供給する。そして、処理がステップＳＴ３０９に進む。

ステップＳＴ３０９では、補正データに基づいてノイズリダクションの強度が補正される。ノイズリダクション強度補正部１０７は、閾値Ｔｈ１に対して所定の倍率を乗算することによりノイズリダクションの強度を補正し、最終的なノイズリダクションの強度である閾値Ｔｈ２を算出する。閾値Ｔｈ２がノイズ除去部２０４に供給される。そして、処理がステップＳＴ３１０に進む。

ステップＳＴ３１０において、ノイズ除去部２１０は、補正後のノイズリダクション強度である閾値Ｔｈ２に基づいて、ノイズリダクション処理を実行する。図示は省略しているが、ステップＳＴ３１０の後に、新たな注目画素が設定され、ステップＳＴ３０４からステップＳＴ３１０の処理が繰り返される。画像データの全ての画素に対する処理が行われると、処理が終了する。

図１３に例示する処理の流れにおいて、一部の処理が並列に行われてもよい。例えば、例えば、ステップＳＴ３０４の処理と、ステップＳＴ３０５の処理およびステップＳＴ３０６の処理とが、並列に行われるようにしてもよい。

＜４．変形例＞
以上、本開示の一実施形態について説明したが、本開示は、上述した実施形態に限られることなく、種々の変形が可能である。以下、複数の変形例について説明する。

「第１の変形例」
本開示における画像処理装置は、必ずしも撮像装置に内蔵される必要はない。例えば、パーソナルコンピュータや、スマートフォンなどの装置の一部として構成されてもよい。図１４は、第１の変形例を説明するための図である。図１４において、画像処理装置１と同一部分または相応する部分には、共通の参照符号を付している。共通の参照符号が付された構成については、適宜、重複した説明を省略する。

図１４における参照符号４０１は、インタフェースを示す。インタフェース４０１を介して、処理に必要な画像データが取得され、取得された画像データがバッファメモリ１０３に書き込まれる。インタフェース４０１を介して取得される画像データは、着脱自在なメモリに記憶されている画像データや、インターネットを介してダウンロードした画像データなどである。バッファメモリ１０３に書き込まれた画像データに対して、例えば、画像処理装置１と同様のノイズリダクション処理が行われる。

インタフェース４０１は、画像処理装置４におけるノイズリダクション強度設定部１０４に接続される。インタフェース４０１を介して、イメージセンサの特性によって決まるａおよびｂの情報が取得され、これらの情報がノイズリダクション強度設定部１０４に供給される。ノイズリダクション強度設定部１０４は、インタフェース４０１から供給されるａおよびｂの情報と、基準輝度情報ｘとに応じて、上述した式１に基づく演算を行い、閾値Ｔｈ１を算出することができる。

「第２の変形例」
画像データを所定の周波数帯域毎に分割し、帯域毎に設定されたノイズリダクションの強度に応じて、ノイズリダクション処理が行われるようにしてもよい。図１５は、変形例における画像処理装置５の構成の一例を説明するための図である。図１５において、画像処理装置１と同一部分または相応する部分には、共通の参照符号を付している。共通の参照符号が付された構成については、適宜、重複した説明を省略する。

画像処理装置５は、エッジ率算出部１０５および補正データ算出部１０６の他に、ノイズリダクション強度設定部５０１、ノイズリダクション強度補正部５０２、帯域分割部（帯域分割フィルタ）５０３、ノイズ除去部５０４、ノイズ除去部５０５、ノイズ除去部５０６および帯域合成部５０７を含む構成とされる。これらの構成のうち、一部の構成が撮像装置の構成とされてもよく、例示した構成とは異なる構成が画像処理装置５に追加されてもよい。

ノイズリダクション強度設定部５０１は、帯域毎のノイズリダクションの強度を設定する。例えば、上述した式３における強度調整値Ｓを帯域毎に変化させて、帯域毎の閾値を算出する。例えば、高域用の閾値Ｔｈ１０、中域用の閾値Ｔｈ２０、低域用の閾値Ｔｈ３０をそれぞれ算出される。各閾値が、ノイズリダクション強度補正部５０２に供給される。

ノイズリダクション強度補正部５０２は、補正データ算出部１０６から供給される補正データに基づいて、閾値Ｔｈ１０、閾値Ｔｈ２０および閾値Ｔｈ３０のそれぞれを補正する。例えば、補正データ算出部１０６から供給される所定の倍率を、閾値Ｔｈ１０、閾値Ｔｈ２０および閾値Ｔｈ３０のそれぞれに乗算する。

閾値Ｔｈ１０に対して所定の倍率が乗算されることにより、閾値Ｔｈ１１が算出される。閾値Ｔｈ１１がノイズ除去部５０４に供給される。閾値Ｔｈ２０に対して所定の倍率が乗算されることにより、閾値Ｔｈ２１が算出される。閾値Ｔｈ２１がノイズ除去部５０５に供給される。閾値Ｔｈ３０に対して所定の倍率が乗算されることにより、閾値Ｔｈ３１が算出される。閾値Ｔｈ３１がノイズ除去部５０６に供給される。

帯域分割部５０３は、バッファメモリ１０３に蓄積された画像データを周波数帯域毎に分割する。帯域分割部５０３は、画像データを、例えば、高域、中域および低域の３帯域に分割する。もちろん、より細かく画像データを分割してもよい。高域側の画像データがノイズ除去部５０４に供給される。中域側の画像データがノイズ除去部５０５に供給される。低域側の画像データがノイズ除去部５０６に供給される。

ノイズ除去部５０４は、閾値Ｔｈ１１に基づいてノイズリダクション処理を実行する。ノイズ除去部５０５は、閾値Ｔｈ２１に基づいてノイズリダクション処理を実行する。ノイズ除去部５０６は、閾値Ｔｈ３１に基づいてノイズリダクション処理を実行する。

帯域合成部５０７は、各ノイズ除去部によりノイズリダクション処理が施された各成分の画像データを合成する。このように、帯域毎にノイズリダクション処理におけるノイズリダクションの強度が設定されるようにしてもよい。

「第３の変形例」
図１６は、変形例における画像処理装置６の構成の一例を示す。図１６において、画像処理装置２と同一部分または相応する部分には、共通の参照符号を付している。共通の参照符号が付された構成については、適宜、重複した説明を省略する。

画像処理装置６は、画像処理装置２におけるノイズリダクション処理を帯域毎に行うものである。さらに、画像処理装置６では、帯域毎に補正データを生成するようにしている。

画像処理装置６は、ＳＡＤ算出部２０１、ＳＡＤ平均算出部２０２、エッジ率算出部２０３の他に、ノイズリダクション強度設定部６０１、補正データ算出部６０２、ノイズリダクション強度補正部６０３、帯域分割部（帯域分割フィルタ）６０４、ノイズ除去部６０５、ノイズ除去部６０６、ノイズ除去部６０７および帯域合成部６０８を含む構成とされる。

ノイズリダクション強度設定部６０１は、ノイズリダクション強度設定部５０１と同様に、帯域毎の閾値Ｔｈ１０、閾値Ｔｈ２０および閾値Ｔｈ３０を算出する。閾値Ｔｈ１０、閾値Ｔｈ２０および閾値Ｔｈ３０がノイズリダクション強度補正部６０３に供給される。

補正データ算出部６０２は、エッジ率算出部２０３から供給されるエッジ率に応じて、補正データを帯域毎に算出する。例えば、エッジ率が大きい場合には、高域側の倍率を小さくする。エッジ率が閾値以下である場合は、平坦部であると見なして、帯域毎で区別することなく一の倍率を設定するようにしてもよい。高域用の倍率として、倍率Ｍ１が算出される。中域用の倍率として、倍率Ｍ２が算出される。低域用の倍率として、倍率Ｍ３が算出される。倍率Ｍ１、倍率Ｍ２および倍率Ｍ３がノイズリダクション強度補正部６０３に供給される。

ノイズリダクション強度補正部６０３は、補正データの一例である倍率を閾値に乗算することにより、ノイズリダクションの強度を補正する。閾値Ｔｈ１０に対して倍率Ｍ１が乗算され、閾値Ｔｈ１２が算出される。閾値Ｔｈ１２がノイズ除去部６０５に供給される。閾値Ｔｈ２０に対して倍率Ｍ２が乗算され、閾値Ｔｈ２２が算出される。閾値Ｔｈ２２がノイズ除去部６０６に供給される。閾値Ｔｈ３０に対して倍率Ｍ３が乗算され、閾値Ｔｈ３２が算出される。閾値Ｔｈ３２がノイズ除去部６０７に供給される。

帯域分割部６０４は、バッファメモリ１０３に蓄積された画像データを周波数帯域毎に分割する。帯域分割部６０４は、画像データを、例えば、高域、中域および低域の３帯域に分割する。もちろん、より細かく画像データを分割してもよい。高域側の画像データがノイズ除去部６０５に供給される。中域側の画像データがノイズ除去部６０６に供給される。低域側の画像データがノイズ除去部６０７に供給される。

ノイズ除去部６０５は、閾値Ｔｈ１２およびＳＡＤ算出部２０１から供給されるＳＡＤ値に基づいてノイズリダクション処理を実行する。ノイズ除去部６０６は、閾値Ｔｈ２２およびＳＡＤ算出部２０１から供給されるＳＡＤ値に基づいてノイズリダクション処理を実行する。ノイズ除去部６０７は、閾値Ｔｈ３２およびＳＡＤ算出部２０１から供給されるＳＡＤ値に基づいてノイズリダクション処理を実行する。

帯域合成部６０８は、各ノイズ除去部によりノイズリダクション処理が施された各成分の画像データを合成する。このように、帯域毎に補正データが算出され、帯域毎のノイズリダクションの強度が、帯域毎の対応する補正データにより補正されるようにしてもよい。第３の実施形態で説明した画像処理装置３において、帯域毎の処理が行われるようにしてもよい。

「その他の変形例」
その他の変形例について説明する。上述した実施形態では、評価値の一例としてＳＡＤを使用したが、他の評価値が使用されてもよい。例えば、対応する位置の画素の輝度値の差の２乗の総和であるＳＳＤ(Sum of Squared Difference)が評価値として使用されてもよい。但し、上述したように、撮像装置においてＳＡＤを使用した処理が行われる場合には、そのＳＡＤを流用してエッジ率を算出できるため、評価値としてＳＡＤを使用することが好ましい。

なお、実施形態および変形例における構成および処理は、技術的な矛盾が生じない範囲で適宜組み合わせることができる。例示した処理の流れにおけるそれぞれの処理の順序は、技術的な矛盾が生じない範囲で適宜、変更できる。さらに、実施形態および変形例における数値、材料等は例示であり、実施形態における数値等に、本開示が限定されるものではない。

例えば、第２の実施形態における画像処理装置２において、第３の実施形態で説明した正規化処理が行われるようにしてもよい。画像処理装置２におけるエッジ率算出部２０３は、バッファメモリ１０３とノイズ除去部２０４との間のラインに接続されている。このため、エッジ率算出部２０３は、注目画素の輝度値を得ることができる。エッジ率算出部２０３は、注目画素の輝度値の平方根を算出する。ＳＡＤ平均算出部２０２から供給されるＳＡＤ値の平均値を、注目画素の輝度値の平方根で除算することにより、正規化処理を行うようにしてもよい。注目画素およびその周辺の所定のブロック内における画素の輝度値の平均（平均輝度）を算出し、ＳＡＤ値の平均値を、平均輝度の平方根で除算することにより、正規化処理を行うようにしてもよい。

本開示は、例示した処理が複数の装置によって分散されて処理される、いわゆるクラウドシステムに対して適用することもできる。実施形態および変形例において例示した処理が実行されるシステムであって、例示した処理の少なくとも一部の処理が実行される装置として、本開示を実現することができる。

さらに、本開示は、装置に限らず、方法、プログラム、記録媒体として実現することができる。プログラムは、画像処理装置が有するＲＯＭ(Read Only Memory)等のメモリに格納される。

本開示は、以下の構成をとることもできる。
（１）
所定のノイズ成分を除去するためのノイズリダクションの強度を設定するノイズリダクション強度設定部と、
エッジ率に応じて得られる補正データに基づいて、前記ノイズリダクションの強度を補正するノイズリダクション強度補正部と
を有する画像処理装置。
（２）
所定の評価値に基づいて、前記エッジ率を算出するエッジ率算出部を有する（１）に記載の画像処理装置。
（３）
前記所定の評価値は、注目画素を中心とする所定サイズの第１のブロックと、前記注目画素とは異なる画素を中心とする、前記所定サイズと同一のサイズの第２のブロックとの間のＳＡＤ(Sum of Absolute Difference)の値に基づいて設定される（２）に記載の画像処理装置。
（４）
前記第１のブロックと、複数の前記第２のブロックのそれぞれとの間で前記ＳＡＤの値が算出され、
前記所定の評価値は、複数の前記ＳＡＤの値を平均した値である（３）に記載の画像処理装置。
（５）
前記ノイズ成分は、画像データの入力レベルに対する依存性があり、
前記所定の評価値は、前記複数のＳＡＤの値を平均した値を、前記画像データの入力レベルに対する依存性をキャンセルするように正規化したものである（４）に記載の画像処理装置。
（６）
前記所定のノイズ成分を、画像データの入力レベルに対する依存性のあるノイズ成分に対応する定数ａと、画像データの入力レベルに対する依存性のないノイズ成分に対応する定数ｂとを用いて、画像データの入力レベルｘに対する平均ノイズ振幅を下記の式でモデル化したとき、前記所定の評価値は、前記ＳＡＤの値の平均を、σ（ｘ）に基づく値で除算した値、または、前記ＳＡＤの値の平均を前記ｘに基づく値で除算した値である（４）に記載の画像処理装置。

（７）
前記ノイズリダクション強度設定部は、画像データの帯域毎に前記ノイズリダクションの強度を設定し、
前記ノイズリダクション強度補正部は、前記補正データに基づいて、前記帯域毎の前記ノイズリダクションの強度をそれぞれ補正する（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記ノイズリダクション強度設定部は、画像データの帯域毎に前記ノイズリダクションの強度を設定し、
前記ノイズリダクション強度補正部は、前記エッジ率に応じて得られる帯域毎の補正データに基づいて、前記帯域毎の前記ノイズリダクションの強度をそれぞれ補正する（１）乃至（６）のいずれかに記載の画像処理装置。
（９）
所定のノイズ成分を除去するためのノイズリダクションの強度を設定するノイズリダクション強度設定部と、
所定の評価値に基づいて、前記エッジ率を算出するエッジ率算出部と、
前記エッジ率に応じて、前記ノイズリダクションの強度を補正するノイズリダクション強度補正部と、
ノイズ成分を除去するノイズ除去部と
を有し、
前記所定の評価値は、注目画素を中心とする所定サイズの第１のブロックと、前記注目画素とは異なる画素を中心とする、前記所定サイズと同一のサイズの第２のブロックとの間のＳＡＤの値に基づいて設定され、
前記ノイズ除去部は、前記補正されたノイズリダクションの強度と、前記ＳＡＤの値とに基づいてノイズ成分を除去する画像処理装置。
（１０）
所定のノイズ成分を除去するためのノイズリダクションの強度を設定し、
エッジ率に応じて、前記ノイズリダクションの強度を補正する
画像処理装置における画像処理方法。
（１１）
所定のノイズ成分を除去するためのノイズリダクションの強度を設定し、
エッジ率に応じて、前記ノイズリダクションの強度を補正する
画像処理装置における画像処理方法を、コンピュータに実行させるプログラム。
（１２）
撮像部と、
所定のノイズ成分を除去するためのノイズリダクションの強度を設定するノイズリダクション強度設定部と、
エッジ率に応じて得られる補正データに基づいて、前記ノイズリダクションの強度を補正するノイズリダクション強度補正部と、
前記撮像部を介して取得される画像データに対して、前記補正されたノイズリダクションの強度に基づいて、ノイズリダクション処理を行うノイズ除去部と
を有する撮像装置。

１・・・画像処理装置
１０４・・・ノイズリダクション強度設定部
１０５・・・補正データ算出部
１０７・・・ノイズリダクション強度補正部
１０８・・・ノイズ除去部
２０１・・・ＳＡＤ算出部
２０２・・・ＳＡＤ平均算出部

Claims (12)

1. 所定のノイズ成分を除去するためのノイズリダクションの強度を設定するノイズリダクション強度設定部と、
   エッジ率に応じて得られる補正データに基づいて、前記ノイズリダクションの強度を補正するノイズリダクション強度補正部と
   を有する画像処理装置。
2. 所定の評価値に基づいて、前記エッジ率を算出するエッジ率算出部を有する請求項１に記載の画像処理装置。
3. 前記所定の評価値は、注目画素を中心とする所定サイズの第１のブロックと、前記注目画素とは異なる画素を中心とする、前記所定サイズと同一のサイズの第２のブロックとの間のＳＡＤ(Sum of Absolute Difference)の値に基づいて設定される請求項２に記載の画像処理装置。
4. 前記第１のブロックと、複数の前記第２のブロックのそれぞれとの間で前記ＳＡＤの値が算出され、
   前記所定の評価値は、複数の前記ＳＡＤの値を平均した値である請求項３に記載の画像処理装置。
5. 前記ノイズ成分は、画像データの入力レベルに対する依存性があり、
   前記所定の評価値は、前記複数のＳＡＤの値を平均した値を、前記画像データの入力レベルに対する依存性をキャンセルするように正規化したものである請求項４に記載の画像処理装置。
6. 前記所定のノイズ成分を、画像データの入力レベルに対する依存性のあるノイズ成分に対応する定数ａと、画像データの入力レベルに対する依存性のないノイズ成分に対応する定数ｂとを用いて、画像データの入力レベルｘに対する平均ノイズ振幅を下記の式でモデル化したとき、前記所定の評価値は、前記ＳＡＤの値の平均を、σ（ｘ）に基づく値で除算した値、または、前記ＳＡＤの値の平均を前記ｘに基づく値で除算した値である請求項４に記載の画像処理装置。
   

   
7. 前記ノイズリダクション強度設定部は、画像データの帯域毎に前記ノイズリダクションの強度を設定し、
   前記ノイズリダクション強度補正部は、前記補正データに基づいて、前記帯域毎の前記ノイズリダクションの強度をそれぞれ補正する請求項１に記載の画像処理装置。
8. 前記ノイズリダクション強度設定部は、画像データの帯域毎に前記ノイズリダクションの強度を設定し、
   前記ノイズリダクション強度補正部は、前記エッジ率に応じて得られる帯域毎の補正データに基づいて、前記帯域毎の前記ノイズリダクションの強度をそれぞれ補正する請求項１に記載の画像処理装置。
9. 所定のノイズ成分を除去するためのノイズリダクションの強度を設定するノイズリダクション強度設定部と、
   所定の評価値に基づいて、前記エッジ率を算出するエッジ率算出部と、
   前記エッジ率に応じて、前記ノイズリダクションの強度を補正するノイズリダクション強度補正部と、
   ノイズ成分を除去するノイズ除去部と
   を有し、
   前記所定の評価値は、注目画素を中心とする所定サイズの第１のブロックと、前記注目画素とは異なる画素を中心とする、前記所定サイズと同一のサイズの第２のブロックとの間のＳＡＤの値に基づいて設定され、
   前記ノイズ除去部は、前記補正されたノイズリダクションの強度と、前記ＳＡＤの値とに基づいてノイズ成分を除去する画像処理装置。
10. 所定のノイズ成分を除去するためのノイズリダクションの強度を設定し、
    エッジ率に応じて、前記ノイズリダクションの強度を補正する
    画像処理装置における画像処理方法。
11. 所定のノイズ成分を除去するためのノイズリダクションの強度を設定し、
    エッジ率に応じて、前記ノイズリダクションの強度を補正する
    画像処理装置における画像処理方法を、コンピュータに実行させるプログラム。
12. 撮像部と、
    所定のノイズ成分を除去するためのノイズリダクションの強度を設定するノイズリダクション強度設定部と、
    エッジ率に応じて得られる補正データに基づいて、前記ノイズリダクションの強度を補正するノイズリダクション強度補正部と、
    前記撮像部を介して取得される画像データに対して、前記補正されたノイズリダクションの強度に基づいて、ノイズリダクション処理を行うノイズ除去部と
    を有する撮像装置。

Images