JP2018185586A - 画像処理装置および画像処理方法、撮像装置 - Google Patents

Abstract

【課題】ハードウェアの負荷の増加を抑えつつ、ノイズ低減処理により高画質な映像信号を取得可能な画像処理装置および画像処理方法を提供する。【解決手段】画像処理装置において、ノイズ低減処理部４０１は、撮像後の画像データおよび撮影情報を取得し、画像データに対して複数のノイズ低減処理を行う。撮像素子からの出力におけるノイズ状況の検出結果に基づいて生成された画像データおよび画像データのノイズ量に関する関連情報を用いて着目画素と参照画素との類似度を算出する。画素値決定部は、算出された類似度を用いてＮＬＭ（Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ）法によるノイズ低減処理後の画素値を選択するか、または、非ＮＬＭ法によるノイズ低減処理後の画素値を選択するかを決定する。入力処理部４０２ノイズ正規化部は、撮像素子の温度情報に基づいて、ＮＬＭ法によるノイズ低減処理を行う際にパラメータを補正して再設定し、画像変換処理を行う。【選択図】図４

Description

本発明は、映像信号に重畳されるノイズを低減する画像処理技術に関する。

撮像系から取得される映像信号に重畳されるノイズは、主に、撮像素子に起因するノイズとその周辺の回路素子に起因するノイズである。撮像系のノイズ成分は、固定パターンノイズとランダムノイズの２種類のノイズに大別できる。固定パターンノイズは、撮像素子の画素欠陥による画素アンプのばらつき等に起因する。ランダムノイズは、撮像素子による暗電流やショットノイズ、熱雑音、および、回路素子から発生するノイズ等である。

このようなノイズが重畳された映像信号に対するノイズ低減処理では、例えば画像データにおける着目画素の画素値を、複数の参照画素値と各参照画素に対応する重み付き平均により算出する処理が行われる。特許文献１には、ノイズ低減処理における重みを導出する方法が開示されている。着目画素を含む領域と、参照画素を含む領域とを比較して、着目画素と参照画素との類似度を決定し、類似度に基づいて参照画素に対応する重みを算出してノイズ低減処理が実行される。このようなノイズ低減処理は、一般的に「Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法」（以下、ＮＬＭ法とも略称する）と呼ばれている。

しかしながら、特許文献１に開示のノイズ低減処理では、撮影感度や撮像センサ温度等によるノイズ量の変化に対応していないので、ノイズ量によっては適切に類似度を算出できず、充分なノイズ低減効果が得られない場合が起こり得る。これに対し、特許文献２に開示のノイズ低減処理では、着目画素または参照画素を含む領域の画素群を、画像データのノイズに関する情報に基づいて設定する。着目画素と参照画素との類似度を算出し、各参照画素に対応する重みを算出してノイズ低減処理が実行される。ノイズ量の変化に応じて類似度算出の画素群を含む領域（以下、マッチング領域という）の画素数を変更できるため、常に適切なノイズ低減処理が実行できるとともに、特許文献１よりもノイズ低減処理の負荷を軽減可能である。

特開２０１１−３９６７５号公報 特開２０１５−２１９６０３号公報

特許文献２のノイズ低減処理に関しては、ノイズ状況に応じて、マッチング領域を変更する仕組みを必要とする。すなわち、着目画素または参照画素を含む領域であるマッチング領域の画素数をノイズ状況に応じて変更できる仕組みが必要である。このため、ハードウェアの負荷（フィルタのタップの増設等）が増大するという課題がある。
本発明の目的は、ハードウェアの負荷の増加を抑えつつ、ノイズ低減処理により高画質な映像信号を取得可能な画像処理装置および画像処理方法を提供することにある。

本発明の一実施形態の装置は、画像データのノイズ低減処理を行う画像処理装置であって、画像データおよび前記画像データのノイズ量に関係する関連情報を取得する取得手段と、前記関連情報に基づいて設定した補正量で前記画像データの補正を行い、該補正が行われた画像データに第１の領域と複数の第２の領域を設定し、前記第１の領域に対する前記複数の第２の領域それぞれの類似度を算出する類似度算出手段と、前記類似度に基づいて第１のノイズ低減処理を行い、前記類似度を用いずに第２のノイズ低減処理を行う処理手段と、前記第１のノイズ低減処理で得られた値と前記第２のノイズ低減処理で得られた値の少なくともいずれかに基づいて、出力値を決定する決定手段と、を備える。前記第１の領域は、前記画像データの着目画素の位置を基準とする複数の画素を含む領域であり、前記第２の領域のそれぞれは、前記着目画素の周囲に位置するいずれかの参照画素の位置を基準とする複数の画素を含む領域であり、前記決定手段は、前記類似度に基づいて、前記第１のノイズ低減処理にて得られた値と前記第２のノイズ低減処理にて得られた値のいずれかを選択するか、または前記第１のノイズ低減処理にて得られた値と前記第２のノイズ低減処理にて得られた値を加重加算することで出力値を決定する。

本発明によれば、ハードウェアの負荷の増加を抑えつつ、ノイズ低減処理により高画質な映像信号を取得することができる。

本発明の実施形態に係る画像処理装置のハードウェア構成を示す模式図である。 ＮＬＭ法によるノイズ低減処理を説明する模式図である。 類似度に応じた重みを算出する関数を説明する模式図である。 画像処理装置の論理構成を示すブロック図である。 図４の入力処理部４０２の論理構成を示すブロック図である。 中間ノイズ正規化パラメータを説明する図である。 撮像素子温度に依存する、ノイズ正規化パラメータの補正量の説明図である。 最終ノイズ正規化パラメータを説明する図である。 第１実施例におけるノイズ正規化パラメータの導出を説明するフローチャートである。 第２実施例における入力処理部４０２の論理構成を示すブロック図である。 暗部補正ゲイン値に依存する、ノイズ正規化パラメータの補正量の説明図である。

以下、本発明の実施形態について第１および第２実施例に基づき、図面を参照して詳細に説明する。
［第１実施例］
図１は、本実施形態に係る画像処理装置のハードウェア構成を例示するブロック図である。画像処理装置の一例としてデジタルカメラに適用した場合の構成を示す。なお本発明は、デジタルカメラに限らず、例えば携帯型電話機やタブレットデバイス、パーソナルコンピュータ等の情報処理装置、あるいは撮像機能を有する携帯電話等を含む各種の撮像装置等に適用可能である。

画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、記憶部１０３、汎用インターフェース（以下、Ｉ／Ｆと略記する）部１０４、撮像部１０５、入力部１０６、表示部１０８、メインバス１０９を備える。ＣＰＵ（中央演算処理装置）１０１は、入力された信号や所定のプログラムに従って画像処理装置の各部を制御する。記憶部１０３には、ＣＰＵ１０１が各種ソフトウェアを実行するためのコンピュータプログラムが格納されている。ＣＰＵ１０１は、記憶部１０３からプログラムを読み出して実行し、ソフトウェアを動作させることで、画像処理装置における各種の処理を実現する。なお、単一のＣＰＵ１０１が装置全体を制御する場合を例にして説明するが、複数のハードウェアにより構成される複数の制御部が処理を分担することにより、システム全体を制御する構成でもよい。

撮像部１０５は、撮像光学系および撮像素子を備え、撮像光学系を構成するレンズにより結像された光を撮像素子が光電変換し、Ａ/Ｄ変換によってデジタル画像データを取得する。入力部１０６を介して入力されるユーザの撮影指示の信号をＣＰＵ１０１が受け付けると、撮像部１０５はＣＰＵ１０１の制御指令にしたがって撮像を行い、デジタル画像データを取得する。撮影指示には、例えば、撮影ＩＳＯ感度や露光時間、ＡＦ（オートフォーカス）等に関する情報が含まれる。撮像後の画像データは、バッファメモリに一時蓄えられた後、ＣＰＵ１０１により所定の画像処理が施され、記憶部１０３に記憶される。

撮像部１０５は汎用Ｉ／Ｆ部１０４を介してメインバス１０９に接続される。撮像部１０５には、撮像素子の温度を計測する温度センサが搭載されている。この温度センサの出力する温度検出信号により、撮像部１０５の撮像素子の動作温度を監視することができる。ただし、撮像素子の温度検出手段としては温度センサに限るものではない。例えば、デジタルカメラは、電源が投入された時点から所定の時間が経過した後の昇温特性のデータや、所定の撮影条件で撮影動作が行われたときの昇温特性のデータ等を記憶部１０３に予め記憶保持している。これらの情報を用いて撮像素子の温度を算出する温度検出部を設けるか、またはＣＰＵ１０１が温度検出処理を実行することができる。

ＲＡＭ（Random Access Memory）１０２は、撮像部１０５が撮像により取得した画像データを一時的に保持するバッファメモリとして使用される。またＲＡＭ１０２は、表示部１０８の画面に表示するための画像データや、入力部１０６から受け付けた操作指示のデータを保存するメモリとして使用され、ＣＰＵ１０１の作業領域等としても使用される。

表示部１０８は、ＣＰＵ１０１からの制御指令にしたがって各種画像を画面に表示する。例えば、撮像を行う際のビューファインダー画像や、撮像後の画像の表示処理が行われる。本実施形態では、画像処理装置が表示部１０８を備えるが、汎用Ｉ／Ｆ部１０４に接続可能な外部装置に対して、表示制御の機能を有していればよい。この場合、ＣＰＵ１０１は汎用Ｉ／Ｆ部１０４を介して外部の画像表示装置に画像データを出力し、画面上に画像を表示させる制御を行う。

入力部１０６は、ユーザが画像処理装置に対する操作指示を行う際に使用する。入力部１０６は操作ボタンやスイッチ、タッチパネル等を備える。操作ボタンは、例えば、画像処理装置の電源のＯＮ／ＯＦＦを指示する電源ボタンや、画像データの再生を指示する再生ボタン、暗部補正設定の適用または不適用を指示する指示ボタン等である。またユーザは、表示部１０８が備えるタッチパネルを用いて画像処理装置に対する操作指示を行うことができる。この場合、表示部１０８はユーザが所望の指示を入力するためのユーザインタフェース（ＵＩ）画面を表示する。

汎用Ｉ／Ｆ部１０４は、画像処理装置と外部装置とを接続する。外部装置として、メモリカード等の外部メモリ１０７を例示する。汎用Ｉ／Ｆ部１０４は、外部メモリ１０７をメインバス１０９に接続する。さらに、汎用Ｉ／Ｆ部１０４については、赤外線通信や無線ＬＡＮ（Local Area Network）等により通信装置との間でデータを送受する構成としてもよい。

以下では、ＣＰＵ１０１が実行する画像処理に関し、撮像部１０５による画像データに対してノイズ低減処理を行い、ノイズを低減した画像データを記憶部１０３に記憶させる処理について説明する。ＣＰＵ１０１によって実現される画像処理について、図２を参照して、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法によるノイズ低減処理を説明する。

図２（Ａ）は、画像データ２０１の例を示す。図２の左右方向をｘ方向とし、上下方向をｙ方向と定義する。このｘ−ｙ座標系において画素の原点位置は、画像データ２０１において左上隅の画素の位置であり、（０，０）とする。各画素の画素値をＩ（ｘ，ｙ）と表記する。例えば画素２０２を着目画素とすると、その画素位置は（４，４）であるので、着目画素の画素値はＩ（４，４）である。

着目画素に対し、参照画素の画素値および参照画素に対応する重みを用いて重み付き平均（加重平均の演算処理）が行われて、ノイズ低減処理後の画素値（以下、出力値ともいう）が決定される。重み付き平均に用いられる参照画素の画素数をＮ_Ｓと表記し、参照画素の画素値をＩ_ｊ（ｊ＝１〜Ｎ_Ｓ）と表記する。参照画素に対応する重み（重み付け係数）をｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）と表記する。ノイズ低減処理後の着目画素の画素値をＩ_ｎｅｗと表記すると、下記式（１）により算出される。
参照画素に対応する重みｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）は、着目画素に対する参照画素の類似度によって算出される。ＮＬＭ法によるノイズ低減処理において、着目画素と参照画素との類似度は、着目画素を含む領域と参照画素を含む領域を用いて決定される。類似度を決定するために用いられる領域を、マッチング領域とする。図２（Ａ）を参照して具体例を説明する。

図２（Ａ）の画像データ２０１にて、着目画素２０２を含む５画素×５画素の矩形範囲内の、着目画素２０２の周囲の複数の画素を参照画素群２０４とする。つまり、着目画素２０２の位置を基準として、参照画素群２０４に含まれる２５画素は、それぞれ参照画素として設定される。また、マッチング領域には３画素×３画素の領域が設定されるものとする。ＣＰＵ１０１は設定したマッチング領域により、着目画素と参照画素との類似度を算出する。例えば、画素位置が（３，３）である画素２０６を参照画素とする。この場合、着目画素２０２と参照画素２０６との類似度は、着目画素２０２を含む第１の領域内の画素群と、参照画素２０６を含む第２の領域内の画素群とを比較することにより決定される。以下では、第１の領域を「着目領域」といい、第２の領域を「参照領域」という。図２（Ａ）の例では、着目領域２０３と参照領域２０５を示している。着目領域２０３に含まれる画素群の各画素と、参照領域２０５に含まれる画素群の各画素について、対応する画素の画素値の差分二乗値の総和に基づいて類似度が定義される。

図２（Ｂ）は、参照領域２０５に含まれる３画素×３画素の画素群と、着目領域２０３に含まれる３画素×３画素の画素群を示す。着目領域２０３内の画素をｂ_ｓ（ｐ，ｑ）と表記し、参照領域２０５内の画素をｂ_ｊ（ｐ，ｑ）（ｊ＝１〜Ｎ_Ｓ）と表記する。類似度をＣ_ｊと表記し、下記式（２）により算出することができる。
類似度Ｃ_ｊの値が小さいほど、つまり着目領域と参照領域において対応する画素値間の差分二乗値の総和が小さいほど、着目画素と参照画素が類似していることを示す。ただし、式（２）は例示であって、差分二乗値の総和以外には、画素値間の差分の絶対値の合計や評価関数を用いてもよい。

次に、類似度Ｃ_ｊに応じて参照画素に対する重みが導出される。図３を参照して具体例を説明する。図３は、類似度に応じて重みを導出するための関数の一例を示す図である。横軸は類似度Ｃ_ｊを表し、縦軸は重みｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）を表す。類似度Ｃ_ｊが小さいほど重み付け係数値が大きく、類似度Ｃ_ｊが大きいほど重み付け係数値が小さくなるように決定される。例えば、下記式（３）により重みの値を算出することができる。
式（３）にてｅｘｐ（）は指数関数である。括弧内の分母に示すｈは、重みの大きさを制御するための変数である。変数ｈの値を大きくするとノイズ低減効果が高くなるが、画像のエッジが暈ける。以上のようにＣＰＵ１０１は、参照画素群２０４に含まれる全ての画素を参照画素として設定し、各参照画素に対する重みを決定する。なお、本実施形態では、着目画素自身も参照画素として設定される。

また本実施形態では、ノイズ状況の変化に応じて適切なノイズ低減処理を行うために、積算類似度（Ｃと記す）が下記式（４）により算出される。

ＣＰＵ１０１は、式（４）により算出した積算類似度Ｃを、所定の閾値（Ｔと記す）と比較する。積算類似度Ｃと閾値Ｔとの比較結果により、着目画素の画素値の置換処理が行われる。ＣＰＵ１０１は着目画素の画素値として、式（１）で示すノイズ低減処理後の画素値Ｉ_ｎｅｗにするか、またはデータ依存型フィルタであるε（イプシロン）フィルタによるノイズ低減処理後の画素値にするかを判定する。より具体的には、下記の関係で着目画素の画素値が、ノイズ低減処理後の画素値に置換される。
（Ａ）Ｃ≦Ｔのとき
（着目画素の画素値）＝（εフィルタ処理後の画素値）
（Ｂ）Ｃ＞Ｔのとき
（着目画素の画素値）＝Ｉ_ｎｅｗ

εフィルタによるノイズ低減処理とは、着目画素との信号差が所定の閾値以下となる参照画素の平均値を、着目画素の画素値とする一般的なノイズ低減処理である。これは、信号差が小さい場合に、着目画素とその周辺画素である参照画素との相関が強いと判断して、積極的に参照画素を採用しようとする処理である。本実施形態では１５画素×１５画素という、比較的広い画素領域に対して処理が実施される。なお、εフィルタに限るものではなく、ノイズ状況が変化した場合でも同様のノイズ低減処理（以後、非ＮＬＭノイズ低減処理という）が行えるフィルタであれば適用可能である。

条件（Ａ）に示すＣ≦Ｔは、着目画素と参照画素とが比較的広く類似していることを意味している。このような場合には、より広いエリアに対しノイズ低減処理を行えるεフィルタによるノイズ低減処理が実行される。一方、条件（Ｂ）に示すＣ＞Ｔを満たすときには、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法によるノイズ低減処理が実行される。３画素×３画素の比較的狭いマッチング領域で各参照画素の重みを設定して、ノイズ低減処理を行えるので、画像のエッジ情報を極力残しつつノイズを低減することができる。

図４は、本実施形態の画像処理装置の論理構成を示す機能ブロック図である。ＣＰＵ１０１が実行する画像処理を、ノイズ低減処理部４０１と入力処理部４０２に大別して示す。入力処理部４０２はノイズ正規化部４１１と撮影情報取得部４１２を有する。撮影情報取得部４１２は、ＣＰＵ１０１の指示に基づいて撮像部１０５が撮像した画像データ、および、撮影情報を取得する。ノイズ正規化部４１１は、入力された画像データに対してノイズの正規化処理を行う。ここで入力処理部４０２の論理構成について、図５を用いて説明する。ノイズ正規化部４１１は、中間ノイズ正規化パラメータの導出部９０１、最終ノイズ正規化パラメータの導出部９０２、画素値変換部９０３により構成される。第１のノイズ正規化パラメータ導出部としての中間ノイズ正規化パラメータの導出部９０１を、以下、中間導出部９０１と略称する。第２のノイズ正規化パラメータ導出部としての最終ノイズ正規化パラメータの導出部９０２を、以下、最終導出部９０２と略称する。

次に図６を参照して、ノイズ正規化部４１１が行う、入出力特性の変換式を用いたノイズ正規化処理について説明する。横軸は変換処理前の画素値Ｉを表わし、縦軸は変換処理後の画素値（Ｉ^＊と記す）を表わす。この変換処理によって、輝度レベル（入力画素値）によらず一定のノイズ振幅となるノイズ正規化後の画像データが得られる。入出力特性のノイズ正規化用多項式の各種係数、および、変換前画素値Ｉの基準点（ゼロ点）を決定するためのオフセットを示す数値（ＳＵと記す）は、撮像部１０５からの画像データに基づいて、ノイズ正規化パラメータとして導出される。ノイズ正規化パラメータは、画像データごとに計測して求めたノイズ量、ＷＢ（ホワイトバランス）係数、および、予め記憶部１０３に格納されている、デジタルカメラに固有の暗電流や光ショットノイズ量に基づいて一意に算出することができる。以上の処理は、図５の中間導出部９０１によって実行される。

暗電流や光ショットノイズ等のノイズ量は、撮影条件ごとに変化し、撮影ＩＳＯ感度、シャッタ速度（撮像素子の温度に影響）に応じて変化する。そこで、撮影情報取得部４１２は、処理対象とする画像データにおけるノイズ量に関係する関連情報を取得する。例えば関連情報は、処理対象とする画像データが撮影されたときの撮影情報であり、この情報を用いてノイズ正規化パラメータが導出される。関連情報としては、ランダムノイズの発生に関係する各種情報（撮影時間や露光時間、連続撮影モード情報等）を利用可能である。

本実施形態では、撮影ＩＳＯ感度に対する暗電流および光ショットノイズ量の対応表の形式、つまりデータテーブルとして記憶部１０３に必要なデータが格納されている。撮影ごとに撮影ＩＳＯ感度を撮影情報取得部４１２により取得し、対応表の示すデータを用いて、暗電流および光ショットノイズ量を読み出す処理が実行される。こうして取得された暗電流および光ショットノイズ量と、撮影ごとに計測されるノイズ量およびＷＢ係数を用いて、ノイズ正規化パラメータが算出される。

数値ＳＵは、暗電流および光ショットノイズ量から求められるノイズ正規化パラメータの一つであり、図６に示す変換前の画素値Ｉの基準点（ゼロ点）を決定するための値として算出される。ノイズ正規化用多項式をｆ(X)という関数で表記する。変換後の画素値Ｉ^＊、と、変換前の画素値Ｉとの関係は下記式（５）で表される。
Ｉ^＊＝ｆ(Ｉ＋ＳＵ) （５）

式（５）に示すパラメータ導出は、図５の中間導出部９０１が行う。ＳＵを含むノイズ正規化パラメータは、前述の通り、予め記憶部１０３に格納されている、暗電流および光ショットノイズ量から導出される。格納されている暗電流および光ショットノイズ量は、予め所定の温度、例えば室温（２０°Ｃ）で計測して算出された値である。ここで、何ら工夫もせずに、高温環境下での撮影、または、長秒撮影を行った場合、ノイズ低減効果の少ない画像が得られる。つまり、ＮＬＭ法の弊害を伴う画像が取得される可能性が高い。その理由は、高温環境下または長秒撮影により、撮像素子温度が上昇しているにもかかわらず、温度補正されていないノイズ正規化パラメータが使用されるからである。例えば室温で計測された暗電流および光ショットノイズ量を用いてノイズ正規化パラメータを導出したのでは温度変化に対応できずに、ＮＬＭ法によるノイズ低減処理が行われてしまう。暗電流および光ショットノイズ量は、撮像素子温度の上昇とともに増加する傾向にある。したがって、撮影時の温度に応じた暗電流および光ショットノイズ量を用いてノイズ正規化パラメータを算出する必要がある。

撮像素子の温度ごとに、暗電流および光ショットノイズ量の対応表のデータを記憶部１０３が保持する実施形態の場合、前述した通りＩＳＯ感度ごとに対応表が必要となる。そのため、膨大なデータ量を必要とし、搭載のための負荷が大きくなり好ましくない。本実施形態では、図５の最終導出部９０２が、図６に示す画素値変換特性におけるＳＵに対し、ΔＳＵによる補正を行う。この補正後にノイズ低減処理が実行されるので、前記弊害の影響を低減または回避できる。図７を参照して、補正量ΔＳＵに関して詳述する。

図７は、撮像素子温度に相当する温度センサの出力を横軸にとり、縦軸に補正量ΔＳＵをとって、ΔＳＵの温度特性を示す図である。ΔＳＵの値は、撮像素子の温度に依存し、温度センサの出力の増加に伴って暫増するように設定される。ΔＳＵと温度センサの出力との関係を表現する関係式は撮影ＩＳＯ感度ごとに用意されて、記憶部１０３に格納されている。また、図７で示す関係式における傾きについては、撮影ＩＳＯ感度の増加によるノイズ量の増加に伴って大きくなるように設定される。なお、本実施形態では、図７で示すように、温度センサの出力に対し、線形的に変化するΔＳＵを説明するが、これに限らず、温度変化に対して、非線形的に変化するΔＳＵを用いる場合もある。

撮影情報取得部４１２により取得された撮影情報に基づいて、撮影ＩＳＯ感度での図７で示す関係式と、温度センサの出力からΔＳＵが導出される。予め算出されたＳＵに対し、ΔＳＵを加算した結果である、ＳＵ＋ΔＳＵにおけるノイズ正規化のための画素値変換特性が取得される。図８に画素値変換特性の例を示す。横軸は変換前の画素値Ｉを表わし、縦軸は変換後の画素値Ｉ^＊を表わす。両者の関係は下記式（６）で表される。
Ｉ^＊＝ｆ(Ｉ＋ＳＵ＋ΔＳＵ) （６）
式（６）のパラメータ導出は、図５の最終導出部９０２が行う。図８は、ΔＳＵ＞０、すなわち、室温より高い撮像素子温度における画素値変換特性を示している。図７にて、温度センサの出力する検出値が室温に相当する出力よりも大きい領域にある。このときのノイズ量は室温状態でのノイズ量よりも大きくなっている。

図６と図８を比較すると、図８ではΔＳＵ＞０であるため、同じ変換前の画素値Ｉでの傾きとして、図８の方がより緩慢になっていることが分かる。よって、変換前の画素値Ｉにてノイズの影響による変動に対する、変換後の画素値Ｉ^＊の変動は、図６に示すＳＵのときよりも、図８に示す「ＳＵ＋ΔＳＵ」のときの方が小さくなる。つまり、ＳＵ＋ΔＳＵに補正することで、ノイズ正規化処理後の出力に対するノイズの影響が抑制される。この場合、ＮＬＭ法での類似度の計算において、ＳＵのときよりも「ＳＵ＋ΔＳＵ」のときの方が、「類似している」という判定結果が出力され易くなる。つまり、式（４）で示される積算類似度Ｃと閾値Ｔとの比較において、「Ｃ≦Ｔ」の判定結果が得られ易くなる。その結果、ＮＬＭ法によるノイズ低減処理の実行頻度（以下、実行率という）が抑えられ、非ＮＬＭノイズ低減処理がより選択されるようになる。本実施形態では、ノイズ変化によらず同様のノイズ低減処理を行うεフィルタによるノイズ低減処理の実行率が相対的に高くなる。したがって、ＮＬＭ法のノイズ低減処理における類似度の誤算出から引き起こされる弊害（ノイジー画像の取得）を抑制することができる。また、図６と図８をより詳細に比較すると、特に画素値の小さい領域（暗部）ほど、ノイズ正規化のための画素値変換特性の傾きの差が大きく、弊害の抑制効果が大きいことが分かる。

図５の最終導出部９０２から出力された式（６）を用いて、画素値変換部９０３が変換を行い、撮像素子の温度を加味してノイズ正規化された画像データが生成され、ノイズ低減処理部４０１に出力される。

図９を参照して、入力処理部４０２におけるノイズ正規化パラメータの導出および取得のシーケンスを説明する。Ｓ９０１で入力処理部４０２は、撮像部１０５から画像データを取得する。Ｓ９０２では、Ｓ９０１で取得された画像データに基づいて、画像を形成する有効画素領域とは異なる領域である遮光領域での暗電流ノイズ量を計測して出力する処理が行われる。ノイズ正規化部４１１は、暗電流ノイズ量と、予め記憶部１０３に格納された暗電流ノイズ量とを比較し、Ｓ９０１で取得された画像データの有効画素領域における暗電流ノイズ量を推定する。これにより、ＳＵのパラメータが導出される。Ｓ９０３では、Ｓ９０１で取得された画像データに基づいてＷＢ係数を計測して出力する処理が行われる。

Ｓ９０４にてノイズ正規化部４１１は、撮影情報取得部４１２から撮影ＩＳＯ感度情報を取得し、予め記憶部１０３に格納された暗電流および光ショットノイズ量の対応表を参照する。これらの情報に基づいて、撮影ＩＳＯ感度での暗電流および光ショットノイズ量の情報が取得される。Ｓ９０５でノイズ正規化部４１１は、Ｓ９０２〜Ｓ９０４での各出力結果に基づいて、中間ノイズ正規化パラメータである式（５）を算出し、中間データを求める。

Ｓ９０６では、撮影時の補正量ΔＳＵが取得される。ノイズ正規化部４１１は、撮影情報取得部４１２からの撮影ＩＳＯ感度情報、および撮像部１０５の温度センサ出力情報を用いて、図７で示されるように、撮影ＩＳＯ感度でのΔＳＵ対温度センサ出力の関係式から、撮影時のΔＳＵを算出する。本実施形態では、ΔＳＵ対温度センサ出力の関係式に、撮影情報取得部４１２からの温度センサ出力情報を代入してΔＳＵを算出する例を説明したが、これに限るものではない。例えば、ΔＳＵ対温度センサ出力の対応表のデータを、撮影ＩＳＯ感度ごとに予め記憶部１０３が記憶しており、当該データを用いてΔＳＵを算出してもよい。あるいは、ΔＳＵ対撮影ＩＳＯ感度の関係式または対応表のデータを、温度センサ出力ごとに予め記憶部１０３が記憶しており、当該データを用いてΔＳＵを算出してもよい。

Ｓ９０７で最終導出部９０２は、Ｓ９０５、Ｓ９０６の出力結果に基づいて、最終的なノイズ正規化パラメータとして、式（６）を導出する処理を行い、一連の処理を終える。

以上のように、本実施形態では、撮影ＩＳＯ感度および温度センサの出力に基づいて導出した補正量ΔＳＵを用いることで、ＮＬＭ法によるノイズ低減処理の実行率を適応的に調整できる。これにより、ノイズ状況に依らず、ＮＬＭ法によるノイズ低減処理にて類似度の誤算出による弊害を引き起こすことなく、適切にノイズ低減処理を実行できる。

次に、図４に示すノイズ低減処理部４０１を説明する。着目領域取得部４０３と参照画素選択部４０４には、入力処理部４０２で生成された画像データが入力される。着目領域取得部４０３は、入力処理部４０２から入力された画像データにおける着目画素の画素値と、マッチング領域に対応する着目領域に含まれる画素の画素値を取得する。図２（Ａ）に示す例では、マッチング領域が３画素×３画素の領域に設定されており、着目画素を中心とする３画素×３画素の矩形領域に含まれる９画素の画素値が取得される。着目領域取得部４０３は、取得した各画素値を類似度算出部４０７に出力する。

参照画素選択部４０４は、着目画素の出力値を算出するための重み付き平均の演算処理に用いる参照画素を選択する。参照画素選択部４０４は、予め定められた参照画素群２０４の中から、未処理の画素を順次、参照画素として選択する。図２（Ａ）に示す例では、参照画素群２０４が着目画素を含む２５画素に設定されており、参照画素選択部４０４は、着目画素に対して２５回に亘って参照画素を選択する。参照画素選択部４０４は、選択した画素の画素位置を示す情報を参照領域取得部４０６に出力する。

参照領域取得部４０６は、入力処理部４０２により入力される画像データから、参照画素選択部４０４によって選択された参照画素の画素値と、マッチング領域によって決められる参照領域に含まれる画素の画素値を取得する。例えばマッチング領域が３画素×３画素の領域に設定されている場合、参照画素を中心とする３画素×３画素の矩形領域に含まれる９画素の画素値が取得される。着目領域に含まれる各画素と、参照領域に含まれる各画素は、それぞれ対応する位置にある。参照領域取得部４０６は、取得した各画素の画素値を類似度算出部４０７に出力する。

類似度算出部４０７は、式（２）に従い、着目領域と参照領域とにおいて対応する画素同士の差分を算出し、各差分の二乗値を総合して得られる差分二乗和に基づいて、着目画素に対する参照画素の類似度を算出する。類似度算出部４０７は、参照画素に対応する類似度をＮＬＭノイズ低減処理部４０８および画素値決定部４０９に出力する。本実施形態では、着目画素の出力値を算出するために参照画素群２０４に含まれる２５画素が参照画素として設定される。したがって、類似度算出部４０７は、着目画素の出力値を決定するために２５回に亘って類似度を算出する。

ＮＬＭノイズ低減処理部４０８は式（１）を用いて、各参照画素の画素値と、類似度算出部４０７に基づく各参照画素に対応する重みとから重み付き平均値を算出し、ＮＬＭノイズ低減処理による着目画素の出力値を算出する。これと並行して、非ＮＬＭノイズ低減処理部４０５は、１５画素×１５画素の画素領域を用いるεフィルタを用いて、非ＮＬＭノイズ低減処理による着目画素の出力値を算出する。画素値決定部４０９は、まず類似度算出部４０７から取得した類似度に基づき、式（４）で求まる積算類似度Ｃと閾値Ｔとの大小比較を行う。比較結果が条件「Ｃ≦Ｔ」を満たす場合、画素値決定部４０９は撮像部１０５からの出力に対し、非ＮＬＭノイズ低減処理部４０５を経由して算出された画素値を、着目画素の出力値とする。他方、比較結果が条件「Ｃ＞Ｔ」を満たす場合、画素値決定部４０９は撮像部１０５からの出力に対し、ＮＬＭノイズ低減処理部４０８を経由して算出された画素値を、着目画素の出力値とする。画素値決定部４０９は、着目画素の出力値を逐次、出力部４１０に送る。なお本実施形態では、εフィルタによるノイズ低減処理と、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法によるノイズ低減処理のいずれかを選択する処理を例にあげて説明を行ったが、これに限られるものでない。２つの閾値Ｔ１とＴ２（Ｔ１＞Ｔ２）を用意し、ＣがＴ２以下であればεフィルタによるノイズ低減処理を選択し、ＣがＴ１より大きい場合にＮｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法によるノイズ低減処理を選択する処理が実行される。そして、ＣがＴ２より大きく、かつ、Ｔ１以下であれば、Ｃの値が大きくなるほど、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法によるノイズ低減処理に対する比率が大きくなるように、これら２つのノイズ低減処理の結果を加重加算するようにしてもよい。

出力部４１０は、撮像画像における全ての画素について、ノイズ低減処理が行われた画素値（出力値）を有する出力画像データを出力する。出力部４１０は、ＣＰＵ１０１の指示にしたがい、出力画像データをＲＡＭ１０２に一時的に記憶した後、表示部１０８や記憶部１０３に出力する。あるいは、ノイズ低減処理後の画像データは、汎用Ｉ／Ｆ部１０４に接続した外部メモリ１０７に出力されて記憶される。

本実施例によれば、ハードウェア上の負荷を最小限に抑えつつ、ノイズ量の変化に応じて適切なＮｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法によるノイズ低減処理を実行できるので、高画質な映像信号を取得することができる。

［第２実施例］
次に図１０および図１１を参照して、第２実施例を説明する。図１０は、本実施例における入力処理部４０２の論理構成を示すブロック図である。暗部増幅部１００４が追加され、画素値変換部９０３の前段に配置されていること以外、入力処理部４０２は第１実施例と同様の動作を行う。なお、第１実施例と同様の構成については既に使用した符号を用いることにより、それらの詳細な説明を省略する。主に、暗部増幅部１００４を含むノイズ正規化部４１１の動作に関して説明する。

暗部増幅部１００４は、撮像部１０５からの画像データに対し、暗部の画素値のみにゲインを乗算し、増幅した画素値信号を画素値変換部９０３に出力する。これにより、暗部に対応する画像データにおいて、黒潰れにより視認性が低下する可能性のある画像の補正を行い、視認性を向上させることができる。一方で、暗部の画素値にゲインをかける前には顕著でなかった暗部のノイズに対してもゲインがかかってしまうため、暗部のノイズが顕在化する可能性がある。これは、撮像部１０５からの出力画像データと暗部増幅部１００４からの出力画像データとでノイズ状況が異なることを表している。この状態では、第１実施例で説明した、ノイズ正規化処理後の画像データを用いてノイズ低減処理を行うと問題が生じる。つまり、暗部増幅部１００４の出力に対し、その出力とは異なる撮像部１０５からの出力画像データを用いて最終導出部９０２によるノイズ正規化を行われることになる。この場合、画素値変換部９０３が不適切なノイズ正規化による画像データを出力すると、その結果、不適切なノイズ正規化による画像データがノイズ低減処理部４０１に入力される。誤った類似度の算出結果によりノイズ低減効果が低下するという弊害を引き起こすことが懸念される。本実施例では、これに対処するために、最終導出部９０２は入力情報として、撮影情報取得部４１２から暗部補正ゲイン値を取得する。暗部補正ゲイン値は、ユーザが暗部補正を実施する設定で撮影した場合において、撮影シーンに応じて決定されるゲイン値であり、撮像画像データごとに決まる暗部補正時の最大ゲインの値となっている。

この暗部補正ゲイン値を用いて、最終導出部９０２はＳＵの補正値ΔＳＵ２を算出する。図１１は、横軸に示す暗部補正ゲイン値に対応する、縦軸の補正値ΔＳＵ２の関係式を表わすグラフである。この関係式により算出されるΔＳＵ２は、第１実施例にて詳述したノイズ正規化の際に用いるＳＵの補正値ΔＳＵと同様の作用を有する。すなわち、変換前の画素値Ｉと変換後の画素値Ｉ^＊との関係は下記式（７）で表される。
Ｉ^＊＝ｆ(Ｉ＋ＳＵ＋ΔＳＵ＋ΔＳＵ２) （７）

これにより、暗部増幅部１００４の出力またはゲイン制御量を加味した、ノイズ状況に応じたノイズ正規化パラメータを導出することができる。よって、ノイズ低減処理部４０１への入力信号として、適切なノイズ正規化が行われた、入力処理部４０２からの出力を得ることができる。その結果、ＮＬＭ法のノイズ低減処理において、類似度の誤算出時に弊害が引き起される可能性を低減し、適切にノイズ低減処理を行うことができる。

本実施例によれば、輝度レベルを制御するための暗部増幅処理によって画像データを補正して黒潰れによる画像の暗部の視認性が低下することを抑制できる。なお本実施例では、暗部補正によるゲインアップを考慮した補正量ΔＳＵ２に関して言及したが、これに限るものではない。所定の明るさのゲイン補正時や、周辺光量補正等の周辺画素の輝度値に対する制御量に基づくゲインアップ等に対しても同様に設定すればよい。すなわち、所定のゲイン制御による輝度レベル補正において、最大補正ゲイン値を導出し、この最大補正ゲイン値に基づいて補正量ΔＳＵ２を算出して設定する処理が行われる。

以上、第１実施例および第２実施例で説明したとおり、本実施形態ではノイズ低減処理部４０１への入力信号として、ノイズ正規化を実施した入力処理部４０２からの出力信号を用いる。画素値決定部４０９は、ＮＬＭ法によるノイズ低減処理または非ＮＬＭノイズ低減処理を選択、あるいは、それぞれの低減処理によって算出された出力値を加重加算する。すなわち、ノイズ量の変化があったとしても、適切にノイズ正規化された画像データを出力することができるので、画素値決定部４０９はＮＬＭ法によるノイズ低減処理の実行率を的確に決定でき、弊害なくノイズ低減効果を奏する。

［その他の実施形態］
前記実施形態では、ノイズ量の増加に伴い、ノイズ正規化のための補正量であるΔＳＵまたは「ΔＳＵ＋ΔＳＵ２」の値が大きく設定され、非ＮＬＭノイズ低減処理の実行率がΔＳＵ＝０のときに比べて相対的に大きくなる。非ＮＬＭノイズ低減処理では、εフィルタによるノイズ低減処理の場合、ノイズ低減効果を奏する反面、解像力が低下するという弊害がある。

そこで、解像力の低下を抑制するために、画素値決定部４０９がＮＬＭ法によるノイズ低減処理の実行率または使用率を出力し、出力結果を用いてエッジ強調量を調整してもよい。つまり、解像力低下の場合にはエッジ強調量が増加させるべく調整による変更が行われる。ここで、ＮＬＭ法によるノイズ低減処理の使用率は、画像データの全画素数に対する、ＮＬＭ法でのノイズ低減処理により変換された画素数の割合等で表わされる。あるいは、最終導出部９０２が補正量ΔＳＵまたは「ΔＳＵ＋ΔＳＵ２」を出力し、出力結果を用いてエッジ強調量を変更してもよい。あるいは、ＮＬＭ法によるノイズ低減処理の実行率もしくは使用率、または、ΔＳＵの出力結果を用いて、元画像データである、撮像部１０５からの画像データの混合割合を上げて画像処理が行われることで、解像力の低下を抑制できる。画像処理による解像力の制御では、画像処理前の、撮像素子からの出力画素値、および、ノイズ低減処理による画像処理後の出力画素値を、それぞれ所定の混合割合で混合した画素値が着目画素の画素値となる。混合割合は複数の画素値の合成比率に相当し、適応的に設定される。混合割合に基づく画素値の加重平均の演算処理によって画像合成が行われる。例えば混合割合は、ＮＬＭ法によるノイズ低減処理の実行率もしくは使用率、および、ΔＳＵもしくは「ΔＳＵ＋ΔＳＵ２」に応じて設定される。着目画素に対する画像処理前の撮像素子からの出力画素値への置き換えが多くなるように混合割合を変化させることにより、解像力の低下を抑制することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ ＣＰＵ
１０５ 撮像部
４０１ ノイズ低減処理部
４０２ 入力処理部
４１１ ノイズ正規化部
４１２ 撮影情報取得部
９０１ 中間ノイズ正規化パラメータ導出部
９０２ 最終ノイズ正規化パラメータ導出部
９０３ 画素値変換部
１００４ 暗部増幅部

Claims (12)

1. 画像データおよび前記画像データのノイズ量に関係する関連情報を取得する取得手段と、
   前記関連情報に基づいて設定した補正量で前記画像データの補正を行い、該補正が行われた画像データに第１の領域と複数の第２の領域を設定し、前記第１の領域に対する前記複数の第２の領域それぞれの類似度を算出する類似度算出手段と、
   前記類似度に基づいて第１のノイズ低減処理を行い、前記類似度を用いずに第２のノイズ低減処理を行う処理手段と、
   前記第１のノイズ低減処理で得られた値と前記第２のノイズ低減処理で得られた値の少なくともいずれかに基づいて、出力値を決定する決定手段と、を備え、
   前記第１の領域は、前記画像データの着目画素の位置を基準とする複数の画素を含む領域であり、前記第２の領域のそれぞれは、前記着目画素の周囲に位置するいずれかの参照画素の位置を基準とする複数の画素を含む領域であり、
   前記決定手段は、前記類似度に基づいて、前記第１のノイズ低減処理にて得られた値と前記第２のノイズ低減処理にて得られた値のいずれかを選択するか、または前記第１のノイズ低減処理にて得られた値と前記第２のノイズ低減処理にて得られた値を加重加算することで出力値を決定する
   ことを特徴とする画像処理装置。
2. 前記関連情報は、画像が撮像されたときの温度の情報を含む
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、撮像素子の温度を検出する検出手段により前記温度の情報を取得し、
   前記類似度算出手段は、前記温度が予め定められた温度である場合に算出される第１のパラメータに対し、前記温度の変化に対応する前記補正量により補正された第２のパラメータを用いて、前記画像データの補正を行う
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記類似度算出手段は、画素値の入出力特性の変換式を用いたノイズ正規化を行う正規化手段を備え、
   前記正規化手段は、予め定められた前記撮像素子の温度にて当該撮像素子から出力される画像データの画素値によらずに一定のノイズ量となる画像データを生成する処理を行う
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記取得手段により取得される画像データの輝度レベルを制御する制御手段を備え、
   前記類似度算出手段は、前記制御手段により制御され、かつ、前記関連情報に基づいて設定した補正量で補正された画像データから前記類似度を算出する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記画像データの暗部の画素値に対して増幅による補正を行う
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記処理手段は、前記第１のノイズ低減処理が実行される頻度または前記補正量により、前記着目画素に対するエッジ強調量を変更する
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記処理手段は、画像処理前の画像データの画素値と、ノイズ低減処理が行われた画像処理後の画素値とを合成して前記着目画素の画素値とする処理を行う
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記処理手段は、画像処理前の画像データの画素値と、ノイズ低減処理が行われた画像処理後の画素値とを合成する割合を、前記補正量により変更する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記処理手段は、前記第１のノイズ低減処理にて、前記類似度により前記参照画素に対応する重みを算出して加重平均の演算処理を行い、前記第２のノイズ低減処理にて、前記着目画素と前記参照画素との信号差が閾値以下となる参照画素の平均値を前記着目画素の画素値とする処理を行う
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 請求項１から１０のいずれか１項に記載の画像処理装置と、撮像素子を備える
    ことを特徴とする撮像装置。
12. 画像データのノイズ低減処理を行う画像処理装置にて実行される画像処理方法であって、
    前記画像データおよび前記画像データのノイズ量に関係する関連情報を取得する工程と、
    前記関連情報に基づいて設定した補正量で前記画像データの補正を行い、該補正が行われた画像データに第１の領域と複数の第２の領域を設定し、前記第１の領域に対する前記複数の第２の領域それぞれの類似度を算出する類似度算出工程と、
    前記類似度に基づいて第１のノイズ低減処理を行い、前記類似度を用いずに第２のノイズ低減処理を行う工程と、
    前記第１のノイズ低減処理で得られた値と前記第２のノイズ低減処理で得られた値の少なくともいずれかに基づいて、出力値を決定する決定工程と、を有し、
    前記第１の領域は、前記画像データの着目画素の位置を基準とする複数の画素を含む領域であり、前記第２の領域のそれぞれは、前記着目画素の周囲に位置するいずれかの参照画素の位置を基準とする複数の画素を含む領域であり、
    前記決定工程において、前記類似度に基づいて、前記第１のノイズ低減処理にて得られた値と前記第２のノイズ低減処理にて得られた値のいずれかを選択するか、または前記第１のノイズ低減処理にて得られた値と前記第２のノイズ低減処理にて得られた値を加重加算することで出力値を決定する
    ことを特徴とする画像処理方法。