JP2019140674A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】撮像装置において色被りを抑制するノイズ低減を可能にすることができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】監視カメラの画像処理部においてＮＲ処理部３０３は、画像信号から、色彩値を算出する色彩値算出手段と、画像信号の平均値を算出する平均値算出手段と、平均値と前記色彩値を含む評価値に応じて、ノイズ低減処理の強度を示す強度係数を決定する決定手段と、画像信号に対して、強度係数に応じたノイズ低減処理を行う処理手段と、を有する。【選択図】図７

Description

本発明は、ノイズ低減等の画像処理技術に関する。

従来、デジタルカメラなどの撮像装置は、低照度時に撮像した情報量の少ない撮像信号をデジタルゲインにより増幅することで、情報量の多い出力信号に変換する技術が知られている。しかしながら、撮像信号を増幅した場合、情報量が増えると同時に、撮像信号に含まれているランダムノイズも増幅されてしまう。特に、高輝度部と比較して、低輝度部に含まれるランダムノイズが多くなることが知られている。
これに対し、例えば特許文献１に開示されているような方法が知られている。特許文献１には、信号中に含まれるノイズ量を推定し、その推定したノイズ量に応じてノイズ低減処理を実行する方法が開示されている。このように、信号中に含まれるノイズ量に応じてノイズ低減処理を実行することにより、高輝度部と低輝度部の間で異なる量のランダムノイズが含まれている場合でもノイズ低減処理を実行することが可能になる。

特開２００４−７２４２２号公報

しかしながら、特許文献１に開示されている、推定したノイズ量に応じてノイズ低減処理を実行する手法では、画像信号を構成する赤（Ｒ）信号，緑（Ｇ）信号，青（Ｂ）信号の分布にずれが生じた場合に、特定の色に偏ってしまう現象が生ずることがある。このような特定の色に偏る現象は"色被り"と呼ばれ、特に、低輝度部において色合いがおかしくなる現象が強調される。

そこで、本発明は、色被りを抑制したノイズ低減処理を可能にすることを目的とする。

本発明は、画像信号から、色彩値を算出する色彩値算出手段と、前記画像信号の平均値を算出する平均値算出手段と、前記平均値と前記色彩値を含む評価値に応じて、ノイズ低減処理の強度を示す強度係数を決定する決定手段と、前記画像信号に対して、前記強度係数に応じた前記ノイズ低減処理を行う処理手段と、を有することを特徴とする。

本発明によれば、色被りを抑制したノイズ低減が可能となる。

撮像システムの概要構成例を示す図である。 撮像装置の内部構成例を示す図である。 画像処理部の内部構成を示す図である。 一般的な技術の課題を説明するためのチャート例を示す図である。 一般的な技術の課題を説明するためのヒストグラムを示す図である。 一般的な技術の課題を説明するためのヒストグラムを示す図である。 第１実施形態のＮＲ処理部の内部構成例を示す図である。 第１実施形態のＮＲ処理のフローチャートである。 第１実施形態のＮＲ強度決定部の内部構成例を示す図である。 第１実施形態のＮＲ強度決定処理のフローチャートである。 第１実施形態のＮＲ処理部の別の内部構成例を示す図である。 第１実施形態のＮＲ処理部のさらに別の内部構成例を示す図である。 第２実施形態のＮＲ処理部の内部構成例を示す図である。 第２実施形態のＮＲ処理のフローチャートである。

以下、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態における撮像システムの概略構成例を示した図である。
図１に示した撮像システムは、動画像を撮像および画像処理する装置としての監視カメラ１０１と、ＩＰネットワーク網を介して相互に通信可能な状態で接続されるクライアント装置１０２とから構成されている。ここでは、監視カメラ１０１が本実施形態の画像処理装置の機能を備えている例を挙げて説明する。なお、クライアント装置１０２が本実施形態の画像処理装置の機能を備えていてもよい。監視カメラ１０１により撮影された動画は、クライアント装置１０２に送られて表示され、また必要に応じて記録等される。本実施形態では監視カメラ１０１を例に挙げたが、これには限定されず、例えばデジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどでもよい。

図２は、図１に示した本実施形態の監視カメラ１０１の概略的な内部構成例を示すブロック図である。
撮像光学系２０１は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッタ等を有して構成され、被写体等の光像を撮像素子部２０２の撮像面上に形成（結像）させる。撮像素子部２０２は、撮像面に入射した光を電気信号へと変換する撮像素子と、撮像素子の各画素に対応したカラーフィルタとを有して構成されたカラー撮像センサである。撮像素子部２０２は、カラーフィルタを透過して撮像面に入射した光を撮像素子により受光し、電気信号へ変換して出力する。なお、撮像素子部２０２は、全ての画素に対して、任意の露光時間を設定可能な撮像センサであるとする。本実施形態の監視カメラ１０１の場合、撮像素子部２０２では動画の撮像が行われ、撮像素子部２０２からは、動画の時間軸上で連続した各フレームの画像信号が出力される。

ＣＰＵ２０３は、本実施形態の監視カメラ１０１の各構成の全てに関わる処理を実行する。ＣＰＵ２０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０４やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５に格納されたプログラムの命令を順次、読み込み、解釈した結果に従って処理を実行する。撮像系制御部２０６は、ＣＰＵ２０３から供給されるフォーカス制御指示、シャッタ制御指示、絞り制御指示などの各指示を基に、撮像光学系２０１のフォーカス合わせ、シャッタ開閉、絞り調整などの各制御を行う。制御部２０７は、クライアント装置１０２からの指示を基に、ＣＰＵ２０３を介して各部の制御を行う。ＲＯＭ２０４は、ＣＰＵ２０３が実行するプログラムや各種設定値を格納している。ＲＡＭ２０５は、ＲＯＭ２０４に格納されたプログラムが展開され、また、各構成における処理途中のデータの一時的な記憶等を行う。

Ａ／Ｄ変換部２０８は、撮像素子部２０２による光電変換で得られたアナログ電気信号（アナログ撮像信号）をデジタル信号値に変換する。Ａ／Ｄ変換部２０８によるアナログデジタル変換により得られたデジタル信号値は、動画の各フレームの画像信号として画像処理部２０９に送られる。画像処理部２０９は、画像信号に対して画像処理を行う部分であり、その画像処理の詳細については後述する。エンコーダ部２１０は、画像処理部２０９による画像処理後の画像信号を用いて、例えばＪＰＥＧやＨ．２６４などの所定のファイルフォーマットへの変換処理、つまりエンコード処理を行う。このエンコーダ部２１０によるエンコード処理後の画像データは、クライアント装置１０２に送られる。

＜第１実施形態＞
図３は、本実施形態の監視カメラ１０１が備えている画像処理部２０９の概略的な内部構成例を示すブロック図である。
画像入力部３０１には、前述のように撮像素子部２０２にて撮像され、Ａ／Ｄ変換部２０８にてアナログデジタル変換された、動画の各フレームの画像信号が入力される。現像処理部３０２は、画像入力部３０１からの画像信号に対して、デモザイク、ホワイトバランス、ガンマ、シャープネスなどの処理を行う。ＮＲ（ノイズリダクション）処理部３０３は、現像処理部３０２による処理後の画像に、空間フィルタ処理あるいは時間フィルタ処理を施すことで、空間方向および時間方向に発生するランダムノイズを低減するＮＲ処理を行う。本実施形態におけるＮＲ処理部３０３の詳細な構成および動作については後述する。画像出力部３０４は、ＮＲ処理部３０３による処理後の画像信号を、図１のエンコーダ部２１０に出力する。なお、画像入力部３０１と画像出力部３０４は必須ではなく、Ａ／Ｄ変換部２０８から出力された画像信号を現像処理部３０２に直接入力し、ＮＲ処理部３０３から出力された画像信号を直接エンコーダ部２１０に出力するように構成してもよい。

以下、本実施形態に係る画像処理の詳細を述べる前に、一般的なＮＲ処理の原理と課題について説明する。
先ず、ＮＲ処理の原理について説明する。
一般的なＮＲ処理の一つに、着目画素とその近傍の複数の参照画素について画素値の比較を行い、相関性の高い画素を加算平均した値を、着目画素のノイズ低減処理後の画素値として出力する方法が知れている。このとき、参照画素を参照する範囲や、参照画素と着目画素の相関を算出する際に用いるパラメータを変更することで、ＮＲ処理の強度を制御することが可能になる。

また、ＮＲ処理強度の決定方法の一例として、特開２００４−７２４２２号公報に開示されたＮＲ処理強度の決定方法がある。この方法では、ノイズに影響を与える要因を取得し、センサ上のノイズレベルを推定し、その推定したノイズレベルに応じたＮＲ処理強度に設定することで、高輝度部から低輝度部に対してＮＲ処理の強度を適切に設定することができる。

続いて、先行技術として知られている一般的なＮＲ処理の課題について説明する。
夜間等の暗い環境下で撮影されたＳＮ比が小さい画像では、画像の三原色であるＲ（赤）成分、Ｇ（緑）成分、Ｂ（青）成分について特定の色に偏ってしまう色被りの現象が生じることがある。例えば、図４に示すように、上から白の領域４０１、グレーの領域４０２、黒の領域４０３の順に３つの無彩色領域が並んだチャート４００を撮影したとする。図４に示したチャート４００を、例えば低照度環境や高温環境で撮影した場合、デジタルゲインによって大きく増幅されるランダムノイズや温度上昇により発生する暗電流ノイズの影響を受けて、特定の色への偏り、つまり色被りが生ずる。例えば図５に示すように、Ｒ成分、Ｇ成分およびＢ成分の各成分間で平均値のずれ（つまり各色成分の各分布の偏り）が生ずることで、マゼンダ味を帯びた色被りが発生する。このような色被りは、特に、ランダムノイズが多く含まれる低輝度部に発生しやすい。なおノイズの多い低輝度部で平均値ずれが生じている場合において、特開２００４−７２４２２号公報に記載のＮＲ処理強度決定方法を適用すると、低輝度部のようにランダムノイズが多く含まれると推定される領域にはＮＲ処理強度が強く設定される。そのため、図５のＮＲ処理実行前と比較して、図６に示すように、Ｒ成分、Ｇ成分およびＢ成分の各成分間の色の重なりが無くなって差が広がることで、マゼンダ味を帯びた色被りが更に強調された画像になってしまう。

そこで、本実施形態では、後述するように、画像信号から得られるノイズレベルだけでなく、ＲＧＢの各色の成分ごとの平均値およびＮＲ処理を含む画像処理の実行前後の色彩変化に基づいて、ＮＲ処理強度を決定する。これにより、本実施形態においては、各色の成分の分布に偏りが発生する場合であっても色被りを抑制したＮＲ処理を実現可能としている。

図７は、動画の画像信号にＮＲ処理を施して出力する、本実施形態のＮＲ処理部３０３の内部構成例を示すブロック図である。
本実施形態のＮＲ処理部３０３は、入力信号取得部７０１、ノイズレベル算出部７０２、平均値算出部７０３、色彩値算出部７０４、ＮＲ強度決定部７０５、ＮＲ処理実行部７０６、出力信号保持部７０７を有して構成されている。

入力信号取得部７０１は、動画を構成している、時間軸上で連続した各フレームの中 で、例えば或る時間のフレームを着目フレームとして、その着目フレームのＲ成分，Ｇ成分，Ｂ成分の三原色の画像信号（以下、ＲＧＢ入力信号とする。）を取得する。

ノイズレベル算出部７０２は、ＲＧＢ入力信号から、ＲＧＢの成分ごとのノイズレベル（ノイズ量）を算出するようなノイズレベル算出処理を行う。ＲＧＢの成分ごとのノイズレベル算出処理の詳細は後述する。そして、ノイズレベル算出部７０２は、ＲＧＢ成分ごとに算出したノイズレベルを表す信号を、ＮＲ強度決定部７０５に出力する。

平均値算出部７０３は、ＲＧＢ入力信号から、ＲＧＢの成分ごとの平均値を算出する処理を行う。ＲＧＢ成分ごとの平均値算出処理の詳細は後述する。そして、平均値算出部７０３は、ＲＧＢの成分ごとに算出した平均値を表す信号をＮＲ強度決定部７０５に出力する。

色彩値算出部７０４は、ＲＧＢ入力信号と後述のＮＲ処理実行部７０６よるＮＲ処理後の信号（以下、ＲＧＢ出力信号とする。）とから、それぞれの信号の色彩値を算出する処理を行う。ＲＧＢ入力信号とＲＧＢ出力信号とから色彩値を算出する処理の詳細は後述する。そして、色彩値算出部７０４は、ＲＧＢ入力信号とＲＧＢ出力信号の色彩を表す信号を、ＮＲ強度決定部７０５に出力する。

ＮＲ強度決定部７０５は、ノイズレベル算出部７０２にて算出されたＲＧＢの成分ごとのノイズレベルと、平均値算出部７０３にて算出された成分ごとの平均値と、色彩値算出部７０４にて算出された色彩値を表す信号とを基に、ＮＲ処理の強度係数を決定する。強度係数の決定方法の詳細については後述する。そして、ＮＲ強度決定部７０５は、強度係数を表す信号をＮＲ処理実行部７０６に出力する。

ＮＲ処理実行部７０６は、ＮＲ強度決定部７０５で決定されたＮＲ処理強度に基づき、入力信号取得部７０１にて取得されたＲＧＢ入力信号に対してＮＲ処理を実行する。このＮＲ処理実行後のＲＧＢ出力信号は、出力信号保持部７０７と図３の画像出力部３０４に送られる。

出力信号保持部７０７は、ＮＲ処理実行部７０６にてＮＲ処理が実行されたＲＧＢ出力信号を保持する。出力信号保持部７０７に保持されたＲＧＢ出力信号は、色彩値算出部７０４において色彩が算出される際に、前述したＮＲ処理後のＲＧＢ出力信号として入力される。

最後に、ＮＲ処理実行部７０６から出力されるＲＧＢ出力信号は、ＮＲ処理実行部７０６によるＮＲ処理後の現フレームの画像信号として、図３の画像出力部３０４に送られる。

図８は、図７に示したＮＲ処理部３０３の各ブロックにおいて行われる処理の流れを示すフローチャートである。図８のフローチャートの説明では、ステップＳ８０１〜Ｓ８０７をそれぞれＳ８０１〜Ｓ８０７と略記する。なお、図７の構成と図８のフローチャートの処理は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェアにより実行される場合、図８のフローチャートの処理は、例えばＲＯＭ等に記載されているプログラムをＣＰＵが実行することにより実現される。これらのことは後述する他のフローチャートにおいても同様とする。

図８のＳ８０１において、入力信号取得部７０１は、前述したＲＧＢ入力信号を取得する。以下の説明では、ＲＧＢ入力信号のＲＧＢの各成分をＲ_IN（ｖ，ｈ），Ｇ_IN（ｖ，ｈ），Ｂ_IN（ｖ，ｈ）と表す。なお、（ｖ，ｈ）は画像内における水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）の２次元座標位置を表している。ここで、本実施形態ではＲＧＢ入力信号に対する処理を記載するが、ＮＲ処理部３０３で処理を行う入力信号のデータに特に制限はなく、入力信号取得部７０１において自由に変換することも可能である。例えば、ＹＵＶ信号やＬ^*ａ^*ｂ^*成分、可視・非可視成分に対して、後述するＮＲ処理が実行されてもよい。

次にＳ８０２において、ノイズレベル算出部７０２は、ＲＧＢ入力信号Ｒ_IN（ｖ，ｈ），Ｇ_IN（ｖ，ｈ），Ｂ_IN（ｖ，ｈ）から、ＲＧＢの各成分のノイズレベル（ノイズ量）を算出する。例えば、ノイズレベル算出部７０２は、画像中に含まれるノイズレベルを表す評価値として、式（１）、式（２）を用い、ノイズの分散を算出する。

式（１）、式（２）は、Ｒ成分についてのノイズ分散σ² _R(v,h)を求める式である。また式の記載は省略するが、ノイズレベル算出部７０２は、式（１）、式（２）のＲ成分をそれぞれＧ成分又はＢ成分に入れ替えた式により、Ｇ成分とＢ成分のノイズ分散σ² _G(v,h)，σ² _B(v,h)にていても算出する。ここで、式（１）、式（２）のｓ１、ｓ２の値を大きく設定することで、該当信号に含まれるノイズ分散を正確に算出することができる。

なお、ノイズレベルの評価値としては、式（１）、式（２）の演算式による分散に限定されず、例えば、ノイズの標準偏差、撮像センサのノイズ特性等のような様々な評価値を用いてもよい。また、ノイズレベルの評価値は、分散と標準偏差、撮像センサのノイズ特性等の、少なくとも２つを組み合わせたものが用いられていてもよい。

またＳ８０３において、平均値算出部７０３は、ＲＧＢ入力信号から、ＲＧＢの成分ごとの平均値を評価値として算出する処理を行う。例えば、平均値算出部７０３は、前述の式（２）を用いることで、Ｒ成分の平均値を算出する。また式の記載は省略するが、平均値算出部７０３は、式（２）のＲ成分をそれぞれＧ成分又はＢ成分に入れ替えた式により、Ｇ成分とＢ成分の平均値につていても算出する。

またＳ８０４において、色彩値算出部７０４は、ＲＧＢ入力信号と、後述のＮＲ処理後の信号が保持されている出力信号保持部７０７より読み出されたＲＧＢ出力信号とから、それぞれの信号における色彩を表す評価値として色彩値を算出する。出力信号保持部７０７より読み出されたＲＧＢ出力信号は、ＮＲ処理の対象とするフレームよりも前のフレームのＮＲ処理後の信号であり、望ましくは直前のフレームのＮＲ処理後の信号である。式の記載は省略するが、色彩値算出部７０４は、ＲＧＢ入力信号の色彩値をａ^* _IN(v,h)，ｂ^* _IN(v,h)として算出し、またＲＧＢ出力信号の色彩値をａ^* _OUT(v,h)，ｂ^* _OUT(v,h)として算出する。なお、色彩を表す評価値としては、Ｌａｂ空間のａ^*，ｂ^*の値に限定されず、例えば、ＹＵＶ変換した際のＵＶ成分やＸＹＺ表色系のｘ，ｙ値、ＨＳＶ色空間のＨ，Ｓ値を用いてもよい。

次にＳ８０５において、ＮＲ強度決定部７０５は、前述のようにしてそれぞれ得られた評価値に基づいてＮＲ処理の強度を決定する。すなわちＮＲ強度決定部７０５は、ノイズレベル算出部７０２からのＲＧＢの成分ごとのノイズレベルと、平均値算出部７０３からのＲＧＢ成分ごとの平均値と、色彩値算出部７０４からの色彩値とに基づいて、ＮＲ処理の強度を決定する。

図９は、ＮＲ強度決定部７０５の構成の一例を示すブロック図である。
図９に示すように、ＮＲ強度決定部７０５は、色彩値変化量算出部９０１、平均値差分算出部９０２、クリップ処理部９０３、ＮＲ強度係数算出部９０４を有して構成される。

色彩値変化量算出部９０１は、色彩値算出部７０４にて算出された色彩値を基に、色彩値の変化量を算出する。色彩値の変化量算出処理の詳細は後述する。そして、色彩値変化量算出部９０１は、色彩値の変化量を表す信号をクリップ処理部９０３に出力する。

平均値差分算出部９０２は、図７の平均値算出部７０３にて算出されたＲＧＢ入力信号の平均値を用いて、平均値の差分値（以下、平均値差分とする。）を算出する。平均値差分算出処理の詳細は後述する。そして、平均値差分算出部９０２は、平均値差分を表す信号をクリップ処理部９０３に出力する。

クリップ処理部９０３は、ノイズレベル算出部７０２から入力されたＲＧＢ入力信号のノイズ分散と、色彩値変化量算出部９０１から入力された色彩値の変化量と、平均値差分算出部９０２から入力された平均値差分とに対して、クリップ処理を行う。クリップ処理の詳細は後述する。クリップ処理部９０３は、クリップ処理後の信号をＮＲ強度係数算出部９０４に出力する。

ＮＲ強度係数算出部９０４は、クリップ処理部９０３によるクリップ処理後の信号に基づき、ＮＲ処理実行部７０６で実行されるＮＲ処理の強度係数を算出する。ＮＲ強度係数算出処理の詳細は後述する。ＮＲ強度係数算出部９０４にて算出されたＮＲ処理の強度係数は、図７のＮＲ処理実行部７０６に出力される。

図１０は、図９に示したＮＲ強度決定部７０５の各ブロックにおいて行われる処理の流れを示すフローチャートである。
図１０のＳ１００１において、色彩値変化量算出部９０１は、色彩値算出部７０４から入力されたＲＧＢ入力信号の色彩値ａ^* _IN(v,h)，ｂ^* _IN(v,h)とＲＧＢ出力信号の色彩値ａ^* _OUT(v,h)，ｂ^* _OUT(v,h)との間の変化量を算出する。すなわち、色彩値変化量算出部９０１はＮＲ処理前後の色彩値の変化量を算出する。例えば、色彩値変化量算出部９０１は、式（３）を用いて、ＮＲ処理前後の色彩値の変化量Δａ^*ｂ^*（ｖ，ｈ）を算出する。そして、色彩値変化量算出部９０１により算出された色彩値の変化量Δａ^*ｂ^*（ｖ，ｈ）はクリップ処理部９０３に送られる。なお、ＮＲ処理の対象とするフレームと、出力信号保持部７０７より読み出されたフレームとの間で、被写体に変化が生じていると、ＮＲ処理の結果に関係なく、色彩値の変化量が大きくなる。そこで、フレーム間で領域ごとに動きベクトルを算出し、動きベクトルが大きく、被写体に変化が生じた可能性が高いと推定できる領域においては、色彩値の変化量Δａ^*ｂ^*（ｖ，ｈ）を０、あるいは、デフォルト値に固定する構成を追加してもよい。

またＳ１００２において、平均値差分算出部９０２は、平均値算出部７０３から入力されるＲＧＢ入力信号の平均値を用いて、平均値差分ΔＡｖｅ（ｖ，ｈ）を算出する。例えば、平均値差分算出部９０２は、式（４）を用いて平均値差分ΔＡｖｅ（ｖ，ｈ）を算出する。平均値差分算出部９０２により算出された平均値差分ΔＡｖｅ（ｖ，ｈ）はクリップ処理部９０３に送られる。

次にＳ１００３において、クリップ処理部９０３は、ＲＧＢ入力信号のノイズレベル（ノイズ分散σ² _R(v,h)，σ² _G(v,h)，σ² _B(v,h)）と色彩値の変化量Δａ^*ｂ^*（ｖ，ｈ）と平均値差分ΔＡｖｅ（ｖ，ｈ）とに対しクリップ処理を行う。例えば、クリップ処理部９０３は、式（５）、式（６）、式（７）を用いて、それぞれの信号に対してクリップ処理を行う。

ここで、式（５）は、Ｒ成分についてのノイズ分散σ² _R(v,h)に対するクリップ処理を表す式である。式（５）において、σ² _MAXはＲ成分のノイズ分散σ² _R(v,h)に対する上限を定めるパラメータであり、σ² _MINはＲ成分のノイズ分散σ² _R(v,h)に対する下限を定めるパラメータである。また式の記載は省略するが、クリップ処理部９０３は、式（５）のＲ成分をそれぞれＧ成分又はＢ成分に入れ替えた式により、Ｇ成分とＢ成分のノイズ分散σ² _G(v,h)，σ² _B(v,h)に対するクリップ処理も行う。

式（６）は、色彩値の変化量Δａ^*ｂ^*（ｖ，ｈ）に対するクリップ処理を表す式である。式（６）において、Δａ^*ｂ^*（ｖ，ｈ）_MAXは色彩値の変化量Δａ^*ｂ^*（ｖ，ｈ）に対する上限を定めるパラメータであり、Δａ^*ｂ^*（ｖ，ｈ）_MINは色彩値の変化量Δａ^*ｂ^*（ｖ，ｈ）に対する下限を定めるパラメータである。

式（７）は、平均値差分ΔＡｖｅ（ｖ，ｈ）に対するクリップ処理を表す式である。式（７）において、ΔＡｖｅ_MAXは平均値差分ΔＡｖｅ（ｖ，ｈ）に対する上限を定めるパラメータであり、ΔＡｖｅ_MINは平均値差分ΔＡｖｅ（ｖ，ｈ）に対する下限を定めるパラメータである。

次にＳ１００４において、ＮＲ強度係数算出部９０４は、クリップ処理後のノイズ分散と色彩値の変化量と平均値差分とを基にＮＲ処理の強度係数ＮＲＳＴを算出する。例えばＮＲ強度係数算出部９０４は、ノイズ分散σ² _R(v,h)，σ² _G(v,h)，σ² _B(v,h)と変化量Δａ^*ｂ^*（ｖ，ｈ）と平均値差分ΔＡｖｅ（ｖ，ｈ）とを用い、式（８）のように割合を計算することでＮＲ処理の強度係数ＮＲＳＴを算出する。

なお式（８）は、Ｒ成分についてＮＲ処理の強度係数ＮＲＳＴを算出する式である。式の記載は省略するが、ＮＲ強度係数算出部９０４は、式（８）のＲ成分をそれぞれＧ成分又はＢ成分に入れ替えた式により、Ｇ成分とＢ成分についてのＮＲ処理の強度係数についても算出する。式（８）のＮＲ_MAXは、ＮＲ強度ＮＲ_ST（ｖ，ｈ）の上限と下限との間のレンジを定めるパラメータである。式（８）のαはノイズ分散がＮＲ強度係数に与える影響を制御するパラメータであり、同様に、βは色彩値の変化量がＮＲ強度係数に与える影響を制御するパラメータ、γは平均値差分がＮＲ強度係数に与える影響を制御するパラメータである。これらα、β、γのパラメータにより、ノイズ分散、色彩値の変化量、平均値差分が、ＮＲ強度係数に与える割合が制御される。本実施形態では、ＮＲ_MAXのレンジを０−１２８までの範囲として定義するが、これに限るものではない。また、σ² _MAX，σ² _MIN，Δａ^*ｂ^*（ｖ，ｈ）_MAX，Δａ^*ｂ^*（ｖ，ｈ）_MIN，ΔＡｖｅ_MAX，ΔＡｖｅ_MINは、先の式（５）、式（６）、式（７）で用いられたパラメータと同様のものである。

ここで、平均値差分の値は、その値が小さいほど無彩色に近い領域であることを表し、一方、その値が大きいほど有彩色であることを表すパラメータである。すなわち、式（８）で定義されたＮＲ強度ＮＲ_ST（ｖ，ｈ）は、ノイズ量だけでなく、ＲＧＢの各成分の平均値差分を考慮して算出された値となる。したがって、ＮＲ強度ＮＲ_ST（ｖ，ｈ）を用いたＮＲ処理を行った場合には、色被りの現象が目立つ無彩色領域に対してＮＲ処理強度が制御され、その色被りの現象を抑制することができることになる。それに加え、本実施形態の場合、ＮＲ強度ＮＲ_ST（ｖ，ｈ）は、ＮＲ処理前後の色彩の変化量を考慮して算出された形となっている。したがって、ＮＲ強度ＮＲ_ST（ｖ，ｈ）を用いたＮＲ処理を行った場合、有彩色領域も含め、図６に示したようなＮＲ処理によって引き起こされる色被りが強調される現象を抑制することができることになる。

なお、前述した上限、下限、α、β、γ、ＮＲ強度のレンジ等の各パラメータは、事前に定められた固定値に限らない。それら各パラメータは、例えばノイズ量に応じて変更された値、ユーザが動的に変更した値、センサ温度等に依存して変更した値、画像全体の輝度変化に応じて変更した値、センサ等の経年劣化を考慮して変更した値等、様々な要因により変更されてもよい。例えば撮像センサの温度を検知し、その温度変化によってパラメータを変化させてもよい。温度変化によりパラメータを変化させる場合、一例として、温度が高いときにはパラメータの値を大きく設定し、逆に温度が低いときにはパラメータの値を小さく設定する。また、画像全体の輝度に分布によってパラメータを変化させてもよい。例えば低輝度側の分布が多い場合には、画像全体が、紫がかった画像になる虞がある。このため、低輝度側の分布が多い場合にはパラメータの値を大きく設定し、逆に、高輝度側に分布が多い場合にはパラメータの値を小さく設定する。また撮像センサの特性やＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）領域におけるノイズ分散によって、α、β、γの重みを変更してもよい。撮像センサの特性として、例えばＧの成分が小さくなるような傾向がある場合にはαと比較してβ，γの値を相対的に大きくするような重みを設定する。また例えば、カメラのダイナミックレンジがＷＤＲ（ワイドダイナミックレンジ）に設定されている場合には、パラメータを大きく設定してもよい。ＷＤＲ設定の場合、例えば明暗差が大きなシーンほど、色滲みが顕著に発生することになる虞があるため、ＮＲ処理が強くかかるようにパラメータを大きく設定する。なお、夜景撮影がなされるような場合には、本実施形態に関連するパラメータの設定をゼロにし、従来通りのＮＲ処理を行えるようにしてもよい。その他にも、画像に対し、例えば被写体として空に対応した領域設定を可能とし、晴天で青みがかかる領域や夕暮れで赤みがかかる領域については、それら青みや赤みの色を維持できるようにしてもよい。この場合、例えば学習処理により撮影時間帯等によって前述のα、β、γに対する重みを変更可能としてもよい。

図８のフローチャートに説明を戻す。
Ｓ８０６において、ＮＲ処理実行部７０６は、ＮＲ強度決定部７０５にて前述のように決定されたＮＲ処理強度に基づき、入力信号取得部７０１からのＲＧＢ入力信号に対してＮＲ処理を実行する。例えば、ＮＲ処理実行部７０６に実装されているＮＲ処理がイプシロンフィルタによるＮＲ処理であるすると、ＮＲ処理実行部７０６では、式（９）、式（１０）の演算で表されるＮＲ処理が行われる。

ここで、ＮＲ強度係数が大きな値で入力された場合、例えば式（９）のｓ１，ｓ２の値を大きくすることや、式（１０）の閾値εが大きくする設定が行われて、ＮＲ処理の効果を強くするような処理が実行される。式の記載は省略するが、ＮＲ処理実行部７０６は、式（９）のＲ成分をそれぞれＧ成分又はＢ成分に入れ替えた式により、Ｇ成分とＢ成分についてのＮＲ処理についても実行する。なお、ＮＲ処理の実装例は、式（９）、式（１０）の演算式による実装には限定されない。例えば、ＮＲ処理実行部７０６には、バイラテラル空間ＮＲフィルタや、エッジ情報を参照したＮＲフィルタ、孤立点の除去を行うフィルタ処理、また時間方向のランダムノイズを低減する巡回ＮＲ処理フィルタが用いられてもよい。また、これらのフィルタの少なくとも２つの処理を組み合わせたものが用いられてもよい。

次にステップＳ８０７において、出力信号保持部７０７は、ＮＲ処理実行部７０６にてＮＲ処理が実行された後のＲＧＢ出力信号を保持する。
次にステップＳ８０８において、ＮＲ処理部３０３は、入力された現在のフレームの全ての画素についてＳ８０１〜８０７の処理を行ったか否かを判定する。そして、Ｓ８０８において未処理の画素があると判定した場合、ＮＲ処理部３０３の処理はＳ８０１に戻り、その未処理の画素についてＳ８０１〜８０７の処理が行われる。一方、Ｓ８０８において入力された現在のフレームの全ての画素についてＳ８０１〜８０７の処理が行われたと判定した場合、ＮＲ処理部３０３は、そのフレームについての図８のフローチャートを終了する。その後、ＮＲ処理部３０３では、次に入力されるフレームについての図８のフローチャートの処理を開始する。

以上、説明したように、本実施形態においては、ＲＧＢ入力信号から得られるノイズレベルだけでなく、ＲＧＢの各成分の平均値およびＮＲ処理の実行前後の色彩変化を基に、ＮＲ処理強度を決定してＮＲ処理を行うようにしている。これにより、本実実施形態によれば、低輝度部や温度上昇等により発生する色被りの現象を軽減しつつ、ノイズを好適に低減することが可能になる。すなわち、本実施形態によれば、例えば監視カメラにおいて、照度および温度変化等の撮影環境の変化等によって生じる色被りを効果的に抑制すると同時に、色再現性の高いノイズ低減処理が可能になる。さらに本実施形態の画像処理場合、照度や温度変化等の撮影環境の変化等で生ずる色被りだけでなく、例えば監視カメラ内部の各構成の経年劣化等、その他様々な要因により生ずる色被り等についても抑制可能となり、ノイズを好適に低減することが可能となる。

なお、本実施形態においては、色彩値算出部７０４は、ＮＲ処理の対象とするフレームの画像信号と前のフレームのＮＲ処理実行後の画像信号の色彩値を算出して、ＮＲ強度決定部７０５に送ったが、これに限られるものではない。
色彩値算出部７０４が、同一フレームにおけるＮＲ処理実行前とＮＲ処理実行後の画像信号の色彩値を算出し、ＮＲ強度決定部７０５の色彩値変化量算出部９０１が、これらの色彩値の変化量を算出する構成としてもよい。具体的には、図１１に示すように、ＮＲ処理部３０３は、入力信号取得部１１０１、ノイズ量算出部１１０２、平均値算出部１１０３、色彩値算出部１１０６、ＮＲ強度決定部１１０７、ＮＲ処理実行部１１０８に加えて、仮ＮＲ強度決定部１１０４と仮ＮＲ処理実行部１１０５から構成される。

仮ＮＲ強度決定部１１０４は、ノイズ量算出部１１０２にて算出されたノイズレベルと、平均値算出部１１０３にて算出された成分の平均値とに基づいて、仮のＮＲ処理の強度係数ＮＲ'ＳＴを決定する。すなわち、式（８）において、色彩値の変化量に関する項を除外して、仮のＮＲ処理の強度係数ＮＲ'ＳＴを決定する。仮ＮＲ処理実行部１１０５は、この仮のＮＲ処理強度に基づいてＮＲ処理を実行し、ＮＲ処理実行後の画像信号を色彩値算出部１１０６に出力する。そして、色彩値算出部１１０６は、仮ＮＲ処理実行部１１０５から算出されたＮＲ処理実行後の画像信号と、同一フレームのＮＲ処理実行前の画像信号の色彩値を算出し、その後は図８のＳ８０５以降と同様の処理を実行する。

また、その他の構成として、同一フレームにおける色彩値の変化量に応じて、ＮＲ処理実行前後の画像信号を合成する構成としてもよい。具体的には、図１２に示すように、入力信号取得部１２０１、ノイズ量算出部１２０２、平均値算出部１２０３、ＮＲ強度決定部１２０４、ＮＲ処理実行部１２０５、色彩値算出部１２０６に加えて、合成比率算出部１２０７と、合成処理部１２０８とから構成される。合成比率算出部１２０７は、色彩値算出部１２０６にて算出されたＮＲ処理実行前後の色彩値および、ノイズレベル、平均値に基づいて、合成比率を算出する。より具体的には、式（８）と同様の形で、式（１１）のようにして合成比率を算出する。

なお式（１１）は、Ｒ成分について合成比率を算出する式であり、式の記載は省略するが、Ｇ成分とＢ成分についての合成比率についても算出する。ここで、式（１１）のＢｌｅｎｄ_MAXは、合成比率Ｂｌｅｎｄ（ｖ，ｈ）の上限と下限との間のレンジを定めるパラメータであり、その他のパラメータは式（８）と同様である。本実施形態では、Ｂｌｅｎｄ_MAXのレンジを０．０−１．０までの範囲として定義するが、これに限るものではない。

そして、合成処理部１２０８は、合成比率算出部１２０７で算出された合成比率に基づき、式（１２）のようにして、ＮＲ処理前の信号Ｒ_IN（ｖ，ｈ）とＮＲ処理後の信号Ｒ' _OUT（ｖ，ｈ）を合成し、最終的な出力信号Ｒ_OUT（ｖ，ｈ）を算出する。

なお式（１２）は、Ｒ成分について最終的な出力信号を算出する式であり、式の記載は省略するが、Ｇ成分とＢ成分についても算出する。ここで、式（１１）の合成比率は、入力信号のＲＧＢ成分の平均値および、ノイズレベルに加えて、ＮＲ処理実行前後の彩度値の変化も考慮して算出される。したがって、式（１２）で算出される最終的な出力信号は、色被りの現象を抑制とノイズ低減の効果が両立された合成信号が得られる。
前述の図１１、図１２のように構成することで、同一フレームの画像信号のＮＲ処理実行前後の色彩値の変化量を基に、ＮＲ処理の強度および効果を決定してＮＲ処理を行うことが可能になる。

＜第２実施形態＞
以下、第２実施形態について説明する。
第２実施形態の撮像システム、監視カメラ１０１の内部構成は、概ね前述の第１実施形態の構成と同様であるため、それらの図示と説明は省略する。
図１１は、第２実施形態におけるＮＲ処理部３０３の内部構成例を示すブロック図である。第２実施形態のＮＲ処理部３０３は、入力信号取得部１３０１、平均値算出部１３０２、色彩値算出部１３０３、ＮＲ強度決定部１３０４、ＮＲ処理実行部１３０５、出力信号保持部１３０６に加え、補正値算出部１３０７及び補正処理部１３０８を有している。入力信号取得部１３０１は図７の入力信号取得部７０１と同様のものである。以下、平均値算出部１３０２は平均値算出部７０３と、色彩値算出部１３０３は色彩値算出部７０４と、ＮＲ処理実行部１３０５はＮＲ処理実行部７０６と、出力信号保持部１３０６は出力信号保持部７０７と同様のものであるため、それらの詳細説明は省略する。

ここで、前述した第１実施形態の場合、ＮＲ処理部３０３のＮＲ処理実行部７０６では、図８のＳ８０６のように、ＲＧＢ入力信号に対してＮＲ処理を実行している。これに対し、第２実施形態のＮＲ処理部３０３では、平均値算出部１３０２で算出される平均値と色彩値算出部１３０３で算出される色彩値とに基づいてＲＧＢ入力信号を補正し、その補正後のＲＧＢ入力信号に対してＮＲ処理を実行する。

また第１実施形態のＮＲ強度決定部７０５では、図８のＳ８０５のように、ＲＧＢ入力信号のノイズレベル、平均値、色彩値に基づいてＮＲ強度を決定している。これに対し、第２実施形態のＮＲ強度決定部１３０４では、平均値算出部１３０２による平均値と色彩値算出部１３０３による色彩値とに基づいて算出した補正値に応じたＮＲ処理の強度を決定する。色彩値算出部１３０３により算出される色彩値は、第１実施形態で説明したように、ＲＧＢ入力信号の色彩値ａ^* _IN(v,h)，ｂ^* _IN(v,h)と、ＮＲ処理後のＲＧＢ出力信号の色彩値ａ^* _OUT(v,h)，ｂ^* _OUT(v,h)とである。

図１４は、第２実施形態の図１３に示したＮＲ処理部３０３の各ブロックにて行われる処理の流れを示すフローチャートである。なお、図１２と前述の図８において、Ｓ１４０１はＳ８０１と同じ処理であり、以下、Ｓ１４０２はＳ８０３と、Ｓ１４０３はＳ８０４と、Ｓ１４０８はＳ８０７と、Ｓ１４０９はＳ８０８と同じ処理であるので、それらの説明は省略する。以下、図１４のフローチャートにおいて、図８とは異なる処理について説明する。

Ｓ１４０４において、補正値算出部１３０７は、平均値算出部１３０２で前述同様に算出された平均値と、色彩値算出部１３０３で前述同様に算出された色彩値とに基づいて、補正値を生成する。例えば補正値算出部１３０７は、色彩値算出部７０４からのＲＧＢ入力信号の色彩値ａ^* _IN(v,h)，ｂ^* _IN(v,h)及びＲＧＢ出力信号の色彩値ａ^* _OUT(v,h)，ｂ^* _OUT(v,h)を用い、式（３）により変化量Δａ^*ｂ^*（ｖ，ｈ）を算出する。この変化量Δａ^*ｂ^*（ｖ，ｈ）は、第１実施形態で説明したように、ＮＲ処理の実行前後の色彩変化を表した値である。また、補正値算出部１３０７は、前述した式（４）により平均値差分ΔＡｖｅ（ｖ，ｈ）を算出する。

そして、補正値算出部１３０７は、それら色彩値の変化量Δａ^*ｂ^*（ｖ，ｈ）と平均値差分ΔＡｖｅ（ｖ，ｈ）とを基に補正値を決定する。具体的には、補正値算出部１３０７では、平均値差分が小さく且つ色彩変化量の値が大きくなるほど、補正値を大きく設定する。またこのとき補正値は、ＲＧＢの各成分の平均値が等しい値に近づくような値に設定する。ここで、平均値差分の差が小さく且つ色彩変化量が大きい領域は、本来であれば無彩色領域であると考えられるが、ＮＲ処理により色被りが発生する可能性が高い領域である。したがって、補正値算出部１３０７は、Ｓ１４０４の処理により。そのような領域について、ＲＧＢの各成分の平均値に対して無彩色に近づくような補正値を算出する。

次にＳ１４０５において、補正処理部１３０８は、ＲＧＢ入力信号Ｒ_IN（ｖ，ｈ），Ｇ_IN（ｖ，ｈ），Ｂ_IN（ｖ，ｈ）に対し、補正値算出部１３０７により算出された補正値に応じた補正処理を行う。そして、その補正処理後のＲＧＢ入力信号が、ＮＲ処理実行部１３０５に送られる。

またＳ１４０６において、ＮＲ強度決定部１３０４は、補正値算出部１３０７により算出された補正値に応じてＮＲ処理の強度を決定する。ＮＲ強度決定部１３０４における処理は、概ね前述の第１実施形態と同様の処理であるが、第１実施形態のようなノイズレベルは用いられず、補正値に応じてＮＲ強度係数を決定する処理となされている。例えば、補正値が大きい場合、ＲＧＢの各成分にゲインがかけられてランダムノイズが増幅されていることが想定されるので、ＮＲ強度決定部１３０４は、補正値算出部１３０７で算出された補正値が大きくなるほどＮＲ処理の強度を大きな値に設定する。

次にＳ１４０７において、ＮＲ処理実行部１３０５は、Ｓ１４０５で補正された後のＲＧＢ入力信号に対し、Ｓ１４０６，Ｓ１４０５で決定されたＮＲ強度に応じたＮＲ処理を実行する。

以上説明したように、第２実施形態においては、ＲＧＢ入力信号から得られるＲＧＢの各成分の平均値とＮＲ処理の実行前後の色彩変化とに基づく補正値により、ＲＧＢ入力信号を補正し、また、その補正値に応じてＮＲ強度を決定する。そして、第２実施形態では、補正値による補正後のＲＧＢ入力信号に対して、補正値に応じて決定したＮＲ強度に応じたＮＲ処理を実行する。これにより、第２実施形態によれば、無彩色領域に発生する色被りの現象を軽減しつつ、ノイズを好適に低減することが可能になる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：監視カメラ、１０２：クライアント装置、３０３：ＮＲ処理部、７０１：入力信号取得部、７０２：ノイズレベル算出部、７０３：平均値算出部、７０４：色彩値算出部、７０５：ＮＲ強度決定部、７０６：ＮＲ処理実行部、７０７：出力信号保持部

Claims (17)

1. 画像信号から、色彩値を算出する色彩値算出手段と、
   前記画像信号の平均値を算出する平均値算出手段と、
   前記平均値と前記色彩値を含む評価値に応じて、ノイズ低減処理の強度を示す強度係数を決定する決定手段と、
   前記画像信号に対して、前記強度係数に応じた前記ノイズ低減処理を行う処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記平均値算出手段は、前記画像信号に含まれる複数の色成分ごとに平均値を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記色彩値算出手段は、前記画像信号のノイズ低減処理が実行される前の信号の前記色彩値と、前記ノイズ低減処理が実行された後の信号の前記色彩値とを算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記ノイズ低減処理が実行される前と後の前記色彩値の変化量を算出し、前記色成分ごとの前記平均値の差分値を算出し、前記平均値の差分値と前記色彩値の変化量とに基づいて、前記強度係数を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記平均値の差分値と前記色彩値の変化量のそれぞれに対して、少なくとも二つの設定値との比較に基づくクリップ処理を行い、前記クリップ処理が行われた後の、前記平均値の差分値と前記色彩値の変化量とに基づいて、前記強度係数を算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記決定手段は、前記平均値の差分値が大きいほど前記強度係数を大きく設定することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記決定手段は、前記色彩値の変化量が小さいほど前記強度係数を大きく設定することを特徴とする請求項４から６のいずれか１項に記載の画像処理装置。
8. 前記決定手段は、前記平均値の差分値と前記色彩の変化量との割合に応じて前記強度係数を算出することを特徴とする請求項７に記載の画像処理装置。
9. 前記画像信号のノイズレベルを算出するノイズレベル算出手段を有し、前記評価値は、前記ノイズレベルを含むことを特徴とする請求項２から８のいずれか１項に記載の画像処理装置。
10. 前記決定手段は、前記ノイズ低減処理が実行される前と後の前記色彩値の変化量を算出し、前記色成分ごとの前記平均値の差分値を算出し、前記ノイズレベルと前記平均値の差分値と前記色彩値の変化量とに基づいて前記強度係数を算出することを特徴とする請求項９に記載の画像処理装置。
11. 前記決定手段は、ノイズレベルの値が大きいほど前記強度係数を大きく設定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記決定手段は、前記ノイズレベルと前記平均値の差分値と前記色彩の変化量との割合に応じて、前記強度係数を算出することを特徴とする請求項１０に記載の画像処理装置。
13. 前記平均値と前記色彩値に基づいて前記画像信号を補正する補正手段とを有し、
    前記処理手段は、前記補正手段によって補正された画像信号に対して、前記ノイズ低減処理を行うことを特徴とする請求項２に記載の画像処理装置。
14. 前記決定手段は、前記色成分ごとの前記平均値の差分値を算出し、前記差分値が小さいほど前記強度係数を大きく設定することを特徴とする請求項１３に記載の画像処理装置。
15. 前記決定手段は、前記ノイズ低減処理が実行される前の信号の前記色彩値と前記ノイズ低減処理が実行された後の信号の前記色彩値との変化量を算出し、前記変化量が大きいほど前記強度係数を大きく設定することを特徴とする請求項１３または１４に記載の画像処理装置。
16. 画像処理装置が実行する画像処理方法であって、
    画像信号から、色彩値を算出する工程と、
    前記画像信号の平均値を算出する工程と、
    前記平均値と前記色彩値を含む評価値に応じて、ノイズ低減処理の強度を示す強度係数を決定する工程と、
    前記画像信号に対して、前記強度係数に応じた前記ノイズ低減処理を行う工程と、
    を有することを特徴とする画像処理方法。
17. コンピュータを、請求項１から１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images