JP2015186200A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より画質のよい画像を得ることができるようにする。【解決手段】色判別部５１は、入力画像から特定色の領域を検出し、境界領域設定部５２は特定色の領域の検出結果に基づいて、特定色の領域の境界を示す境界情報を生成する。エッジ識別部６１は、入力画像から輝度に関する特徴量である輝度特徴量を算出する。混合率決定部６２は、特定色の領域の検出結果と輝度特徴量に基づいて混合率を決定する。平均部６３は、境界情報、輝度特徴量、および混合率に基づいて入力画像をに対してフィルタ処理を施し、その結果得られた平滑化画像を出力する。混合部６４は、混合率に基づいて平滑化画像と入力画像とを混合する。本技術は、デジタルカメラに適用することができる。【選択図】図３

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、より画質のよい画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。

従来、画像に対するノイズ除去処理を行うことで、より画質のよい画像を得ることができるようにする技術が知られている。ノイズ除去処理により画質のよい画像を得るためには、ノイズ除去処理において画質の劣化を抑制しつつ、効率的にノイズを除去することが必要となる。

例えば、ノイズ除去処理に関する技術として、画像上の解像劣化が生じやすい色領域の部分においてノイズ除去効果を弱める技術が提案されている（例えば、特許文献１参照）。

特開２０１０−２１３０８６号公報

しかしながら、上述した技術ではノイズ除去効果を弱めているため、解像劣化、つまり画質の劣化を抑制することはできるが、十分にノイズを除去することが困難であった。例えば上述した技術では、画像上の大きな範囲のノイズ、すなわち低周波ノイズを除去することができないため、十分に画質のよい画像が得られるとはいえなかった。

本技術は、このような状況に鑑みてなされたものであり、より画質のよい画像を得ることができるようにするものである。

本技術の一側面の画像処理装置は、入力画像から特定色の領域を検出する色判別部と、前記入力画像の輝度に関する特徴量を算出する特徴量算出部と、前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行うノイズ除去部とを備える。

前記ノイズ除去部には、前記特定色の領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行わせることができる。

前記ノイズ除去部には、前記特定色の領域の境界部分に対して、他の領域における場合よりもノイズ除去効果を弱めて前記ノイズ除去を行わせることができる。

前記特定色を無彩色とすることができる。

前記特徴量算出部には、エッジ検波を行うことで前記特徴量を算出させることができる。

前記特徴量算出部には、輝度の平坦さの度合いを前記特徴量として算出させることができる。

前記ノイズ除去部には、前記輝度の平坦さの度合いが閾値以上である領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行わせることができる。

画像処理装置には、前記特定色の領域の検出結果に基づいて、前記特定色の領域の境界らしさを示す境界情報を算出する境界領域設定部をさらに設け、前記ノイズ除去部には、前記境界情報および前記特徴量に応じて、互いに異なる複数の処理のうちの少なくとも何れかを行うことで前記入力画像に対する前記ノイズ除去を行わせることができる。

前記互いに異なる複数の処理を、ノイズ除去に用いられる前記入力画像上の領域の範囲が異なる処理とすることができる。

前記ノイズ除去部には、前記入力画像を縮小する縮小部と、前記縮小部により縮小された前記入力画像に対してフィルタ処理を施す第１のフィルタ処理部と、前記第１のフィルタ処理部によりフィルタ処理された前記入力画像を、前記縮小部による縮小前の大きさに拡大する拡大部と、前記入力画像に対してフィルタ処理を施す第２のフィルタ処理部と、前記境界情報および前記特徴量に応じて、前記入力画像を、前記縮小部または前記第２のフィルタ処理部の少なくとも何れか一方に供給する接続部とを設けることができる。

前記ノイズ除去部には、前記拡大部による拡大により得られた画像と、前記第２のフィルタ処理部によるフィルタ処理により得られた画像とを、前記特定色の領域の検出結果および前記特徴量により定まる第１の混合係数により混合する第１の混合部をさらに設けることができる。

前記ノイズ除去部には、前記第１の混合部による混合で得られた画像と、前記入力画像とを前記特定色の領域の検出結果および前記特徴量により定まる第２の混合係数により混合する第２の混合部をさらに設けることができる。

本技術の一側面の画像処理方法またはプログラムは、入力画像から特定色の領域を検出し、前記入力画像の輝度に関する特徴量を算出し、前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行うステップを含む。

本技術の一側面においては、入力画像から特定色の領域が検出され、前記入力画像の輝度に関する特徴量が算出され、前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去が行われる。

本技術の一側面によれば、より画質のよい画像を得ることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

撮像装置の構成例を示す図である。 ノイズ除去処理を説明するフローチャートである。 ノイズリダクション部の構成例を示す図である。 無彩色の度合いおよび境界情報について説明する図である。 輝度特徴量について説明する図である。 混合率について説明する図である。 平均部の構成例を示す図である。 スイッチの接続制御について説明する図である。 混合係数について説明する図である。 混合係数について説明する図である。 ノイズ除去処理を説明するフローチャートである。 平均化処理を説明するフローチャートである。 スイッチの接続制御について説明する図である。 平均化処理を説明するフローチャートである。 ノイズリダクション部の構成例を示す図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈撮像装置の構成例〉
本技術は、画像から特定色の領域を検出するとともに、画像から輝度に関する特徴量を検出し、特定色の領域の検出結果と、特徴量の検出結果とに基づいて画像に対するノイズ除去処理を行うものである。これにより、解像劣化を抑制しつつ色ノイズを知覚しやすい領域のノイズ除去効果を強め、より画質のよい画像を得ることができるようになる。

以下、本技術を適用した具体的な実施の形態について説明する。

図１は、本技術を適用した撮像装置の一実施の形態の構成例を示す図である。

図１の撮像装置１１は、例えばデジタルカメラや、撮像機能を有する多機能型携帯電話機などとされ、撮像装置１１はレンズ部２１、撮像素子２２、ガンマ変換部２３、ＹＣＣ変換部２４、およびノイズリダクション部２５を有している。

レンズ部２１は、例えば１または複数のレンズ、絞り、シャッタなどからなり、被写体から入射した光を集光して撮像素子２２へと導く。撮像素子２２は、例えばCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなり、レンズ部２１から入射した光を受光して光電変換することにより被写体を撮像し、その結果得られた電気信号を画像信号のRAWデータとしてガンマ変換部２３に供給する。

例えば撮像素子２２の受光面にはＲ（赤）、Ｇ（緑）、Ｂ（青）の各色のカラーフィルタがいわゆるベイヤー配列で配置されている。したがって、この撮像素子２２からはＲ、Ｇ、Ｂの各色情報を有するRAWデータが出力される。

より詳細には、撮像素子２２では、得られたRAWデータに対してゲイン調整処理やA/D（Analog/Digital）変換処理が施され、それらの処理が施されたRAWデータがガンマ変換部２３へと供給される。

ガンマ変換部２３は、撮像素子２２から供給されたRAWデータに対してガンマ変換処理を施してＹＣＣ変換部２４に供給する。

ＹＣＣ変換部２４は、ガンマ変換部２３から供給されたＲ、Ｇ、Ｂの各色情報からなるRAWデータをＹＣＣデータに変換し、ノイズリダクション部２５に供給する。

ここで、ＹＣＣデータとは、輝度信号（Ｙ信号）と色差信号（Ｃｒ信号およびＣｂ信号）からなるデータである。以下では、特に赤色差信号を色差信号Ｃｒとも称し、青色差信号を色差信号Ｃｂとも称することとする。

ノイズリダクション部２５は、ＹＣＣ変換部２４から供給されたＹＣＣデータに対してノイズ除去処理を施し、その結果得られたＹＣＣデータを、撮像された撮像画像の画像データとして出力する。

ここで、ノイズリダクション部２５により行われるノイズ除去処理では、ＹＣＣデータを構成する輝度信号（Ｙ信号）はノイズ除去処理の前後で同じであり、ＹＣＣデータを構成する色差信号がノイズ除去処理の前後で異なる。すなわち、ノイズリダクション部２５では、色差信号に対してノイズ除去処理が行われる。

以下では、特にノイズ除去処理後の色差信号Ｃｒを色差信号Ｃｒ’とも称し、ノイズ除去処理後の色差信号Ｃｂを色差信号Ｃｂ’とも称することとする。また、ノイズ除去処理後の輝度信号であるＹ信号をＹ’信号とも称する。さらに、以下では、ＹＣＣ変換部２４からノイズリダクション部２５に供給されるＹＣＣデータを、入力画像の入力画像データとも称することとする。

〈ノイズ除去処理の説明〉
次に、図２のフローチャートを参照して、ノイズリダクション部２５により行われるノイズ除去処理について説明する。

ノイズリダクション部２５は、ＹＣＣ変換部２４から入力画像が供給されると、入力画像からノイズを除去するノイズ除去処理を行う。このノイズ除去処理は入力画像の画素ごとに行われる。以下、入力画像の処理対象となっている画素を、適宜、処理対象画素とも称することとする。

ステップＳ１１において、ノイズリダクション部２５は、入力画像の処理対象画素が特定の色の領域の画素であるか否かを判定する。

具体的には、例えばステップＳ１１では、処理対象画素が無彩色の画素である場合、特定の色の領域の画素であると判定される。ここで、処理対象画素が無彩色の画素であるか否かは入力画像データのクロマ信号、つまり色差信号Ｃｒおよび色差信号Ｃｂの値により定まるＣｒＣｂ空間における処理対象画素の位置によって特定される。

ＣｒＣｂ空間は、色差信号ＣｒをＣｒ軸とし、色差信号ＣｂをＣｂ軸とする色空間である。処理対象画素の色差信号Ｃｒおよび色差信号Ｃｂの値により定まるＣｒＣｂ空間上の位置が、そのＣｒＣｂ空間上の所定範囲（領域）内の位置である場合、処理対象画素が無彩色の画素であるとされる。

ステップＳ１１において、処理対象画素が特定の色の領域の画素であると判定された場合、ステップＳ１２において、ノイズリダクション部２５は入力画像の処理対象画素に対して、予め定められたノイズ除去処理NR(A)を施す。そして、ノイズリダクション部２５は、ノイズ除去処理NR(A)の結果得られた画素の画素値を、撮像画像の画素の画素値とし、ノイズ除去処理は終了する。

ここで、ノイズ除去処理NR(A)は、入力画像の比較的広い範囲の画素を用いてノイズ除去を行うことで、高いノイズ除去効果が得られるフィルタ処理である。広い範囲の画素を用いてノイズ除去を行えば、画像に含まれている低周波ノイズも除去することができるので、より高いノイズ除去効果が得られる。

画像上の無彩色の領域は、ノイズが知覚されやすい領域であり、無彩色の領域のノイズが十分に除去されていないと、そのノイズによって画質が劣化して見えることになる。換言すれば、無彩色領域にあるノイズは目立つため、画像の画質の劣化がより顕著に感じられてしまう。

そこで、ノイズリダクション部２５は、入力画像の無彩色の領域に対してはノイズ除去効果の高いノイズ除去処理NR(A)を施すことで十分にノイズを除去し、より画質のよい撮像画像を得ることができるようにする。つまり、入力画像の無彩色の領域に対して、他の領域における場合よりもノイズ除去効果が強められてノイズ除去が行われる。

また、ステップＳ１１において、処理対象画素が特定の色の領域の画素でないと判定された場合、ステップＳ１３において、ノイズリダクション部２５は、入力画像の処理対象画素が、輝度が平坦な領域の画素であるか否かを判定する。

具体的には、例えば入力画像データを構成する輝度信号（Ｙ信号）に基づいて算出される輝度の平坦さの度合いが所定の閾値以上である場合、輝度が平坦な領域の画素であると判定される。

ステップＳ１３において、輝度が平坦な領域の画素であると判定された場合、ステップＳ１４において、ノイズリダクション部２５は入力画像の処理対象画素に対して、予め定められたノイズ除去処理NR(B)を施す。そして、ノイズリダクション部２５は、ノイズ除去処理NR(B)の結果得られた画素の画素値を、撮像画像の画素の画素値とし、ノイズ除去処理は終了する。

ここで、ノイズ除去処理NR(B)は、入力画像の比較的広い範囲の画素を用いてノイズ除去を行うことで、高いノイズ除去効果が得られるフィルタ処理である。このノイズ除去処理NR(B)は、ノイズ除去処理NR(A)と同じ処理であってもよいし、ノイズ除去処理NR(A)とは異なる処理であってもよい。

画像上の輝度が平坦な領域は、上述した無彩色の領域と同様にノイズが知覚されやすい領域であり、輝度が平坦な領域のノイズが十分に除去されていないと、そのノイズが目立ってしまう。そこで、ノイズリダクション部２５は、入力画像における輝度が平坦な領域に対してはノイズ除去効果の高いノイズ除去処理NR(B)を施すことで十分にノイズを除去し、より画質のよい撮像画像を得ることができるようにする。つまり、入力画像における輝度が平坦な領域に対して、他の領域における場合よりもノイズ除去効果が強められてノイズ除去が行われる。

一方、ステップＳ１３において、輝度が平坦な領域の画素でないと判定された場合、ステップＳ１５において、ノイズリダクション部２５は入力画像の処理対象画素に対して、予め定められたノイズ除去処理NR(C)を施す。そして、ノイズリダクション部２５は、ノイズ除去処理NR(C)の結果得られた画素の画素値を、撮像画像の画素の画素値とし、ノイズ除去処理は終了する。

ここで、ノイズ除去処理NR(C)は、入力画像の比較的狭い範囲の画素を用いてノイズ除去を行うフィルタ処理であり、上述したノイズ除去処理NR(A)やノイズ除去処理NR(B)と比べるとノイズ除去効果が低いフィルタ処理とされる。

すなわち、ノイズ除去処理NR(C)では、ノイズ除去処理NR(A)やノイズ除去処理NR(B)の場合よりも入力画像の狭い範囲の画素を用いてノイズ除去が行われる。そのため、ノイズ除去処理NR(C)は、ノイズ除去処理NR(A)やノイズ除去処理NR(B)よりもフィルタ強度、つまりノイズ除去効果が低い処理となる。

画像上の輝度が平坦でない領域、つまりエッジ成分が多く含まれている領域においてはノイズ除去により生じる解像劣化が知覚されやすい。そこで、ノイズリダクション部２５は、入力画像上の輝度が平坦でない領域に対してはノイズ除去効果の低いノイズ除去処理NR(C)を施すことで画質の劣化を抑制し、より画質のよい撮像画像を得ることができるようにする。

特に、この例では輝度が平坦ではなく無彩色の領域と有彩色の領域との境界部分である領域に対してノイズ除去処理NR(C)が行われることになる。無彩色の領域と有彩色の領域の境界部分の領域は、解像劣化が知覚されやすいため、このような領域に対してノイズ除去効果を弱めることで、より画質のよい撮像画像を得ることができる。

以上のようにして、ノイズリダクション部２５は、入力画像の処理対象の領域が特定の色の領域であるかや、輝度が平坦な領域であるかに基づいて、各領域に対して、その領域に適したノイズ除去処理を行う。例えばノイズが目立ちやすい、無彩色の領域や輝度の平坦な領域に対してはノイズ除去効果が強められ、解像劣化が知覚されやすい、輝度が平坦ではない無彩色の領域と有彩色の領域の境界部分の領域に対してはノイズ除去効果が弱められてノイズ除去が行われる。これにより、十分にノイズを除去しつつ画質の劣化を抑制し、より画質のよい撮像画像を得ることができる。

〈ノイズリダクション部の構成例〉
次に、図１に示したノイズリダクション部２５のより詳細な構成について説明する。

図３は、ノイズリダクション部２５のより詳細な構成例を示す図である。

図３に示すノイズリダクション部２５は、色判別部５１、境界領域設定部５２、およびフィルタ処理部５３を有している。

色判別部５１は、ＹＣＣ変換部２４から供給された入力画像に基づいて、入力画像上の特定の色領域を検出する。例えば検出対象となる特定の色領域は、色ノイズが知覚されやすい色、具体的には無彩色の領域などとされる。この場合、色判別部５１は入力画像に基づいて、入力画像の各領域における無彩色の度合いＣを算出し、境界領域設定部５２およびフィルタ処理部５３に供給する。

境界領域設定部５２は、色判別部５１から供給された無彩色の度合いＣに基づいて、無彩色の領域と有彩色の領域との境界を示す境界情報Ｂを生成し、フィルタ処理部５３に供給する。

フィルタ処理部５３は、色判別部５１から供給された無彩色の度合いＣと、境界領域設定部５２から供給された境界情報Ｂとに基づいて、ＹＣＣ変換部２４から供給された入力画像に対してフィルタ処理（ノイズ除去処理）を施し、その結果得られた撮像画像を出力する。ここで、フィルタ処理部５３により行われるフィルタ処理が、上述したノイズ除去処理NR(A)、ノイズ除去処理NR(B)、およびノイズ除去処理NR(C)に対応する。

なお、フィルタ処理部５３により行われるフィルタ処理は、ノイズ除去処理NR(A)、ノイズ除去処理NR(B)、およびノイズ除去処理NR(C)の一例であり、ノイズが目立ちやすい領域に対してノイズ除去効果が強められ、解像劣化が知覚されやすい領域に対してノイズ除去効果が弱められればよい。

また、フィルタ処理部５３は、エッジ識別部６１、混合率決定部６２、平均部６３、および混合部６４を備えている。

エッジ識別部６１は、ＹＣＣ変換部２４から供給された入力画像に基づいて、入力画像の輝度（明るさ）に関する特徴量である輝度特徴量Ｆを算出し、混合率決定部６２および平均部６３に供給する。

混合率決定部６２は、色判別部５１から供給された無彩色の度合いＣと、エッジ識別部６１から供給された輝度特徴量Ｆとに基づいて所定の混合率Ｄを算出し、平均部６３および混合部６４に供給する。

平均部６３は、境界領域設定部５２から供給された境界情報Ｂ、エッジ識別部６１から供給された輝度特徴量Ｆ、および混合率決定部６２から供給された混合率Ｄに基づいて、ＹＣＣ変換部２４から供給された入力画像に対してフィルタ処理を施し、得られた平滑化画像を混合部６４に供給する。

例えば平均部６３では、入力画像における無彩色の領域と有彩色の領域の境界部分の領域に対しては、他の領域よりもノイズ除去効果が弱められてノイズ除去が行われる。また、例えば平均部６３では、入力画像における輝度特徴量Ｆが大きい領域、つまり輝度が平坦な領域に対しては、他の領域よりもノイズ除去効果が強められてノイズ除去が行われる。

さらに、例えば平均部６３において、入力画像における無彩色の領域に対して、他の領域よりもノイズ除去効果が強められてノイズ除去が行われてもよい。

混合部６４は、混合率決定部６２から供給された混合率Ｄに基づいて、平均部６３から供給された平滑化画像（以下、平滑化画像Ｌとも称する）と、ＹＣＣ変換部２４から供給された入力画像（以下、入力画像Ｈとも称する）とを混合し、得られた撮像画像を出力する。以下、混合部６４から出力される撮像画像を撮像画像Ｍとも称することとする。

〈無彩色の度合いと境界情報について〉
次に、ノイズリダクション部２５において行われるノイズ除去処理で用いられる各情報について、より詳細に説明する。

まず、色判別部５１で得られる無彩色の度合いＣは、入力画像を構成する色差信号Ｃｒおよび色差信号Ｃｂの値により定められる。例えば、ＣｒＣｂ空間の各領域（位置）に対して、予め無彩色らしさの度合いを示す値が対応付けられている。

色判別部５１は、入力画像の各画素について、それらの画素の色差信号Ｃｒおよび色差信号Ｃｂの値により定まる無彩色らしさの度合いを示す値を、それらの各画素の無彩色の度合いＣとして決定する。無彩色の度合いＣの値は、入力画像の対象となる領域が無彩色の領域らしいほど大きくなる。

境界領域設定部５２は、例えば無彩色の度合いＣに基づいて、入力画像における無彩色の領域と有彩色の領域とを分離させ、その境界部分を示す境界情報Ｂを生成する。ここで、境界情報Ｂの値は、無彩色の領域と有彩色の領域との境界位置らしいほど大きくなる。

このような無彩色の度合いＣおよび境界情報Ｂとして、具体的には例えば図４に示す情報が得られる。

なお、図４において図中、横方向は入力画像における画素列方向を示している。

この例では、例えば入力画像ＩＰ１１には大きく分けて５つの色領域ＣＡ１１乃至色領域ＣＡ１５が含まれている。ここで、図４中ａ、ｂ、ｃ、およびｄは、それぞれ色領域ＣＡ１１と色領域ＣＡ１２、色領域ＣＡ１２と色領域ＣＡ１３、色領域ＣＡ１３と色領域ＣＡ１４、および色領域ＣＡ１４と色領域ＣＡ１５の境界位置を示している。

このような入力画像ＩＰ１１について、色判別部５１により無彩色の度合いＣの計算が行われると、例えば矢印Ａ１１に示す結果が得られる。矢印Ａ１１に示す例では、入力画像ＩＰ１１の各領域の濃淡が無彩色の度合いＣを示しており、濃度が薄い領域ほど無彩色の度合いＣが大きいことを示している。

この例では色領域ＣＡ１１、色領域ＣＡ１２、および色領域ＣＡ１４の部分の濃度が濃くなっており、これらの色領域は有彩色らしい領域となっていることが分かる。これに対して、色領域ＣＡ１３の部分の濃度は薄くなっており、色領域ＣＡ１３は無彩色らしい領域となっていることが分かる。また、色領域ＣＡ１５は、図中、右側の領域ほど濃度がより薄くなっており、色領域ＣＡ１５の図中、右側の領域ほど無彩色らしい領域となっていることが分かる。

このような入力画像ＩＰ１１の図中、横方向に並ぶ各画素からなる画素列について、矢印Ａ１１に示す無彩色の度合いＣの計算結果をみると、例えば図中、右側の折れ線ＣＬ１１に示すようになる。なお、折れ線ＣＬ１１に示す無彩色の度合いＣでは、横軸は入力画像ＩＰ１１上の位置を示しており、縦軸は無彩色の度合いＣの値を示している。

折れ線ＣＬ１１に示す例では、色領域ＣＡ１３の部分において無彩色の度合いＣの値が一定の大きな値となっている。また、色領域ＣＡ１５の部分においては、図中、右側の位置ほど無彩色の度合いＣの値が大きくなっており、無彩色の度合いＣの値が線形に変化している。

さらに、このような無彩色の度合いＣからは、例えば矢印Ａ１２に示す境界情報Ｂが得られる。矢印Ａ１２に示す例では、入力画像ＩＰ１１の各領域の濃淡が無彩色の境界らしさを示しており、濃度が薄い領域ほど境界らしさの度合い、すなわち境界情報Ｂの値が大きいことを示している。

この例では、境界ｂ近傍の領域や、境界ｃ近傍の領域、色領域ＣＡ１５の図中、右側の端近傍の領域の部分の濃度が薄くなっており、それらの部分の領域が、無彩色の領域と有彩色の領域との境界部分の領域らしいことが分かる。

このような入力画像ＩＰ１１の図中、横方向に並ぶ各画素からなる画素列について、矢印Ａ１２に示す境界情報Ｂの計算結果をみると、例えば図中、右側の折れ線ＣＬ１２に示すようになる。なお、折れ線ＣＬ１２に示す境界情報Ｂでは、横軸は入力画像ＩＰ１１上の位置を示しており、縦軸は境界情報Ｂの値を示している。

折れ線ＣＬ１２に示す例では、境界ｂ近傍や、境界ｃ近傍において境界情報Ｂの値が一定の大きな値となっている。また、色領域ＣＡ１５の部分においては、図中、右側の位置ほど境界情報Ｂの値が大きくなっており、境界情報Ｂの値が線形に変化している。

〈輝度特徴量について〉
また、エッジ識別部６１では、例えばＹＣＣ変換部２４から供給された入力画像を構成する輝度信号に対してエッジ検波、すなわちラプラシアンフィルタやソーベルフィルタなどのフィルタを用いたフィルタ処理が行われる。そして、フィルタ処理により得られた各領域のエッジ強度の逆数が求められて輝度特徴量Ｆとされる。

なお、より詳細には入力画像上のエッジ強度の強い領域、つまり輪郭部分等の異なる色領域同士の境界部分がより明確になるように、適度に各領域のエッジ強度が整形されてからエッジ強度の逆数が求められる。

このようにエッジ検波を行って輝度特徴量Ｆが求められる場合、例えば図５に示すように入力画像ＩＰ１１に対して、矢印Ａ２１に示す輝度特徴量Ｆが得られる。なお、図５において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図５の矢印Ａ２１に示す例では、入力画像ＩＰ１１の各領域の濃淡がエッジ強度の逆数を示しており、濃度が濃い領域ほどエッジ強度が強い（エッジ強度の逆数が小さい）、すなわち輝度特徴量Ｆの値が小さいことを示している。

この例では、各境界ａ、ｂ、ｃ、ｄの近傍の領域や、色領域ＣＡ１５の図中、中央の領域の部分の濃度が濃くなっており、それらの部分の領域のエッジ強度が強い、つまり輝度の変化が大きい領域であることが分かる。換言すれば、濃度の薄い領域ほど、輝度の変化が少ない平坦な領域であることが分かる。輝度特徴量Ｆはエッジ強度の逆数を示す値であるから、輝度特徴量Ｆの値は入力画像における輝度の平坦さの度合いを示しているということができる。また、各被写体（色領域）の境界部分ほどエッジ強度が強くなるはずであるから、輝度特徴量Ｆは被写体の境界位置を示しているともいうことができる。

このような入力画像ＩＰ１１の図中、横方向に並ぶ各画素からなる画素列について、矢印Ａ２１に示す輝度特徴量Ｆの計算結果をみると、例えば図中、右側の折れ線ＣＬ２１に示すようになる。なお、折れ線ＣＬ２１に示す輝度特徴量Ｆでは、横軸は入力画像ＩＰ１１上の位置を示しており、縦軸は輝度特徴量Ｆの値を示している。

折れ線ＣＬ２１に示す例では、各境界ａ、ｂ、ｃ、ｄの近傍の領域で輝度特徴量Ｆの値が小さい値となっており、色領域ＣＡ１１から色領域ＣＡ１５の左端までの他の領域の部分では、輝度特徴量Ｆが一定の大きな値となっている。また、色領域ＣＡ１５の部分においては、色領域ＣＡ１５の図中、中央部分において、輝度特徴量Ｆの値がある程度小さくなる部分があり、この部分も無彩色と有彩色の領域の境界らしい部分であることが分かる。

〈混合率について〉
さらに、混合率決定部６２では、図４に示した無彩色の度合いＣと、図５に示した輝度特徴量Ｆとから、例えば図６に示す混合率Ｄが算出される。なお、図６において、図４または図５における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

図６の例では、入力画像ＩＰ１１に対して矢印Ａ３１に示す無彩色の度合いＣの計算結果と、矢印Ａ３２に示す輝度特徴量Ｆの計算結果とが得られている。なお、矢印Ａ３１に示す無彩色の度合いＣの計算結果は、図４の矢印Ａ１１に示した計算結果と同じであり、矢印Ａ３２に示す輝度特徴量Ｆの計算結果は、図５の矢印Ａ２１に示した計算結果と同じである。

混合率決定部６２は、入力画像ＩＰ１１の各画素位置について、それらの各画素位置における無彩色の度合いＣの値と輝度特徴量Ｆの値とのうちの最大値を、それらの画素位置における混合率Ｄの値とする。なお、より詳細には、例えば無彩色の度合いＣと輝度特徴量Ｆとは、それぞれ最大値が１となるように正規化される。

このように無彩色の度合いＣと輝度特徴量Ｆのうちの大きい方の値を混合率Ｄとすることで混合率Ｄを算出し、入力画像ＩＰ１１の図中、横方向に並ぶ各画素からなる画素列について混合率Ｄの計算結果をみると、例えば図中、下側の折れ線ＣＬ３１に示すようになる。なお、折れ線ＣＬ３１に示す混合率Ｄでは、横軸は入力画像ＩＰ１１上の位置を示しており、縦軸は混合率Ｄの値を示している。

このようにして得られる混合率Ｄは、互いに異なるフィルタ処理が施された２つの入力画像を混合したり、平滑化画像Ｌと入力画像Ｈを混合したりするときに各画像の寄与率を定めるのに利用される。

なお、ここでは無彩色の度合いＣと輝度特徴量Ｆのうちの最大値を混合率Ｄとする例について説明したが、混合率Ｄはどのようにして求められてもよい。例えば、無彩色の度合いＣと輝度特徴量Ｆを加算したり、無彩色の度合いＣと輝度特徴量Ｆを乗算したり、無彩色の度合いＣと輝度特徴量Ｆのうちの一方の値を選択したりして混合率Ｄを算出するようにしてもよい。

〈平均部の構成例〉
続いて、図３に示した平均部６３のより詳細な構成について説明する。平均部６３は、より詳細には例えば図７に示すように構成される。

図７に示す平均部６３は、接続部９１、縮小部９２、フィルタ処理部９３、拡大部９４、フィルタ処理部９５、および混合部９６を有している。

接続部９１は、ＹＣＣ変換部２４から供給された入力画像を、縮小部９２またはフィルタ処理部９５の少なくとも何れか一方へと供給する。

すなわち、接続部９１は縮小部９２に入力画像を供給するスイッチＳＷ１と、フィルタ処理部９５に入力画像を供給するスイッチＳＷ２を有している。接続部９１は、境界領域設定部５２から供給された境界情報Ｂ、およびエッジ識別部６１から供給された輝度特徴量Ｆに基づいて、スイッチＳＷ１とスイッチＳＷ２の接続を制御し、入力画像の供給を制御する。

縮小部９２は、スイッチＳＷ１から供給された入力画像を縮小させてフィルタ処理部９３に供給する。例えば縮小部９２では、入力画像が1/10のサイズに縮小される。

フィルタ処理部９３は、縮小部９２から供給された入力画像に対して平滑化フィルタを用いたフィルタ処理を施すことで入力画像からノイズを除去し、フィルタ処理が施された入力画像を拡大部９４に供給する。

例えば平滑化フィルタは、入力画像上の処理対象画素を中心とする３画素×３画素の領域内にある画素の画素値をフィルタ係数により重み付き加算することで、フィルタ処理後の処理対象画素の画素値を求めるフィルタとされる。すなわち、３画素×３画素が用いられて処理対象画素の平滑化が行われる。

ここで、画素ごとのフィルタ係数が同じ値とされ、重み付き加算の計算が平均値計算とされるようにしてもよい。

この例では、入力画像が縮小部９２で1/10のサイズに縮小されるので、平滑化フィルタの処理対象となる範囲、つまりフィルタ処理に用いられる領域の範囲は、実質的に30画素×30画素の領域となる。

したがって、この例では縮小部９２で入力画像の縮小を行うことにより、より少ない演算でより強いフィルタ強度のフィルタ処理を入力画像に施すことができる。換言すれば少ない処理時間で、より大きい範囲のノイズ、つまり低周波ノイズを除去することができる。

拡大部９４は、フィルタ処理部９３から供給された入力画像をもとのサイズ、つまり縮小部９２による縮小前の大きさに拡大し、混合部９６に供給する。この例では、入力画像は縮小部９２で1/10のサイズに縮小されるので、拡大部９４は入力画像を10倍のサイズに拡大する。以下、拡大部９４から出力される入力画像を入力画像Ｎとも称することとする。

フィルタ処理部９５は、スイッチＳＷ２から供給された入力画像に対して平滑化フィルタを用いたフィルタ処理を施すことで入力画像からノイズを除去し、フィルタ処理が施された入力画像を混合部９６に供給する。以下、フィルタ処理部９５から出力される入力画像を入力画像Ｏとも称することとする。

例えば、フィルタ処理部９５で用いられる平滑化フィルタは、フィルタ処理部９３で用いられる平滑化フィルタと同じものとされる。

この場合、フィルタ処理部９５では、入力画像上の処理対象画素を中心とする３画素×３画素の領域内にある画素が用いられてフィルタ処理が行われる。そのため、フィルタ処理部９３で行われるフィルタ処理は、フィルタ処理部９５で行われるフィルタ処理と比べて、縮小部９２で入力画像を縮小させている分だけ処理範囲が広い（処理単位が大きい）、つまりフィルタ強度が強くノイズ除去効果が高い処理となる。

混合部９６は、混合率決定部６２から供給された混合率Ｄに基づいて、拡大部９４から供給された入力画像Ｎと、フィルタ処理部９５から供給された入力画像Ｏとを混合し、その結果得られた平滑化画像Ｌを混合部６４に供給する。

このように、平均部６３では、実質的に縮小部９２、フィルタ処理部９３、および拡大部９４により行われるフィルタ処理と、フィルタ処理部９５により行われるフィルタ処理との少なくとも何れか一方の処理が入力画像に対して行われ、平滑化画像Ｌが生成される。

ここで、図８を参照して、接続部９１におけるスイッチＳＷ１とスイッチＳＷ２の接続および切断について説明する。

例えば、接続部９１は、輝度特徴量Ｆと予め定められた閾値Ｔｈ１とを比較するとともに、境界情報Ｂと予め定められた閾値Ｔｈ２とを比較し、それらの比較結果に応じて入力画像の供給先を決定する。

この例では、輝度特徴量Ｆが閾値Ｔｈ１以上であり、かつ境界情報Ｂも閾値Ｔｈ２以上である場合、スイッチＳＷ１が切断された状態、つまりオフされた状態とされ、スイッチＳＷ２が接続された状態、つまりオンされた状態とされる。

ここで、スイッチＳＷ１が切断された状態では、縮小部９２に入力画像が供給されない。また、スイッチＳＷ２が接続された状態では、入力画像がフィルタ処理部９５に供給される。

輝度特徴量Ｆが閾値Ｔｈ１以上である場合、入力画像の処理対象の領域は、輝度がある程度平坦な領域となる。また、境界情報Ｂが閾値Ｔｈ２以上である場合、入力画像の処理対象の領域は、無彩色の領域と有彩色の領域の境界部分らしい領域となる。

このように、輝度が平坦であるものの無彩色と有彩色の境界部分である領域が処理対象の領域となっている場合には、ノイズ除去効果を高く（強く）し過ぎると解像劣化による画質の劣化が目立ってしまう。

そこで、接続部９１では輝度特徴量Ｆが閾値Ｔｈ１以上であり、かつ境界情報Ｂも閾値Ｔｈ２以上である場合には、入力画像がフィルタ処理部９５のみに供給されるようにし、入力画像の画質が劣化しない程度に適度にノイズ除去が行われる。

また、輝度特徴量Ｆが閾値Ｔｈ１以上であり、境界情報Ｂが閾値Ｔｈ２未満である場合、スイッチＳＷ１が接続された状態とされ、スイッチＳＷ２が切断された状態とされる。

ここで、スイッチＳＷ１が接続された状態では、縮小部９２に入力画像が供給され、スイッチＳＷ２が切断された状態では、入力画像はフィルタ処理部９５には供給されない。

輝度特徴量Ｆが閾値Ｔｈ１以上であり、境界情報Ｂが閾値Ｔｈ２未満である場合、入力画像の処理対象の領域は、輝度がある程度平坦な領域であり、かつ有彩色の領域と無彩色の領域との境界部分でもない領域である。

このように輝度が平坦で、かつ有彩色の領域と無彩色の領域との境界部分でもない領域では、ある程度ノイズ除去効果を高め（強め）ても解像劣化による画質の劣化が目立つことはない。逆に、輝度が平坦な部分や無彩色の領域では、色ノイズが目立ちやすい。

そこで、接続部９１では輝度特徴量Ｆが閾値Ｔｈ１以上であり、かつ境界情報Ｂが閾値Ｔｈ２未満である場合には、フィルタ処理部９３でのみノイズ除去が行われるようにする。上述したようにフィルタ処理部９３では、実質的に、入力画像に対して処理単位の大きな平滑化フィルタが適用される。

これにより、処理単位が大きく比較的強いフィルタ強度、つまり比較的高いノイズ除去効果を得ることができるフィルタ処理（ノイズ除去処理）により十分にノイズが除去され、より画質のよい撮像画像を得ることができる。すなわち、撮像画像の視覚特性を向上させることができる。

なお、この場合には、輝度が平坦な有彩色の領域についても比較的ノイズ除去効果の高いノイズ除去処理が行われることになるが、有彩色の領域であっても、境界部分ではなく輝度が平坦であれば解像劣化による画質の劣化はそれほど目立たつことはない。

また、輝度特徴量Ｆが閾値Ｔｈ１未満であり、かつ境界情報Ｂが閾値Ｔｈ２以上である場合、スイッチＳＷ１が切断された状態とされ、スイッチＳＷ２が接続された状態とされる。この場合、入力画像の処理対象の領域は、輝度が平坦な領域ではなく、かつ有彩色の領域と無彩色の領域との境界部分の領域である。

そのため、接続部９１では、入力画像がフィルタ処理部９５のみに供給されるようにし、入力画像の画質が劣化しない程度に適度にノイズ除去が行われる。すなわち、入力画像に対して処理単位の小さな平滑化フィルタが適用される。

さらに、輝度特徴量Ｆが閾値Ｔｈ１未満であり、かつ境界情報Ｂも閾値Ｔｈ２未満である場合、スイッチＳＷ１およびスイッチＳＷ２がともに接続された状態とされる。

この場合、入力画像の処理対象の領域は、輝度が平坦な領域ではないが、有彩色の領域と無彩色の領域との境界部分ではない領域であるので、ある程度ノイズ除去効果を高めても、それほど解像劣化による画質の劣化が目立つことはない。

そこで、接続部９１では、フィルタ処理部９３およびフィルタ処理部９５の両方でノイズ除去が行われるようにし、大幅な解像劣化が生じることなく、かつある程度高いノイズ除去効果が得られるようにする。

このようにフィルタ処理部９３とフィルタ処理部９５の両方でノイズ除去が行われる場合、ノイズ除去効果、つまりフィルタ強度は、フィルタ処理部９３のみでノイズ除去が行われる場合よりは弱く、かつフィルタ処理部９５のみでノイズ除去が行われる場合よりは強いフィルタ強度となる。

以上のようにして入力画像の供給先が１つまたは２つ選択され、入力画像に対してフィルタ処理が行われる。特に、接続部９１では境界情報Ｂと輝度特徴量Ｆという２つの情報に基づいてスイッチの接続を制御するので、フィルタの切り替え、つまりノイズ除去処理の切り替えをなだらかに行うことができる。

図８に示した例では、無彩色の領域と有彩色の領域の境界部分では最もノイズ除去効果が弱められ、無彩色の領域と有彩色の領域の境界部分ではない領域では、輝度が平坦な領域に対してよりノイズ除去効果が強められている。

ところで、入力画像の供給先が１つまたは２つ選択され、入力画像に対してフィルタ処理が行われると、混合部９６には、入力画像Ｎと入力画像Ｏの少なくとも何れか一方が供給されることになる。

混合部９６は、入力画像Ｎと入力画像Ｏの何れか一方が供給された場合には、供給された入力画像をそのまま平滑化画像Ｌとし、後段の混合部６４に供給する。

これに対して混合部９６は、入力画像Ｎと入力画像Ｏの両方が供給された場合、混合率Ｄにより定まる混合係数αおよびβを用いて、入力画像Ｎと入力画像Ｏを混合し、平滑化画像Ｌとする。

例えば混合率Ｄとして、図９の折れ線ＣＬ４１に示すものが供給された場合、混合部９６は、曲線ＣＬ４２に示す混合係数αおよび曲線ＣＬ４３に示す混合係数βを用いて混合処理を行う。

なお、図９において、横軸は入力画像における位置を示しており、縦軸は混合率Ｄ、混合係数α、または混合係数βを示している。また、折れ線ＣＬ４１に示す混合率Ｄは、図６の折れ線ＣＬ３１に示す混合率Ｄと同じものとなっており、図９におけるａ、ｂ、ｃ、ｄも図６における場合と同様に各色領域の境界位置を示している。

図９の例では、入力画像の各位置に対する混合係数αの値は、同じ位置における混合率Ｄの値とほぼ同じ値となっている。但し、各色領域の境界部分では位置方向に対して混合係数αの値が線形に、つまり混合率Ｄの場合よりも値がなだらかに変化するようになされている。また、混合係数βの値は、同じ位置における混合係数αの値に対して、α+β＝１となるように定められている。

そして、混合処理では入力画像Ｎに対して混合係数αが乗算され、入力画像Ｏに対して混合係数βが乗算されて、それらの混合係数が乗算された入力画像が加算（混合）され、平滑化画像Ｌとされる。すなわち、Ｌ＝αＮ+βＯとされる。

この場合、画質劣化が生じやすい無彩色と有彩色の境界部分や、輝度が平坦ではない部分において、平滑化画像Ｌの生成に対する入力画像Ｏの寄与率が高くなるようにされる。つまり、ノイズ除去効果が弱められる。逆に、画質劣化が生じにくく、色ノイズが目立ちやすい輝度平坦部や無彩色の領域などでは、平滑化画像Ｌの生成に対する入力画像Ｎの寄与率が高くなるようにされる。つまり、ノイズ除去効果が強められる。

このように、入力画像の領域の特性に応じて、平滑化画像Ｌの生成に対する入力画像Ｎや入力画像Ｏの寄与率を変化させることで、フィルタ処理部５３全体で行われるノイズ除去処理、つまりフィルタ処理のフィルタ強度（ノイズ除去効果）を領域ごとに適切な強度とすることができる。これにより、十分にノイズが除去された画質のよい平滑化画像Ｌを得ることができるようになる。

また、無彩色の度合いＣと輝度特徴量Ｆにより変化する混合率Ｄに応じて、入力画像Ｎと入力画像Ｏとを混合することで、入力画像上において隣接する、互いに異なるフィルタ強度で処理された領域同士を滑らかに接続することができる。

なお、ここでは図９に示す混合係数αと混合係数βが混合処理に用いられると説明した。しかし、輝度平坦部や無彩色の領域など、ノイズが目立つ領域で入力画像Ｎの寄与率が高くなり、有彩色と無彩色の領域の境界部分など、ノイズ除去により生じる画質劣化が目立ちやすい領域で入力画像Ｏの寄与率が高くなるように混合係数が定められればよい。

したがって例えば、図１０に示す混合係数が用いられるようにしてもよい。なお、図１０において、図９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１０に示す例では、折れ線ＣＬ５１は入力画像の各位置における混合係数αの値を示しており、この例では、入力画像の各位置に対する混合係数αの値は、同じ位置における混合率Ｄの値と同じ値となっている。

これに対して、折れ線ＣＬ５２は入力画像の各位置における混合係数βの値を示しており、混合係数βの値は、同じ位置における混合係数αの値に対してα+β＝１となるように定められている。

また、混合部９６の後段にある混合部６４においても、混合率Ｄに基づいて平滑化画像Ｌと入力画像Ｈの混合が行われる。

この場合においても、混合部９６における場合と同様に混合率Ｄにより定まる混合係数α’および混合係数β’が用いられる。具体的には、混合処理では平滑化画像Ｌに対して混合係数α’が乗算され、入力画像Ｈに対して混合係数β’が乗算されて、それらの混合係数が乗算された画像が加算（混合）され、撮像画像Ｍとされる。すなわち、Ｍ＝α’Ｌ+β’Ｈとされる。

例えば混合係数α’は、図９や図１０に示した混合係数αと同じ値とされ、混合係数β’も、図９や図１０に示した混合係数βと同じ値とされる。したがって、撮像画像Ｍの生成時には、ノイズ除去により生じる画質劣化が目立ちやすい領域では、もとの入力画像Ｈの寄与率が高くなり、逆にノイズが目立つ領域ではノイズ除去が行われた平滑化画像Ｌの寄与率が高くなる。これにより、十分にノイズが除去された画質のよい撮像画像Ｍを得ることができる。

なお、混合係数α’や混合係数β’の値は、混合係数αや混合係数βの値と同じ値であってもよいし、異なる値であってもよい。例えば、混合係数αおよび混合係数βの値が図９に示した値とされ、混合係数α’および混合係数β’の値が、図１０に示した混合係数αおよび混合係数βと同じ値とされてもよい。

〈ノイズ除去処理の説明〉
次に、ノイズリダクション部２５の動作について説明する。

ノイズリダクション部２５は、ＹＣＣ変換部２４から入力画像が供給されるとノイズ除去処理を行って、入力画像からノイズを除去し、得られた撮像画像を出力する。

以下、図１１のフローチャートを参照して、ノイズリダクション部２５によるノイズ除去処理について説明する。なお、図１１を参照して行うノイズ除去処理の説明は、図２を参照して説明したノイズ除去処理に対応するものである。

ステップＳ４１において、色判別部５１は、ＹＣＣ変換部２４から供給された入力画像に基づいて色判別処理を行って、入力画像の各領域における無彩色の度合いＣを算出し、境界領域設定部５２および混合率決定部６２に供給する。これにより、例えば図４に示した無彩色の度合いＣが算出される。

ステップＳ４２において、境界領域設定部５２は、色判別部５１から供給された無彩色の度合いＣに基づいて境界情報Ｂを生成し、接続部９１に供給する。これにより、例えば図４に示した境界情報Ｂが得られる。

ステップＳ４３において、エッジ識別部６１は、ＹＣＣ変換部２４から供給された入力画像に基づいて輝度特徴量Ｆを算出し、接続部９１および混合率決定部６２に供給する。これにより、例えば図５に示した輝度特徴量Ｆが得られる。

ステップＳ４４において、混合率決定部６２は、色判別部５１から供給された無彩色の度合いＣと、エッジ識別部６１から供給された輝度特徴量Ｆとに基づいて混合率Ｄを算出し、混合部９６および混合部６４に供給する。これにより、例えば図６に示した混合率Ｄが算出される。

ステップＳ４５において、平均部６３は平均化処理を行う。なお、平均化処理の詳細は後述するが、平均化処理では境界情報Ｂ、輝度特徴量Ｆ、および混合率Ｄに基づいて、ＹＣＣ変換部２４から供給された入力画像に対してフィルタ処理が施されて平均化（平滑化）が行われ、その結果得られた平滑化画像Ｌが混合部６４に供給される。

ステップＳ４６において、混合部６４は、混合率決定部６２から供給された混合率Ｄに基づいて、平均部６３から供給された平滑化画像Ｌと、ＹＣＣ変換部２４から供給された入力画像Ｈとを混合し、その結果得られた撮像画像Ｍを出力する。

具体的には、混合部６４は、混合率Ｄに基づいて混合係数α’および混合係数β’を決定し、それらの混合係数を用いて平滑化画像Ｌと入力画像Ｈとを混合し、撮像画像Ｍとする。撮像画像Ｍが得られると、ノイズ除去処理は終了する。

以上のようにしてノイズリダクション部２５は、入力画像に対して色判別処理を行うとともに輝度特徴量を算出し、色判別処理の結果と輝度特徴量とに基づいて、適切なフィルタ強度のフィルタ処理を行う。これにより、画質の劣化を抑制しつつ十分にノイズを除去することができ、より画質のよい画像を得ることができる。

〈平均化処理の説明〉
続いて、図１２のフローチャートを参照して、図１１のステップＳ４５の処理に対応する平均化処理について説明する。

ステップＳ７１において、接続部９１は、境界領域設定部５２から供給された境界情報Ｂ、およびエッジ識別部６１から供給された輝度特徴量Ｆに基づいて、入力画像の処理対象となる領域ごとにスイッチＳＷ１およびスイッチＳＷ２の接続制御を行う。

例えば、接続部９１は輝度特徴量Ｆが閾値Ｔｈ１以上であり、かつ境界情報Ｂも閾値Ｔｈ２以上である場合、スイッチＳＷ１が切断され、スイッチＳＷ２が接続された状態とする。また、接続部９１は輝度特徴量Ｆが閾値Ｔｈ１以上であり、境界情報Ｂが閾値Ｔｈ２未満である場合、スイッチＳＷ１が接続され、スイッチＳＷ２が切断された状態とする。

さらに接続部９１は輝度特徴量Ｆが閾値Ｔｈ１未満であり、境界情報Ｂが閾値Ｔｈ２以上である場合、スイッチＳＷ１が切断され、スイッチＳＷ２が接続された状態とする。接続部９１は輝度特徴量Ｆが閾値Ｔｈ１未満であり、境界情報Ｂも閾値Ｔｈ２未満である場合、スイッチＳＷ１およびスイッチＳＷ２がともに接続された状態とする。

これにより、ＹＣＣ変換部２４から接続部９１に供給された入力画像が、スイッチＳＷ１およびスイッチＳＷ２の接続関係に応じて、適宜、縮小部９２またはフィルタ処理部９５の少なくとも何れか一方に供給される。

ステップＳ７２において、縮小部９２は、スイッチＳＷ１から供給された入力画像を縮小させてフィルタ処理部９３に供給する。

ステップＳ７３において、フィルタ処理部９３は、縮小部９２から供給された入力画像に対して平滑化フィルタを用いたフィルタ処理を施して拡大部９４に供給する。

ステップＳ７４において、拡大部９４はフィルタ処理部９３から供給された入力画像をもとのサイズに拡大し、その結果得られた入力画像Ｎを混合部９６に供給する。

なお、これらのステップＳ７２乃至ステップＳ７４の処理は、スイッチＳＷ１が切断されている場合には行われない。また、ステップＳ７２乃至ステップＳ７４では、入力画像の入力画像データのうち、色差信号に対してのみ処理が行われ、輝度信号に対して処理は行われない。

ステップＳ７５において、フィルタ処理部９５は、スイッチＳＷ２から供給された入力画像に対して平滑化フィルタを用いたフィルタ処理を施し、その結果得られた入力画像Ｏを混合部９６に供給する。

なお、ステップＳ７５では、入力画像の入力画像データのうち、色差信号に対してのみフィルタ処理が行われ、輝度信号に対してフィルタ処理は行われない。また、ステップＳ７５の処理は、スイッチＳＷ２が切断されている場合には行われない。

ステップＳ７６において、混合部９６は、混合率決定部６２から供給された混合率Ｄに基づいて、拡大部９４から供給された入力画像Ｎと、フィルタ処理部９５から供給された入力画像Ｏとを混合し、その結果得られた平滑化画像Ｌを混合部６４に供給する。

より詳細には、混合部９６は、入力画像Ｎまたは入力画像Ｏの何れか一方のみが供給された場合、供給されたその入力画像を平滑化画像Ｌとして混合部６４に供給する。

これに対して混合部９６は、入力画像Ｎと入力画像Ｏの両方が供給された場合、混合率Ｄに基づいて混合係数αおよび混合係数βを決定する。そして混合部９６は、決定した混合係数αおよび混合係数βに基づいて入力画像Ｎと入力画像Ｏを混合し、その結果得られた平滑化画像Ｌを混合部６４に供給する。

このようにして平滑化画像Ｌが出力されると平均化処理は終了し、その後、処理は図１１のステップＳ４６へと進む。

以上のようにして平均部６３は、境界情報Ｂや輝度特徴量Ｆに応じて入力画像に対して行われるフィルタ処理や混合比を変化させ、平滑化画像Ｌを生成する。すなわち、入力画像の処理対象の色の特定結果や輝度の平坦さの度合いに応じて、入力画像に対して異なるノイズ除去処理を行う。

これにより、画質の劣化を抑制しつつ十分にノイズを除去することができ、より画質のよい画像を得ることができる。

なお、例えば境界情報Ｂがフィルタ処理部９３に供給され、フィルタ処理部９３を構成する複数のフィルタのうち、どのフィルタが用いられて入力画像に対するフィルタ処理が行われるかが境界情報Ｂ等によって切り替えられるようにしてもよい。

そのような場合、例えばフィルタ処理部９３には、ローパスフィルタ、イプシロンフィルタ、およびバイラテラルフィルタが設けられている。そして、フィルタ処理部９３は、それらの３つのフィルタのうちの任意の個数のフィルタを境界情報Ｂ等に応じて組み合わせて用い、入力画像に対するフィルタ処理を行う。例えば、境界情報Ｂ等に応じて、ローパスフィルタとイプシロンフィルタとが用いられて、入力画像に対するフィルタ処理が行われるなどとされる。

このように境界情報Ｂ等に応じてフィルタの組み合わせを変化させることで、解像劣化が知覚されやすい領域など、入力画像の領域の特性に応じたフィルタ処理を行うことができ、十分にノイズが除去された、より画質のよい画像を得ることができるようになる。

〈第２の実施の形態〉
〈スイッチの接続制御について〉
なお、以上においては、接続部９１におけるスイッチＳＷ１およびスイッチＳＷ２の接続制御が、境界情報Ｂおよび輝度特徴量Ｆに基づいて行われると説明したが、境界情報Ｂまたは輝度特徴量Ｆの何れか一方のみが用いられて接続制御が行われてもよい。

例えば、輝度特徴量Ｆのみが用いられて接続制御が行われる場合、平均部６３の接続部９１は、図１３に示すように接続制御を行う。

すなわち、接続部９１は輝度特徴量Ｆが閾値Ｔｈ１以上である場合、スイッチＳＷ１およびスイッチＳＷ２がともに接続された状態とする。

上述したように輝度特徴量Ｆが閾値Ｔｈ１以上である場合、入力画像の処理対象の領域は、輝度がある程度平坦な領域となるので、色ノイズが目立ちやすく、またある程度ノイズ除去効果を高めても解像劣化による画質の劣化が目立つことはない。

そこで、接続部９１では輝度特徴量Ｆが閾値Ｔｈ１以上である場合には、フィルタ処理部９３およびフィルタ処理部９５でノイズ除去が行われるようにする。これにより、比較的強いフィルタ強度、つまり比較的高いノイズ除去効果を得ることができるフィルタ処理（ノイズ除去処理）により十分にノイズが除去される。その結果、より画質のよい撮像画像を得ることができる。

これに対して、輝度特徴量Ｆが閾値Ｔｈ１未満である場合、接続部９１はスイッチＳＷ１が切断され、スイッチＳＷ２が接続された状態とする。この場合、入力画像の処理対象の領域は、輝度が平坦ではない領域であるので、接続部９１では、入力画像がフィルタ処理部９５のみに供給されるようにし、入力画像の画質が劣化しない程度に適度にノイズ除去が行われる。

〈平均化処理の説明〉
続いて、接続部９１で図１３に示した接続制御が行われる場合に行われる処理について説明する。この場合、ノイズリダクション部２５では、図１１を参照して説明したノイズ除去処理が行われる。但し、この場合、ステップＳ４２の処理は行われない。

また、図１１のステップＳ４５の処理では、例えば図１４に示す平均化処理が行われる。以下、図１４のフローチャートを参照して、図１１のステップＳ４５の処理に対応する平均化処理について説明する。

ステップＳ１０１において、接続部９１は、エッジ識別部６１から供給された輝度特徴量Ｆに基づいて、スイッチＳＷ１およびスイッチＳＷ２の接続制御を行う。

例えば、接続部９１は輝度特徴量Ｆが閾値Ｔｈ１以上である場合、スイッチＳＷ１およびスイッチＳＷ２がともに接続された状態とし、輝度特徴量Ｆが閾値Ｔｈ１未満である場合、スイッチＳＷ１が切断され、スイッチＳＷ２が接続された状態とする。

スイッチの接続制御が行われると、その後、ステップＳ１０２乃至ステップＳ１０５の処理が行われるが、これらの処理は図１２のステップＳ７２乃至ステップＳ７５の処理と同様であるので、その説明は省略する。

但し、輝度特徴量Ｆが閾値Ｔｈ１未満である場合にはスイッチＳＷ１が切断されているので、ステップＳ１０２乃至ステップＳ１０４の処理は行われない。

ステップＳ１０６において、混合部９６は、混合率決定部６２から供給された混合率Ｄに基づいて、拡大部９４から供給された入力画像Ｎと、フィルタ処理部９５から供給された入力画像Ｏとを混合し、その結果得られた平滑化画像Ｌを混合部６４に供給する。

より詳細には、混合部９６は、入力画像Ｏのみが供給された場合には、供給されたその入力画像Ｏを平滑化画像Ｌとして混合部６４に供給する。

これに対して混合部９６は、入力画像Ｎと入力画像Ｏの両方が供給された場合、混合率Ｄに基づいて混合係数αおよび混合係数βを決定する。そして混合部９６は、決定した混合係数αおよび混合係数βに基づいて入力画像Ｎと入力画像Ｏを混合し、その結果得られた平滑化画像Ｌを混合部６４に供給する。

このようにして平滑化画像Ｌが出力されると平均化処理は終了し、その後、処理は図１１のステップＳ４６へと進む。

以上のようにして平均部６３は、輝度特徴量Ｆ等に応じて入力画像に対して行われるフィルタ処理や混合比を変化させ、平滑化画像Ｌを生成する。すなわち、入力画像の処理対象の領域の色の特定結果や輝度の平坦さの度合いに応じて、入力画像に対して異なるノイズ除去処理を行う。

これにより、画質の劣化を抑制しつつ十分にノイズを除去することができ、より画質のよい画像を得ることができる。

〈第３の実施の形態〉
〈ノイズリダクション部の構成例〉
さらに、以上においては、フィルタ処理部５３によりノイズ除去を行う例について説明したが、フィルタ処理部５３に対して他のフィルタ処理部が直列に接続され、多段階のノイズ除去処理が行われるようにしてもよい。

そのような場合、ノイズリダクション部２５は、例えば図１５に示すように構成される。なお、図１５において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１５に示すノイズリダクション部２５は、色判別部５１、境界領域設定部５２、フィルタ処理部５３、色判別部１３１、およびフィルタ処理部１３２を有している。

色判別部１３１は、ＹＣＣ変換部２４から供給された入力画像に基づいて、入力画像の各領域における特定の色の領域らしさの度合いを算出し、フィルタ処理部１３２に供給する。ここで、色判別部１３１で判別対象となる特定の色は、例えば特に他の色の領域との境界部分において、色滲みが知覚されやすい色や解像劣化が知覚されやすい色、具体的には赤色などとされる。

フィルタ処理部１３２は、色判別部１３１から供給された特定の色の領域らしさの度合いに基づいて、混合部６４から供給された撮像画像に対してフィルタ処理を施し、その結果得られた画像を最終的な撮像画像として出力する。

例えば、フィルタ処理部１３２は、入力画像における特定の色の領域と他の色の領域との境界部分の領域に対しては、色滲みや解像劣化による画質の劣化を抑制するために比較的ノイズ除去効果の低いノイズ除去処理（フィルタ処理）が行われるようにする。つまり、特定の色の領域と他の色の領域との境界部分において、ノイズ除去効果が弱められるようにし、特定の色の領域における解像感が保持されるようにする。また、特定の色、例えば赤色の領域において、他の領域よりもノイズ除去効果が弱められるようにしてもよい。

これに対して、フィルタ処理部１３２は、入力画像における特定の色の領域と他の色の領域との境界部分ではない領域に対しては、比較的ノイズ除去効果の高いノイズ除去処理（フィルタ処理）が行われ、十分にノイズが除去されるようにする。なお、特定の色の領域であるか否かに応じてノイズ除去効果が調整されてもよい。

さらに、フィルタ処理部１３２は、入力画像における処理対象の領域が特定の色の領域であるか否かに応じた混合率で、撮像画像Ｍとフィルタ処理により得られた撮像画像とを混合し、最終的な撮像画像としてもよい。この場合、所定の色の領域において、最終的な撮像画像に対する撮像画像Ｍの寄与率を適切に定めることで、画質の劣化を抑制しつつ十分にノイズを除去することができるようになる。

このように、フィルタ処理部５３とフィルタ処理部１３２とを直列に接続し、それぞれのフィルタ処理部において、入力画像の領域に応じたフィルタ処理を行うことで、より画質のよい画像を得ることができる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。

図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本技術は、以下の構成とすることも可能である。

（１）
入力画像から特定色の領域を検出する色判別部と、
前記入力画像の輝度に関する特徴量を算出する特徴量算出部と、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行うノイズ除去部と
を備える画像処理装置。
（２）
前記ノイズ除去部は、前記特定色の領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行う
（１）に記載の画像処理装置。
（３）
前記ノイズ除去部は、前記特定色の領域の境界部分に対して、他の領域における場合よりもノイズ除去効果を弱めて前記ノイズ除去を行う
（１）または（２）に記載の画像処理装置。
（４）
前記特定色は無彩色である
（１）乃至（３）の何れか一項に記載の画像処理装置。
（５）
前記特徴量算出部は、エッジ検波を行うことで前記特徴量を算出する
（１）乃至（４）の何れか一項に記載の画像処理装置。
（６）
前記特徴量算出部は、輝度の平坦さの度合いを前記特徴量として算出する
（１）乃至（５）の何れか一項に記載の画像処理装置。
（７）
前記ノイズ除去部は、前記輝度の平坦さの度合いが閾値以上である領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行う
（６）に記載の画像処理装置。
（８）
前記特定色の領域の検出結果に基づいて、前記特定色の領域の境界らしさを示す境界情報を算出する境界領域設定部をさらに備え、
前記ノイズ除去部は、前記境界情報および前記特徴量に応じて、互いに異なる複数の処理のうちの少なくとも何れかを行うことで前記入力画像に対する前記ノイズ除去を行う
（１）乃至（７）の何れか一項に記載の画像処理装置。
（９）
前記互いに異なる複数の処理は、ノイズ除去に用いられる前記入力画像上の領域の範囲が異なる処理である
（８）に記載の画像処理装置。
（１０）
前記ノイズ除去部は、
前記入力画像を縮小する縮小部と、
前記縮小部により縮小された前記入力画像に対してフィルタ処理を施す第１のフィルタ処理部と、
前記第１のフィルタ処理部によりフィルタ処理された前記入力画像を、前記縮小部による縮小前の大きさに拡大する拡大部と、
前記入力画像に対してフィルタ処理を施す第２のフィルタ処理部と、
前記境界情報および前記特徴量に応じて、前記入力画像を、前記縮小部または前記第２のフィルタ処理部の少なくとも何れか一方に供給する接続部と
を備える
（８）に記載の画像処理装置。
（１１）
前記ノイズ除去部は、前記拡大部による拡大により得られた画像と、前記第２のフィルタ処理部によるフィルタ処理により得られた画像とを、前記特定色の領域の検出結果および前記特徴量により定まる第１の混合係数により混合する第１の混合部をさらに備える
（１０）に記載の画像処理装置。
（１２）
前記ノイズ除去部は、前記第１の混合部による混合で得られた画像と、前記入力画像とを前記特定色の領域の検出結果および前記特徴量により定まる第２の混合係数により混合する第２の混合部をさらに備える
（１１）に記載の画像処理装置。
（１３）
入力画像から特定色の領域を検出し、
前記入力画像の輝度に関する特徴量を算出し、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行う
ステップを含む画像処理方法。
（１４）
入力画像から特定色の領域を検出し、
前記入力画像の輝度に関する特徴量を算出し、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行う
ステップを含む処理をコンピュータに実行させるプログラム。

２５ ノイズリダクション部， ５１ 色判別部， ５２ 境界領域設定部， ５３ フィルタ処理部， ６１ エッジ識別部， ６２ 混合率決定部， ６３ 平均部， ６４ 混合部， ９１ 接続部， ９２ 縮小部， ９３ フィルタ処理部， ９４ 拡大部， ９５ フィルタ処理部， ９６ 混合部

Claims (14)

1. 入力画像から特定色の領域を検出する色判別部と、
   前記入力画像の輝度に関する特徴量を算出する特徴量算出部と、
   前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行うノイズ除去部と
   を備える画像処理装置。
2. 前記ノイズ除去部は、前記特定色の領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行う
   請求項１に記載の画像処理装置。
3. 前記ノイズ除去部は、前記特定色の領域の境界部分に対して、他の領域における場合よりもノイズ除去効果を弱めて前記ノイズ除去を行う
   請求項１に記載の画像処理装置。
4. 前記特定色は無彩色である
   請求項１に記載の画像処理装置。
5. 前記特徴量算出部は、エッジ検波を行うことで前記特徴量を算出する
   請求項１に記載の画像処理装置。
6. 前記特徴量算出部は、輝度の平坦さの度合いを前記特徴量として算出する
   請求項５に記載の画像処理装置。
7. 前記ノイズ除去部は、前記輝度の平坦さの度合いが閾値以上である領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行う
   請求項６に記載の画像処理装置。
8. 前記特定色の領域の検出結果に基づいて、前記特定色の領域の境界らしさを示す境界情報を算出する境界領域設定部をさらに備え、
   前記ノイズ除去部は、前記境界情報および前記特徴量に応じて、互いに異なる複数の処理のうちの少なくとも何れかを行うことで前記入力画像に対する前記ノイズ除去を行う
   請求項１に記載の画像処理装置。
9. 前記互いに異なる複数の処理は、ノイズ除去に用いられる前記入力画像上の領域の範囲が異なる処理である
   請求項８に記載の画像処理装置。
10. 前記ノイズ除去部は、
    前記入力画像を縮小する縮小部と、
    前記縮小部により縮小された前記入力画像に対してフィルタ処理を施す第１のフィルタ処理部と、
    前記第１のフィルタ処理部によりフィルタ処理された前記入力画像を、前記縮小部による縮小前の大きさに拡大する拡大部と、
    前記入力画像に対してフィルタ処理を施す第２のフィルタ処理部と、
    前記境界情報および前記特徴量に応じて、前記入力画像を、前記縮小部または前記第２のフィルタ処理部の少なくとも何れか一方に供給する接続部と
    を備える
    請求項８に記載の画像処理装置。
11. 前記ノイズ除去部は、前記拡大部による拡大により得られた画像と、前記第２のフィルタ処理部によるフィルタ処理により得られた画像とを、前記特定色の領域の検出結果および前記特徴量により定まる第１の混合係数により混合する第１の混合部をさらに備える
    請求項１０に記載の画像処理装置。
12. 前記ノイズ除去部は、前記第１の混合部による混合で得られた画像と、前記入力画像とを前記特定色の領域の検出結果および前記特徴量により定まる第２の混合係数により混合する第２の混合部をさらに備える
    請求項１１に記載の画像処理装置。
13. 入力画像から特定色の領域を検出し、
    前記入力画像の輝度に関する特徴量を算出し、
    前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行う
    ステップを含む画像処理方法。
14. 入力画像から特定色の領域を検出し、
    前記入力画像の輝度に関する特徴量を算出し、
    前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行う
    ステップを含む処理をコンピュータに実行させるプログラム。

Images