JP2010124321A - 動画像ノイズ低減処理装置、動画像ノイズ低減処理プログラム及び動画像ノイズ低減処理方法 - Google Patents

Abstract

【課題】特徴画素に応じてノイズ低減処理を制御可能にして、高品位な画像信号を得る動画像ノイズ低減処理装置、動画像処理プログラム及び動画像ノイズ低減方法を提供する。
【解決手段】取得部２で取得された時系列の画像信号は、空間ノイズ低減部１０６と時間ノイズ低減部１０７によって、それぞれ空間方向及び時間方向のノイズ低減処理がされてノイズ低減制御部６に入力されると共に、特徴画素検出部５により特徴画素が検出され、ノイズ低減制御部６は、特徴画素の有無に応じてノイズ低減された両画像信号の両画素値の混合を制御してノイズ低減の制御を行う。
【選択図】図１Ａ

Description

本発明は、撮像系に起因する画像信号のランダムノイズの低減処理を行う動画像ノイズ低減処理装置、動画像ノイズ低減処理プログラム及び画像処理プログラムに関り、動画像領域のノイズ低減処理を高精度化することでノイズ成分のみを高精度に低減可能とする。

撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータから得られるデジタル化された信号中に含まれるノイズ成分は、固定パターンノイズとランダムノイズに大別できる。
固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。
ランダムノイズに関しては、例えば特開２００５-３０３８０２号公報（特許文献１）に示されるように、ノイズ量をモデル化し、このノイズモデルから定量的に画像信号の画素値に対応するノイズ量を推定する。

このノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。これにより、画素値に対して定量的で適応的にノイズ低減処理が行われることになる。
動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を用いて巡回型のノイズ低減処理がある。例えば、特開２０００-２０９５０７号公報（特許文献２）では前の画像信号との差分処理を行った画素値から帰還係数を制御する方法が開示されている。
差分処理を行った画素値が小さい場合ランダムノイズと判断し、帰還係数を大きくすることでノイズ量の少ない画像信号を、差分処理を行った画素値が大きい場合は動き成分と判断し、帰還係数を小さくすることで残像の少ない画像信号を得ることが可能になる。
特開２００５-３０３８０２号公報 特開２０００-２０９５０７号公報

特開２００５-３０３８０２号公報では、同一フレーム内の注目画素に対して周辺領域の画素の画像信号を用いてフィルタリング処理し、処理後の画像信号を注目画素の代表値としてノイズモデルからノイズ量を推定する。
しかしながら、ノイズ低減効果を高める場合、エッジなど画像の主要な特徴画素部分となる微細な部分がノイズ低減処理により平坦になってしまう欠点がある。
また、特開２０００-２０９５０７号公報では差分処理を行った画素値で制御を行うため計算量が少なく低コスト可能であるが、動き成分とランダムノイズの分離精度が十分できないため高品位な画像信号が得られないという欠点がある。

このため、エッジ等の特徴画素に応じてノイズ低減処理を調整ないしは制御でき、高品位な画像信号が得られる装置等が望まれる。
本発明は上述した点に鑑みてなされたもので、特徴画素に応じてノイズ低減処理を制御可能にして、高品位な画像信号を得る動画像ノイズ低減処理装置、動画像処理プログラム及び動画像ノイズ低減方法を提供することを目的とする。

本発明の動画像ノイズ低減処理装置は、複数の画像信号を時系列的に取得する取得部と、
前記取得された複数の画像信号のうち一の画像信号内の注目画素の画素値と、前記一の画像信号内の注目画素の周囲に位置する周囲画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を空間方向のノイズ低減処理として行う空間ノイズ低減部と、
前記一の画像信号内の注目画素の画素値と、前記一の画像信号とは異なる他の画像信号内の画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を時間方向のノイズ低減処理として行う時間ノイズ低減部と、
前記一の画像信号内に含まれる各画素の特徴量を用いて、前記一の画像信号から目的の特徴を有する特徴画素を検出する特徴画素検出部と、
前記特徴画素検出部による検出結果に基づき、前記注目画素の画素値を制御するノイズ低減制御部と、
を有することを特徴とする。

本発明の動画像ノイズ低減処理プログラムは、複数の画像信号を時系列的に取得する取得ステップと、
前記取得された複数の画像信号のうち一の画像信号内の注目画素の画素値と、前記一の画像信号内の注目画素の周囲に位置する周囲画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を空間方向のノイズ低減処理として行う空間ノイズ低減ステップと、
前記一の画像信号内の注目画素の画素値と、前記一の画像信号とは異なる他の画像信号内の画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を時間方向のノイズ低減処理として行う時間ノイズ低減ステップと、
前記一の画像信号内に含まれる各画素の特徴量を用いて、前記一の画像信号から目的の特徴を有する特徴画素を検出する特徴画素検出ステップと、
前記特徴画素検出ステップによる検出結果に基づき、前記注目画素の画素値を制御するノイズ低減制御ステップと、
をコンピュータに実行させることを特徴とする。

本発明の動画像ノイズ低減処理方法は、複数の画像信号を時系列的に取得する取得ステップと、
前記取得された複数の画像信号のうち一の画像信号内の注目画素の画素値と、前記一の画像信号内の注目画素の周囲に位置する周囲画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を空間方向のノイズ低減処理として行う空間ノイズ低減ステップと、
前記一の画像信号内の注目画素の画素値と、前記一の画像信号とは異なる他の画像信号内の画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を時間方向のノイズ低減処理として行う時間ノイズ低減ステップと、
前記一の画像信号内に含まれる各画素の特徴量を用いて、前記一の画像信号から目的の特徴を有する特徴画素を検出する特徴画素検出ステップと、
前記特徴画素検出ステップによる検出結果に基づき、前記注目画素の画素値を制御するノイズ低減制御ステップと、
を有することを特徴とする。

本発明によれば、特徴画素に応じてノイズ低減処理を制御可能とし、高品位な画像信号を得ることが可能になる。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１Ａから図１１は本発明の第１の実施形態に係り、図１Ａは、本発明のの動画像ノイズ低減処理装置の請求項に関係する基本的な構成を示し、図１Ｂは、図１Ａのノイズ低減制御部による混合率の制御内容を示し、図１Ｃは、動画像ノイズ低減処理方法の処理手順を示し、図１Ｄは、図１Ａのノイズ低減制御部が注目画素を単数と複数に設定した場合におけるそれぞれの画素値を制御することを示し、図１Ｅは、図１Ａの時間ノイズ量検出部の構成を示し、図１Ｆは図１Ｅの代表値推定部による平均値算出の処理内容を示す。

図１Ｇは、本発明の第１の実施形態例の構成を示し、図２は、第１の実施形態例の空間ノイズ低減部の構成を示し、図３は、第１の実施形態例の時間ノイズ低減部の構成を示し、図４は、第１の実施形態の時間ノイズ検出部の構成を示し、図５は、画素値に対する時間ノイズ量の関係を示す。
図６は、簡略化したノイズモデルを示し、図７は、ノイズ量の補間処理の様子を示し、図８は、第１の実施形態のノイズ低減調整部の構成を示し、図９は、エッジ検出用の微分フィルタを示し、図１０は、第１の実施形態の動画像ノイズ低減処理プログラムのフローチャートを示し、図１１は、第１の実施形態のノイズ低減調整部の動画像ノイズ低減処理プログラム部分のフローチャートを示す。

[構成]
まず、図１Ａを参照して本発明の請求項１等に係る動画像ノイズ低減処理装置１の構成及びその作用を説明する。
この動画像ノイズ低減処理装置１は、複数の画像信号を時系列に取得する取得部２と、取得された複数の画像信号のうち一の画像信号内の注目画素とその周囲の周囲画素を用いてノイズ低減処理を行う空間ノイズ低減部１０６と、一の画像信号内の注目画素と他の画像信号内の画素とを用いてノイズ低減処理を行う時間ノイズ低減部４とを有する。

また、この動画像ノイズ低減処理装置１は、一の画像信号内に含まれる各画素の特徴量を用いて、一の画像信号から目的の特徴を有する特徴画素を検出する特徴画素検出部５と、この特徴画素検出部５の検出結果に基づき、前記空間ノイズ低減部１０６と時間ノイズ低減部１０７との両ノイズ低減処理を制御することにより、両ノイズ低減処理を用いて生成される注目画素のノイズを低減する制御を行うノイズ低減制御部６とを有する。

この構成により、ノイズ低減制御部６は、特徴画素検出部５の検出結果、つまり検出された特徴画素に応じて、前記空間ノイズ低減部１０６と時間ノイズ低減部１０７との両ノイズ低減処理を制御することが可能となり、一方のみでノイズ低減を行う場合よりも、高品位の画像信号を得ることが可能となるようにしている。
このノイズ低減制御部６は、第１の実施形態においては図８に示すノイズ低減調整部１０８内のノイズ低減実行部５０２により構成される。
なお、この動画像ノイズ低減処理装置１によりノイズ低減処理される処理対象画素となる注目画素としては、画像信号における全領域の各画素としても良いし、画像信号における一部の領域内のみの画素を注目画素としても良い。

図１Ａに示すように取得部２は、複数のフレーム（フィールドでも良い）の画像信号を時系列に取得する。この場合、取得部２は、後述する動画像撮像部（又は動画像生成部）９８により生成される動画像の画像信号を時系列に取得する。
この取得部２により取得された複数の画像信号は、順次、空間ノイズ低減部１０６、時間ノイズ低減部１０７及び特徴画素検出部５に入力される。
空間ノイズ低減部１０６は、入力される各フレーム、つまり一の画像信号それぞれに対して、図１Ａに示すようにその一の画像信号内における処理対象画素の注目画素の画素値と、同じ画像信号内の前記注目画素の周囲に位置する周囲画素の画素値とを用いて、前記注目画素に対するノイズ低減処理を空間方向のノイズ低減処理として行う。

具体的には、注目画素に対して、その注目画素を中心に含むようにその周囲の周囲画素を例えば３×３、５×５等の画素サイズに設定し、それらの画素値の平均値をその注目画素の代表値とし、その代表値の注目画素に対して空間方向でのノイズ低減処理を行う。
なお、図１Ａにおいて、画像信号における空間位置は、ｘ、ｙ座標で指定することができる。また、時間の経過方向をｔで示している。
上記のように周囲画素を用いて注目画素の代表値とすることにより、各１つの注目画素にランダムノイズが混入したような場合においても、その注目画素の特徴に近い複数の周囲画素を用いた平均値等の代表値によりその影響を低減、つまり空間方向でのノイズ低減をすることができる。

また、その代表値で表される注目画素に対して空間方向でのノイズ低減処理を行う場合には、一の画像信号内の画素が有する画素値と、その画素が有すべき（又は画素値に応じて設定された）ノイズ量との対応関係を示したノイズモデルを空間ノイズモデルとして予め設定する。
そして、その画像信号内の注目画素に対して、そのノイズ量を空間ノイズ量として空間ノイズ量検出部２０１により検出する。
なお、空間ノイズモデルは、一の画像信号内の画素の画素値と対応するノイズ量との関係を表すデータであり、そのデータは予めＲＯＭ等に記憶している。そして、空間ノイズ量検出部２０１は、そのデータを用いることにより、処理対象となる注目画素の代表値の場合のノイズ量を検出することが可能となる。

後述する具体例としては、空間ノイズモデルとして、画素値（レベル）とノイズ量との関係を折れ線で近似し、任意の画素値の場合のノイズ量を補間等により算出する。また、ノイズ量としては、ゲイン、温度等の値に応じてノイズモデルが設定される。
この空間ノイズ低減部１０６により、ノイズ低減処理された画像信号は、ノイズ低減制御部６に入力される。
上記のように空間ノイズ低減部１０６は、注目画素に対するノイズ低減処理を行う場合、（時間的に同一と見なされる）各画像信号内におけるその注目画素の近傍の周囲に位置し、空間方向の位置が異なる周囲画素（の画素値）を用いて空間方向のノイズ低減処理を行うようにする。

これに対して、時間ノイズ低減部１０７は、空間ノイズ低減部１０６によりノイズ低減処理される処理対象フレームとしての一の画像信号における処理対象画素となる注目画素の画素値に対して、この注目画素の画素値と、このフレームとは少なくとも異なる（つまり異なる時間で取得された過去の画像信号としての）他の画像信号内における、前記処理対象画素となる注目画素に対応する画素の画素値とを用いて、前記注目画素に対するノイズ低減処理を時間方向のノイズ低減処理として行う。
この時間ノイズ低減部１０７は、注目画素に対するノイズ低減処理を行う場合、時間的に異なる画像信号内における注目画素に対応する画素（の画素値）を用いて時間方向のノイズ低減処理を行う。

この時間方向のノイズ低減処理を行う場合には、注目画素の画素に対応する画素としては、例えば注目画素と（過去の画像信号内における）同一位置の画素を設定し、注目画素の画素値とその画素の画素値との類似度（又は相関量）を判定する。
類似度の判定を行う場合、両画素値の差分値の絶対値が閾値を超えるか否かにより、類似度が高いか否かを判定する。
そして、類似度が高いと判定した場合には、両画素値の平均値を、その注目画素の代表値とし、類似度が低い場合には、注目画素の画素値を代表値又は平均値とする。

このようにして算出した代表値に対して、時間ノイズモデルを用いて、空間ノイズモデルの場合と同様にノイズ低減処理を、時間方向のノイズ低減処理として行う。
この時間ノイズ低減部１０７により、ノイズ低減処理された画像信号は、ノイズ低減制御部６に入力される。
特徴画素検出部５は、処理対象フレームとしての一の画像信号に含まれる各画素が有する特徴量に対して、その一の画像信号から目的とする特徴（つまり、目的の特徴）を有する特徴画素を検出する。
各画素又は注目画素が有する特徴量としては、エッジのように画素値が変化する形状的な属性を持つものと、色相などの色情報の属性を持つもの、また色情報が変化するもの等がある。また、これらの特徴量が混在した場合もある。

また、目的の特徴は、例えばエッジ成分であり、第１の実施形態においては特徴画素としてこのエッジ成分を含む領域を検出するエッジ検出部５０１によって特徴画素検出部５が構成される。特徴画素検出部５は、後述する図９に示すフィルタを用いてその特徴画素としてのエッジ成分を検出する。
また、特徴画素検出部５は、第２の実施形態にて説明するように処理対象となる一の画像信号を周波数空間に変換することによって得た周波数信号の周波数成分を、その画素の特徴量として取得する周波数成分取得部５Ａを備える。
また、特徴画素検出部５は、取得された周波数成分に対して、ローパスフィルタ、ハイバスフィルタ及びバンドパスフィルタの少なくとも１つを適用するフィルタ適用部５Ｂを備え、フィルタが適用された後の周波数成分を用いて、前記特徴画素を検出する（後述の第２の実施形態）。

この場合には特徴画素が特定の周波数成分を有している、ないしは分布しているような場合、その特徴画素の特徴量をその周波数成分を利用して分離抽出し易い。 前記特徴画素検出部５は、画素が有する特徴量としての色情報を用いて、前記特徴画素を検出する場合にも適用できる。第２の実施形態における色相検出部５１３がこれに該当する。
色情報として例えば特定の色相又は色相範囲を検出し、その検出結果により、エッジ等の特徴画素を検出、又は検出に利用する。この場合には、画像又はその画素が有する特徴量として色情報を備えている場合、その特徴量を有効に検出できる。図１Ａに示すようにノイズ低減制御部６は、混合率設定部６Ａと、画像混合処理部６Ｂとを備える。
混合率設定部６Ａは、空間ノイズ低減部１０６による空間方向のノイズ低減後の画素の画素値と、時間ノイズ低減部１０７による時間方向のノイズ低減後の（前記空間方向の画素に対応する）画素の画素値との混合割合を設定する。
また、画像混合処理部６Ｂは、混合率設定部６Ａにより設定された混合率が示す混合割合に基づいて、空間方向のノイズ低減後の画素の画素値と時間方向のノイズ低減後の（前記空間方向の画素に対応する）画素の画素値とを混合することにより、注目画素の画素値を制御する。

また、ノイズ低減制御部６はさらに、前記注目画素が前記特徴画素であるか否かに応じて、前記混合率を制御（調整）する。
このように混合割合に基づいて空間方向のノイズ低減後の画素の画素値と時間方向のノイズ低減後の画素の画素値とを混合することにより、注目画素の画素値を制御することによって、より詳細に注目画素の画素値を制御することが可能となる。
この場合の具体例として、図１Ｂのような処理を行うようにしても良い。Step４１において特徴量検出部５は、エッジ成分等の特徴画素を検出し、ノイズ低減制御部６に出力する。次のStep４２においてノイズ低減制御部６の画像混合処理部６Ｂは、混合率設定部６Ａにより特徴画素の有無に応じて設定される混合率により、空間方向のノイズ低減後の画素の画素値と時間方向のノイズ低減後の画素の画素値とを混合することにより、注目画素の画素値を制御する。
この場合、混合率設定部６Ａは、Step４３において注目画素が特徴画素であるか否かを判断する。そして、注目画素が特徴画素である場合には、Step４４に示すように時間方向のノイズ低減後の画素の画素値に対する混合割合を、空間方向のノイズ低減後の画素の画素値に対する混合割合よりも相対的に大きくした混合率を設定する。

この場合の具体例として、例えば、時間方向のノイズ低減後の画素の画素値の混合割合を８０％、空間方向のノイズ低減後の画素の画素値の混合割合を２０％に設定しても良い。
そして、この混合割合で、Step４６に示すように画像混合処理部６Ｂは、混合を行い、ノイズ低減を行う。
これにより、個々の特徴画素の特徴量を保持する割合を大きく、かつ空間方向に周囲の画素で平均化してノイズを低減する割合を小さくすることになり、細かい特徴量を維持してノイズを低減できる。
一方、Step４５に示すように、注目画素が特徴画素でない場合、空間方向のノイズ低減後の画素の画素値に対する混合割合を、時間方向のノイズ低減後の画素の画素値に対する混合割合よりも相対的に大きくした混合率を設定する。

この場合の具体例として、例えば、時間方向のノイズ低減後の画素の画素値の混合割合を２０％、空間方向のノイズ低減後の画素の画素値の混合割合を８０％に設定しても良い。 そして、この混合割合で、Step４６に示すように画像混合処理部６Ｂは、混合を行い、ノイズ低減を行う。
これにより、注目画素が特徴画素でないため、その特徴量に含まれるノイズを低減する場合、空間方向で周囲画素との平均化して、ノイズを除去する割合を大きくすることにより、十分にノイズを除去して、ノイズ低減化することができる。このように、混合割合に応じて、ノイズ低減の機能を詳細に調整でき、高品位の画像信号を取得できる。
また、請求項１９の動画像ノイズ低減処理方法は、図１Ｃのようになる。

例えば、図１Ａに示す取得部２は、図１ＣのStep５１に示すように複数のフレーム（フィールドでも良い）の画像信号を時系列に取得する。
取得された複数の画像信号に対して、例えば、図１Ａに示す空間ノイズ低減部１０６は、Step５２に示すように空間ノイズ低減の処理を行う。このStep５２において入力される各フレーム、つまり一の画像信号それぞれに対して、図１Ａに示すようにその一の画像信号内における処理対象の注目画素の画素値と、同じ画像信号内の前記注目画素の周囲に位置する周囲画素の画素値とを用いて、前記注目画素に対するノイズ低減処理が空間方向のノイズ低減処理として行われる。

また、例えば、図１Ａに示す時間ノイズ低減部１０７は、Step５３に示すように時間ノイズ低減の処理を行う。
Step５３においては、上記Step５１で取得された一の画像信号における注目画素の画素値に対して、異なる時間で取得された他の画像信号内における、前記注目画素に対応する画素の画素値とを用いて、前記注目画素に対するノイズ低減処理を時間方向のノイズ低減処理として行われる。
また、例えば、図１Ａに示す特徴画素検出部５は、Step５４に示すように特徴画素を検出する特徴画素検出の処理を行う。
Step５４においては、上記Step５１で取得された一の画像信号に含まれる各画素に対して、その一の画像信号から目的の特徴を有する特徴画素を検出する特徴画素検出の処理を行う。

次のStep５５において、例えば図１Ａに示すノイズ低減制御部６は、ノイズ低減制御の処理を行う。
このStep５５においては、前のStep５４による特徴画素検出の結果に基づき、前記注目画素の画素値を制御することによって、注目画素のノイズ低減制御の処理が行われる。
図１Ｃにおいては、主に図１Ａの構成要素を用いて、動画像ノイズ低減処理方法を説明したが、後述する実施形態で説明するように、ソフトウェアを用いて、図１Ｃの動画像ノイズ低減方法を実現しても良い。なお、後述する図１０、図１１においては、特徴画素をエッジとした場合の具体例を説明している。

また、図１Ａのノイズ低減制御部６が行うノイズ低減処理を行う場合、図１Ｄに示すように注目画素を、一つの画像信号内における単数の画素それぞれに設定した場合と、複数の画素それぞれに設定した場合とから選択して行うことができるようにしても良い。
最初のStep６１において、ノイズ低減制御部６は、注目画素を単数の画素にするか複数の画素に設定するかのパラメータＰを読み込む。なお、このパラメータＰが設定されていない場合には、ユーザが設定する。
次のStep６２においてノイズ低減制御部６は、パラメータＰが単数の画素のパラメータ値Ｐ１であるか否かの判定を行う。

パラメータＰが単数の画素のパラメータ値Ｐ１である場合には、Step６３に示すようにノイズ低減制御部６は、注目画素を単数の画素に設定して、一つの画像信号内における例えば最初の画素から最後の画素までに対して、注目画素に設定してその画素値を特徴画素検出結果に基づき制御する。
一方、Step６２の判定処理において、パラメータＰがＰ１でない場合には、Step６４に示すようにノイズ低減制御部６は、注目画素を複数の画素に設定して、一つの画像信号内における例えば最初の複数画素から最後の複数画素までに対して、（複数画素からなる）注目画素の画素値を特徴画素検出結果に基づき制御する。そして、図１Ｄの処理を終了する。

注目画素を単数にした場合には、単数の画素それぞれで詳細にノイズ低減を行うことができる。一方、注目画素を複数にした場合には、画像信号における複数画素の画素値の関係や、構造を保持してノイズ低減を行うことができる。
なお、図１ＤのStep６３，６４においては、注目画素を一つの画像信号内における最初の（複数）画素から最後の（複数）画素までに設定した場合で説明したが、ユーザが注目画素とする領域を指定し、指定された領域内でStep６３，６４の処理を行うようにしても良い。

このため、ユーザが注目画素とする領域を指定する注目画素領域指定部を設け、この注目画素領域指定部により指定された領域内でStep６３，６４の処理を行うようにしても良い。このように注目画素領域指定部により指定された領域内のみでノイズ低減を行うようにした場合には、処理量を低減できる。
また、請求項１８の動画像ノイズ低減処理プログラムは、図１Ｃの動画像ノイズ低減処理方法のソフトウェアをコンピュータに実行させることにより実現できる。

また、図１Ａに示すように空間ノイズ低減部１０６は、上記空間ノイズモデルを用いて注目画素のノイズ量を検出する空間ノイズ量検出部２０１と、この空間ノイズ量検出部２０１により検出されたノイズ量を用いて、前記注目画素のノイズ除去を行う空間ノイズ除去処理部２０２とを有する。
そして、空間ノイズ低減部１０６は、この空間ノイズ除去処理部２０２によるノイズ除去処理を行うことによって、空間方向のノイズ低減処理を行う。また、図１Ａに示すように時間ノイズ低減部１０７は、上記時間ノイズモデルを用いて注目画素のノイズ量を検出する時間ノイズ量検出部３０１と、この時間ノイズ量検出部３０１により検出されたノイズ量を用いて、前記注目画素のノイズ除去を行う時間ノイズ除去処理部３０２とを有する。
そして、時間ノイズ低減部１０７は、この時間ノイズ除去処理部３０２によるノイズ除去処理を行うことによって、時間方向のノイズ低減処理を行う。

図１Ｅは、図１Ａの時間ノイズ量検出部３０１の構成を示す。

この時間ノイズ量検出部３０１は、画像信号内の注目画素の画素値に応じた値の代表値を推定又は算出する代表値推定部３０４と、前記画像信号の取得（の用）に供した撮像素子の温度、及び前記画像信号に対するゲインに関する情報を収集する収集部３０５と、代表値推定部３０４により推定された代表値及び収集部３０５からの情報を用いて、（時間）ノイズモデルに基づき前記注目画素のノイズ量を算出する時間ノイズ量算出部３０１６と、を有する。
上記代表値推定部３０４には、取得部２を構成するバッファー部１０５からの画像信号と、過去バッファー部１０９とから前記画像信号とは異なる過去の画像信号とが入力される。そして、この代表値推定部３０４は、両画像信号から注目画素の画素値に応じた代表値を推定して、時間ノイズ量算出部３０６に出力する。

時間ノイズ量算出部３０６は、ノイズ量を算出し、その算出したノイズ量を、時間ノイズ除去処理部３０２に出力する。
また、上記代表値推定部３０４は、一の画像信号内の注目画素の画素値と、前記一の画像信号とは異なる他の画像信号内の画素の画素値とを平均した平均値を前記代表値として算出する平均値算出部４０２を有する。
なお、図１Ｅに示すように時間ノイズ量算出部３０６内に、一の画像信号とこの画像信号とは異なる他の画像信号間における動き成分を検出する動き成分検出部３０７を設け、この動き成分検出部３０７により検出した動き成分の値の大きさを、ノイズ低減制御部６内の混合率設定部６Ａに出力するようにしても良い。図１Ｅの図示例においては、代表値推定部３０４内に動き成分検出部３０７を設けている。

そして、混合率設定部６Ａは、画像混合処理部６Ｂによる空間方向のノイズ低減処理後の画像信号と時間方向のノイズ低減処理後の画像信号とを混合する場合の混合率を、上記動き成分の値の大きさに応じて設定することができるようにしている。
この場合には、動き成分の値の大きさ応じて混合率を設定できる。具体的には、動き成分の値が大きいと目標とする特徴がつぶれやすくなる影響を受けるため、空間ノイズ低減処理後の画像信号を優先して選択又はその混合率の割合を大きくすることにより、高品位の画像信号を得ることができる。

なお、図１Ｅにおいては、動き成分検出部３０７は、一の画像信号とこの画像信号とは異なる他の画像信号とにおける動き成分を検出する構成例で示しているが、空間方向のノイズ低減処理後の画像信号と、時間方向のノイズ低減処理後の画像信号間で動き成分を検出するようにしても良い。
さらに、時間ノイズ量検出部３０１内、例えば図１Ｅに示す代表値推定部３０４内に一の画像信号とこの画像信号とは異なる他の画像信号とにおける類似度を検出する類似度検出部４０１を設けるようにしても良い。
そして、代表値推定部３０４は、図１Ｆに示すようにして一の画像信号内の注目画素と、この画像信号とは異なる他の画像信号内の画素の画素値とから代表値としての平均値を算出するようにしても良い。

また、類似度を検出する構成の場合、類似度検出結果に応じて、代表値としての平均値を推定するようにしても良い。類似度検出部４０１は、Step７１に示すように一の画像信号内の注目画素と、この画像信号とは異なる他の画像信号内における前記注目画素と同一位置の画素を対応画素として設定し、注目画素と対応画素との両画素値の類似度を検出する。
この場合、類似度を検出するために類似度検出部４０１は、例えば両画素値の差分値を算出する。そして、類似度検出部４０１は、その差分値が所定の閾値以下に収まるか否かにより類似度の程度（大きさ）を判定する。
類似度検出部４０１は、Step７２においてこの差分値が所定の閾値以下に収まるか否か判定する。この判定結果を代表値推定部３０４に送る。代表値推定部３０４は、この判定結果に該当する場合にはStep７３において、両画素値を平均した値を代表値として算出する。

つまり、この場合には、代表値推定部３０４は、一の画像信号内の注目画素の画素値と、この一の画像信号とは異なる他の画像信号内の画素の画素値とを平均した平均値を代表値として算出する平均値算出部４０２を形成する。このように両画素値の類似度が高いので、その平均値を代表値とすることにより、その平均値がより信頼性のある代表値とすることができる。
一方、Step７２において所定の閾値以下に収まらない場合には、Step７４に示すように対応画素の位置の近傍の周囲に配置された画素を対応画素に設定して、注目画素とで同様に類似度、例えば差分値を検出する。このStep７４の処理後に、Step７５に進む。
Step７５において類似度検出部４０１は、Step７２の場合と同様に差分値が所定の閾値以下に収まるか否か判定する。この判定結果を代表値推定部３０４に送る。代表値推定部３０４は、この判定結果に該当する場合にはStep７６において、両画素値を平均した値を代表値として算出する。

このため、Step７２は、注目画素と、同一位置の対応画素とで平均値を算出することを優先して行い、同一位置の対応画素で類似度が検出できない場合には、略同一位置と見なすことができる画素の場合にも、同様の処理を行い、Step７２と同じの条件を満たせば、その画素を選択して、それらの平均値を代表値にする。
このように、注目画素と同一位置の対応画素との差分値が、所定の閾値以内に収まる場合はもとより、略同一位置と見なすことができる周囲の画素との差分値が、所定の閾値以内に収まる場合にも、その画素を選択して、平均値を代表値とする。そして、信頼性の高い代表値としての平均値を算出することができるようにしている。

一方、Step７５において差分値が閾値以下に収まらない場合には、Step７７において代表値推定部３０４は、注目画素の画素値を平均値に設定して、代表値を推定する処理を終了する。
次に本発明の第１の実施形態の構成を説明する。
なお、以下の実施形態においては、特徴画素としてエッジ成分を抽出する例で説明する。また、以下の実施形態においては特徴画素としてのエッジを含むエッジ領域と、エッジを含まない領域とを分離して検出し、それらの両領域に応じてノイズ低減する場合の注目画素の画素値を制御するようにしている。

このような領域を検出する手段自体が動画像ノイズ低減処理装置１としての構成に不可欠となるものでなく、上述したように特徴画素としてのエッジの有無によりノイズ低減する場合の注目画素の画素値を制御するようにしても良い。
図１Ｇに示すように動画像を生成して表示装置等に出力する動画像撮像装置９７は、撮像により動画像を生成する動画像撮像部（或いは動画像生成部）９８と、この動画像撮像部９８により生成された動画像の画像信号、つまり時系列の画像信号に対して、ノイズを低減した画像処理を行う（動画像ノイズ低減処理装置としての）動画像ノイズ低減処理部９９とから構成される。

動画像撮像部９８は、絞り１０１を備えたレンズ系１００を有し、このレンズ系１００の結像位置には、撮像素子としての電荷結合素子（ＣＣＤと略記）１０２が配置されている。
レンズ系１００により被写体の光学像が、ＣＣＤ１０２の撮像面に結ばれ、ＣＣＤ１０２は、その光学像を光電変換する。この動画像撮像部９８は、図示しないＣＣＤ駆動部を備え、このＣＣＤ駆動部は、ＣＣＤ１０２にＣＣＤ駆動信号を印加する。そして、このＣＣＤ駆動信号の印加により、ＣＣＤ１０２は、時系列に光電変換した撮像信号を画像信号として（時系列に）出力する。

なお、ＣＣＤ１０２には、このＣＣＤ１０２の温度を検出する温度センサー部１１４が取り付けられている。
ＣＣＤ１０２から出力される時系列の画像信号は、アンプ１０３により所定のゲイン（Gain）で増幅された後、図示しない相関二重サンプリング回路（以下、ＣＤＳ回路と略記）等を経てＡ／Ｄ変換器１０４に入力される。この場合、ＣＤＳ回路を通した後、アンプ１０３で増幅する構成にしても良い。また、アンプ１０３がＣＤＳ回路を、或いはＣＤＳ回路がアンプ１０３を備えた構成でも良い。
このＡ／Ｄ変換器１０４によって、アナログの画像信号はデジタルの画像信号へ変換された後、動画像ノイズ低減処理部９９を構成するバッファー部１０５に入力され、一時蓄積される。このバッファー部１０５は、時系列の画像信号を取得する図１Ａの取得部２を形成する。また、過去の画像信号を一次蓄積する過去バッファー部１０９も、取得部２を形成する。

なお、図１Ｇにおいて、動画像ノイズ低減処理部９９が、Ａ／Ｄ変換器１０４を含むような構成にしても良い。また、図１Ｇに示した構成例の場合に限定されるものでない。
バッファー部１０５は、画像信号に対して空間方向でノイズ低減処理、つまり空間ノイズ低減処理を行う空間ノイズ低減部１０６と、時間方向でノイズ低減処理、つまり時間ノイズ低減処理を行う時間ノイズ低減部１０７及び図１Ａのノイズ低減制御部６を構成するノイズ低減調整部１０８（内の図８に示すエッジ検出部５０）と接続されている。

なお、このノイズ低減調整部１０８は、図１Ａの特徴画素検出部５の１つの実施形態例として後述する図８に示すエッジ検出部５０１を含む。換言すると、第１の実施形態のノイズ低減調整部１０８は、図１Ａのノイズ低減制御部６と、特徴画素検出部５とを含む構成である。
空間ノイズ低減部１０６による空間ノイズ低減処理後の画像信号は、ノイズ低減調整部１０８にも入力される。
ノイズ低減調整部１０８は、バッファー部１０５に格納（保存）された画像信号に対して、フレーム内の特徴画素をエッジとした所定領域としてのエッジを含む領域を検出し、検出されたエッジ領域とそれ以外の領域を分離する。さらに、ノイズ低減調整部１０８は、これらの領域に応じて、時間ノイズ低減処理後の画像信号及び空間ノイズ低減処理後の画像信号を混合してノイズ低減処理を行う。ノイズ低減調整部１０８の出力信号は、過去バッファー部１０９に一時蓄積されると共に、出力部１１０に出力される。

また、過去バッファー部１０９に一時蓄積された画像信号は、時間ノイズ低減部１０７と接続され、時間ノイズ低減部１０７により参照される。
空間ノイズ低減部１０６及び時間ノイズ低減部１０７は、ＲＯＭ１１１と接続され、空間ノイズ低減部１０６及び時間ノイズ低減部１０７は、このＲＯＭ１１１に格納されているノイズモデル等の情報を用いてノイズ低減処理を行う。このＲＯＭ１１１には、空間ノイズモデルと時間ノイズモデルとの両ノイズモデルを格納したノイズモデル格納領域１１１Ａを内蔵する。
また、ＣＣＤ１０２の温度を検出する温度センサー部１４は、撮像素子の温度の情報を収集する収集部３０５（図１Ｅ参照）を形成するＲＡＭ１１５と接続され、このＲＡＭ１１５は時間ノイズ低減部１０７と接続されている。

制御部１１２は、アンプ１０３、Ａ／Ｄ変換器１０４、バッファー部１０５、空間ノイズ低減部１０６、時間ノイズ低減部１０７、ノイズ低減調整部１０８、過去バッファー部１０９、出力部１１０、ＲＯＭ１１１、外部I/F部１１３及び温度センサー部１１４と双方向に接続され、主に各部の動作に対する制御を行う。
次に本実施形態の作用を説明する。なお、図１Ｇ以降の実施形態のブロック図において、明確化のため、画像信号とその他の信号とを太い実線及び細線により示し、制御信号を点線で示す。

なお、図１Ｇにおける動画像ノイズ低減処理部９９を構成する例えば空間ノイズ低減部１０６等、動画像ノイズ低減処理部９９を構成する複数の構成要素の１つ或いは複数をソフトウェアを用いて構成しても良い。
ソフトウェアを用いて構成する場合には例えば図１Ｇにおける制御部１１２内の記録媒体等に、その動作を行う動画像ノイズ低減処理プログラム１１２Ａを格納するようにしても良い。そして、制御部１１２を構成するＣＰＵがその動画像ノイズ低減処理プログラム１１２Ａを読み込み、その動画像ノイズ低減処理プログラム１１２Ａに従って対応する構成要素の動作をソフトウェアで行うようにしても良い。

なお、後述するように制御部１１２の外部のコンピュータ等が動画像ノイズ低減処理プログラム１１２Ａを読み込み、そのソフトウェアを実行することにより動画像ノイズ低減処理を行うようにしても良い。
[作用]
図１Ｇにおいて、画像信号の流れを説明する。外部I/F部１１３を介して録画ボタンが押されると、レンズ系１００、絞り１０１、ＣＣＤ１０２ を介して撮像（撮影）された画像信号は、公知のＣＤＳ処理によりアナログの信号成分が抽出されて、所定の時間間隔で連続的（時系列）に出力される。
本実施形態では時間間隔は、例えば１/３０秒を想定する。さらに、ＣＣＤ１０２として、ＲＧＢの各原色フィルタをそれぞれ前面に配置して構成される三板ＣＣＤと想定する。三板ＣＣＤに限定されるものでなく、単板や二板ＣＣＤでもよい。
連続的に出力される複数の画像信号を単に画像信号、１枚の画像信号を１フレームと表記するが、フレームに限らずフィールドでも良い。
上記アナログ信号は、アンプ１０３において所定量増幅され、Ａ／Ｄ変換器１０４にてデジタル信号へ変換されて取得部２を構成するバッファー部１０５へ転送される。

バッファー部１０５は、１フレームの画像信号を記録可能であり、撮像に伴い、順次に上書きされることになる。バッファー部１０５内のフレームの画像信号は、制御部１１２の制御に基づき、所定のフレーム時間間隔（フレームレート）で間歇的に空間ノイズ低減部１０６、時間ノイズ低減部１０７及びノイズ低減調整部１０８へ転送される。
空間ノイズ低減部１０６は、制御部１１２の制御に基づき、空間方向においてバッファー部１０５から転送されてきた１フレームの画像信号に対して空間方向でのノイズ低減処理、つまり空間方向ノイズ低減処理（空間ノイズ低減処理ともいう）を行う。

空間ノイズ低減処理後の画像信号は、ノイズ低減調整部１０８へ転送される。同様に、時間ノイズ低減部１０７では、過去バッファー部１０９に保存されている１つ以上の過去フレームの画像信号を用いてバッファー部１０５から転送されてきた１フレームの画像信号に対して時間方向においてのノイズ低減処理、つまり時間方向ノイズ低減処理（時間ノイズ低減処理ともいう）を行う。
時間ノイズ低減処理後の画像信号は、ノイズ低減調整部１０８へ転送される。ノイズ低減調整部１０８は、制御部１１２の制御に基づき、バッファー部１０５からの画像信号に対して、特徴画素としてエッジ成分を含むエッジ領域とそれ以外の領域を分離し、分離された領域に基づいて時間ノイズ低減処理後の画像信号及び空間ノイズ低減処理後の画像信号の混合の制御により、ノイズ低減処理を行う。換言するとノイズ低減調整部１０８は、空間及び時間ノイズ低減処理を制御するノイズ低減制御部６としてノイズ低減処理を行う。

なお、このノイズ低減調整部１０８は、ノイズ低減処理を行うために、（図８にて後述するように）画像信号からエッジを含むエッジ領域を検出するエッジ検出部５０１を有する。
このエッジ検出部５０１は、画像信号に対して、フレーム内の相関情報に基づいて、画像信号の実空間における１つ或いは１つ以上の所定領域（或いは特定領域）を検出する所定領域検出部としての機能を持つ領域分離部を形成する。
このノイズ低減調整部１０８は、ノイズ低減処理後の画像信号を過去バッファー部１０９及び出力部１１０へ転送する。過去バッファー部１０９は、制御部１１２の制御に基づき、順次に保存する１つ以上のフレームの画像信号の上書き処理を行う。

過去バッファー部１０９には、所定枚数の空間ノイズ低減処理後の過去フレーム画像信号が保存されている。所定の保存枚数を保持すると同時に、一番古い画像信号に新しい画像信号を順次上書きする。
出力部１１０は、ノイズ低減処理後の画像信号をモニタなどの表示媒体に表示し、或は磁気ディスクやメモリカードなどの記録媒体にノイズ低減処理後の画像信号を記録保存する。
図２は、空間ノイズ低減部１０６の構成の一例を示す。バッファー部１０５は、空間ノイズ量を検出する空間ノイズ量検出部２０１及び検出された空間ノイズ量に基づき、ノイズ除去処理を行う空間ノイズ除去処理部２０２を介してノイズ低減調整部１０８と接続されている。

またバッファー部１０５は、空間ノイズ除去処理部２０２とも接続されている。空間領域でのノイズモデル、つまり空間ノイズモデルの情報を格納するＲＯＭ１１１は、空間ノイズ量検出部２０１と接続されている。

そして、この空間ノイズ量検出部２０１は空間領域のノイズモデルに基づき、注目画素のノイズ量、つまり空間ノイズ量を検出する。
制御部１１２は、空間ノイズ量検出部２０１及び空間ノイズ除去処理部２０２と双方向に接続されている。
上記空間ノイズ低減処理というのは、注目画素に対して、注目画素が所在するフレーム（あるいはフィールド）内の周辺画素との相関情報に基づき空間方向においての空間ノイズ低減処理を行うことである。

空間ノイズ量の算出は、例えば特開２００５-３０３８０２号公報に開示される公知のノイズ量算出方法で行う。空間ノイズ量検出部２０１は、制御部１１２の制御に基づき、ゲイン、温度など、収集部により収集された情報を用いてＲＯＭ１１１から対応する空間領域のノイズモデル（空間ノイズモデルともいう）を抽出する。
そして、空間ノイズ量検出部２０１は、抽出したノイズモデル及びバッファー部１０５からの画像信号値に基づき画素毎に空間方向で空間ノイズ量を検出し、それを空間ノイズ除去部２０２へ転送する。
空間ノイズ除去処理部２０２は、制御部１１２の制御に基づき、空間ノイズ検出部２０１からの画素毎の空間ノイズ量情報及びバッファー部１０５からの画像信号値を用いて空間ノイズ除去処理を行う。なお、この空間ノイズ除去処理の際にフィルタ等用いて平滑化して、ノイズを低減するようにしても良い。

空間ノイズ低減処理後の画像信号は、ノイズ低減調整部１０８へ転送される。本実施形態では、色信号ごとに（ＲＧＢ）空間方向のノイズ低減処理を行う。
図３は、時間ノイズ低減部１０７の構成の一例を示す。
バッファー部１０５は、時間領域のノイズモデルに基づき、注目画素のノイズ量、つまり時間ノイズ量を検出する時間ノイズ量検出部３０１及び検出された時間ノイズ量に基づき、ノイズ除去処理を行う時間ノイズ除去処理部３０２を介してノイズ低減調整部１０８と接続されている。

バッファー部１０５は、時間ノイズ除去処理部３０２と接続されている。過去バッファー部１０９は時間ノイズ量検出部３０１と接続されている。なお、本実施形態では、過去バッファー部１０９には、例えば８フレームの過去の画像信号を保存する構成となっている。但し、８フレームの場合に限定されるものでない。
ＲＯＭ１１１は、時間ノイズ量検出部３０１と接続されている。ＲＡＭ１１５は、時間ノイズ量検出部３０１と接続されている。制御部１１２は時間ノイズ量検出部３０１及び時間ノイズ除去処理部３０２と双方向に接続されている。
時間ノイズ量検出部３０１は、制御部１１２の制御に基づき、画素毎にバッファー部１０５から転送されてきた画像信号と過去バッファー部１０９に保存されているノイズ低減処理後の１つ以上過去の画像信号の類似度を検出し、検出された類似度に基づき時間ノイズ量を推定する。

そして、時間ノイズ量検出部３０１は、推定した時間ノイズ量を時間ノイズ除去処理部３０２へ転送する。時間ノイズ除去処理部３０２は、制御部１１２の制御に基づき、時間ノイズ量検出部３０１からの時間ノイズ量及びバッファー部１０５からの画像信号を用いて時間ノイズ除去処理を行う。
時間ノイズ除去処理部３０２による時間ノイズ除去処理後の画像信号は、時間ノイズ低減処理された画像信号としてノイズ低減調整部１０８へ転送される。
図４は、時間ノイズ量検出部３０１の構成の一例を示す。バッファー部１０５は、類似度検出部４０１、代表値を推定する図１Ｅの代表値推定部３０４として、例えば代表値を平均値と推定する平均値算出部４０２、パラメータ選択部４０４、補間部４０５、補正部４０６を介して時間ノイズ除去処理部３０２と接続されている。

なお、図１Ｅに示したように代表値推定部３０４として、平均値算出部４０２の他に、図４の類似度検出部４０１を含めた構成としても良い。

また、図１Ｅにおいては、時間ノイズ量検出部３０１が、その内部に収集部３０５を含む構成で示しているが、図４においては、撮像素子の温度の情報を収集した情報を格納するＲＡＭ１１５を、時間ノイズ量検出部３０１の外部とした構成例で示している。

また、ＲＡＭ１１５を、空間ノイズ量を検出する場合と、時間ノイズ検出する場合とで共通して撮像素子の温度の情報を収集する収集部として利用することができる。

ゲインの情報の収集部としてのgain（ゲイン）算出部４０３、及びＲＯＭ１１１はパラメータ選択部４０４と接続されている。ＲＡＭ１１５は、平均値算出部４０２と双方向に接続している。過去バッファー部１０９は、類似度検出部４０１と接続されている。
制御部１１２は、類似度検出部４０１、平均値算出部４０２、gain算出部４０３、パラメータ選択部４０４、補間部４０５、補正部４０６と双方向に接続されている。
上記時間ノイズ低減処理というのは、注目画素に対して、注目画素が所在するフレーム或はフィールドの前後の一つ或は一つ以上のフレーム間（或はフィールド間）の相関情報、又は類似度情報に基づき時間方向においてのノイズ低減処理を行うということである。

このため、類似度検出部４０１は、制御部１１２の制御に基づきバッファー部１０５からの画像信号に対して、画素ごとに過去バッファー部１０９から１つ以上過去の空間ノイズ低減後の過去の画像信号との類似度を判断する。
動き成分と分離するため、注目画素と過去フレーム中の同一位置の画素の画素値の差分値がある閾値（Th）以下の場合、類似度が高いと判断する。
注目画素に対応する類似度の高い過去フレームの画素値を平均値算出部４０２へ転送する。
注目画素に対してすべての差分が閾値（Th）以上の場合、類似する画素がないと判断し、その情報も平均値算出部４０２へ転送する。

平均値算出部４０２は、制御部１１２の制御に基づき、類似度検出部４０１からの類似度情報を用いて注目画素と類似度の高い過去フレームの同一位置の画素値と注目画素の画素値の平均値（Color_av）を、代表値として求める。
すべての過去フレーム画像には、類似画素が存在しない場合、注目画素の画素値を平均値とする。
また、制御部１１２は、温度センサー部１１４から撮像素子としてのＣＣＤ１０２の温度情報を取得し、ＲＡＭ１１５へ保存する。ＲＡＭ１１５には、過去バッファー部１０９にある過去フレーム画像信号の温度情報が保存されている。このため、ＲＡＭ１１５は、撮像素子の温度に関する情報の収集部を形成する。

さらに、平均値算出部４０２は、制御部１１２の制御に基づき、過去バッファー部１０９に保存されている過去フレーム画像に対応する温度情報をＲＡＭ１１５から抽出し、現フレーム画像の温度情報と一緒に平均温度(T_av)を算出する。
制御部１１２の制御に基づき、現フレーム画像を時間ノイズ除去部３０２へ、平均温度(T_av)及び各注目画素の平均値（Color_av）の情報をパラメータ選択部４０４へ転送する。
パラメータ選択部４０４は、制御部１１２の制御に基づき、平均算出部４０２からの注目画素の平均値（Color_av）及び平均温度(T_av)、gain算出部４０３からのゲインの情報に基づき時間ノイズ量を推定する。

なお、上記の類似度判定では、ある閾値（Th）に基づき注目画素と過去フレーム中の同一位置の画素の画素値の差分から処理を行っていたが、このような構成に限定する必要がない。
例えば、まず、時間領域のノイズモデル、つまり時間ノイズモデルに基づき、現画像の注目画素の画素値を用いてノイズ量Nｊを推定する。
次に、注目画素と過去フレーム中の同一位置の画素の画素値の差分値を求め、差分値が上記ノイズ量Nｊより小さい場合、類似度が高いと判断する。

平均値算出部４０２は、制御部１１２の制御に基づき、注目画素の画素値及び注目画素と類似度が高いと判定された過去フレームの同一位置の画素信号値を用いて平均値を求めることも可能である。
図５は、ある温度信号tにおいてゲインに関連する３種類の画素値レベルに対応するノイズ量をプロットしたもので、画素値レベルに対して２次曲線で近似でき、画素値レベルに対して単調増加となっている。図５を２次関数でノイズモデル化すると式１が得られる。
N = A*V^２ + B*V + C (式１)
ここでA、B、Cは定数である。なお、異なる温度情報、ゲインなどに応じて複数の式１を記録することで、ノイズ量を算出するにはデータ量が多く、煩雑となる。

このため、特開２００５-３０３８０２号公報に開示される公知のモデルで簡略化を行う。最大のノイズ量を与えるモデルを基準モデルに設定し、これを所定数の折れ線で近似する（図６）。
本実施形態では、温度情報、ゲインなどのノイズ特性に対応した基準ノイズモデルを具備している。図６は、簡略化したノイズモデルの一例で折れ線近似の形状で、基準ノイズモデルにおける画素値レベル対ノイズ量の関連を示している。
基準ノイズモデルで代表できる、画素値レベル対ノイズ量の代表点はＲＯＭ１１１に保存されている。

本例においては、基準ノイズモデルの画素値レベル（Level）対ノイズ量（Noise）の代表点、及び各代表点と代表点間の区間の向きを表す傾斜点（Slope）が、ＲＯＭ１１１に保存されている。
例えば、８点の代表点と７点の傾斜点の例を式２〜式４
Noise[８] = {N１, N２, N３, N４, N５, N６, N７, N８} (式２)
Level[８] = {L１, L２, L３,L４, L５,L６,L７,L８} (式３)
Slope[７] = {S１, S２, S３, S４, S５, S６, S７} (式４)
に示す。
ＲＯＭ１１１には、また、温度、ゲイン及び色信号ごとのノイズ量を計算するための補正係数Ktgcも保存されている。

この補正係数Ktgcは、各ノイズモデルと基準ノイズモデル間から最小２乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数Ktgcを乗算することで行われる。
換言すると、温度、ゲイン等における少なくとも１つの情報に基づいて時間ノイズ量を換算するノイズ量換算部が形成されている。
例えば、ある温度tにおいてゲインが４種類、色信号がR、G、Bの３種類の例を式５
Kt[４][３] = { Kr１, Kg１, Kb１ ゲイン１
Kr２, Kg２, Kb２ ゲイン２
Kr３, Kg３, Kb３ ゲイン３
Kr４, Kg４, Kb４ } ゲイン４
(式５)
に示す。

図７は、検索された区間における画素値レベルＡＶに対するノイズ量Ｎを算出するための線形補間の例を示す。
図示例では画素値レベルがLi-1とLiに対応するノイズ量はそれぞれNi-1とＮｉである区間における、この検索された区間における画素値レベルＡＶに対するノイズ量Ｎを、図７のように線形補間により算出する。
図６に示すある温度におけるゲインgに対応するノイズ量は、図７に示す線形補間の方法により求めることができる。まず、画素値レベルが基準ノイズモデルのどの区間に属するかを検索する。
次に、検索された区間における線形補間処理を図７のように行い、基準ノイズ量Ｎgを求める。さらに、式６基づき、補正係数Ｋtgcを乗算することで、時間ノイズ量Nを算出する。

N = K[temperature][gain][color] ＊ Ng (式６)
本実施形態においては、パラメータ選択部４０４は、平均算出部４０２からの画素値の平均値（Color_av）から画素値を、平均温度（T_av）から温度tを、gain算出部４０３からのゲインの情報からゲインgを設定する。
次に、画素値が属する区間をＲＯＭ１１１から検索し、これを補間部４０５へ転送する。さらに、補正係数ＫtgcをＲＯＭ１１から抽出し、これを補正部４０６へ転送する。
補間部４０５は、制御部１１２の制御に基づき、パラメータ選択部４０４からの画素値及びノイズモデル区間情報に基づき、時間基準ノイズ量Ｎgを算出し、補正部４０６へ転送する。

補正部４０６は、制御部１１２の制御に基づき、転送されてきた時間基準ノイズ量、補正係数Ktgcを用いて、式６に基づき時間ノイズ量Nを算出する。つまり、パラメータ選択部４０４、補間部４０５，補正部４０６とにより時間ノイズ量Nを算出する図１Ｅの時間ノイズ量算出部３０１を形成する。
補正部４０６は、算出した時間ノイズ量Nを時間ノイズ除去処理部３０２へ転送する。基準ノイズモデルに基づいて時間ノイズ量を求めることで、算出過程が簡略化でき、高速処理や省電力化などが実現できる。
時間ノイズ除去処理部３０２は、制御部１１２の制御に基づき、時間ノイズ量検出部３０１からの画像信号及び時間ノイズ量情報を用いて、時間ノイズ除去処理を行う。

時間ノイズ除去処理は、ある位置の画素の画素値（C）に対し、ノイズ量（N）と平均値（Color_av）を用いて、例えば式７
If (C > Color_av + N /２) C’ = C - N /２
If (Color_av + N /２>C> Color_av - N/２) C’ = Color_av
If (C < Color_av - N/２) C’ = C + N /２
(式７)
に示す演算を行う。このノイズ低減除去処理によりノイズ低減処理された画像信号は、制御部１１２の制御に基づき、ノイズ低減調整部１０８へ転送される。

図８は、ノイズ低減調整部１０８の構成図の一例を示す。ノイズ低減調整部１０８は、画像信号に対して、フレーム内の相関情報に基づき所定領域を検出する所定領域検出部を形成する領域分離部としてのエッジ検出部５０１と、このエッジ検出部５０１により分離された所定領域としてのエッジがあるエッジ領域とエッジが無い領域（つまりエッジ領域以外の領域）に応じて空間ノイズ低減処理及び時間ノイズ低減処理がされた画像信号の混合を調整（制御）してノイス低減を行うノイズ低減実行部５０２からなる。なお、上記エッジ検出部５０１としては、特徴画素としてのエッジ成分の有無のみを検出する構成にしても良い。
バッファー部１０５は、エッジ検出部５０１及びノイズ低減実行部５０２を介して出力部１１０及び過去バッファー部１０９と接続されている。

空間ノイズ低減部１０６及び時間ノイズ低減部１０７は、ノイズ低減実行部５０２と接続されている。制御部１１２は、エッジ検出部５０１及びノイズ低減実行部５０２と双方向に接続されている。
図８において、エッジ検出部５０１は、制御部１１２の制御に基づき、公知のエッジ検出方法でバッファー部１０５からの画像信号に対してエッジ検出処理を行う。
つまり、このエッジ検出部５０１は、画像信号から、この画像信号の実空間の１つ或いは１つ以上の特定領域（又は所定領域）としてのエッジである（或いはエッジがある）エッジ領域を検出することにより、このエッジ領域とそれ以外の領域とに分離する領域分離部を形成する。

本実施形態では、図９の横方向の微分フィルタＦｈを用いて、画像の縦方向のエッジを抽出する。次に、図９の縦方向の微分フィルタＦｖを用いて、画像の横方向のエッジを抽出する。このようにして２次元の画像信号の実空間におけるエッジ領域を検出する。
そして、各画素における横方向の差分をΔxf(i,j)に、縦方向の差分をΔyf(i,j)に設定し、式８に基づき画素値の勾配ΔGを、式９に基づき勾配の方向ΔAを算出する。算出したエッジの情報をノイズ低減実行部５０２へ転送する。
ΔG =｛Δxf(i,j)＊Δxf(i,j)＋Δyf(i,j)＊Δyf(i,j)｝^１／２ （式８）
ΔA ＝ tan^-1｛Δxf(i,j)／Δyf(i,j)｝ （式９）
ノイズ低減実行部５０２は、制御部１１２の制御に基づき、画素ごとにノイズ低減合成処理を行う。

この場合、制御部１１２は、以下のようにエッジ情報に基づき、エッジがある画素とそれ以外の画素とで空間ノイズ低減処理後の画素値と時間ノイズ低減処理後の画素値との混合処理を制御する（ことによりノイズ低減された画像信号を生成する）。
そして、ノイズ低減実行部５０２は、制御部１１２の制御に基づき、検出されたエッジ領域に応じて空間ノイズ低減処理後と時間ノイズ低減処理後の両画像信号の混合率を設定する図１Ａの混合率設定部６Ａの機能を有する。
また、ノイズ低減実行部５０２は、設定された混合率により画像混合処理を行う図１Ａの画像混合処理部６Ｂの機能を有する。ノイズ低減実行部５０２が混合率設定部６Ａの機能を含む構成としても良い。

より具体的には、ノイズ低減実行部５０２は、エッジ検出部５０１からのエッジ情報に基づき、エッジではない画素には空間ノイズ低減部１０６からの空間ノイズ低減処理後の画素値を用いることに対し、エッジである画素には、時間ノイズ低減部１０７からの時間ノイズ低減後の画素値（T _ij）と空間ノイズ低減部１０６からの空間ノイズ低減処理後の画素値（S _ij）混合処理を、（式１０）のように行う。
Ｒ_ij = T _ij *p１ + S _ij *p２ （式１０）
（p１+p２=１,０≦p１≦１,０≦p２≦１, Ｒ_ij：混合処理後の注目画素の画素値）
すべての画素の混合処理終了後、ノイズ低減混合処理後の画像信号を出力部１１０及び過去バッファー部１０９へ転送する。
こうして、画像信号中のエッジではない画素に対して、空間ノイズ低減処理後の画像信号を用いて高精度にノイズ低減効果を高めることができる。

これに対し、エッジと判断される画素に対して、時間ノイズ低減処理後の画像信号と空間ノイズ低減処理後の画像信号の混合処理を行い、微妙な特徴部分を保持しながら高精度にノイズ成分を落として高画質な画像信号が得ることができる。
また、本実施形態では、エッジではない画素に対して、空間ノイズ低減処理後の画素値を用いるが、この構成に限定されるものでない。
例えば、エッジではない画素において、空間ノイズ低減処理後の画素値と時間ノイズ低減処理後の画素値と所定の混合率で混合する混合率設定部を形成し、この混合率で混合して画素値を算出してもよい。

この場合、ノイズ低減効果を高めるため、エッジと判断される画素の場合に比べて、エッジでない画素において空間ノイズ低減処理後の混合率のウェートを大きく設定するようにすれば良い。なお、エッジの場合を含むより広義の特徴画素の場合に対して、同様の処理内容を図１Ｂにて説明している。
さらに、動きが大きいエッジ領域においては、主観的に繊細な構造がつぶれることにより残像の影響が受けやすいため、時間ノイズ量検出部３０１からの動き成分が所定の閾値（動きの大小を判断する閾値）より大きい場合、エッジと判断される画素に空間ノイズ低減処理後の画像信号を用いる構成にしてもよい。
或は、時間ノイズ低減処理後の画像信号の混合率のウェートを小さく、空間ノイズ低減処理後の画像信号の混合率のウェートを大きく設定し、混合処理してもよい。

このように画像信号の動き成分に連動させて上記混合率を設定するようにしても良い。この場合の構成を図１Ｅで説明している。
以上説明した本実施形態における画像信号処理は、ハードウェアにより実現しているが、このような構成に限定されない。
例えば、ＣＣＤ１０２で撮像された動画像撮像部９８の信号を未処理のままのロー（生或いはRAW）データとして、メモリカードなどの記録媒体に記録するとともに、制御部１１２からの撮像時の情報（ISO感度やホワイトバランス係数など）をヘッダ情報等、撮像情報として記録媒体に記録しておく。

そして、別途のソフトウェアである動画像ノイズ低減処理プログラムをコンピュータ（以下ＰＣと略記）に実行させて、記録媒体の情報をＰＣに読み取らせ、処理することも可能である。なお、動画像撮像部９８からＰＣへの各種情報の転送は、上述と同様に、記録媒体を介して行うに限らず、通信回線などを介して行うようにしても構わない。
図１０ は、本実施形態における動画像ノイズ低減処理方法又は動画像ノイズ低減処理プログラムによる処理手順を示すフローチャートである。
この処理を開始すると、まず、Step１にて、撮像情報、画像信号などを読み込むとともに、該動画像ノイズ低減処理プログラムが予め備えている時間ノイズモデル及び空間ノイズモデルなどの情報も読み込んで、Step２及びStep３へ進む。

このStep１の処理は、動画像撮像部９８が被写体を撮影した時系列の画像信号を取得部２が取得する取得ステップの処理を含むものに相当している。
次に、Step２にて、画像信号処理プログラムが予め備えている空間ノイズモデルに基づき、画像信号に対して空間ノイズ低減を行う空間ノイズ低減ステップの処理を行い、Step４へ進む。

Step３にて、画像信号処理プログラムが予め備えている時間ノイズモデルに基づき、時系列の画像信号に対して時間ノイズ低減を行う時間ノイズ低減ステップの処理を行い、Step４へ進む。そして、Step４にて、Step２からの空間ノイズ低減処理後の画像信号と、Step３からの時間ノイズ低減処理後の画像信号を用いて混合処理によりノイズ低減制御またはノイズ低減調整の処理を行い、Step５へ進む。

最後のStep５にて、混合処理後の画像信号を出力して、表示装置に表示したり、あるいは、メモリカードなどに保存したりしてから、図１０の処理を終了する。
それと同時に、次のフレームのノイズ低減処理用に、画像信号を過去画像信号としてメモリに保存する。
図１１は、本実施形態におけるノイズ低減調整部１０８の動画像ノイズ低減処理プログラムの処理手順を示すフローチャートである。
この処理を開始すると、まず、Step１１にて、原画像信号から公知のエッジ検出処理を行う。例えば、図９の横方向の微分フィルタＦｈを用いて、画像の縦方向のエッジを抽出する。次に、図９の縦方向の微分フィルタＦｖを用いて、画像の横方向のエッジを抽出する。

そして、各画素における横方向の差分をΔxf(i,j)に、縦方向の差分をΔyf(i,j)に設定して、式８に基づき画素値の勾配ΔGを、式９に基づき勾配の方向ΔAを算出し、Step１２へ進む。
Step１２にて、画像信号に対して、画素毎にエッジであるか否かを判断する。エッジでない場合、Step１３へ進む。エッジと判断される場合、Step１４へ進む。
Step１３にて、注目画素において、空間方向ノイズ低減後の画像信号をノイズ低減後の処理結果として選択し、Step１５へ進む。このように、エッジではない部分に対して思う存分にノイズ低減効果を高めることができる。 Step１４にて、注目画素において、空間方向ノイズ低減後の画像信号と時間方向ノイズ低減処理後の画像信号を用いて、式１０に示されているように所定の比率で画素値の混合処理を行い、Step１５へ進む。

この構成により、エッジの部分に対して、時間ノイズ低減処理後の画像信号と空間ノイズ低減処理後の画像信号の混合処理を行い、微妙な特徴部分を保持しながら高精度にノイズ成分を落として高画質な画像信号が得ることができる。
Step１５にて、Step１３からの画像信号とStep１４からの画像信号を合成する。このStep１５の処理が完了したら、その後は図１０に示した処理へ復帰する。
以上説明したように本実施形態によれば、動画像に対応する時系列の画像信号に対して、空間方向及び時間方向でノイズ低減処理を行い、かつフレーム（又はフィールド）内の特徴画素としてのエッジを有するエッジ領域等の所定領域を検出する。
そして、検出された所定領域とそれ以外の領域、換言すると特徴画素としてのエッジの有無に応じて、両ノイズ低減処理後の両画像信号の画素値の混合率を制御ないしは調整するようにしているので、特徴画素としてのエッジが平滑化されることを低減したノイズ低減処理を行うことが可能となり、高品位の画像信号を得ることができる。

（第２の実施形態）
次に図１２から図２３を参照して本発明の第２の実施形態を説明する。

まず、発明の第２の実施形態の構成を説明する。
[構成]
図１２は、発明の第２の実施形態の構成図である。図１２に示すこの動画像撮像装置９７は、図１Ｇに示した動画像撮像装置９７において、ノイズ低減調整部１０８の代わりに構成が異なるノイズ低減調整部１１８を採用した構成である。
後述するようにこのノイズ低減調整部１１８は、画像信号を周波数空間に変換することにより得た周波数信号の周波数成分を特徴量として取得する周波数成分を取得又は検出する周波数成分取得部６Ａとしての周波数フィルタリング処理部を備える。
また、ＲＯＭ１１１は、このノイズ低減調整部１１８と接続されている。その他は、第１の実施形態と同様の構成である。
次に本実施形態の作用を説明する。

[作用]
基本的には第１の実施形態と同等であり、主に異なる部分を説明する。
まず、図１２の構成における画像信号の流れを説明する。外部I/F部１１３を介して録画ボタンが押されると、レンズ系１００、絞り１０１、ＣＣＤ１０２を介して撮像された画像信号は、公知のＣＤＳ処理によりアナログの信号成分が抽出されて、所定時間間隔で連続的（時系列）に出力される。
本実施形態では時間間隔１/３０秒を想定する。さらに、ＣＣＤ１０２として、ＲＧＢの各原色フィルタをそれぞれ前面に配置して構成される三板ＣＣＤと想定するが、単板や二板のＣＣＤでもよい。
連続的に出力される複数画像信号を単に画像信号、１枚の画像信号を１フレームと表記する。上記アナログ信号はアンプ１０３にて所定量増幅され、Ａ／Ｄ変換器１０４にてデジタル信号へ変換されてバッファー部１０５へ転送される。

バッファー部１０５は、１フレームの画像信号を記録可能で撮影に伴い順次に上書きされることになる。バッファー部１０５内のフレーム画像信号は、制御部１１２の制御に基づき、所定のフレーム時間間隔（フレームレート）で間歇的に空間ノイズ低減部１０６、時間ノイズ低減部１０７及びノイズ低減調整部１１８へ転送される。
空間ノイズ低減部１０６は、制御部１１２の制御に基づき空間方向においてバッファー部１０５から転送されてきた１フレームの画像信号に対して空間ノイズ低減処理を行う。
空間ノイズ低減処理後の画像信号は、ノイズ低減調整部１１８へ転送される。同様に、時間ノイズ低減部１０７では、過去バッファー部１０９に保存されている１つ以上の過去フレームの画像信号を用いてバッファー部１０５から転送されてきた１フレーム画像信号に対して時間方向において時間ノイズの低減処理を行う。

時間ノイズ低減後の画像信号はノイズ低減調整部１０８へ転送される。ノイズ低減調整部１１８は、制御部１１２の制御に基づき、バッファー部１０５からの画像信号に対して、所定領域を周波数成分により検出し、その検出結果に応じて時間ノイズ低減後の画像信号及び空間ノイズ低減後の画像信号を混合し、ノイズ低減処理を行う。
処理後の画像信号は、過去バッファー部１０９及び出力部１１０へ転送される。過去バッファー部１０９は制御部１１２の制御に基づき順次に保存する１つ以上フレーム画像信号の上書き処理を行う。
過去バッファー部１０９には所定枚数の空間ノイズ低減処理後の過去フレーム画像信号が保存されている。所定の保存枚数を保持する同時に、一番古い画像信号に新しい画像信号を順次上書きする。

出力部１１０は、モニタなどの表示媒体に表示し、或は磁気ディスクやメモリカードなどの記録媒体に画像信号を記録保存する。
一般に、空間ノイズ低減処理の際の平滑化により、画像に含まれるノイズなどの不要な濃淡変動を軽減することができるが、同時に、画像にもともとあるエッジも滑らかになってしまう。
そこで、本実施形態では、空間ノイズ低減部１０６にて画像信号中のエッジは保ちつつ、ノイズなどにより繊細な変動を平滑化する方法を用いる。ここでは、公知の非線形フィルタとして、バイラテラルフィルタを用いて空間ノイズ低減処理を行う。

図１３は、ノイズ低減調整部１１８の構成の一例を示す。ノイズ低減調整部１１８は、広義の所定領域検出部の機能、換言すると、図１Ａの特徴画素検出部５として、特徴量を周波数成分として取得又は検出する図１Ａの周波数成分取得部５Ａとしての周波数フィルタリング処理部５１１と、ノイズ低減処理を制御して実行する図１Ａのノイズ低減制御部６としてのノイズ低減実行部５１２とからなる。
周波数フィルタリング処理部５１１は、フレーム内の画像信号の周波数成分を検出することにより所定領域を検出する（所定領域検出部としての）周波数検出部と、検出された周波数成分に基づき、周波数領域から１つ或いは１つ以上の特徴量を含む所定領域（又は特定領域）を分離する領域分離部としての機能を持つ。

また、ノイズ低減実行部５１２は、周波数フィルタリング処理部５１１の処理結果に基づき、空間ノイズ低減後の画像信号と時間ノイズ低減後の画像信号を用いて異なる領域に応じた画像混合処理によりノイズ低減処理を行う。
バッファー部１０５は、周波数フィルタリング処理部５１１及びノイズ低減実行部５１２を介して出力部１１０及び過去バッファー部１０９と接続されている。
空間ノイズ低減部１０６、時間ノイズ低減部１０７及びＲＯＭ１１１は、ノイズ低減実行部５１２と接続されている。制御部１１２は周波数フィルタリング処理部５１１及びノイズ低減実行部５１２と双方向に接続されている。

図１３において、周波数フィルタリング処理部５１１は、制御部１１２の制御に基づき、バッファー部１０５からの画像信号を用いて周波数フィルタリング処理を行い、処理した画像信号をノイズ低減実行部５１２へ転送する。
ノイズ低減実行部５１２は、周波数フィルタリング処理部５１１からの周波数フィルタリングの処理結果に基づき、空間ノイズ低減部１０６からの空間ノイズ低減後の画像信号と時間ノイズ低減部１０７からの時間ノイズ低減後の画像信号を用いて異なる領域に応じて式１０による画像混合処理を行う。そして、第１の実施形態と同様に、この画像混合処理により、ノイズ低減処理して、高品位の画像信号を生成する。

ノイズ低減実行部５１２は、すべての画素の混合処理終了後、ノイズ低減混合処理後の画像信号を出力部１１０及び過去バッファー部１０９へ転送する。
図１４は、周波数フィルタリング処理部５１１の構成の一例を示す。周波数フィルタリング処理部５１１は、画像信号を周波数空間に変換するために、フーリエ変換を行うフーリエ変換部５１１１、フィルタを用いてフィルタリングを実行するフィルタ適用部５Ｂとしてのフィルタリング実行部５１１２及びフーリエ逆変換を行うフーリエ逆変換部５１１３からなる。
バッファー部１０５は、フーリエ変換部５１１１、フィルタリング実行部５１１２及びフーリエ逆変換部５１１３を介してノイズ低減実行部５１２と接続されている。

ＲＯＭ１１１は、フィルタリング実行部５１１２と接続されている。制御部１１２は、フーリエ変換部５１１１、フィルタリング実行部５１１２及びフーリエ逆変換部５１１３と双方向に接続されている。
図１４において、フーリエ変換部５１１１は、制御部１１２の制御に基づき、バッファー部１０５からの画像信号f(x,y)を用いて公知のフーリエ変換処理を行う。
図１５はフーリエ変換処理後のフーリエスペクトルの一例を示す。フーリエ変換部５１１１は、フーリエ変換処理で得た画像信号のフーリエスペクトル情報F(u,v))を、フィルタ適用部５Ｂを形成するフィルタリング実行部５１１２へ転送する。
フィルタリング実行部５１１２は、制御部１１２の制御に基づき、ＲＯＭ１１１から所定の周波数フィルタH(u,v)を抽出して式１１に示すように周波数フィルタリング処理を行う。

G(u,v) = F(u,v)H(u,v) （式１１）
そして、周波数フィルタリング処理後の結果G(u,v)をフーリエ逆変換部５１１３へ転送する。
本実施形態では、所定の周波数フィルタH(u,v)として図１６に示されているバンドパスフィルタを用いる。そして、図１７は周波数フィルタリング処理の結果を示す。
フーリエ逆変換部５１１３は、制御部１１２の制御に基づき、上記フーリエ変換と対応する公知のフーリエ逆変換処理を行う。フーリエ逆変換部５１１３は、フーリエ逆変換処理後の画像信号をノイズ低減実行部５１２へ転送する。

このように、画像信号をフーリエ変換により画像信号の周波数スペクトルを検出し、バンドパスフィルタを用いて周波数信号からの所定周波数成分領域を特徴画素としてのエッジを含む所定領域として抽出することが可能となる。
なお、このようにバンドパスフィルタを用いることは後述するように、画像信号を、エッジ強度の弱い中間周波数（成分）領域と、エッジ強度の大きい高周波（成分）領域及び平坦な部分に相当する低周波（成分）領域とに予め分けるためのものである。
そして、バイラテラルフィルタを用いて空間ノイズ低減処理を行うことにより、目的とする特徴としてのエッジを保ちつつ（つまり、微細な構造がノイズとして低減されることなく）、ノイズを平坦化して有効に低減し、高品位の画像信号を得ることができるようにする。

ノイズ低減実行部５１２は、制御部１１２の制御に基づき、周波数フィルタリング処理部５１１からの周波数フィルタリングの結果を参照し、領域毎に所定の画像混合率を用いて空間ノイズ低減処理後の画像信号と時間ノイズ低減処理後の両画像信号の混合処理を式１０のように行う。
そして、ノイズ低減実行部５１２は、混合処理後の画像信号を出力部１１０及び過去バッファー部１０９へ転送する。
本実施形態では、画像信号中のエッジを保ちつつ、ノイズなどによる細かな変動を平滑化するために、バイラテラルフィルタを用いて、ノイズモデルに基づき、空間ノイズ低減処理を行う構成としている。

なお、第１の実施形態では、エッジの検出結果により空間方向のノイズ低減処理（つまり空間ノイズ低減処理）後と時間ノイズ低減処理後の両画像信号とを混合することにより、画像信号のエッジのような繊細部の構造のつぶれる現象を軽減していた。
これに対して、本実施形態は、上記のようにバイラテラルフィルタを用いて、空間ノイズ低減処理を、ノイズ低減実行部５１２において行う。
ただし、注目画素に対して周辺領域の画像信号を用いて空間ノイズ低減処理を行うため、バイラテラルフィルタのような非線形のフィルタを用いても、エッジ強度の高い領域に関しては、エッジ構造をつぶさずにノイズ低減することに効果があるが、エッジ強度の弱い領域に関しては、繊細部の構造がつぶされる恐れがある。このため、上記のように予め両領域を周波数成分により分離する。

なお、エッジ強度は、エッジの急峻度に比例する。エッジの急峻度が高ければ、エッジ強度も高い。
バイラテラルフィルタ処理は、式１２に示され、重み係数は、式１４、１５に示される。
f’(j)＝Σ_j∈φw(i,j)*f(j)/Σ_j∈φw(i,j) （１２）
w(i,j)＝ws(i,j)*wr(i,j) （１３）
ws(i,j)＝exp(｜i-j｜/(2σ_s ²)) （１４）
wr(i,j)＝exp(｜f(i)-f(j)｜/(2σ_r ²)) （１５）
式１２-１５においてiは注目画素の位置、jは周辺画素の位置、f(i)は注目画素の入力画素値、f’(i)は注目画素の出力画素値、f(j)は周辺画素の入力画素値、f’(j)は周辺画素の出力画素値, φは注目領域を囲むブロック領域、σ_s、σ_rはそれぞれ、空間方向及び画素値方向の重みを現すガウス分布の標準偏差に相当する量である。

また、Σ_j∈φw(i,j)は、w(i,j)を注目領域を囲むブロック領域φに含まれる周辺画素での総和を行うことを表す。
式１４の重み係数wsは、注目画素からの距離に依存して変化するもので、ブロック領域φのサイズ及びσ_sが固定されれば、その係数は固定される。本実施形態では、固定のブロック領域φのサイズ及びσ_sを用いる構成となっているため、wsも固定になっている。
一方、式１５の重み係数wrは、注目画素と周辺画素の画素値（画素値或いは輝度値）の信号差の絶対値に依存して変化するものである。上記バイラテラルフィルタとして図１８におけるフィルタF１の場合、σ_rは、注目画素の画素値と周辺画素の画素値との差の絶対値X_i(|ｆ(i)-f(j)|)との差の絶対値はS_iと仮定する。

σ_r>>|ｆ(i)-f(j)|の場合、重み係数wr(i,j)は、１に近づくようになり、バイラテラルフィルタの形は縦軸方向に収束していく（例えば、図１８のフィルタF２）。
逆に、σ_r<<|ｆ(i)-f(j)|の場合、バイラテラルフィルタの形態は縦軸方向の逆方向に展開していく（例えば、図１８のフィルタF３）。
上記バイラテラルフィルタ処理の原理から、実際の画像信号を用いて空間ノイズ低減と時間ノイズ低減処理を組み合わせてノイズ低減処理を行う必要性を説明する。

例えば、あるフレーム或はフィールドの画像信号の周波数成分が、図１９Ａに示されているようになっていると仮定する。
バイラテラルフィルタ処理により、画像信号中の低周波数成分に対応する平坦部の画像領域においてはノイズが低減され、画像領域がさらに平らになる。
また、高周波数成分に対応する画像領域（エッジ強度の強い領域）においては、注目画素と周辺画素の画素値の差分が大きいため、上記のバイラテラルフィルタ処理の原理によりバイラテラルフィルタの形態はエッジ強度が強いほど水平に近づく（図１９のフィルタF４）。
従って、該領域は、バイラテラルフィルタ処理によりノイズ成分が低減されると同時にエッジ構造は保持されている。

一方、中間周波数領域（エッジ強度の弱い領域）に対応する画像領域においては、バイラテラルフィルタ処理により、図１９Ｂに示されているような周波数成分になり、画像信号中の微細部分の構造がつぶれてしまう可能性がある。
これを改善するために、まず、事前にＲＯＭ１１１に保存されている所定のバンドパスフィルタ（具体的には図１６）を用いて、画像信号の周波数成分を二つの部分に分離する（図１９Ｃと図１９Ｄ）。
図１９Ｃは、画像信号の低周波数成分領域（平坦な部分）及び高周波数成分領域（エッジ強度の強い領域）を示していることに対して、図１９Ｄは、画像信号の中間周波数成分領域（エッジ強度の弱い領域）を示している。

次に、ノイズ低減実行部５１２において、式１１により逆フーリエ変換処理を行い、分離された中間周波数信号を実空間の画像信号へ変換する。変換された画像信号は、エッジ強度の弱い周波数成分に対応する実空間の画像信号となっている。
そして、この逆フーリエ変換処理後の画像信号に基づいて時間ノイズ低減処理及び空間ノイズ低減処理を制御する。
具体的には、逆フーリエ変換処理後の画像信号に基づき、エッジ強度の弱い画像信号をもつ画素に同じ位置にある時間ノイズ低減処理後の画素値を与える。

一方、エッジ強度の弱い画像信号以外の画像信号（低周波数成分領域及び高周波数成分領域に対応する）をもつ画素に同じ位置にある空間ノイズ低減処理後の画素値を与える。
あるいは、所定の混合率を用いて、エッジ強度の弱い画像信号をもつ画素に時間ノイズ低減処理後の画素値の混合率のウェートを大きく、空間ノイズ低減処理後の画素値の混合率を小さく設定し混合処理を行う。
エッジ強度の弱い画像信号以外（低周波数成分領域及び高周波数成分領域に対応する）をもつ画素に空間ノイズ低減処理後の画素値の混合率のウェートを大きく、時間ノイズ低減処理後の画素値の混合率を小さく設定し、混合処理を行うことも可能である。

こうして、画像信号の低周波数成分領域（平坦な部分）及び高周波数成分領域（エッジ強度の強い領域）に対して空間ノイズ低減処理をメインに行い、中間周波数成分領域に対応する画像信号領域（エッジ強度の弱い画像信号）に対して時間ノイズ低減処理をメインに適用することで画像信号の微細な構造を保持ししながら高精度に画像信号からノイズ成分を落とすことが可能になる。
また、複数のバンドパスフィルタを事前にＲＯＭ１１１に保存し、ユーザが所定領域を抽出する場合、外部I/F部１１３を通して適応的にＲＯＭ１１１から必要なバンドパスフィルタを選定する構成してもよい。
上記の構成では、抽出された所定画像領域は、エッジ強度の弱い周波数成分以外に他の周波数成分（例えば、エッジ強度の強い周波数成分）も含む可能性がある。

上記の混合処理を行うことにより、所定領域の中に、エッジ強度の弱い周波数成分のみをもつ領域においては微細な構造を保ちながら、高精度にノイズ低減効果が得られるが、エッジ強度の弱い周波数成分以外に他の周波数成分ももつ領域のノイズ低減効果が下がる可能性が否定できない。
これを改善するため、上記のバイラテラルフィルタ中の重み係数の和Σ_j∈φw(i,j)に連動させ、本実施形態では、高精度にエッジ強度の弱い周波数成分のみをもつ所定領域を抽出する構成としている。
式１３に示されているように、重み係数w(i,j)はws(i,j)及びwr(i,j)から算出される。ws(i,j)は注目画素の距離に対するもので、ブロックサイズ及びσ_ｓが固定されれば、係数は固定される。

そのため、w(i,j)はwr(i,j)に比例して変動する。式１５に示されているように、注目画素は周辺画素との画素値の差が大きければ大きいほど、wr(i,j)は小さくなる。逆に、注目画素は周辺画素との画素値の差が小さければ小さいほどwr(i,j)は大きくなる。
上記の内容をまとめると、重み係数の和Σ_j∈φw(i,j)が大きい場合、エッジ強度が弱く、Σ_j∈φw(i,j)が小さい場合、エッジ強度が小さい。そこで、事前にS１とS２（>S１）を重み係数の和Σ_j∈φw(i,j)の範囲の境界を決める閾値として指定し、ＲＯＭ１１１に保存する。S１ <Σ_j∈φw(i,j) < S２の場合、注目画素のエッジ強度が弱いと判定する。

ノイズ低減処理を行う時、ノイズ低減実行部５１２において、式１１により逆フーリエ変換処理を行い、分離された中間周波数信号を実空間の画像信号へ変換する。
変換された画像信号はエッジ強度の弱い周波数成分に対応する実空間の画像信号となっている。そして、この逆フーリエ変換処理後の画像信号に基づいて時間ノイズ低減処理及び空間ノイズ低減処理を制御する。
具体的には、逆フーリエ変換処理後の画像信号に基づき、エッジ強度の弱い周波数成分をもち、さらにS１ <Σ_j∈φw(i,j) < S２の画素に同じ位置にある時間ノイズ低減処理後の画素値を与える。

一方、上記以外の画像信号（低周波数成分領域及び高周波数成分領域に対応する）をもつ画素に同じ位置にある空間方向ノイズ低減処理後の画素値を与える。
あるいは、所定の混合率を用いて、エッジ強度の弱い周波数成分をもち、さらにS１ <Σ_j∈φw(i,j) < S２の画素に時間方向ノイズ低減処理後の画素値の混合率のウェートを大きく、空間方向ノイズ低減処理後の画素値の混合率を小さく設定し混合処理を行う。
上記以外の画像信号（低周波数成分領域及び高周波数成分領域に対応する）をもつ画素に空間方向ノイズ低減処理後の画素値の混合率のウェートを大きく、時間方向ノイズ低減処理後の画素値の混合率を小さく設定し、混合処理を行うことも可能である。

このように、重み係数の和Σ_j∈φw(i,j)に連動させることにより、全画像信号からエッジ強度の弱い周波数成分のみをもつ画像領域を高精度に分離することができ、全画像領域において上記の時間ノイズ低減処理及び空間ノイズ低減処理の混合処理により高画質的にノイズ低減処理することができる。 また、本実施形態においては、バンドパスフィルタを用いて画像信号から特定（又は所定）領域を抽出したが、このような構成に限定する必要がない。バンドパスフィルタ、ハイパスフィルタ及びローパスフィルタを活用し、適応的に選択、または組合せにして周波数領域から一つ或は一つ以上の特定領域を抽出する構成も可能である。

また、第１の実施形態の場合にもバイラテラルフィルタを適用しても良い。そして、エッジ領域とそれ以外の領域或いはエッジ領域においてもその強度が大きい領域と小さい領域とにバイラテラルフィルタの重み係数を連動させるようにしても良い。
なお、内視鏡画像処理分野においては、血管、病変体など診断上に重要な領域に対して繊細な構造を保ちながらノイズ低減処理を行う場合、上記の構成以外にさらに（画素が有する）色情報の特徴量を用いて目的とする特徴を有する特徴画素を含む所定領域検出や領域分離を行い、その結果を用いてノイズ低減を行うことも可能である。
図２０は、これに対応するノイズ低減調整部１１８Ｂの構成の一例である。このノイズ低減調整部１１８Ｂは、周波数フィルタリング処理部５１１、ノイズ低減実行部５１２及び色相検出部５１３からなる。

バッファー部１０５は、周波数フィルタリング処理部５１１及びノイズ低減実行部５１２を介して出力部１１０及び過去バッファー部１０９と接続されている。
空間ノイズ低減部１０６及び時間ノイズ低減部１０７は、ノイズ低減実行部５１２と接続されている。バッファー部１０５は、色情報を用いて所定領域を検出する色相検出部５１３を介してノイズ低減実行部５１２と接続されている。
ＲＯＭ１１１は、周波数フィルタリング処理部５１１及び色相検出部５１３と接続されている。制御部１１２は、周波数フィルタリング処理部５１１、ノイズ低減実行部５１２及び色相検出部５１３と双方向に接続されている。

図２０は、図１３の実施形態と類似しているので、異なる部分のみ説明する。色相検出部５１３は、バッファー部１０５からの画像信号に対し、式１６に基づいて、画素毎に色差信号を算出する。
Cr_ij = b１ * R_ij + b２ * G_ij + b３ * B_ij
Cb_ij = b４ * R_ij + b５ * G_ij + b６ * B_ij
（式１６）
（Cb_ij、Cr_ij：画素色差値 b１〜b６：定数 R_ij：R信号 G_ij：G信号 B_ij：B信号 ｉ、ｊ：画像信号の座標値）
制御部１１２の制御に基づき、算出した色差信号をノイズ低減実行部５１２へ転送する。

ノイズ低減実行部５１２は、周波数空間において上記バンドパスフィルタで抽出した特定領域に入っている画像信号に対して、画素毎に式１７に基づき、色差信号Cr、Cbから構成される色領域の色差角度を算出する。
次に、ノイズ低減実行部５１２は、ＲＯＭ１１１から注目エッジ領域S（例えば、内視鏡画像の場合、血管、病変体のエッジ領域など）が対応する所定（色）領域としての所定色差領域を判断する判定用の閾値（T１、T２）を抽出する。
そして、式１８に基づき、上記算出された色差角度は所定の色領域に入っているか否かを図２１に示すように判断する。

所定の色領域に入っている場合、注目画素に対して、該当画素と同じ位置にある時間ノイズ低減処理後の画素値を与え、それ以外の画像信号をもつ画素と同じ位置にある空間ノイズ低減処理後の画素値を与える。
さらに、上記のように、領域に応じて所定の混合率を用い適応的に時間ノイズ低減処理後の画素値と空間ノイズ低減処理後の画素値を混合することも可能である。
処理後の画像信号を出力部１１０及び過去バッファー部１０９へ転送する。
Angle_ij = arctg(Cb_ij / Cr_ij) （式１７）
（arctgはアークタンジェントを返す関数である）
T１ < Angle_ij < T２ （式１８）
（T１、T２はある色分割領域の角度閾値である）
以上説明した本実施形態における画像処理は、ハードウェアにより実現しているが、このような構成に限定される必要がない。

例えば、ＣＣＤ１０２からの信号を未処理のままのロー（RAW）データとしてメモリカードなどの記録媒体に記録するとともに、制御部１１２からの撮像時の情報（ISO感度やホワイトバランス係数など）及び周波数フィルタに関する情報をヘッダ情報等の撮像情報として記録媒体に記録しておく。
そして、別途のソフトウェアである画像信号処理プログラムをコンピュータ（ＰＣ）に実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。
なお、撮像部からＰＣへの各種情報の転送は、上述と同様に、記録媒体を介して行うに限らず、通信回線などを介して行うようにしても構わない。

図２２は、本実施形態におけるノイズ低減調整部１１８の動画像ノイズ低減処理プログラムの処理手順を示すフローチャートである。
この処理を開始すると、まず、Step２１にて、周波数フィルタリング処理を行う。本実施形態においては、まず、画像信号を公知のフーリエ変換処理を行う。図１５は、フーリエ変換処理後のフーリエスペクトルの一例を示す。
次に、フーリエ変換処理で得た画像信号のフーリエスペクトル情報F(u,v))及び所定の周波数フィルタH(u,v)を用いて式１１で周波数フィルタリング処理を行う。

そして、処理後の結果G(u,v)に対してフーリエ逆変換処理を行い、Step２２へ進む。次のStep２２において、画像信号に対して、Step２１からの周波数フィルタリングの処理結果に基づき画素毎に所定エッジの領域（エッジ強度の弱い領域）であるか否かを判断する。
その所定エッジの判断基準は、事前に設定する必要がある。所定エッジでない場合、Step２３へ進む。所定エッジと判断される場合、Step２４へ進む。
Step２３において、注目画素において、空間ノイズ低減後の画像信号をノイズ低減後の処理結果として選択し、Step２５へ進む。このように、所定エッジではない部分に対してエッジ部分を保ちつつ、ノイズ低減効果を高めることができる。

また、Step２４において、注目画素に対して、時間ノイズ低減処理後の画像信号の値を取り入れる（或いは選択する）。こうして、エッジ強度の弱い所定エッジ部においては、繊細な構造を保持しながら、ノイズを落とすことが可能となる。
さらに、所定の混合率を用いて、エッジ強度の弱い画像信号をもつ画素に時間ノイズ低減処理後の画素値の混合率のウェートを大きく、空間ノイズ低減処理後の画素値の混合率を小さく設定し、混合処理を行う。
また、エッジ強度の強い画像信号をもつ画素に空間ノイズ低減処理後の画素値の混合率のウェートを大きく、時間ノイズ低減処理後の画素値の混合率を小さく設定し、混合処理を行うことも可能である。

最後のStep２５において、Step２３からの画像信号とStep２４からの画像信号を合成する。このStep２５の処理が完了したら、その後は図１０に示した最初の処理へ復帰する。
図２３は、本実施形態におけるノイズ低減調整部１１８Ｂの動画像ノイズ低減処理プログラムの処理手順のフローチャートである。
この処理を開始すると、まず、Step３１において、周波数フィルタリング処理を行う。
本実施形態においては、まず、画像信号を公知のフーリエ変換処理を行う。図１５はフーリエ変換処理後のフーリエスペクトルの一例を示す。

次に、フーリエ変換処理で得た画像信号のフーリエスペクトル情報F(u,v))及び所定の周波数フィルタH(u,v)を用いて式１１で周波数フィルタリング処理を行う。
そして、処理後の結果G(u,v)に対してフーリエ逆変換処理を行い、Step３２へ進む。
次のStep３２において、画像信号に対して、Step３１からの周波数フィルタリングの処理結果に基づき画素毎に所定エッジの領域（エッジ強度の弱い領域）であるか否かを判断する。
所定エッジでない場合、Step３３へ進む。所定エッジと判断される場合、Step３５へ進む。Step３１の進行と同時に、Step３４において、ＲＧＢ画像信号に対して式１６に基づき画素ごとに色差信号Cr、Cbを算出すし、Step３５へ進む。

Step３５において、Step３２からの所定エッジの領域（エッジ強度の弱い領域）の画像信号に対して、式１７と式１８に基づき、画素毎にStep３４からの色差信号Cr、Cbが注目エッジ領域にあるか否かを判断する。
この注目エッジ領域に関しては、例えば内視鏡画像の場合の血管、病変体などの重要視されているエッジ領域とさす。注目エッジ領域に属する場合、Step３６へ進む。
注目エッジ領域に属しない場合、Step３３へ進む。Step３３にて、画素毎に空間ノイズ低減後の画像信号をノイズ低減後の処理結果として選択し、Step３７へ進む。

ここで、所定の混合率を用いて、画素毎に空間ノイズ低減処理後の画素値の混合率のウェートを大きく、時間ノイズ低減処理後の画素値の混合率を小さく設定し、混合処理を行ってもよい。
Step３６において、注目エッジ領域に対して画素毎に時間ノイズ低減後の画像信号をノイズ低減後の処理結果として選択し、Step３７へ進む。ここで、所定の混合率を用いて、画素毎に時間ノイズ低減処理後の画素値の混合率のウェートを大きく、空間ノイズ低減処理後の画素値の混合率を小さく設定し、混合処理を行ってもよい。
最後のStep３７において、Step３３からの画像信号とStep３６からの画像信号を合成する。このStep３７の処理が完了したら、その後は図１０に示した最初の処理へ復帰する。

本実施形態によれば、画像信号における所定領域を周波数成分として検出し、その検出結果に基づいて空間ノイズ低減処理後と時間ノイズ低減処理後の両画像信号の混合処理により特徴画素としてのエッジを保持して高品位の画像信号を得ることができる。
また、空間ノイズ低減処理に、バイラテラルフィルタを用いて行うことにより、エッジを保持して高品位の画像信号を得ることができ、さらに重み係数をエッジの大小（強弱）に連動させることにより、特徴画素としてのエッジをより高精度に保持して高品位の画像信号を得ることができる。

なお、上述した実施形態では、目的の特徴を有する特徴画素をエッジ（成分）として説明したが、この場合に限定されるものでなく、例えば輝度信号の場合にも適用することができる。

なお、上述した実施形態を部分的に組み合わせる等して構成される実施形態等も本発明に属する。

動画像を撮像する撮像装置における画像信号のノイズを低減する。

図１Ａは、本発明の動画像ノイズ低減処理装置の請求項１に関係する基本的な構成を示す図。 図１Ｂは、図１Ａにおけるノイズ低減制御部による混合率の制御内容を示すフローチャート。 図１Ｃは、動画像ノイズ低減処理方法の処理手順を示すフローチャート。 図１Ｄは、図１Ａのノイズ低減制御部による注目画素の画素値の制御の処理手順を示すフローチャート。 図１Ｅは、図１Ａの時間ノイズ量検出部の構成を示す構成図。 図１Ｆは、図１Ｅの代表値推定部による平均値算出の処理内容を示すフローチャート。 図１Ｇは、本発明の第１の実施形態例の構成図。 図２は、第１の実施形態例の空間ノイズ低減部１０６の構成図。 図３は、第１の実施形態例の時間ノイズ低減部１０７の構成図。 図４は、第１の実施形態例の時間ノイズ検出部３０１の構成図。 図５は、画素値に対する時間ノイズ量の関係を示す図。 図６は、簡略化したノイズモデルの説明図。 図７は、ノイズ量の補間処理を示す図。 図８は、第１の実施形態例のノイズ低減調整部の構成図。 図９は、エッジ検出用の微分フィルタを示す図。 図１０は、第１の実施形態の動画像ノイズ低減処理プログラムのフローチャート。 図１１ 第１実施形態のノイズ低減調整部の動画像ノイズ低減処理プログラム部分のフローチャート。 図１２は、本発明の第２の実施形態の構成を図。 図１３は、第２の実施形態のノイズ低減調整部の構成図。 図１４は、第２の実施形態の周波数フィルタリング処理部の構成図。 図１５は、フーリエスペクトルを示す図。 図１６は、バンドパスフィルタのフィルタ特性を示す図。 図１７は、フーリエスペクトルとバンドパスフィルタの積のフィルタ特性を示す図。 図１８は、バイラテラルフィルタ処理の形態例を示す図。 図１９Ａは、画像信号の特性例を示す図。 図１９Ｂは、画像信号の特性例を示す図。 図１９Ｃは、バンドパスフィルタにより周波数成分が分離された画像信号の特性例を示す図。 図１９Ｄは、バンドパスフィルタにより周波数成分が分離された画像信号の特性例を示す図。 図２０は、第２の実施形態の変形例のノイズ低減調整部の構成図。 図２１は、色領域での判断の説明図。 図２２は、第２の実施形態のノイズ低減調整部の動画像ノイズ低減処理プログラム部分のフローチャート。 図２３は、第２実施形態のノイズ低減調整部の動画像ノイズ低減処理プログラム部分の変形例のフローチャート。

符号の説明

１…動画像ノイズ低減処理装置、２…取得部、５…特徴画素検出部、６…ノイズ低減制御部、５Ａ…周波数成分取得部、５Ｂ…フィルタ適用部、６Ａ…混合率設定部、６Ｂ…画像混合処理部、９７…動画像撮像装置、９８…動画像撮像部、９９…動画像ノイズ低減処理部、１００…レンズ系、１０２…ＣＣＤ、１０３…アンプ、１０４…Ａ／Ｄ変換器、１０５…バッファー部、１０６…空間ノイズ低減部、１０７…時間ノイズ低減部、１０８、１１８…ノイズ低減調整部、１０９…過去バッファー部、１１０…出力部、１１１…ＲＯＭ、１１２…制御部、１１３…外部Ｉ／Ｆ部、１１４…温度センサー部、１１５…ＲＡＭ、２０１…空間ノイズ量検出部、２０２…空間ノイズ除去処理部、３０１…時間ノイズ量検出部、３０２…時間ノイズ除去処理部、４０１…類似度検出部、４０２…平均値算出部、４０３…gain算出部、４０４…パラメータ選択部、４０５…補間部、４０６…補正部、５０１…エッジ検出部、５０２、５１２…ノイズ低減実行部、５１１…周波数フィルタリング処理部、５１１１…フーリエ変換部、５１１２…フィルタリング実行部、５１１３…フーリエ逆変換部

Claims (19)

1. 複数の画像信号を時系列的に取得する取得部と、
   前記取得された複数の画像信号のうち一の画像信号内の注目画素の画素値と、前記一の画像信号内の注目画素の周囲に位置する周囲画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を空間方向のノイズ低減処理として行う空間ノイズ低減部と、
   前記一の画像信号内の注目画素の画素値と、前記一の画像信号とは異なる他の画像信号内の画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を時間方向のノイズ低減処理として行う時間ノイズ低減部と、
   前記一の画像信号内に含まれる各画素の特徴量を用いて、前記一の画像信号から目的の特徴を有する特徴画素を検出する特徴画素検出部と、
   前記特徴画素検出部による検出結果に基づき、前記注目画素の画素値を制御するノイズ低減制御部と、
   を有することを特徴とする動画像ノイズ低減処理装置。
2. 前記特徴画素検出部は、
   前記一の画像信号を周波数空間に変換することによって得た周波数信号の周波数成分を前記特徴量として取得する周波数成分取得部を備え、
   前記特徴画素検出部は、前記取得された周波数成分を用いて、前記特徴画素を検出することを特徴とする請求項１に記載の動画像ノイズ低減処理装置。
3. 前記特徴画素検出部は、
   前記取得された周波数成分に対して、ローパスフィルタ、ハイバスフィルタ及びバンドパスフィルタの中の少なくとも一つ以上のフィルタを適用するフィルタ適用部を備え、
   前記特徴画素検出部は、前記少なくとも一つ以上のフィルタが適用された後の周波数成分を用いて、前記特徴画素を検出することを特徴とする請求項２に記載の動画像ノイズ低減処理装置。
4. 前記目的の特徴は、エッジ成分であることを特徴とする請求項１から３のいずれかに記載の動画像ノイズ低減処理装置。
5. 前記特徴画素検出部は、前記特徴量である色情報を用いて、前記特徴画素を検出することを特徴とする請求項１から４のいずれかに記載の動画像ノイズ低減処理装置。
6. 前記ノイズ低減制御部は、
   前記空間方向のノイズ低減後の画素の画素値と前記時間方向のノイズ低減後の画素の画素値との混合割合を示す混合率を設定する混合率設定部と、
   前記設定された混合率が示す混合割合に基づいて、前記空間方向のノイズ低減後の画素の画素値と前記時間方向のノイズ低減後の画素の画素値とを混合する画像混合処理部と、
   を備え、
   前記ノイズ低減制御部は、前記空間方向のノイズ低減後の画素の画素値と前記時間方向のノイズ低減後の画素の画素値とを混合することによって、前記注目画素の画素値を制御することを特徴とする請求項１から５のいずれかに記載の動画像ノイズ低減処理装置。
7. 前記ノイズ低減制御部はさらに、前記注目画素が前記特徴画素であるか否かに応じて、前記混合率を制御することを特徴とする請求項６に記載の動画像ノイズ低減処理装置。
8. 前記混合率設定部は、前記注目画素が前記特徴画素である場合、前記時間方向のノイズ低減後の画素の画素値に対する混合割合を、前記空間方向のノイズ低減後の画素の画素値に対する混合割合よりも相対的に大きくした混合率を設定することを特徴とする請求項６に記載の動画像ノイズ低減処理装置。
9. 前記混合率設定部は、前記注目画素が前記特徴画素でない場合、前記空間方向のノイズ低減後の画素の画素値に対する混合割合を、前記時間方向のノイズ低減後の画素の画素値に対する混合割合よりも相対的に大きくした混合率を設定することを特徴とする請求項６に記載の動画像ノイズ低減処理装置。
10. 前記混合率設定部は、
    前記時間方向の画像信号内に含まれる動き成分の値の大きさに応じて、前記混合率を設定することを特徴とする請求項６に記載の動画像ノイズ低減処理装置。
11. 前記空間ノイズ低減部は、
    画像信号内の画素の画素値とその画素が有すべきノイズ量との対応関係を示したノイズモデルに基づき、前記一の画像信号内の前記注目画素のノイズ量を算出する空間ノイズ量検出部と、
    前記空間ノイズ量検出部により検出されたノイズ量を用いて、前記一の画像信号内の前記注目画素のノイズ除去処理を行う空間ノイズ除去処理部と、
    を有し、
    前記空間ノイズ低減部は、前記空間ノイズ除去処理部によるノイズ除去処理を行うことによって、前記空間方向のノイズ低減処理を行うことを特徴とする請求項１に記載の動画像ノイズ低減処理装置。
12. 前記時間ノイズ低減部は、
    画像信号内の画素の画素値とその画素が有すべきノイズ量との対応関係を示したノイズモデルに基づき、前記一の画像信号内の前記注目画素のノイズ量を算出する時間ノイズ量検出部と、
    前記時間ノイズ量検出部により検出されたノイズ量を用いて、前記一の画像信号内の前記注目画素のノイズ除去処理を行う時間ノイズ除去処理部と、
    を有し、
    前記時間ノイズ低減部は、前記時間ノイズ除去処理部によるノイズ除去処理を行うことによって、前記時間方向のノイズ低減処理を行うことを特徴とする請求項１に記載の動画像ノイズ低減処理装置。
    
13. 前記時間ノイズ量検出部は、
    前記一の画像信号内の前記注目画素の画素値に応じた値である代表値を推定する代表値推定部と、
    前記画像信号の取得の用に供した撮像素子の温度または前記画像信号に対するゲインに関する情報を収集する収集部と、
    前記代表値推定部により推定された代表値及び前記収集部からの情報を用いて、前記ノイズモデルに基づき前記注目画素のノイズ量を算出する時間ノイズ量算出部と、
    を有することを特徴とする請求項１２に記載の動画像ノイズ低減処理装置。
14. 前記代表値推定部は、
    前記一の画像信号内の注目画素の画素値と、前記一の画像信号とは異なる他の画像信号内の画素の画素値とを平均した値を前記代表値として算出する平均値算出部を有することを特徴とする請求項１３に記載の動画像ノイズ低減処理装置。
15. 前記代表値推定部は、前記他の画像信号内の画素として、前記他の画像信号内において、前記一の画像信号内における前記注目画素の配置位置と略同一の位置に配置されている画素を選択することを特徴とする請求項１４に記載の動画像ノイズ低減処理装置。
16. 前記代表値推定部は、前記他の画像信号内の画素として、前記一の画像信号内の前記注目画素の画素値との差分が所定の閾値以下に収まる画素値を有する画素を選択することを特徴とする請求項１４に記載の動画像ノイズ低減処理装置。
17. 前記一の画像信号内の注目画素は、前記一の画像信号内の複数の画素のそれぞれであり、
    前記ノイズ低減制御部は、前記複数の画素のそれぞれについて、前記注目画素の画素値を制御することを特徴とする請求項１に記載の動画像ノイズ低減処理装置。
18. 複数の画像信号を時系列的に取得する取得ステップと、
    前記取得された複数の画像信号のうち一の画像信号内の注目画素の画素値と、前記一の画像信号内の注目画素の周囲に位置する周囲画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を空間方向のノイズ低減処理として行う空間ノイズ低減ステップと、
    前記一の画像信号内の注目画素の画素値と、前記一の画像信号とは異なる他の画像信号内の画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を時間方向のノイズ低減処理として行う時間ノイズ低減ステップと、
    前記一の画像信号内に含まれる各画素の特徴量を用いて、前記一の画像信号から目的の特徴を有する特徴画素を検出する特徴画素検出ステップと、
    前記特徴画素検出ステップによる検出結果に基づき、前記注目画素の画素値を制御するノイズ低減制御ステップと、
    をコンピュータに実行させることを特徴とする動画像ノイズ低減処理プログラム。
19. 複数の画像信号を時系列的に取得する取得ステップと、
    前記取得された複数の画像信号のうち一の画像信号内の注目画素の画素値と、前記一の画像信号内の注目画素の周囲に位置する周囲画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を空間方向のノイズ低減処理として行う空間ノイズ低減ステップと、
    前記一の画像信号内の注目画素の画素値と、前記一の画像信号とは異なる他の画像信号内の画素の画素値とを用いて、前記一の画像信号内の注目画素に対するノイズ低減処理を時間方向のノイズ低減処理として行う時間ノイズ低減ステップと、
    前記一の画像信号内に含まれる各画素の特徴量を用いて、前記一の画像信号から目的の特徴を有する特徴画素を検出する特徴画素検出ステップと、
    前記特徴画素検出ステップによる検出結果に基づき、前記注目画素の画素値を制御するノイズ低減制御ステップと、
    を有することを特徴とする動画像ノイズ低減処理方法。