JP2009021772A - 画像処理装置、画像処理方法、および画像処理プログラム。 - Google Patents

Abstract

【課題】効果的にノイズ低減が行え解像度低下を抑える画像処理装置を提供する。
【解決手段】処理対象フレーム画像の過去と未来のフレーム画像と、記録されたフレーム画像を抽出する第１の画素抽出手段と、過去のフレーム画像と未来のフレーム画像を抽出する第２の画素抽出手段と、第１の画素抽出手段で抽出された所定領域内の注目画素と所定領域の複数画素、および第２の画素抽出手段で抽出された所定領域に対応する複数画素との時空間距離を算出する第１の距離算出手段と、第１の画素抽出手段で抽出された所定領域内の注目画素の画素値と、第１の画素抽出手段で抽出された所定領域の複数画素の画素値および第２の画素抽出手段で抽出された所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出手段と、第１と第２の距離算出手段で算出された画素距離とに基づいて、処理対象フレーム画像をノイズ低減する手段を備える。
【選択図】図１

Description

本発明は、動画像信号に対してノイズ低減処理を行う画像処理装置、画像処理方法、および画像処理プログラムに関するものである。

動画像信号は、指定時間間隔で撮像されたフレーム（フィールド）が複数集まって構成された信号であり、一般に各フレーム（フィールド）はフレーム内（フィールド内）の局所空間に対する相関を持ち、また隣接フレーム（フィールド）はフレーム間（フィールド間）での局所時間に対する相関を持った信号として仮定できる。

このような動画像信号は、主にＣＣＤやＣＭＯＳ等の撮像素子を備えたビデオカメラにて任意の被写体を撮像する事で得られる。具体的には、撮像素子上に結像した被写体像を、画素単位で光電変換した信号として所定順に出力し、出力したアナログ画像信号を所定ゲイン量で増幅した後、Ａ／Ｄ変換によりデジタル画像信号に変換して所定の画像処理するのが一般的である。

このようなビデオカメラにおいては、撮像素子の特性により撮像画像にノイズが重畳する。このノイズは特に光電変換の性質に起因するショットノイズが大勢を占める。ここで、ショットノイズは画像信号値の平方根に比例する平均振幅を持ち、一般に時間方向、及び空間方向に対してランダムなノイズとなる。このノイズは、撮像素子への結像光量が不足する場合にゲイン量を持ち上げると、より顕著に現れる。

従来、このようなランダムノイズが重畳された動画像信号に対するノイズ低減処理として、空間相関を利用したフレーム内（フィールド内）ノイズ低減処理と、時間相関を利用したフレーム間（フィールド間）ノイズ低減処理とが種々提案されている。

上記の時間相関を利用したノイズ低減処理は、ノイズ低減後のフレームを過去フレームとして利用する巡回型ノイズ低減処理が、大きなノイズ低減量を得ることができる方法として知られている。但し、この方法は、過去のフレームとの相関を前提とした方法である為、過去のフレームとの間でシーンチェンジや動きが大きなシーンに対して同様の処理を行うと、前のフレームの画像が現在のフレームに重畳されて残像が発生するという問題がある。一方、残像を低減させるように制御すると、十分なノイズ低減効果が期待できないという問題がある。

その対策として、フレーム内相関とフレーム間相関を共に利用して、動きが大きなシーンに対してもノイズ低減能力を向上させるノイズ低減処理が、例えば特許文献１に示されている。

このノイズ低減システムは、１フレームまたは１フィールド遅延させる為の画像メモリが設けられ、新たに入力された中心画素データと、この中心画素データの近傍の画素データと、画像メモリに記録されている既にノイズ低減された１フレームまたは１フィールド前の画像データにおける前記中心画素データの近傍の画素データと、に対して非線形フィルタ処理を行うことによって、ノイズ低減画素データを出力するものである。ここで、非線形フィルタ処理とは、前記中心画素データ値と相関が高い近傍画素のデータに対しては大きな重み係数を割り当て、逆に相関が低い画素には小さな重み係数を割り当てて加重平均するというものである。

上記方法によれば、フレーム内相関とフレーム間相関の両方を利用したノイズ低減が行うことが可能となる。特に、撮像画像が静止状態にある場合には、加重平均に使用する１フレーム前または１フィールド前の画素及び現フィールド画素で重み係数の大きな画素が増えるため、平均化に寄与する画素数が増える。その結果、効果的にノイズ低減を行うことが可能となる。また、撮像画像に大きな動きがある場合やシーンチェンジがある場合には、１フレーム前または１フィールド前の画素よりも現フィールド画素に大きな重み係数が与えられるため、現フィールド画素を主とした加重平均がなされる。その結果、ノイズ低減量は静止状態にある場合よりも小さくはなるが、単純に現在フレームと過去フレームとの同一位置の画素を用いた巡回型ノイズ低減処理に比べると、大きなノイズ低減効果を得ることが可能となる。
特開平６−６２２８３号公報

上記の従来技術のような時間相関を用いたノイズ低減処理は、動きが大きなシーンやシーンチェンジに対しては、フィールド内を主に用いたノイズ低減処理に実質的に切り替わることとなる。従って、静止領域から急に動領域に変化した場合やシーンチェンジ直後では、ノイズ低減量は低下してしまう。さらに、動領域から静止領域に戻っても直ぐには安定的なノイズ低減量を得ることはできず、安定的なノイズ低減量を得るまでには数フレーム期間の時間遅延がかかってしまう。つまり、時間相関を利用した巡回型ノイズ低減処理を用いて大きなノイズ低減量を得ようとすると、入力動画像に依存してノイズ量が大きく時間変動するという問題が発生することになる。

本発明は、上記問題に鑑みてなされたもので、ノイズレベルが安定した状態を保ちつつ、効果的にノイズ低減が行えると共に解像度低下を最小限に抑える事を可能とする画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明に係る画像処理装置は、時系列で入力されるフレーム画像あるいはフィールド画像のノイズを低減処理する画像処理装置であって、処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録手段と、前記記録手段によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出手段と、前記記録手段によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出手段と、前記第１の画素抽出手段で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出手段で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出手段と、前記第１の画素抽出手段で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出手段で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出手段で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出手段と、前記第１の距離算出手段によって算出された前記時空間距離と前記第２の距離算出手段によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減手段と、を備えることを特徴とする。

本発明によれば、フレーム内における空間的な相関と、過去フレームと現在フレームとの間および現在フレームと未来フレームとの間における時間的な相関とを利用して動画像信号のノイズ低減処理を行う。これにより、時間相関の変動にノイズ低減量が敏感に反応してしまうことを抑制し、解像度低下を抑えつつ安定的なノイズ低減が可能となる。

本発明に係る画像処理プログラムは、時系列で入力されるフレーム画像あるいはフィールド画像のノイズの低減処理をコンピュータに実行させる画像処理プログラムであって、処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録処理と、前記記録処理によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出処理と、前記記録処理によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出処理と、前記第１の画素抽出処理で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出処理で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出処理と、前記第１の画素抽出処理で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出処理で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出処理で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出処理と、前記第１の距離算出処理によって算出された前記時空間距離と前記第２の距離算出処理によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減処理と、をコンピュータに実行させることを特徴とする。

本発明に係る画像処理方法は、時系列で入力されるフレーム画像あるいはフィールド画像のノイズを低減処理する画像処理方法であって、処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録工程と、前記記録工程によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出工程と、前記記録工程によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出工程と、前記第１の画素抽出工程で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出工程で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出工程と、前記第１の画素抽出工程で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出工程で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出工程で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出工程と、前記第１の距離算出工程によって算出された前記時空間距離と前記第２の距離算出工程によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減工程と、を有することを特徴とする。

本発明によれば、動画像信号をノイズ低減する場合に発生する時間相関の変動にノイズ低減量が敏感に反応してしまうのを抑制し、解像度低下を抑えつつ時間変動の少ない安定的なノイズ低減が可能となる。

［第１の実施形態］
以下に、本発明の第１の実施形態に係る画像処理装置について、図面を参照して説明する。
図１は、本発明の第１の実施形態についての基本構成を示す機能ブロック図であり、以下に詳細を説明する。
本実施形態に係る画像処理装置は、スイッチ１０１と、フレームメモリ１０２、フレームメモリ１０３、スイッチ１０４、スイッチ１０５、フレームメモリ１０９、フレームメモリ１１０、およびＮラインメモリ１０６からなるメモリ群（記録手段）と、ノイズ低減部（ノイズ低減手段）１０７と、スイッチ１０８と、スイッチ１１１と、制御部１１２と、ブロック抽出部（第１の画素抽出手段）１１３と、ブロック抽出部（第２の画素抽出手段）１１４と、を備えている。

上記構成を有する画像処理装置における信号の流れについて以下に説明する。
不図示の撮像部の撮像素子で撮像されデジタル化された動画像信号は、スイッチ１０１に入力される。ここで、スイッチ１０１は、制御部１１２の制御信号によって、フレーム期間毎にフレームメモリ１０２、或いはフレームメモリ１０３に対して交互に接続する。したがって、スイッチ１０１に入力した動画像信号は、フレーム期間毎にフレームメモリ１０２、或いはフレームメモリ１０３に格納される。

なお、動画像信号は、モノクロ信号でも良いし、カラー信号でも良く、カラー信号の場合は１画素複数色（一般には３色）からなる同時化された信号であっても、単板撮像素子で撮像された同時化前の１画素１色からなる信号でも良い。以降の説明では、動画像信号は単色信号であるとして説明するが、カラー信号の場合は、１つの色信号毎に以下に説明した処理を行う必要がある。

フレームメモリ１０２は、スイッチ１０４およびスイッチ１０５に接続されている。また、フレームメモリ１０３も、スイッチ１０４およびスイッチ１０５に接続されている。
スイッチ１０４とスイッチ１０５は、それぞれＮラインメモリ１０６とブロック抽出部１１４にそれぞれ接続されている。ここで、制御部１１２は、スイッチ１０４およびスイッチ１０５の出力信号をフレーム期間毎に切り替えるように、スイッチ１０４およびスイッチ１０５を制御する。具体的には、フレームメモリ１０２がスイッチ１０４を介してＮラインメモリ１０６に接続されると、フレームメモリ１０３はスイッチ１０５を介してブロック抽出部１１４に接続されることとなる。逆に、フレームメモリ１０２がスイッチ１０５を介してブロック抽出部１１４に接続されると、フレームメモリ１０３はスイッチ１０４を介してＮラインメモリ１０６に接続されることとなる。

Ｎラインメモリ１０６には、フレーム１０２或いはフレームメモリ１０３から、ノイズ低減処理対象画素の上下所定ライン数分の画素が一時格納される。Ｎラインメモリ１０６は、ブロック抽出部１１３を介してノイズ低減部１０７の入力に接続されている。

ノイズ低減部１０７の入力には、ブロック抽出部１１３と、ブロック抽出部１１４と、制御部１１２とが接続されている。ノイズ低減部１０７は、ブロック抽出部１１３から出力される処理対象フレームの所定領域画素と、ブロック抽出部１１４から出力されるフレームメモリ１０２或いはフレームメモリ１０３に格納されている時間的に未来のフレーム画像の所定領域画素と、フレームメモリ１０９或いはフレームメモリ１１０に格納されている時間的に過去のフレーム画像の所定領域画素と、制御部１１２からの制御信号とに基づいて、処理対象画素に対するノイズ低減処理を行う。そして、算出したノイズ低減画素を出力信号として出力する。ここで、ブロック抽出部１１３とブロック抽出部１１４から出力される所定領域は、各フレームで空間的に同一の抽出位置となる。

また、ノイズ低減部１０７の出力は、スイッチ１０８と、Ｎラインメモリ１０６とに接続されている。
Ｎラインメモリ１０６への出力信号は、Ｎフレームメモリ１０６に格納されているノイズ低減前の処理対象画素値をノイズ低減画素で上書きするのに使われる。これにより、現在フレームに対してもノイズ低減後の画素を使用する巡回型フィルタを形成できるようになるので、より効果的にノイズを低減することができる。

スイッチ１０８は、制御部１１２の制御信号によって、フレーム期間毎にフレームメモリ１０９、或いはフレームメモリ１１０に接続が切り替えられる。これにより、ノイズ低減部１０７にて算出されたノイズ低減画素が、対応するフレームメモリ１０９、或いはフレームメモリ１１０に記録される。ここで、上記ノイズ低減画素が記録されるフレームメモリは、ブロック抽出部１１４にて抽出する過去フレームが格納されているフレームメモリとは異なるフレームメモリとなる。

スイッチ１１１は、制御部１１２の制御信号によって、フレーム期間毎にフレームメモリ１０９とフレームメモリ１１０とに切り替えて接続される。ここで、制御部１１２は、スイッチ１０８とスイッチ１１１とを関係付けて各スイッチの切り替えを制御する。具体的には、スイッチ１０８がフレームメモリ１０９に接続された場合は、フレームメモリ１１０がスイッチ１１１と接続される。一方、スイッチ１０８がフレームメモリ１１０に接続された場合は、フレームメモリ１０９がスイッチ１１１と接続される。

スイッチ１１１からの出力信号は、ブロック抽出部１１４に入力される。ブロック抽出部１１４では、処理対象画素に対応する周辺領域の複数画素が抽出される。

制御部１１２は、予め設定された目標ノイズ低減量をノイズ低減部１０７に出力するとともに、スイッチ１０１、１０４、１０５、１０８、１１１を上記説明したように連動制御する制御信号を出力する。

図３は、ノイズ低減部１０７にて処理する処理対象画素とその周辺画素からなる３次元ブロック（Ｎ_ｘ×Ｎ_ｙ×Ｎ_ｔ画素）の構造を示した模式図である。以下に、図３を用いて３次元ブロックとその領域内の画素Ｐ（ｒ，ｔ）に対する定義を説明する。

ノイズ低減部１０７にて処理する３次元ブロックは、現在フレーム（時刻ｔ_０）の処理対象画素Ｐ（ｒ_０，ｔ_０）とその周辺領域画素Ｐ（ｒ，ｔ_０）からなるＮ_ｘ×Ｎ_ｙ画素の現在ブロック３０２と、過去フレーム（時刻ｔ_０−１）の画素Ｐ（ｒ_０，ｔ_０−１）とその周辺領域画素Ｐ（ｒ，ｔ_０−１）からなるＮ_ｘ×Ｎ_ｙ画素の過去ブロック３０１と、未来フレーム（時刻ｔ_０＋１）の画素Ｐ（ｒ_０，ｔ_０＋１）とその周辺領域画素Ｐ（ｒ，ｔ_０＋１）からなるＮ_ｘ×Ｎ_ｙ画素の未来ブロック３０３とからなる。ここで、ｒは各フレーム内の原点をｒ_０としたときの位置ベクトルを意味し、ｒ＝（ｘ，ｙ）、ｒ_０＝（ｘ_０，ｙ_０）であり、ここではＮ_ｔ＝３の場合を示しているが、Ｎ_ｔは２以上の整数であれば良い。

また、フィールドインターレース信号で考えると、過去ブロックおよび未来ブロックには、現在ブロックと空間的に同一位置の画素は存在しない。しかし、処理対象画素Ｐ（ｒ_０，ｔ_０）とその周辺領域画素Ｐ（ｒ，ｔ_０）からなるＮ_ｘ×Ｎ_ｙ画素を現在ブロックとすれば、過去フィールド（時刻ｔ_０−１）の画素Ｐ（ｒ_０’，ｔ_０−１）とその周辺領域画素Ｐ（ｒ’，ｔ_０−１）からなるＮ_ｘ×Ｎ_ｙ画素を過去ブロックとし、未来フィールド（時刻ｔ_０＋１）の画素Ｐ（ｒ_０’，ｔ_０＋１）とその周辺領域画素Ｐ（ｒ’，ｔ_０＋１）からなるＮ_ｘ×Ｎ_ｙ画素を未来ブロックと定義できる。フィールドの場合、現在ブロックと過去ブロックと未来ブロックは厳密には１ライン分空間的にずれているが、以下の説明ではｒ＝ｒ’、つまり同一位置として説明する。

図２は、ノイズ低減部１０７の詳細ブロック図であり、上記３次元ブロックの定義に基づいてその詳細を説明する。
ノイズ低減部１０７は、過去ブロックメモリ２０１、未来ブロックメモリ２０２、現在ブロックメモリ２０３、距離算出部（第１の距離算出手段および第２の距離算出手段）２０４、フレーム間相関算出部（フレーム間相関量算出手段）２０５、修正係数算出部（修正係数算出手段）２０６、フィルタ係数算出部（重み係数算出手段）２０７、フィルタ処理部（加重平均値算出手段）２０８、およびノイズ低減量算出部（ノイズ低減量算出手段）２０９を備えている。

上記構成を有するノイズ低減部１０７における信号の流れについて以下に説明する。
ブロック抽出部１１３からは、処理対象画素Ｐ（ｒ_０，ｔ_０）とその周辺領域Ｎ_ｘ×Ｎ_ｙからなる現在ブロック３０２が出力され、現在ブロックメモリ２０３に格納される。また、ブロック抽出部１１４からは、処理対象画素Ｐ（ｒ_０，ｔ_０）と空間的に同一位置であるＰ（ｒ_０，ｔ_０−１）とその周辺領域Ｎ_ｘ×Ｎ_ｙからなる過去ブロック３０１が出力され、過去ブロックメモリ２０１に格納される。更に、ブロック抽出部１１４からは、処理対象画素Ｐ（ｒ_０，ｔ_０）と空間的に同一位置であるＰ（ｒ_０，ｔ_０＋１）とその周辺領域Ｎ_ｘ×Ｎ_ｙからなる未来ブロック３０３が出力され、未来ブロックメモリ２０２に格納される。

３つのブロックメモリ２０１、２０２、および２０３に格納された３次元ブロックの画素データは、距離算出部２０４、フレーム間相関算出部２０５、及びフィルタ処理部２０８に出力される。また、現在ブロックメモリ２０３の画素データは、さらに修正係数算出部２０６に出力される。

距離算出部２０４では、入力された３つのブロックメモリ２０１、２０２、および２０３に格納されている画素位置（ｒ，ｔ）と、ブロックメモリ２０３に記録されている処理対象画素となる位置（ｒ_０，ｔ_０）とから、以下のような時空間距離Ｄｓを算出する。
ｔ≧ｔ_０の場合 Ｄｓ＝α_１｜ｔ−ｔ_０｜＋β｜ｒ−ｒ_０｜
ｔ＜ｔ_０の場合 Ｄｓ＝α_２｜ｔ−ｔ_０｜＋β｜ｒ−ｒ_０｜

ここで、α_１とα_２とβは、予め決定された０以上の係数であり、｜｜は絶対値を表す。また、｜ｒ−ｒ_０｜＝√｛（ｘ−ｘ_０）^２＋（ｙ−ｙ_０）^２｝である。なお、空間距離｜ｒ−ｒ_０｜の計算は、ブロックサイズ（Ｎ_ｘ×Ｎ_ｙ）が予め決定されている場合には、計算結果を予めＲＯＭテーブル（未図示）に格納しておく事が可能である。

また、α_１は未来ブロックの時間を距離に変換する係数を示し、α_２は過去ブロックの時間を距離に変換する係数を示す。ここで、過去ブロックは既にノイズ低減された画素からなり、未来ブロックはまだノイズ低減されていない画素からなる。そのため、フィルタ係数算出部２０７にて決定される各画素の重み係数を、未来ブロックよりも過去ブロックに対して予め大きな重みを設定することによって、ノイズ低減効果を向上させる事が可能である。

また、距離算出部２０４では、入力された３つのブロックメモリ２０１、２０２、および２０３に格納されている位置（ｒ，ｔ）の画素値Ｐ（ｒ，ｔ）と、現在ブロックメモリ２０３に記録されているノイズ低減処理の対象位置（ｒ_０，ｔ_０）での画素値Ｐ（ｒ_０，ｔ_０）とから、以下の計算式に基づいて画素値間距離Ｄｖを算出する。
Ｄｖ＝｜Ｐ（ｒ，ｔ）−Ｐ（ｒ_０，ｔ_０）｜

距離算出部２０４では、上記のＤｓとＤｖとを乗算し、３次元ブロック内の画素Ｐ（ｒ，ｔ）の処理対象画素Ｐ（ｒ_０，ｔ_０）に対する距離Ｄ＝Ｄｓ×Ｄｖを算出し、フィルタ係数算出部２０７に出力する。

フレーム間相関算出部２０５は、入力された３つのブロックメモリ２０１、２０２、および２０３に格納されている画素の画素値Ｐ（ｒ，ｔ）を用いて、現在ブロック３０２と過去ブロック３０１とのフレーム間相関値Ｓ_ｐと、現在ブロック３０２と未来ブロック３０３とのフレーム間相関値Ｓ_ｆとを以下のように算出し、修正係数算出部２０６に出力する。
Ｓ_ｐ＝Σ_ｒ｜Ｐ（ｒ，ｔ_０−１）−Ｐ（ｒ，ｔ_０）｜
Ｓ_ｆ＝Σ_ｒ｜Ｐ（ｒ，ｔ_０＋１）−Ｐ（ｒ，ｔ_０）｜
ここで、Σ_ｒはブロックＮ_ｘ×Ｎ_ｙ内での総和を示す。

修正係数算出部２０６には、ノイズ低減量算出部２０９とフレーム間相関算出部２０５と制御部１１２と現在ブロックメモリ２０３とフィルタ係数算出部２０７とが接続されている。修正係数算出部２０６には、ノイズ低減量算出部２０９にて算出されたフレーム平均ノイズ低減量ＮＲ_ａｖｅと、制御部１１２から出力される目標ノイズ低減量ＮＲ_{ｔａｒｇｅｔ}と、フレーム間相関算出部２０５から出力される現在ブロック３０２と過去ブロック３０１との相関値Ｓ_ｐと、フレーム間相関算出部２０５から出力される現在ブロック３０２と未来ブロック３０３との相関値Ｓ_ｆと、現在ブロックメモリ２０３に格納されている画素データとが入力される。修正係数算出部２０６は、これら入力データを用いてフィルタ係数算出部２０７で算出されるフィルタ係数の修正係数Ｔ_ｉ（ここでｉ＝ｐ，ｃ，ｆ）を算出する。

修正係数Ｔ_ｉは、現在ブロック３０２、過去ブロック３０１、および未来ブロック３０３に対して、それぞれ１つの係数Ｔ_ｐ、Ｔ_ｃ、Ｔ_ｆであって、この修正係数Ｔ_ｉはフィルタ係数算出部２０７へ出力される。なお、ここでは３つのフレームからなる３次元ブロックを例にしたが、任意のＮフレームからなる３次元ブロックとしても良い。この場合には、Ｎ個の係数Ｔ_ｉが算出され、フィルタ係数算出部２０７に出力される。

フィルタ係数算出部２０７には、距離算出部２０４から出力される距離Ｄと、修正係数算出部２０６から出力される補正係数Ｔ_ｐ、Ｔ_ｃ、Ｔ_ｆとが入力される。フィルタ係数算出部２０７は、これらのデータを用いて、現在ブロックメモリ２０３、過去ブロックメモリ２０１、および未来ブロックメモリ２０２に格納されている画素Ｐ（ｒ，ｔ）に対応するフィルタ係数Ｃ（ｒ，ｔ）を算出し、フィルタ処理部２０８に出力する。

フィルタ処理部２０８は、３つのブロックメモリ２０１、２０２、および２０３に格納されている画素Ｐ（ｒ，ｔ）を予め決められた順番に読み出す。そして、読み出した画素Ｐ（ｒ，ｔ）と、フィルタ係数算出部２０７から出力されたフィルタ係数Ｃ（ｒ，ｔ）とで積和演算を行い、ノイズ低減画素Ｐ_ｎ（ｒ_０，ｔ_０）を算出して出力する。

ノイズ低減量算出部２０９には、フィルタ処理部２０８で算出され、出力されたノイズ低減画素Ｐ_ｎ（ｒ_０，ｔ_０）と、現在ブロックメモリ２０３からの処理対象画素Ｐ（ｒ_０，ｔ_０）とが入力される。ノイズ低減量算出部２０９は、２つの画素値の差分絶対値｜Ｐ_ｎ（ｒ_０，ｔ_０）−Ｐ（ｒ_０，ｔ_０）｜を算出して、この差分絶対値を１フレーム分積算する。そして、１フレーム分の処理が終了した時点で、以下のようにフレーム平均ノイズ低減量ＮＲ_ａｖｅを算出し、修正係数算出部２０６に出力する。
ＮＲ_ａｖｅ＝Σ_ｒ０｜Ｐ_ｎ（ｒ_０，ｔ_０）−Ｐ（ｒ_０，ｔ_０）｜／フレーム内総画素数
ここで、上記例ではＮＲ_ａｖｅは平均値としたが、フレーム内総画素数が変化しない装置においては差分絶対値の和で代用しても良い。

続いて、修正係数算出部２０６の詳細について、図６の機能ブロックに基づいて説明する。
修正係数算出部２０６において、減算器６０１には、ノイズ低減量算出部２０９から出力されるフレーム平均ノイズ低減量ＮＲ_ａｖｅと、制御部１１２から出力される目標ノイズ低減量ＮＲ_{ｔａｒｇｅｔ}が入力される。減算器６０１は、これらの入力値を減算し、減算した値である低減誤差量Ｅｒ＝ＮＲ_ａｖｅ―ＮＲ_{ｔａｒｇｅｔ}を基準修正係数決定部６０２に出力する。

基準修正係数決定部６０２では、入力された低減誤差量Ｅｒに基づいて基準修正係数Ｔ_ｂａｓｅを決定する。例えば、閾値をＴＨとした場合に、以下のような閾値判定により３段階に変化させる。
Ｅｒ＞ＴＨの場合 基準修正係数Ｔ_ｂａｓｅ＝Ｖ_１
ＴＨ≧Ｅｒ≧−ＴＨの場合 基準修正係数Ｔ_ｂａｓｅ＝Ｖ_２
Ｅｒ＜−ＴＨの場合 基準修正係数Ｔ_ｂａｓｅ＝Ｖ_３
ここで、Ｖ_１、Ｖ_２、およびＶ_３は、Ｖ_１＜Ｖ_２＜Ｖ_３となるように、予め決定された係数である。

つまり、Ｅｒの絶対値が閾値ＴＨ以下の場合には標準の基準修正係数Ｖ_２を、Ｅｒが閾値ＴＨより大きくなった場合には標準よりも小さな基準修正係数Ｖ_１を、Ｅｒが閾値ＴＨの負値より小さい場合には標準よりも大きな基準修正係数Ｖ_３を乗算器６０５に出力する。

一方、現在ブロックメモリ２０３から出力された現在ブロック３０２が、平均値算出部６０３に入力される。平均値算出部６０３は、現在ブロック３０２の平均画素値を算出し、ＬＵＴ＿Ｖ６０４に出力する。ＬＵＴ＿Ｖ６０４は、平均画素値に対する基準修正係数の補正値Ｒｖに変換し、乗算器６０５に出力する。

ここで、前記平均画素値と基準修正係数補正値Ｒｖとの関係の一例を図４に示す。
図４の例では、画素値が小さい場合は基準修正係数補正値Ｒｖが１より大きく、画素値が大きくなるに従って基準修正係数補正値Ｒｖが１より小さくなることが示されている。つまり、暗い領域では基準修正係数がより大きくなることによってノイズ低減量を重視した設定となり、明るい領域では逆に基準修正係数をより小さくすることによって解像度を重視した設定となる。なお、画素値によらず、補正値Ｒｖ＝１として基準修正係数を画素値に依存させないようにしても良い。

乗算器６０５は、基準修正係数Ｔ_ｂａｓｅと上記補正値Ｒｖとを乗算し、乗算器６０７に出力する。

一方、フレーム間相関算出部２０５から出力される過去ブロック３０１と現在ブロック３０２とのフレーム間相関値Ｓ_ｐと、未来ブロック３０３と現在ブロック３０２とのフレーム間相関値Ｓ_ｆとが修正係数比率算出部６０６に入力される。修正係数比率算出部６０６は、過去ブロック３０１、現在ブロック３０２、未来ブロック３０３に対する比率Ｒ_ｐ、Ｒ_ｃ、Ｒ_ｆについて、例えば、以下のような割り当てを行う。
Ｓ_ｐ≦ＴＨ_ｐ、且つ、Ｓ_ｆ≦ＴＨ_ｆの場合 Ｒ_ｐ＝Ｒ_ｃ＝Ｒ_ｆ
Ｓ_ｐ≦ＴＨ_ｐ、且つ、Ｓ_ｆ＞ＴＨ_ｆの場合 Ｒ_ｐ＝Ｒ_ｃ＞Ｒ_ｆ
Ｓ_ｐ＞ＴＨ_ｐ、且つ、Ｓ_ｆ≦ＴＨ_ｆの場合 Ｒ_ｐ＜Ｒ_ｃ＝Ｒ_ｆ
Ｓ_ｐ＞ＴＨ_ｐ、且つ、Ｓ_ｆ＞ＴＨ_ｆの場合 Ｒ_ｐ＝Ｒ_ｃ＝Ｒ_ｆ
ここでＲ_ｐ＋Ｒ_ｃ＋Ｒ_ｆ＝１である。

Ｓ_ｐ≦ＴＨ_ｐ、且つ、Ｓ_ｆ≦ＴＨ_ｆの条件は、現在ブロック３０２に対して、過去ブロック３０１と未来ブロック３０３ともに時間相関が高い場合であり、時間的に前後するブロック領域で動きが小さい領域に対応する。この場合には、時間と空間の両方向で同一の修正係数とする。

Ｓ_ｐ≦ＴＨ_ｐ、且つ、Ｓ_ｆ＞ＴＨ_ｆの条件は、現在ブロック３０２に対して、過去ブロック３０１は時間相関が高く、未来ブロック３０３は時間相関が低い場合であり、この場合は現在から未来にかけての時間において急激な動き、或いはシーンチェンジが発生した領域である事を示している。この場合には、過去ブロック３０１と現在ブロック３０２の修正係数を大きく、未来ブロックの修正係数を小さくする。

Ｓ_ｐ＞ＴＨ_ｐ、且つ、Ｓ_ｆ≦ＴＨ_ｆの条件は、現在ブロック３０２に対して、未来ブロック３０３は時間相関が高く、過去ブロック３０１は時間相関が低い場合であり、この場合は過去から現在にかけての時間において急激な動き、或いはシーンチェンジが発生した領域を示している。この場合には、未来ブロック３０３と現在ブロック３０２の修正係数を大きく、過去ブロック３０１の修正係数を小さくする。

Ｓ_ｐ＞ＴＨ_ｐ、且つ、Ｓ_ｆ＞ＴＨ_ｆの条件は、現在ブロック３０２に対して、過去ブロック３０１と未来ブロック３０３ともに時間相関が低い場合であり、この場合は画像に混入しているノイズが多すぎる、或いは過去ブロック３０１から未来ブロック３０３の時間内で動きが大きいことを示している。この場合には、時間と空間の両方向で同一の修正係数とする。

乗算器６０７は、乗算器６０５の出力値Ｔ_ｂａｓｅ×Ｒｖと、修正係数比率算出部６０６からの出力値Ｒ_ｐ、Ｒ_ｃ、およびＲ_ｆとを乗算する。このように算出された修正係数Ｔ_ｐ＝Ｔ_ｂａｓｅ×Ｒｖ×Ｒ_ｐ、Ｔ_ｃ＝Ｔ_ｂａｓｅ×Ｒｖ×Ｒ_ｃ、およびＴ_ｆ＝Ｔ_ｂａｓｅ×Ｒｖ×Ｒ_ｆは、フィルタ係数算出部２０７へ出力される。
ここで上記説明では、基準修正係数と補正値とブロック割り当て比率を全て可変制御する例を示したが、その内１つ或いは２つを可変制御し、その他を所定定数にすることも可能である。

続いて、フィルタ係数算出部２０７について、図５のグラフ、図７の機能ブロック図に基づいて説明する。
距離算出部２０４から出力される距離Ｄは、ＬＵＴ＿Ｒ_１７０１、ＬＵＴ＿Ｒ_２７０２、…、ＬＵＴ＿Ｒ_Ｎ７０３と補間処理部７０５に出力される。
ＬＵＴ＿Ｒ_１７０１、ＬＵＴ＿Ｒ_２７０２、…、ＬＵＴ＿Ｒ_Ｎ７０３は、図５に示した有理関数｛Ｔ／（ｘ＋Ｔ）｝において、Ｔが異なる値のグラフ５０１、５０２、および５０３に対応するテーブルになっており、Ｔはゼロより大きい値である。

そして、グラフ５０１の有理関数をＴ_１／（ｘ＋Ｔ_１）として対応するルックアップテーブルをＬＵＴ＿Ｒ_１７０１、グラフ５０２の有理関数をＴ_２／（ｘ＋Ｔ_２）として対応するルックアップテーブルをＬＵＴ＿Ｒ_２７０２、グラフ５０３の有理関数をＴ_Ｎ／（ｘ＋Ｔ_Ｎ）として対応するルックアップテーブルをＬＵＴ＿Ｒ_Ｎ７０３とする。ここでＴ_１、Ｔ_２、…、Ｔ_Ｎが修正係数算出部２０６から出力される修正係数に対応し、Ｔ_１＜Ｔ_２＜…＜Ｔ_Ｎの関係にある。つまり、上記の有理関数は、修正係数が小さいと変数ｘが増大するにつれて急激に減少する関数となり、修正係数が大きいと変数ｘが増大するに連れてなだらかに減少する関数となる。

各ルックアップテーブルには、距離算出部２０４から出力される距離Ｄに対して上位所定ビット数分だけ抽出したアドレスとして入力される。そして、各ルックアップテーブルは、アドレスに格納されているルックアップテーブルの値と、傾き量とを選択部７０４に出力する。

ここで、ＬＵＴ＿Ｒ_１７０１、ＬＵＴ＿Ｒ_２７０２、…、ＬＵＴ＿Ｒ_Ｎ７０３には、上記有理関数を変数ｘ＝ａでサンプリングした値Ｒ_ｊ（ａ）と所定間隔Δだけ離れたＸ＝ａ＋ΔでサンプリングしたＲ_ｊ（ａ＋Δ）とを直線で結んだ時の傾きα_ｊ（ａ）と、その始点であるＲ_ｊ（ａ）をアドレスａの場所に記録したテーブルとなっている。ここでｊ＝１，２，…，Ｎである。
つまり、距離Ｄを基にＬＵＴ＿Ｒ_１７０１、ＬＵＴ＿Ｒ_２７０２、…、ＬＵＴ＿Ｒ_Ｎ７０３を参照するアドレスが決定され、この決定したアドレスａに格納されている始点Ｒ_ｊ（ａ）と傾きα_ｊ（ａ）が選択部７０４へ出力される。

選択部７０４は、これらＮ個の始点Ｒ_ｊ（ａ）と傾きα_ｊ（ａ）と補正係数Ｔ_ｉに基づいて１つの始点Ｒ（ａ）と傾きα（ａ）を選択し、補間処理部７０５へ出力する。
補間処理部７０５には、選択部７０４から出力された始点Ｒ（ａ）と傾きα（ａ）と、距離Ｄの所定下位ビット分が入力されて距離Ｄに対する精度の高い重み係数Ｒ’（Ｄ_，Ｔ_ｉ）が算出されて、メモリ７０６に順次格納される。

メモリ７０６に３次元ブロックＮ_ｘ×Ｎ_ｙ×Ｎ_ｔ画素数分の重み係数が格納された時点で、正規化係数算出部７０７にこれらの重み係数が入力される。正規化係数算出部７０７は、これらの重み係数を積算して正規化係数を算出する。算出した正規化係数は、メモリ７０６に格納されている重み係数を該正規化係数で除算する事無く、ＬＵＴ＿Ｄ７０８によって正規化係数の逆数に変換される。ここで、ＬＵＴ＿Ｄ７０８は、乗算で規格化する為に予め用意された乗算除算変換テーブルである。

このように変換された正規化係数の逆数は、乗算器７０９にてメモリ７０６に格納されている重み係数と乗算されて最終的なフィルタ係数Ｃ（ｒ，ｔ）としてフィルタ処理部２０８へ出力される。

このように算出された３次元ブロックＮ_ｘ×Ｎ_ｙ×Ｎ_ｔの画素Ｐ（ｒ，ｔ）に対応するフィルタ係数Ｃ（ｒ，ｔ）は、処理対象画素Ｐ（ｒ_０，ｔ_０）に対する画素値間距離と時空間距離から算出した距離に逆比例する重み係数（フィルタ係数）値となり、更にこの重み係数は上記修正係数、つまりは動画像信号の時間相関の変動に適応して可変制御できるという特性を持つ。

つまり、処理対象画素Ｐ（ｒ_０，ｔ_０）に対し、３次元ブロックＮ_ｘ×Ｎ_ｙ×Ｎ_ｔ内の画素値及び時空間距離が近い画素（相関が高い画素）の場合には大きな重み係数を持つ。一方、画素値及び時空間距離が離れている画素（相関が低い画素）の場合には小さな重み係数を持つ。その為、以下に説明するフィルタ処理部２０８でのフィルタ処理結果は、相関が高い画素のみを集めて平均を取るのと同等の効果が得られる。したがって、上記ブロック内に空間的なエッジ、及び時間的なエッジ（シーンチェンジや急激な動きが発生した場合）を含んでいても平均化に伴うエッジの鈍りを最小限に抑える事ができる。

更に、上記の修正係数により重み係数の割り振りを可変制御できる為、１フレーム前のノイズ低減結果を反映し、目標ノイズ低減量に満たない場合は指定ノイズ低減量となるように３次元ブロックＮ_ｘ×Ｎ_ｙ×Ｎ_ｔ内の画素値と距離の相関量を打ち消すような重み係数を与える事ができる。この場合は、３次元ブロックＮ_ｘ×Ｎ_ｙ×Ｎ_ｔ内の画素をより多く選択して平均化処理する事と等価となり、ノイズ低減効果を増すことができる。逆に、１フレーム前のノイズ低減結果が目標ノイズ低減量を上回った場合は、目標ノイズ低減量となるように３次元ブロックＮ_ｘ×Ｎ_ｙ×Ｎ_ｔ内の画素値と距離の相関量をより強める重み係数を与える事もできる。

また、時間相関が急激に変化するようなシーンチェンジや、急激に動きが発生したシーンにおいても、３次元ブロックＮ_ｘ×Ｎ_ｙ×Ｎ_ｔ内で時間相関を持った未来と現在ブロック、或いは過去と現在ブロックに対して画素値と時空間距離の相関量を打ち消すように修正係数を制御する事で、ノイズ低減量が急激に悪化する事を防止できる。なお、修正係数により画素値と時空間距離の相関量を打ち消す方向に制御を行うと解像度が低下するという副作用が発生する。しかし、本実施形態の構成のように修正係数に対して略連続的に重み係数を変更可能にできる為、時間的、及び空間的な解像度変化をなだらかになるように制御し、ユーザが視覚的にその変化を認知できないようにする事が可能となる。

続いて、フィルタ処理部２０８の詳細について、図８の機能ブロック図を基に説明する。
フィルタ処理部２０８には、前記フィルタ係数算出部２０７から出力されるフィルタ係数Ｃ（ｒ，ｔ）と、ブロックメモリ２０１、２０２、２０３に格納されている画素値Ｐ（ｒ，ｔ）と、制御部１１２から出力されるノイズモデルテーブルが入力される。
フィルタ係数Ｃ（ｒ，ｔ）と画素値Ｐ（ｒ，ｔ）は積和演算部（積和演算手段）８０１にて以下の処理が実行され、処理対象画素Ｐ（ｒ_０，ｔ_０）での平滑化処理画素値Ｐ’（ｒ_０，ｔ_０）がノイズ量推定部（ノイズ量推定手段）８０２とコアリング処理部８０３へ出力される。
Ｐ’（ｒ_０，ｔ_０）＝Σ_ｒΣ_ｔＣ（ｒ，ｔ）Ｐ（ｒ，ｔ）

ノイズ量推定部８０２では、制御部１１２から出力されるノイズモデルテーブルが格納されており、積和演算部８０１からの出力である平滑化処理画素値Ｐ’（ｒ_０，ｔ_０）をアドレスとして対応するノイズ量Ｎ_ａｍｐがコアリング処理部８０３へ出力される。ここで、ノイズモデルテーブルは、画素値に対応するアドレス位置にノイズ量（ノイズの平均振幅に相当する量）が格納されたテーブルであり、制御部１１２にて所定ノイズモデルテーブルを、画素値を変数とする任意関数と乗算する事で任意に変更したノイズモデルテーブルとする事も可能である。

コアリング処理部８０３には、処理対象画素値Ｐ（ｒ_０，ｔ_０）とその平滑化処理後の画素値Ｐ’（ｒ_０，ｔ_０）、及びノイズ量推定部８０２から出力されるノイズ量が入力される。コアリング処理部８０３は、以下のコアリング判定を行い、処理対象画素に対する最終的なノイズ低減画素値Ｐ_ｎ（ｒ_０，ｔ_０）を算出して出力信号として出力する。
Ｐ（ｒ_０，ｔ_０）−Ｐ’（ｒ_０，ｔ_０）＞Ｎ_ａｍｐの場合 Ｐ_ｎ（ｒ_０，ｔ_０）＝Ｐ（ｒ_０，ｔ_０）−Ｎ_ａｍｐ
Ｐ（ｒ_０，ｔ_０）−Ｐ’（ｒ_０，ｔ_０）＜Ｎ_ａｍｐの場合 Ｐ_ｎ（ｒ_０，ｔ_０）＝Ｐ（ｒ_０，ｔ_０）＋Ｎ_ａｍｐ
｜Ｐ（ｒ_０，ｔ_０）−Ｐ’（ｒ_０，ｔ_０）｜≦Ｎ_ａｍｐの場合 Ｐ_ｎ（ｒ_０，ｔ_０）＝Ｐ’（ｒ_０，ｔ_０）

なお、上記フィルタ処理部２０８は、ノイズ量推定部８０２を設けた構成としたが、例えば、より単純な積和演算部８０１のみからなる構成とし、最終的なノイズ低減画素値Ｐ_ｎ（ｒ_０，ｔ_０）をＰ’（ｒ_０，ｔ_０）としても良い。

以上のように、本実施形態に係る画像処理装置によれば、フレーム内における空間的な相関と、過去フレームと現在フレームとの間および現在フレームと未来フレームとの間における時間的な相関とを利用して動画像信号のノイズ低減処理を行う。これにより、例えばシーンチェンジ発生時においても時間相関の変動にノイズ低減量が敏感に反応してしまうことを抑制し、解像度低下を抑えつつ安定的なノイズ低減が可能となる。

また、巡回型ノイズ低減処理に使用する過去フレームおよび現在フレームの画素をノイズ低減後の画素を使用するので、ノイズ低減量を向上できる。

また、重み係数を時空間距離と画素値間距離により算出し、ノイズ処理対象画素と相関性が高い画素に重み付けをして加重平均を行うので、空間的なエッジや、時間的な急激なシーン変化に対する鈍りを最小限に抑えつつ効果的にノイズ低減を行うことが可能となる。

また、所定領域の複数画素の画素値と重み係数との積和演算値に基づいて注目画素のノイズ量を推定し、該ノイズ量に基づいてノイズ低減処理を行うことにより、入力信号のノイズ特性に適した効果的なノイズ低減が行えると共に、エッジ部での解像度劣化（鈍り）を最小限に抑えることができる。

また、注目画素のノイズ低減量に基づいて重み係数を修正することにより、動画像信号をノイズ低減する場合に発生する時間相関の変動にノイズ低減量が敏感に反応してしまうのを抑制し、解像度低下を抑えつつ時間変動の少ない安定的なノイズ低減が可能となる。

また、注目画素の画素値に基づいて重み係数を修正することにより、現在フレーム内の画素値に対応してノイズ低減量を広範囲に制御する事が可能となる。

また、処理対象フレーム画像と過去および未来のフレーム画像とのフレーム間相関量に基づいて重み係数を修正することにより、動画像信号をノイズ低減する場合に発生する時間相関の変動にノイズ低減量が敏感に反応してしまうのを抑制し、時間変動の少ない安定的なノイズ低減が可能となる。

なお、上述した実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。

図１１に示すフローチャートは、第１の実施形態の処理手順を示したものである。
まず、入力された動画像信号をスイッチ１０１を介して未来フレームとしてフレームメモリ１０２或いは１０３に格納する。（Ｓ１１０１）

次に、入力動画像信号が先頭フレームかどうか判定（Ｓ１１０２）し、先頭フレームの場合にはＳ１１１３へ進む。また、先頭フレームでない場合には３次元ブロックＰ（ｒ，ｔ）をフレームメモリ１０２或いは１０３−１０９或いは１１０、更にＮラインメモリ１０６に格納されている過去、未来、現在フレームから抽出し、それぞれ過去ブロック３０１、未来ブロック３０３、現在ブロック３０２としてブロックメモリ２０１、２０２、２０３に格納する（Ｓ１１０３）。

次に、ブロックメモリ２０１、２０２、２０３に格納されている３次元ブロックに対して、フレーム間相関量Ｓ_ｐ及びＳ_ｆを算出するとともに（Ｓ１１０４）、３次元ブロックのノイズ処理対象画素Ｐ（ｒ_０，ｔ_０）とその周辺画素との時空間距離Ｄｓ、及び画素値間距離Ｄｖを算出し、２つの距離を乗算して距離Ｄを算出する（Ｓ１１０５）。

次に１フレーム前のフレーム平均ノイズ低減量ＮＲ_ａｖｅ及び目標ノイズ低減量ＮＲ_{ｔａｒｇｅｔ}と、現在ブロックの画素値Ｐ（ｒ，ｔ_０）と、フレーム間相関量Ｓ_ｐ及びＳ_ｆとから３つのブロックの修正係数Ｔ_ｐ、Ｔ_ｃ、Ｔ_ｆを算出し（Ｓ１１０６）、距離Ｄと修正係数Ｔ_ｐ、Ｔ_ｃ、Ｔ_ｆよりフィルタ係数Ｃ（ｒ，ｔ）を算出する（Ｓ１１０７）。

次に、算出したフィルタ係数Ｃ（ｒ，ｔ）と３次元ブロック画素Ｐ（ｒ，ｔ）に基づいて、ノイズ低減画素Ｐ_ｎ（ｒ_０，ｔ_０）を算出し（Ｓ１１０８）、ノイズ低減画素Ｐ_ｎ（ｒ_０，ｔ_０）を不図示の出力バッファとフレームメモリ１０９或いは１１０とＮラインメモリ１０６に格納する（Ｓ１１０９）。

次に、ノイズ低減画素Ｐ_ｎ（ｒ_０，ｔ_０）と処理対象画素Ｐ（ｒ_０，ｔ_０）との差分絶対値和によりノイズ低減量を算出し（Ｓ１１１０）、上記ノイズ低減画素の算出がフレーム内画素数分終了したかを判定する（Ｓ１１１１）。判定の結果、フレーム画素数分の処理がまだ終了していない場合にはＳ１１０３へ戻り、次の処理対象画素に対するノイズ低減処理を繰り返す。また、フレーム画素数分の処理が終了した場合には、算出したノイズ低減量の平均値を求め、フレーム平均ノイズ低減量ＮＲ_ａｖｅを算出する（Ｓ１１１２）。そして、現在、過去、未来フレームを格納するフレームメモリの入出力制御を行うスイッチ１０１、１０４、１０５、１０８、および１１１の入出力を切り替える（Ｓ１１１３）。

最後に、処理指定フレーム数分の処理が終了したか判定し（Ｓ１１１４）、処理終了していなければＳ１１０１へ戻って次フレームの処理を繰り返し行い、指定フレーム数分の処理が終了したと判定された時点でノイズ低減処理を終了する。

なお、上記実施形態において、距離Ｄを画素値間距離Ｄｖと時空間距離Ｄｓの積とし、１つの有理関数の変数として重み係数を算出したが、画素値間距離Ｄ_ｖと時空間距離Ｄ_ｓをそれぞれ関数に与えた後の関数値Ｒ（Ｄｖ）とＲ（Ｄｓ）の積で重み係数を算出しても良い。

更に、距離Ｄを重み係数に変換する関数は有理関数だけでなく、たとえばガウス関数Ｅｘｐ（−ｘ^２／２σ^２）を用いても良い。この場合の距離Ｄはｘ、修正係数Ｔはσとする事で同様の効果が得られる。また、σを大きくするとガウス関数の幅が広がりを持つようになり、距離相関を打ち消すように作用する。逆に、σを小さくするとガウス関数の幅が狭まり、距離相関をより強調することができる。

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図９を用いて説明する。
本実施形態に係る画像処理装置が第１の実施形態と異なる点は、ブロック抽出部１１４の代わりに動き補償部９０１を設けた点である。以下、本実施形態に係る画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図９は、本発明の第２の実施形態についての基本構成を示す機能ブロック図である。
不図示の撮像部の撮像素子で撮像されデジタルデータとなった動画像信号は、スイッチ１０１に入力され、制御部１１２の制御信号によりフレームメモリ１０２、或いはフレームメモリ１０３とフレーム期間毎に交互に接続されてフレーム期間毎にフレームメモリ１０２、或いはフレームメモリ１０３に格納される。

フレームメモリ１０２、フレームメモリ１０３の出力は、スイッチ１０４、スイッチ１０５の入力に接続されており、制御部１１２の制御信号により、Ｎラインメモリ１０６、及び動き補償部９０１に接続される。ここで、フレームメモリ１０２がスイッチ１０４を介してＮラインメモリ１０６に接続されると、フレームメモリ１０３はスイッチ１０５を介して動き補償部９０１に接続される。一方、フレームメモリ１０２がスイッチ１０５を介して動き補償部９０１に接続されると、フレームメモリ１０３はスイッチ１０４を介してＮラインメモリ１０６に接続されるように制御部１１２にて制御される。

Ｎラインメモリ１０６は、フレーム１０２或いはフレームメモリ１０３からノイズ低減処理対象画素の上下所定ライン数分の画素が一時格納される。
Ｎラインメモリ１０６の出力は、ブロック抽出部１１３を介してノイズ低減部１０７、及び動き補償部９０１の入力に接続されている。

ノイズ低減部１０７は、ブロック抽出部１１３の出力、動き補償部９０１からの出力、更に制御部１１２からの制御信号が入力されるように接続されている。ノイズ低減部１０７は、ブロック抽出部１１３から出力される処理対象フレームの所定領域画素と、動き補償部９０１にて動き補償された時間的に前後するフレーム画像の所定領域画素と、制御部１１２からの制御信号とに基づいて処理対象画素に対するノイズ低減処理を行う。また、このように算出されたノイズ低減画素を出力信号として、不図示の後段に配置された画像処理部のバッファメモリに出力する。

また、ノイズ低減部１０７の出力は、スイッチ１０８及びＮラインメモリ１０６の入力に接続されている。ノイズ低減部１０７の出力信号は、Ｎフレームメモリ１０６に格納されているノイズ低減前の処理対象画素値をノイズ低減画素で上書きするのに使われる。これにより、現在フレームに対してもノイズ低減後の画素を使用する巡回型フィルタを形成できるので、より効果的にノイズを低減することができる。

スイッチ１０８の出力は、制御部１１２の制御信号によりフレーム期間毎にフレームメモリ１０９、或いはフレームメモリ１１０に接続が切り替えられ、ノイズ低減部１０７のノイズ低減画素が対応するフレームメモリ１０９、或いはフレームメモリ１１０に記録される。

フレームメモリ１０９或いはフレームメモリ１１０は、制御部１１２の制御信号により、スイッチ１１１を介して動き補償部９０１にフレーム期間毎に切り替えて接続される。ここで、スイッチ１０８の出力がフレームメモリ１０９に接続された場合には、フレームメモリ１１０がスイッチ１１１と接続される。一方、スイッチ１０８の出力がフレームメモリ１１０に接続された場合には、フレームメモリ１０９がスイッチ１１１と接続されるように制御部１１２は制御する。

動き補償部９０１には、接続されているブロック抽出部１１３からの現在ブロック３０２と、スイッチ１０４、スイッチ１０５、及びスイッチ１１１を介して処理対象フレームに対して時間的に前後する未来、及び過去のフレームが入力される。動き補償部９０１は、現在ブロック３０２に対して該未来、及び過去のフレームとの間でそれぞれ相関値が最大となる位置を算出する。そして、最も相関が高い領域を該未来及び過去のフレームから抽出し、未来ブロック３０３及び過去ブロック３０１としてノイズ低減部１０７に出力する。

制御部１１２は、予め設定された目標ノイズ低減量をノイズ低減部１０７に出力するとともに、スイッチ１０１、１０４、１０５、および１０８、および１１１を上記説明したように連動制御する制御信号を出力する。

以下、動き補償部９０１の詳細を図１０に基づいて説明する。
動き補償部９０１に入力される過去フレームの所定探索範囲の抽出画像が、探索範囲格納メモリ１００１に格納される。また、未来フレームの所定探索範囲の抽出画像が、探索範囲格納メモリ１００２に格納される。

一方、現在ブロックが、動ベクトル決定部（動ベクトル決定手段）１００３及び動ベクトル決定部（動ベクトル決定手段）１００４に入力される。また、過去フレームの動ベクトル探索範囲（現在ブロックのサイズＮ_ｘ×Ｎ_ｙよりも大きな領域）の抽出画像が、探索範囲格納メモリ１００１から動ベクトル決定部１００３に入力される。また、未来フレームの動ベクトル探索範囲（現在ブロックのサイズＮ_ｘ×Ｎ_ｙよりも大きな領域）の抽出画像が探索範囲格納メモリ１００２から動ベクトル決定部１００４に入力される。

動ベクトル決定部１００３および１００４は、現在ブロックをパターンマッチングのリファレンス画像として探索範囲の抽出画像内で、画素ピッチで移動しながらパターンマッチング処理を行い、相関が最大となる探索範囲内の位置を動ベクトルとして決定する。ここで、パターンマッチング処理の一例としては、良く知られている差分の絶対値和や自乗和が最小となる位置を相関最大とする方法が利用できる。

動ベクトル決定部１００３、１００４で決定された動ベクトルは、それぞれブロック抽出部１００５、１００６に入力される。
ブロック抽出部１００５は、探索範囲格納メモリ１００１に格納されている過去フレームの抽出画像が入力され、決定された過去フレームへの動ベクトルに基づいて過去ブロックが抽出されノイズ低減部１０７へ出力される。
ブロック抽出部１００６は、探索範囲格納メモリ１００２に格納されている未来フレームの抽出画像が入力され、決定された未来フレームへの動ベクトルに基づいて未来ブロックが抽出されノイズ低減部１０７へ出力される。

以上のように、本実施形態によると、現在ブロックに対して動き補償により未来ブロック及び過去ブロックを選択するので、第１の実施形態よりも相関が高い３次元ブロックを構成する事ができる。これにより、フィルタ係数算出部２０７にて算出される未来ブロックと過去ブロックに対する重み係数がより大きくなり、加重平均への寄与が増すこととなる。その結果、動画像信号を巡回型ノイズ低減処理でノイズ低減する場合に発生する時間相関の変動に対してノイズ低減量が敏感に反応してしまうことを抑制し、より安定的なノイズ低減が行うことが可能となる。更に、入力動画像信号に適応して目標とするノイズ低減量に自動的に合わせる事が可能であり、撮像素子のゲイン量を変化させた場合にも瞬時に適応できるといった効果を得ることが可能となる。

なお、上記の各実施形態において、過去ブロックの全画素及び現在ブロックの一部の画素をノイズ低減処理した後の画素値で置き換える巡回型（ＩＩＲ型）を例として記述したが、フィードフォワード型（ＦＩＲ型）で構成する事もできる。この場合、静止領域でのノイズ低減量は巡回型よりも落ちるが、動き領域で発生する残像を抑える収束性能は向上する。さらに、上記第１の実施形態、第２の実施形態において入力信号としてプログレッシブ信号を前提としているが、フィールドインターレース信号であってもよい。この場合、上記の各実施の形態は、フレーム画像をフィールド画像として説明することで、構成される。

本発明の第１の実施形態に係る画像処理装置が備える機能を展開して示した機能ブロック図である。 図１に示す画像処理装置のノイズ低減部の機能ブロック図である。 ノイズ低減部で処理される現在、過去、未来ブロックからなる３次元ブロックを示す図である。 画素値と基準修正係数補正値の関係の一例を示す図である。 修正係数により変化する複数の有理関数を示す図である。 図２に示す修正係数算出部の機能ブロック図である。 図２に示すフィルタ係数算出部の機能ブロック図である。 図２に示すフィルタ処理部の機能ブロック図である。 本発明の第２の実施形態に係る画像処理装置が備える機能を展開して示した機能ブロック図である。 図９に示す動き補償部の機能ブロック図である。 第１の実施形態の処理手順を示すフローチャートである。

符号の説明

１０２ フレームメモリ
１０３ フレームメモリ
１０６ Ｎラインメモリ
１０７ ノイズ低減部
１０９ フレームメモリ
１１０ フレームメモリ
１１３ ブロック抽出部
１１４ ブロック抽出部
２０４ 距離算出部
２０５ フレーム間相関算出部
２０６ 修正係数算出部
２０７ フィルタ係数算出部
２０８ フィルタ処理部
２０９ ノイズ低減量算出部
７０５ 補間処理部
７０７ 正規化係数算出部
８０２ ノイズ量推定部
９０１ 動き補償部
１００３ 動ベクトル決定部
１００４ 動ベクトル決定部

Claims (11)

1. 時系列で入力されるフレーム画像あるいはフィールド画像のノイズを低減処理する画像処理装置であって、
   処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録手段と、
   前記記録手段によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出手段と、
   前記記録手段によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出手段と、
   前記第１の画素抽出手段で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出手段で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出手段と、
   前記第１の画素抽出手段で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出手段で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出手段で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出手段と、
   前記第１の距離算出手段によって算出された前記時空間距離と前記第２の距離算出手段によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減手段と、
   を備える画像処理装置。
2. 前記記録手段は、
   記録した前記処理対象フレーム画像あるいはフィールド画像および前記過去のフレーム画像あるいはフィールド画像をノイズ低減処理した画像により上書きする上書き手段を有し、
   前記第１の画素抽出手段は、
   前記処理対象フレーム画像あるいはフィールド画像の画素の一部についてノイズ低減処理した画素を抽出し、
   前記第２の画素抽出手段は、
   前記過去のフレーム画像あるいはフィールド画像の画素の全てについてノイズ低減処理した画素を抽出する請求項１に記載の画像処理装置。
3. 前記ノイズ低減手段は、
   前記第１の距離算出手段によって算出された前記時空間距離および前記第２の距離算出手段によって算出された前記画素値間距離に基づいて、前記所定領域の複数画素に対する重み係数を算出する重み係数算出手段と、
   前記重み係数算出手段によって算出された前記重み係数に基づいて、前記注目画素と前記所定領域の複数画素との加重平均値を算出する加重平均値算出手段と、
   を有する請求項１または２に記載の画像処理装置。
4. 前記ノイズ低減手段は、
   前記注目画素のノイズ量を推定するノイズ量推定手段を有し、
   前記ノイズ量推定手段によって推定された前記ノイズ量に基づいて前記注目画素のノイズを低減処理する請求項１から３のいずれかに記載の画像処理装置。
5. 前記ノイズ低減手段は、
   前記所定領域の複数画素の画素値と前記重み係数算出手段によって算出された前記重み係数との積和演算を行う積和演算手段を有し、
   前記ノイズ量推定手段は、
   前記積和演算手段によって算出された積和演算値に基づいて前記ノイズ量を推定する請求項４に記載の画像処理装置。
6. 前記ノイズ低減手段は、
   前記注目画素のノイズ低減処理前後の画素値に基づいてノイズ低減量を算出するノイズ低減量算出手段と、
   前記ノイズ低減量算出手段によって算出された前記ノイズ低減量に基づいて修正係数を算出する修正係数算出手段と、
   を有し、
   前記修正係数算出手段によって算出された前記修正係数に基づいて前記重み係数を修正する請求項３から５のいずれかに記載の画像処理装置。
7. 前記ノイズ低減手段は、
   前記第１の画素抽出手段で抽出された前記注目画素の画素値に基づいて修正係数を算出する修正係数算出手段を有し、
   前記修正係数算出手段によって算出された前記修正係数に基づいて前記重み係数を修正する請求項３から６のいずれかに記載の画像処理装置。
8. 前記ノイズ低減手段は、
   前記処理対象フレーム画像あるいはフィールド画像の所定領域の複数画素と前記過去および未来のフレーム画像あるいはフィールド画像の所定領域の複数画素とに基づいてフレーム間相関量を算出するフレーム間相関量算出手段と、
   前記フレーム間相関量算出手段によって算出された前記フレーム間相関量に基づいて修正係数を算出する修正係数算出手段と、
   を有し、
   前記修正係数算出手段によって算出された前記修正係数に基づいて前記重み係数を修正する請求項３から７のいずれかに記載の画像処理装置。
9. 前記第２の画素抽出手段は、
   前記処理対象フレーム画像あるいはフィールド画像と前記過去および未来のフレーム画像あるいはフィールド画像との相関量に基づいて動ベクトルをそれぞれ検出する動ベクトル検出手段を有し、
   前記動ベクトル検出手段によって検出された前記動ベクトルに基づいて、前記記録手段に記録された前記過去および未来のフレーム画像あるいはフィールド画像から所定領域の複数画素を抽出する請求項１から８のいずれかに記載の画像処理装置。
10. 時系列で入力されるフレーム画像あるいはフィールド画像のノイズの低減処理をコンピュータに実行させる画像処理プログラムであって、
    処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録処理と、
    前記記録処理によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出処理と、
    前記記録処理によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出処理と、
    前記第１の画素抽出処理で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出処理で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出処理と、
    前記第１の画素抽出処理で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出処理で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出処理で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出処理と、
    前記第１の距離算出処理によって算出された前記時空間距離と前記第２の距離算出処理によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減処理と、
    をコンピュータに実行させる画像処理プログラム。
11. 時系列で入力されるフレーム画像あるいはフィールド画像のノイズを低減処理する画像処理方法であって、
    処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録工程と、
    前記記録工程によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出工程と、
    前記記録工程によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出工程と、
    前記第１の画素抽出工程で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出工程で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出工程と、
    前記第１の画素抽出工程で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出工程で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出工程で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出工程と、
    前記第１の距離算出工程によって算出された前記時空間距離と前記第２の距離算出工程によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減工程と、
    を有する画像処理方法。

Images