JP2005150903A - 画像処理装置、ノイズ除去方法及びノイズ除去プログラム - Google Patents

Abstract

【課題】 画像の動きに応じた適切なノイズ除去が可能な画像処理装置、ノイズ除去方法及びノイズ除去プログラムを提供する。
【解決手段】 画像処理装置１００（１）は、画像入力部１１からのフレーム画像とフレーム蓄積部１２からのフレーム画像との同期をとる画像同期部１３と、フレーム画像について２次元ノイズ除去の手法に従ったノイズ除去を行う２次元ノイズ除去部１４と、フレーム画像の動きを検出する動き検出部１５と、フレーム巡回係数を決定するフレーム巡回係数決定部１６と、フレーム画像について３次元ノイズ除去の手法に従ったノイズ除去を行う３次元ノイズ除去部１７と、２次元ノイズ除去済み画像と３次元ノイズ除去済み画像との合成比率を決定する合成比率決定部１８と、２次元ノイズ除去済み画像と３次元ノイズ除去済み画像とを合成する２次元・３次元合成部１９とを有する。
【選択図】 図１

Description

本発明は、画像のノイズを除去する画像処理装置、ノイズ除去方法及びノイズ除去プログラムに関する。

画像に生じるノイズとしては、画像の信号レベルに依存しないランダムノイズがある。画像処理においてこのようなランダムノイズを除去する方法には、１フレームの画像データを用いた２次元ノイズ除去方法と、撮像時間の異なる複数フレームの画像データを用いた３次元ノイズ除去方法とがある。

２次元ノイズ除去方法は、フレーム内の画素間の移動平均により高域成分をノイズとして除去する方法である。ノイズ除去効果は、例えば２つの画素の移動平均が用いられる場合には３ｄＢ程度であり、移動平均の算出に用いられる画素数が多いほど、ノイズ除去効果は向上する。しかし、一般に画像信号には高域成分も含まれるため、高域成分が一律に除去されてしまうと、画像成分の高域成分もノイズとして除去され、画像がぼけるという問題がある。従って、移動平均の算出に用いられる画素数が多いほど、ノイズ除去効果は向上する一方で、画像のぼけが酷くなってしまう。

一方、３次元ノイズ除去方法は、低照度環境に設置され、高い感度が要求される監視カメラ等においては必須であり、撮像時間の異なる複数フレーム間において、２次元位置が同一の画素を合成してノイズを除去する方法である。ノイズ除去効果は、例えば２フレーム非巡回型フィルタが用いられる場合には３ｄＢ程度であり、巡回型フィルタが用いられる場合には巡回係数が大きいほどノイズ除去効果が増加し、巡回係数０．８の場合には９ｄＢ超である。しかし、この３次元ノイズ除去方法では、被写体が静止している場合には画素合成による弊害は生じないが、被写体が移動する場合にはノイズ除去後の画像に残像が生じるという問題がある。特に、巡回係数が大きいほど、ノイズ除去効果は向上する一方で、多数のフレームで残像が生じてしまう。

このような３次元ノイズ除去方法における問題を解決するために、従来、巡回係数を増加させつつ、残像の発生を抑制する様々な方法が提案されている（例えば、特許文献１）。

残像を抑制した３次元巡回型ノイズ低減方式が採用される従来の画像処理装置のブロック図を図７に示す。図７において、演算器３は、入力映像信号からフレームメモリ５の出力を減算してフレーム間の差分信号を出力する。ＬＰＦ１１は、このフレーム間差分信号の低域成分を通過させ、動き検出回路６は、ＬＰＦ１１の出力から動きを検出する。リミット回路７は、フレーム間差分信号の高域の小振幅成分を高域ノイズとして出力し、加算器１３は、リミット回路７からの高域ノイズとＬＰＦ１１からの低域成分とを加算する。係数回路４は、加算器１３の出力に対して、動き検出回路６が検出した動きに対応する巡回係数を乗算して出力し、減算器２は入力映像信号から係数回路４の出力を減算することにより、ノイズを除去する。これにより、動きによって生じる高域信号が高域ノイズとして誤検出されることを防止してノイズ除去効果の低下を抑制するとともに、小振幅成分が高域ノイズとして抽出されるため、動きの検出漏れによる弊害が軽減される。
特開平５−３２８１７４号公報

しかしながら、図７に示す画像処理装置では、高域ノイズと動きによって生じる高域信号とが正確に判別されたとしても、画像の静止部分に対応する巡回係数が大きく設定され、動き部分に対応する巡回係数が小さく設定されるので、動き部分のノイズが十分に除去されない。また、静止部分と動き部分との信号電力対雑音電力比（Ｓ／Ｎ比）の差が大きくなり、このＳ／Ｎ比の差によって動き部分のノイズが目立ってしまうという問題があった。

本発明は従来の問題を解決するためになされたもので、画像の動きに応じた適切なノイズ除去が可能な画像処理装置、ノイズ除去方法及びノイズ除去プログラムを提供することを目的とする。

本発明の画像処理装置は、所定単位領域画像を順次入力する画像入力手段と、前記画像入力手段で入力された第１の所定単位領域画像と前記第１の所定単位領域画像の入力時点より以前に入力された第２の所定単位領域画像とを比較して画像の動きを検出する動き検出手段と、前記動き検出手段により検出された画像の動きに基づいて、前記第１の所定単位領域画像から３次元ノイズ除去の手法に従って第１のノイズ除去済み画像を生成する３次元ノイズ除去手段と、前記第１の所定単位領域画像から２次元ノイズ除去の手法に従って第２のノイズ除去済み画像を生成する２次元ノイズ除去手段と、前記動き検出手段により検出された画像の動きに基づいて、前記第１のノイズ除去済み画像と、前記第２のノイズ除去済み画像との合成比率を決定する合成比率決定手段と、前記合成比率決定手段により決定された合成比率に基づいて、前記第１のノイズ除去済み画像と前記第２のノイズ除去済み画像とを合成してノイズ除去済み画像を生成する画像合成手段とを有する構成となる。

この構成により、画像の動きに基づいて３次元ノイズ除去の手法に従ったノイズ除去により第１のノイズ除去済み画像が生成されるとともに、２次元ノイズ除去の手法に従ったノイズ除去により第２のノイズ除去済み画像が生成され、更には、画像の動きに基づいて、第１及び第２のノイズ除去済み画像の合成比率が決定され、その合成比率に従って合成されたノイズ除去済み画像が得られる。

また、本発明の画像処理装置は、前記画像合成手段により得られた前記ノイズ除去済み画像を、前記第２の所定単位領域画像として用いる構成とすることができる。

この構成により、ノイズが除去された画像を、次の画像のノイズ除去に用いることができるため、画像の動きをより適切に検出することが可能になるとともに、次の画像へノイズが伝播してしまうことを抑制することができる。

また、本発明の画像処理装置は、前記合成比率決定手段が、前記動き検出手段により検出された画像の動きの程度が大きい部分ほど前記第２のノイズ除去済み画像の比率を高くするように前記合成比率を決定する構成とすることができる。

また、本発明の画像処理装置は、前記合成比率決定手段が、前記動き検出手段により検出された画像の動きの程度が小さい部分ほど前記第１のノイズ除去済み画像の比率を高くするように前記合成比率を決定する構成とすることができる。

これらの構成により、画像の動きが大きいほど２次元ノイズ除去の手法に従ったノイズ除去が重視され、画像のぼけが抑制される一方、画像の動きが小さいほど３次元ノイズ除去の手法に従ったノイズ除去が重視され、適切にノイズを除去することが可能となる。

また、本発明の画像処理装置は、前記動き検出手段が、所定の基準に従って前記第１の所定単位領域画像の動き部分と静止部分とを判別し、前記合成比率決定手段は、前記動き部分については前記第２のノイズ除去済み画像の比率が前記第１のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定し、前記静止部分については前記第１のノイズ除去済み画像の比率が前記第２のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定する構成とすることができる。

この構成により、動き部分については２次元ノイズ除去の手法に従ったノイズ除去が重視され、画像のぼけが抑制される一方、静止部分については３次元ノイズ除去の手法に従ったノイズ除去が重視され、適切にノイズを除去することが可能となる。

また、本発明の画像処理装置は、前記３次元ノイズ除去手段が、前記動き検出手段により検出された画像の動きに基づいて巡回係数を決定する巡回係数決定手段を有し、前記巡回係数を用いて前記３次元ノイズ除去の手法に従って前記第１のノイズ除去済み画像を生成し、前記巡回係数決定手段は、前記静止部分に対応する巡回係数を前記動き部分に対応する巡回係数より大きい値に決定し、前記合成比率決定手段は、前記巡回係数決定手段にて決定される巡回係数の値に応じて前記合成比率を決定する構成とすることができる。

この構成により、動き部分は小さな巡回係数に基づいて３次元ノイズが除去されるため、残像の発生が抑制される一方、静止部分は大きな巡回係数に基づいて３次元ノイズが除去されるため、ノイズ除去効果を向上させることができる。

また、本発明の画像処理装置は、前記２次元ノイズ除去手段が、前記第１の所定単位領域画像内の注目画素の所定周辺画素のうち前記注目画素との相関値が所定値より高くなる周辺画素を前記注目画素についてのノイズ除去の処理対象画素として決定する構成とすることができる。

この構成により、注目画素の２次元ノイズが除去される際、注目画素の所定周辺画素のうち注目画素との相関値が所定値より高くなる周辺画素が注目画素についてのノイズ除去の処理対象画素として用いられ、相関値の低い周辺画素が除外されるため、エッジ部分における画像のぼけを少なくすることができる。

また、本発明の画像処理装置は、前記合成比率決定手段が、前記画像入力手段で入力された前記所定単位領域毎の画像の統計的情報に基づいて、前記合成比率を決定する構成とすることができる。

また、本発明の画像処理装置は、前記巡回係数決定手段が、前記画像入力手段で入力された前記所定単位領域毎の画像の統計的情報に基づいて前記巡回係数を決定する構成とすることができる。

これらの構成により、画像の統計的情報が合成比率や巡回係数の決定に利用されるため、より適切なノイズ除去を行うことができる。

また、本発明のノイズ除去方法は、所定単位領域画像を順次入力する画像入力ステップと、前記画像入力ステップにて入力された第１の所定単位領域画像と前記第１の所定単位領域画像の入力時点より以前に入力された第２の所定単位領域画像とを比較し、画像の動きを検出する動き検出ステップと、前記動き検出ステップにより検出された画像の動きに基づいて、前記第１の所定単位領域画像から３次元ノイズ除去の手法に従って第１のノイズ除去済み画像を生成する３次元ノイズ除去ステップと、前記第１の所定単位領域画像から２次元ノイズ除去の手法に従って第２のノイズ除去済み画像を生成する２次元ノイズ除去ステップと、前記動き検出ステップにより検出された画像の動きに基づいて、前記第１のノイズ除去済み画像と、前記第２のノイズ除去済み画像との合成比率を決定する合成比率決定ステップと、前記合成比率決定ステップにより決定された合成比率に基づいて、前記第１のノイズ除去済み画像と、前記第２のノイズ除去済み画像とを合成する画像合成ステップとを有する構成とすることができる。

また、本発明のノイズ除去方法は、前記動き検出ステップが、所定の基準に従って前記第１の所定単位領域画像の動き部分と静止部分とを判別し、前記合成比率ステップは、前記動き部分については前記第２のノイズ除去済み画像の比率が前記第１のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定し、前記精子部分については前記第１のノイズ除去済み画像の比率が前記第２のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定する構成とすることができる。

また、本発明のノイズ除去プログラムは、所定単位領域画像を順次入力する画像入力ステップと、前記画像入力ステップにて入力された第１の所定単位領域画像と前記第１の所定単位領域画像の入力時点より以前に入力された第２の所定単位領域画像とを比較し、画像の動きを検出する動き検出ステップと、前記動き検出ステップにより検出された画像の動きに基づいて、前記第１の所定単位領域画像から３次元ノイズ除去の手法に従って第１のノイズ除去済み画像を生成する３次元ノイズ除去ステップと、前記第１の所定単位領域画像から２次元ノイズ除去の手法に従って第２のノイズ除去済み画像を生成する２次元ノイズ除去ステップと、前記動き検出ステップにより検出された画像の動きに基づいて、前記第１のノイズ除去済み画像と、前記第２のノイズ除去済み画像との合成比率を決定する合成比率決定ステップと、前記合成比率決定ステップにより決定された合成比率に基づいて、前記第１のノイズ除去済み画像と、前記第２のノイズ除去済み画像とを合成する画像合成ステップとをコンピュータに実行させる構成となる。

また、本発明のノイズ除去プログラムは、前記動き検出ステップが、所定の基準に従って前記第１の所定単位領域画像の動き部分と静止部分とを判別し、前記合成比率ステップは、前記動き部分については前記第２のノイズ除去済み画像の比率が前記第１のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定し、前記精子部分については前記第１のノイズ除去済み画像の比率が前記第２のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定する構成とすることができる。

本発明は、画像の動きに基づいて３次元ノイズ除去の手法に従ったノイズ除去により第１のノイズ除去済み画像が生成されるとともに、２次元ノイズ除去の手法に従ったノイズ除去により第２のノイズ除去済み画像が生成され、更には、画像の動きに基づいて、第１及び第２のノイズ除去済み画像の合成比率が決定され、その合成比率に従って合成されたノイズ除去済み画像が得られるため、合成後の画像を、動きに応じて適切にノイズが除去された画像とすることができる。

以下、本発明の実施の形態の画像処理装置について、図面を用いて説明する。

まず、本発明の第１の実施の形態について説明する。本発明の第１の実施の形態における画像処理装置のブロック図を図１に示す。図１において、画像処理装置１００（１）は、外部からの画像（フレーム画像）のデータを画素単位で順次入力する画像入力部１１と、フレーム画像のデータを蓄積するフレーム蓄積部１２と、画像入力部１１が入力した外部からのフレーム画像のデータと、フレーム蓄積部１２が蓄積しているフレーム画像のデータとの同期をとる画像同期部１３と、フレーム画像について２次元ノイズ除去の手法に従ったノイズ除去を行う２次元ノイズ除去部１４と、フレーム画像の動きを検出する動き検出部１５と、フレーム巡回係数を決定するフレーム巡回係数決定部１６と、フレーム画像について３次元ノイズ除去の手法に従ったノイズ除去を行う３次元ノイズ除去部１７と、３次元ノイズ除去の手法に従ったノイズ除去により生成されたノイズ除去済み画像（以下、「３次元ノイズ除去済み画像」と称する）と、２次元ノイズ除去の手法に従ったノイズ除去により生成されたノイズ除去済み画像（以下、「２次元ノイズ除去済み画像」と称する）との合成比率を決定する合成比率決定部１８と、３次元ノイズ除去済み画像と２次元ノイズ除去済み画像とを合成する２次元・３次元合成部１９とを有する。

図１に示す画像処理装置１００（１）としては、例えば、１フレームの画像を格納可能なＲＡＭ（Random Access Memory）を内蔵し、画素単位で順次入力されるフレーム画像のデータについて、所定の画像処理を行い、その画像処理の結果を画素単位で出力するＬＳＩ（Large Scale Integration）回路が想定される。

以上のように構成された画像処理装置１００（１）について、図２を用いてその動作を説明する。

まず、画像入力部１１は、外部からのフレーム画像のデータを画素単位で入力する（S１０１）。以下、画像入力部１１が外部から入力した最新のフレーム画像のデータを現フレーム画像のデータと称する。現フレーム画像のデータは、画像同期部１３へ出力される。

画像同期部１３は、画像入力部１１から出力される現フレーム画像データと、フレーム蓄積部１２に蓄積されたフレーム画像のデータとの同期をとる（S１０２）。具体的には、画像同期部１３は、画像入力部１１が現フレーム画像のデータを出力するタイミングで、フレーム蓄積部１２に蓄積されたフレーム画像のデータを読み出す。フレーム画像１２に蓄積されたフレーム画像のデータは、画像入力部１１が現フレーム画像のデータよりも１フレーム分だけ過去に入力したものである。以下、フレーム蓄積部１２に蓄積されたフレーム画像のデータを前フレーム画像のデータと称する。画像同期部１３は、前述した同期処理の後、現フレーム画像のデータを２次元ノイズ除去部１４、動き検出部１５及び３次元ノイズ除去部１７へ出力するとともに、前フレーム画像のデータを動き検出部１５及び３次元ノイズ除去部１７へ出力する。なお、画像同期部１３は、後段の２次元ノイズ除去部１４等が２次元データ処理を行うことに対応して、複数のラインメモリを有する。

２次元ノイズ除去部１４は、入力した現フレーム画像のデータを用いて、その現フレーム画像について、２次元ノイズ除去の手法に従ってノイズを除去する（S１０３）。２次元ノイズ除去の手法は、例えば、垂直方向に５個の画素、水平方向に５個の画素によって構成される合計２５個の画素の移動平均に基づいて中心の画素における画素値を算出する方法や、ウェーブレット、ＤＣＴ（Discrete Cosine Transformation）等の画像解析により、画像信号の低域成分を抽出し、高域成分をノイズとして除去する手法等がある。２次元ノイズ除去部１４は、２次元ノイズ除去の手法に従ってノイズを除去することにより生成した２次元ノイズ除去済み画像のデータを２次元・３次元合成部１９へ出力する。

動き検出部１５は、入力した現フレーム画像のデータと前フレーム画像のデータとを比較し、フレーム画像の動きを検出する（S１０４）。例えば、動き検出部１５は、現フレーム画像と前フレーム画像とにおける２次元位置が同一の画素について、画素値の差分絶対値を算出し、この差分絶対値と、動き判定閾値、及び、動き判定閾値よりも小さい静止判定閾値とを比較する。そして、動き検出部１５は、差分絶対値が動き判定閾値よりも大きい場合には動きと判定し、静止判定閾値よりも小さい場合には静止と判定する。なお、差分絶対値が動き判定閾値と静止判定閾値との間の値である場合には、動きでも静止でもないと判定されるようにしてもよく、動き又は静止のいずれかであると判定されるようにしてもよい。あるいは、動き検出部１５は、現フレーム画像と前フレーム画像のエッジを検出して、両者のエッジを比較する手法、ＬＰＦ（Low Pass Filter）に現フレーム画像のデータ及び前フレーム画像のデータを通過させ、高域成分が除去されたデータ間の差分絶対値を算出し、その差分絶対値と動き判定閾値及び静止判定閾値とを比較する手法、ウェーブレット、アダマール変換等の画像解析により動きを検出する手法等を用いて、動きを検出することもできる。動き検出部１５は、前述した動き検出の手法により、フレーム画像を構成する画素毎に、その画素が動き部分であるか静止部分であるかを判別し、その判別結果を動き情報としてフレーム巡回係数決定部１６及び合成比率決定部１８へ出力する。

フレーム巡回係数決定部１６は、入力した動き情報に基づいて、フレーム巡回係数を決定する（S１０５）。具体的には、フレーム巡回係数決定部１６は、入力した画素毎の動き情報に基づいて、静止部分に対応する画素には、大きいフレーム巡回係数を設定し、動き部分に対応する画素には、小さいフレーム巡回係数を設定する。なお、同じフレーム巡回係数であっても、撮像装置の特性、動き情報の特性等の要因によって画質が異なるため、最終的には操作者が実際に画像を見てフレーム巡回係数を調整するようにしてもよい。この場合、フレーム巡回係数決定部１６は、可変の非線形変換が可能であるような構成とすることが好ましい。フレーム巡回係数決定部１６は、このようにして決定したフレーム巡回係数を３次元ノイズ除去部１７へ出力する。
３次元ノイズ除去部１７は、フレーム巡回係数決定部１６からのフレーム巡回係数を入力するとともに、画像同期部１３からの現フレーム画像のデータ及び前フレーム画像のデータを入力し、フレーム巡回係数に基づいて、現フレーム画像について、３次元ノイズ除去の手法に従ってノイズを除去する（S１０６）。具体的には、３次元ノイズ除去部１７は、現フレーム画像と前フレーム画像とのそれぞれでの２次元位置が同一の画素における画素値と、その画素に対応するフレーム巡回係数とを用いて、以下の計算式により、３次元ノイズ除去済み画像の画素における画素値を算出する。

３次元ノイズ除去済み画像の画素における画素値＝現フレーム画像の画素における画素値−（現フレーム画像の画素における画素値−前フレーム画像の画素における画素値）×フレーム巡回係数

更に、３次元ノイズ除去部１７は、３次元ノイズ除去済み画像のデータを２次元・３次元合成部１９へ出力する。

合成比率決定部１８は、入力した動き情報に基づいて、２次元ノイズ除去済み画像のデータと３次元ノイズ除去済み画像のデータとの合成比率を決定する（S１０７）。具体的には、合成比率決定部１８は、現フレーム画像における動きの程度が小さい部分（静止部分及び静止に近い部分）の画素については、３次元ノイズ除去済み画像の画素における画素値の比率が高くなるように合成比率を決定する。一方、合成比率決定部１８は、現フレーム画像における動きの程度が大きい部分（動き部分及び動きに近い部分）の画素については、２次元ノイズ除去済み画像における画素の画素値の比率が高くなるように合成比率を決定する。なお、合成比率決定部１８は、フレーム巡回係数決定部１６によって決定されたフレーム巡回係数を取得し、対応するフレーム巡回係数が大きい画素については、３次元ノイズ除去済み画像の画素における画素値の比率が高くなるように合成比率を決定し、対応するフレーム巡回係数が小さい画素については、２次元ノイズ除去済み画像における画素の画素値の比率が高くなるように合成比率を決定するようにしても良い。また、フレーム巡回係数の場合と同様、同じ合成比率であっても、撮像装置の特性、動き情報の特性等の要因によって画質が異なるため、最終的には操作者が実際に画像を見て合成比率を調整するようにしてもよい。この場合、合成比率決定部１８は、可変の非線形変換が可能であるような構成とすることが好ましい。合成比率決定部１８は、このようにして決定した合成比率を２次元・３次元合成部１９へ出力する。

２次元・３次元合成部１９は、入力した合成比率に従って、２次元ノイズ除去済み画像のデータと３次元ノイズ除去済み画像のデータとを合成する（S１０８）。具体的には、２次元・３次元合成部１９は、以下の計算式により、合成後の現フレーム画像の画素データを算出する。

合成後の現フレーム画像の画素における画素値＝３次元ノイズ除去済み画像の画素における画素値−（３次元ノイズ除去済み画像の画素における画素値−２次元ノイズ除去済み画像の画素における画素値）×合成比率

２次元・３次元合成部１９は、このようにして合成した後の現フレーム画像のデータを、ノイズ除去後の現フレーム画像のデータとして外部へ出力する。

次に、３次元ノイズ除去部１７は、３次元ノイズ除去済み画像のデータをフレーム蓄積部１２へ出力する。フレーム蓄積部１２は、この３次元ノイズ除去済み画像のデータを蓄積する。フレーム蓄積部１２に蓄積された３次元ノイズ除去済み画像のデータは、前フレーム画像のデータとして、その後のフレーム画像のノイズ除去のために用いられる（Ｓ１０９（１））。

その後、画像入力部１１は、現フレーム画像の全ての画素についてノイズ除去処理が終了したか否かを判定する（Ｓ１１０）。現フレーム画像の全ての画素についてノイズ除去処理が終了していない場合には、画像入力部１１は、ノイズ除去処理が終了していない画素のデータを入力する（Ｓ１０１）。一方、現フレーム画像の全ての画素についてノイズ除去処理が終了した場合には、画像入力部１１は、次のフレーム画像を現フレーム画像として、そのデータを画素単位で入力する（S１０１）。

以上のように、本発明の第１の実施の形態によれば、フレーム巡回係数決定部１６は、動き検出部１５が検出したフレーム画像の動きに基づいてフレーム巡回係数を決定し、更には、合成比率決定部１８は、フレーム画像の動きとフレーム巡回係数とに基づいて、２次元ノイズ除去済み画像と３次元ノイズ除去済み画像との合成比率を決定し、２次元・３次元合成部１９は、この合成比率に従って、画像合成を行う。このため、合成後のフレーム画像を、動きに応じて適切にノイズが除去された画像とすることができる。

特に、動き検出部５は、フレーム画像の動き部分と静止部分とを判別し、フレーム巡回係数決定部１６は、静止部分に対応するフレーム巡回係数を大きくし、動き部分に対応するフレーム巡回係数を小さくすることにより、現フレーム画像の静止部分は大きな巡回係数に基づいて３次元ノイズが除去されるため、ノイズ除去効果を向上させることができる一方、現フレーム画像の動き部分は小さな巡回係数に基づいて３次元ノイズが除去されるため、残像の発生を抑制することができる。また、合成比率決定部１８は、静止部分に対応する合成比率については、３次元ノイズ除去済み画像の比率を高めるようにし、動き部分に対応する合成比率については、２次元ノイズ除去済み画像の比率を高めるようにすることにより、現フレーム画像の静止部分については３次元ノイズ除去の手法が重視されるため、画像のぼけを少なくすることができる一方、現フレーム画像の動き部分については２次元ノイズ除去の手法が重視されるため、残像の発生を抑制することができる。

次に、本発明の第２の実施の形態について説明する。本発明の第２の実施の形態における画像処理装置のブロック図を図３に示す。図３において、画像処理装置１００（２）は、第１の実施の形態において図１に示す画像処理装置１００（１）と比較すると、３次元ノイズ除去部１７とフレーム蓄積部１２とが接続される代わりに、２次元・３次元合成部１９とフレーム蓄積部１２とが接続されている。

以上のように構成された画像処理装置１００（２）について、図４を用いてその動作を説明する。図４に示すフローチャートは、第１の実施の形態において図２に示すフローチャートと比較すると、Ｓ１０９における処理が異なる。

即ち、２次元・３次元合成部１９は、入力した合成比率に従って、２次元ノイズ除去済み画像のデータと３元ノイズ除去済み画像のデータとを合成すると（ステップ１０８）、合成後の現フレーム画像のデータをフレーム蓄積部１２へ出力する。フレーム蓄積部１２は、この合成後の現フレーム画像のデータを蓄積する（Ｓ１０９（２））。

フレーム蓄積部１２に蓄積された合成後の現フレーム画像のデータ、すなわち、ノイズ除去後の現フレーム画像のデータは、前フレーム画像のデータとして、その後のフレーム画像のノイズ除去のために用いられる。従って、フレーム画像の動きをより適切に検出することが可能になるとともに、次のフレーム画像へノイズが伝播してしまうことを抑制して、ノイズ除去効果を向上させることができる。

次に、本発明の第３の実施の形態について説明する。第３の実施の形態における画像処理装置は、第１の実施の形態において図１に示す画像処理装置１００（１）又は第２の実施の形態において図３に示す画像処理装置１００（２）と同様の構成を有するが、２次元ノイズ除去部１４における動作が異なる。以下、第３の実施形態における２次元ノイズ除去部１４の処理について、図５を用いてその動作を説明する。

まず、２次元ノイズ除去部１４は、後述する周辺画素の画素値の総和と、内蔵するカウンタ（図示せず）の値とを０にクリアする（S２０１）。次に、２次元ノイズ除去部１４は、２次元ノイズ除去手法に従ったノイズ除去の対象となっている注目画素の画素値と、注目画素の周囲に存在する複数の周辺画素の何れかの画素値との差分を算出し、更にその差分の絶対値を算出する（S２０２）。ここで、周辺画素は、例えば、注目画素を中心に、垂直方向に５個の画素、水平方向に５個の画素によって構成される合計２４個の画素である。

次に、２次元ノイズ除去部１４は、算出した差分絶対値が予め定められた閾値よりも小さいか否かを判定する（S２０３）。差分絶対値が閾値よりも小さい場合、換言すれば、注目画素と周辺画素との相関が高い場合には、２次元ノイズ除去部１４は、周辺画素の画素値を総和に加算するとともに（S２０４）、カウンタに１を加算する（S２０５）。一方、差分絶対値が閾値以上である場合、換言すれば、注目画素と周辺画素との相関が低い場合には、これらステップ２０３及び２０４の動作は行われない。

次に、２次元ノイズ除去部１４は、注目画素の画素値と全ての周辺画素の画素値との差分絶対値を算出したか否かを判定する（S２０６）。注目画素の画素値と全ての周辺画素の画素値との差分絶対値を算出した場合、２次元ノイズ除去部１４は、ステップ２０４において算出した周辺画素の画素値の総和をステップ２０５において加算されたカウント値で除することにより、周辺画素の画素値の平均値を算出する（S２０７）。算出された平均値は、２次元ノイズ除去の手法に従ってノイズが除去された注目画素における画素値となる。一方、注目画素の画素値と全ての周辺画素の画素値との差分絶対値を算出していない場合、２次元ノイズ除去部１４は、注目画素の画素値と残りの周辺画素の画素値との差分絶対値の算出（S２０２）以降の動作を繰り返す。

以上のように、本発明の第３の実施の形態によれば、２次元ノイズ除去部１４は、注目画素の２次元ノイズを除去する際、周辺画素のうち、注目画素との相関の高い画素のみを用い、相関の低い画素を除外するため、エッジ部分における画像のぼけを少なくすることができる。特に、第２の実施の形態のように、ノイズが適切に除去されたフレーム画像のデータが前フレーム画像のデータとなる場合には、その後のフレーム画像のノイズ除去において、前フレーム画像におけるエッジ部分における画像のぼけが動きであると誤判定されることを防止することができる。

次に、本発明の第４の実施の形態について説明する。本発明の第４の実施の形態における画像処理装置のブロック図を図６に示す。図６において、画像処理装置１００（４）は、第２の実施の形態において図３に示す画像処理装置１００（２）と比較すると、新たに、画像統計処理部４１と、ノイズ除去レベル決定部４２とを有する構成である。

画像統計処理部４１は、２次元・３次元合成部１９が出力するノイズ除去後のフレーム画像のデータを入力し、そのフレーム画像のデータの統計処理を行い、統計情報を生成する。生成される統計情報は、例えばフレーム画像内の各画素の画素値の平均値、最大値、最小値等であり、フレーム画像内の画素のおおよその画素値の傾向、換言すれば、フレーム画像のおおよその照度を示すものとなる。更に、画像統計処理部４１は、生成した統計情報をノイズ除去レベル決定部４２へ出力する。

ノイズ除去レベル決定部４２は、入力した統計情報に基づいて、ノイズ除去レベルを決定する。具体的には、ノイズ除去レベル決定部４２は、統計情報から撮像環境が十分な照度であると判断した場合、Ｓ／Ｎ比が良好であるとみなす。Ｓ／Ｎ比が良好である場合にはノイズ除去レベルを高める必要はない。このため、ノイズ除去レベル決定部４２は、フレーム巡回係数決定部１６に対してフレーム巡回係数を下げる指示を出すとともに、合成比率決定部１８に対して、２次元ノイズ除去済み画像のデータの比率を下げる指示を出す。フレーム巡回係数決定部１６は、ノイズ除去レベル決定部４２の指示に応じてフレーム巡回係数を下げる。また、合成比率決定部１８は、ノイズ除去レベル決定部４２の指示に応じて２次元ノイズ除去済み画像のデータの比率を下げる。

以上のように、本発明の第４の実施の形態によれば、ノイズ除去後のフレーム画像のデータから統計情報が生成され、更に、この統計情報に基づいて、ノイズ除去レベルが下げられる。このため、撮像環境が良く、Ｓ／Ｎ比が良好であるために、ノイズ除去を厳格に行う必要がないような場合においても、ノイズ除去が厳格に行われることにより、画像のぼけや残像が生じ、かえってノイズが大きくなってしまうことを防止することができる。

なお、前述した本発明の第４の実施の形態では、ノイズ除去レベル決定部４２は、統計情報からＳ／Ｎ比を判定したが、外部から入力されるフレーム画像データにかけられているアナログゲイン量やデジタルゲイン量をも考慮してＳ／Ｎ比を判定しても良い。例えば撮像環境が十分な照度でない場合、外部から入力されるフレーム画像データの信号は増幅されることがあるが、ノイズも増幅されるため、Ｓ／Ｎ比が悪化する。このため、ノイズ除去レベル決定部４２は、ノイズ除去レベルを高める処理、即ち、フレーム巡回係数決定部１６に対してフレーム巡回係数を上げる指示を出すとともに、合成比率決定部１８に対して、２次元ノイズ除去済み画像のデータの比率を上げる指示を出す。

以上のように、本発明にかかる画像処理装置、ノイズ除去方法及びノイズ除去プログラムは、画像の動きに応じて適切にノイズを除去することができるという効果を有し、画像のノイズを除去する画像処理装置、ノイズ除去方法及びノイズ除去プログラムとして有用である。

本発明の第１の実施の形態における画像処理装置のブロック図 本発明の第１の実施の形態における画像処理装置の動作のフローチャート 本発明の第２の実施の形態における画像処理装置のブロック図 本発明の第２の実施の形態における画像処理装置の動作のフローチャート 本発明の第３の実施の形態における画像処理装置の動作のフローチャート 本発明の第４の実施の形態における画像処理装置のブロック図 従来の画像処理装置のブロック図

符号の説明

１００（１）、１００（２）、１００（４） 画像処理装置
１１ 画像入力部
１２ フレーム蓄積部
１３ 画像同期部
１４ ２次元ノイズ除去部
１５ 動き検出部
１６ フレーム巡回係数決定部
１７ ３次元ノイズ除去部
１８ 合成比率決定部
１９ ２次元・３次元合成部
４１ 画像統計処理部
４２ ノイズ除去レベル決定部

Claims (13)

1. 所定単位領域画像を順次入力する画像入力手段と、
   前記画像入力手段で入力された第１の所定単位領域画像と前記第１の所定単位領域画像の入力時点より以前に入力された第２の所定単位領域画像とを比較して画像の動きを検出する動き検出手段と、
   前記動き検出手段により検出された画像の動きに基づいて、前記第１の所定単位領域画像から３次元ノイズ除去の手法に従って第１のノイズ除去済み画像を生成する３次元ノイズ除去手段と、
   前記第１の所定単位領域画像から２次元ノイズ除去の手法に従って第２のノイズ除去済み画像を生成する２次元ノイズ除去手段と、
   前記動き検出手段により検出された画像の動きに基づいて、前記第１のノイズ除去済み画像と、前記第２のノイズ除去済み画像との合成比率を決定する合成比率決定手段と、
   前記合成比率決定手段により決定された合成比率に基づいて、前記第１のノイズ除去済み画像と前記第２のノイズ除去済み画像とを合成してノイズ除去済み画像を生成する画像合成手段とを有することを特徴とする画像処理装置。
2. 前記画像合成手段により得られた前記ノイズ除去済み画像を、前記第２の所定単位領域画像として用いることを特徴とする請求項１に記載の画像処理装置。
3. 前記合成比率決定手段は、前記動き検出手段により検出された画像の動きの程度が大きい部分ほど前記第２のノイズ除去済み画像の比率を高くするように前記合成比率を決定することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記合成比率決定手段は、前記動き検出手段により検出された画像の動きの程度が小さい部分ほど前記第１のノイズ除去済み画像の比率を高くするように前記合成比率を決定することを特徴とする請求項１又は２記載の画像処理装置。
5. 前記動き検出手段は、所定の基準に従って前記第１の所定単位領域画像の動き部分と静止部分とを判別し、
   前記合成比率決定手段は、前記動き部分については前記第２のノイズ除去済み画像の比率が前記第１のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定し、前記静止部分については前記第１のノイズ除去済み画像の比率が前記第２のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定することを特徴とする請求項１又は２記載の画像処理装置。
6. 前記３次元ノイズ除去手段は、前記動き検出手段により検出された画像の動きに基づいて巡回係数を決定する巡回係数決定手段を有し、前記巡回係数を用いて前記３次元ノイズ除去の手法に従って前記第１のノイズ除去済み画像を生成し、
   前記巡回係数決定手段は、前記静止部分に対応する巡回係数を前記動き部分に対応する巡回係数より大きい値に決定し、
   前記合成比率決定手段は、前記巡回係数決定手段にて決定される巡回係数の値に応じて前記合成比率を決定することを特徴とする請求項５記載の画像処理装置。
7. 前記２次元ノイズ除去手段は、前記第１の所定単位領域画像内の注目画素の所定周辺画素のうち前記注目画素との相関値が所定値より高くなる周辺画素を前記注目画素についてのノイズ除去の処理対象画素として決定することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
8. 前記合成比率決定手段は、前記画像入力手段で入力された前記所定単位領域毎の画像の統計的情報に基づいて、前記合成比率を決定することを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記巡回係数決定手段は、前記画像入力手段で入力された前記所定単位領域毎の画像の統計的情報に基づいて前記巡回係数を決定することを特徴とする請求項６又は７記載の画像処理装置。
10. 所定単位領域画像を順次入力する画像入力ステップと、
    前記画像入力ステップにて入力された第１の所定単位領域画像と前記第１の所定単位領域画像の入力時点より以前に入力された第２の所定単位領域画像とを比較し、画像の動きを検出する動き検出ステップと、
    前記動き検出ステップにより検出された画像の動きに基づいて、前記第１の所定単位領域画像から３次元ノイズ除去の手法に従って第１のノイズ除去済み画像を生成する３次元ノイズ除去ステップと、
    前記第１の所定単位領域画像から２次元ノイズ除去の手法に従って第２のノイズ除去済み画像を生成する２次元ノイズ除去ステップと、
    前記動き検出ステップにより検出された画像の動きに基づいて、前記第１のノイズ除去済み画像と、前記第２のノイズ除去済み画像との合成比率を決定する合成比率決定ステップと、
    前記合成比率決定ステップにより決定された合成比率に基づいて、前記第１のノイズ除去済み画像と、前記第２のノイズ除去済み画像とを合成する画像合成ステップとを有することを特徴とするノイズ除去方法。
11. 前記動き検出ステップは、所定の基準に従って前記第１の所定単位領域画像の動き部分と静止部分とを判別し、
    前記合成比率ステップは、前記動き部分については前記第２のノイズ除去済み画像の比率が前記第１のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定し、前記精子部分については前記第１のノイズ除去済み画像の比率が前記第２のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定することを特徴とする請求項１０記載のノイズ除去方法。
12. 所定単位領域画像を順次入力する画像入力ステップと、
    前記画像入力ステップにて入力された第１の所定単位領域画像と前記第１の所定単位領域画像の入力時点より以前に入力された第２の所定単位領域画像とを比較し、画像の動きを検出する動き検出ステップと、
    前記動き検出ステップにより検出された画像の動きに基づいて、前記第１の所定単位領域画像から３次元ノイズ除去の手法に従って第１のノイズ除去済み画像を生成する３次元ノイズ除去ステップと、
    前記第１の所定単位領域画像から２次元ノイズ除去の手法に従って第２のノイズ除去済み画像を生成する２次元ノイズ除去ステップと、
    前記動き検出ステップにより検出された画像の動きに基づいて、前記第１のノイズ除去済み画像と、前記第２のノイズ除去済み画像との合成比率を決定する合成比率決定ステップと、
    前記合成比率決定ステップにより決定された合成比率に基づいて、前記第１のノイズ除去済み画像と、前記第２のノイズ除去済み画像とを合成する画像合成ステップとをコンピュータに実行させることを特徴とするノイズ除去プログラム。
13. 前記動き検出ステップは、所定の基準に従って前記第１の所定単位領域画像の動き部分と静止部分とを判別し、
    前記合成比率ステップは、前記動き部分については前記第２のノイズ除去済み画像の比率が前記第１のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定し、前記精子部分については前記第１のノイズ除去済み画像の比率が前記第２のノイズ除去済み画像の比率より大きくなるように前記合成比率を決定することを特徴とする請求項１２記載のノイズ除去プログラム。

Images