JP2005149266A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】撮影状況に最適化されたノイズ低減処理を可能とし、原信号の保存性に優れ、高品位な画像を生成する画像処理装置及び画像処理方法並びに画像処理プログラムを提供する。
【解決手段】画像信号中に含まれるノイズ量を推定するためのパラメータを、前記画像信号に基づいて算出するパラメータ算出部102 と、前記画像信号中の着目画素がエッジか否かを判定するエッジ判定部103 と、前記エッジ判定結果に基づき、前記パラメータを補正するパラメータ補正部104 と、前記ノイズ量を推定するためのノイズ量推定モデルを、前記画像信号を取得する際の条件に対応して備え、このノイズ量推定モデルを用い、補正された前記パラメータに対応するノイズ量を推定するノイズ量推定部105 と、前記推定されたノイズ量に基づき、前記画像信号中のノイズを低減するノイズ低減処理部106 とで画像処理装置を構成する。
【選択図】図１

Description

この発明は、画像処理装置に関し、特にノイズの少ない好適な画像が得られる画像処理装置、画像処理方法及び画像処理プログラムに関する。

撮像素子とそれに付随するアナログ回路及びＡ／Ｄコンバータから得られるデジタル化された信号中に含まれるノイズ成分は、固定パターンノイズと孤立ノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子及びアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。また、ランダムノイズには孤立ノイズが含まれる場合があり、この孤立ノイズは撮像素子及びアナログ回路で発生し、画像中の不特定の場所に存在し、その画素値は周辺の画素値とは大きく異なる。ランダムノイズに関しては、例えば特開２００１−１５７０５７号公報に示されるように、ノイズ量を信号レベルに対して関数化し、この関数から信号レベルに対するノイズ量を推定し、ノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。これにより、信号レベルに対して適応的なノイズ低減処理が行われることになる。
特開２００１−１５７０５７号公報

ところで、上記特開２００１−１５７０５７号公報開示の手法では、ノイズ量をＮ，濃度値に変換した信号レベルをＤとした場合に、Ｎ＝ａｂ^CDで関数化していた。ここで、ａ，ｂ，ｃは定数であり、静的に与えられる。しかしながら、ノイズ量は撮影時の温度、露光時間、ゲインなどの要因により動的に変化する。すなわち、上記公報開示の手法では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣るという課題がある。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングの周波数特性の制御により平坦部分もエッジ部分も区別することなく同等に処理すると、信号レベルからノイズ量が大と推定された領域にあるエッジ部は劣化し、原信号の保存性が悪くなる。そのため、エッジ部の劣化防止対策として、着目画素と着目画素の近傍画素とを比較し、着目画素との信号値の差が大きい近傍画素は、被平均化画素又はフィルタ演算対象画素から除くことにより、エッジ部の劣化を防止するという提案がなされている。しかし、この方法では被平均値化の画素数が一定ではなくなるため、平均値を求める際に除算回路を設ける必要があり、回路規模が大きくなるという課題がある。更に、着目画素が孤立ノイズである際に、全ての近傍画素は被平均化画素又はフィルタ演算対象画素から除かれるため、孤立ノイズに対してはノイズ低減処理の効果が得られず、画像中の孤立ノイズのみ原信号が出力され、画質が改善されないという課題がある。

本発明は前記問題点に着目し、信号レベルのみならず撮影時の温度、露光時間、ゲインなどの動的に変化する要因に対応したノイズ量のモデル化を行い、これにより撮影状況に最適化されたノイズ低減処理を可能とする画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。また、着目画素がエッジか否かを判定し、エッジ部の劣化を抑えたノイズ低減処理をおこない、更に、画像中に孤立ノイズが存在する場合はそれを検出し、除去することにより、原信号の保存性に優れ、高品位な画像を生成する画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記課題を解決するため、請求項１に係る発明は、画像信号中に含まれるノイズを低減する画像処理装置であって、前記画像信号中に含まれるノイズ量を推定するためのパラメータを、前記画像信号に基づいて算出するパラメータ算出部と、前記画像信号中の着目画素がエッジか否かを判定するエッジ判定部と、前記エッジ判定結果に基づき、前記パラメータを補正するパラメータ補正部と、前記ノイズ量を推定するためのノイズ量推定モデルを、前記画像信号を取得する際の条件に対応して備え、このノイズ量推定モデルを用い、補正された前記パラメータに対応するノイズ量を推定するノイズ量推定部と、前記推定されたノイズ量に基づき、前記画像信号中のノイズを低減するノイズ低減処理部とを備えていることを特徴とするものである。

請求項２に係る発明は、請求項１に係る画像処理装置において、前記パラメータ算出部は、着目画素近傍の複数画素の平均値、及び最大値或いは最小値の少なくとも一つを算出することを特徴とするものである。

請求項３に係る発明は、請求項１に係る画像処理装置において、前記エッジ判定部は、着目画素近傍の複数画素の平均値と最大値、あるいは、平均値と最小値とを比較し、その比較結果を、着目画素がエッジか否かを示すエッジ判定信号として出力することを特徴とするものである。

請求項４に係る発明は、請求項１に係る画像処理装置において、着目画素が近傍画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定部と、孤立ノイズ判定信号に基づき、前記画像信号中の孤立ノイズを除去する孤立ノイズ除去部とを、更に備えていることを特徴とするものである。

請求項５に係る発明は、請求項４に係る画像処理装置において、前記孤立ノイズ判定部は、着目画素の画素値と着目画素近傍の画素の平均値とを比較し、その比較結果を孤立ノイズ判定信号として出力することを特徴とするものである。

請求項６に係る発明は、請求項１〜５のいずれか１項に係る画像処理装置において、前記各部は、前記画像信号として、色又は輝度を表す画像信号の少なくとも一方を処理することを特徴とするものである。

請求項７に係る発明は、画像信号中に含まれるノイズを低減する画像処理方法であって、前記画像信号中に含まれるノイズ量を推定するためのパラメータを、前記画像信号に基づいて算出するステップと、前記画像信号中の着目画素がエッジか否かを判定するステップと、前記エッジ判定結果に基づき、前記パラメータを補正するステップと、前記ノイズ量を推定するためのノイズ量推定モデルを、前記画像信号を取得する際の条件に対応して備え、このノイズ量推定モデルを用い、補正された前記パラメータに対応するノイズ量を推定し、前記推定されたノイズ量に基づき、前記画像信号中のノイズを低減するステップとを備えていることを特徴とするものである。

請求項８に係る発明は、請求項７に係る画像処理方法において、前記パラメータ算出ステップは、着目画素近傍の複数画素の平均値、及び最大値或いは最小値の少なくとも一つを算出することを特徴とするものである。

請求項９に係る発明は、請求項７に係る画像処理方法において、前記エッジ判定ステップは、着目画素近傍の複数画素の平均値と最大値、あるいは、平均値と最小値とを比較し、その比較結果を、着目画素がエッジか否かを示すエッジ判定信号として出力することを特徴とするものである。

請求項10に係る発明は、請求項７に係る画像処理方法において、着目画素が近傍画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定ステップと、孤立ノイズ判定信号に基づき、前記画像信号中の孤立ノイズを除去するステップとを、更に備えていることを特徴とするものである。

請求項11に係る発明は、請求項10に係る画像処理方法において、前記孤立ノイズ判定ステップは、着目画素の画素値と着目画素近傍の画素の平均値とを比較し、その比較結果を孤立ノイズ判定信号として出力することを特徴とするものである。

請求項12に係る発明は、請求項７〜11のいずれか１項に係る画像処理方法において、前記各ステップは、前記画像信号として、色又は輝度を表す画像信号の少なくとも一方を処理することを特徴とするものである。

請求項13に係る発明は、画像信号中に含まれるノイズを低減する画像処理プログラムであって、前記画像信号中に含まれるノイズ量を推定するためのパラメータを、前記画像信号に基づいて算出する手順と、前記画像信号中の着目画素がエッジか否かを判定する手順と、前記エッジ判定結果に基づき、前記パラメータを補正する手順と、前記ノイズ量を推定するためのノイズ量推定モデルを、前記画像信号を取得する際の条件に対応して備え、このノイズ量推定モデルを用い、補正された前記パラメータに対応するノイズ量を推定する手順と、前記推定されたノイズ量に基づき、前記画像信号中のノイズを低減する手順とをコンピュータに実行させるように画像処理プログラムを構成するものである。

請求項14に係る発明は、請求項13に係る画像処理プログラムにおいて、前記パラメータ算出手順は、着目画素近傍の複数画素の平均値、及び最大値或いは最小値の少なくとも一つを算出することを特徴とするものである。

請求項15に係る発明は、請求項13に係る画像処理プログラムにおいて、前記エッジ判定手順は、着目画素近傍の複数画素の平均値と最大値、あるいは、平均値と最小値とを比較し、その比較結果を、着目画素がエッジか否かを示すエッジ判定信号として出力することを特徴とするものである。

請求項16に係る発明は、請求項13に係る画像処理プログラムにおいて、着目画素が近傍画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定手順と、孤立ノイズ判定信号に基づき、前記画像信号中の孤立ノイズを除去する手順とを、更に備えていることを特徴とするものである。

請求項17に係る発明は、請求項16に係る画像処理プログラムにおいて、前記孤立ノイズ判定手順は、着目画素の画素値と着目画素近傍の画素の平均値とを比較し、その比較結果を孤立ノイズ判定信号として出力することを特徴とするものである。

請求項18に係る発明は、請求項13〜17のいずれか１項に係る画像処理プログラムにおいて、前記各手順は、前記画像信号として、色又は輝度を表す画像信号の少なくとも一方を処理することを特徴とするものである。

本発明に係る請求項１から請求項３，及び請求項６に係る画像処理装置によれば、着目画素領域の特徴量に基づいてノイズ量推定モデルより算出される推定ノイズ量を用いてノイズ低減処理を行う画像処理装置において、ノイズ低減処理の対象となる画素がエッジか否かを判定し、その判定結果に基づいて着目画素領域の特徴量を適応的に補正することにより、画像中の着目画素の位置によらず適切なノイズ量を推定し、その推定ノイズ量に基づいて画像に対してノイズ低減処理を施すことにより、ランダムノイズが除去され、低ノイズ且つ画像の鮮鋭度が保たれた好適な画像を得ることができる。

本発明に係る請求項４から請求項６に係る画像処理装置によれば、着目画素領域の特徴量に基づいてノイズ量推定モデルより算出される推定ノイズ量を用いてノイズ低減処理を行う画像処理装置において、ノイズ低減処理の対象となる画素がエッジか否かを判定し、その判定結果に基づき着目画素領域の特徴量を適応的に補正することにより、画像中の着目画素の位置によらず適切なノイズ量を推定し、その推定ノイズ量に基づいて画像に対してノイズ低減処理を施し、更に、着目画素が孤立ノイズか否かを判定し、その判定結果に基づいて孤立ノイズ除去処理を施すことにより、孤立ノイズ及びランダムノイズが除去された低ノイズ且つ画像の鮮鋭度が保たれた好適な画像を得ることができる。

本発明に係る請求項７から請求項９，及び請求項12に係る画像処理方法によれば、着目画素領域の特徴量に基づいてノイズ量推定モデルより算出される推定ノイズ量を用いてノイズ低減処理を行う画像処理方法において、ノイズ低減処理の対象となる画素がエッジか否かを判定し、その判定結果に基づき着目画素領域の特徴量を適応的に補正することにより、画像中の着目画素の位置によらず適切なノイズ量を推定し、その推定ノイズ量に基づいて画像に対してノイズ低減処理を施すことにより、ランダムノイズが除去された低ノイズ且つ画像の鮮鋭度が保たれた好適な画像を得ることができる。

本発明に係る請求項10から請求項12に係る画像処理方法によれば、着目画素領域の特徴量に基づいてノイズ量推定モデルより算出される推定ノイズ量を用いてノイズ低減処理を行う画像処理方法において、ノイズ低減処理の対象となる画素がエッジか否かを判定し、その判定結果に基づき着目画素領域の特徴量を適応的に補正することにより、画像中の着目画素の位置によらず適切なノイズ量を推定し、その推定ノイズ量に基づいて画像に対してノイズ低減処理を施し、更に、着目画素が孤立ノイズか否かを判定し、その判定結果に基づいて孤立ノイズ除去処理を施すことにより、孤立ノイズ及びランダムノイズが除去された低ノイズ且つ画像の鮮鋭度が保たれた好適な画像を得ることができる。

本発明に係る請求項13から請求項15，及び請求項18に係る画像処理プログラムによれば、着目画素領域の特徴量に基づいてノイズ量推定モデルより算出される推定ノイズ量を用いてノイズ低減処理を行う画像処理プログラムにおいて、ノイズ低減処理の対象となる画素がエッジか否かを判定し、その判定結果に基づき着目画素領域の特徴量を適応的に補正することにより、画像中の着目画素の位置によらず適切なノイズ量を推定し、その推定ノイズ量に基づいて画像に対してノイズ低減処理を施すことにより、ランダムノイズが除去された低ノイズ且つ画像の鮮鋭度が保たれた好適な画像を得ることができる。

本発明に係る請求項16から請求項18に係る画像処理プログラムによれば、着目画素領域の特徴量に基づいてノイズ量推定モデルより算出される推定ノイズ量を用いてノイズ低減処理を行う画像処理プログラムにおいて、ノイズ低減処理の対象となる画素がエッジか否かを判定し、その判定結果に基づき着目画素領域の特徴量を適応的に補正することにより、画像中の着目画素の位置によらず適切なノイズ量を推定し、その推定ノイズ量に基づいて画像に対してノイズ低減処理を施し、更に、着目画素が孤立ノイズか否かを判定し、その判定結果に基づいて孤立ノイズ除去処理を施すことにより、孤立ノイズ及びランダムノイズが除去された低ノイズ且つ画像の鮮鋭度が保たれた好適な画像を得ることができる。

次に、発明を実施するための最良の形態について説明する。

以下に、図面を参照して本発明の実施例について説明する。図１は、本発明に係る画像処理装置の実施例を示すブロック図である。この実施例に係る画像処理装置100 は、領域設定部101 と、パラメータ算出部102 と、エッジ判定部103 と、パラメータ補正部104 と、ノイズ量推定部105 と、ノイズ低減処理部106 と、孤立ノイズ判定部107 と、孤立ノイズ除去部108 とを備えている。

領域設定部101 では、入力される画像データを画像処理の対象領域として、メモリやレジスタを用いて着目画素を含むｍ×ｎの着目画素領域を設定する。パラメータ算出部102 では、着目画素近傍の複数画素の平均値と、最大値と、最小値とを算出する。エッジ判定部103 では、前記パラメータ算出部102 において算出された平均値と最大値、あるいは平均値と最小値とを比較し、その比較結果を着目画素がエッジか否かを示すエッジ判定信号として出力する。

パラメータ補正部104 では、エッジ判定部103 におけるエッジ判定結果に基づいて、着目画素がエッジである場合に、着目画素が含まれるエッジ領域の画素レベルに近づく方向に、パラメータ算出部102 から入力される平均値を補正する。ノイズ量推定部105 では、着目画素の色と、撮像素子からアナログ回路を通して画像処理回路に至る撮像システムの画像生成時の条件に基づいて、少なくとも一つ以上備えるノイズ量推定モデルから適切なモデルを適応的に選択し、選択されたノイズ量推定モデルと、前記パラメータ補正部104 により補正された平均値とを用いて推定ノイズ量を求める。

ノイズ低減処理部106 では、前記パラメータ補正部104 からの前記補正された平均値と前記ノイズ量推定部105 で得られた前記推定ノイズ量に基づいて、着目画素値のノイズ低減処理を行う。孤立ノイズ判定部107 では、前記エッジ判定信号に基づき、着目画素が非エッジと判定された場合に、前記パラメータ算出部102 により算出された平均値と着目画素値とを比較し、その比較結果を孤立ノイズ判定信号として出力する。孤立ノイズ除去部108 では、前記孤立ノイズ判定信号に基づき、前記パラメータ算出部102 より出力される平均値又は前記ノイズ低減処理部106 から出力されるノイズ低減処理を施された着目画素値のうち、いずれか一方の画像値を選択し、出力するようになっている。

次に、本実施の形態によるノイズ低減処理方法を、より具体的に説明する。原色フィルタを備える撮像素子からの画像信号が画像処理装置100 に入力されると、領域設定部101 により、着目画素がＲである場合には、図２に示すような５×５の画素領域が設定される。この画素領域内において、着目画素と同一の特性を有する画素を図３に示すように抽出し、後述の説明のために図４に示すように (1)〜(9) と指定する。ここで、着目画素は(5) とする。

パラメータ算出部102 では、前述した画素領域内の画素から平均値と、最大値と、最小値とを算出し、後段に対して出力する。平均値としては、図４の(1),(2),(3),(4),(6),(7),(8),(9) の8 画素の平均値を算出する。平均値を取る画素数は除算回路を削減するために２の倍数にすることが望ましい。また、最大値及び最小値は、図４の(1),(2),(3),(4),(6),(7),(8),(9) の8 画素を比較することにより、それぞれ決定される。

エッジ判定部103 では、パラメータ算出部102 より出力される平均値と、最大値と、最小値と、閾値に基づいて、設定画素領域内の着目画素と同じ特性の画素にエッジがあるか否かを判定し、その判定結果をエッジ判定信号として出力する。ここで閾値は、着目画素領域の値に基づいて算出してもよいし、外部から設定してもよいし、予め画像処理装置内に一つ又は画素レベルに対応した複数の閾値を備えておいてもよい。

次に、エッジ判定部103 におけるエッジの判定方法について説明する。本実施例におけるエッジの判定は、エッジである画素の周辺画素のうち、少なくともひとつの画素は相対的にエッジであるという性質と、エッジである画素の値は周辺の画素の値とは大きく異なるという性質を利用している。例えば、図４に示したような設定画素領域内の(1),(2),(3),(4),(6),(7),(8),(9) のうちの少なくとも１つの画素がエッジならば、その画素と隣り合う着目画素(5) もまた輪郭であることになる。したがって、着目画素を除いた画素のみでも、着目画素がエッジであるか否かの判定が可能である。そこでエッジ判定部103 では、エッジとなりうる可能性が高い特徴的な量である最大値及び最小値と、画素領域の特徴量である平均値との比較を行い、最大値と平均値との差、又は最小値と平均値との差のうち、いずれかの値がある閾値以上ならば、最大値又は最小値をとる画素はエッジであると判定し、着目画素もまたエッジと判定する。これを条件式を用いて表現すると、以下のようになる。
・（最大値−平均値）≧閾値、又は（平均値−最小値）≧閾値を満たすならば、エッジと判定。
・上記条件を満たさなければ平坦部と判定。

パラメータ補正部104 では、エッジ判定部103 におけるエッジ判定結果に基づいて、着目画素がエッジである場合に、着目画素が含まれるエッジ領域の画素レベルに近づく方向に、パラメータ算出部102 から入力される平均値を補正する。これは、例えば、着目画素領域がエッジ部である場合、パラメータ算出部102 において算出された平均値は着目画素の含まれないエッジの影響で、着目画素の含まれるエッジの平均値から乖離してしまう。したがって、着目画素の含まれるエッジの平均値に近づけるために、着目画素の値を用いて平均値を補正する。

より具体的に示すと、例えば着目画素領域が図５に示すような場合、パラメータ算出部102 により算出される平均値は、(182＋81＋78＋179 ＋84＋78＋76＋82）／８＝105 ，となる。この105 という値は、80前後の画素値を持つ着目画素の含まれるエッジ部の平均値とは乖離している。そのため着目画素の含まれるエッジ部の平均値に近づけるため、パラメータ算出部102 において算出された平均値と着目画素値とを用いて、補正された平均値を(105＋75）／２＝90とする。これは、着目画素領域の重み付け平均、｛ (1)＋(2) ＋(3) ＋(4) ＋(6) ＋(7）＋(8) ＋(9) ＋８×(5) ｝／16，を算出することと等価である。この重み付け平均は、特に２の倍数に限定されるものではないが、回路規模を考慮すると、前述のように２の倍数で重み付け平均を取ることが望ましい。

一方、着目画素領域が平坦部である場合は、着目画素はその周辺画素と相関性が高いため、パラメータを特に補正する必要はない。具体的には、例えば着目画素領域が図６に示すような場合、パラメータ算出部102 により算出される平均値は、（82＋81＋78＋79＋84＋78＋76＋82）／８＝80，となり、特に着目画素の値が考慮されていなくても、着目画素領域の特徴が得られている。本実施例においては、着目画素が平坦部である場合には、特にパラメータの補正を行わないが、本発明はこれに限定されるものではない。例えば、｛ (1)＋(2) ＋(3) ＋(4) ＋(5) ＋(6) ＋(7）＋(8) ＋(9) ｝／９など、着目画素の値を含めても構わない。

ノイズ量推定部105 では、着目画素の色と、撮像素子からアナログ回路を通して画像処理回路に至る撮像システムの画像生成時の条件とから、少なくとも一つ以上備えるノイズ量推定モデルから適切なモデルを適応的に選択し、選択されたノイズ量推定モデルと、前記パラメータ補正部104 により補正された平均値とを用いて推定ノイズ量を求める。上述のノイズ量推定モデルは、理論値又は実測値に基づくノイズ量をモデル化したものである。このモデルは、撮像素子の有する色フィルタと対応する色毎、更に、ＩＳＯ感度設定など画像取得時の撮像システムの条件毎に、少なくとも一つ以上備える。具体的な動作としては、例えば、ノイズ量推定モデルをＬＵＴとして備えている場合は、パラメータ補正部104 より出力される平均値をアドレスとして、着目画素の色と撮影条件により選択されるＬＵＴを参照し、着目画素値の推定ノイズ量を導出する。なお、推定ノイズ量の算出方法は、ノイズ量推定モデルを格納したＬＵＴを用いて算出する方法に限定されるものではなく、各ノイズ量推定モデルを算術演算回路化し、推定ノイズ量を算出してもよい。

ノイズ低減処理部106 では、前記推定ノイズ量に基づいてノイズ低減処理をおこなう。本発明の実施例においては、着目画素のノイズ推定量に基づいて適応的にノイズ低減処理を行う方法であれば、特にその方法を問わない。例えば、推定ノイズ量を平均値を基準とする揺らぎの振幅とし、着目画素値がその振幅の範囲内に存在するならば、平均値をノイズ低減処理結果とし、範囲外に存在するならば着目画素値が平均値に近づく方向に着目画素値から推定ノイズ量を加算又は減算した値をノイズ低減処理結果としてもよい。また、推定ノイズ量に基づいて平滑化フィルタの係数を適応的に変更し、ノイズ除去処理として着目画素領域に対して平滑化フィルタ演算を行っても構わない。

孤立ノイズ判定部107 では、前記エッジ判定信号に基づき、着目画素が非エッジと判定された場合に、前記パラメータ算出部102 により算出された平均値と着目画素値とを比較し、その比較結果を孤立ノイズ判定信号として出力する。この孤立ノイズ判定方法は、着目画素値とパラメータ算出部102 において算出された平均値（着目画素の周辺画素の平均値）とを比較し、その値が大きく乖離している場合に、着目画素は孤立ノイズであると判定する。より具体的には、着目画素値とパラメータ算出部102 において算出された平均値との差を算出し、その差の絶対値と閾値を比較し、差の絶対値が閾値以上ならば、着目画素が孤立ノイズであると判定し、その判定信号を出力する。ここで閾値は、着目画素領域の値に基づいて算出してもよいし、外部から設定してもよいし、予め画像処理装置内に一つ又は画素レベルに対応した複数の閾値を備えておいてもよい。

孤立ノイズ除去部108 では、前記孤立ノイズ判定信号に基づき、前記パラメータ算出部102 より出力される平均値又は前記ノイズ低減処理部106 から出力されるノイズ低減処理を施された着目画素値のうち、いずれか一方の画像値を選択し、出力する。より具体的には、前記孤立ノイズ判定部107 において、着目画素が孤立ノイズではないと判定された場合は、孤立ノイズ除去処理は行わずに、上記のノイズ低減処理結果を出力する。一方、前記孤立ノイズ判定部107 において、着目画素が孤立ノイズと判定された場合に、着目画素のノイズ低減処理結果としてパラメータ算出部102 において算出された平均値（着目画素の周辺画素の平均値）を出力する。ちなみに、この孤立ノイズ除去方法は、孤立ノイズである着目画素値が孤立ノイズ除去結果に反映されないため、一般的な平滑化フィルタより精度よく孤立ノイズの除去が可能である。

図７は、上述した本発明の実施例のハードウェア処理に対応するフローチャートである。この図７に示すフローチャートを基にプログラム化し、各手順をコンピュータに実行させるソフトウェア処理とすることも、勿論、可能である。次に、図７に示すフローチャートを簡潔に説明する。各ステップにおける処理の詳細は、上記の実施例に係る画像処理装置の説明を参照されたい。まず、入力されるデータに対して、ステップＳ201 においてｍ×ｎの画素領域を抽出する。次にステップＳ202 において、着目画素を除く着目画素と同じ特性をもつ周辺画素の最大値と最小値と平均値を算出し、ステップＳ203 において平均値と最大値の差の絶対値又は最小値と平均値の差の絶対値と、閾値とを比較し、着目画素がエッジか否か判定を行う。ここで閾値は、着目画素領域の値に基づいて算出してもよいし、外部から設定してもよいし、予め画像処理装置内に１つ又は画素レベルに対応した複数の閾値を備えておいてもよい。着目画素がエッジで輪郭と判定された場合（ステップＳ204 ）は、ステップＳ205 において、着目画素が含まれるエッジ領域の画素レベルに近づく方向に平均値の補正を行う。次に、ステップＳ211 では着目画素の色と、撮像素子からアナログ回路を通して画像処理回路に至る撮像システムの画像生成時の条件とから、少なくとも１つ以上備えるノイズ量推定モデルから適切なモデルを適応的に選択し、選択されたノイズ量推定モデルと、このステップＳ211 において入力される平均値とを用いて推定ノイズ量を算出し、ステップＳ212 においてノイズ低減処理を行い、ノイズ低減処理結果を出力する（ステップＳ214 ）。

一方、ステップＳ203 で平坦部と判定された場合（ステップＳ206 ）は、ステップＳ207 において、着目画素と着目画素の周辺画素の平均値との差の絶対値と、閾値とを比較し、着目画素が孤立ノイズか否かの判定を行う。着目画素が孤立ノイズでない場合は、着目画素は正常画素と判定し（ステップＳ208 ）、ステップＳ209 においてパラメータの補正処理を行い、ステップＳ211 へと移る。また、ステップＳ207 で着目画素が孤立ノイズと判定された場合は、ステップＳ213 において孤立ノイズ除去処理として、ノイズ低減処理結果としての着目画素の周辺画素の平均値を代入し、ステップＳ214 へ移る。最後にステップＳ215 において、画像が終端か否かを判定し、画像終端であれば処理を終了し、画像終端でなければ、再びステップＳ201 へと移る。

以上に示したように、着目画素領域の特徴量に基づいてノイズ量推定モデルより算出される推定ノイズ量を用いてノイズ低減処理を行うノイズ低減処理装置において、ノイズ低減処理の対象となる画素がエッジか否かを判定し、その判定結果に基づき着目画素領域の特徴量を適応的に補正することにより、画像中の着目画素の位置によらず適切なノイズ量を推定し、その推定ノイズ量に基づいて画像に対してノイズ低減処理を施し、更に、着目画素が孤立ノイズか否かを判定し、その判定結果に基づいて孤立ノイズ除去処理を施すことにより、孤立ノイズ及びランダムノイズが除去された低ノイズ且つ画像の鮮鋭度が保たれた好適な画像を得ることができる。

なお、本発明の実施例においては、原色の画像データに対して処理する例を示したが、これに限らず理論又は実測によりノイズ量を推定できる画像データであればよい。また、3 板化された画像データに対して処理を施しても構わない。更に、処理を施すデータの種類及び、その数は問わず、例えば輝度成分のみに対して処理を施しても構わない。

本発明に係る画像処理装置の実施例を示すブロック図である。 図１に示した実施例における領域設定部で設定される画素領域の例を示す図である。 図２に示した画素領域において着目画素と同一特性を有する画素を抽出した着目画素領域を示す図である。 図３に示した着目画素領域を符号を指定して付した態様を示す図である。 エッジ部を含む着目画素領域を示す図である。 着目画素領域が平坦部である場合の態様を示す図である。 図１に示した実施例の動作を説明するためのフローチャートである。

符号の説明

100 画像処理装置
101 領域設定部
102 パラメータ算出部
103 エッジ判定部
104 パラメータ補正部
105 ノイズ量推定部
106 ノイズ低減処理部
107 孤立ノイズ判定部
108 孤立ノイズ除去部

Claims (18)

1. 画像信号中に含まれるノイズを低減する画像処理装置であって、前記画像信号中に含まれるノイズ量を推定するためのパラメータを、前記画像信号に基づいて算出するパラメータ算出部と、前記画像信号中の着目画素がエッジか否かを判定するエッジ判定部と、前記エッジ判定結果に基づき、前記パラメータを補正するパラメータ補正部と、前記ノイズ量を推定するためのノイズ量推定モデルを、前記画像信号を取得する際の条件に対応して備え、このノイズ量推定モデルを用い、補正された前記パラメータに対応するノイズ量を推定するノイズ量推定部と、前記推定されたノイズ量に基づき、前記画像信号中のノイズを低減するノイズ低減処理部とを備えていることを特徴とする画像処理装置。
2. 前記パラメータ算出部は、着目画素近傍の複数画素の平均値、及び最大値或いは最小値の少なくとも一つを算出することを特徴とする請求項１に係る画像処理装置。
3. 前記エッジ判定部は、着目画素近傍の複数画素の平均値と最大値、あるいは、平均値と最小値とを比較し、その比較結果を、着目画素がエッジか否かを示すエッジ判定信号として出力することを特徴とする請求項１に係る画像処理装置。
4. 着目画素が近傍画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定部と、孤立ノイズ判定信号に基づき、前記画像信号中の孤立ノイズを除去する孤立ノイズ除去部とを、更に備えていることを特徴とする請求項１に係る画像処理装置。
5. 前記孤立ノイズ判定部は、着目画素の画素値と着目画素近傍の画素の平均値とを比較し、その比較結果を孤立ノイズ判定信号として出力することを特徴とする請求項４に係る画像処理装置。
6. 前記各部は、前記画像信号として、色又は輝度を表す画像信号の少なくとも一方を処理することを特徴とする請求項１〜５のいずれか１項に係る画像処理装置。
7. 画像信号中に含まれるノイズを低減する画像処理方法であって、前記画像信号中に含まれるノイズ量を推定するためのパラメータを、前記画像信号に基づいて算出するステップと、前記画像信号中の着目画素がエッジか否かを判定するステップと、前記エッジ判定結果に基づき、前記パラメータを補正するステップと、前記ノイズ量を推定するためのノイズ量推定モデルを、前記画像信号を取得する際の条件に対応して備え、このノイズ量推定モデルを用い、補正された前記パラメータに対応するノイズ量を推定し、前記推定されたノイズ量に基づき、前記画像信号中のノイズを低減するステップとを備えていることを特徴とする画像処理方法。
8. 前記パラメータ算出ステップは、着目画素近傍の複数画素の平均値、及び最大値或いは最小値の少なくとも一つを算出することを特徴とする請求項７に係る画像処理方法。
9. 前記エッジ判定ステップは、着目画素近傍の複数画素の平均値と最大値、あるいは、平均値と最小値とを比較し、その比較結果を、着目画素がエッジか否かを示すエッジ判定信号として出力することを特徴とする請求項７に係る画像処理方法。
10. 着目画素が近傍画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定ステップと、孤立ノイズ判定信号に基づき、前記画像信号中の孤立ノイズを除去するステップとを、更に備えていることを特徴とする請求項７に係る画像処理方法。
11. 前記孤立ノイズ判定ステップは、着目画素の画素値と着目画素近傍の画素の平均値とを比較し、その比較結果を孤立ノイズ判定信号として出力することを特徴とする請求項10に係る画像処理方法。
12. 前記各ステップは、前記画像信号として、色又は輝度を表す画像信号の少なくとも一方を処理することを特徴とする請求項７〜11のいずれか１項に係る画像処理方法。
13. 画像信号中に含まれるノイズを低減する画像処理プログラムであって、前記画像信号中に含まれるノイズ量を推定するためのパラメータを、前記画像信号に基づいて算出する手順と、前記画像信号中の着目画素がエッジか否かを判定する手順と、前記エッジ判定結果に基づき、前記パラメータを補正する手順と、前記ノイズ量を推定するためのノイズ量推定モデルを、前記画像信号を取得する際の条件に対応して備え、このノイズ量推定モデルを用い、補正された前記パラメータに対応するノイズ量を推定する手順と、前記推定されたノイズ量に基づき、前記画像信号中のノイズを低減する手順とをコンピュータに実行させることを特徴とする画像処理プログラム。
14. 前記パラメータ算出手順は、着目画素近傍の複数画素の平均値、及び最大値或いは最小値の少なくとも一つを算出することを特徴とする請求項13に係る画像処理プログラム。
15. 前記エッジ判定手順は、着目画素近傍の複数画素の平均値と最大値、あるいは、平均値と最小値とを比較し、その比較結果を、着目画素がエッジか否かを示すエッジ判定信号として出力することを特徴とする請求項13に係る画像処理プログラム。
16. 着目画素が近傍画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定手順と、孤立ノイズ判定信号に基づき、前記画像信号中の孤立ノイズを除去する手順とを、更に備えていることを特徴とする請求項13に係る画像処理プログラム。
17. 前記孤立ノイズ判定手順は、着目画素の画素値と着目画素近傍の画素の平均値とを比較し、その比較結果を孤立ノイズ判定信号として出力することを特徴とする請求項16に係る画像処理プログラム。
18. 前記各手順は、前記画像信号として、色又は輝度を表す画像信号の少なくとも一方を処理することを特徴とする請求項13〜17のいずれか１項に係る画像処理プログラム。

Images