JP2021128497A

JP2021128497A - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP2021128497A
Application number: JP2020022179A
Authority: JP
Inventors: 陽一滝川; Yoichi Takigawa
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-02-13
Filing date: 2020-02-13
Publication date: 2021-09-02
Also published as: US11710217B2; US20210256662A1

Abstract

【課題】本発明は、ノイズ低減処理後の出力画像の破綻を抑制することを目的とする。【解決手段】本発明は、共分散行列が異常であるか否かを判定する判定手段と、前記判定手段で前記共分散行列が異常でないと判定された場合、前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第１の補正を行い、第１の補正画素を取得する第１の補正手段と、前記判定手段で前記共分散行列が異常であると判定された場合、前記複数のパッチに含まれる画素に対して前記第１の補正と異なる第２の補正を行い、第２の補正画素を取得する第２の補正手段と、を有することを特徴とする。【選択図】図２

Description

本発明は、画像のノイズ低減を行う画像処理装置、画像処理方法およびプログラムに関する。

従来、カメラで撮影した画像に含まれるノイズを抑制するため、画像中の複数画素からなるパッチに着目し、パッチベースでノイズを低減する技術が知られている。非特許文献１に記載された処理は、撮影画像中の複数のパッチからなるパッチ集合を選び出してその平均と共分散行列で表されるパッチの確率モデルを生成し、パッチ集合を構成するパッチ各々に対して最大事後確率法に基づいたノイズ低減処理を行う。そして、ノイズ低減処理されたパッチを用い出力画像を生成する。この時、前記共分散行列の逆行列である逆共分散行列を算出し、これに基づいてノイズ低減処理後の画素値を決定する。

Ｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｔｈｅ "Ｎｏｎ−ＬｏｃａｌＢａｙｅｓ" （ＮＬ−Ｂａｙｅｓ）ＩｍａｇｅＤｅｎｏｉｓｉｎｇＡｌｇｏｒｉｔｈ。ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇＯｎＬｉｎｅ，３（２０１３），ｐｐ．１−４２．

しかしながら、従来の技術ではノイズ低減処理後のパッチ内の画素の値が異常値になる場合があり、結果として出力画像が破綻する可能性があった。

本発明は、上記課題を鑑みてなされたものであり、ノイズ低減処理後の出力画像の破綻を抑制することを目的とする。

本発明は、画像のノイズを低減する画像処理装置であって、前記画像中に複数のパッチを設定する設定手段と、前記複数のパッチに基づいて、共分散行列を算出する算出手段と、前記共分散行列が異常であるか否かを判定する判定手段と、前記判定手段で前記共分散行列が異常でないと判定された場合、前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第１の補正を行い、第１の補正画素を取得する第１の補正手段と、前記判定手段で前記共分散行列が異常であると判定された場合、前記複数のパッチに含まれる画素に対して前記第１の補正と異なる第２の補正を行い、第２の補正画素を取得する第２の補正手段と、前記第１の補正画素もしくは前記第２の補正画素で出力画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、ノイズ低減処理後の出力画像の破綻を抑制することが出来る。

実施形態１のハードウェア構成実施形態１の画像処理のブロック図実施形態１の第１、第２の補正処理部が持つ機能をより詳細に示したブロック図実施形態１の画像処理のフローチャート実施形態１の第１、第２の補正処理のフローチャート実施形態２の画像処理のブロック図実施形態２の第１、第２の補正処理部が持つ機能をより詳細に示したブロック図実施形態２の画像処理のフローチャート実施形態２の第１、第２の補正処理のフローチャート

（実施形態１）
本実施形態では、パッチベースのノイズ低減処理において共分散行列の異常を判定して、異常な場合に出力画像の破綻を回避する方法を説明する。

図１は、本実施形態に係るハードウェア構成を示すブロック図である。図１において画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶部１０３、汎用インタフェース１０４、表示部１０５で構成され、これらがメインバス１０６を介して相互に接続されている。そして、汎用インタフェース１０４を介して、外部メモリ１１０と、マウスやキーボードなどの入力装置１２０とがメインバス１０６に接続されている。記憶部１０３は、ＨＤＤやＳＳＤなどの記憶デバイスである。表示部１０５は液晶ディスプレイや有機ＥＬディスプレイなどである。

以下では、ＣＰＵ１０１が記憶部１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。まず、ＣＰＵ１０１は記憶部１０３に格納されている画像処理プログラムを起動し、ＲＡＭ１０２に展開するとともに、表示部１０５にユーザインタフェース画面（以下、ＵＩ画面）を表示する。続いて、入力装置１２０を通じたユーザからの指示に従い、外部メモリ１１０に格納されている入力画像データをＲＡＭ１０２に読み込む。さらに、ユーザからの指示に従って、ＲＡＭ１０２に格納されている入力画像データに対して、ノイズ低減処理を行う。ノイズ低減処理後の画像データは再びＲＡＭ１０２に格納される。ＲＡＭ１０２に格納されたノイズ低減処理後の画像データは、ユーザからの指示に応じて一連の処理が施された後、表示部１０５への表示や外部メモリ１１０への格納といった所定の出力に供される。なお、ノイズ低減処理の対象となる入力画像データは、外部メモリ１１０の他、記憶部１０３に格納されていてもよく、また、不図示のネットワークを介してサーバからＲＡＭ１０２に読み込んでもよい。

ここで、パッチベースのノイズ低減処理の概要について説明する。入力画像データの一部を切りだした部分画像をパッチと呼ぶ。着目パッチ近傍の所定の参照領域に存在する複数のパッチを参照パッチとし、着目パッチに対応したノイズ低減処理をする際に参照する。パッチベースのノイズ低減処理では、参照パッチのうち、着目パッチの画素値分布と類似したパッチを類似パッチとして検出し、それらをパッチ集合とする。なお、複数の参照パッチの中には着目パッチ自身が含まれていても構わない。パッチ集合に基づいて、各類似パッチに対してノイズ低減処理を実行する。ノイズを低減した類似パッチを集約（Ａｇｇｒｅｇａｔｉｏｎ）することにより、入力画像データに対してノイズ低減処理した画像を生成する。

図２は、本実施形態にかかる画像処理のブロック図である。画像入力部２０１は、入力画像データを取得する。パッチ集約部２０２は、複数の補正された類似パッチを集約（Ａｇｇｒｅｇａｔｉｏｎ）して、ノイズ低減された出力画像を生成する。着目パッチ設定部２０３は、入力画像データから所定の形状の部分画像を切り出し着目パッチとする。本実施形態では、所定の形状を６画素×６画素の正方形とする。類似パッチ検出部２０４は、着目パッチ近傍の所定の参照領域に存在する複数のパッチを参照パッチとして設定し、参照パッチの内で着目パッチに類似するものを類似パッチとして検出する。各参照パッチは着目パッチと同一の形状である。基準パッチ算出部２０５は、複数の類似パッチに基づいて基準パッチを算出する。ノイズ量パッチ算出部２０６は、複数の類似パッチに基づいてノイズ量パッチを算出する。共分散行列算出部２０７は、複数の類似パッチに基づいて共分散行列を算出する。異常判定部２０８は、共分散行列が異常であるか否（正常である）かを判定する。第１の補正処理部２０９は、共分散行列が正常であると判定された場合に、類似パッチの補正を行う。第２の補正処理部２１０は、共分散行列が異常であると判定された場合に、類似パッチの補正を行う。

共分散行列の異常を判定する異常判定部を持ち、判定結果によって処理を異ならせる点が本発明の特徴である。本実施形態では、２つの異なる補正処理部を持ち、異常判定部の判定結果に応じて２つの補正処理部による補正結果を選択して用いる構成を説明する。より具体的には、共分散行列が正常であると判定された場合には第１の補正処理部２０９が通常の「パッチベースのノイズ低減処理」を行う。一方で、共分散行列が異常であると判定された場合には第２の補正処理部２１０が共分散行列の修正を行った後に通常の「パッチベースのノイズ低減処理」を行う構成を説明する。

図３は、本実施形態にかかる第１の補正処理部２０９と第２の補正処理部２１０が持つ機能をより詳細に示した画像処理のブロック図である。第１の逆共分散行列算出部３１２は、共分散行列の逆行列である逆共分散行列を算出する。第１の補正行列算出部３１３は、逆共分散行列とノイズ量パッチとに基づいて補正行列を算出する。第１のパッチ補正部３１４は補正行列と基準パッチとに基づいて複数の類似パッチそれぞれを補正する。共分散行列修正部３２１は、異常判定部２０８の判定結果に基づいて共分散行列を修正する。第２の逆共分散行列算出部３２２は、共分散行列の逆行列である逆共分散行列を算出する。第２の補正行列算出部３２３は、逆共分散行列とノイズ量パッチとに基づいて補正行列を算出する。第２のパッチ補正部３２４は補正行列と基準パッチとに基づいて複数の類似パッチそれぞれを補正する。

図４は、本実施形態にかかる画像処理のフローチャートである。

ステップＳ４０１で画像入力部２０１は、入力画像データを取得する。

ステップＳ４０２でパッチ集約部２０２は、集約用画像データをゼロで初期化する。集約用画像データは分母画像データと分子画像データからなり、いずれも入力画像データと同じ画素数である。

ステップＳ４０３で着目パッチ設定部２０３は、着目パッチをひとつ設定する。一般にひとつの入力画像データに対して複数のパッチを着目パッチとして設定することができる。本ステップ以降の処理は、設定する着目パッチの位置を変えて繰り返し実行される。その際、すべてのパッチを１回ずつ着目パッチとして設定するように制御してもよいし、一部のパッチのみを着目パッチとして設定するように制御してもよい。本実施形態では、左上からラスタ順に全てのパッチを着目パッチとして設定する。前述の通り、本実施形態では入力画像データから６画素×６画素の正方形の部分画像を切り出し着目パッチとする。つまり着目パッチは３６画素からなる。以下では、着目パッチを、３６画素を縦に並べた列ベクトルＴで表す。一般に着目パッチがＭ画素からなる場合、着目パッチを、Ｍ画素を縦に並べた列ベクトルＴで表す。

ステップＳ４０４で類似パッチ検出部２０４は、類似パッチを検出する。

まず、着目パッチＴ近傍の所定の参照領域に存在する複数のパッチを参照パッチとして設定する。各参照パッチの形状は、着目パッチＴの形状と一致する。以下では、ｉ番目の参照パッチを、Ｍ画素を縦に並べた列ベクトルＲ＿ｉで表す。

次に、複数の参照パッチそれぞれについて、着目パッチＴとの類似度を算出する。類似度は、参照パッチと着目パッチＴの、各画素の差分二乗和（ＳＳＤ）により算出される。具体的には、ｉ番目の参照パッチＲ＿ｉの類似度ＳＳＤ＿ｉは以下の式（１）で算出される。

ここで、ベクトルＴのｊ番目の成分（画素値）をＴ（ｊ）で表している。この算出方法から明らかなように、類似度ＳＳＤ＿ｉの値が小さいほど、参照パッチＲ＿ｉが着目パッチＴに類似していることを意味する。さらに、複数の参照パッチの内から、類似度に基づいて一部のパッチを類似パッチとして検出する。本実施形態では、予め定める閾値より類似度が小さいパッチを類似パッチとして検出する。ここで検出された類似パッチの個数をＮとし、ｉ番目の類似パッチをＰ＿ｉで表す。

ステップＳ４０５で基準パッチ算出部２０５は、複数の類似パッチに基づいて基準パッチＱを以下の式（２）で算出する。

ステップＳ４０６でノイズ量パッチ算出部２０６は、着目パッチＴを用いてノイズ量パッチＶを以下の式（３）で算出する。

ここでｋは定数、Ｖ＿０は基準パッチＱと同じ形状のベクトルであり、いずれも予め定めて保存しておく。

ステップＳ４０７で共分散行列算出部２０７は、複数の類似パッチに基づいて共分散行列を算出する。ステップＳ４０５で算出した基準パッチＱを用いて、共分散行列Ｃを以下の式（４）で算出する。

ここでは、パッチを表すベクトルを行列とみなし、行列としての演算を行う。ｔは行列の転置である。

ステップＳ４０８で異常判定部２０８は、共分散行列Ｃが異常であるか否かを判定する。まず、共分散行列Ｃの対角成分それぞれについて予め定めた閾値Ｔｈｒｅと比較し、閾値よりも大きい場合に当該対角成分が正常であると判定し、そうでない場合に当該対角成分が異常であると判定する。異常判定部２０８はこの判定処理を行う対角成分判定部（不図示）を有する。次に、全ての対角成分が正常であると判定された場合に共分散行列Ｃが正常であると判定し、そうでない場合に共分散行列Ｃが異常であると判定する。異常判定部２０８はこの判定処理を行う行列判定部（不図示）を有する。

共分散行列Ｃが異常であると判定された場合、ステップＳ４１０で第２の補正処理部２１０は、第２の補正処理を行う。図５（ｂ）は第２の補正処理のフローチャートである。

ステップＳ５２１で、共分散行列修正部３２１は共分散行列Ｃを修正する。共分散行列Ｃを修正する処理の詳細は後述する。

ステップＳ５２２で、第２の逆共分散行列算出部３２２は、ステップＳ５２１で修正された共分散行列Ｃの逆行列である逆共分散行列Ｃ＾−１を算出する。

ステップＳ５２３で、第２の補正行列算出部３２３は、補正行列Ｈを以下の式（５）で算出する。

ここでｄｉａｇ（Ｖ）は主対角上にベクトルＶの要素をもつ正方対角行列を表す。

ステップＳ５２４で、第２のパッチ補正部３２４は、複数の類似パッチそれぞれＰ＿ｉに対応する補正画素を含む補正済みパッチＯ＿ｉを以下の式（６）で算出する。

共分散行列Ｃが正常であると判定された場合、ステップＳ４０９で第１の補正処理部２０９は、第１の補正処理を行う。図５（ａ）は第１の補正処理のフローチャートである。

この処理は、共分散行列Ｃを修正するか否かの違いを除いて、第２の補正処理と同一であるため説明を省略する。

ステップＳ４１１でパッチ集約部２０２は、複数の補正済みパッチに基づき集約用画像データを編集する。前述の通り、集約用画像データは分母画像データと分子画像データからなる。複数の補正済みパッチＯ＿ｉそれぞれについて、全画素の値を分子用画像データの対応する位置に加算する。この位置は、入力画像データにおいて各画素が存在した位置である。また、分母用画像における同じ位置に１を加算する。

ステップＳ４１２において全ての着目パッチが処理済みであるか否かを判定する。全ての着目パッチが処理済みである場合はＳ４１１０に進む。そうでない場合はＳ４０３０に進む。

ステップＳ４１３でパッチ集約部２０２は、集約用画像データに基づいて出力画像データを生成する。分子用画像データの各画素値を、分母用画像データの対応する画素値で除算して出力画像データとする。

共分散行列修正部３２１が共分散行列Ｃを修正する処理の一例を詳細に説明する。共分散行列Ｃのｊ番目の対角成分をｄ＿ｊ、その修正後をｅ＿ｊと記述する。ステップＳ４０８でｄ＿ｊが異常であると判定されていた場合は、修正後のｅ＿ｊを以下の式（７）で算出する。

ここでＴｈｒｅはＳ４０８で用いた閾値と同一である。ｒは定数であり、予め定めて保存しておく。ステップＳ４０８でｄ＿ｊが正常であると判定されていた場合は、修正後のｅ＿ｊを以下の式（８）で算出する。

これは、ｄ＿ｊが正常である場合には修正前後で値を変化させない（修正しない）事を意味する。

以上が本実施形態の画像処理のフローである。

以上の処理により、共分散行列の異常が生じた場合にも当該異常を修正し、好適な出力画像を得ることができる。

なお、本実施形態の処理は、各種の形式の画像データに適用できる。例えばモノクロ画像に対して適用できるし、複数の色成分からなるカラー画像にも適用できるし、Ｂａｙｅｒ配列の画像にも適用できる。

また、参照パッチと着目パッチＴの類似度を、各画素の差分二乗和（ＳＳＤ）により算出したが、他の方法で算出してもよい。例えば、各画素の差分絶対値和（ＳＡＤ）で算出してもよいし、各画素の差分の絶対値の最大値、最小値、平均値、中央値などを用いてもよい。

また、全ての対角成分が正常であると判定された場合に共分散行列Ｃが正常であると判定したが、これに限らない。例えば、正常であると判定された対角成分の数が所定の数以下の場合に共分散行列Ｃが正常であると判定するようにしてもよい。

また、ステップＳ４０８で共分散行列Ｃの対角成分が異常であるか否かを判定する際に用いた閾値Ｔｈｒｅは、常に同一の値を用いてもよいし、各種パラメータに応じて異ならせてもよい。また、複数の類似パッチに含まれる画素の平均値と、中央値と、最頻値との少なくともいずれか一つに基づいて算出してもよい。共分散行列Ｃのｊ番目の対角成分を判定する際に用いる閾値Ｔｈｒｅ＿ｊを、基準パッチＱのｊ番目の成分Ｑ（ｊ）に応じて異ならせてもよい。この場合、例えばＱ（ｊ）が大きいほどＴｈｒｅ＿ｊを大きくするなどの方法がある。

また、共分散行列修正部３２１が共分散行列Ｃを修正する処理において、修正後のｅ＿ｊは式（７）で算出したが、他の方法で決定してもよい。例えば他の式で算出してもよいし、ルックアップテーブルを用いて決定してもよい。その際、修正後のｅ＿ｊは修正前のｄ＿ｊに対して（広義の）単調減少であり、ｅ＿ｊ＝Ｔｈｒｅにおいて式（８）と連続となるように決定することが望ましい。

また、上記の式（７）による修正に加えて、非対角成分の修正を行ってもよい。例えば、全ての非対角成分をゼロに置き換えてもよいし、ステップＳ４０８で異常であると判定されていたｄ＿ｊと直交する非対角成分のみをゼロに置き換えてもよい。

また、基準パッチを、複数の類似パッチの平均で算出したが、これに限らない。例えば、基準パッチの各画素の値を、複数の類似パッチの対応する画素の中央値や最小値などで定めても良い。

共分散行列の異常を判定する異常判定部を持ち、共分散行列が正常であると判定された場合に通常の「パッチベースのノイズ低減処理」を行う。一方で、共分散行列が異常であると判定された場合には通常の「パッチベースのノイズ低減処理」とは異なる補正処理を行うことが本実施形態の主眼である。この補正処理は、本実施形態で説明したものに限らない。例えば、補正済みパッチを、補正対象の類似パッチ、基準パッチ、あるいはそれらの線形和として算出するなどの方法がある。

（実施形態２）
本実施形態では、実施形態１の処理に加えて、共分散行列が異常であるか否かの判定処理をより高精度に行うために、共分散行列を調整する処理を行う方法を説明する。実施形態１と共通の部分は説明を省略する。

入力画像データに含まれるノイズ量は、対応する画素位置の画素値に依存して異なる（場合がある）。本実施形態では、ノイズ量パッチを用いて予め共分散行列を調整した後に異常であるか否かを判定する処理を行うことで、ノイズの輝度依存性によらず同一処理でより精度良く判定する例を示す。なおこの調整は、判定処理後の適当なタイミングでキャンセルすることが望ましい。

図６は、本実施形態にかかる画像処理のブロック図である。図２で示した実施形態１の構成と比較して、調整部６０１が追加されている。調整部６０１は、ノイズ量パッチに基づいて共分散行列を調整する。

図７は、本実施形態にかかる第１の補正処理部２０９と第２の補正処理部２１０が持つ機能をより詳細に示した画像処理のブロック図である。図３で示した実施形態１の構成と比較して、第１の調整キャンセル部７１０と第２の調整キャンセル部７２０とが追加されている。第１の調整キャンセル部７１０と第２の調整キャンセル部７２０は、ノイズ量パッチに基づいて逆共分散行列の調整をキャンセルする。

図８は、本実施形態にかかる画像処理のフローチャートである。図４で示した実施形態１のフローと比較して、ステップＳ８０１が追加され、ステップＳ４０９、ステップＳ４１０の内容が変更されている。

ステップＳ８０１では、調整部６０１が、ノイズ量パッチＶに基づいて共分散行列Ｃを調整する。まずノイズ量パッチＶに基づいて調整用パッチＡを以下の式（９）で算出する。

この時、Ｖ（ｊ）の値が予め定める正の閾値より小さい場合に別の値に置き換えるなどして、負の数の２乗根算出やゼロでの除算などを回避することが望ましい。

次に、調整用パッチＡを用いて、以下の式（１０）で共分散行列Ｃを調整して調整済み共分散行列Ｃ＿１を算出する。

ここで、・は行列の積である。

図９（ｂ）は本実施形態にかかる第２の補正処理のフローチャートである。

ステップＳ５２１で、共分散行列修正部３２１は調整済み共分散行列Ｃ＿１を修正する。この処理は、修正対象の共分散行列が調整されているか否かの違いを除いて実施形態１と同一である。

ステップＳ５２２で、第２の逆共分散行列算出部３２２は、ステップＳ５２１で修正された調整済み共分散行列Ｃ＿１の逆行列である調整済み逆共分散行列（Ｃ＿１）＾−１を算出する。

ステップＳ９２０では、第２の調整キャンセル部７２０が、調整済み逆共分散行列（Ｃ＿１）＾−１の調整をキャンセルする。具体的には、式（９）で算出した調整用パッチＡを用いて、以下の式（１１）で調整済み逆共分散行列（Ｃ＿１）＾−１の調整をキャンセルして、逆共分散行列Ｃ＾−１を算出する。

ステップＳ５２３の処理内容は実施形態１と同一である。

ステップＳ５２４の処理内容は実施形態１と同一である。

以上の処理により、ノイズの輝度依存性によらず同一処理でより精度良く共分散行列の異常を修正し、好適な出力画像を得ることができる。

なお、調整用パッチＡを式（９）で算出したが、これに限らない。他の式で算出しても良いし、予め作成したテーブルを用いても良い。ノイズ量パッチでなく基準パッチに基づいて算出しても良い。

（その他の実施形態）
本発明は、前述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。

また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。

即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、二次関数係数演算部の一部は上位の制御手段から与えられる演算開始信号によって動作し、演算結果を保持しておき、画像が入力されている間は、ここで保持したデータ参照するのみにすることで電力を削減することが可能である。

Claims

画像のノイズを低減する画像処理装置であって、
前記画像中に複数のパッチを設定する設定手段と、
前記複数のパッチに基づいて、共分散行列を算出する算出手段と、
前記共分散行列が異常であるか否かを判定する判定手段と、
前記判定手段で前記共分散行列が異常でないと判定された場合、前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第１の補正を行い、第１の補正画素を取得する第１の補正手段と、
前記判定手段で前記共分散行列が異常であると判定された場合、前記複数のパッチに含まれる画素に対して前記第１の補正と異なる第２の補正を行い、第２の補正画素を取得する第２の補正手段と、
前記第１の補正画素もしくは前記第２の補正画素で出力画像を生成する生成手段と、を有することを特徴とする画像処理装置。
前記判定手段は、前記共分散行列に含まれる対角成分それぞれが異常であるか否かを判定する第二の判定手段を有し、当該第二の判定手段の判定に基づき、前記共分散行列が異常であるか否かを判定することを特徴とする請求項１に記載の画像処理装置。
前記第二の判定手段は、前記共分散行列に含まれる複数の対角成分それぞれと所定の閾値とを比較し、前記所定の閾値よりも小さい場合に、当該対角成分が異常であると判定することを特徴とする請求項２に記載の画像処理装置。
前記第２の補正手段は、前記共分散行列を修正し、当該修正された共分散行列を用いて、前記複数のパッチに含まれる画素に対して第２の補正を行い、第２の補正画素を取得することを特徴とする請求項１に記載の画像処理装置。
前記第２の補正手段は、前記共分散行列に含まれる対角成分を他の値に置き換えることにより、前記共分散行列を修正し、当該修正された共分散行列を用いて、前記複数のパッチに含まれる画素に対して第２の補正を行い、第２の補正画素を取得することを特徴とする請求項２または請求項３に記載の画像処理装置。
前記第２の補正手段は、前記共分散行列に含まれる対角成分と直交する非対角成分を他の値に置き換えることを特徴とする請求項５に記載の画像処理装置。
前記判定手段は、前記複数のパッチに基づいて、前記所定の閾値を算出することを特徴とする請求項３に記載の画像処理装置。
前記判定手段は、前記複数のパッチに含まれる画素の平均値と、中央値と、最頻値との少なくともいずれか一つに基づき前記閾値を算出することを特徴とする請求項３に記載の画像処理装置。
前記判定手段は、ノイズの輝度依存性をなくすように前記共分散行列を調整して、
調整された前記共分散行列が異常であるか否かを判定することを特徴とする請求項１乃至請求項８のいずれか１項に記載の画像処理装置。
画像のノイズを低減する画像処理方法であって、
設定手段が、前記画像中に複数のパッチを設定する設定工程と、
算出手段が、前記複数のパッチに基づいて、共分散行列を算出する算出工程と、
判定手段が、前記共分散行列が異常であるか否かを判定する判定工程と、
第１の補正手段が、前記判定工程で前記共分散行列が異常でないと判定された場合、前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第１の補正を行い、第１の補正画素を取得する第１の補正工程と、
第２の補正手段が、前記判定工程で前記共分散行列が異常であると判定された場合、前記複数のパッチに含まれる画素に対して前記第１の補正と異なる第２の補正を行い、第２の補正画素を取得する第２の補正工程と、
生成手段が、前記第１の補正画素もしくは前記第２の補正画素で出力画像を生成する生成工程と、を有することを特徴とする画像処理装置。
コンピュータを、
画像のノイズを低減する画像処理装置であって、
前記画像中に複数のパッチを設定する設定手段と、
前記複数のパッチに基づいて、共分散行列を算出する算出手段と、
前記共分散行列が異常であるか否かを判定する判定手段と、
前記判定手段で前記共分散行列が異常でないと判定された場合、前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第１の補正を行い、第１の補正画素を取得する第１の補正手段と、
前記判定手段で前記共分散行列が異常であると判定された場合、前記複数のパッチに含まれる画素に対して前記第１の補正と異なる第２の補正を行い、第２の補正画素を取得する第２の補正手段と、
前記第１の補正画素もしくは前記第２の補正画素で出力画像を生成する生成手段と、を有することを特徴とする画像処理装置として機能させるためのプログラム。