JP2018180964A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】原信号に近い参照画素に重みを持たせることで、ノイズ低減処理による解像度低下を抑制することが可能になる画像処理装置を提供すること。【解決手段】画像に含まれる着目画素の周辺の画素による着目領域と、前記画像上の参照画素毎の該画素の周辺画素による参照領域と、の第１の類似度を算出する領域間類似度算出手段と、前記第１の類似度に基づいてサブピクセル推定を行い、該参照画素の詳細位置と、該詳細位置に対応する第２の類似度を算出するサブピクセル推定手段と、前記参照画素毎の詳細位置と前記第２の類似度に基づいて該参照画素毎の重みを算出する重み算出手段と、前記参照画素の画素値と該参照画素の重みを用いて、前記着目画素の補正値を算出する画像補正手段と、を備えることを特徴とする。【選択図】図１

Description

本発明は、画像データに含まれるノイズを低減する画像処理装置及び画像処理方法に関する。

現在、デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及している。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。しかしながら、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生するため、デジタル画像データにノイズが混入して画質が劣化するという問題がある。そこで、このようなノイズを低減する様々な手法が提案されてきた。

最も単純なノイズ低減方法としてノイズ周波数以下の信号成分を通すローパスフィルタの適用が考えられるが、この方式ではエッジがぼけてしまうため、ノイズとエッジを何らかの方法で区別してノイズ成分だけを低減する試みが行われている。例えば、着目画素を含む領域（着目領域）を定め、その領域単位で着目画素と参照画素の類似度を求め、この類似度に応じた加重平均値で着目画素値を置き換えることでエッジ成分を残しつつノイズを低減する方法が提案されている（特許文献１、特許文献２）。この発明を用いれば、着目領域のパターンを利用して着目画素と関連の強い参照画素を選択し、これを平均化することにより効率よくノイズを除去することができる。

このような探索処理を含む画像処理の精度を向上させるため、サブピクセル単位での探索方法が数多く提案されている。例えば、画像を線形補間などによって擬似的に高解像度化する方法や、ピクセル単位で求めた一致度評価値を関数近似することでサブピクセル単位の一致度評価値を内挿する方法（非特許文献１）により、より細かい単位での対応を推定する方法が知られている。

特表２００７−５３６６６２号公報 特開２０１１−３９６７５号公報

清水雅夫，奥富正敏：画像のマッチングにおける高精度なサブピクセル推定手法，電子情報通信学会論文誌，Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．７，ｐｐ．１４０９−１４１８（２００１）

しかしながら、サブピクセル単位での探索により着目画素と参照画素の対応を高精度に求めたとしても、参照画素の画素値はその近傍画素の画素値を補間して算出することとなり、情報の欠落は避けられない。例えば、参照画素値が近傍画素の平均値となる場合には、解像度が大きく低下してしまうという課題があった。

上記の課題を解決するために、本発明に係る画像処理装置は、
画像に含まれる着目画素の周辺の画素による着目領域と、前記画像上の参照画素毎の該画素の周辺画素による参照領域と、の第１の類似度を算出する領域間類似度算出手段と、前記第１の類似度に基づいてサブピクセル推定を行い、該参照画素の詳細位置と、該詳細位置に対応する第２の類似度を算出するサブピクセル推定手段と、前記参照画素毎の詳細位置と前記第２の類似度に基づいて該参照画素毎の重みを算出する重み算出手段と、前記参照画素の画素値と該参照画素の重みを用いて、前記着目画素の補正値を算出する画像補正手段と、を備えることを特徴とする。

本発明に係る画像処理装置によれば、原信号に近い参照画素に重みを持たせることで、ノイズ低減処理による解像度低下を抑制することが可能になる。

画像処理装置のハードウェア構成を示すブロック図である。 着目画素、着目領域、参照画素、参照領域の関係を示す図である。 参照画素の重みを算出する関数を説明する図である。 サブピクセル推定の概要を説明する図である。 サブピクセル推定で得た画素位置と近傍画素との関係を示す図である。 実施例１における画像処理の構成を示すブロック図である。 実施例１における補正処理の流れを示すフローチャート図である。 実施例１における補正処理の詳細を示すフローチャート図である。 実施例２における補正処理の詳細を示すフローチャート図である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。

本実施例における画像処理装置の構成について、図１を参照して説明する。

図１において、画像処理装置はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、メインバス１０９を備える。汎用Ｉ／Ｆはカメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、メモリーカードなどの外部メモリ１０７をメインバス１０９に接続する。 以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。

まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算を行う。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３、外部メモリ１０７に格納したりする。

上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成し、出力する処理の詳細について説明する。

まず、本実施例で用いるノイズ低減の基本処理について説明する。この処理は、ノイズ低減対象となる着目画素とその周辺に存在する複数の参照画素の画素値に適応的な重みを掛け、その結果を全て加算した値を着目画素の画素値とする事でノイズを低減する。説明を分かりやすくするため、まず、ピクセル単位で処理する場合について説明する。
参照画素の画素数をＮ_Ｓ、参照画素の画素値をＩ_ｊ（ｊ＝１〜Ｎ_Ｓ）、参照画素の重みをｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）とすると、ノイズ低減処理後の着目画素の画素値Ｉ_newは次式になる。

次に、参照画素の重みの算出方法について、図２及び図３を参照して説明する。図２（ａ）において、２０１は画像データの例を示しており、左上の画素を原点として各画素の画素値をＩ（ｘ、ｙ）と表すものとする。ここで、２０２は着目画素であり、その画素値はＩ（４、４）である。２０３は着目領域であり、着目画素２０２を中心とした３×３画素の矩形領域である。２０４は参照画素であり、着目画素２０２を含む５×５画素（Ｎ_Ｓ＝２５）の矩形領域内の画素である。２０５は、参照画素Ｉ（２，２）の参照領域であり、Ｉ（２，２）を中心とする３×３画素の矩形領域である。なお、参照領域は参照画素毎に存在するが、ここでは参照画素Ｉ（２，２）の参照領域だけ示している。

参照画素Ｉ（２、２）の重みを求めるために、まず、着目領域２０３と参照領域２０５を比較して類似度を算出する。なお、類似度は所望の方法で求めてよい。例えば、図２（ｂ）のように、着目領域２０２の画素をｂ_ｓ（ｐ，ｑ）、参照領域の画素をｂ_ｊ（ｐ，ｑ）（ｊ＝１〜Ｎ_Ｓ）とする。そして、着目領域２０３と参照領域２０５の空間的に対応する画素の差を類似度とすると、類似度Ｃ_jは次式になる。

類似度Ｃ_ｊは値が小さいほど着目領域と参照領域の類似度が高くなる。そこで、類似度に応じて、重みを決定する。重みは図３に示す関数のようにＣ_ｊが小さいほど重みが大きく、Ｃ_ｊが大きいほど重みが小さくなるように決定すればよく、例えば次式で定まる。

ここで、ｈは重みの大きさを制御する変数であり、ｈを大きくするとノイズ低減効果が高くなるが、エッジがぼける。

以下同様に、着目領域２０３と各参照画素の参照領域とを順次比較していくことで、各参照画素の重みを得る。

このように、着目画素を中心としたブロックについて、近傍画素とのブロックマッチングにより類似度を算出し、その類似度に応じた重みで着目画素と近傍画素を加重平均することで、先鋭性を保ったままノイズを低減することが可能となる。

ここで、ノイズ低減処理の精度をさらに向上させるため、サブピクセル推定を導入する。サブピクセル推定とは、画素単位で算出した評価値に基づき、評価値が最小となる画素位置を画素単位よりも細かい精度で算出する処理である。例えば図４はサブピクセル推定の例であって、図４（ａ）は直線補間、図４（ｂ）はスプライン補間を用いた場合を示す。例えば本実施例では、後者を用いる。通常のサブピクセル探索では対象データ内で評価値が最小となる座標を探索するが、本発明では参照領域毎に類似度を算出する必要がある。そこで、図４に示したように、各参照画素から水平方向、垂直方向夫々±０．５画素の範囲毎に最小値とその画素位置を算出し、これを参照画素に対応付ける。

本発明による画像処理装置では、サブピクセル推定で得た対応点と近傍画素の距離により重みｗ_ｊを補正する。サブピクセル推定で算出した画素位置が近傍画素群の重心と一致する場合、その画素値は例えば隣接画素の平均値で表され、原信号が損なわれてしまう。例えば図５に示した点Ｐ’の画素値は、点Ｐ’の近傍４画素Ｐ、Ｑ、Ｒ、Ｓの平均で求めることができるが、画素値の平均処理となるために解像度が低下する。一方で点Ｐ’が画素Ｐと一致した場合には、撮影画像の画素値そのもの（原信号）を用いるため、補間処理による解像度低下の影響を受けない。そこで本実施例では、サブピクセル推定で得た画素位置と最近傍画素との距離Ｌ（０≦Ｌ≦√２／２）を用いて重みｗ_ｊを補正する。ここでいう距離は、水平あるいは垂直方向に隣接する画素中心の間隔を１とする。補正後の重みｗ_ｊは、サブピクセル推定で得た類似度Ｃ’を用いて、例えば次式のように表せる。

ここで、α（０≦α）はＬの重みを制御する変数であり、この値が大きいほどサブピクセル推定による補正の影響を小さくすることができる。例えば本実施例ではα＝１とする。

このような方法により重みｗ_ｊを決定することで、補間の影響が少ない画素を重視したノイズ低減処理を行うことが出来る。特に連続撮影など微小なずれを含む画像上に参照領域を設定する場合に、本発明の効果が高い。

尚、本実施例におけるノイズ低減処理は、参照画素の重みを着目領域と参照領域の類似度に基づいて決まる処理であればよく、類似度や重みの算出方法などはここで説明した方法に限られるものではない。

（画像処理装置の論理構成）
図６は本実施例の画像処理装置の論理構成を示す模式図である。

図６において、画像データ入力部６０１は画像データを画像処理装置に入力する。画像データはＣＰＵ１０１からの指示に基づき、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影した画像をＨＤＤ１０３などの記憶装置に一旦記憶した後で入力してもかまわない。

パラメータ算出部６０２は、ＣＰＵ１０１からの指示に基づいて、暗部ノイズ量や撮像センサ温度などの撮像センサ情報を取得し、ノイズ低減処理に用いるパラメータを算出する。算出したパラメータはＲＡＭ１０２に記憶される。

画像補正処理部６０３は、ＣＰＵ１０１からの指示に基づいて、入力画像データとパラメータと取得し、入力画像データに対するノイズ低減処理を実行し、出力画像データを生成する。生成した画像データはＲＡＭ１０２に記憶される。

画像データ出力部６０４は、画像補正処理部６０３で生成した画像データをモニタ１０８やＨＤＤ１０３などに出力する。尚、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７に出力してもよい。

（メイン処理フロー）
以下では、図６で説明した画像処理装置の論理構成における各処理の詳細について、図７のフローチャートを参照して説明する。

ステップＳ７０１は、画像入力部６０１から画像データを入力する。

ステップＳ７０２は、パラメータ算出部６０２で入力画像の補正処理に用いるパラメータを算出する。ここで算出するパラメータは少なくとも参照画素と着目領域を含む。例えば本実施例における参照画素は、着目画素を中心とした近傍５×５画素に含まれる画素とする。また、着目領域および参照領域のサイズは、３×３画素とする。

ステップＳ７０３は、画像補正処理部６０３において、ステップＳ７０２で算出したパラメータを参照し、ステップＳ７０１で入力した画像データに画像補正処理を適用して補正画像データを生成する。画像補正処理の詳細は後述する。

ステップＳ７０４は、画像出力部６０４から、ステップＳ７０３で生成した補正画像データを出力する。

（画像補正処理）
以下では、図７で説明したステップＳ７０４における画像補正処理の詳細について図８のフローチャート図を参照して説明する。

ステップＳ８０１は、ステップＳ７０１で入力したＲＡＷ画像データを取得する。

ステップＳ８０２は、ステップＳ７０２で算出したパラメータを取得する。

ステップＳ８０３は、ステップＳ８０１で取得したＲＡＷ画像から未処理画素を選択する。

ステップＳ８０４は、ステップＳ８０３で選択した着目画素に対応する参照領域を選択する。

ステップＳ８０５は、ステップＳ８０４で選択した参照領域内の各参照画素について、式（２）を用いて画素単位での類似度を算出する
ステップＳ８０６は、ステップＳ８０５で得た各参照画素の類似度を用いてサブピクセル推定を行い、各参照画素の画素位置と類似度を更新する。

ステップＳ８０７は、ステップＳ８０６で更新した画素位置と類似度、および更新後の画素位置と最近傍画素との距離から、各参照画素の重みを算出する。具体的には式（４）を適用する。

ステップＳ８０８は、ステップＳ８０８で算出した各参照画素の重みを用いて、画像補正後の画素値を算出する。具体的には式（１）を適用する。

ステップＳ８０９は、ステップＳ８０１で取得したＲＡＷ画像の全画素の補正処理が終了したかどうか判定する。終了していればステップＳ８１０に移行し、終了していなければステップＳ８０３に移行して処理を継続する。

ステップＳ８１０は、ステップＳ８０３からステップＳ８０９で生成した補正画像データを出力する。

以上の処理により、従来に比べてより高精度な類似度を用いつつ、補間によって生じる解像度低下の影響を考慮したノイズ低減処理を実現することができる。

実施例１では、１枚の静止画像を対象とした場合のノイズ低減処理について述べた。しかしながら、ノイズ低減処理は１枚の画像のみからではなく、複数枚の画像の参照により、さらに画質を向上させることが出来る。そこで本実施例では、複数枚の連続撮影画像を対象とした場合の例について述べる。

実施例１の形態との違いは、参照領域を処理対象画像内だけでなく、他の画像上にも設定する点である。例えば図２及び図３では処理対象画像上に参照領域を設定しているが、連続撮影画像など処理対象画像と相関の強い画像が存在する場合には、参照領域をその画像上にも設定できる。例えば、処理対象画像以外の画像上に、処理対象画像と同じ座標に参照領域を設定しても良い。

図９は、本実施例によるノイズ低減処理の流れを示すフローチャートである。

実施例１の処理と異なるのは、ステップＳ９０６でサブピクセル推定を行った後、ステップＳ９０７で参照画素の選択を行う点である。本実施例のように複数枚の画像上に参照領域を設定する場合、被写体の微小なぶれや手ぶれなどの影響により画像間にずれが生じた結果、ずれ量によってはサブピクセル推定で得られる画素位置と、最近傍画素との距離Ｌが大きくなってしまう場合がある。そこでステップＳ９０７では、参照画素群をサブピクセル推定で得た距離Ｌの値で昇順にソートして予め定められた画素数（例えば本実施例ではＮ_Ｓ）選択し、選択した参照画素を用いて着目画素の画素値Ｉ_ｎｅｗを算出する。着目画素の画素値の算出方法は実施例１と同様であるため、説明を省略する。

このような処理を行うことで、複数の画像上に参照領域を設定した場合でも、補間処理の影響を最小限に留めることができる。
［その他の実施例］
実施例１は、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成する例を説明したが、撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。

１０１ ＣＰＵ、１０２ ＲＡＭ、１０３ ＨＤＤ、
１０４ 汎用インターフェース（Ｉ／Ｆ）、１０８ モニタ、
１０９ メインバス

Claims (4)

1. 画像に含まれる着目画素の周辺の画素による着目領域と、前記画像上の参照画素毎の該画素の周辺画素による参照領域と、の第１の類似度を算出する領域間類似度算出手段と、
   前記第１の類似度に基づいてサブピクセル推定を行い、該参照画素の詳細位置と、該詳細位置に対応する第２の類似度を算出するサブピクセル推定手段と、
   前記参照画素毎の詳細位置と前記第２の類似度に基づいて該参照画素毎の重みを算出する重み算出手段と、
   前記参照画素の画素値と該参照画素の重みを用いて、前記着目画素の補正値を算出する画像補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記重み算出手段は、前記参照画素毎の詳細位置と、該詳細位置に最も近い参照画素との距離と、前記第２の類似度を用いて前記重みを決定することを特徴とする請求項１に記載の画像処理装置。
3. さらに前記詳細位置と該詳細位置に最も近い参照画素との距離に基づいて前記参照画素群をソートして、予め定められた数の参照画素を選択する参照画素選択手段を備え、前記画像補正手段は、前記参照画素選択手段で選択された参照画素のみを用いて前記着目画素の補正値を算出することを特徴とする請求項１に記載の画像処理装置。
4. さらに前記詳細位置と該詳細位置に最も近い参照画素との距離が予め定められた値以下の前記参照画素群を選択する参照画素選択手段を備え、前記画像補正手段は、前記参照画素選択手段で選択された参照画素のみを用いて前記着目画素の補正値を算出することを特徴とする請求項１に記載の画像処理装置。