JP2009081738A - 画像処理装置、方法およびプログラム - Google Patents

Abstract

【課題】低感度画像から効果的にノイズを除去してより高画質な画像を得る。
【解決手段】第１撮像信号を獲得する複数の第１受光素子と、第１受光素子の感度より高い感度で第１受光素子のそれぞれに関する第２撮像信号を獲得する複数の第２受光素子とを有するイメージセンサ１０１と、低感度画像の各画素に対応する位置における高感度画像の対応画素と、低感度画像の各画素の周辺画素の各々に対応する対応周辺画素との画素値の差が大きくなるほど各周辺画素のフィルタ係数は各画素のフィルタ係数よりも小さくなり、差が小さくなるほど各画素と各周辺画素とのフィルタ係数の差が小さくなるフィルタ係数を算出するフィルタ係数算出部１０４と、低感度画像の各画素の画素値にフィルタ係数を重み付けしてフィルタリング処理を低感度画像に施すフィルタリング処理部１０５とを備えた。
【選択図】図１

Description

本発明は、第１受光素子と第２受光素子とを有する撮像部によって、撮像した画像のうち、低感度画像に対して画像処理を行ってノイズ除去を行う画像処理装置、方法およびプログラムに関する。

カラーフィルタ等のある相対的に低感度な受光素子と、カラーフィルタレスで相対的に高感度な受光素子とを有するハイブリッドイメージセンサによる撮像画像には、相対的に低感度な受光素子から出力される低感度撮像信号と、相対的に高感度な受光素子から出力される高感度撮像信号とが含まれる。ここで、低感度撮像信号に基づく低感度画像からノイズを除去する技術として、例えば特許文献１に開示されている技術がある。

この特許文献１の技術では、高感度撮像信号を用いて低感度撮像信号のノイズを低減する技術が開示されている。すなわち、特許文献１の技術では、高感度撮像信号と低感度撮像信号の間の振幅比を等しくする処理を行い、高感度撮像信号と低感度撮像信号の加算平均をおこなうことにより低感度画像のノイズ低減処理を行っている。

特開２００５−１５０８８６号公報

しかしながら、この従来技術では、高感度撮像信号と低感度撮像信号を加算平均するだけであり、効果的なノイズ除去を行うことは困難であるという問題がある。また、高感度撮像信号と低感度撮像信号の間で撮像装置のチャネルが異なる場合には、かかるノイズ除去の手法を適用することが困難であるという問題もある。

本発明は、上記に鑑みてなされたものであって、低感度画像から効果的にノイズを除去してより高画質な画像を得ることができる画像処理装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、第１撮像信号を獲得する複数の第１受光素子と、前記第１受光素子の感度より高い感度で前記第１受光素子のそれぞれに関する第２撮像信号を獲得する複数の第２受光素子とを有する撮像部と、前記第１撮像信号から得られる低感度画像の各画素に対応する位置における、前記第２撮像信号から得られる高感度画像の対応画素と、前記低感度画像の前記各画素の周辺の周辺画素の各々に対応する前記高感度画像の対応周辺画素との画素値の差を求め、前記差が大きくなるほど前記各周辺画素のフィルタ係数は前記各画素のフィルタ係数よりも小さくなり、前記差が小さくなるほど前記各画素のフィルタ係数と前記各周辺画素のフィルタ係数との差が小さくなるように、前記低感度画像の各画素に適用するためのフィルタのフィルタ係数を算出する算出部と、前記低感度画像の各画素の画素値に、前記算出部で算出した前記フィルタ係数を重み付けして前記フィルタを適用したフィルタリング処理を前記低感度画像に施すフィルタリング処理部とを備えたことを特徴とする。

また、本発明は、上記画像処理装置で実行される方法、コンピュータを上記画像処理装置として機能させるプログラムである。

本発明によれば、低感度画像から効果的にノイズを除去してより高画質な画像を得ることができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像処理装置、方法およびプログラムの最良な実施の形態を詳細に説明する。

（実施の形態１）
図１は、実施の形態１にかかる画像処理装置の機能的構成を示すブロック図である。本実施の形態の画像処理装置１００は、図１に示すように、ハイブリッドイメージセンサ１０１と、ゲイン調整部１０２と、デモザイキング処理部１０３と、フィルタ係数算出部１０４と、フィルタリング処理部１０５とを主に備えている。

ハイブリッドイメージセンサ１０１は、相対的に低感度な撮像信号を獲得する複数の受光素子と、この受光素子の感度より相対的に高い感度で、上記受光素子のそれぞれに関する撮像信号を獲得する受光素子とを混在して設けたイメージセンサである。本実施の形態では、カラーフィルタ付きのカラー受光素子を低感度受光素子（第１受光素子）、カラーフィルタレスの輝度受光素子を高感度受光素子（第２受光素子）としている。

図２は、実施の形態１にかかるハイブリッドイメージセンサの受光素子の構成を示す模式図である。より具体的には、本実施の形態のハイブリッドイメージセンサ１０１は、図２に示すように、低感度受光素子としてのＲ（赤）、Ｇ（緑）、Ｂ（青）の各受光素子（以下、「Ｒ受光素子、Ｇ受光素子、Ｂ受光素子またはＲ，Ｇ，Ｂ受光素子」という。）と、高感度受光素子としてのＷ（白）受光素子（以下、「Ｗ受光素子」という。）とから構成される。また、本実施の形態のハイブリッドイメージセンサ１０１は、各受光素子が１枚のみ（単板）で構成されているＲ，Ｇ，Ｂ受光素子には、カラーフィルターが装着されている。Ｒ，Ｇ，Ｂ受光素子では入力された光がカラーフィルタによって分離されＲ，Ｇ，Ｂ撮像信号として出力される。

これに対し、Ｗ受光素子にはカラーフィルタが装着されておらず、いわゆるカラーフィルターレスとなっている。このため、Ｗ受光素子では、Ｓ／Ｎ比の高い撮像信号を出力することができる。すなわち、カラーフィルタの有無により輝度値の減衰の有無が発生し、それにより相対的な感度が異なることを利用している。

なお、ハイブリッドイメージセンサ１０１としては、カラーフィルターの有無の構成に限定されるものではなく、例えば受光素子の大きさの違いにより相対的な感度を調整するものであっても良い。

ここで、画面内の画素位置をｘとして、Ｒ，Ｇ，Ｂ，Ｗの各受光素子から出力される画素値は、それぞれ（１）式で示すものとする。

ゲイン調整部１０２は、Ｒ，Ｇ，Ｂ受光素子からの撮像信号である各画素値に、所定の大きさのゲインを乗算して、Ｒ，Ｇ，Ｂ受光素子からの各画素値を増幅するものである。

Ｗ画素が飽和しない範囲で露光をおこなうと、相対的に低感度なＲ，Ｇ，Ｂの画素では十分な露光時間が得られていないため、Ｒ，Ｇ，Ｂ画素値はＷ画素値に比べて小さい値となる。このため、ゲイン調整部１０２によって、Ｒ，Ｇ，Ｂ画素値にゲインを乗算して増幅している。

デモザイキング処理部１０３は、ハイブリッドイメージセンサ１０１の各受光素子から出力される各画素で、当該画素とその周囲画素の色情報を利用して、残りの色を再現するデモザイキング処理を行うものである。

すなわち、本実施の形態では、上述したように、ハイブリッドイメージセンサ１０１の各受光素子が単板であるため、各受光素子からは、Ｒ，Ｇ，Ｂ，Ｗのいずれかの画素値しか取得することができない。このため、各画素に残りの３色の画素値を補間により再現している。

デモザイキングの手法としては、文献[B. K. Gunturk et al, “Demosaicking: color filter array interpolation”, IEEE Signal Processing Magazine, Vol. 22, pp. 44-54, 2005]で開示されているような様々な技術を用いることができる。

本実施の形態のデモザイキング処理部１０３では、求めたい画素の色を，周囲９ 近傍に存在する既知の同じ色の平均値で線形補間することによって、デモザイキング処理を行っている。

画素位置ｘにＷ画素が存在してＷ_high（ｘ）にＷ画素値が出力されており、画素位置ｘ＋（１，０）^T、ｘ＋（０，１）^T、ｘ＋（１，１）^TにＷ画素が存在しない場合を考える。この場合、（２）式で示される画素値には、Ｗ画素値が出力されていないため、かかる画素位置でＷ画素を線形補間すると、（３）式に示すようにＷ画素を取得することができる。Ｒ，Ｇ，Ｂ画素についても同様の線形補間によりデモザイキング処理を行う。

これによって、（４）式に示す低感度画像の画素値Ｉ_low（ｘ）と（５）式に示される高感度画像の画素値Ｉ_high（ｘ）を取得することができる。

フィルタ係数算出部１０４は、高感度画像の画素値Ｉ_high（ｘ）の分布、すなわち、低感度画像の各画素に対応する位置における高感度画像の対応画素と、低感度画像の各画素の周辺の周辺画素の各々に対応する高感度画像の対応周辺画素との画素値の差を求め、この差が大きくなるほど各周辺画素のフィルタ係数は各画素のフィルタ係数よりも小さくなり、差が小さくなるほど各画素のフィルタ係数と各周辺画素のフィルタ係数との差が小さくなるように、低感度画像の各画素に適用するためのフィルタのフィルタ係数を算出する。また、フィルタ係数算出部１０４は、このフィルタ係数を、低感度画像の各画素と、低感度画像の周辺画素との画素値の差を求め、この差が大きくなるほど各周辺画素のフィルタ係数は各画素のフィルタ係数よりも小さくなり、差が小さくなるほど各画素のフィルタ係数と各周辺画素のフィルタ係数との差が小さくなるように算出する。

フィルタリング処理部１０５は、空間的なフィルタリングとして、低感度画像の各画素の画素値にフィルタ係数算出部１０４で算出したフィルタ係数を重み付けして、低感度画像の各画素に適用するためのバイラテラルフィルタを用いて低感度画像にフィルタリング処理を施すことにより、低感度画像のノイズ除去を行うものである。

以下、フィルタ係数算出部１０４とフィルタリング処理部１０５の詳細について説明する。

空間的なフィルタリングとして、文献[C. Tomasi and R. Manduchi, “Bilateral filtering for gray and color images”, IEEE ICCV1998, pp. 839-846, 1998]には、画素値適応フィルタリングの手法が開示されている。（６−１）〜（６−４）式は、この文献に開示されたバイラテラルフィルタ（Bilateral Filter）を本実施の形態の低感度画像に適用した場合を示している。（６−４）式が重み付け畳み込みとして表されるフィルタリングの（６−１）式に対する重みとしてのフィルタ係数となっており、低感度画像の画素値Ｉ_low（ｘ）の分布を含んでいる。

ここで、Ｎは、フィルタリングをおこなう局所近傍であり、例えば、（７）式で示される９近傍等を用いることができるが、これに限定されるものではない。

また、（６−３）式において、ｋ_σ（ｚ）は、標準偏差σの多次元のガウシアンカーネルを表している。バイラテラルフィルタは、一般のガウシアンフィルタを空間だけでなく画素値に関しても拡張したフィルタリングであり、画素値が近いものほど重み、すなわちフィルタ係数が大きくなるフィルタリングをするところに特徴がある。ガウシアンフィルタではエッジ部分が鈍ってしまうところを、バイラテラルフィルタでは、エッジ部分を保存しつつ、平坦部分は平滑化を行っている。

しかしながら、（６−１）〜（６−４）式では、低感度でＳ／Ｎ比の低い低感度画像を用いて、フィルタ係数が算出されてしまうため、十分にエッジを保存できなくなり形状が崩れてしまう可能性がある。

そこで、本実施の形態では、フィルタ係数算出部１０４は、高感度でＳ／Ｎ比の高い高感度画像の画素値Ｉ_high（ｘ）を用いてバイラテラルフィルタのフィルタ係数を算出する。高感度画像は、Ｓ／Ｎ比が高いため、低感度画像に比べるとノイズが少なく良好に形状を保存していると考えられるからである。

そして、本実施の形態のフィルタリング処理部１０５では、(６−１）〜（６−４）式に示すバイラテラルフィルタにさらに高感度画像の画素値Ｉ_high（ｘ）によるフィルタ係数を使用して、(８−１）〜（８−３）式で示されるフィルタリング処理を行う。

（８−４）式が、重み付け畳み込みとして表されるバイラテラルフィルタリング（８−１）式に対する重みとしてのフィルタ係数となっており、フィルタ係数算出部１０４は、この（８−４）式によりフィルタ係数を算出する。（８−４）式で示されるフィルタ係数は、（６−４）式のフィルタ係数と異なり、低感度画像の画素値Ｉ_owh（ｘ）の分布の他、高感度画像の画素値Ｉ_high（ｘ）の分布も含んでいる。従って、（８−１）、（８−３）式により、フィルタ係数は、低感度画像の各画素に対応する位置における高感度画像の対応画素の画素値Ｉ_high（ｘ）と、低感度画像の各画素の周辺の周辺画素の各々に対応する対応周辺画素の画素値Ｉ_high（ｘ＋ｓ）（ただし、ｓ∈Ｎ）との差が大きくなるほど各周辺画素のフィルタ係数は各画素のフィルタ係数よりも小さくなり、上記差が小さくなるほど各画素のフィルタ係数と各周辺画素のフィルタ係数との差が小さくなっている。また、フィルタ係数は、低感度画像の各画素の画素値Ｉ_low（ｘ）と、低感度画像の周辺画素の画素値Ｉ_low（ｘ＋ｓ）（ただし、ｓ∈Ｎ）との差が大きくなるほど各周辺画素のフィルタ係数は各画素のフィルタ係数よりも小さくなり、上記差が小さくなるほど各画素のフィルタ係数と各周辺画素のフィルタ係数との差が小さくなっている。

本実施の形態におけるフィルタ係数の算出およびフィルタリング処理の概念を図３に示す。図３に示すように、低感度画像の各画素（図３における低感度画像の太線部分）に対応する位置における高感度画像の対応画素（図３における高感度画像の太線部分）と、低感度画像の各画素の周辺の周辺画素の各々に対応する高感度画像の対応周辺画素との画素値の差が大きくなるほど各周辺画素のフィルタ係数は各画素のフィルタ係数よりも小さくなっている。また、上記差が小さくなるほど各画素のフィルタ係数と各周辺画素のフィルタ係数との差が小さくなっている。本実施の形態では、高感度画像であるＷ画素の画像から良好に形状情報が保存されたフィルタ係数を算出し、このフィルタ係数を用いてＲ，Ｇ，Ｂ画素の画像である低感度画像をフィルタリングして、ノイズ除去が効果的に行われた高画質な出力画像を得ている。

次に、以上のように構成された本実施の形態にかかるノイズ除去処理について説明する。図４は、実施の形態１のノイズ除去処理の手順を示すフローチャートである。

まず、ハイブリッドイメージセンサ１０１から高感度撮像信号と低感度撮像信号が出力されるのでそれぞれデモザイキング処理部１０３、ゲイン調整部１０２で入力する（ステップＳ１１）。

そして、ゲイン調整部１０２は、入力した低感度撮像信号に適切なゲインを乗じる（ステップＳ１２）。

次に、デモザイキング処理部１０３は、ハイブリッドイメージセンサ１０１から高感度撮像信号（Ｗ画素値）を入力し、入力した高感度撮像信号（Ｗ画素値）に対して（３）、（５）式によりデモザイキング処理を施し（ステップＳ１３）、高感度画像の画素値Ｉ_high（ｘ）として出力する。

また、デモザイキング処理部１０３は、ゲイン調整部１０２から増幅された低感度撮像信号（Ｒ，Ｇ，Ｂ画素値）を入力し、入力した低感度撮像信号（Ｒ，Ｇ，Ｂ画素値）に対して（３）式によりデモザイキング処理を施す（ステップＳ１４）、低感度画像として出力する。

そして、フィルタ係数算出部１０４は、高感度画像の画素値Ｉ_high（ｘ）と低感度画像の画素値Ｉ_low（ｘ）から（８−４）式によりフィルタ係数を算出する（ステップＳ１５）。次いで、フィルタリング処理部１０５は、算出されたフィルタ係数と（８−１）〜（８−３）式により低感度画像に対しフィルタリング処理を施す（ステップＳ１６）。そして、フィルタリング処理部１０５は、フィルタリング後の低感度画像を出力画像として出力する（ステップＳ１７）。これにより、出力画像からは効果的にノイズが除去される。

このように実施の形態１にかかる画像処理装置１００では、低感度画像の各画素に対応する位置における高感度画像の対応画素の画素値Ｉ_high（ｘ）と、低感度画像の各画素の周辺の周辺画素の各々に対応する対応周辺画素の画素値Ｉ_high（ｘ＋ｓ）（ただし、ｓ∈Ｎ）との差が大きくなるほど各周辺画素のフィルタ係数は各画素のフィルタ係数よりも小さくなり、上記差が小さくなるほど各画素のフィルタ係数と各周辺画素のフィルタ係数との差が小さくなるように低感度画像に適用するためのバイラテラルフィルタのフィルタ係数を算出し、この算出されたフィルタ係数を用いてバイラテラルフィルタを適用して低感度画像のフィルタリング処理を行っているので、低感度画像から効果的にノイズを除去してより高画質な画像を得ることができる。

（変形例）
ここで、フィルタ係数の算出およびフィルタリング処理を所定回数ｔ１だけ反復して実行するように構成してもよい。

この場合には、（９−１）〜（９−４）式の反復更新式で示されるフィルタリングを行う。

ここで、（ｔ）はイテレーション番号を示し、イテレーション（０）では、（１０）式の初期値設定を行えばよい。

すなわち、イテレーション（ｔ）を増加させながら、フィルタ係数算出部１０４は（９−４）式でフィルタ係数を算出し、フィルタリング処理部１０５は（９−１）〜（９−３）式により低感度画像にフォルタリング処理を行う。そして、かかる処理を、イテレーション（ｔ＋１）が所定回数ｔ１に達するまで反復して行う。（９−１）式の算出結果としての低感度画像の画素値Ｉ^(t+1) _low（ｘ）は、次回の（９−１）式による算出時に代入される。

図５は、実施の形態１の変形例のノイズ除去処理の手順を示すフローチャートである。ステップＳ２１からＳ２４までの処理は、図４に示すステップＳ１１からＳ１４までの処理と同様である。

次に、フィルタリング処理部１０５によって、（１０）式によりイテレーション（０）における初期値設定を行う（ステップＳ２５）。そして、フィルタ係数算出部１０４は、（９−４）式により、フィルタ係数を算出する（ステップＳ２６）。次いで、フィルタリング処理部１０５は、算出されたフィルタ係数を用いて、（９−１）〜（９−３）式により低感度画像をフィルタリングする（ステップＳ２７）。そして、イテレーション（ｔ＋１）が所定回数であるｔ１に達するまで（ステップＳ２８：Ｎｏ）、イテレーションｔを増加させながら（ステップＳ２９）、ステップＳ２６、Ｓ２７の処理を繰り返す。イテレーション（ｔ＋１）が所定回数ｔ１に達したら（ステップＳ２８：Ｙｅｓ）、その時点での低感度画像、すなわち（９−１）式の算出結果を出力画像として出力する（ステップＳ３０）。このように、フィルタ係数の算出とフィルタリング処理を反復して実行することにより、低感度画像のさらなる平滑化を行いノイズ除去性能をより向上させることができる。

（実施の形態２）
実施の形態１にかかる画像処理装置１００では、高感度画像を用いてフィルタ係数を算出し、このフィルタ係数を用いて低感度画像をフィルタリングしてノイズ除去を行っていた。このフィルタリング処理が施された低感度画像は、ノイズが低減されて高感度画像と同程度に高画質な画像であると考えることができる。しかしながら、かかる低感度画像は、高感度画像の画素値Ｉ_high（ｘ）を用いたフィルタ係数を使用したフィルタリング処理が施されているが、フィルタリング処理により統計的な代表値を算出したものにすぎないため、実際に高感度画像と同程度に高画質であるとは限らない。

そこで、この実施の形態２にかかる画像処理装置では、さらに、高感度画像の画素値Ｉ_high（ｘ）とフィルタリングされた低感度画像の画素値Ｉ_low（ｘ）の差分である残差を求め、この残差に基づいて低感度画像をさらに補正することにより、より細かい形状を保存可能として、さらなる高画質化を実現している。

図６は、実施の形態２にかかる画像処理装置の機能的構成を示すブロック図である。本実施の形態の画像処理装置６００は、図６に示すように、ハイブリッドイメージセンサ１０１と、ゲイン調整部１０２と、デモザイキング処理部１０３と、フィルタ係数算出部１０４と、フィルタリング処理部６０５と、補正部６０６とを主に備えている。

ハイブリッドイメージセンサ１０１、ゲイン調整部１０２、デモザイキング処理部１０３、フィルタ係数算出部１０４、フィルタリング処理部６０５は、実施の形態１と同様の機能を有している。

補正部６０６は、フィルタリング処理が施された低感度画像に色変換処理を施し、色変換した低感度画像の画素値Ｉ_low（ｘ）と高感度画像の画素値Ｉ_high（ｘ）との差分である残差を求め、残差に基づいて低感度画像を補正するものである。

より具体的には、補正部６０６は、以下の処理を行う。低感度画像は、Ｒ，Ｇ，Ｂ画素値を有するカラー画像であり、高感度画像はＷ画素値を有する画像、すなわち輝度画像である。このため、補正部６０６は、低感度画像の画素値Ｉ_low（ｘ）を色変換して輝度画像とした上で、高感度画像の画素値Ｉ_high（ｘ）との残差を求めている。そして、残差に基づく二乗誤差Ｄ（ｘ）を（１１）式で求める。

ここで、ｃは色変換ベクトルであり、ＲＧＢ画素値から輝度値への変換の場合には、色変換ベクトルｃは、（１２）式で示される。

また、（１１）式において、（Ｉ_low（ｘ）−ｃＩ_low（ｘ））が残差である。補正部６０６は、（１１）式で表される二乗誤差Ｄ（ｘ）を最小化するようにフィルタリングされた低感度画像を補正する。二乗誤差Ｄ（ｘ）の最小化は、（１３）式に示すEuler-Lagrange方程式を解法する。

（１３）式を計算すると、（１４）式が得られる。

この（１４）式を離散化すると、（１５）式の反復更新式が得られる。

ここで、（ｔ）はイテレーション番号である。補正部６０６は、イテレーション（ｔ）を増加させながらイテレーション（ｔ＋１）が所定回数ｔ２に達するまで、（１５）式により補正した低感度画像の画素値を算出する。算出結果としての補正した低感度画像の画素値は、次回の（１５）式による算出に代入される。

次に、以上のように構成された実施の形態２にかかる画像処理装置６００によるノイズ除去処理について説明する。図７は、実施の形態２のノイズ除去処理の手順を示すフローチャートである。ステップＳ３１からＳ３６までの処理は実施の形態１のステップＳ１１からＳ１６までの処理と同様に行われる。

ステップＳ３６により低感度画像にフィルタリング処理を施したら、補正部６０６は、フィルタリング処理直後の低感度画像の画素値Ｉ_low（ｘ）をイテレーション（０）に対する初期値として設定する（ステップＳ３７）。

そして、補正部６０６は、低感度画像の画素値Ｉ_low（ｘ）に色変換ベクトルｃを乗じて輝度値に色変換する（ステップＳ３８）。次に、補正部６０６は、（１５）式により、高感度画像の画素値Ｉ_high（ｘ）と色変換された低感度画像の画素値Ｉ_high（ｘ）の二乗誤差Ｄ（ｘ）を最小化する低感度画像の画素値Ｉ_low（ｘ）を求める（ステップＳ３９）。

そして、イテレーション（ｔ＋１）が所定回数ｔ２に達するまで（ステップＳ４０：Ｎｏ）、イテレーションｔを増加させながら（ステップＳ４１）、ステップＳ３８、Ｓ３９の処理を繰り返す。イテレーション（ｔ＋１）が所定回数であるｔ２に達したら（ステップＳ４０：Ｙｅｓ）、その時点での低感度画像、すなわち（１５）式の算出結果を出力画像として出力する（ステップＳ４１）。これにより、二乗誤差Ｄ（ｘ）を最小化する低感度画像が出力画像として取得できる。

このように実施の形態２にかかる画像処理装置では、高感度画像の画素値Ｉ_high（ｘ）とフィルタリングされた低感度画像の画素値Ｉ_low（ｘ）の差分である残差を求め、この残差の二乗誤差Ｄ（ｘ）が最小となるように低感度画像を補正しているので、より細かい形状を保存可能として、低感度画像のさらなる高画質化を実現することができる。

（変形例）
ここで、フィルタリング処理およびフィルタリング処理後の低感度画像の補正処理を所定回数ｔ３だけ反復して実行するように構成してもよい。

この場合には、（１６−４）式の反復更新式で示されるフィルタ係数の算出および（１６−１）〜（１６−３）式の反復更新式で示されるフィルタリング処理と、（１７）式の反復更新式で示される低感度画像の補正処理を反復して行う。

ここで、（ｔ）はイテレーション番号を示し、イテレーション（０）では、上述した（１０）式の初期値設定を行えばよい。

すなわち、イテレーション（ｔ）を増加させながら、フィルタ係数算出部１０４は（１６−４）式でフィルタ係数を算出し、フィルタリング処理部６０５は（１６−１）〜（１６−３）式により低感度画像にフォルタリング処理を行う。さらに、補正部６０６は、（１７）式により、フィルタリング処理後の低感度画像を補正する。そして、かかる処理を、イテレーション（ｔ＋１）あるいは（ｔ＋２）が所定回数ｔ３に達するまで反復して行う。（１６−１）式の算出結果としての低感度画像の画素値Ｉ^(t+1) _low（ｘ）は、（１７）式による低感度画像の補正時に代入される。また、（１７）式の算出結果としての補正後の低感度画像の画素値Ｉ^(t+2) _low（ｘ）は、次回の（１６−１）式による算出時に代入される。

図８は、実施の形態２の変形例のノイズ除去処理の手順を示すフローチャートである。ステップＳ５１からＳ２４までの処理は、図５に示すステップＳ２１からＳ２５までの処理と同様である。

次に、フィルタリング処理部６０５によって、（１０）式によりイテレーション（０）における初期値設定を行う（ステップＳ５５）。そして、フィルタ係数算出部１０４は、（１６−４）式により、フィルタ係数を算出する（ステップＳ５６）。

次いで、フィルタリング処理部６０５は、算出されたフィルタ係数を用いて、（１６−１）〜（１６−３）式により低感度画像をフィルタリングする（ステップＳ５７）。そして、イテレーション（ｔ＋１）が所定回数であるｔ３に達したか否かを調べる（ステップＳ５８）。

イテレーション（ｔ＋１）が所定回数ｔ３に達した場合には（ステップＳ５８：Ｙｅｓ）、フィルタリング処理部６０５は、（１６−１）式の算出結果である低感度画像を出力画像として出力する（ステップＳ６２）。

一方、ステップＳ５８において、イテレーション（ｔ＋１）が所定回数ｔ３に達していない場合には（ステップＳ５８：Ｎｏ）、補正部６０６は、（１７）式によって、低感度画像の画素値に色変換ベクトルｃを乗じて輝度値に色変換し、高感度画像の画素値と色変換された低感度画像の画素値の二乗誤差Ｄ（ｘ）を最小化する低感度画像の画素値を求める（ステップＳ５９）。

そして、イテレーション（ｔ＋２）が所定回数ｔ３に達したか否かを調べる（ステップＳ６０）。イテレーション（ｔ＋２）が所定回数ｔ３に達した場合には（ステップＳ６０：Ｙｅｓ）、補正部６０６は、（１７）式の算出結果である補正した低感度画像を出力画像として出力する（ステップＳ６２）。

一方、ステップＳ６０において、イテレーション（ｔ＋２）が所定回数ｔ３に達していない場合には（ステップＳ６０：Ｎｏ）、イテレーションｔを増加させて（ステップＳ６１）、ステップＳ５６からＳ５９までの処理を繰り返す。

このように、フィルタ係数の算出とフィルタリング処理と低感度画像の補正を反復して実行することにより、低感度画像のさらなる平滑化を行いノイズ除去性能をより向上させることができる。

（実施の形態３）
実施の形態１および２の画像処理装置１００，６００では、高感度画像を用いて低感度画像のノイズ除去をおこなっていたが、高感度画像はフィルタ係数を算出するためだけに用いられていた。しかし、高感度画像はＳ／Ｎ比の高い輝度画像として得られているので、この高感度画像を直接利用することも考えられる。この実施の形態３にかかる画像処理装置では、低感度画像から色変換により低感度色差画像を生成し、低感度色差画像にフィルタリング処理を施してノイズ除去をおこない、高感度画像である輝度画像と合成して色変換することによりカラー画像を出力している。

図９は、実施の形態３にかかる画像処理装置の機能的構成を示すブロック図である。本実施の形態の画像処理装置９００は、図９に示すように、ハイブリッドイメージセンサ１０１と、ゲイン調整部１０２と、デモザイキング処理部１０３と、フィルタ係数算出部９０４と、フィルタリング処理部９０５と、色変換部９０７と、合成変換部９０６とを主に備えている。

ハイブリッドイメージセンサ１０１、ゲイン調整部１０２、デモザイキング処理部１０３は、実施の形態１と同様の機能を有している。

色変換部９０７は、低感度画像を高感度画像と同一の色空間の画像に変換するものである。本実施の形態では、低感度画像を、高感度画像の色空間である輝度と色差の色空間（ＹＵＶ空間）の画像として色差画像（Ｕ_low（ｘ），Ｖ_low（ｘ））^Tに色変換している。ここで、低感度画像を色変換した色差画像を低感度色差画像という。

低感度画像を低感度色差画像に色変換する場合には、例えば、（１８）式を用いる。

フィルタ係数算出部９０４は、実施の形態１と異なり、Ｒ，Ｇ，Ｂ画素値を有するカラー画像である低感度画像ではなく低感度色差画像（Ｕ_low（ｘ），Ｖ_low（ｘ））^Tと高感度画像とからフィルタ係数を算出している。

また、フィルタリング処理部９０５は、この低感度色差画像に対して、上記フィルタ係数を用いて実施の形態１と同様のバイラテラルフィルタによりフィリタリング処理を施してノイズ除去を行っている。

具体的には、フィルタ係数算出部９０４は、（１９−４）式によりフィルタ係数を算出し、フィルタリング処理部９０５は、（１９−１）〜（１９−３）式により低感度色差画像（Ｕ_low（ｘ），Ｖ_low（ｘ））^Tにフィルタリング処理を施している。

合成変換部９０６は、フィルタリング処理が施された低感度色変換画像と高感度画像とを合成して、カラー画像を出力するものである。高感度画像はＷ画素であるが、これを輝度信号とみればカラー画像に変換することができる。このため、合成変換部９０６は、低感度色差画像と高感度画像とを合成して、低感度色差画像を、（２０）式により色変換前の低感度画像の色空間のカラー画像Ｉ’（ｘ）に変換し出力している。

次に、以上のように構成された本実施の形態のノイズ除去処理について説明する。図１０は、実施の形態３のノイズ除去処理の手順を示すフローチャートである。ステップＳ７１からＳ７４までの処理は、実施の形態１の図５におけるステップＳ１１からＳ１４までの処理と同様に行われる。

ステップＳ７４における低感度撮像信号のデモザイキング処理が終了したら、色変換部９０７は、（１８）式により低感度画像を低感度色差画像に変換する（ステップＳ７１）。

そして、フィルタ係数算出部９０４は、高感度画像の画素値Ｉ_high（ｘ）と低感度色差画像の画素値（Ｕ_low（ｘ），Ｖ_low（ｘ））^Tから（１９−４）式によりフィルタ係数を算出する（ステップＳ７６）。次いで、フィルタリング処理部９０５は、算出されたフィルタ係数と（１９−１）〜（１９−３）式により低感度色差画像に対しフィルタリング処理を施す（ステップＳ７７）。

そして、合成変換部９０６は、（２０）式により、高感度画像とフィルタリング後の低感度色差画像を合成し、合成した画像を色変換前の低感度画像の色空間のカラー画像に変換する（ステップＳ７８）。そして、合成変換部９０６は、（２０）式により得られたカラー画像Ｉ’（ｘ）を出力画像として出力する。

このように実施の形態３にかかる画像処理装置９００では、低感度画像から色変換により低感度色差画像を生成し、低感度色差画像にフィルタリング処理を施してノイズ除去をおこない、高感度画像である輝度画像と合成して色変換することにより、より高画質なカラー画像を出力することができる。

なお、本実施の形態では、（１９−１）〜（１９−４）式によりフィルタリング処理を行っていたが、実施の形態１の変形例と同様に、（１９−１）〜（１９−４）式を離散化してイテレーションを用いた反復更新式を用い、複数回処理を反復するように構成することもできる。

また、本実施の形態では、低感度色差画像に対してフィルタリング処理を行っていたが、高感度画像に対してフィルタリング処理を行うように構成してもよい、
実施の形態１〜３にかかる画像処理装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

実施の形態１〜３にかかる画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施の形態１〜３にかかる画像処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施の形態１〜３にかかる画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施の形態１〜３にかかる画像処理装置で実行される画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

実施の形態１〜３にかかる画像処理装置で実行される画像処理プログラムは、上述した各部（ゲイン調整部１０２、デモザイキング処理部１０３、フィルタ係数算出部１０４、９０４、フィルタリング処理部１０５，６０５，９０５と、補正部６０６、色変換部９０７、合成変換部９０６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、ゲイン調整部１０２、デモザイキング処理部１０３、フィルタ係数算出部１０４、９０４、フィルタリング処理部１０５，６０５，９０５と、補正部６０６、色変換部９０７、合成変換部９０６が主記憶装置上に生成されるようになっている。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

実施の形態１にかかる画像処理装置の機能的構成を示すブロック図である。 実施の形態１にかかるハイブリッドイメージセンサの受光素子の構成を示す模式図である。 フィルタ係数の算出およびフィルタリング処理の概念図である。 実施の形態１のノイズ除去処理の手順を示すフローチャートである。 実施の形態１の変形例のノイズ除去処理の手順を示すフローチャートである。 実施の形態２にかかる画像処理装置の機能的構成を示すブロック図である。 実施の形態２のノイズ除去処理の手順を示すフローチャートである。 実施の形態２の変形例のノイズ除去処理の手順を示すフローチャートである。 実施の形態３にかかる画像処理装置の機能的構成を示すブロック図である。 実施の形態３のノイズ除去処理の手順を示すフローチャートである。

符号の説明

１００，６００，９００ 画像処理装置
１０１ ハイブリッドイメージセンサ
１０２ ゲイン調整部
１０３ デモザイキング処理部
１０４，９０４ フィルタ係数算出部
１０５，６０５，９０５ フィルタリング処理部
６０６ 補正部
９０５ フィルタリング処理部
９０６ 合成変換部

Claims (10)

1. 第１撮像信号を獲得する複数の第１受光素子と、前記第１受光素子の感度より高い感度で前記第１受光素子のそれぞれに関する第２撮像信号を獲得する複数の第２受光素子とを有する撮像部と、
   前記第１撮像信号から得られる低感度画像の各画素に対応する位置における、前記第２撮像信号から得られる高感度画像の対応画素と、前記低感度画像の前記各画素の周辺の周辺画素の各々に対応する前記高感度画像の対応周辺画素との画素値の差を求め、前記差が大きくなるほど前記各周辺画素のフィルタ係数は前記各画素のフィルタ係数よりも小さくなり、前記差が小さくなるほど前記各画素のフィルタ係数と前記各周辺画素のフィルタ係数との差が小さくなるように、前記低感度画像の各画素に適用するためのフィルタのフィルタ係数を算出する算出部と、
   前記低感度画像の各画素の画素値に、前記算出部で算出した前記フィルタ係数を重み付けして前記フィルタを適用したフィルタリング処理を前記低感度画像に施すフィルタリング処理部と、
   を備えたことを特徴とする画像処理装置。
2. 前記算出処理は、さらに、前記低感度画像の前記各画素と、前記低感度画像の前記周辺画素との画素値の差を求め、前記差が大きくなるほど前記各周辺画素のフィルタ係数は前記各画素のフィルタ係数よりも小さくなり、前記差が小さくなるほど前記各画素のフィルタ係数と前記各周辺画素のフィルタ係数との差が小さくなるように、前記フィルタの前記フィルタ係数を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記算出部は、前記フィルタ係数を所定回数繰り返し算出し、
   前記フィルタリング処理部は、前記所定回数にわたる前記フィルタ係数を算出するごとに、算出されたそれぞれの前記フィルタ係数を用いて、前記前記低感度画像にフィルタリング処理を施すことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記高感度画像の画素値と、前記フィルタリング処理が施された前記低感度画像の画素値との差分である残差を求め、前記残差に基づいて前記低感度画像を補正する補正部
   をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
5. 前記補正部は、前記残差の二乗誤差が最小になるように前記低感度画像を補正することを特徴とする請求項４に記載の画像処理装置。
6. 前記低感度画像を、前記高感度画像と同一の色空間の画像に色変換する色変換部をさらに備え、
   前記フィルタリング処理部は、色変換された前記低感度画像である低感度色変換画像にフィルタリング処理を施すことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
7. フィルタリング処理が施された前記低感度色変換画像と前記高感度画像とを合成して、合成した前記低感度色変換画像と前記高感度画像とを前記低感度画像の色空間の画像に変換する合成変換部
   をさらに備えたことを特徴とする請求項６に記載の画像処理装置。
8. 前記第１受光素子には、カラーフィルタが装着され、
   前記第２受光素子は、カラーフィルタが装着されておらず、白色を撮像することを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. 画像処理装置で実行される画像処理方法であって、
   第１受光素子と第２受光素子とを有する撮像部が、前記第１受光素子は前記第２受光素子の感度より低感度の第１撮像信号を出力し、前記第２受光素子は前記第１受光素子の感度より高感度の第２撮像信号を出力するステップと、
   算出部が、前記第２撮像信号に基づく高感度画像の画素値の分布に基づいて、前記第１撮像信号に基づく低感度画像における画素間の画素値の差が小さいほど大きな値となるフィルタ係数を画素ごとに算出するステップと、
   フォルタリング処理部が、前記低感度画像の各画素の画素値に前記フィルタ係数を重み付けしたフィルタリング処理を前記低感度画像に施すステップと、
   撮像部の複数の第１受光素子が第１撮像信号を獲得するステップと、
   前記撮像部の複数の第２受光素子が、前記第１受光素子の感度より高い感度で前記第１受光素子のそれぞれに関する第２撮像信号を獲得するステップと、
   算出部が、前記第１撮像信号から得られる低感度画像の各画素に対応する位置における、前記第２撮像信号から得られる高感度画像の対応画素と、前記低感度画像の前記各画素の周辺の周辺画素の各々に対応する前記高感度画像の対応周辺画素との画素値の差を求め、前記差が大きくなるほど前記各周辺画素のフィルタ係数は前記各画素のフィルタ係数よりも小さくなり、前記差が小さくなるほど前記各画素のフィルタ係数と前記各周辺画素のフィルタ係数との差が小さくなるように、前記低感度画像の各画素に適用するためのフィルタのフィルタ係数を算出するステップと、
   フィルタリング処理部が、前記低感度画像の各画素の画素値に、前記算出部が算出した前記フィルタ係数を重み付けして前記フィルタを適用したフィルタリング処理を前記低感度画像に施すステップと、
   を含むことを特徴とする画像処理方法。
10. 画像処理を実行するためのコンピュータを、
    第１撮像信号を獲得する複数の第１受光素子と、前記第１受光素子の感度より高い感度で前記第１受光素子のそれぞれに関する第２撮像信号を獲得する複数の第２受光素子とを有する撮像部と、
    前記第１撮像信号から得られる低感度画像の各画素に対応する位置における、前記第２撮像信号から得られる高感度画像の対応画素と、前記低感度画像の前記各画素の周辺の周辺画素の各々に対応する前記高感度画像の対応周辺画素との画素値の差を求め、前記差が大きくなるほど前記各周辺画素のフィルタ係数は前記各画素のフィルタ係数よりも小さくなり、前記差が小さくなるほど前記各画素のフィルタ係数と前記各周辺画素のフィルタ係数との差が小さくなるように、前記低感度画像の各画素に適用するためのフィルタのフィルタ係数を算出する算出部と、
    前記低感度画像の各画素の画素値に、前記算出部で算出した前記フィルタ係数を重み付けして前記フィルタを適用したフィルタリング処理を前記低感度画像に施すフィルタリング処理部と、
    として機能させることを特徴とする画像処理プログラム。

Images