JP2015027038A - 色情報補完装置およびそのプログラム - Google Patents

Abstract

【課題】カラーフィルタを介して撮像された撮像画像の欠落した色情報を補完する色情報補完装置を提供する。
【解決手段】色情報補完装置１は、撮像画像の水平および垂直方向の振動成分を抽出する方位別振動成分抽出手段１０と、振動成分の方位相関によって、画素ごとの方位相関の強度を算出する方位相関強度算出手段と２０、Ｇ画素の画素値を水平および垂直方向にそれぞれ平滑化して、Ｇ色に対する補完対象画素の方位別画素値を補完する方位別補完手段３０と、方位相関の強度に応じて方位別画素値を加算して補完対象画素の方位相関画素値を算出する方位相関画素値算出手段４０と、補完対象画素の画素値を方位相関画素値に置き換えてＧ色の色情報を補完するＧ画像生成手段５０と、撮像画像において、Ｇ色以外の色情報を補完するＲ画像生成手段７０およびＢ画像生成手段７０Ｂと、を備える。
【選択図】図１

Description

本発明は、カラーフィルタを介して撮像された撮像画像において、欠落している各色の色情報を補完する色情報補完装置およびそのプログラムに関する。

通常、デジタルカメラ等で利用される単板式撮像デバイスは、カラーフィルタを介して受光した光を光電変換して画像信号（撮像画像）を取得する。このとき、一般的には、図８に示すベイヤ（Ｂａｙｅｒ）配列のようなそれぞれの色（例えば、Ｒ，Ｇ，Ｂ）を画素ごとにフィルタリングするカラーフィルタＦ_Ｃが用いられる。

このベイヤ配列のカラーフィルタＦ_Ｃを介して画像を撮像した場合、画素ごとに一色の信号しか得られない。すなわち、カラーフィルタＦ_Ｃを介して撮像した画像信号は、図８に示すように、Ｇ信号については、カラーフィルタＦ_ＣのＲ，Ｂ位置に対応する画素の色情報が欠けた色信号となる。同様に、Ｒ信号については、カラーフィルタＦ_ＣのＧ，Ｂ位置に対応する画素の色情報が、Ｂ信号については、カラーフィルタＦ_ＣのＲ，Ｇ位置に対応する画素の色情報が、それぞれ欠けた色信号となる。

そのため、このような色信号をカラー画像として表示・処理するためには、欠けている色信号を補完（デモザイキング）する技術が必要となる。
この色信号を補完する技術としては、欠落した画素の色信号（画素値）を、当該画素に近接する欠落していない画素の色信号（画素値）を用いて双線形補完する技術が最も基本的である。

例えば、特許文献１には、補完対象画素の近傍画素の中央値によって、補完対象画素の画素値を求める手法が開示されている。
また、特許文献２には、補完対象画素の画素値を補完する際に、補完対象画素と同色の周辺画素の方向に対する相関度を求め、その相関度に応じた比率で、補完対象画素の画素値を求める手法が開示されている。

特開２００６−２６２１６７号公報 特開２０１０−１０４０１９号公報

特許文献１に記載された手法のように、双線形補完により補完対象画素の画素値を演算する手法では、画素間の画素値が平滑化されることで、空間周波数成分が適切に再現されず、画像にボケが発生してしまうという問題がある。さらに、特許文献１に記載された手法では、各色の中間値によって補完対象画素の画素値を求めるため、合成された色が実際の被写体に存在しない色となる偽色が発生しやすいという問題もある。

また、特許文献２に記載された手法のように、周辺画素の方向に対する相関度に応じて双線形補完を行う手法では、特定の色の相関しか参照していない。そのため、この手法は、カラー画像の色情報全体の方位相関を正確に推定することができず、高品質な画像を再現することができないという問題がある。

本発明は、このような問題に鑑み、カラーフィルタを介して撮像された撮像画像の欠落した色情報を補完する際に、色情報の方位相関を適切に求めることで、空間周波数成分の再現性を高め、知覚的に自然なカラー画像を生成することが可能な色情報補完装置およびそのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係る色情報補完装置は、カラーフィルタを用いた単板式撮像デバイスで撮像された撮像画像から、各色の欠落した色情報を補完する色情報補完装置であって、方位別振動成分抽出手段と、方位相関強度算出手段と、方位別補完手段と、方位相関画素値算出手段と、特定色補完手段と、特定色以外の色情報を対象とした複数の他色補完手段と、を備え、他色補完手段が、差分手段と、差分補完手段と、加算手段と、を備える。

かかる構成において、色情報補完装置は、方位別振動成分抽出手段によって、撮像画像の画素ごとに水平方向および垂直方向の振動成分（空間周波数成分）を抽出することで、撮像画像全体のすべての画素において、方位別の振動成分を抽出する。
そして、色情報補完装置は、方位相関強度算出手段によって、方位別振動成分抽出手段で抽出された振動成分の相関により、画素ごとの方位相関の強度を算出する。

これによって、色情報補完装置は、特定の色情報だけでなく、撮像画像に含まれている特定色以外の色情報を用いて、撮像画像の画素ごとに、水平方向、垂直方向に対して、どれだけの強度で相関しているのかを認識することができる。例えば、水平方向のみに相関があることが認識された場合、当該画素は、垂直方向の画素とは相関がなく、色情報補完装置は、色情報を補完する場合に水平方向の画素によって当該画素を補完すればよいことになる。

また、色情報補完装置は、方位別補完手段によって、撮像画像における特定色の画素の画素値を水平方向および垂直方向にそれぞれ平滑化して、方位別に当該特定色に対する補完対象画素の画素値を補完する。これによって、色情報補完装置は、補完対象画素において、水平方向だけに相関がある場合の画素値と、垂直方向だけに相関がある場合の画素値とを、それぞれ個別に求めることができる。

そして、色情報補完装置は、方位相関画素値算出手段によって、補完対象画素ごとに、方位別に補完された画素値を方位相関の強度に応じて加算して、方位相関画素値を算出する。この方位相関画素値は、水平方向だけに相関がある場合の画素値と、垂直方向だけに相関がある場合の画素値とを、方位相関の強度に応じて、すなわち、その割合に応じて加算したものであるため、方位相関に対応した振動成分（空間周波数成分）が含まれた値となる。

そして、色情報補完装置は、特定色補完手段によって、撮像画像において、特定色に対する補完対象画素の画素値を方位相関画素値に置き換える。すなわち、色情報補完装置は、撮像画像において、特定色に対する補完対象画素の画素値を、方位相関に対応した色情報によって補完する。

また、色情報補完装置は、他色補完手段によって、撮像画像から、特定色以外の色を対象として色情報を補完する。
すなわち、色情報補完装置は、他色補完手段の差分手段によって、撮像画像において、対象色の画素ごとに、当該画素の画素値と当該画素に対応する特定色の画素の方位相関画素値との差分値を算出する。これによって、差分値は、方位相関が加味された値となる。
そして、色情報補完装置は、他色補完手段の差分補完手段によって、対象色に対する補完対象画素の周辺画素の差分値から、当該補完対象画素の差分値を補完する。
さらに、色情報補完装置は、他色補完手段の加算手段によって、差分補完手段で差分値が補完された画像の画素ごとに、当該画素に対応する特定色の画素の画素値を加算する。これによって、対象色の画素値が算出されることになる。また、このように生成された対象色の画素値は、特定色の方位相関に対応したものとなる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、撮像画像全体の方位別の振動成分から、画素ごとの方位相関の強度を求め、その強度に応じて補完対象画素の画素値を求めるため、補完対象画素において、精度の高い振動成分（空間周波数成分）を再現することができる。
また、本発明によれば、空間周波数成分を精度よく再現することができるため、補完対象画素の画素値をより正確に求めることができ、各色情報を合成したときのカラー画像において、偽色の発生を抑えることができる。
そのため、本発明によれば、カラーフィルタを介して撮像した、色情報が欠落した撮像画像から、色情報を精度よく補完して、視覚的に自然なカラー画像を生成することができる。

本発明の実施形態に係る色情報補完装置の構成を示すブロック構成図である。 （ａ）は、図１の色情報補完装置の方位別振動成分抽出手段において、水平振動成分を抽出する線形フィルタの例、（ｂ）は、（ａ）と同様の線形フィルタで空間周波数スケールが異なる線形フィルタの例を示す図である。 （ａ）は、図１の色情報補完装置の方位別振動成分抽出手段において、垂直振動成分を抽出する線形フィルタの例、（ｂ）は、（ａ）と同様の線形フィルタで空間周波数スケールが異なる線形フィルタの例を示す図である。 図１の色情報補完装置の方位相関強度算出手段における演算内容を模式的に説明するための説明図である。 （ａ）は、図１の色情報補完装置の方位別補完手段において、撮像画像を水平方向に平滑化するフィルタの例、（ｂ）は、図１の色情報補完装置の方位別補完手段において、撮像画像を垂直方向に平滑化するフィルタの例を示す図である。 （ａ）は、図１の色情報補完装置のＲ画像生成手段において、Ｂ画素位置の画素を補完する例を説明するための説明図で、（ｂ）は、図１の色情報補完装置のＲ画像生成手段において、Ｇ画素位置の画素を補完する例を説明するための説明図である。 本発明の実施形態に係る色情報補完装置の動作を示すフローチャートである。 ベイヤ配列のカラーフィルタで撮像した撮像画像における各色の欠落状態を説明するための説明図である。

以下、本発明の実施形態について図面を参照して説明する。
［色情報補完装置の構成］
まず、図１を参照して、本発明の実施形態に係る色情報補完装置１の構成について説明する。
図１に示した色情報補完装置１は、カラーフィルタを用いた単板式撮像デバイスで撮像された撮像画像から、各色の欠落した色情報を補完するものである。ここでは、カラーフィルタの色配列をベイヤ（Ｂａｙｅｒ）配列とし、各色をＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色とする。すなわち、色情報補完装置１は、図８に示したカラーフィルタＦ_Ｃを介して撮像された画像（ベイヤ配列画像）を入力し、Ｇ信号（Ｇ画像）、Ｒ信号（Ｒ画像）およびＢ信号（Ｂ画像）のそれぞれにおいて欠落している色情報を補完することで、ＲＧＢ画像を生成する。

この色情報補完装置１は、方位別振動成分抽出手段１０と、方位相関強度算出手段２０と、方位別補完手段３０と、方位相関画素値算出手段４０と、Ｇ画像生成手段５０と、Ｒ画素抽出手段６０と、Ｂ画素抽出手段６０Ｂと、Ｒ画像生成手段７０と、Ｂ画像生成手段７０Ｂと、ＲＧＢ画像生成手段８０と、を備える。

方位別振動成分抽出手段１０は、入力された撮像画像であるベイヤ配列画像の画素ごとに、水平方向および垂直方向の振動成分を抽出するものである。なお、振動成分とは、明るさ（輝度）の変動であって、画像の空間周波数成分（交流〔ＡＣ〕成分）である。
ここでは、方位別振動成分抽出手段１０は、水平振動成分抽出手段１１（１１_１，１１_２）と、垂直振動成分抽出手段１２（１２_１，１２_２）と、を備える。

水平振動成分抽出手段１１は、ベイヤ配列画像の画素ごとに、水平方向の振動成分を抽出するものである。この水平振動成分抽出手段１１は、ベイヤ配列画像に、局所的な水平振動成分をとらえる線形フィルタを適用し、２次元の畳み込み処理を行うことで、水平振動成分を抽出する。ここで、局所的な線形フィルタとは、入力される撮像画像の色の配置構成で、少なくともすべての色（ベイヤ配列画像の場合、ＲＧＢ）からなる最小構成を含んだ局所領域を覆うフィルタである。

具体的には、水平振動成分抽出手段１１は、図２（ａ），（ｂ）に例示する線形フィルタ（水平振動成分抽出フィルタ）を用いて水平振動成分を抽出する。図２（ａ），（ｂ）に示すように、ここでは、水平方向に空間周波数スケール（フィルタタップ数および対応する空間周波数）の異なる２つのフィルタを用いる。このように、少なくとも２行のフィルタを用いることで、水平振動成分抽出手段１１は、ベイヤ配列画像において、ＲＧＢすべての色の配置位置を含んだ局所領域の輝度成分から水平振動成分を抽出することができる。なお、水平振動成分抽出手段１１_１が、図２（ａ）のフィルタＦ_Ｈ１を用い、水平振動成分抽出手段１１_２が、図２（ｂ）のフィルタＦ_Ｈ２を用いることとする。

そして、水平振動成分抽出手段１１_１は、水平振動成分を抽出した画像信号（水平振動成分画像Ｈ_１）を、方位相関強度算出手段２０に出力する。
また、水平振動成分抽出手段１１_２は、水平振動成分を抽出した画像信号（水平振動成分画像Ｈ_２）を、方位相関強度算出手段２０に出力する。

垂直振動成分抽出手段１２は、ベイヤ配列画像の画素ごとに、垂直方向の振動成分を抽出するものである。この垂直振動成分抽出手段１２は、水平振動成分抽出手段１１とは抽出する振動成分の方向が異なるだけで、ベイヤ配列画像に、局所的な垂直振動成分をとらえる線形フィルタを適用し、２次元の畳み込み処理を行うことで、垂直振動成分を抽出する。

具体的には、垂直振動成分抽出手段１２は、図３（ａ），（ｂ）に例示する線形フィルタ（垂直振動成分抽出フィルタ）を用いて垂直振動成分を抽出する。図３（ａ），（ｂ）に示すように、ここでは、垂直方向に空間周波数スケール（フィルタ係数の数）の異なる２つのフィルタを用いる。このように、少なくとも２列のフィルタを用いることで、垂直振動成分抽出手段１２は、ベイヤ配列画像において、ＲＧＢすべての色の配置位置を含んだ局所領域の輝度成分から垂直振動成分を抽出することができる。なお、垂直振動成分抽出手段１２_１が、図３（ａ）のフィルタＦ_Ｖ１を用い、垂直振動成分抽出手段１２_２が、図３（ｂ）のフィルタＦ_Ｖ２を用いることとする。

そして、垂直振動成分抽出手段１２_１は、垂直振動成分を抽出した画像信号（垂直振動成分画像Ｖ_１）を、方位相関強度算出手段２０に出力する。
また、垂直振動成分抽出手段１２_２は、垂直振動成分を抽出した画像信号（垂直振動成分画像Ｖ_２）を、方位相関強度算出手段２０に出力する。
なお、ここでは、方位別振動成分抽出手段１０を、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とを２つずつで構成した例を示しているが、それぞれ少なくとも１つ以上あればよい。また、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とは、同数とする。

また、方位別振動成分抽出手段１０は、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とをそれぞれ複数備える場合、それぞれの方向において、空間周波数スケールが異なるフィルタを使用することとする。これによって、方位別振動成分抽出手段１０は、複数の異なる解像度で水平および垂直の振動成分を得ることができ、後記する方位相関強度算出手段２０で振動成分の方位相関を求める際の誤差を低減させることができる。

方位相関強度算出手段２０は、方位別振動成分抽出手段１０で抽出された水平振動成分と垂直振動成分との相関によって、ベイヤ配列画像の画素ごとの局所的な方位相関の強度を算出するものである。
すなわち、方位相関強度算出手段２０は、方位相関の強度として、水平振動成分が垂直振動成分より大きければ、垂直方向に相関の度合いが高く、垂直振動成分が水平振動成分より大きければ、水平方向に相関の度合いが高いことを示すパラメータ（方位不均一性パラメータ）を算出する。

具体的には、方位相関強度算出手段２０は、水平振動成分抽出手段１１で抽出された水平振動成分画像Ｈ_ｎ（ここでは、Ｈ_１，Ｈ_２）と、垂直振動成分抽出手段１２で抽出された垂直振動成分画像Ｖ_ｎ（ここでは、Ｖ_１，Ｖ_２）とから、以下の式（１）の演算を行うことで、画素ごとに方位不均一性パラメータλを算出する。

ここで、（ｉ，ｊ）は画像のｉ行ｊ列の画素位置を示す。また、｜Ｈ_ｎ（ｉ，ｊ）｜は水平振動成分画像Ｈ_ｎの画素位置（ｉ，ｊ）の画素値の絶対値、｜Ｖ_ｎ（ｉ，ｊ）｜は垂直振動成分画像Ｖ_ｎの画素位置（ｉ，ｊ）の画素値の絶対値をそれぞれ示す。
また、ｐは方位相関の強度（方位不均一性）を強調するための“０”以上の任意の実数である。このｐは“１”または“２”程度の値を用いることが望ましいが、これらに限定されるものではない。また、Ｎは空間周波数スケールの数であって、本実施形態ではＮ＝２である。この空間周波数スケールの数は、水平振動成分抽出手段１１の数（垂直振動成分抽出手段１２の数も同数）に応じて予め定めたものである。

なお、この式（１）において、“０”による割り算の影響を避けるため、右辺の分母、または、分母および分子に、小さな定数を加算してもよい。あるいは、分母が“０”になる場合は、割り算を行わず、その演算結果を“０．５”としてもよい。
また、ノイズを軽減するために、方位相関強度算出手段２０は、前記式（１）で得られた方位不均一性パラメータλ（ｉ，ｊ）の値を画素値とする画像を空間的に平滑化してもよい。

前記式（１）によって、方位不均一性パラメータλは、水平方向の振動成分のみが抽出された場合はλ＝０、垂直方向の振動成分のみが抽出された場合はλ＝１、水平方向および垂直方向の振動成分が同等の場合はλ＝０．５の値となる。また、方位不均一性パラメータλは、水平方向の方が垂直方向の振動成分よりも小さければ０．５＜λ＜１、逆に大きければ０＜λ＜０．５の範囲の実数値となる。

この方位相関強度算出手段２０は、算出した画素ごとの方位不均一性パラメータλを、方位相関画素値算出手段４０に出力する。なお、ここでは、方位相関強度算出手段２０は、方位相関として水平方向を基準とした方位不均一性パラメータλとともに、方位相関として垂直方向を基準とした方位不均一性パラメータ（１−λ）を方位相関画素値算出手段４０に出力することとする。

ここで、図４を参照（適宜図１参照）して、方位相関強度算出手段２０が行う前記式（１）の演算内容を模式的に説明する。なお、図４で、各画像の右側のレベル表示は、各画像の画素値の値を示す。

方位相関強度算出手段２０には、水平振動成分として、水平振動成分抽出手段１１_１でフィルタＦ_Ｈ１によって抽出された水平振動成分画像Ｈ_１と、水平振動成分抽出手段１１_２でフィルタＦ_Ｈ２によって抽出された水平振動成分画像Ｈ_２とが入力される。
また、方位相関強度算出手段２０には、垂直振動成分として、垂直振動成分抽出手段１２_１でフィルタＦ_Ｖ１によって抽出された垂直振動成分画像Ｖ_１と、垂直振動成分抽出手段１２_２でフィルタＦ_Ｖ２によって抽出された垂直振動成分画像Ｖ_２とが入力される。

そして、方位相関強度算出手段２０は、水平振動成分画像Ｈ_１と、垂直振動成分画像Ｖ_１とに対して、画素ごとに｛｜Ｖ_１｜／（｜Ｈ_１｜＋｜Ｖ_１｜）｝、あるいは、｛Ｖ_１ ^２／（Ｈ_１ ^２＋Ｖ_１ ^２）｝の演算を行うことで、方位相関の強度（方位不均一性パラメータλ_１）の空間分布を示す強度分布画像Λ_１を生成する。
また、方位相関強度算出手段２０は、水平振動成分画像Ｈ_２と、垂直振動成分画像Ｖ_２とに対して、画素ごとに｛｜Ｖ_２｜／（｜Ｈ_２｜＋｜Ｖ_２｜）｝、あるいは、｛Ｖ_２ ^２／（Ｈ_２ ^２＋Ｖ_２ ^２）｝の演算を行うことで、方位相関の強度（方位不均一性パラメータλ_２）の空間分布を示す強度分布画像Λ_２を生成する。
そして、方位相関強度算出手段２０は、強度分布画像Λ_１と強度分布画像Λ_２とを、画素ごとに平均化して、平均化した方位不均一性パラメータλの空間分布を示す強度分布画像Λを生成する。

このように、方位相関強度算出手段２０は、空間周波数スケールごとに、方位不均一性パラメータ（λ_１，λ_２）を算出し、平均化することで、複数の解像度の異なる画像から方位相関を求めることができる。これによって、方位相関強度算出手段２０は、単一の空間周波数スケールのみの場合よりも誤差を軽減し、精度の高い方位相関を得ることができる。
図１に戻って、色情報補完装置１の構成について説明を続ける。

方位別補完手段３０は、入力された撮像画像であるベイヤ配列画像における特定色の画素の画素値を水平方向および垂直方向にそれぞれ平滑化して、方位別に当該特定色に対する補完対象画素の画素値を補完するものである。なお、ここで、特定色は、当該特定色に対する水平方向の補完対象画素の画素位置と、垂直方向の補完対象画素の画素位置とが一致する色とする。すなわち、ベイヤ配列画像の場合、特定色は、水平方向および垂直方向のそれぞれに１画素おきに配置されたＧ（緑）とする。
ここでは、方位別補完手段３０は、水平補完手段３１と、垂直補完手段３２とを備える。

水平補完手段３１は、ベイヤ配列画像の特定色（Ｇ）に対する補完対象画素の画素値を、水平方向に平滑化して補完するものである。すなわち、水平補完手段３１は、特定色であるＧに対して補完対象となるＲ，Ｂの画素位置におけるＧの画素値を、水平方向の他のＧの画素値から補完する。

例えば、水平補完手段３１は、ベイヤ配列画像のＲ，Ｂの画素位置において、水平方向に隣接するＧの画素値を平均化して、当該Ｒ，Ｂの画素位置におけるＧの画素値とする。
より具体的には、水平補完手段３１は、図５（ａ）に示すような、「−１、２、２、２、−１」を係数とする水平平滑化フィルタＦ_Ｈを用いて、水平方向にベイヤ配列画像を平滑化することで、Ｒ，Ｂの画素位置においてＧの画素値を補完する。なお、この場合、水平補完手段３１は、画素ごとの画素値を出力する際に画素値を１／４にすることはいうまでもない。
この水平補完手段３１は、水平方向にＧを補完した水平補完画像Ｇ_Ｈを、方位相関画素値算出手段４０に出力する。

垂直補完手段３２は、ベイヤ配列画像の特定色（Ｇ）に対する補完対象画素の画素値を、垂直方向に平滑化して補完するものである。すなわち、垂直補完手段３２は、特定色であるＧに対して補完対象となるＲ，Ｂの画素位置におけるＧの画素値を、垂直方向の他のＧの画素値から補完する。

例えば、垂直補完手段３２は、ベイヤ配列画像のＲ，Ｂの画素位置において、垂直方向に隣接するＧの画素値を平均化して、当該Ｒ，Ｂの画素位置におけるＧの画素値とする。
より具体的には、垂直補完手段３２は、図５（ｂ）に示すような、「−１、２、２、２、−１」を係数とする図５（ａ）の水平平滑化フィルタＦ_Ｈを転置した垂直平滑化フィルタＦ_Ｖを用いて、垂直方向にベイヤ配列画像を平滑化することで、Ｒ，Ｂの画素位置においてＧの画素値を補完する。なお、この場合も、垂直補完手段３２は、画素ごとの画素値を出力する際に画素値を１／４にすることはいうまでもない。
この垂直補完手段３２は、垂直方向にＧを補完した垂直補完画像Ｇ_Ｖを、方位相関画素値算出手段４０に出力する。
なお、方位別補完手段３０が用いる平滑化フィルタは、図５（ａ）（ｂ）に示した係数やフィルタ長に限定されるものではなく、一般的な平滑化フィルタを用いればよい。

方位相関画素値算出手段４０は、特定色（Ｇ）に対する補完対象画素ごとに、方位別補完手段３０で方位別に補完された画像の画素値を方位相関の強度に応じて加算して、方位に対応した方位相関画素値を算出するものである。
すなわち、方位相関画素値算出手段４０は、水平補完手段３１で補完された水平補完画像Ｇ_Ｈと、垂直補完手段３２で補完された垂直補完画像Ｇ_Ｖとに対して、方位相関強度算出手段２０で算出された方位不均一性パラメータλに応じて、Ｇに対する補完対象画素ごとに加算する。

ここで、方位別補完手段３０で補完された水平補完画像Ｇ_Ｈおよび垂直補完画像Ｇ_Ｖの画素ｉ行ｊ列の位置における画素値をＧ_Ｈ（ｉ，ｊ），Ｇ_Ｖ（ｉ，ｊ）としたとき、以下の式（２）により、方位相関の強度に対応した方位相関画素値Ｇ（ｉ，ｊ）を算出する。

この式（２）は、λ（ｉ，ｊ）と画素値Ｇ_Ｈ（ｉ，ｊ）とを乗算する乗算手段４１と、（１−λ（ｉ，ｊ））と画素値Ｇ_Ｖ（ｉ，ｊ）とを乗算する乗算手段４２と、それぞれの乗算結果を加算する加算手段４３とを用いて演算することができる。
この方位相関画素値算出手段４０は、Ｇに対する補完対象画素の画素位置と対応付けて、Ｇの画素値（方位相関画素値）を、Ｇ画像生成手段５０と、Ｒ画像生成手段７０と、Ｂ画像生成手段７０Ｂとに出力する。

Ｇ画像生成手段（特定色補完手段）５０は、入力された撮像画像であるベイヤ配列画像において、特定色（Ｇ）に対する補完対象画素の画素値を、方位相関画素値算出手段４０で算出された方位相関画素値に置き換えて特定色（Ｇ）の色情報を補完するものである。
すなわち、Ｇ画像生成手段５０は、ベイヤ配列画像のＧの画素位置における画素値については、ベイヤ配列画像の画素値をそのまま用いる。また、Ｇ画像生成手段５０は、ベイヤ配列画像のＲ，Ｂの画素位置における画素値については、方位相関画素値算出手段４０で算出されたＧの画素値を用いる。
これによって、Ｇ画像生成手段５０は、ベイヤ配列画像において、Ｇの画素位置以外の画素を、振動成分に応じた方向を考慮したＧの画素値で補完することができる。
このＧ画像生成手段５０は、生成したＧ画像をＲＧＢ画像生成手段８０に出力する。

Ｒ画素抽出手段６０は、入力された撮像画像であるベイヤ配列画像において、特定色（Ｇ）以外の画素を抽出するものである。ここでは、Ｒ画素抽出手段６０は、ベイヤ配列画像におけるＲの画素位置に対応する画素の画素値を抽出し、Ｒ画像生成手段７０に出力する。

Ｒ画像生成手段（他色補完手段）７０は、レイヤ配列画像の特定色（Ｇ）以外の色を対象として色情報を補完するものである。なお、Ｒ画像生成手段７０は、Ｒを対象色として、ベイヤ配列画像のＧ，Ｂの画素位置である補完対象画素の色情報を補完する。ここでは、Ｒ画像生成手段７０は、差分手段７１と、差分補完手段７２と、加算手段７３と、を備える。

差分手段７１は、Ｒ画素抽出手段６０で抽出された対象色（Ｒ）の画素ごとに、当該画素の画素値と当該画素に対応する特定色（Ｇ）の画素の方位相関画素値との差分値を算出するものである。
すなわち、差分手段７１は、Ｒ画素抽出手段６０で抽出されたベイヤ配列画像のＲ画素位置の画素値から、当該画素位置と同じ、方位相関画素値算出手段４０で算出（補完）されたＧの画素値を減算することで、ＲとＧとの画素値の差分値（Ｒ−Ｇ）を算出する。
この差分手段７１は、算出したＲとＧとの差分値を差分補完手段７２に出力する。

差分補完手段７２は、対象色（Ｒ）に対する補完対象画素において、すでに差分値が算出されている周辺画素の差分値から、当該補完対象画素の差分値を補完するものである。すなわち、差分補完手段７２は、ベイヤ配列画像におけるＲの画素以外のＧ，Ｂの画素位置について（Ｒ−Ｇ）の差分値を推定（算出）する。
この差分補完手段７２は、ベイヤ配列画像におけるＲ画素位置における（Ｒ−Ｇ）差分値と、Ｇ，Ｂ画素位置において補完した（Ｒ−Ｇ）差分値とを、加算手段７３に出力する。

なお、補完対象画素の差分値を、すでに算出されている周辺画素の差分値から補完する手法は、一般的な補完手法を用いればよい。
例えば、差分補完手段７２は、図６（ａ）に示すように、ベイヤ配列画像のＢ画素位置を、画素ｉ行ｊ列の位置としたとき、以下の式（３）に示すように、すでに求められているＢ画素位置の左上、左下、右上、右下の４つの（Ｒ−Ｇ）差分値Δの平均値を求めて、Ｂ画素位置（ｉ，ｊ）における差分値Δ（ｉ，ｊ）を補完する。

また、差分補完手段７２は、図６（ｂ）に示すように、ベイヤ配列画像のＧ画素位置を、画素ｉ行ｊ列の位置としたとき、以下の式（４）に示すように、すでに求められているＧ画素位置に対する上下左右の４つの（Ｒ−Ｇ）差分値Δの平均値を求めて、Ｇ画素位置（ｉ，ｊ）における差分値Δ（ｉ，ｊ）を補完する。

加算手段７３は、差分補完手段７２で差分値が補完された画像の画素ごとに、当該画素に対応するＧ画像生成手段５０で生成された特定色（Ｇ）の画像の画素の画素値を加算して、対象色（Ｒ）の画像を生成するものである。
すなわち、加算手段７３は、以下の式（５）に示すように、差分補完手段７２で生成されたベイヤ配列画像の画素ｉ行ｊ列の位置の差分値Δ（ｉ，ｊ）に、Ｇ画像生成手段５０で生成された同じ画素位置の画素値Ｇ（ｉ，ｊ）を加算することで、画素値Ｒ（ｉ，ｊ）を演算し、Ｒ画像を生成する。

この加算手段７３は、前記式（５）により、レイヤ配列画像の画素ごとに演算してＲ画素値を補完したＲ画像を、ＲＧＢ画像生成手段８０に出力する。
このように、Ｒ画像生成手段７０は、差分手段７１によって、Ｒ画素位置の画素値から、当該画素位置に対応する振動成分に応じた方向を考慮したＧ画素値を減算するため、その差分値も、振動成分の方位相関に応じた値となる。そのため、差分補完手段７２によって、Ｒ画素位置以外の画素位置で、周辺の（Ｒ−Ｇ）差分値から補完により推定された当該画素位置の（Ｒ−Ｇ）差分値も、振動成分の方位相関に応じた値となる。
そして、Ｒ画像生成手段７０は、方位相関が考慮された（Ｒ−Ｇ）差分値に、同じく方位相関が考慮されたＧ画素値を加算手段７３で加算することで、振動成分の方位相関に応じたＲ画素値で構成されるＲ画像を生成することになる。

Ｂ画素抽出手段６０ＢおよびＢ画像生成手段（他色補完手段）７０Ｂは、Ｒ画素抽出手段６０およびＲ画像生成手段７０に対して、処理対象となる対象色を、ＲからＢに換えただけで、構成および処理内容は同一であるため、説明を省略する。

ＲＧＢ画像生成手段８０は、Ｇ画像生成手段５０で生成されたＧ画像と、Ｒ画像生成手段７０で生成されたＲ画像と、Ｂ画像生成手段７０Ｂで生成されたＢ画像とを合成してＲＧＢ画像を生成するものである。
すなわち、ＲＧＢ画像生成手段８０は、Ｒ，Ｇ，Ｂの各画像の同一画素位置に対応する各画素値を、当該画素位置におけるカラー画素値としてカラー画像を生成する。なお、ＲＧＢ（カラー）画像のデータフォーマットは、一般的な画像フォーマットであればよいため、ここでは、説明を省略する。

以上説明したように色情報補完装置１を構成することで、色情報補完装置１は、方位別振動成分抽出手段１０によって、撮像画像（ベイヤ配列画像）として得られたすべての色を対象とした振動成分を抽出することができる。そのため、色情報補完装置１は、方位相関強度算出手段２０によって、すべての色成分を有効に活用して、単一の色成分から方位相関を求める場合に比べて、画像全体の方位相関を精度よく求めることができる。

また、色情報補完装置１は、方位相関強度算出手段２０によって、水平方向および垂直方向において、空間周波数スケールの異なる複数の振動成分を求めることができる。そのため、色情報補完装置１は、方位相関強度算出手段２０で撮像画像の異なる複数の解像度で方位相関を求めることができ、ノイズに強く、また、誤差の少ない精度のよい方位相関を求めることができる。

このように、色情報補完装置１は、精度の高い方位相関によって、色情報を補完するため、偽色の発生を抑えるとともに、空間周波数成分を精度よく再現することができ、知覚的に自然なカラー画像を生成することができる。
なお、色情報補完装置１は、図示を省略したコンピュータを、前記した構成の各手段として機能させるためのプログラム（色情報補完プログラム）で動作させることができる。

［色情報補完装置の動作］
次に、図７を参照（構成につおては、適宜図１参照）して、本発明の実施形態に係る色情報補完装置１の動作について説明する。

（方位相関〔方位負均一性〕の推定動作）
まず、色情報補完装置１は、撮像画像（ベイヤ配列画像）を対象として、方位別振動成分抽出手段１０によって、空間周波数スケールの異なるフィルタで、画素ごとに、水平方向および垂直方向のそれぞれについて複数の振動成分を抽出する（ステップＳ１）。

すなわち、色情報補完装置１は、水平振動成分抽出手段１１（１１_１，１１_２）によって、空間周波数スケールの異なるフィルタで、水平振動成分を抽出した画像信号（水平振動成分画像Ｈ_１，Ｈ_２）を生成する。
また、色情報補完装置１は、垂直振動成分抽出手段１２（１２_１，１２_２）によって、空間周波数スケールの異なるフィルタで、垂直振動成分を抽出した画像信号（垂直振動成分画像Ｖ_１，Ｖ_２）を生成する。

そして、色情報補完装置１は、方位相関強度算出手段２０によって、ステップＳ１で生成された、水平方向および垂直方向の画素ごとの複数の振動成分から、前記式（１）により、方位不均一性パラメータλを算出する（ステップＳ２）。
これによって、色情報補完装置１は、撮像画像全体の色情報から、画素ごとに、方位相関の強度を推定することができる。

（特定色〔Ｇ〕画素補完動作）
次に、色情報補完装置１は、方位別補完手段３０によって、撮像画像（ベイヤ配列画像）における特定色（Ｇ）の画素の画素値を水平方向および垂直方向にそれぞれ平滑化して、方位別に当該特定色に対する補完対象画素の画素値を補完する（ステップＳ３）。

すなわち、色情報補完装置１は、水平補完手段３１によって、特定色であるＧに対して補完対象となるＲ，Ｂの画素位置におけるＧの画素値を、水平方向の他のＧの画素値から平滑化して補完することで、水平補完画像Ｇ_Ｈを生成する。
また、色情報補完装置１は、垂直補完手段３２によって、特定色であるＧに対して補完対象となるＲ，Ｂの画素位置におけるＧの画素値を、垂直方向の他のＧの画素値から平滑化して補完することで、垂直補完画像Ｇ_Ｖを生成する。
これによって、色情報補完装置１は、Ｇに対する補完対象画素ごとに、Ｇ画素の最も水平方向に相関が強い場合の画素値と、最も垂直方向に相関が強い場合の画素値とを求めることができる。

そして、色情報補完装置１は、方位相関画素値算出手段４０によって、ステップＳ３で生成された水平補完画像Ｇ_Ｈと、垂直補完画像Ｇ_Ｖとにおいて、補完対象画素ごとに、前記式（２）により、ステップＳ２で算出された方位相関の強度（方位不均一性パラメータλ）に応じて画素値を加算して、方位相関画素値を算出する（ステップＳ４）。

そして、色情報補完装置１は、Ｇ画像生成手段５０によって、撮像画像（ベイヤ配列画像）において、Ｇに対する補完対象画素の画素値を、ステップＳ４で算出された方位相関画素値に置き換えることでＧ画像を生成する（ステップＳ５）。

これによって、色情報補完装置１は、ベイヤ配列のＧ画素位置における画素については、ベイヤ配列画像として撮像されたＧ画素の画素値を用い、Ｇに対する補完対象画素については、方位相関の強度によって求められたＧの画素値を用いることで、空間周波数成分を精度よく再現したＧ画像を生成することができる。

（対象色〔Ｒ，Ｂ〕画素補完動作）
次に、色情報補完装置１は、以下の動作によって、撮像画像から、Ｒ，Ｂを対象色として、Ｒ画像およびＢ画像を生成する。なお、Ｒ画素とＢ画素の補完動作は、対象色が異なるだけで、同一処理であるため、以降の説明では、Ｒ画素の補完動作を主に説明し、Ｂ画素に対応する内容については適宜括弧内に対応する色や手段を併記することとする。

まず、色情報補完装置１は、Ｒ画素抽出手段６０（Ｂ画素抽出手段６０Ｂ）によって、撮像画像（ベイヤ配列画像）において、Ｒ（Ｂ）の画素位置に対応する画素の画素値を抽出する（ステップＳ６）。

そして、色情報補完装置１は、Ｒ画像生成手段７０（Ｂ画像生成手段７０Ｂ）の差分手段７１によって、ステップＳ６で抽出されたＲ（Ｂ）の画素ごとに、当該画素の画素値と、ステップＳ４で算出された当該画素に対応するＧの画素の方位相関画素値との差分値を算出する（ステップＳ７）。

そして、色情報補完装置１は、Ｒ画像生成手段７０（Ｂ画像生成手段７０Ｂ）の差分補完手段７２によって、Ｒ（Ｂ）に対する補完対象画素において、すでに差分値が算出されている同色の周辺画素の差分値から、前記式（３）の例で示したように、当該補完対象画素の差分値を補完する（ステップＳ８）。

さらに、色情報補完装置１は、Ｒ画像生成手段７０（Ｂ画像生成手段７０Ｂ）の加算手段７３によって、ステップＳ８で差分値が補完された画像の画素ごとに、当該画素に対応するステップＳ５で生成されたＧ画像の画素の画素値を加算して、Ｒ（Ｂ）画像を生成する（ステップＳ９）。
これによって、色情報補完装置１は、方位相関の強度に応じたＧ画素の画素値を利用して、Ｒ（Ｂ）画像を生成することで、空間周波数成分を精度よく再現したＲ（Ｂ）画像を生成することができる。

（ＲＢＧ画像生成動作）
そして、色情報補完装置１は、ＲＧＢ画像生成手段８０によって、ステップＳ５で生成されたＧ画像と、ステップＳ９で生成されたＲ画像およびＢ画像とを合成してＲＧＢ画像を生成する（ステップＳ１０）。

以上の動作によって、色情報補完装置１は、撮像画像の各画素位置において、欠落している色情報を精度よく補完することができる。
このように、色情報補完装置１は、撮像画像で得られている全色を対象として方位相関を求めるため、精度の高い方位相関を求めることができる。そして、色情報補完装置１は、方位相関により空間周波数成分を精度よく再現したＲ，Ｇ，Ｂ画像からＲＧＢ画像を生成することで、偽色の少ない自然なカラー画像を生成することができる。

以上、本発明の実施形態に係る色情報補完装置１の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、ベイヤ配列画像を対象に色情報を補完したが、対象とする画像は、特定色が、水平ラインおよび垂直ラインのすべてに周期的に配置された画像であればよい。
また、ここでは、ＲＧＢの３原色の色配列を有するカラーフィルタで撮像された撮像画像を例に説明したが、カラーフィルタはこの３原色に限定されるものではなく、他の３色であっても構わない。

また、ここでは、水平振動成分抽出手段１１を複数（１１_１，１１_２）備え、パラレルに動作させることとしたが、１つの水平振動成分抽出手段１１によって、ベイヤ配列画像単位で、順次シリアルに異なる空間周波数スケールを使用して振動成分を抽出することとしてもよい。また、垂直振動成分抽出手段１２についても同様である。
なお、高速処理を実現するには、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とをそれぞれ複数備えて、パラレル動作させることが好ましい。

１ 色情報補完装置
１０ 方位別振動成分抽出手段
１１ 水平振動成分抽出手段
１２ 垂直振動成分抽出手段
２０ 方位相関強度算出手段
３０ 方位別補完手段
３１ 水平補完手段
３２ 垂直補完手段
４０ 方位相関画素値算出手段
５０ Ｇ画像生成手段（特定色補完手段）
６０ Ｒ画素抽出手段
６０Ｂ Ｂ画素抽出手段
７０ Ｒ画像生成手段（他色補完手段）
７０Ｂ Ｂ画像生成手段（他色補完手段）
７１ 差分手段
７２ 差分補完手段
７３ 加算手段
８０ ＲＧＢ画像生成手段

Claims (5)

1. カラーフィルタを用いた単板式撮像デバイスで撮像された撮像画像から、各色の欠落した色情報を補完する色情報補完装置であって、
   前記撮像画像の画素ごとに水平方向および垂直方向の振動成分を抽出する方位別振動成分抽出手段と、
   この方位別振動成分抽出手段で抽出された振動成分の相関によって、画素ごとの方位相関の強度を算出する方位相関強度算出手段と、
   前記撮像画像における特定色の画素の画素値を水平方向および垂直方向にそれぞれ平滑化して、方位別に当該特定色に対する補完対象画素の画素値を補完する方位別補完手段と、
   前記補完対象画素ごとに、前記方位別に補完された画素値を前記方位相関の強度に応じて加算して、方位相関画素値を算出する方位相関画素値算出手段と、
   前記撮像画像において、前記特定色に対する補完対象画素の画素値を前記方位相関画素値に置き換えて前記特定色の色情報を補完する特定色補完手段と、
   前記撮像画像から、前記特定色以外の色を対象として色情報を補完する対象色ごとの他色補完手段と、を備え、
   前記他色補完手段は、
   前記撮像画像において、前記対象色の画素ごとに、当該画素の画素値と当該画素に対応する前記特定色の画素の方位相関画素値との差分値を算出する差分手段と、
   前記対象色に対する補完対象画素の周辺画素の前記差分値から、当該補完対象画素の差分値を補完する差分補完手段と、
   この差分補完手段で差分値が補完された画像の画素ごとに、当該画素に対応する前記特定色の画素の画素値を加算して、前記対象色の画像を生成する加算手段と、
   を備えることを特徴とする色情報補完装置。
2. 前記方位別振動成分抽出手段は、
   前記撮像画像に対して、線形フィルタを用いて水平方向に畳み込み処理することで、水平方向の振動成分を抽出する水平振動成分抽出手段と、
   前記撮像画像に対して、線形フィルタを用いて垂直方向に畳み込み処理することで、垂直方向の振動成分を抽出する垂直振動成分抽出手段と、
   を備えることを特徴とする請求項１に記載の色情報補完装置。
3. 前記水平方向に畳み込み処理するための空間周波数スケールが異なる線形フィルタごとに、前記水平振動成分抽出手段を複数備え、
   前記垂直方向に畳み込み処理するための空間周波数スケールが異なる線形フィルタごとに、前記垂直振動成分抽出手段を前記水平振動成分抽出手段と同数備えることを特徴とする請求項２に記載の色情報補完装置。
4. 前記撮像画像は、３原色のベイヤ配列のカラーフィルタを用いて撮像された画像であって、前記特定色は緑色、前記対象色は赤色および青色であることを特徴とする請求項１から請求項３のいずれか一項に記載の色情報補完装置。
5. コンピュータを、請求項１から請求項４のいずれか一項に記載の色情報補完装置として機能させるための色情報補完プログラム。