JP2017175500A - カラー画像撮像方法、カラー画像補間処理方法および撮像装置 - Google Patents

Abstract

【課題】 カラー画像撮像方法、カラー画像補間処理方法および撮像装置を提供すること。【解決手段】本発明は、単一の撮像素子の各受光セル上に、可視光全通過である白色フィルタや３原色の各色に対応した色フィルタを配置する際に、白色または緑色を低欠損色（最もとし、当該色のフィルタを全体の４分の３以上のセルに配置し、低欠損色以外の色のフィルタを、全セルの４分の１以下の割合で、所定間隔に配置するカラー画像撮像方法を提供する。また、本発明は、上記カラー画像撮像方法のためのカラー画像補間処理方法および装置に関する。最も濃度の高いハッチングがＢ、それに次いで濃度の高いハッチングがＲ、最も濃度の低いハッチングが白色または緑である。【選択図】図２

Description

本発明は、カラー画像撮像方法、カラー画像補間処理方法および撮像装置に関する。

＜カラー画像システム＞
動画像に限らずカラー画像信号は、Ｒ(Red, 赤),Ｇ(Green, 緑),Ｂ(Blue, 青)の３原色により形成され、撮像や表示はこの形態で行われている。一方、伝送や記録のための形態は、輝度とふたつの色差により形成されるコンポーネントカラー信号が使われる。これらは３原色から所定の変換により得られ、さらに色差がサブサンプリングされる場合が多い。具体的には、サブサンプリングされない４：４：４、水平方向に２分の１にサブサンプリングされた４：２：２、水平と垂直の両方で２分の１にサブンサンプリングされた４：２：０がある。各動画像カラーフォーマットは、規格で詳細に定義されており、放送などで広く使われている。

＜カラー撮像＞
カラー画像撮像では、Ｒ,Ｇ,Ｂそれぞれのセンサを持つ３板方式と、一枚のセンサでセル(画素)ごとにＲ,Ｇ,Ｂを振り分ける単版方式がある。３板方式は、近年特殊な存在になりつつあり、スチルカメラでは存在せず、動画像でも３８６０×２１６０画素の４Ｋ画像カメラでは、ほぼすべてが単版になっている。

単版の場合、Ｒ,Ｇ,Ｂの各色フィルタを受光セル(画素)に配置するが、３種類のフィルタがなるべく同等で均一になるようにする。しかし、２次元的に３等分することは容易でないので、図１（ａ）に示されるようなBayer配列と呼ばれるものが一般的で、Ｇに半分を、ＲとＢにそれぞれ４分の１を割り振る。なお、図１、図２、図３においては、最も濃度の高いハッチングがＢ、それに次いで濃度の高いハッチングがＲ、それに次いで濃度の高いハッチングがＧ、ハッチング無しがＷの各色に対応する。図１において、Ｇの割合を他より多くするのは、Ｇの輝度成分に占める割合が最も高く、輝度信号の解像度を落とさないようにするためである。

これと異なるものでは、図１（ｂ）に示されるX-Trans方式が知られており、Ｇに９分の５を、ＲとＢに９分の２を割り振る。この配置は、周期を大きくして一様性をわざと崩すことで、解像度は必ずしも良くないが、短周期で起こりやすいモワレ等の発生を抑えるものである。

また、Ｒ,Ｇ,Ｂのみでなく、Ｗ(White,白色)を用いたものも提案されている。その配置を図１（ｃ）に示すが、ＲとＢはBayer配列と同じで、Ｇの半分がＷに換えられている。Ｗフィルタは赤外及び紫外のみを除去した可視光の全通過フィルタで、光エネルギーを有効に使えるので、暗電流ノイズが軽減される。しかし、解像度的な利点は特にない。

＜カラー画像補間処理(デモザイキング)＞
単板カラー撮像で、センサから得られる画像(RAW画像)の各色は、セル(画素)が間引かれた状態になっているので、欠損画素を補間して全画素が揃った色プレーンを得る必要がある。この欠損色補完処理は、デモザイキングと呼ばれている。
基本的な処理としては、各色プレーンにおいて、その間引き構造に対応した２次元補間フィルタにより行う。Bayer配列の場合、ＧとＲ・Ｂで間引き構造が異なるので、補間フィルタは別のものとなる。この場合に、得られる解像度は間引き構造に応じたもので、２次元的にＧで半分、Ｒ,Ｂで４分の１となる。

改良された手法では、画像の局所形状に応じて適応的に補間を切り替えるものがある。適応処理がうまく機能すると解像度は改善するが、誤補間となる可能性がある。また、Ｒ,Ｇ,Ｂ各色間の相関を利用した方法もあり、色間の相関が高い、即ち彩度が低い画像において有効であるが、高彩度部分で誤補間となる危険性がある。さらに、超解像を応用したものも検討されている。

これまで、カラー・フィルタアレイで得られた画像を補間する技術が検討されてきており、例えば、特開２０１１−２５４３７６号公報（特許文献１）では、カラー・フィルタアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得る技術が記載されている。しかしながら、特許文献１の技術に関わらず、単一のセンサを使用して取得されるカラー画像の品質改善が、さらに望まれていた。

特開２０１１−２５４３７６号公報

本発明は、単一のイメージセンサを使用して取得したカラー画像の高画質化を目的とする。

本発明は、単一の撮像素子の各受光セル上に、可視光全通過である白色フィルタや、３原色の各色に対応した色フィルタを配置する際に、白色または緑色フィルタを全体の４分の３以上のセルに配置し、それ以外の色のフィルタを、全セルの４分の１以下の割合で、所定間隔に配置する単板カラー画像撮像方法および装置である。

また、本発明は、単一の撮像素子で撮像された白色や３原色の各色プレーンに対して欠損画素の補間処理を行い、全画素が揃った完成色プレーンを得る際に、欠損画素が最も少ない色はその色プレーン内で補間処理を行い、完成色プレーンを得、それ以外の色に対しては、その完成済み色プレーンを使って補間処理を行い、完成色プレーンを得るカラー画像補間処理方法および装置である。

本発明は、白色または緑色フィルタを全体の４分の３以上のセルに配置し、それ以外の色のフィルタを、全セルの４分の１以下の割合で、所定間隔に配置することで、白色または緑色については欠損画素が少ないので、誤補間の危険が少なく高い解像度の完成色プレーンを得ることができる。

また、欠損画素が最も少ない色はその色プレーン内で補間処理を行い完成色プレーンを得、それ以外の色に対しては、その完成済み色プレーンを使って補間処理を行うことで、色相間が高い輝度成分に関しては、欠損画素が最も少ない色と同等な解像度が得られる。

さらに、これらにより得られたＲ,Ｇ,Ｂ色プレーンから輝度信号と色差信号を形成した場合、輝度信号は、解像度が高く、間引きに起因するムラ少ない画像がとなる。色差成分の解像度は低下するが、むしろ視覚特性や動画像符号化処理に適合する。欠損画素が最も少ない色に白色を用いた場合は、より多くの光エネルギーを受けられるので、暗電流ノイズが軽減される。

これらにより、輝度画素のムラやノイズが減少しているので、動き推定において誤検出が少なくなり、フレーム補間処理などを行った場合にも、結果画像の画質が改善される。動き補償画像間予測の予測残差も軽減され、動き推定の改善と共に高い符号化効率が得られる。

従来例の単板カラー撮像でのカラー・フィルタ配置を示す図である。 第１の実施例単板カラー撮像でのカラー・フィルタ配置を示す図である。 第２の実施例単板カラー撮像でのカラー・フィルタ配置を示す図である。 第１の実施例カラー画像補間処理の機能ブロックを示す図である。 実施例の欠損画素を示す図である。 実施例のＧ補間処理の例を示す図である。 実施例のＲ(Ｂ)補間処理の例を示す図である。 第２の実施例カラー画像補間処理の機能ブロックを示す図である。 第３の実施例カラー画像補間処理の機能ブロックを示す図である。

以下、本発明を、実施形態を以て説明するが、本発明は後述する実施形態に限定されるものではない。

＜第１の実施例単板カラー画像撮像＞
本発明の第１の実施例単板カラー画像撮像方法について説明する。図２に本実施例の色フィルタ配置を示す。なお、本発明の特徴は色フィルタ配置であり、撮像センサにおける他の機能(光学系、セル構造、データ転送方法など)は、通常の単板カラー画像撮像方法と共通である。なお、なお、図２、図３におけるハッチング濃度と、ＲＧＢの関係は、次の通りである。最も濃度の高いハッチングはＢ、それに次いで濃度の高いハッチングはＲ、最も濃度の低いハッチングはＧまたはＷ、である。

図２（ａ）において、Ｒフィルタのセルは全体の８分の１、Ｇフィルタのセルは全体の４分の３、Ｂフィルタのセルは全体の８分の１となっている。また、ＲとＢは垂直と水平の両方で、１画素飛ばしで配置され、残りのすべてはＧとなっている。これは、均等割り付けとは逆の考えで、Ｒ,Ｇ,Ｂのバランスをあえて崩すものである。

このようにするのは、Ｇの欠損率を大幅に減らして、欠損画素の周りすべての画素が存在するようにし、補間処理により欠損なしの場合と大差ない色プレーンを得るためである。Ｒ,Ｂについては、欠損率が増加し、各色プレーン内だけで補間した場合、解像度は大幅に低下するが、Ｇとの相関を利用することにより輝度成分についてはＧの解像度に近づけることができる。

図２（ｂ）は、ＲとＢを垂直と水平の両方で、２画素飛ばしで配置した場合で、Ｒが１８分の１、Ｇが９分の８、Ｂが１８分の１となっている。これは、Ｒ・Ｇ・Ｂのバランスをより大きく変えたものである。図２（ｃ）は、Ｇについては図２（ａ）と同じで、ＲとＢのバランスを変えたもので、４画素のうち３画素をＲに、１画素のみをＢとしている。この場合、Ｒが１６分の３、Ｇが４分の３、Ｂが１６分の１となっている。

＜第２の実施例単板カラー画像撮像＞
本発明の第２の実施例単板カラー画像撮像装置について説明する。図３に本実施例の色フィルタ配置を示す。この実施例は、３原色のみでなく可視光全通過である白色(Ｗ)を使うものである。白色のカラー・フィルタでは、赤外光と紫外光のみを阻止するもので、フィルタ無しとは異なる。また原理的には、Ｗ＝Ｒ＋Ｇ＋Ｂであるが、現実にはＲフィルタ、Ｇフィルタ、Ｂフィルタのスペクトル通過特性の合成とは若干異なる。基本的な配置を図３（ａ）に示すが、これは図２（ａ）のＧをＷに置き換えたものである。Ｗは、可視光内でスペクトルの制限が無いので、受光エネルギーが多く、セル内のホトダイオードで生じる電流も多くなり、画素値は暗電流ノイズの影響を受け難くなる。

＜第３の実施例単板カラー画像撮像＞
第２実施例の場合、ＷとＲ＋Ｇ＋Ｂの違いが顕著であると色の誤差を生じる。より正しい色を表すためには、Ｇも配置することも望ましく、その様子を図３（ｂ）に示す。この場合、Ｗが４分の３、Ｒが１６分の１、Ｇが８分の１、Ｂが１６分の１となる。その際、ＷとＧの相関は高いので、Ｒの方のサンプル数を増やしたのが図３（ｃ）で、Ｒが８分の１、Ｇが１６分の１となる。第２実施例と比較した場合、Ｗ以外の各色フィルタの配置数はより少なくなるので、色差解像度的には不利になる。

＜第１の実施例カラー画像補間処理＞
本発明の第１の実施例カラー画像補間処理について説明する。図４は、本実施例の構成を示したものである。本実施例において撮像(RAW)画像は、第１の実施例の単板カラー画像撮像で得られたもので、各セル１画素でフィルタ配置のままの各色の画素値である。また、ガンマ補正はかけられていないリニア(線形)値で、１画素１４bit〜１６bitのデータである。

撮像(RAW)画像は、一旦(RAW)画像メモリ３に格納された後、各色プレーンに振り分けられる。この段階では、他色フィルタである画素は欠損画素として、データ無しとなっている。なお、図４中、Ｇ面内補間器４が、本実施形態における白色または緑色を低欠損色とし、当該色のフィルタを全体の４分の３以上のセルに配置する手段に相当する。この画像の様子を図５に示す。なお、図５では、薄い色のハッチングが当該色の既存画素、黒のハッチングが欠損画素である。なお、Ｇ，Ｂの実施形態では、画素を明りょうに示すため、画素を白線で区切って示している。Ｒの欠損有り色プレーンが欠損Ｒメモリ３に、Ｇの欠損有り色プレーンがＧ面内補間器４に、Ｂの欠損有り色プレーンが欠損Ｂメモリ５に保管される。色プレーンの補間処理は、低欠損となっているＧプレーンが先行して行われる。

Ｇプレーンにおける欠損画素の補間は、Ｇ画素値のみを使って行われるプレーン内処理で、Ｇ面内補間器４で行われる。補間方法は、基本的なものから、固定フィルタ、適応フィルタ、フレーム内超解像処理などがある。固定フィルタは、図６（ａ）に図示された周辺全画素を使うものやリサンプリングで用いる高次フィルタが有り得る。適応フィルタは、全方向に既存画素が存在するので、方向適応補間で有効である。図６（ｂ）に示された縦横斜め２方向の４方向型、また逆方向(上向きに対して下向きなど)を別扱いとする８方向型などが考えられる。

フレーム内超解像処理は、このような低欠損画素への適用は一般的でないが、バイキュービックなどによる仮補間画像を修正する処理形態の場合、補間画像は共通なので適用は容易である。動画像の場合は、フレーム間超解像処理も適用可能である。これも、周辺８画素が存在するので、有利である。この様にして得られた完成Ｇプレーンは完成Ｇメモリ７に保管される。

ＲプレーンとＢプレーンの補間は、完成Ｇメモリ７に格納されている完成Ｇプレーンを使って行う。この処理は、既存画素値に合う様に完成Ｇプレーンの画素値変化を相似写像する。より具体的には、Ｒ既存画素と、それと同位置の(補間された)Ｇ画素を用いて、ＲプレーンとＧプレーンそれぞれでバイリニア(線形)補間処理を行う。Ｇプレーンにおいてバイリニア補間値に対する完成プレーン画素値の比を求め、その比をＲプレーンのバイリニア補間値に乗じ、Ｒの補間プレーンを得る。式で表すと次のようになる。

ただし、Ｒ_ｐ,Ｇ_ｐは、Ｒ,Ｇの完成画素値、Ｒ_１,Ｇ_１は、Ｒ,Ｇのバイニリア補間画素値である。この様子を１次元(xまたはy)で図７に示すが、図で実線と丸は既存画素値、点線と丸は補間画素値、点線とダイアは線形補間値である。なお、当該処理を実行するのは、図４の実施形態では、ＲおよびＢ補正値形成器１０、１１、変化相似補間器６、８であり、これらを各色に対応させて、本実施形態における前記低欠損色以外の色のフィルタを、全セルの４分の１以下の割合で、所定間隔に配置する手段に相当する。

図４においては、Ｒ補正値形成器１０でＲ用の補正値を、Ｂ補正値形成器１１でＢ用の補正値を、完成Ｇプレーンから得る。この処理は基本的にＲとＢで同じであるが、既存画素の位置がＲとＢで異なるので、別の処理となる。これを受け、変化相似補間器６、８は、ＲやＢのバイリニア補間値を補正して補間値とし、完成Ｒメモリ９、完成Ｂメモリ１２へ与える。そして、完成ＲプレーンはＲ面出力より、完成ＢプレーンはＢ面出力より出力される。

ここで、バイリニア補間値は、各色の低周波成分として概ね色差成分を表し、バイリニア補間と完成値の比は輝度の高周波数成分を表す。補間値を補正することで、両者の合成となり最終的な画素値を得る。その結果、色差の高い周波数成分は表せないが、輝度成分は忠実にＲやＢに反映され、このＲＧＢから形成される輝度信号は、ほぼ全画素相当の解像度を持つ。一方、色差信号は高い周波数成分が無くなるが、動画像符号化ではサブサンプリングされた色差信号を扱うので問題は少なく、全体として符号化処理に適合した画像となる。

リアルタイム処理では、Ｇプレーン全体が完成するまでＲ,Ｂプレーンの処理を待つ必要は無く、完成したラインはすでに使うことができるので、数ラインの遅れでＲ,Ｂプレーンを平行して形成できる。また、バイリニアをバイキュービック等に変更しても良い。

＜第２の実施例カラー画像補間処理＞
本発明の第２の実施例カラー画像補間処理について説明する。図８は、本実施例の構成を示したものである。本実施例において撮像画像(ＲＡＷ)画像は、Ｗ,Ｒ,Ｂのカラー・フィルタが配置された第２の実施例の単板カラー画像撮像で得られたものとする。図４と比較して、図８にはＧ面内補間器４の代わりにＷ面内補間器２１が、完成Ｇメモリ７の代わりに完成Ｗメモリ２２がある。また、固定乗算器２３，２５と加算器２４がある。

Ｗ,Ｒ,Ｂの形成は基本的に第１の実施例と同じで、第１の実施例でのＧに対する処理をＷに対して行う。Ｒ,Ｂの補間処理は、完成Ｇプレーンの代わりに完成Ｗプレーンを用いて行う。

出力がＷ,Ｒ,Ｂで良い場合の処理はこれで終了であるが、Ｒ,Ｇ,Ｂを得たい場合は、Ｗ,Ｒ,ＢからＧを得る。Ｇの形成演算は、Ｗ＝Ｒ＋Ｇ＋Ｂならば、Ｗ−Ｒ−Ｂの演算処理となり、固定乗算器２３、２５で乗ずる値は、共に−１.０となる。実際にはＷ≠Ｒ＋Ｇ＋Ｂであるので、補正するため乗算値は若干変えられる。これは、各カラー・フィルタのスペクトル通過特性によりＷとＲ,Ｇ,Ｂの関係式により決められる。

＜第３の実施例カラー画像補間処理＞
本発明の第３の実施例カラー画像補間処理について説明する。図９は、本実施例の構成を示したものである。本実施例において撮像画像(ＲＡＷ)画像は、Ｗ,Ｒ,Ｇ,Ｂのカラー・フィルタが配置された第３の実施例の単板カラー画像撮像で得られたものとする。図４と比較して、Ｇ面内補間器４の代わりにＷ面内補間器２１があり、完成Ｗメモリ２２、欠損Ｇメモリ、変化相似補間器３２、Ｇ補正値形成器が追加されている。

Ｗ,Ｒ,Ｂの形成は第２の実施例カラー画像補間処理と同じである。本実施例では、さらに欠損Ｇプレーンが欠損Ｇメモリに格納される。そして、完成Ｗメモリに格納されている完成Ｗプレーンを用いてＧ補正値形成器３３と変化相似補間器３２により、Ｒ,Ｂプレーンと同様の処理で補間される。得られた空完成Ｇプレーンは完成Ｇメモリに格納さえ、Ｇ面出力より出力される。

本実施例の場合、完成Ｒ,Ｇ,Ｂプレーンは、それぞれのカラー・フィルタで得た既存画素に対応した値となる。また、ＷはＲ,Ｇ,Ｂ形成のために使われ、それ自体は出力されない。ただし、ＷとＧの相関は特に高いので、結果的にＧはＷに近いものになる。

本発明は、単板カラー撮像素子の電子式カメラ、すなわち、ほぼすべてのカメラに応用できる。特に、撮影した映像を動き補償画像間予測符号化する現在主流の映像システムに適し、応用範囲はきわめて広い。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１…ＲＡＷ画像入力、２…ＲＡＷ画像メモリ、３…欠損Ｒメモリ、４…Ｇ面内補間器、５…欠損Ｂメモリ、６、８、３２…変化相似補間器、７…完成Ｇメモリ、９…完成Ｒメモリ、１０…Ｒ補正値形成器、１１…Ｂ補正値形成器、１２…完成Ｂメモリ、１３…Ｒ面出力、１４…Ｇ面出力、１５…Ｂ面出力、２１…Ｗ面内補間器、２２…完成Ｗメモリ、２３，２５…固定乗算器、２４…加算器、３１…欠損Ｇメモリ、３３…Ｇ補正値形成器

Claims (4)

1. 単一の撮像素子の各受光セル上に、可視光全通過である白色フィルタや３原色の各色に対応した色フィルタを配置する際に、
   白色または緑色を低欠損色とし、当該色のフィルタを全体の４分の３以上のセルに配置し、
   前記低欠損色以外の色のフィルタを、全セルの４分の１以下の割合で、所定間隔に配置することを特徴とするカラー画像撮像方法。
2. 単一の撮像素子で撮像された白色や３原色の各色が配置され撮像された画像に対して、各色で欠損画素の補間処理を行い、全画素が揃った完成色プレーンを得る際に、
   前記欠損画素が最も少ない低欠損色において、当該色プレーン内で補間処理を行い、完成低欠損色プレーンを得て、
   前記低欠損色以外の色に対しては、前記完成低欠損色プレーンを使いて補間処理を行い、前記低欠損色以外の完成色プレーンを得ることを特徴とするカラー画像補間処理方法。
3. 単一の撮像素子の各受光セル上に、可視光全通過である白色フィルタや３原色の各色に対応した色フィルタを配置する際に、
   白色または緑色を低欠損色とし、全体の４分の３以上が前記低欠損色に相当するフィルタ手段と、
   前記低欠損色以外の色のフィルタを、全セルの４分の１以下の割合で、所定間隔に配置する手段と
   を備えることを特徴とするカラー画像撮像装置。
4. 単一の撮像素子で撮像された白色や３原色の各色が配置され撮像された画像に対して、各色で欠損画素の補間処理を行い、全画素が揃った完成色プレーンを得る際に、
   前記欠損画素が最も少ない低欠損色において、当該色プレーン内で補間処理を行い、完成低欠損色プレーンを得る手段と、
   前記低欠損色以外の色に対しては、前記完成低欠損色プレーンを使いて補間処理を行い、前記低欠損色以外の完成色プレーンを得る手段
   を備えることを特徴とするカラー画像補間処理装置。