JP2007288395A - 撮像装置 - Google Patents

Abstract

【課題】ホワイト画素の信号成分を指標としてカラー画素の位相に補間することで、カラー画像をホワイト画素と同等レベルまでノイズ抑圧することを可能とする。
【解決手段】複数色の有彩色画素と、有彩色画素に比べ入射光に対する感度の高い高感度画素が互いに市松状に配置されたセル配列を持つセンサと、センサの画素出力を有彩色画素または高感度画素に正規化するホワイトバランスブロック１１と、有彩色画素が存在する位相に補間により足りない他色を補間する画素補間ブロック１３とを搭載した撮像装置１であって、ホワイトバランスブロック１１と画素補間ブロック１３との間に、高感度画素の信号成分を指標として有彩色画素の位相に補間して有彩色画素のノイズ抑圧するノイズリダクションブロック２１を備えたことを特徴とする。
【選択図】図１

Description

本発明は、輝度情報を含む画素が配置された撮像装置に関する。

従来のＲＧＢ原色ベイヤ配列に代表されるイメージセンサ（例えば、特許文献１参照。）においては、信号レベルが小振幅となった際に、暗電流等のノイズの影響が画質に顕著に現れる。このため、ノイズリダクション処理が必須となってくるが、色フィルターによる信号量減少は避けられないため、その効果も限定的であった。

そこで、ホワイト（Ｗ）画素が配置され、かつ正方に対して４５°傾いた配列を持つイメージセンサにおけるノイズリダクション方法が必要であった。

また、従来用いられてきた、原色ベイヤ配列、補色市松配列等のＷ（White）画素を含まない画素配列等では、撮影部位に色が着いている(有彩色)か、無い（無彩色）かによって、同一輝度の被写体であっても、輪郭の判定に用いることができる画素が変化した。多くの場合は視感度特性の主要部分を占める「緑」の成分を含む画素を基準としてエッジ検出、相関検出等の処理を行う信号処理が考案されている。しかし、被写体が緑信号成分を含まないか、成分比率が低い場合は性能が著しく低下するか、信号処理自体の破綻を招く問題がある。

一方、Ｗ画素を含む画素配列では、Ｗ画素の成分比率が色画素と同じ(色分解した個別の色に対しては２〜４倍）と多く、検出信号中のノイズ成分も低いため、エッジ検出、相関検出等には好適であるが、その反面、色を判別できる画素数が少ないため、色再現が難しいという問題が存在した。

特開２００１−２１８０７３号公報

解決しようとする問題点は、色フィルターによる信号量減少は避けられないため、とりわけ信号レベルが小振幅となった際に、暗電流等のノイズの影響が画質に顕著に現れる点である。検出信号中のノイズ成分が低いＷ画素を含む画素配列では、ノイズの影響を受け難くなる反面、色を判別できる画素数が少ないため、色再現が難しいという点である。

本発明は、ホワイト画素の信号成分を指標としてカラー画素の位相に補間することで、カラー画像をホワイト画素と同等レベルまでノイズ抑圧することを課題とする。

本発明は、複数色の有彩色画素と、前記有彩色画素に比べ入射光に対する感度の高い高感度画素が互いに市松状に配置されたセル配列を持つセンサと、前記センサの画素出力を有彩色画素または高感度画素に正規化するホワイトバランスブロックと、有彩色画素が存在する位相に補間により足りない他色を補間する画素補間ブロックとを搭載した撮像装置であって、前記ホワイトバランスブロックと前記画素補間ブロックとの間に、前記高感度画素の信号成分を指標として前記有彩色画素の位相に補間して前記有彩色画素のノイズ抑圧するノイズリダクションブロックを備えたことを特徴とする。

本発明では、ホワイトバランスブロックと画素補間ブロックとの間に、高感度画素の信号成分を指標として有彩色画素の位相に補間して有彩色画素のノイズ抑圧するノイズリダクションブロックを備えたことから、色再現性を確保するとともに、有彩色画像を高感度画素と同等レベルまでノイズ抑圧できる。また、高感度画素を用いることで、低照度におけるノイズ抑圧が可能となり、感度が改善される。

本発明によれば、色再現性を確保するとともに、有彩色画像を高感度画素と同等レベルまでノイズ抑圧でき、また、高感度画素を用いることで、低照度におけるノイズ抑圧が可能となり、感度が改善される。このため、暗い被写体に対して高感度の画像を得ることができるので、高感度でノイズの影響が抑圧された高画質な撮像結果が得られるという利点がある。特に、画像の暗部、低照度でセンサ出力には高ゲイン（HighGain）を掛けた状態の画像であっても相対的にノイズが少ない高感度画素、例えばＷ（白）画素を基準に色を再構成するため、カラー画像を高感度画素と同等レベルまで、ノイズ抑圧できる。このように、ＲＧＢに比べ透過分光特性の面で有利な高感度画素の情報を積極活用することで、ノイズリダクションの効果を高めることができる。

本発明の撮像装置に係る一実施の形態（第１実施例）を、図１〜図４によって以下に説明する。

まず、本発明が適用される撮像装置の一例を、図３のブロック図によって説明する。図３では、一例として、イメージセンサを用いたカメラシステムの全体図を示す。

図３に示すように、撮像装置１は、像を結像するレンズ系２と、光電変換を行う画素部を有するセンサ３と、電気信号を受けて、１／ｆノイズを取り除き、信号成分のみ抽出する相関２重サンプリング（ＣＤＳ）部４と、アナログ信号であるセンサの画素信号をデジタル信号に変換するアナログデジタル変換器（ＡＤＣ）５と、デジタル信号化されたセンサ信号を最終的な映像信号として出力する信号処理ブロック６とが備えられている。

上記撮像装置１では、レンズ系２により集光された像はセンサ３の画素部で結像し、電気信号としてＣＤＳ部４に出力される。ＣＤＳ部４で１／ｆノイズを取り除き、信号成分のみ抽出し、ＡＤＣ５によりアナログ信号であったセンサの画素信号をデジタル信号に変換する。デジタル信号に変換されたセンサ信号は、さらに信号処理ブロック６に入力され最終的な映像信号として処理される。

次に、本発明に係る撮像装置１のセンサ３の色配列例を、図４によって説明する。

図４に示すように、センサ３の画素配列は、従来のＲＧＢ正方ベイヤの画素配列に対して、空間位相が１／２ずれた位相位置に輝度情報を得るための画素（本例では、有彩色画素に比べ入射光に対する感度の高い高感度画素）を配置した配列となっている。この高感度画素は、例えばホワイト画素もしくはグレー画素からなる。図面では、一例としてホワイト画素を配列したものを示した。以下、ホワイト（Ｗ）画素を配列した一例で説明する。

次に、本発明の要部について、図１および図２によって説明する。図２は、上記信号処理ブロック６の詳細を示すブロック図であり、図１は、ノイズリダクション処理を行うノイズリダクションブロックを挿入した後の信号処理部の詳細を示すブロック図である。

図２に示すように、アナログデジタル変換器（ＡＤＣ）によりデジタル信号に変換されたセンサの画素信号は、ホワイトバランスブロック１１で、センサの画素出力を有彩色画素のＧ（Green）画素または高感度画素のＷ画素に正規化する。

正規化された信号は、色判別ブロック１２と画素補間ブロック１３のそれぞれに、独立に入力される。色判別ブロック１２では対象となる画素およびその周辺が有彩色か否かを判定し、その結果を画素補間ブロック１３に伝達する。

画素補間ブロック１３では、有彩色画素であるＲ／Ｇ／Ｂ画素が存在する位相に補間により足りない２色を補間する。例えば、Ｇ画素が存在する位置にはＢ／Ｒ画素を補間する。なお、画素補間ブロック１３は前述の色判別ブロック１２の判定結果により、補間処理を動的に変更する。有彩色でない場合は、補間する画素を生成する際に、存在している画素の画素信号を積極的に利用することで解像度を向上させ、一方、有彩色の場合は、補間する画素と同色の画素信号を周囲画素から補間で行う。

画素補間を行なった後は、輝度生成とクロマ生成の２系統に分けて処理を行う。最初に輝度生成の処理系について説明する。

画素補間ブロック１３にて生成されたＲ／Ｇ／Ｂ画素信号に対して、ＮＴＳＣの輝度変換式などに代表される変換を行い、Ｙ信号を生成する。生成されたＹ信号とＷ画素は、信号レベルが合っていないためレベル合わせをレベルバランスブロック１４で行う。このレベルバランスブロック１４によりＷ信号とＹ信号のレベル差のない輝度信号（高域）が生成される。

しかしながら、空間的には輝度信号が存在する画素としない画素が交互（空間位相で１／２）に現れるため、画素の存在しない位相に画素を補完する。これを輝度補間ブロック１６で行う。この補完処理の判定を相関検出ブロック１５で行う。この相関検出ブロック１５は、輝度信号を検出信号として処理を行う。この検出結果は輝度生成およびクロマ生成でそれぞれ利用される。

クロマ補間ブロック１７では、最初にＷ画素が存在する位相にＲ／Ｇ／Ｂ画素を補間する。補間は周囲のＷ画素とＲ／Ｇ／Ｂ画素から比率演算等によって算出する。さらに空間的にＲ／Ｇ／Ｂ画素が存在しない位相に画素補完を行うために、輝度生成の説明にあった相関検出ブロック１５の検出結果を反映させ、画素補完する。

輝度補間ブロック１８は、前述の高域の輝度信号とクロマ生成処理により演算されたＲ／Ｇ／Ｂ信号からＹ生成された低域の輝度信号を再合成するブロックである。この処理により低域部分の輝度再現性の劣化を抑える。

以上により、Ｙ／Ｃｒ／Ｃｂ信号を生成し画素補間処理を完了する。

以上が、前記図４の画素配列をもつイメージセンサの信号処理の概略である。本発明の撮像装置では、図１に示すように、ホワイトバランスブロック１１と画素補間ブロック１３および色判別ブロック１２との間にノイズリダクションブロック２１が設けられている。このノイズリダクションブロック２１は、ホワイトバランスブロック１１でセンサの画素出力をＷ画素、Ｒ／Ｇ／Ｂ画素に正規化した信号Ｗwb、Ｒwb、Ｇwb、Ｂwbに対して、ノイズの抑圧を行う。

次に、上記ノイズリダクションブロック２１の詳細を図５のブロック図によって説明する。

図５に示すように、入力信号としてＷwb、Ｒwb、Ｇwb、Ｂwbの４信号を用いる。ここで、Ｗwbはホワイトバランス後のＷ画素信号を示す。同様に、Ｒwbはホワイトバランス後のＲ画素信号を示し、Ｇwbはホワイトバランス後のＧ画素信号を示し、Ｂwbはホワイトバランス後のＢ画素信号を示す。

最初に、平均化値処理ブロック２２で、Ｗ画素に対して平均化値処理を行う。その詳細を、図６のＷ画素平均値化処理のアルゴリズムで示す。

図６に示すように、本例では、Ｗ画素を３×３の範囲で平均値化処理を行っている。この平均化値処理は必要に応じて範囲は任意に選択できるものとする。

Ｗ画素の平均値化は、もともとＳ／Ｎの良い画素情報をさらにＳ／Ｎを良好にするために行うものである。Ｗ４画素の位置に平均値化処理により新たなＷ画素を生成する。その際、単純な平均値化ではエッジなどの周波数の高い成分を落としてしまうため、Ｗ４画素と周辺のＷ０画素からＷ８画素までの差分の絶対値ａｂｓ（Ｗ０−Ｗ４）、・・・、ａｂｓ（Ｗ８−Ｗ４）を各々求め、これをしきい値ｔｈと比較する。すなわち、下記式となる。

ａｂｓ（Ｗ０−Ｗ４）、・・・、ａｂｓ（Ｗ８−Ｗ４）＜ｔｈ

上記しきい値ｔｈはＷ４画素と同レベルの範囲を選択するための値を設定する。

上記演算により条件を満たすＷ画素をすべて加算しその平均値を求め、新たなＷ画素とする。すなわち、下記式となる。

（１／ｎ）ΣＷｉ

続いて、図５に戻り、画素補間部２３において、ＲＧＢ画素が存在する位相にＷ画素を補間する。この補間処理は、一例として、図７に示すようなアルゴリズムで補間処理で行う。ここでの補間は、後述のノイズリダクション処理に利用する検出信号Ｗlpf１を生成する目的のものであり、補間精度は必ずしも厳密でなくてよい。

一方、ＲＧＢ画素のＲwb、Ｇwb、Ｂwb各信号に対しても、平均化値処理ブロック２４、２５、２６で、平均値化処理を行う。この平均値化処理の一例を図８に示す。図８に示すようなアルゴリズムで平均値化処理を施し、Ｒwb、Ｇwb、Ｂwb各信号に対して検出信号Ｒlpf０、Ｇlpf０、Ｂlpf０を得る。この処理の目的は、高周波部分の色偽対策である。

上記の処理により生成した画素を用いることにより、ノイズリダクション部２７におけるノイズリダクション処理に適応が可能となる。

次に、図９、図１０の表記ルールに則り、ノイズリダクション処理例として、Ｒ画素に対する処理例を示す。

図９（１）に示すように、前記図４に示した画素配列を正方配列に置き換える。それを図９（２）に示すように、Ｒ画素に着目して書き直す。また、図１０に示すように、Ｒ画素の５×５のエリアに着目して同様に書きかえる。この着目エリアがノイズリダクションの処理単位となる。ここでは、図１０のＲ１２に着目したノイズリダクションについて説明する。なお、図１０ではＲ画素のみの表記となっているが、前述の補間処理によりＲ画素が存在している位相にはＷ画素も存在している。

ノイズリダクション処理は、最初にＷ画素を利用しノイズリダクションの適用範囲を判定する。具体的には着目画素（Ｗ１２）とその周辺画素との差を各々求める。このとき、ノイズレベル閾値ｔｈを設定し、ｔｈより小となる位置のＷ画素値およびＲ画素値の加算を行う。すなわち、下記式となる。

ａｂｓ（Ｗ０−Ｗ１２）、ａｂｓ（Ｗ１−Ｗ１２）、ａｂｓ（Ｗ２−Ｗ１２）…、ａｂｓ（Ｗ２４−Ｗ１２）＜閾値ｔｈ

ここで、Ｗsum＝上記条件を満たすＷ画素値、Ｒsum＝上記条件を満たすＲ画素値とする。

続いて、Ｒ１２に補間するべきＲ画素値（Ｒ１２new）を下記式にて算出し、その結果を本線系のＲＧＢ補間ブロックに送る。

Ｒ１２new＝（Ｗ１２／Ｗsum）×Ｒsum

同様に、Ｇ画素、Ｂ画素についても同様の演算を行うことでノイズが抑圧された信号の生成が可能となる。

次に、本発明の撮像装置に係る一実施の形態（第２実施例）を、図１１〜図１６によって説明する。まず、前記図３に示した信号処理ブロックの詳細を図１１に示す。

図１１に示すように、アナログデジタル変換器（ＡＤＣ）によりデジタル信号に変換されたセンサの画素信号を、「ホワイトバランス検出」３１、「光学的黒検出（ＯＢ検出）」３２、「光学的黒補正（ＯＢクランプ）」３３にそれぞれ独立に入力し、「ホワイトバランス」３４で、センサの画素出力を有彩色画素のＧ（Green）画素または高感度画素のＷ画素に正規化する。

正規化された信号は、「輪郭検出３５」と「画素補間」３６に、それぞれ独立に入力される。「輪郭検出」３５では画像の輪郭を判定し、その結果を「輪郭強調」３７に伝達する。また「画素補間」３６では、ホワイトバランス調整後の信号を入力信号とし、入力された画素信号を、有彩色画素（カラー画素）の各色と高感度画素（例えばホワイト（Ｗ）画素）に分離する。色分解された結果のＷ画像を基に、信号補間を行う対象エリアを決定し、Ｗ画素が存在しないカラー画素の上にＷ画素を補間する。このＷ画素の補間結果と、信号補間を行う対象エリアを基に、例えば±１０％程度の同様な輝度に相当する、例えばホワイトの信号レベルが同様な傾向を持つ面を検出し、検出された面単位で、有彩色画素の補間を行う。

上記「画素補間」３６後は、「色変換／補正」３８を行い、「輪郭強調」３７、「ガンマ変換」３９、「Ｙ／Ｃ分離」４０を行い、Ｙ／Ｃｒ／Ｃｂ信号を生成し、画素補間処理を完了する。

この第２実施例も、有彩色画素に比べ入射光に対する感度の高い高感度画素を使用することを前提とした信号処理の方法である。ここような画素配列の一例としては、図１２に示すように、Ｒ／Ｇ／Ｂの原色フィルタを有する各有彩色画素と、ホワイト画素もしくはグレー画素からなる高感度画素が互いに市松状に配置されたセル配列を持つものがある。

なお、本実施例は、図１２に示した画素配列のものを使用することを前提としているが、図１２の各有彩色画素配列に限定して用いられるものではなく、例えば、図示した原色フィルタを有する画素ではなく、補色信号フィルタを有する画素でも実現可能であり、また配列自体も、図１２の様なジグザク配列ではなく、正方配列であっても適用可能である。同様にＷ（画素）の数も変更可能であり、従来多く用いられている原色正方ベイヤ配列中の２個あるＧ画素の一方をＷ画素に置き換えたフィルタ配列でも実現可能である。

次に、本実施例の画素補間（前記図１１の「画素補間」に相当）の詳細を、図１３の画素補間のブロック図、図１４のカラー画素補間結果の拡大図によって説明する。

図１３に示すように、光学黒補正（ＯＢクランプ）処理、ホワイトバランス調整後の信号を入力信号とする。この入力信号を「色分解」４１に入力し、入力された画素信号をカラー画素の各色画素とホワイト（Ｗ）画素に分離する。この色分離は、例えば図１５に示すように行われる。

すなわち、図１５に示すように、例えばＲ画像、Ｇ画像、Ｂ画像、Ｗ画像が混在している状態から、各画素位置は変えずに、各色の画像に分解する。その結果、Ｒ画像、Ｇ画像、Ｂ画像、Ｗ画像に分離される。

次に、「相関検出」４２を行う。この「相関検出」４２では、色分解された結果のＷ画像を元に、信号補間を行う対象エリアを決定する。

次に、「Ｗ画素補間」４３を行う。この「Ｗ画素補間」４３では、相関検出結果を基に、Ｗ画素が存在しないカラー画素の上にＷ画素を補間する。

次に、「面（グループ）検出」４４を行う。この「面（グループ）検出」４４では、Ｗ画素の補間結果と、相関検出の結果を基に、例えば±１０％程度の同様な輝度に相当する、例えばホワイトの信号レベルが同様な傾向を持つ面（グループ）を検出する。

次に、「カラー画素面（グループ）補間」４５を行う。この「カラー画素面（グループ）補間」４５では、検出された面（グループ）単位で、カラー画素の補間を行う。この結果、図１４に示すように、各Ｒ画素、Ｇ画素、Ｂ画素が補間される。

例えば、図１６に示すように、「Ａ」と表示されている場所に青色の画素を補間する場合は、以下の手順により実施する。

まず、同一面内（図中では、赤色の線で図示）に示される青色（Ｂ）画素の平均を取り、Ｂaveとする。次に、同一面内（図中では、赤色の線で図示）に示されるホワイト（Ｗ）画素の平均をとり、Ｗaveとする。さらに、同一面内のホワイトの輝度変化とカラー画素の輝度変化は概ね同じ傾向を示すので、Ａ点のＷ画素の値をＷaとして、Ａ点に補間するＢ画素の値Ｂaを以下の計算式より求める。

Ｂa＝（Ｗa／Ｗave）×Ｂave

上記と同様の手順を他のカラー画素、Ｒ画素、Ｇ画素にも順次適用することにより、撮像した全画素に対応する位置にカラー画素を補完する。

上記手順に従った場合、フィルタにより感度が下がり比較的ノイズの多いカラー信号に対して平均化処理を行うため、ランダムノイズ等の雑音を平均化により取り除き、かつＷ画素の輝度変化を基にしてカラー画素の輝度値を再生することができる。

本発明の撮像装置では、Ｓ／Ｎの良いＷ画素をＲＧＢの各画素が存在する箇所に補間する際に、単純な平均化処理で行うことが可能なため、回路構成が簡潔になる。また、Ｒａｗデータに対する処理であるため、既存の信号処理のアルゴリズムを変える必要がないという特徴を有する。さらに、画像の暗部、低照度の画像において、センサ出力に高ゲイン（HighGain）を掛けた状態の画像であっても、相対的にノイズが少ないＷ（白）画素を基準に色を再構成するため、カラー画像をＷ（白）画素と同等レベルまで、ノイズ抑圧できる。また、同一輝度もしくは同一傾向の面検出／ラベリングを行っているので、この信号を処理結果と一緒に出力することにより、後段のアプリケーションの画像処理に利用することが可能となる。

本発明の撮像装置に係る一実施の形態（第１実施例）の要部を示したブロック図である。 信号処理ブロックの詳細の一例を示したブロック図である。 本発明が適用される撮像装置の一例を示したブロック図である。 撮像装置のセンサにおける色配列の一例を示した画素レイアウト図である。 ノイズリダクションブロックの詳細の一例を示したブロック図である。 Ｗ画素平均値化処理の一例を示したアルゴリズムである。 画素補間処理の一例を示したアルゴリズムである。 平均値化処理図の一例を示したアルゴリズムである。 Ｒ画素に対するノイズリダクション処理の一例を示した画素レイアウト図である。 Ｒ画素に対するノイズリダクション処理の一例を示した画素レイアウト図である。 本発明の撮像装置に係る一実施の形態（第２実施例）を示した信号処理ブロックの詳細の一例を示したブロック図である。 撮像装置のセンサにおける色配列の一例を示した画素レイアウト図である。 本発明の撮像装置に係る第２実施例の要部を示した画素補間のブロック図である。 カラー画素補間結果の拡大図である。 色分解の一例を示したレイアウト図である。 青色の画素を補間する一例を説明する画素レイアウト図である。

符号の説明

１…撮像装置、１１…ホワイトバランスブロック、１３…画素補間ブロック、２１…ノイズリダクションブロック

Claims (5)

1. 複数色の有彩色画素と、前記有彩色画素に比べ入射光に対する感度の高い高感度画素が互いに市松状に配置されたセル配列を持つセンサと、
   前記センサの画素出力を有彩色画素または高感度画素に正規化するホワイトバランスブロックと、
   有彩色画素が存在する位相に補間により足りない他色を補間する画素補間ブロックと
   を搭載した撮像装置であって、
   前記ホワイトバランスブロックと前記画素補間ブロックとの間に、前記高感度画素の信号成分を指標として前記有彩色画素の位相に補間して前記有彩色画素のノイズ抑圧するノイズリダクションブロック
   を備えたことを特徴とする撮像装置。
2. 前記高感度画素はホワイト画素またはグレー画素である
   ことを特徴とする請求項１記載の撮像装置。
3. 前記ノイズリダクションブロックの前に、有彩色画素の同色画素の平均値を算出する平均化処理ブロック
   を備えたことを特徴とする請求項１記載の撮像装置。
4. 前記画素補間ブロックは、前記高感度画素を基準に同一傾向の輝度領域を判定し、
   同一傾向の輝度面内の前記有彩色画素の値を各々の有彩色画素で置換する画素補間を行う
   ことを特徴とする請求項１記載の撮像装置。
5. 前記画素補間ブロックは、
   前記ホワイトバランス後の画素信号を有彩色画素の各色画素と高感度画素に色分解する色分解ブロックと、
   前記色分解された結果を高感度画素の画像を基に信号補間の対象エリアを決定する相関検出ブロックと、
   前記相関検出結果を基に高感度画素が存在しない有彩色画素上に高感度画素を補間する高感度画素補間ブロックと、
   前記高感度画素の補間結果と、前記相関検出結果とを基に同一傾向の輝度面を検出する面検出ブロックと、
   前記検出された面単位で各色画素の補間を行う有彩色画素面補間ブロックと
   を備えたことを特徴とする請求項１記載の撮像装置。
   

Images