JP2006041912A - カラー撮像装置及びカラー撮像システム - Google Patents

Abstract

【課題】 モアレが少なく高画質の画像を得ることが可能なカラー撮像装置及びカラー撮像システムを提供する。
【解決手段】 ｍ×ｎ個の色画素信号に対し、間引き読み出し動作と、加算読み出し動作を同時に行うことによって、色信号間のサンプリング重心を等ピッチにする。また、加算時に使用する同色の信号に対し、各色毎に加算する領域を変更する。更に、色画素信号の加算前後で各色の空間的配列は同じとする。また、加算する領域を変更する場合には、赤色信号を多く間引くようにする。
【選択図】 図５

Description

本発明は、カラー撮像装置及びそれを用いたカラー撮像システムに係り、特に、撮像素子内で複数の画素信号の加算読み出し動作と、間引き読み出し動作を行うカラー撮像装置に関するものである。

近年、デジタルスチルカメラにおける画素数は、コンパクトデジタルカメラでは５００万画素以上のものが、一眼レフデジタルカメラでは１０００万画素以上のものが出回っている。また、その一方で、デジタルカムコーダにおいてもスチル＆ムービーの概念のもと鮮明な動画像以上に高精彩の静止画も求められている。

このようなデジタルカムコーダの用途において、静止画時は高解像度を必要とするため撮像素子から全信号を読み出し、動画時は低解像度で構わないため低画素数で読み出すのが一般的である。

また、この低解像度撮影において、カメラの電池消耗を防ぐため、或いは撮影枚数を増やすために画素信号の間引き読み出しや、画素信号の間引きと加算の両方が行われている。このような公知例としては、例えば、特開２００１−３６９２０号公報（特許文献１）に開示された撮像装置がある。同公報のものは、４×４画素を１グループとして、加算前の各色の空間的色配置と、加算後の各色の空間的色配置が同じになるように複数の画素信号を加算している。
特開２００１−３６９２０号公報

特許文献１のものでは、１グループ内で加算前後での各色の空間的配置が同じになるように複数の画素信号を加算しているが、撮像画像を拡大するとモアレが発生する。これは加算前後での各色のサンプリング重心が等ピッチになっていないためである。このように従来技術のものでは、各色のサンプリングピッチまでを考慮していないためモアレが発生するという課題があった。

本発明は、上記従来の課題に鑑みなされたもので、その目的は、モアレが少なく高画質の画像を得ることが可能なカラー撮像装置及びカラー撮像システムを提供することにある。

本発明のカラー撮像装置は、上記目的を達成するため、水平方向、垂直方向の複数の画素信号を加算して読み出すカラー撮像装置において、ｍ×ｎ個の色画素信号に対し、間引き読み出し動作と、加算読み出し動作を同時に行うことによって、色信号間のサンプリング重心を等ピッチにする手段を有することを特徴とする。

また、本発明のカラー撮像システムは、上記カラー撮像装置と、被写体光を結像する光学系と、前記カラー撮像装置から出力される画像信号を信号処理する画像処理手段とを有することを特徴とする。

本発明によれば、各色信号の空間的サンプリング重心を等ピッチにすることにより、画像のモアレを低減することができる。また、画像の状況に基づいてよりノイズの少ない補正が可能となるため、ゲインを上げることが出来、結果として感度を上げることが可能となる。

次に、発明を実施するための最良の形態について図面を用いて詳細に説明する。図１は本実施形態で用いる加算前のカラーフィルターの配列を示す図である。Ｒは赤フィルターを示し、Ｇｒ、Ｇｂは緑フィルターを示し、Ｂは青フィルターを示す。また、ＧｒはＲの隣の緑フィルターであり、ＧｂはＢの隣の緑フィルターを示す。図１に示すフィルター配列を単位ユニットとし、撮像素子の各フォトダイオード上に２次元的に配列しているものとする。

図２（ａ）は同色の画素信号における４×４画素加算の加算例を示す。Ｒに関しては図２（ｂ）に示すように横ｎ〜ｎ＋６、縦ｍ〜ｍ＋６までの領域の計１６画素を加算する。この時、加算後の重心はｎ＋３、ｍ＋３の位置にある（丸で標記）。同様に、Ｇｒに関しては図２（ｃ）に示すように横ｎ＋５〜ｎ＋１１、縦ｍ〜ｍ＋６までの領域計１６画素を用いる。この時、加算後の重心はｎ＋８、ｍ＋３の位置となる。

Ｇｂに関しては図２（ｄ）に示すように横ｎ〜ｎ＋６、縦ｍ＋５〜ｍ＋１１までの領域の計１６画素を用いる。この時、加算後の重心はｎ＋３、ｍ＋３となる。Ｂに関しては図２（ｅ）に示すように横ｎ＋５〜ｎ＋１１、縦ｍ＋５〜ｍ＋１１までの領域の計１６画素を用いる。この時、加算後の重心はｎ＋８、ｎ＋８となる。これらの構成を単位ユニットとし、次々に加算することで、加算後の結果として、加算前のＲＧＲＧ…と同じ並びの画素信号を得ることが出来る。これにより、加算前と加算後で各色の空間的配列が同じとなる。

また、同様に加算によって得られる次のＲは、横ｎ＋８〜ｎ＋１４、縦ｍ〜ｍ＋６となり、加算後の重心位置としてｎ＋１１、ｍ＋３となる。これにより、加算によって最初に得られるＲと最初に得られるＧｒ間のピッチ（距離）と、その最初に得られるＧｒと次に得られるＲとの間のピッチ（距離）が異なっている。このことは、従来例でも述べたように加算後の重心位置が等ピッチにならない例である（垂直方向も同様なので説明を省略する）。

図３は図２の問題点を考慮し、加算後の配列重心を等ピッチにするために重心合わせを行ったものである。図３（ｂ）〜図３（ｅ）に示すようにＲ、Ｇｒ、Ｇｂ、Ｂの各色の加算領域を色毎に変化させることによって結果として図３（ａ）に示すような全体イメージになる。

この特徴としては、Ｇに関してはＧｒ、Ｇｂともに１２画素分の加算を行うのに対し、Ｒは３×３の計９画素分での加算であり、Ｂは４×４の計１６画素分の加算を行う。つまり、赤を積極的に加算しない（間引く）ことによって加算後の重心を等ピッチにしている。また、加算後の信号の並びも加算前と同じ並びになっている。

同様に図４はＧに関して１２画素分の加算を行うのに対し、Ｒは１６画素加算、Ｂは９画素加算となっており、青を積極的に加算しない（間引く）ことによって加算後の重心を等ピッチにしている例である。また、同様に加算前と加算後で信号の出力並びを同じにしている。

次に、上記加算内容を実現するための本実施形態によるカラー撮像装置の内部構成について説明する。図５は本発明の撮像装置のブロック図である。図５において、撮像領域１０１には図６に示すような光電変換するフォトダイオードと画素アンプからなる画素部がマトリックス状に配置接続されている。

この撮像領域１０１の画素部は垂直走査回路(Ｖ−ＳＲ)１０２からの複数の駆動パルスによって制御される。撮像領域１０１の奇数列目の垂直信号線は図において下方のＣＤＳ、ＡＭＰ１０３、メモリ１０４に接続されている。また、偶数列目の垂直信号線は図の上方のＣＤＳ、ＡＭＰ１０３に接続されているが、以後、図において撮像領域１０１の上下の回路は同一の構成であるので下方の回路ブロックについて説明する。

画素部からの信号はＣＤＳ、ＡＭＰ１０３、メモリ１０４で画素部のノイズが除去され、信号成分のみが増幅された後、メモリ１０４に一時蓄積される。本撮像装置が加算読み出しモードではなく、全画素読み出しモードの場合には、メモリ１０４の信号は水平走査回路（Ｈ−ＳＲ）１０５からの走査パルスφＨｎ（nは整数）により制御され、出力信号線に読み出される。

加算読み出しモードの場合には、メモリ１０４の信号は加算回路１０６に導かれる。この加算回路１０６はメモリ１０４からの同色の信号を加算する。加算された信号はメモリ１０７によって一時蓄積され、水平走査回路（Ｈ−ＳＲ）１０５からの走査パルスφＨＡｎ（ｎは整数）によって制御され、出力信号線より読み出される。

図６は画素部の単位画素回路図、図７は撮像領域からの画素信号読み出し信号処理回路の一部の回路図を示す。また、図８は画素信号の加算タイミングを示す。これらの図を用いて画素部からの信号読み出しと信号加算を説明する。また、この実施形態では図５のブロック図及び図７の信号処理回路において、４×４画素加算を基本ユニットとした構成での加算例を示す。

図６の画素部は、光電変換部であるフォトダイオードＰＤ１，ＰＤ２と、フォトダイオードからの信号電荷を転送する転送スイッチＭＴＸ１，ＭＴＸ２と、２つの転送スイッチに接続された画素アンプＭＳＦと、ＭＳＦのゲート部（フローティングディフュージョン）の残留電荷をリセットするリセットスイッチＭＲＥＳと、画素アンプからの信号転送を制御するセレクトスイッチＭＳＥＬとからなる。また、画素部から信号は垂直信号線Ｖｎ（ｎは整数）に出力される。

図７の読み出し信号処理回路について説明する。垂直信号線に接続された容量ＣとクランプスイッチＭＣ、基準電圧源Ｖｒ１、増幅器ＡＭＰからなる回路が画素部のノイズを除去するＣＤＳ回路である。ＣＤＳされた４列の信号を一時蓄積するのがメモリ１０４のメモリ容量ＣＴａ、ＣＴｂ、ＣＴｃ、ＣＴｄである。

メモリ１０４の４つの信号を加算し、一時蓄積するのがメモリ容量ＣＡａである。同様に異なる水平画素行の加算信号を一時蓄積するのがメモリ容量ＣＡｂ、ＣＡｃ、ＣＡｄである。これらメモリ容量ＣＡａ、ＣＡｂ、ＣＡｃ、ＣＡｄの信号を加算し一時蓄積するのがメモリ１０７の容量ＣＴ１である。

次に、図８のタイミング及び表１、表２を用いて加算について説明する。

任意の露光時間が過ぎると、まず、各回路部のノードにある残留電荷が各パルスの制御によりリセットされる。時刻ｔ１に画素アンプＭＳＦのゲート部がパルスφＲＥＳにより、ＣＤＳ、ＡＭＰ回路１０３がパルスφＣＬ,φＴＳ１によりＶｒ１電圧にリセットされる。また、メモリ１０４内の残留電荷は、表１に示すようにφＴＳ２Ａ,φＴＳ２Ｂの２つの入力によりＤｅｃｏｄｅｒ１ブロックによってメモリ１０４内の４つのメモリを４通りの状態にする機構を持ちリセットされる。

即ち、このメモリ１０４のリセットの場合、全メモリにアクセスするためφＴＳ２Ａ,φＴＳ２Ｂともにオンすることで、メモリ転送スイッチＭＴａからＭＴｄをオンする。これと同時にφＣＬ,φＴＳ１をオンすることによりメモリリセットを行う。

同様に、加算回路１０６における一時蓄積容量ＣＡａからＣＡｄの残留電荷は、表２に示すようにφＴＳ３Ａ,φＴＳ３Ｂの２つの入力をＤｅｃｏｄｅｒ２ブロックによって、４つの容量に対し、４通りにアクセスできる機構を持ちリセットを行う。φＴＳ３Ａ,φＴＳ３Ｂ、φＣＲを同時にオンすることによって、これらの容量をＶｒ２電圧にリセットすることが可能となる。

時刻ｔ２ではパルスφＣＬのオフ時に画素アンプノイズがクランプ容量Ｃにクランプされ、パルスφＴＸ１によりフォトダイオードの電荷が画素アンプを経てクランプ容量に入力される。その結果、画素ノイズはＣＤＳ除去され、増幅器ＡＭＰを経てメモリ１０４に一時蓄積される。

今、垂直走査において図３（ａ）におけるｍ行を選択している状態とする。垂直信号線Ｖ１,Ｖ３,Ｖ５,Ｖ７からの信号として、メモリ容量ＣＴａにはＲｍ,ｎ（Ｒ画素のｍ行ｎ列目の信号）、ＣＴｂにはＲｍ,ｎ＋２、ＣＴｃにはＲＭ,ｎ＋４、ＣＴｄにはＲｍ,ｎ＋６の信号が蓄積されたことになる。

時刻ｔ３ではパルスφＳＥＬ、φＴＳ１のオフによりｍ行画素からの転送を終了する。時刻ｔ４ではφＴＳ２Ａをハイレベルにし、φＴＳ２Ｂをローレベルにしたままで表１に示すようにＭＴａ,ＭＴｂ,ＭＴｃをオンし、また、この時、φＡＤａをオンすることで容量ＣＡａに４画素中選択された３画素を加算する。

次に、垂直走査回路で選択している行をｍ＋２行にする。この状態で、同様な操作を行い、時刻ｔ５ではＲｍ＋２,ｎ，Ｒｍ＋２,ｎ＋２、Ｒｍ＋２,ｎ＋４の信号を加算し容量ＣＴｂに蓄積する。時刻ｔ６ではＲｍ＋４,ｎ，Ｒｍ＋４,ｎ＋２、Ｒｍ＋４,ｎ＋４の信号を加算し容量ＣＴｃに蓄積する。

時刻ｔ７では、表２に示すようにφＴＳ３Ａをハイレベル、φＴＳ３ＢをローレベルにすることよってＣＡａ、ＣＡｂ、ＣＡｃに蓄積された画素信号を同時にオンすることで加算し、φＴＳ４をオンすることで加算結果をＣＴｎ（ここではｎ＝１）に蓄積する。この結果、容量ＣＴ１には図３（ｂ）に示すように９画素分のＲ信号が加算されていることになる。

その他の色の加算については同様な操作を行う。図３（ｃ）に示すようなＧｒの加算においては、読み出し信号処理回路は図５における撮像領域の上部に配置されるブロックを使用することになるが、ここでは表１に基づいてφＴＳ２Ａをハイレベル、φＴＳ２Ｂをハイレベルにすることで水平同色の４画素を加算することが可能となる。φＴＳ３Ａ,φＴＳ３Ｂは前述したものと同じ動作で使用することで、１２画素分のＧｒ信号を加算することとなる。

図３（ｄ）に示すようなＧｂの加算においては、図５の撮像領域の下部に配置される読み出し信号処理回路ブロックにおいて加算される。ここではφＴＳ２Ａをハイレベル、φＴＳ２Ｂをローレベルにすることで水平３画素の加算を行い、φＴＳ３Ａ,φＴＳ３Ｂともにハイレベルにすることで、同色の４行分を加算することになる。これにより、１２画素分のＧｂ信号を加算することが可能となる。

図３（ｅ）に示すようなＢの加算においては、同様に撮像領域の上部の読み出し信号処理回路を用いて、φＴＳ２Ａ,φＴＳ２Ｂ,φＴＳ３Ａ,φＴＳ３Ｂをハイレベルにすることで、水平４画素の加算と垂直４行の加算を行い、計１６画素の加算が可能となる。

また、図４（ｂ）〜図４（ｅ）の加算動作においても、表１、表２に基づいて加算画素の選択を行うことによって実現できることは勿論である。

図８のタイミング図によりそれぞれ必要な画素数分加算した後に、水平走査回路によりφＨＡｎを与えることで、加算後の１行分の信号出力を得ることが出来る。ここでｎは１〜加算後の水平画素数分の整数値となる。ＶＧＡであれば１〜６４０までのメモリ数となる。このようにメモリ１０４は静止画の水平画素数分のメモリ数を必要とするが、メモリ１０７は加算後のメモリとなるので、メモリ１０４より規模の小さな構成となる。

図９は本発明の撮像装置を用いたカラー撮像システムの構成図である。この図のように光学系１を通って入射した被写体光はセンサ２に結像する。センサ２は図５の撮像装置に対応する。センサ２に配置された画素により光情報は電気信号に光電変換される。この電気信号はＡＤＣ４でアナログ信号からディジタル信号に変換されるのであるが、その前にＡＦＥ３によってＡＤＣ４のブラックレベルに見合うようにクランプ補正を行い、また、ＡＤＣ４の入力範囲に収まるようにＡＦＥ３によってゲイン補正を行う。

ディジタル信号に変換された後の画像信号は予め決められた方法によって処理回路５によって信号変換処理される。また、この信号処理に当たって必要な一時的な画像保存領域としてメモリ６を使用する。信号処理された画像信号は記録系・通信系７を通して記録されるか、通信して外部媒体に記録を行う。また、表示系・再生系８によって表示や再生を行う。

これらの信号の流れを制御するものとしてシステム制御回路１０を用いる。また、ＲＯＭ９に保存されている動作プログラムによってシステム制御回路１０は動作する。センサ２とＡＦＥ３とＡＤＣ４はタイミングジェネレータ（ＴＧ）１１によって与えられるパルスにより制御、動作する。また、光学系１の絞り・フォーカス・ズーム・シャッター等はシステム制御回路１０から制御を行う。

ここで、例えば、全画素読み出しと加算読み出しを切り替える場合を説明する。これらの切り替えは外部入力系１３から人の操作によって切り替えを行う。全画素読み出しは静止画出力に相当し、加算読み出しは動画出力に対応する。この切り替え動作ではセンサ２に与えるパルスをＴＧ１１により変更し、加算時は複数画素を平均化するため画像のランダムノイズや固定パターンノイズが平滑化される。このため、光学系１の絞りを絞った状態でも、ＡＦＥ３のゲインを上げることが可能となる。

このようなゲイン変更信号をＴＧ１１から出力する。またＡＤＣ４で使用している変換用のクロック信号も、全画素と加算画素の出力画素数が異なることから変更を行う必要がある。同様に処理回路５においても動画・静止画の違いにより記録系への圧縮方法を変更する。更に、全画素読み・加算読みの違いにより適正な補正方法等を変更する。

加算における図３に基づく方法と、図４に基づく方法の切り替えについて説明する。この切り替えは加算動作中、つまり動画出力時において得られた画像信号が、処理回路５に入ることによって、判断に必要な情報を切り替え判断部１２に伝達することによって行う。これは、３×３画素加算では従来の全画素読みよりノイズが１／３になるが、４×４画素加算においてはノイズが１／４になることに基づく。例えば、光源の色温度が低い時（赤っぽい時）は、処理回路５においてホワイトバランス係数としてＲの係数を弱め、Ｂの係数を強くする。

このような時はＢにゲインが多くかかっているので赤間引きの加算方法（図３参照）を採用する。これにより、Ｂに強いゲインがかかってもノイズっぽさを低減できる。また、逆に光源の色温度が高い時（青っぽい時）は、ホワイトバランス係数としてＲを強め、Ｂを弱めるために、青間引きの加算方法（図４参照）を行う。これにより、Ｒに強いゲインがかかってもノイズっぽさを低減できる。

同様に、写す被写体によっても切り替え可能である。例えば、赤いバラを撮る時は、画像の中央の色差信号（Ｒ−Ｙ,Ｂ−Ｙ）を測定することによって赤いかどうか判断できるが、青間引きの加算方法（図４参照）を用いることで、赤いバラのノイズっぽさを低減することが可能である。また、同様に、例えば、青空を被写体とする時は色差信号を測定し、赤間引きの加算方法（図３参照）を用いることで、青空のノイズっぽさを低減することが可能となる。

このように処理回路５で使用するホワイトバランス係数や、色差信号を切り替え判断部１２に伝えることで切り替えを行う。これによって切り替え判断されたものをＴＧ１１に伝え、それに基づきセンサ２を切り替える。

加算前のカラーフィルターの配列を示す図である。 加算後に等ピッチにならない加算例を示す図である。 本発明による画素信号の加算例（赤間引き）を示す図である。 本発明による画素信号の加算例（青間引き）を示す図である。 本発明によるカラー撮像装置の一実施形態を示すブロック図である。 図１の撮像装置の画素部の単位回路を示す回路図である。 図１の撮像装置の信号読み出し処理回路を示す回路図である。 画素信号の加算動作を示すタイミング図である。 本発明による撮像システムの一実施形態を示すブロック図である。

符号の説明

１ 光学系
２ センサ
３ ＡＦＥ
４ ＡＤＣ
５ 処理回路
６ メモリ
７ 記録系・通信系
８ 表示系・再生系
９ ＲＯＭ
１０ システム制御回路
１１ タイミングジェネレータ（ＴＧ）
１２ 切り替え判断部
１３ 外部入力系
１０１ 撮像領域
１０２ 垂直走査回路（Ｖ−ＳＲ）
１０３ ＣＤＳ、ＡＭＰ
１０４ メモリ
１０５ 水平走査回路（Ｈ−ＳＲ）
１０６ 加算回路
１０７ メモリ

Claims (10)

1. 水平方向、垂直方向の複数の画素信号を加算して読み出すカラー撮像装置において、ｍ×ｎ個の色画素信号に対し、間引き読み出し動作と、加算読み出し動作を同時に行うことによって、色信号間のサンプリング重心を等ピッチにする手段を有することを特徴とするカラー撮像装置。
2. 前記加算時に使用する同色の信号に対し、各色毎に加算する領域を変更することを特徴とする請求項１に記載のカラー撮像装置。
3. 色画素信号の加算前後で各色の空間的配列が同じであることを特徴とする請求項１又は２に記載のカラー撮像装置。
4. 前記加算する領域を変更する場合には、赤色信号を多く間引くことを特徴とする請求項２に記載のカラー撮像装置。
5. 前記加算する領域を変更する場合には、青色信号を多く間引くことを特徴とする請求項２に記載のカラー撮像装置。
6. 請求項４に記載の赤色信号を多く間引く場合と、請求項５に記載の青色信号を多く間引く場合とを切り替える切り替え手段を有することを特徴とする請求項４又は５に記載のカラー撮像装置。
7. 前記切り替え手段は、画像処理におけるホワイトバランスのＲ、Ｂの係数に基づいて赤色信号を多く間引く場合と青色信号を多く間引く場合とを切り替えることを特徴とする請求項６に記載のカラー撮像装置。
8. 前記切り替え手段は、画像処理における色差信号に基づいて赤色信号を多く間引く場合と青色信号を多く間引く場合とを切り替えることを特徴とする請求項６に記載のカラー撮像装置。
9. 画素信号を加算しないで読み出す第１のモードと、画素信号を加算して読み出す第２のモードを持ち、第１のモードと第２のモードを切り替え可能とする請求項１〜８のいずれか１項に記載のカラー撮像装置。
10. 請求項１〜９のいずれか１項に記載のカラー撮像装置と、被写体光を結像する光学系と、前記カラー撮像装置から出力される画像信号を信号処理する画像処理手段とを有することを特徴とするカラー撮像システム。

Images