JP2004140495A - カラー固体撮像装置 - Google Patents

Abstract

【課題】カラー固体撮像装置の固体撮像素子の画素欠陥等によリ発生する着色ノイズを画像ボケを伴わずに低減する。
【解決手段】第１の色光に感度を有する画素が市松状に配置され、それを補間する位置に第２及び第３の色光の感度を有した画素がそれぞれ行列上に配置された固体撮像素子の出力信号から、第２及び第３の色光の感度を有した画素位置でそれぞれ算出された色差信号から、隣接する４画素の色差信号の２つの中間値の平均値で補間値を決める操作を２回繰り返し行って第１および第２の補間値を得て、第２及び第３の色光の感度を有した画素位置でそれぞれ隣接する４個の前記第２の補間値の２つの中間値の平均で第３の補間値を得て、前記第１から第３の補間値を合成して画像ボケとレベル変動が少ない全画素の色差信号を作る。
【選択図】　　　図４

Description

【０００１】
【発明の属する技術分野】
この発明は、モザイク色フィルタが３色から構成され、そのうち１色が市松状に配置されている固体撮像素子を使用した単板カラー固体撮像装置、または色分解光学系に互いに補間する位置関係で取付けられた複数の固体撮像素子を使用した画素ずらし多板カラー撮像素子に関し、特に固体撮像素子の画素欠陥による偽色信号の低減手法に関する。
【０００２】
【従来の技術】
従来の単板カラーカメラにおいては、図１１に示すように、固体撮像素子１１０１の出力映像信号をサブサンプルし、ローパスフィルタ等を用いて補間処理を行い、全画素に対するＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色信号を得ていた。このため、固体撮像素子に画素欠陥があると画素欠陥の位置の色信号が変化し、被写体の色とは違う色が発生し画質を低下させる（以後、画素欠陥をキズと称する）。固体撮像素子のキズ画素の出力信号を周辺の同色画素の信号で置き換えるキズ補正回路１１０２を色信号処理回路１１０３の前に設けている。キズ補正回路１１０２は、注目画素がキズ画素であることを示すパルスを発生するキズ補正制御回路１１０４に制御されるスイッチ１１０６で、通常画素は固体撮像素子出力を、キズ画素では補間回路１１０５の出力を選択して出力する。
【０００３】
例えばキズ補正制御回路としては、予め特開２００２−１１２１１１８号広報のような手法で測定しメモリー手段に蓄えられた欠陥画素の位置座標に基づきキズ補正制御パルスを発生させるものや、特開平７‐３３６６９９号広報のような手法で撮影中に映像信号から傷画素を判定し実時間でキズ補正制御パルスを発生させるものがある。画素欠陥の補正に関しては、特開昭６２‐８６６６号公報にあるように補正時には注目画素の周辺の同色画素信号を元に補間信号を算出し、キズ画素の代替信号として出力することで、画像の平たん部では周辺画素と同等の色信号になり画素欠陥が見えなくなる。
【０００４】
しかしながら、この手法では画像の平たん部ではキズによる偽の着色はなくなるが、画像のエッジ部の近くにキズ画素が位置すると代替した周辺画素の色が離れて生じてしまい画質が低下するという問題があった。
【０００５】
また、キズは固体撮像素子上にランダムに発生する結晶欠陥や、遮光材のエッチングむらなどに起因する。このため、キズレベルもばらつきを持つ。キズの判定は、閾値レベルを定め、画素欠陥レベルがこの閾値レベルを超えたものをキズとして判定する。したがって、この閾値レベル以内の信号はそのまま使われるため、レベルは小さいがランダムな色雑音は低減されないという問題があった。
【０００６】
【発明が解決しようとする課題】
上記した従来のカラーカメラのキズ補正回路においては、キズが画像のエッジ部の近くにある場合に画質が低下するという問題があった。また、キズ判定閾値以下のレベルのキズは補正されないという問題があった。この発明は、エッジ部が自然な画像を得るとともに、小レベルのキズも自動的に補正できるカラー固体撮像装置を得ることにある。
【０００７】
【課題を解決するための手段】
上記の課題を解決するために、この発明のカラー固体撮像装置では、市松状に配置された第１の色光の分光感度を有する画素と、その画素を補間する位置に第２または第３の色光のいずれか一方の分光感度を有した画素が配置され、全体として画素が行列状に配列された固体撮像素子を有し、前記固体撮像素子の出力信号から前記固体撮像素子の全画素に対する前記第１の色光の画像信号を、前記第２および第３の色光の画素位置でそれぞれ前記第１の色光の画素信号との差信号を生成する。前記色差信号の互いに隣接する画素が作る方形の中心位置での色差信号を前記方形の４頂点の色差信号値の２個の中間値の平均値で算出した第１の補間信号を生成する。前記色差信号と前記第１の補間信号の互いに隣接する画素が作る四角形の中心位置での色差信号を前記四角形の４頂点の色差信号値の２個の中間値の平均値で算出した第２の補間信号を生成する。前記第２および第３の色光に対応する画素位置で周辺画素信号の最大値と最小値を除いた中間値の平均値で算出した第３の補間信号を生成し、前記第１および第２および第３の補間信号を合わせて全画素に対する色差信号を得ることを特徴とする。
【０００８】
上記した手段により、キズが目立つ画像の平坦部では、キズ画素で生じた異常な色差信号は、隣接画素との中間値処理により前記第１の補間信号には影響を与えなくなる。前記第１の補間信号を含む隣接画素との中間値処理により生成される前記第２の補間信号では、キズ画素で生じた異常な色差信号は４画素中の１画素だけしかなく、隣接画素との中間値処理により前記第２の補間信号には影響を与えなくなる。また、異常な色差信号の影響をほとんど受けない前記第２の補間信号から生成される第３の補間信号にも異常な色差信号の影響は生じない。したがって、前記第１および第２および第３の補間信号を合成して得られた全画素に対する色差信号には、キズ画素で生じた異常な色差信号の影響が生じない。また、画像のエッジ部でも、傷のレベルは第１の補間値で１／２以下、第２の補間値で１／４以下、第３の補間値で１／８以下になるため、異常な色差信号の影響はほとんど生じない。このため、画素欠陥により発生していた色偽信号を低減することができる。
【０００９】
【発明の実施の形態】
【実施例】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
【００１０】
図１は、この発明の第１の実施の形態について説明するためのカラー固体撮像装置のブロック図である。図１において、１１は固体撮像素子であり、この固体撮像素子１１は、図中に示すように、Ｙ画素が市松状に配置され、１行毎にＭとＣがＹを穴埋めする形の色フィルタ１２が付けられ、ＹＭＹＭ・・・とＣＹＣＹ・・・の信号を１行毎に出力する。ここで、Ｙ，Ｃ，Ｍはそれぞれ赤色光と緑色光，緑色光と青色光，赤色光と青色光を加算した信号である。補間処理回路１３は、市松配置のＹ信号を抽出し、Ｃ画素またはＭ画素位置でのＹ信号を隣接する４画素の明暗パターンから補間される画素が画像のどの部分に該当するかを推定することで、固体撮像素子１１の出力信号から画像のボケの少ない補間画像を出力する。
【００１１】
図２は、Ｙ信号用補間処理回路１３のより詳細なブロック図である。入力端子２１から入力された固体撮像素子１１からの出力信号は、１水平時間遅延回路２２１と１画素時間遅延回路２２２からなる同時化回路２２により、注目画素Ｑ０とそれを取り囲む隣接画素Ｐ１〜Ｐ４そしてＱ０と同色でＰ１〜Ｐ４を取り囲む隣接画素Ｑ１〜Ｑ４の信号を、相関判定回路２３と補間信号合成回路２４に供給する。
【００１２】
相関判定回路２３では、Ｐ１〜Ｐ４の互いに隣接する画素信号の大小関係を比較回路２３１で判定する。相関方向判定ＲＯＭ２４には、例えば表１の真理値表に示される変換表が書き込まれており、Ｐ１〜Ｐ４の信号量の最大値と最小値の画素位置により相関の強い方向を示す信号を出力する。最大値と最小値が横方向のＰ１とＰ３の場合は画像の水平エッジ部に該当すると推定し縦方向に相関が強いと判定してＶに１を出力する。最大値と最小値が縦方向のＰ２とＰ４の場合は画像の垂直エッジ部に該当すると推定し横方向に相関が強いと判定してＨに１を出力する。それ以外の場合は、縦横両方向に相関関係はないものとしてＡＶに１を出力する。
【００１３】
補間信号合成回路２４では、相関判定回路２３で判定された相関方向と、タイミング発生器１９から供給される注目画素Ｑ０がＹ画素か否かを示すＰＩ信号に基づいて補間信号を出力する。注目画素がＹ信号の場合には、スイッチ２４３により注目画素Ｑ０画選択されて出力される。注目画素がＭ信号またはＣ信号の場合には、スイッチ２４３によりスイッチ２４２で選択された補間信号が出力される。相関判定回路２３で横方向に相関ありと判定されたときには、スイッチ２４２−１が閉じられ、加算器２４１−１により算出された注目画素と左右に隣接する画素の和の１／２倍が出力される。相関判定回路２３で縦方向に相関ありと判定された場合には、スイッチ２４２−２が閉じられ、加算器２４１−１により算出された注目画素と上下に隣接する画素の和の１／２倍が出力される。相関判定回路２３で縦横どちらにも相関が認められないときには、隣接４画素の平均値を注目画素のＣ０から上下左右に２画素ずつ離れた図３にＱ１〜Ｑ４で示す画素の情報を用いてボケの補正を行い、下記の数式１で算出した値を出力する。このように、注目画素に隣接する画素の相関関係を利用することで、画像のボケの少ない適切な補間画像が出力される。
【数１】

【表１】

【００１４】
Ｙ信号用補間処理回路１３では同時化回路２２で注目画素と周辺画素の情報を同時化するために２水平時間と２画素時間の遅延が生じるため、遅延補償回路１４でタイミング合わせを行い、減算器１５で色差信号を算出し、本発明に係る色差信号用補間処理回路１６に供給する。
【００１５】
図３は本発明の第１の実施例に係る色差信号の補間処理回路のブロック図、図４はその画素補間方法を説明するための図、図５はその効果を説明するための図である。図５（ａ）は、矢印が第２または第３の色光に対応する画素位置でサンプリングされた色差信号を示すとともに、その長さが色差信号のレベルを示し、×印は色差信号が算出されていない画素位置を示している。長さが周囲と異なる矢印５１〜５３は固体撮像素子のキズの影響で色差信号に変化が生じたことを示しており、以下色差キズ信号と称す。色差キズ信号５１は画像のエッジ部でエッジを強調する方向のキズ成分を有したものであり、色差キズ信号５２は画像のエッジ部でエッジを弱める方向のキズ成分を有したものであり、色差キズ信号５３は平坦部に生じているものをそれぞれ示している。
【００１６】
入力端子３１から第１の補間信号発生回路３２に入力された色差信号は、２水平時間遅延回路３２１と２画素時間遅延回路３２２と３２３により、同色の隣接する画素位置の色差信号が同時化され、中間値処理回路３２４に入力される。中間値処理回路３２４は、図４（ａ）にＣ１１で示されるように算出の元となった４画素の中央の画素位置の色差信号として、入力された４信号のうち最大値と最小値をそれぞれ１つずつ取り除いた２つの信号の平均値を出力する。図５（ｂ）は入力信号と第１の補間信号の関係を示し、細線矢印が入力端子３１から入力された色差信号を、太線矢印が第１の補間信号をそれぞれ示している。色差キズ信号５１、５３は、隣接する８方向の色差信号のレベルより大きいため、中間値処理による補間画素の色差信号レベルの算出には用いられないため、色差キズ信号の影響は第１の補間信号には生じない。一方、色差キズ信号５２は右上の隣接４画素の色差信号レベルの２番目に低い値となっているため、補間信号５２ａには色差キズ信号５２の影響が生じるが，中間値処理で２画素の加算平均をとるため、色差キズ信号５２のキズレベルの１／２倍のキズレベルに低減される。
【００１７】
第２の補間信号発生回路３３は、入力端子３１から入力された色差信号と第１の補間信号発生回路３２の出力信号が入力され、２水平時間遅延回路３３１〜３３３と２画素時間遅延回路３３４〜３３７により、隣接する画素位置の色差信号が同時化され、それぞれ中間値処理回路３３８、３３９に入力される。図４（ｂ）にＣ１２、Ｃ２１で示されるように算出の元となった４画素の中央の画素位置の色差信号として、入力された４信号のうち最大値と最小値をそれぞれ１つずつ取り除いた２つの信号の平均値を出力する。図５（ｃ）は、点線矢印が入力端子４１から入力された色差信号を、細線矢印が第１の補間信号を、太線矢印が第２の補間信号を示している。色差キズ信号５１、５３は、隣接する４方向の入力色差信号や斜め４方向に隣接する第１の補間信号のレベルより大きいため、中間値処理による補間画素の色差信号レベルの算出には用いられないため、色差キズ信号の影響は第２の補間信号にも生じない。一方、色差キズ信号５２は、第１の補間信号５２ａに影響を与えているため、色差キズ信号５２と第１の補間信号５２ａとを結ぶ線分を１辺に持つ色差キズ信号と第１の補間信号の互いに隣接する４個のサンプリング点が作る四角形の中点である第２の補間信号５２ｂ、５２ｃには色差キズ信号５２の影響が生じる。しかしながら、第２の補間信号５２ｂ、５２ｃに生じる色差キズ信号５２の影響は、色差キズ信号５２が最小値であるために、第１の補間信号６２ａを通して間接的に生じるので、色差キズ信号５２のキズレベルの１／４倍のキズレベルに低減される。
【００１８】
第３の補間信号発生回路３４は、第２の補間信号発生回路３３の出力信号が入力され、２画素時間遅延回路３４１と２水平時間遅延回路３４２により、隣接した第２の補間信号が同時化され、中間値処理回路３４３に入力される。中間値処理回路３４３は、図４（ｃ）にＣ２２で示されるように算出の元となった４画素の中央の画素位置の色差信号として、入力された４信号のうち最大値と最小値をそれぞれ１つずつ取り除いた２つの信号の平均値を出力する。図５（ｄ）は、細線矢印が第１および第２の補間信号を、太線矢印が第３の補間信号を示している。色差キズ信号５１、５３の位置では、第１の補間画素に色差キズ信号の影響が生じてないため、第３の補間信号にはキズ画素の影響が生じない。一方、色差キズ信号５２の位置では、第１の補間信号５２ｂ、５２ｃにはキズの影響が生じるているが，他の２画素にはキズの影響が生じていないため、第３の補間信号５２は中間値処理により、キズレベルは１／８倍に低減される。結果として、図５（Ｃ）に示されるように、第１〜３の補間信号を合成して得られる色差補間画素信号には、色差キズ信号の影響のほとんど生じない。
【００１９】
図４（ｃ）に示すように，色差信号用補間処理回路１６に色差信号Ｃ００が入力されると、第１の補間画素Ｃ１１、第２の補間画素Ｃ１２とＣ２１、第３の補間画素Ｃ２２の色差信号量が決定できる。この４画素の色差信号は、合成回路３５により走査信号に変換され出力される。第２の補間画素Ｃ２１には、第３の補間画素Ｃ２２の次に出力されるように１画素遅延回路３５１が設けられ、画素インデックス信号ＰＩに応じてスイッチ３５３で切り替えることにより、ライン信号となる。また、第１の補間画素Ｃ１１と第２の補間画素Ｃ１２も、１画素遅延回路３５２とスイッチ３５４によりライン信号となり、１水平時間遅延回路３５５で１水平時間の遅れが付けられる。スイッチ３５３の出力と１水平時間遅延回路３５５の出力はスイッチ３５６、３５７にそれぞれ供給される。スイッチ３５６は、ライン選択信号ＬＩにより切り替えられ、色差信号用補間処理回路１６に入力される信号がＢ−Ｒ信号のラインのときにはスイッチ３５３の出力を選択し、Ｂ−Ｇラインの時には１水平時間遅延回路３５５の出力を選択するようになっていて、出力端子３６からは補間されたＢ−Ｒ信号の画像信号が出力される。スイッチ３５７はライン選択信号ＬＩによりスイッチ３５６とは逆の信号を選択するように接続されており、出力端子３６からは補間されたＢ−Ｇ信号の画像信号が出力される。
【００２０】
色差信号用補間処理回路１６から出力された２つの色差信号と補間処理回路１６の信号遅延を補償する遅延補償回路１７の出力は、マトリクス処理回路１８に供給される。マトリクス処理を施され、固体撮像素子のキズ画素による着色現象のない３原色信号が出力される。
【００２１】
図６は、本発明の第２の実施例を説明するためのカラー固体撮像装置のブロック図である。カメラに入射された光は、色分離プリズムブロック６０１に入り、赤色光と青色光がプリズムの境界面に設けられた色分離鏡６０２、６０３で順次反射され、さらにプリズム端面で全反射されて、固体撮像素子６０５、６０６に結像する。緑色光は、色分離鏡６０２、６０３を透過し直進し、ハーフミラー６０４で光量が２分され固体撮像素子６０７、６０８に結像する。つまり、固体撮像素子６０５、６０６には、２回反射された光像が結像し、固体撮像素子６０８は１回も反射されない光像が結像し、固体撮像素子６０７は１回反射された光像が結像するので、固体撮像素子６０７だけに鏡像の光像が結像されている。固体撮像素子６０５〜６０８は、色分解プリズムに図７のように、それぞれ画素ピッチの１／２のオフセットが付くように固着されており、画素信号を適切に再配置することで、固体撮像素子画素数の４倍の画素数の画像データが得られる。
【００２２】
固体撮像素子６０５〜６０８の出力信号は、ＡＤ変換機６０９によりディジタル値に変換され，マルチプレクサ６１０で時間多重され出力される。マイクロプロセッサ６１２は、プログラムメモリー６１４に書き込まれた命令を順次実行する。ユーザーインターフェース６１８から、撮影指示が出ると、マイクロプロセッサ６１２はタイミング発生器６２０を静止画取り込み用に変え、図８の流れ図で示される信号処理シーケンスを実行する。
【００２３】
まず、マイクロプロセッサ６１２の指示によりＤＭＡコントローラ６１１がデータメモリー６１３の所定位置に適切に格納し、固体撮像素子画素数の４倍の画素数の画像データがデータメモリー６１３上に再構成される。データメモリー６１３から適宜画像データを読み出し、ディジタル信号処理回路６１５で処理した結果をデータメモリー６１３に書き込むことを繰り返して、信号処理を実現する。信号処理アルゴリズムは、基本的に第１の実施例と同じである。
【００２４】
第１の実施例との違いは、固体撮像素子の画素がそれぞれ光の３原色になっていて、第１の色光が緑色（Ｇ）、第２の色光が赤色（Ｒ）、第３の色光が青色（Ｂ）になっている点にある。このため、第１の色光である緑光色の補間画像には、人間の目の解像度特性を決める緑色光と赤色光のうちの赤色光に感度を有していない。このため、緑光色を含んでいない赤色部分の解像度の低下が懸念される。以下、赤色の背景の中に細い黒線がある場合を例にとって、色信号処理アルゴリズムを手順にしたがって説明する。
【００２５】
まず、Ｇ信号に補間処理を施し、補間画像ＧＩを得る。図９（ａ）は、固体撮像素子の出力信号であり、黒丸と×印はそれぞれ無信号のＧ信号とＢ信号を示し、矢印の長さがＲ信号のレベルを示している。細い黒線９０１は、２画素分の幅を持つものとするが、図面上は画素との位置関係がわかりやすいように細線の中心線のみを点線で示す。黒線とＲ画素の位置関係は、一致する画素９０２と隣接する画素９０３と離れている画素９０４の３種類で、信号量は説明を簡単にするため、それぞれ０，１／２，１とする。Ｇ信号のレベルは全て０で画像の相関方向は決定できないため、補間信号は数式１で計算される値となる。図９（ｂ）は、補間画像ＧＩを示している。Ｇ画素とＢ画素は全て０のため、Ｂ画素位置の補間値は０となる。Ｒ画素位置の補間値は、黒線上の画素９０５が−１／４、黒線に隣接する画素９０７が−１／８、さらに黒線より離れた画素９０６と９０８はそれぞれ＋３／１６と＋１／３２、その外側は０となる。
【００２６】
図１０（ａ）は、矢印がＲ画素位置の色差信号Ｒ−Ｇの画像ＣＲ０を示している。黒い線１００１上にある色差信号１００２は０−（−１／４）＝１／４、黒い線１００１を挟む位置にある色差信号１００３は１／２−（−１／８）＝５／８、色差信号１００５は１−（３／１６）＝１３／１６、色差信号１００４は１−（１／３２）＝３１／３２、その外側の色差信号は１となる。
【００２７】
図１０（ｂ）は、色差信号の第１の補間値の決定方法を説明するための図である。細い矢印がＲ画素位置の色差信号を示し、太い矢印が第１の補間値を示している。第１の補間値は、隣接する４つの色差信号の中間の２値の平均であり、選択された２つの値を太い矢印と２つの細い矢印を実線でつないで表現している。例えば、色差信号レベル１００６は色差信号レベル１００３と１００５の平均の２３／３２であり、色差信号レベル１００７は色差信号レベル１００３同士の平均であり５／８となる。細い黒線１００１上にある色差信号１００２は、信号レベルが周辺の色差信号レベルより低いため、第１の補間値の決定には使われていない。
【００２８】
図１０（ｃ）は、色差信号の第２の補間値の決定方法を説明するための図である。細い矢印がＲ画素位置の色差信号と第１の補間値を示し、太い矢印が第２の補間値を示している。第２の補間値は、隣接する４つの色差信号値と第１の補間値の中間の２値の平均であり、選択された２つの値を太い矢印と２つの細い矢印を実線でつないで表現している。細い黒線１００１上にある色差信号１００２は、信号レベルが周辺の色差信号レベルより低いため、第２の補間値の決定にも使われていない。
【００２９】
図１０（ｄ）は、色差信号の第３の補間値の決定方法を説明するための図である。細い矢印が第１の補間値ＣＲ１を示し、点線矢印が第２の補間値ＣＲ２を示し、太い矢印が第３の補間値ＣＲ３を示している。第３の補間値ＣＲ３は、隣接する４つの第２の補間値ＣＲ２の中間の２値の平均であり、選択された２つの値を太い矢印と２つの細い矢印を実線でつないで表現している。これら第１から第３の補間画像を合成してＲ−Ｇの補間画像ＣＲＲを合成する。この補間画像ＣＲＲでは、細い黒線１００１上にある色差信号１００８は、色差信号１００６と１００７の平均で４３／６４となる。これは、色差信号１００２が補間値の決定に使われないために、色差信号１００２より大きな値で置き換えられており、補間された色差信号Ｒ−Ｇの画像では黒線成分が低減してしまう。
【００３０】
この色差画像の補間処理による解像度低下を防止するために、撮像素子出力から生成された赤色差信号画像ＣＲ０と第３の補間信号画像ＣＲ３の差を取り線形補間を施して輝度補正画像ＤＹを生成し、第１の色光である補間Ｇ画像ＧＩに加えた画像ＧＣを生成する。この補間画像ＧＣは、２つの色差信号と組み合わされる３原色信号のベースとなる信号なので、図９（ｃ）に示されるように仮想の黒線成分を有したＧ画像となっており、色雑音を発生させずに色差信号から奪われた黒線成分を復元することができる。
【００３１】
また、Ｂ画素の信号に関しても同様の操作を行い、第１から第３の補間信号を生成し、それを合成して補間された色差信号Ｂ−Ｇの画像ＣＢＢを生成する。青色光は人間の目の解像度特性を決める光ではないため、赤色光のように補正信号を生成しなくて良い。
【００３２】
次に、補間画像ＧＣに対し、周辺８画素の最大値と最小値の範囲外にある信号にクリップ処理を施す。これは、画素欠陥は発生頻度が小さくて、ほとんどが単独であるため、隣接画素のレベル範囲を超えたものはキズとみなしてクリップすることで、キズの極めて少ない画像が得られる。
【００３３】
このようにして得られた、補間Ｇ画像ＧＣと２つの色差信号画像ＣＲＲ，ＣＢＢにマトリクス処理を施し、画像情報圧縮した後に、記録媒体インターフェース６１６を介して記録媒体６１７に撮影されたカラー画像データが記録される。
【００３４】
また、緑色光と赤色光＋青色光に分離する色分解プリズムに画素が市松状に配置された固体撮像素子２個を光学的に互いに補間する位置に固着し、赤色光＋青色光の光像が結像される固体撮像素子には赤色光を遮断する色フィルタと青色光を遮断する色フィルタが交互に設けられた固体撮像素子のように、以上図面を用いて説明した以外にも、光学的に市松状に配置された第１の色光の分光感度を有する画素と、その画素を補間する位置に第２または第３の色光のいずれか一方の分光感度を有した画素が配置され、全体として画素が行列状に配列された固体撮像素子を用いてさえいれば本発明は使用できる。
【００３５】
【発明の効果】
以上説明したように本発明のカラー固体撮像装置は、固体撮像素子の出力信号から算出された色差信号の補間処理の際に隣接する４画素の中間値２つの平均値で補間値を決める操作を繰り返し行って得られた補間値を合成して全画素の色差信号を算出するため、固体撮像素子の画素欠陥により発生していた色雑音を画像ボケを伴わずに低減でき、画像エッジ部で発生していたキズ補正エラーも生じない。このため、従来の欠陥画素位置を記憶し補正する方式で必要であった欠陥画素位置のメモリーやその書き込みの手間が省くことができる。また、画像信号から画素欠陥位置を検出する方式でできなかった小レベルの画素欠陥の補正もできる。さらに、本発明では色差信号に生じているレベル変動を実時間で低減できるため，固体撮像素子で避けられない検出雑音や光ショット雑音等のランダム雑音に起因する色雑音も低減でき、結果として透明感のある画像が得られるカラー固体撮像装置が実現できる。
【図面の簡単な説明】
【図１】この発明の第１の実施例を説明するためのカラー固体撮像装置のブロック図。
【図２】Ｙ信号用補間処理回路１３のより詳細なブロック図。
【図３】本発明の第１の実施例に係る色差信号の補間処理回路のブロック図。
【図４】本発明の第１の実施例に係る色差信号の画素補間方法を説明するための図。
【図５】本発明のの効果を説明するための図。
【図６】本発明の第２の実施例を説明するためのカラー固体撮像装置のブロック図。
【図７】色分解プリズムに固着された固体撮像素子の位置関係を説明するための図。
【図８】本発明の第２の実施例に係る信号処理アルゴリズムの流れ図。
【図９】本発明の第２の実施例に係る第１の色光画像の補間処理を説明するための図。
【図１０】本発明の第２の実施例に係る色差信号の補間処理を説明するための図。
【図１１】従来のキズ補正回路を説明するためのブロック図。
【符号の説明】
１０，６１９……駆動回路、　１１，６０５，６０６，６０７，６０８，１１０１……固体撮像素子、　１２……色フィルタ、　１３……Ｙ信号用補間処理回路、　１４，１７……遅延補償回路、　１５……減算器、　１６……色差信号用補間処理回路、　１８……マトリクス回路、　１９，７２０……タイミング発生器、　２１，３１……入力端子、　２２……同時化回路、　２２１，３５５……１水平時間遅延回路、　２２２，３５１，３５２……１画素時間遅延回路、　２３……相関判定回路、　２４……補間信号合成回路、　２４１……加算器、　２４２，２４３，３５３，３５４，３５６，３５７……スイッチ、　２５，３６……出力端子、　３２，３３，３４……補間信号発生回路、　３２１，３３１，３３２，３３３，３４１……２水平時間遅延回路、　３２２，３２３，３３４，３３５，３３６，３３７，３４２……２画素時間遅延回路、　３２４，３３８，３３９，３４３……中間値処理回路、　３３１，３３２，３３３，３３４，３３５，３３６，３３７……遅延回路、　３５……合成回路、　５１，５２，５２ａ，５２ｂ，５２ｃ，５３……画素欠陥の影響が生じる画素の信号レベル、　６０１……色分離プリズムブロック、　６０２，６０３……色分離鏡、　６０４……ハーフミラー、　６０９……ＡＤ変換機、　６１０……マルチプレクサ、　６１１……ＤＭＡコントローラ、　６１２……マイクロプロセッサ、　６１３……データメモリー、　６１４……プログラムメモリー、　６１５……ディジタル信号処理回路、　６１６……記録媒体インターフェース、　６１７……記録媒体、　６１８……ユーザーインターフェース、　１１０２……キズ補正回路。

Claims (4)

1. 市松状に配置された第１の色光の分光感度を有する画素と、その画素を補間する位置に第２または第３の色光のいずれか一方の分光感度を有した画素がそれぞれ行列状に配置され、全体として画素が行列状に配列された固体撮像素子を有し、前記固体撮像素子の出力信号から前記固体撮像素子の全画素に対する前記第１の色光に対応する第１の色信号を生成し、前記第２および第３の色光に対応する画素位置で前記第１の色光の画素信号との差をとり色差信号を生成し、前記色差信号から補間処理により前記固体撮像素子の全画素に対する色差信号を生成する固体撮像素子において、前記色差信号に施される補間処理は、前記色差信号の互いに隣接する画素が作る四角形の中心位置での色差信号を前記四角形の４頂点の色差信号値の２個の中間値の平均値で算出した第１の補間信号を生成し、前記色差信号と前記第１の補間信号の互いに隣接する画素が作る四角形の中心位置での色差信号を前記四角形の４頂点の色差信号値の２個の中間値の平均値で算出した第２の補間信号を生成し、前記第２および第３の色光に対応する画素位置で周辺画素信号の中間値の平均値で算出した第３の補間信号を生成し、前記第１および第２および第３の補間信号を合わせて全画素に対する色差信号を得ることを特徴とするカラー固体撮像装置。
2. 請求項１において、前記第３の補間信号と前記固体撮像素子の画素信号から生成された色差信号の差信号で、前記第１の色光の画素信号に補正を施すことを特徴とするカラー固体撮像装置。
3. 固体撮像素子は、３色から構成され、そのうち１色が市松状に配置されているモザイク色フィルタが設けられた固体撮像素子であることを特徴とする請求項１または２記載のカラー固体撮像装置。
4. 固体撮像素子は、色分解光学系に互いに補間する位置関係で取付けられた複数の固体撮像素子であることを特徴とする請求項１または２記載のカラー固体撮像装置。

Images