JP2007258837A - 固体撮像素子、撮像処理方法、欠陥画素補正方法、撮像処理ユニット、及び欠陥画素補正ユニット - Google Patents

Abstract

【課題】欠陥画素の補正処理の容易化を図ると共に、明暗差の大きい撮像でも良質な撮像画像を得る。
【解決手段】固体撮像素子１は、カラーフィルタ２の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色区域のそれぞれに２個の画素を配置する。欠陥画素の補正処理に対しては、欠陥画素と同一の色区域に配置される画素の出力信号を、欠陥画素の欠陥信号の替わりに用いて良好な補正結果を得る。明暗差の大きい撮像における処理では、画素の出力信号を閾値と比較し、出力信号が閾値を上回るときは、高輝度であると考えて、一つの色区域内の一つの画素の出力信号のみを選択して高輝度による白飛びの発生を抑える。出力信号が閾値を下回るときは、低輝度であると考えて、一つの色区域内の全画素の出力信号を選択して低輝度による黒潰れの発生を抑える。
【選択図】図３

Description

本発明は、撮像の解像度及び明るさに対する感度を維持した上で、撮像対象の明暗に左右されずに安定した撮像を行えると共に、撮像を行う固体撮像素子中に含まれる欠陥画素に対して簡易な処理で良好な補正を行えるようにした固体撮像素子、撮像処理方法、欠陥画素補正方法、撮像処理ユニット、及び欠陥画素補正ユニットに関する。

従来、デジタルカメラ、デジタルビデオカメラ、及び撮像機能付き携帯型情報機器などでは固体撮像素子（ＣＣＤ、ＣＭＯＳ等）が使用される。固体撮像素子は、複数の画素を水平方向及び垂直方向に配列した撮像面にカラーフィルタを配置し、カラーフィルタが有する色区域を各画素に対応付けてカラー画像の撮像を行えるようにしている。固体撮像素子の中には、各画素に対して水平方向及び垂直方向で走査を行って出力信号を読み出すＸＹアドレス走査型のものが存在する（例えばＣＭＯＳ）。ＸＹアドレス走査型の固体撮像素子は、画素（フォトダイオード）ごとにスイッチ及び信号増幅用のアンプが設けられているため、原理的には、画素単位で出力信号の読み出しが可能になっている。

固体撮像素子で明暗差の大きい対象を撮像すると、撮像範囲中の高輝度箇所に白飛びが生じ、低輝度箇所では黒潰れが生じることが知られている。このような固体撮像素子の特性を改善するため、特許文献１では、ＣＭＯＳ型の固体撮像素子において、低輝度域から中輝度域までの範囲に応じた高感度信号を生成する主感光部と、この主感光部より小さい受光面積を有して高輝度域に応じた低感度信号を生成する副感光部とを設けた構成が開示されている。

また、固体撮像素子は画素中に、出力がゼロ又は最大値から切り替わらない欠陥画素を一般に含んでいる。このような欠陥画素は撮像結果に悪影響を及ぼすので、欠陥画素に対する補正が必要となる。欠陥画素の補正処理については、従来から多数の方法が存在しており、例えば、特許文献２では、欠陥画素に近接する同色の色区域に対応した同色画素の出力信号の平均値を算出し、その平均値を欠陥画素の出力値として用いることが開示されている。
特開２００４−３６３１９３号公報 特開２００１−１２８０６８号公報

特許文献１では、明暗差の大きい撮像を良好に行うため１つの画素に主感光部及び副感光部を設けているので、一般的なＸＹアドレス走査型の固体撮像素子の構造と相異し、各感光部からの読み出しを制御する専用の制御部が必要になる上、欠陥画素の補正処理が複雑になると云う問題がある。一方、特許文献２では、欠陥画素に近接する複数の同色画素を用いるので、近接の程度及び受光状況等により補正に用いる同色画素の出力信号は、欠陥画素と受光レベルが大きく相異する場合もあるため、常に良好な補正結果を得られないおそれがある。

本発明は、斯かる問題に鑑みてなされたものであり、カラーフィルタの一つの色区域ごとに複数の画素を配置すると共に、画素数に応じて走査周波数を調整することで、撮像の解像度及び明るさに対する感度の低下を防止した上で、良好な撮像及び欠陥画素補正を行えるようにしたＸＹアドレス走査型の固体撮像素子を提供することを目的とする。
また、本発明は、上述した固体撮像素子を用いて明暗差の大きい対象を撮像しても、良好な撮像結果を得られるようにした撮像処理方法及び撮像処理ユニットを提供することを目的とする。
さらに、本発明は、上述した固体撮像素子に欠陥画素が含まれる場合、簡易な処理で良好な補正結果を得られる欠陥画素補正方法及び欠陥画素補正ユニットを提供することを目的とする。

上記課題を解決するために本発明に係る固体撮像素子は、カラーフィルタの格子状の色区域ごとに配置された画素に対して水平方向及び垂直方向で走査を行うＸＹアドレス走査型の固体撮像素子において、前記カラーフィルタの一つの色区域ごとに配置する画素数を、水平方向と垂直方向との少なくともいずれかの方向で複数にしており、一つの色区域ごとの画素数が複数である方向の走査周波数を、一つの色区域ごとに一つの画素を配置したときの走査周波数に前記画素数を乗じた値にしてあることを特徴とする。

また、本発明に係る固体撮像素子は、カラーフィルタの格子状の色区域ごとに配置された画素に対して水平方向及び垂直方向で走査を行うＸＹアドレス走査型の固体撮像素子において、前記カラーフィルタの一つの色区域ごとに配置する画素数を、水平方向と垂直方向との少なくともいずれかの方向で複数にしており、一つの色区域ごとの複数画素に対して合成出力を行う場合、一つの色区域ごとの画素数が複数である方向の走査周波数を、一つの色区域ごとに一つの画素を配置したときの走査周波数を前記画素数で除した値にしてあることを特徴とする。

本発明に係る撮像処理方法は、上記固体撮像素子で撮像処理を行う撮像処理方法であって、前記固体撮像素子の各画素の出力信号を閾値と比較し、比較により画素の出力信号が閾値を上回る場合、該画素が配置される色区域に係る撮像処理を、該色区域に配置される全画素中のいずれかの画素の出力信号に基づいて行うことを特徴とする。

さらに、本発明に係る欠陥画素補正方法は、上記固体撮像素子の中に欠陥画素が含まれる場合の欠陥画素の出力信号の補正処理を行う欠陥画素補正方法であって、前記欠陥画素の出力信号を、該欠陥画素が配置される色区域の欠陥画素以外の画素の出力信号に置き換える補正処理を行うことを特徴とする。

本発明に係る撮像処理ユニットは、上記固体撮像素子と、該固体撮像素子の各画素の出力信号を閾値と比較する比較手段と、該比較手段の比較により画素の出力信号が閾値を上回る場合、該画素が配置される色区域に係る撮像処理を、該色区域に配置される全画素中のいずれかの画素の出力信号に基づいて行う撮像処理手段とを備えることを特徴とする。
また、本発明に係る撮像処理ユニットは、前記撮像処理手段は、前記比較手段の比較により画素の出力信号が閾値を下回る場合、該画素が配置される色区域に係る撮像処理を、該色区域に配置される全画素の出力信号に基づいて行うことを特徴とする。

本発明に係る欠陥画素補正ユニットは、固体撮像素子の中に欠陥画素が含まれる場合の欠陥画素の出力信号の補正処理を行う欠陥画素補正ユニットであって、上記固体撮像素子と、該固体撮像素子の中に含まれる欠陥画素の出力信号を、該欠陥画素が配置される色区域の欠陥画素以外の画素の出力信号に置き換える補正処理を行う手段とを備えることを特徴とする。

本発明にあっては、カラーフィルタの一つの色区域に複数の画素を配置するため、２以上の画素で一つの色区域に係る色を表現するようになる。例えば、赤色区域、緑色区域、及び青色区域を有する原色系フィルタを用いた固体撮像素子では、一つの色区域（例えば赤色区域）に２以上の画素が対応して、その色区域における色（例えば赤色）の表現を複数の画素で行うようになるため、撮像及び欠陥画素補正に対して多様な処理の仕方が可能になる。しかも、本発明の固体撮像素子は、ＸＹアドレス走査型であるため、任意の画素から出力信号を読み出すことができるので、一つの色区域に対応付けられた全画素を処理に用いることも、全画素中のいずれかのみを処理に用いることも容易に行える。

また、上記のように一つの色区域に複数の画素を配置しても、複数画素の配置方向における走査周波数を、従来の一般的な固体撮像素子（一つの色区域に一つの画素を配置したもの。以下同様）で用いられる走査周波数の画素数倍にするので、色区域ごとをベースにした撮像の解像度が低下することを防止できる。さらに、上記のように一つの色区域に複数の画素を配置した固体撮像素子で一つの色区域ごとの複数画素に対して合成出力を行う場合は、複数画素の配置方向における走査周波数に、従来の一般的な固体撮像素子で用いられる走査周波数を画素数で割った値を用いるので、明るさに対する感度を確保でき、良好な撮像を行える。

一方、本発明にあっては、固体撮像素子の画素の出力信号が閾値を上回る場合、その画素が配置された箇所は、明暗差がある被写体の中の高輝度部分に対応している（受光量が多い）と判断し、その画素が対応付けられた色区域の全画素数未満の数の画素を用いて撮像処理を行う。それにより、その色区域においては、区域内の全画素を用いた場合と比べて全体的な出力レベルが低下するので、明暗差のある被写体を撮像しても、撮像画像中に白飛びが生じることを抑制できる。なお、１つの色区域に３以上の画素が配置されている場合、全画素数未満の画素として２以上の画素を撮像処理に用いることが可能である。

また、本発明にあっては、固体撮像素子の画素の出力信号が閾値を下回る場合、その画素が配置された箇所は、明暗差がある被写体の中の低輝度部分に対応していると判断し（受光量が少ない）、その画素が対応付けられた色区域の全画素を用いて撮像処理を行う。その結果、処理対象の色区域においては、全画素の出力レベルを確保でき、撮像画像中に黒く潰れた箇所が生じることを極力抑制できる。

さらに、本発明にあっては、欠陥画素の補正に対しては、欠陥画素が対応付けられた色区域内の他の画素の出力信号を、欠陥画素の出力信号として用いるため複雑な処理を行うことなく補正処理を行える。しかも、補正に用いる画素は、欠陥画素と同一の色区域内に位置するため、欠陥画素と同一レベルで受光している可能性が高いため、良好な補正結果を得やすくなる。なお、一つの色区域内に３以上の画素を配置するときは、その色区域内において、欠陥画素を除いた残りの画素に対して出力信号の平均を算出し、算出した平均値を欠陥画素の出力値として用いることが、良好な補正結果を得る上で好適となる。

本発明にあっては、カラーフィルタの一つの色区域に複数画素を配置すると共に、複数画素の配置方向における走査周波数を、画素数に応じて一般的な走査周波数を乗じた値にするので撮像の解像度の低下を防止した上で、撮像処理及び欠陥画素の補正処理を良好に行える固体撮像素子を提供できる。
また、本発明にあっては、カラーフィルタの一つの色区域に複数画素を配置すると共に、１つの色画素として複数画素の合成出力を行う場合、複数画素の配置方向における走査周波数に、画素数に応じて一般的な走査周波数を除した値を用いるので明るさに対する感度低下を防止した上で、撮像処理及び欠陥画素の補正処理を良好に行える固体撮像素子を提供できる。

本発明にあっては、画素の出力信号が閾値を上回る場合、その画素が配置された色区域では、少ない画素数で出力レベルを落として撮像処理を行うので、撮像画像中に白飛びが生じることを抑制して良質な撮像画像を得られる。
また、本発明にあっては、画素の出力信号が閾値を下回る場合、その画素が配置された色区域では、全画素の出力に基づき撮像処理を行うので、撮像画像中に黒潰れが生じることを抑制して良質な撮像画像を得られる。

本発明にあっては、欠陥画素と同一の色区域に配置された近接画素の出力信号を、欠陥画素の出力として置き換えるので、補正処理を容易に行えると共に良好なレベルの補正結果を得られる。

図１は、本発明の実施形態に係る撮像ユニット７を含む撮像装置１０の主要な内部構成を示している。撮像装置１０は、撮像ユニット７で処理された撮像画像のデジタル信号に対してビデオコーデック処理を行うビデオコーデック部１１、撮像時に撮像ユニット７へ制御信号を送るＣＰＵ１２、撮像画像を記憶する記憶媒体１３、及び液晶パネル１５用の液晶コントローラ１４を内部バス１０ａで接続した構成であり、ビデオコーデック部１１で処理された撮像画像は液晶コントローラ１４を経て液晶パネル１５へ送られ表示される。なお、撮像装置１０としては、デジタルカメラ、デジタルビデオカメラ、及び撮像機能付き携帯情報機器などが該当する。

撮像ユニット７は、図２、３に示す本発明の固体撮像素子１に含まれる欠陥画素の補正処理を行う欠陥画素補正ユニット及び固体撮像素子１からの出力信号に基づいて撮像処理を行う撮像処理ユニットとして機能する。撮像ユニット７は、撮像レンズ３を通過した光に対して光電変換を行う固体撮像素子１、固体撮像素子１に対する走査を行うための駆動パルス（走査クロック）を所定のタイミングで固体撮像素子１へ送るタイミングジェネレータ４、固体撮像素子１から読み出された出力信号（映像信号）に対する各種処理を行うユニット制御部５を備えている。

また、ユニット制御部５は、ＡＤ変換部５ａ、内部メモリ５ｂ、処理回路部５ｃ、補正処理部５ｄ、比較回路部５ｅ、及び選択回路部５ｆ等を有する。ＡＤ変換部５ａは、固体撮像素子１から出力されるアナログの信号をデジタル信号へ変換する。また、内部メモリ５ｂには、固体撮像素子１に含まれる欠陥画素の位置（固体撮像素子１の撮像面におけるアドレス）が撮像ユニット７の製造時点で記憶されると共に、比較処理で使用される閾値等も予め記憶されている。なお、記憶される閾値は、撮像画像に白飛びが生じる境界値に応じた数値になっている。また、処理回路部５ｃは、ＸＹアドレス方式による走査で読み出された映像信号に対応して所定のサンプリング処理を行うと共に、映像信号に対して自動ゲインコントロール処理等を行う。

補正処理部５ｄは、内蔵メモリ５ｂにアドレスが記憶された欠陥画素に対する補正処理を行うものであり、補正処理の詳細は後述する。また、比較回路部５ｅ及び選択回路部５ｆは、固体撮像素子１の撮像画像における輝度に応じて発生する白飛び及び黒潰れを抑制して良好な画像を得るための処理を行うものであり、これらの処理の詳細も後述する。なお、ユニット制御部５は、上述した各部以外にも、色分解、ホワイトバランス、ガンマ変換等の処理を行う回路部（図示せず）を有している。

図２は、固体撮像素子１の部分的な内部構成を示している（なお、図２では撮像面に配置されるカラーフィルタの図示を省略している）。本実施形態の固体撮像素子１は、ＸＹアドレス走査型のＣＭＯＳ（Complementary Metal-Oxide Semiconductor）であり、垂直方向のＶ０、Ｖ１、Ｖ２・・・行及び水平方向のＨ０、Ｈ１、Ｈ２・・・列において複数の画素（フォトダイオード）１ａ、１ａ・・・を格子状に配列し、画素１ａ、１ａ・・・ごとにアンプ部１ｂ、１ｂ・・・、スイッチ部１ｃ、１ｃ・・・を設けている。さらに、固体撮像素子１は、垂直方向（Ｙ方向）の走査を所定の垂直走査周波数で行う垂直走査回路部１ｄ、水平方向（Ｘ方向）の走査を所定の水平走査周波数で行う水平走査回路１ｅ、及び列方向のＣＤＳ回路部１ｆ、１ｆ・・・を設けて、ＸＹアドレス方式で各画素１ａ、１ａ・・・の出力信号を読み出せるようにしている。

図３は、撮像面にカラーフィルタ２を配置した状態の固体撮像素子１（一部分）を示している。カラーフィルタ２は、格子状に配列した赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の色区域（太線で囲んだ矩形部分）を多数備えた原色系のカラーフィルタであり、１つの色区域内には垂直方向で隣接する２つの画素が対応付けて配置される。そのため、各色区域はそれぞれ、水平方向の列については１列に対応するが、垂直方向の行については１つの色区域で２行分に対応している。このようなカラーフィルタ２の各色区域と、それに対応する画素の対応関係は、図１に示すユニット制御部５の内部メモリ５ｂに記憶されて各処理で参照される。なお、本実施形態の固体撮像素子１は、１つの色区域の形状を正方形にするため各画素の受光部を同面積にすると共に、受光部の形状を長方形（長手方向を水平方向に一致）にしているが、受光部の形状は長方形に限定されず他の形状にすることも勿論可能である。

上述した構成の固体撮像素子１に対する各画素の走査の仕方について説明する。固体撮像素子１は、水平方向（Ｘ方向）に対しては１つの色区域に１つの画素を配置するので、水平走査回路１ｅは従来の一般的なＸＹアドレス走査型のＣＭＯＳ（１つの色区域に１つの画素を配置したもの。以下、同様）で用いられる水平走査周波数（一般水平走査周波数と称す。以下、同様）と同等の値で走査を行う。一方、垂直方向（Ｙ方向）に対しては、１つの色区域に２つの画素を配置するので、垂直走査回路１ｄは従来の一般的なＸＹアドレス走査型のＣＭＯＳで用いられる垂直走査周波数（一般垂直走査周波数と称す。以下、同様）を２倍（１つの色区域の垂直方向における画素数に相当）した値を垂直走査周波数にして走査を行う。

なお、水平走査回路１ｅ及び垂直走査回路１ｄは、上述した水平走査周波数での走査及び垂直走査周波数での走査を図１に示すタイミングジェネレータ４から送られる走査クロックに基づき行っている。そのため、本実施形態のタイミングジェネレータ４には、上述した水平走査周波数及び垂直走査周波数に応じて走査クロックを出力できるものを用いている。このように、固体撮像素子１は、垂直方向においては一般垂直走査周波数を画素数倍した垂直走査周波数にすることで、１つの色区域に２つの画素を配置しても撮像の解像度が低下することを防止している。

次に、固体撮像素子１に含まれる欠陥画素に対するユニット制御部５での補正処理について説明する。この説明例では、図３に示すＶ５行Ｈ２列の画素が欠陥画素Ｇ５２としており、欠陥画素Ｇ５２のアドレス（Ｖ５行Ｈ２列）が製造時に内部メモリ５ｂに記憶されている。ユニット制御部５の補正処理部５ｄは、上述した走査で固体撮像素子１から読み出された出力信号が送られてくると、欠陥画素Ｇ５２の補正処理を開始する。この場合、補正処理部５ｄは、固体撮像素子１から読み出される各画素の出力信号の中に、欠陥画素Ｇ５２の欠陥信号が表れると、その欠陥信号を、欠陥画素Ｇ５２と同一の緑色区域Ｇ（Ｖ４−５行Ｈ２列）に対応付けられた正常画素Ｇ４２からの出力信号に置き換える補正処理を行う。

正常画素Ｇ４２は、欠陥画素Ｇ５２と垂直方向で最も近く隣接し、また、同じ緑色区域Ｇに位置することから、欠陥画素Ｇ５２と同等の受光レベルである確率が高い。そのため欠陥画素Ｇ５２の欠陥信号を、正常画素Ｇ４２の出力信号に置き換えると云う簡易な処理で良好なレベルの補正を容易に行える。

また、図４の第１フローチャートは、ユニット制御部５の比較回路部５ｅ及び選択回路部５ｆが行う白飛び及び黒潰れの抑制処理に係る撮像処理方法の処理手順を示している。ユニット制御部５の比較回路部５ｅは、固体撮像素子１から走査により読み出される各画素の出力信号（欠陥補正された信号も含む）の値を、内部メモリ５ｂに記憶されている閾値と比較し（Ｓ１）、出力信号が閾値以上であるか否かを判断する（Ｓ２）。閾値以上である場合（Ｓ２：ＹＥＳ）、その出力信号に係る画素が対応付けられた色区域に対して、選択回路部５ｆは奇数行のみの画素の出力信号を選択する（Ｓ３）。例えば、図３において、Ｖ２行Ｈ２列の画素Ｂ２２の出力信号が閾値以上である場合、画素Ｂ２２が配置されるＶ２−３行Ｈ２列の青色区域Ｂにおいて、偶数行（Ｖ２行）の画素Ｂ２２の出力信号は切り捨てられ、奇数行（Ｖ３行）の画素Ｂ３２の出力信号のみが選択される。

出力信号の選択後は、ユニット制御部５で選択された出力信号に基づいて撮像処理が行われる（Ｓ４）。上述した例の場合では、Ｖ２−３行Ｈ２列の青色区域Ｂに対する撮像処理は、画素Ｂ３２の出力信号のみに基づいて行われるようになり、詳しくは、Ｖ２−３行Ｈ２列の青色区域Ｂにおける合計画素出力を、画素Ｇ３２の出力信号の値に置き換えて、ユニット制御部５で後に続く所定の撮像処理が行われる。その結果、２画素分の出力が１画素分（画素Ｇ３２）になるためＶ２−３行Ｈ２列の青色区域Ｂの１つの青色画素としての出力レベルが低下し、撮像処理を経て得られる撮像画像中のＶ２−３行Ｈ２列の青色区域Ｂに応じた箇所で高輝度に基づく白飛びの発生が抑制される。なお、上述した処理は一例であり、出力信号が閾値以上である場合（Ｓ２：ＹＥＳ）、奇数行の替わりに偶数行のみの画素の出力信号を選択してもよい。

一方、出力信号が閾値以上でない場合、即ち、出力信号が閾値を下回る場合（Ｓ２：ＮＯ）、その出力信号に係る画素が対応付けられた色区域に対して、その色区域の両画素の出力信号を選択回路部５ｆが選択し（Ｓ５）、それから選択された出力信号に基づいてユニット制御部５で撮像処理が行われる（Ｓ４）。具体的には、Ｖ４行Ｈ１列の画素Ｒ４１及びＶ５行Ｈ１列の画素Ｒ５１の出力信号が閾値を下回る場合、Ｖ４−５行Ｈ１列の赤色区域Ｒにおいては、その赤色区域Ｒに配置される全画素Ｒ４１、Ｒ５１の出力信号が選択回路部５ｆで選択され、Ｖ４−５行Ｈ１列の赤色区域Ｒにおける出力レベルは、画素Ｒ４１、Ｒ５１の出力信号を合わせた値となり、ユニット制御部５で後に続く所定の撮像処理が行われる。その結果、撮像処理を経て得られる撮像画像中のＶ４−５行Ｈ１列の赤色区域Ｒに応じた箇所（１つの赤色画素）で低輝度に基づく黒潰れの発生が抑制される。

なお、本発明は、上述した形態に限定されるものではなく種々の変形例の適用が可能である。例えば、本発明で適用対象となる固体撮像素子１のタイプは、ＣＭＯＳに限定されるものではなく、ＸＹアドレス走査型で各画素の出力信号を個別に読み出すことができる固体撮像素子であれば適用可能である。また、固体撮像素子１の撮像面に配置されるカラーフィルタ２には、シアン、イエロー、グリーン、マゼンタの色区域を格子状に配列した補色系のカラーフィルタも適用可能である。さらに、上述した実施形態では、製造時点で判明している欠陥画素に対して補正処理を行うようにしたが、図１に示すユニット制御部５に欠陥画素の検出回路を適用することで、製造後に生じた欠陥画素を検出し、検出した欠陥画素に対して本発明に係る欠陥画素の補正処理を行うことも可能である。

図５は、変形例の固体撮像素子１′（一部分）を示している。変形例の固体撮像素子１′は図３に示した固体撮像素子１と同様に、カラーフィルタ２′の１つの色区域において、垂直方向に２つの画素を配置（水平方向には１つの画素を配置）しているが、各画素の受光部形状を三角形（直角三角形）にすると共に、Ｖ０行を含む偶数行では三角形の斜辺を下側に位置させると共に、奇数行では三角形の斜辺を上側に位置させて２つの画素を組み合わせて配置したことが特徴である。このような配置組合せにすることで、垂直方向に２つの画素を配置しても各色区域の形状を正方形にすることができ、従来の一般的なＸＹアドレス走査型のＣＭＯＳと同等なイメージの撮像を行える。

図６は、変形例の固体撮像素子２０（一部分）を示している。この固体撮像素子２０は、カラーフィルタ２１の赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の色区域のそれぞれに、垂直方向（Ｖ方向）で３個の画素を配置対応付けている。固体撮像素子２０のカラーフィルタ２１を除いた構成自体は、図２に示す固体撮像素子１と同等であるが、固体撮像素子２０は垂直走査周波数を、一般垂直走査周波数の３倍（１つの色区域の垂直方向における画素数に相当）にして、解像度の低下を防止することが特徴となる。また、このように色区域ごとに３個の画素を配置することで、多様な欠陥画素の補正処理、並びに白飛び及び黒潰れの抑制処理を行える。

詳しくは、欠陥画素の補正処理では、一つの色区域において１つの画素が欠陥画素である場合、その欠陥画素の欠陥信号を、残り２つの画素の出力信号の平均値に置き換えるようにしてもよい。例えば、Ｖ１行Ｈ０列の画素が欠陥画素Ｇ１０である場合、補正処理部５ｄがＶ０行Ｈ０列の画素Ｇ００及びＶ２行Ｈ０列の画素Ｇ２０の出力信号の平均値を求め、欠陥画素Ｇ１０の欠陥信号を、求めた平均値に置き換える補正処理を行う。この補正処理では、垂直方向で欠陥画素Ｇ１０の両側に位置する画素Ｇ００、Ｇ１０の出力平均を用いるので、欠陥画素Ｇ１０が正常と仮定した場合に予想される出力レベルと更に近似した値へ補正でき、良好な補正結果が得られる。

また、図７の第２フローチャートは、図６の固体撮像素子２０を用いた白飛び及び黒潰れを抑制するための撮像処理方法に係る処理手順を示している。この場合、図１に示すユニット制御部５の内部メモリ５ｂには、白飛びが生じる境界値に応じた数値の第１閾値、及び黒潰れが生じる境界値に応じた数値の第２閾値（第２閾値＜第１閾値）を予め記憶させておき、ユニット制御部５の比較回路部５ｅ及び選択回路部５ｆで第２フローチャートに示す処理を行わせる。

即ち、比較回路部５ｅは、読み出された各画素の出力信号（欠陥補正された信号も含む）の値を、第１閾値及び第２閾値とそれぞれ比較し（Ｓ１０）、出力信号と各閾値との大小関係を判断する（Ｓ１１）。比較した出力信号が第１閾値以上である場合（Ｓ１１：第１閾値以上）、比較対象の出力信号に係る画素が対応付けられた色区域は高輝度と考えられるので、その色区域において、選択回路部５ｆは垂直方向（Ｖ方向）へ３個並んだ内の中央の画素の出力信号を選択する（Ｓ１２）。例えば、図６に示すＶ３−Ｖ５行Ｈ０列の赤色区域Ｒにおける３つの画素Ｒ３０、Ｒ４０、Ｒ５０の少なくとも１つの出力信号が第１閾値以上である場合、画素Ｒ４０のみの出力信号が選択されることになる。この場合、画素Ｒ４０の出力信号に基づきＶ３−Ｖ５行Ｈ０列の赤色区域Ｒに係る撮像処理が行われるため（Ｓ１５）、画素Ｒ３０、Ｒ４０、Ｒ５０の合計出力（合成出力）が画素Ｒ４０のみの出力信号に置き換えられることになり、Ｖ３−Ｖ５行Ｈ０列の赤色区域Ｒ（１つの赤色画素）における出力レベルを低下させて、高輝度による白飛びの発生を確実に抑制できる。

また、比較した出力信号が第２閾値以上第１閾値未満である場合（Ｓ１１：第２閾値以上第１閾値未満）、比較対象の出力信号に係る画素が対応付けられた色区域では、白飛び及び黒潰れが生じない適正な輝度範囲に収まっていると考えられるので、その色区域において、選択回路部５ｆは垂直方向（Ｖ方向）へ３個並んだ内の上下両側の画素の出力信号を選択する（Ｓ１３）。例えば、図６に示すＶ３−Ｖ５行Ｈ１列の緑色区域Ｇにおける３つの画素Ｇ３１、Ｇ４１、Ｇ５１の全ての出力信号がそれぞれ第２閾値以上第１閾値未満である場合、上側の画素Ｇ３１及び下側の画素Ｇ５１の出力信号が選択されることになる。この場合、２つの画素Ｒ３１、Ｒ５１の合計出力信号に基づきＶ３−Ｖ５行Ｈ１列の緑色区域Ｇに係る撮像処理が行われるため（Ｓ１５）、画素Ｇ３１、Ｇ４１、Ｇ５１の合計出力が画素Ｇ３１及び画素Ｇ５１の出力信号を合わせたものに置き換えられたことになり、Ｖ３−Ｖ５行Ｈ１列の緑色区域Ｇ（１つの緑色画素）における出力レベルを適正に維持して良好な画質を確保できる。

さらに、比較した出力信号が第２閾値未満である場合（Ｓ１１：第２閾値未満）、比較対象の出力信号に係る画素が対応付けられた色区域は低輝度と考えられるので、その色区域において、選択回路部５ｆは全画素の出力信号を選択する（Ｓ１４）。例えば、図６に示すＶ３−Ｖ５行Ｈ２列の青色区域Ｂにおける３つの画素Ｂ３２、Ｂ４２、Ｂ５２の少なくとも１つの出力信号が第２閾値未満である場合、全画素Ｂ３２、Ｂ４２、Ｂ５２の出力信号が選択されることになる。この場合、３つの画素Ｂ３２、Ｂ４２、Ｂ５２の合計出力信号に基づきＶ３−Ｖ５行Ｈ２列の青色区域Ｂに係る撮像処理が行われるため（Ｓ１５）、全画素Ｂ３２、Ｂ４２、Ｂ５２の出力信号を用いてＶ３−Ｖ５行Ｈ２列の青色区域Ｂ（１つの青色画素）における出力レベルを高め、低輝度による黒潰れの発生を確実に抑制できる。

図８は、別の変形例に係る固体撮像素子３０（一部分）を示している。この固体撮像素子３０は、カラーフィルタ３１の赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の色区域内において、垂直方向（Ｖ方向）及び水平方向（Ｈ方向）のそれぞれの方向で２個の画素を配置して計４個の画素を１つの色区域に対応付けている。固体撮像素子３０のカラーフィルタ３１を除いた構成自体も、図２に示す固体撮像素子１と同等であるが、固体撮像素子２０は垂直走査周波数を、一般垂直走査周波数の２倍（１つの色区域の垂直方向における画素数に相当）にすると共に、水平走査周波数も一般水平走査周波数の２倍（１つの色区域の水平方向における画素数に相当）にし、解像度の低下を防止している。このように色区域ごとに計４個の画素を配置することで、さらに多様な欠陥画素の補正処理、並びに白飛び及び黒潰れの抑制処理を行うことができ、多様な設計仕様にも柔軟に対応できる。

例えば、欠陥画素の補正処理では、Ｖ４行Ｈ２列の画素が欠陥画素Ｒ４２とすると、欠陥画素Ｒ４２が対応付けられた赤色区域Ｒにおける他の画素Ｒ４３、Ｒ５２、Ｒ５３の出力信号の平均値を算出し、その平均値を欠陥画素Ｒ４２の欠陥信号として用いることが考えられる。この場合、欠陥画素Ｒ４２の周囲で近接する３個の画素の平均値を用いるため一段と自然な補正を行える。

また、白飛び及び黒潰れを抑制するための撮像処理方法に係る処理では、図７に示す第２フローチャートにおいて、第２閾値以上第１閾値未満の場合は、垂直方向で両端の２個の画素の出力信号を選択していたが、図８の固体撮像素子３０では一つの色区域において、４個の中のいずれか３個の画素の出力信号を選択し、第１閾値以上のときは４個の中のいずれか２個の画素の出力信号を選択し、第２閾値未満のときは全画素の出力信号を選択するようにしてもよい。このようにすることで、白飛びが生じない範囲で全般的な輝度を高めた撮像画像を得ることが可能になる。なお、図３、５、６、８の各固体撮像素子１、１′、２０、３０で示す形態以外にも、１つの色区域に複数の画素を配置することも可能であり、例えば１つの色区域の水平方向のみに複数の画素を配置することも勿論適用できる。

さらに、図３、５、６、８に示す各固体撮像素子１、１′、２０、３０では、いずれも１つの色区域に複数画素を配置した方向の走査周波数として、従来の一般走査周波数の画素数倍する値を用いるように説明したが、各画素の光の蓄積時間が短くなることに伴う明るさに対する感度の低下抑制を重要視するときは、走査周波数を上述した内容とは別の値にしてもよい。即ち、各固体撮像素子１、１′、２０、３０において、明るさ感度の低下抑制のため１つの色区域に配置した複数画素を１つの色画素として合成出力する場合は、上記とは逆に、一般的なＸＹアドレス走査型のＣＭＯＳ（固体撮像素子）に用いられる一般走査周波数を画素数で除した値を走査周波数にしてもよい。

例えば、図３に示す固体撮像素子１において、１つの色区域に配置した垂直方向の２つの画素を１つの色画素として各画素信号を合成して読み出すときは、垂直走査周波数を、一般走査周波数を２（１つの色区域の垂直方向における画素数に相当）で除した値にして走査を行うようにする。なお、この場合は、垂直走査回路１ｄが上述した２で除した垂直走査周波数で走査を行えるように所定の走査クロックを送るタイミングジェネレータ４（図１参照）が使用される。このような走査を行うことで、明るさに対する感度の低下を防止して良好な撮像が行える。なお、一般走査周波数を１つの色区域の複数の画素数で除した走査周波数で走査を行うことは、図５、６、８に示す各固体撮像素子１′、２０、３０でも勿論適用でき、例えば、図６の固体撮像素子２０では、一般垂直走査周波数を３で除した値を垂直走査周波数にすることになり、図８の固体撮像素子３０では、一般水平走査周波数及び一般垂直走査周波数をそれぞれ２で除した値を水平走査周波数及び垂直走査周波数として用いることになる。

本発明の実施形態に係る撮像ユニットを含む撮像装置の主要な内部構成を示すブロック図である。 固体撮像素子の構成を示す概略図である。 カラーフィルタの各色区域に対する画素の配置を示す固体撮像素子の概略図である。 本発明の撮像処理方法に係る処理手順を示す第１フローチャートである。 三角形の受光部を有する画素を用いた変形例の固体撮像素子の概略図である。 変形例の固体撮像素子の概略図である。 変形例の撮像処理方法に係る処理手順を示す第２フローチャートである。 別の変形例の固体撮像素子の概略図である。

符号の説明

１ 固体撮像素子
１ａ 画素
２ カラーフィルタ
５ ユニット制御部
５ｄ 補正処理部
５ｅ 比較回路部
５ｆ 選択回路部

Claims (7)

1. カラーフィルタの格子状の色区域ごとに配置された画素に対して水平方向及び垂直方向で走査を行うＸＹアドレス走査型の固体撮像素子において、
   前記カラーフィルタの一つの色区域ごとに配置する画素数を、水平方向と垂直方向との少なくともいずれかの方向で複数にしており、
   一つの色区域ごとの画素数が複数である方向の走査周波数を、一つの色区域ごとに一つの画素を配置したときの走査周波数に前記画素数を乗じた値にしてあることを特徴とする固体撮像素子。
2. カラーフィルタの格子状の色区域ごとに配置された画素に対して水平方向及び垂直方向で走査を行うＸＹアドレス走査型の固体撮像素子において、
   前記カラーフィルタの一つの色区域ごとに配置する画素数を、水平方向と垂直方向との少なくともいずれかの方向で複数にしており、
   一つの色区域ごとの複数画素に対して合成出力を行う場合、一つの色区域ごとの画素数が複数である方向の走査周波数を、一つの色区域ごとに一つの画素を配置したときの走査周波数を前記画素数で除した値にしてあることを特徴とする固体撮像素子。
3. 請求項１又は請求項２に記載の固体撮像素子で撮像処理を行う撮像処理方法であって、
   前記固体撮像素子の各画素の出力信号を閾値と比較し、
   比較により画素の出力信号が閾値を上回る場合、該画素が配置される色区域に係る撮像処理を、該色区域に配置される全画素中のいずれかの画素の出力信号に基づいて行うことを特徴とする撮像処理方法。
4. 請求項１又は請求項２に記載の固体撮像素子の中に欠陥画素が含まれる場合の欠陥画素の出力信号の補正処理を行う欠陥画素補正方法であって、
   前記欠陥画素の出力信号を、該欠陥画素が配置される色区域の欠陥画素以外の画素の出力信号に置き換える補正処理を行うことを特徴とする欠陥画素補正方法。
5. 請求項１又は請求項２に記載の固体撮像素子と、
   該固体撮像素子の各画素の出力信号を閾値と比較する比較手段と、
   該比較手段の比較により画素の出力信号が閾値を上回る場合、該画素が配置される色区域に係る撮像処理を、該色区域に配置される全画素中のいずれかの画素の出力信号に基づいて行う撮像処理手段とを備えることを特徴とする撮像処理ユニット。
6. 前記撮像処理手段は、前記比較手段の比較により画素の出力信号が閾値を下回る場合、該画素が配置される色区域に係る撮像処理を、該色区域に配置される全画素の出力信号に基づいて行う請求項５に記載の撮像処理ユニット。
7. 固体撮像素子の中に欠陥画素が含まれる場合の欠陥画素の出力信号の補正処理を行う欠陥画素補正ユニットであって、
   請求項１又は請求項２に記載の固体撮像素子と、
   該固体撮像素子の中に含まれる欠陥画素の出力信号を、該欠陥画素が配置される色区域の欠陥画素以外の画素の出力信号に置き換える補正処理を行う手段とを備えることを特徴とする欠陥画素補正ユニット。
   

Images