JP2008187249A - 固体撮像装置 - Google Patents

Abstract

【課題】Ｗ信号を用いた信号処理により感度及びＳ／Ｎを向上できると共に、解像度劣化を低減できる固体撮像装置を提供する。
【解決手段】画素部１１には光電変換素子にＷ、Ｒ、Ｇ、Ｂの色フィルタがそれぞれ配置されたＷ画素、Ｒ画素、Ｇ画素、Ｂ画素が行列状に２次元に配置され、Ｗ信号、Ｒ信号、Ｇ信号、Ｂ信号が出力される。エッジ検出部１３１は、画素部１１においてＷ画素を中心画素とした所定エリアを定め、中心画素を含む複数ブロックに所定エリアを分割し、それぞれのブロック内に画像のエッジが存在するか否か示すエッジ情報を検出する。ブロック選択部１３２は、エッジ情報からエッジが存在しないブロックを選択する。比率係数算出部１３３は、選択されたブロックからＲ信号、Ｇ信号、Ｂ信号の比率係数を算出する。そして、ＲＧＢ信号生成部は、算出された比率係数を用いて中心画素のＷ信号から新たにＲ信号、Ｇ信号、Ｂ信号を生成する。
【選択図】 図１

Description

この発明は、ＣＣＤ（charge-coupled device）イメージセンサやＣＭＯＳイメージセンサなどの固体撮像装置に関するものであり、例えばイメージセンサ付き携帯電話、デジタルカメラ、ビデオカメラなどに使用される。

イメージセンサに使用される色フィルタは、補色フィルタから原色ベイヤー配列まで、多種多様の配列がその信号処理方法と共に提案されている。イメージセンサは、近年、画素の微細化が進み２μｍ代が実用化され、さらには１．７５μｍ画素や１．４μｍ画素の開発が進められている。２μｍ以下の微細画素では、入射光量が大幅に減少するためノイズ劣化が懸念される。このため、微細画素における感度を改善する方法として、色フィルタにＷ（白）を使ったイメージセンサが提案されている（例えば、特許文献１，２，３，４参照）。

しかし、高感度なＷ画素から得られるＷ信号を、Ｙ信号（輝度信号）＝Ｗ信号としているため、色再現性に問題が有る。本来、Ｙ信号はＹ＝０．５９Ｇ＋０．３Ｒ＋０．１１Ｂの比率で生成しないと、ＹＵＶ信号から生成したＲＧＢ信号の色再現性が悪くなる。さらに、前記特許文献では、Ｗ画素を使った有効な信号処理がなされていない。
特開平８−２３５４２号公報 特開２００３−３１８３７５号公報 特開２００４−３０４７０６号公報 特開２００５−２９５３８１号公報

この発明は、Ｗ（白）画素から得られるＷ信号を用いた信号処理により感度及びＳ／Ｎを向上できると共に、解像度劣化を低減できる固体撮像装置を提供する。

この発明の一実施態様の固体撮像装置は、光電変換素子にＷ（白）、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色フィルタがそれぞれ配置されたＷ画素、Ｒ画素、Ｇ画素、Ｂ画素が行列状に２次元に配置され、前記Ｗ画素、Ｒ画素、Ｇ画素、Ｂ画素に入射した光をそれぞれ光電変換して得たＷ信号、Ｒ信号、Ｇ信号、Ｂ信号を出力する画素部と、前記画素部においてＷ（白）フィルタが配置されたＷ画素を中心画素とした所定エリアを定め、前記中心画素を含む複数ブロックに前記所定エリアを分割し、それぞれのブロック内に画像のエッジが存在するか否か示すエッジ情報を検出するエッジ検出部と、前記エッジ検出部により検出された前記エッジ情報からエッジが存在しないブロックを選択するブロック選択部と、前記ブロック選択部により選択されたブロックから前記Ｒ信号、Ｇ信号、Ｂ信号の比率係数を算出する比率係数算出部と、前記比率係数算出部により算出された前記比率係数を用いて、前記中心画素のＷ信号から新たにＲ信号、Ｇ信号、Ｂ信号を生成するＲＧＢ信号生成部とを具備することを特徴とする。

この発明によれば、Ｗ（白）画素から得られるＷ信号を用いた信号処理により感度及びＳ／Ｎを向上できると共に、解像度劣化を低減できる固体撮像装置を提供することが可能である。

以下、図面を参照してこの発明の実施形態のＣＭＯＳイメージセンサを含む固体撮像装置について説明する。説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。

［第１実施形態］
まず、この発明の第１実施形態のＣＭＯＳイメージセンサを含む固体撮像装置について説明する。

図１は、第１実施形態の固体撮像装置の概略構成を示すブロック図である。固体撮像装置は、図１に示すように、センサ部１１、ラインメモリ１２、信号生成回路１３、信号処理回路１４、システムタイミング発生回路（ＳＧ）１５、コマンドデコーダ１６、シリアルインタフェース（シリアルＩ／Ｆ）１７、及び閾値レベル設定回路１８を備えている。

センサ部１１には、画素部１１１、及びカラム型アナログデジタルコンバータ（ＡＤＣ）１１２が配置されている。画素部１１１には、画素（セル）が半導体基板上に行及び列の二次元的に配置されている。各画素は、光電変換手段、例えばフォトダイオードと色フィルタから構成され、フォトダイオードの上部にはＷ（白）、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の４色のカラーフィルタがそれぞれ配置される。なお、Ｗ（白）フィルタは、ＲＧＢの光信号を透過するように形成している。

センサ部１１では、レンズ１９で集光した光信号を、ＷＲＧＢの４色のカラーフィルタでＷＲＧＢ光信号に分離し、２次元に配置されたフォトダイオードアレイによりＷＲＧＢ光信号を光電変換により信号電荷に変換し出力する（Ｗ信号と第１のＲ/Ｇ/Ｂ信号の出力）。この信号電荷は、カラム型アナログデジタルコンバータ（ＡＤＣ）でデジタル信号に変換される。変換されたデジタル信号は、ラインメモリ１２に出力され、ラインメモリ１２内のメモリ１〜メモリ７に垂直７ライン分、記憶される。このメモリ１〜メモリ７に記憶されたデジタル信号は、信号生成回路１３へそれぞれ並列に入力される。

信号生成回路１３では、画素部１１１の７×７画素のエリアを、中心のＷ画素を共通に４×４画素からなる４つのブロックに分割し、各ブロック内に画像のエッジが存在しているか否かを、エッジ検出回路１３１により判定している。この判定は、画素の信号レベルとノイズレベルを想定した閾値レベルＬｅｖＮとを比較することにより判定している。ブロック選択部１３２は、エッジ検出回路１３１による判定結果に基づいて、４ブロックからエッジが存在していないブロックを選択する。比率係数算出部１３３は、ブロック選択部１３２により選択されたブロックからＲＧＢ信号の比率係数を算出し、さらに中心画素のＷ0から新たに信号Ｒｗ、Ｇｗ、Ｂｗを生成している（第２のＲ/Ｇ/Ｂ信号の生成）。その後、ベイヤー配列変換部１３４は、生成された信号Ｒｗ、Ｇｗ、Ｂｗを用いて、一般的な信号処理が行えるようにＳ／Ｎを改善したベイヤー配列変換処理を実施する。

その後、ベイヤー配列変換部１３４にて処理された信号は、後段の信号処理回路１４に入力される。信号処理回路１４に入力された信号は、ホワイトバランス、色分離補間処理、輪郭強調、ガンマ補正、及びＲＧＢマトリックス回路などにより処理され、ＹＵＶ信号やＲＧＢ信号として出力される。なお、ここでは、１チップセンサとして、ベイヤー配列変換部１３４にて処理された信号を信号処理回路１４にて処理して出力したが、そのまま出力して、専用のＩＳＰ(イメージシグナルプロセッサ)で処理してもよい。また、前述したセンサ部１１、ラインメモリ１２、信号生成回路１３、及び信号処理回路１４の動作は、システムタイミング発生回路（ＳＧ）１５から出力される信号に基づいて行われる。また、コマンドは、外部から入力されるデータＤＡＴＡで制御することもできる。コマンドデコーダ１６には、シリアルインタフェース（シリアルＩ／Ｆ）１７を介してデータＤＡＴＡが入力され、デコードされた信号が各回路に入力される。

次に、第１実施形態における信号生成回路１３内のエッジ検出回路１３１の処理方法について述べる。

図２（ａ）、図２（ｂ）及び図２（ｃ）は、信号生成回路１３のエッジ検出回路１３１における処理方法を示す図である。ラインメモリ１２からエッジ検出回路１３１へは、図２（ａ）に示すように、７×７の画素信号が入力される。エッジ検出回路１３１では、７×７の中心画素であるＷ画素をターゲット画素Ｗ０とし、７×７の画素信号が、図２（ｂ）に示すように、中心画素Ｗ０をコーナーとする４つのブロックに分離される。ここで、左上をブロックＡＺ、右上をブロックＢＺ、左下をブロックＣＺ、右下をブロックＤＺとする。

次に、図２（ｃ）に示すように、エッジ検出回路１３１の差分判定部により１画素差分判定方法が行われる。中心画素がＷ０のとき、Ｗ０を中心に差分信号Ｗ０−Ｗ１，Ｗ０−Ｗ２，Ｗ０−Ｗ３，Ｗ０−Ｗ４，Ｗ０−Ｗ５，Ｗ０−Ｗ６，Ｗ０−Ｗ７，Ｗ０−Ｗ８の絶対値をそれぞれ算出する。さらに、それぞれの絶対値が、閾値レベル設定回路１８に設定された閾値レベルＬｅｖＮより小さいか否かを判定する。そして、エッジ判定部により各ブロックに属する各３つの判定の論理和（ＯＲ）をとり、ブロック内にエッジが存在するか否かの最終判定を行う。すなわち、各ブロックの３つの判定のうち、すべてが閾値レベルＬｅｖＮより小さい場合、そのブロックにエッジが存在しないと判定し、１つでも閾値レベルＬｅｖＮと等しいかあるいは大きい場合、そのブロックにエッジが存在すると判定する。この判定に使用される信号は、Ｗ信号に限定されずに、Ｇ信号やＲ信号、Ｂ信号を用いても良い。また、ＷＲＧＢ信号のうち複数の信号を併用することにより、さらにエッジ検出精度を改善することができる。

図３（ａ）、図３（ｂ）及び図３（ｃ）は、ブロック内の差分判定における別の処理方法を示す図である。この差分判定は、エッジ検出回路１３１の差分判定部によって行われる。ここでは、図３（ａ）に示すように、左上の４×４画素のブロックＡＺを例に用いて説明する。

まず、２×２画素による差分判定方法について述べる。図３（ｂ）に示すように、Ｗ０を含む２×２画素の加算信号と別の２×２画素の加算信号との差分を取った信号レベルが、閾値レベルＬｅｖＮより小さいか否かを判定する。そして、３つの判定の論理和（ＯＲ）をとり、ブロックの最終判定とする。

次に、３×３画素による差分判定方法について述べる。図３（ｃ）に示すように、Ｗ０を含む３×３画素の加算信号と別の３×３画素の加算信号との差分を取った信号レベルが、閾値レベルＬｅｖＮより小さいか否かを判定する。そして、この判定をブロックの最終判定とする。他に４×４画素内の信号を自由に組み合わせて、差分判定を行うことができる。例えば、ブロック内の画像信号がコーナーやストライプ、斜めなどである場合も差分判定を行うことができる。２画素以上の加算信号を用いることでランダムノイズを低減でき、高精度の判定が実施できる。

図４に、エッジ検出回路１３１にてブロックＡＺ〜ＤＺを判定した例を示す。差分信号レベルが閾値レベルより小さい場合（ＹＥＳ）、すなわちブロック内にエッジが存在しないときを○で示し、差分信号レベルが閾値レベルと等しいかあるいは大きい場合（ＮＯ）、すなわちブロック内にエッジが存在するときを×で示す。図４に示すように、４つのブロックＡＺ〜ＤＺに対してそれぞれ判定を行う。

次に、左上の４×４画素のブロックＡＺに対して、比率係数算出及びＷ０信号からのＲＧＢ信号生成の処理について述べる。

図５は、４×４画素のブロックＡＺに対して、比率係数算出及びＷ０信号からのＲＧＢ信号生成の処理を示す図である。これは、図１に示したブロック選択部での判定結果を元に、１つのブロックＡＺを選択した場合の処理方法である。

４×４の画素配列の中から抽出したＲ画素４個のＲ１，Ｒ２，Ｒ５，Ｒ６信号の平均値をＲaveとする。同様に、Ｇ画素４個のＧ１，Ｇ２，Ｇ５，Ｇ６信号の平均値をＧaveとし、Ｂ画素４個のＢ１，Ｂ２，Ｂ４，Ｂ５信号の平均値をＢaveとする。そして、Ｒave、Ｇave、Ｂaveの合計をＷ（白）信号の平均値としてＷrgbとしている。この計算結果を用いてターゲット画素Ｗ０の信号から新たな信号Ｒ０ｗ、Ｇ０ｗ，Ｂ０ｗを次式より生成する。

Ｒ０ｗ＝Ｗ０＊（Ｒave/Ｗrgb）
Ｇ０ｗ＝Ｗ０＊（Ｇave/Ｗrgb）
Ｂ０ｗ＝Ｗ０＊（Ｂave/Ｗrgb）
なお、右上、左下、右下のブロックＢＺ、ＣＺ、ＤＺをそれぞれ選択した場合も、同様に算出できる。この処理を順次、Ｗ画素に適用して、各Ｗ画素から新たな信号Ｒｗ、Ｇｗ、Ｂｗを生成する。

図６に、図５に示したブロック選択時のベイヤー配列変換の処理方法を示す。Ｗ０画素の信号から生成したＧ０ｗ信号はベイヤー配列のＧ画素の位置となるため、そのままＧ０ｗに置換する。一方、Ｗ０画素に隣接するＧ６、Ｂ５、Ｒ６の画素は、Ｗ０画素から生成した信号を加算することで、Ｓ／Ｎを改善することができる。Ｇ６画素では、周辺のＷ画素から生成したＧ１ｗとＧ２ｗとＧ４ｗとＧ０ｗの４画素の平均を求め、求めた平均とＧ６との平均値をＧ6ｗとして置換することで、Ｇ６のＳ／Ｎを改善することができる。処理は、単純平均でなく、Ｇ６画素に対して重み付けを低くすればさらにＳ／Ｎを改善することができる。例えば、単純にＧ６とＧ１ｗ，Ｇ２ｗ，Ｇ４ｗ，Ｇ０ｗの５画素の平均値をＧ6ｗとして置換することもできる。また、Ｒ６画素では、両サイドのＲ４ｗとＲ０ｗの平均を求め、求めた平均とＲ６との平均値を新たなＲ６ｗとすることで、Ｓ／Ｎを改善することができる。同様に、画素Ｂ５では、上下のＢ２ｗとＢ０ｗとの平均を求め、求めた平均とＢ５との平均値を新たにＢ５ｗとすることで、Ｓ／Ｎを改善することができる。Ｇ６ｗと同様に、Ｒ６ｗとＢ５ｗも平均化で重み付けをして算出することで、Ｓ／Ｎ感や解像度感を制御することができる。

図７は、図２（ｂ）において２ブロックＡＺ、ＢＺを選択した場合の例を示す。７×７画素のうち上部４×７画素の２ブロックを代表に、比率係数算出及びＷ０信号からのＲＧＢ信号生成の処理について述べる。４×７の画素配列の中から抽出したＲ画素８個の平均値をＲaveとする。同様に、Ｇ画素８個の平均値をＧaveとし、Ｂ画素６個の平均値をＢaveとする。そして、Ｒave、Ｇave、Ｂaveの合計をＷ（白）信号の平均値としてＷrgbとしている。この計算結果を用いてターゲット画素Ｗ０の信号から新たな信号Ｒ０ｗ、Ｇ０ｗ，Ｂ０ｗを次式より生成する。

Ｒ０ｗ＝Ｗ０＊（Ｒave/Ｗrgb）
Ｇ０ｗ＝Ｗ０＊（Ｇave/Ｗrgb）
Ｂ０ｗ＝Ｗ０＊（Ｂave/Ｗrgb）
なお、他の２ブロックを選択した場合も、同様に信号Ｒ０ｗ、Ｇ０ｗ，Ｂ０ｗを算出できる。この処理を順次、Ｗ画素に適用して各Ｗ画素から新たな信号Ｒｗ、Ｇｗ、Ｂｗを生成する。

図８に、図７に示したブロック選択時のベイヤー配列変換の処理方法を示す。図６に対してＧ７とＲ７が追加されている。Ｇ７画素では、周辺のＷ画素から生成したＧ２ｗとＧ３ｗとＧ０ｗとＧ５ｗの４画素の平均を求め、求めた平均とＧ７との平均値をＧ７ｗとして置換することで、Ｇ７のＳ／Ｎを改善することができる。処理は、単純平均でなく、Ｇ７画素の重み付けを持った平均化で新たにＧ７ｗを生成することもできる。また、Ｒ７画素では、両サイドのＲ０ｗとＲ５ｗの平均を求め、求めた平均とＲ７との平均値を新たなＲ７ｗとすることで、Ｓ／Ｎを改善することができる。Ｒ７ｗも平均化で重み付けをして算出することができる。

図９は、図２（ｂ）において斜めの２ブロックＡＺ、ＤＺを選択した場合の例を示す。左上と右下の４×４画素の２ブロックを代表に、比率係数算出及びＷ０信号からのＲＧＢ信号生成の処理について述べる。合計３１個の画素配列の中から抽出したＲ画素８個の平均値をＲaveとする。同様に、Ｇ画素８個の平均値をＧaveとし、Ｂ画素８個の平均値をＢaveとする。そして、Ｒave、Ｇave、Ｂaveの合計をＷ（白）信号の平均値としてＷrgbとしている。この計算結果を用いてターゲット画素Ｗ０の信号から新たな信号Ｒ０ｗ、Ｇ０ｗ，Ｂ０ｗを次式より生成する。

Ｒ０ｗ＝Ｗ０＊（Ｒave/Ｗrgb）
Ｇ０ｗ＝Ｗ０＊（Ｇave/Ｗrgb）
Ｂ０ｗ＝Ｗ０＊（Ｂave/Ｗrgb）
なお、反対の斜めの２ブロックを選択した場合も、同様に信号Ｒ０ｗ、Ｇ０ｗ，Ｂ０ｗを算出できる。この処理を順次、Ｗ画素に適用して各Ｗ画素から新たな信号Ｒｗ、Ｇｗ、Ｂｗを生成する。

図１０に、図９に示したブロック選択時のベイヤー配列変換の処理方法を示す。図６に対してＢ８とＧ１１とＲ７が追加されている。Ｇ１１画素では、周辺のＷ画素から生成したＧ０ｗとＧ５ｗとＧ7ｗとＧ８ｗの４画素の平均を求め、求めた平均とＧ１１との平均値をＧ１１ｗとして置換することで、Ｇ１１のＳ／Ｎを改善することができる。処理は、単純平均でなく、Ｇ１１画素の重み付けを持った平均化で新たにＧ１１ｗを生成することもできる。また、Ｒ７画素では、両サイドのＲ０ｗとＲ５ｗの平均を求め、求めた平均とＲ７との平均値を新たなＲ７ｗとすることで、Ｓ／Ｎを改善することができる。Ｂ８画素では、上下のＢ０ｗとＢ７ｗの平均を求め、求めた平均とＢ８との平均値を新たなＢ８ｗとすることで、Ｓ／Ｎを改善することができる。Ｒ７ｗとＢ８ｗも平均化で重み付けをして算出することができる。

図１１は、図２（ｂ）においてコーナーの３ブロックＡＺ、ＢＺ。ＤＺを選択した場合の例を示す。左上と右上下の３ブロックを代表に、比率係数算出及びＷ０信号からのＲＧＢ信号生成の処理について述べる。合計４０個の画素配列の中から抽出したＲ画素１０個の平均値をＲaveとする。同様に、Ｇ画素１２個の平均値をＧaveとし、Ｂ画素１０個の平均値をＢaveとする。そして、Ｒave、Ｇave、Ｂaveの合計をＷ（白）信号の平均値としてＷrgbとしている。この計算結果を用いてターゲット画素Ｗ０の信号から新たな信号Ｒ０ｗ、Ｇ０ｗ、Ｂ０ｗを次式より生成する。

Ｒ０ｗ＝Ｗ０＊（Ｒave/Ｗrgb）
Ｇ０ｗ＝Ｗ０＊（Ｇave/Ｗrgb）
Ｂ０ｗ＝Ｗ０＊（Ｂave/Ｗrgb）
なお、他のコーナーの３ブロックを選択した場合も、同様に信号Ｒ０ｗ、Ｇ０ｗ，Ｂ０ｗを算出できる。この処理を順次、Ｗ画素に適用して各Ｗ画素から新たな信号Ｒｗ、Ｇｗ、Ｂｗを生成する。

図１２に、図１１に示したブロック選択時のベイヤー配列変換の処理方法を示す。図１０に対してＧ７が追加されている。Ｇ７画素では、周辺のＷ画素から生成したＧ２ｗとＧ３ｗとＧ０ｗとＧ５ｗの４画素の平均を求め、求めた平均とＧ７との平均値をＧ７ｗとして置換することで、Ｇ７のＳ／Ｎを改善することができる。処理は、単純平均でなく、Ｇ７画素の重み付けを持った平均化で新たにＧ７ｗを生成することもできる。

図１３は、図２（ｂ）において４ブロックを選択した場合の例を示す。合計４９個の画素配列の中から抽出したＲ画素１２個の平均値をＲaveとする。同様に、Ｇ画素１６個の平均値をＧaveとし、Ｂ画素１２個の平均値をＢaveとする。そして、Ｒave、Ｇave、Ｂaveの合計をＷ（白）信号の平均値としてＷrgbとしている。この計算結果を用いてターゲット画素Ｗ０の信号から新たな信号Ｒ０ｗ、Ｇ０ｗ、Ｂ０ｗを次式より生成する。

Ｒ０ｗ＝Ｗ０＊（Ｒave/Ｗrgb）
Ｇ０ｗ＝Ｗ０＊（Ｇave/Ｗrgb）
Ｂ０ｗ＝Ｗ０＊（Ｂave/Ｗrgb）
図１４に、図１３に示したブロック選択時のベイヤー配列変換の処理方法を示す。図１２に対してＧ１０が追加されている。Ｇ１０画素では、周辺のＷ画素から生成したＧ４ｗとＧ０ｗとＧ６ｗとＧ７ｗの４画素の平均を求め、求めた平均とＧ１０との平均値をＧ１０ｗとして置換することで、Ｇ１０のＳ／Ｎを改善することができる。処理は、単純平均でなく、Ｇ１０画素の重み付けを持った平均化で新たにＧ１０ｗを生成することもできる。

図１３及び図１４に示した処理方法は、エッジ検出回路１３１における判定結果が０ブロックである場合、すなわちエッジが存在しないブロックが０である場合にも適用できる。判定結果が０ブロックの場合は、７×７画素の各信号レベルがばらばらになっている。しかし、７×７画素で同色の信号の平均値を算出し、Ｗ０信号との比率算出で新たに信号Ｒｗ、Ｇｗ、Ｂｗを生成することができる。Ｓ／Ｎを優先する場合は、Ｗ０の周辺画素をＲｗ、Ｇｗ、Ｂｗ信号の加算平均で置換する。解像度を優先する場合は、加算平均せずにＧ０ｗ信号のみ単独で用いても良い。

以上説明したようにこの第１実施形態によれば、Ｗ画素からＲＧＢの信号を比率掛算処理回路で生成する時に、エッジ検出を４ブロック内で検出判定し、エッジの存在しないブロックを選択して、選択ブロック内から比率掛算処理で新たなＲＧＢ信号を生成することにより、解像度劣化の少ない信号を生成できる。この結果、解像度劣化を低減できる高感度のイメージセンサを提供できる。

［第２実施形態］
次に、この発明の第２実施形態のＣＭＯＳイメージセンサを含む固体撮像装置について説明する。第２実施形態では、ラインメモリを５ラインとし、画素の処理範囲を５×５画素としている。その他の構成及び効果は第１実施形態と同様であり、同様の部分には同じ符号を付してその説明は省略する。

図１５は、第２実施形態の固体撮像装置の概略構成を示すブロック図である。センサ部１１は、５×５画素の画素部１１３を備えている。画素部１１３にて得られた信号電荷は、カラム型アナログデジタルコンバータ（ＡＤＣ）でデジタル信号に変換される。変換されたデジタル信号は、ラインメモリ２０に出力され、ラインメモリ２０内のメモリ１〜メモリ５に垂直５ライン分、記憶される。このメモリ１〜メモリ５に記憶されたデジタル信号は、信号生成回路１３へそれぞれ並列に入力される。信号生成回路１３では、画素部１１３の５×５画素のエリアを、中心のＷ画素を共通に３×３画素からなる４つのブロックに分割して、各ブロック内に画像のエッジが存在しているか否かを、エッジ検出回路１３１により判定している。その後の処理は第１実施形態と同様である。

以下に、第２実施形態における信号生成回路内のエッジ検出回路の処理方法について述べる。

図１６（ａ）、図１６（ｂ）及び図１６（ｃ）は、信号生成回路１３のエッジ検出回路における処理方法を示す図である。ラインメモリ２０からエッジ検出回路１３１へは、図１６（ａ）に示すように、５×５の画素信号が入力される。エッジ検出回路１３１では、５×５の画素信号は、５×５の中心画素であるＷ画素をＷ０とし、図１６（ｂ）に示すように、中心画素Ｗ０をコーナーとする４つのブロックに分離される。ここで、第１実施形態と同様に、左上をブロックＡＺ、右上をブロックＢＺ、左下をブロックＣＺ、右下をブロックＤＺとする。

次に、図１６（ｃ）に示すように、エッジ検出回路１３１の差分判定部により１画素差分判定方法が行われる。中心画素がＷ０のとき、Ｗ０を中心に差分信号Ｗ０−Ｗ１，Ｗ０−Ｗ２，Ｗ０−Ｗ３，Ｗ０−Ｗ４，Ｗ０−Ｗ５，Ｗ０−Ｗ６，Ｗ０−Ｗ７，Ｗ０−Ｗ８の絶対値をそれぞれ算出する。さらに、それぞれの絶対値が、閾値レベル設定回路１８に設定された閾値レベルＬｅｖＮより小さいか否か判定をする。そして、各ブロックに属する各３つの判定の論理和（ＯＲ）をとり、ブロック内にエッジが存在するか否かの最終判定とする。この判定に使用される信号は、Ｗ信号に限定されずに、Ｇ信号やＲ信号、Ｂ信号を用いても良い。また、これら信号を併用することにより、さらにエッジ検出精度を改善することができる。

図１７（ａ）、図１７（ｂ）、図１７（ｃ）、図１７（ｄ）及び図１７（ｅ）は、ブロック内の差分判定における別の処理方法を示す図である。ここでは、図１７（ａ）に示すように、左上の３×３画素のブロックＡＺを例に用いて説明する。

まず、２画素差分判定方法について述べる。図１７（ｂ）に示すように、Ｄ５画素を中心として対象な各２画素を選択し、選択した各２画素の各々の加算信号の差分を取った信号レベルが閾値レベルＬｅｖＮより小さいか否かを判定する。そして、４つの判定の論理和（ＯＲ）をとり、ブロックの最終判定とする。

次に、３画素ストライプ差分判定方法について述べる。図１７（ｃ）に示すように、Ｄ５画素を中心として対象に、ストライプ状に配列された各３画素を選択し、選択した各３画素の各々の加算信号の差分を取った信号レベルが閾値レベルＬｅｖＮより小さいか否かを判定する。そして、２つの判定の論理和（ＯＲ）をとり、ブロックの最終判定とする。

他に、図１７（ｄ）に示すような、３画素Ｌ字差分判定方法、さらに図１７（ｅ）に示すような、４画素差分判定方法などがある。このように、３×３画素内の信号を自由に組み合わせて、差分判定を行うことができる。２画素以上の加算信号を用いることでランダムノイズを低減でき、高精度の判定が実施できる。

［第３実施形態］
この第３実施形態では、センサ部１１の色フィルタ配列が第１実施形態と異なる場合のエッジ検出回路の処理方法を説明する。この場合、ブロックを構成する４×４の画素配列が第１実施形態と異なる。その他の構成及び効果は前記第１実施形態と同様であり、同様の部分には同じ符号を付してその説明は省略する。

図１８（ａ）、図１８（ｂ）及び図１８（ｃ）は、第３実施形態の信号生成回路１３のエッジ検出回路における処理方法を示す図である。ラインメモリ１２からエッジ検出回路１３１へは、図１８（ａ）に示すような７×７の画素信号が入力される。エッジ検出回路１３１では、７×７の中心画素であるＷ画素をターゲット画素Ｗ０とし、７×７の画素信号が、図１８（ｂ）に示すように、中心画素Ｗ０をコーナーとする４つのブロックに分離される。ここで前述したように、左上をブロックＡＺ、右上をブロックＢＺ、左下をブロックＣＺ、右下をブロックＤＺとする。各ブロックを構成する４×４の画素配列には、Ｇが８画素、Ｗが４画素、Ｒが２画素、Ｂが２画素配置されている。

次に、図１８（ｃ）に示すように、エッジ検出回路１３１の差分判定部により１画素差分判定方法が行われる。中心画素がＷ０のとき、Ｗ０を中心に差分信号Ｗ０−Ｗ１，Ｗ０−Ｗ２，Ｗ０−Ｗ３，Ｗ０−Ｗ４，Ｗ０−Ｗ５，Ｗ０−Ｗ６，Ｗ０−Ｗ７，Ｗ０−Ｗ８の絶対値をそれぞれ算出する。さらに、それぞれの絶対値が、閾値レベル設定回路１８に設定された閾値レベルＬｅｖＮより小さいか否かを判定する。そして、各ブロックに属する各３つの判定の論理和（ＯＲ）をとり、ブロック内にエッジが存在するか否かの最終判定とする。この判定に使用される信号は、Ｗ信号に限定されずに、Ｇ信号やＲ信号、Ｂ信号を用いても良い。また、ＷＲＧＢ信号のうち複数の信号を併用することにより、さらにエッジ検出精度を改善することができる。

図１９（ａ）、図１９（ｂ）及び図１９（ｃ）は、ブロック内の差分判定における別の処理方法を示す図である。この差分判定は、エッジ検出回路１３１の差分判定部によって行われる。ここでは、図１９（ａ）に示すように、左上の４×４画素のブロックＡＺを例に用いて説明する。

まず、２画素差分判定方法について述べる。図１９（ｂ）に示すように、Ｗ０を含む２画素の加算信号と別の２画素の加算信号との差分を取った信号レベルが、閾値レベルＬｅｖＮより小さいか否かを判定する。そして、３つの判定の論理和（ＯＲ）をとり、ブロックの最終判定とする。

次に、３画素差分判定方法について述べる。図１９（ｃ）に示すように、Ｗ０を含む３画素の加算信号と別の３画素の加算信号との差分を取った信号レベルが、閾値レベルＬｅｖＮより小さいか否かを判定する。そして、３つの判定の論理和（ＯＲ）をとり、ブロックの最終判定とする。他に、４×４画素内の信号を自由に組み合わせて、差分判定を行うことができる。２画素以上の加算信号を用いることでランダムノイズを低減でき、高精度の判定が実施できる。

［第４実施形態］
この第４実施形態では、センサ部１１の色フィルタ配列が第１及び第３実施形態と異なる場合のエッジ検出回路の処理方法を説明する。この場合、ブロックを構成する４×４の画素配列が第１及び第３実施形態と異なる。その他の構成及び効果は前記第１実施形態と同様であり、同様の部分には同じ符号を付してその説明は省略する。

図２０（ａ）、図２０（ｂ）及び図２０（ｃ）は、第４実施形態の信号生成回路のエッジ検出回路における処理方法を示す図である。ラインメモリ１２からエッジ検出回路１３１へは、図２０（ａ）に示すような７×７の画素信号が入力される。エッジ検出回路１３１では、７×７の中心画素であるＷ画素をターゲット画素Ｗ０とし、７×７の画素信号が、図２０（ｂ）に示すように、中心画素Ｗ０をコーナーとする４つのブロックに分離される。ここで前述したように、左上をブロックＡＺ、右上をブロックＢＺ、左下をブロックＣＺ、右下をブロックＤＺとする。各ブロックを構成する４×４の画素配列には、Ｇが４画素、Ｗが８画素、Ｒが２画素、Ｂが２画素配置されている。

次に、図２０（ｃ）に示すように、エッジ検出回路１３１の差分判定部により１画素差分判定方法が行われる。各ブロックにおけるＷ画素のばらつきとしてＷ信号の最大値Ｗｍａｘと最小値Ｗｍｉｎを求め、“Ｗｍａｘ−Ｗｍｉｎ”を算出する。そして、各ブロックの“Ｗｍａｘ−Ｗｍｉｎ”が、閾値レベルＬｅｖＮより小さいか否かを判定する。“Ｗｍａｘ−Ｗｍｉｎ”が閾値レベルＬｅｖＮより小さい場合、そのブロック内にエッジが存在しないものと判定し、閾値レベルＬｅｖＮと等しいか大きい場合、そのブロック内にエッジが存在するものと判定する。この判定に使用される信号は、Ｗ信号に限定されずに、Ｇ信号やＲ信号、Ｂ信号を用いて、同色の信号の差分で判定しても良い。また、ＷＲＧＢ信号のうち複数の信号を併用することにより、さらにエッジ検出精度を改善することができる。

図２１（ａ）、図２１（ｂ）及び図２１（ｃ）は、ブロック内の差分判定における別の処理方法を示す図である。この差分判定は、エッジ検出回路１３１の差分判定部によって行われる。ここでは、図２１（ａ）に示すように、左上の４×４画素のブロックＡＺを例に用いて説明する。

まず、２画素差分判定方法について述べる。図２１（ｂ）に示すように、Ｗ０を含む２画素の加算信号と別の２画素の加算信号との差分を取った信号レベルが、閾値レベルＬｅｖＮより小さいか否かを判定する。そして、３つの判定の論理和（ＯＲ）をとり、ブロックの最終判定とする。

次に、３画素差分判定方法について述べる。図２１（ｃ）に示すように、Ｗ０を含む３画素の加算信号と別の３画素の加算信号との差分を取った信号レベルが、閾値レベルＬｅｖＮより小さいか否かを判定する。そして、３つの判定の論理和（ＯＲ）をとり、ブロックの最終判定とする。なお、図２１（ｂ）及び図２１（ｃ）に示した以外の他の組み合わせでも、差分判定を行うことができる。さらに、論理和をとる判定数を増やすことにより、判定結果の精度を向上できる。このように、２画素以上の加算信号を用いることでランダムノイズを低減でき、高精度の判定が実施できる。

また、その他の例を以下に列記しておく。

選択ブロック数が２ブロック〜４ブロックと０ブロックの場合では、選択ブロック数に応じて処理方法を変更したが、回路を削減するために、図５に示した１ブロックの処理から得られる各信号Ｒｗ、Ｇｗ、Ｂｗをブロック毎に算出し、選択ブロック数に応じて、前記の各信号Ｒｗ、Ｇｗ、Ｂｗの平均値を用いても良い。もしくは、４ブロックのＧave、Ｒave、Ｂave、Ｗrgbの平均値とＷ０信号から新たな信号Ｒｗ、Ｇｗ、Ｂｗを生成処理するようにしても良い。また、ブロック選択部１３２によるエッジが存在しないブロックの選択は、４ブロックの各々の差分信号を比較して最も差分信号が小さい１ブロックのみを選択し、信号Ｒｗ、Ｇｗ、Ｂｗを生成しても良い。

また、前記実施形態は、他のＷ（白）を使った色フィルタ配列にも適用できる。さらに、ブロックのサイズ（1ブロックが含む画素数）も自由に設定できる。また、前記実施形態は、ＣＭＯＳイメージセンサに限定されることなく、その他のＣＣＤイメージセンサや積層型イメージセンサでも適用できる。また、専用のＩＳＰ（イメージシグナルプロセッサ）で処理することもできる。

また以下に、前述した実施形態における閾値レベル設定回路１８での閾値レベルＬｅｖＮの設定方法を述べる。図２２は、センサ部１１における光電変換特性と閾値レベルを示す図である。センサ部１１に入射する光量が大きくなると、センサ部１１からの出力信号は大きくなる。この出力信号の増加にともない、光ショットノイズも増加する。光ショットノイズは光量の平方根で発生する。また、図２２は、センサ部１１における光電変換特性を示す図である。センサ部１１に入射する入射光が低光量のときは、回路ノイズが光ショットノイズより支配的となる。そこで、ノイズレベルを想定した閾値レベルＬｅｖＮの値を、低光量のときには回路ノイズを想定した値とし、光量が大きいときには光ショットノイズに合わせて大きくなるように制御する。このような制御により、効果的にランダムノイズを抑圧することができる。また、輝度信号はＹ＝０．５９Ｇ＋０．３Ｒ＋０．１１Ｂの比から生成される。そこで、閾値レベルＬｅｖＮを、輝度信号に寄与効果の小さいＲとＢのノイズ抑圧処理の時に大きく設定すると、ＲとＢのランダムノイズの抑圧効果を大きくできる。

また、ＲＧＢの各信号量に応じてホワイトバランスのゲイン比に合わせて閾値レベルＬｅｖＮを設定すると、さらに効果的である。また、レンズの光学特性に起因して、シェーディング補正を実施する場合、画面中心に対して、上下左右、コーナーになるほどデジタルゲインで信号を増幅している。このため、上下左右、コーナーのランダムノイズが増加する。そこで、閾値レベルＬｅｖＮをこのゲインに合わせて上下左右、コーナーで大きくするとノイズ抑圧効果を大きくすることができ、画質を改善できる。このように、閾値レベルＬｅｖＮを、信号量・画面位置・色情報・ゲイン情報などに応じて適切に変更することにより、更に高画質が可能となる。

ＷＲＧＢの色フィルタを有する固体撮像装置において、広域の画像信号によりＲＧＢ信号の比率を算出し、この比率を用いてＷ画素から新たにＲＧＢ信号を生成する場合、広域画像からＲＧＢ信号の比率を算出するため、新たに生成したＲＧＢ信号のエッジがぼけるという問題が発生する可能性があった。本発明の実施形態では、中心画素をコーナーとする４ブロックに画像を分割して、ブロック毎にエッジ判定を行い、エッジが存在しないブロックを用いてＷ画素からＲＧＢ信号を生成することにより、エッジの解像度を改善することができる。

また、前述した各実施形態はそれぞれ、単独で実施できるばかりでなく、適宜組み合わせて実施することも可能である。さらに、前述した各実施形態には種々の段階の発明が含まれており、各実施形態において開示した複数の構成要件の適宜な組み合わせにより、種々の段階の発明を抽出することも可能である。

この発明の第１実施形態の固体撮像装置の概略構成を示すブロック図である。 （ａ）、（ｂ）、及び（ｃ）は、第１実施形態の信号生成回路のエッジ検出回路における処理方法を示す図である。 （ａ）、（ｂ）及び（ｃ）は、第１実施形態のブロック内の差分判定における別の処理方法を示す図である。 第１実施形態のエッジ検出回路にてブロックＡＺ〜ＤＺを判定した例を示す図である。 第１実施形態におけるブロックＡＺに対する比率係数算出及びＷ０信号からのＲＧＢ信号生成の処理を示す図である。 図５に示したブロック選択時のベイヤー配列変換の処理方法を示す図である。 図２（ｂ）において２ブロックＡＺ、ＢＺを選択した場合の例を示す図である。 図７に示したブロック選択時のベイヤー配列変換の処理方法を示す図である。 図２（ｂ）において斜めの２ブロックＡＺ、ＤＺを選択した場合の例を示す図である。 図９に示したブロック選択時のベイヤー配列変換の処理方法を示す図でる。 図２（ｂ）においてコーナーの３ブロックＡＺ、ＢＺ。ＤＺを選択した場合の例を示す図である。 図１１に示したブロック選択時のベイヤー配列変換の処理方法を示す図である。 図２（ｂ）において４ブロックを選択した場合の例を示す図である。 図１３に示したブロック選択時のベイヤー配列変換の処理方法を示す図である。 この発明の第２実施形態の固体撮像装置の概略構成を示すブロック図である。 （ａ）、（ｂ）及び（ｃ）は、第２実施形態の信号生成回路のエッジ検出回路における処理方法を示す図である。 （ａ）、（ｂ）、（ｃ）、（ｄ）及び（ｅ）は、第２実施形態のブロック内の差分判定における別の処理方法を示す図である。 （ａ）、（ｂ）及び（ｃ）は、この発明の第３実施形態の信号生成回路のエッジ検出回路における処理方法を示す図である。 （ａ）、（ｂ）及び（ｃ）は、第３実施形態のブロック内の差分判定における別の処理方法を示す図である。 （ａ）、（ｂ）及び（ｃ）は、この発明の第４実施形態の信号生成回路のエッジ検出回路における処理方法を示す図である。 （ａ）、（ｂ）及び（ｃ）は、第４実施形態のブロック内の差分判定における別の処理方法を示す図である。 この発明の前記実施形態のセンサ部における光電変換特性と閾値レベルを示す図である。

符号の説明

１１…センサ部、１２…ラインメモリ、１３…信号生成回路、１４…信号処理回路、１５…システムタイミング発生回路（ＳＧ）、１６…コマンドデコーダ、１７…シリアルインタフェース（シリアルＩ／Ｆ）、１８…閾値レベル設定回路、１９…レンズ、２０…ラインメモリ、１１１…画素部、１１２…カラム型アナログデジタルコンバータ（ＡＤＣ）、１１３…画素部、１３１…エッジ検出回路、１３２…ブロック選択部、１３３…比率係数算出部、１３４…ベイヤー配列変換部。

Claims (5)

1. 光電変換素子にＷ（白）、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色フィルタがそれぞれ配置されたＷ画素、Ｒ画素、Ｇ画素、Ｂ画素が行列状に２次元に配置され、前記Ｗ画素、Ｒ画素、Ｇ画素、Ｂ画素に入射した光をそれぞれ光電変換して得たＷ信号、Ｒ信号、Ｇ信号、Ｂ信号を出力する画素部と、
   前記画素部においてＷ（白）フィルタが配置されたＷ画素を中心画素とした所定エリアを定め、前記中心画素を含む複数ブロックに前記所定エリアを分割し、それぞれのブロック内に画像のエッジが存在するか否か示すエッジ情報を検出するエッジ検出部と、
   前記エッジ検出部により検出された前記エッジ情報からエッジが存在しないブロックを選択するブロック選択部と、
   前記ブロック選択部により選択されたブロックから前記Ｒ信号、Ｇ信号、Ｂ信号の比率係数を算出する比率係数算出部と、
   前記比率係数算出部により算出された前記比率係数を用いて、前記中心画素のＷ信号から新たにＲ信号、Ｇ信号、Ｂ信号を生成するＲＧＢ信号生成部と、
   を具備することを特徴とする固体撮像装置。
2. 前記エッジ検出部は、前記所定エリアを、前記中心画素を含む複数画素からなる４つのブロックに分割し、前記４つのブロックの各ブロック内において前記中心画素のＷ信号と他のＷ画素のＷ信号との差分、あるいは前記中心画素を含む複数画素の加算信号と他の複数画素の加算信号との差分のいずれかと、所定値とを比較して大小を判定する差分判定部を備えたことを特徴とする請求項１に記載の固体撮像装置。
3. 前記比率算出部は、前記選択したブロック内の前記Ｒ信号、Ｇ信号、Ｂ信号の各平均値と、前記Ｒ信号、Ｇ信号、Ｂ信号の前記各平均値を加算したＷrgb信号を算出することを特徴とする請求項１または２に記載の固体撮像装置。
4. 前記ＲＧＢ信号生成部は、前記中心画素のＷ信号に、算出した前記Ｒ信号、Ｇ信号、Ｂ信号の各平均値と前記加算算出したＷrgb信号との比率係数を乗算することにより、新たに前記Ｒ信号、Ｇ信号、Ｂ信号を生成することを特徴とする請求項３に記載の固体撮像装置。
5. 前記新たに生成した前記Ｒ信号、Ｇ信号、Ｂ信号を用いて、ベイヤー配列への変換を行うベイヤー配列変換部をさらに具備することを特徴とする請求項４に記載の固体撮像装置。

Images