JP2008306379A - 固体撮像素子 - Google Patents

固体撮像素子 Download PDF

Info

Publication number
JP2008306379A
JP2008306379A JP2007150608A JP2007150608A JP2008306379A JP 2008306379 A JP2008306379 A JP 2008306379A JP 2007150608 A JP2007150608 A JP 2007150608A JP 2007150608 A JP2007150608 A JP 2007150608A JP 2008306379 A JP2008306379 A JP 2008306379A
Authority
JP
Japan
Prior art keywords
pixel
color
pixels
color data
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007150608A
Other languages
English (en)
Inventor
Hironaga Honda
多 浩 大 本
Yoshinori Iida
田 義 典 飯
Yoshitaka Egawa
川 佳 孝 江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007150608A priority Critical patent/JP2008306379A/ja
Priority to PCT/JP2008/060725 priority patent/WO2008150021A1/en
Priority to US12/278,347 priority patent/US8045033B2/en
Priority to KR1020107000204A priority patent/KR101130023B1/ko
Priority to EP08765496A priority patent/EP2153665A1/en
Priority to CN2008800187542A priority patent/CN101690242B/zh
Publication of JP2008306379A publication Critical patent/JP2008306379A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Abstract

【課題】低照度被写体に対してＳＮ比が高くて色再現性に優れ、かつエッジのある被写体に対しても解像度の劣化や偽信号の発生が起きないようにする。
【解決手段】信号処理回路６は、色分離処理部１１と、色補間処理部１２と、空間周波数の高い画素か否か、すなわち画素領域にエッジがあるか否かを判定するエッジ判定部２０とを有する。エッジ判定部２０は、中央にＷ画素を含む画素ブロックごとに、Ｗ画素の周囲に空間周波数の高い被写体が存在するか否かを検出するエッジ判定を行い、エッジが存在しない場合には、中央のＷ画素を３色データ値に色分離し、エッジが存在する場合には、中央のＷ画素をＧ画素として扱う。これにより、空間周波数の高い被写体の影響を受けて偽信号を生成するといった不具合が起きなくなる。
【選択図】図１３

Description

本発明は、光電変換素子を有する複数の画素をマトリクス状に配置した固体撮像素子に関する。
近年、ＣＭＯＳイメージセンサの開発が盛んに行われている。特に、半導体プロセスの微細化(デザインルール縮小)に伴って、たとえば２．０μｍの画素ピッチで５００万画素を超える画素数の単板カラーイメージセンサが商品化されている。
ところが画素微細化のトレンドは画素ピッチが１．７μｍ、開口面積で１μｍ以下のレベルへと向かっており、このような画素サイズでは入射光の波動性が顕著となり、回折現象によって入射光量が画素面積の縮小割合よりも急速に低下していく。したがって、素子のＳＮ比を高める新しい方策が必要とされている。
この種のＣＭＯＳイメージセンサでは、２行２列の画素ブロック中に、赤色(Ｒ)と青色(Ｂ)画素を１画素ずつと、緑色(Ｇ)画素を対角に２画素配置したベイヤー(Ｂａｙｅｒ)配列の色フィルタを備えるのが一般的である。画素ブロック中にＧ画素を２つ設けるのは、人間の緑色に対する視感度が高いためであり、緑画素を輝度（明るさ）情報を取得する画素として用いている。
このように、色フィルタの配列により画質が変化することから、色フィルタの配列を工夫して画質向上を図る技術が種々提案されている（例えば、特許文献１〜３参照）。
特開2004-304706号公報 特開2003-318375号公報 特開平8-23542号公報
例えば、特許文献１には、緑色画素を中心にし、上下左右に輝度信号として用いる白色画素を配置して、輝度信号の信号電荷量を確保する技術が開示されている。しかしながら、特許文献１では、白色画素データの処理手順が開示されておらず、また、輝度が急激に変化するエッジ、すなわち高空間周波数の被写体に対応する画素信号の処理についても何ら考慮されていない。特許文献２，３においても、エッジの処理については開示も示唆もない。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、低照度被写体に対してＳＮ比が高くて色再現性に優れ、かつエッジのある被写体に対しても解像度の劣化や偽信号の発生が起きない固体撮像装置を提供することにある。
本発明の一態様によれば、半導体基板上にマトリクス状に形成され、それぞれが光電変換素子を有する複数の画素と、前記複数の画素で光電変換された電気信号を読み出す読み出し回路と、前記読み出し回路で読み出した電気信号に対して信号処理を行う信号処理部と、を備え、前記複数の画素は、可視光波長の入射光を透明フィルタを介して対応する前記光電変換素子に導く第１の画素と、可視波長域中の第１の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第１の色フィルタを有する複数の第２の画素と、可視波長域中の前記第１の可視光波長域とは異なる第２の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第２の色フィルタを有する複数の第３の画素と、可視波長域中の前記第１および第２の可視光波長域とは異なる第３の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第３の色フィルタを有する複数の第４の画素と、をそれぞれ有し、前記信号処理部は、前記第１〜第４の画素を少なくとも一つずつ含む複数の画素からなる画素ブロックを単位として、該画素ブロック内の白色の前記第１の画素に対応する白色データ値、第１の色の前記第２の画素に対応する第１の色データ値、第２の色の前記第３の画素に対応する第２の色データ値および第３の色の前記第４の画素に対応する第３の色データ値を取得する色取得部と、前記画素ブロック内の信号処理対象となる前記第１の画素の周囲にエッジが存在するか否かを判定するエッジ判定部と、前記判定が否定された場合に、信号処理対象となる前記第１の画素の周囲に位置する前記第１〜第３の色の前記第１〜第３の色データ値に基づいて、前記第１の画素における色比率を計算し、計算された色比率と前記第１の画素に対応する前記白色データ値とを乗じることにより、前記第１の画素を色分離して前記第１〜第３色の色データ値を計算する色分離部と、前記判定が肯定された場合に、前記色比率を求めずに前記第１の画素を白色以外の他の単色とみなして、この単色の色データ値を計算する単色データ計算部と、を有することを特徴とする固体撮像素子が提供される。
また、本発明の一態様によれば、半導体基板上にマトリクス状に形成され、それぞれが光電変換素子を有する複数の画素と、前記複数の画素で光電変換された電気信号を読み出す読み出し回路と、前記読み出し回路で読み出した電気信号に対して信号処理を行う信号処理部と、を備え、前記複数の画素は、可視光波長の入射光を透明フィルタを介して対応する前記光電変換素子に導く第１の画素と、可視波長域中の第１の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第１の色フィルタを有する複数の第２の画素と、可視波長域中の前記第１の可視光波長域とは異なる第２の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第２の色フィルタを有する複数の第３の画素と、可視波長域中の前記第１および第２の可視光波長域とは異なる第３の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第３の色フィルタを有する複数の第４の画素と、をそれぞれ有し、前記信号処理部は、前記第１〜第４の画素を少なくとも一つずつ含む複数の画素からなる画素ブロックを単位として、該画素ブロック内の白色の前記第１の画素に対応する白色データ値、第１の色の前記第２の画素に対応する第１の色データ値、第２の色の前記第３の画素に対応する第２の色データ値および第３の色の前記第４の画素に対応する第３の色データ値を取得する色取得部と、前記画素ブロック内の信号処理対象画素である前記第３の画素または前記第４の画素の周囲にエッジが存在するか否かをそれぞれ判定するエッジ判定部と、信号処理対象画素の周囲にエッジが存在しないと判定されると、信号処理対象となる画素の色データ値を変更せずに出力し、信号処理対象画素の周囲にエッジが存在すると判定されると、信号処理対象画素が前記第３の画素であれば該画素に前記第３の色の色データ値を追加し、信号処理対象画素が前記第４の画素であれば該画素に前記第２の色の色データ値を追加する色追加処理部と、を有することを特徴とする固体撮像素子が提供される。
本発明によれば、低照度被写体に対してＳＮ比が高くて色再現性に優れ、かつエッジのある被写体に対しても解像度の劣化や偽信号の発生が起きない固体撮像装置を提供できる。
以下、図面を参照しながら、本発明の実施形態について説明する。
（第１の実施形態）
図１は本発明の一実施形態に係る固体撮像素子の概略構成を示すブロック図である。図１の固体撮像素子は、それぞれが光電変換素子を有する複数の画素をマトリクス状に配置した画素アレイ１と、画素アレイ１の各行に順に駆動電圧を供給する垂直スキャナ２と、個々の画素で光電変換された撮像信号に含まれるノイズの除去処理を行うノイズ減算回路３と、ノイズ減算回路３から出力された撮像信号をＡ／Ｄ変換するＡ／Ｄ変換回路４と、Ａ／Ｄ変換後の撮像データを列ごとに順に選択して読み出す水平スキャナ５と、撮像データに対して後述する信号処理を行う信号処理回路６と、を備えている。
信号処理回路６には、画素アレイ１内の各行ごとに、一列分ずつ直列に撮像データが入力される。垂直スキャナ２、ノイズ減算回路３、Ａ／Ｄ変換回路４および水平スキャナ５は読み出し回路を構成する。読み出し回路は、複数の画素に対して１水平ライン同時、もしくは１画素ずつ順番に信号読み出しを行う。
読み出し回路と画素アレイ１は同一の半導体基板上に形成される。この半導体基板上に信号処理回路６を形成してもよいし、この半導体基板とは別個の半導体基板上に信号処理回路６を形成してもよい。この場合、読み出し回路の出力が、別個の半導体基板上の信号処理回路６に入力される。
画素アレイ１内の複数の画素は、隣接配置されたいくつかの画素を単位として、複数の画素ブロックに区分けされている。例えば、図２は２行２列の画素ブロックの一例を示す図であり、白色Ｗの画素（以下、Ｗ画素）と緑色Ｇの画素（以下、Ｇ画素）が対角上に配置され、残りの２つの画素は赤色Ｒと青色Ｂ（以下、Ｒ画素とＢ画素）である。
Ｗ画素は、可視光波長（例えば、４００nm〜６５０nm）の入射光を透明フィルタを介して対応する光電変換素子に導く。透明フィルタは、可視光に対して透明な素材で形成されており、全可視光領域で高い感度を示す。
一方、Ｇ画素には、緑色の可視光波長域の光に対して高い透過率を有する色フィルタが設けられ、Ｒ画素には、赤色の可視光波長域の光に対して高い透過率を有する色フィルタが設けられ、Ｂ画素には、青色の可視光波長域の光に対して高い透過率を有する色フィルタが設けられている。
Ｗ画素を設ける理由は、白色画素は全可視波長域の光を透過するため、輝度情報を取得するのに適しているためである。輝度情報の取得には、緑色画素も利用できるため、図２では、白色画素と緑色画素を対角上に配置している。これにより、すべての行および列に対して均等に輝度情報を検出でき、輝度解像度の向上が図れる。
また、図２の画素ブロックが、Ｗ画素以外に、ＲＧＢの画素を有する理由は、ＲＧＢは原色であり、補色（黄、シアン、マゼンダ）の画素よりも色再現性に優れ、かつ信号処理の処理手順を簡略化できるためである。
ここで、Ｗ画素は例えば第１の画素に対応し、Ｇ画素、Ｒ画素およびＢ画素は例えば第２〜第４の画素にそれぞれ対応する。
図３は色フィルタの透過率を示すグラフ、図４は各色の色フィルタを付けた各画素の感度を示すグラフである。図３に示すように、白色Ｗのフィルタは全可視波長域（約４００〜７００nm）の光に対して９５％以上の透過率を持ち、緑色Ｇの色フィルタは約５００〜５５０nmの光に対して高い透過率を持ち、赤色Ｒの色フィルタは約６００〜７００nmの可視光波長域の光に対して高い透過率を持ち、青色Ｂの色フィルタは約４５０〜４９０nmの可視光波長域の光に対して高い透過率を持っている。
図４に示すように、感度も透過率と同様の特性を持っており、白色Ｗの画素は全可視波長域に対して高い感度を持ち、ＲＧＢの各画素単体の約２倍の感度を持っている。
また、青色Ｂと緑色Ｇのクロスポイント(分光スペクトルが交差する点の透過率)と緑Ｇと赤Ｒのクロスポイントが最大値の略５０％となるようにカラーフィルタを設計することで、後述するように、白色Ｗから色信号を抽出する際に、白色Ｗから抽出された緑色Ｇの分光スペクトルを、緑色Ｇ単独の分光スペクトルと略相似形にすることができる。上記クロスポイントは、４０〜６０％の値の範囲内であれば良好な色再現性を得ることができ、３０〜７０％の範囲内でも実用レベルの色再現性が得られる。
図５は図２の画素ブロックを縦横に計４個配置した例を示す図である。また、図６（ａ）は行方向に隣接する３画素分の断面構造を模式的に示した断面図である。図６（ａ）に示すように、各画素は、半導体基板１１上に形成される光電変換素子１２と、その上に層間絶縁膜１３を介して形成される色フィルタ１４と、その上に形成されるマイクロレンズ１５とを有する。層間絶縁膜１３の内部には、隣接画素の光を遮断するための遮光膜１６が形成されている。
光電変換素子１２は、近赤外波長領域まで感度があるため、近赤外光（例えば６５０ｎｍ以上）をカットしないと、色再現性が悪化してしまう。例えば純粋な緑色光と近赤外光を放つ(反射する)被写体を撮像する場合、Ｇ画素において緑色光を検出し、Ｒ画素において近赤外光を検出してしまうことになり、上記被写体を純粋な緑色（Ｒ：Ｇ：Ｂ）＝（０：１：０）として検出できなくなる。
そこで、例えば６５０nm以上の光を遮断する赤外カットフィルタを固体撮像素子と被写体、あるいは固体撮像素子とレンズとの間に設けて、波長可視光のみを固体撮像素子に入射させる。もしくは、図６（ｂ）の断面図に示すように、色フィルタの上に赤外カットフィルタ１７を配置してもよい。図６（ｂ）の場合、白色画素については赤外カットフィルタ１７を設けていない。これは、白色画素は輝度情報を取得するために設けられており、赤外カットフィルタ１７がない方が低照度側の輝度情報をより確実に取得できるためである。
図７はＲＧＢの画素のそれぞれに赤外カットフィルタ１７を設け、白色画素（以下、Ｗ画素）には赤外カットフィルタ１７を設けない場合の各画素の通過波長域と透過率との関係を示すグラフである。図示のように、Ｗ画素は、光電変換素子の基板材料であるシリコンが光電変換を行うことができる波長（約１．１μｍの近赤外線）の光線まで吸収することができ、特に低照度の被写体を撮像する際に有利となり、近赤外カメラとしても用いることができる。
Ｗ画素の出力する信号値Ｗは、そのままでは汎用の映像信号であるＲＧＢ値として用いることができない。したがってＷ画素の白色データ値ＷをＲＧＢの３色データに色分離する必要がある。以下、色分離を行う処理（以下、色分離処理）について説明する。
図８は図２の２行２列の画素ブロックを縦横に複数個ずつ配置した例を示す図である。以下では、図８に太線で示すように、Ｗ画素を中心とする３行３列の画素ブロックを基本単位とする。これは色分離処理をわかりやすく説明するためであり、実際の画素ブロックの基本単位は３行３列に限定されない。
色分離処理はＷ画素の周辺のＲＧＢ画素を用いて、以下の（１）〜（３）式により行う。
Ｒw←Ｗ・Ｋ1 …（１）
Ｇw←Ｗ・Ｋ2 …（２）
Ｂw←Ｗ・Ｋ3 …（３）
ここで、Ｋ1，Ｋ2，Ｋ3はそれぞれ、対象となるＷ画素の周辺のＲＧＢ画素から得られる色比率を表しており、例えば以下の（４）〜（６）式で表される。
Figure 2008306379
 ここで、Ｒaverage，Ｇaverage，Ｂaverageはそれぞれ、対象となるＷ画素の周辺の複数画素の色データ値ＲＧＢの平均であり、例えば、画素ブロック内に存在する赤色画素２画素分の平均色データ値、緑色画素４画素分の平均色データ値、青色画素２画素分の平均色データ値である。
図８に示すように、Ｗ画素を取り囲む３行３列の画素ブロック内の色比率Ｋ1，Ｋ2，Ｋ3を求め、この色比率にＷ画素自身の輝度値（白色データ値Ｗ）を掛け合わせる。これにより、輝度解像度を劣化させずにＷ画素を色分離し、図９に示すように、Ｗ画素の位置に新たにＲＧＢデータ値Ｒw，Ｇw，Ｂwを生成する。
色分離処理においては、隣接する行の色データ値を参照するため、行をまたがる演算を行う必要がある。そこで、ラインメモリに２行分の色データ値を一時的に格納しておき、画素ブロック内の最終行を読み出すタイミングで、ラインメモリに格納しておいた残り２行分の色データ値を読み出して、上述した（１）〜（３）式の演算を行う。
ここで、例えば画素ブロック内の色データ値が、Ｗ＝２００、（Ｒaverage，Ｇaverage，Ｂaverage）＝（８０，１００，７０）の場合には、（１）〜（６）式より、（Ｒw，Ｇw，Ｂw）＝（６４，８０，５６）となる。
このように、白色データ値Ｗを色データＲw，Ｇw，Ｂwに変換すると、平均色データＲaverage，Ｇaverage，Ｂaverageに対して（６４＋８０＋５６）／（８０＋１００＋７０）＝４／５倍になる。そこで、その逆数５／４を定数として、（１）〜（３）のそれぞれの右辺に掛け合わせた値を最終的な色データ値Ｒw，Ｇw，Ｂwとしてもよい。
色変換データＲw，Ｇw，Ｂwは、本来ＳＮ比の高い白色データ値Ｗと、平均化によりＳＮ比が向上した色データ値とを用いた乗算と除算のみにより得られるものであり、生成された色データ値はＳＮ比がＲ、Ｇ、Ｂの色データ値単体よりも高くなる。
なお、上述したように、画素ブロックは３行３列に限定されない。例えば、図１０はＷ画素を中心とする５行７列の画素ブロックの一例を示す図である。上述した色分離処理を行うのに使用するラインメモリの容量は画素ブロックの行数に依存し、行数が増えるに従ってラインメモリの容量も大きくなる。したがって、画素ブロックの行数を極端に増やすのは望ましくない。
色分離処理を終えると、色補間処理を行う。この色補間処理では、例えば図１１に示すように、画素ブロック内のすべてのＲ画素とＲw画素の平均値Ｒ’を計算する。同様に画素ブロック内のすべてのＧ画素とＧw画素の平均値Ｇ’と、すべてのＢ画素とＢw画素の平均値Ｂ’とを計算する。計算された画素平均値Ｒ’，Ｇ’，Ｂ’は、図１１に示すように、画素ブロックの中心画素（信号処理対象画素）の色データ値としてみなされる。
この色補間処理では、Ｗ画素を含む画素ブロックの画素配列をベイヤー配列と同様に扱って、信号処理対象画素の周囲の画素の色データ値を用いて、信号処理対象画素の色データ値を補正する。これにより、すべての画素について、その周囲の３行３列の画素ブロック内の三色データ値ＲＧＢと色分離データ値Ｒw，Ｇw，Ｂwとの平均化により、最終的な色データ値Ｒ’，Ｇ’，Ｂ’を決定する。
以上の処理を繰り返すことで、すべての画素位置について、３色の色データ値Ｒ’，Ｇ’，Ｂ’が生成される。このうち特に色データ値Ｒ’，Ｂ’は、ベイヤー配列と比較して２倍の画素数のＲデータ値とＢデータ値に基づいて色補間を行って得られるものであり、ＳＮ比が従来の２倍程度まで向上する。
以上に説明した色分離処理では、３行３列の画素ブロックにおける色相(色比率Ｋ1〜Ｋ3)が均一であるという仮定の下で処理を行っている。ところが、３行３列よりも空間周波数の高い被写体を撮像する場合、すなわち画素ブロック中にエッジが含まれる場合には、上記仮定は成り立たなくなる。
例えば、図８において中心のＷ画素を含む列が輝度の高い真っ白なラインに対応し、かつそれ以外の領域は輝度ゼロであるような被写体を撮像する際に、上記（１）〜（６）式に従って色分離処理を愚直に行うと、Ｇ、Ｒ画素の出力値が非常に低くなり、それに対してＷ、Ｂ画素の出力値は非常に大きくなる。このとき、Ｋ1〜Ｋ3のうちＫ3(青色の比率)のみが大きな値をとり、Ｋ1，Ｋ2はゼロに近い値となる。
すなわち、色分離処理は、３行３列よりも空間周波数の高い被写体撮像データに対しては、実際の被写体の色とは異なる色の偽信号を算出してしまうことになる。
上記問題点を解決するために、本実施形態では空間周波数の高い画素領域を検出するエッジ判定部を設けている。
図１２は本実施形態による信号処理回路６の内部構成を示すブロック図である。図示のように、信号処理回路６は、上述した（１）〜（６）式に基づいて色分離処理を行う色分離処理部１１と、色分離後の色データ値の平均を取って最終的な色データ値を決定する色補間処理部１２と、を有する他に、空間周波数の高い画素か否か、すなわち画素領域にエッジがあるか否かを判定するエッジ判定部２０を有する。これら色分離処理部１１、色補間処理部１２およびエッジ判定部２０はそれぞれ、複数画素からなる画素ブロックを単位として処理を行い、各部には、１画素ブロック分の色データ値を格納するメモリが設けられる。
本実施形態の信号処理回路６は、エッジ判定部２０により、エッジがあると判定された場合とエッジがないと判定された場合で、色分離処理部１１での処理内容を変化させている。
図１３は図１２のように構成される信号処理部の第１の実施形態の処理動作を示すフローチャートである。図１４（ａ）〜図１４（ｄ）はエッジ判定に用いる画素ラインを説明する図である。
まず、図１４（ａ）の太線で示すように、中央にＷ画素が位置する３行５列の画素ブロックを単位として、各画素ブロック内のＲＧＢの色データ値Ｃ＝（Ｃ1，Ｃ2，Ｃ3）と白色データ値Ｗを取得する（ステップＳ１）。画素ブロック内の中央のＷ画素が信号処理対象画素となる。
次に、図１４（ａ）に示すように、Ｗ画素を中央に含む縦ライン３画素の色データ値の総和LineV0と、この縦ラインに隣接する両側の縦ライン３画素の色データ値の各総和LineV1, LineV2とを検出する。同様に、図１４（ｂ）に示すように、Ｗ画素を中心に含む横ライン３画素の色データ値の総和LineH0と、この横ラインに隣接する両側の横ライン３画素の色データ値の各総和LineH1, LineH2とを検出する。同様に、図１４（ｃ）に示すように、Ｗ画素を中心に含む右斜めライン３画素の色データ値の総和LineD0aと、この右斜めラインに隣接する両側の右斜めライン３画素の色データ値の各総和LineD1, LineD2とを検出する。同様に、図１４（ｄ）に示すように、Ｗ画素を中心に含む左斜めライン３画素の色データ値の総和LineD0bと、この左斜めラインに隣接する両側の左斜めライン３画素の色データ値の各総和LineD3, LineD4とを検出する（ステップＳ２）。
次に、エッジ判定部２０は、縦ライン、横ライン、右斜めライン、左斜めラインのそれぞれについて、以下の（７）〜（１０）式の条件を満たすか否かを判定する（ステップＳ３）。
|２×LineV0−（LineV1＋LineV2）|＞LevNV …（７）
|２×LineH0−（LineH1＋LineH2）|＞LevNH …（８）
|２×LineD0a−（LineD1＋LineD2）|＞LevNDa …（９）
|２×LineD0b−（LineD3＋LineD4）|＞LevNDb …（１０）
ここで、LevNVは垂直方向のエッジ検出のための閾値、LevNHは水平方向のエッジ検出のための閾値、LevNDaは右斜め方向のエッジ検出のための閾値、LevNDbは左斜め方向のエッジ検出のための閾値である。
例えば、（７）式が真となったとき、縦ラインのエッジが存在すると判断し、フラグｆｌｇ＝１とする。例えば、LineV0＝１００、LineV1＝１００、LineV2＝２０、LevNV＝５０とすると、式（７）は真となり、エッジが検出されて、ｆｌｇ＝１となる。横ライン、右斜めラインおよび左斜めラインのエッジについても（８）〜（１０）式がそれぞれ真のときにエッジが存在すると判断して、フラグｆｌｇ＝１に設定する。
上述したステップＳ３では、上記（７）〜（１０）式の条件のうち、少なくとも一つを満たせば、エッジが存在すると判定して後述するステップＳ５の処理を行い、上記（７）〜（１０）式のすべての条件を満たなければ、エッジが存在しないと判定して後述するステップＳ４の処理を行う。
上記（７）式は縦ラインエッジ判定部に、上記（８）式は横ラインエッジ判定部に、上記（９）式は右斜めラインエッジ判定部に、上記（１０）式は左斜めラインエッジ判定部に対応する。
上記（７）〜（１０）式によりエッジ検出を行えるが、比較対象となる３ラインのうち、中央ラインとその両側ラインとは画素の種類が異なっている。例えば、縦ラインの場合、図１４（ａ）に示すように、中央の縦ラインはＢ画素とＷ画素で構成されるのに対し、その両側の縦ラインはＧ画素とＲ画素で構成されている。
このように、比較対象同士で画素の種類が異なると、エッジ検出を正しく行えないおそれがある。例えば、青の単色の被写体を図１４（ａ）の画素ブロックで撮像する場合、元の被写体にはエッジが存在しなくても、中央の縦ラインだけが大きな色データ値を出力するため、式（７）が真となり、エッジとして認識してしまう。
そこで、図１５（ａ）〜図１５（ｄ）に示すように、同じ種類の画素からなるライン同士で比較を行ってもよい。図１５（ａ）〜図１５（ｄ）の場合は、隣接する３ラインではなく、それぞれ１画素行を間に挟んだ３ラインを選択しているが、比較対象の３ラインの画素の並びおよび種類は同じである。したがって、エッジ検出の精度が向上する。
ステップＳ３のエッジ判定処理を行った結果、エッジが存在しないと判定されると、色分離処理部１１は、画素ブロック内の中央のＷ画素に対して上述した（１）〜（６）式に基づいて色分離処理を行って、Ｗデータ値をＲＧＢの色データ値Ｒw，Ｇw，Ｂwに変換する（ステップＳ４）。
一方、ステップＳ３のエッジ判定処理を行った結果、エッジが存在すると判定されると、周囲の画素から正しい色比率を参照することができないため、以下の（１１）式に従って、Ｗ画素をＧ画素として扱う（単色データ計算部、ステップＳ５）。Ｇ画素として扱う理由は、Ｇ画素は輝度情報を得るために用いられるためであり、Ｒ画素やＢ画素として扱わないことにより、偽信号の生成を抑制する。
Ｇw＝ａＷ＋ｂ …（１１） (a,bは定数)
もともと白色データ値は、同じ輝度の被写体に対して緑色データ値よりも２倍高い値を示すので、例えばａ＝０．５、ｂ＝０として信号値を補正する。この場合、例えば白色データ値が１５０のとき、Ｇw＝７５となる。値ｂは、例えばＷ画素とＧ画素で暗信号が異なる場合などに設定する。
上記ステップＳ５の処理を行う単色データ計算部は、図１２の色分離処理部１１の内部に設けてもよいし、色分離処理部１１とは別個に設けてもよい。
以上の操作によって、エッジが存在する場合にはあたかもＢａｙｅｒ配列のような信号マトリクスとなり、偽信号の生成を抑制することができる。
図１３のステップＳ４またはＳ５の処理が終了すると、色補間処理部１２は色補間処理を行う（ステップＳ６）。この色補間処理では、図１１で説明したように、画素ブロック内のすべてのＧ画素の色データ値の平均とすべてのＢ画素の色データ値の平均を計算し、平均化されたＧ画素およびＢ画素の色データ値を画素ブロック中央のＷ画素の色データ値とする。
このように、第１の実施形態では、中央にＷ画素を含む画素ブロックごとに、Ｗ画素の周囲に空間周波数の高い被写体が存在するか否か、すなわち画素領域にエッジが存在するか否かを検出するエッジ判定を行い、エッジが存在しない場合には、中央のＷ画素を３色データ値に色分離し、エッジが存在する場合には、中央のＷ画素をＧ画素として扱う。これにより、空間周波数の高い被写体の影響を受けて偽信号を生成するといった不具合が起きなくなる。
（第２の実施形態）
第２の実施形態は、エッジ判定に用いる画素ラインの種類が第１の実施形態とは異なるものである。
第１の実施形態では、図１４（ａ）〜図１４（ｄ）または図１５（ａ）〜図１５（ｄ）に示すように、エッジ検出用の比較対象として３ラインを画素ブロック内に設定し、このうちの中央ラインが画素ブロック内の中心に位置する信号処理対象のＷ画素を含む例を説明した。
比較対象となる画素ラインは、必ずしも画素ブロック中央に位置する信号処理対象のＷ画素を含んでいる必要はない。そこで、以下に説明する第２の実施形態では、中央のＷ画素に隣接する２ライン同士でエッジ判定を行うものである。また、比較対象となる２つの画素ラインの種類が同じであることを特徴とする。
図１６は図１２のように構成される信号処理回路６の第２の実施形態の処理動作を示すフローチャートである。図１７（ａ）〜図１７（ｄ）はエッジ判定に用いる画素ラインを説明する図である。
まず、図１３のステップＳ１と同様に、各画素ブロック内のＲＧＢの色データ値と白色データ値を取得する（ステップＳ１１）。次に、エッジ判定のための２ラインの色データ値の総和を検出する（ステップＳ１２）。より具体的には、図１７（ａ）に示すように、Ｗ画素を挟んで両側の縦ライン３画素の色データ値の各総和LineV1, LineV2と、図１７（ｂ）に示すように、Ｗ画素を挟んで両側の横ライン３画素の色データ値の各総和LineH1, LineH2とを検出する。同様に、図１７（ｃ）に示すように、Ｗ画素を挟んで両側の右斜めライン３画素の色データ値の各総和LineD1, LineD2と、図１７（ｄ）に示すように、Ｗ画素を挟んで両側の左斜めライン３画素の色データ値の各総和LineD3, LineD4とを検出する。
次に、エッジ検出部は、縦ライン、横ライン、右斜めライン、左斜めラインのそれぞれについて、以下の（１２）〜（１５）式の条件を満たすか否かを判定する（ステップＳ１３）。
|LineV1−LineV2|＞LevNV ・・・（１２）
|LineH1−LineH2|＞LevNH ・・・（１３）
|LineD1−LineD2|＞LevNDa ・・・（１４）
|LineD3−LineD4|＞LevNDb ・・・（１５）
このステップＳ１３では、上記（１２）〜（１５）式の条件のうち、少なくとも一つを満たせば、エッジが存在すると判定して、上記（１１）式に基づいてＷ画素をＧ画素として扱う。（ステップＳ１５）。一方、上記（１２）〜（１５）式のすべての条件を満たなければ、エッジが存在しないと判定して、上記（１）〜（６）式に基づいて白色データ値をＲＧＢ色データ値に変換する色分離処理を行う（ステップＳ１４）。
ステップＳ１４またはＳ１５の処理が終わると、図１３のステップＳ６と同様の色補間処理を行う（ステップＳ１６）。
このように、第２の実施形態では、画素ブロック内の２つのライン同士の色データ値の比較によりエッジ判定を行うため、３ラインで色データ値を比較するよりも、少ない処理量でエッジ判定を行うことができる。また、比較対象となる２つの画素ラインを構成する画素の種類を同じにするため、誤ってエッジと判定するおそれがなくなる。
（第３の実施形態）
第３の実施形態は、対象となるＷ画素の周辺でエッジが存在しない領域を検出して、この領域内で色分離処理を行うものである。
図１８は第３の実施形態による信号処理回路６の処理動作を示すフローチャート、図１９（ａ）〜図１９（ｄ）はエッジ判定に用いる画素ラインを説明する図である。
まず、中央にＷ画素を含む画素ブロック内の色データ値を取得し（ステップＳ２１）、次に、中央のＷ画素を信号対象画素として、このＷ画素を含む縦ラインLineV0の色データ値の総和と、その両側に１画素を隔てて配置される２つの縦ラインLineV1, LineV2それぞれの色データ値の総和と、Ｗ画素を含む横ラインLineH0の色データ値の総和と、その両側に１画素を隔てて配置される２つの横ラインLineH1, LineH2それぞれの色データ値の総和と、Ｗ画素を含む右斜めラインLineD0aの色データ値の総和と、その両側に１画素を隔てて配置される２つの右斜めラインLineD1, LineD2それぞれの色データ値の総和と、Ｗ画素を含む左斜めラインLineD0Bの色データ値の総和と、その両側に１画素を隔てて配置される２つの左斜めラインLineD3, LineD4それぞれの色データ値の総和とを計算する（ステップＳ２２）。
次に、エッジ判定部２０は、縦ライン、横ライン、右斜めライン、左斜めラインのそれぞれについて、上記（７）〜（１０）式の条件を満たすか否かを判定する（ステップＳ２３）。これら４つの条件のすべてを満たさない場合は、エッジなしと判定し、上記（１）〜（６）式に従って、信号処理対象のＷ画素をＲＧＢ画素に色分離する（ステップＳ２４）。
一方、ステップＳ２３の４つの条件の少なくとも一つを満たす場合、エッジ判定部２０は、以下の（１６）〜（１９）式の少なくとも一つの条件を満たすか否かを判定する（ステップＳ２５）。（１６）、（１７）式は、端の縦ラインの色データ値の総和と中央の縦ラインの色データ値の総和との差分が所定の閾値LevNH2未満か否かを判定する条件式である。（１８）、（１９）式は、端の横ラインの色データ値の総和と中央の横ラインの色データ値の総和との差分が所定の閾値LevNH2未満か否かを判定する条件式である。
｜LineH1−LineH0｜＜LevNH2 …（１６）
｜LineH2−LineH0｜＜LevNH2 …（１７）
｜LineV1−LineV0｜＜LevNV2 …（１８）
｜LineV2−LineV0｜＜LevNV2 …（１９）
このステップＳ２５の処理は、信号処理対象のＷ画素の周囲で、エッジが存在しない平滑領域を検出するために行われる。例えば、縦ラインについて比較を行った結果、LineV1＝１００、LineV0＝９０、LineV2＝２０、LevNV2＝３０の場合、図１９（ａ）の破線で囲んだ３行３列の画素領域はエッジが存在しない平滑領域であると判断される。同様に、横ラインについて比較を行った結果、図１９（ｂ）の破線で囲んだ３行３列の画素領域がエッジが存在しない平滑領域と判断される。
この場合、図１９（ａ）と図１９（ｂ）の破線領域の共通部分である、図１９（ｃ）の２行２列の画素領域が最終的にエッジの存在しない平滑領域と判断される（ステップＳ２６）。そして、この平滑領域に対してステップＳ２４にて色分離処理を行う。
一方、上記（１６）〜（１９）式のいずれの判定も否定された場合には、平滑領域が存在しないために正常な色分離処理ができないと判断して、上記（１１）式に基づいて、信号処理対象のＷ画素をＧ画素として扱う（ステップＳ２７）。
このように、第３の実施形態では、信号処理対象のＷ画素の周囲にエッジが存在する場合に、Ｗ画素の周囲に平滑領域が存在するか否かを判定し、平滑領域が存在する場合には、この平滑領域内でＷ画素の色分離処理を行うため、エッジが存在する場合でも、できる限り信頼性のある色分離処理を行うことができ、色再現性のよいＲＧＢ画像を得ることができる。
（第４の実施形態）
第４の実施形態は、第１〜第３の実施形態とは異なる画素配列を採用し、エッジ判定に用いる画素列の種類も変えるものである。
図２０は第４の実施形態で用いる画素配列を示す図である。図２０の画素配列では、Ｗ画素が千鳥状に配置され、全体の画素数の５０％を占めている。Ｗ画素の合間にＧ，Ｒ，Ｂの各画素が２５％、１２．５％、１２．５％の割合で配置されている。ＲとＢの画素の割合が小さい理由は、緑色の光に対する人間の視感度は高く、赤と青の色情報は緑ほどは要求されないためである。
図２１は第４の実施形態による信号処理回路６の処理手順を示すフローチャートである。第１〜第３の実施形態では、信号処理対象はＷ画素に限定されたが、本実施形態ではＷ画素だけでなく、ＲＧＢの各画素も信号処理対象となる。そこで、色データ値を取得した（ステップＳ３１）後に、信号処理対象の画素（中心画素）がＷ画素か否かを判定する（ステップＳ３２）。
信号処理対象がＷ画素であれば、図１３と同様の処理を行う（ステップＳ３３〜Ｓ３７）。このとき、Ｗ画素の周囲の３行３列の画素ブロックの色データ値を用いて処理を行ってもよいし、図２２に示すように５行５列や５行７列の画素ブロックなど、３行３列の画素ブロックよりも広い範囲の色データ値を用いてステップＳ３３〜Ｓ３７の処理を行ってもよい。
画素ブロックが大きいほど参照画素数が多くなり、ＲＧＢ画素の色データ値の平均に含まれるランダムノイズが抑制されるが、信号処理量が増大してしまう。したがって、ノイズ低減と信号処理量の増大のトレードオフを鑑みて、画素ブロックのサイズを選択すればよい。
エッジが存在しない場合には、上記ステップＳ３３〜Ｓ３７の処理により、Ｗ画素をＲＧＢ画素に色分離でき、エッジが存在する場合にはＷ画素をＧ画素に置換できる。
一方、信号処理対象がＷ画素でなく、Ｒ画素かＢ画素の場合は、以下に説明するステップＳ３８〜Ｓ４１の処理を行う。図２０の画素配列の場合、Ｇ画素の半分の数しかＲ画素とＢ画素が存在しない。このため、図２３のように、信号対象画素であるＢ画素を含む右斜めラインにはＲ画素が存在せず、右斜めラインに沿ってエッジが存在するような白黒縞模様の被写体を撮像すると、Ｇ画素とＢ画素の色データ値が非常に大きくなり、本来検出されるべきＲ画素の色データ値が出力されなくなり、強い偽信号を生成する要因になる。左斜めラインに沿ってエッジが存在するような被写体を撮像する場合も同様である。また、信号対象画素がＲ画素の場合にも同様の問題が起き、この場合は本来検出されるべきＢ画素の色データ値が出力されなくなる。
そこで、図２１のステップＳ３８〜Ｓ４１では、信号処理対象のＢ画素の位置にＲ画素を、信号処理対象のＲ画素の位置にＢ画素をそれぞれ割り振る補間処理を行う。
まず、図２４（ａ）および図２４（ｂ）に示すように、信号処理対象のＢ画素の両側に隣接する２つの右斜めラインそれぞれの色データ値の総和LineD5, LineD6と、信号処理対象のＢ画素の両側に隣接する２つの左斜めラインそれぞれの色データ値の総和LineD7, LineD8とを検出し、以下の（２０）および（２１）式の条件の少なくとも一つを満たすか否かを判定し、条件を満たす場合には、フラグｆｌｇを「１」に設定し、条件を満たさない場合は条件をフラグｆｌｇを「０」に設定する。
｜LineD5−LineD6|＞LevNDc …（２０）
｜LineD7−LineD8|＞LevNDd …（２１）
ここで、LevNDc, LevNDdは予め定められる閾値であり、例えば、LineD5＝１００、LineD6＝３００、LevNDc＝４０の場合は、（２０）式の条件を満たすことになり、フラグｆｌｇ＝１になる。上記（２０）式は右斜めエッジ判定部に対応し、上記（２１）式は左斜めエッジ判定部に対応する。
フラグｆｌｇ＝１の場合、信号対象画素がＢ画素であれば、Ｂ画素の位置に新たにＲ画素を設定する（ステップＳ４０）。ここでは、画素ブロック内のＷ画素、Ｇ画素およびＢ画素の平均値を求め、以下の（２２）式に従って減算処理を行う。
Ｒ1＝ａＷaverage−（ｂＢaverage＋ｃＧaverage） …（２２）
ここで、ａ，ｂ，ｃは各画素の感度比によって決定される係数である。例えば、Ｗaverage＝１５０、Ｂaverage＝１００、Ｇaverage＝１００のときに、ａ＝１．２、ｂ＝０．４、ｃ＝０．４とすると、Ｒ1＝１００となる。
同様に、フラグｆｌｇ＝１の場合、信号対象画素がＲ画素であれば、以下の（２３）式に従って、Ｒ画素の位置に新たにＢ画素を設定する（ステップＳ４１）。
Ｂ1＝ｄＷaverage−（ｅＢaverage＋ｆＧaverage） …（２２）
これらステップＳ４０，Ｓ４１は、色追加処理部に対応する。ステップＳ３５、Ｓ３６、Ｓ４０、Ｓ４１の処理が終了した場合は、色補間処理を行う（ステップＳ３７）。
このように、第４の実施形態では、右斜め方向および左斜め方向にＲＧＢの３色のうち２色しか現れないような画素配列を採用する場合、存在しない色の画素を信号対象の画素に仮想的に設定するため、特定の色成分のみが強くなる偽信号の生成を抑制でき、ＳＮ比の良好なＲＧＢ画像を得ることができる。
本発明の一実施形態に係る固体撮像素子の概略構成を示すブロック図。 ２行２列の画素ブロックの一例を示す図。 色フィルタの透過率を示すグラフ。 各色の色フィルタを付けた各画素の感度を示すグラフ。 図２の画素ブロックを縦横に計４個配置した例を示す図。 （ａ）は行方向に隣接する３画素分の断面構造を模式的に示した断面図、（ｂ）は色フィルタの上に赤外カットフィルタ１７を配置した断面図。 各画素の通過波長域と透過率との関係を示すグラフ。 図２の２行２列の画素ブロックを縦横に複数個ずつ配置した例を示す図。 Ｗ画素の位置に新たにＲＧＢデータ値Ｒw，Ｇw，Ｂwを生成した例を示す図。 Ｗ画素を中心とする５行７列の画素ブロックの一例を示す図。 色補間処理を説明する図。 本実施形態による信号処理回路６の内部構成を示すブロック図。 図１２のように構成される信号処理部の第１の実施形態の処理動作を示すフローチャート。 （ａ）〜（ｄ）はエッジ判定に用いる画素ラインを説明する図。 （ａ）〜（ｄ）は同じ種類の画素からなる画素ラインを説明する図。 図１２のように構成される信号処理回路６の第２の実施形態の処理動作を示すフローチャート。 （ａ）〜（ｄ）は第２の実施形態におけるエッジ判定に用いる画素ラインを説明する図。 第３の実施形態による信号処理回路６の処理動作を示すフローチャート。 （ａ）〜図１９（ｄ）は第３の実施形態におけるエッジ判定に用いる画素ラインを説明する図。 第４の実施形態で用いる画素配列を示す図。 第４の実施形態による信号処理回路６の処理手順を示すフローチャート。 第４の実施形態における画素ブロックの一例を示す図。 第４の実施形態における画素ラインの一例を示す図。 第４の実施形態におけるエッジ判定用の画素ラインの一例を示す図。
符号の説明
１ 画素アレイ
２ 垂直スキャナ
３ ノイズ減算回路
４ Ａ／Ｄ変換回路
５ 水平スキャナ
６ 信号処理回路
１１ 色分離処理部
１２ 色補間処理部
２０ エッジ判定部

Claims (19)

  1. 半導体基板上にマトリクス状に形成され、それぞれが光電変換素子を有する複数の画素と、
    前記複数の画素で光電変換された電気信号を読み出す読み出し回路と、
    前記読み出し回路で読み出した電気信号に対して信号処理を行う信号処理部と、を備え、
    前記複数の画素は、
    可視光波長の入射光を透明フィルタを介して対応する前記光電変換素子に導く第１の画素と、
    可視波長域中の第１の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第１の色フィルタを有する複数の第２の画素と、
    可視波長域中の前記第１の可視光波長域とは異なる第２の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第２の色フィルタを有する複数の第３の画素と、
    可視波長域中の前記第１および第２の可視光波長域とは異なる第３の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第３の色フィルタを有する複数の第４の画素と、をそれぞれ有し、
    前記信号処理部は、
    前記第１〜第４の画素を少なくとも一つずつ含む複数の画素からなる画素ブロックを単位として、該画素ブロック内の白色の前記第１の画素に対応する白色データ値、第１の色の前記第２の画素に対応する第１の色データ値、第２の色の前記第３の画素に対応する第２の色データ値および第３の色の前記第４の画素に対応する第３の色データ値を取得する色取得部と、
    前記画素ブロック内の信号処理対象となる前記第１の画素の周囲にエッジが存在するか否かを判定するエッジ判定部と、
    前記判定が否定された場合に、信号処理対象となる前記第１の画素の周囲に位置する前記第１〜第３の色の前記第１〜第３の色データ値に基づいて、前記第１の画素における色比率を計算し、計算された色比率と前記第１の画素に対応する前記白色データ値とを乗じることにより、前記第１の画素を色分離して前記第１〜第３色の色データ値を計算する色分離部と、
    前記判定が肯定された場合に、前記色比率を求めずに前記第１の画素を白色以外の他の単色とみなして、この単色の色データ値を計算する単色データ計算部と、を有することを特徴とする固体撮像素子。
  2. 前記色分離部は、前記エッジ判定部における判定が否定された場合に、以下の（１）〜（４）式に基づいて、前記画素ブロック内の前記第１〜第３の色データ値Ｃ1、Ｃ2およびＣ3を用いて前記白色データ値を色分離して、前記第１の色の色データ値Ｃ1w、前記第２の色の色データ値Ｃ2wおよび第３の色の色データ値Ｃ3wを計算することを特徴とする請求項１に記載の固体撮像素子。
    Ｃ1w←Ｗ・Ｋ1 …（１）
    Ｃ2w←Ｗ・Ｋ2 …（２）
    Ｃ3w←Ｗ・Ｋ3 …（３）
    Figure 2008306379
     ただし、Ｋ1，Ｋ2，Ｋ3は信号強度比であらわされる色比率である。
  3. 前記エッジ判定部は、
    前記画素ブロック内の信号処理対象となる白色画素を含む縦ラインにおける複数画素の色データ値の総和と、この縦ラインの両側に配置された２つの縦ラインそれぞれにおける複数画素の色データ値の総和と、の差分が第１の基準値を超えるか否かを判定する縦ラインエッジ判定部と、
    前記画素ブロック内の信号処理対象となる白色画素を含む横ラインにおける複数画素の色データ値の総和と、この横ラインの両側に配置された２つの横ラインそれぞれにおける複数画素の色データ値の総和と、の差分が第２の基準値を超えるか否かを判定する横ラインエッジ判定部と、
    前記画素ブロック内の信号処理対象となる白色画素を含む斜めラインにおける複数画素の色データ値の総和と、この斜めラインの両側に配置された２つの斜めラインそれぞれにおける複数画素の色データ値の総和と、の差分が第３の基準値を超えるか否かを判定する斜めラインエッジ判定部と、
    少なくとも一つの前記判定が肯定された場合には、信号処理対象となる白色画素の周囲にエッジが存在すると判断することを特徴とする請求項１または２に記載の固体撮像素子。
  4. 前記斜めラインエッジ判定部は、
    前記画素ブロック内の信号処理対象となる白色画素を含む右斜めライン上の複数画素の色データ値の総和と、この右斜めラインの両側に配置された２つの右斜めライン上の複数画素の色データ値の総和と、の差分が第４の基準値を超えるか否かを判定する右斜めラインエッジ判定部と、
    前記画素ブロック内の信号処理の対象である白色画素を含む左斜めライン上の複数画素の色データ値の総和と、この左斜めラインの両側に配置された２つの左斜めライン上の複数画素の色データ値の総和と、の差分が第５の基準値を超えるか否かを判定する左斜めラインエッジ判定部と、を有し、
    前記エッジ判定部は、前記縦ラインエッジ判定部、前記横ラインエッジ判定部、前記右斜めラインエッジ判定部および前記左斜めラインエッジ判定部の少なくとも一つで前記判定が肯定された場合には、信号処理対象となる白色画素の周囲にエッジが存在すると判断することを特徴とする請求項３に記載の固体撮像素子。
  5. 前記縦ラインエッジ判定部が前記判定に用いる３つの縦ラインは、隣接して配置されるか、あるいは１画素の間隔をそれぞれ挟んで配置され、
    前記横ラインエッジ判定部が前記判定に用いる３つの横ラインは、隣接して配置されるか、あるいは１画素の間隔をそれぞれ挟んで配置され、
    前記斜めラインエッジ判定部が前記判定に用いる３つの斜めラインは、隣接して配置されるか、あるいは１画素の間隔をそれぞれ挟んで配置されることを特徴とする請求項３または４に記載の固体撮像素子。
  6. 前記縦ラインエッジ判定部が前記判定に用いる３つの縦ラインは、１画素の間隔をそれぞれ挟んで配置され、かつ各縦ラインの画素の種類および並びが共通であり、
    前記横ラインエッジ判定部が前記判定に用いる３つの横ラインは、１画素の間隔をそれぞれ挟んで配置され、かつ各横ラインの画素の種類および並びが共通であり、
    前記斜めラインエッジ判定部が前記判定に用いる３つの斜めラインは、１画素の間隔をそれぞれ挟んで配置され、かつ各斜めラインの画素の種類および並びが共通であることを特徴とする請求項５に記載の固体撮像素子。
  7. 前記エッジ判定部は、
    前記画素ブロック内の信号処理対象となる白色画素を含む縦ラインの両側に配置された２つの縦ラインそれぞれにおける複数画素の色データ値の総和同士の差分が第１の基準値を超えるか否かを判定する縦ラインエッジ判定部と、
    前記画素ブロック内の信号処理対象となる白色画素を含む横ラインの両側に配置された２つの横ラインそれぞれにおける複数画素の色データ値の総和同士の差分が第２の基準値を超えるか否かを判定する横ラインエッジ判定部と、
    前記画素ブロック内の信号処理対象となる白色画素を含む斜めラインの両側に配置された２つの斜めラインそれぞれにおける複数画素の色データ値の総和同士の差分が第３の基準値を超えるか否かを判定する斜めラインエッジ判定部と、
    少なくとも一つの前記判定が肯定された場合には、信号処理対象となる白色画素の周囲にエッジが存在すると判断することを特徴とする請求項１または２に記載の固体撮像素子。
  8. 前記斜めラインエッジ判定部は、
    前記画素ブロック内の信号処理対象となる白色画素を含む右斜めラインの両側に配置された２つの右斜めライン上の複数画素の色データ値の総和同士の差分が第４の基準値を超えるか否かを判定する右斜めラインエッジ判定部と、
    前記画素ブロック内の信号処理の対象である白色画素を含む左斜めラインの両側に配置された２つの左斜めライン上の複数画素の色データ値の総和同士の差分が第５の基準値を超えるか否かを判定する左斜めラインエッジ判定部と、を有し、
    前記エッジ判定部は、前記縦ラインエッジ判定部、前記横ラインエッジ判定部、前記右斜めラインエッジ判定部および前記左斜めラインエッジ判定部の少なくとも一つで前記判定が肯定された場合には、信号処理対象となる白色画素の周囲にエッジが存在すると判断することを特徴とする請求項７に記載の固体撮像素子。
  9. 前記色分離部は、エッジ判定部における判定が肯定された場合に、信号処理対象となる白色画素を緑色画素の色データ値に変換することを特徴とする請求項１乃至８のいずれかに記載の固体撮像素子。
  10. 前記色分離部で生成した前記第１〜第３色の色データ値を用いて、白色画素の周囲の画素の色データ値を補正する補間処理部を備えることを特徴とする請求項１乃至９のいずれかに記載の固体撮像素子。
  11. 前記補間処理部は、前記画素ブロック内の画素の配列がベイヤー配列となるように、前記色分離部で生成した前記第１〜第３の色データ値を用いて、白色画素の周囲の画素の色データ値を補正することを特徴とする請求項１０に記載の固体撮像素子。
  12. 前記エッジ判定部は、信号処理対象となる白色画素を含む前記画素ブロック内において、前記白色画素を含んでかつエッジが存在しない画素領域を特定し、
    前記色分離処理部は、前記エッジ検出部にて特定された前記画素領域に存在する前記第１〜第３の色の色データ値Ｃ1、Ｃ2およびＣ3を用いて、前記（１）〜（４）式に従って前記白色データ値を色分離して、前記第１〜第３の色の色データ値Ｃ1w，Ｃ2w，Ｃ3wを計算することを特徴とする請求項２に記載の固体撮像装置。
  13. 半導体基板上にマトリクス状に形成され、それぞれが光電変換素子を有する複数の画素と、
    前記複数の画素で光電変換された電気信号を読み出す読み出し回路と、
    前記読み出し回路で読み出した電気信号に対して信号処理を行う信号処理部と、を備え、
    前記複数の画素は、可視光波長の入射光を透明フィルタを介して対応する前記光電変換素子に導く第１の画素と、可視波長域中の第１の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第１の色フィルタを有する複数の第２の画素と、可視波長域中の前記第１の可視光波長域とは異なる第２の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第２の色フィルタを有する複数の第３の画素と、可視波長域中の前記第１および第２の可視光波長域とは異なる第３の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第３の色フィルタを有する複数の第４の画素と、をそれぞれ有し、
    前記信号処理部は、
    前記第１〜第４の画素を少なくとも一つずつ含む複数の画素からなる画素ブロックを単位として、該画素ブロック内の白色の前記第１の画素に対応する白色データ値、第１の色の前記第２の画素に対応する第１の色データ値、第２の色の前記第３の画素に対応する第２の色データ値および第３の色の前記第４の画素に対応する第３の色データ値を取得する色取得部と、
    前記画素ブロック内の信号処理対象画素である前記第３の画素または前記第４の画素の周囲にエッジが存在するか否かをそれぞれ判定するエッジ判定部と、
    信号処理対象画素の周囲にエッジが存在しないと判定されると、信号処理対象となる画素の色データ値を変更せずに出力し、信号処理対象画素の周囲にエッジが存在すると判定されると、信号処理対象画素が前記第３の画素であれば該画素に前記第３の色の色データ値を追加し、信号処理対象画素が前記第４の画素であれば該画素に前記第２の色の色データ値を追加する色追加処理部と、を有することを特徴とする固体撮像素子。
  14. 前記第２の画素に対応する前記第１の色は緑色、前記第３および第４の画素に対応する前記第２および第３の色の一方は赤色で、他方は青色であり、
    前記画素ブロック内における前記第３および第４の画素の割合は、前記第２の画素の割合よりも少なく、
    前記画素ブロック内における前記第２の画素の割合は、前記第１の画素の割合よりも少ないことを特徴とする請求項１３に記載の固体撮像素子。
  15. 前記エッジ判定部は、信号処理対象画素である前記第３の画素または前記第４の画素を挟んで両側２つの斜めラインの色データ値の総和の差分が所定の閾値を超える場合には、信号処理対象画素の周囲にエッジが存在すると判断することを特徴とする請求項１４に記載の固体撮像素子。
  16. 前記エッジ判定部は、
    信号処理対象画素である前記第３の画素または前記第４の画素を挟んで両側２つの右斜めラインの色データ値の総和の差分が所定の閾値を超えるか否かを判定する右斜めエッジ判定部と、
    前記信号処理対象画素を挟んで両側２つの左斜めラインの色データ値の総和の差分が所定の閾値を超えるか否かを判定する左斜めエッジ判定部と、の少なくとも一方が肯定されると、前記信号処理対象画素の周囲にエッジが存在すると判断することを特徴とする請求項１５に記載の固体撮像素子。
  17. 前記画素ブロックは、隣接配置される２行２列の４個の前記第１乃至第４画素を含んでおり、
    前記画素ブロック内の前記第１及び第２の画素は対角上に配置されることを特徴とする請求項１乃至１２のいずれかに記載の固体撮像素子。
  18. 前記画素ブロックは、千鳥格子状に配置される前記第１の画素と、その合間に２：１：１の密度で配置される前記第２の画素、前記第３の画素、及び前記第４の画素からなることを特徴とする請求項１３乃至１６のいずれかに記載の固体撮像素子。
  19. 前記信号処理部は、前記複数の画素と前記読み出し回路とが形成された前記半導体基板とは異なる半導体基板上に形成され、
    前記読み出し回路の出力が前記信号処理回路に入力されることを特徴とする請求項１乃至１８のいずれかに記載の固体撮像素子。
JP2007150608A 2007-06-06 2007-06-06 固体撮像素子 Pending JP2008306379A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007150608A JP2008306379A (ja) 2007-06-06 2007-06-06 固体撮像素子
PCT/JP2008/060725 WO2008150021A1 (en) 2007-06-06 2008-06-05 Solid-state image sensing device
US12/278,347 US8045033B2 (en) 2007-06-06 2008-06-05 Solid-state image sensing device
KR1020107000204A KR101130023B1 (ko) 2007-06-06 2008-06-05 고체 촬상 소자
EP08765496A EP2153665A1 (en) 2007-06-06 2008-06-05 Solid-state image sensing device
CN2008800187542A CN101690242B (zh) 2007-06-06 2008-06-05 固态图像传感装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007150608A JP2008306379A (ja) 2007-06-06 2007-06-06 固体撮像素子

Publications (1)

Publication Number Publication Date
JP2008306379A true JP2008306379A (ja) 2008-12-18

Family

ID=39684280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007150608A Pending JP2008306379A (ja) 2007-06-06 2007-06-06 固体撮像素子

Country Status (6)

Country Link
US (1) US8045033B2 (ja)
EP (1) EP2153665A1 (ja)
JP (1) JP2008306379A (ja)
KR (1) KR101130023B1 (ja)
CN (1) CN101690242B (ja)
WO (1) WO2008150021A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011085936A (ja) * 2009-10-14 2011-04-28 Samsung Electronics Co Ltd イメージセンサーのカラーフィルターアレイ及びイメージセンサーから出力された信号を補間する方法
KR20110083888A (ko) * 2010-01-15 2011-07-21 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
JP2014199925A (ja) * 2013-03-14 2014-10-23 富士フイルム株式会社 固体撮像素子及びその製造方法、赤外光カットフィルタ形成用硬化性組成物、カメラモジュール
US8896744B2 (en) 2011-03-16 2014-11-25 Kabushiki Kaisha Toshiba Solid-state imaging device and camera module with IR filter having wavelength characteristics to block both IR and selected visible light band depending on detection target of pixel cells
WO2015008383A1 (ja) * 2013-07-19 2015-01-22 日立マクセル株式会社 撮像装置
JP2015122577A (ja) * 2013-12-20 2015-07-02 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP2017011273A (ja) * 2015-06-24 2017-01-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イメージセンサー及びこれを備える電子装置
JP2017157999A (ja) * 2016-03-01 2017-09-07 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法
WO2018092400A1 (ja) * 2016-11-15 2018-05-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、信号処理回路、及び、電子機器
JP2019522937A (ja) * 2016-07-13 2019-08-15 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 光センサモジュール、光センサモジュールを駆動するための方法および光センサモジュールを製造するための方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8610808B2 (en) 2008-12-22 2013-12-17 Koninklijke Philips N.V. Color CMOS imager with single photon counting capability
US20110068426A1 (en) * 2009-09-22 2011-03-24 Intersil Americas Inc. Photodiodes and methods for fabricating photodiodes
US8345117B2 (en) * 2010-06-30 2013-01-01 Hand Held Products, Inc. Terminal outputting monochrome image data and color image data
EP2645722A4 (en) * 2011-03-11 2014-05-14 Fujifilm Corp IMAGING APPARATUS AND METHOD FOR CONTROLLING THEIR OPERATION
US9570492B2 (en) * 2011-03-25 2017-02-14 Pixart Imaging Inc. Pixel array of image sensor and method of fabricating the same
JP5935876B2 (ja) * 2012-03-27 2016-06-15 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
WO2014006931A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
EP2700920B1 (en) * 2012-08-23 2016-06-22 ams AG Light sensor system and method for processing light sensor signals
JP2016012746A (ja) * 2012-11-07 2016-01-21 ソニー株式会社 信号処理装置、信号処理方法及び信号処理プログラム
US8779542B2 (en) 2012-11-21 2014-07-15 Intersil Americas LLC Photodetectors useful as ambient light sensors and methods for use in manufacturing the same
US8866944B2 (en) * 2012-12-28 2014-10-21 Visera Technologies Company Limited Method for correcting pixel information of color pixels on a color filter array of an image sensor
JP6231284B2 (ja) * 2013-02-21 2017-11-15 クラリオン株式会社 撮像装置
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
US10680022B2 (en) 2013-12-12 2020-06-09 Sony Corporation Solid state imaging device, manufacturing method of the same, and electronic equipment
EP3043159B1 (en) 2015-01-08 2019-12-18 ams AG Method for processing light sensor signals and light sensor system
US10148926B2 (en) * 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
TWI571856B (zh) * 2016-01-08 2017-02-21 友達光電股份有限公司 顯示方法
JP6953297B2 (ja) * 2017-12-08 2021-10-27 キヤノン株式会社 撮像装置及び撮像システム
CN110536083B (zh) * 2019-08-30 2020-11-06 上海芯仑光电科技有限公司 一种图像传感器及图像采集系统
CN110996077A (zh) * 2019-11-25 2020-04-10 Oppo广东移动通信有限公司 图像传感器、摄像头组件和移动终端
KR20220036014A (ko) * 2020-09-15 2022-03-22 삼성전자주식회사 이미지 센싱 시스템
KR20220132069A (ko) 2021-03-22 2022-09-30 삼성전자주식회사 이미지 센서

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
JP3699873B2 (ja) * 1999-10-27 2005-09-28 オリンパス株式会社 画像処理装置
US6876384B1 (en) * 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US7031515B2 (en) * 2002-07-19 2006-04-18 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4253634B2 (ja) * 2004-11-30 2009-04-15 富士フイルム株式会社 デジタルカメラ
JP4692115B2 (ja) * 2005-07-11 2011-06-01 ソニー株式会社 画像処理装置および撮像装置
JP2007074635A (ja) * 2005-09-09 2007-03-22 Matsushita Electric Ind Co Ltd 画像入力装置および固体撮像素子
JP5106870B2 (ja) 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP4846608B2 (ja) 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011085936A (ja) * 2009-10-14 2011-04-28 Samsung Electronics Co Ltd イメージセンサーのカラーフィルターアレイ及びイメージセンサーから出力された信号を補間する方法
KR20110083888A (ko) * 2010-01-15 2011-07-21 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
KR101652722B1 (ko) 2010-01-15 2016-09-01 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
US8896744B2 (en) 2011-03-16 2014-11-25 Kabushiki Kaisha Toshiba Solid-state imaging device and camera module with IR filter having wavelength characteristics to block both IR and selected visible light band depending on detection target of pixel cells
JP2014199925A (ja) * 2013-03-14 2014-10-23 富士フイルム株式会社 固体撮像素子及びその製造方法、赤外光カットフィルタ形成用硬化性組成物、カメラモジュール
US9818778B2 (en) 2013-03-14 2017-11-14 Fujifilm Corporation Solid-state image sensor and its manufacturing method, curable composition for forming infrared cut-off filters, and camera module
WO2015008383A1 (ja) * 2013-07-19 2015-01-22 日立マクセル株式会社 撮像装置
JP2015122577A (ja) * 2013-12-20 2015-07-02 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP2017011273A (ja) * 2015-06-24 2017-01-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イメージセンサー及びこれを備える電子装置
JP2017157999A (ja) * 2016-03-01 2017-09-07 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法
JP2019522937A (ja) * 2016-07-13 2019-08-15 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 光センサモジュール、光センサモジュールを駆動するための方法および光センサモジュールを製造するための方法
US10868987B2 (en) 2016-07-13 2020-12-15 Robert Bosch Gmbh Light-sensor module, method for operating a light-sensor module and method for producing a light-sensor module
WO2018092400A1 (ja) * 2016-11-15 2018-05-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、信号処理回路、及び、電子機器
US11356624B2 (en) 2016-11-15 2022-06-07 Sony Semiconductor Solutions Corporation Solid-state imaging element, signal processing circuit, and electronic equipment

Also Published As

Publication number Publication date
US20100231770A1 (en) 2010-09-16
CN101690242B (zh) 2013-03-27
WO2008150021A1 (en) 2008-12-11
KR20100018042A (ko) 2010-02-16
US8045033B2 (en) 2011-10-25
EP2153665A1 (en) 2010-02-17
KR101130023B1 (ko) 2012-03-26
CN101690242A (zh) 2010-03-31

Similar Documents

Publication Publication Date Title
JP2008306379A (ja) 固体撮像素子
KR101012537B1 (ko) 고체 이미지 센서
EP1969558B1 (en) Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
US8339489B2 (en) Image photographing apparatus, method and medium with stack-type image sensor, complementary color filter, and white filter
EP1860887B1 (en) Image capturing device and method
US7978383B2 (en) Image processing circuit and image processing method
US8228407B2 (en) Solid-state image pickup device
US7864233B2 (en) Image photographing device and method
TWI428025B (zh) Image processing apparatus and image processing method, image capturing apparatus and computer program product
US8736724B2 (en) Imaging apparatus, method of processing captured image, and program for processing captured image
US20080180557A1 (en) Solid-state image pickup device
KR101324198B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 픽셀 배열 방법 및 고체촬상 장치의 신호 처리 방법
US8385642B2 (en) Method for removing color fringe in digital image
US8379977B2 (en) Method for removing color fringe in digital image
US8704925B2 (en) Image sensing apparatus including a single-plate image sensor having five or more brands
JP2014187648A (ja) 固体撮像装置