JP2008172289A - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
JP2008172289A
JP2008172289A JP2007000718A JP2007000718A JP2008172289A JP 2008172289 A JP2008172289 A JP 2008172289A JP 2007000718 A JP2007000718 A JP 2007000718A JP 2007000718 A JP2007000718 A JP 2007000718A JP 2008172289 A JP2008172289 A JP 2008172289A
Authority
JP
Japan
Prior art keywords
signal
pixel
signals
circuit
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007000718A
Other languages
English (en)
Other versions
JP5085140B2 (ja
Inventor
Yoshitaka Egawa
佳孝 江川
Yoshinori Iida
義典 飯田
Hironaga Honda
浩大 本多
Takeshi Ito
伊藤  剛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007000718A priority Critical patent/JP5085140B2/ja
Priority to US11/967,585 priority patent/US7911507B2/en
Priority to TW097100034A priority patent/TWI399086B/zh
Priority to CN200810001977XA priority patent/CN101222642B/zh
Publication of JP2008172289A publication Critical patent/JP2008172289A/ja
Application granted granted Critical
Publication of JP5085140B2 publication Critical patent/JP5085140B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】W(白)画素から得られるW信号が飽和するのを防止でき、またW信号を用いた信号処理により感度・S/Nを向上できる固体撮像装置を提供する。
【解決手段】フォトダイオードPDに入射した光を光電変換して得た信号電荷を蓄積し、蓄積された信号電荷に対応する電圧を出力するセルCEが半導体基板上に行及び列の二次元的に配置された画素部11を備え、セル上にはW,R,G,Bの4色フィルタがそれぞれ配置されている。これらW画素,R画素,G画素,B画素から出力されたアナログ信号は、ADC13によりデジタル信号に変換され、W,R,G,B信号がそれぞれ出力される。W信号の飽和信号量は、飽和信号量制御回路により制御される。そして、AD変換回路から出力されたW信号とR,G,B信号と用いて、信号生成回路32により補正されたR,G,B信号が出力される。
【選択図】 図1

Description

この発明は、固体撮像装置に関するものであり、例えばイメージセンサ付き携帯電話、デジタルカメラ、ビデオカメラなどに使用されるCMOS型イメージセンサに関するものである。
イメージセンサに使用される色フィルタは、補色フィルタから原色ベイヤー配列まで、多種多様の配列がその信号処理方法と共に提案されている。イメージセンサは、近年、画素の微細化が進み2μm代が実用化され、さらには1.75μm画素や1.4μm画素の開発が進められている。2μm以下の微細画素では、入射光量が大幅に減少するためノイズ劣化が懸念される。このため、微細画素における感度を改善する方法として、色フィルタにW(白)を使ったイメージセンサが提案されている(例えば、特許文献1,2,3,4参照)。
しかし、W画素は高感度なため、このW画素から得られるW信号がすぐに飽和してしまう問題や、Y信号(輝度信号)=W信号としているため、色再現性に問題が有る。本来、Y信号はY=0.59G+0.3R+0.11Bの比率で生成しないと、YUV信号から生成したRGB信号の色再現性が悪くなる。さらに、前記特許文献では、W画素を使った有効な信号処理がなされていない。
特開平8−23542号公報 特開2003−318375号公報 特開2004−304706号公報 特開2005−295381号公報
この発明は、W(白)画素から得られるW信号が飽和するのを防止でき、またW信号を用いた信号処理により感度・S/Nを向上できる固体撮像装置を提供する。
この発明の一実施態様の固体撮像装置は、光電変換手段に入射した光を光電変換して得た信号電荷を蓄積し、蓄積された信号電荷に対応する電圧を出力するセルが半導体基板上に行及び列の二次元的に配置された画素部と、前記画素部内の前記セル上にそれぞれ配置されたW(白),R(赤),G(緑),B(青)の4色フィルタと、前記セル上に前記W(白),R(赤),G(緑),B(青)の色フィルタがそれぞれ配置されたW画素,R画素,G画素,B画素から出力されたアナログ信号をデジタル信号に変換し、W信号,R信号,G信号,B信号をそれぞれ出力するAD変換回路と、前記W画素の飽和信号量を制御する飽和信号量制御回路と、前記AD変換回路から出力された前記W信号と前記R信号,G信号,B信号とを用いて、R信号,G信号,及びB信号をそれぞれ補正し生成する色信号生成回路とを具備することを特徴とする。
この発明によれば、W(白)画素から得られるW信号が飽和するのを防止でき、またW信号を用いた信号処理により感度・S/Nを向上できる固体撮像装置を提供することが可能である。
以下、図面を参照してこの発明の実施形態の固体撮像装置としての増幅型CMOSイメージセンサについて説明する。説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。
[第1実施形態]
まず、この発明の第1実施形態のCMOSイメージセンサについて説明する。
図1は、第1実施形態のCMOSイメージセンサの概略構成を示すブロック図である。
センサコア部1には、画素部11、カラム型ノイズキャンセル回路(CDS)12、カラム型アナログデジタルコンバータ(ADC)13、ラッチ回路14、2つのラインメモリ(第1ラインメモリMSTH,第2ラインメモリMSTL)及び水平シフトレジスタ15などが配置されている。
画素部11には、レンズ2を介して光が入射され、光電変換によって入射光量に応じた電荷が生成される。この画素部11には、セル(画素)CEが半導体基板上に行及び列の二次元的に配置されている。各セルCEは、4つのトランジスタTa,Tb,Tc,Tdと光電変換手段、例えばフォトダイオードPDから構成され、各セルにはパルス信号ADRESn,RESETn,READnがそれぞれ供給される。この画素部11の下部には、ソースフォロワ回路用の負荷トランジスタTLMが水平方向に沿って配置されている。これらの負荷トランジスタTLMの電流通路の一端は垂直信号線VLINにそれぞれ接続され、電流通路の他端は接地点に接続されている。また、フォトダイオードPDの上部に形成される色フィルタは、従来の2×2画素でG(緑)R(赤)G(緑)B(青)の3色を使ったベイヤー配列のGをW(白)にした4色フィルタとした。Wは色フィルタを用いず、全ての波長領域で光が透過するようにしてある。
画素部11で発生した信号電荷に対応するアナログ信号は、CDS12を介してADC13に供給され、ADC13によりデジタル信号に変換されてラッチ回路14にラッチされる。このラッチ回路14にラッチされたデジタル信号は、ラインメモリMSTH,MSTLに信号を蓄積し水平シフトレジスタ15で順次選択され読み出され、センサコア部1より順次読み出される。すなわち、ラインメモリMSTH,MSTLには、蓄積時間の異なる2つの信号STL(長時間蓄積)と信号STH(短時間蓄積)が記憶される。ラインメモリMSTH,MSTLから読み出されたデジタル信号OUT0〜OUT9は、信号STL(長時間蓄積)と信号STH(短時間蓄積)を、光量に対して信号が線形になるように変換するための線形変換回路31に供給され、2つの信号STLとSTHが合成される。合成された信号SFは、後段の信号生成回路32に供給され、信号生成回路32によりW信号からRGB信号が生成され、さらに、RGBのベイヤー配列に変換されて、RGBの10ビットデジタル出力DOUT0〜DOUT9として、図示しない後段の信号処理ICへ出力される。
また、画素部11に隣接して、パルスセレクタ回路(セレクタ)21、信号読み出し用の垂直レジスタ(VRレジスタ)22、蓄積時間制御用の垂直レジスタ(ESレジスタ、長い蓄積時間制御用レジスタ)23、及び蓄積時間制御用の垂直レジスタ(WDレジスタ、短い蓄積時間制御用レジスタ)24がそれぞれ配置されている。
画素部11からの読み出しやカラム型ノイズキャンセル回路(CDS)12の制御は、タイミングジェネレータ(TG)33から出力されるパルス信号S1〜S4,READP,IRESET/IADRES/IREAD,VRR,ESR,WDRによって行われる。すなわち、このタイミングジェネレータ(TG)33は制御回路として働く。
パルス信号S2〜S4はCDS12に供給される。パルス信号READPはパルス振幅制御回路34に供給され、このパルス振幅制御回路34の出力信号VREADがパルスセレクタ回路21に供給される。また、パルス信号IRESET/IADRES/IREADもパルスセレクタ回路21に供給される。パルス信号VRRはVRレジスタ22に、パルス信号ESRはESレジスタ23に、パルス信号WDRはWDレジスタ24にそれぞれ供給される。上記レジスタ22,23,24により画素部11の垂直ラインが選択され、パルスセレクタ回路21を介してパルス信号RESET/ADRES/READ(図1ではRESETn,ADRESn,READnで代表的に示す)が画素部11へ供給される。アドレスパルス信号ADRESnは上記セル中の行選択トランジスタTaのゲートに、リセットパルス信号RESETnは上記セル中のリセットトランジスタTcのゲートに、読み出しパルス信号READnは上記セル中の読み出しトランジスタTdのゲートにそれぞれ供給される。この画素部11には、バイアス発生回路(バイアス1)35からバイアス電圧VVLが印加されている。このバイアス電圧VVLは、ソースフォロワ回路用の負荷トランジスタTLMのゲートに供給される。
基準電圧発生回路(VREF)36は、メインクロック信号MCKに応答して動作し、ADC13におけるAD変換用の基準波形VREFTL,VREFTHを生成する回路である。この基準波形の振幅は、シリアルインタフェース(シリアルI/F)37に入力されるデータDATAによって制御される。このシリアルインタフェース37に入力されるコマンドは、コマンドデコーダ38に供給されてデコードされ、メインクロック信号MCKとともにタイミングジェネレータ33に供給される。基準電圧発生回路36では、1水平走査期間に2回のAD変換を実行するために、三角波VREFTLとVREFTHを発生してADC13に供給する。タイミングジェネレータ33から出力されるパルス信号READPはパルス振幅制御回路34に供給され、このパルス振幅制御回路34によって振幅が制御されることにより3値のパルス信号VREADが生成されてパルスセレクタ回路21に供給される。
線形変換回路31は、蓄積時間の異なる2つの信号STL(長時間蓄積)と信号STH(短時間蓄積)を、光量に対して信号が線形になるように変換し合成するための回路である。この線形変換回路31は、黒レベルのdark信号を減算処理する2つの減算回路(−dark)31−1,31−2、上記減算回路31−2の出力を増幅するゲイン回路GA、比較回路A、及びスイッチ31−3を備えている。この線形変換回路31には、ラインメモリMSTHに記憶した露光時間(電荷の蓄積時間)の短い信号STHと、ラインメモリMSTLに記憶した露光時間の長い信号STLを同時に入力する。
まず、ADC13によるアナログ/デジタル変換動作では、黒レベル(dark)を64LSBレベルに設定しているため、減算回路31−1,31−2で黒レベル64をそれぞれのラインメモリMSTL,MSTHの出力信号STL,STHから減算する。次に、減算処理した信号SBをゲイン回路GAで増幅し、信号SCを生成する。このゲイン量は、信号STLと信号STHの露光時間をそれぞれTLとTHとすると、その比TL/THから算出できる。信号SBをゲイン倍する処理を行うことにより、傾きの異なった光電変換特性カーブであっても等価的に傾きを同じにできる。この信号SCと、STL信号から黒レベル(dark)を減算した信号SAとを比較回路Aで比較して、スイッチ回路31−3で大きい信号を選択している。この結果、信号SAとゲイン倍した信号SCとをスムーズに合成できる。この線形変換回路31の出力信号SFは、ビット数を増加させて12ビットで出力している。
図2は、図1に示したCMOSイメージセンサの動作タイミングを示す波形図である。本例では、垂直のnラインのフォトダイオードPDで光電変換して電荷を蓄積する蓄積時間TLを、TL=520Hとする。また、短い蓄積時間THを、TH=130Hとし、長い蓄積時間TLの1/4光量とする。長い蓄積時間TLは、読み出しパルス信号READの振幅を高レベル(Vn=2.8V)で制御している。短い蓄積時間THは、読み出しパルス信号READの振幅を低レベル(Vm=1V)で制御している。このような振幅レベルの異なる読み出しパルス信号READを発生させるために、パルス振幅制御回路34の出力信号VREADによって読み出しパルスREADの振幅を制御している。なお、蓄積時間TLはESレジスタ23で1H毎に制御できる。また、蓄積時間THは、WDレジスタ24で1H毎に制御でき、更にパルスセレクタ回路21の入力パルス位置を変更することで1H以下の制御も可能である。
フォトダイオードPDで蓄積していた信号電荷の第1回目の読み出し動作時(t4)には、水平同期パルスHPに同期して画素部11にパルス信号RESETn,READn,ADRESnを供給して、フォトダイオードPDで光電変換して蓄積した信号電荷を読み出す。この時の読み出しパルスREADの振幅は低レベルVmに設定する。1回目に読み出す信号電荷は、蓄積時間520Hの途中の時点t2に低レベルVmの読み出しパルスREADを入力して、フォトダイオードPDの一部の信号電荷を読み出して排出する。さらに、時点t2〜t4の期間に再蓄積した信号を、時点t4にフォトダイオードPDから読み出す。
パルス信号RESETnをオンしてオフした時の検出部のリセットレベルの取り込み時、基準波形の振幅は、中間レベルに設定して読み出しを行っている。この中間レベルは、画素部11の遮光画素(OB)部が64LSBになるようにイメージセンサ内で自動調整している。次に、信号READnをオンして信号を出力する。この読み出した信号に対して、水平走査期間の前半の0.5H期間に基準波形として三角波を発生させ、10ビットのAD変換を実施している。AD変換した信号(デジタルデータ)はラッチ回路14に保持し、AD変換終了後にラインメモリMSTHに記憶する。
フォトダイオードPDからの第2回目の読み出し動作時(t5)には、1回目の0.5H後に画素部11にパルス信号RESETn,READn,ADRESnを入力して、フォトダイオードPDで光電変換して蓄積した信号電荷を読み出す。この時の読み出しパルスREADの振幅は高レベルVnに設定する。
フォトダイオードPDに残された信号電荷は、パルス信号RESETnを印加せずに、パルス信号READnとADRESnを入力して読み出す。検出部のリセットレベルはt4時の信号を使う。パルス信号READnをオンして検出部で蓄積していたSTH信号と加算して出力する。この読み出した信号に対して、水平走査期間の後半の0.5H期間に基準波形として三角波を発生させることにより、10ビットのAD変換を実施している。AD変換した信号はラッチ回路14に保持し、AD変換終了後にラインメモリMSTLに記憶する。このようにしてラインメモリMSTH,MSTLに記憶された信号(デジタルデータ)STH,STLは、次の1水平走査期間に、データOUT0〜OUT9として線形変換回路31に同時に供給され、画素単位の信号が信号処理される。
図3(a),図3(b)及び図3(c)は、図1に示した線形変換回路31の動作を示す光電変換特性図である。図3(a)に信号STHを、図3(b)に信号STLを、図3(c)に信号SFをそれぞれ示す。横軸が光量、縦軸がデジタル出力レベルである。
図3(a)に示す信号STHは、出力レベルKnee1まで図3(b)に示す信号STLと同じ傾きで各WRGB信号が立ち上る。出力レベルKnee1からは蓄積時間比TH/TLの傾き1/4に抑圧されて出力される。このとき、飽和レベルは10ビット出力以内に発生する。線形変換回路31内では、蓄積時間比で定まる増幅回路GAで信号STHが4倍される。このようにゲイン4倍すると、出力レベルKnee1が4倍された出力レベルKnee2へシフトする。そして、信号STHは出力レベルKnee2以上では、傾きが4倍となったW×4,G×4,R×4,B×4となる。この傾きは、図3(b)に示した信号STLの出力レベルKnee2までの傾きと同じになる。信号STLには、図2に示すように時刻t4からt5期間に検出部をリセットしていないため、図3(b)の縦軸のVm以上に信号STHが加算されて出力される。信号STLの飽和レベルは、AD変換でクリップされる10ビットである。線形変換された最終出力である図3(c)に示す信号SFは、出力レベルKnee2までは信号STLが出力され、出力レベルKnee2以上はゲイン4倍された信号STHに切り換えて出力している。このように、線形変換回路31は、蓄積時間の異なった信号STLと信号STHが、擬似的に蓄積時間が同じとなるようにこれら信号を処理する。
従来、G信号が飽和する点P1で光量設定すると、W信号が光量0.5で飽和していた。この実施形態では、ワイドダイナミックレンジ動作(WDR)で、W信号は光量1でG信号の2倍のAD変換11ビットレベルまで拡大して再生している。すなわち、ワイドダイナミックレンジ動作を用いることで、W信号に対して従来と同じ光量1での設定が可能となる。最低被写体光量となる低光量では、従来、G信号がノイズと同じレベルで制限されていた光量が、W信号を用いた場合はG信号に対して感度が2倍あるため、(実測結果から)最低被写体光量が1/2の低光量に改善される。さらに、蓄積時間比を1/4より小さくすれば、W信号の飽和レベルをさらに改善することができる。これにより、点P1を右側の光量2や4にシフトでき、すなわち10ビットに達する光量を2や4にシフトでき、ダイナミックレンジも合わせて改善することができる。このとき図1に示したイメージセンサの出力は12ビットあるいは14ビットなどとなるように、10ビットより大きくする。
図4(a),図4(b)及び図4(c)に、図1に示した信号生成回路32の処理例を示す。信号生成回路32は、色生成回路、色配列変換回路、及びラインメモリを備える。信号生成回路32に入力される図4(a)に示す信号SFは、一般的なRGBベイヤー配列でRラインのGがW信号に置き換わっている。このような2×2のパターンが繰り返し入力される。
まず、W信号からRGB信号を生成する色生成回路での処理を述べる。図5(a)は従来のW信号からRGB信号を生成する減算方式を示す概略図であり、図5(b)はこの実施形態におけるW信号からRGB信号を生成する比率掛算方式を示す概略図である。
例えば、W信号からG信号を生成する場合、従来の減算方式では、図5(a)に示すように、W信号から“減算係数×(R+B)”を減算してG信号を算出していた。このため、ランダムノイズが大きくなっていた。これに対して、この実施形態で用いる比率掛算方式では、図5(b)に示すように、W信号に“比率掛算係数である(G/W)”を乗じてG信号を算出する。このため、ランダムノイズを抑制することができる。
ここでは、W11画素に着目して、具体的な算出例を示す。
従来の一般的な処理では、以下に示すようになる。
Gw11=W11-Kg((R11+R12)/2+(B11+B21)/2)
Rw11=W11-Kr((G11+G12+G21+G22)/4+(B11+B21)/2)
Bw11=W11-Kb((G11+G12+G21+G22)/4+(R11+R12)/2)
* Kg,Kr,Kbは分光特性から得られる信号量の調整のため係数
これに対し、この実施形態では、周辺の8画素からW(白)信号レベルとRGB信号レベルを算出し、このWとRGBの比率を元にW11画素の信号からRw.Gw,Bw信号を生成する比率掛算方式を、図4(b)に示す。
Wrgb11=(G11+G12+G21+G22)/4+(R11+R12)/2+(B11+B21)/2
Gw11=W11*((G11+G12+G21+G22)/4)/Wrgb11
Rw11=W11*((R11+R12)/2)/Wrgb11
Bw11=W11*((B11+B21)/2)/Wrgb11
実験結果では、G信号に対して、Wから生成したGw信号のS/Nは約4dB、R信号に対してのRw信号とB信号に対してのBw信号はそれぞれ約3dB改善された。この処理方法では、S/Nの改善効果が大きく、前記係数Kが不要となるため調整が不要となる効果もある。さらに、周辺画素数を増加させることで、さらにS/Nを改善することができる。
図4(c)に、色配列変換回路によりRGBベイヤー配列変換を行った画素配列図を示す。W11画素は色生成したGw11をそのまま使う。GRBのそれぞれの処理方法は、G22、R12、B21画素の処理を例に示す。画素G22は、Gw11と同等のS/N改善と解像度レベルを同等にするために、周辺4画素のGw11,Gw12,Gw21,Gw22の情報を加算する。また、画素R12は両サイドのWから生成したRw11とRw12の情報を加算することでS/Nを改善する。同様に、画素B21は、上下のWから生成したBw11とBw21の情報を加算することでS/Nを改善する。
G22w=((Gw11+Gw12+Gw21+Gw22)/4+G22)/2
R12w=((Rw11+Rw12)/2+R12)/2
B21w=((Bw11+Bw21)/2+B21)/2
の計算を順次算出してベイヤー配列に変換する。そして、信号生成回路32から、ベイヤー配列に変換されたデータDOUT0〜DOUT9が出力される。
実験では、YUV信号の輝度信号Y=0.59G+0.3R+0.11B
の処理結果において、通常の光量で輝度信号YのS/Nを約4.5dB改善することができた。また、最低被写体照度では、W信号を有効に使うことにより、従来のG信号で決まる感度に対して2倍の高感度化が実現できた。
前記構成を有する第1実施形態では、高感度なW画素から得られるW信号を用いても、W信号を飽和させないようにできるため、画素部に入力される標準設定の光量が低光量側へシフトされることはない。また、W信号からRGBの信号を、比率掛算方式を用いて求めているため、RGBの信号におけるノイズを改善することができる。さらに、RGBの解像度情報を増加させることができるため、色の偽信号を低減できる。また、出力信号をRGBベイヤー配列に変換することにより、汎用的な信号処理ICが使えるため、早期製品化が可能となる。また、ダイナミックレンジ拡大モードと組み合わせることにより、ダイナミックレンジを拡大することもできる。これにより、低光量から高光量まで対応できるイメージセンサが実現できる。さらに、この実施形態では、W画素を多く配置しても、RGB信号が抽出できるため、見かけ上RGBの画素数を増加した効果が得られる。
[第2実施形態]
次に、この発明の第2実施形態のCMOSイメージセンサについて説明する。前記第1実施形態における構成と同様の部分には同じ符号を付してその説明は省略する。この第2実施形態は、第1実施形態に対してダイナミックレンジの拡大方法を変更したものである。
図6は、第2実施形態のCMOSイメージセンサの概略構成を示すブロック図である。このイメージセンサの出力は第1実施形態の2倍速で出力している(なお、同じ速度でも良い)。PRE信号処理回路4はフレームメモリ41を備え、2フレームのデータを合成して1フレームの信号としている。第1(1st)フレームで、低光量の信号を得るために蓄積時間を長くして信号S1stを出力している。この信号S1stをフレームメモリ41に記憶させている。第2(2nd)フレームでは、蓄積時間を第1フレームの1/4に設定してセンサより信号S2ndを出力する。この時、PRE信号処理回路4の線形変換回路42で、信号S2ndをゲイン4倍に増幅する。フレームメモリ41から出力される信号S1stが10ビットで飽和している場合は、信号S2ndを信号SFとして出力する。その後、第1実施形態と同様に、信号生成回路32を経て、図示しない後段の信号処理ICへ12ビットのデータDOUT0〜DOUT11を出力している。
図7(a),図7(b)及び図7(c),は、図6に示した線形変換回路42の動作を示す光電変換特性図である。図7(a)に信号S1stを、図7(b)に信号S2ndを、図7(c)に信号SFをそれぞれ示す。横軸が光量、縦軸がデジタル出力レベルである。図7(a)に示す信号S1stは、光量1でG信号が10ビットで飽和している。W信号はG信号に対して感度が2倍あるため、光量0.5で飽和している。図7(b)に示す信号S2ndは、蓄積時間を1/4にしているため、W信号は光量2で飽和している。W信号をゲイン4倍すると、光量1で11ビットの信号を再生できる。
図7(c)に示す合成した信号SFは、信号S1stと、信号S2ndをゲイン4倍した信号(W×4)とを10ビットの飽和レベル1023LSBで切り替えることにより、W信号は光量2で12ビットまで線形信号として再生することができる。標準光量を従来のポイントP1からP2へシフトすることにより、従来の2倍にダイナミックレンジを拡大できる。
また、最低被写体照度となるノイズレベルと信号レベルが同じ値の場合は、従来、G信号で決まっていたポイントP3がW信号で決まるポイントP4へシフトでき、光量を1/2に減らすことができる。これにより、画素部の感度を2倍に改善することができる。さらに、第2フレームでの蓄積時間を更に第1フレームの1/8、1/16と小さくすることにより、ダイナミックレンジを4倍、8倍へと拡大できる。
[第3実施形態]
この第3実施形態は、第1実施形態のCMOSイメージセンサに、信号処理回路を混載して1チップセンサとしたものである。その他の構成は前記第1実施形態と同様であり、第1実施形態における構成と同様の部分には同じ符号を付してその説明は省略する。
図8は、第3実施形態のCMOSイメージセンサの概略構成を示すブロック図である。図1に示したCMOSイメージセンサに信号処理回路51を付加し、1チップ構成としている。図8に示すように、信号生成回路32でRGBベイヤー配列に変換した信号を信号処理回路51に供給し、この信号処理回路51により通常の処理である、ホワイトバランス、色分離補間処理、輪郭強調、γ補正、及びRGBマトリクスによる色調整などを実施する。これにより、CMOSイメージセンサの出力DOUT0〜DOUT7として、RGB信号もしくはYUV信号が出力できる。
[第4実施形態]
この第4実施形態は、第2実施形態におけるPRE信号処理回路4に信号処理回路を付加し、2チップ構成としたものである。その他の構成は前記第2実施形態と同様であり、第2実施形態における構成と同様の部分には同じ符号を付してその説明は省略する。
図9は、第4実施形態のCMOSイメージセンサの概略構成を示すブロック図である。図6に示したCMOSイメージセンサにおけるPRE信号処理回路4に、信号処理回路51を付加している。図9に示すように、信号再生回路32でRGBベイヤー配列に変換した信号を信号処理回路51に供給し、この信号処理回路51により通常の処理である、ホワイトバランス、色分離補間処理、輪郭強調、γ補正、及びRGBマトリクスによる色調整などを実施する。これにより、CMOSイメージセンサの出力DOUT0〜DOUT7として、RGB信号もしくはYUV信号が出力できる。
[第5実施形態]
次に、この発明の第5実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路について説明する。この第5実施形態は、第1実施形態における色フィルタ配列を変更したものである。その他の構成は前記第1実施形態と同様である。
図10に、第5実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す。信号生成回路32に入力される図10(a)に示す信号SFでは、4×4画素を基本として色フィルタが配列されている。一般的なRGBベイヤー配列に対して、解像度情報が少なくて済む色信号のRとB信号を1/2に減らし、G信号を1画素毎に上下左右に配置した。残りの位置にW画素を4画素均等に配置し、残りの4画素にRとB画素をそれぞれ対角線上に配置した。G画素が8画素、W画素が4画素、R画素が2画素、B画素が2画素となる4×4の基本配列を繰り返している。
以下に、W信号からRGBの信号を生成する色生成回路の処理を述べる。
この実施形態では、図4に示したのと同様に、色生成回路での処理に比率掛算方式を用いる。ここではW11画素に着目し、周辺の8画素からW(白)信号レベルとRGB信号レベルを算出し、このWとRGBの比率を元に、W11画素の信号からRw,Gw,Bw信号を生成する比率掛算方式の例を図10(b)に示す。
Wrgb11=(G11+G21+G22+G31)/4+(R11+R21)/2+(B11+B21)/2
Gw11=W11*((G11+G21+G22+G31)/4)/Wrgb11
Rw11=W11*((R11+R21)/2)/Wrgb11
Bw11=W11*((B11+B21)/2)/Wrgb11
実験結果では、第1実施形態と同様にG信号に対して、Wから生成したGw信号のS/Nは約3db、R信号に対するRw信号とB信号に対するBw信号はそれぞれ約4.5dB改善された。
図10(c)に、色配列変換回路によりRGBベイヤー配列変換を行った画素配列図を示す。W11画素は色生成したGw11をそのまま使う。GRBのそれぞれの処理方法は、G22、R21、B21画素の処理を例に示す。画素G22は、Gw11と同等のS/N改善と解像度レベルを同等にするために、左右2画素のGw11,Gw12の情報を加算する。また、画素R21は斜め4画素のWから生成したRw10、Rw11、Rw20、Rw21の情報を加算することでS/Nを改善する。同様に、画素B21は、斜め4画素のWから生成したBw11、Bw12、Bw21、Bw22の情報を加算することでS/Nを改善する。
G22w=((Gw11+Gw12)/2+G22)/2
R21w=((Rw10+Rw11+Rw20+Rw21)/4+R21)/2
B21w=((Bw11+Bw12+Bw21+Bw22)/4+B21)/2
の計算を順次算出してベイヤー配列に変換する。実験では、YUV信号の輝度信号
Y=0.59G+0.3R+0.11B
の処理結果において、通常の光量で輝度信号YのS/Nを約3dB改善することができた。この配列は、特に色信号のS/Nを改善するのに有効である。また、最低被写体照度では、W信号を有効に使うことにより、従来のG信号で決まる感度に対して2倍の高感度化が実現できた。
[第6実施形態]
この第6実施形態は、第5実施形態と同様に、第1実施形態における色フィルタ配列を変更したものである。その他の構成は前記第1実施形態と同様である。
図11に、第6実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す。信号生成回路32に入力される図11(a)に示すSF信号では、4×4画素を基本として色フィルタが配列されている。一般的なRGBベイヤー配列に対して、解像度情報が少なくて済む色信号のRとB信号を1/2に減らし、W信号を1画素毎に上下左右に配置した。残りの位置にG画素を4画素均等に配置し、残りの4画素にRとB画素をそれぞれ対角線上に配置した。W画素が8画素、G画素が4画素、R画素が2画素、B画素が2画素となる4×4の基本配列を繰り返している。
以下に、W信号からRGBの信号を生成する色生成回路の処理を述べる。
この実施形態では、図4に示したのと同様に、色生成回路での処理に比率掛算方式を用いる。ここではW22画素に着目し、周辺の4画素からW(白)信号レベルとRGB信号レベルを算出し、このWとRGBの比率を元に、W22画素の信号からRw,Gw,Bw信号を生成する比率掛算方式の例を図11(b)に示す。
Wrgb22=(G11+G12)/2+R11+B21
Gw22=W22*((G11+G12)/2)/Wrgb22
Rw22=W22*R11/Wrgb22
Bw22=W22*B21/Wrgb22
この実施形態では、W信号の画素数を多くすることにより、低照度でのS/Nと解像度を改善することができる。
[第7実施形態]
この第7実施形態は、第1実施形態における色フィルタ配列を変更すると共に、信号生成回路32にラインメモリを4本設け、垂直5ライン処理によりS/Nの改善を実施している。その他の構成は前記第1実施形態と同様である。
図12に、第7実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す。色フィルタ配列は、第6実施形態の図11に示したのと同仕様である。
以下に、W信号からRGBの信号を生成する色生成回路の処理を述べる。
この実施形態では、図4に示したのと同様に、色生成回路での処理に比率掛算方式を用いる。ここではW32画素に着目し、水平の7画素と垂直の5ラインからW(白)信号レベルとRGB信号レベルを算出し、このWとRGBの比率を元に、W32画素の信号からRw,Gw,Bw信号を生成する例を図12(b)に示す。
Wrgb32=(G12+G13+G21+G22+G23+G24+G32+G33)/8
+(R11+R21/2+R22/2)/2+(B21+B11/2+B12/2)/2
Gw32=W32*((G12+G13+G21+G22+G23+G24+G32+G33)/8)/Wrgb32
Rw32=W32*((R11+R21/2+R22/2)/2)/Wrgb32
Bw32=W32*((B21+B11/2+B12/2)/2)/Wrgb32
この実施形態では、W信号の画素数を多くすることにより、低照度でのS/Nと解像度を改善することができる。また、注目画素に対して、周辺に配置された8画素のG信号を用いているため、第6実施形態よりもさらにS/Nを改善できる。
[第8実施形態]
この第8実施形態は、第1実施形態における色フィルタ配列を変更したものである。その他の構成は前記第1実施形態と同様である。
図13に、第8実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す。信号生成回路32に入力される図13(a)に示すSF信号では、4×4画素を基本として図10に示した正方配列を45度傾けた色フィルタが配列されている。一般的なRGBベイヤー配列に対して、解像度情報が少なくて済む色信号のRとB信号を1/2に減らし、G信号を1画素毎に上下左右に配置した。残りの位置にW画素を4画素均等に配置し、残りの4画素にRとB画素をそれぞれ対角線上に配置した。G画素が8画素、W画素が4画素、R画素が2画素、B画素が2画素となる4×4の基本配列を繰り返している。
以下に、W信号からRGBの信号を生成する色生成回路の処理を述べる。
この実施形態では、図4に示したのと同様に、色生成回路での処理に比率掛算方式を用いる。ここではW32画素に着目し、周辺の8画素からW(白)信号レベルとRGB信号レベルを算出し、このWとRGBの比率を元に、W32画素の信号からRw,Gw,Bw信号を生成する例を図13(b)に示す。
Wrgb32=(G33+G34+G43+G44)/4+(R12+R22)/2+(B22+B23)/2
Gw32=W32*((G33+G34+G43+G44)/4)/Wrgb32
Rw32=W32*((R12+R22)/2)/Wrgb32
Bw32=W32*((B22+B23)/2)/Wrgb32
実験結果では、第1実施形態と同様にG信号に対して、Wから生成したGw信号のS/Nは約3dB、R信号に対するRw信号とB信号に対するBw信号はそれぞれ約4.5dB改善された。
[第9実施形態]
この第9実施形態は、第1実施形態における色フィルタ配列を変更したものである。その他の構成は前記第1実施形態と同様である。
図14に、第9実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す。図14(a)に示すSF信号は、4×4画素を基本として図12に示した色フィルタ配列を45度傾けた配列になっている。一般的なRGBベイヤー配列に対して、解像度情報が少なくて済む色信号のRとB信号を1/2に減らし、W信号を1画素毎に上下左右に配置した。残りの位置にG画素を4画素均等に配置し、残りの4画素にRとB画素をそれぞれ対角線上に配置した。W画素が8画素、G画素が4画素、R画素が2画素、B画素が2画素となる4×4の基本配列を繰り返している。
以下に、W信号からRGBの信号を生成する色生成回路の処理を述べる。
この実施形態では、図4に示したのと同様に、色生成回路での処理に比率掛算方式を用いる。ここではW33画素に着目し、周辺の4画素からW(白)信号レベルとRGB信号レベルを算出し、このWとRGBの比率を元に、W33画素の信号からRw,Gw,Bw信号を生成する例を図14(b)に示す。
Wrgb33=(G32+G41)/2+R22+B11
Gw33=W33*((G32+G41)/2)/Wrgb33
Rw33=W33*R22/Wrgb33
Bw33=W33*B11/Wrgb33
この実施形態では、W信号の画素数を多くすることにより、低照度でのS/Nと解像度を改善することができる。
[第10実施形態]
この第10実施形態は、第1実施形態における色フィルタ配列を変更したものである。その他の構成は前記第1実施形態と同様である。
図15に、第10実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す。色フィルタ配列は、前記第9実施形態の図14に示した構成と同様である。
W信号からRGBの信号を生成する色生成回路の処理は、前述した比率掛算方式を用いて以下のように行う。ここでは、W33画素の信号からRw,Gw,Bw信号を生成する例を図15(b)に示す。
Wrgb33=(G21+G22+G31+G32+G42+G43+G51+G52)/8
+(R22+R11/2+R21/2)/2+(B11+B12/2+B21/2)/2
Gw33=W33*((G21+G22+G31+G32+G42+G43+G51+G52)/8)/Wrgb33
Rw33=W33*((R22+R11/2+R21/2)/2)/Wrgb33
Bw33=W33*((B11+B12/2+B21/2)/2)/Wrgb33
この実施形態では、W信号の画素数を多くすることにより、低照度でのS/Nと解像度を改善することができる。また、注目画素に対して、周辺に配置された8画素のG信号を用いているため、前記第9実施形態よりもさらにS/Nを改善できる。なお、前記式中にて用いたG信号は一例であり、その他のG画素のG信号を用いてもよい。
[第11実施形態]
この第11実施形態では、図14、図15に示した色フィルタ配列に対応したCMOSイメージセンサの構成を説明する。前記第1実施形態における構成と同様の部分には同じ符号を付してその説明は省略する。
図16は、第11実施形態のCMOSイメージセンサの概略構成を示すブロック図である。画素部11に隣接して、パルスセレクタ回路(セレクタ)21、信号読み出し用の垂直レジスタ(VRレジスタ)22、蓄積時間制御用の垂直レジスタ(ESRGBレジスタ)25、及び蓄積時間制御用の垂直レジスタ(ESWレジスタ)26がそれぞれ配置されている。ESRGBレジスタ25は、R画素、G画素、及びB画素における蓄積時間を制御するレジスタである。ESWレジスタ26は、W画素における蓄積時間を制御するレジスタである。画素部11に配置される色フィルタは、1行毎にWラインが配列されている。よって、高感度のW画素が飽和しないように専用の電子シャッタで蓄積時間を制御する。W信号はG信号に対して感度が約2倍有るため、専用の電子シャッタを用いてW信号の蓄積時間を他のRGB信号の蓄積時間に対して1/2に設定すれば良い。低光量ではW画素に電子シャッタを掛けずに、G信号の2倍の高感度を利用して最低被写体照度を1/2に改善する。線形変換回路52では、W画素のみに電子シャッタを動作した時に、W画素の信号のみゲイン回路GAにより蓄積時間比で増幅して元の配列に切り換えてSF信号とする。
低光量では、W画素に電子シャッタによる制御を行わないため、W信号はRGB信号と蓄積時間が同じになる。このため、線形変換回路52では、W画素の信号を増幅しないように、RGB信号側にスイッチを切り換えてW信号を通過させる。この切り換え動作によって、低光量時でも後段の信号生成回路32を変更せずに使用することができる。
[第12実施形態]
前述した第1,第2,第11実施形態では、W画素からの出力が飽和しないようにダイナミックレンジ拡大モードとした例や、W画素への入射光のみを単独で電子シャッタで制御する例を示した。この2つの方法を適用しない場合、標準のイメージセンサでは図7(a)に示したように、光量0.5以上のときにW画素からの出力が飽和する。この対策として、第12実施形態では、W画素の周辺から推測してW信号を生成する例を示す。
図4(a)に示した色フィルタ配列図で解説する。W11画素が飽和した場合、
W11=kg*(G11+G12+G21+G22)/4+kr*(R11+R12)/2+kb*(B11+B21)/2
の式から、新たに飽和信号レベル以上のW信号を生成することできる。これにより、W画素の飽和信号に対する対策ができる。すなわち、W信号が飽和した場合でも飽和信号レベル以上のW信号を求めて利用することができる。なお、kg,kr,kbはホワイトバランス係数を示す。その他の構成及び効果は、前述した実施形態と同様である。
[第13実施形態]
次に、この発明の第13実施形態のCMOSイメージセンサにおける色フィルタ配列について説明する。この第13実施形態は、第1実施形態における色フィルタ配列を変更したものである。その他の構成は前記第1実施形態と同様である。
図17に、第13実施形態のCMOSイメージセンサにおける色フィルタ配列を示す。この色フィルタ配列は、4×4の基本配列にW画素を10画素、G,R,B画素を各2画素配置したものである。また、図18に他の色フィルタ配列を示す。この色フィルタ配列は、4×4の基本配列にW画素を12画素、G画素を2画素、R,B画素を各1画素配置したものである。
図17及び図18に示す色フィルタ配列では、RGBの色情報が少ないが比率掛算方式を用いることにより、各W画素からRGB信号を生成できるため、実質的なGの画素数は14画素、R画素は13画素、B画素は13画素多く得られる。このため、色解像度が多いため偽信号が少ない。また、色信号は情報量が少なくて済むため、加算処理によりS/Nの改善ができる。ベイヤー配列と比較して各画素数を増加できる効果で、G信号が約2dB改善でき、またR,Bの信号が約5dB改善できる効果が得られた。
比率係数は周辺画素数を増加することで、さらにS/Nを改善することができる。
なお、前述した実施形態では、図8、図9に示したように、信号生成回路32でW画素のW信号からRGB信号を生成し、RGBベイヤー配列に変換して信号処理回路51により従来の信号処理を実施したが、信号生成回路32を削除して、信号SFを直接、信号処理回路51に入力して、WRGB画素に適した信号処理を実施しても良い。また、色フィルタ配列も多種多様な配列が考えられるが、基本的にWRGBの4色が含まれれば、前述した種々の実施形態が適用できる。
また、W画素の飽和信号量制御回路は、画素セル(CE)内にトランジスタと容量を追加し、フォトダイオード(PD)からあふれる信号電荷を追加した容量に蓄積することで飽和信号量を増加させるダイナミックレンジ拡大方法にも適用できる。また、画素セル(CE)内でフォトダイオード(PD)の読み出しトランジスタのゲート電圧を直流電圧で制御することでも飽和信号量を増加させる方法にも適用できる。その他の色々なダイナミックレンジ拡大方法が提案されているが、全て適用できる。
また、前述した各実施形態はそれぞれ、単独で実施できるばかりでなく、適宜組み合わせて実施することも可能である。さらに、前述した各実施形態には種々の段階の発明が含まれており、各実施形態において開示した複数の構成要件の適宜な組み合わせにより、種々の段階の発明を抽出することも可能である。
この発明の第1実施形態のCMOSイメージセンサの概略構成を示すブロック図である。 図1に示したCMOSイメージセンサの動作タイミングを示す波形図である。 図1に示した線形変換回路31の動作を示す光電変換特性図である。 図1に示した信号生成回路32の処理例を示す図である。 (a)は従来のW信号からRGB信号を生成する減算方式を示す概略図であり、(b)はこの実施形態におけるW信号からRGB信号を生成する比率掛算方式を示す概略図である。 この発明の第2実施形態のCMOSイメージセンサの概略構成を示すブロック図である。 図6に示した線形変換回路42の動作を示す光電変換特性図である。 この発明の第3実施形態のCMOSイメージセンサの概略構成を示すブロック図である。 この発明の第4実施形態のCMOSイメージセンサの概略構成を示すブロック図である。 この発明の第5実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す図である。 この発明の第6実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す図である。 この発明の第7実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す図である。 この発明の第8実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す図である。 この発明の第9実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す図である。 この発明の第10実施形態のCMOSイメージセンサにおける色フィルタ配列と信号生成回路の処理例を示す図である。 この発明の第11実施形態のCMOSイメージセンサの概略構成を示すブロック図である。 この発明の第13実施形態のCMOSイメージセンサにおける色フィルタ配列を示す図である。 第13実施形態のCMOSイメージセンサにおける他の色フィルタ配列を示す図である。
符号の説明
1…センサコア部、2…レンズ、4…PRE信号処理回路、11…画素部、12…カラム型ノイズキャンセル回路(CDS)、13…カラム型アナログデジタルコンバータ(ADC)、14…ラッチ回路、15…水平シフトレジスタ、31…線形変換回路、31−1,31−2…減算回路、31−3…スイッチ、32…信号生成回路、21…パルスセレクタ回路(セレクタ)、22…信号読み出し用の垂直レジスタ(VRレジスタ)、23…蓄積時間制御用の垂直レジスタ(ESレジスタ、長い蓄積時間制御用レジスタ)、24…蓄積時間制御用の垂直レジスタ(WDレジスタ、短い蓄積時間制御用レジスタ)、33…タイミングジェネレータ(TG)、34…パルス振幅制御回路、35…バイアス発生回路(バイアス1)、36…基準電圧発生回路(VREF)、37…シリアルインタフェース(シリアルI/F)、38…コマンドデコーダ、41…フレームメモリ、42…線形変換回路、51…信号処理回路、52…線形変換回路、CE…セル(画素)、GA…ゲイン回路、MSTH,MSTL…ラインメモリ、STL(長時間蓄積),STH(短時間蓄積)…信号、Ta…行選択トランジスタ、Tb…増幅トランジスタ、Tc…リセットトランジスタ、Td…読み出しトランジスタ、TLM…負荷トランジスタ、PD…フォトダイオード、VLIN…垂直信号線。

Claims (5)

  1. 光電変換手段に入射した光を光電変換して得た信号電荷を蓄積し、蓄積された信号電荷に対応する電圧を出力するセルが半導体基板上に行及び列の二次元的に配置された画素部と、
    前記画素部内の前記セル上にそれぞれ配置されたW(白),R(赤),G(緑),B(青)の4色フィルタと、
    前記セル上に前記W(白),R(赤),G(緑),B(青)の色フィルタがそれぞれ配置されたW画素,R画素,G画素,B画素から出力されたアナログ信号をデジタル信号に変換し、W信号,R信号,G信号,B信号をそれぞれ出力するAD変換回路と、
    前記W画素の飽和信号量を制御する飽和信号量制御回路と、
    前記AD変換回路から出力された前記W信号と前記R信号,G信号,B信号とを用いて、R信号,G信号,及びB信号をそれぞれ補正し生成する色信号生成回路と、
    を具備することを特徴とする固体撮像装置。
  2. 前記飽和信号量制御回路は、前記光電変換手段に蓄積する蓄積時間を異ならせて蓄積する蓄積時間制御回路を備えたことを特徴とする請求項1に記載の固体撮像装置。
  3. 前記蓄積時間の異なった信号が、擬似的に蓄積時間が同じとなるように信号を処理する線形変換回路を備えたことを特徴とする請求項2に記載の固体撮像装置。
  4. 前記色信号生成回路は、前記W画素の周辺のR画素,G画素,B画素から得られるR信号,G信号,B信号を加算することでW信号を算出し、このW信号に対するR信号,G信号,B信号の各々の信号の比率を、前記W画素の信号に掛け合わせることにより、R信号,G信号,B信号の各々を生成する比率掛算手段を備えたことを特徴とする請求項1記載の固体撮像装置。
  5. 前記比率掛算手段を用いてW信号から生成した前記R信号,G信号,B信号と前記AD変換回路から出力されたR信号,G信号,B信号との演算により、G信号が2個ある2行2列のベイヤー配列に変換するための配列変換手段を備えたことを特徴とする請求項4に記載の固体撮像装置。
JP2007000718A 2007-01-05 2007-01-05 固体撮像装置 Expired - Fee Related JP5085140B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007000718A JP5085140B2 (ja) 2007-01-05 2007-01-05 固体撮像装置
US11/967,585 US7911507B2 (en) 2007-01-05 2007-12-31 Solid-state image pickup device in which the saturated signal quantity of a W pixel is controlled
TW097100034A TWI399086B (zh) 2007-01-05 2008-01-02 包含cmos型影像感測器的固態攝影裝置
CN200810001977XA CN101222642B (zh) 2007-01-05 2008-01-04 包括cmos型图像传感器的固体摄像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007000718A JP5085140B2 (ja) 2007-01-05 2007-01-05 固体撮像装置

Publications (2)

Publication Number Publication Date
JP2008172289A true JP2008172289A (ja) 2008-07-24
JP5085140B2 JP5085140B2 (ja) 2012-11-28

Family

ID=39632176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007000718A Expired - Fee Related JP5085140B2 (ja) 2007-01-05 2007-01-05 固体撮像装置

Country Status (4)

Country Link
US (1) US7911507B2 (ja)
JP (1) JP5085140B2 (ja)
CN (1) CN101222642B (ja)
TW (1) TWI399086B (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136225A (ja) * 2008-12-08 2010-06-17 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2010199849A (ja) * 2009-02-24 2010-09-09 Toshiba Corp 画像処理装置、画像処理方法、撮像装置
JP2010534430A (ja) * 2007-07-20 2010-11-04 イーストマン コダック カンパニー 画像センサの複数の構成要素の読み出し
JP2011066890A (ja) * 2009-09-15 2011-03-31 Samsung Electronics Co Ltd 内部変換を通じてrgbベイヤー信号を出力するイメージセンサーとそれを含むイメージ処理装置
JP2011091849A (ja) * 2010-12-13 2011-05-06 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
KR20110083888A (ko) * 2010-01-15 2011-07-21 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
JP2011182354A (ja) * 2010-03-04 2011-09-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8054342B2 (en) 2008-04-01 2011-11-08 Fujifilm Corporation Imaging apparatus and method for driving the imaging apparatus
JP2012085334A (ja) * 2011-12-09 2012-04-26 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2012130078A (ja) * 2012-03-21 2012-07-05 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
CN103066097A (zh) * 2013-01-31 2013-04-24 南京邮电大学 一种高灵敏度固态彩色图像传感器件
US8436925B2 (en) 2008-12-08 2013-05-07 Sony Corporation Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
WO2013145487A1 (ja) * 2012-03-27 2013-10-03 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
JP2014072658A (ja) * 2012-09-28 2014-04-21 Mega Chips Corp 画素補間装置、撮像装置、プログラムおよび集積回路
JP2014161022A (ja) * 2014-03-12 2014-09-04 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
KR20140131452A (ko) * 2013-05-03 2014-11-13 삼성전자주식회사 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템
JP2015149628A (ja) * 2014-02-06 2015-08-20 株式会社東芝 画像処理装置、画像処理方法及び撮像装置
JP2016197794A (ja) * 2015-04-03 2016-11-24 株式会社シグマ 撮像装置

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US9160897B2 (en) 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US8698924B2 (en) 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
KR100976284B1 (ko) 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
US8077234B2 (en) 2007-07-27 2011-12-13 Kabushiki Kaisha Toshiba Image pickup device and method for processing an interpolated color signal
JP2009077051A (ja) * 2007-09-19 2009-04-09 Toshiba Corp 撮像装置及びその撮像方法
JP4618342B2 (ja) * 2008-05-20 2011-01-26 日本テキサス・インスツルメンツ株式会社 固体撮像装置
JP5115335B2 (ja) * 2008-05-27 2013-01-09 ソニー株式会社 固体撮像素子及びカメラシステム
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
JP4661912B2 (ja) * 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
KR101534547B1 (ko) * 2008-11-24 2015-07-08 삼성전자주식회사 이미지 센서 및 이를 포함하는 시스템
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US8179458B2 (en) * 2009-10-13 2012-05-15 Omnivision Technologies, Inc. System and method for improved image processing
JP4547462B1 (ja) * 2009-11-16 2010-09-22 アキュートロジック株式会社 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置
JP5434761B2 (ja) * 2010-04-08 2014-03-05 株式会社ニコン 撮像デバイスおよび撮像装置
JP2011239252A (ja) * 2010-05-12 2011-11-24 Panasonic Corp 撮像装置
JP5664141B2 (ja) * 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
WO2013099910A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 固体撮像装置
CA2861220C (en) * 2012-01-24 2020-02-11 Sony Corporation Image processing apparatus and image processing method, and program
JP2014175832A (ja) * 2013-03-08 2014-09-22 Toshiba Corp 固体撮像装置
JP2015109588A (ja) * 2013-12-05 2015-06-11 株式会社東芝 信号処理装置及び撮像システム
KR102184714B1 (ko) * 2014-04-11 2020-12-02 에스케이하이닉스 주식회사 이미지 센싱 장치
CN104637465B (zh) * 2014-12-31 2017-04-05 广东威创视讯科技股份有限公司 显示设备局部亮色度补偿方法和系统
CN106791461B (zh) * 2016-11-25 2019-10-18 维沃移动通信有限公司 一种曝光控制方法、曝光控制电路及移动终端
CN109246373B (zh) * 2018-10-31 2021-03-02 上海集成电路研发中心有限公司 一种调整图像传感器输出的图像的像素排列的方法及装置
KR20220068996A (ko) * 2019-09-26 2022-05-26 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
KR20210135380A (ko) 2020-05-04 2021-11-15 삼성전자주식회사 이미지 센서

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199117A (ja) * 2001-12-25 2003-07-11 Sony Corp 撮像装置及び固体撮像素子の信号処理方法
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
WO2006064564A1 (ja) * 2004-12-16 2006-06-22 Fujitsu Limited 撮像装置、撮像素子および画像処理方法
JP2006190958A (ja) * 2004-12-10 2006-07-20 Sony Corp 物理情報取得方法および物理情報取得装置、複数の単位構成要素が配列されてなる物理量分布検知の半導体装置の製造方法
JP2006253876A (ja) * 2005-03-09 2006-09-21 Sony Corp 物理量分布検知装置および物理量分布検知装置の駆動方法
JP2007288395A (ja) * 2006-04-14 2007-11-01 Sony Corp 撮像装置
JP2007288394A (ja) * 2006-04-14 2007-11-01 Sony Corp 撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
WO1999059345A1 (fr) 1998-05-08 1999-11-18 Matsushita Electric Industrial Co., Ltd. Imageur couleur transistorise
US6714243B1 (en) * 1999-03-22 2004-03-30 Biomorphic Vlsi, Inc. Color filter pattern
JP4179719B2 (ja) 1999-10-07 2008-11-12 株式会社東芝 固体撮像装置
US7154549B2 (en) * 2000-12-18 2006-12-26 Fuji Photo Film Co., Ltd. Solid state image sensor having a single-layered electrode structure
EP1324592A1 (en) * 2001-12-19 2003-07-02 STMicroelectronics Limited Image sensor with improved noise cancellation
JP4159307B2 (ja) 2002-04-23 2008-10-01 富士フイルム株式会社 撮像画像の再現方法
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
JP4855704B2 (ja) * 2005-03-31 2012-01-18 株式会社東芝 固体撮像装置
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
JP4649313B2 (ja) 2005-10-28 2011-03-09 株式会社東芝 固体撮像装置
JP4951440B2 (ja) * 2007-08-10 2012-06-13 富士フイルム株式会社 撮像装置及び固体撮像素子の駆動方法
JP5262180B2 (ja) * 2008-02-26 2013-08-14 ソニー株式会社 固体撮像装置及びカメラ
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199117A (ja) * 2001-12-25 2003-07-11 Sony Corp 撮像装置及び固体撮像素子の信号処理方法
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
JP2006190958A (ja) * 2004-12-10 2006-07-20 Sony Corp 物理情報取得方法および物理情報取得装置、複数の単位構成要素が配列されてなる物理量分布検知の半導体装置の製造方法
WO2006064564A1 (ja) * 2004-12-16 2006-06-22 Fujitsu Limited 撮像装置、撮像素子および画像処理方法
JP2006253876A (ja) * 2005-03-09 2006-09-21 Sony Corp 物理量分布検知装置および物理量分布検知装置の駆動方法
JP2007288395A (ja) * 2006-04-14 2007-11-01 Sony Corp 撮像装置
JP2007288394A (ja) * 2006-04-14 2007-11-01 Sony Corp 撮像装置

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010534430A (ja) * 2007-07-20 2010-11-04 イーストマン コダック カンパニー 画像センサの複数の構成要素の読み出し
US8054342B2 (en) 2008-04-01 2011-11-08 Fujifilm Corporation Imaging apparatus and method for driving the imaging apparatus
KR101624748B1 (ko) * 2008-12-08 2016-05-26 소니 주식회사 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US9451221B2 (en) 2008-12-08 2016-09-20 Sony Corporation Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
JP4683121B2 (ja) * 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US8947564B2 (en) 2008-12-08 2015-02-03 Sony Corporation Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
JP2010136225A (ja) * 2008-12-08 2010-06-17 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US9083842B2 (en) 2008-12-08 2015-07-14 Sony Corporation Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
US8436925B2 (en) 2008-12-08 2013-05-07 Sony Corporation Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
US9392238B2 (en) 2008-12-08 2016-07-12 Sony Corporation Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
JP2010199849A (ja) * 2009-02-24 2010-09-09 Toshiba Corp 画像処理装置、画像処理方法、撮像装置
JP2011066890A (ja) * 2009-09-15 2011-03-31 Samsung Electronics Co Ltd 内部変換を通じてrgbベイヤー信号を出力するイメージセンサーとそれを含むイメージ処理装置
US9380243B2 (en) 2009-09-15 2016-06-28 Samsung Electronics Co., Ltd. Image sensor for outputting RGB bayer signal through internal conversion and image processing apparatus including the same
KR101652722B1 (ko) * 2010-01-15 2016-09-01 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
KR20110083888A (ko) * 2010-01-15 2011-07-21 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
US8948506B2 (en) 2010-03-04 2015-02-03 Sony Corporation Image processing device, image processing method, and program
JP2011182354A (ja) * 2010-03-04 2011-09-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011091849A (ja) * 2010-12-13 2011-05-06 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2012085334A (ja) * 2011-12-09 2012-04-26 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2012130078A (ja) * 2012-03-21 2012-07-05 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JPWO2013145487A1 (ja) * 2012-03-27 2015-12-10 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
WO2013145487A1 (ja) * 2012-03-27 2013-10-03 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US9699429B2 (en) 2012-03-27 2017-07-04 Sony Corporation Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image
US10200664B2 (en) 2012-03-27 2019-02-05 Sony Corporation Image processing apparatus, image device, image processing method, and program for reducing noise or false colors in an image
JP2014072658A (ja) * 2012-09-28 2014-04-21 Mega Chips Corp 画素補間装置、撮像装置、プログラムおよび集積回路
CN103066097B (zh) * 2013-01-31 2015-05-06 南京邮电大学 一种高灵敏度固态彩色图像传感器件
CN103066097A (zh) * 2013-01-31 2013-04-24 南京邮电大学 一种高灵敏度固态彩色图像传感器件
KR102069533B1 (ko) * 2013-05-03 2020-01-28 삼성전자주식회사 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템
KR20140131452A (ko) * 2013-05-03 2014-11-13 삼성전자주식회사 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템
JP2015149628A (ja) * 2014-02-06 2015-08-20 株式会社東芝 画像処理装置、画像処理方法及び撮像装置
JP2014161022A (ja) * 2014-03-12 2014-09-04 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2016197794A (ja) * 2015-04-03 2016-11-24 株式会社シグマ 撮像装置

Also Published As

Publication number Publication date
US7911507B2 (en) 2011-03-22
TWI399086B (zh) 2013-06-11
CN101222642A (zh) 2008-07-16
CN101222642B (zh) 2011-09-21
JP5085140B2 (ja) 2012-11-28
US20080211943A1 (en) 2008-09-04
TW200836553A (en) 2008-09-01

Similar Documents

Publication Publication Date Title
JP5085140B2 (ja) 固体撮像装置
US7586523B2 (en) Amplification-type CMOS image sensor of wide dynamic range
JP4325703B2 (ja) 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置
US7777804B2 (en) High dynamic range sensor with reduced line memory for color interpolation
US7969484B2 (en) Solid-state image sensing device
KR101939402B1 (ko) 고체 촬상 소자 및 구동 방법, 및 전자 기기
JP2011082852A (ja) 固体撮像装置
JP4501350B2 (ja) 固体撮像装置および撮像装置
JP2008263547A (ja) 撮像装置
JP2010219624A (ja) 画像信号処理装置及び画像信号処理方法
JP2008042298A (ja) 固体撮像装置
US8823825B2 (en) Image processing device, image processing method, and solid-state imaging device
WO2017115744A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US20110007201A1 (en) Solid state imaging device suppressing blooming
JP2014176065A (ja) 撮像装置及び方法
US9013626B2 (en) Signal processing circuit of solid-state imaging element, signal processing method of solid-state imaging element, and electronic apparatus
WO2013027326A1 (ja) 固体撮像装置
WO2016203966A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP2005086630A (ja) 撮像装置
JP2005175626A (ja) イメージング用ワイドダイナミックレンジオペレーション
JP2012235534A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110711

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120531

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120905

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees