JP2009290613A - 固体撮像装置およびその駆動方法、並びに電子情報機器 - Google Patents

固体撮像装置およびその駆動方法、並びに電子情報機器 Download PDF

Info

Publication number
JP2009290613A
JP2009290613A JP2008141709A JP2008141709A JP2009290613A JP 2009290613 A JP2009290613 A JP 2009290613A JP 2008141709 A JP2008141709 A JP 2008141709A JP 2008141709 A JP2008141709 A JP 2008141709A JP 2009290613 A JP2009290613 A JP 2009290613A
Authority
JP
Japan
Prior art keywords
pixel
signal
exposure
pixel row
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008141709A
Other languages
English (en)
Other versions
JP5074297B2 (ja
Inventor
Kazuo Hashiguchi
和夫 橋口
Makoto Shoho
信 荘保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008141709A priority Critical patent/JP5074297B2/ja
Priority to US12/473,673 priority patent/US8243179B2/en
Publication of JP2009290613A publication Critical patent/JP2009290613A/ja
Application granted granted Critical
Publication of JP5074297B2 publication Critical patent/JP5074297B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】チップサイズの増大を招くフィールドメモリを用いることなく、しかも、サンプルホールドされるデータ信号へのリーク電流の影響を回避しつつ、撮像画像のダイナミックレンジを広げることができる固体撮像装置を得る。
【解決手段】短時間露光および長時間露光によりダイナミックレンジの広い画像信号が得られるようシャッター動作を行う固体撮像装置100において、選択された画素行の各画素からの長時間露光アナログ画素信号を同時に長時間露光デジタル画素値にAD変換するAD変換回路110aと、選択された画素行の各画素からの短時間露光アナログ画素信号を同時に短時間露光デジタル画素値にAD変換するAD変換回路110bとを備え、AD変換回路110aから順次出力される各画素の長時間露光デジタル画素値と、AD変換回路110bから順次出力される各画素の短時間露光デジタル画素値とを、対応する画素毎に合成するようにした。
【選択図】図1

Description

本発明は、固体撮像装置およびその駆動方法、並びに電子情報機器に関し、特に、短時間露光および長時間露光によりダイナミックレンジの広い画像信号が得られるよう画素行選択動作を行う固体撮像装置、およびその駆動方法、並びにこのような固体撮像装置を用いた電子情報機器に関するものである。
従来、被写体の撮像により画像信号を出力する撮像装置には、CCDイメージセンサやCMOSイメージセンサが用いられているが、最近では、省電力の観点からCCDイメージセンサに比べて消費電力の少ないCMOSイメージセンサがモバイル機器等に使用される機会が増加しつつある。このようなイメージセンサでは、被写体の撮像により得られる画像信号のレベルが適切になるようにその露光時間を調整している。
ところが、被写体の輝度が場所によって大きく異なる場合、露光時間の調整では、被写体の低輝度部分と高輝度部分とで解像度に劣化の無い撮像画像を得ることは困難である。つまり、被写体の高輝度部分の信号レベルが適切になるように露光時間を合わせると、低輝度部分の信号がつぶれてしまうので、低輝度部分の解像度が出なくなる。このとき撮像素子から読み出される画像信号も微弱になるので、そのS/Nも悪化する。逆に低輝度部分の信号レベルが適切になるように露光時間を合わせると、高輝度部分の信号が飽和状態になり、その部分の画像は白一色の状態になり、被写体の判別がつかなくなってしまう。
そこで、特許文献1では、CMOSイメージセンサにおいて、長時間露光と短時間露光とを行い、その一方の露光により得られた画像データをメモリに格納し、その他方の露光により得られた画像データを読み出す時にメモリ内の画像データを読み出して、それら2つの画像データを混合し、これによりダイナミックレンジの広い撮像画像を得るようにしたものが開示されている。
また、特許文献2には、CMOS光センサーにおいて、1フレーム期間を3分割し、そのうちの2つの期間の一方で得られた蓄積時間(光電変換時間)の短い画像信号と、その他方で得られた蓄積時間の長い画像信号とを用いて、ダイナミックレンジの広い撮像画像を得るようにしたものが開示されており、以下、簡単に説明する。
図20は、上記特許文献2に開示のCMOS光センサーを説明する図である。
このCMOS光センサー10は、画素をマトリクス状に配列してなる画素部1と、該画素部1の画素行を選択する垂直選択手段7と、選択された画素行の各画素からのリセット信号とデータ信号とをサンプルホールドしてその差分信号を生成する第1のサンプルホールドCDS部11aと、選択された画素行の各画素からのリセット信号とデータ信号とを、該第1のサンプルホールドCDS部10aとは異なるタイミングでサンプルホールドしてその差分信号を生成する第2のサンプルホールドCDS部10bとを有している。CMOS光センサー10は、第1のサンプルホールドCDS部10aで生成された差分信号を、例えば電荷蓄積時間の長い画素信号(長時間蓄積信号)として順次水平信号線14aに出力する第1の水平選択手段12aと、第2のサンプルホールドCDS部10bで生成された差分信号を、例えば電荷蓄積時間の短い画素信号(短時間蓄積信号)として順次水平信号線14bに出力する第2の水平選択手段12bとを有している。CMOS光センサー10は、該水平信号線14aに出力された差分信号である長時間蓄積信号を増幅する第1の出力部16aと、該水平信号線14bに出力された差分信号である短時間蓄積信号を増幅する第2の出力部16bと、該垂直選択手段7、第1および第2の水平選択手段12aおよび12b、並びに、第1および第2のサンプルホールドCDS部10aおよび10bにタイミングパルスを供給するタイミングジェネレータ6とを有している。なお、画素部1には、各画素列毎に画素からリセット信号およびデータ信号を読み出すための垂直信号線(図示せず)が設けられており、この垂直信号線には、定電流部5により一定電流が供給されるようになっている。
このような構成のCMOS光センサー10では、画素部1における各画素行からは、蓄積時間の異なる2種類のデータ信号、つまり長時間蓄積信号および短時間蓄積信号が、対応するサンプルホールドCDS部10aおよび10bにサンプルホールドされるよう、V選択手段7、第1および第2のサンプルホールドCDS部10aおよび10bが、タイミングジェネレータ6からのタイミングパルスにより制御される。例えば、ここでは、選択された画素行における各画素の長時間蓄積信号が第1のサンプルホールドCDS部10aに供給され、該選択された画素行における各画素の短時間蓄積信号が第2のサンプルホールドCDS部10bに供給される。これにより、第1および第2のサンプルホールドCDS部10aおよび10bでは、同一画素に対する長時間蓄積信号と短時間蓄積信号とを保持することとなる。
そして、第1のサンプルホールドCDS部11aに保持されている長時間蓄積信号は、第1の水平選択手段12aにより順次水平信号線14aに読み出され、第1の出力部16aに供給される。この第1の出力部16aでは、長時間蓄積信号は増幅され、AD変換されて、蓄積時間の長いデジタル画素値として出力される。また、第2のサンプルホールドCDS部112bに保持されている短時間蓄積信号は、同様に、第2の水平選択手段12bにより順次水平信号線14bに読み出され、第2の出力部16bに供給される。該第2の出力部16bでは、該短時間蓄積信号は増幅され、AD変換されて、蓄積時間の短いデジタル画素値として出力される。
このような蓄積時間の長いデジタル画素値と蓄積時間の短いデジタル画素値とを合成することにより、ダイナミックレンジの広い画像を得ることができる。
特開2003−169259号公報 特開2006−115547号公報
しかしながら、上記特許文献1に開示のCMOSイメージセンサでは、撮像画像における広ダイナミックレンジを実現するためにフィールドメモリを用いているので、チップサイズが大きくなってしまうという問題がある。
また、特許文献2に開示のCMOS光センサー10では、上記画素部1の一端側の画素列から得られるデジタル画素値と、上記画素部1の他端側の画素列から得られるデジタル画素値とでは、サンプルホールドCDS回路で保持されている時間が異なるため、リーク電流などの影響で、特に暗い画像の画質が劣化するという問題がある。
これは、サンプルホールドCDS回路が、スイッチトランジスタやコンデンサを含むことから、サンプルホールドされるデータ信号がトランジスタにおけるリーク電流により減衰する減衰量が、サンプルホールドされている期間によって変動するためである。
本発明は、上記のような問題点を解決するためになされたもので、チップサイズの増大を招くフィールドメモリを用いることなく、しかも、サンプルホールドされるデータ信号へのリーク電流の影響を回避しつつ、撮像画像のダイナミックレンジを広げることができる固体撮像装置、およびその駆動方法、並びに、このような固体撮像装置を用いた電子情報機器を得ることを目的とする。
本発明に係る固体撮像装置は、入射光の光電変換により信号電荷を生成する画素を2次元マトリクス状に配列してなる画素領域と、該画素領域の各画素行を選択する行選択部とを備え、該行選択部により選択した画素行の各画素の画素値を順次出力する固体撮像装置であって、該画素領域に各画素列毎に設けられ、該行選択部により選択された画素行の各画素からアナログ画素信号が読み出される複数の列信号線と、該各列信号線に読み出された各画素のアナログ画素信号からデジタル画素値を生成する信号処理回路とを備え、該信号処理回路は、該複数の列信号線に読み出された、選択された画素行の各画素のアナログ画素信号を同時にデジタル画素値に変換するAD変換回路を少なくとも2以上備えており、そのことにより上記目的が達成される。
本発明は、上記固体撮像装置において、前記信号処理回路を構成する各AD変換回路は、各列信号線毎に設けられ、該各列信号に読み出された、選択された画素行の画素のアナログ画素信号をデジタル画素値に変換する複数のAD変換器を有していることが好ましい。
本発明は、上記固体撮像装置において、前記行選択部は、1フレーム期間に、前記各画素行を3回以上選択するものであり、そのうち少なくとも1回の画素行の選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、その他の2回の画素行の選択時のうちの一方では、前記選択された画素行の各画素で長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号が、対応する列信号線に読み出され、その他の2回の画素行の選択時のうちの他方では、該選択された画素行の各画素で短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号が、対応する列信号線に読み出されることが好ましい。
本発明は、上記固体撮像装置において、前記行選択部は、前記各画素行を選択するタイミングを、1水平期間を単位として設定するものであることが好ましい。
本発明は、上記固体撮像装置において、前記行選択部は、前記各画素行を選択するタイミングを、1水平期間内の各画素行の各画素に割り当てられている期間である1画素期間を単位として設定するものであることが好ましい。
本発明は、上記固体撮像装置において、前記行選択部は、各画素行からは、前記アナログ画素信号として、長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号と、短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号とが、1フレーム期間内に、各画素に対応する列信号線に読み出されるよう、各画素行を選択するものであり、前記信号処理回路は、前記複数のAD変換器を有するAD変換回路として第1及び第2のAD変換回路を有しており、該第1のAD変換回路は、選択された画素行の各画素からの長時間露光アナログ画素信号を同時に長時間露光デジタル画素値にAD変換するものであり、該第2のAD変換回路は、選択された画素行の各画素からの短時間露光アナログ画素信号を同時に短時間露光デジタル画素値にAD変換するものであることが好ましい。
本発明は、上記固体撮像装置において、前記長時間露光アナログ画素信号は、実質的に1フレーム期間にわたって前記画素で蓄積された信号電荷から得られたアナログ画素信号であり、前記短時間露光アナログ画素信号は、実質的に1水平期間にわたって該画素で蓄積された信号電荷から得られたアナログ画素信号であることが好ましい。
本発明は、上記固体撮像装置において、前記行選択部は、前記各画素行に対応する水平期間には、第1の水平ブランキング期間内に1つの画素行の各画素から長時間露光アナログ画素信号が、対応する列信号線に読み出され、かつ、該第1の水平ブランキング期間に続く第2の水平ブランキング期間内に、該1つの画素行に隣接する他の画素行の各画素から短時間露光アナログ画素信号が、対応する列信号線に読み出されるよう、該各画素行を選択するものであることが好ましい。
本発明は、上記固体撮像装置において、前記第1のAD変換回路は、前記第1の水平ブランキング期間内に前記列信号線に読み出された長時間露光アナログ画素信号を、前記各画素行に対応する水平期間内の、前記第2の水平ブランキング期間に続く残りの信号処理期間内にAD変換し、前記第2のAD変換回路は、前記第2の水平ブランキング期間内に該列信号線に読み出された短時間露光アナログ画素信号を、該第1のAD変換回路での長時間露光アナログ画素信号のAD変換と並行して、該残りの信号処理期間内にAD変換することが好ましい。
本発明は、上記固体撮像装置において、前記行選択部は、1フレームに相当する期間内に前記各画素行を3回選択し、第1の画素行選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、第2の画素行選択時には、該第1の画素行選択時から該第2の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出され、該第3の画素行選択時には、該第2の画素行選択時から該第3の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出されることが好ましい。
本発明は、上記固体撮像装置において、前記第1の画素行選択時から前記第2の画素行選択時までの期間は、該第2の画素行選択時から前記第3の画素行選択時までの期間より長い期間であり、該第2の画素行選択時には、前記選択された画素行の各画素で長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号が、対応する列信号線に読み出され、該第3の画素行選択時には、該選択された画素行の各画素で短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号が、対応する列信号線に読み出されることが好ましい。
本発明は、上記固体撮像装置において、前記制御部は、前記長時間露光デジタル画素値の所定期間の平均値に基づいて前記第1の画素行選択時を調整して、長時間露光時間をフィードバック制御する露光時間制御部を有することが好ましい。
本発明は、上記固体撮像装置において、前記第1の画素行選択時から前記第2の画素行選択時までの期間は、該第2の画素行選択時から前記第3の画素行選択時までの期間より短い期間であり、該第2の画素行選択時には、前記選択された画素行の各画素で短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号が、対応する列信号線に読み出され、該第3の画素行選択時には、前記選択された画素行の各画素で長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号が、対応する列信号線に読み出されることが好ましい。
本発明は、上記固体撮像装置において、前記制御部は、前記短時間露光デジタル画素値の所定期間の平均値に基づいて前記第1の画素行選択タイミングを調整して、短時間露光時間をフィードバック制御する露光時間制御部を有することが好ましい。
本発明は、上記固体撮像装置において、前記行選択部は、1フレームに相当する期間内に前記各画素行を3回選択し、第1の画素行選択時には、その前の第3の画素行選択時から該第1の画素行選択時までの間に、該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出され、第2の画素行選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、該第3の画素行選択時には、該第2の画素行選択時から該第3の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出されることが好ましい。
本発明は、上記固体撮像装置において、前記第2の画素行選択時から前記第3の画素行選択時までの期間は、該第3の画素行選択時からその次の第1の画素行選択時までの期間より短い期間であり、該第1の画素行選択時には、前記選択された画素行の各画素で長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号が、対応する列信号線に読み出され、該第3の画素行選択時には、該選択された画素行の各画素で短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号が、対応する列信号線に読み出されることが好ましい。
本発明は、上記固体撮像装置において、前記制御部は、前記長時間露光デジタル画素値の所定期間の平均値に基づいて前記第2の画素行選択時を調整して、短時間露光時間をフィードバック制御する露光時間制御部を有することが好ましい。
本発明は、上記固体撮像装置において、前記行選択部は、1フレームに相当する期間内に前記各画素行を4回選択し、第1の画素行選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、第2の画素行選択時には、該第1の画素行選択時から該第2の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出され、第3の画素行選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、第4の画素行選択時には、該第3の画素行選択時から該第4の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出されることが好ましい。
本発明は、上記固体撮像装置において、前記制御部は、前記長時間露光デジタル画素値の所定期間の平均値に基づいて前記第1の画素行選択時を調整して、長時間露光時間をフィードバック制御し、かつ前記短時間露光デジタル画素値の所定期間の平均値に基づいて前記第3の画素行選択時を調整して、短時間露光時間をフィードバック制御する露光時間制御部を有することが好ましい。
本発明は、上記固体撮像装置において、前記第1のAD変換回路は、その各AD変換器の前段に設けられ、前記列信号線に暗時アナログ画素信号として読み出されたリセット信号と、該列信号線に長時間露光アナログ信号として出力されたデータ信号とをそれぞれサンプリングしてそれらの第1の差分アナログ画素信号を出力する第1のCDS回路を有し、前記第2のAD変換回路は、その各AD変換器の前段に設けられ、該列信号線に暗時のアナログ画素信号として読み出されたリセット信号と、該列信号線に短時間露光アナログ信号として出力されたデータ信号とをそれぞれサンプリングしてそれらの第2の差分アナログ画素信号を出力する第2のCDS回路を有することが好ましい。
本発明は、上記固体撮像装置において、前記第1のAD変換回路を構成する各AD変換器は、その前段の第1のCDS回路から出力される一定レベルの第1の差分アナログ画素信号を第1のランプ波形信号と比較し、該第1のランプ波形信号の信号レベルが該第1の差分アナログ画素信号の信号レベルを超えたとき第1のタイミング信号を出力する第1のコンパレータと、該第1のタイミング信号が出力されたとき、該第1の差分アナログ画素信号の信号レベルに相当する第1のカウント値をラッチする第1のラッチ回路とを有し、前記第2のAD変換回路を構成する各AD変換器は、その前段の第2のCDS回路から出力される一定レベルの第2の差分アナログ画素信号を第2のランプ波形信号と比較し、該第2のランプ波形信号の信号レベルが該第2の差分アナログ画素信号の信号レベルを超えたとき第2のタイミング信号を出力する第2のコンパレータと、該第2のタイミング信号が出力されたとき、該第2の差分アナログ画素信号の信号レベルに相当する第2のカウント値をラッチする第2のラッチ回路とを有することが好ましい。
本発明は、上記固体撮像装置において、前記信号処理回路は、前記第1のAD変換回路の前記各列信号線に対応するAD変換器で得られた各画素の長時間露光デジタル画素値が順次出力されるよう、該第1のAD変換回路にタイミングパルス信号を出力する第1の水平シフトレジスタと、前記第2のAD変換回路の前記各列信号線に対応するAD変換器で得られた各画素の短時間露光デジタル画素値が順次出力されるよう、該第2のAD変換回路にタイミングパルス信号を出力する第2の水平シフトレジスタとを有し、前記第1のラッチ回路は、前記第1のコンパレータからの第1のタイミング信号に基づいて、前記第1の差分アナログ画素信号の信号レベルに相当する第1のカウント値を、該長時間露光デジタル画素値としてラッチする第1の前段ラッチ部と、該第1の前段ラッチ部のラッチ出力を保持し、該第1の水平シフトレジスタからのタイミングパルスにより、該第1の前段ラッチ部のラッチ出力を出力する第1の後段ラッチ部とを有し、前記第2のラッチ回路は、前記第2のコンパレータからの第2のタイミング信号に基づいて、前記第2の差分アナログ画素信号の信号レベルに相当する第2のカウント値を、該長時間露光デジタル画素値としてラッチする第2の前段ラッチ部と、該第2の前段ラッチ部のラッチ出力を保持し、該第2の水平シフトレジスタからのタイミングパルスにより、該第2の前段ラッチ部のラッチ出力を出力する第2の後段ラッチ部とを有することが好ましい。
本発明は、上記固体撮像装置において、前記第1のAD変換回路が前記第1の差分アナログ画素信号をAD変換する処理と、前記第2のAD変換回路が前記第2の差分アナログ画素信号をAD変換する処理とは、同一の処理であることが好ましい。
本発明は、上記固体撮像装置において、前記信号処理回路は、前記第1および第2のAD変換回路を制御する制御部を有し、該制御部は、該第1のAD変換回路の各列信号線毎に設けられた複数のAD変換器に前記第1のランプ波形信号を出力する第1のランプ波形生成部と、該第2のAD変換回路の各列信号線毎に設けられた複数のAD変換器に前記第2のランプ波形信号を出力する第2のランプ波形生成部と、該複数のAD変換器に前記カウント値を供給するカウンタ回路とを有することが好ましい。
本発明は、上記固体撮像装置において、前記第1のAD変換回路が前記第1の差分アナログ画素信号をAD変換する処理と、前記第2のAD変換回路が前記第2の差分アナログ画素信号をAD変換する処理とは、異なる処理であることが好ましい。
本発明は、上記固体撮像装置において、前記信号処理回路は、前記第1および第2のAD変換回路を制御する制御部を有し、該制御部は、該第1のAD変換回路の各列信号線毎に設けられた複数のAD変換器に前記第1のランプ波形信号を出力する第1のランプ波形生成部と、該第2のAD変換回路の各列信号線毎に設けられた複数のAD変換器に、該第1のランプ波形信号に比べて最大振幅値の小さい第2のランプ波形信号を出力する第2のランプ波形生成部と、該複数のAD変換器に前記カウント信号を供給するカウンタ回路とを有することが好ましい。
本発明は、上記固体撮像装置において、前記信号処理回路は、前記第1および第2のAD変換回路を制御する制御部を有し、該制御部は、該第1のAD変換回路の各列信号線毎に設けられた複数のAD変換器に、波形が固定である第1のランプ波形信号を出力する第1のランプ波形生成部と、該第2のAD変換回路の各列信号線毎に設けられた複数のAD変換器に、波形が可変である第2のランプ波形信号を出力する第2のランプ波形生成部と、該複数のAD変換器に前記カウント信号を供給するカウンタ回路とを有し、該第2のAD変換回路では、各AD変換器でのAD変換のダイナミックレンジが該第2のランプ波形信号の波形により調整されることが好ましい。
本発明は、上記固体撮像装置において、前記制御部は、外部からの設定信号に基づいて、前記第2のランプ波形生成部で生成されるランプ波形の最大振幅値を設定するランプ波形設定部を有することが好ましい。
本発明は、上記固体撮像装置において、前記制御部は、前記短時間露光デジタル画素値の所定期間の平均値に基づいて、前記第2のランプ波形生成部で生成されるランプ波形の最大振幅値をフィードバック制御するランプ波形制御部を有することが好ましい。
本発明は、上記固体撮像装置において、前記信号処理回路は、前記第1および第2のAD変換回路を制御する制御部を有し、該制御部は、前記第1のAD変換回路の各列信号線毎に設けられた複数のAD変換器に、波形が可変である第1のランプ波形信号を出力する第1のランプ波形生成部と、該第1のAD変換回路の複数のAD変換器に第1のカウント値を供給する第1のカウンタ回路と、前記長時間露光デジタル画素値の所定期間の平均値に基づいて、該第1のランプ波形生成部で生成されるランプ波形の最大振幅値をフィードバック制御する第1のランプ波形制御部と、該第2のAD変換回路の各列信号線毎に設けられた複数のAD変換器に、波形が可変である第2のランプ波形信号を出力する第2のランプ波形生成部と、該第2のAD変換回路の複数のAD変換器に第2のカウント信号を供給する第2のカウンタ回路と、前記短時間露光デジタル画素値の所定期間の平均値に基づいて、該第2のランプ波形生成部で生成されるランプ波形の最大振幅値をフィードバック制御する第2のランプ波形制御部とを有し、該第1のAD変換回路では、該各AD変換器でのAD変換のダイナミックレンジが該第1のランプ波形信号の波形により調整され、該第2のAD変換回路では、該各AD変換器でのAD変換のダイナミックレンジが該第2のランプ波形信号の波形により調整されることが好ましい。
本発明は、上記固体撮像装置において、前記信号処理回路は、前記第1のAD変換回路の前記各列信号線に対応するAD変換器で得られた各画素の長時間露光デジタル画素値が順次出力されるよう、該第1のAD変換回路にタイミングパルス信号を出力する第1の水平シフトレジスタと、前記第2のAD変換回路の該各列信号線に対応するAD変換器で得られた各画素の短時間露光デジタル画素値が順次出力されるよう、該第2のAD変換回路にタイミングパルス信号を出力する第2の水平シフトレジスタとを有することが好ましい。
本発明は、上記固体撮像装置において、前記信号処理回路は、前記第1のAD変換回路から順次出力される各画素の長時間露光デジタル画素値と、前記第2のAD変換回路から順次出力される各画素の短時間露光デジタル画素値とを、対応する画素毎に合成する論理回路を有することが好ましい。
本発明は、上記固体撮像装置において、前記信号処理回路は、前記第1のAD変換回路を、前記選択された画素行の各画素の長時間露光アナログ画素信号が同時に長時間露光デジタル画素値に変換されるよう制御するとともに、前記第2のAD変換回路を、前記選択された画素行の各画素の短時間露光アナログ画素信号が同時に短時間露光デジタル画素値に変換されるよう制御する制御部を備えていることが好ましい。
本発明に係る固体撮像装置の駆動方法は、入射光の光電変換により信号電荷を生成する画素を2次元マトリクス状に配列してなる画素領域と、該画素領域の各画素行を選択する行選択部と、該画素領域に各画素列毎に設けられ、該行選択部により選択された画素行の各画素からアナログ画素信号が読み出される複数の列信号線とを備えた固体撮像装置を、該行選択部により画素行が順次選択され、該選択された画素行の各画素の画素値が順次出力されるよう駆動する駆動方法であって、該行選択部により1フレーム期間内に該各画素行を少なくとも2回以上選択し、選択された画素行の各画素から対応する列信号線に読み出された各画素のアナログ画素信号を同時にデジタル画素値に変換するものであり、そのことにより上記目的が達成される。
本発明は、上記固体撮像装置の駆動方法において、前記各画素行から前記アナログ画素信号として、長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号と、短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号とが、各画素に対応する列信号線に読み出されるよう、前記行選択部により1フレーム期間内に該各画素行を2回選択し、該各列信号線毎に設けられた複数のAD変換器を有する第1のAD変換回路により、選択された画素行の各画素からの長時間露光アナログ画素信号を同時に長時間露光デジタル画素値にAD変換し、該各列信号線毎に設けられた複数のAD変換器を有する第2のAD変換回路により、選択された画素行の各画素からの短時間露光アナログ画素信号を同時に短時間露光デジタル画素値にAD変換することが好ましい。
本発明に係る電子情報機器は、被写体の撮像を行う撮像部を備えた電子情報機器であって、該撮像部は、上述した本発明の固体撮像装置であり、そのことにより上記目的が達成される。
以下、本発明の作用について説明する。
本発明においては、入射光の光電変換により信号電荷を生成する画素を2次元マトリクス状に配列してなる画素領域と、該画素領域の各画素行を選択する行選択部とを備えた固体撮像装置において、各画素列の列信号線に読み出された、選択された画素行の各画素のアナログ画素信号を同時にデジタル画素値に変換するAD変換回路を少なくとも2以上備えたので、同一の画素行から読み出された蓄積時間の異なる各画素のアナログ画素信号を、別々のAD変換回路で同時にAD変換することが可能となる。つまり、選択された画素行の各画素のアナログ画素信号が列信号線に読み出されてからAD変換されるまでの時間、特にAD変換回路の前段でアナログ画素信号がサンプルホールドされる時間が、すべての画素列で同一となり、この間にリーク電流などの影響で、各列信号線間に読み出されたアナログ画素信号の減衰量が、列信号線の一端側と他端側とで大きく異なってしまうのを回避することができる。
これにより、チップサイズの増大を招くフィールドメモリを用いることなく、サンプルホールドされるデータ信号(アナログ画素信号)へのリーク電流の影響を回避しつつ、撮像画像のダイナミックレンジを広げる。
また、本発明においては、選択された画素行の各画素からの長時間露光アナログ画素信号を同時に長時間露光デジタル画素値にAD変換する第1のAD変換回路と、選択された画素行の各画素からの短時間露光アナログ画素信号を同時に短時間露光デジタル画素値にAD変換する第2のAD変換回路とを備えたので、同一の画素行から読み出された各画素の長時間露光アナログ画素信号と短時間露光アナログ画素信号とを、第1及び第2のAD変換回路でそれぞれ、同時にAD変換することが可能となる。
つまり、選択された画素行の各画素の長時間露光アナログ画素信号と短時間露光アナログ画素信号とのいずれのアナログ画素信号についても、列信号線に読み出されてからAD変換されるまでの時間が、すべての画素列で同一となり、この間にリーク電流などの影響で、各列信号線間に読み出されたアナログ画素信号の減衰量が、列信号線の一端側と他端側とで大きく異なってしまうのを回避することができる。このため、第1のAD変換回路から順次出力される各画素の長時間露光デジタル画素値と、第2のAD変換回路から順次出力される各画素の短時間露光デジタル画素値とを、対応する画素毎に合成することにより、チップサイズの増大を招くフィールドメモリを用いることなく、またサンプルホールドされるデータ信号へのリーク電流の影響を回避しつつ、撮像画像のダイナミックレンジを広げることができる。
また、本発明においては、前記行選択部は、1フレーム期間に、前記各画素行を3回以上選択し、そのうち少なくとも1回の画素行の選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、その他の2回の画素行の選択時のうちの一方では、前記選択された画素行の各画素で長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号が、対応する列信号線に読み出され、その他の2回の画素行の選択時のうちの他方では、該選択された画素行の各画素で短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号が、対応する列信号線に読み出されるので、選択された画素行の各画素の信号電荷を廃棄するための画素行選択のタイミングを変えることにより、長時間露光あるいは短時間露光の長さを調整することができる。また、前記各画素行を選択するタイミングを、1水平期間内の、各画素行の各画素に割り当てられている期間である1画素期間を単位として設定することで、画素行選択タイミングを1水平期間を単位として設定する場合に比べて、露光時間の微調整が可能となる。さらに、選択された画素行の各画素の信号電荷を廃棄するための画素行選択のタイミングを、長時間露光デジタル画素値あるいは短時間露光デジタル画素値の所定期間の平均値に基づいてフィードバック制御することにより、長時間露光あるいは短時間露光の時間を常に被写体の輝度レベルに応じた適切な露光時間にすることができる。
また、本発明においては、前記行選択部は、1フレームに相当する期間内に前記各画素行を4回選択し、第1の画素行選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、第2の画素行選択時には、該第1の画素行選択時から該第2の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出され、第3の画素行選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、第4の画素行選択時には、該第3の画素行選択時から該第4の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出されるので、選択された画素行の各画素の信号電荷を廃棄するための画素行選択のタイミング(第1及び第3の画素行選択時)を変えることにより、長時間露光及び短時間露光の長さをともに調整することができる。さらに、選択された画素行の各画素の信号電荷を廃棄するための画素行選択のタイミング(第1及び第3の画素行選択時)を、長時間露光デジタル画素値、及び短時間露光デジタル画素値の所定期間の平均値に基づいてフィードバック制御することにより、長時間露光及び短時間露光の時間を常に被写体の輝度レベルに応じた適切な露光時間にすることができる。
また、本発明においては、前記第1及び第2のAD変換回路はそれぞれ、その各AD変換器の前段に設けられ、前記列信号線に暗時アナログ画素信号として読み出されたリセット信号と、該列信号線に長時間露光アナログ画素信号あるいは短時間露光アナログ画素信号として出力されたデータ信号とをそれぞれサンプリングしてそれらの差分アナログ画素信号を出力するCDS回路を有するので、差分アナログ画素信号のAD変換により得られるデジタル画素値を、リセットノイズを除去したものとすることができる。
また、本発明においては、前記第1のAD変換回路が前記第1の差分アナログ画素信号をAD変換する処理と、前記第2のAD変換回路が前記第2の差分アナログ画素信号をAD変換する処理とを、異なる処理としているので、例えば、長時間露光アナログ画素信号のAD変換と、短時間露光アナログ画素信号のAD変換とで、AD変換のダイナミックレンジを変えることができる。これにより、AD変換の前にアナログ画素信号のゲインを調整する増幅回路などが不要となる。
また、本発明においては、前記第1および第2のAD変換回路を制御する制御部は、外部からの設定信号に基づいて、短時間露光アナログ画素信号のAD変換に用いるランプ波形の最大振幅値を設定するランプ波形設定部を有するので、アナログ信号レベルの小さい短時間露光アナログ画素信号に対して適切なAD変換のダイナミックレンジを設定することができる。
また、本発明においては、前記第1および第2のAD変換回路を制御する制御部は、前記短時間露光デジタル画素値の所定期間の平均値に基づいて、そのAD変換に用いるランプ波形の最大振幅値をフィードバック制御するランプ波形制御部を有するので、アナログ信号レベルの小さい短時間露光アナログ画素信号に対して、被写体の輝度レベルに応じた適切なAD変換のダイナミックレンジを設定することができる。
また、本発明においては、前記第1および第2のAD変換回路を制御する制御部は、前記長時間露光デジタル画素値の所定期間の平均値に基づいて、そのAD変換に用いるランプ波形の最大振幅値をフィードバック制御するランプ波形制御部と、前記短時間露光デジタル画素値の所定期間の平均値に基づいて、そのAD変換に用いるランプ波形生成部で生成されるランプ波形の最大振幅値をフィードバック制御するランプ波形制御部とを有するので、アナログ信号レベルの小さい短時間露光アナログ画素信号だけでなく、アナログ信号レベルの大きい長時間露光アナログ画素信号に対して、被写体の輝度レベルに応じた適切なAD変換のダイナミックレンジを設定することができる。
以上のように、本発明によれば、入射光の光電変換により信号電荷を生成する画素を2次元マトリクス状に配列してなる画素領域と、該画素領域の各画素行を選択する行選択部とを備え、該行選択部により選択した画素行の各画素の画素値を順次出力する固体撮像装置において、該画素領域に各画素列毎に設けられ、該行選択部により選択された画素行の各画素からアナログ画素信号が読み出される複数の列信号線と、該各列信号線に読み出された各画素のアナログ画素信号からデジタル画素値を生成する信号処理回路とを備え、該信号処理回路は、該複数の列信号線に読み出された、選択された画素行の各画素のアナログ画素信号を同時にデジタル画素値に変換するAD変換回路を少なくとも2以上備えたので、前記各画素行から、長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号と、短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号とを、各画素に対応する列信号線に読み出し、該長時間露光アナログ画素信号と短時間露光アナログ画素信号とをそれぞれ同時にデジタル画素値にAD変換することが可能となる。これにより、これらの長時間露光アナログ画素信号と短時間露光アナログ画素信号のデジタル画素値を合成することにより、チップサイズの増大を招くフィールドメモリを用いることなく、しかも、サンプルホールドされるデータ信号へのリーク電流の影響を回避しつつ、撮像画像のダイナミックレンジを広げることができる。
以下、本発明の実施形態について図面を参照しながら説明する。
(実施形態1)
図1〜図6は本発明の実施形態1による固体撮像装置およびその駆動方法を説明する図であり、図1は、この実施形態1の固体撮像装置の構成を示すブロック図、図2は、該固体撮像装置におけるAD変換回路を説明するブロック図である。また、図3および図4は、上記実施形態1の固体撮像装置の動作を説明する波形図であり、図3は、1フレーム期間内での行選択パルスの発生タイミングを示し、図4(a)は、1水平期間内での行選択パルスの発生タイミングを示している。図4(b)および図4(c)はそれぞれ、第1および第2の水平シフトレジスタから出力される列選択パルスの発生タイミングを示している。図5は、1フレーム期間内での長時間露光と短時間露光のタイミング(図5(b))を、固体撮像装置の主要部の構成(図5(a))とともに示す図であり、図6は、連続する3水平期間での信号処理(図6(b))を固体撮像装置の主要部の構成(図6(a))とともに示す図である。
本実施形態1の固体撮像装置100は、入射光の光電変換により信号電荷を生成する画素を2次元マトリクス状(n行×m列)に配列してなる画素領域102と、該画素領域の各画素行を選択パルスΦV1〜ΦVnにより選択する垂直シフトレジスタ(行選択部)104とを備え、該垂直シフトレジスタ104により選択した画素行の各画素の画素値を順次出力するものである。
また、この固体撮像装置100は、該画素領域に各画素列毎に設けられ、垂直シフトレジスタ104により選択された画素行の各画素からアナログ画素信号が読み出される複数の列信号線L1〜Lmと、該各列信号線に読み出された各画素のアナログ画素信号からデジタル画素値を生成する信号処理回路とを備えている。
ここで、上記垂直シフトレジスタ104は、1フレーム期間内に2回の画素信号読み出し動作(つまり画素行の選択)を行うよう構成されている。具体的には、この垂直シフトレジスタ104は、各画素行からは、前記アナログ画素信号として、長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号と、短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号とが、1フレーム期間内に、各画素に対応する列信号線に読み出されるよう、各画素行を選択するよう構成されている。上記長時間露光アナログ画素信号は、実質的に1フレーム期間にわたって前記画素で蓄積された信号電荷から得られたアナログ画素信号であり、上記短時間露光アナログ画素信号は、実質的に1水平期間にわたって該画素で蓄積された信号電荷から得られたアナログ画素信号である。なお、ここでは、長時間露光時間及び短時間露光時間は、1水平期間を単位として設定しているが、これらの露光時間の設定は、1水平期間内の、各画素行の各画素に割り当てられている期間である1画素期間を単位として設定してもよい。
そして、上記信号処理回路は、選択された画素行の各画素からの長時間露光アナログ画素信号を同時に長時間露光デジタル画素値にAD変換する第1のAD変換回路(ADC(I))110aと、選択された画素行の各画素からの短時間露光アナログ画素信号を同時に短時間露光デジタル画素値にAD変換する第2のAD変換回路(ADC(II))110bとを有している。これらのAD変換回路110aおよび110bはそれぞれ、各列信号線毎に設けられ、該各列信号線に読み出された、選択された画素行の画素のアナログ画素信号をデジタル画素値に変換する複数のAD変換器120(図2参照)を有している。
上記信号処理回路は、第1のAD変換回路110aを、前記選択された画素行の各画素の長時間露光アナログ画素信号が同時に長時間露光デジタル画素値に変換されるよう制御するとともに、第2のAD変換回路110bを、前記選択された画素行の各画素の短時間露光アナログ画素信号が同時に短時間露光デジタル画素値に変換されるよう制御する制御部108を備えている。
さらに、上記信号処理回路は、上記第1のAD変換回路110aの各AD変換器で得られた各画素の長時間露光デジタル画素値が順次出力されるよう、該第1のAD変換回路110aにタイミングパルス信号ΦHa1〜ΦHamを出力する水平シフトレジスタ(I)(第1の水平シフトレジスタ)109aと、上記第2のAD変換回路110bの各AD変換器で得られた各画素の短時間露光デジタル画素値が順次出力されるよう、該第2のAD変換回路110bにタイミングパルス信号ΦHb1〜ΦHbmを出力する水平シフトレジスタ(II)(第2の水平シフトレジスタ)109bとを有している。
また、上記信号処理回路は、第1のAD変換回路110aから順次出力される各画素の長時間露光デジタル画素値と、第2のAD変換回路110bから順次出力される各画素の短時間露光デジタル画素値とを、対応する画素毎に合成する論理回路121を有している。
なお、本実施形態1の固体撮像装置も、図20に示す従来の固体撮像装置と同様、列信号線に一定電流を供給する定電流源を有しているが、図1では図示していない。
以下、上記第1及び第2のAD変換回路110a及び110bについて詳しく説明する。ここでは、上記第1のAD変換回路110aは、例えば、各画素行に対応する1水平期間H(k)内の第1の水平ブランキング期間THB1内に列信号線に読み出された長時間露光アナログ画素信号を、各画素行に対応する水平期間H(k)内の、第2の水平ブランキング期間THB2に続く残りの信号処理期間HR(k)内にAD変換するものである。上記第2のAD変換回路110bは、各画素行に対応する1水平期間H(k)内の第2の水平ブランキング期間THB2内に該列信号線に読み出された短時間露光アナログ画素信号を、該第1のAD変換回路での長時間露光アナログ画素信号のAD変換と並行して、該残りの信号処理期間HR(k)内にAD変換するものである。
上記第1のAD変換回路110aは、図2に示すように、その各AD変換器120の前段に設けられ、列信号線に暗時アナログ画素信号として読み出されたリセット信号と、該列信号線に長時間露光アナログ信号として出力されたデータ信号とをそれぞれサンプリングしてそれらの第1の差分アナログ画素信号を出力するCDS回路111を有している。また、上記第2のAD変換回路110bも同様に、その各AD変換器120の前段に設けられ、該列信号線に暗時のアナログ画素信号として読み出されたリセット信号と、該列信号線に短時間露光アナログ信号として出力されたデータ信号とをそれぞれサンプリングしてそれらの第2の差分アナログ画素信号を出力するCDS回路111を有している(図2参照)。なおここでは、上記CDS回路111と、その出力に接続された対応するAD変換器120とは、各列に対応する信号処理部110を構成している。
上記第1のAD変換回路を構成する各AD変換器120は、図2に示すように、その前段のCDS回路(第1のCDS回路)111から出力される一定レベルの差分アナログ画素信号(第1の差分アナログ画素信号)DApvをランプ波形信号(第1のランプ波形)116aと比較し、該ランプ波形信号の信号レベルが該差分アナログ画素信号DApvの信号レベルを超えたときタイミング信号(第1のタイミング信号)Tsを出力するコンパレータ(第1のコンパレータ)112と、該タイミング信号が出力されたとき、該差分アナログ画素信号の信号レベルに相当するカウント値(第1のカウント値)をラッチしてデジタル画素値Dpvとして出力するnビットラッチ回路(第1のラッチ回路)113とを有している。この第1AD変換回路110aのnビットラッチ回路113は、第1のコンパレータ112からの第1のタイミング信号Tsに基づいて、第1の差分アナログ画素信号の信号レベルに相当する第1のカウント値を、該長時間露光デジタル画素値としてラッチする前段nビットラッチ(第1の前段ラッチ部)113aと、該第1の前段ラッチ部のラッチ出力を保持し、上記第1の水平シフトレジスタ109aからのタイミングパルスΦHa(j)により、該第1の前段ラッチ部のラッチ出力を列選択で出力する後段nビットラッチ(第1の後段ラッチ部)113bとを有している。そして、各列に対応する信号処理部110の後段nビットラッチ113bは、各列に対応する信号処理部110の前段nビットラッチ113aのラッチ出力(デジタル画素値)を列選択で順次シフトして、一端側の列に対応する後段nビットラッチ113bから、長時間露光デジタル画素値として出力する回路を構成している。
同様に、上記第2のAD変換回路110bを構成する各AD変換器120は、その前段のCDS回路(第2のCDS回路)111から出力される一定レベルの差分アナログ画素信号(第2の差分アナログ画素信号)DApvをランプ波形信号(第2のランプ波形信号)116aと比較し、該ランプ波形信号の信号レベルが該差分アナログ画素信号DApvの信号レベルを超えたときタイミング信号(第2のタイミング信号)Tsを出力するコンパレータ(第2のコンパレータ)112と、該タイミング信号が出力されたとき、該差分アナログ画素信号の信号レベルに相当するnビットのカウント値(第2のカウント値)をラッチしてデジタル画素値Dpvとして出力するnビットラッチ回路(第2のラッチ回路)113とを有している。この第2のAD変換回路110bのnビットラッチ回路113も、第1のAD変換回路110abにおけるものと同様の構成である。つまり、このnビットラッチ回路113は、第2のコンパレータ112からの第2のタイミング信号Tsに基づいて、第2の差分アナログ画素信号の信号レベルに相当する第2のカウント値を、該長時間露光デジタル画素値としてラッチする前段nビットラッチ(第2の前段ラッチ部)113aと、該第2の前段ラッチ部のラッチ出力を保持し、上記第2の水平シフトレジスタ109bからのタイミングパルスΦHb(j)により、該第2の前段ラッチ部のラッチ出力を列選択で出力する後段nビットラッチ(第2の後段ラッチ部)113bとを有している。そして、各列に対応する信号処理部110の後段nビットラッチ113bは、各列に対応する信号処理部110の前段nビットラッチ113aのラッチ出力(デジタル画素値)を列選択で順次シフトして、一端側の列に対応する後段nビットラッチ113bから、短時間露光デジタル画素値として出力する回路を構成している。
ここで、上記第1のAD変換回路110aが第1の差分アナログ画素信号(長時間露光アナログ画素信号)をAD変換する処理と、上記第2のAD変換回路110bが第2の差分アナログ画素信号(長時間露光アナログ画素信号)をAD変換する処理とは、同一の処理としている。つまり、上記第1および第2のAD変換回路110aおよび110bを制御する制御部108は、各列信号線毎に設けられた複数のAD変換器に上記ランプ波形信号116aを出力するランプ波形生成部116と、該複数のAD変換器にnビットカウント値115aを供給するnビットカウンタ(カウンタ回路)115とを有している。
なお、上記制御部108におけるランプ波形生成部116は、第1のAD変換回路の各AD変換器と第2のAD変換回路の各AD変換器とに同一のランプ波形信号を供給するものであるが、第1のAD変換回路の各AD変換器に供給するランプ波形信号と、第2のAD変換回路の各AD変換器に供給するランプ波形信号とを、波形の異なるものとしてもよい。ただし、その場合、制御部108は、第1のAD変換回路の各AD変換器に第1のランプ波形信号を供給する第1のランプ波形生成部と、第2のAD変換回路の各AD変換器に、第1のランプ波形信号とは波形の異なる第2のランプ波形信号を供給する第2のランプ波形生成部とを有するものとする必要がある。
次に、動作について説明する。
以下の説明では、1フレーム期間及び1水平期間の2種類の蓄積時間(露光時間)の画素信号を読み出す場合について説明する。なお、図3では、画素行の選択パルスとして、画素領域102における第1番目〜第n番目の画素行の選択パルスΦV1〜ΦVnを示し、特に、長時間露光アナログ画素信号の読み出しタイミングLt及び短時間露光アナログ信号の読み出しタイミングStについては、第1番目の画素行について示している。また、図4では、画素行の選択パルスとして、画素領域102における第k−1番目、第k番目、及び第k+1番目の画素行の選択パルスΦVk−1、ΦVk、及びΦVk+1を示し、特に、長時間露光アナログ信号の読み出しタイミングLt及び短時間露光アナログ信号の読み出しタイミングStについては、第k番目の画素行のものを示している。
このような固体撮像装置100では、垂直シフトレジスタ104は選択信号(選択パルス)ΦV1〜Vnを出力すると、画素領域102における各画素行R(k)(図5(a)参照)が選択される。つまり、画素(以下、画素セルともいう。)が水平1ラインごとに順次選択される。
このとき、各画素行R(k)(k=1〜n)は、図3に示すように、長時間露光アナログ画素信号と短時間露光アナログ画素信号とが上記列信号線L1〜Lmに出力されるよう、タイミングLtとタイミングStで選択される。タイミングStで画素行が選択された後、タイミングLtで画素行が選択されるまでの時間は、ほぼ1フレーム期間であり、この間に画素セルで蓄積された信号電荷が、長時間露光アナログ画素信号として列信号線に読み出される。また、タイミングLtで画素行が選択された後、タイミングStで画素行が選択されるまでの時間は、ほぼ1水平期間であり、この間に画素セルで蓄積された信号電荷が、短時間露光アナログ画素信号として列信号線に読み出される。
また、このような長時間露光アナログ画素信号と短時間露光アナログ画素信号との読み出しは、隣接する画素行の間で重ならないよう行う必要がある。ここでは、図4(a)に示すように、1フレームにおける1水平期間H(k)の第1の水平ブランキング期間THB1にk行目の画素セルから、蓄積時間がほぼ1フレームに相当するアナログ画素信号VSIG1〜VSIGmが垂直信号線(列信号線)L1〜Lmに出力されて、第1のAD変換回路(ADC(I))110aにサンプル&ホールドされる。
次に、1水平期間H(k)の第2の水平ブランキング期間THB2において、k−1行目の画素セルから、蓄積時間はほぼ1Hに相当するアナログ画素信号VSIG1〜VSIGmが垂直信号線L1〜Lmに読み出されて、第2のAD変換回路(ADC(II))110bにサンプル&ホールドされる。
水平期間H(k)の第1の水平ブランキング期間THB1で読み出された、k行目の画素行の長時間露光アナログ画素信号と、水平期間H(k)の第2の水平ブランキング期間THB2で読み出された、k−1行目の画素行の短時間間露光アナログ画素信号とは、図4(a)に示すように、該水平期間H(k)の残りの信号処理期間HR(k)内で、それぞれ、第1および第2のAD変換回路110aおよび110bにてAD変換される。
例えば、第1のAD変換回路110aでは、各列の各画素から、暗時のアナログ画素信号Apvとして読み出されたリセット信号と、長時間露光アナログ信号として読み出されたデータ信号とがCDS回路111にてそれぞれサンプリングされ、それらの差分アナログ画素信号がCDS回路111から出力される。そして、コンパレータ112では、この差分アナログ信号DApvがランプ波形発生部116からのランプ波形信号116aと比較され、ランプ波形の信号レベルが該差分アナログ画素信号DApvの信号レベルを超えたとき、タイミング信号Tsがnビットラッチ回路113に出力される。このnビットラッチ113では、nビットカウンタ115から出力されるカウント出力115aが、タイミング信号Tsで、前段nビットラッチ113aにラッチされ、該前段nビットラッチ113aのラッチ出力が後段nビットラッチ回路113bに上記長時間露光デジタル画素値として保持される。
このような選択された画素行の各画素の長時間露光アナログ画素信号のAD変換は、第1のAD変換回路110aにおける、各列に対応するAD変換器120とその前段のCDS回路111とにより、同時に行われる。
また、短時間露光アナログ画素信号のAD変換は、第2のAD変換回路110bにて、上記長時間露光アナログ画素信号のAD変換と同様に行われる。
そして、その次の水平期間H(k+1)の信号処理期間HR(k+1)内に、第1のAD変換回路110aからは、第1の水平シフトレジスタ109aからのパルス信号ΦHa1〜ΦHamにより、k行目の画素行の長時間露光デジタル画素値が画素毎に順次論理回路(ロジック部)121に出力される。また、同時に、第2のAD変換回路110bからは、第2の水平シフトレジスタ109bからのパルス信号ΦHb1〜ΦHbmにより、(k−1)行目の画素行の短時間露光デジタル画素値が画素毎に順次論理回路121に出力される。
例えば、ロジック部121では、ラインメモリを用いて、第1のAD変換回路110aから出力される、水平期間H(k−1)の信号処理期間にAD変換により得られたデジタル画素値を、1水平期間遅延させると、1Hの蓄積時間のk−1行の画素セルからのデジタル信号(短時間露光デジタル画素値)と、1フレームの蓄積時間のk−1行の画素セルからのデジタル信号(長時間露光デジタル画素値)とを得ることができ、それらを適切につなぎ合わせることにより、従来の固体撮像素子と比較してダイナミックレンジを広げた撮像画像を得ることができる。
以下、上記各画素行の画素から、長時間露光アナログ画素信号と短時間露光アナログ画素信号とを読み出して、それぞれ長時間露光デジタル画素値と短時間露光デジタル画素値を得る動作について、画素領域における隣接する3つの画素行R(k−1)、R(k)、R(k+1)を用いて説明する。
図5(b)は、隣接する3つの画素行での電荷蓄積時間を説明する図であり、各画素行の画素にて光電変換により得られる電荷を長時間にわたって蓄積が行われる期間Leと、各画素行の画素にて光電変換により得られる電荷を短時間にわたって蓄積が行われる期間Seとを模式的に示している。なお、図5(a)は、図5(b)の3つの画素行の、画素領域における配置を示している。
図5(b)から分かるように、各画素行の画素での長時間露光は、フレームV(r−1)からフレームV(r)に跨ってほぼ1フレーム期間の間に行われる。例えば、画素行R(k)では、長時間露光は、フレームV(r−1)の(k−1)番目の水平期間H(k−1)から、その次のフレームV(r)の(k−2)番目の水平期間H(k−2)までの間Leに行われ、短時間露光は、フレームV(r)の(k−2)番目の水平期間H(k−2)の間Seに行われる。また、画素行R(k)の前後の画素行R(k−1)およびR(k+1)では、上記長時間露光および短時間露光は、画素行R(k)でのものと比べて、それぞれ1水平期間だけずれたタイミングで行われる。なお、図5(b)中、期間Vbは垂直ブランキング期間であり、この期間Vbには、いずれの画素行からのアナログ画素信号の読み出しも行われない。
また、各画素列の画素から、長時間露光アナログ画素信号の垂直信号線(列信号線)への読み出し(信号読取タイミング)、読み出した長時間露光アナログ画素信号のAD変換(AD変換タイミング)、およびAD変換により得られた長時間露光デジタル画素値の出力(データ出力タイミング)は、隣接する3つの画素行に対して一水平期間ずつタイミングをずらし行順次に行われる。また、同様に、短時間露光アナログ画素信号の垂直信号線への読み出し(信号読取タイミング)、読み出した短時間露光アナログ画素信号のAD変換(AD変換タイミング)、およびAD変換により得られた短時間露光デジタル画素値の出力(データ出力タイミング)は前記長時間露光の動作から一水平期間ずつタイミングをずらし行順次に行われる。
そこで、以下これらのタイミングについて図6を用いて説明する。
図6(b)では、画素領域におけるk番目の画素行R(k)について、長時間露光アナログ画素信号の処理の流れを矢印A1〜A5で示し、短時間露光アナログ画素信号の処理の流れを矢印B1〜B5で示している。
画素行R(k)の長時間露光アナログ画素信号の垂直信号線への読み出しは、矢印A1で示すように、水平期間H(k−2)の水平ブランキング期間THB1で行われ、矢印A2で示すように第1のAD変換回路に出力される。その後、読み出した長時間露光アナログ画素信号のAD変換が、矢印A3で示すように、水平期間H(k−2)の水平ブランキング期間THB2後の信号処理期間(つまり、画素行R(k−1)の長時間露光アナログ画素信号のデータ出力期間)PLe(k−1)に行われる。このAD変換により得られた長時間露光デジタル画素値は、矢印A4で示すように、AD変換回路110aの各列の前段nビットラッチ113aにてラッチされ、そのラッチ出力が各列の後段nビットラッチ113bに長時間露光デジタル画素値として保持される。そして、この保持された長時間露光デジタル画素値は、矢印A5で示すように、水平期間H(k−1)の水平ブランキング期間THB2後の信号処理期間(つまり、画素行R(k)の長時間露光アナログ画素信号のデータ出力期間)PLe(k)に、水平シフトレジスタ109aからのタイミングパルス114a(ΦHaj(j=1〜m))により、第1のAD変換回路110aの各列の後段nビットラッチにより列選択でシフトされて、該第1のAD変換回路110aから論理回路120に出力される。この長時間露光Leにより得られる画素信号の処理では、一点鎖線の矢印は、画素行R(k)の1行後の画素行R(k+1)の処理を示し、点線の矢印は、画素行R(k)の1行前の画素行R(k−1)の処理を示している。
また、画素行R(k)の短時間露光アナログ画素信号の垂直信号線への読み出しは、矢印B1で示すように、水平期間H(k−1)の水平ブランキング期間THB2で行われ、矢印B2で示すように第2のAD変換回路に出力される。その後、読み出した短時間露光アナログ画素信号のAD変換が、矢印B3で示すように、水平期間H(k−1)の水平ブランキング期間THB2後の信号処理期間(つまり、画素行R(k−1)の短時間露光アナログ画素信号のデータ出力期間)PSe(k−1)に行われる。このAD変換により得られた短時間露光デジタル画素値は、矢印B4で示すように、AD変換回路110bの各列の前段ラッチ113aにてラッチされ、そのラッチ出力が各列の後段nビットラッチ113bに短時間露光デジタル画素値として保持される。そして、この保持された短時間露光デジタル画素値は、矢印B5で示すように、水平期間H(k)の水平ブランキング期間THB2後の信号処理期間(つまり、画素行R(k)の短時間露光アナログ画素信号のデータ出力期間)PSe(k)に、水平シフトレジスタ109bからのタイミングパルス114b(ΦHbj(j=1〜m))により、第2のAD変換回路110bの各列の後段nビットラッチ113bにより列選択でシフトされて、該第2のAD変換回路110bから論理回路120に出力される。この短時間露光Seにより得られる画素信号の処理では、一点鎖線の矢印は、画素行R(k)の1行後の画素行R(k+1)の処理を示し、点線の矢印は、画素行R(k)の1行前の画素行R(k−1)の処理を示している。
このように本実施形態1では、短時間露光および長時間露光によりダイナミックレンジの広い画像信号が得られるよう画素信号読み出し動作を行う固体撮像装置において、選択された画素行の各画素からの長時間露光アナログ画素信号を同時に長時間露光デジタル画素値にAD変換する第1のAD変換回路110aと、選択された画素行の各画素からの短時間露光アナログ画素信号を同時に短時間露光デジタル画素値にAD変換する第2のAD変換回路110bとを備え、第1のAD変換回路から順次出力される各画素の長時間露光デジタル画素値と、第2のAD変換回路から順次出力される各画素の短時間露光デジタル画素値とを、対応する画素毎に合成するようにしたので、チップサイズの増大を招くフィールドメモリを用いることなく、しかも、サンプルホールドされるデータ信号へのリーク電流の影響を回避しつつ、撮像画像のダイナミックレンジを広げることができる。
また、前記第1及び第2のAD変換回路はそれぞれ、その各AD変換器の前段に設けられ、前記列信号線に暗時アナログ画素信号として読み出されたリセット信号と、該列信号線に長時間露光アナログ画素信号あるいは短時間露光アナログ画素信号として出力されたデータ信号とをそれぞれサンプリングしてそれらの差分アナログ画素信号を出力するCDS回路を有するので、差分アナログ画素信号のAD変換により得られるデジタル画素値を、リセットノイズを除去したものとすることができる。
なお、本実施形態1では、長時間露光期間を1フレーム期間とし、短時間露光期間を1H期間としているが、このような長さの異なる2種類の蓄積時間(露光時間)は、任意に選択可能である。
また、上記実施形態1では、各画素に対して、長さの異なる2種類の蓄積時間を設定しているが、各画素に対しては、長さの異なる3種類以上の蓄積時間を設定してもよい。この場合は、上記実施形態1で示した第1および第2のAD変換回路に加えてさらにAD変換回路を設けて、蓄積時間の異なる各アナログ画素信号に対応するAD変換処理を個別に行う必要がある。
また、上記実施形態1では、上記固体撮像装置において、前記第1のAD変換回路が前記第1の差分アナログ画素信号をAD変換する処理と、前記第2のAD変換回路が前記第2の差分アナログ画素信号をAD変換する処理とは、同一のAD変換処理としているが、これらは異なるAD変換処理であってもよい。
例えば、長時間露光アナログ画素信号のAD変換と、短時間露光アナログ画素信号のAD変換とを、最大振幅値の異なるランプ波形を用いて行うようにしてもよい。
この場合、上記実施形態1の固体撮像装置において、前記制御部108は、前記第1のAD変換回路110aの複数のAD変換器に前記第1のランプ波形信号を出力する第1のランプ波形生成部と、前記第2のAD変換回路の複数のAD変換器に、該第1のランプ波形信号に比べて最大振幅値の小さい第2のランプ波形信号を出力する第2のランプ波形生成部と、該複数のAD変換器にカウント信号を供給するカウンタ回路とを有するものとする。
このように、前記第1のAD変換回路が前記第1の差分アナログ画素信号をAD変換する処理と、前記第2のAD変換回路が前記第2の差分アナログ画素信号をAD変換する処理とを、異なる処理とすることにより、例えば、長時間露光アナログ画素信号のAD変換と、短時間露光アナログ画素信号のAD変換とで、AD変換のダイナミックレンジを変えることができる。これにより、AD変換の前にアナログ画素信号のゲインを調整する増幅回路などが不要となる。
また、上記第2のランプ波形信号の最大振幅を可変としてもよい。
この場合、例えば、上記実施形態1の固体撮像装置において、前記制御部108は、前記第1のAD変換回路の複数のAD変換器に、波形が固定である第1のランプ波形信号を出力する第1のランプ波形生成部と、前記第2のAD変換回路の複数のAD変換器に、波形が可変である第2のランプ波形信号を出力する第2のランプ波形生成部と、該複数のAD変換器にカウント信号を供給するカウンタ回路とを有し、該第2のAD変換回路では、各AD変換器でのAD変換のダイナミックレンジが該第2のランプ波形信号の波形により調整されるものとする。
さらに、前記制御部108は、外部からの設定信号に基づいて、前記第2のランプ波形生成部で生成されるランプ波形の最大振幅値を設定するランプ波形設定部を有するものでもよい。
この場合、前記第2のAD変換回路は、外部からの設定信号に基づいて、短時間露光アナログ画素信号のAD変換に用いるランプ波形の最大振幅値を設定するランプ波形設定部を有するので、アナログ信号レベルの小さい短時間露光アナログ画素信号に対して適切なAD変換のダイナミックレンジを設定することができる。
また、前記制御部108は、前記短時間露光デジタル画素値の所定期間の平均値に基づいて、前記第2のランプ波形生成部で生成されるランプ波形の最大振幅値をフィードバック制御するランプ波形制御部を有するものでもよく、さらに、長時間露光アナログ画素信号および短時間露光デジタル画素値の所定期間の平均値に基づいて、それぞれ上記第1および第2のAD変換回路に供給するランプ波形の最大振幅値を上記のようにフィードバック制御するものでもよい。
このように、前記制御部が前記長時間露光デジタル画素値および短時間露光デジタル画素値の所定期間の平均値に基づいて、そのAD変換に用いるランプ波形の最大振幅値をフィードバック制御するランプ波形制御部を有するものとすることで、アナログ信号レベルの小さい短時間露光アナログ画素信号に対して、さらには長時間露光アナログ画素信号に対しても被写体の輝度レベルに応じた適切なAD変換のダイナミックレンジを設定することができる。
(実施形態2)
以下本発明の実施形態2による固体撮像装置として、上記第1および第2のAD変換回路に供給するランプ波形の最大振幅値をフィードバック制御するものについて具体的に説明する。
図7および図8は、本発明の実施形態2による固体撮像装置を説明する図であり、図7は、本実施形態2の固体撮像装置の全体構成を示し、図8は該固体撮像装置を構成するアナログ画素信号のAD変換回路およびその制御部の構成を示している。
この実施形態2の固体撮像装置は、上述した実施形態1の固体撮像装置100の制御部108に代えて、カウント信号を出力するnビットカウンタ115と、最大振幅値を変更可能なランプ波形126aを生成するランプ波形生成部126と、第1のAD変換回路110aの出力Dpvに基づいて、該ランプ波形生成部126を、そのランプ波形126aの最大振幅値が変化するよう制御するランプ波形制御部117を有する制御部108aを備えたものである。ここで、上記ランプ波形126aの最大振幅値のフィードバック制御に用いる基準値には、第1のAD変換回路110aの出力Dpvの所定時間内での平均値、最大値あるいは最小値、さらに中間値などを用いることができる。
この制御部108aからは、上記第1のAD変換回路110aだけでなく、第2のAD変換回路110b(図1参照)にも、上記ランプ波形126aおよびカウンタ115からのカウント信号115aが供給されるようになっている。なお、その他の構成は、上記実施形態1のものと同一である。
このように、AD変換に用いるランプ波形の最大振幅を可変とすることで、アナログ信号レベルの小さい短時間露光アナログ画素信号、およびアナログ信号レベルの大きい長時間露光アナログ画素信号に対して、被写体の輝度レベルに応じた適切なAD変換のダイナミックレンジを設定することができる。
なお、上記実施形態2では、第1および第2のAD変換回路にて、そのAD変換に用いるランプ波形の最大振幅値をフィードバック制御する構成を示しているが、第1および第2のAD変換回路の両方で、AD変換に用いるランプ波形の最大振幅値をフィードバック制御する構成は、前記実施形態2の構成に限定されるものではない。
例えば、前記信号処理回路は、前記第1および第2のAD変換回路を制御する制御部を有し、該制御部は、前記各列信号線毎に設けられた、第1のAD変換回路における複数のAD変換器に、波形が可変である第1のランプ波形信号を出力する第1のランプ波形生成部と、該複数のAD変換器に第1のカウント値を供給する第1のカウンタ回路と、前記長時間露光デジタル画素値の所定期間の平均値に基づいて、該第1のランプ波形生成部で生成されるランプ波形の最大振幅値をフィードバック制御する第1のランプ波形制御部とを有する第1の制御部と、前記各列信号線毎に設けられた、第2のAD変換回路における複数のAD変換器に、波形が可変である第2のランプ波形信号を出力する第2のランプ波形生成部と、該複数のAD変換器に第2のカウント信号を供給する第2のカウンタ回路と、前記短時間露光デジタル画素値の所定期間の平均値に基づいて、該第2のランプ波形生成部で生成されるランプ波形の最大振幅値をフィードバック制御する第2のランプ波形制御部とを有する第2の制御部とを有し、該第1及び第2のAD変換回路で、それぞれにおける各AD変換器でのAD変換のダイナミックレンジをそれぞれ、第1および第2のランプ波形信号の波形により調整するものでもよい。
(実施形態3)
図9〜図12は、本発明の実施形態3による固体撮像装置およびその駆動方法を説明する図である。図9は、この実施形態3の固体撮像装置の構成を示すブロック図、図10は、この実施形態3の固体撮像装置の動作を説明する模式図である。また、図11および図12は、上記実施形態3の固体撮像装置の動作を説明する波形図であり、図11は、1フレーム期間内での行選択パルスの発生タイミングを示し、図12(a)は、1水平期間内での行選択パルスの発生タイミングを示している。図12(b)および図12(c)はそれぞれ、第1および第2の水平シフトレジスタから出力される列選択パルスの発生タイミングを示している。
この実施形態3の固体撮像装置100bは、実施形態1の固体撮像装置100において長時間露光を行う期間の長さを任意に設定可能としたものである。
すなわち、この実施形態3の固体撮像装置100bは、上記実施形態1の、1フレーム期間内に各画素行の選択を2回行う垂直シフトレジスタ104に代わる、1フレーム期間内に各画素行の選択を3回行う垂直シフトレジスタ104aを備えたものである。
そして、1フレーム期間内に3回の各画素行の選択のうちの、タイミングLt及びStでそれぞれ行われる第1及び第2の画素行選択(タイミングLt及びSt)は、画素から信号電荷が読み出されるよう画素行を選択する動作(画素信号読み出し動作)である。また、タイミングDtで行われる第3の画素行選択は、画素に蓄積された信号電荷が廃棄されるよう画素行を選択する動作(シャッター動作)である。ここで、垂直シフトレジスタ104aは、上記第1、第2、及び第3の画素行選択のタイミングLt、St、及びDtをそれぞれ、1水平期間と単位として、1フレームにおける任意のタイミングに、予め設定可能な構成となっている。但し、上記第1、第2、及び第3の画素選択動作のタイミングLt、St、及びDtは、1水平期間における各画素に割り当てられる1画素期間を単位として設定するようにしてもよい。
なお、この実施形態3のその他の構成は、実施形態1におけるものと同一である。
次に動作について説明する。
この実施形態3では、1フレーム期間内に3回の各画素行の選択(画素行選択)を行い、そのうちの1回の画素行選択(シャッター動作)時(タイミングDt)には、画素に蓄積された信号電荷を廃棄する点でのみ、上記実施形態1と異なっているので、以下の動作説明では、主にシャッター動作について説明する。
なお、図11では、画素行の選択パルスとして、画素領域102における第1番目〜第n番目の画素行の選択パルスΦV1〜ΦVnを示し、特に、長時間露光アナログ信号の読み出しタイミングLt、短時間露光アナログ信号の読み出しタイミングSt、蓄積電荷の廃棄タイミングDtについては、第1番目の画素行について示している。また、図12では、画素行の選択パルスとして、画素領域102における第k−1番目、第k番目、及び第k+1番目の画素行の選択パルスΦVk−1、ΦVk、及びΦVk+1を示し、特に、長時間露光アナログ信号の読み出しタイミングLt、短時間露光アナログ信号の読み出しタイミングSt、及び蓄積電荷の廃棄タイミングDtについては、第k番目の画素行のものを示している。
図10に示すように、画素領域における各画素行が、1フレーム期間に選択行(つまり選択される画素行)Ra〜Rcとして一定の時間間隔を空けて選択される。
第1および第2の選択行RaおよびRbとして選択された画素行では、選択画素行の各画素から、各画素に蓄積されている信号電荷が、対応する列信号線に読み出される。また、第3の選択行Rcとして選択された画素行では、各画素に蓄積されている信号電荷は、列信号線には読み出されずに捨てられることとなる。
ここで、各画素行が上記第1〜第3の選択行Ra、Rb、Rcとして選択されるタイミングは、例えば、以下のように設定することができる。なお、各画素行が第1の選択行Raとして選択されるタイミングはタイミングLtであり、各画素行が選択行Rbとして選択されるタイミングはタイミングStであり、各画素行が選択行Rcとして選択されるタイミングはタイミングDtである。
具体的には、1フレーム前のフレームのタイミングDtから次のフレームのタイミングLtまでの期間をほぼ1フレーム期間とし、1つのフレーム内のタイミングLtからタイミングStまでの期間をほぼ1水平期間とする。この場合、画素行が第1の選択行Raとして選択されたとき(タイミングLt)には、該選択された画素行の信号電荷が長時間露光アナログ画素信号として列信号線に読み出され、画素行が第2の選択行Rbとして選択されたとき(タイミングSt)には、該選択された画素行の信号電荷が短時間露光アナログ画素信号として列信号線に読み出される。これらの長時間露光アナログ画素信号および短時間露光アナログ画素信号として画素から読み出されたデータ信号は、それぞれ、暗時のアナログ画素信号として読み出されたリセット信号との差分として、対応する第1および第2のAD変換回路110a及び110bに出力される。その後の信号処理は、実施形態1の固体撮像装置100と同様に行われ、長時間露光アナログ画素信号および短時間露光アナログ画素信号とが論理回路121で合成される。
このような構成の実施形態3では、1フレーム期間内に各画素行の選択を3回行う垂直シフトレジスタ104aを備え、この1フレーム期間における3回の画素行選択動作時のうちの1回の画素行選択動作時(廃棄タイミングDt)には、画素に蓄積された信号電荷を廃棄するようにしたので、1フレーム前のフレームの廃棄タイミングDtから次のフレームの第1の読み出しタイミングLtまでの期間を長時間露光期間とし、1つのフレーム内の第1の読み出しタイミングLtから第2の読み出しタイミングStまでの期間を短時間露光時間とすることで、上記廃棄タイミングを調整することにより、長時間露光期間の長さを被写体の輝度などに応じた適切な長さにすることができる。
なお、上記実施形態3では、1フレーム前のフレームの廃棄タイミングDtから次のフレームの第1の読み出しタイミングLtまでの期間を長時間露光期間とし、1つのフレーム内の第1の読み出しタイミングLtから第2の読み出しタイミングStまでの期間を短時間露光時間とする場合について説明したが、1フレーム前のフレームの廃棄タイミングDtから次のフレームの第1の読み出しタイミングLtまでの期間を短時間露光期間とし、1つのフレーム内の第1の読み出しタイミングLtから第2の読み出しタイミングStまでの期間を長時間露光時間としてもよく、この場合、上記廃棄タイミングを調整することにより、短時間露光期間の長さを被写体の輝度などに応じた適切な長さにすることができる。
また、上記実施形態3では、1フレーム期間における3回の画素行選択動作のうちの3回目の画素行選択動作を、画素に蓄積された信号電荷を廃棄するシャッター動作としているが、信号電荷を廃棄するシャッター動作は、1フレーム期間における3回の画素行選択動作時のうちのいずれのタイミングで行ってもよい。
例えば、1フレーム期間における3回の画素行選択動作のうちの1回目および3回目の画素行選択動作は、該選択された画素行の各画素で露光により得られた信号電荷を、対応する列信号線に読み出す画素信号読み出し動作とし、上記3回の画素行選択動作のうちの2回目の画素行選択動作を、該選択された画素行の各画素の、露光により得られた信号電荷を廃棄するシャッター動作としてもよい。
この場合、1つのフレームの2回目の画素行選択時から3回目の画素行選択時までの期間を、該1つのフレームの3回目の画素行選択時から該1つのフレームの次のフレームの1回目の画素行選択時までの期間より短い期間とすることにより、各フレームの1回目の画素行選択時には、前記選択された画素行の各画素で長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号を、対応する列信号線に読み出し、各フレームの3回目の画素行選択時には、該選択された画素行の各画素で短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号を、対応する列信号線に読み出すことができる。
さらに、前記長時間露光デジタル画素値の所定期間の平均値に基づいてシャッター動作のタイミング(2回目の画素行選択時)を調整して、短時間露光時間をフィードバック制御することで、短時間露光時間の長さを被写体の輝度などに応じた適切な長さにすることができる。
さらには、上記実施形態3では、固体撮像装置100bとして、垂直シフトレジスタ104aが1フレーム期間内に各画素行の選択を3回行うものを示しているが、垂直シフトレジスタは、1フレーム期間内に各画素行の選択を4回行い、第1及び第2の読み出しタイミングLt及びStの所定期間前にそれぞれ、画素から信号電荷が廃棄されるよう画素行を選択する第1及び第2の廃棄タイミングを設けたものでもよい。この場合、上記第1及び第2の廃棄タイミングを調整することにより、長時間露光時間の長さと短時間露光期間の長さの両方を、被写体の輝度などに応じた適切な長さにすることができる。
また、上記実施形態3では、垂直シフトレジスタ104aは、画素に蓄積された信号電荷を廃棄するシャッター動作(第3の画素行選択動作)のタイミングDtを、1フレームにおける任意のタイミングに予め設定可能なものを示したが、このシャッター動作(第3の画素行選択)のタイミングDtは、長時間露光時間あるいは短時間露光時間が被写体の画像に応じた適切なものとなるよう、フィードバック制御により決定するようにしてもよい。
(実施形態4)
以下、本発明の実施形態4による固体撮像装置として、上記実施形態3の固体撮像装置におけるシャッター動作(第3の画素行選択動作)のタイミングをフィードバック制御するものについて具体的に説明する。
図13および図14は、本発明の実施形態4による固体撮像装置を説明する図であり、図13は、本実施形態4の固体撮像装置の全体構成を示し、図14は該固体撮像装置を構成するアナログ画素信号のAD変換回路およびその制御部の構成を示している。
この実施形態4の固体撮像装置100cは、上述した実施形態3の固体撮像装置100bの制御部108に代えて、カウント信号115aを出力するnビットカウンタ115と、ランプ波形116aを生成するランプ波形生成部116と、第1のAD変換回路110aの出力Dpvに基づいて、長時間露光時間の長さを規定するシャッター動作のタイミングが調整されるよう、上記垂直シフトレジスタ104bを露光時間制御信号Cet1により制御する露光時間制御部117cとを有する制御部108cを備えたものである。ここで、上記長時間露光時間のフィードバック制御に用いる基準値には、AD変換回路110aの出力Dpvの所定時間内での平均値、最大値あるいは最小値、さらに中間値などを用いることができる。なお、この実施形態4のその他の構成は、上記実施形態3のものと同一である。
このように本実施形態4では、第1のAD変換回路110aの出力Dpvに基づいて、長時間露光時間の長さを規定するシャッター動作のタイミングが調整されるよう、上記垂直シフトレジスタ104bを露光時間制御信号Cet1により制御するので、長時間露光時間が被写体の画像に応じて調整されることとなり、長時間露光アナログ画素信号のダイナミックレンジを最適化し、引いては、長時間露光デジタル画素値と短時間露光デジタル画素値との合成により得られるデジタル画素値のダイナミックレンジを最適なものとできる。
(実施形態5)
図15〜図18は、本発明の実施形態5による固体撮像装置およびその駆動方法を説明する図である。図15は、この実施形態5の固体撮像装置の全体構成を示すブロック図、図16は、該固体撮像装置における制御部の構成を示すブロック図である。図17び図18は、上記実施形態5の固体撮像装置の動作を説明する波形図であり、図17は、1フレーム期間内での行選択パルスの発生タイミングを示し、図18(a)は、1水平期間内での行選択パルスの発生タイミングを示している。図18(b)および図18(c)はそれぞれ、第1および第2の水平シフトレジスタから出力される列選択パルスの発生タイミングを示している。
この実施形態5の固体撮像装置100dは、実施形態1の固体撮像装置100において、長時間露光を行う期間の長さ及び短時間露光を行う時間の長さをそれぞれ、任意に設定可能としたものである。
つまり、本発明の実施形態5による固体撮像装置100dは、実施形態1の固体撮像装置100における垂直シフトレジスタ104に代わる、画素列を選択するタイミングを変更可能な垂直シフトレジスタ104dを備えている。この垂直シフトレジスタ104dは、1フレーム期間内に各画素行の選択動作を4回行い、画素信号読み出しタイミング(第1及び第3の画素行選択動作タイミング)Lt及びStの所定期間前の信号廃棄タイミング(第2及び第4の画素行選択動作タイミング)DSt及びDLtにて、画素から信号電荷が廃棄されるよう画素行を選択するものである。
また、この実施形態5の固体撮像装置100dは、上述した実施形態1の固体撮像装置100aの制御部108に代えて、カウント信号115aを出力するnビットカウンタ115と、ランプ波形116aを生成するランプ波形生成部116と、第1のAD変換回路110aの出力Dpv1に基づいて、長時間露光時間の長さを規定する上記シャッター動作(第4の画素行選択動作)のタイミングDLtが調整されるよう、上記垂直シフトレジスタ104dを露光時間制御信号Cet1により制御する露光時間制御部117c1と、第2のAD変換回路110bの出力Dpv2に基づいて、短時間露光時間の長さを規定する上記シャッター動作(第3の画素行選択動作)のタイミングDStが調整されるよう、上記垂直シフトレジスタ104dを露光時間制御信号Cet2により制御する露光時間制御部117c2とを有している。ここで、上記長時間露光時間及び短時間露光時間のフィードバック制御に用いる基準値には、第1及び第2のAD変換回路110a及び110bの出力Dpv1及びDpv2の所定時間内での平均値、最大値あるいは最小値、さらに中間値などを用いることができる。なお、この実施形態5のその他の構成は、上記実施形態1のものと同一である。
次に動作について説明する。
なお、以下の動作説明に用いる図17では、画素行の選択パルスとして、画素領域102における第1番目〜第n番目の画素行の選択パルスΦV1〜ΦVnを示し、特に、長時間露光アナログ信号の読み出しタイミングLt、短時間露光アナログ信号の読み出しタイミングSt、蓄積電荷の廃棄タイミングDSt、DLtについては、第1番目の画素行について示している。また、図18では、画素行の選択パルスとして、画素領域102における第k−1番目、第k番目、及び第k+1番目の画素行の選択パルスΦVk−1、ΦVk、及びΦVk+1を示し、特に、長時間露光アナログ信号の読み出しタイミングLt、短時間露光アナログ信号の読み出しタイミングSt、及び蓄積電荷の廃棄タイミングDSt、DLtについては、第k番目の画素行のものを示している。
ここで、各画素行が上記第1〜第4の画素行選択動作により選択されるタイミングは、具体的には、以下のように設定することができる。
つまり、1フレーム前のフレームのタイミングDLtから次のフレームのタイミングLtまでの期間をほぼ1フレーム期間とし、1つのフレーム内のタイミングLtからタイミングStまでの期間をほぼ1水平期間とし、タイミングDStからタイミングStまでの期間を1水平期間より短い期間とする。
この場合、画素行が画素信号読み出し動作(第1の画素行選択動作)により選択されたとき(タイミングLt)には、該選択された画素行の信号電荷が、1つのフレームのタイミングDLtから次のフレームのタイミングDtまでの長時間露光アナログ画素信号として列信号線に読み出され、画素行がシャッター動作(第2の画素行選択動作)により選択されたとき(タイミングDSt)には、該選択された画素行の信号電荷が廃棄される。さらに、画素行が画素信号読み出し動作(第3の画素行選択動作)により選択されたとき(タイミングSt)には、該選択された画素行の信号電荷が短時間露光アナログ画素信号として列信号線に読み出される。その後、画素行がシャッター動作(第4の画素行選択動作)により選択されたとき(タイミングDLt)には、該選択された画素行の信号電荷が廃棄される。そして、次のフレームで画素行が第1の画素行選択動作により選択されたとき(タイミングLt)には、該選択された画素行の信号電荷が列信号線に読み出される。
また、この実施形態5では、制御部108dにおける第1の露光時間制御部117c1は、第1のAD変換回路110aの出力Dpv1に基づいて、長時間露光時間の長さを規定する上記シャッター動作(第4の画素行選択動作)のタイミングDLtを調整する。また、制御部108dにおける第2の露光時間制御部117c2は、第2のAD変換回路110bの出力Dpv2に基づいて、短時間露光時間の長さを規定する上記シャッター動作(第2の画素行選択動作)のタイミングDStを調整する。その後の信号処理は、実施形態1の固体撮像装置と同様に行われ、長時間露光アナログ画素信号および短時間露光アナログ画素信号とが論理回路で合成される。
このような構成の実施形態5では、第1のAD変換回路110aの出力Dpv1に基づいて、長時間露光時間の長さを規定する上記シャッター動作のタイミングLDtが調整されるよう、上記垂直シフトレジスタ104dを露光時間制御信号Cet1により制御し、かつ第2のAD変換回路110bの出力Dpv2に基づいて、短時間露光時間の長さを規定する上記シャッター動作のタイミングDStが調整されるよう、上記垂直シフトレジスタ104dを露光時間制御信号Cet2により制御するので、長時間露光時間及び短時間露光時間が被写体の画像に応じて調整されることとなり、長時間露光アナログ画素信号のダイナミックレンジを、短時間露光アナログ画素信号のダイナミックレンジとともに最適化し、引いては、長時間露光デジタル画素値と短時間露光デジタル画素値との合成により得られるデジタル画素値のダイナミックレンジを最適なものとできる。
なお、上記実施形態3〜5では特に説明していないが、信号電荷を廃棄するシャッター動作は、1水平期間H(k)のブランキング期間HB(k)に行っても、1水平期間H(k)のブランキング期間HB(k)後の水平信号処理期間HR(k)に行ってもよいことは言うまでもない。
さらに、上記実施形態1〜5では、特に説明しなかったが、上記実施形態1〜5の固体撮像装置の少なくともいずれかを画像入力デバイスとして撮像部に用いた電子情報機器について説明する。このような電子情報機器としては、例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などが挙げられる。
(実施形態6)
図19は、本発明の実施形態6として、上記実施形態1〜5のいずれかの固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
図19に示す本発明の実施形態3による電子情報機器90は、本発明の上記実施形態1〜5の固体撮像装置の少なくとも1つを用いた撮像部91と、該撮像部にて得た高品位な画像データを記録用に所定の信号処理した後にデータ記録する記録メディアなどのメモリ部92と、この画像データを表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示する液晶表示装置などの表示手段93と、この画像データを通信用に所定の信号処理をした後に通信処理する送受信装置などの通信手段94と、この画像データを印刷(印字)して出力(プリントアウト)する画像出力手段95とのうちの少なくともいずれかを有している。
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
本発明は、短時間露光および長時間露光によりダイナミックレンジの広い画像信号が得られるよう画素行選択動作を行う固体撮像装置、およびその駆動方法、並びにこのような固体撮像装置を用いた電子情報機器の分野において、長時間露光アナログ画素信号と短時間露光アナログ画素信号とをそれぞれ同時にデジタル画素値にAD変換し、これらの長時間露光アナログ画素信号と短時間露光アナログ画素信号のデジタル画素値を合成することにより、チップサイズの増大を招くフィールドメモリを用いることなく、しかも、サンプルホールドされるデータ信号へのリーク電流の影響を回避しつつ、撮像画像のダイナミックレンジを広げることができる。
図1はこの発明の実施形態1による固体撮像装置およびその駆動方法を説明するブロック図である。 図2は、上記実施形態1の固体撮像装置におけるAD変換回路を説明するブロック図である。 図3は、上記実施形態1の固体撮像装置の動作を説明する波形図であり、1フレーム期間内での行選択パルスの発生タイミングを示している。 図4は、上記実施形態1の固体撮像装置の動作を説明する波形図であり、図4(a)は、1水平期間内での行選択パルスの発生タイミングを示し、図4(b)および図4(c)はそれぞれ、第1および第2の水平シフトレジスタから出力される列選択パルスの発生タイミングを示している。 図5は、上記実施形態1の固体撮像装置の動作を説明する図であり、1フレーム期間内での長時間露光と短時間露光のタイミング(図5(b))を、固体撮像装置の主要部の構成(図5(a))とともに示している。 図6は、上記実施形態1の固体撮像装置の動作を説明する図であり、連続する3水平期間での信号処理(図6(b))を固体撮像装置の主要部の構成(図6(a))とともに示している。 図7は、本発明の実施形態2による固体撮像装置を説明する図であり、該固体撮像装置の全体構成を示している。 図8はこの実施形態2の固体撮像装置における第1のAD変換回路および制御部を示すブロック図である。 図9は、本発明の実施形態3による固体撮像装置を説明する図であり、該固体撮像装置の全体構成を示している。 図10は、上記実施形態3における画素行選択動作のタイミングを説明する模式図である。 図11は、上記実施形態3の固体撮像装置の動作を説明する波形図であり、1フレーム期間内での行選択パルスの発生タイミングを示している。 図12は、上記実施形態3の固体撮像装置の動作を説明する波形図であり、図12(a)は、1水平期間内での行選択パルスの発生タイミングを示し、図12(b)および図12(c)はそれぞれ、第1および第2の水平シフトレジスタから出力される列選択パルスの発生タイミングを示している。 図13は、本発明の実施形態4による固体撮像装置を説明する図であり、該固体撮像装置の全体構成を示している。 図14は、上記実施形態4の固体撮像装置におけるAD変換回路を説明するブロック図である。 図15は、本発明の実施形態5による固体撮像装置を説明する図であり、該固体撮像装置の全体構成を示している。 図16は、上記実施形態5の固体撮像装置における制御部の構成を示すブロック図である。 図17は、上記実施形態5の固体撮像装置の動作を説明する波形図であり、1フレーム期間内での行選択パルスの発生タイミングを示している。 図18は、上記実施形態5の固体撮像装置の動作を説明する波形図であり、図18(a)は、1水平期間内での行選択パルスの発生タイミングを示し、図18(b)および図18(c)はそれぞれ、第1および第2の水平シフトレジスタから出力される列選択パルスの発生タイミングを示している。 図19は、本発明の実施形態6として、本発明の実施形態1〜5のいずれかの固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。 図20は、従来の固体撮像装置として、特許文献2に開示のCMOS光センサーを説明する図である。
符号の説明
90 電子情報機器
91 固体撮像部
92 メモリ部
93 表示手段
94 通信手段
95 画像出力手段
100、100a、100b、100c、100d 固体撮像装置
102 画素領域
104、104b、104d 垂直シフトレジスタ
108、108a、108c、108d 制御部
109a 第1の水平シフトレジスタ
109b 第2の水平シフトレジスタ
110a 第1のAD変換回路
110b 第2のAD変換回路
111 CDS回路
112 コンパレータ
113 nビットラッチ部
113a 前段nビットラッチ
113b 後段nビットラッチ
115 nビットカウンタ
116 ランプ波形生成部
117c 露光時間制御部
120 AD変換器
121 論理回路
L1〜Lm 列信号線
Ra〜Rc 選択行

Claims (36)

  1. 入射光の光電変換により信号電荷を生成する画素を2次元マトリクス状に配列してなる画素領域と、該画素領域の各画素行を選択する行選択部とを備え、該行選択部により選択した画素行の各画素の画素値を順次出力する固体撮像装置であって、
    該画素領域に各画素列毎に設けられ、該行選択部により選択された画素行の各画素からアナログ画素信号が読み出される複数の列信号線と、
    該各列信号線に読み出された各画素のアナログ画素信号からデジタル画素値を生成する信号処理回路とを備え、
    該信号処理回路は、該複数の列信号線に読み出された、選択された画素行の各画素のアナログ画素信号を同時にデジタル画素値に変換するAD変換回路を少なくとも2以上備えている固体撮像装置。
  2. 前記信号処理回路を構成する各AD変換回路は、各列信号線毎に設けられ、該各列信号線に読み出された、選択された画素行の画素のアナログ画素信号をデジタル画素値に変換する複数のAD変換器を有している請求項1に記載の固体撮像装置。
  3. 前記行選択部は、1フレーム期間に、前記各画素行を3回以上選択するものであり、
    そのうち少なくとも1回の画素行の選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、
    その他の2回の画素行の選択時のうちの一方では、前記選択された画素行の各画素で長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号が、対応する列信号線に読み出され、
    その他の2回の画素行の選択時のうちの他方では、該選択された画素行の各画素で短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号が、対応する列信号線に読み出される請求項2に記載の固体撮像装置。
  4. 前記行選択部は、前記各画素行を選択するタイミングを、1水平期間を単位として設定するものである請求項3に記載の固体撮像装置。
  5. 前記行選択部は、前記各画素行を選択するタイミングを、1水平期間内の各画素行の各画素に割り当てられている期間である1画素期間を単位として設定するものである請求項3に記載の固体撮像装置。
  6. 前記行選択部は、各画素行からは、前記アナログ画素信号として、長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号と、短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号とが、1フレーム期間内に、各画素に対応する列信号線に読み出されるよう、各画素行を選択するものであり、
    前記信号処理回路は、前記複数のAD変換器を有するAD変換回路として第1及び第2のAD変換回路を有しており、
    該第1のAD変換回路は、選択された画素行の各画素からの長時間露光アナログ画素信号を同時に長時間露光デジタル画素値にAD変換するものであり、
    該第2のAD変換回路は、選択された画素行の各画素からの短時間露光アナログ画素信号を同時に短時間露光デジタル画素値にAD変換するものである請求項2に記載の固体撮像装置。
  7. 前記長時間露光アナログ画素信号は、実質的に1フレーム期間にわたって前記画素で蓄積された信号電荷から得られたアナログ画素信号であり、
    前記短時間露光アナログ画素信号は、実質的に1水平期間にわたって該画素で蓄積された信号電荷から得られたアナログ画素信号である請求項6に記載の固体撮像装置。
  8. 前記行選択部は、前記各画素行に対応する水平期間には、第1の水平ブランキング期間内に1つの画素行の各画素から長時間露光アナログ画素信号が、対応する列信号線に読み出され、かつ、該第1の水平ブランキング期間に続く第2の水平ブランキング期間内に、該1つの画素行に隣接する他の画素行の各画素から短時間露光アナログ画素信号が、対応する列信号線に読み出されるよう、該各画素行を選択するものである請求項6に記載の固体撮像装置。
  9. 前記第1のAD変換回路は、前記第1の水平ブランキング期間内に前記列信号線に読み出された長時間露光アナログ画素信号を、前記各画素行に対応する水平期間内の、前記第2の水平ブランキング期間に続く残りの信号処理期間内にAD変換し、
    前記第2のAD変換回路は、前記第2の水平ブランキング期間内に該列信号線に読み出された短時間露光アナログ画素信号を、該第1のAD変換回路での長時間露光アナログ画素信号のAD変換と並行して、該残りの信号処理期間内にAD変換する請求項8に記載の固体撮像装置。
  10. 前記行選択部は、1フレームに相当する期間内に前記各画素行を3回選択し、第1の画素行選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、第2の画素行選択時には、該第1の画素行選択時から該第2の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出され、該第3の画素行選択時には、該第2の画素行選択時から該第3の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出される請求項3に記載の固体撮像装置。
  11. 前記第1の画素行選択時から前記第2の画素行選択時までの期間は、該第2の画素行選択時から前記第3の画素行選択時までの期間より長い期間であり、
    該第2の画素行選択時には、前記選択された画素行の各画素で長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号が、対応する列信号線に読み出され、該第3の画素行選択時には、該選択された画素行の各画素で短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号が、対応する列信号線に読み出される請求項10に記載の固体撮像装置。
  12. 前記制御部は、前記長時間露光デジタル画素値の所定期間の平均値に基づいて前記第1の画素行選択時を調整して、長時間露光時間をフィードバック制御する露光時間制御部を有する請求項11に記載の固体撮像装置。
  13. 前記第1の画素行選択時から前記第2の画素行選択時までの期間は、該第2の画素行選択時から前記第3の画素行選択時までの期間より短い期間であり、
    該第2の画素行選択時には、前記選択された画素行の各画素で短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号が、対応する列信号線に読み出され、該第3の画素行選択時には、前記選択された画素行の各画素で長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号が、対応する列信号線に読み出される請求項10に記載の固体撮像装置。
  14. 前記制御部は、前記短時間露光デジタル画素値の所定期間の平均値に基づいて前記第1の画素行選択タイミングを調整して、短時間露光時間をフィードバック制御する露光時間制御部を有する請求項13に記載の固体撮像装置。
  15. 前記行選択部は、1フレームに相当する期間内に前記各画素行を3回選択し、第1の画素行選択時には、その前の第3の画素行選択時から該第1の画素行選択時までの間に、該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出され、第2の画素行選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、該第3の画素行選択時には、該第2の画素行選択時から該第3の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出される請求項3に記載の固体撮像装置。
  16. 前記第2の画素行選択時から前記第3の画素行選択時までの期間は、該第3の画素行選択時からその次の第1の画素行選択時までの期間より短い期間であり、
    該第1の画素行選択時には、前記選択された画素行の各画素で長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号が、対応する列信号線に読み出され、該第3の画素行選択時には、該選択された画素行の各画素で短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号が、対応する列信号線に読み出される請求項15に記載の固体撮像装置。
  17. 前記制御部は、前記長時間露光デジタル画素値の所定期間の平均値に基づいて前記第2の画素行選択時を調整して、短時間露光時間をフィードバック制御する露光時間制御部を有する請求項16に記載の固体撮像装置。
  18. 前記行選択部は、1フレームに相当する期間内に前記各画素行を4回選択し、第1の画素行選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、第2の画素行選択時には、該第1の画素行選択時から該第2の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出され、第3の画素行選択時には、該選択された画素行の各画素の、露光により得られた信号電荷が廃棄され、第4の画素行選択時には、該第3の画素行選択時から該第4の画素行選択時までの間に該選択された画素行の各画素で露光により得られた信号電荷が、対応する列信号線に読み出される請求項3に記載の固体撮像装置。
  19. 前記制御部は、前記長時間露光デジタル画素値の所定期間の平均値に基づいて前記第1の画素行選択時を調整して、長時間露光時間をフィードバック制御し、かつ前記短時間露光デジタル画素値の所定期間の平均値に基づいて前記第3の画素行選択時を調整して、短時間露光時間をフィードバック制御する露光時間制御部を有する請求項18に記載の固体撮像装置。
  20. 前記第1のAD変換回路は、その各AD変換器の前段に設けられ、前記列信号線に暗時アナログ画素信号として読み出されたリセット信号と、該列信号線に長時間露光アナログ画素信号として出力されたデータ信号とをそれぞれサンプリングしてそれらの第1の差分アナログ画素信号を出力する第1のCDS回路を有し、
    前記第2のAD変換回路は、その各AD変換器の前段に設けられ、該列信号線に暗時のアナログ画素信号として読み出されたリセット信号と、該列信号線に短時間露光アナログ画素信号として出力されたデータ信号とをそれぞれサンプリングしてそれらの第2の差分アナログ画素信号を出力する第2のCDS回路を有する請求項6に記載の固体撮像装置。
  21. 前記第1のAD変換回路を構成する各AD変換器は、
    その前段の第1のCDS回路から出力される一定レベルの第1の差分アナログ画素信号を第1のランプ波形信号と比較し、該第1のランプ波形信号の信号レベルが該第1の差分アナログ画素信号の信号レベルを超えたとき第1のタイミング信号を出力する第1のコンパレータと、
    該第1のタイミング信号が出力されたとき、該第1の差分アナログ画素信号の信号レベルに相当する第1のカウント値をラッチする第1のラッチ回路とを有し、
    前記第2のAD変換回路を構成する各AD変換器は、
    その前段の第2のCDS回路から出力される一定レベルの第2の差分アナログ画素信号を第2のランプ波形信号と比較し、該第2のランプ波形信号の信号レベルが該第2の差分アナログ画素信号の信号レベルを超えたとき第2のタイミング信号を出力する第2のコンパレータと、
    該第2のタイミング信号が出力されたとき、該第2の差分アナログ画素信号の信号レベルに相当する第2のカウント値をラッチする第2のラッチ回路とを有する請求項20に記載の固体撮像装置。
  22. 前記信号処理回路は、
    前記第1のAD変換回路の前記各列信号線に対応するAD変換器で得られた各画素の長時間露光デジタル画素値が順次出力されるよう、該第1のAD変換回路にタイミングパルス信号を出力する第1の水平シフトレジスタと、
    前記第2のAD変換回路の前記各列信号線に対応するAD変換器で得られた各画素の短時間露光デジタル画素値が順次出力されるよう、該第2のAD変換回路にタイミングパルス信号を出力する第2の水平シフトレジスタとを有し、
    前記第1のラッチ回路は、
    前記第1のコンパレータからの第1のタイミング信号に基づいて、前記第1の差分アナログ画素信号の信号レベルに相当する第1のカウント値を、該長時間露光デジタル画素値としてラッチする第1の前段ラッチ部と、
    該第1の前段ラッチ部のラッチ出力を保持し、該第1の水平シフトレジスタからのタイミングパルスにより、該第1の前段ラッチ部のラッチ出力を出力する第1の後段ラッチ部とを有し、
    前記第2のラッチ回路は、
    前記第2のコンパレータからの第2のタイミング信号に基づいて、前記第2の差分アナログ画素信号の信号レベルに相当する第2のカウント値を、該長時間露光デジタル画素値としてラッチする第2の前段ラッチ部と、
    該第2の前段ラッチ部のラッチ出力を保持し、該第2の水平シフトレジスタからのタイミングパルスにより、該第2の前段ラッチ部のラッチ出力を出力する第2の後段ラッチ部とを有する請求項21に記載の固体撮像装置。
  23. 前記第1のAD変換回路が前記第1の差分アナログ画素信号をAD変換する処理と、前記第2のAD変換回路が前記第2の差分アナログ画素信号をAD変換する処理とは、同一の処理である請求項21に記載の固体撮像装置。
  24. 前記信号処理回路は、前記第1および第2のAD変換回路を制御する制御部を有し、
    該制御部は、
    該第1のAD変換回路の各列信号線毎に設けられた複数のAD変換器に前記第1のランプ波形信号を出力する第1のランプ波形生成部と、
    該第2のAD変換回路の各列信号線毎に設けられた複数のAD変換器に前記第2のランプ波形信号を出力する第2のランプ波形生成部と、
    該複数のAD変換器に前記カウント値を供給するカウンタ回路とを有する請求項23に記載の固体撮像装置。
  25. 前記第1のAD変換回路が前記第1の差分アナログ画素信号をAD変換する処理と、前記第2のAD変換回路が前記第2の差分アナログ画素信号をAD変換する処理とは、異なる処理である請求項21に記載の固体撮像装置。
  26. 前記信号処理回路は、前記第1および第2のAD変換回路を制御する制御部を有し、
    該制御部は、
    該第1のAD変換回路の各列信号線毎に設けられた複数のAD変換器に前記第1のランプ波形信号を出力する第1のランプ波形生成部と、
    該第2のAD変換回路の各列信号線毎に設けられた複数のAD変換器に、該第1のランプ波形信号に比べて最大振幅値の小さい第2のランプ波形信号を出力する第2のランプ波形生成部と、
    該複数のAD変換器に前記カウント信号を供給するカウンタ回路とを有する請求項25に記載の固体撮像装置。
  27. 前記信号処理回路は、前記第1および第2のAD変換回路を制御する制御部を有し、
    該制御部は、
    該第1のAD変換回路の各列信号線毎に設けられた複数のAD変換器に、波形が固定である第1のランプ波形信号を出力する第1のランプ波形生成部と、
    該第2のAD変換回路の各列信号線毎に設けられた複数のAD変換器に、波形が可変である第2のランプ波形信号を出力する第2のランプ波形生成部と、
    該複数のAD変換器に前記カウント信号を供給するカウンタ回路とを有し、
    該第2のAD変換回路では、各AD変換器でのAD変換のダイナミックレンジが該第2のランプ波形信号の波形により調整される請求項25に記載の固体撮像装置。
  28. 前記制御部は、外部からの設定信号に基づいて、前記第2のランプ波形生成部で生成されるランプ波形の最大振幅値を設定するランプ波形設定部を有する請求項27に記載の固体撮像装置。
  29. 前記制御部は、前記短時間露光デジタル画素値の所定期間の平均値に基づいて、前記第2のランプ波形生成部で生成されるランプ波形の最大振幅値をフィードバック制御するランプ波形制御部を有する請求項27に記載の固体撮像装置。
  30. 前記信号処理回路は、前記第1および第2のAD変換回路を制御する制御部を有し、
    該制御部は、
    該第1のAD変換回路の各列信号線毎に設けられた複数のAD変換器に、波形が可変である第1のランプ波形信号を出力する第1のランプ波形生成部と、
    該第1のAD変換回路の複数のAD変換器に第1のカウント値を供給する第1のカウンタ回路と、
    前記長時間露光デジタル画素値の所定期間の平均値に基づいて、該第1のランプ波形生成部で生成されるランプ波形の最大振幅値をフィードバック制御する第1のランプ波形制御部と、
    該第2のAD変換回路の各列信号線毎に設けられた複数のAD変換器に、波形が可変である第2のランプ波形信号を出力する第2のランプ波形生成部と、
    該第2のAD変換回路の複数のAD変換器に第2のカウント信号を供給する第2のカウンタ回路と、
    前記短時間露光デジタル画素値の所定期間の平均値に基づいて、該第2のランプ波形生成部で生成されるランプ波形の最大振幅値をフィードバック制御する第2のランプ波形制御部とを有し、
    該第1AD変換回路では、該各AD変換器でのAD変換のダイナミックレンジが、該第1のランプ波形信号の波形により調整され、該第2AD変換回路では、該各AD変換器でのAD変換のダイナミックレンジが、該第2のランプ波形信号の波形により調整される請求項25に記載の固体撮像装置。
  31. 前記信号処理回路は、
    前記第1のAD変換回路の前記各列信号線に対応するAD変換器で得られた各画素の長時間露光デジタル画素値が順次出力されるよう、該第1のAD変換回路にタイミングパルス信号を出力する第1の水平シフトレジスタと、
    前記第2のAD変換回路の該各列信号線に対応するAD変換器で得られた各画素の短時間露光デジタル画素値が順次出力されるよう、該第2のAD変換回路にタイミングパルス信号を出力する第2の水平シフトレジスタとを有する請求項6に記載の固体撮像装置。
  32. 前記信号処理回路は、前記第1のAD変換回路から順次出力される各画素の長時間露光デジタル画素値と、前記第2のAD変換回路から順次出力される各画素の短時間露光デジタル画素値とを、対応する画素毎に合成する論理回路を有する請求項31に記載の固体撮像装置。
  33. 前記信号処理回路は、前記第1のAD変換回路を、前記選択された画素行の各画素の長時間露光アナログ画素信号が同時に長時間露光デジタル画素値に変換されるよう制御するとともに、前記第2のAD変換回路を、前記選択された画素行の各画素の短時間露光アナログ画素信号が同時に短時間露光デジタル画素値に変換されるよう制御する制御部を備えた請求項6に記載の固体撮像装置。
  34. 入射光の光電変換により信号電荷を生成する画素を2次元マトリクス状に配列してなる画素領域と、該画素領域の各画素行を選択する行選択部と、該画素領域に各画素列毎に設けられ、該行選択部により選択された画素行の各画素からアナログ画素信号が読み出される複数の列信号線とを備えた固体撮像装置を、該行選択部により画素行が順次選択され、該選択された画素行の各画素の画素値が順次出力されるよう駆動する駆動方法であって、
    該行選択部により1フレーム期間内に該各画素行を少なくとも2回以上選択し、
    選択された画素行の各画素から対応する列信号線に読み出された各画素のアナログ画素信号を同時にデジタル画素値に変換する固体撮像装置の駆動方法。
  35. 前記各画素行から前記アナログ画素信号として、長時間露光により得られた信号電荷に相当する長時間露光アナログ画素信号と、短時間露光により得られた信号電荷に相当する短時間露光アナログ画素信号とが、各画素に対応する列信号線に読み出されるよう、前記行選択部により1フレーム期間内に該各画素行を2回選択し、
    該各列信号線毎に設けられた複数のAD変換器を有する第1のAD変換回路により、選択された画素行の各画素からの長時間露光アナログ画素信号を同時に長時間露光デジタル画素値にAD変換し、
    該各列信号線毎に設けられた複数のAD変換器を有する第2のAD変換回路により、選択された画素行の各画素からの短時間露光アナログ画素信号を同時に短時間露光デジタル画素値にAD変換する請求項34に記載の固体撮像装置の駆動方法。
  36. 被写体の撮像を行う撮像部を備えた電子情報機器であって、
    該撮像部は、請求項1に記載の固体撮像装置である電子情報機器。
JP2008141709A 2008-05-29 2008-05-29 固体撮像装置およびその駆動方法、並びに電子情報機器 Active JP5074297B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008141709A JP5074297B2 (ja) 2008-05-29 2008-05-29 固体撮像装置およびその駆動方法、並びに電子情報機器
US12/473,673 US8243179B2 (en) 2008-05-29 2009-05-28 Solid-state image capturing apparatus, driving method of a solid-state image capturing apparatus, and electronic information device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008141709A JP5074297B2 (ja) 2008-05-29 2008-05-29 固体撮像装置およびその駆動方法、並びに電子情報機器

Publications (2)

Publication Number Publication Date
JP2009290613A true JP2009290613A (ja) 2009-12-10
JP5074297B2 JP5074297B2 (ja) 2012-11-14

Family

ID=41379313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008141709A Active JP5074297B2 (ja) 2008-05-29 2008-05-29 固体撮像装置およびその駆動方法、並びに電子情報機器

Country Status (2)

Country Link
US (1) US8243179B2 (ja)
JP (1) JP5074297B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182320A (ja) * 2010-03-03 2011-09-15 Olympus Corp 固体撮像装置および駆動方法
WO2012014553A1 (ja) * 2010-07-28 2012-02-02 富士フイルム株式会社 撮像装置及び撮像方法
JP2012205308A (ja) * 2011-03-23 2012-10-22 E2V Semiconductors 二重の集積時間および条件付選択を備えるイメージセンサ
WO2013035616A1 (ja) * 2011-09-06 2013-03-14 ソニー株式会社 撮像素子、制御方法、並びに、撮像装置
WO2013088699A1 (ja) * 2011-12-16 2013-06-20 パナソニック株式会社 固体撮像装置、撮像装置
US8665354B2 (en) 2011-09-02 2014-03-04 Renesas Electronics Corporation Solid-state image pickup device
JP2014143666A (ja) * 2012-12-28 2014-08-07 Canon Inc 撮像素子、撮像装置、その制御方法、および制御プログラム
WO2015002005A1 (ja) * 2013-07-04 2015-01-08 ソニー株式会社 固体撮像装置、制御方法、及び、電子機器
JP2016184904A (ja) * 2015-03-26 2016-10-20 キヤノン株式会社 撮像装置
JP2017200056A (ja) * 2016-04-27 2017-11-02 キヤノン株式会社 撮像装置及び撮像装置の制御方法
DE102013227163B4 (de) 2012-12-28 2019-12-05 Canon Kabushiki Kaisha Bildaufnahmeelement, bildaufnahmevorrichtung und verfahren und programm zum steuern von diesen
CN112087585A (zh) * 2019-06-14 2020-12-15 三星电子株式会社 Cmos图像传感器及其中以像素为单位执行的自动曝光方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5432799B2 (ja) * 2010-03-30 2014-03-05 オリンパスイメージング株式会社 撮像装置、撮像システム、撮像方法
WO2011149080A1 (ja) * 2010-05-28 2011-12-01 浜松ホトニクス株式会社 固体撮像装置
KR20120013782A (ko) * 2010-08-06 2012-02-15 삼성전자주식회사 데이터 처리 방법 및 그 장치, 및 기록매체
US9332193B2 (en) 2011-11-14 2016-05-03 Omnivision Technologies, Inc. Synchronization of image acquisition in multiple image sensors with a synchronization clock signal
US9119544B2 (en) * 2012-09-19 2015-09-01 Omnivision Technologies, Inc. Acquiring global shutter-type video images with CMOS pixel array by strobing light during vertical blanking period in otherwise dark environment
JP2014060573A (ja) * 2012-09-18 2014-04-03 Sony Corp 固体撮像素子、制御方法、および電子機器
KR101933994B1 (ko) * 2012-10-16 2018-12-31 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
US9294703B2 (en) 2012-12-03 2016-03-22 Samsung Electronics Co., Ltd. Image sensor including data transmission circuit having split bus segments
KR20140104169A (ko) 2013-02-20 2014-08-28 삼성전자주식회사 이미지 센서 및 이를 포함하는 컴퓨팅 시스템
JP2014239289A (ja) * 2013-06-06 2014-12-18 ソニー株式会社 Ad変換器、信号処理方法、固体撮像装置、および電子機器
JP6355397B2 (ja) * 2014-04-10 2018-07-11 キヤノン株式会社 固体撮像素子その制御方法、電子機器、プログラム、記憶媒体
US9473160B2 (en) * 2014-11-07 2016-10-18 Stmicroelectronics (Grenoble 2) Sas Method and device for analog/digital conversion of an analog signal
JP2017046259A (ja) 2015-08-28 2017-03-02 ルネサスエレクトロニクス株式会社 半導体装置
US10911689B2 (en) * 2017-02-15 2021-02-02 Intel IP Corporation Methods and apparatus using long exposure video for virtual reality headset
US11258978B2 (en) * 2019-07-17 2022-02-22 Solsona Enterprise, Llc Methods and systems for representing video in continuous time

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004159274A (ja) * 2002-09-13 2004-06-03 Shoji Kawahito 固体撮像装置
JP2006333035A (ja) * 2005-05-26 2006-12-07 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2008167004A (ja) * 2006-12-27 2008-07-17 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3962431B2 (ja) 1995-11-07 2007-08-22 カリフォルニア インスティチュート オブ テクノロジー 高ダイナミックレンジのリニア出力を有する画像センサ
JP2003169259A (ja) 2001-12-04 2003-06-13 Hitachi Ltd 撮像装置
JP4649313B2 (ja) * 2005-10-28 2011-03-09 株式会社東芝 固体撮像装置
JP4375339B2 (ja) 2006-01-17 2009-12-02 ソニー株式会社 固体撮像装置および固体撮像装置の駆動方法
JP2008141610A (ja) * 2006-12-04 2008-06-19 Matsushita Electric Ind Co Ltd 固体撮像装置及び撮像システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004159274A (ja) * 2002-09-13 2004-06-03 Shoji Kawahito 固体撮像装置
JP2006333035A (ja) * 2005-05-26 2006-12-07 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2008167004A (ja) * 2006-12-27 2008-07-17 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182320A (ja) * 2010-03-03 2011-09-15 Olympus Corp 固体撮像装置および駆動方法
JPWO2012014553A1 (ja) * 2010-07-28 2013-09-12 富士フイルム株式会社 撮像装置及び撮像方法
WO2012014553A1 (ja) * 2010-07-28 2012-02-02 富士フイルム株式会社 撮像装置及び撮像方法
JP5156148B2 (ja) * 2010-07-28 2013-03-06 富士フイルム株式会社 撮像装置及び撮像方法
US8994861B2 (en) 2010-07-28 2015-03-31 Fujifilm Corporation Imaging apparatus and imaging method for obtaining plural kinds of image data with different dynamic ranges in a single photographing
JP2012205308A (ja) * 2011-03-23 2012-10-22 E2V Semiconductors 二重の集積時間および条件付選択を備えるイメージセンサ
US8665354B2 (en) 2011-09-02 2014-03-04 Renesas Electronics Corporation Solid-state image pickup device
WO2013035616A1 (ja) * 2011-09-06 2013-03-14 ソニー株式会社 撮像素子、制御方法、並びに、撮像装置
JP2013055589A (ja) * 2011-09-06 2013-03-21 Sony Corp 撮像素子、制御方法、並びに、撮像装置
US9319610B2 (en) 2011-09-06 2016-04-19 Sony Corporation Image pickup device, control method, and image pickup apparatus
WO2013088699A1 (ja) * 2011-12-16 2013-06-20 パナソニック株式会社 固体撮像装置、撮像装置
JP2014143666A (ja) * 2012-12-28 2014-08-07 Canon Inc 撮像素子、撮像装置、その制御方法、および制御プログラム
DE102013227163B4 (de) 2012-12-28 2019-12-05 Canon Kabushiki Kaisha Bildaufnahmeelement, bildaufnahmevorrichtung und verfahren und programm zum steuern von diesen
WO2015002005A1 (ja) * 2013-07-04 2015-01-08 ソニー株式会社 固体撮像装置、制御方法、及び、電子機器
JP2016184904A (ja) * 2015-03-26 2016-10-20 キヤノン株式会社 撮像装置
JP2017200056A (ja) * 2016-04-27 2017-11-02 キヤノン株式会社 撮像装置及び撮像装置の制御方法
CN112087585A (zh) * 2019-06-14 2020-12-15 三星电子株式会社 Cmos图像传感器及其中以像素为单位执行的自动曝光方法

Also Published As

Publication number Publication date
JP5074297B2 (ja) 2012-11-14
US20090295959A1 (en) 2009-12-03
US8243179B2 (en) 2012-08-14

Similar Documents

Publication Publication Date Title
JP5074297B2 (ja) 固体撮像装置およびその駆動方法、並びに電子情報機器
JP4609428B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP5264379B2 (ja) 撮像装置、撮像システム及び撮像装置の動作方法
US8786734B2 (en) Image pickup apparatus
JP2009177749A (ja) 固体撮像装置
JP6393083B2 (ja) 撮像素子及びその制御方法、及び撮像装置
JP2001111900A (ja) 固体撮像装置
JP2008124527A (ja) 固体撮像装置及び撮像装置
JP2010141848A (ja) 光電変換装置、撮像システム、及び光電変換装置の駆動方法
US8149308B2 (en) Solid-state image pickup device
WO2011083541A1 (ja) 固体撮像装置および撮像装置
JP2009218665A (ja) 固体撮像素子
JP2007180654A (ja) 撮像装置
JP5906596B2 (ja) 撮像装置
JP6028791B2 (ja) 撮像ユニット、撮像装置および制御プログラム
US20100033601A1 (en) Solid-state imaging device with a sensor core unit and method of driving the same
JP4232714B2 (ja) 読出アドレス制御方法、物理情報取得装置、および半導体装置
US7656434B2 (en) Analog front-end device and image pickup device
JP6213596B2 (ja) 撮像装置
JP2007324873A (ja) 固体撮像装置及びその駆動方法
JP5854652B2 (ja) 撮像装置
WO2023162483A1 (ja) 撮像装置及びその制御方法
JP7109998B2 (ja) 撮像装置および撮像装置の制御方法
JP2009225341A (ja) 固体撮像装置及びその駆動方法
JP2010232747A (ja) 固体撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120823

R150 Certificate of patent or registration of utility model

Ref document number: 5074297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250