JP2014220644A - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
JP2014220644A
JP2014220644A JP2013098539A JP2013098539A JP2014220644A JP 2014220644 A JP2014220644 A JP 2014220644A JP 2013098539 A JP2013098539 A JP 2013098539A JP 2013098539 A JP2013098539 A JP 2013098539A JP 2014220644 A JP2014220644 A JP 2014220644A
Authority
JP
Japan
Prior art keywords
pixel
reset
exposure time
signal
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013098539A
Other languages
English (en)
Inventor
将積 直樹
Naoki Masazumi
直樹 将積
楠田 将之
Masayuki Kusuda
将之 楠田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2013098539A priority Critical patent/JP2014220644A/ja
Publication of JP2014220644A publication Critical patent/JP2014220644A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】行順次読み出しの固体撮像装置において、1以上の画素からなる画素ブロック毎に複数種類の露光時間を設定する。
【解決手段】リセットパルス制御部210は、露光時間管理部209から出力されたパルス選択情報SPを基に、1垂直期間のPDリセット信号に含まれるN個のリセットパルスから1又は複数のリセットパルスを各画素ブロックに選択させる選択信号を生成する。画素ブロックは、リセットパルス制御部210から供給される選択信号とVスキャナ203から供給されるPDリセット信号とを用いて、画素ブロックのPDをリセットする。
【選択図】図2

Description

本発明は、1以上の画素からなるブロック毎に最適な露光時間制御を行う固体撮像装置に関するものである。
近年、感度の異なる複数のリニア特性の画素により露光された画素信号を合成することでHDR(High Dynamic Range)画像を出力する固体撮像装置が知られている。このような、固体撮像装置では、画素毎に露光時間を変えることで感度が変えられている。
特許文献1には、前フレームの撮影データから画素毎に次フレームの最適な露光時間を算出し、その情報をセンサに送信し、画素毎に最適な露光時間を設定する固体撮像素子が開示されている。
特許文献2には、撮像素子の撮像面を複数の矩形状の画素グループに分割し、画素のリセットや読み出し等の画素制御を画素グループ単位で行う固体撮像装置が開示されている。
特開2007−166238号公報 特開2012−175234号公報
しかしながら、特許文献1では、グローバルシャッター駆動が前提とされているため、特許文献1の技術をローリングシャッター駆動に適用することは困難である。
また、特許文献2では、画像信号の読み出し順序がCMOSセンサで一般的に用いられている一定時間毎に行単位で画素信号を一斉に読み出す行順次読み出しではなく、点順次読み出しであるので、カラムADC等の回路を採用することが困難である。また、特許文献2では、ローリングシャッター駆動に適用した例も開示されているが、同一行を構成する全列の画素から一斉に画素信号を読み出す完全な行順次読み出しは行われていない。
本発明の目的は、行順次読み出しでローリングシャッター駆動する固体撮像装置において、1以上の画素からなる画素ブロック毎に複数種類の露光時間を設定できる固体撮像装置を提供することである。
(1)本発明の一態様による固体撮像装置は、複数行×複数列でアレイ状に配列された複数の画素を含み、各行が1以上の画素からなる画素ブロックで構成された画素アレイと、前記画素が1フレームの画素信号を得るのに要する1垂直期間において、前記画素を構成する光電変換素子をリセットするためのリセットパルスをN(Nは2以上の整数)個含むPDリセット信号を、一定期間ずつずらして前記画素アレイの各行に出力する垂直走査部と、ある1の行に出力されるPDリセット信号に含まれるN個のリセットパルスの中から1又は複数のリセットパルスを前記1の行の各画素ブロックに個別に選択させ、前記画素ブロック毎に露光時間を制御するリセットパルス制御部と、前記画素アレイの各列に設けられた垂直信号線を介して画素信号を読み出す読出アレイとを備え、前記画素アレイは、前記PDリセット信号に基づいて、前記1の行の全列の画素の前記1垂直期間における露光時間を同時に終了させ、且つ、前記1垂直期間で露光された前記1の行の全列の画素の画素信号を同時に前記読出アレイに出力する。
この構成によれば、1垂直期間にN個のリセットパルスを含むPDリセット信号が一定期間ずつずらして画素アレイの各行に出力される。そして、ある1の行に出力されるPDリセット信号に含まれるN個のリセットパルスの中から1又は複数のリセットパルスが各画素ブロックにより個別に選択され、画素ブロック毎に露光時間が設定される。
一方、画素アレイは、PDリセット信号に基づいて、行順次で露光時間を終了させ、且つ、行順次で画素信号を読出アレイに出力する。そのため、行順次読み出しでローリングシャッター駆動を行う固体撮像装置において、画素ブロック毎に個別に露光時間を設定できる。
(2)前記リセットパルス制御部は、各行に供給する前記PDリセット信号に含まれるN個のリセットパルスが同一時刻において重ならないように、各行に供給する前記PDリセット信号をずらしてもよい。
この構成によれば、リセットパルスがずれているため、各画素ブロックに異なるリセットパルスを選択させることができ、各画素ブロックに個別に露光時間を設定できる。
(3)前記画素ブロックは、前記画素アレイを列方向に所定画素数ずつ区切ることで得られる列ブロックの1行分の画素により構成され、前記リセットパルス制御部は、前記列ブロック毎に設けられた1本の制御線を介して前記画素アレイと接続され、前記N個のリセットパルスの中から1又は複数のリセットパルスを前記1の行の各画素ブロックに個別に選択させるための選択信号を、前記制御線を介して前記1の行の各画素ブロックに出力し、各画素は、前記光電変換素子に蓄積された電荷をリセットする電荷転送ゲートを備え、各画素ブロックは、1個の制御素子を備え、前記制御素子は、前記選択信号に基づいて、同じ画素ブロックの全ての電荷転送ゲートに前記光電変換素子をリセットさせてもよい。
この構成によれば、列ブロック毎に1本の制御線が設けられ、且つ、PDリセット信号は一定期間ずつずらされているため、リセットパルス制御部は、リセットパルスを選択するための選択信号を画素ブロック毎に個別に出力することができる。一方、画素ブロック毎に設けられた制御素子は、リセットパルス制御部から出力された選択信号を受け、その選択信号に基づいて、同じ画素ブロックの電荷転送ゲートに光電変換素子をリセットさせる。これにより、選択信号に従って各画素ブロックに光電変換素子をリセットさせ、各画素ブロックに個別に露光時間を設定することができる。
(4)前記制御素子は、第1端子に前記PDリセット信号が印加され、第2端子に対応する列ブロックの制御線が接続され、第3端子に同じ画素ブロックの電荷転送ゲートが接続されていてもよい。
この構成によれば、制御素子は第2端子に入力される選択信号にしたがって、第1端子に入力されるPDリセット信号に含まれるリセットパルスを選択し、適切なタイミングで、第3端子に接続された電荷転送ゲートに、光電変換素子をリセットさせることができる。
(5)前記選択信号は、パルスを立てることでリセットパルスを選択する信号であり、
前記制御素子は、トランジスタにより構成されていてもよい。
この構成によれば、制御素子は選択信号とPDリセット信号との論理積により電荷転送ゲートを駆動させて、光電変換素子をリセットさせることができる。また、制御素子をトランジスタを用いて容易に構成できる。
(6)前記選択信号の出力タイミングにおいて前記画素アレイと前記リセットパルス制御部とを接続し、前記画素信号の読出タイミングにおいて前記画素アレイと前記読出アレイとを接続するスイッチ部を更に備え、前記垂直信号線及び前記制御線は共通化されていてもよい。
この構成によれば、垂直信号線に制御線の機能を持たせ、配線数を削減できる。
(7)ある1の画素ブロックから出力された画素信号に応じた露光時間に、前記1の画素ブロックの次フレームの露光時間を設定する露光時間設定部と、前記1の画素ブロックから出力された次フレームの画素信号を、前記露光時間設定部により設定された露光時間に応じた係数を乗じて補正する補正部を備え、前記係数は、前記露光時間が短くなるにつれて値が大きく設定されていてもよい。
この構成によれば、前フレームの画素信号から次フレームの露光時間が画素ブロック単位で設定される。そして、露光時間が短くなるにつれて大きな値を持つ係数を乗じて次フレームの画素信号が補正される。そのため、画素の飽和レベルがあたかも拡大されたような高ダイナミックレンジの画像が得られる。
(8)前記PDリセット信号において、前記1垂直期間の1パルス目の前記リセットパルスは、前記1垂直期間での最大の露光時間の露光開始タイミングと前記1の行の全列の画素の露光終了タイミングとを決定するものであり、前記リセットパルス制御部は、前記1パルス目の前記リセットパルスを前記1の行の全列の画素に選択させてもよい。
この構成によれば、1パルス目のリセットパルスを全画素ブロックに選択させて、行順次読み出しを実現できる。
(9)前記リセットパルス制御部は、前記露光時間が短い画素ブロックほど前記1垂直期間におけるパルスの順序が後のリセットパルスを選択させてもよい。
この構成によれば、順序が後のリセットパルスを画素ブロックに選択させることで、露光時間を短くできる。なお、最大の露光時間を設定する場合は、1パルス目のリセットパルスを画素ブロックに選択させればよい。
本発明によれば、行順次読み出しでローリングシャッター駆動を行う固体撮像装置において、画素ブロック毎に個別に露光時間を設定できる。
本発明の実施の形態1の固体撮像装置の全体構成を示したブロック図である。 図1に示す撮像素子の構成図である。 図2に示した撮像素子の変形例を示した図である。 画素アレイを構成するある1の画素の回路図である。 図4に示した画素構成の変形例を示す回路図である。 画素アレイ、Vスキャナ、カラムADCアレイ、及びリセットパルス制御部の接続関係を示した図である。 図6に示す接続関係を持つ固体撮像装置のタイミングチャートである。 図6に示す画素アレイの1行目の4画素に設定された露光時間を示した図である。 画素アレイの1行目から3行目と1列目から3列目までの3行×3列の画素を、それぞれ、図8Bに示す露光時間で駆動させる場合のタイミングチャートである。 図6に示す画素アレイの1行目から3行目と1列目から3列目までの3行×3列の画素のそれぞれに設定された露光時間を示す図である。 制御線のタイムシェアに関する説明図である。 リセットパルス制御部の内部構造を示した図である。 4種類の露光時間で撮像された出力画像の光電変換特性を示したグラフである。 露光時間設定部、露光時間管理部、リセットパルス制御部、及び補正部の詳細な構成を示すブロック図である。 実施の形態2において、画素アレイを構成するある1画素の回路図である。 図13に示した画素構成の変形例を示す回路図である。 画素アレイ、Vスキャナ、カラムADCアレイ、及びリセットパルス制御部の接続関係を示した図である。 実施の形態2において、画素アレイの1行目から3行目と1列目から3列目までの3行×3列の画素を、それぞれ、図8Bに示す露光時間で駆動させる場合のタイミングチャートである。 実施の形態2において、リセットパルス制御部の内部構造を示した図である。
(実施の形態1)
図1は本発明の実施の形態1の固体撮像装置の全体構成を示したブロック図である。固体撮像装置は、撮像レンズ101、撮像素子102、撮像素子制御部103、画像信号処理部104、及び全体制御部105を備えている。
撮像レンズ101は、被写体からの反射光を入射光として撮像素子102に導く。撮像素子102は、入射光を露光し、入射光に応じた画像信号を生成し、画像信号処理部104に出力する。画像信号処理部104は、画像信号に種々の画像処理を施し、出力画像106として出力する。撮像素子制御部103は、撮像素子201に、クロック信号や画素制御信号を生成するための波形データを入力し、撮像素子102を制御する。全体制御部105は、画像信号処理部104や撮像素子制御部103と種々の情報を送受し、固体撮像装置の全体を制御する。
図2は、図1に示す撮像素子102の構成図である。撮像素子102は、画素アレイ201、タイミングジェネレータ(以下、「TG」と記述する。)202、Vスキャナ203(垂直走査回路の一例)、カラムADCアレイ204(読出アレイの一例)、Hスキャナ205、センスアンプ206、及びLVDSシリアライザ211を備える。
画素アレイ201は、複数行×複数列でアレイ状に配列された複数の画素を備える。また、画素アレイ201は、各行が1以上の画素からなる画素ブロックに分けられている。具体的には、1つの画素ブロックは、画素アレイ201を列方向に所定画素数ずつ区切ることで得られる列ブロックを構成する1行の画素により構成される。
例えば、画素アレイ201が8行×8列の画素で構成されているとすると、画素アレイ201を列方向(水平方向)に2画素ずつ区切った場合、8行×2列の画素からなる4つの列ブロックが得られる。この場合、1つの列ブロックの各行は、2個の画素により構成される。したがって、画素アレイ201は、2個の画素からなる1の画素ブロックが8行4列で配列された画素ブロックから構成される。
なお、各列ブロック同士において、列方向の画素数は等しくなくてもよい。例えば、8行×8列の画素アレイ201を、列方向に、1画素、2画素、3画素、2画素ずつで区切ることで1つの列ブロックは構成されてもよい。
TG202は、クロック信号に基づいて同期信号を生成し、Vスキャナ203、カラムADCアレイ204、Hスキャナ205、及びリセットパルス制御部210のそれぞれに同期信号を出力し、これらのブロックの動作を同期させる。
Vスキャナ203は、画素アレイ201を駆動するための画素制御信号を、一定期間ずつずらして画素アレイ201の各行にサイクリックに出力し、画素アレイ201を垂直走査する。ここで、Vスキャナ203は、1行目から最終行目に向けて順次に画素アレイ201を垂直走査してもよいし、最終行目から1行目に向けて順次に画素アレイ201を垂直走査してもよい。
画素制御信号としては、PDリセット信号、FDリセット信号、及び行選択信号等が含まれる。PDリセット信号は、画素を構成する光電変換素子(以下、「PD」と記述する。)に蓄積された電荷をリセットするリセットパルスを1垂直期間にN(Nは2以上の整数)個含む信号である。ここで、1垂直期間は、ある1の画素が1フレームの画素信号を得るのに要する時間であり、露光時間及び読出期間に大きく区切られる。
FDリセット信号は、画素を構成するフローティングディフュージョン(以下、「FD」と記述する。)をリセットするための信号である。行選択信号は、画素からカラムADCアレイ204に画素信号を出力させるための信号である。
カラムADCアレイ204は、画素アレイ201の各列に設けられた垂直信号線L1を介して画素アレイ201と接続され、画素アレイ201から画素信号を読み出す。カラムADCアレイ204は、画素アレイ201の各列に対応して設けられた複数のアナログデジタルコンバーター(以下、「ADC204a」と記述する。)により構成されている。
ADC204aは、画素アレイ201から出力された画素信号を所定ビット(例えば、8ビット)のデジタル信号にAD変換する。
具体的には、ADC204aは、相関二重サンプリング回路、AD変換回路、及びサンプルホールド回路を備える。相関二重サンプリング回路は、1フレームの読出期間において、画素から出力されるノイズレベルの画素信号とノイズ+シグナルレベルの画素信号とを相関二重サンプリングしてノイズレベルを相殺してシグナルレベルの画素信号を取り出す。サンプルホールド回路は、ノイズレベルの画素信号をサンプルホールドする。AD変換回路は、シグナルレベルの画素信号を所定ビット(例えば、8ビット)のデジタルの画素信号にAD変換する。ここで、AD変換回路としては、例えば、アナログの画素信号をランプ波形と比較してAD変換するシングルスロープ型のADCが採用される。但し、これは一例であり、AD変換回路としては、シングルスロープ型以外のADC(例えばダブルスロープ型のADC)を採用してもよい。
Hスキャナ205は、カラムADCアレイ204を水平走査し、各列のADC204aが保持するデジタルの画素信号を順次に出力させる。
センスアンプ206は、カラムADCアレイ204から出力されるデジタルの画素信号の波形を成形し、露光時間設定部207及び補正部208に出力する。LVDSシリアライザ211は、補正部208により補正され、パラレルで出力された画素信号をシリアルの画素信号に変換して画像信号処理部104(図1参照)に出力する。
また、本実施の形態では、上記の構成に加えて、撮像素子102は、露光時間設定部207、補正部208、露光時間管理部209、及びリセットパルス制御部210を更に備えている。これにより、画素ブロック毎に最適な露光時間が制御され、HDR画像が得られる。
露光時間設定部207は、センスアンプ206からある1の行のある1の画素ブロック(以下、「画素ブロックB(i、j)」と記述する。)の画素信号が出力されると、その画素信号からその画素ブロックB(i、j)の次フレームの最適な露光時間を設定し、設定した露光時間を示す露光時間情報SS(i、j)を露光時間管理部209に出力する。以下、画素アレイ201のうち、画素ブロックB(i、j)を取り上げて説明するが、他の画素ブロックも画素ブロックB(i、j)と同様の処理が行われる。
露光時間管理部209は、露光時間設定部207から出力された露光時間情報SS(i、j)を記憶する。そして、露光時間管理部209は、画素ブロックB(i、j)の次フレームの露光が開始される際に、露光時間情報SS(i、j)に基づいてパルス選択情報SPを生成し、リセットパルス制御部210に出力する。
本実施の形態では、1垂直期間のPDリセット信号に含まれるN(2以上の整数)個のリセットパルスから1又は複数のリセットパルスを選択することで、露光時間が設定される。そこで、露光時間管理部209は、N個のリセットパルスの中から画素ブロックB(i、j)が選択するべきリセットパルスを決定し、決定したリセットパルスを示すパルス選択情報SPを生成して、リセットパルス制御部210に出力する。
リセットパルス制御部210は、露光時間管理部209から出力されたパルス選択情報SPを基に、選択信号を生成する。リセットパルス制御部210は、画素アレイ201の各列ブロックに対応して設けられた制御線L2を介して画素アレイ201と接続されている。選択信号は、この制御線L2を介して画素アレイ201に供給される。
画素ブロックB(i、j)は、リセットパルス制御部210から供給される選択信号とVスキャナ203から供給されるPDリセット信号とを用いて、画素ブロックB(i、j)のPDをリセットする。
補正部208は、センスアンプ206から画素ブロックB(i、j)の画素信号が出力されると、露光時間情報SS(i、j)を露光時間管理部209から読み出し、露光時間情報SS(i、j)が示す露光時間に応じた補正処理を当該画素信号に実行し、画素信号処理部104に出力する。
以上の構成により、撮像素子102は以下のように動作する。Vスキャナ203によりi行目の画素信号を読み出すために画素アレイ201のi行目が選択されると、i行目の全列の画素は、まず、ノイズレベルの画素信号を一斉にカラムADCアレイ204に出力し、次に、シグナルレベルの画素信号を一斉にカラムADCアレイ204に出力する。
次に、カラムADCアレイ204は、i行目のノイズレベルの画素信号とノイズ+シグナルレベルの画素信号とからノイズレベルを相殺してシグナルレベルの画素信号を取り出す。次に、カラムADCアレイ204は、シグナルレベルの画素信号をAD変換し、サンプルホールドする。次に、Hスキャナ205は、カラムADCアレイ204を水平走査して、i行目の各列の画素信号を順次に出力する。
カラムADCアレイ204から順次に出力された画素信号は、センスアンプ206を介して露光時間設定部207及び補正部208に入力される。補正部208は、画素信号が入力されると、その画素信号に対応する露光時間情報SSを露光時間管理部209から読み出し、露光時間情報SSが示す露光時間に応じた係数を乗じ、LVDSシリアライザ211を介して画像信号処理部104に出力する。
一方、露光時間設定部207は、順次に入力されるi行目の画素信号からi行目の画素ブロック毎に次フレームの最適な露光時間を設定し、露光時間情報SSを露光時間管理部209に記憶させる。
図3は、図2に示した撮像素子102の変形例を示した図である。図2では、撮像素子102を構成する各ブロックが同じチップ上に配置していた。図3では、各ブロックが第1チップ301及び第2チップ302に分散して配置されている。第1チップ301には、画素アレイ201、TG202、Vスキャナ203、カラムADCアレイ204、Hスキャナ205、及びセンスアンプ206が配置されている。また、第1チップ301には、更にLVDSシリアライザ311が配置されている。
第2チップ302には、露光時間設定部207、補正部208、及び露光時間管理部209が配置されている。また、第2チップ302には、LVDSデシリアライザ312及び画像信号処理部104が更に配置されている。
図3の撮像素子102を採用した場合、第1チップ301は図1に示す撮像素子102により構成され、第2チップ302は図1に示す画像信号処理部104を含むチップにより構成される。
第1チップ301では、カラムADCアレイ204でAD変換された画素信号は、センスアンプ206及びLVDSシリアライザ311を介して第2チップ302に出力される。
第2チップ302に入力された画素信号は、LVDSデシリアライザ312でパラレルの信号に変換されて露光時間設定部207に出力される。その後、図2と同様、露光時間設定部207で最適な露光時間が設定され、その露光時間を示す露光時間情報SSが露光時間管理部209に記憶される。
また、LVDSデシリアライザ312から出力された画素信号は、補正部208にも入力され、補正処理が実行され、画像信号処理部104に出力される。
また、第2チップ302に配置された露光時間管理部209は、リセットパルス制御部210に適切なタイミングでパルス選択情報を出力する。このように、図3の構成においても図2と同様の機能が達成される。
図4は、画素アレイ201を構成するある1の画素の回路図である。画素は、PD、5つのトランジスタQ1〜Q5を備える。トランジスタQ1〜Q5は、例えばnチャネル型MOSトランジスタにより構成されている。トランジスタQ1(電荷転送ゲートの一例)は、PDに蓄積された電荷をFDに転送する転送トランジスタである。トランジスタQ2は、FDをリセットするリセットトランジスタである。トランジスタQ2は、RST配線を介してFDリセット信号RSTがゲート端子に入力され、FDリセット信号RSTにしたがって、FDをリセットする。トランジスタQ3は、FDの電位に応じた画素信号を増幅する増幅トランジスタである。トランジスタQ4は、トランジスタQ3により増幅された画素信号VDを垂直信号線L1に出力する行選択トランジスタである。トランジスタQ4は、VSEL配線を介して行選択信号VSELがゲート端子に入力され、行選択信号VSELにしたがって、画素信号VDを出力する。電源VPIXは、トランジスタQ2、Q3と接続され、画素に電力を供給する電源回路である。
PD及びトランジスタQ1〜Q4は、埋め込み型のPDを用いたCMOSセンサの通常の画素構成である。本実施の形態では、この通常の画素構成にトランジスタQ5及び制御線L2が更に追加されている。
通常の画素構成では、TX配線はトランジスタQ1のゲート端子に接続されているが、本実施の形態では、TX配線はトランジスタQ5のゲート端子(第2端子の一例)に接続されている。また、トランジスタQ5のドレイン端子(第1端子の一例)には、制御線L2が接続され、ソース端子(第3端子の一例)にはトランジスタQ1のゲート端子が接続されている。
トランジスタQ5は、TX配線を介して供給されるPDリセット信号TXと、制御線L2を介して供給される選択信号HSELとの両方がHiになった時にONになり、トランジスタQ1をONする。これにより、トランジスタQ1はPDに蓄積された電荷をFDに転送し、PDをリセットする。
従来の画素構成では、TX配線が直接、トランジスタQ1に接続されていたため、同一行において、画素ブロック毎にPDのリセットタイミングを変更することができなかった。本実施の形態では、従来の画素構成に対してトランジスタQ5を更に接続することで、同一行において、画素ブロック毎にPDのリセットタイミングを変更できるようにした。
なお、1本の制御線L2は、画素アレイ201を構成する1列の画素で共用されている。つまり、図4の画素構成では、1の画素ブロックを1画素で構成し、画素単位で露光時間の調整が可能である。また、図4の画素構成では、1の画素ブロックを同一行の隣接する2画素、3画素、・・・というように任意の画素数で構成することもできる。
図5は、図4に示した画素構成の変形例を示す回路図である。図5では、同一行において左右に隣接する2つの画素で1つの画素ブロックが構成されている。そのため、図5では、これら2つの画素に対して1本の制御線L2と、1個のトランジスタQ5とが追加されている。具体的には、トランジスタQ5はドレイン端子が制御線L2に接続され、ソース端子が左右のトランジスタQ1、Q1のゲート端子に接続されている。
図5の画素構成では、PDのリセットタイミングを左右の2画素で変更することはできないが、1画素に占めるトランジスタ数及び配線数を図4の画素構成よりも少なくできる。そのため、図5の画素構成を採用すると、1画素におけるPDの面積を、図4の場合よりも大きくでき、高感度な画素特性が得られる。
図5の画素構成では、左右の2画素で制御線L2及びトランジスタQ5が共用されているため、画素ブロックを最低2画素で構成する必要があり、画素単位での露光時間の調整はできない。但し、同一行の隣接する4画素、6画素、・・というように、同一行の隣接する偶数個の画素で1の画素ブロックを構成することはできる。
また、図5の構成では、1つの行において隣接する左右の2画素で制御線L2及びトランジスタQ5を共用させたが、本実施の形態はこれに限定されない。例えば、1つの行において隣接する2つ以外のk個(k=3、4、5、・・・)の画素で制御線L2及びトランジスタQ5は共用されてもよい。この場合、1つの行において1つの画素ブロックは少なくともk個の画素で構成される必要がある。
図6は、画素アレイ201、Vスキャナ203、カラムADCアレイ204、及びリセットパルス制御部210の接続関係を示した図である。Vスキャナ203は、行毎にTX配線、RST配線、及びVSEL配線が設けられ、行単位で各画素と接続されている。例えば、1行目のTX配線であるTX(1)配線、RST(1)配線、及びVSEL(1)配線は、1行目の全列の画素P11〜P1mと接続され、2行目のTX(2)配線、RST(2)、及びVSEL(2)配線は、2行目の全列の画素P21〜P2mと接続されている。
垂直信号線L1は、同一列の画素で共有され、カラムADCアレイ204と接続されている。例えば、1列目の垂直信号線L1(1)は、1列目の全行の画素P11〜Pn1と接続され、2列目の垂直信号線L1(2)は、2列目の全行の画素P12〜Pn2と接続されている。
また、各画素には、垂直信号線L1とは別に垂直方向に制御線L2が接続されている。制御線L2も、垂直信号線L1と同様、同一列の画素で共有化され、リセットパルス制御部210に接続されている。例えば、例えば、1列目の制御線L2(1)は1列目の全行の画素P11〜Pn1と接続され、2列目の制御線L2(2)は2列目の全行の画素P12〜Pn2と接続されている。
図7Aは、図6に示す接続関係を持つ固体撮像装置のタイミングチャートである。図7Aでは、図6に示す画素アレイ201の1行目の1列目〜4列目の画素P11〜P14の露光時間を、図7Bで示すように設定した場合のタイミングチャートが示されている。
図7Bは、図6に示す画素アレイ201の1行目の4画素P11〜P14に設定された露光時間を示した図である。画素P11〜画素P14の露光時間は、それぞれ、T1〜T4に設定されている。露光時間T1は、設定しうる最大の露光時間である。露光時間T2、T3、T4は、それぞれ、T1/2、T1/4、T1/8である。
図7Aにおいて、タイミングM3からM10までが1フレームの最大の露光時間T1である。また、以下、PDリセット信号TXをTX、FDリセット信号RSTをRST、行選択信号VSELをVSEL、選択信号HSELをHSELと略して記述する。また、TX、RST、VSELの括弧内の数値は何行目であるかを示すインデックスである。また、HSELの括弧内の数値は何列目であるかを示すインデックスである。また、RST(1)が前フレームの画素信号を読み出すためにOFFしてから、次フレームの画素信号を読み出すためにOFFするまでの期間が1垂直期間(1V期間)である。
TX(1)は1V期間の間に4回(M3、M6、M7、M8)アクティブとなっている。つまり、TX(1)は1V期間に4つのリセットパルスPR1〜PR4が設けられている。以下、図7AのタイミングM1からM12までの順で固体撮像装置の動作を説明する。
M1:画素アレイ201の1行目の(N−1)フレーム目の露光期間の終了間際のタイミングを示す。
M2:(N−1)フレーム目の画素信号の読み出しが開始されている。RST(1)がLoになり、VSEL(1)がHiになり、FDの電位がノイズレベルの画素信号として垂直信号線L1を介して、カラムADCアレイ204に読み出される。読み出されたノイズレベルの画素信号は、カラムADCアレイ204のサンプルホールド回路によって、サンプルホールドされる。
M3:VSEL(1)がLo、TX(1)がHi、HSEL(1)〜HSEL(4)の全てがHiとされ、画素P11〜P14のトランジスタQ1がONし、PDの電荷がFDに転送される。
M4:TX(1)がLo、VSEL(1)がHiになり、FDの電位がノイズ+シグナルレベルの画素信号として垂直信号線L1を介して、カラムADCアレイ204に読み出される。読み出されたノイズ+シグナルレベルの画素信号は、M2で読み出されたノイズレベルの画素信号と相関二重サンプリング処理されて、ノイズ成分がキャンセルされ、シグナルレベルの画素信号が得られる。
M5:Nフレーム目の露光中のあるタイミングを示す。露光中では、RST(1)がHiにされFDが常時リセットされる。
M6:TX(1)がHi、HSEL(2)がHiになり、TX(1)配線と制御線L2(2)とが接続されている画素P12のPDのみがリセットされる。画素P12の露光時間はタイミングM6〜M10となる。
M7:TX(1)がHi、HSEL(3)がHiになり、TX(1)配線と制御線L2(3)とが接続されている画素P13のPDのみがリセットされる。画素P13の露光時間は、タイミングM7〜M10となる。
M8:TX(1)がHi、HSEL(4)がHiになり、TX(1)配線と制御線L2(4)が接続されている画素P14画素のPDのみがリセットされる。画素P14の露光時間は、タイミングM8〜M10となる。
M9:Nフレーム目のノイズレベルの画素信号が読み出される。詳細はタイミングM2と同じである。
M10:画素P11〜14のPDに蓄積された電荷が一斉にFDに転送される。詳細はタイミングM3と同じである。但し、画素毎に露光時間が異なっている。画素P11は、タイミングM3以降PDがリセットされていないので、露光時間は最大の露光時間であるT1となる。画素P12から画素P14はそれぞれ異なるタイミングでPDがリセットされているので、それぞれ露光時間が異なっている。
画素P12はタイミングM6でPDがリセットされて以降、タイミングM10までPDがリセットされていないため、露光期間がT2となる。画素P13はタイミングM7でPDがリセットされて以降、タイミングM10までPDがリセットされていないため、露光時間がT3となる。画素P14はタイミングM8でPDがリセットされて以降、タイミングM10までPDがリセットされていないため、露光時間がT4となる。
以上のように、本実施の形態では、1V期間にVスキャナ203から出力される4個のリセットパルスPR1〜PR4が、リセットパルス制御部210から出力される選択信号HSELによって画素ブロック毎に選択されるため、画素ブロック毎に露光時間を変更することができる。
また、画素信号の読み出しは通常のCMOSセンサと全く同じ行順次読み出しであるので、一般的に用いられているカラムADC等の読み出し回路をそのまま使用することができる。
図7Aでは、画素アレイ201の1行目のみを説明したが、本実施の形態では固体撮像装置を行順次読み出しでローリングシャッター駆動させる。そこで、本実施の形態の固体撮像装置は、図8Aに示すシーケンスで動作する。
図8Aは、画素アレイ201の1行目から3行目と1列目から3列目までの3行×3列の画素(画素P11〜画素P33)を、それぞれ、図8Bに示す露光時間で駆動させる場合のタイミングチャートである。以下では、画素ブロックは1つの画素で構成されている。図8Bは、図6に示す画素アレイ201の1行目から3行目と1列目から3列目までの3行×3列の画素のそれぞれに設定された露光時間を示す図である。
図8Bの例では、画素P11、P31の露光時間がT1に設定され、画素P12、P23、P32の露光時間がT2に設定され、画素P13、P22、P33の露光時間がT3に設定され、画素P21の露光時間がT4に設定されている。
RST(1)、TX(1)、VSEL(1)は、1行目の画素アレイ201にVスキャナ203から供給されている信号である。ローリングシャッター駆動するために、2行目のRST(2)、TX(2)、及びVSEL(2)は、それぞれ、1行目のRST(1)、TX(1)、及びVSEL(1)よりも1水平期間(1H期間)遅れている。また、3行目のRST(3)、TX(3)、及びVSEL(3)も、それぞれ、2行目のRST(2)、TX(2)、及びVSEL(2)よりも1H期間遅れている。ここで、1H期間は、RSTがLoとなる期間である。RSTがLoの期間は画素信号が読み出される読出期間である。また、1の行に出力されるTXは、1のリセットパルスがいずれかの行の読出期間に位置するような波形を持っている。
ローリングシャッター駆動では、ある行の読出期間において、他の行は露光中となる。つまり、図7Aで示す画素信号の読み出しが行順次で行なわれているため、1列に1本しかない制御線L2を、同じ列の画素はタイムシェアして使用する必要がある。
そこで、本実施の形態では、各行の読出期間において、リセット期間RTを設けた。そして、リセット期間RTをリセットパルスPR1〜PR4に対応する4つのスロットに区切った。そして、リセットパルスPR1〜PR4がリセット期間RTにおいて対応するスロットに位置するようにTXが生成されている。
図8Aにおいて、1行目の読出期間に設けられたリセット期間RTはRT(1)、2行目の読出期間に設けられたリセット期間RTはRT(2)、・・・というようにリセット期間RTが表されている。なお、図8Aの例では、1〜3行目までの例示であるため、4行目以降の駆動については、図示が省略されている。但し、説明の便宜上、4行目以降の読出期間があると仮定して、リセット期間RT(4)〜RT(6)を記載している。
TX(1)に注目すると、リセット期間RT(1)では、1スロット目にリセットパルスPR1が立てられ、リセット期間RT(4)では、2スロット目にリセットパルスPR2が立てられ、リセット期間RT(5)では、3スロット目にリセットパルスPR3が立てられ、リセット期間RT(6)では、4スロット目にリセットパルスPR4が立てられている。
一方、リセット期間RT(1)を縦方向に見ると、TX(2)は、4スロット目にリセットパルスPR4が立てられ、TX(3)は、3スロット目にリセットパルスPR3が立てられている。このように、リセット期間RT(1)において、TX(1)、TX(2)、TX(3)のいずれの信号においても、リセットパルスPR1〜PR4は時間的に重なっていない。この関係は、他のリセット期間RT(2)、RT(3)、・・・においても維持されている。
これらTX(1)、TX(2)、TX(3)と、HSEL(1)、HSEL(2)、HSEL(3)とは、各画素内で論理積がとられ、PDをリセットするか否かが選択される。
例えば、リセット期間RT(1)の1スロット目に着目すると、HSEL(1)〜HSEL(3)は、全てパルスが立てられ、TX(1)もリセットパルスPR1が立てられている。そのため、1行目の画素P11〜P13は、PDをリセットする。これにより、画素P11〜P13において、PDに蓄積された電荷が一斉にFDに転送され、同時に画素P11の露光時間T1が開始される。そして、リセット期間RT(1)の終了直後のVSEL(1)のHiにより、画素P11〜P13の画素信号が一斉にカラムADC204に読み出される。
リセット期間RT(2)の1スロット目に着目すると、HSEL(1)〜HSEL(3)は全てパルスが立てられ、TX(2)もリセットパルスPR1が立てられている。そのため、2行目の画素P21〜P23は、PDをリセットする。これにより、画素P21〜P23において、PDに蓄積された電荷が一斉にFDに転送される。そして、VSEL(2)のHiにより、画素P21〜P23の画素信号が一斉にカラムADC204に読み出される。
リセット期間RT(3)の1スロット目に着目すると、HSEL(1)〜HSEL(3)は全てパルスが立てられ、TX(3)もリセットパルスPR1が立てられている。そのため、3行目の画素P31〜P33は、PDをリセットする。これにより、画素P31〜P33において、PDに蓄積された電荷が一斉にFDに転送され、同時に画素P31の露光時間T1が開始される。そして、VSEL(3)のHiにより、画素P31〜P33の画素信号が一斉にカラムADC204に読み出される。
このように、画素P11の露光期間をT1に設定する場合、リセットパルス制御部210は、TX(1)のリセットパルスPR1の出力タイミングに合わせてHSEL(1)のパルスを立てることで、画素P11にリセットパルスPR1を選択させる。一方、リセットパルス制御部210は、次に到来するリセット期間RT(1)において、TX(1)のリセットパルスPR1の出力タイミングに合わせてHSEL(1)のパルスを立てている。そのため、画素P11の露光期間は、T1に設定される。
リセット期間RT(1)の4スロット目に着目すると、HSEL(1)はパルスが立てられ、TX(2)もリセットパルスPR4が立てられている。そのため、2行1列目の画素P21は、PDをリセットする。これにより、画素P21の露光時間T4が開始される。
このように、画素P21の露光期間をT4に設定する場合、リセットパルス制御部210は、TX(2)のリセットパルスPR4の出力タイミングに合わせてHSEL(1)のパルスを立てることで、画素P21にリセットパルスPR4を選択させる。一方、リセットパルス制御部210は、次に到来するリセット期間RT(2)において、TX(2)のリセットパルスPR1の出力タイミングに合わせてHSEL(1)のパルスを立てている。そのため、画素P21の露光期間は、T4に設定される。
リセット期間RT(5)の3スロット目に着目すると、HSEL(3)はパルスが立てられ、TX(1)もリセットパルスPR3が立てられている。そのため、1行3列目の画素P13は、PDをリセットする。これにより、画素P13の露光時間T3が開始される。
このように、画素P13の露光期間をT3に設定する場合、リセットパルス制御部210は、TX(1)のリセットパルスPR3の出力タイミングに合わせてHSEL(3)のパルスを立てることで、画素P13にリセットパルスPR3を選択させる。一方、リセットパルス制御部210は、次に到来するリセット期間RT(1)において、TX(1)のリセットパルスPR1の出力タイミングに合わせてHSEL(3)のパルスを立てている。そのため、画素P13の露光期間は、T3に設定される。
リセット期間RT(4)の2スロット目に着目すると、HSEL(2)はパルスが立てられ、TX(1)もリセットパルスPR2が立てられている。そのため、1行2列目の画素P12の露光時間T2が開始される。
このように、画素P12の露光期間をT2に設定する場合、リセットパルス制御部210は、TX(1)のリセットパルスPR2の出力タイミングに合わせてHSEL(2)のパルスを立てることで、画素P12にリセットパルスPR2を選択させる。一方、リセットパルス制御部210は、次に到来するリセット期間RT(1)において、TX(1)のリセットパルスPR1の出力タイミングに合わせてHSEL(2)のパルスを立てている。そのため、画素P12の露光期間は、T2に設定される。
このように、制御線L2をタイムシェアして使用しているため、ローリングシャッター駆動でありながら、画素毎に複数種類の露光時間を設定することができる。また、HSEL(1)〜HSEL(3)は、リセット期間RT(1)〜RT(3)の1スロット目でパルスが立てられ、TX(1)〜TX(3)もリセット期間RT(1)〜RT(3)の1スロット目でそれぞれリセットパルスPR1が立てられている。そのため、画素毎に異なる露光時間を設定しても、画素信号を行単位で一斉に読み出すことができる。
図9は、制御線L2のタイムシェアに関する説明図である。図9に示す1H期間は、n行目の画素信号の読出期間であるため、リセット期間RT(n)が割り当てられている。リセット期間RT(n)では、n行目の全列の画素において、PDからFDに画素信号を転送する必要があるため、TX(n)は1スロット目にリセットパルスPR1が立てられている。また、n行目とは別のn+X行目のTX(n+X)では、露光時間T2を設定するために、2スロット目にリセットパルスPR2が立てられている。同様に、n+Y行目のTX(n+Y)、n+Z行目のTX(n+Z)では、それぞれ、露光時間T3、T4を設定するために、3、4スロット目でリセットパルスPR3、PR4が立てられている。
このように、リセット期間RT(n)において、リセットパルスPR1〜PR4が重ならないようにTX(n)、TX(n+X)、TX(n+Y)、TX(n+Z)が生成されているため、画素単位で露光時間T1〜T4を設定することができる。
図10は、リセットパルス制御部210の内部構造を示した図である。図10の例では、4種類の露光時間T1〜T4をブロック毎に選択する場合を示している。
リセットパルス制御部210は、画素アレイ201の各列(又は各列ブロック)に対応して設けられた列ユニット1001を備えている。図10の例では、画素アレイ201がm列であるため、m個の列ユニット1001が設けられている。なお、画素アレイ201が列ブロックに区切られている場合は、列ブロック毎に列ユニット1001が存在する。列ユニット1001は、1つのORゲートと、リセットパルスPR1〜PR4に対応する4つのパルス選択回路1002を備える。以下、リセットパルスPR1〜PR4を区別しない場合は、リセットパルスPRと表す。
パルス選択回路1002は、ANDゲート及びメモリMを備える。メモリMは例えば1ビットのデータラッチするラッチ回路である。ANDゲートは、メモリMにラッチされた1ビットのデータとリセットパルスPRとの論理積をとってORゲートに出力する。ORゲートは、4つのANDゲートからの出力の論理和をとってHSELを生成する。
リセットパルス制御部210は、画素アレイ201の上部に配置されており、TG202から出力されたリセットパルスPR1、PR2、PR3、PR4が左側に設けられた4つの入力端子を介して入力される。図9で説明したように、リセットパルスPR1、PR2、PR3、PR4はパルス位置が重ならないように位相がずらされている。
また、リセットパルス制御部210は、露光時間管理部209から4ビットのパルス選択情報SPが右側に設けられた4つの入力端子を介して入力される。パルス選択情報SPは、1H期間が開始される際に露光時間管理部209から転送され、メモリMにラッチされる。
図8Aの例では、リセット期間RT(1)において、HSEL(1)はリセットパルスPR1、PR4の出力タイミングにパルスが立てられ、HSEL(2)はリセットパルスPR1の出力タイミングにパルスが立てられ、HSEL(3)はリセットパルスPR1、PR3の出力タイミングにパルスが立てられている。そのため、リセット期間RT(1)の開始タイミングにおいて、1列目の列ユニット1001では、1行目〜4行目のメモリMにそれぞれ、「1」、「0」、「0」、「1」がラッチされ、2列目の列ユニット1001では、1行目〜4行目のメモリMにそれぞれ、「1」、「0」、「0」、「0」がラッチされ、3列目の列ユニット1001では、1行目〜4行目のメモリMにそれぞれ、「1」、「0」、「1」、「0」がラッチされる。
また、リセット期間RT(2)において、HSEL(1)〜HSEL(3)はリセットパルスPR1の出力タイミングにのみパルスが立てられている。そのため、リセット期間RT(2)の開始タイミングにおいて、1列目の列ユニット1001では、1行目〜4行目のメモリMにそれぞれ、「1」、「0」、「0」、「0」がラッチされ、2列目の列ユニット1001では、1行目〜4行目のメモリMにそれぞれ、「1」、「0」、「0」、「0」がラッチされ、3列目の列ユニット1001では、1行目〜4行目のメモリMにはそれぞれ、「1」、「0」、「0」、「0」がラッチされる。なお、パルス選択情報SPは露光時間管理部209により露光時間情報SSに基づいて生成されるが、この生成の詳細については後述する。
このように、リセット期間RTが到来する毎に、メモリMの内容が書き換えられ、各列に応じたHSELが生成される。なお、リセットパルスPR1の出力タイミングにおいてHSEL(1)〜HSEL(3)はパルスが常に立っているため、1行目のメモリMに常に1のデータをラッチさせてもよい。
また、リセットパルスPR1〜PR4はVスキャナ203にも入力されている。Vスキャナ203は、1V期間に4つのリセットパルスPR1〜PR4を含むTXを生成し、内蔵する垂直走査回路と同期させて、1H期間ずつずらして画素アレイ201の各行に出力する。ここで、垂直走査回路は、1行目、2行目、3行目、・・・の順で1H期間ずつずらして各行の水平同期信号を出力する。
Vスキャナ203は、垂直走査回路によりi行目の水平同期信号が出力されると、その水平同期信号と同期させて、リセットパルスPR1を立て、T1/2期間経過後にリセットパルスPR2を立て、T1/4期間経過後にリセットパルスPR3を立て、T1/8期間経過後にリセットパルスPR4を立てるというようにして、TX(i)を出力する。そして、i行目の水平同期信号が出力されてから1H期間経過後に、垂直走査回路によりi+1行目の水平同期信号が出力されると、Vスキャナ203は、その水平同期信号と同期させてT(i+1)のリセットパルスPR1を立てる。これにより、TXが1H期間ずつずれて画素アレイ201の各行に出力される。
また、Vスキャナ203には、RSTの基となる信号PRST及びVSELの基となる信号PVSELも入力されている。Vスキャナ203は、垂直走査回路からi行目の水平同期信号が出力されると、その水平同期信号と同期するRST(i)を信号PRSTから生成し、i行目の画素に出力する。また、Vスキャナ203は、垂直走査回路からi行目の水平同期信号が出力されると、その水平同期信号に同期するVSEL(i)を信号PVSELから生成し、i行目の画素に出力する。これにより、RST、VSELが1H期間ずつずれて画素アレイ201の各行に出力される。
以上のような回路構成、駆動タイミングで画素ブロック毎に異なる露光時間で撮影した画素信号に適切な係数を乗じることによって、HDR画像を得ることができる。なお、上記説明では、垂直走査回路は1行目、2行目、3行目、・・・の順で各行の水平走査信号を出力するとしたが、本実施の形態はこれに限定されず、画素アレイ201の各行を任意の順番で順次に選択し、水平同期信号を出力してもよい。
図11は、4種類の露光時間T1〜T4で撮像された出力画像106の光電変換特性を示したグラフである。縦軸は出力画像の画素値を示し、横軸は画素アレイ201への入射光の照度を示している。
グラフ1101〜1104は、補正部208により補正される前の出力画像の光電変換特性を示し、それぞれ、露光時間をT1〜T4に設定した場合の光電変換特性を示す。露光時間が短くなるにつれて感度は低下する。そのため、グラフ1101→1102→1103→1104に向けて、傾きが1、1/2、1/4、1/8倍となり、感度が低下している。但し、画素アレイ201の飽和レベルは一定であり、感度が高いほど飽和レベルに直ぐに到達するため、グラフ1101→1102→1103→1104に向けて、飽和レベルに到達する照度は1、2、4、8倍に増大している。
そこで、本実施の形態では、各画素の露光時間を示す露光時間情報SSを露光時間管理部209に記憶させ、露光時間に応じた係数を画素信号に乗じる補正処理を補正部208に実行させる。これにより、グラフ1105に示すような、あたかも画素アレイ201の飽和レベルが拡大したかのような光電変換特性が得られる。
グラフ1105は、出力画像106の光電変換特性を示している。補正部208は、露光時間がT1の画素信号には係数「1」を乗じ、露光時間がT2の画素信号には係数「2」を乗じ、露光時間がT3の画素信号には係数「4」を乗じ、露光時間がT4の画素信号には係数「8」を乗じて出力画像106を得る。
これにより、グラフ1101〜1104の飽和レベルがそれぞれ1、2、4、8倍に拡大されてグラフ1105に示す1本の直線にグラフ1101〜1104の光電変換特性が合成される。その結果、出力画像106のダイナミックレンジは、露光時間がT1のダイナミックレンジの8倍になる。
図12は、露光時間設定部207、露光時間管理部209、リセットパルス制御部210、及び補正部208の詳細な構成を示すブロック図である。カラムADCアレイ204からセンスアンプ206を介して出力された画素PijのN−1フレームの画素信号VD(i、j)は、露光時間設定部207に入力される。
露光時間設定部207は、主に比較器で構成される。露光時間設定部207には、画素信号の他にも、閾値TH1、TH2が入力されている。閾値TH1は閾値TH2よりも大きい。また、露光時間設定部207には、露光時間管理部209から、画素PijのN−1フレームの露光時間情報SS(i、j)も入力されている。
露光時間設定部207は、画素信号VD(i、j)が閾値TH1より大きければ、画素PijのNフレームの露光時間をN−1フレームで設定した露光時間よりも1ステップ短くする。例えば、N−1フレームにおいて画素Pijの露光時間がT1に設定されていたとすると、Nフレームの露光時間がT2に設定される。
また、露光時間設定部207は、画素信号VD(i、j)が閾値TH2よりも小さければ、画素PijのNフレームの露光時間をN−1フレームで設定した露光時間よりも1ステップ長くする。例えば、N−1フレームにおいて画素Pijの露光時間がT2に設定されていたとすると、Nフレームの露光時間がT1に設定される。
また、露光時間設定部207は、画素信号VD(i,j)が閾値TH1以下、且つ、閾値TH2以上の場合、画素PijのNフレームの露光時間をN−1フレームで設定した露光時間と同じ値に設定する。
このようにして、露光時間設定部207で設定された各画素のNフレームの露光時間情報SSが、露光時間管理部209に記憶される。
ここで、露光時間管理部209の容量としては、画素アレイ201がVGA(640×480)であり、画素毎に4種類の露光時間を設定する場合、1画素の露光時間情報SSは2ビットで表せるため、640×480×2/8=76.8KB(キロバイト)のメモリ容量が必要となる。
また、センスアンプ206から出力されたN−1フレームの画素信号VD(i、j)は、補正部208にも入力される。補正部208は乗算器で構成されている。露光時間として、上記のT1〜T4を採用する場合、ビットシフト演算で乗算処理を行うことができる。この場合、補正部は、シフトレジスタで構成できる。
補正部208には、露光時間管理部209から画素PijのN−1フレームの露光時間情報SS(i、j)が入力される。補正部208は、この露光時間情報SS(i、j)に対応する係数をN−1フレームの画素信号VD(i、j)に乗じる。例えば、N−1フレームの露光時間情報SS(i、j)が示す露光時間がT2である場合、N−1フレームの画素信号VD(i、j)には、2が乗じられる。これにより、図11のグラフ1105で示す光電変換特性を持つ出力画像106が得られる。
なお、露光時間管理部209には、画素アレイ201の画素数分の露光時間情報SSを保持するメモリ容量しか持っていない。そのため、補正部208は、露光時間設定部207がNフレームの露光時間情報SS(i、j)を露光時間管理部209に書き込む前に、N−1フレームの画素信号VD(i、j)に対する乗算処理を終了させる。
一方、露光時間管理部209は、適切なタイミングが到来すると、Nフレームの露光時間情報SSからパルス選択情報SPを生成し、リセットパルス制御部210に出力する。
なお、画素ブロック毎に露光時間を設定する場合、露光時間設定部207は、画素ブロックを構成する全画素の画素信号の平均値を閾値TH1、TH2と比較することで、次フレームの露光時間を設定してもよいし、いずれか1つの画素信号を閾値TH1、TH2と比較することで、次フレームの露光時間を設定してもよい。
以下、パルス選択情報SPの生成処理について説明する。以下の説明では、露光時間管理部209は、各画素の露光時間が図8Bに示す露光時間である露光時間情報SSを記憶しているものとする。
まず、露光時間管理部209は、図8Aに示すリセット期間RT(1)が開始される際、露光時間がT1以外の画素の中からリセット期間RT(1)が露光開始タイミングとなっている画素を露光時間情報SSから抽出する。次に、露光時間管理部209は、抽出した画素が位置する列と露光時間とからどのHSELにどのリセットパルスPR1〜PR4を選択させるかを決定する。次に、露光時間管理部209は、決定結果にしたがって、各列のHSEL(j)に、該当するリセットパルスPRを選択させるための各列のパルス選択情報SP(j)を生成する。
図8Bの1列目に着目する。2行目に位置する画素P21は、露光時間がT4である。そのため、図8Aに示すようにリセット期間RT(1)は、画素P21の露光時間T4の終了タイミングであるリセット期間RT(2)から露光時間T4だけ前に位置しており、画素P21の露光開始タイミングに該当する。よって、画素P21が抽出される。また、画素P21は1列目に位置しており、露光時間がT4であるため、HSEL(1)はリセットパルスPR4を選択する必要がある。更に、HSEL(1)は無条件にリセットパルスPR1を選択する必要がある。そこで、露光時間管理部209は、HSEL(1)にリセットパルスPR1、PR4を選択させるために、「1、0、0、1」のパルス選択情報SP(1)を生成する。そして、露光時間管理部209は、図10の1列目の列ユニット1001の1〜4行目のメモリMに「1、0、0、1」のパルス選択情報SP(1)を書き込む。
次に、図8Bの2列目に着目する。2列目に位置する画素P12、P22、P32の露光時間はT2、T3、T2であり、図8Aに示すようにリセット期間RT(1)は、画素P12、P22、P32の露光開始タイミングに該当しない。そのため、HSEL(2)はリセットパルスPR1〜PR4を選択する必要はない。但し、HSEL(2)は、リセットパルスPR1を無条件に選択する必要がある。そこで、露光時間管理部209は、「1、0、0、0」のパルス選択情報SP(2)を生成する。そして、露光時間管理部209は、「1、0、0、0」のパルス選択情報SP(2)を図10の2列目の列ユニット1001の1〜4行目のメモリMに書き込む。
次に、図8Bの3列目に着目する。3行目に位置する画素P33は、露光時間がT3である。そのため、図8Aに示すようにリセット期間RT(1)は、画素P33の露光時間T3の終了タイミングであるリセット期間RT(3)から露光時間T3だけ前に位置しており、画素P33の露光開始タイミングに該当する。よって、画素P33が抽出される。また、画素P33は3列目に位置しており、露光時間がT3であるため、HSEL(3)は、リセットパルスPR3を選択する必要がある。また、HSEL(3)は無条件にリセットパルスPR1を選択する必要がある。そこで、露光時間管理部209は、HSEL(3)にリセットパルスPR1、PR3を選択させるために、「1、0、1、0」のパルス選択情報SP(3)を生成する。そして、露光時間管理部209は、「1、0、1、0」のパルス選択情報SP(3)を図10の3列目の列ユニット1001の1〜4行目のメモリMに書き込む。露光時間管理部209は、他のリセット期間RT(2)、RT(3)、・・・についても、上記の手法を用いて、パルス選択情報SP(j)を生成する。
(実施の形態2)
実施の形態2の固体撮像装置は、垂直信号線L1に制御線L2の機能を持たせたことを特徴とする。図13は、実施の形態2において、画素アレイ201を構成するある1画素の回路図である。
図4では、通常の画素構成に対して、制御線L2とトランジスタQ5とを追加したが、図13では、トランジスタQ5のみが追加されている。トランジスタQ5はドレイン端子が、垂直信号線L1に接続されている。
図14は図13に示した画素構成の変形例を示す回路図である。図14では、同一行において左右に隣接する2つの画素で1つの画素ブロックが構成されている。そのため、図14では、これら2つの画素に対して1個のトランジスタQ5が追加されている。具体的には、トランジスタQ5はドレイン端子が垂直信号線L1(a+1)に接続され、ソース端子が左右のトランジスタQ1、Q1のゲートに接続されている。
図14の画素構成では、PDのリセットタイミングを左右2画素で変更することはできないが、1画素に占めるトランジスタ数及び配線数を図13の画素構成よりも少なくできる。そのため、図14の画素構成を採用すると、1画素におけるPDの面積を、図13の場合より大きくでき、高感度な画素特性が得られる。
図15は、画素アレイ201、Vスキャナ203、カラムADCアレイ204、及びリセットパルス制御部210の接続関係を示した図である。図6との相違点は、制御線L2が無いことである。但し、垂直信号線L1にHSELを流すために、垂直信号線L1は、リセットパルス制御部210にも接続されている。
図16は、実施の形態2において、画素アレイ201の1行目から3行目と1列目から3列目までの3行×3列の画素(画素P11〜画素P33)を、それぞれ、図8Bに示す露光時間で駆動させる場合のタイミングチャートである。図8Aとの相違点は、制御線L2が省かれ、垂直信号線L1(1)〜L1(3)に制御線L2(1)〜L2(3)の機能が統合されている点にある。
また、図8Aとの相違点は、垂直信号線L1(1)〜L1(3)に対して、画素信号VD(1)〜VD(3)の出力期間と、HSEL(1)〜HSEL(3)の出力期間とを割り当てるための信号(P_EN、S_EN)が追加されている点にある。
実施の形態2の本質は、垂直信号線L1に実施の形態1の制御線L2の機能を持たせることにある。垂直信号線L1は、画素から、ノイズレベルの画素信号とノイズ+シグナルレベルの画素信号を読み出す期間以外は、特に仕事がなく空き期間である。実施の形態2では、その空き期間において、垂直信号線L1に制御線L2の機能を担わせる。
具体的には、画素からノイズレベルの画素信号と、ノイズ+シグナルレベルの画素信号とを読み出す時は、TG202は、P_ENをHiにする。これにより、垂直信号線L1は画素信号を読み出すための信号線として使用される。
P_ENがHiの期間、垂直信号線L1(1)、L1(2)、L1(3)は、それぞれ、Vスキャナ203により選択されている画素のノイズレベルの画素信号VD(1)、VD(2)、VD(3)と、ノイズ+シグナルレベルの画素信号VD(1)、VD(2)、VD(3)とが出力され、カラムADCアレイ204でそれぞれサンプルホールドされて相関二重サンプリングが実行される。
P_ENがLoでS_ENがHiにされている期間において、垂直信号線L1は、実施の形態1の制御線L2として使用される。これにより、垂直信号線L1には、HSELが流れ、各画素に露光時間が設定される。
図16において、S_ENがHiとなっている期間、L1(1)、L1(2)、L1(3)は、図8AのHSEL(1)、HSEL(2)、HSEL(3)と等しくなっている。
このように、実施の形態2では、垂直信号線L1の空き期間を利用して、HSELを流すことができる。そのため、各画素に追加する素子や配線をできるだけ少なくして、PDの開口率を大きくして、画素の感度をより高くすることができる。
図17は、実施の形態2において、リセットパルス制御部210の内部構造を示した図である。図17は、実施の形態2において、実施の形態1で示した図10に相当する図である。
図17ではリセットパルス制御部210の内部構成は図10と同じであるため、図示が省略されている。図10との相違点は、垂直信号線L1のそれぞれに一対のスイッチ1701、1702が追加されている点にある。スイッチ1701は、例えば、nチャネル型MOSトランジスタにより構成され、リセットパルス制御部210及び画素アレイ201間に接続されている。スイッチ1701は、ゲート端子にS_ENが印加され、S_ENがHiのとき、垂直信号線L1をリセットパルス制御部210に接続する。
スイッチ1702は、例えば、nチャネル型MOSトランジスタにより構成され、カラムADCアレイ204及び画素アレイ201間に接続されている。スイッチ1702はゲート端子にP_ENが印加され、P_ENがHiのとき、垂直信号線L1をカラムADCアレイ204に接続する。
このようにスイッチ1701、1702を設けることにより、1本の垂直信号線L1に実施の形態1で示した制御線L2の機能を持たせることができる。
(その他の実施の形態)
上記実施の形態において、トランジスタQ1〜Q5としてNチャネル型MOSトランジスタを採用したが、本発明はこれに限定されず、Pチャネル型MOSトランジスタを採用してもよい。この場合、トランジスタQ1〜Q5のゲート端子には、Loアクティブの信号を入力すればよい。
102 撮像素子
106 出力画像
201 画素アレイ
202 TG
203 Vスキャナ
204 カラムADCアレイ
205 Hスキャナ
206 センスアンプ
207 露光時間設定部
208 補正部
209 露光時間管理部
210 リセットパルス制御部

Claims (9)

  1. 複数行×複数列でアレイ状に配列された複数の画素を含み、各行が1以上の画素からなる画素ブロックで構成された画素アレイと、
    前記画素が1フレームの画素信号を得るのに要する1垂直期間において、前記画素を構成する光電変換素子をリセットするためのリセットパルスをN(Nは2以上の整数)個含むPDリセット信号を、一定期間ずつずらして前記画素アレイの各行に出力する垂直走査部と、
    ある1の行に出力されるPDリセット信号に含まれるN個のリセットパルスの中から1又は複数のリセットパルスを前記1の行の各画素ブロックに個別に選択させ、前記画素ブロック毎に露光時間を制御するリセットパルス制御部と、
    前記画素アレイの各列に設けられた垂直信号線を介して画素信号を読み出す読出アレイとを備え、
    前記画素アレイは、前記PDリセット信号に基づいて、前記1の行の全列の画素の前記1垂直期間における露光時間を同時に終了させ、且つ、前記1垂直期間で露光された前記1の行の全列の画素の画素信号を同時に前記読出アレイに出力する固体撮像装置。
  2. 前記リセットパルス制御部は、各行に供給する前記PDリセット信号に含まれるN個のリセットパルスが同一時刻において重ならないように、各行に供給する前記PDリセット信号をずらす請求項1に記載の固体撮像装置。
  3. 前記画素ブロックは、前記画素アレイを列方向に所定画素数ずつ区切ることで得られる列ブロックの1行分の画素により構成され、
    前記リセットパルス制御部は、前記列ブロック毎に設けられた1本の制御線を介して前記画素アレイと接続され、前記N個のリセットパルスの中から1又は複数のリセットパルスを前記1の行の各画素ブロックに個別に選択させるための選択信号を、前記制御線を介して前記1の行の各画素ブロックに出力し、
    各画素は、前記光電変換素子に蓄積された電荷をリセットする電荷転送ゲートを備え、
    各画素ブロックは、1個の制御素子を備え、
    前記制御素子は、前記選択信号に基づいて、同じ画素ブロックの全ての電荷転送ゲートに前記光電変換素子をリセットさせる請求項1又は2記載の固体撮像装置。
  4. 前記制御素子は、第1端子に前記PDリセット信号が印加され、第2端子に対応する列ブロックの制御線が接続され、第3端子に同じ画素ブロックの電荷転送ゲートが接続されている請求項3記載の固体撮像装置。
  5. 前記選択信号は、パルスを立てることでリセットパルスを選択する信号であり、
    前記制御素子は、トランジスタにより構成されている請求項4記載の固体撮像装置。
  6. 前記選択信号の出力タイミングにおいて前記画素アレイと前記リセットパルス制御部とを接続し、前記画素信号の読出タイミングにおいて前記画素アレイと前記読出アレイとを接続するスイッチ部を更に備え、
    前記垂直信号線及び前記制御線は共通化されている請求項3〜5のいずれかに記載の固体撮像装置。
  7. ある1の画素ブロックから出力された画素信号に応じた露光時間に、前記1の画素ブロックの次フレームの露光時間を設定する露光時間設定部と、
    前記1の画素ブロックから出力された次フレームの画素信号を、前記露光時間設定部により設定された露光時間に応じた係数を乗じて補正する補正部を備え、
    前記係数は、前記露光時間が短くなるにつれて値が大きく設定されている請求項1〜6のいずれかに記載の固体撮像装置。
  8. 前記PDリセット信号において、前記1垂直期間の1パルス目の前記リセットパルスは、前記1垂直期間での最大の露光時間の露光開始タイミングと前記1の行の全列の画素の露光終了タイミングとを決定するものであり、
    前記リセットパルス制御部は、前記1パルス目の前記リセットパルスを前記1の行の全列の画素に選択させる請求項1〜7のいずれかに記載の固体撮像装置。
  9. 前記リセットパルス制御部は、前記露光時間が短い画素ブロックほど前記1垂直期間におけるパルスの順序が後のリセットパルスを選択させる請求項8記載の固体撮像装置。
JP2013098539A 2013-05-08 2013-05-08 固体撮像装置 Pending JP2014220644A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013098539A JP2014220644A (ja) 2013-05-08 2013-05-08 固体撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013098539A JP2014220644A (ja) 2013-05-08 2013-05-08 固体撮像装置

Publications (1)

Publication Number Publication Date
JP2014220644A true JP2014220644A (ja) 2014-11-20

Family

ID=51938740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013098539A Pending JP2014220644A (ja) 2013-05-08 2013-05-08 固体撮像装置

Country Status (1)

Country Link
JP (1) JP2014220644A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375689A (zh) * 2016-09-18 2017-02-01 首都师范大学 高速灵活采样图像传感器及其采样控制方法
WO2018190150A1 (ja) * 2017-04-14 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および固体撮像装置の制御方法、並びに電子機器
JP2020031347A (ja) * 2018-08-23 2020-02-27 キヤノン株式会社 撮像装置及び撮像システム
WO2020070994A1 (ja) * 2018-10-01 2020-04-09 株式会社テックイデア イメージセンサ
JP2020080521A (ja) * 2018-11-14 2020-05-28 キヤノン株式会社 光電変換装置及び撮像システム
US10855940B2 (en) 2017-09-29 2020-12-01 Canon Kabushiki Kaisha Imaging device, imaging system, and moving body

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175234A (ja) * 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
JP2013005017A (ja) * 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175234A (ja) * 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
JP2013005017A (ja) * 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375689B (zh) * 2016-09-18 2019-08-09 首都师范大学 高速灵活采样图像传感器及其采样控制方法
CN106375689A (zh) * 2016-09-18 2017-02-01 首都师范大学 高速灵活采样图像传感器及其采样控制方法
CN110383825B (zh) * 2017-04-14 2022-06-14 索尼半导体解决方案公司 固态成像装置和固态成像装置的控制方法以及电子设备
CN110383825A (zh) * 2017-04-14 2019-10-25 索尼半导体解决方案公司 固态成像装置和固态成像装置的控制方法以及电子设备
US10917591B2 (en) 2017-04-14 2021-02-09 Sony Semiconductor Solutions Corporation Solid-state imaging device and method of controlling solid-state imaging device, and electronic device
WO2018190150A1 (ja) * 2017-04-14 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および固体撮像装置の制御方法、並びに電子機器
US10855940B2 (en) 2017-09-29 2020-12-01 Canon Kabushiki Kaisha Imaging device, imaging system, and moving body
JP2020031347A (ja) * 2018-08-23 2020-02-27 キヤノン株式会社 撮像装置及び撮像システム
JP7299680B2 (ja) 2018-08-23 2023-06-28 キヤノン株式会社 撮像装置及び撮像システム
JP7439325B2 (ja) 2018-08-23 2024-02-27 キヤノン株式会社 撮像装置及び撮像システム
WO2020070994A1 (ja) * 2018-10-01 2020-04-09 株式会社テックイデア イメージセンサ
JP2020080521A (ja) * 2018-11-14 2020-05-28 キヤノン株式会社 光電変換装置及び撮像システム
JP7242262B2 (ja) 2018-11-14 2023-03-20 キヤノン株式会社 光電変換装置及び撮像システム
US11627264B2 (en) 2018-11-14 2023-04-11 Canon Kabushiki Kaisha Photoelectric conversion device, imaging system, and movable object

Similar Documents

Publication Publication Date Title
US10038868B2 (en) Solid-state image sensing device and electronic device
US9899447B2 (en) Solid-state imaging device, method for driving the same, and imaging device
JP4723994B2 (ja) 固体撮像装置
US8451355B2 (en) Image sensor, electronic apparatus, and driving method of electronic apparatus
JP6776011B2 (ja) 撮像装置及び撮像システム
JP4609428B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US7859447B2 (en) Image processing method, semiconductor device for detecting physical quantity distribution, and electronic apparatus
TWI429283B (zh) 具有減少行固定圖案雜訊之成像感測器
JP2014220644A (ja) 固体撮像装置
JP2011097646A (ja) 固体撮像装置及びその画素平均化処理方法
JP6734649B2 (ja) 撮像装置、撮像システム、及び、撮像装置の制御方法
WO2004043061A1 (ja) エリアイメージセンサ
US10218930B2 (en) Counting circuit including a plurality of latch circuits and image sensing device with the counting circuit
JP2006191397A (ja) 固体撮像装置
US10560653B2 (en) Image sensing apparatus and control method for performing analog-to-digital conversion
JP2007243731A (ja) シフトレジスタ、固体撮像素子及び制御方法
JP6111860B2 (ja) 固体撮像装置
JP5210833B2 (ja) 固体撮像装置
JP2013157881A (ja) 撮像装置、その制御方法、および制御プログラム
JP2011142592A (ja) 固体撮像素子および固体撮像素子の駆動方法
JP2007060137A (ja) 固体撮像装置
JP2016092594A (ja) 撮像装置及び固体撮像素子の駆動方法
JP2007060136A (ja) 固体撮像装置
JP2010252067A (ja) 固体撮像素子、カメラシステム、および信号読出し方法
JP2011166511A (ja) 撮像素子及び撮像装置及び駆動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170912