JP2023042891A - 光電変換装置及びその駆動方法 - Google Patents

光電変換装置及びその駆動方法 Download PDF

Info

Publication number
JP2023042891A
JP2023042891A JP2021150295A JP2021150295A JP2023042891A JP 2023042891 A JP2023042891 A JP 2023042891A JP 2021150295 A JP2021150295 A JP 2021150295A JP 2021150295 A JP2021150295 A JP 2021150295A JP 2023042891 A JP2023042891 A JP 2023042891A
Authority
JP
Japan
Prior art keywords
conversion
photoelectric conversion
signal
pixel
conversion device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021150295A
Other languages
English (en)
Inventor
大祐 小林
Daisuke Kobayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021150295A priority Critical patent/JP2023042891A/ja
Priority to US17/818,476 priority patent/US20230079653A1/en
Priority to CN202211120621.4A priority patent/CN115835040A/zh
Publication of JP2023042891A publication Critical patent/JP2023042891A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Abstract

【課題】光電変換装置の性能を向上するための技術を提供する。【解決手段】光電変換装置は、光電変換部を有する画素と、画素において生成されるアナログ信号に対してAD変換を行うAD変換部と、AD変換部を制御する制御部と、を有する。制御部は、AD変換部を制御して、画素において生成される同一のアナログ信号に対して複数回のAD変換を行うように構成されており、複数回のAD変換のうちの第1AD変換期間の長さと第2AD変換期間の長さとが異なっている。【選択図】図10

Description

本発明は、光電変換装置及びその駆動方法に関する。
固体撮像装置などの光電変換装置では、S/N比の向上のため、ノイズレベルの低減、ダイナミックレンジの拡大、加えて高速な読み出しが求められる。このような要求に対し、特許文献1には、撮像素子からの出力信号を異なる増幅率で増幅する複数の増幅器を設け、被写体の明るさに応じて複数の増幅器の信号出力を選択/合成してダイナミックレンジ拡大を図るための技術が開示されている。また、特許文献2には、増幅器の出力信号をアナログ-デジタル変換する期間を、増幅器の増幅率に応じて変更することで高速化を図る技術が開示されている。
特開2015-128253号公報 特開2016-054424号公報
しかしながら、特許文献1に記載の技術では、複数の出力信号を合成して画像を得る場合に、複数の増幅器を含む信号処理回路間の特性ばらつきによる出力信号間のオフセットやゲイン誤差に起因して画質が劣化することがあった。この対策としては、同一の信号処理回路により異なる増幅率で順次信号処理する構成が検討され得るが、読み出し時間が増加するため読み出しの高速化に適しているとは言えなかった。また、特許文献2に記載の技術は、増幅器の出力振幅が小さいときにアナログ-デジタル変換を高速化できる構成ではあるが、S/N比やダイナミックレンジという観点からの検討は十分ではなかった。
本発明の目的は、光電変換装置の性能を向上するうえで有利な技術を提供することにある。
本明細書の一開示によれば、光電変換部を有する画素と、前記画素において生成されるアナログ信号に対してAD変換を行うAD変換部と、前記AD変換部を制御する制御部と、を有し、前記制御部は、前記AD変換部を制御して、前記画素において生成される同一のアナログ信号に対して複数回のAD変換を行うように構成されており、前記複数回のAD変換のうちの第1AD変換期間の長さと、前記複数回のAD変換のうちの第2AD変換期間の長さとが異なっている光電変換装置が提供される。
また、本明細書の他の一開示によれば、光電変換部を有する画素と、前記画素において生成されるアナログ信号に対してAD変換を行うAD変換部と、を有する光電変換装置の駆動方法であって、前記画素において生成される同一のアナログ信号に対して、AD変換期間の長さの異なる複数回のAD変換を行い、前記複数回のAD変換に対応する複数のデジタル信号を取得し、前記複数のデジタル信号を合成して画像信号を生成する光電変換装置の駆動方法が提供される。
本発明によれば、S/N比を向上しつつ読み出しを高速化した光電変換装置を実現することができる。
本発明の第1実施形態による光電変換装置の構成例を示す概略図である。 本発明の第1実施形態による光電変換装置における画素の構成例を示す等価回路図である。 本発明の第1実施形態による光電変換装置における増幅器の構成例を示す等価回路図である。 光電変換装置の駆動方法を示すタイミング図(その1)である。 光電変換装置の駆動方法を示すタイミング図(その2)である。 デジタル信号処理部におけるデジタル信号処理の一例を示すグラフ(その1)である。 デジタル信号処理部におけるデジタル信号処理の一例を示すグラフ(その2)である。 デジタル信号処理部におけるデジタル信号処理の一例を示すグラフ(その3)である。 入射光量と画素出力信号及び光ショットノイズとの関係を示すグラフである。 本発明の第1実施形態による光電変換装置の駆動方法を示すタイミング図(その1)である。 本発明の第1実施形態による光電変換装置の駆動方法におけるデジタル信号処理の一例を示すグラフ(その1)である。 本発明の第1実施形態による光電変換装置の駆動方法におけるデジタル信号処理の一例を示すグラフ(その2)である。 本発明の第1実施形態による光電変換装置の駆動方法におけるデジタル信号処理の一例を示すグラフ(その3)である。 本発明の第1実施形態による光電変換装置の駆動方法を示すタイミング図(その2)である。 本発明の第2実施形態による光電変換装置の駆動方法を示すタイミング図である。 本発明の第3実施形態による光電変換装置の駆動方法を示すタイミング図である。 本発明の第3実施形態による光電変換装置の駆動方法におけるデジタル信号処理の一例を示すグラフ(その1)である。 本発明の第3実施形態による光電変換装置の駆動方法におけるデジタル信号処理の一例を示すグラフ(その2)である。 本発明の第4実施形態による光電変換装置の駆動方法を示すタイミング図である。 本発明の第4実施形態による光電変換装置の駆動方法におけるデジタル信号処理の一例を示すグラフ(その1)である。 本発明の第4実施形態による光電変換装置の駆動方法におけるデジタル信号処理の一例を示すグラフ(その2)である。 本発明の第5実施形態による光電変換装置における信号処理内容を説明する図である。 本発明の第5実施形態による光電変換装置の駆動方法を示すタイミング図である。 本発明の第6実施形態による光電変換装置の駆動方法を示すタイミング図である。 本発明の第6実施形態による光電変換装置の駆動方法を示すタイミング図である。 本発明の第6実施形態による光電変換装置における信号処理内容を説明する図である。 本発明の第7実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第8実施形態による撮像システム及び移動体の構成例を示す図である。 本発明の第9実施形態による機器の概略構成を示すブロック図である。
[第1実施形態]
本発明の第1実施形態による光電変換装置の構造について、図1乃至図3を用いて説明する。図1は、本実施形態による光電変換装置の構成例を示す概略図である。図2は、本実施形態による光電変換装置における画素の構成例を示す等価回路図である。図3は、本実施形態による光電変換装置における増幅器の構成例を示す等価回路図である。
本実施形態による光電変換装置100は、図1に示すように、画素部10と、画素駆動部20と、増幅部30と、比較部40と、メモリ部50と、水平走査部60と、デジタル信号処理部70と、出力部80と、タイミング生成部90と、を有する。また、光電変換装置100は、参照信号生成部46と、カウンタ部54と、を更に有する。
画素部10には、複数の行及び複数の列に渡って行列状に配された複数の画素12が設けられている。各々の画素12は、フォトダイオード等の光電変換素子からなる光電変換部を含み、入射光の光量に応じた画素信号を出力する。各々の画素12は、所定の分光感度特性を有するカラーフィルタを備え得る。画素部10に配される画素アレイの行数及び列数は、特に限定されるものではない。また、画素部10には、入射光の光量に応じた画素信号を出力する有効画素のほか、光電変換部が遮光されたオプティカルブラック画素や、信号を出力しないダミー画素などが配置されていてもよい。
画素部10の各行には、第1の方向(図1において横方向)に延在して、画素駆動信号線14が配されている。各行の画素駆動信号線14は、第1の方向に並ぶ画素12にそれぞれ接続され、これら画素12に共通の信号線をなしている。画素駆動信号線14の延在する第1の方向は、行方向或いは水平方向と呼ぶことがある。画素駆動信号線14は、画素駆動部20に接続されている。
画素部10の各列には、第1の方向と交差する第2の方向(図1において縦方向)に延在して、画素出力線16が配されている。各列の画素出力線16は、第2の方向に並ぶ画素12に接続され、これら画素12に共通の信号線をなしている。画素出力線16の延在する第2の方向は、列方向或いは垂直方向と呼ぶことがある。複数の画素出力線16の各々には電流源18が接続されている。また、複数の画素出力線16は、増幅部30に接続されている。
画素駆動部20は、タイミング生成部90から供給される制御信号を受け、画素12を駆動するための制御信号を生成し、画素駆動信号線14を介して画素12に供給する機能を備える制御回路部である。画素駆動部20には、シフトレジスタやアドレスデコーダといった論理回路が用いられ得る。画素駆動部20は、各行の画素駆動信号線14に順次制御信号を供給し、画素部10の画素12を行単位で順次駆動するように構成され得る。行単位で画素12から読み出された信号は、画素部10の各列に設けられた画素出力線16を介して増幅部30に入力される。
増幅部30は、画素部10の各列に対応して設けられた複数の増幅器32を有する。複数の増幅器32の各々は、対応する列の画素出力線16に接続された入力ノードと、出力ノードと、を有する。複数の増幅器32の各々の出力ノードは、画素部10の各列に対応して設けられた複数の増幅信号出力線36のうちの対応する列の増幅信号出力線36に接続されている。複数の増幅信号出力線36は、比較部40に接続されている。
参照信号生成部46は、タイミング生成部90から供給される制御信号を受け、アナログ-デジタル変換(AD変換)に使用する参照信号を生成し、生成した参照信号を参照信号出力線48を介して比較部40に出力する回路部である。参照信号は、時間の経過とともに信号レベルが変化する信号であり、例えばランプ信号である。ランプ信号とは、時間の経過とともに信号レベルが所定値から一定の変化率で徐々に変化(増加又は減少)する信号である。なお、以下の説明では、参照信号(ランプ信号)の時間に対する変化率を参照信号(ランプ信号)の傾きと表現することがある。参照信号は、AD変換に適用し得る所定の振幅を有する信号であればよく、必ずしもランプ信号に限定されるものではない。
比較部40は、画素部10の各列に対応して設けられた複数のバッファ回路42及び複数の比較器44を有する。複数の比較器44の各々は、対応する列の増幅信号出力線36に接続された第1の入力ノードと、対応する列のバッファ回路42を介して参照信号出力線48に接続された第2の入力ノードと、出力ノードと、を有する。比較器44の出力ノードは、メモリ部50に接続されている。
カウンタ部54は、タイミング生成部90から供給される制御信号を受け、一定の周波数でカウント値が遷移するカウント信号を生成し、カウント信号線56を介して生成したカウント信号をメモリ部50に出力する回路部である。カウント信号は複数ビットから構成される信号であり、カウント信号線56はカウント信号のビット数に応じた複数の信号線を含む。
メモリ部50は、画素部10の各列に対応して設けられた複数のメモリ52を有する。複数のメモリ52の各々は、複数ビットから構成されるメモリである。複数のメモリ52の各々は、対応する列の比較器44の出力ノードに接続された第1の入力ノードと、カウント信号線56に接続された第2の入力ノードと、水平走査部60に接続された第3の入力ノードと、水平転送線58に接続された出力ノードと、を有する。メモリ52は、増幅器32の出力信号のレベルと参照信号のレベルとの大小関係が逆転したことを示すラッチ信号が比較器44から出力されたタイミングにおいて受信しているカウント信号で示されるカウント値を保持するように構成されている。このようにしてメモリ52に保持されるカウント値が、画素信号のデジタルデータとなる。
水平走査部60は、タイミング生成部90から供給される制御信号を受け、メモリ部50から画素信号のデジタルデータを読み出すための制御信号を生成し、メモリ部50に供給する機能を備える制御回路部である。画素部10の各列に対応して設けられた水平走査部60の制御線は、対応する列のメモリ52に接続されている。水平転送線58は、デジタル信号処理部70に接続されている。
デジタル信号処理部70は、メモリ部50から転送されたデジタルデータに対して、データ間の加減算、デジタルゲイン、オフセット加減算、デコード、データのスクランブル処理などのデジタル信号処理を行う機能を備える。デジタル信号処理部70は、出力部80に接続されている。
出力部80は、デジタル信号処理部70において処理されたデータを光電変換装置100の外部に出力するための機能を備える。例えば、出力部80は、バッファ回路のように単一の端子から電圧出力を行う方式の出力手段や、差動の2端子を持つLVDS(Low Voltage Differential Signaling)方式の出力手段を備え得る。また、出力部80は、パラレル/シリアル変換(P/S変換)の機能を備えていてもよい。
タイミング生成部90は、画素駆動部20、増幅部30、比較部40、参照信号生成部46、メモリ部50、カウンタ部54、水平走査部60及び出力部80に、それらの動作やそのタイミングを制御する制御信号を供給するための回路である。すなわち、タイミング生成部90は、画素駆動部20、増幅部30、比較部40、参照信号生成部46、メモリ部50、カウンタ部54、水平走査部60及び出力部80を制御する制御部としての役割を有する。これら制御信号の少なくとも一部は、光電変換装置100の外部から供給するようにしてもよい。
次に、本実施形態による光電変換装置100の動作の概略について、図1を用いて説明する。
画素駆動部20は、タイミング生成部90による制御のもと、画素駆動信号線14を介して供給する制御信号により、画素部10を構成する複数の画素12を行単位で駆動する動作、いわゆる垂直走査を実行する。これにより、各列の画素出力線16に、複数の画素12の画素信号が行単位で順次出力される。画素12から出力される画素信号には、光電変換部への入射光量に応じた信号量に対応する信号(光信号、光電変換信号)と、雑音量に対応する信号(基準信号、リセット信号)と、が含まれ得る。画素12から画素出力線16に出力された画素信号は、増幅部30に入力される。
画素12から画素出力線16を介して出力される画素信号は、対応する列の増幅器32において所定の増幅率で増幅された後、対応する列の比較器44に入力される。比較器44は、画素信号の信号レベルと参照信号生成部46からバッファ回路42を介して入力される参照信号の信号レベルとを比較し、画素信号の信号レベルとランプ信号の信号レベルとの大小関係が逆転したタイミングでラッチ信号を出力する。メモリ52には、カウンタ部54から供給されるカウント信号と、比較器44の出力信号とが入力される。メモリ52は、比較器44からラッチ信号を受信したタイミングにおいてカウント信号が示しているカウント値を、画素信号のデジタルデータとして記憶する。このようにして、画素12から出力されたアナログ信号である画素信号を、デジタルデータ(デジタル画素信号)に変換する。比較部40、参照信号生成部46、メモリ部50及びカウンタ部54は、画素12から出力されたアナログ信号である画素信号をデジタル信号に変換するAD変換部を構成している。
水平走査部60は、タイミング生成部90による制御のもと、メモリ部50のメモリ52に、列ごとに順次、制御信号を出力する。水平走査部60から制御信号を受信したメモリ52は、保持するデジタル画素信号を水平転送線58に出力する。
水平転送線58に出力されたデジタル画素信号は、デジタル信号処理部70において所定のデジタル信号処理が施された後、出力部80を介して光電変換装置100の外部へと出力される。
次に、本実施形態の光電変換装置100における画素12の構成例について、図2を用いて説明する。
画素12の各々は、例えば図2に示すように、光電変換素子PDと、転送トランジスタM1と、リセットトランジスタM2と、増幅トランジスタM3と、選択トランジスタM4と、により構成され得る。各々の画素12は、入射光が光電変換素子PDに導かれるまでの光路上に配されたマイクロレンズ及びカラーフィルタを有していてもよい。マイクロレンズは、入射光を光電変換素子PDに集光する役割を有する。カラーフィルタは、所定の色の光を選択的に透過する役割を有する。
光電変換素子PDは、例えばフォトダイオードであり、アノードが基準電圧線GNDに接続され、カソードが転送トランジスタM1のソースに接続されている。転送トランジスタM1のドレインは、リセットトランジスタM2のソース及び増幅トランジスタM3のゲートに接続されている。転送トランジスタM1のドレイン、リセットトランジスタM2のソース及び増幅トランジスタM3のゲートが接続されるノードは、いわゆる浮遊拡散(フローティングディフュージョン)部FDである。浮遊拡散部FDは、容量成分(浮遊拡散容量)を含み、電荷保持部としての機能を備える。浮遊拡散容量には、pn接合容量や配線容量などが含まれ得る。リセットトランジスタM2のドレイン及び増幅トランジスタM3のドレインは、電源電圧線VDD(電圧VDD)に接続されている。増幅トランジスタM3のソースは、選択トランジスタM4のドレインに接続されている。選択トランジスタM4のソースは、画素出力線16に接続されている。
図2の画素構成の場合、各行の画素駆動信号線14は、転送トランジスタM1のゲートに接続された信号線と、リセットトランジスタM2のゲートに接続された信号線と、選択トランジスタM4のゲートに接続された信号線と、を含む。転送トランジスタM1のゲートには、画素駆動部20からこの信号線を介して制御信号PTXが供給される。リセットトランジスタM2のゲートには、画素駆動部20からこの信号線を介して制御信号PRESが供給される。選択トランジスタM4のゲートには、画素駆動部20からこの信号線を介して制御信号PSELが供給される。各トランジスタがN型MOSトランジスタで構成される場合、画素駆動部20からハイレベルの制御信号が供給されると対応するトランジスタがオンとなる。また、画素駆動部20からローレベルの制御信号が供給されると対応するトランジスタがオフとなる。
なお、本実施形態では、光入射によって光電変換素子PDで生成される電子正孔対のうち、電子を信号電荷として用いる場合を想定して説明を行う。信号電荷として電子を用いる場合、画素12を構成する各トランジスタは、N型MOSトランジスタによって構成され得る。ただし、信号電荷は電子に限られるものではなく、正孔を信号電荷として用いてもよい。信号電荷として正孔を用いる場合、各トランジスタの導電型は、本実施形態で説明するものとは逆導電型となる。また、MOSトランジスタのソース及びドレインの呼称はトランジスタの導電型や着目する機能によって異なることがある。本実施形態において使用するソース及びドレインの名称の一部又は全部は、逆の名称で呼ばれることもある。
光電変換素子PDは、入射光をその光量に応じた量の電荷に変換(光電変換)し、生成した電荷を蓄積する。転送トランジスタM1は、オンになることにより光電変換素子PDが保持する電荷を浮遊拡散部FDに転送する。光電変換素子PDから転送された電荷は、浮遊拡散部FDの容量(浮遊拡散容量)に保持される。その結果、浮遊拡散部FDは、浮遊拡散容量による電荷電圧変換によって、光電変換素子PDから転送された電荷の量に応じた電位となる。
選択トランジスタM4は、オンになることにより増幅トランジスタM3のソースを画素出力線16に接続する。増幅トランジスタM3は、ドレインに電圧VDDが供給され、ソースに選択トランジスタM4を介して電流源18からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部(ソースフォロワ回路)を構成する。これにより増幅トランジスタM3は、浮遊拡散部FDの電位に基づく信号を、選択トランジスタM4を介して画素出力線16に出力する。この意味で、増幅トランジスタM3及び選択トランジスタM4は、浮遊拡散部FDに保持された電荷の量に応じた画素信号を出力する出力部である。
リセットトランジスタM2は、電荷保持部としての浮遊拡散部FDをリセットするための電圧(電圧VDD)の浮遊拡散部FDへの供給を制御する機能を備える。リセットトランジスタM2は、オンになることにより浮遊拡散部FDを電圧VDDに応じた電位にリセットする。
次に、本実施形態の光電変換装置100における増幅器32の構成例について、図3を用いて説明する。
増幅器32の各々は、例えば図3に示すように、増幅回路34と、入力容量C0と、帰還容量C1,C2,C3と、スイッチS0,S1,S2,S3と、により構成され得る。増幅回路34は、例えば差動増幅回路であり得る。増幅回路34の入力ノードは、入力容量C0を介して画素出力線16に接続されている。増幅回路34の出力ノードは、増幅信号出力線36に接続されている。増幅回路34の入力ノードと出力ノードとの間には、スイッチS0と、帰還容量C1とスイッチS1との直列接続体と、帰還容量C2とスイッチS2との直列接続体と、帰還容量C3とスイッチS3との直列接続体と、が並列に接続されている。
増幅回路34が反転増幅回路である場合、増幅器32の電圧増幅率は、-(入力容量(C0)/帰還容量(C1~C3))として表される。スイッチS1~S3によって帰還容量C1~C3のいずれを選択するかを切り替え、帰還容量C1~C3と入力容量C0との分圧比で決まる帰還係数を変えることで、増幅器32の電圧増幅率を切り替えることができる。すなわち、増幅器32は、電圧増幅率を変更可能に構成された増幅部である。スイッチS0,S1,S2,S3の制御信号は、タイミング生成部90から供給される。
次に、本実施形態による光電変換装置の標準的な駆動例について、図4を用いて説明する。図4は、本実施形態による光電変換装置の駆動方法を示すタイミング図である。図4には、増幅器32の電圧増幅率、制御信号PRES,PTX,PSEL、スイッチS0,S1,S2,S3の制御信号、増幅器32の出力信号、ランプ信号、比較器44の出力信号及びカウント信号の時間的変化を示している。スイッチS0,S1,S2,S3は、対応する制御信号がハイレベルのときにオンになり、対応する制御信号がローレベルのときにオフになるものとする。
読み出し動作に先立ち、設定された時間(露光期間)の間、光電変換素子PDの露光が行われる。光電変換素子PDには、露光期間の間に入射した光の量に応じた電荷が蓄積される。この間、制御信号PRESはハイレベルでありリセットトランジスタM2はオンになっており、増幅トランジスタM3のゲート及び浮遊拡散部FDはリセット状態である。また、スイッチS0~S3はオンであり、増幅回路34は電圧フォロワ状態となっており、増幅信号出力線36は電位V0になっている。このとき、帰還容量C1~C3の各々の両端子は短絡されており、これらの端子も電位V0になっている。
まず、スイッチS2,S3の制御信号をハイレベルからローレベルに遷移し、スイッチS2,S3をオフにすることで、帰還容量C2,C3を増幅回路34の帰還経路から切り離す。
次いで、スイッチS0の制御信号をハイレベルからローレベルに遷移し、スイッチS0をオフにすることで、増幅回路34のリセット状態を解除する。また、制御信号PRESをハイレベルからローレベルに遷移してリセットトランジスタM2をオフにすることで、増幅トランジスタM3のゲート及び浮遊拡散部FDのリセット状態を解除する。浮遊拡散部FDには、リセット状態を解除したことに対応する電位が保持される。このとき、制御信号PSELはハイレベルであり選択トランジスタM4はオンになっており、増幅トランジスタM3と電流源18によって構成されるソースフォロワ回路により、浮遊拡散部FDのリセット電位に応じた電位の信号が画素出力線16に出力される。
次いで、制御信号PTXを所定の期間、ハイレベルに遷移し、転送トランジスタM1をオンにすることで、光電変換素子PDに蓄積されている電荷を浮遊拡散部FDに転送する。ここで、浮遊拡散部FDに転送された電荷の量の絶対値をQ、浮遊拡散部FDの容量をCFDとすると、浮遊拡散部FDに接続された増幅トランジスタM3のゲート電位はQ/CFDだけ低下する。また、増幅トランジスタM3のゲート電位の変化に対応して、画素出力線16の電位も変化する。ソースフォロワ回路のゲインをGsfとすると、光電変換素子PDから浮遊拡散部FDに電荷を転送することによる画素出力線16の電位V1の電位変化量(振幅)ΔV1は、以下の式(1)のように表される。
ΔV1=-Q×Gsf/CFD …(1)
この電位変化量ΔV1は、増幅回路34、入力容量C0、帰還容量C1によって構成される増幅器32によって電圧増幅される。このとき、増幅器32の出力電位の電位変化量(振幅)ΔV2は、以下の式(2)のように表される。なお、増幅器32の出力電位V2は、以下の式(3)のように表される。このときに増幅器32に設定されている電圧増幅率C0/C1を、Gain1と呼ぶものとする。
ΔV2=Q×(Gsf/CFD)×(C0/C1) …(2)
V2=V0+Q×(Gsf/CFD)×(C0/C1) …(3)
以下の説明では、制御信号PRES及びスイッチS0の制御信号がハイレベルからローレベルに遷移してから制御信号PTXがハイレベルになるまでの期間を、画素ノイズレベル読み出し期間と呼ぶものとする。また、制御信号PTXがハイレベルになった後の期間を、画素信号レベル読み出し期間と呼ぶものとする。また、比較部40において画素信号と参照信号との比較動作が行われる期間を比較期間又はAD変換期間と呼ぶものとする。また、画素ノイズレベル読み出し期間中のAD変換期間をNAD期間TN1と呼ぶものとする。また、画素信号レベル読み出し期間中のAD変換期間をSAD期間TS1と呼ぶものとする。また、NAD期間の開始からSAD期間の終了までの期間を、1画素のAD変換期間T1と呼ぶものとする。
比較器44は、増幅器32の出力信号の電位レベルと参照信号の電位レベルとを比較する比較動作を行う。比較器44は、増幅器32の出力信号の電位レベルと参照信号の電位レベルとの大小関係が逆転したタイミングで、比較結果を示すパルス信号(ラッチ信号)を出力する。
カウンタ部54は、参照信号生成部46が参照信号の電位レベルの変化の開始に対応して、クロック信号(クロックパルス)のカウントを開始する。このとき、参照信号の電位レベルの変化の開始と、カウンタ部54のカウントの開始は完全に一致するタイミングでなくてよい。例えば、参照信号の電位レベルの変化が開始してから、所定期間の経過後にカウンタ部54のカウントが開始するようにしてもよい。メモリ52は、NAD期間TN1中に比較器44からラッチ信号を受信すると、そのときにカウント信号線56から供給されているカウント信号のカウント値aを保持する。同様に、メモリ52は、SAD期間TS1中に比較器44からラッチ信号を受信すると、そのときにカウント信号線56から供給されているカウント信号のカウント値bを保持する。このようにしてメモリ52に保持されるカウント値a,bが、画素信号のAD変換値(デジタルデータ)である。なお、メモリ52は、画素ノイズレベル読み出し及び画素信号レベル読み出しの各々に対応する複数のメモリを有する構成であるものとする。
メモリ52に保持されたカウント値は、水平走査部60からの制御信号に応じてデジタル信号処理部70へと転送され、デジタル信号処理部70におけるデジタル信号処理後、出力部80を介して外部へと出力される。デジタル信号処理部70におけるデジタル信号処理の例として、AD変換値bからAD変換値aを減算する処理がある。この減算処理を行うことにより、画素12のリセットノイズや、画素12を含み、複数の増幅器32や複数の比較器44で生じるオフセット差、固定のパターンノイズを除去し、画質の向上を図ることができる。
次に、本実施形態による光電変換装置の別の駆動例について、図5を用いて説明する。図5は、本実施形態による光電変換装置の駆動方法を示すタイミング図である。図5には、増幅器32における電圧増幅率、制御信号PRES,PTX,PSEL、スイッチS0,S1,S2,S3の制御信号、増幅器32の出力信号、ランプ信号、比較器44の出力信号及びカウント信号の時間的変化を示している。スイッチS0,S1,S2,S3は、対応する制御信号がハイレベルのときにオンになり、対応する制御信号がローレベルのときにオフになるものとする。
図5の駆動例は、ダイナミックレンジの拡大を図るための標準的な駆動例である。すなわち、図5の駆動例は、異なる電圧増幅率で増幅することにより得られた信号を用いてダイナミックレンジを拡大した画像を生成する場合に適用され得るものである。具体的には、画素信号を電圧増幅率Gain1及び電圧増幅率Gain2の2種類の増幅率で増幅し、これらをAD変換するものである。
まず、図4の駆動例と同様にしてSAD期間TS1までの処理を実行し、AD変換値a及びAD変換値bを取得する。このときの電圧増幅率はGain1である。
次いで、スイッチS2,S3の制御信号をローレベルからハイレベルに遷移し、スイッチS2,S3をオンにする。これにより、増幅回路34の帰還容量が(C1+C2+C3)となり、増幅器32の電圧増幅率はC0/(C1+C2+C3)となる。このときの電圧増幅率がGain2である。また、このときの増幅器32の出力電位V3は、以下の式(4)のように表される。
V3=V0+Q×(Gsf/CFD)×(C0/(C1+C2+C3))…(4)
比較部40及びメモリ部50は、SAD期間TS1と同様にして、電圧増幅率Gain2で増幅された画素信号をAD変換し、取得したAD変換値をメモリ52に保持する。この期間を、SAD期間TS2と呼ぶものとする。メモリ52には、AD変換値としてカウント値cが保持されるものとする。
次いで、制御信号PRESを所定の期間、ハイレベルに遷移してリセットトランジスタM2をオンにし、浮遊拡散部FDをリセットする。また、スイッチS0の制御信号を所定の期間、ハイレベルに遷移してスイッチS0をオンにし、増幅器32をリセットする。これにより、画素出力線16には画素ノイズレベルの画素信号が出力され、増幅信号出力線36にはこの画素信号を電圧増幅率Gain2で増幅した信号が出力される。
比較部40及びメモリ部50は、NAD期間TN1と同様にして、電圧増幅率Gain2で増幅された画素ノイズレベルの画素信号をAD変換し、取得したAD変換値をメモリ52に保持する。この期間を、NAD期間TN2と呼ぶものとする。メモリ52には、AD変換値としてカウント値dが保持されるものとする。
なお、NAD期間TN2に得られるAD変換値には、リセットトランジスタM2やスイッチS0のオフ時のノイズが含まれるが、このノイズはNAD期間TN1に得られるAD変換値に含まれるノイズと一致しないことがある。NAD期間TN2に得られるデータは、デジタル信号処理部70におけるデジタル信号処理において、オフセットや固定のパターンノイズなどの除去に対し有効である場合がある。
また、本駆動例において、メモリ52の各々は、NAD期間TN1,TN2及びSAD期間TS1,TS2の各々に対応する複数のメモリを有する構成であり得る。或いは、AD変換期間TN1,TS1に保持したAD変換値を別のメモリに転送して保持するように構成し、AD変換値を転送した後の一部のメモリをAD変換期間TN2,TS2においてAD変換値を保持するメモリとして用いるようにしてもよい。別のメモリに保持したAD変換期間TN1,TS1のデータは、AD変換期間TN2,TS2の間に水平転送するようにしてもよい。
本駆動例では、NAD期間TN1の開始からNAD期間TN2の終了までの期間を、1画素のAD変換期間T2と呼ぶものとする。なお、本駆動例では、AD変換の順序を、AD変換期間TN1,TS1,TS2,TN2としているが、増幅器32の構成を変更し、AD変換期間TN1,TN2,TS2,TS1や、AD変換期間TN1,TN2,TS1,TS2のような順序に変えてもよい。AD変換期間は、本実施形態では、参照信号の電位の変化が開始してから、電位の変化を終了するまでの期間である。また、別の見方では、AD変換期間は、カウンタ部54がカウントの動作を開始してから、カウントの動作を終了するまでの期間である。図面では、参照信号の電位の変化の開始とカウンタ部54のカウント動作の開始とを同時としている。よって、参照信号の電位の変化が開始してから電位の変化を終了するまでの期間と、カウンタ部54がカウントの動作を開始してからカウントの動作を終了するまでの期間は一致している。ただし、この例に限定されるものではなく、上述したように、参照信号の電位の変化の開始から終了或いはカウンタ部54のカウント動作の開始から終了のいずれか一方とすることができる。なお、本実施形態では参照信号を用いたAD変換を例に説明しているが、この例に限定されるものではない。例えば、逐次比較型のAD変換であれば、アナログ信号に対して比較される参照信号の電位の変化の開始から終了までの期間とすることができる。
メモリ52に保持されたカウント値a,b,c,dは、水平走査部60からの制御信号に応じてデジタル信号処理部70へと転送され、デジタル信号処理部70におけるデジタル信号処理後、出力部80を介して外部へと出力される。
図6乃至図8は、図5に示した駆動例で得られたAD変換値に対するデジタル信号処理の一例を説明するグラフである。
図6は、デジタル信号処理部70における減算処理後の結果を示している。図6において、横軸は画素出力線16の信号振幅(電位変化量ΔV1)を示し、縦軸はSAD期間に得られたAD変換値からNAD期間に得られたAD変換値を減算した結果を示している。ここでは、式(1)に基づく画素出力線16の電位変化量ΔV1の最大値が1.0Vであり、AD変換期間TN1,TS1で得られたAD変換値の差分(以下、AD変換結果と呼ぶ)の最大値が4096LSBであるものとする。つまり、AD変換の分解能を12ビットとする。また、電圧増幅率Gain1がC0/C1=2、電圧増幅率Gain2がC0/(C1+C2+C3)=1であるものとする。
参照信号の傾き及びカウンタの周波数は、電圧増幅率がGain2(=1)、画素出力線16の電位変化量ΔV1が1.0V、増幅器32の電位変化量ΔV2が1.0VのときにAD変換結果(c-d)が4096LSBになるように設定されている。これを、図6に破線で示している。一方、電圧増幅率がGain1(=2)、画素出力線16の電位変化量ΔV1が0.5Vのとき、増幅器32の電位変化量ΔV2は1.0Vとなり、AD変換結果(b-a)は4096LSBになる。これを、図6に実線で示している。
図6のグラフは、増幅器32の電圧増幅率によって画素出力線16の電位変化に対するAD変換結果の変化量が変化することを示している。具体的には、電圧増幅率がGain1(=2)の場合、電圧増幅率がGain2(=1)の場合に対して、AD変換結果の変化量は2倍となる。
図7は、AD変換結果(c-d)に対して2倍のデジタルゲイン(=(c-d)×2)をかけた場合の結果を示すグラフである。電圧増幅率がGain2(=1)、画素出力線16の電位変化量ΔV1が0.5Vのとき、AD変換結果(c-d)に対して2倍のデジタルゲインをかけた値(=(c-d)×2)は4096LSBになる。つまり、このときの画素出力線16の電位変化量ΔV1に対するAD変換結果の変化量は、電圧増幅率がGain1のときの画素出力線16の電位変化量ΔV1に対するAD変換結果(b-a)の変化量と同じになる。このとき、AD変換値の最大値は、8192LSBとなる。
図8は、AD変換結果(b-a)とAD変換結果(c-d)とを使用して画像を合成する方法を説明するグラフである。図8に示すように、画素出力線16の電位変化量ΔV1が0V以上、0.5V未満の範囲(低輝度領域)では、電圧増幅率Gain1で増幅した画素信号のAD変換結果(b-a)を画像データとして使用する。また、画素出力線16の電位変化量ΔV1が0.5V以上の範囲(高輝度領域)では、電圧増幅率Gain2で増幅した画素信号のAD変換結果(c-d)×2を画像データとして使用する。
電圧増幅率Gain1は電圧増幅率Gain2よりも高いため、AD変換結果(b-a)は、AD変換結果(c-d)よりも増幅器32以降のノイズ量の点で有利である。一方、AD変換結果(c-d)は、画素出力線16の電位変化量ΔV1が最大となる1.0Vのときに4096LSBとなるため、AD変換結果(b-a)よりも入力ダイナミックレンジの点で有利である。したがって、図8のように合成される画像は、S/N比を向上しつつダイナミックレンジを拡大した画像となる。
一方、NAD期間TN1とNAD期間TN2、並びに、SAD期間TS1とSAD期間TS2は、各々同じ処理時間を要するため、1画素のAD変換期間T2は、図4を用いて説明した1画素のAD変換期間T1と比較して処理時間が2倍となる。そのため、図5の駆動例では読み出し時間が長くなり、フレームレートが低下する。
異なる電圧増幅率で得られる2つのAD変換結果を用いてダイナミックレンジを拡大した画像を取得するための別の方法としては、増幅器32以降の信号処理回路を2つ以上設け、同一画素信号をこれら信号処理回路において同時に処理することが考えられる。この構成例によれば、読み出し時間を短縮することはできるが、2つ以上の信号処理回路の誤差、例えば増幅器32の電圧増幅率の誤差や動作点の誤差に起因するオフセットにより画質が劣化することがある。また、回路規模が大きくなり、チップサイズや電源の電流許容量の観点で不利になることがある。
図9は、図6乃至図8において説明したデジタル信号処理における画素信号のS/N比を説明する図である。図9において、横軸は画素12への入射光量を示し、縦軸は入射光に応じて光電変換された信号レベル(画素出力信号)及び光ショットノイズを対数軸で示している。図9中、実線は、入射光量と画素出力信号との関係を示している。破線は、入射光量と光ショットノイズとの関係を示している。点線は、画素系ノイズ(増幅器32に起因するノイズを含む。AD変換に起因するノイズは含まない)を示している。
画素系ノイズが0.2mVであると仮定すると、信号レベル1.0Vと画素系ノイズ0.2mVとの比として表されるS/N比は74dBとなる。量子化ビット誤差を考慮すると、このS/N比をカバーして画素信号をAD変換するためには、AD変換には12ビットよりも高い分解能が必要である。
次に、画素信号と光ショットノイズとの関係について説明する。ここでは、信号レベルが1.0Vのときの光電荷の数Nが10000個であるものと仮定する。光ショットノイズのノイズ量は、一般に√Nとして表される。画素信号の大振幅信号レベルが1.0Vのとき、10000個の光電荷に対し、光ショットノイズは100個であり、そのときのS/N比は40dBである。また、小振幅信号レベルを仮に10mVとした場合、そのときのS/N比は20dBである。つまり、信号レベルのどの点においても、40dB強のSN比を確保する分解能であればよいことが分かる。
図9には、8ビットから12ビットまでのAD変換における分解能を一点鎖線で示している。図9に示されるように、光量によっては、光ショットノイズ及び量子化誤差を考慮しつつ、AD変換の分解能を低く設定することができる。図6乃至図8を用いて説明したデジタル信号処理では、電圧増幅率Gain2(=1)で増幅した画素信号のAD変換値に2倍のデジタルゲインをかけることで、分解能は半分の11ビット相当になる。図9を用いて説明したように、画素出力線16の電位変化量ΔV1が0.5V以上の範囲では、分解能が11ビットになっても画質への影響はない。
図10は、図5の駆動例に対して読み出しの高速化を図った場合の駆動方法を示すタイミング図である。図10には、増幅器32における電圧増幅率、制御信号PRES,PTX,PSEL、スイッチS0,S1,S2,S3の制御信号、増幅器32の出力信号、ランプ信号、比較器44の出力信号及びカウント信号の時間的変化を示している。
本駆動例では、SAD期間TS3及びNAD期間TN3において、参照信号生成部46で生成される参照信号の時間に対する変化率を2倍にしている。これにより、図5のSAD変換期間TS2の1/2の時間で画素出力線16の電位変化量ΔV1の最大値(1.0V)を比較することができる。
図10では、SAD期間TS2を1/2の時間に短縮した期間をSAD期間TS3、NAD期間TN2を1/2の時間に短縮した期間をNAD期間TN3としている。このようにしてSAD期間TS3及びNAD期間TN3を短縮することにより、1画素のAD変換期間T3は、図5における1画素のAD変換期間T2の3/4に短縮することができる。図10の駆動例では、SAD期間TS3においてカウント値eがメモリ52に保持され、NAD期間TN3においてカウント値fがメモリ52に保持される。
図11乃至図13は、図10の駆動例で得られたAD変換値に対するデジタル信号処理の一例を説明するグラフである。
図11は、デジタル信号処理部70における減算処理後の結果を示している。図11において、横軸は画素出力線16の信号振幅(電位変化量ΔV1)を示し、縦軸はSAD期間に得られたAD変換値からNAD期間に得られたAD変換値を減算した結果を示している。ここでは、図6の場合と同様、電圧増幅率Gain1がC0/C1=2であり、電圧増幅率Gain2がC0/(C1+C2+C3)=1であるものとする。
図11中、実線は、電圧増幅率Gain1に対応する信号を示しており、画素出力線16の電位変化量ΔV1が0.5Vのとき、増幅器32の電位変化量ΔV2が1.0Vとなり、AD変換結果(b-a)は4096LSBになる。破線は、電圧増幅率Gain2に対応する信号を示している。前述のように、増幅器32の電圧増幅率がGain2(=1)の場合、参照信号が時間に対して2倍の変化量を有するため、AD変換に要する時間は1/2になる。つまり、画素出力線16の電位変化量ΔV1が1.0Vのとき、AD変換結果(e-f)は2048LSBになる。つまり、電圧増幅率がGain1(=2)の場合のAD変換結果の変化量は、電圧増幅率がGain2(=1)の場合のAD変換結果の変化量の4倍となる。
図12は、AD変換結果(e-f)に対して4倍のデジタルゲイン(=(e-f)×4)をかけた場合の結果を示すグラフである。電圧増幅率がGain2(=1)、画素出力線16の電位変化量ΔV1が0.5Vのとき、AD変換結果(e-f)に対して4倍のデジタルゲインをかけた値(=(e-f)×4)は4096LSBになる。つまり、このときの画素出力線16の電位変化量ΔV1に対するAD変換結果の変化量は、電圧増幅率がGain1のときの画素出力線16の電位変化量ΔV1に対するAD変換結果(b-a)の変化量と同じになる。このとき、AD変換値の最大値は、8192LSBとなる。
図13は、AD変換結果(b-a)とAD変換結果(e-f)とを使用して画像を合成する方法を説明するグラフである。図13に示すように、画素出力線16の電位変化量ΔV1が0V以上、0.5V未満の範囲(低輝度領域)では、電圧増幅率がGain1のAD変換結果(b-a)を画像データとして使用する。また、画素出力線16の電位変化量ΔV1が0.5V以上の範囲(高輝度領域)では、電圧増幅率がGain2のAD変換結果(e-f)×4を画像データとして使用する。
図10の駆動例では、SAD期間TS3及びNAD期間TN3の比較動作において参照信号を時間に対して2倍の変化量にしているため、分解能は1/2になる。また、デジタルゲインを4倍にすることで、分解能は1/4になる。そのため、図13の高輝度領域における分解能は1/8になるが、図9を用いて説明したように、画素出力線16の電位変化量が0.5V以上の高輝度領域では光ショットノイズが大きいため、分解能が1/8になっても画質に影響しない。すなわち、図10の駆動例においても、S/N比を向上しつつ、ダイナミックレンジを拡大した画像を得ることができる。また、電圧増幅率がGain2(=1)のSAD期間TS3及びNAD期間TN3の長さを1/2にすることができるため、読み出し時間は図5の駆動例に比較して短くなり、フレームレートの低下を抑えることができる。
なお、図10の駆動例ではダイナミックレンジを拡大した画像を取得する観点から同一の画素信号に対して電圧増幅率Gain1で増幅した信号と電圧増幅率Gain2で増幅した信号とを取得しているが、同じ電圧増幅率で複数回、信号を取得してもよい。
図14は、図5の駆動例に対して読み出しの高速化を図った場合の別の駆動方法を示すタイミング図である。図14には、増幅器32における電圧増幅率、制御信号PRES,PTX,PSEL、スイッチS0,S1,S2,S3の制御信号、増幅器32の出力信号、ランプ信号、比較器44の出力信号及びカウント信号の時間的変化を示している。本駆動例では、図10の駆動例におけるNAD期間TN3を省略している。
図10の駆動例におけるNAD期間TN3で得られるAD変換値fは、SAD期間TS3で得られるAD変換値eから減算し、オフセットや固定のパターンノイズを減算するために用いられる。一方、本駆動例では、NAD期間TN3を省略するため、AD変換値fは取得しない。ここで、図10のNAD期間TN3で得られるAD変換値fは、NAD期間TN1で得られるAD変換値aに対して、一部のノイズ成分を除き、概ねGain2/Gain1の関係になる。
図13を用いて説明したように、画素出力線16の電位変化量が0.5V以上の範囲では、電圧増幅率がGain2のときのAD変換値(e-f)×4のデータが画像として使用される。この範囲では、光ショットノイズのレベルが大きく、図10のNAD期間TN3に得られるAD変換値fをAD変換値a×Gain2/Gain1に置き換えても画質に影響しないことがある。そこで、図14の駆動例では、デジタル信号処理部70においてAD変換値a×Gain2/Gain1を演算し、AD変換値eから減算する処理がなされる。図14の駆動例では、1画素のAD変換期間T4を、図10の駆動例における1画素のAD変換期間T3と比較して更に短縮することができる。
なお、図8及び図13を用いて説明したように、ある輝度(画素出力線16の電位変化量)を境として異なる電圧増幅率のAD変換結果を使用する場合、同一の信号処理経路であっても電圧増幅率の誤差などが生じ得る。これは、低輝度領域と高輝度領域との境目のオフセットや低輝度領域と高輝度領域とのリニアリティの誤差に起因するものであり、画質に影響する場合がある。このような場合、画素出力線16の電位変化量が0.5V未満の範囲において異なる電圧増幅率のAD変換値を取得し、これらの信号を処理してオフセットやリニアリティの補正値を算出することで、画像を補正することができる。
例えば、異なる電圧増幅率で得たAD変換値を減算処理することによってオフセットを算出して補正処理をする。或いは、異なる電圧増幅率で得たAD変換値を平均化して画像データとしてもよい。また、複数の光電変換素子により生成された信号を処理し、位相差を検出するような構成の光電変換装置においても、画素出力線16の電位変化量が0.5V未満の範囲において異なる電圧増幅率で得たAD変換値を用いてもよい。例えば、複数の光電変換素子により生成された信号に対して異なる電圧増幅率で得たAD変換値を、いずれか選択して処理する或いは平均処理をすることにより、好適な処理結果(位相差検出信号)を得ることができる場合がある。
また、本実施形態の駆動例のように、複数のAD変換結果のうち、画素信号のレベルに応じてAD変換結果を選択し、画像信号として使用する場合、メモリ部50から水平転送するデータ量やデジタル信号処理部70の信号処理データ量を調整してもよい。
例えば、図5の駆動例におけるSAD期間TS2及びNAD期間TN2に得られるAD変換結果(c-d)は、2048LSB未満のデータは使用されない。そのため、必要な分解能に応じて下位側の数ビットはメモリ部50から水平転送しなくてもよい。或いは、デジタル信号処理部70における信号処理時に、下位側の数ビットを無効にしてもよい。
一方、図10の駆動例におけるSAD期間TS3及びNAD期間TN3に得られるAD変換結果(e-f)については、2048LSB以上のデータは使用されないため、最上位のビットはメモリ部50から水平転送しなくてもよい。或いは、デジタル信号処理部70の信号処理時に無効としてもよい。本実施形態の駆動例では、分解能や必要なAD変換値のレンジに応じて水平転送や信号処理のデータ量を減らすことで、消費電力を低減することができる。
また、図7や図12を用いて説明したように、デジタル信号処理部70でデジタルゲイン処理をした場合、AD変換値のビット幅が増加する。この場合、出力部80の動作周波数を増加することで読み出し速度の低下を抑えることができる。或いは、デジタル信号処理部70で各種信号処理後のデータを圧縮した後、出力部80に出力する構成としてもよい。
本実施形態で説明した複数の電圧増幅率の設定値や電圧増幅率の比率、AD変換動作の分解能、画素の電荷-電圧の変換比率、光ショットノイズ、画素系ノイズの数値は例示であり、図9を用いて説明したS/N比の考え方に則り適宜設定を変更することができる。
このように、本実施形態においては、複数の異なる電圧増幅率で増幅した画素信号をAD変換する構成において、一部の電圧増幅率で増幅した画素信号のAD変換期間を短縮するように構成している。したがって、本実施形態によれば、フレームレートの低減を抑えつつ、S/N比の高いダイナミックレンジを拡大した画像を得ることができる。
[第2実施形態]
本発明の第2実施形態による光電変換装置の駆動方法について、図15を用いて説明する。第1実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、第1実施形態において説明した光電変換装置の他の駆動方法を説明する。図15は、本実施形態による光電変換装置の駆動方法を示すタイミング図である。図15には、増幅器32における電圧増幅率、制御信号PRES,PTX,PSEL、スイッチS0,S1,S2,S3の制御信号、増幅器32の出力信号、ランプ信号、比較器44の出力信号及びカウント信号の時間的変化を示している。
本実施形態の駆動方法では、電圧増幅率Gain2で増幅された画素信号に対するAD変換期間においてカウンタ部54で生成されるカウント信号の周波数が、図10に示す第1実施形態による光電変換装置の駆動方法の場合よりも高い周波数に設定されている。具体的には、本実施形態では、SAD期間TS2及びNAD期間TN2におけるカウント信号の周波数が、図10の駆動例の場合の2倍の周波数に設定されている。なお、本明細書において、カウンタの周波数及びカウント信号の周波数とは、カウント信号が示すカウント値が遷移する周波数である。
本実施形態の駆動方法では、図10に示す駆動方法の場合と同様、SAD期間TS2及びNAD期間TN2における参照信号の時間に対する変換量を、NAD期間TN1及びSAD期間TS1における参照信号の時間に対する変換量の2倍に設定している。参照信号の時間に対する変換量を2倍に設定すると、AD変換期間は短縮できるが、AD変換の解像度は1/2に低下する。しかしながら、本実施形態ではカウンタの周波数を2倍に設定しているため、参照信号の時間に対する変換量を2倍に設定した場合でも、画素出力線16の電位変化量に対して図5の駆動例の場合と同様のAD変換結果を得ることができる。
カウンタ部54の構成例としては、PLL(Phase Locked Loop)回路とPLL回路から出力されるクロックで駆動するカウンタ回路とを含む構成が挙げられる。このような構成の場合、PLL回路の出力クロックの逓倍数を切り替えることでカウンタの周波数を変更することができる。或いは、生成するクロックの周波数が互いに異なる複数のPLL回路を設け、カウンタ回路に入力するクロックを切り替える構成としてもよい。このように構成することで、逓倍数の切り替えに伴う安定時間を確保する必要がなくなり、処理時間を短縮することができる。
本実施形態では、このような構成を用い、SAD期間TS2ではカウント値gを取得してメモリ52に保持し、NAD期間TN2ではカウント値hを取得してメモリ52に保持する。このように取得したカウント値g,hは、ノイズの影響がなければ図5の駆動例において得られるカウント値c,dと等価になる。
図10の駆動例では、参照信号の時間に対する変化量を増加したことに伴い、高輝度領域のAD変換結果の分解能が低下する。例えば、電圧増幅率Gain1(=4)と電圧増幅率Gain2(=1)のように電圧増幅率の比率が大きい場合を想定する。この場合、電圧増幅率Gain2で増幅した画素信号のAD変換値が画像として使用される範囲は、画素出力線16の電位変化量が0.25V以上の範囲となり、低輝度側にシフトする。つまり、図9を用いて説明した光ショットノイズが小さい領域にシフトするので、AD変換の分解能の低下を抑える必要がある。一方、カウント信号が高周波数になると、例えば比較動作において電源ノイズやクロックジッタの影響が現れ、画質に影響を与えることがある。そのため、光ショットノイズが小さい低輝度領域ではカウント信号の周波数は低めに設定し、光ショットノイズの大きい高輝度領域でカウント信号の周波数を上げることが望ましい場合がある。
このように、本実施形態によれば、AD変換の分解能及びフレームレートの低減を抑えつつ、S/N比の高いダイナミックレンジを拡大した画像を得ることができる。
[第3実施形態]
本発明の第3実施形態による光電変換装置の駆動方法について、図16乃至図18を用いて説明する。図16は、本実施形態による光電変換装置の駆動方法を示すタイミング図である。図17及び図18は、AD変換値に対するデジタル信号処理の一例を説明するグラフである。第1及び第2実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、第1実施形態において説明した光電変換装置の他の駆動方法を説明する。図16には、増幅器32における電圧増幅率、制御信号PRES,PTX,PSEL、スイッチS0,S1,S2,S3の制御信号、増幅器32の出力信号、ランプ信号、比較器44の出力信号及びカウント信号の時間的変化を示している。
本実施形態の駆動方法では、図14の駆動例に対し、電圧増幅率Gain3で増幅した画素信号のAD変換を行う期間(SAD期間TS3)を追加している。本実施形態では、電圧増幅率Gain1がC0/C1=4であり、電圧増幅率Gain2がC0/(C1+C2)=2であり、電圧増幅率Gain3がC0/(C1+C2+C3)=1である場合を例にして説明する。
また、各電圧増幅率に対応して、電圧増幅率Gain1で増幅した画素信号のAD変換期間をNAD期間TN1及びSAD期間TS1としている。また、電圧増幅率Gain2で増幅した画素信号のAD変換期間をSAD期間TS2、電圧増幅率Gain3で増幅した画素信号のAD変換期間をSAD期間TS3としている。SAD期間TS2及びSAD期間TS3における参照信号の時間に対する変化量は、SAD期間TS1における参照信号の時間に対する変化量の2倍に設定している。また、各AD変換期間では、図16に示すように、カウント値i,j,k,lがメモリ52に保持される。
図17には、電圧増幅率Gain1で増幅した画素信号のAD変換結果を実線で、電圧増幅率Gain2で増幅した画素信号のAD変換結果を一点鎖線で、電圧増幅率Gain3で増幅した画素信号のAD変換結果を破線で、それぞれ示している。
図18は、各電圧増幅率で増幅した画素信号のAD変換結果に所定のデジタルゲインをかけ、画像として合成する方法を説明するグラフである。電圧増幅率Gain2で増幅した画素信号のAD変換結果は、4倍のデジタルゲインをかけることで電圧増幅率Gain1の場合の傾きと同じになる。電圧増幅率Gain3で増幅した画素信号のAD変換結果は、8倍のデジタルゲインをかけることで電圧増幅率Gain1の場合の傾きと同じになる。
画素出力線16の電位変化量が0.25V未満の領域では、電圧増幅率Gain1で増幅した画素信号のAD変換結果を画像信号とする。画素出力線16の電位変化量が0.25V以上、0.5V未満の領域では、電圧増幅率Gain2で増幅した画素信号のAD変換結果を画像信号とする。画素出力線16の電位変化量が0.5V以上の領域では、電圧増幅率Gain3で増幅した画素信号のAD変換結果を画像信号とする。なお、電圧増幅率Gain2及び電圧増幅率Gain3で増幅した画素信号のAD変換結果は、NAD期間TN1において得られるAD変換値iに対し、各々の電圧増幅率の比を乗算し、AD変換値k,lから減算することにより得ることができる。
S/N比の向上のため、低輝度側の電圧増幅率を高くし、異なる電圧増幅率の間で比率が大きくなると、高輝度側のAD変換値の分解能を下げられなくなってくる。そこで、本実施形態では、3種類の電圧増幅率Gain1,Gain2,Gain3を設定し、各輝度に最適な電圧増幅率と分解能を設定できるようにしている。本実施形態では3種類の電圧増幅率Gain1,Gain2,Gain3を設定しているが、電圧増幅率の設定値は3種類に限定されるものではなく、4種類以上であってもよい。
なお、SAD期間TS2,TS3については、参照信号の時間に対する変化量やカウンタの周波数を調整することも可能である。例えば、SAD期間TS2の期間においてカウンタの周波数を2倍とし、SAD期間TS3の期間において参照信号の時間に対する変化量を更に2倍且つカウンタの周波数を2倍に設定する。このように設定することで、分解能とAD変換期間とを最適化することができる。
このように、本実施形態によれば、フレームレートの低下を抑制しつつ、S/N比を更に向上することができる。
[第4実施形態]
本発明の第4実施形態による光電変換装置の駆動方法について、図19乃至図21を用いて説明する。図19は、本実施形態による光電変換装置の駆動方法を示すタイミング図である。図20及び図21は、AD変換値に対するデジタル信号処理の一例を説明するグラフである。第1乃至第3実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、第1実施形態において説明した光電変換装置の他の駆動方法を説明する。図19には、増幅器32における電圧増幅率、制御信号PRES,PTX,PSEL、スイッチS0,S1,S2,S3の制御信号、増幅器32の出力信号、ランプ信号、比較器44の出力信号及びカウント信号の時間的変化を示している。
本実施形態の駆動方法は、第1実施形態の駆動例に対して更なる高速化を図るためにAD変換の構成を変えたものである。具体的には、図14の駆動例におけるSAD期間TS1に換えて、SAD期間TS4を実行する。また、SAD期間TS4の前に、判定期間TJを追加している。増幅器32における電圧増幅率は、第1実施形態の場合と同様、電圧増幅率Gain1が2であり、電圧増幅率Gain2が1である場合を例にして説明する。
SAD期間TS4では、2種類の傾きの参照信号を用いてAD変換を行う。ここでは、この2種類の参照信号をランプ信号H及びランプ信号Lとし、ランプ信号Hの傾きはランプ信号Lの傾きの2倍であるものとする。ランプ信号Lの傾きは、図14の駆動例のSAD期間TS1における参照信号の傾きと同じである。
判定期間TJでは、増幅器32の出力のレベルとランプ信号Lの最大値のレベルVLとを比較する。増幅器32の出力レベルがレベルVLよりも小さい場合、ランプ信号Lを用いてSAD期間TS4の比較動作を行う。一方、増幅器32の出力レベルがレベルVLよりも大きい場合、ランプ信号Hを用いてSAD期間TS4の比較動作を行う。つまり、画素出力線16の電位変化量が0.25V未満の場合にはランプ信号Lを用いて12ビットの分解能でAD変換を行い、画素出力線16の電位変化量が0.25V以上の場合にはランプ信号Hを用いて11ビットの分解能でAD変換を行う。
ランプ信号Hを用いて変換されたAD変換値は、デジタル信号処理部70において2倍のデジタルゲインをかけ、ランプ信号Lを用いてAD変換した結果と合成する。図9を用いて説明したように、画素出力線16の電位変化量が0.25V以上の場合には、分解能が10ビットであっても光ショットノイズを考慮すると画質への影響は小さい。したがって、図14の駆動例におけるSAD期間TS1は、1/2の時間のSAD期間TS4に変更することができる。一方、SAD期間TS2では、図14の駆動例の場合と同じく、ランプ信号Hと同じ傾きの参照信号を用いてAD変換を行う。
電圧増幅率Gain1で増幅した画素信号に対しては、ランプ信号L又はランプ信号Hを用いて比較動作を行う。具体的には、画素出力線16の電位変化量が0.25V未満の場合にはランプ信号Lを用いて比較動作を行う。また、画素出力線16の電位変化量が0.25V以上の場合にはランプ信号Hを用いて比較動作を行い、これにより得たAD変換値に対して2倍のデジタルゲインをかける。これにより、電圧増幅率Gain1で増幅した画素信号に対するAD変換結果が得られる。
図20には、電圧増幅率Gain1で増幅した画素信号のランプ信号Lを用いたAD変換結果を実線で示し、電圧増幅率Gain1で増幅した画素信号のランプ信号Hを用いたAD変換結果を一点鎖線で示している。また、電圧増幅率Gain2で増幅した画素信号のAD変換結果を破線で示している。
図21は、各電圧増幅率で増幅した画素信号のAD変換結果にデジタルゲインをかけ、画像として合成する方法を説明するグラフである。電圧増幅率Gain2で増幅した画素信号のAD変換結果は、図11の場合と同様、4倍のデジタルゲインをかけることで電圧増幅率Gain1の場合の傾きと同じになる。
なお、電圧増幅率Gain2で増幅した画素信号の比較動作時に、電圧増幅率Gain1で増幅した画素信号の比較動作時と同様、参照信号の傾きを変えるように構成してもよい。また、電圧増幅率とランプ信号の傾きをノイズ及び必要な分解能に応じて最適に設定してもよい。
このように、本実施形態においては、参照信号の傾きを画素出力線16及び増幅器32の出力レベルに応じて切り替えるように構成している。したがって、本実施形態によれば、S/N比を向上しつつ、読み出し時間を短縮し、フレームレートの低下を更に抑制することができる。
[第5実施形態]
本発明の第5実施形態による光電変換装置及びその駆動方法について、図22及び図23を用いて説明する。図22は、本実施形態による光電変換装置における信号処理内容を説明する図である。図23は、本実施形態による光電変換装置の駆動方法を示すタイミング図である。第1乃至第4実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態による光電変換装置は、信号処理の時間や各信号処理を調整できるように構成されている。すなわち、本実施形態による光電変換装置は、例えば図22に示すように、信号処理(A)~信号処理(D)を選択して実行できるように構成されている。
信号処理(A)は、第1実施形態において図10を用いて説明した信号処理を表している。図10の駆動例では、電圧増幅率Gain1で増幅した画素信号のSAD期間TS1におけるAD変換の結果によらず、電圧増幅率Gain2で増幅した画素信号のSAD期間TS2における比較動作を行う駆動例になっている。図11乃至図13を用いて説明したように、画素出力線16の電位変化量が0.5V未満の場合には、電圧増幅率Gain1で増幅した画素信号のAD変換結果が画像に使用されるので、必ずしも電圧増幅率Gain2の比較動作を行う必要はない。
信号処理(B)は、電圧増幅率Gain1で増幅した画素信号のAD変換結果が4096LSBを超えない場合、電圧増幅率Gain2で増幅した画素信号の比較動作をせず、増幅器32や比較器44を省電力状態に制御した場合の信号処理例である。なお、省電力状態とは、増幅器32や比較器44の駆動電流を遮断し或いは減らした状態である。
信号処理(C)は、電圧増幅率Gain1で増幅した画素信号の比較動作を行わず、画素信号を保持した状態又は省電力状態とし、電圧増幅率Gain2で増幅した画素信号の比較動作のみを行う信号処理例である。信号処理(C)は、例えば図23に示すように、第4実施形態で説明した判定期間TJにおいて、増幅器32の出力のレベルとランプ信号Hの最大値のレベルVHとの比較を行うことで実現することができる。すなわち、増幅器32の出力レベルとレベルVHとを比較した結果、画素出力線16の電位変化量が0.5V以上であると判定された場合には、電圧増幅率Gain2で増幅した画素信号に対してのみ比較動作を行うように制御すればよい。
信号処理(D)は、別の信号処理例である。例えば電圧増幅率Gain1が電圧増幅率Gain2よりも小さい場合、SAD期間TS1のAD変換結果にGain2/Gain1をかけることで、電圧増幅率Gain2のAD変換結果を予測することができる。例えば、SAD期間TS1のAD変換結果に基づいてSAD期間を短縮したSAD期間TS3を実行し、その後、信号処理(B)同様、各ブロックを省電力状態に制御する。AD変換結果はカウント値により得られるので、複数のメモリ52のうち、特定の上位ビットに格納されているデータから画素出力線16の振幅を検出することができる。
このように、本実施形態においては、異なる電圧増幅率のAD変換期間の結果や判定手段に基づいて画素信号の振幅を検出し、信号処理時間及び各処理を制御する。したがって、本実施形態によれば、電力の低減やAD変換に伴う他の画素信号へのノイズなどのクロストークの影響を低減することができる。
[第6実施形態]
本発明の第6実施形態による光電変換装置及びその駆動方法について、図24乃至図26を用いて説明する。図24及び図25は、本実施形態による光電変換装置の駆動方法を示すタイミング図である。図26は、実施形態による光電変換装置における信号処理の内容を説明する図である。第1乃至第5実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、第1実施形態において説明した光電変換装置の他の駆動方法を説明する。図24には、増幅器32における電圧増幅率、制御信号PRES,PTX,PSEL、スイッチS0,S1,S2,S3の制御信号、増幅器32の出力信号、ランプ信号及び比較器44の出力信号の時間的変化を示している。本実施形態の駆動方法は、SAD期間TS2の比較動作時に電圧増幅率を切り替え可能に構成としたものである。
第1実施形態において図10及び図14を用いて説明した駆動例では、電圧増幅率Gain1が2の場合に画素出力線16の電位変化量が0.5Vを超えると、SAD期間TS1においてAD変換の入力ダイナミックレンジを超える。この場合、電圧増幅率Gain2(=1)で増幅した画素信号の比較動作を行うSAD期間TS2におけるAD変換結果が画像信号として有効になる。
一方、SAD期間TS1において画素出力線16の電位変化量が0.5V未満の場合、第5実施形態において説明したように、電圧増幅率Gain1(=2)で増幅した画素信号の比較動作を行うSAD期間TS1のAD変換結果が画像信号として有効になる。そのため、SAD期間TS2の比較動作は不要となる。
なお、NAD期間TN1のAD変換値を仮に100LSBとすると、SAD期間TS1ではAD変換結果のフルスケールを4096LSBとするため、100LSB+4096LSBにクリップされるように構成する。例えば、カウント信号及び参照信号の傾きを調整することにより、このように構成することが可能である。
本実施形態では、SAD期間TS1のAD変換結果がフルスケールの4096LSB+100LSBを超えない場合、SAD期間TS2における電圧増幅率Gain2を可変とする。
図24の駆動例では、SAD期間TS1のAD変換結果がフルスケールの4096LSB+100LSBを超えない場合、SAD期間TS2において電圧増幅率Gain1で駆動するようにしている。図24では、SAD期間TS2における増幅器出力及びや比較器出力について、電圧増幅率がGain1の場合を破線で示し、電圧増幅率がGain2の場合を実線で示している。
SAD期間TS1,TS2ともに同一の電圧増幅率Gain1でAD変換を行った結果は相関のある2信号となり、二乗平均処理をすることによりAD変換結果のノイズ成分を低減することができる。例えば、第2実施形態において説明したようにカウンタの周波数を調整した同一の分解能のAD変換結果であれば、ノイズ成分を1/√2に低減することができる。
図25は、図24を用いて説明した駆動例のSAD期間TS2の期間中に複数回の比較動作を行う駆動例である。図25には、増幅器32における電圧増幅率、制御信号PRES,PTX,PSEL、スイッチS0,S1,S2,S3の制御信号、増幅器32の出力信号、ランプ信号及び比較器44の出力信号の時間的変化を示している。図25ではSAD期間TS2の期間中に2回の比較動作を行っているが、比較動作を行う回数は2回に限定されるものではない。
SAD期間TS2における比較動作は、SAD期間TS1のAD変換結果に基づいて決定することができる。例えば、SAD期間TS1のAD変換結果がフルスケールの1/2以下であれば、SAD期間TS2についてもフルスケールをAD変換するのに必要な期間の1/2の期間だけ比較動作をすればよく、比較回数を増やすことができる。比較回数を増やすことで、二乗平均処理によるノイズの低減量を増やすことができる。特に、低輝度であるほど比較回数を増やすことができるため、ノイズ低減量を増やしS/N比を向上することが可能になる。
なお、比較回数が増加すると必要なメモリ52の数が増加する可能性がある。この場合、例えばフルスケールでメモリ52が13ビット使用しているとすると、そのうちの数ビットずつを各比較動作に使用するように構成すればよい。このようにメモリ52を構成することで、メモリ52の増加を抑制することができる。
図26は、第5実施形態において説明した図22と同様、本実施形態による光電変換装置において実行可能な信号処理の例を模式的に示したものである。
信号処理(E)は、SAD期間TS2に4回の比較動作を行う駆動例である。信号処理(F)は、信号処理(E)の場合と比較して低輝度の場合の例、つまり比較動作の期間が短い例であり、SAD期間TS2期間に4回の比較動作を行った後、省電力状態にする駆動例である。
なお、第1実施形態において説明したように、電圧増幅率や参照信号の傾きは適宜設定することができる。また、画素12の浮遊拡散部FDの容量値の調整機構を備える構成として、AD変換結果に基づいて容量値を切り替える構成としてもよい。また、SAD期間TS1のAD変換期間についても、第2実施形態や第4実施形態と組み合わせることで、読み出し時間の短縮が可能である。
このように、本実施形態においては、AD変換結果に基づいて、他のAD変換期間における電圧増幅率や比較動作の回数を設定する。したがって、本実施形態によれば、S/N比を更に向上することができる。
[第7実施形態]
本発明の第7実施形態による撮像システムについて、図27を用いて説明する。図27は、本実施形態による撮像システムの概略構成を示すブロック図である。
上記第1乃至第6実施形態で述べた光電変換装置100は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図27には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
図27に例示した撮像システム200は、撮像装置201、被写体の光学像を撮像装置201に結像させるレンズ202、レンズ202を通過する光量を可変にするための絞り204、レンズ202の保護のためのバリア206を有する。レンズ202及び絞り204は、撮像装置201に光を集光する光学系である。撮像装置201は、第1乃至第6実施形態のいずれかで説明した光電変換装置100であって、レンズ202により結像された光学像を画像データに変換する。
撮像システム200は、また、撮像装置201より出力される出力信号の処理を行う信号処理部208を有する。信号処理部208は、撮像装置201が出力するデジタル信号から画像データの生成を行う。また、信号処理部208は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置201は、信号処理部208で処理されるデジタル信号を生成するAD変換部を備えうる。AD変換部は、撮像装置201の光電変換部が形成された半導体層(半導体基板)に形成されていてもよいし、撮像装置201の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部208が撮像装置201と同一の半導体基板に形成されていてもよい。
撮像システム200は、更に、画像データを一時的に記憶するためのメモリ部210、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)212を有する。更に撮像システム200は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体214、記録媒体214に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)216を有する。なお、記録媒体214は、撮像システム200に内蔵されていてもよく、着脱可能であってもよい。
更に撮像システム200は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部218、撮像装置201と信号処理部208に各種タイミング信号を出力するタイミング発生部220を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム200は少なくとも撮像装置201と、撮像装置201から出力された出力信号を処理する信号処理部208とを有すればよい。
撮像装置201は、撮像信号を信号処理部208に出力する。信号処理部208は、撮像装置201から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部208は、撮像信号を用いて、画像を生成する。
このように、本実施形態によれば、第1乃至第5実施形態による光電変換装置100を適用した撮像システムを実現することができる。
[第8実施形態]
本発明の第8実施形態による撮像システム及び移動体について、図28を用いて説明する。図28は、本実施形態による撮像システム及び移動体の構成を示す図である。
図28(a)は、車載カメラに関する撮像システムの一例を示したものである。撮像システム300は、撮像装置310を有する。撮像装置310は、上記第1乃至第6実施形態のいずれかに記載の光電変換装置100である。撮像システム300は、撮像装置310により取得された複数の画像データに対し、画像処理を行う画像処理部312と、撮像システム300により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部314を有する。また、撮像システム300は、算出された視差に基づいて対象物までの距離を算出する距離取得部316と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部318と、を有する。ここで、視差取得部314や距離取得部316は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部318はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
撮像システム300は車両情報取得装置320と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム300は、衝突判定部318での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU330が接続されている。また、撮像システム300は、衝突判定部318での判定結果に基づいて、ドライバーへ警報を発する警報装置340とも接続されている。例えば、衝突判定部318の判定結果として衝突可能性が高い場合、制御ECU330はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置340は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム300で撮像する。図28(b)に、車両前方(撮像範囲350)を撮像する場合の撮像システムを示した。車両情報取得装置320が、撮像システム300ないしは撮像装置310に指示を送る。このような構成により、測距の精度をより向上させることができる。
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
[第9実施形態]
本発明の第9実施形態による機器について、図29を用いて説明する。図29は、本実施形態による機器の概略構成を示すブロック図である。
図29は、光電変換装置APRを含む機器EQPを示す模式図である。光電変換装置APRは、第1乃至第6実施形態のいずれかの光電変換装置100の機能を備える。光電変換装置APRの全部又は一部が、半導体デバイスICである。本例の光電変換装置APRは、例えば、イメージセンサやAF(Auto Focus)センサ、測光センサ、測距センサとして用いることができる。半導体デバイスICは、光電変換部を含む画素回路PXCが行列状に配列された画素エリアPXを有する。半導体デバイスICは画素エリアPXの周囲に周辺エリアPRを有することができる。周辺エリアPRには画素回路以外の回路を配置することができる。
光電変換装置APRは、複数の光電変換部が設けられた第1半導体チップと、周辺回路が設けられた第2半導体チップとを積層した構造(チップ積層構造)を有していてもよい。第2半導体チップにおける周辺回路は、ぞれぞれ、第1半導体チップの画素列に対応した列回路とすることができる。また、第2半導体チップにおける周辺回路は、それぞれ、第1半導体チップの画素あるいは画素ブロックに対応したマトリクス回路とすることもできる。第1半導体チップと第2半導体チップとの接続は、貫通電極(TSV)、銅等の導電体の直接接合によるチップ間配線、チップ間のマイクロバンプによる接続、ワイヤボンディングによる接続などを採用することができる。
光電変換装置APRは、半導体デバイスICの他に、半導体デバイスICを収容するパッケージPKGを含みうる。パッケージPKGは、半導体デバイスICが固定された基体と、半導体デバイスICに対向するガラス等の蓋体と、基体に設けられた端子と半導体デバイスICに設けられた端子とを接続するボンディングワイヤやバンプ等の接続部材と、を含みうる。
機器EQPは、光学装置OPT、制御装置CTRL、処理装置PRCS、表示装置DSPL、記憶装置MMRY及び機械装置MCHNのうちの少なくともいずれかを更に備えうる。光学装置OPTは、光電変換装置としての光電変換装置APRに対応するものであり、例えばレンズやシャッター、ミラーである。制御装置CTRLは、光電変換装置APRを制御するものであり、例えばASICなどの半導体デバイスである。処理装置PRCSは、光電変換装置APRから出力された信号を処理するものであり、AFE(アナログフロントエンド)あるいはDFE(デジタルフロントエンド)を構成する。処理装置PRCSは、CPU(中央処理装置)やASIC(特定用途向け集積回路)などの半導体デバイスである。表示装置DSPLは、光電変換装置APRで得られた情報(画像)を表示する、EL表示装置や液晶表示装置である。記憶装置MMRYは、光電変換装置APRで得られた情報(画像)を記憶する、磁気デバイスや半導体デバイスである。記憶装置MMRYは、SRAMやDRAMなどの揮発性メモリ、或いは、フラッシュメモリやハードディスクドライブなどの不揮発性メモリである。機械装置MCHNは、モーターやエンジン等の可動部あるいは推進部を有する。機器EQPでは、光電変換装置APRから出力された信号を表示装置DSPLに表示したり、機器EQPが備える通信装置(不図示)によって外部に送信したりする。そのために、機器EQPは、光電変換装置APRが有する記憶回路部や演算回路部とは別に、記憶装置MMRYや処理装置PRCSを更に備えることが好ましい。
図29に示した機器EQPは、撮影機能を有する情報端末(例えばスマートフォンやウエアラブル端末)やカメラ(例えばレンズ交換式カメラ、コンパクトカメラ、ビデオカメラ、監視カメラ)などの電子機器でありうる。カメラにおける機械装置MCHNはズーミングや合焦、シャッター動作のために光学装置OPTの部品を駆動することができる。また、機器EQPは、車両や船舶、飛行体などの輸送機器(移動体)でありうる。また、機器EQPは、内視鏡やCTスキャナーなどの医療機器でありうる。また、機器EQPは、内視鏡やCTスキャナーなどの医療機器でありうる。
輸送機器における機械装置MCHNは移動装置として用いられうる。輸送機器としての機器EQPは、光電変換装置APRを輸送するものや、撮影機能により運転(操縦)の補助及び/又は自動化を行うものに好適である。運転(操縦)の補助及び/又は自動化のための処理装置PRCSは、光電変換装置APRで得られた情報に基づいて移動装置としての機械装置MCHNを操作するための処理を行うことができる。
本実施形態による光電変換装置APRは、その設計者、製造者、販売者、購入者及び/又は使用者に、高い価値を提供することができる。そのため、光電変換装置APRを機器EQPに搭載すれば、機器EQPの価値も高めることができる。よって、機器EQPの製造、販売を行う上で、本実施形態の光電変換装置APRの機器EQPへの搭載を決定することは、機器EQPの価値を高める上で有利である。
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
また、図2に示した画素12の回路構成は一例であり、適宜変更が可能である。例えば、各々の画素12が2つ以上の光電変換素子を備えていてもよい。また、1つの画素12の複数の光電変換素子が1つのマイクロレンズを共有する瞳分割画素を構成していてもよい。また、画素12は、必ずしも選択トランジスタM4を有する必要はない。また、浮遊拡散部FDの容量値が切り替え可能に構成されていてもよい。この場合、画素信号の電圧増幅率は、浮遊拡散部FDの容量値によって切り替え可能なソースフォロワ回路の増幅率(ゲインGsf)と増幅器32の増幅率との組み合わせによって設定が可能である。
また、上記実施形態では、各列に1本ずつの画素出力線16を配置したが、各列に2本以上の画素出力線16を配置してもよい。この場合、各々の画素12は、各列の画素出力線16のうちのいずれかに1つに接続されてもよいし、各列の画素出力線16の数に対応する複数の選択トランジスタを備えていてもよい。
また、図3に示した増幅器32の回路構成は一例であり、適宜変更が可能である。例えば、図3の構成例では増幅回路34に並列に3つの帰還容量C1,C2,C3を接続可能に構成しているが、帰還容量の数はこれに限定されるものではない。また、図3の構成例では入力容量C0を設けているが、入力容量の容量値が切り替え可能に構成されていてもよい。増幅器32の回路構成は、必要となる電圧増幅率の種類等に応じて適宜変更が可能である。
また、上記第7及び第8実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは図27及び図28に示した構成に限定されるものではない。
また、上記第9実施形態に示した機器は、本発明の光電変換装置を適用しうる機器の例を示したものであり、本発明の光電変換装置を適用可能な機器は図14に示した構成に限定されるものではない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
10…画素部
12…画素
30…増幅部
32…増幅器
40…比較部
44…比較器
46…参照信号生成部
50…メモリ部
52…メモリ
54…カウンタ部
60…水平走査部
70…デジタル信号処理部
80…出力部
90…タイミング生成部
100…光電変換装置

Claims (25)

  1. 光電変換部を有する画素と、
    前記画素において生成されるアナログ信号に対してAD変換を行うAD変換部と、
    前記AD変換部を制御する制御部と、を有し、
    前記制御部は、前記AD変換部を制御して、前記画素において生成される同一のアナログ信号に対して複数回のAD変換を行うように構成されており、
    前記複数回のAD変換のうちの第1AD変換期間の長さと、前記複数回のAD変換のうちの第2AD変換期間の長さとが異なっている
    ことを特徴とする光電変換装置。
  2. 前記AD変換部は、前記アナログ信号のレベルと、時間の経過とともにレベルが変化する参照信号のレベルとの比較動作を行う比較器を有し、
    前記第1AD変換期間において使用される参照信号の時間に対する変化率と、前記第2AD変換期間において使用される参照信号の時間に対する変化率と、が異なっている
    ことを特徴とする請求項1記載の光電変換装置。
  3. 前記AD変換部は、
    前記アナログ信号のレベルと、時間の経過とともにレベルが変化する参照信号のレベルとの比較動作を行う比較器と、
    前記比較動作の開始に対応してクロック信号のカウントを開始するカウンタと、を有し、
    前記第1AD変換期間における前記カウンタの周波数と、前記第2AD変換期間における前記カウンタの周波数と、が異なっている
    ことを特徴とする請求項1記載の光電変換装置。
  4. 前記第1AD変換期間において使用される参照信号の時間に対する変化率と、前記第2AD変換期間において使用される参照信号の時間に対する変化率と、が異なっている
    ことを特徴とする請求項3記載の光電変換装置。
  5. 前記制御部は、前記複数回のAD変換のうち少なくとも一のAD変換において、前記参照信号の時間に対する変化率を、前記アナログ信号のレベルに応じて設定する
    ことを特徴とする請求項2乃至4のいずれか1項に記載の光電変換装置。
  6. 前記アナログ信号を増幅する増幅部を更に有し、
    前記AD変換部は、前記増幅部で増幅された前記アナログ信号に対してAD変換を行うように構成されている
    ことを特徴とする請求項1乃至5のいずれか1項に記載の光電変換装置。
  7. 前記増幅部は、増幅率を変更可能に構成されており、
    前記AD変換部は、前記第1AD変換期間では第1の増幅率で増幅された前記アナログ信号に対してAD変換を行い、前記第2AD変換期間では第2の増幅率で増幅された前記アナログ信号に対してAD変換を行う
    ことを特徴とする請求項6記載の光電変換装置。
  8. 前記増幅部は、増幅率を変更可能に構成されており、
    前記制御部は、前記複数回のAD変換のうちの少なくとも一のAD変換におけるAD変換期間の長さを、前記増幅部の増幅率に応じて設定する
    ことを特徴とする請求項6記載の光電変換装置。
  9. 前記AD変換部は、前記アナログ信号を少なくとも3種類の増幅率で増幅した信号の各々に対してAD変換を行うように構成されている
    ことを特徴とする請求項6乃至8のいずれか1項に記載の光電変換装置。
  10. 前記制御部は、前記複数回のAD変換のうちの一のAD変換においてAD変換が行われる前記アナログ信号の増幅率を、前記複数回のAD変換のうちの他のAD変換におけるAD変換結果に基づいて設定する
    ことを特徴とする請求項6乃至9のいずれか1項に記載の光電変換装置。
  11. 前記制御部は、前記複数回のAD変換のうちの一のAD変換におけるAD変換期間の長さを、前記複数回のAD変換のうちの他のAD変換におけるAD変換結果に基づいて設定する
    ことを特徴とする請求項1乃至10のいずれか1項に記載の光電変換装置。
  12. 前記制御部は、前記AD変換部の駆動電流を、前記複数回のAD変換のうちの他のAD変換におけるAD変換結果に基づいて制御する
    ことを特徴とする請求項1乃至11のいずれか1項に記載の光電変換装置。
  13. 前記制御部は、前記AD変換の回数を、一のAD変換におけるAD変換結果に基づいて設定する
    ことを特徴とする請求項1乃至12のいずれか1項に記載の光電変換装置。
  14. 前記AD変換部から転送されたデジタル信号に対してデジタル信号処理を行うデジタル信号処理部を更に有し、
    前記AD変換部は、前記複数回のAD変換により得た複数のデジタル信号のうちの少なくとも一部を、ビット数を減らして前記デジタル信号処理部に転送するように構成されている
    ことを特徴とする請求項1乃至13のいずれか1項に記載の光電変換装置。
  15. 前記AD変換部から転送されたデジタル信号に対してデジタル信号処理を行うデジタル信号処理部を更に有し、
    前記デジタル信号処理部は、前記複数回のAD変換により得た複数のデジタル信号のうちの少なくとも一部を、ビット数を減らしてデジタル信号処理する
    ことを特徴とする請求項1乃至13のいずれか1項に記載の光電変換装置。
  16. 前記AD変換部から転送されたデジタル信号に対してデジタル信号処理を行うデジタル信号処理部を更に有し、
    前記デジタル信号処理部は、前記デジタル信号に対し、前記参照信号の時間に対する変化率に応じたデジタルゲイン処理を行う
    ことを特徴とする請求項2乃至5のいずれか1項に記載の光電変換装置。
  17. 前記AD変換部から転送されたデジタル信号に対してデジタル信号処理を行うデジタル信号処理部を更に有し、
    前記デジタル信号処理部は、前記デジタル信号に対し、前記アナログ信号の増幅率に応じたデジタルゲイン処理を行う
    ことを特徴とする請求項6乃至8のいずれか1項に記載の光電変換装置。
  18. 前記AD変換部から転送されたデジタル信号に対してデジタル信号処理を行うデジタル信号処理部を更に有し、
    前記デジタル信号処理部は、前記デジタル信号に対し、前記カウンタの周波数に応じたデジタルゲイン処理を行う
    ことを特徴とする請求項3記載の光電変換装置。
  19. 前記デジタル信号処理部は、前記複数回のAD変換により得た複数のデジタル信号を合成して画像信号を生成する
    ことを特徴とする請求項14乃至18のいずれか1項に記載の光電変換装置。
  20. 前記デジタル信号処理部は、前記複数回のAD変換により得た複数のデジタル信号に基づいて位相差検出信号を生成する
    ことを特徴とする請求項14乃至18のいずれか1項に記載の光電変換装置。
  21. 前記デジタル信号処理部は、前記複数回のAD変換により得た複数のデジタル信号に対して平均処理を行うことにより画像信号を生成する
    ことを特徴とする請求項14乃至18のいずれか1項に記載の光電変換装置。
  22. 光電変換部を有する画素と、前記画素において生成されるアナログ信号に対してAD変換を行うAD変換部と、を有する光電変換装置の駆動方法であって、
    前記画素において生成される同一のアナログ信号に対して、AD変換期間の長さの異なる複数回のAD変換を行い、前記複数回のAD変換に対応する複数のデジタル信号を取得し、
    前記複数のデジタル信号を合成して画像信号を生成する
    ことを特徴とする光電変換装置の駆動方法。
  23. 請求項1乃至21のいずれか1項に記載の光電変換装置と、
    前記光電変換装置から出力される信号を処理する信号処理部と
    を有することを特徴とする撮像システム。
  24. 移動体であって、
    請求項1乃至21のいずれか1項に記載の光電変換装置と、
    前記光電変換装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。
  25. 請求項1乃至21のいずれか1項に記載の光電変換装置と、
    前記光電変換装置に対応する光学装置、
    前記光電変換装置を制御する制御装置、
    前記光電変換装置から出力された信号を処理する処理装置、
    前記光電変換装置で得られた情報に基づいて制御される機械装置、
    前記光電変換装置で得られた情報を表示する表示装置、及び、
    前記光電変換装置で得られた情報を記憶する記憶装置、の少なくともいずれかと
    を備えることを特徴とする機器。
JP2021150295A 2021-09-15 2021-09-15 光電変換装置及びその駆動方法 Pending JP2023042891A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021150295A JP2023042891A (ja) 2021-09-15 2021-09-15 光電変換装置及びその駆動方法
US17/818,476 US20230079653A1 (en) 2021-09-15 2022-08-09 Photoelectric conversion device and method of driving photoelectric conversion device
CN202211120621.4A CN115835040A (zh) 2021-09-15 2022-09-15 光电转换装置及其驱动方法、摄像系统、移动体和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021150295A JP2023042891A (ja) 2021-09-15 2021-09-15 光電変換装置及びその駆動方法

Publications (1)

Publication Number Publication Date
JP2023042891A true JP2023042891A (ja) 2023-03-28

Family

ID=85480143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021150295A Pending JP2023042891A (ja) 2021-09-15 2021-09-15 光電変換装置及びその駆動方法

Country Status (3)

Country Link
US (1) US20230079653A1 (ja)
JP (1) JP2023042891A (ja)
CN (1) CN115835040A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5847737B2 (ja) * 2012-03-30 2016-01-27 キヤノン株式会社 光電変換装置および撮像システム
JP6704893B2 (ja) * 2017-11-30 2020-06-03 キヤノン株式会社 固体撮像装置、撮像システム、および固体撮像装置の駆動方法
JP2021136667A (ja) * 2020-02-28 2021-09-13 キヤノン株式会社 光電変換装置

Also Published As

Publication number Publication date
CN115835040A (zh) 2023-03-21
US20230079653A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
JP6750876B2 (ja) 固体撮像装置及びその駆動方法
US11496704B2 (en) Photoelectric conversion device having select circuit with a switch circuit having a plurality of switches, and imaging system
JP6889571B2 (ja) 撮像装置および撮像システム
JP6740067B2 (ja) 固体撮像装置及びその駆動方法
JP7046551B2 (ja) 固体撮像装置及び撮像システム
JP7439325B2 (ja) 撮像装置及び撮像システム
JP6704893B2 (ja) 固体撮像装置、撮像システム、および固体撮像装置の駆動方法
US10249678B2 (en) Imaging device, method of driving imaging device, and imaging system
US20220367557A1 (en) Solid-state imaging apparatus and imaging apparatus including the same
JP2017184185A (ja) 撮像装置、撮像システム、および、移動体
US11412163B2 (en) Imaging device, imaging system, and mobile apparatus having control signal lines supplying control signals to respective pixels
JP2023042891A (ja) 光電変換装置及びその駆動方法
US20230370737A1 (en) Photoelectric conversion device, imaging system, movable object, equipment, signal processing device and signal processing method
US20240040279A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
US11843880B2 (en) Photoelectric conversion device
US20230276150A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
US20230247332A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
US20240031709A1 (en) Photoelectric conversion device, method of driving photoelectric conversion device, and imaging system
US20230292024A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
JP2023166968A (ja) 信号処理装置及び光電変換装置
US20230276149A1 (en) Photoelectric conversion apparatus
US20230179751A1 (en) Photoelectric conversion device, image processing method, imaging system, mobile body, and equipment
WO2023002643A1 (ja) 撮像素子及び撮像装置
JP2022170557A (ja) Ad変換回路の駆動方法、ad変換回路、光電変換装置、機器
JP2023042083A (ja) 光電変換装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220630