JP2023039400A - Photoelectric conversion device and photoelectric conversion system - Google Patents
Photoelectric conversion device and photoelectric conversion system Download PDFInfo
- Publication number
- JP2023039400A JP2023039400A JP2022083065A JP2022083065A JP2023039400A JP 2023039400 A JP2023039400 A JP 2023039400A JP 2022083065 A JP2022083065 A JP 2022083065A JP 2022083065 A JP2022083065 A JP 2022083065A JP 2023039400 A JP2023039400 A JP 2023039400A
- Authority
- JP
- Japan
- Prior art keywords
- exposure period
- photoelectric conversion
- conversion device
- signal
- counter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 171
- 230000015654 memory Effects 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 47
- 230000007704 transition Effects 0.000 description 34
- 238000003384 imaging method Methods 0.000 description 30
- 239000000203 mixture Substances 0.000 description 19
- 238000010791 quenching Methods 0.000 description 19
- 239000004065 semiconductor Substances 0.000 description 18
- 239000000758 substrate Substances 0.000 description 15
- 238000007493 shaping process Methods 0.000 description 14
- 230000000052 comparative effect Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 210000005252 bulbus oculi Anatomy 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 238000002674 endoscopic surgery Methods 0.000 description 6
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000000969 carrier Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 239000004984 smart glass Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000001179 pupillary effect Effects 0.000 description 2
- 230000000171 quenching effect Effects 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000098 azimuthal photoelectron diffraction Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000010336 energy treatment Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
- H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Light Receiving Elements (AREA)
Abstract
Description
本発明は、光電変換装置、および光電変換システムに関する。 The present invention relates to a photoelectric conversion device and a photoelectric conversion system.
アバランシェ(電子なだれ)増倍を利用し、単一光子レベルの微弱光を検出可能なアバランシェフォトダイオード(APD)を用いた光検出装置が知られている。APDは、信号電荷と同じ極性の第1導電型の第1半導体領域と、信号電荷と異なる極性の第2導電型の第2半導体領域とにより高電界領域(アバランシェ増倍部)を形成する。 A photodetector using an avalanche photodiode (APD) capable of detecting weak light at the single photon level using avalanche (electron avalanche) multiplication is known. The APD forms a high electric field region (avalanche multiplier) with a first semiconductor region of the first conductivity type having the same polarity as the signal charge and a second semiconductor region of the second conductivity type having a polarity different from that of the signal charge.
特許文献1は、APDでアバランシェ増倍が可能な待機状態と、APDを待機状態に戻すリチャージ状態とを所定の周波数を有するクロック信号で制御する光検出装置が記載されている。具体的には、クロック信号がAPDに逆バイアスを印可する電源とAPDとの間に設けられたスイッチのオンとオフを制御する。例えば、クロック信号が第1のレベルの場合に、スイッチがオフになり、APDは待機状態となる。また、クロック信号が第2のレベルの場合に、スイッチがオンになり、APDはリチャージ状態となる。また、クロック信号は、APDからの出力信号と論理をとるように構成されている。このため、待機状態でAPDに光子が入った場合、クロック信号が第1のレベルから第2のレベルに遷移するタイミングで、APDから出力信号がカウンタに出力される構成となっている。
特許文献1の構成を用いることにより、高照度の場合に、光子がカウントされなくなるという、いわゆるパイルアップ現象を抑制することができる。しかし、特許文献1の構成では、所定以上の高照度になった場合に、カウント値が飽和してしまうため、ダイナミックレンジの拡大が不十分であった。
By using the configuration of
そこで、本発明は、特許文献1の構成よりも、よりダイナミックレンジを拡大可能なAPDを有する光電変換装置を提供することを目的とする。
Accordingly, an object of the present invention is to provide a photoelectric conversion device having an APD capable of expanding the dynamic range more than the configuration of
本発明にかかる光電変換装置は、アバランシェ増倍を行うフォトダイオードと、前記フォトダイオードと電源との間に配され、前記フォトダイオードを前記電源に電気的に接続する第1の状態と、前記フォトダイオードを前記電源に電気的に接続しない第2の状態に切り替える回路と、前記フォトダイオードからの出力信号をカウントするカウンタと、露光期間に含まれ、前記露光期間よりも短い所定の露光期間内に、前記カウンタのカウント値が閾値に達したことを示す時間情報が書き込まれるメモリと、を有し、前記露光期間において、クロック信号が、前記回路に入力可能に構成されていることを特徴とする。 A photoelectric conversion device according to the present invention includes a photodiode that performs avalanche multiplication; a first state in which the photodiode is arranged between the photodiode and a power supply; a circuit that switches the diode to a second state in which the diode is not electrically connected to the power supply; a counter that counts the output signal from the photodiode; and a memory in which time information indicating that the count value of the counter has reached a threshold value is written, and a clock signal can be input to the circuit during the exposure period. .
本発明によれば、特許文献1の構成よりも、ダイナミックレンジを拡大可能なAPDを有する光電変換装置を提供することができる。
According to the present invention, it is possible to provide a photoelectric conversion device having an APD capable of expanding the dynamic range more than the configuration of
以下に示す形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略することがある。また、各実施形態で説明した構成は、技術的に問題がない限り、その他の実施形態で説明した構成と相互に置換したり組み合わせたりすることが可能である。 The embodiments shown below are for embodying the technical idea of the present invention, and are not intended to limit the present invention. The sizes and positional relationships of members shown in each drawing may be exaggerated for clarity of explanation. In the following description, the same configuration may be assigned the same number and the description thereof may be omitted. In addition, the configurations described in each embodiment can be replaced or combined with configurations described in other embodiments as long as there is no technical problem.
以下、図面に基づいて本発明の実施の形態を詳細に説明する。なお、以下の説明では、必要に応じて特定の方向や位置を示す用語(例えば、「上」、「下」、「右」、「左」及び、それらの用語を含む別の用語)を用いる。それらの用語の使用は図面を参照した発明の理解を容易にするためであって、それらの用語の意味によって本発明の技術的範囲が限定されるものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail based on the drawings. In the following description, terms indicating specific directions and positions (for example, "upper", "lower", "right", "left", and other terms including those terms) are used as necessary. . These terms are used to facilitate understanding of the invention with reference to the drawings, and the technical scope of the present invention is not limited by the meaning of these terms.
以下の説明において、アバランシェフォトダイオード(APD)のアノードを固定電位とし、カソード側から信号を取り出している。したがって、信号電荷と同じ極性の電荷を多数キャリアとする第1導電型の半導体領域とはN型半導体領域であり、信号電荷と異なる極性の電荷を多数キャリアとする第2導電型の半導体領域とはP型半導体領域である。なお、APDのカソードを固定電位とし、アノード側から信号を取り出してもよい。この場合は、信号電荷と同じ極性の電荷を多数キャリアとする第1導電型の半導体領域はP型半導体領域であり、信号電荷と異なる極性の電荷を多数キャリアとする第2導電型の半導体領域とはN型半導体領域である。以下では、APDの一方のノードを固定電位とする場合について説明するが、両方のノードの電位が変動してもよい。 In the following description, the anode of the avalanche photodiode (APD) is set to a fixed potential and the signal is extracted from the cathode side. Therefore, the semiconductor region of the first conductivity type in which majority carriers are the same polarity as the signal charges is an N-type semiconductor region, and the semiconductor region of the second conductivity type in which majority carriers are charges of a different polarity from the signal charges. is a P-type semiconductor region. It should be noted that the cathode of the APD may be set at a fixed potential and the signal may be extracted from the anode side. In this case, the semiconductor region of the first conductivity type having majority carriers of the same polarity as the signal charges is a P-type semiconductor region, and the semiconductor region of the second conductivity type having majority carriers of charges having a polarity different from that of the signal charges. is an N-type semiconductor region. A case where one node of the APD is set to a fixed potential will be described below, but the potentials of both nodes may vary.
図1は、積層型の光電変換装置100の構成を示す図である。光電変換装置100は、センサ基板11と、回路基板21の2つの基板が積層され、電気的に接続されることにより構成される。センサ基板11は、後述する光電変換素子102を有する第1半導体層と、第1配線構造と、を有する。回路基板21は、後述する信号処理部103等の回路を有する第2半導体層と、第2配線構造と、を有する。光電変換装置100は、第2半導体層、第2配線構造、第1配線構造、第1半導体層の順に積層して構成される。各実施形態に記載の光電変換装置は、第2面から光が入射し、第1面に回路基板が配される、裏面照射型の光電変換装置である。
FIG. 1 is a diagram showing the configuration of a stacked
以下では、センサ基板11と回路基板21とは、ダイシングされたチップで説明するが、チップに限定されない。例えば、各基板はウエハであってもよい。また、各基板はウエハ状態で積層した後にダイシングされていてもよいし、ウエハ状態からチップ化した後に各チップを積層して接合してもよい。
In the following description, the
センサ基板11には、画素領域12が配され、回路基板21には、画素領域12で検出された信号を処理する回路領域22が配される。
A
図2は、センサ基板11の配置例を示す図である。APDを含む光電変換素子102を有する画素101が平面視で二次元アレイ状に配列され、画素領域12を形成する。
FIG. 2 is a diagram showing an arrangement example of the
画素101は、典型的には、画像を形成するための画素であるが、TOF(Time of Flight)に用いる場合には、必ずしも画像を形成しなくてもよい。すなわち、画素101は、光が到達した時刻と光量を測定するためのものであってもよい。
The
図3は、回路基板21の構成図である。図2の光電変換素子102で光電変換された電荷を処理する信号処理部103、読み出し回路112、制御パルス生成部115、水平走査回路部111、信号線113、垂直走査回路部110を有している。
FIG. 3 is a configuration diagram of the
図2の光電変換素子102と、図3の信号処理部103は、画素毎に設けられた接続配線を介して電気的に接続される。
The
垂直走査回路部110は、制御パルス生成部115から供給された制御パルスを受け、各画素に制御パルスを供給する。垂直走査回路部110にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。
The vertical
画素の光電変換素子102から出力された信号は、信号処理部103で処理される。信号処理部103は、カウンタやメモリなどが設けられており、メモリにはデジタル値が書き込まれて保持される。
A signal output from the
水平走査回路部111は、デジタル信号が保持された各画素のメモリから信号を読み出すために、各列を順次選択する制御パルスを信号処理部103に入力する。
The horizontal
信号線113には、選択されている列について、垂直走査回路部110により選択された画素の信号処理部103から信号が出力される。
A signal is output to the
信号線113に出力された信号は、出力回路114を介して、光電変換装置100の外部の記録部または信号処理部に出力する。
The signal output to the
図2において、画素領域における光電変換素子の配列は1次元状に配されていてもよい。信号処理部の機能は、必ずしも全ての光電変換素子に1つずつ設けられる必要はなく、例えば、複数の光電変換素子によって1つの信号処理部が共有され、順次信号処理が行われてもよい。 In FIG. 2, the photoelectric conversion elements may be arranged one-dimensionally in the pixel region. The function of the signal processing unit does not necessarily have to be provided for each photoelectric conversion element. For example, one signal processing unit may be shared by a plurality of photoelectric conversion elements, and signal processing may be performed sequentially.
図2および図3に示すように、平面視で画素領域12に重なる領域に、複数の信号処理部103が配される。そして、平面視で、センサ基板11の端と画素領域12の端との間に重なるように、垂直走査回路部110、水平走査回路部111、読み出し回路112、出力回路114、制御パルス生成部115が配される。言い換えると、センサ基板11は、画素領域12と画素領域12の周りに配された非画素領域とを有する。そして、平面視で非画素領域に重なる領域に、垂直走査回路部110、水平走査回路部111、読み出し回路112、出力回路114、制御パルス生成部115が配される。
As shown in FIGS. 2 and 3, a plurality of
図4は、図2及び図3の等価回路を含むブロック図の一例である。図4は、一般的なAPDを有する光電変換装置のブロック図を示している。 FIG. 4 is an example of a block diagram including the equivalent circuits of FIGS. 2 and 3. In FIG. FIG. 4 shows a block diagram of a photoelectric conversion device with a general APD.
図4において、APD201を有する光電変換素子102は、センサ基板11に設けられており、その他の部材は、回路基板21に設けられている。
In FIG. 4, the
APD201は、光電変換により入射光に応じた電荷対を生成する。APD201のアノードには、電圧VL(第1電圧)が供給される。また、APD201のカソードには、アノードに供給される電圧VLよりも高い電圧VH(第2電圧)が供給される。アノードとカソードには、APD201がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。
The
なお、逆バイアスの電圧が供給される場合において、アノードおよびカソードの電位差が降伏電圧より大きい電位差で動作させるガイガーモードと、アノードおよびカソードの電位差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。 When a reverse bias voltage is supplied, the Geiger mode operates with a potential difference between the anode and cathode that is greater than the breakdown voltage, and operates with a voltage difference near or below the breakdown voltage between the anode and cathode. It has a linear mode.
ガイガーモードで動作させるAPDをSPAD(シングルフォトンアバランシェダイオード)と呼ぶ。例えば、電圧VL(第1電圧)は、-30V、電圧VH(第2電圧)は、3Vである。APD201は、リニアモードで動作させてもよいし、ガイガーモードで動作させてもよい。
An APD operated in Geiger mode is called a SPAD (single photon avalanche diode). For example, the voltage VL (first voltage) is -30V, and the voltage VH (second voltage) is 3V. The
クエンチ素子202は、電圧VHを供給する電源とAPD201に接続される。クエンチ素子202は、アバランシェ増倍による信号増倍時に負荷回路(クエンチ回路)として機能し、APD201に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ(クエンチ動作)。また、クエンチ素子202は、クエンチ動作で電圧降下した分の電流を流すことにより、APD201に供給する電圧を電圧VHへと戻す働きを持つ(リチャージ動作)。
The quenching
信号処理部103は、波形整形部210、カウンタ211、選択回路212を有する。本明細書において、信号処理部103は、波形整形部210、カウンタ211、選択回路212のいずれかを有していればよい。
The
波形整形部210は、光子検出時に得られるAPD201のカソードの電位変化を整形して、パルス信号を出力する。波形整形部210としては、例えば、インバータ回路が用いられる。図4では、波形整形部210としてインバータを一つ用いた例を示したが、複数のインバータを直列接続した回路を用いてもよいし、波形整形効果があるその他の回路を用いてもよい。
A
カウンタ211は、波形整形部210から出力されたパルス信号の数(回数)をカウントし、カウント値を保持する。また、駆動線213を介して制御パルスpRESが供給されたとき、カウンタ211に保持された信号がリセットされる。
The
選択回路212には、図3の垂直走査回路部110から、図4の駆動線214(図3では不図示)を介して制御パルスpSELが供給され、カウンタ211と信号線113との電気的な接続、非接続を切り替える。選択回路212には、例えば、信号を出力するためのバッファ回路などを含む。
The
クエンチ素子202とAPD201との間や、光電変換素子102と信号処理部103との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えてもよい。同様に、光電変換素子102に供給される電圧VHまたは電圧VLの供給をトランジスタ等のスイッチを用いて電気的に切り替えてもよい。
A switch such as a transistor may be provided between the quench
本実施形態では、カウンタ211を用いる構成を示した。しかし、カウンタ211の代わりに、時間・デジタル変換回路(Time to Digital Converter:以下、TDC)、メモリを用いて、パルス検出タイミングを取得する光電変換装置100としてもよい。このとき、波形整形部210から出力されたパルス信号の発生タイミングは、TDCによってデジタル信号に変換される。TDCには、パルス信号のタイミングの測定に、図1の垂直走査回路部110から駆動線を介して、制御パルスpREF(参照信号)が供給される。TDCは、制御パルスpREFを基準として、波形整形部210を介して各画素から出力された信号の入力タイミングを相対的な時間としたときの信号をデジタル信号として取得する。
In this embodiment, the configuration using the
図5は、APDの動作と出力信号との関係を模式的に示した図である。 FIG. 5 is a diagram schematically showing the relationship between the operation of the APD and the output signal.
図5(a)は、図4のAPD201、クエンチ素子202、波形整形部210を抜粋した図である。ここで、波形整形部210の入力側をVC、出力側をVOとする。図5(b)は、図5(a)のVCの電圧を、図5(c)は、図5(a)のVOの信号をそれぞれ示す。
FIG. 5(a) is a diagram of the
時刻t0から時刻t1の間において、図5(a)のAPD201には、VH-VLの電位差が印加されている。時刻t1において光子がAPD201に入射すると、APD201でアバランシェ増倍が生じ、クエンチ素子202にアバランシェ増倍電流が流れ、VCの電圧は降下する。電圧降下量がさらに大きくなり、APD201に印加される電位差が小さくなると、時刻t2のようにAPD201のアバランシェ増倍が停止し、VCの電圧レベルはある一定値以上降下しなくなる。その後、時刻t2から時刻t3の間において、VCには電圧VLから電圧降下分を補う電流が流れ、時刻t3においてVCは元の電位レベルに静定する。このとき、VCにおいて出力波形がある閾値を越えた部分は、波形整形部210で波形整形され、VOで信号として出力される。
Between time t0 and time t1, a potential difference of VH-VL is applied to the
なお、信号線113の配置、読み出し回路112、出力回路114の配置は図3に限定されない。例えば、信号線113が行方向に延びて配されており、信号線113が延びる先に読み出し回路112が配されていてもよい。
Note that the arrangement of the
(第1の実施形態)
図6は、画素回路のブロック図および等価回路図を示す。図6(a)および(b)は比較例であり、図6(c)は本実施形態である。また、図7(a)および(b)は比較例である。さらに、図8(a)および(b)は比較例であり、図8(c)は本実施形態である。
(First embodiment)
FIG. 6 shows a block diagram and an equivalent circuit diagram of the pixel circuit. 6A and 6B are comparative examples, and FIG. 6C is the present embodiment. Also, FIGS. 7A and 7B are comparative examples. Further, FIGS. 8(a) and (b) are comparative examples, and FIG. 8(c) is the present embodiment.
(比較例1:パッシブリチャージ回路)
図6(a)は、比較例であるパッシブリチャージの画素回路のブロック図および等価回路である。APD201のカソード側に接続されているクエンチ素子202であるトランジスタのゲートと、論理回路221(OR回路)の出力は同一ノードである。論理回路221には、信号ENBと信号STOPが入力可能に構成されている。信号ENBは、露光期間Tの間はローレベルとなり、その他の期間はハイレベルとなっている。
(Comparative example 1: passive recharge circuit)
FIG. 6A is a block diagram and an equivalent circuit of a passive recharge pixel circuit as a comparative example. The gate of the transistor which is the
信号STOPがローレベルであって、信号ENBがローレベルの場合にトランジスタはオンになり、リチャージ状態となり、APD201は所定期間後にアバランシェ増倍が可能な待機状態となる。それ以外の信号のパターンの場合に、クエンチ素子はオフになり、リチャージ状態とならないため、APD201はアバランシェ増倍ができない非待機状態となる。波形整形部210は、インバータで構成されており、カウンタ211には11ビットのフリップフロップが設けられている。例えば、カウンタ211が最大カウント値である2047になったら、信号STOPはローレベルからハイレベルに遷移し、クエンチ素子202のトランジスタはオフになる。これにより、信号ENBがローレベルとなってもクエンチ素子202はオフし続け、APD201の非待機状態が維持される。
When the signal STOP is at low level and the signal ENB is at low level, the transistor is turned on to enter a recharge state, and the
図7(a)の右図は、図6(a)のVCの電圧とVOの信号を示したものである。 The right diagram of FIG. 7(a) shows the voltage of VC and the signal of VO of FIG. 6(a).
低照度の場合は、光子の入射間隔が長いことから、光子入射後にVCの電圧が低くなった状態の後に、リチャージされて電圧が高い状態になるまでに十分な時間が確保できる。図7(a)の右図の場合、3つの光子に対応して、3つのパルスをカウントできることが示されている。他方、高照度の場合は、光子の入射間隔が短いことから、VCの電圧が低い状態に維持され、電圧が高い状態に復帰しないため、判定閾値を下から上に越えるまでに時間がかかる。図7(a)の右図の場合、約20程度の光子が入射しているにも関わらず、3つのパルスのみがカウントされていることが示されている。すなわち、光子カウント漏れが生じている。 In the case of low illuminance, since the interval between incident photons is long, it is possible to ensure a sufficient time for the VC to be recharged to a high voltage after the state in which the voltage of VC is low after the incident photons. The right diagram of FIG. 7A shows that three pulses can be counted corresponding to three photons. On the other hand, in the case of high illuminance, since the interval between incident photons is short, the voltage of VC is maintained in a low state and does not return to a high state, so it takes time to exceed the determination threshold from bottom to top. In the case of the right diagram of FIG. 7(a), only three pulses are counted although about 20 photons are incident. That is, photon count leakage occurs.
この結果、図6(a)に示すパッシブリチャージの形態の場合、図7(a)に示すように、低照度でも高照度でも、同じカウント値となる状況が生じうる。また、光子入射がより頻繁に起こると、VCの電圧が低い状態が維持され、判定閾値を下から上に越えることがなくなる。この場合、VOの電圧は、高いままとなり、信号が1つも生成されないこととなる。すなわち、図6(a)に示すパッシブリチャージの形態の場合においては、高照度のときに適切なカウント値が得られないことから、ダイナミックレンジは狭くなってしまう。 As a result, in the case of the passive recharge mode shown in FIG. 6(a), as shown in FIG. 7(a), a situation may occur in which the count value is the same regardless of whether the illuminance is low or high. Further, when photon incidence occurs more frequently, the voltage of VC is kept low, and the decision threshold is not exceeded from bottom to top. In this case, the voltage on VO will remain high and no signal will be generated. That is, in the case of the passive recharge mode shown in FIG. 6(a), since an appropriate count value cannot be obtained at high illuminance, the dynamic range is narrowed.
(比較例2:クロックリチャージ回路)
図6(b)は、比較例であるクロックリチャージの画素回路のブロック図および等価回路図である。論理回路221(OR回路)の入力には、信号CLKBと信号STOPが入力可能に構成されている。信号CLKBは、露光期間TにNc個のパルス信号を有するクロック信号である。図6(b)では、信号STOPがローレベルであって、信号CLKBがローレベルの場合にトランジスタはオンになり、リチャージされる。それ以外の信号のパターンの場合は、クエンチ素子はオフになる。例えば、信号CLKBがハイレベルの場合は、クエンチ素子はリチャージ後にオフとなっているため、アバランシェ増倍が可能な待機状態である。換言すれば、APD201と電源(電圧VH)との間に回路(トランジスタ)が配されており、当該回路は、APD201と電源を電気的に接続する第1の状態と、APD201と電源を電気的に接続しない第2の状態とを切り替える制御を行っている。この場合、第1の状態がリチャージ状態であり、第2の状態が待機状態である。
(Comparative example 2: clock recharge circuit)
FIG. 6B is a block diagram and an equivalent circuit diagram of a clock recharge pixel circuit as a comparative example. A signal CLKB and a signal STOP can be input to the input of the logic circuit 221 (OR circuit). The signal CLKB is a clock signal having Nc pulse signals during the exposure period T. FIG. In FIG. 6(b), the transistor is turned on and recharged when the signal STOP is at low level and the signal CLKB is at low level. For any other signal pattern, the quenching element is turned off. For example, when the signal CLKB is at high level, the quench element is off after being recharged, which means that it is in a standby state in which avalanche multiplication is possible. In other words, a circuit (transistor) is arranged between the
APD201のカソードとカウンタ211との間には、論理回路222(片側の入力の論理を反転させたAND回路)が設けられており、信号CLKBとVCが入力可能に構成されている。論理回路222は、VCからの出力を反転して入力される論理回路であり、光子の入射により、VCがハイレベルからローレベルに遷移する。この場合、信号CLKBがハイレベルのときは、論理回路222の出力はハイレベルとなる。その後、信号CLKBがハイレベルから、ローレベルに遷移する場合に、論理回路222の出力はローレベルとなるため、出力信号が生成されることになる。
Between the cathode of the
図7(b)の右図は、図6(b)の信号CLKB、VCの電圧、VOの信号を示したものである。 The right diagram of FIG. 7(b) shows the signal CLKB, the voltage of VC, and the signal of VO in FIG. 6(b).
まず、低照度の場合をみると、信号CLKBはハイレベルの場合(待機状態)において光子が入射すると、VCの電圧が下がってローレベルに遷移する。信号CLKBがハイレベルなので、VOからの出力はハイレベルとなり、その後信号CLKBがローレベルになるときに、VOからの出力がハイレベルからローレベルとなり、信号が生成される。 First, in the case of low illuminance, when the signal CLKB is at high level (standby state) and a photon is incident, the voltage of VC drops and transitions to low level. Since the signal CLKB is high level, the output from VO becomes high level, and then when the signal CLKB becomes low level, the output from VO changes from high level to low level, and a signal is generated.
他方、高照度の場合をみると、信号CLKBがハイレベルの場合(待機状態)において、光子入射が頻繁に起こる場合であっても、信号CLKBがハイレベルである限り、ハイレベルになったVOは、ハイレベルを維持する。次に、信号CLKBがハイレベルからローレベルに遷移することにより、VOからの出力はハイレベルからローレベルに遷移し、1つの信号が生成される。 On the other hand, in the case of high illuminance, when the signal CLKB is high level (standby state), even if photon incidence occurs frequently, as long as the signal CLKB is high level, VO maintain a high level. Next, the transition of signal CLKB from high level to low level causes the output from VO to transition from high level to low level, generating one signal.
このように、クロックリチャージ回路においては、パッシブリチャージの場合に生じていた、低照度でも高照度でも同じカウント値となる状況、あるいは、信号が1つも生成されないという状況が解消される。すなわち、クロックリチャージ回路では、低照度のカウント値が高照度のカウント値よりも大きくならないという利点がある。論理回路222から出力された信号はカウンタ211からメモリ240を介して、外部に出力するように構成されている。なお、論理回路222の出力のパルスの立下りでカウントするのか、その前のパルスの立ち上がりでカウントするのかは適宜設定することができる。
Thus, in the clock recharge circuit, the situation where the count value is the same regardless of whether the illuminance is low or high, or the situation where no signal is generated, which occurs in the case of passive recharge, is resolved. In other words, the clock recharge circuit has the advantage that the low illuminance count value is not greater than the high illuminance count value. The signal output from the
図8は、クロックリチャージ回路のタイミングチャートをより詳細に示したものである。 FIG. 8 shows the timing chart of the clock recharge circuit in more detail.
時刻t0で、信号RES(図6(b)で不図示)のパルスがオンになり、カウンタ211がリセットされ、カウンタ211のカウント値COUNTが「0」となる。
At time t0, the pulse of the signal RES (not shown in FIG. 6B) is turned on, the
時刻t1で、信号EN(図6(b)で不図示)がオンになり、露光期間Tが開始される。時刻t1で信号CLKBがハイレベルからローレベルに遷移すると、信号STOPがローレベルのため、APDはリチャージが開始され、VCの電圧が徐々に上昇し、待機モードとなる。時刻t1で信号CLKBがハイレベルからローレベルに遷移し、VOはハイレベルからローレベルになる。 At time t1, the signal EN (not shown in FIG. 6B) is turned on, and the exposure period T starts. When the signal CLKB transitions from high level to low level at time t1, since the signal STOP is at low level, the APD starts recharging, the voltage of VC gradually rises, and the standby mode is entered. At time t1, signal CLKB transitions from high level to low level, and VO changes from high level to low level.
時刻t2で、光子(Photons)が入射すると、アバランシェ増倍が開始し、VCの電位は降下する。VCから論理回路222に入力される信号はローレベルであり、信号CLKBもハイレベルであるため、論理回路222からの出力であるVOはローレベルからハイレベルに遷移する。この遷移により、COUNTは「0」から「1」となる。
At time t2, when photons are incident, avalanche multiplication begins and the potential of VC drops. Since the signal input from VC to the
時刻t3で、光子が入射するが、信号CLKBはハイレベルのままであり、VCの電位も変化せず、VOもハイレベルを維持する。 At time t3, a photon is incident, but the signal CLKB remains at high level, the potential of VC does not change, and VO remains at high level.
時刻t4で、信号CLKBがハイレベルからローレベルに遷移すると、時刻t1と同様に、リチャージが開始し、VCの電位が変化する。また、信号CLKBがハイレベルからローレベルに遷移するので、VOはハイレベルからローレベルに遷移する。すなわち、時刻t2に立ち上がったVOの波形は、時刻t4において立ち下がる。 When the signal CLKB transitions from high level to low level at time t4, recharging starts and the potential of VC changes, as at time t1. Also, since the signal CLKB transitions from high level to low level, VO transitions from high level to low level. That is, the waveform of VO that rises at time t2 falls at time t4.
同様に、時刻t5には、光子が入射し、上記したように、アバランシェ増倍が開始し、VOがローレベルからハイレベルに遷移する。 Similarly, at time t5, a photon is incident, avalanche multiplication begins and VO transitions from low level to high level, as described above.
このような動作を順次繰り返し、時刻t6に信号CLKBのハイレベルからローレベルへの遷移個数がNc個目になり、時刻t7に光子が入射し、VOがローレベルからハイレベルに遷移すると、COUNTはNcとなる。カウンタの最大カウント値を超えるため、信号STOPもローレベルからハイレベルに遷移するカウンタ211に入力されるSTOP信号(図bでは不図示)がハイレベルになる。これにより、カウント値がNcとなった時刻以降はVOに変化があったとしてもカウントされない。この例では、待機状態毎に毎回少なくとも1個の光子が入射した場合を想定しており、この場合、露光期間Tにおいて、信号CLKBのパルス数がNc個であるため、COUNTも「Nc」となる。 Such an operation is sequentially repeated, and at time t6, the number of transitions of the signal CLKB from the high level to the low level reaches Nc. becomes Nc. Since the maximum count value of the counter is exceeded, the signal STOP also transitions from low level to high level. As a result, even if there is a change in VO after the time when the count value reaches Nc, it is not counted. In this example, it is assumed that at least one photon is incident each time in each standby state. In this case, the number of pulses of the signal CLKB is Nc during the exposure period T, so COUNT is also "Nc". Become.
時刻t8で、カウンタ211に入力される信号ENがハイレベルからローレベルになる。ここで、時刻t8では、VOがハイレベルになっているため、このハイレベルをカウントしないように、信号ENをハイレベルからローレベルに遷移させることにより、露光期間Tの期間外でカウンタ211にてカウントしない構成となっている。
At time t8, the signal EN input to the
時刻t9で読み出し信号WRT(図6(b)で不図示)がハイレベルになるとメモリ223にその時刻のカウント値が記憶される。時刻t10で、読み出し信号READ(図6(b)で不図示)がハイレベルになると、選択回路からメモリ223に記憶されたカウント値が光電変換装置の外部に信号が読み出される。例えば、信号WRTは全行一括でメモリ223に情報を格納し、信号READは、行順次で外部に読みだす構成となっている。これにより、全行一括で露光期間を開始するグローバルシャッタを実現できる。
When the read signal WRT (not shown in FIG. 6B) becomes high level at time t9, the
(本実施形態の説明)
図8は、クロックリチャージ駆動における、時間とカウント値を示したものである。ここで、「Nsat」は、カウンタの最大カウント値相当の数である。「Nsat」の詳細については後述する。
(Description of this embodiment)
FIG. 8 shows time and count values in clock recharge driving. Here, "Nsat" is a number corresponding to the maximum count value of the counter. Details of "Nsat" will be described later.
図8(a)において、(ii)は低照度の場合であり、露光時間Tの完了時にカウンタ数は、Nsatまでに到達しないことを示している。他方、(i)は、高照度の場合であり、露光時間Tの完了前にカウント値はNsatに到達する。この場合、Nsatに到達する時間を記録しておけば、外挿法を用いて、露光期間Tの完了時のカウント値を算出することが可能である。この外挿法を用いて算出したカウント値を、算出カウント値ともいう。この結果、ダイナミックレンジを拡大することが可能である。 In FIG. 8A, (ii) is a case of low illuminance, indicating that the counter number does not reach Nsat when the exposure time T is completed. On the other hand, (i) is the case of high illuminance, and the count value reaches Nsat before the exposure time T is completed. In this case, if the time to reach Nsat is recorded, it is possible to calculate the count value at the completion of the exposure period T using an extrapolation method. A count value calculated using this extrapolation method is also referred to as a calculated count value. As a result, it is possible to expand the dynamic range.
図8(b)においても(i)は高照度の場合、(ii)は低照度の場合を示している。図8(b)の(i)では、露光期間の完了前の所定のタイミング(T/m)で、所定のカウント値(Nsat/m)以上になったか否かを判定する。例えば、図8(b)では、m=2とし、露光期間Tの1/2のタイミングで所定のカウント値以上になったか否かを判定する場合を示している。そして、所定のカウント値以上になった場合に、露光が停止する駆動を示している。この場合、計測されたカウント値に「m」を乗じた値が、露光期間Tの完了時の算出カウント値として扱われる。例えば、m=2である。 Also in FIG. 8B, (i) shows the case of high illuminance, and (ii) shows the case of low illuminance. In (i) of FIG. 8B, at a predetermined timing (T/m) before the end of the exposure period, it is determined whether or not a predetermined count value (Nsat/m) has been reached. For example, FIG. 8(b) shows a case where m=2 and whether or not a predetermined count value or more is determined at a timing of 1/2 of the exposure period T is determined. Then, when the count value reaches or exceeds a predetermined count value, the drive is shown in which the exposure is stopped. In this case, a value obtained by multiplying the measured count value by "m" is treated as the calculated count value when the exposure period T is completed. For example, m=2.
図8(c)は、本実施形態に係る駆動を示した図である。具体的には、図8(b)(i)に示す駆動を採用しながら、所定の判定タイミング(所定のチェックポイント)を複数設けた場合を示すものである。(i)では、第1の露光期間(T/m3)で、所定のカウント値(Nsat/m)以上か否かを判定している。(ii)では、第2の露光期間(T/m2)で、所定のカウント値(Nsat/m)以上か否かを判定している。(iii)では、第3の露光期間(T/m)で、所定のカウント値(Nsat/m)以上か否かを判定している。この場合、計測されたカウント値のそれぞれに対して、「m3」、「m2」、「m」を乗じた値、例えば、8、4、2を乗じた値が、露光期間Tの完了時の算出カウント値として扱われる。 FIG. 8C is a diagram showing driving according to this embodiment. Specifically, it shows a case where a plurality of predetermined determination timings (predetermined checkpoints) are provided while adopting the driving shown in FIGS. 8(b) and (i). In (i), it is determined whether or not a predetermined count value (Nsat/m) is exceeded during the first exposure period (T/m 3 ). In (ii), it is determined whether or not the second exposure period (T/m 2 ) is equal to or greater than a predetermined count value (Nsat/m). In (iii), it is determined whether or not the third exposure period (T/m) is equal to or greater than a predetermined count value (Nsat/m). In this case, the value obtained by multiplying each of the measured count values by “m 3 ”, “m 2 ”, and “m”, for example, by 8, 4, and 2, is the completion of the exposure period T. Treated as a calculated count value for the hour.
ここで、各判定タイミングでは、所定のカウント値以上か否かを判定して、所定のカウント値以上であれば、露光を停止し、そのカウント値を出力することになる。したがって、露光停止となった場合、カウント値は、Nsat/m以上、Nsat以下となる。 Here, at each determination timing, it is determined whether or not the count value is equal to or greater than a predetermined count value, and if the count value is equal to or greater than the predetermined count value, exposure is stopped and the count value is output. Therefore, when exposure is stopped, the count value is Nsat/m or more and Nsat or less.
このように複数のチェックポイントで判定するように構成すれば、よりダイナミックレンジを拡大することが可能である。 If the determination is made at a plurality of checkpoints in this way, the dynamic range can be further expanded.
図9(a)は、図8(b)と(c)で説明した形式における照度とカウント値との関係を示したものである。また、図9(b)は、当該形式における照度と露光時間の関係を示したものである。照度が最も低い領域の場合には、露光期間Tの完了までカウントが継続されるため、図9(b)に示すように、露光時間は最も長くなる。照度が最も低い領域の場合、カウンタが飽和するまでカウントし続けるため、図9(a)に示すように、0からNsatまでカウントがされることになる。次に、照度がやや大きくなる領域の場合は、第3の露光期間(T/m)で、所定のカウント値(Nsat/m)以上と判定され、露光が停止される場合である。露光が途中で停止されるため、図9(b)に示すように、露光時間は短くなる。また、図9(a)に示すように、この場合に出力されるカウント値は、Nsat/m以上Nsat以下となる。第2の露光期間(T/m2)で露光が停止される場合、および、第1の露光期間(T/m3)で露光が停止される場合も同様である。 FIG. 9(a) shows the relationship between the illuminance and the count value in the format described in FIGS. 8(b) and 8(c). FIG. 9(b) shows the relationship between illuminance and exposure time in this format. In the case of the area with the lowest illuminance, counting continues until the exposure period T is completed, so the exposure time is the longest as shown in FIG. 9(b). In the area where the illuminance is the lowest, the counter continues to count until it saturates, so as shown in FIG. 9A, the count is from 0 to Nsat. Next, in the case of an area where the illuminance is slightly high, it is determined that the count value (Nsat/m) is equal to or greater than the predetermined count value (Nsat/m) during the third exposure period (T/m), and the exposure is stopped. Since the exposure is stopped halfway, the exposure time is shortened as shown in FIG. 9(b). Also, as shown in FIG. 9A, the count value output in this case is Nsat/m or more and Nsat or less. The same applies when exposure is stopped during the second exposure period (T/m 2 ) and when exposure is stopped during the first exposure period (T/m 3 ).
第1の露光期間(T/m3)で露光が停止される場合においては、最大Nsatまでカウントすることができる。この場合、算出カウント値は、m3を乗じた値になるため、Nsat×m3となる。すなわち、画像形成に用いることのできるカウント値を、Nsatから、Nsat×m3まで拡大させることができ、ダイナミックレンジを拡大できる。また、画素毎に、異なるタイミングでカウントを停止するかを制御することもできる。すなわち、画素毎に、露光時間を制御することもでき、いずれの画素においても、ダイナミックレンジを拡大することができる。以下、上記で説明した方式を実現する回路や駆動の例について説明する。 In case the exposure is stopped at the first exposure period (T/m 3 ), the maximum Nsat can be counted. In this case, the calculated count value is a value multiplied by m3 , so it is Nsat× m3 . That is, the count value that can be used for image formation can be expanded from Nsat to Nsat× m3 , and the dynamic range can be expanded. It is also possible to control whether to stop counting at different timings for each pixel. That is, the exposure time can be controlled for each pixel, and the dynamic range can be expanded for any pixel. Examples of circuits and drives for realizing the above-described method will be described below.
(実施形態:画素回路ブロック図)
図6(c)は、画素ごとに露光時間を制御する形態の画素回路のブロック図である。APD201、クエンチ素子202、論理回路221、論理回路222、カウンタ211は図6(b)と同様であるため、説明を省略する。
(Embodiment: Pixel Circuit Block Diagram)
FIG. 6C is a block diagram of a pixel circuit that controls the exposure time for each pixel. The
信号CLKBは、露光期間T(以下、最大露光期間ともいう。)にNc個のパルス信号であるクロック信号が入力されている点では、図6(b)と同じである。ただし、後述するように、クロック信号のパルスの周期は、図6(b)よりも図6(c)の方が短い。また、図6(c)では、カウンタ211から露光制御回路230に信号が入力されるようになっており、露光制御回路230からメモリ223にも信号が入力されるように構成されている。露光制御回路が有するメモリのビット数は、カウンタ211が有するフリップフロップのビット数よりも小さい。
The signal CLKB is the same as in FIG. 6B in that a clock signal, which is Nc pulse signals, is input during the exposure period T (hereinafter also referred to as the maximum exposure period). However, as will be described later, the pulse period of the clock signal is shorter in FIG. 6(c) than in FIG. 6(b). 6C, a signal is input from the
図10は、本実施形態の画素回路の詳細なブロック図である。図6(c)と同じ符号を用いている部分については説明を省略する。カウンタ211は、例えば、11ビットのフリップフロップを有しているため、カウンタ211の飽和値は2047カウントとなる。また、信号ENがカウンタ211に入力されており、信号ENは露光期間Tを定義する信号である。すなわち、信号ENがローレベルからハイレベルに遷移すると、露光期間Tが開始し、信号ENがハイレベルからローレベルに遷移すると、露光期間Tが終了し、カウンタ211は停止状態となる。
FIG. 10 is a detailed block diagram of the pixel circuit of this embodiment. The description of the parts using the same reference numerals as in FIG. 6(c) is omitted. Since the
カウンタ211は露光制御回路230に信号を入力するように構成されている。露光制御回路230は複数のラッチ231を有する。図10において、左から右方向に向けて、第1から第4のラッチ231が設けられている。これら4つのラッチ231とマルチプレクサ232は、所定の判定タイミングにおける所定のカウント値(閾値)を決定する。
The
第1のラッチ231(一番左)には、カウンタの最大カウント値の1/8の値、すなわち、m=8となった場合に、信号Sn/8が入力されるように構成されている。上記のとおり、カウンタの最大カウント値は、2047であるが、これを1/8にすると整数とならない。そのため、便宜上、最大カウント値に近い数であり、計算時に扱いやすい2048をここでは最大カウント値相当として、Sn/8、Sn/4、Sn/2の基準とする。ここでは、2048/8=256以上になった場合に出力される信号を、信号Sn/8とする。 The first latch 231 (leftmost) is configured to receive a signal Sn /8 when the value is ⅛ of the maximum count value of the counter, that is, when m=8. there is As mentioned above, the maximum count value of the counter is 2047, but if this is 1/8, it will not be an integer. Therefore, for the sake of convenience, 2048, which is a number close to the maximum count value and is easy to handle in calculation, is assumed to correspond to the maximum count value, and is used as a reference for S n/8 , S n/4 , and S n/2 . Here, the signal output when 2048/8=256 or more is assumed to be signal Sn /8 .
また、同様に、第2のラッチ231(左から2番目)には、カウンタの最大カウント値の1/4の値、すなわち、m=4となった場合に、信号Sn/4が入力されるように構成されている。ここでは、便宜上、2048/4=512以上になった場合に出力される信号を、信号Sn/4とする。 Similarly, the second latch 231 (second from the left) receives a signal S n/4 when the value is 1/4 of the maximum count value of the counter, that is, when m=4. is configured as follows. Here, for convenience, the signal output when 2048/4=512 or more is assumed to be signal Sn/4 .
また、同様に、第3のラッチ231(右から2番目)には、カウンタの最大カウント値(2048カウント)の1/2の値、すなわち、m=2となった場合に、信号Sn/2が入力されるように構成される。ここでは、便宜上、2048/2=1024以上になった場合に出力される信号を、信号Sn/2とする。 Similarly, the third latch 231 (second from the right) receives a signal Sn / 2 is configured to be input. Here, for the sake of convenience, the signal output when 2048/2=1024 or more is assumed to be signal Sn /2 .
また、同様に、第4のラッチ231(一番右)には、カウンタの最大カウント値となった場合に、信号Snが入力される。ここでは、11ビットカウントの最大カウント値である2047となった場合に出力される信号を、信号Snとする。 Similarly, a signal Sn is input to the fourth latch 231 (rightmost) when the maximum count value of the counter is reached. Here, the signal output when the maximum count value of the 11-bit count reaches 2047 is signal Sn .
ここで、第4のラッチ231に信号Snが入力された場合、カウンタ211は最大カウント値に達しているため、論理回路234(OR回路)を通じて、信号STOPが出力される。信号STOPは、カウンタ211と論理回路221に入力されており、カウンタ211の動作が停止され、クエンチ素子202であるトランジスタがオフになる。
Here, when the signal Sn is input to the
マルチプレクサ232には、制御信号(不図示)が入力されており、第1のラッチ231から第3のラッチ231に格納されている信号を選択して、メモリ233に入力する。例えば、ダイナミックレンジを大きくしたい場合には、第1のラッチ231の信号を利用する。上記のとおり、画像形成に用いることのできるカウント値は、Nsatから、Nsat×m3まで拡大することができるため、mは大きければ大きいほどダイナミックレンジを拡大できる。そのため、m=8である第1のラッチ231の信号を利用する。他方、ダイナミックレンジを拡大しすぎると、再構成した画像に違和感が生じる場合がある。例えば、画像に段差がある場合などは、m=2である第3のラッチ231に格納されている信号を利用する。このように、用途に応じて、第1のラッチ231から第3のラッチ231を適宜選択することができる。
A control signal (not shown) is input to the
図10には、メモリ233として、上から下方向に向けて、第1から第3のメモリ233が設けられている。後述するように、T0、T1、T2のそれぞれのタイミングで、閾値以上のカウント値になっているかを確認し、T0のタイミングで閾値以上となっている場合、第1のメモリ233には「1」を記録する。同様に、T1のタイミングでカウントが閾値以上となっている場合、第2のメモリ233には「1」を記録する。同様に、T2のタイミングでカウントが閾値以上となっている場合、第3のメモリ233には「1」を記録する。
In FIG. 10, as the
メモリ233からは、タイムコード(時間情報)であるTC<0>、TC<1>、TC<2>が出力されメモリ223に格納される。カウンタ211から11ビットの信号が出力され、メモリ233から3ビットの信号が出力されるため、メモリ223は、合計で14ビットのメモリとなる。
Time codes (time information) TC<0>, TC<1>, and TC<2> are output from the
TC<0>、TC<1>、TC<2>のいずれかが、「1」である場合、それはカウント数が閾値以上(Nsat/m以上)であることを意味するため、論理回路234(OR回路)を通じて、信号STOPが出力される。 If any of TC<0>, TC<1>, and TC<2> is "1", it means that the count number is greater than or equal to the threshold (Nsat/m or greater), so the logic circuit 234 ( A signal STOP is output through an OR circuit).
メモリ223に読み出し信号WRTが入力されると、メモリ223にその時刻のカウンタ211の11ビットの信号、および、T0<2:0>の3ビットの信号が記録される。また、読み出し信号READが選択回路212に入力されると、選択回路212から光電変換装置の外部にメモリ223に記憶された信号が読み出される。例えば、信号WRTは全行一括でメモリ223に情報を格納し、信号READは、行順次で外部に読みだす構成となっている。これにより、全行一括で露光期間を開始するグローバルシャッタを実現できる。
When the read signal WRT is input to the
(実施形態:タイミングチャート)
図11は、本実施形態のタイミングチャートである。
(Embodiment: timing chart)
FIG. 11 is a timing chart of this embodiment.
時刻t0で、信号RESのパルスがオンになる。図10に示すように、信号RESは、ラッチ231とカウンタ211に入力されるようになっている。これにより、ラッチ231およびカウンタ211に格納されている前のフレームの情報をリセットすることができる。これにより、カウンタ211のCOUNTが「0」となる。また、図10では不図示であるが、信号RESをメモリ223、メモリ233に入力して、前のフレームの情報をリセットしてもよい。
At time t0, the pulse of signal RES is turned on. As shown in FIG. 10, signal RES is input to latch 231 and
時刻t1で、信号ENがオンになり、露光期間Tが開始される。ここで、露光期間Tは最大露光期間という。入射する光子が少ない場合には、カウンタが飽和しないため、この最大露光期間の間、カウンタはカウントし続ける。ただし、後述するように、カウンタが飽和した場合や、所定の露光期間内でカウント値が所定の閾値を越えた場合などは、STOP信号がハイレベルになり、実効的な露光期間は、最大露光期間よりも短縮化される。 At time t1, signal EN turns on and exposure period T begins. Here, the exposure period T is called the maximum exposure period. If few photons are incident, the counter will not saturate, so the counter will continue to count during this maximum exposure period. However, as will be described later, when the counter saturates or when the count value exceeds a predetermined threshold value within a predetermined exposure period, the STOP signal becomes high level, and the effective exposure period becomes the maximum exposure period. shorter than the period.
時刻t1で信号CLKBがハイレベルからローレベルに遷移すると、信号STOPがローレベルのため、APDはリチャージが開始され、VCの電圧が徐々に上昇し、待機モードとなる。時刻t1で信号CLKBがハイレベルからローレベルに遷移するが、光子がまだ入射していないため、VOはハイレベルからローレベルになる。 When the signal CLKB transitions from high level to low level at time t1, since the signal STOP is at low level, the APD starts recharging, the voltage of VC gradually rises, and the standby mode is entered. Although the signal CLKB transitions from high level to low level at time t1, VO changes from high level to low level because the photon has not yet entered.
時刻t2で、光子(Photons)が入射すると、アバランシェ増倍が開始し、VCの電位は降下する。VCから論理回路222に入力される信号はローレベルであり、信号CLKBはハイレベルであるため、論理回路222からの出力であるVOはローレベルからハイレベルに遷移する。この遷移により、COUNTは「0」から「1」となる。すなわち、この実施形態の場合、VOの立ち上がりを利用して、カウントを行っている。
At time t2, when photons are incident, avalanche multiplication begins and the potential of VC drops. Since the signal input from VC to the
時刻t3で、信号CLKBがハイレベルからローレベルに遷移すると、時刻t1と同様に、リチャージが開始し、VCの電位が変化する。また、信号CLKBがハイレベルからローレベルに遷移するので、VOはハイレベルからローレベルに遷移する。すなわち、時刻t2に立ち上がったVOの波形は、時刻t3において立ち下がる。 When the signal CLKB transitions from high level to low level at time t3, recharging starts and the potential of VC changes, as at time t1. Also, since the signal CLKB transitions from high level to low level, VO transitions from high level to low level. That is, the waveform of VO that rises at time t2 falls at time t3.
信号T0は、露光期間Tの開始からT/m3経過した時刻t4にローレベルからハイレベルに遷移する。ここで、mは任意の数であり、例えば、Sn/8の信号を受け取る一番左のラッチ231の信号を、マルチプレクサ232を用いて選択した場合は「8」である。したがって、時刻t4は、露光期間Tの開始から、T/512を経過した時刻である。
The signal T0 transitions from low level to high level at time t4 when T/ m3 has elapsed from the start of the exposure period T. FIG. Here, m is an arbitrary number, for example, "8" when the signal of the
また、信号CLKBに着目すると、露光期間Tの合計パルス数はNcとしているため、露光期間Tの開始からT/512を経過した時刻t4において、合計パルス数はNc/m3となる。 Focusing on the signal CLKB, since the total number of pulses in the exposure period T is Nc, at time t4 after T/512 from the start of the exposure period T, the total number of pulses is Nc/ m3 .
ここで、露光期間Tの開始からT/m3経過する時点までの合計パルス数であるNc/m3は、カウンタの最大カウンタ数以上に設定する。カウンタの最大カウンタ数よりも小さい数にすると、ダイナミックレンジの拡大が制限されるからである。なお、ダイナミックレンジをある程度抑制してもよい場合には、Nc/m3をカウンタの最大カウンタ数よりも小さくしてもよい。例えば、Nc/m3を最大カウンタ数の3/4以上とすることができる。 Here, Nc/ m3 , which is the total number of pulses from the start of the exposure period T until T/ m3 has passed, is set to be equal to or greater than the maximum counter number of the counter. This is because if the number is smaller than the maximum number of counters, expansion of the dynamic range is restricted. If the dynamic range may be suppressed to some extent, Nc/ m3 may be made smaller than the maximum number of counters. For example, Nc/ m3 can be greater than or equal to 3/4 of the maximum number of counters.
本実施形態では、露光期間(最大露光期間)に含まれ、かつ、当該露光期間よりも短い3つの露光期間が完了するタイミングで、カウント値が閾値以上か否かを判定している。 In the present embodiment, it is determined whether or not the count value is equal to or greater than the threshold at the timing when three exposure periods that are included in the exposure period (maximum exposure period) and shorter than the exposure period are completed.
ここで、露光期間が短い方から、第1の露光期間(第1の判定タイミング)、第2の露光期間(第2の判定タイミング)、第3の露光期間(第3の判定タイミング)とすると、第1の露光期間が、最も露光期間を短く設定した期間である。本実施形態では、第1の露光期間が、T/m3に、第2の露光期間が、露光期間T/m2に相当し、第3の露光期間が、露光期間T/mに相当する。すなわち、mは、第1露光期間の長さと第2露光期間の長さの比、第2露光期間の長さと第3露光期間の長さの比となる。 Here, if the exposure period is shorter, the first exposure period (first determination timing), the second exposure period (second determination timing), and the third exposure period (third determination timing) , the first exposure period is the period in which the exposure period is set to be the shortest. In this embodiment, the first exposure period corresponds to T/ m3 , the second exposure period corresponds to the exposure period T/ m2 , and the third exposure period corresponds to the exposure period T/m. . That is, m is the ratio of the length of the first exposure period to the length of the second exposure period, and the ratio of the length of the second exposure period to the length of the third exposure period.
上記のとおり、ここでは、m=8であるため、第2の露光期間の長さは、第1の露光期間の長さの8倍である。また、第3の露光期間の長さは、第2の露光期間の長さの8倍である。8倍は、具体例であり、これらの倍数は、2倍以上であっても、4倍以上であってもよい。 As mentioned above, since m=8 here, the length of the second exposure period is eight times the length of the first exposure period. Also, the length of the third exposure period is eight times the length of the second exposure period. 8 times is a specific example, and these multiples may be 2 times or more, or 4 times or more.
このうち、露光期間Tの開始からT/m3経過する時点までの合計パルス数Nc/m3をカウンタの最大カウント値以上とするためには、例えば、最大カウント値が2047の場合、Nc/m3は2048とする。すなわち、Nc/m3をカウンタの最大カウント値以上の値とする。このため、露光期間Tの間の合計パルス数であるNcは、m=8の場合、約100万回となる。比較例である通常のクロックリチャージ駆動において、露光期間内のパルス数であるNcは、Ncをカウンタの最大カウント値相当の数とする場合、2048となる。そのため、比較例と比較して、本実施形態のパルス数Ncは非常に多く、クロック信号のパルスの周期は非常に短いものとなる。図6(b)と(c)でパルス信号の周期が異なるように図示しているのは、このためである。 Of these, in order to make the total number of pulses Nc/ m3 from the start of the exposure period T to the time T/ m3 elapsed be equal to or greater than the maximum count value of the counter, for example, when the maximum count value is 2047, Nc/ m3 is 2048. That is, Nc/ m3 is set to a value equal to or greater than the maximum count value of the counter. Therefore, Nc, which is the total number of pulses during the exposure period T, is about 1,000,000 when m=8. In normal clock recharge driving, which is a comparative example, Nc, which is the number of pulses in the exposure period, is 2048 when Nc is the number corresponding to the maximum count value of the counter. Therefore, compared with the comparative example, the number of pulses Nc in the present embodiment is very large and the pulse cycle of the clock signal is very short. This is the reason why the periods of the pulse signals are shown to be different in FIGS. 6(b) and (c).
時刻t4で、COUNTは「X1」で、閾値としている「Nsat/m」よりも小さい値である(すなわち、X1<Nsat/m)。ここで、「Nsat」とは、例えば、2048である。上記のように、「Nsat」は、カウンタの最大カウント値相当の数であって、計算を容易にするための数である。本明細書では、「カウンタの最大カウント値相当の数」も「カウンタの最大カウント値」と取り扱うこともある。 At time t4, COUNT is "X1", which is a value smaller than the threshold "Nsat/m" (that is, X1<Nsat/m). Here, "Nsat" is 2048, for example. As described above, "Nsat" is a number corresponding to the maximum count value of the counter and is a number for ease of calculation. In this specification, "the number corresponding to the maximum count value of the counter" may also be treated as "the maximum count value of the counter".
また、mとは、上記のとおり、露光期間の長さの比であり、例えばm=8である。そのため、「Nsat/m」は、例えば、256である。図11に示す例では、カウント値が閾値より小さいので、一番左の第1のラッチ231には、信号Sn/8がラッチされていない。そのため、タイムコードとなる信号VC<0>はローレベルのままであり、一番上の第1のメモリ233には「0」が入力される。
In addition, as described above, m is the ratio of the exposure period lengths, for example m=8. Therefore, "Nsat/m" is 256, for example. In the example shown in FIG. 11, the signal Sn /8 is not latched in the leftmost
時刻t4と時刻t5の間に、COUNTは閾値としている「Nsat/m」以上の値となり、一番左の第1のラッチ231には、信号Sn/8がラッチされる。そして、マルチプレクサ232からの出力は、ローレベルからハイレベルに遷移する。
Between time t4 and time t5, COUNT becomes a value equal to or greater than the threshold "Nsat/m", and the leftmost
信号T1は、露光期間Tの開始からT/m2経過した時刻t5にローレベルからハイレベルに遷移する。例えば、時刻t5は、露光期間Tの開始である時刻t1から、T/64を経過した時刻である。 The signal T1 transitions from low level to high level at time t5 when T/ m2 has elapsed from the start of the exposure period T. For example, the time t5 is the time T/64 has elapsed from the time t1 at which the exposure period T starts.
時刻t4と時刻t5の間に、マルチプレクサ232からの出力がハイレベルになっているため、時刻t5に信号T1が入力されると、タイムコードとなる信号TC<1>がローレベルからハイレベルに遷移する。これにより、第2のメモリ233には「1」が入力される。また、TC<1>がローレベルからハイレベルに遷移するため、図10に示すように、論理回路234を介して、信号STOPがカウンタ211と論理回路221に与えられ、クエンチ素子202であるトランジスタがオフになる。
Since the output from the
また、信号CLKBに着目すると、露光期間Tでパルス数はNcとしているため、露光期間Tの開始からT/64を経過した時刻t5において、合計パルス数はNc/m2となる。 Focusing on the signal CLKB, since the number of pulses in the exposure period T is Nc, at time t5 after T/64 from the start of the exposure period T, the total number of pulses is Nc/ m2 .
図11では、時刻t5の経過後に光子が入射する例を示している。この場合、光子入射により、アバランシェ増倍が生じ、VCの電位が低下するが、クエンチ素子202であるトランジスタがオフに維持されるため、再度のアバランシェ増倍は生じない。このため、VOは、いったんローレベルからハイレベルになったまま、ハイレベルを維持する。
FIG. 11 shows an example in which photons are incident after time t5 has elapsed. In this case, photon incidence causes avalanche multiplication and the potential of VC decreases, but since the transistor that is the
信号T2は、露光期間Tの開始からT/m経過した時刻t6にローレベルからハイレベルに遷移する。例えば、露光期間Tの開始から、T/8経過した時刻である。また、信号CLKBに着目すると、露光期間Tでパルス数はNcとしているため、露光期間Tの開始からT/8だけ経過した時刻t6において、合計パルス数はNc/mとなる。 The signal T2 transitions from low level to high level at time t6 after T/m from the start of the exposure period T. For example, the time T/8 has passed since the start of the exposure period T. Focusing on the signal CLKB, since the number of pulses is Nc during the exposure period T, the total number of pulses at time t6, which is T/8 after the start of the exposure period T, is Nc/m.
ここで、マルチプレクサ232からの出力はハイレベルに維持されており、時刻t6に信号T2が入力されると、タイムコードとなる信号TC<2>がローレベルからハイレベルに遷移する。これにより、第3のメモリ233には「1」が入力される。
Here, the output from the
ところで、時刻t5以降の光子入射により、VOがハイレベルになっているため、このハイレベルをカウントしないように、信号ENをハイレベルからローレベルに遷移させる制御を行っている。上記のように、信号ENは、露光期間T(最大露光期間)の開始と終了を定義づけるという機能も有する。なお、信号EN以外の信号を用いて、最大露光期間の開始と終了を定義づけてもよい。 By the way, since VO is at high level due to the photon incidence after time t5, the signal EN is controlled to transition from high level to low level so as not to count this high level. As mentioned above, the signal EN also has the function of defining the start and end of the exposure period T (maximum exposure period). A signal other than the signal EN may be used to define the start and end of the maximum exposure period.
時刻t7で読み出し信号WRTがハイレベルになるとメモリ223から選択回路212に信号が読み出される。また、時刻t8で、読み出し信号READがハイレベルになると、選択回路212から光電変換装置の外部に信号が読み出される。例えば、信号WRTは全行一括でメモリ223に情報を格納し、信号READは、行順次で外部に読みだす構成となっている。これにより、全行一括で露光期間を開始するグローバルシャッタを実現できる。
When the read signal WRT becomes high level at time t7, the signal is read from the
本実施形態においては、露光期間比であるmに対して、判定タイミングの閾値を「Nsat/m」と設定している。ここで、カウントの閾値を一般化して「Nsat/n」とする(nは2以上の数)。「Nsat/n」は、換言すると、「カウンタの最大カウント値/n」である。ここで、「カウンタの最大カウンタ数」とは、カウンタの最大カウント値(例:2147)およびカウンタの最大カウント値相当の数(例:2148)を含む数である。 In the present embodiment, the threshold value for determination timing is set to "Nsat/m" with respect to m, which is the exposure period ratio. Here, the count threshold is generalized to be "Nsat/n" (n is a number of 2 or more). "Nsat/n" is, in other words, "the maximum count value of the counter/n". Here, the "maximum counter number of the counter" is a number including the maximum count value of the counter (eg 2147) and a number corresponding to the maximum count value of the counter (eg 2148).
この場合、nが露光期間比であるmより小さいと、例えば第1の露光期間でのカウント値が閾値を超えず、かつ、第2の露光期間でカウント値が飽和値に達してしまう画素が増加しうる。これにより、特定の光量下において、階調性が失われてしまう。これに対し、「Nsat/n」のnを露光期間比であるm以上に設定することで、飽和値に達してしまう画素を低減し、低輝度から高輝度までの広い光量条件において階調性を確保することができるというメリットがある。 In this case, if n is smaller than m, which is the exposure period ratio, for example, the count value in the first exposure period does not exceed the threshold value, and the count value reaches the saturation value in the second exposure period. can increase. As a result, gradation is lost under a specific amount of light. On the other hand, by setting n of "Nsat/n" to m or more, which is the exposure period ratio, pixels that reach the saturation value are reduced, and gradation is improved under a wide range of light intensity conditions from low luminance to high luminance. has the advantage of being able to ensure
図12は、図6(a)(b)(c)のそれぞれの形態の光電変換装置における効果を示したものである。換言すれば、図7(a)、図7(b)、図9(a)で説明した概念を具体的な値で示したものである。図12の横軸は光子の入射数であり、縦軸はカウント値の中央値である。点線(a)は、図6(a)を用いて説明したパッシブリチャージの形態に対応する。プロットなしの実線(b)は、図6(b)を用いて説明したクロックリチャージの形態に対応する。プロットありの実線(c)は、図6(c)を用いて説明した画素ごとに露光時間を制御する形態に対応する。 FIG. 12 shows the effect of the photoelectric conversion device in each of the forms of FIGS. 6(a), 6(b) and 6(c). In other words, the concept explained in FIGS. 7(a), 7(b), and 9(a) is indicated by specific values. The horizontal axis of FIG. 12 is the number of incident photons, and the vertical axis is the median count value. Dotted line (a) corresponds to the form of passive recharge described with reference to FIG. 6(a). The unplotted solid line (b) corresponds to the form of clock recharge described with reference to FIG. 6(b). A solid line (c) with a plot corresponds to the form of controlling the exposure time for each pixel described with reference to FIG. 6(c).
図12の点線(a)は、2047カウントで飽和し、その後、光子をカウントできなくなり、数値が急激に低下している。これは、上記のように、光子入射数が非常に多いと、VCの電圧が低い状態が維持され、判定閾値を下から上に越えることがなくなり、信号が1つも生成されなくなってしまうからである。 The dotted line (a) in FIG. 12 saturates at 2047 counts, after which photons cannot be counted and the numerical value drops sharply. This is because, as described above, when the number of incident photons is very large, the voltage of VC is maintained at a low state, and the judgment threshold is not exceeded from bottom to top, and no signal is generated. be.
図12のプロットなしの実線(b)は、1フレーム中のリチャージクロックが2048に設定されており(Nc=2048)、カウンタの最大カウント値は2047であるため、2047カウントで飽和している。ただし、図12の(a)と比較すると、飽和に至るまでの光子入射数は多い。光子入射数が非常に多い場合、信号が1つも生成されなくなる状況は生じないが、クロック周波数の数しかカウントできないため、カウント値の上限がクロック周波数によって決まってしまう。 The unplotted solid line (b) in FIG. 12 is saturated at 2047 counts because the recharge clock in one frame is set to 2048 (Nc=2048) and the maximum count value of the counter is 2047. However, compared to FIG. 12(a), the number of incident photons before reaching saturation is large. When the number of incident photons is extremely large, a situation where no signal is generated does not occur, but since only the number of clock frequencies can be counted, the upper limit of the count value is determined by the clock frequency.
図12の丸プロットありの実線(c)は、クロックリチャージと本発明の実施形態の一つである画素毎の露光時間制御を組み合わせたものである。カウント値の上限は、2047カウントで、(a)および(b)と同じである。ただし、(c)では、カウント値が底を打つ回数が3回ある。上記のとおり、「Nsat/m」を閾値として設定しているため、この底のカウントは、m=8の場合、256となる。この方式の場合、2047カウントに対応する入射光よりも多くの入射光に対してもカウントを継続することができ、ダイナミックレンジを広げることが可能になっている。具体的には、タイムコードを出力できる一番短い露光期間がT/m3と設定されおり、かつ、m=8であるため、図12(b)の場合と比べダイナミックレンジが512倍になるというメリットがある。 A solid line (c) with circle plots in FIG. 12 is a combination of clock recharge and exposure time control for each pixel, which is one of the embodiments of the present invention. The upper limit of the count value is 2047 counts, which is the same as (a) and (b). However, in (c), there are three times when the count value bottoms out. Since "Nsat/m" is set as the threshold as described above, the base count is 256 when m=8. In the case of this method, it is possible to continue counting for incident light more than the incident light corresponding to 2047 counts, and it is possible to widen the dynamic range. Specifically, the shortest exposure period during which the time code can be output is set to T/m 3 , and m=8, so the dynamic range is 512 times greater than in the case of FIG. 12(b). There is an advantage.
(実施形態:演算処理の説明)
図13は、演算処理を行うための回路と演算処理を説明するための図である。
(Embodiment: Explanation of arithmetic processing)
FIG. 13 is a diagram for explaining a circuit for performing arithmetic processing and the arithmetic processing.
図13(a)に示すように、光電変換装置100から出力された信号は、演算回路300に入力されるように構成されている。演算回路300は光電変換装置100の内部にあってもよい。また、演算回路300への信号の入力は、有線や無線を問わず、記録媒体を介するものであってもよい。
As shown in FIG. 13( a ), the signal output from the
図13(b)は、演算回路300における演算フローを示すものである。
FIG. 13(b) shows the operation flow in the
S301では、14ビットのRawデータがメモリ223から読み出される。
In S<b>301 , 14-bit Raw data is read from the
S302では、14ビットのRawデータから、11ビット分の光のカウント値の情報と、3ビット分のタイムコードの情報を分離する。 In S302, 11-bit light count value information and 3-bit time code information are separated from 14-bit Raw data.
S303では、カウント値の情報と、タイムコードの情報を用いて、論理シフト(ビットシフト)が行われる。 In S303, logical shift (bit shift) is performed using the count value information and the time code information.
ここで、論理シフトの処理を具体的に示したのが、図14である。S310で、論理シフトが開始される。S312で、タイムコードTC<0>が1であるか否かを判定する。TC<0>が1である場合、S314で、11ビット分の光カウント値をm3倍とする。S312で、タイムコードTC<0>が1でない場合、S316で、タイムコードTC<1>が1であるか否かを判定する。TC<1>が1である場合、S318で、11ビット分の光カウント値をm2倍とする。S316で、タイムコードTC<1>が1でない場合、S320で、タイムコードTC<2>が1であるか否かを判定する。TC<2>が1である場合、S322で、11ビット分の光カウント値をm倍とする。S320で、タイムコードTC<2>が1でない場合、カウンタは飽和していないことから、論理シフトの処理は不要となり、S324で論理シフトの演算は終了する。このように、論理シフト処理では、時間情報に基づいて、カウンタのカウント値の増倍率を変化させている。 FIG. 14 specifically shows the logical shift processing. At S310, a logical shift is initiated. At S312, it is determined whether or not the time code TC<0> is 1. If TC<0> is 1, in S314, the light count value for 11 bits is multiplied by m3 . If the time code TC<0> is not 1 in S312, it is determined whether or not the time code TC<1> is 1 in S316. If TC<1> is 1, in S318, the light count value for 11 bits is multiplied by m2 . If the time code TC<1> is not 1 in S316, it is determined whether the time code TC<2> is 1 in S320. If TC<2> is 1, the 11-bit light count value is multiplied by m in S322. If the time code TC<2> is not 1 in S320, the counter is not saturated, so logical shift processing is unnecessary, and the logical shift operation ends in S324. Thus, in the logical shift process, the multiplication factor of the count value of the counter is changed based on the time information.
図13(b)に戻り、S304では、非線形補正が行われる。例えば、図12の(c)のプロットを参照すると、光子入射数が1×106から1×107周辺で、傾きが一定とならない領域がある。そこで、S304では、この傾きが一定とならない領域について補正を行う工程となっている。 Returning to FIG. 13B, nonlinear correction is performed in S304. For example, referring to the plot in (c) of FIG. 12, there is a region where the slope is not constant around the number of incident photons of 1×10 6 to 1×10 7 . Therefore, in S304, a step of correcting the region where the inclination is not constant is performed.
具体的には、補正後のカウント値をX、補正前のカウント値をYとすると、Y=Nc×(1-exp(-X/Nc)で表される。ここでNcは前述したように露光期間Tの間に入るパルス数である。S305では、デモザイク処理(補間処理)を行い、S306では、RGBのそれぞれでフィルタの光透過率や反射率が異なることから、適切な信号増幅率のチューニングを行う。S307では、HDRのトーンマッピングを行い、S308では、このように演算処理されたカラー画像を出力する。なお、図13(b)ではカラー画像を出力することを説明したが、モノクロで画像を出力するように構成してもよい。この場合、S305、S306などの処理は適宜省略することが可能である。 Specifically, where X is the count value after correction and Y is the count value before correction, Y=Nc×(1−exp (−X/Nc), where Nc is as described above. This is the number of pulses entered during the exposure period T. In S305, demosaic processing (interpolation processing) is performed, and in S306, since the light transmittance and reflectance of the filter are different for each of RGB, an appropriate signal amplification factor is determined. Tuning is performed.In S307, HDR tone mapping is performed, and in S308, a color image that has undergone such arithmetic processing is output.Although FIG. In this case, the processes such as S305 and S306 can be omitted as appropriate.
(変形例)
上記第1の実施形態では、所定のチェックポイントでカウント値が閾値に達したか否かを判定し、かつ、当該閾値をカウンタの最大カウント値(飽和値)よりも小さな値に設定する形式を中心に説明を行った。しかし、カウンタの最大カウント値を閾値とし、当該閾値までカウントを行う方式も採用しうる。この場合、閾値に達した時間情報をメモリに格納し、外挿法などの手法を用いて、時間情報から算出カウント値を求めてもよい。
(Modification)
In the above-described first embodiment, it is determined whether or not the count value reaches the threshold value at a predetermined checkpoint, and the threshold value is set to a value smaller than the maximum count value (saturation value) of the counter. I explained mainly. However, it is also possible to employ a method in which the maximum count value of the counter is set as a threshold and counting is performed up to the threshold. In this case, information on the time when the threshold value is reached may be stored in a memory, and a calculated count value may be obtained from the time information using a method such as an extrapolation method.
この方式においても、露光期間Tに入力されるクロック信号のパルス数は、カウンタの最大カウント値の2倍以上とする。例えば、露光期間Tに第1の露光期間と第2の露光期間が含まれていると仮定すると、第1の露光期間内におけるクロック信号のパルス数を、カウンタの最大カウント値以上とする。また、第1の露光期間が第2の露光期間よりも短いと仮定した場合に、第1の露光期間内におけるクロック信号のパルス数を、カウンタの最大カウント値以上としてもよい。さらに、上記実施形態と同様に、T/m3を通過するまでにカウンダの最大カウント値以上のパルス数を必要と想定すると、mが2の場合には、露光期間Tに入れるパルス数は、カウンダの最大カウント値の8倍以上となる。また、mが8の場合には、露光期間Tに入れるパルス数は、カウンダの最大カウント値の512倍以上となる。 Also in this method, the number of pulses of the clock signal input during the exposure period T is set to be at least twice the maximum count value of the counter. For example, assuming that the exposure period T includes the first exposure period and the second exposure period, the number of pulses of the clock signal in the first exposure period is set to be equal to or greater than the maximum count value of the counter. In addition, if it is assumed that the first exposure period is shorter than the second exposure period, the number of pulses of the clock signal within the first exposure period may be equal to or greater than the maximum count value of the counter. Furthermore, as in the above embodiment, assuming that the number of pulses equal to or greater than the maximum count value of the counter is required until passing T/m 3 , when m is 2, the number of pulses to be put in the exposure period T is Eight times or more the maximum count value of the counter. Also, when m is 8, the number of pulses put in the exposure period T is 512 times or more the maximum count value of the counter.
(第2の実施形態)
本実施形態は、図15を用いて、パルス信号の周波数のバリエーションを説明する実施形態である。図15(a)から(e)は、図6(c)で説明した論理回路221に入力される信号CLKBのタイミングチャートを示す図である。
(Second embodiment)
This embodiment is an embodiment for explaining variation of the frequency of the pulse signal using FIG. FIGS. 15A to 15E are timing charts of the signal CLKB input to the
(第1の形態)
図15(a)は、第1の形態として、露光期間の最初から最後まで、一定の周波数の信号CLKBで動作させた形態を示すものである。このとき、第1の実施形態と同様に、カウントを判定する一番短い露光期間がT/m3である場合、露光期間開始からT/m3までの期間に入る信号CLKBのパルス数は、例えば、Nsat個である。この場合、露光期間Tに入る信号CLKBのパルス数はNsat×m3個である。つまり、一番短い露光期間の時間までにNsat個のリチャージを入れることによって、カウント上限まで活用したダイナミックレンジ拡大が可能となる。また、カウントを判定する一番短い露光期間には、ちょうどNsat個のCLKBのパルス数を入れる必要はなく、Nsat個以上のパルス数を入れてもよい。すなわち、カウンタの最大カウント値以上のパルス数を有するクロック信号であればよい。
(first form)
FIG. 15(a) shows, as a first mode, a mode in which the exposure period is operated with a signal CLKB having a constant frequency from the beginning to the end of the exposure period. At this time, as in the first embodiment, if the shortest exposure period for counting is T/m 3 , the number of pulses of the signal CLKB entering the period from the start of the exposure period to T/m 3 is For example, Nsat. In this case, the number of pulses of the signal CLKB in the exposure period T is Nsat× m3 . That is, by inserting Nsat recharges within the shortest exposure period, it is possible to expand the dynamic range by utilizing the upper count limit. Also, the shortest exposure period for determining the count does not need to include exactly Nsat CLKB pulses, and may include Nsat or more pulses. That is, any clock signal having the number of pulses equal to or greater than the maximum count value of the counter may be used.
(第2の形態)
図15(b)は、第2の形態における、信号CLKBのタイミングチャートを示す図である。第1の形態との違いは、信号CLKBの周波数が露光期間内で変化している点である。第2の形態では、信号CLKBの周波数がカウント値を判定するタイミングであるT/m3、T/m2、T/mなどの判定ポイントにおいてクロック信号の周波数が切り替わっている。すなわち、露光期間内におけるクロック信号の周波数が2種類以上設けられている。
(Second form)
FIG. 15(b) is a timing chart of the signal CLKB in the second mode. The difference from the first mode is that the frequency of the signal CLKB changes within the exposure period. In the second form, the frequency of the clock signal is switched at determination points such as T/m 3 , T/m 2 , and T/m at which the frequency of the signal CLKB determines the count value. That is, two or more frequencies of the clock signal are provided within the exposure period.
例えば、信号CLKBの周波数は、露光期間開始からT/m3までを周波数f1、T/m3からT/m2までを周波数f2、T/m2からT/mまでを周波数f3、T/mからTまでを周波数f4とする。この場合、f1>f2>f3>f4の関係にある。このとき、m=8とすると、f1=f2×8=f3×64=f4×512のように、周波数は露光期間の比率に応じて、小さくなっていても良い。この比率を適用すると、各カウント判定タイミングまでに一定の周期で光子が入る場合の、最小限の周波数を設定していることになる。最小限の周波数とは、想定される最大入射光子数NsatをT/m3、T/m2、T/mなどの各カウント判定タイミングまでの期間で割って算出される周波数である。この最小限の周波数以上であれば、各カウント判定タイミングにおいて、カウント上限値Nsatまでダイナミックレンジを最大限に活用できる。例えば、T/m3まで最大Nsatの入射光子数を想定する場合、最小限の周波数f1=Nsat/(T/m3)である。T/m3からT/m2の期間においては、T/m3の時点で閾値を超えていないため、最大の光子入射頻度は、次のT/m2でカウントNsatに到達するケースである。つまりT/m3からT/m2までの期間は、f2=Nsat/(T/m2)であれば良い。同じように計算して、f3=Nsat/(T/m)、f4=Nsat/Tである。このように、信号CLKBの周波数を露光期間内で必要な数を残して減らすことで、ダイナミックレンジ拡大の効果を確保しつつ、信号CLKBによる消費電力を減らすことができる。
For example, the frequency of signal CLKB is frequency f1 from the start of the exposure period to T/ m3 , frequency f2 from T/m3 to T/ m2 , frequency f3 from T/ m2 to T/m, and T/m to T is frequency f4. In this case, the relationship is f1>f2>f3>f4. At this time, if m=8, the frequency may be decreased according to the ratio of the exposure period, such as f1=f2×8=f3×64=f4×512. By applying this ratio, the minimum frequency is set when photons enter at a constant cycle until each count determination timing. The minimum frequency is a frequency calculated by dividing the assumed maximum number of incident photons Nsat by the period up to each count determination timing such as T/m 3 , T/m 2 , T/m. If the frequency is equal to or higher than this minimum frequency, the dynamic range can be fully utilized up to the count upper limit value Nsat at each count determination timing. For example, if we assume a maximum Nsat number of incident photons up to T/m 3 , the minimum frequency f1=Nsat/(T/m 3 ). In the period from T/m 3 to T/m 2 , the maximum photon incidence frequency is the case where the count Nsat is reached at the next T/m 2 , since the threshold is not exceeded at T/
クロック信号の周波数を変更するためには、分周回路を設ければよい。分周回路は、垂直走査回路部、画素回路部、制御パルス生成部に設けることが可能である。画素回路部に設ける場合には、画素毎に異なる周波数のクロック信号を与えることが可能である。 A frequency dividing circuit may be provided to change the frequency of the clock signal. The frequency dividing circuit can be provided in the vertical scanning circuit section, the pixel circuit section, and the control pulse generating section. When provided in the pixel circuit portion, it is possible to apply a clock signal with a different frequency to each pixel.
なお、露光期間開始からT/m3までの間(第1の露光期間)でのクロック信号の周波数は一定でなくてもよい。同様に、T/m3からT/m2まで間(第2の露光期間)でのクロック信号の周波数は一定でなくてもよい。この場合、周波数は、平均周波数で考えることが可能である。例えば、第1の露光期間の平均周波数である第1の周波数は、第2の露光期間の平均周波数である第2の周波数よりも大きい。 Note that the frequency of the clock signal from the start of the exposure period to T/ m3 (first exposure period) may not be constant. Similarly, the frequency of the clock signal between T/m3 and T/ m2 (second exposure period) may not be constant. In this case, the frequency can be considered as an average frequency. For example, the first frequency, which is the average frequency for the first exposure period, is greater than the second frequency, which is the average frequency for the second exposure period.
(第3の形態)
図15(c)は、第3の形態における、信号CLKBのタイミングチャートを示す図である。
(Third form)
FIG. 15(c) is a diagram showing a timing chart of signal CLKB in the third mode.
第2の形態との違いは、カウント値を判定するタイミングの前後で周波数を切り替えるのではなく、露光期間Tの開始から終了に向かって、徐々に周波数を低くしている点である。このように、判定タイミングの前後で周波数を切り替えるのではなく、徐々に周波数を調整することにより、周波数の切り替わりで生じるカウント数の切り替わり段差を減らすことができる。また、周波数を変える手法として分周回路の他、周波数変調回路を用いるなどの回路構成の選択肢を広げることが可能となる。 The difference from the second mode is that the frequency is gradually lowered from the start to the end of the exposure period T instead of switching the frequency before and after the timing for determining the count value. In this way, by gradually adjusting the frequency instead of switching the frequency before and after the determination timing, it is possible to reduce the step in the number of counts caused by the switching of the frequency. In addition, as a method for changing the frequency, it is possible to expand options for circuit configuration such as using a frequency modulation circuit in addition to the frequency dividing circuit.
なお、本形態は、露光期間Tの開始から終了に向けて、クロック信号の平均周波数が徐々に小さくなる方向に変化していると表現することが可能である。また、露光期間Tの終了前の所定期間の平均周波数が、露光期間Tの開始後の所定期間の平均周波数よりも小さいと表現することも可能である。 In this embodiment, it can be expressed that the average frequency of the clock signal gradually decreases from the start to the end of the exposure period T. FIG. It is also possible to express that the average frequency for a predetermined period before the end of the exposure period T is lower than the average frequency for a predetermined period after the start of the exposure period T.
(第4の形態)
図15(d)は、第4の形態における、信号CLKBのタイミングチャートを示す図である。図15(b)に示した第2の形態では、露光期間の後半に向かって信号CLKBの周波数は常に低くなる方向で駆動していたのに対して、第4の形態ではT/m2とT/mの間で一度周波数が高くなっている。例えば、露光期間開始からT/m2の判定タイミングまでは、光子があまり到来せず、低照度条件であったが、T/m2の判定タイミングから露光期間終了の時刻Tまででは、光子が多く到来し、高照度条件となった場合を想定する。この場合、図15(b)の駆動を採用すると、後半に高照度条件となった場合にカウントロスを発生することとなる。図15(d)に示す駆動によれば、このような条件であっても、後半の光子のカウントロスを低減させることができる。なお、信号CLKBの周波数を増加する比率や、増加させるタイミングは任意に決めて良く、ダイナミックレンジ拡大に必要なパルス数以上であれば良い。
(Fourth form)
FIG. 15(d) is a diagram showing a timing chart of signal CLKB in the fourth mode. In the second mode shown in FIG. 15(b), the frequency of the signal CLKB is always lowered toward the latter half of the exposure period . The frequency increases once between T/m. For example, from the start of the exposure period to the determination timing of T/ m2 , not many photons arrived and the illumination was low, but from the determination timing of T/ m2 to the time T at the end of the exposure period, photons did not arrive. Assume a case where a large number of people arrive and a high illuminance condition occurs. In this case, if the drive shown in FIG. 15B is adopted, a count loss will occur when the illuminance condition becomes high in the second half. According to the drive shown in FIG. 15(d), even under such conditions, the photon count loss in the latter half can be reduced. Note that the rate at which the frequency of the signal CLKB is increased and the timing at which it is increased may be determined arbitrarily, as long as the number of pulses is equal to or greater than the number of pulses necessary for expanding the dynamic range.
(第5の形態)
図15(e)は、第5の形態における、信号CLKBのタイミングチャートを示す図である。図15(b)に示した第2の形態との違いは、1つの群を構成しているパルス同士の間隔は等しいが、パルス群同士の間隔が徐々に大きくなっている点である。ただし、図15(b)と図15(e)は、各露光期間(判定タイミング同士で規定される期間)に入るパルスの数は同じである。図15(e)の形態によれば、各露光期間において信号CLKB同士が近づくと、より光子入射のタイミングが近づいた場合でもカウントすることが可能となる。つまり、高照度まで感度を持つことができるため、ダイナミックレンジを拡大することができる。
(Fifth form)
FIG. 15(e) is a diagram showing a timing chart of signal CLKB in the fifth mode. The difference from the second mode shown in FIG. 15(b) is that the intervals between the pulses forming one group are equal, but the intervals between the pulse groups gradually increase. However, FIG. 15B and FIG. 15E have the same number of pulses in each exposure period (period defined by determination timings). According to the form of FIG. 15(e), when the signals CLKB approach each other in each exposure period, it becomes possible to count even when the timing of photon incidence becomes closer. In other words, the sensitivity can be maintained up to high illuminance, so the dynamic range can be expanded.
なお、本形態は、第1の露光期間内における単位時間当たりのクロック信号のパルス数は、第2の露光期間内における単位時間当たりのクロック信号のパルス数よりも多いと表現することが可能である。すなわち、第1の露光期間のクロック信号のパルス分布割合は、第2の露光期間のクロック信号のパルス分布割合よりも、密である。 In this embodiment, the number of pulses of the clock signal per unit time in the first exposure period can be expressed as being greater than the number of pulses of the clock signal per unit time in the second exposure period. be. That is, the pulse distribution ratio of the clock signal in the first exposure period is denser than the pulse distribution ratio of the clock signal in the second exposure period.
(第3の実施形態)
本実施形態は、図16および図17を用いて、更なるパルス信号の入力の仕方のバリエーションを説明する実施形態である。図16および図17は、図6(c)で説明した論理回路221に入力される信号CLKBのタイミングチャートを示す図である。
(Third embodiment)
16 and 17, this embodiment is an embodiment for explaining a further variation of the method of inputting the pulse signal. 16 and 17 are timing charts of the signal CLKB input to the
図16では、垂直走査アドレス0、1、・・・、n-1、nのそれぞれに応じて、CLKB<0>、CLKB<1>、・・・、CLKB<n-1>、CLKB<n>のように各々で信号CLKBを入力している。このように複数の行においてもグローバルシャッタ駆動において、垂直走査アドレス毎に露光期間毎の周波数を変える制御が可能である。このとき、周波数を垂直アドレス毎に制御する方式は任意である。例えば、制御パルス生成部115から複数の周波数を垂直走査回路110に入力して、垂直走査回路110内でアドレス毎に周波数を選択する構成が考えられる。あるいは、単一の周波数を垂直走査回路110に入力して、垂直走査アドレス毎に露光期間の途中で分周しても良い。または、垂直走査回路110からは一定の周波数を入力しておいて、画素の信号処理部103の内部で分周しても良い。
In FIG. 16, CLKB<0>, CLKB<1>, . >, the signal CLKB is input to each. In this way, even in a plurality of rows, it is possible to control the frequency for each exposure period for each vertical scanning address in global shutter driving. At this time, the method of controlling the frequency for each vertical address is arbitrary. For example, a configuration is conceivable in which a plurality of frequencies are input from the
図17は別の駆動を示す例であり、図16との違いは、グローバルシャッタ駆動ではなく、ローリングシャッター駆動である点である。このようにアドレス毎に周波数制御を行うことにより、どちらの駆動にも対応することができる。 FIG. 17 shows an example of another drive, which is different from FIG. 16 in that rolling shutter drive is used instead of global shutter drive. By performing frequency control for each address in this way, it is possible to cope with either type of driving.
(第4の実施形態)
本実施形態による光電変換システムについて、図18を用いて説明する。図18は、本実施形態による光電変換システムの概略構成を示すブロック図である。
(Fourth embodiment)
A photoelectric conversion system according to this embodiment will be described with reference to FIG. FIG. 18 is a block diagram showing a schematic configuration of a photoelectric conversion system according to this embodiment.
上記実施形態で述べた光電変換装置は、種々の光電変換システムに適用可能である。適用可能な光電変換システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、光電変換システムに含まれる。図18には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。 The photoelectric conversion devices described in the above embodiments are applicable to various photoelectric conversion systems. Examples of applicable photoelectric conversion systems include digital still cameras, digital camcorders, surveillance cameras, copiers, facsimiles, mobile phones, vehicle-mounted cameras, and observation satellites. A camera module including an optical system such as a lens and an imaging device is also included in the photoelectric conversion system. FIG. 18 illustrates a block diagram of a digital still camera as an example of these.
図18に例示した光電変換システムは、光電変換装置の一例である撮像装置1004、被写体の光学像を撮像装置1004に結像させるレンズ1002を有する。近電変換システムは、さらに、レンズ1002を通過する光量を可変にするための絞り1003、レンズ1002の保護のためのバリア1001を有する。レンズ1002及び絞り1003は、撮像装置1004に光を集光する光学系である。撮像装置1004は、上記のいずれかの実施形態の光電変換装置であって、レンズ1002により結像された光学像を電気信号に変換する。
The photoelectric conversion system illustrated in FIG. 18 includes an
光電変換システムは、また、撮像装置1004より出力される出力信号の処理を行うことで画像を生成する画像生成部である信号処理部1007を有する。信号処理部1007は、必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。信号処理部1007は、撮像装置1004が設けられた半導体層に形成されていてもよいし、撮像装置1004とは別の半導体層に形成されていてもよい。また、撮像装置1004と信号処理部1007とが同一の半導体層に形成されていてもよい。
The photoelectric conversion system also includes a
光電変換システムは、更に、画像データを一時的に記憶するためのメモリ部1010、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)1013を有する。更に光電変換システムは、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体1012、記録媒体1012に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)1011を有する。なお、記録媒体1012は、光電変換システムに内蔵されていてもよく、着脱可能であってもよい。
The photoelectric conversion system further includes a
更に光電変換システムは、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部1009、撮像装置1004と信号処理部1007に各種タイミング信号を出力するタイミング発生部1008を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システムは少なくとも撮像装置1004と、撮像装置1004から出力された出力信号を処理する信号処理部1007とを有すればよい。
The photoelectric conversion system further includes an overall control/
撮像装置1004は、撮像信号を信号処理部1007に出力する。信号処理部1007は、撮像装置1004から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部1007は、撮像信号を用いて、画像を生成する。
The
このように、本実施形態によれば、上記のいずれかの実施形態の光電変換装置(撮像装置)を適用した光電変換システムを実現することができる。 As described above, according to the present embodiment, a photoelectric conversion system to which the photoelectric conversion device (imaging device) of any one of the above embodiments is applied can be realized.
(第5の実施形態)
本実施形態の光電変換システム及び移動体について、図19を用いて説明する。図19は、本実施形態の光電変換システム及び移動体の構成を示す図である。
(Fifth embodiment)
A photoelectric conversion system and a moving object according to this embodiment will be described with reference to FIG. 19 . FIG. 19 is a diagram showing the configuration of the photoelectric conversion system and moving object of this embodiment.
図19(a)は、車載カメラに関する光電変換システムの一例を示したものである。光電変換システム2300は、撮像装置2310を有する。撮像装置2310は、上記のいずれかの実施形態に記載の光電変換装置である。光電変換システム2300は、撮像装置2310により取得された複数の画像データに対し、画像処理を行う画像処理部2312を有する。また、光電変換システム2300は、光電変換システム2300により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部2314を有する。さらに、光電変換システム2300は、算出された視差に基づいて対象物までの距離を算出する距離取得部2316と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部2318と、を有する。ここで、視差取得部2314や距離取得部2316は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部2318はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
FIG. 19(a) shows an example of a photoelectric conversion system for a vehicle-mounted camera. The
光電変換システム2300は車両情報取得装置2320と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、光電変換システム2300は、衝突判定部2318での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置(制御部)である制御ECU2330が接続されている。また、光電変換システム2300は、衝突判定部2318での判定結果に基づいて、ドライバーへ警報を発する警報装置2340とも接続されている。例えば、衝突判定部2318の判定結果として衝突可能性が高い場合、制御ECU2330はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置2340は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
The
本実施形態では、車両の周囲、例えば前方又は後方を光電変換システム2300で撮像する。図19(b)に、車両前方(撮像範囲2350)を撮像する場合の光電変換システムを示した。車両情報取得装置2320が、光電変換システム2300ないしは撮像装置2310に指示を送る。このような構成により、測距の精度をより向上させることができる。
In this embodiment, the
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、光電変換システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。 In the above, an example of controlling so as not to collide with another vehicle was explained, but it can also be applied to control to automatically drive following another vehicle or control to automatically drive so as not to stray from the lane. . Furthermore, the photoelectric conversion system can be applied not only to vehicles such as own vehicles but also to moving bodies (moving devices) such as ships, aircraft, and industrial robots. In addition, the present invention can be applied not only to mobile objects but also to devices that widely use object recognition, such as intelligent transportation systems (ITS).
(第6の実施形態)
本実施形態の光電変換システムについて、図20を用いて説明する。図20は、光電変換システムである距離画像センサの構成例を示すブロック図である。
(Sixth embodiment)
A photoelectric conversion system according to this embodiment will be described with reference to FIG. FIG. 20 is a block diagram showing a configuration example of a distance image sensor, which is a photoelectric conversion system.
図20に示すように、距離画像センサ401は、光学系402、光電変換装置403、画像処理回路404、モニタ405、およびメモリ406を備えて構成される。そして、距離画像センサ401は、光源装置411から被写体に向かって投光され、被写体の表面で反射された光(変調光やパルス光)を受光することにより、被写体までの距離に応じた距離画像を取得することができる。
As shown in FIG. 20, the
光学系402は、1枚または複数枚のレンズを有して構成され、被写体からの像光(入射光)を光電変換装置403に導き、光電変換装置403の受光面(センサ部)に結像させる。
The
光電変換装置403としては、上述したから実施形態に記載の光電変換装置が適用され、光電変換装置403から出力される受光信号から求められる距離を示す距離信号が画像処理回路404に供給される。
As the
画像処理回路404は、光電変換装置403から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像(画像データ)は、モニタ405に供給されて表示されたり、メモリ406に供給されて記憶(記録)されたりする。
The
このように構成されている距離画像センサ401では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。
In the
(第7の実施形態)
本実施形態の光電変換システムについて、図21を用いて説明する。図21は、本実施形態の光電変換システムである内視鏡手術システムの概略的な構成の一例を示す図である。
(Seventh embodiment)
A photoelectric conversion system of this embodiment will be described with reference to FIG. FIG. 21 is a diagram showing an example of a schematic configuration of an endoscopic surgery system, which is the photoelectric conversion system of this embodiment.
図21では、術者(医師)1131が、内視鏡手術システム1103を用いて、患者ベッド1133上の患者1132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム1103は、内視鏡1100と、術具1110と、内視鏡下手術のための各種の装置が搭載されたカート1134と、から構成される。
FIG. 21 shows an operator (doctor) 1131 performing an operation on a
内視鏡1100は、先端から所定の長さの領域が患者1132の体腔内に挿入される鏡筒1101と、鏡筒1101の基端に接続されるカメラヘッド1102と、から構成される。図示する例では、硬性の鏡筒1101を有するいわゆる硬性鏡として構成される内視鏡1100を図示しているが、内視鏡1100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
An
鏡筒1101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡1100には光源装置1203が接続されており、光源装置1203によって生成された光が、鏡筒1101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者1132の体腔内の観察対象に向かって照射される。なお、内視鏡1100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
The tip of the
カメラヘッド1102の内部には光学系及び光電変換装置が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該光電変換装置に集光される。当該光電変換装置によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該光電変換装置としては、前述の実施形態に記載の光電変換装置を用いることができる。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)1135に送信される。
An optical system and a photoelectric conversion device are provided inside the
CCU1135は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡1100及び表示装置1136の動作を統括的に制御する。さらに、CCU1135は、カメラヘッド1102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
The
表示装置1136は、CCU1135からの制御により、当該CCU1135によって画像処理が施された画像信号に基づく画像を表示する。
The
光源装置1203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡1100に供給する。
The
入力装置1137は、内視鏡手術システム1103に対する入力インターフェースである。ユーザは、入力装置1137を介して、内視鏡手術システム1103に対して各種の情報の入力や指示入力を行うことができる。
処置具制御装置1138は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具1112の駆動を制御する。
The treatment
内視鏡1100に術部を撮影する際の照射光を供給する光源装置1203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置1203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド1102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
The
また、光源装置1203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド1102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
Further, the driving of the
また、光源装置1203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用する。具体的には、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置1203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
Also, the
(第8の実施形態)
本実施形態の光電変換システムについて、図22を用いて説明する。図22(a)は、光電変換システムである眼鏡1600(スマートグラス)の構成の一例を示す図である。眼鏡1600には、光電変換装置1602を有する。光電変換装置1602は、上記のから第12の実施形態に記載の光電変換装置である。また、レンズ1601の裏面側には、OLEDやLED等の発光装置を含む表示装置が設けられていてもよい。光電変換装置1602は1つでもよいし、複数でもよい。また、複数種類の光電変換装置を組み合わせて用いてもよい。光電変換装置1602の配置位置は図22(a)に限定されない。
(Eighth embodiment)
The photoelectric conversion system of this embodiment will be described with reference to FIG. 22 . FIG. 22A is a diagram showing an example of the configuration of spectacles 1600 (smart glasses), which is a photoelectric conversion system.
眼鏡1600は、制御装置1603をさらに備える。制御装置1603は、光電変換装置1602と上記の表示装置に電力を供給する電源として機能する。また、制御装置1603は、光電変換装置1602と表示装置の動作を制御する。レンズ1601には、光電変換装置1602に光を集光するための光学系が形成されている。
図22(b)は、1つの適用例に係る眼鏡1610(スマートグラス)を説明する。眼鏡1610は、制御装置1612を有しており、制御装置1612に、光電変換装置1602に相当する光電変換装置と、表示装置が搭載される。レンズ1611には、制御装置1612内の光電変換装置と、表示装置からの発光を投影するための光学系が形成されており、レンズ1611には画像が投影される。制御装置1612は、光電変換装置および表示装置に電力を供給する電源として機能するとともに、光電変換装置および表示装置の動作を制御する。制御装置は、装着者の視線を検知する視線検知部を有してもよい。視線の検知は赤外線を用いてよい。赤外発光部は、表示画像を注視しているユーザの眼球に対して、赤外光を発する。発せられた赤外光の眼球からの反射光を、受光素子を有する撮像部が検出することで眼球の撮像画像が得られる。平面視における赤外発光部から表示部への光を低減する低減手段を有することで、画像品位の低下を低減する。
FIG. 22(b) illustrates glasses 1610 (smart glasses) according to one application. The
赤外光の撮像により得られた眼球の撮像画像から表示画像に対するユーザの視線を検出する。眼球の撮像画像を用いた視線検出には任意の公知の手法が適用できる。一例として、角膜での照射光の反射によるプルキニエ像に基づく視線検出方法を用いることができる。 The line of sight of the user with respect to the display image is detected from the captured image of the eye obtained by imaging the infrared light. Any known method can be applied to line-of-sight detection using captured images of eyeballs. As an example, it is possible to use a line-of-sight detection method based on a Purkinje image obtained by reflection of irradiation light on the cornea.
より具体的には、瞳孔角膜反射法に基づく視線検出処理が行われる。瞳孔角膜反射法を用いて、眼球の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き(回転角度)を表す視線ベクトルが算出されることにより、ユーザの視線が検出される。 More specifically, line-of-sight detection processing based on the pupillary corneal reflection method is performed. The user's line of sight is detected by calculating a line-of-sight vector representing the orientation (rotational angle) of the eyeball based on the pupil image and the Purkinje image included in the captured image of the eyeball using the pupillary corneal reflection method. be.
本実施形態の表示装置は、受光素子を有する光電変換装置を有し、光電変換装置からのユーザの視線情報に基づいて表示装置の表示画像を制御してよい。 The display device of the present embodiment may have a photoelectric conversion device having a light receiving element, and may control a display image of the display device based on the user's line-of-sight information from the photoelectric conversion device.
具体的には、表示装置は、視線情報に基づいて、ユーザが注視する第一の視界領域と、第一の視界領域以外の第二の視界領域とを決定される。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。表示装置の表示領域において、第一の視界領域の表示解像度を第二の視界領域の表示解像度よりも高く制御してよい。つまり、第二の視界領域の解像度を第一の視界領域よりも低くしてよい。 Specifically, the display device determines a first visual field area that the user gazes at and a second visual field area other than the first visual field area, based on the line-of-sight information. The first viewing area and the second viewing area may be determined by the control device of the display device, or may be determined by an external control device. In the display area of the display device, the display resolution of the first viewing area may be controlled to be higher than the display resolution of the second viewing area. That is, the resolution of the second viewing area may be lower than that of the first viewing area.
また、表示領域は、第一の表示領域、第一の表示領域とは異なる第二の表示領域とを有し、視線情報に基づいて、第一の表示領域および第二の表示領域から優先度が高い領域を決定されてよい。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。優先度の高い領域の解像度を、優先度が高い領域以外の領域の解像度よりも高く制御してよい。つまり優先度が相対的に低い領域の解像度を低くしてよい。 Further, the display area has a first display area and a second display area different from the first display area. may be determined. The first viewing area and the second viewing area may be determined by the control device of the display device, or may be determined by an external control device. The resolution of areas with high priority may be controlled to be higher than the resolution of areas other than areas with high priority. That is, the resolution of areas with relatively low priority may be lowered.
なお、第一の視界領域や優先度が高い領域の決定には、AIを用いてもよい。AIは、眼球の画像と当該画像の眼球が実際に視ていた方向とを教師データとして、眼球の画像から視線の角度、視線の先の目的物までの距離を推定するよう構成されたモデルであってよい。AIプログラムは、表示装置が有しても、光電変換装置が有しても、外部装置が有してもよい。外部装置が有する場合は、通信を介して、表示装置に伝えられる。 AI may be used to determine the first field of view area and the areas with high priority. The AI is a model configured to estimate the angle of the line of sight from the eyeball image and the distance to the object ahead of the line of sight, using the image of the eyeball and the direction in which the eyeball of the image was actually viewed as training data. It's okay. The AI program may be owned by the display device, the photoelectric conversion device, or the external device. If the external device has it, it is communicated to the display device via communication.
視認検知に基づいて表示制御する場合、外部を撮像する光電変換装置を更に有するスマートグラスに好ましく適用できる。スマートグラスは、撮像した外部情報をリアルタイムで表示することができる。 In the case of performing display control based on visual recognition detection, it can be preferably applied to smart glasses that further have a photoelectric conversion device that captures an image of the outside. Smart glasses can display captured external information in real time.
以上、説明した実施形態は、技術思想を逸脱しない範囲において適宜変更が可能である。また、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態に含まれる。 The embodiments described above can be modified as appropriate without departing from the technical concept. Further, examples in which a part of the configuration of any one embodiment is added to another embodiment, and examples in which a part of the configuration of another embodiment is replaced are also included in the embodiments of the present invention.
また、本実施形態の開示は、以下の構成および方法を含む。 Further, the disclosure of this embodiment includes the following configurations and methods.
(構成1)
アバランシェ増倍を行うフォトダイオードと、
前記フォトダイオードと電源との間に配され、前記フォトダイオードを前記電源に電気的に接続する第1の状態と、前記フォトダイオードを前記電源に電気的に接続しない第2の状態に切り替える回路と、
前記フォトダイオードからの出力信号をカウントするカウンタと、
露光期間に含まれ、前記露光期間よりも短い所定の露光期間内に、前記カウンタのカウント値が閾値に達したことを示す時間情報が書き込まれるメモリと、を有し、
前記露光期間において、クロック信号が、前記回路に入力可能に構成されていることを特徴とする光電変換装置。
(Configuration 1)
a photodiode for avalanche multiplication;
a circuit disposed between the photodiode and a power supply for switching between a first state in which the photodiode is electrically connected to the power supply and a second state in which the photodiode is not electrically connected to the power supply; ,
a counter that counts the output signal from the photodiode;
a memory in which time information indicating that the count value of the counter has reached a threshold within a predetermined exposure period included in the exposure period and shorter than the exposure period is written;
A photoelectric conversion device, wherein a clock signal can be input to the circuit during the exposure period.
(構成2)
前記所定の露光期間は、第1の露光期間と、第2の露光期間を有することを特徴とする構成1に記載の光電変換装置。
(Configuration 2)
The photoelectric conversion device according to
(構成3)
前記第1の露光期間は、前記第2の露光期間よりも短く、前記第1の露光期間内における前記クロック信号のパルス数は、前記カウンタの最大カウント値以上であることを特徴とする構成2に記載の光電変換装置。
(Composition 3)
(構成4)
前記閾値は、前記カウンタの最大カウント値であることを特徴とする構成1から3のいずれか1項に記載の光電変換装置。
(Composition 4)
The photoelectric conversion device according to any one of
(構成5)
前記閾値は、前記カウンタの最大カウント値よりも小さいことを特徴とする構成1から3のいずれか1項に記載の光電変換装置。
(Composition 5)
4. The photoelectric conversion device according to any one of
(構成6)
前記閾値は、前記カウンタの最大カウント値/n、であることを特徴とする構成1から3のいずれか1項に記載の光電変換装置。
(Composition 6)
4. The photoelectric conversion device according to any one of
(構成7)
前記所定の露光期間は、第1の露光期間と、第1の露光期間よりも長い露光期間である第2の露光期間を有し、
前記nは、前記第2の露光期間の長さ/前記第1の露光期間の長さ、の値以上であることを特徴とする構成6に記載の光電変換装置。
(Composition 7)
The predetermined exposure period has a first exposure period and a second exposure period that is a longer exposure period than the first exposure period,
The photoelectric conversion device according to
(構成8)
前記第2の露光期間の長さは、前記第1の露光期間の長さの2倍以上であることを特徴とする請求項2に記載の光電変換装置。
(Composition 8)
3. The photoelectric conversion device according to
(構成9)
前記所定の露光期間は、前記第2の露光期間よりも長い露光期間である第3の露光期間を有し、前記第3の露光期間の長さは、前記第2の露光期間の長さの2倍以上であることを特徴とする構成2または8に記載の光電変換装置。
(Composition 9)
The predetermined exposure period has a third exposure period that is longer than the second exposure period, and the length of the third exposure period is the length of the second exposure period. 9. The photoelectric conversion device according to
(構成10)
前記所定の露光期間は、前記第2の露光期間よりも長い露光期間である第3の露光期間を有し、前記第3の露光期間の長さは、前記第2の露光期間の長さの4倍以上であり、
前記第2の露光期間の長さは、前記第1の露光期間の長さの4倍以上であることを特徴とする構成2、8、9のいずれか1項に記載の光電変換装置。
(Configuration 10)
The predetermined exposure period has a third exposure period that is longer than the second exposure period, and the length of the third exposure period is the length of the second exposure period. four times more,
The photoelectric conversion device according to any one of
(構成11)
前記カウンタが前記所定の露光期間内に前記閾値に達した場合に、前記回路が有するトランジスタのゲートに供給する電位を変える制御回路を有することを特徴とする請求項1から10のいずれか1項に記載の光電変換装置。
(Composition 11)
11. The control circuit according to any one of
(構成12)
前記カウンタが前記所定の露光期間内に前記閾値に達した場合に、前記カウンタを停止する制御回路を有することを特徴とする構成1から11のいずれか1項に記載の光電変換装置。
(Composition 12)
12. The photoelectric conversion device according to any one of
(構成13)
前記カウンタのビット数よりも前記メモリのビット数が少ないことを特徴とする構成1から12のいずれか1項に記載の光電変換装置。
(Composition 13)
13. The photoelectric conversion device according to any one of
(構成14)
前記フォトダイオードと前記カウンタの間に論理回路を有し、前記露光期間において、前記論理回路に前記クロック信号が入力されることを特徴とする構成1から13のいずれか1項に記載の光電変換装置。
(Composition 14)
14. The photoelectric conversion according to any one of
(構成15)
前記露光期間内における前記クロック信号の周波数が2種類以上あることを特徴とする構成1から14のいずれか1項に記載の光電変換装置。
(Composition 15)
15. The photoelectric conversion device according to any one of
(構成16)
前記第1の露光期間内における前記クロック信号の平均周波数である第1の周波数と、前記第2の露光期間内における前記クロック信号の平均周波数である第2の周波数とが異なることを特徴とする構成2に記載の光電変換装置。
(Composition 16)
A first frequency that is an average frequency of the clock signal within the first exposure period and a second frequency that is an average frequency of the clock signal during the second exposure period are different. The photoelectric conversion device according to
(構成17)
前記第1の周波数は、前記第2の周波数よりも大きいことを特徴とする構成16に記載の光電変換装置。
(Composition 17)
17. The photoelectric conversion device according to configuration 16, wherein the first frequency is higher than the second frequency.
(構成18)
前記第1の露光期間における単位時間当たりの前記クロック信号のパルス数は、前記第2の露光期間における単位時間当たりの前記クロック信号のパルス数よりも多いことを特徴とする構成2に記載の光電変換装置。
(Composition 18)
The optoelectronic device according to
(構成19)
請求項1から18のいずれか1項に記載の光電変換装置から出力された信号を演算する演算回路であって、
前記演算回路は、前記時間情報に基づいて、前記カウンタのカウント値の増倍率を変化させることを特徴とする演算回路。
(Composition 19)
An arithmetic circuit for calculating a signal output from the photoelectric conversion device according to any one of
An arithmetic circuit, wherein the arithmetic circuit changes a multiplication factor of the count value of the counter based on the time information.
(構成20)
構成1記載の光電変換装置は、構成19に記載の演算回路を有することを特徴とする構成1に記載の光電変換装置。
(Configuration 20)
The photoelectric conversion device according to
(構成21)
請求項1に記載の光電変換装置と、構成19に記載の演算回路と、を有することを特徴とする光電変換システム。
(Composition 21)
A photoelectric conversion system comprising the photoelectric conversion device according to
(構成22)
構成1に記載の光電変換装置と、
前記光電変換装置が出力する信号を用いて画像を生成する信号処理部と、を有することを特徴とする光電変換システム。
(Composition 22)
a photoelectric conversion device according to
and a signal processing unit that generates an image using a signal output from the photoelectric conversion device.
(構成23)
構成1に記載の光電変換装置を備える移動体であって、
前記光電変換装置が出力する信号を用いて前記移動体の移動を制御する制御部を有することを特徴とする移動体。
(Composition 23)
A moving body comprising the photoelectric conversion device according to
A moving object, comprising: a control unit that controls movement of the moving object using a signal output from the photoelectric conversion device.
201 アバランシェフォトダイオード
202 クエンチ素子
210 波形整形部
211 カウンタ回路
212 選択回路
221 論理回路
222 論理回路
223 メモリ
230 露光制御回路
231 ラッチ
232 マルチプレクサ
233 メモリ
234 論理回路
201
Claims (23)
前記フォトダイオードと電源との間に配され、前記フォトダイオードを前記電源に電気的に接続する第1の状態と、前記フォトダイオードを前記電源に電気的に接続しない第2の状態に切り替える回路と、
前記フォトダイオードからの出力信号をカウントするカウンタと、
露光期間に含まれ、前記露光期間よりも短い所定の露光期間内に、前記カウンタのカウント値が閾値に達したことを示す時間情報が書き込まれるメモリと、を有し、
前記露光期間において、クロック信号が、前記回路に入力可能に構成されていることを特徴とする光電変換装置。 a photodiode for avalanche multiplication;
a circuit disposed between the photodiode and a power supply for switching between a first state in which the photodiode is electrically connected to the power supply and a second state in which the photodiode is not electrically connected to the power supply; ,
a counter that counts the output signal from the photodiode;
a memory in which time information indicating that the count value of the counter has reached a threshold within a predetermined exposure period included in the exposure period and shorter than the exposure period is written;
A photoelectric conversion device, wherein a clock signal can be input to the circuit during the exposure period.
前記nは、前記第2の露光期間の長さ/前記第1の露光期間の長さ、の値以上であることを特徴とする請求項6に記載の光電変換装置。 The predetermined exposure period has a first exposure period and a second exposure period that is a longer exposure period than the first exposure period,
7. The photoelectric conversion device according to claim 6, wherein said n is equal to or greater than the length of said second exposure period/length of said first exposure period.
前記第2の露光期間の長さは、前記第1の露光期間の長さの4倍以上であることを特徴とする請求項2、8、9のいずれか1項に記載の光電変換装置。 The predetermined exposure period has a third exposure period that is longer than the second exposure period, and the length of the third exposure period is the length of the second exposure period. four times more,
10. The photoelectric conversion device according to claim 2, wherein the length of said second exposure period is four times or more the length of said first exposure period.
前記演算回路は、前記時間情報に基づいて、前記カウンタのカウント値の増倍率を変化させることを特徴とする演算回路。 An arithmetic circuit for calculating a signal output from the photoelectric conversion device according to claim 1,
An arithmetic circuit, wherein the arithmetic circuit changes a multiplication factor of the count value of the counter based on the time information.
前記光電変換装置が出力する信号を用いて画像を生成する信号処理部と、を有することを特徴とする光電変換システム。 a photoelectric conversion device according to claim 1;
and a signal processing unit that generates an image using a signal output from the photoelectric conversion device.
前記光電変換装置が出力する信号を用いて前記移動体の移動を制御する制御部を有することを特徴とする移動体。 A moving object comprising the photoelectric conversion device according to claim 1,
A moving object, comprising: a control unit that controls movement of the moving object using a signal output from the photoelectric conversion device.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111131282A TW202312679A (en) | 2021-09-08 | 2022-08-19 | Photoelectric conversion device and photoelectric conversion system |
KR1020220106797A KR20230036971A (en) | 2021-09-08 | 2022-08-25 | Photoelectric conversion device and photoelectric conversion system |
DE102022122515.1A DE102022122515A1 (en) | 2021-09-08 | 2022-09-06 | Photoelectric conversion device and photoelectric conversion system |
US17/930,033 US12052507B2 (en) | 2021-09-08 | 2022-09-06 | Photoelectric conversion device and photoelectric conversion system with expanded dynamic range |
CN202211092489.0A CN115802182A (en) | 2021-09-08 | 2022-09-08 | Photoelectric conversion device, photoelectric conversion system, calculation circuit, and moving object |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021145932 | 2021-09-08 | ||
JP2021145932 | 2021-09-08 | ||
JP2022018803 | 2022-02-09 | ||
JP2022018803 | 2022-02-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023039400A true JP2023039400A (en) | 2023-03-20 |
JP7516460B2 JP7516460B2 (en) | 2024-07-16 |
Family
ID=85600558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022083065A Active JP7516460B2 (en) | 2021-09-08 | 2022-05-20 | Photoelectric conversion device, photoelectric conversion system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7516460B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10021331B2 (en) | 2014-07-14 | 2018-07-10 | Sony Corporation | Comparator, AD converter, solid-state imaging device, electronic apparatus, and method of controlling comparator |
JP2018182554A (en) | 2017-04-14 | 2018-11-15 | ソニーセミコンダクタソリューションズ株式会社 | Solid-state imaging device, method for controlling solid-state imaging device, and electronic apparatus |
JP6987603B2 (en) | 2017-10-26 | 2022-01-05 | ブリルニクス シンガポール プライベート リミテッド | Solid-state image sensor, solid-state image sensor driving method, and electronic equipment |
US11906353B2 (en) | 2018-06-11 | 2024-02-20 | Meta Platforms Technologies, Llc | Digital pixel with extended dynamic range |
JP6852041B2 (en) | 2018-11-21 | 2021-03-31 | キヤノン株式会社 | Photoelectric conversion device and imaging system |
JP7321713B2 (en) | 2019-01-30 | 2023-08-07 | キヤノン株式会社 | Photoelectric conversion device, imaging system, moving body |
-
2022
- 2022-05-20 JP JP2022083065A patent/JP7516460B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7516460B2 (en) | 2024-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20230036971A (en) | Photoelectric conversion device and photoelectric conversion system | |
US11784195B2 (en) | Photoelectric conversion apparatus and photodetection system | |
JP2022106660A (en) | Photoelectric conversion device and photodetection system | |
JP2022106649A (en) | Photoelectric conversion device and photodetection system | |
JP2022112700A (en) | Photoelectric conversion device, light detection system, and mobile body | |
WO2022149576A1 (en) | Photoelectric conversion device and photodetection system | |
US11835386B2 (en) | Photoelectric conversion device, imaging system, light detection system, and mobile body | |
US20230120430A1 (en) | Photoelectric conversion apparatus | |
JP2023173218A (en) | Photoelectric conversion device and light detection system | |
JP7414748B2 (en) | Photoelectric conversion device and photodetection system | |
JP7516460B2 (en) | Photoelectric conversion device, photoelectric conversion system | |
WO2023131995A1 (en) | Photoelectric conversion device and optical detection system | |
JP7286730B2 (en) | Photoelectric conversion device | |
WO2023153218A1 (en) | Photoelectric conversion device | |
WO2023131996A1 (en) | Photoelectric conversion device and light detection system | |
JP2023168794A (en) | Photoelectric conversion device and photoelectric conversion system | |
JP2023159648A (en) | Photoelectric conversion device and photoelectric conversion system | |
JP7558821B2 (en) | Photoelectric conversion device, photoelectric conversion system, and mobile body | |
US20230120836A1 (en) | Semiconductor device | |
US20240255620A1 (en) | Semiconductor device having time-to-digital converter | |
JP2023102966A (en) | Photoelectric conversion device | |
JP2022113105A (en) | Signal processing device | |
JP2023099399A (en) | Photoelectric conversion device and photo-detection system | |
JP2023099400A (en) | Photoelectric conversion device and photo-detection system | |
KR20240146025A (en) | Photoelectric conversion device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230324 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231212 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240703 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7516460 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |