JP2023099400A - Photoelectric conversion device and photo-detection system - Google Patents
Photoelectric conversion device and photo-detection system Download PDFInfo
- Publication number
- JP2023099400A JP2023099400A JP2022000029A JP2022000029A JP2023099400A JP 2023099400 A JP2023099400 A JP 2023099400A JP 2022000029 A JP2022000029 A JP 2022000029A JP 2022000029 A JP2022000029 A JP 2022000029A JP 2023099400 A JP2023099400 A JP 2023099400A
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- conversion device
- state
- pixel
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、光電変換装置及び光検出システムに関する。 The present invention relates to a photoelectric conversion device and a photodetection system.
特許文献１には、マトリクス状に配列されたアバランシェフォトダイオードを有する光電変換装置が開示されている。アバランシェフォトダイオードは、半導体のｐｎ接合部に誘起された強電界により発生するアバランシェ増倍現象を用いることで、光子により励起された信号電荷を数倍～数百万倍程度に増幅するものである。
特許文献２には、光量の変化等のイベントの検出に応じて動作する非同期型の固体撮像装置が開示されている。特許文献２の固体撮像装置は、イベントを検出する検出画素と、イベントが生じた場合にアバランシェフォトダイオードに入射された光子数をカウントして画素信号を出力する計数画素とを有する。 Patent Document 2 discloses an asynchronous solid-state imaging device that operates in response to detection of an event such as a change in the amount of light. The solid-state imaging device of Patent Document 2 has a detection pixel that detects an event, and a counting pixel that counts the number of photons incident on an avalanche photodiode and outputs a pixel signal when an event occurs.
特許文献２に記載されているような非同期型の光電変換装置において、消費電力の低減が求められている。 In an asynchronous photoelectric conversion device such as that described in Patent Document 2, reduction in power consumption is demanded.
本発明の目的は、消費電力が低減された光電変換装置及び光検出システムを提供することにある。 An object of the present invention is to provide a photoelectric conversion device and a photodetection system with reduced power consumption.
本明細書の一開示によれば、アバランシェフォトダイオードと、カウント期間に前記アバランシェフォトダイオードに入射する光子に基づくカウント値を生成するカウンタを含み、前記カウント値を所定のフレームレートで出力する信号処理回路と、アバランシェ増倍が生じた後の前記アバランシェフォトダイオードを再び前記アバランシェ増倍が生じ得る状態に戻すクエンチトランジスタと、前記クエンチトランジスタのゲートに所定の周波数でレベルが変化するパルス信号を出力するパルス生成部と、を含む画素を有し、前記画素は、前記カウント値と所定の閾値とに基づく判定を行った結果に応じて、第１状態から、前記周波数及び前記フレームレートが前記第１状態よりも高い第２状態に遷移することを特徴とする光電変換装置が提供される。 According to one disclosure of the present specification, signal processing includes an avalanche photodiode and a counter that generates a count value based on photons incident on the avalanche photodiode during a count period, and outputs the count value at a predetermined frame rate. a circuit, a quench transistor that restores the avalanche photodiode after avalanche multiplication to a state in which the avalanche multiplication can occur, and a pulse signal whose level changes at a predetermined frequency is output to the gate of the quench transistor. and a pulse generation unit, wherein the pixel changes the frequency and the frame rate from the first state to the first state according to a result of determination based on the count value and a predetermined threshold value. A photoelectric conversion device is provided that transitions to a second state higher than the state.
本明細書の他の一開示によれば、アバランシェフォトダイオードと、カウント期間に前記アバランシェフォトダイオードに入射する光子に基づくカウント値を生成するカウンタを含み、前記カウント値を所定のフレームレートで出力する信号処理回路と、アバランシェ増倍が生じた後の前記アバランシェフォトダイオードを再び前記アバランシェ増倍が生じ得る状態に戻すクエンチトランジスタと、前記クエンチトランジスタのゲートに所定の周波数でレベルが変化するパルス信号を出力するパルス生成部と、を含む画素を有し、前記画素は、前記カウント値と所定の閾値とに基づく判定を行った結果に応じて、第１状態から、前記周波数が前記第１状態よりも高く、かつ、前記カウント値のビット数が前記第１状態よりも多い第２状態に遷移することを特徴とする光電変換装置が提供される。 According to another disclosure of the present specification, including an avalanche photodiode and a counter that generates a count value based on photons incident on the avalanche photodiode during a counting period, the count value is output at a predetermined frame rate. A signal processing circuit, a quench transistor for returning the avalanche photodiode after avalanche multiplication to a state in which the avalanche multiplication can occur, and a pulse signal whose level changes at a predetermined frequency to the gate of the quench transistor. and a pulse generation unit for outputting, the pixel having the frequency higher than the first state from the first state according to the result of determination based on the count value and a predetermined threshold value and a transition to a second state in which the number of bits of the count value is greater than that of the first state.
本発明によれば、消費電力が低減された光電変換装置及び光検出システムを提供することができる。 According to the present invention, it is possible to provide a photoelectric conversion device and a photodetection system with reduced power consumption.
以下、図面を参照しつつ、本発明の実施形態を説明する。複数の図面にわたって同一の要素又は対応する要素には共通の符号が付されており、その説明は省略又は簡略化されることがある。以下に示す形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The same or corresponding elements are denoted by common reference numerals across multiple drawings, and their description may be omitted or simplified. The embodiments shown below are for embodying the technical idea of the present invention, and are not intended to limit the present invention. The sizes and positional relationships of members shown in each drawing may be exaggerated for clarity of explanation.
［第１実施形態］
本発明の第１実施形態による光電変換装置について、図１乃至図９を用いて説明する。図１及び図２は、本実施形態による光電変換装置の概略構成を示すブロック図である。図３は、本実施形態による光電変換装置の画素の構成例を示すブロック図である。図４は、本実施形態による光電変換装置の構成例を示す斜視図である。図５は、本実施形態による光電変換装置の光電変換部の基本動作を説明する図である。図６は、本実施形態による光電変換装置における画素のより具体的な構成例を示すブロック図である。図７は、本実施形態による光電変換装置における駆動方法の例を示すフローチャートである。図８は、本実施形態による光電変換装置における画素の駆動方法の例を示すタイミング図である。図９は、本実施形態による光電変換装置における画素の駆動方法の変形例を示すタイミング図である。
[First embodiment]
A photoelectric conversion device according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 9. FIG. 1 and 2 are block diagrams showing a schematic configuration of a photoelectric conversion device according to this embodiment. FIG. 3 is a block diagram showing a configuration example of a pixel of the photoelectric conversion device according to this embodiment. FIG. 4 is a perspective view showing a configuration example of the photoelectric conversion device according to this embodiment. FIG. 5 is a diagram for explaining the basic operation of the photoelectric conversion unit of the photoelectric conversion device according to this embodiment. FIG. 6 is a block diagram showing a more specific configuration example of pixels in the photoelectric conversion device according to this embodiment. FIG. 7 is a flow chart showing an example of a driving method in the photoelectric conversion device according to this embodiment. FIG. 8 is a timing chart showing an example of a pixel driving method in the photoelectric conversion device according to this embodiment. FIG. 9 is a timing chart showing a modification of the pixel driving method in the photoelectric conversion device according to this embodiment.
本実施形態による光電変換装置１００は、図１に示すように、画素部１０と、垂直走査回路部４０と、読み出し回路部５０と、水平走査回路部６０と、制御パルス生成部８０と出力回路部９０と、を有する。以下の説明において、光電変換装置は、アバランシェフォトダイオードを用いた非同期型の撮像装置であるものとするが、これに限られるものではない。光電変換装置の例としては、以下に述べる撮像装置の他に、測距装置（焦点検出やＴＯＦ（Time Of Flight）を用いた距離測定等の装置）、測光装置（入射光量の測定等の装置）等が挙げられる。
As shown in FIG. 1, the
画素部１０には、複数の行及び複数の列をなすようにアレイ状に配された複数の画素１２が設けられている。各々の画素１２は、後述するように、光子検知素子を含む光電変換部と、光電変換部から出力される信号を処理する画素信号処理部と、により構成され得る。なお、画素部１０を構成する画素１２の数は、特に限定されるものではない。例えば、一般的なデジタルカメラのように数千行×数千列のアレイ状に配された複数の画素１２により画素部１０を構成することができる。或いは、１行又は１列に並べた複数の画素１２により画素部１０を構成してもよい。或いは、１つの画素１２により画素部１０を構成してもよい。
The
画素部１０の画素アレイの各行には、第１の方向（図１において横方向）に延在して、制御線１４が配されている。制御線１４は、第１の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。制御線１４の延在する第１の方向は、行方向或いは水平方向と表記することがある。制御線１４の各々は、複数種類の制御信号を画素１２に供給するための複数の信号線を含み得る。
Each row of the pixel array of the
また、画素部１０の画素アレイの各列には、第１の方向と交差する第２の方向（図１において縦方向）に延在して、データ線１６が配されている。データ線１６は、第２の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。データ線１６の延在する第２の方向は、列方向或いは垂直方向と表記することがある。データ線１６の各々は、画素１２から出力される複数ビットのデジタル信号をビット毎に転送するための複数の信号線を含み得る。
In each column of the pixel array of the
各行の制御線１４は、垂直走査回路部４０に接続されている。垂直走査回路部４０は、制御パルス生成部８０から出力される制御信号を受け、画素１２を駆動するための制御信号を生成し、制御線１４を介して画素１２に供給する機能を備える制御部である。垂直走査回路部４０には、シフトレジスタやアドレスデコーダといった論理回路が用いられ得る。垂直走査回路部４０は、画素部１０内の画素１２を行単位で順次走査し、データ線１６を介して各画素１２の画素信号を読み出し回路部５０へと出力する。
The
各列のデータ線１６は、読み出し回路部５０に接続されている。読み出し回路部５０は、画素部１０の画素アレイの各列に対応して設けられた複数の保持部（図示せず）を備え、データ線１６を介して画素部１０から行単位で出力される各列の画素１２の画素信号を対応する列の保持部にて保持する機能を備える。
The
水平走査回路部６０は、制御パルス生成部８０から出力される制御信号を受け、読み出し回路部５０の各列の保持部から画素信号を読み出すための制御信号を生成し、読み出し回路部５０に供給する制御部である。水平走査回路部６０には、シフトレジスタやアドレスデコーダといった論理回路が用いられ得る。水平走査回路部６０は、読み出し回路部５０の各列の保持部を順次走査し、各々に保持されている画素信号を順次出力回路部９０へと出力する。
The horizontal
出力回路部９０は、外部インターフェース回路を有し、読み出し回路部５０から出力された画素信号を光電変換装置１００の外部へ出力するための回路部である。出力回路部９０が備える外部インターフェース回路は、特に限定されるものではない。外部インターフェース回路は、例えば、ＳｅｒＤｅｓ（SERializer/DESerializer）送信回路により構成され得る。ＳｅｒＤｅｓ送信回路は、例えば、ＬＶＤＳ（Low Voltage Differential Signaling）回路、ＳＬＶＳ（Scalable Low Voltage Signaling）回路である。
The
制御パルス生成部８０は、垂直走査回路部４０、読み出し回路部５０、水平走査回路部６０の動作やそのタイミングを制御する制御信号を生成し、各機能ブロックに供給するための制御回路である。なお、垂直走査回路部４０、読み出し回路部５０、水平走査回路部６０の動作やそのタイミングを制御する制御信号の少なくとも一部は、光電変換装置１００の外部から供給してもよい。
The control
なお、光電変換装置１００の各機能ブロックの接続態様は図１の構成例に限定されるものではなく、例えば図２に示すように構成することもできる。
The connection mode of each functional block of the
図２の構成例では、画素部１０の画素アレイの各行に、第１の方向に延在するデータ線１６を配している。データ線１６は、第１の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。また、画素部１０の画素アレイの各列に、第２の方向に延在する制御線１８を配している。制御線１８は、第２の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。
In the configuration example of FIG. 2, each row of the pixel array of the
各列の制御線１８は、水平走査回路部６０に接続されている。水平走査回路部６０は、制御パルス生成部８０から出力される制御信号を受け、画素１２から画素信号を読み出すための制御信号を生成し、制御線１８を介して画素１２に供給する。具体的には、水平走査回路部６０は、画素部１０の複数の画素１２を列単位で順次走査し、選択された列に属する各行の画素１２の画素信号をデータ線１６に出力する。
The control lines 18 of each column are connected to the horizontal
各行のデータ線１６は、読み出し回路部５０に接続されている。読み出し回路部５０は、画素部１０の画素アレイの各行に対応して設けられた複数の保持部（図示せず）を備え、データ線１６を介して画素部１０から列単位で出力される各行の画素１２の画素信号を対応する行の保持部にて保持する機能を備える。
The data lines 16 of each row are connected to the
読み出し回路部５０は、制御パルス生成部８０から出力される制御信号を受け、各行の保持部に保持されている画素信号を順次出力回路部９０へと出力する。図２の構成例におけるその他の構成は、図１の構成例と同様であり得る。
The
各々の画素１２は、図３に示すように、光電変換部２０と、画素信号処理部３０（信号処理回路）と、を有する。光電変換部２０は、光子検知素子２２と、クエンチ素子２４と、を有する。画素信号処理部３０は、波形整形部３２と、デジタル処理回路３４と、画素出力回路３６と、を有する。
Each
光子検知素子２２は、アバランシェフォトダイオード（以下、「ＡＰＤ」と表記する）であり得る。光子検知素子２２を構成するＡＰＤのアノードは、電圧ＶＬが供給されるノードに接続されている。光子検知素子２２を構成するＡＰＤのカソードは、クエンチ素子２４の一方の端子に接続されている。光子検知素子２２とクエンチ素子２４との接続ノードが、光電変換部２０の出力ノードである。クエンチ素子２４の他方の端子は、電圧ＶＬよりも高い電圧ＶＨが供給されるノードに接続されている。電圧ＶＬ及び電圧ＶＨは、ＡＰＤがアバランシェ増倍動作をするに十分な逆バイアス電圧が印加されるように設定されている。一例では、電圧ＶＬとして負の高電圧が与えられ、電圧ＶＨとして電源電圧程度の正電圧が与えられる。例えば、電圧ＶＬは－３０Ｖであり、電圧ＶＨは１Ｖである。
The
光子検知素子２２は、前述のようにＡＰＤにより構成され得る。アバランシェ増倍動作をするに十分な逆バイアス電圧をＡＰＤに供給した状態とすることで、ＡＰＤへの光入射によって生じた電荷がアバランシェ増倍を起こし、アバランシェ増倍電流が発生する。ＡＰＤに逆バイアス電圧を供給した状態における動作モードには、ガイガーモードとリニアモードとがある。ガイガーモードは、アノードとカソードとの間に印加する電圧をＡＰＤの降伏電圧よりも大きい逆バイアス電圧とする動作モードである。リニアモードは、アノードとカソードとの間に印加する電圧をＡＰＤの降伏電圧近傍又はそれ以下の逆バイアス電圧とする動作モードである。ガイガーモードで動作させるＡＰＤは、ＳＰＡＤ（Single Photon Avalanche Diode）と呼ばれる。光子検知素子２２を構成するＡＰＤは、リニアモードで動作するようにしてもよいし、ガイガーモードで動作するようにしてもよい。特に、ＳＰＡＤはリニアモードのＡＰＤに比べて電位差が大きくなり耐圧の効果が顕著となるため好ましい。
The
クエンチ素子２４は、光子検知素子２２で生じたアバランシェ増倍電流の変化を電圧信号に変換する機能を備える。また、クエンチ素子２４は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、光子検知素子２２に印加される電圧を低減してアバランシェ増倍を抑制する機能を備える。クエンチ素子２４がアバランシェ増倍を抑制する動作は、クエンチ動作と呼ばれる。また、クエンチ素子２４は、クエンチ動作によって電圧降下した分の電流を流すことにより、光子検知素子２２に供給する電圧を電圧ＶＨへと戻す機能を備える。クエンチ素子２４が光子検知素子２２に供給する電圧を電圧ＶＨへと戻す動作は、リチャージ動作と呼ばれる。クエンチ素子２４は、抵抗素子やＭＯＳトランジスタなどにより構成され得る。
The quenching
波形整形部３２は、光電変換部２０の出力信号が供給される入力ノードと、出力ノードと、を有する。波形整形部３２は、光電変換部２０から供給されるアナログ信号をパルス信号に変換する機能を備える。図３に示されているように、波形整形部３２は、インバータ回路などにより構成され得る。波形整形部３２の出力ノードは、デジタル処理回路３４に接続されている。
The
デジタル処理回路３４は、波形整形部３２の出力信号が供給される入力ノードと、制御線１４に接続された入力ノードと、出力ノードと、を有する。デジタル処理回路３４は、後述するカウンタを有する。カウンタは、波形整形部３２から出力される信号に重畳するパルスのカウントを行い、カウントの結果であるカウント値を保持する機能を備える。垂直走査回路部４０から制御線１４を介してデジタル処理回路３４に供給される信号には、パルスのカウント期間（露光期間）を制御するためのタイマクロック信号などが含まれ得る。デジタル処理回路３４の出力ノードは、画素出力回路３６を介してデータ線１６に接続されている。
The
画素出力回路３６は、デジタル処理回路３４とデータ線１６との間の電気的な接続状態（接続又は非接続）を切り替える機能を備える。画素出力回路３６は、垂直走査回路部４０から制御線１４を介して供給される制御信号（図２の構成例にあっては、水平走査回路部６０から制御線１８を介して供給される制御信号）に応じて、デジタル処理回路３４とデータ線１６との間の接続状態を切り替える。画素出力回路３６は、信号を出力するためのバッファ回路を含み得る。
The
画素１２は、典型的には、画像を形成するための画素信号を出力する単位構造体である。ただし、ＴＯＦ（Time of Flight）方式を用いた測距などを目的とする場合にあっては、画素１２は、必ずしも画像を形成するための画素信号を出力する単位構造体である必要はない。すなわち、画素１２は、光が到達した時刻と光量とを測定するための信号を出力する単位構造体でもあり得る。
A
なお、画素信号処理部３０は、必ずしも各々の画素１２に１つずつ設けられている必要はなく、複数の画素１２に対して１つの画素信号処理部３０を設けるようにしてもよい。この場合、１つの画素信号処理部３０を用い、複数の画素１２の信号処理を順次実行することができる。
One pixel
本実施形態による光電変換装置１００は、１枚の基板に形成してもよいし、複数の基板を積層した積層型の光電変換装置として構成してもよい。後者の場合、例えば図４に示すように、センサ基板１１０と回路基板１２０とを積層して電気的に接続した積層型の光電変換装置として構成可能である。センサ基板１１０には、画素１２の構成要素のうち少なくとも光子検知素子２２を配置することができる。また、回路基板１２０には、画素１２の構成要素のうち、クエンチ素子２４と画素信号処理部３０とを配置することができる。光子検知素子２２とクエンチ素子２４及び画素信号処理部３０とは、画素１２毎に設けられた接続配線を介して電気的に接続される。また、回路基板１２０には、垂直走査回路部４０、読み出し回路部５０、水平走査回路部６０、制御パルス生成部８０、出力回路部９０等を更に配置することができる。
The
各画素１２の光子検知素子２２とクエンチ素子２４及び画素信号処理部３０とは、平面視において重なるようにセンサ基板１１０と回路基板１２０とに設けられる。垂直走査回路部４０、読み出し回路部５０、水平走査回路部６０、制御パルス生成部８０、出力回路部９０は、複数の画素１２により構成される画素部１０の周囲に配置することができる。
The
なお、本明細書において「平面視」とは、センサ基板１１０の光入射面に対して垂直な方向から視ることを指す。
In this specification, “planar view” refers to viewing from a direction perpendicular to the light incident surface of the
積層型の光電変換装置１００を構成することにより、素子の集積度を上げ、高機能化を図ることができる。特に、光子検知素子２２とクエンチ素子２４及び画素信号処理部３０とを別々の基板に配置することで、光子検知素子２２の受光面積を犠牲にすることなく光子検知素子２２を高密度で配置することができ、光子検知効率を向上することができる。
By configuring the stacked
なお、光電変換装置１００を構成する基板の数は２枚に限定されるものではなく、３枚以上の基板を積層して光電変換装置１００を構成するようにしてもよい。
Note that the number of substrates forming the
また、図４ではセンサ基板１１０及び回路基板１２０としてダイシングされたチップを想定しているが、センサ基板１１０及び回路基板１２０はチップに限定されるものではない。例えば、センサ基板１１０及び回路基板１２０の各々はウェーハであってもよい。また、センサ基板１１０及び回路基板１２０は、ウェーハ状態で積層した後にダイシングしてもよいし、各々をチップ化した後に積層・接合してもよい。
In FIG. 4, diced chips are assumed as the
図５は、光電変換部２０及び波形整形部３２の基本動作を説明する図である。図５（ａ）は光電変換部２０及び波形整形部３２の回路図であり、図５（ｂ）は波形整形部３２の入力ノード（ノードＡ）における信号の波形を示し、図５（ｃ）は波形整形部３２の出力ノード（ノードＢ）における信号の波形を示している。なお、ここでは説明の簡略化のため、波形整形部３２がインバータ回路により構成されている場合を想定している。
FIG. 5 is a diagram for explaining the basic operations of the
時刻ｔ０において、光子検知素子２２には（ＶＨ－ＶＬ）に相当する電位差の逆バイアス電圧が印加されている。光子検知素子２２を構成するＡＰＤのアノードとカソードとの間にはアバランシェ増倍を生じるに十分な逆バイアス電圧が印加されているが、光子検知素子２２に光子が入射していない状態ではアバランシェ増倍の種となるキャリアが存在しない。そのため、光子検知素子２２においてアバランシェ増倍は起こらず、光子検知素子２２に電流は流れない。
At time t0, a reverse bias voltage having a potential difference corresponding to (VH−VL) is applied to the
続く時刻ｔ１において、光子検知素子２２に光子が入射したものとする。光子検知素子２２に光子が入射すると、光電変換によって電子－正孔対が生成され、これらキャリアを種としてアバランシェ増倍が生じ、光子検知素子２２にアバランシェ増倍電流が流れる。このアバランシェ増倍電流がクエンチ素子２４を流れることによりクエンチ素子２４による電圧降下が生じ、ノードＡの電圧が降下し始める。ノードＡの電圧降下量が大きくなり、時刻ｔ３においてアバランシェ増倍が停止すると、ノードＡの電圧レベルはそれ以上降下しなくなる。
It is assumed that a photon is incident on the
光子検知素子２２におけるアバランシェ増倍が停止すると、電圧ＶＬが供給されるノードから光子検知素子２２を介してノードＡに電圧降下分を補う電流が流れ、ノードＡの電圧は徐々に増加する。その後、時刻ｔ５においてノードＡは元の電圧レベルに整定する。
When the avalanche multiplication in the
波形整形部３２は、ノードＡから入力される信号を所定の判定閾値に応じて二値化し、ノードＢから出力する。具体的には、波形整形部３２は、ノードＡの電圧レベルが判定閾値を超えているときはノードＢからローレベルの信号を出力し、ノードＡの電圧レベルが判定閾値以下のときはノードＢからハイレベルの信号を出力する。例えば、図５（ｂ）に示すように、時刻ｔ２から時刻ｔ４の期間においてノードＡの電圧が判定閾値以下であるとする。この場合、図５（ｃ）に示すように、ノードＢにおける信号レベルは、時刻ｔ０から時刻ｔ２の期間及び時刻ｔ４から時刻ｔ５の期間においてローレベルとなり、時刻ｔ２から時刻ｔ４の期間においてハイレベルとなる。
こうして、ノードＡから入力されたアナログ信号は、波形整形部３２によってデジタル信号へと波形整形される。光子検知素子２２への光子の入射に応じて波形整形部３２から出力されるパルス信号が、光子検知パルス信号である。
Thus, the analog signal input from the node A is waveform-shaped by the
図６は、画素１２の構成をより詳細に説明する図である。図６の説明において、図３又は図５と重複する部分の説明は省略又は簡略化する。デジタル処理回路３４は、カウンタ３４２と、閾値判定部３４４と、露光制御部３４６と、を有している。光電変換部２０は、クエンチ素子２４の一例として、クエンチトランジスタＭ１を有している。クエンチトランジスタＭ１は、ＰＭＯＳトランジスタである。また、画素１２は、クエンチトランジスタＭ１を制御するパルス生成部４４を有している。
FIG. 6 is a diagram illustrating the configuration of the
クエンチトランジスタＭ１のドレインは、光子検知素子２２を構成するＡＰＤのカソードに接続されている。クエンチトランジスタＭ１のソースは、電圧ＶＨが供給されるノードに接続されている。クエンチトランジスタＭ１のゲートは、パルス生成部４４に接続されている。パルス生成部４４からクエンチトランジスタＭ１のゲートにパルス信号ＰＬが入力されることにより、パルス信号の周波数で繰り返しリチャージ動作が行われる。
The drain of the quench transistor M1 is connected to the cathode of the APD that constitutes the
カウンタ３４２は、上述のように、光子検知素子２２に入射された光子に基づくパルスのカウントを行い、カウントの結果であるカウント値を保持する。カウント値を保持するため、カウンタ３４２は、複数ビットのデジタル信号を保持可能なビットメモリを有している。カウンタ３４２に保持されたカウント値は、画素出力回路３６を介してカウント値ＣＮＴとしてデータ線１６に出力される。カウンタ３４２に保持されたカウント値は、閾値判定部３４４にも出力される。また、カウンタ３４２は、露光制御部３４６から入力されるリセット信号ＲＥＳのパルスに応じたタイミングで保持しているカウント値を初期値にリセットする。
As described above, the
閾値判定部３４４は、カウンタ３４２から入力されたカウント値と所定の閾値とに基づいて、イベント検知結果の判定を行う機能を有する。閾値判定部３４４は、デジタル信号であるカウント値に基づく比較処理を行うことができるように構成されたデジタル回路であり得る。閾値判定部３４４は、判定結果を示すイベント検知結果信号ＥＤＲを画素信号処理部３０の外部に出力する。このイベント検知結果信号ＥＤＲは、光電変換装置１００内での処理に用いられてもよく、他の画素１２に供給されてもよく、光電変換装置１００外部での信号処理に用いられてもよい。また、閾値判定部３４４は、イベント検知結果信号ＥＤＲを露光制御部３４６及びパルス生成部４４に出力する。
The
なお、この処理で判定されるイベントとは、画素１２の光子検知素子２２に入射される光の光量が所定の条件を満たすことを意味する。この所定の条件とは、例えば、光量が所定の閾値を超えたことであってもよく、光量の変化量が所定の閾値を超えたことであってもよい。本実施形態の光電変換装置１００は、カウント値と閾値とに基づいてこのイベントを検知し、画素１２の状態を遷移させる機能を有している。
The event determined by this process means that the amount of light incident on the
パルス生成部４４は、クエンチトランジスタＭ１のゲートにパルス信号を出力することにより、クエンチトランジスタＭ１のオン及びオフをパルス信号の周波数で切り替える。これにより、クエンチトランジスタＭ１は、光子検知素子２２を構成するＡＰＤのカソードのノードの電圧を戻すリチャージ動作をパルス信号の周波数にて行うことができる。パルス生成部４４は、例えば、光電変換装置１００内のクロック信号を分周することにより可変の周波数のパルス信号を生成する分周回路等を含み得る。また、パルス生成部４４は、イベント検知結果信号ＥＤＲに基づいて、出力するパルス信号の周波数を変えることができる。
The
上述の構成による光電変換装置１００においては、リチャージ動作が行われてから次にリチャージ動作が行われるまでの光子検出待機期間に光子検知素子２２に少なくとも１つの光子が入射されると、カウンタ３４２に保持されているカウント値が１つ増加する。光子検出待機期間に光子検知素子２２に１つも光子が入射されなかった場合には、カウンタ３４２に保持されているカウント値は増加しない。このように、カウンタ３４２は、複数の光子検出待機期間のうち、光子が入射されアバランシェ増倍が生じた期間の数をカウントすることができる。パルス信号の周波数に応じて光子検出待機期間の数と１つの光子検出待機期間の長さが変わるため、パルス信号の周波数を変化させることにより、カウンタ３４２による光子カウントの頻度が変化する。
In the
露光制御部３４６は、イベント検知結果信号ＥＤＲに基づいてカウンタ３４２におけるカウント期間の長さ（露光時間）を変化させる機能を有する。露光制御部３４６は、タイマクロック信号ＴＣＬＫをカウントするカウンタを含むデジタル回路であり得る。露光制御部３４６には、垂直走査回路部４０、制御パルス生成部８０又は光電変換装置１００の外部からタイマクロック信号ＴＣＬＫが入力される。露光制御部３４６は、タイマクロック信号ＴＣＬＫのパルス数をカウントする。露光制御部３４６は、カウントされたパルス数が所定の閾値に達したときに、カウンタ３４２に保持されているカウント値をリセットするためのリセット信号ＲＥＳのパルスをカウンタ３４２に出力する。露光制御部３４６は、イベント検知結果信号ＥＤＲに基づいてタイマクロック信号ＴＣＬＫのパルス数のカウント閾値を変えることにより、カウント期間の長さを変化させることができる。
The
図７及び図８を相互に参照しつつ、イベント検知時における画素１２の駆動方法を説明する。図７は、初期状態であるイベント検知状態（第１状態）において、ある１つの画素１２がイベントを検知して撮像状態（第２状態）に遷移するまでの処理を示しているフローチャートである。図８は、図７の処理の過程における各信号のレベル等を示している。図８には、カウント値ＣＮＴ、リセット信号ＲＥＳ、イベント検知結果信号ＥＤＲ、
タイマクロック信号ＴＣＬＫ及びパルス信号ＰＬが示されている。
A method of driving the
A timer clock signal TCLK and a pulse signal PL are shown.
ステップＳ１１において、光電変換装置１００内の各画素１２は、イベント検知状態に設定されている。イベント検知状態とは、通常の撮像状態よりも消費電力を抑えた状態で入射光に基づく画素信号を取得するモードである。イベント検知状態で取得された画素信号は、主として撮像状態への遷移の可否の判定に用いられる。図８における時刻ｔ１６以前の期間は、各画素１２がイベント検知状態である期間である。図８の期間Ｔ５は、リセット信号ＲＥＳにより、時刻ｔ１５においてカウンタ３４２がリセットされてから、時刻ｔ１６において次にカウンタ３４２がリセットされるまでのカウント期間である。画素１２は、１つのカウント期間が経過するごとに、そのカウント期間内に光子検知素子２２に入射された光子に基づくカウント値を１つ出力する。例えば、期間Ｔ５の経過後には、期間Ｔ５内に検出された光子に基づくカウント値Ｃ２が画素１２から出力される。このように、画素１２は、カウント期間が経過するごとにカウント値を繰り返し出力する。
In step S11, each
ステップＳ１２において、所定の画素１２のカウンタ３４２においてカウント値が取得され、その画素の閾値判定部３４４にカウント値が入力される。ステップＳ１２においてカウント値が取得される画素１２は、画素部１０のうちのすべての画素１２であってもよく、その一部の画素１２であってもよく、１つの画素１２であってもよい。また、カウント値が取得される画素１２は、画素部１０のうちから順次選択されてもよい。
In step S12, the count value is acquired by the
ステップＳ１３において、閾値判定部３４４は、カウント値が所定の閾値を超えているか否かを判定する。カウント値が所定の閾値を超えている場合（ステップＳ１３におけるＹＥＳ）、イベントが検知されたものとして、処理はステップＳ１４に移行する。カウント値が所定の閾値を超えていない場合（ステップＳ１３におけるＮＯ）、イベントが検知されなかったものとして、処理はステップＳ１２に戻り、イベント検知状態が継続する。なお、図８には、時刻ｔ１５においてカウント値Ｃ２が閾値を超えていないと判定され、時刻ｔ１６においてカウント値Ｃ２が閾値を超えていると判定された場合の動作タイミングが示されている。
In step S13, the
ステップＳ１４において、閾値判定部３４４は、カウント値が所定の閾値を超えたことの判定結果に応じて、イベント検知結果信号ＥＤＲをハイレベルにする。この処理は図８の時刻ｔ１６に相当する。露光制御部３４６は、イベント検知結果信号ＥＤＲに基づいて、リセット信号ＲＥＳのパルスの間隔を変化させる。これにより、カウンタ３４２におけるリセットの周期が変化し、カウント期間が変化する。また、パルス生成部４４は、イベント検知結果信号ＥＤＲに基づいて、パルス信号ＰＬの周波数を変化させる。これらのカウント期間及び周波数変化により、画素信号処理部３０からのカウント値ＣＮＴの出力におけるフレームレートが変化する。以上のようにして、当該画素１２は、イベント検知状態から撮像状態に遷移する。図８における時刻ｔ１６以降の期間は、各画素１２が撮像状態である期間である。図８の期間Ｔ６は、リセット信号ＲＥＳにより、時刻ｔ１６においてカウンタ３４２がリセットされてから、時刻ｔ１７において次にカウンタ３４２がリセットされるまでのカウント期間である。図８に示されているように、撮像状態におけるカウント期間である期間Ｔ６の長さは、イベント検知状態におけるカウント期間である期間Ｔ５の長さよりも短い。また、図８に示されているように、撮像状態におけるパルス信号ＰＬの周波数は、イベント検知状態におけるパルス信号ＰＬの周波数よりも高い。したがって、撮像状態におけるフレームレートは、イベント検知状態におけるフレームレートよりも高い。時刻ｔ１６以降の時刻ｔ１７、ｔ１８等においても撮像状態による動作が継続する。
In step S14, the
なお、ステップＳ１４において撮像状態に遷移する画素１２は、閾値を超えたと判定された１つの画素１２のみであってもよく、その周辺の画素を含む一群の画素１２であってもよく、画素部１０内のすべての画素１２であってもよい。閾値を超えたと判定された１つの画素１２のみが撮像状態に遷移する構成は、低消費電力化の観点において望ましい。これに対し、画素部１０内のすべての画素１２が撮像状態に遷移する構成は、画素部１０の全領域が高速に撮像可能な状態に遷移できるという観点において望ましい。一群の画素１２が撮像状態に遷移する構成は、低消費電力化と処理の高速化のバランスの観点で望ましい。このように、ステップＳ１４において撮像状態に遷移する画素１２の個数は要求仕様等に応じて適宜選択可能である。
Note that the
以上のように、本実施形態の光電変換装置１００は、カウント値と所定の閾値とに基づく判定を行った結果に応じて、イベント検知状態から撮像状態に遷移する画素１２を含む。この構成による効果について説明する。非同期型の光電変換装置１００においては、消費電力の低減が求められている。特に、光電変換装置１００が電池駆動のように電力供給が制限された環境で用いられる場合には低消費電力化の要求が強い。本実施形態では、図８に示されているように、イベント検知状態において、撮像状態と比べてカウント期間が長く設定されており、かつ、撮像状態と比べてパルス信号ＰＬの周波数が低く設定されている。したがって、イベント検知状態におけるフレームレートが低減されている。これにより、カウントの頻度及びカウント信号の出力頻度が低減され、イベント検知状態における光電変換装置１００の消費電力が低減される。
As described above, the
特許文献２に開示されているようなイベント検出用の検出画素では、検出画素自体の消費電力を低減することについては考慮されていない。しかしながら、本実施形態の光電変換装置１００では、各画素１２がイベント検知状態及び撮像状態で動作可能であるため、イベント検知に用いられる画素自体の消費電力が低減される。
A detection pixel for event detection as disclosed in Patent Document 2 does not consider reducing the power consumption of the detection pixel itself. However, in the
以上のように、本実施形態によれば、消費電力が低減された光電変換装置１００が提供される。
As described above, according to the present embodiment, the
次に、図９を参照して、本実施形態の変形例を説明する。図８の例では、時刻ｔ１６においてパルス信号ＰＬの周波数を変化させたときに、パルス信号ＰＬのパルス幅とパルス周期が同一の比率で変化している。言い換えるとパルス信号ＰＬのデューティー比が一定である。このような周波数の変化は比較的単純な分周回路により実現可能であるため、パルス生成部４４の回路構成の単純化の観点では望ましい。しかしながら、パルス信号ＰＬは、デューティー比が一定であるものに限られない。
Next, a modification of this embodiment will be described with reference to FIG. In the example of FIG. 8, when the frequency of the pulse signal PL is changed at time t16, the pulse width and pulse period of the pulse signal PL change at the same ratio. In other words, the duty ratio of pulse signal PL is constant. Since such a frequency change can be realized by a relatively simple frequency dividing circuit, it is desirable from the viewpoint of simplification of the circuit configuration of the
図９の例では、パルス信号ＰＬの周波数を変化させたときに、時刻ｔ２６以前のイベント検知状態と時刻ｔ２６以降の撮像状態の間でパルス信号ＰＬのローレベルの期間の長さが同一である。上述のように、パルス信号のローレベルの期間は、クエンチトランジスタＭ１がオンになるリチャージ期間である。これにより、リチャージ動作の期間の長さが一定となり、リチャージ動作が安定化する。したがって、図９の変形例においては、信号品質が向上し得る。なお、クエンチトランジスタＭ１がＮＭＯＳである場合等、パルス信号ＰＬがハイレベルのときにリチャージ動作が行われる構成であってもよい。その場合には、イベント検知状態と撮像状態の間でパルス信号ＰＬのハイレベルの期間の長さを同一とすることが望ましい。 In the example of FIG. 9, when the frequency of the pulse signal PL is changed, the duration of the low level period of the pulse signal PL is the same between the event detection state before time t26 and the imaging state after time t26. . As described above, the low level period of the pulse signal is the recharge period during which the quench transistor M1 is turned on. As a result, the length of the period of the recharge operation becomes constant, and the recharge operation is stabilized. Therefore, in the variant of FIG. 9, the signal quality can be improved. Note that the recharge operation may be performed when the pulse signal PL is at a high level, such as when the quench transistor M1 is an NMOS. In that case, it is desirable to make the length of the high level period of the pulse signal PL the same between the event detection state and the imaging state.
［第２実施形態］
本発明の第２実施形態による光電変換装置について、図１０を用いて説明する。図１０は、本実施形態による光電変換装置における画素の駆動方法の例を示すタイミング図である。
[Second embodiment]
A photoelectric conversion device according to a second embodiment of the present invention will be described with reference to FIG. FIG. 10 is a timing chart showing an example of a pixel driving method in the photoelectric conversion device according to this embodiment.
本実施形態の光電変換装置は、イベント検知状態から撮像状態に遷移する際にカウント値のビット数を変更可能である点が第１実施形態の光電変換装置と異なっている。 The photoelectric conversion device of this embodiment differs from the photoelectric conversion device of the first embodiment in that the number of bits of the count value can be changed when transitioning from the event detection state to the imaging state.
図１０を参照しつつイベント検知時における画素１２の駆動方法を説明する。駆動方法のフローは図７と同様であるため説明を省略する。図１０には、図８と同様の信号が表示されており、かつカウント値ＣＮＴの欄にカウント値のビット数が、「ｍ－ｂｉｔ」、「ｎ－ｂｉｔ」のように併記されている。
A method of driving the
図１０には、時刻ｔ３５においてカウント値Ｃ１が閾値を超えていないと判定され、時刻ｔ３６においてカウント値Ｃ２が閾値を超えていると判定された場合の動作タイミングが示されている。したがって、時刻ｔ３６以前の期間においてイベント検知結果信号ＥＤＲはローレベルであり、時刻ｔ３６以降の期間においてイベント検知結果信号ＥＤＲはハイレベルである。すなわち、時刻ｔ３６以前の期間において画素１２はイベント検知状態であり、時刻ｔ３６以降の期間において画素１２は撮像状態である。
FIG. 10 shows operation timing when it is determined that the count value C1 does not exceed the threshold at time t35 and that the count value C2 exceeds the threshold at time t36. Therefore, the event detection result signal EDR is at low level during the period before time t36, and is at high level during the period after time t36. That is, the
図１０に示されているように、イベント検知状態におけるカウント値Ｃ１、Ｃ２のビット数はｍビットであり、撮像状態におけるカウント値Ｃ３、Ｃ４のビット数はｎビットである。ここで、ｍは１以上の整数であり、ｎはｍよりも大きい整数である。言い換えると、撮像状態におけるカウント値ＣＮＴのビット数は、イベント検知状態におけるカウント値ＣＮＴのビット数よりも多い。また、第１実施形態と同様に、撮像状態におけるパルス信号ＰＬの周波数は、イベント検知状態におけるパルス信号ＰＬの周波数よりも高い。 As shown in FIG. 10, the number of bits of the count values C1 and C2 in the event detection state is m bits, and the number of bits of the count values C3 and C4 in the imaging state is n bits. Here, m is an integer of 1 or more, and n is an integer larger than m. In other words, the number of bits of count value CNT in the imaging state is greater than the number of bits of count value CNT in the event detection state. Also, as in the first embodiment, the frequency of the pulse signal PL in the imaging state is higher than the frequency of the pulse signal PL in the event detection state.
本実施形態では、イベント検知状態において、撮像状態と比べてパルス信号ＰＬの周波数が低く設定されており、かつ、撮像状態と比べてカウント値ＣＮＴのビット数が少ない。イベント検知状態においては、カウント値ＣＮＴのビット数を少なくすることで、カウント値ＣＮＴの出力後にカウンタ３４２よりも後段で行われる信号処理における演算負荷が低減され、消費電力が低減し得る。一方、撮像状態ではイベント検知状態よりもビット数を増加させることで高精度な信号取得が可能となる。
In this embodiment, in the event detection state, the frequency of the pulse signal PL is set lower than in the imaging state, and the number of bits of the count value CNT is smaller than in the imaging state. In the event detection state, by reducing the number of bits of the count value CNT, the calculation load in the signal processing performed after the
なお、ビット数を少なくする手法の一例としては、イベント検知状態において、カウンタ３４２以後の処理において少なくとも最下位のビットを無効とする、又はカウンタ３４２から少なくとも最下位のビットを出力しない、といった手法が挙げられる。この場合において、最下位付近のビットのデータが欠落していても、判定閾値付近のビットのデータが出力されていればステップＳ１３における判定を行うことができる。なお、撮像状態の遷移後には、この無効化又は出力の停止を解除することでビット数を増加させることができる。このような手法を用いることで、撮像状態用にビット数が調整されたビットメモリをイベント検知状態においても用いることができる。
As an example of a method for reducing the number of bits, there is a method of invalidating at least the least significant bit in the processing after the
なお、図１０では、撮像状態におけるカウント期間である期間Ｔ８の長さは、イベント検知状態におけるカウント期間である期間Ｔ７の長さと同一である。しかしながら、第１実施形態と同様に、撮像状態におけるカウント期間である期間Ｔ８の長さを、イベント検知状態におけるカウント期間である期間Ｔ７の長さよりも短くしてもよい。この場合、撮像状態におけるフレームレートが高くなるものの、カウント期間が短縮することにより、取得される信号の精度が低下する。フレームレートと信号の精度のバランスと要求特性を考慮して期間Ｔ７、Ｔ８の長さを適宜設定することで、第１実施形態の駆動方法と第２実施形態の駆動方法を好適に組み合わせることができる。 Note that in FIG. 10, the length of the period T8, which is the count period in the imaging state, is the same as the length of the period T7, which is the count period in the event detection state. However, as in the first embodiment, the length of the period T8, which is the count period in the imaging state, may be shorter than the length of the period T7, which is the count period in the event detection state. In this case, although the frame rate in the imaging state increases, the precision of the acquired signal decreases due to the shortening of the counting period. By appropriately setting the lengths of the periods T7 and T8 in consideration of the balance between the frame rate and signal accuracy and the required characteristics, it is possible to suitably combine the driving method of the first embodiment and the driving method of the second embodiment. can.
［第３実施形態］
本発明の第３実施形態による光電変換装置について、図１１を用いて説明する。図１１は、本実施形態による光電変換装置における画素の駆動方法の例を示すフローチャートである。
[Third embodiment]
A photoelectric conversion device according to a third embodiment of the present invention will be described with reference to FIG. FIG. 11 is a flowchart showing an example of a pixel driving method in the photoelectric conversion device according to this embodiment.
本実施形態の光電変換装置は、撮像状態への遷移の判定がカウント値の変化量に基づいて行われる点が第１実施形態と異なっている。その他の回路構成、駆動方法については第１実施形態又は第２実施形態のいずれかが適用可能であるため説明を省略する。 The photoelectric conversion device of this embodiment differs from that of the first embodiment in that the transition to the imaging state is determined based on the amount of change in the count value. Since either the first embodiment or the second embodiment can be applied to other circuit configurations and driving methods, description thereof will be omitted.
図１１を参照しつつ、イベント検知時における画素１２の駆動方法を説明する。ステップＳ１１、Ｓ１２、Ｓ１４の動作は図７と同様であるため説明を省略する。ステップＳ１５において、閾値判定部３４４は、カウント値の時間変化が所定の閾値を超えているか否かを判定する。ここで時間変化とは、本判定がｎ回目のカウント期間に出力されたカウント値に対して行われるものであるとすると、ｎ回目のカウント期間のカウント値から（ｎ－１）回目のカウント期間のカウント値を減算して得られるカウント値の差分であり得る。カウント値が所定の閾値を超えている場合（ステップＳ１５におけるＹＥＳ）、イベントが検知されたものとして、処理はステップＳ１４に移行する。カウント値が所定の閾値を超えていない場合（ステップＳ１５におけるＮＯ）、イベントが検知されなかったものとして、処理はステップＳ１２に戻り、イベント検知状態が継続する。なお、上述のような差分処理を実現するため、閾値判定部３４４は、前回のカウント期間に出力されたカウント値を記憶するメモリを含み得る。
A method of driving the
以上のように、本実施形態の光電変換装置１００は、カウント値の時間変化と所定の閾値とに基づく判定を行った結果に応じて、イベント検知状態から撮像状態に遷移する画素１２を含む。非同期型の光電変換装置１００においては、物体の輝度自体よりも、輝度の時間変化が重要である場合がある。そのような場合の例としては、静止している対象物を光電変換装置１００により監視している際に、対象物の動きを検知するといった状況が挙げられる。本実施形態では、カウント値の時間変化を判定基準に用いているため、上述のような状況において、より適切に判定を行うことができる。したがって、本実施形態によれば、より適切な判定を行い得る光電変換装置１００が提供される。
As described above, the
上述の説明では時間変化の算出例として、ｎ回目のカウント期間のカウント値とｎ－１回目のカウント期間のカウント値を用いる例を示しているが、ｎ－２回目以前のカウント期間のカウント値を更に用いてもよい。 In the above description, as an example of calculating the time change, an example using the count value in the n-th count period and the count value in the (n-1)th count period is shown. may also be used.
なお、物体の輝度自体が重要な場合には、図１１のようなカウント値の時間変化に基づく判定基準よりも、図７のようなカウント値自体に基づく判定基準の方が望ましい場合もある。図７のようにカウント値と閾値との比較による判定を行うことで、撮像環境の明るさをイベントとして検知する等の状況においてはより適切に判定を行うことができる。 If the brightness of the object itself is important, the determination criterion based on the count value itself as shown in FIG. 7 may be preferable to the determination criterion based on the time change of the count value as shown in FIG. By performing determination by comparing the count value and the threshold value as shown in FIG. 7, it is possible to perform more appropriate determination in situations such as detecting the brightness of the imaging environment as an event.
［第４実施形態］
本発明の第４実施形態による光電変換装置について、図１２乃至図１４を用いて説明する。図１２は、本実施形態による光電変換装置における画素の配置及び駆動順序の例を示す模式図である。図１３は、本実施形態による光電変換装置における画素の駆動方法の例を示すタイミング図である。図１４は、本実施形態による光電変換装置における画素の駆動方法の変形例を示すタイミング図である。
[Fourth embodiment]
A photoelectric conversion device according to a fourth embodiment of the present invention will be described with reference to FIGS. 12 to 14. FIG. FIG. 12 is a schematic diagram showing an example of pixel arrangement and driving order in the photoelectric conversion device according to this embodiment. FIG. 13 is a timing chart showing an example of a pixel driving method in the photoelectric conversion device according to this embodiment. FIG. 14 is a timing chart showing a modification of the pixel driving method in the photoelectric conversion device according to this embodiment.
本実施形態の光電変換装置は、イベント検知の処理が行われる画素１２の選択方法に関する構成例である。その他の回路構成、駆動方法については第１実施形態乃至第４実施形態のいずれかが適用可能であるため説明を省略する。
The photoelectric conversion device of this embodiment is a configuration example related to a method of selecting
図１２は、画素部１０における画素１２の配置とイベント検知状態における駆動順序を模式的に示している。図１２には、説明を単純化するために４行×４列の画素１２のみが示されているがこれは例示であり、実際はこれよりも多い行数及び列数であってもよい。図１２の画素１２を示すボックス内に記された（ＰＤＥＮ１１）等は、各画素１２からカウント値を出力させるための制御信号を示している。制御信号名の末尾の「１１」等の２桁の数値は行番号及び列番号をそれぞれ示している。図１２の画素１２を示すボックス上に示されている矢印は、画素１２の走査順序を示している。すなわち、本実施形態のイベント検知状態における駆動順序は、１行１列の画素１２→１行２列の画素１２→１行３列の画素１２→１行４列の画素１２→２行１列の画素１２→…のようになっている。このように、本実施形態においては、駆動順序が複数の画素１２の配列に応じた順序となっている。
FIG. 12 schematically shows the arrangement of the
なお、カウント値を出力する画素１２の選択は、垂直走査回路部４０から出力される制御信号と水平走査回路部６０から出力される制御信号との２種類の制御信号の組み合わせにより行われ得る。しかしながら、本実施形態においては単純化のため、１つの制御信号により画素１２からの信号出力が制御されるものとして各図に制御信号を表記している。
Selection of the
図１３は、図１２の読み出し順序を実現する制御信号ＰＤＥＮ１１、ＰＤＥＮ１２、ＰＤＥＮ１３、ＰＤＥＮ１４のレベルとカウント値ＣＮＴが示されている。なお、図１３の全期間において、各画素１２はイベント検知状態であるものとする。時刻ｔ４１以前の期間において、制御信号ＰＤＥＮ１１がハイレベルになり、１行１列の画素１２が有効化される。時刻ｔ４１において、１行１列の画素１２からカウント値Ｃ１１が出力される。なお、カウント値の末尾の「１１」等の２桁の数値は行番号及び列番号をそれぞれ示している。このとき、上述の実施形態で述べたものと同様の手法により、カウント値Ｃ１１に基づくイベント検知の判定が行われる。時刻ｔ４１から時刻ｔ４２の期間において、制御信号ＰＤＥＮ１２がハイレベルになり、１行２列の画素１２が有効化される。時刻ｔ４２において、１行２列の画素１２からカウント値Ｃ１２が出力される。このとき、上述の実施形態で述べたものと同様の手法により、カウント値Ｃ１１に基づくイベント検知の判定が行われる。以降も同様にして、カウント期間が経過するごとに、順次、対応する画素１２においてカウント値の出力と判定が行われる。
FIG. 13 shows the levels of the control signals PDEN11, PDEN12, PDEN13 and PDEN14 and the count value CNT for realizing the readout order of FIG. It is assumed that each
本実施形態によれば、同時に動作する画素１２の数を少なく抑えることで消費電力を低減しつつ、画素部１０の複数の画素１２全体を順番に動作させることにより画素部１０の全体をカバーした判定を行うことができる。これにより、消費電力の低減と高精度なイベント検知が両立された光電変換装置１００が提供される。
According to this embodiment, the
図１４は、図１２及び図１３の駆動順序の変形例である。図１４に示されるように、本変形例における駆動順序は、１行１列の画素１２→１行３列の画素１２→１行４列の画素１２→１行２列の画素１２→…のようになっている。このように、本実施形態においては、駆動順序が複数の画素１２の配列に対してランダムな順序となっている。なお、図１４の例では１行の中での順序がランダムとなっている例を示しているが、行と列の両方がランダムになっていてもよい。
FIG. 14 is a modification of the driving order of FIGS. 12 and 13. In FIG. As shown in FIG. 14, the driving order in this modified example is as follows:
入射される光子の数が少ない暗所等の撮影環境においては、イベントを検知可能な画素部１０の領域が極めて狭い場合がある。このような場合に、図１２の例のように、画素１２の配列に沿って順次走査を行うと、イベントを検知できる確率が低くなる場合があり得る。本変形例のように順序をランダムにすることで、イベントを検知可能な画素部１０の領域が狭い場合における検知確率を向上させることができる。
In a shooting environment such as a dark place where the number of incident photons is small, the area of the
［第５実施形態］
本発明の第５実施形態による光電変換装置について、図１５を用いて説明する。図１５は、本実施形態による光電変換装置における画素の配置及び駆動方法の例を示す模式図である。
[Fifth embodiment]
A photoelectric conversion device according to a fifth embodiment of the present invention will be described with reference to FIG. FIG. 15 is a schematic diagram showing an example of pixel arrangement and driving method in the photoelectric conversion device according to this embodiment.
本実施形態の光電変換装置は、イベント検知の処理が行われる画素１２の選択方法に関する構成例である。その他の回路構成、駆動方法については第１実施形態乃至第４実施形態のいずれかが適用可能であるため説明を省略する。
The photoelectric conversion device of this embodiment is a configuration example related to a method of selecting
図１５は、画素部１０における画素１２の配置と、イベント検知状態における動作の有無を模式的に示している。図１５においてハッチングが付されているボックスは、当該画素１２において、イベント検知状態ではカウント値の出力及びイベント検知の判定が行われないことを示している。ハッチングが付されていないボックスの画素１２は、上述のいずれかの実施形態と同様にして、イベント検知状態におけるカウント値の出力及びイベント検知の判定が行われる。
FIG. 15 schematically shows the arrangement of the
このように、イベント検知状態においては、一部の画素１２を間引いてカウント値の出力及びイベント検知の判定が行われることにより、イベント検知の動作の高速化又は低消費電力化が実現される。
In this way, in the event detection state, some
なお、図１５において、ハッチングが付されているボックスは、画素部１０内にチェッカーパターン状に分布している。このようにカウント値の出力及びイベント検知の判定が行われない画素１２を配することにより、イベント検知の処理に用いられる画素１２の分布が均一化する。しかしながら、カウント値の出力及びイベント検知の判定が行われない画素１２の分布は図１５に示すものに限定されるものではない。
In FIG. 15 , hatched boxes are distributed in a checkered pattern in the
［第６実施形態］
本発明の第６実施形態による光電変換装置について、図１６乃至図１８を用いて説明する。図１６は、本実施形態による光電変換装置における画素の配置及び駆動方法の例を示す模式図である。図１７は、本実施形態による光電変換装置における駆動方法の例を示すフローチャートである。図１８は、本実施形態による光電変換装置における駆動方法の変形例を示すフローチャートである。
[Sixth embodiment]
A photoelectric conversion device according to a sixth embodiment of the present invention will be described with reference to FIGS. 16 to 18. FIG. FIG. 16 is a schematic diagram showing an example of pixel arrangement and driving method in the photoelectric conversion device according to this embodiment. FIG. 17 is a flow chart showing an example of a driving method in the photoelectric conversion device according to this embodiment. FIG. 18 is a flow chart showing a modification of the driving method in the photoelectric conversion device according to this embodiment.
本実施形態の光電変換装置は、イベント検知後のイベント検知状態から撮像状態への遷移の処理に関する構成例である。その他の回路構成、駆動方法については第１実施形態乃至第５実施形態のいずれかが適用可能であるため説明を省略する。 The photoelectric conversion device of this embodiment is a configuration example related to processing of transition from an event detection state to an imaging state after event detection. Since any one of the first to fifth embodiments can be applied to other circuit configurations and driving methods, description thereof will be omitted.
図１６は、画素部１０における画素１２の配置と、イベント検知状態から撮像状態への遷移の有無を模式的に示している。図１６の上段は、画素部１０内の画素ブロック１０ａの配置を示している。画素ブロック１０ａは、所定範囲内の複数の画素１２を含む画素群である。図１６の下段は、１つの画素ブロック１０ａ内に含まれる複数の画素１２の配置を示している。図１６の下段の１つの画素ブロック１０ａにおいてハッチングが付されているボックスは、当該画素１２において、判定結果が所定の条件（カウント値＞閾値）を満たし、イベント検知の判定がなされたことを示している。図１６の画素部１０において、ハッチングが付されているボックスは、当該画素ブロック１０ａに含まれるすべての画素１２が撮像状態に遷移することを示している。
FIG. 16 schematically shows the arrangement of the
図１７を参照しつつ、イベント検知時における画素１２の駆動方法を説明する。ステップＳ１１、Ｓ１２、Ｓ１３の動作は図７と同様であるため説明を省略する。ステップＳ１６において、カウント値が閾値を超えていることが検出された所定画素が属する画素ブロック１０ａとその周辺の画素ブロック１０ａに含まれるすべての画素１２がイベント検知状態から撮像状態に遷移する。これにより、図１６に示されているような、所定の条件を満たした画素１２を含む画素ブロック１０ａとそれに隣接する画素ブロック１０ａが撮像状態に遷移するような駆動がなされる。
A method of driving the
以上のように、本実施形態の光電変換装置１００においては、所定の条件を満たした画素１２だけでなく、その周辺の画素１２もイベント検知状態から撮像状態に遷移する。静止している対象物を光電変換装置１００により監視している際に、対象物の動きを検知するといった状況においては、対象物の近傍の情報が重要である。一方、対象物から離れた場所の情報はあまり有用ではない。そのため、対象物に動きがある場合には、対象物の近傍の情報があれば十分である場合もある。本実施形態では、イベント検知の判定がなされた画素１２の周辺の画素が撮像状態に遷移することにより、上述のような撮像に有用な領域を撮像状態に遷移させつつ、さほど有用でない領域はイベント検知状態のまま低消費電力な状態を維持することができる。したがって、本実施形態によれば、消費電力の低減と高精度な信号取得が両立された光電変換装置１００が提供される。
As described above, in the
図１８は、図１７の駆動方法の変形例である。図１８においては、図１７の駆動方法の後にステップＳ１７、Ｓ１８、Ｓ１９が追加されている。 FIG. 18 is a modification of the driving method of FIG. In FIG. 18, steps S17, S18, and S19 are added after the driving method of FIG.
ステップＳ１７において、ステップＳ１６において撮像状態に遷移した周辺の画素１２のいずれかからカウント値が取得される。このカウント値の取得動作の詳細はステップＳ１２におけるものと同様である。
In step S17, a count value is acquired from any of the surrounding
ステップＳ１８において、閾値判定部３４４は、周辺画素から取得されたカウント値が所定の閾値を超えているか否かを判定する。カウント値が所定の閾値を超えている場合（ステップＳ１８におけるＹＥＳ）、イベントが検知されたものとして、処理はステップＳ１９に移行する。カウント値が所定の閾値を超えていない場合（ステップＳ１８におけるＮＯ）、イベントが検知されなかったものとして、処理はステップＳ１７に戻る。
In step S18, the
ステップＳ１９において、画素部１０内のすべての画素１２がイベント検知状態から撮像状態に遷移する。
In step S19, all the
入射される光子の数が少ない暗所等の撮影環境においては、イベント検知がなされたとしても、それがノイズに起因する誤検出である可能性がある。この状態で全画素を撮像状態に遷移させると、誤検出が生じた場合に電力を浪費するおそれがある。そこで、本変形例では、イベント検知がなされた画素の周辺の画素の情報を更に用いてイベント検知を行うことで、より高精度にイベント検知の判定を行ってから全画素を撮像状態に遷移させる。これにより、誤検出による電力の浪費が生じる可能性を低減することができる。 In a shooting environment such as a dark place where the number of incident photons is small, even if an event is detected, it may be an erroneous detection due to noise. If all the pixels transition to the imaging state in this state, power may be wasted in the event of erroneous detection. Therefore, in this modified example, event detection is performed by further using information of pixels surrounding the pixel for which event detection has been performed, so that event detection is determined with higher accuracy, and then all pixels are transitioned to the imaging state. . This can reduce the possibility of wasting power due to erroneous detection.
［第７実施形態］
本発明の第７実施形態による光電変換装置について、図１９及び図２０を用いて説明する。図１９は、本実施形態による光電変換装置における画素の配置及び駆動方法の例を示す模式図である。図２０は、本実施形態による光電変換装置における駆動方法の例を示すフローチャートである。
[Seventh embodiment]
A photoelectric conversion device according to a seventh embodiment of the present invention will be described with reference to FIGS. 19 and 20. FIG. FIG. 19 is a schematic diagram showing an example of pixel arrangement and driving method in the photoelectric conversion device according to this embodiment. FIG. 20 is a flow chart showing an example of a driving method in the photoelectric conversion device according to this embodiment.
本実施形態の光電変換装置は、イベント検知後のイベント検知状態から撮像状態への遷移の処理に関する構成例である。その他の回路構成、駆動方法については第１実施形態乃至第６実施形態のいずれかが適用可能であるため説明を省略する。 The photoelectric conversion device of this embodiment is a configuration example related to processing of transition from an event detection state to an imaging state after event detection. Since any one of the first to sixth embodiments can be applied to other circuit configurations and driving methods, description thereof will be omitted.
図１９は、画素部１０における画素１２の配置と、イベント検知状態から撮像状態への遷移の有無を模式的に示している。画素部１０及び画素ブロック１０ａ内の画素１２の配置等は図１６と同様である。図１９の下段の１つの画素ブロック１０ａにおいてハッチングが付されている複数のボックスの各々は、当該画素１２において、判定結果が所定の条件（カウント値＞閾値）を満たし、イベント検知の判定がなされたことを示している。すなわち、図１９の例では、５個の画素１２において、イベント検知の判定がなされている。図１９の画素部１０において、ハッチングが付されているボックスは、当該画素ブロック１０ａに含まれるすべての画素１２が撮像状態に遷移することを示している。
FIG. 19 schematically shows the arrangement of the
図２０を参照しつつ、イベント検知時における画素１２の駆動方法を説明する。ステップＳ１１、Ｓ１３の動作は図７と同様であるため説明を省略又は簡略化する。
A method of driving the
ステップＳ２０において、所定の画素ブロック１０ａ内のすべての画素１２からカウント値が取得される。その後、ステップＳ１３において、各カウント値が所定の閾値を超えているか否かの判定が行われる。各カウント値に対する判定処理の内容は第１実施形態で述べたものと同様である。少なくとも１つの画素１２から出力されたカウント値が所定の閾値を超えている場合（ステップＳ１３におけるＹＥＳ）、イベントが検知されたものとして、処理はステップＳ２１に移行する。カウント値が所定の閾値を超えていない場合（ステップＳ１３におけるＮＯ）、イベントが検知されなかったものとして、処理はステップＳ２０に戻り、イベント検知状態が継続する。
In step S20, count values are obtained from all
ステップＳ２１において、上述のカウント値の取得及び判定が行われた画素ブロック１０ａ内の各画素は、閾値を超えた画素１２の検知数（図１９の例では５個）に応じて異なる条件に設定された撮像状態に遷移する。第１実施形態の構成においては、「異なる条件」とは、時刻ｔ１６又は時刻ｔ２６以降の周波数及びフレームレートの少なくとも１つを検知数に応じて変えることに相当する。この場合、検知数が多いほど時刻ｔ１６又は時刻ｔ２６以降の周波数及びフレームレートの少なくとも１つを高く設定して、信号の出力を高頻度にすることで精度を向上することが好適である。第２実施形態の構成においては、「異なる条件」とは、時刻ｔ３６以降の周波数及びビット数の少なくとも１つを検知数に応じて変えることに相当する。この場合、検知数が多いほど時刻ｔ３６以降の周波数を高く設定するか、又は検知数が多いほど時刻ｔ３６以降のビット数を多く設定することにより、出力信号を高精度化することが好適である。
In step S21, each pixel in the
以上のように、本実施形態の光電変換装置１００においては、画素ブロック１０ａ内の検知数に応じて、画素１２の状態が異なる条件に設定された撮像状態に遷移する。検知数が多い領域は、人物が多く集まっている場所等のように他とは異なる条件での撮像が要求される領域であることが多い。そのため、遷移後の撮像状態が検知数に応じて異なる条件に設定されていることが望ましい。本実施形態によれば、より適切な条件での信号取得が可能な光電変換装置１００が提供される。
As described above, in the
また、上述のように、検知数が多いほど、遷移後の撮像状態がより高精度化するような条件であることがより望ましい。この例は、例えば、顔認識等のように特定部分の高精度化が要求される撮像環境において更に有効である。 Moreover, as described above, it is more desirable that the condition is such that the higher the number of detections, the higher the accuracy of the imaging state after the transition. This example is more effective in an imaging environment in which high accuracy of a specific portion is required, such as face recognition.
［第８実施形態］
本発明の第８実施形態に係る光検出システムについて、図２１を用いて説明する。図２１は、本実施形態に係る光検出システムのブロック図である。本実施形態の光検出システムは、入射光に基づく画像を取得する撮像システムである。
[Eighth embodiment]
A photodetection system according to an eighth embodiment of the present invention will be described with reference to FIG. FIG. 21 is a block diagram of a photodetection system according to this embodiment. The photodetection system of this embodiment is an imaging system that acquires an image based on incident light.
上述の実施形態における光電変換装置は種々の撮像システムに適用可能である。撮像システムとして、デジタルスチルカメラ、デジタルカムコーダ、カメラヘッド、複写機、ファックス、携帯電話、車載カメラ、観測衛星、監視カメラ等があげられる。図２１に、撮像システムの例としてデジタルスチルカメラのブロック図を示す。 The photoelectric conversion devices in the above-described embodiments are applicable to various imaging systems. Examples of imaging systems include digital still cameras, digital camcorders, camera heads, copiers, facsimiles, mobile phones, on-vehicle cameras, observation satellites, surveillance cameras, and the like. FIG. 21 shows a block diagram of a digital still camera as an example of an imaging system.
図２１に示す撮像システム７は、バリア７０６、レンズ７０２、絞り７０４、撮像装置７０、信号処理部７０８、タイミング発生部７２０、全体制御・演算部７１８、メモリ部７１０、記録媒体制御Ｉ／Ｆ部７１６、記録媒体７１４、外部Ｉ／Ｆ部７１２を含む。バリア７０６はレンズを保護し、レンズ７０２は被写体の光学像を撮像装置７０に結像させる。絞り７０４はレンズ７０２を通った光量を可変にする。撮像装置７０は上述の実施形態の光電変換装置のように構成され、レンズ７０２により結像された光学像を画像データに変換する。信号処理部７０８は撮像装置７０より出力された撮像データに各種の補正、データ圧縮等の処理を行う。
The
タイミング発生部７２０は、撮像装置７０及び信号処理部７０８に、各種タイミング信号を出力する。全体制御・演算部７１８はデジタルスチルカメラ全体を制御し、メモリ部７１０は画像データを一時的に記憶する。記録媒体制御Ｉ／Ｆ部７１６は記録媒体７１４に画像データの記録又は読み出しを行うためのインターフェースであり、記録媒体７１４は画像データの記録又は読み出しを行うための半導体メモリ等の着脱可能な記録媒体である。外部Ｉ／Ｆ部７１２は外部コンピュータ等と通信するためのインターフェースである。タイミング信号等は撮像システム７の外部から入力されてもよく、撮像システム７は、少なくとも撮像装置７０と、撮像装置７０から出力された画像信号を処理する信号処理部７０８とを有すればよい。
The
本実施形態では、撮像装置７０と信号処理部７０８とが同一の半導体基板に配されていてもよい。また、撮像装置７０と信号処理部７０８とが別の半導体基板に配されていてもよい。
In this embodiment, the
また、撮像装置７０のそれぞれの画素が第１光電変換部と、第２光電変換部を含んでもよい。信号処理部７０８は、第１光電変換部で生じた電荷に基づく画素信号と、第２光電変換部で生じた電荷に基づく画素信号とを処理し、撮像装置７０から被写体までの距離情報を取得し得る。
Also, each pixel of the
［第９実施形態］
図２２は、本実施形態に係る光検出システムのブロック図である。より具体的には、図２２は、上述の実施形態に記載の光電変換装置を用いた距離画像センサのブロック図である。
[Ninth Embodiment]
FIG. 22 is a block diagram of a photodetection system according to this embodiment. More specifically, FIG. 22 is a block diagram of a distance image sensor using the photoelectric conversion device described in the above embodiments.
図２２に示すように、距離画像センサ４０１は、光学系４０２、光電変換装置４０３、画像処理回路４０４、モニタ４０５及びメモリ４０６を備える。距離画像センサ４０１は、光源装置４１１から被写体に向かって発光され、被写体の表面で反射された光（変調光、パルス光）を受光する。距離画像センサ４０１は、発光から受光までの時間に基づき、被写体までの距離に応じた距離画像を取得することができる。
As shown in FIG. 22, the
光学系４０２は、１枚又は複数枚のレンズを含み、被写体からの像光（入射光）を光電変換装置４０３に導き、光電変換装置４０３の受光面（センサ部）に結像させる。
The
光電変換装置４０３としては、上述した各実施形態の光電変換装置が適用され得る。光電変換装置４０３は、受光信号から求められる距離を示す距離信号を画像処理回路４０４に供給する。
As the
画像処理回路４０４は、光電変換装置４０３から供給された距離信号に基づいて距離画像を構築する画像処理を行う。画像処理により得られた距離画像（画像データ）は、モニタ４０５に表示され、メモリ４０６に記憶（記録）され得る。
The
このように構成されている距離画像センサ４０１は、上述した光電変換装置を適用することで、正確な距離画像を取得することができる。
The
［第１０実施形態］
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、光検出システムの一例である内視鏡手術システムに適用されてもよい。
[Tenth embodiment]
The technology according to the present disclosure can be applied to various products. For example, the technology according to the present disclosure may be applied to an endoscopic surgery system, which is an example of a light detection system.
図２３は、本実施形態における内視鏡手術システムの概略図である。図２３は、術者（医師）１１３１が、内視鏡手術システム１１０３を用いて、患者ベッド１１３３上の患者１１３２に手術を行っている様子を示している。図示するように、内視鏡手術システム１１０３は、内視鏡１１００、術具１１１０、アーム１１２１、内視鏡下手術のための各種の装置が搭載されたカート１１３４を備える。
FIG. 23 is a schematic diagram of an endoscopic surgery system according to this embodiment. FIG. 23 shows an operator (doctor) 1131 performing surgery on a
内視鏡１１００は、先端から所定の長さの領域が患者１１３２の体腔内に挿入される鏡筒１１０１と、鏡筒１１０１の基端に接続されるカメラヘッド１１０２とを備える。図２３は、硬性の鏡筒１１０１を有するいわゆる硬性鏡として構成される内視鏡１１００を示しているが、内視鏡１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
An
鏡筒１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１００には光源装置１２０３が接続されている。光源装置１２０３によって生成された光は、鏡筒１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１００は、直視鏡であってもよく、斜視鏡又は側視鏡であってもよい。
The tip of the
カメラヘッド１１０２の内部には光学系及び光電変換装置が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該光電変換装置に集光される。光電変換装置によって観察光は光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。光電変換装置としては、上述の各実施形態に記載の光電変換装置が用いられ得る。画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１１３５に送信される。
An optical system and a photoelectric conversion device are provided inside the
ＣＣＵ１１３５は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１００及び表示装置１１３６の動作を統括的に制御する。更に、ＣＣＵ１１３５は、カメラヘッド１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等、画像信号に基づく画像を表示するための各種の画像処理を施す。
The
表示装置１１３６は、ＣＣＵ１１３５からの制御により、当該ＣＣＵ１１３５によって画像処理が施された画像信号に基づく画像を表示する。
The
光源装置１２０３は、例えばＬＥＤ（Light Emitting Diode）等の光源を備え、術部等を撮影する際の照射光を内視鏡１１００に供給する。
The
入力装置１１３７は、内視鏡手術システム１１０３に対する入力インターフェースである。ユーザは、入力装置１１３７を介して、内視鏡手術システム１１０３に対して各種の情報の入力及び指示入力を行うことができる。
処置具制御装置１１３８は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１２の駆動を制御する。 The treatment instrument control device 1138 controls driving of the energy treatment instrument 1112 for tissue cauterization, incision, blood vessel sealing, or the like.
光源装置１２０３は、内視鏡１１００に術部を撮影する際の照射光を供給可能であって、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによる白色光源であり得る。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができる。このため、光源装置１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１０２の撮像素子の駆動を制御してもよい。これにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。このような方法によれば、撮像素子にカラーフィルタが設けられることなく、カラー画像を得ることができる。
The
また、光源装置１２０３から出力される光の強度が所定の時間ごとに変更されるように、光源装置１２０３の駆動が制御されてもよい。光の強度の変更のタイミングに同期してカメラヘッド１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
Further, driving of the
更に、光源装置１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用することができる。具体的には、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
Furthermore, the
［第１１実施形態］
本実施形態の光検出システム及び移動体について、図２４、図２５（ａ）、図２５（ｂ）、図２５（ｃ）及び図２６を用いて説明する。本実施形態では、光検出システムとして、車載カメラの一例を示す。
[Eleventh embodiment]
A photodetection system and a moving object according to this embodiment will be described with reference to FIGS. In this embodiment, an example of an in-vehicle camera is shown as a light detection system.
図２４は、本実施形態における光検出システムの概略図であって、車両システム及び車両システムに搭載される光検出システムの一例を示している。光検出システム１３０１は、光電変換装置１３０２、画像前処理部１３１５、集積回路１３０３、光学系１３１４を含む。光学系１３１４は、光電変換装置１３０２に被写体の光学像を結像する。光電変換装置１３０２は、光学系１３１４により結像された被写体の光学像を電気信号に変換する。光電変換装置１３０２は、上述の各実施形態のいずれかの光電変換装置である。画像前処理部１３１５は、光電変換装置１３０２から出力された信号に対して所定の信号処理を行う。画像前処理部１３１５の機能は、光電変換装置１３０２内に組み込まれていてもよい。光検出システム１３０１には、光学系１３１４、光電変換装置１３０２及び画像前処理部１３１５が、少なくとも２組設けられており、各組の画像前処理部１３１５からの出力が集積回路１３０３に入力される。
FIG. 24 is a schematic diagram of a photodetection system according to the present embodiment, showing an example of a vehicle system and a photodetection system mounted on the vehicle system. The
集積回路１３０３は、撮像システム用途向けの集積回路であり、記憶媒体１３０５を含む画像処理部１３０４、光学測距部１３０６、視差演算部１３０７、物体認知部１３０８、異常検出部１３０９を含む。画像処理部１３０４は、画像前処理部１３１５の出力信号に対して、現像処理、欠陥補正等の画像処理を行う。記憶媒体１３０５は、撮像画像の一次記憶を行い、撮像画素の欠陥位置を格納する。光学測距部１３０６は、被写体の合焦又は測距を行う。視差演算部１３０７は、複数の光電変換装置１３０２により取得された複数の画像データ（視差画像）から測距情報（距離情報）の算出を行う。物体認知部１３０８は、車、道、標識、人等の被写体の認知を行う。異常検出部１３０９は、光電変換装置１３０２の異常を検出すると、主制御部１３１３に異常を発報する。
The
集積回路１３０３は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。
The
主制御部１３１３は、光検出システム１３０１、車両センサ１３１０、制御ユニット１３２０等の動作を統括・制御する。主制御部１３１３を持たず、光検出システム１３０１、車両センサ１３１０、制御ユニット１３２０が個別に通信インターフェースを有し、それぞれが通信ネットワークを介して制御信号の送受を例えばＣＡＮ規格によって行ってもよい。
The
集積回路１３０３は、主制御部１３１３からの制御信号を受け、あるいは自身の制御部によって、光電変換装置１３０２へ制御信号又は設定値を送信する機能を有する。
The
光検出システム１３０１は、車両センサ１３１０に接続されており、車速、ヨーレート、舵角等の自車両走行状態、自車外環境及び他車・障害物の状態を検出することができる。車両センサ１３１０は、対象物までの距離情報を取得する距離情報取得手段でもある。また、光検出システム１３０１は、自動操舵、自動巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部１３１１に接続されている。特に、衝突判定機能に関しては、光検出システム１３０１、車両センサ１３１０の検出結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、衝突が推定される場合の回避制御、衝突時の安全装置起動を行う。
The
また、光検出システム１３０１は、衝突判定部での判定結果に基づいて、ドライバーに警報を発する警報装置１３１２にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部１３１３は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制する等の車両制御を行い、衝突の回避又は被害の軽減を実現する。警報装置１３１２は、音等の警報の発報、カーナビゲーションシステム及びメーターパネル等の表示部画面における警報情報の表示、シートベルト及びステアリングへの振動付与等の手段を用いて、ユーザに警告を発する。
The
本実施形態における光検出システム１３０１は、車両の周囲、例えば前方又は後方を撮影可能である。図２５（ａ）、図２５（ｂ）及び図２５（ｃ）は、本実施形態における移動体の概略図であって、車両前方を光検出システム１３０１で撮像する構成を示している。
The
２つの光電変換装置１３０２は、車両１３００の前方に配される。具体的には、車両１３００の進退方位又は外形（例えば車幅）に対する中心線を対称軸とみなし、対称軸に対して２つの光電変換装置１３０２が線対称に配されることが好ましい。これにより、車両１３００と被写対象物との間の距離情報の取得及び衝突可能性の判定を効果的に行うことが可能となる。また、光電変換装置１３０２は、運転者が運転席から車両１３００の外の状況を視認する際に運転者の視野を妨げない位置に配されることが好ましい。警報装置１３１２は、運転者の視野に入りやすい位置に配されることが好ましい。
Two
次に、光検出システム１３０１における光電変換装置１３０２の故障検出動作について、図２６を用いて説明する。図２６は、本実施形態における光検出システムの動作を表すフローチャートである。光電変換装置１３０２の故障検出動作は、図２６に示すステップＳ１４１０～Ｓ１４８０に従って実行され得る。
Next, failure detection operation of the
ステップＳ１４１０において、光電変換装置１３０２のスタートアップ時の設定が行われる。すなわち、光検出システム１３０１の外部（例えば主制御部１３１３）又は光検出システム１３０１の内部から、光電変換装置１３０２の動作のための設定情報が送信され、光電変換装置１３０２は撮像動作及び故障検出動作を開始する。
In step S1410, startup settings of the
次いで、ステップＳ１４２０において、光電変換装置１３０２は、有効画素から画素信号を取得する。また、ステップＳ１４３０において、光電変換装置１３０２は、故障検出用に設けた故障検出画素からの出力値を取得する。この故障検出画素は、有効画素と同じく光電変換素子を備える。この光電変換素子には、所定の電圧が書き込まれる。故障検出画素は、この光電変換素子に書き込まれた電圧に対応する信号を出力する。なお、ステップＳ１４２０とステップＳ１４３０とは逆の順に実行されてもよい。
Next, in step S1420, the
次いで、ステップＳ１４４０において、光検出システム１３０１は、故障検出画素の出力期待値と、実際の故障検出画素からの出力値との該非判定を行う。ステップＳ１４４０における該非判定の結果、出力期待値と実際の出力値とが一致している場合は、光検出システム１３０１は、ステップＳ１４５０の処理に移行し、撮像動作が正常に行われていると判定し、ステップＳ１４６０の処理へと移行する。ステップＳ１４６０において、光検出システム１３０１は、走査行の画素信号を記憶媒体１３０５に送信して一次保存する。その後、光検出システム１３０１は、ステップＳ１４２０の処理に戻り、故障検出動作を継続する。一方、ステップＳ１４４０における該非判定の結果、出力期待値と実際の出力値とが一致していない場合は、光検出システム１３０１はステップＳ１４７０の処理に移行する。ステップＳ１４７０において、光検出システム１３０１は、撮像動作に異常があると判定し、主制御部１３１３又は警報装置１３１２に警報を発報する。警報装置１３１２は、表示部に異常が検出されたことを表示させる。その後、ステップＳ１４８０において、光検出システム１３０１は、光電変換装置１３０２を停止し、光検出システム１３０１の動作を終了する。
Next, in step S1440, the
なお、本実施形態では、１行毎にフローチャートをループさせる例を例示したが、複数行毎にフローチャートをループさせてもよいし、１フレーム毎に故障検出動作を行ってもよい。ステップＳ１４７０の警報の発報は、無線ネットワークを介して、車両の外部に通知するようにしてもよい。 In the present embodiment, an example in which the flowchart is looped for each line was exemplified, but the flowchart may be looped for each of a plurality of lines, or the failure detection operation may be performed for each frame. The issuance of the warning in step S1470 may be notified to the outside of the vehicle via a wireless network.
また、本実施形態では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、光検出システム１３０１は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
In addition, in the present embodiment, the control that does not collide with another vehicle has been described, but it is also applicable to control that automatically drives following another vehicle, control that automatically drives so as not to stray from the lane, and the like. . Furthermore, the
本発明の光電変換装置は、更に、距離情報など各種情報を取得可能な構成であってもよい。 The photoelectric conversion device of the present invention may further have a configuration capable of acquiring various information such as distance information.
［第１２実施形態］
図２７（ａ）は、本実施形態における電子機器の具体例を示す図であって、眼鏡１６００（スマートグラス）を示している。眼鏡１６００には、上述の各実施形態に記載の光電変換装置１６０２が設けられている。すなわち、眼鏡１６００は、上述の各実施形態に記載の光電変換装置１６０２が適用され得る光検出システムの一例である。レンズ１６０１の裏面側には、ＯＬＥＤ、ＬＥＤ等の発光装置を含む表示装置が設けられていてもよい。光電変換装置１６０２は１つでもよいし、複数でもよい。また、複数種類の光電変換装置が組み合わされてもよい。光電変換装置１６０２の配置位置は図２７（ａ）に限定されない。
[Twelfth embodiment]
FIG. 27(a) is a diagram showing a specific example of the electronic device according to the present embodiment, showing spectacles 1600 (smart glasses). The
眼鏡１６００は更に制御装置１６０３を備える。制御装置１６０３は、光電変換装置１６０２と上述の表示装置に電力を供給する電源として機能する。また、制御装置１６０３は、光電変換装置１６０２と表示装置の動作を制御する。レンズ１６０１には、光電変換装置１６０２に光を集光するための光学系が配されている。
図２７（ｂ）は、１つの適用例に係る眼鏡１６１０（スマートグラス）を示している。眼鏡１６１０は、制御装置１６１２を有しており、制御装置１６１２に、光電変換装置１６０２に相当する光電変換装置と、表示装置とが搭載される。レンズ１６１１には、制御装置１６１２内の光電変換装置と、表示装置からの発光を投影するための光学系とが配されており、レンズ１６１１には画像が投影される。制御装置１６１２は、光電変換装置及び表示装置に電力を供給する電源として機能するとともに、光電変換装置及び表示装置の動作を制御する。制御装置１６１２は、装着者の視線を検知する視線検知部を有してもよい。視線の検知は赤外線を用いてよい。赤外発光部は、表示画像を注視しているユーザの眼球に対して、赤外光を発する。発せられた赤外光の眼球からの反射光を、受光素子を有する撮像部が検出することで眼球の撮像画像が得られる。平面視における赤外発光部から表示部への光を低減する低減手段を有することで、画像品位の低下が低減される。
FIG. 27(b) shows glasses 1610 (smart glasses) according to one application. The
制御装置１６１２は、赤外光の撮像により得られた眼球の撮像画像から表示画像に対するユーザの視線を検出する。眼球の撮像画像を用いた視線検出には任意の公知の手法が適用できる。一例として、角膜での照射光の反射によるプルキニエ像に基づく視線検出方法を用いることができる。
The
より具体的には、瞳孔角膜反射法に基づく視線検出処理が行われる。瞳孔角膜反射法を用いて、眼球の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き（回転角度）を表す視線ベクトルが算出されることにより、ユーザの視線が検出される。 More specifically, line-of-sight detection processing based on the pupillary corneal reflection method is performed. The user's line of sight is detected by calculating a line-of-sight vector representing the orientation (rotational angle) of the eyeball based on the pupil image and the Purkinje image included in the captured image of the eyeball using the pupillary corneal reflection method. be.
本実施形態の表示装置は、受光素子を有する光電変換装置を有し、光電変換装置からのユーザの視線情報に基づいて表示装置の表示画像を制御してよい。 The display device of the present embodiment may have a photoelectric conversion device having a light receiving element, and may control a display image of the display device based on the user's line-of-sight information from the photoelectric conversion device.
具体的には、表示装置は、視線情報に基づいて、ユーザが注視する第１視界領域と、第１視界領域以外の第２視界領域とを決定する。第１の視界領域、第２視界領域は、表示装置の制御装置によって決定されてもよく、外部の制御装置によって決定されてもよい。表示装置の表示領域において、第１視界領域の表示解像度を第２視界領域の表示解像度よりも高く制御してよい。つまり、第２視界領域の解像度を第１視界領域よりも低くしてよい。 Specifically, the display device determines a first visual field area that the user gazes at and a second visual field area other than the first visual field area based on the line-of-sight information. The first viewing area and the second viewing area may be determined by the control device of the display device, or may be determined by an external control device. In the display area of the display device, the display resolution of the first viewing area may be controlled to be higher than the display resolution of the second viewing area. That is, the resolution of the second viewing area may be lower than that of the first viewing area.
また、表示領域は、第１表示領域と、第１表示領域とは異なる第２表示領域とを含み得る。視線情報に基づいて、第１表示領域及び第２表示領域から優先度の高い領域が決定されてもよい。第１視界領域、第２視界領域は、表示装置の制御装置によって決定されもよく、外部の制御装置によって決定されてもよい。優先度の高い領域の解像度は、優先度の高い領域以外の領域の解像度よりも高くなるように制御されてよい。つまり優先度が相対的に低い領域の解像度は低くされ得る。 Also, the display area may include a first display area and a second display area different from the first display area. A high priority area may be determined from the first display area and the second display area based on the line-of-sight information. The first viewing area and the second viewing area may be determined by the control device of the display device, or may be determined by an external control device. The resolution of the high priority area may be controlled to be higher than the resolution of the areas other than the high priority area. That is, the resolution of areas with relatively low priority can be reduced.
なお、第１視界領域、優先度が高い領域の決定において、ＡＩ（Artificial Intelligence）が用いられてもよい。ＡＩは、眼球の画像と当該画像の眼球が実際に視ていた方向とを教師データとして、眼球の画像から視線の角度、視線の先の目的物までの距離を推定するよう構成されたモデルであってよい。ＡＩプログラムは、表示装置、光電変換装置のいずれに設けられてもよく、外部装置に設けられてもよい。外部装置がＡＩプログラムを有する場合は、通信を介して、サーバなどから表示装置に送信され得る。 AI (Artificial Intelligence) may be used to determine the first field of view area and the area with high priority. The AI is a model configured to estimate the angle of the line of sight from the eyeball image and the distance to the object ahead of the line of sight, using the image of the eyeball and the direction in which the eyeball of the image was actually viewed as training data. It's okay. The AI program may be provided in either the display device or the photoelectric conversion device, or may be provided in an external device. If the external device has an AI program, it can be sent from a server or the like to the display device via communication.
視認検知に基づいて表示制御する場合、本実施形態は、外部を撮像する光電変換装置を更に有するスマートグラスに好ましく適用され得る。スマートグラスは、撮像した外部情報をリアルタイムで表示することができる。 When display control is performed based on visual detection, the present embodiment can be preferably applied to smart glasses that further have a photoelectric conversion device that captures an image of the outside. Smart glasses can display captured external information in real time.
［変形実施形態］
本発明は、上述の実施形態に限らず種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
[Modified embodiment]
The present invention is not limited to the above-described embodiment, and various modifications are possible. For example, an example in which a part of the configuration of any one of the embodiments is added to another embodiment, and an example in which a part of the configuration of another embodiment is replaced are also embodiments of the present invention.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of specific implementations of the present invention, and the technical scope of the present invention should not be construed to be limited by these. That is, the present invention can be embodied in various forms without departing from its technical concept or its main features.
２０…光電変換部
２２…光子検知素子
２４…クエンチ素子
３０…画素信号処理部
３２…波形整形部
３４…デジタル処理回路
３６…画素出力回路
１００…光電変換装置
３４２…カウンタ
３４４…閾値判定部
３４６…露光制御部
20
Claims (21)
カウント期間に前記アバランシェフォトダイオードに入射する光子に基づくカウント値を生成するカウンタを含み、前記カウント値を所定のフレームレートで出力する信号処理回路と、
アバランシェ増倍が生じた後の前記アバランシェフォトダイオードを再び前記アバランシェ増倍が生じ得る状態に戻すクエンチトランジスタと、
前記クエンチトランジスタのゲートに所定の周波数でレベルが変化するパルス信号を出力するパルス生成部と、
を含む画素を有し、
前記画素は、前記カウント値と所定の閾値とに基づく判定を行った結果に応じて、第１状態から、前記周波数及び前記フレームレートが前記第１状態よりも高い第２状態に遷移する
ことを特徴とする光電変換装置。 an avalanche photodiode;
a signal processing circuit that includes a counter that generates a count value based on photons incident on the avalanche photodiode during a count period, and that outputs the count value at a predetermined frame rate;
a quench transistor for returning the avalanche photodiode after avalanche multiplication to a state in which the avalanche multiplication can occur;
a pulse generator that outputs a pulse signal whose level changes at a predetermined frequency to the gate of the quench transistor;
has a pixel containing
The pixel transitions from the first state to a second state in which the frequency and the frame rate are higher than those in the first state, according to a result of determination based on the count value and a predetermined threshold. A photoelectric conversion device characterized by:
ことを特徴とする請求項１に記載の光電変換装置。 The photoelectric conversion device according to claim 1, wherein the number of bits of the count value in the second state is larger than the number of bits of the count value in the first state.
カウント期間に前記アバランシェフォトダイオードに入射する光子に基づくカウント値を生成するカウンタを含み、前記カウント値を所定のフレームレートで出力する信号処理回路と、
アバランシェ増倍が生じた後の前記アバランシェフォトダイオードを再び前記アバランシェ増倍が生じ得る状態に戻すクエンチトランジスタと、
前記クエンチトランジスタのゲートに所定の周波数でレベルが変化するパルス信号を出力するパルス生成部と、
を含む画素を有し、
前記画素は、前記カウント値と所定の閾値とに基づく判定を行った結果に応じて、第１状態から、前記周波数が前記第１状態よりも高く、かつ、前記カウント値のビット数が前記第１状態よりも多い第２状態に遷移する
ことを特徴とする光電変換装置。 an avalanche photodiode;
a signal processing circuit that includes a counter that generates a count value based on photons incident on the avalanche photodiode during a count period, and that outputs the count value at a predetermined frame rate;
a quench transistor for returning the avalanche photodiode after avalanche multiplication to a state in which the avalanche multiplication can occur;
a pulse generator that outputs a pulse signal whose level changes at a predetermined frequency to the gate of the quench transistor;
has a pixel containing
According to the result of determination based on the count value and a predetermined threshold value, the pixel has the frequency higher than the first state and the number of bits of the count value is the first state. A photoelectric conversion device characterized by transitioning to a second state more than one state.
ことを特徴とする請求項２又は３に記載の光電変換装置。 4. The photoelectric conversion device according to claim 2, wherein the count value in the first state does not include the least significant bit of the count value in the second state.
ことを特徴とする請求項１乃至４のいずれか１項に記載の光電変換装置。 5. The length of one of the high level period and the low level period of the pulse signal is the same between the first state and the second state. The photoelectric conversion device according to Item 1.
ことを特徴とする請求項１乃至５のいずれか１項に記載の光電変換装置。 The photoelectric conversion device according to any one of claims 1 to 5, wherein the pixel transitions from the first state to the second state when the count value exceeds a predetermined threshold. .
ことを特徴とする請求項１乃至５のいずれか１項に記載の光電変換装置。 6. The pixel according to any one of claims 1 to 5, wherein the pixel transitions from the first state to the second state when the time change of the count value exceeds a predetermined threshold. Photoelectric conversion device.
ことを特徴とする請求項１乃至７のいずれか１項に記載の光電変換装置。 The photoelectric conversion device according to any one of claims 1 to 7, comprising a plurality of pixels arranged in a plurality of rows and a plurality of columns.
ことを特徴とする請求項８に記載の光電変換装置。 9. The photoelectric conversion device according to claim 8, wherein all of the plurality of pixels perform the determination in the first state.
ことを特徴とする請求項８又は９に記載の光電変換装置。 10. The photoelectric conversion device according to claim 8, wherein in the first state, the plurality of pixels sequentially perform the determination in an order according to the arrangement of the plurality of pixels.
ことを特徴とする請求項８又は９に記載の光電変換装置。 10. The photoelectric conversion device according to claim 8, wherein in the first state, the plurality of pixels sequentially perform the determination in a random order with respect to the arrangement of the plurality of pixels.
ことを特徴とする請求項８乃至１１のいずれか１項に記載の光電変換装置。 In the first state, some of the plurality of pixels perform the determination, and other portions of the plurality of pixels do not perform the determination.
12. The photoelectric conversion device according to any one of claims 8 to 11, characterized in that:
ことを特徴とする請求項８乃至１２のいずれか１項に記載の光電変換装置。 13. The method according to any one of claims 8 to 12, wherein all of said plurality of pixels transition to said second state according to the result of said determination for one pixel among said plurality of pixels. photoelectric conversion device.
ことを特徴とする請求項８乃至１２のいずれか１項に記載の光電変換装置。 Some pixels among the plurality of pixels including at least the one pixel transition to the second state according to the determination result for one pixel among the plurality of pixels. The photoelectric conversion device according to any one of claims 8 to 12.
ことを特徴とする請求項１４に記載の光電変換装置。 15. The photoelectric conversion device according to claim 14, wherein two of said partial pixels are adjacent to each other.
ことを特徴とする請求項１４又は１５に記載の光電変換装置。 16. The photoelectric conversion device according to claim 14 or 15, wherein all of the plurality of pixels transition to the second state according to the determination result of one pixel out of the partial pixels. .
ことを特徴とする請求項８乃至１２のいずれか１項に記載の光電変換装置。 All pixels belonging to the pixel block are placed in the second state according to the determination result of at least one pixel in a pixel block that is a part of the plurality of pixels and includes a plurality of pixels. 13. The photoelectric conversion device according to any one of claims 8 to 12, wherein the transition is performed.
ことを特徴とする請求項１７に記載の光電変換装置。 18. The condition according to claim 17, wherein the condition after the transition to the second state is set according to the number of pixels in the pixel block for which the result of the determination satisfies a predetermined condition. Photoelectric conversion device.
前記光電変換装置から出力される信号を処理する信号処理装置と
を有することを特徴とする光検出システム。 a photoelectric conversion device according to any one of claims 1 to 18;
and a signal processing device that processes a signal output from the photoelectric conversion device.
ことを特徴とする請求項１９に記載の光検出システム。 20. The photodetection system according to claim 19, wherein the signal processing device generates a distance image representing distance information to an object based on the signal.
請求項１乃至１８のいずれか１項に記載の光電変換装置と、
前記光電変換装置から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。 being mobile,
a photoelectric conversion device according to any one of claims 1 to 18;
distance information acquisition means for acquiring distance information to an object from a parallax image based on a signal output from the photoelectric conversion device;
and control means for controlling the moving body based on the distance information.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022000029A JP2023099400A (en) | 2022-01-01 | 2022-01-01 | Photoelectric conversion device and photo-detection system |
| US18/145,577 US20230217137A1 (en) | 2022-01-01 | 2022-12-22 | Photoelectric conversion device and photodetection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022000029A JP2023099400A (en) | 2022-01-01 | 2022-01-01 | Photoelectric conversion device and photo-detection system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023099400A true JP2023099400A (en) | 2023-07-13 |
Family
ID=87103433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022000029A Pending JP2023099400A (en) | 2022-01-01 | 2022-01-01 | Photoelectric conversion device and photo-detection system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023099400A (en) |
-
2022
- 2022-01-01 JP JP2022000029A patent/JP2023099400A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220236420A1 (en) | Photoelectric conversion device, photodetection system, and movable object | |
| US20230217137A1 (en) | Photoelectric conversion device and photodetection system | |
| JP2024026582A (en) | Photoelectric conversion device and optical detection system | |
| US11784195B2 (en) | Photoelectric conversion apparatus and photodetection system | |
| KR20230036971A (en) | Photoelectric conversion device and photoelectric conversion system | |
| JP2023099400A (en) | Photoelectric conversion device and photo-detection system | |
| JP2022106660A (en) | Photoelectric conversion device and photodetection system | |
| JP2023099399A (en) | Photoelectric conversion device and photo-detection system | |
| US20230224609A1 (en) | Photoelectric conversion device | |
| US11835386B2 (en) | Photoelectric conversion device, imaging system, light detection system, and mobile body | |
| WO2023131996A1 (en) | Photoelectric conversion device and light detection system | |
| US20230120836A1 (en) | Semiconductor device | |
| JP7286730B2 (en) | Photoelectric conversion device | |
| US11937006B2 (en) | Photoelectric conversion apparatus and photoelectric conversion system | |
| WO2022149576A1 (en) | Photoelectric conversion device and photodetection system | |
| JP2022113105A (en) | Signal processing device | |
| US11855106B2 (en) | Signal processing device having counter counting pulses from avalanche photodiode | |
| US20230120430A1 (en) | Photoelectric conversion apparatus | |
| WO2023131995A1 (en) | Photoelectric conversion device and optical detection system | |
| WO2023153218A1 (en) | Photoelectric conversion device | |
| JP2023173218A (en) | Photoelectric conversion device and light detection system | |
| JP2023061582A (en) | Photoelectric conversion device | |
| CN116711320A (en) | Photoelectric conversion device and optical detection system | |
| JP2023039400A (en) | Photoelectric conversion device and photoelectric conversion system | |
| JP2022106649A (en) | Photoelectric conversion device and photodetection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220630 |