JP2021001764A - Distance measurement device, distance measurement method, and distance measurement system - Google Patents
Distance measurement device, distance measurement method, and distance measurement system Download PDFInfo
- Publication number
- JP2021001764A JP2021001764A JP2019114622A JP2019114622A JP2021001764A JP 2021001764 A JP2021001764 A JP 2021001764A JP 2019114622 A JP2019114622 A JP 2019114622A JP 2019114622 A JP2019114622 A JP 2019114622A JP 2021001764 A JP2021001764 A JP 2021001764A
- Authority
- JP
- Japan
- Prior art keywords
- weight
- pixel
- unit
- tdc
- distance measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本技術は、測距装置、測距方法、および、測距システムに関し、特に、高精度に距離を測定することができるようにした測距装置、測距方法、および、測距システムに関する。 The present technology relates to a distance measuring device, a distance measuring method, and a distance measuring system, and more particularly to a distance measuring device, a distance measuring method, and a distance measuring system capable of measuring a distance with high accuracy.
被写体までの距離を測定する測距センサの一つに、Direct ToF(Time of flight)センサがある。Direct ToFセンサ(以下、単にToFセンサと称する。)は、被写体に向けて光を照射した時刻と、被写体から反射された反射光を受信した時刻とから距離を直接測定する。 One of the distance measuring sensors that measures the distance to the subject is the Direct ToF (Time of flight) sensor. The Direct ToF sensor (hereinafter, simply referred to as a ToF sensor) directly measures the distance from the time when the light is irradiated toward the subject and the time when the reflected light reflected from the subject is received.
ToFセンサでは、光を照射した時刻から反射光を受信した時刻までの光の飛行時間がTDC(time to digital converter)によって距離相当のカウント値に変換される。光の照射と受信は、外乱光やマルチパスの影響を除去するために、複数回に渡って実施される。そして、複数回分のカウント値のヒストグラムが生成され、頻度値が最も大きいカウント値が、最終的なカウント値として出力される。 In the ToF sensor, the flight time of light from the time when light is irradiated to the time when reflected light is received is converted into a count value equivalent to a distance by TDC (time to digital converter). Light irradiation and reception are performed multiple times in order to eliminate the influence of ambient light and multipath. Then, a histogram of the count values for a plurality of times is generated, and the count value having the highest frequency value is output as the final count value.
例えば、特許文献1には、反射光の状況などに応じて、ヒストグラムを生成する単位を、多数のSPADを割り当てる領域と、少数のSPADを割り当てる領域とに変化させる処理が開示されている。
For example,
しかしながら、特許文献1の技術では、分解能が変化するので、解像度の劣化が懸念される。
However, in the technique of
本技術は、このような状況に鑑みてなされたものであり、高精度に距離を測定することができるようにするものである。 This technique was made in view of such a situation, and makes it possible to measure a distance with high accuracy.
本技術の第1の側面の測距装置は、画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、前記反応回数に基づいて、重みを決定する重み決定部と、光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部とを備える。 The ranging device on the first side of the present technology has a measuring unit that measures the number of reactions that the light receiving element reacts to in response to the incident of a photon on the pixel, and a weighting unit that determines the weight based on the number of reactions. A TDC that counts the time from the light source emitting light to the incident timing at which a photon is incident on the pixel, and a weight processing unit that performs processing corresponding to the weight on the count value supplied from the TDC. And a histogram generation unit that generates a histogram based on the count value subjected to the processing corresponding to the weight.
本技術の第2の側面の測距方法は、測距装置が、画素への光子の入射に応じて受光素子が反応した反応回数を計測し、前記反応回数に基づいて、重みを決定し、光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントし、前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施し、前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成する。 In the distance measuring method of the second aspect of the present technology, the distance measuring device measures the number of reactions that the light receiving element reacts to in response to the incident of photons on the pixels, and determines the weight based on the number of reactions. The time from when the light source emits light to when the photon is incident on the pixel is counted, and the count value supplied from the TDC is subjected to a process corresponding to the weight and a process corresponding to the weight. A histogram is generated based on the count value given by.
本技術の第3の側面の測距システムは、光源を有する照明装置と、前記光源からの光が物体に反射された反射光を受光する測距装置とを備え、前記測距装置は、画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、前記反応回数に基づいて、重みを決定する重み決定部と、光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部とを備える。 The distance measuring system on the third side of the present technology includes a lighting device having a light source and a distance measuring device that receives the reflected light reflected by the object from the light source, and the distance measuring device is a pixel. A measuring unit that measures the number of reactions that the light receiving element reacts to in response to the incident of photons on, a weight determining unit that determines the weight based on the number of reactions, and a photon that is incident on the pixel after the light source emits light. A TDC that counts the time until the incident timing is performed, a weight processing unit that performs processing corresponding to the weight on the count value supplied from the TDC, and the count that is processed corresponding to the weight. It includes a histogram generation unit that generates a histogram based on the value.
本技術の第1乃至第3の側面においては、画素への光子の入射に応じて受光素子が反応した反応回数が計測され、前記反応回数に基づいて、重みが決定され、光源が発光してから前記画素に光子が入射される入射タイミングまでの時間がカウントされ、前記TDCから供給されるカウント値に対して、前記重みに対応する処理が施され、前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムが生成される。 In the first to third aspects of the present technology, the number of reactions that the light receiving element reacts to in response to the incident of photons on the pixels is measured, the weight is determined based on the number of reactions, and the light source emits light. The time from to the incident timing at which the photon is incident on the pixel is counted, and the count value supplied from the TDC is subjected to a process corresponding to the weight and a process corresponding to the weight. A histogram is generated based on the count value.
測距装置及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。 The distance measuring device and the electronic device may be independent devices or may be modules incorporated in other devices.
以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.測距システムの構成例
2.受光装置の概略構成例
3.受光装置の基本構成例
4.受光装置の詳細構成例
5.距離測定処理
6.変形例
7.測距システムの使用例
8.移動体への応用例
Hereinafter, embodiments for carrying out the present technology (hereinafter referred to as embodiments) will be described. The explanation will be given in the following order.
1. 1. Configuration example of distance measurement system 2. Schematic configuration example of the light receiving device 3. Example of basic configuration of a
<1.測距システムの構成例>
図1は、本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。
<1. Configuration example of distance measurement system>
FIG. 1 is a block diagram showing a configuration example of an embodiment of a distance measuring system to which the present technology is applied.
測距システム11は、例えば、ToF法を用いて、測定対象としての物体12及び物体13までの距離を測定するシステムである。測距システム11は、タイミング信号生成回路21、照明装置22、及び、測距装置23を備える。
The distance measuring
タイミング信号生成回路21は、照明装置22が光を照射するタイミングを制御する発光タイミング信号を生成し、照明装置22および測距装置23に供給する。
The timing
照明装置22は、照明制御部31及び光源32を備える。
The lighting device 22 includes a
照明制御部31は、タイミング信号生成回路21から供給される発光タイミング信号に従って、光源32に光を照射させる。例えば、発光タイミング信号は、High(1)とLow(0)のパルス信号で構成され、照明制御部31は、発光タイミング信号が、Highのとき光源32を点灯させ、発光タイミング信号がLowのとき光源32を消灯させる。
The
光源32は、照明制御部31の制御の下、所定の波長域の光を発する。光源32は、例えば、赤外線レーザダイオードで構成される。なお、光源32の種類、及び、照射光の波長域は、測距システム11の用途等に応じて任意に設定することが可能である。
The
測距装置23は、照明装置22から照射された光(照射光)が物体12または物体13によって反射された反射光を受光し、反射光を受光したタイミングに基づいて物体までの距離を算出する。
The distance measuring device 23 receives the reflected light reflected by the
測距装置23は、レンズ41、及び、受光装置42を備える。レンズ41は、入射光を受光装置42の受光面に結像させる。なお、レンズ41の構成は任意であり、例えば、複数のレンズ群によりレンズ41を構成することも可能である。
The distance measuring device 23 includes a
受光装置42は、例えば、受光素子としてSPAD(Single Photon Avalanche Diode)やAPD(Avalanche photodiode)などを用いた画素が行方向及び列方向の行列状に2次元配置された画素アレイを有する。受光装置42は、照明装置22が照射光を照射してから受光装置42が受光するまでの時間をカウントしたデジタルのカウント値と光速とに基づいて、物体12または物体13までの距離を求める演算を行い、その演算結果を各画素に格納した距離画像を生成して出力する。光源32が発光するタイミングを示す発光タイミング信号は、タイミング信号生成回路21から受光装置42にも供給される。
The
なお、測距システム11では、光源32の発光と、その反射光の受光とを複数回(例えば、数千乃至数万回)繰り返すことにより、受光装置42が、外乱光やマルチパス等の影響を除去した距離画像を生成して出力することができる。
In the
<2.受光装置の概略構成例>
図2は、受光装置42の概略構成例を示すブロック図である。
<2. Schematic configuration example of the light receiving device>
FIG. 2 is a block diagram showing a schematic configuration example of the
受光装置42は、画素駆動部71、画素アレイ72、時間計測部73、信号処理部74、および、入出力部75を備える。
The
画素アレイ72は、光子の入射を検出し、検出結果を示す検出信号を画素信号として出力する画素81が行方向及び列方向の行列状に2次元配置されて構成されている。ここで、行方向とは水平方向の画素81の配列方向を言い、列方向とは垂直方向の画素81の配列方向を言う。図2では、紙面の制約上、画素アレイ72が10行12列の画素配列構成で示されているが、画素アレイ72の行数および列数は、これに限定されず、任意である。
The
画素アレイ72の行列状の画素配列に対して、画素行ごとに画素駆動線82が水平方向に配線されている。画素駆動線82は、画素81の駆動を行うための駆動信号を伝送する。なお、図2では、画素駆動線82を1本の配線として示しているが、複数の配線で構成してもよい。
A
画素駆動部71は、画素駆動線82を介して所定の駆動信号を各画素81に供給することにより、各画素81を駆動する。具体的には、画素駆動部71は、入出力部75を介して外部から供給される発光タイミング信号に合わせた所定のタイミングで、行列状に2次元配置された複数の画素81の少なくとも一部をアクティブ画素とし、残りの画素81を非アクティブ画素とする制御を行う。アクティブ画素は、光子の入射を検出する画素であり、非アクティブ画素は、光子の入射を検出しない画素である。なお、水平方向に配線された画素駆動線82だけでなく、垂直方向に配線された画素駆動線(不図示)も用いて、両者の論理積により、アクティブ画素及び非アクティブ画素の制御を行ってもよい。勿論、画素アレイ72の全ての画素81をアクティブ画素としてもよい。画素アレイ72内のアクティブ画素で生成された画素信号は、時間計測部73へ入力される。画素81の詳細構成については後述する。
The
時間計測部73は、画素アレイ72のアクティブ画素から供給される画素信号と、光源32の発光タイミングを示す発光タイミング信号とに基づいて、光源32が光を発光してからアクティブ画素が光を受光するまでの時間に対応するカウント値を生成する。発光タイミング信号は、入出力部75を介して外部(タイミング信号生成回路21)から時間計測部73へ供給される。
The
信号処理部74は、所定の回数(例えば、数千乃至数万回)繰り返し実行される光源32の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間をカウントしたカウント値のヒストグラムを画素ごとに作成する。そして、信号処理部74は、ヒストグラムのピークを検出することで、光源32から照射された光が物体12または物体13で反射して戻ってくるまでの時間を判定する。信号処理部74は、受光装置42が受光するまでの時間をカウントしたデジタルのカウント値と光速とに基づいて、物体までの距離を算出する。
The
入出力部75は、信号処理部74において検出された各画素の距離を画素値として格納した距離画像を生成し、距離画像の信号(距離画像信号)を、外部に出力する。また、入出力部75は、タイミング信号生成回路21から供給される発光タイミング信号を取得し、画素駆動部71および時間計測部73に供給する。
The input /
受光装置42は、以上のように構成されている。
The
<3.受光装置の基本構成例>
受光装置42の詳細構成を説明する前に、受光装置42の前提となる受光装置の基本構成例について説明する。
<3. Basic configuration example of light receiving device>
Before explaining the detailed configuration of the
図3は、受光装置42と比較する比較例としての受光装置の基本構成例を示すブロック図である。
FIG. 3 is a block diagram showing a basic configuration example of a light receiving device as a comparative example to be compared with the
図3の基本構成例においては、画素アレイ72の各画素81は、SPAD101と、読み出し回路102とを有し、時間計測部73は、TDCクロック生成部111と、複数のTDC112とを有し、信号処理部74は、TDCコード入力部131、ヒストグラム生成部132、および、距離演算部133を有する。
In the basic configuration example of FIG. 3, each
SPAD(単一光子アバランシェフォトダイオード)101は、入射光が入射されたとき、発生する電子をアバランシェ増幅させて信号を出力する受光素子である。なお、受光素子として、SPADではなく、APDを用いることもできる。 The SPAD (single photon avalanche photodiode) 101 is a light receiving element that avalanche amplifies the generated electrons and outputs a signal when incident light is incident. It should be noted that APD may be used as the light receiving element instead of SPAD.
読み出し回路102は、SPAD101において光子が検出されたタイミングを検出信号PFout(図4)として出力する回路である。
The
したがって、画素81では、SPAD101に入射光が入射されたタイミングを読み出し回路102が読み出して、TDC112に出力する。
Therefore, in the
なお、本実施の形態では、簡単のため、1つの画素81に、SPAD101と、読み出し回路102とが1対1で設けられていることとするが、図12を参照して後述するように、複数のSPAD101に対して、1つの読み出し回路102を設けてもよい。
In the present embodiment, for the sake of simplicity, it is assumed that the
TDCクロック生成部111は、時間計測部73内に1つ設けられ、TDCクロック信号を生成して、時間計測部73内の全てのTDC112に供給する。TDCクロック信号は、TDC112が、照射光を照射してから画素81が受光するまでの時間をカウントするためのクロック信号である。
One TDC
TDC(Time to Digital Converter)112は、読み出し回路102の出力に基づいて、時間をカウントし、その結果得られたカウント値を、信号処理部74のTDCコード入力部131に供給する。以下では、TDC112がカウントする値をTDCコードと呼ぶ。
The TDC (Time to Digital Converter) 112 counts the time based on the output of the read
TDC112には、TDCクロック生成部111からTDCクロック信号が供給される。TDC112は、TDCクロック信号に基づいて、TDCコードを0から順にカウントアップする。そして、読み出し回路102から入力される検出信号PFoutが、SPAD101に入射光が入射されたタイミングを示した時点でカウントアップを停止し、最終状態のTDCコードを、TDCコード入力部131に出力する。
A TDC clock signal is supplied to the
TDCコード入力部131の入力段には、複数のTDC112が接続され、TDCコード入力部131の出力段には、1つのヒストグラム生成部132が接続されている。TDCコード入力部131は、複数のTDC112のいずれかから出力されたTDCコードを、ヒストグラム生成部132に入力する。すなわち、後段のヒストグラム生成部132は、画素アレイ72の複数の画素81単位で設けられている。1つのヒストグラム生成部132が担当する複数の画素81を画素グループと称することとすると、TDCコード入力部131は、ヒストグラム生成部132が担当する画素グループに属する複数の画素81に対応する複数のTDC112のいずれかから、TDCコードが出力された場合に、そのTDCコードを、ヒストグラム生成部132に入力させる。
A plurality of
ヒストグラム生成部132は、光源32が光を照射してから反射光を受光するまでの時間であるTDCコードのヒストグラムを生成する。測距システム11では、1回の距離画像の生成において、光源32の発光と、その反射光の受光とが所定回数(例えば、数千乃至数万回)繰り返されるので、複数のTDCコードが発生する。ヒストグラム生成部132は、発生した複数のTDCコードについて、ヒストグラムを生成し、距離演算部133に供給する。
The
ヒストグラム生成部132は、上述したように、ヒストグラム生成部132が担当する画素グループに属する複数のTDC112からのTDCコードに基づいてヒストグラムを生成するので、ヒストグラム生成部132が担当する画素グループの複数画素が同時にアクティブ画素に設定されている場合には、画素グループ内の複数のアクティブ画素全体におけるヒストグラムを生成する。一方、ヒストグラム生成部132が担当する画素グループのいずれか1画素がアクティブ画素に設定されている場合には、アクティブ画素に設定された1画素のヒストグラムを生成する。
As described above, the
なお、図3の基本構成例および、後述する受光装置42の構成では、ヒストグラム生成部132の回路面積削減のため、このように、複数画素からなる画素グループ単位で、ヒストグラム生成部132を設けることとするが、勿論、画素単位に、ヒストグラム生成部132を設けてもよい。
In addition, in the basic configuration example of FIG. 3 and the configuration of the
距離演算部133は、ヒストグラム生成部132から供給されるヒストグラムにおいて、例えば、頻度値が最大(ピーク)となるTDCコードを検出する。距離演算部133は、ピークとなったTDCコードと光速とに基づいて、物体までの距離を求める演算を行う。
The
基本構成例においては、図3に示される、画素アレイ72の複数の画素81と、それに対応する、複数のTDC112、TDCコード入力部131、ヒストグラム生成部132、および、距離演算部133のセットが、複数設けられている。そして、受光装置全体では、画素アレイ72内に設定された各アクティブ画素のヒストグラムが並列に(同時に)生成され、各アクティブ画素の距離が算出される。
In the basic configuration example, a set of a plurality of
図4は、画素81の回路構成例を示している。
FIG. 4 shows an example of a circuit configuration of the
図4の画素81は、SPAD101と、トランジスタ141およびインバータ142で構成される読み出し回路102とを備える。また、画素81は、スイッチ143、ラッチ回路144、および、インバータ145も備える。トランジスタ141は、P型のMOSトランジスタで構成される。
SPAD101のカソードは、トランジスタ141のドレインに接続されるとともに、インバータ142の入力端子、及び、スイッチ143の一端に接続されている。SPAD101のアノードは、電源電圧VA(以下では、アノード電圧VAとも称する。)に接続されている。
The cathode of the
SPAD101は、入射光が入射されたとき、発生する電子をアバランシェ増幅させてカソード電圧VSの信号を出力するフォトダイオード(単一光子アバランシェフォトダイオード)である。SPAD101のアノードに供給される電源電圧VAは、例えば、-20V程度の負バイアス(負の電位)とされる。 The SPAD101 is a photodiode (single photon avalanche photodiode) that avalanche-amplifies the generated electrons and outputs a signal of cathode voltage VS when incident light is incident. The power supply voltage VA supplied to the anode of the SPAD101 has, for example, a negative bias (negative potential) of about −20 V.
トランジスタ141は、飽和領域で動作する定電流源であり、クエンチング抵抗として働くことにより、パッシブクエンチを行う。トランジスタ141のソースは電源電圧VEに接続され、ドレインがSPAD101のカソード、インバータ142の入力端子、及び、スイッチ143の一端に接続されている。これにより、SPAD101のカソードにも、電源電圧VEが供給される。SPAD101と直列に接続されたトランジスタ141の代わりに、プルアップ抵抗を用いることもできる。
The
SPAD101には、十分な効率で光(フォトン)を検出するため、SPAD101の降伏電圧VBDよりも大きな電圧(過剰バイアス(ExcessBias))が印加される。例えば、SPAD101の降伏電圧VBDが20Vであり、それよりも3V大きい電圧を印加することとすると、トランジスタ141のソースに供給される電源電圧VEは、3Vとされる。
In order to detect light (photons) with sufficient efficiency, a voltage larger than the yield voltage VBD of SPAD101 (ExcessBias) is applied to SPAD101. For example, if the yield voltage VBD of the
なお、SPAD101の降伏電圧VBDは、温度等によって大きく変化する。そのため、降伏電圧VBDの変化に応じて、SPAD101に印加する印加電圧が制御(調整)される。例えば、電源電圧VEを固定電圧とすると、アノード電圧VAが制御(調整)される。
The yield voltage VBD of SPAD101 changes greatly depending on the temperature and the like. Therefore, the applied voltage applied to the
スイッチ143は、両端の一端がSPAD101のカソード、インバータ142の入力端子、および、トランジスタ141のドレインに接続され、他端が、グランド(GND)に接続されているグランド接続線146に接続されている。スイッチ143は、例えば、N型のMOSトランジスタで構成することができ、ラッチ回路144の出力であるゲーティング制御信号VGを、インバータ145で反転させたゲーティング反転信号VG_Iに応じてオンオフさせる。
One end of the
ラッチ回路144は、画素駆動部71から供給されるトリガ信号SETと、アドレスデータDECとに基づいて、画素81をアクティブ画素または非アクティブ画素のいずれかに制御するゲーティング制御信号VGをインバータ145に供給する。インバータ145は、ゲーティング制御信号VGを反転させたゲーティング反転信号VG_Iを生成し、スイッチ143に供給する。
The
トリガ信号SETは、ゲーティング制御信号VGを切り替えるタイミングを示すタイミング信号であり、アドレスデータDECは、画素アレイ72内の行列状に配置された複数の画素81のうち、アクティブ画素に設定する画素のアドレスを示すデータである。トリガ信号SETとアドレスデータDECは、画素駆動線82を介して画素駆動部71から供給される。
The trigger signal SET is a timing signal indicating the timing for switching the gating control signal VG, and the address data DEC is a pixel set as the active pixel among the plurality of
ラッチ回路144は、トリガ信号SETが示す所定のタイミングで、アドレスデータDECを読み込む。そして、ラッチ回路144は、アドレスデータDECが示す画素アドレスに自分(の画素81)の画素アドレスが含まれている場合には、自身の画素81をアクティブ画素に設定するためのHi(1)のゲーティング制御信号VGを出力する。一方、アドレスデータDECが示す画素アドレスに自分(の画素81)の画素アドレスが含まれていない場合には、自身の画素81を非アクティブ画素に設定するためのLo(0)のゲーティング制御信号VGを出力する。これにより、画素81がアクティブ画素とされる場合には、インバータ145によって反転されたLo(0)のゲーティング反転信号VG_Iがスイッチ143に供給される。一方、画素81が非アクティブ画素とされる場合には、Hi(1)のゲーティング反転信号VG_Iがスイッチ143に供給される。したがって、スイッチ143は、画素81がアクティブ画素に設定される場合にオフし(非接続とされ)、非アクティブ画素に設定される場合にオンされる(接続される)。
The
インバータ142は、入力信号としてのカソード電圧VSがLoのとき、Hiの検出信号PFoutを出力し、カソード電圧VSがHiのとき、Loの検出信号PFoutを出力する。インバータ142は、SPAD101への光子の入射を検出信号PFoutとして出力する出力部である。
The
次に、図5を参照して、画素81がアクティブ画素に設定された場合の動作について説明する。
Next, with reference to FIG. 5, the operation when the
図5は、光子の入射に応じたSPAD101のカソード電圧VSの変化と検出信号PFoutを示すグラフである。
FIG. 5 is a graph showing the change in the cathode voltage VS of the
まず、画素81がアクティブ画素である場合、上述したように、スイッチ143はオフに設定される。
First, when the
SPAD101のカソードには電源電圧VE(例えば、3V)が供給され、アノードには電源電圧VA(例えば、−20V)が供給されることから、SPAD101に降伏電圧VBD(=20V)より大きい逆電圧が印加されることにより、SPAD101がガイガーモードに設定される。この状態では、SPAD101のカソード電圧VSは、例えば図5の時刻t0のように、電源電圧VEと同じである。
Since the power supply voltage VE (for example, 3V) is supplied to the cathode of the SPAD101 and the power supply voltage VA (for example, -20V) is supplied to the anode, a reverse voltage larger than the breakdown voltage VBD (= 20V) is supplied to the SPAD101. By being applied, SPAD101 is set to Geiger mode. In this state, the cathode voltage VS of the
ガイガーモードに設定されたSPAD101に光子が入射すると、アバランシェ増倍が発生し、SPAD101に電流が流れる。
When a photon is incident on the
図5の時刻t1において、アバランシェ増倍が発生し、SPAD101に電流が流れたとすると、時刻t1以降、SPAD101に電流が流れることにより、トランジスタ141にも電流が流れ、トランジスタ141の抵抗成分により電圧降下が発生する。
Assuming that an avalanche multiplication occurs at time t1 in FIG. 5 and a current flows through the
時刻t2において、SPAD101のカソード電圧VSが0Vよりも低くなると、SPAD101のアノード・カソード間電圧が降伏電圧VBDよりも低い状態となるので、アバランシェ増幅が停止する。ここで、アバランシェ増幅により発生する電流がトランジスタ141に流れることで電圧降下を発生させ、発生した電圧降下に伴って、カソード電圧VSが降伏電圧VBDよりも低い状態となることで、アバランシェ増幅を停止させる動作がクエンチ動作である。
At time t2, when the cathode voltage VS of the SPAD101 becomes lower than 0V, the anode-cathode voltage of the SPAD101 becomes lower than the yield voltage VBD, so that the avalanche amplification is stopped. Here, a voltage drop is generated by the current generated by the avalanche amplification flowing through the
アバランシェ増幅が停止するとトランジスタ141の抵抗に流れる電流が徐々に減少して、時刻t4において、再びカソード電圧VSが元の電源電圧VEまで戻り、次の新たなフォトンを検出できる状態となる(リチャージ動作)。
When the avalanche amplification is stopped, the current flowing through the resistor of the
インバータ142は、入力電圧であるカソード電圧VSが所定の閾値電圧Vth以上のとき、Loの検出信号PFoutを出力し、カソード電圧VSが所定の閾値電圧Vth未満のとき、Hiの検出信号PFoutを出力する。従って、SPAD101に光子が入射し、アバランシェ増倍が発生してカソード電圧VSが低下し、閾値電圧Vthを下回ると、検出信号PFoutは、ローレベルからハイレベルに反転する。一方、SPAD101のアバランシェ増倍が収束し、カソード電圧VSが上昇し、閾値電圧Vth以上になると、検出信号PFoutは、ハイレベルからローレベルに反転する。
The
なお、画素81が非アクティブ画素とされる場合には、Hi(1)のゲーティング反転信号VG_Iがスイッチ143に供給され、スイッチ143がオンされる。スイッチ143がオンされると、SPAD101のカソード電圧VSが0Vとなる。その結果、SPAD101のアノード・カソード間電圧が降伏電圧VBD以下となるので、SPAD101に光子が入ってきても反応しない状態となる。
When the
図6は、TDC112およびヒストグラム生成部132の動作を説明する図である。
FIG. 6 is a diagram illustrating the operation of the
TDC112は、図6に示されるように、光源32の発光開始を0として、TDCクロック信号に基づいてTDCコードをカウントアップする。そして、上述したように、アクティブ画素に入射光が入射され、Hiの検出信号PFoutが、読み出し回路102からTDC112に入力された時点で、カウントが停止する。
As shown in FIG. 6, the
ヒストグラム生成部132は、TDC112の最終状態のTDCコードを、TDCコード入力部131を介して取得し、TDCコードに対応するヒストグラムのビン(Bin)の頻度値を1だけ追加する。光源32の発光と、その反射光の受光とが所定回数(例えば、数千乃至数万回)繰り返された結果、ヒストグラム生成部132において、図6の下段に示されるような、TDCコードの頻度分布を示すヒストグラムが完成する。
The
図6の例では、頻度値が最大となるBin#で示されるビンのTDCコードが、ヒストグラム生成部132から、距離演算部133に供給される。
In the example of FIG. 6, the TDC code of the bin represented by Bin # having the maximum frequency value is supplied from the
以上が、受光装置の基本構成例における動作の概要となる。 The above is the outline of the operation in the basic configuration example of the light receiving device.
<4.受光装置の詳細構成例>
次に、図3に示した基本構成例と比較して、測距システム11の受光装置42の詳細構成について説明する。
図7は、受光装置42の詳細構成例を示すブロック図である。
<4. Detailed configuration example of the light receiving device>
Next, the detailed configuration of the
FIG. 7 is a block diagram showing a detailed configuration example of the
図7において、図3に示した基本構成例と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。 In FIG. 7, the same reference numerals are given to the portions corresponding to the basic configuration examples shown in FIG. 3, and the description of the portions will be omitted as appropriate.
図7の構成を、図3に示した構成と比較すると、時間計測部73において、図3のTDC112がTDC151へ置き換えられている。また、信号処理部74において、反応信号入力部171、反応回数計測部172、重み決定部173、および、複数の重み処理部174が、新たに追加されている。図7のその他の構成は、図3に示した基本構成例と同一である。
Comparing the configuration of FIG. 7 with the configuration shown in FIG. 3, the
図7の受光装置42は、画素ごとの重みを決定するための反射光を受光する第1の受光処理と、決定された重みを用いて測定対象までの距離を測定するための反射光を受光する第2の受光処理との2段階の受光処理を行う。
The
TDC151は、第1の受光処理において、画素81への光子の入射に応じてSPAD101が反応したことを示す反応信号を、反応信号入力部171に出力する。ここで、光子の入射に応じたSPAD101の反応とは、読み出し回路102からHiの検出信号PFoutが出力されたこと、さらに言えば、SPAD101において光子の入射に応じてアバランシェ増倍が発生したことを表す。
In the first light receiving process, the
また、TDC151は、第2の受光処理において、照明装置22の光源32が発光してからSPAD101に光子が入射された入射タイミングまでの時間をカウントし、そのカウント結果であるTDCコードを、対応する重み処理部174に出力する。重み処理部174は、TDC151に対して、1対1に設けられている。
Further, the
第2の受光処理でTDC151が実行する処理は、基本構成例のTDC112と同じ処理である。したがって、TDC151は、基本構成例のTDCコードの出力処理に加えて、第1の受光処理における反応信号の出力処理をさらに実行する機能を備えている。
The process executed by the
第2の受光処理において重み処理部174に出力されるTDCコードは、照明装置22の光源32が発光してからSPAD101に光子が入射された入射タイミングまでの時間情報をもつが、第1の受光処理において反応信号入力部171に出力される反応信号は、SPAD101が反応したことのみを通知するので、時間情報は持たない。したがって、反応信号は、第2の受光処理のTDCコードと異なる信号でもよいが、第2の受光処理のTDCコードを、そのまま、反応信号として用いて、反応信号入力部171に供給してもよい。
The TDC code output to the
反応信号入力部171の入力段には、複数のTDC151が接続され、反応信号入力部171の出力段には、1つの反応回数計測部172が接続されている。反応信号入力部171は、複数のTDC151のいずれかから出力された反応信号を、反応回数計測部172に入力する。すなわち、後段の反応回数計測部172は、ヒストグラム生成部132と同じ画素グループ単位で設けられている。反応信号入力部171は、反応回数計測部172が担当する画素グループに属する複数の画素81に対応する複数のTDC112のいずれかから、反応信号が出力された場合に、その反応信号を、反応回数計測部172に入力させる。
A plurality of TDC 151s are connected to the input stage of the reaction
反応回数計測部172は、反応信号入力部171から供給される反応信号に基づいて、画素グループに属する各画素81の反応回数を計測する。すなわち、反応回数計測部172は、画素グループに属する各画素81において、SPAD102が反応した反応回数を計測し、計測結果を重み決定部173に供給する。
The reaction
重み決定部173は、反応回数計測部172から供給される、画素グループに属する各画素81の反応回数に基づいて、画素グループに属する各画素81の重みを決定する。
The
光を照射した時刻から反射光を受信した時刻までをカウントするToF法では、図6のヒストグラムから明らかなように、物体からの反射光を受光した画素81では、反応回数が多くなる。そのため、重み決定部は、反応回数が多い画素81には、大きい重みを決定し、反応回数が少ない画素81には、少ない重みを決定するように、重みを決定する。例えば、重み決定部173は、2nまたは1/2n(n=0以上の正数)を重みとして決定する。
In the ToF method, which counts from the time when the light is irradiated to the time when the reflected light is received, the number of reactions is large in the
重み決定部173は、画素グループに属する各画素81について決定した重みを、その画素81のTDCコードが入力される重み処理部174に供給する。
The
重み処理部174は、第2の受光処理において、TDC151から供給されるTDCコードに対して、重み決定部173から供給される重みに対応する処理を施して、TDCコード入力部131に供給する。
In the second light receiving process, the
具体的には、重み処理部174は、重み決定部173から供給される重みを、TDCコードの出力回数として保持し、TDC151から供給されるTDCコードを、重みに対応する回数だけ、TDCコード入力部131に出力する。
Specifically, the
例えば、重みが2である場合、重み処理部174は、TDC151から供給されるTDCコードを2回、TDCコード入力部131に出力する。また例えば、重みが1/2である場合、重み処理部174は、TDC151から供給されるTDCコードを2回に1回の割合で、TDCコード入力部131に出力する。2nまたは1/2n(n=0以上の正数)の重みを採用した場合、重み処理部174は、重みが1より大きい場合、TDCコードの入力回数に対して、TDCコードを出力する回数を増やし、重みが1より小さい場合、TDCコードの入力回数に対して、TDCコードを出力する回数を減らす処理(TDCコードを間引く処理)となる。重みの値を2nまたは1/2nで表現することにより、重み決定部173で決定する重み、および、重み処理部174で保持する出力回数を、Mビットの固定小数点のビットシフト演算で処理することができる。
For example, when the weight is 2, the
なお勿論、重みは、2nまたは1/2n以外の値を用いて決定してもよい。 Of course, the weight may be determined using a value other than 2 n or 1/2 n .
例えば、重み決定部173は、重みを0から5までの整数で決定することとすると、重み処理部174は、TDC151から供給されるTDCコードを、重みに対応する回数だけ、TDCコード入力部131に出力する。重みが0の場合は、TDCコードは、TDCコード入力部131に出力されない。
For example, assuming that the
また例えば、重み決定部173は、重みを0または1の2値で決定し、重み処理部174は、TDC151から供給されるTDCコードと、重み決定部173から供給される重みとの2つをANDゲートの入力として、重みが1のときのみ、TDCコードをTDCコード入力部131に出力する処理としてもよい。
Further, for example, the
以上のように、重み決定部173で決定される重みは、TDCコード入力部131を介してヒストグラム生成部132に供給されるTDCコードの回数を増減するので、ヒストグラムの頻度値を増減させる。したがって、重みは、ヒストグラムの頻度値に対する重みであると言える。
As described above, the weight determined by the
ヒストグラム生成部132は、図3の基本構成例と同様に、TDCコード入力部131から供給されるTDCコードに基づいて、ヒストグラムを生成し、距離演算部133に供給する。
The
ただし、ヒストグラム生成部132には、重み処理部174によって、重みに応じた回数のTDCコードが供給される。これにより、図3の基本構成例により生成されるヒストグラムと比較して、大きい重みが設定された画素81のTDCコードが、より大きな頻度値となるヒストグラムが生成される。
However, the
図8は、3x3の9画素を1つの画素グループとして、1つの画素グループが、第1の受光処理において受光した反射光のスポット光に応じて、第2の受光処理において決定された重みの例を示している。 FIG. 8 shows an example of weights determined in the second light receiving process according to the spot light of the reflected light received in the first light receiving process, with 9 pixels of 3x3 as one pixel group. Is shown.
図8の左側の例は、重みを2nで決定した場合の、第1の受光処理のスポット光に応じた重みの例を示している。第2の受光処理の画素81内に記載された数字が重みを表す。
The example on the left side of FIG. 8 shows an example of the weight corresponding to the spot light of the first light receiving process when the weight is determined by 2 n . The number written in the
図8の左側の例は、重みを0から5までの5段階で決定した場合の、第1の受光処理のスポット光に応じた重みの例を示している。第2の受光処理の画素81内に記載された数字が重みを表す。
The example on the left side of FIG. 8 shows an example of the weight corresponding to the spot light of the first light receiving process when the weight is determined in five stages from 0 to 5. The number written in the
<5.距離測定処理>
次に、図9のフローチャートを参照して、受光装置42における距離測定処理を説明する。この処理は、例えば、測距システム11において、距離測定の実行が指示されたとき、開始される。照明装置22は、発光タイミング信号に基づく光の照射を開始する。
<5. Distance measurement processing>
Next, the distance measurement process in the
初めに、ステップS1において、受光装置42は、画素ごとの重みを決定するための反射光を受光する第1の受光処理を開始する。第1の受光処理の開始により、受光装置42のTDC151は、読み出し回路102からHiの検出信号PFoutが出力されてきたとき、反応信号を出力するモードとなる。
First, in step S1, the
ステップS2において、TDC151は、対応する画素81のSPAD101において光子が検出されたタイミングを示す検出信号PFoutに基づいて、反応信号を出力する。より具体的には、画素81の読み出し回路102は、同一画素内のSPAD101において光子が検出されると、Hiの検出信号PFoutを出力する。TDC151は、読み出し回路102からHiの検出信号PFoutが供給されると、SPAD101が反応したことを示す反応信号を、反応信号入力部171に出力する。
In step S2, the
ステップS3において、受光装置42は、第1の受光処理が終了したかを判定する。ステップS3で、第1の受光処理がまだ終了していないと判定された場合、処理はステップS2に戻り、ステップS2およびS3の処理が繰り返される。これにより、第1の受光処理における、光源32の発光と、その反射光の受光とが、所定回数繰り返される。
In step S3, the
ステップS3で、第1の受光処理が終了したと判定された場合、処理はステップS4に進み、反応回数計測部172は、反応信号入力部171から供給された反応信号に基づいて、画素グループに属する各画素81の反応回数を計測し、計測結果を、重み決定部173に供給する。
If it is determined in step S3 that the first light receiving process has been completed, the process proceeds to step S4, and the reaction
ステップS5において、重み決定部173は、反応回数計測部172から供給された、画素グループに属する各画素81の反応回数に基づいて、画素グループに属する各画素81の重みを決定する。決定された重みは、その重みが設定される重み処理部174に供給される。
In step S5, the
ステップS6において、受光装置42は、決定された重みを用いて測定対象までの距離を測定するための反射光を受光する第2の受光処理を開始する。第2の受光処理の開始により、受光装置42のTDC151は、読み出し回路102からHiの検出信号PFoutが出力されてきたとき、TDCコードを出力するモードとなる。
In step S6, the
ステップS7において、TDC151は、対応する画素81のSPAD101において光子が検出されたタイミングを示す検出信号PFoutに基づいて、TDCコードを出力する。より具体的には、画素81の読み出し回路102は、同一画素内のSPAD101において光子が検出されると、Hiの検出信号PFoutを出力する。TDC151は、照明装置22の光源32が発光してからSPAD101に光子が入射された入射タイミングまでの時間をカウントし、そのカウント結果であるTDCコードを、対応する重み処理部174に出力する。
In step S7, the
ステップS8において、重み処理部174は、TDC151から供給されたTDCコードに対して、重み決定部173から供給された重みに対応する処理(重み対応処理)を施して、TDCコード入力部131に供給する。具体的には、重み処理部174は、重み決定部173から供給された重みをTDCコードの出力回数として保持し、TDC151から供給されるTDCコードを、重みに対応する回数だけ、TDCコード入力部131に出力する。TDCコード入力部131は、重み処理部174から供給されたTDCコードを、ヒストグラム生成部132に供給する。
In step S8, the
ステップS9において、ヒストグラム生成部132は、TDCコード入力部131を介して供給された重み対応処理後のTDCコードに基づいて、ヒストグラムを生成する。生成されたヒストグラムは、距離演算部133に供給される。
In step S9, the
ステップS10において、距離演算部133は、ヒストグラム生成部132から供給されたヒストグラムにおいて、例えば、頻度値が最大となるピークのTDCコードを検出する。距離演算部133は、ピークとなったTDCコードと光速とに基づいて、物体までの距離を算出して、入出力部75に供給する。
In step S10, the
ステップS11において、入出力部75は、距離演算部133において算出された各画素の距離を画素値として格納した距離画像を生成し、距離画像の信号(距離画像信号)を、外部に出力して、処理を終了する。
In step S11, the input /
以上の距離測定処理によれば、第1の受光処理においては、画素の重みが全画素で同一に設定される。そして、SPAD102が反応した反応回数(反射光の受光回数)が計測され、計測結果に基づいて、第2の受光処理における重みが決定される。そして、第2の受光処理においては、第1の受光処理で決定された重みが重み処理部174に供給され、TDC151ごとに個別の重みが設定される。そして、設定された重みに応じて、TDC151からのTDCコードの出力回数が増減される。ヒストグラム生成部132では、重み対応処理後のTDCコードに基づいて、ヒストグラムが生成される。生成されたヒストグラムに基づいて、物体までの距離が算出される。
According to the above distance measurement process, in the first light receiving process, the pixel weights are set to be the same for all pixels. Then, the number of reactions (the number of times the reflected light is received) that the
したがって、距離測定用のヒストグラムを生成する際の重みは、第2の受光処理の前に測定した、画素81に入射光(光子)が入射された回数に応じて決定されるので、観測に必要な画素81の重みを大きくし(高シグナル)、背景光などしか観測されない画素81の重みを減らす(低シグナル)ことができる。つまり、S/Nを向上させ、高フレームレートまたは高精度に距離を測定することができる。
Therefore, the weight when generating the histogram for distance measurement is determined according to the number of times the incident light (photon) is incident on the
第1の受光処理および第2の受光処理のいずれにおいても、画素アレイ72の全ての画素81を用いて距離を測定するので、解像度の劣化がない。また、例えば、重みを0または1にして、使用しない画素81が存在したとしても、その画素81は、反射光が入射されない画素81であると事前に把握されている画素81であるので、解像度が劣化したことにはならない。換言すれば、反射光を逃さずに、かつ、反射光が入射されない画素81は重みを小さくすることで、効率よく測距を行うことができる。
In both the first light receiving process and the second light receiving process, since the distance is measured using all the
なお、上述した例では、画素グループに属する複数の画素81に対して、画素81ごとに、個別に重みを設定可能に制御したが、画素グループに属する全ての画素81に同一の重みを決定するようにして、画素グループ単位に重みを決定してもよい。また、図7の構成例において、重み処理部174とTDCコード入力部131の配置を反対とし、TDCコード入力部131からのTDCコードに重み対応処理を施した後、ヒストグラム生成部132に供給してもよい。
In the above example, the weights of the plurality of
<6.変形例>
<重みのその他の決定方法>
図10は、受光装置42の変形例を示すブロック図である。
<6. Modification example>
<Other methods for determining weights>
FIG. 10 is a block diagram showing a modified example of the
図10において、図7と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。 In FIG. 10, the parts corresponding to those in FIG. 7 are designated by the same reference numerals, and the description of the parts will be omitted as appropriate.
図10の受光装置42では、図7の重み決定部173が、重み決定部201に置き換えられている点と、固有データ記憶部202が新たに追加されている点が、図7の受光装置42と異なり、その他の点は図7の受光装置42と同一である。
In the
上述した図7の受光装置42による距離測定処理では、第1の受光処理において、反応回数のみを計測し、距離は計測しなかった。これに対して、図10の変形例に係る受光装置42は、第1の受光処理においても、第2の受光処理と同様にTDCコードに基づいてヒストグラムを生成し、距離を算出する。そして、重み決定部201は、第1の受光処理における距離情報と反応回数とに基づいて、重みを決定する。物体までの距離情報が分かれば、入射光のおおよその受光位置(受光画素)を予測することができるので、第1の受光処理における距離情報に基づいて、入射光が予測される画素81の重みを大きく決定することができる。
In the distance measurement process by the
また、固有データ記憶部202には、受光装置42の出荷前検査等で予め測定した、受光装置42に固有な受光特性情報が記憶される。受光特性情報は、例えば、入射光を受光するときのスポット形状やスポット位置などのデータである。重み決定部201は、反応回数と、受光装置42に固有な受光特性情報とに基づいて、入射光が予測される画素81の重みを大きく決定することができる。
Further, the unique
重み決定部201は、第1の受光処理における反応回数に加えて、第1の受光処理における距離情報と、固有データ記憶部202に記憶されている受光特性データの両方を用いて画素81の重みを決定してもよい。
The
<受光装置のチップ構成例>
図11は、受光装置42のチップ構成例を示す斜視図である。
<Example of chip configuration of light receiving device>
FIG. 11 is a perspective view showing a chip configuration example of the
受光装置42は、例えば、図11のAに示されるように、複数のダイ(基板)としてのセンサダイ251とロジックダイ252とが積層された1つのチップで構成することができる。
The
センサダイ251には、センサ部261(としての回路)が構成され、ロジックダイ252には、ロジック部262が構成されている。
The sensor die 251 is configured with a sensor unit 261 (a circuit as), and the logic die 252 is configured with a
センサ部261には、例えば、画素駆動部71と画素アレイ72とが形成されている。ロジック部262には、時間計測部73、信号処理部74、および、入出力部75が形成されている。入出力部75は、例えば、センサダイ251との接合面とは反対側の面に形成された、はんだボール等を含む。
For example, a
また、受光装置42は、センサダイ251とロジックダイ252とに加えて、もう1つのロジックダイを積層した3層で構成してもよい。勿論、4層以上のダイ(基板)の積層で構成してもよい。
Further, the
あるいはまた、受光装置42は、例えば、図11のBに示されるように、第1のチップ271および第2のチップ272と、それらが搭載された中継基板(インターポーザ基板)273とで構成してもよい。
Alternatively, the
第1のチップ271には、例えば、画素駆動部71と画素アレイ72とが形成されている。第2のチップ272には、時間計測部73、信号処理部74、および、入出力部75が形成されている。入出力部75は、例えば、中継基板273の下面に形成された、はんだボール等を含む。
For example, a
なお、上述した図11のAにおけるセンサダイ251とロジックダイ252との回路配置、および、図11のBにおける第1のチップ271と第2のチップ272との回路配置は、あくまで一例であり、これに限定されない。例えば、時間計測部73を、画素アレイ72が配置されているセンサダイ251または第1のチップ271に形成してもよい。
The circuit arrangement of the sensor die 251 and the logic die 252 in A of FIG. 11 and the circuit arrangement of the
<読出し回路およびTDCの接続構成>
上述した受光装置42の構成では、図7等に示したように、1つの画素81に、SPAD101と読み出し回路102とが対で配置されるとともに、1つの読み出し回路102に対して、1つのTDC112が設けられるように構成されていた。すなわち、SPAD101と、読み出し回路102と、TDC112とが、1対1の関係で設けられていた。
<Read circuit and TDC connection configuration>
In the configuration of the
しかしながら、SPAD101と読み出し回路102との個数の対応関係、および、読み出し回路102とTDC112との個数の対応関係は、上述の例に限定されず、任意に組み合わせることができる。
However, the correspondence between the number of
図12は、図7に示した受光装置42の第1構成例に対して、読み出し回路102とTDC112の個数を変更した変形例を示している。
FIG. 12 shows a modified example in which the number of the
図12の例では、画素アレイ72の各画素81にはSPAD101のみが配置され、複数の画素81のSPAD101に対して、1つの読み出し回路102が設けられている。読み出し回路102は、例えば、受光装置42が、図11のAに示した積層構造の1チップで構成されている場合、センサダイ251の画素アレイ72の読み出し対象の複数のSPAD101の領域の下層のロジックダイ252に配置することができる。読み出し回路102は、センサダイ251の画素アレイ72の外周部に配置してもよい。
In the example of FIG. 12, only the
さらに、図12の例では、複数の読み出し回路102に対して、1個のTDC112が設けられている。そして、複数のTDC112に対して、1つのヒストグラム生成部132が設けられている。
Further, in the example of FIG. 12, one
図12の例では、画素81からヒストグラム生成部132まで、後段の回路に行くに従って、各回路の個数が少なくなるような接続関係となっている。すなわち、SPAD101:読み出し回路102=M1:1、読み出し回路102:TDC112=M2:1、TDC112:ヒストグラム生成部132=M3:1(M1,M2,M3は2以上の整数)の関係となっている。
In the example of FIG. 12, the connection relationship is such that the number of each circuit decreases from the
しかしながら、各回路の個数は任意に設定することができ、信頼性向上等の観点から、後段の回路を複数設けた冗長構成としてもよい。すなわち、SPAD101:読み出し回路102=M1’:N1’、読み出し回路102:TDC112=M2’:N2’、TDC112:ヒストグラム生成部132=M3’:N3’(M1’,M2’,M3’,N1’,N2’,N3’は1以上の整数)の関係とすることができる。
However, the number of each circuit can be arbitrarily set, and from the viewpoint of improving reliability and the like, a redundant configuration may be provided in which a plurality of subsequent circuits are provided. That is, SPAD101: Read
さらに、上述した例では、1つの画素グループ、即ち、1つのTDCコード入力部131に接続される複数の画素81に対して1つのヒストグラム生成部132を設ける構成としたが、図13に示されるように、1つの画素グループに対して、複数のヒストグラム生成部132を設けるようにしてもよい。図13の例は、1つの画素グループに対して、2つのヒストグラム生成部132Aおよび132Bを設けた例を示している。2つのヒストグラム生成部132Aおよび132Bは、例えば、信頼性向上のため、同一の処理を並行して実行することができる。あるいはまた、ヒストグラム生成部132Aと、ヒストグラム生成部132Bとが、異なる読み出し回路102に対応するTDCコードのヒストグラムを生成してもよい。
Further, in the above-described example, one
<7.測距システムの使用例>
本技術は、測距システムへの適用に限られるものではない。即ち、本技術は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器全般に対して適用可能である。上述の測距装置23は、レンズ41及び受光装置42がまとめてパッケージングされたモジュール状の形態であってもよいし、レンズ41と受光装置42とが別に構成され、受光装置42のみをワンチップとして構成してもよい。
<7. Example of using the ranging system>
The present technology is not limited to application to a ranging system. That is, the present technology can be applied to all electronic devices such as smartphones, tablet terminals, mobile phones, personal computers, game machines, television receivers, wearable terminals, digital still cameras, and digital video cameras. The distance measuring device 23 may be in a modular form in which the
図14は、上述の測距システム11または測距装置23の使用例を示す図である。
FIG. 14 is a diagram showing a usage example of the
上述した測距システム11は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
The
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
・ Devices that take images for viewing, such as digital cameras and portable devices with camera functions. ・ For safe driving such as automatic stop and recognition of the driver's condition, in front of the car Devices used for traffic, such as in-vehicle sensors that photograph the rear, surroundings, and interior of vehicles, surveillance cameras that monitor traveling vehicles and roads, and distance measuring sensors that measure distance between vehicles, etc. ・ User gestures Equipment used in home appliances such as TVs, refrigerators, and air conditioners to take pictures and operate the equipment according to the gestures ・ Endoscopes, devices that perform angiography by receiving infrared light, etc. Equipment used for medical and healthcare ・ Equipment used for security such as surveillance cameras for crime prevention and cameras for person authentication ・ Skin measuring instruments for taking pictures of the skin and taking pictures of the scalp Equipment used for beauty such as microscopes ・ Equipment used for sports such as action cameras and wearable cameras for sports applications ・ Camera etc. for monitoring the condition of fields and crops , Equipment used for agriculture
<8.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
<8. Application example to mobile>
The technology according to the present disclosure (the present technology) can be applied to various products. For example, the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 FIG. 15 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図15に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
The
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
The drive
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
The body
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
The vehicle exterior
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
The
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
The in-vehicle
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
The
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
Further, the
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
Further, the
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図15の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
The audio-
図16は、撮像部12031の設置位置の例を示す図である。
FIG. 16 is a diagram showing an example of the installation position of the
図16では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
In FIG. 16, the
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
The
なお、図16には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
Note that FIG. 16 shows an example of the photographing range of the
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
At least one of the
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
For example, the
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
For example, the
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
At least one of the
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031等に適用され得る。具体的には、例えば、図1の測距システム11は、撮像部12031に適用することができる。撮像部12031は、例えばLIDARであり、車両12100の周囲の物体及び物体までの距離の検出に用いられる。撮像部12031に本開示に係る技術を適用することにより、車両12100の周囲の物体及び物体までの距離の検出精度が向上する。その結果、例えば、車両の衝突警告を適切なタイミングで行うことができ、交通事故を防止することが可能となる。
The example of the vehicle control system to which the technique according to the present disclosure can be applied has been described above. The technique according to the present disclosure can be applied to the
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。 In the present specification, the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 Further, the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
なお、本技術は、以下の構成を取ることができる。
(1)
画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、
前記反応回数に基づいて、重みを決定する重み決定部と、
光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、
前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、
前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と
を備える測距装置。
(2)
前記重み決定部は、前記反応回数に基づいて、前記ヒストグラムの頻度値に対する重みを決定する
前記(1)に記載の測距装置。
(3)
前記ヒストグラムに基づいて、対象物までの距離を算出する距離演算部をさらに備え、
前記重み決定部は、前記距離と前記反応回数とに基づいて、前記ヒストグラムの頻度値に対する重みを決定する
前記(2)に記載の測距装置。
(4)
前記重み決定部は、前記反応回数と、内部に記憶されている受光特性情報とに基づいて、前記ヒストグラムの頻度値に対する重みを決定する
前記(2)に記載の測距装置。
(5)
前記受光素子を少なくとも含む画素が行列状に複数配置された画素アレイをさらに備え、
前記重み決定部は、前記画素ごとに前記重みを決定する
前記(2)に記載の測距装置。
(6)
前記反応回数を計測する場合の前記画素の重みは、同一であり、
前記ヒストグラムを生成する場合の前記画素の重みは、前記TDCごとに決定される
前記(1)乃至(5)のいずれかに記載の測距装置。
(7)
前記重み処理部は、前記重みに対応する処理として、前記カウント値を、前記重みに対応する回数だけ出力する
前記(1)乃至(6)のいずれかに記載の測距装置。
(8)
前記重み処理部は、前記重みが1より大きい場合、前記カウント値の入力回数に対して、カウント値を出力する回数を増やす
前記(7)に記載の測距装置。
(9)
前記重み処理部は、前記重みが1より小さい場合、前記カウント値の入力回数に対して、カウント値を出力する回数を減らす
前記(7)または(8)に記載の測距装置。
(10)
前記受光素子において光子が検出されたタイミングを出力する読み出し回路をさらに備え、
前記読み出し回路は、複数の前記受光素子に対して設けられている
前記(1)乃至(9)のいずれかに記載の測距装置。
(11)
前記ヒストグラム生成部は、複数の前記画素で構成される画素グループ単位で設けられている
前記(1)乃至(10)のいずれかに記載の測距装置。
(12)
前記重み決定部は、前記画素グループ単位に前記重みを決定する
前記(11)に記載の測距装置。
(13)
1チップで構成されている
前記(1)乃至(12)のいずれかに記載の測距装置。
(14)
測距装置が、
画素への光子の入射に応じて受光素子が反応した反応回数を計測し、
前記反応回数に基づいて、重みを決定し、
光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントし、
前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施し、
前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成する
測距方法。
(15)
光源を有する照明装置と、
前記光源からの光が物体に反射された反射光を受光する測距装置と
を備え、
前記測距装置は、
画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、
前記反応回数に基づいて、重みを決定する重み決定部と、
前記光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、
前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、
前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と
を備える測距システム。
The present technology can have the following configurations.
(1)
A measuring unit that measures the number of reactions that the light receiving element reacts to in response to the incident of photons on the pixel,
A weight determination unit that determines the weight based on the number of reactions,
TDC, which counts the time from when the light source emits light to when the photon is incident on the pixel,
A weight processing unit that performs processing corresponding to the weight on the count value supplied from the TDC.
A distance measuring device including a histogram generation unit that generates a histogram based on the count value that has been subjected to processing corresponding to the weight.
(2)
The distance measuring device according to (1), wherein the weight determining unit determines a weight for a frequency value of the histogram based on the number of reactions.
(3)
A distance calculation unit for calculating the distance to the object based on the histogram is further provided.
The distance measuring device according to (2), wherein the weight determining unit determines a weight with respect to a frequency value of the histogram based on the distance and the number of reactions.
(4)
The distance measuring device according to (2) above, wherein the weight determining unit determines a weight with respect to a frequency value of the histogram based on the number of reactions and the light receiving characteristic information stored inside.
(5)
A pixel array in which a plurality of pixels including at least the light receiving element are arranged in a matrix is further provided.
The distance measuring device according to (2), wherein the weight determining unit determines the weight for each pixel.
(6)
The weights of the pixels when measuring the number of reactions are the same,
The distance measuring device according to any one of (1) to (5), wherein the weight of the pixel when generating the histogram is determined for each TDC.
(7)
The distance measuring device according to any one of (1) to (6), wherein the weight processing unit outputs the count value as a process corresponding to the weight a number of times corresponding to the weight.
(8)
The distance measuring device according to (7) above, wherein when the weight is larger than 1, the weight processing unit increases the number of times the count value is output with respect to the number of times the count value is input.
(9)
The distance measuring device according to (7) or (8), wherein when the weight is smaller than 1, the weight processing unit reduces the number of times the count value is output with respect to the number of times the count value is input.
(10)
A readout circuit that outputs the timing at which a photon is detected in the light receiving element is further provided.
The distance measuring device according to any one of (1) to (9), wherein the readout circuit is provided for a plurality of the light receiving elements.
(11)
The distance measuring device according to any one of (1) to (10), wherein the histogram generation unit is provided for each pixel group composed of a plurality of the pixels.
(12)
The distance measuring device according to (11), wherein the weight determining unit determines the weight for each pixel group.
(13)
The distance measuring device according to any one of (1) to (12) above, which is composed of one chip.
(14)
The distance measuring device
The number of reactions that the light receiving element reacts to in response to the incident of photons on the pixel is measured.
The weight is determined based on the number of reactions.
The time from when the light source emits light to when the photon is incident on the pixel is counted.
The count value supplied from the TDC is subjected to a process corresponding to the weight.
A distance measuring method that generates a histogram based on the count value that has been processed corresponding to the weight.
(15)
A lighting device with a light source and
It is equipped with a ranging device that receives the reflected light reflected by the object from the light from the light source.
The distance measuring device is
A measuring unit that measures the number of reactions that the light receiving element reacts to in response to the incident of photons on the pixel,
A weight determination unit that determines the weight based on the number of reactions,
TDC, which counts the time from when the light source emits light to when the photon is incident on the pixel,
A weight processing unit that performs processing corresponding to the weight on the count value supplied from the TDC.
A distance measuring system including a histogram generating unit that generates a histogram based on the count value that has been subjected to processing corresponding to the weight.
11 測距システム, 21 タイミング信号生成回路, 22 照明装置, 23 測距装置, 31 照明制御部, 32 光源, 42 受光装置, 71 画素駆動部, 72 画素アレイ, 73 時間計測部, 74 信号処理部, 75 入出力部, 81 画素, 101 SPAD, 102 読み出し回路, 111 TDCクロック生成部, 112 TDC, 131 TDCコード入力部, 132 ヒストグラム生成部, 133 距離演算部, 151 TDC, 171 反応信号入力部, 172 反応回数計測部, 173 重み決定部, 174 重み処理部, 201 重み決定部, 202 固有データ記憶部 11 Distance measurement system, 21 Timing signal generation circuit, 22 Lighting device, 23 Distance measurement device, 31 Lighting control unit, 32 Light source, 42 Light receiving device, 71 pixel drive unit, 72 pixel array, 73 time measurement unit, 74 Signal processing unit , 75 I / O section, 81 pixels, 101 SPAD, 102 readout circuit, 111 TDC clock generator, 112 TDC, 131 TDC code input section, 132 histogram generator, 133 distance calculation section, 151 TDC, 171 reaction signal input section, 172 reaction count measurement unit, 173 weight determination unit, 174 weight processing unit, 201 weight determination unit, 202 unique data storage unit
Claims (15)
前記反応回数に基づいて、重みを決定する重み決定部と、
光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、
前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、
前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と
を備える測距装置。 A measuring unit that measures the number of reactions that the light receiving element reacts to in response to the incident of photons on the pixel,
A weight determination unit that determines the weight based on the number of reactions,
TDC, which counts the time from when the light source emits light to when the photon is incident on the pixel,
A weight processing unit that performs processing corresponding to the weight on the count value supplied from the TDC.
A distance measuring device including a histogram generation unit that generates a histogram based on the count value that has been subjected to processing corresponding to the weight.
請求項1に記載の測距装置。 The distance measuring device according to claim 1, wherein the weight determining unit determines a weight with respect to a frequency value of the histogram based on the number of reactions.
前記重み決定部は、前記距離と前記反応回数とに基づいて、前記ヒストグラムの頻度値に対する重みを決定する
請求項1に記載の測距装置。 A distance calculation unit for calculating the distance to the object based on the histogram is further provided.
The distance measuring device according to claim 1, wherein the weight determining unit determines a weight for a frequency value of the histogram based on the distance and the number of reactions.
請求項1に記載の測距装置。 The distance measuring device according to claim 1, wherein the weight determining unit determines a weight for a frequency value of the histogram based on the number of reactions and the light receiving characteristic information stored inside.
前記重み決定部は、前記画素ごとに前記重みを決定する
請求項1に記載の測距装置。 A pixel array in which a plurality of pixels including at least the light receiving element are arranged in a matrix is further provided.
The distance measuring device according to claim 1, wherein the weight determining unit determines the weight for each pixel.
前記ヒストグラムを生成する場合の前記画素の重みは、前記TDCごとに決定される
請求項1に記載の測距装置。 The weights of the pixels when measuring the number of reactions are the same,
The distance measuring device according to claim 1, wherein the weight of the pixel when generating the histogram is determined for each TDC.
請求項1に記載の測距装置。 The distance measuring device according to claim 1, wherein the weight processing unit outputs the count value a number of times corresponding to the weight as a process corresponding to the weight.
請求項1に記載の測距装置。 The distance measuring device according to claim 1, wherein when the weight is larger than 1, the weight processing unit increases the number of times the count value is output with respect to the number of times the count value is input.
請求項1に記載の測距装置。 The distance measuring device according to claim 1, wherein when the weight is smaller than 1, the weight processing unit reduces the number of times the count value is output with respect to the number of times the count value is input.
前記読み出し回路は、複数の前記受光素子に対して設けられている
請求項1に記載の測距装置。 A readout circuit that outputs the timing at which a photon is detected in the light receiving element is further provided.
The distance measuring device according to claim 1, wherein the readout circuit is provided for a plurality of the light receiving elements.
請求項1に記載の測距装置。 The distance measuring device according to claim 1, wherein the histogram generation unit is provided for each pixel group composed of the plurality of the pixels.
請求項11に記載の測距装置。 The distance measuring device according to claim 11, wherein the weight determining unit determines the weight for each pixel group.
請求項1に記載の測距装置。 The distance measuring device according to claim 1, which is composed of one chip.
画素への光子の入射に応じて受光素子が反応した反応回数を計測し、
前記反応回数に基づいて、重みを決定し、
光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントし、
前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施し、
前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成する
測距方法。 The distance measuring device
The number of reactions that the light receiving element reacts to in response to the incident of photons on the pixel is measured.
The weight is determined based on the number of reactions.
The time from when the light source emits light to when the photon is incident on the pixel is counted.
The count value supplied from the TDC is subjected to a process corresponding to the weight.
A distance measuring method that generates a histogram based on the count value that has been processed corresponding to the weight.
前記光源からの光が物体に反射された反射光を受光する測距装置と
を備え、
前記測距装置は、
画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、
前記反応回数に基づいて、重みを決定する重み決定部と、
前記光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、
前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、
前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と
を備える測距システム。 A lighting device with a light source and
It is equipped with a ranging device that receives the reflected light reflected by the object from the light from the light source.
The distance measuring device is
A measuring unit that measures the number of reactions that the light receiving element reacts to in response to the incident of photons on the pixel,
A weight determination unit that determines the weight based on the number of reactions,
TDC, which counts the time from when the light source emits light to when the photon is incident on the pixel,
A weight processing unit that performs processing corresponding to the weight on the count value supplied from the TDC.
A distance measuring system including a histogram generator that generates a histogram based on the count value that has been subjected to processing corresponding to the weight.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019114622A JP2021001764A (en) | 2019-06-20 | 2019-06-20 | Distance measurement device, distance measurement method, and distance measurement system |
PCT/JP2020/022486 WO2020255770A1 (en) | 2019-06-20 | 2020-06-08 | Ranging device, ranging method, and ranging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019114622A JP2021001764A (en) | 2019-06-20 | 2019-06-20 | Distance measurement device, distance measurement method, and distance measurement system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021001764A true JP2021001764A (en) | 2021-01-07 |
Family
ID=73994026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019114622A Pending JP2021001764A (en) | 2019-06-20 | 2019-06-20 | Distance measurement device, distance measurement method, and distance measurement system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021001764A (en) |
WO (1) | WO2020255770A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023085143A1 (en) * | 2021-11-15 | 2023-05-19 | ソニーセミコンダクタソリューションズ株式会社 | Photodetector element |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112924981B (en) * | 2021-01-28 | 2023-10-31 | 深圳奥锐达科技有限公司 | Time-of-flight ranging method, system and equipment |
US20240168161A1 (en) * | 2021-03-31 | 2024-05-23 | Sony Group Corporation | Ranging device, signal processing method thereof, and ranging system |
CN112799097B (en) * | 2021-04-14 | 2023-11-28 | 深圳阜时科技有限公司 | Depth map and gray map acquisition method, depth camera and electronic device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5617159B2 (en) * | 2008-10-07 | 2014-11-05 | トヨタ自動車株式会社 | Image acquisition apparatus and method |
JP6443132B2 (en) * | 2015-03-03 | 2018-12-26 | 株式会社デンソー | Arithmetic unit |
JP2018091760A (en) * | 2016-12-05 | 2018-06-14 | 株式会社豊田中央研究所 | Optical measurement device, optical measurement method, and optical measurement program |
EP3367131A1 (en) * | 2017-02-27 | 2018-08-29 | STMicroelectronics (Research & Development) Limited | A higher pixel density histogram time of flight sensor |
JP7134988B2 (en) * | 2017-03-01 | 2022-09-12 | アウスター インコーポレイテッド | Accurate photodetector measurements for lidar |
-
2019
- 2019-06-20 JP JP2019114622A patent/JP2021001764A/en active Pending
-
2020
- 2020-06-08 WO PCT/JP2020/022486 patent/WO2020255770A1/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023085143A1 (en) * | 2021-11-15 | 2023-05-19 | ソニーセミコンダクタソリューションズ株式会社 | Photodetector element |
Also Published As
Publication number | Publication date |
---|---|
WO2020255770A1 (en) | 2020-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020255770A1 (en) | Ranging device, ranging method, and ranging system | |
US11940536B2 (en) | Light receiving element and ranging system | |
WO2020255759A1 (en) | Distance measurement device, distance measurement method, and distance measurement system | |
US11965970B2 (en) | Light receiving element and ranging system | |
CN211507638U (en) | Light receiving device and distance measuring system | |
TWI821381B (en) | Light-receiving element and ranging system | |
WO2020153261A1 (en) | Light-receiving device and ranging device | |
US20210325244A1 (en) | Light receiving element and ranging system | |
US20220128690A1 (en) | Light receiving device, histogram generating method, and distance measuring system | |
WO2021029262A1 (en) | Device, measurement device, distance measurement system and method | |
US20220075029A1 (en) | Measuring device, distance measuring device and measuring method | |
WO2020137318A1 (en) | Measurement device, distance measurement device, and measurement method | |
WO2020166349A1 (en) | Light receiving device, histogram generation method, and ranging system | |
US11566939B2 (en) | Measurement device, distance measurement device, electronic device, and measurement method | |
JP2021001756A (en) | Distance measurement device | |
WO2023085040A1 (en) | Ranging device, ranging system, and ranging method | |
WO2021029270A1 (en) | Measuring device and ranging device | |
WO2020129474A1 (en) | Ranging device and measuring device |