JP2020134171A - 受光装置および測距システム - Google Patents

受光装置および測距システム Download PDF

Info

Publication number
JP2020134171A
JP2020134171A JP2019023663A JP2019023663A JP2020134171A JP 2020134171 A JP2020134171 A JP 2020134171A JP 2019023663 A JP2019023663 A JP 2019023663A JP 2019023663 A JP2019023663 A JP 2019023663A JP 2020134171 A JP2020134171 A JP 2020134171A
Authority
JP
Japan
Prior art keywords
bits
light
unit
light receiving
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019023663A
Other languages
English (en)
Inventor
鈴木　伸治
Shinji Suzuki
伸治 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019023663A priority Critical patent/JP2020134171A/ja
Priority to US17/427,960 priority patent/US20220128660A1/en
Priority to PCT/JP2020/003342 priority patent/WO2020166349A1/ja
Publication of JP2020134171A publication Critical patent/JP2020134171A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K23/00—Pulse counters comprising counting chains; Frequency dividers comprising counting chains

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】小面積、低消費電力で、ヒストグラム生成回路を実現する。【解決手段】受光装置は、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路とを備える。ヒストグラム生成回路は、第１の速度で動作し、Nビットのうちの下位ビットを生成する下位ビット生成部と、第１の速度よりも遅い第２の速度で動作し、Nビットのうちの上位ビットを生成する上位ビット生成部とを備える。本技術は、例えば、例えば、被写体までの奥行き方向の距離を検出する測距システム等に適用できる。【選択図】図７

Description

本技術は、受光装置および測距システムに関し、特に、小面積、低消費電力で、ヒストグラム生成回路を実現することができるようにした受光装置および測距システムに関する。
被写体までの距離を測定する測距センサの一つに、Direct ToF(Time of flight)センサがある（例えば、特許文献１参照）。Direct ToFセンサ（以下、単にToFセンサと称する。）は、被写体に向けて光を投射した時刻と、被写体から反射された反射光を受信した時刻とから距離を直接測定する。
ToFセンサでは、光を投射した時刻から反射光を受信した時刻までの光の飛行時間がTDC(time to digital converter)によって距離データ（以下、ToFデータと称する。）に変換されるが、外乱光やマルチパスの影響を除去するために、光の投射と受信が複数回に渡って実施される。そして、複数回分のToFデータのヒストグラムが生成され、頻度値が最も大きいToFデータが、最終的なToFデータとして出力される。
ToFセンサでは、外乱光やマルチパス光、または、ノイズによる偽の受光反応の影響により、TDCから高レートでToFデータが出力されるが、データの取りこぼしなくヒストグラムを生成するためには、ヒストグラム生成回路も、TDCからの出力レートと同じ高レートで動作させる必要がある。
特開２０１０−９１３７７号公報
しかしながら、ヒストグラム生成回路を、TDCからの出力レートに対応する高レートで動作させる場合、ヒストグラム生成回路の面積および動作電力が増大する。この問題は、今後、ToFセンサの解像度が向上していくと、より顕著になる。
本技術は、このような状況に鑑みてなされたものであり、小面積、低消費電力で、ヒストグラム生成回路を実現することができるようにするものである。
本技術の第１の側面の受光装置は、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路とを備え、前記ヒストグラム生成回路は、第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部とを備える。
本技術の第２の側面の測距システムは、照射光を照射する照明装置と、前記照射光に対する反射光を受光する受光装置とを備え、前記受光装置は、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路とを備え、前記ヒストグラム生成回路は、第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部とを備える。
本技術の第１および第２の側面においては、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報が計測され、ヒストグラム生成回路において、前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムが生成される。前記ヒストグラム生成回路は、第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部とで構成される。
受光装置及び測距システムは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。 図１の受光装置の構成例を示すブロック図である。 画素の回路構成例を示す図である。 図３の画素の動作を説明する図である。 信号処理部が生成するヒストグラムの例を示す図である。 比較例としての信号処理部の構成例を示すブロック図である。 図２の信号処理部の詳細構成例を示すブロック図である。 キャリービットの検出を説明する図である。 ヒストグラム生成処理を説明するフローチャートである。 ３枚の基板の積層構造による１チップで構成される場合の各部の配置例を示す平面図である。 測距システムの使用例を説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距システムの構成例
２．受光装置の構成例
３．画素回路の構成例
４．比較例としての信号処理部の構成例
５．本技術の信号処理部の詳細構成例
６．ヒストグラム生成処理のフローチャート
７．チップ構成例
８．測距システムの使用例
９．移動体への応用例
＜１．測距システムの構成例＞
図１は、本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。
測距システム１１は、例えば、ToF法を用いて距離画像の撮影を行うシステムである。ここで、距離画像とは、測距システム１１から被写体までの奥行き方向の距離を画素単位で検出し、各画素の信号が、検出した距離に基づく距離画素信号からなる画像のことである。
測距システム１１は、照明装置２１及び撮像装置２２を備える。
照明装置２１は、照明制御部３１及び光源３２を備える。
照明制御部３１は、撮像装置２２の制御部４２の制御の下に、光源３２が光を照射するパターンを制御する。具体的には、照明制御部３１は、制御部４２から供給される照射信号に含まれる照射コードに従って、光源３２が光を照射するパターンを制御する。例えば、照射コードは、１（High）と０（Low）の２値からなり、照明制御部３１は、照射コードの値が１のとき光源３２を点灯させ、照射コードの値が０のとき光源３２を消灯させる。
光源３２は、照明制御部３１の制御の下に、所定の波長域の光を発する。光源３２は、例えば、赤外線レーザダイオードからなる。なお、光源３２の種類、及び、照射光の波長域は、測距システム１１の用途等に応じて任意に設定することが可能である。
撮像装置２２は、照明装置２１から照射された光（照射光）が被写体１２及び被写体１３等により反射された反射光を受光する装置である。撮像装置２２は、撮像部４１、制御部４２、表示部４３、及び、記憶部４４を備える。
撮像部４１は、レンズ５１、及び、受光装置５２を備える。
レンズ５１は、入射光を受光装置５２の受光面に結像させる。なお、レンズ５１の構成は任意であり、例えば、複数のレンズ群によりレンズ５１を構成することも可能である。
受光装置５２は、例えば、各画素に受光素子としてSPAD（Single Photon Avalanche Diode）を用いたセンサからなる。受光装置５２は、制御部４２の制御の下に、被写体１２及び被写体１３等からの反射光を受光し、その結果得られた画素信号を距離情報に変換して制御部４２に出力する。受光装置５２は、行方向及び列方向の行列状に画素が２次元配置された画素アレイの各画素の画素値（距離画素信号）として、照明装置２１が照射光を照射してから受光装置５２が受光するまでの時間をカウントしたデジタルのカウント値が格納された距離画像を、制御部４２に供給する。光源３２が発光するタイミングを示す発光タイミング信号は、制御部４２から受光装置５２にも供給される。
なお、測距システム１１は、光源３２の発光と、その反射光の受光を複数回（例えば、数千乃至数万回）繰り返すことにより、撮像部４１が、外乱光やマルチパス等の影響を除去した距離画像を生成し、制御部４２に供給する。
制御部４２は、例えば、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）等の制御回路やプロセッサ等により構成される。制御部４２は、照明制御部３１、及び、受光装置５２の制御を行う。具体的には、制御部４２は、照明制御部３１に照射信号を供給するとともに、発光タイミング信号を受光装置５２に供給する。光源３２は、照射信号に応じて照射光を発光する。発光タイミング信号は、照明制御部３１に供給される照射信号でもよい。また、制御部４２は、撮像部４１から取得した距離画像を表示部４３に供給し、表示部４３に表示させる。さらに、制御部４２は、撮像部４１から取得した距離画像を記憶部４４に記憶させる。また、制御部４２は、撮像部４１から取得した距離画像を外部に出力する。
表示部４３は、例えば、液晶表示装置や有機ＥＬ（Electro Luminescence）表示装置等のパネル型表示装置からなる。
記憶部４４は、任意の記憶装置や記憶媒体等により構成することができ、距離画像等を記憶する。
＜２．受光装置の構成例＞
図２は、受光装置５２の構成例を示すブロック図である。
受光装置５２は、画素駆動部７１、画素アレイ７２、MUX(マルチプレクサ)７３、時間計測部７４、信号処理部７５、および、入出力部７６を備える。
画素アレイ７２は、光子の入射を検出し、検出結果を示す検出信号を画素信号として出力する画素８１が行方向及び列方向の行列状に２次元配置された構成となっている。ここで、行方向とは水平方向の画素８１の配列方向を言い、列方向とは垂直方向の画素８１の配列方向を言う。図２では、紙面の制約上、画素アレイ７２が１０行１２列の画素配列構成で示されているが、画素アレイ７２の行数および列数は、これに限定されず、任意である。
画素アレイ７２の行列状の画素配列に対して、画素行ごとに画素駆動線８２が水平方向に配線されている。画素駆動線８２は、画素８１の駆動を行うための駆動信号を伝送する。画素駆動部７１は、画素駆動線８２を介して所定の駆動信号を各画素８１に供給することにより、各画素８１を駆動する。具体的には、画素駆動部７１は、入出力部７６を介して外部から供給される発光タイミング信号に合わせた所定のタイミングで、行列状に２次元配置された複数の画素８１の少なくとも一部をアクティブ画素とし、残りの画素８１を非アクティブ画素とする制御を行う。アクティブ画素は、光子の入射を検出する画素であり、非アクティブ画素は、光子の入射を検出しない画素である。勿論、画素アレイ７２の全ての画素８１をアクティブ画素としてもよい。画素８１の詳細構成については後述する。
なお、図２では、画素駆動線８２を１本の配線として示しているが、複数の配線で構成してもよい。画素駆動線８２の一端は、画素駆動部７１の各画素行に対応した出力端に接続されている。
MUX７３は、画素アレイ７２内のアクティブ画素と非アクティブ画素の切替えにしたがい、アクティブ画素からの出力を選択する。そして、MUX７３は、選択したアクティブ画素から入力される画素信号を時間計測部７４へ出力する。
時間計測部７４は、MUX７３から供給されるアクティブ画素の画素信号と、光源３２の発光タイミングを示す発光タイミング信号とに基づいて、光源３２が光を発光してからアクティブ画素が光を受光するまでの時間（光の飛行時間）に対応するカウント値を生成する。発光タイミング信号は、入出力部７６を介して外部（撮像装置２２の制御部４２）から供給される。
信号処理部７５は、所定の回数（例えば、数千乃至数万回）繰り返し実行される光源３２の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間（カウント値）のヒストグラムを画素ごとに生成する。そして、信号処理部７５は、ヒストグラムのピークを検出することで、光源３２から照射された光が被写体１２または被写体１３で反射して戻ってくるまでの時間を判定する。信号処理部７５は、受光装置５２が受光するまでの時間をカウントしたデジタルのカウント値が各画素に格納された距離画像を生成し、入出力部７６に供給する。あるいはまた、信号処理部７５は、判定した時間と光速に基づいて、物体までの距離を求める演算を行い、その演算結果を各画素に格納した距離画像を生成し、入出力部７６に供給してもよい。
入出力部７６は、信号処理部７５から供給される距離画像の信号（距離画像信号）を、外部（制御部４２）に出力する。また、入出力部７６は、制御部４２から供給される発光タイミング信号を取得し、画素駆動部７１および時間計測部７４に供給する。
＜３．画素回路の構成例＞
図３は、画素アレイ７２に行列状に複数配置された画素８１の回路構成例を示している。
図３の画素８１は、SPAD１０１、トランジスタ１０２、スイッチ１０３、及び、インバータ１０４を備える。また、画素８１は、ラッチ回路１０５とインバータ１０６も備える。トランジスタ１０２は、P型のMOSトランジスタで構成される。
SPAD１０１のカソードは、トランジスタ１０２のドレインに接続されるとともに、インバータ１０４の入力端子、及び、スイッチ１０３の一端に接続されている。SPAD１０１のアノードは、電源電圧VA（以下では、アノード電圧VAとも称する。）に接続されている。
SPAD１０１は、入射光が入射されたとき、発生する電子をアバランシェ増幅させてカソード電圧VSの信号を出力するフォトダイオード（単一光子アバランシェフォトダイオード）である。SPAD１０１のアノードに供給される電源電圧VAは、例えば、-２０V程度の負バイアス（負の電位）とされる。
トランジスタ１０２は、飽和領域で動作する定電流源であり、クエンチング抵抗として働くことにより、パッシブクエンチを行う。トランジスタ１０２のソースは電源電圧VEに接続され、ドレインがSPAD１０１のカソード、インバータ１０４の入力端子、及び、スイッチ１０３の一端に接続されている。これにより、SPAD１０１のカソードにも、電源電圧VEが供給される。SPAD１０１と直列に接続されたトランジスタ１０２の代わりに、プルアップ抵抗を用いることもできる。
SPAD１０１には、十分な効率で光（フォトン）を検出するため、SPAD１０１の降伏電圧VBDよりも大きな電圧（以下、過剰バイアス（ExcessBias）と称する。）が印加される。例えば、SPAD１０１の降伏電圧VBDが２０Vであり、それよりも３V大きい電圧を印加することとすると、トランジスタ１０２のソースに供給される電源電圧VEは、３Vとされる。
なお、SPAD１０１の降伏電圧VBDは、温度等によって大きく変化する。そのため、降伏電圧VBDの変化に応じて、SPAD１０１に印加する印加電圧が制御（調整）される。例えば、電源電圧VEを固定電圧とすると、アノード電圧VAが制御（調整）される。
スイッチ１０３は、両端の一端がSPAD１０１のカソード、インバータ１０４の入力端子、および、トランジスタ１０２のドレインに接続され、他端が、グランド（GND）に接続されているグランド接続線１０７に接続されている。スイッチ１０３は、例えば、N型のMOSトランジスタで構成することができ、ラッチ回路１０５の出力であるゲーティング制御信号VGを、インバータ１０６で反転させたゲーティング反転信号VG_Iに応じてオンオフさせる。
ラッチ回路１０５は、画素駆動部７１から供給されるトリガ信号SETと、アドレスデータDECとに基づいて、画素８１をアクティブ画素または非アクティブ画素のいずれかに制御するゲーティング制御信号VGをインバータ１０６に供給する。インバータ１０６は、ゲーティング制御信号VGを反転させたゲーティング反転信号VG_Iを生成し、スイッチ１０３に供給する。
トリガ信号SETは、ゲーティング制御信号VGを切り替えるタイミングを示すタイミング信号であり、アドレスデータDECは、画素アレイ７２内の行列状に配置された複数の画素８１のうち、アクティブ画素に設定する画素のアドレスを示すデータである。トリガ信号SETとアドレスデータDECは、画素駆動線８２を介して画素駆動部７１から供給される。
ラッチ回路１０５は、トリガ信号SETが示す所定のタイミングで、アドレスデータDECを読み込む。そして、ラッチ回路１０５は、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれている場合には、自身の画素８１をアクティブ画素に設定するためのHi（1)のゲーティング制御信号VGを出力する。一方、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれていない場合には、自身の画素８１を非アクティブ画素に設定するためのLo（0)のゲーティング制御信号VGを出力する。これにより、画素８１がアクティブ画素とされる場合には、インバータ１０６によって反転されたLo(0)のゲーティング反転信号VG_Iがスイッチ１０３に供給される。一方、画素８１が非アクティブ画素とされる場合には、Hi（1)のゲーティング反転信号VG_Iがスイッチ１０３に供給される。したがって、スイッチ１０３は、画素８１がアクティブ画素に設定される場合にオフし（非接続とされ）、非アクティブ画素に設定される場合にオンされる（接続される）。
インバータ１０４は、入力信号としてのカソード電圧VSがLoのとき、Hiの検出信号PFoutを出力し、カソード電圧VSがHiのとき、Loの検出信号PFoutを出力する。インバータ１０４は、SPAD１０１への光子の入射を検出信号PFoutとして出力する出力部である。
次に、図４を参照して、画素８１がアクティブ画素に設定された場合の動作について説明する。
図４は、光子の入射に応じたSPAD１０１のカソード電圧VSの変化と検出信号PFoutを示すグラフである。
まず、画素８１がアクティブ画素である場合、上述したように、スイッチ１０３はオフに設定される。
SPAD１０１のカソードには電源電圧VE（例えば、３V）が供給され、アノードには電源電圧VA（例えば、−２０V）が供給されることから、SPAD１０１に降伏電圧VBD（＝２０V）より大きい逆電圧が印加されることにより、SPAD１０１がガイガーモードに設定される。この状態では、SPAD１０１のカソード電圧VSは、例えば図４の時刻t0のように、電源電圧VEと同じである。
ガイガーモードに設定されたSPAD１０１に光子が入射すると、アバランシェ増倍が発生し、SPAD１０１に電流が流れる。
図４の時刻t1において、アバランシェ増倍が発生し、SPAD１０１に電流が流れたとすると、時刻t1以降、SPAD１０１に電流が流れることにより、トランジスタ１０２にも電流が流れ、トランジスタ１０２の抵抗成分により電圧降下が発生する。
時刻t2において、SPAD１０１のカソード電圧VSが0Vよりも低くなると、SPAD１０１のアノード・カソード間電圧が降伏電圧VBDよりも低い状態となるので、アバランシェ増幅が停止する。ここで、アバランシェ増幅により発生する電流がトランジスタ１０２に流れることで電圧降下を発生させ、発生した電圧降下に伴って、カソード電圧VSが降伏電圧VBDよりも低い状態となることで、アバランシェ増幅を停止させる動作がクエンチ動作である。
アバランシェ増幅が停止するとトランジスタ１０２の抵抗に流れる電流が徐々に減少して、時刻t4において、再びカソード電圧VSが元の電源電圧VEまで戻り、次の新たなフォトンを検出できる状態となる（リチャージ動作）。
インバータ１０４は、入力電圧であるカソード電圧VSが所定の閾値電圧Vth以上のとき、Loの検出信号PFoutを出力し、カソード電圧VSが所定の閾値電圧Vth未満のとき、Hiの検出信号PFoutを出力する。従って、SPAD１０１に光子が入射し、アバランシェ増倍が発生してカソード電圧VSが低下し、閾値電圧Vthを下回ると、検出信号PFoutは、ローレベルからハイレベルに反転する。一方、SPAD１０１のアバランシェ増倍が収束し、カソード電圧VSが上昇し、閾値電圧Vth以上になると、検出信号PFoutは、ハイレベルからローレベルに反転する。
なお、画素８１が非アクティブ画素とされる場合には、Hi（1)のゲーティング反転信号VG_Iがスイッチ１０３に供給され、スイッチ１０３がオンされる。スイッチ１０３がオンされると、SPAD１０１のカソード電圧VSが０Vとなる。その結果、SPAD１０１のアノード・カソード間電圧が降伏電圧VBD以下となるので、SPAD１０１に光子が入ってきても反応しない状態となる。
上述したように、信号処理部７５は、所定の回数繰り返し実行される光源３２の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間に対応するカウント値のヒストグラムを画素ごとに生成する。なお、以下では、被写体までの距離情報に相当するカウント値を、ToFデータとも称する。
図５は、信号処理部７５によって生成された所定の画素８１のヒストグラムの例を示している。
図５に示されるヒストグラムの横軸はToFデータの値（ToF値）を表し、縦軸は、各ToF値が検出された回数（頻度値）を表す。この例では、ヒストグラムのピークは、D1で示されるToF値であり、このToF値が、この画素８１のToFデータとして、出力される。
信号処理部７５では、図５に示されるようなヒストグラムが画素アレイ７２の各画素について計算され、ヒストグラムのピークのToFデータが各画素に格納された距離画像が制御部４２（図１）に出力される。
図５に示したようなヒストグラムを生成するヒストグラム生成回路の回路面積は、測距システムの解像度（空間解像度や時間解像度）を上げようとすると、増大する。
そこで、以下では、受光装置５２の信号処理部７５に適用された、ヒストグラム生成回路の回路面積を抑制することが可能な信号処理部の構成について説明する。ただし、以下では、初めに、本技術を適用した信号処理部７５と比較するための比較例である、信号処理部３０１の構成例について説明し、その後、受光装置５２の信号処理部７５の構成について説明する。
＜４．比較例としての信号処理部の構成例＞
図６は、比較例としての信号処理部３０１の構成例を示すブロック図である。
図６の信号処理部３０１は、時間計測部７４に設けられた１つのTDC(time to digital converter)９１に対応して１つのヒストグラム生成回路３２１を備える。ヒストグラム生成回路３２１は、頻度値としてNビットの蓄積が可能な１つのヒストグラムを生成する回路である。ヒストグラム生成回路３２１は、デコーダ３３１と、M個のフリップフロップ回路（以下、FF回路と称する。）３３２１乃至３３２Ｍとで構成される。
以下では、M個のFF回路３３２１乃至３３２Ｍを特に区別しない場合、単に、FF回路３３２と称する。FF回路３３２は、所定のToF値の頻度値を記憶するNビットのメモリである。１個のFF回路３３２は、図５のヒストグラムの１つのビンに対応し、Mは、ToFセンサが測定可能な距離に対して十分な値（ビンの数）である。FF回路３３２のビット数Nは、各ビンが取り得る頻度値に対して十分な値である。
時間計測部７４のTDC９１は、画素アレイ７２の１以上の画素８１に対応して設けられる。図６において、画素アレイ７２と時間計測部７４については、ヒストグラム生成回路３２１との対応関係を明確にするため示している。
すなわち、時間計測部７４のTDC９１は、画素アレイ７２の１以上の画素８１に対して設けられる。例えば、行列状に２次元配置された全ての画素８１を同時にアクティブ画素として動作させる場合には、画素８１とTDC９１が１対１に設けられ、時間計測部７４は、画素アレイ７２の画素数と同数のTDC９１を備える。また例えば、画素アレイ７２の１行を構成する複数の画素８１に対して１個のTDC９１が設けられる場合には、時間計測部７４は、画素アレイ７２の画素行と同数のTDC９１を備える。したがって、時間計測部７４に含まれるTDC９１の個数は、１回の受光で同時にアクティブ画素に設定する画素数などの要求に応じて決定される。
MUX７３において、アクティブ画素に設定された画素８１の出力が適切に選択されたとして、アクティブ画素に設定された画素８１の画素信号、即ち、上述した検出信号PFoutが、TDC９１に入力される。TDC９１は、Hiの検出信号PFoutが入力された時間（期間）をカウントし、カウントした結果であるカウント値（ToF値）を、ToFデータとして、ヒストグラム生成回路３２１に出力する。TDC９１は、光源３２の発光タイミングから画素８１が受光した受光タイミングまでの時間情報を計測する計測部に相当する。
TDC９１からのToFデータは、デコーダ３３１によってデコードされ、ToF値に対応する FF回路３３２１乃至３３２Ｍのいずれかに記憶される。換言すれば、デコーダ３３１は、入力されるToFデータに応じて、FF回路３３２１乃至３３２Ｍのいずれかを選択し、選択したFF回路３３２の頻度値をカウントアップする。
＜５．本技術の信号処理部の詳細構成例＞
図７は、本技術を適用した信号処理部であって、図２の信号処理部７５の詳細構成例を示すブロック図である。
なお、図７においても、図６と同様に、画素アレイ７２と時間計測部７４の対応する構成も示されている。
図７の信号処理部７５は、時間計測部７４に設けられた１つのTDC９１に対応して１つのヒストグラム生成回路１２１を備える。ヒストグラム生成回路１２１は、頻度値としてNビットの蓄積が可能な１つのヒストグラムを生成する回路である。画素アレイ７２の画素８１と、時間計測部７４のTDC９１との関係は、図５における場合と同様である。
ヒストグラム生成回路１２１は、Nビットの頻度値を、下位Naビットと上位Nbビットに分割し（N＝Na+Nb）、下位Naビットを生成して記憶する下位ビット生成部１２２Aと、上位Nbビットを生成して記憶する上位ビット生成部１２２Bとで構成される。例えば、頻度値全体のビット数Nを２４ビットとした場合、下位ビットのビット数Naが８（Na=８）、上位ビットのビット数Nbが１６（Nb＝１６）などとされる。
下位ビット生成部１２２Aは、デコーダ１３１、M個のフリップフロップ回路（以下、FF回路と記述する。）１３２１乃至１３２Ｍ、および、M個のキャリービット１３３１乃至１３３Ｍを備える。M個のFF回路１３２１乃至１３２Ｍと、M個のキャリービット１３３１乃至１３３Ｍとは、１対１に対応している。
以下では、M個のFF回路１３２１乃至１３２Ｍを特に区別しない場合、単に、FF回路１３２と称し、M個のキャリービット１３３１乃至１３３Ｍを特に区別しない場合、単に、キャリービット１３３と称する。
上位ビット生成部１２２Bは、制御部１４１と、Nbビットのメモリ部１４２とで構成される。
デコーダ１３１は、図６のデコーダ３３１と同様の動作を行う。すなわち、デコーダ１３１は、入力されるToFデータのToF値に対応するFF回路１３２１乃至１３２Ｍのいずれかを選択し、選択したFF回路３３２の頻度値の下位Naビットをカウントアップする。
M個のFF回路１３２は、各ToF値の頻度値の下位Naビットを記憶する。
キャリービット１３３は、対応するFF回路１３２のNaビットの繰り上がりを検出し、繰り上がりが発生した場合にビット（以下、キャリービットと称する。）をオン（“１”）する。キャリービットのオン（“１”）は、その後、上位ビット生成部１２２Bの制御部１４１によって検出された後、オフ（“０”）にリセットされる。
上位ビット生成部１２２Bの制御部１４１は、下位ビット生成部１２２AのM個のキャリービット１３３１乃至１３３Ｍに基づいて、メモリ部１４２を制御する。例えば、制御部１４１は、M個のキャリービット１３３１乃至１３３Ｍのビット状態、すなわち、オン（“１”）またはオフ（“０”）を定期的にチェックし、オンが検出されたキャリービット１３３に対応するメモリ部１４２のビンの上位Nbビットの頻度値をカウントアップする。
あるいはまた、M個のキャリービット１３３のいずれかがオンになった場合、そのことを示すトリガ信号TRが制御部１４１に供給されるようにしてもよい。制御部１４１は、トリガ信号TRを取得した場合、M個のキャリービット１３３１乃至１３３Ｍのビット状態を確認し、オンが検出されたキャリービット１３３に対応するメモリ部１４２のビンの上位Nbビットの頻度値をカウントアップする。例えば、図８に示されるように、複数段のOR回路１３４からなるトリガ信号生成部１３５を設け、トリガ信号生成部１３５が、M個のキャリービット１３３のオンを示す検出信号の論理和によりトリガ信号TRを生成して制御部１４１に供給し、制御部１４１が、M本の信号線１３６により、各キャリービット１３３のビット状態を確認する構成とすることができる。
制御部１４１は、メモリ部１４２内の所定のビンの頻度値を更新したキャリービット１３３のビット状態を、オンからオフにリセットする。
メモリ部１４２は、例えば、SRAM (Static Random Access Memory)や、DRAM (Dynamic Random Access Memory)などで構成され、M個の各ToF値の頻度値の上位Nbビットを記憶する。
下位ビット生成部１２２Aは、頻度値のカウント動作を、TDC９１から供給されるToFデータのタイミング、換言すれば、ToFデータの出力レートで処理できる必要がある。そのため、下位ビット生成部１２２Aは、高速動作な可能なFF回路１３２を用いて、下位Naビットの頻度値をカウントおよび記憶する。
一方、上位ビットになるほどトグル率が１／２になるので、上位ビット側のメモリ部１４２はToFデータの出力レートほど高速に動作する必要はない。例えば、高速動作を行う下位ビットのビット数Naを８ビット（Na＝８）とし、ToFデータの出力レートが２５６MHz(３．９nsec間隔)とすると、上位ビット側は、１MHｚのスループットで動作すればよい。そのため、上位Nbビットを記憶する上位ビット生成部１２２Bは、SRAMやDRAMで構成することができる。
一般に、FF回路は、高速動作が可能であるが、配線密度が低密度になる。一方、SRAMおよびDRAMは、FF回路ほど高速には動作できないが、配線密度を高密度にすることができる。したがって、図６のヒストグラム生成回路３２１のように、Nビットの頻度値を記憶するメモリを、全てFF回路で構成した場合と比較して、信号処理部７５は、小面積で実現することができる。また、上位ビット生成部１２２Bは低速動作が可能であるため、消費電力も抑制することができる。
以上より、図７の信号処理部７５のヒストグラム生成回路１２１は、図６の信号処理部３０１のヒストグラム生成回路３２１と比較して、小面積、低消費電力で実現することができる。
＜６．ヒストグラム生成処理のフローチャート＞
図９のフローチャートを参照して、ヒストグラム生成回路１２１によるヒストグラム生成処理について説明する。この処理は、測距システム１１において距離の測定が開始されたとき、具体的には、所定の回数（例えば、数千乃至数万回）繰り返し実行される光源３２の発光と、その反射光の受光のうち、最初の発光が開始され、最初に、TDC９１からToFデータが供給されたとき、開始される。
初めに、ステップＳ１１において、デコーダ１３１は、入力されたToFデータ（ToF値）に対応するビンの下位ビットNaをカウントアップする。すなわち、デコーダ１３１は、入力されたToFデータのToF値に対応するFF回路１３２１乃至１３２Ｍのいずれかを選択し、選択したFF回路３３２の頻度値をカウントアップする。
ステップＳ１２において、M個のキャリービット１３３は、対応するFF回路１３２の下位ビットNaの繰り上がりを検出する。すなわち、キャリービット１３３は、対応するFF回路１３２の下位ビットNaの繰り上がりが発生したか否かを判定する。
ステップS１２で、繰り上がりが発生していないと判定された場合、処理はステップＳ１１に戻り、ステップＳ１１およびＳ１２が、再度、繰り返される。
一方、ステップＳ１２で、繰り上がりが発生したと判定された場合、処理はステップＳ１３に進み、繰り上がりを検出したキャリービット１３３は、自身のビット（キャリービット）をオンする。
そして、ステップＳ１４において、制御部１４１は、M個のキャリービット１３３１乃至１３３Ｍのなかの所定のキャリービットのオンを検出し、メモリ部１４２を更新する。すなわち、制御部１４１は、オンが検出されたキャリービット１３３に対応するメモリ部１４２のビンの上位Nbビットの頻度値をカウントアップする。
ステップＳ１５において、ヒストグラム生成回路１２１は、測定が終了したかを判定する。ステップＳ１５では、例えば、予め設定された所定の回数（例えば、数千乃至数万回）の光源３２の発光と、その反射光の受光が終了した場合、測定が終了したと判定される。
ステップＳ１５で、測定がまだ終了していないと判定された場合、処理はステップＳ１１に戻り、上述したステップＳ１１乃至Ｓ１５が繰り返される。すなわち、入力されるToFデータに基づくヒストグラムの生成（更新）が継続される。
一方、ステップＳ１５で、測定が終了したと判定された場合、ヒストグラム生成処理が終了する。
時間計測部７４に設けられた複数のTDC９１に対応する複数のヒストグラム生成回路１２１それぞれにおいて、上述したヒストグラム生成処理が実行されることにより、画素アレイ７２の画素８１ごとに、ヒストグラムのピークが決定するので、ピークのToF値が各画素に格納された距離画像が生成され、入出力部７６を介して、外部（制御部４２）に出力される。
上述した例において、信号処理部７５は、画素単位にToF値のヒストグラムを生成し、ピークのToF値を各画素に格納した距離画像か、または、時間（ToF値）と光速に基づいて算出した物体までの距離を各画素に格納した距離画像を外部に出力するものとした。しかしながら、ヒストグラム生成回路１２１が画素単位で生成したヒストグラムを、そのまま外部に出力してもよい。この場合、上位Nbビットと下位NaビットとからなるNビットのデータを出力してもよいし、下位Naビットはノイズ成分であることが想定されるため、上位Nbビットのみを出力してもよい。
＜７．チップ構成例＞
受光装置５２は、例えば、３枚の基板（ダイ）を積層した積層構造による１チップ（半導体チップ）で構成することができる。
図１０は、受光装置５２が３枚の基板の積層構造による１チップで構成される場合の各部の配置例を示している。
受光装置５２は、第１基板１９２A、第２基板１９２B、および、第３基板１９２Cを積層して構成される。第１基板１９２Aと第２基板１９２Bは、貫通ビアやCu-Cuの金属接合により電気的に接続され、第２基板１９２Bと第３基板１９２Cは、貫通ビアやCu-Cuの金属接合により電気的に接続される。
第１基板１９２Aには、画素アレイ７２が形成される。第２基板１９２Bには、MUX７３、時間計測部７４、および、信号処理部７５の一部が配置される。例えば、信号処理部７５の、デコーダ１３１、M個のFF回路１３２１乃至１３２Ｍ、M個のキャリービット１３３１乃至１３３Ｍなどが第１基板１９２Aに配置される。図１０では、デコーダ１３１の図示が省略されている。
第３基板１９２Cには、第２基板１９２Bに配置されない残りの信号処理部７５、例えば、制御部１４１と、Nbビットのメモリ部１４２などが配置される。例えば、第２基板１９２BのM個のキャリービット１３３１乃至１３３Ｍの出力端子と、第３基板１９２Cの制御部１４１とが、TSV（Through Silicon Via）などで接続される。
上述した例では、Nビットの頻度値を下位Naビットと上位Nbビットに２分割する例について説明したが、２分割に限らず、例えば、下位Naビット、中位Nbビット、上位Ncビット（N=Na＋Nb+Nc）のように３分割してもよい。この場合、例えば、下位Naビットを記憶するメモリ部をFF回路、中位Nbビットを記憶するメモリ部をSRAM、上位Ncビットを記憶するメモリ部をDRAMにように、それぞれを異なるメモリ回路で構成することができる。
＜８．測距システムの使用例＞
本技術は、測距システムへの適用に限られるものではない。即ち、本技術は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器全般に対して適用可能である。上述の撮像部４１は、レンズ５１及び受光装置５２がまとめてパッケージングされたモジュール状の形態であってもよいし、レンズ５１と受光装置５２とが別に構成され、受光装置５２のみをワンチップとして構成してもよい。
図１１は、上述の測距システム１１または受光装置５２の使用例を示す図である。
上述した測距システム１１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜９．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図１３は、撮像部１２０３１の設置位置の例を示す図である。
図１３では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。具体的には、例えば、図１の測距システム１１は、撮像部１２０３１に適用することができる。撮像部１２０３１は、例えばＬＩＤＡＲであり、車両１２１００の周囲の物体及び物体までの距離の検出に用いられる。撮像部１２０３１に本開示に係る技術を適用することにより、車両１２１００の周囲の物体及び物体までの距離の検出精度が向上する。その結果、例えば、車両の衝突警告を適切なタイミングで行うことができ、交通事故を防止することが可能となる。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は、以下の構成を取ることができる。
（１）
光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路と
を備え、
前記ヒストグラム生成回路は、
第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、
前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部と
を備える
受光装置。
（２）
前記下位ビット生成部は、前記下位ビットを記憶するFF回路を有し、
前記上位ビット生成部は、前記上位ビットを記憶するSRAMまたはDRAMを有する
前記（１）に記載の受光装置。
（３）
前記上位ビット生成部は、制御部と、前記上位ビットを記憶するメモリ部とを有し、
前記制御部は、前記下位ビット生成部の前記下位ビットの繰り上げを示すビットに基づいて、前記メモリ部を制御する
前記（１）または（２）に記載の受光装置。
（４）
前記制御部は、前記ビットを定期的にチェックし、前記メモリ部の、前記下位ビットの繰り上げに対応する頻度値を更新する
前記（３）に記載の受光装置。
（５）
前記制御部は、前記ビットのオンを示すトリガ信号を取得した場合、前記ビットをチェックし、前記メモリ部の、前記下位ビットの繰り上げに対応する頻度値を更新する
前記（３）に記載の受光装置。
（６）
３枚の基板の積層構造による１チップで構成される
前記（１）乃至（５）のいずれかに記載の受光装置。
（７）
前記３枚の基板は、
画素アレイが形成された第１の基板と、
前記下位ビット生成部が形成された第２の基板と、
前記上位ビット生成部が形成された第３の基板と
を含む
前記（６）に記載の受光装置。
（８）
照射光を照射する照明装置と、
前記照射光に対する反射光を受光する受光装置と
を備え、
前記受光装置は、
光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路と
を備え、
前記ヒストグラム生成回路は、
第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、
前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部と
を備える
測距システム。
１１ 測距システム， ２１ 照明装置， ２２ 撮像装置， ３１ 照明制御部， ３２ 光源， ４１ 撮像部， ４２ 制御部， ５２ 受光装置， ７１ 画素駆動部， ７２ 画素アレイ， ７３ MUX， ７４ 時間計測部， ７５ 信号処理部， ７６ 入出力部， ８１ 画素， ９１ TDC， １０１ SPAD， １２１ ヒストグラム生成回路， １２２A 下位ビット生成部， １２２B 上位ビット生成部， １３１ デコーダ， １３２１乃至１３２Ｍ FF回路， １３３１乃至１３３Ｍ キャリービット， １３４ OR回路， １３５ トリガ信号生成部， １３６ 信号線， １４１ 制御部， １４２ メモリ部， １９２A 第１基板， １９２B 第２基板， １９２C 第３基板

Claims (8)

  1. 光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
    前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路と
    を備え、
    前記ヒストグラム生成回路は、
    第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、
    前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部と
    を備える
    受光装置。
  2. 前記下位ビット生成部は、前記下位ビットを記憶するFF回路を有し、
    前記上位ビット生成部は、前記上位ビットを記憶するSRAMまたはDRAMを有する
    請求項１に記載の受光装置。
  3. 前記上位ビット生成部は、制御部と、前記上位ビットを記憶するメモリ部とを有し、
    前記制御部は、前記下位ビット生成部の前記下位ビットの繰り上げを示すビットに基づいて、前記メモリ部を制御する
    請求項１に記載の受光装置。
  4. 前記制御部は、前記ビットを定期的にチェックし、前記メモリ部の、前記下位ビットの繰り上げに対応する頻度値を更新する
    請求項３に記載の受光装置。
  5. 前記制御部は、前記ビットのオンを示すトリガ信号を取得した場合、前記ビットをチェックし、前記メモリ部の、前記下位ビットの繰り上げに対応する頻度値を更新する
    請求項３に記載の受光装置。
  6. ３枚の基板の積層構造による１チップで構成される
    請求項１に記載の受光装置。
  7. 前記３枚の基板は、
    画素アレイが形成された第１の基板と、
    前記下位ビット生成部が形成された第２の基板と、
    前記上位ビット生成部が形成された第３の基板と
    を含む
    請求項６に記載の受光装置。
  8. 照射光を照射する照明装置と、
    前記照射光に対する反射光を受光する受光装置と
    を備え、
    前記受光装置は、
    光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
    前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路と
    を備え、
    前記ヒストグラム生成回路は、
    第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、
    前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部と
    を備える
    測距システム。
JP2019023663A 2019-02-13 2019-02-13 受光装置および測距システム Pending JP2020134171A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019023663A JP2020134171A (ja) 2019-02-13 2019-02-13 受光装置および測距システム
US17/427,960 US20220128660A1 (en) 2019-02-13 2020-01-30 Light receiving device, histogram generation method, and distance measurement system
PCT/JP2020/003342 WO2020166349A1 (ja) 2019-02-13 2020-01-30 受光装置、ヒストグラム生成方法、および測距システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019023663A JP2020134171A (ja) 2019-02-13 2019-02-13 受光装置および測距システム

Publications (1)

Publication Number Publication Date
JP2020134171A true JP2020134171A (ja) 2020-08-31

Family

ID=72044960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019023663A Pending JP2020134171A (ja) 2019-02-13 2019-02-13 受光装置および測距システム

Country Status (3)

Country Link
US (1) US20220128660A1 (ja)
JP (1) JP2020134171A (ja)
WO (1) WO2020166349A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI828695B (zh) * 2018-07-27 2024-01-11 日商索尼半導體解決方案公司 受光裝置及測距裝置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4431134B2 (ja) * 2006-12-22 2010-03-10 株式会社アイメス 高速プログラマブル同期カウンタ回路およびカウント方法
JP5206297B2 (ja) * 2008-10-07 2013-06-12 トヨタ自動車株式会社 光学式測距装置及び方法
JP5974863B2 (ja) * 2012-11-29 2016-08-23 富士通株式会社 カウンタ装置およびカウント方法
JP6482032B2 (ja) * 2016-02-19 2019-03-13 キヤノンメディカルシステムズ株式会社 ヒストグラムカウンタ及び放射線検出回路

Also Published As

Publication number Publication date
WO2020166349A1 (ja) 2020-08-20
US20220128660A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
JP6626603B2 (ja) 撮像装置及び撮像システム
US11940536B2 (en) Light receiving element and ranging system
WO2020255770A1 (ja) 測距装置、測距方法、および、測距システム
TWI821381B (zh) 受光元件及測距系統
US11965970B2 (en) Light receiving element and ranging system
JP7427613B2 (ja) 受光装置および測距システム
WO2020255759A1 (ja) 測距装置、測距方法、および、測距システム
WO2021090691A1 (ja) センシングデバイスおよび測距装置
WO2020045124A1 (ja) 受光素子および測距システム
WO2020166419A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
WO2020166349A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
US11566939B2 (en) Measurement device, distance measurement device, electronic device, and measurement method
WO2022054494A1 (ja) 光検出装置
TWI845592B (zh) 受光裝置及測距系統
WO2024135122A1 (ja) 撮像装置、制御装置およびスパイキングニューラルネットワーク
WO2023085040A1 (ja) 測距装置、測距システム及び測距方法