JP2023167618A - 受光装置、制御方法、及び測距システム - Google Patents
受光装置、制御方法、及び測距システム Download PDFInfo
- Publication number
- JP2023167618A JP2023167618A JP2022078931A JP2022078931A JP2023167618A JP 2023167618 A JP2023167618 A JP 2023167618A JP 2022078931 A JP2022078931 A JP 2022078931A JP 2022078931 A JP2022078931 A JP 2022078931A JP 2023167618 A JP2023167618 A JP 2023167618A
- Authority
- JP
- Japan
- Prior art keywords
- phase difference
- pixel
- light
- measurement
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005259 measurement Methods 0.000 claims abstract description 252
- 210000001747 pupil Anatomy 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims description 89
- 238000009792 diffusion process Methods 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 17
- 239000004065 semiconductor Substances 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 239000000969 carrier Substances 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 88
- 238000001514 detection method Methods 0.000 description 56
- 238000012545 processing Methods 0.000 description 49
- 238000004891 communication Methods 0.000 description 43
- 238000003384 imaging method Methods 0.000 description 32
- 230000007613 environmental effect Effects 0.000 description 17
- 238000002366 time-of-flight method Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 239000000758 substrate Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 8
- 239000002184 metal Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010791 quenching Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 101100428617 Homo sapiens VMP1 gene Proteins 0.000 description 1
- 101150074162 TDC1 gene Proteins 0.000 description 1
- 102100038001 Vacuole membrane protein 1 Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/495—Counter-measures or counter-counter-measures using electronic or electro-optical means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
【課題】測定光以外の入射光の影響を抑制可能な受光装置、制御方法、および測距システムを提供する。【解決手段】本開示によれば、対象物までの距離を測定するために用いられる測定画素と、対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、を有する画素アレイ部と、測定画素が光子を受光するタイミングと所定時点との差分に関する情報に基づき、対象物までの第1距離値を生成する第1距離測定部と、複数の位相差画素それぞれに入射する光子の数に対応する情報に基づき、対象物までの第2距離値を生成する第2距離測定部と、を備える、受光装置が提供される。【選択図】図1
Description
本開示は、受光装置、制御方法、及び測距システムに関する。
受光素子として、光子の受光に応じて信号を発生する素子を用いた受光装置がある。この種の受光装置を備える測距装置では、測距対象物(被写体)までの距離を測定する測定法として、光源から測距対象物に向けて照射した測定光が、測距対象物で反射されて戻ってくるまでの時間を計測するToF(Time of Flight:飛行時間)が採用されている。
ところが、測定光以外に起因する入射光に応答し、測距システムが誤測定を行う恐れがある。
そこで、本開示では、測定光以外の入射光の影響を抑制可能な受光装置、制御方法、および測距システムを提供する。
上記の課題を解決するために、本開示によれば、
対象物までの距離を測定するために用いられる測定画素と、前記対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、を有する画素アレイ部と、
前記測定画素が光子を受光するタイミングと所定時点との差分に関する情報に基づき、前記対象物までの第1距離値を生成する第1距離測定部と、
前記複数の位相差画素それぞれに入射する光子の数に対応する情報に基づき、前記対象物までの第2距離値を生成する第2距離測定部と、
を備える、受光装置が提供される。
対象物までの距離を測定するために用いられる測定画素と、前記対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、を有する画素アレイ部と、
前記測定画素が光子を受光するタイミングと所定時点との差分に関する情報に基づき、前記対象物までの第1距離値を生成する第1距離測定部と、
前記複数の位相差画素それぞれに入射する光子の数に対応する情報に基づき、前記対象物までの第2距離値を生成する第2距離測定部と、
を備える、受光装置が提供される。
前記測定画素は、入射した光子に応じて光電変換する光電変換部を有し、
前記位相差画素は、入射した光子に応じて光電変換する光電変換部を有してもよい。
前記位相差画素は、入射した光子に応じて光電変換する光電変換部を有してもよい。
前記光電変換部は、シングルフォトンアバランシェフォトダイオード(SPAD)であってもよい。
前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第2距離に応じて設定する制御部を、
更に備えてもよい。
更に備えてもよい。
前記第1距離測定部は、前記測定画素が光子を受光するタイミングと所定時点との差分値の出現頻度情報を有するヒストグラムの値に応じて前記第1距離値を生成し、
前記第2距離測定部は、前記複数の位相差画素それぞれに入射する光子の数に対応する信号値を用いた位相差に応じて前記第2距離値を生成してもよい。
前記第2距離測定部は、前記複数の位相差画素それぞれに入射する光子の数に対応する信号値を用いた位相差に応じて前記第2距離値を生成してもよい。
前記測定画素は、複数の前記光電変換部を有しており、
前記測定画素と、前記対となる複数の位相差画素と、はユニットを構成しており、
前記ユニットに対応する第1変換部を更に備え、
前記第1変換部は、前記測定画素が光子を受光するタイミングと所定時点との差分に関する情報を有する受信信号を生成してもよい。
前記測定画素と、前記対となる複数の位相差画素と、はユニットを構成しており、
前記ユニットに対応する第1変換部を更に備え、
前記第1変換部は、前記測定画素が光子を受光するタイミングと所定時点との差分に関する情報を有する受信信号を生成してもよい。
第1赤外光パルスレーザを更に備え、
前記制御部は、前記第2距離に応じて前記第1赤外光パルスレーザが照射するレーザ光の光量を制御してもよい。
前記制御部は、前記第2距離に応じて前記第1赤外光パルスレーザが照射するレーザ光の光量を制御してもよい。
第2赤外光パルスレーザを更に備え、
前記複数の位相差画素は、前記第2赤外光パルスレーザの照射するレーザ光に応じて信号を生成してもよい。
前記複数の位相差画素は、前記第2赤外光パルスレーザの照射するレーザ光に応じて信号を生成してもよい。
前記画素アレイ部と、前記第1変換部は積層化されており、前記ユニットに対応する前記第1変換部は、前記ユニットの直下に配置されてもよい。
前記ユニットに対応する第2変換部を更に備え、
前記第2変換部は、前記複数の位相差画素それぞれに入射する光子の数に対応する情報を有する第2受信信号を生成してもよい。
前記第2変換部は、前記複数の位相差画素それぞれに入射する光子の数に対応する情報を有する第2受信信号を生成してもよい。
前記第2変換部は、前記位相差画素が光子を受光するタイミングと所定時点との差分に関する情報を有する第3受信信号を生成し、第3受信信号の数に応じて前記第2受信信号を生成してもよい。
前記測定画素と、前記対となる複数の位相差画素とは、同じ時間帯に受光した光子に応じて、信号を生成してもよい。
前記測定画素と、前記対となる複数の位相差画素とは、異なる半導体素子のチップに構成されてもよい。
第1赤外光パルスレーザを更に備え、
前記測定画素が構成される第1チップと、前記対となる複数の位相差画素が構成される第2チップと、前記第1赤外光パルスレーザは、L字形状に配置されてもよい。
前記測定画素が構成される第1チップと、前記対となる複数の位相差画素が構成される第2チップと、前記第1赤外光パルスレーザは、L字形状に配置されてもよい。
複数の画素で構成される画素アレイ部と、
前記画素アレイ部を制御する制御部と、を、備え、
前記画素アレイ部は、
対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、
前記対象物までの距離を測定するために用いられる測定画素と、を有し、
前記制御部は、前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第2距離に応じて設定されてもよい。
前記画素アレイ部を制御する制御部と、を、備え、
前記画素アレイ部は、
対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、
前記対象物までの距離を測定するために用いられる測定画素と、を有し、
前記制御部は、前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第2距離に応じて設定されてもよい。
前記位相差画素は、可視光を受光して光電変換する光電変換部を有し、
前記測定画素は、入射した光子に応じて光電変換する光電変換部を有してもよい。
前記測定画素は、入射した光子に応じて光電変換する光電変換部を有してもよい。
前記光電変換部は、入射側に反射防止部を更に有してもよい。
前記光電変換部は、入射側に高屈折率素材で形成されたオンチップレンズを有してもよい。
前記光電変換部は、
オンチップレンズと、
前記光電変換により発生したキャリアを増倍するアバランシェ増倍領域を少なくとも有する拡散層とを、有し、
前記拡散層は、前記オンチップレンズの主光軸の位置に応じて配置されてもよい。
オンチップレンズと、
前記光電変換により発生したキャリアを増倍するアバランシェ増倍領域を少なくとも有する拡散層とを、有し、
前記拡散層は、前記オンチップレンズの主光軸の位置に応じて配置されてもよい。
前記位相差画素は、
前記光電変換部は、
入射領域の絞りと、
前記光電変換により発生したキャリアを増倍するアバランシェ増倍領域を少なくとも有する拡散層とを、有し、
前記拡散層は、前記絞りの位置に応じて配置されてもよい。
前記光電変換部は、
入射領域の絞りと、
前記光電変換により発生したキャリアを増倍するアバランシェ増倍領域を少なくとも有する拡散層とを、有し、
前記拡散層は、前記絞りの位置に応じて配置されてもよい。
前記対となる複数の位相差画素の内の、2つの位相差画素は、
前記2つの位相差画素の光電変換部に配置される楕円形状のオンチップレンズを有してもよい。
前記2つの位相差画素の光電変換部に配置される楕円形状のオンチップレンズを有してもよい。
前記対となる複数の位相差画素の内の、2つの位相差画素の光電変換部と、
2つの前記測定画素の光電変換部と、に配置される円形状のオンチップレンズを有してもよい。
2つの前記測定画素の光電変換部と、に配置される円形状のオンチップレンズを有してもよい。
前記位相差画素の光電変換部は、可視光を透過するカラーフィルタを介してして受光し、
前記測定画素の光電変換部は、赤外光を透過するカラーフィルタを介してして受光してもよい。
前記測定画素の光電変換部は、赤外光を透過するカラーフィルタを介してして受光してもよい。
上記の課題を解決するために、本開示によれば、
対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、
前記対象物までの距離を測定するために用いられる測定画素と、を有する画素アレイ部の制御方法であって、
前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第2距離に応じて設定する、制御方法が提供される。
対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、
前記対象物までの距離を測定するために用いられる測定画素と、を有する画素アレイ部の制御方法であって、
前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第2距離に応じて設定する、制御方法が提供される。
上記の課題を解決するために、本開示によれば、
受光装置と、
前記対象物からの入射光を集光するレンズと
を備える、測距システムが提供される。
受光装置と、
前記対象物からの入射光を集光するレンズと
を備える、測距システムが提供される。
以下、図面を参照して、受光装置、制御方法、及び測距システムの実施形態について説明する。以下では、受光装置、制御方法、及び測距システムの主要な構成部分を中心に説明するが受光装置、制御方法、及び測距システムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
(第1実施形態)
<測距システムの構成例>
図1は、本技術を適用した測距システム1の概略構成例を模式的に示すブロック図である。図1に示すように、第1実施形態に係る測距システム1は、受光装置10と、制御装置22と、表示装置24と、操作装置26と、出射側のレンズ30と、入射側のレンズ40とを備える。また、図1では更に測定の対象物50を図示している。
<測距システムの構成例>
図1は、本技術を適用した測距システム1の概略構成例を模式的に示すブロック図である。図1に示すように、第1実施形態に係る測距システム1は、受光装置10と、制御装置22と、表示装置24と、操作装置26と、出射側のレンズ30と、入射側のレンズ40とを備える。また、図1では更に測定の対象物50を図示している。
受光装置10は、基板11と、画素アレイ部12と、回路部13と、赤外光パルスレーザ14とを有する。制御部20は、例えばCPUを含んで構成され、受光装置10を制御する。
制御装置22は、操作装置26の操作に従い、受光装置10を制御する装置である。表示装置24は、例えばモニタであり、受光装置10が生成した画像イメージを表示する。また、操作装置26は、キーボード、及ぶマウスなどを含んで構成され、操作者の操作信号を制御装置22に入力する。
測距システム1は、赤外光パルスレーザ14が出射した光を、レンズ30を介して対象物50へ照射する。そして、対象物50で反射した光を、レンズ40を介して画素アレイ部12へ入射した光を用いて、対象物50までの距離を測定するシステムである。なお、制御部20の詳細は後述する。
画素アレイ部12は、基板11に搭載され、複数の測定画素110iと、複数の位相差画素110zと、複数の参照画素110rを有する。画素アレイ部12の各画素は、例えば、シングルフォトンアバランシェフォトダイオード(SPAD:Single Photon Avalanche photodiode)を用いて、例えば半導体素子として形成されている。回路部13は、画素アレイ部12の制御及び信号処理を行う回路である。
測定画素110iは、測距対象物に向けて照射した測定光が、測距対象物で反射されて戻ってくるまでの時間を計測するToF(Time of Flight:飛行時間)に用いる画素である。一方で、位相差画素110zは、対象物50からの入射光を瞳分割して像面位相差を検出する位相差画素である。位相差画素110zは、PDAF(Phase Detection Auto Focus)に用いる画素である。本実施形態では、SPADを用いて形成される位相差画素110zをPDAF画素と称する場合がある。また、参照画素110rは、赤外光パルスレーザ14の発光タイミングを計測するために用いられる。さらにまた、本実施形態では、ToF(Time of Flight:飛行時間)を用いた計測をToF法と称し、位相差画素110zを用いた計測を位相差法と称する場合がある。
赤外光パルスレーザ14は、基板11に搭載される。赤外光パルスレーザ14は、例えば、VCSEL(Vertical Cavity Surface Emitting LASER)光源を用いて形成されている。また、赤外光パルスレーザ14の照射側に回折光学素子14a(DOE)を配置することにより、例えば100点の行列状に配置されるスポット光のドットパターンを、対象物50に照射可能である。
赤外光パルスレーザ14が照射する計測光の波長は例えば850[nm]である。制御部20から入力される発光制御信号に同期させて計測光を照射する。
図1に示すように、ToF法では、赤外光パルスレーザ14が出射したパルス光を、画素アレイ部12内で参照画素110rが受光する。例えば、赤外光パルスレーザ14が出射したパルス光は、導光部材を介して参照画素110rに導光される。一方で、レンズ30を介して出射されたパルス光は、レンズ40を介して複数の測定画素110iのそれぞれへ異なるタイミングで入射する。
複数の位相差画素110zでは、レンズ30を介して出射されたパルス光を、レンズ40を介してそれぞれ受光する。複数の位相差画素110zでは、後述するように、左右、又は上下に対となる絞りを介して、パルス光を受光する。これにより、対となる位相差画素110zでは、対象物50までの距離に応じた像面位相差を検出することが可能となる。対となる位相差画素110zでは、複数の参照画素110rを用いることなく、ToF法での計測と異なるタイミングで、或いはToF法での計測と重なる時間を有して、対象物50までの距離を計測可能となる。
<ユニットの構成例>
図2は、画素アレイ部12に配置される複数のユニット11uの構成例を示す図である。画素アレイ部12は、複数のユニット11uが行列状に配置される。また、画素アレイ部12の端部には、参照画素110rが配置される参照画素ユニット166uが構成される。ユニット11uは、SPAD331乃至334で構成される測定画素110iと、SPAD335、336それぞれで構成される位相差画素110zとを有する。また、後述するように、SPAD335の入射領域の右半分に絞りWLのある画素を位相差画素110zLとし、SPAD336の入射領域の左半分に絞りWRのある画素を位相差画素110zRとする。
図2は、画素アレイ部12に配置される複数のユニット11uの構成例を示す図である。画素アレイ部12は、複数のユニット11uが行列状に配置される。また、画素アレイ部12の端部には、参照画素110rが配置される参照画素ユニット166uが構成される。ユニット11uは、SPAD331乃至334で構成される測定画素110iと、SPAD335、336それぞれで構成される位相差画素110zとを有する。また、後述するように、SPAD335の入射領域の右半分に絞りWLのある画素を位相差画素110zLとし、SPAD336の入射領域の左半分に絞りWRのある画素を位相差画素110zRとする。
図3は、測定画素110iの構成例を示す回路図である。この測定画素110iは、クエンチ・検出回路310と、選択トランジスタ321乃至324と、SPAD331乃至334とを備える。クエンチ・検出回路310は、抵抗311およびインバータ312を備える。図3の配線例では、選択トランジスタ321乃至324として、例えば、pMOS(p-channelMetalOxideSemiconductor)トランジスタが用いられる。また、論理信号309-1~309-4が対応する選択トランジスタ21乃至324のゲートに制御部20から入力される。
SPAD(Single Photon Avalanche photodiode)331乃至334は、光子を光電変換してアバランシェ増倍し、電流を生成する。SPAD331乃至334のアノードには、負バイアスVRLDが印加される。SPAD331のカソードは、選択トランジスタ321のドレインに接続され、SPAD332のカソードは、選択トランジスタ322のドレインに接続される。また、SPAD333のカソードは、選択トランジスタ323のドレインに接続され、SPAD334のカソードは、選択トランジスタ324のドレインに接続される。
選択トランジスタ321乃至324のそれぞれのソースは、共通ノード319に共通に接続される。また、選択トランジスタ321乃至324のゲートには、選択線309-1乃至309-4を介して、制御部20からの選択信号XSEL1が入力される。選択信号XSEL1のタイミングを異ならせることで、SPAD331乃至334を個別の画素として駆動することも可能である。選択信号XSEL1がハイレベルとなり、選択トランジスタ321乃至324が導通状態である場合に、SPAD331乃至334の各電位VK_1乃至VK_4が共通ノード319に伝導される。
抵抗311は、所定の電源電圧VDDのノードと、共通ノード319との間に挿入される。インバータ312は、共通ノード319の電位に基づいてパルス信号TOUTを生成し、TDC(Time-to-Digital Converter)170に供給する。また、抵抗311は、アバランシェ増倍により所定の電位を越えた共通ノード319の電位を低下させ、アバランシェ増倍を抑制する。なお、本実施形態に係るTDC170が、第1変換部に対応する。
TDC170は、パルス信号TOUTに基づいて、受光タイミングをデジタル値に変換する。例えば、回路部13はクロック回路を有している。これにより、DC170は、クロック回路の情報を用いて、測定開始時を基準時点として、基準時点からパルス信号TOUTの入力時点の差分の時間をデジタル値に変換する。このTDC170は、デジタル値を制御部20に供給する。また、TDC170は、ユニット11u毎に構成することが可能である。なお、以下の説明でSPAD331乃至SPAD340を除く回路構成は回路部13内に構成される。
図4は、図3の左側に配置される位相差画素110zLの構成例を示す回路図である。この位相差画素110zLは、クエンチ・検出回路310と、選択トランジスタ325と、SPAD335とを備える。また、論理信号309-5が対応する選択トランジスタ325のゲートに入力される。
SPAD335のアノードには、負バイアスVRLDが印加される。SPAD335のカソードは、選択トランジスタ325のドレインに接続される。選択トランジスタ325のソースは、ノード319に接続される。また、選択トランジスタ325のゲートには、選択線309-5を介して、制御部20からの選択信号XSEL2が入力される。インバータ312は、ノード319の電位に基づいてパルス信号COUTを生成し、カウンタ172に供給する。なお、本実施形態に係るカウンタ172が第2変換部に対応する。
カウンタ172は、パルス信号COUTに基づいてSPAD335に入射する光子の個数を計数する。このカウンタ172は、パルス信号COUTのパルス数を、光子数に応じた値として計数し、その計数値を制御部20に供給する。このように、選択信号XSEL2がハイレベルとなり、選択トランジスタ325が導通状態である場合に、SPAD335の電位がノード319に伝導される。また、カウンタ172は、ユニット11u毎に構成することが可能である。
図5は、図3の右側に配置される位相差画素110zRの構成例を示す回路図である。この位相差画素110zRは、位相差画素110zLと同等の構成である。すなわち、位相差画素110zRは、クエンチ・検出回路310と、選択トランジスタ326と、SPAD336とを備える。また、論理信号309-6が対応する選択トランジスタ326のゲートに入力される。
SPAD336のアノードには、負バイアスVRLDが印加される。SPAD336のカソードは、選択トランジスタ326のドレインに接続される。選択トランジスタ326のソースは、ノード319に接続される。また、選択トランジスタ326のゲートには、選択線309-6を介して、制御部20からの選択信号XSEL3が入力される。インバータ312は、ノード319の電位に基づいてパルス信号COUTを生成し、カウンタ172に供給する。カウンタ172は、パルス信号COUTに基づいてSPAD336に入射する光子の個数を計数する。このカウンタ172は、パルス信号COUTのパルス数を、光子数に応じた値として計数し、その計数値を制御部20に供給する。このように、選択信号XSEL3がハイレベルとなり、選択トランジスタ326が導通状態である場合に、SPAD336の電位がノード319に伝導される。
図6は、参照画素ユニット166uの回路構成例を示す図である。参照画素110rも、測定画素110iと同等の構成である。すなわち、この参照画素110rは、クエンチ・検出回路310と、選択トランジスタ327乃至330と、SPAD337乃至340とを備える。クエンチ・検出回路310は、抵抗311およびインバータ312を備える。また、論理信号309-7~309-10が対応する選択トランジスタ327乃至330のゲートに入力される。
選択トランジスタ327乃至330のそれぞれのソースは、共通ノード319に共通に接続される。また、選択トランジスタ327乃至330のゲートには、選択線309-7乃至309-10を介して、制御部20からの選択信号XSEL0が入力される。選択信号XSEL0がハイレベルとなり、選択トランジスタ321乃至324が導通状態である場合に、SPAD337乃至340の各電位VK_1乃至VK_4が共通ノード319に伝導される。
図7は、画素アレイ部12に形成されるSPAD331、332、335、336の断面的な模式図である。SPAD331、332、335、336は、それぞれ位相差画素110zL、位相差画素110zR、及び測定画素110iを構成する4つの画素の内の2つに対応する(図2参照)。
SPAD331と、SPAD332とは同等の構成である。また、SPAD333、334も、SPAD331、332と同等の構成である。すなわち、測定画素110iを構成する4つの画素は同等の構成である。位相差画素110zL、及び位相差画素110zRは、それぞれ絞りWL、WRを有する点で測定画素110iaと相違する。絞りWL、WRは遮光部材で構成され、それぞれ対象物50からの入射光L1、L2を瞳分割する。なお、SPAD337乃至340も、SPAD331、332と同等の構成である。
図7に示すように、SPAD331は、オチップレンズ1110と、Nウェル1112と、拡散層1114と、メタル配線1116と、メタルパッド1118と、画素間分離部1120とを有する。なお、配線層の詳細な記載は省略している。なお、SPAD331乃至340の構成は一般的な構成を用いることが可能であり、図7の構成に限定されない。
オチップレンズ1110は、レンズ40を介して入射した光をNウェル1112内に集光する。Nウェル1112は、センサ基板の不純物濃度がn型に制御されることにより形成され、SPADにおける光電変換により発生する電子をアバランシェ増倍領域へ転送する電界を形成する。オチップレンズ1110は、例えば高屈折材料で構成してもよい。例えば、高屈折材料としてアモルファスシリコン、SiN等を用いることが可能である。高屈折材料で構成する場合には、赤外光による感度が向上し、位相差画素110zL、位相差画素110zR、及び測定画素110iのカウントレートが向上し、位相差画素110zL、及び位相差画素110zRの集光効率が向上する。
拡散層1114は、P型拡散層、N型拡散層、ホール蓄積層、ピニング層、および高濃度P型拡散層により構成される。例えば、このSPADでは、P型拡散層とN型拡散層とが接続する領域に形成される空乏層によって、アバランシェ増倍領域が形成される。
メタル配線1116は、例えばアバランシェ増倍領域を覆うように、拡散層1114よりも広く形成される。メタルパッド1118は、ロジック側配線層に形成されているメタルパッドと、それぞれを形成する金属(Cu)どうしにより電気的および機械的に接合するのに用いられる。画素間分離部1120は、隣接するSPADどうしの間に形成されるメタル膜および絶縁膜による二重構造によって、それぞれのSPADを絶縁して分離する。
<基板上の配置例>
図8は、基板11上に配置されるTDC170とカウンタ172の配置例を示す図である。TDC170は、画素アレイ部12の左端部に配置されるTDC170aと、画素アレイ部12の右端部に配置されるTDC170bとを有する。同様にカウンタ172は、画素アレイ部12の左端部に配置されるカウンタ172aと、画素アレイ部12の右端部に配置されるカウンタ172bとを有する。このように、回路部13は、例えば2つのTDC170と、2つのカウンタ172を有する。
図8は、基板11上に配置されるTDC170とカウンタ172の配置例を示す図である。TDC170は、画素アレイ部12の左端部に配置されるTDC170aと、画素アレイ部12の右端部に配置されるTDC170bとを有する。同様にカウンタ172は、画素アレイ部12の左端部に配置されるカウンタ172aと、画素アレイ部12の右端部に配置されるカウンタ172bとを有する。このように、回路部13は、例えば2つのTDC170と、2つのカウンタ172を有する。
TDC170aは、画素アレイ部12の左半分の複数のユニット11uに配線され、TDC170bは、画素アレイ部12の右半分の複数のユニット11uに配線される。同様に、カウンタ172aは、画素アレイ部12の左半分の複数のユニット11uに配線され、カウンタ172bは、画素アレイ部12の右半分の複数のユニット11uに配線される。これにより、配線量を短く構成することが可能となる。
<制御部の構成例>
図9は、制御部20の構成例を示すブロック図である。図9に示すように、制御部20は、発光制御部200と、駆動制御部202と、第1距離測定部204と、第2距離測定部206と、総合制御部208とを有する。また、第1距離測定部204は、ヒストグラム生成部204aと、処理部204bとを有する。
図9は、制御部20の構成例を示すブロック図である。図9に示すように、制御部20は、発光制御部200と、駆動制御部202と、第1距離測定部204と、第2距離測定部206と、総合制御部208とを有する。また、第1距離測定部204は、ヒストグラム生成部204aと、処理部204bとを有する。
発光制御部200は、発光制御信号を赤外光パルスレーザ14に供給することで、回折光学素子14aを介して形成されたドットパターンのパルス光の照射タイミングを制御する。ToF法では、発光制御信号の周波数は、例えば、20[MHz]である。なお、発光制御信号の周波数は、20[MHz]に限定するものではなく、5[MHz]等であってもよい。また、発光制御信号は、周期信号であれば、矩形波に限定されない。例えば、発光制御信号は、サイン波であってもよい。一方で、複数の位相差画素110zを用いた計測では、例えばToF法での計測前に、例えばパルス光を20[MHz]で数回照射する。なお、照射周期、及び期間は一例であり、これに限定されない。
図10は、ドットパターンのパルス光が、対象物50からの戻り光として、画素アレイ部12の受光面に到達した状態を模式的に示す図である。図10に示すように、ドットパターンのパルス光は、例えばユニット11u毎に分散してスポット光11sとして受光される。
駆動制御部202は、選択トランジスタ321乃至330(図3乃至5参照)の選択信号XSEL0乃至3、論理信号309-1~309-10などを生成し、各ユニット11u、ユニット116uの駆動を制御する。
第1距離測定部204は、ヒストグラム生成部204aと、処理部204bとを有する。ヒストグラム生成部204aは、TDC170により得られたデジタル値に基づいてヒストグラムを生成する。処理部204bは、ヒストグラム生成部204aが生成したヒストグラムに基づいて、様々な処理を行う。例えば、処理部204bは、FIR(Finite Impulse Response)フィルタ処理、エコー判定、デプス値(距離値)算出処理、ピーク検出処理などを行うことが可能である。処理部204bが生成した距離イメージ(デプス画像)は、インタフェースを介して出力される。
図11は、ユニット11uのTDC170の処理例を模式的に示す図である。上述のように、SPAD331乃至334は、TDC170に接続され、SPAD335、336は、カウンタ172にそれぞれ接続される。TDCヒスグラムの横軸は時間を示し、縦軸は頻度を示す。
SPAD331乃至334それぞれには、光子ph1乃至ph7が時系列に入射している例を模式的に示している。ユニット11uは、これの光子ph1乃至ph7に応じたパルス信号TOUTを生成する。そして、TDC170では、光子ph1乃至ph7に起因して時系列に生成されたパルス信号TOUTの入力タイミングと、基準時間t0との差分に比例するデジタル値を生成し、ヒストグラム生成部204aに供給する。
ヒストグラム生成部204aは、デジタル値が入力される度に、そのデジタル値に応じた時間区間の頻度に例えば1を加算する。パルス光が対象部50に繰り返し照射されることにより、対象部50までの距離に応じたデジタル値に対応する時間区間の頻度が増加する。
同様に、ユニット116uのSPAD337乃至340にも赤外光パルスレーザ14から光子pが時系列に導入される。ユニット116uは、これの光子に応じたパルス信号TOUTを生成する。そして、TDC170では、光子に起因して時系列に生成されたパルス信号TOUTの入力タイミングと、基準時間t0との差分に比例するデジタル値を生成し、ヒストグラム生成部204aに供給する。パルス光が繰り返し照射されることにより、パルス光の照射タイミングに応じたデジタル値に対応する時間区間の頻度が増加する。
処理部204bは、例えばヒストグラム生成部204aがユニット166uの参照画素110rに対して生成したヒストグラムの最大頻度に対応する時間を時間t1として生成する。時間t1は、パルス光の照射開始時間とほぼ同等の値となる。
一方で、処理部204bは、例えばヒストグラム生成部204aが複数の測定画素110iのそれぞれに対して生成したヒストグラムの最大頻度に対応する時間を例えば時間t2nとして生成する。nは、各ユニット11uを示す。これにより、処理部204bは、各ユニット11uで検出される対象物50までの距離Dnを(t2n-t1)×光速/2として生成する。
図12は、可視イメージ110aと測距イメージ110bを模式的に示す図である。測距イメージ110bの各濃度点Cpは、処理部204bで演算された距離Dnに対応させた濃度値を有する。このように、処理部204bは、各ユニット11uで計測されたパルス信号TOUTに基づく2次元状の距離値の分布を測距イメージ(デプス画像)110bとして生成することが可能である。例えば、この測距イメージ110bは、表示装置24に制御装置22を介して表示される。
図13は、本開示の実施形態に係る位相差検出を説明する図である。同図におけるAは、対象物50、レンズ40および画素アレイ部12の表面位置と入射光の光路との関係を表す図である。同図において、レンズ40の左側および右側を通過する光をそれぞれ301および302により表した。便宜上、光301および302はレンズ40の端部を通過する光だけを記載した。同図におけるAの左、中央および右の図は、それぞれ画素アレイ部12(の撮像面)にある場合(合焦の状態)、画素アレイ部12(の撮像面)とは反対の側にある場合(いわゆる後ピン状態)および画素アレイ部12の側にある場合(いわゆる前ピン状態)を表したものである。
これに対し、同図におけるBの中央および左の図の場合には、光画像303および304がずれた形状となる。この画像のずれが位相差を表す。同図におけるBの中央の図の後ピン状態の場合には光画像303および304がそれぞれ左および右にずれた画像となる。同図におけるBの左の図の後ピン状態の場合には光画像303および304が逆の方向にずれた画像となる。
図14は、画素アレイ部12の横一軸上の位相差画素110zL,zRの位置とカウンタ値を示す図である。横軸は、位相差画素110zLと、位相差画素110zRとの位置に対応する。縦軸は、カウンタ172のカウント値である。すなわち、信号値L20は、位相差画素110zLのパルス信号TOUTに基づいた光子の個数に対応する。一方で、信号値R20は、位相差画素110zRのパルス信号TOUTに基づいた光子の個数に対応する。
位相差は、信号値L20又は信号値R20を水平方向にシフトさせた時に、信号値L20と信号値R20の差分値の総和が最小となるシフト量に対応する。
再び図9に示すように、第2距離測定部206は、各ユニット11uのパルス信号TOUTに基づき、シフト量を演算する。そして、第2距離測定部206は、シフト量に基づき、対象物50までの距離を演算する。シフト量は、対象物50までの距離に対応するので、TOF法よりも精度は低下するが距離を測定可能となる。このように、本実施形態では、SPAD335、336を用いることにより、光子レベルの光量を用いて、対象物50までの距離を測定可能となる。
第2距離測定部206は、信号値L20と信号値R20の差分値の総和が最小となるシフト量を演算するため、第2距離測定部206は、ノイズを含む環境光や、意図的な妨害光に対する影響がTOF法よりも抑制される。
図15は、妨害光の例を模式的に示す図である。A図が未攻撃の状態を模式的に示し、B図が意図的な妨害光を受けている攻撃時を模式的に示す図である。攻撃回路1000は、パルス光と同等の波長帯域のパルス光を対象物50に出射する。
図16は、図15の未攻撃時の参照画素110rのヒストグラムと測定画素110iのヒストグラム例を示す図である。A図は、ヒストグラム生成部204aが参照画素110rの出力信号に基づき生成したヒストグラムを示し、B図は、ヒストグラム生成部204aが測定画素110iの出力信号に基づき生成したヒストグラムを示す。参照画素のヒストグラムのピーク時点と、測定画素のヒストグラムのピーク時点の差分の時間が対象物50までの真の距離Rに対応する。
図17は、図15の攻撃時の参照画素110rのヒストグラムと測定画素110iのヒストグラムを示す図である。A図は、ヒストグラム生成部204aが参照画素110rの出力信号に基づき生成したヒストグラムを示し、B図は、ヒストグラム生成部204aが測定画素110iの出力信号に基づき生成したヒストグラムを示す。測定画素のヒストグラムには、妨害光に起因するパルス信号DOUTが含まれてしまい、測定画素のヒストグラムのピークがずれてしまっている。参照画素のヒストグラムのピーク時点と、測定画素のヒストグラムのピーク時点の差分の時間が偽対象物50fまでの距離Rfに対応してしまう。
このように、TOF法では、光子の入射タイミングをデジタル値に変換するため、攻撃回路1000のパルス光の入射タイミングにより誤信号を生成してしまい、対象物50の位置を、例えば対象物50fの位置に誤測定してしまう。これから分かるように、TOF法での測定精度は、位相差法による測定精度よりも高いが、攻撃光又は環境光による影響が受けやすくなってしまう。
図18は、妨害光を受けたときの画素アレイ部12の横一軸上の位相差画素110zL,zRの位置とカウンタ値を示す図である。横軸は、位相差画素110zLと、位相差画素110zRとの位置に対応する。縦軸は、カウンタ172のカウント値である。すなわち、信号値L20aは、位相差画素110zLのパルス信号TOUTに基づいた光子の個数に対応する。一方で、信号値R20aは、位相差画素110zRのパルス信号TOUTに基づいた光子の個数に対応する。位相差は、信号値L20a又は信号値R20aを水平方向にシフトさせた時に、信号値L20aと信号値R20aの差分値の総和が最小となるシフト量に対応する。
このように、妨害光を受けても、位相差画素110zLと、位相差画素110zRとのカウンタ値は、妨害光に起因する光子によるカウント値がオフセットとして増加するだけである。このため、妨害光を受けてもシフト量への影響は抑制される。このように、位相差画素110zLと、位相差画素110zRとを用いる位相差法では、攻撃回路1000のパルス光が対象物50に照射されても、信号値L20aと信号値R20aとが同程度増加するだけであるので、シフト量への影響は抑制され、攻撃回路1000のパルス光、及び環境光の影響が抑制される。
<制御装置の制御例>
図19は、総合制御部208の制御例を示すタイミングチャートである。横軸は時間を示す。A図の縦軸は、総合制御部208の制御にしたがって、発光制御部200が生成する発光制御信号、駆動制御部202が生成する選択信号XSEL2、選択信号XSEL3、選択信号XSEL0、選択信号XSEL1を示す。これらの信号は、ハイレベルが駆動状態をしめす。
図19は、総合制御部208の制御例を示すタイミングチャートである。横軸は時間を示す。A図の縦軸は、総合制御部208の制御にしたがって、発光制御部200が生成する発光制御信号、駆動制御部202が生成する選択信号XSEL2、選択信号XSEL3、選択信号XSEL0、選択信号XSEL1を示す。これらの信号は、ハイレベルが駆動状態をしめす。
B図は、画素アレイ部12に入射する光子を模式的に示している。すなわち、攻撃光、或いは環境光により生じる光子と、2回目の測定光により生じる光子を模式的に示している。
図20は、総合制御部208の制御例を示すフローチャートである。図19を参照にしつつ総合制御部208の制御例を説明する。
図19に示すように総合制御部208は、位相差信号の測定用に発光制御信号を一回目のハイレベル信号にし、赤外光パルスレーザ14に測定パルス光を発光させる(ステップS100)。
続けて、総合制御部208は、1回目の測定パルスを発光するタイミングに応じて、位相差画素110zLと、位相差画素110zRを駆動する選択信号XSEL2、及び選択信号XSEL3をハイレベルにし、位相差画素110zLと、位相差画素110zRを駆動し、位相差信号を測定する(ステップS102)。選択信号XSEL2、及び選択信号XSEL3をハイレベルにする第1測定期間の範囲は、対象物50までの予め定められている測定距離範囲に応じて設定することが可能である。
次に、第2距離測定部206は、ユニット11u毎の位相差画素110zL、zRのパルス信号COUTに基づき、シフト量を演算し、対象物50までの各第1距離を生成する(ステップS104)。上述のように、位相差法による距離値は、攻撃光、環境光などの影響を抑制した状態で生成される。
次に、総合制御部208は、第2距離測定部206が生成した第1距離に基づき、2回目の発光制御信号をハイレベルにする期間、及び選択信号XSEL0をハイレベルにする期間を制御する。これにより、2回目の測定パルスが発光する(ステップS106)。
そして、総合制御部208は、2回目の測定パルスが発光するタイミングに応じて、参照画素110rを駆動する選択信号XSEL0をハイレベルにし、参照光の信号を測定する(ステップS108)。同様に、合制御部208は、2回目の測定パルスが発光するタイミングに応じて、測定画素110iを駆動する選択信号XSEL1をハイレベルにし、測定光の信号を測定する(ステップS110)。このように、総合制御部208は、対象物50から反射して戻ってる光子の測定時間の範囲を位相差法による第1距離値に対応する第2測定期間に設定する。
次に、第1距離測定部204のヒストグラム生成部204aは、選択信号XSEL0がハイレベルの期間に、デジタル値が入力される度に、そのデジタル値に応じた時間区間の頻度に例えば1を加算し、参照画素110r出力に応じたヒストグラムを生成する。処理部204bは、例えばヒストグラム生成部204aが参照画素110rに対して生成したヒストグラムの最大頻度に対応する時間を時間t1として生成する。
同様に、第2距離測定部206のヒストグラム生成部204aは、選択信号XSEL1がハイレベルの期間に、デジタル値が入力される度に、そのデジタル値に応じた時間区間の頻度に例えば1を加算し、複数の測定画素110iのそれぞれに対応するヒストグラムを生成する。そして、処理部204bは、ヒストグラム生成部204aが複数の測定画素110iのそれぞれに対して生成したヒストグラムの最大頻度に対応する時間を例えば時間t2nとして生成する。これにより、処理部204bは、各ユニット11uで検出される対象物50までの距離Dnを(t2n-t1)×光速/2として生成する(ステップS112)。
上述のように、総合制御部208は、対象物50から反射して戻ってる光子の第2測定期間を位相差法による第1距離値に対応させて設定する。図19のB図に示すように、測定画素110iが駆動される第2測定期間にも、攻撃光又は環境光に起因する光子も画素アレイ部12に入射する。しかしながら、測定期間に入射する攻撃光は、例えば第2測定期間外に高密度に入射され、環境光により光子は、ランダムに入射される。
一方で、第2測定期間に入射する測定光に起因する光子は、対象物50の位置に対応する時間を中心として光子の密度が増加する。このため、ヒストグラム生成部204aが生成するヒストグラムのピークは、測定光に起因する光子の影響が支配的になる。このように、位相差法による第1距離値に対応する第2測定期間を設定することにより、TOF法での測定精度の低下を抑制できる。これらから分かるように、攻撃光などが無い場合の測定精度は位相法よりもTOF法の測定精度がより高いので、攻撃光がある場合でも、位相法よりも高い測定精度の測定距離値を得ることが可能となる。
以上説明したように、本実施形態に係る測距システム1は、総合制御部208が、対象物50から反射して戻ってくる光子の第2測定期間を位相差法による第1距離値に対応させて設定することとした。これにより、攻撃光又は環境光による影響が抑制される第1距離値により第2測定期間が設定されるので、TOF法での第2測定期間外の攻撃光又は環境光による影響が抑制され、攻撃光などがある場合でのTOF法による距離測定の低下が抑制される。
(第1実施形態の変形例1)
第1実施形態の変形例1に係る測距システム1は、画素アレイ部12に形成されるSPAD331、332、335、336において、反射防止部(モスアイ)1122を設けた点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第1実施形態の変形例1に係る測距システム1は、画素アレイ部12に形成されるSPAD331、332、335、336において、反射防止部(モスアイ)1122を設けた点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
図21Aは、SPADの断面を簡略化した模式図である。図21Aに示すように、Nウェル1112では、可視光はほとんど吸収される。一方で、赤外光の約半分は、反射されてしまう。そこで、本実施形態に係るSPADでは、反射防止部(モスアイ)1122を設けることとした。
図21Bは、反射防止部(モスアイ)1122を設けたSPAD331、332、335、336の断面を示す模式図である。図21に示すように、第1実施形態の変形例1に係るSPAD331、332、335、336では、光が入射する側の表面(板面)に、微細な突起による反射防止構造、いわゆるモスアイ構造を有する。反射防止部1122は、反射防止に加え、回折により実効光路長を長くする。このように、光電変換素子側の表面に所定のピッチで配列される凹凸構造部である反射防止部(モスアイ)1122を構成する。なお、SPAD333、334もSPAD331、332、と同様の構成である。
以上説明したように、本実施形態によれば、SPAD331、332、335、336に入った光を反射防止部(モスアイ)1122により、Nウェル1112と内で往復させ、SPAD331、332、335、336の感度を向上させることができる。
(第1実施形態の変形例2)
第1実施形態の変形例2に係る測距システム1は、画素アレイ部12に形成されるSPAD331、332、335、336において、拡散層1114の位置をオンチップレンズ1110、及び絞りWL、WRのいずれかの位置に応じて変更する点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第1実施形態の変形例2に係る測距システム1は、画素アレイ部12に形成されるSPAD331、332、335、336において、拡散層1114の位置をオンチップレンズ1110、及び絞りWL、WRのいずれかの位置に応じて変更する点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
図22は、拡散層1114の位置をオンチップレンズ1110、及び絞りWL、WRのいずれかの位置に応じて変更したSPAD331、332、335、336の断面を示す模式図である。図22に示すように、SPAD335では、絞りWLの無い側に、拡散層1114を配置することにより、より感度を上げることが可能である。同様に、SPAD336では、絞りWRの無い側に、拡散層1114を配置することにより、より感度を上げることが可能である。
各SPAD331、332は、画素アレイ部12上での配置位置と、レンズ40の光軸との関係で焦点位置が配置位置に応じて変動する。このため、本変形例に係るSPAD331、332は、オンチップレンズ1110の焦点位置に合わせて、拡散層1114を配置している。すなわち、拡散層1114をンチップレンズ1110の主光軸の位置に合わせて配置する。これにより、所謂瞳補正の効果を有することとなり、SPAD331、332の感度を上げることが可能である。なお、SPAD333、334、もSPAD331、332、と同様の構成である。
(第1実施形態の変形例3)
第1実施形態の変形例3に係る測距システム1は、画素アレイ部12に形成される回路部13を2層に積層化した点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第1実施形態の変形例3に係る測距システム1は、画素アレイ部12に形成される回路部13を2層に積層化した点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
図23は、画素アレイ部12の構成例を示す模式図である。図23に示すように、第1基板11aには画素アレイ部12が構成され、第2基板11bには各画素110r、110i、110zR、110zLのインバータ312と、TDC170a、bと、カウンタ172a、bと、を配置する。これにより、受光装置10の上面面積を縮小可能となり、受光装置10をより小型化可能となる。
(第1実施形態の変形例4)
第1実施形態の変形例4に係る測距システム1は、画素アレイ部12に形成される回路部13を3層に積層化した点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第1実施形態の変形例4に係る測距システム1は、画素アレイ部12に形成される回路部13を3層に積層化した点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
図24は、第1実施形態の変形例4に係る画素アレイ部12の構成例を示す模式図である。図24に示すように、第1基板11cには画素アレイ部12が構成され、第2基板11dには各画素110r、110i、110zR、110zLのインバータ312が構成され、第3基板11eには、TDC170と、カウンタ172と、を配置する。また、画素アレイ部12の各ユニット11uに対応するTDC170を、各ユニット11uの直下に配置する。同様に、画素アレイ部12の各ユニット11uに対応するカウンタ172を、各ユニット11uの直下に配置する。これにより、受光装置10の配線距離を更に短縮できると共に、上面面積を更に縮小可能となり、受光装置10をより小型化可能となる。
(第2実施形態)
第2実施形態に係る測距システム1は、第2距離測定部206が生成した位相差法による第1距離値に基づき、TOF法の測定に用いる測定光の光量を更に変更可能である点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第2実施形態に係る測距システム1は、第2距離測定部206が生成した位相差法による第1距離値に基づき、TOF法の測定に用いる測定光の光量を更に変更可能である点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
図25は、位相差法による距離値に応じて光量を変更する例を模式的に示す図である。図25のA図は、近距離の例であり、B図は、A図よりも距離の遠い遠距離の例である。
図26は、第2実施形態に係る総合制御部208の制御例を示すフローチャートである。図20で示した第2実施形態に係る総合制御部208の制御例を示すフローチャートと、ステップS200において赤外光パルスレーザ14の光量を設定する点で相違する。
すなわち、総合制御部208は、ステップS200において、第2距離測定部206が生成した位相差法による第1距離値に応じて、外光パルスレーザ14の光量を設定する。総合制御部208は、例えば距離値と光量を対応させたテーブルを記憶しており、そのテーブルを参照して光量を設定する。
以上説明したように本実施形態によれば、総合制御部208は、対象物50から反射して戻ってる光子の第2測定期間、及びパルスレーザ14の光量を位相差法による第1距離値に対応させて設定することとした。これにより、攻撃光又は環境光による影響が抑制される第1距離値により第2測定期間が設定されるとともに、対象物50から反射して戻ってる光子の量の距離変動を抑制できるので、TOF法での測定精度の低下がより抑制される。
(第3実施形態)
第1実施形態の測距システム1に係る位相差画素110zL、110zRは、出力値をカウンタ172でカウント値として生成していたのに対し、第3実施形態に係る測距システム1に係る位相差画素110zL、110zRは、出力値をTDC170に出力し、TDC170を用いてカウント値を生成する点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第1実施形態の測距システム1に係る位相差画素110zL、110zRは、出力値をカウンタ172でカウント値として生成していたのに対し、第3実施形態に係る測距システム1に係る位相差画素110zL、110zRは、出力値をTDC170に出力し、TDC170を用いてカウント値を生成する点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
図27は、第3実施形態に係る制御部20の構成例を示すブロック図である。図27に示すように、第3実施形態に係る制御部20は、第3距離測定部210を更に有する。第3距離測定部210は、ヒストグラム生成部210aと処理部210bとを有する。第3距離測定部210の処理の詳細は後述する。
図28は、第3実施形態に係るユニット11uの処理例を模式的に示す図である。上述のように、SPAD331乃至334(図3参照)は、TDC170に接続され、第3実施形態に係るSPAD335、336は、TDC170にそれぞれ接続される点で、第1実施形態に係るSPAD335、336と相違する。
SPAD335、336それぞれには、光子ph8乃至ph11が時系列に入射している例を模式的に示している。ユニット11uのSPAD335を有する位相差画素110zL、SPAD336を有する位相差画素110zRそれぞれは、これらの光子ph8乃至ph10に応じたパルス信号TOUTを生成する。そして、SPAD335に対応するTDC170では、光子ph8乃至ph9に起因して時系列に生成されたパルス信号TOUTの入力タイミングと、基準時間t0との差分に比例するデジタル値を生成し、ヒストグラム生成部210aに供給する。同様に、PAD336に対応するTDC170では、光子ph10乃至ph11に起因して時系列に生成されたパルス信号TOUTの入力タイミングと、基準時間t0との差分に比例するデジタル値を生成し、ヒストグラム生成部210aに供給する。
ヒストグラム生成部210aは、デジタル値が入力される度に、そのデジタル値に応じた時間区間の頻度に例えば1を加算する。パルス光が対象部50に繰り返し照射されることにより、対象部50までの距離に応じたデジタル値に対応する時間区間の頻度が増加する。
図29は、ヒストグラム生成部210aが生成した位相差画素110zL、110zRそれぞれの出力に対応するヒストグラムを示す図である。図Aが位相差画素110zLに対応するヒストグラムであり、図Bが位相差画素110zRに対応するヒストグラムである。
処理部210bは、例えばヒストグラム生成部210aが生成したヒストグラムを積算した積算値をカウンタ値として生成する。つまり、積算値は、位相差画素110zL、110zRそれぞれに到達した光子の数に比例する。換言すると、処理部210bは、TDC170が生成するパルス信号TOUTの数を積算して、カウンタ値として生成している。
この処理部210bは、図14に示したように、列状に配置された各位相差画素110zL、110zRそれぞれに対応するカウンタ値に基づき、シフト量を演算する。そして、処理部210bは、シフト量に基づき、対象物50までの距離を演算する。シフト量は、対象物50までの距離に対応するので、TOF法よりも精度は低下するが、攻撃光、環境光の影響を抑制しつつ距離を測定可能となる。
以上説明したように本実施形態によれば、SPAD335、336をTDC170にそれぞれ接続し、第3距離測定部210は、TDC170が生成するパルス信号TOUTの数を積算することによりカウンタ値を生成し、距離値を演算することとした。これにより、第1実施形態乃至第2実施形態の測距システム1と同等の効果に加え、カウンタ172を用いずにTDC170により同等の処理効果を得ることが可能となる。このため、TDC170のみで測距システム1を構成可能となる。
(第4実施形態)
第1実施形態の測距システム1は、位相差画素110zL、110zRによる距離測定をした後に測定画素110iによる距離測定をしていたのに対し、第4実施形態に係る測距システム1では、ユニットU11毎の位相差画素110zL、110zR、及び測定画素110iによる距離測定を並行して行う点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第1実施形態の測距システム1は、位相差画素110zL、110zRによる距離測定をした後に測定画素110iによる距離測定をしていたのに対し、第4実施形態に係る測距システム1では、ユニットU11毎の位相差画素110zL、110zR、及び測定画素110iによる距離測定を並行して行う点で、第1実施形態に係る測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
図30は、第4実施形態に係る位相差検出を説明する図である。同図におけるAは、対象物50、レンズ40および画素アレイ部12の表面位置と入射光の光路との関係を表す図である。同図において、レンズ40の左側および右側を通過する光をそれぞれ301および302により表した。便宜上、光301および302はレンズ40の端部を通過する光だけを記載した。オンチップレンズ1110(図7参照)により、光301は実際にはオンチップレンズ1110右側を通過し、光302は実際にはオンチップレンズ1110左側を通過する。このため、遮蔽部WRの位置を図7とは反対側に模式的に記載している。
同図の-(マイナス)位置は、焦点位置が画素アレイ部12(の撮像面)とは反対の側にある、いわゆる後ピン状態を示す。また、同図の0位置は、合焦の状態を示す。さらにまた、同図の+(プラス)位置は、焦点位置が画素アレイ部12(の撮像面)側にある、いわゆる前ピン状態を示す。
図31は、対となるの位相差画素110zL、110zRの焦点位置と、出力値の関係を示す図である。横軸は、焦点位置を0、-位置を後ピン状態、+位置を前ピン状態とする。
また、位相差画素110zLの出力値をL20aとし、位相差画素110zRの出力値をR20aとする。すなわち、出力値L20aは、位相差画素110zLに対応するカウンタ172のカウント値である。同様に、出力値R20aは、位相差画素110zRに対応するカウンタ172のカウント値である。図31に示すように、L20aとR20aとの値は、後ピン状態、及び前ピン状態の度合により変化する。
再び図9に示すように、第2距離測定部206は、各ユニット11uの位相差画素110zLの出力値をL20aとし、位相差画素110zRの出力値をR20aとし、出力値L20a、R20aに基づき、差分値D20を演算する。そして、第2距離測定部206は、差分値D20に基づき、対象物50までの距離をユニット11毎に演算する。差分値D20は、対象物50までの距離に対応するので、TOF法よりも精度は低下するが距離を測定可能となる。このように、本実施形態では、ASPAD335、336を用いることにより、光子レベルの光量を用いて、対象物50までの距離を各ユニット11u毎に測定可能となる。
図32は、妨害光を受けたときの位相差画素110zL、110zRの焦点位置と、出力値の関係を示す図である。横軸は、焦点位置を0、-位置を後ピン状態、+位置を前ピン状態とする。
また、位相差画素110zLの出力値をL20aとし、位相差画素110zRの出力値をR20aとする。すなわち、出力値L20aは、位相差画素110zLに対応するカウンタ172のカウント値である。同様に、出力値R20aは、位相差画素110zRに対応するカウンタ172のカウント値である。
一方で、妨害光を受けても、位相差画素110zLと、位相差画素110zRとのカウンタ値は、妨害光に起因する光子数に起因するオフセットが増加するだけである。このため、妨害光を受けても差分値D20への影響は抑制される。このように、位相差画素110zLと、位相差画素110zRとを用いる位相差法では、攻撃回路1000のパルス光が対象物50に照射されても、信号値L20aと信号値R20aとが同程度増加するだけであるので、攻撃回路1000のパルス光、環境光などの影響が抑制される。
図33は、第4実施形態に係る総合制御部208の制御例を示すタイミングチャートである。横軸は時間を示す。A図の縦軸は、総合制御部208の制御にしたがって、発光制御部200が生成する発光制御信号、駆動制御部202が生成する選択信号XSEL2、選択信号XSEL3、選択信号XSEL0、選択信号XSEL1を示す。これらの信号は、ハイレベルが駆動状態をしめす。
B図は、画素アレイ部12に入射する光子を模式的に示している。すなわち、攻撃光、或いは環境光により生じる光子と、2回目の測定光により生じる光子を模式的に示している。
図34は、第4実施形態に係る総合制御部208の制御例を示すフローチャートである。図33を参照にしつつ第4実施形態に係る総合制御部208の制御例を説明する。
図33に示すように総合制御部208は、発光制御信号をハイレベル信号にし、赤外光パルスレーザ14に測定パルス光を発光させる(ステップS300)。
(位相画素側の駆動)
続けて、総合制御部208は、測定パルスを発光するタイミングに応じて、位相差画素110zLと、位相差画素110zRを駆動する選択信号XSEL2、及び選択信号XSEL3をハイレベルにし、位相差画素110zLと、位相差画素110zRを駆動し、位相差信号をユニットu毎に測定する(ステップS302)。選択信号XSEL2、及び選択信号XSEL3をハイレベルにする範囲は、対象物50までの予め定められている測定距離範囲に応じて設定することが可能である。
続けて、総合制御部208は、測定パルスを発光するタイミングに応じて、位相差画素110zLと、位相差画素110zRを駆動する選択信号XSEL2、及び選択信号XSEL3をハイレベルにし、位相差画素110zLと、位相差画素110zRを駆動し、位相差信号をユニットu毎に測定する(ステップS302)。選択信号XSEL2、及び選択信号XSEL3をハイレベルにする範囲は、対象物50までの予め定められている測定距離範囲に応じて設定することが可能である。
次に、第2距離測定部206は、各ユニット11uのパルス信号COUTに基づき、ユニット11u毎に差分値D20を演算し、対象物50までのユニット11u毎の第1距離値を生成する(ステップS304)。上述のように、距離値は、攻撃光などの影響を抑制した状態で生成される。
(測定画素側の駆動)
総合制御部208は、測定パルスが発光するタイミングに応じて、参照画素110rを駆動する選択信号XSEL0をハイレベルにし、参照光の信号を測定する(ステップS306)。続けて、第1距離測定部204のヒストグラム生成部204aは、選択信号XSEL0がハイレベルの期間に、デジタル値が入力される度に、そのデジタル値に応じた時間区間の頻度に例えば1を加算し、参照画素110r出力に応じたヒストグラムを生成する。処理部204bは、例えばヒストグラム生成部204aが参照画素110rに対して生成したヒストグラムの最大頻度に対応する時間を時間t1として生成する。
総合制御部208は、測定パルスが発光するタイミングに応じて、参照画素110rを駆動する選択信号XSEL0をハイレベルにし、参照光の信号を測定する(ステップS306)。続けて、第1距離測定部204のヒストグラム生成部204aは、選択信号XSEL0がハイレベルの期間に、デジタル値が入力される度に、そのデジタル値に応じた時間区間の頻度に例えば1を加算し、参照画素110r出力に応じたヒストグラムを生成する。処理部204bは、例えばヒストグラム生成部204aが参照画素110rに対して生成したヒストグラムの最大頻度に対応する時間を時間t1として生成する。
同様に、総合制御部208は、測定パルスが発光するタイミングに応じて、各測定画素110iを駆動する選択信号XSEL1をハイレベルにし、測定光の信号を測定する(ステップS308)。続けて、第1距離測定部204のヒストグラム生成部204aは、選択信号XSEL1がハイレベルの期間に、デジタル値が入力される度に、そのデジタル値に応じた時間区間の頻度に例えば1を加算し、複数の測定画素110iのそれぞれに対応するヒストグラムを生成する。そして、処理部204bは、ヒストグラム生成部204aが複数の測定画素110iのそれぞれに対して生成したヒストグラムの最大頻度に対応する時間を例えば時間t2nとして生成する。これにより、処理部204bは、各ユニット11uで検出される対象物50までの距離Dnを(t2n-t1)×光速/2として生成する(ステップS310)。
上述のように、位相差画素110zL、110zRの距離測定値は、測定精度が測定画素110iよりも低くなるが、攻撃光、及び環境光の影響が抑制される。一方で。測定画素110iの距離測定値は、測定精度が位相差画素110zL、110zRの距離測定値よりも高く、攻撃光、及び環境光の影響を受けやすい傾向を有する。
そこで、総合制御部208は、ユニット11u毎の測定画素110iの距離測定値が位相差画素110zL、110zRの距離測定値の所定の範囲内であれば、測定画素110iの距離測定値を選択する。一方で、測定画素110iの距離測定値が位相差画素110zL、110zRの距離測定値が所定の範囲内でない場合には、位相差画素110zL、110zRの距離測定値を選択する(ステップS312)。例えば、所定値の範囲を測位相差画素110zL、110zRの距離測定値の90パーセント以上110パーセントの範囲とする。
以上説明したように、本実施形態によれば、ユニットu11毎の位相差画素110zL、110zR、及び係る測定画素110iによる距離測定を並行して行い、ユニットu11毎の第1距離値に基づく第2距離値の値に応じて、妨害光などを受けている場合には、位相差画素110zL、110zRの第1距離値を選択し、妨害光などを受けていない場合には、測定画素110iの第2距離値を選択することとした。これにより、測定時間を短縮できると共に、妨害光などを受けている場合には位相差画素110zL、110zRによる距離測定値を選択することにより、妨害光の影響が抑制され、妨害光などを受けていない場合には、測定画素110iの距離測定値を選択することにより、より高精度な距離測定値を生成可能となる。
(第5実施形態)
第4実施形態に係る測距システム1では、ユニットU11毎の位相差画素110zL、110zR、及び測定画素110iによる距離測定を並行して行っていたのに対し、第5実施形態に係る測距システム1は、ユニットU11毎に位相差画素110zL、110zRによる距離測定をした後にユニットU11毎の測定画素110iによる距離測定を行う点で、第4実施形態に係る測距システム1と相違する。以下では第5実施形態の測距システム1と相違する点を説明する。
第4実施形態に係る測距システム1では、ユニットU11毎の位相差画素110zL、110zR、及び測定画素110iによる距離測定を並行して行っていたのに対し、第5実施形態に係る測距システム1は、ユニットU11毎に位相差画素110zL、110zRによる距離測定をした後にユニットU11毎の測定画素110iによる距離測定を行う点で、第4実施形態に係る測距システム1と相違する。以下では第5実施形態の測距システム1と相違する点を説明する。
図35は、第5実施形態に係る総合制御部208の制御例を示すフローチャートである。図35に示すように総合制御部208は、(ステップS300)~(ステップS304)を図34と同様に行う。
続けて、総合制御部208は、2回目の発光制御信号をハイレベルにする期間、選択信号XSEL0を設定し、ユニット11u毎の第1距離値に応じてユニット11u毎の選択信号XSEL1をハイレベルにする第2測定期間を設定する(ステップS400)。
次に、総合制御部208は、2回目の測定パルスが発光するタイミングに応じて、参照画素110rを駆動する選択信号XSEL0をハイレベルにし、参照光の信号を測定する(ステップS404)。続けて、第1距離測定部204のヒストグラム生成部204aは、選択信号XSEL0がハイレベルの期間に、デジタル値が入力される度に、そのデジタル値に応じた時間区間の頻度に例えば1を加算し、参照画素110r出力に応じたヒストグラムを生成する。処理部204bは、例えばヒストグラム生成部204aが参照画素110rに対して生成したヒストグラムの最大頻度に対応する時間を時間t1として生成する。
次に、総合制御部208は、2回目の測定パルスが発光するタイミングに応じて、各測定画素110iを駆動する選択信号XSEL1を、測定画素110i毎の第2測定期間に応じてハイレベルにし、測定光の信号を測定する(ステップS406)。このように、総合制御部208は、対象物50から反射して戻ってる光子の測定時間の範囲をユニット11u毎に、位相差法によるユニット11u毎の第1距離値に対応する第2測定期間に設定する。
次に、第1距離測定部204のヒストグラム生成部204aは、選択信号XSEL0がハイレベルの期間に、デジタル値が入力される度に、そのデジタル値に応じた時間区間の頻度に例えば1を加算し、参照画素110r出力に応じたユニット11u毎のヒストグラムを生成する。処理部204bは、例えばヒストグラム生成部204aが参照画素110rに対して生成したヒストグラム毎の最大頻度に対応する時間を時間t1として生成する。
そして、処理部204bは、ヒストグラム生成部204aが複数の測定画素110iのそれぞれに対して生成したヒストグラムの最大頻度に対応する時間を例えば時間t2nとして生成する。これにより、処理部204bは、各ユニット11uで検出される対象物50までの距離Dnを(t2n-t1)×光速/2として生成する(ステップS408)。
以上説明したように、本実施形態に係る測距システム1は、総合制御部208が、対象物50から反射して戻ってくる光子の測定期間を位相差法により測定されたユニット11u毎の第1距離値に対応させて、ユニット11u毎に設定することとした。これにより、攻撃光又は環境光による影響が抑制されるユニット11u毎の第1距離値により、ユニット11u毎の第2測定期間が設定されるので、TOF法での第2測定期間外の攻撃光又は環境光による影響が抑制され、ユニット11u毎のTOF法での測定精度の低下が抑制される。
(第6実施形態)
第6実施形態に係る測距システム1では位相差画素110zL、110zR用の赤外光パルスレーザ16を、更に備える点で第1実施形態の測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第6実施形態に係る測距システム1では位相差画素110zL、110zR用の赤外光パルスレーザ16を、更に備える点で第1実施形態の測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
図36は、第6実施形態に係る測距システム1の概略構成例を模式的に示すブロック図である。図36に示すように、第6実施形態に係る測距システム1は、位相差画素110zL、110zR用の赤外光パルスレーザ16と回折光学素子16a(DOE)とを更に備える点で第1実施形態に係る測距システム1と相違する。
赤外光パルスレーザ16は、基板11に搭載される。赤外光パルスレーザ16は、例えば、VCSEL(Vertical Cavity Surface Emitting LASER)光源を用いて形成されている。また、赤外光パルスレーザ16の照射側に回折光学素子16a(DOE)を配置することにより、例えば100点の行列状に配置されるスポット光のドットパターンを、対象物50に照射可能である。
以上説明したように、本実施形態によれば、位相差画素110zL、110zR用の赤外光パルスレーザ16を更に備えることとした。これにより、位相差画素110zL、110zR用の計測と、測定画素110i用の計測を独立した光源により行うことが可能となる。
(第7実施形態)
第7実施形態に係る測距システム1では位相差画素110zL、110zRと、参照画素110r、及び測定画素110iとを異なるチップとして構成する点で第1実施形態の測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第7実施形態に係る測距システム1では位相差画素110zL、110zRと、参照画素110r、及び測定画素110iとを異なるチップとして構成する点で第1実施形態の測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
図37Aは、第7実施形態に係る測距システム1の概略構成例を模式的に示すブロック図である。図37に示すように、第7実施形態に係る測距システム1は、位相差画素110zL、110zRと、参照画素110r、及び測定画素110iとを異なるチップとして構成する。
図37Bは、比較例に係る測距システム1の概略構成例を模式的に示すブロック図である。図37Bに示すように、比較例に係る測距システム1は、位相差画素110zL、110zRのチップが、参照画素110rのチップ、と赤外光パルスレーザ14の間に配置されている。このため、比較例では、赤外光パルスレーザ14からの迷光が位相差画素110zL、110zRのチップに入射しやすくなってしまう。これに対して本実施形態に係る画素アレイ部12は、参照画素110rのチップと、位相差画素110zL、110zRのチップとの間に赤外光パルスレーザ14が配置されるので、迷光が抑制される。
以上説明したように、本実施形態によれば、位相差画素110zL、110zRと、参照画素110r、及び測定画素110iとを異なるチップとして構成することとした。これにより、位相差画素110zL、110zRと、参照画素110r、及び測定画素110iとの回路構成を異ならすことが容易となり、設計の自由度がより向上する。
(第8実施形態)
第8実施形態に係る測距システム1では位相差画素110zL、110zR、及び参照画素110rをそれぞれを一つのSPAD毎に構成する点で、第1実施形態の測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第8実施形態に係る測距システム1では位相差画素110zL、110zR、及び参照画素110rをそれぞれを一つのSPAD毎に構成する点で、第1実施形態の測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
図38は、第8実施形態に係る画素アレイ部12に配置される複数の位相差画素110zL、110zR、及び複数の測定画素110iの構成例を示す図である。図38に示すように、複数の位相差画素110zL、110zR、及び複数の参照測定画素110iのそれぞれは、一つのSPADで構成される。位相差画素110zL、110zRの中間部には絞りWL、WRが構成される。
これにより、参照測定画素110iの解像度をより上げることが可能となる。
(第9実施形態)
第9実施形態に係る測距システム1では位相差画素110zL、110zRを一つのチップで構成し、測定画素110iを別の一つのチップで構成する点で、第1実施形態の測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第9実施形態に係る測距システム1では位相差画素110zL、110zRを一つのチップで構成し、測定画素110iを別の一つのチップで構成する点で、第1実施形態の測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
図39乃至図41は、画素アレイ部12に配置に配置されるチップ110zch、及びチップ110ichと、赤外光パルスレーザ14との位置関係を模式的に示す図である。半導体素子のチップ110zchには、位相差画素110zL、110zRが構成され、半導体素子のチップ110ichには測定画素110iが配置される。なお、各チップを円形で模式的に示すが、各チップ内の画素は、方形の行列状に配置される。
図39は、チップ110zchとチップ110ichとを縦長に配置し、赤外光パルスレーザ14をチップ110ichにより近づけた逆L字構造の例を示す図である。このような構成では、位相差画素110zL、110zRへの赤外光パルスレーザ14からの迷光が抑制される。
図40は、チップ110zchとチップ110ichと斜めに配置し、赤外光パルスレーザ14をチップ110ichにより近づけた斜めL字構造の例を示す図である。このような構成では、位相差画素110zL、110zRへの赤外光パルスレーザ14からの迷光が抑制される。
図41は、チップ110zchとチップ110ichとを水平に配置し、赤外光パルスレーザ14をチップ110ichにより近づけたL字構造の例を示す図である。このような構成では、位相差画素110zL、110zRへの赤外光パルスレーザ14からの迷光が抑制される。なお、本実施形態に係る逆L字構造、及び斜めL字構造のそれぞれもL字構造に対応する。
以上説明したように、本実施形態によれば、位相差画素110zL、110zRが配置されるチップ110zchと、測定画素110iが配置されるチップ110ichを独立に構成し、外光パルスレーザ14をチップ110ichにより近づけたL字構造をとることとした。これにより、位相差画素110zL、110zRへの赤外光パルスレーザ14からの迷光が抑制される。
(第10実施形態)
第10実施形態に係る測距システム1では位相差画素110zL、110zRをCIS(CMOS Image Sensor)で構成し、可視光で距離測定を可能とする点で、第1乃至第9実施形態の測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第10実施形態に係る測距システム1では位相差画素110zL、110zRをCIS(CMOS Image Sensor)で構成し、可視光で距離測定を可能とする点で、第1乃至第9実施形態の測距システム1と相違する。以下では第1実施形態の測距システム1と相違する点を説明する。
第1乃至第9実施形態の測距システム1では、赤外光パルスレーザ14又は赤外光パルスレーザ16を照射することにより、位相差画素110zL、110zRを用いた測定を行っていたが、位相差画素110zL、110zRをCIS(CMOS Image Sensor)で構成することにより、パルスレーザ光の照射をすることなく、位相差画素110zL、110zRを用いた測定が可能となる。また、第6実施形態に係る測距システム1(図36参照)では赤外光パルスレーザ16の代わりに可視光源を配置することが可能である。これにより、夜間などの光量が少ない環境でも、位相差画素110zL、110zRを用いた測定が可能となる。
図42は、画素アレイ部12に形成されるSPAD3310、3320、CIS3350、3360の断面的な模式図である。SPAD3310、3320、CIS3350、3360は、それぞれ位相差画素110zL、位相差画素110zR、及び測定画素110iを構成する4つの画素の内の2つに対応する(図2参照)。
SPAD3310、3320には、それぞれ赤色フィルタ1122Rと青色フィルタ1122Bが構成される点で、図7で示したSPAD331、332と相違する。これにより、可視光のNウェル1112への入射が抑制される。
一方でCIS3350、3360には、緑色フィルタ1122Gが構成され、光電変換部1112aはCIS(CMOS Image Sensor)で構成される。このように、位相差画素110zL、110zRを可視光で距離測定を可能とすることが可能である。また、位相差画素110zL、110zRの距離測定での感度をより向上させることも可能となる。
(第11実施形態)
第11実施形態に係る測距システム1では位相差画素110zL、110zRを楕円形又は円形のオンチップレンズで構成する点で、第1乃至第10実施形態の測距システム1と相違する。以下では第1乃至第10の測距システム1と相違する点を説明する。
第11実施形態に係る測距システム1では位相差画素110zL、110zRを楕円形又は円形のオンチップレンズで構成する点で、第1乃至第10実施形態の測距システム1と相違する。以下では第1乃至第10の測距システム1と相違する点を説明する。
第1乃至第10実施形態の測距システム1では、絞りWL、WRにより、位相差画素110zL、110zRを構成していたが、第11実施形態に係る測距システム1では位相差画素110zL、110zRを楕円形又は円形のオンチップレンズで構成する。
図43は、画素アレイ部12に形成される位相差画素110zL、110zR、及び測定画素110iの平面配置例を示す図である。各画素は、一つのSPADで構成される。位相差画素110zL、110zRには、楕円形状のオンチップレンズLz10が配置される。
図44は、位相差画素110zL、110zRの簡略化した断面的な模式図である。図43及び図44に示すように、楕円形状のオンチップレンズLz10により、位相差画素110zL、110zRの瞳分割が可能である。絞りを用いないため、より感度を向上させることが可能となる。
図45は、画素アレイ部12に形成される位相差画素110zL、110zR、及び測定画素110iの平面配置例を示す図である。各画素は、一つのSPADで構成される。位相差画素110zL、110zR、二つの測定画素110iには円形状のオンチップレンズLz20が配置される。これにより、オンチップレンズLz20が配置される各SPADの出力を積算することにより、一つの画素として構成可能である。
一方で、位相差画素110zL、110zRそれぞれの出力を用いることにより、瞳分割が可能な位相差画素110zL、110zRとして構成可能である。位相差画素110zL、110zRの瞳分割が可能である。絞りを用いないため、より感度を向上させることが可能となる。
<<応用例>>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図46は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図46に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図46では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図47は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図47には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図46に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図46の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図46に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、図1を用いて説明した本実施形態に係る測距システム1の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、図1を用いて説明した本実施形態に係る測距システム1の受光装置10は、図46に示した応用例の撮像部7410に適用することができる。例えば、制御部20は、図46に示した車外情報検出ユニット7400に適用することができる。
また、図1を用いて説明した測距システム1の少なくとも一部の構成要素は、図46に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1を用いて説明した測距システム1が、図46に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
なお、本技術は以下のような構成を取ることができる。
(1)
対象物までの距離を測定するために用いられる測定画素と、前記対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、を有する画素アレイ部と、
前記測定画素が光子を受光するタイミングと所定時点との差分に関する情報に基づき、前記対象物までの第1距離値を生成する第1距離測定部と、
前記複数の位相差画素それぞれに入射する光子の数に対応する情報に基づき、前記対象物までの第2距離値を生成する第2距離測定部と、
を備える、受光装置。
対象物までの距離を測定するために用いられる測定画素と、前記対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、を有する画素アレイ部と、
前記測定画素が光子を受光するタイミングと所定時点との差分に関する情報に基づき、前記対象物までの第1距離値を生成する第1距離測定部と、
前記複数の位相差画素それぞれに入射する光子の数に対応する情報に基づき、前記対象物までの第2距離値を生成する第2距離測定部と、
を備える、受光装置。
(2)
前記測定画素は、入射した光子に応じて光電変換する光電変換部を有し、
前記位相差画素は、入射した光子に応じて光電変換する光電変換部を有する、(1)に記載の受光装置。
前記測定画素は、入射した光子に応じて光電変換する光電変換部を有し、
前記位相差画素は、入射した光子に応じて光電変換する光電変換部を有する、(1)に記載の受光装置。
(3)
前記光電変換部は、シングルフォトンアバランシェフォトダイオード(SPAD)である、(2)に記載の受光装置。
前記光電変換部は、シングルフォトンアバランシェフォトダイオード(SPAD)である、(2)に記載の受光装置。
(4)
前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第1距離に応じて設定する制御部を、
更に備える、(3)に記載の受光装置。
前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第1距離に応じて設定する制御部を、
更に備える、(3)に記載の受光装置。
(5)
前記第1距離測定部は、前記測定画素が光子を受光するタイミングと所定時点との差分値の出現頻度情報を有するヒストグラムの値に応じて前記第1距離値を生成し、
前記第2距離測定部は、前記複数の位相差画素それぞれに入射する光子の数に対応する信号値を用いた位相差に応じて前記第2距離値を生成する、(1)に記載の受光装置。
前記第1距離測定部は、前記測定画素が光子を受光するタイミングと所定時点との差分値の出現頻度情報を有するヒストグラムの値に応じて前記第1距離値を生成し、
前記第2距離測定部は、前記複数の位相差画素それぞれに入射する光子の数に対応する信号値を用いた位相差に応じて前記第2距離値を生成する、(1)に記載の受光装置。
(6)
前記測定画素は、複数の前記光電変換部を有しており、
前記測定画素と、前記対となる複数の位相差画素と、はユニットを構成しており、
前記ユニットに対応する第1変換部を更に備え、
前記第1変換部は、前記測定画素が光子を受光するタイミングと所定時点との差分に関する情報を有する受信信号を生成する、(5)に記載の受光装置。
前記測定画素は、複数の前記光電変換部を有しており、
前記測定画素と、前記対となる複数の位相差画素と、はユニットを構成しており、
前記ユニットに対応する第1変換部を更に備え、
前記第1変換部は、前記測定画素が光子を受光するタイミングと所定時点との差分に関する情報を有する受信信号を生成する、(5)に記載の受光装置。
(7)
第1赤外光パルスレーザを更に備え、
前記制御部は、前記第2距離に応じて前記第1赤外光パルスレーザが照射するレーザ光の光量を制御する、(3)に記載の受光装置。
第1赤外光パルスレーザを更に備え、
前記制御部は、前記第2距離に応じて前記第1赤外光パルスレーザが照射するレーザ光の光量を制御する、(3)に記載の受光装置。
(8)
第2赤外光パルスレーザを更に備え、
前記複数の位相差画素は、前記第2赤外光パルスレーザの照射するレーザ光に応じて信号を生成する、(7)に記載の受光装置。
第2赤外光パルスレーザを更に備え、
前記複数の位相差画素は、前記第2赤外光パルスレーザの照射するレーザ光に応じて信号を生成する、(7)に記載の受光装置。
(9)
前記画素アレイ部と、前記第1変換部は積層化されており、前記ユニットに対応する前記第1変換部は、前記ユニットの直下に配置される、(6)に記載の受光装置。
前記画素アレイ部と、前記第1変換部は積層化されており、前記ユニットに対応する前記第1変換部は、前記ユニットの直下に配置される、(6)に記載の受光装置。
(10)
前記ユニットに対応する第2変換部を更に備え、
前記第2変換部は、前記複数の位相差画素それぞれに入射する光子の数に対応する情報を有する第2受信信号を生成する、(6)に記載の受光装置。
前記ユニットに対応する第2変換部を更に備え、
前記第2変換部は、前記複数の位相差画素それぞれに入射する光子の数に対応する情報を有する第2受信信号を生成する、(6)に記載の受光装置。
(11)
前記第2変換部は、前記位相差画素が光子を受光するタイミングと所定時点との差分に関する情報を有する第3受信信号を生成し、第3受信信号の数に応じて前記第2受信信号を生成する、(10)に記載の受光装置。
前記第2変換部は、前記位相差画素が光子を受光するタイミングと所定時点との差分に関する情報を有する第3受信信号を生成し、第3受信信号の数に応じて前記第2受信信号を生成する、(10)に記載の受光装置。
(12)
前記測定画素と、前記対となる複数の位相差画素とは、同じ時間帯に受光した光子に応じて、信号を生成する、(11)に記載の受光装置。
前記測定画素と、前記対となる複数の位相差画素とは、同じ時間帯に受光した光子に応じて、信号を生成する、(11)に記載の受光装置。
(13)
前記測定画素と、前記対となる複数の位相差画素とは、異なる半導体素子のチップに構成される、(2)に記載の受光装置。
前記測定画素と、前記対となる複数の位相差画素とは、異なる半導体素子のチップに構成される、(2)に記載の受光装置。
(14)
第1赤外光パルスレーザを更に備え、
前記測定画素が構成される第1チップと、前記対となる複数の位相差画素が構成される第2チップと、前記第1赤外光パルスレーザは、L字形状に配置される、(13)に記載の受光装置。
第1赤外光パルスレーザを更に備え、
前記測定画素が構成される第1チップと、前記対となる複数の位相差画素が構成される第2チップと、前記第1赤外光パルスレーザは、L字形状に配置される、(13)に記載の受光装置。
(15)
複数の画素で構成される画素アレイ部と、
前記画素アレイ部を制御する制御部と、を、備え、
前記画素アレイ部は、
対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、
前記対象物までの距離を測定するために用いられる測定画素と、を有し、
前記制御部は、前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第2距離に応じて設定する、受光装置。
複数の画素で構成される画素アレイ部と、
前記画素アレイ部を制御する制御部と、を、備え、
前記画素アレイ部は、
対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、
前記対象物までの距離を測定するために用いられる測定画素と、を有し、
前記制御部は、前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第2距離に応じて設定する、受光装置。
(16)
前記位相差画素は、可視光を受光して光電変換する光電変換部を有し、
前記測定画素は、入射した光子に応じて光電変換する光電変換部を有する、(15)に記載の受光装置。
前記位相差画素は、可視光を受光して光電変換する光電変換部を有し、
前記測定画素は、入射した光子に応じて光電変換する光電変換部を有する、(15)に記載の受光装置。
(17)
前記光電変換部は、入射側に反射防止部を更に有する、(2)に記載の受光装置。
前記光電変換部は、入射側に反射防止部を更に有する、(2)に記載の受光装置。
(18)
前記光電変換部は、入射側に高屈折率素材で形成されたオンチップレンズを有する、(2)に記載の受光装置。
前記光電変換部は、入射側に高屈折率素材で形成されたオンチップレンズを有する、(2)に記載の受光装置。
(19)
前記光電変換部は、
オンチップレンズと、
前記光電変換により発生したキャリアを増倍するアバランシェ増倍領域を少なくとも有する拡散層とを、有し、
前記拡散層は、前記オンチップレンズの主光軸の位置に応じて配置される、(2)に記載の受光装置。
前記光電変換部は、
オンチップレンズと、
前記光電変換により発生したキャリアを増倍するアバランシェ増倍領域を少なくとも有する拡散層とを、有し、
前記拡散層は、前記オンチップレンズの主光軸の位置に応じて配置される、(2)に記載の受光装置。
(20)
前記位相差画素は、
前記光電変換部は、
入射領域の絞りと、
前記光電変換により発生したキャリアを増倍するアバランシェ増倍領域を少なくとも有する拡散層とを、有し、
前記拡散層は、前記絞りの位置に応じて配置される、(2)に記載の受光装置。
前記位相差画素は、
前記光電変換部は、
入射領域の絞りと、
前記光電変換により発生したキャリアを増倍するアバランシェ増倍領域を少なくとも有する拡散層とを、有し、
前記拡散層は、前記絞りの位置に応じて配置される、(2)に記載の受光装置。
(21)
前記対となる複数の位相差画素の内の、2つの位相差画素は、
前記2つの位相差画素の光電変換部に配置される楕円形状のオンチップレンズを有する、(2)に記載の受光装置。
前記対となる複数の位相差画素の内の、2つの位相差画素は、
前記2つの位相差画素の光電変換部に配置される楕円形状のオンチップレンズを有する、(2)に記載の受光装置。
(22)
前記対となる複数の位相差画素の内の、2つの位相差画素の光電変換部と、
2つの前記測定画素の光電変換部と、に配置される円形状のオンチップレンズを有する、(2)に記載の受光装置。
前記対となる複数の位相差画素の内の、2つの位相差画素の光電変換部と、
2つの前記測定画素の光電変換部と、に配置される円形状のオンチップレンズを有する、(2)に記載の受光装置。
(23)
前記位相差画素の光電変換部は、可視光を透過するカラーフィルタを介してして受光し、
前記測定画素の光電変換部は、赤外光を透過するカラーフィルタを介してして受光する、(15)に記載の受光装置。
前記位相差画素の光電変換部は、可視光を透過するカラーフィルタを介してして受光し、
前記測定画素の光電変換部は、赤外光を透過するカラーフィルタを介してして受光する、(15)に記載の受光装置。
(24)
対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、
前記対象物までの距離を測定するために用いられる測定画素と、を有する画素アレイ部の制御方法であって、
前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第2距離に応じて設定する、制御方法。
対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、
前記対象物までの距離を測定するために用いられる測定画素と、を有する画素アレイ部の制御方法であって、
前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第2距離に応じて設定する、制御方法。
(25)
前記(1に記載の受光装置と、
前記対象物からの入射光を集光するレンズと
を備える、測距システム。
前記(1に記載の受光装置と、
前記対象物からの入射光を集光するレンズと
を備える、測距システム。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1:測距システム、10:受光装置、12:画素アレイ部、14:赤外光パルスレーザ、16:赤外光パルスレーザ、20:制御部、24:表示装置、40:レンズ、110i:測定画素、110r:参照画素、110z、110zL、110zR:位相差画素、331~340:SPAD、1110:オンチップレンズ、3350、3360:CIS、Lz10、Lz20:オンチップレンズ、WL,WR:絞り。
Claims (25)
- 対象物までの距離を測定するために用いられる測定画素と、前記対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、を有する画素アレイ部と、
前記測定画素が光子を受光するタイミングと所定時点との差分に関する情報に基づき、前記対象物までの第1距離値を生成する第1距離測定部と、
前記複数の位相差画素それぞれに入射する光子の数に対応する情報に基づき、前記対象物までの第2距離値を生成する第2距離測定部と、
を備える、受光装置。 - 前記測定画素は、入射した光子に応じて光電変換する光電変換部を有し、
前記位相差画素は、入射した光子に応じて光電変換する光電変換部を有する、請求項1に記載の受光装置。 - 前記光電変換部は、シングルフォトンアバランシェフォトダイオード(SPAD)である、請求項2に記載の受光装置。
- 前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第2距離に応じて設定する制御部を、
更に備える、請求項3に記載の受光装置。 - 前記第1距離測定部は、前記測定画素が光子を受光するタイミングと所定時点との差分値の出現頻度情報を有するヒストグラムの値に応じて前記第1距離値を生成し、
前記第2距離測定部は、前記複数の位相差画素それぞれに入射する光子の数に対応する信号値を用いた位相差に応じて前記第2距離値を生成する、請求項1に記載の受光装置。 - 前記測定画素は、複数の前記光電変換部を有しており、
前記測定画素と、前記対となる複数の位相差画素と、はユニットを構成しており、
前記ユニットに対応する第1変換部を更に備え、
前記第1変換部は、前記測定画素が光子を受光するタイミングと所定時点との差分に関する情報を有する受信信号を生成する、請求項2に記載の受光装置。 - 第1赤外光パルスレーザを更に備え、
前記制御部は、前記第2距離に応じて前記第1赤外光パルスレーザが照射するレーザ光の光量を制御する、請求項4に記載の受光装置。 - 第2赤外光パルスレーザを更に備え、
前記複数の位相差画素は、前記第2赤外光パルスレーザの照射するレーザ光に応じて信号を生成する、請求項7に記載の受光装置。 - 前記画素アレイ部と、前記第1変換部は積層化されており、前記ユニットに対応する前記第1変換部は、前記ユニットの直下に配置される、請求項6に記載の受光装置。
- 前記ユニットに対応する第2変換部を更に備え、
前記第2変換部は、前記複数の位相差画素それぞれに入射する光子の数に対応する情報を有する第2受信信号を生成する、請求項6に記載の受光装置。 - 前記第2変換部は、前記位相差画素が光子を受光するタイミングと所定時点との差分に関する情報を有する第3受信信号を生成し、第3受信信号の数に応じて前記第2受信信号を生成する、請求項10に記載の受光装置。
- 前記測定画素と、前記対となる複数の位相差画素とは、同じ時間帯に受光した光子に応じて、信号を生成する、請求項11に記載の受光装置。
- 前記測定画素と、前記対となる複数の位相差画素とは、異なる半導体素子のチップに構成される、請求項2に記載の受光装置。
- 第1赤外光パルスレーザを更に備え、
前記測定画素が構成される第1チップと、前記対となる複数の位相差画素が構成される第2チップと、前記第1赤外光パルスレーザは、L字形状に配置される、請求項13に記載の受光装置。 - 複数の画素で構成される画素アレイ部と、
前記画素アレイ部を制御する制御部と、を、備え、
前記画素アレイ部は、
対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、
前記対象物までの距離を測定するために用いられる測定画素と、を有し、
前記制御部は、前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく第2距離に応じて設定する、受光装置。 - 前記位相差画素は、可視光を受光して光電変換する光電変換部を有し、
前記測定画素は、入射した光子に応じて光電変換する光電変換部を有する、請求項15に記載の受光装置。 - 前記光電変換部は、入射側に反射防止部を更に有する、請求項2に記載の受光装置。
- 前記光電変換部は、入射側に高屈折率素材で形成されたオンチップレンズを有する、請求項2に記載の受光装置。
- 前記光電変換部は、
オンチップレンズと、
前記光電変換により発生したキャリアを増倍するアバランシェ増倍領域を少なくとも有する拡散層とを、有し、
前記拡散層は、前記オンチップレンズの主光軸の位置に応じて配置される、請求項2に記載の受光装置。 - 前記位相差画素は、
前記光電変換部は、
入射領域の絞りと、
前記光電変換により発生したキャリアを増倍するアバランシェ増倍領域を少なくとも有する拡散層とを、有し、
前記拡散層は、前記絞りの位置に応じて配置される、請求項2に記載の受光装置。 - 前記対となる複数の位相差画素の内の、2つの位相差画素は、
前記2つの位相差画素の光電変換部に配置される楕円形状のオンチップレンズを有する、請求項2に記載の受光装置。 - 前記対となる複数の位相差画素の内の、2つの位相差画素の光電変換部と、
2つの前記測定画素の光電変換部と、に配置される円形状のオンチップレンズを有する、請求項2に記載の受光装置。 - 前記位相差画素の光電変換部は、可視光を透過するカラーフィルタを介してして受光し、
前記測定画素の光電変換部は、赤外光を透過するカラーフィルタを介してして受光する、請求項15に記載の受光装置。 - 対象物からの入射光を瞳分割して位相差を検出する対となる複数の位相差画素と、
前記対象物までの距離を測定するために用いられる測定画素と、を有する画素アレイ部の制御方法であって、
前記測定画素の駆動期間を、前記複数の位相差画素の出力信号に基づく、第2距離に応じて設定する、制御方法。 - 前記請求項1に記載の受光装置と、
前記対象物からの入射光を集光するレンズと
を備える、測距システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022078931A JP2023167618A (ja) | 2022-05-12 | 2022-05-12 | 受光装置、制御方法、及び測距システム |
PCT/JP2023/017181 WO2023219045A1 (ja) | 2022-05-12 | 2023-05-02 | 受光装置、制御方法、及び測距システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022078931A JP2023167618A (ja) | 2022-05-12 | 2022-05-12 | 受光装置、制御方法、及び測距システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023167618A true JP2023167618A (ja) | 2023-11-24 |
Family
ID=88730455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022078931A Pending JP2023167618A (ja) | 2022-05-12 | 2022-05-12 | 受光装置、制御方法、及び測距システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023167618A (ja) |
WO (1) | WO2023219045A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4334678B2 (ja) * | 1999-06-08 | 2009-09-30 | 三菱電機株式会社 | 距離測定装置 |
TWI540312B (zh) * | 2010-06-15 | 2016-07-01 | 原相科技股份有限公司 | 可提高測量精確度、省電及/或能提高移動偵測效率的時差測距系統及其方法 |
US9823352B2 (en) * | 2014-10-31 | 2017-11-21 | Rockwell Automation Safety Ag | Absolute distance measurement for time-of-flight sensors |
KR102663338B1 (ko) * | 2017-09-28 | 2024-05-07 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 촬상 소자 및 촬상 장치 |
JP7321290B2 (ja) * | 2019-11-29 | 2023-08-04 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7417859B2 (ja) * | 2020-03-19 | 2024-01-19 | 株式会社リコー | 距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置 |
-
2022
- 2022-05-12 JP JP2022078931A patent/JP2023167618A/ja active Pending
-
2023
- 2023-05-02 WO PCT/JP2023/017181 patent/WO2023219045A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023219045A1 (ja) | 2023-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230251357A1 (en) | Light reception device and distance measurement device | |
US11743604B2 (en) | Imaging device and image processing system | |
CN112513678B (zh) | 光电检测器和距离测量设备 | |
WO2022091607A1 (ja) | 受光装置及び測距装置 | |
JP2021128084A (ja) | 測距装置および測距方法 | |
WO2021111766A1 (ja) | 受光装置及び受光装置の制御方法、並びに、測距装置 | |
JP7511562B2 (ja) | 受光装置及び受光装置の制御方法、並びに、測距装置 | |
EP3904826A1 (en) | Distance measuring device and distance measuring method | |
WO2021124762A1 (ja) | 受光装置及び受光装置の制御方法、並びに、測距装置 | |
US20220120875A1 (en) | Photodetector, driving method of photodetector, and distance measuring device | |
WO2023219045A1 (ja) | 受光装置、制御方法、及び測距システム | |
WO2021161858A1 (ja) | 測距装置および測距方法 | |
WO2021053958A1 (ja) | 受光装置、並びに、測距装置及び測距装置の制御方法 | |
WO2024162109A1 (ja) | 光検出装置及び測距システム | |
WO2021161857A1 (ja) | 測距装置および測距方法 | |
WO2023171176A1 (ja) | 受光素子、および電子機器 | |
WO2024057471A1 (ja) | 光電変換素子、固体撮像素子、測距システム | |
WO2023190277A1 (ja) | 光検出装置 | |
WO2024095625A1 (ja) | 測距装置および測距方法 | |
WO2023162734A1 (ja) | 測距装置 | |
WO2024070673A1 (ja) | 固体撮像装置、電子機器及びプログラム | |
WO2023067755A1 (ja) | 光検出装置、撮像装置および測距装置 | |
WO2023162651A1 (ja) | 受光素子、および電子機器 | |
WO2022209377A1 (ja) | 半導体装置、電子機器及び半導体装置の制御方法 | |
JP2023066297A (ja) | 光検出装置および測距システム |