JP2022168742A - 測距装置 - Google Patents

測距装置 Download PDF

Info

Publication number
JP2022168742A
JP2022168742A JP2021074415A JP2021074415A JP2022168742A JP 2022168742 A JP2022168742 A JP 2022168742A JP 2021074415 A JP2021074415 A JP 2021074415A JP 2021074415 A JP2021074415 A JP 2021074415A JP 2022168742 A JP2022168742 A JP 2022168742A
Authority
JP
Japan
Prior art keywords
light
pixel
pixels
wavelength
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021074415A
Other languages
English (en)
Other versions
JP2022168742A5 (ja
Inventor
剛史 花坂
Takashi Hanasaka
浩一 福田
Koichi Fukuda
康平 岡本
Kohei Okamoto
駿一 若嶋
Shunichi Wakashima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021074415A priority Critical patent/JP2022168742A/ja
Priority to DE112022002415.1T priority patent/DE112022002415T5/de
Priority to PCT/JP2022/014825 priority patent/WO2022230523A1/ja
Priority to KR1020237037991A priority patent/KR20230167079A/ko
Priority to GB2318010.2A priority patent/GB2621766A/en
Publication of JP2022168742A publication Critical patent/JP2022168742A/ja
Priority to US18/492,663 priority patent/US20240053443A1/en
Publication of JP2022168742A5 publication Critical patent/JP2022168742A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Figure 2022168742000001
【課題】異なる波長の光を用いた測距を効率的に実施可能な測距装置を提供すること
【解決手段】測距装置は、第1の波長の光と、第1の波長よりも長い第2の波長の光とを同時に照射可能な光源ユニットを有し、測距の開始から受光部の画素への光の入射が検出されるまでの時間に基づいて距離情報を算出する。受光部の画素アレイには第1の波長の光を受光するように構成された第1の画素と、第2の波長の光を受光するように構成された第2の画素とが2次元に配列される。
【選択図】図19

Description

本発明は測距装置に関する。
光を照射してから反射光を検出するまでの時間差を計測することにより、光を反射した物体までの距離を計測する、ToF(Time-of-Flight)方式の測距方法が知られている。特に屋外でToF方式の測距を実施する場合、環境光による影響を抑制することが重要になる。
特許文献1には、発光ダイオードの発光する波長と、受光装置のバンドパスフィルタの通過帯域との組み合わせを温度に応じて制御することにより、環境光による影響を抑制する構成が開示されている。
特開2019-78748号公報
しかしながら、特許文献1では、発光ユニットおよびフィルタの少なくとも一方を2組設けたり、温度によって発光波長が変化する発光ダイオードを用いたりする必要があり、構成が複雑かつ大型化する。そのため、コスト面で不利な上、小型の電子機器に内蔵するといった用途には不向きである。さらに、実際に測距に用いるのは1波長であるため、例えば環境光に近い波長の光が存在する場合には環境光による影響を抑制することができない。
本発明は、このような従来技術の課題の少なくとも1つを改善し、異なる波長の光を用いた測距を効率的に実施可能な測距装置を提供することを目的の1つとする。
上述の目的は、第1の波長の光と、第1の波長よりも長い第2の波長の光とを同時に照射可能な光源ユニットと、画素が2次元に配列された画素アレイを有し、画素への光の入射を検出する受光部と、測距の開始から画素への光の入射が検出されるまでの時間を検出し、検出した時間に基づいて距離情報を算出する計測手段と、を有し、画素アレイには第1の波長の光を受光するように構成された第1の画素と、第2の波長の光を受光するように構成された第2の画素とが2次元に配列されることを特徴とする測距装置によって達成される。
本発明によれば、異なる波長の光を用いた測距を効率的に実施可能な測距装置を提供することができる。
実施形態に係る受光装置を用いた測距装置100の機能構成例を示すブロック図 光源ユニット111の構成例を示す図 光源ユニット111の投光パターンの例を示す図 計測ユニット120の実装例を模式的に示した分解斜視図 受光部121の構成例に関する図 画素511に設ける光学バンドパスフィルタの分光特性の例を示す図 画素511の受光素子の構成例を示す垂直断面図 図7の断面におけるポテンシャル分布の例を示す図 画素511の構成例を示す回路図 TDCアレイ部122の構成例を示すブロック図 高分解能TDC1501の構成例を示す回路図 高分解能TDC1501の動作に関する図 測距動作に関するタイミングチャート 図13の一部を拡大したタイミングチャート 低分解能TDC1502が有する第2発振器1512の回路構成例を模式的に示す図 第1発振調整回路1541および第2発振調整回路1542の機能構成例を示すブロック図 実施形態における測距動作の一例に関するフローチャート 測距結果のヒストグラムの例を示す図 第2実施形態における光源ユニット111の構成例を示す図 第2実施形態における光源ユニット111の投光パターンの例を示す図 第2実施形態における受光部121の構成例を示す図 第2実施形態における測距を模式的に示す図 第2実施形態における波長決定処理に関するフローチャート
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
なお、本明細書において受光素子の特性が同一であるとは、受光素子の物理的な構成およびバイアス電圧を積極的に異ならせていないことを示す。したがって、製造上のばらつきなどの不可避な要因による特性の差異は存在しうる。
●(第1実施形態)
図1は、本発明に係る受光装置を用いた測距装置の機能構成例を示すブロック図である。測距装置100は、投光ユニット110、計測ユニット120、受光レンズ132、全体制御部140を有する。投光ユニット110は、発光素子を2次元アレイ状に配置した光源ユニット111と、光源ユニット駆動部112と、光源制御部113と、投光レンズ131とを有する。計測ユニット120は、受光部121と、TDC(Time-to-Digital Convertor)アレイ部122と、信号処理部123と、計測制御部124とを有する。なお、本明細書では、受光レンズ132と受光部121との組み合わせを受光ユニット133と呼ぶことがある。
全体制御部140は、測距装置100全体の動作を制御する。全体制御部140は例えばCPU、ROM、RAMを有し、ROMに記憶されたプログラムをRAMに読み込んでCPUで実行することにより、測距装置100の各部を制御する。全体制御部140の少なくとも一部は専用のハードウェア回路で実現されてもよい。
光源ユニット111に配列された複数の発光素子211(図2(b))を短時間発光させることにより、パルス状の光(パルス光)が投光レンズ131を介して照射される。個々の発光素子から発せられたパルス光はそれぞれ異なる空間を照射する。光源ユニット111から照射されたパルス光の一部は被写体で反射され、受光レンズ132を介して受光部121に入射する。本実施形態では、発光させる発光素子211と、受光部121に配列される複数の画素のうち特定の画素とが光学的に対応するように構成される。ここで、ある発光素子211と光学的に対応する画素とは、その発光素子211から出射された光の反射光を最も多く検出するような位置関係にある画素である。
光源ユニット111の発光から受光部121に反射光が入射するまでの時間を、飛行時間ToFとしてTDCアレイ部122で計測する。なお、環境光やダークカウントなどのノイズ成分や、TDCアレイ部122のノイズが計測結果に与える影響を低減するため、飛行時間ToFを複数回計測する。
信号処理部123は、TDCアレイ部122による複数回の計測結果のヒストグラムを生成し、ヒストグラムに基づいてノイズ成分を除去する。そして、信号処理部123は、ノイズ成分を除去した計測結果を例えば平均することによって求めた飛行時間ToFを以下の式(1)に代入して被写体の距離Lを算出する。
L[m] = ToF[sec]*c[m/sec]/2 ・・・(1)
なお、cは光の速度である。このようにして、信号処理部123は画素ごとに距離情報を算出する。
(投光ユニット110)
図2を用いて、投光ユニット110の構成例について説明する。図2(a)は、光源ユニット111を構成するコリメータレンズアレイ220の構成例を、図2(b)は、光源ユニット111を構成する光源アレイ210の構成例をそれぞれ示す側面図である。
光源アレイ210は例えば垂直共振器面発光レーザ素子(Vertical Cavity Surface Emitting LASER: VCSEL)である発光素子211が2次元アレイ状に配列された構成を有する。光源アレイ210の点灯および消灯は、光源制御部113が制御する。光源制御部113は、発光素子211単位で点灯および消灯を制御可能である。
なお、発光素子211には、端面発光型レーザ素子、LED(発光ダイオード)など、VCSEL以外の素子を用いてもよい。発光素子211として端面発光型レーザ素子を用いる場合は、基板上に素子を1次元配列したレーザーバー、もしくはレーザーバーを積層して2次元アレイ構成としたレーザーバースタックを光源アレイ210として用いることができる。また、発光素子211としてLEDを用いる場合には、基板上に2次元アレイ状にLEDを配列した光源アレイ210を用いることができる。
なお、発光素子211の発光波長に特段の制限はないが、近赤外帯域の波長とすると、環境光の影響を抑制することができる。VCSELは端面発光型レーザや面発光レーザに用いられている材料を用いて半導体プロセスにより作成することができる。近赤外帯域の波長のレーザ光を放出させる構成とする場合、GaAs系の半導体材料を用いることができる。この場合、VCSELを構成するDBR(分布反射型)反射鏡をなす誘電体多層膜は、屈折率の異なる材料からなる二つの薄膜を交互に周期的に積層したもの(GaAs/AlGaAs)で、構成することができる。VCSELが発する光の波長は、化合物半導体の元素組み合わせや、組成を調整することで変更することができる。
VCSELアレイを構成するVCSELには、活性層に電流とホールを注入するための電極が設けられる。活性層に電流とホールを注入するタイミングを制御することで、任意のパルス光や、変調光を放出することが可能である。光源制御部113は、発光素子211を個別に駆動したり、光源アレイ210を行単位、列単位、あるいは矩形領域単位で駆動することができる。
また、コリメータレンズアレイ220は、個々のコリメータレンズ221が1つの発光素子211に対応するように、複数のコリメータレンズ221が2次元アレイ状に配置された構成を有する。発光素子211が出射する光線は、対応するコリメータレンズ221によって平行光線に変換される。
図2(c)は、光源ユニット駆動部112、光源ユニット111、および投光レンズ131の配置例を示す垂直断面図である。投光レンズ131は、光源ユニット111(光源アレイ210)から出射される平行光の投光範囲を調整するための光学系である。図2(c)では投光レンズ131が凹レンズであるが、凸レンズや非球面レンズであってもよいし、複数のレンズから構成される光学系であってもよい。
本実施形態では一例として投光ユニット110から±45度の範囲に光が照射されるように投光レンズ131が構成されているものとする。なお、コリメータレンズ221によって光の出射方向を制御することで、投光レンズ131を省略してもよい。
図3(a)は、VCSEL素子を3行3列に配置した光源アレイ210を用いた投光ユニット110による投光パターンの例を示している。310は投光ユニット110の発光面に対して正対する所定距離の平面である。9つの投光エリア311は、平面310における個々のVCSEL素子からの光の強度分布のうちおよそ半値全幅(FWHM)を直径とする領域を示している。
コリメータレンズ221により平行光に変換されたVCSELの出射光は投光レンズ131で若干の発散角を付与されるため、照射面(平面310)において有限の領域を形成する。コリメータレンズアレイ220と光源アレイ210との位置関係が一定の場合、平面310には光源アレイ210を構成する発光素子211の数に等しい投光エリア311が形成される。
本実施形態の投光ユニット110には、光源ユニット111を同一平面内で移動可能な光源ユニット駆動部112を有している。光源ユニット駆動部112によって光源ユニット111の位置を移動させることにより、発光素子211と、コリメータレンズ221または投光レンズ131との相対的な位置関係を変更することができる。光源ユニット駆動部112が光源ユニット111を駆動する方法に特に制限はないが、例えば手ブレ補正のために撮像素子を駆動するために用いられる機構のような、電磁誘導方式や圧電素子を用いた機構を用いることができる。
光源ユニット駆動部112により光源ユニット111を例えば光源ユニット111の基板に平行な(投光レンズ131の光軸に垂直な)面内で移動させると、平面310における投光エリア311を略平行移動することが可能である。例えば光源ユニット111を光源ユニット111の基板に平行な面内で移動させる間に光源ユニット111を複数回点灯させることにより、投光エリアの空間解像度を擬似的に増加させることができる。
図3(a)と同様の光源アレイ210を有する光源ユニット111を光源ユニット111の基板に平行な面内で円状に1回転移動させる間に一定周期で4回光源ユニット111を点灯させた際の、面410における投光エリア411の空間解像度を図3(b)に示す。図3(a)に示した、光源ユニット111を移動させない場合に対して4倍の空間解像度が得られている。
したがって、光源ユニット111と投光レンズ131との相対位置が異なる状態で距離計測を実施することにより、距離計測点の密度を高めることができる。光束を分離することなく投光エリア411の空間解像度を高めることができるため、測距可能な距離が短くなったり、反射光の強度低下に起因して距離精度が低下したりすることがない。
なお、投光レンズ131を光源ユニット111の基板に平行な面内で移動させることにより、光源ユニット111と投光レンズ131との相対位置を変更してもよい。なお、投光レンズ131が複数枚のレンズを有する場合には、投光レンズ131の全体を移動させてもよいし、一部のレンズのみを移動させてもよい。
さらに、光源ユニット駆動部112により、光源ユニット111を光源アレイ210の基板と垂直方向(投光レンズ131の光軸方向)に移動可能に構成してもよい。これにより、光の発散角や投光角度を制御することができる。
光源制御部113は、受光ユニット133の受光タイミングや受光解像度に応じて、光源ユニット111(光源アレイ210)の発光を制御する。
(計測ユニット120)
次に、計測ユニット120の構成について説明する。図4は、計測ユニット120の実装例を模式的に示した分解斜視図である。図4では、受光部121、TDCアレイ部122、信号処理部123、計測制御部124について示している。受光部121およびTDCアレイ部122は受光装置を構成する。
計測ユニット120は、画素511を2次元アレイ状に配置した受光部121を含む受光素子基板510と、TDCアレイ部122、信号処理部123、計測制御部124を含むロジック基板520とを積層した構成を有する。受光素子基板510とロジック基板520とは基板間接続530を通じて電気的に接続されている。図4は、説明のために、受光素子基板510とロジック基板520とを離間した状態で示している。
なお、各基板に搭載する機能ブロックは図示した例に限定されない。3つ以上の基板を積層する構成であってもよいし、1つの基板に、全ての機能ブロックを搭載してもよい。基板間接続530は、例えば、Cu-Cu接続で構成されており、画素511の各列に1つまたは複数配置してもよいし、画素511ごとに1つ配置してもよい。
受光部121は、画素511が2次元アレイ状に配列された画素アレイを有する。本実施形態においては、画素511が有する受光素子がアバランシェフォトダイオード(APD)もしくはSPAD素子であるものとする。また、図5(a)に示すように、第1の感度を有する画素H(第1の画素)と、第1の感度より低い第2の感度を有する画素L(第2の画素)とが、行方向および列方向において交互に配置されている。画素Hと画素Lとが隣接するように配置することで、画素Lの計測結果に基づく画素Hのオフセット補正が可能となる。本明細書において、画素Hを高感度画素H、画素Lを低感度画素Lと呼ぶこともある。
図5(b)は、画素Hと画素Lの構造例を示す垂直断面図である。ここでは、共振波長λc、高屈折率層901の屈折率をnH、低屈折率層902の屈折率をnL(<nH)とする。光共振器911から光共振器914は、膜厚dH=0.25λc/nHの高屈折率層901と膜厚dL=0.25λc/nLの低屈折率層902とを有する多層膜干渉ミラーである。膜厚dE1(~dE4)=m1(~m4)×0.5λc/nL(m1~m4は自然数)の低屈折率層902を高屈折率層901によって両側から挟んだ構成である。
画素Lは、膜厚30nmのタングステン薄膜で構成される透過率が約45%の減光層903の上に、第2の光学バンドパスフィルタが設けられた構成を有する。第2の光学バンドパスフィルタは、光共振器911から光共振器914を、膜厚dLの低屈折率層902を挟んで積層した構成を有する。第2の光学バンドパスフィルタは図6(a)に示す分光特性を有し、受光素子に付加する光学要素の一例である。
画素Hは、膜厚30nmの低屈折率層で構成される透過率が約100%の透過率層904の上に、多層膜干渉ミラー915と、低屈折率層からなる膜厚dE4の膜厚調整層905と、第1の光学バンドパスフィルタとが設けられた構成を有する。第1の光学バンドパスフィルタは、受光素子に付加する光学要素の一例であり、図6(b)に示す分光特性を有する。
第1の光学バンドパスフィルタは、光共振器911から光共振器913を、膜厚dLの低屈折率層902を挟んで積層した構成を有する。第1の光学バンドパスフィルタと第2のバンドの通過帯域は基本的に同じ中心波長を有し、図6においてλcL=λcHである。中心波長は光源ユニット111が照射する光のピーク波長とすることができる。一方、第2の光学バンドパスフィルタの分光特性の半値幅WLは、第1の光学バンドパスフィルタの分光特性の半値幅WHより狭い。
半値幅WLを半値幅WHより狭くするのは、低感度画素Lでは主に長距離の測距を行うことを、高感度画素Hでは主に短距離の測距を行う想定しているためである。低感度画素Lでは長いToFに対応できるよう、半値幅WLを狭くして、反射光が到達する前にノイズ光が計測されることを抑制する。
また、画素Lには減光層903を設けることにより、画素Hよりも低感度になるように構成されている。減光層903は画素の感度を低下させるための光学要素の一例である。なお、減光層903の代わりに、開口量が異なるマスクなど、他の光学要素を用いて画素Hと画素Lの感度を異ならせてもよい。
例えば、画素Lには、画素Hに設けられるマスクよりも開口量の小さいマスクを設けることで、画素Lの受光素子の受光領域を画素Hの受光素子の受光領域よりも狭くすることができる。画素Hにはマスクを設けなくてもよく、この場合には画素Lに開口率が100%未満のマスクを設ければよい。マスクは遮光膜を形成可能な任意の材料で形成することができる。
本実施形態では、受光素子そのものの構成や印加電圧を異ならせるのではなく、受光素子に付加する光学要素を用いて画素の感度を異ならせる。そのため、受光素子の構成や印加電圧は画素Hおよび画素Lとで共通とすることができる。したがって、受光素子アレイの製造が容易であり、また、受光素子の特性のばらつきを抑制することができる。
図7は、画素Hおよび画素Lに共通する、受光素子の半導体層を含む断面図である。1005が受光素子基板510の半導体層、1006が受光素子基板510の配線層、1007がロジック基板520の配線層である。受光素子基板510とロジック基板520の配線層が向かい合う様に接合されている。受光素子基板510の半導体層1005には受光領域(光電変換領域)1001と、光電変換によって生成された信号電荷によりアバランシェ電流を発生させるアバランシェ領域1002とが含まれる。
また、受光領域1001に斜めに入射した光が、隣接画素の受光領域1001に到達することを防ぐために、隣接画素との間に遮光壁1003が設けられている。遮光壁1003は金属で形成されており、遮光壁1003と受光領域1001との間には絶縁体領域1004が設けられている。
図8(a)は図7のa-a’断面の半導体領域のポテンシャル分布を示す図である。図8(b)は図7のb-b’断面のポテンシャル分布を示す図である。図8(c)は図7のc-c’'断面のポテンシャル分布を示す図である。
受光素子基板510の半導体層1005に入射した光は、受光領域1001で光電変換されて、電子と正孔が発生する。正電荷の正孔は、アノード電極Vbdを介して排出される。負電荷の電子は、信号電荷として、図8(a)、図8(b)、図8(c)に示したように、アバランシェ領域1002に向かってポテンシャルが低くなるように設定された電界により、アバランシェ領域1002に輸送される。
アバランシェ領域1002に到達した信号電荷は、アバランシェ領域1002の強い電界により、アバランシェ降伏を引き起こし、アバランシェ電流を発生させる。この現象は、信号光(光源ユニット111が照射した光の反射光)だけでなく、ノイズ光である環境光の入射でも発生し、ノイズ成分となる。また、キャリアは入射光によって発生するだけでなく、熱的にも発生する。熱的に発生したキャリアによるアバランシェ電流はダークカウントと呼ばれ、ノイズ成分となる。
図9は、画素511の等価回路図である。画素511は、SPAD素子1401、負荷トランジスタ1402、インバータ1403、画素選択スイッチ1404、画素出力線1405を有する。SPAD素子1401は、図7における受光領域1001とアバランシェ領域1002とを合わせた領域に対応する。
外部から供給される制御信号により画素選択スイッチ1404がオンになると、インバータ1403の出力信号が、画素出力信号として、画素出力線1405に出力される。
アバランシェ電流が流れていないとき、SPAD素子1401には、ブレークダウン電圧以上の逆バイアスが印加されるように、アノード電極Vbdの電圧が設定されている。この時、負荷トランジスタ1402に流れる電流は無いため、カソード電位Vcは電源電圧Vddに近い電圧となっており、画素出力信号は「0」である。
光子の到来により、SPAD素子1401でアバランシェ電流が発生すると、カソード電位Vcが降下し、インバータ1403の出力が反転する。すなわち、画素出力信号は「0」から「1」に変化する。
カソード電位Vcが低下すると、SPAD素子1401に印加される逆バイアスが低下し、逆バイアスがブレークダウン電圧以下になった時点でアバランシェ電流の生成が停止する。
その後、負荷トランジスタ1402を介して電源電圧Vddから正孔電流が流れることによりカソード電位Vcは上昇し、インバータ1403の出力(画素出力)が「1」から「0」へと戻り、光子の到来前の状態となる。このようにして画素511から出力された信号は、不図示の中継バッファを介して、TDCアレイ部122に入力される。
(TDCアレイ部122)
TDCアレイ部122は、光源ユニット111が発光した時刻から、画素511の出力信号が「0」から「1」に変化する時刻までの時間をToFとして計測する。
図10は、TDCアレイ部122の構成例を模式的に示す図である。TDCアレイ部122には、第1の計測分解能を有する高分解能TDC1501と、第2の計測分解能を有する低分解能TDC1502とが、それぞれ画素アレイの1画素行を構成する画素数の半数ずつ設けられており、1画素単位で画素ごとにToFを計測する。第2の計測分解能は、第1の計測分解能よりも低い。また、同期クロックは例えば全体制御部140から供給される。
ここで、高感度画素Hの出力信号は高分解能TDC1501に入力され、低感度画素Lの出力信号は低分解能TDC1502に入力されるように、中継バッファで駆動される。つまり、高感度画素Hについては、低感度画素Lよりも高い計測分解能で時間を計測する。図10では、奇数番目の画素出力が画素Hの出力であり、偶数番目の画素出力が画素Lの出力である。中継バッファでの遅延時間を概ね等しくするため、高分解能TDC1501と低分解能TDC1502とが交互に配置されている。
高分解能TDC1501は、第1発振器1511、第1発振カウント回路1521、第1同期クロックカウント回路1531を有する。低分解能TDC1502は、第2発振器1512、第2発振カウント回路1522、第2同期クロックカウント回路1532を有する。第1発振カウント回路1521および第2発振カウント回路1522は、対応する発振器の出力値の変化をカウントする第2のカウンタである。第1同期クロックカウント回路1531および第2同期クロックカウント回路1532は、同期クロックをカウントする第1のカウンタである。
それぞれのTDCの出力値において、同期クロックカウント回路のカウント結果が上位ビット、発振器の内部信号が下位ビット、発振カウント回路のカウント結果が中間ビットを構成する。すなわち、同期クロックカウント回路で大まかに計測し、発振器の内部信号が細かく計測し、その間を発振カウント回路で計測する構成となっている。なお、それぞれの計測ビットに冗長ビットを持たせてもよい。
図11は、高分解能TDC1501の第1発振器1511の構成例を模式的に示す図である。第1発振器1511は、発振スタート/ストップ信号生成回路1640と、バッファ1611~1617と、インバータ1618と、発振スイッチ1630と、遅延調整用電流源1620とを有する。また、遅延要素としてのバッファ1611~1617およびインバータ1618は、発振スイッチ1630と交互に、直列かつリング状に接続されている。遅延調整用電流源1620は、バッファ1611~1617およびインバータ1618のそれぞれに設けられており、調整電圧に応じて、対応するバッファもしくはインバータの遅延時間を調整する。
図12は、バッファ1611~1617およびインバータ1618の出力信号と発振器の内部信号とについて、リセット時と、発振スイッチ1630がオンになってからバッファ1段分の遅延時間tbuffごとの変化を示している。WI11出力~WI18出力はそれぞれバッファ1611~1617およびインバータ1618の出力信号である。
リセット時、バッファ1611~1617の出力は「0」、インバータ1618の出力は「1」である。発振スイッチ1630がオンになってから、バッファ1段分の遅延時間tbuff経過後、入出力の整合が取れているバッファ1612~1617とインバータ1618の出力は変化しない。一方、入出力の整合が取れていないバッファ1611の出力が「0」から「1」へ変化する(信号が1段分進む)。
さらにtbuff経過すると(2×tbuff後)、入出力の整合が取れているバッファ1611、1613~1617とインバータ1618の出力は変化しない。一方、入出力の整合が取れていないバッファ1612の出力は「0」から「1」へと変化する(信号がさらに1段分進む)。
このように、バッファ1段分の遅延時間tbuffが経過するごとに、バッファ1611~1617およびインバータ1618のうち、入出力の整合が取れていない1つの出力が順に「0」から「1」に変化していく。そして、発振スイッチ1630がオンになってから8×tbuff経過後には、全てのバッファおよびインバータの出力が「1」に変化(信号が1周)する。さらに8×tbuff経過後(16×tbuff経過後)すると、全てのバッファおよびインバータの出力が「0」に変化(信号が2周)して、元の状態に戻る。
その後は、16×tbuufを周期として同様に出力が変化する。このように、高分解能TDC1501の時間分解能はtbuffに等しい。また、時間分解能tbuffは、後述の第1発振調整回路1541により、同期クロックの周期の2-7(1/128)になるように調整されている。
また、インバータ1618の出力である発振器出力は第1発振カウント回路1521に入力される。第1発振カウント回路1521では、発振器出力の立ち上がりエッジをカウントすることで、16×tbuffの時間分解能で時間を計測する。
図13は、発光から、SPAD素子1401によって反射光が検出されるまでの時間計測が終了するまでのタイミングチャートである。SPAD素子1401のカソード電位Vc、画素出力信号、同期クロック、同期クロックカウント回路のカウント値、発振器スタート/ストップ信号生成回路出力、発振器出力、発振カウント回路のカウント値の変化を示している。
SPAD素子1401のカソード電位Vcはアナログ電圧であり、紙面上側が高い電圧を示している。同期クロックと発振器スタート/ストップ信号生成回路出力、発振器出力はデジタル信号であり、紙面上側がオン、紙面下側がオフの状態を示している。同期クロックカウント回路および発振器カウント回路のカウント値は、デジタル値であり、10進数で示している。
図14は、図13の時刻1803から時刻1805における発振器スタート/ストップ信号生成回路出力、発振器出力、発振器カウント回路のカウント値、発振器内部信号を拡大した図である。発振器内部信号はデジタル値であり、10進数で示している。
図13、図14を用いて、光源ユニット111の発光時刻1801から、画素のSPAD素子1401に光子が入射して画素出力信号が0から1になる時刻1803までの時間を、高分解能TDC1501で計測する動作を説明する。
全体制御部140を介して供給される同期クロックの立ち上がりに同期した時刻1801に発光素子211が発光するよう、光源制御部113が光源ユニット111を駆動する。第1同期クロックカウント回路1531は、発光素子211が発光する時刻1801に全体制御部140から計測開始が指示されると、同期クロックの立ち上がりエッジのカウントを開始する。
時刻1801に照射された光の反射光が時刻1803に画素に入射すると、SPAD素子1401のカソード電位Vcが降下し、画素出力信号が「0」から「1」に変化する。画素出力信号が「1」になると、発振スタート/ストップ信号生成回路1640の出力が「0」から「1」に変化し、発振スイッチ1630がオンになる。
発振スイッチ1630がオンになると、発振動作が開始され、図12に示したように発振器内部で信号のループが開始される。発振スイッチ1630がオンになってから16×tbuffが経過して発振器内で信号が2周するごとに、発振器出力に立ち上がりエッジが出現し、第1発振カウント回路1521がその数を計測する。また、時刻1803で、第1同期クロックカウント回路1531はカウントを停止し、カウント値を保持する。
第1発振器1511がオンになった時刻1803以降、同期クロックが最初に立ち上がるタイミングが時刻1805である。時刻1805の同期クロックの立ち上がりを受けて、発振スタート/ストップ信号生成回路1640の出力は「0」となり、発振スイッチ1630はオフになる。発振スイッチ1630が「0」になったタイミングで、第1発振器1511の発振が終了し、発振回路内部信号はそのまま保持される。また、発振が終了するため、第1発振カウント回路1521のカウントも停止する。
同期クロックカウント回路のカウント結果DGclkは、時刻1801から時刻1802までの時間を27×tbuff単位で計測した値となる。また、発振器カウント回路のカウント結果DROclkは、時刻1803から時刻1804までの時間を24×tbuff単位で計測した値となる。さらに、発振器内部信号DROinは、時刻1804から時刻1805までの時間をtbuff単位で計測した値となる。高分解能TDC1501は、これらの値に対して以下の処理を行って信号処理部123に出力することにより、1回の計測動作を完了する。
発振器カウント回路のカウント結果DROclkと発振器内部信号DROinとを以下の式(2)にしたがって加算する。
RO=24×DROclk+DROin・・・(2)
式(2)で得られるDROは、時刻1803から時刻1805までの時間をtbuff単位で計測した値である。また、時刻1802から時刻1805までの時間は同期クロックの1周期に等しいため、27×tbuffである。そのため、同期クロックの1周期からDROを減じることで、時刻1802から時刻1803までの時間が得られる。これを、時刻1801から時刻1802までの時間であるDGclkと加算すると、時刻1801から時刻1803までの時間をtbuff単位で計測した値DToFが得られる(式(3))。
ToF=27×DGclk+(27-DRO)
=27×DGclk+(27-24×DROclk-DROin)・・・(3)
図15は、低分解能TDC1502が有する第2発振器1512の回路構成例を模式的に示す図である。第2発振器1512では、バッファ2011~2013およびインバータ2014が、発振スイッチ2030と交互に、直列かつリング状に接続されている。また、遅延調整用電流源2020が、バッファ2011~2013およびインバータ2014のそれぞれに設けられており、調整電圧に応じて、対応するバッファもしくはインバータの遅延時間を調整する。
高分解能TDC1501と比較すると、バッファおよび発振スイッチの数が7つから3つに減少している。一方、バッファ2011~2013およびインバータ2014はそれぞれ、遅延時間tbuffが、高分解能TDC1501のtbuffの2倍となるように第2発振調整回路1542で調整されている。
これにより、第2発振カウント回路1522のカウント周期は第1発振カウント回路1521のカウント周期と等しくなる。したがって、第2発振カウント回路1522の出力ビット数は第1発振カウント回路1521の出力ビット数と等しい。一方、発振器内部信号のビット数は、第2発振器1512の方が第1発振器1511よりも1ビット少なくすることができる。
上述の通り、低感度画素Lは長距離の測距に用いることを主に想定している。長距離の場合、ToFの計測分解能が測距結果の精度に与える影響は、長距離よりも短距離の方が大きい。そのため、低感度画素LのToFを計測する低分解能TDC1502では、回路規模や消費電力を削減することを優先し、ToFの計測分解能を高分解能TDC1501よりも低くしている。
遅延時間tbuffは、トランジスタの製造誤差など製造プロセスに起因する要因、TDC回路に印加される電圧のゆれ、温度によってばらつきが生じる。そのため、8個のTDCごとに第1発振調整回路1541および第2発振調整回路1542が設けられている。
図16は、第1発振調整回路1541および第2発振調整回路1542の機能構成例を示すブロック図である。第1発振調整回路1541および第2発振調整回路1542は同じ構成を有するため、以下では第1発振調整回路1541に関して説明する。第1発振調整回路1541は、ダミー発振器2101と1/23(1/8)分周器2102、および位相比較器2103を有する。
ダミー発振器2101は、接続されるTDCが有する発振器と同じ構成の発振器である。したがって、第1発振調整回路1541のダミー発振器2101は第1発振器1511と同じ構成を有する。第2発振調整回路1542のダミー発振器2101は第2発振器1512と同じ構成を有する。
ダミー発振器2101の出力は1/23分周器2102に入力される。1/23分周器2102は、入力されたクロック信号の周波数を1/23にしたクロック信号を出力する。位相比較器2103には同期クロックと1/23分周器2102の出力が入力される。位相比較器2103は、同期クロックの周波数と1/23分周器2102の出力するクロック信号の周波数とを比較する。
そして、位相比較器2103は、同期クロック信号の周波数の方が高い場合には出力電圧を上昇させ、同期クロックの周波数の方が低い場合には出力電圧を降下させる。位相比較器2103の出力は、調整電圧として第1発振器1511の遅延調整用電流源1620に入力され、第1発振器1511の発振周波数が同期クロックの23倍となるように遅延を調整する。第2発振調整回路1542においても同様である。
このように、発振器の発振周波数は、同期クロック周波数を基準に決定される。そのため、プロセス/電圧/温度の変化によらず一定周波数を出力可能な外付けICを用いて同期クロック信号を生成することにより、プロセス/電圧/温度の変化による発振器の発振周波数のばらつきを抑制することができる。
例えば、同期クロック信号として160MHzのクロック信号を入力することで、発振周波数は高分解能TDC1501および低分解能TDC1502のいずれにおいても同期クロック周波数の8倍の1.28GHzなる。TDCの時間分解能であるバッファ1段分の遅延時間tbuffは、高分解能TDC1501では48.8ps、低分解能TDC1502では97.7psとなる。
(測距シーケンス)
図17は、本実施形態における測距動作の一例に関するフローチャートである。
S2201で全体制御部140は、信号処理部123が有するヒストグラム回路および計測カウンタiをリセットする。また、全体制御部140は、S2202で発光させる発光素子211と光学的に対応する画素511の出力がTDCアレイ部122に入力されるよう、不図示の中継バッファの接続を変更する。
S2202で全体制御部140は、光源ユニット111の光源アレイ210を構成する発光素子211の一部を発光させる。同時に、全体制御部140は、TDCアレイ部122に対して計測開始を指示する。
TDCアレイ部122の高分解能TDC1501および低分解能TDC1502は、対応する画素511の出力が「0」から「1」に変化したことを検出すると、計測結果を信号処理部123に出力する。発光から、予め定められた最大測距レンジに対応する時間が経過すると、S2204が実行される。
S2204で信号処理部123は、画素ごとのヒストグラムにS2203で得られた計測結果を追加する。信号処理部123は、計測結果が得られていない画素についてはヒストグラムに計測結果を追加しない。
S2205で信号処理部123は、計測回数カウンタiの値に1を加える。
S2206で信号処理部123は、計測回数カウンタiの値が事前に設定された設定回数Ntotalより大きいか否かを判定する。信号処理部123は、計測回数カウンタiの値が設定回数Ntotalより大きいと判定されればS2207を、計測回数カウンタiの値が設定回数Ntotalより大きいと判定されなければ2202を実行する。
S2207で信号処理部123は、個々の画素のヒストグラムに基づいてノイズ成分と思われる計数結果を除去し、S2208を実行する。
S2208で信号処理部123は、個々の画素のヒストグラムにおいて、S2207で除去されずに残った計測結果を平均し、平均値を計測されたToFとして出力し、1回の測距シーケンスを終了する。
(感度の異なる画素を用いることによるノイズ光抑制効果)
ここで、S2207でのノイズ成分除去処理と、S2208での平均化について説明した後、感度の異なる画素Hと画素Lによるノイズ光低減効果について述べる。
図18(a)は、高感度画素Hにおける、Ntotal回のTDC計測結果のヒストグラムの例を示す図である。横軸はTDC計測結果(時間)、縦軸は頻度である。なお、TDC計測結果のビン幅は便宜上設定されたものである。
区間2302に含まれる計測結果は、頻度ピークを形成していることから、発光から受光までの時間の正しい計測結果であると考えられる。一方、区間2304に含まれる計測結果は、分布が不規則かつまばらであることから、ランダムに発生する環境光等のノイズ光、もしくは、ダークカウントによるノイズ成分であると考えられる。したがって、区間2304に含まれる計測結果は取り除き、区間2302に含まれる計測結果のみの平均2303を測距結果とする。
図18(b)も図18(a)と同様、高感度画素Hにおける、Ntotal回のTDC計測結果のヒストグラムの例を示す図である。被写体は図18(a)と同じであるが、図18(a)に示した計測時よりも環境光の多い状況で得られたTDC計測結果のヒストグラムの例を示している。区間2304に含まれるノイズ光でNtotal回のTDC計測が完了してしまい、被写体からの反射光に対するTDC計測結果が得られていない。
図18(c)は、図18(b)と同じ環境下において、低感度画素Lについて得られたNtotal回のTDC計測結果のヒストグラムの例を示す図である。高感度画素Hよりも感度が低いため、ノイズ光に対してTDC計測が行われる回数が減少する。その結果、区間2302に含まれる計測結果の数が増加し、図18(a)と同様に、区間2302に含まれる計測結果の平均値を測距結果として算出することができる。このように、低感度画素Lは、環境光ノイズが大きい状況への耐性が高感度画素Hより高い。
なお、ここではノイズ光の多い環境において起こりうる状況について説明した。しかし、同様の問題は、測距対象の物体が遠距離に存在する場合にも起こりうる。物体が遠距離に存在する場合、発光から反射光が戻ってくるまでの期間(すなわち、ノイズ光が検出される期間)が長くなるためである。
本実施形態では、高感度画素Hと低感度画素Lとを用いることで、ノイズ光の量が多い場合や遠くの物体を測距する場合であっても、ノイズ光の影響が抑制された安定した測距が可能である。さらに、受光素子(SPAD)の構成(受光面積や受光部の厚さ)や、受光素子への印加電圧は高感度画素Hおよび低感度画素Lで共通である。そのため、高感度画素Hで得られる測距結果と、低感度画素Lで得られる測距結果とのばらつきが小さく、精度のよい測距結果が得られる。
(HDR駆動方法)
次に、図18(d)および図18(e)を用いて、高感度画素Hと低感度画素LのHDR駆動について説明する。図18(d)は高感度画素Hの計測結果のヒストグラムの一例を、図18(e)は図18(d)の高感度画素Hに隣接する低感度画素Lの計測結果のヒストグラムの一例を、それぞれ示している。
高感度画素Hに対応する発光素子211の発光周期は2602であり、低感度画素Lに対応する発光素子211の発光周期は2702である。発光周期2702は発光周期2602の4倍である。そのため、同一時間内に高感度画素Hについては低感度画素Lより4倍多い回数の測距が可能である。平均化する測距結果の数が低感度画素Lよりも多くなる確率が高いことと、好感度画素Hについての計測は高分解能TDC1501が行うことから、高感度画素Hに対応する空間の測距精度は低感度画素Lに対応する空間の測距精度より高い。
測距する物体が遠くに存在する場合、ToFが長くなるため、ノイズ光を計測する可能性が高くなる。ノイズ光抑制効果の大きい低感度画素Lに対応する発光素子211は、反射光を検出するまで次の発光を行わない。一方、ノイズ光抑制効果の少ない高感度画素Hに対応する発光素子211は、反射光を検出する前に次の発光を行う。これにより、TDCによる計測開始から反射光を検出するまでの時間を短縮でき、発光してから反射光が到来するまでの間にノイズ光を計測する可能性を抑制することができ、ノイズ光が大きい環境下でも高感度画素Hで精度の良い時間計測が可能となる。
信号処理部123は、高感度画素Hについて得られた計測結果に対して、隣接する低感度画素Lについて得られた計測結果に基づくオフセット補正を適用する。オフセット補正は、高感度画素Hについての計測結果2611に対し、隣接する低感度画素Lについての計測結果2711に基づいて、高感度画素Hの発光周期(計測周期)2602の定数倍を加えることである。
高感度画素Hに隣接する低感度画素Lについての計測結果が2711であることから、高感度画素Hについても、発光した光の反射光が到来するまでの時間は、計測結果2711に近い値である可能性が高い。図18(d)および図18(e)の例では、低感度画素Lについての計測結果2711が、高感度画素Hについての発光周期2602の2倍より大きく3倍より小さい。そのため、オフセット補正において信号処理部123は、高感度画素Hの計測結果2611に発光周期2602の2倍の時間を加える。
なお、オフセット補正量は、補正対象の高感度画素Hに隣接する2つ以上の低感度画素Lについて得られている計測結果に基づいて決定してもよい。例えば、水平方向および/または垂直方向に隣接する4つまたは2つの低感度画素Lについて得られている計測結果に基づいてオフセット補正量を決定してもよい。
また、投光ユニット110の投光範囲を撮像する撮像ユニットを設け、撮像画像を用いて、オフセット補正量の決定に用いる低感度画素Lを特定してもよい。例えば、信号処理部123は、撮像画像に基づいて、補正対象の高感度画素Hと同じ被写体を測距していると考えられる1つ以上の隣接低感度画素Lを特定する。そして、信号処理部123は、特定された低感度画素Lについて得られている計測結果を用いて、オフセット補正量(もしくは高感度画素Hの発光周期に乗じる係数)を決定してもよい。
本実施形態によれば、感度の異なる受光素子を用いることにより、ダイナミックレンジの広い受光装置を実現することができる。また、受光素子に付加する光学要素によって受光素子の感度を異ならせるようにした。そのため、同一構成の受光素子を用いることができ、製造容易性および特性のばらつき抑制の観点から有利である。また、低感度画素については高感度画素よりも時間計測の分解能を低くすることで、測距精度の低下を抑制しつつ、回路規模や消費電力を効率よく低減することができる。
●(第2実施形態)
次に、本発明の第2実施形態について説明する。本実施形態に係る測距装置は、測距に複数の波長のパルス光を用いる。図19は、本実施形態に係る投光ユニット110の構成例を示す図であり、第1実施形態と共通する構成要素については図2と同じ参照数字を付してある。図19(a)は、光源ユニット111を構成するコリメータレンズアレイ2820の構成例を、図19(b)は、光源ユニット111を構成する光源アレイ2810の構成例をそれぞれ示す側面図である。
本実施形態では、光源アレイ2810が、第1の波長の光を出射する第1の発光素子2811と、第1の波長より長い第2の波長の光を出射する第2の発光素子2812とを有する。したがって、光源ユニット111は第1の波長の光と第2の波長の光とを同時に照射可能である。なお、発光波長を第1の波長と第2の波長とで切り替え可能な1種類の発光素子を用いてもよい。この場合、第1の波長を出射するように制御されている発光素子を第1の発光素子、第2の波長を出射するように制御されている発光素子を第2の発光素子として以下の説明を読み替えればよい。ここで、第1の波長および第2の波長は出射光の中心波長である。
ここでは、第1の発光素子2811および第2の発光素子2812がいずれもVCSELであり、行方向および列方向において交互に並ぶように2次元配列されているものとする。また、第1の発光素子2811の中心波長λ1は850nm、第2の発光素子2812の中心波長λ2は940nmとする。ただし、これら中心波長λ1、λ2は単なる例示である。また、発光波長の異なる3種類以上の発光素子を用いてもよい。
図19(a)に示すように、コリメータレンズアレイ2820は、第1の発光素子2811に対応した第1のコリメータレンズ2821と、第2の発光素子2812に対応した第2のコリメータレンズ2822とが2次元配列されている。したがって、第1のコリメータレンズ2821および第2のコリメータレンズ2822の配列は、光源アレイ2810における第1の発光素子2811および第2の発光素子2812の配列に対応している。第1のコリメータレンズ2821および第2のコリメータレンズ2822は、波長λ1とλ2に適した形状および/または材質を有してよい。また、性能上支障がなければ第1のコリメータレンズ2821および第2のコリメータレンズ2822は同一であってもよい。
図19(c)は、光源ユニット駆動部112、光源ユニット111、および投光レンズ131の配置例を示す垂直断面図である。本実施形態において、発光素子とコリメータレンズが2種類になっていることを除き、第1実施形態と同じ構成である。
図20は、図3(a)と同様に、本実施形態に係る投光ユニット110による投光パターンの例を示した図である。光源アレイ2810のうち、3行3列の発光素子が、投光ユニット110の発光面に対して正対する所定距離の平面に形成する投光パターンを示している。2910はである。9つの投光エリアのうち、投光エリア2911は第1の発光素子2811による投光エリアであり、投光エリア2912は第2の発光素子2812による投光エリアである。投光エリアは、平面2910における、個々の発光素子からの光の強度分布のうち、およそ半値全幅(FWHM)を直径とする領域を示している。
図21は、本実施形態における測距装置100の受光部121の構成例を概略的に示す垂直断面図である。本実施形態において、受光部121は、中心波長λ1の通過帯域を有する第1の画素3011と、中心波長λ2の通過帯域を有する第2の画素3012とを有する。受光部121における第1の画素3011と第2の画素3012との配列は、光源アレイ2810における第1の発光素子2811および第2の発光素子2812の配列に対応している。したがって、本実施形態では第1の画素3011と第2の画素3012とが行方向および列方向において交互に並ぶように2次元配列されている。
図7を用いて説明したように、1005は受光素子基板510の半導体層、1006は受光素子基板510の配線層、1007はロジック基板520の配線層である。第1の画素3011と、第2の画素3012の通過帯域は、図5(b)を用いて説明したような多層膜緩衝ミラーを用いた光学バンドパスフィルタによって実現することができる。したがって、第1の画素3011には通過帯域の中心波長がλ1の光学バンドパスフィルタが、第2の画素3012には通過帯域の中心波長がλ2の光学バンドパスフィルタが設けられる。なお、本実施形態においては、第1の光学バンドパスフィルタと第2の光学バンドパスフィルタの半値幅を積極的に異ならせなくてよい。また、第1の画素3011および第2の画素3012の構造はいずれも画素Hの構造であってよい。
図22は本実施形態にかかる測距装置100における光源アレイ2810と受光部121を用いた、2種類の波長の光を用いた測距を模式的に示す図である。便宜上、図22では光源アレイ2810からの光が物体を透過して受光部121に入射するように記載している。しかし、実際には光源アレイ2810からの光が物体に反射されて受光部121に入射する。また、投光レンズ131および受光レンズ132の記載を省いている。
第1の発光素子2811が発する中心波長λ1の光束3111は物体によって反射され、一部の反射光3121が、第1のバンドパスフィルタ3021を通過して第1の画素3011の受光領域1001(図7)に入射する。また、第2の発光素子2812が発する中心波長λ2の光束3112は物体によって反射され、一部の反射光3122が、第2のバンドパスフィルタ3022を通過して第2の画素3012の受光領域1001に入射する。
次に、上述した構成を有する光源ユニット111および受光部121を有する本実施形態の測距装置100における測距動作において、TDCアレイ部122がどのように第1の画素3011と第2の画素3012の出力を用いるかについて説明する。
まず、λ1(850nm)とλ2(940nm)の波長の違いによる相対的な特性の違いについて説明する。850nmの光は、近赤外光の中では比較的Siへの侵入長が短く、受光領域1001で光電変換される確率が高い。すなわち、受光感度が高い。
一方、940nmの光は、太陽光スペクトルが比較的小さいため、環境光に含まれる確率が低く、ノイズ光の影響を受けづらく、環境光の強度が高い場合に好適である。反面、940nmの光は水分による吸収が多いため、雨天時など湿度が高い環境ではSN比が低下しやすい。
このような特性の違いから、環境光強度が低い場合(例えば屋内)や雨天時など湿度が高い環境では、波長の短いλ1(850nm)の光で測距する方が高精度の測距結果を得やすい。一方、環境光強度が大きい場合(例えば晴天時)では、波長の長いλ2(940nm)の光で測距する方が高精度の測距結果を得やすい。したがって、環境光の影響が大きいと考えられる条件に該当する場合には第2の画素3012を用いて測距し、当該条件に該当しない場合には第1の画素3011を用いて測距するように決定することができる。
ただし、一方の種類の画素しか用いないと、距離情報の空間解像度が減少する。そのため、距離情報の空間解像度が測距精度よりも優先される場合には、第1の画素3011と第2の画素3012の両方を用いて測距を行ってもよい。
これらの判定に必要な情報(屋内/屋外、環境光強度、湿度、天気など)は、測距装置を用いる機器から取得することができる。もちろん、測距装置にこれらの情報を検出するセンサや、外部機器からこれらの情報を取得するための通信回路などを設けてもよい。また、測距する範囲を含んだ範囲を撮影した画像からこれらの情報を検出してもよい。また、撮影画像を外部装置に送信して、外部装置から情報を取得してもよい。あるいは、自身の位置情報を外部装置に提供して、これらの情報を取得してもよい。また、ユーザにこれらの情報を入力させてもよい。
図23に示すフローチャートは、例えば全体制御部140が実行することができる。全体制御部140は、計測に用いる光の波長(画素の種類)を決定すると、計測ユニット120に通知する。計測制御部124は、受光部121の第1の画素3011および第2の画素3012の出力のうち、通知に基づく画素に対してTDCアレイ部122で得られた計測結果に基づいて距離情報を求めるよう、TDCアレイ部122および信号処理部123を制御する。
なお、測距時の光源ユニット111の発光制御や光源ユニット駆動部112の駆動制御については、例えば予め定められた設定に応じて光源制御部113が行うものとする。また、TDCアレイ部122の動作や信号処理部123の測距時の動作は第1実施形態で説明した通りである。
したがって、以下では測距に用いる光の波長の決定動作についてのみ説明する。なお、この決定動作は、例えば測距を開始する際に実行することができる。例えば、図17を用いて説明した測距シーケンスの開始時に測距に用いる波長を決定し、1回の測距シーケンス(設定回数Ntotalの計測)の間、決定した波長は変更しない。光の波長の決定動作は他のタイミングで実行してもよい
S3211で全体制御部140は、測距装置100に設定されている動作モードが高解像度モードか高精度モードかを判定する。動作モードは例えばユーザが設定可能であり、全体制御部140が有するROMに設定値が記憶されている。なお、動作モードは、測距装置100を備える電子機器など、外部機器から設定されてもよい。高解像度モードは、測距の空間解像度を優先する動作モードであり、高精度モードは測距精度を優先する動作モードである。
全体制御部140は、高解像度モードが設定されている場合にはS3212を実行する。S3212で全体制御部140は、2種類の波長λ1(850nm)とλ2(940nm)の両方を使用することを決定し、波長決定処理を終了する。
一方、全体制御部140は、高精度モードが設定されている場合にはS3213を実行する。S3213で全体制御部140は、測距環境が屋内か屋外かを判定する。全体制御部140は、例えば、測距装置100もしくは外部機器が有する、環境光の種類を検出するセンサの出力や測距環境を撮影した画像を信号処理部123で解析した結果に基づいて判定を行うことができる。判定には他の方法を用いてもよい。
全体制御部140は、測距環境が屋内であると判定されればS3214を、屋外であると判定されればS3215を実行する。
S3214で全体制御部140は、高感度の計測が可能な波長λ1(850nm)を使用することを決定し、波長決定処理を終了する。
S3215で全体制御部140は、例えば内蔵時計や外部機器から取得した日時に基づいて、現在が日中(朝または昼)であるか、夜間であるかを判定する。例えば全体制御部140はROMに週ごとの日の出および日の入り時刻の目安を記憶しておき、取得した日時に基づいて日中か夜間かを判定することができる。測距装置の位置情報を取得できる場合には、位置情報を考慮してもよい。
全体制御部140は、現在が日中であると判定されればS3216を、夜間と判定されればS3219を実行する。
S3216で全体制御部140は、現在の天気が雨か雨以外かを判定する。ここではユーザが選択するものとするが、気圧センサおよび/または湿度センサの出力を用いたり、外部装置から取得したりすることにより、全体制御部140が判定してもよい。
ユーザから天気が選択されなかった場合、あるいは全体制御部140が判定できなかった場合、全体制御部140はS3217を実行する。S3217で全体制御部140は、2種類の波長λ1(850nm)とλ2(940nm)の両方を使用することを決定し、波長決定処理を終了する。なお、高解像度モードの場合と異なり、両方を使用して測定した結果を評価し、測距精度がよいと判定される一方を選択するように信号処理部123を制御する。
S3216でユーザが雨以外を指定した場合、あるいは全体制御部140が雨以外と判定した場合、全体制御部140はS3218を実行する。S3218で全体制御部140は、環境光耐性が強いλ2(940nm)を使用することを決定し、波長決定処理を終了する。
S3216でユーザが雨を指定した場合、あるいは全体制御部140が雨と判定した場合、全体制御部140はS3219を実行する。S3219で全体制御部140は、940nmよりも水に吸収されにくいλ1(850nm)を使用することを決定し、波長決定処理を終了する。
なお、ここで説明した波長決定処理における判定条件は例示であり、他の判定条件を用いたり、複数の条件を組み合わせて判定したりしてもよい。また、発光波長に応じて判定条件を変更してもよい。
また、測距環境に屋内と屋外が混在している場合なども考えられるため、基本的に両方の波長を用いて測距を行い、測距結果の評価に基づいて、測距範囲の部分領域ごとに一方の波長による測定結果を選択するように構成してもよい。測距結果の評価は公知の方法を用いて行うことができる。一例として、ヒストグラムのピーク頻度が高い、一定以上のピークが2つ以上存在しない、ピーク頻度を含む頻度群の半値幅が狭い(ピークの裾野が狭い)ことの1つ以上を、測距精度が高いことの指標として用いることができる。
本実施形態によれば、1組の光源ユニットおよび投光レンズと、1つの受光部とを用いて、複数の波長の光を用いた測距を行うことが可能であり、測距装置の小型化および低コスト化に有利である。また、複数の波長の光を用いた測距を並行して行い、精度が良好と判定される一方を用いることで、状況の変化に応じて適切な測距結果を得ることができる。また、測距の空間解像度が必要な場合には複数の波長の光を用いた測距結果を全て用いることができる。この場合、SN比の不利な波長による測距結果を、必要に応じて他の波長を用いた測距結果に基づいて補正することで、測距精度を改善することもできる。
(変形例)
本実施形態では説明および理解を容易にするため、受光部121の画素はすべて第1実施形態における高感度画素Hとした構成について説明した。しかし、第1実施形態と同様に、高感度画素Hと低感度画素Lとを用いることもできる。具体的には、波長λ1を通過させるための第1のバンドパスフィルタを有する高感度画素Hおよび低感度画素Lと、波長λ2を通過させるための第2のバンドパスフィルタを有する高感度画素Hおよび低感度画素Lとを受光部121に設けることができる。この場合も、低感度画素Lに設けるバンドパスフィルタの半値幅は、高感度画素Hに設けるバンドパスフィルタの半値幅よりも狭くすることができる。
バンドパスフィルタの種類ごとに高感度画素Hおよび低感度画素Lを設けることにより、受光部121のダイナミックレンジを測距に使用する光の波長ごとに拡大することができる。感度の異なる画素を設ける場合、上述したHDR駆動方法にしたがって発光制御を行うことにより、ノイズ光の影響をより低減することができる。
また、測距環境に応じて高感度画素Hと低感度画素Lの一方についてのみ計測を行ったり、一方について得られた測距結果のみ用いたりしてもよい。例えば、短い方の波長であるλ1(850nm)を使用する環境では、低感度画素Lについてのみ計測を行ったり、高感度画素Hと低感度画素Lで計測を行い、低感度画素Lについて得られた計測結果のみを用いたりしてもよい。
また、λ2(940nm)を使用する環境では、高感度画素Hについてのみ計測を行ったり、高感度画素Hと低感度画素Lで計測を行い、高感度画素Hについて得られた計測結果のみを用いたりしてもよい。高感度画素Hと低感度画素Lの一方でのみ計測を行う場合には、消費電力を抑制することができる。また、環境により適した感度の画素について得られた測距結果を用いることで、容易な手法で高い計測精度を実現することができる。
(その他の実施形態)
上述した測距装置は、距離情報を用いて所定の処理を実行する処理手段を有する任意の電子機器において実施可能である。このような電子機器には、撮像装置、コンピュータ機器(パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、PDAなど)、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、車両などが含まれる。これらは例示であり、本発明に係る測距装置は他の電子機器においても実施可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
100…測距装置、110…投光ユニット、111…光源ユニット、120…計測ユニット、122…TDCアレイ部、123…信号処理部、124…計測制御部、131…投光レンズ、140…全体制御部、

Claims (13)

  1. 第1の波長の光と、前記第1の波長よりも長い第2の波長の光とを同時に照射可能な光源ユニットと、
    画素が2次元に配列された画素アレイを有し、前記画素への光の入射を検出する受光部と、
    測距の開始から前記画素への光の入射が検出されるまでの時間を検出し、該検出した時間に基づいて距離情報を算出する計測手段と、を有し、
    前記画素アレイには前記第1の波長の光を受光するように構成された第1の画素と、前記第2の波長の光を受光するように構成された第2の画素とが2次元に配列されることを特徴とする測距装置。
  2. さらに、前記第1の画素および前記第2の画素のうち前記距離情報の算出に用いる画素を決定する決定手段を有し、
    前記計測手段は、前記決定手段が決定した画素について検出された時間に基づいて前記距離情報を算出する、
    ことを特徴とする請求項1に記載の測距装置。
  3. 前記決定手段は、前記距離情報の算出に用いる画素を、前記測距装置に設定されている動作モードに応じて決定することを特徴とする請求項2に記載の測距装置。
  4. 前記決定手段は、前記測距装置が高解像度モードに設定されている場合には前記距離情報の算出に前記第1の画素および前記第2の画素を用いることを決定することを特徴とする請求項3に記載の測距装置。
  5. 前記決定手段は、前記測距装置が高解像度モードに設定されていない場合、予め定められた、環境光の影響が大きいと考えられる条件に該当する場合には前記距離情報の算出に前記第2の画素を用いることを決定し、該条件に該当しない場合には前記距離情報の算出に前記第1の画素を用いることを決定することを特徴とする請求項3または4に記載の測距装置。
  6. 前記条件が、屋外かつ雨以外の天気であることを特徴とする請求項5に記載の測距装置。
  7. 前記計測手段は、前記第1の画素について検出された時間と、前記第2の画素について検出された時間との一方に基づいて、前記距離情報を算出することを特徴とする請求項1または2に記載の測距装置。
  8. 前記計測手段は、前記第1の画素について検出された時間のヒストグラムと、前記第2の画素について検出された時間のヒストグラムとに基づいて、前記第1の画素について検出された時間と、前記第2の画素について検出された時間との一方を選択し、前記距離情報の算出に用いることを特徴とする請求項7に記載の測距装置。
  9. 前記光源ユニットは、前記第1の波長の光を照射する第1の発光素子と、前記第2の波長の光を照射する第2の発光素子とが2次元に配列された光源アレイを有することを特徴とする請求項1から8のいずれか1項に記載の測距装置。
  10. 前記画素アレイにおける前記第1の画素と前記第2の画素の配列が、前記光源アレイにおける前記第1の発光素子と前記第2の発光素子の配列に対応していることを特徴とする請求項9に記載の測距装置。
  11. 前記第1の画素には前記第1の波長の光を通過させる第1の光学バンドパスフィルタが設けられ、前記第2の画素には前記第2の波長の光を通過させる第2の光学バンドパスフィルタが設けられることを特徴とする請求項1から10のいずれか1項に記載の測距装置。
  12. 前記第1の画素および前記第2の画素のそれぞれには、第1の感度を有する高感度画素と、前記第1の感度より低い感度を有する低感度画素が含まれることを特徴とする請求項1から11のいずれか1項に記載の測距装置。
  13. 請求項1から12のいずれか1項に記載の測距装置と、
    前記測距装置で得られる距離情報を用いて所定の処理を実行する処理手段と、
    を有することを特徴とする電子機器。
JP2021074415A 2021-04-26 2021-04-26 測距装置 Pending JP2022168742A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021074415A JP2022168742A (ja) 2021-04-26 2021-04-26 測距装置
DE112022002415.1T DE112022002415T5 (de) 2021-04-26 2022-03-28 Entfernungsbestimmungsvorrichtung
PCT/JP2022/014825 WO2022230523A1 (ja) 2021-04-26 2022-03-28 測距装置
KR1020237037991A KR20230167079A (ko) 2021-04-26 2022-03-28 측거장치
GB2318010.2A GB2621766A (en) 2021-04-26 2022-03-28 Distance measurement device
US18/492,663 US20240053443A1 (en) 2021-04-26 2023-10-23 Range finding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021074415A JP2022168742A (ja) 2021-04-26 2021-04-26 測距装置

Publications (2)

Publication Number Publication Date
JP2022168742A true JP2022168742A (ja) 2022-11-08
JP2022168742A5 JP2022168742A5 (ja) 2024-05-09

Family

ID=83848007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021074415A Pending JP2022168742A (ja) 2021-04-26 2021-04-26 測距装置

Country Status (6)

Country Link
US (1) US20240053443A1 (ja)
JP (1) JP2022168742A (ja)
KR (1) KR20230167079A (ja)
DE (1) DE112022002415T5 (ja)
GB (1) GB2621766A (ja)
WO (1) WO2022230523A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024134933A1 (ja) * 2022-12-22 2024-06-27 株式会社Jvcケンウッド 距離情報取得装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10321115B2 (en) * 2016-12-02 2019-06-11 Samsung Electronics Co., Ltd. Three-dimensional depth sensor
JP7100518B2 (ja) * 2017-08-31 2022-07-13 キヤノン株式会社 固体撮像素子及び撮像装置
JP7271119B2 (ja) * 2017-10-20 2023-05-11 ソニーセミコンダクタソリューションズ株式会社 デプス画像取得装置、制御方法、およびデプス画像取得システム
WO2020037197A1 (en) * 2018-08-16 2020-02-20 Sense Photonics, Inc. Integrated lidar image-sensor devices and systems and related methods of operation
JP7147731B2 (ja) 2019-11-12 2022-10-05 株式会社三洋物産 遊技機
CN115066634A (zh) * 2020-02-10 2022-09-16 上海禾赛科技有限公司 用于Lidar系统的自适应发射器和接收器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024134933A1 (ja) * 2022-12-22 2024-06-27 株式会社Jvcケンウッド 距離情報取得装置

Also Published As

Publication number Publication date
US20240053443A1 (en) 2024-02-15
GB2621766A (en) 2024-02-21
WO2022230523A1 (ja) 2022-11-03
GB202318010D0 (en) 2024-01-10
DE112022002415T5 (de) 2024-03-07
KR20230167079A (ko) 2023-12-07

Similar Documents

Publication Publication Date Title
EP3574344B1 (en) Spad detector having modulated sensitivity
US20210181317A1 (en) Time-of-flight-based distance measurement system and method
WO2021128587A1 (zh) 一种可调的深度测量装置及测量方法
KR102409952B1 (ko) 고해상도, 고프레임률, 저전력 이미지 센서
JP6977045B2 (ja) 物体までの距離を決定するためのシステム及び方法
US20230176223A1 (en) Processing system for lidar measurements
JP6665873B2 (ja) 光検出器
US11112494B2 (en) Photodetector and portable electronic equipment
JP6990158B2 (ja) 距離計測装置、及び距離計測方法
US20240053443A1 (en) Range finding apparatus
CN114019478A (zh) 光学检测装置及电子设备
JP7423485B2 (ja) 距離計測装置
CN112068148A (zh) 光检测装置、以及电子设备
CN114019474A (zh) 发射模组、光学检测装置及电子设备
CN114019475A (zh) 接收模组、光学检测装置及电子设备
WO2022230520A1 (ja) 投光ユニットおよびそれを用いた測距装置
WO2022230521A1 (ja) 受光装置および測距装置
US11592568B2 (en) Measurement device and method of operating therefor
WO2022230522A1 (ja) 測距装置および計測ユニット
CN114371463A (zh) 一种光感应模组及采用其的激光雷达
US11418006B1 (en) Integrated device for optical time-of-flight measurement
CN114019477A (zh) 一种电子设备
WO2021144340A1 (en) Apparatus and method for detecting two photon absorption
Yuan et al. Large format Geiger-mode avalanche photodiode LADAR camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240425