JP2020165677A - 測距装置 - Google Patents

測距装置 Download PDF

Info

Publication number
JP2020165677A
JP2020165677A JP2019063650A JP2019063650A JP2020165677A JP 2020165677 A JP2020165677 A JP 2020165677A JP 2019063650 A JP2019063650 A JP 2019063650A JP 2019063650 A JP2019063650 A JP 2019063650A JP 2020165677 A JP2020165677 A JP 2020165677A
Authority
JP
Japan
Prior art keywords
light
image
distance
pixel
background light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019063650A
Other languages
English (en)
Other versions
JP7115390B2 (ja
Inventor
一樹 加藤
Kazuki Kato
一樹 加藤
柳井 謙一
Kenichi Yanai
謙一 柳井
謙太 東
Kenta Azuma
謙太 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019063650A priority Critical patent/JP7115390B2/ja
Priority to PCT/JP2020/012997 priority patent/WO2020196510A1/ja
Priority to CN202080025163.9A priority patent/CN113646660B/zh
Publication of JP2020165677A publication Critical patent/JP2020165677A/ja
Priority to US17/486,198 priority patent/US20220011440A1/en
Application granted granted Critical
Publication of JP7115390B2 publication Critical patent/JP7115390B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/12Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof structurally associated with, e.g. formed in or on a common substrate with, one or more electric light sources, e.g. electroluminescent light sources, and electrically or optically coupled thereto
    • H01L31/16Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof structurally associated with, e.g. formed in or on a common substrate with, one or more electric light sources, e.g. electroluminescent light sources, and electrically or optically coupled thereto the semiconductor device sensitive to radiation being controlled by the light source or sources
    • H01L31/167Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof structurally associated with, e.g. formed in or on a common substrate with, one or more electric light sources, e.g. electroluminescent light sources, and electrically or optically coupled thereto the semiconductor device sensitive to radiation being controlled by the light source or sources the light sources and the devices sensitive to radiation all being semiconductor devices characterised by potential barriers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
    • H01L31/107Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】測距装置の使用環境に応じて、距離画像および背景光画像の解像度を適切に設定する。【解決手段】測距装置10は、照射部20と、複数の受光要素31が面状に配列された受光面S1を有し、画素範囲内の受光要素の集まりを一画素として、各画素に含まれる受光要素の受光状態に応じた受光信号を出力する受光部30と、受光信号を利用して各画素における照射光の照射範囲内の物体までの距離を示す距離画像を取得する距離画像取得部50と、受光信号を利用して背景光画像を取得する背景光画像取得部60と、背景光の強度に関連する強度関連情報を取得する情報取得部81と、強度関連情報に関連する背景光の強度に応じて、距離画像と背景光画像とに対してそれぞれ独立して画素範囲の大きさを設定して解像度を制御する解像度制御部82と、を備える。【選択図】図2

Description

本開示は、対象物までの距離を測定する測距装置に関する。
従来より、測距装置として、光を照射し、かかる照射光が対象物で反射した反射光を受光し、照射光を照射してから受光するまでの時間(ToF:Time of Flight)を算出し、得られた時間を利用して対象物までの距離を測定する測距装置が種々提案されている(特許文献1参照)。このような測距装置では、反射光を含む画像であって各方位で測定した距離の値を各画素の値として持った画像である距離画像に加え、日光や街灯の明かりなどにより対象物に反射した光を測距装置が受光した値を背景光(環境光とも呼ぶ)とし、その強度を各画素の値として持った画像である背景光画像が取得される。そして、特定された背景光の強度に基づき閾値強度が決定され、距離画像内の反射光は、かかる強度閾値以上の光として検出される。
特開2017−173298号公報
特許文献1の測距装置などの従来の測距装置では、距離画像も背景光画像もいずれも同じ解像度(分解能)で取得されていた。このため、例えば、晴れた昼間に高解像度で距離画像を撮像すると、ノイズが大きくなり距離を精度良く取得することが困難になるという問題がある。また、これとは逆に、夕方や夜やトンネル内といった比較的暗い環境ではノイズの影響が少ないために、より高解像度な距離画像を、測定精度を維持しつつ得られるにも関わらず、低解像度の距離画像しか得ることができない。加えて、例えば、比較的暗い環境において高解像度で背景光画像が取得された場合、各画素においてほとんど光を検出できず背景光の強度が極端に低く特定されてしまう。この場合、反射光以外の明かりも対象物からの反射光であると誤検出されるおそれがある。このようなことから、測距装置の使用環境に応じて、距離画像および背景光画像の解像度を適切に設定可能な技術が望まれる。
本開示は、以下の形態として実現することが可能である。
本開示の一形態として、対象物(OB)までの距離を測定する測距装置(10)が提供される。この測距装置は、照射光を照射する照射部(20)と、照射された前記照射光の反射光を受光可能な複数の受光要素(31)が面状に配列された受光面(S1)を有し、変更可能に設定されている大きさの画素範囲内の前記受光要素の集まりを一
画素として、各画素(G)に含まれる前記受光要素の受光状態に応じた受光信号を出力する受光部(30)と、出力された前記受光信号を利用して、各画素における前記対象物を含む前記照射光の照射範囲内の物体までの距離を示す距離画像を取得する距離画像取得部(50)と、出力された前記受光信号を利用して、各画素における背景光の受光強度を示す背景光画像を取得する背景光画像取得部(60)と、前記背景光の強度に関連する強度関連情報を取得する情報取得部(81)と、取得された前記強度関連情報に関連する前記背景光の強度に応じて、前記距離画像と前記背景光画像とに対してそれぞれ独立して前記画素範囲の大きさを設定して、前記距離画像の解像度と前記背景光画像の解像度とを制御する解像度制御部(82)とを備える。
上記形態の測距装置によれば、取得された強度関連情報に関連する背景光の強度に応じて、距離画像と背景光画像とに対してそれぞれ独立して画素範囲の大きさを設定して、距離画像の解像度と背景光画像の解像度とを制御するので、測距装置の使用環境に応じて、距離画像および背景光画像の解像度を適切に設定できる。
本開示は、測距装置以外の種々の形態で実現することも可能である。例えば、測距装置を備える車両、測距方法、これらの装置や方法を実現するためのコンピュータプログラム、かかるコンピュータプログラムを記憶した記憶媒体等の形態で実現することができる。
本開示の一実施形態としての測距装置を搭載した車両と照射光の照射範囲を示す説明図である。 第1実施形態の測距装置の構成を示すブロック図である。 MP用加算器から出力される受光数の合算値の推移の一例を示す説明図である。 第1実施形態の測距処理の手順を示すフローチャートである。 第1実施形態における明環境での距離画像および背景光画像の一例を示す説明図である。 第1実施形態における暗環境での距離画像および背景光画像の一例を示す説明図である。 第3実施形態の測距処理の手順を示すフローチャートである。 第3実施形態における測距処理が実行される際の車両の周囲環境の一例を示す説明図である。 第3実施形態における距離画像および背景光画像の一例を示す説明図である。 第3実施形態における測距処理が実行される際の車両の周囲環境の他の例を示す説明図である。 第3実施形態における距離画像および背景光画像の他の例を示す説明図である。 第4実施形態の測距装置の構成を示すブロック図である。 第4実施形態の測距処理の手順を示すフローチャートである。
A.第1実施形態:
A1.装置構成:
図1に示すように、本実施形態の測距装置10は、車両500に搭載され、車両500の前方の周囲に存在する物体(以下、「対象物」とも呼ぶ)、例えば、他の車両や歩行者や建物等までの距離を測定する。測距装置10は、照射光Lzを照射して、対象物からの反射光を受光する。図1では、照射光Lzの射出中心位置を原点とし、車両500の前方方向をY軸とし、原点を通り車両500の幅方向左から右の方向をX軸とし、原点を通り鉛直上方をZ軸として表わしている。図1に示すように、照射光Lzは、Z軸方向に縦長の光であり、X−Y平面と平行な方向の一次元走査により照射される。測距装置10は、対象物からの照射光Lzの反射光に加えて、背景光を受光する。背景光とは、照射光Lzとは異なる光(直接光)、または、かかる光が対象物に反射して測距装置10にて受光された光を意味する。照射光Lzとは異なる光とは、例えば、日光や街灯の光などが該当する。測距装置10は、所定範囲Arからそれぞれ受光した光の強度に関連する情報を利用して背景光の強度を特定し、かかる強度に基づき閾値を設定する。そして、各所定範囲Arから受光した光のうち設定された閾値以上の強度の光を対象物からの反射光として特定し、照射光Lzを照射してから反射光を受光するまでの時間、すなわち、光の飛行時間TOF(Time of Flight)を特定する。そして、かかる飛行時間TOFを、車両500と対象物との間を光が往復する時間であるものとして、対象物までの距離を算出する。上述の所定範囲Arは、後述の画素Gに対応する範囲である。
図2に示すように、測距装置10は、照射部20と、受光部30と、4つのマクロピクセル(MP)用加算器41、42、43、44と、画素用加算器45と、距離画像取得部50と、情報取得部81と、解像度制御部82と、を備える。
照射部20は、照射光Lzを照射する。照射部20は、レーザ光源21と、照射制御部22と、走査部23とを備える。レーザ光源21は半導体レーザダイオードにより構成されており、パルスレーザ光を照射光Lzとして所定周期ごとに照射する。例えば、所定周期は、照射光Lzが照射されて所定範囲内の対象物からの反射光が測距装置10において受光されるまでに要する期間以上の期間として予め実験等により求めて設定されている。なお、レーザ光源21から射出された照射光Lzは、図示しない光学系により図1に示すような縦長の照射光Lzに形成される。照射制御部22は、レーザ光源21からのパルレーザ光の照射、およびミラー232の回動を制御する。走査部23は、回転軸231を中心にミラー232を回動させることによって照射光Lzの一次元走査を所定測定範囲に亘って行う。ミラー232は、例えば、MEMSミラーによって構成される。ミラー232の回動は、照射制御部22によって制御される。走査部23によって照射光Lzの一次元走査が行われることにより、照射部20は、測定範囲に対して照射光Lzを照射する方位を変更しながら照射光Lzを照射する。なお、レーザ光源21として、レーザダイオード素子に代えて、固体レーザ等の他の任意の種類のレーザ光源を用いてもよい。また、照射光Lzは横長でも良く、走査は二次元走査でも良い。
照射部20により照射された照射光Lzは、測定範囲内の対象物OBにより反射される。対象物OBにより反射された反射光は、受光部30により受光される。本実施形態では、受光部30は、受光面S1における反射光の大きさが、受光面S1の大きさよりも小さくなるように構成された図示しない光学系を通じて反射光を受光する。なお、反射光は、その一部(例えば、長手方向の端部)が、受光面S1からはみ出すように受光部30によって受光されてもよい。
受光部30は、受光面S1に複数の画素Gを二次元配列状に備える。図2では、図示の便宜上、1つの画素Gのみ記載している。図1の例では、各画素Gは、縦2個×横2個の計4個のマクロピクセルMP1〜MP4を備える。各マクロピクセルMP1〜MP4は、縦5個×横5個の計25個の受光要素31を有する。したがって、図1の例では、各画素Gは、縦10個×横10個の計100個の受光要素31を備える。本実施形態において、受光要素31は、SPAD(シングルフォトンアバランシェダイオード)を備える。SPADは、光(フォトン)を入力すると、一定の確率で、光の入射を示すパルス状の出力信号(以下、「受光信号」とも呼ぶ)を出力する。したがって、図2の例では、各マクロピクセルMP1〜MP4は、それぞれ受光した光の強度に応じて0〜25個の受光信号を出力する。また、画素G全体として、受光した光の強度に応じて0〜100個の受光信号を出力する。図2に示す画素Gの画素範囲、すなわち、縦2個×横2個のマクロピクセルからなり、縦10個×横10個の受光要素31からなる大きさを、本実施形態では、基準画素範囲と呼ぶ。ただし、画素Gの大きさ(画素範囲)は、基準画素範囲から可変であり、後述の測距処理において、背景光の強度に応じて設定される。
MP用加算器41は、マクロピクセルMP1を構成する各受光要素31に接続されており、マクロピクセルMP1内の受光要素31から出力される受光信号の数を加算する。同様に、他のMP用加算器42〜44は、マクロピクセルMP2〜MP4を構成する各受光要素31に接続されており、マクロピクセルMP2〜MP4内の受光要素31から出力される受光信号の数(以下、「受光数」とも呼ぶ)を、それぞれ加算する。なお、図2では、1つの画素Gを構成する4つのマクロピクセルMP1〜MP4に対応する4つのMP用加算器41〜44のみを表しているが、測距装置10は、その他の画素Gを構成するマクロピクセル用のMP用加算器を複数備えている。
画素用加算器45は、1つの画素Gの受光数、すなわち1つの画素に含まれる受光要素31から出力される受光信号の数を加算する。具体的には、画素用加算器45は、4つのMP用加算器41〜44に接続されており、各MP用加算器41〜44から加算結果、すなわち、各マクロピクセルMP1〜MP4内の受光数の合算値を入力して、これらを合算する。なお、画素用加算器45は、各画素Gに対して設けられているが、図2では、1つの画素Gに対応する画素用加算器45のみを表している。また、画素用加算器45は、画素範囲が変更された場合には、変更後の画素範囲内の各マクロピクセルから入力する合算値を合算する。
距離画像取得部50は、距離画像を取得する。距離画像とは、各画素Gの受光強度に基づき算出された各画素Gにおける対象物までの距離を示す画像を意味する。距離画像取得部50は、測距ヒストグラム用メモリ51と、ピーク検出部52と、閾値決定部53と、距離演算部54とを備える。
測距ヒストグラム用メモリ51は、各画素Gの受光強度、すなわち、各画素Gにおける受光数を単位期間ごとに並べたヒストグラム(以下、「測距ヒストグラム」と呼ぶ)を記憶する。測距ヒストグラム用メモリ51は、画素用加算器45から受信する画素Gの合算値、すなわち、画素Gの受光数を受信して記憶する。なお、測距ヒストグラム用メモリ51は、各画素Gに設けられている。測距ヒストグラム用メモリ51は、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)などの書き換え可能な不揮発性メモリにより構成してもよい。
ピーク検出部52は、測距ヒストグラム用メモリ51に記憶されている測距ヒストグラム(受光数)に基づき各画素Gについての各照射周期Tにおいて閾値決定部72により決定された判定閾値以上の受光数のピークを検出し、そのときの時刻を特定する。図3の例では、上述の時刻t11のピークおよび時刻t21のピークが検出される。
閾値決定部53は、ピーク検出部71により検出された測距ヒストグラム(受光数)のピークが照射光Lzの反射光によるピークであるか否かを判定する際に用いられる閾値(以下、「判定閾値」とも呼ぶ)を決定する。閾値決定部72は、背景光画像に基づき決定される。判定閾値の決定方法の詳細については、後述する。
距離演算部54は、対象物までの距離を算出する。具体的には、照射光Lzの照射時刻からピーク検出部71により検出されたピークの時刻までの期間を飛行時間TOFとして、対象物までの距離を算出する。図3の例では、ピーク検出部71により判定閾値Thrが決定されており、距離演算部73は、時刻t11において受光数が判定閾値Thr以上であるため、時刻t0から時刻t11までの期間Δt1を飛行時間TOFとして、対象物までの距離を算出する。同様に、距離演算部73は、時刻t21において受光数が判定閾値Thr以上であるため、時刻t2から時刻t21までの期間Δt2を飛行時間TOFとして、対象物までの距離を算出する。
背景光画像取得部60は、各画素Gにおける背景光の受光強度を示す画像である背景光画像を取得する。背景光画像取得部60は、第1カウンタ61と、第2カウンタ62とを備える。各カウンタ61、62は、それぞれ4つのMP用加算器41〜44に接続されている。第1カウンタ61は、照射光Lzの照射周期のうち、前半期間における4つのMP用加算器41〜44から出力される受光数を加算する。第2カウンタ62は、照射光Lzの照射周期のうち、後半期間における4つのMP用加算器41〜44から出力される受光数を加算する。
図3において、横軸は時刻を示し、縦軸は、4つのMP用加算器41〜44から出力される受光数の合算値を示す。時刻t0から時刻t2までの期間、および時刻t2から時刻t4までの期間は、それぞれ照射光Lzの照射周期Tを示している。時刻t1は、時刻t0から時刻t2までの期間の1/2の時刻であり、時刻t3は、時刻t2から時刻t4までの期間の1/2の時刻である。第1カウンタ61は、時刻t0から時刻t2までの照射周期Tのうちの前半期間Ta(時刻t0〜t1)における受光数を加算する。同様に、第1カウンタ61は、時刻t2から時刻t4までの照射周期Tのうちの前半期間Ta(時刻t2〜t3)における受光数を加算する。また、第2カウンタ62は、時刻t0から時刻t2までの照射周期Tのうちの後半期間Tb(時刻t1〜t2)における受光数を加算する。同様に、第2カウンタ62は、時刻t2から時刻t4までの照射周期Tのうちの後半期間Tb(時刻t3〜t4)における受光数を加算する。
図3の例では、時刻t0から時刻t2までの照射周期Tにおいて時刻t11に受光数のピークが生じている。このピークは、反射光を受光してことにより生じたピークである。このときの時刻t1〜t11までの期間Δt1は、飛行時間TOFに相当する。同様に、時刻t2から時刻t4までの照射周期Tにおいて時刻t21に受光数のピークが生じている。このピークは、反射光を受光してことにより生じたピークである。このときの時刻t2〜t21までの期間Δt2は、飛行時間TOFに相当する。本実施形態では、受光数のピークの時刻、図3の例では、時刻t11および時刻t21をピーク時刻とも呼ぶ。なお、各照射周期Tでは、ピーク以外の時刻においても、0(ゼロ)ではない受光数が計測されている。これは、背景光によるものである。
背景光画像取得部60は、ピーク検出部71によりピークが検出された場合、前半期間Taと後半期間Tbとのうち、ピークが検出された時刻を含まない期間の受光数を利用して背景光画像を取得する。かかる背景光画像の取得の詳細については、後述する。なお、背景光画像取得部60は、第1カウンタ61および第2カウンタ62の組を、画素Gごとに備えているが、図2では図示の便宜上、1つの画素Gに対応するカウンタ61、62の組のみを表している。
図2に示す情報取得部81は、背景光の強度に関連する情報(以下、「強度関連情報」と呼ぶ)を取得する。本実施形態において、強度関連情報は、下記(i)〜(iv)が該当する。
(i)背景光画像の強度を示す受光数の情報。
(ii)車両500が備える図1に示すライト511の点灯状態を示す情報。
(iii)車両500が備える図1に示す日射センサ512の検出結果を示す情報。
(iv)車両500が備える図1に示すワイパ装置513の動作状態を示す情報。
上記情報(i)は、背景光画像取得部60から取得する。背景光画像取得部60では、閾値決定部72と同様に、背景光画像の平均受光数を求め、かかる平均受光数についての情報を、背景光画像の強度を示す情報として情報取得部81に送信する。上記情報(ii)は、ライト511が点灯しているか消灯しているかを示す情報を意味し、ライト511を制御するECU(Electronic Control Unit)から取得される。上記情報(iii)は、日射センサ512により検出された日射量を意味し、日射センサ512を制御するECUから取得される。上記情報(iv)は、ワイパ装置513が動作しているか否かを示す情報を意味し、ワイパ装置513を制御するECUから取得される。
解像度制御部82は、情報取得部81により取得された強度関連情報に関連する背景光の強度に応じて、距離画像と背景光画像とに対してそれぞれ独立して画素範囲の大きさを設定して、距離画像の解像度と、背景光画像の解像度とを制御する。画素用加算器45は、解像度制御部82により設定された画素範囲に応じて、1つの画素に含まれるすべてのMP用加算器から受光数を取得して合算する。また、背景光画像取得部60は、解像度制御部82により設定された画素範囲に応じて、1つの画素に含まれるすべてのMP用加算器から受光数を取得して第1カウンタ61または第2カウンタ62により合算する。なお、解像度制御部82が実行する処理の詳細については、後述する。
A2.測距処理:
図4に示す測距処理は、対象物までの距離を測定するための処理である。かかる測距処理は、車両500のイグニッションがオンすると実行される。なお、車両500において、予め測距処理の開始および終了のユーザによる指示を受け付けるインターフェイス、例えば、インストルメントパネルに設けられた物理的なボタンや、モニタに表示されるメニュー画面において、ユーザによる開始指示を受け付けた場合に、測距処理が開始されてもよい。測距処理に含まれる後述のステップS105〜S150は、照射周期Tごとに繰り返し実行される。
情報取得部81は、背景光の強度関連情報を取得する(ステップS105)。具体的には、上述の情報(i)〜(iv)をすべて取得する。情報(i)については、前回周期で求められた背景光画像全体での平均受光数が取得される。
解像度制御部82は、ステップS105で得られた強度関連情報に基づき、照射光Lzの照射範囲の明るさ環境を特定する(ステップS110)。本実施形態において、明るさ環境とは、明るい環境(以下、「明環境」と呼ぶ)と、明環境よりも暗い環境(以下、「暗環境」と呼ぶ)とのいずれかを意味する。解像度制御部82は、背景光の平均受光数が閾値以上である場合に明環境であり、閾値未満である場合に暗環境であると判断する。ステップS110では、上記情報(i)に関して、背景光画像の平均受光数が閾値以上であり、上記情報(ii)がライト511は消灯状態であることを示し、上記情報(iii)が日射センサ12の検出結果は所定の日射量閾値以上であることを示し、上記(iv)がワイパ装置513は動作していないことを示す場合に、明環境であると特定し、それ以外の場合に暗環境であると特定する。一般的には、晴れた日の昼間に建物の陰やトンネル内等とは異なる場所を車両500が走行中である場合に明環境であると特定される。これに対して、夜間である場合や、建物の陰やトンネル内を走行中である場合などには、暗環境であると特定される。
解像度制御部82は、ステップS110で特定された明るさ環境に応じて、距離画像と、背景光画像と、についてそれぞれ独立して解像度を決定する(ステップS115)。
ステップS115において、解像度制御部82は、明環境においては、距離画像Fd1については、画素範囲を基準画素範囲よりも大きくすることにより解像度を下げ、背景光画像Fb1については、画素範囲を基準画素範囲とする。図5に示すように、明環境の距離画像Fd1の画素Gd1の大きさは、背景光画像Fb1の画素Gb1、すなわち、画素Gの大きさよりも大きい。つまり、距離画像は、背景光画像よりも低分解能になる。本実施形態では、画素Ga1の横は、画素Gの横の3倍であり、画素Ga1の縦は、画素Gの縦の4倍である。なお、画素Ga1の具体的な大きさは、本実施形態の大きさに限らず、画素Gよりも大きな任意の大きさにしてもよい。
また、ステップS115において、解像度制御部82は、暗環境においては、距離画像Fd2の画素範囲を基準画素範囲とし、背景光画像Fb2については、画素範囲を大きくすることにより解像度を下げる。図6に示す暗環境の背景光画像Fb2の画素範囲は、図5に示す明環境の距離画像Fd1の画素範囲と同じである。なお、暗環境の背景光画像Fb2の画素範囲を、明環境の距離画像Fd1の画素範囲と異ならせてもよい。但し、基準画素範囲(画素G)の大きさよりも大きくする。つまり、背景光画像は、距離画像よりも低分解能になる。ステップS115におけるこのような解像度の設定理由については、後述する。なお、図5、6では、各画素(画素範囲)の大きさのみを示し、各画素における受光強度は省略されている。
図4に示すように、解像度制御部82は、ステップS115で決定された距離画像の解像度、すなわち、距離画像の画素範囲に応じて、MP用加算器と画素用加算器45との対応付けを行い、背景光画像取得部60は、ステップS115で決定された距離画像の解像度、すなわち、距離画像の画素範囲に応じて、MP用加算器と2つのカウンタ61、62との対応付けを行う(ステップS120)。例えば、図5に示す明環境の距離画像については、図2に示す基準画素範囲(画素G)に比べて、横に3倍の数のMP用加算器と、縦に4倍の数のMP用加算器とを、1つの画素用加算器45に対応付ける。また、例えば、図5に示す明環境の背景光画像については、図2のように、4つのMP用加算器41〜44を、2つのカウンタ61、62にそれぞれ対応付ける。
図4に示すように、照射部20は、照射光Lzを照射する(ステップS125)。対象物OBが存在する場合には、対象物OBからの反射光が受光要素31により受光されて受光信号が出力される。そして、ステップS120においてMP用加算器に対応付けられた画素用加算器45に受光数が加算されると共に、2つのカウンタ61、62に受光数が加算される。
距離画像取得部50は、距離画像、すなわち、各画素の受光数を示す情報を取得する(ステップS130)。背景光画像取得部60は、背景光画像を取得する(ステップS135)。背景光画像の取得方法について説明する。まず、背景光画像取得部60は、画素Gごとに前回の照射周期Tの前半期間Taと後半期間Tbとのうち、いずれかでピークが検出されたかを特定する。次に、ピークが検出された期間として特定された期間に対応する今回の照射周期Tにおける期間の受光数を、第1カウンタ61および第2カウンタ62を用いて特定する。例えば、図3に示すように、図2に示す画素Gについては、時刻t0〜t2の照射周期Tでは、前半期間Taにおいてピークが検出されるので、次の時刻t2〜t4までの照射周期Tでは、後半期間Tbにおける受光数、すなわち、第2カウンタ62の値が背景光画像の受光数として特定される。そして、背景光画像取得部60は、各画素Gについて、今回の照射周期Tにおいて特定された受光数を、照射周期Tの全体に亘る受光数に換算して特定する。例えば、上述のように、後半期間Tbにおける受光数、すなわち、第2カウンタ62の値が特定された場合には、かかる値を2倍することにより、照射周期Tの全体に亘る受光数を特定する。これとは逆に、前半期間Taにおける受光数、すなわち、第1カウンタ61の値が特定された場合も同様に、かかる値を2倍することにより、照射周期Tの全体に亘る受光数が特定される。さらに、仮に、前半期間Taと後半期間Tbとのいずれにおいてもピークが検出されない場合には、第1カウンタ61の値と、第2カウンタ62の値とを合算した値が、照射周期Tの全体に亘る受光数として特定される。なお、背景光は合算した値でなく、平均した値を使用しても良い。また、照射周期Tの1/2の期間、すなわち、前半期間Taおよび後半期間Tbは、本開示における単位期間の下位概念に相当する。
図4に示すように、閾値決定部72は、ステップS135において取得された背景光画像を利用して判定閾値を決定する(ステップS140)。このとき、距離画像の解像度に合わせて、画素Gごとに判定閾値が決定される。例えば、図5に示す距離画像Fd1の1つの画素Gd1に対して、背景光画像において対応する位置に存在する合計12個の画素Gb1の背景光画像の受光数の平均値が求められ、かかる平均値よりも大きな値として判定閾値が決定される。
ピーク検出部71は、ステップS140において決定された判定閾値をステップS130で取得された距離画像に適用して、ピーク時刻を特定する(ステップS145)。上述のように、図3の例では、時刻t11、t21がピーク時刻として特定される。
距離演算部73は、ステップS145で特定されたピーク時刻を利用して、対象物OBまでの距離を算出する(ステップS150)。
ここで、上述のステップS115において、明環境における距離画像の画素範囲と、暗環境における背景光画像の画素範囲とを基準画素範囲よりも大きくすることにより解像度を下げる理由について、説明する。明環境においては、背景光は強いため、少ないSPADで1画素を構成した場合、各画素において検出される反射光と背景光との強度比が小さくなり、換言すると、S/N比が劣化し、反射光(対象物OB)を正確に特定できなくなる。このため、本実施形態では、明環境の距離画像については、画素範囲を基準画素範囲よりも大きくすることにより解像度を下げ、これにより、多くのSPADで1画素を構成して、ノイズ(背景光)の影響を抑えて反射光(対象物OB)を正確に特定するようにしている。
また、暗環境においては、背景光の明るさが弱いため、少ないSPADで1画素を構成した場合、背景光をほとんど検出できなくなるおそれがある。このため、本実施形態では、暗環境の背景光画像については、画素範囲を基準画素範囲よりも大きくすることにより解像度を下げ、これにより、多くのSPADで1画素を構成して、背景光を正確に特定するようにしている。
以上説明した第1実施形態の測距装置10によれば、取得された強度関連情報に関連する背景光の強度に応じて、距離画像と背景光画像とに対してそれぞれ独立して画素範囲の大きさを設定して、距離画像の解像度と背景光画像の解像度とを制御するので、測距装置の使用環境に応じて、距離画像および背景光画像の解像度を適切に設定できる。
また、明環境である場合、すなわち、背景光の強度が高い場合には、該強度が低い場合に比べて、距離画像の画素範囲の大きさを大きく設定して解像度を下げるので、ノイズ(背景光)の影響を抑えて反射光(対象物OB)を正確に特定するようにしている。したがって、対象物OBが車両500から遠距離に存在する場合にも、対象物OBまでの距離を正確に測定できる。
また、暗環境である場合、すなわち、背景光の強度が低い場合には、該強度が高い場合に比べて、背景光画像の画素範囲の大きさを大きく設定して解像度を下げるので、背景光を正確に特定できる。このため、判定閾値として適切な値を設定でき、対象物OBからの反射光(ピーク)を正確に検出できる。
また、明るさ環境、すなわち、背景光の強度の高低を、上述の4つの情報(i)〜(iv)を利用して特定するので、かかる明るさ環境を正確に特定できる。
また、受光要素31としてSPADを備えるので、各画素Gにおける受光の有無を精度良く特定できる。
また、判定閾値を決定する際に用いる背景光画像は、照射周期Tを構成する2つの前半期間Ta、後半期間Tbのうち、ピークが検出されない期間の受光数を利用して取得されるので、反射光の影響を受けずに背景光の強さを精度良く特定できる。また、背景光画像を取得するために、例えば、照射光Lzの照射前の期間といった、照射周期Tとは別の期間を要しないので、背景光画像を効率よく取得できる。また、照射周期Tごとに背景光画像を取得するので、明るさ環境が照射範囲内において部分的に変化した場合にも判定閾値を適切な値に設定できる。
B.第2実施形態:
第2実施形態の測距装置10の装置構成は、第1実施形態の測距装置10と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。また、第2実施形態の測距処理の手順は、図4に示す第1実施形態の測距処理の手順と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。
第2実施形態の測距装置10では、測距処理のステップS115の詳細な手順が第1実施形態と異なる。具体的には、解像度制御部82は、明環境においては、距離画像の画素範囲を基準画素範囲とし、背景光画像については、画素範囲を小さくすることにより解像度を上げる。また、解像度制御部82は、暗環境においては、距離画像については、画素範囲を基準画素範囲よりも小さくすることにより解像度を上げ、背景光画像については、画素範囲を基準画素範囲とする。
明環境においては、背景光は強いため、少ないSPADでも十分に背景光の強さを検出できる。このため、画素範囲を小さくすることにより、背景光の強度を高い分解能で取得できる。
また、暗環境においては、ノイズとしての背景光が弱いため、対象物からの反射光を識別し易い。このため、画素範囲を小さくしても反射光を正確に特定でき、また、高い精度且つ高い分解能の距離画像を取得できる。したがって、遠距離に存在する対象物OBを正確に特定でき、また、近距離に存在する小さな対象物OBを正確に特定できる。
以上説明した第2実施形態の測距装置10は、第1実施形態の測距装置10と同様な効果を有する。加えて、明環境においては、背景光画像について画素範囲を小さくすることにより解像度を上げるので、背景光の強度を高い分解能で取得できる。また、暗環境においては、距離画像について画素範囲を基準画素範囲よりも小さくすることにより解像度を上げるので、高い分解能で距離画像を取得できる。このため、遠距離に存在する対象物OBを正確に特定でき、また、近距離に存在する小さな対象物OBを正確に特定できる。
C.第3実施形態:
第3実施形態の測距装置10の装置構成は、第1実施形態の測距装置10と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。図7に示す第3実施形態の測距処理は、ステップS105、S110、S115、S140、S145、S150に代えて、ステップS105a、S110a、S115a、S140a、S145a、S150aを実行する点において、第1実施形態の測距処理と異なる。第3実施形態の測距処理の他の手順は、第1実施形態の測距処理の手順と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。
情報取得部81は、背景光の強度関連情報を、所定領域ごとに取得する(ステップS105a)。本実施形態において、所定領域は、縦が画素G(基準画素範囲)の4倍、横が画素G(基準画素範囲)の3倍の矩形領域である。なお、ステップS105aでは、上記情報(i)〜(iv)のうちの上記(i)についてのみ所定領域ごとに取得し、他の3つの情報(ii)〜(iv)については、第1実施形態と同様にして取得する。情報(i)については、所定領域に含まれる各画素Gの背景光の画素値(前回の照射周期Tでピークが検出されなかった期間の受光数の合算値)が取得される。
解像度制御部82は、ステップS105aで得られた強度関連情報に基づき、照射光Lzの照射範囲の明るさ環境(明環境または暗環境)を、所定領域ごとに特定する(ステップS110a)。本実施形態では、明るさ環境として、3つの段階の環境に区分されて特定される点において、第1実施形態と異なる。すなわち、背景光の平均受光数が第1閾値よりも高い明環境と、背景光の平均受光数が第1閾値以下であり、かつ、第2閾値よりも大きな中環境と、第2閾値以下である暗環境の合計3つの段階の環境に区分されて特定される。なお、第2閾値は、第1閾値よりも低い値である。
解像度制御部82は、ステップS110で特定された明るさ環境に応じて、距離画像と、背景光画像と、についてそれぞれ独立して解像度を所定領域ごとに決定する(ステップS115a)。
図8に示す画像Fg0は、測距処理が実行される際の車両500の前方の周辺環境の一例を表している。この例では、車両500の前方には、太陽SNと、道路RDの反対車線を走行する対向車両CAとが存在する。
車両500から見て太陽SNが存在する領域では、背景光は強い。このため、かかる領域に含まれる所定領域については、明環境であると特定される。したがって、図9の上段に示すように、距離画像Fg1においては、太陽SNに対応する領域P11に含まれる所定領域については、大きな画素範囲が1つの画素Gd3として特定される。これに対して、距離画像Fg1において領域P11を除く他の領域P12に含まれる所定領域については、中環境であると特定され、中程度の大きさの画素範囲が1つの画素Gd4として特定される。本実施形態では、距離画像において明環境であると特定された所定領域の画素範囲は、所定領域と同じであり、縦が画素G(基準画素範囲)の4倍、横が画素G(基準画素範囲)の3倍の矩形領域である。また、距離画像において、中環境であると特定された所定領域の画素範囲は、縦が画素G(基準画素範囲)の2倍、横が画素G(基準画素範囲)の1倍の矩形領域である。
図9の下段に示すように、背景光画像Fg2においては、明環境であると特定された領域P11に含まれる所定領域については、小さな画素範囲が1つの画素Gb3として特定される。これに対して、背景光画像Fg2において領域P11を除く他の領域P12に含まれる所定領域については、中程度の画素範囲が1つの画素Gb4として特定される。本実施形態では、背景光画像において明環境であると特定された所定領域の画素範囲は、基準画素範囲と同じである。また、背景光画像において中環境であると特定された所定領域の画素範囲は、縦が画素G(基準画素範囲)の2倍、横が画素G(基準画素範囲)の1倍の矩形領域である。なお、背景光画像Fg2における領域P11は、本開示における明部の下位概念に相当する。また、背景光画像Fg2における領域P12は、本開示における明部を除く他の部分の下位概念に相当する。また、距離画像Fg1における領域P11は、本開示における明部対応部の下位概念に相当する。また、距離画像Fg1における領域P12は、本開示における明部対応部を除く他の部分の下位概念に相当する。
図10に示す画像Fg3は、測距処理が実行される際の車両500の前方の周辺環境の他の例を表している。この例では、車両500の前方には、建物BDと、道路RDの反対車線を走行する対向車両CAとが存在する。建物BDの陰SDが道路RDに延びている。
車両500から見て、陰SDが存在する領域では、背景光は弱い。このため、かかる領域に含まれる所定領域については、暗環境であると特定される。したがって、図11の上段に示すように、距離画像Fg4においては、陰SDに対応する領域P41に含まれる所定領域については、小さな画素範囲が1つの画素Gd5として特定される。これに対して、距離画像Fg4において領域P41を除く他の領域P42に含まれる所定領域については、中環境であると特定され、中程度の大きさの画素範囲が1つの画素Gd6として特定される。本実施形態では、距離画像において暗環境であると特定された処理領域の画素範囲は、基準画素範囲と同じである。
図11の下段に示すように、背景光画像Fg5においては、暗環境であると特定された領域P41に含まれる所定領域については、大きな画素範囲が1つの画素Gb5として特定される。これに対して、背景光画像Fg5において領域P41を除く他の領域P42に含まれる所定領域については、中環境であると判定され、中程度の大きさの画素範囲が1つの画素Gb6として特定される。なお、背景光画像Fg5における領域P42は、本開示における明部の下位概念に相当する。また、背景光画像Fg5における領域P41は、本開示における明部を除く他の部分の下位概念に相当する。また、距離画像Fg4における領域P42は、本開示における明部対応部の下位概念に相当する。また、距離画像Fg4における領域P41は、本開示における明部対応部を除く他の部分の下位概念に相当する。
図7に示すように、ステップS115aの実行後、上述のステップ120〜S150が実行される。
以上説明した第3実施形態の測距装置10は、第1実施形態の測距装置10と同様な効果を有する。加えて、所定領域ごとに明るさ環境を判定し、距離画像の解像度を設定するので、背景光(ノイズ)が弱い領域では、高い分解能にて距離や反射光を測定でき、また、背景光が強い領域であっても距離や反射光を精度良く特定できる。また、所定領域ごとに明るさ環境を判定し、背景光画像の解像度を設定するので、背景光(ノイズ)が弱い領域であっても背景光を精度良く特定でき、また、背景光(ノイズ)が強い領域では、判定閾値としてより適切な値を設定できる。
D.第4実施形態:
第4実施形態の測距装置10aは、図12に示すように、MP用加算器41〜44に代えて測距ヒストグラム用メモリ91、92、93、94を備える点と、距離画像取得部50に代えて距離画像取得部50aを備える点とにおいて、第1実施形態の測距装置10と異なる。第4実施形態の測距装置10aにおけるその他の構成は、第1実施形態の測距装置10と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
測距ヒストグラム用メモリ91は、マクロピクセルMP1を構成する各受光要素31に接続されており、マクロピクセルMP1についてのヒストグラム、つまり、マクロピクセルMP1内の受光要素31から出力される受光信号の数を単位期間ごとに並べたヒストグラムを記憶する。同様に、測距ヒストグラム用メモリ92は、他の測距ヒストグラム用メモリ91〜94は、マクロピクセルMP2〜MP4についてのヒストグラム、つまり、マクロピクセルMP2〜MP4内の受光要素31から出力される受光信号の数を単位期間ごとに並べたヒストグラムを記憶する。
距離画像取得部50aは、測距ヒストグラム用メモリ51を備えない点と、画素用加算器45を備える点とにおいて、第1実施形態の距離画像取得部50と異なる。第4実施形態の距離画像取得部50aにおけるその他の構成は、第1実施形態の距離画像取得部50と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
第4実施形態では、画素用加算器45は、上述の各測距ヒストグラム用メモリ91〜94に接続されている。画素用加算器45は、解像度制御部82により設定された画素範囲に応じて、測距ヒストグラム用メモリ91〜94のうちから選択される測距ヒストグラム用メモリからヒストグラムを取得し、これらのヒストグラムを加算(合算)して測距ヒストグラムを生成する。例えば、明環境の場合には、距離画像については、4つのマクロピクセルMP1〜MP4のヒストグラムをすべて加算して1つの画素の測距ヒストグラムとしてもよい。他方、明環境の背景光画像については、マクロピクセルMP1のヒストグラムとマクロピクセルMP4のヒストグラムとを加算して1つの画素の測距ヒストグラムとし、同様に、マクロピクセルMP2のヒストグラムとマクロピクセルMP3のヒストグラムとを加算して1つの画素の測距ヒストグラムとしてもよい。
図13に示す第4実施形態の測距処理は、ステップS120に代えてステップS120aを実行する点と、ステップS125〜S135を省略する点と、ステップS126およびS128を追加実行する点とにおいて、第1実施形態の測距処理と異なる。第4実施形態の測距処理におけるその他の手順は、第1実施形態の測距処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。
ステップS115の完了後、解像度制御部82は、ステップS115で決定された距離画像の解像度、すなわち、距離画像の画素範囲に応じて、測距ヒストグラム用メモリと画素用加算器45との対応付けを行い、背景光画像取得部60は、ステップS115で決定された距離画像の解像度、すなわち、距離画像の画素範囲に応じて、測距ヒストグラム用メモリと2つのカウンタ61、62との対応付けを行う(ステップS120a)。かかるステップS120aの後、照射光Lzの照射(ステップS125)は省略されて、ステップS115で設定された解像度に従い、選択されたマクロピクセルMPの背景光を合算して背景光画像を取得する(ステップS126)。同様に、ステップS115で設定された解像度に従い、画素用加算器45で加算して生成したヒストグラムにより、距離画像を取得する(ステップS128)上述のように、第4実施形態の測距装置10aでは、各マクロピクセルMP1〜MP4に対して測距ヒストグラム用メモリ91〜94が設けられているので、各マクロピクセルMP1〜MP4における受光数の情報は既に得られている。このため、ステップS115において距離画像と背景光画像についてそれぞれ解像度が決定された後、改めて照射光Lzを照射しなくても、測距ヒストグラム用メモリ91〜94に記憶されているデータ(測距ヒストグラム)に基づき、判定閾値を決定し、ピーク時刻を特定し、距離を算出できる。ステップS128の完了後、上述のステップS140〜S150が実行される。
以上説明した第4実施形態の測距装置10aは、第1実施形態の測距装置10と同様の効果を有する。
E.他の実施形態:
(E1)各実施形態では、ステップS140において判定閾値を決定する際に、画素Gごとに判定閾値が決定されていたが、本開示はこれに限定されない。例えば、画像全体で1つの判定閾値が決定されてもよい。かかる構成では、例えば、全ての画素Gの画素値(受光数)の平均値を求め、かかる平均値よりも大きな値として決定されてもよい。また、各実施形態では、判定閾値は、距離画像の1つの画素に対して、背景光画像において対応する位置に存在する全ての画素の受光数の平均値であったが、本開示はこれに限定されない。例えば、距離画像の1つの画素に対して、背景光画像において対応する位置に存在する全ての画素の分散または中央値等の統計値であってもよい。
(E2)各実施形態では、明るさ環境を特定する際に用いる強度関連情報のうち、情報(i)については、前回の照射周期Tにおける背景光画像の強度を示す受光数であったが、本開示はこれに限定されない。例えば、前々回の照射周期Tにおける背景光画像の強度を示す受光数を用いてもよい。また、例えば、前回以前の複数の照射周期Tにおける背景光画像の強度の平均値、合算値、中央値、分散等の統計値を用いてもよい。
(E3)各実施形態では、明るさ環境を特定する際に用いる強度関連情報は、情報(i)〜(iv)の合計4つであったが、本開示はこれに限定されない。例えば、ユーザが視認等で明るさ環境を判断し、その判断結果を所定のユーザインターフェイスから車両500に入力する構成としてもよい。かかる構成においては、所定のユーザインターフェイスから入力される明るさ環境を示す情報が、強度関連情報に該当する。また、例えば、情報(i)〜(iv)の一部を省略してもよい。また、例えば、車両500に搭載されたマイクにより取得された音の大きさや高低などを、強度関連情報として用いてもよい。かかる構成においては、例えば、音が閾値強度よりも大きい場合には、昼間であるものと推定して明環境であると特定し、閾値強度以下の場合には、夜間であるものと推定して暗環境であると特定してもよい。
(E4)各実施形態では、測距処理の中で、距離画像の解像度と背景光画像の解像度とを決定していたが、かかる解像度の決定を、測距処理とは別の処理として実行してもよい。具体的には、解像度決定処理として、まず、照射光Lzの照射および反射光の受光を行い、その後、上述のステップS105〜S120と、S140とを実行する。測距処理では、ステップS125、S130、S135、S145、S150を実行する。このような構成においても、各実施形態と同様な効果を奏する。
(E5)各実施形態では、測距処理において取得される画像は、距離画像と背景光画像の2種類であったが、これらの画像に加えて、各画素における対象物OBからの反射率を示す画像(以下、「反射強度画像」と呼ぶ)が取得されてもよい。なお、かかる反射強度画像においては、距離画像と同じ解像度が決定されてもよい。
(E6)各実施形態の測距装置10は、例えば、以下のような装置に適用可能である。例えば、車両500の走行経路を生成する経路生成装置に適用できる。かかる構成においては、走行中の道路において障害物を避けるような経路を生成する際に、測距装置10により検出された対象物OBまでの距離を利用してもよい。また、例えば、自動運転制御装置に適用できる。かかる構成においては、測距装置10により検出された対象物OBまでの距離を利用して、車両500の速度や操舵量を決定してもよい。また、例えば、対象物OBまでの距離を車両500の乗員に表示するための検出結果表示装置に適用できる。かかる構成においては、車両500の乗員は、車両500の前方に存在する物体までの距離を視覚的に確認できる。また、例えば、遠隔操作制御装置に対して車両500の周囲の状況を通知する遠隔情報取得装置に適用できる。かかる構成においては、車両500を遠隔操作するオペレータ側の遠隔操作制御装置(例えば、サーバ装置)に対して、対象物OBまでの距離の情報の他、距離画像や背景光画像を送信してもよい。また、例えば、測距装置10を、車両500に搭載することに代えて、固定設置してもよい。例えば、監視カメラ(定点カメラ)に測距装置10を搭載し、画像を取得するとともに、対象物OBまでの距離を測定してもよい。
(E7)各実施形態では、判定閾値を決定する際に用いる背景光画像は、照射周期Tを構成する2つの前半期間Ta、後半期間Tbのうち、ピークが検出されない期間の受光数を利用して取得されていたが、本開示は、これに限定されない。例えば、ピークの有無に関わらず、照射周期Tのすべての期間の合計受光数を利用して取得されてもよい。かかる構成においては、例えば、照射周期Tのすべての期間の合計受光数に対して、所定割合を掛け合わせて得られた値を、判定閾値として設定してもよい。また、各実施形態では、前半期間Taと後半期間Tbとを均一に2等分していたが、本開示はこれに限定されない。例えば、10等分し、前半期間Taを9/10、後半期間Tbを残り(1/10)としてもよい。また、このようにすることで、後半期間Tbにおける受光を、対象物がほぼ確実に存在しない非常に遠距離からの反射光の受光、つまりは、非照射期間に取得された受光に限定できる。このため、背景光画像取得部60によるピーク判定を省略し、後半期間Tbの合計受光数を背景光強度としてもよい。また、背景光としては、合計受光数に代えて、受光数の平均値、中央値、標準偏差、分散等の任意の種類の統計値を用いてもよい。
(E8)各実施形態における測距装置10の構成は、あくまでも一例であり、様々に変更可能である。例えば、第1、2実施形態において明るさ環境は2段階であり、第3実施形態において明るさ環境は3段階であったが、任意の数の段階であってもよい。また、各明るさ環境における各画像(距離画像および背景光画像)の解像度(画素範囲の大きさ)は、任意の値に設定してもよい。また、第3実施形態の所定領域の大きさは任意の大きさであってもよい。例えば、距離画像および背景光画像の全体を等分に4分割した1つを所定領域としてもよい。また、受光要素31として、SPAD以外の任意の受光素子を用いてもよい。
(E9)本開示に記載の測距装置10及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の測距装置10及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の測距装置10及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した形態中の技術的特徴に対応する各実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10 測距装置、20 照射部、30 受光部、31 受光要素、50 距離画像取得部、60 背景光画像取得部、73 距離演算部、81 情報取得部、82 解像度制御部、G 画素、OB 対象物、S1 受光面

Claims (8)

  1. 対象物(OB)までの距離を測定する測距装置(10)であって、
    照射光を照射する照射部(20)と、
    複数の受光要素(31)が面状に配列された受光面(S1)を有し、変更可能に設定されている大きさの画素範囲内の前記受光要素の集まりを一画素として、各画素(G)に含まれる前記受光要素の受光状態に応じた受光信号を出力する受光部(30)と、
    出力された前記受光信号を利用して、各画素における前記対象物を含む前記照射光の照射範囲内の物体までの距離を示す距離画像を取得する距離画像取得部(50)と、
    出力された前記受光信号を利用して、各画素における背景光の受光強度を示す背景光画像を取得する背景光画像取得部(60)と、
    前記背景光の強度に関連する強度関連情報を取得する情報取得部(81)と、
    取得された前記強度関連情報に関連する前記背景光の強度に応じて、前記距離画像と前記背景光画像とに対してそれぞれ独立して前記画素範囲の大きさを設定して、前記距離画像の解像度と前記背景光画像の解像度とを制御する解像度制御部(82)と、
    を備える、測距装置。
  2. 請求項1に記載の測距装置において、
    前記解像度制御部は、前記強度関連情報に関連する前記背景光の強度が高い場合には、該強度が低い場合に比べて、前記背景光画像の少なくとも一部について前記画素範囲の大きさを小さく設定する、
    測距装置。
  3. 請求項2に記載の測距装置において、
    前記解像度制御部は、前記背景光画像において前記背景光の強度が予め定められている閾値以上の部分である明部における前記画素範囲の大きさを、前記背景光画像において前記明部を除く他の部分における前記画素範囲の大きさよりも小さく設定する、測距装置。
  4. 請求項1から請求項3までのいずれか一項に記載の測距装置において、
    前記解像度制御部は、前記強度関連情報に関連する前記背景光の強度が高い場合には、該強度が低い場合に比べて、前記距離画像の少なくとも一部について前記画素範囲の大きさを大きく設定する、
    測距装置。
  5. 請求項3に従属する請求項4に記載の測距装置において、
    前記解像度制御部は、前記距離画像において前記明部に対応する部分である明部対応部の前記画素範囲の大きさを、前記距離画像における前記明部対応部を除く他の部分における前記画素範囲の大きさよりも大きく設定する、測距装置。
  6. 請求項1から請求項5までのいずれか一項に記載の測距装置において、
    前記強度関連情報は、
    前記背景光の強度を示す情報と、
    前記測距装置が搭載された車両(500)が備えるライト(511)の点灯状態を示す情報と、
    前記車両が備える日射センサ(512)であって日光の照射量を検出する日射センサの検出結果を示す情報と、
    前記車両が備えるワイパ装置(513)の動作状態を示す情報と、
    のうちの少なくとも一つを含む、測距装置。
  7. 請求項1から請求項6までのいずれか一項に記載の測距装置において、
    前記受光要素は、前記受光信号として光の入射を示す出力信号を出力するSPAD(シングルフォトンアバランシェダイオード)を有する、測距装置。
  8. 請求項6に従属する請求項7に従属する請求項5に記載の測距装置において、
    前記背景光画像取得部は、
    前記照射期間を、互いに等しい時間的長さの単位期間に区分して、各単位期間における前記出力信号を出力した前記SPADの数の合計値を求め、
    求められた前記SPADの数の合計値が前記判定閾値に対応する予め定められた閾値以上となる前記単位期間の有無を特定し、
    求められた前記SPADの数の合計値が前記閾値以上となる前記単位期間が有ると特定された場合には、特定された該単位期間を除く他の前記単位期間における前記出力信号を出力した前記SPADの数の合計値を利用して、前記背景光画像を取得し、
    求められた前記SPADの数の合計値が前記閾値以上となる前記単位期間が無いと特定された場合には、全ての前記単位期間における前記出力信号を出力した前記SPADの数の合計値を利用して、前記背景光画像を取得する、測距装置。
JP2019063650A 2019-03-28 2019-03-28 測距装置 Active JP7115390B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019063650A JP7115390B2 (ja) 2019-03-28 2019-03-28 測距装置
PCT/JP2020/012997 WO2020196510A1 (ja) 2019-03-28 2020-03-24 測距装置
CN202080025163.9A CN113646660B (zh) 2019-03-28 2020-03-24 测距装置
US17/486,198 US20220011440A1 (en) 2019-03-28 2021-09-27 Ranging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019063650A JP7115390B2 (ja) 2019-03-28 2019-03-28 測距装置

Publications (2)

Publication Number Publication Date
JP2020165677A true JP2020165677A (ja) 2020-10-08
JP7115390B2 JP7115390B2 (ja) 2022-08-09

Family

ID=72609821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019063650A Active JP7115390B2 (ja) 2019-03-28 2019-03-28 測距装置

Country Status (4)

Country Link
US (1) US20220011440A1 (ja)
JP (1) JP7115390B2 (ja)
CN (1) CN113646660B (ja)
WO (1) WO2020196510A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022064310A (ja) * 2020-10-13 2022-04-25 ジック アーゲー 光伝播時間法を用いた距離測定
JP2022072332A (ja) * 2020-10-29 2022-05-17 トヨタ自動車株式会社 物体検出装置
WO2022249838A1 (ja) * 2021-05-26 2022-12-01 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム
WO2024176849A1 (ja) * 2023-02-24 2024-08-29 キヤノン株式会社 測距装置、測距方法及びプログラム
JP7559796B2 (ja) 2021-05-26 2024-10-02 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401211B2 (ja) * 2019-06-25 2023-12-19 ファナック株式会社 外光照度測定機能を備えた測距装置及び外光照度測定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266128A (ja) * 2000-03-21 2001-09-28 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法,装置および奥行き情報取得プログラムを記録した記録媒体
US20040095492A1 (en) * 2002-07-06 2004-05-20 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
JP2005039268A (ja) * 2003-07-14 2005-02-10 Dialog Semiconductor Gmbh 露光中に可変解像度を有する画素
US20140078491A1 (en) * 2011-03-18 2014-03-20 Robert Bosch Gmbh Measuring Apparatus and Measuring Device for Measuring a Target Object in a Multidimensional Manner
JP2017527222A (ja) * 2014-09-08 2017-09-14 マイクロソフト テクノロジー ライセンシング,エルエルシー 可変解像度ピクセル
WO2018003502A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 撮像装置、撮像方法、プログラム
US20180268522A1 (en) * 2016-07-07 2018-09-20 Stmicroelectronics Sa Electronic device with an upscaling processor and associated method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012147496A1 (ja) * 2011-04-25 2012-11-01 三洋電機株式会社 物体検出装置および情報取得装置
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
EP2821748B1 (en) * 2012-03-01 2019-07-31 Nissan Motor Co., Ltd Range finding device and range finding method
JP6123377B2 (ja) * 2012-09-14 2017-05-10 オムロン株式会社 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
WO2017098725A1 (ja) * 2015-12-08 2017-06-15 パナソニックIpマネジメント株式会社 固体撮像装置、距離測定装置および距離測定方法
JP6910010B2 (ja) * 2016-02-17 2021-07-28 パナソニックIpマネジメント株式会社 距離測定装置
JP6645254B2 (ja) * 2016-02-23 2020-02-14 株式会社デンソー 物体認識装置
CN106896370B (zh) * 2017-04-10 2023-06-13 上海图漾信息科技有限公司 结构光测距装置及方法
WO2018198729A1 (ja) * 2017-04-28 2018-11-01 シャープ株式会社 3次元画像素子および光レーダー装置
JP7021885B2 (ja) * 2017-09-11 2022-02-17 株式会社日立エルジーデータストレージ 距離測定装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266128A (ja) * 2000-03-21 2001-09-28 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法,装置および奥行き情報取得プログラムを記録した記録媒体
US20040095492A1 (en) * 2002-07-06 2004-05-20 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
JP2005039268A (ja) * 2003-07-14 2005-02-10 Dialog Semiconductor Gmbh 露光中に可変解像度を有する画素
US20140078491A1 (en) * 2011-03-18 2014-03-20 Robert Bosch Gmbh Measuring Apparatus and Measuring Device for Measuring a Target Object in a Multidimensional Manner
JP2017527222A (ja) * 2014-09-08 2017-09-14 マイクロソフト テクノロジー ライセンシング,エルエルシー 可変解像度ピクセル
WO2018003502A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 撮像装置、撮像方法、プログラム
US20180268522A1 (en) * 2016-07-07 2018-09-20 Stmicroelectronics Sa Electronic device with an upscaling processor and associated method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022064310A (ja) * 2020-10-13 2022-04-25 ジック アーゲー 光伝播時間法を用いた距離測定
JP7181365B2 (ja) 2020-10-13 2022-11-30 ジック アーゲー 光伝播時間法を用いた距離測定
JP2022072332A (ja) * 2020-10-29 2022-05-17 トヨタ自動車株式会社 物体検出装置
JP7294302B2 (ja) 2020-10-29 2023-06-20 トヨタ自動車株式会社 物体検出装置
WO2022249838A1 (ja) * 2021-05-26 2022-12-01 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム
JP7559796B2 (ja) 2021-05-26 2024-10-02 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム
WO2024176849A1 (ja) * 2023-02-24 2024-08-29 キヤノン株式会社 測距装置、測距方法及びプログラム

Also Published As

Publication number Publication date
CN113646660B (zh) 2024-09-20
JP7115390B2 (ja) 2022-08-09
US20220011440A1 (en) 2022-01-13
CN113646660A (zh) 2021-11-12
WO2020196510A1 (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
WO2020196510A1 (ja) 測距装置
JP6851985B2 (ja) 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
EP3470880A1 (en) Ranging system and ranging method
JP7420038B2 (ja) 車載の異常検出装置
EP2708914A1 (de) Optoelektronischer Sensor und Verfahren zur Erfassung einer Tiefenkarte
CN102158654B (zh) 摄像设备和变焦方法
EP3029632A2 (en) Vehicular image recognition system for display-board recognition
JP7095640B2 (ja) 物体検出装置
EP2927710B1 (en) Ranging system, information processing method and program thereof
JP2015525035A (ja) 立体ゲーテッド画像システム及び方法
JP2015069369A (ja) 操作入力装置、操作入力方法およびプログラム
US20240056682A1 (en) Information processing apparatus, information processing method, and program
US12120425B2 (en) Information processing device, imaging device, information processing method, and program
EP3637758B1 (en) Image processing device
US20220214434A1 (en) Gating camera
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
JP7487470B2 (ja) 物体検出装置および物体検出装置の制御方法
JP2021131385A (ja) 物体検出装置
JP2005189145A (ja) ヘッドライトテスターの光度測定方法とその装置
WO2020195755A1 (ja) 測距撮像システム、測距撮像方法、及びプログラム
CN112887628B (zh) 光探测和测距设备及增加其动态范围的方法
CN112887627B (zh) 增加LiDAR设备动态范围的方法、光检测测距LiDAR设备及机器可读介质
WO2021166912A1 (ja) 物体検出装置
WO2023100598A1 (ja) 異常判定装置、異常判定方法、及び異常判定プログラム
JP2016224968A (ja) 調整装置、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220711

R151 Written notification of patent or utility model registration

Ref document number: 7115390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151