JP2021113743A - 距離測定装置、距離測定方法、プログラム - Google Patents

距離測定装置、距離測定方法、プログラム Download PDF

Info

Publication number
JP2021113743A
JP2021113743A JP2020006585A JP2020006585A JP2021113743A JP 2021113743 A JP2021113743 A JP 2021113743A JP 2020006585 A JP2020006585 A JP 2020006585A JP 2020006585 A JP2020006585 A JP 2020006585A JP 2021113743 A JP2021113743 A JP 2021113743A
Authority
JP
Japan
Prior art keywords
distance
histogram
frame period
time
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020006585A
Other languages
English (en)
Inventor
光晴 大木
Mitsuharu Oki
光晴 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2020006585A priority Critical patent/JP2021113743A/ja
Priority to PCT/JP2020/044529 priority patent/WO2021149360A1/ja
Publication of JP2021113743A publication Critical patent/JP2021113743A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】距離測定装置の処理負担を軽減することを目的とする。【解決手段】本技術に係る距離測定装置は、ダイレクトToF方式による距離指数の取得を複数回行う検出部と、フレーム期間ごとに前記検出部により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部と、過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う制御部と、を備える。【選択図】図7

Description

本技術は、ダイレクトToF(Time of Flight:光飛行時間)方式により距離の測定を行う距離測定装置、距離測定方法、並びにプログラムに関するものである。
対象物までの距離を測定するための各種の測距技術が知られており、近年では、例えばダイレクトToF方式による測距技術が注目されている。
ダイレクトToF方式では、複数回の測距結果を距離ごとの頻度情報として扱う。具体的には、距離Aが測定された頻度、距離Bが測定された頻度、距離Cが測定された頻度・・・というように、距離を階級とした度数分布の情報(ヒストグラム情報)として扱うものである。以下、このように複数回の測距結果を距離ごとの頻度情報として表した度数分布の情報を「距離ヒストグラム」と表記する。
距離ヒストグラムを用いることで、奥行き方向に複数の物体が重なっていても、ヒストグラム上ではそれぞれ異なる距離に頻度のピークが現れることが期待でき、奥行き方向に重なる各物体の距離をそれぞれ求めることが可能となって、正確な測距を実現することができる。
ここで測距における制御の効率化は常に望まれており、例えば下記特許文献1には、ダイレクトToF方式における測距を行うにあたり、生成したヒストグラムのピーク値と他の値との比較により発光部の露光回数を決定する技術が開示されている。
特開2010−091377号公報
ダイレクトToF方式において上記のような距離ヒストグラムを用いる場合には、例えば背景などの測距の対象とされていない領域については、測距のための距離ヒストグラムを生成する必要がないことがある。
また例えば測距の対象物が静止状態であるなど、対象物の距離が変化しない蓋然性が高い場合には、測距を行わず距離ヒストグラムの生成を行わないとしても差し支えないことも多い。
本技術はこのような状況に鑑みて生み出されたものであり、測距における処理負担を軽減することを目的とする。
本技術に係る距離測定装置は、連続するフレーム期間ごとに、発光部が発光し対象物で反射された光の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う検出部と、フレーム期間ごとに前記検出部により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部と、過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う制御部と、を備える。
これにより、過去のフレーム期間において生成された距離ヒストグラムから読み取れる状況を反映させた制御パラメータに基づいて、現在以降の測距に関する制御が実行される。
ここでいう距離指数とは距離と相関する数値をいい、例えば発光から受光するまでの時間差や、該時間差にc/2を乗じた値(cは光の速度を表す)などが挙げられる。
上記した本技術に係る距離測定装置においては、前記受光信号を得る受光部は複数の受光素子を有し、前記制御部は、過去のフレーム期間において受光素子ごとに生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行うことが考えられる。
これにより、過去のフレーム期間において生成された距離ヒストグラムから読み取れる受光素子ごとの状況を反映させた制御パラメータに基づいて、現在以降の測距に関する制御が受光素子ごとに実行される。
上記した本技術に係る距離測定装置においては、前記制御部は、前記制御パラメータの設定として、前記距離ヒストグラムにおける度数カウントの対象とする階級範囲を設定することが考えられる。
これにより、過去に生成された距離ヒストグラムから読み取れる状況に応じて、現在以降において測距を行うために必要と考えられる一部の階級範囲のみについて距離ヒストグラムを生成する。
上記した本技術に係る距離測定装置においては、前記制御部は、過去の前記距離ヒストグラムのピーク値の階級を含む所定の階級範囲を前記度数カウントの対象とする階級範囲として設定することが考えられる。
ピーク値は対象物までの距離と推定される値である。そのため上記構成によれば、例えば直前のフレーム期間などの過去のフレーム期間における対象物の距離を含む所定の階級範囲のみを、現在以降の距離ヒストグラムにおける度数カウントの対象となる階級範囲として設定することが可能となる。
上記した本技術に係る距離測定装置においては、前記制御部は、前記制御パラメータの設定として、フレーム期間における露光回数を設定することが考えられる。
これにより、測距を行うにあたり周辺環境に適したフレーム期間における露光回数を設定することが可能となる。
上記した本技術に係る距離測定装置においては、前記制御部は、過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降に連続して同一の前記制御パラメータによる処理を行うフレーム期間の回数としての適応的制御回数を設定することが考えられる。
これにより、過去の距離ヒストグラムの傾向からフレーム期間ごとに制御パラメータを逐次設定することが不要と推定される場合に対応して、現在以降における適応的制御回数以内のフレーム期間において同一の制御パラメータを使用することが可能となる。
上記した本技術に係る距離測定装置においては、前記制御部は、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて前記適応的制御回数を設定することが考えられる。
過去の連続するフレーム期間における距離ヒストグラムの変化量から対象物の動きの速さを推定可能である。このため、上記構成によれば、推定された対象物の動きの速さに応じて適応的制御回数を設定可能となる。
上記した本技術に係る距離測定装置においては、前記制御部は、前記変化量が小さいほど、前記適応的制御回数を多く設定することが考えられる。
これにより、過去の連続するフレーム期間における距離ヒストグラムの変化量が小さい対象物については、現在以降に同一の制御パラメータを使用するフレーム期間が多くなる。
上記した本技術に係る距離測定装置においては、前記制御部は、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて、現在以降のフレーム期間において前記距離ヒストグラムを生成させるか否かを決定することが考えられる。
これにより、過去の対象物の動きに応じて、現在以降のフレーム期間で距離ヒストグラムを生成させるか否かを決定することが可能となる。
上記した本技術に係る距離測定装置においては、前記制御部は、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて、現在以降のフレーム期間において前記発光部を発光させるか否かを決定することが考えられる。
これにより、現在以降のフレーム期間で距離ヒストグラムを生成しない場合に対応して、発光部を発光させないことが可能となる。
上記した本技術に係る距離測定装置においては、前記受光信号を得る受光部は複数の受光素子を有し、前記制御部は、前記制御パラメータの1つとして、同一の前記対象物からの反射光を受光した受光素子群を示すセグメント情報を生成し、前記セグメント情報が示す受光素子群における受光素子の前記距離ヒストグラムを加算平均することが考えられる。
これにより、同じセグメントに属する受光素子において生成された距離ヒストグラムどうしのノイズリダクションが行われる。
本技術に係る距離測定方法は、連続するフレーム期間ごとに、発光部が発光し対象物で反射された光の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う検出部と、フレーム期間ごとに前記検出部により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部と、を備える距離測定装置の距離測定方法であって、過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行うものである。
このような距離測定方法によっても、上記した本技術に係る距離測定装置と同様の作用が得られる。
本技術の実施の形態における距離測定装置の構成の説明図である。 本技術の実施の形態における距離ヒストグラムの説明図である。 本技術の第1の実施の形態におけるフレーム期間ごとの測距の制御状態を示す図である。 本技術の第1の実施の形態における距離ヒストグラムを(x,y,n)空間における3次元データとして示した図である。 本技術の第1の実施の形態における判別部への入出力データに関する説明図である。 本技術の第1の実施の形態における距離ヒストグラムを生成する階級範囲の設定についての説明図である。 本技術の第1の実施の形態における制御部の処理を示すフローチャートである。 本技術の第1の実施の形態における制御部の処理を示すフローチャートである。 本技術の第1の実施の形態における対象物を示す図である。 本技術の第2の実施の形態における判別部への入出力データに関する説明図である。 本技術の第2の実施の形態における制御部の処理を示すフローチャートである。 本技術の第3の実施の形態における判別部への入出力データに関する説明図である。 本技術の第3の実施の形態における制御部の処理を示すフローチャートである。
本技術の実施の形態について上記の図面を参照して説明する。図面の記載は、一度説明した構成は以降同一の符号を付して説明を省略することがある。また、図面は模式的なものであり、本技術を説明するにあたり必要な要部及びその周辺の構成を抽出して示しているものとする。
以下、本技術に係る実施の形態を次の順序で説明する。
<1.距離測定装置の構成>
<2.距離ヒストグラムの概要>
<3.第1の実施の形態>
<4.第2の実施の形態>
<5.第3の実施の形態>
<6.まとめ及び変型例>
<7.本技術>
<1.距離測定装置の構成>
図1は、本技術の実施の形態における距離測定装置10の構成の一例を示す図である。
距離測定装置10は、ダイレクトToF(Time of Flight:光飛行時間)方式による測距に対応している。ここでいうダイレクトToF方式とは、発光から受光までの時間差を計測し、計測した時間差に基づいて対象物までの距離を求める方式のことである。
距離測定装置10は、発光部12と、受光部13と、検出部14と、ヒストグラム生成部15と、測距部16と、制御部11と、出力端子17と、検出モード入力端子18と、画像入力端子19と、を備える。
発光部12は少なくとも一つの発光素子を有しており、制御部11からの制御によりパルス発光する。本例における発光部12は、例えばVCSEL(Vertical Cavity Surface Emitting LASER:垂直共振器面発光レーザ)による発光素子を有しており、これらの発光素子が例えば2次元アレイ状に配置されている。
発光部12は、フレーム期間において数千回から数万回の発光を行う。フレーム期間における発光部12の発光回数を露光回数として以下説明する。露光回数をM(Mは整数)とする。フレーム期間とは、距離測定装置10が測距を行うために用いるデータの計測期間として設定された期間のことをいい、時間の経過とともに連続して設けられている。
受光部13は、発光部12より発せられた光40が対象物Tgで反射された光41を受光信号として取得する受光素子を複数有している。受光部13は、受光素子としてSPAD(Single Photon Avalanche Diode)素子を有している。
受光部13は、例えばSPAD素子を2次元アレイ状に配置したCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。この受光部13の前面には図示しないレンズが取り付けられており、このレンズにより光41が集光され、各SPAD素子が効率よく受光できるようになっている。
発光部12から発光された光40はアクティブ光として対象物Tgに届き、当該アクティブ光は対象物Tgにおいて反射され、光41として受光部13内の1つのSPAD素子により受光される。
なお、発光部12から発光された光40は、常に対象物Tgにおいて反射され、光41として受光部13により受光されるわけではなく、確率的に光41が受光される場合もあれば、受光されない場合もある。
また、発光部12から発光された光40とは別に、太陽400からの光42も環境光として対象物Tgに届く。そして光42は対象物Tgにおいて反射され、光43として受光部13内の一つのSPAD素子に到達する。
検出部14は、連続するフレーム期間ごとに、発光部12が発光し対象物Tgで反射された光41の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う。ここでいう距離指数とは距離と相関する数値をいい、例えば発光から受光するまでの時間差や、該時間差にc/2を乗じた値(cは光の速度を表す)などが挙げられる。
検出部14は、制御部11の制御により受光部13のSPAD素子ごとに、発光部12の発光タイミングからSPAD素子による受光タイミングまでの時間rtを計測する。検出部14は、時間rtの計測をフレーム期間ごとに発光部12の露光回数であるM回行う。本例において検出部14はこの時間rtを距離指数として取得する。
検出部14は、例えばTDC(Time To Digital Converter)により構成される。そして、各SPAD素子に対して、それぞれ時間を計測するため、TDCはSPAD素子と同数を有するのが一般的である。
なお、検出部14は、SPAD素子が受光した光が、発光部12からの光40に基づく光41であるか、太陽400からの光42に基づく光43であるかを判別することはできない。
ヒストグラム生成部15は図示しないメモリを有し、検出部14から取得したフレーム期間ごとの複数回(M回)の時間rtの計測結果に基づいて、当該複数回の計測結果をbinごとの頻度情報として表した距離ヒストグラムを当該メモリ上に生成する。
ここでbinとは、このような距離ヒストグラムとしての度数分布情報における各階級のことである。距離ヒストグラムは、階級をbin(距離)とし、階級ごとの度数を頻度とした度数分布情報である。
ヒストグラム生成部15は、検出部14から取得した時間rtの値に対応した距離ヒストグラムのbinにおける頻度を1だけインクリメントする。これにより距離ヒストグラムの更新が行われる。ヒストグラム生成部15は、各SPAD素子に対してそれぞれ一つの距離ヒストグラムを生成する。距離ヒストグラムの詳細については後述する。
測距部16は、ヒストグラム生成部15が生成した距離ヒストグラムに基づいて対象物Tgまでの距離を算出する。測距部16は、距離ヒストグラムからピーク値を検出する処理と、そのピーク値に対応する時間にc/2(以下、cは光の速度の値とする。)を乗算して距離を算出する処理を行う。ここでいうピーク値とは、距離ヒストグラムにおける対象物Tgまでの距離に対応した値として推定される値である。
受光部13内の各SPAD素子は、最初に飛来した光(フォトン)を検出するセンサである。従って、太陽400からの光42に基づく光43よりも、発光部12から発光された光40に基づく光41の方が時間的に早く飛来してくれば、正しく測距を行うことができる。すなわち、検出部14において検出された時間rtは、対象物Tgまでの往復時間であり、c/2を乗算することによって対象物Tgまでの距離を計算することができる。一方、光41よりも光43の方が時間的に早く飛来した場合は、測距のための正しい時間を測定することはできない。
光43の受光(環境光の受光)は時間によらず、常に一定の確率で起きる。一方、光41の受光(アクティブ光の受光)は、ある時間(より具体的には、対象物Tgまでの距離の2倍をcで割った値)に集中して起きる。従って、距離ヒストグラム上でピーク検出を行い、そのピーク値に対応する時間を求めることにより、対象物Tgまでの距離を求めることができる。
このような時間に基づいて対象物Tgまでの距離を測定する距離測定方式はダイレクトToF方式と呼ばれる。
測距部16は、処理によって得られた対象物Tgまでの距離データを出力端子17を介して外部機器等に出力する。
また測距部16は、対象物Tgまでの距離データを算出するにあたり、制御部11の制御により特定された複数のSPAD素子からなるSPAD素子群ごとに、SPAD素子群におけるSPAD素子の距離ヒストグラムを加算平均する。
制御部11は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えたマイクロコンピュータで構成され、各種のプログラムに基づいて、判別部21及び動作制御部22の各種機能を実現するための処理を実行する。
判別部21は、過去のフレーム期間においてSPAD素子ごとに生成された距離ヒストグラムに基づいて、現在以降のフレーム期間における距離ヒストグラムの生成に係る制御パラメータの設定を行う。制御パラメータの詳細については後述する。
なお、本実施の形態ではRGBカメラ200を併用して、RGBカメラ200で撮像した画像データを、画像入力端子19より、判別部21に入力できるようにしているが、RGBカメラ200及び画像入力端子19を設けないこととしても本技術を実現することができる。
また判別部21には、例えば、人、顔、手、車などの測距したい対象物Tgを指定するための情報が、検出モード入力端子18を介して入力される。
動作制御部22は、判別部21により設定された制御パラメータに基づいて、発光部12、受光部13、検出部14、ヒストグラム生成部15、及び測距部16の制御を行う。
<2.距離ヒストグラムの概要>
図2は、本技術の実施の形態におけるヒストグラム生成部15により生成される距離ヒストグラムの一例を示す図である。
この距離ヒストグラムにおいて、時間(横軸)は、幅Dの単位で表現されている。つまり、検出部14にて検出される時間rtの値が時間0から時間Dまでの範囲であれば0番目のbinの頻度に加えられ、時間rtの値が時間Dから時間2Dまでの範囲であれば1番目のbinの頻度に加えられる。また時間rtの値が時間2Dから時間3Dまでの範囲であれば、2番目のbinの頻度に加えられる。以降、同様に時間(N−1)×Dから時間N×Dまでの範囲であれば、N−1番目のbinの頻度に加えられる(Nは定数とする)。ここで時間の幅Dは、検出部14としてのTDCの分解能である。
なお、検出部14による1回の測定では測定時間をN×Dまでと制限している。つまり、発光部12による発光からN×Dだけ時間が経過しても受光部13で受光が検出されなかった場合は、検出部14はそこで測定を終了する。この場合、検出部14では時間rtの値を出力せず、ヒストグラム生成部15による距離ヒストグラムの更新も行われない。
従って、検出部14によるM回(フレーム期間ごとの発光部12の露光回数)の測定の後に得られる最終的な距離ヒストグラムについて、全てのbinの頻度を合計してもM未満となるときもある。
受光部13の各位置(x,y)には、SPAD素子が配置されているものとする。ここで、x=1からX、y=1からYであり、受光部13におけるSPAD素子の総数はX×Y個である。前述のとおり、測距はM回の発光と受光により行われ、距離ヒストグラムがヒストグラム生成部15にて生成される。すなわち、M回の発光と受光により各位置(x,y)に対応したSPAD素子ごとに距離ヒストグラムが生成される。従って、距離ヒストグラムの総数は、X×Y個である。
さらに、時間的に続けて測距が行われるとする。すなわち、「M回の発光と受光でヒストグラムを作成する」という処理をフレーム期間ごとに連続して行う。本実施の形態では、フレーム期間を「M回の発光と受光でヒストグラムを作成する」という処理にかかる時間とする。このようにフレーム期間を定義することで、時刻tでは、時間的にt番目のフレーム期間に作成された距離ヒストグラムがヒストグラム生成部15により出力されることになる。ここで、tは1以上の整数である。
時刻t、位置(x,y)の距離ヒストグラムをH(t,x,y,n)とする。ここで、tは1以上の整数、xは1以上X以下の整数、yは1以上Y以下の整数である。そして、nはbinの番号を表しており、0以上N−1以下の整数である。
本技術において、制御部11は、時刻t(t番目のフレーム期間)におけるヒストグラムH(t,x,y,n)から、現時点(時刻t)での状況を判断し、時刻t+1以降における距離ヒストグラムの生成に係る制御パラメータを設定する。
<3.第1の実施の形態>
本技術の第1の実施例について図3から図8を参照して説明する。
第1の実施の形態では、一例として時刻tを3で割った余りが1のときは、制御部11からの制御により通常の測距動作制御を実行させると同時に、時刻tにおける距離ヒストグラムを解析することで時刻t+1及び時刻t+2における距離ヒストグラムの生成に係る制御パラメータを設定する。そして時刻t+1及び時刻t+2において、時刻tで設定された制御パラメータに基づく測距動作制御を制御部11からの制御により実行させる。
以下、制御パラメータに基づく測距動作制御を適応的制御とし、制御パラメータによらない通常の測距操作制御を通常制御として説明する。
図3は、フレーム期間(時刻t)ごとの測距における制御状態を示している。図3において時刻t(横軸)は、フレーム期間ごとの時間の経過とともにt1,t2,t3・・・と連続して設けられている。
時刻0から時刻t1の間に、露光回数が所定の回数(M1とする)となる測距を行う(図中の「通常測距」)。これにより、時刻t=1における測距が行われる。同時に、ヒストグラムH(1,x,y,n)を解析することで、時刻t+1及びt+2における効率の良い測距動作制御(適応的制御)を行うための距離ヒストグラムの生成に係る制御パラメータを設定する(ここで、時刻tは1である)。なお、制御パラメータの設定の具体例は後述する。
時刻t1から時刻t2の間に、時刻t=1において設定された制御パラメータに基づいて距離ヒストグラムが生成され、当該距離ヒストグラムに基づく測距が行われる(図中の「適応的制御下における測距」)。これにより、時刻t=2における測距が行われる。
時刻t2から時刻t3の間に、時刻t=1において設定された制御パラメータに基づいて距離ヒストグラムが生成され、当該距離ヒストグラムに基づく測距が行われる(図中の「適応的制御下における測距」)。これにより、時刻t=3における測距が行われる。
時刻t3から時刻t4の間においては、時刻t(t=4)を3で割った余りが1となるため、通常測距を行う。このように、時刻t4以降は図3に示すように、上記と同様の処理が繰り返される。
次に、上述の「距離ヒストグラムH(t,x,y,n)の解析(tは3で割った余りが1の場合)」について図4を参照して説明する。
図4に示すように、「3で割った余りが1である時刻t」に対して、距離ヒストグラムH(t,x,y,n)は、(x,y,n)空間における3次元データである。ここで、xは1以上X以下の整数、yは1以上Y以下の整数である。そして、nは0以上N−1以下の整数である。この3次元データにおける距離ヒストグラムH(t,x,y,n)は、判別部21に入力される。そして、判別部21により、時刻t+1及び時刻t+2における効率の良い測距動作制御(適応的制御)を行うための距離ヒストグラムの生成に係る制御パラメータを設定する。
具体的には、図5に示すように、判別部21(制御部11)にて、
W(t+1,x,y)、
S(t+1,x,y)、
E(t+1,x,y)、
M(t+1)、
G(t+1,x,y)、
及び、
W(t+2,x,y)、
S(t+2,x,y)、
E(t+2,x,y)、
M(t+2)、
G(t+2,x,y)
といった制御パラメータが設定され、これら値が動作制御部22に渡される。ここで、xは1以上X以下の整数、yは1以上Y以下の整数である。
ここで、Wの値は0又は1の2値で設定される。W(t+1,x,y)とは、時刻t+1において、受光部13の位置(x,y)のSPAD素子の動作を行うか、行わないかを指定する信号である。時刻t+1において、W(t+1,x,y)=1の位置のSPAD素子では動作が行われ、W(t+1,x,y)=0の位置のSPAD素子では動作が行われない。SPAD素子の動作を行わなければ、当然、消費電力を抑えることが出来る。また、発光部12も受光部13の位置(x,y)に対応する方向に対して発光する必要はなくなり、さらに消費電力を抑えることが出来る。
S(t+1,x,y)とE(t+1,x,y)は、それそれ、時刻t+1において、受光部13の位置(x,y)の距離ヒストグラムのデータ取得開始位置(度数カウントの開始位置)と、終了位置を指定する信号である。開始位置及び終了位置を指定することで、距離ヒストグラムにおける度数カウントの対象とする階級範囲が設定される。
ダイレクトToF形式における距離ヒストグラムの例を図6に示す。図6は、S(t+1,x,y)=10、E(t+1,x,y)=20の例を示している。この場合、binが0から9番目、及び、21番目からN−1番目の階級範囲においては、距離ヒストグラムの生成が行われない。binの値が10番目から20番目の11個のbinのみ距離ヒストグラムの生成が行われる。当然、時間0から時間10Dまでの時間、及び、時間21Dから時間N×Dまでの時間は、距離ヒストグラムの生成処理を行わないので、すべての時刻において距離ヒストグラムの生成処理を行う従来方式に比べ、消費電力を抑えることが出来る。
M(t+1)は、時刻t+1(フレーム期間)における露光回数の値である。測距に必要十分な露光回数とすることで最適な制御を行うことが出来る。
G(t+1,x,y)は、時刻t+1における同一の対象物Tgが投影されている位置(x,y)の情報である。時刻t+1のフレーム期間におけるG(t+1,x1,y1)とG(t+1,x2,y2)が同じであれば、2つの位置(x1,y1)と位置(x2,y2)に投影されている対象物Tgは同一である。従って、2つの位置(x1,y1)と位置(x2,y2)の距離ヒストグラムを加算平均することで、ノイズ除去できる。つまり、G(t+1,x,y)が同じである位置(x,y)について、距離ヒストグラムを加算平均することでノイズを除去することができる。
時刻t+2に関する
W(t+2,x,y)、
S(t+2,x,y)、
E(t+2,x,y)、
M(t+2)、
G(t+2,x,y)
についても上記した時刻t+1のときと同様である。
判別部21(制御部11)で決定された
W(t+1,x,y)、
S(t+1,x,y)、
E(t+1,x,y)、
M(t+1)、
G(t+1,x,y)、
及び、
W(t+2,x,y)、
S(t+2,x,y)、
E(t+2,x,y)、
M(t+2)、
G(t+2,x,y)
における距離ヒストグラムの生成に係る制御パラメータは、動作制御部22に入力され、動作制御部22では、当該制御パラメータに基づいて時刻t+1及び時刻t+2における測距に関する制御が行われる。
第1の実施の形態を実現するための制御部11が実行する処理例について図7を参照して説明する。
まず制御部11は、ステップS1において、時刻tに1を、Modeに0を、それぞれセットする。そして制御部11はステップS2に処理を進める。
制御部11は、ステップS2においてModeの値を判定する。Modeの値が0の場合には、ステップS3に処理を進める。
制御部11の判別部21は、ステップS3において、
W(t+1,x,y)、
S(t+1,x,y)、
E(t+1,x,y)、
M(t+1)、
G(t+1,x,y)、
及び、
W(t+2,x,y)、
S(t+2,x,y)、
E(t+2,x,y)、
M(t+2)、
G(t+2,x,y)
の制御パラメータを求める。さらに制御部11はModeの値を3に決定し、ステップS4に処理を進める。制御部11が行うステップS3の処理の詳細については後述する。
なお、ここでは一例としてModeの値を3に決定することとしたが、Modeの値は任意に設定することが可能とされ、2又は4以上に設定することも可能である。
制御部11の判別部21は、ステップS4において、距離ヒストグラムの生成に係る制御パラメータを
EN(x,y)=1、
Start(x,y)=0、
End(x,y)=N−1、
M=所定の定数(M1)、
ID(x,y)=すべて異なるID
とする。
ここで、EN(x,y)は時刻tにおけるW(t,x,y)を、Start(x,y)は時刻tにおけるS(t,x,y)を、End(x,y)は時刻tにおけるE(t,x,y)を、Mは時刻tにおけるM(t)を示している。また時刻tにおいては、受光部13における各SPAD素子のID(x,y)はすべて異なるIDに設定されている。
制御部11は、ステップS4の処理を行うことで、時刻tにおいて通常制御に基づく測距を行うための制御パラメータを設定する。そして、制御部11はステップS6に処理を進める。
制御部11は、ステップS6において、時刻tにおける通常制御による測距のため、M1回の発光と受光(露光回数がM1回)を行い、EN(x,y)=1のSPAD素子のみ動作させる。このとき、位置(x,y)の距離ヒストグラムのデータ取得(度数カウント)開始位置と終了位置は、ぞれぞれ、Start(x,y)=0、End(x,y)=N−1である。
制御部11は、ステップS7において、ID(x,y)が同じである位置(x,y)の距離ヒストグラムどうしの平均化処理を測距部16に実行させる。測距部16による平均化処理において用いられる式は下記[式1]により表される。
Figure 2021113743

なお、時刻tにおいては、受光部13における各SPAD素子のID(x,y)はすべて異なるIDに設定されているため、測距部16による平均化処理を省略することとしてもよい。
制御部11は、ステップS8において、測距部16に受光部13の各位置(x,y)における距離ヒストグラムのピーク値を検出させ、ピーク値に対応する時間にc/2を乗算するダイレクトToF方式により対象物Tgまでの距離を算出させる。
制御部11は、ステップS9において、EN(x,y) =1である位置(x,y)について、ステップS8で求めた距離を時刻tにおける位置(x,y)の測距結果として、出力端子17より出力する。時刻tにおける通常制御においては、制御部11はすべての位置(x,y)についての測距結果を出力する。
制御部11は、ステップS10において、時刻tを1だけインクリメントし、Modeを1だけデクリメントする。その後、制御部11はステップS10からステップS2に処理を戻す。
制御部11は、ステップS2においてModeの値を判定する。時刻t+1においては、時刻tにおけるステップS3での処理によりModeは3に設定され、その後のステップS10の処理により1だけデクリメントされ、Modeは2となる。
そのため制御部11は、Mode=0でないと判定し、ステップS5に処理を進める。
制御部11の判別部21は、ステップS5において、SPAD素子ごとに、
EN(x,y)=W(t+1,x,y)、
Start(x,y)=S(t+1,x,y)、
End(x,y)=E(t+1,x,y)、
M=M(t+1)、
ID(x,y)=G(t+1,x,y)
と設定する。
なお、W(t+1,x,y)、S(t+1,x,y)、E(t+1,x,y)、M(t+1)、及び、G(t+1,x,y)の値は、現在の時刻t+1よりも以前の時刻tにおけるステップS3の処理により適用的制御による測距のための制御パラメータとして確定している。
なお、ステップS5で、Start(x,y)=0、End(x,y)=N−1と設定されていた場合、受光部13の位置(x,y)に対応した距離ヒストグラムは、通常制御による測距と同様に、0番目のbinからN−1番目のbinまで、すべてのbinに対して累積が行われる。
そして制御部11は、ステップS6において、時刻t+1における適用的制御による測距のため、M(t+1)回の発光と受光を行い、EN(x,y)=1のSPAD素子のみ動作させる。このとき、位置(x,y)の距離ヒストグラムのデータ取得(度数カウント)開始位置と終了位置は、ぞれぞれ、Start(x,y)=S(t+1,x,y)、End(x,y)=E(t+1,x,y)である。
制御部11は、ステップS7において、ID(x,y)が同じである位置(x,y)の距離ヒストグラムどうしの平均化処理を測距部16に実行させる。測距部16による平均化処理において用いられる式は上記[式1]により表される。
制御部11は、ステップS8において、測距部16に受光部13の各位置(x,y)における距離ヒストグラムのピーク値を検出させ、ピーク値に対応する時間にc/2を乗算するダイレクトToF方式により対象物Tgまでの距離を算出させる。
制御部11は、ステップS9において、EN(x,y) =1である位置(x,y)について、ステップS8で求めた距離を時刻tにおける位置(x,y)の測距結果として、出力端子17より出力する。なお、EN(x,y) =0である位置(x,y)については、測距結果を出力しない。
制御部11は、ステップS10において、時刻tを1だけインクリメントし、Modeを1だけデクリメントする。これにより、時刻t+1は時刻t+2となり、Modeは2から1となる。制御部11はステップS10からステップS2に処理を戻す。
その後、制御部11は、ステップS2においてModeの値を判定する。時刻t+2においてModeは1であるため、制御部11はステップS3に処理を進め、時刻tのときにステップS3にて設定された時刻t+2での適用的制御による測距のための制御パラメータに基づいて、ステップS5からステップS9までの処理を実行する。
そして制御部11は、ステップS10において、時刻tを1だけインクリメントし、Modeを1だけデクリメントする。これにより、時刻t+2は時刻t+3となり、Modeは1から0となる。
従って、制御部11は、ステップS2からステップS3に処理を進め、時刻t+3以降の時刻において上記と同様の処理を実行する。
制御部11が図7の処理を行うことで、図3に示すような時刻tにおいて通常制御における測距を実行させるとともに、時刻t+1及び時刻t+2において、時刻tで設定された制御パラメータに基づく適用的制御による測距を行うことができる。
次に、制御部11(判別部21)が実行する図7におけるステップ3の処理の詳細について、図8を参照して説明する。
すなわち、「3で割った余りが1である時刻t」の時のヒストグラムH(t,x,y,n)を入力とし、
W(t+1,x,y)、
S(t+1,x,y)、
E(t+1,x,y)、
M(t+1)、
G(t+1,x,y)、
及び、
W(t+2,x,y)、
S(t+2,x,y)、
E(t+2,x,y)、
M(t+2)、
G(t+2,x,y)
といった制御パラメータを決定する処理の詳細説明である。
まず、制御部11はステップS101において、時刻tにおける画像から対象物Tgの検出を行うここで、該画像は、例えばRGBカメラ200における時刻tでの撮像画像である。該撮像画像は、画像入力端子19を介して、距離測定装置10の制御部11(判別部21)へと入力される。
なお、対象物Tgの検出に用いる画像として、時刻tにおける距離ヒストグラムから特願2017−224451の図13及び式14に示されている計算により算出される輝度画像(環境光により照らし出されたときの輝度画像)を用いることもでき、その場合、RGBカメラ200は不要とすることができる。
ここでいう対象物Tgとは、制御部11が図7の処理を行う前に、検出モード入力端子18を介して入力された、指定された対象物である。なお、画像から対象物Tg(人、顔、手、車など)を検出する処理は従来からあり、既知のため、その詳細説明を割愛する。
本実施の形態では一例として対象物Tgが人の場合について、図9を参照して説明する。図9Aは、時刻tにおける撮像画像である。
この場合、制御部11は、時刻tでの撮像画像に基づいて対象物Tg1と対象物Tg2として2名の人を検出する。なお、以下の説明において対象物Tg1と対象物Tg2に特に区別しない場合は、上述までと同様に対象物Tgとして表記する。
そして制御部11は、ステップS102において、検出された対象物Tg1と対象物Tg2についてセグメント化を行う。
図9Bは対象物Tgごとにセグメント化された画像データを示している。図9Bにおける斜線領域は1人目の対象物Tg1の領域を、黒色領域は2人目の対象物Tg2の領域を、そして白色領域は対象物Tg1,Tg2(人)以外の領域を示している。
制御部11は、ステップS103において、
W(t+1,x,y)、
S(t+1,x,y,n)、
E(t+1,x,y,n)、
M(t+1)、
G(t+1,x,y)
をSPAD素子ごとに決定する。
制御部11は、時刻t+1における各SPAD素子におけるW(t+1,x,y)の値を決定する。
具体的に制御部11は、検出された対象物Tg1,Tg2の領域(図9Bの斜線領域及び黒色領域)に対応するSPAD素子について、W(t+1,x,y)=1とする。そして、検出された対象物Tg1,Tg2以外の領域(図9Bの白色領域)に対応するSPAD素子について、W(t+1,x,y)=0とする。
制御部11は、図7で説明した通り、時刻t+1において、W(t+1,x,y)=0となる位置(x,y)のSPAD素子について距離ヒストグラムの生成を行わないため、測距を行わない。W(t+1,x,y)=0の領域は対象物Tgではないので、測距を行わなくても不都合はない。
また制御部11は、時刻t+1における度数カウントの対象とする階級範囲(binの範囲)を設定する。制御部11は、S(t+1,x,y)とE(t+1,x,y)の値を決定し、S(t+1,x,y)以上E(t+1,x,y)以下の範囲を度数カウントの対象とする階級範囲として設定する。
ここで所定の値をConstとする。Constは、対象物Tgがフレーム期間内に奥行方向(距離方向)に異動し得る最大の量を推定した値である。例えば、検出モード入力端子18より指定した対象物Tgが人であれば、動きの変化量はあまり大きくないと推定してConstを比較的小さな値とし、対象物Tgが車であれば、動きの変化量が大きいと推定してConstを比較的大きな値とする。
時刻tの各位置(x,y)における距離ヒストグラムのピーク検出を行い、ピーク値よりConstだけ小さい値をS(t+1,x,y)とする。その値よりConstだけ大きい値をE(t+1,x,y)とする。時刻tにおいて、位置(x,y)における対象物Tgまでの距離は、ピーク値の検出に基づく距離である。従って、時刻t+1においては、「該距離−Const」以上「該距離+Const」以下の距離のいずれかに存在し、それ以外の距離には存在しない。従って、測距する階級範囲(距離ヒストグラム上でカウントすべきbin)は、S(t+1,x,y)以上E(t+1,x,y)以下の範囲だけで十分である。
W(t+1,x,y)=1を満たす各位置(x,y)における距離ヒストグラムのピーク値の大きさの平均値をPavとする。すなわち、Pavは下記[式2]で表される。
Figure 2021113743

P1を所定の定数とする。この値P1は、ピーク検出において検出を確実かつ容易とするピーク値である。このとき、M(t+1)は下記[式3]で表される。
Figure 2021113743

制御部11は、上記[式3]に基づいて時刻t+1における露光回数M(t+1)を決定する。
時刻tにおいてM1回の発光と受光(露光回数がM1回)によるピーク値はPav程度である。そこで、時刻t+1における露光回数M(t+1)を[式3]で示す値にすると、時刻t+1におけるピーク値はP1程度になる。従って、時刻t+1におけるピーク値の検出が、確実かつ容易となる。なお、[式2]において、位置(x,y)として、W(t+1,x,y)=1を満たす位置(x,y)に限定しているのは、測距したい対象物Tgに限定しているからである。
また制御部11は、ステップS102でのセグメント化処理に基づいて時刻t+1におけるセグメント情報を生成する。
ここでいうセグメント情報とは、同一の対象物Tgからの反射光を受光したSPAD素子群を示す情報であり、例えば図9Bに示すような検出された対象物Tg1,Tg2をセグメント化したもののみならず、図9Cに示すようにセグメント化した対象物Tg1,Tg2をdilation(画像の膨張処理)したものも含まれる。
具体的には、制御部11は、セグメント化されたSPAD素子群ごとに、G(t+1,x,y)として、一つのIDを割り当てたセグメント情報を生成する。例えば図9Bの斜線領域内の位置(x,y)については、G(t+1,x,y)=1を割り当てる。また黒色領域内の位置(x,y)については、G(t+1,x,y)=2を割り当てる。さらに白色領域内の位置(x,y)については、G(t+1,x,y)=3を割り当てる。図7を用いて既に説明した通り、時刻t+1においては、G(t+1,x,y)=1である位置(x,y)は、同じ対象物Tg1を測距している領域であり、ステップS7においてこの領域内で平均化処理を行うことでノイズを除去することができる。G(t+1,x,y)=2についても同様である。
制御部11は、ステップS104において、
W(t+2,x,y)、
S(t+2,x,y)、
E(t+2,x,y)、
M(t+2)、
G(t+2,x,y)
をSPAD素子ごとに決定する。
まず制御部11は、時刻t+2におけるセグメント情報を生成する。制御部11は、ステップ103で求めたW(t+1,x,y)=1内にある各セグメント(図9Bの場合、G(t+1,x,y)=1と、G(t+1,x,y)=2の二つのセグメント)について、dilation(画像の膨張処理)を行う。図9Cは、図9BのG(t+1,x,y)=1の対象物Tg1(斜線領域)と、G(t+1,x,y)=2の対象物Tg2(黒色領域)についてdilationが行われた状態を示している。
そして制御部11は、各セグメントのdilationされた領域に、一つのIDを割り当てる。すなわち、制御部11は、図9Cの斜線領域内の位置(x,y)についてはG(t+2,x,y)=1、黒色領域内の位置(x,y)についてはG(t+2,x,y)=2を割り当てる。制御部11は、残りの領域(図9Cの白色領域内の位置(x,y)について別のIDであるG(t+2,x,y)=3を割り当てる。
また制御部11は、時刻t+2における各SPAD素子におけるW(t+1,x,y)の値を決定する。
制御部11は、dilationされた領域のいずれかに属する位置(x,y)については、W(t+2,x,y)=1とする。それ以外の領域は、W(t+2,x,y)=0とする。即ち、制御部11は図9Cの斜線領域及び黒色領域についてW(t+2,x,y)=1とする。そして、検出された対象物Tg1,Tg2以外の領域(図9Cの白色領域)は、W(t+2,x,y)=0とする。
時刻t+2は、時刻tに対して、2だけ時間が経過しているので、対象物Tgが移動している可能性もあり、時刻tにおいて検出された対象物Tgの位置(図9Bの斜線領域及び黒色領域)よりも、一回り大きい領域内(図9Cの斜線領域及び黒色領域)をすべて測距すべきである。そこで、上述のとおりdilationした領域をW(t+2,x,y)=1としている。なお、時刻t+1においては、対象物Tgは、ほぼ時刻tと同じ位置にいると考えられるので、W(t+1,x,y)の決定に関してはdilationを行わない。
これにより、制御部11は、図7で説明した通り、時刻t+2においては、W(t+2,x,y)=0となる位置(x,y)のSPAD素子について距離ヒストグラムの生成を行われず、測距が行われない。W(t+2,x,y)=0の領域は対象物Tgではないので、測距を行わなくても不都合はない。
図7を用いて既に説明した通り、時刻t+2においては、G(t+2,x,y)=1である位置(x,y)は、同じ対象物Tg1を測距している領域であり、ステップS7においてこの領域内で平均化処理を行うことでノイズを除去することができる。厳密には、G(t+2,x,y)=1である領域には、dilationにより、対象物Tgでない領域も含まれるが、その面積は微小なので問題ない。G(t+2,x,y)=2についても同様である。
また制御部11は、時刻t+2における度数カウントの対象とする階級範囲を設定するにあたり、時刻tの各位置(x,y)における距離ヒストグラムのピーク値の検出を行い、その値より2×Constだけ小さい値をS(t+2,x,y)とし、その値より2×Constだけ大きい値をE(t+2,x,y)とする。
時刻tにおいて、位置(x,y)における対象物Tgまでの距離は、ピーク値の検出に基づく距離である。従って、時刻t+2においては、「該距離−2×Const」以上「該距離+2×Const」以下の距離のいずれかに存在し、それ以外の距離には存在しない。従って、測距する範囲(すなわち、ヒストグラム上でカウントすべきbin)は、S(t+2,x,y)以上E(t+2,x,y)以下の範囲だけで十分である。
W(t+2,x,y)=1を満たす各位置(x,y)におけるヒストグラムのピークの大きさの平均値をPav2とする。すなわち、Pav2は下記[式4]で表される。
Figure 2021113743

このとき、M(t+2)は下記[式5]で表される。
Figure 2021113743

制御部11は、上記[式5]に基づいて時刻t+2における露光回数M(t+2)を決定する。
時刻tにおいてM1回の発光と受光(露光回数がM1回)により、ピーク値はPav2程度である。そこで、時刻t+2における露光回数M(t+2)を[式4]で示す値にすると、時刻t+2におけるピーク値はP1程度になる。従って、時刻t+2におけるピーク値の検出が、確実かつ容易となる。なお、[式5]において、位置(x,y)として、W(t+2,x,y)=1を満たす位置(x,y)に限定しているのは、測距したい対象物Tgに限定しているからである。
制御部11は、ステップ104の後、図8の処理を終了して図7のステップ4に処理を進め、上述と同様の処理を実行する。
なお、第1の実施の形態では、図3に示すように、時間的に3周期で、1回の「通常制御による測距」と、2回の「適応的制御下における測距」を繰り返す場合であった。本技術は、周期を3に限定するものではない。例えば、時間的に2周期で、1回の「通常測距」と、1回の「適応的制御下における測距」を繰り返す場合であってもよい。例えば、検出モード入力端子18から入力される「指定された対象物Tg」が人、顔、あるいは、手など、比較的動きの少ない物体の場合には、1回の「通常制御による測距」と、2回の「適応的制御下における測距」を繰り返す3周期とするとよい。一方で検出モード入力端子18から入力される「指定された対象物Tg」が車など比較的動きの大きな物体の場合には、1回の「通常制御による測距」と、1回の「適応的制御下における測距」を繰り返す2周期とするとよい。
<4.第2の実施の形態>
本技術の第2の実施の形態について図10及び図11を参照して説明する。
本実施の形態において、制御部11(判別部21)は、第1の実施の形態と同様に図7に示す処理を実行するが、ステップS3において異なる処理を実行する。なお、第2の実施の形態においてもステップS3にて決定されるModeの値は常に3とする。
第2の実施の形態では、制御部11(判別部21)は、図10に示すように「3で割った余りが1である時刻t」の時のヒストグラムH(t,x,y,n)と、その時刻よりも3早い時刻t−3のヒストグラムH(t−3,x,y,n)を入力し、
W(t+1,x,y)、
S(t+1,x,y)、
E(t+1,x,y)、
M(t+1)、
G(t+1,x,y)、
及び、
W(t+2,x,y)、
S(t+2,x,y)、
E(t+2,x,y)、
M(t+2)、
G(t+2,x,y)
といった制御パラメータを決定する処理を実行する。
第2の実施の形態を実現するための制御部11(判別部21)が実行する処理例について図11を参照して説明する。
図11のステップS201、S202、S203、S204において、制御部11は、それぞれ対象物Tgの検出、セグメント化、
W(t+1,x,y)、
S(t+1,x,y)、
E(t+1,x,y)、
M(t+1)、
G(t+1,x,y)、
の決定、
W(t+2,x,y)、
S(t+2,x,y)、
E(t+2,x,y)、
M(t+2)、
G(t+2,x,y)
の決定といった処理を実行する。これら処理は、第1の実施の形態の図8に示すステップS101からS104と同じ処理であるため説明を省略する。
制御部11は、ステップS205において、過去の連続するフレーム期間において生成された距離ヒストグラムの変化量に基づいて、現在以降のフレーム期間においてヒストグラム生成部15に距離ヒストグラムを生成させるか否かを決定する。すなわち、制御部11は、必要に応じてW(t+1,x,y)とW(t+2,x,y)の値を上書きする処理を実行する。
具体的には、制御部11は、W(t+2,x,y)=1を満たす各位置(x,y)におけるヒストグラムH(t,x,y,n)のピーク検出を行うとともに、W(t+2,x,y)=1を満たす各位置(x,y)におけるヒストグラムH(t−3,x,y,n)のピーク検出を行う。そして、制御部11は、W(t+2,x,y)=1を満たす全ての位置(x,y)において、ヒストグラムH(t−3,x,y,n)のピーク値とヒストグラムH(t,x,y,n)のピーク値が同じあるか(変化しているか)を判定する。
W(t+2,x,y)=1を満たす位置(x,y)において一つでも違うものがあれば、制御部11は、W(t+1,x,y)とW(t+2,x,y)の値の上書きを行わない。一方、W(t+2,x,y)=1を満たす位置(x,y)がすべて同じであれば、制御部11は、全ての位置におけるW(t+1,x,y)及びW(t+2,x,y)を0で上書きする。
なお、0で上書きされる位置は、更新前のW(t+2,x,y)の値にかかわらず、すべてのSPAD素子の位置についてである。W(t+2,x,y)=1を満たす全ての位置(x,y)において、ヒストグラムH(t−3,x,y,n)のピーク値とH(t,x,y,n)のピーク値が同じであるということは、対象物Tgは、時刻t−3から時刻tにおいて動いていないことを意味する。従って、時刻t+1、及び、t+2においても動いていないと判断して良い。対象物Tgが動いていないので、時刻t+1、及び、t+2において測距する必要はない。ステップS205において、すべてのSPAD素子の位置についてW(t+1,x,y)=W(t+2,x,y)=0とすることで、図7のステップS6に示すように、時刻t+1、及びt+2においては、すべてのSPAD素子で測距は行われなくなる。これは、通常であればフレーム期間ごとに測距を行っていたが、適応的に時間間隔3で測距することになる、すなわち、適応的に測距する時間間隔を可変にしていることになる。
また制御部11は、ステップS205において、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて、現在以降のフレーム期間において発光部12を発光させるか否かを決定する。
具体的に制御部11は、W(t+2,x,y)=1を満たす位置(x,y)がすべて同じ(変化していない)場合に、制御部11は、全ての位置におけるW(t+1,x,y)及びW(t+2,x,y)を0で上書きするとともに、時刻t+1及び時刻t+2において発光部12を発光させないように制御することもできる。測距を行わない時間に発光部12を発光させないことで、距離測定装置10の消費電力を削減することができる。
なお、第2の実施の形態では、制御部11はヒストグラムH(t−3,x,y,n)のピーク値とヒストグラムH(t,x,y,n)のピーク値が同じあるかを判定することとしたが、ヒストグラムH(t−3,x,y,n)のピーク値とヒストグラムH(t,x,y,n)のピーク値の差分としての変化量が、所定の閾値以下であるか否かを判定することとしてもよい。
例えば制御部11は、ステップS205において、時刻t−3から時刻tまでの変化量が所定の閾値以下である場合は、対象物Tgがほとんど動いていないものと判定し、W(t+1,x,y)及びW(t+2,x,y)を0で上書きする。
制御部11は、ステップ205の後、図11の処理を終了して図7のステップ4に処理を進め、上述と同様の処理を実行する。
<5.第3の実施の形態>
本技術の第3の実施の形態について図12及び図13を参照して説明する。
第3の実施の形態において、制御部11(判別部21)は、第1の実施の形態と同様に図7に示す処理を実行するが、ステップS3において異なる処理を実行する。
第3の実施の形態は、過去のフレーム期間において生成された距離ヒストグラムに基づいて、現在以降に連続して同一の制御パラメータによる処理を行うフレーム期間の回数としての適応的制御回数を設定する例である。すなわち、制御部11は、時刻tにおけるヒストグラムH(t,x,y,n)から、現時点(時刻t)での状況を判断し、「時刻t+1のみを適応的に制御する」か(適応的制御回数が1回であるか)、あるいは、「時刻t+1と時刻t+2の2つの時刻について適応的に制御する」か(適応的制御回数が2回であるか)を決定する。ここで、tは、Mode=0となる時刻である。
なお、第1の実施の形態及び第2の実施の形態においては、時刻tにおけるヒストグラムH(t,x,y,n)から、現時点(時刻t)での状況を判断し、常に、「時刻t+1と時刻t+2の2つの時刻について適応的に制御する(適応的制御回数が2回)」処理について説明していた。すなわち、ステップS3で設定されるModeの値は常に3であった。第3の実施の形態においては、ステップS3で設定されるModeの値は、2あるいは3であり、それは、時刻tにおける状況により適応的に決定される。これが、第1の実施の形態及び第2の実施の形態と、第3の実施の形態との違いである。
第3の実施の形態では、制御部11(判別部21)は、図12に示すように、「Modeが0である時刻t」の時のヒストグラムH(t,x,y,n)と、その時刻よりも以前で、かつ、Modeが0であった直近の時刻(taとする)のヒストグラムH(ta,x,y,n)を入力し、
W(t+1,x,y)、
S(t+1,x,y)、
E(t+1,x,y)、
M(t+1)、
G(t+1,x,y)、
及び、
W(t+2,x,y)、
S(t+2,x,y)、
E(t+2,x,y)、
M(t+2)、
G(t+2,x,y)
といった制御パラメータを決定する処理を実行する。また、Modeの値も決定する。
第3の実施の形態を実現するための制御部11(判別部21)が実行する処理例について図13を参照して説明する。
図13のステップS301、S302、S303、S304で、それぞれ、対象物Tgの検出、セグメント化、
W(t+1,x,y)、
S(t+1,x,y)、
E(t+1,x,y)、
M(t+1)、
G(t+1,x,y)、
の決定、
W(t+2,x,y)、
S(t+2,x,y)、
E(t+2,x,y)、
M(t+2)、
G(t+2,x,y)
の決定といった処理を実行する。これら処理は、第1の実施の形態の図8に示すステップS101からS104と同じ処理であるため説明を省略する。
制御部11は、ステップS305においてModeの値を決定する。具体的には、制御部11は、W(t+2,x,y)=1を満たす各位置(x,y)におけるヒストグラムH(t,x,y,n)のピーク検出を行う。また、W(t+2,x,y)=1を満たす各位置(x,y)におけるヒストグラムH(ta,x,y,n)のピーク検出も行う。ここで時刻taは、直前の通常制御を行ったフレーム期間を意味する。
そして、W(t+2,x,y)=1を満たす全ての位置(x,y)において、ヒストグラムH(ta,x,y,n)のピーク値とH(t,x,y,n)のピーク値が同じあるか判定する。W(t+2,x,y)=1を満たす位置(x,y)において、半数以上でピーク値が違えば、Mode=1とする。ピーク値が違う位置(x,y)が半数未満であれば、Mode=2とする。
ここで、ステップS305におけるModeの決定について説明する。
W(t+2,x,y)=1を満たすほぼ全ての位置(x,y)において、ヒストグラムH(ta,x,y,n)のピーク値とH(t,x,y,n)のピーク値が同じであるということは、対象物Tgは、時刻taから時刻tにおいて、ほぼ動いていない(変化量が小さい)ことを意味する。従って、時刻t+1、及び、t+2においても、ほぼ動いていないと判断して良い。対象物Tgが、ほぼ動いていないので、時刻t+1、及び、t+2において適応的制御(すなわち、一部のSPADは動作させない、あるいは、ヒストグラムのデータ取得部分を限定するなどの処理)をしても、測距が失敗することはない。そこで、Mode=3と設定しても問題ない。
一方、W(t+2,x,y)=1を満たすほぼ全ての位置(x,y)において、ヒストグラムH(ta,x,y,n)のピーク値とH(t,x,y,n)のピーク値が違うということは、対象物Tgは、時刻taから時刻tにおいて、かなり動いている(変化量が大きい)ことを意味する。従って、時刻t+1において適応的制御を行っても良いが、時刻t+2においても適応的制御を行うと失敗する可能性もある。すなわち、対象物Tgの動きが大きく、時間的に2だけ進んだ時刻である時刻t+2における予測が外れる可能性があり、ステップS304にて求めたW(t+2,x,y)、S(t+2,x,y)、及び、E(t+2,x,y)が適切でない可能性がある。そこで、Mode=2とすることで、時刻t+2においては適応的制御を行わないようにする。なお、この場合、ステップS304で求めた
W(t+2,x,y)、
S(t+2,x,y)、
E(t+2,x,y)、
M(t+2)、
G(t+2,x,y)
は使われることはない。
制御部11は、ステップ305の後、図13の処理を終了して図7のステップ4に処理を進め、上述と同様の処理を実行する。
<6.まとめ及び変形例>
以上の実施の形態の距離測定装置10は、連続するフレーム期間ごとに、発光部12が発光し対象物Tgで反射された光の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う検出部14と、フレーム期間ごとに検出部14により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部15と、過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う制御部11と、を備える(図7のS3,図8参照)。
これにより、過去のフレーム期間において生成された距離ヒストグラムから読み取れる状況を反映させた制御パラメータに基づいて、現在以降の測距に関する制御が実行される。
従って、現在以降のフレーム期間における測距を効率よく行うことができる。そのため、測距における距離測定装置10の処理負担を軽減し、消費電力の削減を実現することができる。
実施の形態の距離測定装置10では、受光信号を得る受光部13は複数の受光素子(SPAD素子)を有し、制御部11は、過去のフレーム期間において受光素子(SPAD素子)ごとに生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う(図7のS3,図8参照)。
これにより、過去のフレーム期間において生成された距離ヒストグラムから読み取れるSPAD素子ごとの状況を反映させた制御パラメータに基づいて、現在以降の測距に関する制御がSPAD素子ごとに実行される。
従って、例えば各SPAD素子の状況に応じて、一部のSPAD素子のみ現在以降の距離ヒストグラムの生成を行うといったような、素子単位で過去の状況を反映させた現在以降の測距に関する制御を実現することができる。また、制御が不要なSPAD素子について処理を行わないことで、測距における距離測定装置10の処理負担を軽減し、消費電力の削減を実現することができる。
実施の形態の距離測定装置10では、制御部11は、前記制御パラメータの設定として、前記距離ヒストグラムにおける度数カウントの対象とする階級範囲を設定する(図6,図7のS3,図8のS103,S104等参照)。
これにより、過去に生成された距離ヒストグラムから読み取れる状況に応じて、現在以降において測距を行うために必要と考えられる一部の階級範囲のみについて距離ヒストグラムを生成する。
従って、測距を行うために不要と推定される階級範囲について距離ヒストグラムを生成する処理を省くことができ、測距における距離測定装置10の処理負担が軽減され、消費電力を削減することができる。
実施の形態の距離測定装置10では、制御部11は、過去の前記距離ヒストグラムのピーク値の階級を含む所定の階級範囲を前記度数カウントの対象とする階級範囲として設定する(図7のS3,図8のS103,S104等参照)。
ピーク値は対象物Tgまでの距離と推定される値である。そのため上記構成によれば、例えば直前のフレーム期間などの過去のフレーム期間における対象物Tgの距離を含む所定の階級範囲のみを、現在以降の距離ヒストグラムにおける度数カウントの対象となる階級範囲として設定することが可能となる。
従って、測距を行うために不要と推定される階級範囲の設定における精度を向上させることができる。また、距離ヒストグラムを生成しない階級範囲の設定精度が向上することで、測距における距離測定装置10の処理負担がより軽減され、消費電力をより削減することができる。
実施の形態の距離測定装置10では、制御部11は、前記制御パラメータの設定として、フレーム期間における露光回数M(t)を設定する(図7のS3,図8のS103,S104等参照)。
これにより、測距を行うにあたり周辺環境に応じて適したフレーム期間における露光回数を設定することが可能となる。
従って、例えば周囲の環境光が少ない場合などにおいて、フレーム期間における露光回数を少なくすることができるようになり、測距における距離測定装置の処理負担が軽減され、消費電力を削減することができる。
第3の実施の形態の距離測定装置10では、制御部11は、過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降に連続して同一の前記制御パラメータによる処理を行うフレーム期間の回数としての適応的制御回数(Mode)を設定する(図7のS3,図13のS305等参照)。
これにより、過去の距離ヒストグラムの傾向からフレーム期間ごとに制御パラメータを逐次設定することが不要と推定される場合に対応して、現在以降における適応的制御回数以内のフレーム期間において同一の制御パラメータを使用することが可能となる。
従って、測距のための制御パラメータを作成することにより生じる距離測定装置10の処理負担を軽減することができる。また、距離測定装置10における消費電力の削減を図ることができる。
第3の実施の形態の距離測定装置10では、制御部11は、過去の連続するフレーム期間において生成された距離ヒストグラムの変化量に基づいて適応的制御回数(Mode)を設定する(図7のS3,図13のS305等参照)。
過去の連続するフレーム期間における距離ヒストグラムの変化量から対象物Tgの動きの速さを推定可能である。このため、上記構成によれば、推定された対象物Tgの動きの速さに応じて適応的制御回数を設定可能となる。
従って、測距の対象物Tgの動きの速さによっては適応的制御回数を多く設定することができる。そのため、測距における距離測定装置の処理負担がより軽減され、消費電力をより削減することができる。
第3の実施の形態の距離測定装置10では、制御部11は、生成された距離ヒストグラムの変化量が小さいほど、前記適応的制御回数(Mode)を多く設定する(図7のS3,図13のS305参照)。
これにより、過去の連続するフレーム期間における距離ヒストグラムの変化量が小さい対象物Tgは、現在以降に同一の制御パラメータを使用するフレーム期間が多くなる。
距離ヒストグラムの変化量が小さい対象物Tgは、静止状態であるか又は動きがゆっくりであるため、測距による距離が予測できないほど大きく変化することがない。そのため、現在以降の制御パラメータを生成しないフレーム期間を多く設けても対象物Tgの測距に支障を来す可能性が低い。
従って、動きの少ない対象物Tgについては現在以降の制御パラメータを生成しないフレーム期間を多く設けることで、測距における距離測定装置の処理負担がより軽減され、消費電力をより削減することができる。
第2の実施の形態の距離測定装置10では、制御部11は、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて、現在以降のフレーム期間において前記距離ヒストグラムを生成させるか否かを決定する(図7のS3,図11のS205参照)。
これにより、過去の対象物Tgの動きに応じて、現在以降のフレーム期間で距離ヒストグラムを生成させるか否かを決定することが可能となる。
従って、例えば距離ヒストグラムの変化量が小さい場合には、現在以降のフレーム期間において距離ヒストグラムを生成しないことで、測距における距離測定装置の処理負担が軽減され、消費電力を削減することができる。
第2の実施の形態の距離測定装置10では、制御部11は、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて、現在以降のフレーム期間において発光部12を発光させるか否かを決定する(図7のS3,図11のS205参照)。
これにより、現在以降のフレーム期間で距離ヒストグラムを生成しない場合に対応して、発光部を発光させないことが可能となる。
距離ヒストグラムを生成しない場合は、発光部12の発光から受光までの時間を測定する必要もなくなるためである。このように距離ヒストグラムを生成しない場合に発光部12の発光を行わないことで測距における距離測定装置の処理負担がより軽減され、消費電力をより削減することができる。
実施の形態の距離測定装置10では、受光信号を得る受光部15は複数の受光素子(SPAD素子)を有し、制御部11は、前記制御パラメータの1つとして、同一の対象物Tgからの反射光を受光した受光素子群(SPAD素子群)を示すセグメント情報を生成し、前記セグメント情報が示す受光素子群(SPAD素子群)における受光素子(SPAD素子)の前記距離ヒストグラムを加算平均する(図7のS3,図8のS103,S104等参照)。
これにより、同じセグメントに属する受光素子において生成された距離ヒストグラムどうしのノイズリダクションが行われる。
従って、セグメントされた対象物Tgについてムラのない測距を実現することができる。
また実施の形態において、図8,図11,図13を用いて説明した処理の少なくとも一部を例えばCNN(Convolutional Neural Network)等を用いたAI(Artificial Intelligence:人工知能)により実現しても良い。例えば図8のステップS101等に示す対象物Tgの検出処理や、ステップS102等に示すSPAD素子のセグメント化処理などをCNNにより実現することが考えられる。
また実施の形態としての距離測定方法は、連続するフレーム期間ごとに、発光部12が発光し対象物Tgで反射された光41の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う検出部14と、フレーム期間ごとに検出部14により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部15と、を備える距離測定装置10の距離測定方法であって、過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行うものである。
このような距離測定方法によっても、上記した本技術に係る距離測定装置10と同様の作用及び効果を得ることができる。
実施の形態のプログラムは、図7,図8,図11,図13の処理を、例えばCPU、DSP(Digital Signal Processor)等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、連続するフレーム期間ごとに、発光部が発光し対象物Tgで反射された光の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う検出部と、フレーム期間ごとに前記検出部により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部と、を備える距離測定装置に、過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う処理を実行させるプログラムである。このようなプログラムにより、上述した距離制御装置を実現できる。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDD(Hard Disk Drive)や、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
或いはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc:登録商標)、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
またこのようなプログラムによれば、実施の形態の通信制御装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、PDA等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の距離測定装置として機能させることができる。
<7.本技術>
本技術は以下のような構成も採ることができる。
(1)
連続するフレーム期間ごとに、発光部が発光し対象物で反射された光の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う検出部と、
フレーム期間ごとに前記検出部により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部と、
過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う制御部と、を備える
距離測定装置。
(2)
前記受光信号を得る受光部は複数の受光素子を有し、
前記制御部は、過去のフレーム期間において受光素子ごとに生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う
上記(1)に記載の距離測定装置。
(3)
前記制御部は、前記制御パラメータの設定として、前記距離ヒストグラムにおける度数カウントの対象とする階級範囲を設定する
上記(1)又は(2)に記載の距離測定装置。
(4)
前記制御部は、過去の前記距離ヒストグラムのピーク値の階級を含む所定の階級範囲を前記度数カウントの対象とする階級範囲として設定する
上記(3)に記載の距離測定装置。
(5)
前記制御部は、前記制御パラメータの設定として、フレーム期間における露光回数を設定する
上記(1)から(4)の何れかに記載の距離測定装置。
(6)
前記制御部は、過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降に連続して同一の前記制御パラメータによる処理を行うフレーム期間の回数としての適応的制御回数を設定する
上記(1)から(5)の何れかに記載の距離測定装置。
(7)
前記制御部は、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて前記適応的制御回数を設定する
上記(6)に記載の距離測定装置。
(8)
前記制御部は、前記変化量が小さいほど、前記適応的制御回数を多く設定する
上記(7)に記載の距離測定装置。
(9)
前記制御部は、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて、現在以降のフレーム期間において前記距離ヒストグラムを生成させるか否かを決定する
上記(1)から(8)の何れかに記載の距離測定装置。
(10)
前記制御部は、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて、現在以降のフレーム期間において前記発光部を発光させるか否かを決定する
上記(9)に記載の距離測定装置。
(11)
前記受光信号を得る受光部は複数の受光素子を有し、
前記制御部は、前記制御パラメータの1つとして、同一の前記対象物からの反射光を受光した受光素子群を示すセグメント情報を生成し、前記セグメント情報が示す受光素子群における受光素子の前記距離ヒストグラムを加算平均する
上記(1)から(10)の何れかに記載の距離測定装置。
(12)
連続するフレーム期間ごとに、発光部が発光し対象物で反射された光の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う検出部と、フレーム期間ごとに前記検出部により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部と、を備える距離測定装置の距離測定方法であって、
過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う
距離測定方法。
(13)
連続するフレーム期間ごとに、発光部が発光し対象物で反射された光の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う検出部と、フレーム期間ごとに前記検出部により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部と、を備える距離測定装置に、
過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う処理を実行させる
プログラム。
最後に、本開示に記載された効果は例示であって限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
また本開示に記載された実施の形態はあくまでも一例であり、本技術が上述の実施の形態に限定されることはない。従って、上述した実施の形態以外であっても本技術の技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能なことはもちろんである。なお、実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。
10 距離測定装置
11 制御部
12 発光部
13 受光部
14 検出部
15 ヒストグラム生成部
16 測距部
21 判別部
22 動作制御部
40,41 光
Tg 対象物

Claims (13)

  1. 連続するフレーム期間ごとに、発光部が発光し対象物で反射された光の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う検出部と、
    フレーム期間ごとに前記検出部により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部と、
    過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う制御部と、を備える
    距離測定装置。
  2. 前記受光信号を得る受光部は複数の受光素子を有し、
    前記制御部は、過去のフレーム期間において受光素子ごとに生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う
    請求項1に記載の距離測定装置。
  3. 前記制御部は、前記制御パラメータの設定として、前記距離ヒストグラムにおける度数カウントの対象とする階級範囲を設定する
    請求項1に記載の距離測定装置。
  4. 前記制御部は、過去の前記距離ヒストグラムのピーク値の階級を含む所定の階級範囲を前記度数カウントの対象とする階級範囲として設定する
    請求項3に記載の距離測定装置。
  5. 前記制御部は、前記制御パラメータの設定として、フレーム期間における露光回数を設定する
    請求項1に記載の距離測定装置。
  6. 前記制御部は、過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降に連続して同一の前記制御パラメータによる処理を行うフレーム期間の回数としての適応的制御回数を設定する
    請求項1に記載の距離測定装置。
  7. 前記制御部は、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて前記適応的制御回数を設定する
    請求項6に記載の距離測定装置。
  8. 前記制御部は、前記変化量が小さいほど、前記適応的制御回数を多く設定する
    請求項7に記載の距離測定装置。
  9. 前記制御部は、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて、現在以降のフレーム期間において前記距離ヒストグラムを生成させるか否かを決定する
    請求項1に記載の距離測定装置。
  10. 前記制御部は、過去の連続するフレーム期間において生成された前記距離ヒストグラムの変化量に基づいて、現在以降のフレーム期間において前記発光部を発光させるか否かを決定する
    請求項9に記載の距離測定装置。
  11. 前記受光信号を得る受光部は複数の受光素子を有し、
    前記制御部は、前記制御パラメータの1つとして、同一の前記対象物からの反射光を受光した受光素子群を示すセグメント情報を生成し、前記セグメント情報が示す受光素子群における受光素子の前記距離ヒストグラムを加算平均する
    請求項1に記載の距離測定装置。
  12. 連続するフレーム期間ごとに、発光部が発光し対象物で反射された光の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う検出部と、フレーム期間ごとに前記検出部により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部と、を備える距離測定装置の距離測定方法であって、
    過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う
    距離測定方法。
  13. 連続するフレーム期間ごとに、発光部が発光し対象物で反射された光の受光信号に基づきダイレクトToF方式による距離指数の取得を複数回行う検出部と、フレーム期間ごとに前記検出部により複数回得られる距離指数に基づいて、前記距離指数を距離ごとの頻度情報として表した距離ヒストグラムをフレーム期間ごとに生成するヒストグラム生成部と、を備える距離測定装置に、
    過去のフレーム期間において生成された前記距離ヒストグラムに基づいて、現在以降のフレーム期間における前記距離ヒストグラムの生成に係る制御パラメータの設定を行う処理を実行させる
    プログラム。
JP2020006585A 2020-01-20 2020-01-20 距離測定装置、距離測定方法、プログラム Pending JP2021113743A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020006585A JP2021113743A (ja) 2020-01-20 2020-01-20 距離測定装置、距離測定方法、プログラム
PCT/JP2020/044529 WO2021149360A1 (ja) 2020-01-20 2020-11-30 距離測定装置、距離測定方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020006585A JP2021113743A (ja) 2020-01-20 2020-01-20 距離測定装置、距離測定方法、プログラム

Publications (1)

Publication Number Publication Date
JP2021113743A true JP2021113743A (ja) 2021-08-05

Family

ID=76993307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020006585A Pending JP2021113743A (ja) 2020-01-20 2020-01-20 距離測定装置、距離測定方法、プログラム

Country Status (2)

Country Link
JP (1) JP2021113743A (ja)
WO (1) WO2021149360A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022186127A1 (ja) * 2021-03-01 2022-09-09
JP2023087204A (ja) * 2021-12-13 2023-06-23 北陽電機株式会社 ヒストグラム生成回路、光測距装置、ヒストグラム生成方法および光測距方法
WO2024095625A1 (ja) * 2022-10-31 2024-05-10 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4901128B2 (ja) * 2005-05-19 2012-03-21 株式会社ニコン 距離測定装置、及び距離測定方法
EP3182162B1 (en) * 2015-12-18 2022-02-16 STMicroelectronics (Grenoble 2) SAS Multi-zone ranging and intensity mapping using spad based tof system
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
JP2019045303A (ja) * 2017-09-01 2019-03-22 パナソニックIpマネジメント株式会社 撮像制御装置、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した記録媒体
JP7131099B2 (ja) * 2018-06-06 2022-09-06 株式会社デンソー 光学的測距装置およびその方法
JP6863342B2 (ja) * 2018-07-02 2021-04-21 株式会社デンソー 光測距装置

Also Published As

Publication number Publication date
WO2021149360A1 (ja) 2021-07-29

Similar Documents

Publication Publication Date Title
WO2021149360A1 (ja) 距離測定装置、距離測定方法、プログラム
US11657516B2 (en) Target tracking method and computing device
US10672131B2 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
EP2936204B1 (en) Multiple frequency time of flight dealiasing
AU2019203516B2 (en) Method for Processing A Stream of Video Images
US20190113606A1 (en) Time-of-flight depth image processing systems and methods
US8467575B2 (en) Moving-object detection apparatus, moving-object detection method and moving-object detection program
US11620734B2 (en) Machine-learned depth dealiasing
JP2020003446A (ja) 光測距装置
JP7209198B2 (ja) 距離測定装置および画像生成方法
US20220057520A1 (en) Distance measurement apparatus and distance measurement method
JP2020095038A (ja) 飛行時間型深度画像化システムの内蔵較正
EP3485461B1 (en) Techniques for determining proximity based on image blurriness
US11585936B2 (en) Range imaging camera and range imaging method
CN114814881A (zh) 一种激光测距方法及激光测距芯片
US20230135230A1 (en) Electronic device and method for spatial synchronization of videos
US11500095B2 (en) Method for determining the distance separating an object and an optical detection system, and corresponding system
KR20220082849A (ko) 장면까지의 거리들을 결정하기 위한 방법 및 디바이스
CN113296114A (zh) dTOF深度图像的采集方法、装置、电子设备及介质
JP5470529B2 (ja) 動き検出装置、動き検出方法及び動き検出プログラム
WO2022163224A1 (ja) 距離測定装置
WO2022186127A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2001280952A (ja) 光学式変位計
US20230131838A1 (en) Process for monitoring at least one element in a temporal succession of physical signals
WO2019244360A1 (ja) 計測情報処理装置