JP2020153797A - 検出装置、測距装置、検出方法、プログラム、移動体 - Google Patents

検出装置、測距装置、検出方法、プログラム、移動体 Download PDF

Info

Publication number
JP2020153797A
JP2020153797A JP2019052007A JP2019052007A JP2020153797A JP 2020153797 A JP2020153797 A JP 2020153797A JP 2019052007 A JP2019052007 A JP 2019052007A JP 2019052007 A JP2019052007 A JP 2019052007A JP 2020153797 A JP2020153797 A JP 2020153797A
Authority
JP
Japan
Prior art keywords
unit
reflected signal
threshold value
time
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019052007A
Other languages
English (en)
Other versions
JP7255259B2 (ja
Inventor
和摩 松浦
Kazuma Matsuura
和摩 松浦
悠太 吉野
Yuta Yoshino
悠太 吉野
建郁 滝澤
Taketo Takizawa
建郁 滝澤
横田 聡一郎
Soichiro Yokota
聡一郎 横田
潤 岸和田
Jun Kishiwada
潤 岸和田
洋義 関口
Hiroyoshi Sekiguchi
洋義 関口
忠司 仲村
Tadashi Nakamura
忠司 仲村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019052007A priority Critical patent/JP7255259B2/ja
Priority to EP20162414.5A priority patent/EP3712642B1/en
Priority to US16/818,154 priority patent/US11520019B2/en
Publication of JP2020153797A publication Critical patent/JP2020153797A/ja
Application granted granted Critical
Publication of JP7255259B2 publication Critical patent/JP7255259B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】物体からの反射信号が小さい場合の距離の検出精度を向上させる検出装置等を提供する。【解決手段】照射部が照射したレーザ光が物体で反射した反射信号を検出する検出装置であって、レーザ光の受光部が受光した反射信号を第一の閾値以上かどうかで二値化する第一の二値化部と、レーザ光の受光部が受光した反射信号を、背景光のノイズと同程度である第二の閾値以上かどうかで二値化する第二の二値化部と、照射部がレーザ光を照射してから、第一の閾値又は第二の閾値以上の反射信号が得られるまでの時間を測定する時間計測部と、を有することを特徴とする。【選択図】図27

Description

本発明は、検出装置、測距装置、検出方法、プログラム、及び、移動体に関する。
ステレオカメラが撮像した2枚の画像データの視差値を画素ごとに計算する視差計算アルゴリズムが知られている。視差計算アルゴリズムは探索視差空間にコストを投票する方式であり、コスト最小を与える視差値を整数視差値dとして得て、整数視差値dからサブピクセル視差を推定後、整数視差値dとサブピクセル視差を視差推定値Dとして得る。そして、距離Zと視差推定値Dの対応式(Z=Bf/D)により各画素に対応する距離を計算する(Bは基線長、fは焦点距離)。
このような視差空間コスト投票方式では、整数視差値dが小さい(距離Zが大きい)遠方領域は、距離分解能を確保することが難しく、また視差計算結果のばらつき(分散)が距離の分散に大きな影響を与えるという課題がある。また、ステレオカメラを使用する産業界(例えば車載業界投)では遠方での測距性能を向上させ、ステレオカメラの低コスト化、小型化、及び、環境ロバスト性能の向上を期待されている。
ステレオカメラの課題を補うために、空間分解能は低いが距離分解能が高いLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)を利用する試みがある。LiDARは、物体にレーザ光を照射して反射信号が戻ってくるまでの時間により物体までの距離を算出する測定方法である。連続的に受光される反射信号から物体に起因する部分を特定する方法の一例として反射信号のピークを検出する方法がある。空間分解能は高いが遠方の距離分解能が低いステレオカメラと空間分解能は低いが距離分解能が高いLiDARの測定結果を統合(これをフュージョンと呼ぶ場合がある)することで両者の利点を活かすことができる。
このLiDARにおいて測距精度を向上させる技術が知られている(例えば、特許文献1参照。)。特許文献1には、物体からのレーザ光の反射信号に意図的にアンダーシュートを発生させ、物体反射信号の立下りを急峻にすることで、LiDARの測距精度を高める方法が開示されている。
しかしながら、従来の技術では、小さい反射信号を検出することが困難であるという問題がある。例えば、遠方の物体からの反射信号は外光などのノイズに紛れてしまい、ノイズとの区別が付きにくいため、遠方の物体までの距離の精度が低下する傾向になる。
本発明は、上記課題に鑑み、物体からの反射信号が小さい場合の距離の検出精度を向上させる検出装置等を提供することを目的とする。
上記課題に鑑み、本発明は、照射部が照射したレーザ光が物体で反射した反射信号を検出する検出装置であって、前記レーザ光の受光部が受光した前記反射信号を第一の閾値以上かどうかで二値化する第一の二値化部と、前記レーザ光の受光部が受光した前記反射信号を、背景光のノイズと同程度である第二の閾値以上かどうかで二値化する第二の二値化部と、前記照射部が前記レーザ光を照射してから、前記第一の閾値又は前記第二の閾値以上の反射信号が得られるまでの時間を測定する時間計測部と、を有することを特徴とする。
物体からの反射信号が小さい場合の距離の検出精度を向上させる検出装置等を提供することができる。
測距装置の外観構成及び取り付け例を説明する図の一例である。 測距装置の全体的な構成図の一例を示す図である。 測距装置のハードウェア構成例を示す図である。 三角測量により比較画像と基準画像から物体に対する視差値を導き出し、視差値によって測距装置から物体までの距離を測定する原理について説明する図である。 視差値と距離の対応をグラフ形式で示す図である。 ブロックマッチングによる整数視差の算出を説明する図の一例である。 照射されたレーザ光が物体で反射して受光されるまでの時間tの測定を模式的に示す図である。 レーザレーダ測距部の機能をブロック状に示す機能ブロック図の一例である。 ステレオ画像演算部の機能をブロック状に示す機能ブロック図の一例である。 近傍と遠方での受信される信号強度の違いの一例を説明する図である。 ステレオ画像演算部の機能を詳細に説明する機能ブロック図の一例である。 第1合成コスト算出部の機能構成の詳細を示す図である。 第1経路コストLr(p,d)の算出におけるr方向を示す図である。 範囲決定部による処理範囲の決定方法を説明するための図である。 範囲決定部により決定された処理範囲を示す図である。 第2コスト算出部の機能構成の詳細を示す図である。 第2合成コスト算出部の機能構成の詳細を示す図である。 基準画素領域pにおける第2合成コストS'の算出結果を示す図である。 遠方が撮像された画像データとこのような遠方の物体からの反射信号の一例を示す図である。 一般的なPD出力検出部の構成例を示す図である。 アンダーシュート付加回路を有するPD出力検出部の構成例を示す図である。 アンダーシュート付加回路の別の構成例と出力信号を説明する図である。 反射信号の処理系統の一例を説明する図である。 閾値と反射信号のレベルの関係を説明する図である。 ベース電圧に対して正側と負側のコンパレータで信号を検出することの有効性について説明する図である。 アンダーシュートした反射信号の正側と負側の両方にコンパレータを設定したPD出力検出部の構成例を示す図である。 ヒストグラム作成部と時間決定部の処理の手順を示すフローチャート図の一例である。 ヒストグラムの作成を模式的に説明する図である。 ヒストグラムと処理範囲の関係の一例を示す図である。 フィルタリング処理を説明する図の一例である。 2つの処理系統を有するPD出力検出部の構成例を示す図である。 図31のヒストグラム作成部が作成したヒストグラムの一例を示す図である。 図31の構成におけるPD出力検出部の処理の手順を示すフローチャート図の一例である。 隊列被写体の一例を示す図である。 アンダーシュート処理された隊列被写体の反射信号の一例を示す図である。 ステレオ画像演算部とレーザ信号処理部による視差画像生成処理の流れを示すフローチャート図の一例である。 ステレオ画像演算部とレーザ信号処理部による視差画像生成処理の流れを示すフローチャート図の一例である。 距離空間をベースにして視差を算出する方法を説明する図の一例である。 距離空間をベースにして視差を簡易的に算出する方法を説明する図の一例である。 測距装置が搭載された車両の構成例を示す図である。
以下、本発明を実施するための形態の一例として、測距装置と測距装置が行う時間測定方法について図面を参照しながら説明する。
<用語について>
アンダーシュートとは、何らかの検出対象の検出により検出前より大きくなった信号が検出前の値に戻る際に検出前の値よりも小さくなることをいう。検出前の値がゼロであればアンダーシュートによりマイナスの値になるが、ベース電圧を調整することでアンダーシュートしてもマイナスの値にならないようにすることができる。反転処理と称される場合もある。
ベース電圧は基準となる電圧であり通常はゼロであるが、反射信号に正又は負の電圧を印加することでベース電圧も正又は負になる。
測距装置は、後述するレーザレーダ測距部とステレオカメラ部を有することから測距システムと称してもよい。この他、距離測定装置、測距部などと呼ばれてもよい。
<測距装置の外観構成及び取り付け例>
まず、図1を用いて、測距装置の外観構成及び取り付け例について説明する。図1は、測距装置の外観構成及び取り付け例を説明する図の一例である。
測距装置100は、ステレオカメラ部110と、レーザレーダ測距部120とを有する。ステレオカメラ部110は、右カメラ(第1の撮像装置)111と左カメラ(第2の撮像装置)112とを備え、レーザレーダ測距部120は、右カメラ112と左カメラ111との間に配置される。レーザレーダ測距部120とステレオカメラ部110との測定結果を統合(フュージョン)することで、周囲環境の3次元情報をより高精度に取得することが可能になる。
右カメラ112と左カメラ111は、所定のフレーム周期で同期を取りそれぞれが撮像を行い、撮像画像を生成する。
レーザレーダ測距部120は、レーザ光を照射しその反射光を受光することで、TOF(Time Of Flight)方式で照射位置(照射方向にある物体)までの距離を測定する。
測距装置100は、例えば、車両140のフロントウィンドウの内側の天井よりの中央部分に取り付けられる。このとき、ステレオカメラ部110及びレーザレーダ測距部120は、いずれも車両140の前方方向に向かって取り付けられる。つまり、車両140において、測距装置100は、ステレオカメラ部110の光軸と、レーザレーダ測距部120のレーザ光の照射方向の中心とが、同じ方向になるように取り付けられる。
なお、図1の取り付け位置は一例に過ぎず、車両のダッシュボード、ルーフ、又は、バンパ内などに取り付けられてもよい。また、図1の取り付け位置は車両の前方の3次元情報を取得するためのものであり、車両の右側方、左側方、又は後方の3次元情報を取得できるように取り付けられてもよい。
<測距装置のハードウェア構成>
続いて、図2に基づき測距装置100の全体的な構成例について説明する。図2は、測距装置100の全体的な構成図の一例を示す図である。
測距装置100は、レーザレーダ測距部120とステレオカメラ部110とが相互に必要な情報を送受信できるように構成される。ステレオカメラ部110は上記のように右カメラと左カメラに加え、基準画像と比較画像を処理して距離画像を出力するステレオカメラ部110を有している。
レーザレーダ測距部120は後述するようにステレオカメラ部110から処理範囲を取得して、処理範囲で物体を絞り込み、絞り込みで得た照射方向ごとの距離情報をステレオカメラ部110に出力する。ステレオカメラ部110は照射方向ごとの距離情報を使って詳細な距離画像を生成し、ECU190(Electronic Control Unit:電子制御ユニット)に出力する。このように、レーザレーダ測距部120とステレオカメラ部110がフュージョンされることでより高精度な3次元情報の取得が可能になる。
図2では一例として、距離画像と基準画像がECU190に送出されている。ECU190は車両の電子制御ユニットである。なお、車載された測距装置100を車載装置という。ECU190は、測距装置100が出力する距離画像と基準画像を用いて各種の運転支援を行う。基準画像については種々のパターンマッチングを行い先行車両、歩行者、白線、信号機の状態の認識等を行う。
運転支援は車両によって様々であるが、例えば、対象物の横位置が自車両の車幅と重なる場合、距離と相対速度から算出されるTTC(Time To Collision)に応じて警報や制動などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向にステアリングを操舵する。
また、ECU190は、車速に応じた車間距離で先行車に追従走行する全車速車間距離制御を行う。先行車が停車したら自車両も停車させ、先行車が発進したら自車両も発進する。また、ECU190が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御や走行レーンから逸脱するおそれがあると走行方向を走行レーンに向けて変更する逸脱防止制御等を行うことができる。
また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダルの操作量が大きい場合、エンジン出力を制限したり警報したりすることで被害を軽減する。
図3は、測距装置100のハードウェア構成例を示す図である。測距装置100は、センサステイ201と制御基板収納部202とを有する。センサステイ201には、左カメラ111、右カメラ112及び光学処理部121が取り付けられている。左カメラ111と右カメラ112に挟まれるこれらの直線上に光学処理部121が配置されることで、測距装置100の小型化及び低コスト化を実現している。左カメラ111と右カメラ112の間隔を基線長というが、基線長が長い方が視差を稼ぎやすい。測距装置100を小型化するには基線長を短くする必要があり、基線長を短くしながら精度を損なわないことが求められる。
制御基板収納部202には、レーザ信号処理部240、ステレオ画像演算部250、メモリ260、及び、MPU(Micro Processing Unit)270が収納されている。レーザ信号処理部240と光学処理部121とを別体とすることで、測距装置100の設計の自由度が増しサイズを小さくすることができる。
これにより、本実施形態では、光学処理部121とレーザ信号処理部240を有するレーザレーダ測距部120を左カメラ111と右カメラ112との間へ配置されている。
なお、図3の例では、レーザ信号処理部240とステレオ画像演算部250とを、別の回路基板として構成しているが、レーザ信号処理部240とステレオ画像演算部250とは、共通の回路基板により構成してもよい。回路基板の枚数を削減することで、低コスト化を図ることが可能となるからである。
続いて、センサステイ201側の各部について説明する。図3に示すように、左カメラ111は、カメラレンズ211と、撮像素子212と、センサ基板213とを備える。カメラレンズ211を介して入射された外部の光は、撮像素子212に受光され、所定のフレーム周期で光電変換される。光電変換されることで得た信号は、センサ基板213において処理され、1フレームごとの撮像画像が生成される。生成された撮像画像は、比較画像として、順次、ステレオ画像演算部250に送信される。
なお、右カメラ112も、左カメラ111と同様の構成を有しており、同期制御信号に基づいて左カメラ111と同期して撮像する。撮像画像は、基準画像として、順次、ステレオ画像演算部250に送信される。
光学処理部121は、光源駆動回路231と、レーザ光源232と、照射レンズ233とを備える。光源駆動回路231は、レーザ信号処理部240からの同期制御信号に基づいて動作し、レーザ光源232に対して変調電流(光源発光信号)を印加する。これにより、レーザ光源232ではレーザ光を照射する。レーザ光源232より照射されたレーザ光は、照射レンズ233を介して外部に照射される。
なお、本実施形態では、レーザ光源232として、赤外半導体レーザダイオード(LD:Laser Diode)が用いられ、レーザ光として波長800nm〜950nmの近赤外光が照射されるものとする。また、レーザ光源232は、光源駆動回路231により印加された変調電流(光源発光信号)に応じて、パルス状の波形を有するレーザ光を周期的に照射するものとする。更に、レーザ光源232は、数ナノ秒から数百ナノ秒程度の短いパルス幅を有するパルス状のレーザ光を周期的に照射するものとする。ただし、レーザ光の波長やパルス幅をこれらに限定するものではない。
レーザ光源232から照射されたパルス状のレーザ光は、照射レンズ233を介して照射ビームとして外部に照射された後、レーザ光の照射方向にある物体に照射される。なお、レーザ光源232から照射されるレーザ光は、照射レンズ233によって略平行光にコリメートされているため、照射された物体(オブジェクト)における照射範囲は、予め設定された微小面積に抑えられる。
光学処理部121は、更に、受光レンズ234と、受光素子235(受光部の一例)と、受光信号増幅回路236とを備える。照射方向の物体に照射されたレーザ光は、一様な方向に散乱する。そして、光学処理部121から照射されたレーザ光と同じ光路をたどって反射してくる光成分のみが、反射光として受光レンズ234を介して受光素子235に導かれる。
本実施形態では、受光素子235として、シリコンPINフォトダイオードやアバランシェフォトダイオードが用いられる。受光素子235は、反射光を光電変換することで反射信号を生成し、受光信号増幅回路236は、生成された反射信号を増幅した後、レーザ信号処理部240に送信する。
続いて、制御基板収納部202側の各部について説明する。レーザ信号処理部240は、光学処理部121より送信された反射信号に基づいて、照射方向の物体までの距離を算出し、算出した距離情報をステレオ画像演算部250に送信する。
ステレオ画像演算部250は、例えば、FPGA(Field−Programmable gate array)や、ASIC(Application Specific Integrated Circuit)等の専用の集積回路により構成される。ステレオ画像演算部250は、左カメラ111、右カメラ112及びレーザ信号処理部240に対して、撮像タイミング及びレーザ光の投受光タイミングを制御するための同期制御信号を出力する。
また、ステレオ画像演算部250は、左カメラ111より送信された比較画像、右カメラ112より送信された基準画像、レーザ信号処理部240より送信された距離情報に基づいて、視差画像を生成する。ステレオ画像演算部250は、生成した視差画像をメモリ260に格納する。
メモリ260は、ステレオ画像演算部250にて生成された視差画像を格納する。また、メモリ260は、ステレオ画像演算部250及びMPU270が各種処理を実行する際のワークエリアを提供する。
MPU270は、制御基板収納部202に収納された各部を制御すると共に、メモリ260に格納された視差画像を解析する解析処理を行う。
<ステレオカメラによる測距原理>
図4を用いて、ステレオカメラによる測距原理について説明する。図4は、三角測量により比較画像と基準画像から物体に対する視差値を導き出し、視差値によって測距装置100から物体までの距離を測定する原理について説明する図である。
まず、右カメラ112,左カメラ111が平行等位に設置されているものとする。3次元空間内の物体E上のS点は、右カメラ112,左カメラ111の同一水平線上の位置に写像される。すなわち、各画像中のS点は、比較画像Ia中の点Sa(x,y)及び基準画像Ib中の点Sb(x',y)において撮像される。このとき、視差値d(ここでは整数視差値)は、Sa(x,y)とSb(x',y)とを用いて、式(1)のように表される。
d=x'−x 式(1)
図4に示すように、比較画像Ia中の点Sa(x,y)と右カメラ112から撮像面上におろした垂線の交点との距離をΔaにし、基準画像Ib中の点Sb(x',y)と左カメラ111から撮像面上におろした垂線の交点との距離をΔbにすると、視差値d=Δa+Δbとなる。
また、視差値dを用いることで、右カメラ112、左カメラ111と物体Eとの間の距離Zを導き出すことができる。具体的には、距離Zは、カメラレンズ211の焦点位置とカメラレンズ221の焦点位置とを含む面から物体E上の特定点Sまでの距離である。カメラレンズ211及びカメラレンズ221の焦点距離f、カメラレンズ211及びカメラレンズ221の間の長さである基線長B、及び視差値dを用いて、式(2)により、距離Zを算出することができる。
Z=(B×f)/d 式(2)
この式(2)により、視差値dが大きいほど距離Zは小さく、視差値dが小さいほど距離Zは大きくなる。式(2)から明らかなように、カメラが小さくなるほど(基線長Bが小さくなるほど)、1整数視差に対応する距離が大きくなる。
図5は、視差値と距離の対応をグラフ形式で示す図である。図5では、基線長B=80mm、焦点距離f=5mm、撮像素子212、222のセルサイズ(画素ピッチ)=3umとした。図5から明らかなように、視差値dが小さくなると1整数視差の変化で距離が急激に大きくなる。このことは、遠方になるほど(視差値dが小さくなるほど)距離分解が急激に悪化することを意味する。
<<ブロックマッチングによる整数視差の演算>>
続いて、図6を用いて視差値の算出方法を説明する。図6はブロックマッチングによる整数視差の算出を説明する図の一例である。図6は、右カメラ112により撮像された比較画像Iaと左カメラ111により撮像された基準画像Ibにおける、注目している画素p=(Px3,Py5)のコストとして、SAD(Sum of Absolute Difference)を算出する例を示した図である。
基準画像Ibと比較画像Iaは撮像位置が異なるため、撮像画像上の同じ位置の注目している画素p=(Px3,Py5)であっても、同じ物体を指し示すことはなく、左右方向にずれた位置を指し示すことになる。このため、ブロックサイズを1×1画素とし、基準画像Ib上の注目している画素p=(Px3,Py5)の輝度値と、比較画像Ia上の注目している画素p=(Px3,Py5)の輝度値との差分値は、大きな値となる。
次に、比較画像Ia上の注目している画素pを1画素分、右方向にシフトさせる。つまり、視差値d=1としたときのSADを算出する。具体的には、比較画像Ia上の注目している画素p=(Px3+1,Py5)の輝度値と、基準画像Ib上の注目している画素p=(Px3,Py5)の輝度値との差分値を算出する。
以下、同様に、d=2、3、・・・と変化させていき、それぞれにおいてSADを算出する。図6の例では、d=3の場合に、基準画像Ibの注目している画素p=(Px3,Py5)が指し示す物体と比較画像Iaの注目している画素p=(Px3+3,Py5)が指し示す物体とが同じとなるものとする。このため、d=3とした場合のSADは、d=3とした場合以外のSADと比べて小さくなる。算出されたSADはコストと呼ばれ、ある決まった探索幅(例えば64画素)においてd=1,2、3、・・・と変化させたコストのうち最小のコストを示す視差が求める視差値(整数視差)となる。この後、パラボラフィッティングや高次多項式などにより小数視差が求められる。
<レーザ信号処理部による時間計測>
次に、図7を用いてレーザ信号処理部240による時間計測の原理を説明する。図7は照射されたレーザ光が物体で反射して受光されるまでの時間tの測定を模式的に示す図である。図7(a)はアナログ信号を模式的に示し、図7(b)はデジタル信号を模式的に示す。図7(a)に示すように、ある時刻にパルス状のレーザ光が照射され、時間tだけ後にパルス状の反射光が受光される。したがって、時刻tに空気中の光の速度を乗じることで照射方向の物体までの距離を算出することができる。
図7(b)は同様の原理を2値化された照射光と反射光で示している。レーザレーダ測距部120は反射光以外のノイズを受光するため、図7(a)のように反射光のみが明確に得られることは少ない。そこで、レーザレーダ測距部120が受光する信号と閾値とを比較し、閾値を超えた信号を反射信号として検出する処理を行うことが一般的である。レーザ信号処理部240は閾値により受光する信号を2値化するので、図7(b)に示すように0又は1の信号が得られる。
<レーザ信号処理部の構成例>
次に、図8を用いてレーザレーダ測距部120の構成例を説明する。図8はレーザレーダ測距部120の機能をブロック状に示す機能ブロック図の一例である。
測距装置100は、一例として、移動体である車両に搭載され、レーザ光を照射し、物体(例えば先行車両、停車車両、障害物、歩行者等)で反射(散乱)された光を受光して該物体の有無や、該物体までの距離等の物体に関する情報を検出する。レーザレーダ測距部120は、例えば車両のバッテリ(蓄電池)から電力の供給を受ける。
レーザレーダ測距部120は、照射系10、受光光学系30、検出系40、時間計測部45、同期系50、測定制御部46などを備えている。照射系10(照射部の一例)は、光源としてのLD(レーザダイオード)、LD駆動部12、照射光学系20を含む。本実施例では、光源としてLD11を用いているが、これに限られない。例えば、VCSEL(面発光レーザ)、有機EL素子、LED(発光ダイオード)等の他の発光素子を用いてもよい。
LD11はLD駆動部12により駆動され、レーザ光源232に対応し周期的にパルス状のレーザ光を照射する。LD駆動部12は、測定制御部46から出力されるLD駆動信号(矩形パルス信号)を用いてLD11を点灯(発光)させる。LD駆動部12は、一例として、LD11に電流を供給可能に接続されたコンデンサ、該コンデンサとLD11との間の導通/非導通を切り替えるためのトランジスタ、該コンデンサを充電可能な充電手段等を含む。
本実施例では例えば、反射ミラーを回転させて光ビームを走査する。同期系50は、この操作方法を利用して、LD11からの光ビームを、ある所定の角度のときの反射ミラーで反射した光ビームの光路上に配置された同期検知用PD54と、該同期検知用PD54の出力電流(光電流)に基づく電圧信号(受光信号)を検出するPD出力検出部56と、を含む。同期検知用PDの信号によって、反射ミラーの角度を検出でき、システムの走査方向の同期を取ることができる。つまり、同期信号が得られた時の反射ミラーの角度を基準に各レーザ光の照射方向を決定している。
検出系40は、照射レンズ233に相当する照射光学系20から照射され、物体で反射及び散乱された光を、受光レンズ234に相当する受光光学系30を介して受光する時間計測用PD42(フォトダイオード)と、該時間計測用PD42の出力電流(光電流)に基づく電圧信号(受光信号)を検出するPD出力検出部44と、を含む。受光素子としては、PD(photodiode)やAPD(avalanche photodiode)、ガイガーモードAPDであるSPAD(single photon avalanche diode)などを用いても良い。
時間計測用PD42は受光素子235等に相当し、物体で反射した反射光や背景光などを受光する。PD出力検出部44は(検出装置の一例)、時間計測用PD42からのアナログ信号(出力電圧)を、必要に応じて増幅し、閾値電圧を基準に二値化し、その二値化信号(デジタル信号)を時間計測部45に出力する。なお、二値化とは反射信号を閾値と比較して1又は0の信号に変換することをいう。PD出力検出部44は本実施形態の特徴的な構成を有するものであり、後に詳細に説明される。
時間計測部45は、該二値化信号から、該受光タイミングとLD駆動信号の立ち上がりタイミングに基づいて該物体までの往復時間を計測し、時間計測結果として測定制御部46に出力する。すなわち、時間計測部45はレーザ光を照射してから反射信号のピークを検出するまでの時間を物体までの距離情報に変換する。
測定制御部46は、車載装置からの測定制御信号(測定開始信号や測定停止信号)を受けて測定開始や測定停止を行う。同期信号に基づいてLD駆動信号を生成し、LD駆動部12及び時間計測部45に出力する。また、時間計測部45からの時間計測結果を距離に変換することで物体までの往復距離を算出し、該往復距離の1/2を物体までの距離情報としてステレオ画像演算部250に出力する。
<ステレオ画像演算部の機能について>
図9は、ステレオ画像演算部250の機能をブロック状に示す機能ブロック図の一例である。図9に示すように、ステレオ画像演算部250は、歪み補正部13、及び、距離演算部14を有する。右カメラ112及び左カメラ111によりステレオカメラが形成されている。なお、本実施形態において、右カメラ112により撮像される撮像画像を基準画像として用い、左カメラ111により撮像される撮像画像を比較画像として用いる。
歪み補正部13、及び、距離演算部14は専用の電子回路を用いて実現してもよいし、各部を実現するためのプログラムがCPU(コンピュータ)によって実行されることで実現されてもよい。したがって、ステレオ画像演算部250は情報処理装置の機能を有する。また、画像を処理するという点から画像処理装置でもある。
歪み補正部13は、基準画像と比較画像に一般的な歪み補正を行う。この画像補正により、基準画像と比較画像は視差以外の差異が生じないように補正される。画像補正は事前のキャリブレーションにより可能になる。左カメラ111と右カメラ112は設置される際に、例えば、校正用の被写体(例えば市松模様のチャート)を撮像する。2つの画像を比較して、カメラのレンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等のハード的な内部誤差要因が最小になるように画像データを変換する幾何変換用のLUT(Look Up Table)が生成されている。歪み補正部13はこのようなLUTを参照して画像補正を行う。
距離演算部14は基準画像と比較画像にブロックマッチングやSGM伝播方式などのアルゴリズムを適用して視差を算出する。また、詳細は後述するが距離演算部14は、距離画像を出力する際に、レーザレーダ測距部120が出力する距離情報から算出した画素ごとのコストとステレオマッチングコストとを重み付けして最終的なコストを算出する。なお、マッチングコストはブロックマッチングにおけるマッチングの度合いである。マッチングコストはマッチング評価値とも言う。
なお、図9の構成は一例にすぎず、レーザレーダ測距部120とステレオ画像演算部250が一体に構成されていてもよい。また、ECU190がステレオ画像演算部250の機能を有していてもよい。
<TOF方式の測距方法の課題>
レーザを照射したときから、この反射光を受光した時点までの時間によって、距離が計測される。しかし、時間計測用PD42が受信する反射信号の強さは、距離の2乗に反比例して小さくなることが知られている。例えば、物体までの距離が2倍になると(例えば10〔m〕の場合と20〔m〕の場合)では、信号強度は1/4になってしまう。したがって、物体までの距離が遠方になるほど急激に信号強度が低下する。なお、送信波を強くする、光利用効率を上げる、受光素子の面積を大きくするなどの方法があるが、送信波を大きくした場合、近距離部で信号が強すぎてサチュレーションを起こし、ピークがわからなくなって誤差が発生する可能性があるし、コストもかかる。光利用効率を大きくするとモジュールが大きくなる、受光素子を向上するにも劇的な向上は見込めない、などの不都合がある。
図10は、近傍と遠方での受信される信号強度の違いの一例を説明する図である。図10(a)は、近傍の物体からの反射信号を示す。物体までの距離を示す反射信号はピークを示す部分81であり、それ以外はノイズである。図10(a)に示すように、近傍の物体の信号強度は強くノイズと区別して検出可能である。反射信号を検出した時点までの時間によって距離が算出される。どのようにして物体までの距離を示す反射信号を決定するかについては、種々の方法がある。たとえば、最大ピーク位置を検出する、又は、閾値以上の位置を複数検出する(マルチ検出)などの方法がある。
図10(b)は遠方の物体からの反射信号を示す。遠方の物体は信号強度が弱く、反射信号83がノイズ82の強さとほとんど変わらない。このような状況では、最大ピーク位置を検出する方法、又は、閾値以上の信号強度を検出する方法のいずれの手法を使っても、反射信号の検出が難しい。
一般的には、近い距離から順に閾値以上の信号を物体までの距離を示す反射信号とみなしたり、ピーク位置を検出したりする方法が用いられる。しかし、図10(b)の例では、実質的な反射信号83の強さは、その前に検出されているノイズ82と同様のレベルであり、全体的に見て反射信号83をレーザレーダ測距部120が検出することは困難である。レーザレーダ測距部120は原理的にこの様な課題を抱えている。そこで、ステレオ画像演算部250は処理範囲を算出して、レーザレーダ測距部120が遠方の物体からの微弱な反射信号の検出を支援する。
<ステレオ画像演算部の機能>
図11は、ステレオ画像演算部250の機能を詳細に説明する機能ブロック図の一例である。なお、図11では、ステレオ画像演算部250の機能構成のうち、視差演算に関する処理を実現するための機能構成についてのみ示し、その他の機能構成(例えば、同期制御信号を送信するための機能等)については省略してある。
ステレオ画像演算部250は、処理範囲算出部710と視差画像生成部720とを有する。処理範囲算出部710は、更に、第1コスト算出部711、第1合成コスト算出部712、第1視差演算部713、範囲決定部714を有する。
また、視差画像生成部720は、更に、第2コスト算出部721、第2合成コスト算出部722、第2視差演算部723を有する。以下、処理範囲算出部710及び視差画像生成部720の各部の詳細について説明する。
<<処理範囲算出部の各部の詳細>>
はじめに、処理範囲算出部710の各部の詳細について説明する。まず、第1コスト算出部711は、すでに図6で説明したようにブロックマッチングによりコストを算出する。このコストを第1コストという。
第1合成コスト算出部712は、第1コスト算出部711より通知された各画素領域のコストC(p,d)を合成することで第1合成コストSを算出し、合成結果を得る。第1合成コスト算出部712は、例えば、SGM(Semi−Global Matching)等の処理方法を用いて、複数の第1経路コストLrを算出し、それぞれの第1経路コストLrを、基準画素領域pに集約させることで、第1合成コストSを算出する。
図12は、第1合成コスト算出部の機能構成の詳細を示す図である。図12に示すように、第1合成コスト算出部712は、第1経路コスト計算部1001と、第1合成コストS計算部1002とを有する。第1経路コスト計算部1001は、第1コスト算出部711よりコストC(p,d)を取得すると、下式(3)に基づいて、第1経路コストLr(p,d)を算出する。
ここで、上式(3)は、SGMを用いた経路コストLrの一般的な式である。また、上式(3)においてP1、P2は固定のパラメータである。
上式(3)のもと、第1経路コスト計算部1001では、基準画素領域pのコストC(p,d)に、図13に示されているr方向の各画素領域における第1経路コストLrの最小値を加算することで、第1経路コストLr(p,d)を求める。なお、図13は、第1経路コストLr(p,d)の算出におけるr方向を示す図である。
図13に示すように、第1経路コスト計算部1001では、基準画素領域pのr方向(例えば、r135方向)の一番端の画素領域において第1経路コストLr(例えば、Lr135(p−2r,d))を求める。続いて、第1経路コスト計算部1001では、r方向に沿って第1経路コストLr(Lr135(p−r,d))を求める。本実施形態において、第1経路コスト計算部1001は、これらの処理を繰り返すことで得られる第1経路コストLr(例えば、Lr135(p,d))を、8方向について算出し、第1経路コストLr0(p,d)〜Lr315(p,d)を得る。
第1合成コストS計算部1002は、第1経路コスト計算部1001において求めた8方向の第1経路コストLr0(p,d)〜Lr315(p,d)に基づいて、下式(4)により第1合成コストS(p,d)を算出する。
第1合成コストS計算部1002は、算出した第1合成コストS(p,d)を、第1視差演算部713に通知する。
第1視差演算部713は、第1合成コスト算出部712により算出された第1合成コストS(p,d)に基づいて、基準画素領域pに対応する比較画像Ia内の対応画素領域
を抽出し、基準画素領域pの視差を演算する。なお、第1コスト算出部711及び第1合成コスト算出部712は、基準画像Ib内の他の基準画素領域についても同様の処理を行う。そして、第1視差演算部713では、各基準画素領域について、それぞれの視差(第1視差)を演算し、演算結果を範囲決定部714に通知する。
範囲決定部714は、第1視差演算部713より通知された視差(第1視差)の演算結果のうち、基準画素領域p及びその周辺の画素領域の視差を抽出し、処理範囲を決定する。図14を参照しながら、具体的に説明する。
図14は、範囲決定部による処理範囲の決定方法を説明するための図であり、基準画像Ibのうち、レーザレーダ測距部120によりレーザ光が照射された照射位置(点530)及びその周辺の画素領域を示している。
図14に示すように、基準画像Ibのうち、点530の座標(xl,yl)により特定される位置に対応する実空間の物体にレーザ光が照射されたとする。なお、座標(xl,yl)は、基準画素領域pの座標(x,y)と一致していてもよいし、多少ずれていてもよい。
このような場合、範囲決定部714では、照射位置(xl,yl)を中心として、横方向に±(1/2)a画素分、縦方向に±(1/2)b画素分の画素領域を抽出する。
範囲決定部714は、更に、第1視差演算部713において演算されたそれぞれの視差のうち、抽出した画素領域について演算された視差を抽出する。なお、図14の例は、紙面の都合上、範囲決定部714が抽出した画素領域について演算された視差のうち、左上の画素領域、右上の画素領域、左下の画素領域、右下の画素領域についてそれぞれ演算された視差のみを示している。
範囲決定部714は、更に、抽出した視差の中から、演算頻度が最大の視差を抽出する。そして、範囲決定部714は、演算頻度が最大の視差±1画素に相当する距離を、レーザ信号処理部240がレーザ受光信号を処理する際の処理範囲として決定する。
具体的には、範囲決定部714は、抽出した視差のうち、演算頻度が最大の視差+1画素に相当する最小距離から、演算頻度が最大の視差−1画素に相当する最大距離までの範囲を、レーザ受光信号を処理する際の処理範囲に決定する。なお、視差から距離への変換には式(2)を使用する。
更に、範囲決定部714は、決定した処理範囲をレーザ信号処理部240に通知する。これにより、レーザ信号処理部240は、レーザ受光信号のうち、通知された処理範囲を対象として、物体での反射を示す信号を検出し、例えば、点530の距離情報を算出する。なお、レーザ信号処理部240は、通知された処理範囲を規定する最小距離と最大距離とをそれぞれ光速で除算することで時間範囲に変換した処理範囲を対象として、物体での反射を示す信号を検出する。
図15は、範囲決定部714により決定された処理範囲を示す図である。図15において、横軸は、レーザ光を照射してから受光するまでの応答時間を表し、縦軸は、レーザ受光信号の信号強度を表している。図15において、処理範囲1310、1320は、範囲決定部714により決定された処理範囲(時間範囲に変換した処理範囲)である。
図15(a)は、レーザ光が照射される物体までの距離Lが短い場合のレーザ受光信号の一例を示している。図15(a)に示すように、レーザ光が照射される物体までの距離Lが短い場合、処理範囲1310において、物体での反射を示す反射信号の信号強度(611)と、物体以外での反射を示す信号の信号強度(1312)との差は更に大きくなる。このため、物体での反射を示す反射信号の検出が更に容易になる。
また、図15(b)は、レーザ光が照射される物体までの距離Lが長い場合のレーザ受光信号の一例を示している。図15(b)に示すように、レーザ光が照射される物体までの距離Lが長い場合であっても(例えば、点530についても)、処理範囲1320によれば、信号強度(621)と信号強度(1322)との差を大きくすることができる。つまり、物体での反射を示す反射信号の信号強度と、物体以外での反射を示す反射信号の信号強度との差を大きくすることができる。このため、物体での反射を示す反射信号を容易に検出することが可能となり、物体以外での反射を示す反射信号を、物体での反射を示す反射信号と誤検出してしまう可能性を低減させることができる。
なお、上記説明では、範囲決定部714が抽出した視差のうち、演算頻度が最大の視差±1画素に相当する距離を処理範囲に決定する場合について説明したが、処理範囲の決定方法はこれに限定されない。例えば、範囲決定部714は、下式(5)に基づいて算出される視差に相当する処理範囲を決定するようにしてもよい。
式(5)において、dmodeは、基準画素領域p及びその周辺の画素領域について演算された視差のうち、演算頻度が最大の視差である。wは、演算頻度が最大の視差から、標準偏差に対して、どれくらいの幅をもたせるかを示す係数である。n'は、基準画素領域p及びその周辺の画素領域について演算された整数の視差のうち、演算頻度が最大の視差に対して、±1画素以内に入っている視差の数を表している。d'は、基準画素領域p及びその周辺の画素領域について演算された整数の視差のうち、演算頻度が最大の視差に対して、±1画素以内に入っている視差を表している。
式(5)によれば、視差のばらつきが大きい場合に、処理範囲を広くし、視差のばらつきが小さい場合に、処理範囲を狭くすることができる。
<<視差画像生成部の各部の詳細>>
続いて、視差画像生成部720の各部の詳細について説明する。
図16は、第2コスト算出部の機能構成の詳細を示す図である。第2コスト算出部721は、基準画像取得部1401、比較画像取得部1402、コストC計算部1403、コストC調整部1404を有する。また、第2コスト算出部721は、距離情報取得部1411、コストCl計算部1412、重み付け加算部1420を有する。
基準画像取得部1401は、右カメラ112から基準画像Ibを取得する。また、取得した基準画像Ibから、基準画素領域pを抽出する。比較画像取得部1402は、左カメラ111から比較画像Iaを取得する。
コストC計算部1403は、基準画素領域pのコストC(p,d)を算出する。なお、コストC(p,d)の算出方法は、図6を用いて説明済みである。
コストC調整部1404は、コストC計算部1403により算出された基準画素領域pのコストC(p,d)を、信頼度に基づいて調整する。コストC調整部1404は、下式(6)を用いて調整することで、調整後のコストC'(p,d)を得る。
ここで、Dは、シフト量(視差)の最大値を表している。kはシフト量のカウント値を表している。また、Q(p)は、基準画素領域pのコストC(p,d)の信頼度を示している。信頼度Q(p)は、例えば、下式(7)を用いて算出される。
ここで、Cmin1、Cmin2は、所定範囲(0〜D)でシフト量dを変化させることで算出されたそれぞれのコストC(p,d)のうち、最も低いコストと2番目に低いコストを表している。なお、上式(5)に基づいて算出される信頼度Q(p)は、Cmin1、Cmin2に基づいて算出した値を、0〜1.0未満に正規化し、信頼度が高いほど1.0に近づくよう補正したうえで、上式(6)に用いられるものとする。
コストC調整部1404により調整された調整後のコストC'(p,d)は、例えば、テクスチャが少ない領域(隣り合う画素領域間の画素値の変化が少ない領域)に基準画素領域pがあり、信頼度Q(p)が低い場合には、より大きな値となる。
距離情報取得部1411は、レーザ信号処理部240より距離情報を取得する。レーザ信号処理部240より取得する距離情報は、処理範囲を限定したことで誤検出の可能性が低減された距離情報である。ここでは、レーザ信号処理部240より取得した距離情報を、Zlとおく。距離情報取得部1411は、取得した距離情報ZlをコストCl計算部1412に通知する。
コストCl計算部1412は、距離情報取得部1411より通知された距離情報Zlに基づいて、コストClを算出する。コストClとは、取得した距離情報Zlに基づいて導出される位置にある比較画像Ia内の画素領域と、基準画素領域pとの非類似度を示すパラメータである。
具体的には、コストCl計算部1412では、まず、距離情報Zlに基づいて、下式(8)を用いてシフト量dlを算出する。これにより、距離情報Zlに基づいて導出される位置にある比較画像Ia内の画素領域が抽出される。
上式(8)において、Bは、カメラレンズ211とカメラレンズ221との間の基線長である。fは、カメラレンズ211、カメラレンズ221の焦点距離である。
コストCl計算部1412は、続いて、シフト量dlにおけるコストCl(p,dl)を算出する。上記したコストC(p,d)の算出と同様に、コストCl計算部1412では、シフト量dlの位置における画素領域511の画素値と基準画素領域pの画素値との非類似度として、コストCl(p,dl)を算出する。
重み付け加算部1420は、コストC調整部1404において調整された調整後のコストC'(p,d)と、コストCl計算部1412において算出されたコストCl(p,dl)とを用いて、下式(9)に基づいて重み付け加算し、重み付けコストを算出する。
ここで、wdは、コストC調整部1404により調整された調整後のコストC'(p,d)と、コストCl計算部1412により算出されたコストCl(p,dl)のいずれを優先するかを示す重み係数である。コストC調整部1404により調整された調整後のコストC'(p,d)を優先させる場合には、wdの値を大きくする。一方、コストCl計算部1412により算出されたコストCl(p,dl)を優先させる場合には、wdの値を小さくする。
具体的には、シフト量d≠dlの場合、wdの値を大きくする。これにより、比較画像Ia内の画素領域511のうち、シフト量d≠dlの画素領域の重み付けコストをより大きくすることができる。なお、調整後のコストC'(p,d)は、例えば、テクスチャが少ない領域等においてより大きな値となっており、wdの値を大きくして調整後のコストC'(p,d)を優先させることで、シフト量d≠dlの画素領域の重み付けコストはより大きな値となる。
一方、シフト量d=dlの場合、wdの値を小さくする。これにより、比較画像Ia内の画素領域511のうち、シフト量d=dlの画素領域の重み付けコストをより小さくすることができる。なお、コストCl計算部1412により算出されたコストCl(p,dl)は、コストC調整部1404により算出された調整後のコストC'(p,d)よりも小さい値となっている。このため、wdの値を小さくしてコストCl計算部1412により算出されたコストCl(p,dl)を優先させることで、シフト量d=dlの画素領域の重み付けコストはより小さな値となる。
つまり、上式(9)によれば、シフト量d=dlの画素領域とそれ以外の画素領域との間のコストの差を、重み付けコストとして、より顕在化させることができる。
この結果、第2合成コスト算出部722により算出される第2合成コストS'から対応画素領域を抽出する際に、比較画像Ia内のd=dlの画素領域が抽出しやすくなる。つまり、基準画素領域pに対応する対応画素領域の位置512を精度よく抽出することが可能となる。
なお、上式(9)において、wdの値は、固定値であってもよいし、距離情報Zlの値に応じて変更してもよい。あるいは、周囲環境に応じて(例えば、日中か夜間かに応じて)変更するように構成してもよい。
重み付け加算部1420は、上式(9)に基づいて算出した重み付けコストを、第2合成コスト算出部722に通知する。
図17は、第2合成コスト算出部の機能構成の詳細を示す図である。図17に示すように、第2合成コスト算出部722は、第2経路コスト計算部1501と、第2合成コストS'計算部1502とを有する。
第2合成コスト算出部722は、第2コスト算出部721より通知された各画素領域の重み付けコストを合成することで第2合成コストS'を算出し、合成結果を得る。第2合成コスト算出部722は、例えば、SGM(Semi−Global Matching)等の処理方法を用いて、複数の第2経路コストLr'を算出し、それぞれの第2経路コストLr'を、基準画素領域pに集約させることで、第2合成コストS'を算出する。
第2合成コスト算出部722は重み付けコストを取得すると、下式(10)に基づいて、第2経路コストLr'(p,d)を算出する。
ここで、式(10)は、SGMを用いた経路コストの一般的な式において、コストC(p,d)を、重み付けコストに置き換えたものである。また、上式(10)においてP1、P2は固定のパラメータである。
式(10)によれば、第2合成コスト算出部722は、基準画素領域pの重み付けコストに、r方向の各画素領域における第2経路コストLr'の最小値を加算することで、r方向の第2経路コストLr'(p,d)を求める。なお、第2合成コスト算出部722は、r0〜r315方向それぞれについて、第2経路コストを算出することで、第2経路コストLr0'(p,d)〜Lr315'(p,d)を得る。
第2合成コスト算出部722は、8方向の第2経路コストLr0'(p,d)〜Lr315'(p,d)に基づいて、下式(11)により第2合成コストS'(p,d)を算出する。
第2視差演算部723は、第2合成コスト算出部722により算出された第2合成コストS'に基づいて、基準画素領域pに対応する比較画像Ia内の対応画素領域を抽出し、基準画素領域pの視差を再演算する。
図18は、基準画素領域pにおける第2合成コストS'の算出結果を示す図である。第2視差演算部723は、所定範囲(0〜D)において、第2合成コストS'(p,d)が最小となるシフト量dminを算出することで、比較画像Iaより対応画素領域を抽出する。これにより、第2視差演算部723では、抽出した対応画素領域と基準画素領域との視差(第2視差)として、シフト量dminを取得できる。
なお、第2視差演算部723は、基準画像Ib内の他の基準画素領域についても同様の処理を行い視差(第2視差)の再演算結果を取得することで、視差画像を生成し、生成した視差画像をメモリ260に格納する。
<反射信号が極めて微弱な場合に備えたアンダーシュート処理>
処理範囲から反射信号を検出することで、レーザ信号処理部240は受光信号における反射信号の検出精度を上げることができる。しかし、そもそも反射信号が極めて弱い場合には処理範囲から反射信号を検出することが困難になる。図19を用いて説明する。
図19は、遠方が撮像された画像データとこのような遠方の物体からの反射信号の一例を示す図である。図19(a)は例えば右カメラ112が撮像した基準画像の全体であり、図19(b)は図19(a)の一部を拡大した画像である。図19(a)では143〔m〕先にレーザ光の反射率が低い物体(黒い幕)が置かれており、図19(b)はレーザ光の反射率が低い物体(黒い幕)を示す。
また、図19(c)はレーザ光の反射率が低い物体(黒い幕)を照射方向とするレーザ光の反射信号である。レーザ光の反射率が低い物体(黒い幕)は143〔m〕先にあるため、往復の時間を考慮すると照射してから約1×10−6秒に反射信号のピークが現れる。図19(c)では丸701で囲んだ部分がレーザ光の反射率が低い物体からの反射信号を示す。
図19(c)に示すように、この反射信号は周囲のノイズに紛れているため、予めピークがどこにあるかを知っていなければ人間が見た場合でも判断が付かないほど小さい信号強度になっている。
距離による減衰に加えて、進行方向の前方から太陽光が差し込む逆光の状況では(車載用途では容易に起こる)、太陽光(外光)によってノイズも非常に大きくなってしまい、更に状況が悪化する。この様な状況であっても、物体からの反射信号を強調する技術について説明する。
図20は一般的なPD出力検出部44の構成例を示す。図20のPD出力検出部44はアンダーシュートを生じさせない場合の構成である。図20(a)のPD出力検出部44は、電流電圧変換器44a、及び、二値化回路44cを含む。時間計測用PD42で受光された物体からの反射信号は、時間計測用PD42が電流値に変換し、該電流値が出力電流としてPD出力検出部44に入力される。
PD出力検出部44は反射信号をデジタル信号に変換するため、ADC(アナログデジタルコンバータ)及びコンパレータを有する。ADC及びコンパレータは電圧動作であるため、電流電圧変換器44a(例えばTIA:Trance−impedance−Amplifier)は入力された電流値を電圧値に変換する。
また、電流電圧変換器44a単独では反射信号の大きさが不足する場合には、図20(b)に示すように、電圧増幅器44b(例えば、VGA:Variable Gain Amplifier)を使用する場合がある。
続いて、図21を用いてアンダーシュートを発生させる場合のPD出力検出部44の構成について説明する。図21はアンダーシュート付加回路47(アンダーシュート付加部の一例)を有するPD出力検出部44の構成例を示す図である。図21(a)に示すように、アンダーシュート付加回路47はCR回路(微分回路)である。電流電圧変換器44aの出力はコンデンサ47aを経て、抵抗47bとPD出力検出部44に入力される。このようなCR回路はハイパスフィルタ(カットオフ周波数以上の周波数の信号を通過させる)として機能する。
そして、コンデンサ容量Cと抵抗値Rにより定まるハイパスフィルタの帯域が、入力パルスの帯域に対して近い場合にはアンダーシュートが発生する。したがって、CR回路の値を適切に設定することで、反射信号の形状を変更することができる。
図21(b)はアンダーシュート付加回路47への入力信号とアンダーシュート付加回路47の出力信号の一例を示す。入力信号にはアンダーシュートが生じていないが、出力信号にはアンダーシュートが発生している。
図21(c)は複数のアンダーシュート付加回路47を有するPD出力検出部44の構成例を示す図である。それぞれのアンダーシュート付加回路47のコンデンサ容量と抵抗値を変更することでアンダーシュートの形状を変更することができる。
なお、本実施形態では、複数のアンダーシュート付加回路47は必須でなく、1つ以上あればよい。
図22は、アンダーシュート付加回路47の別の構成例と出力信号を説明する図である。図22(a)のアンダーシュート付加回路47では、CR回路の抵抗47bに、別の抵抗47cを介して電源47dが接続されており、電源47dの電圧が反射信号に印加される。図22の回路のハイパスフィルタとしての周波数特性はコンデンサ容量C、抵抗値R1,R2で定まる。
コンデンサ容量C、抵抗値R1,R2を変更すれば、アンダーシュートを生じさせ、また、アンダーシュートの形状を変更することができる。また、抵抗47cに電圧(Vol)を印加することで、ベース電圧を任意に設定することができる。図22(b)は入力信号を示し、図22(c)はハイパスフィルタの帯域と入力パルスの帯域が近くない場合のアンダーシュート付加回路47の出力信号を示し、図22(d)はハイパスフィルタの帯域と入力パルスの帯域が近い場合の出力信号を示す。図示するように、ハイパスフィルタの帯域と入力パルスの帯域が近い場合にはアンダーシュートが生じている。
また、抵抗47cに電圧(Vol)を印加することで、ゼロであったベース電圧がゼロより大きくなっている。
このように、アンダーシュートを生じさせると共に形状を変更できる。つまり、アンダーシュートの形状(アンダーシュートする部分が直前のピークからどの位離れるか、アンダーシュート部分の波の幅)は設計値であるので、コンデンサ容量C,抵抗値R1、R2の値から形状は計算で求められる。
なお、アンダーシュート付加回路47の構成は図22に示したものには限られず、アンダーシュートを生じさせることができる回路であればよい。例えば、アナログの受光信号をデジタル値に変換させてオフセットを乗せ、デジタル信号処理でバンドパスフィルタをかけることでアンダーシュートを生じさせてもよい。
<処理の概略>
以上のようにアンダーシュートされた反射信号は、後述するように微弱な信号の検出に有効である。一方、後述するように、隊列被写体の複数の物体の分離が困難になる。そこで、本実施形態では反射信号を以下のように複数の系統で処理する。
図23は、反射信号の処理系統の一例を説明する図である。図23に示すように、レーザレーダ測距部120は異なる閾値で二値化する複数(図では2つ)のコンパレータ1〜3(図26の二値化回路が対応)でそれぞれ反射信号を二値化する(処理系統1,2)。これらは、アンダーシュートが生じていないので、隊列被写体の分離性能を向上できる。
また、レーザレーダ測距部120は、反射信号にアンダーシュートを生じさせる処理系統3も有している。これにより、ノイズに紛れている微弱信号の検出を可能にする。
処理系統1,2のコンパレータの第一の閾値,第二の閾値について説明する。処理系統1、2のコンパレータの第一の閾値,第二の閾値を決定する際には、ノイズの大きさが考慮される。ノイズとは、目的以外の信号をいう。本実施形態では、ノイズには背景光によるものと電気的なノイズがある。背景光のノイズは周囲の光源(例えば、西日などの太陽光)が受光光学系30に入射することで生じ、電気的なノイズは電気回路の熱雑音やショットノイズなどである。一般に、背景光のノイズの方が電気的なノイズよりも大きい。したがって、背景光のノイズの大きさを考慮して第一の閾値,第二の閾値が決定される。
処理系統1のコンパレータの第一の閾値は、近傍の物体や反射率がよい物体を検出するための閾値なので、例えばノイズの数倍から数十倍に設定される。例えば、近い距離に存在する物体、又は、やや遠方だが反射率の高い物体であれば、処理系統1の処理により検出できる。
これに対し、処理系統2のコンパレータの第二の閾値は、ノイズと同程度、ノイズよりもやや大きい値(例えば、1.1倍〜2倍未満)、又は、ノイズよりもやや小さい値(例えば、0.5倍〜1倍未満)に設定される。したがって、第二の閾値は第一の閾値の数分の一から数十分の一の大きさである。なお、背景光の強さは時間帯、季節、地域などによって異なる。このため、レーザレーダ測距部120はレーザ光を照射せずに背景光の強さを定期的に監視して、第二の閾値を背景光に応じて変更することが好ましい。
このように、第二の閾値はノイズに紛れた反射信号を捉えることができ、遠方に存在する物体、又は、やや遠方だが反射率の低い物体を検出できる。第二の閾値を用いた反射信号の具体的な処理方法については後述する。なお、従来は、ノイズに紛れた反射信号を検出する閾値は設定されていなかった。
図24は、閾値と反射信号のレベルの関係を説明する図である。図24(a)は、第一の閾値,第二の閾値と反射信号のレベルの関係を模式的に示す図の一例である。図24(a)に示すように、第一の閾値では検出できない反射信号のピークを第二の閾値により検出可能になる。
次に、処理系統3の第三の閾値について説明する。反射信号にアンダーシュートが生じたことにより、本実施形態ではベース電圧より小さい第三の閾値を設定できる。すなわち、アンダーシュートした部分の波形を第三の閾値で捉えることが可能になり、これを利用してノイズに紛れている微弱な反射信号が物体によるものか、ノイズによるものかを判別できるようになる。
図24(b)はアンダーシュートした反射信号とベース電圧より小さい第三の閾値の関係を模式的に示す図の一例である。第三の閾値を適切に設定することで、アンダーシュートした反射信号を検出できる。第三の閾値の大きさはノイズに紛れる程度の微弱な反射信号をアンダーシュートさせた場合に、ベース電圧より下側にどの位の振幅を示すかによって決定される。したがって、CR回路のコンデンサ容量C、抵抗値R(上記の例では1つ又は2つ)と、捉えたい反射信号の大きさによって決めればよい。例えば、
第三の閾値=ベース電圧−第二の閾値
などと決定したり、更に第三の閾値の絶対値を小さくしたり大きくしたりする。
図24(b)ではアンダーシュートした反射信号に対し、ベース電圧より大きい第二の閾値も示されている。これは処理系統2の第二の閾値を表しており、処理系統2、3によりベース電圧を挟むように第二の閾値,第三の閾値を設定できることを示している。ベース電圧より大きい側と小さい側の両方にコンパレータが存在することによって、効率的に信号形状を捉え、信号検出確率を向上させることができる。
なお、ベース電圧がゼロの場合、第二の閾値は正で第三の閾値は負である。このため、便宜的に、第二の閾値を正側の閾値、第三の閾値を負側の閾値という場合があるが、ベース電圧が大きければ第三の閾値が正の場合もある。
次に、図25を用いて、アンダーシュートした反射信号の正側と負側の両方にコンパレータ2,3が存在することを利用した、本実施形態の信号処理方法を説明する。図25は、ベース電圧に対して正側と負側のコンパレータで信号を検出することの有効性について説明する図である。
図25(a)はノイズが少ない反射信号と、二値化された信号を示す。第二の閾値以上の反射信号が"1""0"に二値化されており、第三の閾値以下の反射信号が"1"に二値化されている。アンダーシュートした反射信号は第二の閾値で二値化された"1"と第三の閾値で二値化された"1"がセットで現れる。
図25(b)はノイズが多い反射信号と、二値化された信号を示す。第二の閾値以上の反射信号が"1"に二値化されており、第三の閾値以下の反射信号が"1"に二値化されている。物体が1つでもノイズが多いため、4つの物体があるかのように反射信号が二値化されている。従来は、単に閾値を小さくするとノイズを物体であると誤検出して、物体までの距離を精度よく特定できなかった。本実施形態では、第三の閾値以下の反射信号が"1"に二値化されることを利用して、二値化されたどの信号が物体までの距離を表しているかを決定できる。このように、アンダーシュートした反射信号の正側と負側の両方にコンパレータを設定することで、ノイズが多い場合でも物体に起因する反射信号のピークの抽出が可能になる。
<3つの処理系統を有するPD出力検出部の構成例>
図26は、アンダーシュートした反射信号の正側と負側の両方にコンパレータを設定したPD出力検出部44の構成例を示す図である。図23に示したように、図26のPD出力検出部44は3つの処理系統を有している。
処理系統1:アンダーシュートなし(第一の閾値)
処理系統2:アンダーシュートなし(第二の閾値)
処理系統3:アンダーシュートあり(第三の閾値)
処理系統1はアンダーシュート処理がなく第一の閾値も大きいため、微弱な反射信号から物体までの距離を検出する処理には向かないが、近い距離に存在する物体、やや遠方だが反射率の高い物体、又は、隊列被写体に含まれる複数の物体の反射信号から各物体に対応したピークを検出できる。
処理系統2は第二の閾値が小さいため、遠方に存在する物体、又は、やや遠方だが反射率の低い物体を検出できる。また、処理系統2は、ヒストグラム作成部44d2(第一のヒストグラム作成部の一例)と時間決定部44eを有している。ヒストグラム作成部44d2は二値化回路44c2(第二の二値化部の一例)で反射信号が二値化され"1"となっている時間(ビン)に物体が存在する旨を投票する。ビンとは、時間軸において頻度(投票数)が集計される幅(集計幅)である。また、ヒストグラムを作成するにはレーザ光のN回の照射が必要となるが、これについては後述する。
時間決定部44eは処理系統3のヒストグラム作成部44d3(第二のヒストグラム作成部の一例)が作成した第二のヒストグラムと、処理系統2のヒストグラム作成部44d2が作成した第一のヒストグラムに基づいて、後述するフィルタリングを行う。すなわち、時間決定部44eは、ベース電圧よりも大きい第二の閾値以上かどうかで二値化された反射信号と、ベース電圧よりも小さい第三の閾値以下かどうかで二値化された反射信号とが所定の関係にある場合、第二の閾値以上の反射信号が得られた時間を、物体で反射することで第二の閾値以上になった時間(ピーク)に決定する。これにより、ノイズに紛れている物体に起因する信号を抽出し、正しい物体の位置(TOF)を推定する。
処理系統3は、負側の第三の閾値を有する二値化回路44c3(第三の二値化部)により、遠方に存在する物体、又は、やや遠方だが反射率の低い物体を検出できる。また、処理系統3はヒストグラム作成部44d3を有している。ヒストグラム作成部44d3は二値化回路44c3で反射信号が二値化され"1"となっている時間(ビン)に物体が存在する旨を投票する。
処理系統2と3でアンダーシュートした反射信号の正側と負側の両方にコンパレータを設定したことになり、ノイズに紛れている物体に起因する信号の抽出が可能になる。
なお、アンダーシュートなしとは、全くアンダーシュートがないことまでは必要なく、反射信号がわずかにアンダーシュートすることも含んでよい。すなわち、隊列被写体の各物体の分離が可能であればわずかなアンダーシュートは許容される。
時間計測部45は、処理系統1で二値化された信号が"1"となっている時間、時間決定部44eが推定した正しい物体の位置(時間)のそれぞれから、物体までの時間を測定する。したがって、近傍の物体(反射信号が強い物体)、及び、遠方の物体(反射信号が極めて微弱な物体)までの時間(TOF)を測定できる。
<処理系統2,3の処理について>
図27〜図30を用いて処理系統2,3の処理について詳細に説明する。まず、図27はヒストグラム作成部44d2,44d3と時間決定部44eの処理の手順を示すフローチャート図の一例である。
S201、S202:ヒストグラム作成部44d2は第二の閾値で二値化されたN個の二値化信号からヒストグラムを作成し、ヒストグラム作成部44d3は第三の閾値で二値化されたN個の二値化信号からヒストグラムを作成する。ここで「N個」とはヒストグラムを作成するために照射されるレーザ光の照射数である。
図28はヒストグラムの作成を模式的に説明する図である。図28(a)は1回目のレーザ照射により得られた二値化前の反射信号を、図28(b)は2回目のレーザ照射により得られた二値化前の反射信号を、図28(c)は3回目のレーザ照射により得られた二値化前の反射信号をそれぞれ示す。図28の反射信号は説明の便宜上、ノイズが少ないものを示したが、本来、各瞬間で取れる反射信号の波形はノイズに混入し、見にくい形になる(図19(c)参照)。
しかし、本出願人は、複数回、同じ物体にレーザ光を照射してその反射信号を得て二値化し、ヒストグラムを作成すると、物体が存在するビンの頻度が増加し、ノイズとの分離ができるとの知見を得た。図28(d)は、図28(a)〜(c)の反射信号を二値化して"1"となったビンに物体がある旨を投票したヒストグラムの一例である。図28(d)では時刻t1に2つ、時刻t2に1つ、物体がある旨が投票されている。
したがって、同じ物体に照射できるレーザ光の回数が多ければ、図28(d)のようなヒストグラムを作成することで、物体からの反射信号の大きさがノイズと紛れる状況でも物体までの距離を推定できる。
しかし、実際の車両の走行中は、車両に対し物体が相対的に移動するため、数多くのレーザ光を同じ物体に照射することは困難な場合が多い。そこで、本実施形態では、実用的な照射数で作成したヒストグラムから、物体に反射して生じた反射信号のピークを検出する。
なお、レーザ光の照射回数Nは、物体の相対速度などの影響を受けにくい実用的な数とする(例えば、10回未満)であるが、レーザレーダ測距部120の性能などにより変わりうる。
S203,S204:図27に戻って説明する。時間決定部44eはヒストグラムのうち、ステレオ画像演算部250から取得した処理範囲に相当する時間の範囲を取り出す。
図29は、ヒストグラムと処理範囲の関係の一例を示す図である。図29では複数の時間(距離)でヒストグラムの頻度が最大値を示している。したがって、物体までの距離を一意に特定しにくい。そこで、まず、時間決定部44eはヒストグラムのうち処理範囲で特定される時間に着目する(この時間は、物体までの距離と同等の情報を有している)。
しかしながら、処理範囲の中においても複数の時間(距離)でヒストグラムの頻度が最大値を示している。このような一目では物体の正しい距離がわかりにくいヒストグラムであっても、第二の閾値に基づく処理系統2の第一のヒストグラムと第三の閾値に基づく処理系統3の第二のヒストグラムとを使用して、時間決定部44eが第一のヒストグラム又は第二のヒストグラムのピークをフィルタリングする。
S205:時間決定部44eは、第一のヒストグラムのピークの位置と第二のヒストグラムのピークの位置の関係を使って第一のヒストグラム又は第二のヒストグラムのピークをフィルタリングする。詳細は、図30にて説明する。
S206:時間決定部44eは、第一のヒストグラムのピークの幅と第二のヒストグラムのピークの幅の関係を使って第一のヒストグラム又は第二のヒストグラムのピークをフィルタリングする。詳細は、図30にて説明する。
ステップS205,S206のフィルタリングにより、同じ物体に数多くのレーザ光を照射することが困難でも物体までの正しい距離を推定できる。なお、ステップS205,S206はどちらが先に実行されてもよいし、どちらか一方のみが実行されてもよい。このフィルタリングにより、図25(b)のようなノイズを含む二値化信号から、図25(a)のような第二の閾値で二値化された"1"と第三の閾値で二値化された"1"のセットを検出することができる。
図30はフィルタリング処理を説明する図の一例である。図30は図29のヒストグラムから処理範囲のみを取りだしたヒストグラムである。図30(a)はステレオ画像演算部250から取得した処理範囲に相当する第一のヒストグラムを示し、図30(b)は処理範囲に相当する第二のヒストグラムを示す。第一のヒストグラムと第二のヒストグラムのいずれもノイズが多く、複数の時間(ビン)で頻度が最大となっている。
そこで、まず、ステップS205のフィルタリング処理は、第二の閾値により得られる第一のヒストグラムのピーク85の位置と、第三の閾値により得られる第二のヒストグラムのピーク86の位置の位置関係を使用する。このピーク位置は最大値を示すビンの中央である。複数のビンで連続して最大値を示す場合、複数のビンの中央がピーク位置である。
ピーク85とピーク86がノイズでなく物体からの反射信号である場合、ピーク85とピーク86は、CR回路の設計値(例えばA[m])で決まるある幅だけ離れて現れる。許容誤差をe[m]とした場合、第一のヒストグラムから得られた頻度の最も高いピーク85に対して、そのA±e[m]後ろに、第二のヒストグラムのピーク86があるか否かを、時間決定部44eが判断する。これを満たさない場合はノイズと判断する。
時間決定部44eは、第一のヒストグラムのピーク85、87のそれぞれで、第二のヒストグラムにおいてそれよりも時間的に後のピーク86,88を検出する。そして、ピーク85からA±e[m]に、第二のヒストグラムのピークがあるか否かをピーク85に近い順に判断する。つまり、ピーク85の位置からA±e[m]にピーク86が含まれるか、ピーク85の位置からA±e[m]にピーク88が含まれるかを判断する。第一のヒストグラムのピーク85の位置からA±e[m]に第二のヒストグラムのピークが見つかれば、処理を打ち切る。ピーク85についてA±e[m]に第二のヒストグラムのピークが見つからない場合は、ピーク87に着目して同様の処理を行う。
このように、第一のヒストグラムのピーク85、87と、第二のヒストグラムのピーク86、88が、アンダーシュート付加回路の設計値により定まる所定の条件を満たす場合、時間決定部44eは第一のヒストグラムのピーク85を物体で反射したレーザ光により反射信号が第二の閾値を超えた時間に決定する。図30ではピーク85とピーク86がこの所定の条件を満たしているので、第一のヒストグラムのピーク85の位置が物体で反射したレーザ光が受光されるまでの時間である。
ステップS206のフィルタリング処理は、第二の閾値により得られる第一のヒストグラムのピーク85の幅(B[m])と、第三の閾値により得られる第二のヒストグラムのピーク86の幅(C[m])の関係を使用する。CR回路の設計値は、第一のヒストグラムのピーク85の幅よりも第二のヒストグラムのピーク86の幅が広くなるように設計されている。したがって、時間決定部44eはB<Cとなる関係の第一のヒストグラムのピーク85と第二のヒストグラムのピーク86がペアで存在しているか否かを判断する。時間決定部44eはこれを満たす場合は物体によるヒストグラムのピークと判断し、満たさない場合はノイズと判断する。
時間決定部44eは、第一のヒストグラムのピーク85、87のそれぞれで、第二のヒストグラムにおいてそれよりも時間的に後のピーク86,88を検出する。そして、B<Cの関係を満たすかをピーク85に近い順に判断する。ピーク85の幅とピーク86の幅を比較し、次いで、ピーク85の幅とピーク88の幅を比較し、B<Cの関係を満たすピークが第2のヒストグラムで見つかると、処理を打ち切る。ピーク85についてB<Cの関係を満たすピークが第二のヒストグラムで見つからない場合は、ピーク87に着目して同様の処理を行う。
このように、第一のヒストグラムのピークの幅と、第二のヒストグラムのピークの幅が、アンダーシュート付加回路の設計値により定まる所定の条件を満たす場合、時間決定部44eは第一のヒストグラムのピーク85の位置を物体で反射したレーザ光により反射信号が第二の閾値を超えた時間に決定する。図30ではピーク85とピーク86が所定の条件を満たしているので、第一のヒストグラムのピーク85の位置が物体で反射したレーザ光が受光されるまでの時間である。
なお、ステップS205の所定の条件を満たす第一のヒストグラムのピーク85についてのみ、ステップS206の処理を行ってもよい。ステップS205とステップS206のいずれか一方のみを満たすピークの位置を、物体で反射したレーザ光が受光されるまでの時間と見なしてよい。
なお、CR回路の設計値は、第一のヒストグラムのピークの幅よりも第二のヒストグラムのピークの幅が狭くなるように設計されてもよい。この場合、B>Cとなる関係の第一のヒストグラムのピークと第二のヒストグラムのピークがペアで存在しているか否かを判断する。時間決定部44eはこれを満たさす場合は物体によるヒストグラムのピークと判断し、満たさない場合はノイズと判断する。
なお、第一のヒストグラム及び第二のヒストグラムは反射信号の立ち上がり位置のみの統計でもよいし、立下り位置のみの統計でもよい。あるいは、反射信号の立ち上がり位置と立下り位置のペアで見て、間を補完するような平滑化処理をかけて作成してもよい。つまり、時間軸の全域でヒストグラムを作成しなくてもよい。
<ヒストグラム作成方法の別の例>
アンダーシュートした反射信号の正側と負側の両方にコンパレータを設定して物体までの距離を正しく検出する場合、第一のヒストグラムと第二のヒストグラムを別々に作成するのでなく、正側の二値化信号と負側の二値化信号をセットにして1つのヒストグラムを作成してもよい。
図31は、2つの処理系統1,3を有するPD出力検出部44の構成例を示す。図31のPD出力検出部44は処理系統1と処理系統3を有している。処理系統1は図26と同様でよい。これに対し処理系統3は2つの二値化回路44c2、44c3を有し、その後段に抽出部44f、ヒストグラム作成部44d4、及び、最大値検出部44gを有している。
二値化回路44c2は第二の閾値で反射信号を二値化し、二値化回路44c3は第三の閾値で反射信号を二値化する。そして、抽出部44fは、第二の閾値以上の反射信号と第三の閾値以下の反射信号が時間的に連続しているか否かを判断する。完全に連続する必要はなく、第二の閾値以上の反射信号が検出されてから所定時間内に第三の閾値以下の反射信号が検出されればよい。
ヒストグラム作成部44d4は、抽出部44fが第二の閾値以上の反射信号と第三の閾値以下の反射信号が時間的に連続していると判断した場合、第二の閾値以上の反射信号が検出された時間に、物体がある旨を投票する。ヒストグラム作成部44d4(第三のヒストグラム作成部の一例)は、N回のレーザ照射に対して得られたN個の反射信号に基づいて、1つのヒストグラム(第三のヒストグラム)を作成する。
図32は図31のヒストグラム作成部44d4が作成したヒストグラムの一例を示す。図32(a)は反射信号を模式的に示し、図32(b)はヒストグラムを示す。時刻t1では反射信号が第二の閾値以上となり、時刻t2では反射信号が第三の閾値以下となっている。時刻t1とt2は連続している(所定時間内)ので、時刻t1においてヒストグラムの頻度が1つ大きくなっている。
これに対し、時刻t3では反射信号が第二の閾値以上となり、時刻t4では反射信号が第三の閾値以下となっているが、時刻t3とt4は連続していない(所定時間内でない)ので、時刻t3(又はt4)においてヒストグラムの頻度は大きくならない。
図31に戻り、最大値検出部44gは頻度が最大値を示す時間を検出して時間計測部45に送出する。図32の方法は、第二の閾値を超えその直後の反射信号が第三の閾値以下の場合、反射信号はノイズでない可能性が高いと判断する方法であり、この方法では、CR回路の設計値を考慮することなく、物体までの距離を測定できる。ただし、CR回路の設計値を考慮してもよい。
図33は、図31の構成におけるPD出力検出部44の処理の手順を示すフローチャート図の一例である。
S301:抽出部44fは、第二の閾値以上となった反射信号から時間的に連続して第三の閾値以下となる反射信号を抽出する。
S302:ヒストグラム作成部44d4は、レーザ光のN回の照射によって得た反射信号におけるステップS301の抽出結果を使って、ヒストグラムを作成する。
S303:最大値検出部44gは、ステレオ画像演算部250から取得した処理範囲に相当する時間範囲をヒストグラムから取得する。
S304:次に、最大値検出部44gは処理範囲の中で頻度数が最大値を示す時間を決定する。
図31の構成においても、ヒストグラムは、第二の閾値に対する立ち上がり位置(第二の閾値を小から大に超える位置)のみで投票されてもよいし、第三の閾値に対する立ち上がり位置(第三の閾値を小から大に超える位置)のみで投票されてもよい。あるいは、第二の閾値を超える立ち上がり位置と第三の閾値を超える立ち上がり位置のセットの間を補完するような平滑化処理をかけて作成してもよい。
<アンダーシュート処理により生じる不都合>
以上のようにアンダーシュート処理は微弱な反射信号から物体までの距離を測定する上で有効であるが、アンダーシュート処理により不都合が生じる場合がある。すなわち、反射信号にアンダーシュート信号を発生させた場合、隊列被写体の分離が困難になる。隊列被写体とは、複数の物体(例えば人と車)がレーザレーダ測距部120から見て同じ方向に列を成すように並んでいる状態の被写体をいう。
図34は、隊列被写体の一例を示す。図34では、車両の手前に歩行者が存在しているため、レーザレーダ測距部120から見て歩行者811と車両810が列をなしている。隊列被写体の複数の物体の距離が近い場合、手前の物体の反射信号のアンダーシュート部分と、奥の物体の反射信号が重なってしまい、結果として反射信号の形がひずんでしまうという不都合が生じる。
図35は、アンダーシュート処理された隊列被写体の反射信号の一例を示す。なお、図35は実際の反射信号ではなくアンダーシュート処理された反射信号の不都合を説明するための信号例である。図35に示すように、車の反射信号のピーク703と人の反射信号704のアンダーシュート部分が打ち消しあい、車の反射信号のピーク703が消失している。すなわち、奥の物体である車の反射信号のピーク703が完全に消えてしまい、実際に得られる反射信号702の形状が期待しているものとは大きく違ってしまっている。
上記のように、本実施形態では、処理系統1がアンダーシュート処理を有さないため、極めて微弱な反射信号から物体までの距離を検出する処理には向かないが、隊列被写体に含まれる複数の物体の反射信号から各物体に対応したピークを検出できる。
<動作手順>
図36は、ステレオ画像演算部とレーザ信号処理部による視差画像生成処理の流れを示すフローチャートである。図36に示すフローチャートは、レーザレーダ測距部120によりレーザ光が照射された照射位置に対応する1の基準画素領域pについての視差を演算する処理を示したものである。したがって、視差画像の生成にあたり、ステレオ画像演算部250とレーザ信号処理部240は同様の各基準画素領域について図36に示すフローチャートを実行する。
まず、ステレオ画像演算部250の処理について説明する。基準画像取得部801は、基準画像Ibを取得し、基準画素領域pを抽出する(ステップS−10)。
次に、コストC計算部803は、比較画像取得部802にて取得された比較画像Ia内のシフト量dの位置における画素領域511の画素値と、基準画素領域pの画素値とに基づいて、コストC(p,d)を算出する(ステップS−20)。
次に、第1経路コスト計算部1001は、コストC(p,d)に基づいて、各第1経路コストLr(p,d)を算出する(ステップS−30)。
第1合成コストS計算部1002は、各第1経路コストLr(p,d)に基づいて、第1合成コストS(p,d)を算出する(ステップS−40)。
第1視差演算部713は、第1合成コストS(p,d)が最小となるシフト量(第1視差)を算出する(ステップS−50)。これにより、第1視差演算部713は、比較画像Iaより対応画素領域を抽出すると共に、抽出した対応画素領域と基準画素領域pとの視差(第1視差)の演算結果を取得する。
なお、より高速又はラフに計算するためにブロックマッチングだけで済ませてもよい(ステップS−20までの処理で留める)。あるいは、高速又はラフに計算するために機械学習(ディープラーニング)を用いてもよい。
範囲決定部714は、レーザ信号処理部240がレーザ受光信号を処理する際の処理範囲を、視差の演算結果に基づいて決定する(ステップS−60)。また、範囲決定部714は、決定した処理範囲を、レーザ信号処理部240に通知する。
これにより、レーザ信号処理部240は、物体での反射を示す信号を検出し、距離情報Zlを算出する。
次に、コストC計算部1403は、比較画像取得部1402にて取得された比較画像Ia内のシフト量dの位置における画素領域511の画素値と、基準画素領域pの画素値とに基づいて、コストC(p,d)を算出する(ステップS−70)。
コストC調整部1404は、算出されたコストC(p,d)を信頼度Q(p)に基づいて調整し、調整後のコストC'(p,d)を算出する(ステップS−80)。
距離情報取得部1411は、基準画素領域pの位置に対応する実空間の物体までの距離を示す距離情報Zlを、レーザレーダ測距部120より取得する(ステップS−90)。
コストCl計算部1412は、距離情報取得部1411において取得された距離情報Zlに基づいて、コストClを算出する(ステップS−100)。
重み付け加算部1420は、コストC調整部1404において調整された調整後のコストC'(p,d)と、コストCl計算部1412において算出されたコストCl(p,d)とを重み付け加算し、重み付けコストを算出する(ステップS−110)。
第2経路コスト計算部1501は、重み付けコストを用いて各第2経路コストLr'(p、d)を算出する(ステップS−120)。
第2合成コストS'計算部1502は、各第2経路コストLr'(p,d)に基づいて、第2合成コストS'(p,d)を算出する(ステップS−130)。
第2視差演算部723は、第2合成コストS'(p,d)が最小となるシフト量(dmin)を算出することで、比較画像Iaより対応画素領域を抽出する(ステップS−140)。これにより、第2視差演算部723は、抽出した対応画素領域と基準画素領域pとの視差(第2視差)の再演算結果を取得する。
次に、レーザレーダ測距部120の処理について説明する。まず、照射光学系20がレーザ光のパルスを照射する(ステップL−10)。受光光学系30が反射信号を受光する(ステップL−20)。
次に、PD出力検出部44の処理系統1〜3が並行して反射信号を処理する。まず、処理系統3の電流電圧変換器44a3は反射信号の電流を電圧に変換し、アンダーシュート付加回路47が反射信号にアンダーシュートを付加する(ステップL−80)。
一方、処理系統1の電流電圧変換器44a1は反射信号の電流を電圧に変換し、処理系統1の二値化回路44c1(第一の二値化部)が処理系統1の処理範囲の反射信号を二値化する(ステップL−30)。
また、処理系統2の電流電圧変換器44a2は反射信号の電流を電圧に変換し、処理系統2の二値化回路44c2が処理系統2の反射信号を二値化する(ステップL−40)。この時点で処理範囲を考慮してもよい。
次に、処理系統2のヒストグラム作成部44d2が、反射信号が二値化された二値化信号から第一のヒストグラムを作成する(ステップL−50)。
同様の処理を処理系統3でも行っているため、処理系統3の電流電圧変換器44a3は反射信号の電流を電圧に変換し、処理系統3の二値化回路44c3が処理系統3の反射信号(アンダーシュート済み)を二値化する(ステップL−90)。この時点で処理範囲を考慮してもよい。
次に、処理系統3のヒストグラム作成部44d3が、反射信号が二値化された二値化信号から第二のヒストグラムを作成する(ステップL−100)。なお、ステップL−10〜L−100(L−60,70を除く)の処理はN回繰り返される。
次に、処理系統2の時間決定部44eは、処理範囲を考慮して、上記のように処理系統2の第一のヒストグラムのピーク位置と処理系統3の第二のヒストグラムのピーク位置でフィルタリングを行う(ステップL−60)。
また、処理系統2の時間決定部44e、処理範囲を考慮して、上記のように処理系統2の第一のヒストグラムのピークの幅と処理系統3の第二のヒストグラムのピークの幅でフィルタリングを行う(ステップL−70)。ステップL−60、又は、L−70の両方のフィルタリングでフィルタリングされた時間が、物体から反射したレーザ光のTOFである。ただし、ステップL−60、又は、L−70のいずれかのみのフィルタリングを使用してもよい。
次に、時間計測部45は計測された時間(TOF)を距離情報Z1に変換する(ステップL−110)。レーザ信号処理部240はこの距離情報Z1とレーザ光の照射方向をステレオ画像演算部250に送出する。例えば、物体が近傍にいる場合は、処理系統1の時間(TOF)が距離情報Z1に変換され、物体が遠方にいる場合は、処理系統2の時間(TOF)が距離情報Z1に変換される。ただし、同じ方向に複数の物体が存在する場合には、物体の数だけ時間計測されてよい。
なお、LiDARの検出結果を視差に反映させる方法については、図36に記載の方法以外の方法を採用してよい。これらについては図38,図39に説明する。
<動作手順>
PD出力検出部44が図31の構成の場合の動作手順について説明する。図37は、ステレオ画像演算部とレーザ信号処理部による視差画像生成処理の流れを示すフローチャートである。なお、図37の説明では主に図36との相違を説明する。
図37では処理系統3の処理が図36と異なっている。まず、処理系統3の電流電圧変換器44a3は反射信号の電流を電圧に変換し、アンダーシュート付加回路47が反射信号にアンダーシュートを付加する(ステップL−140)。
処理系統3の二値化回路44c2は処理系統3の反射信号を第二の閾値で二値化する(ステップL−150)。同様に二値化回路44c3は処理系統3の反射信号を第三の閾値で二値化する(ステップL−160)。
次に、処理系統3の抽出部44fは、第二の閾値以上の反射信号と第三の閾値以下の反射信号が時間的に連続してい時間を特定する(ステップL−170)。
処理系統3のヒストグラム作成部44d4は第二の閾値以上の反射信号と第三の閾値以下の反射信号が連続している時間(ビン)に、物体が存在する旨を投票してヒストグラムを作成する(ステップL−180)。なお、ステップL−110〜L−180の処理はN回繰り返される。
最大値検出部44gは頻度が最大となる時間を決定する(ステップL−190)。以降の処理は図36と同様でよい。
<LiDARの検出結果を視差に反映させる方法の他の例>
図16では重み付け加算部1420がレーザレーダ測距部120の距離情報とステレオ画像演算部250のコストを重み付けしてフュージョンしていたが、レーザレーダ測距部120の検出結果を距離空間に変換されたステレオ画像演算部250のコストにフュージョンすることができる。
図38は、距離空間をベースにして視差を算出する方法を説明する図の一例である。
(1)図36のステップL−60,70のフィルタリングにより時間を決定できた場合、レーザ信号処理部240は該当する時間の反射信号を人為的に大きくする。この反射信号はアナログでもよいし、デジタルでもよい。
(2)レーザ信号処理部240は反射信号を上下に反転する。すなわち、何らかの値(例えば、平均値やベース電圧)を基準に、各反射信号の値を上下対称な値に変換する。また、この時、時間軸を距離に変換する。
(3)ステレオ画像演算部250は、ステレオ画像から算出された視差空間のコストC(p,d)を、距離空間のコストC(p、z)に変換する。
(4) ステレオ画像演算部250は、(2)のアナログ信号と(3)のコストC(p、z)を足し合わせた合成コストを得る。
合成コストの最小値を探すことで視差を得ることができる。
図39は、距離空間をベースにして視差を簡易的に算出する方法を説明する図の一例である。
(1)ステレオ画像演算部250は、ステレオ画像から算出された視差空間のコストC(p,d)を、距離空間のコストC(p,z)に変換する。
(2)ステレオ画像演算部250は、ステップL−60,70のフィルタリングにより決定された時間に対応するコストC(p,z)の距離において、コスト値を予め定めた値だけ小さくして改変コストを得る。改変コストの最小値を探すことで、視差を得ることができる。
<車両への搭載例>
図40は、測距装置100が搭載された車両140の構成例を示す。車両140はCAN(Controller Area Network)バスなどの車載ネットワークNWを介して通信するカーナビゲーションシステム1100、エンジンECU(Electronic Control Unit)1200、表示システム1000、ブレーキECU1300、ステアリングECU1400、及び測距装置100を有している。
カーナビゲーションシステム1100は、GPSに代表されるGNSS(Global Navigation Satellite System)を有し、車両140の現在地を検出して電子地図上に車両の位置を表示する。また、出発地と目的地の入力を受け付け、出発地から目的地までの経路を検索して電子地図上に経路を表示したり、進路変更の手前で車両の乗員に進行方向を音声、文字(ディスプレイに表示される)、又はアニメーション等で案内したりする。なお、カーナビゲーションシステム1100は携帯電話網などを介してサーバと通信してもよい。この場合、サーバが電子地図を車両140に送信したり経路検索を行ったりすることができる。
エンジンECU1200は、各センサからの情報と車両の状況に合わせ、理想となる燃料噴射量の決定、点火時期の進角・遅角、動弁機構などの制御を行う。また、現在車速とアクセル開度の関係に対し変速段の切り替え線が定められたマップを参照するなどして変速の必要性を判断する。エンジンECU1200はこれらを組み合わせ先行車への追従走行時の加速や減速制御を行う。なお、エンジンと共に又はエンジンを動力とすることなく電気モータを動力としてもよい。
ブレーキECU1300は、ABS(Antilock Braking System)制御、先行車への追従走行時の制動制御、障害物とのTTC(Time To Collision)に基づく自動制動、坂道発進時の停止状態維持制御など、車両の乗員によるブレーキペダルの操作がなくても車両の各車輪ごとに制動力を制御する。
ステアリングECU1400は、車両の乗員によるハンドルの操舵の方向と操舵量を検出し、操舵方向に操舵トルクを付加するパワーステアリング制御を行う。また、走行レーンからの逸脱を回避する方向、走行レーンの中央の走行を維持する方向、又は、障害物との接近を回避する方向に、車両の乗員によるハンドル操作がなくても操舵する。
<まとめ>
以上説明したように、本実施形態の測距装置100は、ステレオカメラで得られる物体までの処理範囲を用いてレーザレーダ測距部120が受信した反射信号の着目領域を絞ることで、ノイズを物体として誤検出してしまうことを低減できる。しかし、反射信号がノイズに紛れてしまうほど微弱な場合、反射信号の着目領域を絞っても物体を特定しにくい。そこで、反射信号にアンダーシュートを意図的に発生させてベース電圧を挟む複数の第二の閾値,第三の閾値で二値化することで、物体から反射信号の検出を容易にする。
更に、物体に複数回レーザ光を照射し、物体からの反射パルスは似たような位置に現れる特性を利用し、二値化された信号のヒストグラムを作成し、同じ位置に複数回現れる反射パルスの形状に基づいて物体による反射信号のピークを検出する。これらにより、物体が遠い、又は/及び、黒いなどの理由により微弱な反射信号しか得られない物体までの距離の検出精度を高めることができる。
また、アンダーシュートを意図的に発生させると、隊列被写体がある場合に、手前の物体の反射信号で発生させたアンダーシュート部分に、後ろの物体の反射信号が重なってしまって、隊列被写体の分離が不可能になるという不都合が起きる。これに対応するため、アンダーシュートありの処理系統とアンダーシュートなしの処理系統を有するハードウェア構成とすることで、隊列被写体の分離を可能にすることができる。すなわち、アンダーシュートありの反射信号は主に遠方の物体の検出用として用い、アンダーシュートなしの反射信号は隊列被写体の検出に使用することができる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
上記実施形態では、画素領域についてコストCを算出する場合について説明したが、コストCの算出は、1画素ごとに行うように構成してもよい。つまり、上記実施形態に記載の"画素領域"には、1又は複数の画素が含まれるものとする。
また、上記実施形態では、ステレオカメラ部110とレーザレーダ測距部120とが一体的に構成される場合について示したが、ステレオカメラ部110とレーザレーダ測距部120とは、別体により構成されてもよい。
また、上記実施形態では、レーザ信号処理部240では主にアナログ信号からピークを取りだし、ステレオ画像演算部250ではデジタル信号を扱っていたが、受光素子235が反射信号を受光した直後にレーザ信号処理部240がデジタル信号に変換して、デジタル信号からピークを取り出してもよい。
また、上記実施形態では、レーザ信号処理部240とステレオ画像演算部250が、専用の集積回路により構成されるものとして説明した。しかしながら、例えば、レーザ信号処理部240、ステレオ画像演算部250の機能を実現するソフトウェアのプログラムコードが記録された記憶媒体を情報処理装置が実行することで本実施形態の機能を実現してもよい。
また、上記実施形態では、レーザ信号処理部240により算出された距離情報を、ステレオ画像演算部250に入力し、視差の再演算に用いるものとして説明したが、視差の再演算以外の用途に用いてもよい。
また、上記実施形態では、測距装置100を車両140に取り付ける場合について説明した。しかしながら、測距装置100の取り付け先は車両140に限定されず、バイク、自転車、車椅子、農業用の耕運機等であってもよい。あるいは、自律移動ロボット等の移動体であってもよい。あるいは、ドローンなどの飛行体でもよい。あるいは、FA(Factory Automation)において固定設置される工業用ロボット等であってもよい。
1〜3 処理系統
44 PD出力検出部
44a1〜44a3 電流電圧変換器
44b 信号増幅器
44c1〜44c3 二値化回路
44d2〜44d4 ヒストグラム作成部
45 時間計測部
100 測距装置
110 ステレオカメラ部
120 レーザレーダ測距部
特開2017−062169号公報

Claims (13)

  1. 照射部が照射したレーザ光が物体で反射した反射信号を検出する検出装置であって、
    前記レーザ光の受光部が受光した前記反射信号を第一の閾値以上かどうかで二値化する第一の二値化部と、
    前記レーザ光の受光部が受光した前記反射信号を、背景光のノイズと同程度である第二の閾値以上かどうかで二値化する第二の二値化部と、
    前記照射部が前記レーザ光を照射してから、前記第一の閾値又は前記第二の閾値以上の反射信号が得られるまでの時間を測定する時間計測部と、を有することを特徴とする検出装置。
  2. 前記レーザ光の受光部が受光した前記反射信号にアンダーシュートを生じさせるアンダーシュート付加部と、
    前記反射信号のベース電圧よりも小さい第三の閾値以下かどうかで、アンダーシュートした前記反射信号を二値化する第三の二値化部と、
    前記第二の二値化部が二値化した信号と前記第三の二値化部が二値化した信号とを用いて、前記第二の閾値以上の反射信号が得られた時間のうち、物体で反射することで反射信号が前記第二の閾値以上になった時間を決定する時間決定部と、
    を有することを特徴とする請求項1に記載の検出装置。
  3. 前記第二の閾値は前記反射信号のベース電圧よりも大きい正の値で、前記第三の閾値は前記反射信号のベース電圧よりも小さい負の値であることを特徴とする請求項2に記載の検出装置。
  4. 前記時間決定部は、ベース電圧よりも大きい前記第二の閾値以上かどうかで二値化された前記反射信号と、ベース電圧よりも小さい前記第三の閾値以下かどうかで二値化された前記反射信号とが所定の関係にある場合、
    前記第三の閾値以下の反射信号と前記所定の関係にある前記第二の閾値以上の反射信号が得られた時間を、物体で反射することで反射信号が前記第二の閾値以上になった時間に決定することを特徴とする請求項2又は3に記載の検出装置。
  5. 前記レーザ光が複数回、照射され、前記受光部が受光した複数回の前記反射信号を、前記第二の二値化部と前記第三の二値化部がそれぞれ二値化し、
    前記第二の二値化部により二値化された信号に基づいて物体がある旨が投票された第一のヒストグラムを作成する第一のヒストグラム作成部と、
    前記第三の二値化部により二値化された信号に基づいて物体がある旨が投票された第二のヒストグラムを作成する第二のヒストグラム作成部と、を有し、
    前記時間決定部は、前記第一のヒストグラムと前記第二のヒストグラムに所定の関係にある場合、前記第一のヒストグラムがピークを示す位置を、物体で反射することで反射信号が前記第二の閾値以上になった時間に決定することを特徴とする請求項2〜4のいずれか1項に記載の検出装置。
  6. 前記第一のヒストグラムのピークの位置から、前記第二のヒストグラムのピークの位置までの距離が、所定の条件を満たす場合、前記第一のヒストグラムがピークを示す位置を、物体で反射することで反射信号が前記第二の閾値以上になった時間に決定することを特徴とする請求項5に記載の検出装置。
  7. 前記第一のヒストグラムのピークの幅と前記第二のヒストグラムのピークの幅が、所定の条件を満たす場合、前記第一のヒストグラムがピークを示す位置を、物体で反射することで反射信号が前記第二の閾値以上になった時間に決定することを特徴とする請求項5又は6に記載の検出装置。
  8. 前記所定の条件は、前記アンダーシュート付加部の回路の設計値によって決まっていることを特徴とする請求項5〜7のいずれか1項に記載の検出装置。
  9. 前記レーザ光が複数回、照射され、前記受光部が受光した複数回の前記反射信号を、前記第二の二値化部と前記第三の二値化部がそれぞれ二値化し、
    前記反射信号がベース電圧よりも大きい前記第二の閾値以上であると判断された時間から、所定時間内に、前記反射信号がベース電圧よりも小さい前記第三の閾値以下であると判断された場合、
    前記反射信号が前記第二の閾値以上であると判断された時間に物体が存在する旨が投票された第三のヒストグラムを作成する第三のヒストグラム作成部と、
    前記第三のヒストグラムで頻度が最大となる時間を決定する最大値検出部と、
    を有することを特徴とする請求項8に記載の検出装置。
  10. 請求項1〜9のいずれか1項に記載の検出装置と、
    ステレオカメラが撮像した複数の画像データのマッチング評価値を生成するステレオ画像演算部と、を有し、
    前記検出装置は、前記ステレオ画像演算部が生成したマッチング評価値に基づいて、前記検出装置が前記時間を決定する範囲とする処理範囲を前記ステレオ画像演算部から取得し、
    前記検出装置は前記処理範囲の中で前記時間を決定し、前記時間から変換された距離情報を前記ステレオ画像演算部に出力して、
    前記ステレオ画像演算部は前記距離情報と、前記マッチング評価値で決定した距離情報とを統合することを特徴とする測距装置。
  11. 照射部が照射したレーザ光が物体で反射した反射信号を検出する検出装置が行う時間測定方法であって、
    第一の二値化部が、前記レーザ光の受光部が受光した前記反射信号を第一の閾値以上かどうかで二値化するステップと、
    第二の二値化部が、前記レーザ光の受光部が受光した前記反射信号を、背景光のノイズと同程度である第二の閾値以上かどうかで二値化するステップと、
    時間計測部が、前記照射部が前記レーザ光を照射してから、前記第一の閾値又は前記第二の閾値以上の反射信号が得られるまでの時間を測定するステップと、
    を有することを特徴とする時間測定方法。
  12. 照射部が照射したレーザ光が物体で反射した反射信号を検出する検出装置を、
    前記レーザ光の受光部が受光した前記反射信号を第一の閾値以上かどうかで二値化する第一の二値化部と、
    前記レーザ光の受光部が受光した前記反射信号を、背景光のノイズと同程度である第二の閾値以上かどうかで二値化する第二の二値化部と、
    前記照射部が前記レーザ光を照射してから、前記第一の閾値又は前記第二の閾値以上の反射信号が得られるまでの時間を測定する時間計測部、
    として機能させるためのプログラム。
  13. 請求項1〜9のいずれか1項に記載の検出装置を有する移動体。
JP2019052007A 2019-03-19 2019-03-19 検出装置、測距装置、時間測定方法、プログラム、移動体 Active JP7255259B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019052007A JP7255259B2 (ja) 2019-03-19 2019-03-19 検出装置、測距装置、時間測定方法、プログラム、移動体
EP20162414.5A EP3712642B1 (en) 2019-03-19 2020-03-11 Light signal detection device, range finding device, and detection method
US16/818,154 US11520019B2 (en) 2019-03-19 2020-03-13 Light signal detection device, range finding device, and detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019052007A JP7255259B2 (ja) 2019-03-19 2019-03-19 検出装置、測距装置、時間測定方法、プログラム、移動体

Publications (2)

Publication Number Publication Date
JP2020153797A true JP2020153797A (ja) 2020-09-24
JP7255259B2 JP7255259B2 (ja) 2023-04-11

Family

ID=69804663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019052007A Active JP7255259B2 (ja) 2019-03-19 2019-03-19 検出装置、測距装置、時間測定方法、プログラム、移動体

Country Status (3)

Country Link
US (1) US11520019B2 (ja)
EP (1) EP3712642B1 (ja)
JP (1) JP7255259B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019229891A1 (ja) * 2018-05-30 2019-12-05 株式会社ニコンビジョン 光検出装置及び方法並びに測距装置及び方法
US11573302B2 (en) * 2019-10-17 2023-02-07 Argo AI, LLC LiDAR system comprising a Geiger-mode avalanche photodiode-based receiver having pixels with multiple-return capability
US11726187B2 (en) * 2020-10-30 2023-08-15 Taiwan Semiconductor Manufacturing Co., Ltd. High resolution low power inter-correlation SPAD assisted time-of-flight sensor

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020149396A1 (en) * 2001-03-15 2002-10-17 Susumu Mizuhara Sensor using radiation pulses
JP2017156306A (ja) * 2016-03-04 2017-09-07 株式会社リコー 距離センサ、走行体、ロボット及び3次元計測装置
JP2017161321A (ja) * 2016-03-09 2017-09-14 株式会社リコー 回路装置、光検出器、物体検出装置、センシング装置、移動体装置、信号検出方法及び物体検出方法
JP2017173298A (ja) * 2016-03-16 2017-09-28 株式会社リコー 物体検出装置及び移動体装置
JP2018017534A (ja) * 2016-07-26 2018-02-01 オムロン株式会社 測距センサおよび測距方法
JP2018115870A (ja) * 2017-01-16 2018-07-26 トヨタ自動車株式会社 物体検出装置
JP2019015522A (ja) * 2017-07-03 2019-01-31 オムロンオートモーティブエレクトロニクス株式会社 距離計測装置
JP2019039715A (ja) * 2017-08-23 2019-03-14 株式会社リコー 時間測定装置、距離測定装置、移動体、時間測定方法、及び距離測定方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3212218B2 (ja) 1994-05-26 2001-09-25 三菱電機株式会社 車両用障害物検出装置
US6717129B1 (en) * 2002-03-14 2004-04-06 Omron Corporation Photoelectric sensor using radiation pulses
JP5440927B2 (ja) 2009-10-19 2014-03-12 株式会社リコー 測距カメラ装置
JP6111617B2 (ja) 2012-07-03 2017-04-12 株式会社リコー レーザレーダ装置
JP2014052366A (ja) 2012-08-06 2014-03-20 Ricoh Co Ltd 光計測装置、車両
JP6476831B2 (ja) 2013-12-26 2019-03-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP6528447B2 (ja) * 2014-02-25 2019-06-12 株式会社リコー 視差演算システム及び距離測定装置
JP6340852B2 (ja) * 2014-03-19 2018-06-13 株式会社リコー 距離測定装置、移動体及び距離測定方法
JP2016001170A (ja) 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理プログラム、及び、処理方法
JP6805534B2 (ja) 2015-07-02 2020-12-23 株式会社リコー 視差画像生成装置、視差画像生成方法及び視差画像生成プログラム、物体認識装置、機器制御システム
JP6700575B2 (ja) 2015-09-25 2020-05-27 株式会社リコー 回路装置、光検出器、物体検出装置、センシング装置、移動体装置、光検出方法、及び物体検出方法
US10429508B2 (en) 2015-10-30 2019-10-01 Ricoh Company, Ltd. Distance measuring device, moving system, and distance measurement method
JP6662388B2 (ja) 2015-11-27 2020-03-11 株式会社リコー 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
JP6687039B2 (ja) 2016-02-05 2020-04-22 株式会社リコー 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
EP3223034B1 (en) * 2016-03-16 2022-07-20 Ricoh Company, Ltd. Object detection apparatus and moveable apparatus
JP6772639B2 (ja) 2016-08-02 2020-10-21 株式会社リコー 視差演算システム、移動体及びプログラム
EP3514759A1 (en) 2018-01-23 2019-07-24 Ricoh Company, Ltd. Image processing method, image processing apparatus, on-board device, moving body, and system
JP2020003236A (ja) 2018-06-25 2020-01-09 株式会社リコー 測距装置、移動体、測距方法、測距システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020149396A1 (en) * 2001-03-15 2002-10-17 Susumu Mizuhara Sensor using radiation pulses
JP2017156306A (ja) * 2016-03-04 2017-09-07 株式会社リコー 距離センサ、走行体、ロボット及び3次元計測装置
JP2017161321A (ja) * 2016-03-09 2017-09-14 株式会社リコー 回路装置、光検出器、物体検出装置、センシング装置、移動体装置、信号検出方法及び物体検出方法
JP2017173298A (ja) * 2016-03-16 2017-09-28 株式会社リコー 物体検出装置及び移動体装置
JP2018017534A (ja) * 2016-07-26 2018-02-01 オムロン株式会社 測距センサおよび測距方法
JP2018115870A (ja) * 2017-01-16 2018-07-26 トヨタ自動車株式会社 物体検出装置
JP2019015522A (ja) * 2017-07-03 2019-01-31 オムロンオートモーティブエレクトロニクス株式会社 距離計測装置
JP2019039715A (ja) * 2017-08-23 2019-03-14 株式会社リコー 時間測定装置、距離測定装置、移動体、時間測定方法、及び距離測定方法

Also Published As

Publication number Publication date
EP3712642B1 (en) 2024-05-01
US20200300984A1 (en) 2020-09-24
US11520019B2 (en) 2022-12-06
EP3712642A1 (en) 2020-09-23
JP7255259B2 (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
CN110979321B (zh) 一种用于无人驾驶车辆的障碍物躲避方法
EP3588141B1 (en) Distance-measuring apparatus, mobile object, distance-measuring method, and distance-measuring system
US11938955B2 (en) Advanced driver assistance systems test-interface for automated driving sensors
JP7131180B2 (ja) 測距装置、測距方法、プログラム、移動体
US9069080B2 (en) Automotive auxiliary ladar sensor
US9823340B2 (en) Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
JP6540009B2 (ja) 画像処理装置、画像処理方法、プログラム、画像処理システム
EP3712642B1 (en) Light signal detection device, range finding device, and detection method
JPWO2017158958A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US11961306B2 (en) Object detection device
Jang et al. Design factor optimization of 3D flash lidar sensor based on geometrical model for automated vehicle and advanced driver assistance system applications
EP3514759A1 (en) Image processing method, image processing apparatus, on-board device, moving body, and system
EP3279691B1 (en) Rangefinder based on parallax calculation
WO2020189339A1 (ja) 測距装置および測距方法
US20210286082A1 (en) Distance measuring device and distance measuring device control method
JP2019128350A (ja) 画像処理方法、画像処理装置、車載装置、移動体、システム
EP3540467B1 (en) Range finding system, range finding method, in-vehicle device, and vehicle
CN114424083A (zh) 距离测量传感器、信号处理方法及距离测量模块
KR101868293B1 (ko) 차량용 라이다 장치
JP2019145021A (ja) 情報処理装置、撮像装置、及び撮像システム
JP2019160251A (ja) 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
US20220196841A1 (en) Object recognition abnormality detection apparatus, object recognition abnormality detection program product, and object recognition abnormality detection method
KR20240039215A (ko) 스카우트 펄싱
CN113655499A (zh) 基于单光子图像传感器的自动驾驶方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230313

R151 Written notification of patent or utility model registration

Ref document number: 7255259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151