JP2022072332A

JP2022072332A - 物体検出装置

Info

Publication number: JP2022072332A
Application number: JP2020181698A
Authority: JP
Inventors: 真之阿部; Masayuki Abe; 勇介林; Yusuke Hayashi; 太一河内; Taichi Kawachi
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-10-29
Filing date: 2020-10-29
Publication date: 2022-05-17
Anticipated expiration: 2040-10-29
Also published as: JP7294302B2; CN114509775A; US20220137187A1

Abstract

【課題】レーザ光の反射光と環境光の反射光との検出結果に基づいて、物標を精度よく検出する。【解決手段】物体検出装置１００は、レーザ光照射部１１と、レーザ光の反射光及びレーザ光以外の光である環境光の反射光を検出可能な受光素子１２と、カメラ２と、カメラ画像に基づいて、受光素子１２で検出された環境光の反射光の情報である環境光情報を補正して補正環境光情報を生成する情報補正部３１と、補正環境光情報と受光素子１２で受光されたレーザ光情報とに基づいて物標を検出する物体検出部３２と、を備える。【選択図】図１

Description

本開示は、物体検出装置に関する。

例えば、自動運転車両には、周囲の物標を検出するため、照射したレーザ光の反射光に基づいて物標を検出するライダーが搭載されている。また、例えば、非特許文献１に記載されているように、照射したレーザ光の反射光に加え、照射したレーザ光以外の環境光の反射光の検出結果も用いて物標を検出するライダーが開発されている。

このライダーでは、レーザ光の反射光と環境光の反射光とを同じ受光素子で受光するため、両者の検出結果は互いに位置的な対応関係が取れている。このため、このようなライダーを用いることにより、位置的な対応関係が取れた２種類の光の検出結果に基づいて物標の検出を行うことができる。

伊藤誠悟平塚誠良太田充彦松原弘幸小川勝「小型イメージングＬＩＤＡＲとＤＣＮＮによる位置姿勢推定」情報処理学会第７９回全国大会講演論文集２０１７年

一般に、ライダーにおける受光部の受光素子の数よりも、カメラの受光部の受光素子の数の方が圧倒的に多い。このため、ライダーで取得される環境光情報の情報量は、カメラによって撮像されたカメラ画像の情報量よりも少なく、物標を精度よく検出するためには情報量が少ない。従って、レーザ光の反射光に加えて環境光の反射光の検出結果も用いる場合において、物標をより一層精度よく検出するために改善の余地がある。

そこで、本開示は、レーザ光の反射光と環境光の反射光との検出結果に基づいて、物標を精度よく検出することができる物体検出装置について説明する。

本開示の一側面において物体検出装置は、レーザ光を照射するレーザ光照射部と、レーザ光の反射光及びレーザ光以外の光である環境光の反射光を検出可能な受光部と、カメラと、カメラによって撮像されたカメラ画像に基づいて、受光部で検出された環境光の反射光の情報である環境光情報を補正して補正環境光情報を生成する情報補正部と、補正環境光情報と受光部で受光されたレーザ光の反射光の情報であるレーザ光情報とに基づいて物標を検出する物体検出部と、を備える。

この物体検出装置は、カメラ画像に基づいて環境光情報を補正し、補正環境光情報を生成する。そして、物体検出装置は、生成した補正環境光情報とレーザ光情報とに基づいて物標を検出する。このように、物体検出装置は、環境光情報をカメラ画像に基づいて補正した補正環境光情報を用いることにより、レーザ光の反射光と環境光の反射光との検出結果（レーザ光情報及び補正環境光情報）に基づいて、物標を精度よく検出することができる。

物体検出装置において、情報補正部は、カメラ画像の色情報を環境光情報に加えることによって補正環境光情報を生成してもよい。この場合、情報補正部は、環境光情報の色のチャネル数を増やすことができる。これにより、物体検出装置は、カメラ画像の色情報が付加された補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。

物体検出装置において、情報補正部は、環境光情報のピクセル間にカメラ画像の情報を加えることによって補正環境光情報を生成してもよい。この場合、情報補正部は、環境光情報の解像度を高めることができる。これにより、物体検出装置は、解像度が高められた補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。

物体検出装置において、情報補正部は、カメラ画像より得られるセグメンテーション情報に基づいて環境光情報を補正して補正環境光情報を生成してもよい。この場合、物体検出装置は、セグメンテーション情報に基づいて生成された補正環境光情報と、レーザ光情報とを用いることにより、物標をより精度よく検出することができる。

物体検出装置において、情報補正部は、カメラ画像と環境光情報との視差に基づいて得られる環境光の反射点までの距離を算出し、算出した距離の情報を環境光情報に加えることによって補正環境光情報を生成してもよい。この場合、物体検出装置は、環境光の反射点までの距離の情報が付加された補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。

本開示の一側面によれば、レーザ光の反射光と環境光の反射光との検出結果に基づいて、物標を精度よく検出することができる。

図１は、一実施形態に係る物体検出装置の一例を示すブロック図である。図２は、物体検出ＥＣＵにおいて行われる物標の検出処理の流れを示すフローチャートである。

以下、例示的な実施形態について図面を参照しながら説明する。なお、各図において、同一又は相当する要素同士には同一符号を付し、重複する説明を省略する。

図１に示されるように、物体検出装置１００は、車両（自車両）に搭載され、自車両の周囲の物標を検出する。物体検出装置１００によって検出された物標は、例えば自車両の自動運転等、種々の制御に用いられ得る。物体検出装置１００は、ライダー［LIDAR：Light Detection and Ranging］１、カメラ２、及び物体検出ＥＣＵ[Electronic Control Unit]３を備えている。

ライダー１は、レーザ光を自車両の周囲に照射し、照射したレーザ光が物標で反射した反射光（レーザ光の反射光）を受光する。また、ライダー１は、レーザ光の反射光の強度を検出する。本実施形態におけるライダー１は、照射したレーザ光の反射光に加え、照射したレーザ光以外の光である環境光が物標で反射した反射光（環境光の反射光）を受光することができる。また、ライダー１は、受光した環境光の反射光の強度を検出することができる。この環境光とは、例えば、太陽光、及び照明などの自車両の周囲の光である。

より詳細には、ライダー１は、レーザ光照射部１１、受光素子１２、及び光処理ＥＣＵ１３を備えている。レーザ光照射部１１は、物体検出装置１００が搭載された自車両の周囲の予め定められた照射領域内の各位置に向けてそれぞれレーザ光を照射する。

受光素子１２は、レーザ光照射部１１から照射されたレーザ光の反射光を受光し、受光したレーザ光の反射光の強度に応じた信号を出力することができる。また、受光素子１２は、レーザ光照射部１１から照射されたレーザ光以外の環境光の反射光を受光し、受光した環境光の反射光の強度に応じた信号を出力することができる。

光処理ＥＣＵ１３は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する電子制御ユニットである。光処理ＥＣＵ１３は、例えば、ＲＯＭに記録されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。光処理ＥＣＵ１３は、複数の電子ユニットから構成されていてもよい。

光処理ＥＣＵ１３は、受光素子１２の出力信号に基づいて、受光素子１２で受光されたレーザ光の反射光の強度及び環境光の反射光の強度をそれぞれ検出する。光処理ＥＣＵ１３は、機能的には、光分離部１４、レーザ光処理部１５、及び環境光処理部１６を備えている。このように、受光素子１２、光分離部１４、レーザ光処理部１５、及び環境光処理部１６は、レーザ光の反射光及び環境光の反射光を検出可能な受光部として機能する。

光分離部１４は、受光素子１２で受光された光を、レーザ光の反射光と環境光の反射光とに分離する。光分離部１４は、例えば、特定の明滅パターンの光をレーザ光の反射光と判別し、それ以外の光を環境光の反射光と判別することができる。また、例えば、光分離部１４は、レーザ光照射部１１がレーザ光を照射してから所定時間以内に受光された光をレーザ光の反射光と判別し、それ以外のタイミングで受光された光を環境光の反射光と判別することができる。この所定時間は、レーザ光照射部１１がレーザ光を照射した後、照射されたレーザ光が自車両の周囲の物標で反射し、レーザ光の反射光が受光素子１２に到達するまでの時間に基づいて予め設定されている。なお、環境光の反射光には、上述したように、ライダー１から照射したレーザ光の反射光は含まない。しかしながら、環境光にレーザ光と同じ波長の光が含まれる場合、環境光の反射光には、レーザ光と同じ波長の光の反射光が含まれる。

レーザ光処理部１５は、受光素子１２で受光されたレーザ光の反射光の受光結果に基づいてレーザ光情報を生成する。レーザ光情報とは、予め定められた照射領域内の各位置に向けて照射された複数のレーザ光の受光結果（複数の反射光の受光結果）に基づいて生成される。なお、ライダー１は、照射領域内の各位置の全てに対してレーザ光の照射が完了した後、再度、照射領域内の各位置に向けてそれぞれレーザ光を照射する。このように、ライダー１は、照射領域内の各位置の全てに対してレーザ光を照射する照射処理が完了した後、再度、次の照射処理を行う。レーザ光情報は、ライダー１が照射処理を行うごとに生成される。

より詳細には、レーザ光処理部１５は、照射領域内に向けて照射する複数のレーザ光のそれぞれについて、照射したレーザ光の反射点の三次元位置と、当該レーザ光の強度と、を対応付けてレーザ光ポイント情報を生成する。レーザ光処理部１５は、生成した複数のレーザ光ポイント情報に基づいて、レーザ光情報を生成する。なお、レーザ光処理部１５は、レーザ光照射部１１から照射されたレーザ光の照射角度と、レーザ光が照射されてから当該レーザ光の反射光が受光素子１２に到達するまでの到達時間と、に基づいて、レーザ光の反射点の三次元位置を計測することができる。

環境光処理部１６は、受光素子１２で受光された環境光の反射光の受光結果に基づいて、環境光の反射光の情報である環境光情報を生成する。環境光情報は、レーザ光情報と同様に、ライダー１が照射領域内へ複数のレーザ光を照射する照射処理を行うごとに生成される。

より詳細には、環境光処理部１６は、まず、レーザ光処理部１５からレーザ光の反射点の三次元位置を取得する。ここで、レーザ光の照射角度等、ライダー１の各部の状態を変化させていない状態では、受光素子１２によって受光されるレーザ光の反射点の位置と、環境光の反射点の位置とは互いに同じとなっている。このため、ライダー１は、レーザ光の反射光を受光したときの状態で環境光の反射光の強度を検出することにより、レーザ光の反射点と同じ位置で反射した環境光の反射光の強度を検出することができる。従って、環境光処理部１６は、レーザ光処理部１５から取得したレーザ光の反射点の三次元位置と、受光素子１２で受光された環境光の反射光の強度と、を対応付けることにより、環境光ポイント情報を生成する。この環境光ポイント情報は、照射領域内に向けて照射される複数のレーザ光毎に生成される。

環境光処理部１６は、生成した複数の環境光ポイント情報に基づいて、環境光情報を生成する。すなわち、環境光処理部１６は、受光されたレーザ光（環境光）の反射光の反射点の位置と、受光された環境光の反射光の強度と、が反射点の位置毎に対応付けられた環境光情報を生成する。

このように、ライダー１は、受光素子１２の受光結果に基づいてレーザ光情報と環境光情報とを生成することができる。すなわち、ライダー１は、一つの受光素子１２の受光結果に基づいてレーザ光情報と環境光情報とを生成することができるため、レーザ光情報と環境光情報とのキャリブレーションが不要となる。

カメラ２は、自車両の周囲の予め定められた撮像領域内を撮像し、撮像結果であるカメラ画像を生成する。なお、カメラ２の撮像範囲は、ライダー１のレーザ光の照射範囲と少なくとも一部が重なっている。カメラ２は、撮像素子２１、及び画像処理ＥＣＵ２２を備えている。撮像素子２１は、撮像領域内で反射した環境光の反射光を受光し、受光した環境光の反射光に応じた信号を出力することができる。

画像処理ＥＣＵ２２は、光処理ＥＣＵ１３と同様の構成を有する電子制御ユニットである。画像処理ＥＣＵ２２は、機能的には、画像処理部２３を備えている。画像処理部２３は、撮像素子２１の出力信号に基づいて、周知の方法によってカメラ画像を生成する。

物体検出ＥＣＵ３は、ライダー１の検出結果に基づいて、自車両の周囲の物標を検出する。物体検出ＥＣＵ３は、光処理ＥＣＵ１３と同様の構成を有する電子制御ユニットである。物体検出ＥＣＵ３は、光処理ＥＣＵ１３又は画像処理ＥＣＵ２２と一体に構成されていてもよい。物体検出ＥＣＵ３は、機能的には、情報補正部３１、及び物体検出部３２を備えている。

情報補正部３１は、カメラ２で生成されたカメラ画像に基づいて、ライダー１の環境光処理部１６で生成された環境光情報を補正して補正環境光情報を生成する。情報補正部３１は、カメラ画像に基づいて種々の方法によって、補正環境光情報を生成することができる。本実施形態において、情報補正部３１は、次の第１の方法～第４の方法のいずれかの方法に基づいて、又は次の第１の方法～第４の方法の２以上の方法を組み合わせて補正環境光情報を生成することができる。なお、情報補正部３１は、カメラ画像と環境光情報との対応関係（位置的な対応関係）を、事前にキャリブレーションを行う、又は、補正環境光情報の生成時に特徴点をマッチングすること等によって得ることができる。

（第１の方法）
まず、第１の方法について説明する。第１の方法において、情報補正部３１は、カメラ画像の色情報（例えばＲＧＢ情報）を環境光情報に加えることによって、補正環境光情報を生成する。これにより、例えば、グレースケールの環境光情報に対して色情報が追加され、環境光情報の色のチャネル数が増加する。

（第２の方法）
次に、第２の方法について説明する。第２の方法において、情報補正部３１は、環境光情報のピクセル間にカメラ画像の情報を加えることによって、補正環境光情報を生成する。ここでは、情報補正部３１は、環境光情報のピクセル間に加えるカメラ画像の情報として、カメラ画像の色情報又は輝度情報等を用いることができる。このように、情報補正部３１は、環境光情報のピクセル間にカメラ画像の情報を加えることによって、環境光情報の解像度を高めた補正環境光情報を生成することができる。

（第３の方法）
次に、第３の方法について説明する。第３の方法において、情報補正部３１は、カメラ画像より得られるセグメンテーション情報に基づいて環境光情報を補正して補正環境光情報を生成する。ここでは、情報補正部３１は、例えば、semantic segmentation又はinstance segmentation等の周知の種々の手法を用いて、カメラ画像からセグメンテーション情報を得ることができる。情報補正部３１は、例えば、セグメンテーション情報を環境光情報に加えることにより、環境光情報に領域のカテゴリ情報を持たせた補正環境光情報を生成することができる。または、情報補正部３１は、例えば、セグメンテーション情報の領域のカテゴリ情報に基づいて、環境光情報のピクセル値を補正する（例えば領域の境界を鮮鋭にする等）ことによって補正環境光情報を生成することができる。

（第４の方法）
次に、第４の方法について説明する。第４の方法において、情報補正部３１は、カメラ画像と環境光情報との視差に基づいて得られる環境光の反射点までの距離を算出する。ここでは、情報補正部３１は、例えば、ステレオカメラ等と同様に、三角測量の原理に基づいて環境光の反射点までの距離を算出することができる。そして、情報補正部３１は、算出した距離の情報を環境光情報に加えることによって補正環境光情報を生成する。これにより、情報補正部３１は、環境光の反射点までの距離の情報を含む補正環境光情報を生成することができる。

物体検出部３２は、情報補正部３１で生成された補正環境光情報と、レーザ光処理部１５で生成されたレーザ光情報とに基づいて物標を検出する。ここでは、物体検出部３２は、補正環境光情報とレーザ光情報との２つの情報をフュージョンし、周知の種々の方法によって物標の検出処理及び認識処理を行うことができる。

次に、物体検出装置１００の物体検出ＥＣＵ３において行われる物標の検出処理の流れの一例について、図２のフローチャートを用いて説明する。なお、図２に示される検出処理は、物標の検出処理の開始後、所定時間ごとに繰り返し実行される。また、Ｓ１０１～Ｓ１０４の処理の順序は、図２に示される順序に限定されない。

図２に示されるように、物体検出部３２は、ライダー１のレーザ光処理部１５で生成されたレーザ光情報を取得する（Ｓ１０１）。情報補正部３１は、ライダー１の環境光処理部１６で生成された環境光情報を取得する（Ｓ１０２）。また、情報補正部３１は、カメラ２で生成されたカメラ画像を取得する（Ｓ１０３）。

情報補正部３１は、取得したカメラ画像に基づいて環境光情報を補正し、補正環境光情報を生成する（Ｓ１０４）。物体検出部３２は、取得したレーザ光情報と、情報補正部３１で生成された補正環境光情報とに基づいて、物標の検出を行う（Ｓ１０５）。

以上のように、物体検出装置１００は、カメラ画像に基づいて環境光情報を補正し、補正環境光情報を生成する。そして、物体検出装置１００は、生成した補正環境光情報とレーザ光情報とに基づいて物標を検出する。このように、物体検出装置１００は、環境光情報をカメラ画像に基づいて補正した補正環境光情報を用いることにより、レーザ光の反射光と環境光の反射光との検出結果（レーザ光情報及び補正環境光情報）に基づいて、物標を精度よく検出することができる。

補正環境光情報を生成する第１の方法において、情報補正部３１は、カメラ画像の色情報を環境光情報に加えることによって補正環境光情報を生成する。この場合、情報補正部３１は、環境光情報の色のチャネル数を増やすことができる。これにより、物体検出装置１００は、カメラ画像の色情報が付加された補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。

補正環境光情報を生成する第２の方法において、情報補正部３１は、環境光情報のピクセル間にカメラ画像の情報を加えることによって補正環境光情報を生成する。この場合、情報補正部３１は、環境光情報の解像度を高めることができる。これにより、物体検出装置１００は、解像度が高められた補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。

補正環境光情報を生成する第３の方法において、情報補正部３１は、カメラ画像より得られるセグメンテーション情報に基づいて環境光情報を補正して、補正環境光情報を生成する。この場合、物体検出装置１００は、セグメンテーション情報に基づいて生成された補正環境光情報と、レーザ光情報とを用いることにより、物標をより精度よく検出することができる。

補正環境光情報を生成する第４の方法において、情報補正部３１は、環境光の反射点までの距離を算出し、算出した距離の情報を環境光情報に加えることによって補正環境光情報を生成する。この場合、物体検出装置１００は、環境光の反射点までの距離の情報が付加された補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。

以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されるものではない。本開示は、本開示の趣旨を逸脱しない範囲で種々の変更が可能である。

２…カメラ、１１…レーザ光照射部、１２…受光素子（受光部）、１４…光分離部（受光部）、１５…レーザ光処理部（受光部）、１６…環境光処理部（受光部）、３１…情報補正部、３２…物体検出部、１００…物体検出装置。

Claims

レーザ光を照射するレーザ光照射部と、
前記レーザ光の反射光及び前記レーザ光以外の光である環境光の反射光を検出可能な受光部と、
カメラと、
前記カメラによって撮像されたカメラ画像に基づいて、前記受光部で検出された前記環境光の反射光の情報である環境光情報を補正して補正環境光情報を生成する情報補正部と、
前記補正環境光情報と前記受光部で受光された前記レーザ光の反射光の情報であるレーザ光情報とに基づいて物標を検出する物体検出部と、を備える物体検出装置。
前記情報補正部は、前記カメラ画像の色情報を前記環境光情報に加えることによって前記補正環境光情報を生成する、請求項１に記載の物体検出装置。
前記情報補正部は、前記環境光情報のピクセル間に前記カメラ画像の情報を加えることによって前記補正環境光情報を生成する、請求項１又は２に記載の物体検出装置。
前記情報補正部は、前記カメラ画像より得られるセグメンテーション情報に基づいて前記環境光情報を補正して前記補正環境光情報を生成する、請求項１～３のいずれか一項に記載の物体検出装置。
前記情報補正部は、前記カメラ画像と前記環境光情報との視差に基づいて得られる前記環境光の反射点までの距離を算出し、算出した前記距離の情報を前記環境光情報に加えることによって前記補正環境光情報を生成する、請求項１～４のいずれか一項に記載の物体検出装置。