JP2020079781A - 相対的位置姿勢の決定方法、装置、機器及び媒体 - Google Patents

相対的位置姿勢の決定方法、装置、機器及び媒体 Download PDF

Info

Publication number
JP2020079781A
JP2020079781A JP2019161640A JP2019161640A JP2020079781A JP 2020079781 A JP2020079781 A JP 2020079781A JP 2019161640 A JP2019161640 A JP 2019161640A JP 2019161640 A JP2019161640 A JP 2019161640A JP 2020079781 A JP2020079781 A JP 2020079781A
Authority
JP
Japan
Prior art keywords
data
obstacle
scene
target
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019161640A
Other languages
English (en)
Other versions
JP7222854B2 (ja
Inventor
シュン チョウ，
Xun Zhou
シュン チョウ，
ユァンファン シエ，
Yuanfan Xie
ユァンファン シエ，
シルイ リ，
Shirui Li
シルイ リ，
リャン ワン，
Liang Wang
リャン ワン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020079781A publication Critical patent/JP2020079781A/ja
Application granted granted Critical
Publication of JP7222854B2 publication Critical patent/JP7222854B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】相対的位置姿勢の決定方法、装置、機器及び媒体は、ミリ波レーダセンサと第１センサとの相対的位置姿勢の決定を実現する。【解決手段】車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得するステップであって、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置されるステップと、シーンにおける障害物のミリ波データ及び第１データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定するステップと、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップと、を含む。【選択図】図１

Description

本発明の実施例は、自動運転の分野に関し、特に、相対的位置姿勢の決定方法、装置、機器及び媒体に関する。
ミリ波レーダセンサとライダーセンサは、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ，高度運転支援システム）及び自動運転の分野でよく使われているセンサである。通常、ＡＤＡＳ又は自動運転機能を有する車両には、いずれも上記の二つのセンサが搭載されている。ミリ波レーダセンサは、ミリ波帯で動作するレーダセンサを指す。ライダーセンサは、レーザビームを放射して目標の位置、速度などの特徴量を検出するレーダセンサである。
ミリ波レーダ座標系とライダー座標系とは異なるため、二つのセンサの検出情報を十分に活用するために、検出情報に対して座標系の変換を行う必要がある。座標系の変換は、二つの座標系の相互関係、すなわち二つのセンサ間の相対的位置姿勢を決定する必要があるため、二つのセンサ間の相対的位置姿勢の決定は不可欠である。
本発明の実施例の技術案は、ミリ波レーダセンサと他のセンサとの相対的位置姿勢の決定を実現する相対的位置姿勢の決定方法、装置、機器及び媒体を提供する。
第１の側面において、本発明の実施例は、車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得するステップであって、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置されるステップと、シーンにおける障害物のミリ波データ及び第１データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定するステップと、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップと、を含む相対的位置姿勢の決定方法を提供する。
第２の側面において、本発明の実施例は、車両のミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得するためのデータ取得モジュールであって、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置されるデータ取得モジュールと、シーンにおける障害物のミリ波データ及び第１データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定するための目標検出モジュールと、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するための位置姿勢決定モジュールと、を含む相対的位置姿勢の決定装置をさらに提供する。
第３の側面において、本発明の実施例は、機器をさらに提供し、前記機器は、一つ又は複数のプロセッサと、シーンにおける障害物のミリ波データを収集するためのミリ波レーダセンサと、シーンにおける障害物の第１データを収集するための第１センサと、一つ又は複数のプログラムを記憶するための記憶装置と、を含み、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサは、本発明の実施例のいずれかに記載の相対的位置姿勢の決定方法を実現する。
第４の側面において、本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、本発明の実施例のいずれかに記載の相対的位置姿勢の決定方法が実現される。
本発明の実施例では、まず、ミリ波レーダセンサ及び第１センサによって検出することができる少なくとも一つの目標障害物を設置し、その後、目標障害物のミリ波レーダ座標系における第１障害物データと目標障害物の第１センサ座標系における第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定する。これにより、ミリ波レーダセンサと第１センサとの相対的位置姿勢が決定される。決定された相対的位置姿勢に基づいて、センサの検出情報のミリ波レーダ座標系と第１センサ座標系とで相互変換することができ、検出情報を十分に活用することができる。
本発明の実施例１によって提供される相対的位置姿勢の決定方法のフローチャートである。 本発明の実施例２によって提供される相対的位置姿勢の決定方法のフローチャートである。 本発明の実施例３によって提供される相対的位置姿勢の決定方法のフローチャートである。 本発明の実施例４によって提供される相対的位置姿勢の決定方法のフローチャートである。 本発明の実施例５によって提供される相対的位置姿勢の決定装置の概略構成図である。 本発明の実施例６によって提供される機器の概略構成図である。
以下、図面と実施例とを合わせて、本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではない。また、説明の便宜上、図面には、すべての構成ではなく、本発明に係る部分のみが示されている。
実施例１
図１は、本発明の実施例１によって提供される相対的位置姿勢の決定方法のフローチャートである。本実施例は、同一の車両に搭載されたミリ波レーダセンサと第１センサとのパラメータの標定、すなわち相対的位置姿勢の決定の場合に適用することができる。当該方法は、相対的位置姿勢の決定装置によって実行することができ、当該装置は、ソフトウェア及び／又はハードウェアの方式で実現することができる。図１を参照すると、本実施例によって提供される相対的位置姿勢の決定方法は、以下のステップＳ１１０〜ステップＳ１３０を含む。
ステップＳ１１０において、車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得し、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置される。
ここで、第１センサは、ミリ波レーダセンサ以外の任意のセンサであり、典型的には、当該センサは、ライダーセンサ又はカメラセンサであってもよい。
ミリ波データは、ミリ波レーダセンサによって収集されたシーンにおける障害物のデータである。
第１センサがライダーセンサである場合、第１データは、ライダーセンサによって収集されたシーンにおける障害物の点群データである。第１センサがカメラセンサである場合、第１データは、カメラセンサによって収集されたシーンにおける障害物の画像データである。
ミリ波レーダ信号ブースターは、受信した電磁波をすべて放射し返すか、又は受信した電磁波を増幅した後に反射し返すことができる任意のデバイスであってもよい。ミリ波レーダ信号ブースターは、非常に強い反射エコー特性を有する。
典型的には、ミリ波レーダ信号ブースターは、コーナーリフレクターであってもよい。ミリ波レーダセンサによる金属物体に対する反射強度が大きい（すなわち感動が高い）。したがって、目標障害物の検出結果が非目標障害物の検出結果とは区別されるように、必要に応じてミリ波レーダ信号ブースターを設置することができる。
ミリ波レーダ信号ブースターの数は少なくとも一つである。ミリ波レーダ信号ブースターの数が複数である場合、異なるミリ波レーダ信号ブースターを区別するために、また、その後の動作で異なるミリ波レーダ信号ブースターのデータの対応関係のマッチングを容易にするために、複数のミリ波レーダ信号ブースターを区別して設置することができ、例えば、異なる形状又は異なる体積に設置することができる。
ミリ波レーダ信号ブースターの数が複数である場合、異なるミリ波レーダ信号ブースターを区別するために、異なるミリ波レーダ信号ブースターの設置間隔を、設定された距離閾値より大きくする。設定された距離閾値は、実際のニーズ又は経験に応じて決定することができる。
第１センサがカメラセンサである場合、目標障害物がカメラセンサによって収集された画像から容易に検出されるように、目標障害物に色を付ける処理、又はテクスチャを貼り付ける処理をすることができる。
目標障害物は、シーンに設置された、上記の二つのセンサの相対的位置姿勢を決定するためのミリ波レーダ信号ブースターである。
ステップＳ１２０において、シーンにおける障害物のミリ波データ及び第１データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定する。
具体的には、目標障害物のミリ波レーダセンサ座標系及び第１センサ座標系におけるデータ特徴に基づいて、目標障害物に対応するデータを決定し、すなわち非目標障害物のノイズデータをフィルタリングして除去する。
シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の速度、位置及び各物体の反射強度を決定することができる。設置された目標障害物は静止しており、且つ他の材質の物体と比較して、ミリ波レーダセンサよる金属材質の目標障害物に対する反射強度がより大きいので、速度がゼロではなく、且つ反射強度が強度閾値より小さい障害物データをフィルタリングして除去する。
ステップＳ１３０において、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定する。
具体的には、前記第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップは、ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて、各目標障害物の位置誤差を決定するステップと、各目標障害物の位置誤差に基づいて目標関数を決定して、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサと第１センサとの相対的位置姿勢とするステップと、を含む。
第１位置データは、目標障害物のミリ波レーダセンサ座標系における位置データであり、第１障害物データから取得することができる。
相対的位置姿勢変数の初期値は、初期相対的位置姿勢である。初期相対的位置姿勢は、装置が工場から出荷するときに設定することができる。
第２位置データは、目標障害物の第１センサ座標系における位置データであり、第２障害物データから取得することができる。
各目標障害物の位置誤差の決定は、第１障害物データと第２障害物データとを同一座標系に変換することができる。変換された障害物データに基づいて、変換後の同一目標障害物の検出誤差を決定してもよい。
選択可能に、第１障害物データを第１センサ座標系に変換して、第２障害物データと誤差の比較を行うことができ、また、第２障害物データを第１センサ座標系に変換して、第１障害物と誤差の比較を行うこともできる。
例えば、第１センサがカメラセンサである場合、第１障害物データをカメラセンサ座標系に変換して、第２障害物データと誤差の比較を行うこともできるし、第２障害物データをミリ波レーダセンサ座標系に変換して、第１障害物と誤差の比較を行うこともできる。
本発明の実施例の技術案は、まず、ミリ波レーダセンサ及び第１センサによって検出することができる少なくとも一つの目標障害物を設置し、その後、目標障害物のミリ波レーダ座標系における第１障害物データと目標障害物の第１センサ座標系における第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定する。これにより、ミリ波レーダセンサと第１センサとの相対的位置姿勢が決定される。決定された相対的位置姿勢に基づいて、センサ検出情報のミリ波レーダ座標系と第１センサ座標系とで相互変換することができ、検出情報を十分に活用することができる。
さらに、ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて、各目標障害物の位置誤差を決定するステップの前に、シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識するステップと、シーンにおける障害物の第１データに基づいて、シーンに含まれる各第２目標障害物を認識するステップと、シーンに含まれる各第１目標障害物と、シーンに含まれる各第２目標障害物との対応関係を決定するステップと、をさらに含む。
ここで、第１目標障害物は、ミリ波レーダセンサのミリ波データに基づいて検出された目標障害物である。第２目標障害物は、第１センサの第１データに基づいて検出された当該目標障害物である。
第１センサがカメラセンサである場合、シーンにおける障害物の画像データに基づいて、シーンにおける各目標障害物を認識する方法は、目標障害物を認識することができる任意のアルゴリズムであってもよい。典型的には、当該アルゴリズムは、テンプレートマッチングアルゴリズム、ディープラーニングアルゴリズム又は従来の目標検出の様々なアルゴリズムであってもよい。
さらに、シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識するステップは、シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の速度と位置とを決定し、速度がゼロでない物体をフィルタリングして除去するステップと、シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の反射強度を決定し、反射強度が強度閾値より小さい物体をフィルタリングして除去するステップと、異なる目標障害物間の実際の相対的距離及び残りの各物体の位置に基づいて、残りの各物体が目標障害物であるか否かを決定して、障害物データに含まれる各目標障害物を取得するステップと、を含む。
実施例２
図２は、本発明の実施例２によって提供される相対的位置姿勢の決定方法のフローチャートである。本実施例は、上記の実施例に基づいて、ライダーセンサを第１センサとすることを例にして提供される選択可能な案である。図２を参照すると、本実施例によって提供される相対的位置姿勢の決定方法は、以下のステップＳ２１０〜ステップＳ２３０を含む。
ステップＳ２１０において、車両におけるミリ波レーダセンサ及びライダーセンサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び点群データを取得し、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置される。
典型的には、ミリ波レーダ信号ブースターは、コーナーリフレクターであってもよい。ミリ波レーダセンサによる金属物体に対する反射強度が大きく（すなわち、感度が高い）、ライダーセンサによる白い物体に対する反射強度が大きい（すなわち、感度が高い）。したがって、目標障害物の検出結果が非目標障害物の検出結果とは区別されるように、必要に応じてミリ波レーダ信号ブースターを設置することができる。
ステップＳ２２０において、シーンにおける障害物のミリ波データ及び点群データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物のライダー座標系における第２障害物データをそれぞれ決定する。
ライダーセンサによって検出される障害物点群データについて、シーンにおける障害物の点群データに基づいて地面を検出し、地面の点群データの干渉を除去することができる。点群データ基づいて物体速度を決定することはできないが、目標障害物は一定の面積と分布規則とを有する。点群数及び／又は点群分布規則に基づいて、シーンにおける各目標障害物の点群データを決定することができる。
ステップＳ２３０において、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢を決定する。
具体的には、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢を決定するステップは、ミリ波レーダセンサとライダーセンサとの変数、及び各目標障害物の第１位置データと第２位置データとに基づいて、各目標障害物の位置誤差を決定するステップと、各目標障害物の位置誤差に基づいて目標関数を決定し、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサとライダーセンサとの相対的位置姿勢とするステップと、を含む。
選択可能に、第１障害物データをライダーセンサ座標系に変換して、第２障害物データと誤差の比較を行うことができるし、第２障害物データをミリ波レーダセンサ座標系に変換して、第１障害物と誤差の比較を行うこともできる。
具体的には、各目標障害物の位置誤差に基づいて目標関数を決定することは、各目標障害物の位置誤差の二乗和を目標関数とすること、又は絶対値をとった後の各目標障害物の位置誤差の合計を目標関数とすることを含む。目標関数の決定方式は、他にも多数あるが、本実施例では、これについて一切限定しない。
典型的には、相対的位置姿勢は、二つの座標系の相対的回転角度と変位とを示すための６自由度の外部パラメータによって構成されてもよい。
本発明の実施例の技術案は、まず、ミリ波レーダセンサ及びライダーセンサによっていずれも検出することができる少なくとも一つの目標障害物を設置し、その後、目標障害物のミリ波レーダ座標系における第１障害物データと目標障害物のライダー座標系における第２障害物データとに基づいて、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢を決定する。これにより、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢が決定される。決定された相対的位置姿勢は、センサ検出情報のミリ波レーダ座標系とライダー座標系とで相互変換することができ、検出情報を十分に活用することができる。
実施例３
図３は、本発明の実施例３によって提供される相対的位置姿勢の決定方法のフローチャートである。本実施例は、上記の実施例に基づいて、第１障害物データをライダーセンサ座標系に変換して、第２障害物データと誤差の比較を行うことを例にして提供される選択可能な案である。図３を参照すると、本実施例により提供される相対的位置姿勢の決定方法は、以下のステップＳ３１０〜ステップＳ３５０を含む。
ステップＳ３１０において、車両のミリ波レーダセンサ及びライダーセンサによってそれぞれ収集されたシーンにおける障害物のミリ波データと点群データを取得し、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置される。
ステップＳ３２０において、シーンにおける障害物のミリ波データ及び点群データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物のライダー座標系における第２障害物データをそれぞれ決定する。
ステップＳ３３０において、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢変数に基づいて各目標障害物の第１位置データをライダー座標系に変換して各目標障害物の第３位置データを取得する。
ステップＳ３４０において、各目標障害物の第２位置データと第３位置データとに基づいて、各目標障害物の位置誤差を決定する。
ステップＳ３５０において、各目標障害物の位置誤差の合計を目標関数とし、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサとライダーセンサとの相対的位置姿勢とする。
ここで、位置誤差は位置差値の絶対値である。
具体的には、目標関数を反復的に最小化して、反復的に最小化された目標関数に対応する相対的位置姿勢をミリ波レーダセンサとライダーセンサとの相対的位置姿勢とすることができる。
本発明の実施例の技術案は、第１障害物データをライダーセンサ座標系に変換して、第２障害物データと位置誤差の比較を行う。各目標障害物の位置誤差の合計を目標関数として反復的に最小化して、反復的に最小化された目標関数に対応する相対的位置姿勢をミリ波レーダセンサとライダーセンサとの相対的位置姿勢とする。これにより、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢が決定される。
実施例４
図４は、本発明の実施例４によって提供される相対的位置姿勢の決定方法のフローチャートである。本実施例は、上記の実施例に基づいて提出される選択可能な案である。図４を参照すると、本実施例によって提供される相対的位置姿勢の決定方法は、以下のステップＳ４１０〜ステップＳ４６０を含む。
ステップＳ４１０において、車両におけるミリ波レーダセンサ及びライダーセンサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び点群データを取得し、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置される。
ステップＳ４２０において、シーンにおける障害物のミリ波データ及び点群データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物のライダー座標系における第２障害物データをそれぞれ決定する。
ステップＳ４３０において、シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識し、シーンにおける障害物の点群データに基づいて、シーンに含まれる各第２目標障害物を認識する。
ここで、第２目標障害物は、ライダーセンサの点群データに基づいて検出された目標障害物である。
具体的には、前記シーンにおける障害物の点群データに基づいて、シーンに含まれる各第２目標障害物を認識するステップは、シーンにおける障害物の点群データに基づいて地面を検出し、地面の点群データを除去するステップと、点群数及び／又は点群分布規則に基づいて、シーンにおける各物体の点群データと位置とを決定するステップと、
シーンにおける各物体の点群データと位置とに基づいて、シーンに含まれる各第２目標障害物を認識するステップと、を含む。
なお、1本の木に対応する点群データ量及び点群分布規則は、一本の警告パイルに対応する点群データ量及び点群分布規則とは異なることが理解される。
点群数及び／又は点群分布規則は、点群検出アルゴリズムに基づいて検出することができる。目標障害物は、機械学習などのアルゴリズムを使用して目標障害物の検出と認識決定を行うことができる。
ステップＳ４４０において、シーンに含まれる各第１目標障害物と、シーンに含まれる各第２目標障害物との対応関係を決定する。
例示的には、上記の対応関係は、以下のように理解されてもよい。障害物データに三つの障害物１、２、及び３があり、点群データに三つの障害物ａ、ｂ、及びｃがあり、１とｂとが同一の実際の障害物に対応し、２とａとが同一の実際の障害物に対応し、３とｃとが同一の実際の障害物に対応する対応関係を決定する。
具体的には、当該対応関係は、目標障害物間の距離、目標障害物の分布規則及び／又は点群データ量に基づいて決定することができる。
典型的には、第１目標障害物における一つの目標障害物と第２目標障害物における一つの目標障害物との間の距離が設定された距離範囲内にあり、しかも点群データの分布規則が同じ又は類似しており、点群データ量も同じ又は類似している場合、当該二つの障害物が同一の実際の障害物に対応することが決定されるため、当該二つの障害物の間に対応関係があると決定される。
ステップＳ４５０において、決定された対応関係と、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて、各目標障害物の位置誤差を決定する。
例示的には、１とｂとが同一の実際の障害物に対応する場合、ｂの第２位置データと１の第３位置データとに基づいて当該実際の障害物の位置誤差を決定する。
ステップＳ４６０において、各目標障害物の位置誤差に基づいて目標関数を決定し、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサとライダーセンサとの相対的位置姿勢とする。
本発明の実施例の技術案は、ミリ波レーダセンサのミリ波データに基づいて検出された目標障害物と、ライダーセンサの点群データに基づいて検出された目標障害物との対応関係を決定し、当該対応関係に基づいて各目標障害物の位置誤差を決定する。これにより、目標障害物が複数である場合の各目標障害物の位置誤差が決定され、上記の二つのセンサの相対的位置姿勢が決定される。
なお、本実施例の技術的教示によって、当業者は、上記の実施例に記載されたいずれかの実施形態の案を組み合わせて、ミリ波レーダセンサとライダーセンサとの相対的位置姿勢を決定する動機を有する。
実施例５
図５は、本発明の実施例５によって提供される相対的位置姿勢の決定装置の概略構成図である。選択可能に、当該相対的位置姿勢の決定装置は、自動運転車両に取り付けることができる。図５を参照すると、本実施例によって提供される相対的位置姿勢の決定装置は、データ取得モジュール１０と、目標検出モジュール２０と、位置姿勢決定モジュール３０と、を含む。
データ取得モジュール１０は、車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得し、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置される。
目標検出モジュール２０は、シーンにおける障害物のミリ波データ及び第１データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定する。
位置姿勢決定モジュール３０は、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定する。
本発明の実施例の技術案は、まず、ミリ波レーダセンサ及び第１センサによっていずれも検出することができる少なくとも一つの目標障害物を設置し、その後、目標障害物のミリ波レーダ座標系における第１障害物データと目標障害物の第１センサ座標系における第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定する。これにより、ミリ波レーダセンサと第１センサとの相対的位置姿勢が決定される。決定された相対的位置姿勢に基づいて、センサ検出情報のミリ波レーダ座標系と第１センサ座標系とで相互変換することができ、検出情報を十分に活用することができる。
さらに、前記位置姿勢決定モジュールは、座標初期変換ユニットと位置姿勢決定ユニットとを含む。
座標初期変換ユニットは、ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて、各目標障害物の位置誤差を決定する。
位置姿勢決定ユニットは、各目標障害物の位置誤差に基づいて目標関数を決定し、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサと第１センサとの相対的位置姿勢とする。
さらに、前記装置は、第１目標認識モジュールと、第２目標認識モジュールと、データ関連付けモジュールとをさらに含む。
第１目標認識モジュールは、ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて各目標障害物の位置誤差が決定される前に、シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識する。
第２目標認識モジュールは、シーンにおける障害物の第１データに基づいて、シーンに含まれる各第２目標障害物を認識する。
データ関連付けモジュールは、シーンに含まれる各第１目標障害物と、シーンに含まれる各第２目標障害物との対応関係を決定する。
さらに、前記第１目標認識モジュールは、速度位置フィルタリングユニットと、反射強度フィルタリングユニットと、第１目標決定ユニットとを含む。
速度位置フィルタリングユニットは、シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の速度と位置とを決定し、速度がゼロでない物体をフィルタリングして除去する。
反射強度フィルタリングユニットは、シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の反射強度を決定し、反射強度が強度閾値より小さい物体をフィルタリングして除去する。
第１目標決定ユニットは、異なる目標障害物間の実際の相対的距離及び残りの各物体の位置に基づいて、残りの各物体が目標障害物であるか否かを決定して、障害物データに含まれる各目標障害物を取得する。
さらに、第１センサがライダーセンサである場合、前記第２目標認識モジュールは、データフィルタリングユニットと、物体及び位置決定ユニットと、第２目標決定ユニットとを含む。
データフィルタリングユニットは、シーンにおける障害物の点群データに基づいて地面を検出し、地面の点群データを除去し、シーンにおける障害物の点群データは前記第１データである。
物体及び位置決定ユニットは、点群数及び／又は点群分布規則に基づいて、シーンにおける各物体の点群データと位置とを決定する。
第２目標決定ユニットは、シーンにおける各物体の点群データと位置とに基づいて、シーンに含まれる各第２目標障害物を認識する。
実施例６
図６は、本発明の実施例６によって提供される機器の概略構成図である。図６は、本発明の実施形態の実現に適した例示的な機器１２のブロック図である。図６に示される機器１２は単なる一例であり、本発明の実施例の機能及び使用範囲を一切限定しない。典型的には、当該機器は、自動運転車両の一つの車載機器であってもよい。
図６に示すように、機器１２は、汎用コンピューティング機器の形態で示される。機器１２の構成要素は、一つ又は複数のプロセッサ又は処理ユニット１６と、システムメモリ２８と、異なるシステム構成要素（システムメモリ２８と処理ユニット１６とを含む）を接続するバス１８と、を含むことができるが、これらに限定されない。処理ユニット１６は、シーンにおける障害物のミリ波データを収集するためのミリ波レーダセンサ１６１と、シーンにおける障害物の第１データを収集するための第１センサ１６２と、をさらに含む。
バス１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のうちのいずれかのバス構造を使用するローカルバスを含む、複数種類のバス構造のうち一つ又は複数を表す。例を挙げると、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＡＣ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含むが、これらに限定されない。
機器１２は、典型的には、複数種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、機器１２がアクセスすることができる任意の使用可能な媒体であってもよく、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む。
システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０及び／又はキャッシュメモリ３２などの揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでもよい。機器１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでもよい。単なる一例として、ストレージシステム３４は、ノンリムーバブル、不揮発性磁気媒体（図６に示されていないが、通常「ハードドライブ」という）に対して読み出し及び書き込みをするために用いることができる。図６に示されていないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル不揮発性光学ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又は他の光学媒体）に対して読み出し及び書き込みをするための光学ディスクドライブを提供することができる。これらの場合、各ドライブは、一つ又は複数のデータメディアインターフェイスを介してバス１８に接続することができる。メモリ２８は、本発明の各実施例に記載の機能を実行するように構成される１セット（例えば、少なくとも一つ）のプログラムモジュールを有する少なくとも一つのプログラム製品を含んでもよい。
１セット（少なくとも一つ）のプログラムモジュール４２を有するプログラム／ユーティリティ４０は、例えば、メモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、一つ又は複数のアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むがこれらに限定されない。これらの例のそれぞれ又は何らかの組み合わせには、ネットワーク環境の実装が含まれる可能性がある。プログラムモジュール４２は、通常本発明に記載の実施例における機能及び／又は方法を実行する。
機器１２は、一つ又は複数の外部デバイス１４（例えば、キーボード、ポインティングデバイス、ディスプレイ２４など）と通信することができるし、ユーザが機器１２とインタラクションすることを可能にする一つ又は複数のデバイスと通信することもでき、及び／又は機器１２が一つ又は複数の他のコンピューティング機器と通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデムなど）と通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェイス２２を介して行うことができる。また、機器１２は、ネットワークアダプタ２０を介して、一つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図に示すように、ネットワークアダプタ２０は、バス１８を介して、機器１２の他のモジュールと通信する。なお、図示されていないが、マイクロコードやデバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ、及びデータバックアップトレージシステムなどを含むがこれらに限定されない他のハードウェア及び／又はソフトウェアモジュールを、機器１２と組み合わせて使用することができる。
処理ユニット１６は、システムメモリ２８に記憶されたプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本発明の実施例によって提供される相対的位置姿勢の決定方法を実現する。
実施例７
本発明の実施例７は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、本発明の実施例のいずれかに記載の相対的位置姿勢の決定方法を実現し、当該方法は、
車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得するステップであって、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置されるステップと、シーンにおける障害物のミリ波データ及び第１データに基づいて各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定するステップと、第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップと、を含む。
本発明の実施例のコンピュータ読み取り可能な媒体は、一つ又は複数のコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、或いはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記の任意の組み合わせであってもよいがこれらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、一つ又は複数の配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。この明細書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。
コンピュータ読み取り可能なの信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、その中にはコンピュータ読み取り可能なのプログラムコードが搭載されている。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ読み取り可能なの信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。
コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって伝送することができる。
一つ又は複数のプログラミング言語又はそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、さらに、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよいし、部分的にユーザーコンピュータに実行されてもよいし、スタンドアロンソフトウェアパッケージとして実行されてもよいし、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよい、又は完全にリモートコンピュータ又はサーバーで実行してもよい。リモートコンピュータに係る場合、リモートコンピュータは、ローカルネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意種類のインターネットを介して、ユーザーコンピュータに接続することができ、或いは、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する）に接続することもできる。
なお、上記の記載は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明がここに記載された特定の実施例に限定されないと理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変更、新たな調整及び置換を行うことができる。上記実施例を用いて本発明を比較的詳細に説明したが、本発明は、上記実施例に限定されず、本発明の構想を逸脱せず、より多くの他の効果同等な実施例をさらに含むことができ、本発明の範囲は、特許請求の範囲によって决定される。

Claims (12)

  1. 車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得するステップであって、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置されるステップと、
    シーンにおける障害物のミリ波データ及び第１データに基づいて、各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定するステップと、
    第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップと、を含むことを特徴とする、相対的位置姿勢の決定方法。
  2. 第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するステップは、
    ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて、各目標障害物の位置誤差を決定するステップと、
    各目標障害物の位置誤差に基づいて目標関数を決定し、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサと第１センサとの相対的位置姿勢とするステップと、を含むことを特徴とする、請求項１に記載の方法。
  3. ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて、各目標障害物の位置誤差を決定するステップの前に、
    シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識するステップと、
    シーンにおける障害物の第１データに基づいて、シーンに含まれる各第２目標障害物を認識するステップと、
    シーンに含まれる各第１目標障害物と、シーンに含まれる各第２目標障害物との対応関係を決定するステップと、をさらに含むことを特徴とする、請求項２に記載の方法。
  4. シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識するステップは、
    シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の速度と位置とを決定し、速度がゼロでない物体をフィルタリングして除去するステップと、
    シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の反射強度を決定し、反射強度が強度閾値より小さい物体をフィルタリングして除去するステップと、
    異なる目標障害物間の実際の相対的距離及び残りの各物体の位置に基づいて、残りの各物体が目標障害物であるか否かを決定して、障害物データに含まれる各目標障害物を取得するステップと、を含むことを特徴とする、請求項３に記載の方法。
  5. 第１センサがライダーセンサである場合、前記シーンにおける障害物の第１データに基づいて、シーンに含まれる各第２目標障害物を認識するステップは、
    シーンにおける障害物の点群データに基づいて地面を検出し、地面の点群データを除去するステップであって、シーンにおける障害物の点群データは前記第１データであるステップと、
    点群数及び／又は点群分布規則に基づいて、シーンにおける各物体の点群データと位置とを決定するステップと、
    シーンにおける各物体の点群データと位置とに基づいて、シーンに含まれる各第２目標障害物を認識するステップと、を含むことを特徴とする、請求項３に記載の方法。
  6. 車両におけるミリ波レーダセンサ及び第１センサによってそれぞれ収集されたシーンにおける障害物のミリ波データ及び第１データを取得するためのデータ取得モジュールであって、シーンに少なくとも一つのミリ波レーダ信号ブースターが目標障害物として設置されるデータ取得モジュールと、
    シーンにおける障害物のミリ波データ及び第１データに基づいて、各目標障害物のミリ波レーダ座標系における第１障害物データ、及び目標障害物の第１センサ座標系における第２障害物データをそれぞれ決定するための目標検出モジュールと、
    第１障害物データと第２障害物データとに基づいて、ミリ波レーダセンサと第１センサとの相対的位置姿勢を決定するための位置姿勢決定モジュールと、を含むことを特徴とする、相対的位置姿勢の決定装置。
  7. 前記位置姿勢決定モジュールは、
    ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて、各目標障害物の位置誤差を決定するための座標初期変換ユニットと、
    各目標障害物の位置誤差に基づいて目標関数を決定し、前記目標関数を最小化処理し、最小目標関数に対応する相対的位置姿勢をミリ波レーダセンサと第１センサとの相対的位置姿勢とするための位置姿勢決定ユニットと、を含むことを特徴とする、請求項６に記載の装置。
  8. 前記装置は、
    ミリ波レーダセンサと第１センサとの相対的位置姿勢変数と、各目標障害物の第１位置データ及び第２位置データとに基づいて各目標障害物の位置誤差が決定される前に、シーンにおける障害物のミリ波データに基づいて、シーンに含まれる各第１目標障害物を認識するための第１目標認識モジュールと、
    シーンにおける障害物の第１データに基づいて、シーンに含まれる各第２目標障害物を認識するための第２目標認識モジュールと、
    シーンに含まれる各第１目標障害物と、シーンに含まれる各第２目標障害物との対応関係を決定するためのデータ関連付けモジュールと、をさらに含むことを特徴とする、請求項７に記載の装置。
  9. 前記第１目標認識モジュールは、
    シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の速度と位置とを決定し、速度がゼロでない物体をフィルタリングして除去するための速度位置フィルタリングユニットと、
    シーンにおける障害物のミリ波データに基づいてシーンにおける各物体の反射強度を決定し、反射強度が強度閾値より小さい物体をフィルタリングして除去するための反射強度フィルタリングユニットと、
    異なる目標障害物間の実際の相対的距離及び残りの各物体の位置に基づいて、残りの各物体が目標障害物であるか否かを決定して、障害物データに含まれる各目標障害物を取得するための第１目標決定ユニットと、を含むことを特徴とする、請求項８に記載の装置。
  10. 第１センサがライダーセンサである場合、前記第２目標認識モジュールは、
    シーンにおける障害物の点群データに基づいて地面を検出し、地面の点群データを除去するためのデータフィルタリングユニットであって、シーンにおける障害物の点群データは前記第１データであるデータフィルタリングユニットと、
    点群数及び／又は点群分布規則に基づいて、シーンにおける各物体の点群データと位置とを決定するための物体及び位置決定ユニットと、
    シーンにおける各物体の点群データと位置とに基づいて、シーンに含まれる各第２目標障害物を認識するための第２目標決定ユニットと、を含むことを特徴とする、請求項８に記載の装置。
  11. 一つ又は複数のプロセッサと、
    シーンにおける障害物のミリ波データを収集するためのミリ波レーダセンサと、
    シーンにおける障害物の第１データを収集するための第１センサと、
    一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが、請求項１から５のいずれかに記載の相対的位置姿勢の決定方法を実現することを特徴とする、機器。
  12. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    当該プログラムがプロセッサによって実行される場合に、請求項１から５のいずれかに記載の相対的位置姿勢の決定方法が実現されることを特徴とする、コンピュータ読み取り可能な記憶媒体。
JP2019161640A 2018-09-07 2019-09-05 相対的位置姿勢の決定方法、装置、機器及び媒体 Active JP7222854B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811045093.4 2018-09-07
CN201811045093.4A CN109059902B (zh) 2018-09-07 2018-09-07 相对位姿确定方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
JP2020079781A true JP2020079781A (ja) 2020-05-28
JP7222854B2 JP7222854B2 (ja) 2023-02-15

Family

ID=64761033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019161640A Active JP7222854B2 (ja) 2018-09-07 2019-09-05 相対的位置姿勢の決定方法、装置、機器及び媒体

Country Status (4)

Country Link
US (1) US11372101B2 (ja)
EP (1) EP3650884B1 (ja)
JP (1) JP7222854B2 (ja)
CN (1) CN109059902B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113581174A (zh) * 2021-08-23 2021-11-02 安徽江淮汽车集团股份有限公司 一种车辆的障碍物定位方法及障碍物定位装置
JP7452333B2 (ja) 2020-08-31 2024-03-19 株式会社デンソー Ｌｉｄａｒの補正パラメータの生成方法、ｌｉｄａｒの評価方法、およびｌｉｄａｒの補正装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901123B (zh) * 2018-12-24 2023-12-01 文远知行有限公司 传感器标定方法、装置、计算机设备和存储介质
CN116068557A (zh) * 2018-12-29 2023-05-05 百度在线网络技术（北京）有限公司 基于雷达的车辆位置检测方法、装置和计算机设备
CN109814114B (zh) * 2019-01-15 2021-12-24 北京百度网讯科技有限公司 一种超声波雷达阵列、障碍物检测方法及系统
CN109895100B (zh) * 2019-03-29 2020-10-16 深兰科技（上海）有限公司 一种导航地图的生成方法、装置及机器人
EP3933439A4 (en) * 2019-04-03 2022-03-30 Huawei Technologies Co., Ltd. LOCATION METHOD AND LOCATION DEVICE
CN110096059B (zh) * 2019-04-25 2022-03-01 杭州飞步科技有限公司 自动驾驶方法、装置、设备及存储介质
CN111566505A (zh) * 2019-06-28 2020-08-21 深圳市大疆创新科技有限公司 毫米波雷达组件安装角度的标定方法及系统、可移动平台
WO2021056132A1 (en) * 2019-09-23 2021-04-01 Beijing Voyager Technology Co., Ltd. Systems and methods for calibrating a camera and a lidar
CN111077506B (zh) * 2019-12-12 2022-04-19 苏州智加科技有限公司 对毫米波雷达进行标定的方法、装置及系统
CN111177869B (zh) * 2020-01-02 2023-09-01 北京百度网讯科技有限公司 传感器布局方案的确定方法、装置及设备
CN111413721B (zh) * 2020-01-14 2022-07-19 华为技术有限公司 车辆定位的方法、装置、控制器、智能车和系统
WO2021217334A1 (zh) * 2020-04-27 2021-11-04 深圳市大疆创新科技有限公司 可移动平台及其避障方法和装置
CN111707279B (zh) * 2020-05-19 2023-09-08 上海有个机器人有限公司 一种激光点云与地图的匹配评价方法、介质、终端和装置
CN111896949B (zh) * 2020-07-15 2024-02-27 河海大学 一种高拱坝谷幅变形动态监测系统及其监测方法
CN114063091A (zh) * 2020-07-30 2022-02-18 北京四维图新科技股份有限公司 高精度的定位方法及产品
CN111832667B (zh) * 2020-09-17 2020-12-08 中汽研（天津）汽车工程研究院有限公司 一种园区无人驾驶观光车的驾驶行为决策系统
CN112346055B (zh) * 2020-10-23 2024-04-16 无锡威孚高科技集团股份有限公司 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
CN112362084A (zh) * 2020-11-23 2021-02-12 北京三快在线科技有限公司 一种数据标定方法、装置及数据标定系统
CN112859187B (zh) * 2021-01-06 2022-11-08 路晟（上海）科技有限公司 被探测物的姿态识别方法和装置、设备及系统
CN112946627B (zh) * 2021-01-29 2024-03-22 中汽创智科技有限公司 基于视觉信息的毫米波雷达检测系统及检测方法
CN113759331B (zh) * 2021-02-07 2024-04-12 贵州京邦达供应链科技有限公司 一种雷达定位方法、装置、设备及存储介质
CN112946591A (zh) * 2021-02-26 2021-06-11 商汤集团有限公司 外参标定方法、装置、电子设备及存储介质
CN112802127B (zh) * 2021-03-31 2021-07-20 深圳中科飞测科技股份有限公司 标定方法及装置、标定设备和存储介质
CN113514806B (zh) * 2021-04-02 2023-12-19 苏州挚途科技有限公司 自动驾驶过程中障碍物确定方法、装置及电子设备
CN113759377B (zh) * 2021-08-26 2023-09-01 追觅创新科技(苏州)有限公司 自移动设备定位方法、装置、存储介质、设备及系统
CN114167393A (zh) * 2021-12-02 2022-03-11 新境智能交通技术(南京)研究院有限公司 交通雷达的位置标定方法及装置、存储介质、电子设备
CN114419564B (zh) * 2021-12-24 2023-09-01 北京百度网讯科技有限公司 车辆位姿检测方法、装置、设备、介质及自动驾驶车辆
CN115407304A (zh) * 2022-08-30 2022-11-29 中国第一汽车股份有限公司 点云数据的处理方法及处理装置
CN116359865B (zh) * 2023-06-02 2023-08-04 上海几何伙伴智能驾驶有限公司 毫米波雷达水平安装角估计方法
CN116577767B (zh) * 2023-07-07 2024-01-30 长沙莫之比智能科技有限公司 基于毫米波雷达的电动汽车无线充电安全区域检测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075031A (ja) * 1998-08-27 2000-03-14 Omron Corp 測距装置の２次元軸調整方法
JP2001227982A (ja) * 1999-12-24 2001-08-24 Robert Bosch Gmbh センサシステムの校正方法
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
US20060164295A1 (en) * 2002-06-29 2006-07-27 Thomas Focke Method and device for calibrating sensors in a motor vehicle
JP2007218738A (ja) * 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
US20100076708A1 (en) * 2008-09-19 2010-03-25 Caterpillar Inc. Machine sensor calibration system
JP2011232325A (ja) * 2010-04-09 2011-11-17 Denso Corp 物体認識装置
JP2015127664A (ja) * 2013-12-27 2015-07-09 株式会社国際電気通信基礎技術研究所 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
WO2017057041A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP2017096813A (ja) * 2015-11-25 2017-06-01 株式会社国際電気通信基礎技術研究所 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
WO2017130770A1 (ja) * 2016-01-29 2017-08-03 学校法人明治大学 レーザスキャンシステム、レーザスキャン方法、移動レーザスキャンシステム及びプログラム
JP2017198555A (ja) * 2016-04-27 2017-11-02 富士通株式会社 情報処理装置、キャリブレーション方法、およびキャリブレーションプログラム
US20180231654A1 (en) * 2017-02-16 2018-08-16 GM Global Technology Operations LLC Lidar-radar relative pose calibration

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251592B (zh) * 2008-03-31 2011-11-16 中国科学院计算技术研究所 一种无线传感器网络的节点定位方法
US9031809B1 (en) * 2010-07-14 2015-05-12 Sri International Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion
CN102506757B (zh) * 2011-10-10 2014-04-23 南京航空航天大学 双目立体测量系统多视角测量中的自定位方法
CN103727930B (zh) * 2013-12-30 2016-03-23 浙江大学 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法
US10024664B1 (en) * 2014-09-30 2018-07-17 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Range and intensity image-based terrain and vehicle relative pose estimation system
CN105509733B (zh) * 2015-11-30 2018-04-06 上海宇航系统工程研究所 非合作空间圆目标的相对位姿测量方法
JP6211157B1 (ja) * 2016-09-01 2017-10-11 三菱電機株式会社 キャリブレーション装置およびキャリブレーション方法
EP3332736B1 (de) * 2016-12-12 2020-11-04 Sirona Dental Systems GmbH Verfahren zur erfassung eines dentalen objekts
US10276075B1 (en) * 2018-03-27 2019-04-30 Christie Digital System USA, Inc. Device, system and method for automatic calibration of image devices

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075031A (ja) * 1998-08-27 2000-03-14 Omron Corp 測距装置の２次元軸調整方法
JP2001227982A (ja) * 1999-12-24 2001-08-24 Robert Bosch Gmbh センサシステムの校正方法
US20060164295A1 (en) * 2002-06-29 2006-07-27 Thomas Focke Method and device for calibrating sensors in a motor vehicle
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
JP2007218738A (ja) * 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
US20100076708A1 (en) * 2008-09-19 2010-03-25 Caterpillar Inc. Machine sensor calibration system
JP2011232325A (ja) * 2010-04-09 2011-11-17 Denso Corp 物体認識装置
JP2015127664A (ja) * 2013-12-27 2015-07-09 株式会社国際電気通信基礎技術研究所 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
WO2017057041A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP2017096813A (ja) * 2015-11-25 2017-06-01 株式会社国際電気通信基礎技術研究所 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
WO2017130770A1 (ja) * 2016-01-29 2017-08-03 学校法人明治大学 レーザスキャンシステム、レーザスキャン方法、移動レーザスキャンシステム及びプログラム
JP2017198555A (ja) * 2016-04-27 2017-11-02 富士通株式会社 情報処理装置、キャリブレーション方法、およびキャリブレーションプログラム
US20180231654A1 (en) * 2017-02-16 2018-08-16 GM Global Technology Operations LLC Lidar-radar relative pose calibration

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7452333B2 (ja) 2020-08-31 2024-03-19 株式会社デンソー Ｌｉｄａｒの補正パラメータの生成方法、ｌｉｄａｒの評価方法、およびｌｉｄａｒの補正装置
CN113581174A (zh) * 2021-08-23 2021-11-02 安徽江淮汽车集团股份有限公司 一种车辆的障碍物定位方法及障碍物定位装置

Also Published As

Publication number Publication date
US11372101B2 (en) 2022-06-28
EP3650884A3 (en) 2020-08-19
EP3650884A2 (en) 2020-05-13
CN109059902A (zh) 2018-12-21
CN109059902B (zh) 2021-05-28
EP3650884B1 (en) 2023-11-01
US20200081119A1 (en) 2020-03-12
JP7222854B2 (ja) 2023-02-15

Similar Documents

Publication Publication Date Title
JP2020079781A (ja) 相対的位置姿勢の決定方法、装置、機器及び媒体
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
US11372098B2 (en) Method, apparatus, device, and medium for determining angle of yaw
WO2020147485A1 (zh) 一种信息处理方法、系统、设备和计算机存储介质
KR102061522B1 (ko) 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
EP3624055B1 (en) Ground detection method, apparatus, electronic device, vehicle and storage medium
CN108345836A (zh) 用于自主车辆的标志识别
CN110442120B (zh) 控制机器人在不同场景下移动的方法、机器人及终端设备
CN110865393A (zh) 基于激光雷达的定位方法及系统、存储介质和处理器
KR20190062852A (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
CN109635868B (zh) 障碍物类别的确定方法、装置、电子设备及存储介质
CN112558035B (zh) 用于估计地面的方法和装置
US20190377090A1 (en) Technologies for lidar based moving object detection
CN111832347B (zh) 动态选取感兴趣区域的方法及装置
US11597383B1 (en) Methods and systems for parking a vehicle
CN113763717A (zh) 一种车辆的识别方法、装置、计算机设备和存储介质
CN110133624B (zh) 无人驾驶异常检测方法、装置、设备和介质
KR102075831B1 (ko) V2v 통신과 레이다 센서 객체 번호 일치 방법 및 장치
WO2023193567A1 (zh) 机器人的移动控制方法和装置、存储介质及电子装置
US20230267749A1 (en) System and method of segmenting free space based on electromagnetic waves
CN113313654A (zh) 激光点云滤波去噪方法、系统、设备及存储介质
CN114199168A (zh) 一种室内体积探测方法、装置、设备及介质
CN116665173A (zh) 车道线识别方法、装置、设备和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220727

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220727

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220803

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230203

R150 Certificate of patent or registration of utility model

Ref document number: 7222854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150