JP2022000636A - オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両 - Google Patents

オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両 Download PDF

Info

Publication number
JP2022000636A
JP2022000636A JP2021131756A JP2021131756A JP2022000636A JP 2022000636 A JP2022000636 A JP 2022000636A JP 2021131756 A JP2021131756 A JP 2021131756A JP 2021131756 A JP2021131756 A JP 2021131756A JP 2022000636 A JP2022000636 A JP 2022000636A
Authority
JP
Japan
Prior art keywords
onboard sensor
feature points
sensor
vehicle body
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021131756A
Other languages
English (en)
Other versions
JP7297017B2 (ja
Inventor
ジョウ，ユエイン
Yueyin Zhou
チェン，チィ
Qi Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022000636A publication Critical patent/JP2022000636A/ja
Application granted granted Critical
Publication of JP7297017B2 publication Critical patent/JP7297017B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G09B29/102—Map spot or coordinate position indicators; Map reading aids using electrical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】固定試験場又は実験室に頼ることなくオンボードセンサの外部パラメータを較正する方法及び装置を提供する。【解決手段】較正方法は、オンボードセンサにより収集された第１特徴点情報を取得するステップと、世界座標系における車体の地理的位置を決定するステップと、前記世界座標系における前記車体の前記地理的位置に基づき、地図データベース内の前記センサの収集範囲内の第２特徴点情報を決定するステップと、前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップと、前記世界座標系における前記車体の前記地理的位置に基づき、前記車両の座標系における前記複数の第２特徴点の座標を決定するステップと、前記複数の第１特徴点及び前記車両の座標系における前記複数の第２特徴点に基づき、前記オンボードセンサから前記車両へのマッピングのパラメータを決定するステップと、を含む。【選択図】図１

Description

［関連出願］
本願は、中国特許出願番号第２０１７１０５４７０９４．８号、中国特許庁に２０１７年７月６日出願、名称「METHOD AND DEVICE FOR CALIBRATING EXTRINSIC PARAMETER OF ON−BOARD SENSOR」の優先権を主張する。該中国特許出願は、参照によりその全体がここに組み込まれる。
［技術分野］
本願の実施形態は、自動車分野に関し、より具体的には、オンボードセンサの外部パラメータを較正する方法及び装置に関する。
自動運転の信頼性は、複数のオンボードセンサの集中型検知に基づき、複数のセンサの集中型検知は空間整合性に基づく。外部センサパラメータは、センサ間の空間的相対位置及び姿勢関係を反映する。現在、自律車両上のセンサの外部パラメータは、固定的領域にある試験場又は屋内実験室における幾つかの手動でプリセットされたマーカを観察することにより、構成される。自律車両が納入後のある時間期間の間、使用されるとき、センサの空間的位置の間の相対関係は、長時間の高周波数振動及び衝突及び摩擦のような外的要因により、ずれる。本例では、デポ再較正が必要である。自律車両市場が次第に発展するのに伴い、ユーザ数の増加が必然的にデポ再較正の要求の増大を引き起こす。大規模なデポ再較正は高い輸送及び時間コストを生じ、さらにユーザ経験に深刻な負の影響を与える。
したがって、自律車両を使用する課程で、センサの検知データに基づき、センサを自動的に構成することが緊急に必要である。
本願の実施形態は、オンボードセンサの外部パラメータを較正する方法及び装置を提供する。その結果、自律車両のオンボードセンサは、固定試験場又は実験室に頼ることなく自動的に較正され得る。これはユーザ経験を向上することができる。
第１の態様によると、オンボードセンサの外部パラメータを較正する方法であって、第１オンボードセンサにより収集された第１特徴点情報を取得するステップと、位置及び方向システムPOSセンサにより収集された位置情報に基づき、世界座標系における車体の地理的位置を決定するステップと、前記世界座標系における前記車体の前記地理的位置に基づき、地図データベースの中の前記第１センサの収集範囲内の第２特徴点情報を決定するステップであって、前記地図データベースは、前記世界座標系に基づき確立される、ステップと、前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップと、前記世界座標系における前記車体の前記地理的位置及び前記世界座標系における前記複数の第２特徴点の地理的位置に基づき、車体座標系における前記複数の第２特徴点の座標を決定するステップと、前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングのパラメータを決定するステップと、を含む方法が提供される。
装置は、前記第１オンボードセンサにより収集された前記第１特徴点情報を取得し、前記位置及び方向システムPOSセンサにより収集された前記位置情報に基づき、前記世界座標系における、前記第１オンボードセンサの位置する前記車体の前記地理的位置を決定する。前記装置は、前記世界座標系における前記車体の前記地理的位置に基づき、前記地図データベース内の前記第１センサの前記収集範囲内の前記第２特徴点情報を決定し、前記地図データベースは前記世界座標系に基づき確立される。前記装置は、前記第１特徴点情報及び前記第２特徴点情報に基づき、前記複数の第１特徴点及び前記複数の第２特徴点を決定し、前記世界座標系における前記車体の前記地理的位置及び前記世界座標系における前記複数の第２特徴点の前記地理的位置に基づき、前記車体座標系における前記複数の第２特徴点の前記座標を決定し、前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングの前記パラメータを決定する。
したがって、前記装置は、前記地図データベース内の前記第１センサの前記収集範囲内の前記第２特徴点情報、前記複数の第１特徴点、及び前記複数の第２特徴点を、前記第１オンボードセンサにより収集された前記第１特徴点情報及び前記世界座標系における前記車体の前記地理的位置に基づき決定し、前記第１オンボードセンサから前記車体へのマッピングの前記パラメータを、前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の座標に基づき決定して、前記第１オンボードセンサの外部パラメータを較正する。このように、自律車両のオンボードセンサは、固定試験場又は実験室に頼ることなく、自動的に較正されることができ、ユーザ経験を向上する。
任意で、第１の態様の一実装では、前記方法は、さらに、
前記第１オンボードセンサから前記車体へのマッピングの前記決定したパラメータに基づき、前記車体から前記第１オンボードセンサへのマッピングのパラメータを決定するステップと、
第２オンボードセンサから前記車体へのマッピングのパラメータ及び前記車体から前記第１オンボードセンサへのマッピングの前記パラメータに基づき、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングのパラメータを決定するステップと、を含む。
任意で、第１の態様の一実装では、前記第１オンボードセンサから前記車体へのマッピングの前記決定したパラメータに基づき、前記車体から前記第１オンボードセンサへのマッピングのパラメータを決定する前記ステップは、
前記第１オンボードセンサから前記車体へのマッピングの前記パラメータに対して、反転を実行して、前記車体から前記第１オンボードセンサへのマッピングの前記パラメータを取得するステップを含み、
第２オンボードセンサから前記車体へのマッピングのパラメータ及び前記車体から前記第１オンボードセンサへのマッピングの前記パラメータに基づき、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングのパラメータを決定する前記ステップは、
前記第２オンボードセンサから前記車体へのマッピングの前記パラメータを、前記車体から前記第１オンボードセンサへのマッピングの前記パラメータで乗算して、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングの前記パラメータを取得するステップを含む。
この場合、前記第１オンボードセンサから前記車体へのマッピングの前記パラメータ、及び前記第２オンボードセンサから前記車体へのマッピングの前記パラメータが取得され、その結果、任意のオンボードセンサ及び任意の他のオンボードセンサの座標間のマッピング関係が実装され得る。これは、オンボードセンサ間の相互較正を実施する。
任意で、第１の態様の一実装では、前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングのパラメータを決定する前記ステップは、
前記複数の第１特徴点に対する精度チェックが成功したことを決定するステップと、
前記精度チェックに成功した前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングの前記パラメータを決定するステップと、を含む。
この場合、精度チェックが第１特徴点に対して実行され、その結果、第１特徴点を取得する又は照合する課程で生じ得る誤差が回避され、大きな誤差を有する観察値は自動的に除去され、オンボードセンサから世界座標系へのマッピングのパラメータは、精度チェックに成功した第１特徴点に基づき較正される。これは、オンボードセンサから世界座標系へのマッピングのパラメータの信頼性及び精度を向上する。
任意で、第１の態様の一実装では、前記第１オンボードセンサは、以下のオンボードセンサ：レーザレーダオンボードセンサ、カメラオンボードセンサ、及びミリ波レーダオンボードセンサ、のうちのいずれか１つを含む。
任意で、第１の態様の一実装では、前記第１オンボードセンサが、前記レーザレーダオンボードセンサ又は前記ミリ波レーダオンボードセンサであるとき、
前記複数の第１特徴点に対する精度チェックが成功したことを決定する前記ステップは、
前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングの初期パラメータを決定するステップと、
前記第１特徴点の座標及び前記初期マッピングパラメータに基づき、前記車体座標系における前記第１特徴点の座標を決定するステップと、
前記車体座標系における前記第１特徴点の前記座標及び前記POSセンサに基づき、前記地図データベース内の前記第１特徴点の座標を決定するステップと、
前記地図データベース内の前記第１特徴点の各々の前記決定した座標と、前記地図データベース内の前記第１特徴点に一致する第２特徴点の座標との間の差が第１閾より小さいとき、前記第１特徴点に対する前記精度チェックが成功したと決定するステップと、を含む。
任意で、第１の態様の一実装では、前記第１オンボードセンサが前記カメラオンボードセンサであるとき、前記複数の第１特徴点に対する精度チェックが成功したことを決定する前記ステップは、
前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングの初期パラメータを決定するステップと、
前記車体座標系における前記複数の一致した第２特徴点の前記座標と前記初期マッピングパラメータに基づき、前記複数の第２特徴点に対応する前記複数の第１特徴点のピクセル座標を決定するステップと、
前記複数の第１特徴点の各々の前記決定したピクセル座標と前記第１特徴点の取得したピクセル座標との間の差が第２閾より小さいとき、前記第１特徴点に対する前記精度チェックが成功したと決定するステップと、を含む。
任意で、第１の態様の一実装では、前記第１オンボードセンサが前記レーザレーダオンボードセンサであるとき、第１オンボードセンサにより収集された第１特徴点情報を取得する前記ステップは、
前記複数の第１特徴点及び前記複数の第１特徴点に対応する第１マーカの輪郭サイズを取得するステップを含み、
前記複数の第１特徴点は前記第１マーカの複数のコーナー座標であり、
前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定する前記ステップは、
前記第１特徴点情報の中の前記複数の特徴点のうちのいずれか１つに対応する前記第１マーカの前記輪郭サイズと、前記第２特徴点情報の中の前記複数の特徴点のうちのいずれか１つに対応する前記第１マーカの輪郭サイズとの間の差が第３閾より小さいとき、前記第１特徴点情報の中の前記複数の特徴点のうちの前記いずれか１つが前記第１特徴点であり、前記第２特徴点情報の中の前記複数の特徴点のうちの前記いずれか１つが前記第２特徴点であると決定するステップを含む。
任意で、第１の態様の一実装では、前記第１オンボードセンサは、前記ミリ波レーダオンボードセンサであり、第１オンボードセンサにより収集された第１特徴点情報を取得する前記ステップは、
前記第１特徴点情報に含まれる前記複数の第１特徴点、及び前記複数の第１特徴点の中の近隣の第１特徴点同士の固定間隔d１を取得するステップを含み、
前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定する前記ステップは、
前記第１特徴点情報の中の前記複数の特徴点の中の前記近隣の特徴点同士の前記固定間隔d１と、前記地図データベース内の前記複数の特徴点の中の前記近隣の特徴点同士の固定間隔dとの間の差が第４閾より小さいとき、前記第１特徴点情報の中の前記複数の特徴点の中の前記近隣の特徴点同士の前記固定間隔d１が前記第１特徴点であり、前記地図データベース内の前記複数の特徴点の中の前記近隣の特徴点同士の前記固定間隔ｄが前記第２特徴点であると決定するステップを含む。
任意で、第１の態様の一実装では、前記第１オンボードセンサは、前記カメラオンボードセンサであり、第１オンボードセンサにより収集された第１特徴点情報を取得する前記ステップは、
第３マーカの複数の第１特徴点のピクセル座標及び前記第３マーカの画像サイズを取得するステップであって、前記複数の第１特徴点は前記第３マーカの画像の幾何学的中心を構成する、ステップを含み、
前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定する前記ステップは、
前記第１オンボードセンサの地理的位置及び前記地図データベース内の前記第３マーカの座標に基づき、前記第１オンボードセンサと前記第３マーカとの間の距離を決定するステップと、
前記第１オンボードセンサと前記第３マーカとの間の前記距離に基づき、前記カメラセンサにより取得された画像内の前記第３マーカの理論的サイズを決定するステップと、
前記画像内の前記第３マーカの前記理論的サイズと前記画像内の前記第３マーカの実際のサイズとの間の差が第５閾より小さいとき、前記第３マーカの前記複数の第１特徴点の前記ピクセル座標は前記複数の第１特徴点であり、前記地図データベース内の前記第３マーカに対応する座標は前記複数の第２特徴点であると決定するステップと、を含む。
第２の態様によると、レーザレーダセンサによりデータを収集する方法であって、第１マーカの輪郭を取得するステップと、前記輪郭に基づき前記第１マーカの第１特徴点情報を決定するステップであって、前記第１特徴点情報は複数の特徴点と前記複数の特徴点に対応する前記第１マーカの輪郭サイズとを含み、前記複数の特徴点は前記第１マーカの複数のコーナー点である、ステップと、を含む方法が提供される。
任意で、第２の態様の一実装では、第１マーカの輪郭を取得する前記ステップは、
点群フィルタリングノイズ除去及び領域近位点アルゴリズム及びベクトル解法アルゴリズムを用いて、前記第１マーカの前記輪郭を抽出するステップを含む。
第３の態様によると、ミリ波レーダセンサによりデータを収集する方法であって、複数の第１マーカの座標を取得するステップであって、前記複数の第１マーカ同士の間隔は直線方向に固定される、ステップと、前記複数の第１マーカの中の近隣の第１特徴点同士の固定間隔d１を決定するステップと、を含む方法が提供される。
第４の態様によると、カメラセンサによりデータを収集する方法であって、第１マーカの画像を取得するステップと、前記第１マーカの前記画像に基づき、前記カメラセンサにより収集された第１特徴点情報を決定するステップであって、前記第１特徴点情報は、前記複数の第１特徴点のピクセル座標及び前記第３マーカの画像サイズを含み、前記複数の特徴点は前記第３マーカの画像の幾何学的中心を構成する、ステップと、を含む方法が提供される。
任意で、第４の態様の一実装では、前記第１マーカが交通信号であるとき、前記第１マーカの前記画像に基づき、前記カメラセンサにより収集された第１特徴点情報を決定する前記ステップは、
それぞれ全部赤、黄色、緑の特徴領域を前記画像から赤、緑、及び青チャネルを通じて抽出し、前記赤緑青チャネル画像のエッジ点を抽出するステップと、
前記赤緑青チャネル画像のエッジ点に基づき、前記赤緑青チャネル画像の幾何学的中心を決定し、前記赤緑青チャネル画像の前記幾何学的中心のピクセル座標を取得するステップと、を含む。
第５の態様によると、制御装置であって、取得モジュールと決定モジュールとを含む制御装置が提供される。前記制御装置は、第１の態様又は第１の態様のいずれかの任意の実装における方法を実行してよい。
第６の態様によると、レーザレーダセンサであって、取得モジュールと決定モジュールとを含むレーザレーダセンサが提供される。前記レーザレーダセンサは、第２の態様又は第２の態様のいずれかの任意の実装における方法を実行してよい。
第７の態様によると、ミリ波レーダセンサであって、取得モジュールと決定モジュールとを含むミリ波レーダセンサが提供される。前記ミリ波レーダセンサは、第３の態様又は第３の態様のいずれかの任意の実装における方法を実行してよい。
第８の態様によると、カメラレーダセンサであって、取得モジュールと決定モジュールとを含むカメラレーダセンサが提供される。前記カメラレーダセンサは、第４の態様又は第４の態様のいずれかの任意の実装における方法を実行してよい。
第９の態様によると、車両であって、制御装置と、レーザレーダセンサと、ミリ波レーダセンサと、カメラセンサとを含む車両が提供される。
第１０の態様によると、電子装置であって、メモリとプロセッサとを含む電子装置が提供される。前記メモリはプログラムコードを記憶し、該プログラムコードは、上述のいずれかの任意の実装を実行するよう指示するために使用されてよく、該コードが実行されると、前記プロセッサは、前記方法における端末装置により実行される各動作を実施してよい。
第１１の態様によると、コンピュータ記憶媒体が提供される。前記コンピュータ記憶媒体はプログラムコードを記憶し、該プログラムコードは、上述のいずれかの任意の実装における方法を実行するよう指示するために使用されてよい。
本願の一実施形態による例示的な車両１００の機能ブロック図である。
本願の一実施形態によるオンボードセンサの外部パラメータを較正する方法２００の概略フローチャートである。
本願の一実施形態による、第１オンボードセンサがレーザレーダオンボードセンサ又はミリ波レーダオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定する概略フローチャートである。
本願の一実施形態による、第１オンボードセンサがカメラオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定する概略フローチャートである。
本願の一実施形態によるレーザレーダセンサによりデータを収集する方法５００の概略フローチャートである。
本願の一実施形態によるミリ波レーダセンサによりデータを収集する方法６００の概略フローチャートである。
本願の一実施形態によるカメラセンサによりデータを収集する方法７００の概略フローチャートである。
本願の一実施形態によるオンボードセンサの外部パラメータを較正する装置８００の概略ブロック図である。
本願の一実施形態によるレーザレーダセンサ９００の概略ブロック図である。
本願の一実施形態によるミリ波レーダセンサ１０００の概略ブロック図である。
本願の一実施形態によるカメラセンサ１１００の概略ブロック図である。
本願の一実施形態による電子装置１２００の概略ブロック図である。
以下は、添付の図面を参照して本願の実施形態における技術的ソリューションを記載する。
図１は、本願の一実施形態による例示的な車両１００の機能ブロック図である。車両１００に結合された又は車両１００に含まれるコンポーネントは、推進システム１１０、センサシステム１２０、制御システム１３０、周辺装置１４０、電源１０１、計算機器１０７、及びユーザインタフェース１０８を含んでよい。計算機器１０７は、プロセッサ１０２、通信機１０３、及びメモリ１０４を含んでよい。計算機器１０７は、車両１００の制御部又は制御部の一部であってよい。メモリ１０４は、プロセッサ１０２により実行され得る命令１０６を含んでよく、地図データ１０５を更に格納してよい。車両１００のコンポーネントは、互いに相互接続することにより、及び／又はそれぞれのシステムに結合された他のコンポーネントに相互接続することにより、動作するよう構成されてよい。例えば、電源１０１は、車両１００の全てのコンポーネントに電力を供給してよい。計算機器１０７は、推進システム１１０、センサシステム１２０、制御システム１３０、及び周辺装置１４０からデータを受信し、該データを制御するよう構成されてよい。計算機器１０７は、ユーザインタフェース１０８上に画像を表示し、ユーザインタフェース１０８から入力を受信するよう構成されてよい。
別の例では、車両１００は、より多くの、少ない、又は異なるシステムを含んでよく、各システムはより多くの、少ない、又は異なるコンポーネントを含んでよい。さらに、図示のシステム及びコンポーネントは、任意の方法で結合され又は分類されてよい。
推進システム１１０は、運動のために車両１００に電力を提供するよう構成されてよい。図示のように、推進システム１１０は、エンジン／モータ１１４、エネルギ源１１３、変速機（transmission）１１２、及び車輪／タイヤ１１１を含む。
推進システム１１０は、追加又は代替として、図示のコンポーネント以外のコンポーネントを含んでよい。
センサシステム１０４は、車両１００の置かれた環境に関する情報を検知するよう構成された幾つかのセンサを含んでよい。図示のように、センサシステム１０４のセンサは、全測位システムGPS１２６、慣性測定ユニット（Inertial Measurement Unit, IMU）１２５、レーザレーダセンサ１２４、カメラセンサ１２３、ミリ波レーダセンサ１２２、及びセンサの位置及び／又は方向を変更するよう構成されるアクチュエータ１２１、を含む。センサシステム１２０は、車両１００の内部システムを監視するセンサ（例えば、O２モニタ、燃料計、又は油温計）のような追加センサも含んでよい。センサシステム１２０は、別のセンサも含んでよい。
GPSモジュール１２６は、車両１００の地理的位置を推定するよう構成される任意のセンサであってよい。したがって、GPSモジュール１２６は、衛星測位データに基づき、地球に対する車両１００の位置を推定するよう構成される通信機を含んでよい。一例では、計算機器１０７は、GPSモジュール１２６を用いて地図データ１０５を参照して、車両１００の走行し得る道路の車線境界の位置を推定するよう構成されてよい。GPSモジュール１２６は、別の形式であってもよい。
IMU１２５は、慣性、加速度、及びそれらの任意の組み合わせに基づき、車両１００の位置及び方向変化を検知するよう構成されてよい。幾つかの例では、センサの組み合わせは、例えば、加速度計及びジャイロスコープを含んでよい。センサの別の可能な組み合わせもある。
レーザレーダ（LiDAR）センサ１２４は、オブジェクト検出システムとして考えられてよい。センサは、光を通じて、車両１００の置かれた環境内のオブジェクトを検知し又は検出する。概して、LiDARは、目標までの距離又は目標の別の属性が光により目標を照射することにより測定され得る光学遠隔検知技術である。一例では、LiDARセンサ１２４は、レーザパルスを送信するよう構成されるレーザ源及び／又はレーザスキャナ、及びレーザパルスの反射を受信するよう構成される検出器を含んでよい。例えば、LiDARセンサ１２４は、回転ミラーにより反射されるレーザ距離計を含み、１次元又は２次元のデジタル化シナリオに関してレーザをスキャンして、指定された角度間隔で距離測定値を収集してよい。一例では、LiDARセンサ１２４は、（レーザのような）光源、スキャナ、光学系、光検出器、受信機のような電子装置、及び位置及びナビゲーションシステム、のようなコンポーネントを含んでよい。LiDARセンサ１２４は、オブジェクトにより反射されるレーザをスキャンすることにより、オブジェクトまでの距離を決定する。その結果、センチメートルレベルまでの精度で３D環境の図が取得できる。
カメラセンサ１２３は、車両１００の置かれた環境の画像を取得するよう構成される（スチルカメラ又はビデオカメラのような）任意のカメラであってよい。したがって、カメラは、可視光を検出するよう構成されてよく、又はスペクトルの別の部分からの光（例えば、赤外線又は紫外線光）を検出するよう構成されてよい。別の可能な種類のカメラがある。カメラ１２３は、２次元検出器であってよく、又は３次元空間範囲を有してよい。幾つかの例では、カメラ１２３は、例えば、距離検出器であってよく、距離検出器は、カメラ１２３から環境内の幾つかの点までの距離を示すために、２次元画像を生成するよう構成される。したがって、カメラ１２３は、１つ以上の距離検出技術を使用してよい。例えば、カメラ１２３は、構造光技術を使用するよう構成されてよい。車両１００は、格子又はチェックボードパターンのようなプリセット光パターンを使用して、環境内のオブジェクトを照射し、カメラ１２４を用いて、オブジェクトのプリセット光パターンの反射を検出する。反射光パターン内の歪みに基づき、車両１００は、オブジェクト上の点までの距離を検出するよう構成されてよい。プリセット光パターンは、赤外線、又は別の波長の光を含んでよい。
ミリ波レーダ（Millimeter−Wave Radar）センサ１２２は、通常、１〜１０nmの波長を有するオブジェクト検出センサであり、周波数範囲は約１０GHz〜２００GHzである。ミリ波レーダ測定値は、深さ情報を有し、目標までの距離を提供できる。さらに、ミリ波レーダは、有意なドップラ効果を有し、速度に非常に敏感なので、ミリ波レーダは、目標の速度を直接取得してよく、目標のドップラシフトを検出することにより、目標の速度を抽出してよい。現在、２種類の主流のオンボードミリ波レーダの周波数帯は、それぞれ２４GHz及び７７GHzである。前者のオンボードミリ波レーダは、約１．２５cmの波長を有し、主に短距離検知、例えば車両周囲、見えない場所、駐車支援、及び車線支援、のために使用される。後者のオンボードミリ波レーダは、約４mmの波長を有し、中長距離測定、例えば自律車両追従、適応走行制御（ACC）、及び自律緊急ブレーキ（AEB）、のために使用される。
制御システム１３０は、車両１００及び車両１００のコンポーネントの動作を制御するよう構成されてよい。したがって、制御システム１３０は、操舵ユニット１３６、スロットル１３５、ブレーキユニット１３４、センサ融合アルゴリズム１３３、コンピュータビジョンシステム１３２、及びナビゲーション又はルート制御（pathing）システム１３１を含んでよい。
制御システム１３０は、追加又は代替として、図示のコンポーネント以外のコンポーネントを含んでよい。
周辺装置１４０は、車両１００が、外部センサ、別の車両、及び／又はユーザと相互作用することを可能にするよう構成されてよい。したがって、周辺装置１４０は、例えば、無線通信システム１４４、タッチスクリーン１４３、マイクロフォン１４２、及び／又はスピーカ１４１を含んでよい。
周辺装置１４０は、追加又は代替として、図示のコンポーネント以外のコンポーネントを含んでよい。
電源１０１は、車両１００のコンポーネントの一部又は全部に電力を供給するよう構成されてよい。したがって、電源１１０は、例えば、再充電可能なリチウムイオン又は鉛酸蓄電池を含んでよい。幾つかの例では、１つ以上のバッテリグループが、電力を供給するよう構成されてよい。別の電源材料及び構成も可能である。幾つかの例では、電源１１０及びエネルギ源１１３は、幾つかの全電気自動車におけるように、一緒に実装されてよい。
計算機器１０７に含まれるプロセッサ１０２は、１つ以上の汎用プロセッサ及び／又は１つ以上の専用プロセッサ（画像プロセッサ及びデジタル信号プロセッサのような）を含んでよい。プロセッサ１０２が１つより多くのプロセッサを含むとき、プロセッサは別個に作動し又は一緒に作動してよい。計算機器１０７は、ユーザインタフェース１０８から受信した入力に基づき、車両１００を制御する機能を実装してよい。
通信機１０３は、計算機器１０７と各システムとの間の通信を実施するよう構成される。
メモリ１０４は、１つ以上の揮発性記憶コンポーネント及び／又は１つ以上の不揮発性記憶コンポーネント、例えば光記憶機器、磁気記憶機器、及び／又は有機記憶機器を更に含んでよく、メモリ１０４は、プロセッサ１０２に完全に又は部分的に統合されてよい。メモリ１０４は、プロセッサ１０２により実行可能な（プログラムロジックのような）命令１０６を含み、本願明細書に記載の機能又は方法のうちのいずれか１つを含む種々の車両機能を実行してよい。
車両１００のコンポーネントは、内部の他のコンポーネント及び／又は外部の個々のシステムに相互接続することにより、動作するよう構成されてよい。したがって、車両１００のコンポーネント及びシステムは、システムバス、ネットワーク、及び／又は別の接続メカニズムを用いて、通信可能に接続されてよい。
本願の実施形態をより良好に理解するために、以下は、図１に示したシステムと同じ又は同様のシステムを一例として用いることにより、図２〜図１２を参照して本願の実施形態を説明する。
図２は、本願の一実施形態によるオンボードセンサの外部パラメータを較正する方法２００の概略フローチャートである。図２に示すように、方法２００は以下の内容を含む。
２１０。装置は、第１オンボードセンサにより収集された第１特徴点情報を取得する。
任意で、第１オンボードセンサは、以下のオンボードセンサ：レーザレーダオンボードセンサ、カメラオンボードセンサ、及びミリ波レーダオンボードセンサ、のうちのいずれか１つを含む。
任意で、第１オンボードセンサがレーザレーダオンボードセンサであるとき、第１オンボードセンサにより収集された第１特徴点情報を取得するステップは、
複数の第１特徴点及び複数の第１特徴点に対応する第１マーカの輪郭サイズを取得するステップを含み、複数の第１特徴点は、第１マーカの複数のコーナー座標である。
任意で、第１オンボードセンサはミリ波レーダオンボードセンサであり、第１オンボードセンサにより収集された第１特徴点情報を取得するステップは、
第１特徴点情報に含まれる複数の第１特徴点、及び複数の第１特徴点の中の近隣の第１特徴点同士の固定間隔d１を取得するステップを含む。
任意で、第１オンボードセンサがカメラオンボードセンサであり、第１オンボードセンサにより収集された第１特徴点情報を取得するステップは、
第３マーカの複数の第１特徴点のピクセル座標及び第３マーカの画像サイズを取得するステップを含み、複数の第１特徴点は、第３マーカの画像の幾何学的中心を構成する。
任意で、第１マーカ、第２マーカ、及び第３マーカは、都市の道路にある一般的な都市建設の地表特徴、例えば既存のランドマーク建築物、交通信号、都市の建設の長期間固定された標識である。
この場合、センサにより収集される既存の都市建設の地表特徴の第１特徴点は、追加の手動の生成コストを必要とすることなく、取得される。したがって、センサの外部パラメータを較正するコストが低減される。
２２０。POSセンサに基づき、世界座標系における車体の地理的位置を決定する。
任意で、世界座標系における車体の地理的位置は、POSセンサ（つまり、GPS及び慣性ナビゲーション装置を含む慣性グループ）に基づき決定される。
理解されるべきことに、第１オンボードセンサは車体内に配置される。
２３０。世界座標系における第１オンボードセンサの地理的位置に基づき、地図データベース内の第１センサの収集範囲内の第２特徴点情報を決定し、地図（Geographical Information System, GIS）データベースは世界座標系に基づき確立される。
具体的に、地図GISデータベースは、世界座標系における第１オンボードセンサの地理的位置に基づき、現在の地図データベースの位置収集範囲内の第１センサの利用可能な特徴点リストについて検索される。
２４０。第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定する。
任意で、第１オンボードセンサがレーザレーダオンボードセンサであるとき、第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップは、第１特徴点情報の中の複数の特徴点のうちのいずれか１つに対応する第１マーカの輪郭サイズと、第２特徴点情報の中の複数の特徴点のうちのいずれか１つに対応する第１マーカの輪郭サイズとの間の差が、第３閾より小さいとき、第１特徴点情報の中の複数の特徴点のうちの該いずれか１つが第１特徴点であり、第２特徴点情報の中の複数の特徴点のうちの該いずれか１つが第２特徴点であることを決定するステップを含む。
具体的に、装置により取得された第１特徴点情報、例えば、第１マーカの長さ、幅、又は高さは、スクリーニングを通じて地図データベースから取得された第２特徴点情報に対応する第１マーカの長さ、幅、又は高さに対して照合される。例えば、表１は、世界座標系における現在のレーザレーダオンボードセンサの地理的位置に基づき地図データベースの中にある、装置により出力される、一連の建物に関する情報のリストである。
Figure 2022000636
レーザレーダセンサにより収集された取得された第１特徴点情報は、表１の特徴点と照合される。第１特徴点情報の中の複数の特徴点のうちのいずれか１つに対応する第１マーカの輪郭サイズと、第２特徴点情報の中の複数の特徴点のうちのいずれか１つに対応する第１マーカの輪郭サイズとの間の差が、第３閾より小さいとき、第１特徴点情報の中の複数の特徴点のうちの該いずれか１つは第１特徴点であり、第２特徴点情報の中の複数の特徴点のうちの該いずれか１つは第２特徴点であると決定する。
任意で、第１オンボードセンサがミリ波レーダオンボードセンサであるとき、第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップは、
第１特徴点情報の中の複数の特徴点の中の近隣の特徴点同士の固定間隔d１と、地図データベースの中の複数の特徴点の中の近隣の特徴点同士の固定間隔dとの間の差が、第４閾より小さいとき、第１特徴点情報の中の複数の特徴点の中の近隣の特徴点同士の固定間隔d１は第１特徴点であり、地図データベースの中の複数の特徴点の中の近隣の特徴点同士の固定間隔dは第２特徴点であると決定するステップを含む。
任意で、第１オンボードセンサがカメラセンサであるとき、第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップは、
第１オンボードセンサの地理的位置及び地図データベースの中の第３マーカの座標に基づき、第１オンボードセンサと第３マーカとの間の距離を決定するステップと、
第１オンボードセンサと第３マーカとの間の距離に基づき、カメラセンサにより取得された画像内の第３マーカの理論的サイズを決定するステップと、
画像内の第３マーカの理論的サイズと画像内の第３マーカの実際のサイズとの間の差が第５閾より小さいとき、第３マーカの複数の第１特徴点のピクセル座標は複数の第１特徴点であり、地図データベースの中の第３マーカに対応する座標は複数の第２特徴点であると決定するステップと、を含む。
任意で、第３マーカが交通信号であるとき、第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップは、
元の画像から赤、緑、及び青チャネルを通じて、それぞれ赤、黄色、及び緑の特徴領域を抽出するステップと、
３つのチャネルを通じて円形の閉領域をそれぞれ抽出するステップと、
交通信号の長さ−幅の比、及び最大−最小条件に基づき、抽出した円形領域に対してスクリーニングを実行するステップと、
３つのチャネルの中のユニークな円形を有するチャネルに対応するピクセル座標が第１特徴点であり、地図データベースの中で、ユニークな円形を有するチャネルに対応する第３マーカの座標が第２特徴点であると決定するステップと、を含む。
この場合、自律車両を使用する課程で特徴点に一致するか否かが手動で選択される場合を回避し、及び手動介入により引き起こされる誤りを低減するために、複数の取得した第１特徴点は地図データベースの中の複数の第２特徴点と知的に照合される。
２５０。世界座標系における車体の地理的位置及び世界座標系における複数の第２特徴点の地理的位置に基づき、車体座標系における複数の第２特徴点の座標を決定する。
２６０。複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングのパラメータを決定する。
センサの外部パラメータは、センサと車体との間の相対位置関係である。Pwは車体座標系として定義され、Pcはセンサ座標系である。世界座標系Pwとセンサ座標系Pcとの間の関係は、式（１）に示される：
Pc=RPw+T (１)
式中、Rは回転行列であり、Tは並進ベクトルであり、R及びTはセンサの外部パラメータである。並進ベクトルTは、３つの座標軸に沿う偏向であり、２つの座標系の間の固定並進ベクトルとして考えられてよい。回転行列Rは３×３の直交行列である。回転角パラメータが、それぞれ、α^、β^、及びγ^である場合、３つの回転行列は、座標軸の周りで連続的に乗算され、次式を得る。
Figure 2022000636
複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングのパラメータが決定される。言い換えると、並進ベクトルT及び回転行列Rは、複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき決定される。
留意すべきことに、複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングのパラメータを決定することは、第１オンボードセンサの外部パラメータを較正することである。
任意で、複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングのパラメータを決定するステップは、複数の第１特徴点に対する精度チェックが成功したことを決定するステップと、精度チェックに成功した複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングのパラメータを決定するステップと、を含む。
任意で、第１オンボードセンサが、レーザレーダオンボードセンサ又はミリ波レーダオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定するステップは、
複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングの初期パラメータfLiDAR ０を決定するステップと、
第１特徴点の座標及び初期マッピングパラメータに基づき、車体座標系における第１特徴点の座標を決定するステップと、
車体座標系における第１特徴点の座標及びPOSセンサに基づき、地図データベース内の第１特徴点の座標を決定するステップと、
地図データベース内の第１特徴点の各々の決定した座標と、地図データベース内の第１特徴点に一致する第２特徴点の座標との間の差が第１閾より小さいとき、第１特徴点に対する精度チェックが成功したと決定するステップと、を含む。
任意で、第１閾は、平均経験的誤差σ０の３倍である。地図データベース内の第１特徴点の各々の決定した座標と、地図データベース内の第１特徴点に一致する第２特徴点の各々の座標との間の差が、第１閾より小さいとき、第１特徴点に対する精度チェックは成功したと決定される。地図データベース内の第１特徴点の各々の座標と、地図データベース内の第１特徴点に一致する第２特徴点の各々の座標との間の差が、第１閾より大きいとき、第１特徴点は、不一致点又は大きな誤差を有する点であり、除去される。
理解されるべきことに、平均経験的誤差σ０は、センサ精度及び多数のサンプルテストに基づく。第１閾は、平均経験的誤差σ０の３倍であり、経験値である。異なるシナリオでは、第１閾は再決定されてよい。これは、本願の本実施形態において限定されない。
具体的に、図３は、第１オンボードセンサがレーザレーダオンボードセンサ又はミリ波レーダオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定する概略フローチャートである。
３０１。第１特徴点に対する精度チェックの手順が開始する。
３０２。レーザレーダセンサのi番目の第１特徴点の取得した座標を、初期マッピングパラメータfLiDAR ０に代入する。
３０３。地図データベース内のi番目の第１特徴点に対応する第２特徴点の座標を計算する。
３０４。地図データベース内のi番目の第１特徴点に対応する第２特徴点の計算した座標と、地図データベースに格納された第２特徴点の座標との間の減算を実行して、残差σiを取得する。
３０５。残差σiがσ０の３倍より大きいか否かを決定する。
３０６。残差σiがσ０の３倍より大きいi番目の第１特徴点を除去する。
３０７。複数の第１特徴点に対する精度チェックが完了したか否かを決定する。
３０８。複数の第１特徴点に対する精度チェックが完了した場合、精度チェック手順を終了する。或いは、複数の第１特徴点に対する精度チェックが完了していない場合、精度チェック手順を続ける。
任意で、第１オンボードセンサがカメラオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定するステップは、
複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングの初期パラメータを決定するステップと、
車体座標系における複数の一致した第２特徴点の座標と初期マッピングパラメータに基づき、複数の第２特徴点に対応する複数の第１特徴点のピクセル座標を決定するステップと、
複数の第１特徴点の各々の決定したピクセル座標と第１特徴点の取得したピクセル座標との間の差が第２閾より小さいとき、第１特徴点に対する精度チェックが成功したと決定するステップと、を含む。
任意で、第２閾は、平均経験的誤差σ０の３倍である。地図データベース内の第１特徴点の各々の決定した座標と、地図データベース内の第１特徴点に一致する第２特徴点の各々の座標との間の差が、第２閾より小さいとき、第１特徴点に対する精度チェックは成功したと決定される。地図データベース内の第１特徴点の各々の座標と、地図データベース内の第１特徴点に一致する第２特徴点の各々の座標との間の差が、第２閾より大きいとき、第１特徴点は、不一致点又は大きな誤差を有する点であり、除去される。
理解されるべきことに、平均経験的誤差σ０は、センサ精度及び多数のサンプルテストに基づく。第２閾は、平均経験的誤差σ０の３倍であり、経験値である。異なるシナリオでは、第２閾は再決定されてよい。これは、本願の本実施形態において限定されない。
具体的に、図４は、第１オンボードセンサがカメラオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定する概略フローチャートである。
４０１。第１特徴点に対する精度チェックの手順が開始する。
４０２。地図データベース内のi番目の第２特徴点の一致した座標をfcam ０に代入する。
４０３。ピクセル座標系のi番目の第２特徴点に対応する第１特徴点の座標を計算する。
４０４。ピクセル座標系におけるi番目の第２特徴点に対応する第１特徴点の計算した座標と、第１特徴点の実際に検出した座標との間の減算を実行して、残差σiを取得する。
４０５。残差σiがσ０の３倍より大きいか否かを決定する。
４０６。残差σiがσ０の３倍より大きいi番目の第２特徴点を除去する。
４０７。複数の第１特徴点に対する精度チェックが完了したか否かを決定する。
４０８。複数の第１特徴点に対する精度チェックが完了した場合、精度チェック手順を終了する。或いは、複数の第１特徴点に対する精度チェックが完了していない場合、精度チェック手順を続ける。
この場合、精度チェックが第１特徴点に対して実行され、その結果、第１特徴点を取得する又は照合する課程で生じ得る誤差が回避され、大きな誤差を有する観察値は自動的に除去され、オンボードセンサから車体へのマッピングのパラメータは、精度チェックに成功した第１特徴点に基づき較正される。これは、オンボードセンサから車体へのマッピングのパラメータの信頼性及び精度を向上する。
任意で、車体から第１オンボードセンサへのマッピングのパラメータは、第１オンボードセンサから車体へのマッピングの決定したパラメータに基づき決定される。
第２オンボードセンサから第１オンボードセンサへのマッピングのパラメータは、第２オンボードセンサから車体へのマッピングのパラメータ、及び車体から第１オンボードセンサへのマッピングのパラメータに基づき決定される。ここで、第２オンボードセンサから車体へのマッピングのパラメータは、地図データベースに基づき決定される。
任意で、反転が第１オンボードセンサから車体へのマッピングのパラメータに対して実行されて、車体から第１オンボードセンサへのマッピングのパラメータを取得する。
具体的に、fLiDARは、レーザレーダセンサから車体へのマッピングのパラメータを表す。反転操作がfLiDARに対して実行されて、fLiDAR −１を取得する。fLiDAR −１は、車体からレーザレーダセンサへのマッピングのパラメータを表す。
任意で、第１オンボードセンサから車体へのマッピングのパラメータが、車体から第１オンボードセンサへのマッピングのパラメータにより乗算されて、第２オンボードセンサから第１オンボードセンサへのマッピングのパラメータを取得する。
具体的に、fcamは、カメラセンサから車体へのマッピングのパラメータを表す。反転操作がfcamに対して実行されて、fcam −１を取得する。fcam −１は、車体からカメラセンサへのマッピングのパラメータを表す。したがって、レーザレーダセンサとカメラセンサとの間のマッピングのパラメータは、fLiDAR・fcam −１である。
この場合、レーザレーダセンサから車体へのマッピングのパラメータfLiDAR、カメラセンサから車体へのマッピングのパラメータfcam、及びミリ波レーダセンサから車体へのマッピングのパラメータfRdaorが取得され、その結果、任意のオンボードセンサ及び任意の他のオンボードセンサの座標間のマッピング関係が実装され得る。これは、オンボードセンサ間の相互較正を実施する。
したがって、本願では、装置は、地図データベース内の第１センサの収集範囲内の第２特徴点情報、複数の第１特徴点、及び複数の第２特徴点を、第１オンボードセンサにより収集された第１特徴点情報及び世界座標系における車体の地理的位置に基づき決定し、第１オンボードセンサから車体へのマッピングのパラメータを、複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき決定する。このように、自律車両のオンボードセンサは、固定試験場又は実験室に頼ることなく、自動的に較正されることができ、ユーザ経験を向上する。
理解されるべきことに、本願の本実施形態におけるオンボードセンサの外部パラメータを較正する方法は、無人汽船又は無人高所作業車のような別のセンサ搬送プラットフォームに適用されてよい。
更に理解されるべきことに、本願の本実施形態におけるオンボードセンサの外部パラメータを較正する方法は、別の種類のセンサに更に適用されてよい。これは、本願の本実施形態において限定されない。
図５は、本願の一実施形態によるレーザレーダセンサによりデータを収集する方法５００の概略フローチャートである。図５に示すように、方法５００は以下の内容を含む。
５１０。レーザレーダセンサは、第１マーカの輪郭を取得する。
５２０。輪郭に基づき、第１マーカの第１特徴点情報を決定する。ここで、第１特徴点情報は、複数の特徴点と、該複数の特徴点に対応する第１マーカの輪郭サイズと、を含み、該複数の特徴点は第１マーカの複数のコーナー点である。
任意で、第１マーカの輪郭を取得するステップは、
点群フィルタリングノイズ除去及び領域近位点アルゴリズム及びベクトル解法アルゴリズムを用いて、第１マーカの輪郭を抽出するステップを含む。
具体的に、レーザレーダセンサは、建物、又は別の定まった平面的特徴の地表特徴を観察する必要がある。先ず、点群フィルタリングノイズ除去及び領域近位点アルゴリズム及びベクトル解法アルゴリズムを用いて、無関係な点群ノイズが除去され、基本的面又は表面を含む建物の輪郭が抽出され、次に、輪郭のサイズに基づき、輪郭の座標が取得される。
例えば、都市の道路では、建物は、点群特徴点抽出のためのソースとして選択されてよい。
先ず、既存の点群ノイズ除去及びセグメント化アルゴリズムに基づき、２つの隣接する壁面が取得され、２つの面の法線ベクトルn１ −及びn２ −、長さ（L）、幅（W）、高さ（H）、及び建物の角度（A）に含まれる面が取得される。
次に、抽出される特徴点は、長さ方向及び幅方向の２つの接触線の交点を用いて取得される。建物の長さが道路方向に沿っている場合、各建物は、特徴点１及び特徴点２として順に定義される２つの任意的特徴点を有する。
図６は、本願の一実施形態によるミリ波レーダセンサによりデータを収集する方法６００の概略フローチャートである。図６に示すように、方法６００は以下の内容を含む。
６１０。複数の第１マーカの座標を取得する。ここで、複数の第１マーカ同士の間隔は、直線方向に固定される。
６２０。複数の第１マーカの中の近隣の第１特徴点同士の固定間隔d１を決定する。
具体的に、ミリ波レーダセンサの外部パラメータは、街灯のみを有する道路区域で又は固定間隔を有する別の地表特徴を有する別の道路区域で、較正されてよい。この場合、他の障害物からの干渉が無い、又は少ない。さらに、抽出されるべきオブジェクト間のギャップは固定され知られている。指定された道路区域へと移動する前に、ミリ波レーダは、（抽出されるべき特徴点及び別の干渉障害物を含む）一連の障害物の２次元座標を収集する。特徴点同士のギャップが固定されるので、直線上で平均固定ギャップd１を有する障害物の座標（少なくとも３個の点）は、ミリ波により収集された座標からスクリーニングを通じて取得される。
図７は、本願の一実施形態によるカメラセンサによりデータを収集する方法７００の概略フローチャートである。図７に示すように、方法７００は以下の内容を含む。
７１０。第１マーカの画像を取得する。
７２０。第１マーカの画像に基づき、カメラセンサにより収集された第１特徴点情報を決定する。ここで、第１特徴点情報は、複数の第１特徴点のピクセル座標及び第３マーカの画像サイズを含み、複数の特徴点は第３マーカの画像の幾何学的中心を構成する。
任意で、第１マーカが交通信号であるとき、第１マーカの画像に基づき、カメラセンサにより収集された第１特徴点情報を決定するステップは、
それぞれ全部赤、黄色、緑の特徴領域を画像から赤、緑、及び青チャネルを通じて抽出するステップと、
赤緑青チャネル画像のエッジ点を抽出するステップと、
赤緑青チャネル画像のエッジ点に基づき、赤緑青チャネル画像の幾何学的中心点を決定するステップと、
赤緑青チャネル画像の幾何学的中心点のピクセル座標を取得するステップと、を含む。
図８は、本願の一実施形態によるオンボードセンサの外部パラメータを較正する装置８００の概略ブロック図である。図８に示すように、装置８００は、
第１オンボードセンサにより収集された第１特徴点情報を取得するよう構成される取得モジュール８１０と、
世界座標系における第１オンボードセンサの地理的位置を決定するよう構成される決定モジュール８２０と、を含む。
決定モジュール８２０は、さらに、世界座標系における第１オンボードセンサの地理的位置に基づき、地図データベース内の第１センサの収集範囲内の第２特徴点情報を決定するよう構成され、地図データベースは世界座標系に基づき確立される。
決定モジュール８２０は、さらに、第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するよう構成される。
決定モジュール８２０は、さらに、複数の第１特徴点及び複数の第２特徴点に基づき、第１オンボードセンサから世界座標系へのマッピングのパラメータを決定するよう構成される。
任意で、取得モジュール８１０及び決定モジュール８２０は、本願の実施形態におけるオンボードセンサの外部パラメータを構成する方法２００の動作を実行するよう構成される。簡潔さのために、詳細はここで再び記載されない。
図９は、本願の一実施形態によるレーザレーダセンサ９００の概略ブロック図である。図９に示すように、レーザレーダセンサは、
第１マーカの輪郭を取得するよう構成される取得モジュール９１０と、
輪郭に基づき第１マーカの第１特徴点情報を決定するよう構成される決定モジュール９２０であって、第１特徴点情報は複数の特徴点と該複数の特徴点に対応する第１マーカの輪郭サイズとを含み、複数の特徴点は第１マーカの複数のコーナー点である、決定モジュール９２０と、を含む。
任意で、取得モジュール９１０及び決定モジュール９２０は、本願の実施形態におけるオンボードセンサの外部パラメータを構成する方法５００の動作を実行するよう構成される。簡潔さのために、詳細はここで再び記載されない。
図１０は、本願の一実施形態によるミリ波レーダセンサ１０００の概略ブロック図である。図１０に示すように、ミリ波レーダセンサ１０００は、
複数の第１マーカの座標を取得するよう構成される取得モジュール１０１０であって、複数の第１マーカ同士の間隔は直線方向に固定される、取得モジュール１０１０と、
複数の第１マーカの中の近隣の第１特徴点同士の固定間隔d１を決定するよう構成される決定モジュール１０２０と、を含む。
図１１は、本願の一実施形態によるカメラセンサ１１００の概略ブロック図である。図１１に示すように、カメラ１１００は、
第１マーカの画像を取得するよう構成される取得モジュール１１１０と、
第１マーカの画像に基づき、カメラセンサにより収集された第１特徴点情報を決定するよう構成される決定モジュール１１２０であって、第１特徴点情報は、複数の第１特徴点のピクセル座標及び第３マーカの画像サイズを含み、複数の特徴点は第３マーカの画像の幾何学的中心を構成する、決定モジュール１１２０と、を含む。
任意で、取得モジュール１１１０及び決定モジュール１１２０は、本願の実施形態におけるオンボードセンサの外部パラメータを構成する方法７００の動作を実行するよう構成される。簡潔さのために、詳細はここで再び記載されない。
図１２は、本願の一実施形態による装置１２００の概略ブロック図である。装置１２００は、
コードを含むプログラムを記憶するよう構成されるメモリ１２１０と、
メモリ１２１０内のプログラムコードを実行するよう構成されるプロセッサ１２２０と、
別の装置と通信するよう構成される通信機１２３０と、を含む。
理解されるべきことに、装置１２００は、図１に示した例示的な車両１００の機能ブロック図の中の計算機器１０７であってよい。
任意で、コードが実行されると、プロセッサ１２２０は、方法２００、方法５００、方法６００、又は方法７００における動作を実施してよい。簡潔さのために、詳細はここで再び記載されない。
当業者は、本願明細書に開示の実施形態を参照して記載された例におけるユニット及びアルゴリズムのステップが、電子ハードウェア又はコンピュータソフトウェア及び電子ハードウェアの組み合わせにより実施可能であることを認識し得る。機能がハードウェア又はソフトウェアにより実行されるかは、技術的ソリューションの特定の適用及び設計制約条件に依存する。当業者は、各々の特定の適用について記載の機能を実施するために異なる方法を使用し得るが、実装が本願の範囲を超えると考えられるべきではない。
便宜上及び簡潔な説明のために、前述のシステム、装置、及びユニットの詳細な動作処理については、前述の方法の実施形態における対応する処理を参照することが、当業者により明らかに理解され得る。詳細は、ここで再び記載されない。
本願において提供される幾つかの実施形態では、開示のシステム、機器、及び方法は他の方法で実装されてよいことが理解されるべきである。例えば、記載した機器の実施形態は単なる例である。例えば、ユニットの分割は、単なる論理的機能の分割であり、実際の実装では他の分割であってよい。例えば、複数のユニット又はコンポーネントは、別のシステムに結合又は統合されてよい。或いは、幾つかの機能は無視されるか又は実行されなくてよい。さらに、表示した又は議論した相互結合又は直接結合又は通信接続は、幾つかのインタフェースを使用することにより実装されてよい。機器又はユニット間の間接結合又は通信接続は、電子的、機械的又は他の形式で実装されてよい。
別個の部分として記載されたユニットは、物理的に別個であってよく又はそうでなくてよい。並びに、ユニットとして表示された部分は、物理的なユニットであってよく又はそうでなくてよく、１カ所に置かれてよく又は複数のネットワークユニットに分散されてよい。一部又は全部のユニットは、実施形態のソリューションの目的を達成するために実際の要件に基づき選択されてよい。
さらに、本願の実施形態における機能ユニットは、１つの処理ユニットに統合されてよく、或いは各ユニットが物理的に単独で存在してよく、或いは２以上のユニットが１つのユニットに統合されてよい。
機能がソフトウェア機能ユニットの形式で実装され、独立した製品として販売され又は使用されるとき、機能は、コンピュータ可読記憶媒体に格納されてよい。このような理解に基づき、本願の基本的技術的ソリューション、又は従来技術に貢献する部分、又は一部の技術的ソリューションは、ソフトウェアプロダクトの形式で実施されてよい。コンピュータソフトウェアプロダクトは、記憶媒体に格納され、コンピュータ装置（パーソナルコンピュータ、サーバ、ネットワーク装置、等であってよい）に、本願の実施形態で記載された方法のステップの全部又は一部を実行するよう指示する複数の命令を含む。前述の種々の記憶媒体は、ＵＳＢフラッシュドライブ、取り外し可能ハードディスク、読み出し専用メモリ（Read−Only Memory、ROM）、ランダムアクセスメモリ（Random Access Memory、RAM）、磁気ディスク及び光ディスクのような、プログラムコードを格納可能な任意の媒体を含む。
上述の説明は、本願の単なる特定の実装であり、本願の保護範囲を制限することを意図しない。本願に開示された技術範囲内にある、当業者により直ちに考案される任意の変形又は置換は、本願の保護範囲に包含されるべきである。したがって、本願の保護範囲は、請求項の保護範囲に従うべきである。
１００ 車両
１０１ 電源
１０２ プロセッサ
１０３ 通信機
１０４ メモリ
１０５ 地図データ
１０６ 命令
１０７ 計算機器
１０８ ユーザインタフェース
１１０ 推進システム
１１１ 車輪／タイヤ
１１２ 送信機器
１１３ エネルギ源
１１４ エンジン／モータ
１２０ センサシステム
１２１ アクチュエータ
１２２ ミリ波レーダセンサ
１２３ カメラセンサ
１２４ レーザレーダセンサ
１２５ 慣性測定ユニット
１２６ 全測位システムモジュール
１３０ 制御システム
１３１ ナビゲーション／ルート制御システム１３１
１３２ コンピュータビジョンシステム
１３３ センサ融合アルゴリズム
１３４ ブレーキユニット
１３５ スロットル
１３６ 操舵ユニット
１４０ 周辺装置
１４１ スピーカ
１４２ マイクロフォン
１４３ タッチスクリーン
１４４ 無線通信システム１４４

Claims (10)

  1. オンボードセンサの外部パラメータを較正する方法であって、
    第１オンボードセンサにより収集された第１特徴点情報を取得するステップと、
    地図データベースの中の前記第１オンボードセンサの収集範囲内の第２特徴点情報を決定するステップと、
    前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップと、
    前記複数の第１特徴点及び前記複数の第２特徴点に基づき、前記第１オンボードセンサを較正するステップと、
    を含む方法。
  2. 前記第１オンボードセンサを較正する前記ステップは、
    前記第１オンボードセンサと前記第１オンボードセンサが位置する車体との間のマッピングのパラメータを決定するステップを含む、請求項１に記載の方法。
  3. 前記第１オンボードセンサを較正する前記ステップは、
    前記複数の第１特徴点及び第１座標系における前記複数の第２特徴点の座標に基づき、前記第１オンボードセンサを較正するステップを含む、請求項１又は２に記載の方法。
  4. 前記第１座標系は、世界座標系又は車体座標系である、請求項３に記載の方法。
  5. 前記第１特徴点及び前記第２特徴点は同じマーカに対応する、請求項１〜４のいずれか一項に記載の方法。
  6. 前記マーカは、既存のランドマーク建築物、交通信号、固定された標識のうちの１つ以上を含む、請求項５に記載の方法。
  7. 前記方法は、
    前記第１オンボードセンサから車体へのマッピングの決定されたパラメータに基づき、前記第１オンボードセンサが位置する前記車体から前記第１オンボードセンサへのマッピングのパラメータを決定するステップと、
    第２オンボードセンサから前記車体へのマッピングのパラメータ及び前記車体から前記第１オンボードセンサへのマッピングの前記パラメータに基づき、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングのパラメータを決定するステップと、
    を更に含む請求項１〜６のいずれか一項に記載の方法。
  8. 前記第１オンボードセンサから車体へのマッピングの決定されたパラメータに基づき、前記第１オンボードセンサが位置する前記車体から前記第１オンボードセンサへのマッピングのパラメータを決定する前記ステップは、
    前記第１オンボードセンサから前記車体へのマッピングの前記パラメータに反転を実行して、前記車体から前記第１オンボードセンサへのマッピングの前記パラメータを取得するステップを含み、
    第２オンボードセンサから前記車体へのマッピングのパラメータ及び前記車体から前記第１オンボードセンサへのマッピングの前記パラメータに基づき、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングのパラメータを決定する前記ステップは、
    前記第２オンボードセンサから前記車体へのマッピングの前記パラメータを、前記車体から前記第１オンボードセンサへのマッピングの前記パラメータにより乗算して、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングの前記パラメータを取得するステップを含む、請求項７に記載の方法。
  9. オンボードセンサの外部パラメータを較正する装置であって、
    第１オンボードセンサにより収集された第１特徴点情報を取得する手段と、
    地図データベースの中の前記第１オンボードセンサの収集範囲内の第２特徴点情報を決定する手段と、
    前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定する手段と、
    前記複数の第１特徴点及び前記複数の第２特徴点に基づき、前記第１オンボードセンサを較正する手段と、
    を含む装置。
  10. 請求項９に記載の装置と前記第１オンボードセンサとを含む車両。
JP2021131756A 2017-07-06 2021-08-12 オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両 Active JP7297017B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710547094.8A CN109215083B (zh) 2017-07-06 2017-07-06 车载传感器的外部参数标定的方法和设备
CN201710547094.8 2017-07-06
JP2019572428A JP6931096B2 (ja) 2017-07-06 2018-06-29 オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019572428A Division JP6931096B2 (ja) 2017-07-06 2018-06-29 オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両

Publications (2)

Publication Number Publication Date
JP2022000636A true JP2022000636A (ja) 2022-01-04
JP7297017B2 JP7297017B2 (ja) 2023-06-23

Family

ID=64950560

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019572428A Active JP6931096B2 (ja) 2017-07-06 2018-06-29 オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
JP2021131756A Active JP7297017B2 (ja) 2017-07-06 2021-08-12 オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019572428A Active JP6931096B2 (ja) 2017-07-06 2018-06-29 オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両

Country Status (5)

Country Link
US (1) US11670193B2 (ja)
EP (1) EP3633620A4 (ja)
JP (2) JP6931096B2 (ja)
CN (2) CN109215083B (ja)
WO (1) WO2019007263A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6776202B2 (ja) * 2017-07-28 2020-10-28 クラリオン株式会社 車載カメラのキャリブレーション装置及び方法
CN113838360B (zh) * 2019-01-16 2023-06-13 北京百度网讯科技有限公司 地图数据的采集方法、装置、设备和存储介质
CN111771140A (zh) * 2019-01-30 2020-10-13 深圳市大疆创新科技有限公司 一种探测装置外参数标定方法、数据处理装置和探测系统
US11644334B2 (en) * 2019-02-07 2023-05-09 Uber Technologies, Inc. Route optimization system based on height parameter
CN109871019B (zh) * 2019-02-28 2022-08-30 北京百度网讯科技有限公司 自动驾驶用于获取坐标的方法和装置
CN110058211B (zh) * 2019-03-21 2021-10-26 北京申信达成科技有限公司 一种车载LiDAR测量系统检校初值的获取方法及装置
CN111750881B (zh) * 2019-03-29 2022-05-13 北京魔门塔科技有限公司 一种基于路灯杆的车辆位姿的修正方法和装置
WO2020203657A1 (ja) * 2019-04-04 2020-10-08 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
CN111830470B (zh) * 2019-04-16 2023-06-27 杭州海康威视数字技术股份有限公司 联合标定方法及装置、目标对象检测方法、系统及装置
CN110007293B (zh) * 2019-04-24 2021-11-02 禾多科技（北京）有限公司 场端多线束激光雷达的在线标定方法
CN110109143B (zh) * 2019-04-30 2021-10-26 北京云迹科技有限公司 多线激光雷达与imu的位姿标定方法及装置
CN110135376A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 确定图像传感器的坐标系转换参数的方法、设备和介质
CN110148185B (zh) * 2019-05-22 2022-04-15 北京百度网讯科技有限公司 确定成像设备坐标系转换参数的方法、装置和电子设备
CN110378966B (zh) * 2019-06-11 2023-01-06 北京百度网讯科技有限公司 车路协同相机外参标定方法、装置、设备及存储介质
CN110264520B (zh) * 2019-06-14 2021-06-08 北京百度网讯科技有限公司 车载传感器与车辆位姿关系标定方法、装置、设备和介质
CN112132902B (zh) * 2019-06-24 2024-01-16 上海安亭地平线智能交通技术有限公司 车载摄像头外参调整方法、装置、电子设备以及介质
DE102019211459B4 (de) 2019-07-31 2021-02-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
CN110782497B (zh) * 2019-09-06 2022-04-29 腾讯科技（深圳）有限公司 相机外参的标定方法、装置
CN112558023B (zh) * 2019-09-25 2024-03-26 华为技术有限公司 传感器的标定方法和装置
CN112652018B (zh) * 2019-10-11 2024-04-16 北京地平线机器人技术研发有限公司 外参确定方法、外参确定装置及电子设备
CN111123245B (zh) * 2019-12-20 2021-09-17 中国电波传播研究所（中国电子科技集团公司第二十二研究所） 一种基于圆形扫描的机载激光雷达测距精度的检校方法
CN113124897B (zh) * 2019-12-31 2024-04-09 中信科智联科技有限公司 一种传感器性能检测方法、装置及终端
CN111340890B (zh) * 2020-02-20 2023-08-04 阿波罗智联(北京)科技有限公司 相机外参标定方法、装置、设备和可读存储介质
CN111953934B (zh) * 2020-07-03 2022-06-10 北京航空航天大学杭州创新研究院 目标标示方法及装置
CN114140533A (zh) * 2020-09-04 2022-03-04 华为技术有限公司 摄像头外参标定的方法与装置
CN112102418B (zh) * 2020-09-16 2022-02-11 上海商汤临港智能科技有限公司 一种标定方法、装置、电子设备及存储介质
CN112528728B (zh) * 2020-10-16 2024-03-29 深圳银星智能集团股份有限公司 一种用于视觉导航的图像处理方法、装置和移动机器人
JP7452374B2 (ja) * 2020-10-20 2024-03-19 株式会社Soken 物体検知装置および物体検知プログラム
CN112362054B (zh) * 2020-11-30 2022-12-16 上海商汤临港智能科技有限公司 一种标定方法、装置、电子设备及存储介质
CN112465920A (zh) * 2020-12-08 2021-03-09 广州小鹏自动驾驶科技有限公司 一种视觉传感器标定方法及装置
CN112800986B (zh) * 2021-02-02 2021-12-07 深圳佑驾创新科技有限公司 车载摄像头外参标定方法、装置、车载终端和存储介质
CN113465608B (zh) * 2021-07-22 2024-05-03 清华大学苏州汽车研究院（吴江） 一种路侧传感器标定方法及系统
CN113340334B (zh) * 2021-07-29 2021-11-30 新石器慧通（北京）科技有限公司 用于无人车的传感器标定方法、装置及电子设备
CN113671454B (zh) * 2021-08-16 2024-04-26 中汽创智科技有限公司 一种车载雷达的位置参数标定方法、装置及存储介质
CN113822944B (zh) * 2021-09-26 2023-10-31 中汽创智科技有限公司 一种外参标定方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004527852A (ja) * 2001-05-10 2004-09-09 イーベーエーオー アウトモビール センサー ゲーエムベーハー オプトエレクトロニクス装置の校正方法
JP2014032118A (ja) * 2012-08-03 2014-02-20 Clarion Co Ltd カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268295A (ja) * 1999-03-15 2000-09-29 Matsushita Electric Ind Co Ltd 車両位置情報通信端末装置および緊急通報システム
JP4604119B2 (ja) * 2006-03-10 2010-12-22 パイオニア株式会社 移動支援システム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
CN101641610A (zh) * 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
US8698875B2 (en) * 2009-02-20 2014-04-15 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame
DE102010062696A1 (de) * 2010-12-09 2012-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Kalibrieren und Justieren eines Fahrzeug-Umfeldsensors.
EP2530647A1 (en) * 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
JP2013024712A (ja) * 2011-07-20 2013-02-04 Aisin Seiki Co Ltd 複数カメラの校正方法及び校正システム
CN102968548B (zh) * 2012-09-29 2016-01-06 昆山市智汽电子科技有限公司 一种车载标定的方法、设备及其系统
CN102944224B (zh) * 2012-11-09 2014-08-27 大连理工大学 一种无人驾驶车的自动环境感知系统的工作方法
CN104142157B (zh) * 2013-05-06 2017-08-25 北京四维图新科技股份有限公司 一种标定方法、装置及设备
CN105164497A (zh) * 2013-06-28 2015-12-16 爱信艾达株式会社 位置信息共享系统、方法及程序
CN104276102B (zh) * 2013-07-10 2016-05-11 德尔福电子(苏州)有限公司 一种基于车辆位置检测的环视系统标定装置
CN103487034B (zh) * 2013-09-26 2015-07-15 北京航空航天大学 一种基于立式标靶的车载单目摄像头测距测高方法
CN103954275B (zh) * 2014-04-01 2017-02-08 西安交通大学 基于车道线检测和gis地图信息开发的视觉导航方法
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视系统摄像头参数标定方法
DE102014014295A1 (de) * 2014-09-25 2016-03-31 Audi Ag Verfahren zur Überwachung einer Kalibrierung mehrerer Umgebungssensoren eines Kraftfahrzeugs und Kraftfahrzeug
CN104809718B (zh) * 2015-03-17 2018-09-25 合肥晟泰克汽车电子股份有限公司 一种车载摄像头自动匹配标定方法
DE102015206605A1 (de) * 2015-04-14 2016-10-20 Continental Teves Ag & Co. Ohg Kalibrierung und Überwachung von Umfeldsensoren mit Hilfe hochgenauer Karten
WO2017012575A1 (zh) * 2015-07-23 2017-01-26 冯春魁 综合车辆的数据测算、监控、监视、处理的方法及系统
DE102015214338A1 (de) * 2015-07-29 2017-02-02 Volkswagen Aktiengesellschaft Bestimmung einer Anordnungsinformation für ein Fahrzeug
JP2017038777A (ja) * 2015-08-19 2017-02-23 アイホン株式会社 動作認識装置
WO2017080471A1 (zh) * 2015-11-10 2017-05-18 冯春魁 综合车辆的数据测算、监控、监视、处理的方法及系统
CN105588563B (zh) * 2016-01-15 2018-06-12 武汉光庭科技有限公司 一种智能驾驶中双目相机与惯性导航联合标定方法
CN105741275B (zh) 2016-01-26 2018-07-17 浙江捷尚视觉科技股份有限公司 一种基于固定相机自动标定的人车目标特征提取方法
AU2016395616B2 (en) * 2016-02-29 2019-07-25 Komatsu Ltd. Work machine management system and work machine
JP2017181195A (ja) * 2016-03-29 2017-10-05 パイオニア株式会社 測定装置、測定方法、及び、プログラム
CN105931261B (zh) * 2016-07-08 2018-11-27 北京格灵深瞳信息技术有限公司 一种双目立体相机外参数修正方法及装置
CN106485753B (zh) * 2016-09-09 2019-09-10 奇瑞汽车股份有限公司 用于无人驾驶汽车的摄像机标定的方法和装置
CN106651961B (zh) * 2016-12-09 2019-10-11 中山大学 一种基于彩色立体标定物的无人机标定方法及系统
CN106651963B (zh) * 2016-12-29 2019-04-26 清华大学苏州汽车研究院（吴江） 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法
CN106740872A (zh) * 2017-01-13 2017-05-31 驭势科技（北京）有限公司 智能汽车传感器自检系统和方法、辅助系统和智能汽车
CN107103627B (zh) * 2017-04-27 2020-12-11 深圳市天双科技有限公司 一种基于车道线的汽车全景摄像头外部参数标定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004527852A (ja) * 2001-05-10 2004-09-09 イーベーエーオー アウトモビール センサー ゲーエムベーハー オプトエレクトロニクス装置の校正方法
JP2014032118A (ja) * 2012-08-03 2014-02-20 Clarion Co Ltd カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法

Also Published As

Publication number Publication date
JP2020527500A (ja) 2020-09-10
CN109215083B (zh) 2021-08-31
JP6931096B2 (ja) 2021-09-01
EP3633620A4 (en) 2020-08-05
US11670193B2 (en) 2023-06-06
JP7297017B2 (ja) 2023-06-23
CN113822939A (zh) 2021-12-21
CN109215083A (zh) 2019-01-15
WO2019007263A1 (zh) 2019-01-10
US20200143710A1 (en) 2020-05-07
EP3633620A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
JP6931096B2 (ja) オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
US10739459B2 (en) LIDAR localization
JP7398506B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
US11953599B2 (en) Vehicle navigation based on aligned image and LIDAR information
JP6441993B2 (ja) レーザー点クラウドを用いる物体検出のための方法及びシステム
JP7090597B2 (ja) 位置特定基準データを生成及び使用する方法及びシステム
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP6821712B2 (ja) 自然光景中での統合センサの較正
WO2021227645A1 (zh) 目标检测方法和装置
US9201424B1 (en) Camera calibration using structure from motion techniques
KR102420476B1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN110945379A (zh) 从地图数据、激光和相机确定偏航误差
US11321950B2 (en) Apparatus and method for detecting lane information, and computer-readable recording medium storing computer program programmed to execute same method
US10955857B2 (en) Stationary camera localization
CN112805766B (zh) 用于更新详细地图的装置和方法
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
JP2018077162A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2022027593A (ja) 可移動機器の測位方法、装置及び可移動機器
US20210180958A1 (en) Graphic information positioning system for recognizing roadside features and method using the same
WO2023070113A1 (en) Validating an sfm map using lidar point clouds
CN112146627B (zh) 在无特征表面上使用投影图案的飞行器成像系统
CN115718304A (zh) 目标对象检测方法、装置、车辆及存储介质
CN112946587B (zh) 通信方法和装置
CN115393821A (zh) 一种目标检测方法和装置
JP2022028588A (ja) 位置取得装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230613

R150 Certificate of patent or registration of utility model

Ref document number: 7297017

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150