CN109215083A - 车载传感器的外部参数标定的方法和设备 - Google Patents
车载传感器的外部参数标定的方法和设备 Download PDFInfo
- Publication number
- CN109215083A CN109215083A CN201710547094.8A CN201710547094A CN109215083A CN 109215083 A CN109215083 A CN 109215083A CN 201710547094 A CN201710547094 A CN 201710547094A CN 109215083 A CN109215083 A CN 109215083A
- Authority
- CN
- China
- Prior art keywords
- feature point
- fisrt feature
- onboard sensor
- sensor
- car body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013507 mapping Methods 0.000 claims abstract description 100
- 239000003550 marker Substances 0.000 claims description 105
- 238000012795 verification Methods 0.000 claims 2
- 241000208340 Araliaceae Species 0.000 abstract description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 abstract description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 abstract description 4
- 235000008434 ginseng Nutrition 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/10—Map spot or coordinate position indicators; Map reading aids
- G09B29/102—Map spot or coordinate position indicators; Map reading aids using electrical means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Navigation (AREA)
- Radar Systems Or Details Thereof (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明实施例提供一种车载传感器外参标定的方法和设备,可以实现自动驾驶汽车的车载传感器的自动标定,不依赖固定的检校场或实验室对车载传感器进行标定。该方法包括:获取第一车载传感器采集的第一特征点信息;确定该第一车载传感器所在的车体在世界坐标系中的地理位置;根据车体在世界坐标系中的地理位置,确定地图数据库中该第一传感器采集范围内的第二特征点信息;根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点;根据该车体在世界坐标系中的地理位置,确定该多个第二特征点在该车体坐标系下的坐标;根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到车体的映射参数。
Description
技术领域
本发明实施例涉及汽车领域,并且更具体地,涉及一种车载传感器的外部参数标定的方法和设备。
背景技术
汽车自动驾驶的可靠性基于多种车载传感器融合感知的结果,而多种传感器融合感知的前提为空间一致性。传感器外部参数反映了传感器在空间的上的相对位置和姿态关系。目前自动驾驶汽车上传感器之间的外参标定,都是通过在某一固定区域的检校场内或者室内实验室,观测一些人工预先设定好的标志物来实现的。自动驾驶汽车在出厂使用一段时间后,因为长时间高频振动、碰撞剐蹭等外界因素的影响,导致传感器之间空间位置相对关系发生偏移,这时需返厂重新标定。随着自动驾驶汽车市场的逐步推广,逐渐增长的用户量不可避免地将带来越来越多的返厂重标定的需求。大量的返厂重标定会带来大量的运输成本、时间成本,也同时对用户体验造成极大的负面影响。
因此,在自动驾驶汽车使用过程中,能够同时基于传感器的感知数据,自动完成传感器的标定是一项亟待解决的问题。
发明内容
本发明实施例提供一种车载传感器外部参数标定的方法和设备,可以实现自动驾驶汽车的车载传感器的自动标定,不需依赖于固定的检校场所或实验室对车载传感器进行标定,可以提高用户体验。
第一方面,提供了一种车载传感器的外部参数标定的方法,包括:获取第一车载传感器采集的第一特征点信息;根据定位定姿系统POS传感器采集的位置信息,确定车体在世界坐标系中的地理位置;根据该车体在世界坐标系中的地理位置,确定地图数据库中的该第一传感器采集范围内的第二特征点信息,其中,该地图数据库基于世界坐标系建立;根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点;根据该车体在该世界坐标系中的地理位置和该多个第二特征点在该世界坐标系中的地理位置,确定该多个第二特征点在该车体坐标系下的坐标;根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数。
设备获取第一车载传感器采集的第一特征点信息;根据定位定姿系统POS传感器确定所述第一车载传感器所在的车体在世界坐标系中的地理位置;根据所述车体在世界坐标系中的地理位置,确定地图数据库中的所述第一传感器采集范围内的第二特征点信息,其中,所述地图数据库是基于世界坐标系建立的;根据所述第一特征点信息与所述第二特征点信息,确定多个第一特征点和多个第二特征点;根据所述车体在所述世界坐标系中的地理位置和所述多个第二特征点在所述世界坐标系中的地理位置,确定所述多个第二特征点在所述车体坐标系下的坐标;根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的映射参数。
因此,设备根据第一车载传感器采集的第一特征点信息和根据该车体在世界坐标系中的地理位置,确定地图数据库中的该第一传感器采集范围内的第二特征点信息,确定多个第一特征点和多个第二特征点;根据该多个第一特征点和该多个第二特征点在所述车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数,完成了该第一车载传感器的外部参数的标定。可以实现自动驾驶汽车的车载传感器的自动标定,不需依赖于固定的检校场所或实验室对车载传感器进行标定,可以提高用户体验。
可选地,在第一方面的一种实现方式中,该方法还包括:根据确定的该第一车载传感器到该车体的映射参数,确定该车体到该第一车载传感器的映射参数;
根据第二车载传感器到该车体的映射参数和该车体到该第一车载传感器的映射参数,确定该第二车载传感器到该第一车载传感器的映射参数。
可选地,在第一方面的一种实现方式中,根据确定的该第一车载传感器到该车体的映射参数,确定该车体到该第一车载传感器的映射参数,包括:
对该第一车载传感器到该车体的映射参数求逆,得到该车体到该第一车载传感器的映射参数;
根据第二车载传感器到该车体的映射参数和该车体到该第一车载传感器的映射参数,确定该第二车载传感器到该第一车载传感器的映射参数,包括:
将该第二车载传感器到该车体的映射参数与该车体到该第一车载传感器的映射参数相乘,得到该第二车载传感器到该第一车载传感器的映射参数。
此时,在得到第一车载传感器到车体的映射参数和第二车载传感器到车体的映射参数,就可以实现任何一个车载传感器到另一个车载传感器的坐标的映射关系,实现了车载传感器之间的互标定。
可选地,在第一方面的一种实现方式中,根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数,包括:确定该多个第一特征点通过精度校验;根据通过精度校验的该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数。
此时,通过对第一特征点进行精度校验避免了在获取第一特征点或者在匹配过程中可能出现的错误,而进行自动剔除粗差观测值,根据通过精度校验的第一特征点标定车载传感器到世界坐标系的映射参数,提高了车载传感器到世界坐标系的映射参数的可靠性与准确性。
可选地,在第一方面的一种实现方式中,其特征在于,该第一车载传感器包括以下车载传感器中的任意一种:
激光雷达车载传感器、相机车载传感器和毫米波雷达车载传感器。
可选地,在第一方面的一种实现方式中,当该第一车载传感器为该激光雷达车载传感器或该毫米波雷达车载传感器时,该确定该多个第一特征点通过精度校验,包括:
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的初始映射参数;
根据该第一特征点的坐标和该初始映射参数,确定该第一特征点在该车体坐标系下的坐标;
根据该第一特征点在该车体坐标系下的坐标和该POS传感器,确定该第一特征点在该地图数据库中坐标;
如果确定的该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第一阈值时,确定该第一特征点通过精度校验。
可选地,在第一方面的一种实现方式中,当该第一车载传感器为该相机车载传感器时,该确定该多个第一特征点通过精度校验,包括:
根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的初始映射参数;
根据匹配的所述多个第二特征点在所述车体坐标系下的坐标和所述初始确定映射关系,确定所述多个第二特征点对应的所述多个第一特征点的像素坐标;
如果确定的该多个第一特征点的像素坐标与获取的该多个第一特征点的像素坐标的差小于第二阈值时,确定该第一特征点通过精度校验。
可选地,在第一方面的一种实现方式中,该第一车载传感器为激光雷达车载传感器时,该获取第一车载传感器采集的第一特征点信息,包括:
获取多个第一特征点和该多个第一特征点对应的第一标志物的轮廓尺寸,
其中,该多个第一特征点为该第一标志物的多个角点坐标;
根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
当该第一特征点信息中的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸与该第二特征点信息的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸的差值小于第三阈值时,确定该第一特征点信息中的该多个特征点中的任一个特征点为该第一特征点和该第二特征点信息中的该多个特征点中的任一个特征点为该第二特征点。
可选地,在第一方面的一种实现方式中,该第一车载传感器为毫米波雷达车载传感器,该获取第一车载传感器采集的第一特征点信息,包括:
获取该第一特征点信息包括多个第一特征点和该多个第一特征点中相邻的该第一特征点的固定间隔d1;
根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d1与该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d的差值小于第四阈值时,确定该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d1为该第一特征点和该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d为该第二特征点。
可选地,在第一方面的一种实现方式中,该第一车载传感器为相机车载传感器,该获取第一车载传感器采集的第一特征点信息,包括:
获取第三标志物的多个第一特征点的像素坐标和该第三标志物的图像尺寸,其中,该多个第一特征点为该第三标志物的图像的几何中心;
根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
根据该第一车载传感器所处的地理位置与该地图数据库中的该第三标志物的坐标,确定该第一车载传感器与该第三标志物的距离;
根据该第一车载传感器与该第三标志物的距离,确定该第三标志物在该相机传感器获取的图像上的理论尺寸;
当所述图像上的所述第三标志物的理论尺寸与所述图像上的所述第三标志物的实际尺寸的差值小于第五阈值时,确定所述第三标志物的多个第一特征点的像素坐标为所述多个第一特征点和所述第三标志物在所述地图数据库中对应的坐标为所述多个第二特征点。
第二方面,提供了一种激光雷达传感器采集数据的方法,包括:获取第一标志物的轮廓;根据该轮廓,确定该第一标志物的第一特征点信息,该第一特征点信息包括多个特征点和该多个特征点对应的第一标志物的轮廓尺寸,其中,该多个特征点为该第一标志物的多个角点。
可选地,在第二方面的一种实现方式中,该获取第一标志物的轮廓,包括:
根据点云滤波去噪和区域临近点法向量求解算法,提取该第一标志物的轮廓。
第三方面,提供了一种毫米波雷达传感器采集数据的方法,包括:获取多个第一标志物的坐标,其中,该多个第一标志物在线性方向上的间隔固定;确定该多个第一标志物中相邻的该第一特征点的固定间隔d1。
第四方面,提供了一种相机传感器采集数据的方法,包括:获取第一标志物的图像;根据该第一标志物的图像,确定该相机传感器采集的第一特征点信息,该第一特征点信息包括该多个第一特征点的像素坐标和该第三标志物的图像尺寸,其中,该多个特征点为该第三标志物的图像的几何中心。
可选地,在第四方面的一种实现方式中,当该第一标志物为红绿灯时,该根据该第一标志物的图像,确定该相机传感器采集的第一特征点信息,包括:经过红绿蓝三通道分别提取图像上的所有红色、黄色和绿色的特征区域;提取该红绿蓝三通道图像的边缘点;根据该红绿蓝三通道图像的边缘点,确定该红绿蓝三通道图像的几何中心点;获取该红绿蓝三通道图像的几何中心点的像素坐标。
第五方面,提供了一种控制设备设备,包括获取模块和确定模块,可以执行第一方面或第一方面的任一可选的实现方式中的方法。
第六方面,提供了一种激光雷达传感器,包括获取模块和确定模块,可以执行第二方面或第二方面的任一可选的实现方式中的方法。
第七方面,提供了一种毫米波雷达传感器,包括获取模块和确定模块,可以执行第三方面或第三方面的任一可选的实现方式中的方法。
第八方面,提供了一种相机传感器,包括获取模块和确定模块,可以执行第四方面或第四方面的任一可选的实现方式中的方法。
第九方面,提供了一种车辆,包括控制设备、雷达激光传感器、毫米波雷达传感器和相机传感器。
第十方面,提供了一种电子设备,包括存储器和处理器,所述存储器上存储有可以用于指示执行上述第一或第一方面的任意可选的实现方式、第二或第二方面的任意可选的实现方式、第三或第三方面的任意可选的实现方式、第四或第四方面的任意可选的实现方式的程序代码,当所述代码被执行时,所述处理器可以实现方法中终端设备执行各个操作。
第十一方面,提供了一种计算机存储介质,所述计算机存储介质中存储有程序代码,所述程序代码可以用于指示执行上述第二方面或第二方面的任意可选的实现方式、第二或第二方面的任意可选的实现方式、第三或第三方面的任意可选的实现方式、第四或第四方面的任意可选的实现方式中的方法。
附图说明
图1是本发明实施例提供的一种示例车辆100的一种功能框图。
图2是根据本发明实施例的一种车载传感器的外部参数标定的方法200的示意性流程图。
图3是根据本发明实施例的当第一车载传感器为激光雷达车载传感器或毫米波雷达车载传感器时,确定多个第一特征点通过精度校验的示意性流程图。
图4是根据本发明实施例的第一车载传感器为相机车载传感器时,确定多个第一特征点通过精度校验的示意性流程图。
图5是根据本发明实施例的一种雷达激光传感器采集数据的方法500的示意性流程图
图6是根据本发明实施例的一种毫米波雷达传感器采集数据的方法600的示意性流程图。
图7是根据本发明实施例的一种相机传感器采集数据的方法700的示意性流程图。
图8是根据本发明实施例的一种车载传感器的外部参数标定的设备800的示意性框图。
图9是根据本发明实施例的雷达激光传感器900的示意性框图。
图10是根据本发明实施例的毫米波雷达传感器1000的示意性框图。
图11是根据本发明实施例的相机传感器1100的示意性框图。
图12是根据本发明实施例的电子设备1200的示意性框图。
具体实施方式
下面将结合附图,对本发明实施例中的技术方案进行描述。
图1是本发明实施例提供的一种示例车辆100的一种功能框图。耦合到车辆100或包括在车辆100中的组件可包括推进系统110、传感器系统120、控制系统130、外围设备140、电源101、计算装置107以及用户接口108。计算装置103可包括处理器102、收发器103和存储器104。计算装置103可以是车辆100的控制器或控制器的一部分。存储器104可包括处理器102可运行的指令106,并且还可存储地图数据105。车辆100的组件可被配置为以与彼此互连和/或与耦合到各系统的其它组件互连的方式工作。例如,电源101可向车辆100的所有组件提供电力。计算装置103可被配置为从推进系统110、传感器系统120、控制系统130和外围设备140接收数据并对它们进行控制。计算装置103可被配置为在用户接口108上生成图像的显示并从用户接口108接收输入。
在其它示例中,车辆100可包括更多、更少或不同的系统,并且每个系统可包括更多、更少或不同的组件。此外,示出的系统和组件可以按任意种的方式进行组合或划分。
推进系统102可用于车辆100提供动力运动。如图所示,推进系统102包括引擎/发动机114、能量源113、传动装置(transmission)112和车轮/轮胎111。
推进系统102可以额外地或可替换地包括除了所示出的那些以外的组件。
传感器系统104可包括用于感测关于车辆100所位于的环境的信息的若干个传感器。如图所示,传感器系统的传感器包括全球定位系统GPS126、惯性测量单元(InertialMeasurement Unit,IMU)125、激光雷达传感器124、相机传感器123、毫米波雷达传感器122以及用于为修改传感器的位置和/或朝向的致动器121。传感器系统120也可包括额外的传感器,包括例如监视车辆100的内部系统的传感器(例如,O2监视器、燃油量表、机油温度,等等)。传感器系统120也可以包括其它传感器。
GPS模块126可以为用于估计车辆100的地理位置的任何传感器。为此,GPS模块126可能包括收发器,基于卫星定位数据,估计车辆100相对于地球的位置。在示例中,计算装置103可用于结合地图数据105使用GPS模块126来估计车辆100可在其上行驶的道路上的车道边界的位置。GPS模块126也可采取其它形式。
IMU 125可以是用于基于惯性加速度及其任意组合来感测车辆100的位置和朝向变化。在一些示例中,传感器的组合可包括例如加速度计和陀螺仪。传感器的其它组合也是可能的。
激光雷达传感器(LiDAR)124可以被看作物体检测系统,该传感器使用光感测或检测车辆100所位于的环境中的物体。通常,LIDAR是可通过利用光照射目标来测量到目标的距离或目标的其它属性的光学遥感技术。作为示例,LIDAR单元124可包括被配置为发射激光脉冲的激光源和/或激光扫描仪,和用于为接收激光脉冲的反射的检测器。例如,LIDAR单元124可包括由转镜反射的激光测距仪,并且以一维或二维围绕数字化场景扫描激光,从而以指定角度间隔采集距离测量值。在示例中,LIDAR单元124可包括诸如光(例如,激光)源、扫描仪和光学系统、光检测器和接收器电子器件之类的组件,以及位置和导航系统。LIDAR单元124通过扫描一个物体上反射回来的激光确定物体的距离,可以形成精度高达厘米级的3D环境图。
相机传感器123可以用于获取车辆100所位于的环境的图像的任何相机(例如,静态相机、视频相机等)。为此,相机可被配置为检测可见光,或可被配置为检测来自光谱的其它部分(诸如红外光或紫外光)的光。其它类型的相机也是可能的。相机123可以是二维检测器,或可具有三维空间范围。在一些示例中,相机123例如可以是距离检测器,其被配置为生成指示从相机123到环境中的若干点的距离的二维图像。为此,相机123可使用一种或多种距离检测技术。例如,相机123可被配置为使用结构光技术,其中车辆100利用预定光图案,诸如栅格或棋盘格图案,对环境中的物体进行照射,并且使用相机134检测从物体的预定光图案的反射。基于反射的光图案中的畸变,车辆100可被配置为检测到物体上的点的距离。预定光图案可包括红外光或其它波长的光。
毫米波雷达传感器(Millimeter-Wave Radar)122通常指波长为1~10mm的物体检测传感器,频率大致范围是10GHz~200GHz。毫米波雷达测量值具备深度信息,可以提供目标的距离;其次,由于毫米波雷达有明显的多普勒效应,对速度非常敏感,可以直接获得目标的速度,通过检测其多普勒频移可将目标的速度提取出来。目前主流的两种车载毫米波雷达应用频段分别为24GHz和77GHz,前者波长约为1.25cm,主要用于短距离感知,如车身周围环境、盲点、泊车辅助、变道辅助等;后者波长约为4mm,用于中长距离测量,如自动跟车、自适应巡航(ACC)、紧急制动(AEB)等。
控制系统130可被配置为控制车辆100及其组件的操作。为此,控制系统130可包括转向单元136、油门135、制动单元134、传感器融合算法133、计算机视觉系统132、导航或路线控制(pathing)系统131。
控制系统106可以额外地或可替换地包括除了所示出的那些以外的组件。
外围设备140可被配置为允许车辆100与外部传感器、其它车辆和/或用户交互。为此,外围设备140可包括例如无线通信系统144、触摸屏143、麦克风142和/或扬声器141。
外围设备140可以额外地或可替换地包括除了所示出的那些以外的组件。
电源101可被配置为向车辆100的一些或全部组件提供电力。为此,电源110可包括例如可再充电锂离子或铅酸电池。在一些示例中,一个或多个电池组可被配置为提供电力。其它电源材料和配置也是可能的。在一些示例中,电源110和能量源113可一起实现,如一些全电动车中那样。
包括在计算装置103中的处理器102可包括一个或多个通用处理器和/或一个或多个专用处理器(例如,图像处理器、数字信号处理器等)。就处理器102包括多于一个处理器而言,这种处理器可单独工作或组合工作。计算装置103可实现基于通过用户接口107接收的输入控制车辆100的功能。
收发器103用于该计算装置103与各个系统间的通信。
存储器104进而可包括一个或多个易失性存储组件和/或一个或多个非易失性存储组件,诸如光、磁和/或有机存储装置,并且存储器104可全部或部分与处理器102集成。存储器104可包含可由处理器102运行的指令106(例如,程序逻辑),以运行各种车辆功能,包括本文中描述的功能或方法中的任何一个。
车辆100的组件可被配置为以与在其各自的系统内部和/或外部的其它组件互连的方式工作。为此,车辆100的组件和系统可通过系统总线、网络和/或其它连接机制通信地链接在一起。
为了更好地理解本发明实施例,以下将结合图2-图12,以与图1所示的系统相同或相似的系统为例对本发明实施例进行说明。
图2是根据本发明实施例的一种车载传感器的外部参数标定的方法200的示意性流程图。如图2所示,该方法200包括以下内容。
在210中,设备获取第一车载传感器采集的第一特征点信息。
可选地,该第一车载传感器包括以下车载传感器中的任意一种:激光雷达车载传感器、相机车载传感器和毫米波雷达车载传感器。
可选地,该第一车载传感器为激光雷达车载传感器时,该获取第一车载传感器采集的第一特征点信息,包括:
获取多个第一特征点和该多个第一特征点对应的第一标志物的轮廓尺寸,其中,该多个第一特征点为该第一标志物的多个角点坐标。
可选地,该第一车载传感器为毫米波雷达车载传感器,该获取第一车载传感器采集的第一特征点信息,包括:
获取该第一特征点信息包括多个第一特征点和该多个第一特征点中相邻的该第一特征点的固定间隔d1。
可选地,该第一车载传感器为相机车载传感器,该获取第一车载传感器采集的第一特征点信息,包括:获取第三标志物的多个第一特征点的像素坐标和该第三标志物的图像尺寸,其中,该多个第一特征点为该第三标志物的图像的几何中心。
可选地,该第一标志物、该第二标志物和该第三标志物为城市道路中常见的城建地物,例如城市建设中已有的地标建筑物、交通信号灯、长期固定的广告牌等。
此时,通过获取该传感器采集的已有的该城建地物的第一特征点,无需额外人工制作成本,节约了传感器外参标定的成本。
在220中,根据POS传感器确定该车体在世界坐标系中的地理位置。
可选地,根据POS传感器(即惯组,由GPS和惯导设备构成)确定该车体在世界坐标系中的地理位置。
应理解,该第一车载传感器位于该车体上。
在230中,根据该第一车载传感器在世界坐标系中的地理位置,确定地图数据库中的该第一传感器采集范围内的第二特征点信息,其中,该地图(Geographical InformationSystem,GIS)数据库是基于世界坐标系建立的。
具体而言,根据该第一车载传感器在世界坐标系中的地理位置,在地图GIS数据库中,查找该第一传感器在当前地图数据库中的位置采集范围内的可用的特征点列表。
在240中,根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点。
可选地,该第一车载传感器为激光雷达车载传感器时,根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
当该第一特征点信息中的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸与该第二特征点信息的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸的差值小于第三阈值时,确定该第一特征点信息中的该多个特征点中的任一个特征点为该第一特征点和该第二特征点信息中的该多个特征点中的任一个特征点为该第二特征点。
具体而言,该设备获取的第一特征点信息如该第一标志物的长、宽、高等,与地图数据库中筛选的第二特征点信息对应该第一标志物的长、宽、高进行匹配。例如表1是该设备根据当前激光雷达车载传感器在世界坐标系中的地理位置,在地图数据库中输出的一系列建筑物的信息列表。
表1建筑物信息数据库
列名 | 数据类型 | 说明 |
Architecture ID | Int | 建筑物标识 |
L | Double | 建筑物沿道路方向的长 |
W | Double | 建筑物的宽 |
H | Double | 建筑物的高 |
A1 | Double | 特征点1处的两面夹角 |
A2 | Double | 特征点2处的两面夹角 |
FeaturePoint1 | Struct{ID,X,Y,Z} | 特征点1的坐标 |
FeaturePoint2 | Struct{ID,X,Y,Z} | 特征点2的坐标 |
将获取的激光雷达传感器采集的第一特征点的信息与表1中的特征点进行匹配,当该第一特征点信息中的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸与该第二特征点信息的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸的差值小于第三阈值时,确定该第一特征点信息中的该多个特征点中的任一个特征点为该第一特征点和该第二特征点信息中的该多个特征点中的任一个特征点为该第二特征点。
可选地,该第一车载传感器为毫米波雷达车载传感器时,根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d1与该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d的差值小于第四阈值时,确定该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d1为该第一特征点和该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d为该第二特征点。
可选地,该第一车载传感器为相机传感器时,根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
根据该第一车载传感器所处的地理位置与该地图数据库中的该第三标志物的坐标,确定该第一车载传感器与该第三标志物的距离;
根据该第一车载传感器与该第三标志物的距离,确定该第三标志物在该相机传感器获取的图像上的理论尺寸;
当所述图像上的所述第三标志物的理论尺寸与所述图像上的所述第三标志物的实际尺寸的差值小于第五阈值时,确定所述第三标志物的多个第一特征点的像素坐标为所述多个第一特征点和所述第三标志物在所述地图数据库中对应的坐标为所述多个第二特征点。
可选地,当该第三标志物为红绿灯时,根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
将原始图像经过红绿蓝3个通道分别提取红色、黄色、绿色特征;
在该3个通道下分别提取圆形封闭区域;
根据红绿灯的长宽比和最大最小条件对提取的该圆形区域进行筛选;
确定该3个通道中的有唯一圆的通道对应的像素坐标为该第一特征点和该有唯一圆的通道对应的该第三标志物在地图数据库中的坐标为该第二特征点。
此时,通过将获取到的多个第一特征点和地图数据库中的多个第二特征点进行智能匹配,避免了在自动驾驶汽车的使用过程中人工去选择匹配特征点,降低人工干预带来的误差。
在250中,根据该车体在该世界坐标系中的地理位置和该多个第二特征点在该世界坐标系中的地理位置,确定该多个第二特征点在该车体坐标系下的坐标。
在260中,根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数。
传感器外参是传感器与车体之间的相对位置的关系。定义Pw为车体坐标系,Pc为传感器自身坐标系,世界坐标系Pw与传感器自身坐标系Pc之间的关系为式(1)所示:
Pc=RPw+T (1)
式中,R为旋转矩阵,T为平移向量,R和T为传感器外参。平移向量T为沿三个坐标轴的偏差量,可看成是两个坐标系之间的刚性平移量;旋转矩阵R为3*3的正交阵,如果旋转角参数分别为:和则由三个绕坐标轴连乘的旋转阵得到:
其中:
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数,即根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定平移向量T和旋转矩阵R。
应理解,根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数,即为该第一车载传感器外参的标定。
可选地,根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数,包括:确定该多个第一特征点通过精度校验;根据通过精度校验的该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数。
可选地,当该第一车载传感器为该激光雷达车载传感器或该毫米波雷达车载传感器时,该确定该多个第一特征点通过精度校验,包括:
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的初始映射参数fLiDAR 0;
根据该第一特征点的坐标和该初始映射参数,确定该第一特征点在该车体坐标系下的坐标;
根据该第一特征点在该车体坐标系下的坐标和该POS传感器,确定该第一特征点在该地图数据库中坐标;
如果确定的该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第一阈值时,确定该第一特征点通过精度校验。
可选地,该第一阈值为3倍的平均经验中误差σ0,当该确定的该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第一阈值时,确定该第一特征点通过精度校验;当该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差大于第一阈值时,该第一特征点为误匹配点或粗差点,予以剔除。
应理解,该平均经验中误差σ0基于传感器的精度以及大量的样本测试。该第一阈值为3倍的平均经验中误差σ0是实验值,在不同的场景下,该第一阈值可以重新确定,本发明实施例并不做限定。
具体而言,图3是当该第一车载传感器为该激光雷达车载传感器或该毫米波雷达车载传感器时,该确定该多个第一特征点通过精度校验的示意性流程图。
在301中,第一特征点精度校验流程开始。
在302中,将获取的激光雷达传感器的第i个第一特征点坐标代入初始映射参数fLiDAR 0。
在303中,计算该第i个第一特征点在地图数据库中对应的第二特征点坐标。
在304中,将计算的该i个第一特征点在地图数据库中对应的的第二特征点坐标与地图数据库中存储的该第二特征点坐标相减得到残差σi。
在305中,确定该残差σi是否大于3倍的σ0。
在306中,剔除残差σi大于3倍的σ0的第i个第一特征点。
在307中,判断是否多个第一特征点都完成精度校验。
在308中,如果该多个第一特征点都完成精度校验则退出精度校验流程,否则该流程继续。
可选地,当该第一车载传感器为该相机车载传感器时,确定该多个第一特征点通过精度校验,包括:
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标,确定该第一车载传感器到该车体的初始映射参数;
根据匹配的该多个第二特征点在该车体坐标系下的坐标和该初始确定映射关系,确定该多个第二特征点对应的该多个第一特征点的像素坐标;
如果确定的该多个第一特征点的像素坐标与获取的该多个第一特征点的像素坐标的差小于第二阈值时,确定该第一特征点通过精度校验。
可选地,该第二阈值为3倍的平均经验中误差σ0,当该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第二阈值时,确定该第一特征点通过精度校验;当该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差大于第二阈值时,该第一特征点为误匹配点或粗差点,予以剔除。
应理解,该平均经验中误差σ0基于传感器的精度以及大量的样本测试。该第二阈值为3倍的平均经验中误差σ0是实验值,在不同的场景下,该第二阈值可以重新确定,本发明实施例并不做限定。
具体而言,图4是当该第一车载传感器为相机车载传感器时,该确定该多个第一特征点通过精度校验的示意性流程图。
在401中,第一特征点精度校验流程开始。
在402中,将匹配的地图数据库中的第i个第二特征点坐标代入fcam 0。
在403中,计算该第i个第二特征点在像素坐标系中对应的第一特征点坐标。
在404中,将计算的该i个第二特征点在像素坐标系中对应的第一特征点坐标与实际检测到的该第一特征点坐标相减得到残差σi。
在405中,确定该残差σi是否大于3倍的σ0。
在406中,剔除残差σi大于3倍的σ0的第i个第一特征点。
在407中,判断是否多个第一特征点都完成精度校验。
在408中,如果该多个第一特征点都完成精度校验则退出精度校验流程,否则该流程继续。
此时,通过对第一特征点进行精度校验避免了在获取第一特征点或者在匹配过程中可能出现的错误,而进行自动剔除粗差观测值,根据通过精度校验的第一特征点标定车载传感器到车体的映射参数,提高了车载传感器到车体的映射参数的可靠性与准确性。
可选地,根据确定的该第一车载传感器到该车体的映射参数,确定该车体到该第一车载传感器的映射参数;
根据第二车载传感器到该车体的映射参数和该车体到该第一车载传感器的映射参数,确定该第二车载传感器到该第一车载传感器的映射参数,该第二车载传感器到该车体的映射参数是根据该地图数据库确定的。
可选地,对该第一车载传感器到该车体的映射参数求逆,得到该车体到该第一车载传感器的映射参数。
具体而言,定义fLiDAR表示激光雷达传感器到车体的映射参数。对fLiDAR求逆运算得到fLiDAR -1,fLiDAR -1表示车体到激光雷达传感器的映射参数。
可选地,将该第二车载传感器到该车体的映射参数与该车体到该第一车载传感器的映射参数相乘,得到该第二车载传感器到该第一车载传感器的映射参数。
具体而言,定义fcam表示相机传感器到车体的映射参数。对fcam求逆运算得到fcam -1,fcam -1表示车体到相机传感器的映射参数。那么,激光雷达传感器与相机传感器之间的映射参数为fLiDAR·fcam -1。
此时,在得到激光雷达传感器到车体的映射参数fLiDAR、相机传感器到车体的映射参数fcam和毫米波雷达传感器到车体的映射参数fRadar,就可以实现任何一个车载传感器到另一个车载传感器的坐标的映射关系,实现了车载传感器之间的互标定。
因此,在本请中设备根据第一车载传感器采集的第一特征点信息和根据该车体在世界坐标系中的地理位置,确定地图数据库中的该第一传感器采集范围内的第二特征点信息,确定多个第一特征点和多个第二特征点;根据该多个第一特征点和该多个第二特征点在所述车体坐标系下的坐标,确定该第一车载传感器到该车体的映射参数。可以实现自动驾驶汽车的车载传感器的自动标定,不需依赖于固定的检校场所或实验室对车载传感器进行标定,可以提高用户体验。
应理解,本发明实施例中一种车载传感器外参的标定方法可以应用到无人驾驶轮船或无人机等其他传感器载体平台。
还应理解,在本发明实施例中的车载传感器外参的标定方法还可以应用于其他类型的传感器,本发明实施例并不对此进行限定。
图5是根据本发明实施例的一种雷达激光传感器采集数据的方法500的示意性流程图。如图5所示,该方法500包括以下内容。
在510中,雷达激光传感器获取第一标志物的轮廓;
在520中,根据该轮廓,确定该第一标志物的第一特征点信息,该第一特征点信息包括多个特征点和该多个特征点对应的第一标志物的轮廓尺寸,
其中,该多个特征点为该第一标志物的多个角点。
可选地,该获取第一标志物的轮廓,包括:
根据点云滤波去噪和区域临近点法向量求解算法,提取该第一标志物的轮廓。
具体而言,激光雷达传感器需要观测到建筑物或其他规则面状特性的地物,首先通过点云滤波去噪和区域临近点法向量求解算法,将不相关的点云噪声剔除并提取出由基本平面或曲面构成的建筑物轮廓,再根据轮廓的尺寸获取角点坐标。
例如,在城市道路旁,可以选取建筑物作为点云特征点提取的来源。
首先,基于已有的点云去噪和分割算法,得到相邻的两个墙体平面,同时获得两个平面的法向量和以及建筑物的长(L)、宽(W)、高(H)以及平面夹角(A);
然后,由长方向和宽方向的两个触地线交点得到提取的特征点。定义建筑物的长为沿道路方向,则每个建筑可以有两个特征点可选,依次定义为特征点1和特征点2。
图6是根据本发明实施例的一种毫米波雷达传感器采集数据的方法600的示意性流程图。如图6所示,该方法600包括以下内容。
在610中,获取多个第一标志物的坐标,其中,该多个第一标志物在线性方向上的间隔固定;
在620中,确定该多个第一标志物中相邻的该第一特征点的固定间隔d1。
具体而言,毫米波雷达传感器的外参标定可以选择一段路旁只有路灯或其他固定间隔地物的路段,没有或少有其他障碍物干扰,而且待提取的物体的间隔固定已知。在驶入指定路段前,毫米波雷达会采集到一系列障碍物的二维坐标(其中包含待提取的特征点以及其他干扰障碍物),由于特征点的间隔固定,在毫米波采集的坐标中,筛选出平均固定间隔为d1,且在一条直线上的障碍物坐标(至少3个点)。
图7是根据本发明实施例的一种相机传感器采集数据的方法700的示意性流程图。如图7所示,该方法700包括以下内容。
在710中,获取第一标志物的图像;
在720中,根据该第一标志物的图像,确定该相机传感器采集的第一特征点信息,该第一特征点信息包括该多个第一特征点的像素坐标和该第三标志物的图像尺寸,其中,该多个特征点为该第三标志物的图像的几何中心。
可选地,当该第一标志物为红绿灯时,该根据该第一标志物的图像,确定该相机传感器采集的第一特征点信息,包括:
经过红绿蓝三通道分别提取图像上的所有红色、黄色和绿色的特征区域;
提取该红绿蓝三通道图像的边缘点;
根据该红绿蓝三通道图像的边缘点,确定该红绿蓝三通道图像的几何中心点;
获取该红绿蓝三通道图像的几何中心点的像素坐标。
图8是根据本发明实施例的一种车载传感器的外部参数标定的设备800的示意性框图。如图8所示,该设备800包括:
获取模块810,用于获取第一车载传感器采集的第一特征点信息;
确定模块820,用于确定该第一车载传感器在世界坐标系中的地理位置;
该确定模块820还用于根据该第一车载传感器在世界坐标系中的地理位置,确定地图数据库中的该第一传感器采集范围内的第二特征点信息,其中,该地图数据库是基于世界坐标系建立的;
该确定模块820还用于根据该第一特征点信息与该第二特征点信息,确定多个第一特征点和多个第二特征点;
该确定模块820还用于根据该多个第一特征点和该多个第二特征点,确定该第一车载传感器到该世界坐标系的映射参数。
可选地,该获取模块810和该确定模块820用于执行本发明实施例的一种车载传感器的外部参数标定的方法200的各个操作,为了简洁,在此不再赘述。
图9是根据本发明实施例的雷达激光传感器900的示意性框图。如图9所示,该雷达激光传感器900包括:
获取模块910,用于获取第一标志物的轮廓;
确定模块920,用于根据该轮廓,确定该第一标志物的第一特征点信息,该第一特征点信息包括多个特征点和该多个特征点对应的第一标志物的轮廓尺寸,
其中,该多个特征点为该第一标志物的多个角点。
可选地,该获取模块910和该确定模块920用于执行本发明实施例的一种车载传感器的外部参数标定的方法500的各个操作,为了简洁,在此不再赘述。
图10是根据本发明实施例的毫米波雷达传感器1000的示意性框图。如图10所示,该毫米波雷达传感器1000包括:
获取模块1010,用于获取多个第一标志物的坐标,其中,该多个第一标志物在线性方向上的间隔固定;
确定模块1020,用于确定该多个第一标志物中相邻的该第一特征点的固定间隔d1。
图11是根据本发明实施例的相机传感器1100的示意性框图。如图11所示,该雷达激光传感器1100包括:
获取模块1110,用于获取第一标志物的图像;
确定模块1120,用于根据该第一标志物的图像,确定该相机传感器采集的第一特征点信息,该第一特征点信息包括该多个第一特征点的像素坐标和该第三标志物的图像尺寸,其中,该多个特征点为该第三标志物的图像的几何中心。
可选地,该获取模块1110和该确定模块1120用于执行本发明实施例的一种车载传感器的外部参数标定的方法700的各个操作,为了简洁,在此不再赘述。
图12示出了本发明实施例提供的设备1200的示意性框图,所述设备1200包括:
存储器1210,用于存储程序,所述程序包括代码;
处理器1220,用于执行存储器1210中的程序代码;
收发器1230,用于和其他设备进行通信。
应理解,所述设备1200可以是图1所示的一种示例车辆100的一种功能框图中的计算装置103。
可选地,当所述代码被执行时,所述处理器1220可以实现方法200或方法500或方法600或方法700的各个操作,为了简洁,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (19)
1.一种车载传感器的外部参数标定的方法,其特征在于,包括:
获取第一车载传感器采集的第一特征点信息;
根据定位定姿系统传感器采集的位置信息,确定车体在世界坐标系中的地理位置;
根据所述车体在世界坐标系中的地理位置,确定地图数据库中的所述第一传感器采集范围内的第二特征点信息,其中,所述地图数据库基于世界坐标系建立;
根据所述第一特征点信息与所述第二特征点信息,确定多个第一特征点和多个第二特征点;
根据所述车体在所述世界坐标系中的地理位置和所述多个第二特征点在所述世界坐标系中的地理位置,确定所述多个第二特征点在所述车体坐标系下的坐标;
根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的映射参数。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据确定的所述第一车载传感器到所述车体的映射参数,确定所述车体到所述第一车载传感器的映射参数;
根据第二车载传感器到所述车体的映射参数和所述车体到所述第一车载传感器的映射参数,确定所述第二车载传感器到所述第一车载传感器的映射参数。
3.根据权利要求2所述的方法,其特征在于,所述根据确定的所述第一车载传感器到所述车体的映射参数,确定所述车体到所述第一车载传感器的映射参数,包括:
对所述第一车载传感器到所述车体的映射参数求逆,得到所述车体到所述第一车载传感器的映射参数;
根据第二车载传感器到所述车体的映射参数和所述车体到所述第一车载传感器的映射参数,确定所述第二车载传感器到所述第一车载传感器的映射参数,包括:
将所述第二车载传感器到所述车体的映射参数与所述车体到所述第一车载传感器的映射参数相乘,得到所述第二车载传感器到所述第一车载传感器的映射参数。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的映射参数,包括:
确定所述多个第一特征点通过精度校验;
根据通过精度校验的所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的映射参数。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述第一车载传感器包括所述激光雷达车载传感器或所述毫米波雷达车载传感器;
所述确定所述多个第一特征点通过精度校验,包括:
根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的初始映射参数;
根据所述第一特征点的坐标和所述初始映射参数,确定所述第一特征点在所述车体坐标系下的坐标;
根据所述第一特征点在所述车体坐标系下的坐标和所述定位定姿系统传感器,确定所述第一特征点在所述地图数据库中坐标;
如果确定的所述第一特征点在所述地图数据库中的坐标与所述第一特征点匹配的第二特征点在所述地图数据库中的坐标的差小于第一阈值时,确定所述第一特征点通过精度校验。
6.根据权利要求1至4中任一项所述的方法,其特征在于,所述第一车载传感器包括所述相机车载传感器;
所述确定所述多个第一特征点通过精度校验,包括:
根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的初始映射参数;
根据匹配的所述多个第二特征点在所述车体坐标系下的坐标和所述初始确定映射关系,确定所述多个第二特征点对应的所述多个第一特征点的像素坐标;
如果确定的所述多个第一特征点的像素坐标与获取的所述多个第一特征点的像素坐标的差小于第二阈值时,确定所述第一特征点通过精度校验。
7.根据权利要求5所述的方法,其特征在于,所述第一车载传感器为激光雷达车载传感器;
所述获取第一车载传感器采集的第一特征点信息,包括:
获取多个第一特征点和所述多个第一特征点对应的第一标志物的轮廓尺寸,
其中,所述多个第一特征点为所述第一标志物的多个角点坐标;
根据所述第一特征点信息与所述第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
当所述第一特征点信息中的所述多个特征点中的任一个特征点对应的所述第一标志物的轮廓尺寸与所述第二特征点信息的所述多个特征点中的任一个特征点对应的所述第一标志物的轮廓尺寸的差值小于第三阈值时,确定所述第一特征点信息中的所述多个特征点中的任一个特征点为所述第一特征点和所述第二特征点信息中的所述多个特征点中的任一个特征点为所述第二特征点。
8.根据权利要求5所述的方法,其特征在于,所述第一车载传感器包括毫米波雷达车载传感器;
所述获取第一车载传感器采集的第一特征点信息,包括:
获取所述第一特征点信息包括多个第一特征点和所述多个第一特征点中相邻的所述第一特征点的固定间隔d1;
根据所述第一特征点信息与所述第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
所述第一特征点信息中的多个特征点中相邻的所述特征点的固定间隔d1与所述地图数据库中的所述多个特征点中相邻的所述特征点的固定间隔d的差值小于第四阈值时,确定所述第一特征点信息中的多个特征点中相邻的所述特征点的固定间隔d1为所述第一特征点和所述地图数据库中的所述多个特征点中相邻的所述特征点的固定间隔d为所述第二特征点。
9.根据权利要求7所述的方法,其特征在于,所述第一车载传感器包括相机车载传感器;
所述获取第一车载传感器采集的第一特征点信息,包括:
获取第三标志物的多个第一特征点的像素坐标和所述第三标志物的图像尺寸,其中,所述多个第一特征点为所述第三标志物的图像的几何中心;
根据所述第一特征点信息与所述第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
根据所述第一车载传感器所处的地理位置与所述地图数据库中的所述第三标志物的坐标,确定所述第一车载传感器与所述第三标志物的距离;
根据所述第一车载传感器与所述第三标志物的距离,确定所述第三标志物在所述相机传感器获取的图像上的理论尺寸;
当所述图像上的所述第三标志物的理论尺寸与所述图像上的所述第三标志物的实际尺寸的差值小于第五阈值时,确定所述第三标志物的多个第一特征点的像素坐标为所述多个第一特征点和所述第三标志物在所述地图数据库中对应的坐标为所述多个第二特征点。
10.一种车载传感器的外部参数标定的设备,其特征在于,包括:
获取模块,用于获取第一车载传感器采集的第一特征点信息;
确定模块,用于根据定位定姿系统传感器采集的位置信息,确定车体在世界坐标系中的地理位置;
所述确定模块还用于根据所述车体在世界坐标系中的地理位置,确定地图数据库中的所述第一传感器采集范围内的第二特征点信息,其中,所述地图数据库是基于世界坐标系建立的;
所述确定模块还用于根据所述第一特征点信息与所述第二特征点信息,确定多个第一特征点和多个第二特征点;
所述确定模块还用于根据所述车体在世界坐标系中的地理位置和所述多个第二特征点在所述世界坐标系中的地理位置,确定所述多个第二特征点在所述车体坐标系下的坐标;
所述确定模块还用于根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的映射参数。
11.根据权利要求10所述的设备,其特征在于,所述确定模块还用于:
根据确定的所述第一车载传感器到所述车体的映射参数,确定所述车体到所述第一车载传感器的映射参数;
根据第二车载传感器到所述车体的映射参数和所述车体到所述第一车载传感器的映射参数,确定所述第二车载传感器到所述第一车载传感器的映射参数。
12.根据权利要求11所述的设备,其特征在于,所述确定模块具体用于:
对所述第一车载传感器到所述车体的映射参数求逆,得到所述车体到所述第一车载传感器的映射参数;
根据第二车载传感器到所述车体的映射参数和所述车体到所述第一车载传感器的映射参数,确定所述第二车载传感器到所述第一车载传感器的映射参数,包括:
将所述第二车载传感器到所述车体的映射参数与所述车体到所述第一车载传感器的映射参数相乘,得到所述第二车载传感器到所述第一车载传感器的映射参数。
13.根据权利要求10至12中任一项所述的设备,其特征在于,所述确定模块具体用于:
确定所述多个第一特征点通过精度校验;
根据通过精度校验的所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的映射参数。
14.根据权利要求10至13中任一项所述的设备,其特征在于,当所述第一车载传感器包括所述激光雷达车载传感器或所述毫米波雷达车载传感器时,所述确定模块具体用于:
根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的初始映射参数;
根据所述第一特征点的坐标和所述初始映射参数,确定所述第一特征点在所述车体坐标系下的坐标;
根据所述第一特征点在所述车体坐标系下的坐标和所述定位定姿系统传感器,确定所述第一特征点在所述地图数据库中坐标;
如果确定的所述第一特征点在所述地图数据库中的坐标与所述第一特征点匹配的第二特征点在所述地图数据库中的坐标的差小于第一阈值时,确定所述第一特征点通过精度校验。
15.根据权利要求10至13中任一项所述的设备,其特征在于,当所述第一车载传感器包括所述相机车载传感器时,所述确定模块具体用于:
根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标,确定所述第一车载传感器到所述车体的初始映射参数;
根据匹配的所述多个第二特征点在所述车体坐标系下的坐标和所述初始确定映射关系,确定所述多个第二特征点对应的所述多个第一特征点的像素坐标;
如果确定的所述多个第一特征点的像素坐标与获取的所述多个第一特征点的像素坐标的差小于第二阈值时,确定所述第一特征点通过精度校验。
16.根据权利要求14所述的设备,其特征在于,所述第一车载传感器包括激光雷达车载传感器时,获取模块具体用于:
获取多个第一特征点和所述多个第一特征点对应的第一标志物的轮廓尺寸,
其中,所述多个第一特征点为所述第一标志物的多个角点坐标;
根据所述第一特征点信息与所述第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
当所述第一特征点信息中的所述多个特征点中的任一个特征点对应的所述第一标志物的轮廓尺寸与所述第二特征点信息的所述多个特征点中的任一个特征点对应的所述第一标志物的轮廓尺寸的差值小于第三阈值时,确定所述第一特征点信息中的所述多个特征点中的任一个特征点为所述第一特征点和所述第二特征点信息中的所述多个特征点中的任一个特征点为所述第二特征点。
17.根据权利要求14所述的设备,其特征在于,所述第一车载传感器包括毫米波雷达车载传感器,所述获取模块具体用于:
获取多个第二标志物的坐标,其中,所述多个第二标志物在线性方向上的间隔固定;
根据所述第一特征点信息与所述第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
在获取的多个所述第二标志物的坐标中,确定所述第一车载传感器采集的第一特征点信息,所述第一特征点信息包括多个特征点和所述多个特征点中相邻的所述第一特征点的固定间隔d1;
所述第一特征点信息中的多个特征点中相邻的所述特征点的固定间隔d1与所述地图数据库中的所述多个特征点中相邻的所述特征点的固定间隔d的差值小于第四阈值时,确定所述第一特征点信息中的多个特征点中相邻的所述特征点的固定间隔d1为所述第一特征点和所述地图数据库中的所述多个特征点中相邻的所述特征点的固定间隔d为所述第二特征点。
18.根据权利要求15所述的设备,其特征在于,所述第一车载传感器包括相机车载传感器,所述获取模块具体用于:
获取第三标志物的多个第一特征点的像素坐标和所述第三标志物的图像尺寸,其中,所述多个第一特征点为所述第三标志物的图像的几何中心;
根据所述第一特征点信息与所述第二特征点信息,确定多个第一特征点和多个第二特征点,包括:
根据所述第一车载传感器所处的地理位置与所述地图数据库中的所述第三标志物的坐标,确定所述第一车载传感器与所述第三标志物的距离;
根据所述第一车载传感器与所述第三标志物的距离,确定所述第三标志物在所述相机传感器获取的图像上的理论尺寸;
当所述图像上的所述第三标志物的理论尺寸与所述图像上的所述第三标志物的实际尺寸的差值小于第五阈值时,确定所述第三标志物的多个第一特征点的像素坐标为所述多个第一特征点和所述第三标志物在所述地图数据库中对应的坐标为所述多个第二特征点。
19.一种车辆,其特征在于,包括权利要求10至18中任一项所述的设备、雷达激光传感器、毫米波雷达传感器和相机传感器。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710547094.8A CN109215083B (zh) | 2017-07-06 | 2017-07-06 | 车载传感器的外部参数标定的方法和设备 |
CN202110970129.5A CN113822939A (zh) | 2017-07-06 | 2017-07-06 | 车载传感器的外部参数标定的方法和设备 |
JP2019572428A JP6931096B2 (ja) | 2017-07-06 | 2018-06-29 | オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両 |
EP18828221.4A EP3633620A4 (en) | 2017-07-06 | 2018-06-29 | METHOD AND DEVICE FOR CALIBRATION OF EXTERNAL PARAMETERS OF ON-BOARD SENSOR |
PCT/CN2018/093559 WO2019007263A1 (zh) | 2017-07-06 | 2018-06-29 | 车载传感器的外部参数标定的方法和设备 |
US16/734,941 US11670193B2 (en) | 2017-07-06 | 2020-01-06 | Extrinsic parameter of on-board sensor |
JP2021131756A JP7297017B2 (ja) | 2017-07-06 | 2021-08-12 | オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710547094.8A CN109215083B (zh) | 2017-07-06 | 2017-07-06 | 车载传感器的外部参数标定的方法和设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110970129.5A Division CN113822939A (zh) | 2017-07-06 | 2017-07-06 | 车载传感器的外部参数标定的方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109215083A true CN109215083A (zh) | 2019-01-15 |
CN109215083B CN109215083B (zh) | 2021-08-31 |
Family
ID=64950560
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710547094.8A Active CN109215083B (zh) | 2017-07-06 | 2017-07-06 | 车载传感器的外部参数标定的方法和设备 |
CN202110970129.5A Pending CN113822939A (zh) | 2017-07-06 | 2017-07-06 | 车载传感器的外部参数标定的方法和设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110970129.5A Pending CN113822939A (zh) | 2017-07-06 | 2017-07-06 | 车载传感器的外部参数标定的方法和设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11670193B2 (zh) |
EP (1) | EP3633620A4 (zh) |
JP (2) | JP6931096B2 (zh) |
CN (2) | CN109215083B (zh) |
WO (1) | WO2019007263A1 (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109871019A (zh) * | 2019-02-28 | 2019-06-11 | 北京百度网讯科技有限公司 | 用于获取坐标的方法和装置 |
CN110007293A (zh) * | 2019-04-24 | 2019-07-12 | 禾多科技(北京)有限公司 | 场端多线束激光雷达的在线标定方法 |
CN110058211A (zh) * | 2019-03-21 | 2019-07-26 | 北京申信达成科技有限公司 | 一种车载LiDAR测量系统检校初值的获取方法及装置 |
CN110109143A (zh) * | 2019-04-30 | 2019-08-09 | 北京云迹科技有限公司 | 多线激光雷达与imu的位姿标定方法及装置 |
CN110135376A (zh) * | 2019-05-21 | 2019-08-16 | 北京百度网讯科技有限公司 | 确定图像传感器的坐标系转换参数的方法、设备和介质 |
CN110148185A (zh) * | 2019-05-22 | 2019-08-20 | 北京百度网讯科技有限公司 | 确定坐标系转换参数的方法、装置、电子设备和存储介质 |
CN110264520A (zh) * | 2019-06-14 | 2019-09-20 | 北京百度网讯科技有限公司 | 车载传感器与车辆位姿关系标定方法、装置、设备和介质 |
CN110378966A (zh) * | 2019-06-11 | 2019-10-25 | 北京百度网讯科技有限公司 | 相机外参标定方法、装置、计算机设备及存储介质 |
CN110782497A (zh) * | 2019-09-06 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 相机外参的标定方法、装置 |
CN111123245A (zh) * | 2019-12-20 | 2020-05-08 | 中国电波传播研究所(中国电子科技集团公司第二十二研究所) | 一种基于圆形扫描的机载激光雷达测距精度的检校方法 |
CN111340890A (zh) * | 2020-02-20 | 2020-06-26 | 北京百度网讯科技有限公司 | 相机外参标定方法、装置、设备和可读存储介质 |
WO2020154980A1 (zh) * | 2019-01-30 | 2020-08-06 | 深圳市大疆创新科技有限公司 | 一种探测装置外参数标定方法、数据处理装置和探测系统 |
WO2020199565A1 (zh) * | 2019-03-29 | 2020-10-08 | 魔门塔(苏州)科技有限公司 | 一种基于路灯杆的车辆位姿的修正方法和装置 |
CN111830470A (zh) * | 2019-04-16 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 联合标定方法及装置、目标对象检测方法、系统及装置 |
CN112102418A (zh) * | 2020-09-16 | 2020-12-18 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
CN112132902A (zh) * | 2019-06-24 | 2020-12-25 | 上海安亭地平线智能交通技术有限公司 | 车载摄像头外参调整方法、装置、电子设备以及介质 |
CN112304356A (zh) * | 2019-07-31 | 2021-02-02 | 大众汽车股份公司 | 用于检查环境传感器的校准的方法和装置 |
CN112465920A (zh) * | 2020-12-08 | 2021-03-09 | 广州小鹏自动驾驶科技有限公司 | 一种视觉传感器标定方法及装置 |
CN112558023A (zh) * | 2019-09-25 | 2021-03-26 | 华为技术有限公司 | 传感器的标定方法和装置 |
CN112652018A (zh) * | 2019-10-11 | 2021-04-13 | 北京地平线机器人技术研发有限公司 | 外参确定方法、外参确定装置及电子设备 |
CN113124897A (zh) * | 2019-12-31 | 2021-07-16 | 大唐高鸿数据网络技术股份有限公司 | 一种传感器性能检测方法、装置及终端 |
CN113340334A (zh) * | 2021-07-29 | 2021-09-03 | 新石器慧通(北京)科技有限公司 | 用于无人车的传感器标定方法、装置及电子设备 |
CN113465608A (zh) * | 2021-07-22 | 2021-10-01 | 清华大学苏州汽车研究院(吴江) | 一种路侧传感器标定方法及系统 |
CN113671454A (zh) * | 2021-08-16 | 2021-11-19 | 中汽创智科技有限公司 | 一种车载雷达的位置参数标定方法、装置及存储介质 |
CN113692521A (zh) * | 2019-04-04 | 2021-11-23 | 索尼集团公司 | 信息处理装置、信息处理方法和信息处理程序 |
CN113793550A (zh) * | 2019-01-16 | 2021-12-14 | 北京百度网讯科技有限公司 | 地图数据的采集方法、装置、设备和存储介质 |
CN113822944A (zh) * | 2021-09-26 | 2021-12-21 | 中汽创智科技有限公司 | 一种外参标定方法、装置、电子设备及存储介质 |
WO2022110797A1 (zh) * | 2020-11-30 | 2022-06-02 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6776202B2 (ja) * | 2017-07-28 | 2020-10-28 | クラリオン株式会社 | 車載カメラのキャリブレーション装置及び方法 |
US11644334B2 (en) * | 2019-02-07 | 2023-05-09 | Uber Technologies, Inc. | Route optimization system based on height parameter |
CN111953934B (zh) * | 2020-07-03 | 2022-06-10 | 北京航空航天大学杭州创新研究院 | 目标标示方法及装置 |
CN114140533A (zh) * | 2020-09-04 | 2022-03-04 | 华为技术有限公司 | 摄像头外参标定的方法与装置 |
CN112528728B (zh) * | 2020-10-16 | 2024-03-29 | 深圳银星智能集团股份有限公司 | 一种用于视觉导航的图像处理方法、装置和移动机器人 |
JP7452374B2 (ja) * | 2020-10-20 | 2024-03-19 | 株式会社Soken | 物体検知装置および物体検知プログラム |
CN112800986B (zh) * | 2021-02-02 | 2021-12-07 | 深圳佑驾创新科技有限公司 | 车载摄像头外参标定方法、装置、车载终端和存储介质 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100220173A1 (en) * | 2009-02-20 | 2010-09-02 | Google Inc. | Estimation of Panoramic Camera Orientation Relative to a Vehicle Coordinate Frame |
CN102944224A (zh) * | 2012-11-09 | 2013-02-27 | 大连理工大学 | 一种无人驾驶车的自动环境感知系统及其工作方法 |
CN102968548A (zh) * | 2012-09-29 | 2013-03-13 | 昆山市智汽电子科技有限公司 | 一种车载标定的方法、设备及其系统 |
CN103250069A (zh) * | 2010-12-09 | 2013-08-14 | 罗伯特·博世有限公司 | 用于校正和调整机动车环境传感器的方法和装置 |
CN103487034A (zh) * | 2013-09-26 | 2014-01-01 | 北京航空航天大学 | 一种基于立式标靶的车载单目摄像头测距测高方法 |
CN103954275A (zh) * | 2014-04-01 | 2014-07-30 | 西安交通大学 | 基于车道线检测和gis地图信息开发的视觉导航方法 |
CN103985118A (zh) * | 2014-04-28 | 2014-08-13 | 无锡观智视觉科技有限公司 | 一种车载环视系统摄像头参数标定方法 |
CN104142157A (zh) * | 2013-05-06 | 2014-11-12 | 北京四维图新科技股份有限公司 | 一种标定方法、装置及设备 |
CN104809718A (zh) * | 2015-03-17 | 2015-07-29 | 合肥晟泰克汽车电子有限公司 | 一种车载摄像头自动匹配标定方法 |
CN105588563A (zh) * | 2016-01-15 | 2016-05-18 | 武汉光庭科技有限公司 | 一种自动驾驶中双目相机与惯性导航单元联合标定方法 |
CN105931261A (zh) * | 2016-07-08 | 2016-09-07 | 北京格灵深瞳信息技术有限公司 | 一种双目立体相机外参数修正方法及装置 |
DE102015206605A1 (de) * | 2015-04-14 | 2016-10-20 | Continental Teves Ag & Co. Ohg | Kalibrierung und Überwachung von Umfeldsensoren mit Hilfe hochgenauer Karten |
CN106379322A (zh) * | 2015-07-23 | 2017-02-08 | 冯春魁 | 综合车辆的数据测算、监控、监视、处理的方法及系统 |
JP2017038777A (ja) * | 2015-08-19 | 2017-02-23 | アイホン株式会社 | 動作認識装置 |
CN106485753A (zh) * | 2016-09-09 | 2017-03-08 | 奇瑞汽车股份有限公司 | 用于无人驾驶汽车的摄像机标定的方法和装置 |
CN106651961A (zh) * | 2016-12-09 | 2017-05-10 | 中山大学 | 一种基于彩色立体标定物的无人机标定方法及系统 |
CN106651963A (zh) * | 2016-12-29 | 2017-05-10 | 清华大学苏州汽车研究院(吴江) | 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法 |
CN106671902A (zh) * | 2015-11-10 | 2017-05-17 | 冯春魁 | 综合车辆的数据测算、监控、监视、处理的方法及系统 |
CN106740872A (zh) * | 2017-01-13 | 2017-05-31 | 驭势科技(北京)有限公司 | 智能汽车传感器自检系统和方法、辅助系统和智能汽车 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000268295A (ja) * | 1999-03-15 | 2000-09-29 | Matsushita Electric Ind Co Ltd | 車両位置情報通信端末装置および緊急通報システム |
DE10122664A1 (de) | 2001-05-10 | 2002-11-14 | Ibeo Automobile Sensor Gmbh | Kalibrierverfahren |
US8126644B2 (en) * | 2006-03-10 | 2012-02-28 | Pioneer Corporation | Travel support system, method thereof, program thereof, and recording medium containing the program |
CN101641610A (zh) * | 2007-02-21 | 2010-02-03 | 电子地图北美公司 | 用于包含绝对及相对坐标的车辆导航及领航的系统及方法 |
EP2530647A1 (en) * | 2011-06-01 | 2012-12-05 | Harman Becker Automotive Systems GmbH | Method of calibrating a vehicle vision system and vehicle vision system |
JP2013024712A (ja) * | 2011-07-20 | 2013-02-04 | Aisin Seiki Co Ltd | 複数カメラの校正方法及び校正システム |
JP5926645B2 (ja) | 2012-08-03 | 2016-05-25 | クラリオン株式会社 | カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法 |
WO2014208154A1 (ja) * | 2013-06-28 | 2014-12-31 | アイシン・エィ・ダブリュ株式会社 | 位置情報共有システム、位置情報共有方法、及び位置情報共有プログラム |
CN104276102B (zh) * | 2013-07-10 | 2016-05-11 | 德尔福电子(苏州)有限公司 | 一种基于车辆位置检测的环视系统标定装置 |
DE102014014295A1 (de) * | 2014-09-25 | 2016-03-31 | Audi Ag | Verfahren zur Überwachung einer Kalibrierung mehrerer Umgebungssensoren eines Kraftfahrzeugs und Kraftfahrzeug |
DE102015214338A1 (de) * | 2015-07-29 | 2017-02-02 | Volkswagen Aktiengesellschaft | Bestimmung einer Anordnungsinformation für ein Fahrzeug |
CN105741275B (zh) | 2016-01-26 | 2018-07-17 | 浙江捷尚视觉科技股份有限公司 | 一种基于固定相机自动标定的人车目标特征提取方法 |
CA3010702A1 (en) * | 2016-02-29 | 2017-09-08 | Komatsu Ltd. | Work machine management system and work machine |
JP2017181195A (ja) * | 2016-03-29 | 2017-10-05 | パイオニア株式会社 | 測定装置、測定方法、及び、プログラム |
CN107103627B (zh) * | 2017-04-27 | 2020-12-11 | 深圳市天双科技有限公司 | 一种基于车道线的汽车全景摄像头外部参数标定方法 |
-
2017
- 2017-07-06 CN CN201710547094.8A patent/CN109215083B/zh active Active
- 2017-07-06 CN CN202110970129.5A patent/CN113822939A/zh active Pending
-
2018
- 2018-06-29 WO PCT/CN2018/093559 patent/WO2019007263A1/zh unknown
- 2018-06-29 EP EP18828221.4A patent/EP3633620A4/en not_active Ceased
- 2018-06-29 JP JP2019572428A patent/JP6931096B2/ja active Active
-
2020
- 2020-01-06 US US16/734,941 patent/US11670193B2/en active Active
-
2021
- 2021-08-12 JP JP2021131756A patent/JP7297017B2/ja active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100220173A1 (en) * | 2009-02-20 | 2010-09-02 | Google Inc. | Estimation of Panoramic Camera Orientation Relative to a Vehicle Coordinate Frame |
CN103250069A (zh) * | 2010-12-09 | 2013-08-14 | 罗伯特·博世有限公司 | 用于校正和调整机动车环境传感器的方法和装置 |
CN102968548A (zh) * | 2012-09-29 | 2013-03-13 | 昆山市智汽电子科技有限公司 | 一种车载标定的方法、设备及其系统 |
CN102944224A (zh) * | 2012-11-09 | 2013-02-27 | 大连理工大学 | 一种无人驾驶车的自动环境感知系统及其工作方法 |
CN104142157A (zh) * | 2013-05-06 | 2014-11-12 | 北京四维图新科技股份有限公司 | 一种标定方法、装置及设备 |
CN103487034A (zh) * | 2013-09-26 | 2014-01-01 | 北京航空航天大学 | 一种基于立式标靶的车载单目摄像头测距测高方法 |
CN103954275A (zh) * | 2014-04-01 | 2014-07-30 | 西安交通大学 | 基于车道线检测和gis地图信息开发的视觉导航方法 |
CN103985118A (zh) * | 2014-04-28 | 2014-08-13 | 无锡观智视觉科技有限公司 | 一种车载环视系统摄像头参数标定方法 |
CN104809718A (zh) * | 2015-03-17 | 2015-07-29 | 合肥晟泰克汽车电子有限公司 | 一种车载摄像头自动匹配标定方法 |
DE102015206605A1 (de) * | 2015-04-14 | 2016-10-20 | Continental Teves Ag & Co. Ohg | Kalibrierung und Überwachung von Umfeldsensoren mit Hilfe hochgenauer Karten |
CN106379322A (zh) * | 2015-07-23 | 2017-02-08 | 冯春魁 | 综合车辆的数据测算、监控、监视、处理的方法及系统 |
JP2017038777A (ja) * | 2015-08-19 | 2017-02-23 | アイホン株式会社 | 動作認識装置 |
CN106671902A (zh) * | 2015-11-10 | 2017-05-17 | 冯春魁 | 综合车辆的数据测算、监控、监视、处理的方法及系统 |
CN105588563A (zh) * | 2016-01-15 | 2016-05-18 | 武汉光庭科技有限公司 | 一种自动驾驶中双目相机与惯性导航单元联合标定方法 |
CN105931261A (zh) * | 2016-07-08 | 2016-09-07 | 北京格灵深瞳信息技术有限公司 | 一种双目立体相机外参数修正方法及装置 |
CN106485753A (zh) * | 2016-09-09 | 2017-03-08 | 奇瑞汽车股份有限公司 | 用于无人驾驶汽车的摄像机标定的方法和装置 |
CN106651961A (zh) * | 2016-12-09 | 2017-05-10 | 中山大学 | 一种基于彩色立体标定物的无人机标定方法及系统 |
CN106651963A (zh) * | 2016-12-29 | 2017-05-10 | 清华大学苏州汽车研究院(吴江) | 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法 |
CN106740872A (zh) * | 2017-01-13 | 2017-05-31 | 驭势科技(北京)有限公司 | 智能汽车传感器自检系统和方法、辅助系统和智能汽车 |
Non-Patent Citations (1)
Title |
---|
ZHENCHENG HU .ETC: ""SOLUTION OF CAMERA REGISTRATION PROBLEM VIA 3D-2D PARAMETERIZED MODEL MATCHING FOR ON-ROAD NAVIGATION"", 《INTERNATIONAL JOURNAL OF IMAGE AND GRAPHICS》 * |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113793550A (zh) * | 2019-01-16 | 2021-12-14 | 北京百度网讯科技有限公司 | 地图数据的采集方法、装置、设备和存储介质 |
WO2020154980A1 (zh) * | 2019-01-30 | 2020-08-06 | 深圳市大疆创新科技有限公司 | 一种探测装置外参数标定方法、数据处理装置和探测系统 |
CN109871019B (zh) * | 2019-02-28 | 2022-08-30 | 北京百度网讯科技有限公司 | 自动驾驶用于获取坐标的方法和装置 |
CN109871019A (zh) * | 2019-02-28 | 2019-06-11 | 北京百度网讯科技有限公司 | 用于获取坐标的方法和装置 |
CN110058211A (zh) * | 2019-03-21 | 2019-07-26 | 北京申信达成科技有限公司 | 一种车载LiDAR测量系统检校初值的获取方法及装置 |
CN110058211B (zh) * | 2019-03-21 | 2021-10-26 | 北京申信达成科技有限公司 | 一种车载LiDAR测量系统检校初值的获取方法及装置 |
WO2020199565A1 (zh) * | 2019-03-29 | 2020-10-08 | 魔门塔(苏州)科技有限公司 | 一种基于路灯杆的车辆位姿的修正方法和装置 |
CN113692521A (zh) * | 2019-04-04 | 2021-11-23 | 索尼集团公司 | 信息处理装置、信息处理方法和信息处理程序 |
CN111830470A (zh) * | 2019-04-16 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 联合标定方法及装置、目标对象检测方法、系统及装置 |
CN110007293A (zh) * | 2019-04-24 | 2019-07-12 | 禾多科技(北京)有限公司 | 场端多线束激光雷达的在线标定方法 |
CN110109143A (zh) * | 2019-04-30 | 2019-08-09 | 北京云迹科技有限公司 | 多线激光雷达与imu的位姿标定方法及装置 |
CN110135376A (zh) * | 2019-05-21 | 2019-08-16 | 北京百度网讯科技有限公司 | 确定图像传感器的坐标系转换参数的方法、设备和介质 |
CN110148185A (zh) * | 2019-05-22 | 2019-08-20 | 北京百度网讯科技有限公司 | 确定坐标系转换参数的方法、装置、电子设备和存储介质 |
CN110378966A (zh) * | 2019-06-11 | 2019-10-25 | 北京百度网讯科技有限公司 | 相机外参标定方法、装置、计算机设备及存储介质 |
CN110264520A (zh) * | 2019-06-14 | 2019-09-20 | 北京百度网讯科技有限公司 | 车载传感器与车辆位姿关系标定方法、装置、设备和介质 |
CN112132902A (zh) * | 2019-06-24 | 2020-12-25 | 上海安亭地平线智能交通技术有限公司 | 车载摄像头外参调整方法、装置、电子设备以及介质 |
CN112132902B (zh) * | 2019-06-24 | 2024-01-16 | 上海安亭地平线智能交通技术有限公司 | 车载摄像头外参调整方法、装置、电子设备以及介质 |
CN112304356A (zh) * | 2019-07-31 | 2021-02-02 | 大众汽车股份公司 | 用于检查环境传感器的校准的方法和装置 |
US11645782B2 (en) | 2019-07-31 | 2023-05-09 | Volkswagen Aktiengesellschaft | Method and device for checking a calibration of environment sensors |
CN110782497A (zh) * | 2019-09-06 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 相机外参的标定方法、装置 |
CN110782497B (zh) * | 2019-09-06 | 2022-04-29 | 腾讯科技(深圳)有限公司 | 相机外参的标定方法、装置 |
CN112558023B (zh) * | 2019-09-25 | 2024-03-26 | 华为技术有限公司 | 传感器的标定方法和装置 |
CN112558023A (zh) * | 2019-09-25 | 2021-03-26 | 华为技术有限公司 | 传感器的标定方法和装置 |
CN112652018A (zh) * | 2019-10-11 | 2021-04-13 | 北京地平线机器人技术研发有限公司 | 外参确定方法、外参确定装置及电子设备 |
CN112652018B (zh) * | 2019-10-11 | 2024-04-16 | 北京地平线机器人技术研发有限公司 | 外参确定方法、外参确定装置及电子设备 |
CN111123245A (zh) * | 2019-12-20 | 2020-05-08 | 中国电波传播研究所(中国电子科技集团公司第二十二研究所) | 一种基于圆形扫描的机载激光雷达测距精度的检校方法 |
CN113124897A (zh) * | 2019-12-31 | 2021-07-16 | 大唐高鸿数据网络技术股份有限公司 | 一种传感器性能检测方法、装置及终端 |
CN113124897B (zh) * | 2019-12-31 | 2024-04-09 | 中信科智联科技有限公司 | 一种传感器性能检测方法、装置及终端 |
CN111340890A (zh) * | 2020-02-20 | 2020-06-26 | 北京百度网讯科技有限公司 | 相机外参标定方法、装置、设备和可读存储介质 |
CN111340890B (zh) * | 2020-02-20 | 2023-08-04 | 阿波罗智联(北京)科技有限公司 | 相机外参标定方法、装置、设备和可读存储介质 |
CN112102418B (zh) * | 2020-09-16 | 2022-02-11 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
CN112102418A (zh) * | 2020-09-16 | 2020-12-18 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
WO2022110797A1 (zh) * | 2020-11-30 | 2022-06-02 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
CN112465920A (zh) * | 2020-12-08 | 2021-03-09 | 广州小鹏自动驾驶科技有限公司 | 一种视觉传感器标定方法及装置 |
CN113465608A (zh) * | 2021-07-22 | 2021-10-01 | 清华大学苏州汽车研究院(吴江) | 一种路侧传感器标定方法及系统 |
CN113465608B (zh) * | 2021-07-22 | 2024-05-03 | 清华大学苏州汽车研究院(吴江) | 一种路侧传感器标定方法及系统 |
CN113340334A (zh) * | 2021-07-29 | 2021-09-03 | 新石器慧通(北京)科技有限公司 | 用于无人车的传感器标定方法、装置及电子设备 |
CN113671454A (zh) * | 2021-08-16 | 2021-11-19 | 中汽创智科技有限公司 | 一种车载雷达的位置参数标定方法、装置及存储介质 |
CN113671454B (zh) * | 2021-08-16 | 2024-04-26 | 中汽创智科技有限公司 | 一种车载雷达的位置参数标定方法、装置及存储介质 |
CN113822944A (zh) * | 2021-09-26 | 2021-12-21 | 中汽创智科技有限公司 | 一种外参标定方法、装置、电子设备及存储介质 |
CN113822944B (zh) * | 2021-09-26 | 2023-10-31 | 中汽创智科技有限公司 | 一种外参标定方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109215083B (zh) | 2021-08-31 |
EP3633620A1 (en) | 2020-04-08 |
JP2022000636A (ja) | 2022-01-04 |
EP3633620A4 (en) | 2020-08-05 |
JP7297017B2 (ja) | 2023-06-23 |
WO2019007263A1 (zh) | 2019-01-10 |
CN113822939A (zh) | 2021-12-21 |
US20200143710A1 (en) | 2020-05-07 |
US11670193B2 (en) | 2023-06-06 |
JP6931096B2 (ja) | 2021-09-01 |
JP2020527500A (ja) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109215083A (zh) | 车载传感器的外部参数标定的方法和设备 | |
CN108693876B (zh) | 用于具有控制部件的车辆的目标跟踪系统及方法 | |
CN110531376B (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
JP6821712B2 (ja) | 自然光景中での統合センサの較正 | |
US11527084B2 (en) | Method and system for generating a bird's eye view bounding box associated with an object | |
WO2021227645A1 (zh) | 目标检测方法和装置 | |
JP6174073B2 (ja) | レーザー点クラウドを用いる物体検出のための方法及びシステム | |
CN110032180A (zh) | 激光雷达定位 | |
CN110988912A (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
US11460851B2 (en) | Eccentricity image fusion | |
CN114845916A (zh) | 调整载具传感器视场体积 | |
CN112740225B (zh) | 一种路面要素确定方法及装置 | |
US11527012B2 (en) | Vehicle pose determination | |
CN113743171A (zh) | 目标检测方法及装置 | |
WO2023070113A1 (en) | Validating an sfm map using lidar point clouds | |
US11631197B2 (en) | Traffic camera calibration | |
CN115718304A (zh) | 目标对象检测方法、装置、车辆及存储介质 | |
CN112946587B (zh) | 通信方法和装置 | |
EP4278320A1 (en) | Systems and methods for monitoring lidar sensor health | |
CN117581264A (zh) | 用于组合多个深度图的系统和方法 | |
CN116129377A (zh) | 单视角图像重照明 | |
CN115393821A (zh) | 一种目标检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |