CN114076919A - 毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 - Google Patents
毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 Download PDFInfo
- Publication number
- CN114076919A CN114076919A CN202010845159.9A CN202010845159A CN114076919A CN 114076919 A CN114076919 A CN 114076919A CN 202010845159 A CN202010845159 A CN 202010845159A CN 114076919 A CN114076919 A CN 114076919A
- Authority
- CN
- China
- Prior art keywords
- millimeter wave
- camera
- point cloud
- wave radar
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013507 mapping Methods 0.000 claims abstract description 53
- 230000006870 function Effects 0.000 claims description 70
- 239000011159 matrix material Substances 0.000 claims description 66
- 238000004590 computer program Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 abstract description 8
- 239000002699 waste material Substances 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请涉及一种毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质，包括：将毫米波点云数据对应的点云映射到图像上得到映射点云。再计算标定物在图像上的点云目标框与图像识别目标框之间的重叠面积，基于重叠面积调整初始联合标定参数直到重叠面积满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。通过毫米波雷达与相机进行自标定，不需要使用特定标定物，避免了浪费人力物力，因为不需要使用特定标定物就也提高了该联合标定方法的可复用性。
Description
技术领域
本申请涉及相机标定技术领域，特别是涉及一种毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质。
背景技术
随着自动驾驶或无人驾驶技术的不断发展，自动驾驶或无人驾驶将逐渐步入人们的日常生活中，为人们的生活带来便利。其中，自动驾驶或无人驾驶技术所面临的核心问题是：车辆的视觉感知能力不足，无法形成对整体道路交通坏境的全面感知，使得车辆行驶安全性得不到全面保障。
近些年出现了通过毫米波雷达与相机一起来提高车辆的视觉感知能力的方案，但是采用传统方法在对毫米波雷达与相机进行标定时，都需要基于标定物来进行标定，浪费人力物力，且可复用性不强。
发明内容
本申请实施例提供一种毫米波雷达与相机联合标定方法、装置、服务器、计算机可读存储介质，可以避免浪费人力物力，提高标定过程的可复用性。
一种毫米波雷达与相机联合标定方法，包括：
获取同一时刻、同一场景下采集的图像和毫米波点云数据；
根据相机的内参矩阵、毫米波雷达相对于所述相机的初始联合标定参数，将所述毫米波点云数据对应的点云映射到所述图像上得到映射点云；
计算标定物在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述标定物为所述相机和所述毫米波雷达重叠检测区域中的至少一个目标，所述点云目标框为基于所述映射点云中的标定物在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行图像识别所得的所述标定物的目标框；
基于各标定物对应的所述重叠面积调整所述初始联合标定参数直到所述重叠面积满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于所述相机的目标联合标定参数。
在其中一个实施例中，所述方法还包括：
将所述毫米波雷达在球坐标系中的坐标转换为所述毫米波雷达在世界坐标系中的坐标；
将所述相机在相机坐标系中的坐标转换为所述相机在所述世界坐标系中的坐标；
根据所述毫米波雷达在所述世界坐标系中的坐标、所述相机在所述世界坐标系中的坐标，计算所述毫米波雷达相对于所述相机的初始联合标定参数。
在其中一个实施例中，根据所述相机的内参矩阵、所述毫米波雷达相对于所述相机的初始联合标定参数，将所述毫米波点云数据对应的点云映射到所述图像上得到映射点云，包括：
计算所述相机的内参矩阵、所述相机的畸变系数；
将所述毫米波点云数据在球坐标系中的坐标，转换为在世界坐标系中的坐标；
将所述相机的内参矩阵、所述相机的畸变系数、所述毫米波雷达相对于所述相机的初始联合标定参数及所述毫米波点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算所述毫米波点云数据对应的点云在像素坐标系中的坐标；
从所述图像上提取所述点云在像素坐标系中的坐标处的像素点，作为映射点云。
在其中一个实施例中，在所述计算标定物在所述图像上的点云目标框与图像识别目标框之间的重叠面积之前，还包括：
针对所述图像上的每个标定物，在所述图像上以所述映射点云为中心，以预设尺寸绘制点云目标框；
对所述图像进行图像识别得到图像识别目标框；
获取标定物在所述图像上的点云目标框与图像识别目标框。
在其中一个实施例中，所述基于各标定物对应的所述重叠面积调整所述初始联合标定参数直到所述重叠面积满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于所述相机的目标联合标定参数，包括：
基于各标定物对应的所述重叠面积构建目标函数，通过所述目标函数调整所述初始联合标定参数直到所述目标函数的值满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于相机的目标联合标定参数。
在其中一个实施例中，所述基于各标定物对应的所述重叠面积构建目标函数，包括：
计算所述各标定物对应的重叠面积与所述点云目标框或图像识别框的面积的比值；
对各个标定物对应的比值计算均值、方差或标准差；
基于所述均值、方差或标准差构建目标函数。
在其中一个实施例中，所述通过所述目标函数调整所述初始联合标定参数直到所述目标函数的值满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于相机的目标联合标定参数，包括：
采用梯度下降算法计算所述目标函数的值；
根据所述目标函数的值调整所述初始联合标定参数直到所述目标函数的值满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于相机的目标联合标定参数。
在其中一个实施例中，所述方法还包括：
将所述毫米波雷达及所述相机调整至预设角度，并固定所述毫米波雷达及所述相机之间的相对位置。
一种毫米波雷达与相机联合标定装置，包括：
数据采集模块，用于获取同一时刻、同一场景下采集的图像和与所述图像对应的毫米波点云数据，所述图像为通过相机拍摄得到，所述毫米波点云数据为通过毫米波雷达采集得到；
点云映射模块，用于根据所述相机的内参矩阵、所述毫米波雷达相对于所述相机的初始联合标定参数，将所述毫米波点云数据对应的点云映射到所述图像上得到映射点云；
重叠面积计算模块，用于计算标定物在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述标定物为所述相机和所述毫米波雷达重叠检测区域中的至少一个目标，所述点云目标框为基于所述映射点云中的标定物在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行图像识别所得的所述标定物的目标框；
目标联合标定参数输出模块，用于基于各标定物对应的所述重叠面积调整所述初始联合标定参数直到所述重叠面积满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于所述相机的目标联合标定参数。
一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上方法的步骤。
上述毫米波雷达与相机联合标定方法、装置、服务器、计算机可读存储介质，将毫米波点云数据对应的点云映射到图像上得到映射点云。再计算标定物在图像上的点云目标框与图像识别目标框之间的重叠面积，标定物为相机和毫米波雷达重叠检测区域中的至少一个目标，基于各标定物对应的重叠面积调整初始联合标定参数直到重叠面积满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。通过毫米波雷达与相机进行自标定，不需要使用标定物，避免了浪费人力物力，因为不需要使用标定物就也提高了该联合标定方法的可复用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中毫米波雷达与相机联合标定方法的应用场景图；
图2为一个实施例中毫米波雷达与相机联合标定方法的流程图；
图3为一个实施例中毫米波雷达相对于相机的初始联合标定参数的计算过程的流程图；
图4为一个实施例中将球坐标系转换为世界坐标系的示意图；
图5为图2中将毫米波点云数据对应的点云映射到图像上得到映射点云方法的流程图；
图6为一个具体的实施例中毫米波雷达与相机联合标定方法的流程图；
图7为一个实施例中毫米波雷达与相机联合标定装置的结构框图；
图8为另一个实施例中毫米波雷达与相机联合标定装置的结构框图；
图9为一个实施例中服务器的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
如图1所示，图1为一个实施例中毫米波雷达与相机联合标定方法的应用场景图。如图1所示，该应用环境包括毫米波雷达120、相机140及服务器160。通过相机采集得到图像，通过毫米波雷达在同一时刻、同一场景下采集得到毫米波点云数据。服务器获取同一时刻、同一场景下采集的图像和与图像对应的毫米波点云数据，根据相机的内参矩阵、毫米波雷达相对于相机的初始联合标定参数，将毫米波点云数据对应的点云映射到图像上得到映射点云；计算标定物在图像上的点云目标框与图像识别目标框之间的重叠面积，所述标定物为所述相机和所述毫米波雷达重叠检测区域中的至少一个目标，点云目标框为基于映射点云中的标定物在图像上绘制的目标框，图像识别目标框为对图像进行图像识别所得的所述标定物的目标框；基于各标定物对应的重叠面积调整初始联合标定参数直到重叠面积满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。其中，毫米波雷达，是指工作在毫米波波段(millimeter wave)探测的雷达。通常毫米波是指30～300GHz频域(波长为1～10mm)的电磁波。毫米波雷达擅长判断目标的位置信息以及速度估计，但是在获取目标的数目、特征等信息时效果较差。而相机在提取目标的特征方面有较大优势，却不能准确获取目标的速度和位置。所以，采用毫米波雷达与相机两者融合的方法不仅可以提取较多的目标特征信息，而且可以准确获取到目标的速度和位置估计。
图2为一个实施例中毫米波雷达与相机联合标定方法的流程图，如图2所示，提供了一种毫米波雷达与相机联合标定方法，应用于服务器，包括步骤220至步骤280。
步骤220，获取同一时刻、同一场景下采集的图像和毫米波点云数据。
在对毫米波雷达与相机进行联合标定时，首先，将毫米波雷达及相机调整至预设角度，并固定毫米波雷达及相机之间的相对位置。然后，通过相机拍摄得到图像，通过毫米波雷达在同一时刻、同一场景下采集得到毫米波点云数据。最后，服务器从相机所采集到的图像及毫米波雷达所采集到的毫米波点云数据中，获取同一时刻对应的图像和与图像对应的毫米波点云数据，组成一对数据。在对毫米波雷达与相机进行联合标定时，可以是获取多对这样的数据。其中，这里所获取的毫米波点云数据是从毫米波点云数据中所筛选出的目标对应的点云数据，并不需要所有的点云数据，就在一定程度上减少了运算量。
具体的，分别获取到毫米波雷达与相机的系统时间戳，分别计算毫米波雷达与工控机的系统时间差值、相机与工控机的系统时间差值。再通过同一台工控机同时采集毫米波点云数据和图像对应的数据，基于毫米波雷达与工控机的系统时间差值、相机与工控机的系统时间差值，将毫米波点云数据和图像对应的数据的系统时间戳转换到工控机的时间轴上，即可获取时间同步(同一时刻)的毫米波雷达数据和图像对应的数据。
步骤240，根据相机的内参矩阵、毫米波雷达相对于相机的初始联合标定参数，将毫米波点云数据对应的点云映射到图像上得到映射点云。
具体的，相机的内参矩阵
其中，(cx,cy)表示图像中心点坐标，fx，fy是以像素为单位表示的焦距。
另外，毫米波雷达位于球坐标系中，而相机位于相机坐标系，相机所拍摄出的图像位于像素坐标系中。且球坐标系可以通过世界坐标系与相机坐标系进行转换，相机坐标系能够与像素坐标系进行转换。因此，服务器在计算毫米波雷达相对于相机的初始联合标定参数时，可以通过世界坐标系作为桥梁，根据毫米波雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，计算毫米波雷达相对于相机的初始联合标定参数。其中，联合标定参数也可以称之为外参矩阵。
然后，根据相机的内参矩阵、相机的畸变系数、毫米波雷达相对于相机的初始外参矩阵，通过透射变换矩阵将毫米波点云数据对应的点云映射到图像上得到映射点云，如此就建立了毫米波点云与图像上的像素之间的对应关系。
步骤260，计算标定物在图像上的点云目标框与图像识别目标框之间的重叠面积，所述标定物为所述相机和所述毫米波雷达重叠检测区域中的至少一个目标，点云目标框为基于映射点云中的标定物在图像上绘制的目标框，图像识别目标框为对图像进行图像识别所得标定物的目标框。
服务器在将毫米波点云数据对应的点云映射到图像上得到映射点云之后，获取标定物在图像上的点云目标框与图像识别目标框。计算标定物在图像上的点云目标框与图像识别目标框之间的重叠面积，基于重叠面积就可以验证出毫米波雷达相对于相机的初始外参矩阵的准确性。其中，所述标定物为所述相机和所述毫米波雷达重叠检测区域中的至少一个目标。因为重叠面积越大，则说明毫米波点云数据对应的点云(下称为毫米波点云)与相机所拍摄的图像在空间上对齐的准确率越高。
步骤280，基于各标定物对应的重叠面积调整初始联合标定参数直到重叠面积满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。
因为重叠面积越大，则说明毫米波点云数据与图像在空间上对齐的准确率越高。所以，服务器就可以基于各标定物对应的重叠面积调整初始外参矩阵直到重叠面积满足预设阈值。预设阈值可以是预先根据实际情况设定的。在重叠面积满足预设阈值之后，输出调整后的外参矩阵作为毫米波雷达相对于相机的目标外参矩阵，完成毫米波雷达与相机联合标定的过程。
本申请实施例中，服务器将毫米波点云数据对应的点云映射到图像上得到映射点云。再计算标定物在图像上的点云目标框与图像识别目标框之间的重叠面积，标定物为相机和毫米波雷达重叠检测区域中的至少一个目标，基于各标定物对应的重叠面积调整初始联合标定参数直到重叠面积满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。因为重叠面积越大，则说明毫米波点云数据与图像在空间上对齐的准确率越高。所以，服务器就可以基于重叠面积调整初始外参矩阵直到重叠面积满足预设阈值。从而实现通过毫米波雷达与相机进行自标定，不需要使用特定的标定物，避免了浪费人力物力，因为不需要使用标定物就也提高了该联合标定方法的可复用性。
在一个实施例中，如图3所示，提供了一种毫米波雷达与相机联合标定方法，还包括：
步骤320，将毫米波雷达在球坐标系中的坐标转换为毫米波雷达在世界坐标系中的坐标。
具体的，如图4所示，为将球坐标系转换为世界坐标系的示意图。如图4所示，球坐标系以坐标原点为参考点，由方位角α、仰角θ和距离r构成。世界坐标系由Xw、Yw、Zw构成。毫米波雷达自身的坐标系是球坐标系，通过球坐标系与世界坐标系之间的转换公式，将毫米波雷达在球坐标系中的坐标转换为毫米波雷达在世界坐标系中的坐标。
步骤340，将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标。
相机自身的坐标系是相机坐标系，通过相机坐标系与世界坐标系之间的转换公式，将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标。其中，相机坐标系可以用(x,y,z)来表示。
步骤360，根据毫米波雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，计算毫米波雷达相对于相机的初始联合标定参数。
在经过步骤320和步骤340两步的计算之后，得到了毫米波雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，就可以基于世界坐标系作为中间坐标系来计算毫米波雷达相对于相机的初始外参矩阵。其中，联合标定参数也可以称之为外参矩阵。[RT]包括旋转矩阵R3×3、平移向量T3×1，具体为：
本申请实施例中，首先，将毫米波雷达在球坐标系中的坐标转换为毫米波雷达在世界坐标系中的坐标；其次，将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标；最后，就可以基于世界坐标系作为中间坐标系来计算毫米波雷达相对于相机的初始外参矩阵。借助于世界坐标系作为中间坐标系，就可以准确地计算出毫米波雷达相对于相机的初始外参矩阵。
在一个实施例中，如图5所示，步骤240，根据相机的内参矩阵、毫米波雷达相对于相机的初始联合标定参数，将毫米波点云数据对应的点云映射到图像上得到映射点云，包括：
步骤242，计算相机的内参矩阵、相机的畸变系数。
由相机标定得到相机的内参矩阵及相机的畸变系数。其中，相机的内参矩阵
其中，(cx,cy)表示图像中心点坐标，fx，fy是以像素为单位表示的焦距。
其中，相机的畸变系数可以划分为径向畸变、切向畸变。
步骤244，将毫米波点云数据在球坐标系中的坐标，转换为在世界坐标系中的坐标。
如图4所示，假设毫米波雷达从拍摄场景中检测到一个目标对应的点云，该点云与雷达的径向距离为r，方位角为α，仰角为θ。那么此时该目标对应的毫米波点云数据在球坐标系中的坐标为(r,θ,α)。
则可以将径向距离可分解为：
x＝rsin(α) y＝rcos(α) (1-1)
若雷达的安装角度为h，安装方式为雷达波束斜向下照射，s为雷达波束中轴线和地平面的交点到雷达的径向距离，表征了雷达安装的倾角信息。以雷达为中心，以直线向地面倾斜方向为O-Zw轴的正方向，从雷达视角，在雷达所在平面上以向左方向O-Xw为轴正方向，向上方向为O-Yw轴正方向，建立三维世界坐标系。将检测到的目标的位置信息r、α映射到三维世界坐标系中，可得
Xw＝-x (1-2)
Yw＝-ysin(θ) (1-3)
Zw＝ycos(θ) (1-4)
其中，x、y与r、α的关系如上式。由几何关系可知，θ满足：
由此，完成了将毫米波点云数据在球坐标系中的坐标，转换为在世界坐标系中的坐标的过程。
步骤246，将相机的内参矩阵、相机的畸变系数、毫米波雷达相对于相机的初始联合标定参数及毫米波点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算毫米波点云数据对应的点云在像素坐标系中的坐标。
经过上述计算分别得到了相机的内参矩阵A、相机的畸变系数K、毫米波雷达相对于相机的初始外参矩阵[RT]及毫米波点云数据在世界坐标系中的坐标(XW,YW,ZW)。联合标定参数也可以称之为外参矩阵。其中，透射变换矩阵为：
其中，
将相机的内参矩阵A、相机的畸变系数K、毫米波雷达相对于相机的初始外参矩阵[RT]及毫米波点云数据在世界坐标系中的坐标(XW,YW,ZW)输入至透射变换矩阵，就可以计算出毫米波点云数据对应的点云在像素坐标系中的坐标(μ,ν)。
计算出毫米波点云数据对应的点云在像素坐标系中的坐标(μ,ν)的过程如下：
x′＝x/z y′＝y/z (1-9)
其中，r2＝x′2+y′2
u＝fx*x″+cx v＝fy*y″+cy
(1-12)
其中，k1,k2,k3,k4,k5,k6表示径向畸变系数，p1,p2表示切向畸变系数。
步骤248，从图像上提取点云在像素坐标系中的坐标处的像素点，作为映射点云。
在计算出毫米波点云数据对应的点云在像素坐标系中的坐标(μ,ν)之后，就实现了将毫米波点云数据对应的点云映射到图像上得到映射点云。具体的，从图像上提取点云在像素坐标系中的坐标(μ,ν)处的像素点，作为映射点云。对于一开始进行毫米波雷达与相机进行联合标定时，所选取的每一个毫米波雷达点云数据对应的点云都映射到图像上得到映射点云。
本申请实施例中，首先，将毫米波点云数据在球坐标系中的坐标，转换为在世界坐标系中的坐标。然后，将相机的内参矩阵、相机的畸变系数、毫米波雷达相对于相机的初始联合标定参数及毫米波点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算毫米波点云数据对应的点云在像素坐标系中的坐标。从图像上提取点云在像素坐标系中的坐标处的像素点，作为映射点云。实现了将毫米波点云与相机所拍摄的图像之间在空间上进行匹配，从而，便于后续进行毫米波雷达与相机联合标定。且通过透射变换矩阵可以对畸变矫正后的图像数据进行计算，也可以对未经过畸变矫正的图像数据进行计算，适用性更广。
在一个实施例中，在计算标定物在图像上的点云目标框与图像识别目标框之间的重叠面积之前，还包括：
针对所述图像上的每个标定物，在图像上以映射点云为中心，以预设尺寸绘制点云目标框；
对图像进行图像识别得到图像识别目标框；
获取标定物在图像上的点云目标框与图像识别目标框。
具体的，在图像上对于每一个映射点云绘制点云目标框，具体的，在图像上以映射点云为中心，以预设尺寸绘制点云目标框。例如，可以是以映射点云为中心，以p为预设半径绘制点云目标框(正方形框)；还可以是以映射点云为中心，以2p为边长绘制点云目标框(正方形框)。
对于通过相机拍摄所得的图像，通过图像识别技术对目标进行图像识别得到图像识别目标框，同理，此处的图像识别目标框的形状可以为圆形框，也可以为矩形框，本申请并不对目标框的形状进行限制。示例性的，点云目标框与图像识别目标框最好为同一种形状的目标框，便于比较。
因为相机所拍摄的图像上包含了多个标定物，所以，需要从图像上获取标定物对应的点云目标框与图像识别目标框。即将图像上的点云目标框与图像识别目标框，两两之间进行配对，配对得到标定物对应的点云目标框与图像识别目标框。
本申请实施例中，在图像上以映射点云为中心，以预设尺寸绘制点云目标框，对图像进行图像识别得到图像识别目标框。获取标定物在图像上的点云目标框与图像识别目标框。实现了将标定物的毫米波点云对应的点云目标框，与相机所拍摄的图像上标定物的图像识别目标框之间在空间上进行匹配，从而，便于后续根据目标框匹配的程度进行毫米波雷达与相机联合标定。
在一个实施例中，基于各标定物对应的重叠面积调整初始联合标定参数直到重叠面积满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数，包括：
基于各标定物对应的重叠面积构建目标函数，通过目标函数调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。
具体的，目标函数也称之为损失函数(loss function)或代价函数(costfunction)。服务器在将毫米波点云数据对应的点云映射到图像上得到映射点云之后，获取标定物在图像上的点云目标框与图像识别目标框。计算标定物在图像上的点云目标框与图像识别目标框之间的重叠面积，再基于重叠面积构建目标函数，通过目标函数对初始外参矩阵不断调整直到目标函数的值满足预设阈值，输出调整后的外参矩阵作为毫米波雷达相对于相机的目标外参矩阵。
本申请实施例中，因为重叠面积越大，则说明毫米波点云数据对应的点云(下称为毫米波点云)与相机所拍摄的图像在空间上对齐的准确率越高。通过重叠面积所构建的目标函数就可以验证出毫米波雷达相对于相机的初始联合标定参数的准确性，对毫米波雷达相对于相机的初始联合标定参数进行不断优化直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。实现了通过毫米波雷达和相机来进行自标定，不需要使用特定标定物(例如标定板)，避免了浪费人力物力。最终提高了标定过程的效率和该联合标定方法的可复用性。
在一个实施例中，基于各标定物对应的重叠面积构建目标函数，包括：
计算各标定物对应的重叠面积与点云目标框或图像识别框的面积的比值；
对各个标定物对应的比值计算均值、方差或标准差；
基于均值、方差或标准差构建目标函数。
具体的，对于各标定物计算在图像上的点云目标框与图像识别目标框之间的重叠面积，然后，计算该重叠面积与该标定物对应的点云目标框或图像识别框的面积的比值R。例如，假设从图像上共选取了10个标定物(目标)，则对于每一个目标都计算出了一个重叠面积与该目标对应的点云目标框的面积的比值R(包括R1-R10的10个数据)。则再对各个目标对应的重叠面积与点云目标框的面积的比值计算均值、方差或标准差，即对R1-R10的10个数据计算出均值M、方差V或标准差SD。
在计算出了均值M、方差V或标准差SD之后，就可以基于均值M、方差V或标准差SD构建目标函数。
例如，以均值M为例，所构建的目标函数如下所示：
其中，Mk+1、Mk表示均值，γk表示步长，Gk表示梯度。
本申请实施例中，通过计算重叠面积与点云目标框的面积的比值，对各个标定物对应的重叠面积与点云目标框或图像识别框的面积的比值计算均值、方差或标准差，再基于均值、方差或标准差构建目标函数。对一开始所选取的多对毫米波点云数据及对应的图像中，对于每一帧图像计算图像上每一个标定物对应的重叠面积与点云目标框或图像识别框的面积的比值的均值、方差或标准差，再基于均值、方差或标准差构建目标函数。如此，则构建目标函数的样本数据较丰富，就在一定程度上提高了所构建的目标函数的准确性。
在一个实施例中，通过目标函数调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数，包括：
采用梯度下降算法计算目标函数的值；
根据目标函数的值调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。
具体的，目标函数如上述公式(1-13)所示，可以同时采用梯度下降算法来计算目标函数的值。其中，梯度下降(gradient descent)算法可以应用到线性回归或非线性回归的问题中，采用梯度下降算法通过迭代找到目标函数的最小值，或者收敛到最小值。
梯度下降是迭代法的一种，可以用于求解最小二乘问题。在求解神经网络的参数时，梯度下降是最常采用的方法之一。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和各项参数的值，也即是步骤501中记载的对该损失函数进行优化，直至该损失函数的值小于该预设阈值。Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络的各项权重，Adam可以为不同的参数设计独立的自适应性学习率。Adam具体公式如下：
其中，其中t表示次数，
为mt的纠正，
为vt的纠正，β1和β2是常数，控制指数衰减，mt是梯度的指数移动均值，通过梯度Gk的一阶矩求得。vt是平方梯度，通过梯度Gk的二阶矩求得，α和∈都是系数。
具体的，采用梯度下降算法计算目标函数的值之后，因为预先对目标函数的值设置了预设阈值，所以，根据目标函数的值调整初始外参矩阵直到目标函数的值满足预设阈值，输出调整后的外参矩阵作为毫米波雷达相对于相机的目标外参矩阵。其中，联合标定参数也可以称之为外参矩阵。当然，本申请中也可以采用其他的优化算法来计算目标函数的值，本申请对此不做限定。
本申请实施例中，因为重叠面积越大，则说明毫米波点云数据对应的点云(下称为毫米波点云)与相机所拍摄的图像在空间上对齐的准确率越高。且通过计算重叠面积与点云目标框的面积的比值，对各个标定物(目标)对应的重叠面积与点云目标框的面积的比值计算均值，再基于均值构建出目标函数。根据目标函数的值调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。就是实现了通过重叠面积来调整毫米波点云数据对应的点云(下称为毫米波点云)与相机所拍摄的图像在空间上不断对齐，直到目标函数的值满足预设阈值，输出此时调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。最终实现了通过毫米波雷达和相机来进行自标定，不需要使用特定标定物，避免了浪费人力物力。
在一个实施例中，提供了一种毫米波雷达与相机联合标定方法，还包括：将毫米波雷达及相机调整至预设角度，并固定毫米波雷达及相机之间的相对位置。
本申请实施例中，在对毫米波雷达及相机进行标定之前，将毫米波雷达及相机调整至预设角度，并固定毫米波雷达及相机之间的相对位置。便于后续将毫米波雷达的球坐标系通过世界坐标系与相机所在的相机坐标系进行相互转换。且该预设角度指的是毫米波雷达和相机共同覆盖的重叠区域较多时所对应的角度。例如，将毫米波雷达调整为相对于竖直方向下倾角度在3°-5°之间，将相机调整为相对于竖直方向下倾角度在5°-15°之间。当然，本申请并不对此进行限定。
在一个具体的实施例中，如图6所示，提供了一种毫米波雷达与相机联合标定方法，包括：
步骤602，调整毫米波雷达和相机到合适角度，组装毫米波雷达和相机的融合套件；
步骤604，获取同一时刻、同一场景下采集的图像和与图像对应的毫米波点云数据；
步骤606，计算毫米波雷达相对于相机的初始外参矩阵；
步骤608，基于相机内参矩阵、相机畸变系数、初始外参矩阵，根据透射变换原理将毫米波点云映射到图像上，获取各个毫米波点云在图像上的二维坐标；
步骤610，在图像上以映射点云为中心，以预设尺寸绘制点云目标框，对图像进行图像识别得到图像识别目标框；
步骤612，计算标定物在图像上的点云目标框与图像识别目标框之间的重叠面积；
步骤614，计算重叠面积与点云目标框或图像识别框的面积的比率；对各标定物对应的重叠面积与点云目标框的面积的比率计算均值；
步骤616，判断均值是否大于等于25％，若是，则进入步骤618；若否，则进入步骤620；
步骤618，说明毫米波雷达与相机联合标定精度满足预设条件，输出此时的毫米波雷达相对于相机的外参矩阵用于后续的毫米波点云数据与图像数据的融合；
步骤620，说明毫米波雷达与相机联合标定精度不满足预设条件，采用此时毫米波雷达和相机自标定所得的外参矩阵对初始外参矩阵进行更新，返回至步骤608重新进行毫米波雷达与相机的联合标定，直到判断出均值是否大于等于25％，进入步骤618。
本申请实施例中，将毫米波点云数据对应的点云映射到图像上得到映射点云。再计算标定物在图像上的点云目标框与图像识别目标框之间的重叠面积，基于重叠面积调整初始外参矩阵直到重叠面积满足预设阈值，输出调整后的外参矩阵作为毫米波雷达相对于相机的目标外参矩阵。通过毫米波雷达与相机进行自标定，不需要使用特定标定物，避免了浪费人力物力，因为不需要使用标定物就也提高了该联合标定方法的可复用性。
在一个实施例中，如图7所示，提供了一种毫米波雷达与相机联合标定装置700，包括：
数据采集模块720，用于获取同一时刻、同一场景下采集的图像和毫米波点云数据；
点云映射模块740，用于根据相机的内参矩阵、毫米波雷达相对于相机的初始联合标定参数，将毫米波点云数据对应的点云映射到图像上得到映射点云；
重叠面积计算模块760，用于计算标定物在图像上的点云目标框与图像识别目标框之间的重叠面积，所述标定物为所述相机和所述毫米波雷达重叠检测区域中的至少一个目标，点云目标框为基于映射点云中的标定物在图像上绘制的目标框，图像识别目标框为对图像进行图像识别所得的所述标定物的目标框；
目标联合标定参数输出模块780，用于基于各标定物对应的重叠面积调整初始联合标定参数直到重叠面积满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。
在一个实施例中，如图8所示，提供了一种毫米波雷达与相机联合标定装置700，还包括：
初始联合标定参数计算模块730，用于将毫米波雷达在球坐标系中的坐标转换为毫米波雷达在世界坐标系中的坐标；将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标；根据毫米波雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，计算毫米波雷达相对于相机的初始联合标定参数。
在一个实施例中，点云映射模块740，包括：
相机的内参矩阵、畸变系数计算单元，用于计算相机的内参矩阵、相机的畸变系数；
坐标转换单元，用于将毫米波点云数据在球坐标系中的坐标，转换为在世界坐标系中的坐标；
透射变换单元，用于将相机的内参矩阵、相机的畸变系数、毫米波雷达相对于相机的初始联合标定参数及毫米波点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算毫米波点云数据对应的点云在像素坐标系中的坐标；
映射点云获取单元，用于从图像上提取点云在像素坐标系中的坐标处的像素点，作为映射点云。
在一个实施例中，提供了一种毫米波雷达与相机联合标定装置700，还包括：目标框确定模块，用于针对所述图像上的每个标定物，在图像上以映射点云为中心，以预设尺寸绘制点云目标框；对图像进行图像识别得到图像识别目标框；获取标定物在图像上的点云目标框与图像识别目标框。
在一个实施例中，目标联合标定参数输出模块780，还用于基于各标定物对应的重叠面积构建目标函数，通过目标函数调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。
在一个实施例中，目标联合标定参数输出模块780，还用于计算各标定物对应的重叠面积与点云目标框或图像识别框的面积的比值；对各个标定物对应的比值计算均值、方差或标准差；基于均值、方差或标准差构建目标函数。
在一个实施例中，目标联合标定参数输出模块780，还用于采用梯度下降算法计算目标函数的值；根据目标函数的值调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为毫米波雷达相对于相机的目标联合标定参数。
在一个实施例中，提供了一种毫米波雷达与相机联合标定装置700，还包括：毫米波雷达及相机固定模块，用于将毫米波雷达及相机调整至预设角度，并固定毫米波雷达及相机之间的相对位置。
上述毫米波雷达与相机联合标定装置中各个模块的划分仅用于举例说明，在其他实施例中，可将毫米波雷达与相机联合标定装置按照需要划分为不同的模块，以完成上述毫米波雷达与相机联合标定装置的全部或部分功能。
图9为一个实施例中服务器的内部结构示意图。如图9所示，该服务器包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个服务器的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种毫米波雷达与相机联合标定方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该服务器可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的毫米波雷达与相机联合标定装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行毫米波雷达与相机联合标定方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行毫米波雷达与相机联合标定方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种毫米波雷达与相机联合标定方法，其特征在于，包括：
获取同一时刻、同一场景下采集的图像和毫米波点云数据；
根据相机的内参矩阵、毫米波雷达相对于所述相机的初始联合标定参数，将所述毫米波点云数据对应的点云映射到所述图像上得到映射点云；
计算标定物在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述标定物为所述相机和所述毫米波雷达重叠检测区域中的至少一个目标，所述点云目标框为基于所述映射点云中的标定物在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行图像识别所得的所述标定物的目标框；
基于各标定物对应的所述重叠面积调整所述初始联合标定参数直到所述重叠面积满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于所述相机的目标联合标定参数。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述毫米波雷达在球坐标系中的坐标转换为所述毫米波雷达在世界坐标系中的坐标；
将所述相机在相机坐标系中的坐标转换为所述相机在所述世界坐标系中的坐标；
根据所述毫米波雷达在所述世界坐标系中的坐标、所述相机在所述世界坐标系中的坐标，计算所述毫米波雷达相对于所述相机的初始联合标定参数。
3.根据权利要求1或2所述的方法，其特征在于，根据所述相机的内参矩阵、所述毫米波雷达相对于所述相机的初始联合标定参数，将所述毫米波点云数据对应的点云映射到所述图像上得到映射点云，包括：
计算所述相机的内参矩阵、所述相机的畸变系数；
将所述毫米波点云数据在球坐标系中的坐标，转换为在世界坐标系中的坐标；
将所述相机的内参矩阵、所述相机的畸变系数、所述毫米波雷达相对于所述相机的初始联合标定参数及所述毫米波点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算所述毫米波点云数据对应的点云在像素坐标系中的坐标；
从所述图像上提取所述点云在像素坐标系中的坐标处的像素点，作为映射点云。
4.根据权利要求1或2所述的方法，其特征在于，在所述计算标定物在所述图像上的点云目标框与图像识别目标框之间的重叠面积之前，还包括：
针对所述图像上的每个标定物，在所述图像上以所述映射点云为中心，以预设尺寸绘制点云目标框；
对所述图像进行图像识别得到图像识别目标框；
获取标定物在所述图像上的点云目标框与图像识别目标框。
5.根据权利要求1或2所述的方法，其特征在于，所述基于各标定物对应的所述重叠面积调整所述初始联合标定参数直到所述重叠面积满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于所述相机的目标联合标定参数，包括：
基于各标定物对应的所述重叠面积构建目标函数，通过所述目标函数调整所述初始联合标定参数直到所述目标函数的值满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于相机的目标联合标定参数。
6.根据权利要求5所述的方法，其特征在于，基于各标定物对应的所述重叠面积构建目标函数，包括：
计算各标定物对应的重叠面积与点云目标框或图像识别框的面积的比值；
对各个标定物对应的比值计算均值、方差或标准差；
基于所述均值、方差或标准差构建目标函数。
7.根据权利要求5所述的方法，其特征在于，所述通过所述目标函数调整所述初始联合标定参数直到所述目标函数的值满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于相机的目标联合标定参数，包括：
采用梯度下降算法计算所述目标函数的值；
根据所述目标函数的值调整所述初始联合标定参数直到所述目标函数的值满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于相机的目标联合标定参数。
8.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
将所述毫米波雷达及所述相机调整至预设角度，并固定所述毫米波雷达及所述相机之间的相对位置。
9.一种毫米波雷达与相机联合标定装置，其特征在于，包括：
数据采集模块，用于获取同一时刻、同一场景下采集的图像和毫米波点云数据；
点云映射模块，用于根据相机的内参矩阵、毫米波雷达相对于所述相机的初始联合标定参数，将所述毫米波点云数据对应的点云映射到所述图像上得到映射点云；
重叠面积计算模块，用于计算标定物在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述标定物为所述相机和所述毫米波雷达重叠检测区域中的至少一个目标，所述点云目标框为基于所述映射点云中的标定物在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行图像识别所得的所述标定物的目标框；
目标联合标定参数输出模块，用于基于各标定物对应的所述重叠面积调整所述初始联合标定参数直到所述重叠面积满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于所述相机的目标联合标定参数。
10.一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的毫米波雷达与相机联合标定方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的毫米波雷达与相机联合标定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010845159.9A CN114076919A (zh) | 2020-08-20 | 2020-08-20 | 毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010845159.9A CN114076919A (zh) | 2020-08-20 | 2020-08-20 | 毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114076919A true CN114076919A (zh) | 2022-02-22 |
Family
ID=80282083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010845159.9A Pending CN114076919A (zh) | 2020-08-20 | 2020-08-20 | 毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114076919A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114076918A (zh) * | 2020-08-20 | 2022-02-22 | 北京万集科技股份有限公司 | 毫米波雷达、激光雷达与相机联合标定方法和装置 |
| CN116594028A (zh) * | 2022-11-17 | 2023-08-15 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN116862922A (zh) * | 2023-06-20 | 2023-10-10 | 运来智能装备(无锡)有限公司 | 基于图像分割与雷达信息融合的目标定位方法、系统及介质 |
| CN117784121A (zh) * | 2024-02-23 | 2024-03-29 | 四川天府新区北理工创新装备研究院 | 一种路侧传感器联合标定方法、系统及电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107966700A (zh) * | 2017-11-20 | 2018-04-27 | 天津大学 | 一种用于无人驾驶汽车的前方障碍物检测系统及方法 |
| CN108509918A (zh) * | 2018-04-03 | 2018-09-07 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| CN109949372A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种激光雷达与视觉联合标定方法 |
| CN110390697A (zh) * | 2019-07-11 | 2019-10-29 | 浙江大学 | 一种基于lm算法的毫米波雷达与摄像头联合标定方法 |
| CN110794405A (zh) * | 2019-10-18 | 2020-02-14 | 北京全路通信信号研究设计院集团有限公司 | 一种基于相机和雷达融合的目标检测方法及系统 |
| US20200116867A1 (en) * | 2018-10-12 | 2020-04-16 | Baidu Usa Llc | Automatic lidar calibration based on pre-collected static reflection map for autonomous driving |
| CN111127563A (zh) * | 2019-12-18 | 2020-05-08 | 北京万集科技股份有限公司 | 联合标定方法、装置、电子设备及存储介质 |
| CN111179358A (zh) * | 2019-12-30 | 2020-05-19 | 浙江商汤科技开发有限公司 | 标定方法、装置、设备及存储介质 |
| CN111308448A (zh) * | 2018-12-10 | 2020-06-19 | 杭州海康威视数字技术股份有限公司 | 图像采集设备与雷达的外参确定方法及装置 |
| CN111415385A (zh) * | 2020-03-02 | 2020-07-14 | 武汉大学 | 激光雷达和多线阵相机组合系统的相对位姿参数优化方法 |
-
2020
- 2020-08-20 CN CN202010845159.9A patent/CN114076919A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107966700A (zh) * | 2017-11-20 | 2018-04-27 | 天津大学 | 一种用于无人驾驶汽车的前方障碍物检测系统及方法 |
| CN108509918A (zh) * | 2018-04-03 | 2018-09-07 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
| US20200116867A1 (en) * | 2018-10-12 | 2020-04-16 | Baidu Usa Llc | Automatic lidar calibration based on pre-collected static reflection map for autonomous driving |
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| CN111308448A (zh) * | 2018-12-10 | 2020-06-19 | 杭州海康威视数字技术股份有限公司 | 图像采集设备与雷达的外参确定方法及装置 |
| CN109949372A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种激光雷达与视觉联合标定方法 |
| CN110390697A (zh) * | 2019-07-11 | 2019-10-29 | 浙江大学 | 一种基于lm算法的毫米波雷达与摄像头联合标定方法 |
| CN110794405A (zh) * | 2019-10-18 | 2020-02-14 | 北京全路通信信号研究设计院集团有限公司 | 一种基于相机和雷达融合的目标检测方法及系统 |
| CN111127563A (zh) * | 2019-12-18 | 2020-05-08 | 北京万集科技股份有限公司 | 联合标定方法、装置、电子设备及存储介质 |
| CN111179358A (zh) * | 2019-12-30 | 2020-05-19 | 浙江商汤科技开发有限公司 | 标定方法、装置、设备及存储介质 |
| CN111415385A (zh) * | 2020-03-02 | 2020-07-14 | 武汉大学 | 激光雷达和多线阵相机组合系统的相对位姿参数优化方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114076918A (zh) * | 2020-08-20 | 2022-02-22 | 北京万集科技股份有限公司 | 毫米波雷达、激光雷达与相机联合标定方法和装置 |
| CN116594028A (zh) * | 2022-11-17 | 2023-08-15 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN116594028B (zh) * | 2022-11-17 | 2024-02-06 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN116862922A (zh) * | 2023-06-20 | 2023-10-10 | 运来智能装备(无锡)有限公司 | 基于图像分割与雷达信息融合的目标定位方法、系统及介质 |
| CN116862922B (zh) * | 2023-06-20 | 2024-03-19 | 运来智能装备(无锡)有限公司 | 基于图像分割与雷达信息融合的目标定位方法、系统及介质 |
| CN117784121A (zh) * | 2024-02-23 | 2024-03-29 | 四川天府新区北理工创新装备研究院 | 一种路侧传感器联合标定方法、系统及电子设备 |
| CN117784121B (zh) * | 2024-02-23 | 2024-06-25 | 四川天府新区北理工创新装备研究院 | 一种路侧传感器联合标定方法、系统及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114076918A (zh) | 毫米波雷达、激光雷达与相机联合标定方法和装置 | |
| CN114076919A (zh) | 毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 | |
| CN114076937A (zh) | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 | |
| CN112132972B (zh) | 一种激光与图像数据融合的三维重建方法及系统 | |
| CN106529495B (zh) | 一种飞行器的障碍物检测方法和装置 | |
| CN110363158B (zh) | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 | |
| KR102586208B1 (ko) | 물체의 재질 정보 및 외부 형태 정보를 고려한 통신 채널 분석 방법 및 장치 | |
| US10713841B1 (en) | System for generating point cloud map and method therefor | |
| CN110889829B (zh) | 一种基于鱼眼镜头的单目测距方法 | |
| CN108574929A (zh) | 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备 | |
| CN115797454B (zh) | 一种鸟瞰图视角下多摄像机融合感知方法及装置 | |
| CN114332494A (zh) | 车路协同场景下基于多源融合的三维目标检测与识别方法 | |
| CN114076936A (zh) | 联合标定参数的精度评估方法和装置、服务器、计算机可读存储介质 | |
| CN112037249A (zh) | 一种对摄像装置影像中物体进行跟踪的方法及装置 | |
| CN111856445B (zh) | 一种目标检测方法、装置、设备及系统 | |
| CN113139602A (zh) | 基于单目相机和激光雷达融合的3d目标检测方法及系统 | |
| CN109658451B (zh) | 一种深度感知方法，装置和深度感知设备 | |
| CN114255197A (zh) | 一种红外与可见光图像自适应融合对齐方法及系统 | |
| CN114076935A (zh) | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 | |
| CN110826364A (zh) | 一种库位识别方法及装置 | |
| CN108844527A (zh) | 基站天线工程参数获取方法和系统、存储介质及设备 | |
| CN114332215A (zh) | 多传感标定方法、装置、计算机设备和存储介质 | |
| CN114898144B (zh) | 一种基于相机和毫米波雷达数据的自动对齐方法 | |
| CN116385994A (zh) | 一种三维道路线提取方法及相关设备 | |
| CN115690711A (zh) | 一种目标检测方法、装置及智能车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |