CN116152333B - 一种相机外参标定的方法、装置、设备及介质 - Google Patents

一种相机外参标定的方法、装置、设备及介质 Download PDF

Info

Publication number
CN116152333B
CN116152333B CN202310406521.6A CN202310406521A CN116152333B CN 116152333 B CN116152333 B CN 116152333B CN 202310406521 A CN202310406521 A CN 202310406521A CN 116152333 B CN116152333 B CN 116152333B
Authority
CN
China
Prior art keywords
camera
dense
image
points
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310406521.6A
Other languages
English (en)
Other versions
CN116152333A (zh
Inventor
郝佰田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Transportation Technology Co ltd
Original Assignee
Tianyi Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Transportation Technology Co ltd filed Critical Tianyi Transportation Technology Co ltd
Priority to CN202310406521.6A priority Critical patent/CN116152333B/zh
Publication of CN116152333A publication Critical patent/CN116152333A/zh
Application granted granted Critical
Publication of CN116152333B publication Critical patent/CN116152333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种相机外参标定的方法、装置、设备及介质，方法包括：获取相机的初始外参和相机内参；基于相机的初始外参和高精地图对稠密点云中的路面标志进行提取；对相机图像中的路面标志进行提取；基于稠密点云中的路面标志的坐标和相机图像中的路面标志的坐标设计误差函数；基于误差函数对相机外参进行非线性优化以得到最终相机外参。通过使用本发明的方案，能够无需在道路上部署特制标定板就能实现相机外参的标定，标定过程不需要人工参与，能够大幅提高标定效率，节约人力成本，能够提高标定结果的准确性和鲁棒性，降低噪音对标定结果的影响。本发明涉及相机外参标定领域。

Description

一种相机外参标定的方法、装置、设备及介质
技术领域
本发明涉及相机外参标定领域，并且更具体地涉及一种相机外参标定的方法、装置、设备及可读介质。
背景技术
相机外参是用于表示相机在某相对坐标系中位置和姿态的一组数据，包括相对于坐标系的坐标和绕坐标系三个轴的旋转量，因此需要在相机固定在某相对坐标系之后，才能确定相机外参。最常用的外参标定方法是使用特制的标定板进行标定，该方法适用于室内简单环境，而一旦进入室外环境，由于背景复杂多变、空间限制、道路安全等问题，很难通过特制的标定板进行标定。
发明内容
有鉴于此，本发明实施例的目的在于提出一种相机外参标定的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够无需在道路上部署特制标定板就能实现相机外参的标定，标定过程不需要人工参与，能够大幅提高标定效率，节约人力成本，能够提高标定结果的准确性和鲁棒性，降低噪音对标定结果的影响。
基于上述目的，本发明的实施例的一个方面提供了一种相机外参标定的方法，包括以下步骤：
获取相机的初始外参和相机内参；
基于相机的初始外参和高精地图对稠密点云中的路面标志进行提取；
对相机图像中的路面标志进行提取；
基于稠密点云中的路面标志的坐标和相机图像中的路面标志的坐标设计误差函数；
基于误差函数对相机外参进行非线性优化以得到最终相机外参。
根据本发明的一个实施例，获取相机的初始外参和相机内参包括：
获取相机在坐标系下的初始位姿，并获取相机与水平面的夹角、相机的滚动角和相机的偏航角进而到相机的初始外参；
在室内使用标定板对相机进行标定以获得相机内参。
根据本发明的一个实施例，基于相机的初始外参和高精地图对稠密点云中的路面标志进行提取包括：
基于相机的初始位置和朝向定向加载高精地图中相应区域的路面标志，并将路面标志进行分类；
加载相应区域的稠密点云数据；
利用半径搜索算法遍历稠密点云数据，并提取出高精地图中路面标志分类中的每一类对应的稠密点云；
对每一类稠密点云进行过滤以得到稠密点云中的路面标志的三维点集。
根据本发明的一个实施例，基于相机的初始位置和朝向定向加载高精地图中相应区域的路面标志，并将路面标志进行分类包括：
在以相机初始位置为圆心，相机朝向的前方半径L米和角度2A°的扇形范围内定向加载高精地图中的路面标志，其中半径L覆盖相机照射区域，扇形角度2A°大于相机的视场角；
将路面标志分为黄色线、白色线和车道中心线。
根据本发明的一个实施例，利用半径搜索算法遍历稠密点云数据，并提取出高精地图中路面标志分类中的每一类对应的稠密点云包括：
遍历稠密点云数据dense_points，提取出距离车道边缘黄色线和白色线小于R1的稠密点云dense_yellow_lines和dense_white_lines；
提取出距离车道中心线小于R2的稠密点云dense_lane_marks。
根据本发明的一个实施例，对每一类稠密点云进行过滤以得到稠密点云中的路面标志的三维点集包括：
利用路面标志在激光雷达下反射率高的特点对三类稠密点云进行过滤，以得到最终的三类三维点集dense_yellow_points、dense_white_points和dense_lane_marks_points。
根据本发明的一个实施例，对相机图像中的路面标志进行提取包括：
将相机图像进行灰度处理以得到灰度图像；
使用最大类间分割算法对灰度图像进行计算以得出分割阈值T，并利用分割阈值T对灰度图像进行分割以得到像素值全部大于分割阈值T的新灰度图像，并将小于分割阈值T的像素点置零；
响应于非零像素点的个数大于总像素点个数的预设倍，用新灰度图像更新灰度图像并重复上一个步骤直至非零像素点的个数小于总像素点个数的预设倍；
将最终得到的灰度图像进行二值化处理，然后经过n次形态学闭操作和m次开操作去除噪点；
将相机图像转换到HSV色域空间，设置黄色点的阈值区间，并根据二值图非零值对应HSV图像像素值是否落在黄色区间将二值图像分为黄色区域二值图像和非黄色区域二值图像。
根据本发明的一个实施例，基于稠密点云中的路面标志的坐标和相机图像中的路面标志的坐标设计误差函数包括：
将地图坐标系下三维点转换到相机坐标系下的三维点/>，再映射成图像坐标系下的二维点/>；
在二值图像中搜索与映射点最近的点/>作为优化目标；
将Y轴方向的权重设置为：weight_y = (Y_C +) / Y_max，其中Y_max为图像的Y轴方向尺寸，Y_C为用于控制权重范围的常量，weight_y为Y轴方向的权重；
将X轴方向的权重设置为：weight_x = X_C - abs(2*/X_max - 1)，其中X_max为图像的X轴方向尺寸，X_C为用于控制权重范围常量，weight_x为X轴方向的权重；
将总的权重设置为W = a * weighti+ b * weight_x + c * weight_y，其中a、b、c用于控制权重比例的常量，weighti为每一类稠密点云的权重，W为总的权重；
误差函数定义为：，其中N为点云总数。
根据本发明的一个实施例，将地图坐标系下三维点转换到相机坐标系下的三维点/>，再映射成图像坐标系下的二维点/>包括：
使用转换公式：将地图坐标系下三维点映射成图像坐标系下的二维点，其中K为相机内参，/>为相机外参。
根据本发明的一个实施例，在二值图像中搜索与映射点最近的点/>作为优化目标包括：
点云中dense_yellow_points的映射点在黄色区域二值图像中搜索；
点云中dense_white_points和dense_lane_marks_points的映射点在非黄色区域二值图像中搜索。
根据本发明的一个实施例，基于误差函数对相机外参进行非线性优化以得到最终相机外参包括：
调整相机外参使误差函数的值最小以得到最终的相机外参。
本发明的实施例的另一个方面，还提供了一种相机外参标定的装置，装置包括：
获取模块，获取模块配置为获取相机的初始外参和相机内参；
第一提取模块，第一提取模块配置为基于相机的初始外参和高精地图对稠密点云中的路面标志进行提取；
第二提取模块，第二提取模块配置为对相机图像中的路面标志进行提取；
设定模块，设定模块配置为基于稠密点云中的路面标志的坐标和相机图像中的路面标志的坐标设计误差函数；
优化模块，优化模块配置为基于误差函数对相机外参进行非线性优化以得到最终相机外参。
本发明的实施例的另一个方面，还提供了一种计算机设备，该计算机设备包括：
至少一个处理器；以及
存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述任意一项方法的步骤。
本发明的实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意一项方法的步骤。
本发明具有以下有益技术效果：本发明实施例提供的相机外参标定的方法，通过获取相机的初始外参和相机内参；基于相机的初始外参和高精地图对稠密点云中的路面标志进行提取；对相机图像中的路面标志进行提取；基于稠密点云中的路面标志的坐标和相机图像中的路面标志的坐标设计误差函数；基于误差函数对相机外参进行非线性优化以得到最终相机外参的技术方案，能够无需在道路上部署特制标定板就能实现相机外参的标定，标定过程不需要人工参与，能够大幅提高标定效率，节约人力成本，能够提高标定结果的准确性和鲁棒性，降低噪音对标定结果的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为根据本发明一个实施例的相机外参标定的方法的示意性流程图；
图2为根据本发明一个实施例的高精地图加载范围的示意图；
图3为根据本发明一个实施例的相机图像处理的示意图；
图4为根据本发明一个实施例的相机外参标定的方法的示意性流程图；
图5为根据本发明一个实施例的相机外参标定的装置的示意图；
图6为根据本发明一个实施例的计算机设备的示意图；
图7为根据本发明一个实施例的计算机可读存储介质的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
基于上述目的，本发明的实施例的第一个方面，提出了一种相机外参标定的方法的一个实施例。图1示出的是该方法的示意性流程图。
如图1中所示，该方法可以包括以下步骤：
S1获取相机的初始外参和相机内参。
S2基于相机的初始外参和高精地图对稠密点云中的路面标志进行提取。
S3对相机图像中的路面标志进行提取。
S4基于稠密点云中的路面标志的坐标和相机图像中的路面标志的坐标设计误差函数。
S5基于误差函数对相机外参进行非线性优化以得到最终相机外参。
通过使用本发明的技术方案，能够无需在道路上部署特制标定板就能实现相机外参的标定，标定过程不需要人工参与，能够大幅提高标定效率，节约人力成本，能够提高标定结果的准确性和鲁棒性，降低噪音对标定结果的影响。
在本发明的一个优选实施例中，获取相机的初始外参和相机内参包括：
获取相机在坐标系下的初始位姿，并获取相机与水平面的夹角、相机的滚动角和相机的偏航角进而到相机的初始外参；
在室内使用标定板对相机进行标定以获得相机内参。为了将点云地图中的车道线点云投影到相机图像中，首先需要知道相机在地图坐标系下的初始位姿，其中相机位置坐标xyz可以通过GPS测量转换、安装杆位置信息等手段确定初值，旋转姿态信息可以根据路侧相机安装特点进行估计，估计方法如下：
1)、相机坐标系Z轴（相机照射方向）一般与水平面成α°±Δα°，其中α向下为正，向上为负，因此可以将相机俯仰角设置为90°+α°；
2)、相机安装时一般不会左右倾斜，因此滚动角初始化为0°；
3)、以相机照射方向与正北方向的夹角γ°作为相机偏航角，该角度可以通过直接测量相机朝向获得。至此相机的初始位置与姿态都已经确定，可以确定出相机初始外参:，其中R（旋转参数）为3×3的旋转矩阵，T（平移参数）为3×1的平移矩阵。相机内参K可以使用标定板在室内标定获得，如使用张正友标定法等，其中K为3×3的矩阵。
在本发明的一个优选实施例中，基于相机的初始外参和高精地图对稠密点云中的路面标志进行提取包括：
基于相机的初始位置和朝向定向加载高精地图中相应区域的路面标志，并将路面标志进行分类；
加载相应区域的稠密点云数据；
利用半径搜索算法遍历稠密点云数据，并提取出高精地图中路面标志分类中的每一类对应的稠密点云；
对每一类稠密点云进行过滤以得到稠密点云中的路面标志的三维点集。为降低在稠密点云中提取路面标志区域点云的难度，提高点云提取的准确度，可以借助已有的高精地图进行提取，提取过程中利用高精地图中的属性对稠密点云进行区分，保证后续匹配的准确性。在高精地图中，车道边缘线和车道中心线由一些列点构成，在知道相机初始位置与朝向之后，可以通过定向加载的方式加载高精地图的车道边缘线和车道中心线，定向加载方式如下：当车道线上的点落在以相机初始位置为圆心，前方半径L米、扇形角2A°的扇形范围内时，则对该点进行加载，加载区域如图2所示，其中半径和角度根据相机的属性进行设定，加载半径L应尽可能覆盖相机照射区域，扇形角2A°应大于相机的视场角。在加载过程中，根据车道边缘线是否为黄色的属性将车道边缘线分为两类：yellow_lines（黄色线）和white_lines（白色线），车道中心线为lane_centerlines（中心线），同时要增加车道线上的点的密度，保证车道线上连续两个点的距离小于MIN_DIS米，该值可以根据需要设定。
同理，加载上述区域的稠密点云数据 dense_points（稠密点），然后利用半径搜索算法遍历稠密点云数据 dense_points，提取出距离车道边缘线yellow_lines和white_lines小于R1的稠密点云dense_yellow_lines（稠密黄色线）和dense_white_lines（稠密白色线），提取出距离车道中心线lane_centerlines小于R2的稠密点云dense_lane_marks（稠密标志线，如左转标志线）。R1的值应同时大于车道线宽度和MIN_DIS，如车道线宽度0.3米，MIN_DIS等于0.5米，R1可以设置为0.6米，R2值应在车道宽度的二分之一附近取值，如车道宽3.7米，R2可以设置为1.85米。
最后利用路面标志在激光雷达下反射率高的特点对上述三类稠密点云进行过滤，得到最终的三类三维点集：dense_yellow_points（稠密黄色点）、dense_white_points（稠密白色点）和dense_lane_marks_points（稠密标志线点）。
在本发明的一个优选实施例中，基于相机的初始位置和朝向定向加载高精地图中相应区域的路面标志，并将路面标志进行分类包括：
在以相机初始位置为圆心，相机朝向的前方半径L米和角度2A°的扇形范围内定向加载高精地图中的路面标志，其中半径L覆盖相机照射区域，扇形角度2A°大于相机的视场角；
将路面标志分为黄色线、白色线和车道中心线。
在本发明的一个优选实施例中，利用半径搜索算法遍历稠密点云数据，并提取出高精地图中路面标志分类中的每一类对应的稠密点云包括：
遍历稠密点云数据dense_points，提取出距离车道边缘黄色线和白色线小于R1的稠密点云dense_yellow_lines和dense_white_lines；
提取出距离车道中心线小于R2的稠密点云dense_lane_marks。R1的值应同时大于车道线宽度和MIN_DIS，如车道线宽度0.3米，MIN_DIS等于0.5米，R1可以设置为0.6米，R2值应在车道宽度的二分之一附近取值，如车道宽3.7米，R2可以设置为1.85米。
在本发明的一个优选实施例中，对每一类稠密点云进行过滤以得到稠密点云中的路面标志的三维点集包括：
利用路面标志在激光雷达下反射率高的特点对三类稠密点云进行过滤，以得到最终的三类三维点集dense_yellow_points、dense_white_points和dense_lane_marks_points。
在本发明的一个优选实施例中，对相机图像中的路面标志进行提取包括：
将相机图像进行灰度处理以得到灰度图像；
使用最大类间分割算法对灰度图像进行计算以得出分割阈值T，并利用分割阈值T对灰度图像进行分割以得到像素值全部大于分割阈值T的新灰度图像，并将小于分割阈值T的像素点置零；
响应于非零像素点的个数大于总像素点个数的预设倍，用新灰度图像更新灰度图像并重复上一个步骤直至非零像素点的个数小于总像素点个数的预设倍；
将最终得到的灰度图像进行二值化处理，然后经过n次形态学闭操作和m次开操作去除噪点；
将相机图像转换到HSV色域空间，设置黄色点的阈值区间，并根据二值图非零值对应HSV图像像素值是否落在黄色区间将二值图像分为黄色区域二值图像和非黄色区域二值图像。相机图像中车道线的提取可以利用深度学习的方法，也可以利用车传统方法进行，本文以传统特征提取方法为例，进行介绍，传统方法主要借助相机图像中白色、黄色车道线的灰度值高，而沥青路面灰度值低的特点进行提取，图像处理示意图如图3所示，具体步骤如下：
1)、将相机图形进行灰度处理，得到灰度图像gray_img；
2)、使用最大类间分割算法OTSU对灰度图像进行计算，得出分割阈值T，其中统计时忽略0像素值点；
3)、利用分割阈值对灰度图像进行分割，得到像素值全部大于T的新灰度图像，其中小于T的像素点置零；
4)、统计新灰度图像中非零像素点个数，如果非零像素点个数大于总像素点个数的1/N倍，用新灰度图像更新gray_img，并输入第2)步，直至非零像素点个数小于总像素点个数的1/N倍；
5)、将最终得到的灰度图像进行二值化处理，然后经过n次形态学闭操作和m次开操作去除噪点；
6)、将彩色相机图像转换到HSV色域空间，设置黄色点的阈值区间(h_low，s_low，v_low)到(h_high，s_high，v_high)，根据二值图非零值对应HSV图像像素值是否落在黄色区间将二值图像分为两部分：黄色区域二值图像yellow_img、非黄色区域二值图像no_yellow_img。
在本发明的一个优选实施例中，基于稠密点云中的路面标志的坐标和相机图像中的路面标志的坐标设计误差函数包括：
将地图坐标系下三维点转换到相机坐标系下的三维点/>，再映射成图像坐标系下的二维点/>；
在二值图像中搜索与映射点最近的点/>作为优化目标；
将Y轴方向的权重设置为：weight_y = (Y_C +) / Y_max，其中Y_max为图像的Y轴方向尺寸，Y_C为用于控制权重范围的常量，weight_y为Y轴方向的权重；
将X轴方向的权重设置为：weight_x = X_C - abs(2*/X_max - 1)，其中X_max为图像的X轴方向尺寸，X_C为用于控制权重范围常量，weight_x为X轴方向的权重；
将总的权重设置为W = a * weighti+ b * weight_x + c * weight_y，其中a、b、c用于控制权重比例的常量，weighti为每一类稠密点云的权重，W为总的权重；
误差函数定义为：，其中N为点云总数。
根据上面得到的三类三维点集和两张二值图像设计误差函数，步骤如下：
1）、利用相机成像原理对三类稠密点云进行映射，先将地图坐标系下三维点转换到相机坐标系下的三维点/>，再映射成图像坐标系下的二维点/>，转换公式如下：
，其中K为相机内参，/>为相机外参。
2）、在二值图像中搜索与映射点最近的点/>作为优化目标，其中点云dense_yellow_points的映射点在二值图像yellow_img中搜索，点云dense_white_points和dense_lane_marks_points的映射点在二值图像no_yellow_img中搜索，本专利中投影误差将根据点云类型的不同、投影点位置的不同，设置不同的权重
3）、Y轴方向权重设计为：根据相机安装特点，像素y值越大，距离相机越近，因此权重应该越大，因此设置权重为：weight_y = (Y_C +) / Y_max，其中Y_max为图像的Y轴方向尺寸，Y_C为常量用于控制权重范围，可以等于Y_max，/>为点Pu的纵坐标；
4）、X轴方向权重设计为：相机图像两侧往往遮挡比较严重，为防止干扰，应该适当减小其权重，因此设置权重为：weight_x = X_C - abs(2*/X_max - 1)，其中X_max 为图像的X轴方向尺寸，X_C为常量用于控制权重范围，取值应大于1，/>为点Pu的横坐标；
5）、对三类点云设置不同权重稀疏weighti，i取值1、2、3，其中，weight1代表dense_yellow_points对应权重，weight2代表 dense_white_points对应权重，weight3代表dense_lane_marks_points对应权重，因此总的权重W = a * weighti+ b * weight_x + c* weight_y，其中a、b、c用于控制权重比例，因此误差可以定义为：
。
在本发明的一个优选实施例中，将地图坐标系下三维点转换到相机坐标系下的三维点/>，再映射成图像坐标系下的二维点/>包括：
使用转换公式：将地图坐标系下三维点映射成图像坐标系下的二维点，其中K为相机内参，/>为相机外参。
在本发明的一个优选实施例中，在二值图像中搜索与映射点最近的点作为优化目标包括：
点云中dense_yellow_points的映射点在黄色区域二值图像中搜索；
点云中dense_white_points和dense_lane_marks_points的映射点在非黄色区域二值图像中搜索。
在本发明的一个优选实施例中，基于误差函数对相机外参进行非线性优化以得到最终相机外参包括：
调整相机外参使误差函数的值最小以得到最终的相机外参。非线性优化过程可以采用现有的优化库，如C++使用的g2o、ceres等，优化过程不属于本专利内容，此处不再详细介绍。完成一次优化之后，更新相机外参，重复误差函数设计和线性优化过程，进行投影匹配和参数优化，直至优化结果满足预设条件或者达到优化次数上限，输出最终的相机外参。
在本发明的一个优选实施例中，如图4所示，相机外参标定的方法包括：
1）获取相机图像，提取图像中高灰度值区域，将该区域按照是否为黄色进行区分；
2）根据相机位置定向加载相机附近地图中的车道线，根据车道线颜色和实虚的属性将车道线分为黄色线、非黄色实线和非黄色虚线；
3）将地图中黄色车道线上的点利用当前参数映射到相机图像上，根据最近点匹配原则，与图像中黄色区域进行匹配，地图中非黄色车道线与图像中非黄色区域用同样方法进行匹配；
4）设计误差函数，并根据车道线颜色、映射后的区域位置不同设计不同的误差权重；
5）利用非线性优化的方法，调整相机外参的6个参数，使当前匹配关系下误差最小；
6）根据重投影误差判断是否结束循环，如果不是，则更新相机外参并返回步骤3），如果是，则结束。
通过使用本发明的技术方案，能够无需在道路上部署特制标定板就能实现相机外参的标定，标定过程不需要人工参与，能够大幅提高标定效率，节约人力成本，能够提高标定结果的准确性和鲁棒性，降低噪音对标定结果的影响。
需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，上述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中存储介质可为磁碟、光盘、只读存储器（Read-Only Memory，ROM）或随机存取存储器（Random AccessMemory，RAM）等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外，根据本发明实施例公开的方法还可以被实现为由CPU 执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU 执行时，执行本发明实施例公开的方法中限定的上述功能。
基于上述目的，本发明的实施例的第二个方面，提出了一种相机外参标定的装置，如图5所示，装置200包括：
获取模块，获取模块配置为获取相机的初始外参和相机内参；
第一提取模块，第一提取模块配置为基于相机的初始外参和高精地图对稠密点云中的路面标志进行提取；
第二提取模块，第二提取模块配置为对相机图像中的路面标志进行提取；
设定模块，设定模块配置为基于稠密点云中的路面标志的坐标和相机图像中的路面标志的坐标设计误差函数；
优化模块，优化模块配置为基于误差函数对相机外参进行非线性优化以得到最终相机外参。
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备。图6示出的是本发明提供的计算机设备的实施例的示意图。如图6所示，本发明实施例包括如下装置：至少一个处理器21；以及存储器22，存储器22存储有可在处理器上运行的计算机指令23，指令由处理器执行时实现以上任一方法。
基于上述目的，本发明实施例的第四个方面，提出了一种计算机可读存储介质。图7示出的是本发明提供的计算机可读存储介质的实施例的示意图。如图7所示，计算机可读存储介质31存储有被处理器执行时执行如上任一方法的计算机程序32。
此外，根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时，执行本发明实施例公开的方法中限定的上述功能。
此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路（DSL）或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘（CD）、激光盘、光盘、数字多功能盘（DVD）、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围（包括权利要求）被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (13)

1.一种相机外参标定的方法，其特征在于，包括以下步骤：
获取相机的初始外参和相机内参；
基于相机的初始外参和高精地图对稠密点云中的路面标志进行提取，包括：
基于相机的初始位置和朝向定向加载高精地图中相应区域的路面标志，并将路面标志进行分类；
加载相应区域的稠密点云数据；
利用半径搜索算法遍历稠密点云数据，并提取出高精地图中路面标志分类中的每一类对应的稠密点云；
对每一类稠密点云进行过滤以得到稠密点云中的路面标志的三维点集；
对相机图像中的路面标志进行提取，包括：
将相机图像进行灰度处理以得到灰度图像；
使用最大类间分割算法对灰度图像进行计算以得出分割阈值T，并利用分割阈值T对灰度图像进行分割以得到像素值全部大于分割阈值T的新灰度图像，并将小于分割阈值T的像素点置零；
响应于非零像素点的个数大于总像素点个数的预设倍，用新灰度图像更新灰度图像并重复上一个步骤直至非零像素点的个数小于总像素点个数的预设倍；
基于稠密点云中的路面标志的坐标和相机图像中的路面标志的坐标设计误差函数；
基于误差函数对相机外参进行非线性优化以得到最终相机外参。
2.根据权利要求1所述的方法，其特征在于，获取相机的初始外参和相机内参包括：
获取相机在坐标系下的初始位姿，并获取相机与水平面的夹角、相机的滚动角和相机的偏航角进而到相机的初始外参；
在室内使用标定板对相机进行标定以获得相机内参。
3.根据权利要求1所述的方法，其特征在于，基于相机的初始位置和朝向定向加载高精地图中相应区域的路面标志，并将路面标志进行分类包括：
在以相机初始位置为圆心，相机朝向的前方半径L米和角度2A°的扇形范围内定向加载高精地图中的路面标志，其中半径L覆盖相机照射区域，扇形角度2A°大于相机的视场角；
将路面标志分为黄色线、白色线和车道中心线。
4.根据权利要求3所述的方法，其特征在于，利用半径搜索算法遍历稠密点云数据，并提取出高精地图中路面标志分类中的每一类对应的稠密点云包括：
遍历稠密点云数据dense_points，提取出距离车道边缘黄色线和白色线小于R1的稠密点云dense_yellow_lines和dense_white_lines；
提取出距离车道中心线小于R2的稠密点云dense_lane_marks。
5.根据权利要求4所述的方法，其特征在于，对每一类稠密点云进行过滤以得到稠密点云中的路面标志的三维点集包括：
利用路面标志在激光雷达下反射率高的特点对三类稠密点云进行过滤，以得到最终的三类三维点集dense_yellow_points、dense_white_points和dense_lane_marks_points。
6.根据权利要求1所述的方法，其特征在于，对相机图像中的路面标志进行提取包括：
将最终得到的灰度图像进行二值化处理，然后经过n次形态学闭操作和m次开操作去除噪点；
将相机图像转换到HSV色域空间，设置黄色点的阈值区间，并根据二值图非零值对应HSV图像像素值是否落在黄色区间将二值图像分为黄色区域二值图像和非黄色区域二值图像。
7.根据权利要求6所述的方法，其特征在于，基于稠密点云中的路面标志的坐标和相机图像中的路面标志的坐标设计误差函数包括：
将地图坐标系下三维点转换到相机坐标系下的三维点/>，再映射成图像坐标系下的二维点/>；
在二值图像中搜索与映射点最近的点/>作为优化目标；
将Y轴方向的权重设置为：weight_y = (Y_C + ) / Y_max，其中Y_max为图像的Y轴方向尺寸，Y_C为用于控制权重范围的常量，weight_y为Y轴方向的权重；
将X轴方向的权重设置为：weight_x = X_C - abs(2*/X_max - 1)，其中X_max 为图像的X轴方向尺寸，X_C为用于控制权重范围常量，weight_x为X轴方向的权重；
将总的权重设置为W = a * weighti+ b * weight_x + c * weight_y，其中a、b、c用于控制权重比例的常量，weighti为每一类稠密点云的权重，W为总的权重；
误差函数定义为：，其中N为点云总数。
8.根据权利要求7所述的方法，其特征在于，将地图坐标系下三维点转换到相机坐标系下的三维点/>，再映射成图像坐标系下的二维点/>包括：
使用转换公式：将地图坐标系下三维点映射成图像坐标系下的二维点，其中K为相机内参，/>为相机外参。
9.根据权利要求7所述的方法，其特征在于，在二值图像中搜索与映射点最近的点/>作为优化目标包括：
点云中dense_yellow_points的映射点在黄色区域二值图像中搜索；
点云中dense_white_points和dense_lane_marks_points的映射点在非黄色区域二值图像中搜索。
10.根据权利要求1所述的方法，其特征在于，基于误差函数对相机外参进行非线性优化以得到最终相机外参包括：
调整相机外参使误差函数的值最小以得到最终的相机外参。
11.一种相机外参标定的装置，其特征在于，所述装置执行权利要求1所述方法的步骤，所述装置包括：
获取模块，所述获取模块配置为获取相机的初始外参和相机内参；
第一提取模块，所述第一提取模块配置为基于相机的初始外参和高精地图对稠密点云中的路面标志进行提取；
第二提取模块，所述第二提取模块配置为对相机图像中的路面标志进行提取；
设定模块，所述设定模块配置为基于稠密点云中的路面标志的坐标和相机图像中的路面标志的坐标设计误差函数；
优化模块，所述优化模块配置为基于误差函数对相机外参进行非线性优化以得到最终相机外参。
12. 一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-10任意一项所述方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10任意一项所述方法的步骤。
CN202310406521.6A 2023-04-17 2023-04-17 一种相机外参标定的方法、装置、设备及介质 Active CN116152333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310406521.6A CN116152333B (zh) 2023-04-17 2023-04-17 一种相机外参标定的方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310406521.6A CN116152333B (zh) 2023-04-17 2023-04-17 一种相机外参标定的方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116152333A CN116152333A (zh) 2023-05-23
CN116152333B true CN116152333B (zh) 2023-09-01

Family

ID=86358486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310406521.6A Active CN116152333B (zh) 2023-04-17 2023-04-17 一种相机外参标定的方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116152333B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN114200430A (zh) * 2021-12-10 2022-03-18 上海西井信息科技有限公司 激光雷达与相机的标定方法、系统、设备及存储介质
WO2022142759A1 (zh) * 2020-12-31 2022-07-07 中国矿业大学 一种激光雷达与相机联合标定方法
CN115100292A (zh) * 2022-06-24 2022-09-23 浙江大学 一种道路环境的激光雷达和相机之间外参在线标定方法
CN115661262A (zh) * 2022-10-19 2023-01-31 南方科技大学 内外参标定方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022142759A1 (zh) * 2020-12-31 2022-07-07 中国矿业大学 一种激光雷达与相机联合标定方法
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN114200430A (zh) * 2021-12-10 2022-03-18 上海西井信息科技有限公司 激光雷达与相机的标定方法、系统、设备及存储介质
CN115100292A (zh) * 2022-06-24 2022-09-23 浙江大学 一种道路环境的激光雷达和相机之间外参在线标定方法
CN115661262A (zh) * 2022-10-19 2023-01-31 南方科技大学 内外参标定方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于点云中心的激光雷达与相机联合标定方法研究;康国华;张琪;张晗;徐伟证;张文豪;;仪器仪表学报(12);全文 *

Also Published As

Publication number Publication date
CN116152333A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN108197583B (zh) 基于图割优化和影像结构特征的建筑物变化检测方法
CN111179152B (zh) 一种道路标识识别方法及装置、介质、终端
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量系统和方法
CN115761550A (zh) 一种基于激光雷达点云和相机图像融合的水面目标检测方法
CN111047698B (zh) 一种真正射影像采集方法
CN113064179B (zh) 一种点云数据筛选方法、车辆控制方法及装置
CN113470090A (zh) 基于sift-shot特征的多固态激光雷达外参标定方法
CN116452852A (zh) 一种高精度矢量地图的自动生成方法
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
WO2022179549A1 (zh) 一种标定方法、装置、计算机设备和存储介质
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN116863357A (zh) 一种无人机遥感堤坝影像定标与智能分割变化检测方法
CN115512247A (zh) 基于图像多参数提取的区域建筑损伤等级评定方法
Jiang et al. Determination of construction site elevations using drone technology
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN116152333B (zh) 一种相机外参标定的方法、装置、设备及介质
CN111145201B (zh) 一种稳健快速的无人机摄影测量标志检测与定位方法
CN113095309A (zh) 一种基于点云的道路场景地面标识物的提取方法
Kong et al. An automatic and accurate method for marking ground control points in unmanned aerial vehicle photogrammetry
CN115542271A (zh) 雷达坐标和视频坐标标定方法、设备及相关装置
Li et al. Application of Image Processing and Three‐Dimensional Data Reconstruction Algorithm Based on Traffic Video in Vehicle Component Detection
CN109919863B (zh) 一种全自动菌落计数仪、系统及其菌落计数方法
CN109493356B (zh) 一种基于机器视觉的自动报靶系统智能标定方法
Ahmed et al. Delineating planner surfaces from correlation-based DEMS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant