CN116736272A - 一种联合标定参数确定方法、装置、设备及介质 - Google Patents
一种联合标定参数确定方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116736272A CN116736272A CN202211684800.0A CN202211684800A CN116736272A CN 116736272 A CN116736272 A CN 116736272A CN 202211684800 A CN202211684800 A CN 202211684800A CN 116736272 A CN116736272 A CN 116736272A
- Authority
- CN
- China
- Prior art keywords
- calibration plate
- determining
- laser
- plane
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003708 edge detection Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000007670 refining Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000007619 statistical method Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- UDHXJZHVNHGCEC-UHFFFAOYSA-N Chlorophacinone Chemical compound C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)C(=O)C1C(=O)C2=CC=CC=C2C1=O UDHXJZHVNHGCEC-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Abstract
本申请实施例提供了一种联合标定参数确定方法、装置、设备及介质，该方法中将一块标定板以不同的位姿进行放置，针对每个位姿，根据该位姿下相机采集到的图像中标定板的边缘线，确定标定板中预设位置在图像中的第一坐标，并基于平面拟合算法对该位姿下的点云数据进行处理，得到激光雷达采集到的点云数据中标定板对应的第一平面，根据位于标定板的边缘线上的激光点以及确定的第一平面，确定标定板中预设位置的目标激光点的第二坐标，根据确定的每个位姿的第一坐标、第二坐标以及预设数据配准算法，综合确定相机与激光雷达联合标定的参数，减轻了误差累计所带来的标定参数确定准确率低的问题。
Description
技术领域
本申请涉及传感器标定技术领域，尤其涉及一种联合标定参数确定方法、装置、设备及介质。
背景技术
激光雷达能够提供场景内的三维结构信息，协助完成测距、避障、三维重构等后续任务，但存在测量噪声大的问题。相机能够提供场景的颜色、外观特征等丰富而细腻的信息，但易受光照影响，在黑暗环境下无法正常工作。因此，在很多技术领域激光雷达和相机的多传感器融合技术被广泛研究，一般激光雷达和相机被配置到同一多传感器设备中被使用，其标定工作也成为研究热点。
一些相关技术是在实验室环境中预先布置多个固定位姿的标定板，在多传感器设备运动过程中，通过多传感器设备中包含的相机识别标定板，得到该多传感器设备的连续运动轨迹，然后与运动补偿后的点云数据进行对齐，并迭代求解相关标定参数。但是，该方法需要预先布置好相应的实验室环境，包括各个标定板的布置，对于标定场地要求过高，并且，相机识别标定板进行三维空间定位本身的精度不高，多帧连续运动下的轨迹更会使原有的单帧识别误差累积变大，同理，点云数据的单帧测距误差也会体现在激光雷达的连续运动轨迹中，通过本身存在误差的运动轨迹去求解激光雷达与相机的标定参数是无法做到较高精度的。
因此，如何提高激光雷达与相机进行联合标定时参数确定的准确率成为亟待解决的问题。
发明内容
本申请实施提供一种联合标定参数确定方法、装置、设备及介质，用以解决现有技术中激光雷达与相机进行联合标定时确定的标定参数准确率较低的问题。
第一方面，本申请提供了一种联合标定参数确定方法，所述方法包括：
获取相机采集到的每个位姿包含标定板的图像，和激光雷达采集到的所述每个位姿包含所述标定板的点云数据；
针对所述每个位姿，基于边缘检测算法检测该位姿的图像中所述标定板的边缘线；根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标；基于平面拟合算法对该位姿的点云数据进行处理，得到所述标定板对应的第一平面；根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点；根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标；
根据每个所述第一坐标，每个所述第二坐标以及预设数据配准算法，确定所述相机与所述激光雷达联合标定的参数。
进一步地，所述基于边缘检测算法检测该位姿的图像中所述标定板的边缘线之后，所述根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标之前，所述方法还包括：
基于细化算法对所述边缘线进行细化处理。
进一步地，所述得到所述标定板对应的第一平面之后，所述根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点之前，所述方法还包括：
针对所述点云数据中的每个激光点，确定该激光点与所述第一平面之间的距离；若所述距离在预设距离范围内，则确定该激光点为点云数据子集中的激光点；否则，将该激光点确定为非所述点云数据子集中的激光点；
根据所述点云数据子集以及所述平面拟合算法，确定所述标定板对应的第二平面；并使用所述第二平面对所述第一平面进行更新。
进一步地，所述根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标包括：
根据所述第一平面，所述位于所述标定板的边缘线上的激光点以及拉格朗日定理，确定所述标定板的每个边缘线对应的直线方程；
针对每两条相邻的边缘线，根据该两条相邻的边缘线对应的直线方程，确定该相邻的边缘线的公垂线段的中点，并将所述公垂线段的中点投影到所述第一平面上，将投影后的所述中点作为所述标定板的顶点；
根据每个所述顶点，确定所述标定板中所述预设位置的目标激光点的第二坐标。
第二方面，本申请提供了一种联合标定参数确定装置，所述装置包括：
获取模块，用于获取相机采集到的每个位姿包含标定板的图像，和激光雷达采集到的所述每个位姿包含所述标定板的点云数据；
确定模块，用于针对所述每个位姿，基于边缘检测算法检测该位姿的图像中所述标定板的边缘线；根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标；基于平面拟合算法对该位姿的点云数据进行处理，得到所述标定板对应的第一平面；根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点；根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标；根据每个所述第一坐标，每个所述第二坐标以及预设数据配准算法，确定所述相机与所述激光雷达联合标定的参数。
进一步地，所述确定模块，还用于基于细化算法对所述边缘线进行细化处理。
进一步地，所述确定模块，还用于针对所述点云数据中的每个激光点，确定该激光点与所述第一平面之间的距离；若所述距离在预设距离范围内，则确定该激光点为点云数据子集中的激光点；否则，将该激光点确定为非所述点云数据子集中的激光点；根据所述点云数据子集以及所述平面拟合算法，确定所述标定板对应的第二平面；并使用所述第二平面对所述第一平面进行更新。
进一步地，所述确定模块，具体用于根据所述第一平面，所述位于所述标定板的边缘线上的激光点以及拉格朗日定理，确定所述标定板的每个边缘线对应的直线方程；针对每两条相邻的边缘线，根据该两条相邻的边缘线对应的直线方程，确定该相邻的边缘线的公垂线段的中点，并将所述公垂线段的中点投影到所述第一平面上，将投影后的所述中点作为所述标定板的顶点；根据每个所述顶点，确定所述标定板中所述预设位置的目标激光点的第二坐标。
第三方面，本申请还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现上述任一所述的联合标定参数确定方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的联合标定参数确定方法的步骤。
由于在本申请实施例中，将一块标定板以不同的位姿进行放置，针对每个位姿，根据该位姿下相机采集到的图像中标定板的边缘线，确定标定板中预设位置在图像中的第一坐标，并基于平面拟合算法对该位姿下的点云数据进行处理，得到激光雷达采集到的点云数据中标定板对应的第一平面，并根据位于标定板的边缘线上的激光点以及确定的第一平面，确定标定板中预设位置的目标激光点的第二坐标，根据确定的每个位姿的第一坐标、第二坐标以及预设数据配准算法，综合确定相机与激光雷达联合标定的参数，分别确定不同位姿的相机对应的第一坐标以及激光雷达对应的第二坐标，并根据确定的第一坐标和第二坐标确定联合标定的参数，降低了误差累计所带来的标定参数确定准确率低的问题。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的联合标定参数确定过程示意图；
图2a为本申请实施例提供的基于边缘检测算法处理后的二值图像的示意图；
图2b为本申请实施例提供的基于边缘检测算法处理后的二值图像的另一示意图；
图2c为本申请实施例提供的细化后的二值图像的示意图；
图3a为本申请实施例提供的放大的边缘线细化前的示意图；
图3b为本申请实施例提供的放大的边缘线细化后的示意图；
图4a为本申请实施例提供的点云数据示意图；
图4b为本申请实施例提供的放大示意图；
图5a为本申请实施例提供的测量距离为1.73m时的点云数据统计分析图；
图5b为本申请实施例提供的测量距离为2.7m时的点云数据统计分析图；
图5c为本申请实施例提供的测量距离为3.12m时的点云数据统计分析图；
图5d为本申请实施例提供的测量距离为3.28m时的点云数据统计分析图；
图6为本申请实施例提供的点云数据筛选示意图；
图7为本申请实施例提供的标定板及拟合边缘线示意图；
图8为本申请实施例提供的标定结果重投影示意图；
图9a为本申请实施例提供的标定板为位姿1时重投影示意图；
图9b为本申请实施例提供的标定板为位姿2时重投影示意图；
图9c为本申请实施例提供的标定板为位姿3时重投影示意图；
图10为本申请实施例提供的联合标定参数确定的流程示意图；
图11为本申请实施例提供的联合标定参数确定装置的结构示意图；
图12为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图，对本申请的实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种联合标定参数确定方法、装置、设备及介质，该方法中获取相机采集到的每个位姿包含标定板的图像，和激光雷达采集到的每个位姿包含所述标定板的点云数据，针对每个位姿，基于边缘检测算法检测该位姿的图像中标定板的边缘线，根据边缘线，确定标定板中预设位置在图像中的第一坐标，并基于平面拟合算法对该位姿的点云数据进行处理，得到标定板对应的第一平面，根据点云数据中的相邻激光点对应的坐标，确定位于标定板的边缘线上的激光点，根据第一平面以及位于标定板的边缘线上的激光点，确定标定板中预设位置的目标激光点的第二坐标，根据每个位姿的第一坐标，第二坐标以及预设数据配准算法，确定相机与所述激光雷达联合标定的参数。
实施例1：
图1为本申请实施例提供的联合标定参数确定过程示意图，该过程具体包括以下步骤：
S101：获取相机采集到的每个位姿包含标定板的图像，和激光雷达采集到的所述每个位姿包含所述标定板的点云数据。
本申请实施例提供的联合标定参数确定过程适用于电子设备，该电子设备可以是服务器、PC、传感器等设备。
为了提高激光雷达与相机进行联合标定时标定参数确定的准确率，在进行激光雷达与相机联合标定时，在本申请实施例中，可以获取不同位姿下相机采集到的包含标定板的图像，该图像可以是电子设备的使用者在按下某一个按钮时拍摄到标定板的一张图像；由于在同一位姿下标定板相对于激光雷达和相机的位置是不变的，因此，在本申请实施例中，可以获取预设时间长度相机采集到的视频，该图像即为从该视频里随机截取任意一帧图像。同时获取在不同位姿下预设时间长度内激光雷达采集到的包含该标定板的点云数据。
在本申请实施例中，标定板的大小可以是任意大小，保证相机和激光雷达可以采集到完整的标定板即可，标定板的形状可以是矩形、平行四边形、三角形等任意形状，在本申请实施例中以标定板为矩形进行解释说明。在本申请实施例中标定板为非透明板，且对标定板的大小、形状和材质不做限制，并且无需对标定板增加特制的视觉辅助标志，例如，无需粘贴Aruco码、棋盘格等标志物。
在本申请实施例中，可以选取一定大小的标定板，并放置于传感器前方，由传感器采集包含标定板的相关数据，其中传感器包括相机和激光雷达，该激光雷达可以是多线激光雷达，且在传感器中相机和激光雷达的安装位置已固定。传感器采集到的包含标定板的相关数据包括相机采集到的包含标定板的图像，以及激光雷达采集到的包含标定板的点云数据。
在本申请实施例中，传感器在进行标定板的相关数据采集时，可以采集标定板不同位置、不同角度的相关数据，即传感器采集多组含标定板的相关数据。具体的，传感器中的相机和激光雷达每个位置可以各采集80～100帧左右的相关数据，假设每秒传输帧数(Frame Per Second，FPS)为30，那么传感器在不同位置处采集3～4秒即可。
在本申请实施例中，无需事先布置标定场地，整个标定过程只需要将标定板放置于传感器前方不同位置，采集多组包含标定板的相关数据即可。
在本申请实施例中，若电子设备为服务器、PC等设备，则可以获取与自身连接的传感器采集到的每个位姿所对应的包含标定板的图像，和激光雷达采集到的每个位姿所对应的点云数据，若电子设备为传感器，则可以获取自身的相机采集到的每个位姿所对应的包含标定板的图像，和激光雷达采集到的每个位姿所对应的点云数据。
S102：针对所述每个位姿，基于边缘检测算法检测该位姿的图像中所述标定板的边缘线；根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标。
获取到相机采集到的每个位姿所对应的包含标定板的图像之后，可以针对每个位姿，确定该位姿的图像中包含的标定板的预设位置的第一坐标。在本申请实施例中，可以确定图像中的标定板的每个顶点的坐标，并根据标定板的每个顶点的坐标确定预设位置的第一坐标。
在确定图像中标定板的每个顶点的坐标时，可以基于图像识别技术获取该图像中的标定板的顶点的坐标。由于标定板的顶点可能位于两个像素点的之间，或者由于标定板距离相机较远，图像成像的过渡像素太多导致图像的质量不高，无法准确获取到标定板的顶点的像素点坐标，又或者由于标定板的顶点不尖锐或者缺损而错误识别坐标，为了进一步提高坐标确定的准确率，也可以基于边缘检测算法检测该位姿的图像中标定板的边缘线，具体的，可以基于Canny边缘检测算法对图像进行处理，得到该位姿的图像处理后的二值图像。图2a为本申请实施例提供的基于边缘检测算法处理后的二值图像的示意图，图2a中4条直线组成的最大矩形框即为检测到的标定板的边缘线，而该最大矩形框内部包含的若干个矩形只是为了形象的表示标定板，在本申请实施例中，标定板是不存在特制的视觉辅助标志的，那么，在本申请实施例中基于边缘检测算法对获取到的图像进行处理，得到的二值图像中只包括4条直线组成的最大矩形框，即为图2b所示，图2b为本申请实施例提供的基于边缘检测算法处理后的二值图像的另一示意图。
确定了标定板的边缘线之后，可以确定每个边缘线对应的直线方程，并根据获取到的直线方程求得图像中标定板的每个顶点对应的坐标，标定板的每个顶点的坐标已知，也就可以确定标定板中预设位置在图像中的第一坐标，其中，预设位置可以标定板的中心像素点，也可以是距离某一边缘线预设距离的像素点。
具体的，检测到了该帧图像中标定板的边缘线之后，可以针对每个边缘线，获取该边缘线上每个像素点的坐标，并根据获取到的每个像素点的坐标基于最小二乘法或者梯度下降等算法进行直线拟合，得到该边缘线对应的直线方程。假设标定板的形状为矩形，那么则可以得到4个直线方程，将该4个直线方程联立，则可以求得标定板4个顶点的坐标。确定了标定板的4个顶点之后，可以确定标定板的对角线，并计算每条对角线的方程表达式，最后，联立对角线的方程既可以求得标定板中心的像素点的第一坐标camera_centerli。
在本申请实施例中，通过前景与背景的差异性特点基于边缘检测算法进行边缘提取，利用基于骨架提取思想的边缘细化算法实现了标定板的边缘线的亚像素提取，最终得到图像中标定板的预设位置的亚像素级精度的第一坐标。
S103：基于平面拟合算法对该位姿的点云数据进行处理，得到所述标定板对应的第一平面；根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点；根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标。
在确定了第一坐标之后，或者在确定第一坐标的同时，可以基于该位姿下激光雷达采集到的点云数据，确定标定板中预设位置的目标激光点的第二坐标。在本申请实施例中，可以基于平面拟合算法对该帧的点云数据进行处理，得到激光雷达采集到的标定板对应的第一平面，具体的，可以利用随机采样一致(Random Sample Consensus，Ransac)算法进行平面拟合。
由于激光雷达采集到的点云数据，可以表示激光雷达与被采集物体之间的距离，每个点云数据分别对应着一个激光点，确定了第一平面之后，可以根据点云数据中的相邻激光点对应的坐标，确定哪些激光点位于标定板的边缘线上。具体的，由于点云数据中包括坐标，可以在坐标系中将点云数据的激光点进行显示，并针对坐标系中的每个激光点，计算该激光点对应的坐标和与该激光点相邻的下一激光点对应的坐标之间的差值，若该差值大于预设阈值，则可以确定与该激光点相邻的下一激光点位于标定板的边缘线上，也就是说，利用激光雷达打在标定板的边缘线上的点云数据的梯度变化及强度突变这一特点，过滤出位于标定板的边缘线上的激光点。
确定了激光雷达采集到的标定板对应的第一平面，和位于标定板的边缘线上的激光点之后，也就可以确定激光雷达采集到的标定板的边缘线对应的直线方程，根据标定板的边缘线对应的直线方程也就可以确定标定板中预设位置的目标激光点的第二坐标。
S104：根据每个所述第一坐标，每个所述第二坐标以及预设数据配准算法，确定所述相机与所述激光雷达联合标定的参数。
由于相机采集到的图像只是一个二维平面的图像，第一坐标是该图像中的标定板的预设位置的坐标，那么第一坐标则是二维坐标系下的坐标，而第二坐标是激光雷达采集到的标定板的预设位置的激光点的坐标，该第二坐标为三维坐标系下的坐标，因此，在确定了每个位姿对应的第一坐标以及第二坐标之后，为了方便确定相机与激光雷达联合标定的参数，在本申请实施例中，可以使第一坐标和第二坐标转换成同一坐标系下的坐标，即将二维坐标系下的第一坐标转换为三维坐标系下的坐标，或者将三维坐标系下的第二坐标转换成二维坐标系下的坐标。
具体的，可以基于PnP(Perspective-n-Point)算法对每个第一坐标进行处理，得到三维坐标系下的第三坐标，也就是说，将XY坐标系下的第一坐标转换成XYZ坐标系下的第三坐标，确定了第三坐标之后使用该第三坐标对对应的第一坐标进行更新。
根据每个第一坐标和第二坐标以及预设数据匹配算法，确定相机与激光雷达联合标定的参数。
具体的，可以基于最近点迭代(Iterative Closest Point，ICP)算法，确定每个第一坐标和每个第二坐标之间的转换矩阵，从而确定相机与激光雷达联合标定的外参。在已知相机的每个第一坐标和激光雷达的每个第二坐标的情况下，基于ICP算法确定相机与激光雷达进行联合标定的外参的过程，相关技术中已经进行了详细的说明，在本申请实施例中不再赘述。
由于在本申请实施例中，将一块标定板以不同的位姿进行放置，针对每个位姿，根据该位姿下相机采集到的图像中标定板的边缘线，确定标定板中预设位置在图像中的第一坐标，并基于平面拟合算法对该位姿下的点云数据进行处理，得到激光雷达采集到的点云数据中标定板对应的第一平面，并根据位于标定板的边缘线上的激光点以及确定的第一平面，确定标定板中预设位置的目标激光点的第二坐标，根据确定的每个位姿的第一坐标、第二坐标以及预设数据配准算法，综合确定相机与激光雷达联合标定的参数，分别确定不同位姿的相机对应的第一坐标以及激光雷达对应的第二坐标，并根据确定的第一坐标和第二坐标确定联合标定的参数，降低了误差累计所带来的标定参数确定准确率低的问题。
实施例2：
为了进一步提高联合标定参数确定的准确率，在上述实施例的基础上，在本申请实施例中，所述基于边缘检测算法检测该位姿的图像中所述标定板的边缘线之后，所述根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标之前，所述方法还包括：
基于细化算法对所述边缘线进行细化处理。
由于基于边缘检测算法检测到的图像中的标定板的边缘线呈现锯齿化现象，并且检测到的标定板的边缘线的顶点只有整数像素坐标，顶点的棱角不明显，因此，为了进一步提高联合标定参数确定的准确率，在本申请实施例中，在基于边缘检测算法检测到图像中标定板的边缘线之后，可以对检测到的每个边缘线进行细化，并基于细化后的边缘线求标定板的顶点坐标的亚像素值。
具体的，在本申请实施例中，对经过边缘检测算法处理后得到的图像对应的二值图像的骨架进行提取，即尽可能保留边缘线的中轴线上的像素点，其中，进行骨架提取的算法可以是二值图像细化算法。图2c为本申请实施例提供的细化后的二值图像的示意图，如图2c所示，图2c中组成最大矩形框的4条直线与图2a中组成最大矩形框的4条直线相比均变细了。图3a为本申请实施例提供的放大的边缘线细化前的示意图，图3b为本申请实施例提供的放大的边缘线细化后的示意图，由图3a和图3b可知，经过细化处理之前的边缘线由多个像素点聚集组成，经过细化处理后的边缘线只由中轴线上的像素点组成。
实施例3：
为了进一步提高联合标定参数确定的准确率，在上述各实施例的基础上，在本申请实施例中，所述得到所述标定板对应的第一平面之后，所述根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点之前，所述方法还包括：
针对所述点云数据中的每个激光点，确定该激光点与所述第一平面之间的距离；若所述距离在预设距离范围内，则确定该激光点为点云数据子集中的激光点；否则，将该激光点确定为非所述点云数据子集中的激光点；
根据所述点云数据子集以及所述平面拟合算法，确定所述标定板对应的第二平面；并使用所述第二平面对所述第一平面进行更新。
图4a为本申请实施例提供的点云数据示意图，如图4a所示，图4a为将采集到的点云数据在坐标系中进行显示的示意图，通过该图4a可以明显观察到最终呈现在坐标系中的点云数据具有一定的厚度，即不是一条笔直的直线，以图4a中的任意一条点云数据组成的斜线为例，将该斜线进行放大，如图4b所示，图4b为本申请实施例提供的放大示意图，由图4b可知组成该斜线中的每个点云数据的坐标是在一定范围内波动的，这是由于激光雷达的测距精度存在系统误差造成的。
图5a为本申请实施例提供的测量距离为1.73m时的点云数据统计分析图，其中，测量距离为激光雷达与标定板之间的距离，如图5a所示，图中的横轴Distance表示距离，纵轴Density表示激光点的数量，虽然激光雷达距离标定板的实际距离为1.73m，但是由于激光雷达自身的误差，所采集到的点云数据中每个激光点的不仅集中在1.73m处，在点云数据中还包括其他距离位置处的激光点，根据测量距离为1.73m时的点云数据可以确定测量距离的均值为1.73555m，方差为0.000880754。
图5b为本申请实施例提供的测量距离为2.7m时的点云数据统计分析图，根据测量距离为2.7m时的点云数据可以确定测量距离的均值为2.70486m，方差为0.00107312。
图5c为本申请实施例提供的测量距离为3.12m时的点云数据统计分析图，根据测量距离为3.12m时的点云数据可以确定测量距离的均值为3.12159m，方差为0.00148407。
图5d为本申请实施例提供的测量距离为3.28m时的点云数据统计分析图，根据测量距离为3.28m时的点云数据可以确定测量距离的均值为3.28028m，方差为0.00326907。
根据图5a-图5d对不同测量距离的点云数据的分析可知，每个测量距离的均值和方差均符合对数正态分布，因此，激光雷达的点云数据的最大似然估计可以表示为：
其中，n表示点云数据中包括n个激光点，xk表示第k个激光点的距离激光雷达的实际距离，为均值，/>为方差。
基于上述对点云数据的分析结果，为了进一步提高联合标定参数确定的准确率，在确定了激光雷达采集到标定板对应的第一平面方程之后，确定位于标定板的边缘线上的激光点之前，可以进一步对采集到的点云数据进行筛选，以获取置信度较高的激光点的点云数据。在本申请实施例中，可以针对点云数据中的每个激光点，确定该激光点与第一平面之间的距离，如果该距离在预设距离范围内，则可以认为该激光点的置信度较高，将该激光点确定为点云数据子集中的激光点，否则，将该激光点确定为非点云数据子集中的激光点，其中，预设距离的范围可以是
具体的，假设第一平面的平面方程为A1x+B1y+C1z+D1＝0，上述确定激光点是否属于点云数据子集的过程，可以使用如下公式表示：
其中，为基于公式(1.1)确定的点云数据的均值，/>为基于公式(1.1)确定的点云数据的方差，A1,B1,C1,D1为第一平面方程中的系数，P(x)，P(y)，P(z)为激光点对应的坐标。
在本申请实施例中，针对点云数据中的每个激光点，将该激光点的坐标带入上述公式(1.2)中，当满足上述关系式时，则可以确定该激光点为点云数据子集中的激光点。上述数据筛选过程可用图6来形象表示，图6为本申请实施例提供的点云数据筛选示意图，图中白色部分表示激光雷达采集到的点云数据组成的集合，其厚度代表激光雷达的测距波动范围，深色部分表示点云数据子集，其中白色部分与深色部分的大小一致，图中为了方便显示，对深色部分的长宽做了扩展，深色部分中包括的激光点与激光雷达的测距波动范围为
确定了点云数据子集之后，根据该点云数据子集中的每个激光点的坐标以及平面拟合算法，再次确定标定板对应的第二平面，并使用该第二平面对第一平面进行更新。
实施例4：
为了进一步提高联合标定参数确定的准确率，在上述各实施例的基础上，在本申请实施例中，所述根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标包括：
根据所述第一平面，所述位于所述标定板的边缘线上的激光点以及拉格朗日定理，确定所述标定板的每个边缘线对应的直线方程；
针对每两条相邻的边缘线，根据该两条相邻的边缘线对应的直线方程，确定该相邻的边缘线的公垂线段的中点，并将所述公垂线段的中点投影到所述第一平面上，将投影后的所述中点作为所述标定板的顶点；
根据每个所述顶点，确定所述标定板中所述预设位置的目标激光点的第二坐标。
在根据第一平面以及位于标定板的边缘线上的激光点，确定标定板中预设位置的目标激光点的第二坐标时，在本申请实施例中，可以根据第一平面、位于标定板的边缘线上的激光点以及拉格朗日定理，确定标定板的每个边缘线对应的直线方程。
具体的，图7为本申请实施例提供的标定板及拟合边缘线示意图，如图7所示，假设l1为平面plane1：ax+by+cz+d1＝0与标定板平面即第一平面相交直线，l2为平面plane2:ax+by+cz+d2＝0与标定板平面即第一平面的相交直线，且plane1//plane2，表示位于标定板的边缘线上的激光点集。由已知的对边平行为约束可构造如下拉格朗日函数：
其中，N1表示激光点集中的激光点的数量，N2表示激光点集/>中的激光点的数量，(x1,i,y1,i,z1,i)表示激光点集/>中的激光点的坐标，其中x1,i、y1,i、z1,i分别表示激光点i相对于激光雷达的中心点在三维坐标系的各个方向上的距离，其中三维坐标系是以激光雷达的中心点建立的坐标系，该坐标系由X轴、Y轴和Z轴组成，其中X轴表示左右方向的空间，Y轴表示上下方向的空间，Z轴表示前后方向的空间，(x2,i,y2,i,z2,i)表示激光点集/>中的激光点的坐标。
将(1.3)式分别对d1和d2求偏导，结合拉格朗日极值条件可得：
对每一个坐标点减去其均值可消去d1和d2，并化简为：
其中，分别为坐标点集lp1和lp2的x均值，y和z坐标类似。再将式(1.4)与式(1.5)进行合并，可将式(1.3)重写为：
根据拉格朗日乘数求解多元函数极值法则，分别对各个变量a,b,c求偏导数并令其等于零，得到如下方程组：
将以上方程组写成如下形式：
其中：
由式(0.3)可以看出，λ和(a b c)T分别为系数矩阵的特征值与特征向量，选择最小的特征值λmin所对应的特征向量(amin bmin cmin)T即为所求的平面plane1与plane2的法向量，平面的法向量已知，也就可以确定plane1与plane2的平面方程。分别联立plane1的平面方程、plane2的平面方程与第一平面的平面方程，可得标定板的边缘线l1与l2的直线方程。同理可得标定板另外两条边缘线l3与l4的直线方程，在此不再赘述。
由于在确定每个边缘线的直线方程时，是根据多个离散的激光点的坐标确定的，因此，确定的每个直线方程可能不在同一平面上，在本申请实施例中，确定了每条边缘线对应的直线方程之后，针对每两条相邻的边缘线，根据该两条相邻的边缘线对应的直线方程，确定该相邻的边缘线的公垂线段的中点，并将该公垂线段的中点投影到第一平面上，将投影后的中点作为标定板的顶点，随后求取对角线的交点即为标定板中预设位置的目标激光点的第二坐标
下面结合一个具体的实施例，对基于确定的标定参数对传感器进行标定后的效果进行说明，图8为本申请实施例提供的标定结果重投影示意图，图8为根据联合标定参数将多线激光雷达点云数据重投影至图像中标定板部分的结果，由图中右半部分所示(图示的左右)可以看到多线激光雷达投影的激光点与标定板的边缘重合，可以认为该重投影误差基本在像素级别。图9a为本申请实施例提供的标定板为位姿1时重投影示意图，图9b为本申请实施例提供的标定板为位姿2时重投影示意图，图9c为本申请实施例提供的标定板为位姿3时重投影示意图，图9a-图9c中均是选取了任意一块木板进行重投影实验的结果，激光雷达投影的激光点与标定板的边缘重合，可见联合标定结果的泛化性、精度均满足像素级精度要求。
下面结合一个具体的实施例对联合标定参数确定过程进行说明，图10为本申请实施例提供的联合标定参数确定的流程示意图，如图10所示，该过程包括以下步骤：
S1001：传感器采集每个位姿所对应的相关数据，相关数据中包括相机采集到的包含标定板的图像，以及激光雷达采集到的点云数据。
S1002：针对每个位姿，基于边缘检测算法检测该位姿的图像中标定板的边缘线，基于细化算法对边缘线进行细化处理。
S1003：根据边缘线，确定标定板的中心在图像中的第一坐标。
S1004：针对每个位姿，基于平面拟合算法对该位姿的点云数据进行处理，得到标定板对应的第一平面。
S1005：根据点云数据中的相邻激光点对应的坐标，确定位于标定板的边缘线上的激光点，并根据第一平面以及位于标定板的边缘线上的激光点，确定标定板的中心的目标激光点的第二坐标。
S1006：根据每个位姿对应的第一坐标和第二坐标，以及预设数据配准算法，确定相机与激光雷达联合标定的参数。
实施例5：
图11为本申请实施例提供的联合标定参数确定装置的结构示意图，如图11所示，该装置包括：
获取模块1101，用于获取相机采集到的每个位姿包含标定板的图像，和激光雷达采集到的所述每个位姿包含所述标定板的点云数据；
确定模块1102，用于针对所述每个位姿，基于边缘检测算法检测该位姿的图像中所述标定板的边缘线；根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标；基于平面拟合算法对该位姿的点云数据进行处理，得到所述标定板对应的第一平面；根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点；根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标；根据每个所述第一坐标，每个所述第二坐标以及预设数据配准算法，确定所述相机与所述激光雷达联合标定的参数。
在一种可能的实施方式中，所述确定模块1102，还用于基于细化算法对所述边缘线进行细化处理。
在一种可能的实施方式中，所述确定模块1102，还用于针对所述点云数据中的每个激光点，确定该激光点与所述第一平面之间的距离；若所述距离在预设距离范围内，则确定该激光点为点云数据子集中的激光点；否则，将该激光点确定为非所述点云数据子集中的激光点；根据所述点云数据子集以及所述平面拟合算法，确定所述标定板对应的第二平面；并使用所述第二平面对所述第一平面进行更新。
在一种可能的实施方式中，所述确定模块1102，具体用于根据所述第一平面，所述位于所述标定板的边缘线上的激光点以及拉格朗日定理，确定所述标定板的每个边缘线对应的直线方程；针对每两条相邻的边缘线，根据该两条相邻的边缘线对应的直线方程，确定该相邻的边缘线的公垂线段的中点，并将所述公垂线段的中点投影到所述第一平面上，将投影后的所述中点作为所述标定板的顶点；根据每个所述顶点，确定所述标定板中所述预设位置的目标激光点的第二坐标。
实施例6：
图12为本申请实施例提供的一种电子设备结构示意图，在上述各实施例的基础上，本申请还提供了一种电子设备，如图12所示，包括：处理器1201、通信接口1202、存储器1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信；
所述存储器1203中存储有计算机程序，当所述程序被所述处理器1201执行时，使得所述处理器1201执行如下步骤：
获取相机采集到的每个位姿包含标定板的图像，和激光雷达采集到的所述每个位姿包含所述标定板的点云数据；
针对所述每个位姿，基于边缘检测算法检测该位姿的图像中所述标定板的边缘线；根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标；基于平面拟合算法对该位姿的点云数据进行处理，得到所述标定板对应的第一平面；根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点；根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标；
根据每个所述第一坐标，每个所述第二坐标以及预设数据配准算法，确定所述相机与所述激光雷达联合标定的参数。
在一种可能的实施方式中，所述处理器1201，还用于基于细化算法对所述边缘线进行细化处理。
在一种可能的实施方式中，所述处理器1201，还用于针对所述点云数据中的每个激光点，确定该激光点与所述第一平面之间的距离；若所述距离在预设距离范围内，则确定该激光点为点云数据子集中的激光点；否则，将该激光点确定为非所述点云数据子集中的激光点；
根据所述点云数据子集以及所述平面拟合算法，确定所述标定板对应的第二平面；并使用所述第二平面对所述第一平面进行更新。
在一种可能的实施方式中，所述处理器1201，还用于根据所述第一平面，所述位于所述标定板的边缘线上的激光点以及拉格朗日定理，确定所述标定板的每个边缘线对应的直线方程；
针对每两条相邻的边缘线，根据该两条相邻的边缘线对应的直线方程，确定该相邻的边缘线的公垂线段的中点，并将所述公垂线段的中点投影到所述第一平面上，将投影后的所述中点作为所述标定板的顶点；
根据每个所述顶点，确定所述标定板中所述预设位置的目标激光点的第二坐标。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口1202用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器(RandomAccess Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。上述处理器可以是通用处理器，包括中央处理器、网络处理器(Network Processor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例7：
在上述各实施例的基础上，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：
获取相机采集到的每个位姿包含标定板的图像，和激光雷达采集到的所述每个位姿包含所述标定板的点云数据；
针对所述每个位姿，基于边缘检测算法检测该位姿的图像中所述标定板的边缘线；根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标；基于平面拟合算法对该位姿的点云数据进行处理，得到所述标定板对应的第一平面；根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点；根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标；
根据每个所述第一坐标，每个所述第二坐标以及预设数据配准算法，确定所述相机与所述激光雷达联合标定的参数。
在一种可能的实施方式中，所述基于边缘检测算法检测该位姿的图像中所述标定板的边缘线之后，所述根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标之前，所述方法还包括：
基于细化算法对所述边缘线进行细化处理。
在一种可能的实施方式中，所述得到所述标定板对应的第一平面之后，所述根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点之前，所述方法还包括：
针对所述点云数据中的每个激光点，确定该激光点与所述第一平面之间的距离；若所述距离在预设距离范围内，则确定该激光点为点云数据子集中的激光点；否则，将该激光点确定为非所述点云数据子集中的激光点；
根据所述点云数据子集以及所述平面拟合算法，确定所述标定板对应的第二平面；并使用所述第二平面对所述第一平面进行更新。
在一种可能的实施方式中，所述根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标包括：
根据所述第一平面，所述位于所述标定板的边缘线上的激光点以及拉格朗日定理，确定所述标定板的每个边缘线对应的直线方程；
针对每两条相邻的边缘线，根据该两条相邻的边缘线对应的直线方程，确定该相邻的边缘线的公垂线段的中点，并将所述公垂线段的中点投影到所述第一平面上，将投影后的所述中点作为所述标定板的顶点；
根据每个所述顶点，确定所述标定板中所述预设位置的目标激光点的第二坐标。
由于在本申请实施例中，将一块标定板以不同的位姿进行放置，针对每个位姿，根据该位姿下相机采集到的图像中标定板的边缘线，确定标定板中预设位置在图像中的第一坐标，并基于平面拟合算法对该位姿下的点云数据进行处理，得到激光雷达采集到的点云数据中标定板对应的第一平面，并根据位于标定板的边缘线上的激光点以及确定的第一平面，确定标定板中预设位置的目标激光点的第二坐标，根据确定的每个位姿的第一坐标、第二坐标以及预设数据配准算法，综合确定相机与激光雷达联合标定的参数，分别确定不同位姿的相机对应的第一坐标以及激光雷达对应的第二坐标，并根据确定的第一坐标和第二坐标确定联合标定的参数，降低了误差累计所带来的标定参数确定准确率低的问题。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种联合标定参数确定方法，其特征在于，所述方法包括：
获取相机采集到的每个位姿包含标定板的图像，和激光雷达采集到的所述每个位姿包含所述标定板的点云数据；
针对所述每个位姿，基于边缘检测算法检测该位姿的图像中所述标定板的边缘线；根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标；基于平面拟合算法对该位姿的点云数据进行处理，得到所述标定板对应的第一平面；根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点；根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标；
根据每个所述第一坐标，每个所述第二坐标以及预设数据配准算法，确定所述相机与所述激光雷达联合标定的参数。
2.根据权利要求1所述的方法，其特征在于，所述基于边缘检测算法检测该位姿的图像中所述标定板的边缘线之后，所述根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标之前，所述方法还包括：
基于细化算法对所述边缘线进行细化处理。
3.根据权利要求1所述的方法，其特征在于，所述得到所述标定板对应的第一平面之后，所述根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点之前，所述方法还包括：
针对所述点云数据中的每个激光点，确定该激光点与所述第一平面之间的距离；若所述距离在预设距离范围内，则确定该激光点为点云数据子集中的激光点；否则，将该激光点确定为非所述点云数据子集中的激光点；
根据所述点云数据子集以及所述平面拟合算法，确定所述标定板对应的第二平面；并使用所述第二平面对所述第一平面进行更新。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标包括：
根据所述第一平面，所述位于所述标定板的边缘线上的激光点以及拉格朗日定理，确定所述标定板的每个边缘线对应的直线方程；
针对每两条相邻的边缘线，根据该两条相邻的边缘线对应的直线方程，确定该相邻的边缘线的公垂线段的中点，并将所述公垂线段的中点投影到所述第一平面上，将投影后的所述中点作为所述标定板的顶点；
根据每个所述顶点，确定所述标定板中所述预设位置的目标激光点的第二坐标。
5.一种联合标定参数确定装置，其特征在于，所述装置包括：
获取模块，用于获取相机采集到的每个位姿包含标定板的图像，和激光雷达采集到的所述每个位姿包含所述标定板的点云数据；
确定模块，用于针对所述每个位姿，基于边缘检测算法检测该位姿的图像中所述标定板的边缘线；根据所述边缘线，确定所述标定板中预设位置在所述图像中的第一坐标；基于平面拟合算法对该位姿的点云数据进行处理，得到所述标定板对应的第一平面；根据所述点云数据中的相邻激光点对应的坐标，确定位于所述标定板的边缘线上的激光点；根据所述第一平面以及位于所述标定板的边缘线上的激光点，确定所述标定板中所述预设位置的目标激光点的第二坐标；根据每个所述第一坐标，每个所述第二坐标以及预设数据配准算法，确定所述相机与所述激光雷达联合标定的参数。
6.根据权利要求5所述的装置，其特征在于，所述确定模块，还用于基于细化算法对所述边缘线进行细化处理。
7.根据权利要求5所述的装置，其特征在于，所述确定模块，还用于针对所述点云数据中的每个激光点，确定该激光点与所述第一平面之间的距离；若所述距离在预设距离范围内，则确定该激光点为点云数据子集中的激光点；否则，将该激光点确定为非所述点云数据子集中的激光点；根据所述点云数据子集以及所述平面拟合算法，确定所述标定板对应的第二平面；并使用所述第二平面对所述第一平面进行更新。
8.根据权利要求5所述的装置，其特征在于，所述确定模块，具体用于根据所述第一平面，所述位于所述标定板的边缘线上的激光点以及拉格朗日定理，确定所述标定板的每个边缘线对应的直线方程；针对每两条相邻的边缘线，根据该两条相邻的边缘线对应的直线方程，确定该相邻的边缘线的公垂线段的中点，并将所述公垂线段的中点投影到所述第一平面上，将投影后的所述中点作为所述标定板的顶点；根据每个所述顶点，确定所述标定板中所述预设位置的目标激光点的第二坐标。
9.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现权利要求1-4中任一所述的联合标定参数确定方法的步骤。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4中任一所述的联合标定参数确定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211684800.0A CN116736272A (zh) | 2022-12-27 | 2022-12-27 | 一种联合标定参数确定方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211684800.0A CN116736272A (zh) | 2022-12-27 | 2022-12-27 | 一种联合标定参数确定方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116736272A true CN116736272A (zh) | 2023-09-12 |
Family
ID=87908553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211684800.0A Pending CN116736272A (zh) | 2022-12-27 | 2022-12-27 | 一种联合标定参数确定方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116736272A (zh) |
-
2022
- 2022-12-27 CN CN202211684800.0A patent/CN116736272A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179358B (zh) | 标定方法、装置、设备及存储介质 | |
| CN107025663B (zh) | 视觉系统中用于3d点云匹配的杂波评分系统及方法 | |
| KR100785594B1 (ko) | 화상 처리 장치 | |
| US9519968B2 (en) | Calibrating visual sensors using homography operators | |
| EP3033875B1 (en) | Image processing apparatus, image processing system, image processing method, and computer program | |
| US10636168B2 (en) | Image processing apparatus, method, and program | |
| US10930008B2 (en) | Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image | |
| CN109918977B (zh) | 确定空闲车位的方法、装置及设备 | |
| CN108074237B (zh) | 图像清晰度检测方法、装置、存储介质及电子设备 | |
| CN113146073B (zh) | 基于视觉的激光切割方法及装置、电子设备、存储介质 | |
| CN112270719B (zh) | 相机标定方法、装置及系统 | |
| CN113256740A (zh) | 一种雷达与相机的标定方法、电子设备及存储介质 | |
| CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
| Ding et al. | A robust detection method of control points for calibration and measurement with defocused images | |
| US20220215576A1 (en) | Information processing device, information processing method, and computer program product | |
| CN113763478B (zh) | 无人车相机标定方法、装置、设备、存储介质及系统 | |
| JP2020512536A (ja) | モデルベースのピーク選択を使用した３ｄプロファイル決定のためのシステム及び方法 | |
| CN116203976A (zh) | 变电站室内巡检方法、装置、无人机和存储介质 | |
| JP2015206654A (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP2007026423A (ja) | 画像処理装置および画像処理方法 | |
| CN113674361B (zh) | 一种车载环视校准实现方法及系统 | |
| CN112365600B (zh) | 一种三维物体检测方法 | |
| CN116736272A (zh) | 一种联合标定参数确定方法、装置、设备及介质 | |
| CN115187769A (zh) | 一种定位方法及装置 | |
| KR20150096128A (ko) | 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |