CN112017251A - 标定方法、装置、路侧设备和计算机可读存储介质 - Google Patents

Abstract

本申请提供一种标定方法、装置、路侧设备和计算机可读存储介质，其中，该方法包括：获取样本图像和样本点云数据；计算待标定对象坐标系相对于数据采集装置坐标系的第一转换矩阵；获取投影至样本图像的边缘点与样本图像的边缘特征的重合度；对第一转换矩阵进行优化，得到优化后的第一转换矩阵以对待标定对象进行标定。该技术方案中，通过数据采集装置采集点云数据，并利用点云数据与样本图像的边缘特征的对齐特性，对待标定对象坐标系与数据采集装置坐标系的第一转换矩阵进行优化，从而实现对待标定对象的标定，整个标定过程简单快捷且不受道路室外环境的影响，使用起来更加灵活且具有更高的标定准确度。

Description

标定方法、装置、路侧设备和计算机可读存储介质

技术领域

本申请涉及智慧交通技术领域，尤其涉及一种标定方法、装置、路侧设备和计算机可读存储介质。

背景技术

随着自动驾驶技术的发展，道路上渐渐出现了自动驾驶的车辆，车辆在行驶过程中通过采集周围环境信息来自动规划驾驶路线，而周围环境信息的采集主要都依赖于摄像头例如路侧摄像头，通过摄像头作为传感器采集图像信息来实现车路协同，但是摄像头采集到的主要是二维图像，需要通过精确的标定才能转换得到有效的三维图像信息。

现有技术中，摄像头的标定方法需要使用特制的标定板或者标志物等，无法在道路上得到灵活运用，并且容易受道路所处室外环境光线的影响，存在标定参数不完整的情况，最终导致摄像头的标定精度差。

发明内容

本申请提供一种标定方法、装置、路侧设备和计算机可读存储介质，用于解决现有的摄像头标定精度差的问题。

第一方面，本申请实施例提供一种标定方法，应用于摄像设备，包括：

获取待标定对象的样本图像和数据采集装置的样本点云数据；

计算待标定对象坐标系相对于数据采集装置坐标系的第一转换矩阵；

将所述样本点云数据的边缘点投影至所述样本图像，获取投影至所述样本图像的边缘点与样本图像的边缘特征的重合度；

根据所述重合度对所述第一转换矩阵进行优化，得到优化后的第一转换矩阵以对所述待标定对象进行标定。

在第一方面的一种可能设计中，所述获取待标定对象的样本图像和数据采集装置的样本点云数据，包括：

获取待标定对象在第一时刻采集的图像数据作为样本图像；

获取数据采集装置在不同时刻和不同方位所采集的多帧点云数据；

根据不同时刻下数据采集装置坐标系的方位，对所述多帧点云数据进行拼接得到第一时刻的点云数据作为样本点云数据。

在第一方面的另一种可能设计中，所述计算待标定对象坐标系相对于数据采集装置坐标系的第一转换矩阵，包括：

计算数据采集装置坐标系相对于参考坐标系的第二转换矩阵；

计算待标定对象坐标系相对于所述参考坐标系的第三转换矩阵；

根据所述第二转换矩阵和所述第三转换矩阵，获取所述待标定对象坐标系相对于所述数据采集装置坐标系的第一转换矩阵。

在第一方面的再一种可能设计中，所述根据所述重合度对所述第一转换矩阵进行优化，得到优化后的第一转换矩阵以对所述待标定对象进行标定，包括：

根据所述重合度对第一转换矩阵进行优化，获取优化后的第一转换矩阵；

根据所述第二转换矩阵和优化后的第一转换矩阵，得到待标定对象坐标系相对于参考坐标系的最优第三转换矩阵；

根据所述最优第三转换矩阵对待标定对象进行标定。

在第一方面的又一种可能设计中，所述样本点云数据的边缘点包括几何边缘点和/或反射强度边缘点，所述将所述样本点云数据的边缘点投影至所述样本图像，包括：

获取所述样本点云数据的几何边缘点和/或反射强度边缘点；

将所述几何边缘点和/或所述反射强度边缘点投影至所述样本图像。

在第一方面的又一种可能设计中，所述获取所述样本点云数据的几何边缘点和/或反射强度边缘点，包括：

将所述样本点云数据中的扫描点依照预设扫描线束进行分组；

获取每一组扫描线束中的第一扫描点与第二扫描点的反射强度差和距离差，所述第二扫描点和所述第一扫描点位于同一组扫描线束中且第二扫描点与第一扫描点相邻；

根据预设反射强度差阈值和所述反射强度差得到反射强度边缘点；

根据预设距离差阈值和所述距离差得到几何边缘点。

在第一方面的又一种可能设计中，所述获取投影至所述样本图像的边缘点与样本图像的边缘特征的重合度，包括：

将所述样本点云数据的边缘点投影至所述样本图像，获取所述边缘点在所述样本图像中对应的投影点；

获取所述样本图像中投影点的像素值和所述投影点对应的边缘点的特征值；

根据所述像素值和所述特征值得到所述重合度。

第二方面，本申请实施例提供一种标定装置，包括：

数据获取模块，用于获取待标定对象的样本图像和数据采集装置的样本点云数据；

参数获取模块，用于计算待标定对象坐标系相对于数据采集装置坐标系的第一转换矩阵；

投影模块，用于将所述样本点云数据的边缘点投影至所述样本图像，获取投影至所述样本图像的边缘点与样本图像的边缘特征的重合度；

优化模块，用于根据所述重合度对所述第一转换矩阵进行优化，得到优化后的第一转换矩阵以对所述待标定对象进行标定。

第三方面，本申请实施例提供一种路侧设备，包括：

至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的方法。

本申请实施例提供的标定方法、装置、路侧设备和计算机可读存储介质，通过数据采集装置采集点云数据，并利用点云数据与样本图像的边缘特征的对齐特性，对待标定对象坐标系与数据采集装置坐标系的第一转换矩阵进行优化，从而实现对待标定对象的标定，整个标定过程简单快捷且不受道路室外环境的影响，使用起来更加灵活且具有更高的标定准确度。

附图说明

图1为本申请实施例提供的标定方法的第一应用场景示意图；

图2为本申请实施例提供的标定方法实施例一的流程示意图；

图3为本申请实施例提供的标定方法实施例二的流程示意图；

图4为本申请实施例提供的标定方法实施例三的流程示意图；

图5为本申请实施例提供的标定方法实施例四的流程示意图；

图6为本申请实施例提供的标定方法实施例五的流程示意图；

图7为本申请实施例提供的标定方法实施例六的流程示意图；

图8为本申请实施例提供的标定方法实施例七的流程示意图；

图9为本申请实施例提供的标定装置实施例一的结构示意图；

图10为本申请实施例提供的标定装置实施例二的结构示意图；

图11为本申请实施例提供的一种路侧设备的硬件结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着近年来自动驾驶技术的发展，车路协同的重要性逐步凸显，路侧设备是车路协同的关键部分，路侧设备负责给车载无人驾驶系统提供环境感知信息，能够减少车辆无人驾驶系统的性能负担，路侧设备主要采用的是摄像头等摄像装置来实现环境信息的采集，摄像头通过拍摄图像获取二维环境信息，然后再根据标定参数将二维环境信息转换为三维环境信息，发送给车辆无人驾驶系统以实现车路协同，故而为了保证二维环境信息转换成的三维环境信息精确，摄像头都需要先进行精确的标定（例如外参的标定和内参的标定，其中内参的标定受摄像头自身内部参数的影响，通常所说的摄像头的标定都为外参标定），现有的标定方法主要包括有两种，第一种是采用特定的标定板或者标志物，通过拍摄标定板或者标定物得到样本图像，然后根据样本图像来对摄像头进行标定，这种方式由于需要使用额外的辅助标志物，使用起来不太方便，不能够较好的适用于室外道路中；另一种则主要采用激光雷达和相机，利用相机拍摄的图像灰度直方图和激光雷达投影点反射率直方图的相似度来估计相机与激光雷达之间外参，这种方式中图像的灰度会受外部光线角度以及阴影的影响，而道路所处的室外环境光线复杂，容易对标定精度产生影响，无法实现对摄像头的精准标定。

针对上述问题，本申请实施例提供了一种标定方法、装置、路侧设备和计算机可读存储介质，不需要使用特定的标定板或者标志物，使用起来更加的灵活并且不需要利用相机拍摄的图像灰度直方图，避免了外部光线角度以及阴影的影响，能够有效提高标定精度。

图1为本申请实施例提供的标定方法的第一场景示意图，如图1所示，自动驾驶的车辆11在道路行驶过程中，可以通过路侧设备12来获取车辆11周围的环境信息例如前方道路是否存在有障碍物、后方是否有车辆超车等等，由于路侧设备12主要使用的是摄像头拍摄图像，需要先通过精确的标定才能将摄像头拍摄的二维图像转换恢复成三维环境信息，然后将该三维环境信息发送给车辆11，实现车路协同。

示例性的，当道路存在有大角度的弯道时，行驶在弯道上的车辆11无法了解到弯道另一侧是否存在有相对行驶的车辆，路侧设备12可以设置在弯道处，通过路侧设备12采集两个相对方向的车辆的图像并恢复成三维图像信息，发送给车辆11以实现车辆11的自动避让。

图2为本申请实施例提供的标定方法实施例一的流程示意图，该方法可以应用于路侧设备摄像头的标定，故本申请实施例的执行主体可以为路侧设备，如图2所示，该方法包括：

S201、获取待标定对象的样本图像和数据采集装置的样本点云数据。

在本申请实施例中，待标定对象可以是路侧设备中的摄像头，该摄像头安装在路侧设备上可以在各个时刻采集拍摄方向的环境信息得到不同时刻的图像，样本图像可以是不同时刻的图像中任意某个时刻的一幅图像。

数据采集装置可以对周围环境信息进行扫描得到点云数据，当车辆在道路上行驶时，不同时刻周围环境信息会发生变化，故而每一个时刻的点云数据可能会不相同，以样本图像为某一时刻t的一幅图像为例，数据采集装置的样本点云数据则为时刻t的点云数据。

示例性的，数据采集装置可以是激光雷达或者深度相机，数据采集装置设置在车辆上，若数据采集装置为激光雷达，则通过激光雷达发射红外线对车辆行驶道路周围的环境进行扫描得到点云数据，若数据采集装置为深度相机，则通过深度相机中的发射器发射光线至车辆行驶道路周围的环境中，并通过深度相机的接收器接收反射回来的光线得到点云数据。

在本申请实施例中，通过激光雷达采集到的点云数据相对于深度相机采集到的点云数据，激光雷达采集到的点云数据能够得到更好的标定效果，后续提到的数据采集装置将以激光雷达为例进行说明。

示例性的，待标定对象可以通过无线通信技术与数据采集装置进行通信连接，无线通信技术可以是蓝牙或者无线WIFI等等。

S202、计算待标定对象坐标系相对于数据采集装置坐标系的第一转换矩阵。

在本申请实施例中，待标定对象若为路侧设备的摄像机，数据采集装置若为激光雷达，则待标定对象坐标系表示的是摄像机坐标系，数据采集装置坐标系则表示激光雷达坐标系，其中摄像机坐标系指的是以摄像机的光心位置作为原点，由于摄像机是可以安装在路侧设备上，而激光雷达安装在车辆上，通过摄像机与激光雷达的相对位置得到第一转换矩阵，由第一转换矩阵实现激光雷达坐标系转换为摄像机坐标系。

示例性的，可以以大地坐标系作为参考坐标系，激光雷达安装在行驶的车辆上，同时车辆上可以通过搭载全球导航卫星系统（Global Navigation Satellite System，GNSS），并且车辆上的激光雷达与GNSS已完成标定，激光雷达相对GNSS的转换矩阵为T_lg，通过获取GNSS与参考坐标系的转换矩阵T_g，来得到激光雷达坐标系与参考坐标系的转换矩阵T₁=T_gT_lg，而路侧设备的摄像机由于位置相对固定，可以通过低精度全球定位系统（GlobalPositioning System，GPS）获取摄像头坐标系与参考坐标系的转换矩阵T₂，从而得到摄像头坐标系与激光雷达坐标系的第一转换矩阵T₃=T₂T₁ ^-1。

S203、将样本点云数据的边缘点投影至样本图像，获取投影至样本图像的边缘点与样本图像的边缘特征的重合度。

在本申请实施例中，车辆上安装的激光雷达对周围环境进行扫描时，环境中不同的物体都具有其边缘部分例如道路中的双黄线，可以通过对样本点云数据进行处理提取得到其中的边缘点。

摄像头在对周围环境进行拍摄时，环境中的物体也存在有边缘特征例如双黄线，样本图像中的边缘特征可以通过相应的图像处理算法得到，例如可采用opencv中的canny，sobel等边缘检测算子来得到样本图像的边缘特征。其中，opencv是一个基于BSD许可发行的跨平台计算机视觉和机器学习软件库，canny边缘检测算子和sobel边缘检测算子为一种边缘检测算法，具体可参考现有技术，在此不做详细补充说明。

示例性的，可以先将彩色的样本图像转换为灰度图像并对灰度图像进行二值化处理（优选自适应阈值的二值化处理方式），对图像应用腐蚀和膨胀的形态学变换，去除杂点并对图像应用距离变换为边缘特征增加梯度，最终实现边缘特征的提取。

示例性的，可以通过摄像头坐标系与激光雷达坐标系的第一转换矩阵T₃和摄像头的内参将边缘点投影到样本图像上，以相机的内参矩阵为K为例，边缘点p投影到样本图像的投影点p’满足：p’=KT₃p。

S204、根据重合度对第一转换矩阵进行优化，得到优化后的第一转换矩阵以对待标定对象进行标定。

在本申请实施例中，可以通过调整第一转换矩阵来实现投影到样本图像的边缘点与样本图像的边缘特征的最优重合度，当边缘点与边缘特征图像的重合度为最优重合度时，此时调整得到的第一转换矩阵即为优化后的第一转换矩阵。路侧设备可以通过该优化后的第一转换矩阵来对摄像头进行外参标定。

示例性的，优化后的第一转换矩阵可以直接作为摄像头的外参标定结果，来对摄像头进行外参标定。进一步的，优化后的第一转换矩阵也可以还继续进行一些相关的变换，将变换之后的结果作为外参标定结果，例如将优化后的第一转换矩阵与预设修正系数相乘进行变换，得到变换之后的结果作为外参标定结果来对摄像头进行外参标定，具体选择何种方式可以根据实际情况抉择，在此不做限定。

示例性的，对第一转换矩阵的调整可以采用蝙蝠算法或者粒子集群算法等集群算法，具体可以通过在搜索空间内放入多个个体，以它们的初始位置作为初始值，分别计算重合度后，根据结果采用一定规则移动个体，以新位置的取值再次计算重合度，而后再次调整个体位置，这样多次迭代直到满足终止条件，则取具有最优重合度的个体的位置为优化后的第一转换矩阵，这种方式具有可并行的特点，能够大幅度提高优化后的第一转换矩阵的求解效率。

示例性的，还可以通过对搜索空间等分遍历的方式或者人工调整的方式得到最优第三转换矩阵。

示例性的，在上述实施例的基础上，图3为本申请实施例提供的标定方法实施例二的流程示意图，本申请实施例的执行主体可以为路侧设备，如图3所示，上述步骤S201具体可以通过如下步骤实现：

S301、获取待标定对象在第一时刻采集的图像数据作为样本图像。

在本申请实施例中，待标定对象可以是路侧设备的摄像头，摄像头可以连续不断的采集一段时间内的图像数据例如视频图像数据，第一时刻可以是一段时间中的任意某一个时刻。

示例性的，第一时刻采集的图像数据可以为一帧图像，即以这一帧图像作为样本图像。

S302、获取数据采集装置在不同时刻和不同方位所采集的多帧点云数据。

在本申请实施例中，数据采集装置可以为安装在车辆上的激光雷达，当车辆在行驶过程中，激光雷达随车辆的移动而移动，从而可以采集到不同时刻和不同方位的点云数据。

示例性的，激光雷达可以在每一个时刻对应的方位下采集一帧点云数据，从而得到多帧点云数据。

S303、根据不同时刻下数据采集装置坐标系的方位，对多帧点云数据进行拼接得到第一时刻的点云数据作为样本点云数据。

在本申请实施例中，数据采集装置若采用激光雷达，则数据采集装置坐标系为激光雷达坐标系，激光雷达可以在每一个时刻对应的方位下获取一帧点云数据，得到多帧点云数据之后，再根据每一个时刻对应的方位对多帧点云数据进行融合拼接，得到第一时刻的点云数据作为样本点云数据，即样本点云数据和样本图像为同一时刻（即第一时刻）获取得到的。

本申请实施例通过获取多帧点云数据并进行拼接得到第一时刻的点云数据作为样本点云数据，能够使得样本点云数据中的点云特征更加丰富。

示例性的，在上述实施例的基础上，图4为本申请实施例提供的标定方法实施例三的流程示意图，上述步骤S202具体可以通过如下步骤实现：

S401、计算数据采集装置坐标系相对于参考坐标系的第二转换矩阵。

在本申请实施例中，参考坐标系可以是大地坐标系，数据采集装置可以是安装在车辆上的激光雷达，同时通过在车辆上设置GNSS并且激光雷达先与GNSS完成标定，激光雷达相对于GNSS的转换矩阵为T_lg，通过GNSS获取其相对大地坐标系的转换矩阵T_g，则可以得到激光雷达坐标系相对于大地坐标系的第二转换矩阵T₁=T_gT_lg。

S402、计算待标定对象坐标系相对于参考坐标系的第三转换矩阵。

在本申请实施例中，待标定对象可以是路侧设备的摄像头，待标定对象坐标系则为摄像头坐标系，摄像头坐标系相对于参考坐标系的第三转换矩阵可以通过GPS设备获得。

示例性的，可以通过GPS设备获取摄像头在大地坐标系的大致位置，然后通过测量摄像头的安装角来获得摄像头相对大地坐标系的朝向，由此根据位置和朝向得到第三转换矩阵T₂。

S403、根据第二转换矩阵和第三转换矩阵，获取待标定对象坐标系相对于数据采集装置坐标系的第一转换矩阵。

在本申请实施例中，第一转换矩阵T₃=T₂T₁ ^-1，其中，T₁为第二转换矩阵，T₂为第三转换矩阵。

在上述实施例的基础上，图5为本申请实施例提供的标定方法实施例四的流程示意图，如图5所示，若样本点云数据的边缘点包括几何边缘点和/或反射强度边缘点，则上述步骤S203中“将样本点云数据的边缘点投影至样本图像”具体可以通过如下步骤实现：

S501、获取样本点云数据的几何边缘点和/或反射强度边缘点。

在本申请实施例中，几何边缘点指的是物体几何边界上的点，反射强度边缘点是发射率不同的区域边界上的点例如路面与车道线的边界，样本点云数据为车辆行驶道路周围环境的点云数据，故而既存在有物体几何边界上的几何边缘点又存在反射强度边缘点。

S502、将几何边缘点和/或反射强度边缘点投影至样本图像。

在本申请实施例中，几何边缘点和反射强度边缘点都可以通过摄像头的内参和摄像头坐标系相对激光雷达坐标系的第一转换矩阵，投影到样本图像上。

示例性的，以摄像头的内参矩阵为K，第一转换矩阵为T₃，则边缘点p投影到样本图像的投影点p’满足：p’=KT₃p。

在上述实施例的基础上，图6为本申请实施例提供的标定方法实施例五的流程示意图，如图6所示，上述步骤S501具体可以通过如下步骤实现：

S601、将样本点云数据中的扫描点依照预设扫描线束进行分组。

示例性的，点云数据主要是通过光线对周围环境进行扫描得到的，例如激光雷达就是通过发射红外光对周围环境进行扫描来得到点云数据的，激光雷达在进行扫描时具有多个发射扫描线束的激光发射器（例如型号为hesai40p的激光雷达就具有40个激光发射器，每一个激光发射器对周围环境进行扫描形成对应的扫描线，在周围没有障碍物的情况下扫描线可以类似为一个圆形）。

预设扫描线束可以是激光雷达每一个激光发射器发射的扫描线束，示例性的，每一根扫描线束上都会有对应的扫描点，即样本点云数据中的扫描点都可以划分到对应的扫描线束上。

S602、获取每一组扫描线束中的第一扫描点与第二扫描点的反射强度差和距离差。

其中，第二扫描点和第一扫描点位于同一组扫描线束中且第二扫描点与第一扫描点相邻；示例性的，以激光雷达具有40根扫描线束为例，可以对激光雷达的扫描线束从1-40进行编号，每一根扫描线束中都具有若干个扫描点，以编号为1的扫描线束为例，取编号为1的扫描线束中的任意一个扫描点作为起始点，然后可以取顺时钟方向或逆时钟方向遍历扫描线束上的扫描点以确定第一扫描点，具体的，若编号为1的扫描线束具有100个扫描点（即按照顺时钟或逆时钟方向标记为1号扫描点至100号扫描点），若起始点为1号扫描点，则第一扫描点可以是2号扫描点至99号扫描点中的任意一个，第二扫描点则与第一扫描点相邻，例如第一扫描点为2号扫描点时，第二扫描点则为1号扫描点和3号扫描点，通过对每一根扫描线束中的扫描点进行遍历，可以得到若干个第一扫描点与第二扫描点的反射强度差和距离差。

反射强度差可以是指的第一扫描点的反射率与第二扫描点的反射率的差值，距离差可以是指第一扫描点到激光雷达坐标系原点与第二扫描点到激光雷达坐标原点的距离差。

S603、根据预设反射强度差阈值和反射强度差得到反射强度边缘点。

示例性的，当激光雷达具有40根扫描线束时，需要遍历所有的扫描线束中所有的第一扫描点和第二扫描点，得到多个反射强度差，然后将多个反射强度差与预设反射强度差阈值I_m进行对比，若其中一个反射强度差大于预设反射强度差阈值I_m，则表示该扫描线束中的第一扫描点为反射强度边缘点。

示例性的，以编号为1的扫描线束为例，编号为1的扫描线束具有100个扫描点，当第一扫描点为2号扫描点时，第二扫描点则为1号扫描点和3号扫描点，第一扫描点与第二扫描点的反射强度差包括有I₁和I₂两个取值（即1号扫描单与2号扫描点的反射强度差I₁、2号扫描点与3号扫描点的反射强度差I₂），可以求出I₁和I₂哪个更大，然后将较大的一个反射强度差与预设反射强度差阈值I_m比较，若大于预设反射强度差阈值I_m，则表示第一扫描点为反射强度边缘点。

S604、根据预设距离差阈值和距离差得到几何边缘点。

示例性的，距离差是指第一扫描点到激光雷达坐标系的原点的第一距离与第二扫描点到激光雷达坐标系的原点的第二距离的差值，即第一距离与第二距离的差值。

示例性的，以编号为1的扫描线束为例，编号为1的扫描线束具有100个扫描点，当第一扫描点为2号扫描点时，第二扫描点则为1号扫描点和3号扫描点，第一扫描点与第二扫描点的距离差包括有R₁和R₂两个取值，可以求出R₁和R₂哪个更大，然后将较大的一个与预设距离差阈值R_m比较，若大于距离差阈值R_m，则表示第一扫描点为几何边缘点。

示例性的，上述的反射强度差阈值I_m和距离差阈值R_m可以根据实际情况进行人工选取。

在上述实施例的基础上，图7为本申请实施例提供的标定方法实施例六的流程示意图，如图7所示，上述步骤S203中的“获取投影至样本图像的边缘点与样本图像的边缘特征的重合度”还可以通过如下步骤实现：

S701、将样本点云数据的边缘点投影至样本图像，获取边缘点在样本图像中对应的投影点。

示例性的，若相机的内参矩阵为K，第一转换矩阵为T₃，则边缘点p在样本图像中的投影点p’满足：p’=KT₃p，若有n个投影点在样本图像内，对于在样本图像内的投影点p_i’（i=1,2,…,n），其中n取正整数。

S702、获取样本图像中投影点的像素值和投影点对应的边缘点的特征值。

示例性的，若有n个投影点在样本图像内，对应的，在样本图像内的投影点p_i’（i=1,2,…,n），其所在位置的像素值v_i（i=1,2,…,n）即样本图像中投影点的像素值。投影点p_i’对应的边缘点p_i的特征值为c_i（i=1,2,…,n），其中n取正整数。

示例性的，特征值可以通过对上述的反射强度差阈值I_m和距离差阈值R_m进行加权求和得到。

S703、根据像素值和特征值得到重合度。

示例性的，重合度可以表示为：

上式中，S为重合度，n为正整数。

在上述实施例的基础上，图8为本申请实施例提供的标定方法实施例七的流程示意图，如图8所示，上述步骤S204可以通过如下步骤实现：

S801、根据重合度对第一转换矩阵进行优化，获取优化后的第一转换矩阵。

示例性的，可以对第一转换矩阵进行调整以使得重合度为最优重合度，调整第一转换矩阵可以采用蝙蝠算法、粒子群算法等集群算法实现，最终得到优化后的第一转换矩阵T₃ ^*。

S802、根据第二转换矩阵和优化后的第一转换矩阵，得到待标定对象坐标系相对于参考坐标系的最优第三转换矩阵。

示例性的，第二转换矩阵T₁为激光雷达坐标系与参考坐标系的转换矩阵，待标定对象坐标系即摄像头坐标系，摄像头坐标系相对于参考坐标系的最优第三转换矩阵T₂ ^*=T₃ ^*T₁。

S803、根据最优第三转换矩阵对待标定对象进行标定。

在本申请实施例中，最优第三转换矩阵T₂ ^*即为摄像头的外参。

本申请实施例提供的标定方法、装置、路侧设备和计算机可读存储介质，通过样本点云数据的边缘点投影到样本图像中，得到边缘点与边缘特征的重合度，并对摄像头坐标系相对于激光雷达坐标系的第一转换矩阵进行调整，得到最优重合度，通过调整后的第一转换矩阵来对摄像头进行标定，具有鲁棒性好，准确度高，操作简便的优点。

对应于上文实施例的标定方法，图9为本申请实施例提供的标定装置实施例一的结构示意图。为了方便说明，仅示出了与本申请实施例相关的部分。如图9所示，标定装置90包括数据获取模块91、参数获取模块92、投影模块93和优化模块94。其中，

数据获取模块91用于获取待标定对象的样本图像和数据采集装置的样本点云数据。

参数获取模块92用于计算待标定对象坐标系相对于数据采集装置坐标系的第一转换矩阵。

投影模块93用于将样本点云数据的边缘点投影至样本图像，获取投影至样本图像的边缘点与样本图像的边缘特征的重合度。

优化模块94用于根据重合度对第一转换矩阵进行优化，得到优化后的第一转换矩阵以对待标定对象进行标定。

在一个实施例中，数据获取模块91具体可以用于获取待标定对象在第一时刻采集的图像数据作为样本图像，并获取数据采集装置在不同时刻和不同方位所采集的多帧点云数据，以及根据不同时刻下数据采集装置坐标系的方位，对多帧点云数据进行拼接得到第一时刻的点云数据作为样本点云数据。

在上述实施例的基础上，图10为本申请实施例提供的标定装置实施例二的结构示意图，如图10所示，参数获取模块92具体包括有第二转换单元921、第三转换单元922和第一转换单元923。其中，第二转换单元921用于计算数据采集装置坐标系相对于参考坐标系的第二转换矩阵。第三转换单元922用于计算待标定对象坐标系相对于参考坐标系的第三转换矩阵。第一转换单元923根据第二转换矩阵和第三转换矩阵，获取待标定对象坐标系相对于数据采集装置坐标系的第一转换矩阵。

在一个实施例中，优化模块94具体用于根据重合度对第一转换矩阵进行优化，获取优化后的第一转换矩阵，并根据第二转换矩阵和优化后的第一转换矩阵，得到待标定对象坐标系相对于参考坐标系的最优第三转换矩阵，以及根据最优第三转换矩阵对待标定对象进行标定。

在一个实施例中，样本点云数据的边缘点包括几何边缘点和/或反射强度边缘点，投影模块93具体可以用于获取样本点云数据的几何边缘点和/或反射强度边缘点，以及将几何边缘点和/或反射强度边缘点投影至样本图像。

在一个实施例中，投影模块93具体还可以用于将样本点云数据中的扫描点依照预设扫描线束进行分组，并获取每一组扫描线束中的第一扫描点与第二扫描点的反射强度差和距离差，以及根据预设反射强度差阈值和反射强度差得到反射强度边缘点，以及根据预设距离差阈值和距离差得到几何边缘点，其中，第二扫描点和第一扫描点位于同一组扫描线束中且第二扫描点与第一扫描点相邻。

在一个实施例中，投影模块93具体还可以用于将样本点云数据的边缘点投影至样本图像，获取边缘点在样本图像中对应的投影点，并获取样本图像中投影点的像素值和投影点对应的边缘点的特征值，以及根据像素值和特征值得到重合度。

关于标定装置的具体限定可以参见上文中对于标定方法的限定，在此不再赘述。上述标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于显示设备中的处理器中，也可以以软件形式存储于显示设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图11为本申请实施例提供的一种路侧设备的硬件结构示意图，如图11所示，路侧设备110包括有至少一个处理器1101和存储器1102，其中，

存储器1102用于存储计算机执行指令；

处理器1101执行存储器存储的计算机执行指令，使得至少一个处理器执行如上的方法。

可选的，存储器1102既可以是独立的，也可以跟处理器1101集成在一起，当存储器1102独立设置时，该路侧设备还包括总线1103，用于连接存储器1102和处理器1101。

本申请实施例还提供一种可读存储介质，其上存储有计算机程序，当处理器执行该计算机程序时，实现上述标定方法的各个步骤。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。

可以理解的是，在本申请实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种标定方法，其特征在于，所述方法包括：

获取待标定对象的样本图像和数据采集装置的样本点云数据；

计算待标定对象坐标系相对于数据采集装置坐标系的第一转换矩阵；

将所述样本点云数据的边缘点投影至所述样本图像，获取投影至所述样本图像的边缘点与样本图像的边缘特征的重合度；

根据所述重合度对所述第一转换矩阵进行优化，得到优化后的第一转换矩阵以对所述待标定对象进行标定。

2.根据权利要求1所述的方法，其特征在于，所述获取待标定对象的样本图像和数据采集装置的样本点云数据，包括：

获取待标定对象在第一时刻采集的图像数据作为样本图像；

获取数据采集装置在不同时刻和不同方位所采集的多帧点云数据；

根据不同时刻下数据采集装置坐标系的方位，对所述多帧点云数据进行拼接得到第一时刻的点云数据作为样本点云数据。

3.根据权利要求1所述的方法，其特征在于，所述计算待标定对象坐标系相对于数据采集装置坐标系的第一转换矩阵，包括：

计算数据采集装置坐标系相对于参考坐标系的第二转换矩阵；

计算待标定对象坐标系相对于所述参考坐标系的第三转换矩阵；

根据所述第二转换矩阵和所述第三转换矩阵，获取所述待标定对象坐标系相对于所述数据采集装置坐标系的第一转换矩阵。

4.根据权利要求3所述的方法，其特征在于，所述根据所述重合度对所述第一转换矩阵进行优化，得到优化后的第一转换矩阵以对所述待标定对象进行标定，包括：

根据所述重合度对第一转换矩阵进行优化，获取优化后的第一转换矩阵；

根据所述第二转换矩阵和优化后的第一转换矩阵，得到待标定对象坐标系相对于参考坐标系的最优第三转换矩阵；

根据所述最优第三转换矩阵对待标定对象进行标定。

5.根据权利要求1所述的方法，其特征在于，所述样本点云数据的边缘点包括几何边缘点和/或反射强度边缘点，所述将所述样本点云数据的边缘点投影至所述样本图像，包括：

获取所述样本点云数据的几何边缘点和/或反射强度边缘点；

将所述几何边缘点和/或所述反射强度边缘点投影至所述样本图像。

6.根据权利要求5所述的方法，其特征在于，所述获取所述样本点云数据的几何边缘点和/或反射强度边缘点，包括：

将所述样本点云数据中的扫描点依照预设扫描线束进行分组；

获取每一组扫描线束中的第一扫描点与第二扫描点的反射强度差和距离差，所述第二扫描点和所述第一扫描点位于同一组扫描线束中且第二扫描点与第一扫描点相邻；

根据预设反射强度差阈值和所述反射强度差得到反射强度边缘点；

根据预设距离差阈值和所述距离差得到几何边缘点。

7.根据权利要求1所述的方法，其特征在于，所述获取投影至所述样本图像的边缘点与样本图像的边缘特征的重合度，包括：

将所述样本点云数据的边缘点投影至所述样本图像，获取所述边缘点在所述样本图像中对应的投影点；

获取所述样本图像中投影点的像素值和所述投影点对应的边缘点的特征值；

根据所述像素值和所述特征值得到所述重合度。

8.一种标定装置，其特征在于，包括：

数据获取模块，用于获取待标定对象的样本图像和数据采集装置的样本点云数据；

参数获取模块，用于计算待标定对象坐标系相对于数据采集装置坐标系的第一转换矩阵；

投影模块，用于将所述样本点云数据的边缘点投影至所述样本图像，获取投影至所述样本图像的边缘点与样本图像的边缘特征的重合度；

优化模块，用于根据所述重合度对所述第一转换矩阵进行优化，得到优化后的第一转换矩阵以对所述待标定对象进行标定。

9.一种路侧设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-7任一项所述的方法。

Images