CN114882119A - 相机外参标定方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种相机外参标定方法、装置、计算机设备和存储介质。方法包括：从目标相机所在车辆的道路测试数据中提取第一车道线检测数据和第一定位数据；第一车道线检测数据中包括多个检测结果，第一定位数据中包括各检测结果对应的定位结果；对第一车道线检测数据进行指定检测，获取第二车道线检测数据；第二车道线检测数据包括第一车道线检测数据中的通过指定检测的检测结果；获取第二定位数据，第二定位数据中包括第二车道线检测数据中的各检测结果对应的定位结果；根据第二车道线检测数据、第二定位数据和高精度地图对目标相机进行外参标定。本申请能够实现在任意存在高精度地图的区域中快速完成对相机外参的标定，且能获得高精度的标定效果。

Description

相机外参标定方法、装置、计算机设备和存储介质

技术领域

本申请涉及相机标定技术领域，特别是涉及一种相机外参标定方法、装置、计算机设备和存储介质。

背景技术

以下陈述仅提供与本申请有关的背景信息，而不必然地构成现有技术。

相机外参又称为相机位姿，由旋转矩阵和平移矩阵组成，相机外参标定指的是确定一个旋转矩阵和平移矩阵，用来描述相机坐标系和其他坐标系(比如车身坐标系)的转换关系。在计算机视觉的应用领域中，相机外参标定是一个关键的环节，因为标定的准确性决定计算机视觉系统能否有效地进行定位、测距、检测等涉及到二维和三维交互的功能。

发明人注意到，目前为相机外参进行标定时，通常需要借助诸如棋盘格、高精度传感器(例如激光雷达)或者室内搭建的高精度测距设备等的辅助，尽管这样可以获得高精度的标定效果，然而却无法实现实时实地进行标定，并且利用上述设备进行标定时操作较为繁琐，比如，以利用激光雷达进行相机外参标定为例，标定时需要先利用点云到图像上的投影进行相机到激光雷达的外参标定，再根据这一传递关系得到相机的外参，上述方式一方面无法直接获得相机的外参，另一方面，在传递过程中还会累积误差而导致标定精度下降。

发明内容

本申请针对上述不足或缺点，提供了一种相机外参标定方法、装置、计算机设备和存储介质，本申请实施例能够实现在任意存在高精度地图的区域中快速完成对相机外参的标定，且能获得高精度的标定效果。

本申请根据第一方面提供了一种相机外参标定方法，在一个实施例中，该方法包括：从目标相机所在车辆的测试数据中提取第一车道线检测数据和第一定位数据；第一车道线检测数据中包括多个检测结果，第一定位数据中包括第一车道线检测数据中的各检测结果对应的定位结果；对第一车道线检测数据进行指定检测，获取第二车道线检测数据；第二车道线检测数据包括第一车道线检测数据中的通过指定检测的检测结果；指定检测包括遮挡物检测、定位质量检测和角度分布检测中的一项或多项；获取第二定位数据，第二定位数据中包括第二车道线检测数据中的各检测结果对应的定位结果；根据第二车道线检测数据、第二定位数据和高精度地图对目标相机进行外参标定。

在一个实施例中，测试数据包括目标相机拍摄的多张目标图像，以及多个指定传感器的测量数据；从目标相机所在车辆的测试数据中提取第一车道线检测数据和第一定位数据，包括：对各张目标图像进行车道线检测，将各张目标图像及其检测结果作为第一车道线检测数据；根据上述多个指定传感器的测量数据进行位姿融合，获得第一定位数据。

在一个实施例中，根据上述多个指定传感器的测量数据进行位姿融合，获得第一定位数据，包括：根据上述多个指定传感器的测量数据进行位姿融合，得到初始定位数据；使用优化工具对初始定位数据进行优化，得到第一定位数据。

在一个实施例中，当指定检测包括遮挡物检测、定位质量检测和角度分布检测时，对第一车道线检测数据进行指定检测，获取第二车道线检测数据，包括：对第一车道线检测数据进行遮挡物检测，获取第一检测结果；第一检测结果包括第一车道线检测数据中的通过遮挡物检测的检测结果；对第一检测结果进行定位质量检测，获取第二检测结果；第二检测结果包括第一检测结果中的通过定位质量检测的检测结果；对第二检测结果进行角度分布检测，获取第三检测结果，第三检测结果包括第二检测结果中的通过角度分布检测的检测结果；将第三检测结果作为第二车道线检测数据。

在一个实施例中，根据第二车道线检测数据、第二定位数据和高精度地图对目标相机进行外参标定，包括：根据第二车道线检测数据、第二定位数据和高精度地图，迭代计算目标相机的外参；其中，目标相机的外参的任一次计算过程包括：从第二车道线检测数据中获取目标检测结果，从第二定位数据中获取目标检测结果对应的目标定位结果；根据历史外参、目标检测结果、目标定位结果和高精度地图计算当前外参，历史外参是指目标相机的初始外参或上一次计算出的外参，当前外参是指本次计算出的目标相机的外参；在满足预设的迭代计算结束条件时，停止迭代计算并获取最新计算出的目标相机的外参。

在一个实施例中，根据历史外参、目标检测结果、目标定位结果和高精度地图计算当前外参，包括：根据历史外参、目标定位结果和高精度地图，在目标检测结果对应的目标图像上投影；对目标检测结果和目标图像上的投影结果进行匹配，获取匹配结果；根据匹配结果计算当前外参。

在一个实施例中，根据匹配结果计算当前外参，包括：根据匹配结果构建多个目标误差项，目标误差项是指和目标相机的外参相关，且图像平面上的点到线的距离为误差的误差项；将该多个目标误差项组成正规方程，使用梯度下降方法迭代求解正规方程得到当前外参。

在一个实施例中，上述方法还包括：在使用梯度下降方法迭代求解正规方程得到当前外参时，对正规方程进行奇异值分解，得到多个特征向量，将各特征向量的特征值与预设阈值进行对比，确定目标特征向量；停止对目标特征向量对应的参数进行更新。

在一个实施例中，上述目标相机所在车辆的测试数据是上述目标相机所在车辆在传感器标定测试或日常道路测试中采集到的测试数据。

在一个实施例中，上述方法还包括：在成功对上述目标相机进行外参标定之后，获取上述目标相机当前的外参；将上述外参与指定阈值数据进行对比，获取上述外参与指定阈值数据间的差值；当上述差值超过预设调整范围时，向指定人员发送告警信息。

本申请根据第二方面提供了一种相机外参标定装置，在一个实施例中，该装置包括：

提取模块，用于从目标相机所在车辆的测试数据中提取第一车道线检测数据和第一定位数据；第一车道线检测数据中包括多个检测结果，第一定位数据中包括第一车道线检测数据中的各检测结果对应的定位结果；

检测模块，用于对第一车道线检测数据进行指定检测，获取第二车道线检测数据；第二车道线检测数据包括第一车道线检测数据中的通过指定检测的检测结果；指定检测包括遮挡物检测、定位质量检测和角度分布检测中的一项或多项；

获取模块，用于获取第二定位数据，第二定位数据中包括第二车道线检测数据中的各检测结果对应的定位结果；

标定模块，用于根据第二车道线检测数据、第二定位数据和高精度地图对目标相机进行外参标定。

本申请根据第三方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的实施例的步骤。

本申请根据第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一方法的实施例的步骤。

在本申请上述实施例中，通过使用高精度地图来标定相机外参，以及对从目标相机所在车辆的测试数据中提取的第一车道线检测数据进行检测，比如遮挡物检测、定位质量检测和/或角度分布检测，能够实现在不借助例棋盘格、更高精度的传感器(如激光雷达)或者室内搭建的高精度测距设备的辅助的情况下，实现在任意存在高精度地图的区域中快速完成对相机外参的标定，且能获得高精度的标定效果。

附图说明

图1为本申请根据一个或多个实施例提供的一种相机外参标定方法的流程示意图；

图2为本申请根据一个或多个实施例提供的用于对第一车道线检测数据进行指定检测的流程示意图；

图3为本申请根据一个或多个实施例提供的遮挡物检测示意图；

图4-1为本申请根据一个或多个实施例提供的角度分布示意图；

图4-2为本申请根据另外的一个或多个实施例提供的角度分布示意图；

图5为本申请根据一个或多个实施例提供的检测结果和投影结果的匹配示意图；

图6为本申请根据一个或多个实施例提供的图像平面上的点到线的距离的示意图；

图7为本申请根据一个或多个实施例提供的一种相机外参标定装置的结构框图；

图8为本申请根据一个或多个实施例提供的计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。下文的“标定”如无特别说明，是指对相机外参进行标定。

本申请提供了一种相机外参标定方法。在一个实施例中，上述相机外参标定方法包括如图1所示的步骤，该方法可以应用于车辆中的车载计算设备，也可以应用于远端的服务器，在以下各个实施例中，如无特别说明，执行主体既可以是车载计算设备也可以是服务器。其中，该服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

下面对上述方法进行说明，该方法包括：

S110：从目标相机所在车辆的测试数据中提取第一车道线检测数据和第一定位数据。

在本实施例中，上述目标相机是指待标定外参的相机；目标相机所在车辆的测试数据包括目标相机在车辆(指安装有目标相机的自动驾驶车辆)进行测试的过程中拍摄的多张目标图像，以及采集到的多个指定传感器的测量数据，其中，目标图像是指包含车道线的图像，指定传感器可以包括但不限于轮速计、IMU(Inertial Measurement Unit，惯性传感器)和RTK(Real-time kinematic，实时动态载波相位差分定位技术)等传感器。第一车道线检测数据中包括多个检测结果，上述多个检测结果是指分别从上述多张目标图像中提取出的车道线(具体可以是车道线在图像中的坐标)，具体可以采用深度卷积网络来提取；第一定位数据中包括第一车道线检测数据中的各检测结果对应的定位结果。

S120：对第一车道线检测数据进行指定检测，获取第二车道线检测数据。

在本实施例中，第二车道线检测数据包括第一车道线检测数据中的通过指定检测的检测结果。其中，上述的指定检测包括遮挡物检测、定位质量检测和角度分布检测中的一项或多项。

通过对第一车道线检测数据进行指定检测，以从中筛选出第二车道线检测数据，基于第二车道线检测数据进行后续的标定操作，可以提高标定的参数求解稳定性和鲁棒性，进而提高标定精度。

S130：获取第二定位数据。

在本实施例中，第二定位数据是在获得第二车道线检测数据后，从第一定位数据中筛选出的，其中，第二定位数据中包括第二车道线检测数据中的各检测结果对应的定位结果。

S140：根据第二车道线检测数据、第二定位数据和高精度地图对目标相机进行外参标定。

本实施例中，对相机进行外参标定，指的是计算出相机坐标系到车辆后轴中心坐标系的位移和姿态，包括平移矩阵和旋转矩阵。

上述高精度地图是指自动驾驶领域中的高精度电子地图。

本实施例通过使用高精度地图来标定相机外参，以及对从目标相机所在车辆的测试数据中提取的第一车道线检测数据进行检测，比如遮挡物检测、定位质量检测和/或角度分布检测，能够实现在不借助棋盘格、更高精度的传感器(如激光雷达)或者室内搭建的高精度测距设备的辅助的情况下，实现在任意存在高精度地图的区域中快速完成对相机外参的标定，且能获得高精度的标定效果。

此外，发明人意识到，由于本实施例提供的相机外参标定方法在进行标定时可以无需依赖棋盘格、更高精度的传感器(如激光雷达)或者室内搭建的高精度测距设备的辅助，因此用于标定的数据来源可以不局限于以往常用的传感器标定测试的测试数据，而可以利用日常道路测试中采集到的测试数据来进行标定。因此，在本申请实施例中，目标相机所在车辆的测试数据既可以是目标相机所在车辆进行传感器标定测试时采集的测试数据，也可以是从进行日常道路测试时采集的测试数据中筛选出的测试数据。

以下对上述的传感器标定测试和日常道路测试进行说明。

目前，有许多自动驾驶车辆都是“后装”，即车辆刚下车间时，车上没有任何自动驾驶传感器(如相机和激光雷达)，需要硬件工程师进行CAD建模和设计，对车进行改装和装配硬件。由此一来，会涉及以下几个重要的步骤：

1.硬件设计装配和测试

硬件工程师根据车辆原本的样子和实际的需求，先设计CAD图纸，包括相机具体装配在车辆的哪个地方，相机和相机之间距离等；接着，硬件工程师会按照设计好的CAD图纸，在误差允许范围内进行硬件的装配，并在所有硬件装完后，进行硬件测试。其中，上述CAD是指一款Autodesk公司出品的制图软件。

2.传感器标定和测试(上述的传感器标定测试即是指此步骤)

在硬件测试通过后，进行传感器的标定，用于修正硬件装配时的安装误差。此时会由安全员或者硬件工程师手动驾驶车辆到数据采集场所(比如，特定的贴有二维码的场所)进行专门的标定数据采集，之后即可基于采集到的数据进行标定。通常，测试时间较短，比如几分钟、十分钟等等，采集到的数据的类型较单一，数据量较小，基本上只是用于标定。

3.正式道路测试(上述的日常道路测试即是指此步骤)

在硬件和软件的参数部分都通过例如硬件测量对比、测试软件试运行等手段的验证后，即可进行道路测试。在测试的过程中会记录下定位数据、车道线检测数据等信息。在道路测试结束后，数据会自动上传到服务器。通常，测试时间较长，比如，几个小时甚至更长时间(如一天)，采集到的数据的类型较丰富，并且数据量较大，采集到的数据的用途更为广泛。

在一个实施例中，执行主体为车载计算设备，由于可以在任何有高精度地图的地方进行标定，而无需专门到特定的贴有二维码的场所进行标定，因此，在执行传感器标定和测试的步骤时，可以实现在线实时采集用于标定的测试数据，并基于采集到的测试数据立即进行标定，标定结果可以在车载计算设备上实时进行显示，对于负责标定的人员(如工程师)，由于其很方便地看到标定效果，因此能够及时发现标定结果是否存在问题，假如其对标定结果不满意，可以立即重新进行标定。

在一个实施例中，上述方法还包括：在成功对目标相机进行外参标定之后，获取目标相机当前的外参；将上述外参与指定阈值数据进行对比，获取上述外参与指定阈值数据间的差值；当上述差值超过预设调整范围时，向指定人员发送告警信息。其中，指定阈值可以根据经验进行设置，比如可以是初始的外参(硬件工程师进行CAD建模后得到的值)，在此不进行具体限制。本实施例能够及时发现标定存在问题的外参，进而可以警告指定人员进行问题排查，提高问题解决效率。

在一个实施例中，上述步骤S110：从目标相机所在车辆的测试数据中提取第一车道线检测数据和第一定位数据，包括：对各张目标图像进行车道线检测，将各张目标图像及其检测结果作为第一车道线检测数据；根据上述多个指定传感器的测量数据进行位姿融合，获得第一定位数据。其中，可以基于优化或者基于滤波的多传感器位姿融合算法来进行位姿融合。

可选的，根据上述多个指定传感器的测量数据进行位姿融合，获得第一定位数据，包括：根据上述多个指定传感器的测量数据进行位姿融合，得到初始定位数据；使用优化工具对初始定位数据进行优化，得到第一定位数据。通过使用优化工具对初始定位数据进行优化，可以得到更高精度的定位结果。其中，上述优化工具可以采用全平滑器。

在一个实施例中，从上文可知，指定检测具体可以包含一种或多种检测，如果指定检测包含不止一种检测，那么指定检测所包含的各种检测的检测顺序可以不受限制。

以下以指定检测包括遮挡物检测、定位质量检测和角度分布检测为例，对上述步骤S120进行说明，即如图2所示，对第一车道线检测数据进行指定检测，获取第二车道线检测数据，包括：

S121：对第一车道线检测数据进行遮挡物检测，获取第一检测结果；第一检测结果包括第一车道线检测数据中的通过遮挡物检测的检测结果。

车道线的检测结果可以参见图3，图3的上图所展示的是进行遮挡物检测前的检测结果，图3的下图所展示的是进行遮挡物检测后的检测结果，图3中箭头所指的即是检测到的车道线(箭头所指的车道线仅为图中的部分车道线)；其中，车道线的检测结果在图像上具体是由多个检测点组成的，部分检测点可能被障碍物遮挡，比如图中用方框框出来的检测点，使用这部分检测点进行后续的标定会影响标定精确度，因此，本实施例对第一车道线检测数据中的每个检测结果进行遮挡物检测，以将每个检测结果中的被障碍物遮挡的检测点剔除。

S122：对第一检测结果进行定位质量检测，获取第二检测结果；第二检测结果包括第一检测结果中的通过定位质量检测的检测结果。

假如在执行步骤S110时有采用全平滑器对定位数据进行优化，那么在执行步骤S120时，可以使用全平滑器估计得到的协方差来表征各定位结果的定位质量，并以此为依据剔除掉定位质量不好的检测结果。

S123：对第二检测结果进行角度分布检测，获取第三检测结果，第三检测结果包括第二检测结果中的通过角度分布检测的检测结果。

在第一车道线检测数据中，可能有角度存在冗余的检测结果，这些冗余的检测结果有可能会让非线性优化器陷入局部最优，因此进行角度分布检测可以有效让非线性优化器陷入局部最优，继而优化的速度和标定的精度。上述的角度是指车辆和车道线之间构成的夹角，比如图4-1和图4-2即示出了两个角度。

S124：将第三检测结果作为第二车道线检测数据。

本实施例可以提高标定的参数求解稳定性和鲁棒性，进而提高标定精度。

在一个实施例中，上述的步骤S140：根据第二车道线检测数据、第二定位数据和高精度地图对目标相机进行外参标定，包括：根据第二车道线检测数据、第二定位数据和高精度地图，迭代计算目标相机的外参；在满足预设的迭代计算结束条件时，停止迭代计算并获取最新计算出的目标相机的外参。上述迭代计算结束条件可以是参数收敛和/或迭代次数大于预设的阈值。

其中，目标相机的外参的任一次计算过程包括：从第二车道线检测数据中获取目标检测结果，从第二定位数据中获取目标检测结果对应的目标定位结果；根据历史外参、目标检测结果、目标定位结果和高精度地图计算当前外参。上述的目标检测结果是指在进行本次计算时从第二车道线检测数据中获取的一个检测结果。历史外参是指目标相机的初始外参(即迭代计算的第一次计算时，会使用初始外参作为历史外参)或上一次计算出的外参，而当前外参是指本次计算出的目标相机的外参。

在一个实施例中，根据历史外参、目标检测结果、目标定位结果和高精度地图计算当前外参，包括：根据历史外参、目标定位结果和高精度地图，在目标检测结果对应的目标图像上投影；对目标检测结果和目标图像上的投影结果进行匹配，获取匹配结果；根据匹配结果计算当前外参。

其中，在目标检测结果对应的目标图像上投影时，根据目标相机的内参、历史外参、目标定位结果，从高精度地图中获取对应的车道线，并将获取的车道线投影到目标检测结果对应的目标图像上(目标检测结果也在目标图像上)，完成投影后，即可在该目标图像上对目标检测结果和投影结果进行匹配，进而获得匹配结果。示例性地，如图5所示，图中的①是目标检测结果中的部分车道线，②是指投影结果中的部分车道线，③所指的检测结果和投影结果之间的连线，用于表示检测结果和投影结果之间的匹配关系(连线越长，表示匹配关系越弱，连线越短，表示匹配关系越强)。

具体地，首先，在高精度地图的车道线上均匀采样(以下将高精度地图中的车道线的点称为采样点，检测结果中的车道线的点称为检测点)；接着，在目标检测结果中寻找每一条车道线的检测点与其最近的高精度地图的采样点；由于检测结果和高精度地图都是以车道线为单位组织数据的，因而隶属于同一根车道线的检测点都会对应到同一根高精度地图上的车道线的采样点，基于上述条件能对目标检测数据中的每条车道线进行局外点的去除。上述局外点是指目标检测结果中的不属于车道线上的点，同理，局内点是指属于车道线上的点。

此外，为进一步剔除局外点，可以假定局内点的数量比例远大于局外点，而局外点的匹配距离误差远大于局内点，基于上述假定可以建立直方图，寻找局内点和局外点的分布界限，并基于找到的分布界限剔除局外点。

在一个实施例中，当完成上述匹配操作之后，即可根据匹配结果计算当前外参，包括：根据匹配结果构建多个目标误差项，目标误差项是指和目标相机的外参相关，且图像平面上的点到线的距离为误差的误差项；将该多个目标误差项组成正规方程，使用梯度下降方法迭代求解正规方程得到当前外参。

示例性地，如图6所示，图中的“rg0”、“rg1”和“rg2”是指采样点，而“f0”、“f1”和“f2”是指检测点，上述的“线”是指每两个相邻的采样点之间构成的线，比如图6所示的“rg0”和“rg1”间构成线“L1”，“rg1”和“rg2”间构成线“L2”。上述的图像平面上的点到线的距离是指检测点到采样点间构成的线的距离，比如，检测点“f0”、“f1”和“f2”到线的距离分别是“d0”、“d1”和“d2”。

示例性地，以下以历史外参是目标相机的初始外参为例，对根据匹配结果计算当前外参的处理过程进行说明。

计算时的输入信息如下所示：

初始值：

可以来源于CAD(工程三维建模)

车道线检测点，转换到相机归一化坐标系上：niq

对应的世界坐标系下的高精度地图的车道线采样点：wp^a，wp^b

高精度的定位结果：T_w，ra

计算后输出的信息如下所示：

当前外参：T_ra，c

测量模型如下：

其中r是点到线的一维的误差，该误差项(即上述的误差项)相对于外参的雅克比(导数)为：

其中，

所有的误差项组成一个正规方程，利用梯度下降方法，如牛顿高斯法或者LM(Levenberg-Marquarelt)法进行求解：

其中，J和r是所有检测点根据测量模型组合得到的雅克比矩阵和误差向量，Δξ是T_ra，c的更新增量，即

进一步地，在一个实施例中，在使用梯度下降方法迭代求解正规方程得到当前外参时，对正规方程进行奇异值分解，得到多个特征向量；将各特征向量的特征值与预设阈值进行对比，确定目标特征向量，目标特征向量是指所述多个特征向量中的欠定方向上的特征向量；停止对目标特征向量对应的参数进行更新。上述预设阈值可以通过预先实验来获得。

目标相机的外参共包含6个参数(即三个旋转角和三个位移量)，上述多个特征向量与该6个参数一一对应。上述目标特征向量是指上述多个特征向量中的欠定方向上的特征向量，目标特征向量的数量可以是一个或多个；具体地，假如某特征向量的特征值小于对应的预设阈值，则将该特征向量的方向认为是欠定方向(或称为退化方向)，并将该特征向量作为目标特征向量。

本实施例能够实现在优化的过程中，进一步提高标定稳定性。

需要说明的是，关于上述任何一个实施例中提供的相机外参标定方法所包括的各个步骤，除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，这些步骤中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

基于相同的发明构思，本申请还提供了一种相机外参标定装置。在本实施例中，如图7所示，该相机外参标定装置包括以下模块：

提取模块110，用于从目标相机所在车辆的测试数据中提取第一车道线检测数据和第一定位数据；第一车道线检测数据中包括多个检测结果，第一定位数据中包括第一车道线检测数据中的各检测结果对应的定位结果；

检测模块120，用于对第一车道线检测数据进行指定检测，获取第二车道线检测数据；第二车道线检测数据包括第一车道线检测数据中的通过指定检测的检测结果；指定检测包括遮挡物检测、定位质量检测和角度分布检测中的一项或多项；

获取模块130，用于获取第二定位数据，第二定位数据中包括第二车道线检测数据中的各检测结果对应的定位结果；

标定模块140，用于根据第二车道线检测数据、第二定位数据和高精度地图对目标相机进行外参标定。

在一个实施例中，测试数据包括目标相机拍摄的多张目标图像，以及多个指定传感器的测量数据；提取模块，用于对各张目标图像进行车道线检测，将各张目标图像及其检测结果作为第一车道线检测数据；根据上述多个指定传感器的测量数据进行位姿融合，获得第一定位数据。

在一个实施例中，提取模块，还用于根据上述多个指定传感器的测量数据进行位姿融合，得到初始定位数据；使用优化工具对初始定位数据进行优化，得到第一定位数据。

在一个实施例中，当指定检测包括遮挡物检测、定位质量检测和角度分布检测时，检测模块，用于对第一车道线检测数据进行遮挡物检测，获取第一检测结果；第一检测结果包括第一车道线检测数据中的通过遮挡物检测的检测结果；对第一检测结果进行定位质量检测，获取第二检测结果；第二检测结果包括第一检测结果中的通过定位质量检测的检测结果；对第二检测结果进行角度分布检测，获取第三检测结果，第三检测结果包括第二检测结果中的通过角度分布检测的检测结果；将第三检测结果作为第二车道线检测数据。

在一个实施例中，标定模块，用于根据第二车道线检测数据、第二定位数据和高精度地图，迭代计算目标相机的外参；其中，目标相机的外参的任一次计算过程包括：从第二车道线检测数据中获取目标检测结果，从第二定位数据中获取目标检测结果对应的目标定位结果；根据历史外参、目标检测结果、目标定位结果和高精度地图计算当前外参，历史外参是指目标相机的初始外参或上一次计算出的外参，当前外参是指本次计算出的目标相机的外参；在满足预设的迭代计算结束条件时，停止迭代计算并获取最新计算出的目标相机的外参。

在一个实施例中，标定模块在根据历史外参、目标检测结果、目标定位结果和高精度地图计算当前外参时，具体用于：根据历史外参、目标定位结果和高精度地图，在目标检测结果对应的目标图像上投影；对目标检测结果和目标图像上的投影结果进行匹配，获取匹配结果；根据匹配结果计算当前外参。

在一个实施例中，标定模块在根据匹配结果计算当前外参时，具体用于：根据匹配结果构建多个目标误差项，目标误差项是指和目标相机的外参相关，且图像平面上的点到线的距离为误差的误差项；将该多个目标误差项组成正规方程，使用梯度下降方法迭代求解正规方程得到当前外参。

在一个实施例中，标定模块，还用于根据各张目标图像的匹配结果构建多个目标误差项，目标误差项是指和相机外参相关且图像平面上的点到线的距离为误差的误差项；将上述多个目标误差项组成正规方程，使用梯度下降方法迭代求解正规方程得到当前外参。

在一个实施例中，标定模块，在使用梯度下降方法迭代求解正规方程得到当前外参时，还用于对正规方程进行奇异值分解，得到多个特征向量；将各特征向量的特征值与预设阈值进行对比，确定目标特征向量；停止对目标特征向量对应的参数进行更新。

在一个实施例中，目标相机所在车辆的测试数据是目标相机所在车辆在传感器标定测试或日常道路测试中采集到的测试数据。

在一个实施例中，上述装置还包括告警模块。告警模块，用于在成功对目标相机进行外参标定之后，获取目标相机当前的外参；将上述外参与指定阈值数据进行对比，获取上述外参与指定阈值数据间的差值；当上述差值超过预设调整范围时，向指定人员发送告警信息。

关于相机外参标定装置的具体限定可以参见上文中对于相机外参标定方法的限定，在此不再赘述。上述相机外参标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，其内部结构图可以如图8所示。

该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储高精度地图、目标相机所在车辆的测试数据等数据，具体存储的数据还可以参见上述方法实施例中的限定。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种相机外参标定方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例中提供的相机外参标定方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中提供的相机外参标定方法中的步骤。

本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)、直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种相机外参标定方法，其特征在于，所述方法包括：

从目标相机所在车辆的道路测试数据中提取第一车道线检测数据和第一定位数据；所述第一车道线检测数据中包括多个检测结果，所述第一定位数据中包括所述第一车道线检测数据中的各检测结果对应的定位结果；

对所述第一车道线检测数据进行指定检测，获取第二车道线检测数据；所述第二车道线检测数据包括所述第一车道线检测数据中的通过所述指定检测的检测结果；所述指定检测包括遮挡物检测、定位质量检测和角度分布检测中的一项或多项；

获取第二定位数据，所述第二定位数据中包括所述第二车道线检测数据中的各检测结果对应的定位结果；

根据所述第二车道线检测数据、所述第二定位数据和高精度地图对所述目标相机进行外参标定。

2.如权利要求1所述的方法，其特征在于，所述道路测试数据包括所述目标相机拍摄的多张目标图像，以及多个指定传感器的测量数据；

所述从目标相机所在车辆的道路测试数据中提取第一车道线检测数据和第一定位数据，包括：

对各张目标图像进行车道线检测，将各张目标图像及其检测结果作为第一车道线检测数据；

根据所述多个指定传感器的测量数据进行位姿融合，获得第一定位数据。

3.如权利要求2所述的方法，其特征在于，所述根据所述多个指定传感器的测量数据进行位姿融合，获得第一定位数据，包括：

根据所述多个指定传感器的测量数据进行位姿融合，得到初始定位数据；

使用优化工具对所述初始定位数据进行优化，得到所述第一定位数据。

4.如权利要求1所述的方法，其特征在于，当所述指定检测包括遮挡物检测、定位质量检测和角度分布检测时，所述对所述第一车道线检测数据进行指定检测，获取第二车道线检测数据，包括：

对所述第一车道线检测数据进行遮挡物检测，获取第一检测结果；所述第一检测结果包括所述第一车道线检测数据中的通过所述遮挡物检测的检测结果；

对所述第一检测结果进行定位质量检测，获取第二检测结果；所述第二检测结果包括所述第一检测结果中的通过所述定位质量检测的检测结果；

对所述第二检测结果进行角度分布检测，获取第三检测结果，所述第三检测结果包括所述第二检测结果中的通过所述角度分布检测的检测结果；

将所述第三检测结果作为所述第二车道线检测数据。

5.如权利要求1所述的方法，其特征在于，所述根据所述第二车道线检测数据、所述第二定位数据和高精度地图对所述目标相机进行外参标定，包括：

根据所述第二车道线检测数据、所述第二定位数据和高精度地图，迭代计算所述目标相机的外参；其中，所述目标相机的外参的任一次计算过程包括：从所述第二车道线检测数据中获取目标检测结果，从所述第二定位数据中获取所述目标检测结果对应的目标定位结果；根据历史外参、所述目标检测结果、所述目标定位结果和所述高精度地图计算当前外参，所述历史外参是指所述目标相机的初始外参或上一次计算出的外参，所述当前外参是指本次计算出的所述目标相机的外参；

在满足预设的迭代计算结束条件时，停止迭代计算并获取最新计算出的所述目标相机的外参。

6.如权利要求5所述的方法，其特征在于，

所述根据历史外参、所述目标检测结果、所述目标定位结果和所述高精度地图计算当前外参，包括：

根据历史外参、所述目标定位结果和所述高精度地图，在所述目标检测结果对应的目标图像上投影；

对所述目标检测结果和所述目标图像上的投影结果进行匹配，获取匹配结果；

根据所述匹配结果计算当前外参。

7.如权利要求6所述的方法，其特征在于，所述根据所述匹配结果计算当前外参，包括：

根据所述匹配结果构建多个目标误差项，所述目标误差项是指和所述目标相机的外参相关，且图像平面上的点到线的距离为误差的误差项；

将所述多个目标误差项组成正规方程，使用梯度下降方法迭代求解所述正规方程得到当前外参。

8.如权利要求7所述的方法，其特征在于，所述方法还包括：在使用梯度下降方法迭代求解所述正规方程得到当前外参时，对所述正规方程进行奇异值分解，得到多个特征向量，将各特征向量的特征值与预设阈值进行对比，确定目标特征向量，所述目标特征向量是指所述多个特征向量中的欠定方向上的特征向量；停止对目标特征向量对应的参数进行更新。

9.如权利要求1所述的方法，其特征在于，所述目标相机所在车辆的测试数据是所述目标相机所在车辆在传感器标定测试或日常道路测试中采集到的测试数据。

10.如权利要求1所述的方法，其特征在于，所述方法还包括：

在成功对所述目标相机进行外参标定之后，获取所述目标相机当前的外参；

将所述外参与指定阈值数据进行对比，获取所述外参与指定阈值数据间的差值；

当所述差值超过预设调整范围时，向指定人员发送告警信息。

11.一种相机外参标定装置，其特征在于，所述装置包括：

提取模块，用于从目标相机所在车辆的道路测试数据中提取第一车道线检测数据和第一定位数据；所述第一车道线检测数据中包括多个检测结果，所述第一定位数据中包括所述第一车道线检测数据中的各检测结果对应的定位结果；

检测模块，用于对所述第一车道线检测数据进行指定检测，获取第二车道线检测数据；所述第二车道线检测数据包括所述第一车道线检测数据中的通过所述指定检测的检测结果；所述指定检测包括遮挡物检测、定位质量检测和角度分布检测中的一项或多项；

获取模块，用于获取第二定位数据，所述第二定位数据中包括所述第二车道线检测数据中的各检测结果对应的定位结果；

标定模块，用于根据所述第二车道线检测数据、所述第二定位数据和高精度地图对所述目标相机进行外参标定。

12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

Images