CN108805934A - 一种车载摄像机的外部参数标定方法及装置 - Google Patents

Abstract

本申请提供一种车载摄像机的外部参数标定方法及装置，用以解决现有技术中存在无法在车辆行驶过程中标定车载摄像机的外部参数的问题。方法包括：获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，该多条道路交通标线中包含至少两条非平行线段，该局部坐标用于指示该多条道路交通标线在数字图像中的位置；确定多条道路交通标线在数字地图中的全局坐标，该全局坐标用于指示该多条道路交通标线在数字地图中的位置；根据该多条道路交通标线的局部坐标和该多条道路交通标线的全局坐标计算得到车载摄像机的外部参数，该外部参数用于指示车载摄像机相对于车辆的平移距离和旋转角度。

Description

一种车载摄像机的外部参数标定方法及装置

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种车载摄像机的外部参数标定方法及装置。

背景技术

车载摄像机作为一种传感器在辅助驾驶和自动驾驶中所起的作用日益重要，通过将车辆周围的环境与车载摄像机拍摄到的数字图像相关联，可以为安全驾驶提供必要信息。在将车辆周围的环境与车载摄像机拍摄到的数字图像相关联的过程中，车载摄像机的外部参数起到了重要作用。其中，车载摄像机的外部参数是指车载摄像机相对于车辆的平移距离和旋转角度。

现有技术中，车载摄像机的外部参数是在出厂或维修时标定的，即在车辆静止的情况下，通过检测数字图像中摆放在车辆周围的、已知尺寸和位置的标定物，来标定车载摄像机的外部参数。如图1所示，在车头前方1米处放置黑白标定板，板面与车身垂直，板面上的每一个小方格的物理尺寸已知。在标定车载摄像机的外部参数时，用车载摄像机拍摄黑白标定板，获取拍摄的数字图像中的角点在数字图像中的坐标，同时计算角点在车身坐标系下的坐标，然后建立角点在数字图像中的坐标与角点在车身坐标系下的坐标的一一对应关系，再经过迭代计算和优化后，可计算出车载摄像机的外部参数。

上述标定外部参数的方法操作繁琐，且仅能在车辆静止的情况下进行标定。在车辆的行驶过程中，车辆的颠簸、相机镜头的形变等因素都会导致车载摄像机的外部参数发生变化，此时采用现有技术的外部参数标定方法难以保证车载摄像机的外部参数的准确性。在车载摄像机的外部参数不准确的情况下，将车辆周围的环境与车载摄像机拍摄到的数字图像相关联的过程中会存在误差，影响安全驾驶。

综上，现有技术中提供的方案无法在车辆行驶过程中标定车载摄像机的外部参数，从而导致车载摄像机的外部参数的准确性降低，影响安全驾驶。

发明内容

本申请提供一种车载摄像机的外部参数标定方法及装置，用以解决现有技术中存在无法在车辆行驶过程中标定车载摄像机的外部参数的问题。

第一方面，本申请提供一种车载摄像机的外部参数标定方法，该方法包括如下步骤：获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，该多条道路交通标线中包含至少两条非平行线段，该局部坐标用于指示该多条道路交通标线在数字图像中的位置；确定多条道路交通标线在数字地图中的全局坐标，该全局坐标用于指示该多条道路交通标线在数字地图中的位置；根据该多条道路交通标线的局部坐标和该多条道路交通标线的全局坐标计算得到车载摄像机的外部参数，该外部参数用于指示车载摄像机相对于车辆的平移距离和旋转角度。

需要说明的是，本申请中仅限定多条道路交通标线中包含至少两条非平行线段，且这两条非平行线段的全局坐标在数字地图中有相应记录。本申请对多条道路交通标线中除这两条非平行线段之外的其他线段的数量和位置均不做限制。

采用第一方面提供的车载摄像机的外部参数的标定方法，由于在车辆的行驶过程中获取到车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，并确定了该多条道路交通标线在数字地图中的全局坐标，然后根据该多条道路交通标线的局部坐标和该多条道路交通标线的全局坐标计算车载摄像机的外部参数。因此，采用第一方面提供的方法可在车辆的行驶过程中实时标定车载摄像机的外部参数，从而在车载摄像机的外部参数发生变化的情况下可以实现及时校正外部参数，使得车载摄像机提供的信息更为准确，可以提高驾驶的安全性。

基于第一方面，在一种可能的实现方式中，获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，具体可通过如下方式实现：对数字图像进行边缘检测，获取多个非零像素点的局部坐标；对多个非零像素点进行直线拟合，获取多条候选线段的局部坐标；对多条候选线段进行直线聚类，获取多条道路交通标线的局部坐标。

基于第一方面，在一种可能的实现方式中，计算得到车载摄像机的外部参数，具体可通过如下方式实现：根据该多条道路交通标线的局部坐标和多条道路交通标线的全局坐标求解单应性矩阵(Homography)；分解该单应性矩阵，得到平移向量和旋转矩阵，其中，平移向量用于指示车载摄像机相对于车辆的平移距离，旋转矩阵用于指示车载摄像机相对于车辆的旋转角度。

基于第一方面，在一种可能的实现方式中，在计算外部参数时可通过如下方式求解上述单应性矩阵：

其中，H＝[h1 h2 h3]为上述单应性矩阵，L_i＝(A_i,B_i,C_i)^T为该多条道路交通标线的全局坐标，l_i＝(a_i,b_i,c_i)^T为该多条道路交通标线的局部坐标，i取遍不大于N的正整数，N为多条道路交通标线的数量。

基于第一方面，在一种可能的实现方式中，在计算外部参数时可通过如下方式得到上述平移向量：

T＝h3/((|h1|+|h2|)/2)；

其中，T为平移向量。

基于第一方面，在一种可能的实现方式中，在计算外部参数时可通过如下方式得到上述旋转矩阵：

r1＝h1/|h1|,r2＝h2/|h2|,r3＝r1⊙r2；

其中，R＝[r1 r2 r3]为旋转矩阵，││表示求模运算，⊙表示叉积运算。

基于第一方面，在一种可能的实现方式中，在获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标之前，还可对车载摄像机拍摄的数字图像进行预处理。

其中，预处理操作主要是对数字图像进行灰度化、亮度平衡和降噪处理，从而使得进行过预处理的数字图像中的多条道路交通标线更易于被检测到，从而获取该多条道路交通标线的局部坐标。

基于第一方面，在一种可能的实现方式中，在获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标之前，还可确定车辆在数字地图中的位置；然后根据车辆在数字地图中的位置确定满足预设条件。

其中，预设条件包含以下至少一种：车辆在数字地图中的位置与数字地图中的路口的距离小于第一预设距离；车辆在数字地图中的位置与数字地图中的人行道的距离小于第二预设距离；车辆在数字地图中的位置与数字地图中的停止线的距离小于第三预设距离。

需要说明的是，上述第一距离、第二距离和第三距离均可根据车载摄像机的CCD(Charge-coupled Device，电荷耦合元件)像素、水平分辨率、最低照度、天气状况、光照强度等因素人为设定。

基于第一方面，在一种可能的实现方式中，还可对该车载摄像机重复执行上述第一方面或其任一种可能的实现方式所述的方法，得到多个外部参数；然后根据得到的多个外部参数，采用平差计算方法确定最优外部参数。

采用上述实现方式对多次标定得到的多个外部参数进行优化，得到最优外部参数，可减小外部参数的误差，从而使得最终确定的最优外部参数更准确。

以最小二乘法这一平差计算方法为例，根据多个外部参数采用平差计算方法确定最优外部参数的一种具体实现方式如下：

首先，针对第一外部参数和第二外部参数执行如下操作：根据T1时刻车辆在数字地图中的位置和姿态、T1时刻该多条道路交通标线的全局坐标以及第二外部参数，计算T1时刻该多条道路交通标线的投影局部坐标，并将计算得到的T1时刻该多条道路交通标线的投影局部坐标与T1时刻该多条道路交通标线的局部坐标求差，得到第一差值；根据T2时刻车辆在数字地图中的位置和姿态、T2时刻该多条道路交通标线的全局坐标以及第一外部参数，计算T2时刻该多条道路交通标线的投影局部坐标，并将计算得到的T2时刻该多条道路交通标线的投影局部坐标与T2时刻该多条道路交通标线的局部坐标求差，得到第二差值；其中，第一外部参数和第二外部参数为任意两个外部参数，T1时刻为求解得到第一外部参数的时刻，T2时刻为求解得到第二外部参数的时刻。

然后，对于求解得到的第一差值和第二差值采用最小二乘法进行优化，得到最优外部参数。

采用上述方案，可使得外部参数实现误差最小化，使得最优外部参数相比于第一外部参数和第二外部参数更为准确。

第二方面，本申请提供一种车载摄像机的外部参数标定装置，该装置包括行车电脑和车载导航系统。其中，

行车电脑用于获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，该多条道路交通标线中包含至少两条非平行线段，该局部坐标用于指示该多条道路交通标线在数字图像中的位置。

车载导航系统用于确定该多条道路交通标线在数字地图中的全局坐标，全局坐标用于指示该多条道路交通标线在数字地图中的位置。

行车电脑还用于根据该多条道路交通标线的局部坐标和该多条道路交通标线的全局坐标获取车载摄像机的外部参数，该外部参数用于指示车载摄像机相对于车辆的平移距离和旋转角度。

采用第二方面提供的车载摄像机的外部参数标定装置标定外部参数时，由于行车电脑在车辆的行驶过程中获取到车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，然后由车载导航系统确定了该多条道路交通标线在数字地图中的全局坐标，行车电脑根据该多条道路交通标线的局部坐标和该多条道路交通标线的全局坐标获取车载摄像机的外部参数。因此，采用第二方面提供的车载摄像机的外部参数标定装置可在车辆的行驶过程中实时标定车载摄像机的外部参数，从而在车载摄像机的外部参数发生变化的情况下可以实现及时校正外部参数，使得车载摄像机提供的信息更为准确，可以提高驾驶的安全性。

基于第二方面，在一种可能的实现方式中，行车电脑在根据多条道路交通标线的局部坐标和多条道路交通标线的全局坐标获取车载摄像机的外部参数时，具体用于：行车电脑通过对多条道路交通标线的局部坐标和多条道路交通标线的全局坐标进行计算，获取车载摄像机的外部参数；或者，行车电脑将多条道路交通标线的局部坐标和多条道路交通标线的全局坐标发送给其他终端，获取其他终端计算得到的车载摄像机的外部参数。

也就是说，根据多条道路交通标线的局部坐标和多条道路交通标线的全局坐标计算车载摄像机外部参数的操作可由第二方面提供的装置中的行车电脑执行，也可以由其他终端执行后将计算结果(车载摄像机的外部参数)发送给行车电脑。比如，当行车电脑的计算能力较差时，可将多条道路交通标线的局部坐标和多条道路交通标线的全局坐标发送给其他终端，其他终端根据多条道路交通标线的局部坐标和多条道路交通标线的全局坐标计算得到车载摄像机的外部参数后，再将外部参数发送给行车电脑。

基于第二方面，在一种可能的实现方式中，行车电脑在获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标时，具体用于：对数字图像进行边缘检测，获取多个非零像素点的局部坐标；对多个非零像素点进行直线拟合，获取多条候选线段的局部坐标；对多条候选线段进行直线聚类，获取多条道路交通标线的局部坐标。

基于第二方面，在一种可能的实现方式中，行车电脑在通过对多条道路交通标线的局部坐标和多条道路交通标线的全局坐标进行计算，获取车载摄像机的外部参数时，具体用于：根据该多条道路交通标线的局部坐标和该多条道路交通标线的全局坐标求解单应性矩阵；分解该单应性矩阵，获取平移向量和旋转矩阵，其中，平移向量用于指示车载摄像机相对于车辆的平移距离，旋转矩阵用于指示车载摄像机相对于车辆的旋转角度。

基于第二方面，在一种可能的实现方式中，行车电脑还用于在获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标之前，对车载摄像机拍摄的数字图像进行预处理。

其中，行车电脑执行的预处理操作主要是对数字图像进行灰度化、亮度平衡和降噪处理，从而使得进行过预处理的数字图像中的多条道路交通标线更易于被检测到，从而获取该多条道路交通标线的局部坐标。

基于第二方面，在一种可能的实现方式中，车载导航系统还用于在行车电脑获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标之前，确定车辆在数字地图中的位置；然后根据车辆在数字地图中的位置确定满足预设条件。

其中，预设条件包含以下至少一种：车辆在数字地图中的位置与数字地图中的路口的距离小于第一预设距离；车辆在数字地图中的位置与数字地图中的人行道的距离小于第二预设距离；车辆在数字地图中的位置与数字地图中的停止线的距离小于第三预设距离。

需要说明的是，上述第一距离、第二距离和第三距离均可根据车载摄像机的CCD像素、水平分辨率、最低照度、天气状况、光照强度等因素人为设定。

基于第二方面，在一种可能的实现方式中，行车电脑还用于：对车载摄像机重复执行上述第二方面或其任一种可能的实现方式所述的装置中所述行车电脑执行的步骤，得到多个外部参数；根据得到的多个外部参数，采用平差计算方法确定最优外部参数。

采用上述实现方式由行车电脑对多次标定得到的多个外部参数进行优化，得到最优外部参数，可减小外部参数的误差，从而使得最终确定的最优外部参数更准确。

基于第二方面，在一种可能的实现方式中，该装置还包括车辆行驶状态单元，该车辆行驶状态单元用于确定车辆在数字地图中的位置和姿态；

行车电脑在根据多个外部参数采用平差计算方法确定上述最优外部参数时，具体可通过如下方式实现：

首先，针对第一外部参数和第二外部参数执行如下操作：根据T1时刻车辆在数字地图中的位置和姿态、T1时刻该多条道路交通标线的全局坐标以及第二外部参数，计算T1时刻该多条道路交通标线的投影局部坐标，并将计算得到的T1时刻该多条道路交通标线的投影局部坐标与T1时刻该多条道路交通标线的局部坐标求差，得到第一差值；根据T2时刻车辆在数字地图中的位置和姿态、T2时刻该多条道路交通标线的全局坐标以及第一外部参数，计算T2时刻该多条道路交通标线的投影局部坐标，并将计算得到的T2时刻该多条道路交通标线的投影局部坐标与T2时刻该多条道路交通标线的局部坐标求差，得到第二差值；其中，第一外部参数和第二外部参数为任意两个外部参数，T1时刻为求解得到第一外部参数的时刻，T2时刻为求解得到第二外部参数的时刻。

然后，对于求解得到的第一差值和第二差值采用最小二乘法进行优化，得到最优外部参数。

采用上述方案，可使得外部参数实现误差最小化，使得最优外部参数相比于第一外部参数和第二外部参数更为准确。

第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或其各种可能的实现方式中提供的方法。

第四方面，本申请提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或其各种可能的实现方式中提供的方法。

附图说明

图1为现有技术提供的一种车载摄像机的外部参数标定过程的示意图；

图2为本申请提供的一种多条道路交通标线的结构示意图；

图3为本申请提供的另一种多条道路交通标线的结构示意图；

图4为本申请提供的一种车载摄像机的外部参数标定方法的流程示意图；

图5为本申请提供的一种Sobel边缘检测的流程图；

图6为本申请提供的一种确定最优外部参数过程的示意图；

图7为本申请提供的另一种车载摄像机的外部参数标定方法的流程示意图；

图8为本申请提供的一种车载摄像机的外部参数标定装置的结构示意图。

具体实施方式

车载摄像机是一种用于辅助驾驶或自动驾驶的传感器。通过车载摄像机拍摄的影像可以确定车辆与周围环境的关系，从而为车道纠偏、车距保持、倒车等操作提供必要信息，保证了安全驾驶。

在确定车辆与周围环境的关系时，车载摄像机的外部参数起到了重要作用。其中，车载摄像机的外部参数是指车载摄像机相对于车辆的平移距离和旋转角度。根据车载摄像机拍摄的周围环境的影像以及车载摄像机的外部参数，可以确定车辆与周围环境中的标志物(比如停车线、路牌、车道线、墙)的位置关系，从而为车道纠偏、车距保持、倒车等操作提供必要信息。

在车辆的行驶过程中，车载摄像机相对于车辆的平移距离和旋转角度会由于路况、使用时长、使用环境等因素发生变化，进而导致无法通过车载摄像机准确确定车辆与周围环境的关系。因此，即使在车辆出厂时已精确确定了该车辆中车载摄像机的外部参数，在车辆的行驶过程中仍需一种确定车载摄像机的外部参数的方案，为安全驾驶提供更为准确的信息。

为了解决现有技术中存在的无法在车辆行驶过程中标定车载摄像机的外部参数的问题，本申请提供一种车载摄像机的外部参数标定方法及装置。其中，方法和装置是基于同一发明构思的，由于方法及装置解决问题的原理相似，因此装置与方法的实施可以相互参见，重复之处不再赘述。

为了使本申请更容易被理解，下面首先对本申请实施例涉及的一些基本概念进行解释。需要说明的是，这些解释是为了让本申请实施例更容易被理解，而不应该视为对本申请所要求的保护范围的限定。

一、全局坐标和局部坐标

全局坐标是指物体在全局坐标系中的坐标，而局部坐标是指物体在局部坐标系中的坐标。

其中，全局坐标系又称为世界坐标系，其坐标原点是空间中一个固定不变的点。全局坐标系是绝对坐标系，空间中所有物体都可以全局坐标系为基准来确定该物体的位置。局部坐标系是针对某个物体而言的，局部坐标系以物体中的某个点(一般为物体的中心)为坐标原点，物体的旋转、平移等操作都是围绕局部坐标系进行的。

本申请中，全局坐标系可以是数字地图中表示物体的位置时所采用的世界坐标系；局部坐标系可以是车辆坐标系，比如以车辆中的某个点(比如两个后轮的轴线的中点)为坐标原点、以车辆行驶方向为X轴、垂直车身平面向上的方向为Z轴的右手坐标系。

二、内部参数和外部参数

通常，影响车载摄像机性能的参数分为两种：内部参数和外部参数。内部参数包含车载摄像机的光心位置、焦距、像元尺寸、镜头畸变参数等参数；外部参数是指车载摄像机相对于车辆的平移距离和旋转角度。比如，车载摄像机相对于车辆的平移距离是指，将车载摄像机看成一个质点，该质点在车辆坐标系O-x1y1z1下的坐标(x，y，z)即可指示车载摄像机相对于车辆的平移距离；再比如，以车载摄像机的质心为原点建立摄像机坐标系O-x2y2z2，假设将车辆坐标系O-x1y1z1绕x1轴、y1轴和z1轴分别旋转θ1、θ2和θ3这三个角度后，x1轴与x2轴在三维空间中的方向相同、y1轴与y2轴在三维空间中的方向相同且z1轴与z2轴在三维空间中的方向相同，那么θ1、θ2和θ3这三个角度可视为车载摄像机相对于车辆的旋转角度。

由此看出，内部参数是车载摄像机在制造时即确定的，其精度较高且在车载摄像机的使用过程中变化较小，同一型号的车载摄像机的内部参数个体差异较小；而外部参数会受路况、使用时长、使用环境、安装误差等因素的影响，因而同一型号的车载摄像机的外部参数个体差异性较大。比如，在安装车载摄像机时，安装误差会导致车载摄像机的外部参数发生改变；再比如，在车辆的行驶过程中，车辆的颠簸会导致车载摄像机相对于车辆的平移距离和旋转角度发生变化，进而导致车载摄像机的外部参数发生改变。

三、数字地图

数字地图是利用计算机技术、以数字方式存储和查阅的地图，是具有确定的坐标和属性的地面要素的离散数据的集合。在不影响显示效果的前提下，数字地图支持显示比例的放大或缩小、方向旋转和视角变换等。

数字地图可提供多条道路交通标线在数字地图中的全局坐标。此外，将数字地图导入车载导航系统后，可通过车载导航系统确定车辆在数字地图中的位置。

四、多条道路交通标线

本申请中，数字图像中的多条道路交通标线也可称为数字图像中的结构化信息，多条道路交通标线中包含至少两条非平行线段。此外，多条道路交通标线的全局坐标在数字地图中有相应记录。也就是说，可通过数字地图获取多条道路交通标线的全局坐标。因此，在实际应用中，多条道路交通标线通常指车辆行驶的路面上的车道线、停止线、人行道线等，这些道路交通标线清晰易拍摄、在特定路段会存在标线相交的情况、且数字地图中也记录有这些标线的全局坐标。

需要说明的是，多条道路交通标线不限于路面上的车道线、停止线、人行道线等，只要多条道路交通标线中包含至少两条非平行线段，且多条道路交通标线的全局坐标在数字地图中有相应记录即可。

同样需要说明的是，本申请中仅限定多条道路交通标线中至少包含两条不平行的线段，对多条道路交通标线的数量以及多条道路交通标线中除上述至少两条非平行线段之外的其他线段与这两条不平行线段的位置关系不做限定。但是，道路交通标线的数量越多，外部参数的标定结果越准确。

比如，车载摄像机拍摄的数字图像中的多条道路交通标线可以是车载摄像机在车辆行驶至路口时所拍摄到的、如图2所示的两条车道线和一条停止线。其中，一条停止线和一条车道线即可构成该数字图像的多条道路交通标线。

再比如，车载摄像机拍摄的数字图像中的多条道路交通标线可以是车载摄像机在车辆行驶至路口时所拍摄到的、如图3所示的停车让行线和一条车道线。其中，停车让行线包含两条互相平行、且与车道线相交的线段。

五、车载导航系统

本申请中，车载导航系统中加载有数字地图，车载导航系统可提供车辆的位置和姿态信号。其中，车辆的位置和姿态是相对于世界坐标系而言的。其中，将车辆看成一个质点，该质点在世界坐标系O-x0y0z0下的坐标(x，y，z)即为车辆的位置信息；假设将世界坐标系O-x0y0z0绕x0轴、y0轴和z0轴分别旋转θ4、θ5和θ6这三个角度后，x0轴与x1轴在三维空间中的方向相同、y0轴与y1轴在三维空间中的方向相同且z0轴与z1轴在三维空间中的方向相同，那么θ4、θ5和θ6这三个角度可视为车载摄像机相对于车辆的旋转角度。

本申请中，车辆导航系统可包含全球定位系统(Global Positioning System，GPS)，以及陀螺仪等惯性测量单元(Inertial Measurement Unit，IMU)。

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。

需要理解的是，本申请中所涉及的多个，是指两个或两个以上。在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

参见图4，为本申请提供的车载摄像机的外部参数标定方法的流程图。该方法包括如下步骤：

S401：获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标。

其中，该多条道路交通标线中包含至少两条非平行线段，该多条道路交通标线在数字图像中的局部坐标用于指示多条道路交通标线在数字图像中的位置。比如，该多条道路交通标线包含两条平行的车道线，以及与这两条车道线均垂直的停止线。

需要说明的是，本申请中仅限定多条道路交通标线中至少包含两条非平行线段，且多条道路交通标线的全局坐标在数字地图中有相应记录。本申请对多条道路交通标线中除这两条非平行线段之外的其他线段的数量和位置均不做限制。

在获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标之前，为了更易于获取到该数字图像中的多条道路交通标线的局部坐标，可对车载摄像机拍摄到的数字图像进行预处理。其中，预处理操作主要是对数字图像进行灰度化、亮度平衡和降噪处理，从而更易于获取到数字图像中的多条道路交通标线。

本申请中，车载导航系统中会实时更新车辆在数字地图中的位置，因此可由车载导航系统根据车辆在数字地图中的位置来判断是否满足预设条件，并在满足预设条件时发出指令，启动图4所示的标定车载摄像机的外部参数的过程。

以下给出满足预设条件的三种可能的场景，实际实现时，满足预设条件的场景不限于以下三种。

第一种场景

车辆在数字地图中的位置与数字地图中的路口的距离小于第一预设距离。比如，车辆在数字地图中的位置距离数字地图中的十字路口100米时，可视为满足预设条件。这是因为：在车辆距离十字路口100米时，车载摄像机可清晰地拍摄到包含有车道线和停止线的数字图像，而车道线和停止线满足多条道路交通标线中包含至少两条非平行线段的要求，因此，车辆距离十字路口100米时可视为满足预设条件。

第二种场景

车辆在数字地图中的位置与数字地图中的人行道的距离小于第二预设距离。与第一种方式类似，车辆在数字地图中的位置与数字地图中的人行道的距离小于第二预设距离(比如100米)时，车道线和人行道线满足多条道路交通标线中包含至少两条非平行线段的要求，因此，车辆距离人行道的距离小于第二预设距离时可视为满足预设条件。

第三种场景

车辆在数字地图中的位置与数字地图中的停止线的距离小于第三预设距离。第三种场景与第一种场景类似，也是由车道线和停止线构成多条道路交通标线，此处不再赘述。

需要说明的是，第一距离、第二距离和第三距离均可根据车载摄像机的CCD像素、水平分辨率、最低照度、天气状况、光照强度等因素人为设定。比如，以第一种场景为例，当车辆在数字地图中的位置与数字地图中的十字路口的距离小于第一预设距离时，视为满足预设条件。那么在设定第一预设距离的具体值时，在光照强度较强的晴天，可将第一预设距离设定为100米；在光照强度较弱的阴天时，可将第一预设距离设定为80米、70米等。

在执行图4所示的外部参数标定方法时，首先要保证车载摄像机拍摄到的数字图像中存在多条道路交通标线。因此，根据车辆在数字地图中的位置确定摄像机拍摄到的数字图像中会出现多条道路交通标线时，即可视为满足预设条件。

根据车辆在数字地图中的位置判断是否满足预设条件可使得车载摄像机拍摄的数字图像中存在多条道路交通标线，从而在执行S401时更易于获取到车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标。

S402：确定该多条道路交通标线在数字地图中的全局坐标。

如前所述，数字地图中记录有具有确定的坐标和属性的地面要素的离散数据，也就是说，数字地图中记录有多条道路交通标线的全局坐标。

S403：根据该多条道路交通标线的局部坐标和该多条道路交通标线的全局坐标计算得到车载摄像机的外部参数。

S401中，在获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标时，可采用边缘检测的方式。边缘检测的基本思想是通过识别数字图像中亮度变化明显的像素点来确定数字图像中的多条道路交通标线的边界，从而确定该多条道路交通标线在数字图像中的局部坐标。

具体地，获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，可以通过如下方式实现：对数字图像进行边缘检测，获取多个非零像素点的局部坐标；对多个非零像素点进行直线拟合，获取多条候选线段的局部坐标；对多条候选线段进行直线聚类，获取至少两条非平行线段的局部坐标。

在对车载摄像机拍摄的数字图像进行边缘检测时，可采用的边缘检测算法包括但不限于：Sobel边缘检测、Canny边缘检测、Roberts边缘检测、Prewitt边缘检测等。

以Sobel边缘检测为例，获取数字图像中的多条道路交通标线的局部坐标的具体流程可分为三个步骤。

第一步：Sobel边缘检测

对数字图像进行Sobel模板卷积，分别求取数字图像中的水平边缘响应I_v(x,y)和垂直边缘响应I_h(x,y)：

其中，I(x,y)表示数字图像中位于(x,y)处的像素值。

然后对边缘响应按照如下公式(2)进行二值化：

其中，thrd_sobel为二值化阈值；I′(x,y)中值为1的点即为非零像素点。将符合I′(x,y)＝1的像素点(x,y)作为Sobel边缘检测的输出。理论上，所有非零像素点组成多条道路交通标线。

第二步：Hough直线拟合

对于Sobel边缘检测输出的非零像素点(x,y)进行如公式(3)所示的Hough变换：

ρ＝x*cosθ+y*sinθ (3)

其中，(ρ,θ)是Hough空间中的参数，分别表示过点(x,y)的直线到局部坐标系的坐标原点的距离和该直线与局部坐标系的x轴的夹角。按照公式(3)对第一步输出的每一个非零像素点(x,y)进行Hough变换后，每一个非零像素点(x,y)对应Hough空间中的一簇参数。对每一个非零像素点(x,y)的Hough变换系数(ρ,θ)进行计数，当(ρ,θ)满足如下公式(4)时，代表该组变换系数(ρ,θ)为一条可能的直线：

Σ(ρ_i,θ_i)＞thrd_hough(1＜i＜n) (4)

其中，n代表数字图像中的可能的直线的数量，thrd_hough为Hough聚类的阈值。

第三步：直线聚类

将第二步输出的可能的直线进行直线聚类，可避免对同一条直线的重复检测。直线聚类的具体操作可以是：当第二步输出的多条可能的直线中，某几条直线间的最大的斜率之差小于thrd_slope、且最大的截距之差小于thrd_intercept时，可认为这几条直线为同一条直线。求取这几条直线的平均斜率和平均截距作为聚类后的直线，最终输出局部坐标系下的直线方程：

l_i＝(a_i,b_i,c_i)^T (1≤i≤N) (5)

其中，a_i,b_i,c_i即可视为该多条道路交通标线在数字图像中的局部坐标。N为多条道路交通标线的数量。

在实际实现时，上述Sobel边缘检测的三个步骤可分别由三个软件模块实现，即边缘检测模块、Hough拟合模块和直线聚类模块，各个模块的操作流程可如图5所示。各个模块的具体操作可参见上述三个步骤中的相关描述。

采用上述方案，可准确地获取到车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，为计算车载摄像机的外部参数提供数据基础。

获得该多条道路交通标线在数字图像中的局部坐标后，可根据该多条道路交通标线在数字图像中的局部坐标以及该多条道路交通标线在数字地图中的全局坐标计算得到车载摄像机的外部参数。本申请中，计算得到车载摄像机的外部参数，具体可通过如下方式实现：根据该多条道路交通标线的局部坐标和多条道路交通标线的全局坐标求解单应性矩阵；分解该单应性矩阵，得到平移向量和旋转矩阵，其中，平移向量用于指示车载摄像机相对于车辆的平移距离，旋转矩阵用于指示车载摄像机相对于车辆的旋转角度。那么，平移向量和旋转矩阵即可表征车载摄像机的外部参数。或者，进一步地，根据罗德里格斯公式将旋转矩阵转换为旋转向量，旋转向量也可用于指示车载摄像机相对于车辆的旋转角度，那么，平移向量和旋转向量即可表征车载摄像机的外部参数。

具体地，以数字图像中的多条道路交通标线为图2所示的两条车道线和一条停止线为例，介绍计算得到车载摄像机的外部参数的一种具体方式。

假设L_i＝(A_i,B_i,C_i)^T为全局坐标系下该多条道路交通标线的直线方程，即A_i,B_i,C_i为该多条道路交通标线的全局坐标；l_i＝(a_i,b_i,c_i)^T为局部坐标系下该多条道路交通标线的直线方程，即a_i,b_i,c_i为该多条道路交通标线的局部坐标。其中，i取遍不大于N的正整数，N为数字图像中道路交通标线的数量。

1)首先，根据如下公式求解单应性矩阵：

其中，H为需要求解的单应性矩阵，H可分解为三个列向量的形式，即H＝[h1h2h3]。

2)其次，根据如下公式(7)求解平移向量T：

T＝h3/((|h1|+|h2|)/2) (7)

3)然后，根据如下公式(8)求解旋转矩阵R：

r1＝h1/|h1|,r2＝h2/|h2|,r3＝r1⊙r2 (8)

其中，R＝[r1 r2 r3]为旋转矩阵，││表示求模运算，⊙表示叉积运算。

除了采用旋转矩阵R指示车载摄像机相对于车辆的旋转角度以外，还可以采用旋转向量r来指示车载摄像机相对于车辆的旋转角度。

根据罗德里格斯公式，可由旋转矩阵R求解旋转向量r。具体方法如下：

令b＝[a₃₂a₁₃a₂₁]

s＝|b|,c＝(r₁₁+r₂₂+r₃₃-1)/2

其中，a₃₂为矩阵A中第三行、第二列的元素，a₁₃为矩阵A中第一行、第三列的元素，a₂₁为矩阵A中第二行、第一列的元素，r₁₁为矩阵R中第一行、第一列的元素，r₂₂为矩阵R中第二行、第二列的元素，r₃₃为矩阵R中第三行、第三列的元素。

根据s和c的不同取值，旋转向量r的求解分为以下三种情况。

第一种情况：

如果s＝0且c＝1，则旋转向量r＝0。

第二种情况：

如果s＝0且c＝-1，则令v为R+I中任意一列不为0的列向量，p＝uπ，其中，I为单位矩阵。

那么，

其中，p1为p中的第一个元素，p2为p中的第二个元素，p3为p中的第三个元素。

第三种情况：

如果s和c的取值既不满足s＝0且c＝1，也不满足s＝0且c＝-1，令θ＝arctan(s,c)。

那么，r＝uθ。

通过上述车载摄像机的外部参数标定方法，可标定出车载摄像机的外部参数。但是，由于测量和计算的过程中存在噪声，在不同时刻计算的车载摄像机的外部参数不尽相同。为了将外部参数的误差最小化，从而得到更为准确的外部参数，本申请中还可通过多次标定得到的外部参数优化得到最优外部参数，从而进一步提高外部参数的准确性。

具体地，本申请中可重复执行图4所示的方法，计算得到多个外部参数；然后根据计算得到的多个外部参数，采用平差计算方法确定最优外部参数。

采用上述方案对多个外部参数进行优化，得到最优外部参数，可减小外部参数的误差，从而使得最终确定的最优外部参数更准确。

确定最优外部参数时采用的平差计算方法有多种，下面以最小二乘法这一平差计算方法为例，举例说明如何根据进行多次标定得到的多个外部参数确定最优外部参数。

首先，针对任意两个外部参数(第一外部参数和第二外部参数)均执行如下操作：根据T1时刻车辆在数字地图中的位置和姿态、T1时刻该多条道路交通标线的全局坐标以及第二外部参数，计算T1时刻该多条道路交通标线的投影局部坐标，并将计算得到的T1时刻该多条道路交通标线的投影局部坐标与T1时刻该多条道路交通标线的局部坐标求差，得到第一差值；根据T2时刻车辆在数字地图中的位置和姿态、T2时刻该多条道路交通标线的全局坐标以及第一外部参数，计算T2时刻该多条道路交通标线的投影局部坐标，并将计算得到的T2时刻该多条道路交通标线的投影局部坐标与T2时刻该多条道路交通标线的局部坐标求差，得到第二差值。其中，T1时刻为求解得到第一外部参数的时刻，T2时刻为求解得到第二外部参数的时刻。

然后，对于求解得到的第一差值和第二差值采用最小二乘法进行优化，得到最优外部参数。

本申请中，T1时刻该多条道路交通标线的投影局部坐标是指：根据第二外部参数以及T1时刻车辆在数字地图中的位置和姿态，可以将T1时刻该多条道路交通标线的全局坐标转化为T1时刻该多条道路交通标线的局部坐标，这个局部坐标并不是根据T1时刻拍摄的数字图像确定的，而是通过上述反向推导过程得到的，因此本申请中将之称为“投影局部坐标”。由于T1时刻该多条道路交通标线的投影局部坐标是根据第二外部参数计算得到的，因此不难想见，T1时刻该多条道路交通标线的投影局部坐标与T1时刻该多条道路交通标线的局部坐标的差值(第一差值)越小，第二外部参数越准确。同理，第二差值越小，第一外部参数越准确。本申请中对于求解得到的第一差值和第二差值采用最小二乘法进行优化，可以实现第一差值和第二差值的最小化，从而实现外部参数的误差最小化。

其中，在每次执行图4所示方法时，车辆在数字地图中的位置和姿态可在由车辆中的车载导航系统记录。具体地，车载导航系统可在执行S403时记录车辆在数字地图中的位置和姿态，也可在执行S403后记录车辆在数字地图中的位置和姿态，本申请中对于车载导航系统记录车辆在数字地图中的位置和姿态的时机不做限制。

需要说明的是，若为了确定最优外部参数进行了两次标定，则可得到一个第一差值和一个第二差值，此时，在确定最优外部参数时，根据一个第一差值和一个第二差值采用最小二乘法进行优化，得到最优外部参数；若为了确定最优外部参数进行了三次标定，则可得到三个第一差值和三个第二差值，即假设进行三次标定的时间点为t1、t2和t3，那么针对t1时刻和t2时刻、t1时刻和t3时刻、t2时刻和t2时刻可分别得到一个第一差值和第一第二差值，即最终得到三个第一差值和三个第二差值，此时，在确定最优外部参数时，根据三个第一差值和三个第二差值采用最小二乘法进行优化，得到最优外部参数。也就是说，进行标定的次数越多，得到的第一差值和第二差值的数量越多，最终确定的最优外部参数的值也就越准确。

同样需要说明的是，上述方案仅以最小二乘法这一平差计算方法为例，给出了一种根据多个外部参数确定最优外部参数的方法。本申请中的平差计算方法不限于最小二乘法，其他可实现平差计算的方法也可应用于本申请中，从而根据多个外部参数得到一个最优外部参数。

为了使上述确定最优外部参数的步骤更便于理解，下面结合附图对上述确定最优外部参数的过程加以解释。

如图6所示，车辆在时刻T1行驶到停止线s0前，此时检测到停止线s0、车道线s1以及车道线s2可构成多条道路交通标线，启动车载摄像机的外部参数标定过程。通过执行图4所示的方法，得到第一外部参数；在标定外部参数的同时记录下T1时刻车辆的位置和姿态。然后，车辆继续向前行驶，在T2时刻行驶到停止线s3前，此时检测到停止线s3、车道线s4以及车道线s5可构成多条道路交通标线，启动车载摄像机的外部参数标定过程。通过执行图4所示的方法，得到第二外部参数；在标定外部参数的同时记录下T2时刻车辆的位置和姿态。

在得到第一外部参数和第二外部参数后，执行如下操作：

1)根据T1时刻车辆在数字地图中的位置和姿态、T1时刻该多条道路交通标线的全局坐标以及第二外部参数，计算T1时刻该多条道路交通标线的投影局部坐标。

l_{i_t1}'＝[k]*K₂*[R_{lL_t1}|T_{lL_t1}]*L_{i_t1} (9)

其中，l_{i_t1}'为T1时刻该多条道路交通标线的投影局部坐标；L_{i_t1}为T1时刻该多条道路交通标线的全局坐标；K₂为第二外部参数；[R_{lL_t1}|T_{lL_t1}]为T1时刻根据车辆的位置和姿态确定的、将全局坐标系转换为局部坐标系的矩阵，其中R_{lL_t1}根据车辆在T1时刻的姿态确定，T_{lL_t1}根据车辆在T1时刻的位置确定；[k]为车载摄像机的内部参数矩阵，其表达式可以是：

其中，fx和fy分别表示x方向和y方向的等效焦距，(cx,cy)表示光心位置，α是一个常数，通常为0。

2)将计算得到的T1时刻该多条道路交通标线的投影局部坐标与T1时刻该多条道路交通标线的局部坐标求差，得到第一差值。

E₁＝l_{i_t1}'-l_{i_t1} (11)

其中，E₁为第一差值，l_{i_t1}为T1时刻该多条道路交通标线的局部坐标。

3)根据T2时刻车辆在数字地图中的位置和姿态、T2时刻该多条道路交通标线的全局坐标以及第一外部参数，计算T2时刻该多条道路交通标线的投影局部坐标。

l_{i_t2}'＝[k]*K₁*[R_{lL_t2}|T_{lL_t2}]*L_{i_t2} (12)

其中，l_{i_t2}'为T2时刻该多条道路交通标线的投影局部坐标；L_{i_t2}为T2时刻该多条道路交通标线的全局坐标；K₁为第一外部参数；[R_{lL_t2}|T_{lL_t2}]为T2时刻根据车辆的位置和姿态确定的、将全局坐标系转换为局部坐标系的矩阵，其中R_{lL_t2}根据车辆在T2时刻的姿态确定，T_{lL_t2}根据车辆在T2时刻的位置确定；[k]为车载摄像机的内部参数矩阵。

4)并将计算得到的T2时刻该多条道路交通标线的投影局部坐标与T2时刻该多条道路交通标线的局部坐标求差，得到第二差值。

E₂＝l_{i_t2}'-l_{i_t2} (13)

其中，E₂为第二差值，l_{i_t2}为T2时刻该多条道路交通标线的局部坐标。

5)采用最小二乘法确定最优外部参数。

最小二乘法的目标函数如下：

J＝min∑(E₁ ²+E₂ ²) (14)

分别另可求得最优外部参数。

需要说明的是，由于图6是以进行两次外部参数的标定得到两个外部参数后，再确定最优外部参数为例进行说明的，因此在定义最小二乘法的目标函数时，目标函数为第一差值的平方与第二差值的平方之和；若为了确定最优外部参数对车载摄像机的外部参数进行了N次标定，N>2，那么在定义最小二乘法的目标函数时，目标函数为多个第一差值的平方与多个第二差值的平方之和。比如，为了确定最优外部参数，对车载摄像机的外部参数进行了三次标定，得到了三个外部参数，那么根据第一次标定过程和第二次标定过程可得到第一差值E1和第二差值E2，根据第一次标定过程和第三次标定过程可得到第一差值E3和第二差值E4，根据第二次标定过程和第三次标定过程可得到第一差值E5和第二差值E6，那么最小二乘法的目标函数J可如下式(15)所示：

J＝min∑(E₁ ²+E₃ ²+E₅ ²+E₂ ²+E₄ ²+E₆ ²) (15)

采用图4所示的车载摄像机的外部参数的标定方法，由于在车辆的行驶过程中获取了车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，然后确定了该多条道路交通标线在数字地图中的全局坐标，然后根据该多条道路交通标线的局部坐标和该多条道路交通标线的全局坐标计算得到车载摄像机的外部参数。因此，采用图4所示方法可在车辆的行驶过程中实时标定车载摄像机的外部参数，从而在车载摄像机的外部参数发生变化的情况下可以实现及时校正外部参数，使得车载摄像机提供的信息更为准确，可以提高驾驶的安全性。

基于以上实施例，本申请还提供一种车载摄像机的外部参数标定方法，该方法如图7所示。图7所示方法可视为图4所示方法的一个具体示例。

在图7所示方法中，由n个参数计算单元计算得到n个外部参数，每个参数计算单元执行步骤1～步骤3，得到n个外部参数，同时记录下车辆的位置和姿态。每个参数计算单元均确定一个外部参数后，对n个外部参数进行优化，得到最优外部参数。具体地，图7所示方法可包含如下步骤：

步骤1：车辆位置定位

如图7所示，根据车载导航系统给出的信息，确定车辆是否即将行驶到路口。如果车辆即将行驶到路口，车载导航系统发出指令，启动车载摄像机的外部参数标定过程。

步骤2：获取多条道路交通标线的局部坐标

根据车载摄像机拍摄到的数字图像，实时检测路面上的多条道路交通标线(包括车道线和停止线在内的非平行线段)，获取该多条道路交通标线在数字图像中的局部坐标。

步骤3：计算外部参数

通过查询数字地图确定该多条道路交通标线在数字地图中的全局坐标以及步骤2中得到的该多条道路交通标线在数字图像中的局部坐标，计算本次标定过程中的外部参数。

步骤4：记录车辆的位置和姿态

步骤5：重复标定

重复步骤1、2、3、4，计算得到n个外部参数，其中n≥2。

步骤6：参数优化

为了使得最终确定的外部参数实现误差最小化，可将n次计算得到的n个外部参数相互投影到其他时刻的坐标系中，通过诸如最小二乘法之类的平差算法，优化得到最优外部参数。

需要说明的是，图7所示的外部参数标定方法可视为图4所示的外部参数标定方法的一个具体示例，图7中未详细描述的实现方式可参见图4中的相关描述。

基于以上实施例，本申请还提供一种车载摄像机的外部参数标定装置，该装置可用于执行图4或图7所提供的车载摄像机的外部参数标定方法。参见图8，车载摄像机的外部参数标定装置800(以下简称装置800)包括行车电脑801和车载导航系统802。其中，

行车电脑801用于获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，该多条道路交通标线中包含至少两条非平行线段，该局部坐标用于指示该多条道路交通标线在数字图像中的位置。

车载导航系统802用于确定该多条道路交通标线在数字地图中的全局坐标，该全局坐标用于指示该多条道路交通标线在数字地图中的位置。

行车电脑801还用于根据该多条道路交通标线的局部坐标和该多条道路交通标线的全局坐标获取车载摄像机的外部参数，该外部参数用于指示车载摄像机相对于车辆的平移距离和旋转角度。

行车电脑801在根据多条道路交通标线的局部坐标和多条道路交通标线的全局坐标获取车载摄像机的外部参数时，具体用于：行车电脑801通过对多条道路交通标线的局部坐标和多条道路交通标线的全局坐标进行计算，获取车载摄像机的外部参数；或者，行车电脑801将多条道路交通标线的局部坐标和多条道路交通标线的全局坐标发送给其他终端，获取其他终端计算得到的车载摄像机的外部参数。

其中，其他终端包括但不限于个人计算机、手持式计算机、个人数字助理、智能手机、智能手表、平板电脑。

也就是说，根据多条道路交通标线的局部坐标和多条道路交通标线的全局坐标计算车载摄像机外部参数的操作可由第二方面提供的装置中的行车电脑801执行，也可以由其他终端执行后将计算结果(车载摄像机的外部参数)发送给行车电脑801。比如，当行车电脑801的计算能力较差时，可将多条道路交通标线的局部坐标和多条道路交通标线的全局坐标发送给其他终端，其他终端根据多条道路交通标线的局部坐标和多条道路交通标线的全局坐标计算得到车载摄像机的外部参数后，再将外部参数发送给行车电脑801。当行车电脑801的计算能力较强时，可直接由行车电脑801根据多条道路交通标线的局部坐标和多条道路交通标线的全局坐标计算车载摄像机外部参数。

行车电脑801通过对多条道路交通标线的局部坐标和多条道路交通标线的全局坐标进行计算，获取车载摄像机的外部参数的具体方式可以是：根据该多条道路交通标线的局部坐标和该多条道路交通标线的全局坐标求解单应性矩阵；分解该单应性矩阵，获取平移向量和旋转矩阵，其中，平移向量用于指示车载摄像机相对于车辆的平移距离，旋转矩阵用于指示车载摄像机相对于车辆的旋转角度。

此外，为了行车电脑801更易于获取到该数字图像中的多条道路交通标线的局部坐标，行车电脑801还可在获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标之前，对车载摄像机拍摄的数字图像进行预处理。预处理操作主要是对数字图像进行灰度化、亮度平衡和降噪处理。

行车电脑801可在满足预设条件时启动对车载摄像机的外部参数的标定过程。其中，判断是否满足预设条件的方式可以是：车载导航系统802在行车电脑801获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标之前，确定车辆在数字地图中的位置，然后根据车辆在数字地图中的位置判断是否满足预设条件。

其中，预设条件包含以下至少一种：车辆在数字地图中的位置与数字地图中的路口的距离小于第一预设距离；车辆在数字地图中的位置与数字地图中的人行道的距离小于第二预设距离；车辆在数字地图中的位置与数字地图中的停止线的距离小于第三预设距离。

其中，第一距离、第二距离和第三距离均可根据车载摄像机的CCD像素、水平分辨率、最低照度、天气状况、光照强度等因素人为设定。

可选地，行车电脑801在获取车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标时，具体用于：对数字图像进行边缘检测，获取多个非零像素点的局部坐标；对多个非零像素点进行直线拟合，获取多条候选线段的局部坐标；对多条候选线段进行直线聚类，获取多条道路交通标线的局部坐标。

此外，为了使装置800计算的外部参数更为准确，行车电脑801还可对车载摄像机重复执行上述操作，得到多个外部参数；然后根据得到的多个外部参数，采用平差计算方法确定最优外部参数。

对多次标定得到的多个外部参数进行优化确定最优外部参数，可减小外部参数的误差，从而使得最终确定的最优外部参数更准确。

确定最优外部参数是采用的平差计算方法有多种，下面以最小二乘法这一平差计算方法为例，详述装置800对多次标定得到的多个外部参数进行优化得到最优外部参数的一个具体实现方式。

在该实现方式中，装置800中的车载导航系统802在每次标定外部参数时记录车辆在数字地图中的位置和姿态。行车电脑801在根据多个外部参数采用平差计算方法确定最优外部参数时，通过如下方式实现：

首先，针对第一外部参数和第二外部参数执行如下操作：根据T1时刻车辆在数字地图中的位置和姿态、T1时刻该多条道路交通标线的全局坐标以及第二外部参数，计算T1时刻该多条道路交通标线的投影局部坐标，并将计算得到的T1时刻该多条道路交通标线的投影局部坐标与T1时刻该多条道路交通标线的局部坐标求差，得到第一差值；根据T2时刻车辆在数字地图中的位置和姿态、T2时刻该多条道路交通标线的全局坐标以及第一外部参数，计算T2时刻该多条道路交通标线的投影局部坐标，并将计算得到的T2时刻该多条道路交通标线的投影局部坐标与T2时刻该多条道路交通标线的局部坐标求差，得到第二差值；其中，第一外部参数和第二外部参数为任意两个外部参数，T1时刻为求解得到第一外部参数的时刻，T2时刻为求解得到第二外部参数的时刻。

然后，对于求解得到的第一差值和第二差值采用最小二乘法进行优化，得到最优外部参数。

需要说明的是，在装置800中，需由车载导航系统802确定车辆在数字地图中的位置和姿态。如前所述，本申请中的车载导航系统802可由GPS和陀螺仪组成，那么车载导航系统802在确定车辆在数字地图中的位置和姿态时，可由GPS确定车辆在数字地图中的位置，由陀螺仪确定车辆在数字地图中的姿态。

需要说明的是本申请实施例提供的车载摄像机的外部参数标定装置800可用于执行图4所示的车载摄像机的外部参数标定方法，车载摄像机的外部参数标定装置800未详细解释和描述的实现方式可参考图4所示的车载摄像机的外部参数标定装置800方法中的相关描述。

采用图8所示的车载摄像机的外部参数标定装置标定外部参数时，由于行车电脑801在车辆的行驶过程中获取到车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，然后由车载导航系统802确定了该多条道路交通标线在数字地图中的全局坐标，由行车电脑801根据该多条道路交通标线的局部坐标和该多条道路交通标线的全局坐标获取车载摄像机的外部参数。因此，采用装置800可在车辆的行驶过程中实时标定车载摄像机的外部参数，从而在车载摄像机的外部参数发生变化的情况下可以实现及时校正外部参数，使得车载摄像机提供的信息更为准确，可以提高驾驶的安全性。

综上，本申请提供一种车载摄像机的外部参数标定方法及装置，实现了在车辆的行驶过程中实时标定车载摄像机的外部参数，在车载摄像机的外部参数发生变化的情况下及时校正外部参数，使得车载摄像机提供的信息更为准确，可以提高驾驶的安全性。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (18)

1.一种车载摄像机的外部参数标定方法，其特征在于，包括：

获取所述车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，所述多条道路交通标线中包含至少两条非平行线段，所述局部坐标用于指示所述多条道路交通标线在所述数字图像中的位置；

确定所述多条道路交通标线在数字地图中的全局坐标，所述全局坐标用于指示所述多条道路交通标线在所述数字地图中的位置；

根据所述多条道路交通标线的局部坐标和所述多条道路交通标线的全局坐标计算得到所述车载摄像机的外部参数，所述外部参数用于指示所述车载摄像机相对于所述车辆的平移距离和旋转角度。

2.如权利要求1所述的方法，其特征在于，获取所述车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，包括：

对所述数字图像进行边缘检测，获取多个非零像素点的局部坐标；

对所述多个非零像素点进行直线拟合，获取多条候选线段的局部坐标；

对所述多条候选线段进行直线聚类，获取所述多条道路交通标线的局部坐标。

3.如权利要求1或2所述的方法，其特征在于，计算得到所述车载摄像机的外部参数，包括：

根据所述多条道路交通标线的局部坐标和所述多条道路交通标线的全局坐标求解单应性矩阵；

分解所述单应性矩阵，得到平移向量和旋转矩阵，其中，所述平移向量用于指示所述车载摄像机相对于所述车辆的平移距离，所述旋转矩阵用于指示所述车载摄像机相对于所述车辆的旋转角度。

4.如权利要求3所述的方法，其特征在于，通过如下方式求解所述单应性矩阵：

其中，H＝[h1 h2 h3]为所述单应性矩阵，L_i＝(A_i,B_i,C_i)^T为所述多条道路交通标线的全局坐标，l_i＝(a_i,b_i,c_i)^T为所述多条道路交通标线的局部坐标，i取遍不大于N的正整数，N为所述多条道路交通标线的数量。

5.如权利要求4所述的方法，其特征在于，通过如下方式得到所述平移向量：

T＝h3/((|h1|+|h2|)/2)；

其中，T为所述平移向量。

6.如权利要求4或5所述的方法，其特征在于，通过如下方式得到所述旋转矩阵：

r1＝h1/|h1|,r2＝h2/|h2|,r3＝r1⊙r2；

其中，R＝[r1 r2 r3]为旋转矩阵，││表示求模运算，⊙表示叉积运算。

7.如权利要求1～6任一项所述的方法，其特征在于，在获取所述车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标之前，还包括：

对所述车载摄像机拍摄的数字图像进行预处理。

8.如权利要求1～7任一项所述的方法，其特征在于，在获取所述车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标之前，还包括：

确定所述车辆在所述数字地图中的位置；

根据所述车辆在所述数字地图中的位置确定满足预设条件；

所述预设条件包含以下至少一种：

所述车辆在所述数字地图中的位置与所述数字地图中的路口的距离小于第一预设距离；

所述车辆在所述数字地图中的位置与所述数字地图中的人行道的距离小于第二预设距离；

所述车辆在所述数字地图中的位置与所述数字地图中的停止线的距离小于第三预设距离。

9.如权利要求1～8任一项所述的方法，其特征在于，还包括：

对所述车载摄像机重复执行如权利要求1～权利要求8任一项所述的步骤，计算得到多个外部参数；

根据所述多个外部参数，采用平差计算方法确定最优外部参数。

10.如权利要求9所述的方法，其特征在于，根据所述多个外部参数，采用平差计算方法确定最优外部参数，包括：

针对第一外部参数和第二外部参数执行如下操作：根据T1时刻所述车辆在所述数字地图中的位置和姿态、T1时刻所述多条道路交通标线的全局坐标以及所述第二外部参数，计算T1时刻所述多条道路交通标线的投影局部坐标，并将计算得到的T1时刻所述多条道路交通标线的投影局部坐标与T1时刻所述多条道路交通标线的局部坐标求差，得到第一差值；根据T2时刻所述车辆在所述数字地图中的位置和姿态、T2时刻所述多条道路交通标线的全局坐标以及所述第一外部参数，计算T2时刻所述多条道路交通标线的投影局部坐标，并将计算得到的T2时刻所述多条道路交通标线的投影局部坐标与T2时刻所述多条道路交通标线的局部坐标求差，得到第二差值；其中，第一外部参数和第二外部参数为任意两个外部参数，T1时刻为求解得到第一外部参数的时刻，T2时刻为求解得到第二外部参数的时刻；

对于求解得到的第一差值和第二差值采用最小二乘法进行优化，得到所述最优外部参数。

11.一种车载摄像机的外部参数标定装置，其特征在于，包括：

行车电脑，用于获取所述车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标，所述多条道路交通标线中包含至少两条非平行线段，所述局部坐标用于指示所述多条道路交通标线在所述数字图像中的位置；

车载导航系统，用于确定所述多条道路交通标线在数字地图中的全局坐标，所述全局坐标用于指示所述多条道路交通标线在所述数字地图中的位置；

所述行车电脑，还用于根据所述多条道路交通标线的局部坐标和所述多条道路交通标线的全局坐标获取所述车载摄像机的外部参数，所述外部参数用于指示所述车载摄像机相对于所述车辆的平移距离和旋转角度。

12.如权利要求11所述的装置，其特征在于，所述行车电脑在根据所述多条道路交通标线的局部坐标和所述多条道路交通标线的全局坐标获取所述车载摄像机的外部参数时，具体用于：

所述行车电脑通过对所述多条道路交通标线的局部坐标和所述多条道路交通标线的全局坐标进行计算，获取所述车载摄像机的外部参数；或者

所述行车电脑将所述多条道路交通标线的局部坐标和所述多条道路交通标线的全局坐标发送给其他终端，获取所述其他终端计算得到的所述车载摄像机的外部参数。

13.如权利要求11或12所述的装置，其特征在于，所述行车电脑在获取所述车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标时，具体用于：

对所述数字图像进行边缘检测，获取多个非零像素点的局部坐标；

对所述多个非零像素点进行直线拟合，获取多条候选线段的局部坐标；

对所述多条候选线段进行直线聚类，获取所述多条道路交通标线的局部坐标。

14.如权利要求12或13所述的装置，其特征在于，所述行车电脑在通过对所述多条道路交通标线的局部坐标和所述多条道路交通标线的全局坐标进行计算，获取所述车载摄像机的外部参数时，具体用于：

根据所述多条道路交通标线的局部坐标和所述多条道路交通标线的全局坐标求解单应性矩阵；

分解所述单应性矩阵，获取平移向量和旋转矩阵，其中，所述平移向量用于指示所述车载摄像机相对于所述车辆的平移距离，所述旋转矩阵用于指示所述车载摄像机相对于所述车辆的旋转角度。

15.如权利要求11～14任一项所述的装置，其特征在于，所述行车电脑还用于：

在获取所述车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标之前，对所述车载摄像机拍摄的数字图像进行预处理。

16.如权利要求11～15任一项所述的装置，其特征在于，所述车载导航系统还用于：

在所述行车电脑获取所述车载摄像机拍摄的数字图像中的多条道路交通标线的局部坐标之前，确定所述车辆在所述数字地图中的位置；根据所述车辆在所述数字地图中的位置确定满足预设条件；

所述预设条件包含以下至少一种：

所述车辆在所述数字地图中的位置与所述数字地图中的路口的距离小于第一预设距离；

所述车辆在所述数字地图中的位置与所述数字地图中的人行道的距离小于第二预设距离；

所述车辆在所述数字地图中的位置与所述数字地图中的停止线的距离小于第三预设距离。

17.如权利要求11～16任一项所述的装置，其特征在于，所述行车电脑还用于：

对所述车载摄像机重复执行如权利要求11～权利要求16任一项所述装置中所述行车电脑执行的步骤，获取多个外部参数；

根据所述多个外部参数，采用平差计算方法确定最优外部参数。

18.如权利要求17所述的装置，其特征在于，所述车载导航系统还用于：确定所述车辆在所述数字地图中的位置和姿态；

所述行车电脑在根据所述多个外部参数采用平差计算方法确定最优外部参数时，具体用于：

针对第一外部参数和第二外部参数执行如下操作：根据T1时刻所述车辆在所述数字地图中的位置和姿态、T1时刻所述多条道路交通标线的全局坐标以及所述第二外部参数，计算T1时刻所述多条道路交通标线的投影局部坐标，并将计算得到的T1时刻所述多条道路交通标线的投影局部坐标与T1时刻所述多条道路交通标线的局部坐标求差，得到第一差值；根据T2时刻所述车辆在所述数字地图中的位置和姿态、T2时刻所述多条道路交通标线的全局坐标以及所述第一外部参数，计算T2时刻所述多条道路交通标线的投影局部坐标，并将计算得到的T2时刻所述多条道路交通标线的投影局部坐标与T2时刻所述多条道路交通标线的局部坐标求差，得到第二差值；其中，第一外部参数和第二外部参数为任意两个外部参数，T1时刻为求解得到第一外部参数的时刻，T2时刻为求解得到第二外部参数的时刻；

对于求解得到的第一差值和第二差值采用最小二乘法进行优化，得到所述最优外部参数。