CN113838149A - 自动驾驶车辆的相机内参标定方法、服务器及系统 - Google Patents

Abstract

本申请涉及一种自动驾驶车辆的相机内参标定方法、服务器及系统。该方法包括：接收车载智能设备上传的相机拍摄的包含标定板的N张图像，所述N张图像包括所述相机与所述标定板满足特定距离、特定角度所述相机拍摄的包含所述标定板的图像，N为大于等于20的整数；根据所述N张图像的至少一张图像中所述标定板的图像特征，识别所述相机的相机模型；根据所述相机的相机模型，选择相机的内参标定算法，并获得所述相机的内参；将所述获得的所述相机的内参下发至所述车载智能设备。本申请提供的方案，能够对自动驾驶车辆的相机内参进行准确地在线标定。

Description

自动驾驶车辆的相机内参标定方法、服务器及系统

技术领域

本申请涉及导航技术领域，尤其涉及一种自动驾驶车辆的相机内参标定方法、服务器及系统。

背景技术

自动驾驶车辆通过相机获取物体的二维信息以及颜色信息等，再利用相机的内参和外参，通过坐标系转换，获得物体的三维信息，从而使得自动驾驶车辆能够感知周围环境，获得感知信息，这些感知信息是自动驾驶车辆的定位导航的重要依据。

由于制造精度以及组装工艺等因素的限制，相机拍摄的图像不可避免地出现畸变，这些畸变在将导致后期处理中产生精度损失等问题，使得自动驾驶车辆无法准确地获得感知信息。对相机的内参进行标定，能够获得相机的内部参数，使得在后期图像处理过程中能够根据这些参数还原图像，降低甚至消除图像的畸变，得到质量好的图像，从而使得自动驾驶车辆能够获得更加准确的感知信息。

自动驾驶车辆使用的单目相机可以是针孔相机，或是鱼眼相机，针孔相机和鱼眼相机采用的相机模型的不同，而在对不同相机模型的单目相机进行内参标定时，却采用相同的内参标定方法，导致相关技术的自动驾驶车辆的单目相机内参标定无法准确地获得相机的内参。

发明内容

为解决或部分解决相关技术中存在的问题，本申请提供一种自动驾驶车辆的相机内参标定方法、服务器及系统，能够对自动驾驶车辆的相机内参进行准确地在线标定。

本申请第一方面提供一种自动驾驶车辆的相机内参标定方法，所述方法包括：

接收车载智能设备上传的相机拍摄的包含标定板的N张图像，所述N张图像包括所述相机与所述标定板满足特定距离、特定角度所述相机拍摄的包含所述标定板的图像，N为大于等于20的整数；

根据所述N张图像的至少一张图像中所述标定板的图像特征，识别所述相机的相机模型；

根据所述相机的相机模型，选择相机的内参标定算法，并获得所述相机的内参；

将所述获得的所述相机的内参下发至所述车载智能设备。

优选的，所述根据所述相机的相机模型，选择相机的内参标定算法，并获得所述相机的内参，包括：

根据所述相机的相机模型为鱼眼相机模型，选择鱼眼相机的内参标定算法，并获得所述相机的内参；或，

根据所述相机的相机模型为针孔相机模型，选择针孔相机的内参标定算法，并获得所述相机的内参。

优选的，所述根据所述N张图像的至少一张图像中所述标定板的图像特征，识别所述相机的相机模型，包括：

根据所述N张图像的至少一张图像，提取所述至少一张图像中所述标定板的边缘特征；

根据所述至少一张图像中所述标定板的边缘特征，获得所述标定板在所述至少一张图像中的圆心、圆形面积占比；

如果所述标定板在所述至少一张图像中的圆心与所述至少一张图像的中心点的距离小于设定距离阈值，且所述圆形面积占比大于设定比例阈值，识别所述相机的相机模型为鱼眼相机模型；

如果所述标定板在所述至少一张图像中的圆心与所述至少一张图像的中心点的距离大于或等于设定距离阈值，且所述圆形面积占比小于或等于设定比例阈值，识别所述相机的相机模型为针孔相机模型。

优选的，所述将所述获得的所述相机的内参下发至所述车载智能设备，包括：

根据所述获得的所述相机的内参，计算所述标定板内至少一个空间三维点的坐标在至少一张图像中的像素点坐标；

如果所述计算的像素点坐标与所述相机的内参标定时设定的像素点坐标的误差小于设定误差阈值，则确定所述相机的内参标定成功，并将所述获得的所述相机的内参下发至所述车载智能设备，其中，所述设定的像素点坐标与所述标定板内空间三维点的坐标对应。

优选的，所述方法还包括：

如果所述计算的像素点坐标与所述相机的内参标定时设定的像素点坐标的误差大于或等于设定误差阈值，则确定所述相机的内参标定不成功，下发报警信息至所述车载智能设备。

本申请第二方面提供一种服务器，所述服务器包括：

接收单元，用于接收车载智能设备上传的相机拍摄的包含标定板的N张图像，所述N张图像包括所述相机与所述标定板满足特定距离、特定角度所述相机拍摄的包含所述标定板的图像，N为大于等于20的整数；

识别单元，用于根据所述接收单元接收的N张图像的至少一张图像中所述标定板的图像特征，识别所述相机的相机模型；

标定单元，用于根据所述识别单元识别的所述相机的相机模型，选择相机的内参标定算法，并获得所述相机的内参；

下发单元，用于将所述标定单元获得的所述相机的内参下发至所述车载智能设备。

优选的，所述标定单元包括：

第一标定子单元，用于根据所述识别单元识别的所述相机的相机模型为鱼眼相机模型，选择鱼眼相机的内参标定算法，并获得所述相机的内参；

第二标定子单元，用于根据所述识别单元识别的所述相机的相机模型为针孔相机模型，选择针孔相机的内参标定算法，并获得所述相机的内参。

优选的，所述服务器还包括：

提取单元，用于根据所述接收单元接收的N张图像的至少一张图像，提取所述至少一张图像中所述标定板的边缘特征；

第一计算单元，用于根据所述提取单元提取的至少一张图像中所述标定板的边缘特征，获得所述标定板在所述至少一张图像中的圆心、圆形面积占比；

第一判断单元，用于判断所述第一计算单元获得的标定板在所述至少一张图像中的圆心与所述至少一张图像的中心点的距离是否小于设定距离阈值和所述圆形面积占比是否大于设定比例阈值；

所述识别单元还用于：如果所述第一判断单元判断标定板在所述至少一张图像中的圆心与所述至少一张图像的中心点的距离小于设定距离阈值，且所述圆形面积占比大于设定比例阈值，识别所述相机的相机模型为鱼眼相机模型，如果所述第一判断单元判断标定板在所述至少一张图像中的圆心与所述至少一张图像的中心点的距离大于或等于设定距离阈值，且所述圆形面积占比小于或等于设定比例阈值，识别所述相机的相机模型为针孔相机模型。

优选的，所述服务器还包括：

第二计算单元，用于根据所述标定单元获得的所述相机的内参，计算所述标定板内至少一个空间三维点的坐标在至少一张图像中的像素点坐标；

第二判断单元，用于判断所述第二计算单元计算的像素点坐标与所述相机的内参标定时设定的像素点坐标的误差是否小于设定误差阈值，其中，所述设定的像素点坐标与所述标定板内空间三维点的坐标对应；

所述下发单元还用于，如果所述第二判断单元判断计算的像素点坐标与所述相机的内参标定时设定的像素点坐标的误差小于设定误差阈值，则确定所述相机的内参标定成功，并将所述标定单元获得的所述相机的内参下发至所述车载智能设备，如果所述第二判断单元判断计算的像素点坐标与所述相机的内参标定时设定的像素点坐标的误差大于或等于设定误差阈值，则确定所述相机的内参标定不成功，下发报警信息至所述车载智能设备。

本申请第三方面提供一种自动驾驶车辆的相机内参标定系统，所述系统包括：

车载智能设备，用于上传相机拍摄的包含标定板的N张图像，所述N张图像包括所述相机与所述标定板满足特定距离、特定角度所述相机拍摄的包含所述标定板的图像，N为大于等于20的整数；

服务器，用于接收所述车载智能设备上传的包含标定板的N张图像，根据所述N张图像的至少一张图像中所述标定板的图像特征，识别所述相机的相机模型，根据所述相机的相机模型，选择相机的内参标定算法，获得所述相机的内参，将所述获得的所述相机的内参下发至所述车载智能设备。

本申请第四方面提供一种电子设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

本申请第五方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：

本申请的技术方案，根据接收的包含标定板的图像，提取图像中标定板的边缘特征，获得图像中标定板的图像特征，识别拍摄图像的相机的相机模型，根据相机模型，调用与相机模型相对应的相机内参标定算法进行相机内参的标定，能够对自动驾驶车辆的相机内参进行准确地在线标定。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的自动驾驶车辆的相机内参标定方法的流程示意图；

图2是本申请实施例示出的自动驾驶车辆的相机内参标定方法的另一流程示意图；

图3是本申请实施例示出的服务器的结构示意图；

图4是本申请实施例示出的服务器的另一结构示意图；

图5是本申请实施例示出的自动驾驶车辆的相机内参标定系统的结构示意图；

图6是本申请实施例示出的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本申请实施例提供一种自动驾驶车辆的相机内参标定方法，能够对自动驾驶车辆的相机内参进行准确地在线标定。

以下结合附图详细描述本申请实施例的技术方案。

实施例一：

图1是本申请实施例示出的自动驾驶车辆的相机内参标定方法的流程示意图。

参见图1，一种自动驾驶车辆的相机内参标定方法，包括：

在步骤S101中，接收车载智能设备上传的相机拍摄的包含标定板的N张图像，N张图像包括相机与标定板满足特定距离、特定角度相机拍摄的包含标定板的图像，N为大于等于20的整数。

在一实施方式中，自动驾驶车辆设有车载智能设备，车载智能设备包括但不限于单目相机、具有通信功能的其它智能设备。单目相机可以是鱼眼相机，或是针孔相机。自动驾驶车辆的单目相机设置于车辆的合适位置，例如，单目相机可以设置于车辆的前挡风玻璃处或者设置于车辆的后视镜处，以便单目相机能够拍摄包含标定板的图像。

在一具体实施方式中，标定板可以是棋盘格标定板，根据标定工具例如Opencv标定工具，将棋盘格标定板固定，自动驾驶车辆移动，使得自动驾驶车辆的单目相机处于与棋盘格标定板至少6个不同距离、至少5个不同角度的位置，拍摄至少20张包含棋盘格标定板的图像。自动驾驶车辆的车载智能设备可以将相机拍摄的至少20张包含棋盘格标定板的图像上传服务器。服务器接收自动驾驶车辆车载智能设备上传的至少20张包含棋盘格标定板的图像。

在步骤S102中，根据N张图像的至少一张图像中标定板的图像特征，识别相机的相机模型。

在一实施方式中，服务器采用设定的边缘检测算法，对接收的至少20张包含棋盘格标定板的图像中的至少一张图像进行边缘检测，提取图像中棋盘格标定板的边缘特征；根据图像中棋盘格标定板的边缘特征，获得棋盘格标定板的图像特征；根据棋盘格标定板的图像特征，识别拍摄图像的相机的相机模型。

在步骤S103中，根据相机的相机模型，选择相机的内参标定算法，并获得相机的内参。

在一具体实施方式中，服务器可以根据识别的相机的相机模型，在标定工具例如Opencv标定工具中选择与相机的相机模型的相对应的相机的内参标定算法，利用接收的至少20张包含棋盘格标定板的图像，完成相机的内参标定，获得标定工具输出的相机的内参。

在步骤S104中，将获得的相机的内参下发至车载智能设备。

在一具体实施方式中，服务器可以将获得的相机的内参下发至自动驾驶车辆的车载智能设备。车载智能设备接收服务器下发的相机的内参，在后续的图像处理中利用接收的相机的内参，降低图像的畸变。

本申请实施例示出的自动驾驶车辆的相机内参标定方法，根据接收的包含标定板的图像，提取图像中标定板的边缘特征，获得图像中标定板的图像特征，识别拍摄图像的相机的相机模型，根据相机模型，调用与相机模型相对应的相机内参标定算法进行相机内参的标定，能够对自动驾驶车辆的相机内参进行准确地在线标定。

实施例二：

图2是本申请实施例示出的自动驾驶车辆的相机内参标定方法的另一流程示意图。图2相对于图1更详细描述了本申请的方案。

参见图2，一种自动驾驶车辆的相机内参标定方法，包括：

在步骤S201中，接收车载智能设备上传的相机拍摄的包含标定板的N张图像，N张图像包括相机与标定板满足特定距离、特定角度相机拍摄的包含标定板的图像，N为大于等于20的整数。

该步骤可以参见步骤S101的描述，此处不再赘述。

在步骤S202中，根据N张图像的至少一张图像，提取至少一张图像中标定板的边缘特征。

在一实施方式中，服务器采用设定的边缘检测算法，对接收的至少20张包含棋盘格标定板的图像中的至少一张图像进行边缘检测，提取图像中棋盘格标定板的边缘特征。

在一具体实施方式中，服务器可以采用Canny边缘检测算法，用高斯滤波器平滑图象；用一阶偏导的有限差分来计算梯度的幅值和方向；对梯度幅值进行非极大值抑制；用双阈值算法检测和连接边缘，提取图像中棋盘格标定板的边缘特征。

在步骤S203中，根据至少一张图像中标定板的边缘特征，获得标定板在至少一张图像中的圆心、圆形面积占比。

在一具体实施方式中，服务器采用改进的霍夫变换算法对至少一张图像中标定板的边缘特征进行检测，判断标定板在至少一张图像中的形状，包括根据标定板在至少一张图像中的边缘特征，检测标定板的圆心；根据标定板的圆心推导标定板的圆半径。根据至少一张图像中标定板的边缘特征，计算标定板图形的梯度，确定标定板图形圆周线，其中圆周线的梯度就是圆周线的法线；在二维霍夫空间内绘出标定板图形的所有梯度直线，坐标点累加和的值越大，则该点上直线相交的次数越多，该点越有可能是圆心；在霍夫空间的4邻域内进行非最大值抑制；设定一个坐标点累加和阈值，霍夫空间内坐标点累加和大于坐标点累加和阈值的点确定为圆心。

服务器计算某一个圆心到所有圆周线的距离，这些距离中就有该圆心所对应的圆的半径的值，这些半径值当然是相等的，并且这些圆半径的数量要远远大于其他距离值相等的数量；设定最大半径阈值和最小半径阈值；保留距离在最大半径阈值和最小半径阈值之间的值；对保留下来的距离进行排序；找到距离相同的值，并计算相同值的数量；设定一个数量阈值，只有相同值的数量大于该数量阈值，确定该值为该圆心对应的圆半径；对标定板图形的一个圆心，获得一个圆心对应的圆半径。

服务器根据检测出至少一张图像中标定板的形状、标定板圆形形状的圆半径，计算标定板圆形形状的面积；根据包含标定板的图像的尺寸，计算图像的面积；根据标定板圆形形状的面积和图像的面积，计算标定板在至少一张图像中的圆形面积占比。

在步骤S204中，判断标定板在至少一张图像中的圆心与至少一张图像的中心点的距离是否小于设定距离阈值和圆形面积占比是否大于设定比例阈值；如果是，执行步骤S205；如果否，执行步骤S206。

在一实施方式中，服务器判断标定板在图像中的圆心与图像的中心点的距离是否小于设定距离阈值和标定板在图像中的圆形面积占比是否大于设定比例阈值；如果服务器判断标定板在图像中的圆心与图像的中心点的距离小于设定距离阈值，且圆形面积占比大于设定比例阈值，执行步骤S205；如果服务器判断标定板在图像中的圆心与图像的中心点的距离大于或等于设定距离阈值，且圆形面积占比小于或等于设定比例阈值，执行步骤S206。

在一具体实施方式中，服务器判断标定板在图像中的圆心与图像的中心点的距离是否重合和圆形面积占比是否大于设定比例阈值1/2；如果服务器判断标定板在图像中的圆心与图像的中心点的重合，且圆形面积占比大于设定比例阈值1/2，执行步骤S205；如果服务器判断标定板在图像中的圆心与图像的中心点不重合，且圆形面积占比小于或等于设定比例阈值1/2，执行步骤S206。

需要说明的是，标定板在至少一张图像中的圆心与至少一张图像的中心点的距离小于设定距离阈值，可以是标定板在至少一张图像中的圆心与至少一张图像的中心点重合，也可以是标定板在至少一张图像中的圆心与至少一张图像的中心点的距离小于设定数量的像素。

在步骤S205中，识别相机的相机模型为鱼眼相机模型，并选择鱼眼相机的内参标定算法，获得相机的内参；执行步骤S207。

在一实施方式中，如果服务器判断标定板在图像中的圆心与图像的中心点的距离小于设定距离阈值，且圆形面积占比大于设定比例阈值，识别拍摄图像的相机的相机模型为鱼眼相机模型，根据相机的相机模型为鱼眼相机模型，在Opencv标定工具中选择与鱼眼相机模型相对应的鱼眼相机的内参标定算法，利用接收的至少20张包含棋盘格标定板的图像，获得自动驾驶车辆相机的内参。

在一具体实施方式中，服务器根据至少20张包含棋盘格标定板的图像计算角点；提取各角点的亚像素；通过Opencv标定工具利用至少20张包含棋盘格标定板的图像，选择与鱼眼相机模型相对应的鱼眼相机的内参标定算法输出相机的内参，鱼眼相机的内参包括主点(cx、cy)、焦距(fx、fy)和畸变系数(k1、k2、k3、k4)。

在步骤S206中，识别相机的相机模型为针孔相机模型，并选择针孔相机模型的内参标定算法，获得相机的内参。

在一具体实施方式中，如果服务器判断标定板在图像中的圆心与图像的中心点的距离大于或等于设定距离阈值，且圆形面积占比小于或等于设定比例阈值，识别拍摄图像的相机的相机模型为针孔相机模型，根据相机的相机模型为针孔相机模型，在Opencv标定工具中选择与针孔相机模型相对应的针孔相机的内参标定算法，利用接收的至少20张包含棋盘格标定板的图像，获得自动驾驶车辆相机的内参。

在一具体实施方式中，服务器根据至少20张包含棋盘格标定板的图像计算角点；提取各角点的亚像素；通过Opencv标定工具利用至少20张包含棋盘格标定板的图像，选择与针孔相机模型相对应的针孔相机的内参标定算法输出相机的内参，针孔相机的内参包括主点(cx、cy)、焦距(fx、fy)和畸变系数(k1、k2、k3、k4)。

在步骤S207中，根据获得的相机的内参，计算标定板内至少一个空间三维点的坐标在至少一张图像中的像素点坐标。

在一具体实施方式中，根据步骤S206或步骤S207中获得的自动驾驶车辆相机的内参，计算标定板内至少一个空间三维点的坐标在至少一张图像中的像素点坐标，即计算标定板内至少一个空间三维点的坐标投影在至少一张图像中的二维坐标。

在步骤S208中，判断计算的像素点坐标与相机的内参标定时设定的像素点坐标的误差是否小于设定误差阈值，其中，设定的像素点坐标与标定板内空间三维点的坐标对应；如果是，执行步骤S209；如果否，执行步骤S210。

在一具体实施方式中，服务器可以判断计算的标定板内空间三维点的坐标在图像中的像素点坐标与相机的内参标定时设定的像素点坐标的误差，设定的像素点坐标与标定板内空间三维点的坐标对应；如果计算的像素点坐标与相机的内参标定时设定的像素点坐标的误差小于设定误差阈值，执行步骤S209；如果计算的像素点坐标与相机的内参标定时设定的像素点坐标的误差大于或等于设定误差阈值，执行步骤S210。

在一具体实施方式中，空间三维点在相机的内参标定时设定的像素点坐标，可以是空间三维点的坐标未标定时在图像的像素点坐标。

在步骤S209中，确定相机的内参标定成功，并将获得的相机的内参下发至车载智能设备。

在一具体实施方式中，如果服务器判断计算的像素点坐标与相机的内参标定时设定的像素点坐标的误差小于设定误差阈值，确定相机的内参标定成功，并将获得的相机的内参下发至自动驾驶车辆的车载智能设备。自动驾驶车辆的车载智能设备接收服务器下发的相机的内参，在后续的图像处理中利用接收的相机的内参，降低图像的畸变。

需要说明的是，计算的像素点坐标与相机的内参标定时设定的像素点坐标的误差小于设定误差阈值，可以是计算的像素点坐标与相机的内参标定时设定的像素点坐标重合，也可以是计算的像素点坐标与相机的内参标定时设定的像素点坐标的误差小于设定数量的像素。

在步骤S210中，确定相机的内参标定不成功，并下发报警信息至车载智能设备。

在一具体实施方式中，如果服务器判断计算的像素点坐标与相机的内参标定时设定的像素点坐标的误差大于或等于设定误差阈值，确定相机的内参标定不成功，并下发报警信息至车载智能设备。

在一具体实施方式中，如果服务器确定相机的内参标定不成功，下发报警信息至车载智能设备，自动驾驶车辆的相机可以重新拍摄至少20张包含棋盘格标定板的图像，自动驾驶车辆的车载智能设备将相机拍摄的至少20张包含棋盘格标定板的图像重新上传服务器；服务器重新执行步骤S201。或者，如果服务器确定相机的内参标定不成功，下发报警信息至车载智能设备，并可以重新执行步骤S202。

本申请实施例示出的自动驾驶车辆的相机内参标定方法，根据接收的包含标定板的图像，提取图像中标定板的边缘特征，获得图像中标定板的图像特征，识别拍摄图像的相机的相机模型，根据相机模型，调用与相机模型相对应的相机内参标定算法进行相机内参的标定，能够对自动驾驶车辆的相机内参进行准确地在线标定。

进一步地，本申请实施例示出的自动驾驶车辆的相机内参标定方法，根据标定板在至少一张图像中的具体图像特征，确定相机的相机模型，是鱼眼相机模型，或是针孔相机模型；根据相机的相机模型选择与鱼眼相机模型相对应的内参标定算法，或是选择与针孔相机模型相对应的内参标定算法，根据图像特征自动识别相机模型，并选取与之对应的内参标定算法，提高了内参标定算法的复用性和使用效率，提高了自动驾驶车辆的相机内参标定效率和准确性。

实施例三：

与前述应用功能实现方法实施例相对应，本申请还提供了一种服务器、系统、电子设备及相应的实施例。

图3是本申请实施例示出的服务器的结构示意图。

参见图3，一种服务器30，包括接收单元301、识别单元302、标定单元303、下发单元304。

接收单元301，用于接收车载智能设备上传的相机拍摄的包含标定板的N张图像，N张图像包括相机与标定板满足特定距离、特定角度相机拍摄的包含标定板的图像，N为大于等于20的整数。

在一实施方式中，自动驾驶车辆设有车载智能设备，车载智能设备包括但不限于单目相机、具有通信功能的其它智能设备。单目相机可以是鱼眼相机，或是针孔相机。自动驾驶车辆的单目相机设置于车辆的合适位置，例如，单目相机可以设置于车辆的前挡风玻璃处或者设置于车辆的后视镜处，以便单目相机能够拍摄包含标定板的图像。

在一具体实施方式中，标定板可以是棋盘格标定板，根据标定工具例如Opencv标定工具，将棋盘格标定板固定，自动驾驶车辆移动，使得自动驾驶车辆的单目相机处于与棋盘格标定板至少6个不同距离、至少5个不同角度的位置，拍摄至少20张包含棋盘格标定板的图像。自动驾驶车辆的车载智能设备可以将相机拍摄的至少20张包含棋盘格标定板的图像上传。接收单元301接收自动驾驶车辆车载智能设备上传的至少20张包含棋盘格标定板的图像。

识别单元302，用于根据接收单元301接收的N张图像的至少一张图像中标定板的图像特征，识别相机的相机模型。

在一实施方式中，识别单元302采用设定的边缘检测算法，对接收单元301接收的至少20张包含棋盘格标定板的图像中的至少一张图像进行边缘检测，提取图像中棋盘格标定板的边缘特征；根据图像中棋盘格标定板的边缘特征，获得棋盘格标定板的图像特征；根据棋盘格标定板的图像特征，识别拍摄图像的相机的相机模型。

标定单元303，用于根据识别单元302识别的相机的相机模型，选择相机的内参标定算法，获得相机的内参。

在一具体实施方式中，标定单元303可以根据识别单元302识别的相机的相机模型，在标定工具例如Opencv标定工具中选择与相机的相机模型的相对应的内参标定算法，利用接收的至少20张包含棋盘格标定板的图像，完成相机的内参标定，获得标定工具输出的相机的内参。

下发单元304，用于将标定单元303获得的相机的内参下发至车载智能设备。

在一具体实施方式中，下发单元304可以将标定单元303获得的相机的内参下发至自动驾驶车辆的车载智能设备。车载智能设备接收服务器下发的相机的内参，在后续的图像处理中利用接收的相机的内参，降低图像的畸变。

本申请实施例示出的技术方案，根据接收的包含标定板的图像，提取图像中标定板的边缘特征，获得图像中标定板的图像特征，识别拍摄图像的相机的相机模型，根据相机模型，调用与相机模型相对应的相机内参标定算法进行相机内参的标定，能够对自动驾驶车辆的相机内参进行准确地在线标定。

实施例四：

图4是本申请实施例示出的服务器的另一结构示意图。

参见图4，一种服务器30，包括接收单元301、识别单元302、标定单元303、下发单元304、提取单元401、第一计算单元402、第一判断单元403、第二计算单元405、第二判断单元406。

接收单元301的功能可以参见图3所示。

提取单元401，用于根据接收单元301接收的N张图像的至少一张图像，提取至少一张图像中标定板的边缘特征。

第一计算单元402，用于根据提取单元401提取的至少一张图像中标定板的边缘特征，获得标定板在至少一张图像中的圆心、圆形面积占比。

第一判断单元403，用于判断第一计算单元402获得的标定板在至少一张图像中的圆心与至少一张图像的中心点的距离是否小于设定距离阈值和圆形面积占比是否大于设定比例阈值。

识别单元302还用于如果第一判断单元403判断标定板在至少一张图像中的圆心与至少一张图像的中心点的距离小于设定距离阈值和圆形面积占比大于设定比例阈值，识别相机的相机模型为鱼眼相机模型，如果第一判断单元403判断标定板在至少一张图像中的圆心与至少一张图像的中心点的距离大于或等于设定距离阈值，且圆形面积占比小于或等于设定比例阈值，识别相机的相机模型为针孔相机模型。

标定单元303包括第一标定子单元3031、第二标定子单元3032。

第一标定子单元3031，用于根据识别单元302识别的相机的相机模型为鱼眼相机模型，选择鱼眼相机的内参标定算法，并获得相机的内参。

第二标定子单元3032，用于如果识别单元302识别的相机的相机模型为针孔相机模型，选择针孔相机的内参标定算法，并获得相机的内参。

第二计算单元405，用于根据标定单元303获得的相机的内参，计算标定板内至少一个空间三维点的坐标在至少一张图像中的像素点坐标。

第二判断单元406，用于判断第二计算单元405计算的像素点坐标与相机的内参标定时设定的像素点坐标的误差是否小于设定误差阈值，其中，设定的像素点坐标与标定板内空间三维点的坐标对应。

下发单元304还用于，如果第二判断单元406判断计算的像素点坐标与相机的内参标定时设定的像素点坐标的误差小于设定误差阈值，则确定相机的内参标定成功，并将标定单元303获得的相机的内参下发至车载智能设备；如果第二判断单元406判断计算的像素点坐标与相机的内参标定时设定的像素点坐标的误差大于或等于设定误差阈值，则确定相机的内参标定不成功，下发报警信息至车载智能设备。

本申请实施例示出的技术方案，根据接收的包含标定板的图像，提取图像中标定板的边缘特征，获得图像中标定板的图像特征，识别拍摄图像的相机的相机模型，根据相机模型，调用与相机模型相对应的相机内参标定算法进行相机内参的标定，能够对自动驾驶车辆的相机内参进行准确地在线标定。

进一步地，本申请实施例示出的技术方案，根据标定板在至少一张图像中的具体图像特征，确定相机的相机模型是鱼眼相机模型，或是针孔相机模型；根据相机的相机模型选择与鱼眼相机模型相对应的内参标定算法，或是选择与针孔相机模型相对应的内参标定算法，根据图像特征自动识别相机模型，并选取与之对应的内参标定算法，提高了内参标定算法的复用性和使用效率，提高了自动驾驶车辆的相机内参标定效率和准确性。

实施例五：

图5是本申请实施例示出的自动驾驶车辆的相机内参标定系统的结构示意图。

参见图5，一种自动驾驶车辆的相机内参标定系统，包括车载智能设备50和服务器30。

车载智能设备50，用于上传相机拍摄的包含标定板的N张图像，N张图像包括相机与标定板满足特定距离、特定角度相机拍摄的包含标定板的图像，N为大于等于20的整数；

服务器30，用于接收车载智能设备50上传的包含标定板的N张图像，根据N张图像的至少一张图像中标定板的图像特征，识别相机的相机模型，根据相机的相机模型，选择相机的内参标定算法，并获得相机的内参，将获得的相机的内参下发至车载智能设备50。

关于上述实施例中的服务器、系统，其中各个单元、设备执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

图6是本申请实施例示出的电子设备的结构示意图。

参见图6，电子设备60包括存储器601和处理器602。

处理器602可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器601可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM）和永久存储装置。其中，ROM可以存储处理器602或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器601可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器601可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等）、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器601上存储有可执行代码，当可执行代码被处理器602处理时，可以使处理器602执行上文述及的方法中的部分或全部。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种计算机可读存储介质（或非暂时性机器可读存储介质或机器可读存储介质），其上存储有可执行代码（或计算机程序或计算机指令代码），当可执行代码（或计算机程序或计算机指令代码）被电子设备（或服务器等）的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种自动驾驶车辆的相机内参标定方法，其特征在于，包括：

接收车载智能设备上传的相机拍摄的包含标定板的N张图像，所述N张图像包括所述相机与所述标定板满足特定距离、特定角度所述相机拍摄的包含所述标定板的图像，N为大于等于20的整数；

根据所述N张图像的至少一张图像中所述标定板的图像特征，识别所述相机的相机模型；

根据所述相机的相机模型，选择相机的内参标定算法，并获得所述相机的内参；

将所述获得的所述相机的内参下发至所述车载智能设备。

2.根据权利要求1所述的方法，其特征在于，所述根据所述相机的相机模型，选择相机的内参标定算法，并获得所述相机的内参，包括：

根据所述相机的相机模型为鱼眼相机模型，选择鱼眼相机的内参标定算法，并获得所述相机的内参；或，

根据所述相机的相机模型为针孔相机模型，选择针孔相机的内参标定算法，并获得所述相机的内参。

3.根据权利要求1所述的方法，其特征在于，所述根据所述N张图像的至少一张图像中所述标定板的图像特征，识别所述相机的相机模型，包括：

根据所述N张图像的至少一张图像，提取所述至少一张图像中所述标定板的边缘特征；

根据所述至少一张图像中所述标定板的边缘特征，获得所述标定板在所述至少一张图像中的圆心、圆形面积占比；

如果所述标定板在所述至少一张图像中的圆心与所述至少一张图像的中心点的距离小于设定距离阈值，且所述圆形面积占比大于设定比例阈值，识别所述相机的相机模型为鱼眼相机模型；

如果所述标定板在所述至少一张图像中的圆心与所述至少一张图像的中心点的距离大于或等于设定距离阈值，且所述圆形面积占比小于或等于设定比例阈值，识别所述相机的相机模型为针孔相机模型。

4.根据权利要求1所述的方法，其特征在于，所述将所述获得的所述相机的内参下发至所述车载智能设备，包括：

根据所述获得的所述相机的内参，计算所述标定板内至少一个空间三维点的坐标在至少一张图像中的像素点坐标；

如果所述计算的像素点坐标与所述相机的内参标定时设定的像素点坐标的误差小于设定误差阈值，则确定所述相机的内参标定成功，并将所述获得的所述相机的内参下发至所述车载智能设备，其中，所述设定的像素点坐标与所述标定板内空间三维点的坐标对应。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

如果所述计算的像素点坐标与所述相机的内参标定时设定的像素点坐标的误差大于或等于设定误差阈值，则确定所述相机的内参标定不成功，下发报警信息至所述车载智能设备。

6.一种服务器，其特征在于，包括：

接收单元，用于接收车载智能设备上传的相机拍摄的包含标定板的N张图像，所述N张图像包括所述相机与所述标定板满足特定距离、特定角度所述相机拍摄的包含所述标定板的图像，N为大于等于20的整数；

识别单元，用于根据所述接收单元接收的N张图像的至少一张图像中所述标定板的图像特征，识别所述相机的相机模型；

标定单元，用于根据所述识别单元识别的所述相机的相机模型，选择相机的内参标定算法，并获得所述相机的内参；

下发单元，用于将所述标定单元获得的所述相机的内参下发至所述车载智能设备。

7.根据权利要求6所述的服务器，其特征在于，所述标定单元包括：

第一标定子单元，用于根据所述识别单元识别的所述相机的相机模型为鱼眼相机模型，选择鱼眼相机的内参标定算法，并获得所述相机的内参；

第二标定子单元，用于根据所述识别单元识别的所述相机的相机模型为针孔相机模型，选择针孔相机的内参标定算法，并获得所述相机的内参。

8.根据权利要求6所述的服务器，其特征在于，所述服务器还包括：

提取单元，用于根据所述接收单元接收的N张图像的至少一张图像，提取所述至少一张图像中所述标定板的边缘特征；

第一计算单元，用于根据所述提取单元提取的至少一张图像中所述标定板的边缘特征，获得所述标定板在所述至少一张图像中的圆心、圆形面积占比；

第一判断单元，用于判断所述第一计算单元获得的标定板在所述至少一张图像中的圆心与所述至少一张图像的中心点的距离是否小于设定距离阈值和所述圆形面积占比是否大于设定比例阈值；

所述识别单元还用于：如果所述第一判断单元判断标定板在所述至少一张图像中的圆心与所述至少一张图像的中心点的距离小于设定距离阈值，且所述圆形面积占比大于设定比例阈值，识别所述相机的相机模型为鱼眼相机模型，如果所述第一判断单元判断标定板在所述至少一张图像中的圆心与所述至少一张图像的中心点的距离大于或等于设定距离阈值，且所述圆形面积占比小于或等于设定比例阈值，识别所述相机的相机模型为针孔相机模型。

9.根据权利要求6所述的服务器，其特征在于，所述服务器还包括：

第二计算单元，用于根据所述标定单元获得的所述相机的内参，计算所述标定板内至少一个空间三维点的坐标在至少一张图像中的像素点坐标；

第二判断单元，用于判断所述第二计算单元计算的像素点坐标与所述相机的内参标定时设定的像素点坐标的误差是否小于设定误差阈值，其中，所述设定的像素点坐标与所述标定板内空间三维点的坐标对应；

所述下发单元还用于，如果所述第二判断单元判断计算的像素点坐标与所述相机的内参标定时设定的像素点坐标的误差小于设定误差阈值，则确定所述相机的内参标定成功，并将所述标定单元获得的所述相机的内参下发至所述车载智能设备，如果所述第二判断单元判断计算的像素点坐标与所述相机的内参标定时设定的像素点坐标的误差大于或等于设定误差阈值，则确定所述相机的内参标定不成功，下发报警信息至所述车载智能设备。

10.一种自动驾驶车辆的相机内参标定系统，其特征在于，包括：

车载智能设备，用于上传相机拍摄的包含标定板的N张图像，所述N张图像包括所述相机与所述标定板满足特定距离、特定角度所述相机拍摄的包含所述标定板的图像，N为大于等于20的整数；

服务器，用于接收所述车载智能设备上传的包含标定板的N张图像，根据所述N张图像的至少一张图像中所述标定板的图像特征，识别所述相机的相机模型，根据所述相机的相机模型，选择相机的内参标定算法，获得所述相机的内参，将所述获得的所述相机的内参下发至所述车载智能设备。

Images