CN113516722B

CN113516722B - 一种车辆摄像头标定方法、装置、计算机设备和存储介质

Info

Publication number: CN113516722B
Application number: CN202111076203.5A
Authority: CN
Inventors: 杨洁; 王进涛; 朱仁杰; 张果
Original assignee: Jushi Huixing Wuhan Technology Co ltd
Current assignee: Jushi Huixing Wuhan Technology Co ltd
Priority date: 2021-09-14
Filing date: 2021-09-14
Publication date: 2021-12-07
Anticipated expiration: 2041-09-14
Also published as: CN113516722A

Abstract

本申请公开的一种车辆摄像头标定方法、装置、计算机设备和存储介质，车辆的周围铺设有标定布，车辆上设有摄像头，摄像头的拍摄视野包括标定布，该方法包括：基于摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和目标外部参数；根据摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；拼接参数包括纹理与全景图的逐像元映射关系参数；根据所述摄像头拍摄的图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图。实施该方法能够提高全景图的拼接质量。

Description

一种车辆摄像头标定方法、装置、计算机设备和存储介质

技术领域

本发明涉及车辆辅助驾驶技术领域，更具体地说，涉及一种车辆摄像头标定方法、装置、计算机设备和存储介质。

背景技术

车辆环视系统通过车载摄像头采集周遭的影像，并于车载屏幕实时显示拼接的全景图，其算法核心是确定影像像素与显示屏像素键的映射函数。该映射函数主要是由三个部分组成，一个是对成像系统中畸变的描述函数、对成像系统中投影的描述函数、以及对全景图向屏幕投影方式的描述。其中，描述函数的准确度由摄像头内部参数的精度所确定，且，描述函数以及描述函数的误差将导致全景图中出现地面倾斜、车道线弯曲、拼接处有重影等问题。现有的技术方案为解决上述问题，采用同名点匹配技术在重叠视野内进行影像匹配，以完成配准。虽然该方法能够保证全景图的拼接完整度，但却需要兼容不理想的摄像头和不理想的标定环境，存在拼接准确度低的问题。

发明内容

本发明要解决的技术问题在于，针对拼接准确度低的技术问题，提供一种车辆摄像头标定方法、装置、计算机设备和存储介质。

本发明解决其技术问题所采用的技术方案是：构造一种车辆摄像头标定方法，所述车辆的周围铺设有标定布，所述车辆上设有摄像头，所述摄像头的拍摄视野包括所述标定布，所述方法包括：

基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和目标外部参数；

根据所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；所述拼接参数包括纹理与全景图的逐像元映射关系参数；

根据所述摄像头拍摄的图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图。

本申请公开的一种适用于上述任一项方法实施例所述的方法的车辆摄像头标定装置，所述装置包括：

标定模块，用于基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和外部参数；

第一处理模块，用于根据所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；所述拼接参数包括纹理与全景图的逐像元映射关系参数；

第二处理模块，用于根据所述摄像头拍摄的图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图。

本申请公开的一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

本申请公开的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

实施本发明的一种车辆摄像头标定方法、装置、计算机设备和存储介质，在兼容不理想的摄像头以及不理想的标定环境的情况下，通过标定布角点的影像坐标优化摄像头的内部参数，以及，通过引入的消除残差的函数，缓解了摄像头内部参数不准确、标定布摆放随意或测量不准确时的全景图拼接质量，提高了拼接准确度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的一个实施例中的一种车辆摄像头标定方法的流程图；

图2是本发明的一个实施例中的标定布的摆放形式与测量位置示意图；

图3是本发明的一个实施例中的一种车辆摄像头标定方法的硬件组成结构图；

图4是本发明的一个实施例中的一种车辆摄像头标定方法的整体流程示意图；

图5是本发明的一个实施例中的一种车辆摄像头标定装置的系统结构图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

在一个实施例中，如图1所示，提供了的一种车辆摄像头标定方法，其中，车辆的周围铺设有标定布（标定布的具体摆放形式与测量位置，请参考图2），车辆上（例如，车头车牌附近、车尾车牌附近、左后视镜附近、以及右视镜附近）还设有摄像头，所述摄像头的拍摄视野包括所述标定布。以该方法应用于计算机设备（该计算机设备具体可以是安装在车辆中控附近的主机）为例进行说明，包括以下步骤：

步骤S1，基于摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和目标外部参数。

具体的，请参考图2，在标定时，需要将标定布铺设在车辆四周、且设置在摄像头的下方，以使得摄像头的拍摄视野能够涵盖到完整的标定布。在一个实施例中，标定布通常按车轴对称摆放。

具体的，摄像头对准到铺设在车辆周围的标定布，并对其进行拍摄，得到相应的图像。在一个实施例中，请参考图3，计算机设备连接到摄像头，计算机设备获取经由摄像头拍摄得到的图像，并基于该图像进行标定，以确定摄像头的目标内部参数和目标外部参数。

步骤S2，根据摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；拼接参数包括纹理与全景图的逐像元映射关系参数。

具体的，计算机设备根据摄像头的目标内部参数和目标外部参数，计算纹理与全景图的逐像元映射关系，以及摄像头重叠区域的范围、边界、两纹理叠加时的alpha通道值，上述计算得到的各项参数值，例如，纹理与全景图的逐像元映射关系、以及摄像头重叠区域的范围等均作为拼接参数，进一步基于该拼接参数进行全景图的合成。

在其中一个实施例中，计算机设备将计算得到的拼接参数写入预设的文件系统，或，基于所得的摄像头的目标内部参数和目标外部参数，直接从上述的文件系统中直接进行拼接参数的载入，并基于载入的拼接参数进行后续的全景图的合成。

步骤S3，根据摄像头拍摄的图像以及拼接参数，进行全景图的合成，得到相应的拼接图。

具体的，计算机设备基于拼接参数中包括的纹理与全景图的逐像元映射关系参数，根据上述的逐像元映射关系，进行全景图的绘制，并将绘制所得的拼接图传输至预设的显示屏幕，通过该显示屏幕进行拼接图的显示。或者，计算机设备也可以将获取到的标定布图像作为纹理，将标定布图像与拼接参数一起送入至图形处理器中，由该图形处理器进行贴图，以进行全景图的绘制。

在一个实施例中，请参考图3，上述的显示屏幕设于车辆内部，且连接到计算机设备，计算机设备还连接到摄像头。在一个实施例中，计算机设备通过数据线分别连接到摄像头、以及显示屏幕。当然，当前实施例中，计算机设备也可以采用其他的方式连接到摄像头、以及显示屏幕，例如，通过蓝牙、无线连接方式等，本申请实施例对此不作限定。

本申请公开的一种车辆摄像头标定方法，在兼容不理想的摄像头以及不理想的标定环境的情况下，通过标定布角点的影像坐标优化摄像头的内部参数，以及，通过引入的消除残差的函数，缓解了摄像头内部参数不准确、标定布摆放随意或测量不准确时的全景图拼接质量，提高了拼接准确度。

在一个实施例中，步骤S1中，基于摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数，包括：

步骤S11，基于摄像头拍摄的图像，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点。

具体的，计算机设备基于摄像头拍摄的图像，采用手动标记或自动识别方式，识别标定布上的各个标定布角点，以获取各个标定布角点分别对应的影像坐标。

在其中一个实施例中，计算机设备在通过手动标记方式，识别标记布上的各个标定布角点时，将按照提前设定的角点数目和顺序，在预设的软件交互界面中，并在获取到的拍摄图像中逐一标记出标定布角点的位置。在一个实施例中，计算机设备在通过自动识别方式，识别标定布上的各个标定布角点时，将按照提前设定的标定布角点排列模式（例如，5*7的棋盘格），在获取到的拍摄图像中寻找出最相似的角点排列方案，例如，可以基于OpenCV软件中提供的函数“findChessboardCorners”，进行标定布角点的自动识别。需要说明的是，在经过人工手动标记或自动识别处理之后，最终将输出每张拍摄图像上各标定布角点分别对应的影像坐标。

步骤S12，以待优化的摄像头的主点为中心，以预设的采样间隔生成多个候选主点。

具体的，计算机设备将以当前所确定的摄像头的主点为中心，例如，以第i个摄像头为例，在当前迭代中，计算机设备将以当前的主点（c _i,x ,c _i,y）为中心，以（d _x ,d _y）为预设的采样间隔点，生成2n _x +1行、2n _y +1列的候选主点。示例性的，第p行第q列的候选主点（c _i,x,p,q , c _i,y,p,q）的计算形式具体为：c _i,x,p,q =c _i,x +(q-n _x )*d _x， c _i,y,p,q =c _i,y +(p-n _y )*d _y。其中，c _i,x为第i个摄像头相对于x轴的横坐标，c _i,y为第i个摄像头相对于y轴的纵坐标。d _x为采样间隔点相对于x轴的横坐标，d _y为采样间隔点相对于y轴的纵坐标。n _x、 n _y均为预设的正整数，在一个实施例中，其可根据所需生成的候选主点的总数量，进行动态调整其取值。

步骤S13，针对每个候选主点，计算相应候选主点的多个标定布角点分别对应的相机坐标，以及，根据各标定标定布角点分别对应的世界坐标，进行基准坐标的计算。

具体的，针对每个候选主点（c _i,x,p,q ,c _i,y,p,q），计算机设备将确定相应候选主点的多个标定布角点，并计算当前各个标定布角点分别对应的相机坐标x _c,i,p,q，以及，根据所确定的各标定布角点分别对应的世界坐标x _w，进行基准坐标x ⁰ _c,i,p,q的计算。其中，c _i,x,p,q为相应候选主点相对于x轴的横坐标，c _i,y,p,q为相应候选主点相对于y轴的纵坐标。

在一个实施例中，计算机设备基于去畸变函数f _i ^’-1进行相机坐标的计算。例如，计算机设备可以以OpenCV软件中提供的函数“undistortPoints”为函数f _i ^’-1，并基于该函数f _i ^’-1进行相机坐标的计算。需要说明的是，上述的计算方式是以主点、主距等摄像头的内部参数、以及标定布角点的影像坐标作为输入，以相机坐标作为输出。

在其中一个实施例中，计算机设备根据以下计算公式，计算各标定布角点分别对应的世界坐标x _w：

x ⁰ _c,i,p,q =Hx _w；（1）

其中，H指的是单应性变换矩阵，需要说明的是，H被定义为方程x _c,i,p,q =Hx _w的最小二乘解，其可由OpenCV软件中提供的函数“findHomography”计算得到。在已知参数x _w以及H的情况下，通过上述的公式（1）即可进一步求解得到各标定布角点所对应的基准坐标。

步骤S14，针对每个候选主点，计算相应候选主点的多个标定布角点的相机坐标，与相应基准坐标之间的偏离距离总和，并根据得到的各项偏离距离总和，将偏离距离总和最小的候选主点作为当前迭代的输出结果。

具体的，针对每个候选主点，计算机设备将各标定布角点的相机坐标与基准坐标之间的偏离距离的总和作为代价，并将从各个候选主点中选择到的代价最小的点，作为当前迭代的输出结果，即将代价最小的候选主点，作为优化后的主点。其中，“代价”是对标定布角点的相机坐标是否呈直线排列的度量，其中，排列线越趋近于直线，则相应的代价越小。

步骤S15，在进入下次迭代时，将上次迭代的输出结果作为待优化的摄像头的主点，并按照预设的缩放规则缩小采样间隔，返回到以摄像头的主点为中心，以预设的采样间隔生成多个候选主点步骤继续执行，直到达到迭代结束条件时，将最后一次迭代的输出结果作为摄像头的目标内部参数。

具体的，在进入下一次的迭代时，将返回到步骤S11，且，计算机设备将以上次迭代中，输出的优化后的主点更新当前迭代中的主点，并取上次迭代中的采样间隔的2/3作为当前迭代的采样间隔，即缩小采样间隔的范围（当然，上述采样间隔的分配比例，在不同的实施场景中，可以取到不同的数值，本申请实施例对此不作限定）。通过不断的重复执行步骤S11-步骤S15，直到达到迭代结束条件时，计算机设备将终止迭代，并将最后一次迭代中记录的输出结果，作为摄像头的目标内部参数（即优化后的结果）。

在其中一个实施例中，迭代结束条件包括采样间隔足够小（例如，小于1像素）、超出最大的迭代总次数（例如，迭代总次数超过10次）、连续多次迭代中的输出结果一致等中的至少一种条件，本申请实施例对此不作限定。需要说明的是，摄像头的目标内部参数包括主点、主距长度、畸变参数。在一个实施例中，计算机设备只标定了摄像头内部参数中的主点，其他的各项参数（例如主距长度等），均由先验值所确定。需要说明的是，先验值具体是从一批摄像头中抽样测量得到的结果所确定，当然，当前实施例中，也可以采用其他的方式确定除主点之外的其他各项参数，本申请实施例对此不作限定。

上述实施例中，通过优化摄像头的主点，使得标定布角点在相机坐标系中能够按直线排列，提高了全景图的拼接质量。

在一个实施例中，基于摄像头拍摄的图像，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点，包括：基于标定布图像，根据预设的角点识别方式，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；上述的角点识别方式包括根据预先设定的角点数量、以及角点排列顺序，确定标定布角点在相应拍摄图像中的位置的第一识别方式、以及根据预先设定的角点排列模式，所确定的标定布角点在相应拍摄图像中相匹配的标定布角点排列方案的第二识别方式中的至少一种。

在一个实施例中，步骤S13中，每次迭代中，各个标定布角点分别对应的相机坐标通过以下步骤所确定：

步骤S131，获取各标定布角点在图像中分别对应的影像坐标。

具体的，计算机设备在获取到摄像机拍摄的拍摄图像之后，在从拍摄图像中识别到相应的各个标定布角点时，并获取各个标定布角点在拍摄图像中分别对应的影像坐标。

步骤S132，根据影像坐标，优化下述第一函数f _i中的摄像头内部参数p _i,in，得到对应的第一优化函数f _i ^’，以及优化后的摄像头内部参数p ^’ _i,in：

u _i =f _i (x _c,i ;p _i,in )；（2）

其中，下标i为摄像头编号，u _i为相应标记布角点在图像中的影像坐标，x _c,i为相机坐标系。

具体的，计算机设备将得到的影像坐标u _i，以及在已知相机坐标系的情况下，将上述两项参数带入上述的公式（2）中，经过等式变换，将得到相应的第一优化函数f _i ^’，以及优化后的摄像头内部参数p ^’ _i,in。

步骤S133，根据所述影像坐标u _i以及所述优化后的摄像头内部参数p ^’ _i,in，确定所述第一优化函数f _i ^’所对应的第一反函数f _i ^’-1，并根据所述第一反函数f _i ^’-1，计算各个标定布角点分别对应的相机坐标。

具体的，根据公式（2）可知，第一优化函数f _i ^’所对应的第一反函数f _i ^’-1为：

x _c,i=f _i ^’-1(u _i ;p ^’ _i,in)；（3）

其中，基于前述各项步骤，在得到各个标定布角点分别对应的影像坐标u _i，以及优化后的摄像头内部参数p ^’ _i,in之后，将上述两项参数带入公式（3），即可得到各个标定布角点分别对应的相机坐标x _c,i。

上述实施例中，相比于第一函数f _i，第一优化函数f _i ^’优化了摄像头的主点（内部参数的一部分），由于不准确的摄像头内部参数，会使相机坐标系中原本在一条直线上的标定布角点排列成一条曲线，而优化后的主点能尽可能地使标定布角点在相机坐标系中按直线排列。这样，优化后的摄像头内部参数即使仍不准确，也能使得第一优化函数f _i ^’的误差，尽可能地由图像中心向图像边缘逐渐增大，避免在图像某一侧函数f _i的误差明显地大于另一侧，以至于图像一侧的误差远远超过环视系统所能承受的区间范围。

在一个实施例中，步骤S1中，全景图通过预设的显示屏幕进行显示；基于摄像头拍摄的图像进行标定，以确定摄像头的目标外部参数，包括：

步骤A11，基于摄像头拍摄的图像，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点。

具体的，由于上述实施例中已经对如何识别到标记布上的各个标定布角点，进行了详细的说明，本申请实施例在此不作过多说明。

步骤A12，将各所述标定布角点分别对应的相机坐标x _c,i，以及世界坐标x _w，带入下述的第二函数g _i中，以确定摄像头的目标外部参数p _i,out：

x _c,i =g _i (x _w ;p _i,out )；（3）

其中，x _w =h(x _s )为各标定布角点分别对应的世界坐标，x _s为所述显示屏幕的屏幕坐标系，h为将所述全景图向所述显示屏幕进行投影的描述函数；第二函数g _i为对成像系统中投影的描述。

具体的，如图2所示，车辆的左右两块标定布之间的间距为l ₁、车辆前后两块标定布之间的间距为l ₂、前标定布与左/右标定布之间的间距为l ₃。当前，以前、后两块标定布的中心作为原点，以车辆的前进方向为Y轴，车辆的右方为X轴，车辆的上方为Z轴，建立世界坐标系。那么标定布上每个标定布角点的世界坐标，都可根据测量的标定布位置l ₁-l ₃和每个图像的尺寸与间距，计算得到。

具体的，第二函数g _i是根据标定布角点的相机坐标x _c,i和世界坐标x _w，标定摄像头外部参数的结果，其中相机坐标（x _c,i）由优化后的函数f _i ^’-1 (u _i ;p ^’ _i,in )所确定。在一个实施例中，标定过程可，采用例如OpenCV软件中提供的函数“calibrateCamera”。其中，所得的标定结果对应于残差平方和（

）最小的外部参数（p _i,out）。

在一个实施例中，计算机设备在得到各标定布角点分别对应的相机坐标x _c,i，以及世界坐标x _w之后，将上述2个参数带入到上述的公式（3）进行等式变换，即可进一步计算得到摄像头的目标外部参数p _i,out。需要说明的是，摄像头的目标外部参数p _i,out包括摄像头对应的旋转参数和平移参数，其只与摄像头在世界坐标系内的安装位置和旋转角度有关。

在一个实施例中，步骤S2中，根据摄像头的目标内部参数和目标外部参数，进行拼接参数的计算，包括：

步骤S21，确定第二函数g _i所对应的第二反函数g _i ^-1，其中，第二反函数g _i ^-1表示为：

g _i ^-1(x _c,i ;p _i,out)。

步骤S22，根据各标定布角点分别对应的世界坐标x _w、以及第二反函数g _i ^-1，基于残差为零的第二原则，通过下述公式，确定用以消除残差的第三函数k _i：

g _i ^-1(x _c,i ;p _i,out)- x ^’ _w =0;

x ^’ _w =k _i (x _w )。

这里，确定第二反函数g _i ^-1，实际上是确定目标外部参数p _i,out，即方程g _i ^-1(x _c,i ; p _i,out)- x ^’ _w =0的最小二乘解，x ^’ _w为将得到的目标外部参数p _i,out带入所述第二反函数g _i ^-1得到的标定布角点的世界坐标；它与测量的世界坐标x _w是不吻合的，所以需要增加第三函数k _i，实现x _w向x ^’ _w的转换。

具体的，请参考图4，当前新增的第三函数k _i (x _w )，被用于计算中间变量x ^’ _w，并代替x _w以消除第二反函数g _i ^-1的误差，即g _i ^-1(x _c,i ;p _i,out)- x ^’ _w =0。

在一个实施例中，计算机设备可以采用薄板样条函数（Thin Plate Spline）作为函数k _i或者k _i ^-1，需要说明的是，薄板样条函数是一种插值技术，需要两个坐标系中3对或以上的点对作为控制点，构建一个从一个坐标系向另一个坐标系映射的插值模型。其优点是插值误差可以在控制点上为零，在非控制点上的弯曲程度也最小。当前实施例中，若将世界坐标x _w和g _i ^-1(x _c,i ;p _i,out)作为控制点对，建立的薄板样条函数能使不同摄像头影像中的同一标定布角点g _i ^-1(f _i ^’-1 (u _i ; p ^’ _i,in );p _i,out)，在经函数k _i ^-1计算后，将得到严格一致的世界坐标x _w。

步骤S23，根据第三函数k _i、摄像头的目标内部参数和目标外部参数，进行拼接参数的计算。

上述实施例中，新增的函数k _i能显著去除第二函数g _i的误差。相比于现有技术，当前实施例中，仅使用已人工标记或已自动识别的标定布角点，以及消除解算第二函数g _i时得到的残差。这样的处理既避免了复杂耗时的同名点匹配过程，也不需要重叠视野中存在丰富的地面纹理，提高了计算机设备处理效率。另外，不同标记布图像中的同一个标定布角点，在经第一反函数f _i ^’-1、第二反函数g _i ^-1和h ^-1的计算后，将得到严格一致的世界坐标，显著提升了摄像头内部参数不理想或标定环境不理想时，全景图成功拼接的稳定性，提高了全景图的拼接效率。

在一个实施例中，如图5所示，提供了的一种车辆摄像头标定装置500，该装置500包括：

标定模块501，用于基于摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和外部参数。

第一处理模块502，用于根据摄像头的目标内部参数和目标外部参数，进行拼接参数的计算；拼接参数包括纹理与全景图的逐像元映射关系参数。

第二处理模块503，用于根据摄像头拍摄的图像以及拼接参数，进行全景图的合成，得到相应的拼接图。

在其中一个实施例中，标定模块501，还用于基于摄像头拍摄的图像，对标定布上的各个标定布角点进行识别，得到对应的多个标定布角点；以摄像头的主点为中心，以预设的采样间隔生成多个候选主点；针对每个候选主点，计算相应候选主点的多个标定布角点分别对应的相机坐标，以及，根据标定布角点分别对应的世界坐标，进行基准坐标的计算；针对每个候选主点，计算相应候选主点的多个标定布角点的相机坐标，与相应基准坐标之间的偏离距离总和，并根据得到的各项偏离距离总和，将偏离距离总和最小的候选主点作为当前迭代的输出结果；在进入下次迭代时，将上次迭代的输出结果作为摄像头的主点，并按照预设的缩放规则缩小采样间隔，返回到以摄像头的主点为中心，以预设的采样间隔生成多个候选主点步骤继续执行，直到达到迭代结束条件时，将最后一次迭代的输出结果作为摄像头的目标内部参数。

在其中一个实施例中，标定模块501，还用于基于摄像头拍摄的图像，根据预设的角点识别方式，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；角点识别方式包括根据预先设定的角点数量、以及角点排列顺序，所确定标定布角点在图像中的位置的第一识别方式、以及根据预先设定的角点排列模式，所确定的标定布角点在图像中相匹配的标定布角点排列方案的第二识别方式中的至少一种。

在其中一个实施例中，标定模块501，还用于获取各标定布角点在图像中分别对应的影像坐标；根据所述影像坐标，优化下述第一函数f _i中的摄像头内部参数p _i,in，得到对应的第一优化函数f _i ^’，以及优化后的摄像头内部参数p ^’ _i,in：

u _i =f _i (x _c,i ;p _i,in )；

其中，下标i为摄像头编号，u _i为相应标记布角点在所述图像中的影像坐标，x _c,i为相机坐标系；根据所述影像坐标u _i以及所述优化后的摄像头内部参数p ^’ _i,in，确定所述第一优化函数f _i ^’所对应的第一反函数f _i ^’-1，并根据所述第一反函数f _i ^’-1，计算各个标定布角点分别对应的相机坐标。

在其中一个实施例中，拼接图通过预设的显示屏幕进行显示；标定模块501，还用于基于摄像头拍摄的图像进行标定，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；将各所述标定布角点分别对应的相机坐标x _c,i，以及世界坐标x _w，带入下述的第二函数g _i中，以确定摄像头的目标外部参数p _i,out：

x _c,i =g _i (x _w ;p _i,out )；

在其中一个实施例中，第一处理模块502，还用于确定第二函数g _i所对应的第二反函数g _i ^-1，其中，第二反函数g _i ^-1表示为：

g _i ^-1(x _c,i ;p _i,out)；

根据各标定布角点分别对应的世界坐标x _w、以及第二反函数g _i ^-1，基于残差为零的第二原则，通过下述公式，确定用以消除残差的第三函数k _i：

g _i ^-1(x _c,i ;p _i,out)- x ^’ _w =0;

x ^’ _w =k _i (x _w );

根据所述第三函数k _i、所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算。

本申请公开的一种车辆摄像头标定装置，在兼容不理想的摄像头以及不理想的标定环境的情况下，通过标定布角点的影像坐标优化摄像头的内部参数，以及，通过引入的消除残差的函数，缓解了摄像头内部参数不准确、标定布摆放随意或测量不准确时的全景图拼接质量，提高了拼接准确度。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

上述计算机设备，在兼容不理想的摄像头以及不理想的标定环境的情况下，通过标定布角点的影像坐标优化摄像头的内部参数，以及，通过引入的消除残差的函数，缓解了摄像头内部参数不准确、标定布摆放随意或测量不准确时的全景图拼接质量，提高了拼接准确度。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

上述存储介质，在兼容不理想的摄像头以及不理想的标定环境的情况下，通过标定布角点的影像坐标优化摄像头的内部参数，以及，通过引入的消除残差的函数，缓解了摄像头内部参数不准确、标定布摆放随意或测量不准确时的全景图拼接质量，提高了拼接准确度。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种车辆摄像头标定方法，所述车辆的周围铺设有标定布，所述车辆上设有摄像头，所述摄像头的拍摄视野包括所述标定布，其特征在于，所述方法包括：

根据所述摄像头拍摄的图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图；

所述基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数，包括：

基于所述摄像头拍摄的图像，对标定布上的各个标定布角点进行识别，得到对应的多个标定布角点；

以摄像头的主点为中心，以预设的采样间隔生成多个候选主点；

针对每个候选主点，计算相应候选主点的多个标定布角点分别对应的相机坐标，以及，根据标定布角点分别对应的世界坐标，进行基准坐标的计算；

针对每个候选主点，计算相应候选主点的多个标定布角点的相机坐标，与相应基准坐标之间的偏离距离总和，并根据得到的各项偏离距离总和，将偏离距离总和最小的候选主点作为当前迭代的输出结果；

在进入下次迭代时，将上次迭代的输出结果作为所述摄像头的主点，并按照预设的缩放规则缩小所述采样间隔，返回到所述以摄像头的主点为中心，以预设的采样间隔生成多个候选主点步骤继续执行，直到达到迭代结束条件时，将最后一次迭代的输出结果作为摄像头的目标内部参数。

2.根据权利要求1所述的方法，其特征在于，所述基于所述摄像头拍摄的图像，对标定布上的各个标定布角点进行识别，得到对应的多个标定布角点，包括：

基于所述摄像头拍摄的图像，根据预设的角点识别方式，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；所述角点识别方式包括根据预先设定的角点数量、以及角点排列顺序，所确定标定布角点在所述图像中的位置的第一识别方式、以及根据预先设定的角点排列模式，所确定的标定布角点在所述图像中相匹配的标定布角点排列方案的第二识别方式中的至少一种。

3.根据权利要求1所述的方法，其特征在于，每次迭代中，各个标定布角点分别对应的相机坐标通过以下步骤所确定：

获取各所述标定布角点在所述图像中分别对应的影像坐标；

根据所述影像坐标，优化下述第一函数f_i中的摄像头内部参数p_i，in，得到对应的第一优化函数f_i′，以及优化后的摄像头内部参数p′_i，in：

u_i＝f_i(x_c，i；p_i，in)；

其中，下标i为摄像头编号，u_i为相应标记布角点在所述图像中的影像坐标，x_c，i为相机坐标系；

根据所述影像坐标u_i以及所述优化后的摄像头内部参数p′_i，in，确定所述第一优化函数f′_i所对应的第一反函数f_i′^-1，并根据所述第一反函数f_i′^-1，计算各个标定布角点分别对应的相机坐标。

4.根据权利要求1所述的方法，其特征在于，所述拼接图通过预设的显示屏幕进行显示；所述基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标外部参数，包括：

基于所述摄像头拍摄的图像进行标定，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；

将各所述标定布角点分别对应的相机坐标x_c，i，以及世界坐标x_w，带入下述的第二函数g_i中，以确定摄像头的目标外部参数p_i，out：

x_c，i＝g_i(x_w；p_i，out)；

其中，x_w＝h(x_s)为各标定布角点分别对应的世界坐标，x_s为所述显示屏幕的屏幕坐标系，h为将所述全景图向所述显示屏幕进行投影的描述函数；第二函数g_i为对成像系统中投影的描述。

5.根据权利要求4所述的方法，其特征在于，所述根据所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算，包括：

确定第二函数g_i所对应的第二反函数g_i ^-1，其中，第二反函数g_i ^-1表示为：

g_i ^-1(x_c，i；p_i，out)；

根据各标定布角点分别对应的世界坐标x_w、以及第二反函数g_i ^-1，基于残差为零的第二原则，通过下述公式，确定用以消除残差的第三函数k_i：

g_i ^-1(x_c，i；p_i，out)-x′_w＝0；

x′_w＝k_i(x_w)；

根据所述第三函数k_i、所述摄像头的目标内部参数和目标外部参数，进行拼接参数的计算。

6.一种适用于权利要求1-5中任一项所述的方法的车辆摄像头标定装置，其特征在于，所述装置包括：

标定模块，用于基于所述摄像头拍摄的图像进行标定，以确定摄像头的目标内部参数和目标外部参数；

第二处理模块，用于根据所述标定布图像以及所述拼接参数，进行全景图的合成，得到相应的拼接图；

所述标定模块，还用于基于所述摄像头拍摄的图像，对标记布上的各个标定布角点进行识别，得到对应的多个标定布角点；以摄像头的主点为中心，以预设的采样间隔生成多个候选主点；针对每个候选主点，计算相应候选主点的多个标定布角点分别对应的相机坐标，以及，根据标定布角点分别对应的世界坐标，进行基准坐标的计算；针对每个候选主点，计算相应候选主点的多个标定布角点的相机坐标，与相应基准坐标之间的偏离距离总和，并根据得到的各项偏离距离总和，将偏离距离总和最小的候选主点作为当前迭代的输出结果；在进入下次迭代时，将上次迭代的输出结果作为所述摄像头的主点，并按照预设的缩放规则缩小所述采样间隔，返回到所述以摄像头的主点为中心，以预设的采样间隔生成多个候选主点步骤继续执行，直到达到迭代结束条件时，将最后一次迭代的输出结果作为摄像头的目标内部参数。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。