CN113888650A - 一种摄像头标定方法和装置 - Google Patents

Abstract

本发明实施例提供了一种摄像头标定方法和装置，所述方法包括：获取用于标定摄像头内外参的标定模型，以及通过所述摄像头所拍摄图像的像素坐标点；其中，所述用于标定摄像头内外参的标定模型为通过每个空间点在图像的像素坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到；根据所拍摄图像的像素坐标点以及所述用于标定摄像头内外参的标定模型，得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，以完成对摄像头的标定。通过预先训练的标定模型基于高斯过程的多摄像头标定，以便能够通过摄像头所拍摄图像的像素坐标点输入至标定模型，直接得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，以完成对摄像头的标定。

Description

一种摄像头标定方法和装置

技术领域

本发明涉及摄像头标定技术领域，特别是涉及一种摄像头标定方法和一种摄像头标定装置。

背景技术

摄像头成像的清晰度与像素的高低，很大程度上决定于成像技术，而在成像技术中最主要侧重于摄像头的标定，就是通过摄像头在传感器上的成像来计算真实世界中各个物体的距离和参数。其中，摄像头的标定就是确定摄像头内参和外参的过程。

目前，摄像头的标定通常需要利用摄像头基于标定板在不同角度拍摄照片，并需要人工在照片上指定几个点进行对应，这种对摄像头的标定方式显得繁琐且难以实现自动化。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种摄像头标定方法和相应的一种摄像头标定装置。

本发明实施例公开了一种摄像头标定方法，所述方法包括：

获取用于标定摄像头内外参的标定模型，以及通过所述摄像头所拍摄图像的像素坐标点；其中，所述用于标定摄像头内外参的标定模型为通过每个空间点在图像的像素坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到；

根据所拍摄图像的像素坐标点以及所述用于标定摄像头内外参的标定模型，得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，以完成对摄像头的标定。

可选地，所述根据所述所拍摄图像的像素坐标点以及所述用于标定摄像头内外参的标定模型，得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，包括：

将所拍图像的像素点输入所述标定模型，输出得到每个空间点在摄像头坐标系下的空间角度关系；

获取摄像头光心在空间坐标系中的坐标，采用所述摄像头光心在空间坐标系中的坐标对所述每个空间点在摄像头坐标系下的空间角度关系进行转化，得到每个像素点在空间坐标系中的空间点坐标。

可选地，所述标定模型的生成过程如下：

获取所拍摄的图像样本训练数据中各个方格角点的像素坐标，以及获取图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系；

将所述图像样本训练数据中各个方格角点的像素坐标作为所述标定模型的第一输入项，并将所述图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系作为第一输出项，以及采用所述第一输入项与所述第一输出项输入至所述标定模型，对所述标定模型进行训练。

可选地，所述获取图像样本训练数据中所拍摄图像样本数据中各个方格角点的像素坐标，包括：

获取几何方格标定板的标定数据；

采用所述几何方格标定板的标定数据调用针对方格角点的提取函数，获取所拍摄的图像在几何方格标定板中各个方格角点的像素坐标的像素坐标。

可选地，所述获取图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系，包括：

以车辆后轴中心在地面的投影点作为原点，建立空间坐标系；

获取几何方格标定板中第一个方格角点在空间坐标系下的空间坐标，基于所述第一个方格角点的空间坐标推算得到几何方格标定板中各个方格角点的空间坐标；

采用空间坐标系与所述摄像头的摄像头坐标系间的转换公式，与几何方格标定板中各个方格角点的空间坐标，计算得到针对各个方格角点在摄像头坐标系下的空间角度关系。

可选地，在对所述标定模型进行训练之后，还包括：

获取所拍摄的图像样本测试数据中各个方格角点的像素坐标，以及获取图像样本测试数据中各个方格角点在摄像头坐标系下的空间角度关系；

将所述图像样本测试数据中各个方格角点的像素坐标作为所述标定模型的第二输入项，并将所述图像样本测试数据中各个方格角点在摄像头坐标系下的空间角度关系作为第二输出项，以及采用所述第二输入项与所述第二输出项输入至进行训练后的标定模型，对训练后的标定模型进行测试。

可选地，采用所述第二输入项与所述第二输出项输入至进行训练后的标定模型，对训练后的标定模型进行测试，包括：

采用所述第二输入项与所述第二输出项输入至进行训练后的标定模型，得到拟合结果；

采用所述第二输出项求出经过所述摄像头的摄像头原点的空间直线的空间向量，以及采用所述摄像头的摄像头原点的空间直线的空间向量，解出经过不同摄像头原点的直线方程；

采用所述经过所述摄像头的摄像头原点的空间直线，与所述经过不同摄像头原点的直线方程的距离中心，以判定所述图像样本测试数据中各个方格角点的像素坐标与拟合结果间的准确度，完成对训练后的标定模型进行测试。

本发明实施例还公开了一种摄像头标定装置，所述装置包括：

标定模型获取模块，用于获取用于标定摄像头内外参的标定模型，以及通过所述摄像头所拍摄图像的像素坐标点；其中，所述用于标定摄像头内外参的标定模型为通过每个空间点在图像的像素坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到；

摄像头标定模块，用于根据所拍摄图像的像素坐标点以及所述用于标定摄像头内外参的标定模型，得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，以完成对摄像头的标定。

可选地，所述摄像头标定模块包括：

空间角度关系输出子模块，用于将所拍图像的像素点输入所述标定模型，输出得到每个空间点在摄像头坐标系下的空间角度关系；

空间点坐标确定子模块，用于获取摄像头光心在空间坐标系中的坐标，采用所述摄像头光心在空间坐标系中的坐标对所述每个空间点在摄像头坐标系下的空间角度关系进行转化，得到每个像素点在空间坐标系中的空间点坐标。

可选地，所述装置还包括：

标定模型生成模块，用于通过每个空间点在图像上呈现的横纵坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到标定摄像头内外参的标定模型。

可选地，所述标定模型生成模块包括：

图像样本训练数据获取子模块，用于获取所拍摄的图像样本训练数据中各个方格角点的像素坐标，以及获取图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系；

标定模型训练子模块，用于将所述图像样本训练数据中各个方格角点的像素坐标作为所述标定模型的第一输入项，并将所述图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系作为第一输出项，以及采用所述第一输入项与所述第一输出项输入至所述标定模型，对所述标定模型进行训练。

可选地，所述图像样本训练数据获取子模块包括：

标定数据获取单元，用于获取几何方格标定板的标定数据；

像素坐标确定单元，用于采用所述几何方格标定板的标定数据调用针对方格角点的提取函数，获取所拍摄的图像在几何方格标定板中各个方格角点的像素坐标的像素坐标。

可选地，所述图像样本训练数据获取子模块包括：

空间坐标系建立单元，用于以车辆后轴中心在地面的投影点作为原点，建立空间坐标系；

空间坐标确定单元，用于获取几何方格标定板中第一个方格角点在空间坐标系下的空间坐标，基于所述第一个方格角点的空间坐标推算得到几何方格标定板中各个方格角点的空间坐标；

空间角度关系确定单元，用于采用空间坐标系与所述摄像头的摄像头坐标系间的转换公式，与几何方格标定板中各个方格角点的空间坐标，计算得到针对各个方格角点在摄像头坐标系下的空间角度关系。

可选地，还包括：

标定模型测试模块，用于在对所述标定模型进行训练之后，对训练后得到的标定模型进行测试。

可选地，所述标定模型测试模块包括：

图像样本测试数据获取子模块，用于获取所拍摄的图像样本测试数据中各个方格角点的像素坐标，以及获取图像样本测试数据中各个方格角点在摄像头坐标系下的空间角度关系；

标定模型测试子模块，用于将所述图像样本测试数据中各个方格角点的像素坐标作为所述标定模型的第二输入项，并将所述图像样本测试数据中各个方格角点在摄像头坐标系下的空间角度关系作为第二输出项，以及采用所述第二输入项与所述第二输出项输入至进行训练后的标定模型，对训练后的标定模型进行测试。

可选地，所述标定模型测试子模块包括：

拟合结果输出单元，用于采用所述第二输入项与所述第二输出项输入至进行训练后的标定模型，得到拟合结果；

空间指向获取单元，用于采用所述第二输出项求出经过所述摄像头的摄像头原点的空间直线的空间向量，以及采用所述摄像头的摄像头原点的空间直线的空间向量，解出经过不同摄像头原点的直线方程；

标定模型测试单元，用于采用所述经过所述摄像头的摄像头原点的空间直线，与所述经过不同摄像头原点的直线方程的距离中心，以判定所述图像样本测试数据中各个方格角点的像素坐标与拟合结果间的准确度，完成对训练后的标定模型进行测试。

本发明实施例还公开了一种车辆，包括：所述摄像头标定装置、处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现任一项所述摄像头标定方法的步骤。

本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现任一项所述摄像头标定方法的步骤。

本发明实施例包括以下优点：

在本发明实施例中，通过获取用于标定摄像头内外参的标定模型，所获取的标定模型可以通过每个空间点在图像上呈现的横纵坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到，然后可以将所获取的通过摄像头所拍摄图像的像素坐标点直接输入至预先拟合的标定模型，直接得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，以完成对摄像头的标定。即通过预先训练的标定模型基于高斯过程的多摄像头标定，以便能够通过摄像头所拍摄图像的像素坐标点输入至标定模型，直接得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，将不确定的参数拟合至标定模型中，避免由于不确定的参数对摄像头标定的影响，在实现摄像头标定自动化的同时提高对摄像头标定的准确性。

附图说明

图1是本发明实施例所提供的一种摄像头标定方法的步骤流程图；

图2是本发明实施例所提供的空间角度关系与空间点坐标的转化示意图；

图3是本发明实施例所提供的另一种摄像头标定方法的步骤流程图；

图4是本发明实施例所提供的空间坐标系的建立示意图；

图5是本发明实施例所提供的一种摄像头标定装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

在图像测量过程以及计算机视觉的应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立摄像头成像的几何模型，这些几何模型参数就是摄像头参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个参数的求解过程即可称为摄像头的标定。

其中，摄像头的标定过程包括对摄像头内参与外参的求解。

目前，对摄像头的标定可以采用传统张正友标定法实现，其主要是通过几何标定板，例如棋盘格上面的像素点与标定的三维空间坐标，通过像素点与其对应空间坐标点之间的映射关系，可以得到摄像头的内参和外参。其中，标定后影响摄像头计算三维空间坐标的因素有内参矩阵和外参矩阵，内参矩阵K主要表现可以为摄像头焦距(fx,fy)和畸变参数构成,外参矩阵主要是R和T，此时可以通过内参矩阵K，外参矩阵R与T，以及根据几何标定板上的像素坐标(u，v)，可计算得到此位于棋盘格上的像素点所对应的三维空间点坐标(X,Y,Z)。但在采用传统的张正友标定法进行摄像头的标定，例如在对全景鱼眼摄像头和身周边摄像头采用传统双目标定后，所得到的三维点误差比较大。

本发明实施例的核心思想之一是提出将不确定的参数拟合至高斯模型进行标定的技术构思，主要是通过预先训练的标定模型基于高斯过程的多摄像头标定，其中预先训练的标定模型通过每个空间点在图像上呈现的横纵坐标，与每个空间点在摄像头坐标系下的空间角度关系拟合得到，以便能够通过摄像头所拍摄图像的像素坐标点输入至标定模型，直接得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，将不确定的参数拟合至用于训练标定模型的高斯模型中，避免由于不确定的参数对摄像头标定的影响，在实现摄像头标定自动化的同时提高对摄像头标定的准确性。

参照图1，示出了本发明实施例所提供的一种摄像头标定方法的步骤流程图，侧重于对摄像头内外参的标定过程，即对标定模型的使用过程，具体可以包括如下步骤：

步骤101，获取用于标定摄像头内外参的标定模型，以及通过摄像头所拍摄图像的像素坐标点；

在本发明实施例中，通过摄像头所拍摄图像的像素坐标点输入至标定模型，直接得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，将不确定的参数拟合至标定模型中，避免由于不确定的参数对摄像头标定的影响，在实现摄像头标定自动化的同时提高对摄像头标定的准确性。

为了实现对摄像头的标定，即获得空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，可以通过将摄像头所拍摄图像的像素坐标点输入至用于标定摄像头内外参的标定模型实现。

在本发明的一种实施例中，可以获取用于标定摄像头内外参的标定模型，以通过所获取的标定模型对摄像头所拍摄图像的像素坐标点在空间中三维几何位置进行获取。其中，所获取的标定模型可以是预先训练的高斯模型，其可以通过每个空间点在图像上呈现的横纵坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到。

具体的，在确定图像的像素坐标点在空间中的三维几何位置时，主要是通过内参矩阵K，外参矩阵R与T，以及根据几何标定板上的像素坐标(u，v)，计算得到此像素点所对应的三维空间点坐标(X,Y,Z)。

[u，v]K[R，T]＝[C，Y，Z]

从图片像素(u,v)计算空间点坐标(X,Y,Z)的过程可知，主要是需要对内参矩阵K，以及外参矩阵R与T的确定，外参矩阵R与T可以共同描述如何将某个点从空间坐标系转换为摄像头坐标系。对于外参矩阵T，其可以表示摄像头光心在空间坐标系中的坐标，即描述的是在摄像头坐标系下空间原点的位置，在汽车设计模型中也可以相对容易地得到针对某个车载摄像头在空间坐标系下准确的坐标位置；对于外参矩阵R和内参矩阵K，R表示的是摄像头相对于空间坐标系的旋转矩阵，该值较难测量，而真实的镜头存在径向和切向畸变的情况，K指的是畸变参数，其需要由畸变模型多项式计算得到结果，具体可以由焦距、坐标轴倾斜参数等构成，内参矩阵在模型中需要与外参矩阵单独进行标定，且还需要拟合多项式，即便通过训练模型实现摄像头内外参的标定，其所训练的模型也是分别确定摄像头内参的内参模型和确定摄像头外参的外参模型，并不能通过所训练得到的模型同时得到摄像头的内外参数。

在实际应用中，可以通过将较为容易确定的外参矩阵T的值作为已知值，并构建标定模型，主要可以通过联合标定K和R参数的方式，使得将不确定的参数拟合至高斯模型中，实现标定模型的构建。具体可以将每个空间点在图像上呈现的横纵坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合，实现对不确定的参数拟合至高斯模型得到标定模型，以避免由于不确定的参数对摄像头标定的影响。

步骤102，根据所拍摄图像的像素坐标点以及用于标定摄像头内外参的标定模型，得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，以完成对摄像头的标定。

在本发明的一种实施例中，在对预先训练的用于标定摄像头的标定模型进行获取后，可以将摄像头所拍摄图像的像素坐标点输入至标定模型，直接得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，在实现摄像头标定自动化的同时提高对摄像头标定的准确性。

具体的，在将摄像头所拍摄图像的像素坐标点输入至标定模型之后，标定模型可以输出每个空间点在摄像头坐标系下的空间角度关系，所输出的在摄像头坐标系下的空间角度关系可以指的是每个空间点在摄像头坐标系中的相对角度，此相对角度可以通过每个空间点在摄像头坐标系中的经纬度确定。

在实际应用中，可以将容易确定的外参矩阵T的值作为已知值，那么此时可以获取摄像头光心在空间坐标系中的坐标，即外参矩阵T，然后可以采用摄像头光心在空间坐标系中的坐标(即外参矩阵T)对每个空间点在摄像头坐标系下的空间角度关系进行转化，得到每个像素点在空间坐标系中的空间点坐标，以实现图像的像素坐标点在空间中的三维几何位置之间对应关系的确定，完成对摄像头的标定。

具体的，参照图2，示出了本发明实施例所提供的空间角度关系与空间点坐标的转化示意图，空间中的每个点(x,y,z)在摄像头坐标系下，可以使用纬度latitude和经度longitude表示，即空间点坐标(x,y,z)可以和空间角度关系(latitude,longitude)相互转化。

在本发明实施例中，通过获取用于标定摄像头内外参的标定模型，所获取的标定模型可以通过每个空间点在图像上呈现的横纵坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到，然后可以将所获取的通过摄像头所拍摄图像的像素坐标点直接输入至预先拟合的标定模型，直接得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，以完成对摄像头的标定。即通过预先训练的标定模型基于高斯过程的多摄像头标定，以便能够通过摄像头所拍摄图像的像素坐标点输入至标定模型，直接得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，将不确定的参数拟合至标定模型中，避免由于不确定的参数对摄像头标定的影响，在实现摄像头标定自动化的同时提高对摄像头标定的准确性。

参照图3，示出了本发明实施例所提供的另一种摄像头标定方法的步骤流程图，侧重于用于标定摄像头内外参的标定模型的生成过程，具体可以包括如下步骤：

步骤301，根据所拍摄的图像样本训练数据中各个方格角点的像素坐标，以及图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系，对标定模型进行训练；

在本发明实施例中，通过摄像头所拍摄图像的像素坐标点输入至标定模型，直接得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，将不确定的参数拟合至标定模型中，避免由于不确定的参数对摄像头标定的影响，在实现摄像头标定自动化的同时提高对摄像头标定的准确性。

为了实现对摄像头的标定，即获得空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，可以通过将摄像头所拍摄图像的像素坐标点输入至用于标定摄像头内外参的标定模型实现。其中，所获取的标定模型可以是预先训练的高斯模型，其可以通过每个空间点在图像上呈现的横纵坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到。

在实际应用中，可以通过将容易确定的外参矩阵T的值作为已知值，并构建标定模型，主要可以通过联合标定K和R参数的方式，使得将不确定的参数拟合至高斯模型中，实现标定模型的构建。

在本发明实施例中，经过参数拟合与高斯过程所得到的标定模型的模型函数表达式可以如下所示：

[u，v][GaussianModel][T]＝[X，Y，Z]

其中，(u，v)可以是某个像素点在几何标定板上的像素坐标，Gaussian Model可以是能够实现高斯过程并进行参数拟合的任意高斯模型，外参矩阵T可以摄像头光心在空间坐标系中的坐标，即描述的是在摄像头坐标系下空间原点的位置，而(X,Y,Z)可以是此像素点在空间坐标系中所对应的三维空间点坐标。上述所构建的标定模型，并不涉及到对影响摄像头标定的不确定的参数内参矩阵K以及外参矩阵R的确定，能够提高所构建的标定模型对摄像头标定的准确性。

具体可以将每个空间点在图像上呈现的横纵坐标，即像素坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合，实现对不确定的参数拟合至高斯模型得到标定模型，以避免由于不确定的参数对摄像头标定的影响。

在本发明的一种实施例中，在对用于标定摄像头内外参的标定模型进行训练的过程中，可以获取所拍摄的图像样本训练数据中各个方格角点的像素坐标，以及获取图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系，以便根据所获取的图像样本训练数据对标定模型进行训练。

具体的，可以将图像样本训练数据中各个方格角点的像素坐标作为标定模型的第一输入项，并将图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系作为第一输出项，然后采用前述所确定的第一输入项与第一输出项输入至高斯模型，对标定模型进行训练。其中，用于构建的高斯模型可以是能够实现高斯过程并进行参数拟合的任意常见的高斯模型，对此，本发明实施例不加以限制。

在实际应用中，在所拍摄的图像样本训练数据中具有批量的方格角点的像素坐标(xi,yi)，即将(xi,yi)作为训练输入，并以每个方格角点的longitude、latitude作为训练输出，输入到高斯模型进行训练。

其中，将方格角点的像素坐标(xi,yi)作为训练输入，即第一输入项，在获取各个方格角点的像素坐标时，可以表现为采用几何方格标定板，例如棋盘格的标定数据得到avm全景鱼眼摄像头以及多个车身周边dds摄像头拍摄的图像，并调用针对方格角点的提取函数cv2.findChessboardCornersSB()，获取所拍摄的图像在几何方格标定板中各个方格角点的像素坐标的像素坐标(xi,yi)，若不能够识别到方格角点的图像，则可以手动对方格角点添加相关信息。

以每个方格角点的longitude、latitude作为训练输出，即第一输出项，在获取各个方格角点在摄像头坐标系下的空间角度关系时，首先可以如图4所示，基于车辆的IMU(Inertial Measurement Unit，惯性测量单元)检测和测量车辆当前的加速度与旋转运动的同时，以车辆后轴中心在地面的投影点作为原点，建立空间坐标系，然后可以采用几何方格标定板，例如棋盘格的标定数据记录左下角第一个方格角点在空间坐标系下的空间坐标，并基于第一个方格角点的空间坐标推算得到几何方格标定板中各个方格角点的空间坐标(X，Y，Z)，并采用空间坐标系与所述摄像头的摄像头坐标系间的转换公式，与几何方格标定板中各个方格角点的空间坐标，计算得到针对各个方格角点在摄像头坐标系下的空间角度关系，即如图2所示计算得到每个方格角点的longitude、latitude。

其中，基于longitude、latitude与(X,Y,Z)转换公式可以如下所示：

dx＝X-cam_x

dy＝Y-cam_y

dz＝Z-cam_z

ra＝np.sqrt(dx*dx+dy*dy+dz*dz)

latitude＝np.arccos(dz/ra)

longitude＝np.arctan2(dy,dx)

具体的，(cam_x，cam_y，cam_z)可以是摄像头光心在空间坐标系中的坐标，其用于描述在摄像头坐标系下空间原点的位置，(X,Y,Z)可以是某个像素点在空间坐标系中所对应的三维空间点坐标。其中，dx可以指的是某个空间点投影在xy平面上的点距离x轴的垂线距离，具体由某个像素点在空间坐标系中的横轴坐标X与在空间坐标系中作为摄像头坐标系空间原点对应位置的横轴坐标cam_x的差值确定，dy可以指的是某个空间点投影在xy平面上的点距离y轴的垂线距离，具体由某个像素点在空间坐标系中的纵轴坐标Y与在空间坐标系中作为摄像头坐标系空间原点对应位置的纵轴坐标cam_y的差值确定，dz可以指的是某个空间点投影在xz平面上的点距离z轴的垂线距离，具体由某个像素点在空间坐标系中的竖轴坐标Z与在空间坐标系中作为摄像头坐标系空间原点对应位置的竖轴坐标cam_z的差值确定，ra可以是由dx、dy以及dz所构成图形中的边长度，np.sqrt()即返回对dx*dx、dy*dy以及dz*dz的平方根；某个空间点在摄像头坐标系下的经度latitude，可通过对dz/ra取np.arccos()反余弦实现，某个空间点在摄像头坐标系下的纬度longitude，可通过反正切函数np.arctan2()，对从原点(0,0)到(dy,dx)的线段与x轴正方向之间的平面角度(即弧度值)确定。

步骤302，根据所拍摄的图像样本测试数据中各个方格角点的像素坐标，以及图像样本测试数据中各个方格角点在摄像头坐标系下的空间角度关系，对训练后的标定模型进行测试。

在对标定模型进行训练之后，可以对训练后得到的标定模型进行测试，以保证和提高标定模型在标定摄像头时的准确性。

具体的，可以重新启用一批数据的(xi,yi,longitude,latitude)输入到模型进行测试，查看拟合结果，以对训练后的标定模型进行测试。

在实际应用中，重新启用的一批数据可以指的是拍摄的图像样本测试数据，所拍摄的图像样本测试数据可以包括各个方格角点的像素坐标，以及各个方格角点在摄像头坐标系下的空间角度关系，此时可以将所获取的各个方格角点的像素坐标作为标定模型的第二输入项，并将所获取的各个方格角点在摄像头坐标系下的空间角度关系作为第二输出项，将所确定的第二输入项与第二输出项输入至进行训练后的标定模型，对训练后的标定模型进行测试。

在本发明的一种实施例中，可以采用第二输入项与第二输出项输入至进行训练后的标定模型，得到拟合结果，所得到的拟合结果可以指的是在经由标定模型进行标定后得到的三维空间坐标，其可以用于确定经过不同摄像头原点的直线方程，此时可以采用第二输出项求出经过所述摄像头的摄像头原点的空间直线的空间向量，以及采用摄像头的摄像头原点的空间直线的空间向量，解出经过不同摄像头原点的直线方程。

在判定图像样本测试数据中各个方格角点的像素坐标与拟合结果，即经由标定模型进行标定后得到的三维空间坐标间的准确度时，可以通过经过摄像头的摄像头原点的空间直线，与经过不同摄像头原点的直线方程的距离中心确定，以通过所确定的距离中心值对训练后的标定模型进行测试。

具体的，针对图像样本测试数据，可以依据图像样本测试数据中的各个方格角点在摄像头坐标系下的空间角度关系，即latitude、longitude值求出经过摄像头原点的空间直线的空间向量[m,n,p]，其空间向量计算过程可以如下所示：

m＝np.sin(latitude_vals)*np.sin(longitude_vals)

n＝np.sin(latitude_vals)*np.cos(longitude_vals)

p＝np.cos(latitude_vals)

其中，主要是通过numpy模块(是一种运行速度非常快的数学库，主要用于数组计算)对经纬度latitude、longitude求sin函数和/或cos函数实现。

通过上述空间向量的计算后，再经由上述所得到的空间向量[m,n,p]解出经过不同摄像头(例如avm与dds7)原点的直线方程，具体的，每个摄像头的光心在空间坐标系中的坐标是可知的，此时可以获取每个摄像头中在空间坐标系下作为摄像头坐标系空间原点对应位置的坐标，例如(cam_x，cam_y，cam_z)，此时可以采用常用的数学公式点向式确定向量[m,n,p]与定点，即摄像头原点(cam_x，cam_y，cam_z)的直线方程，例如对于某个经过摄像头原点的直线方程，可以为(x-cam_x)/m＝(y-cam_y)/n＝(z-cam_z)/p；然后可以计算测试点的三维空间坐标(x',y'，z')和标定时的三维空间坐标这两种三维空间坐标的准确率，其准确率可以通过求解上述经过不同摄像头原点的直线中两条异面直线的距离中心值，即采用两直线之间的距离公式进行计算确定。

需要说明的是，所确定的距离中心值越低，表示图像样本测试数据中各个方格角点的像素坐标与拟合结果，即经由标定模型进行标定后得到的三维空间坐标间的准确度越高，在所确定的距离中心值超过某个测试阈值时，表示当前标定模型的准确定还不够高，可以不断对标定模型进行训练以及不断对训练后的标定模型进行测试，直至其所确定的距离中心值低于测试阈值为止，对此，本发明实施例不加以限制。

在本发明实施例中，通过预先训练的标定模型基于高斯过程的多摄像头标定，以便能够通过摄像头所拍摄图像的像素坐标点输入至标定模型，直接得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，将不确定的参数拟合至标定模型中，避免由于不确定的参数对摄像头标定的影响，在实现摄像头标定自动化的同时提高对摄像头标定的准确性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图5，示出了本发明实施例所提供的一种摄像头标定装置的结构框图，具体可以包括如下模块：

标定模型获取模块501，用于获取用于标定摄像头内外参的标定模型，以及通过所述摄像头所拍摄图像的像素坐标点；其中，所述用于标定摄像头内外参的标定模型为通过每个空间点在图像的像素坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到；

摄像头标定模块502，用于根据所拍摄图像的像素坐标点以及所述用于标定摄像头内外参的标定模型，得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，以完成对摄像头的标定。

在本发明的一种实施例中，摄像头标定模块502可以包括如下子模块：

空间角度关系输出子模块，用于将所拍图像的像素点输入所述标定模型，输出得到每个空间点在摄像头坐标系下的空间角度关系；

空间点坐标确定子模块，用于获取摄像头光心在空间坐标系中的坐标，采用所述摄像头光心在空间坐标系中的坐标对所述每个空间点在摄像头坐标系下的空间角度关系进行转化，得到每个像素点在空间坐标系中的空间点坐标。

在本发明的一种实施例中，所述装置还可以包括如下模块：

标定模型生成模块，用于通过每个空间点在图像上呈现的横纵坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到标定摄像头内外参的标定模型。

在本发明的一种实施例中，标定模型生成模块可以包括如下子模块：

图像样本训练数据获取子模块，用于获取所拍摄的图像样本训练数据中各个方格角点的像素坐标，以及获取图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系；

标定模型训练子模块，用于将所述图像样本训练数据中各个方格角点的像素坐标作为所述标定模型的第一输入项，并将所述图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系作为第一输出项，以及采用所述第一输入项与所述第一输出项输入至所述标定模型，对所述标定模型进行训练。

在本发明的一种实施例中，图像样本训练数据获取子模块可以包括如下单元：

标定数据获取单元，用于获取几何方格标定板的标定数据；

像素坐标确定单元，用于采用所述几何方格标定板的标定数据调用针对方格角点的提取函数，获取所拍摄的图像在几何方格标定板中各个方格角点的像素坐标的像素坐标。

在本发明的一种实施例中，图像样本训练数据获取子模块可以包括如下单元：

空间坐标系建立单元，用于以车辆后轴中心在地面的投影点作为原点，建立空间坐标系；

空间坐标确定单元，用于获取几何方格标定板中第一个方格角点在空间坐标系下的空间坐标，基于所述第一个方格角点的空间坐标推算得到几何方格标定板中各个方格角点的空间坐标；

空间角度关系确定单元，用于采用空间坐标系与所述摄像头的摄像头坐标系间的转换公式，与几何方格标定板中各个方格角点的空间坐标，计算得到针对各个方格角点在摄像头坐标系下的空间角度关系。

在本发明的一种实施例中，还可以包括如下模块：

标定模型测试模块，用于在对所述标定模型进行训练之后，对训练后得到的标定模型进行测试。

在本发明的一种实施例中，标定模型测试模块可以包括如下子模块：

图像样本测试数据获取子模块，用于获取所拍摄的图像样本测试数据中各个方格角点的像素坐标，以及获取图像样本测试数据中各个方格角点在摄像头坐标系下的空间角度关系；

标定模型测试子模块，用于将所述图像样本测试数据中各个方格角点的像素坐标作为所述标定模型的第二输入项，并将所述图像样本测试数据中各个方格角点在摄像头坐标系下的空间角度关系作为第二输出项，以及采用所述第二输入项与所述第二输出项输入至进行训练后的标定模型，对训练后的标定模型进行测试。

在本发明的一种实施例中，标定模型测试子模块可以包括如下单元：

拟合结果输出单元，用于采用所述第二输入项与所述第二输出项输入至进行训练后的标定模型，得到拟合结果；

空间指向获取单元，用于采用所述第二输出项求出经过所述摄像头的摄像头原点的空间直线的空间向量，以及采用所述摄像头的摄像头原点的空间直线的空间向量，解出经过不同摄像头原点的直线方程；

标定模型测试单元，用于采用所述经过所述摄像头的摄像头原点的空间直线，与所述经过不同摄像头原点的直线方程的距离中心，以判定所述图像样本测试数据中各个方格角点的像素坐标与拟合结果间的准确度，完成对训练后的标定模型进行测试。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种车辆，包括：

包括上述摄像头标定装置、处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述摄像头标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述摄像头标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种摄像头标定方法和一种摄像头标定装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种摄像头标定方法，其特征在于，所述方法包括：

获取用于标定摄像头内外参的标定模型，以及通过所述摄像头所拍摄图像的像素坐标点；其中，所述用于标定摄像头内外参的标定模型为通过每个空间点在图像的像素坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到；

根据所拍摄图像的像素坐标点以及所述用于标定摄像头内外参的标定模型，得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，以完成对摄像头的标定。

2.根据权利要求1所述的方法，其特征在于，所述根据所述所拍摄图像的像素坐标点以及所述用于标定摄像头内外参的标定模型，得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，包括：

将所拍图像的像素点输入所述标定模型，输出得到每个空间点在摄像头坐标系下的空间角度关系；

获取摄像头光心在空间坐标系中的坐标，采用所述摄像头光心在空间坐标系中的坐标对所述每个空间点在摄像头坐标系下的空间角度关系进行转化，得到每个像素点在空间坐标系中的空间点坐标。

3.根据权利要求1所述的方法，其特征在于，所述标定模型的生成过程如下：

获取所拍摄的图像样本训练数据中各个方格角点的像素坐标，以及获取图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系；

将所述图像样本训练数据中各个方格角点的像素坐标作为所述标定模型的第一输入项，并将所述图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系作为第一输出项，以及采用所述第一输入项与所述第一输出项输入至所述标定模型，对所述标定模型进行训练。

4.根据权利要求3所述的方法，其特征在于，所述获取图像样本训练数据中所拍摄图像样本数据中各个方格角点的像素坐标，包括：

获取几何方格标定板的标定数据；

采用所述几何方格标定板的标定数据调用针对方格角点的提取函数，获取所拍摄的图像在几何方格标定板中各个方格角点的像素坐标的像素坐标。

5.根据权利要要求4所述的方法，其特征在于，所述获取图像样本训练数据中各个方格角点在摄像头坐标系下的空间角度关系，包括：

以车辆后轴中心在地面的投影点作为原点，建立空间坐标系；

获取几何方格标定板中第一个方格角点在空间坐标系下的空间坐标，基于所述第一个方格角点的空间坐标推算得到几何方格标定板中各个方格角点的空间坐标；

采用空间坐标系与所述摄像头的摄像头坐标系间的转换公式，与几何方格标定板中各个方格角点的空间坐标，计算得到针对各个方格角点在摄像头坐标系下的空间角度关系。

6.根据权利要求1-5任一项所述的方法，其特征在于，在对所述标定模型进行训练之后，还包括：

获取所拍摄的图像样本测试数据中各个方格角点的像素坐标，以及获取图像样本测试数据中各个方格角点在摄像头坐标系下的空间角度关系；

将所述图像样本测试数据中各个方格角点的像素坐标作为所述标定模型的第二输入项，并将所述图像样本测试数据中各个方格角点在摄像头坐标系下的空间角度关系作为第二输出项，以及采用所述第二输入项与所述第二输出项输入至进行训练后的标定模型，对训练后的标定模型进行测试。

7.根据权利要求6所述的方法，其特征在于，采用所述第二输入项与所述第二输出项输入至进行训练后的标定模型，对训练后的标定模型进行测试，包括：

采用所述第二输入项与所述第二输出项输入至进行训练后的标定模型，得到拟合结果；

采用所述第二输出项求出经过所述摄像头的摄像头原点的空间直线的空间向量，以及采用所述摄像头的摄像头原点的空间直线的空间向量，解出经过不同摄像头原点的直线方程；

采用所述经过所述摄像头的摄像头原点的空间直线，与所述经过不同摄像头原点的直线方程的距离中心，以判定所述图像样本测试数据中各个方格角点的像素坐标与拟合结果间的准确度，完成对训练后的标定模型进行测试。

8.一种摄像头标定装置，其特征在于，所述装置包括：

标定模型获取模块，用于获取用于标定摄像头内外参的标定模型，以及通过所述摄像头所拍摄图像的像素坐标点；其中，所述用于标定摄像头内外参的标定模型为通过每个空间点在图像的像素坐标，与每个空间点在摄像头坐标系下的空间角度关系进行拟合得到；

摄像头标定模块，用于根据所拍摄图像的像素坐标点以及所述用于标定摄像头内外参的标定模型，得到所拍摄图像的每个像素点在空间坐标系中的空间点坐标，以完成对摄像头的标定。

9.一种车辆，其特征在于，包括：如权利要求8所述摄像头标定装置、处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述摄像头标定方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述摄像头标定方法的步骤。

Images