CN108038886A - 双目摄像系统标定方法、装置及其汽车 - Google Patents

Abstract

本发明实施例公开了一种双目摄像系统标定方法、装置及其汽车，其中的方法包括：在显示屏中显示标定模板图像并控制标定模板图像变换空间姿态，控制左、右摄像装置分别对标定模板图像进行拍摄，获得多个采集图像；根据多个采集图像并采用张正友标定法等算法标定左、右摄像装置的参数，并根据左、右摄像装置的参数标定双目摄像系统的参数。本发明的方法、装置及其汽车，建立基于显示屏显示标定模板图像的双目标定方案，仅需对屏幕内显示的图像进行变换即可完成标定，简化了工业流水线标定的过程，采用张正友标定法能够保证标定精度；加入标定初始化程序，使标定过程在任意位置进行即可求出该摄像系统的外参数和内参数，提高了进行标定的工作效率。

Description

双目摄像系统标定方法、装置及其汽车

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种双目摄像系统标定方法、装置及其汽车。

背景技术

随着人类科学技术的不断发展和需要，摄像机的应用越来越广泛，在社会生活方面发挥极其重要的作用。例如，在汽车上安装一个摄像机，车载终端进行摄像机标定后，可以获取摄像机位姿，进而确定汽车的位置。双目摄像系统利用两个摄像机从不同角度对运动的拍摄目标进行图像采集，并在三维空间中重建该拍摄目标的三维信息，以实现检测并跟踪运动目标等。双目摄像系统的标定精度很大程度上决定了后续的双目测量精度，因此一直都是研究的重点。现有的标定技术通常是确定标定板图像，让相机在不同位置对标定板图像拍摄图像，基于拍摄的图像对双目摄像系统进行标定。标定过程中需要进行相机与标定板图像之间的位置变化操作，标定过程比较复杂，不适宜工业上大批量标定过程的要求。因此，需要一种新的对于双目摄像系统进行标定的技术方案。

发明内容

有鉴于此，本发明实施例提供一种双目摄像系统标定方法、装置及其汽车，可以标定双目摄像系统的参数。

根据本发明实施例的一个方面，提供一种双目摄像系统标定方法，包括：在显示屏中显示标定模板图像并控制所述标定模板图像变换空间姿态；控制左摄像装置和右摄像装置分别对于显示屏中显示的具有不同空间姿态的标定模板图像进行拍摄，获得多个采集图像；基于预设的单目标定算法并根据所述多个采集图像分别标定所述左摄像装置和所述右摄像装置的参数；基于预设的双目标定规则并根据所述左摄像装置和所述右摄像装置的参数标定所述双目摄像系统的参数。

可选地，所述基于预设的单目标定算法并根据所述多个采集图像分别标定所述左摄像装置和所述右摄像装置的参数包括：确定位于所述标定模板图像中的多个标定像点；获取所述多个标定像点在每个所述采集图像中的坐标值；根据所述坐标值并通过所述单目标定算法计算所述左摄像装置和所述右摄像装置的参数以及与所述采集图像对应的单应性矩阵。

可选地，所述单目标定算法包括：张正友标定算法；所述左摄像装置和所述右摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子。

可选地，控制第一左摄像装置和第一右摄像装置位于标准位置；其中，第一左摄像装置和第一右摄像装置的光心分别对准所述标定模板图像的中心并保持与所述显示屏垂直；控制第一左摄像装置和第一右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第一采集图像，并获取所述多个标定像点在所述第一采集图像中的第一坐标值；控制位于标定位置处的第二左摄像装置和第二右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第二采集图像，并获取所述多个标定像点在所述第二采集图像中第二坐标值；基于所述第一坐标值和所述第二坐标值确定单应性关系，根据所述单应性关系调整所述第二坐标以及所述多个标定像点在第二左摄像装置和第二右摄像装置获取的其它采集图像中的坐标值。

可选地，所述基于预设的双目标定规则并根据所述左摄像装置和所述右摄像装置的参数标定所述双目摄像系统的参数包括：基于单应性矩阵获得所述左摄像装置的旋转矩阵R_r、所述右摄像装置的旋转矩阵R_l；基于单应性矩阵获得所述左摄像装置的平移矩阵T_r、所述右摄像装置的平移矩阵T_l；确定所述左摄像装置和所述右摄像装置之间的旋转矩阵R和平移矩阵T分别为：

可选地，当确定左摄像装置和右摄像装置对于具有一个空间姿态的标定模板图像进行拍摄完成并获取了所述多个标定像点的坐标值时，控制所述标定模板图像变换至下一个空间姿态并进行显示。

可选地，所述标定模板图像为棋盘格图像，包括间隔排布的多个黑色格子和多个白色格子；将所述黑色格子和所述白色格子的交叉角点确定为所述标定像点。

可选地，所述在显示屏中显示标定模板图像并控制所述标定模板图像变换空间姿态包括：以所述标定模板图像的中心为原点建立坐标系；控制所述标定模板图像以所述原点为中心进行变换处理，改变所述标定模板图像的空间姿态；其中，所述变换处理包括：旋转、改变视角大小。

可选地，所述显示屏包括：LCD显示屏。

根据本发明的另一方面，提供一种双目摄像系统标定装置，包括：标定图像控制模块，用于在显示屏中显示标定模板图像并控制所述标定模板图像变换空间姿态；信息采集模块，用于控制左摄像装置和右摄像装置分别对于显示屏中显示的具有不同空间姿态的标定模板图像进行拍摄，获得多个采集图像；单目标定模块，用于基于预设的单目标定算法并根据所述多个采集图像分别标定所述左摄像装置和所述右摄像装置的参数；双目标定模块，用于基于预设的双目标定规则并根据所述左摄像装置和所述右摄像装置的参数标定所述双目摄像系统的参数。

可选地，所述单目标定模块，用于确定位于所述标定模板图像中的多个标定像点；获取所述多个标定像点在每个所述采集图像中的坐标值；根据所述坐标值并通过所述单目标定算法计算所述左摄像装置和所述右摄像装置的参数以及与所述采集图像对应的单应性矩阵。

可选地，所述单目标定算法包括：张正友标定算法；所述左摄像装置和所述右摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子。

可选地，所述信息采集模块，用于控制第一左摄像装置和第一右摄像装置位于标准位置；其中，第一左摄像装置和第一右摄像装置的光心分别对准所述标定模板图像的中心并保持与所述显示屏垂直；控制第一左摄像装置和第一右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第一采集图像；控制位于标定位置处的第二左摄像装置和第二右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第二采集图像；所述单目标定模块，用于获取所述多个标定像点在所述第一采集图像中的第一坐标值，并获取所述多个标定像点在所述第二采集图像中第二坐标值；基于所述第一坐标值和所述第二坐标值确定单应性关系，根据所述单应性关系调整所述第二坐标以及所述多个标定像点在第二左摄像装置和第二右摄像装置获取的其它采集图像中的坐标值。

可选地，所述双目标定模块，用于基于单应性矩阵获得所述左摄像装置的旋转矩阵R_r、所述右摄像装置的旋转矩阵R_l；基于单应性矩阵获得所述左摄像装置的平移矩阵T_r、所述右摄像装置的平移矩阵T_l；确定所述左摄像装置和所述右摄像装置之间的旋转矩阵R和平移矩阵T分别为：

可选地，所述标定图像控制模块，用于当确定左摄像装置和右摄像装置对于具有一个空间姿态的标定模板图像进行拍摄完成并获取了所述多个标定像点的坐标值时，控制所述标定模板图像变换至下一个空间姿态并进行显示。

可选地，所述标定模板图像为棋盘格图像，包括间隔排布的多个黑色格子和多个白色格子；所述单目标定模块，用于将所述黑色格子和所述白色格子的交叉角点确定为所述标定像点。

可选地，所述标定图像控制模块，用于以所述标定模板图像的中心为原点建立坐标系；控制所述标定模板图像以所述原点为中心进行变换处理，改变所述标定模板图像的空间姿态；其中，所述变换处理包括：旋转、改变视角大小。

可选地，所述显示屏包括：LCD显示屏。

根据本发明的又一方面，提供一种汽车，包括如上所述的双目摄像系统标定装置。

根据本发明的又一方面，提供一种双目摄像系统标定装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的双目摄像系统标定方法。

根据本发明的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现如上的双目摄像系统标定方法的步骤。

本发明的双目摄像系统标定方法、装置及其汽车，在显示屏中显示标定模板图像并控制标定模板图像变换空间姿态，控制左、右摄像装置分别对标定模板图像进行拍摄，获得多个采集图像；根据多个采集图像并采用张正友标定法等算法标定左、右摄像装置的参数，并根据左、右摄像装置的参数标定双目摄像系统的参数；建立基于显示屏显示标定模板图像的双目标定方案，仅需对屏幕内显示的图像进行变换即可完成标定，简化了工业流水线标定的过程，采用张正友标定法能够保证标定精度；加入标定初始化程序，使标定过程在任意位置进行即可求出该摄像系统的外参数和内参数，操作简捷，提高了进行标定的工作效率。

本发明实施例附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图：

图1为根据本发明的双目摄像系统标定方法的一个实施例的流程图；

图2为根据本发明的双目摄像系统标定方法的一个实施例中的进行单目系统标定的流程图；

图3A－3I为显示屏显示的多个不同变换空间姿态的标定模板图像；

图4A-4F为显示屏显示的改变视角大小用于模拟景深变化的标定模板图像；

图5为根据本发明的双目摄像系统标定装置的一个实施例的模块示意图；

图6为根据本发明的双目摄像系统标定装置的另一个实施例的模块示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

下文中的“第一”、“第二”仅用于描述上相区别，并没有其它特殊的含义。

图1为根据本发明的双目摄像系统标定方法的一个实施例的流程图，如图1所示：

步骤101，在显示屏中显示标定模板图像并控制标定模板图像变换空间姿态。显示屏包括LCD显示屏等，标定模板图像包括棋盘格图像等。步骤102，控制左、右摄像装置分别对于显示屏中显示的具有不同空间姿态的标定模板图像进行拍摄，获得多个采集图像。左、右摄像装置可以为相机、摄像头等。左、右摄像装置可以为两台摄像装置，也可以为一个摄像装置先后在左、右位置对显示屏中显示的具有不同空间姿态的标定模板图像进行拍摄。

步骤103，基于预设的单目标定算法并根据多个采集图像分别标定左摄像装置和右摄像装置的参数。

步骤104，基于预设的双目标定规则并根据左摄像装置和右摄像装置的参数标定双目摄像系统的参数。单目标定算法和双目标定规则可以有多种。

上述实施例中的双目摄像系统标定方法，仅需对显示屏显示的图像进行变换即可完成对双目摄像系统的标定，不需要以机械方式完成双目摄像系统与标定平面的相对位姿变化，简化了工业流水线对于双目摄像系统的标定过程。

在一个实施例中，基于预设的单目标定算法标定左、右摄像装置的参数可以有多种方式。图2为根据本发明的双目摄像系统标定方法的一个实施例中的进行单目系统标定的流程图，如图2所示：

步骤201，确定位于标定模板图像中的多个标定像点。

步骤202，获取多个标定像点在每个采集图像中的坐标值。

步骤203，根据坐标值并通过单目标定算法计算左摄像装置和右摄像装置的参数。单目标定算法包括张正友标定算法等。左、右摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子等。

微软研究院的张正友提出了基于移动平面模板的相机标定方法，即张正友标定算法。基于张正友标定算法对于平面模板进行标定，原理为图像上一个像素点坐标m(u,v)^T对应的标定板上一点空间坐标M(x,y,z)^T，它们的齐次坐标和有如下关系：

在1－1式中，相机的旋转矩阵和平移矩阵记为R、t，是相机外参数；s为尺度因子，A是相机的内参数矩阵。假定世界坐标系xy面与标定板平面相重合，所以z＝0，对于标定板上的像点有：

设H＝A[r₁r₂t]，称为单应性矩阵，H矩阵使与m_i相差最小，可以得出两个内参数基本约束为：

其中可以有如下定义：

由于B是对称的，则基本约束方程可以表示为：

对标定板拍摄n幅图片，得到n个方程组，组合起来为：

Vb＝0 (1－6)

矩阵V可以是2x6矩阵，即每张图片可以建立两个方程组，包含六个未知数，至少需要六个方程组，因此，至少需要三张图片才能解出所有未知数。b解出后就可以解出相机的内参矩阵A，然后可以解得每张图像的外部参数R、t。例如，如果n≥3，则可以列出6个以上的方程，从而解出一个带有比例因子的b，最终求得左、右摄像装置的内参矩阵A和与摄像图像相对应的R、t。

对于张正友标定算法的标定点选取，一般选择能均匀分布于整个图像的多个点。例如，取用了同一相机从不同角度拍摄的六幅图像，从每幅图像中取十个特征点来进行相机的标定(这十个点的世界坐标相同)。把被取的十个点的世界坐标(齐次坐标)进行转置，对单应性矩阵求解并优化，把六幅图的单应矩阵求解出来后求解出6个向量(B矩阵)，求解后得到相机的内参矩阵A。对畸变系数进行求解，得到相机坐标(Xc,Yc,Zc)，调用函数对内参和畸变系数进行优化，根据优化后的结果求解外参矩阵。

双目摄像系统需要标定的参数有摄像机内参数矩阵、畸变系数矩阵、旋转矩阵以及平移矩阵等。其中，摄像机内参数矩阵和畸变系数矩阵可以通过单目标定的方法标定出来，双目摄像系统标定和单目摄像机标定最主要的区别就是双目摄像机需要标定出左、右摄像机坐标系之间的相对关系。

对于双目系统标定中，若三维点在两个相机像素坐标系下的坐标是(X_l,Y_l)，(X_r,Y_r)，R_lT_l和R_rT_r是两个相机坐标系相对于世界坐标系的旋转平移矩阵，这个点在两个相机与世界坐标系下的关系式为：

x_l＝R_lx_w+T_l,x_r＝R_rx_w+T_r (1－7)；

将1－7中的式子进行联立，可以消去x_w，则左、右两个相机之间的旋转平移矩阵可用以下式子来计算：

例如，获取左摄像装置的旋转矩阵R_r、右摄像装置的旋转矩阵R_l；获取左摄像装置的平移矩阵T_r、右摄像装置的平移矩阵T_l；确定左摄像装置和右摄像装置之间的旋转矩阵R和平移矩阵T分别为：

在一个实施例中，显示屏相当于标定版，标定模板图像可以为通过程序生成的棋盘格图像，在显示屏中进行显示。为使标定结果更加精确，棋盘格角点数应较多，且横纵的方格数应为一奇一偶。棋盘格图像包括间隔排布的多个黑色格子和多个白色格子，可以将黑色格子和白色格子的交叉角点确定为标定像点。显示屏可以为2个，分别与左摄像装置和右摄像装置对应设置。

以标定模板图像的中心为原点建立坐标系，控制标定模板图像以原点为中心进行旋转处理，改变标定模板图像的空间姿态，如图3A至3I所示。当对相机标定的深度要求较高时，可在通过程序改变视角大小模拟景深的变化，并在显示屏中进行显示，如图4A至4F所示：

在一个实施例中，控制第一左摄像装置和第一右摄像装置位于标准位置，位于标准位置的第一左摄像装置和第一右摄像装置的光心分别对准标定模板图像的中心并保持与显示屏垂直。控制第一左摄像装置和第一右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第一采集图像，并获取多个标定像点在第一采集图像中的第一坐标值。第一空间姿态可以为未经旋转的标定模板图像。

控制位于标定位置处的第二左摄像装置和第二右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第二采集图像，并获取多个标定像点在第二采集图像中第二坐标值。基于第一坐标值和第二坐标值确定单应性关系，根据单应性关系调整第二坐标以及多个标定像点在第二左摄像装置和第二右摄像装置获取的其它采集图像中的坐标值。

在一个实施例中，单应性关系可以为单应性矩阵等。基于第一坐标值、第二坐标值分别生成第一坐标矩阵、第二坐标矩阵，根据第一坐标矩阵和第二坐标矩阵并通过图像算法的函数计算单应性矩阵，将第二采集图像以及其它采集图像中的每个像素点的图像坐标与单应性矩阵相乘。能够基于单应性关系对由于摄像装置安装误差产生的图像坐标误差进行修正，可以在不调整摄像装置的前提下，仅需要对一固定位置的标定板拍摄一幅图像，即可将摄像装置在此状态下拍摄的图像中的图像坐标修正为标准坐标值。

图像算法的函数包括：OPENCV算法的findHomography函数等。OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。OpenCV利用公式能够计算单应性矩阵，可以使用同一物体的多个图像来计算每个视场的旋转和平移，同时也计算摄像机的内参数。OpenCV提供了函数findHomography确定第一采集图像与第二采集图像之间的单应性矩阵。

以如图3A至3I所示的棋盘格图像中心为原点建立坐标系，完成相对的空间位置变化。在标定的初始化过程中，将单目相机(左摄像装置、右摄像装置)光心对准棋盘格图像中心，并保持与显示屏垂直，拍摄一幅棋盘格无旋转的主视图，如图3A所示，提取图中内角点的坐标并记录下来。

在每次的标定过程中增加上述的初始化标定环节，将未标准化摆放的相机通过对无旋转的主视图进行拍摄，获取的内角点的坐标，通过此内角点的坐标与在标准位置摆放的相机获取的内角点的坐标进行计算，得到未标准化摆放的相机与在标准位置摆放的相机之间对应的单应性关系，基于此单应性关系将后续在不同位置的相机所拍摄的角点坐标调整，恢复到正确的像素坐标上。

当确定左摄像装置和右摄像装置对于具有一个空间姿态的标定模板图像进行拍摄完成并获取了多个标定像点的坐标值时，控制标定模板图像变换至下一个空间姿态并进行显示，可以实现标定的全自动化。

在一个实施例中，本发明提供一种双目摄像系统标定装置50，包括：标定图像控制模块51、信息采集模块52、单目标定模块53和双目标定模块54。标定图像控制模块51在显示屏中显示标定模板图像并控制标定模板图像变换空间姿态，显示屏包括：LCD显示屏等。

信息采集模块52控制左摄像装置和右摄像装置分别对于显示屏中显示的具有不同空间姿态的标定模板图像进行拍摄，获得多个采集图像。单目标定模块53基于预设的单目标定算法并根据多个采集图像分别标定左摄像装置和右摄像装置的参数。双目标定模块54基于预设的双目标定规则并根据左摄像装置和右摄像装置的参数标定双目摄像系统的参数。

单目标定模块53确定位于标定模板图像中的多个标定像点，获取多个标定像点在每个采集图像中的坐标值，根据坐标值并通过单目标定算法计算左摄像装置和右摄像装置的参数。单目标定算法包括张正友标定算法等。左摄像装置和右摄像装置的参数包括内参数矩阵、旋转矩阵、平移矩阵、缩放因子等。

信息采集模块52控制第一左摄像装置和第一右摄像装置位于标准位置。其中，第一左摄像装置和第一右摄像装置的光心分别对准标定模板图像的中心并保持与显示屏垂直。信息采集模块52控制第一左摄像装置和第一右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第一采集图像。信息采集模块52控制位于标定位置处的第二左摄像装置和第二右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第二采集图像。

单目标定模块53获取多个标定像点在第一采集图像中的第一坐标值，并获取多个标定像点在第二采集图像中第二坐标值。单目标定模块53基于第一坐标值和第二坐标值确定单应性关系，根据单应性关系调整第二坐标以及多个标定像点在第二左摄像装置和第二右摄像装置获取的其它采集图像中的坐标值。

双目标定模块54获取左摄像装置的旋转矩阵R_r、右摄像装置的旋转矩阵R_l，获取左摄像装置的平移矩阵T_r、右摄像装置的平移矩阵T_l，确定左摄像装置和右摄像装置之间的旋转矩阵R和平移矩阵T为：

标定图像控制模块51当确定左摄像装置和右摄像装置对于具有一个空间姿态的标定模板图像进行拍摄完成并获取了多个标定像点的坐标值时，控制标定模板图像变换至下一个空间姿态并进行显示。

标定模板图像可以为棋盘格图像，包括间隔排布的多个黑色格子和多个白色格子。单目标定模块53将黑色格子和白色格子的交叉角点确定为标定像点。标定图像控制模块51以标定模板图像的中心为原点建立坐标系，控制标定模板图像以原点为中心进行变换处理，改变标定模板图像的空间姿态，其中，变换处理包括旋转、改变视角大小等。

在一个实施例中，本发明提供一种汽车，包括如上的双目摄像系统标定装置。

在一个实施例中，如图6所示，提供一种双目摄像系统标定装置，该装置可包括存储器61和处理器62，存储器61用于存储指令，处理器62耦合到存储器61，处理器62被配置为基于存储器61存储的指令执行实现上述的双目摄像系统标定方法。

存储器61可以为高速RAM存储器、非易失性存储器(non-volatile memory)等，存储器61也可以是存储器阵列。存储器61还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器62可以为中央处理器CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明的双目摄像系统标定方法的一个或多个集成电路。

在一个实施例中，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一个实施例中的双目摄像系统标定方法。

上述实施例提供的双目摄像系统标定方法、装置及其汽车，在显示屏中显示标定模板图像并控制标定模板图像变换空间姿态，控制左、右摄像装置分别对标定模板图像进行拍摄，获得多个采集图像；根据多个采集图像并采用张正友标定法等算法标定左、右摄像装置的参数，并根据左、右摄像装置的参数标定双目摄像系统的参数；建立基于显示屏显示标定模板图像的双目标定方案，仅需对屏幕内显示的图像进行变换即可完成标定，简化了工业流水线标定的过程，采用张正友标定法能够保证标定精度；加入标定初始化程序，使标定过程在任意位置进行即可求出该摄像系统的外参数和内参数，操作简捷，提高了进行标定的工作效率，可应用于各种车辆。

可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

本发明的实施例提供了A1、一种双目摄像系统标定方法，其中，包括：在显示屏中显示标定模板图像并控制所述标定模板图像变换空间姿态；控制左摄像装置和右摄像装置分别对于显示屏中显示的具有不同空间姿态的标定模板图像进行拍摄，获得多个采集图像；基于预设的单目标定算法并根据所述多个采集图像分别标定所述左摄像装置和所述右摄像装置的参数；基于预设的双目标定规则并根据所述左摄像装置和所述右摄像装置的参数标定所述双目摄像系统的参数。

A2、如A1所述的方法，其中，所述基于预设的单目标定算法并根据所述多个采集图像分别标定所述左摄像装置和所述右摄像装置的参数包括：确定位于所述标定模板图像中的多个标定像点；获取所述多个标定像点在每个所述采集图像中的坐标值；根据所述坐标值并通过所述单目标定算法计算所述左摄像装置和所述右摄像装置的参数以及与所述采集图像对应的单应性矩阵。

A3、如A2所述的方法，其中，所述单目标定算法包括：张正友标定算法；所述左摄像装置和所述右摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子。

A4、如A2所述的方法，其中，还包括：控制第一左摄像装置和第一右摄像装置位于标准位置；其中，第一左摄像装置和第一右摄像装置的光心分别对准所述标定模板图像的中心并保持与所述显示屏垂直；控制第一左摄像装置和第一右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第一采集图像，并获取所述多个标定像点在所述第一采集图像中的第一坐标值；控制位于标定位置处的第二左摄像装置和第二右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第二采集图像，并获取所述多个标定像点在所述第二采集图像中第二坐标值；基于所述第一坐标值和所述第二坐标值确定单应性关系，根据所述单应性关系调整所述第二坐标以及所述多个标定像点在第二左摄像装置和第二右摄像装置获取的其它采集图像中的坐标值。

A5、如A2所述的方法，其中，所述基于预设的双目标定规则并根据所述左摄像装置和所述右摄像装置的参数标定所述双目摄像系统的参数包括：基于单应性矩阵获得所述左摄像装置的旋转矩阵R_r、所述右摄像装置的旋转矩阵R_l；基于单应性矩阵获得所述左摄像装置的平移矩阵T_r、所述右摄像装置的平移矩阵T_l；

确定所述左摄像装置和所述右摄像装置之间的旋转矩阵R和平移矩阵T为：

A6、如A2所述的方法，其中，还包括：当确定左摄像装置和右摄像装置对于具有一个空间姿态的标定模板图像进行拍摄完成并获取了所述多个标定像点的坐标值时，控制所述标定模板图像变换至下一个空间姿态并进行显示。

A7、如A2所述的方法，其中，所述标定模板图像为棋盘格图像，包括间隔排布的多个黑色格子和多个白色格子；将所述黑色格子和所述白色格子的交叉角点确定为所述标定像点。

A8、如A1所述的方法，其中，所述在显示屏中显示标定模板图像并控制所述标定模板图像变换空间姿态包括：以所述标定模板图像的中心为原点建立坐标系；控制所述标定模板图像以所述原点为中心进行变换处理，改变所述标定模板图像的空间姿态；其中，所述变换处理包括：旋转、改变视角大小。

A9、如A1所述的方法，其中，所述显示屏包括：LCD显示屏。

B10、一种双目摄像系统标定装置，其中，包括：标定图像控制模块，用于在显示屏中显示标定模板图像并控制所述标定模板图像变换空间姿态；信息采集模块，用于控制左摄像装置和右摄像装置分别对于显示屏中显示的具有不同空间姿态的标定模板图像进行拍摄，获得多个采集图像；单目标定模块，用于基于预设的单目标定算法并根据所述多个采集图像分别标定所述左摄像装置和所述右摄像装置的参数；双目标定模块，用于基于预设的双目标定规则并根据所述左摄像装置和所述右摄像装置的参数标定所述双目摄像系统的参数。

B11、如B10所述的装置，其中，所述单目标定模块，用于确定位于所述标定模板图像中的多个标定像点；获取所述多个标定像点在每个所述采集图像中的坐标值；根据所述坐标值并通过所述单目标定算法计算所述左摄像装置和所述右摄像装置的参数以及与所述采集图像对应的单应性矩阵。

B12、如B11所述的装置，其中，所述单目标定算法包括：张正友标定算法；所述左摄像装置和所述右摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子。

B13、如B11所述的装置，其中，所述信息采集模块，用于控制第一左摄像装置和第一右摄像装置位于标准位置；其中，第一左摄像装置和第一右摄像装置的光心分别对准所述标定模板图像的中心并保持与所述显示屏垂直；控制第一左摄像装置和第一右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第一采集图像；控制位于标定位置处的第二左摄像装置和第二右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第二采集图像；所述单目标定模块，用于获取所述多个标定像点在所述第一采集图像中的第一坐标值，并获取所述多个标定像点在所述第二采集图像中第二坐标值；基于所述第一坐标值和所述第二坐标值确定单应性关系，根据所述单应性关系调整所述第二坐标以及所述多个标定像点在第二左摄像装置和第二右摄像装置获取的其它采集图像中的坐标值。

B14、如B11所述的装置，其中，所述双目标定模块，用于基于单应性矩阵获得所述左摄像装置的旋转矩阵R_r、所述右摄像装置的旋转矩阵R_l；基于单应性矩阵获得所述左摄像装置的平移矩阵T_r、所述右摄像装置的平移矩阵T_l；确定所述左摄像装置和所述右摄像装置之间的旋转矩阵R和平移矩阵T为：

B15、如B11所述的装置，其中，所述标定图像控制模块，用于当确定左摄像装置和右摄像装置对于具有一个空间姿态的标定模板图像进行拍摄完成并获取了所述多个标定像点的坐标值时，控制所述标定模板图像变换至下一个空间姿态并进行显示。

B16、如B11所述的装置，其中，所述标定模板图像为棋盘格图像，包括间隔排布的多个黑色格子和多个白色格子；所述单目标定模块，用于将所述黑色格子和所述白色格子的交叉角点确定为所述标定像点。

B17、如B10所述的装置，其中，所述标定图像控制模块，用于以所述标定模板图像的中心为原点建立坐标系；控制所述标定模板图像以所述原点为中心进行变换处理，改变所述标定模板图像的空间姿态；其中，所述变换处理包括：旋转、改变视角大小。

B18、如B10所述的方法，其中，所述显示屏包括：LCD显示屏。

C19、一种汽车，其中，包括如权利要求B10至B18任一项所述的双目摄像系统标定装置。

D20、一种双目摄像系统标定装置，其中，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求A1至A9中任一项所述的双目摄像系统标定方法。

E21、一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现权利要求A1至A9任意一项所述的双目摄像系统标定方法的步骤。

Claims (10)

1.一种双目摄像系统标定方法，其特征在于，包括：

在显示屏中显示标定模板图像并控制所述标定模板图像变换空间姿态；

控制左摄像装置和右摄像装置分别对于显示屏中显示的具有不同空间姿态的标定模板图像进行拍摄，获得多个采集图像；

基于预设的单目标定算法并根据所述多个采集图像分别标定所述左摄像装置和所述右摄像装置的参数；

基于预设的双目标定规则并根据所述左摄像装置和所述右摄像装置的参数标定所述双目摄像系统的参数。

2.如权利要求1所述的方法，其特征在于，所述基于预设的单目标定算法并根据所述多个采集图像分别标定所述左摄像装置和所述右摄像装置的参数包括：

确定位于所述标定模板图像中的多个标定像点；

获取所述多个标定像点在每个所述采集图像中的坐标值；

根据所述坐标值并通过所述单目标定算法计算所述左摄像装置和所述右摄像装置的参数以及与所述采集图像对应的单应性矩阵。

3.如权利要求2所述的方法，其特征在于，

所述单目标定算法包括：张正友标定算法；

所述左摄像装置和所述右摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子。

4.如权利要求2所述的方法，其特征在于，还包括：

控制第一左摄像装置和第一右摄像装置位于标准位置；其中，第一左摄像装置和第一右摄像装置的光心分别对准所述标定模板图像的中心并保持与所述显示屏垂直；

控制第一左摄像装置和第一右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第一采集图像，并获取所述多个标定像点在所述第一采集图像中的第一坐标值；

控制位于标定位置处的第二左摄像装置和第二右摄像装置分别对于具有第一空间姿态的标定模板图像进行拍摄，获得第二采集图像，并获取所述多个标定像点在所述第二采集图像中第二坐标值；

基于所述第一坐标值和所述第二坐标值确定单应性关系，根据所述单应性关系调整所述第二坐标以及所述多个标定像点在第二左摄像装置和第二右摄像装置获取的其它采集图像中的坐标值。

5.一种双目摄像系统标定装置，其特征在于，包括：

标定图像控制模块，用于在显示屏中显示标定模板图像并控制所述标定模板图像变换空间姿态；

信息采集模块，用于控制左摄像装置和右摄像装置分别对于显示屏中显示的具有不同空间姿态的标定模板图像进行拍摄，获得多个采集图像；

单目标定模块，用于基于预设的单目标定算法并根据所述多个采集图像分别标定所述左摄像装置和所述右摄像装置的参数；

双目标定模块，用于基于预设的双目标定规则并根据所述左摄像装置和所述右摄像装置的参数标定所述双目摄像系统的参数。

6.如权利要求5所述的装置，其特征在于，

所述单目标定模块，用于确定位于所述标定模板图像中的多个标定像点；获取所述多个标定像点在每个所述采集图像中的坐标值；根据所述坐标值并通过所述单目标定算法计算所述左摄像装置和所述右摄像装置的参数以及与所述采集图像对应的单应性矩阵。

7.如权利要求6所述的装置，其特征在于，

所述单目标定算法包括：张正友标定算法；

所述左摄像装置和所述右摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子。

8.一种汽车，其特征在于，

包括如权利要求5至7任一项所述的双目摄像系统标定装置。

9.一种双目摄像系统标定装置，其特征在于，包括：

存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至4中任一项所述的双目摄像系统标定方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现权利要求1至4任意一项所述的双目摄像系统标定方法的步骤。