CN107657643B - 一种基于空间平面约束的视差计算方法 - Google Patents

Abstract

本发明公开了一种基于空间平面约束的视差计算方法。它包括相机标定，平面标定，视差计算三个部分，其中，相机标定采用张氏标定法得到相机的内外参数及反投影矩阵；平面标定采用棋盘格采集平面点集，最后通过最小二乘法拟合得到平面方程；视差计算过程需要结合反投影矩阵和平面方程，在已标定好的双目系统基础上，最终通过空间平面约束关系计算得到任意一副校正图像上的任意点与另一幅校正图像上对应点之间的视差。传统的双目模型相比，本发明增加了空间平面约束，在进行一次双目标定后，可仅使用其中一个单目相机直接计算出该空间平面上的空间坐标点在双目校正图像上的视差，以及空间点在该平面上的空间坐标。

Description

一种基于空间平面约束的视差计算方法

技术领域

本发明涉及一种基于空间平面约束的视差计算方法，特别是一种基于空间平面约束及双目视觉模型的，并最终利用单目图像上特征点计算处于该立体平面上对应空间点在校正图像中视差的方法。

背景技术

目前在码头堆场集疏运作业环节，大多数仍采用人工对位方式装卸，需要卡车司机和轨道吊司机配合进行集装箱装卸作业，所以这一过程通常需要通过专人指挥，导致陆侧作业效率低下。

为解决上述问题，一些学者提出了基于机器视觉的解决方案：发明专利(公开号：CN101096262A，名称：集装箱起重机的集卡车对位系统和方法)利用模板匹配比对摄像机拍摄集装箱卡车图像与起重机吊具轮廓，粗定位到卡车，再利用激光扫描精确定位，该方案涉及多个环节，费时且成本高；论文：(基于双目视觉的集装箱自动识别定位系统的设计[J].机械,2015(1):7-10)中提到利用双目视觉技术采集锁孔图像，并对锁孔位置做双目匹配以定位集装箱的设计，但并未提到如何匹配左侧和右侧图像中锁孔的问题。

发明内容

针对上述问题，本发明的目的在于提供一种基于空间平面约束的视差计算方法，它在双目模型的基础上提出了基于空间平面约束的视差计算方法，在对场地进行一次标定之后可以利用单幅校正图片计算左侧和右侧校正图像中匹配点间的视差，从而达到修正匹配模型，甚至理论上能够仅使用单目相机计算空间点的位置。

所述的一种基于空间平面约束的视差计算方法，其特征在于包括相机标定，平面标定，视差计算三个部分，所述相机标定采用张氏标定法得到相机的内外参数及反投影矩阵；平面标定采用棋盘格采集平面点集，再通过最小二乘法拟合得到平面方程；视差计算过程需要结合反投影矩阵和平面方程，在已标定好的双目系统基础上，最终通过空间平面约束关系计算得到任意一副校正图像上的任意点与另一幅校正图像上对应点之间的视差。

所述的一种基于空间平面约束的视差计算方法，其特征在于具体包括如下步骤：

步骤1：采用张氏标定法对双目相机进行标定，计算得到相机内外参数、畸变参数和反投影矩阵Q，其中反投影矩阵如公式(1)所示；

其中c_x，c_y分别表示左侧图像中心位置的平移x，y分量，k表示左摄像机投影中心到右摄像机投影中心的平移分量的X分量的倒数，q表示左侧和右侧图像中心距离的倒数，f表示焦距；

步骤2：计算双目图像的转换矩阵，将步骤1计算得到的相机内外参数以及畸变参数带入openCV中的initUndistort-RectifyMap函数，计算得到两幅图像对应的转换矩阵map1和map2；

步骤3：计算校正图像中棋盘格点阵的空间坐标，得到空间点集P；

步骤4：记平面方程为Z＝aX+bY+c，利用近似点集P求解平面方程中参数[a,b,c]，使其同时满足式(3)和(4)：

且且

式中S表示平面方程计算点与实际点之间的方差，a，b，c表示平面方程中的系数，分别表示S关于a，b，c的偏导；

步骤5：根据左侧校正图像或右侧校正图像上的任意特征点，计算得到平面Π上其对应的空间点坐标，具体步骤如下：

步骤5.1：若已知左侧校正图像中的一个特征点N(x_l,y_l)，根据式(5)解得特征点的视差d_l：

式中f，k，q，c_x，c_y来自反投影矩阵Q，a，b，c来自空间平面方程，x_l，y_l为特征点在左侧校正图像上的像素坐标，未知量为视差d_l；

步骤5.2：若已知右侧校正图像中的一个特征点N(x_r,y_r)，则左侧校正图像特征点可设为(x_r+d_r,y_r)，根据式(6)可以解得视差d_r：

式中f，k，q，cx，cy来自反投影矩阵Q，a，b，c来自空间平面方程，x_r，y_r为特征点在右侧校正图像上的像素坐标，未知量为视差d_r；

步骤5.3：将kd+q的值、反投影矩阵Q中参数c_x，c_y，f，以及特征点在图像上的坐标(x_l,y_l)或(x_r+d_r,y_r)代入式(3)即求得该点的空间点坐标(X,Y,Z)。

所述的一种基于空间平面约束的视差计算方法，其特征在于步骤3中的计算校正图像中棋盘格点阵的空间坐标，校正图像为计算过的双目图像，具体计算步骤如下：

步骤3.1：对平面进行标定，将用于标定的棋盘格紧贴于平面之上，使用双目相机拍摄棋盘格得到左侧原图像和右侧原图像，分别将左侧原图像和右侧原图像代入Opencv自带的remap函数，计算得到左侧校正图像和右侧校正图像；

步骤3.2：使用openCV棋盘格角点检测函数findChessboardCorners检测步骤3.1得到的左侧校正图像和右侧校正图像，得到左侧和右侧匹配的角点集合U；

步骤3.3：根据公式(2)对U进行计算，得到空间点集P＝{p_i＝(x_i,y_i,z_i)|i＝0...n-1,(n≥3)}，其中n表示U中角点个数，p_i表示点集P中第i个空间点；

式中(X_i,Y_i,Z_i)表示p_i的空间坐标，c_x，c_y，f，k，q来自反投影矩阵Q。

本发明的有益效果为：与传统的双目模型相比，本发明增加了空间平面约束，在进行一次双目标定后，可仅使用其中一个单目相机直接计算出该空间平面上的空间坐标点在双目校正图像上的视差，以及空间点在该平面上的空间坐标。

附图说明

图1：根据步骤3.1得到的棋盘格点阵角点标定并匹配的结果图；

图2：根据步骤5得到的视差计算结果图。

具体实施方式

下面结合实施例来详细阐述一种基于空间平面约束的视差计算模型的具体实施方式。

本发明的一种基于空间平面约束的视差计算方法，包括相机标定，平面标定，视差计算三个部分，其中，相机标定采用张氏标定法得到相机的内外参数及反投影矩阵；平面标定采用棋盘格采集平面点集，最后通过最小二乘法拟合得到平面方程；视差计算过程需要结合反投影矩阵和平面方程，在已标定好的双目系统基础上，最终通过空间平面约束关系计算得到任意一副校正图像上的任意点与另一幅校正图像上对应点之间的视差；具体包括如下步骤：

步骤1：采用张氏标定法对双目相机进行标定，计算得到相机内外参数、畸变参数和反投影矩阵Q，其中反投影矩阵如下所示；

其中c_x，c_y分别表示左侧图像中心位置的平移x，y分量，k表示左摄像机投影中心到右摄像机投影中心的平移分量的X分量的倒数，q表示左侧和右侧图像中心距离的倒数，f表示焦距；在本实施例中，Q的值为：

步骤2：计算双目图像的转换矩阵，将步骤1计算得到的相机内外参数以及畸变参数带入openCV中的initUndistort-RectifyMap函数，计算得到两幅图像对应的转换矩阵map1和map2；

步骤3：计算校正图像(校正图像是计算过的双目图像)中棋盘格点阵的空间坐标，具体计算步骤如下：

步骤3.1：对平面进行标定，将用于标定的棋盘格紧贴于平面之上，使用双目相机拍摄棋盘格得到左侧和右侧原图像，分别将左侧和右侧原图像代入openCV自带的remap函数，计算得到左侧和右侧校正图像；在本实施例中，棋盘格点阵角点标定并匹配的结果如图1所示；

步骤3.2：使用openCV棋盘格角点检测函数

findChessboardCorners检测步骤3.1得到的左侧和右侧校正图像，得到左侧和右侧匹配的角点集合U；

步骤3.3：根据公式(1)对U进行计算，得到空间点集

P＝{p_i(x_i,y_i,z_i)|i＝0...n-1,(n≥3)}，其中n表示U中角点个数，p_i表示点集P中第i个空间点；

式中(X_i,Y_i,Z_i)表示p_i的空间坐标，c_x，c_y，f，k，q来自反投影矩阵Q；

步骤4：记平面方程为Z＝aX+bY+c，利用近似点集P求解平面方程中参数[a,b,c]，使其同时满足式(2)、式(3)：

且且

式中S表示平面方程计算点与实际点之间的方差，a，b，c表示平面方程中的系数，分别表示S关于a，b，c的偏导；在本实施例中，平面方程参数求解结果为：

表1平面方程参数结果

步骤5：根据左侧或右侧的校正图像上的任意特征点，计算得到平面Π上其对应的空间点坐标，具体步骤如下：

步骤5.1：若已知左侧校正图像中的一个特征点N(x_l,y_l)，根据式(4)可解得特征点的视差d_l：

式中f，k，q，cx，cy来自反投影矩阵Q，a，b，c来自空间平面方程，x_l，y_l为特征点在左侧校正图像上的像素坐标，未知量为视差d_l；

步骤5.2：若已知右侧校正图像中的一个特征点N(x_r,y_r)，则左侧校正图像特征点可设为(x_r+d_r,y_r)，根据式(5)可以解得视差d_r：

式中f，k，q，cx，cy来自反投影矩阵Q，a，b，c来自空间平面方程，x_r，y_r为特征点在右侧校正图像上的像素坐标，未知量为视差d_r；在本实施例中，视差计算结果如图2所示，其中左侧红色点为标定特征点，右侧黄色点为计算视差后得到的对应特征点；

步骤5.3：将kd+q的值、反投影矩阵Q中参数c_x，c_y，f，以及特征点在图像上的坐标(x_l,y_l)或(x_r+d_r,y_r)代入式(2)即可求得该点的空间点坐标(X,Y,Z)。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种基于空间平面约束的视差计算方法，包括相机标定，平面标定，视差计算三个部分，所述相机标定采用张氏标定法得到相机的内外参数及反投影矩阵；平面标定采用棋盘格采集平面点集，再通过最小二乘法拟合得到平面方程；视差计算过程需要结合反投影矩阵和平面方程，在已标定好的双目系统基础上，最终通过空间平面约束关系计算得到任意一副校正图像上的任意点与另一幅校正图像上对应点之间的视差，其特征在于具体包括如下步骤：

步骤1：采用张氏标定法对双目相机进行标定，计算得到相机内外参数、畸变参数和反投影矩阵Q，其中反投影矩阵如公式(1)所示；

其中c_x，c_y分别表示左侧图像中心位置的平移x，y分量，k表示左摄像机投影中心到右摄像机投影中心的平移分量的X分量的倒数，q表示左侧和右侧图像中心距离的倒数，f表示焦距；

步骤2：计算双目图像的转换矩阵，将步骤1计算得到的相机内外参数以及畸变参数带入openCV中的initUndistort-RectifyMap函数，计算得到两幅图像对应的转换矩阵map1和map2；

步骤3：计算校正图像中棋盘格点阵的空间坐标，得到空间点集P；

步骤4：记平面方程为Z＝aX+bY+c，利用近似点集P求解平面方程中参数[a,b,c]，使其同时满足式(3)和(4)：

式中S表示平面方程计算点与实际点之间的方差，a，b，c表示平面方程中的系数，分别表示S关于a，b，c的偏导；

步骤5：根据左侧校正图像或右侧校正图像上的任意特征点，计算得到平面Π上其对应的空间点坐标，具体步骤如下：

步骤5.1：若已知左侧校正图像中的一个特征点N(x_l,y_l)，根据式(5)解得特征点的视差d_l：

式中f，k，q，c_x，c_y来自反投影矩阵Q，a，b，c来自空间平面方程，x_l，y_l为特征点在左侧校正图像上的像素坐标，未知量为视差d_l；

步骤5.2：若已知右侧校正图像中的一个特征点N(x_r,y_r)，则左侧校正图像特征点设为(x_r+d_r,y_r)，根据式(6)解得视差d_r：

式中f，k，q，cx，cy来自反投影矩阵Q，a，b，c来自空间平面方程，x_r，y_r为特征点在右侧校正图像上的像素坐标，未知量为视差d_r；

步骤5.3：将kd+q的值、反投影矩阵Q中参数c_x，c_y，f，以及特征点在图像上的坐标(x_l,y_l)或(x_r+d_r,y_r)代入式(3)即求得该点的空间点坐标(X,Y,Z)。

2.根据权利要求1所述的一种基于空间平面约束的视差计算方法，其特征在于步骤3中的计算校正图像中棋盘格点阵的空间坐标，校正图像为计算过的双目图像，具体计算步骤如下：

步骤3.1：对平面进行标定，将用于标定的棋盘格紧贴于平面之上，使用双目相机拍摄棋盘格得到左侧原图像和右侧原图像，分别将左侧原图像和右侧原图像代入Opencv自带的remap函数，计算得到左侧校正图像和右侧校正图像；

步骤3.2：使用openCV棋盘格角点检测函数findChessboardCorners检测步骤3.1得到的左侧校正图像和右侧校正图像，得到左侧和右侧匹配的角点集合U；

步骤3.3：根据公式(2)对U进行计算，得到空间点集P＝{p_i＝(x_i,y_i,z_i)|i＝0...n-1,(n≥3)}，其中n表示U中角点个数，p_i表示点集P中第i个空间点；

式中(X_i,Y_i,Z_i)表示p_i的空间坐标，c_x，c_y，f，k，q来自反投影矩阵Q。