CN111768451A - 一种基于移动显示屏的大尺寸双目视觉离焦标定方法 - Google Patents

Abstract

本发明一种基于移动显示屏的大尺寸双目视觉离焦标定方法，通过缩短双目相机与两显示屏之间的距离缩小视场范围，利用相移法降低由离焦导致的特征点提取误差，利用连杆将两显示屏连接并固定的方法提供约束，进而根据双目相机之间位置不变约束、显示屏之间位置不变的约束求解相机之间以及显示屏之间的位置关系，并且根据相机成像模型建立最小化目标函数，采用LM非线性优化方法求解相机间的旋转矩阵、平移向量最优解，实现双目相机的标定，解决了在公共视场范围利用大尺寸高精度靶标进行标定过程中存在的困难，且相移条纹方法理论上能够获取任意数量特征点，标定精度高，适合在大视场环境下完成不存在公共视场的多视觉传感器系统的标定。

Description

一种基于移动显示屏的大尺寸双目视觉离焦标定方法

技术领域

本发明属于非公共视场相机标定方法、离焦图像特征点提取方法领域，具体涉及一种基于移动显示屏的大尺寸双目视觉离焦标定方法。

背景技术

视觉测量的测量空间范围广，是精密航空视觉导航、大型机械装备定位、大型构件制造与装配等先进技术领域中的重要测量手段。大尺寸双目视觉测量以其测量范围大，测量过程非接触等优势，在测量领域具有不可替代的地位。

大尺寸双目视觉离焦标定方法的研究，旨在解决大尺寸双目视觉测量系统中双目相机结构参数标定困难、标定精度不高的问题。相机标定技术作为视觉测量的核心技术，其精度直接影响测量精度，但常规相机标定方法由于受到视场范围有限、视场空间变化、靶标制作困难等诸多因素的制约，已无法满足大视场高精度的测量需求。

大视场相机标定与普通视场相机标定的理论基础相同，而大视场相机标定过程中，不可避免的问题是获取大尺寸的精密靶标变得较为困难，即使能够制作这样的靶标或构造虚拟靶标，也面临成本问题，以及难以适应相机测量空间和测量视场的变化问题，难以满足高精度需求的问题。一维靶标以其加工成本低，加工精度高等优点而得到广泛研究，但是一维靶标所含信息量少，精度会受到制约；采用小平面靶标多位置标定的方法，尽管能够灵活布置充满相机测量空间，但是各个位置之间缺乏联系与约束，不能有效描述整个测量空间的相机模型，影响标定精度，同时操作流程也往往较为复杂。在测绘领域，对于中高空工作的航空和卫星测绘相机一般在实验室内采取精密转台，平行光管或星点板的精密测角法来标定相机的内方位元素，这些方法需要精密调校平行光管的光轴和转台、相机的位姿关系，使用不够便捷。在大视场视觉测量和摄影测量领域常采用自标定方法实现摄像标定，该方法虽然布置较为灵活，但运算量较大，方程求解的鲁棒性较差，且标定精度通常无法与光学实验室校准方法相比。此外，基于非参数模型的标定方法不使用传统相机模型，而是用类似穷举的方式对相机靶面上的每个测量角度进行一一映射，虽然精度高，但工作量极为庞大。

可以通过在近距离标定相机的方法来缩小所需的靶标尺寸，但此时会出现两个问题：一是双目相机公共视场范围有限；二是相机景深有限，超出景深范围将会导致图像离焦，特征点提取精度下降。

大视场双目测量中，双目相机公共视场相对较大，标定所需靶标尺寸应尽量充满视场，因此需要更大尺寸的靶标进行标定，而大尺寸靶标制造难度大、成本高且不便于移动。相比于对焦标定，离焦标定中若使用传统方法特征点的提取精度会下降，对标定结果的影响较大。

发明内容

为解决现有技术中存在的技术问题，本发明的目的在于提供一种基于移动显示屏的大尺寸双目视觉离焦标定方法，解决大尺寸双目视觉传感器标定精度不高、标定靶标制造困难、标定过程难以移动的问题。

为实现上述目的，达到上述技术效果，本发明采用的技术方案为：

一种基于移动显示屏的大尺寸双目视觉离焦标定方法，包括以下步骤：

a、连接两台高分辨率显示屏组合为柔性靶标，且连接后两台显示屏间相对位姿不再发生变化，每台显示屏分别显示相移条纹图案；

b、移动柔性靶标或双目相机，使两台显示屏分别出现在双目相机各自视场范围内并且固定好，双目相机同步采集各自视场范围内的显示屏所显示的相移条纹图像，拍摄同一位置的多张相移图像时相机与显示屏之间相对静止；

c、提取特征点亚像素级坐标；

d、双目相机内参标定；

e、以相机间结构参数不变以及显示屏之间相对位姿不变作为约束条件计算初值，基于相机成像模型建立最小化目标函数，通过非线性优化方法得到目标函数的最优解。

步骤a中，具体步骤如下：

(1)显示屏连接

利用刚性连杆连接并锁紧两台高分辨率显示屏，根据双目相机之间位置关系对两显示屏相对位置进行调整，移动连杆过程中不会对显示屏之间相对位姿产生影响；实验前获取显示屏单个像素尺寸，以便计算特征点空间坐标；

(2)相移条纹图案设计

采用相移法编码相移条纹靶标图案，相移法编码解码公式为：

其中，Iⁱ(x,y)为点(x,y)处第i步相移图光强，N为相移步数，I′(x,y)为点(x,y)处背景光强，I”(x,y)为点(x,y)处调制光强，

为点(x,y)处相位值。

步骤c中，特征点亚像素级坐标的提取步骤为：

(1)图像采集结束后，解析图像，得到各像素点的相位值；

(2)选取多个特征点，得到其相位值，通过其相位值能够求得其在显示屏上的坐标值，结合显示屏像素尺寸即表示出其空间坐标；

(3)在选取特征点局部范围内，各像素点图像坐标与其在显示屏的坐标存在下列关系：

其中，

为该点的图像坐标，

为该点的显示屏坐标，a₁、b₁、c₁、a₂、b₂、c₂分别为拟合得到的平面系数，通过最小二乘法可求得所有平面系数，最小二乘法原理如下：

线性方程组：

其中，a_i为系数，b为常数项，x_ij为自变量，y_i为函数值，且s+1≤n。在本发明中为已知自变量和函数值，求解系数及常数项。图像坐标分别为各方程组的函数值，显示屏坐标为自变量。

设：

因此：

Xa＝y 公式七

X′Xa＝X′y 公式八

进而求得：

a＝(X′X)^-1X′y 公式九

将图像坐标及显示屏坐标代入即可求得a₁、b₁、c₁、a₂、b₂、c₂；

通过最小二乘法可求得该方程所有参数，此时将所求特征点的显示屏坐标值代入下列公式，即可求得该点的亚像素级坐标：

步骤d中，双目相机内参标定的具体步骤如下：

(1)将权利要求1中求得的特征点亚像素级坐标与实际显示屏中的特征点坐标相对应，根据其像素尺寸以及该点的相位计算得到特征点空间坐标；

(2)利用张正友标定方法求解双目相机内参。

步骤e中，具体步骤如下：

(1)根据步骤d得到的双目相机内参通过计算得到相机与各自对应的显示屏之间的位置关系，显示屏坐标系到相机的变换矩阵、相机坐标系之间变换矩阵、显示屏坐标系之间变换矩阵存在如下公式：

M_t1,c1M_t2,t1＝M_c2,c1M_t2,c2 公式十六

其中，M_t1,c1，M_t2,t1，M_c2,c1，M_t2,c2分别为显示屏1坐标系与相机1坐标系之间转换矩阵、显示屏2坐标系与显示屏1坐标系之间转换矩阵、相机2坐标系与相机1坐标系之间转换矩阵、显示屏2坐标系与相机2坐标系之间转换矩阵。

其中，R_c2,c1，T_c2,c1分别为相机2坐标系与相机1坐标系之间的旋转矩阵与平移矩阵。

其中R_t2,t1，T_t2,t1分别为显示屏2坐标系与显示屏1坐标系之间的旋转矩阵与平移矩阵。

(2)以相机间结构参数不变以及显示屏之间相对位姿不变作为约束条件结合数学方法计算出相机之间结构参数以及显示屏之间结构参数初值，

将两个不同位置拍摄的计算结果代入并联立可得：

其中，M_t2,t1，M_c2,c1分别为显示屏2坐标系与显示屏1坐标系之间转换矩阵、相机2坐标系与相机1坐标系之间转换矩阵。

其中，M_t1(i),c1，M_t2(j),c2,M_t1(j),c1，M_t2(i),c2分别为第i次采集显示屏1坐标系与相机1坐标系之间转换矩阵、第j次采集显示屏2坐标系与相机2坐标系之间转换矩阵、第j次采集显示屏1坐标系与相机1坐标系之间转换矩阵、第i次采集显示屏2坐标系与相机2坐标系之间转换矩阵。

根据AX＝B方程的解法即可计算出相机之间结构参数以及显示屏之间结构参数初值；

(3)通过最小化投影误差的方法优化求解出最终相机之间结构参数，根据摄像机模型以及空间坐标系变换关系可以得到：

s＝Z_c 公式二十四

令优化函数为：

其中，s为比例系数，Z_c为特征点在相机坐标系下Z轴坐标值，K₁，K₂为相机1与相机2对应的内参矩阵，f_1x,f_1y,u₁₀,v₁₀,f_2x,f_2y,u₂₀,v₂₀分别为相机1与相机2的内参，

在第i个拍摄位置时靶标1中第j个特征点在双目相机的相机1中通过摄像机模型计算得到的图像点坐标，

为靶标1中特征点在靶标1坐标系中三维坐标，

为在第i个拍摄位置时靶标1在相机1中通过特征点提取算法得到的第j个特征点实际图像点坐标，

为在第i个拍摄位置时靶标2中特征点在双目相机的相机2中通过摄像机模型计算得到的图像点坐标，

为靶标2中第j个特征点在靶标2坐标系中三维坐标，

为在第i个拍摄位置时靶标2在相机2中通过特征点提取算法得到的第j个特征点实际图像点坐标；利用求得的R_c2,c1、T_c2,c1、R_t2,t1、T_t2,t1作为初值代入公式利用非线性优化方法进行优化搜索即可求得其最优解。

与现有技术相比，本发明的有益效果为：

本发明公开了一种基于移动显示屏的大尺寸双目视觉离焦标定方法，利用刚性连杆连接两台高分辨率显示屏(不限于手机、平板等设备)组合为柔性靶标，两台显示屏分别显示由相移编码的相移条纹图案，且连接后两显示屏间相对位姿不再发生变化，移动柔性靶标，使两显示屏分别出现于双目摄像机视场范围内并固定，多次摆放并采集图像，要求拍摄同一位置的多张相移图像时相机与显示屏之间相对静止；提取特征点亚像素级坐标；相机内参标定；以相机间结构参数不变以及显示屏之间相对位姿不变作为约束条件对双目相机结构参数标定。本发明提供的基于移动显示屏的大尺寸双目视觉离焦标定方法，通过缩短双目相机与两台显示屏之间的距离缩小视场范围，利用相移法降低由离焦导致的特征点提取误差，利用连杆将两显示屏连接并固定的方法提供约束，进而根据双目相机之间位置不变约束、显示屏之间位置不变的约束求解相机之间以及显示屏之间的位置关系，并且根据相机成像模型建立最小化目标函数，采用LM非线性优化方法求解双目相机的相机1到相机2的旋转矩阵、平移向量最优解，即实现双目相机的标定，能够在近距离对大尺寸双目视觉测量系统进行标定，解决了过去标定双目视觉测量系统在其公共视场范围利用大尺寸高精度靶标进行标定过程中存在的困难，且相移条纹方法理论上能够获取任意数量特征点，标定精度高，无需制作与相机视场尺寸相当的大尺寸、高精度靶标，标定装置较简单、便于移动，降低了标定成本，适合在大视场环境下完成不存在公共视场的多视觉传感器系统的标定，尤其适合完成大尺寸双目视觉传感器的标定。

附图说明

图1为本发明的工作原理流程图；

图2为本发明实施例1的离焦标定方法示意图；

图3为本发明实施例1的相移条纹示意图。

具体实施方式

下面结合附图对本发明的实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1-3所示，一种基于移动显示屏的大尺寸双目视觉离焦标定方法，双目相机包括两个相机，分别记为相机1和相机2，两台显示屏分别记为显示屏1和显示屏2，在标定过程中相机1与相机2之间相对位置与姿态不变，显示屏1和显示屏2之间相对位置与姿态不变，包括以下步骤：

a、利用刚性连杆连接两台高分辨率显示屏组合为柔性靶标，两台高分辨率显示屏分别显示由相移法编码的相移条纹图案，且连接后两台显示屏之间相对位姿不再发生变化；

b、移动柔性靶标或双目相机，使两台显示屏分别出现在双目相机各自视场范围内并进行固定，多次摆放并采集图像，通过双目相机同步采集各自视场范围内的显示屏所显示的相移条纹图像，要求拍摄同一位置的多张相移图像时相机与显示屏之间相对静止；

c、提取特征点亚像素级坐标；

d、双目相机内参标定；

e、以双目相机间结构参数不变以及两台显示屏之间相对位姿不变作为约束条件计算初值，基于相机成像模型建立最小化目标函数，通过非线性优化方法得到目标函数的最优解。

步骤a中，利用刚性连杆连接两台高分辨率显示屏(不限于手机、平板等设备)，要求连接后能够根据双目相机之间位置关系对两显示屏相对位置进行调整，调整后能够进行锁紧，保证移动连杆过程中不会对显示屏之间相对位姿产生影响，且实验前应获取显示屏单个像素尺寸，以便计算特征点空间坐标。

步骤a中，根据显示屏的分辨率设计相移条纹图案，具体步骤如下：

(1)显示屏连接

利用刚性连杆连接并锁紧两台高分辨率显示屏，根据双目相机之间位置关系对两显示屏相对位置进行调整，移动连杆过程中不会对显示屏之间相对位姿产生影响；实验前获取显示屏单个像素尺寸，以便计算特征点空间坐标；

(2)相移条纹图案设计

采用相移法编码相移条纹靶标图案，相移法编码解码公式为：

其中，Iⁱ(x,y)为点(x,y)处第i步相移图光强，N为相移步数，I′(x,y)为点(x,y)处背景光强，I”(x,y)为点(x,y)处调制光强，

为点(x,y)处相位值。

步骤b中，具体步骤如下：

(1)将连接好的显示屏移动到双目相机前，调整显示屏位置使两台显示屏分别出现在双目相机视场范围内，调整显示屏角度，注意显示屏平面与相机像面角度不宜过大，锁紧显示屏；

(2)固定好显示屏及其连接装置，双目相机同时采集图像，由于相移法需要多张图像以解析像素点相位信息，因此需要保证拍摄一系列相移图像时相机与显示屏相对静止；

(3)多次摆放显示屏位置或移动双目相机，重复步骤(2)。

步骤c中，提取特征点亚像素级坐标，包括如下步骤：

(1)图像采集结束后，根据多步相移解相公式解析图像，得到相位图，得出各像素点的相位值；

(2)在上一步骤中得到的相位图中选取多个带有相位信息的特征点，得到特征点的像素级坐标以及相位值，通过其相位值能够求得其在显示屏上的坐标值，结合显示屏像素尺寸即表示出其空间坐标；

(3)将特征点局部范围内的多个像素点进行拟合，进而求得亚像素级特征点坐标；

在选取特征点局部范围内，各像素点图像坐标与其在显示屏的坐标存在下列关系：

其中，

为该点的图像坐标，

为该点的显示屏坐标；

通过最小二乘法可求得该方程所有参数，此时将所求特征点的显示屏坐标值代入下列公式，即可求得该点的亚像素级坐标：

步骤d中，双目相机内参标定的具体步骤如下：

(1)将提取后的特征点亚像素级坐标与实际显示屏中特征点相对应，根据其像素尺寸以及该点的绝对相位值计算得到特征点在靶标坐标系下的空间坐标；

(2)利用张正友标定方法分别求解相机1和相机2的内参，包括有效焦距f_x,f_y、主点位置u₀,v₀、径向畸变k₁,k₂,k₃和切向畸变p₁,p₂，采用现有方法即可，在此不做赘述。

步骤e中，以相机间结构参数不变以及显示屏之间相对位姿不变作为约束条件计算初值，基于相机成像模型建立最小化目标函数，通过非线性优化方法得到目标函数的最优解，实现步骤如下：

(1)根据步骤d得到的内参通过计算得到相机与各自对应显示屏之间位置关系；

(2)以相机间结构参数不变以及显示屏之间相对位姿不变作为约束条件结合数学方法计算出相机之间结构参数以及显示屏之间结构参数；

(3)通过最小化投影误差的方法优化求解出最终相机之间结构参数。

本发明适用于任意视场大小的双目相机标定，优势在于无需定制与视场尺寸相当的高精度靶标，创造的将离焦标定与非公共视场标定相结合并且应用于双目相机标定。

实施例1

如图1-3所示，一种基于移动显示屏的大尺寸双目视觉离焦标定方法，包括以下步骤：

a、利用刚性连杆连接两台高分辨率显示屏组合为柔性靶标，两台显示屏分别显示由相移法编码的相移条纹图像，且连接后两显示屏之间的相对位姿不再发生变化，具体包括以下步骤：

(1)显示屏连接

利用刚性杆连接两台高分辨率显示屏(不限于手机、平板等设备)，要求连接后能够根据相机之间位置关系对两显示屏相对位置进行调整，调整后能够进行锁紧，保证移动连杆过程中不会对显示屏之间相对位姿产生影响，且实验前应获取显示屏单个像素尺寸，以便计算特征点空间坐标；

(2)相移条纹图案设计

实际过程中，显示的相移条纹具有多个周期，而反正切函数会将所有相位映射至(-π,π]，此时出现了相位包裹的问题，为解决此问题，本发明采用三频四相法解决包裹相位的问题，相移法编码解码公式如下：

其中，Iⁱ(x,y)为点(x,y)处第i步相移图光强，N为相移步数，I′(x,y)为点(x,y)处背景光强，I”(x,y)为点(x,y)处调制光强，

为点(x,y)处相位值。

b、移动柔性靶标使两台显示屏分别出现在双目相机各自视场范围内并且固定好，多次摆放并采集图像，要求拍摄同一位置的多张相移图像时相机与显示屏之前相对静止，具体包括以下步骤：

(1)摆放显示屏，调整显示屏相对姿态

将连接好的显示屏移动到双目相机前，调整显示屏位置使两台显示屏分别出现在双目相机视场范围内，调整显示屏角度，注意显示屏平面与相机像面角度不宜过大，锁紧显示屏；

(2)采集标定图像

固定好显示屏及其连接装置，通过双目相机同时采集各自视场范围内的相移条纹图像，由于相移法需要多张图像以解析像素点相位信息，因此需要保证拍摄一系列相移图像时相机与显示屏相对静止；

(3)多次移动显示屏或双目相机并采集图像，完成一个位置的图像采集后，改变显示屏与相机间相对位置关系，注意显示屏之间以及相机之间的位置关系不能改变，继续采集图像，重复多次。

c、提取特征点亚像素级坐标，具体步骤如下：

(1)图像采集结束后，解析图像，得到各像素点的相位值；

(2)选取多个特征点，得到其相位值，通过其相位值能够求得其在显示屏上的坐标值，结合显示屏像素尺寸即表示出其空间坐标；

(3)在选取特征点局部范围内，各像素点图像坐标与其在显示屏坐标存在下列关系：

其中，

为该点的图像坐标，

为该点的显示屏坐标；a₁、b₁、c₁、a₂、b₂、c₂分别为拟合得到的平面系数，通过最小二乘法可求得所有平面系数；

最小二乘法原理如下：

线性方程组：

其中，a_i为系数，b为常数项，x_ij为自变量，y_i为函数值，且s+1≤n。在本发明中为已知自变量和函数值，求解系数及常数项。图像坐标分别为各方程组的函数值，显示屏坐标为自变量；

设：

因此：

Xa＝y 公式七

X′Xa＝X′y 公式八

进而求得：

a＝(X′X)^-1X′y 公式九

将图像坐标及显示屏坐标代入即可求得a₁、b₁、c₁、a₂、b₂、c₂；

通过最小二乘法可求得该公式二的所有参数，此时将所求特征点的显示屏坐标值代入下列公式，即可求得该点的亚像素级坐标：

d、相机内参标定，具体步骤如下：

(1)将提取后的特征点亚像素级坐标与实际显示屏中特征点相对应，根据其像素尺寸计算得到特征点空间坐标(X,Y,0)：

其中，

为该点对应图像坐标对应垂直方向条纹的相位值，

为该点对应图像坐标对应水平方向条纹的相位值，n_v为垂直条纹一个周期对应的像素数目，n_h为水平条纹一个周期对应的像素数目，D_v为显示屏垂直方向单个像素尺寸，D_h为显示屏水平方向单个像素尺寸；

(2)利用张正友标定方法求解相机内参，包括有效焦距f_x,f_y、主点位置u₀,v₀、径向畸变k₁,k₂,k₃和切向畸变p₁,p₂，采用现有方法即可，在此不做赘述。

e、以相机间结构参数不变以及显示屏之间相对位姿不变作为约束条件计算初值，基于相机成像模型建立最小化目标函数，通过非线性优化方法得到目标函数的最优解，具体如下：

(1)根据步骤d得到的内参通过计算得到相机与各自对应显示屏之间位置关系，相机坐标系与各自对应显示屏坐标系之间关系如下：

P_c＝R_tcP_t+T_tc 公式十二

其中，P_c,P_t分别为特征点在相机坐标系和显示屏坐标系下的坐标，R_tc,T_tc分别为显示屏坐标系到相机坐标系之间的旋转矩阵与平移矩阵；

特征点在图像中坐标与其相机坐标系下三维坐标存在如下关系：

无畸变图像特征点坐标为P_I＝[x,y]，相机坐标系下的特征点坐标为P_c＝[x_c,y_c,z_c]；

畸变图像特征点坐标与无畸变图像特征点坐标关系如下：

其中，

为实际畸变图像特征点坐标，r²＝x²+y²。利用标定所得畸变参数对特征点去畸变，接下来根据相机位姿估计的PnP问题的求解方法即可求解出显示屏坐标系与相机坐标系之间的转换关系，去畸变方法和PnP问题求解方法采用现有方法即可，在此不做赘述；

显示屏坐标系到相机的变换矩阵、相机坐标系之间变换矩阵、显示屏坐标系之间变换矩阵存在如下关系：

M_t1,c1M_t2,t1＝M_c2,c1M_t2,c2 公式十六

其中，M_t1,c1，M_t2,t1，M_c2,c1，M_t2,c2分别为显示屏1坐标系与相机1坐标系之间转换矩阵、显示屏2坐标系与显示屏1坐标系之间转换矩阵、相机2坐标系与相机1坐标系之间转换矩阵、显示屏2坐标系与相机2坐标系之间转换矩阵；

其中，R_c2,c1，T_c2,c1分别为相机2坐标系与相机1坐标系之间的旋转矩阵与平移矩阵；R_t2,t1，T_t2,t1分别为显示屏2坐标系与显示屏1坐标系之间的旋转矩阵与平移矩阵；

(2)以相机间结构参数不变以及显示屏之间相对位姿不变作为约束条件结合数学方法计算出相机之间结构参数以及显示屏之间结构参数初值，将两个不同位置拍摄的计算结果代入并联立可得公式七：

其中，M_t2,t1，M_c2,c1分别为显示屏2坐标系与显示屏1坐标系之间转换矩阵、相机2坐标系与相机1坐标系之间转换矩阵；

其中，M_t1(i),c1，M_t2(j),c2,M_t1(j),c1，M_t2(i),c2分别为第i次采集显示屏1坐标系与相机1坐标系之间转换矩阵、第j次采集显示屏2坐标系与相机2坐标系之间转换矩阵、第j次采集显示屏1坐标系与相机1坐标系之间转换矩阵、第i次采集显示屏2坐标系与相机2坐标系之间转换矩阵；

根据AX＝B方程的解法即可计算出相机之间结构参数以及显示屏之间结构参数初值；

(3)通过最小化投影误差的方法优化求解出最终相机之间结构参数；

根据摄像机模型以及空间坐标系变换关系可以得到：

s＝Z_c 公式二十四

令优化函数为：

其中，s为比例系数，Z_c为特征点在相机坐标系下Z轴坐标值，K₁，K₂为相机1与相机2对应的内参矩阵，f_1x,f_1y,u₁₀,v₁₀,f_2x,f_2y,u₂₀,v₂₀分别为相机1与相机2的内参，

为靶标1中特征点在靶标1坐标系中三维坐标，

为在第i个拍摄位置时靶标1在相机1中通过特征点提取算法得到的第j个特征点实际图像点坐标，

在第i个拍摄位置时靶标1中第j个特征点在双目相机的相机1中通过摄像机模型计算得到的图像点坐标，

为靶标2中第j个特征点在靶标2坐标系中三维坐标，

为在第i个拍摄位置时靶标2在相机2中通过特征点提取算法得到的第j个特征点实际图像点坐标，

为在第i个拍摄位置时靶标2中特征点在双目相机的相机2中通过摄像机模型计算得到的图像点坐标；

利用求得的R_c2,c1、T_c2,c1、R_t2,t1、T_t2,t1作为初值代入公式利用非线性优化方法进行优化搜索即可求得其最优解。

本发明不限定各部件的尺寸、材质、型号等，只需根据实际情况选择即可。

本发明未具体描述的部分采用现有技术，未详细描述的部件采用现有产品即可，在此不做赘述。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于移动显示屏的大尺寸双目视觉离焦标定方法，其特征在于，包括以下步骤：

a、连接两台高分辨率显示屏组合为柔性靶标，且连接后两台显示屏间相对位姿不再发生变化，每台显示屏分别显示相移条纹图案；

b、移动柔性靶标或双目相机，使两台显示屏分别出现在双目相机各自视场范围内并且固定好，双目相机分别同步采集各自视场范围内的显示屏所显示的相移条纹图像，拍摄同一位置的多张相移图像时相机与显示屏之间相对静止；

c、提取特征点亚像素级坐标；

d、双目相机内参标定；

e、以相机间结构参数不变以及显示屏之间相对位姿不变作为约束条件计算初值，基于相机成像模型建立最小化目标函数，通过非线性优化方法得到目标函数的最优解。

2.根据权利要求1所述的一种基于移动显示屏的大尺寸双目视觉离焦标定方法，其特征在于，步骤a中，具体步骤如下：

(1)显示屏连接

利用刚性连杆连接并锁紧两台高分辨率显示屏，根据双目相机之间位置关系对两显示屏相对位置进行调整，移动连杆过程中不会对显示屏之间相对位姿产生影响；实验前获取显示屏单个像素尺寸，以便计算特征点空间坐标；

(2)相移条纹图案设计

采用相移法编码相移条纹靶标图案，相移法编码解码公式为：

其中，Iⁱ(x,y)为点(x,y)处第i步相移图光强，N为相移步数，I′(x,y)为点(x,y)处背景光强，I”(x,y)为点(x,y)处调制光强，

为点(x,y)处相位值。

3.根据权利要求1所述的一种基于移动显示屏的大尺寸双目视觉离焦标定方法，其特征在于，步骤c中，特征点亚像素级坐标的提取步骤为：

(1)图像采集结束后，解析图像，得到各像素点的相位值；

(2)选取多个特征点，得到其相位值，通过其相位值能够求得其在显示屏上的坐标值，结合显示屏像素尺寸即表示出其空间坐标；

(3)在选取特征点局部范围内，各像素点图像坐标与其在显示屏的坐标存在下列关系：

通过最小二乘法可求得该方程所有参数，此时将所求特征点的显示屏坐标值代入下列公式，即可求得该点的亚像素级坐标：

其中，

为该点的图像坐标，

为该点的显示屏坐标，a₁、b₁、c₁、a₂、b₂、c₂分别为拟合得到的平面系数，通过最小二乘法可求得所有平面系数。

4.根据权利要求1所述的一种基于移动显示屏的大尺寸双目视觉离焦标定方法，其特征在于，步骤d中，双目相机内参标定的具体步骤如下：

(1)将所得特征点亚像素级坐标与实际显示屏中的特征点坐标相对应，根据其像素尺寸以及该点的相位计算得到特征点空间坐标；

(2)利用张正友标定方法求解双目相机内参。

5.根据权利要求1所述的一种基于移动显示屏的大尺寸双目视觉离焦标定方法，其特征在于，步骤e中，具体步骤如下：

(1)根据步骤d得到的双目相机内参通过计算得到相机与各自对应的显示屏之间的位置关系，显示屏坐标系到相机的变换矩阵、相机坐标系之间变换矩阵、显示屏坐标系之间变换矩阵存在如下公式：

M_t1,c1M_t2,t1＝M_c2,c1M_t2,c2 公式十六

其中，M_t1,c1，M_t2,t1，M_c2,c1，M_t2,c2分别为显示屏1坐标系与相机1坐标系之间转换矩阵、显示屏2坐标系与显示屏1坐标系之间转换矩阵、相机2坐标系与相机1坐标系之间转换矩阵、显示屏2坐标系与相机2坐标系之间转换矩阵；R_c2,c1，T_c2,c1分别为相机2坐标系与相机1坐标系之间的旋转矩阵与平移矩阵；R_t2,t1，T_t2,t1分别为显示屏2坐标系与显示屏1坐标系之间的旋转矩阵与平移矩阵；

(2)以相机间结构参数不变以及显示屏之间相对位姿不变作为约束条件结合数学方法计算出相机之间结构参数以及显示屏之间结构参数初值，

将两个不同位置拍摄的计算结果代入并联立可得：

其中，M_t1(i),c1，M_t2(j),c2,M_t1(j),c1，M_t2(i),c2分别为第i次采集显示屏1坐标系与相机1坐标系之间转换矩阵、第j次采集显示屏2坐标系与相机2坐标系之间转换矩阵、第j次采集显示屏1坐标系与相机1坐标系之间转换矩阵、第i次采集显示屏2坐标系与相机2坐标系之间转换矩阵；

根据AX＝B方程的解法即可计算出相机之间结构参数以及显示屏之间结构参数初值；

(3)通过最小化投影误差的方法优化求解出最终相机之间结构参数，根据摄像机模型以及空间坐标系变换关系可以得到：

令优化函数为：

其中，s为比例系数，K₁，K₂为双目相机的相机1与相机2对应的内参矩阵，

为靶标1中特征点在靶标1坐标系中三维坐标，

为在第i个拍摄位置时靶标1在相机1中通过特征点提取算法得到的第j个特征点实际图像点坐标，

在第i个拍摄位置时靶标1中第j个特征点在双目相机的相机1中通过摄像机模型计算得到的图像点坐标，

为靶标2中第j个特征点在靶标2坐标系中三维坐标，

为在第i个拍摄位置时靶标2在相机2中通过特征点提取算法得到的第j个特征点实际图像点坐标，

为在第i个拍摄位置时靶标2中特征点在双目相机的相机2中通过摄像机模型计算得到的图像点坐标；利用求得的R_c2,c1、T_c2,c1、R_t2,t1、T_t2,t1作为初值代入公式利用非线性优化方法进行优化搜索即可求得其最优解。

Images