CN109389629B - 立体匹配自适应视差等级的确定方法 - Google Patents

Abstract

立体匹配自适应视差等级的确定方法，属于机器视觉领域。现有的立体匹配方法需要人为手工设定最大视差的值和最小视差的值，或者采用稀疏点匹配的方式获得最大视差的值和最小视差的值不够准确，进而影响立体匹配的准确度。本发明方法获取双目相机图像对的初始匹配点对；通过双目立体标定方法获取双目相机的内参数、外参数以及基础矩阵，对初始匹配点对进行去燥、去错误匹配点的操作，筛选出稳定的匹配点对；计算稳定的匹配点对的视差最小值和视差最大值，得到自适应视差等级。本发明提高双目立体匹的匹配准确度，并降低人为手工设定视差造成的双目立体匹配的工作量和算法时间复杂度，增强视差信息在伪彩图上的区分度、视差图显示时的分层效果。

Description

立体匹配自适应视差等级的确定方法

技术领域

本发明涉及一种机器视觉方法，特别涉及一种自适应视差等级确定方法。

背景技术

智能化状态监测是现今电力系统中重要的一环，高效的监测保护电网设备在电力系统有着急迫的需求。为了保护电网设备，对于入侵物以及植被的监控是电网巡检中的关键，但受制于监控算法智能化的不足，现今仍是以人工监控或者实地巡检为主。随着人工智能技术的日益完善，计算机视觉技术作为人工智能的一个分支在近年也得到飞速的发展，双目立体匹配作为计算机视觉中的研究重点和应用分支是计算机获取三维信息的重要手段。在电力系统智能化过程中获取入侵物以及植被的三维信息以及电网设备的三维信息，可以对电网设备进行预警保护是非常有意义的，也是现今电网智能化监测研究的重点。

双目立体匹配依据双目相机就能给出物体的空间三维信息，它使得对电网设备的状态监测相对于人工巡检以及视频监控等需要24小时人力支援的方式在智能化程度上有着重要的提高。在双目立体匹配中需要给出视差的最小值和最大值，这样才能进行双目立体匹配算法，现有的立体匹配视差最小值和视差最大值需要手工设定，通常是将最小视差设置为零，最大视差依据经验设定，或者是通过sift等方法计算匹配点对获取最小视差和最大视差。人为设定视差可能会导致视差设置过小或过大，视差设置过小会影响匹配准确度、视差设置过大会影响算法的时间复杂度，同时多数场景的视差最小值可能是大于0，将最小视差设置为0也会将算法的处理速度变慢；基于sift等匹配算法获取的视差等级，将因匹配点对的不均匀分布所以不能稳定的捕获场景中各个位置的视差信息，导致立体匹配时精准度下降。

发明内容

本发明的目的是为了解决现有的立体匹配方法需要人为手工设定最大视差的值和最小视差的值，或者采用稀疏点匹配的方式获得最大视差的值和最小视差的值不够准确，进而影响立体匹配的准确度，而提出一种立体匹配自适应视差等级的确定方法。

一种立体匹配自适应视差等级的确定方法，所述方法通过以下步骤实现：

步骤一、获取双目相机图像对的初始匹配点对，其中，双目相机图像对是指双目相机左相机拍摄的图像和双目相机右相机拍摄的图像构成的图像对，将双目相机左相机拍摄的图像简称为左图，将双目相机右相机拍摄的图像简称为右图；具体步骤为：

首先，将双目相机图像对的左图和右图分别依据设定的采样率逐步缩小，将每一次缩小得到的图像按分辨率由小到大排列，分别得到左图和右图的图像金字塔，其中，图像金字塔中分辨率最大的图像层为原图，分辨率最小的图像层的分辨率大于32*32；

然后，在左图和右图的图像金字塔中，逐层对每一层图像层划分图像块，在划分的图像块里提取一系列种子点，利用金字塔块匹配方法在两个图像金字塔之间进行匹配，获取一部分匹配点对；

最后，在划分的图像块里生成种子点，获取另一部分匹配点对，由获取的两部分匹配点对构成双目相机图像对的初始匹配点对；

步骤二、通过双目立体标定方法获取双目相机的内参数、外参数以及基础矩阵，基于获取的双目相机的内参数、外参数以及基础矩阵对步骤一得到的初始匹配点对进行去燥、去错误匹配点的操作，筛选出稳定的匹配点对；

步骤三、对于步骤二获得的稳定的匹配点对，计算稳定的匹配点对的视差最小值和视差最大值，从而得到自适应视差等级。

本发明的有益效果为：

本发明是针对双目测量中的立体匹配这一重要环节，设计的自适应视差等级计算的算法，采用了光流法中的高效金字塔块匹配以及基础矩阵获取视差等级计算时所需的匹配点对，解决立体匹配需要设置最大视差和最下视差的问题，从而使得双目立体匹配系统在不同的场景中自适应获取精准的视差等级，进而提高双目立体匹的匹配准确度，并降低了人为手工设定视差造成的双目立体匹配的工作量和算法的时间复杂度，增强视差信息在伪彩图上的区分度、视差图显示时的分层效果。

其中，相较于人为手工设定视差来说，本发明的双目立体匹配准确度能够提高至94-97％。

本发明提出的利用特征点分布均匀的高效金字塔块匹配作为特征点匹配，结合双目标定的基础矩阵筛选特征点从而进行自适应视差等级计算的算法。该算法可加快立体匹配算法的效率，使得立体匹配算法在合适的视差范围内进行、增强了视差信息变为伪彩图时由近及远的视差区分度、自动设置的视差最大最小值相对于以前的算法在鲁棒性上得到很大的提高。

本发明基于双目立体匹配时的自动视差等级计算方法，避免了立体匹配算法进行时需要手动设置视差最大最小值的缺点，以及前人设计的自动视差等级计算不够鲁棒的缺点，使得双目系统的智能化程度更高。本发明在双目系统在固定场景时只需要初始化一次，获取的视差等级时效果很好。

附图说明

图1为本发明方法的流程图；

具体实施方式

具体实施方式一：

本实施方式的立体匹配自适应视差等级的确定方法，所述方法通过以下步骤实现：

步骤一、获取双目相机图像对的初始匹配点对，其中，双目相机图像对是指双目相机左相机拍摄的图像和双目相机右相机拍摄的图像构成的图像对，将双目相机左相机拍摄的图像简称为左图，将双目相机右相机拍摄的图像简称为右图，而双目相机左相机是指人的左眼对应的相机，双目相机右相机是指人的右眼对应的相机；具体步骤为：

首先，将双目相机图像对的左图和右图分别依据设定的采样率逐步缩小，将每一次缩小得到的图像按分辨率由小到大排列，分别得到左图和右图的图像金字塔，其中，图像金字塔中分辨率最大的图像层为原图，分辨率最小的图像层的分辨率大于32*32且小于原图的分辨率；

然后，在左图和右图的图像金字塔中，逐层对每一层图像层划分图像块，在划分的图像块里提取一系列种子点，利用高效金字塔块匹配方法在两个图像金字塔之间进行匹配，获取一部分匹配点对；

最后，在划分的图像块里生成种子点，获取另一部分匹配点对，以在双目图像对中得到分布均匀并且匹配点对很多的匹配结果，使得匹配信息包含三维场景由近及远在图像中投影的匹配结果，由获取的两部分匹配点对构成双目相机图像对的初始匹配点对；

步骤二、通过双目立体标定方法获取双目相机的内参数、外参数以及基础矩阵，基于获取的双目相机的内参数、外参数以及基础矩阵对步骤一得到的初始匹配点对进行去燥、去错误匹配点的操作，筛选出稳定的匹配点对；

步骤三、对于步骤二获得的稳定的匹配点对，计算稳定的匹配点对的视差最小值和视差最大值，从而得到自适应视差等级。

本发明的自适应视差等级计算的算法，解决立体匹配需要设置最大视差和最小视差的问题，从而使得双目立体匹配系统在不同的场景中自适应获取精准的视差等级，进而解决人为手工设定视差产生的匹配准确度低的问题，并且解决人为手工设定视差造成的双目立体匹配的工作量大和算法的时间复杂度问题，增强视差信息在伪彩图上的区分度、视差图显示时的分层效果。

具体实施方式二：

与具体实施方式一不同的是，本实施方式的立体匹配自适应视差等级的确定方法，步骤一所述的在左图和右图的图像金字塔中，逐层对每一层图像层划分图像块，在划分的图像块里提取一系列种子点，利用高效金字塔块匹配方法在两个图像金字塔之间进行匹配，获取一部分匹配点对的过程为，在双目相机图像对的图像金字塔中，从分辨率最小的图像层开始，按分辨率为4*4的正方形块逐层划分图像块，直到最大的分辨率图像层划分图像块结束，并将划分的图像块的中心点作为种子点，针对这些图像块，对于双目相机图像对的图像金字塔中的相同分辨率图像层的两个图像，利用灰度最小误差平方和方法计算左图的图像块的中心点在右图中的位移，从而得到左图图像块中心点在右图图像上的对应位置，然后匹配结果逐层传递到左图的图像金字塔的最大分辨率图像层和右图的图像金字塔的最大分辨率图像层，得到最终左图划分的种子点与右图种子点之间的匹配结果，完成匹配点对获取操作。

具体实施方式三：

与具体实施方式一或二不同的是，本实施方式的立体匹配自适应视差等级的确定方法，所述的在图像块里生成种子点，获取另一部分匹配点对，以在双目图像对中得到分布均匀并且匹配点对很多的匹配结果，使得匹配信息包含三维场景由近及远在图像中投影的匹配结果的过程为，

1)对于图像块的中心点处的种子点，图像金字塔上的相邻两个图像层的种子点满足以下关系：

式中，

代表种子点在金字塔p层左图上的坐标，

代表种子点在金字塔p层右图上的坐标，

代表种子点在p-1层的位移，λ代表上采样率；左图为双目相机左相机拍摄的图像的简称，右图为双目相机右相机拍摄的图像的简称；

2)利用16个种子点通过随机一致采样法得到3*3的单应变换矩阵：

3)当图像金字塔中分辨率最大的图像层得到种子点的匹配信息之后，对于包含16个种子点的图像块内的任意一点(x_L,x_R)，利用单应变换矩阵通过下式的变换生成另一部分匹配点，进一步提供匹配信息：

式中，x_L表示左图种子点的列坐标，x_R表示左图种子点对应的右图种子点的列坐标，y_L表示左图种子点的横坐标，y_R表示与左图种子点对应的右图种子点的横坐标。

但通过上述步骤得到的匹配信息是含噪的，包含着较多错误的匹配点的，因此需要结合先验知识进行匹配点对筛选。

具体实施方式四：

与具体实施方式三不同的是，本实施方式的立体匹配自适应视差等级的确定方法，步骤二所述的通过双目立体标定方法获取双目相机的内参数、外参数以及基础矩阵，基于获取的双目相机的内参数、外参数以及基础矩阵对步骤一得到的初始匹配点对进行去燥、去错误匹配点的操作，筛选出稳定的匹配点对的过程为，

由于双目立体匹配前会进行双目立体标定获取双目相机的内外参数以及基础矩阵等信息。双目标定中获取的基础矩阵能够给出双目相机图像对中的一个点p_l在另一幅图像上的极线L，极线是一条二维直线代表了点p_l在另一幅图中的匹配点p_r在这条直线上。对于初始经过高效金字塔匹配得到的匹配点对(p_l，p_r)，计算p_ll的极线和rp_r的距离，设置一定的阈值筛选掉距离过大的点，得到最终的匹配点对，具体为：

第一，通过双目立体标定方法获取双目相机的内参数、外参数以及基础矩阵；

第二，将步骤一得到的双目相机图像对的初始匹配点对表示为(p_l，p_r)，p_l表示双目相机左相机拍摄的图像的匹配点中的一个点，点p_r表示点p_l在双目相机右相机拍摄的图像中的匹配点；

第三，通过基础矩阵获得双目相机图像对中点p_r在在双目相机右相机拍摄的图像上的极线L，并通过下式计算点p_r到p_l的极线L的距离d：

式中，fabs表示绝对值，sqrtf表示开平方；e是点p_l在双目相机右相机拍摄的图像上的极线方程的系数，e＝Fp_l＝(e₁，e₂，e₃)；

第四，设点p_l、点p_r与基础矩阵F之间的关联表达式为：p_rTFp_l＝0；式中，p_r＝(x_r,y_r,1)和p_l＝(x_l,y_l,1)是初始匹配点的齐次坐标，T表示矩阵转置，F为大小为3*3的矩阵，e是点p_l在双目相机右相机拍摄的图像上的极线方程的系数，e＝Fp_l＝(e₁，e₂，e₃)；

第五，对于初始通过高效金字塔块匹配得到的匹配点对(p_l，p_r)，选出点p_r到p_l的极线L的距离d小于1个像素的点，得到点p_l的双目相机右相机拍摄的图像的极线上的匹配点p_r，从而筛选出稳定的匹配点对，即：

式中，fabs表示绝对值，sqrtf表示开平方。

具体实施方式五：

与具体实施方式一、二或四不同的是，本实施方式的立体匹配自适应视差等级的确定方法，步骤三所述的对于步骤二获得的稳定的匹配点对，计算稳定的匹配点对的视差最小值和视差最大值，从而得到自适应视差等级的过程为，

首先，将步骤二筛选出的稳定的匹配点对表示为

i表示匹配点对的序号，i＝1,2,3...,n，采用下式的自适应视差等级计算方法计算各匹配点对的水平方向坐标之差的最大值和最小值，将计算得到的水平方向坐标之差的最大值作为最大视差值D_max，将计算得到的水平方向坐标之差的最小值作为最小视差值D_min：

式中，

表示双目相机左相机拍摄的图像中第i个匹配点对的水平方向坐标；

表示双目相机右相机拍摄的图像中第i个匹配点对的水平方向坐标；

然后，利用计算的最大视差值D_max和最小视差值D_min，通过立体匹配算法建立合适的视差空间，从而进行立体匹配的操作。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (3)

1.一种立体匹配自适应视差等级的确定方法，其特征在于：所述方法通过以下步骤实现：

步骤一、获取双目相机图像对的初始匹配点对，其中，双目相机图像对是指双目相机左相机拍摄的图像和双目相机右相机拍摄的图像构成的图像对，将双目相机左相机拍摄的图像简称为左图，将双目相机右相机拍摄的图像简称为右图；

首先，将双目相机图像对的左图和右图分别依据设定的采样率逐步缩小，将每一次缩小得到的图像按分辨率由小到大排列，分别得到左图和右图的图像金字塔，其中，图像金字塔中分辨率最大的图像层为原图，分辨率最小的图像层的分辨率大于32*32；

然后，在左图和右图的图像金字塔中，逐层对每一层图像层划分图像块，在划分的图像块里提取一系列种子点，利用金字塔块匹配方法在两个图像金字塔之间进行匹配，获取一部分匹配点对；其具体过程为：

在双目相机图像对的图像金字塔中，从分辨率最小的图像层开始，按分辨率为4*4的正方形块逐层划分图像块，直到最大的分辨率图像层划分图像块结束，并将划分的图像块的中心点作为种子点，对图像金字塔中的相同分辨率图像层的两个图像，利用灰度最小误差平方和方法计算左图的图像块的中心点在右图中的位移，从而得到左图图像块中心点在右图图像上的对应位置，然后匹配结果逐层传递到左图的最大分辨率图像层和右图的最大分辨率图像层，得到最终左图划分的种子点与右图种子点之间的匹配结果，完成匹配点对获取操作；

最后，在划分的图像块里生成种子点，获取另一部分匹配点对，由获取的两部分匹配点对构成双目相机图像对的初始匹配点对；

步骤二、通过双目立体标定方法获取双目相机的内参数、外参数以及基础矩阵，基于获取的双目相机的内参数、外参数以及基础矩阵对步骤一得到的初始匹配点对进行去噪、去错误匹配点的操作，筛选出稳定的匹配点对；其具体过程为：

第一，通过双目立体标定方法获取双目相机的内参数、外参数以及基础矩阵；

第二，将步骤一得到的双目相机图像对的初始匹配点对表示为(p_l,p_r)，p_l表示双目相机左相机拍摄的图像的匹配点中的一个点，点p_r表示点p_l在双目相机右相机拍摄的图像中的匹配点；

第三，通过基础矩阵获得双目相机图像对中点p_r在双目相机右相机拍摄的图像上的极线L，并通过下式计算点p_r到p_l的极线L的距离d：

式中，fabs表示绝对值，sqrtf表示开平方；e是点p_l在双目相机右相机拍摄的图像上的极线方程的系数，

第四，设点p_l、点p_r与基础矩阵F之间的关联表达式为：p_r ^TFp_l＝0；式中，p_r＝(x_r,y_r,1)和p_l＝(x_l,y_l,1)是初始匹配点的齐次坐标，T表示矩阵转置，F为大小为3*3的矩阵，e是点p_l在双目相机右相机拍摄的图像上的极线方程的系数，

第五，对于初始通过高效金字塔块匹配得到的匹配点对(p_l,p_r)，选出点p_r到p_l的极线L的距离d小于1个像素的点，得到点p_l的双目相机右相机拍摄的图像的极线上的匹配点p_r，从而筛选出稳定的匹配点对，即：

式中，fabs表示绝对值，sqrtf表示开平方；

步骤三、对于步骤二获得的稳定的匹配点对，计算稳定的匹配点对的视差最小值和视差最大值，从而得到自适应视差等级。

2.根据权利要求1所述的立体匹配自适应视差等级的确定方法，其特征在于：所述的在图像块里生成种子点，获取另一部分匹配点对的过程为：

首先，对于图像块的中心点处的种子点，图像金字塔上的相邻两个图像层的种子点满足以下关系：

式中，

代表种子点在金字塔p层左图上的坐标，

代表种子点在金字塔p层右图上的坐标，

代表种子点在p-1层的位移，λ代表上采样率；左图为双目相机左相机拍摄的图像的简称，右图为双目相机右相机拍摄的图像的简称；

然后，利用16个种子点通过随机一致采样法得到3*3的单应变换矩阵：

最后，当图像金字塔中分辨率最大的图像层得到种子点的匹配信息之后，对于包含16个种子点的图像块内的任意一点(x_L,y_L)，利用单应变换矩阵通过下式的变换生成另一部分匹配点：

式中，x_L表示左图种子点的横坐标，x_R表示左图种子点对应的右图种子点的横坐标，y_L表示左图种子点的列坐标，y_R表示与左图种子点对应的右图种子点的列坐标。

3.根据权利要求1所述的立体匹配自适应视差等级的确定方法，其特征在于：步骤三所述的对于步骤二获得的稳定的匹配点对，计算稳定的匹配点对的视差最小值和视差最大值，从而得到自适应视差等级的过程为：

首先，将步骤二筛选出的稳定的匹配点对表示为

i表示匹配点对的序号，i＝1,2,3...,n，采用下式的自适应视差等级计算方法计算各匹配点对的水平方向坐标之差的最大值和最小值，将计算得到的水平方向坐标之差的最大值作为最大视差值D_max，将计算得到的水平方向坐标之差的最小值作为最小视差值D_min：

式中，

表示双目相机左相机拍摄的图像中第i个匹配点对的水平方向坐标；

表示双目相机右相机拍摄的图像中第i个匹配点对的水平方向坐标；

然后，利用计算的最大视差值D_max和最小视差值D_min，通过立体匹配算法建立视差空间，从而进行立体匹配的操作。

Images