CN115063467B

CN115063467B - 煤矿井下高分辨率图像视差估计方法及装置

Info

Publication number: CN115063467B
Application number: CN202210944462.3A
Authority: CN
Inventors: 李和平; 张然; 程健; 杨国奇; 闫鹏鹏; 王广福
Original assignee: General Coal Research Institute Co Ltd
Current assignee: General Coal Research Institute Co Ltd
Priority date: 2022-08-08
Filing date: 2022-08-08
Publication date: 2022-11-15
Anticipated expiration: 2042-08-08
Also published as: CN115063467A

Abstract

本公开提出一种煤矿井下高分辨率图像视差估计方法及装置，涉及计算机视觉技术领域，方法包括：根据双目图像中匹配的支撑点构建三角网格，并根据三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，其中，N为大于1的整数，且第一层至第N层的三维代价地图的像素点数量递减，并依次对第N层至第一层三维代价地图进行四方向代价传播，其中，每层三维代价地图传播后的代价传递至下一层三维代价地图，以及采用WTA策略计算代价传播后的第一层三维代价地图的视差图，能够构建不同尺度的三维代价地图，并且从最小尺度到最大尺度对每层代价地图进行代价传播，因此可以减少代价传播的迭代次数、加快收敛，从而提升了视差估计效率。

Description

煤矿井下高分辨率图像视差估计方法及装置

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种煤矿井下高分辨率图像视差估计方法及装置。

背景技术

基于双目的视差估计方法与人类等哺乳动物的特性比较贴近，且成本较低，近年来受到了研究者们越来越多的关注，对于双目立体匹配算法的实时性和准确性至关重要。但是，由于难以满足速度与精度双重要求，且存在深度不连续、遮挡、弱纹理等问题，基于双目的视差估计方法具有较大的技术难度。

针对当前全局立体匹配算法效率低下以及在遮挡区域难以准确匹配的问题，全局匹配算法定义了一个全局能量代价函数。基于马尔科夫随机场(MRF)模型是目前比较流行的一种全局能量函数最小化算法，而置信度传播(BP)算法是一种基于消息传递机制的MRF最小化能量估计方法。置信传播算法利用节点与节点之间相互传递信息而更新当前整个MRF（马尔科夫随机场）的标记状态，是基于MRF的一种近似计算。该算法是一种迭代的方法，可以解决概率图模型概率推断问题，而且所有信息的传播可以并行实现。经过多次迭代后，所有节点的信度不再发生变化，就称此时每一个节点的标记即为最优标记，MRF也达到了收敛状态。然而，相关技术中的置信度传播(BP)算法在视差估计过程中需要多次迭代，由于迭代次数多，所以收敛速度慢。因此，基于置信度传播的视差估计效率亟待提升。

发明内容

本公开提出了一种煤矿井下高分辨率图像视差估计方法及装置，旨在至少在一定程度上解决相关技术中的技术问题之一。

本公开第一方面实施例提出了一种煤矿井下高分辨率图像视差估计方法，包括：根据煤矿井下双目图像中匹配的支撑点构建三角网格；根据三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，其中，N为大于1的整数，且第一层至第N层的三维代价地图的像素点数量递减；依次对第N层至第一层三维代价地图进行四方向代价传播，其中，每层三维代价地图传播后的代价传递至下一层三维代价地图；以及采用WTA策略计算代价传播后的第一层三维代价地图的视差图。

本公开第二方面实施例提出了一种煤矿井下高分辨率图像视差估计装置，包括：构建模块，用于根据煤矿井下双目图像中匹配的支撑点构建三角网格；初始化模块，用于根据三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，其中，N为大于1的整数，且第一层至第N层的三维代价地图的像素点数量递减；第一传播模块，用于依次对第N层至第一层三维代价地图进行四方向代价传播，其中，每层三维代价地图传播后的代价传递至下一层三维代价地图；以及第一确定模块，用于采用WTA策略计算代价传播后的第一层三维代价地图的视差图。

本公开第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例的煤矿井下高分辨率图像视差估计方法。

本公开第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例公开的煤矿井下高分辨率图像视差估计方法。

本实施例中，通过根据双目图像中匹配的支撑点构建三角网格，并根据三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，其中，N为大于1的整数，且第一层至第N层的三维代价地图的像素点数量递减，并依次对第N层至第一层三维代价地图进行四方向代价传播，其中，每层三维代价地图传播后的代价传递至下一层三维代价地图，以及采用WTA策略计算代价传播后的第一层三维代价地图的视差图，能够构建不同尺度的三维代价地图，并且从最小尺度到最大尺度对每层代价地图进行代价传播，因此可以减少代价传播的迭代次数、加快收敛，从而提升了视差估计效率。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本公开一实施例提供的煤矿井下高分辨率图像视差估计方法的流程示意图；

图2是根据本公开另一实施例提供的煤矿井下高分辨率图像视差估计方法的流程示意图；

图3是根据本公开另一实施例提供的煤矿井下高分辨率图像视差估计装置的示意图；

图4示出了适于用来实现本公开实施方式的示例性电子设备的框图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

需要说明的是，本实施例的煤矿井下高分辨率图像视差估计方法的执行主体可以为煤矿井下高分辨率图像视差估计装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。

图1是根据本公开一实施例提供的煤矿井下高分辨率图像视差估计方法的流程示意图，如图1所示，该方法包括：

S101：根据煤矿井下双目图像中匹配的支撑点构建三角网格。

其中，双目图像例如可以是利用双目相机在煤矿井下采集的一对图像，且双目图像可以是高分辨率图像（即，像素点密集），其包括左图像和右图像，也即是说，本实施例提供的煤矿井下高分辨率图像视差估计方法例如可以应用到煤矿井下图像的视差估计。

本公开实施例中，可以将左图像作为视差估计过程的基准图像，对应的，右图像作为参考图像，而左图像和右图像中匹配的特征点可以被称为支撑点，而本实施例可以根据支撑点在基准图像中构建Delaunay三角网格，即：三角网格化处理。一些实施例，例如可以采用ELAS算法对双目图像进行处理，以构建Delaunay三角网格。

具体地，首先使用5*5sobel滤波器求得左图像、右图像横向和纵向的滤波图片；进一步地，利用5*5的blob算子和corner算子分别提取左图像、右图像的blob和corner特征；然后，根据blob和corner特征分别计算ELAS描述向量；进一步地，根据描述向量进行特征点匹配，将左右图像中匹配的特征点作为支撑点，若支撑点数量小于3则认为该双目图像无法进行视差估计；进一步地，对这些支撑点进行三角网格化（即，构建一个或者多个Delaunay三角网格），以点集进行最小角三角网建立，即：使用点集内的所有点构建不交叉的三角集，并保证建立的三角网中每一个三角都尽量饱满，减少狭长的三角形，这样能更好地表述空间内的每一个平面。关于构建三角网格的过程，本实施例不作具体限制。

S102：根据三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，其中，N为大于1的整数，且第一层至第N层的三维代价地图的像素点数量递减。

上述构建多个Delaunay三角网格后，进一步地，本实施例可以基于每个Delaunay三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，也即是说，针对每个三角网格初始化N层三维代价地图。

其中，本实施例在视差估计过程中，可以预先设置视差搜索范围[d_min，d_max]，而视差取值（也可以称为视差值）为预设的视差搜索范围[d_min，d_max]内的整数值，其可以用d表示。每个像素点在不同视差取值d时的匹配代价可以被称为第一匹配代价。

而三维代价地图，用于描述Delaunay三角网格内部每个像素点在取不同视差值时的匹配代价（第一匹配代价），三个维度包括像素点横坐标、纵坐标以及视差，其可以用E（u，v，d_current）表示，其中，u和v表示Delaunay三角网格内部像素点的横纵坐标，d_current表示该像素点在视差d时的第一匹配代价。

而本实施例可以初始化N层三维代价地图，N为大于1的整数，例如N的取值为3，则本实施例可以初始化三层三维代价地图，包括第一层三维代价地图、第二层三维代价地图、第三层三维代价地图。其中，第一层至第N层（第三层）的三维代价地图的像素点数量依次递减，也即是说，第一层至第三层三维代价地图尺度依次减小。一些实施例中，可以将第一层三维代价地图的横、纵坐标像素点数量减半，得到第二层三维代价地图，进一步地，将第二层三维代价地图的横纵坐标像素点数量减半，得到第三层三维代价地图。从而，可以得到金字塔结构的N层三维代价地图。

S103：依次对第N层至第一层三维代价地图进行四方向代价传播，其中，每层三维代价地图传播后的代价传递至下一层三维代价地图。

其中，本实施例的四方向代价传播也可以称为四邻域代价传播，即：每个像素点向其上下左右四个相邻的像素点分别传播匹配代价，对应的，每个像素点可以收到四邻域像素点传播的代价。

本实施例可以按照从小尺度到大尺度对每层三维代价地图依次传播代价，以更新每个像素点的代价，即：首先对第三层三维代价地图进行四方向代价传播，第三层三维代价地图传播收敛后，根据初始化时每层代价地图的关系，将像素点更新后的匹配代价传递至下一层三维代价地图（第二层三维代价地图）对应位置的像素点，即：每层三维代价地图传播后的代价传递至下一层三维代价地图；进一步地，对第二层三维代价地图进行四方向代价传播，其中，由于第二层代价地图部分像素点的匹配代价为第三层代价地图传递的更新后的代价，因此在对第二层代价地图进行四方向代价传播聚合的过程中，可以直接利用部分像素点的匹配代价，因此可以减少迭代的次数，加快收敛；同理，第二层三维代价地图传播收敛后，根据初始化时每层地图的关系将更新后的匹配代价传递至第一层三维代价地图对应位置的像素点，并对第一层三维代价地图进行四方向代价传播，传播完成之后对第一层三维代价地图上每个像素点的四方向传播代价进行聚合。

S104：采用WTA策略计算代价传播后的第一层三维代价地图的视差图。

上述对第一层三维代价地图进行四方向代价传播聚合后，可以基于第一层三维代价地图确定每个像素点的视差值。其中，例如可以采用WTA策略确定Delaunay三角网格内每个像素点在匹配代价最小时的视差值，从而根据基准图像内全部像素点的视差值构建视差图。

本实施例中，通过根据双目图像中匹配的支撑点构建三角网格，并根据三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，其中，N为大于1的整数，且第一层至第N层的三维代价地图的像素点数量递减，并依次对第N层至第一层三维代价地图进行四方向代价传播，其中，每层三维代价地图传播后的代价传递至下一层三维代价地图，以及根据代价传播后的第一层三维代价地图，采用WTA策略确定视差图，能够构建不同尺度的三维代价地图，并且从最小尺度到最大尺度对每层代价地图进行代价传播，因此可以减少代价传播的迭代次数、加快收敛，从而提升了视差估计效率。

图2是根据本公开另一实施例提供的煤矿井下高分辨率图像视差估计方法的流程示意图，如图2所示，该方法包括：

S201：根据煤矿井下双目图像中匹配的支撑点构建三角网格。

S201的描述具体参见上述实施例，此处不在赘述。

S202：根据三角网格对应的平面方程系数，确定三角网格内每个像素点的第一视差系数。

本公开实施例在初始化每个Delaunay三角网格的N层三维代价地图过程中，首先基于三角网格对应的平面方程系数，确定三角网格内每个像素点的第一视差系数。

其中，第一视差系数可以表示为

，

、

为Delaunay三角网格内像素点坐标，

为Delaunay三角网格对应的平面方程系数，平面方程系数的确定方式，本实施例不作限制。

S203：根据视差取值和第一视差系数确定第二视差系数，并根据第二视差系数确定每个像素点在视差取值时的先验概率。

本实施例可以根据每个像素点的第一视差系数

以及不同的视差取值d，确定第二视差系数，第二视差系数可以用Q表示，Q=d-

。

进一步地，根据第二视差系数Q确定每个像素点在视差取值d时的先验概率，先验概率可以用

表示，

其中，

为常参数0.03，

为常参数15，

为常参数3。

S204：计算像素点在视差取值时的第二匹配代价，并根据第二匹配代价和先验概率确定第一匹配代价。

进一步地，本实施例可以计算Delaunay三角网格内每个像素点在不同视差取值d时的第二匹配代价，一些实施例，例如可以采用SAD算法计算该第二匹配代价，其可以表示为

，

其中，

表示左图像Delaunay三角网格内像素点ul处的描述子，

表示在视差取值d时右图像对应位置像素点ur的描述子，其中，描述子可以采用二进制数字串，

和

分别表示左右像素点对应描述子的值。

进一步地，根据第二匹配代价

和先验概率

确定像素点的第一匹配代价，第一匹配代价可以表示为

，

。

S205：根据每个像素点不同视差取值的第一匹配代价，初始化第一层三维代价地图。

也即是说，根据每个像素点的不同视差取值d以及对应的第一匹配代价

，初始化第一层三维代价地图E（u，v，d_current）。

一些实施例，为了提高算法精度和收敛速度，还可以对第一层三维代价地图中每个第一匹配代价进行高斯归一化处理，归一化公式例如

，其中，

为匹配代价的均值，

为匹配代价的协方差。

S206：根据第一层三维代价地图，初始化N-1层三维代价地图。

也即是说，以第一层代价地图为基础，初始化N-1层（第二层和第三层）三维代价地图，例如：首先根据初始化的第一层三维代价地图初始化第二层三维代价地图，进一步地，根据初始化后的第二层三维代价地图初始化第三层三维代价地图，依次对每层代价地图进行初始化。

其中，本实施例在初始化N-1层三维代价地图的过程中，可以使上一层三维代价地图的横坐标上像素点数量、纵坐标上像素点数量分别为下一层三维代价地图的横坐标上像素点数量、纵坐标上像素点数量的两倍，且下一层三维代价地图的像素点的匹配代价为上一层三维代价地图对应位置四个像素点的匹配代价之和。

举例而言，上一层三维代价地图例如是第一层三维代价地图，则下一层三维代价地图为第二层三维代价地图。其中，第一层三维代价地图的横坐标上像素点数量（可以理解为第一层三维代价地图的长）可以用M表示，第一层三维代价地图的纵坐标上像素点数量（可以理解为第一层三维代价地图的宽）可以用N表示，则第二层三维代价地图的横坐标上像素点数量（第二层三维代价地图的长）为M/2，第二层三维代价地图的纵坐标上像素点数量（第二层三维代价地图的宽）为N/2，也即是说，第二层三维代价地图中像素点数量为第二层三维代价地图中像素点数量的四分之一，而本实施例可以将上一层三维代价地图（第一层三维代价地图）相邻位置四个像素点与下一层三维代价地图的一个像素点对应，其可以表示为：

其中，L表示层数（即，N层三维代价地图），

表示下一层三维代价地图，

表示上一层三维代价地图，i表示上一层三维代价地图横坐标上像素点，j表示上一层三维代价地图纵坐标上像素点，并且，本实施例可以将上一层三维代价地图（第一层三维代价地图）对应位置四个像素点的匹配代价之和作为下一层三维代价地图对应像素点的匹配代价；同理，本和实施例可以以第二层三维代价地图为基础初始化第三层三维代价地图，此处不在赘述。从而，完成对N层代价地图的初始化。

从而，本实施例可以等比例的初始化N层代价地图，使得每一层代价地图都为上一层代价地图尺度的四分之一，有利于提高后续代价传播效率。

一些实施例，在初始化N层代价地图后，本实施例还可以初始化第一传播比例，第一传播比例可以用

表示，

为大于0的常数，其用于描述每层三维代价地图中的像素点在代价传播过程中的传播比例，根据第一传播比例可以调整传播代价，该第一传播比例可以根据实际应用场景灵活设定，对此不作限制。此外，本实施例考虑上下左右四个邻域方向的信息传递，且四个方向的传递代价均初始化为0。

S207：确定当前层三维代价地图中的目标像素点及目标像素点的四个邻域点。

上述初始化N层三维代价地图后，在对第N层至第一层三维代价地图进行四方向代价传播的操作中，本实施例首先确定当前层三维代价地图中的目标像素点及目标像素点的四个邻域点。

其中，当前进行代价传播的三维代价地图层可以被称为当前层三维代价地图，当前层三维代价地图例如可以是第三层三维代价地图、第二层三维代价地图以及第一层三维代价地图，对此不作限制。

而当前层三维代价地图中的任意像素点可以被作为目标像素点，而目标像素点上下左右四个邻域的像素点可以被称为邻域点。需要说明的是，对于三维代价地图边缘的像素点，可以根据像素点位置确定其邻域像素点的数量，例如：目标像素点可能存在三个邻域点、或者两个邻域点，对此不作限制。

S208：根据每个邻域点在视差取值时向目标像素点传播的代价和代价惩罚，确定邻域传播代价。

举例而言，点q例如可以作为目标像素点，点p例如是目标像素点q的一个邻域点，点p向点q点传播的代价可以表示为

，其中，s表示点p的四个邻域点（不包括q点），

表示在视差取值d时邻域点s向p的传播代价之和，

表示点p原始代价，则p点原始代价

与p点邻域点传播代价之和，作为点p向点q的传播代价。

而代价惩罚是对

到

之间代价差异的惩罚，可以用

表示，其计算公式如下：

这里，

为

深度索引，其定义为：

其中，L的取值范围为

，

和

分别为双目相机的最大采样深度和最小采样深度，并且采样深度与视差d相关。

本实施例可以根据点p向点q点传播的代价

和代价惩罚

，确定点p向点q传播的邻域传播代价，邻域传播代价可以表示为

。

S209：根据邻域传播代价更新目标像素点的代价，并将更新后的代价向上一层三维代价地图对应位置像素点传播。

也即是说，首先根据每个邻域点p（点q的邻域点）的邻域传播代价

更新目标像素点q的代价。

进一步地，根据初始化时相邻两层三维代价地图像素点关系，将更新后的代价向上一层三维代价地图对应位置像素点传播，即：第三层三维代价地图中像素点更新后的代价向第二层三维代价地图的像素点传播。其中，本实施例在初始化N层三维代价地图过程中，上一层四个像素点对应下一层一个像素点，则本实施例可以将更新后的代价传递至上一层三维代价地图对应位置的四个像素点。

S210：在N层三维代价地图四方向代价传播完成的情况下，根据第一传播比例，对第一层三维代价地图的四方向传播代价进行聚合。

举例而言，代价聚合过程可以表示为：

其中，

为第一层三维代价地图中任意像素点，点s为

的四方向邻域点，

为第一传播比例。

S211：采用WTA策略计算代价传播后的第一层三维代价地图的视差图。

S211的描述具体参见上述实施例，此处不在赘述。

一些实施例，可以采用与双目图像相邻的图像帧调整该双目图像的视差，使得双目图像视差图更加准确。

具体地，在采用WTA策略确定视差图的过程中，可以首先获取与双目图像相邻的一个或者多个图像帧，图像帧集合可以用

表示；进一步地，确定图像帧

与双目图像（例如左图像）对应位置像素点的参考代价，其中参考代价可以用

表示，

其中，

为该左图像，

为

中的图像帧，

为

中的像素点，

表示

和

上对应位置像素点

和

在视差d时匹配代价，而将图像帧集合

中的每个图像帧上与左图像上像素点

的匹配代价进行累加，可以得到该参考代价

。

进一步地，根据传播后的第一层三维代价地图和参考代价，采用WTA策略确定视差图。其中，传播后的第一层三维代价地图中像素点

的代价可以用

表示，本实施例可以采用WTA策略，根据像素点

的匹配代价

和参考代价

确定像素点

的视差，其可以表示为

。在确定其它像素点视差d后，可以生成该视差图。

另一些实施例，确定视差图之后，本实施例还可以提取双目图像中的闭合区域。

其中，本实施例的闭合区域指双目图像（例如左图像）中纹理一致的区域，其可通过跟踪边缘获得闭合区域，进一步地，针对闭合区域进行传播，可以避免纹理一致带来的匹配错误，以及空洞等问题。

举例而言，在提取闭合区域过程中，首先根据图像边缘点追踪，提取闭合区域，得到互不重叠的区域集合A，进一步地，从A中选择面积大于给定阈值条件的区域，构成集合B。针对集合B中的每一个区域，检测其是否满足传播条件：区域不包含图像边缘点、区域内部的纹理非常少。一些实施例，可以计算集合B中的每一个区域起始点坐标、长度、宽度，并适当扩大传播范围，若两个区域扩大传播后的范围产生重合，则求取包含两个相邻的扩张区域的矩形作为新的闭合区域。

进一步地，根据闭合区域中每个像素点的邻域点在视差取值时的代价存在情况，和第一传播比例，确定第二传播比例，也即是说，针对闭合区域更新传播比例。

其中，首先可以根据代价存在情况确定第三传播比例

，第三传播比例计算公式如下：

其中，s表示闭合区域中任意像素点p的四邻域中在某一视差取值d处是否存在代价，若存在代价，s(d)为1，若不存在，s(d)为0。

进一步地，根据第三传播比例

和第一传播比例

确定第二传播比例，其可以表示为

。

进一步地，根据第二传播比例，对闭合区域对应的三维代价地图进行四方向代价传播聚合。

其中，可以根据上述实施例针对闭合区域构建N层三维代价地图，进一步地，根据第二传播比例对三维代价地图进行四方向代价传播聚合，具体过程参见上述实施例的三角区域传播过程，此处不在赘述。

其中，本实施例的代价聚合过程如下：

其中，

为闭合区域中像素点

原始代价，

表示

四邻域点传播代价。

进一步地，根据闭合区域传播后的三维代价地图更新视差图，也即是说，对视差图中的闭合区域进行更新。

从而，本实施例可以针对弱纹理闭合区域的代价地图进行有针对性的比例置信度传播，解决了弱纹理处视差难以估计的问题。

此外，本实施例在在视差估计过程中还可以对精度进行计算。其中，计算视差估计的精度指标包括RMSE、MAE、iRMSE、iMAE。这里，选取雷达点深度作为正值，RMSE、MAE反映的是视差估计的精度，iRMSE、iMAE反映的是深度估计的精度。RMSE针对视差估计求取均方差来反映整体的误差分布，RMSE计算公式如下：

MAE针对视差估计求取均值反映误差，MAE计算如公式如下：

其中，

为采用煤矿井下高分辨率双目图像视差快速估计方法所得的视差，

为雷达点的三维坐标转换为视差后的值，近似为视差真值。N为带检测视差点数量，若该点在视差估计中无法获得视差，则不计入总数。

本实施例中，通过根据双目图像中匹配的支撑点构建三角网格，并根据三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，其中，N为大于1的整数，且第一层至第N层的三维代价地图的像素点数量递减，并依次对第N层至第一层三维代价地图进行四方向代价传播，其中，每层三维代价地图传播后的代价传递至下一层三维代价地图，以及根据代价传播后的第一层三维代价地图，采用WTA策略确定视差图，能够构建不同尺度的三维代价地图，并且从最小尺度到最大尺度对每层代价地图进行代价传播，因此可以减少代价传播的迭代次数、加快收敛，从而提升了视差估计效率。此外，本实施例可以针对弱纹理闭合区域的代价地图进行有针对性的比例置信度传播，解决了弱纹理处视差难以估计的问题。

表1记录了基于比例置信度传播与ELAS结合的方法与传统基于ELAS的方法的性能比较。从表1可以看出，本实施例的提供的基于比例置信度传播与ELAS结合的视差估计方法（简称：融合方法）的识别率要高于传统的基于ELAS方法，且由于代价估计过程中不是所有像素点都需要局部信息，可以填补弱纹理信息的待机地图，从而更好的估计弱纹理处的视差。从而提升整体视差估计精度。

表1

	RMSE	MAE	iRMSE	iMAE
					ELAS	3.9706	2.52838	6.46152	1.99485
融合方法	3.3559	2.10686	3.57009	1.47719

为了实现上述实施例，本公开还提出一种煤矿井下高分辨率图像视差估计装置。

图3是根据本公开另一实施例提供的煤矿井下高分辨率图像视差估计装置的示意图。

如图3所示，该煤矿井下高分辨率图像视差估计装置30，包括：

构建模块301，用于根据双目图像中匹配的支撑点构建三角网格；

初始化模块302，用于根据三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，其中，N为大于1的整数，且第一层至第N层的三维代价地图的像素点数量递减；

第一传播模块303，用于依次对第N层至第一层三维代价地图进行四方向代价传播，其中，每层三维代价地图传播后的代价传递至下一层三维代价地图；以及

第一确定模块304，用于采用WTA策略计算代价传播后的第一层三维代价地图的视差图。

一些实施例中，初始化模块302，具体用于：

根据三角网格对应的平面方程系数，确定三角网格内每个像素点的第一视差系数；

根据视差取值和第一视差系数确定第二视差系数，并根据第二视差系数确定每个像素点在视差取值时的先验概率；

计算像素点在视差取值时的第二匹配代价，并根据第二匹配代价和先验概率确定第一匹配代价；

根据每个像素点不同视差取值的第一匹配代价，初始化第一层三维代价地图；

根据第一层三维代价地图，初始化N-1层三维代价地图，其中，上一层三维代价地图的横坐标上像素点数量、纵坐标上像素点数量分别为下一层三维代价地图的横坐标上像素点数量、纵坐标上像素点数量的两倍，且下一层三维代价地图的像素点的匹配代价为上一层三维代价地图对应位置四个像素点的匹配代价之和。

一些实施例中，第一传播模块303，具体用于：

确定当前层三维代价地图中的目标像素点及目标像素点的四个邻域点；

根据每个邻域点在视差取值时向目标像素点传播的代价和代价惩罚，确定邻域传播代价；

根据邻域传播代价更新目标像素点的代价，并将更新后的代价向上一层三维代价地图对应位置像素点传播；

在N层三维代价地图四方向代价传播完成的情况下，根据第一传播比例，对第一层三维代价地图的四方向传播代价进行聚合。

一些实施例中，第一确定模块304，具体用于：

获取与双目图像相邻的图像帧；

确定图像帧与双目图像对应位置像素点的参考代价；以及

根据传播后的第一层三维代价地图和参考代价，采用WTA策略确定视差图。

一些实施例中，装置30还包括：

提取模块，用于提取双目图像中的闭合区域；

第二确定模块，用于根据闭合区域中每个像素点的邻域点在视差取值时的代价存在情况，和第一传播比例，确定第二传播比例；

第二传播模块，用于根据第二传播比例，对闭合区域对应的三维代价地图进行四方向代价传播聚合；以及

更新模块，用于根据闭合区域传播后的三维代价地图，更新视差图。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的煤矿井下高分辨率图像视差估计方法。

图4示出了适于用来实现本公开实施方式的示例性电子设备的框图。图4显示的电子设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件（包括系统存储器28和处理单元16）的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（Industry StandardArchitecture；以下简称：ISA）总线，微通道体系结构（Micro Channel Architecture；以下简称：MAC）总线，增强型ISA总线、视频电子标准协会（Video Electronics StandardsAssociation；以下简称：VESA）局域总线以及外围组件互连（Peripheral ComponentInterconnection；以下简称：PCI）总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（Random Access Memory；以下简称：RAM）30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图4未显示，通常称为“硬盘驱动器”）。

尽管图4中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如：光盘只读存储器（Compact Disc Read OnlyMemory；以下简称：CD-ROM）、数字多功能只读光盘（Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM）或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（Local Area Network；以下简称：LAN），广域网（Wide Area Network；以下简称：WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用，例如实现前述实施例中提及的煤矿井下高分辨率图像视差估计方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种煤矿井下高分辨率图像视差估计方法，其特征在于，包括：

根据煤矿井下双目图像中匹配的支撑点构建三角网格；

根据所述三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，其中，N为大于1的整数，且第一层至第N层的三维代价地图的像素点数量递减；

依次对第N层至第一层三维代价地图进行四方向代价传播，其中，每层三维代价地图传播后的代价传递至下一层三维代价地图；以及

采用WTA策略计算代价传播后的第一层三维代价地图的视差图；

所述根据所述三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，包括：

根据所述三角网格对应的平面方程系数，确定所述三角网格内每个像素点的第一视差系数；

根据所述视差取值和所述第一视差系数确定第二视差系数，并根据所述第二视差系数确定每个像素点在所述视差取值时的先验概率；

计算所述像素点在所述视差取值时的第二匹配代价，并根据所述第二匹配代价和所述先验概率确定所述第一匹配代价；

根据所述第一层三维代价地图，初始化N-1层三维代价地图，其中，上一层三维代价地图的横坐标上像素点数量、纵坐标上像素点数量分别为下一层三维代价地图的横坐标上像素点数量、纵坐标上像素点数量的两倍，且所述下一层三维代价地图的像素点的匹配代价为所述上一层三维代价地图对应位置四个像素点的匹配代价之和；

所述依次对第N层至第一层三维代价地图进行四方向代价传播，包括：

确定当前层三维代价地图中的目标像素点及所述目标像素点的四个邻域点；

根据每个所述邻域点在所述视差取值时向所述目标像素点传播的代价和代价惩罚，确定邻域传播代价；

根据所述邻域传播代价更新所述目标像素点的代价，并将更新后的代价向上一层三维代价地图对应位置像素点传播；

在所述N层三维代价地图四方向代价传播完成的情况下，根据第一传播比例，对第一层三维代价地图的四方向传播代价进行聚合。

2.如权利要求1所述的方法，其特征在于，所述采用WTA策略计算代价传播后的第一层三维代价地图的视差图，包括：

获取与所述双目图像相邻的图像帧；

确定所述图像帧与所述双目图像对应位置像素点的参考代价；以及

根据传播后的第一层三维代价地图和所述参考代价，采用WTA策略确定所述视差图。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

提取所述双目图像中的闭合区域；

根据所述闭合区域中每个像素点的邻域点在视差取值时的代价存在情况，和所述第一传播比例，确定第二传播比例；

根据所述第二传播比例，对所述闭合区域对应的三维代价地图进行四方向代价传播聚合；以及

根据所述闭合区域传播后的三维代价地图，更新所述视差图。

4.一种煤矿井下高分辨率图像视差估计装置，其特征在于，包括：

构建模块，用于根据煤矿井下双目图像中匹配的支撑点构建三角网格；

初始化模块，用于根据所述三角网格内部像素点在不同视差取值时的第一匹配代价，初始化N层三维代价地图，其中，N为大于1的整数，且第一层至第N层的三维代价地图的像素点数量递减；

第一传播模块，用于依次对第N层至第一层三维代价地图进行四方向代价传播，其中，每层三维代价地图传播后的代价传递至下一层三维代价地图；以及

第一确定模块，用于采用WTA策略计算代价传播后的第一层三维代价地图的视差图；所述初始化模块，具体用于：

所述第一传播模块，具体用于：

5.如权利要求4所述的装置，其特征在于，所述第一确定模块，具体用于：

获取与所述双目图像相邻的图像帧；

6.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-3中任一项所述的方法。