CN109191513B - 基于全局优化的电力设备立体匹配方法 - Google Patents

Abstract

本发明实施例涉及图像处理技术领域，具体而言，涉及一种基于全局优化的电力设备立体匹配方法，该方法包括：获得第一图像和第二图像，构建初始匹配代价函数，根据初始匹配代价函数计算第一图像和第二图像的匹配代价值，构建最小生成树，采用最小生成树对匹配代价值进行代价聚集，获得代价聚集值，采用改进的树形结构动态规划方法对代价聚集值进行全局优化，获得优化代价值，根据优化代价值计算并筛选得到的多个新代价聚集值，获得第一图像和第二图像的视差图，根据视差图和筛选得到的多个新代价聚集值计算得到稠密视差图，采用该方法能够有效地提高电力设备场景下的图像的匹配精度。

Description

基于全局优化的电力设备立体匹配方法

技术领域

本发明实施例涉及图像处理技术领域，具体而言，涉及一种基于全局优化的电力设备立体匹配方法。

背景技术

电力设备的检测能够为电力运行的安全性、可靠性提供可靠保障。

在电力巡检领域，装配有高清数码摄像机和照相机的巡检机器人，可沿电网进行定位自主巡航，实时传送拍摄影像。监控人员可在电脑上同步收看与操控，实现信息化巡检，避免人工巡检时可能发生的安全事故。而基于双目立体视觉的立体匹配算法，巡检机器人可有效地完成变电站设备自主巡检任务，防止巡检机器人与电力设备间发生碰撞事故，提高了巡检效率。

双目视觉技术是计算机视觉技术的一个重要分支，它模仿人类双眼获取环境信息，利用两台摄像机从不同位置拍摄同一物体，然后获取二维数字图像，并利用几何原理对采集到的图像进行处理，获取三维信息，从而使计算机具有认知三维世界的能力。依靠立体匹配得到的深度信息，可计算出物体的三维坐标，实现障碍物的检测，指导定位导航，同时也可以对电力设备故障区域进行面积估计，实现预警功能。但是现有技术在对采集到的图像进行处理时，难以保证匹配精度。

发明内容

有鉴于此，本发明提供了一种基于全局优化的电力设备立体匹配方法。

本发明实施例提供了一种基于全局优化的电力设备立体匹配方法，包括：

获得第一图像和第二图像，所述第一图像中包括多个第一像素点，所述第二图像中包括多个第二像素点，各所述第一像素点与各所述第二像素点匹配；

根据零均值归一化互相关方法和Census变换构建初始匹配代价函数，针对各所述第一像素点，根据所述初始匹配代价函数计算该第一像素点与该第一像素点对应的第二像素点的匹配代价值；

根据所述第一图像和所述第二图像构建最小生成树，采用所述最小生成树对所述匹配代价值进行代价聚集，获得代价聚集值；

采用改进的树形结构动态规划方法对所述代价聚集值进行全局优化，获得优化代价值；

根据所述优化代价值，采用赢者通吃策略获得所述第一图像和所述第二图像的条件视差值，根据所述条件视差值计算该第一像素点以及该第一像素点对应的第二像素点的新代价聚集值，根据所述新代价聚集值判断该第一像素点以及该第一像素点对应的第二像素点是否为稳定点，若为稳定点，获取该稳定点的新代价聚集值，采用所述赢者通吃策略对获取到的所有新代价聚集值进行筛选，获得筛选得到的多个新代价聚集值；

获得所述第一图像和所述第二图像的视差图，根据所述视差图和筛选得到的多个新代价聚集值计算得到稠密视差图。

可选地，所述初始匹配代价函数为：

C(p,d)＝Z(p,d)+H(p,d)

其中，

C(p,d)为第一像素点p在视差值为d时的匹配代价值，

Z(p,d)为第一像素点p在视差值为d时的零均值归一化值，

H(p,d)为第一像素点p在视差值为d时的汉明距离。

可选地，零均值归一化值Z(p,d)通过以下公式计算得到：

其中，

表示第一图像和第二图像中像素点之间的协方差值，

和

分别代表第一图像和第二图像中像素点的方差值。

可选地，第一图像和第二图像中像素点之间的协方差值

通过以下公式计算得到：

其中，

N_p表示以点p为中心像素点的大小为5*5的窗口，

和

分别表示第一图像中第一像素点q和对应的第二像素点q_d在RGB通道中通道c的像素值，

和

分别代表在大小为N的窗口中，p和p_d在通道c的像素平均值。

可选地，第一图像中像素点的方差值

通过以下公式计算得到：

可选地，第二图像中像素点的方差值

通过以下公式计算得到：

可选地，所述代价聚集值为

采用所述最小生成树对所述匹配代价值进行代价聚集，获得代价聚集值的步骤，包括：

采用代价聚集值计算公式计算获得代价聚集值，所述代价聚集值计算公式为：

其中，

S(p,q)为第一像素点p和第一像素点q之间的相似值，

C_d(q)为第一像素点q在视差值为d时的匹配代价值；I为多个第一像素点组成的集合。

可选地，第一像素点p和第一像素点q之间的相似值S(p,q)通过以下方式计算得到：

其中，D(p,q)为第一像素点p和第一像素点q之间的距离，σ为常数。

可选地，所述优化代价值为C′_r(p,d)，采用改进的树形结构动态规划方法对所述代价聚集值进行全局优化，获得优化代价值的步骤，包括：

根据设定扫描路径，采用优化公式对所述代价聚集值进行全局优化，获得优化代价值，所述优化公式为：

其中，

r为扫描路径，f代表从左往右扫描，b代表从右往左扫描。

可选地，根据所述新代价聚集值判断该第一像素点以及该第一像素点对应的第二像素点是否为稳定点的步骤，包括：

若所述新代价聚集值为零，判定该第一像素点以及该第一像素点对应的第二像素点不是稳定点；

若所述新代价聚集值不为零，判定该第一像素点以及该第一像素点对应的第二像素点是稳定点。

本发明实施例还提供了一种基于全局优化的电力设备立体匹配装置，包括：

图像获取模块，用于获得第一图像和第二图像，所述第一图像中包括多个第一像素点，所述第二图像中包括多个第二像素点，各所述第一像素点与各所述第二像素点匹配；

匹配代价值获取模块，用于根据零均值归一化互相关方法和Census变换构建初始匹配代价函数，针对各所述第一像素点，根据所述初始匹配代价函数计算该第一像素点与该第一像素点对应的第二像素点的匹配代价值；

代价聚集值获取模块，用于根据所述第一图像和所述第二图像构建最小生成树，采用所述最小生成树对所述匹配代价值进行代价聚集，获得代价聚集值；

优化代价值获取模块，用于采用改进的树形结构动态规划方法对所述代价聚集值进行全局优化，获得优化代价值；

新代价聚集值获取模块，用于根据所述优化代价值，采用赢者通吃策略获得所述第一图像和所述第二图像的条件视差值，根据所述条件视差值计算该第一像素点以及该第一像素点对应的第二像素点的新代价聚集值，根据所述新代价聚集值判断该第一像素点以及该第一像素点对应的第二像素点是否为稳定点，若为稳定点，获取该稳定点的新代价聚集值，采用所述赢者通吃策略对获取到的所有新代价聚集值进行筛选，获得筛选得到的多个新代价聚集值；

稠密视差图获取模块，用于获得所述第一图像和所述第二图像的视差图，根据所述视差图和筛选得到的多个新代价聚集值计算得到稠密视差图。

可选地，所述初始匹配代价函数为：

C(p,d)＝Z(p,d)+H(p,d)

其中，

C(p,d)为第一像素点p在视差值为d时的匹配代价值，

Z(p,d)为第一像素点p在视差值为d时的零均值归一化值，

H(p,d)为第一像素点p在视差值为d时的汉明距离。

可选地，所述代价聚集值获取模块通过以下方式获得代价聚集值：

采用代价聚集值计算公式计算获得代价聚集值，所述代价聚集值计算公式为：

其中，

S(p,q)为第一像素点p和第一像素点q之间的相似值，

D(p,q)为第一像素点p和第一像素点q之间的距离，σ为常数；

C_d(q)为第一像素点q在视差值为d时的匹配代价值；I为多个第一像素点组成的集合。

可选地，所述优化代价值获取模块通过以下方式获得优化代价值：

根据设定扫描路径，采用优化公式对所述代价聚集值进行全局优化，获得优化代价值，所述优化公式为：

其中，

r为扫描路径，f代表从左往右扫描，b代表从右往左扫描。

可选地，所述新代价聚集值获取模块通过以下方式判断该第一像素点以及该第一像素点对应的第二像素点是否为稳定点：

若所述新代价聚集值为零，判定该第一像素点以及该第一像素点对应的第二像素点不是稳定点；

若所述新代价聚集值不为零，判定该第一像素点以及该第一像素点对应的第二像素点是稳定点。

本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于全局优化的电力设备立体匹配方法。

本发明实施例还提供了一种计算机可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在电子设备执行上述的基于全局优化的电力设备立体匹配方法。

本发明实施例提供的基于全局优化的电力设备立体匹配方法，根据零均值归一化互相关方法和Census变换构建初始匹配代价函数，能够在实际光线不均匀的情况下保证鲁棒性，提高测度效果，通过对代价聚集值以获得优化代价值，再结合采用赢者通吃策略和稳定点判断方法，能够获得符合要求的新代价聚集值，根据新代价聚集值和视差图能够计算得到稠密视差图，进而有效地提高电力设备场景下的图像的匹配精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例所提供的一种电子设备10的方框示意图。

图2为本发明实施例所提供的一种基于全局优化的电力设备立体匹配方法的流程图。

图3为本发明实施例所提供的基于最小生成树结构的代价聚集过程的示意图。

图4为本发明实施例所提供的水平树结构图。

图5为本发明实施例所提供的一种基于全局优化的电力设备立体匹配装置20的模块框图。

图标：

10-电子设备；11-存储器；12-处理器；13-网络模块；

20-基于全局优化的电力设备立体匹配装置；21-图像获取模块；22-匹配代价值获取模块；23-代价聚集值获取模块；24-优化代价值获取模块；25-新代价聚集值获取模块；26-稠密视差图获取模块。

具体实施方式

发明人经调查发现，立体匹配算法一般被分为全局和局部算法两类。全局算法通过最小化匹配问题的能量函数求得全局最优视差，该能量函数包括数据项和平滑项。全局算法主要包括动态规划、置信传播和图割等方法，且基于树的方法是全局方法中较快的一种立体匹配方法。该方法在图像无纹理区域有较好的鲁棒性，而且不容易受噪声的影响，得到的视差图也比较准确。但是这类方法的复杂度较高，不适用于实时场景下的应用。

和全局方法相比，局部立体匹配算法通常结合窗口内相邻像素的信息进行单像素的相似性计算，该类算法运行效率高，但对噪声敏感，在弱纹理、遮挡、视差不连续区域的误匹配率较高。局部算法的难点在于代价函数和窗口的选择。传统的计算代价函数的方法包括：互信息、绝对差、平方差等。常用的局部窗口有固定窗口、十字交叉窗口、自适应窗口等，此外，基于最小生成树的非局部立体匹配算法，在整个图像中进行代价聚集，不受窗口的限制，所有像素点都能给其余点相应的权值支持，准确率比局部算法高，运行效率也较全局算法高。该方法对实验室环境下的图像(Middlebury测试)能够获得较好的匹配效果，但在电力巡检的实际应用中，图像中会有大量的噪声存在，导致该方法较难得到精确的视差图。

以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在本发明过程中对本发明做出的贡献。

基于上述研究，本发明实施例提供了一种基于全局优化的电力设备立体匹配方法，能够有效地提高电力设备场景下的图像的匹配精度。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

图1示出了本发明实施例所提供的一种电子设备10的方框示意图。本发明实施例中的电子设备10可以为具有数据存储、传输、处理功能的服务端，如图1所示，电子设备10包括：存储器11、处理器12、网络模块13和基于全局优化的电力设备立体匹配装置20。

存储器11、处理器12和网络模块13之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器11中存储有基于全局优化的电力设备立体匹配装置20，所述基于全局优化的电力设备立体匹配装置20包括至少一个可以软件或固件(firmware)的形式储存于所述存储器11中的软件功能模块，所述处理器12通过运行存储在存储器11内的软件程序以及模块，例如本发明实施例中的基于全局优化的电力设备立体匹配装置20，从而执行各种功能应用以及数据处理，即实现本发明实施例中的基于全局优化的电力设备立体匹配方法。

其中，所述存储器11可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器11用于存储程序，所述处理器12在接收到执行指令后，执行所述程序。

所述处理器12可能是一种集成电路芯片，具有数据的处理能力。上述的处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

网络模块13用于通过网络建立电子设备10与其他通信终端设备之间的通信连接，实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。

可以理解，图1所示的结构仅为示意，电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

本发明实施例还提供一种计算机可读存储介质，所述可读存储介质包括计算机程序。所述计算机程序运行时控制所述可读存储介质所在电子设备10执行下面的基于全局优化的电力设备立体匹配方法。

图2示出了本发明实施例所提供的一种基于全局优化的电力设备立体匹配方法的流程图。所述方法有关的流程所定义的方法步骤应用于电子设备10，可以由所述处理器12实现。下面将对图2所示的具体流程进行详细阐述：

步骤S21，获得第一图像和第二图像。

其中，第一图像中包括多个第一像素点，第二图像中包括多个第二像素点，各第一像素点与各第二像素点匹配，在本实施例中，第一图像可以理解为左目图像，第二图像可以理解为右目图像。

步骤S22，根据零均值归一化互相关方法和Census变换构建初始匹配代价函数，针对各第一像素点，根据初始匹配代价函数计算该第一像素点与该第一像素点对应的第二像素点的匹配代价值。

匹配代价值计算是立体匹配算法的基础，计算匹配代价值，选择具有较高匹配性能的匹配代价函数有利于得到较好的视差图。本发明结合零均值归一化互相关算法和Census变换这两种测度构建初始匹配代价函数。

其中，初始匹配代价函数为：

C(p,d)＝Z(p,d)+H(p,d)

其中，

C(p,d)为第一像素点p在视差值为d时的匹配代价值，

Z(p,d)为第一像素点p在视差值为d时的零均值归一化值，

H(p,d)为第一像素点p在视差值为d时的汉明距离。

计算零均值归一化值时，需要采用滑动窗口，滑动窗口在第二图像中的预定义视察范围内水平移动，在每个视差值处，将第二图像中的窗口与第一图像中的参考窗口进行比较，当两个窗口的相似度比较高时，计算出的匹配代价值也比较大，例如，给定第一图像中的任意一个像素点p＝(u,v)，其对应的视差值为d，可以理解，该点在第二图像中对应的第二像素点为p_d＝(u-d,v)，进一步地，零均值归一化值可以通过以下方式计算得到：

其中，N_p表示以点p为中心像素点的大小为5*5的窗口，

和

分别表示第一图像中第一像素点q和对应的第二像素点q_d在RGB通道中通道c的像素值，

和

分别代表在大小为N的窗口中，p和p_d在通道c的像素平均值，

表示第一图像和第二图像中像素点之间的协方差值，

和

分别代表第一图像和第二图像中像素点的方差值。

在本实施例中，汉明距离的计算为常规计算方法，因此在此不作更多说明。

可以理解，该步骤计算出的匹配代价值为两个，即第一图像的匹配代价值和第二图像的匹配代价值，以下根据匹配代价值求得的相关数值也包括两个，一个针对第一图像，另一个针对第二图像，由于计算方法类似，因此只对针对第一图像的相关数值的求解进行说明。

步骤S23，根据第一图像和第二图像构建最小生成树，采用最小生成树对匹配代价值进行代价聚集，获得代价聚集值。

在本实施例中，代价聚集值为

代价聚集值计算公式为：

其中，

S(p,q)为第一像素点p和第一像素点q之间的相似值，

D(p,q)为第一像素点p和第一像素点q之间的距离，σ为常数；

C_d(q)为第一像素点q在视差值为d时的匹配代价值；I为多个第一像素点组成的集合。

具体地，请集合参阅图3，基于最小生成树的代价聚集过程主要分两步：

第一步，自下而上，即从叶节点向根节点(Leaf to Root)聚集。如图3左侧所示，根节点聚集值包括该点的匹配代价值和其子树聚集值乘两点间的相似性，代价聚集值如下所示：

其中，

表示代价聚集值，Ch(p)是第一像素点p的子节点，

为第一像素点q下子树中所有节点对它的聚合支撑。

第二步，自上而下，即从根节点到叶节点(Root to leaf)聚集。如图3右侧所示，子节点的聚集值是除了该节点以及它的子树的代价聚集值：

其中，Pr(p)是第一像素点p的父节点。

步骤S24，采用改进的树形结构动态规划方法对代价聚集值进行全局优化，获得优化代价值。

如图4所示，每个第一像素点通过两次水平方向的扫描进行动态寻优。

设扫描路径为r，则第一像素点p在视差值为d的优化代价值为：

其中，

为平滑项权值，p-r表示第一像素点p的前一个像素点，P₁和P₂为相邻像素间惩罚视差变化的参数，根据第一图像的颜色信息差异值和第二图像的颜色信息差异值来设定，其中，第一图像的颜色信息差异值为D₂＝D_c(pd,pd-r)，第二图像的颜色信息差异值为D₁＝D_c(p,p-r)，进一步地：

其中，Π₁和Π₂是常数，τ_so是颜色信息的阈值，在本实施例中，Π₁＝1，Π₂＝3，τ_so＝15。

最终得到的优化代价值为：

其中，f代表从左往右扫描，b代表从右往左扫描。

步骤S25，获得第一图像和第二图像的条件视差值，根据条件视差值计算新代价聚集值并筛选。

根据步骤S24得到的优化代价值，采用赢者通吃策略获得第一图像和第二图像的条件视差值，其中，在视差区间内选择优化代价值最小的点作为匹配点对第一像素点p进行视差选择，其中，条件视差值为

即C′_r(p,d)最小时，第一像素点p的视差值。

根据条件视差值和新代价聚集值计算公式计算得到新代价聚集值，新代价聚集值计算公式为：

其中，σ_c为平滑参数，在本实施例中，σ_c＝10。

对根据上述公式计算的得到的新代价聚集值进行判断：

若

为0，判定第一像素点p以及第一像素点p对应的第二像素点不是稳定点，

若

不为0，判定第一像素点p以及第一像素点p对应的第二像素点是稳定点。

获得稳定点的新代价聚集值，采用赢者通吃策略对获取到的所有新代价聚集值进行筛选，获得筛选得到的多个新代价聚集值。

步骤S26，获得第一图像和第二图像的视差图，根据视差图和筛选得到的多个新代价聚集值计算得到稠密视差图。

获得第一图像和第二图像的视差图，根据视差图和筛选得到的多个新代价聚集值计算得到稠密视差图。

在上述基础上，如图5所示，本发明实施例提供了一种基于全局优化的电力设备立体匹配装置20，所述基于全局优化的电力设备立体匹配装置20包括：图像获取模块21、匹配代价值获取模块22、代价聚集值获取模块23、优化代价值获取模块24、新代价聚集值获取模块25和稠密视差图获取模块26。

图像获取模块21，用于获得第一图像和第二图像，所述第一图像中包括多个第一像素点，所述第二图像中包括多个第二像素点，各所述第一像素点与各所述第二像素点匹配。

由于图像获取模块21和图2中步骤S21的实现原理类似，因此在此不作更多说明。

匹配代价值获取模块22，用于根据零均值归一化互相关方法和Census变换构建初始匹配代价函数，针对各所述第一像素点，根据所述初始匹配代价函数计算该第一像素点与该第一像素点对应的第二像素点的匹配代价值。

由于匹配代价值获取模块22和图2中步骤S22的实现原理类似，因此在此不作更多说明。

代价聚集值获取模块23，用于根据所述第一图像和所述第二图像构建最小生成树，采用所述最小生成树对所述匹配代价值进行代价聚集，获得代价聚集值。

由于代价聚集值获取模块23和图2中步骤S23的实现原理类似，因此在此不作更多说明。

优化代价值获取模块24，用于采用改进的树形结构动态规划方法对所述代价聚集值进行全局优化，获得优化代价值。

由于优化代价值获取模块24和图2中步骤S24的实现原理类似，因此在此不作更多说明。

新代价聚集值获取模块25，用于根据所述优化代价值，采用赢者通吃策略获得所述第一图像和所述第二图像的条件视差值，根据所述条件视差值计算该第一像素点以及该第一像素点对应的第二像素点的新代价聚集值，根据所述新代价聚集值判断该第一像素点以及该第一像素点对应的第二像素点是否为稳定点，若为稳定点，获取该稳定点的新代价聚集值，采用所述赢者通吃策略对获取到的所有新代价聚集值进行筛选，获得筛选得到的多个新代价聚集值。

由于新代价聚集值获取模块25和图2中步骤S25的实现原理类似，因此在此不作更多说明。

稠密视差图获取模块26，用于获得所述第一图像和所述第二图像的视差图，根据所述视差图和筛选得到的多个新代价聚集值计算得到稠密视差图。

由于稠密视差图获取模块26和图2中步骤S26的实现原理类似，因此在此不作更多说明。

综上，本发明实施例所提供的基于全局优化的电力设备立体匹配方法，能够有效地提高电力设备场景下的图像的匹配精度。

在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备10，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于全局优化的电力设备立体匹配方法，其特征在于，包括：

获得第一图像和第二图像，所述第一图像中包括多个第一像素点，所述第二图像中包括多个第二像素点，各所述第一像素点与各所述第二像素点匹配；

根据零均值归一化互相关方法和Census变换构建初始匹配代价函数，针对各所述第一像素点，根据所述初始匹配代价函数计算该第一像素点与该第一像素点对应的第二像素点的匹配代价值；

根据所述第一图像和所述第二图像构建最小生成树，采用所述最小生成树对所述匹配代价值进行代价聚集，获得代价聚集值；

采用改进的树形结构动态规划方法对所述代价聚集值进行全局优化，获得优化代价值；

根据所述优化代价值，采用赢者通吃策略获得所述第一图像和所述第二图像的条件视差值，根据所述条件视差值计算该第一像素点以及该第一像素点对应的第二像素点的新代价聚集值，根据所述新代价聚集值判断该第一像素点以及该第一像素点对应的第二像素点是否为稳定点，若为稳定点，获取该稳定点的新代价聚集值，采用所述赢者通吃策略对获取到的所有新代价聚集值进行筛选，获得筛选得到的多个新代价聚集值；

获得所述第一图像和所述第二图像的视差图，根据所述视差图和筛选得到的多个新代价聚集值计算得到稠密视差图；

所述初始匹配代价函数为：

C(p,d)＝Z(p,d)+H(p,d)

其中，

C(p,d)为第一像素点p在视差值为d时的匹配代价值，

Z(p,d)为第一像素点p在视差值为d时的零均值归一化值，

H(p,d)为第一像素点p在视差值为d时的汉明距离；

所述代价聚集值为

采用所述最小生成树对所述匹配代价值进行代价聚集，获得代价聚集值的步骤，包括：

采用代价聚集值计算公式计算获得代价聚集值，所述代价聚集值计算公式为：

其中，

S(p,q)为第一像素点p和第一像素点q之间的相似值，

C_d(q)为第一像素点q在视差值为d时的匹配代价值；I为多个第一像素点组成的集合。

2.根据权利要求1所述的基于全局优化的电力设备立体匹配方法，其特征在于，零均值归一化值Z(p,d)通过以下公式计算得到：

其中，

表示第一图像和第二图像中像素点之间的协方差值，

和

分别代表第一图像和第二图像中像素点的方差值；

RGB表示RGB通道，c表示c通道，c∈(R,G,B)表示在RGB通道中的通道c。

3.根据权利要求2所述的基于全局优化的电力设备立体匹配方法，其特征在于，第一图像和第二图像中像素点之间的协方差值

通过以下公式计算得到：

其中，

N_p表示以点p为中心像素点的大小为5*5的窗口，

和

分别表示第一图像中第一像素点q和对应的第二像素点q_d在RGB通道中通道c的像素值，

和

分别代表在大小为N的窗口中，p和p_d在通道c的像素平均值。

4.根据权利要求3所述的基于全局优化的电力设备立体匹配方法，其特征在于，第一图像中像素点的方差值

通过以下公式计算得到：

5.根据权利要求3所述的基于全局优化的电力设备立体匹配方法，其特征在于，第二图像中像素点的方差值

通过以下公式计算得到：

其中，q表示第一像素点，N_p表示以点p为中心像素点的大小为5*5的窗口，

表示第二像素点q_d在RGB通道中通道c的像素值，

代表在大小为N的窗口中p_d在通道c的像素平均值。

6.根据权利要求1所述的基于全局优化的电力设备立体匹配方法，其特征在于，第一像素点p和第一像素点q之间的相似值S(p,q)通过以下方式计算得到：

其中，D(p,q)为第一像素点p和第一像素点q之间的距离，σ为常数。

7.根据权利要求1所述的基于全局优化的电力设备立体匹配方法，其特征在于，所述优化代价值为C_r'(p,d)，采用改进的树形结构动态规划方法对所述代价聚集值进行全局优化，获得优化代价值的步骤，包括：

根据设定扫描路径，采用优化公式对所述代价聚集值进行全局优化，获得优化代价值，所述优化公式为：

其中，

r为扫描路径，f代表从左往右扫描，b代表从右往左扫描，d为视差值，C_f(p,d)代表在扫描路径r中，第一像素点p在视差值为d时从左往右扫描，C_b(p,d)代表在扫描路径r中，第一像素点p在视差值为d时从右往左扫描。

8.根据权利要求1所述的基于全局优化的电力设备立体匹配方法，其特征在于，根据所述新代价聚集值判断该第一像素点以及该第一像素点对应的第二像素点是否为稳定点的步骤，包括：

若所述新代价聚集值为零，判定该第一像素点以及该第一像素点对应的第二像素点不是稳定点；

若所述新代价聚集值不为零，判定该第一像素点以及该第一像素点对应的第二像素点是稳定点。

Images