CN110610503B - 一种基于立体匹配的电力刀闸三维信息恢复方法 - Google Patents

Abstract

本发明公开了一种基于立体匹配的电力刀闸三维信息恢复方法，通过对采集的双目立体图像进行立体匹配得到刀闸二维视差图，之后结合双目立体视觉原理，恢复刀闸图像的三维空间信息；所述的立体匹配包括构建匹配代价计算函数和加权水平树结构，在此基础上结合边缘检测进行代价聚集，之后通过视差计算和视差精化得到二维视差图。采用本发明的方法可以有效地提高刀闸匹配的准确率和效率，获得更加精确的刀闸视差图和三维坐标信息。

Description

一种基于立体匹配的电力刀闸三维信息恢复方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于立体匹配的电力刀闸三维信息恢复方法。

背景技术

在电力系统中，监测变电站设备的状态是一项重大任务。变电站中的刀闸是高压开关设备中最常用的设备。隔离开关的工作原理和结构比较简单，但由于使用量大，可靠性要求高，变电站的安全性受到很大影响。而且，大多数开关在户外使用，设备部件容易氧化，传动部件缺乏润滑，导致偏离的旋转角度和隔离开关的不完全闭合。因此，为了确保变电站工作的安全性和可靠性，正确恢复其三维信息从而识别隔离开关的状态尤其重要。

近年来，变电站的实时监测技术得到了迅速发展。传统的人工检查主要依靠望远镜的人工观察和主观判断，该方法耗时，效率低并且易受主观影响。为了提高实时状态监测的效率，基于图像处理的电力设备检测技术已成为一种新趋势。

目前刀闸状态检测主要基于单目技术进行：通过在开关边界上直接进行霍夫变换来确定开关的状态；基于图像几何分析的方法来监测变电站开关，在获得臂图像的轮廓之后，通过余弦定理计算臂的角度，最终是否确定开关的状态是否闭合；还有学者根据直方图的差分平方和梯度方向上边缘点的比例来判断开关的状态。上述方法均可用于检测开关状态，但无法准确计算开关的角度，并且单目识别受拍摄角度和范围的限制。

发明内容

针对上述问题，本发明提出一种基于立体匹配的电力刀闸三维信息恢复方法。

实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于立体匹配的电力刀闸三维信息恢复方法，通过对采集的双目立体图像进行立体匹配得到刀闸二维视差图，之后结合双目立体视觉原理，恢复刀闸图像的三维空间信息；所述的立体匹配包括构建匹配代价计算函数和加权水平树结构，在此基础上结合边缘检测进行代价聚集，之后通过视差计算和视差精化得到二维视差图。

作为本发明的进一步改进，构建所述的匹配代价计算函数的包括以下过程：

(1)综合左、右灰阶图像构建梯度信息：

(2)采用稀疏字典学习策略，通过匹配左右图像的块，然后通过包含卷积层和整流线性单元的不同神经网络处理每一小块，最后，通过完全连接层获得双目图像的相似性，构建匹配代价计算函数：

C_DDL(p,d)＝-s(P_l(x,y),P_r(x-d,y))

(3)将稀疏字典学习策略和梯度测量法对左、右图像中的灰度信息进行融合构建所述的匹配代价计算函数：

C(p,d)＝λ₁·min(C_GRAD(p,d),τ_GRAD)+λ₂·C_DDL(p,d)。

作为本发明的进一步改进，所构建的水平树结构，以像素p为根节点，通过在垂直方向和水平方向上按向前或向后的方向上传播扩展节点p建立水平树。

作为本发明的进一步改进，所述的代价聚集过程中的边缘权重的改进是通过森林算法对参考图进行边缘检测，包括颜色和梯度信息的边缘权重函数进行改进，改进的边缘权重W_p,q(I)

作为本发明的进一步改进，所述的代价聚集过程中，还包括通过初始的视差图所获得惩罚因子，包括以下步骤：

(1)在所有视差范围中，选择最小的初始匹配代价对应的视差值作为像素点的视差，得到初始视差图；

(2)按如下公式对初始视差图进行左右一致性检测，从视差图中的像素中区分出稳定像素和不稳定像素；

(3)计算稳定像素的置信比C_rp＝m_sp/m_fp,p∈n_cp。

作为本发明的进一步改进，基于所建立的加权水平树结构和边缘条件约束的方法，按水平传播和垂直传播的两个阶段，从边缘的像素开始扫描向根节点p进行传播，计算位于边缘像素的代价聚集值，公式如下：

最后，得到像素p点在视差d_p处的代价聚集值为：

作为本发明的进一步改进，所述的视差计算为采用WTA方法得到刀闸图像代价聚集值中所有视差范围的最小视差值，即：

作为本发明的进一步改进，所述的视差精化为根据所区分的不稳定点和稳定点，先将稳定点的代价值保持不变，不稳定点的代价值设为0，之后重新计算不稳定点的代价值。

作为本发明的进一步改进，用于采集左右图像的相机的成像平面是共面的，左右图像的视差为对应点的水平位置差。

本发明的有益效果：本发明在结合双目立体视觉技术通过优化立体匹配方法，有效地提高刀闸匹配的准确率和效率，获得更加精确的刀闸视差图和三维坐标信息，得到的三维空间中的深度信息检测刀闸的状态，提高精度的同时大大降低人工成本。

附图说明

图1为基于立体匹配的电力刀闸三维信息恢复技术的流程图；

图2为基于水平树结构的代价聚集过程，图2(a)为水平树结构，图2(b)对应于水平方向，图2(c)为竖直方向；

图3双目立体视觉原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

双目立体视觉技术在计算机主要包括：双目图像采集，摄像机校准，图像校正，立体匹配和三维信息恢复过程。

如图3所示的双目立体视觉原理，假设双目相机的成像平面是共面的，并且到相机的光学中心O₁和O₁的距离是f。空间中的目标点P(u^c,v^c,z^c)被映射到左视图图像中和右视图图像中的点分别为P_l(u₁,v₁)，P_r(u₂,v₂)。两个摄像机的投影光学中心之间的基线距离为B，则根据三角形几何的相似性，P点距双目摄像机的距离z^c可以得到，即：

其中，(u^c,v^c,z^c)是刀闸图像中任一点P点在空间中的三维坐标，视差d被定义为两个图像中对应点的水平位置差异：

因此，对于刀闸图像上的任一像素点P_2D(u,v)，通过上面的公式恢复刀闸图像三维空间信息，如下所示：

其中，P_3D(u_3D,v_3D,z_3D)为刀闸图像像素点在三维空间中的坐标，(u,v)为二维刀闸图像的横纵坐标。B为相机中心的基线距离，f为相机的焦距，可通过相机标定得到。D_Fin(P)为得到的刀闸二维视差图。

故立体匹配是研究的关键问题，本发明采用以下步骤进行立体匹配找到图像中的对应点并获得视差图。具体的步骤为：

1)基于电力刀闸双目图像的稀疏字典学习策略和梯度信息构建匹配代价计算函数；

11)对于左图中任一像素点p(x,y)，右图对应视差为d的点p_d＝p(x-d,y)，梯度信息C_GRAD(p,d)表达式为：

其中，和/>是在x和y方向的梯度算子，G_L(·)表示左图灰度图像，G_R(·)表示右图灰度图像。

基于梯度的测量对相机增益和偏差的变化更加稳健，但它仅考虑梯度的幅度信息，其易受输入图像变化的增益失真的影响。

12)为了提高原始成本中各种数据的适应性，采用了稀疏字典学习(DiscriminativeDictionary Learning,DDL)策略，该策略提供了通过数据驱动方法计算匹配成本的新思路。具体地，分别提取左右匹配图像的块，然后通过包含卷积层和整流线性单元的不同神经网络处理每一小块，最后，通过完全连接层获得双目图像的相似性。该策略匹配代价计算函数定义如下：

C_DDL(p，d)＝-s(P_l(x，y)，P_r(x-d，y)) (2)

其中，s(P_l(x，y)，P_r(x-d，y))表示输入块P_l(x，y)和P_r(x-d，y)之间的相似性得分，负号表示相似性得分被转换为匹配成本。但是，采用DDL策略时，可能在细节方面处理不是很好，会导致图像信息丢失。

13)因此，为了中和该两个测度的缺点，我们提出了测度融合框架来提高匹配成本的稳定性。融合的匹配成本定义如下：

C(p,d)＝λ₁·min(C_GRAD(p,d),τ_GRAD)+λ₂·C_DDL(p,d) (3)

其中，λ₁、λ₂分别为梯度信息和DDL信息的权值，用来平衡两个测度的权重，本发明中λ₁＝0.3，λ₂＝0.7，梯度阈值τ_GRAD＝2。

2)对刀闸的双目图像构建水平树结构，并在聚集过程中结合全局匹配方法中的平滑约束；

在代价聚集中，采用基于水平树结构的加权传播算法。根据刀闸原左目图像构造水平连接树，如图2所示，水平树以像素p为根节点，通过在垂直方向上扩展节点p建立水平树，然后进行水平扩展。一个在水平方向完整的代价聚集过程包括了前向和后向传递。

一般全局方法将立体匹配任务转换为能量函数的优化，其形式为：

其中，D表示视差图，E表示能量函数，像素p属于图像I，m(p,d_p)为数据项，表示p点在视差d_p处的匹配代价成本，s(d_p,d_q)为平滑项，根据集合N中相邻像素p和q上采用的平滑惩罚函数，表示相邻点p和q之间的连续性。平滑项的定义如下：

其中，d_step视差变化值，P₁是用来惩罚相邻像素间的视差值不超过d_step的惩罚因子，P₂则用来惩罚更大的视差值变化，该变化通常在刀闸图像边缘，本发明中d_step＝1。

3)通过赢者通吃策略得到刀闸初始视差图，结合左右一致性检测挑选置信点，得到每个置信点的置信比，从而计算出代价聚集中的自适应惩罚因子；

由于代价聚集中的惩罚因子P在不同情况下被分配不同的值，并且通常为固定常数。一个小的惩罚因子会让视差图不够平滑，产生明显的边界，很多异常值会出现在光滑的表面上。而大的惩罚因子可以减少了平滑区域中的不匹配，但导致刀闸图像边界过度平滑，丢失了对象的细节。为了增强该参数的鲁棒性，本发明提出根据图像的置信比来计算自适应惩罚值。

31)赢者通吃策略

计算出刀闸图像的匹配代价成本后，采用赢者通吃(Winner-takes-all,WTA)策略，在所有视差范围中，选择最小的初始匹配代价对应的视差值作为像素点的视差，即：

其中，d为视差范围值，C_d(p,d)为匹配代价计算后得到的代价值，D_init(p)为刀闸的初始视差图。

32)置信比计算

通过对刀闸初始视差图进行左右一致性检测，将视差图中的像素分为稳定像素和不稳定像素。

设D_initL，D_initR分别表示刀闸左右初始视差图，假设p点在左图中的初始视差值等于对应右图中的视差值，即满足下式时，则认为p是稳定像素，否则为不稳定像素。

D_initL(x-d,y)＝D_initR(x,y) (7)

稳定像素的置信比C_rp计算如下：

C_rp＝m_sp/m_fp,p∈n_cp (8)

其中，m_fp和m_sp表示最小匹配代价值和次小匹配代价值，n_cp为置信点的个数，p为任一属于置信点的像素点。置信比越大，该像素匹配正确的可能性越大。然后，通过选取最小匹配成本和次小匹配成本之和的平均值来获得惩罚因子，公式如下：

P₂＝(P₁·||I_p-I_q||+P₁)/2 (10)

其中，||I_p-I_q||表示原刀闸图像三通道下最大的颜色绝对差，P₂和相邻像素的颜色差相关，P₂是一个较大的常数，用于惩罚在刀闸图像边界产生的较大差异的变化。通常情况下，P₁＜P₂。

4)采用随机森林方法对刀闸左图进行边缘检测，并将边缘检测后的边缘图像引入边缘权重和代价聚集过程中；

在加权水平树结构中，连接相邻节点的边缘权重通常只由其颜色差异决定。但在弱纹理区域中，颜色差异非常小，许多边缘权重沿着长路径累积并且在弱纹理区域形成不合理的权重，这会导致小权重累积问题。本发明提出了改进的边缘权重函数，包括颜色和梯度信息。采用随机森林算法对刀闸左图进行边缘检测，获得边缘图像E，即刀闸的梯度信息，改进的边缘权重W_p,q(I)被定义如下：

其中，I为参考图像(左刀闸图)，||I_p-I_q||表示原刀闸图像三通道下最大的颜色绝对差。p,q为相邻像素点，σ是用来调节平滑度的固定参数，E为左刀闸图像的边缘图像，E_m为边缘图像中的最大像素值，β是一个标准化像素值间隔的参数，T_w为权重阈值。在本发明中σ＝0.1，β＝20，T_w＝2。

当刀闸参考图像中的相邻像素之间的颜色差小于T_w时，应该减小像素的权重以减轻小重量累积的问题。在弱纹理区域中，颜色和梯度的差异本来就很小，然后公式(11)分子中的差异值增加了T_w；在边缘区域，梯度差值很大，则根据梯度差值决定权重的降低程度，差值越大，权值越低。从而达到结合两种信息让权重达到相对自适应。因此，立体匹配的精度会得到有效提高尤其在弱纹理和边缘区域。

5)在代价聚集中，采用基于加权水平树结构和边缘条件约束的方法；

51)在构建水平树之后，首先将代价值从叶子聚集到位于水平树中的同一列的根节点，然后沿垂直传递将代价值从子节点聚集到根节点。步骤4)中的边缘图像和边缘权重在该过程中引入。因此，最终能量函数值计算如下：

其中，m(p,d_p)表示p点在视差d_p处的匹配代价成本，s(d_p,d_q)表示相邻点p和q之间的连续性。W_p,q(I)为步骤4)得到的边缘权重。P₁为用来惩罚小视差改变的惩罚因子，通常为斜面或曲面。对于从边缘图像获得的视差不连续区域，使用大的惩罚因子P₂来惩罚在边缘处的跳跃差异。在本发明中，d_step＝1。具体地，当像素不属于边缘时，代价聚集值来自前一个，当前和后一个视差层的三个层中的最小值。然而，如果像素在边缘上，可能无法在相邻视差层中计算正确的代价值，则在所有视差层中搜索，得到最小值。p点在视差d_p处的代价值为：

其中，C^A(p,d_p)表示p点在视差d_p处的代价值，m(p,d_p)表示p点在视差d_p处的匹配代价成本，C^A(q,d_q)为q点在视差d_q处的代价值。s(d_p,d_q)为平滑约束，由是否为边缘区域决定，p-r表示沿着聚集路径的前一个点，d-1,d+1为前一层，后一层视差层，i属于所有视差范围dislevel。

52)代价聚集过程如图2所示，分为两个阶段：水平阶段和垂直阶段。在每个阶段中，采用前向和后向传播。对于前向传播，使用等式(13)从最左边像素点开始扫描，累计代价值保留在类似地，后向传递从最右边的像素点开始计算代价聚集值，并且将值存储在/>最后，像素p在视差d_q处的代价聚集值/>为：

其中，为前向传播得到的代价聚集值，/>为后向传播的得到的代价聚集值，m(p,d_p)为p点在视差d_p处的匹配代价值。

6)通过视差计算和视差精化得到电力刀闸的视差图。

61)视差计算

采用WTA方法得到刀闸图像代价聚集值中所有视差范围的最小视差值，即：

其中，D(p)为代价聚集之后的视差图。

62)视差精化

通过公式(5)进行左右一致性检测之后，得到不稳定点和稳定点，不稳定点的代价值为0，而稳定点的代价值保持不变，即：

其中，C_post(p,d_p)表示p点d_q处的后处理过程的代价聚集值，在此代价值上再进行代价聚集和视差计算，不稳定的视差值会被重新计算，从而得到最后刀闸图像的二维视差图D_Fin(p)。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种基于立体匹配的电力刀闸三维信息恢复方法，其特征在于：通过对采集的双目立体图像进行立体匹配得到刀闸二维视差图，之后结合双目立体视觉原理，恢复刀闸图像的三维空间信息；

所述的立体匹配包括构建匹配代价计算函数和加权水平树结构，在此基础上结合边缘检测进行代价聚集，之后通过视差计算和视差精化得到二维视差图；

采用以下步骤进行立体匹配找到图像中的对应点并获得视差图具体的步骤为：

1)基于电力刀闸双目图像的稀疏字典学习策略和梯度信息构建匹配代价计算函数；

11)对于左图中任一像素点p(x,y)，右图对应视差为d的点p_d＝p(x-d,y)，梯度信息C_GRAD(p,d)表达式为：

其中，和/>是在x和y方向的梯度算子，G_L(·)表示左图灰度图像，G_R(·)表示右图灰度图像；

12)为了提高原始成本中各种数据的适应性，采用了稀疏字典学习策略，分别提取左右匹配图像的块，然后通过包含卷积层和整流线性单元的不同神经网络处理每一小块，最后，通过完全连接层获得双目图像的相似性；该策略匹配代价计算函数定义如下：

C_DDL(p,d)＝-s(P_l(x,y),P_r(x-d,y)) (2)

其中，s(P_l(x,y),P_r(x-d,y))表示输入块P_l(x,y)和P_r(x-d,y)之间的相似性得分，负号表示相似性得分被转换为匹配成本；

13)为了中和两个测度的缺点，提出了测度融合框架来提高匹配成本的稳定性；融合的匹配成本定义如下：

C(p,d)＝λ₁·min(C_GRAD(p,d),τ_GRAD)+λ₂·C_DDL(p,d) (3)

其中，λ₁、λ₂分别为梯度信息和DDL信息的权值，用来平衡两个测度的权重，τ_GRAD为梯度阈值；

2)对刀闸的双目图像构建水平树结构，并在聚集过程中结合全局匹配方法中的平滑约束；

一般全局方法将立体匹配任务转换为能量函数的优化，其形式为：

其中，D表示视差图，E表示能量函数，p∈I表示像素p属于图像I，m(p,d_p)为数据项，表示p点在视差d_p处的匹配代价成本，s(d_p,d_q)为平滑项，根据集合N中相邻像素p和q上采用的平滑惩罚函数；s(d_p,d_q)表示相邻点p和q之间的连续性；平滑项的定义如下：

其中，d_step视差变化值，P₁用来惩罚相邻像素间的视差值不超过d_step的惩罚因子，P₂则用来惩罚更大的视差值变化；

3)通过赢者通吃策略得到刀闸初始视差图，结合左右一致性检测挑选置信点，得到每个置信点的置信比，从而计算出代价聚集中的自适应惩罚因子；

31)赢者通吃策略

计算出刀闸图像的匹配代价成本后，采用赢者通吃策略，在所有视差范围中，选择最小的初始匹配代价对应的视差值作为像素点的视差，即：

其中，d为视差范围值，C_d(p,d)为匹配代价计算后得到的代价值，D_init(p)为刀闸的初始视差图，dislevel为所有视差范围；

32)置信比计算

通过对刀闸初始视差图进行左右一致性检测，将视差图中的像素分为稳定像素和不稳定像素；

设D_initL，D_initR分别表示刀闸左右初始视差图，假设p点在左图中的初始视差值等于对应右图中的视差值，即满足下式时，则认为p是稳定像素，否则为不稳定像素；

D_initL(x-d,y)＝D_initR(x,y) (7)

稳定像素的置信比C_rp计算如下：

C_rp＝m_sp/m_fp,p∈n_cp (8)

其中，m_fp和m_sp分别表示最小匹配代价值和次小匹配代价值，n_cp为置信点的个数，p为任一属于置信点的像素点；

通过选取最小匹配成本和次小匹配成本之和的平均值来获得惩罚因子，公式如下：

P₂＝(P₁·||I_p-I_q||+P₁)/2 (10)

其中，||I_p-I_q||表示原刀闸图像三通道下最大的颜色绝对差，P₂和相邻像素的颜色差相关，P₁＜P₂；

4)采用随机森林方法对刀闸左图进行边缘检测，并将边缘检测后的边缘图像引入边缘权重和代价聚集过程中；

采用随机森林算法对刀闸左图进行边缘检测，获得边缘图像E，即刀闸的梯度信息，改进的边缘权重W_p,q(I)被定义如下：

其中，I为左刀闸图，||I_p-I_q||表示原刀闸图像三通道下最大的颜色绝对差；p,q分别为相邻像素点，σ是用来调节平滑度的固定参数，E为左刀闸图像的边缘图像，E_m为边缘图像中的最大像素值，β是一个标准化像素值间隔的参数，T_w为权重阈值；

5)在代价聚集中，采用基于加权水平树结构和边缘条件约束的方法；

51)在构建水平树之后，首先将代价值从叶子聚集到位于水平树中的同一列的根节点，然后沿垂直传递将代价值从子节点聚集到根节点；步骤4)中的边缘图像和边缘权重在代价聚集过程中引入，最终能量函数值计算如下：

其中，m(p,d_p)表示p点在视差d_p处的匹配代价成本，s(d_p,d_q)表示相邻点p和q之间的连续性；W_p,q(I)为步骤4)得到的边缘权重；

p点在视差d_p处的代价值为：

其中，C^A(p,d_p)表示p点在视差d_p处的代价值，m(p,d_p)表示p点在视差d_p处的匹配代价成本，C^A(q,d_q)为q点在视差d_q处的代价值；s(d_p,d_q)为平滑约束，由是否为边缘区域决定，p-r表示沿着聚集路径的前一个点，d-1,d+1分别为前一层，后一层视差层，i属于所有视差范围dislevel；

52)代价聚集过程，分为两个阶段：水平阶段和垂直阶段；在每个阶段中，采用前向和后向传播；对于前向传播，使用等式(13)从最左边像素点开始扫描，累计代价值保留在后向传递从最右边的像素点开始计算代价聚集值，并且将值存储在/>最后，像素p在视差d_q处的代价聚集值/>为：

其中，为前向传播得到的代价聚集值，/>为后向传播的得到的代价聚集值，m(p,d_p)为p点在视差d_p处的匹配代价值；

6)通过视差计算和视差精化得到电力刀闸的视差图；

61)视差计算

采用WTA方法得到刀闸图像代价聚集值中所有视差范围的最小视差值，即：

其中，D(p)为代价聚集之后的视差图，disleve为所有视差范围；为像素p在视差d_q处的代价聚集值；

62)视差精化

通过公式(7)进行左右一致性检测之后，得到不稳定点和稳定点，即：

其中，C_post(p,d_p)表示p点d_q处的后处理过程的代价聚集值，在此代价值上再进行代价聚集和视差计算，不稳定的视差值会被重新计算，从而得到最后刀闸图像的二维视差图D_Fin(p)。

2.根据权利要求1所述的一种基于立体匹配的电力刀闸三维信息恢复方法，其特征在于：所构建的水平树结构，以像素p为根节点，通过在垂直方向和水平方向上按向前或向后的方向上传播扩展节点p建立水平树。

3.根据权利要求1所述的一种基于立体匹配的电力刀闸三维信息恢复方法，其特征在于：用于采集左右图像的相机的成像平面是共面的，左右图像的视差为对应点的水平位置差。