CN113537224B - 一种基于视觉的配电柜开关状态自动识别方法 - Google Patents

Abstract

本发明涉及计算机视觉技术以及信号处理技术，具体涉及一种基于视觉的配电柜开关状态自动识别方法，具体包括以下步骤：获取含有边界特征点的配电柜面板图像；提取配电柜面板图像中的边界特征点；对含有边界特征点的配电柜面板图像进行透视投影变换，得到矫正后的配电柜目标图像；对矫正后的配电柜目标图像进行目标区域背景移除，提取包含开关序列的目标区域二值图像；再进行分组，得到每组开关的组头区域和组成员区域；对二值图像进行形态学滤波；对经形态学滤波后的二值图像中组头区域和组成员区域进行判别性特征提取，识别开关的开闭状态。本发明的有益效果在于,其能够充分利用开关序列在水平和垂直方向的几何约束信息实现开关区域聚类。

Description

一种基于视觉的配电柜开关状态自动识别方法

技术领域

本发明涉及计算机视觉技术以及信号处理技术，具体涉及一种基于视觉的配电柜开关状态自动识别方法。

背景技术

随着电网规模日益扩大，变电站配电柜数量与日俱增，配电柜面板一系列开关的开闭状态直接关系到临近小区日常用电量。目前对开关状态的检查是由巡检员的日常巡检来实现的，而人为不可控因素，比如巡检疲劳、开关状态误判断会导致配电功能失效，进而造成小区日常供电不足、电气设备受损等后果。采用视觉方法来自动检测配电柜面板的开关状态能极大地弥补人工巡检的缺陷，提高检测效率、降低人力成本，同时也能减少人为不可控因素对设备状态检测带来的潜在威胁。但是现有的基于视觉的开关状态识别方案针对任意视角拍摄的图像，存在边框提取失效、选择的特征判别性不高、状态识别通用性不强等问题，大大制约了视觉自动检测在配电柜开关状态识别的应用。

发明内容

针对现有的配电柜开关视觉自动识别的缺陷，本方法能快速、可靠地检测出面板开关阵列区域的边框，提取判别性好、通用性强的特征，具有较好的识别准确率和运算效率。

本发明为实现上述目的所采用的技术方案是：一种基于视觉的配电柜开关状态自动识别方法，包括以下步骤：

1)在配电柜面板的四个角点处分别设置边界特征点，获取含有边界特征点的配电柜图像；所述配电柜图像包含开关序列；

2)提取配电柜图像中的边界特征点；若提取边界特征点失败，则返回步骤1)重新提取边界特征点，反之，若边界特征点提取成功，则进入到下一步骤；

3)对含有边界特征点的配电柜图像进行透视投影变换，得到矫正后的配电柜目标图像；

4)对矫正后的配电柜目标图像进行目标区域背景移除，提取包含开关序列的目标区域二值图像；

5)对二值图像通过聚类进行分组，得到开关序列中每组开关的组头区域和组成员区域；

6)对二值图像进行形态学滤波；

7)对经形态学滤波后的二值图像中组头区域和组成员区域进行判别性特征提取，识别开关的开闭状态。

所述步骤2)中提取配电柜图像的边界特征点，具体包括以下步骤：

步骤1：通过Canny边缘检测方法提取配电柜图像中的边缘信息；

步骤2：将边缘信息通过霍夫变换提取配电柜图像边缘的四个角点位置，即边界特征点。

所述步骤1中通过Canny边缘检测方法提取图像的边缘信息，具体包括以下步骤：

步骤1.1：预先设定RGB阈值来提取配电柜图像的角点区域；配电柜图像边缘为图像边框；

步骤1.2：通过Canny边缘检测方法来提取角点区域的边界特征点边缘信息，即边界特征点区域轮廓。

所述步骤2中利用霍夫变换计算得到配电柜图像中边界特征点区域轮廓的中心点坐标，即边界特征点，

记为{P₁，P₂，P₃，P₄}，

其中，P₁＝(x₁，y₁)为图像边框左上方的角点坐标，P₂＝(x₂，y₂)为图像边框右上方的角点坐标，P₃＝(x₃，y₃)为图像边框左下方的角点坐标，P₄＝(x₄，y₄)为图像边框右下方的角点坐标。

步骤3)，具体包括以下步骤：

通过透视投影变换后四个边界特征点对应坐标

其中/>

为变换后图像边框左上方的角点坐标；/>

为变换后图像边框右上方的角点坐标；/>

为变换后图像边框左下方的角点坐标；/>

为变换后图像边框右下方的角点坐标；

根据边界特征点{P₁，P₂，P₃，P₄}和透视投影变换后的边界特征点

计算透视投影变换矩阵T，计算模型如下：

其中，

为变换后图像边框边界特征点的横坐标，/>

为变换后图像边框角点的纵坐标，x_i为图像边框的角点横坐标，y_i为图像边框的角点纵坐标；

对原始的配电柜图像Img_ori中每个点I＝(x，y)计算，得到对应的透视投影变换后的每个点

进而得到透视投影变换后的校正后的配电柜目标图像Img_new。

所述步骤4)对矫正后的配电柜目标图像进行目标区域背景移除，具体包括以下步骤：

对Img_new做背景移除，设定背景区域的RGB三通道颜色差分阈值{T_rg，T_gb，T_rb}；

如果Img_new中

点处的RGB分量/>

满足

则

构成的为背景区域，并将/>

分别赋值为0；

在背景移除的基础上，再次设定前景区域的RGB三通道颜色差分阈值{F_rg，F_gb，F_rb}；

如果Img_new中

点处的RGB分量/>

满足

则

构成开关序列对应的目标区域，将/>

分别赋值为255，得到前景区域；

生成开关序列的目标区域的二值图像

所述步骤5)对二值图像通过开关区域聚类进行分组，具体包括以下步骤：

步骤1：确定每组开关的组头区域；

步骤2：根据组头区域通过最近邻方法来得到每组开关的组成员区域。

所述确定每组开关的组头区域，具体为：

配电柜面板上有n_r行、n_c列开关构成开关序列，则配电柜面板上开关的总体数量是n_c·n_r，即开关数量为n_c·n_r；

根据得到的二值图像

中所有开关区域/>

按行寻找开关组头区域，其模型为：

当某区域同时满足如下的两个约束条件时，则该区域为组头区域，所述组头区域中的开关区域即为每组开关的组头区域：

行约束条件：RMS(G(i，k)(y)，G(i，k+1)(y)，…，G(i，k+n_c)(y))≤τ_y

列约束条件：RMS(D(i，k+1)(x)，D(i，k+2)(x)，…，D(i，k+n_c)(x))≤τ_x

其中，约束模型中的x和y分别代表每组开关的组头区域中心点处的行坐标和列坐标，RMS(·)函数代表均方根误差；

表示相邻两组区域中心在y方向的差，1≤m≤n_c，τ_y、τ_x分别为行约束和列约束的阈值。

所述步骤6)，具体为：

对二值图像进行形态学滤波，具体为：

其中符号

表示形态学滤波的膨胀运算；/>

表示形态学滤波的膨胀运算；“.”表示闭运算符号；B表示形态学运算的结构元素，/>

为二值图像，/>

为形态学滤波后的二值图像。

所述步骤7)，具体为：

确定n组开关的区域组成员区域数目；

当第j组(1≤j≤n)开关的组成员区域数目为1个，，则第j组开关处于断开状态；

当第j组开关的组成员区域数目为2个或者大于2个，则抽取前两块面积最大的组成员区域，第j组组头区域和两块面积最大的组成员区域分别记为{G(j₁)，G(j₂)，G(j₃)}，这三部分区域的中心位置分别记为：

相邻两个中心位置相互组合，得到两组向量

并计算两组向量组成的夹角θ_j，判定开关处于开闭状态；

所述计算两组向量组成的夹角θ_j，具体为：

其中，τ_θ表示预先设定的角度阈值；

如果θ_j≤τ_θ，则第j组开关属于闭合状态；反之θ_j＞τ_θ，则属于断开状态。

本发明具有以下有益效果及优点：

1.本发明方法利用Canny边缘检测和霍夫变换方法，快速提取出面板开关阵列的矩形目标区域；

2.本发明方法能够充分利用开关序列在水平和垂直方向的几何约束信息来对分割出的开关区域聚类；

3.本发明方法采用区域内的中心位置，利用向量间夹角作为判别性特征来识别开关状态。

附图说明

图1为发明方法流程图；

图2为任意视角下拍摄的配电柜开关序列图像示例；

图3为经过透视投影变换后的配电柜开关图像示例；

图4为背景移除后的配电柜开关图像示例；

图5为经过形态学滤波后的二值图像示例；

图6为视觉自动识别后的开关检测结果图示例。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1～2所示，为本申请的方法流程图，具体实现过程包括以下步骤：

1)在配电柜面板的四个角点处分别设置边界特征点，获取含有边界特征点的配电柜图像；配电柜图像包含开关序列；

2)提取配电柜图像中的边界特征点；若提取边界特征点失败，则返回步骤1)重新提取边界特征点，反之，若边界特征点提取成功，则进入到下一步骤；

3)对含有边界特征点的配电柜图像进行透视投影变换，得到矫正后的配电柜目标图像；

4)对矫正后的配电柜目标图像进行目标区域背景移除，提取包含开关序列的目标区域二值图像；

5)对二值图像通过聚类进行分组，得到开关序列中每组开关的组头区域和组成员区域；

6)对二值图像进行形态学滤波；

7)对经形态学滤波后的二值图像中组头区域和组成员区域进行判别性特征，识别开关的开闭状态。

如图2所示，在配电柜的四个角点处分别设置边界特征点，具体包括以下步骤：

步骤1.1：在配电柜面板的四个角点处分别贴上相同大小的黑色圆状贴纸；

步骤1.1.1：制作具有相同半径的四个黑色圆状贴纸；

步骤1.1.2：将贴纸贴在配电柜面板矩形边框区域的四个角点处，

如图3所示，为本申请经过透视投影变换后的配电柜开关图像，具体通过以下步骤实现：

首先提取配电柜图像的边界特征点，具体包括以下步骤：

步骤1：通过Canny边缘检测方法提取配电柜图像中的边缘信息；

步骤2：将边缘信息通过霍夫变换提取配电柜图像边缘的四个角点位置，即边界特征点。

步骤1中通过Canny边缘检测方法提取图像的边缘信息，具体包括以下步骤：

步骤1.1：预先设定RGB阈值来提取配电柜图像的角点区域；配电柜面板的图像边缘为图像边框；

步骤1.2：通过Canny边缘检测方法来提取角点区域的边界特征点边缘信息，即边界特征点区域轮廓。

步骤2中利用霍夫变换计算得到配电柜面板图像中边界特征点区域轮廓的中心点坐标，即边界特征点，

记为{P₁，P₂，P₃，P₄}，

其中，P₁＝(x₁，y₁)为图像边框左上方的角点坐标，P₂＝(x₂，y₂)为图像边框右上方的角点坐标，P₃＝(x₃，y₃)为图像边框左下方的角点坐标，P₄＝(x₄，y₄)为图像边框右下方的角点坐标。

步骤3)，具体包括以下步骤：

通过透视投影变换后四个边界特征点对应坐标

其中/>

为变换后图像边框左上方的角点坐标；/>

为变换后图像边框右上方的角点坐标；/>

为变换后图像边框左下方的角点坐标；/>

为变换后图像边框右下方的角点坐标；

根据边界特征点{P₁，P₂，P₃，P₄}和透视投影变换后的边界特征点

计算透视投影变换矩阵T，计算模型如下：

其中，

为变换后图像边框边界特征点的横坐标，/>

为变换后图像边框角点的纵坐标，x_i为图像边框的角点横坐标，y_i为图像边框的角点纵坐标；

对原始的配电柜图像Img_ori中每个点I＝(x，y)计算，得到对应的透视投影变换后的每个点

进而得到透视投影变换后的校正后的配电柜目标图像Img_new，即如图3所示的图像。

如图4所示，为本申请基于阈值分析的区域内目标背景移除的图像，包含以下实现过程：

步骤2.1：对透视变换后的图像Img_new做背景移除，设定背景区域的RGB三通道颜色差分阈值{T_rg，T_gb，T_rb}，如果Img_new中

点处的RGB分量/>

分量满足

则

属于背景区域，并将/>

分别赋值为0(纯黑色)，如附图4所示。

步骤2.2：提取开关序列的目标区域”，在背景移除的基础上，再次设定前景区域的RGB三通道颜色差分阈值{F_rg，F_gb，F_rb}，如果Img_new中

点处的RGB分量/>

分量满足

则

属于开关序列对应的目标区域，将/>

分别赋值为255(纯白色)。

如图2所示，基于开关阵列几何约束的目标区域聚类，经过背景移除后，将生成二值图像

背景区域是纯黑色，前景区域是纯白色。如附图2所示，需要对分割出的白色区域进行分组，将属于同一开关的区域分在一组中。包含以下实现过程：

步骤3.1：确定每组开关的组头区域；假定配电柜面板上有n_r行、n_c列开关，则面板上开关的总体数量是n_c·n_r。显而易见，开关组头的数量也是n_c·n_r。遍历二值图

中所有开关区域/>

按行寻找开关组头区域，其模型为：

开关组头区域满足如下的两个约束条件：

行约束条件：RMS(G(i，k)(y)，G(i，k+1)(y)，…，G(i，k+n_c)(y))≤τ_y

列约束条件：RMS(D(i，k+1)(x)，D(i，k+2)(x)，…，D(i，k+n_c)(x))≤τ_x

其中，约束模型中的x和y分别代表区域内中心点处的行坐标和列坐标RMS(·)函数代表均方根误差；

表示相邻两组区域中心在y方向的差。

步骤3.2：在确定了开关组头区域的基础上，利用最近邻方法来确定该区域的分组属性，确定每组开关的组成员区域。

如图5所示，为本申请经过形态学滤波后的二值图像，具体为：

由于图像中存在噪声因素，分割出的前景区域会存在内部空洞问题，进而导致过分割而造成开关状态识别失败的结果。为此，本专利采用形态学滤波的闭运算方法，其模型为

其中，符号

表示形态学滤波的膨胀运算；/>

表示形态学滤波的膨胀运算；“.”表示闭运算符号；B表示形态学运算的结构元素，/>

为二值图像，/>

为形态学滤波后的二值图像。

如图6所示，为识别结果图，步骤7)中，对经形态学滤波后的二值图像中组头区域和组成员区域进行判别性特征，识别开关的开闭状态

确定n组开关的区域组成员区域数目；

当第j组(1≤j≤n)开关的组成员区域数目为1个，，则第j组开关处于断开状态；

当第j组开关的组成员区域数目为2个或者大于2个，则抽取前两块面积最大的组成员区域，第j组组头区域和两块面积最大的组成员区域分别记为{G(j₁)，G(j₂)，G(j₃)}，这三部分区域的中心位置分别记为：

相邻两个中心位置相互组合，得到两组向量

并计算两组向量组成的夹角θ_j，判定开关处于开闭状态；

所述计算两组向量组成的夹角θ_j，具体为：

其中，τ_θ表示预先设定的角度阈值；

如果θ_j≤τ_θ，则第j组开关属于闭合状态；反之θ_j＞τ_θ，则属于断开状态。

Claims (10)

1.一种基于视觉的配电柜开关状态自动识别方法，其特征在于，包括以下步骤：

1)在配电柜面板的四个角点处分别设置边界特征点，获取含有边界特征点的配电柜面板图像；所述配电柜面板图像包含开关序列；

2)提取配电柜图像中的边界特征点；若提取边界特征点失败，则返回步骤1)重新提取边界特征点，反之，若边界特征点提取成功，则进入到下一步骤；

3)对含有边界特征点的配电柜图像进行透视投影变换，得到矫正后的配电柜目标图像；

4)对矫正后的配电柜目标图像进行目标区域背景移除，提取包含开关序列的目标区域二值图像；

5)对二值图像通过聚类进行分组，得到开关序列中每组开关的组头区域和组成员区域；

6)对二值图像进行形态学滤波；

7)对经形态学滤波后的二值图像中组头区域和组成员区域进行判别性特征提取，识别开关的开闭状态。

2.根据权利要求1所述的一种基于视觉的配电柜开关状态自动识别方法，其特征在于，所述步骤2)中提取配电柜图像的边界特征点，具体包括以下步骤：

步骤1：通过Canny边缘检测方法提取配电柜图像中的边缘信息；

步骤2：将边缘信息通过霍夫变换提取配电柜图像边缘的四个角点位置，即边界特征点。

3.根据权利要求2所述的一种基于视觉的配电柜开关状态自动识别方法，其特征在于，所述步骤1中通过Canny边缘检测方法提取图像的边缘信息，具体包括以下步骤：

步骤1.1：预先设定RGB阈值来提取配电柜图像的角点区域；配电柜图像边缘为图像边框；

步骤1.2：通过Canny边缘检测方法来提取角点区域的边界特征点边缘信息，即边界特征点区域轮廓。

4.根据权利要求2所述的一种基于视觉的配电柜开关状态自动识别方法，其特征在于，所述步骤2中利用霍夫变换计算得到配电柜图像中边界特征点区域轮廓的中心点坐标，即边界特征点，

记为{P₁,P₂,P₃,P₄}，

其中，P₁＝(x₁,y₁)为图像边框左上方的角点坐标，P₂＝(x₂,y₂)为图像边框右上方的角点坐标，P₃＝(x₃,y₃)为图像边框左下方的角点坐标，P₄＝(x₄,y₄)为图像边框右下方的角点坐标。

5.根据权利要求1或4所述的一种基于视觉的配电柜开关状态自动识别方法，其特征在于，步骤3)，具体包括以下步骤：

通过透视投影变换后四个边界特征点对应坐标

其中/>

为变换后图像边框左上方的角点坐标；/>

为变换后图像边框右上方的角点坐标；

为变换后图像边框左下方的角点坐标；/>

为变换后图像边框右下方的角点坐标；

根据边界特征点{P₁,P₂,P₃,P₄}和透视投影变换后的边界特征点

计算透视投影变换矩阵T，计算模型如下：

其中，

为变换后图像边框边界特征点的横坐标，/>

为变换后图像边框角点的纵坐标，x_i为图像边框的角点横坐标，y_i为图像边框的角点纵坐标；

对原始的配电柜图像Img_ori中每个点I＝(x,y)计算，得到对应的透视投影变换后的每个点

进而得到透视投影变换校正后的配电柜目标图像Img_new。

6.根据权利要求1所述的一种基于视觉的配电柜开关状态自动识别方法，其特征在于，所述步骤4)对矫正后的配电柜目标图像进行目标区域背景移除，具体包括以下步骤：

对Img_new做背景移除，设定背景区域的RGB三通道颜色差分阈值{T_rg,T_gb,T_rb}；

如果Img_new中

点处的RGB分量/>

满足

则

构成的为背景区域，并将/>

分别赋值为0；

在背景移除的基础上，再次设定前景区域的RGB三通道颜色差分阈值{F_rg,F_gb,F_rb}；

如果Img_new中

点处的RGB分量/>

满足

则

构成开关序列对应的目标区域，将/>

分别赋值为255，得到前景区域；

生成开关序列的目标区域的二值图像

7.根据权利要求1所述的一种基于视觉的配电柜开关状态自动识别方法，其特征在于，所述步骤5)对二值图像通过开关区域聚类进行分组，具体包括以下步骤：

步骤1：确定每组开关的组头区域；

步骤2：根据组头区域通过最近邻方法来得到每组开关的组成员区域。

8.根据权利要求7所述的一种基于视觉的配电柜开关状态自动识别方法，其特征在于，所述确定每组开关的组头区域，具体为：

配电柜面板上有n_r行、n_c列开关构成开关序列，则配电柜面板上开关的总体数量是n_c·n_r，即开关数量为n_c·n_r；

根据得到的二值图像

中所有开关区域/>

按行寻找开关组头区域，其模型为：

当某区域同时满足如下的两个约束条件时，则该区域为组头区域，所述组头区域中的开关区域即为每组开关的组头区域：

行约束条件：RMS(G(i,k)(y),G(i,k+1)(y),…,G(i,k+n_c)(y))≤τ_y

列约束条件：RMS(D(i,k+1)(x),D(i,k+2)(x),…,D(i,k+n_c)(x))≤τ_x

其中，约束模型中的x和y分别代表每组开关的组头区域中心点处的行坐标和列坐标，RMS(·)函数代表均方根误差；

表示相邻两组区域重心在y方向的差，1≤m≤n_c，τ_y、τ_x分别为行约束和列约束的阈值。

9.根据权利要求1所述的一种基于视觉的配电柜开关状态自动识别方法，其特征在于，所述步骤6)，具体为：

对二值图像进行形态学滤波，具体为：

其中符号

表示形态学滤波的膨胀运算；/>

表示形态学滤波的膨胀运算；“·”表示闭运算符号；B表示形态学运算的结构元素，/>

为二值图像，/>

为形态学滤波后的二值图像。

10.根据权利要求1所述的一种基于视觉的配电柜开关状态自动识别方法，其特征在于，所述步骤7)，具体为：

确定n组开关的区域组成员区域数目；

当第j组(1≤j≤n)开关的组成员区域数目为1个，则第j组开关处于断开状态；

当第j组开关的组成员区域数目为2个或者大于2个，则抽取前两块面积最大的组成员区域，第j组组头区域和两块面积最大的组成员区域分别记为{G(j₁),G(j₂),G(j₃)}，这三部分区域的中心位置分别记为：

相邻两个中心位置相互组合，得到两组向量

并计算两组向量组成的夹角θ_j，判定开关处于开闭状态；

所述计算两组向量组成的夹角θ_j，具体为：

其中，τ_θ表示预先设定的角度阈值；

如果θ_j≤τ_θ，则第j组开关属于闭合状态；反之θ_j＞τ_θ，则属于断开状态。

Images