CN112614094A - 基于序列状态编码的绝缘子串异常定位识别方法 - Google Patents

Abstract

本发明涉及一种基于序列状态编码的绝缘子串异常定位识别方法，包含：采集电网绝缘子图像数据并通过处理来获取样本数据；利用样本数据对神经网络进行卷积训练，提取并融合不同尺度的特征向量来获取绝缘子串位置和倾斜角度信息；通过仿射变换将倾斜绝缘子串转换成水平绝缘子串，对绝缘子串图像数据加注标签生成序列状态编码；利用CNN网络提取绝缘子串编码特征向量，利用双向长短记忆BiLSTM网络对特征向量进行识别，获取每列特征的label序列和预测序列，通过优化两者之间的误差来训练模型；利用模型获取绝缘子串识别序列状态编码，通过反向操作获取绝缘子串分块识别结果并通过合并对绝缘子异常定位识别。本发明可适用于复杂场景下的绝缘子串异常定位和判别。

Description

基于序列状态编码的绝缘子串异常定位识别方法

技术领域

本发明属于电网线路检测维护技术领域，特别涉及一种基于序列状态编码的绝缘子串异常定位识别方法。

背景技术

绝缘子作为输电线路重要的组成部件，其功能完整性对电网的安全运行至关重要。为了保证其功能稳定，需要定期巡检以查找出存在故障或缺损的绝缘子。目前常用的绝缘子异常检测方法有人工巡检法、图像特征分析法和神经网络检测法。人工巡检法：通过巡检人员穿戴好巡检设备，现场判别绝缘子是否存在异常问题。该方法存在明显的缺陷：1、巡检人员存在一定的人身安全问题；2、绝缘子安放在较高或人员难以接近的地方，判别异常困难；3、巡检人员长时间工作易出现视觉疲劳，易出现误判的情况。4、人工巡检速度慢。图像特征分析法：这类方法是早期绝缘子检测常用的方法，该方法需要人为的设定绝缘子的某些特征(例：纹理轮廓、区域色差等)，然后利用传统的图像处理技术提取这些特征并进行特征比对分析，判断出绝缘子是否存在破损或缺失等异常。这类方法的优点是针对相同的特征不存在误判问题，相比人工巡检节省了人力、更好保障了巡检人员的安全，提高了检测效率。但该类方法同样存在缺陷：随着绝缘子种类、数量和环境复杂度的增加，人为设定的特征变得复杂且不能较好的适用于每一类绝缘子，导致绝缘子检测的精准度下降。神经网络检测法：人工神经网络(Artificial Neural Networks，ANN)是仿生学的产物，是由众多的神经元通过可调的连接权值连接而成，具有良好的自组织自学习能力。常用的绝缘子检测方法分为两种：基于候选区域的two-stage目标检测方法(例：Fast R-CNN和Faster R-CNN)，该类方法首先利用网络生成候选框，然后根据候选框进行坐标回归预测；类似YOLO或SSD的one-stage目标检测方法，该类方法仅使用一个卷积神经网络直接预测不同目标的类别和位置。上述两种方法都使用正矩形框检测绝缘子串且更注重绝缘子串的局部信息，在理想的条件下能够达到较好的检测效果。由于绝缘子串的长宽比和倾斜角度变化大，所以当背景图像复杂时，在利用正矩形框提取的绝缘子串图像中，绝缘子串只占提取图像的很少一部分，并且提取图像中包含大量的干扰物，这些干扰对异常绝缘子的检测带来很大难度。又如，利用航拍绝缘子图像制作绝缘子数据集和故障数据集，以改进YOLOv3和YOLOv3-tiny相结合构成检测框架，训练绝缘子和故障检测模型，进行绝缘子和故障的检测；其直接在整张图像上检测异常绝缘子，容易出现误检导致检测准确度降低，就算改成先定位绝缘子、再进行异常定位，当绝缘子串较长且倾斜角度较大的情况下，该方法使用矩形框定位绝缘子，提取的图像也会存在大量干扰，也不利于异常定位。

发明内容

为此，本发明提供一种基于序列状态编码的绝缘子串异常定位识别方法，对背景复杂且倾斜角度较大的绝缘子串具有较强的定位和判别能力，能够适用于复杂场景下的绝缘子串异常定位和判别，提高识别效率，为电网维修提供可靠技术支持。

按照本发明所提供的设计方案，一种基于序列状态编码的绝缘子串异常定位识别方法，包含如下内容：

采集电网绝缘子图像数据，并对图像数据进行标准化预处理，获取样本数据；

利用神经网络对样本数据进行卷积训练，提取并融合不同尺度的特征向量；利用融合后的特征向量获取绝缘子串位置和倾斜角度信息；通过仿射变换将倾斜绝缘子串转换成水平绝缘子串，并对样本数据中绝缘子串图像数据通过加注标签生成序列状态编码；

利用CNN提取绝缘子串编码特征向量，利用双向长短记忆BiLSTM网络对特征向量进行识别，获取每列特征的label序列和预测序列，通过优化两者之间的误差进行训练模型；利用训练后的模型获取绝缘子串识别序列状态编码；

对识别序列状态编码进行反向操作获取绝缘子串分块识别结果，合并相邻状态块来对绝缘子异常进行定位识别。

作为本发明基于序列状态编码的绝缘子串异常定位识别方法，进一步的，利用电网监控摄像头和/或无人机拍摄来采集绝缘子图像数据。

作为本发明基于序列状态编码的绝缘子串异常定位识别方法，进一步地，利用ResNet50 神经网络对样本数据进行卷积训练来提取不同尺度的特征向量；并结合特征金字塔FPN网络将不同尺度的特征图进行融合；针对融合后的图像数据，利用STD算法进行定位检测获取绝缘子串位置和倾斜角度信息。

作为本发明基于序列状态编码的绝缘子串异常定位识别方法，进一步地，利用STD算法进行定位检测中，依据设定的四个外接点获取外接矩形，并依据边长尺寸将外接矩形分割为若干绝缘子方框，通过绝缘子方框中轴线、边长和倾斜角度来获取绝缘子方框的位置；根据绝缘子中心线分割图得到绝缘子实例。

作为本发明基于序列状态编码的绝缘子串异常定位识别方法，进一步地，以正样本点为极点，以水平向右为极轴，建立极坐标系；依据极坐标系得到中心线到点的极坐标；依据正样本点坐标和点的极坐标来获取正样本点到中心线的垂足坐标；并依据获取的所有垂足坐标来构建中心线。

作为本发明基于序列状态编码的绝缘子串异常定位识别方法，进一步地，绝缘子按照类别不同划分为正常绝缘子、缺损绝缘子和带有异物绝缘子；对不同尺寸绝缘子串进行等比例缩放到固定高度，再以固定宽度对绝缘子串按类别进行分块编码；得到的编码序列即为绝缘子串序列状态编码。

作为本发明基于序列状态编码的绝缘子串异常定位识别方法，进一步地，基于方块的乱序重采样对编码后的绝缘子串图像数据进行数据增强，以扩充用于CNN网络训练的样本数据。

作为本发明基于序列状态编码的绝缘子串异常定位识别方法，进一步地，基于方块的乱序重采样进行数据增强中，将仿射后的绝缘子图像数据作为底图，从底图的拷贝上按块切成若干子图；将状态正常的块按底图设定方式进行比对，将子图替换到底图中位置，并结合加权融合过渡，对状态不正常块随机放置到任意位置，以实现数据增广。

作为本发明基于序列状态编码的绝缘子串异常定位识别方法，进一步地，模型训练推理时，利用CNN网络对绝缘子串图像数据进行卷积操作，提取绝缘子串编码特征向量并通过 BiLSTM网络获取每列特征的预测序列。

作为本发明基于序列状态编码的绝缘子串异常定位识别方法，进一步地，依据绝缘子串位置及绝缘子串序列状态对绝缘子区域按序列状态长度进行等分，得到每个分块内绝缘子类别，合并相邻且状态相同的分块，得到正常绝缘子区域和异常绝缘子区域，实现绝缘子串异常定位识别。

本发明的有益效果：

本发明通过级联式方案将绝缘子串定位和识别有效结合，可以接受任意尺寸的图像输入，对背景复杂且倾斜角度较大的绝缘子串具有较强的定位和判别能力，提高识别效率和准确度，降低电网维护作业成本，为电网维修提供可靠技术支持，具有较好的应用前景。

附图说明：

图1为实施例中绝缘子串异常定位识别流程示意；

图2为实施例中绝缘子串异常定位识别实现算法流程示意；

图3为实施例中STD算法文本框表示示意；

图4为实施例中绝缘子中心点特性示意；

图5为实施例中极坐标的直线表示示意；

图6为实施例中绝缘子串定位网络结构示意；

图7为实施例中绝缘子串编码示意；

图8为实施例中绝缘子串增广示意；

图9为实施例中绝缘子串识别网络结构示意；

图10为实施例中未合并分块与合并分块的差别对比示意；

图11为实施例中绝缘子串异常定位判别结果示意。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

本发明实施例，参见图1所示，提供一种基于序列状态编码的绝缘子串异常定位识别方法，包含如下内容：

S101、采集电网绝缘子图像数据，并对图像数据进行标准化预处理，获取样本数据；

S102、利用神经网络对样本数据进行卷积训练，提取并融合不同尺度的特征向量；利用融合后的特征向量获取绝缘子串位置和倾斜角度信息；通过仿射变换将倾斜绝缘子串转换成水平绝缘子串，并对样本数据中绝缘子串图像数据通过加注标签生成序列状态编码；

S103、利用CNN网络对绝缘子串图像数据进行卷积操作，提取绝缘子串编码特征向量并通过BiLSTM网络获取每列特征的label序列和预测序列，通过优化两者之间的误差进行训练模型；利用训练后的模型获取绝缘子串识别序列状态编码；

S104、对识别序列状态编码进行反向操作获取绝缘子串分块识别结果，合并相邻状态块来对绝缘子异常进行定位识别。

通过级联式方案将绝缘子串定位和识别有效结合，可以接受任意尺寸的图像输入，对背景复杂且倾斜角度较大的绝缘子串具有较强的定位和判别能力。

作为本发明实施例中的基于序列状态编码的绝缘子串异常定位识别方法，进一步的，利用电网监控摄像头和/或无人机拍摄来采集绝缘子图像数据。

可通过无人机采集绝大部分绝缘子图像，对于无人机不便于采集的绝缘子，通过安装摄像头进行采集图像。之后，将采集的图像传入到计算机进行处理。

作为本发明实施例中的基于序列状态编码的绝缘子串异常定位识别方法，进一步地，利用ResNet50神经网络对样本数据进行卷积训练来提取不同尺度的特征向量；并结合特征金字塔FPN网络将不同尺度的特征图进行融合；针对融合后的图像数据，利用STD算法进行定位检测获取绝缘子串位置和倾斜角度信息。

参见图2所示，利用ResNet50神经网络对样本数据进行卷积训练，获取不同尺度的特征图；采用FPN网络思想将不同尺度的特征图进行融合，使融合特征图获得不同尺度的特征信息和感受野，用于处理不同尺寸大小的绝缘子实例；利用融合特征图回归得到绝缘子实例的二值化图，获取绝缘子串的位置和倾斜角度信息。

作为本发明实施例中基于序列状态编码的绝缘子串异常定位识别方法，进一步地，利用 STD算法进行定位检测中，依据设定的四个外接点获取外接矩形，并依据边长尺寸将外接矩形分割为若干绝缘子方框，通过绝缘子方框中轴线、边长和倾斜角度来获取绝缘子方框的位置；根据绝缘子中心线分割图得到绝缘子实例。

STD算法是一种基于语义特征的任意方向场景文本检测算法。该算法对文本框进行重构，消除文本框宽高比变化大、形状不规则的影响。该算法将完整文本框表示为多个小方框，如图3所示，设原始文本框的标注信息为四个外接点G＝{(xi,yi)；i＝0,1,2,3}，首先求取四个点的外接矩形ABCD，设矩形长边和短边分别为L、S；以S为边长将文本行分割为n个小方框，

其中

表示对x向上取整，最后一个矩形框为从后往前取的重叠框，如图n取5。标签信息包括：每个小方框的中心点位置、边长和倾斜角，以及多个框的中心线，倾斜角θ取小方框与水平方向的夹角。预测时的流程为通过小方框的中心点、边长和倾斜角度可以得到小方框的位置，然后根据文本框中心线分割图得到文本框实例。由于绝缘子与一般的文本纹理存在差异，其纹理表现为连续性和一致性，不像文本那样分离。针对这一特点，可基于极坐标的表示方法，将绝缘子中心点的回归改进为绝缘子中轴线的回归。本案实施例中，以正样本点为极点，以水平向右为极轴，建立极坐标系；依据极坐标系得到中心线到点的极坐标；依据正样本点坐标和点的极坐标来获取正样本点到中心线的垂足坐标；并依据获取的所有垂足坐标来构建中心线。

STD算法中，检测框被表示为多个小方框的集合，需要回归小方框的中心位置以及小方 框内正样本坐标到中心位置的x，y偏移量。中文文字基本形状为方正，中心位置往往处于文 字纹理中心(如图4a)，基于局部纹理可以定位文字纹理中心；而绝缘子具有重复且连续的 特征，基于局部纹理无法支撑绝缘子纹理中心，例如：矩形区域(如图4c)与中心位置(如 图4b)具有相似的局部纹理，既矩形区域中任意一处都可以作为绝缘子纹理中心。显然强行 回归该中心位置以及正样本点到该中心位置的偏移量会引起训练损失值激荡，难以收敛。本 案实施例中，将回归中心位置改为回归中心线的高斯分布，其次将回归正样本点到中心位置 的x，y坐标偏移，改为以正样本点为极点,以水平向右为极轴，建立极坐标系，求出中心线 到该点的极坐标表示(ρ,l),其中l可以复用角度热力图中的值，故此处仅需要回归值ρ即可， 如图5表示。

由任意两个中心点坐标可计算出中心线的方程，中心线的方程可由公式表示：

Ax+By+C＝0

其中A和B不同时为0。假设O点的坐标为O(x₀,y₀)，则O点到中心线的距离ρ可由公式表示为：

上式中ρ有正负之分，正负表示在该点在中心线的不同侧。

在预测时，假设一个正样本点坐标为(x₁，y₁)，该点的极坐标表示为(ρ,l)，可以计算出正样本点到中心线的垂足坐标(x，y)，由以下公式表示为：

x＝|ρ|sin(l)+x₁

y＝|ρ|cos(l)+y₁

所有计算出的垂足坐标可构成中心线。即可回避回归小方框中心点时训练难以收敛问题。且，点和线的关系使用极坐标系表示，具有更好的连续性，并将(x,y)的回归减少为ρ的回归，提高了回归效率。

绝缘子串区域定位是对样本数据中绝缘子串区域进行定位的过程。本案实施例中，利用改进的STD算法定位绝缘子，参见图2和图6所示，使用ResNet50网络对样本图像进行卷积操作，得到各层特征向量；然后借鉴FPN思想由高层上采样和低层特征进行合并，得到融合特征图；在此特征图上预测小方框的中心线、边长和倾斜角度，重构小方框得到绝缘子实例的分割图，定位出绝缘子。图6中，虚线框表示改进的网络结构。原方法将卷积5阶段提取的特征图F5进行2倍上采样，与卷积4阶段特征图F4合并，再进行Convolution、BatchNorm 等操作得到特征图F10；类似地将特征图F10进行2倍上采样，与卷积3层提取的特征图F3 进行合并，之后进行Convolution、batchNorm等操作；重复以上操作直到卷积1层结束，得到特征图F13。利用此特征图预测小方框的中心点、边长和倾斜角度。

考虑到部分待检测目标尺度相差较大，本案除采用上述方式融合特征之外，还可按照特征金字塔的设计原则，对卷积5至2阶段的特征合并图进行16倍、8倍、4倍和2倍上采样，得到特征图F6、F7、F8和F9，之后将上采样得到的特征图与卷积1层提取的特征图合并。该特征提取方式与原方式相比，特征图包含更多不同尺度的信息，有利于检测不同尺度的目标和提高检测的召回率。绝缘子定位的具体流程是：利用骨干网络ResNet50提取输入图像的特征图，分别为相当于输入图像尺度比率1/2的特征图F1、1/4的特征图F2、1/8的特征图 F3、1/16的特征图F4和1/32的特征图F5；借鉴FPN思想对特征图从高层到低层进行融合。将卷积5阶段提取的特征图F5进行2倍上采样，与卷积4阶段特征图F4合并，再进行Convolution、BatchNorm等操作得到特征图F10；类似地将特征图F10进行2倍上采样，与卷积3层提取的特征图F3进行合并，之后进行Convolution、batchNorm等操作；重复以上操作直到卷积1层结束，得到特征图F13。对卷积5至2阶段的特征合并图进行16倍、8倍、4 倍和2倍上采样，得到特征图F6、F7、F8和F9。将特征图F6、F7、F8、F9和F13合并得到特征图F14。在特征图F14上预测回归小方框的中心线、边长和角度信息，以中心线上的每个点作为小方框的中心点，结合边长和角度信息重构所有的小方框，采用非极大值抑制算法(NMS)筛选并合并小方框，得到绝缘子实例分割框的坐标，即定位出了绝缘子。

作为本发明实施例中基于序列状态编码的绝缘子串异常定位识别方法，进一步地，绝缘子按照类别不同划分为正常绝缘子、缺损绝缘子和带有异物绝缘子；对不同尺寸绝缘子串进行等比例缩放到固定高度，再以固定宽度对绝缘子串按类别进行分块编码；得到的编码序列即为绝缘子串序列状态编码。

绝缘子串仿射变换主要是把倾斜绝缘子串转换成水平绝缘子串。一是便于人工标注绝缘子串的序列状态，训练绝缘子识别网络模型；二是在训练好识别模型的条件下，用于测试绝缘子串序列状态。假设将绝缘子按照类别不同简单分为三类：正常绝缘子(标签为0)、缺损绝缘子(标签为1)和带有异物的绝缘子(标签为2)。对不同尺寸的绝缘子串进行等比例缩放操作到固定高度(假设高度为80像素)，再以固定宽度(假设宽度为80像素)对绝缘子串按照类别进行分块编码。得到的编码序列即为该绝缘子串的序列状态，序列长度表示该绝缘子串分块数量，第n个数字表示第n分块的类别。绝缘子串序列状态的编码方式可如图7所示，图中有a-e五张绝缘子串图像及其标签。如图a所示，以尺寸为80*80像素的块对绝缘子串分块编码，第一个块对应的绝缘子图像存在异物，类别为2；第二个块对应的绝缘子图像正常，类别为0；第三个块对应的绝缘子图像出现破损，类别为1。

作为本发明实施例中的基于序列状态编码的绝缘子串异常定位识别方法，进一步地，基于方块的乱序重采样对编码后的绝缘子串图像数据进行数据增强，以扩充用于CNN网络训练的样本数据。进一步地，基于方块的乱序重采样进行数据增强中，将仿射后的绝缘子图像数据作为底图，从底图的拷贝上按块切成若干子图；将状态正常的块按底图设定方式进行比对，将子图替换到底图中位置，并结合加权融合过渡，对状态不正常块随机放置到任意位置，以实现数据增广。

由于正常状态的绝缘子具有良好的一致性，通过编码过后的数据可以实现基于方块的乱序重采样，具体流程可描述如下：

1.将经过仿射变化之后的绝缘子作为底图或称为模板图，从底图的拷贝上按照小块切成 n份又称为子图；

2.以灰度归一化积相关算法将状态正常的小块按照底图从左到右的方式进行比对；具体流程如下：

1)将子图与模板图的灰度做方差和均值归一化处理；

2)从左到右遍历模板，从中获取子图大小的区域，将这个区域的像素按照列顺序组成一个特征向量

以同样方式获取子图的特征向量

3)两特征向量做余弦计算得到匹配值T。T经验值取0.7，则表示匹配。通过该方式随机的把子图替换到模板中新的位置，结合处使用加权融合的方式过渡，对于状态不正常的小块可以随机的放置到任意位置。

3.通过以上的数据增广方式，可以将数据扩充到数十倍。有利于绝缘子串识别的泛化性能提升。如图8所示，其中“*”位置的方块替换到了不同的位置，实现了数据增广，以增强绝缘子串识别模型的泛化能力。

作为本发明实施例中的基于序列状态编码的绝缘子串异常定位识别方法，进一步地，针对提取的绝缘子串编码特征向量，利用双向长短记忆BiLSTM网络对特征向量进行识别，获取每列特征的label和预测序列，通过优化两者之间的误差进行训练模型；模型训练推理时，利用CNN网络对绝缘子串图像数据进行卷积操作，提取绝缘子串编码特征向量并通过 BiLSTM网络获取每列特征的预测序列。

绝缘子串序列状态识别是对样本数据中的单个绝缘子串进行识别的过程。首先利用CNN 网络提取绝缘子串编码图像的特征向量；然后利用BLSTM网络识别特征向量，获得每列特征的概率分布；最后利用CTC算法求解最优的预测序列，得到绝缘子串的识别结果。绝缘子串识别的网络结构如图9所示，使用CNN卷积网络对文本行图像进行卷积操作，获得特征图，再利用Map-to-Sequence将特征图转换成特征向量；利用双向LSTM算法对特征向量进行识别，得到每列特征的预测序列；利用CTC算法求解最优的预测序列，得到绝缘子串识别结果。其中，CTC算法求解最优的过程可描述如下：

1)将得到的预测序列y＝y₁,y₂,......,y_T，输入到CTC算法中，其中T代表序列的长度，每一个

代表一种在集合L′上的概率分布，L′＝L∪{blank}是任务中所有可能的预测序列。

2)通过序列到序列的函数β函数，首次移除重复预测序列和blank空白序列，其中π∈L′^T，T代表长度，即β(π)＝l；识别的条件概率定义为所有π的条件概率之和，即

有效地利用前向后向算法进行计算。

3)网络训练，训练数据集X＝{I_i,l_i}，I_i代表训练水平绝缘子串行图像，l_i代表实际的绝缘子串序列。目的是使得实际绝缘子串序列的的负对数最小，即

作为本发明实施例中的基于序列状态编码的绝缘子串异常定位识别方法，进一步地，依据绝缘子串位置及绝缘子串序列状态对绝缘子区域按序列状态长度进行等分，得到每个分块内绝缘子类别，合并相邻且状态相同的分块，得到正常绝缘子区域和异常绝缘子区域，实现绝缘子串异常定位识别。

由定位中得到的绝缘子串区域坐标和识别中得到的绝缘子串序列状态，对绝缘子区域按照序列状态的长度等分，可得到每个分块内绝缘子的类别，如图10(b)所示，合并相邻且状态相同的分块，可得到正常绝缘子的区域和异常绝缘子的区域，如图10(c)所示，完成了绝缘子串的异常定位和判别。

本案实施例中，通过深度学习算法实现复杂场景下的绝缘子串异常定位和判别。选用 ResNet50残差网络作为检测绝缘子的骨干网络，使用残差模块保证了特征信息传递的有效性。选用FPN特征金字塔结构对ResNet50网络提取的特征图进行融合，是为了更好的利用提取的特征图像，同时生成在所有尺度上都具有强语义信息的特征金字塔。这种方式利用顶层特征通过上采样和底层信息融合，融合后的特征图具有高分辨率的浅层和丰富语义信息的深层特征，实现了从单尺度的单张输入图像，快速构建在所有尺度上都具有强语义信息的特征金字塔。因为传统的循环网络(RNN)无法解决长时依赖问题，选用LSTM的变型(双向的BiLSTM 模型)对特征进行训练，由于使用了新的函数来计算隐层状态，并且网络中添加了cell单元来存储当前输入之前的保存状态，将之前的状态、当前的记忆和当前的输入有效地结合在一起，解决了长时依赖问题。假设当前的输入与前后序列都有关系，其网络模型是由两个LSTM上下叠加在一起组成，训练效果更好。把绝缘子串定位网络和绝缘子串识别网络有效结合，通过级联式的算法方案实现绝缘子串的定位和识别，可以接受任意尺寸的图像输入，在复杂背景下对绝缘子串进行有效定位和判别。图11为本案方案在复杂场景下对绝缘子串进行异常定位和判别的结果，可进一步验证本案方案的有效性。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

基于上述的方法或系统，本发明实施例还提供一种网络设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的系统或执行上述的方法。

基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的系统。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/ 或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于序列状态编码的绝缘子串异常定位识别方法，其特征在于，包含如下内容：

采集电网绝缘子图像数据，并对图像数据进行标准化预处理，获取样本数据；

利用样本数据对神经网络进行卷积训练，通过提取并融合不同尺度的特征向量来获取绝缘子串位置和倾斜角度信息；并通过仿射变换将倾斜绝缘子串转换成水平绝缘子串，同时对样本数据中绝缘子串图像数据通过加注标签生成序列状态编码；

利用CNN提取绝缘子串编码特征向量，利用双向长短记忆BiLSTM网络对特征向量进行识别，获取每列特征的label序列和预测序列，通过优化两者之间的误差进行训练模型；利用训练后的模型获取绝缘子串识别序列状态编码；

对识别序列状态编码进行反向操作获取绝缘子串分块识别结果，合并相邻状态块来对绝缘子异常进行定位识别。

2.根据权利要求1所述的基于序列状态编码的绝缘子串异常定位识别方法，其特征在于，利用电网监控摄像头和/或无人机拍摄来采集绝缘子图像数据。

3.根据权利要求1所述的基于序列状态编码的绝缘子串异常定位识别方法，其特征在于，利用ResNet50神经网络对样本数据进行卷积训练来提取不同尺度的特征向量；并结合特征金字塔FPN网络将不同尺度的特征图进行融合；针对融合后的图像数据，利用STD算法进行定位检测获取绝缘子串位置和倾斜角度信息。

4.根据权利要求3所述的基于序列状态编码的绝缘子串异常定位识别方法，其特征在于，利用STD算法进行定位检测中，依据设定的四个外接点获取外接矩形，并依据边长尺寸将外接矩形分割为若干绝缘子方框，通过绝缘子方框中轴线、边长和倾斜角度来获取绝缘子方框的位置；根据绝缘子中心线分割图得到绝缘子实例。

5.根据权利要求4所述的基于序列状态编码的绝缘子串异常定位识别方法，其特征在于，以正样本点为极点，以水平向右为极轴，建立极坐标系；依据极坐标系得到中心线到点的极坐标；依据正样本点坐标和点的极坐标来获取正样本点到中心线的垂足坐标；并依据获取的所有垂足坐标来构建中心线。

6.根据权利要求1所述的基于序列状态编码的绝缘子串异常定位识别方法，其特征在于，绝缘子按照类别不同划分为正常绝缘子、缺损绝缘子和带有异物绝缘子；对不同尺寸绝缘子串进行等比例缩放到固定高度，再以固定宽度对绝缘子串按类别进行分块编码；得到的编码序列即为绝缘子串序列状态编码。

7.根据权利要求1或6所述的基于序列状态编码的绝缘子串异常定位识别方法，其特征在于，基于方块的乱序重采样对编码后的绝缘子串图像数据进行数据增强，以扩充用于CNN网络训练的样本数据。

8.根据权利要求7所述的基于序列状态编码的绝缘子串异常定位识别方法，其特征在于，基于方块的乱序重采样进行数据增强中，将仿射后的绝缘子图像数据作为底图，从底图的拷贝上按块切成若干子图；将状态正常的块按底图设定方式进行比对，将子图替换到底图中位置，并结合加权融合过渡，对状态不正常块随机放置到任意位置，以实现数据增广。

9.根据权利要求1所述的基于序列状态编码的绝缘子串异常定位识别方法，其特征在于，模型训练推理时，利用CNN网络对绝缘子串图像数据进行卷积操作，提取绝缘子串编码特征向量并通过BiLSTM网络获取每列特征的预测序列。

10.根据权利要求1所述的基于序列状态编码的绝缘子串异常定位识别方法，其特征在于，依据绝缘子串位置及绝缘子串序列状态对绝缘子区域按序列状态长度进行等分，得到每个分块内绝缘子类别，合并相邻且状态相同的分块，得到正常绝缘子区域和异常绝缘子区域，实现绝缘子串异常定位识别。

Images