CN113160150B - 线网异物入侵ai检测方法与装置 - Google Patents

Abstract

本发明公开了一种基于多类型样本融合与多复杂网络的线网异物入侵AI检测方法与装置，该检测装置是多类型相机一体化检测装置，包括信息传输设备、控制电路、三种类型相机；三种类型相机由传统相机，可见光相机、点云相机构成，以此完成线网的视野全覆盖。当有异物侵入到线网电路，将被三种类型相机捕获，分别得到传统图像、红外图像、点云图像，信息传输设备负责将三种类型相机采集的图像传送到本地计算机，本地计算机对不同类型的图像进行特征信息的有机融合，得到具有更强更丰富特征要素的三元融合图像，将该三元融合图像输入到训练好的卷积网络与图神经网络融合的多复杂网络，得到该入侵异物的信息，并进行实时的反馈，配合附近工作人员进行后续处理。

Description

线网异物入侵AI检测方法与装置

技术领域

本发明属于智能监测应用技术领域，尤其涉及电网线路的一种基于多类型样本融合与多复杂网络的异物入侵AI检测方法装置。

背景技术

输电线路对整个电力系统至关重要，但其很容易受到外界影响，造成导线散股断股，线塔零部件损坏等现象。线路的巡检方法最开始采用人工巡检，该方法耗时耗力且效率不高；逐渐发展到引入机器人技术进行监测，但由于研发成本高，能耗大而未被广泛采用；如今常采用图像巡检的方法，即通过分析前端摄像头采集的实时图像来监测线网。该图像获取方式通常采用无人机航拍或者提前安装的固定摄像机采集。由于无人机续航时间短，采集数据角度随机性大，所以采用定点摄像机获取图像是相对更优的方式。定点监控图像检测首先将采集的实时图像传回本地计算机，再由工作人员进行分析。人工处理海量数据不仅费时费力，而且准确率不高。随着深度学习技术的发展，在图像识别方面的应用效果显著，所以在实时获取图片的基础上，利用卷积神经网络处理数据，进行异物检测的方法得到了广泛使用，一旦发现隐患则立即通知工作人员，降低异物漏报率的同时节省了人力。

目前在该领域上采用的深度学习技术主要存在着以下方面问题：

一是样本数据集在深度学习技术中至关重要，线网外来异物样本搜集比较困难，因此样本数量少，通常做法是采用数据增广技术，数据增广就是对原始图像进行翻转，平移等，但由于该方法只是对同一目标做变换，因此会影响样本间的多样性，进而影响识别准确率。

二是异物样本数据集通常由传统的可见光图片构成，在实际应用中会存在局限性：

(1)传统可见光图片携带的信息有限，以此训练的网络就不具有从多维度处理数据的能力，造成信息的浪费。例如分析时不注重空间信息，温度信息等要素，这些要素同样具有很强的特征，有利于提高识别率。

(2)考虑实际的光照因素，我们希望系统是全天候的异物检测，但夜晚采集的图片分辨率低，信息丢失严重以至于神经网络无法做出正确的判断，即使安装全天候光源也会耗能严重且不便于维护。

三是该领域深度学习网络通常采用卷积神经网络来进行分析，但其结构中的池化层往往会割裂整体与部分，忽略了相互间的关系，不利于多维的处理信息，并且对目标特征的空间关系提取效果不是很好，识别率可以进一步提高。

发明内容

本发明的目的是提供一种基于多类型样本融合与多复杂网络的线网异物入侵AI检测方法与装置，通过构建融合的多态样本，对传统样本精度低，可识别特征不强的问题进行了优化。并且通过多类型融合网络算法来训练融合数据，进一步提升系统监测数据的精确性和数据的处理能力。

本发明的技术方案是，一种基于多类型样本融合与多复杂网络的线网异物入侵AI检测装置，其特征是：该检测装置是多类型相机一体化检测装置，多类型相机一体化检测装置包括信息传输设备、控制电路、三种类型相机；三种类型相机均与控制电路和信息传输设备连接，控制电路通过接受本地计算机发出的指令控制三种类型相机，信息传输设备负责将三种类型相机采集的图像传送到本地计算机；

所述多类型相机一体化检测装置的承载平台为阶梯状，由低到高依次安装传统相机、红外相机、点云相机，三种类型相机根据实际情况调整在检测装置承载平台上的位置与角度，保证三种类型相机获取的图像内容一致。

一种基于多类型样本融合与多复杂网络的线网异物入侵AI检测方法，其特征是：当有异物侵入到线网电路，将被三种类型相机捕获，分别得到传统图像、红外图像、点云图像，信息传输设备负责将三种类型相机采集的图像传送到本地计算机，本地计算机对不同类型的图像进行特征信息的有机融合，得到具有更强更丰富特征要素的三元融合图像，将该三元融合图像输入到训练好的卷积网络与图神经网络融合的多复杂网络，得到该入侵异物的信息，并进行实时的反馈，配合附近工作人员进行后续处理。

三种类型图像进行有机融合的具体方法如下：

(1)对采集得到的三种类型图像进行预处理：包括图像去噪和图像增强；

图像去噪：参照数理统计中用中值代替样本整体的思想，设定像素规格为4×4的方型选取框，依次平扫对应像素矩阵，对选定区域灰度值数据进行排列，最后选择其中值作为该区域的像素值；

图像增强：首先确定图像单个像素点的亮暗值，其次计算每一个灰度值出现次数占总像素的比例，然后对直方图概率迭代求和，之后构建均衡化灰度的转换关系，利用转换关系将每个像素更新为新的像素；

(2)将传统图像与红外图像相融合，具体方法如下：

A.将传统图像、红外图像分别分解为两种类型矩阵的和，对其作正交变换处理转为线性不相关，以此反求两种矩阵结果，得到稀疏量和低秩量；

B.采用单个像素点及其邻域范围取大的规则获得融合量稀疏表征；

C.低秩量组由矩阵构成，该矩阵中存在较多的行或列呈线性相关，对其进行解析，输出为低通和带通子频带，基于此获得融合量低秩表征；

D.将融合量低秩表征和融合量稀疏表征对应组合叠加，得到融合图像；

(3)将点云图像与上述融合图像再次进行信息交互融合，具体方法如下：

A.点云图像呈现三维结构，红外、传统图像呈现二维结构，利用相机自带的参变量求得点云图像的三维坐标与上述融合图像的二维坐标的关联矩阵；

B.利用二维坐标将上述融合图像的通道增加一个深度通道D，将点云图像的三维坐标投影到红外图像与传统图像的融合图像上，将D通道填充深度值元素并赋相关值；

C.将得到的映射二维坐标点排序，计算其横、纵维度坐标方差，以维度方差最大的中位点作为基准，将映射后的图像的像素点集合分割为两个子集，其次对子集进行递归空间划分，直至构建出能遍历每一个像素点的树形结构；

D.遍历待计算像素点临近的树节点，并计算R,G,B的权值信息，R，G，B分别代表图像像素中三原色的权值信息，R代表红色，G代表绿色，B代表蓝色，之后遍历各像素点，将数据分为包含点云的数据与不包含点云的数据，并插值其中不包含的类别，则输出后的结果为三元融合图像。

构建卷积网络与图神经网络融合的多复杂网络的具体方法如下：

A.利用交叉验证的思想将样本数据集分为两部分，一部分标记标签，一部分不标记标签；

B.利用带标签的数据集和不带标签的数据集训练卷积神经网络，卷积核规格设定为3x3大小，激活函数采用Relu函数，采用高斯分布来初始化权重和偏重，通过卷积操作构建出特征图，通过池化层获得特征向量，之后分别提取出带标签数据集的样本特征因子，记作Ma，和不附加标签元素数据集的样本特征因子，记作Mb；

C.将带标签数据集与不带标签数据集中的每一个图片都作为根节点，找到与之关联的子节点，计算其余弦角相似度并从小到大排列，再根据特征因子Ma,Mb权重计算分别获得两个对应的继承子图，记为Ta,Tb；

D.使用Ta,Mb,Tb训练图神经网络，网络结构模块设计为5个图卷积层，全连接层和分类层各初始化为一个，神经元设置为3个，采用SGD优化器进行训练，初始学习率设置为0.01，每回合学习率下降20倍，输出为不带标签数据集的继承图；

E.利用相似度距离来衡量特征，随机选定不带标签数据集继承图中的一张图像作为中心，计算各个数据点到中心的距离，选择最近的中心点作为同一类，之后再随机选择一张图像作为中心点，计算距离，如此反复迭代直至数值浮动变小，之后以聚类结果为依据，使得不带标签的数据集贴上了标签；

F.利用最初带标签的数据集和根据图神经网络贴上标签的这两部分数据集，再次训练卷积神经网络，得到一个泛化能力强的卷积神经网络与图神经网络融合的多复杂网络。

本发明一方面利用可见光，红外，点云三种类型摄像头构建一体化相机控制装置，并沿着线网方向定点安置，保证线路的全覆盖，以此来实时收集图像信息，并将多种类型的图片有机融合；另一方面通过图神经网络引入同一目标不同类型样本间的关系作为特征训练，结合卷积网络构建多复杂网络。然后将样本数据输入到网络中，最后输出结果。

与市场上现存的线路监测方法相比较，本发明的优势可归纳为以下几点：

1、本发明提出的多类型融合样本，在传统图片要素的基础上引入红外与点云元素，有以下几点优势：

(1)目前输电线路外来异物样本搜集比较困难，因此样本数量少，通常做法是采用数据增广技术，该方法只是对同一目标做变换，因此会影响样本间的多样性，进而影响识别准确率；多类型样本融合可以很好的解决样本多样性不足和样本少的问题。

(2)市场上的卷积神经网络只单一采用传统图片作为分析的数据，传统可见光图片携带的信息有限，以此训练的网络就不具有从多维度处理数据的能力，利用多类型融合样本训练网络可以很好的优化该问题。

(3)考虑实际的光照因素，我们希望系统是全天候的异物检测，但夜晚采集的图片分辨率低，信息丢失严重以至于神经网络无法做出正确的判断，即使安装全天候光源也会耗能严重且不便于维护，多类型融合样本基于其中的红外和点云要素，受光照影响较小，即使是夜间也可以从融合图片的其它维度正确分析出异物信息，所以本发明提出的方法可以进行全天候的监测。

2、本发明提出的多复杂网络在传统卷积神经网络上引入图神经网络，图神经网络可以很好的处理多元异构数据，更有助于融合红外，点云数据；同时可以将相同目标样本之间的关联作为输入来进行优化，可以增进样本间的联系，有利于缓解过拟合的问题。双网络相互融合后构成的输电线路异物检测网络可以更优的完成监测。

附图说明

图1是本发明硬件设施安装示意图。

图2是本发明多类型相机一体化检测装置结构图。

图3是本发明装置整体工作流程示意图。

图4是本发明三元图像加权融合示意图。

图5是本发明多复杂网络构建示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所得到的所有其他实施方式，都属于本发明所保护的范围。

如图1所示，根据实际情况选择线路的某一侧，以相邻的两个塔座为基点，连接两点并作其垂直平分线，沿垂直平分线方向，在距离交点50m的距离安装多类型相机一体化检测装置。

多类型相机一体化检测装置的承载平台为阶梯状，由低到高依次安装传统相机、红外相机、点云相机，三种类型相机根据实际情况调整在检测装置承载平台上的位置与角度，保证三种类型相机获取的图像内容一致；

点云相机采集图像的空间结构信息，红外相机采集图像的红外温度信息且能涵盖各种实时场景，传统相机采集图像的基本颜色信息。

如图3所示，本发明工作原理：当线路中出现异物时，会被各种类型的相机捕捉到，不同类型图片富含的信息要素的注重点不同，会影响异物的识别率，利用稀疏矩阵和低秩分量将红外图片与传统图片融合，利用图片的深度通道和树结构将点云空间要素融合进去，最终所得图片数据很好的涵盖了各种类型的特征要素，可以显著的提升网络提取的特征值要素；通过图神经网络在卷积网络的基础上引入同一目标不同样本关系这一特征，可以更好的使多元异构数据嵌入，将融合的数据输入多复杂网络，得到异物的信息。

本实施例一种基于多类型样本融合与多复杂网络的线网异物入侵AI检测方法与装置，具体实施方式如下：

一、首先合理布置摄像装置，搭建图片数据的硬件采集装置，装置承载平台的物理结构设计为阶梯状来构造出高度差空间，分别用以三类型相机的安装，根据实际情况调整在检测装置承载平台上的位置与角度，保证三种类型相机获取的图像内容一致。三种类型相机均与控制电路和信息传输设备连接，控制电路通过接受本地计算机发出的指令控制三种类型相机，信息传输设备负责将三种类型相机采集的图像传送到本地计算机，如图2所示。

二、多类型样本融合，如图4所示。

(一)传统与红外图片数据融合具体方法如下：

(1)将两种类型图片分解，得到量值的稀疏表示结果，低秩分量：

A.将图像拉伸为矩阵向量进行输入，设为W，数据矩阵可以分解为两种类型矩阵的和，记作：

w＝L₁+L₂

其中，L1为低秩矩阵，L2为稀疏矩阵。

B.上述变量存在相关性，对其作正交变换处理，输出结果将其转为线性不相关，即转化为下式最优解问题，以此反求两种矩阵结果：

其中，||L₂||_Lo表示L0范数，λ表示权重。

C.计算得到矩阵，该矩阵中元素绝大部分为0且无规律分布，用PXS表示红外图像结果，PHW表示传统图像结果。

(2)定义融合准则来融合量值的稀疏结果：

采用在单个像素点及其邻域范围取大的规则获得融合的稀疏分量，可根据下式融合计算

其中，PR表示融合图像，EHW，EXS代表区域能量。

(3)融合低秩分量：低秩量组中较多的行或列呈线性相关，对其进行解析，输出为低通和带通子频带。

A.采用加权的思想，根据下式计算出权重，用e表示。

(J_xs+J_HW)e(m，n)＝J_XS

则融合的输出为：

S(m，n)＝(1-e(m，n))J_HW+e(m，n)J_xs

其中，S(m，n)表示输出结果，JXS，JHW表示图像的子带。

B.图片的尺寸记为PxQ，那么根据下式融合带通子带：

其中，M为平均梯度。

根据下式得到融合结果

其中，L表示融合输出结果，La表示红外的子带，Lb表示传统图像子带。GAGB表示平均梯度。

C.进行逆处理获得融合的低秩输出。

4)将融合后的结果对应组合叠加，从而得到最终结果。

(二)点云数据与上述融合结果再次信息交互融合具体方法如下：

(1)利用相机参变量求得三维坐标与二维坐标的关联矩阵：

A.根据相机工作原理，点云坐标与像素坐标存在着如下式所述关系：

其中，a为深度距离与实际距离的比例参数；p,q为坐标，M为正交旋转矩阵，m为设备固定参变量，x,y,z分别代表坐标。

B.利用相机的参数，求得二者的转换矩阵并化简坐标关系:

其中，N为转化矩阵。

(2)将点云数据投影到图像的深度通道：

A.利用二维坐标将图像的通道增加一个深度通道D。

B.将点云坐标投影到图像上，将D通道填充深度值元素并赋值

(3)构建K-D树结构，并排列深度值点(二元信息的融合)：

A.将得到映射二维坐标点排序，计算其横，纵维度的坐标方差；

B.以维度方差最大的中位点为基准将图像像素分割为两个点集；

C.对子集进行递归空间划分，直至能遍历每一个像素点的树结构。

(4)以图像的颜色三通道的权值为依据插值信息点，输出结果为融合的细粒度图像：

A.构建树结构，其每个节点维度相同，遍历需计算的像素点临近的树节点；

B.计算R,G,B的权值信息，R，G，B分别代表图像像素中三原色的权值信息，R代表红色，G代表绿色，B代表蓝色，之后遍历各像素点，将包含点云的数据与不包含的数据分类，并插值其中不包含的类别。

在插值过程中，使用下式进行加权平均：

其中，Vj为该点深度值，P为颜色描述符，函数f为：

函数f代表中心像素的影响权值。

C.得到融合后的图像

(三)如图5所示，构建多复杂网络具体方法如下：

(1)利用交叉验证的思想将样本数据集分为两部分，一部分标记标签，一部分不做标签。

(2)利用带标签的数据训练卷积神经网络，卷积核规格设定为3x3大小，激活函数采用Relu函数，采用高斯分布来初始化权重和偏重，之后提取数据集的特征Ma。给定输入数据，通过卷积操作构建出特征图，通过池化层获得特征向量

x＝V(M(I；θ))∈R^E

其中，I表示输入，θ表示网参，M表示特征函数，V表示经池化的特征向量函数，E表示向量的维度。

同理提取不附加标签元素的样本特征Mb.

(3)构建继承子图：

将数据集中的每一个图片都作为根节点，找到与之关联的子节点(例如同一目标的不同姿态图片可作为邻居)，即利用卷积神经网络提取到的特征M，计算其余弦角相似度：

将余弦角从小到大排列获得子节点。带标签样本通过特征Ma构建得到一个继承子图Ta，同理，不带标签样本通过特征Mb构建得到另一个继承子图Tb。

(4)利用Ta，Mb，Tb训练图神经网络(GCN)，GCN结构模块设计为5个图卷积层，全连接层和分类层各初始化为一个，神经元设置为3个，采用SGD优化器进行训练，初始学习率设置为0.01，每回合学习率下降20倍。网络的输入特征为：

x＝[M-M_C，M₂-M_C，…M_n-M_C]

Mc为根节点特征，M1，M2，…Mn代表子节点特征。

同时保留根节点自带信息：

X^L＝ReLU((D^-1BX^N-1||X^N-1)W

其中，||表示初始特征和迭代后特征的维度拼接，ReLU为激活函数。得到正样本对(蕴含同一目标标签信息)，从而建立不带标签样本的继承图。

(5)模拟近邻算法的思想对继承图进行聚类：利用相似度距离来衡量特征，随机选定一组图作为中心，计算各个数据点到中心的距离，选择最近的中心点作为同一类，之后在同一类别中再次选择中心点，如此反复迭代直至数值浮动较小，之后以聚类结果为依据给不带标签的样本贴标签。

(6)利用最初带标签的样本数据集和根据图神经网络贴上标签这两部分数据集，再次训练卷积神经网络，得到一个泛化能力强的输电线路异物检测网络模型。

本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所得到的所有其他实施方式，都属于本发明所保护的范围。

Claims (1)

1.基于多类型样本融合与多复杂网络的线网异物入侵AI检测方法，其特征是：当有异物侵入到线网电路，将被三种类型相机捕获，分别得到传统图像、红外图像、点云图像，信息传输设备负责将三种类型相机采集的图像传送到本地计算机，本地计算机对不同类型的图像进行特征信息的有机融合，得到具有更强，更丰富特征要素的三元融合图像，将该三元融合图像输入到训练好的卷积神经网络与图神经网络融合的多复杂网络，得到入侵异物的信息，并进行实时的反馈，配合附近工作人员进行后续处理；

其中三种类型图像进行特征信息的有机融合的具体方法如下：

(1)对采集得到的三种类型图像进行预处理：包括图像去噪和图像增强；

图像去噪：参照数理统计中用中值代替样本整体的思想，设定像素规格为4×4的方型选取框，依次平扫对应像素矩阵，对选定区域灰度值数据进行排列，最后选择其中值作为该区域的像素值；

图像增强：首先确定图像单个像素点的亮暗值，其次计算每一个灰度值出现次数占总像素的比例，然后对直方图概率迭代求和，之后构建均衡化灰度的转换关系，利用转换关系将每个像素更新为新的像素；

(2)将传统图像与红外图像相融合，具体方法如下：

A.将传统图像、红外图像分别分解为两种类型矩阵的和，对其作正交变换处理转为线性不相关，以此反求两种矩阵结果，得到稀疏量和低秩量；

B.采用单个像素点及其邻域范围取大的规则获得融合量稀疏表征；

C.低秩量组由矩阵构成，该矩阵中的行或列呈线性相关，对其进行解析，输出为低通和带通子频带，基于此获得融合量低秩表征；

D.将融合量低秩表征和融合量稀疏表征对应组合叠加，得到融合图像；

（3）将点云图像与上述融合图像再次进行信息交互融合，具体方法如下：

A．点云图像呈现三维结构，红外、传统图像呈现二维结构，利用相机自带的参变量求得点云图像的三维坐标与上述融合图像的二维坐标的关联矩阵；

B.利用二维坐标将上述融合图像的通道增加一个深度通道D，将点云图像的三维坐标投影到红外图像与传统图像的融合图像上，将D通道填充深度值元素并赋相关值；

C.将得到的映射二维坐标点排序，计算其横、纵维度坐标方差，以维度方差最大的中位点作为基准，将映射后的图像的像素点集合分割为两个子集，其次对子集进行递归空间划分，直至构建出能遍历每一个像素点的树形结构；

D.遍历待计算像素点临近的树节点，并计算R,G,B的权值信息，R，G，B分别代表图像像素中三原色的权值信息，R代表红色，G代表绿色，B代表蓝色，之后遍历各像素点，将数据分为包含点云的数据与不包含点云的数据，并插值其中不包含的类别，则输出后的结果为三元融合图像；

其中构建卷积神经网络与图神经网络融合的多复杂网络的具体方法如下：

A.利用交叉验证的思想将样本数据集分为两部分，一部分标记标签，另一部分不标记标签；

B.利用带标签的数据集和不带标签的数据集训练卷积神经网络，卷积核规格设定为3x3大小，激活函数采用Relu函数，采用高斯分布来初始化权重和偏重，通过卷积操作构建出特征图，通过池化层获得特征向量，之后分别提取出带标签数据集的样本特征因子，记作Ma，和不附加标签元素数据集的样本特征因子，记作Mb；

C.将带标签数据集与不带标签数据集中的每一个图片都作为根节点，找到与之关联的子节点，计算其余弦角相似度并从小到大排列，再根据特征因子Ma,Mb的权重计算分别获得两个对应的继承子图，记为Ta,Tb；

D.使用Ta, Mb,Tb训练图神经网络，网络结构模块设计为5个图卷积层，全连接层和分类层各初始化为一个，神经元设置为3个，采用SGD优化器进行训练，初始学习率设置为0.01，每回合学习率下降20倍，输出为不带标签数据集的继承图；

E.利用相似度距离来衡量特征，随机选定不带标签数据集继承图中的一张图像作为中心，计算各个数据点到中心的距离，选择最近的中心点作为同一类，之后再随机选择一张图像作为中心点，计算距离，如此反复迭代直至数值浮动变小，之后以聚类结果为依据，使得不带标签的数据集贴上了标签；

F.利用最初带标签的数据集和根据图神经网络贴上标签的这两部分数据集，再次训练卷积神经网络，得到一个泛化能力强的卷积神经网络与图神经网络融合的多复杂网络。

Images