CN113160150A - 基于多类型样本融合与多复杂网络的线网异物入侵ai检测方法与装置 - Google Patents
基于多类型样本融合与多复杂网络的线网异物入侵ai检测方法与装置 Download PDFInfo
- Publication number
- CN113160150A CN113160150A CN202110353990.7A CN202110353990A CN113160150A CN 113160150 A CN113160150 A CN 113160150A CN 202110353990 A CN202110353990 A CN 202110353990A CN 113160150 A CN113160150 A CN 113160150A
- Authority
- CN
- China
- Prior art keywords
- image
- types
- fusion
- cameras
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 230000009545 invasion Effects 0.000 title claims description 6
- 238000013473 artificial intelligence Methods 0.000 title description 9
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 claims 2
- 239000000126 substance Substances 0.000 claims 2
- 230000010354 integration Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013434 data augmentation Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多类型样本融合与多复杂网络的线网异物入侵AI检测方法与装置,该检测装置是多类型相机一体化检测装置,包括信息传输设备、控制电路、三种类型相机;三种类型相机由传统相机,可见光相机、点云相机构成,以此完成线网的视野全覆盖。当有异物侵入到线网电路,将被三种类型相机捕获,分别得到传统图像、红外图像、点云图像,信息传输设备负责将三种类型相机采集的图像传送到本地计算机,本地计算机对不同类型的图像进行特征信息的有机融合,得到具有更强更丰富特征要素的三元融合图像,将该三元融合图像输入到训练好的卷积网络与图神经网络融合的多复杂网络,得到该入侵异物的信息,并进行实时的反馈,配合附近工作人员进行后续处理。
Description
技术领域
本发明属于智能监测应用技术领域,尤其涉及电网线路的一种基于多类型样本融合与多复杂网络的异物入侵AI检测方法装置。
背景技术
输电线路对整个电力系统至关重要,但其很容易受到外界影响,造成导线散股断股,线塔零部件损坏等现象。线路的巡检方法最开始采用人工巡检,该方法耗时耗力且效率不高;逐渐发展到引入机器人技术进行监测,但由于研发成本高,能耗大而未被广泛采用;如今常采用图像巡检的方法,即通过分析前端摄像头采集的实时图像来监测线网。该图像获取方式通常采用无人机航拍或者提前安装的固定摄像机采集。由于无人机续航时间短,采集数据角度随机性大,所以采用定点摄像机获取图像是相对更优的方式。定点监控图像检测首先将采集的实时图像传回本地计算机,再由工作人员进行分析。人工处理海量数据不仅费时费力,而且准确率不高。随着深度学习技术的发展,在图像识别方面的应用效果显著,所以在实时获取图片的基础上,利用卷积神经网络处理数据,进行异物检测的方法得到了广泛使用,一旦发现隐患则立即通知工作人员,降低异物漏报率的同时节省了人力。
目前在该领域上采用的深度学习技术主要存在着以下方面问题:
一是样本数据集在深度学习技术中至关重要,线网外来异物样本搜集比较困难,因此样本数量少,通常做法是采用数据增广技术,数据增广就是对原始图像进行翻转,平移等,但由于该方法只是对同一目标做变换,因此会影响样本间的多样性,进而影响识别准确率。
二是异物样本数据集通常由传统的可见光图片构成,在实际应用中会存在局限性:
(1)传统可见光图片携带的信息有限,以此训练的网络就不具有从多维度处理数据的能力,造成信息的浪费。例如分析时不注重空间信息,温度信息等要素,这些要素同样具有很强的特征,有利于提高识别率。
(2)考虑实际的光照因素,我们希望系统是全天候的异物检测,但夜晚采集的图片分辨率低,信息丢失严重以至于神经网络无法做出正确的判断,即使安装全天候光源也会耗能严重且不便于维护。
三是该领域深度学习网络通常采用卷积神经网络来进行分析,但其结构中的池化层往往会割裂整体与部分,忽略了相互间的关系,不利于多维的处理信息,并且对目标特征的空间关系提取效果不是很好,识别率可以进一步提高。
发明内容
本发明的目的是提供一种基于多类型样本融合与多复杂网络的线网异物入侵AI检测方法与装置,通过构建融合的多态样本,对传统样本精度低,可识别特征不强的问题进行了优化。并且通过多类型融合网络算法来训练融合数据,进一步提升系统监测数据的精确性和数据的处理能力。
本发明的技术方案是,一种基于多类型样本融合与多复杂网络的线网异物入侵AI检测装置,其特征是:该检测装置是多类型相机一体化检测装置,多类型相机一体化检测装置包括信息传输设备、控制电路、三种类型相机;三种类型相机均与控制电路和信息传输设备连接,控制电路通过接受本地计算机发出的指令控制三种类型相机,信息传输设备负责将三种类型相机采集的图像传送到本地计算机;
所述多类型相机一体化检测装置的承载平台为阶梯状,由低到高依次安装传统相机、红外相机、点云相机,三种类型相机根据实际情况调整在检测装置承载平台上的位置与角度,保证三种类型相机获取的图像内容一致。
一种基于多类型样本融合与多复杂网络的线网异物入侵AI检测方法,其特征是:当有异物侵入到线网电路,将被三种类型相机捕获,分别得到传统图像、红外图像、点云图像,信息传输设备负责将三种类型相机采集的图像传送到本地计算机,本地计算机对不同类型的图像进行特征信息的有机融合,得到具有更强更丰富特征要素的三元融合图像,将该三元融合图像输入到训练好的卷积网络与图神经网络融合的多复杂网络,得到该入侵异物的信息,并进行实时的反馈,配合附近工作人员进行后续处理。
三种类型图像进行有机融合的具体方法如下:
(1)对采集得到的三种类型图像进行预处理:包括图像去噪和图像增强;
图像去噪:参照数理统计中用中值代替样本整体的思想,设定像素规格为4×4的方型选取框,依次平扫对应像素矩阵,对选定区域灰度值数据进行排列,最后选择其中值作为该区域的像素值;
图像增强:首先确定图像单个像素点的亮暗值,其次计算每一个灰度值出现次数占总像素的比例,然后对直方图概率迭代求和,之后构建均衡化灰度的转换关系,利用转换关系将每个像素更新为新的像素;
(2)将传统图像与红外图像相融合,具体方法如下:
A.将传统图像、红外图像分别分解为两种类型矩阵的和,对其作正交变换处理转为线性不相关,以此反求两种矩阵结果,得到稀疏量和低秩量;
B.采用单个像素点及其邻域范围取大的规则获得融合量稀疏表征;
C.低秩量组由矩阵构成,该矩阵中存在较多的行或列呈线性相关,对其进行解析,输出为低通和带通子频带,基于此获得融合量低秩表征;
D.将融合量低秩表征和融合量稀疏表征对应组合叠加,得到融合图像;
(3)将点云图像与上述融合图像再次进行信息交互融合,具体方法如下:
A.点云图像呈现三维结构,红外、传统图像呈现二维结构,利用相机自带的参变量求得点云图像的三维坐标与上述融合图像的二维坐标的关联矩阵;
B.利用二维坐标将上述融合图像的通道增加一个深度通道D,将点云图像的三维坐标投影到红外图像与传统图像的融合图像上,将D通道填充深度值元素并赋相关值;
C.将得到的映射二维坐标点排序,计算其横、纵维度坐标方差,以维度方差较大的中位点作为基准,将映射后的图像的像素点集合分割为两个子集,其次对子集进行递归空间划分,直至构建出能遍历每一个像素点的树形结构;
D.遍历待计算像素点临近的树节点,并计算R,G,B的权值信息,R,G,B分别代表图像像素中三原色的权值信息,R代表红色,G代表绿色,B代表蓝色,之后遍历各像素点,将数据分为包含点云的数据与不包含点云的数据,并插值其中不包含的类别,则输出后的结果为三元融合图像。
构建卷积网络与图神经网络融合的多复杂网络的具体方法如下:
A.利用交叉验证的思想将样本数据集分为两部分,一部分标记标签,一部分不标记标签;
B.利用带标签的数据集和不带标签的数据集训练卷积神经网络,卷积核规格设定为3x3大小,激活函数采用Relu函数,采用高斯分布来初始化权重和偏重,通过卷积操作构建出特征图,通过池化层获得特征向量,之后分别提取出带标签数据集的样本特征因子,记作Ma,和不附加标签元素数据集的样本特征因子,记作Mb;
C.将带标签数据集与不带标签数据集中的每一个图片都作为根节点,找到与之关联的子节点,计算其余弦角相似度并从小到大排列,再根据特征因子Ma,Mb权重计算分别获得两个对应的继承子图,记为Ta,Tb;
D.使用Ta,Mb,Tb训练图神经网络,网络结构模块设计为5个图卷积层,全连接层和分类层各初始化为一个,神经元设置为3个,采用SGD优化器进行训练,初始学习率设置为0.01,每回合学习率下降20倍,输出为不带标签数据集的继承图;
E.利用相似度距离来衡量特征,随机选定不带标签数据集继承图中的一张图像作为中心,计算各个数据点到中心的距离,选择最近的中心点作为同一类,之后再随机选择一张图像作为中心点,计算距离,如此反复迭代直至数值浮动较小,之后以聚类结果为依据,使得不带标签的数据集贴上了标签;
F.利用最初带标签的数据集和根据图神经网络贴上标签的这两部分数据集,再次训练卷积神经网络,得到一个泛化能力强的卷积神经网络与图神经网络融合的多复杂网络。
本发明一方面利用可见光,红外,点云三种类型摄像头构建一体化相机控制装置,并沿着线网方向定点安置,保证线路的全覆盖,以此来实时收集图像信息,并将多种类型的图片有机融合;另一方面通过图神经网络引入同一目标不同类型样本间的关系作为特征训练,结合卷积网络构建多复杂网络。然后将样本数据输入到网络中,最后输出结果。
与市场上现存的线路监测方法相比较,本发明的优势可归纳为以下几点:
1、本发明提出的多类型融合样本,在传统图片要素的基础上引入红外与点云元素,有以下几点优势:
(1)目前输电线路外来异物样本搜集比较困难,因此样本数量少,通常做法是采用数据增广技术,该方法只是对同一目标做变换,因此会影响样本间的多样性,进而影响识别准确率;多类型样本融合可以很好的解决样本多样性不足和样本少的问题。
(2)市场上的卷积神经网络只单一采用传统图片作为分析的数据,传统可见光图片携带的信息有限,以此训练的网络就不具有从多维度处理数据的能力,利用多类型融合样本训练网络可以很好的优化该问题。
(3)考虑实际的光照因素,我们希望系统是全天候的异物检测,但夜晚采集的图片分辨率低,信息丢失严重以至于神经网络无法做出正确的判断,即使安装全天候光源也会耗能严重且不便于维护,多类型融合样本基于其中的红外和点云要素,受光照影响较小,即使是夜间也可以从融合图片的其它维度正确分析出异物信息,所以本发明提出的方法可以进行全天候的监测。
2、本发明提出的多复杂网络在传统卷积神经网络上引入图神经网络,图神经网络可以很好的处理多元异构数据,更有助于融合红外,点云数据;同时可以将相同目标样本之间的关联作为输入来进行优化,可以增进样本间的联系,有利于缓解过拟合的问题。双网络相互融合后构成的输电线路异物检测网络可以更优的完成监测。
附图说明
图1是本发明硬件设施安装示意图。
图2是本发明多类型相机一体化检测装置结构图。
图3是本发明装置整体工作流程示意图。
图4是本发明三元图像加权融合示意图。
图5是本发明多复杂网络构建示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有付出创造性劳动的前提下所得到的所有其他实施方式,都属于本发明所保护的范围。
如图1所示,根据实际情况选择线路的某一侧,以相邻的两个塔座为基点,连接两点并作其垂直平分线,沿垂直平分线方向,在距离交点50m的距离安装多类型相机一体化检测装置。
多类型相机一体化检测装置的承载平台为阶梯状,由低到高依次安装传统相机、红外相机、点云相机,三种类型相机根据实际情况调整在检测装置承载平台上的位置与角度,保证三种类型相机获取的图像内容一致;
点云相机采集图像的空间结构信息,红外相机采集图像的红外温度信息且能涵盖各种实时场景,传统相机采集图像的基本颜色信息。
如图3所示,本发明工作原理:当线路中出现异物时,会被各种类型的相机捕捉到,不同类型图片富含的信息要素的注重点不同,会影响异物的识别率,利用稀疏矩阵和低秩分量将红外图片与传统图片融合,利用图片的深度通道和树结构将点云空间要素融合进去,最终所得图片数据很好的涵盖了各种类型的特征要素,可以显著的提升网络提取的特征值要素;通过图神经网络在卷积网络的基础上引入同一目标不同样本关系这一特征,可以更好的使多元异构数据嵌入,将融合的数据输入多复杂网络,得到异物的信息。
本实施例一种基于多类型样本融合与多复杂网络的线网异物入侵AI检测方法与装置,具体实施方式如下:
一、首先合理布置摄像装置,搭建图片数据的硬件采集装置,装置承载平台的物理结构设计为阶梯状来构造出高度差空间,分别用以三类型相机的安装,根据实际情况调整在检测装置承载平台上的位置与角度,保证三种类型相机获取的图像内容一致。三种类型相机均与控制电路和信息传输设备连接,控制电路通过接受本地计算机发出的指令控制三种类型相机,信息传输设备负责将三种类型相机采集的图像传送到本地计算机,如图2所示。
二、多类型样本融合,如图4所示。
(一)传统与红外图片数据融合具体方法如下:
(1)将两种类型图片分解,得到量值的稀疏表示结果,低秩分量:
A.将图像拉伸为矩阵向量进行输入,设为W,数据矩阵可以分解为两种类型矩阵的和,记作:
w=L1+L2
其中,L1为低秩矩阵,L2为稀疏矩阵。
B.上述变量存在相关性,对其作正交变换处理,输出结果将其转为线性不相关,即转化为下式最优解问题,以此反求两种矩阵结果:
其中,‖L2‖Lo表示L0范数,λ表示权重。
C.计算得到矩阵,该矩阵中元素绝大部分为0且无规律分布,用PXS表示红外图像结果,PHW表示传统图像结果。
(2)定义融合准则来融合量值的稀疏结果:
采用在单个像素点及其邻域范围取大的规则获得融合的稀疏分量,可根据下式融合计算
其中,PR表示融合图像,EHW,EXS代表区域能量。
(3)融合低秩分量:低秩量组中较多的行或列呈线性相关,对其进行解析,输出为低通和带通子频带。
A.采用加权的思想,根据下式计算出权重,用e表示。
(Jxs+JHW)e(m,n)=JXS
则融合的输出为:
S(m,n)=(1-e(m,n))JHW+e(m,n)Jxs
其中,S(m,n)表示输出结果,JXS,JHW表示图像的子带。
B.图片的尺寸记为PxQ,那么根据下式融合带通子带:
其中,M为平均梯度。
根据下式得到融合结果
其中,L表示融合输出结果,La表示红外的子带,Lb表示传统图像子带。GAGB表示平均梯度。
C.进行逆处理获得融合的低秩输出。
4)将融合后的结果对应组合叠加,从而得到最终结果。
(二)点云数据与上述融合结果再次信息交互融合具体方法如下:
(1)利用相机参变量求得三维坐标与二维坐标的关联矩阵:
A.根据相机工作原理,点云坐标与像素坐标存在着如下式所述关系:
其中,a为深度距离与实际距离的比例参数;p,q为坐标,M为正交旋转矩阵,m为设备固定参变量,x,y,z分别代表坐标。
B.利用相机的参数,求得二者的转换矩阵并化简坐标关系:
其中,N为转化矩阵。
(2)将点云数据投影到图像的深度通道:
A.利用二维坐标将图像的通道增加一个深度通道D。
B.将点云坐标投影到图像上,将D通道填充深度值元素并赋值
(3)构建K-D树结构,并排列深度值点(二元信息的融合):
A.将得到映射二维坐标点排序,计算其横,纵维度的坐标方差;
B.以维度方差较大的中位点为基准将图像像素分割为两个点集;
C.对子集进行递归空间划分,直至能遍历每一个像素点的树结构。
(4)以图像的颜色三通道的权值为依据插值信息点,输出结果为融合的细粒度图像:
A.构建树结构,其每个节点维度相同,遍历需计算的像素点临近的树节点;
B.计算R,G,B的权值信息,R,G,B分别代表图像像素中三原色的权值信息,R代表红色,G代表绿色,B代表蓝色,之后遍历各像素点,将包含点云的数据与不包含的数据分类,并插值其中不包含的类别。
在插值过程中,使用下式进行加权平均:
其中,Vj为该点深度值,P为颜色描述符,函数f为:
函数f代表中心像素的影响权值。
C.得到融合后的图像
(三)如图5所示,构建多复杂网络具体方法如下:
(1)利用交叉验证的思想将样本数据集分为两部分,一部分标记标签,一部分不做标签。
(2)利用带标签的数据训练卷积神经网络,卷积核规格设定为3x3大小,激活函数采用Relu函数,采用高斯分布来初始化权重和偏重,之后提取数据集的特征Ma。给定输入数据,通过卷积操作构建出特征图,通过池化层获得特征向量
x=V(M(I;θ))∈RE
其中,I表示输入,θ表示网参,M表示特征函数,V表示经池化的特征向量函数,E表示向量的维度。
同理提取不附加标签元素的样本特征Mb.
(3)构建继承子图:
将数据集中的每一个图片都作为根节点,找到与之关联的子节点(例如同一目标的不同姿态图片可作为邻居),即利用卷积神经网络提取到的特征M,计算其余弦角相似度:
将余弦角从小到大排列获得子节点。带标签样本通过特征Ma构建得到一个继承子图Ta,同理,不带标签样本通过特征Mb构建得到另一个继承子图Tb。
(4)利用Ta,Mb,Tb训练图神经网络(GCN),GCN结构模块设计为5个图卷积层,全连接层和分类层各初始化为一个,神经元设置为3个,采用SGD优化器进行训练,初始学习率设置为0.01,每回合学习率下降20倍。网络的输入特征为:
x=[M-MC,M2-MC,…Mn-MC]
Mc为根节点特征,M1,M2,…Mn代表子节点特征。
同时保留根节点自带信息:
XL=ReLU((D-1BXN-1||XN-1)W
其中,||表示初始特征和迭代后特征的维度拼接,ReLU为激活函数。得到正样本对(蕴含同一目标标签信息),从而建立不带标签样本的继承图。
(5)模拟近邻算法的思想对继承图进行聚类:利用相似度距离来衡量特征,随机选定一组图作为中心,计算各个数据点到中心的距离,选择最近的中心点作为同一类,之后在同一类别中再次选择中心点,如此反复迭代直至数值浮动较小,之后以聚类结果为依据给不带标签的样本贴标签。
(6)利用最初带标签的样本数据集和根据图神经网络贴上标签这两部分数据集,再次训练卷积神经网络,得到一个泛化能力强的输电线路异物检测网络模型。
本发明所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有付出创造性劳动的前提下所得到的所有其他实施方式,都属于本发明所保护的范围。
Claims (4)
1.基于多类型样本融合与多复杂网络的线网异物入侵AI检测装置,其特征是:该检测装置是多类型相机一体化检测装置,多类型相机一体化检测装置包括信息传输设备、控制电路、三种类型相机;三种类型相机均与控制电路和信息传输设备连接,控制电路通过接受本地计算机发出的指令控制三种类型相机,信息传输设备负责将三种类型相机采集的图像传送到本地计算机;
所述多类型相机一体化检测装置的承载平台为阶梯状,由低到高依次安装传统相机、红外相机、点云相机,点云相机采集图像的空间结构信息,红外相机采集图像的红外温度信息且能涵盖各种实时场景,传统相机采集图像的基本颜色信息;三种类型相机根据实际情况调整在检测装置承载平台上的位置与角度,保证三种类型相机获取的图像内容一致。
2.如权利要求1所述的基于多类型样本融合与多复杂网络的线网异物入侵AI检测装置的线网异物入侵AI检测方法,其特征是:当有异物侵入到线网电路,将被三种类型相机捕获,分别得到传统图像、红外图像、点云图像,信息传输设备负责将三种类型相机采集的图像传送到本地计算机,本地计算机对不同类型的图像进行特征信息的有机融合,得到具有更强,更丰富特征要素的三元融合图像,将该三元融合图像输入到训练好的卷积神经网络与图神经网络融合的多复杂网络,得到该入侵异物的信息,并进行实时的反馈,配合附近工作人员进行后续处理。
3.如权利要求2所述的线网异物入侵AI检测方法,其特征是:三种类型图像进行有机融合的具体方法如下:
(1)对采集得到的三种类型图像进行预处理:包括图像去噪和图像增强;
图像去噪:参照数理统计中用中值代替样本整体的思想,设定像素规格为4×4的方型选取框,依次平扫对应像素矩阵,对选定区域灰度值数据进行排列,最后选择其中值作为该区域的像素值;
图像增强:首先确定图像单个像素点的亮暗值,其次计算每一个灰度值出现次数占总像素的比例,然后对直方图概率迭代求和,之后构建均衡化灰度的转换关系,利用转换关系将每个像素更新为新的像素;
(2)将传统图像与红外图像相融合,具体方法如下:
A.将传统图像、红外图像分别分解为两种类型矩阵的和,对其作正交变换处理转为线性不相关,以此反求两种矩阵结果,得到稀疏量和低秩量;
B.采用单个像素点及其邻域范围取大的规则获得融合量稀疏表征;
C.低秩量组由矩阵构成,该矩阵中较多的行或列呈线性相关,对其进行解析,输出为低通和带通子频带,基于此获得融合量低秩表征;
D.将融合量低秩表征和融合量稀疏表征对应组合叠加,得到融合图像;
(3)将点云图像与上述融合图像再次进行信息交互融合,具体方法如下:
A.点云图像呈现三维结构,红外、传统图像呈现二维结构,利用相机自带的参变量求得点云图像的三维坐标与上述融合图像的二维坐标的关联矩阵;
B.利用二维坐标将上述融合图像的通道增加一个深度通道D,将点云图像的三维坐标投影到红外图像与传统图像的融合图像上,将D通道填充深度值元素并赋相关值;
C.将得到的映射二维坐标点排序,计算其横、纵维度坐标方差,以维度方差较大的中位点作为基准,将映射后的图像的像素点集合分割为两个子集,其次对子集进行递归空间划分,直至构建出能遍历每一个像素点的树形结构;
D.遍历待计算像素点临近的树节点,并计算R,G,B的权值信息,R,G,B分别代表图像像素中三原色的权值信息,R代表红色,G代表绿色,B代表蓝色,之后遍历各像素点,将数据分为包含点云的数据与不包含点云的数据,并插值其中不包含的类别,则输出后的结果为三元融合图像。
4.如权利要求2所述的线网异物入侵AI检测方法,其特征是:构建卷积神经网络与图神经网络融合的多复杂网络的具体方法如下:
A.利用交叉验证的思想将样本数据集分为两部分,一部分标记标签,一部分不标记标签;
B.利用带标签的数据集和不带标签的数据集训练卷积神经网络,卷积核规格设定为3x3大小,激活函数采用Relu函数,采用高斯分布来初始化权重和偏重,通过卷积操作构建出特征图,通过池化层获得特征向量,之后分别提取出带标签数据集的样本特征因子,记作Ma,和不附加标签元素数据集的样本特征因子,记作Mb;
C.将带标签数据集与不带标签数据集中的每一个图片都作为根节点,找到与之关联的子节点,计算其余弦角相似度并从小到大排列,再根据特征因子Ma,Mb的权重计算分别获得两个对应的继承子图,记为Ta,Tb;
D.使用Ta,Mb,Tb训练图神经网络,网络结构模块设计为5个图卷积层,全连接层和分类层各初始化为一个,神经元设置为3个,采用SGD优化器进行训练,初始学习率设置为0.01,每回合学习率下降20倍,输出为不带标签数据集的继承图;
E.利用相似度距离来衡量特征,随机选定不带标签数据集继承图中的一张图像作为中心,计算各个数据点到中心的距离,选择最近的中心点作为同一类,之后再随机选择一张图像作为中心点,计算距离,如此反复迭代直至数值浮动较小,之后以聚类结果为依据,使得不带标签的数据集贴上了标签;
F.利用最初带标签的数据集和根据图神经网络贴上标签的这两部分数据集,再次训练卷积神经网络,得到一个泛化能力强的卷积神经网络与图神经网络融合的多复杂网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110353990.7A CN113160150B (zh) | 2021-04-01 | 2021-04-01 | 线网异物入侵ai检测方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110353990.7A CN113160150B (zh) | 2021-04-01 | 2021-04-01 | 线网异物入侵ai检测方法与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113160150A true CN113160150A (zh) | 2021-07-23 |
CN113160150B CN113160150B (zh) | 2022-12-06 |
Family
ID=76885929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110353990.7A Active CN113160150B (zh) | 2021-04-01 | 2021-04-01 | 线网异物入侵ai检测方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113160150B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113901868A (zh) * | 2021-08-25 | 2022-01-07 | 国网四川省电力公司电力科学研究院 | 一种变电现场安全监控方法及系统 |
CN114612330A (zh) * | 2022-03-15 | 2022-06-10 | 中国人民解放军国防科技大学 | 一种多相机的图像增强方法 |
CN114627388A (zh) * | 2022-03-23 | 2022-06-14 | 南方电网数字电网研究院有限公司 | 输电线路异物检测设备及其异物检测方法 |
CN115311534A (zh) * | 2022-08-26 | 2022-11-08 | 中国铁道科学研究院集团有限公司 | 基于激光雷达的铁路周界入侵辨识方法、装置及存储介质 |
CN117409205A (zh) * | 2023-12-13 | 2024-01-16 | 国网山东省电力公司济南供电公司 | 一种用于电力设备的异物搭挂检测和分割方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778472A (zh) * | 2016-11-17 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 基于深度学习的输电走廊常见侵入物目标检测与识别方法 |
US20180357788A1 (en) * | 2016-08-11 | 2018-12-13 | Changzhou Campus of Hohai University | UAV Inspection Method for Power Line Based on Human Visual System |
CN109631848A (zh) * | 2018-12-14 | 2019-04-16 | 山东鲁能软件技术有限公司 | 输电线路异物入侵检测系统和检测方法 |
CN109697410A (zh) * | 2018-11-30 | 2019-04-30 | 中国电力科学研究院有限公司 | 一种架空输电线路覆盖地区的遥感地物识别方法 |
CN111382683A (zh) * | 2020-03-02 | 2020-07-07 | 东南大学 | 一种基于彩色相机与红外热成像仪特征融合的目标检测方法 |
CN111952883A (zh) * | 2020-08-25 | 2020-11-17 | 广东电网有限责任公司 | 一种基于三维激光雷达的输电线路故障识别系统及方法 |
CN112132818A (zh) * | 2020-09-29 | 2020-12-25 | 北京航空航天大学 | 基于图卷积神经网络构建三阶段的图像处理方法 |
-
2021
- 2021-04-01 CN CN202110353990.7A patent/CN113160150B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180357788A1 (en) * | 2016-08-11 | 2018-12-13 | Changzhou Campus of Hohai University | UAV Inspection Method for Power Line Based on Human Visual System |
CN106778472A (zh) * | 2016-11-17 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 基于深度学习的输电走廊常见侵入物目标检测与识别方法 |
CN109697410A (zh) * | 2018-11-30 | 2019-04-30 | 中国电力科学研究院有限公司 | 一种架空输电线路覆盖地区的遥感地物识别方法 |
CN109631848A (zh) * | 2018-12-14 | 2019-04-16 | 山东鲁能软件技术有限公司 | 输电线路异物入侵检测系统和检测方法 |
CN111382683A (zh) * | 2020-03-02 | 2020-07-07 | 东南大学 | 一种基于彩色相机与红外热成像仪特征融合的目标检测方法 |
CN111952883A (zh) * | 2020-08-25 | 2020-11-17 | 广东电网有限责任公司 | 一种基于三维激光雷达的输电线路故障识别系统及方法 |
CN112132818A (zh) * | 2020-09-29 | 2020-12-25 | 北京航空航天大学 | 基于图卷积神经网络构建三阶段的图像处理方法 |
Non-Patent Citations (2)
Title |
---|
张磊: "无人机红外影像技术在配电网巡检中的应用研究", 《中国高新技术企业》 * |
彭向阳等: "基于无人机多传感器数据采集的电力线路安全巡检及智能诊断", 《高电压技术》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113901868A (zh) * | 2021-08-25 | 2022-01-07 | 国网四川省电力公司电力科学研究院 | 一种变电现场安全监控方法及系统 |
CN113901868B (zh) * | 2021-08-25 | 2023-08-04 | 国网四川省电力公司电力科学研究院 | 一种变电现场安全监控方法及系统 |
CN114612330A (zh) * | 2022-03-15 | 2022-06-10 | 中国人民解放军国防科技大学 | 一种多相机的图像增强方法 |
CN114612330B (zh) * | 2022-03-15 | 2024-02-02 | 中国人民解放军国防科技大学 | 一种多相机的图像增强方法 |
CN114627388A (zh) * | 2022-03-23 | 2022-06-14 | 南方电网数字电网研究院有限公司 | 输电线路异物检测设备及其异物检测方法 |
CN114627388B (zh) * | 2022-03-23 | 2024-03-29 | 南方电网数字电网研究院有限公司 | 输电线路异物检测设备及其异物检测方法 |
CN115311534A (zh) * | 2022-08-26 | 2022-11-08 | 中国铁道科学研究院集团有限公司 | 基于激光雷达的铁路周界入侵辨识方法、装置及存储介质 |
CN117409205A (zh) * | 2023-12-13 | 2024-01-16 | 国网山东省电力公司济南供电公司 | 一种用于电力设备的异物搭挂检测和分割方法及系统 |
CN117409205B (zh) * | 2023-12-13 | 2024-04-05 | 国网山东省电力公司济南供电公司 | 一种用于电力设备的异物搭挂检测和分割方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113160150B (zh) | 2022-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113160150B (zh) | 线网异物入侵ai检测方法与装置 | |
CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
EP3614308A1 (en) | Joint deep learning for land cover and land use classification | |
US11694354B2 (en) | Geospatial object geometry extraction from imagery | |
CN112381013B (zh) | 基于高分辨率遥感影像的城市植被反演方法及系统 | |
CN106844739B (zh) | 一种基于神经网络协同训练的遥感图像变化信息检索方法 | |
Gueguen et al. | Toward a generalizable image representation for large-scale change detection: Application to generic damage analysis | |
CN110598564B (zh) | 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法 | |
CN115527123B (zh) | 一种基于多源特征融合的土地覆被遥感监测方法 | |
Congalton | Remote sensing: an overview | |
CN110287798B (zh) | 基于特征模块化和上下文融合的矢量网络行人检测方法 | |
Almeer | Vegetation extraction from free google earth images of deserts using a robust BPNN approach in HSV Space | |
CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
Kow et al. | Real-time image-based air quality estimation by deep learning neural networks | |
CN113033385A (zh) | 一种基于深度学习的违章建筑遥感识别方法及系统 | |
CN112396635A (zh) | 一种基于多设备的复杂环境下多目标检测方法 | |
CN115861619A (zh) | 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统 | |
CN110766690A (zh) | 基于深度学习点监督思想的麦穗检测和计数方法 | |
Kiadtikornthaweeyot et al. | Region of interest detection based on histogram segmentation for satellite image | |
Guo et al. | Dual-concentrated network with morphological features for tree species classification using hyperspectral image | |
CN113033386B (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
Yadav et al. | Supervised learning based greenery region detection using unnamed aerial vehicle for smart city application | |
Yadav et al. | Urban tree canopy detection using object-based image analysis for very high resolution satellite images: A literature review | |
Lizarazo et al. | Segmentation of remotely sensed imagery: moving from sharp objects to fuzzy regions | |
CN116206210A (zh) | 一种基于NAS-Swin的遥感影像农业大棚提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |