CN109801265B - 一种基于卷积神经网络的实时输电设备异物检测系统 - Google Patents
一种基于卷积神经网络的实时输电设备异物检测系统 Download PDFInfo
- Publication number
- CN109801265B CN109801265B CN201811589781.7A CN201811589781A CN109801265B CN 109801265 B CN109801265 B CN 109801265B CN 201811589781 A CN201811589781 A CN 201811589781A CN 109801265 B CN109801265 B CN 109801265B
- Authority
- CN
- China
- Prior art keywords
- power transmission
- transmission equipment
- foreign matters
- equipment
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 9
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000011897 real-time detection Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 240000007651 Rubus glaucus Species 0.000 abstract description 9
- 235000011034 Rubus glaucus Nutrition 0.000 abstract description 9
- 235000009122 Rubus idaeus Nutrition 0.000 abstract description 9
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 230000005611 electricity Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Images
Abstract
本发明涉及一种基于卷积神经网络的实时输电设备异物(包括风筝，塑料袋等)检测的系统，包括：使用大量摄像头周期性地拍取输电设备照片，传入以树莓派为芯片的低成本嵌入式设备中，利用已经在服务器上训练好的一套深度学习模型实时检测出输电设备是否有异物及异物的位置，将这些信息再回传给服务器。部署的识别模型利用深度可分离卷积神经网络来提取图像特征，从而在针对异物特征优化的Faster R‑CNN方法中进行实时高效的检测。本发明可以实时的检测输电设备是否有异物，节省大量人力去现场检测输电设备状况，保障输电设备稳定运行。
Description
技术领域
本发明涉及电力系统及计算机视觉领域，具体涉及一种基于卷积神经网络进行实时的输电设备异物检测的系统。
背景技术
输电设备如果出现异物(包括风筝，塑料袋等输电设备不该有的东西)，将有可能会对输电的稳定性产生影响，甚至会造成严重的安全问题，及时排查清理掉这些异物是很有必要的。目前对输电设备的检查维护主要依靠现场勘察，人眼去识别是否有异常的情况，最近几年由于无人机技术的发展，可以利用无人机去拍照，再通过人员对这些照片进行筛查，进而省去一些人力，但还是无法满足智能化的需求，检测及维护输电设备的效率还是不高。
近几年，嵌入式设备的性能在不断提升，出现了一批性能优越的嵌入式芯片，如TX2,使得在嵌入式设备上做深度学习成为可能，但这些设备的价格比较昂贵，并不适合大规模应用。树莓派是一款基于ARM的微型电脑主板，具备所有PC的基本功能。树莓派的价格成本相较于TX2等非常低，甚至不到十分之一，但其性能特别是针对深度学习所需的性能较差，如果要在树莓派上部署深度学习模型，需要对模型做优化。
Faster R-CNN是一种基于卷积神经网络的目标检测算法，Faster R-CNN对FastR-CNN进行改进，把候选区域的提取部分并入了整个神经网络，实现了一个端到端的目标检测模型。Faster R-CNN由两个部分组成，分别是Fast R-CNN检测器和候选区域的提取网络(RPN，region proposal network)。RPN通过与Fast R-CNN共享卷积神经网络，只增加了少量的时间就可以提取候选区域。另外，这两个子网络的协同训练，改善了整个CNN提取特征的能力，提高了检测的精度。RPN本质上是一个全卷积网络，以原始图像所提取出的卷积特征图矩阵作为输入，输出一系列的矩形候选区域框以及该矩形候选区域是否为目标的分数(objectness scores)。RPN网络在原始图像的最后一层卷积层输出的特征图矩阵上用n*n的窗口进行滑窗处理，特征图矩阵在这n*n窗口内的元素通过由d个大小为n*n，步长为1的卷积核组成的卷积层映射为d维特征向量，将该d维特征向量作为两个全连接层的输入。然后利用这两个全连接层分别做前/背景分类，和回归框的位置。把建议窗口映射到CNN的最后一层卷积feature map上，通过RoI pooling层使每个RoI生成固定尺寸的feature map，之后在得到候选框中进行分类，判断属于什么类别。
Faster r-cnn在目标检测领域是一套很成熟的方法，但是该方法需要大量的内存消耗，低成本的嵌入式设备没法很好的支持，并且该方法如果不进行优化的话，在嵌入式设备的cpu内运行的速度十分缓慢，无法满足实际应用需求。
除了Faster R-CNN之外也有一些较快速的轻量级目标检测模型，但识别精度会有下降，对小物体检测的效果尤其不好，而输电设备上的异物很多都比较小。
深度可分离卷积结构是对普通卷积结构的改进，将传统的卷积操作分解为一个depthwise convolution和一个1*1的pointwise convolution操作。Depthwiseconvolution中每一个filter负责对input的一个channel内进行卷积，1*1卷积则负责把depthwise convolution的结果进行合并。这样的话就大大降低了传统卷积运算的计算量，对于一个3*3的卷积核，可以减少到约1/9的计算量。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于卷积神经网络的实时输电设备异物检测的系统。
本发明解决上述技术问题的技术方案如下：一种基于深度可分离卷积神经网络在嵌入式设备上进行实时的输电设备异物检测的系统，包括以下模块：
异物图像样本库模块，提前获取输电设备的图像，人工打好标签，并用这些数据建立样本库，服务器储存来自嵌入式设备回传的图像信息，定期将这些数据进行人工审查，如果检测的结果是正确的，就对原图进行标记，存入样本库中，并定期对现有模型利用新的数据进行训练，更新现有模型的参数；
神经网络模型模块，搭建基于深度可分离卷积神经网络目标检测模型，用样本库中的数据去训练该目标检测模型；
实时检测设备模块，利用面向输电设备的摄像头，周期性的拍取照片，并传入嵌入式设备中，由于嵌入式设备选用的是低成本的树莓派，可以为每一个摄像头配备一套嵌入式处理设备，树莓派板子可以插入sd卡以扩大存储，在嵌入式设备中利用训练好的神经网络模型去实时的对传入的图像做检测；
信息回传模块，将检测出异物的数据包括原图回传给服务器，服务器在接收到电力缺陷智能识别设备的信息后做出相应处理；
进一步，异物图像样本库模块包括：
通过无人机，摄像头和相机拍摄输电设备图像，主要拍摄有异物的图像，对这些图像进行预处理，人工标出异物的位置，并用这些数据建立输电设备异物检测样本库，储存在服务器上。
进一步，神经网络模型模块包括：
搭建基于深度可分离卷积神经网络目标检测模型，该模型是针对输电设备异物的对Faster R-CNN模型的改进与优化，在以下几方面做出了改进和优化：
将Faster R-CNN中的所有普通卷积结构换为深度可分离卷积结构，这样做可以将每个卷积层的计算量缩减，假设原卷积层为3*3，则可缩减到原来的1/9；
将RPN结构中进行非极大值抑制后保留的候选框的个数降低，因为在输电设备异物检测的情形下，检测的目标数目不会太多，所以不用生成太多的候选框，可以节省时间；
将最后分类的两层全连接层结构换为卷积结构，可以进一步减少参数量，加速检测速度；
进一步，信息回传模块包括：
将检测出异物的数据回传给服务器，服务器在接收到检测出异物的信息后，会生成相应的告警信息，并将检测出的异物图像保存到集群中，交互服务器通过访问集群中的数据，及时提醒用户对设备故障进行处理，远程服务器也可以直接调取摄像头的内容。
与现有技术相比，本发明的创新之处在于：将深度可分离卷积神经网络应用于输电设备异物检测的情景，并针对该情景做出了优化，使其可以部署在成本较低的设备上还能取得较为不错的成果，从而大大节省了现场对输电设备异物进行检测或者根据摄像头拍取原图逐个排查输电设备情况的人力。
附图说明
图1为本发明提供的在嵌入式设备上进行实时的输电设备异物检测的系统结构图；
图2为本发明提供的针对输电设备异物检测改进优化后的Faster R-CNN结构图。
具体实施方式
参阅图1，一种基于卷积神经网络的实时输电设备异物检测的系统，包括以下模块：
异物图像样本库模块，拍摄输电设备图像，主要拍摄有异物(包括风筝，塑料袋)的图像，对这些图像进行预处理，人工标出异物的位置，并用这些数据建立输电设备异物检测样本库，储存在服务器上，服务器还会储存来自嵌入式设备回传的图像信息，定期将这些数据进行人工审查，如果检测的结果是正确的，就对原图进行标记，存入样本库；
神经网络模型模块，搭建基于深度可分离卷积神经网络目标检测模型，用样本库中的数据去训练该目标检测模型；
实时检测设备模块，利用面向输电设备的摄像头，周期性的拍取照片，并传入嵌入式设备中，由于嵌入式设备选用的是低成本的树莓派，可以为每一个摄像头配备一套嵌入式处理设备，树莓派板子可以插入sd卡以扩大存储，在嵌入式设备中利用训练好的模型去实时的对传入的图像做检测；
信息回传模块，将检测出异物的数据包括原图回传给服务器，服务器在收到检测出异物的信息后做出相应处理。
进一步，异物图像样本库模块包括：
通过无人机，摄像头和相机拍摄输电设备图像，主要拍摄有异物的图像，对这些图像进行预处理，人工标出异物的位置，并用这些数据建立输电设备异物检测样本库，储存在服务器上。
进一步，神经网络模型模块包括：
搭建基于深度可分离卷积神经网络目标检测模型，该模型是针对输电设备异物的对Faster R-CNN模型的改进与优化，参阅图2，在以下几方面做出了改进和优化：
将Faster R-CNN中的所有普通卷积结构换为深度可分离卷积结构(包括Convlayers，RPN中的卷积层和将ROIPooling之后的全连接层换为的卷积层)；
将RPN结构中进行非极大值抑制后保留的候选框的个数降低，例如从300降为50；
将ROIPooling之后的全连接层结构换为卷积结构，例如由2层4096个输出的全连接层换为连续2个卷积层加relu层；
进一步，信息回传模块包括：
将检测出异物的数据回传给服务器，服务器在接收到检测出异物的信息后，会生成相应的告警信息，并将检测出的异物图像保存到集群中，交互服务器通过访问集群中的数据，及时提醒用户对输电设备的异物进行处理，远程服务器也可以直接调取摄像头的内容。
Claims (2)
1.一种基于卷积神经网络的实时输电设备异物检测的系统，其特征在于，包括以下模块：
异物图像样本库模块，拍摄输电设备图像，拍摄有异物的图像，对这些图像进行预处理，人工标出异物的位置，并用这些数据建立输电设备异物检测样本库，储存在服务器上，服务器还会储存来自嵌入式设备回传的图像信息，定期将这些数据进行人工审查，如果检测的结果是正确的，就对原图进行标记，存入样本库中；
神经网络模型模块，搭建基于深度可分离卷积神经网络目标检测模型，用样本库中的数据去训练该目标检测模型，该模型是针对输电设备异物的对Faster R-CNN模型的改进与优化；
将Faster R-CNN中的所有普通卷积结构换为深度可分离卷积结构；将RPN结构中进行非极大值抑制后保留的候选框的个数降低；将最后分类的两层全连接层结构换为卷积结构；
实时检测设备模块，利用面向输电设备的摄像头，周期性的拍取照片，并传入嵌入式设备中，为每一个摄像头配备一套嵌入式处理设备，插入sd卡以扩大存储，在嵌入式设备中利用训练好的神经网络模型去实时的对传入的图像做检测；
信息回传模块，将检测出异物的数据回传给服务器，服务器在接收到检测出异物的信息后，会生成相应的告警信息，并将检测出的异物图像保存到集群中，交互服务器通过访问集群中的数据，及时提醒用户对设备故障进行处理，远程服务器直接调取摄像头的内容。
2.如权利要求1所述的系统，其特征在于：所针对的检测目标为输电设备异物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811589781.7A CN109801265B (zh) | 2018-12-25 | 2018-12-25 | 一种基于卷积神经网络的实时输电设备异物检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811589781.7A CN109801265B (zh) | 2018-12-25 | 2018-12-25 | 一种基于卷积神经网络的实时输电设备异物检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109801265A CN109801265A (zh) | 2019-05-24 |
| CN109801265B true CN109801265B (zh) | 2020-11-20 |
Family
ID=66557414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811589781.7A Active CN109801265B (zh) | 2018-12-25 | 2018-12-25 | 一种基于卷积神经网络的实时输电设备异物检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109801265B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348318A (zh) * | 2019-06-18 | 2019-10-18 | 北京大米科技有限公司 | 图像识别方法、装置、电子设备及介质 |
| CN110378239A (zh) * | 2019-06-25 | 2019-10-25 | 江苏大学 | 一种基于深度学习的实时交通标志检测方法 |
| CN110335260B (zh) * | 2019-06-27 | 2023-07-14 | 华东送变电工程有限公司 | 一种基于轻卷积神经网络的电力电缆破损检测方法 |
| CN110458126B (zh) * | 2019-08-16 | 2022-05-27 | 上海仁童电子科技有限公司 | 一种受电弓状态监测方法及装置 |
| CN110909794B (zh) * | 2019-11-22 | 2022-09-13 | 乐鑫信息科技（上海）股份有限公司 | 一种适用于嵌入式设备的目标检测系统 |
| CN110992349A (zh) * | 2019-12-11 | 2020-04-10 | 南京航空航天大学 | 一种基于深度学习的地下管道异常自动化定位与识别方法 |
| CN111488920A (zh) * | 2020-03-27 | 2020-08-04 | 浙江工业大学 | 一种基于深度学习目标检测与识别的袋口位置检测方法 |
| CN113487821A (zh) * | 2021-07-30 | 2021-10-08 | 重庆予胜远升网络科技有限公司 | 基于机器视觉的电力设备异物入侵识别系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229261A (zh) * | 2016-12-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 遥感图像检测方法、装置和计算机设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10332639B2 (en) * | 2017-05-02 | 2019-06-25 | James Paul Smurro | Cognitive collaboration with neurosynaptic imaging networks, augmented medical intelligence and cybernetic workflow streams |
-
2018
- 2018-12-25 CN CN201811589781.7A patent/CN109801265B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229261A (zh) * | 2016-12-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 遥感图像检测方法、装置和计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| Robust tracking-by-detection using a selection and completion mechanism;Ruochen Fan等;《Computational Visual Media》;20170915;第285-294页 * |
| 深度学习在输电线路中部件识别与缺陷检测的研究;汤踊等;《电子测量技术》;20180323;第60-65页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109801265A (zh) | 2019-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109801265B (zh) | 一种基于卷积神经网络的实时输电设备异物检测系统 | |
| Tao et al. | Smoke detection based on deep convolutional neural networks | |
| US20210232813A1 (en) | Person re-identification method combining reverse attention and multi-scale deep supervision | |
| CN109166094B (zh) | 一种基于深度学习的绝缘子故障定位识别方法 | |
| WO2021043168A1 (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN107153817B (zh) | 行人重识别数据标注方法和装置 | |
| CN108109385B (zh) | 一种输电线防外破的车辆识别与危险行为判别系统与方法 | |
| CN112446919A (zh) | 物体位姿估计方法、装置、电子设备及计算机存储介质 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN110781964A (zh) | 一种基于视频图像的人体目标检测方法及系统 | |
| CN111611889B (zh) | 基于改进卷积神经网络的农田微型虫害识别装置 | |
| CN110555420B (zh) | 一种基于行人区域特征提取和重识别融合模型网络及方法 | |
| CN109712127A (zh) | 一种用于机巡视频流的输电线路故障检测方法 | |
| CN112131927A (zh) | 基于妊娠后期姿态转化特性的母猪分娩时间预测系统 | |
| CN111767831B (zh) | 用于处理图像的方法、装置、设备及存储介质 | |
| CN111008994A (zh) | 基于MPSoC的运动目标实时检测跟踪系统及方法 | |
| CN111723773A (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| CN114241338A (zh) | 基于影像识别的建筑物测量方法、装置、设备及存储介质 | |
| CN116052222A (zh) | 自然采集牛脸图像的牛脸识别方法 | |
| CN112528903A (zh) | 人脸图像获取方法、装置、电子设备及介质 | |
| CN116363535A (zh) | 基于卷积神经网络的无人机航拍影像中的船舶检测方法 | |
| CN115620090A (zh) | 模型训练方法、低照度目标重识别方法和装置、终端设备 | |
| CN115100680A (zh) | 一种基于多源图像融合的行人检测方法 | |
| CN114022831A (zh) | 一种基于双目视觉的牲畜体况监测方法及系统 | |
| CN112488076A (zh) | 一种人脸图像采集方法、系统以及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |