CN110674827A - 一种融合深度学习与形态学滤波的设备状态视觉检测方法 - Google Patents

一种融合深度学习与形态学滤波的设备状态视觉检测方法 Download PDF

Info

Publication number
CN110674827A
CN110674827A CN201910905815.7A CN201910905815A CN110674827A CN 110674827 A CN110674827 A CN 110674827A CN 201910905815 A CN201910905815 A CN 201910905815A CN 110674827 A CN110674827 A CN 110674827A
Authority
CN
China
Prior art keywords
image
ammeter
deep learning
morphological filtering
mobilenet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910905815.7A
Other languages
English (en)
Inventor
彭宇
李绍俐
马宁
陈哲冬
彭喜元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201910905815.7A priority Critical patent/CN110674827A/zh
Publication of CN110674827A publication Critical patent/CN110674827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R11/00Electromechanical arrangements for measuring time integral of electric power or current, e.g. of consumption
    • G01R11/02Constructional details
    • G01R11/24Arrangements for avoiding or indicating fraudulent use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种融合深度学习与形态学滤波的设备状态视觉检测方法,它属于视觉检测技术领域。本发明解决了现有偷电检测方法需要消耗大量的人力以及需要的检测成本高的问题。本发明采用TenssorFlow_Object_Detection API的方式训练SSD_MobileNet_V2网络,然后使用训练好的网络模型用于对待测图像中的电表位置进行检测,接下来通过检测返回的信息对图像进行剪裁,最后依次使用显著性分析算法FT、自适应二值化算法wellner、开运算方法和连通域分析的方法对剪裁后的图像进行处理,返回电表连线个数,从而根据电表连线个数判断是否有窃电行为,检测成本低廉,使用方便。本发明可以应用于电表接线状态识别,以判别是否有偷电现象。

Description

一种融合深度学习与形态学滤波的设备状态视觉检测方法
技术领域
本发明属于视觉检测领域,具体涉及一种融合深度学习与形态学滤波的设备状态视觉检测方法。
背景技术
偷电现象普遍存在,获取偷电信息对供电公司的利益至关重要,以往的偷电检测方法有:1)定期不定期的营业普查检测:供电员工不定期进行营业普查,尤其是夏季和冬季用电高峰期会加大普查力度和范围,逐一排查用户电表箱,判断是否有人在窃电。2)反窃电机器人检测:反窃电机器人是专门针对低压台区的反窃电检查设备,能够快速锁定窃电户,具有数数快、精度高、范围广等特点。反窃电机器人安装在台区关口表箱内,能自动查找抄收低压户用电情况,诊断台区内的用电异常情况。3)智能电表检测:智能电表可以记录开盖时间、开端钮盒时间、失压、失流、断相等实时信息。通过用电采集系统,供电企业可以实现对电表的实时监控和通信。定期检查需要消耗大量的人力,无论是安装反窃电机器人还是智能电表,都需要较高的成本,消耗大量的人力物力。
发明内容
本发明的目的是为解决现有偷电检测方法需要消耗大量的人力以及需要的检测成本高的问题。
本发明为解决上述技术问题采取的技术方案是:一种融合深度学习与形态学滤波的设备状态视觉检测方法,该方法包括以下步骤:
步骤一、获取电表图像数据集,对数据集内的电表图像进行筛选后,再对筛选出的电表图像中的电表位置进行标注,将标注后的图像作为训练集图像;
步骤二、将步骤一获得的训练集图像输入SSD_MobileNet_V2网络,采用TenssorFlow_Object_Detection API方式对SSD_MobileNet_V2网络进行训练,直至达到设置的最大迭代次数时停止训练,获得训练好的SSD_MobileNet_V2网络;
步骤三、将待测图像输入训练好的SSD_MobileNet_V2网络,输出待测图像中电表的位置;
根据输出的电表位置对待测图像进行裁剪,获得裁剪后图像;
步骤四、采用显著性检测方法FT对裁剪后图像进行预处理,获得灰度图像;
步骤五、对步骤四获得的灰度图像进行二值化处理,获得二值化图像;
步骤六、采用开运算方法,对步骤五获得的二值化图像进行去干扰,获得去除干扰后的图像;
步骤七、采用连通域分析方法对步骤六获得的去除干扰后图像中的连通域进行计数,将连通域的个数作为待测图像中电表的接线个数。
本发明的有益效果是:本发明的一种融合深度学习与形态学滤波的设备状态视觉检测方法,本发明采用TenssorFlow_Object_Detection API的方式训练SSD_MobileNet_V2网络,然后使用训练好的网络模型用于对待测图像中的电表位置进行检测,接下来通过检测返回的信息对图像进行剪裁,最后依次使用显著性分析算法FT、自适应二值化算法wellner、开运算方法和连通域分析的方法对剪裁后的图像进行处理,返回电表连线个数,从而根据电表连线个数判断是否有窃电行为,检测成本低廉,使用方便。
而且,本发明方法训练的神经网络模型可以被移植到安卓系统,集成到app中,使用者通过app即可查看电表连线个数,从而判断是否有偷电行为。
附图说明
图1是本发明的检测方法的流程图;
图2是待测图像的示意图;
图3是SSD_MobileNet_V2网络模型输出的预测结果图;
图中实线框代表检测出来的电表位置;
图4是本发明的裁剪后图像的示意图;
图5是采用直接转灰度图像方法获得的灰度图像的示意图;
图6是采用显著性检测方法FT获得的灰度图像的示意图;
图7是采用二值化方法Otsu获得的二值化图像的示意图;
图8是采用二值化方法wellner获得的二值化图像的示意图;
图9是采用开运算方法获得处理后图像的示意图;
图10是采用cvDrawContours函数绘制的外部轮廓和内部轮廓的示意图;
图11是点的扫描顺序的示意图。
具体实施方式
具体实施方式一:结合图1说明本实施方式,本实施方式所述的一种融合深度学习与形态学滤波的设备状态视觉检测方法,该方法包括以下步骤:
步骤一、获取电表图像数据集,对数据集内的电表图像进行筛选后,再对筛选出的电表图像中的电表位置进行标注,将标注后的图像作为训练集图像;
首先对获取的数据集内的电表图像进行筛选,即筛选出图像中电表特征清晰的图像,剔除模糊、电表较小、拍摄角度倾斜严重的图像,再对筛选出的电表图像中的电表位置进行标注,标注完成后获得训练集图像;
步骤二、将步骤一获得的训练集图像输入SSD_MobileNet_V2网络,采用TenssorFlow_Object_Detection API方式对SSD_MobileNet_V2网络进行训练,直至达到设置的最大迭代次数时停止训练,获得训练好的SSD_MobileNet_V2网络;
步骤三、将待测图像输入训练好的SSD_MobileNet_V2网络,输出待测图像中电表的位置;
根据输出的电表位置对待测图像进行裁剪,获得裁剪后图像;
步骤四、采用显著性检测方法FT(Frequency-tuned Salient Region Detection)对裁剪后图像进行预处理,获得灰度图像;
步骤五、对步骤四获得的灰度图像进行二值化处理,获得二值化图像;
步骤六、采用开运算方法,对步骤五获得的二值化图像进行去干扰,获得去除干扰后的图像;
步骤七、采用连通域分析方法对步骤六获得的去除干扰后图像中的连通域进行计数,将连通域的个数作为待测图像中电表的接线个数。
具体实施方式二:本实施方式与具体实施方式一不同的是:所述步骤二中,采用TenssorFlow_Object_Detection API方式对SSD_MobileNet_V2网络进行训练,训练过程中的参数设置为:L2正则化系数为0.00004,激活函数为relu6,优化方式为RMSprop,学习率衰减方式为按指数衰减,动量(momentum)为0.9,Dropout系数为0.5。
SSD_MobileNet_V2网络是将SSD中的VGG16更换为结构更加简单的MobileNet_V2网络,在保证了检测精度的前提下,大大减少了整个网络的参数量和计算量,提升了整体的效率。
而且,使用TenssorFlow_Object_Detection API训练SSD_MobileNet_V2网络,该方法生成的神经网络模型较其他方式训练的网络模型不同在于,这种方式训练的网络模型的输出节点包含:num_detections、detection_boxes、detection_scores、detection_classes,输入节点为image_tensor,由于这种特殊的结构,使得TenssorFlow_Object_Detection API训练得到的模型能够方便地向安卓系统移植。
具体实施方式三:本实施方式与具体实施方式一或二不同的是:所述步骤二中,设置的最大迭代次数为12000次。
具体实施方式四:本实施方式与具体实施方式三不同的是:所述根据输出的电表位置对待测图像进行裁剪,获得裁剪后图像;其具体过程为:
在输出的电表位置的正下方,从输出的电表位置的下边缘处开始,截取与电表同等宽度的40个像素点高的图像。
待测图像如图2所示,将训练好的SSD_MobileNet_V2网络模型用于待测图像中电表的检测,准确的说是给图像中的电表定位,测试结果如图3所示。方框则为预测的电表的位置,通过返回的位置信息对原图进行裁剪,裁剪的图像为返回电表同等宽度下方40个像素点高的图像。选择这样裁剪图像的方式,是因为40个像素点高的这部分图像能包含大部分电线的信息,而且排除了大部分干扰。裁剪后的图像如图4所示。
具体实施方式五:本实施方式与具体实施方式四不同的是:所述步骤四的具体过程为:
对裁剪后图像进行高斯滤波,获得高斯滤波后图像;
再将高斯滤波后图像转换到Lab颜色模型空间,并计算转换后图像的显著度,再对转换后图像进行归一化处理,获得灰度图像。
直接转灰度图像的方式是先将图像转换到HSV空间,然后保留亮度,这样得到的灰度图干扰较多,如图5所示。
本实施方式的处理结果图如图6所示,与图5的处理结果相比,本实施方式的FT算法更能区分背景和前景,处理效果更好。
具体实施方式六:本实施方式与具体实施方式五不同的是:所述步骤五的具体过程为:
使用自适应阈值的二值化算法wellner,对得到的灰度图像进行二值化,wellner算法的具体公式如下所示。
Figure BDA0002213239350000041
Figure BDA0002213239350000042
其中:T(n)为二值化图像中第n个点的像素值,p(n)为灰度图像中第n个点的灰度值,t取常数值15,s的取值为g(n)为中间变量,并初始化g(0)=127×s,gpre(n)表示在灰度图像的第n个点的前一行中,与第n个点处于同一列的点的g值。
对于灰度图像的第一行的各个点,gpre(n)的值均等于g(0)。对灰度图像中的点进行扫描的顺序如图11所示。
使用自适应阈值的二值化算法wellner计算T(n)时,离当前像素点越近的像素对当前点的影响越大,越远则越小,实现了局部自适应。由图7可以看到,使用Otsu二值化得到的图像丢失了大部分电线的信息,wellner以实现局部自适应的方式相较于Otsu全局自适应更大程度还原了原图,如图8所示。
具体实施方式七:本实施方式与具体实施方式六不同的是:所述步骤六的具体过程为:
采用开运算方法,即先腐蚀后膨胀的方法对步骤五获得的二值化图像进行处理,以去除二值化图像中的干扰,获得去除干扰后的图像,如图9所示。
具体实施方式八:本实施方式与具体实施方式七不同的是:所述步骤七的具体过程为:
使用openCV库中的cvDrawContours函数,在去除干扰后的图像中绘制外部轮廓和内部轮廓,再使用openCV库中的cvFindContours函数提取内部轮廓,并返回提取的内部轮廓的数目,将提取的内部轮廓的个数作为待测图像中电表的接线个数。
如图10所示,为本实施方式绘制的外部轮廓和内部轮廓的示意图。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种融合深度学习与形态学滤波的设备状态视觉检测方法,其特征在于,该方法包括以下步骤:
步骤一、获取电表图像数据集,对数据集内的电表图像进行筛选后,再对筛选出的电表图像中的电表位置进行标注,将标注后的图像作为训练集图像;
步骤二、将步骤一获得的训练集图像输入SSD_MobileNet_V2网络,采用TenssorFlow_Object_Detection API方式对SSD_MobileNet_V2网络进行训练,直至达到设置的最大迭代次数时停止训练,获得训练好的SSD_MobileNet_V2网络;
步骤三、将待测图像输入训练好的SSD_MobileNet_V2网络,输出待测图像中电表的位置;
根据输出的电表位置对待测图像进行裁剪,获得裁剪后图像;
步骤四、采用显著性检测方法FT对裁剪后图像进行预处理,获得灰度图像;
步骤五、对步骤四获得的灰度图像进行二值化处理,获得二值化图像;
步骤六、采用开运算方法,对步骤五获得的二值化图像进行去干扰,获得去除干扰后的图像;
步骤七、采用连通域分析方法对步骤六获得的去除干扰后图像中的连通域进行计数,将连通域的个数作为待测图像中电表的接线个数。
2.根据权利要求1所述的一种融合深度学习与形态学滤波的设备状态视觉检测方法,其特征在于,所述步骤二中,采用TenssorFlow_Object_Detection API方式对SSD_MobileNet_V2网络进行训练,训练过程中的参数设置为:L2正则化系数为0.00004,激活函数为relu6,优化方式为RMSprop,学习率衰减方式为按指数衰减,动量为0.9,Dropout系数为0.5。
3.根据权利要求1或2所述的一种融合深度学习与形态学滤波的设备状态视觉检测方法,其特征在于,所述步骤二中,设置的最大迭代次数为12000次。
4.根据权利要求3所述的一种融合深度学习与形态学滤波的设备状态视觉检测方法,其特征在于,所述根据输出的电表位置对待测图像进行裁剪,获得裁剪后图像;其具体过程为:
在输出的电表位置的正下方,从输出的电表位置的下边缘处开始,截取与电表同等宽度的40个像素点高的图像。
5.根据权利要求4所述的一种融合深度学习与形态学滤波的设备状态视觉检测方法,其特征在于,所述步骤四的具体过程为:
对裁剪后图像进行高斯滤波,获得高斯滤波后图像;
再将高斯滤波后图像转换到Lab颜色模型空间,并计算转换后图像的显著度,再对转换后图像进行归一化处理,获得灰度图像。
6.根据权利要求5所述的一种融合深度学习与形态学滤波的设备状态视觉检测方法,其特征在于,所述步骤五的具体过程为:
Figure FDA0002213239340000021
Figure FDA0002213239340000022
其中:T(n)为二值化图像中第n个点的像素值,p(n)为灰度图像中第n个点的灰度值,t取常数值15,s的取值为
Figure FDA0002213239340000023
g(n)为中间变量,并初始化g(0)=127×s,gpre(n)表示在灰度图像的第n个点的前一行中,与第n个点处于同一列的点的g值。
7.根据权利要求6所述的一种融合深度学习与形态学滤波的设备状态视觉检测方法,其特征在于,所述步骤六的具体过程为:
采用开运算方法,即先腐蚀后膨胀的方法对步骤五获得的二值化图像进行处理,以去除二值化图像中的干扰,获得去除干扰后的图像。
8.根据权利要求7所述的一种融合深度学习与形态学滤波的设备状态视觉检测方法,其特征在于,所述步骤七的具体过程为:
使用openCV库中的cvDrawContours函数,在去除干扰后的图像中绘制外部轮廓和内部轮廓,再使用openCV库中的cvFindContours函数提取内部轮廓,并返回提取的内部轮廓的数目,将提取的内部轮廓的个数作为待测图像中电表的接线个数。
CN201910905815.7A 2019-09-24 2019-09-24 一种融合深度学习与形态学滤波的设备状态视觉检测方法 Pending CN110674827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910905815.7A CN110674827A (zh) 2019-09-24 2019-09-24 一种融合深度学习与形态学滤波的设备状态视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910905815.7A CN110674827A (zh) 2019-09-24 2019-09-24 一种融合深度学习与形态学滤波的设备状态视觉检测方法

Publications (1)

Publication Number Publication Date
CN110674827A true CN110674827A (zh) 2020-01-10

Family

ID=69077505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910905815.7A Pending CN110674827A (zh) 2019-09-24 2019-09-24 一种融合深度学习与形态学滤波的设备状态视觉检测方法

Country Status (1)

Country Link
CN (1) CN110674827A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523535A (zh) * 2020-04-01 2020-08-11 南通大学 基于机器视觉与深度学习的类圆对象识别计数检测算法
CN112884002A (zh) * 2021-01-18 2021-06-01 四川大学 智能电表版本分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050477A (zh) * 2014-06-27 2014-09-17 西北工业大学 基于道路辅助信息和显著性检测的红外图像车辆检测方法
CN108596886A (zh) * 2018-04-17 2018-09-28 福州大学 基于深度学习的航拍图像绝缘子掉片故障快速检测方法
CN109029731A (zh) * 2018-05-24 2018-12-18 河海大学常州校区 一种基于多目视觉的电力设备异常监测系统及方法
CN109086678A (zh) * 2018-07-09 2018-12-25 天津大学 一种基于深度监督学习提取图像多级特征的行人检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050477A (zh) * 2014-06-27 2014-09-17 西北工业大学 基于道路辅助信息和显著性检测的红外图像车辆检测方法
CN108596886A (zh) * 2018-04-17 2018-09-28 福州大学 基于深度学习的航拍图像绝缘子掉片故障快速检测方法
CN109029731A (zh) * 2018-05-24 2018-12-18 河海大学常州校区 一种基于多目视觉的电力设备异常监测系统及方法
CN109086678A (zh) * 2018-07-09 2018-12-25 天津大学 一种基于深度监督学习提取图像多级特征的行人检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王博雅: "对空红外小目标跟踪系统研制", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
肖尧: "小型飞行平台视频目标检测与跟踪技术研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523535A (zh) * 2020-04-01 2020-08-11 南通大学 基于机器视觉与深度学习的类圆对象识别计数检测算法
CN111523535B (zh) * 2020-04-01 2022-03-15 南通大学 基于机器视觉与深度学习的类圆对象识别计数检测算法
CN112884002A (zh) * 2021-01-18 2021-06-01 四川大学 智能电表版本分类方法

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN105512666A (zh) 一种基于视频的河道垃圾识别方法
CN108596221B (zh) 标尺读数的图像识别方法及设备
CN111598098B (zh) 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
CN115115638B (zh) 一种液压系统漏油检测及判定方法
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN110674827A (zh) 一种融合深度学习与形态学滤波的设备状态视觉检测方法
CN105550710A (zh) 基于非线性拟合的接触网运行异常状态智能检测方法
CN108335294A (zh) 复杂条件下的配电房异常状态图像识别方法
CN107516085A (zh) 一种基于文档图像自动去除黑边的方法
CN110969213A (zh) 一种基于Faster RCNN的船只检测方法、装置及电子设备
CN116311201A (zh) 一种基于图像识别技术的变电站设备状态识别方法及系统
CN103391441B (zh) 一种基于差异能量的监控视频对象删除篡改检测算法
CN113468905B (zh) 图形码识别方法、装置、计算机设备和存储介质
CN106355187A (zh) 视觉信息在电力设备监测中的应用
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法
CN116629465B (zh) 智能电网视频监控与风险预测响应系统
CN111950606B (zh) 一种刀闸状态识别方法、装置、设备和存储介质
CN116385735B (zh) 一种基于图像识别的水位测量方法
CN117763186A (zh) 遥感图像检索方法、系统、计算机设备及存储介质
CN116434258A (zh) 一种表格数据的自动识别方法
CN109686110A (zh) 车位空满状态判别方法及设备
CN115187880A (zh) 基于图像识别的通信光缆缺陷检测方法、系统及存储介质
CN114529906A (zh) 基于字符识别的输电设备数字仪表异常检测方法及系统
CN108764311A (zh) 一种遮挡目标检测方法、电子设备、存储介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110