CN111307823A - 基于边云协同的变电设备典型视觉缺陷检测系统及方法 - Google Patents

基于边云协同的变电设备典型视觉缺陷检测系统及方法 Download PDF

Info

Publication number
CN111307823A
CN111307823A CN202010286386.2A CN202010286386A CN111307823A CN 111307823 A CN111307823 A CN 111307823A CN 202010286386 A CN202010286386 A CN 202010286386A CN 111307823 A CN111307823 A CN 111307823A
Authority
CN
China
Prior art keywords
defect
typical visual
image
power transformation
edge computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010286386.2A
Other languages
English (en)
Other versions
CN111307823B (zh
Inventor
尹子会
张玉亮
付炜平
孟荣
范晓丹
赵智龙
李冰
赵振兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
North China Electric Power University
Maintenance Branch of State Grid Hebei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
North China Electric Power University
Maintenance Branch of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, North China Electric Power University, Maintenance Branch of State Grid Hebei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010286386.2A priority Critical patent/CN111307823B/zh
Publication of CN111307823A publication Critical patent/CN111307823A/zh
Application granted granted Critical
Publication of CN111307823B publication Critical patent/CN111307823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于边云协同的变电设备典型视觉缺陷检测系统及方法，涉及边缘计算和云计算技术领域；系统包括巡检机器人、变电设备图像采集装置、边缘计算平台、云服务器平台和通信装置以及图像数据预处理模块、变电设备典型视觉缺陷检测模块和典型视觉缺陷图像数据管理模块；方法包括S1～S3的步骤，S1，变电设备图像采集装置采集变电设备图像数据并发送至边缘计算平台；其通过巡检机器人、变电设备图像采集装置、边缘计算平台、云服务器平台和通信装置以及图像数据预处理模块、变电设备典型视觉缺陷检测模块和典型视觉缺陷图像数据管理模块等，实现了变电设备典型视觉缺陷检测工作效率高。

Description

基于边云协同的变电设备典型视觉缺陷检测系统及方法
技术领域
本发明涉及边缘计算和云计算技术领域，尤其涉及一种基于边云协同的变电设备典型视觉缺陷检测系统及方法。
背景技术
变电站是电网的重要组成部分，变电设备的可靠运行是变电站生产安全的基础。变电设备可能会存在各种典型视觉缺陷或异物，如呼吸器变色、漏油、绝缘子破损、鸟巢等，都会对变电站的正常运行造成安全隐患，因此及时发现设备典型视觉缺陷或异物是保证变电站安全稳定运行的关键。目前针对变电设备典型视觉缺陷或异物检测方法除了依靠人力到现场排查，还利用变电站巡检机器人拍摄变电设备的照片或视频，并由专门的技术人员或图像识别方法进行检测。基于人工检测的方法虽然对变电设备缺陷检测的准确率较高，但需要技术人员定期到现场观测，浪费较大的人力物力且技术人员工作强度较大；巡检机器人或无人机巡检采用的方式一般为将其拍摄的图像或视频发送至服务器，由服务器端利用变电设备缺陷检测算法进行检测，可以大大减少技术人员的工作强度，但巡检的实时性较低、对服务器性能要求较高。
近几年，随着边缘计算的迅速发展并被业内熟知，边缘计算是指在网络边缘执行计算的一种新型计算模型，操作对象包括来自于云服务器的下行数据和来自于万物互联服务的上行数据，即边缘计算就是将数据处理、应用程序运行等功能，由云计算中心下放到网络边缘节点上。变电设备巡检过程中会产生大量数据，其中包含很多无用数据，若这些数据均传输到云计算中心，会给网络传输造成很大压力，且实际价值较小。利用边缘计算平台，将缺陷检测计算任务下放到边缘装置，可以实现数据的本地化处理和存储，提高变电设备典型视觉缺陷检测的实时性，大大降低了数据传输数量，减少了请求响应时间，同时也保障了数据的安全性和私密性。利用云服务器对深度学习模型的自动训练，提高变电设备典型视觉缺陷深度学习模型的检测准确率，提高设备缺陷的检测性能。
现有技术问题及思考：
如何解决现有变电设备典型视觉缺陷检测中实时性低的技术问题。
如何解决现有变电设备典型视觉缺陷检测中数据传输量大的技术问题。
如何解决现有变电设备典型视觉缺陷检测中检测工作效率低下的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于边云协同的变电设备典型视觉缺陷检测系统及方法，其通过巡检机器人、变电设备图像采集装置、边缘计算平台、云服务器平台和通信装置以及图像数据预处理模块、变电设备典型视觉缺陷检测模块和典型视觉缺陷图像数据管理模块等，实现了变电设备典型视觉缺陷检测工作效率高。
为解决上述技术问题，本发明所采取的技术方案是：一种基于边云协同的变电设备典型视觉缺陷检测系统包括巡检机器人、变电设备图像采集装置、边缘计算平台、云服务器平台和通信装置以及图像数据预处理模块、变电设备典型视觉缺陷检测模块和典型视觉缺陷图像数据管理模块，所述变电设备图像采集装置包括第一图像采集装置，所述第一图像采集装置和边缘计算平台设置在巡检机器人上，第一图像采集装置与边缘计算平台连接并通信，所述边缘计算平台通过通信装置与云服务器平台连接并通信；图像数据预处理模块，用于边缘计算平台对变电设备图像采集装置发来的图像数据进行图像缩放和图像变换的预处理操作并生成预处理后的图像；变电设备典型视觉缺陷检测模块，用于边缘计算平台对预处理后的图像进行变电设备典型视觉缺陷检测并获得缺陷图像和缺陷标记的数据；典型视觉缺陷图像数据管理模块，用于边缘计算平台将检测到的缺陷图像和缺陷标记的数据进行存储并发送至云服务器平台。
进一步的技术方案在于：所述变电设备图像采集装置还包括设置在巡检区域的第二图像采集装置，所述第二图像采集装置与边缘计算平台无线连接并通信。
进一步的技术方案在于：所述第二图像采集装置通过Wi-Fi通信装置、3G通信装置、4G通信装置或者5G通信装置与边缘计算平台连接。
进一步的技术方案在于：所述第一图像采集装置通过USB接口或以太网接口与边缘计算平台连接。
进一步的技术方案在于：还包括典型视觉缺陷检测模型管理模块，典型视觉缺陷检测模型管理模块，用于边缘计算平台接收云服务器平台发来的检测模型配置方案。
进一步的技术方案在于：还包括变电设备典型视觉缺陷检测模型训练模块、典型视觉缺陷图像数据库模块和典型视觉缺陷图像检测模块，
变电设备典型视觉缺陷检测模型训练模块，用于云服务器平台通过其典型视觉缺陷图像数据库存储的缺陷图像数据训练变电设备典型视觉缺陷检测模型；
典型视觉缺陷图像数据库模块，用于云服务器平台接收并存储边缘计算平台发来的变电设备典型视觉的缺陷图像和缺陷标记的数据；
典型视觉缺陷图像监测模块，用于云服务器平台检测边缘计算平台发来的变电设备典型视觉的缺陷图像，找出缺陷和缺陷类型并将检测获得的缺陷图像和缺陷标记的数据保存到典型视觉缺陷图像数据库中。
进一步的技术方案在于：还包括自主训练管理模块，自主训练管理模块，用于当典型视觉缺陷图像数据的新增数据达到设定数量后，云服务器平台对检测模型进行训练并将训练好的检测模型配置方案发送至边缘计算平台。
一种基于边云协同的变电设备典型视觉缺陷检测方法包括S1～S3的步骤，S1，变电设备图像采集装置采集变电设备图像数据并发送至边缘计算平台；S2，边缘计算平台将变电设备图像采集装置上传的图像数据进行预处理后送入变电设备典型视觉缺陷检测模型，变电设备典型视觉缺陷检测模型检测图像中的缺陷，发现缺陷则进入下一步，否则执行步骤S1；S3，边缘计算平台对存在缺陷的变电设备图像数据进行缺陷位置和缺陷类型标记，并将缺陷图像和缺陷标记的数据保存至边缘计算平台的存储设备。
进一步的技术方案在于：基于通过通信装置与边缘计算平台连接并通信的管理人员使用的终端，还包括S4和S5的步骤，S4，边缘计算平台将检测到的变电设备的缺陷图像和缺陷标记的数据发送至云服务器平台，边缘计算平台将缺陷图像和缺陷标记的数据发送至管理人员使用的终端；S5，返回步骤S1继续进行检测。
进一步的技术方案在于：在步骤S4中，边缘计算平台在巡检结束后将缺陷图像和缺陷标记的数据发送至云服务器平台；或者当边缘计算平台检测到变电设备存在典型视觉缺陷时，立即发送缺陷图像和缺陷标记的数据。
采用上述技术方案所产生的有益效果在于：
一种基于边云协同的变电设备典型视觉缺陷检测系统包括巡检机器人、变电设备图像采集装置、边缘计算平台、云服务器平台和通信装置以及图像数据预处理模块、变电设备典型视觉缺陷检测模块和典型视觉缺陷图像数据管理模块，所述变电设备图像采集装置包括第一图像采集装置，所述第一图像采集装置和边缘计算平台设置在巡检机器人上，第一图像采集装置与边缘计算平台连接并通信，所述边缘计算平台通过通信装置与云服务器平台连接并通信；图像数据预处理模块，用于边缘计算平台对变电设备图像采集装置发来的图像数据进行图像缩放和图像变换的预处理操作并生成预处理后的图像；变电设备典型视觉缺陷检测模块，用于边缘计算平台对预处理后的图像进行变电设备典型视觉缺陷检测并获得缺陷图像和缺陷标记的数据；典型视觉缺陷图像数据管理模块，用于边缘计算平台将检测到的缺陷图像和缺陷标记的数据进行存储并发送至云服务器平台。其通过巡检机器人、变电设备图像采集装置、边缘计算平台、云服务器平台和通信装置以及图像数据预处理模块、变电设备典型视觉缺陷检测模块和典型视觉缺陷图像数据管理模块等，实现了变电设备典型视觉缺陷检测工作效率高。
一种基于边云协同的变电设备典型视觉缺陷检测方法包括S1～S3的步骤，S1，变电设备图像采集装置采集变电设备图像数据并发送至边缘计算平台；S2，边缘计算平台将变电设备图像采集装置上传的图像数据进行预处理后送入变电设备典型视觉缺陷检测模型，变电设备典型视觉缺陷检测模型检测图像中的缺陷，发现缺陷则进入下一步，否则执行步骤S1；S3，边缘计算平台对存在缺陷的变电设备图像数据进行缺陷位置和缺陷类型标记，并将缺陷图像和缺陷标记的数据保存至边缘计算平台的存储设备。其通过S1～S3的步骤等，实现了变电设备典型视觉缺陷检测工作效率高。
详见具体实施方式部分描述。
附图说明
图1是本发明实施例1的原理框图；
图2是本发明实施例1中边缘计算平台的原理框图；
图3是本发明实施例1中云服务器平台的原理框图；
图4是本发明实施例2的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。
实施例1：
如图1～图3所示，本发明公开了一种基于边云协同的变电设备典型视觉缺陷检测系统包括巡检机器人、变电设备图像采集装置、边缘计算平台、云服务器平台和通信装置，还包括运行在边缘计算平台上的图像数据预处理模块、变电设备典型视觉缺陷检测模块、典型视觉缺陷图像数据管理模块和典型视觉缺陷检测模型管理模块以及运行在云服务器平台上的变电设备典型视觉缺陷检测模型训练模块、典型视觉缺陷图像数据库模块、典型视觉缺陷图像检测模块和自主训练管理模块。
所述变电设备图像采集装置包括第一图像采集装置和第二图像采集装置，所述第一图像采集装置和边缘计算平台设置在巡检机器人上，第一图像采集装置通过USB接口与边缘计算平台有线连接并通信，所述第二图像采集装置设置在巡检区域，第二图像采集装置通过Wi-Fi通信装置与边缘计算平台无线连接并通信，所述边缘计算平台通过无线的通信装置与云服务器平台无线连接并通信。
图像数据预处理模块，用于边缘计算平台对变电设备图像采集装置发来的图像数据进行图像缩放和图像变换的预处理操作并生成预处理后的图像。
变电设备典型视觉缺陷检测模块，用于边缘计算平台对预处理后的图像进行变电设备典型视觉缺陷检测并获得缺陷图像和缺陷标记的数据。
典型视觉缺陷图像数据管理模块，用于边缘计算平台将检测到的缺陷图像和缺陷标记的数据进行存储并发送至云服务器平台。
典型视觉缺陷检测模型管理模块，用于边缘计算平台接收云服务器平台发来的检测模型配置方案。
变电设备典型视觉缺陷检测模型训练模块，用于云服务器平台通过其典型视觉缺陷图像数据库存储的缺陷图像数据训练变电设备典型视觉缺陷检测模型。
典型视觉缺陷图像数据库模块，用于云服务器平台接收并存储边缘计算平台发来的变电设备典型视觉的缺陷图像和缺陷标记的数据。
典型视觉缺陷图像监测模块，用于云服务器平台检测边缘计算平台发来的变电设备典型视觉的缺陷图像，找出缺陷和缺陷类型并将检测获得的缺陷图像和缺陷标记的数据保存到典型视觉缺陷图像数据库中。
自主训练管理模块，用于当典型视觉缺陷图像数据的新增数据达到设定数量后，云服务器平台对检测模型进行训练并将训练好的检测模型配置方案发送至边缘计算平台。
其中，变电设备典型视觉缺陷检测模型为现有技术中的模型，巡检机器人、变电设备图像采集装置、边缘计算平台、云服务器平台和通信装置本身以及相应的通信连接技术为现有技术在此不再赘述。
相对于实施例1，所述第二图像采集装置通过3G通信装置与边缘计算平台连接。
相对于实施例1，所述第二图像采集装置通过4G通信装置与边缘计算平台连接。
相对于实施例1，所述第二图像采集装置通过5G通信装置与边缘计算平台连接。
相对于实施例1，所述第一图像采集装置通过以太网接口与边缘计算平台连接。
实施例2：
如图4所示，本发明公开了一种基于边云协同的变电设备典型视觉缺陷检测方法包括S1～S5的步骤，具体如下：
S1，变电设备图像采集装置采集变电设备图像数据并发送至边缘计算平台。
S2，边缘计算平台将变电设备图像采集装置上传的图像数据进行预处理后送入变电设备典型视觉缺陷检测模型，变电设备典型视觉缺陷检测模型检测图像中的缺陷，发现缺陷则进入下一步，否则执行步骤S1。
S3，边缘计算平台对存在缺陷的变电设备图像数据进行缺陷位置和缺陷类型标记，并将缺陷图像和缺陷标记的数据保存至边缘计算平台的存储设备。
S4，基于通过无线通信装置与边缘计算平台无线连接并通信的管理人员使用的移动终端，所述移动终端为智能手机，边缘计算平台检测到变电设备存在典型视觉缺陷时，立即将变电设备的缺陷图像和缺陷标记的数据发送至云服务器平台，边缘计算平台将缺陷图像和缺陷标记的数据发送至管理人员使用的智能手机。
S5，返回步骤S1继续进行检测。
相对于实施例2，在S4步骤中，当缺陷图像和缺陷标记的数据发送失败，边缘计算平台在巡检结束后将未上传的缺陷图像和缺陷标记的数据发送至云服务器平台。
相对于实施例2，在S4步骤中，管理人员使用的终端为固定终端，所述固定终端为台式电脑，固定终端通过无线通信装置与边缘计算平台无线连接并通信。
本申请的目的：
在于克服现有变电设备典型视觉缺陷技术的不足，提供一种基于边云协同的变电设备典型视觉缺陷检测方法及系统，解决现有变电设备典型视觉缺陷检测中实时性低、数据传输量大、检测工作效率低下的技术问题。
本申请的特点在于：
1、检测系统包括：巡检机器人、变电设备图像采集装置、边缘计算平台、云服务器平台、通信装置。
2、巡检机器人用于携载变电设备图像采集装置和边缘计算平台进行变电站巡检时的变电设备典型视觉缺陷检测。
3、变电设备图像采集装置包括第一图像采集装置和第二图像采集装置。
4、边缘计算平台包括图像数据预处理、变电设备典型视觉缺陷检测、典型视觉缺陷图像数据管理和典型视觉缺陷检测模型管理四个程序模块。
5、云服务器平台包括变电设备典型视觉缺陷检测模型训练、典型视觉缺陷图像数据库、典型视觉缺陷图像检测和自主训练管理四个程序模块。
6、通信装置用于实现边缘计算平台与云服务器平台之间的通信和数据传输。
7、巡检机器人巡检路线和巡检时间由变电站工作人员根据变电设备分布情况进行设定。
8、第一图像采集装置与边缘计算平台一起安装在巡检机器人上，第一图像采集装置通过USB接口或以太网接口向边缘计算平台发送图像数据传送；第二图像采集装置安装在巡检机器人无法到达的区域，第二图像采集装置通过Wi-Fi通信装置、3G通信装置、4G通信装置或者5G通信装置与边缘计算平台连接。
9、边缘计算平台中的图像数据预处理模块用于对变电设备图像采集装置发来的图像数据进行图像缩放、图像变换等预处理操作；变电设备典型视觉缺陷检测模块用于对预处理后的图像进行变电设备典型视觉缺陷检测；典型视觉缺陷图像数据管理模块用于将检测到的缺陷图像和缺陷标记数据进行存储，并上传到云服务器平台；典型视觉缺陷检测模型管理模块用于接收云服务器平台下发的检测模型配置方案，接收方式包括主动请求发送和被动接收。
10、边缘计算平台进行变电设备典型视觉缺陷检测时，包括以下步骤：
S1:变电设备图像采集装置采集变电设备图像数据，并发送至边缘计算平台；
S2：边缘计算平台将变电设备图像采集装置上传的图像数据进行预处理后送入变电设备典型视觉缺陷检测模型，变电设备典型视觉缺陷检测模型对图像中的变电设备是否存在缺陷进行检测，若存在缺陷，进入下一步，若无缺陷，返回步骤S1继续进行数据采集；
S3：边缘计算平台对存在缺陷的变电设备图像数据进行缺陷位置和缺陷类型标记，并将缺陷图像和标记结果数据保存至边缘计算平台的存储设备；
S4：边缘计算平台将检测到的变电设备缺陷图像数据和标记结果数据上传至云服务器平台，将缺陷结果发送给预置的管理人员的移动终端；
S5：返回步骤S1继续进行检测。
11、不同变电站可以根据各自变电站设备特征和巡检要求，在边缘计算平台配置不同类型的检测模型。
12、边缘计算平台中典型视觉缺陷检测模型管理模块向云服务器平台请求更新检测模型操作在无巡检任务时进行，请求次数和请求时间可根据工作需求自行设定；边缘计算平台被动接收模型配置更新时，云服务器平台下发检测模型更新在非巡检工作时段进行，下发前与边缘计算平台发送握手信号确认当前无巡检任务执行。
13、边缘计算平台可将每次巡检时通过设置将全程图像数据存储到边缘计算平台的存储设备中。
14、云服务器平台中的变电设备典型视觉缺陷检测模型训练模块利用云服务器平台存储的典型视觉缺陷图像数据库存储的全部缺陷图像数据训练变电设备典型视觉缺陷检测模型；典型视觉缺陷图像数据库模块用于存储各边缘计算平台上传的所有变电设备典型视觉的缺陷图像数据；典型视觉缺陷图像监测模块用于对边缘计算平台上传的变电设备典型视觉的缺陷图像进行再次检测，确认是否存在缺陷及缺陷类型，并将检测缺陷图像和缺陷数据结果保存到典型视觉缺陷图像数据库中；自主训练管理模块用于当典型视觉缺陷图像数据新增数据达到设定数量后，自动对检测模型进行训练，并将训练好的检测模型配置方案下发给边缘计算平台；通信装置用于接收边缘计算平台上传的变电设备典型视觉缺陷数据和训练好的检测模型下发以及与其他互联网实体的数据交互服务。
15、用于变电设备典型视觉缺陷检测的算法为深度学习算法，模型包括但不限于Faster R-CNN、Yolo等深度学习算法模型，深度学习模型可以进行重配置，由云服务器平台对算法模型进行训练后更新配置。
16、在步骤S4中，边缘计算平台的典型视觉缺陷图像数据管理模块可以在巡检结束后将未上传的缺陷图像和标记结果数据上传至云服务器平台。
17、在步骤S4中，当检测到变电设备存在典型视觉缺陷时，可立即将缺陷结果通发送至预先设定的负责人或管理人员，包括但不限于短信、电话、即时通信软件和小程序。
技术方案说明：
如图1所示，检测系统包括：巡检机器人、变电设备图像采集装置、边缘计算平台、云服务器平台、通信装置。巡检机器人携载边缘计算平台和第一图像采集装置，云服务器平台部署在监控中心，边缘计算平台和云服务器平台之间通过通信装置实现数据交互。
如图2所示，边缘计算平台包括图像数据预处理、变电设备典型视觉缺陷检测、典型视觉缺陷图像数据管理和典型视觉缺陷检测模型管理四个程序模块，图像数据预处理模块用于对变电设备图像采集装置发来的图像数据进行图像缩放、图像变换等预处理操作；变电设备典型视觉缺陷检测模块用于对预处理后的图像进行变电设备典型视觉缺陷检测；典型视觉缺陷图像数据管理模块用于将检测到的缺陷图像和缺陷标记数据进行存储，并上传到云服务器平台；典型视觉缺陷检测模型管理模块用于接收云服务器平台下发的检测模型配置方案，接收方式包括主动请求发送和被动接收。
如图3所示，云服务器平台包括变电设备典型视觉缺陷检测模型训练、典型视觉缺陷图像数据库、典型视觉缺陷图像检测和自主训练管理四个程序模块。变电设备典型视觉缺陷检测模型训练模块利用云服务器平台存储的典型视觉缺陷图像数据库存储的全部缺陷图像数据训练变电设备典型视觉缺陷检测模型；典型视觉缺陷图像数据库模块用于存储各边缘计算平台上传的所有变电设备典型视觉的缺陷图像数据；典型视觉缺陷图像监测模块用于对边缘计算平台上传的变电设备典型视觉的缺陷图像进行再次检测，确认是否存在缺陷及缺陷类型，并将检测缺陷图像和缺陷数据结果保存到典型视觉缺陷图像数据库中；自主训练管理模块用于当典型视觉缺陷图像数据新增数据达到设定数量后，自动对检测模型进行训练，并将训练好的检测模型配置方案下发给边缘计算平台；通信装置用于接收边缘计算平台上传的变电设备典型视觉缺陷数据和训练好的检测模型下发以及与其他互联网实体的数据交互服务。
如图4所示，边缘计算平台进行变电设备典型视觉缺陷检测的具体步骤如下：
S1:变电设备图像采集装置采集变电设备图像数据，并发送至边缘计算平台。
S2：边缘计算平台将变电设备图像采集装置上传的图像数据进行预处理后送入变电设备典型视觉缺陷检测模型，变电设备典型视觉缺陷检测模型对图像中的变电设备是否存在缺陷进行检测，若存在缺陷，进入下一步，若无缺陷，返回步骤S1继续进行数据采集。
S3：边缘计算平台对存在缺陷的变电设备图像数据进行缺陷位置和缺陷类型标记，并将缺陷图像和标记结果数据保存至边缘计算平台的存储设备。
S4：边缘计算平台将检测到的变电设备缺陷图像数据和标记结果数据上传至云服务器平台，将缺陷结果发送给预置的管理人员。
S5：返回步骤S1继续进行检测。
本申请保密运行一段时间后，现场技术人员反馈的有益之处在于：
采用边缘计算平台和云服务器平台协同工作的变电设备典型视觉缺陷检测的方法及系统，通过将变电设备典型视觉缺陷检测算法部署到边缘设备中，边缘设备与云服务器平台协同工作，云服务器平台根据增加的视觉缺陷数据对典型视觉缺陷检测模型的进行自主训练，提高典型视觉缺陷检测的准确性；采用本系统进行变电设备巡检时，可以利用边缘设备就地对变电设备进行典型视觉缺陷检测，提高变电设备典型视觉缺陷检测的实时性；边缘设备只需要将检测结果发送至云服务器平台，大大降低了数据传输数量，减少了请求响应时间，同时也保障了数据的安全性和私密性；采用本发明进行变电站典型设备缺陷检测时，可以有效降低人工巡检和人工识别的工作强度。

Claims (10)

1.一种基于边云协同的变电设备典型视觉缺陷检测系统，其特征在于：包括巡检机器人、变电设备图像采集装置、边缘计算平台、云服务器平台和通信装置以及图像数据预处理模块、变电设备典型视觉缺陷检测模块和典型视觉缺陷图像数据管理模块，所述变电设备图像采集装置包括第一图像采集装置，所述第一图像采集装置和边缘计算平台设置在巡检机器人上，第一图像采集装置与边缘计算平台连接并通信，所述边缘计算平台通过通信装置与云服务器平台连接并通信；图像数据预处理模块，用于边缘计算平台对变电设备图像采集装置发来的图像数据进行图像缩放和图像变换的预处理操作并生成预处理后的图像；变电设备典型视觉缺陷检测模块，用于边缘计算平台对预处理后的图像进行变电设备典型视觉缺陷检测并获得缺陷图像和缺陷标记的数据；典型视觉缺陷图像数据管理模块，用于边缘计算平台将检测到的缺陷图像和缺陷标记的数据进行存储并发送至云服务器平台。
2.根据权利要求1所述的基于边云协同的变电设备典型视觉缺陷检测系统，其特征在于：所述变电设备图像采集装置还包括设置在巡检区域的第二图像采集装置，所述第二图像采集装置与边缘计算平台无线连接并通信。
3.根据权利要求2所述的基于边云协同的变电设备典型视觉缺陷检测系统，其特征在于：所述第二图像采集装置通过Wi-Fi通信装置、3G通信装置、4G通信装置或者5G通信装置与边缘计算平台连接。
4.根据权利要求1所述的基于边云协同的变电设备典型视觉缺陷检测系统，其特征在于：所述第一图像采集装置通过USB接口或以太网接口与边缘计算平台连接。
5.根据权利要求1所述的基于边云协同的变电设备典型视觉缺陷检测系统，其特征在于：还包括典型视觉缺陷检测模型管理模块，典型视觉缺陷检测模型管理模块，用于边缘计算平台接收云服务器平台发来的检测模型配置方案。
6.根据权利要求1所述的基于边云协同的变电设备典型视觉缺陷检测系统，其特征在于：还包括变电设备典型视觉缺陷检测模型训练模块、典型视觉缺陷图像数据库模块和典型视觉缺陷图像检测模块，
变电设备典型视觉缺陷检测模型训练模块，用于云服务器平台通过其典型视觉缺陷图像数据库存储的缺陷图像数据训练变电设备典型视觉缺陷检测模型；
典型视觉缺陷图像数据库模块，用于云服务器平台接收并存储边缘计算平台发来的变电设备典型视觉的缺陷图像和缺陷标记的数据；
典型视觉缺陷图像监测模块，用于云服务器平台检测边缘计算平台发来的变电设备典型视觉的缺陷图像，找出缺陷和缺陷类型并将检测获得的缺陷图像和缺陷标记的数据保存到典型视觉缺陷图像数据库中。
7.根据权利要求1所述的基于边云协同的变电设备典型视觉缺陷检测系统，其特征在于：还包括自主训练管理模块，自主训练管理模块，用于当典型视觉缺陷图像数据的新增数据达到设定数量后，云服务器平台对检测模型进行训练并将训练好的检测模型配置方案发送至边缘计算平台。
8.一种基于边云协同的变电设备典型视觉缺陷检测方法，其特征在于：包括S1～S3的步骤，S1，变电设备图像采集装置采集变电设备图像数据并发送至边缘计算平台；S2，边缘计算平台将变电设备图像采集装置上传的图像数据进行预处理后送入变电设备典型视觉缺陷检测模型，变电设备典型视觉缺陷检测模型检测图像中的缺陷，发现缺陷则进入下一步，否则执行步骤S1；S3，边缘计算平台对存在缺陷的变电设备图像数据进行缺陷位置和缺陷类型标记，并将缺陷图像和缺陷标记的数据保存至边缘计算平台的存储设备。
9.根据权利要求8所述的基于边云协同的变电设备典型视觉缺陷检测方法，其特征在于：基于通过通信装置与边缘计算平台连接并通信的管理人员使用的终端，还包括S4和S5的步骤，S4，边缘计算平台将检测到的变电设备的缺陷图像和缺陷标记的数据发送至云服务器平台，边缘计算平台将缺陷图像和缺陷标记的数据发送至管理人员使用的终端；S5，返回步骤S1继续进行检测。
10.根据权利要求9所述的基于边云协同的变电设备典型视觉缺陷检测方法，其特征在于：在步骤S4中，边缘计算平台在巡检结束后将缺陷图像和缺陷标记的数据发送至云服务器平台；或者当边缘计算平台检测到变电设备存在典型视觉缺陷时，立即发送缺陷图像和缺陷标记的数据。
CN202010286386.2A 2020-04-13 2020-04-13 基于边云协同的变电设备典型视觉缺陷检测系统及方法 Active CN111307823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010286386.2A CN111307823B (zh) 2020-04-13 2020-04-13 基于边云协同的变电设备典型视觉缺陷检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010286386.2A CN111307823B (zh) 2020-04-13 2020-04-13 基于边云协同的变电设备典型视觉缺陷检测系统及方法

Publications (2)

Publication Number Publication Date
CN111307823A true CN111307823A (zh) 2020-06-19
CN111307823B CN111307823B (zh) 2022-10-25

Family

ID=71157690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010286386.2A Active CN111307823B (zh) 2020-04-13 2020-04-13 基于边云协同的变电设备典型视觉缺陷检测系统及方法

Country Status (1)

Country Link
CN (1) CN111307823B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111948228A (zh) * 2020-07-06 2020-11-17 中国电子科技集团公司第四十一研究所 基于5g通信云测试的工业产线全过程视觉检测系统
CN112016121A (zh) * 2020-08-27 2020-12-01 北京精思博智科技有限公司 基于机器学习的工业云图像数据脱敏及验证的系统和方法
CN112083000A (zh) * 2020-08-12 2020-12-15 中国电力科学研究院有限公司 一种变电站设备外观缺陷的智能识别方法及系统
CN112734703A (zh) * 2020-12-28 2021-04-30 佛山市南海区广工大数控装备协同创新研究院 一种利用ai云端协同检测的pcb缺陷优化方法
CN112733824A (zh) * 2021-04-06 2021-04-30 中国电力科学研究院有限公司 基于视频图像智能前端的变电设备缺陷诊断方法和系统
CN113223220A (zh) * 2021-01-27 2021-08-06 中国工商银行股份有限公司 访客请求处理方法及装置
CN113319462A (zh) * 2021-06-22 2021-08-31 广东工业大学 一种基于边云协同的焊接机器人管控方法和装置
CN114202660A (zh) * 2022-02-21 2022-03-18 广东建科交通工程质量检测中心有限公司 一种基于边云桥梁检测的远程分布式控制方法及系统
CN114445411A (zh) * 2022-04-11 2022-05-06 广东电网有限责任公司佛山供电局 一种无人机巡线缺陷识别系统及控制方法
CN114627119A (zh) * 2022-05-16 2022-06-14 山东通广电子有限公司 基于视觉神经网络的外观缺陷智能识别系统及识别方法
CN115865939A (zh) * 2022-11-08 2023-03-28 燕山大学 一种基于边云协同决策的目标检测与追踪系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536349A (zh) * 2002-11-01 2004-10-13 光子动力学公司 用于检查具有图样的平的介质的方法和装置
CN104361314A (zh) * 2014-10-21 2015-02-18 华北电力大学（保定） 基于红外与可见光图像融合的变电设备定位方法及装置
CN110401262A (zh) * 2019-06-17 2019-11-01 北京许继电气有限公司 基于边缘计算技术的gis设备状态智能监控系统及方法
US20200005449A1 (en) * 2018-06-29 2020-01-02 Utechzone Co., Ltd. Defect inspection system and method using artificil intelligence
CN110719210A (zh) * 2019-12-05 2020-01-21 赣江新区智慧物联研究院有限公司 一种基于云边协同的工业设备预测性维护方法
CN110765365A (zh) * 2019-10-25 2020-02-07 国网河南省电力公司信息通信公司 分布式边云协同缓存策略的实现方法、装置、设备和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536349A (zh) * 2002-11-01 2004-10-13 光子动力学公司 用于检查具有图样的平的介质的方法和装置
CN104361314A (zh) * 2014-10-21 2015-02-18 华北电力大学（保定） 基于红外与可见光图像融合的变电设备定位方法及装置
US20200005449A1 (en) * 2018-06-29 2020-01-02 Utechzone Co., Ltd. Defect inspection system and method using artificil intelligence
CN110401262A (zh) * 2019-06-17 2019-11-01 北京许继电气有限公司 基于边缘计算技术的gis设备状态智能监控系统及方法
CN110765365A (zh) * 2019-10-25 2020-02-07 国网河南省电力公司信息通信公司 分布式边云协同缓存策略的实现方法、装置、设备和介质
CN110719210A (zh) * 2019-12-05 2020-01-21 赣江新区智慧物联研究院有限公司 一种基于云边协同的工业设备预测性维护方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111948228A (zh) * 2020-07-06 2020-11-17 中国电子科技集团公司第四十一研究所 基于5g通信云测试的工业产线全过程视觉检测系统
CN112083000B (zh) * 2020-08-12 2022-12-02 中国电力科学研究院有限公司 一种变电站设备外观缺陷的智能识别方法及系统
CN112083000A (zh) * 2020-08-12 2020-12-15 中国电力科学研究院有限公司 一种变电站设备外观缺陷的智能识别方法及系统
CN112016121A (zh) * 2020-08-27 2020-12-01 北京精思博智科技有限公司 基于机器学习的工业云图像数据脱敏及验证的系统和方法
CN112016121B (zh) * 2020-08-27 2022-02-18 北京精思博智科技有限公司 基于机器学习的工业云图像数据脱敏及验证的系统和方法
CN112734703A (zh) * 2020-12-28 2021-04-30 佛山市南海区广工大数控装备协同创新研究院 一种利用ai云端协同检测的pcb缺陷优化方法
CN113223220A (zh) * 2021-01-27 2021-08-06 中国工商银行股份有限公司 访客请求处理方法及装置
CN113223220B (zh) * 2021-01-27 2023-04-07 中国工商银行股份有限公司 访客请求处理方法及装置
CN112733824A (zh) * 2021-04-06 2021-04-30 中国电力科学研究院有限公司 基于视频图像智能前端的变电设备缺陷诊断方法和系统
CN113319462A (zh) * 2021-06-22 2021-08-31 广东工业大学 一种基于边云协同的焊接机器人管控方法和装置
CN114202660A (zh) * 2022-02-21 2022-03-18 广东建科交通工程质量检测中心有限公司 一种基于边云桥梁检测的远程分布式控制方法及系统
CN114202660B (zh) * 2022-02-21 2022-12-30 广东建科交通工程质量检测中心有限公司 一种基于边云桥梁检测的远程分布式控制方法及系统
CN114445411A (zh) * 2022-04-11 2022-05-06 广东电网有限责任公司佛山供电局 一种无人机巡线缺陷识别系统及控制方法
CN114627119A (zh) * 2022-05-16 2022-06-14 山东通广电子有限公司 基于视觉神经网络的外观缺陷智能识别系统及识别方法
CN115865939A (zh) * 2022-11-08 2023-03-28 燕山大学 一种基于边云协同决策的目标检测与追踪系统及方法
CN115865939B (zh) * 2022-11-08 2024-05-10 燕山大学 一种基于边云协同决策的目标检测与追踪系统及方法

Also Published As

Publication number Publication date
CN111307823B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN111307823B (zh) 基于边云协同的变电设备典型视觉缺陷检测系统及方法
CN110543986A (zh) 一种输电线路外部隐患智能监控系统及其监控方法
CN110807460B (zh) 一种基于图像识别的变电站智能巡视系统及其应用方法
CN110535845A (zh) 一种基于物联网的水电站群远程数据服务方法、系统、终端及存储介质
CN106707939A (zh) 一种变电检修现场智能管控装置
CN202167063U (zh) 一种现场作业安全管控系统
CN106357326A (zh) 一种传输光缆线路故障点定位导航系统
CN109240126A (zh) 一种具有模拟操作功能的分布式应用服务监测系统及方法
CN111062504A (zh) 一种基于ar技术的智能配电站运维系统及方法
CN105242626A (zh) 线路安全智能辅助监测系统
CN114358242A (zh) 一种异质结电池生产监控系统及方法
CN113988573A (zh) 基于电力系统巡检无人机的风险判断方法、系统和介质
CN116366002A (zh) 一种光伏电站智能运维系统及方法
CN115293508A (zh) 一种可视化的光缆运行状态监控方法及系统
CN109785557B (zh) 一种智能电力光缆反外损监测预警系统及其监测预警方法
CN115225859A (zh) 基于视频融合的车站安全巡检方法、装置和设备
CN108649695A (zh) 一种基于智能机器人的智能巡检系统
CN112260402B (zh) 基于视频监控的变电站智能巡检机器人状态的监控方法
CN205566523U (zh) 一种供电企业变电站、输电线路巡检系统
CN116866512A (zh) 一种光伏电站巡检系统及其运行方法
CN115941514A (zh) 一种基于5g切片技术的无人机自巡检系统及方法
CN210428558U (zh) 一种电力光缆巡检线路智能辅助系统
CN111640219B (zh) 基于架空线路的巡线机器人控制系统及方法
CN106557987B (zh) 光伏电站的移动巡检方法
CN114445411A (zh) 一种无人机巡线缺陷识别系统及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant