CN110705579B - 一种基于深度学习的复杂多目标集成开关控制板状态校验方法 - Google Patents

一种基于深度学习的复杂多目标集成开关控制板状态校验方法 Download PDF

Info

Publication number
CN110705579B
CN110705579B CN201910303274.0A CN201910303274A CN110705579B CN 110705579 B CN110705579 B CN 110705579B CN 201910303274 A CN201910303274 A CN 201910303274A CN 110705579 B CN110705579 B CN 110705579B
Authority
CN
China
Prior art keywords
switch
target
switches
images
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910303274.0A
Other languages
English (en)
Other versions
CN110705579A (zh
Inventor
张卫山
赵宏伟
孙浩云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201910303274.0A priority Critical patent/CN110705579B/zh
Publication of CN110705579A publication Critical patent/CN110705579A/zh
Application granted granted Critical
Publication of CN110705579B publication Critical patent/CN110705579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本方法将深度学习目标检测、模糊坐标修正与弹性坐标矩阵的建立相结合，提出一种基于深度学习的复杂多目标集成开关控制板校验方法。该方法利用深度学习目标检测技术实现控制板上开关的识别以及单个开关的状态分类；利用图像中开关的某一特征作为衡量目标距离的一个度量，解决由于拍摄远近不同而导致的目标大小及相互之间距离有像素级差距的问题；设置一个弹性阈值，用以判断一个目标跟其周围坐标的相对位置，构建开关状态矩阵；将图像中每一个目标的坐标都用其周围坐标来确定，即使拍摄倾斜角度较大也能准确定位目标在整个开关状态矩阵中的位置，使得算法的稳定性得到大大提升。

Description

一种基于深度学习的复杂多目标集成开关控制板状态校验 方法
技术领域
本发明涉及物联网、基于深度学习的开关识别与分类、目标定位、模糊坐标修正、并发执行和缓存技术，具体涉及到一种基于深度学习的复杂多目标集成开关控制板状态校验方法。
背景技术
深度学习的飞速发展极大地推动了目标检测的进步，卷积神经网络对于目标的几何变换、形变、光照等因素适应性较强，有效克服了由于拍摄形变带来的识别阻力，具有较高的灵活性和普适性。目前图像中的目标检测主要分为single-stage方法(如SSD,YOLO)和two-stage方法(如RCNN系列)两种。Single-stage方法直接在图片上经过计算生成检测结果。Two-stage方法先在图像上提取候选区域,再基于候选区域进行特征提取然后再进行预测。相对来说single-stage速度快,精度低，而two-stage精度高,速度慢。
在集成开关控制板往往十分复杂而且开关总数较多，肉眼检测十分费时且容易遗漏。通常来说，尽管single-stage方法检测速度较快，但是在目标较多或者错在众多小目标的图像中表现却不尽如人意。2013年出现的RCNN作为深度学习中基于候选框进行目标检测的先驱，把机器学习算法与深度学习有机的结合在一起。在区域候选的生成中算法中，提出了等经典算法，继而出现了RCNN的一系列变形：SPP Net、Fast RCNN、Faster RCNN。FasterRCNN的检测速度与检测效果比其他网络都要好。
现阶段，我们可以利用Faster RCNN检测行人、水果等形状物体，实现目标的检测，而没有解决如何将图像中各个目标的相对位置实现精准描述的问题。
发明内容
为解决现有技术中的缺点和不足，本方法将深度学习目标检测、模糊坐标修正与弹性坐标矩阵的建立相结合，提出一种基于深度学习的复杂多目标集成开关控制板校验方法。该方法利用深度学习目标检测技术实现控制板上开关的识别以及单个开关的状态分类；利用图像中开关的某一特征作为衡量目标距离的一个度量，解决由于拍摄远近不同而导致的目标大小及相互之间距离有像素级差距的问题；设置一个弹性阈值，用以判断一个目标跟其周围坐标的相对位置，构建开关状态矩阵；将图像中每一个目标的坐标都用其周围坐标来确定，即使拍摄倾斜角度较大也能准确定位目标在整个开关状态矩阵中的位置，使得算法的稳定性得到大大提升。
本发明的技术方案为：
步骤(1)、拍摄或选择集成开关控制板图像；
步骤(2)、客户端将收集到的图像进行压缩后通过socket通信发送到服务器，当服务器监听到端口有数据输入时，将接收到的数据保存为本地图像；
步骤(3)、训练得到的神经网络模型对图像进行解析，将其输出中目标的分类和边框坐标以字符串的形式发送回客户端；
步骤(4)、客户端将收到的字符串进行分解，得到多个包含开关状态和边框坐标的对象；
步骤(5)、遍历所有对象，找出所有对象中纵坐标最小的一个作为最上面一行的一个基准点，并计算所有边框的平均高度，以此平均高度为度量，从上述基准点分别向两侧寻找同一行的相邻开关，以获取到的新的开关位置为新的基准继续向两侧寻找直至两端，得到最上方的一整行开关；
步骤(6)、遍历(5)中得到的一行开关，将所有对象按照横坐标的大小排序；
步骤(7)、在(6)中得到的列表中从第一个开关开始遍历，每个都从所有的开关中找到下方的第一个，然后以下方的开关为基准继续迭代直至这一列的最后一个；
步骤(8)、经过步骤(5)、(6)、(7)便可得到一个矩阵，此矩阵中每一个位置都对应着一个开关，以此实现集成开关控制板上开关相对坐标图的生成；
步骤(9)、不同开关状态的控制板图像会生成不同的开关矩阵，比较两个矩阵的不同就可以判断出哪些位置上的开关处于不同状态，将这些状态不同的开关的边界框的坐标在图像中画出来，就可以直观的判断两张图像中有哪些开关处于异常状态。
本发明的有益效果：
(1)通过深度学习的方法检查有数百开关的集成控制板，避免了人工检验带来的失误；
(2)本方法通过模糊坐标修正的方法将集成控制板上的开关以矩阵的形式展现，实现了定位的标准化；
(3)采用动态度量以应对不同缩放程度的图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度的复杂多目标集成开关控制板状态校验方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，该基于深度的复杂多目标集成开关控制板状态校验方法主要包含客户端和服务器端两个部分。其中，客户端负责图像数据采集和上传、坐标矩阵的生成和校验，服务器端负责图像中开关的检测。
下面，对基于深度的复杂多目标集成开关控制板状态校验方法的具体流程进行详细说明：
步骤(1)、拍摄或选择集成开关控制板图像；
步骤(2)、客户端将收集到的图像进行压缩后通过socket通信发送到服务器，当服务器监听到端口有数据输入时，将接收到的数据保存为本地图像；
步骤(3)、训练得到的神经网络模型对图像进行解析，将其输出中目标的分类和边框坐标以字符串的形式发送回客户端；
步骤(4)、客户端将收到的字符串进行解析，得到图像中开关坐标的矩阵；
步骤(5)、不同开关状态的控制板图像会生成不同的开关矩阵，比较两个矩阵的不同就可以判断出哪些位置上的开关处于不同状态，将这些状态不同的开关的边界框的坐标在图像中画出来在客户端展示，可以直观的判断两张图像中有哪些开关是处于不同状态的。
本发明基于深度学习的复杂多目标集成开关控制板状态校验方法利用深度学习目标检测技术实现控制板上开关的识别以及单个开关的状态分类；利用图像中开关的某一特征作为衡量目标距离的一个度量，解决由于拍摄远近不同而导致的目标大小及相互之间距离有像素级差距的问题；设置一个弹性阈值，用以判断一个目标跟其周围坐标的相对位置，构建开关状态矩阵；将图像中每一个目标的坐标都用其周围坐标来确定，即使拍摄倾斜角度较大也能准确定位目标在整个开关状态矩阵中的位置，使得算法的稳定性得到大大提升。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于深度学习的复杂多目标集成开关控制板状态校验方法，其流程包括如下步骤：
步骤(1)、拍摄或选择集成开关控制板图像；
步骤(2)、客户端将收集到的图像进行压缩后通过socket通信发送到服务器，当服务器监听到端口有数据输入时，将接收到的数据保存为本地图像；
步骤(3)、训练得到的神经网络模型对图像进行解析，将其输出中目标的分类和边框坐标以字符串的形式发送回客户端；
步骤(4)、客户端将收到的字符串进行分解，得到多个包含开关状态和边框坐标的对象；
步骤(5)、遍历所有对象，找出所有对象中纵坐标最小的一个作为最上面一行的一个基准点，并计算所有边框的平均高度，以此平均高度为度量，从上述基准点分别向两侧寻找同一行的相邻开关，以获取到的新的开关位置为新的基准继续向两侧寻找直至两端，得到最上方的一整行开关；
步骤(6)、遍历(5)中得到的一行开关，将所有对象按照横坐标的大小排序；
步骤(7)、在(6)中得到的列表中从第一个开关开始遍历，每个都从所有的开关中找到下方的第一个，然后以下方的开关为基准继续迭代直至这一列的最后一个；
步骤(8)、经过步骤(5)、(6)、(7)便可得到一个矩阵，此矩阵中每一个位置都对应着一个开关，以此实现集成开关控制板上开关相对坐标图的生成；
步骤(9)、不同开关状态的控制板图像会生成不同的开关矩阵，比较两个矩阵的不同就可以判断出哪些位置上的开关处于不同状态，将这些状态不同的开关的边界框的坐标在图像中画出来，就可以直观的判断两张图像中有哪些开关处于异常状态。
CN201910303274.0A 2019-04-15 2019-04-15 一种基于深度学习的复杂多目标集成开关控制板状态校验方法 Active CN110705579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910303274.0A CN110705579B (zh) 2019-04-15 2019-04-15 一种基于深度学习的复杂多目标集成开关控制板状态校验方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910303274.0A CN110705579B (zh) 2019-04-15 2019-04-15 一种基于深度学习的复杂多目标集成开关控制板状态校验方法

Publications (2)

Publication Number Publication Date
CN110705579A CN110705579A (zh) 2020-01-17
CN110705579B true CN110705579B (zh) 2023-05-23

Family

ID=69193104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910303274.0A Active CN110705579B (zh) 2019-04-15 2019-04-15 一种基于深度学习的复杂多目标集成开关控制板状态校验方法

Country Status (1)

Country Link
CN (1) CN110705579B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1550935A (zh) * 2003-03-20 2004-12-01 ������������ʽ���� 图像再现装置及其方法和在计算机上实现该方法的程序
WO2010109990A1 (ja) * 2009-03-26 2010-09-30 株式会社 日立製作所 車両用電池システム
CN105785787A (zh) * 2016-04-28 2016-07-20 中国建筑设计院有限公司 用于智能家居的智能电器集成控制方法及系统
CN106533874A (zh) * 2016-11-22 2017-03-22 北京金自天正智能控制股份有限公司 一种基于Modbus RTU协议的永磁同步电机数据通信系统及方法
CN106569121A (zh) * 2016-11-09 2017-04-19 惠州市蓝微电子有限公司 一种电量管理ic电压电流精度校准的方法
CN109492685A (zh) * 2018-10-31 2019-03-19 中国矿业大学 一种用于对称特征的目标物体视觉检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5984790B2 (ja) * 2013-12-18 2016-09-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、記憶媒体およびプログラム
CN108965687B (zh) * 2017-05-22 2021-01-29 阿里巴巴集团控股有限公司 拍摄方向识别方法、服务器及监控方法、系统及摄像设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1550935A (zh) * 2003-03-20 2004-12-01 ������������ʽ���� 图像再现装置及其方法和在计算机上实现该方法的程序
WO2010109990A1 (ja) * 2009-03-26 2010-09-30 株式会社 日立製作所 車両用電池システム
CN105785787A (zh) * 2016-04-28 2016-07-20 中国建筑设计院有限公司 用于智能家居的智能电器集成控制方法及系统
CN106569121A (zh) * 2016-11-09 2017-04-19 惠州市蓝微电子有限公司 一种电量管理ic电压电流精度校准的方法
CN106533874A (zh) * 2016-11-22 2017-03-22 北京金自天正智能控制股份有限公司 一种基于Modbus RTU协议的永磁同步电机数据通信系统及方法
CN109492685A (zh) * 2018-10-31 2019-03-19 中国矿业大学 一种用于对称特征的目标物体视觉检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于DSP的三相组合互感器校验仪的设计;海志华;《自动化与仪器仪表》;20150125;全文 *
电网运行异常状态诊断分析专家系统的应用研究;李鹏等;《湖北电力》;20190228;全文 *

Also Published As

Publication number Publication date
CN110705579A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
US11403839B2 (en) Commodity detection terminal, commodity detection method, system, computer device, and computer readable medium
CN112766103B (zh) 一种机房巡检方法及装置
CN104361611B (zh) 一种基于群稀疏鲁棒pca的运动目标检测方法
Julca-Aguilar et al. Symbol detection in online handwritten graphics using faster R-CNN
CN103530590A (zh) Dpm二维码识别系统
US8542912B2 (en) Determining the uniqueness of a model for machine vision
CN112085651B (zh) 一种基于图像自适应阈值与特征提取的激波自动检测跟踪算法
TWI448987B (zh) 使用者動態器官姿勢之識別介面及方法與使用該介面之用電設備
CN116229052B (zh) 一种基于孪生网络的变电站设备状态变化检测方法
KR20230009641A (ko) 구조물의 균열 탐지 방법
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
Liang et al. An extraction and classification algorithm for concrete cracks based on machine vision
CN112598054A (zh) 基于深度学习的输变电工程质量通病防治检测方法
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN111259736B (zh) 一种基于深度学习的复杂环境下行人实时检测方法
CN115841488A (zh) 一种基于计算机视觉的pcb板的检孔方法
US8542905B2 (en) Determining the uniqueness of a model for machine vision
CN111709428A (zh) 图像中关键点位置的识别方法、装置、电子设备及介质
CN109657682B (zh) 一种基于深度神经网络和多阈值软切分的电能表示数识别方法
CN114998432A (zh) 一种基于YOLOv5的电路板检测点定位方法
Zhang et al. Scale-adaptive NN-based similarity for robust template matching
CN112232249B (zh) 一种基于深度特征的遥感图像变化检测方法及装置
CN110705579B (zh) 一种基于深度学习的复杂多目标集成开关控制板状态校验方法
CN116958595A (zh) 一种基于图像块区域特征点的视觉slam回环检测改进方法
CN109657577B (zh) 一种基于熵和运动偏移量的动物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Weishan

Inventor after: Zhao Hongwei

Inventor after: Sun Haoyun

Inventor before: Zhao Hongwei

Inventor before: Zhang Weishan

Inventor before: Sun Haoyun

GR01 Patent grant
GR01 Patent grant