CN111723690A - 一种电路设备状态监测方法和系统 - Google Patents

一种电路设备状态监测方法和系统 Download PDF

Info

Publication number
CN111723690A
CN111723690A CN202010494971.1A CN202010494971A CN111723690A CN 111723690 A CN111723690 A CN 111723690A CN 202010494971 A CN202010494971 A CN 202010494971A CN 111723690 A CN111723690 A CN 111723690A
Authority
CN
China
Prior art keywords
detection
appearance
signal lamp
extraction module
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010494971.1A
Other languages
English (en)
Other versions
CN111723690B (zh
Inventor
吴穗宁
陈晓光
王智新
史龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi 'an National Railway Equipment Research Co ltd
CRSC Research and Design Institute Group Co Ltd
Original Assignee
CRSC Research and Design Institute Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRSC Research and Design Institute Group Co Ltd filed Critical CRSC Research and Design Institute Group Co Ltd
Priority to CN202010494971.1A priority Critical patent/CN111723690B/zh
Publication of CN111723690A publication Critical patent/CN111723690A/zh
Application granted granted Critical
Publication of CN111723690B publication Critical patent/CN111723690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种电路设备状态监测方法，所述方法包括获取电路设备第一外观图片；使用设备外观检测模型对所述电路设备第一外观图片进行处理，提取多个电路设备第一外观特征；使用信号灯状态检测模型对所述电路设备第一外观特征进行处理，生成含有信号灯状态的检测结果；根据所述检测结果，确定所述电路设备的状态。本发明所需要的收发信号设备成本以及布设成本均较低，可以实现定时或者实时在线监测电路设备状态，兼容性好，能够准确且快速的定位故障并予以报警，方便工作人员迅速排查更换有问题的电路设备，节约人工。当出现新的设备时，使用系统对新的设备进行学习，即可以实现对新设备状态检测，可扩展性好。

Description

一种电路设备状态监测方法和系统
技术领域
本发明属于深度学习领域，特别涉及一种电路设备状态监测方法和系统。
背景技术
为保障轨道电路的有效运行，针对铺设在钢轨上的每一段轨道电路都有对应的轨道电路运行状态的监控设备，分别监控这段铺设了轨道电路区域的发送器、接收器、轨道、信号正反向等状态。这些监控设备统一放在铁路信号机械室内，各个区段的轨道电路运行状态都能在此处统一得到监控，于是对于机械室内轨道电路机柜信号灯的监控变得十分重要。目前对于轨道电路信号灯的监控基本上都是通过人工现场巡检、或者通过视频远程查看。但是这样方法比较耗人工，且当工作人员自身出现问题，如工作人员误报，将信号灯报警信息误认为正常信息，这种情况也无法及时发现。
发明内容
针对上述问题，本发明提出的一种电路设备状态监测方法，对于通过机器设备进行例行安全巡检，并将拍摄到的照片传到系统当中，系统进行分析处理，自动识别对应各个设备上的信号灯状态，判断电路设备是否出现异常，如果出现异常及时报警。
所述方法包括：
获取电路设备第一外观图片；
使用设备外观检测模型对所述电路设备第一外观图片进行处理，提取多个电路设备第一外观特征；
使用信号灯状态检测模型对所述电路设备第一外观特征进行处理，生成含有信号灯状态的检测结果；
根据所述检测结果，确定所述电路设备的状态。
进一步地，所述获取电路设备第一外观图片包括：
获取电路设备照片，并将所述电路设备照片交后台图片处理系统分析；
当所述电路设备照片包含信号灯，生成电路设备第一外观图片；
当所述电路设备照片不包含信号灯，重新获取电路设备照片。
进一步地，所述根据所述检测结果，确定所述电路设备的状态包括：
所述检测结果包括信号灯异常、信号灯正常；
当所述信号灯异常，则电路设备的状态异常；
当所述信号灯正常，则电路设备的状态正常。
进一步地，所述使用设备外观检测模型对所述电路设备第一外观图片进行处理，包括：
设备外观检测模型包括八个提取模块；
所述电路设备第一外观图片经过第一提取模块，所述第一提取模块提取所述第一外观图片的基本特征；所述第一提取模块包括两个卷积层；
经过第二提取模块，所述第二提取模块对第一提取模块提取出来的基本特征进一步提取不同层次的目标物特征
提取不同层次的目标物特征；所述第二提取模块包括一个池化层和两个卷积层；
经过第三提取模块、第四提取模块、第五提取模块，所述第三提取模块、所述第四提取模块、所述第五提取模块分别在不同大小的特征图上对前面提取出来的目标物特征进一步提取高层次的特征；所述第三提取模块包括一个池化层和三个卷积层；所述第四提取模块包括一个池化层和三个卷积层；所述第五提取模块包括一个池化层和三个卷积层；
经过第六提取模块，所述第六提取模块进一步引入非线性的特性以及降低特征图大小，整合当前位置已经提取到的特征；所述第六提取模块包括一个池化层和两个全连接层；
经过第七提取模块、第八提取模块，所述第七提取模块、所述第八提取模块分别在前一个模块上整合得到的特征基础上再分两个不同的尺寸进一步提取特征，生成电路设备第一外观特征；所述第七提取模块包括一个池化层和两个卷积层；所述第八提取模块包括一个池化层和两个卷积层。
进一步地，所述第六提取模块、第七提取模块、第八提取模块还各包括一个3*3卷积层输出分支，所述输出分支用于分别将第六提取模块、第七提取模块、第八提取模块结果输出。
进一步地，所述检测设备外观模型使用检测设备外观模型训练损失函数，用于对分类和回归两个部分的加权衡量；
所述检测设备外观模型训练损失函数为：
L＝Lclassification(z，c)+αLlocalization(l，g)
其中：
分类损失函数如下所示：
Figure BDA0002522486390000031
定位损失函数如下所示：
Figure BDA0002522486390000032
Pos和Neg分别表示正例样本集和负例样本集；
zi用于判断是否匹配到该先验框，匹配成功时zi设为1，匹配失败为0；
ci是第六、七、八提取模块通过步长为1的3*3卷积层计算出的分类结果部分；
l是第六、七、八提取模块通过步长为1的3*3卷积层计算出的定位结果部分；
g为训练数据集中预先由人工标注的结果；事先使用设备外观检测模型对图片进行训练，生成训练数据集；
xi,yi,wi,hi：设备外观检测模型计算出来特征数据中位置信息；设备外观检测模型计算出检测框，xi，yi，wi，hi表示方框对应四个数据，分别为中心点坐标位置xi和yi，以及检测框的宽度wi和高度hi四项数据；
Figure BDA0002522486390000033
训练数据集中，由人工标出真实框，
Figure BDA0002522486390000034
表示方框对应四个数据，分别为中心点坐标位置
Figure BDA0002522486390000035
和
Figure BDA0002522486390000036
以及检测框的宽度
Figure BDA0002522486390000037
和高度
Figure BDA0002522486390000038
四项数据；
α为预设权重，用来调节对分类损失和定位损失的偏重程度。
进一步地，所述使用信号灯状态检测模型对所述电路设备第一外观特征进行处理，包括：
所述信号灯状态检测模型包括七个检测模块；
所述电路设备第一外观特征经过第一检测模块，所述第一检测模块提取所述外观特征的基础特征；所述第一检测模块包括一个卷积层；
经过第二检测模块，所述第二检测模块在第一检测模块的基础上进一步提取基础特征；所述第二检测模块包括一个池化层和两个卷积层；
经过第三检测模块，所述第三检测模块在第二检测模块的基础上更进一步提取基础特征；所述第三检测模块包括一个池化层和四个卷积层；
经过第四检测模块，所述第四检测模块在第三检测模块的基础上进一步提取特征，并渐渐组合出更高层次的复杂特征；所述第四检测模块包括一个池化成和八个卷积层；
经过第五检测模块，所述第五检测模块进一步提取组合特征；所述第五检测模块包括一个池化层和五个卷积层；
经过第六检测模块，所述第六检测模块提取出的组合特征组合出更加明显的目标特征；所述第六检测模块包括一个池化层和两个卷积层；
经过第七检测模块，所述第七检测模块将不同的特征进行最终整合，生成含有信号灯状态的检测结果；所述第七检测模块包括两个全连接层。
进一步地，所述信号灯状态检测模型使用信号灯模型损失函数，用于对第六检测模块的输出结果进行计算损失，迭代更新信号灯状态检测模型的参数；
所述信号灯模型损失函数是三个部分的损失加权，包括：定位损失，置信度损失和分类损失，具体如下：
L＝Lclassification(pc，p′c)+αLlocalization(o，o′)+βLconfidence(cobj，cobj′)
分类损失函数如下所示：
Figure BDA0002522486390000041
定位损失函数如下所示：
Figure BDA0002522486390000051
置信度损失函数如下所示：
Figure BDA0002522486390000052
其中：
pci表示信号灯状态检测模型计算出来目标物属于每个类的概率；事先对信号灯设置不同的类；
pci’表示通过真实数据计算出来的属于每个类概率；所述真实数据，为事先设置的模型训练数据；
o表示信号灯状态检测模型计算出来目标物检测框的中心坐标坐标点和对应宽度高度四个数据(x,y,w,h)与候选框四个数据的差距；
o’表示信号灯状态检测模型计算出来目标物的检测框的中心坐标坐标点和对应宽度高度四个数据(x,y,w,h)与真实框四个数据的差距；
xi,yi,wi,hi：信号灯状态检测模型计算出来目标物检测框中心坐标坐标点和对应宽度高度四个数据；
Figure BDA0002522486390000053
目标物由人工标出检测框，
Figure BDA0002522486390000054
表示方框对应四个数据，分别为中心点坐标位置
Figure BDA0002522486390000055
和
Figure BDA0002522486390000056
以及检测框的宽度
Figure BDA0002522486390000057
和高度
Figure BDA0002522486390000058
四项数据；
cobj表示信号灯状态检测模型计算出来的目标物在或不在候选框中的置信度；
cobj’表示通过训练样本的标注框与预测框的IOU计算值作为已知的标准置信度；
α、β为预设权重，用来调节对分类损失、定位损失和置信度损失的偏重程度。
本发明还提出一种电路设备状态监测系统，所述电路设备状态监测系统包括：
获取模块，用于获取电路设备第一外观图片；
设备外观检测模块，用于使用设备外观检测模型对所述电路设备第一外观图片进行处理，提取多个电路设备第一外观特征；
信号灯状态检测模块，用于使用信号灯状态检测模型对所述电路设备第一外观特征进行处理，生成含有信号灯状态的检测结果；
确定模块，根据所述检测结果，确定所述电路设备的状态。
进一步地，所述获取模块包括：
获取组件，用于获取电路设备照片；
分析组件，用于对电路设备照片进行分析；
生成组件，用于生成电路设备第一外观图片；
重获组件，用于重新加载获取组件获取电路设备照片。
进一步地，所述确定模块包括：
判断组件，用于判断检测结果；
确定组件，用于确定所述电路设备的状态。
进一步地，所述检测设备外观模型包括：
八个提取模块；
其中第一提取模块包括两个卷积层，用于提取第一外观图片的基本特征；
第二提取模块包括一个池化层和两个卷积层，用于对第一提取模块提取出来的基本特征进一步提取不同层次的目标物特征；
第三提取模块包括一个池化层和三个卷积层，用于对第二提取模块提取出来的目标物特征进一步提取高层次的特征；
第四提取模块包括一个池化层和三个卷积层，用于对第三提取模块提取出来的目标物特征进一步提取高层次的特征；
第五提取模块包括一个池化层和三个卷积层，用于对第四提取模块提取出来的目标物特征进一步提取高层次的特征；
第六提取模块包括一个池化层和两个全连接层，用于进一步引入非线性的特性以及降低特征图大小，整合当前位置已经提取到的特征；
第七提取模块包括一个池化层和两个卷积层，用于在第六提取模块整合得到的特征基础上再进一步提取特征；
第八提取模块包括一个池化层和两个卷积层，用于在第七提取模块整合得到的特征基础上再进一步提取特征。
进一步地，所述第六提取模块、第七提取模块、第八提取模块还各包括一个3*3卷积层输出分支，所述输出分支用于将第六提取模块、第七提取模块、第八提取模块结果输出。
进一步地，所述检测设备外观模型使用检测设备外观模型训练损失函数，用于对分类和回归两个部分的加权衡量；
所述检测设备外观模型训练损失函数为：
L＝Lclassification(z，c)+αLlocalization(l，g)
其中：
分类损失函数如下所示：
Figure BDA0002522486390000071
定位损失函数如下所示：
Figure BDA0002522486390000072
Pos和Neg分别表示正例样本集和负例样本集；
zi用于判断是否匹配到该先验框，匹配成功时zi设为1，匹配失败为0；
ci是第六、七、八提取模块通过步长为1的3*3卷积层计算出的分类结果部分；
l是第六、七、八提取模块通过步长为1的3*3卷积层计算出的定位结果部分；
g为训练数据集中预先由人工标注的结果；事先使用设备外观检测模型对图片进行训练，生成训练数据集；
xi,yi,wi,hi：设备外观检测模型计算出来特征数据中位置信息；设备外观检测模型计算出检测框，xi，yi，wi，hi表示方框对应四个数据，分别为中心点坐标位置xi和yi，以及检测框的宽度wi和高度hi四项数据；
Figure BDA0002522486390000081
训练数据集中，由人工标出真实框，
Figure BDA0002522486390000082
表示方框对应四个数据，分别为中心点坐标位置
Figure BDA0002522486390000083
和
Figure BDA0002522486390000084
以及检测框的宽度
Figure BDA0002522486390000085
和高度
Figure BDA0002522486390000086
四项数据；
α为预设权重，用来调节对分类损失和定位损失的偏重程度。
进一步地，所述信号灯状态检测模型包括，
七个检测模块；
其中第一检测模块包括一个卷积层，用于提取第一外观特征的基础特征；
其中第二检测模块包括一个池化层和两个卷积层，用于在第一检测模块的基础上进一步提取基础特征；
其中第三检测模块包括一个池化层和四个卷积层，用于在第二检测模块的基础上更进一步提取基础特征；
其中第四检测模块包括一个池化成和八个卷积层，用于在第三检测模块的基础上进一步提取特征，并渐渐组合出更高层次的复杂特征；
其中第五检测模块包括一个池化层和五个卷积层，用于进一步提取组合特征；
其中第六检测模块包括一个池化层和两个卷积层，用于提取出的组合特征组合出更加明显的目标特征；
其中第七检测模块包括两个全连接层，用于将不同的特征进行最终整合，生成含有信号灯状态的检测结果。
进一步地，所述信号灯状态检测模型使用信号灯模型损失函数，用于对第六检测模块的输出结果进行计算损失，迭代更新信号灯状态检测模型的参数；
所述信号灯模型损失函数是三个部分的损失加权，包括：定位损失，置信度损失和分类损失，具体如下：
L＝Lclassification(pc，p′c)+αLlocalization(o，o′)+βLconfidence(cobj，cobj′)
分类损失函数如下所示：
Figure BDA0002522486390000091
定位损失函数如下所示：
Figure BDA0002522486390000092
置信度损失函数如下所示：
Figure BDA0002522486390000093
其中：
pci表示信号灯状态检测模型计算出来目标物属于每个类的概率；事先对信号灯设置不同的类；
pci’表示通过真实数据计算出来的属于每个类概率；所述真实数据，为事先设置的模型训练数据；
o表示信号灯状态检测模型计算出来目标物检测框的中心坐标坐标点和对应宽度高度四个数据(x,y,w,h)与候选框四个数据的差距；
o’表示信号灯状态检测模型计算出来目标物的检测框的中心坐标坐标点和对应宽度高度四个数据(x,y,w,h)与真实框四个数据的差距；
xi,yi,wi,hi：信号灯状态检测模型计算出来目标物检测框中心坐标坐标点和对应宽度高度四个数据；
Figure BDA0002522486390000094
目标物由人工标出检测框，
Figure BDA0002522486390000095
表示方框对应四个数据，分别为中心点坐标位置
Figure BDA0002522486390000096
和
Figure BDA0002522486390000097
以及检测框的宽度
Figure BDA0002522486390000098
和高度
Figure BDA0002522486390000099
四项数据；
cobj表示信号灯状态检测模型计算出来的目标物在或不在候选框中的置信度；
cobj’表示通过训练样本的标注框与预测框的IOU计算值作为已知的标准置信度；
α、β为预设权重，用来调节对分类损失、定位损失和置信度损失的偏重程度。
本发明提出了电路设备状态检测的方法和系统，所需要的收发信号设备成本以及布设成本均较低，可以实现定时或者实时在线监测电路设备状态，兼容性好，能够准确且快速的定位故障并予以报警，方便工作人员迅速排查更换有问题的电路设备，节约人工。当出现新的设备时，使用系统对新的设备进行学习，即可以实现对新设备状态检测，可扩展性好。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明实施例的电路设备状态监测方法流程图；
图2示出了根据本发明实施例的使用外观检测模型处理电路设备第一外观图片示意图；
图3示出了根据本发明实施例的使用信号灯状态检测模型处理第一外观特征示意图；
图4示出了根据本发明实施例的电路设备状态监测系统结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种电路设备状态监测方法，该方法适用于对轨道电路设备进行监测，还可以适用于其他电路设备，示例性的，如图1所示；所述方法包括：
获取电路设备第一外观图片；
使用设备外观检测模型对所述电路设备第一外观图片进行处理，提取多个电路设备第一外观特征；
使用信号灯状态检测模型对所述电路设备第一外观特征进行处理，生成含有信号灯状态的检测结果；
根据所述检测结果，确定所述电路设备的状态。
具体的，获取电路设备第一外观图片。
所述获取电路设备第一外观图片包括：
获取电路设备照片，并将所述电路设备照片交后台图片处理系统分析；
当所述电路设备照片包含信号灯，生成电路设备第一外观图片；
当所述电路设备照片不包含信号灯，重新获取电路设备照片。
示例性的，获取电路设备照片，包括不限于使用拍摄设备，生成电路设备照片；重新获取电路设备照片，即重新拍摄电路设备照片。所述电路设备，可以是轨道电路设备，也可以是其他电路设备，该电路设备状态情况由信号灯显示。可以依据指定时间或周期，拍摄照片。所述指定时间，指按照指令要求或指定时间去拍摄；所述周期，指的是事先拟定时间周期，每周期去拍摄一次。可以使用机器人、无人机或者监控仪等设备进行拍摄。所述拍摄，指的是在指定位置指定方向指定角度进行拍摄，事先设置好位置、方向、角度，这样使得每次拍摄场景相同，拍摄对象相同，正常情况下，拍到的照片一定可以拍摄到预设内容。拍摄完成，传输到后台图片处理系统中，所述传输，可以通过无线网络，也可以通过有线网络，使用存储设备直接拷贝后传输等；后台图片处理系统对图片进行检测；所述检测，可以使用但不限于调用训练好的信号灯识别算法进行检测。如果发现拍摄的图片不包含信号灯，或者图片达不到要求；所述达不到要求，包括图片只包含少量信号灯，无法更进一步地对信号灯进行分析；会将其反馈给拍摄设备，并让拍摄设备挪动位置，尝试重新拍摄信号灯，如果多次拍摄不到信号灯，就会发出警报，所述警报，包括但不限于反馈给安全监控平台、通知相关人员等。所述安全监控平台，用于监控系统设备运行情况；所述安全监控平台可以只对信号灯情况进行监控，也可以是对整个或部分铁路系统进行监控，信号灯情况只是其监控的一小部分内容。所述反馈，包括且不限于使用有线方式、无线方式等各种通信方式将信息传输。如果拍摄的图片包含信号灯，即图片达到要求，即生成电路设备第一外观图片。
具体的，使用设备外观检测模型对所述电路设备第一外观图片进行处理，提取多个电路设备第一外观特征。
具体的，所述设备外观检测模型包括：八个提取模块；其中第一提取模块包括两个卷积层；第二提取模块包括一个池化层和两个卷积层；第三提取模块包括一个池化层和三个卷积层；第四提取模块包括一个池化层和三个卷积层；第五提取模块包括一个池化层和三个卷积层；第六提取模块包括一个池化层和两个全连接层；第七提取模块包括一个池化层和两个卷积层；第八提取模块包括一个池化层和两个卷积层。
示例性的，使用设备外观检测模型对所述电路设备第一外观图片进行处理，提取多个电路设备第一外观特征，如图2所示。
使用设备外观检测模型对电路设备第一外观图片进行处理，目标物特征较为明显，且目标物相对较大，设备外观检测模型相对于信号灯状态检测模型来说，其深度学习网络结构相对较浅。
使用设备外观检测模型对所述第一外观图片进行处理，即所述第一外观图片分别经过八个特征提取模块进行特征提取：
经过第一提取模块，提取所述状态图片的基本特征。
经过第二提取模块，其中池化层增加了模型的非线性特征，提高了模型的学习能力；两个卷积层继续提取不同层次的目标物特征。
经过第三、四、五提取模块，其中池化层增加了模型的非线性能力，同时降低了特征图的大小，减少了后续计算的复杂度；这三个模块，分别在不同大小的特征图上对前面提取出来的目标物特征进一步提取高层次的特征。
经过第六提取模块，其中池化层进一步引入非线性的特性以及降低特征图大小，两个全连接层在此处则整合当前位置已经提取到的特征。
经过第七、八提取模块，分别在上一个模块上整合得到的特征基础上再分两个不同的尺寸进一步提取特征。
所述电路设备第一外观图片经过设备外观检测模型八个提取模块后，提取多个电路设备第一外观特征，所述多个电路设备第一外观特征包括类别和定位，所述类别，即这是什么设备；所述定位，即每一个电路设备在电路设备第一外观图片中的具体位置坐标。
示例性的，事先对电路设备进行分析，设置相应类别；如轨道电路接收器、发送器设备等；设置好类别后，设备外观检测模型对不同照片进行学习。电路设备第一外观图片经过设备外观检测模型，提取多个电路设备第一外观特征。
进一步地，使用先验框技术可以减少检测时间，并能对目标物分类和定位的检测。所述先验框技术，即对状态图片的每一个坐标位置，预设若干先验框，每一种先验框预先设置不同长宽比例。示例性的，预设4个先验框，长宽比例分别为{1,2,3,1/2}。在先验框的基础上进行目标物分类和定位的检测。
进一步地，第六、七、八提取模块卷积层还各包括一个3*3的卷积层输出分支，所述卷积层采用步长为1的形式进行提取特征，用于直接将这三层结果输出，输出结果用于损失函数计算损失并得出分类和定位的结果；三层结果分别计算后，选择准确率最高的数据为设备外观检测模型输出结果。
设备外观检测模型在最后三个提取模块，即第六、七、八提取模块的特征图上进行目标物的预测。因为需要识别的设备外观在拍摄的图片场景中，相对来说占比较大，对于检测相对较大物体，采用的后面的三个模块特征图更加有效；并且不采用更多的特征图检测目标物，能够大大降低模型的训练速度。
具体的，设备外观检测模型最后三个模块使用检测设备外观模型训练损失函数，用来对分类和定位两个部分的加权衡量：
L＝Lclassification(z，c)+αLlocalization(l，g)
其中：
分类损失函数如下所示：
Figure BDA0002522486390000141
定位损失函数如下所示：
Figure BDA0002522486390000142
Pos和Neg分别表示正例样本集和负例样本集；示例性的，正例样本集和负例样本集可以使用但是不限于以下方法得到：预先人工标出真实框，模型对图片进行学习，模型生成检测框；预设相似度阈值；比较检测框与真实度相似度，如果相似度大于相似度阈值,即两者比较相似；比较相似则认为成功生成检测框；模型对检测框内的类别进行判断，结果交由人工判定正确与否，当正确则认为成功判断类别；当某一样本成功生成检测框且成功判断类别，这一样本放入正例样本集，否则放入负例样本集。
zi用于判断是否匹配到该先验框，匹配成功时zi设为1，匹配失败为0；示例性的，使用计算IOU(Intersection over Union，交并比)来判断匹配，预设匹配阈值，当IOU≥匹配阈值时，判断匹配成功，即此时zi＝1；当IOU<匹配阈值时，zi＝0。
ci是第六、七、八提取模块通过步长为1的3*3卷积层计算出的分类结果部分。
l是第六、七、八提取模块通过步长为1的3*3卷积层计算出的定位结果部分。
g为训练数据集中预先由人工标注的结果；事先使用设备外观检测模型对图片进行训练，生成训练数据集。
xi,yi,wi,hi：设备外观检测模型计算出来特征数据中位置信息；设备外观检测模型计算出检测框，xi，yi，wi，hi表示方框对应四个数据，分别为中心点坐标位置xi和yi，以及检测框的宽度wi和高度hi四项数据。
Figure BDA0002522486390000151
训练数据集中，由人工标出真实框，
Figure BDA0002522486390000152
表示方框对应四个数据，分别为中心点坐标位置
Figure BDA0002522486390000153
和
Figure BDA0002522486390000154
以及检测框的宽度
Figure BDA0002522486390000155
和高度
Figure BDA0002522486390000156
四项数据。
α为预设权重，用来调节对分类损失和定位损失的偏重程度。
具体的，使用信号灯状态检测模型对所述电路设备第一外观特征进行检测，生成含有信号灯状态的检测结果。
具体的，信号灯状态检测模型包括：七个检测模块；其中第一检测模块包括一个卷积层；其中第二检测模块包括一个池化层和两个卷积层；其中第三检测模块包括一个池化层和四个卷积层；其中第四检测模块包括一个池化层和八个卷积层；其中第五检测模块包括一个池化层和五个卷积层；其中第六检测模块包括一个池化层和两个卷积层；其中第七检测模块包括两个全连接层。
具体的，使用信号灯状态检测模型对所述电路设备第一外观特征进行检测，生成含有信号灯状态的检测结果。当有多个电路设备第一外观特征需要进行检测时，则信号灯状态检测模型对所述多个电路设备第一外观特征分别进行检测，生成对应的检测结果；所述检测结果包括这个设备各个灯是哪一种类型，对应的状态，以及它的具体位置坐标。
信号灯状态检测模型需要考虑电路设备第一外观特征中，待检目标物尺寸较小且不同亮灯状态的组合，还要考虑设备面板上文字特征的提取与识别，以及如何排除其他非相关信号灯位和文字的干扰等。对信号灯状态检测模型设计则更侧重于尺寸相对来说较小的目标物检测，因此信号灯检测模型的网络结构相对于设备外观检测模型较深，在网络设计时更加偏重浅层网络的模型提取，更加关注小物体的检测。
具体的，使用信号灯状态检测模型对所述电路设备第一外观特征进行处理，如图3所示。
电路设备第一外观特征经过第一检测模块，提取所述外观特征的基础特征。
经过第二检测模块，通过池化层降低特征图大小以及引入非线性特性，提升了模型训练速度同时增加了模型的学习能力，其中两个卷积层进一步提取基础特征。
经过第三检测模块，此模块采用了四个卷积层，在第二检测模块的基础上更进一步提取基础特征。
经过第四检测模块，此模块采用了八个卷积层，进一步提取特征，并渐渐组合出更高层次的复杂特征。
经过第五检测模块，进一步提取组合特征。
经过第六检测模块，提取出的组合特征组合出更加明显的目标特征，所述更加明显的是指相对于第五检测模块提取的组合特征，第六检测模块提取的目标特征更加明显。
经过第七检测模块，将不同的特征进行最终整合，得到待检测物体的具体特征，生成含有信号灯状态的检测结果。
具体的，检测信号灯状态模型中关键模块是第三检测模块、第四检测模块和第六检测模块。其中，第三检测模块、第四检测模块作为浅层网络层能够聚焦到小尺寸物体上的检测，第六检测模块提取了最为复杂的组合特征，对文字特征的提取更加有效。
检测信号灯状态模型使用信号灯模型损失函数对第六检测模块的输出结果进行计算损失，从而迭代更新模型的参数。
信号灯模型损失函数是三个部分的损失加权，包括：定位损失，置信度损失和分类损失，具体如下：
L＝Lclassification(pc，p′c)+αLlocalization(o，o′)+βLconfidence(cobj，cobj′)
分类损失函数如下所示：
Figure BDA0002522486390000161
定位损失函数如下所示：
Figure BDA0002522486390000171
置信度损失函数如下所示：
Figure BDA0002522486390000172
其中：
pci表示信号灯状态检测模型计算出来目标物属于每个类的概率；事先对信号灯设置不同的类，示例性的，可以使用但是不限于以下方式分类：对于某电路设备，电源指示灯设为一类，故障指示灯设为一类，发送数据灯和接收数据灯设为一类；
pci’表示通过真实数据计算出来的属于每个类概率；所述真实数据，为事先设置的模型训练数据；示例性的，模型训练数据包括大量数据，如某分类数据80％归为A类，15％归于B类，5％归为C类；通过统计模型训练数据可以得到；
分类损失函数的计算能够较好地衡量出信号灯状态检测模型对分类结果预测的效果。
o表示信号灯状态检测模型计算出来目标物检测框的中心坐标坐标点和对应宽度高度四个数据(x,y,w,h)与候选框四个数据的差距；所述候选框为信号灯状态检测模型事先计算出来的检测框；
o’表示信号灯状态检测模型计算出来目标物的检测框的中心坐标坐标点和对应宽度高度四个数据(x,y,w,h)与真实框四个数据的差距；所述真实框实际为人为标注的检测框；
xi,yi,wi,hi：信号灯状态检测模型计算出来目标物检测框中心坐标坐标点和对应宽度高度四个数据；
Figure BDA0002522486390000173
目标物由人工标出检测框，
Figure BDA0002522486390000174
表示方框对应四个数据，分别为中心点坐标位置
Figure BDA0002522486390000175
和
Figure BDA0002522486390000176
以及检测框的宽度
Figure BDA0002522486390000177
和高度
Figure BDA0002522486390000178
四项数据；
通过定位损失函数进行衡量模型在定位上的效果。
cobj表示信号灯状态检测模型计算出来的目标物在或不在候选框中的置信度；所述候选框为信号灯状态检测模型通过计算得到；
cobj’表示通过训练样本的标注框与预测框的IOU计算值作为已知的标准置信度；所述标注框为人工标注获得，所述预测框由机器生成；
置信度损失函数需要先判断目标物在不在候选框中，如果目标物在候选框中，则计算得到的cobj代入有目标物的置信度损失计算中；反之如果目标物不在候选框中，计算得到的cobj代入没有目标物的置信度损失计算中；无论在不在候选框中，计算得到的cobj都是和cobj’计算平方损失。示例性的，cobj和cobj’可以通过贝叶斯统计方法计算获得。
α、β为预设权重，用来调节对分类损失、定位损失和置信度损失的偏重程度。
具体的，根据所述检测结果，确定所述电路设备的状态。
设备外观检测模型和信号灯状态检测模型已经判断出电路设备第一外观图片中各个电路设备是哪一种设备，在第一外观图片中的具体坐标，每个电路设备上信号灯属于哪一种类型，灯的状态。示例性的，如检测出某外观图片中第一坐标对应的是轨道电路接收器，上面包含：主发送灯，灯的状态是红色，亮；备发送灯，灯的状态是绿色，暗……
含有信号灯状态的检测结果包括：信号灯异常；信号灯正常。事先定义信号灯异常信息，示例性的，某设备包括a、b、c、d、e、f灯，其中，当e、f灯亮时，代表对应系统出现故障，此时表示信号灯异常；a、b两者不同时亮或灭，c、d两者同时亮与灭，当a、b两者同时亮或灭时或c、d两者不同时亮与灭时，表示信号灯异常。当某设备所有信号灯异常情况都已经定义，其余情况均为信号灯正常。也可以定义设备所有信号灯正常情况，剩余均为信号灯异常。模型已经判断出灯的状态，即灯处于亮或灭。
当信号灯异常时，有两种情况：一是信号灯对应的电路设备故障，反应在信号灯显示异常；另一种是信号灯本身出现故障，如某一信号灯坏了，但是这种情况也有可能是电路设备故障引起的，需要人工进一步判断。
对于这两种情况，产生不同的异常信息，所述异常信息包括：电路设备异常和电路设备疑似异常。所述电路设备疑似异常即是信号灯本身出现故障。
将异常信息反馈至安全监控平台，人工将根据相应异常信息进行排查。
当信号灯正常时，则产生正常信息，将正常信息存档。所述存档，即保存信息至相关设备，所述保存信息包括且不限于只保存正常信息、保存正常信息及对应检测结果、保存正常信息原始图片及所有过程图片等；所述相关设备，包括但不限于用于存储信息的主机、指定设备等。
本发明还提供一种电路设备状态监测系统，示例性的，如图4所示，包括：
获取模块，用于获取电路设备第一外观图片；
设备外观检测模块，用于使用设备外观检测模型对所述电路设备第一外观图片进行处理，提取多个电路设备第一外观特征；
信号灯状态检测模块，用于使用信号灯状态检测模型对所述电路设备第一外观特征进行处理，生成含有信号灯状态的检测结果；
确定模块，根据所述检测结果，确定所述电路设备的状态。
具体的，获取模块，用于获取电路设备第一外观图片，包括：
获取组件，用于获取电路设备照片；
分析组件，接收获取组件传来的电路设备照片，用于对电路设备照片进行分析，生成照片分析结果；所述分析结果包括：电路设备照片包含信号灯、电路设备照片不包含信号灯；
生成组件，接收分析组件传来的照片分析结果，当分析结果为电路设备照片包含信号灯，用于生成电路设备第一外观图片；
重获组件，接收分析组件传来的照片分析结果，当分析结果为电路设备照片不包含信号灯，用于重新加载获取组件重新获取电路设备照片。
设备外观检测模块，接收获取模块传来的电路设备第一外观图片，用于使用设备外观检测模型对所述第一外观图片进行处理，提取多个电路设备第一外观特征。
所述检测设备外观模型包括：
八个提取模块；
其中第一提取模块包括两个卷积层，用于提取第一外观图片的基本特征；
第二提取模块包括一个池化层和两个卷积层，用于对第一提取模块提取出来的基本特征进一步提取不同层次的目标物特征；
第三提取模块包括一个池化层和三个卷积层，用于对第二提取模块提取出来的目标物特征进一步提取高层次的特征；
第四提取模块包括一个池化层和三个卷积层，用于对第三提取模块提取出来的目标物特征进一步提取高层次的特征；
第五提取模块包括一个池化层和三个卷积层，用于对第四提取模块提取出来的目标物特征进一步提取高层次的特征；
第六提取模块包括一个池化层和两个全连接层，用于进一步引入非线性的特性以及降低特征图大小，整合当前位置已经提取到的特征；
第七提取模块包括一个池化层和两个卷积层，用于在第六提取模块整合得到的特征基础上再进一步提取特征；
第八提取模块包括一个池化层和两个卷积层，用于在第七提取模块整合得到的特征基础上再进一步提取特征。
所述第六提取模块、第七提取模块、第八提取模块还各包括一个3*3卷积层输出分支，所述输出分支用于将第六提取模块、第七提取模块、第八提取模块结果输出。
所述检测设备外观模型使用检测设备外观模型训练损失函数，用于对分类和回归两个部分的加权衡量；
所述检测设备外观模型训练损失函数为：
L＝Lclassification(z，c)+αLlocalization(l，g)
其中：
分类损失函数如下所示：
Figure BDA0002522486390000211
定位损失函数如下所示：
Figure BDA0002522486390000212
Pos和Neg分别表示正例样本集和负例样本集；示例性的，正例样本集和负例样本集可以使用但是不限于以下方法得到：预先人工标出真实框，模型对图片进行学习，模型生成检测框；预设相似度阈值；比较检测框与真实度相似度，如果相似度大于相似度阈值,即两者比较相似；比较相似则认为成功生成检测框；模型对检测框内的类别进行判断，结果交由人工判定正确与否，当正确则认为成功判断类别；当某一样本成功生成检测框且成功判断类别，这一样本放入正例样本集，否则放入负例样本集。
zi用于判断是否匹配到该先验框，匹配成功时zi设为1，匹配失败为0；示例性的，使用计算IOU(Intersection over Union，交并比)来判断匹配，预设匹配阈值，当IOU≥匹配阈值时，判断匹配成功，即此时zi＝1；当IOU<匹配阈值时，zi＝0。
ci是第六、七、八提取模块通过步长为1的3*3卷积层计算出的分类结果部分。
l是第六、七、八提取模块通过步长为1的3*3卷积层计算出的定位结果部分。
g为训练数据集中预先由人工标注的结果；事先使用设备外观检测模型对图片进行训练，生成训练数据集。
xi,yi,wi,hi：设备外观检测模型计算出来特征数据中位置信息；设备外观检测模型计算出检测框，xi，yi，wi，hi表示方框对应四个数据，分别为中心点坐标位置xi和yi，以及检测框的宽度wi和高度hi四项数据。
Figure BDA0002522486390000213
训练数据集中，由人工标出真实框，
Figure BDA0002522486390000214
表示方框对应四个数据，分别为中心点坐标位置
Figure BDA0002522486390000215
和
Figure BDA0002522486390000216
以及检测框的宽度
Figure BDA0002522486390000217
和高度
Figure BDA0002522486390000218
四项数据。
α为预设权重，用来调节对分类损失和定位损失的偏重程度。
信号灯状态检测模块，接收提取模块传来的电路设备第一外观特征，用于使用信号灯状态检测模型对所述电路设备第一外观特征进行检测，生成含有信号灯状态的检测结果。
信号灯状态检测模型包括，
七个检测模块；
其中第一检测模块包括一个卷积层，用于提取第一外观特征的基础特征；
其中第二检测模块包括一个池化层和两个卷积层，用于在第一检测模块的基础上进一步提取基础特征；
其中第三检测模块包括一个池化层和四个卷积层，用于在第二检测模块的基础上更进一步提取基础特征；
其中第四检测模块包括一个池化层和八个卷积层，用于在第三检测模块的基础上进一步提取特征，并渐渐组合出更高层次的复杂特征；
其中第五检测模块包括一个池化层和五个卷积层，用于进一步提取组合特征；
其中第六检测模块包括一个池化层和两个卷积层，用于提取出的组合特征组合出更加明显的目标特征；
其中第七检测模块包括两个全连接层，用于将不同的特征进行最终整合，生成含有信号灯状态的检测结果。
所述信号灯状态检测模型使用信号灯模型损失函数，用于对第六检测模块的输出结果进行计算损失，迭代更新信号灯状态检测模型的参数；
所述信号灯模型损失函数是三个部分的损失加权，包括：定位损失，置信度损失和分类损失，具体如下：
L＝Lclassification(pc，p′c)+αLlocalization(o，o′)+βLconfidence(cobj，cobj′)
分类损失函数如下所示：
Figure BDA0002522486390000221
定位损失函数如下所示：
Figure BDA0002522486390000231
置信度损失函数如下所示：
Figure BDA0002522486390000232
其中：
pci表示信号灯状态检测模型计算出来目标物属于每个类的概率；事先对信号灯设置不同的类，示例性的，可以使用但是不限于以下方式分类：对于某电路设备，电源指示灯设为一类，故障指示灯设为一类，发送数据灯和接收数据灯设为一类；
pci’表示通过真实数据计算出来的属于每个类概率；所述真实数据，为事先设置的模型训练数据；示例性的，模型训练数据包括大量数据，如某分类数据80％归为A类，15％归于B类，5％归为C类；通过统计模型训练数据可以得到；
分类损失函数的计算能够较好地衡量出信号灯状态检测模型对分类结果预测的效果。
o表示信号灯状态检测模型计算出来目标物检测框的中心坐标坐标点和对应宽度高度四个数据(x,y,w,h)与候选框四个数据的差距；所述候选框为信号灯状态检测模型事先计算出来的检测框；
o’表示信号灯状态检测模型计算出来目标物的检测框的中心坐标坐标点和对应宽度高度四个数据(x,y,w,h)与真实框四个数据的差距；所述真实框实际为人为标注的检测框；
xi,yi,wi,hi：信号灯状态检测模型计算出来目标物检测框中心坐标坐标点和对应宽度高度四个数据；
Figure BDA0002522486390000233
目标物由人工标出检测框，
Figure BDA0002522486390000234
表示方框对应四个数据，分别为中心点坐标位置
Figure BDA0002522486390000241
和
Figure BDA0002522486390000242
以及检测框的宽度
Figure BDA0002522486390000243
和高度
Figure BDA0002522486390000244
四项数据；
通过定位损失函数进行衡量模型在定位上的效果。
cobj表示信号灯状态检测模型计算出来的目标物在或不在候选框中的置信度；所述候选框为信号灯状态检测模型通过计算得到；
cobj’表示通过训练样本的标注框与预测框的IOU计算值作为已知的标准置信度；所述标注框为人工标注获得，所述预测框由机器生成；
置信度损失函数需要先判断目标物在不在候选框中，如果目标物在候选框中，则计算得到的cobj代入有目标物的置信度损失计算中；反之如果目标物不在候选框中，计算得到的cobj代入没有目标物的置信度损失计算中；无论在不在候选框中，计算得到的cobj都是和cobj’计算平方损失。示例性的，cobj和cobj’可以通过贝叶斯统计方法计算获得。
α、β为预设权重，用来调节对分类损失、定位损失和置信度损失的偏重程度。
确定模块，接收信号灯状态检测模块传来的检测结果，用于根据所述检测结果，确定所述电路设备的状态。
确定模块包括：
判断组件，接收信号灯状态检测模块传来的检测结果，生成判断结果，用于判断检测结果，所述检测结果包括信号灯异常、信号灯正常；
确定组件，接收判断组件传来的判断结果，用于确定所述电路设备的状态。
本发明所需要的收发信号设备成本以及布设成本均较低，可以实现定时或者实时在线监测电路设备状态，兼容性好，能够准确且快速的定位故障并予以报警，方便工作人员迅速排查更换有问题的电路设备，节约人工。当出现新的设备时，使用系统对新的设备进行学习，即可以实现对新设备状态检测，可扩展性好。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种电路设备状态监测方法，其特征在于，所述电路设备状态监测方法包括：
获取电路设备第一外观图片；
使用设备外观检测模型对所述电路设备第一外观图片进行处理，提取多个电路设备第一外观特征；
使用信号灯状态检测模型对所述电路设备第一外观特征进行处理，生成含有信号灯状态的检测结果；
根据所述检测结果，确定所述电路设备的状态。
2.根据权利要求1所述的电路设备状态监测方法，其特征在于，
所述获取电路设备第一外观图片包括：
获取电路设备照片，并将所述电路设备照片交后台图片处理系统分析；
当所述电路设备照片包含信号灯，生成电路设备第一外观图片；
当所述电路设备照片不包含信号灯，重新获取电路设备照片。
3.根据权利要求1所述的电路设备状态监测方法，其特征在于，所述根据所述检测结果，确定所述电路设备的状态包括：
所述检测结果包括信号灯异常、信号灯正常；
当所述信号灯异常，则电路设备的状态异常；
当所述信号灯正常，则电路设备的状态正常。
4.根据权利要求1所述的电路设备状态监测方法，其特征在于，
所述使用设备外观检测模型对所述电路设备第一外观图片进行处理，包括：
设备外观检测模型包括八个提取模块；
所述电路设备第一外观图片经过第一提取模块，所述第一提取模块提取所述第一外观图片的基本特征；所述第一提取模块包括两个卷积层；
经过第二提取模块，所述第二提取模块提取不同层次的目标物特征；所述第二提取模块包括一个池化层和两个卷积层；
经过第三提取模块、第四提取模块、第五提取模块，所述第三提取模块、所述第四提取模块、所述第五提取模块分别在不同大小的特征图上对前面提取出来的目标物特征进一步提取高层次的特征；所述第三提取模块包括一个池化层和三个卷积层；所述第四提取模块包括一个池化层和三个卷积层；所述第五提取模块包括一个池化层和三个卷积层；
经过第六提取模块，所述第六提取模块进一步引入非线性的特性以及降低特征图大小，整合当前位置已经提取到的特征；所述第六提取模块包括一个池化层和两个全连接层；
经过第七提取模块、第八提取模块，所述第七提取模块、所述第八提取模块分别在前一个模块上整合得到的特征基础上再分两个不同的尺寸进一步提取特征，生成电路设备第一外观特征；所述第七提取模块包括一个池化层和两个卷积层；所述第八提取模块包括一个池化层和两个卷积层。
5.根据权利要求4所述的电路设备状态监测方法，其特征在于，
所述第六提取模块、第七提取模块、第八提取模块还各包括一个3*3卷积层输出分支，所述输出分支分别用于将第六提取模块、第七提取模块、第八提取模块结果输出。
6.根据权利要求1所述的电路设备状态监测方法，其特征在于，
所述检测设备外观模型使用检测设备外观模型训练损失函数，用于对分类和回归两个部分的加权衡量；
所述检测设备外观模型训练损失函数为：
L＝Lclassification(z，c)+αLlocalization(l，g)
其中：
分类损失函数如下所示：
Figure FDA0002522486380000021
定位损失函数如下所示：
Figure FDA0002522486380000022
Pos和Neg分别表示正例样本集和负例样本集；
zi用于判断是否匹配到该先验框，匹配成功时zi设为1，匹配失败为0；
ci是第六、七、八提取模块通过步长为1的3*3卷积层计算出的分类结果部分；
l是第六、七、八提取模块通过步长为1的3*3卷积层计算出的定位结果部分；
g为训练数据集中预先由人工标注的结果；事先使用设备外观检测模型对图片进行训练，生成训练数据集；
xi，yi,wi,hi：设备外观检测模型计算出来特征数据中位置信息；设备外观检测模型计算出检测框，xi，yi，wi，hi表示方框对应四个数据，分别为中心点坐标位置xi和yi，以及检测框的宽度wi和高度hi四项数据；
Figure FDA0002522486380000031
训练数据集中，由人工标出真实框，
Figure FDA0002522486380000032
表示方框对应四个数据，分别为中心点坐标位置
Figure FDA0002522486380000033
和
Figure FDA0002522486380000034
以及检测框的宽度
Figure FDA0002522486380000035
和高度
Figure FDA0002522486380000036
四项数据；
α为预设权重，用来调节对分类损失和定位损失的偏重程度。
7.根据权利要求1所述的电路设备状态监测方法，其特征在于，
所述使用信号灯状态检测模型对所述电路设备第一外观特征进行处理，包括：
所述信号灯状态检测模型包括七个检测模块；
所述电路设备第一外观特征经过第一检测模块，所述第一检测模块提取所述外观特征的基础特征；所述第一检测模块包括一个卷积层；
经过第二检测模块，所述第二检测模块在第一检测模块的基础上进一步提取基础特征；所述第二检测模块包括一个池化层和两个卷积层；
经过第三检测模块，所述第三检测模块在第二检测模块的基础上更进一步提取基础特征；所述第三检测模块包括一个池化层和四个卷积层；
经过第四检测模块，所述第四检测模块在第三检测模块的基础上进一步提取特征，并渐渐组合出更高层次的复杂特征；所述第四检测模块包括一个池化成和八个卷积层；
经过第五检测模块，所述第五检测模块进一步提取组合特征；所述第五检测模块包括一个池化层和五个卷积层；
经过第六检测模块，所述第六检测模块提取出的组合特征组合出更加明显的目标特征；所述第六检测模块包括一个池化层和两个卷积层；
经过第七检测模块，所述第七检测模块将不同的特征进行最终整合，生成含有信号灯状态的检测结果；所述第七检测模块包括两个全连接层。
8.根据权利要求1所述的电路设备状态监测方法，其特征在于，
所述信号灯状态检测模型使用信号灯模型损失函数，用于对第六检测模块的输出结果进行计算损失，迭代更新信号灯状态检测模型的参数；
所述信号灯模型损失函数是三个部分的损失加权，包括：定位损失，置信度损失和分类损失，具体如下：
L＝Lclassification(pc，p′c)+αLlocalization(o，o′)+βLconfidence(cobj，cobj′)
分类损失函数如下所示：
Figure FDA0002522486380000041
定位损失函数如下所示：
Figure FDA0002522486380000042
置信度损失函数如下所示：
Figure FDA0002522486380000043
其中：
pci表示信号灯状态检测模型计算出来目标物属于每个类的概率；事先对信号灯设置不同的类；
pci’表示通过真实数据计算出来的属于每个类概率；所述真实数据，为事先设置的模型训练数据；
o表示信号灯状态检测模型计算出来目标物检测框的中心坐标坐标点和对应宽度高度四个数据(x，y，w，h)与候选框四个数据的差距；
o’表示信号灯状态检测模型计算出来目标物的检测框的中心坐标坐标点和对应宽度高度四个数据(x,y,w,h)与真实框四个数据的差距；
xi,yi,wi,hi：信号灯状态检测模型计算出来目标物检测框中心坐标坐标点和对应宽度高度四个数据；
Figure FDA0002522486380000051
目标物由人工标出检测框，
Figure FDA0002522486380000052
表示方框对应四个数据，分别为中心点坐标位置
Figure FDA0002522486380000053
和
Figure FDA0002522486380000054
以及检测框的宽度
Figure FDA0002522486380000055
和高度
Figure FDA0002522486380000056
四项数据；
cobj表示信号灯状态检测模型计算出来的目标物在或不在候选框中的置信度；
cobj’表示通过训练样本的标注框与预测框的IOU计算值作为已知的标准置信度；
α、β为预设权重，用来调节对分类损失、定位损失和置信度损失的偏重程度。
9.一种电路设备状态监测系统，其特征在于，
所述电路设备状态监测系统包括：
获取模块，用于获取电路设备第一外观图片；
设备外观检测模块，用于使用设备外观检测模型对所述电路设备第一外观图片进行处理，提取多个电路设备第一外观特征；
信号灯状态检测模块，用于使用信号灯状态检测模型对所述电路设备第一外观特征进行处理，生成含有信号灯状态的检测结果；
确定模块，根据所述检测结果，确定所述电路设备的状态。
10.根据权利要求9所述的电路设备状态监测系统，其特征在于，
所述获取模块包括：
获取组件，用于获取电路设备照片；
分析组件，用于对电路设备照片进行分析；
生成组件，用于生成电路设备第一外观图片；
重获组件，用于重新加载获取组件获取电路设备照片。
11.根据权利要求9所述的电路设备状态监测系统，其特征在于，所述确定模块包括：
判断组件，用于判断检测结果；
确定组件，用于确定所述电路设备的状态。
12.根据权利要求9所述的电路设备状态监测系统，其特征在于，
所述检测设备外观模型包括：
八个提取模块；
其中第一提取模块包括两个卷积层，用于提取第一外观图片的基本特征；
第二提取模块包括一个池化层和两个卷积层，用于对第一提取模块提取出来的基本特征进一步提取不同层次的目标物特征；
第三提取模块包括一个池化层和三个卷积层，用于对第二提取模块提取出来的目标物特征进一步提取高层次的特征；
第四提取模块包括一个池化层和三个卷积层，用于对第三提取模块提取出来的目标物特征进一步提取高层次的特征；
第五提取模块包括一个池化层和三个卷积层，用于对第四提取模块提取出来的目标物特征进一步提取高层次的特征；
第六提取模块包括一个池化层和两个全连接层，用于进一步引入非线性的特性以及降低特征图大小，整合当前位置已经提取到的特征；
第七提取模块包括一个池化层和两个卷积层，用于在第六提取模块整合得到的特征基础上再进一步提取特征；
第八提取模块包括一个池化层和两个卷积层，用于在第七提取模块整合得到的特征基础上再进一步提取特征。
13.根据权利要求12所述的电路设备状态监测系统，其特征在于，
所述第六提取模块、第七提取模块、第八提取模块还各包括一个3*3卷积层输出分支，所述输出分支用于将第六提取模块、第七提取模块、第八提取模块结果输出。
14.根据权利要求9所述的电路设备状态监测系统，其特征在于，
所述检测设备外观模型使用检测设备外观模型训练损失函数，用于对分类和回归两个部分的加权衡量；
所述检测设备外观模型训练损失函数为：
L＝Lclassification(z，c)+αLlocalization(l，g)
其中：
分类损失函数如下所示：
Figure FDA0002522486380000071
定位损失函数如下所示：
Figure FDA0002522486380000072
Pos和Neg分别表示正例样本集和负例样本集；
zi用于判断是否匹配到该先验框，匹配成功时zi设为1，匹配失败为0；
ci是第六、七、八提取模块通过步长为1的3*3卷积层计算出的分类结果部分；
l是第六、七、八提取模块通过步长为1的3*3卷积层计算出的定位结果部分；
g为训练数据集中预先由人工标注的结果；事先使用设备外观检测模型对图片进行训练，生成训练数据集；
xi，yi，wi，hi：设备外观检测模型计算出来特征数据中位置信息；设备外观检测模型计算出检测框，xi，yi，wi，hi表示方框对应四个数据，分别为中心点坐标位置xi和yi，以及检测框的宽度wi和高度hi四项数据；
Figure FDA0002522486380000073
训练数据集中，由人工标出真实框，
Figure FDA0002522486380000074
表示方框对应四个数据，分别为中心点坐标位置
Figure FDA0002522486380000075
和
Figure FDA0002522486380000076
以及检测框的宽度
Figure FDA0002522486380000077
和高度
Figure FDA0002522486380000078
四项数据；
α为预设权重，用来调节对分类损失和定位损失的偏重程度。
15.根据权利要求9所述的电路设备状态监测系统，其特征在于，
所述信号灯状态检测模型包括，
七个检测模块；
其中第一检测模块包括一个卷积层，用于提取第一外观特征的基础特征；
其中第二检测模块包括一个池化层和两个卷积层，用于在第一检测模块的基础上进一步提取基础特征；
其中第三检测模块包括一个池化层和四个卷积层，用于在第二检测模块的基础上更进一步提取基础特征；
其中第四检测模块包括一个池化成和八个卷积层，用于在第三检测模块的基础上进一步提取特征，并渐渐组合出更高层次的复杂特征；
其中第五检测模块包括一个池化层和五个卷积层，用于进一步提取组合特征；
其中第六检测模块包括一个池化层和两个卷积层，用于提取出的组合特征组合出更加明显的目标特征；
其中第七检测模块包括两个全连接层，用于将不同的特征进行最终整合，生成含有信号灯状态的检测结果。
16.根据权利要求9所述的电路设备状态监测系统，其特征在于，
所述信号灯状态检测模型使用信号灯模型损失函数，用于对第六检测模块的输出结果进行计算损失，迭代更新信号灯状态检测模型的参数；
所述信号灯模型损失函数是三个部分的损失加权，包括：定位损失，置信度损失和分类损失，具体如下：
L＝Lclassification(pc，p′c)+αLlocalization(o，o′)+βLconfidence(cobj，cobj′)
分类损失函数如下所示：
Figure FDA0002522486380000081
定位损失函数如下所示：
Figure FDA0002522486380000082
置信度损失函数如下所示：
Figure FDA0002522486380000091
其中：
pci表示信号灯状态检测模型计算出来目标物属于每个类的概率；事先对信号灯设置不同的类；
pci’表示通过真实数据计算出来的属于每个类概率；所述真实数据，为事先设置的模型训练数据；
o表示信号灯状态检测模型计算出来目标物检测框的中心坐标坐标点和对应宽度高度四个数据(x,y,w,h)与候选框四个数据的差距；
o’表示信号灯状态检测模型计算出来目标物的检测框的中心坐标坐标点和对应宽度高度四个数据(x,y,w,h)与真实框四个数据的差距；
xi,yi,wi,hi：信号灯状态检测模型计算出来目标物检测框中心坐标坐标点和对应宽度高度四个数据；
Figure FDA0002522486380000092
目标物由人工标出检测框，
Figure FDA0002522486380000093
表示方框对应四个数据，分别为中心点坐标位置
Figure FDA0002522486380000094
和
Figure FDA0002522486380000095
以及检测框的宽度
Figure FDA0002522486380000096
和高度
Figure FDA0002522486380000097
四项数据；
cobj表示信号灯状态检测模型计算出来的目标物在或不在候选框中的置信度；
cobj’表示通过训练样本的标注框与预测框的IOU计算值作为已知的标准置信度；
α、β为预设权重，用来调节对分类损失、定位损失和置信度损失的偏重程度。
CN202010494971.1A 2020-06-03 2020-06-03 一种电路设备状态监测方法和系统 Active CN111723690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010494971.1A CN111723690B (zh) 2020-06-03 2020-06-03 一种电路设备状态监测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010494971.1A CN111723690B (zh) 2020-06-03 2020-06-03 一种电路设备状态监测方法和系统

Publications (2)

Publication Number Publication Date
CN111723690A true CN111723690A (zh) 2020-09-29
CN111723690B CN111723690B (zh) 2023-10-20

Family

ID=72565621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010494971.1A Active CN111723690B (zh) 2020-06-03 2020-06-03 一种电路设备状态监测方法和系统

Country Status (1)

Country Link
CN (1) CN111723690B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944412A (zh) * 2017-12-04 2018-04-20 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路自动识别系统及方法
US20180144203A1 (en) * 2016-11-23 2018-05-24 Ford Global Technologies Llc Traffic-Light Detection and Classification Using Computer Vision and Deep Learning
US20180300880A1 (en) * 2017-04-12 2018-10-18 Here Global B.V. Small object detection from a large image
CN109255286A (zh) * 2018-07-21 2019-01-22 哈尔滨工业大学 一种基于yolo深度学习网络框架的无人机光学快速检测识别方法
CN109447940A (zh) * 2018-08-28 2019-03-08 天津医科大学肿瘤医院 卷积神经网络训练方法、超声图像识别定位方法及系统
CN109446920A (zh) * 2018-09-30 2019-03-08 南京地铁集团有限公司 基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法
CN109978014A (zh) * 2019-03-06 2019-07-05 华南理工大学 一种融合密集连接结构的柔性基板缺陷检测方法
CN110321853A (zh) * 2019-07-05 2019-10-11 杭州巨骐信息科技股份有限公司 基于视频智能检测的分布式电缆防外破系统
CN110532961A (zh) * 2019-08-30 2019-12-03 西安交通大学 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法
CN110633668A (zh) * 2019-09-09 2019-12-31 合肥飞扬机电有限公司 基于二值化卷积神经网络的铁路调车信号灯检测方法及系统
CN110659540A (zh) * 2018-06-29 2020-01-07 北京京东尚科信息技术有限公司 一种交通灯检测方法和装置
US20200065620A1 (en) * 2018-08-24 2020-02-27 Petrochina Company Limited Method and apparatus for automatically recognizing electrical imaging well logging facies
US20200074560A1 (en) * 2018-08-31 2020-03-05 Alibaba Group Holding Limited System and method for optimizing damage detection results
US20200125095A1 (en) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Method and device for ascertaining a state of a vehicle light of a vehicle
US20200133292A1 (en) * 2018-10-26 2020-04-30 Waymo Llc Railroad Light Detection
GB202004253D0 (en) * 2020-03-24 2020-05-06 Daimler Ag A method for associating a traffic light detection for an at least partially autonomous motor vehicle, as well as an assistance system

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144203A1 (en) * 2016-11-23 2018-05-24 Ford Global Technologies Llc Traffic-Light Detection and Classification Using Computer Vision and Deep Learning
US20180300880A1 (en) * 2017-04-12 2018-10-18 Here Global B.V. Small object detection from a large image
CN107944412A (zh) * 2017-12-04 2018-04-20 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路自动识别系统及方法
CN110659540A (zh) * 2018-06-29 2020-01-07 北京京东尚科信息技术有限公司 一种交通灯检测方法和装置
CN109255286A (zh) * 2018-07-21 2019-01-22 哈尔滨工业大学 一种基于yolo深度学习网络框架的无人机光学快速检测识别方法
US20200065620A1 (en) * 2018-08-24 2020-02-27 Petrochina Company Limited Method and apparatus for automatically recognizing electrical imaging well logging facies
CN109447940A (zh) * 2018-08-28 2019-03-08 天津医科大学肿瘤医院 卷积神经网络训练方法、超声图像识别定位方法及系统
US20200074560A1 (en) * 2018-08-31 2020-03-05 Alibaba Group Holding Limited System and method for optimizing damage detection results
CN109446920A (zh) * 2018-09-30 2019-03-08 南京地铁集团有限公司 基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法
US20200125095A1 (en) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Method and device for ascertaining a state of a vehicle light of a vehicle
US20200133292A1 (en) * 2018-10-26 2020-04-30 Waymo Llc Railroad Light Detection
CN109978014A (zh) * 2019-03-06 2019-07-05 华南理工大学 一种融合密集连接结构的柔性基板缺陷检测方法
CN110321853A (zh) * 2019-07-05 2019-10-11 杭州巨骐信息科技股份有限公司 基于视频智能检测的分布式电缆防外破系统
CN110532961A (zh) * 2019-08-30 2019-12-03 西安交通大学 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法
CN110633668A (zh) * 2019-09-09 2019-12-31 合肥飞扬机电有限公司 基于二值化卷积神经网络的铁路调车信号灯检测方法及系统
GB202004253D0 (en) * 2020-03-24 2020-05-06 Daimler Ag A method for associating a traffic light detection for an at least partially autonomous motor vehicle, as well as an assistance system

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
KARSTEN BEHRENDT等: "A Deep Learning Approach to Traffic Lights: Detection, Tracking, and Classification", 《2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》, pages 2 - 4 *
于晓英等: "基于YOLO的铁路侵限异物检测方法", 兰州交通大学学报, vol. 39, no. 02, pages 37 - 42 *
刘明春等: "基于深度学习的变电站巡检机器人 道路场景识别", 科学技术与工程, vol. 19, no. 13, pages 158 - 163 *
刘贺军等: "铁路信号集中监测系统研究", 铁路通信信号工程技术, vol. 10, no. 05, pages 20 - 25 *
姚子兵: "基于卷积神经网络的交通信号灯检测算法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 02, pages 4 - 1 *
姚子兵: "基于改进Faster R-CNN的交通信号灯检测", 《电脑知识与技术》, no. 11, pages 274 - 276 *
李珣等: "基于Darknet框架下YOLO v2算法的车辆多目标检测方法", 交通运输工程学报, vol. 18, no. 06, pages 142 - 158 *
赵爽等: "基于深度学习的无人机航拍车辆检测", 计算机应用, vol. 39, no. 2, pages 91 - 96 *
钱弘毅等: "基于深度学习的交通信号灯快速检测与识别", 《计算机科学》, no. 12, pages 272 - 278 *

Also Published As

Publication number Publication date
CN111723690B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN111259892B (zh) 一种指示灯状态的巡检方法、装置、设备和介质
CN112115927B (zh) 一种基于深度学习的机房设备智能识别方法及系统
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
CN112070134A (zh) 电力设备图像分类方法、装置、电力设备及存储介质
CN111932709A (zh) 一种基于ai识别实现加油站巡检作业违规安全监管的方法
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
CN112131951B (zh) 一种自动化识别施工中违规使用梯子行为的系统
CN115761537B (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN113361539A (zh) 一种井下巡检机器人的仪表读取方法、装置及电子设备
CN111881970A (zh) 一种基于深度学习的外破图像智能识别方法
CN116993681A (zh) 一种变电站巡检缺陷检测方法及系统
CN115169602A (zh) 电力设备的维护方法、装置、存储介质及计算机设备
CN113343998A (zh) 电力机械表计读数监测系统、方法、计算机设备及应用
CN111178198B (zh) 一种基于机器视觉的实验室危险品安全隐患自动监测方法
CN115082813A (zh) 检测方法、无人机、检测系统及介质
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法
CN117498225A (zh) 一种无人机智能电力线路巡检系统
CN111723690B (zh) 一种电路设备状态监测方法和系统
CN115953405A (zh) 一种面向增强现实设备的桥梁裂缝识别方法及装置
CN116664518A (zh) 消防通道门关门器异常检测方法、系统及电子设备
CN116311034A (zh) 一种基于对比检测的机器人巡检系统
CN112508946B (zh) 一种基于对抗神经网络的电缆隧道异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240904

Address after: 100070 courtyard 1, South Road, Automobile Museum, Fengtai Science Park, Fengtai District, Beijing

Patentee after: CRSC RESEARCH & DESIGN INSTITUTE GROUP Co.,Ltd.

Country or region after: China

Patentee after: XI 'AN NATIONAL RAILWAY EQUIPMENT RESEARCH Co.,Ltd.

Address before: 7 / F, block B, No.1 yard, Automobile Museum South Road, Fengtai Science and Technology Park, Fengtai District, Beijing 100070

Patentee before: CRSC RESEARCH & DESIGN INSTITUTE GROUP Co.,Ltd.

Country or region before: China