CN113947731A - 一种基于接触网安全巡检的异物识别方法及系统 - Google Patents

一种基于接触网安全巡检的异物识别方法及系统 Download PDF

Info

Publication number
CN113947731A
CN113947731A CN202111567242.5A CN202111567242A CN113947731A CN 113947731 A CN113947731 A CN 113947731A CN 202111567242 A CN202111567242 A CN 202111567242A CN 113947731 A CN113947731 A CN 113947731A
Authority
CN
China
Prior art keywords
foreign object
image
foreign matter
foreign
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111567242.5A
Other languages
English (en)
Other versions
CN113947731B (zh
Inventor
廖峪
林仁辉
苏茂才
唐泰可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhonggui Track Equipment Co ltd
Original Assignee
Chengdu Zhonggui Track Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhonggui Track Equipment Co ltd filed Critical Chengdu Zhonggui Track Equipment Co ltd
Priority to CN202111567242.5A priority Critical patent/CN113947731B/zh
Publication of CN113947731A publication Critical patent/CN113947731A/zh
Application granted granted Critical
Publication of CN113947731B publication Critical patent/CN113947731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于接触网安全巡检的异物识别方法及系统，包括以下步骤：步骤S1、通过飞行机携带高速相机巡检接触网，由高速相机采集异物目标的运动图像，并将高速相机拍摄运动图像的时间和坐标标记为运动图像的固有属性，步骤S2、在所述异物识别图像识别得到所述异物目标的区域特征以实现在接触网对异物的识别目的，所述区域特征表征为异物目标位于巡检接触网的坐标属性。本发明运用基于CNN‑LSTM混合神经网络训练得到的异物目标预测模型能够实现对在巡检接触网的异物目标进行实时识别、以及追踪拦截，避免进一步扩大异物目标对巡检接触网的破坏程度，在进行接触网异物检测时直接控制拍摄图片质量，从而导致检测精度提高。

Description

一种基于接触网安全巡检的异物识别方法及系统
技术领域
本发明涉及接触网巡检分离技术领域，具体涉及一种基于接触网安全巡检的异物识别方法及系统。
背景技术
高速铁路的接触网作为向电力机车供电的设备，如果附着异物(常见如塑料袋、风筝等轻飘物)会影响对列车的供电，从而威胁到高速铁路的正常运行。目前，我国主要通过如动车组司机操控信息分析系统等的车载摄像头采集并存储铁路沿线的接触网视频图像，但由于其不具有检测识别异物的功能，因此需要检测人员人工观察视频图像数据来对接触网是否附着异物进行排查，这种检测方式耗时费力，且实时性不高。
目前高铁接触网异物检测，接触网异物检测时由于异物运动或飞行器运行导致拍摄过程中难以直接控制拍摄图片质量，从而导致检测精度不可控，同时无法实现追踪和拦截，识别效果不佳。
发明内容
本发明的目的在于提供一种基于接触网安全巡检的异物识别方法及系统，以解决现有技术中接触网异物检测时由于异物运动或飞行器运行导致拍摄过程中难以直接控制拍摄图片质量，从而导致检测精度不可控，同时无法实现追踪和拦截，识别效果不佳的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种基于接触网安全巡检的异物识别方法，包括以下步骤：
步骤S1、通过飞行机携带高速相机巡检接触网，由高速相机采集异物目标的运动图像，并将高速相机拍摄运动图像的时间和坐标标记为运动图像的固有属性，将所述运动图像传输至嵌入式系统进行图像评价得到异物识别图像，再回传至嵌入式系统的地面端进行图像处理；
步骤S2、在所述异物识别图像识别得到所述异物目标的区域特征以实现在接触网对异物的识别目的，所述区域特征表征为异物目标位于巡检接触网的坐标属性；
步骤S3、根据CNN-LSTM混合神经网络对所述异物目标的运动路线进行实时预测，并根据运动路线对所述异物目标进行自动拦截以实现在接触网对异物的拦截目的。
作为本发明的一种优选方案，所述步骤S1中，所述图像评价的具体方法包括：
为运动图像设定质量评价指标，所述质量评价指标包括：图像清晰度和图像信息量，其中，
所述图像清晰度利用Brenner梯度函数进行衡量，所述图像清晰度的评价函数为：
Figure 738186DEST_PATH_IMAGE001
；
式中，
Figure 327430DEST_PATH_IMAGE002
表征为运动图像
Figure 762960DEST_PATH_IMAGE003
的清晰度，t、w表征为运动图像
Figure 689327DEST_PATH_IMAGE004
的时间和坐标，
Figure 175804DEST_PATH_IMAGE005
、
Figure 529425DEST_PATH_IMAGE006
表征为运动图像
Figure 455180DEST_PATH_IMAGE007
中像素点j+1、j的像素值，j表征为像素点区分编号，i表征为运动图像的区分编号，m表征为像素点总数目；
所述图像信息量利用信息熵函数进行衡量，所述图像信息量的评价函数为：
Figure 185238DEST_PATH_IMAGE009
；
式中，
Figure 260642DEST_PATH_IMAGE010
表征为运动图像
Figure 785164DEST_PATH_IMAGE011
的图像信息量，
Figure 195286DEST_PATH_IMAGE012
表征为运动图像所有像素点像素值最大取值255，
Figure 604401DEST_PATH_IMAGE013
表征为运动图像
Figure 658945DEST_PATH_IMAGE014
中像素点像素值为l的出现概率；
基于所述图像清晰度和图像信息量建立对所述运动图像进行质量评价的质量评价函数，所述质量评价函数为：
Figure 744582DEST_PATH_IMAGE016
；
设定质量阈值，其中，
若所述运动图像
Figure 517366DEST_PATH_IMAGE017
的质量评价函数值
Figure 199014DEST_PATH_IMAGE018
高于等于质量阈值，则将运动图像
Figure 373643DEST_PATH_IMAGE019
作为异物识别图像，并标记为
Figure 364602DEST_PATH_IMAGE020
；
若所述运动图像
Figure 624682DEST_PATH_IMAGE021
的质量评价函数值
Figure 110021DEST_PATH_IMAGE022
低于质量阈值，则将运动图像不作为异物识别图像；
将异物识别图像
Figure 139157DEST_PATH_IMAGE023
按时间进行链接为异物识别图像序列。
作为本发明的一种优选方案，所述步骤S1中，所述异物识别图像的图像处理方法包括：
依次计算所述异物识别图像序列中相邻的异物识别图像的相似度，所述相似度的计算公式为：
Figure 563666DEST_PATH_IMAGE025
；
其中，
Figure 45463DEST_PATH_IMAGE026
表征为异物识别图像序列中相邻的异物识别图像
Figure 334493DEST_PATH_IMAGE027
和
Figure 218136DEST_PATH_IMAGE028
的相似度，
Figure 816476DEST_PATH_IMAGE029
，
Figure 785569DEST_PATH_IMAGE030
为相邻的异物识别图像
Figure 612711DEST_PATH_IMAGE031
和
Figure 616439DEST_PATH_IMAGE032
的第j个像素点的像素值，
Figure 385681DEST_PATH_IMAGE033
是
Figure 842070DEST_PATH_IMAGE034
和
Figure 472902DEST_PATH_IMAGE035
的联合概率分布函数，而
Figure 331137DEST_PATH_IMAGE036
和
Figure 271280DEST_PATH_IMAGE038
分别是
Figure 214965DEST_PATH_IMAGE039
和
Figure 649489DEST_PATH_IMAGE040
的边缘概率分布函数；
设定相似度阈值I，其中，
若
Figure 362230DEST_PATH_IMAGE041
，则在异物识别图像序列中将异物识别图像
Figure 210625DEST_PATH_IMAGE042
予以保留；
若
Figure 641606DEST_PATH_IMAGE044
，则在异物识别图像序列中将异物识别图像
Figure 614241DEST_PATH_IMAGE045
予以剔除；
将异物识别图像序列中剩余的异物识别图像作为图像处理后的异物识别图像，以实现对异物识别图像序列进行压缩仅保留表征包含异物运动特征的异物识别图像。
作为本发明的一种优选方案，所述步骤S2中，所述异物目标的区域特征的识别方法：
在经过步骤S1处理后的异物识别图像中提取出异物识别图像固有属性作为所述异物目标的区域特征，标记为
Figure 447068DEST_PATH_IMAGE047
，其中，
Figure 463434DEST_PATH_IMAGE048
表征为异物目标在时间t处的区域特征，且区域特征
Figure 381712DEST_PATH_IMAGE049
表征异物目标在时间t处位于巡检接触网的坐标为w，
Figure 158038DEST_PATH_IMAGE050
、
Figure 579792DEST_PATH_IMAGE051
分别为异物识别图像中时间最小取值和时间最大取值。
作为本发明的一种优选方案，所述异物目标的运动路线的预测方法包括：
将所述异物目标的区域特征
Figure 32639DEST_PATH_IMAGE052
作为训练时间样本运用至所述CNN-LSTM混合神经网络中进行模型训练得到异物目标预测模型，具体方法包括：
将所述训练时间样本中输入CNN卷积神经网络进行区域特征提取，输出区域特征序列，其中，所述CNN卷积神经网络的训练参数设定包括：网络filter设定为128个，激活函数设定为Relu函数，池化处理设定为max-poling模式，dropout概率设定为0.38；
将所述区域特征序列输入值LSTM长短期记忆网络中进行路线预测训练，输出异物目标在未来时间的运动路线，其中，所述LSTM长短期记忆网络的训练参数设定包括：网络层timestep设定为区域特征序列的特征类别数目，训练方式设置为seq2seq的反向传递方式，所述LSTM长短期记忆网络的误差设定为
Figure 313579DEST_PATH_IMAGE054
，其中，
Figure 18229DEST_PATH_IMAGE055
为异物目标在时间t的区域特征，
Figure 684703DEST_PATH_IMAGE056
为异物目标预测模型预测出的异物目标在时间t的区域特征，区域特征
Figure 183818DEST_PATH_IMAGE057
表征异物目标在时间t处位于巡检接触网的坐标为out；
飞行器根据所述异物目标预测模型预测出的异物目标在未来时间的坐标以实现对异物目标的位置追踪。
作为本发明的一种优选方案，所述异物目标预测模型输入为异物目标的区域特征
Figure 686474DEST_PATH_IMAGE058
，输出为异物目标在未来时间
Figure 929237DEST_PATH_IMAGE059
的区域特征
Figure 447287DEST_PATH_IMAGE060
，实现对异物目标的运动路线预测。
作为本发明的一种优选方案，对所述异物目标进行自动拦截的方法包括：
获取异常目标在未来时间
Figure 117303DEST_PATH_IMAGE061
的区域特征
Figure 107256DEST_PATH_IMAGE062
，并控制拦截装置在未来时间
Figure 888130DEST_PATH_IMAGE063
时到达巡检接触网的坐标out处对异物目标进行定点拦截。
作为本发明的一种优选方案，所述像素点的像素为灰度像素。
作为本发明的一种优选方案，本发明提供了一种根据所述的基于接触网安全巡检的异物识别方法的识别系统，包括：
采集模块，用于通过飞行机携带高速相机巡检接触网，由高速相机采集异物目标的运动图像，并将高速相机拍摄运动图像的时间和坐标标记为运动图像的固有属性，将所述运动图像传输至嵌入式系统进行图像评价得到异物识别图像，再回传至嵌入式系统的地面端进行图像处理；
分割模块，用于在所述异物识别图像识别得到所述异物目标的区域特征以实现在接触网对异物的识别目的；
识别模块，用于根据CNN-LSTM混合神经网络对所述异物目标的运动路线进行实时预测，并根据运动路线对所述异物目标进行自动拦截以实现在接触网对异物的拦截目的。
本发明与现有技术相比较具有如下有益效果：
本发明通过飞行器巡检接触网，由高速相机采集异物目标的图像，将所述图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理，该方法是一种精细化的巡检作业模式，提高了工作人员对线网维护保养的效率与精度，为下一步的异物清除提供技术基础，具有较好的适应性和抗干扰能力，且运用基于CNN-LSTM混合神经网络训练得到的异物目标预测模型能够实现对在巡检接触网的异物目标进行实时识别、以及追踪拦截，避免进一步扩大异物目标对巡检接触网的破坏程度，在进行接触网异物检测时直接控制拍摄图片质量，从而导致检测精度提高。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的异物识别方法流程图；
图2为本发明实施例提供的识别系统结构框图。
图中的标号分别表示如下：
1-采集模块；2-分割模块；3-识别模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于接触网安全巡检的异物识别方法，包括以下步骤：
步骤S1、通过飞行机携带高速相机巡检接触网，由高速相机采集异物目标的运动图像，并将高速相机拍摄运动图像的时间和坐标标记为运动图像的固有属性，将运动图像传输至嵌入式系统进行图像评价得到异物识别图像，再回传至嵌入式系统的地面端进行图像处理；
飞行器飞行过程中保持与接触网等高，保持飞行器的高速相机对着接触网方向，沿着接触网方向水平匀速飞行采集接触网上异物目标的相关运动图像；然后基于接触网形态学特征设计了线性模板滤波和分段直方图均衡化处理的图像增强技术；接着，通过概率霍夫直线边缘检测提取接触网形态特征计算图像偏转角度，对图像进行几何变换改进视频图像采集系统的系统位置造成的随机误差，使图像区域里的接触网保持水平。
步骤S1中，图像评价的具体方法包括：
为运动图像设定质量评价指标，质量评价指标包括：图像清晰度和图像信息量，其中，图像清晰度越高，则运动图像中表征异物目标的像素点越清晰，则由运动图像中识别出异物目标的正确率越高；图像信息量越低，则运动图像的像素点越少，则在进行由运动图像中识别出异物目标的计算复杂度越低，即识别出异物目标的效率越高，因此，在筛选运动图像时，期望得到的是清晰度高以及计算复杂度低的运动图像作为异物识别图像，从而可保证异物识别图像在后续识别异物目标的过程中具有高精度和高效率，将运动图像中清晰度高以及计算复杂度低的运动图像作为异物识别图像予以保留，将清晰度低以及计算复杂度高的运动图像进行剔除，实现了对运动图像的第一次有效压缩，保证异物目标检测高精度的同时降低了计算量。
图像清晰度利用Brenner梯度函数进行衡量，图像清晰度的评价函数为：
Figure 529195DEST_PATH_IMAGE065
；
式中，
Figure 370113DEST_PATH_IMAGE066
表征为运动图像
Figure 847361DEST_PATH_IMAGE067
的清晰度，t、w表征为运动图像
Figure 431926DEST_PATH_IMAGE068
的时间和坐标，
Figure 927499DEST_PATH_IMAGE069
、
Figure 939317DEST_PATH_IMAGE070
表征为运动图像
Figure 638283DEST_PATH_IMAGE071
中像素点j+1、j的像素值，j表征为像素点区分编号，i表征为运动图像的区分编号，m表征为像素点总数目；
由于清晰聚焦的图像有着比模糊图像更大的像素值差异，可以将Brenner梯度函数作为清晰度的评价衡量指标，
Figure 26539DEST_PATH_IMAGE072
越大，则图像清晰度越高，清晰度越高会使得在运动图像中识别出异物目标的正确率越高，
Figure 642197DEST_PATH_IMAGE073
越小，则图像清晰度越低，清晰度越低会使得在运动图像中识别出异物目标的正确率越低。
图像信息量利用信息熵函数进行衡量，图像信息量的评价函数为：
Figure 824916DEST_PATH_IMAGE075
；
式中，
Figure 276758DEST_PATH_IMAGE076
表征为运动图像
Figure 203125DEST_PATH_IMAGE077
的图像信息量，
Figure 410640DEST_PATH_IMAGE078
表征为运动图像所有像素点像素值最大取值255，
Figure 29840DEST_PATH_IMAGE079
表征为运动图像
Figure 703398DEST_PATH_IMAGE080
中像素点像素值为l的出现概率；
熵函数是衡量图像信息丰富程度的一个重要指标，有信息论可知，一幅图像的信息量是由该图像的信息熵来度量，根据Shannon信息论，熵最大时信息量最多，将此原理应用到对焦过程，
Figure 433457DEST_PATH_IMAGE081
越大，则运动图像中表征运动目标信息的像素点越丰富，异物目标的细节描述越充分，会使得在运动图像中识别出异物目标的正确率越高，但却识别出异物目标的效率越低，
Figure 492549DEST_PATH_IMAGE082
越小，则运动图像中表征运动目标信息的像素点越匮乏，会使得在运动图像中识别出异物目标的正确率越低，但却识别出异物目标的效率越高。
基于图像清晰度和图像信息量建立对运动图像进行质量评价的质量评价函数，质量评价函数为：
Figure 282650DEST_PATH_IMAGE084
；
设定质量阈值，其中，
若运动图像
Figure 443504DEST_PATH_IMAGE085
的质量评价函数值
Figure 711674DEST_PATH_IMAGE086
高于等于质量阈值，则将运动图像
Figure 890852DEST_PATH_IMAGE087
作为异物识别图像，并标记为
Figure 851855DEST_PATH_IMAGE088
；
若运动图像
Figure 234426DEST_PATH_IMAGE089
的质量评价函数值
Figure 306287DEST_PATH_IMAGE090
低于质量阈值，则将运动图像不作为异物识别图像；
将异物识别图像
Figure 605550DEST_PATH_IMAGE091
按时间进行链接为异物识别图像序列。
利用三个指标
Figure 471875DEST_PATH_IMAGE092
对每个运动图像进行质量评价，其中最高的
Figure 607321DEST_PATH_IMAGE093
值对应的运动图像
Figure 217294DEST_PATH_IMAGE094
筛选出作为异物识别图像，使得异物识别图像具有高清晰度以及低像素信息量，即异物识别图像表征异物目标的清晰且计算量小
步骤S1中，异物识别图像的图像处理方法包括：
依次计算异物识别图像序列中相邻的异物识别图像的相似度，相似度的计算公式为：
Figure 368134DEST_PATH_IMAGE096
；
其中，
Figure 405360DEST_PATH_IMAGE097
表征为异物识别图像序列中相邻的异物识别图像
Figure 28102DEST_PATH_IMAGE098
和
Figure 441766DEST_PATH_IMAGE099
的相似度，
Figure 450042DEST_PATH_IMAGE100
，
Figure 923749DEST_PATH_IMAGE101
为相邻的异物识别图像
Figure 768208DEST_PATH_IMAGE102
和
Figure 719984DEST_PATH_IMAGE103
的第j个像素点的像素值，
Figure 848346DEST_PATH_IMAGE105
是
Figure 227374DEST_PATH_IMAGE106
和
Figure 559130DEST_PATH_IMAGE107
的联合概率分布函数，而
Figure 314596DEST_PATH_IMAGE108
和
Figure 297465DEST_PATH_IMAGE109
分别是
Figure 253919DEST_PATH_IMAGE110
和
Figure 197604DEST_PATH_IMAGE111
的边缘概率分布函数；
设定相似度阈值I，其中，
若
Figure 618746DEST_PATH_IMAGE112
，则在异物识别图像序列中将异物识别图像
Figure 331487DEST_PATH_IMAGE113
予以保留；
若
Figure 193264DEST_PATH_IMAGE114
，则在异物识别图像序列中将异物识别图像
Figure 624245DEST_PATH_IMAGE115
予以剔除；
Figure 846148DEST_PATH_IMAGE116
，是指相邻的异物识别图像
Figure 413396DEST_PATH_IMAGE117
和
Figure 446074DEST_PATH_IMAGE118
的相似度较低，则说明异物识别图像
Figure 364351DEST_PATH_IMAGE119
和
Figure 124366DEST_PATH_IMAGE120
中异物目标出现了运动变化，因此可体现异物目标的运动特征，
Figure 811699DEST_PATH_IMAGE121
，是指相邻的异物识别图像
Figure 15278DEST_PATH_IMAGE122
和
Figure 155273DEST_PATH_IMAGE123
的相似度较高，则说明异物识别图像
Figure 984557DEST_PATH_IMAGE124
和
Figure 526397DEST_PATH_IMAGE125
中异物目标未出现了运动变化，因此只能体现异物目标的静态特征。
将异物识别图像序列中剩余的异物识别图像作为图像处理后的异物识别图像，以实现对异物识别图像序列进行压缩仅保留表征包含异物运动特征的异物识别图像。
由于需要研究的是异物目标的运动特性，因此在异物识别图像序列中体现异物目标静止的异物识别图像不具备研究价值，还会加重计算量，将异物识别图像序列中进行进一步处理将异物识别图像序列中体现异物目标静止的异物识别图像予以剔除，保留表征包含异物运动特征的异物识别图像。
步骤S2、在异物识别图像识别得到异物目标的区域特征以实现在接触网对异物的识别目的，区域特征表征为异物目标位于巡检接触网的坐标属性；
步骤S2中，异物目标的区域特征的识别方法：
在经过步骤S1处理后的异物识别图像中提取出异物识别图像固有属性作为异物目标的区域特征，标记为
Figure 900878DEST_PATH_IMAGE126
，其中，
Figure 528168DEST_PATH_IMAGE127
表征为异物目标在时间t处的区域特征，且区域特征
Figure 650493DEST_PATH_IMAGE128
表征异物目标在时间t处位于巡检接触网的坐标为w，
Figure 312418DEST_PATH_IMAGE129
、
Figure 857800DEST_PATH_IMAGE130
分别为异物识别图像中时间最小取值和时间最大取值。
异物目标的运动路线的预测方法包括：
将异物目标的区域特征
Figure DEST_PATH_IMAGE131
作为训练时间样本运用至CNN-LSTM混合神经网络中进行模型训练得到异物目标预测模型，具体方法包括：
将训练时间样本中输入CNN卷积神经网络进行区域特征提取，输出区域特征序列，其中，CNN卷积神经网络的训练参数设定包括：网络filter设定为128个，激活函数设定为Relu函数，池化处理设定为max-poling模式，dropout概率设定为0.38；
将区域特征序列输入值LSTM长短期记忆网络中进行路线预测训练，输出异物目标在未来时间的运动路线，其中，LSTM长短期记忆网络的训练参数设定包括：网络层timestep设定为区域特征序列的特征类别数目，训练方式设置为seq2seq的反向传递方式，LSTM长短期记忆网络的误差设定为
Figure DEST_PATH_IMAGE133
，其中，
Figure 159338DEST_PATH_IMAGE134
为异物目标在时间t的区域特征，
Figure DEST_PATH_IMAGE135
为异物目标预测模型预测出的异物目标在时间t的区域特征，区域特征
Figure 346736DEST_PATH_IMAGE136
表征异物目标在时间t处位于巡检接触网的坐标为out；
飞行器根据异物目标预测模型预测出的异物目标在未来时间的坐标以实现对异物目标的位置追踪。
异物目标预测模型输入为异物目标的区域特征
Figure DEST_PATH_IMAGE137
，输出为异物目标在未来时间
Figure 518961DEST_PATH_IMAGE138
的区域特征
Figure DEST_PATH_IMAGE139
，实现对异物目标的运动路线预测。
步骤S3、根据CNN-LSTM混合神经网络对异物目标的运动路线进行实时预测，并根据运动路线对异物目标进行自动拦截以实现在接触网对异物的拦截目的。
对异物目标进行自动拦截的方法包括：
获取异常目标在未来时间
Figure 766402DEST_PATH_IMAGE140
的区域特征
Figure DEST_PATH_IMAGE141
，并控制拦截装置在未来时间
Figure 24077DEST_PATH_IMAGE142
时到达巡检接触网的坐标out处对异物目标进行定点拦截，可以实现对在巡检接触网的异物目标进行实时识别、以及追踪拦截，避免进一步扩大异物目标对巡检接触网的破坏程度。
像素点的像素为灰度像素。
如图2所示，基于上述基于接触网安全巡检的异物识别方法，本发明提供了一种识别系统，包括：
采集模块1，用于通过飞行机携带高速相机巡检接触网，由高速相机采集异物目标的运动图像，并将高速相机拍摄运动图像的时间和坐标标记为运动图像的固有属性，将运动图像传输至嵌入式系统进行图像评价得到异物识别图像，再回传至嵌入式系统的地面端进行图像处理；
分割模块2，用于在异物识别图像识别得到异物目标的区域特征以实现在接触网对异物的识别目的；
识别模块3，用于根据CNN-LSTM混合神经网络对异物目标的运动路线进行实时预测，并根据运动路线对异物目标进行自动拦截以实现在接触网对异物的拦截目的。
本发明通过飞行器巡检接触网，由高速相机采集异物目标的图像，将所述图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理，该方法是一种精细化的巡检作业模式，提高了工作人员对线网维护保养的效率与精度，为下一步的异物清除提供技术基础，具有较好的适应性和抗干扰能力，且运用基于CNN-LSTM混合神经网络训练得到的异物目标预测模型能够实现对在巡检接触网的异物目标进行实时识别、以及追踪拦截，避免进一步扩大异物目标对巡检接触网的破坏程度，在进行接触网异物检测时直接控制拍摄图片质量，从而导致检测精度提高。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (9)

1.一种基于接触网安全巡检的异物识别方法，其特征在于，包括以下步骤：
步骤S1、通过飞行机携带高速相机巡检接触网，由高速相机采集异物目标的运动图像，并将高速相机拍摄运动图像的时间和坐标标记为运动图像的固有属性，将所述运动图像传输至嵌入式系统进行图像评价得到异物识别图像，再回传至嵌入式系统的地面端进行图像处理；
步骤S2、在所述异物识别图像识别得到所述异物目标的区域特征以实现在接触网对异物的识别目的，所述区域特征表征为异物目标位于巡检接触网的坐标属性；
步骤S3、根据CNN-LSTM混合神经网络对所述异物目标的运动路线进行实时预测，并根据运动路线对所述异物目标进行自动拦截以实现在接触网对异物的拦截目的。
2.根据权利要求1所述的一种基于接触网安全巡检的异物识别方法，其特征在于：所述步骤S1中，所述图像评价的具体方法包括：
为运动图像设定质量评价指标，所述质量评价指标包括：图像清晰度和图像信息量，其中，
所述图像清晰度利用Brenner梯度函数进行衡量，所述图像清晰度的评价函数为：
Figure DEST_PATH_IMAGE001
；
式中，
Figure 988370DEST_PATH_IMAGE002
表征为运动图像
Figure DEST_PATH_IMAGE003
的清晰度，t、w表征为运动图像
Figure 531347DEST_PATH_IMAGE003
的时间和坐标，
Figure 292629DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
表征为运动图像
Figure 71098DEST_PATH_IMAGE006
中像素点j+1、j的像素值，j表征为像素点区分编号，i表征为运动图像的区分编号，m表征为像素点总数目；
所述图像信息量利用信息熵函数进行衡量，所述图像信息量的评价函数为：
Figure DEST_PATH_IMAGE007
；
式中，
Figure 827702DEST_PATH_IMAGE008
表征为运动图像
Figure DEST_PATH_IMAGE009
的图像信息量，
Figure 541580DEST_PATH_IMAGE010
表征为运动图像所有像素点像素值最大取值255，
Figure DEST_PATH_IMAGE011
表征为运动图像
Figure 649213DEST_PATH_IMAGE012
中像素点像素值为l的出现概率；
基于所述图像清晰度和图像信息量建立对所述运动图像进行质量评价的质量评价函数，所述质量评价函数为：
Figure DEST_PATH_IMAGE013
；
设定质量阈值，其中，
若所述运动图像
Figure 106739DEST_PATH_IMAGE014
的质量评价函数值
Figure DEST_PATH_IMAGE015
高于等于质量阈值，则将运动图像
Figure 449340DEST_PATH_IMAGE016
作为异物识别图像，并标记为
Figure DEST_PATH_IMAGE017
；
若所述运动图像
Figure 599699DEST_PATH_IMAGE018
的质量评价函数值
Figure DEST_PATH_IMAGE019
低于质量阈值，则将运动图像不作为异物识别图像；
将异物识别图像
Figure 663470DEST_PATH_IMAGE020
按时间进行链接为异物识别图像序列。
3.根据权利要求2所述的一种基于接触网安全巡检的异物识别方法，其特征在于：所述步骤S1中，所述异物识别图像的图像处理方法包括：
依次计算所述异物识别图像序列中相邻的异物识别图像的相似度，所述相似度的计算公式为：
Figure DEST_PATH_IMAGE021
；
其中，
Figure 393528DEST_PATH_IMAGE022
表征为异物识别图像序列中相邻的异物识别图像
Figure DEST_PATH_IMAGE023
和
Figure 124724DEST_PATH_IMAGE024
的相似度，
Figure DEST_PATH_IMAGE025
，
Figure 305039DEST_PATH_IMAGE026
为相邻的异物识别图像
Figure DEST_PATH_IMAGE027
和
Figure 856106DEST_PATH_IMAGE028
的第j个像素点的像素值，
Figure DEST_PATH_IMAGE029
是
Figure 392785DEST_PATH_IMAGE030
和
Figure DEST_PATH_IMAGE031
的联合概率分布函数，而
Figure 978487DEST_PATH_IMAGE032
和
Figure DEST_PATH_IMAGE033
分别是
Figure 205069DEST_PATH_IMAGE034
和
Figure DEST_PATH_IMAGE035
的边缘概率分布函数；
设定相似度阈值I，其中，
若
Figure 509011DEST_PATH_IMAGE036
，则在异物识别图像序列中将异物识别图像
Figure DEST_PATH_IMAGE037
予以保留；
若
Figure 705506DEST_PATH_IMAGE038
，则在异物识别图像序列中将异物识别图像
Figure DEST_PATH_IMAGE039
予以剔除；
将异物识别图像序列中剩余的异物识别图像作为图像处理后的异物识别图像，以实现对异物识别图像序列进行压缩仅保留表征包含异物运动特征的异物识别图像。
4.根据权利要求3所述的一种基于接触网安全巡检的异物识别方法，其特征在于：所述步骤S2中，所述异物目标的区域特征的识别方法：
在经过步骤S1处理后的异物识别图像中提取出异物识别图像固有属性作为所述异物目标的区域特征，标记为
Figure 145715DEST_PATH_IMAGE040
，其中，
Figure DEST_PATH_IMAGE041
表征为异物目标在时间t处的区域特征，且区域特征
Figure 543198DEST_PATH_IMAGE041
表征异物目标在时间t处位于巡检接触网的坐标为w，
Figure 475382DEST_PATH_IMAGE042
、
Figure DEST_PATH_IMAGE043
分别为异物识别图像中时间最小取值和时间最大取值。
5.根据权利要求4所述的一种基于接触网安全巡检的异物识别方法，其特征在于：所述异物目标的运动路线的预测方法包括：
将所述异物目标的区域特征
Figure 902601DEST_PATH_IMAGE044
作为训练时间样本运用至所述CNN-LSTM混合神经网络中进行模型训练得到异物目标预测模型，具体方法包括：
将所述训练时间样本中输入CNN卷积神经网络进行区域特征提取，输出区域特征序列，其中，所述CNN卷积神经网络的训练参数设定包括：网络filter设定为128个，激活函数设定为Relu函数，池化处理设定为max-poling模式，dropout概率设定为0.38；
将所述区域特征序列输入值LSTM长短期记忆网络中进行路线预测训练，输出异物目标在未来时间的运动路线，其中，所述LSTM长短期记忆网络的训练参数设定包括：网络层timestep设定为区域特征序列的特征类别数目，训练方式设置为seq2seq的反向传递方式，所述LSTM长短期记忆网络的误差设定为，其中，
Figure DEST_PATH_IMAGE045
为异物目标在时间t的区域特征，
Figure 462895DEST_PATH_IMAGE046
为异物目标预测模型预测出的异物目标在时间t的区域特征，区域特征
Figure DEST_PATH_IMAGE047
表征异物目标在时间t处位于巡检接触网的坐标为out；
飞行器根据所述异物目标预测模型预测出的异物目标在未来时间的坐标以实现对异物目标的位置追踪。
6.根据权利要求5所述的一种基于接触网安全巡检的异物识别方法，其特征在于：所述异物目标预测模型输入为异物目标的区域特征
Figure 890334DEST_PATH_IMAGE048
，输出为异物目标在未来时间
Figure DEST_PATH_IMAGE049
的区域特征
Figure 903289DEST_PATH_IMAGE050
，实现对异物目标的运动路线预测。
7.根据权利要求6所述的一种基于接触网安全巡检的异物识别方法，其特征在于，对所述异物目标进行自动拦截的方法包括：
获取异常目标在未来时间
Figure DEST_PATH_IMAGE051
的区域特征
Figure 848112DEST_PATH_IMAGE052
，并控制拦截装置在未来时间
Figure DEST_PATH_IMAGE053
时到达巡检接触网的坐标out处对异物目标进行定点拦截。
8.根据权利要求7所述的一种基于接触网安全巡检的异物识别方法，其特征在于，所述像素点的像素为灰度像素。
9.一种根据权利要求1-8任一项所述的基于接触网安全巡检的异物识别方法的识别系统，其特征在于，包括：
采集模块（1），用于通过飞行机携带高速相机巡检接触网，由高速相机采集异物目标的运动图像，并将高速相机拍摄运动图像的时间和坐标标记为运动图像的固有属性，将所述运动图像传输至嵌入式系统进行图像评价得到异物识别图像，再回传至嵌入式系统的地面端进行图像处理；
分割模块（2），用于在所述异物识别图像识别得到所述异物目标的区域特征以实现在接触网对异物的识别目的；
识别模块（3），用于根据CNN-LSTM混合神经网络对所述异物目标的运动路线进行实时预测，并根据运动路线对所述异物目标进行自动拦截以实现在接触网对异物的拦截目的。
CN202111567242.5A 2021-12-21 2021-12-21 一种基于接触网安全巡检的异物识别方法及系统 Active CN113947731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111567242.5A CN113947731B (zh) 2021-12-21 2021-12-21 一种基于接触网安全巡检的异物识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111567242.5A CN113947731B (zh) 2021-12-21 2021-12-21 一种基于接触网安全巡检的异物识别方法及系统

Publications (2)

Publication Number Publication Date
CN113947731A true CN113947731A (zh) 2022-01-18
CN113947731B CN113947731B (zh) 2022-07-22

Family

ID=79339471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111567242.5A Active CN113947731B (zh) 2021-12-21 2021-12-21 一种基于接触网安全巡检的异物识别方法及系统

Country Status (1)

Country Link
CN (1) CN113947731B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462646A (zh) * 2022-03-15 2022-05-10 成都中轨轨道设备有限公司 一种基于接触网安全巡检的杆号牌识别方法及系统
CN115100519A (zh) * 2022-06-23 2022-09-23 郑州儒慧信息技术有限责任公司 一种识别高铁沿线隐患物的方法
CN115311354A (zh) * 2022-09-20 2022-11-08 中国铁建电气化局集团有限公司 异物风险区域的识别方法、装置、设备及存储介质
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统
CN117218743A (zh) * 2023-11-07 2023-12-12 诺比侃人工智能科技(成都)股份有限公司 基于机器视觉的智能巡检控制方法及系统
CN117292212A (zh) * 2023-11-27 2023-12-26 太原理工大学 一种刮板输送机的异物识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180143281A1 (en) * 2016-11-22 2018-05-24 Hyperfine Research, Inc. Systems and methods for automated detection in magnetic resonance images
CN109164443A (zh) * 2018-08-27 2019-01-08 南京微达电子科技有限公司 基于雷达及图像分析的铁路线路异物检测方法及系统
CN109285309A (zh) * 2018-09-30 2019-01-29 国网黑龙江省电力有限公司电力科学研究院 一种基于输电系统的侵入目标实时检测系统
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法
CN111079740A (zh) * 2019-12-02 2020-04-28 咪咕文化科技有限公司 图像的质量评价方法、电子设备和计算机可读存储介质
US20200320403A1 (en) * 2019-04-08 2020-10-08 Intel Corporation Mechanism to perform non-linear functions in a machine learning accelerator
CN112329584A (zh) * 2020-10-29 2021-02-05 深圳技术大学 基于机器视觉自动识别电网异物的方法及系统、设备
CN113534276A (zh) * 2021-07-12 2021-10-22 西安电子科技大学 基于Faster R-CNN的铁路入侵行为检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180143281A1 (en) * 2016-11-22 2018-05-24 Hyperfine Research, Inc. Systems and methods for automated detection in magnetic resonance images
CN109983474A (zh) * 2016-11-22 2019-07-05 海珀菲纳研究股份有限公司 用于磁共振图像中的自动检测的系统和方法
CN109164443A (zh) * 2018-08-27 2019-01-08 南京微达电子科技有限公司 基于雷达及图像分析的铁路线路异物检测方法及系统
CN109285309A (zh) * 2018-09-30 2019-01-29 国网黑龙江省电力有限公司电力科学研究院 一种基于输电系统的侵入目标实时检测系统
US20200320403A1 (en) * 2019-04-08 2020-10-08 Intel Corporation Mechanism to perform non-linear functions in a machine learning accelerator
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法
CN111079740A (zh) * 2019-12-02 2020-04-28 咪咕文化科技有限公司 图像的质量评价方法、电子设备和计算机可读存储介质
CN112329584A (zh) * 2020-10-29 2021-02-05 深圳技术大学 基于机器视觉自动识别电网异物的方法及系统、设备
CN113534276A (zh) * 2021-07-12 2021-10-22 西安电子科技大学 基于Faster R-CNN的铁路入侵行为检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
OMAIR GHORI等: ""Learning to Forecast Pedestrian Intention from Pose Dynamics"", 《IEEE》 *
严鹏等: ""图像智能识别技术在高速铁路基础设施检测中的应用"", 《中国铁路》 *
代先星: ""高速铁路扣件缺陷三维检测系统集成与识别算法"", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *
封博卿等: ""基于时空大数据的高速铁路接触网鸟巢病害分析"", 《中国铁路》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462646A (zh) * 2022-03-15 2022-05-10 成都中轨轨道设备有限公司 一种基于接触网安全巡检的杆号牌识别方法及系统
CN114462646B (zh) * 2022-03-15 2022-11-15 成都中轨轨道设备有限公司 一种基于接触网安全巡检的杆号牌识别方法及系统
CN115100519A (zh) * 2022-06-23 2022-09-23 郑州儒慧信息技术有限责任公司 一种识别高铁沿线隐患物的方法
CN115100519B (zh) * 2022-06-23 2024-04-26 郑州儒慧信息技术有限责任公司 一种识别高铁沿线隐患物的方法
CN115311354A (zh) * 2022-09-20 2022-11-08 中国铁建电气化局集团有限公司 异物风险区域的识别方法、装置、设备及存储介质
CN115311354B (zh) * 2022-09-20 2024-01-23 中国铁建电气化局集团有限公司 异物风险区域的识别方法、装置、设备及存储介质
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统
CN116953680B (zh) * 2023-09-15 2023-11-24 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统
CN117218743A (zh) * 2023-11-07 2023-12-12 诺比侃人工智能科技(成都)股份有限公司 基于机器视觉的智能巡检控制方法及系统
CN117218743B (zh) * 2023-11-07 2024-02-09 诺比侃人工智能科技(成都)股份有限公司 基于机器视觉的智能巡检控制方法及系统
CN117292212A (zh) * 2023-11-27 2023-12-26 太原理工大学 一种刮板输送机的异物识别方法

Also Published As

Publication number Publication date
CN113947731B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN113947731B (zh) 一种基于接触网安全巡检的异物识别方法及系统
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别系统
CN102759347B (zh) 一种高铁接触网在线巡检装置、巡检方法以及其检测系统
CN104637058B (zh) 一种基于图像信息的客流量识别统计方法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN103745224B (zh) 基于图像的铁路接触网鸟窝异常情况检测方法
CN109489724B (zh) 一种隧道列车安全运行环境综合检测装置及检测方法
CN106991668B (zh) 一种天网摄像头拍摄画面的评价方法
CN104392224A (zh) 一种公路路面裂纹检测方法
CN109145708A (zh) 一种基于rgb和d信息融合的人流量统计方法
CN111768417B (zh) 基于单目视觉3d重建技术的铁路货车超限检测方法
CN111640135A (zh) 一种基于硬件前端的tof摄像头行人计数方法
CN115719475B (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN113788051A (zh) 列车在站运行状态监测分析系统
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法
CN105447463B (zh) 变电站基于人体特征识别的跨摄像机自动跟踪系统
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN113487570A (zh) 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法
CN111582334A (zh) 结合YOLOv3和SENet的高速铁路接触网图像识别方法
CN115359306A (zh) 一种铁路货检高清图像智能识别方法和系统
CN114724091A (zh) 一种输电线路导线异物识别方法及装置
Yang et al. Defect detection of axle box cover device fixing bolts in metro based on convolutional neural network
CN111160224B (zh) 一种基于fpga和地平线分割的高铁接触网异物检测系统及方法
CN105404891A (zh) 一种室外设施巡检方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant