CN115272830A - 一种基于深度学习的受电弓异物检测方法 - Google Patents

一种基于深度学习的受电弓异物检测方法 Download PDF

Info

Publication number
CN115272830A
CN115272830A CN202211040165.2A CN202211040165A CN115272830A CN 115272830 A CN115272830 A CN 115272830A CN 202211040165 A CN202211040165 A CN 202211040165A CN 115272830 A CN115272830 A CN 115272830A
Authority
CN
China
Prior art keywords
pantograph
loss
deep learning
foreign matter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211040165.2A
Other languages
English (en)
Inventor
赵进
郭寅
尹仕斌
郭磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isvision Hangzhou Technology Co Ltd
Original Assignee
Isvision Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isvision Hangzhou Technology Co Ltd filed Critical Isvision Hangzhou Technology Co Ltd
Priority to CN202211040165.2A priority Critical patent/CN115272830A/zh
Publication of CN115272830A publication Critical patent/CN115272830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的受电弓异物检测方法，先训练受电弓异物检测模型：获取正常状态下的多张受电弓图像，对每张图像进行预处理；将局部区域进行卷积处理，得到特征向量；全连接层对各个特征向量进行级联和维度变换，输出局部区域对应的三维特征向量，将其记为空间坐标；计算损失函数并判断其是否小于阈值A，若是，则保存网络参数，完成模型训练；若否，以损失函数作为目标函数，利用最优化方法迭代出优化后的深度学习模型，保存网络参数，完成模型训练；再利用训练好的模型对实际采集到的受电弓图像进行异物检测判断当前受电弓是否被异物遮挡，本方法能够准确识别到受电弓图像中的异常，有效提高了列车运维的安全性和经济性。

Description

一种基于深度学习的受电弓异物检测方法
技术领域
本发明涉及列车受电弓检测领域，具体涉及一种基于深度学习的受电弓异物检测方法。
背景技术
近年来，我国铁路发展迅速，铁路是人们出行的主要交通方式之一，其运行安全受到广泛的关注，对铁路运输安全管理提出了更高的要求。其中，受电弓的异常情况一直是安全运输的关注重点，当受电弓被异物入侵(塑料袋、孔明灯、树枝等)时，会引起受电弓卡网、拉网、线路起火等故障，为此，一旦受电弓出现异物入侵状态异常时，需要立即停驶检修整顿，保障列车的安全行驶。由于受电弓位于列车车顶，为了查看其是否状态异常，检修人员需要登顶，检测难度较大，并且受电弓被异物入侵，具有随机性强、情况复杂等特点。
传统受电弓异物检测方法为人工登顶配合车顶视频录像进行检查。人工登顶检测受电弓关键区域耗费大量人力并且存在安全隐患；车顶视频录像，依靠人工观察，易产生视觉疲劳，导致漏检。现有技术中还存在以下方法：
文献CN202011266814.1提出了一种变电站入侵异物实时检测方法，其基于改进的Yolo网络模型，进行深度学习检测；文献CN112733771A提出了一种铁路列车跨接异物故障识别方法及系统，其基于Faster-RCNN的训练模型实现对异物的识别检测。以上两种方法属于监督型学习模型，需要获取到一定数据量的存在异物入侵图像，才能够保障训练模型的准确性，但是，在实际列车运行场景中，受电弓发生异物入侵的概率比较低，样本数量有限，难以在短时间内完成模型训练，导致以上方法可实施性不佳，难以推广应用。
文献CN201510996377.1提出了一种基于异物入侵安全防控装置的位置检测方法，其通过分析激光检测信号波形进行异物检测，该检测方法对激光有较强依赖，系统复杂度较高。
文献CN202010245745.X提出了一种隧道异物入侵识别与定位方法及装置其基于声波特征信号在隧道中进行异物检测，该方法应用仅局限在隧道中，需要采集隧道壁反射信号，如果在户外空旷环境中，无法获取声波反射，该方法即失效。
文献CN111626207B提出了一种基于图像处理的列车前方异物入侵检测方法及系统，该方法在列车前方安装监控相机，通过对比监控相机实时图像与无异物入侵图像的相似度来判断异物入侵。该方法适用于列车前方轨道较为简单场景的检测，能够检测大型石块、孔明灯等异物，但检测尺寸较小的异物时，效果欠佳，容易漏检、误判。
发明内容
为了解决上述技术问题，本发明提供一种基于深度学习的受电弓异物检测方法，本方法只需采集少量正常状态下的受电弓样本图像，无需大量样本积累，依据正常样本就可以快速训练出神经网络模型，将空间距离损失losscenter、相关性损失lossrelation作为损失函数进行最优化迭代，得出参数合理的深度学习模型，该模型能够准确识别到受电弓图像中的异常，对于尺寸较小的异物也可以精准检测到，具有训练速度快、识别准确率高、误检率低的特点，有效提高了列车运维的安全性和经济性。
技术方案如下：
一种基于深度学习的受电弓异物检测方法，利用以下步骤训练受电弓异物检测模型：
S1、获取正常状态下的多张受电弓图像，对每张图像分别进行预处理；
所述预处理包括：在单张受电弓图像中提取碳滑板感兴趣区域，将碳滑板感兴趣区域缩放到预设尺寸，沿碳滑板的长度方向，将碳滑板感兴趣区域分割成M个局部区域；
S2、将单个局部区域等分成N个分块区域，在深度学习模型的卷积层中进行卷积处理，得到每个分块区域对应的特征向量；
全连接层对各个特征向量进行级联和维度变换，输出该局部区域对应的三维特征向量，并将其记为空间坐标；
遍历各个局部区域，采用相同的处理，获得各个空间坐标；
S3、计算损失函数losstotal
losstotal＝losscenter+lossrelation
其中，空间距离损失，记为：losscenter，表示各个空间坐标与预设的空间坐标原点之间的欧式距离之和；
相关性损失，记为：lossrelation，表示所有局部区域对应的相关性系数之和；其中，单个局部区域的相关性系数为：遍历各个分块区域，分别以当前遍历的分块区域为中心区域、计算P邻域中的各个邻域分块区域与中心区域的特征向量之差，将所有差值累加求和记为该局部区域的相关性系数；
S4、判断损失函数losstotal是否小于阈值A，若是，则保存当前模型中的网络参数，完成模型训练；
若否，则以损失函数losstotal作为目标函数，利用最优化方法迭代求解出losstotal值小于阈值A或者losstotal极小值时对应的深度学习模型，保存该模型的网络参数，完成模型训练；
根据以下步骤，利用训练好的深度学习模型对实际采集到的受电弓图像进行异物检测：
对实际采集到的受电弓图像预处理，得到M个局部区域，将各个局部区域分别输入到训练好的深度学习模型中，模型输出该受电弓图像对应的M个空间坐标，分别计算每个空间坐标与预设的空间坐标原点之间的欧式距离，若各个欧式距离值均小于预设阈值R，则当前受电弓未被异物遮挡，否则，被遮挡。
进一步，所述预设的空间坐标原点为预先设置的任意三维坐标点；
预设阈值R取值为：单个分块区域的短边和长边均值的平方根；
或者：预设阈值R取值为30～100mm；
阈值A＝h×M×G×预设阈值R，其中，h表示比例系数，取值1.5～3，M表示单个碳滑板感兴趣区域中局部区域的总数，G表示步骤S1中获取正常状态下受电弓图像总张数。
优选，步骤S1中获取正常状态下的多张受电弓图像的相机视角与实际异物检测时采集受电弓图像时的相机视角保持一致。
优选，用于采集受电弓图像的相机架设在列车车顶的上方；
所述碳滑板感兴趣区域中仅包含单个碳滑板。
优选，步骤S1中，获取正常状态下的15～100张受电弓图像，其中包含有不同型号的受电弓；对受电弓图像进行旋转、缩放，扩充样本的数量，再对各张图像进行预处理。
优选，M、N和P为预设值，2≤M≤12，16≤N≤128，8≤P≤32。
优选，所述局部区域的长边能被短边整除，在步骤S2中，通过以下方法，将单个局部区域等分成N个分块区域：
作C条垂直于局部区域长边方向的分割线，将局部区域划分成C个正方形子图像区域；C＝长边尺寸/短边尺寸；
再分别将每个正方形子图像区域分别等分成多个方形的分块区域。
进一步，深度学习模型为VGG卷积神经网络模型、MobileNet轻量级卷积神经网络或者ResNets残差网络；
步骤S1中，碳滑板感兴趣区域的提取方法为基于NCC的灰度模板匹配方法或基于边缘梯度的模板匹配方法；
步骤S4中，最优化方法为梯度下降法或牛顿法。
进一步，空间距离损失losscenter计算方式如下：
Figure BDA0003819934060000051
其中，(xi,yi,zi)表示第i个局部区域得出的空间坐标，(X0,Y0,Z0)表示预先定义的空间坐标原点，G表示步骤S1中获取正常状态下受电弓图像总张数，运算符‖‖2表示求取二范数。
进一步，相关性损失lossrelation计算方式如下：
Figure BDA0003819934060000052
其中，Vij表示第i个局部区域中的第j个分块区域在对应的特征向量，Vijk表示以Vij为中心区域的P邻域内第k个分块区域中对应的特征向量，G表示步骤S1中获取正常状态下受电弓图像总张数，运算符‖‖2表示求取二范数。
与现有的技术相比，本发明具有以下特点：
1)本方法利用了正常状态下的受电弓样本图像，成像重复性高的属性，参与训练的局部区域中均没有异物，所以各个局部图像应该具备较高的相似性、一致性，本方法将这一属性抽象为空间距离损失losscenter，另模型输出3个特征值，并将其定义为空间坐标X、Y、Z，正常样本对应的特征值应该收敛在以空间坐标原点为球心的空间球体内部，通过计算各个空间坐标与预设的空间坐标原点之间的欧式距离之和作为空间距离损失losscenter，参与最优化迭代，使得模型参数合理；
此外，局部图像中的各个分块区域的特征具备图像特征的关联性，本方法将这一属性抽象为相关性损失lossrelation；另模型的卷积层根据中心分块区域的P邻域卷积，遍历各个分块区域，分别以当前遍历的分块区域为中心区域、计算P邻域中的各个邻域分块区域与中心区域的特征向量之差；将所有差值累加求和记为该局部区域的相关性系数；将所有局部区域对应的相关性系数之和记为相关性损失lossrelation；参与最优化迭代，进一步优化模型参数。
2)本方法仅需要受电弓区域图像成像数据，无需激光、声波等传感信号辅助；仅需要少量正常状态下的受电弓样本图像，无需大量样本积累，现有方法中的深度学习模型通常需要上万张训练图像才能准确识别缺陷、异物，本方法仅需要几十张正常状态下的图像样本作为训练图像即可，无需大量样本采集，在异物入侵图像样本缺乏的情况下依然能够有效识别异物图像，训练时间短、鲁棒性强、可实施性高、检测精度高。
附图说明
图1为具体实施方式中正常状态下的受电弓原始图像；
图2为具体实施方式中存在异物(手套)的受电弓原始图像；
图3为具体实施方式中存在异物(螺丝刀)的受电弓原始图像；
图4为具体实施方式中碳滑板感兴趣区域及局部区域示意图；
图5为具体实施方式中局部区域在深度学习模型中处理的结构示意图；
图6为具体实施方式中计算相关性损失时中心区域及其20邻域示意图。
具体实施方式
以下结合附图和具体实施方式对本发明的技术方案进行详细描述。
一种基于深度学习的受电弓异物检测方法，利用以下步骤训练受电弓异物检测模型：
S1、获取正常状态下的多张受电弓图像，对每张图像分别进行预处理；
预处理包括：在单张受电弓图像中提取碳滑板感兴趣区域，将碳滑板感兴趣区域缩放到预设尺寸，沿碳滑板的长度方向，将碳滑板感兴趣区域分割成M个局部区域，2≤M≤12；
本实施例在处理图像时，如图4所示，碳滑板感兴趣区域中仅包含单个碳滑板，M＝5；
作为一种优选的实施方式，获取正常状态下的15～100张受电弓图像，其中包含有不同型号的受电弓；对受电弓图像进行旋转、缩放，扩充样本的数量，再对各张图像进行预处理。
碳滑板感兴趣区域的提取方法为：基于NCC的灰度模板匹配方法或基于边缘梯度的模板匹配方法；
S2、如图5所示，将单个局部区域等分成N个分块区域，在深度学习模型的卷积层中进行卷积处理，得到每个分块区域对应的特征向量；其中，16≤N≤128；
全连接层对各个特征向量进行级联和维度变换，输出该局部区域对应的三维特征向量(转化为3维笛卡尔坐标系空间特征)，并将其记为空间坐标；
遍历各个局部区域，采用相同的处理，获得各个空间坐标；
S3、计算损失函数losstotal
losstotal＝losscenter+lossrelation
其中，空间距离损失，记为：losscenter，表示各个空间坐标与预设的空间坐标原点之间的欧式距离之和；
由于正常状态下的受电弓样本图像，成像重复性高的属性，参与训练的局部区域中均没有异物，所以各个局部图像应该具备较高的相似性、一致性，本方法将这一属性抽象为空间距离损失losscenter，令模型输出3个特征值，并将其定义为空间坐标X、Y、Z，如图5所示，正常样本对应的特征值应该收敛在以空间坐标原点为球心的空间球体内部(如设置空间坐标原点(0，0,0)半径阈值R＝50)，通过计算各个空间坐标与预设的空间坐标原点之间的欧式距离之和作为空间距离损失losscenter，参与最优化迭代，使得模型参数合理；
更具体的，相关性损失，记为：lossrelation，表示所有局部区域对应的相关性系数之和；其中，单个局部区域的相关性系数为：遍历各个分块区域，分别以当前遍历的分块区域为中心区域、计算P邻域中的各个邻域分块区域与中心区域的特征向量之差，将所有差值累加求和记为该局部区域的相关性系数；8≤P≤32；本实施例中，如图6所示，P＝20。
空间距离损失losscenter计算方式如下：
Figure BDA0003819934060000091
其中，(xi,yi,zi)表示第i个局部区域得出的空间坐标，(X0,Y0,Z0)表示预先定义的空间坐标原点，G表示步骤S1中获取正常状态下受电弓图像总张数(本实施例中，G＝30张，M＝5个)，运算符‖‖2表示求取二范数。
相关性损失lossrelation计算方式如下：
Figure BDA0003819934060000092
其中，Vij表示第i个局部区域中的第j个分块区域在对应的特征向量，Vijk表示以Vij为中心区域的P邻域内第k个分块区域中对应的特征向量，G表示步骤S1中获取正常状态下受电弓图像总张数，运算符‖‖2表示求取二范数。
由于局部图像中的各个分块区域的特征具备图像特征的关联性，本方法将这一属性抽象为相关性损失lossrelation；另模型的卷积层根据中心分块区域的P邻域卷积，遍历各个分块区域，分别以当前遍历的分块区域为中心区域、计算P邻域中的各个邻域分块区域与中心区域的特征向量之差；将所有差值累加求和记为该局部区域的相关性系数；将所有局部区域对应的相关性系数之和记为相关性损失lossrelation、参与最优化迭代，进一步优化模型参数。
S4、判断损失函数losstotal是否小于阈值A，若是，则保存当前模型中的网络参数，完成模型训练；
若否，则以损失函数losstotal作为目标函数，利用最优化方法(梯度下降法或牛顿法)迭代求解出losstotal值小于阈值A或者losstotal极小值时对应的深度学习模型，保存该模型的网络参数，完成模型训练。
应当知晓的是，若在迭代终止时，losstotal极小值大于阈值A，则需要增大M、N值，或者在S1中增加正常状态下的受电弓图像数量；重新进行S1，再次模型训练；
根据深度学习模型的常规训练过程，在开始训练模型之前，预先设置模型的网络参数权重值Wk和偏置值bk的初值，k＝1～t，t根据核函数卷积神经网络层数和卷积核大小决定，预设的初值可以设置为随机数或其他预训练经验值；
在训练过程中，通过前向传播计算深度学习模型输出结果与预期结果的偏离程度，并通过反向传播迭代优化S1中的参数权重值Wk和偏置值bk；保存优化得出的模型参数权重值Wk和偏置值bk，完成模型训练。
以上步骤为受电弓异物检测深度学习模型训练过程，当模型训练完成后，根据以下步骤，利用训练好的深度学习模型对实际采集到的受电弓图像进行异物检测：
对实际采集到的受电弓图像预处理，得到M个局部区域，将各个局部区域分别输入到训练好的深度学习模型中，模型输出该受电弓图像对应的M个空间坐标，分别计算每个空间坐标与预设的空间坐标原点之间的欧式距离，若各个欧式距离值均小于预设阈值R，则当前受电弓未被异物遮挡，否则，被遮挡。
其中，预设的空间坐标原点为预先设置的任意三维坐标点；为了便于解算，本实施例中，空间坐标原点设置为(0,0,0)实际使用时也可以设置为(1,1,1)、(1,1,2)等，空间坐标原点一经设置，在训练过程中以及实际检测时，均保持不变。
具体实施时，预设阈值R取值为：单个分块区域的短边和长边均值的平方根；或者：预设阈值R取值为经验值30～100mm；
阈值A＝h×M×G×预设阈值R，其中，h表示比例系数，取值1.5～3，M表示单个碳滑板感兴趣区域中局部区域的总数，G表示步骤S1中获取正常状态下受电弓图像总张数。
本实施例中，受电弓视觉检测设备安装在列车停车场附近轨道咽喉处的检测棚，受电弓视觉检测设备设置在车顶上方，用于采集即将发车/停车的列车车顶受电弓图像，如图1为无异物、正常状态下的受电弓图像，图2为工作人员遗留手套，造成异物存在的异常状态受电弓图像；图3为工作人员遗留螺丝刀，造成异物存在的异常状态受电弓图像；
作为一种优选的实施方式，S1中获取正常状态下的多张受电弓图像的相机视角与实际异物检测时采集受电弓图像时的相机视角保持一致。
局部区域的长边能被短边整除，在步骤S2中，通过以下方法，将单个局部区域等分成N个分块区域：
作C条垂直于局部区域长边方向的分割线，将局部区域划分成C个正方形子图像区域；C＝长边尺寸/短边尺寸；
再分别将每个正方形子图像区域分别等分成多个方形的分块区域。
其中，深度学习模型为VGG卷积神经网络模型、MobileNet轻量级卷积神经网络或者ResNets残差网络；如：VGG16、VGG19、ResNet18，本实施例中，选择VGG16卷积网络模型，其由13个卷积层、5个池化层和3个全连接层组成。
前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (10)

1.一种基于深度学习的受电弓异物检测方法，其特征在于，利用以下步骤训练受电弓异物检测模型：
S1、获取正常状态下的多张受电弓图像，对每张图像分别进行预处理；
所述预处理包括：在单张受电弓图像中提取碳滑板感兴趣区域，将碳滑板感兴趣区域缩放到预设尺寸，沿碳滑板的长度方向，将碳滑板感兴趣区域分割成M个局部区域；
S2、将单个局部区域等分成N个分块区域，在深度学习模型的卷积层中进行卷积处理，得到每个分块区域对应的特征向量；
全连接层对各个特征向量进行级联和维度变换，输出该局部区域对应的三维特征向量，并将其记为空间坐标；
遍历各个局部区域，采用相同的处理，获得各个空间坐标；
S3、计算损失函数losstotal
losstotal＝losscenter+lossrelation
其中，空间距离损失，记为：losscenter，表示各个空间坐标与预设的空间坐标原点之间的欧式距离之和；
相关性损失，记为：lossrelation，表示所有局部区域对应的相关性系数之和；其中，单个局部区域的相关性系数为：遍历各个分块区域，分别以当前遍历的分块区域为中心区域、计算P邻域中的各个邻域分块区域与中心区域的特征向量之差，将所有差值累加求和记为该局部区域的相关性系数；
S4、判断损失函数losstotal是否小于阈值A，若是，则保存当前模型中的网络参数，完成模型训练；
若否，则以损失函数losstotal作为目标函数，利用最优化方法迭代求解出losstotal值小于阈值A或者losstotal极小值时对应的深度学习模型，保存该模型的网络参数，完成模型训练；
根据以下步骤，利用训练好的深度学习模型对实际采集到的受电弓图像进行异物检测：
对实际采集到的受电弓图像预处理，得到M个局部区域，将各个局部区域分别输入到训练好的深度学习模型中，模型输出该受电弓图像对应的M个空间坐标，分别计算每个空间坐标与预设的空间坐标原点之间的欧式距离，若各个欧式距离值均小于预设阈值R，则当前受电弓未被异物遮挡，否则，被遮挡。
2.如权利要求1所述基于深度学习的受电弓异物检测方法，其特征在于：所述预设的空间坐标原点为预先设置的任意三维坐标点；
预设阈值R取值为：单个分块区域的短边和长边均值的平方根；
或者：预设阈值R取值为30～100mm；
阈值A＝h×M×G×预设阈值R，其中，h表示比例系数，取值1.5～3，M表示单个碳滑板感兴趣区域中局部区域的总数，G表示步骤S1中获取正常状态下受电弓图像总张数。
3.如权利要求1所述基于深度学习的受电弓异物检测方法，其特征在于：步骤S1中获取正常状态下的多张受电弓图像的相机视角与实际异物检测时采集受电弓图像时的相机视角保持一致。
4.如权利要求1或3所述基于深度学习的受电弓异物检测方法，其特征在于：用于采集受电弓图像的相机架设在列车车顶的上方；
所述碳滑板感兴趣区域中仅包含单个碳滑板。
5.如权利要求1所述基于深度学习的受电弓异物检测方法，其特征在于：步骤S1中，获取正常状态下的15～100张受电弓图像，其中包含有不同型号的受电弓；对受电弓图像进行旋转、缩放，扩充样本的数量，再对各张图像进行预处理。
6.如权利要求1所述基于深度学习的受电弓异物检测方法，其特征在于：M、N和P为预设值，2≤M≤12，16≤N≤128，8≤P≤32。
7.如权利要求1所述基于深度学习的受电弓异物检测方法，其特征在于：所述局部区域的长边能被短边整除，在步骤S2中，通过以下方法，将单个局部区域等分成N个分块区域：
作C条垂直于局部区域长边方向的分割线，将局部区域划分成C个正方形子图像区域；C＝长边尺寸/短边尺寸；
再分别将每个正方形子图像区域分别等分成多个方形的分块区域。
8.如权利要求1所述基于深度学习的受电弓异物检测方法，其特征在于：深度学习模型为VGG卷积神经网络模型、MobileNet轻量级卷积神经网络或者ResNets残差网络；
步骤S1中，碳滑板感兴趣区域的提取方法为基于NCC的灰度模板匹配方法或基于边缘梯度的模板匹配方法；
步骤S4中，最优化方法为梯度下降法或牛顿法。
9.如权利要求1所述基于深度学习的受电弓异物检测方法，其特征在于：空间距离损失losscenter计算方式如下：
Figure FDA0003819934050000031
其中，(xi,yi,zi)表示第i个局部区域得出的空间坐标，(X0,Y0,Z0)表示预先定义的空间坐标原点，G表示步骤S1中获取正常状态下受电弓图像总张数，运算符‖‖2表示求取二范数。
10.如权利要求1所述基于深度学习的受电弓异物检测方法，其特征在于：相关性损失lossrelation计算方式如下：
Figure FDA0003819934050000041
其中，Vij表示第i个局部区域中的第j个分块区域在对应的特征向量，Vijk表示以Vij为中心区域的P邻域内第k个分块区域中对应的特征向量，G表示步骤S1中获取正常状态下受电弓图像总张数，运算符‖‖2表示求取二范数。
CN202211040165.2A 2022-08-29 2022-08-29 一种基于深度学习的受电弓异物检测方法 Pending CN115272830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211040165.2A CN115272830A (zh) 2022-08-29 2022-08-29 一种基于深度学习的受电弓异物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211040165.2A CN115272830A (zh) 2022-08-29 2022-08-29 一种基于深度学习的受电弓异物检测方法

Publications (1)

Publication Number Publication Date
CN115272830A true CN115272830A (zh) 2022-11-01

Family

ID=83753966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211040165.2A Pending CN115272830A (zh) 2022-08-29 2022-08-29 一种基于深度学习的受电弓异物检测方法

Country Status (1)

Country Link
CN (1) CN115272830A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953418A (zh) * 2023-02-01 2023-04-11 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备
CN117172967A (zh) * 2023-08-11 2023-12-05 广州市抖品品牌管理有限公司 一种企业品牌宣传服务管理系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953418A (zh) * 2023-02-01 2023-04-11 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备
CN115953418B (zh) * 2023-02-01 2023-11-07 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备
CN117172967A (zh) * 2023-08-11 2023-12-05 广州市抖品品牌管理有限公司 一种企业品牌宣传服务管理系统

Similar Documents

Publication Publication Date Title
KR102008973B1 (ko) 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법
US10269138B2 (en) UAV inspection method for power line based on human visual system
CN115272830A (zh) 一种基于深度学习的受电弓异物检测方法
CN110598736A (zh) 一种电力设备红外图像故障定位、识别与预测方法
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN113284109B (zh) 管道缺陷识别方法、装置、终端设备及存储介质
CN116664558B (zh) 一种钢铁表面缺陷检测方法、系统及计算机设备
CN111209832B (zh) 变电站巡检机器人辅助避障训练方法、设备及介质
CN108711148A (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN103745238A (zh) 基于AdaBoost和主动形状模型的受电弓识别方法
CN115830407A (zh) 一种基于yolov4目标检测模型的电缆管线故障判别算法
CN114973116A (zh) 一种自注意力特征嵌入夜间机场跑道异物检测方法与系统
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN109145752A (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
CN111783751A (zh) 基于枪球联动与bim的养殖舍仔猪异常预警方法
Zhang et al. Detection of blades damages in aero engine
Katrojwar et al. Design of Image based Analysis and Classification using Unmanned Aerial Vehicle
Ghamisi et al. Anomaly detection in automated fibre placement: learning with data limitations
CN112198170A (zh) 一种无缝钢管外表面三维检测中识别水滴的检测方法
Li et al. Semantic-Segmentation-Based rail fastener state recognition algorithm
CN114120129B (zh) 基于无人机图像和深度学习的滑坡滑移面的三维识别方法
CN114821187A (zh) 一种基于判别学习的图像异常检测和定位方法及系统
CN115761606A (zh) 基于图像处理的箱体电能表识别方法及装置
CN115049600A (zh) 一种小样本管道缺陷智能识别系统及方法
Li et al. Detection of component types and track damage for high-speed railway using region-based convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination