CN111402211A - 一种基于深度学习的高速列车车底异物识别方法 - Google Patents

一种基于深度学习的高速列车车底异物识别方法 Download PDF

Info

Publication number
CN111402211A
CN111402211A CN202010141770.3A CN202010141770A CN111402211A CN 111402211 A CN111402211 A CN 111402211A CN 202010141770 A CN202010141770 A CN 202010141770A CN 111402211 A CN111402211 A CN 111402211A
Authority
CN
China
Prior art keywords
foreign
foreign matter
image
train
speed train
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010141770.3A
Other languages
English (en)
Other versions
CN111402211B (zh
Inventor
贺德强
姚子锴
陈滔
陈彦君
杨卫林
陈继清
周志恒
邹智恒
李凯
刘晨宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Nanning CRRC Aluminum Precision Processing Co Ltd
Original Assignee
Guangxi University
Nanning CRRC Aluminum Precision Processing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University, Nanning CRRC Aluminum Precision Processing Co Ltd filed Critical Guangxi University
Priority to CN202010141770.3A priority Critical patent/CN111402211B/zh
Publication of CN111402211A publication Critical patent/CN111402211A/zh
Application granted granted Critical
Publication of CN111402211B publication Critical patent/CN111402211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的高速列车车底异物识别方法，按以下步骤进行：拍摄高速列车车底图像，筛选出含有异物的图像，使用数据增强方法扩充图像的数量，针对YOLO‑V3网络精度设计的缺陷设计出基于DenseNet网络作为特征提取网络，并在多尺度预测层中插入空间金字塔网络，使YOLO网络框架的精度得到提升，同时改善了其小物体检测精度低的缺陷；使用随机梯度下降法对改进的YOLO‑V3模型进行训练后获得车底异物检测模型，将车底异物图片输入至模型内，输出图片的识别结果。本发明能够实现对高速列车车底异物的智能检测，识别率高，检测速度快，检测效率高，实用性强，相比传统的检测方法优势明显，同时具有应用至其他领域的潜力。

Description

一种基于深度学习的高速列车车底异物识别方法
技术领域
本发明属于高速列车车底异物图像识别领域，尤其涉及一种基于深度学习的高速列车车底异物识别方法。
背景技术
随着世界经济和科学的飞速发展，铁路运输在技术上得到了长足的发展，已经成为最受欢迎的现代运输方式之一。在我国，截至2019年一季度末，选择高铁出行的旅客已超过100亿人次，高铁已成为铁路运输的重要类型。旅客数量的快速增长，使安全成为铁路运营的重中之重；当高铁在高速运行时，塑料袋等外部异物很容易进入底部转向架、电缆和设备间隙，摩擦后容易产生烟雾，甚至引起设备短路和火灾。因此，及时发现异物对维护铁路安全运行至关重要。目前，高速列车车底异物的检查工作分两种方式进行：第一种检查方式是由经过培训的工人钻入动车组车底，并用手电筒定期检查列车底部。然而，人工检查难度大、耗时长、人力资源成本太高。第二种检测方法是利用动车组故障检测系统(TEDS)，来完成检测，TEDS是一种由高速阵列摄像机、高速直线摄像机和处理单元组成的自动检测系统，用于实现高速运行的动车组异常报警以及提高动车组维护运行质量。然而在TEDS系统中对车底异物检测存在误报率高、精度低等缺陷。因此，仍然需要工程师在TEDS监控中心对异物进行逐幅图像检测，这种检测效率低、耗时长、劳动强度大，而且，误检和漏检可能影响高速铁路的安全。由于保证铁路行车安全的需要，迫切需要开发一种新的检测模型，以较低的人工劳动强度，实现外部物质的自动、快速、准确检测。
发明内容
本发明的目的在于：针对上述存在的问题，提供一种基于深度学习的高速列车车底异物识别方法，本发明的识别方法能提高高速列车车底异物的检测速度和精度，降低识别算法模型的复杂度。为了实现上述目的，本发明采用以下技术方案：
本发明提供了一种基于深度学习的高速列车车底异物识别方法，所述异物识别方法包括以下步骤：
步骤1：拍摄获取高速列车车底的图像，在拍摄的车底图像中筛选出大量具有车底的图片作为样本图像，将获取的样本图像用于建立高速列车车底异物图像的数据集；
步骤2：分别对每一张车底异物图像进行数据增强处理，以扩充车底异物图像的数量，然后对异物图像中的异物的类别使用标注工具进行标注，按照特定协议将标注的异物图像数据信息以PASCAL VOC格式储存文件；
步骤3：构建高速列车车底异物检测模型，该车底异物检测模型基于改进的YOLO-V3网络进行构建，该YOLO-V3网络是由DensNet特征提取网络以及由空间金字塔网络和多尺度预测层构建的特征金子塔网络组成，以生成车底异物特征图，并在特征图区域上利用多尺度预测实现对车底异物的检测和识别；
步骤4：训练检测模型，通过随机梯度下降法对车底异物检测模型进行训练得到车底异物模型后，将待检测的车底异物图像输入训练好的模型进行测试，输出图片的识别结果，完成车底异物检测和识别。
上述方案进一步优选的，在所述步骤4中，采用损失函数实现随机梯度下降法对车底异物检测模型进行训练，以完成车底异物检测和识别，其训练的损失函数Loss满足：
Loss＝Errorcoord+Erroriou+Errorcls；其中，
Figure BDA0002399329440000021
Figure BDA0002399329440000022
Figure BDA0002399329440000023
其中Errorcoord、Erroriou和Errorcls分别表示预测包围盒的误差、IOU误差和分类误差；λcoord为坐标误差权重；S2是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果
Figure BDA0002399329440000024
等于1，则第j个包围框在第i网格内覆盖了目标；否则
Figure BDA0002399329440000025
等于0；
Figure BDA0002399329440000026
为预测边界框的中心坐标值及其宽度和高度，(xi,yi,wi,hi)为真实的边界框的中心坐标值及其宽度和高度；λnoobj为对边界框进行预测时置信度损失的权重；ci为预测的置信度；
Figure BDA0002399329440000027
为真实的置信度；pi(c)是在网格i内目标属于c的真实概率，
Figure BDA0002399329440000031
是预测的概率。
上述方案进一步优选的，完成对车底异物进行检测和识别过程如下：
步骤31：将车底异物特征图像的大小调整为416×416，然后将图像分割成S×S个网格，如果车底异物特征图像的目标的中心位于网格单元中，则在该网格单元中执行检测识别过程；每个网格单元分别预测B个包围框、包围框的置信度Confidence得分和物体类别的信息概率C，所述置信度Confidence得分由如下公式获得：
Figure BDA0002399329440000032
Pr(Object)表示是否有标记的异物落在网格单元中，有则为1，否则为0；
Figure BDA0002399329440000033
表示真实包围框和预测包围框之间的交并比，其中，pred表示预测包围框，truth表示真实包围框；预测包围框的坐标标记为(x,y,w,h)；其中，x和y表示预测包围框的中点坐标，w和h表示预测包围框的长和宽；
步骤32：对上步骤31中获得的预测包围框坐标(x,y,w,h)使用logistic归一化处理；
步骤33：通过对底异物特征图像中满足置信度Confidence阈值的区域采用非极大值抑制算法处理；
步骤34：通过非极大值抑制算法的处理结果，获取标定预测包围框所对应的坐标范围和类别信息。
上述方案进一步优选的，在所述步骤3中，所述DensNet特征提取网络由4个密集模块组成，由4个密集模块组成的DensNet特征提取网络替换原有的特征提取网络，DensNet特征提取网的表达公式为：
xl＝Hl([x0,x1,x2,...,xl-1])；
其中，Hl代表由BN层、ReLU层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自之前不同层的车底异物特征图。
上述方案进一步优选的，在相邻的两个密集模块之间由1×1的卷积层和2×2的平均池化层组成过渡层以实现特征图降维，在特征图尺度为13×13、26×26和52×52时，这三个尺度的特征图通过卷积核的方式实现局部的特征交互，进而构成多尺度预测层，并在多尺度预测层中插入空间金字塔网络实现特征金字塔网络。
上述方案进一步优选的，所述空间金字塔网络由3个空间箱构成，在每个空间箱内分别把车底异物特征图分成13×13、9×9和5×5块，经过最大池化层后再将其拼接。
上述方案进一步优选的，在所述步骤3中，在所述改进的YOLO-V3网络中有9个对应的先验框，其9个先验框是通过使用K-means聚类算法在数据集中计算获得。
上述方案进一步优选的，所述的步骤2中，对车底异物图像进行数据增强处理包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理，以扩充车底异物样本图像的数据集；对车底异物图像中的异物的类别使用标签制作工具LabelImg进行标注；所述标注的异物图像数据信息包括图像中的异物标注框的坐标、类别标签和保存图片路径，并以XML格式储存在文件中。
上述方案进一步优选的，所述标注的过程为对图片进行格式化编号，使用标注工具LabelImg对车底图像中的异物部分使用标记框覆盖，并储存标记框的包围坐标，同时为异物部分的类型分配标签，将标记框的坐标信息、异物类型标签和储存路径保存在XML格式的文件中；将车底异物图像和标注异物生成的XML文件保存在PASCAL VOC2007的文件中，并把异物图像分为训练集和测试集，再将格式化编号和路径保存在txt格式文件中。
综上所述，由于本发明采用了上述技术方案，本发明具有以下有益技术效果是：本发明采用了上述的深度学习算法设计，可以实现高速列车车底异物的智能检测，准确率高，误检率低，检测速度快，实用性强，相对于现有的传统检测方法优势明显，同时具有应用至其他领域的潜力，能够极大地减少人工的工作量，并且能提高识别效率，应用前景良好。
附图说明
图1是本发明的改进YOLO-V3网络模型框架图。
图2是本发明的空间金字塔网络框架图。
图3是本发明的第一异物检测结果的示意图。
图4是本发明的第二异物检测结果的示意图。
图5是本发明的第三异物检测结果的示意图
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
如图1所示，根据本发明的一种基于深度学习的高速列车车底异物识别方法，所述异物识别方法包括以下步骤：
步骤1：拍摄获取高速列车车底的图像，在拍摄的车底图像中筛选出大量具有车底的图片作为样本图像，将获取的样本图像用于建立高速列车车底异物图像的数据集；
步骤2：分别对每一张车底异物图像进行数据增强处理，以扩充车底异物图像的数量，然后对异物图像中的异物的类别使用标注工具进行标注，按照特定协议将标注的异物图像数据信息以PASCAL VOC格式储存文件；在本发明中，对车底异物图像进行数据增强处理包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理，以扩充车底异物样本图像的数据集；对车底异物图像中的异物的类别使用标签制作工具LabelImg进行标注；所述标注的异物图像数据信息包括图像中的异物标注框的坐标、类别标签和保存图片路径，并以XML格式储存在文件中；所述标注过为对图片进行格式化编号，使用标注工具LabelImg对车底图像中的异物部分使用标记框覆盖，并储存标记框的包围坐标，同时为异物部分的类型分配标签，将包围框的坐标信息、异物类型标签和储存路径保存在XML格式的文件中；将车底异物图像和标注异物生成的XML文件保存在PASCAL VOC2007的文件中，并把异物图像分为训练集和测试集，再将格式化编号和路径保存在txt格式文件中；
步骤3：构建高速列车车底异物检测模型，该车底异物检测模型基于改进的YOLO-V3网络进行构建，在所述改进的YOLO-V3网络中有9个对应的先验框，其9个先验框是通过使用K-means聚类算法在数据集中计算获得；其YOLO-V3网络是由DensNet特征提取网络以及由空间金字塔网络和多尺度预测层构建的特征金子塔网络组成，以生成车底异物特征图，并在特征图区域上利用多尺度预测实现车底异物的检测和识别；
所述DensNet特征提取网络作为YOLO-V3的特征提取网络，是由4个密集模块组成的，如图1和图2所示，由4个密集模块组成的DensNet特征提取网络组成替换原有的特征提取的网络，其作用是保障在各个卷积层之间的信息流更有效、阻止梯度消失和加强特征重用，每一层都将一个特征图与其前几层连接起来，每一层的特征图是所有后续层的输入，其表达公式为xl＝Hl([x0,x1,x2,...,xl-1]；)其中，Hl代表由BN层、ReLU层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自之前不同层的车底异物特征图；与普通的卷积网络只有L层连接相比，DensNet内的卷积网络具有L(L+1)/2层连接；在相邻的两个密集模块之间，是由1×1的卷积层和2×2的平均池化层组成过渡层，以实现特征图降维，在密集模块后特征图维度为13×13、26×26和52×52时，这三个尺度的特征图通过卷积核的方式实现局部的特征交互，进而构成多尺度预测层，并在多尺度预测层中插入空间金字塔网络实现特征金字塔网络；
在本发明中，图1展示了本发明中的空间金字塔网络插入的位置，图2展示了空间金字塔网络的结构，所述空间金字塔网络由3个空间箱构成，在每个空间箱内分别把车底异物特征图分成13×13、9×9和5×5块，经过最大池化层后再将其拼接。
在本发明中，三个尺度的车底异物特征交互是通过3×3和1×1卷积核的方式实现的，具体如下是在尺度1的13×13大小车底异物特征图后加一些卷积层再进行分类和位置回归；在尺度2的特征图与尺度1中的倒数第二层的卷积层上采样后再与特征图拼接，在输出26×26大小的特征图上进行分类和回归；在尺度3的特征图与经过上采样的特征图合并，在52×52大小的车底异物特征图上进行分类和回归；图3-图5为实际测试时车底异物识别的图像，异物分布在高速列车车底的转向架、电缆和设备间隙。
在本发明中，实现对车底异物进行检测和识别如下：
步骤31：将车底异物特征图像的大小调整为416×416，然后将图像分割成S×S个网格，S为大于0的任意整数，如果车底异物特征图像(图片)的目标的中心位于网格单元中，则在该网格单元中执行检测识别过程；每个网格单元分别预测B个包围框、包围框的置信度Confidence得分和物体类别的信息概率C，所述置信度Confidence得分由如下公式获得：
Figure BDA0002399329440000061
Pr(Object)表示是否有标记的异物落在网格单元中，有则为1，否则为0；
Figure BDA0002399329440000062
表示真实包围框和预测包围框之间的交并比；预测包围框的坐标标记为(x,y,w,h)；其中x和y表示预测包围框的中点坐标，w和h表示预测包围框的长和宽；如果网格单元中没有对象，则应为0，否则为1；
步骤32：对上步骤31中获得的预测包围框坐标(x,y,w,h)使用logistic归一化处理；
步骤33：通过对底异物特征图像中满足置信度Confidence阈值的区域采用非极大值抑制算法处理；
步骤34：通过非极大值抑制的处理结果，获取标定预测包围框所对应的坐标范围和类别信息；
步骤4：训练检测模型，通过随机梯度下降法对车底异物检测模型进行训练得到车底异物模型后，将待检测的车底异物图像输入训练好的模型进行测试，输出图片的识别结果，以实现车底异物检测和识别；在本发明中，采用损失函数实现随机梯度下降法对车底异物检测模型进行训练，其训练的损失函数满足：
Loss＝Errorcoord+Erroriou+Errorcls；其中，
Figure BDA0002399329440000071
Figure BDA0002399329440000072
Figure BDA0002399329440000073
其中Errorcoord、Erroriou和Errorcls分别表示预测包围盒的误差、IOU误差和分类误差；λcoord为坐标误差权重；S2是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果
Figure BDA0002399329440000074
等于1，则第j个包围框在第i网格内覆盖了目标；否则
Figure BDA0002399329440000075
等于0；
Figure BDA0002399329440000076
为预测边界框的中心坐标值及其宽度和高度，(xi,yi,wi,hi)为真实的边界框的中心坐标值及其宽度和高度；λnoobj为对边界框进行预测时置信度损失的权重；ci为预测的置信度；
Figure BDA0002399329440000077
为真实的置信度；pi(c)是在网格i内目标属于c的真实概率，
Figure BDA0002399329440000078
是预测的概率；训练参数的设置如下：批量尺寸设置为4，训练周期数为100；动量参数设置为0.9；初始学习速率设置为0.001；衰减参数设置为0.005，通过以上方式，经过训练后的模型能够对输出的车底异物边框位置不断修正，至此，高速列车车底异物的目标识别和定位完成；本发明使用的改进YOLO V3高速列车车底异物检测模型均值平均精度(mAP)、准确率和召回率分别达到94.05％，95.48％和99.48％，每张图片的检测速度达到58ms，相对于原始YOLO V3均值平均精度(mAP)、准确率和召回率别提高了14.82％、6.27％和2.68％，同时没有牺牲检测速度，相对于其他检测模型(Faster R-CNN)，均值平均精度(mAP)、准确率和召回率分别提高了4.34％，2.26％和3.76％，同时检测速度快了2.9倍；结果表明本发明使用的改进YOLO V3检测模型能够准确、实时检测高速列车车底异物，从而提高高速列车的行驶安全。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于深度学习的高速列车车底异物识别方法，其特征在于：所述异物识别方法包括以下步骤：
步骤1：拍摄获取高速列车车底的图像，在拍摄的车底图像中筛选出大量具有车底的图片作为样本图像，将获取的样本图像用于建立高速列车车底异物图像的数据集；
步骤2：分别对每一张车底异物图像进行数据增强处理，以扩充车底异物图像的数量，然后对异物图像中的异物的类别使用标注工具进行标注，按照特定协议将标注的异物图像数据信息以PASCAL VOC格式储存文件；
步骤3：构建高速列车车底异物检测模型，该车底异物检测模型基于改进的YOLO-V3网络进行构建，该YOLO-V3网络是由DensNet特征提取网络以及由空间金字塔网络和多尺度预测层构建的特征金子塔网络组成，以生成车底异物特征图，并在特征图区域上利用多尺度预测实现对车底异物的检测和识别；
步骤4：训练检测模型，通过随机梯度下降法对车底异物检测模型进行训练得到车底异物模型后，将待检测的车底异物图像输入训练好的模型进行测试，输出图片的识别结果，完成车底异物检测和识别。
2.根据权利要求1所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：在所述步骤4中，采用损失函数实现随机梯度下降法对车底异物检测模型进行训练，以完成车底异物检测和识别，其训练的损失函数Loss满足：
Loss＝Errorcoord+Erroriou+Errorcls；其中，
Figure FDA0002399329430000011
Figure FDA0002399329430000012
Figure FDA0002399329430000013
其中Errorcoord、Erroriou和Errorcls分别表示预测包围盒的误差、IOU误差和分类误差；λcoord为坐标误差权重；S2是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果
Figure FDA0002399329430000021
等于1，则第j个包围框在第i网格内覆盖了目标；否则
Figure FDA0002399329430000022
等于0；
Figure FDA0002399329430000023
为预测边界框的中心坐标值及其宽度和高度，(xi,yi,wi,hi)为真实的边界框的中心坐标值及其宽度和高度；λnoobj为对边界框进行预测时置信度损失的权重；ci为预测的置信度；
Figure FDA0002399329430000024
为真实的置信度；pi(c)是在网格i内目标属于c的真实概率，
Figure FDA0002399329430000025
是预测的概率。
3.根据权利要求2所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：完成对车底异物进行检测和识别过程如下：
步骤31：将车底异物特征图像的大小调整为416×416，然后将图像分割成S×S个网格，如果车底异物特征图像的目标的中心位于网格单元中，则在该网格单元中执行检测识别过程；每个网格单元分别预测B个包围框、包围框的置信度Confidence得分和物体类别的信息概率C，所述置信度Confidence得分由如下公式获得：
Figure FDA0002399329430000026
Pr(Object)表示是否有标记的异物落在网格单元中，有则为1，否则为0；
Figure FDA0002399329430000027
表示真实包围框和预测包围框之间的交并比，其中，pred表示预测包围框，truth表示真实包围框；预测包围框的坐标标记为(x,y,w,h)；其中，x和y表示预测包围框的中点坐标，w和h表示预测包围框的长和宽；
步骤32：对上步骤31中获得的预测包围框坐标(x,y,w,h)使用logistic归一化处理；
步骤33：通过对底异物特征图像中满足置信度Confidence阈值的区域采用非极大值抑制算法处理；
步骤34：通过非极大值抑制算法的处理结果，获取标定预测包围框所对应的坐标范围和类别信息。
4.根据权利要求1所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：在所述步骤3中，所述DensNet特征提取网络由4个密集模块组成，由4个密集模块组成的DensNet特征提取网络替换原有的特征提取网络，DensNet特征提取网的表达公式为：
xl＝Hl([x0,x1,x2,...,xl-1])；
其中，Hl代表由BN层、ReLU层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自之前不同层的车底异物特征图。
5.根据权利要求4所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：在相邻的两个密集模块之间由1×1的卷积层和2×2的平均池化层组成过渡层以实现特征图降维，在特征图尺度为13×13、26×26和52×52时，这三个尺度的特征图通过卷积核的方式实现局部的特征交互，进而构成多尺度预测层，并在多尺度预测层中插入空间金字塔网络实现特征金字塔网络。
6.根据权利要求5所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：所述空间金字塔网络由3个空间箱构成，在每个空间箱内分别把车底异物特征图分成13×13、9×9和5×5块，经过最大池化层后再将其拼接。
7.根据权利要求1所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：在所述步骤3中，在所述改进的YOLO-V3网络中有9个对应的先验框，其9个先验框是通过使用K-means聚类算法在数据集中计算获得。
8.根据权利要求1所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：所述的步骤2中，对车底异物图像进行数据增强处理包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理，以扩充车底异物样本图像的数据集；对车底异物图像中的异物的类别使用标签制作工具LabelImg进行标注；所述标注的异物图像数据信息包括图像中的异物标注框的坐标、类别标签和保存图片路径，并以XML格式储存在文件中。
9.根据权利要求8所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：所述标注的过程为对图片进行格式化编号，使用标注工具LabelImg对车底图像中的异物部分使用标记框覆盖，并储存标记框的包围坐标，同时为异物部分的类型分配标签，将标记框的坐标信息、异物类型标签和储存路径保存在XML格式的文件中；将车底异物图像和标注异物生成的XML文件保存在PASCAL VOC2007的文件中，并把异物图像分为训练集和测试集，再将格式化编号和路径保存在txt格式文件中。
CN202010141770.3A 2020-03-04 2020-03-04 一种基于深度学习的高速列车车底异物识别方法 Active CN111402211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010141770.3A CN111402211B (zh) 2020-03-04 2020-03-04 一种基于深度学习的高速列车车底异物识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010141770.3A CN111402211B (zh) 2020-03-04 2020-03-04 一种基于深度学习的高速列车车底异物识别方法

Publications (2)

Publication Number Publication Date
CN111402211A true CN111402211A (zh) 2020-07-10
CN111402211B CN111402211B (zh) 2022-11-11

Family

ID=71430537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010141770.3A Active CN111402211B (zh) 2020-03-04 2020-03-04 一种基于深度学习的高速列车车底异物识别方法

Country Status (1)

Country Link
CN (1) CN111402211B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111855667A (zh) * 2020-07-17 2020-10-30 成都盛锴科技有限公司 一种适用于地铁车辆的新型智慧列检系统和检测方法
CN112330646A (zh) * 2020-11-12 2021-02-05 南京优视智能科技有限公司 一种基于二维图像的动车车底异常检测方法
CN112465759A (zh) * 2020-11-19 2021-03-09 西北工业大学 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN112488049A (zh) * 2020-12-16 2021-03-12 哈尔滨市科佳通用机电股份有限公司 一种动车组牵引电机及轴间夹挂异物的故障识别方法
CN112633176A (zh) * 2020-12-24 2021-04-09 广西大学 一种基于深度学习的轨道交通障碍物检测方法
CN112733929A (zh) * 2021-01-07 2021-04-30 南京工程学院 一种改进Yolo水下图像小目标和遮挡目标的检测方法
CN112907597A (zh) * 2021-02-04 2021-06-04 西华师范大学 基于深度卷积神经网络的铁路轨道线检测方法
CN112950837A (zh) * 2021-03-03 2021-06-11 中国工商银行股份有限公司 基于深度学习的纸币破损情况识别方法及装置
CN112991348A (zh) * 2021-05-24 2021-06-18 南京索安电子有限公司 一种车辆底盘异物检测方法、装置及存储介质
CN112989931A (zh) * 2021-02-05 2021-06-18 广州华微明天软件技术有限公司 一种地铁轨道异物智能识别方法
CN113033427A (zh) * 2021-03-30 2021-06-25 济南神博信息技术有限公司 一种基于dl的车底异物自动识别方法
CN113033720A (zh) * 2021-05-28 2021-06-25 南京索安电子有限公司 基于滑动窗口的车底图片异物识别方法、装置及存储介质
CN113111875A (zh) * 2021-04-02 2021-07-13 广州地铁集团有限公司 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN113139572A (zh) * 2021-03-09 2021-07-20 西南交通大学 一种基于图像的列车空气弹簧的故障检测方法
CN113436164A (zh) * 2021-06-23 2021-09-24 三一专用汽车有限责任公司 车底路况检测方法、装置及车辆
CN113469259A (zh) * 2021-07-09 2021-10-01 成都恒创新星科技有限公司 一种车辆类别识别方法及系统
CN113486726A (zh) * 2021-06-10 2021-10-08 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113822867A (zh) * 2021-09-24 2021-12-21 东莞市诺丽电子科技有限公司 一种列车外观异常检测方法及列车外观异常检测系统
CN113989781A (zh) * 2021-11-01 2022-01-28 重庆交通职业学院 基于深度学习的交通灯识别方法
CN114608801A (zh) * 2020-12-08 2022-06-10 重庆云石高科技有限公司 一种机车轴温探头连接线脱落自动检测算法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1156304A1 (fr) * 2000-05-16 2001-11-21 General Trailers France Dispositif d'inspection à distance de l'intérieur d'une cuve de citerne
CN106251347A (zh) * 2016-07-27 2016-12-21 广东工业大学 地铁异物检测方法、装置、设备及地铁屏蔽门系统
US20170056932A1 (en) * 2015-08-26 2017-03-02 Denso Corporation Detection device cleaning apparatus having fan
CN108919372A (zh) * 2018-04-23 2018-11-30 爱驰汽车有限公司 一种车底异物预警方法及系统、车载终端
CN109446913A (zh) * 2018-09-28 2019-03-08 桂林电子科技大学 一种判断车底是否改装的检测方法
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN109766884A (zh) * 2018-12-26 2019-05-17 哈尔滨工程大学 一种基于Faster-RCNN的机场跑道异物检测方法
CN110048523A (zh) * 2019-05-20 2019-07-23 天津工业大学 一种基于机器视觉技术的电动汽车无线电能传输系统异物检测装置
CN110399816A (zh) * 2019-07-15 2019-11-01 广西大学 一种基于Faster R-CNN的高速列车车底异物检测方法
CN110414391A (zh) * 2019-07-15 2019-11-05 河北工业大学 基于深度学习算法的主动移动式车底危险品检测装置
CN110443208A (zh) * 2019-08-08 2019-11-12 南京工业大学 一种基于YOLOv2的车辆目标检测方法、系统及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1156304A1 (fr) * 2000-05-16 2001-11-21 General Trailers France Dispositif d'inspection à distance de l'intérieur d'une cuve de citerne
US20170056932A1 (en) * 2015-08-26 2017-03-02 Denso Corporation Detection device cleaning apparatus having fan
CN106251347A (zh) * 2016-07-27 2016-12-21 广东工业大学 地铁异物检测方法、装置、设备及地铁屏蔽门系统
CN108919372A (zh) * 2018-04-23 2018-11-30 爱驰汽车有限公司 一种车底异物预警方法及系统、车载终端
CN109446913A (zh) * 2018-09-28 2019-03-08 桂林电子科技大学 一种判断车底是否改装的检测方法
CN109766884A (zh) * 2018-12-26 2019-05-17 哈尔滨工程大学 一种基于Faster-RCNN的机场跑道异物检测方法
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110048523A (zh) * 2019-05-20 2019-07-23 天津工业大学 一种基于机器视觉技术的电动汽车无线电能传输系统异物检测装置
CN110399816A (zh) * 2019-07-15 2019-11-01 广西大学 一种基于Faster R-CNN的高速列车车底异物检测方法
CN110414391A (zh) * 2019-07-15 2019-11-05 河北工业大学 基于深度学习算法的主动移动式车底危险品检测装置
CN110443208A (zh) * 2019-08-08 2019-11-12 南京工业大学 一种基于YOLOv2的车辆目标检测方法、系统及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ERICK E. RUIZ等: "Use of an Automatic Under-Vehicle Inspection System as a Tool to Streamline Vehicle Screening at Ports of Entry and Security Checkpoints", 《IEEE》 *
张飞龙等: "LY轮对外形尺寸检测系统异常曲线判断算法研究", 《中国设备工程》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111855667A (zh) * 2020-07-17 2020-10-30 成都盛锴科技有限公司 一种适用于地铁车辆的新型智慧列检系统和检测方法
CN112330646A (zh) * 2020-11-12 2021-02-05 南京优视智能科技有限公司 一种基于二维图像的动车车底异常检测方法
CN112465759A (zh) * 2020-11-19 2021-03-09 西北工业大学 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN114608801B (zh) * 2020-12-08 2024-04-19 重庆云石高科技有限公司 一种机车轴温探头连接线脱落自动检测算法
CN114608801A (zh) * 2020-12-08 2022-06-10 重庆云石高科技有限公司 一种机车轴温探头连接线脱落自动检测算法
CN112488049A (zh) * 2020-12-16 2021-03-12 哈尔滨市科佳通用机电股份有限公司 一种动车组牵引电机及轴间夹挂异物的故障识别方法
CN112488049B (zh) * 2020-12-16 2021-08-24 哈尔滨市科佳通用机电股份有限公司 一种动车组牵引电机及轴间夹挂异物的故障识别方法
CN112633176A (zh) * 2020-12-24 2021-04-09 广西大学 一种基于深度学习的轨道交通障碍物检测方法
CN112633176B (zh) * 2020-12-24 2023-03-14 广西大学 一种基于深度学习的轨道交通障碍物检测方法
CN112733929A (zh) * 2021-01-07 2021-04-30 南京工程学院 一种改进Yolo水下图像小目标和遮挡目标的检测方法
CN112907597A (zh) * 2021-02-04 2021-06-04 西华师范大学 基于深度卷积神经网络的铁路轨道线检测方法
CN112989931A (zh) * 2021-02-05 2021-06-18 广州华微明天软件技术有限公司 一种地铁轨道异物智能识别方法
CN112950837A (zh) * 2021-03-03 2021-06-11 中国工商银行股份有限公司 基于深度学习的纸币破损情况识别方法及装置
CN112950837B (zh) * 2021-03-03 2023-06-16 中国工商银行股份有限公司 基于深度学习的纸币破损情况识别方法及装置
CN113139572A (zh) * 2021-03-09 2021-07-20 西南交通大学 一种基于图像的列车空气弹簧的故障检测方法
CN113033427A (zh) * 2021-03-30 2021-06-25 济南神博信息技术有限公司 一种基于dl的车底异物自动识别方法
CN113111875A (zh) * 2021-04-02 2021-07-13 广州地铁集团有限公司 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN113111875B (zh) * 2021-04-02 2024-08-13 广州地铁集团有限公司 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN112991348A (zh) * 2021-05-24 2021-06-18 南京索安电子有限公司 一种车辆底盘异物检测方法、装置及存储介质
CN113033720B (zh) * 2021-05-28 2021-08-13 南京索安电子有限公司 基于滑动窗口的车底图片异物识别方法、装置及存储介质
CN113033720A (zh) * 2021-05-28 2021-06-25 南京索安电子有限公司 基于滑动窗口的车底图片异物识别方法、装置及存储介质
CN113486726A (zh) * 2021-06-10 2021-10-08 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113436164A (zh) * 2021-06-23 2021-09-24 三一专用汽车有限责任公司 车底路况检测方法、装置及车辆
CN113436164B (zh) * 2021-06-23 2024-03-15 三一专用汽车有限责任公司 车底路况检测方法、装置及车辆
CN113469259A (zh) * 2021-07-09 2021-10-01 成都恒创新星科技有限公司 一种车辆类别识别方法及系统
CN113822867A (zh) * 2021-09-24 2021-12-21 东莞市诺丽电子科技有限公司 一种列车外观异常检测方法及列车外观异常检测系统
CN113989781A (zh) * 2021-11-01 2022-01-28 重庆交通职业学院 基于深度学习的交通灯识别方法

Also Published As

Publication number Publication date
CN111402211B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN111402211B (zh) 一种基于深度学习的高速列车车底异物识别方法
CN111598843B (zh) 基于深度学习的电力变压器呼吸器目标缺陷检测方法
CN114841972B (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及系统
CN112070135B (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN112633149B (zh) 一种域自适应雾天图像目标检测方法和装置
CN111242144B (zh) 电网设备异常的检测方法和装置
CN112200225A (zh) 基于深度卷积神经网络的钢轨伤损b显图像识别方法
CN115546565A (zh) 基于yolocbf电厂关键区域管道油液泄漏检测方法
CN113139594B (zh) 一种机载图像无人机目标自适应检测方法
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN108648210B (zh) 一种静态复杂场景下快速多目标检测方法及装置
CN111964763B (zh) 一种动态平板秤称重区域汽车断续行驶行为检测方法
CN112800934A (zh) 一种多类别工程车的行为识别方法及装置
CN113111875A (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN112184679A (zh) 一种基于YOLOv3的酒瓶瑕疵自动检测方法
CN114529821A (zh) 一种基于机器视觉的海上风电安全监测与预警方法
CN113221956A (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN113762144A (zh) 一种基于深度学习的黑烟车检测方法
CN112884753A (zh) 一种基于卷积神经网络的轨道扣件检测及分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant