CN117557860A - 基于YOLOv8的货运列车异物检测方法及系统 - Google Patents

基于YOLOv8的货运列车异物检测方法及系统 Download PDF

Info

Publication number
CN117557860A
CN117557860A CN202311589122.4A CN202311589122A CN117557860A CN 117557860 A CN117557860 A CN 117557860A CN 202311589122 A CN202311589122 A CN 202311589122A CN 117557860 A CN117557860 A CN 117557860A
Authority
CN
China
Prior art keywords
foreign matter
yolov8
module
freight train
network module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311589122.4A
Other languages
English (en)
Inventor
朱毅
于志军
胡昊颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway First Survey and Design Institute Group Ltd
Original Assignee
China Railway First Survey and Design Institute Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway First Survey and Design Institute Group Ltd filed Critical China Railway First Survey and Design Institute Group Ltd
Priority to CN202311589122.4A priority Critical patent/CN117557860A/zh
Publication of CN117557860A publication Critical patent/CN117557860A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于YOLOv8的货运列车异物检测方法及系统，采集货运列车图像，获取原始图像数据集；构建训练集、验证集和测试集；YOLOv8模型包括主干网络模块、颈部网络模块和头部网络模块，所述主干网络模块用于对输入的图像进行特征提取，所述颈部网络模块用于对特征图进行多尺度特征融合，所述头部网络模块用于输出目标预测框、异物类别预测结果以及置信度分数。本发明采用人工智能方法，基于YOLOv8目标检测模型对货运列车场景中的异物进行智能检测，整个网络模型可实现端到端的目标检测，检测效率高，满足货运列车异物检测应用的实时性需求和性能要求。

Description

基于YOLOv8的货运列车异物检测方法及系统
技术领域
本发明涉及货运列车异物检测技术领域，具体涉及一种基于YOLOv8的货运列车异物检测方法及系统。
背景技术
随着铁路行业的快速发展，大大便利了货物运输和人们日常出行，但火车高速行驶的过程中，如果货运列车上存在异物，将会对列车的正常运行、车站的工作人员人身安全等造成严重的威胁。
近年来，深度学习和目标检测的研究推动了异物检测方法的智能化发展。异物检测广泛应用于工业、医疗、食品安全、运输安全等领域。目前，对于货运列车上的静态异物检测主要采用人工巡检的方式，每节车厢都需要工作人员去确认列车是否存在异物，如果发现存在异物再去考虑如何清理。显然，该异物检测方式效率低下，需要大量人力，而且还存在一定的安全风险。当前对于货运列车异物检测的研究较少，因此急需研究并提出一种高效的自动化货运列车异物检测方法来代替人工巡检，从而提高工作人员处理异物的效率。
发明内容
本申请提供一种基于YOLOv8的货运列车异物检测方法及系统，以解决现有采用人工巡检方式进行货运列车异物检测存在的效率低下、需要大量人力、安全风险高等的问题。
根据第一方面，一种实施例中提供一种基于YOLOv8的货运列车异物检测方法，所述方法包括：
采集货运列车图像，获取原始图像数据集；
基于所述原始图像数据集构建训练集、验证集和测试集；
使用所述训练集、验证集和测试集分别对YOLOv8模型进行训练、模型调优和调整超参数以及测试，所述YOLOv8模型包括主干网络模块、颈部网络模块和头部网络模块，所述主干网络模块用于对输入的图像进行特征提取，所述颈部网络模块用于对特征图进行多尺度特征融合，所述头部网络模块用于输出目标预测框、异物类别预测结果以及置信度分数；
基于得到的YOLOv8模型对待检测的货运列车图像进行异物检测，获取目标预测框、异物类别预测结果以及置信度分数。
进一步地，采集货运列车图像，具体包括：
将摄像头通过门型支架固定，当货运列车穿过所述门型支架时由所述摄像头采集货运列车车厢内图像。
进一步地，基于所述原始图像数据集构建训练集、验证集和测试集，具体包括：
将所述原始图像数据集按照预设比例划分训练集、验证集和测试集；
使用目标检测标注工具对训练集和验证集中的图片进行集中标注。
进一步地，使用目标检测标注工具对训练集和验证集中的图片进行集中标注，具体包括：
图片标注的异物类别包括细绳、编织袋、石头和塑料物。
进一步地，所述主干网络模块包括CBS模块、C2f模块以及SPPF模块；
所述CBS模块由卷积层、归一化层以及SiLU激活函数构成，用于通过卷积操作提取局部空间信息，通过归一化层规范化特征值分布，通过激活函数进行非线性变换，实现对输入特征的转换和提取；所述C2f模块包括多个BottleNeck模块，用于提取图像特征；所述SPPF模块包括输入层、多尺度池化层、连接层以及输出层，用于通过多层池化得到不同尺度的特征图。
进一步地，所述颈部网络模块包括PAN-FPN模块，所述PAN-FPN模块包括FPN特征金字塔网络和PAN路径融合网络，所述FPN特征金字塔网络用于在网络的高层添加额外的特征层，通过自顶向下的连接来与底层特征进行融合，并在自顶向下的特征传播过程中，将高层特征与底层特征逐层连接，形成特征金字塔，所述PAN路径融合网络用于整合不同路径上的特征。
进一步地，使用所述训练集、验证集和测试集分别对YOLOv8模型进行训练、模型调优和调整超参数以及测试，具体还包括：
根据预测框与真实框比较计算损失函数，所述损失函数包括分类损失函数VFLloss和回归损失函数CIoULoss+DFL。
根据第二方面，一种实施例中提供一种基于YOLOv8的货运列车异物检测系统，所述系统包括：
图像采集模块，用于采集货运列车图像，获取原始图像数据集；
数据集构建模块，用于基于所述原始图像数据集构建训练集、验证集和测试集；
模型训练和测试模块，用于使用所述训练集、验证集和测试集分别对YOLOv8模型进行训练、模型调优和调整超参数以及测试，所述YOLOv8模型包括主干网络模块、颈部网络模块和头部网络模块，所述主干网络模块用于对输入的图像进行特征提取，所述颈部网络模块用于对特征图进行多尺度特征融合，所述头部网络模块用于输出目标预测框、异物类别预测结果以及置信度分数；
异物检测模块，用于基于得到的YOLOv8模型对待检测的货运列车图像进行异物检测，获取目标预测框、异物类别预测结果以及置信度分数。
根据第三方面，一种实施例中提供一种电子设备，所述设备包括：处理器和存储器；
所述存储器用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如上任一项所述的一种基于YOLOv8的货运列车异物检测方法的步骤。
根据第四方面，一种实施例中提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的一种基于YOLOv8的货运列车异物检测方法的步骤。
本申请提供一种基于YOLOv8的货运列车异物检测方法及系统，采集货运列车图像，获取原始图像数据集；基于所述原始图像数据集构建训练集、验证集和测试集；使用所述训练集、验证集和测试集分别对YOLOv8模型进行训练、模型调优和调整超参数以及测试，所述YOLOv8模型包括主干网络模块、颈部网络模块和头部网络模块，所述主干网络模块用于对输入的图像进行特征提取，所述颈部网络模块用于对特征图进行多尺度特征融合，所述头部网络模块用于输出目标预测框、异物类别预测结果以及置信度分数；基于得到的YOLOv8模型对待检测的货运列车图像进行异物检测，获取目标预测框、异物类别预测结果以及置信度分数。本发明采用人工智能方法，基于YOLOv8目标检测模型对货运列车场景中的异物进行智能检测，整个网络模型可实现端到端的目标检测，检测效率高，满足货运列车异物检测应用的实时性需求和性能要求。
附图说明
图1为本发明一个实施例提供的一种基于YOLOv8的货运列车异物检测方法的流程图；
图2为本发明一个实施例提供的一种基于YOLOv8的货运列车异物检测方法中YOLOv8主干网络模块结构图；
图3为本发明一个实施例提供的一种基于YOLOv8的货运列车异物检测方法中CBS模块结构图；
图4为本发明一个实施例提供的一种基于YOLOv8的货运列车异物检测方法中C2f模块结构图；
图5为本发明一个实施例提供的一种基于YOLOv8的货运列车异物检测方法中SPPF模块结构图；
图6为本发明一个实施例提供的一种基于YOLOv8的货运列车异物检测方法中PAN-FPN模块结构图；
图7为本发明一个实施例提供的一种基于YOLOv8的货运列车异物检测系统的逻辑结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
货运列车异物检测不但要将列车上的异物按照合适的检测框标注出来，并且要将异物的置信度和相应的类别也进行显示。异物种类分为四类：细绳、编织袋、石头和塑料物，基本的异物包含6维特征，分别为X、Y坐标、检测框的宽和高、置信度和检测类别。伴随着大规模数据集的出现、计算机硬件成本的的降低以及GPU并行计算能力的提升，深度学习在目标检测和裂缝检测领域逐渐占据了绝对主导的地位，以YOLO网络为基础的目标检测已被许多学者研究及使用，该模型没有Region Proposal(候选区域)的步骤，整个网络模型实现端到端的目标检测，计算效率很高，满足货运列车异物检测应用的实时性需求和性能要求。
本发明第一实施例提供的一种基于YOLOv8的货运列车异物检测，下面结合图1进行详细说明。
如图1所示，在步骤S101中，采集货运列车图像，获取原始图像数据集。
具体的，将摄像头通过门型支架固定，当货运列车穿过所述门型支架时由所述摄像头采集货运列车车厢内图像。
如图1所示，在步骤S102中，基于所述原始图像数据集构建训练集、验证集和测试集。
具体的，将原始图像数据集按照0.6:0.2:0.2的比例划分训练集、验证集和测试集；使用目标检测标注工具LabelImg对训练集和验证集中的图片进行集中标注，图片标注的异物类别包括细绳、编织袋、石头和塑料物。
原图像的尺寸可以是任意大小的图像，图像集通过模型自动调整尺寸，并将图像转换为模型需要的输入格式。
如图1所示，在步骤S103中，使用所述训练集、验证集和测试集分别对YOLOv8模型进行训练、模型调优和调整超参数以及测试，所述YOLOv8模型包括主干网络模块(backbone)、颈部网络模块(neck)和头部网络模块(head)，所述主干网络模块用于对输入的图像进行特征提取，所述颈部网络模块用于对特征图进行多尺度特征融合，所述头部网络模块用于输出目标预测框、异物类别预测结果以及置信度分数。
主干网络模块(backbone)：
本实施例中，如图2所示，主干网络模块(backbone)包括CBS模块、C2f模块以及SPPF模块；其中CBS模块由卷积层、归一化层以及SiLU激活函数构成，用于通过卷积操作提取局部空间信息，通过归一化层规范化特征值分布，通过激活函数进行非线性变换，实现对输入特征的转换和提取；所述C2f模块包括多个BottleNeck模块，用于提取图像特征；所述SPPF模块包括输入层、多尺度池化层、连接层以及输出层，用于通过多层池化得到不同尺度的特征图。
具体的，将图像输入yolov8主干网络。经过卷积、归一化和激活函数组成的CBS模块(Conv、BatchNormalization和SiLU)，CBS模块是卷积神经网络中常用的基础模块，如图3所示。它通过卷积操作提取局部空间信息，并通过BN层规范化特征值分布，最后通过激活函数引入非线性变换能力，从而实现对输入特征的转换和提取。CBS模块中的SiLU激活函数如下所示：
SiLU是Sigmoid和ReLU的改进版。SiLU具备无上界有下界、平滑、非单调的特性。SiLU在深层模型上的效果优于ReLU，可以看做是平滑的ReLU激活函数。其中sigmoid(x)是标准的sigmoid函数，它的值在0和1之间。
之后经过C2f结构，重复多层进行提取特征，C2f结构如图4所示。
SPPF模块的主要目的是通过这种多尺度的池化操作，使网络能够在不同尺度上更好地理解输入图像，从而提高目标检测的性能。SPPF层定义一个网络，包含不同尺度的池化层，将C2f模块得到的特征图作为输入。
SPPF模块的核心思想是引入不同大小的池化层，以处理不同尺度的信息。这有助于网络更好地捕捉多尺度的上下文信息。下面是SPPF模块的结构如图5所示：
1.输入：SPPF模块接收来自主干网络的特征图作为输入。
2.多尺度池化：SPPF模块通过在输入特征图上应用多个大小不同的池化层，捕捉不同尺度的信息。这些池化层的大小通常是根据金字塔形状的特征层来选择的，以包括不同尺度的感受野。通常会选择三个池化层，分别是1x1、3x3和5x5。
3.池化层输出：每个池化层都产生一个固定大小的输出，即使输入特征图的大小不同。这使得SPPF模块能够处理不同尺寸的感受野。
4.连接：SPPF模块将所有池化层的输出连接在一起，形成一个固定大小的特征向量。
5.输出：最终，SPPF模块将连接的特征向量作bbZx为其输出，传递给下一个网络层。
输入的图像经过yolov8主干网络的一系列卷积和残差结构并通过SPPF模块输出，得到原图像1/2、1/4、1/8、1/16和1/32大小的特征图，至此五个尺寸的特征图提取完成。
颈部网络模块(neck)：特征增强网络
之后将YOLOv8 backbone(主干网络)网络部分输出的特征图作为neck模块输入，这些特征图包含了原始图像的抽象表示，具有高度、宽度和深度三个维度。将主干网络得到的多尺度特征图通过PAN-FPN模型进行多尺度特征融合。PAN-FPN结构即Feature PyramidNetwork(FPN)和Path Aggregation Network(PAN)，所示PAN-FPN结构如图6所示。相比于YOLOV5，YOLOv8将YOLOV5中的PAN-FPN上采样阶段的卷积去除了，并且将其中的C3模块替换为了C2f模块。
1.Feature Pyramid Network(FPN)的部分：
自顶向下的特征传播：在网络的高层添加额外的特征层，并通过自顶向下的连接来与底层特征进行融合。
横向连接：自顶向下的特征传播过程中，将高层特征与底层特征逐层连接，形成特征金字塔。
2.Path Aggregation Network(PAN)的部分：
路径聚合模块：引入路径聚合模块，用于有效地整合不同路径(不同尺度)上的特征。
头部网络模块(head)：
通过neck部分得到的融合后的特征向量传递给后续的head网络，head部分主要负责生成预测目标框，包括边界框的位置、对应的类别标签以及每个框的置信度分数。
如图1所示，在步骤S104中，基于得到的YOLOv8模型对待检测的货运列车图像进行异物检测，获取目标预测框、异物类别预测结果以及置信度分数。
利用训练好的模型，将待检测图像作为输入进行检测。具体将输入图像进行图像预处理并经过SiLU激活函数得到检测框的标准化中心坐标、高度、宽度，通过Softmax激活函数获得检测类别标签完成检测。
利用得到的预测目标框和Ground Truth(手动标记的真实目标位置和类别信息)之间的对应关系计算损失函数，其分类损失为VFLloss，其回归损失为CIoULoss+DFL的形式计算：
DFL(Si,Si+1)＝-((yi+1-y)log(Si)+(y-yi)log(Si+1)) (6)
公式(2)中，其中α是一个正的权衡参数，而ν衡量长宽比的一致性。q为bbox(预测框)和gt(真实框)的IoU(交并比)，IoU即预测框和真实框的交集除以两个框的并集，然后p为得分，即概率；然后两个框相交，即q>0，是正样本，两个框无相交，则令q＝0，为负样本。
公式(3)中，IoU是交并比，b和bgt表示两个矩形框的中心点，ρ表示两个矩形框之间的欧式距离，c表示两个矩形框闭合区域的对角线距离，v用于测量两个矩形框相对比例的一致性，α是权重系数。
公式(4)是求出v的值，wgt和hgt分别为真实矩形框的宽和高，w和h为预测框的宽和高。
公式(5)中是计算α的值，α是权重系数。
公式(6)中，Si是网络的sigmod输出，y是label值。
本发明实施例基于先进的YOLOv8目标检测模型，通过YOLOv8 backbone的CBS模块得到不同尺寸的特征图，经过neck部分的PAN-FPN网络实现特征融合得到多尺度的特征向量，使其能够检测不同尺寸的物体，最后在head输出结果，使得每个尺度都有独立的检测器，可以捕捉不同尺度目标的信息，提高的异物检测的准确性。同时，YOLOv8将过去的C3结构换成了梯度流更丰富的C2f结构，有了更多的跳层连接和额外的Spl it操作，实现端到端的目标检测，大大简化了目标检测算法。
本发明实施例提供的一种基于YOLOv8的货运列车异物检测方法，采集货运列车图像，获取原始图像数据集；基于所述原始图像数据集构建训练集、验证集和测试集；使用所述训练集、验证集和测试集分别对YOLOv8模型进行训练、模型调优和调整超参数以及测试，所述YOLOv8模型包括主干网络模块、颈部网络模块和头部网络模块，所述主干网络模块用于对输入的图像进行特征提取，所述颈部网络模块用于对特征图进行多尺度特征融合，所述头部网络模块用于输出目标预测框、异物类别预测结果以及置信度分数；基于得到的YOLOv8模型对待检测的货运列车图像进行异物检测，获取目标预测框、异物类别预测结果以及置信度分数。本发明采用人工智能方法，基于YOLOv8目标检测模型对货运列车场景中的异物进行智能检测，整个网络模型可实现端到端的目标检测，检测效率高，满足货运列车异物检测应用的实时性需求和性能要求。
与上述公开的一种基于YOLOv8的货运列车异物检测方法相对应，本发明实施例还公开了一种基于YOLOv8的货运列车异物检测系统，如图7所示，其具体包括：
图像采集模块，用于采集货运列车图像，获取原始图像数据集；
数据集构建模块，用于基于所述原始图像数据集构建训练集、验证集和测试集；
模型训练和测试模块，用于使用所述训练集、验证集和测试集分别对YOLOv8模型进行训练、模型调优和调整超参数以及测试，所述YOLOv8模型包括主干网络模块、颈部网络模块和头部网络模块，所述主干网络模块用于对输入的图像进行特征提取，所述颈部网络模块用于对特征图进行多尺度特征融合，所述头部网络模块用于输出目标预测框、异物类别预测结果以及置信度分数；
异物检测模块，用于基于得到的YOLOv8模型对待检测的货运列车图像进行异物检测，获取目标预测框、异物类别预测结果以及置信度分数。
需要说明的是，对于本发明实施例提供的一种基于YOLOv8的货运列车异物检测系统的详细描述可以参考对本申请实施例提供的一种基于YOLOv8的货运列车异物检测方法的相关描述，这里不再赘述。
另外，本发明实施例还提供了一种电子设备，所述设备包括：处理器和存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如上任一项所述的一种基于YOLOv8的货运列车异物检测方法的步骤。
需要说明的是，对于本发明实施例提供的一种电子设备的详细描述可以参考对本申请实施例提供的一种基于YOLOv8的货运列车异物检测方法的相关描述，这里不再赘述。
另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述一种基于YOLOv8的货运列车异物检测方法的步骤。
需要说明的是，对于本发明实施例提供的一种计算机可读存储介质的详细描述可以参考对本申请实施例提供的一种基于YOLOv8的货运列车异物检测的相关描述，这里不再赘述。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于YOLOv8的货运列车异物检测方法，其特征在于，所述方法包括：
采集货运列车图像，获取原始图像数据集；
基于所述原始图像数据集构建训练集、验证集和测试集；
使用所述训练集、验证集和测试集分别对YOLOv8模型进行训练、模型调优和调整超参数以及测试，所述YOLOv8模型包括主干网络模块、颈部网络模块和头部网络模块，所述主干网络模块用于对输入的图像进行特征提取，所述颈部网络模块用于对特征图进行多尺度特征融合，所述头部网络模块用于输出目标预测框、异物类别预测结果以及置信度分数；
基于得到的YOLOv8模型对待检测的货运列车图像进行异物检测，获取目标预测框、异物类别预测结果以及置信度分数。
2.如权利要求1所述的一种基于YOLOv8的货运列车异物检测方法，其特征在于，采集货运列车图像，具体包括：
将摄像头通过门型支架固定，当货运列车穿过所述门型支架时由所述摄像头采集货运列车车厢内图像。
3.如权利要求1所述的一种基于YOLOv8的货运列车异物检测方法，其特征在于，基于所述原始图像数据集构建训练集、验证集和测试集，具体包括：
将所述原始图像数据集按照预设比例划分训练集、验证集和测试集；
使用目标检测标注工具对训练集和验证集中的图片进行集中标注。
4.如权利要求3所述的一种基于YOLOv8的货运列车异物检测方法，其特征在于，使用目标检测标注工具对训练集和验证集中的图片进行集中标注，具体包括：
图片标注的异物类别包括细绳、编织袋、石头和塑料物。
5.如权利要求1所述的一种基于YOLOv8的货运列车异物检测方法，其特征在于，所述主干网络模块包括CBS模块、C2f模块以及SPPF模块；
所述CBS模块由卷积层、归一化层以及SiLU激活函数构成，用于通过卷积操作提取局部空间信息，通过归一化层规范化特征值分布，通过激活函数进行非线性变换，实现对输入特征的转换和提取；所述C2f模块包括多个BottleNeck模块，用于提取图像特征；所述SPPF模块包括输入层、多尺度池化层、连接层以及输出层，用于通过多层池化得到不同尺度的特征图。
6.如权利要求1所述的一种基于YOLOv8的货运列车异物检测方法，其特征在于，所述颈部网络模块包括PAN-FPN模块，所述PAN-FPN模块包括FPN特征金字塔网络和PAN路径融合网络，所述FPN特征金字塔网络用于在网络的高层添加额外的特征层，通过自顶向下的连接来与底层特征进行融合，并在自顶向下的特征传播过程中，将高层特征与底层特征逐层连接，形成特征金字塔，所述PAN路径融合网络用于整合不同路径上的特征。
7.如权利要求1所述的一种基于YOLOv8的货运列车异物检测方法，其特征在于，使用所述训练集、验证集和测试集分别对YOLOv8模型进行训练、模型调优和调整超参数以及测试，具体还包括：
根据预测框与真实框比较计算损失函数，所述损失函数包括分类损失函数VFLloss和回归损失函数CIoULoss+DFL。
8.一种基于YOLOv8的货运列车异物检测系统，其特征在于，所述系统包括：
图像采集模块，用于采集货运列车图像，获取原始图像数据集；
数据集构建模块，用于基于所述原始图像数据集构建训练集、验证集和测试集；
模型训练和测试模块，用于使用所述训练集、验证集和测试集分别对YOLOv8模型进行训练、模型调优和调整超参数以及测试，所述YOLOv8模型包括主干网络模块、颈部网络模块和头部网络模块，所述主干网络模块用于对输入的图像进行特征提取，所述颈部网络模块用于对特征图进行多尺度特征融合，所述头部网络模块用于输出目标预测框、异物类别预测结果以及置信度分数；
异物检测模块，用于基于得到的YOLOv8模型对待检测的货运列车图像进行异物检测，获取目标预测框、异物类别预测结果以及置信度分数。
9.一种电子设备，其特征在于，所述设备包括：处理器和存储器；
所述存储器用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1至7任一项所述的一种基于YOLOv8的货运列车异物检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种基于YOLOv8的货运列车异物检测方法的步骤。
CN202311589122.4A 2023-11-27 2023-11-27 基于YOLOv8的货运列车异物检测方法及系统 Pending CN117557860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311589122.4A CN117557860A (zh) 2023-11-27 2023-11-27 基于YOLOv8的货运列车异物检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311589122.4A CN117557860A (zh) 2023-11-27 2023-11-27 基于YOLOv8的货运列车异物检测方法及系统

Publications (1)

Publication Number Publication Date
CN117557860A true CN117557860A (zh) 2024-02-13

Family

ID=89810737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311589122.4A Pending CN117557860A (zh) 2023-11-27 2023-11-27 基于YOLOv8的货运列车异物检测方法及系统

Country Status (1)

Country Link
CN (1) CN117557860A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118262290A (zh) * 2024-04-09 2024-06-28 北京洛斯达科技发展有限公司 一种应用于智慧工地安保的目标检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118262290A (zh) * 2024-04-09 2024-06-28 北京洛斯达科技发展有限公司 一种应用于智慧工地安保的目标检测方法及系统

Similar Documents

Publication Publication Date Title
US20200302248A1 (en) Recognition system for security check and control method thereof
Luo et al. Traffic sign recognition using a multi-task convolutional neural network
Li et al. Localizing and quantifying damage in social media images
CN108830188A (zh) 基于深度学习的车辆检测方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN115731164A (zh) 基于改进YOLOv7的绝缘子缺陷检测方法
CN110717553A (zh) 一种基于自衰减权重和多局部约束的交通违禁品识别方法
CN105574550A (zh) 一种车辆识别方法及装置
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN114399672A (zh) 一种基于深度学习的铁路货车闸瓦故障检测方法
Yadav et al. An improved deep learning-based optimal object detection system from images
CN113657414B (zh) 一种物体识别方法
CN110929746A (zh) 一种基于深度神经网络的电子卷宗标题定位提取与分类方法
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
CN107622280B (zh) 基于场景分类的模块化处方式图像显著性检测方法
CN117557860A (zh) 基于YOLOv8的货运列车异物检测方法及系统
CN108133235A (zh) 一种基于神经网络多尺度特征图的行人检测方法
CN115601682A (zh) 井下皮带运输机异物检测方法和装置
CN111368775A (zh) 一种基于局部上下文感知的复杂场景密集目标检测方法
CN115439654A (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
CN115719475A (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
Yu et al. SignHRNet: Street-level traffic signs recognition with an attentive semi-anchoring guided high-resolution network
CN118279320A (zh) 基于自动提示学习的目标实例分割模型建立方法及其应用
Alif et al. Lightweight Convolutional Network with Integrated Attention Mechanism for Missing Bolt Detection in Railways

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination