CN116129100A - 一种货车零件定位与故障识别方法、装置、设备及介质 - Google Patents

一种货车零件定位与故障识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN116129100A
CN116129100A CN202211574282.7A CN202211574282A CN116129100A CN 116129100 A CN116129100 A CN 116129100A CN 202211574282 A CN202211574282 A CN 202211574282A CN 116129100 A CN116129100 A CN 116129100A
Authority
CN
China
Prior art keywords
image
image data
truck
data set
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211574282.7A
Other languages
English (en)
Inventor
徐建喜
史红梅
边志宏
李林俊
王璐
李朋
马瑞峰
丁颖
王尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
CHN Energy Railway Equipment Co Ltd
Original Assignee
Beijing Jiaotong University
CHN Energy Railway Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University, CHN Energy Railway Equipment Co Ltd filed Critical Beijing Jiaotong University
Priority to CN202211574282.7A priority Critical patent/CN116129100A/zh
Publication of CN116129100A publication Critical patent/CN116129100A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术，揭露了一种货车零件定位与故障识别方法，包括：通过区域标注及图像光照处理生成货车原始图像数据集的标注图像数据集，根据标注图像数据集对目标检测网络进行训练，得到零部件定位网络；标注零部件图像数据集中零部件的故障类型，利用故障类型对应的零部件图像数据集及卷积注意力机制对轻量级卷积神经网络模型进行训练，得到零部件故障识别网络；利用零部件定位网络检测出待测货车图像的货车零部件区域，利用零部件故障识别网络对货车零部件区域进行故障识别，得到零部件故障类型。本发明还提出一种货车零件定位与故障识别装置、电子设备以及存储介质。本发明可以提高货车零件定位和识别的精确度。

Description

一种货车零件定位与故障识别方法、装置、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种货车零件定位与故障识别方法、装置、电子设备及计算机可读存储介质。
背景技术
随着交通行业各领域的蓬勃发展，铁路运输已经占据货物运输的主导地位，铁路货运量和货运周转量双双位居世界第一。铁路运输的发展趋向于重载化和大密度开行，使得铁路安全问题更加严峻。为了提高铁路货车故障的检测准确性和实时性，需要对货车故障部位进行准确定位，以进行货车故障识别。
现有的货车故障识别方法多为基于传统图像识别的方法，主要通过人为提取故障特征，再根据不同故障的特征进行故障识别，一般只针对每类故障。但在实际应用中，货车故障可能存在多中部位，仅考虑针对每类故障，通用性不好，而且检测速度慢，导致对货车零件故障识别方式实用性不够，从而对进行零件定位与故障识别的精确度较低。
发明内容
针对上述问题，本发明的实施例提供了一种货车零件定位与故障识别方法、装置、电子设备及计算机可读存储介质。
第一方面，本发明实施例提供了一种货车零件定位与故障识别方法，包括：
通过区域标注及图像光照处理生成货车原始图像数据集的标注图像数据集；
利用预设的数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集，利用卷积注意力机制对所述增强图像数据集进行注意力加权，得到图像特征集，利用二维视觉激活函数对所述图像特征集进行非线性映射，得到更新图像特征集；
根据所述更新图像特征集和预设的SIOU损失函数计算所述目标检测网络的损失值，直至所述损失值小于预设的损失阈值时，将所述目标检测网络作为零部件定位网络；
从所述标注图像数据集中分割出零部件图像数据集，标注所述零部件图像数据集中零部件的故障类型，利用所述故障类型对应的零部件图像数据集及所述卷积注意力机制对轻量级卷积神经网络模型进行训练，得到零部件故障识别网络；
获取待测货车图像，利用所述零部件定位网络检测出所述待测货车图像的货车零部件区域，利用所述零部件故障识别网络对所述货车零部件区域进行故障识别，得到零部件故障类型。
根据本发明的实施例，所述通过区域标注及图像光照处理生成货车原始图像数据集的标注图像数据集，包括：
对所述货车原始图像数据集中的零件部位进行区域标注，得到区域图像数据集；
利用预设的双边滤波算法对所述区域图像数据集中图像的细节部分和粗略部分进行分离，得到细节图像和粗略图像；
利用预设的Retinex算法对所述粗略图像的光照进行调整，得到增强粗略图像；
将所述细节图像还原至所述增强粗略图像中，得到所述标注图像数据集。
根据本发明的实施例，所述利用卷积注意力机制对所述增强图像数据集进行注意力加权，得到图像特征集，包括：
利用所述卷积注意力机制中的通道注意力模块对所述增强图像数据集进行注意力加权，得到通道注意力权值，将所述通道注意力权值与所述增强图像数据集对应的像素值进行加权，得到通道注意特征图；
利用所述卷积注意力机制中的空间注意力模块对所述通道注意特征图进行注意力加权，得到空间注意力权值，将所述空间注意力权值与所述增强数据集对应的像素值进行加权，得到所述图像特征集。
根据本发明的实施例，所述利用二维视觉激活函数对所述图像特征集进行非线性映射，得到更新图像特征集，包括：
利用预设的特征提取器对所述图像特征集进行空间上下文特征提取，得到空间图像特征集；
利用所述二维视觉激活函数计算所述图像特征集与所述空间图像特征集之间的最大特征值，其中所述二维视觉激活函数为：
y＝max(x,T(x))
其中，y为所述最大特征值，x为所述图像特征集对应的特征值，T(x)为所述空间图像特征集对应的特征值，max为最大值函数；
选取所述最大特征值对应的图像特征集作为所述更新图像特征集。
根据本发明的实施例，所述根据所述更新图像特征集和预设的SIOU损失函数计算所述目标检测网络的损失值，包括：
将所述更新图像特征集输入至目标检测网络中进行训练，得到零部件预测值；
利用如下的SIOU损失函数计算所述零部件预测值与预设的零部件真实值之间的差异值：
Figure BDA0003988632990000021
其中，SIOULoss为所述差异值，IOU为交并比，Δ为距离损失值，Ω为形状损失值；
将所述差异值作为所述目标检测网络的损失值。
根据本发明的实施例，所述利用所述故障类型对应的零部件图像数据集及所述卷积注意力机制对轻量级卷积神经网络模型进行训练，得到零部件故障识别网络，包括:
利用所述轻量级卷积神经网络中的深度可分离卷积层提取所述零部件图像数据集的零部件图像特征集；
利用所述卷积注意力机制对所述零部件图像特征集进行注意力加权处理，得到注意力图像特征集；
根据所述注意力图像特征集和预设的损失函数计算所述轻量级卷积神经网络模型的损失值；
当所述损失值小于预设的损失阈值时，输出当前的轻量级卷积神经网络模型为所述零部件故障识别网络。
根据本发明的实施例，所述利用预设的数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集，包括：
获取所述标注图像数据集中的标注零件的故障类型；
根据所述故障类型对所述标注图像数据集选取预设的数据增强方式，得到更新数据增强方式；
利用所述更新数据增强方式对所述标注图像数据集进行图像数据增强，得到所述增强图像数据集。
第二方面，本发明实施例提供了一种货车零件定位与故障识别装置，其特征在于，包括：
图像光照处理模块，用于通过区域标注及图像光照处理生成货车原始图像数据集的标注图像数据集；
图像数据增强模块，用于利用预设的数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集，利用卷积注意力机制对所述增强图像数据集进行注意力加权，得到图像特征集，利用二维视觉激活函数对所述图像特征集进行非线性映射，得到更新图像特征集；
零部件定位网络确定模块，用于根据所述更新图像特征集和预设的SIOU损失函数计算所述目标检测网络的损失值，直至所述损失值小于预设的损失阈值时，将所述目标检测网络作为零部件定位网络；
零部件故障识别网络训练模块，用于从所述标注图像数据集中分割出零部件图像数据集，标注所述零部件图像数据集中零部件的故障类型，利用所述故障类型对应的零部件图像数据集及所述卷积注意力机制对轻量级卷积神经网络模型进行训练，得到零部件故障识别网络；
货车图像检测模块，用于获取待测货车图像，利用所述零部件定位网络检测出所述待测货车图像的货车零部件区域，利用所述零部件故障识别网络对所述货车零部件区域进行故障识别，得到零部件故障类型。
第三方面，本发明实施例提供了一种电子设备，其包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如前第一方面所述的一种货车零件定位与故障识别方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被被处理器执行时，实现如前第一方面所述的一种货车零件定位与故障识别方法。
与现有技术相比，本发明的上述技术方案具有如下有益效果：
本发明的实施例使用二阶段检测的方式，先定位零部件，再进行故障判别，使得两个网络能够更加专注于需要的特征，降低了误报率和漏报率。针对TFDS光照不均问题设计的Retinex+双边滤波的预处理方法对原始图像数据进行光照处理，以及针对不同故障类型采用不同的数据增强方式的方法。将YOLOv5网络结构中的数据增强方法Mosaic-4替换为Mosaic-9，将激活函数SiLU替换为FReLU，将损失函数CIOU替换为SIOU，在网络结构中嵌入混合注意力机制CBAM，基于改进的YOLOv5网络的零部件区域检测算法，达到了定位速度和精度要求。将MobileNetv3网络中SE注意力模块(通道注意力模块)替换为CBAM模块，进一步提升网络性能，基于改进的MobileNetv3网络的故障分类算法，达到了故障识别精度要求。零件定位和零件故障识别的算法都采用了深度学习的方法，可以很好的满足算法的准确性和实时性要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示了本发明实施例一的货车零件定位与故障识别方法的工作流程图；
图2显示了本发明实施例一的货车零件定位与故障识别方法的YOLOv5s网络结构图；
图3显示了本发明实施例一的货车零件定位与故障识别方法的CBAM注意力机制的结构图；
图4显示了本发明实施例一的货车零件定位与故障识别方法的ReLU、PreLU和FReLU激活函数的对比图；
图5显示了本发明实施例一的货车零件定位与故障识别方法的故障判别方法中的深度可分离卷积示意图；
图6显示了本发明实施例一的货车零件定位与故障识别方法的故障判别方法中倒残差结构图；
图7显示了本发明实施例一的货车零件定位与故障识别方法的零部件定位网络和零部件故障识别网络的训练和应用阶段的流程结构示意图；
图8显示了本发明实施例三的货车零件定位与故障识别装置的功能模块图；
图9显示了本发明实施例五的实现所述货车零件定位与故障识别方法的电子设备的组成结构示意图。
具体实施方式
下面结合附图所示的实施例对本公开作进一步说明。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明提出了一种基于图像采集技术的货车零件定位与故障识别方法，以深度学习理论为基础，结合二分段方法，搭建目标检测网络和故障识别网络，实现货车零件定位与故障识别。相比于传统方法，基于深度学习的货车零件定位与故障识别技术效率更高并降低了零件故障的误报率和漏报率，在货车零件故障识别应用中具有巨大潜力和应用前景。
实施例一
如图1所示，本发明提出了一种货车零件定位与故障识别方法，包括以下步骤：
S1、通过区域标注及图像光照处理生成货车原始图像数据集的标注图像数据集；
本发明实施例中，通过TFDS系统可采集货车原始图像数据集，原始图像集应该包含正常图像和故障图像两大类，为保证图像的多样性，通过TFDS的底部摄像机采集不同车次、不同光照条件下的多列货车图像，进行标注后组成原始图像数据集。但由于TFDS采集的图像具有数量巨大但故障率非常低的特点，使得原始图像数据中的故障样本过少，会影响目标检测网络的性能，因此，需要单独收集故障样本加入到原始图像数据集中以调节样本比例。其中，TFDS是一套集高速图像采集技术、大容量图像数据实时处理技术、精确定位控制技术和自动控制技术于一体的智能化、网络化、信息化系统。
本发明实施例中，所述区域标注是对货车原始图像数据集中标注可能出现故障的零部件区域，即标注出零部件区域。所述标注图像数据集是对原始图像数据集经过区域标注和图像光照处理之后得到的图像数据集。
详细地，由于TFDS系统全天候室外采集图像，因此易受到光照和天气条件的影响，导致图像过明、过暗或光照不均，而TFDS图像的质量直接影响到故障定位识别的准确率，因此，需要对原始图像数据中的图片进行预处理。
本发明实施例中，所述通过区域标注及图像光照处理生成货车原始图像数据集的标注图像数据集，包括：
对所述货车原始图像数据集中的零件部位进行区域标注，得到区域图像数据集；
利用预设的双边滤波算法对所述区域图像数据集中图像的细节部分和粗略部分进行分离，得到细节图像和粗略图像；
利用预设的Retinex算法对所述粗略图像的光照进行调整，得到增强粗略图像；
将所述细节图像还原至所述增强粗略图像中，得到所述标注图像数据集。
详细地，在货车原始图像数据集中对货车的零件部位进行区域标注，可得到进行零件部位标注过的区域图像数据集。
具体地，针对光照不均匀地图像，单一的图像处理方法难以取得好的效果，Retinex算法能够有效地消除光照的影响，但不能提升整个图像的细节部分。因此采用双边滤波算法和Retinex算法相结合以改善TFDS图像质量。这样既保留了图像的细节部分，又有效地抑制了高光对图像地影响。其中，双边滤波算法是一种能同时去除噪声和保持图像边缘细节的空域滤波；Retinex算法是运用某种方法对图像的光照进行估计，然后消除或调整光照以得到一副受环境光照影响较小的增强图像。
进一步地，对货车原始图像数据集进行区域标注和预处理后，就需要将预处理后的图像数据集作为训练数据，用于训练目标检测网络，定位到可能出现故障的零部件区域。
S2、利用预设的数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集，利用卷积注意力机制对所述增强图像数据集进行注意力加权，得到图像特征集，利用二维视觉激活函数对所述图像特征集进行非线性映射，得到更新图像特征集；
本发明实施例中，所述目标检测网络是选用YOLOv5s网络作为基准网络进行训练，以得到零部件定位网络。YOLOv5s网络是一种单阶段目标检测算法。如图2所示，为YOLOv5s网络结构，YOLOv5s网络主要由主干网络Backbone、颈部网络Neck和检测头Head。主干网络采用CSPDarknet53，其作用是特征提取，主要由CBS模块、C3模块和SPPF模块构成。其中最基础的模块是CBS模块，由卷积(Conv)、批归一化(BN)和激活函数(SiLU)组成；C3模块则由ResUnit模块和外侧的CBS模块拼接操作组成；SPPF模块将输入串行通过多个5x5大小的MaxPool层，再将各结果拼接后通过CBS模块。颈部网络的作用是实现特征融合，将主干网络不同阶段生成的具有不同感受野的中间特征图拼接融合后输入到检测头中。检测头的作用是输出预测结果，其中最主要的操作时1×1卷积，具体而言，假设输入图像的大小为640×640×3，颈部网络输出的三个特征图具体尺寸分别为80×80×256、40×40×512和20×20×1024。
详细地，在YOLOv5s网络中得输入端主要是输入标注图像数据集，在输入端会对标注图像数据集进行图像数据增强，自适应图片缩放。在原先的YOLOv5s网络中使用的是Mosaic-4数据增强方法，其计算量比较大，因此将YOLOv5s网络中输入端Mosaic-4替换为Mosaic-9。
本发明实施例中，所述利用预设的数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集，包括：
利用Mosaic-9数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集。
详细地，Mosaic-9数据增强方法是将九张图片进行随机裁剪、缩放后，将九张图片混合成一张图上作为训练图像数据集对模型进行训练。Mosaic-9数据增强方法大量增加了数据信息，增加了小目标物体的数量，在进行归一化操作时会计算九张图片，并不依赖批处理参数，可以减轻计算量。
本发明实施例中，在YOLOv5s网络结构中嵌入混合注意力机制CBAM，用于从众多的图像信息中选择出更关键的零部件图像。在深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息，在计算能力有限的情况下，根据特征的重要性不同，进行资源分配，更注重其中重要的信息，抑制不重要的信息，解决信息超载的问题。如图3所示，是CBAM注意力机制的结构图，通常可以分为通道注意力机制和空间注意力机制，CBAM模块则是将两者结合，从而更有效的改善对于兴趣目标的检测性能，由通道注意力模块和空间注意力模块拼接组成，两个模块分别对应两种不同注意力机制的计算。
本发明实施例中，所述利用卷积注意力机制对所述增强图像数据集进行注意力加权，得到图像特征集，包括：
利用所述卷积注意力机制中的通道注意力模块对所述增强图像数据集进行注意力加权，得到通道注意力权值，将所述通道注意力权值与所述增强图像数据集对应的像素值进行加权，得到通道注意特征图；
利用所述卷积注意力机制中的空间注意力模块对所述通道注意特征图进行注意力加权，得到空间注意力权值，将所述空间注意力权值与所述增强数据集对应的像素值进行加权，得到所述图像特征集。
详细地，通道注意力模块是关注什么样的特征是有意义的，即先利用通道注意力模块对增强图像数据集进行通道注意力提取，提取的是平均池化及最大池化的权值之和作为全图特征图的权值，将通道注意力权重与增强图像数据集对应的像素值进行加权，得到通道注意力特征图，再对通道注意力特征图进行空间注意力的提取，对特征图进行平均值池化和最大值池化，可得到空间注意力权值，最后将空间注意力权值与增强数据集对应的像素值进行加权，得到图像特征集。所述图像特征集对针对货车图像中零件中重要程度得到的图像特征，注重更易于出现故障的货车零部件图像。
进一步地，为了实现像素级建模能力，将YOLOv5s网络结构中主干网络包含的CBS模块中的SiLU激活函数替换为FReLU激活函数，如图4所示，为ReLU、PreLU和FReLU激活函数的对比图，FReLU激活函数通过增加可忽略的空间条件开销，设置一个空间条件T(·)，将ReLU和PreLU激活函数变为二维视觉激活函数，以简单的方式实现了像素级建模能力。
本发明实施例中，所述利用二维视觉激活函数对所述图像特征集进行非线性映射，得到更新图像特征集，包括：
利用预设的特征提取器对所述图像特征集进行空间上下文特征提取，得到空间图像特征集；
利用所述二维视觉激活函数计算所述图像特征集与所述空间图像特征集之间的最大特征值，其中所述二维视觉激活函数为：
y＝max(x,T(x))
其中，y为所述最大特征值，x为所述图像特征集对应的特征值，T(x)为所述空间图像特征集对应的特征值，max为最大值函数；
选取所述最大特征值对应的图像特征集作为所述更新图像特征集。
详细地，所述特征提取器是一种简单高效的上下文特征提取器，FReLU激活函数扩展为二维条件、取决于每个像素的空间上下文，使用max获得x和条件之间的最大值。
具体地，将所述增强图像数据集经过YOLOv5s网络中的主干网络提取所述增强图像数据集的图像特征集，然后将图像特征集输入至YOLOv5s网络中的颈部网络进行特征融合，将主干网络不同阶段生成的具有不同感受野的中间特征图拼接融合后输入到检测头中，检测头输出模型预测结果，得到目标检测网络的训练参数，需要利用损失函数不断调整训练参数，使目标检测网络获得最优参数，用于货车零部件的定位。
S3、根据所述更新图像特征集和预设的SIOU损失函数计算所述目标检测网络的损失值，直至所述损失值小于预设的损失阈值时，将所述目标检测网络作为零部件定位网络；
本发明实施例中，在YOLOv5s网络中通常使用传统的CIOU损失函数依赖于边界框回归指标的聚合，忽略了所需真实框与预测框之间不匹配的方向，这种不足导致收敛速度较慢且效率较低，因为预测框可能在训练过程中“四处游荡”并最终产生更差的模型。因此，将CIOU损失函数替换为SIOU损失函数，新型损失函数SIOU考虑到所需的回归之间的向量角度，重新定义了惩罚指标，能够提高训练的速度和推理的准确性。
本发明实施例中，所述根据所述更新图像特征集和预设的SIOU损失函数计算所述目标检测网络的损失值，包括：
将所述更新图像特征集输入至目标检测网络中进行训练，得到零部件预测值；
利用如下的SIOU损失函数计算所述零部件预测值与预设的零部件真实值之间的差异值：
Figure BDA0003988632990000091
其中，SIOULoss为所述差异值，IOU为交并比，Δ为距离损失值，Ω为形状损失值；
将所述差异值作为所述目标检测网络的损失值。
详细地，采用SIOU损失代替CIOU损失来描述总损失函数中预测框定位损失的部分。SIOU损失主要涉及四部分损失：角度损失、距离损失、形状损失和IOU损失。SIOU损失计算公式中的Δ为距离损失值，也包含描述角度损失的参数。
具体地，目标检测网络根据损失值会反向传播去更新模型的各个参数，来降低真实值与预测值之间的损失，使模型生成的预测值往真实值靠拢，直至所述损失值小于预设的损失阈值时，将当前的目标检测网络作为零部件定位网络。零部件定位网络的作用是定位到可能出现故障的零部件区域，是故障判别的前提，满足实时性和准确性两个指标。
进一步地，零部件定位网络在训练完成后用于定位可能存在故障的零部件区域，然后将存在故障的零部件区域从原始图像中切割出来，用于对零部件故障的类型进行识别。
S4、从所述标注图像数据集中分割出零部件图像数据集，标注所述零部件图像数据集中零部件的故障类型，利用所述故障类型对应的零部件图像数据集及所述卷积注意力机制对轻量级卷积神经网络模型进行训练，得到零部件故障识别网络；
本发明实施例中，所述零部件图像数据集是目标检测模型训练完成后用于定位可能存在故障的零部件区域，然后将它们从标注图像中切割出来获得零部件子图像。将它们按类别放入不同文件夹，每种零部件均分为正常和故障两类，这样就构成了零部件图像数据集。
详细地，对所述零部件图像数据中标注零部件的故障类型，用于对故障分类网络进行训练。其中，零件故障类型包括丢失类故障(如闸瓦插销丢失、脱轨自动装置拉环丢失)、门关闭类故障(如脱轨自动制动阀塞门手把关闭)、厚度超限类故障(如闸瓦厚度超限)。
本发明实施例中，所述零部件故障识别网络的作用是从切割出来的零部件图像中判断是否存在故障且识别零部件故障类型，对于每一种零部件都是一个二分类问题，在考虑实时性和准确度的情况下选用轻量级网络MobileNetv3作为分类模型基础网络。MobileNetv3网络(轻量级卷积神经网络)是面向移动和嵌入式设备的轻量级卷积神经网络模型，采用深度可分离卷积、倒残差结构和SE注意力机制在保持模型较高精度的情况下大大的减少了模型的参数量和计算量，有效地提升了模型检测速度。
本发明实施例中，所述利用所述故障类型对应的零部件图像数据集及所述卷积注意力机制对轻量级卷积神经网络模型进行训练，得到零部件故障识别网络，包括:
利用所述轻量级卷积神经网络中的深度可分离卷积层提取所述零部件图像数据集的零部件图像特征集；
利用所述卷积注意力机制对所述零部件图像特征集进行注意力加权处理，得到注意力图像特征集；
根据所述注意力图像特征集和预设的损失函数计算所述轻量级卷积神经网络模型的损失值；
当所述损失值小于预设的损失阈值时，输出当前的轻量级卷积神经网络模型为所述零部件故障识别网络。
详细地，如图5所示，为深度可分离卷积示意图，深度可分离卷积由DW卷积和PW卷积组成，首先针对输入通道应用单个滤波器进行滤波，不增加通道数量，然后逐点应用1×1卷积增加通道数，通过这种分解方式，使计算量和模型体积成倍减少。在轻量级卷积神经网络中还包括倒残差结构，如图6所示，先将特征通过扩展层(Expansion Layer)扩展维度，再用深度可分离卷积进一步提取特征，最后通过压缩层(Projection Layer)将扩展后的特征压缩回原维度。
具体地，在原有的轻量级卷积神经网络中的SE模块针对得到的特征矩阵，对每一个通道进行池化处理，然后依次经过两个全连接层，其中第二个全连接层输出结果可理解为对特征矩阵的每一个通道分析出的权重关系，比较重要的赋予较大的权重。在网络内部嵌入SE注意力机制，使网络能够动态调节各通道的权重(通道注意)，有效提升了模型性能。但的SE模块只是针对通道注意力，现将SE通道注意力模块替换为CBAM模块，可以进一步提升网络性能。CBAM模块由通道注意力模块和空间注意力模块拼接组成，从而更有效的改善对于兴趣目标的检测性能，即更有效对零部件中出现故障的部件更加注意。
进一步地，轻量级卷积神经网络根据损失值会反向传播去更新模型的各个参数，来降低真实值与预测值之间的损失，使模型生成的预测值往真实值靠拢，直至所述损失值小于预设的损失阈值时，将当前的轻量级卷积神经网络作为零部件故障识别网络。
S5、获取待测货车图像，利用所述零部件定位网络检测出所述待测货车图像的货车零部件区域，利用所述零部件故障识别网络对所述货车零部件区域进行故障识别，得到零部件故障类型。
本发明实施例中，可以对待测图片经处理后先后经过训练好的目标检测网络和图像分类网络后即可得到图像是否存在故障、故障类型和故障位置等信息。系统获得的故障图片需要人工再进行确认，然后用于更新故障数据库，进一步优化网络参数。
本发明实施例中，所述利用所述零部件故障识别网络对所述货车零部件区域进行故障识别，得到零部件故障类型，包括：
利用所述零部件故障识别网络中的分类器判断所述货车零部件区域是否存在故障；
当所述货车零部件区域存在故障时，对所述货车零部件区域的故障类型进行确定，得到所述零部件故障类型；
当所述货车零部件区域不存在故障时，将所述货车零部件区域进行剔除。
详细地，利用零部件定位网络对待测图片中的零部件进行定位，可得到货车零部件区域，再利用零部件故障识别网络对货车零部件区域中的零件是否存在故障，并确认故障的类型。当零部件存在故障时，由人工进行零部件故障类型和位置进行确认；当零部件不存在故障时，则剔除该货车零部件区域。
具体地，在对待测图片进行零部件定位且故障类型识别时，先精确定位零部件区域，再对其进行故障类型判断识别。如图7所示，为零部件定位网络和零部件故障识别网络的训练和应用阶段的流程结构示意图。在训练阶段，首先需要获取大量TFDS拍摄的货车图像样本构建原始图像数据集，标注可能出现故障的零部件区域；再将标注好的样本数据经图像预处理后用来训练目标检测网络获得最优参数，再利用训练好的目标检测网络生成目标矩形框；然后将框选出的零部件区域单独分离出来构建零部件图像数据集，对每个零部件图像标注是否存在故障；最后再利用零部件图像数据集来训练图像分类网络。在应用阶段，待测图片经预处理后先后经过训练好的目标检测网络和图像分类网络后即可得到图像是否存在故障、故障类型和故障位置等信息。系统获得的故障图片需要人工再进行确认，然后用于更新故障数据库，进一步优化网络参数。
实施例二
为了更加清楚地了解本发明，下面通过一个第二实施例进一步解释本发明实施例在对不同的故障类型进行图像数据增强时的情况。
本发明实施例中，为了增强网络模型的泛化能力，缓解过拟合问题和样本不平衡问题，需要进行数据增强，针对不同的故障类型应该选取合适的图像增强方式以达到最好的效果。
本发明实施例中，所述利用预设的数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集，包括：
获取所述标注图像数据集中的标注零件的故障类型；
根据所述故障类型对所述标注图像数据集选取预设的数据增强方式，得到更新数据增强方式；
利用所述更新数据增强方式对所述标注图像数据集进行图像数据增强，得到所述增强图像数据集。
详细地，针对不同的故障类型应该选取合适的数据增强方式，以使图像达到最好的效果。所述更新数据增强方式是指根据故障类型从众多的数据增强方式中选取合适的数据增强方式。如数据增强方式有旋转、平移、翻转和调节亮度等方式，根据零件故障类型，可能只选取旋转的数据增强方式，即旋转的数据增强方式为更新数据增强方式。
示例性地，针对丢失类故障(如闸瓦插销丢失、脱轨自动装置拉环丢失)需要关注的是整体特征，即有和无的区别，则选取的数据增强方式可以为旋转、平移、翻转和调节亮度等方式，选用其中一种或多种方式增强样本数据；针对塞门关闭类故障(如脱轨自动制动阀塞门手把关闭)需要关注的是塞门的开闭状态，即手把的角度问题，可通过旋转方法增强图片将更有利于模型泛用性；针对厚度超限类故障(如闸瓦厚度超限)本质上是定量问题，除亮度调节、对比度调节等增强方式外更需要注意的是原图的比例问题，应该在整个过程中保持图像原有比例。
实施例三
如图8所示，本实施例还提供一种货车零件定位与故障识别装置的功能模块图。
本实施例所述的货车零件定位与故障识别装置100可以安装于电子设备中。根据实现的功能，所述货车零件定位与故障识别装置100可以包括图像光照处理模块101、图像数据增强模块102、零部件定位网络确定模块103、零部件故障识别网络训练模块104及货车图像检测模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述图像光照处理模块101，用于通过区域标注及图像光照处理生成货车原始图像数据集的标注图像数据集；
所述图像数据增强模块102，用于利用预设的数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集，利用卷积注意力机制对所述增强图像数据集进行注意力加权，得到图像特征集，利用二维视觉激活函数对所述图像特征集进行非线性映射，得到更新图像特征集；
所述零部件定位网络确定模块103，用于根据所述更新图像特征集和预设的SIOU损失函数计算所述目标检测网络的损失值，直至所述损失值小于预设的损失阈值时，将所述目标检测网络作为零部件定位网络；
所述零部件故障识别网络训练模块104，用于从所述标注图像数据集中分割出零部件图像数据集，标注所述零部件图像数据集中零部件的故障类型，利用所述故障类型对应的零部件图像数据集及所述卷积注意力机制对轻量级卷积神经网络模型进行训练，得到零部件故障识别网络；
所述货车图像检测模块105，用于获取待测货车图像，利用所述零部件定位网络检测出所述待测货车图像的货车零部件区域，利用所述零部件故障识别网络对所述货车零部件区域进行故障识别，得到零部件故障类型。
详细地，本发明实施例中所述货车零件定位与故障识别装置100中所述的各模块在使用时采用如实施例一和实施例二所述的货车零件定位与故障识别方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
实施例四
如图9所示，本实施例还提供一种计算机电子设备，所述电子设备可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如货车零件定位与故障识别程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行货车零件定位与故障识别程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如货车零件定位与故障识别程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图中仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图中示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器11存储的货车零件定位与故障识别程序是多个指令的组合，在所述处理器10中运行时，可以实现：
通过区域标注及图像光照处理生成货车原始图像数据集的标注图像数据集；
利用预设的数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集，利用卷积注意力机制对所述增强图像数据集进行注意力加权，得到图像特征集，利用二维视觉激活函数对所述图像特征集进行非线性映射，得到更新图像特征集；
根据所述更新图像特征集和预设的SIOU损失函数计算所述目标检测网络的损失值，直至所述损失值小于预设的损失阈值时，将所述目标检测网络作为零部件定位网络；
从所述标注图像数据集中分割出零部件图像数据集，标注所述零部件图像数据集中零部件的故障类型，利用所述故障类型对应的零部件图像数据集及所述卷积注意力机制对轻量级卷积神经网络模型进行训练，得到零部件故障识别网络；
获取待测货车图像，利用所述零部件定位网络检测出所述待测货车图像的货车零部件区域，利用所述零部件故障识别网络对所述货车零部件区域进行故障识别，得到零部件故障类型。
具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
实施例五
本实施例提供了一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现如上文所述的货车零件定位与故障识别方法的步骤。
这些程序代码也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。
存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。存储介质的例子可以包括但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够除了在这里图示或描述的那些以外的顺序实施。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种货车零件定位与故障识别方法，其特征在于，所述方法包括：
通过区域标注及图像光照处理生成货车原始图像数据集的标注图像数据集；
利用预设的数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集，利用卷积注意力机制对所述增强图像数据集进行注意力加权，得到图像特征集，利用二维视觉激活函数对所述图像特征集进行非线性映射，得到更新图像特征集；
根据所述更新图像特征集和预设的SIOU损失函数计算所述目标检测网络的损失值，直至所述损失值小于预设的损失阈值时，将所述目标检测网络作为零部件定位网络；
从所述标注图像数据集中分割出零部件图像数据集，标注所述零部件图像数据集中零部件的故障类型，利用所述故障类型对应的零部件图像数据集及所述卷积注意力机制对轻量级卷积神经网络模型进行训练，得到零部件故障识别网络；
获取待测货车图像，利用所述零部件定位网络检测出所述待测货车图像的货车零部件区域，利用所述零部件故障识别网络对所述货车零部件区域进行故障识别，得到零部件故障类型。
2.如权利要求1所述的货车零件定位与故障识别方法，其特征在于，所述通过区域标注及图像光照处理生成货车原始图像数据集的标注图像数据集，包括：
对所述货车原始图像数据集中的零件部位进行区域标注，得到区域图像数据集；
利用预设的双边滤波算法对所述区域图像数据集中图像的细节部分和粗略部分进行分离，得到细节图像和粗略图像；
利用预设的Retinex算法对所述粗略图像的光照进行调整，得到增强粗略图像；
将所述细节图像还原至所述增强粗略图像中，得到所述标注图像数据集。
3.如权利要求1所述的货车零件定位与故障识别方法，其特征在于，所述利用卷积注意力机制对所述增强图像数据集进行注意力加权，得到图像特征集，包括：
利用所述卷积注意力机制中的通道注意力模块对所述增强图像数据集进行注意力加权，得到通道注意力权值，将所述通道注意力权值与所述增强图像数据集对应的像素值进行加权，得到通道注意特征图；
利用所述卷积注意力机制中的空间注意力模块对所述通道注意特征图进行注意力加权，得到空间注意力权值，将所述空间注意力权值与所述增强数据集对应的像素值进行加权，得到所述图像特征集。
4.如权利要求1所述的货车零件定位与故障识别方法，其特征在于，所述利用二维视觉激活函数对所述图像特征集进行非线性映射，得到更新图像特征集，包括：
利用预设的特征提取器对所述图像特征集进行空间上下文特征提取，得到空间图像特征集；
利用所述二维视觉激活函数计算所述图像特征集与所述空间图像特征集之间的最大特征值，其中所述二维视觉激活函数为：
y＝max(x,T(x))
其中，y为所述最大特征值，x为所述图像特征集对应的特征值，T(x)为所述空间图像特征集对应的特征值，max为最大值函数；
选取所述最大特征值对应的图像特征集作为所述更新图像特征集。
5.如权利要求1所述的货车零件定位与故障识别方法，其特征在于，所述根据所述更新图像特征集和预设的SIOU损失函数计算所述目标检测网络的损失值，包括：
将所述更新图像特征集输入至目标检测网络中进行训练，得到零部件预测值；
利用如下的SIOU损失函数计算所述零部件预测值与预设的零部件真实值之间的差异值：
Figure FDA0003988632980000021
其中，SIOULoss为所述差异值，IOU为交并比，Δ为距离损失值，Ω为形状损失值；
将所述差异值作为所述目标检测网络的损失值。
6.如权利要求1所述的货车零件定位与故障识别方法，其特征在于，所述利用所述故障类型对应的零部件图像数据集及所述卷积注意力机制对轻量级卷积神经网络模型进行训练，得到零部件故障识别网络，包括:
利用所述轻量级卷积神经网络中的深度可分离卷积层提取所述零部件图像数据集的零部件图像特征集；
利用所述卷积注意力机制对所述零部件图像特征集进行注意力加权处理，得到注意力图像特征集；
根据所述注意力图像特征集和预设的损失函数计算所述轻量级卷积神经网络模型的损失值；
当所述损失值小于预设的损失阈值时，输出当前的轻量级卷积神经网络模型为所述零部件故障识别网络。
7.如权利要求1所述的货车零件定位与故障识别方法，其特征在于，所述利用预设的数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集，包括：
获取所述标注图像数据集中的标注零件的故障类型；
根据所述故障类型对所述标注图像数据集选取预设的数据增强方式，得到更新数据增强方式；
利用所述更新数据增强方式对所述标注图像数据集进行图像数据增强，得到所述增强图像数据集。
8.一种货车零件定位与故障识别装置，其特征在于，所述装置包括：
图像光照处理模块，用于通过区域标注及图像光照处理生成货车原始图像数据集的标注图像数据集；
图像数据增强模块，用于利用预设的数据增强方式对所述标注图像数据集进行图像数据增强，得到增强图像数据集，利用卷积注意力机制对所述增强图像数据集进行注意力加权，得到图像特征集，利用二维视觉激活函数对所述图像特征集进行非线性映射，得到更新图像特征集；
零部件定位网络确定模块，用于根据所述更新图像特征集和预设的SIOU损失函数计算所述目标检测网络的损失值，直至所述损失值小于预设的损失阈值时，将所述目标检测网络作为零部件定位网络；
零部件故障识别网络训练模块，用于从所述标注图像数据集中分割出零部件图像数据集，标注所述零部件图像数据集中零部件的故障类型，利用所述故障类型对应的零部件图像数据集及所述卷积注意力机制对轻量级卷积神经网络模型进行训练，得到零部件故障识别网络；
货车图像检测模块，用于获取待测货车图像，利用所述零部件定位网络检测出所述待测货车图像的货车零部件区域，利用所述零部件故障识别网络对所述货车零部件区域进行故障识别，得到零部件故障类型。
9.一种电子设备，其包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权力要求1至7中任一项所述的货车零件定位与故障识别方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时，实现如权力要求1至7中任一项所述的货车零件定位与故障识别方法。
CN202211574282.7A 2022-12-08 2022-12-08 一种货车零件定位与故障识别方法、装置、设备及介质 Pending CN116129100A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211574282.7A CN116129100A (zh) 2022-12-08 2022-12-08 一种货车零件定位与故障识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211574282.7A CN116129100A (zh) 2022-12-08 2022-12-08 一种货车零件定位与故障识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116129100A true CN116129100A (zh) 2023-05-16

Family

ID=86298269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211574282.7A Pending CN116129100A (zh) 2022-12-08 2022-12-08 一种货车零件定位与故障识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116129100A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703837A (zh) * 2023-05-24 2023-09-05 北京大学第三医院（北京大学第三临床医学院） 一种基于mri图像的肩袖损伤智能识别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703837A (zh) * 2023-05-24 2023-09-05 北京大学第三医院（北京大学第三临床医学院） 一种基于mri图像的肩袖损伤智能识别方法及装置
CN116703837B (zh) * 2023-05-24 2024-02-06 北京大学第三医院（北京大学第三临床医学院） 一种基于mri图像的肩袖损伤智能识别方法及装置

Similar Documents

Publication Publication Date Title
US20210182713A1 (en) Explainable artificial intelligence (ai) based image analytic, automatic damage detection and estimation system
CN104350510B (zh) 用于将图像的前景对象与背景模型区分开的方法和系统
CN113486726A (zh) 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN111767878B (zh) 嵌入式设备中基于深度学习的交通标志检测方法及系统
CN108509954A (zh) 一种实时交通场景的多车牌动态识别方法
Ardianto et al. Real-time traffic sign recognition using color segmentation and SVM
CN111209858B (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN112528908B (zh) 活体检测方法、装置、电子设备及存储介质
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN112861931B (zh) 一种基于差异注意力神经网络的多级别变化检测方法、系统、介质及电子设备
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN113177528B (zh) 基于多任务学习策略训练网络模型的车牌识别方法及系统
CN112200189B (zh) 基于SPP-YOLOv3的车型识别方法、装置及计算机可读存储介质
CN112926595B (zh) 深度学习神经网络模型的训练装置、目标检测系统及方法
Fernando et al. Automatic road traffic signs detection and recognition using ‘You Only Look Once’version 4 (YOLOv4)
CN116206171A (zh) 一种车辆异物故障检测方法、装置、电子设备及存储介质
CN116129100A (zh) 一种货车零件定位与故障识别方法、装置、设备及介质
CN114627435B (zh) 基于图像识别的智能灯光调节方法、装置、设备及介质
CN115424217A (zh) 基于ai视觉的车辆智能识别方法、装置和电子设备
CN113936299A (zh) 建筑工地中危险区域检测方法
CN112017065B (zh) 车辆定损理赔方法、装置及计算机可读存储介质
CN117455762A (zh) 基于全景行车记录仪的记录画面分辨率提升方法及系统
CN116206096A (zh) 一种铁路货车图像关键故障识别方法、装置、设备及介质
CN116563850A (zh) 多类别目标检测方法及其模型训练方法、装置
CN115760854A (zh) 基于深度学习的电力设备缺陷检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination