CN114445746A - 模型训练方法、铁路接触网异常检测方法及相关装置 - Google Patents

模型训练方法、铁路接触网异常检测方法及相关装置 Download PDF

Info

Publication number
CN114445746A
CN114445746A CN202210095780.7A CN202210095780A CN114445746A CN 114445746 A CN114445746 A CN 114445746A CN 202210095780 A CN202210095780 A CN 202210095780A CN 114445746 A CN114445746 A CN 114445746A
Authority
CN
China
Prior art keywords
training
image
images
label
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210095780.7A
Other languages
English (en)
Inventor
赵冰
王鹏飞
刘鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN202210095780.7A priority Critical patent/CN114445746A/zh
Publication of CN114445746A publication Critical patent/CN114445746A/zh
Priority to PCT/CN2022/113525 priority patent/WO2023142452A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了模型训练方法、铁路接触网异常检测方法、装置、电子设备及计算机可读存储介质，该模型训练方法包括：获取初始训练图像和对应的初始训练标签；识别并裁剪初始训练标签在初始训练图像中对应的标签图像；将若干个类别的标签图像分别进行数据增强，得到增强图像；其中，各个类别对应的标签图像和增强图像的数量之和相同；针对每个初始训练图像，获取对应的若干个目标标签图像和/或目标增强图像，并利用目标标签图像和/或目标增强图像对初始训练图像进行叠加，得到对应的训练图像；生成训练图像对应的训练标签，并利用训练图像和训练标签对初始模型进行训练，得到图像处理模型；该方法得到的图像处理模型具有较强的识别能力和准确性。

Description

模型训练方法、铁路接触网异常检测方法及相关装置
技术领域
本申请涉及图像处理技术领域，特别涉及模型训练方法、铁路接触网异常检测方法及相关装置。
背景技术
高速铁路接触网用于为列车行驶提供动力，其运行状态直接影响高速铁路的正常运行。为保证接触网正常工作，铁路相关部门采用多种方式对接触网进行巡检，以及时开展检修工作。当前通常采用检修车等装备对接触网进行非接触式图像采集，然后利用网络模型对采集到的图像进行异常检测。然而，铁路接触网图像中异常部分尺寸较小，占整张图像的比例较小，使得模型无法有效学习到异常部分的特征；接触网出现异常的概率较低，使得训练图像数量少；各类异常存在类别间的数据量差异现象，即各类别异常的数量差异较大。这使得网络模型的识别准确率较差。
发明内容
有鉴于此，本申请的目的在于提供模型训练方法、铁路接触网异常检测方法及相关装置，使得图像处理模型具有较强的识别能力和准确性。
为解决上述技术问题，本申请提供了一种模型训练方法，包括：
获取初始训练图像和对应的初始训练标签；
识别并裁剪所述初始训练标签在所述初始训练图像中对应的标签图像；
将若干个类别的所述标签图像分别进行数据增强，得到增强图像；其中，各个类别对应的所述标签图像和所述增强图像的数量之和相同；
针对每个所述初始训练图像，获取对应的若干个目标标签图像和/或目标增强图像，并利用所述目标标签图像和/或目标增强图像对所述初始训练图像进行叠加，得到对应的训练图像；
生成所述训练图像对应的训练标签，并利用所述训练图像和所述训练标签对初始模型进行训练，得到图像处理模型。
可选地，所述将若干个类别的所述标签图像分别进行数据增强，包括：
确定各个类别的所述标签图像对应的图像数量，并利用所述图像数量确定最大图像数量；
将目标类别下的所述标签图像进行数据增强，以便所述目标类别下的所述目标图像和所述增强图像的数量之和为所述最大图像数量；其中，所述目标类别为图像数量小于最大图像数量的类别。
可选地，所述生成所述训练图像对应的训练标签，包括：
从每个所述初始训练图像对应的所述目标标签图像和/或目标增强图像中确定若干个待标记图像；
利用所述待标记图像的类别和位置信息，以及所述初始训练图像对应的所述初始训练标签生成所述训练标签。
可选地，所述利用所述训练图像和所述训练标签对初始模型进行训练，得到图像处理模型，包括：
将所述训练图像输入所述初始模型，得到预测结果；
利用所述预测结果和所述训练标签计算焦点损失值，并基于所述焦点损失值对所述初始模型进行参数调节；
若检测到满足训练完成条件，则将参数调节后的初始模型确定为所述图像处理模型。
可选地，所述初始模型具有在线难例挖掘机制，所述方法还包括：
基于所述在线难例挖掘机制判断所述预测结果对应的训练图像是否为重训练图像；
若是，则利用所述重训练图像对所述初始模型进行重复训练。
可选地，所述基于所述在线难例挖掘机制判断所述预测结果对应的训练图像是否为重训练图像，包括：
判断所述预测结果对应的焦点损失值是否大于预设阈值；
若大于所述预设阈值，则确定所述训练图像为所述重训练图像。
可选地，所述初始模型具有软非极大值抑制机制；
所述方法还包括：
基于所述软非极大值抑制机制，对所述预测结果进行候选框冗余去除处理，得到所述预测结果对应的预测候选框。
可选地，所述利用所述目标标签图像和/或目标增强图像对所述初始训练图像进行叠加，得到对应的训练图像，包括：
分别对所述目标标签图像和/或目标增强图像进行分辨率调节处理，得到处理后图像；
将所述处理后图像叠加至所述初始训练图像上，得到对应的训练图像。
本申请还提供了一种铁路接触网异常检测方法，包括：
获取待测图像；
将所述待测图像输入图像处理模型，得到异常检测结果；其中，所述图像处理模型基于上述的模型训练方法得到。
本申请还提供了一种模型训练装置，包括：
初始获取模块，用于获取初始训练图像和对应的初始训练标签；
裁剪模块，用于识别并裁剪所述初始训练标签在所述初始训练图像中对应的标签图像；
增强模块，用于将若干个类别的所述标签图像分别进行数据增强，得到增强图像；其中，各个类别对应的所述标签图像和所述增强图像的数量之和相同；
叠加模块，用于针对每个所述初始训练图像，获取对应的若干个目标标签图像和/或目标增强图像，并利用所述目标标签图像和/或目标增强图像对所述初始训练图像进行叠加，得到对应的训练图像；
训练模块，用于生成所述训练图像对应的训练标签，并利用所述训练图像和所述训练标签对初始模型进行训练，得到图像处理模型。
本申请还提供了一种铁路接触网异常检测装置，包括：
待测获取模块，用于获取待测图像；
异常检测模块，用于将所述待测图像输入图像处理模型，得到异常检测结果；其中，所述图像处理模型基于上述的模型训练方法得到。
本申请还提供了一种电子设备，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现上述的模型训练方法，和/或，上述铁路接触网异常检测方法。
本申请还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的模型训练方法，和/或，上述铁路接触网异常检测方法。
本申请提供的模型训练方法，获取初始训练图像和对应的初始训练标签；识别并裁剪初始训练标签在初始训练图像中对应的标签图像；将若干个类别的标签图像分别进行数据增强，得到增强图像；其中，各个类别对应的标签图像和增强图像的数量之和相同；针对每个初始训练图像，获取对应的若干个目标标签图像和/或目标增强图像，并利用目标标签图像和/或目标增强图像对初始训练图像进行叠加，得到对应的训练图像；生成训练图像对应的训练标签，并利用训练图像和训练标签对初始模型进行训练，得到图像处理模型。
可见，该方法对初始训练图像中的初始训练标签标注的异常部分，即标签图像单独裁剪出来，并对其进行数据增强得到增强图像。通过使得各个类别对应的标签图像和增强图像的数量之和相同，可以使得各类别异常对应的标签图像和增强图像数量相同，在后续训练模型时使其能够具备对各类异常进行检测的能力。通过将利用目标标签图像和/或目标增强图像对初始训练图像进行叠加，可以扩大表示异常的目标标签图像和/或目标增强图像占据整个图像的面积比例，得到对应的训练图像。利用训练图像对初始模型进行训练，可以使得初始模型能够更有效的学习到目标标签图像和/或目标增强图像的特征，具备更强的识别能力。通过上述的图像增强和叠加，得到的不同的训练图像的数量远大于原本的初始训练图像的数量，使得初始模型能够得到充分的训练，得到的图像处理模型具有较强的识别能力和准确性。
此外，本申请还提供了一种模型训练装置、铁路接触网异常检测装置、电子设备及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种模型训练方法流程图；
图2为本申请实施例提供的一种铁路接触网异常检测方法流程图；
图3为本申请实施例提供的一种模型训练及应用流程图；
图4为本申请实施例提供的一种模型训练装置的结构示意图；
图5为本申请实施例提供的一种铁路接触网异常检测装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例提供的一种模型训练方法流程图。该方法包括：
S101：获取初始训练图像和对应的初始训练标签。
初始训练图像，是指直接获取的用于对初始模型进行训练的图像，初始训练标签，是指对初始训练图像的类型进行说明的标签，其形式不做限定，例如可以为坐标+类型，例如当初始训练图像小孩骑自行车的图像时，对应的初始训练标签可以为自行车图像在初始训练图像中的位置坐标+自行车的类别序号，以及小孩在初始训练图像中的位置坐标+小孩的类别序号。即每个初始训练图像对应的初始训练标签可以为一个或多个。
在小样本训练的场景下，初始训练图像的数量较少，例如为几十个。这使得模型无法得到充分的训练，进而导致模型识别准确性差。
S102：识别并裁剪初始训练标签在初始训练图像中对应的标签图像。
为了提高训练数据的数量，本申请采用了特殊的数据增强方法对初始训练图像进行数据增强。通常采用的数据增强方法为对整个初始训练图像进行随机裁剪、拉伸、翻转、旋转、颜色抖动、对比度增强等处理，但是若初始训练图像中用于初始训练标签对应的部分较小，则模型需要学习的、需要被识别出的特征就较少，同样使得模型训练效果差。
为了解决上述问题，本实施例并不对整个初始训练图像进行数据增强，而是将初始训练标签在初始训练图像中对应的部分，即标签图像识别并裁剪出来，以便在后续进行单独的数据增强。
S103：将若干个类别的标签图像分别进行数据增强，得到增强图像。
其中，各个类别对应的标签图像和增强图像的数量之和相同，通过将各个类别的标签图像和经过数据增强后得到的增强图像的数量之和设定为相同，可以平衡用于训练初始模型的训练图像中对应的类别比例，使得训练后的模型能够具备对各种类别的特征进行识别的能力，而并不是仅能够识别更容易出现的特征(因为更容易出现的特征通常具有数量更多的训练图像，使得模型利用训练图像进行训练后能够具备更强的识别该特征的能力)。
数据增强的具体方式不做限定，例如可以为随机裁剪、拉伸、翻转、旋转、颜色抖动、对比度增强等。一个标签图像可以经过一次或多次数据增强，或者也可以不经过数据增强。本实施例并不限定标签图像和增强图像的数量之和的具体大小，在一种实施方式中，确定各个类别的标签图像对应的图像数量，并利用图像数量确定最大图像数量。将目标类别下的标签图像进行数据增强，以便目标类别下的目标图像和增强图像的数量之和为最大图像数量。其中，目标类别为图像数量小于最大图像数量的类别。示例性的，类别A对应的标签图像有5张，类别B对应的标签图像有200张，类别C对应的标签图像有100张图像，则以类型B的数量200张为最大图像数量，对类别A和C的标签图像进行数据增强，使得类别A和C对应的标签图像和增强图像的数量之和为200张，数量最大的类别B的标签图像不进行增强。
S104：针对每个初始训练图像，获取对应的若干个目标标签图像和/或目标增强图像，并利用目标标签图像和/或目标增强图像对初始训练图像进行叠加，得到对应的训练图像。
在数据增强完毕后，针对每一个初始训练图像，都可以或如若干个标签图像和/或增强图像作为该初始训练图像对应的目标标签图像和/或目标增强图像。每个初始训练图像对应与哪些目标标签图像和/或目标增强图像不做限定，例如可以随机分配，或者可以按照预设信息确定，每个初始训练图像对应的目标标签图像和/或目标增强图像的数量可以相同也可以不同，例如每个初始训练图像可以对应于2-5个目标标签图像和/或目标增强图像。
在确定目标标签图像和/或目标增强图像后，将目标标签图像和/或目标增强图像叠加至初始训练图像上，得到训练图像。通过在初始训练图像上叠加目标标签图像和/或目标增强图像，可以增大训练图像上需要被模型学习的特征占据的面积，使得模型在进行训练时能够对这些特征进行过采样，提高模型的训练效果。本实施例并不限定目标标签图像和/或目标增强图像在初始训练图像上的叠加位置，例如可以随机选择位置进行叠加显示。可以理解的是，初始训练图像上原本不需要模型学习的部分被需要学习的部分覆盖，可以使得模型能够从训练图像中提取更多需要学习的信息。具体的，在一种实施方式中，可以分别对目标标签图像和/或目标增强图像进行分辨率调节处理，得到处理后图像，调节的方式可以为将目标标签图像和/或目标增强图像的分别率调节至(原始分辨率，2倍原始分辨率)的区间中，再将处理后图像叠加至初始训练图像上，得到对应的训练图像。通过分辨率调节，可以灵活地调节目标标签图像和/或目标增强图像的大小，满足生成各种训练图像的需求。
S105：生成训练图像对应的训练标签，并利用训练图像和训练标签对初始模型进行训练，得到图像处理模型。
初始模型的类型和结构不做限定，例如在一种实施方式中，其可以为faster r-cnn模型、YOLO模型等。在得到训练图像后，需要利用其进行模型训练，因此需要确定训练图像对应的训练标签。由于训练图像中需要被标注的部分比初始训练图像更多，为了使得训练数据能够起到更好的训练效果，可以对初始训练标签的内容进行扩充，具体的，可以从每个初始训练图像对应的目标标签图像和/或目标增强图像中确定若干个待标记图像。其中，待标记图像可以包括所有的目标标签图像和/或目标增强图像，或者可以为部分目标标签图像和/或目标增强图像，以便减少标记所需的时间。利用待标记图像的类别和位置信息，以及初始训练图像对应的初始训练标签生成训练标签。待标记图像的类别和位置信息可以由人工标记生成，对于执行本申请的电子设备来说，其可以识别用户的操作，并根据操作生成类别和位置信息。在得到待标记图像的类别和位置信息后，将其与所属的初始训练图像的初始训练标签进行整合封装，即可得到训练标签，或者，将待标记图像的类别和位置信息按照初始训练标签的形式进行但对于封装，并将封装后的信息和初始训练标签共同确定为训练标签。
在得到训练标签后，可以利用训练图像和训练标签对初始模型进行训练，得到图像处理模型，具体的训练过程可以包括：将训练图像输入初始模型，得到预测结果。利用预测结果和训练标签计算焦点损失值，并基于焦点损失值对初始模型进行参数调节。若检测到满足训练完成条件，则将参数调节后的初始模型确定为图像处理模型。其中，训练完成条件，是指表示模型达到收敛，可以停止训练的条件，其具体可以为对初始模型训练轮次的限制条件，或者可以为对初始模型的性能限制条件，例如识别准确率条件。
其中，焦点损失值是指focal loss，是一种调整正负样本参与训练的损失函数计算得到的损失值，其中正样本是指训练图像中被训练标签标注出的部分，负样本则为训练图像中未被标注出的部分。focal loss的目的是使使容易分类的样本权重降低，而对难分类的样本权重增加，促使初始模型学习难分类的样本，以提升检测性能。Focal loss定义如下：
Figure BDA0003490750260000081
其中，Lfl为焦点损失值，y’为初始模型为经过初始模型的激活函数的输出数据，平衡因子α为预设参数，用来平衡正负样本本身的比例不均，y用于表示正样本或负样本。
进一步的，初始模型还可以具有在线难例挖掘(OHEM，Online Hard ExampleMining)机制，OHEM能够对训练过程中的困难样本进行自动选择，该机制的核心思想是对输入初始模型的训练图像进行筛选，筛选出困难样本(即对初始模型无法准确分类和检测的训练图像)，然后将筛选得到的这些样本再次用于后续训练中，使得初始模型能够对这些困难样本进行重复学习。在训练过程中，可以基于在线难例挖掘机制判断预测结果对应的训练图像是否为重训练图像，若是，则利用重训练图像对初始模型进行重复训练。具体的，可以根据输入的训练图像的损失值进行筛选，即可以判断预测结果对应的焦点损失值是否大于预设阈值，若大于预设阈值，则确定训练图像为重训练图像。预设阈值的具体大小不做限定。
此外，初始模型还可以具有软非极大值抑制机制。软非极大值抑制机制即SoftNon-maximum suppression，Soft NMS，其是NMS的改进方法。在模型的后处理阶段，采用Soft NMS对冗余框进行删减。Soft NMS不会直接将与得分最高框重合度最高的候选框删除，而是将其分数降低，避免造成的误删，获得更好的边界框去冗余效果。因此在模型训练过程中，可以基于软非极大值抑制机制，对预测结果进行候选框冗余去除处理，得到预测结果对应的预测候选框。Soft-nms公式如下：
Figure BDA0003490750260000091
其中，M表示得分最高框，即等分最高的候选框，bi表示其他候选框，iou表示交并比，si表示bi对应的得分，Nt表示得分阈值。即对IOU大于阈值的窗口得分不直接置0，而是进行线性加权，降低其得分，避免出现误删情况。
经过上述训练过程，训练得到的图像处理模型能够对于训练图像同类的图像进行处理，识别出其中的目标。具体的，在一种实施方式中，训练图像为铁路接触网异常图像，则得到的图像处理模型能够对铁路接触网图像中的异常部分进行识别。具体的，请参考图2，图2为本申请实施例提供的一种铁路接触网异常检测方法流程图，包括：
S201：获取待测图像。
S202：将待测图像输入图像处理模型，得到异常检测结果。
在本实施方式中，待测图像为铁路接触网图像，具体可以为有异常的铁路接触网图像或无异常的铁路接触网图像。将其输入图像处理模型后，图像处理模型能够对待测图像是否存在异常进行检测，得到对应的异常检测结果。异常检测结果具体可以为表示无异常的结果，或者可以为异常的类型和在待测图像中的位置。
请参考图3，图3为本申请实施例提供的一种模型训练及应用流程图。其中，通过数据采集，可以得到初始训练图像，并通过数据初标注得到对应的初始训练标签。在得到上述两种数据后，对其进行目标裁剪，得到标签图像，并进行比例计算确定每个类别需要生成的增强图像的数量，进而进行数据增强，得到增强图像，并在缺陷粘贴部分将标签图像和/或增强图像叠加至初始训练图像上，得到训练图像。在缺陷再采样过程中，从每个训练图像的标签图像和/或增强图像中选择部分作为待标注图像，并对其进行标注得到训练标签。利用训练图像和训练标签对faster r-cnn模型的初始模型进行训练，该初始模型采用focalloss损失，并具有OHEM机制和软非极大值抑制机制。在训练完成后得到图像处理模型，并将图像处理模型部署在电子设备中，利用其对待测图像进行处理，并输出结果。
应用本申请实施例提供的模型训练方法，对初始训练图像中的初始训练标签标注的异常部分，即标签图像单独裁剪出来，并对其进行数据增强得到增强图像。通过使得各个类别对应的标签图像和增强图像的数量之和相同，可以使得各类别异常对应的标签图像和增强图像数量相同，在后续训练模型时使其能够具备对各类异常进行检测的能力。通过将利用目标标签图像和/或目标增强图像对初始训练图像进行叠加，可以扩大表示异常的目标标签图像和/或目标增强图像占据整个图像的面积比例，得到对应的训练图像。利用训练图像对初始模型进行训练，可以使得初始模型能够更有效的学习到目标标签图像和/或目标增强图像的特征，具备更强的识别能力。通过上述的图像增强和叠加，得到的不同的训练图像的数量远大于原本的初始训练图像的数量，使得初始模型能够得到充分的训练，得到的图像处理模型具有较强的识别能力和准确性。
下面对本申请实施例提供的模型训练装置进行介绍，下文描述的模型训练装置与上文描述的模型训练方法可相互对应参照。
请参考图4，图4为本申请实施例提供的一种模型训练装置的结构示意图，包括：
初始获取模块110，用于获取初始训练图像和对应的初始训练标签；
裁剪模块120，用于识别并裁剪所述初始训练标签在所述初始训练图像中对应的标签图像；
增强模块130，用于将若干个类别的所述标签图像分别进行数据增强，得到增强图像；其中，各个类别对应的所述标签图像和所述增强图像的数量之和相同；
叠加模块140，用于针对每个所述初始训练图像，获取对应的若干个目标标签图像和/或目标增强图像，并利用所述目标标签图像和/或目标增强图像对所述初始训练图像进行叠加，得到对应的训练图像；
训练模块150，用于生成所述训练图像对应的训练标签，并利用所述训练图像和所述训练标签对初始模型进行训练，得到图像处理模型。
可选地，增强模块130，包括：
最大数量确定单元，用于确定各个类别的所述标签图像对应的图像数量，并利用所述图像数量确定最大图像数量；
增强单元，用于将目标类别下的所述标签图像进行数据增强，以便所述目标类别下的所述目标图像和所述增强图像的数量之和为所述最大图像数量；其中，所述目标类别为图像数量小于最大图像数量的类别。
可选地，训练模块150，包括：
待标记确定单元，用于从每个所述初始训练图像对应的所述目标标签图像和/或目标增强图像中确定若干个待标记图像；
标签生成单元，用于利用所述待标记图像的类别和位置信息，以及所述初始训练图像对应的所述初始训练标签生成所述训练标签。
可选地，训练模块150，包括：
预测单元，用于将所述训练图像输入所述初始模型，得到预测结果；
参数调节单元，用于利用所述预测结果和所述训练标签计算焦点损失值，并基于所述焦点损失值对所述初始模型进行参数调节；
训练完成确定单元，用于若检测到满足训练完成条件，则将参数调节后的初始模型确定为所述图像处理模型。
可选地，所述初始模型具有在线难例挖掘机制，所述装置还包括：
重训练图像判断模块，用于基于所述在线难例挖掘机制判断所述预测结果对应的训练图像是否为重训练图像；
重复训练模块，用于若是重训练图像，则利用所述重训练图像对所述初始模型进行重复训练。
可选地，重训练图像判断模块，包括：
阈值判断单元，用于判断所述预测结果对应的焦点损失值是否大于预设阈值；
确定单元，用于若大于所述预设阈值，则确定所述训练图像为所述重训练图像。
可选地，所述初始模型具有软非极大值抑制机制；
所述装置还包括：
冗余去除模块，用于基于所述软非极大值抑制机制，对所述预测结果进行候选框冗余去除处理，得到所述预测结果对应的预测候选框。
可选地，叠加模块140，包括：
分辨率调节单元，用于分别对所述目标标签图像和/或目标增强图像进行分辨率调节处理，得到处理后图像；
叠加单元，用于将所述处理后图像叠加至所述初始训练图像上，得到对应的训练图像。
下面对本申请实施例提供的铁路接触网异常检测装置进行介绍，下文描述的模型训练装置与上文描述的铁路接触网异常检测方法可相互对应参照。
请参考图5，图5为本申请实施例提供的一种铁路接触网异常检测装置的结构示意图，包括：
待测获取模块210，用于获取待测图像；
异常检测模块220，用于将所述待测图像输入图像处理模型，得到异常检测结果；其中，所述图像处理模型基于上述的模型训练方法得到。
下面对本申请实施例提供的电子设备进行介绍，下文描述的电子设备与上文描述的模型训练方法可相互对应参照。
请参考图6，图6为本申请实施例提供的一种电子设备的结构示意图。其中电子设备100可以包括处理器101和存储器102，还可以进一步包括多媒体组件103、信息输入/信息输出(I/O)接口104以及通信组件105中的一种或多种。
其中，处理器101用于控制电子设备100的整体操作，以完成上述的模型训练方法中的全部或部分步骤；存储器102用于存储各种类型的数据以支持在电子设备100的操作，这些数据例如可以包括用于在该电子设备100上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-OnlyMemory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
多媒体组件103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或通过通信组件105发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口104为处理器101和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件105用于电子设备100与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件105可以包括：Wi-Fi部件，蓝牙部件，NFC部件。
电子设备100可以被一个或多个应用专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的模型训练方法。
下面对本申请实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的模型训练方法可相互对应参照。
本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的模型训练方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种模型训练方法，其特征在于，包括：
获取初始训练图像和对应的初始训练标签；
识别并裁剪所述初始训练标签在所述初始训练图像中对应的标签图像；
将若干个类别的所述标签图像分别进行数据增强，得到增强图像；其中，各个类别对应的所述标签图像和所述增强图像的数量之和相同；
针对每个所述初始训练图像，获取对应的若干个目标标签图像和/或目标增强图像，并利用所述目标标签图像和/或目标增强图像对所述初始训练图像进行叠加，得到对应的训练图像；
生成所述训练图像对应的训练标签，并利用所述训练图像和所述训练标签对初始模型进行训练，得到图像处理模型。
2.根据权利要求1所述的模型训练方法，其特征在于，所述将若干个类别的所述标签图像分别进行数据增强，包括：
确定各个类别的所述标签图像对应的图像数量，并利用所述图像数量确定最大图像数量；
将目标类别下的所述标签图像进行数据增强，以便所述目标类别下的所述目标图像和所述增强图像的数量之和为所述最大图像数量；其中，所述目标类别为图像数量小于最大图像数量的类别。
3.根据权利要求1所述的模型训练方法，其特征在于，所述生成所述训练图像对应的训练标签，包括：
从每个所述初始训练图像对应的所述目标标签图像和/或目标增强图像中确定若干个待标记图像；
利用所述待标记图像的类别和位置信息，以及所述初始训练图像对应的所述初始训练标签生成所述训练标签。
4.根据权利要求1所述的模型训练方法，其特征在于，所述利用所述训练图像和所述训练标签对初始模型进行训练，得到图像处理模型，包括：
将所述训练图像输入所述初始模型，得到预测结果；
利用所述预测结果和所述训练标签计算焦点损失值，并基于所述焦点损失值对所述初始模型进行参数调节；
若检测到满足训练完成条件，则将参数调节后的初始模型确定为所述图像处理模型。
5.根据权利要求4所述的模型训练方法，其特征在于，所述初始模型具有在线难例挖掘机制，所述方法还包括：
基于所述在线难例挖掘机制判断所述预测结果对应的训练图像是否为重训练图像；
若是，则利用所述重训练图像对所述初始模型进行重复训练。
6.根据权利要求4所述的模型训练方法，其特征在于，所述基于所述在线难例挖掘机制判断所述预测结果对应的训练图像是否为重训练图像，包括：
判断所述预测结果对应的焦点损失值是否大于预设阈值；
若大于所述预设阈值，则确定所述训练图像为所述重训练图像。
7.根据权利要求4所述的模型训练方法，其特征在于，所述初始模型具有软非极大值抑制机制；
所述方法还包括：
基于所述软非极大值抑制机制，对所述预测结果进行候选框冗余去除处理，得到所述预测结果对应的预测候选框。
8.根据权利要求1所述的模型训练方法，其特征在于，所述利用所述目标标签图像和/或目标增强图像对所述初始训练图像进行叠加，得到对应的训练图像，包括：
分别对所述目标标签图像和/或目标增强图像进行分辨率调节处理，得到处理后图像；
将所述处理后图像叠加至所述初始训练图像上，得到对应的训练图像。
9.一种铁路接触网异常检测方法，其特征在于，包括：
获取待测图像；
将所述待测图像输入图像处理模型，得到异常检测结果；其中，所述图像处理模型基于如权利要求1至8任一项所述的模型训练方法得到。
10.一种模型训练装置，其特征在于，包括：
初始获取模块，用于获取初始训练图像和对应的初始训练标签；
裁剪模块，用于识别并裁剪所述初始训练标签在所述初始训练图像中对应的标签图像；
增强模块，用于将若干个类别的所述标签图像分别进行数据增强，得到增强图像；其中，各个类别对应的所述标签图像和所述增强图像的数量之和相同；
叠加模块，用于针对每个所述初始训练图像，获取对应的若干个目标标签图像和/或目标增强图像，并利用所述目标标签图像和/或目标增强图像对所述初始训练图像进行叠加，得到对应的训练图像；
训练模块，用于生成所述训练图像对应的训练标签，并利用所述训练图像和所述训练标签对初始模型进行训练，得到图像处理模型。
11.一种铁路接触网异常检测装置，其特征在于，包括：
待测获取模块，用于获取待测图像；
异常检测模块，用于将所述待测图像输入图像处理模型，得到异常检测结果；其中，所述图像处理模型基于如权利要求1至7任一项所述的模型训练方法得到。
12.一种电子设备，其特征在于，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至8任一项所述的模型训练方法，和/或，如权利要求9所述铁路接触网异常检测方法。
13.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的模型训练方法，和/或，如权利要求9所述铁路接触网异常检测方法。
CN202210095780.7A 2022-01-26 2022-01-26 模型训练方法、铁路接触网异常检测方法及相关装置 Pending CN114445746A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210095780.7A CN114445746A (zh) 2022-01-26 2022-01-26 模型训练方法、铁路接触网异常检测方法及相关装置
PCT/CN2022/113525 WO2023142452A1 (zh) 2022-01-26 2022-08-19 模型训练方法、铁路接触网异常检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210095780.7A CN114445746A (zh) 2022-01-26 2022-01-26 模型训练方法、铁路接触网异常检测方法及相关装置

Publications (1)

Publication Number Publication Date
CN114445746A true CN114445746A (zh) 2022-05-06

Family

ID=81369970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210095780.7A Pending CN114445746A (zh) 2022-01-26 2022-01-26 模型训练方法、铁路接触网异常检测方法及相关装置

Country Status (2)

Country Link
CN (1) CN114445746A (zh)
WO (1) WO2023142452A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115064247A (zh) * 2022-08-09 2022-09-16 苏州朗开医疗技术有限公司 一种基于图像特征分析的图像分层采集方法及系统
CN115272831A (zh) * 2022-09-27 2022-11-01 成都中轨轨道设备有限公司 接触网悬挂状态监测图像的传输方法及系统
CN115294505A (zh) * 2022-10-09 2022-11-04 平安银行股份有限公司 风险物体检测及其模型的训练方法、装置及电子设备
CN115345321A (zh) * 2022-10-19 2022-11-15 小米汽车科技有限公司 数据增广方法、装置、电子设备及存储介质
WO2023142452A1 (zh) * 2022-01-26 2023-08-03 郑州云海信息技术有限公司 模型训练方法、铁路接触网异常检测方法及相关装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116909169B (zh) * 2023-09-14 2023-12-19 光轮智能(北京)科技有限公司 运行控制模型的训练方法、运行控制方法、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030486B2 (en) * 2018-04-20 2021-06-08 XNOR.ai, Inc. Image classification through label progression
CN111950567B (zh) * 2020-08-18 2024-04-09 创新奇智(成都)科技有限公司 一种提取器训练方法、装置、电子设备及存储介质
CN113269267B (zh) * 2021-06-15 2024-04-26 苏州挚途科技有限公司 目标检测模型的训练方法、目标检测方法和装置
CN114445746A (zh) * 2022-01-26 2022-05-06 郑州云海信息技术有限公司 模型训练方法、铁路接触网异常检测方法及相关装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023142452A1 (zh) * 2022-01-26 2023-08-03 郑州云海信息技术有限公司 模型训练方法、铁路接触网异常检测方法及相关装置
CN115064247A (zh) * 2022-08-09 2022-09-16 苏州朗开医疗技术有限公司 一种基于图像特征分析的图像分层采集方法及系统
CN115064247B (zh) * 2022-08-09 2022-11-11 苏州朗开医疗技术有限公司 一种基于图像特征分析的图像分层采集方法及系统
CN115272831A (zh) * 2022-09-27 2022-11-01 成都中轨轨道设备有限公司 接触网悬挂状态监测图像的传输方法及系统
CN115272831B (zh) * 2022-09-27 2022-12-09 成都中轨轨道设备有限公司 接触网悬挂状态监测图像的传输方法及系统
CN115294505A (zh) * 2022-10-09 2022-11-04 平安银行股份有限公司 风险物体检测及其模型的训练方法、装置及电子设备
CN115294505B (zh) * 2022-10-09 2023-06-20 平安银行股份有限公司 风险物体检测及其模型的训练方法、装置及电子设备
CN115345321A (zh) * 2022-10-19 2022-11-15 小米汽车科技有限公司 数据增广方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023142452A1 (zh) 2023-08-03

Similar Documents

Publication Publication Date Title
CN114445746A (zh) 模型训练方法、铁路接触网异常检测方法及相关装置
JP6936957B2 (ja) 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム
KR20190063839A (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及系统
CN109727229B (zh) 虚焊检测方法及装置
US8811750B2 (en) Apparatus and method for extracting edge in image
EP3605453A1 (en) Convolutional neural network based inspection of blade-defects of a wind turbine
CN110136116B (zh) 一种注塑泵缺陷检测方法、装置、设备及存储介质
JP2020060879A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN113420673B (zh) 垃圾分类方法、装置、设备及存储介质
US20190272627A1 (en) Automatically generating image datasets for use in image recognition and detection
JP2021086379A (ja) 情報処理装置、情報処理方法、プログラム及び学習モデルの生成方法
CN117030129A (zh) 纸杯在线检漏方法及其系统
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
JP2020135051A (ja) 欠点検査装置、欠点検査方法、欠点検査プログラム、学習装置および学習済みモデル
CN117197146A (zh) 一种铸件内部缺陷自动识别方法
CN112884018A (zh) 电网线路故障识别模型训练方法和电网线路巡检方法
WO2020137228A1 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
CN111738991A (zh) 一种焊缝缺陷的数字射线检测模型的创建方法
CN116258946A (zh) 基于前提的多粒度跨模态推理方法及装置
CN113447572B (zh) 钢轨探伤方法、电子装置、钢轨探伤车及可读存储介质
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
CN115205619A (zh) 检测模型的训练方法、检测方法、装置和存储介质
CN114119562A (zh) 一种基于深度学习的刹车盘外表面缺陷检测方法及系统
CN114417965A (zh) 图像处理模型的训练方法、目标检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination