CN115131655B - 目标检测模型的训练方法、装置与目标检测方法 - Google Patents

目标检测模型的训练方法、装置与目标检测方法 Download PDF

Info

Publication number
CN115131655B
CN115131655B CN202211059995.XA CN202211059995A CN115131655B CN 115131655 B CN115131655 B CN 115131655B CN 202211059995 A CN202211059995 A CN 202211059995A CN 115131655 B CN115131655 B CN 115131655B
Authority
CN
China
Prior art keywords
candidate
type
target
detection
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211059995.XA
Other languages
English (en)
Other versions
CN115131655A (zh
Inventor
王威
李林超
何林阳
周凯
张腾飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zhuoyun Intelligent Technology Co ltd
Original Assignee
Zhejiang Zhuoyun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zhuoyun Intelligent Technology Co ltd filed Critical Zhejiang Zhuoyun Intelligent Technology Co ltd
Priority to CN202211059995.XA priority Critical patent/CN115131655B/zh
Publication of CN115131655A publication Critical patent/CN115131655A/zh
Application granted granted Critical
Publication of CN115131655B publication Critical patent/CN115131655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种目标检测模型的训练方法、装置与目标检测方法。该目标检测模型的训练方法包括：获取训练图像；采用第一检测网络对训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置；基于经第一检测网络处理得到的第二类型目标的分类标签重新分配候选样本的正负样本属性，得到分配结果，且将分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息；依据动态损失权重信息和经第一检测网络处理得到的候选样本对应的分类标签和回归位置，进行反向传播，以调整第一检测网络的参数和第二检测网络的参数。本方案可以实现对在标注时无法准确确定种类的目标的种类的确定。

Description

目标检测模型的训练方法、装置与目标检测方法
技术领域
本申请涉及图像处理领域，具体而言，涉及一种目标检测模型的训练方法、装置、目标检测方法、计算机可读存储介质与目标检测设备。
背景技术
在目标检测技术中，有些图像会出现过度遮挡、极端角度、异常物品、成像噪声等现象，导致图像中会出现部分无法确定种类的目标（有时候称之为模棱两可的目标）。标注人员在标注这种目标时往往凭借主观直觉标注，不同的人或者同一个人标注多次结果都存在差异。
目前的处理方式是直接忽略这些目标，但是这种处理方式容易丢失有效的特征，降低模型分类的准确性，不利于对目标的检测。
发明内容
本申请的主要目的在于提供一种目标检测模型的训练方法、装置、目标检测方法、计算机可读存储介质与目标检测设备，以至少解决相关技术中在标注时无法准确确定种类的目标直接被忽略的处理方式容易丢失有效的特征，降低模型分类的准确性的问题。
为了实现上述目的，根据本申请的第一个方面，提供了一种目标检测模型的训练方法，包括：获取训练图像，所述训练图像中标注有第一类型目标的位置和所述第一类型目标的确定类别、第二类型目标的位置和所述第二类型目标的未知类别，所述第一类型目标指的是在标注时能够准确确定类别的目标，所述第二类型目标指的是在标注时无法准确确定类别的目标；采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，所述候选样本区域包括所述第一类型目标所在的区域和所述第二类型目标所在的区域；基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性，得到分配结果，且将所述分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息；依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数。
可选地，依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数，包括：依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，构建联合损失函数；采用所述联合损失函数进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数。
可选地，采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置之前，所述方法还包括：采用主干网络模型对所述训练图像进行特征提取处理，得到特征提取结果；将所述特征提取结果和预设锚框输入至区域网络模型中进行训练，得到候选框列表，所述候选框列表中包括所述第一类型目标对应的候选框和所述第二类型目标对应的候选框。
可选地，所述第一检测网络包括第一采样器和第一检测头，采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，包括：采用第一采样器将所述候选框列表中的第二类型候选框去除，得到第一类型候选框集合，所述第二类型候选框与所述第二类型目标相对应，所述第一类型候选框与所述第一类型目标相对应；对所述第一类型候选框集合进行随机采样处理，得到可信候选框列表；采用所述第一检测头对所述可信候选框列表进行分类和回归处理，得到所述第一类型目标的分类标签和回归位置。
可选地，采用第一采样器将所述候选框列表中的第二类型候选框去除，得到第一类型候选框集合，包括：将所述候选框列表中的各所述候选框与预设候选框进行交并比处理，得到第一交并比结果，所述预设候选框指的是基于所述第二类型目标确定的候选框；将大于第一阈值的所述第一交并比结果对应所述候选框从所述候选框列表中去除，得到所述第一类型候选框集合。
可选地，采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置的过程中，所述方法还包括：将所述可信候选框列表输入至所述第一检测头中进行前向传播处理和反向传播处理，以更新所述第一检测头中的参数，得到更新后的第一检测头；将所述候选框列表中的所有的候选框输入至所述更新后的第一检测头中进行二次前向传播处理，得到各所述候选框的预测框，所述预测框具有回归类别和回归位置。
可选地，所述方法还包括：将所述第二类型目标对应的候选框与所述预测框进行交并比处理，得到第二交并比结果；在所述第二交并比结果小于第二阈值的情况下，将所述第二类型目标对应的候选框作为负样本；在所述第二交并比结果大于或者等于所述第二阈值的情况下，确定与所述第二类型目标对应的候选框最匹配的预测框；对与所述第二类型目标对应的候选框最匹配的预测框进行二次掩码Softmax化处理，得到所述第二类型目标的分类标签。
可选地，对与所述第二类型目标对应的候选框最匹配的预测框进行二次掩码Softmax化处理，得到所述第二类型目标的分类标签，包括：将与所述第二类型目标对应的候选框最匹配的预测框的多个回归类别中的部分回归类别的置信度设置为零；针对剩余的回归类别进行所述二次掩码Softmax化处理，得到所述第二类型目标的分类标签。
可选地，基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性，得到分配结果，包括：将目标候选框和所述目标候选框周围的候选框，确定为第一类正样本，其中，所述目标候选框为已经重新分配所述分类标签的所述第二类型目标对应候选框；将所述第一类型目标对应的候选框确定为第二类正样本，且将剩余的候选框确定为负样本。
可选地，所述第二检测网络包括第二采样器和第二检测头，将所述分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息，包括：采用所述第二采样器对所述第一类正样本和所述第二类正样本进行采样处理，得到采样候选框；将所述采样候选框以及所采样候选框对应的类别标签输入至所述第二检测头中进行训练，且确定训练过程中各所述采样候选框的动态损失权重信息。
根据本申请的第二个方面，提供了一种目标检测方法，包括：获取训练图像，所述训练图像中标注有第一类型目标的位置和所述第一类型目标的确定类别、第二类型目标的位置和所述第二类型目标的未知类别，所述第一类型目标指的是在标注时能够准确确定类别的目标，所述第二类型目标指的是在标注时无法准确确定类别的目标；构建网络模型，所述网络模型包括第一检测网络和第二检测网络，其中，所述第一检测网络用于对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，所述候选样本区域包括所述第一类型目标所在的区域和所述第二类型目标所在的区域，所述第二检测网络用于对分配结果进行训练，且确定训练过程中各候选样本区域的动态损失权重信息，其中，所述分配结果基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性得到的；采用联合损失函数进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数，其中，所述联合损失函数是依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置得到的。
可选地，所在采用联合损失函数进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数之后，所述方法还包括：获取待测试图像；将所述待测试图像输入至所述网络模型中进行测试，得到第一预测结果和第二预测结果，所述第一预测结果为所述第一检测网络的输出结果，所述第二预测结果为所述第二检测网络的输出结果；将所述第二预测结果中的检测框与所述第一预测结果中的可信检测框进行交并比运算，得到第三交并比结果，所述可信检测框为所述第一类型目标的候选框对应的检测框；将大于第三阈值的所述第三交并比结果对应的所述可信检测框的置信度进行校正，并将大于所述第三阈值的所述第三交并比结果对应的所述第二预测结果中的检测框删除，得到第一处理结果；将小于或者等于所述第三阈值的所述第三交并比结果对应的可信检测框的置信度进行校正，得到第二处理结果；融合所述第一处理结果和所述第二处理结果，得到最优处理结果，所述最优处理结果用于表征所述待测试图像的分类标签和回归位置。
根据本申请的第三个方面，提供了一种目标检测模型的训练装置，包括：获取单元，用于获取训练图像，所述训练图像中标注有第一类型目标的位置和所述第一类型目标的确定类别、第二类型目标的位置和所述第二类型目标的未知类别，所述第一类型目标指的是在标注时能够准确确定类别的目标，所述第二类型目标指的是在标注时无法准确确定类别的目标；第一处理单元，用于采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，所述候选样本区域包括所述第一类型目标所在的区域和所述第二类型目标所在的区域；分配训练单元，用于基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性，得到分配结果，且将所述分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息；第二处理单元，用于依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数。
根据本申请的第四个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种的方法。
根据本申请的第五个方面，提供了一种目标检测设备，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的方法。
本方案通过对第一类型目标和第二类型目标进行标注，采用第一检测网络和第二检测网络对训练图像进行联合训练，构建联合损失函数，交并比处理，二次掩码Softmax化处理等方式，实现了对目标检测模型的精确确定，采用本方案的目标检测模型可以实现对第一类型目标的种类和第二类型目标的种类进行确定，尤其是实现对第二类型目标的种类的确定。解决了采用一个检测网络无法对第二类型目标进行分类的问题，也就是说实现了对在标注时无法准确确定类别的目标的在线矫正与训练。
上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请的实施例的目标检测模型的训练方法流程图；
图2示出了根据本申请的实施例的目标检测模型的训练装置示意图；
图3示出了根据本申请的实施例的目标检测方法流程图；
图4示出了根据本申请的实施例的一种具体的目标检测原理示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
正如背景技术中所介绍的，相关技术中在标注时无法准确确定种类的目标直接被忽略的处理方式容易丢失有效的特征，降低模型分类的准确性，为解决在标注时无法准确确定种类的目标直接被忽略的处理方式容易丢失有效的特征，降低模型分类的准确性的问题，本申请的实施例提供了一种目标检测模型的训练方法、装置、目标检测方法、计算机可读存储介质与目标检测设备。
下面通过以下各个实施例及其可选方案对本申请中提供的目标检测模型的训练方法、装置、目标检测方法、计算机可读存储介质与目标检测设备进行详细阐述。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1
根据本发明实施例，提供了一种目标检测模型的训练方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的目标检测模型的训练方法的流程图。如图1所示，该方法包括以下步骤：
步骤S101，获取训练图像，所述训练图像中标注有第一类型目标的位置和所述第一类型目标的确定类别、第二类型目标的位置和所述第二类型目标的未知类别，所述第一类型目标指的是在标注时能够准确确定类别的目标，所述第二类型目标指的是在标注时无法准确确定类别的目标；
其中，目标检测可以是指在图像中找出所有感兴趣的物体，对物体进行特征提取，同时对物体进行分类与定位。例如，对图像中的第一类型目标和第二类型目标进行分类和定位；
上述步骤中，第二类型目标包括训练前预先在图像中标注的由于角度、扭曲、遮挡和/或成像噪声问题导致失去原有特征，从而导致人工无法做出判断的模棱两可的目标。具体可以是由于图像失真严重、目标极端角度、目标遮挡过多、目标类别模糊等问题导致无法确定是何种类的目标；也可以是在一些特殊图像领域，包含但不限于x光安检机图像、医学图像、水下图像等，由于采集技术手段与场景的特殊性，导致图像中出现模棱两可目标的频率更高，并且这些场景下标注人员事先并无法得知目标真实的类别。
上述步骤中，未知类别可以采用“ignore”、“unknow”等字段进行标注；很多现有的方案由于忽略第二类型目标，是不会对第二类型目标的类别进行标注的，标注这一点是实现本方案的基础。
可选地，为实现对目标检测模型的精确确定，可以增加训练图像的数量和丰富性。
步骤S102，采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，所述候选样本区域包括所述第一类型目标所在的区域和所述第二类型目标所在的区域；
具体地，第一检测网络包括第一采样器和第一检测头，步骤S102：采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，可以实现为：
步骤S1021：采用第一采样器将所述候选框列表中的第二类型候选框去除，得到第一类型候选框集合，所述第二类型候选框与所述第二类型目标相对应，所述第一类型候选框与所述第一类型目标相对应；
具体而言，第一检测网络中包括第一采样器和第一检测头，第一采样器的实现依赖于样本采样方法，本领域技术人员可以根据实际情况进行选择合适的样本采样方法；第一检测头可以选用神经网络模型，具体可以选用多层卷积神经网络，当然，本申请不对第一检测头的具体结构进行限定。
更为具体地，步骤S1021的具体的实现方式如下：
将所述候选框列表中的各所述候选框与预设候选框进行交并比处理，得到第一交并比结果，所述预设候选框指的是基于所述第二类型目标确定的候选框；
将大于第一阈值的所述第一交并比结果对应所述候选框从所述候选框列表中去除，得到所述第一类型候选框集合。
具体实现中，可以将第一阈值设置为0.3，当然，本领域技术人员可以根据实际情况进行调整以满足实际需求。
本方案，通过交并比处理，将候选框列表中的与预设候选框的交并比较大的第二类型目标对应的候选框删除，使得剩余的候选框为预先已知类别的候选框。
步骤S1022：对所述第一类型候选框集合进行随机采样处理，得到可信候选框列表；
将大于第一阈值的所述第一交并比结果对应所述候选框从所述候选框列表中去除，得到所述第一类型候选框集合，再从第一类型候选框集合中进行随机采样，得到最终输入至第一检测头进行训练的可信候选框列表；
步骤S1023：采用所述第一检测头对所述可信候选框列表进行分类和回归处理，得到所述第一类型目标的分类标签和回归位置。
对于可信候选框列表，由于类别已知，那么得到的第一类型目标的分类标签和回归位置也是比较准确的。
另外，在步骤S102：采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置之前，所述方法还包括：
采用主干网络模型对所述训练图像进行特征提取处理，得到特征提取结果；
将所述特征提取结果和预设锚框输入至区域网络模型中进行训练，得到候选框列表，所述候选框列表中包括所述第一类型目标对应的候选框和所述第二类型目标对应的候选框。
即再进行分类和回归之前，需要进行特征提取的步骤和获取候选框列表的步骤，其中，区域网络模型训练时将与第二类型目标匹配的锚框当作负样本。
另外，在执行步骤S102的过程中，所述方法还包括：
将所述可信候选框列表输入至所述第一检测头中进行前向传播处理和反向传播处理，以更新所述第一检测头中的参数，得到更新后的第一检测头；
将所述候选框列表中的所有的候选框输入至所述更新后的第一检测头中进行二次前向传播处理，得到各所述候选框的预测框，所述预测框具有回归类别和回归位置。
由于可信候选框列表是经过过滤和采样得到的，即是比较可信的，所以采用可信候选框列表输入至所述第一检测头中进行前向传播处理和反向传播处理，得到的更新后的第一检测头的参数也是比较可信的，然后将所述候选框列表中的所有的候选框输入至比较可信的第一检测头中进行二次前向传播处理，得到的回归类别和回归位置也是比较可信的，并且此时已经为第二类型目标分配了相应的类别。
其中，前向传播可以是指在一神经网络中从输入层开始，逐层向前传播，经过隐藏层到达输出层的一个从前往后传播的过程。
其中，反向传播可以是指通过损失函数相对于每个参数的梯度不断调整的过程，例如可以是使用梯度下降法对每个参数进行调整，使用损失权重更新模型的参数，从而减小权重引起的误差。
示例性地，所述方法还包括：
将所述第二类型目标对应的候选框与所述预测框进行交并比处理，得到第二交并比结果；
在所述第二交并比结果小于第二阈值的情况下，将所述第二类型目标对应的候选框作为负样本；
在所述第二交并比结果大于或者等于所述第二阈值的情况下，确定与所述第二类型目标对应的候选框最匹配的预测框；
对与所述第二类型目标对应的候选框最匹配的预测框进行二次掩码Softmax化处理，得到所述第二类型目标的分类标签。
具体地，对与所述第二类型目标对应的候选框最匹配的预测框进行二次掩码Softmax化处理，得到所述第二类型目标的分类标签，可具体实现为：
将与所述第二类型目标对应的候选框最匹配的预测框的多个回归类别中的部分回归类别的置信度设置为零；
针对剩余的回归类别进行所述二次掩码Softmax化处理，得到所述第二类型目标的分类标签。
即在将所述候选框列表中的所有的候选框输入至所述更新后的第一检测头中进行二次前向传播处理，得到各所述候选框的预测框之后，为得到第二类型目标的更为准确的分类标签进行了上述交并比处理、确定与候选框最匹配的预测框、对与所述第二类型目标对应的候选框最匹配的预测框进行二次掩码Softmax化处理，最终得到第二类型目标的分类标签。
步骤S103，基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性，得到分配结果，且将所述分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息；
需要说明的是，本方案中仅根据第一检测网络的输出结果去调整输入至第二检测网络中的样本的正负样本属性，输入至第一检测网络中的样本的正负样本属性是不变的，输入至第一检测网络中的样本是对区域网络模型输出的候选框列表进行统计分析（例如，进行交并比运算）得到的。
具体地，步骤S103具有如下实现方式：
步骤S1031：将目标候选框和所述目标候选框周围的候选框，确定为第一类正样本，其中，所述目标候选框为已经重新分配所述分类标签的所述第二类型目标对应候选框；
步骤S1032：将所述第一类型目标对应的候选框确定为第二类正样本，且将剩余的候选框确定为负样本。
示例性地，所述第二检测网络包括第二采样器和第二检测头，将所述分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息，包括：采用所述第二采样器对所述第一类正样本和所述第二类正样本进行采样处理，得到采样候选框；将所述采样候选框以及所采样候选框对应的类别标签输入至所述第二检测头中进行训练，且确定训练过程中各所述采样候选框的动态损失权重信息。
具体而言，第二检测网络中包括第二采样器和第二检测头，第二采样器的实现依赖于样本采样方法，本领域技术人员可以根据实际情况进行选择合适的样本采样方法；第二检测头可以选用神经网络模型，具体可以选用多层卷积神经网络，当然，本申请不对第二检测头的具体结构进行限定。
即由于经过第一检测网络处理之后至少部分第二类型目标已经初步确定了分类标签，基于这种前提将候选框列表中的第二类型目标的候选框重新分配分类标签，即将第一检测网络的计算结果运用在了第二检测模型中，具体其实是将更新后的第一检测头输出结果应用在第二检测头中，采用两个网络模型实现了对第一类型目标和第二类型目标的分类与回归，尤其是实现了对第二类型目标的分类与回归。相对于一些方案中，直接忽略第二类型目标，采用一个网络进行目标的分类的方案，本申请的方案效果是显著的。
步骤S104，依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数。
具体地，步骤S104：依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数，包括如下步骤：
步骤S1041：依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，构建联合损失函数；
步骤S1042：采用所述联合损失函数进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数。
即联合第一检测网络和第二检测网络的处理结果，去构造联合损失函数，进行经过反向传播处理，以调整所述第一检测网络的参数和所述第二检测网络的参数。当然，也可以对主干网络模型和区域网络模型的参数进行优化。
上述实施例，通过对第一类型目标和第二类型目标进行标注，采用第一检测网络和第二检测网络对训练图像进行联合训练，构建联合损失函数，交并比处理，二次掩码Softmax化处理等方式，实现了对目标检测模型的精确确定，采用本方案的目标检测模型可以实现对第一类型目标的种类和第二类型目标的种类进行确定，尤其是实现对第二类型目标的种类的确定。解决了采用一个检测网络无法对第二类型目标进行分类的问题，也就是说实现了对在标注时无法准确确定类别的目标的在线矫正与训练。
实施例2
本申请实施例还提供了一种目标检测模型的训练装置，需要说明的是，本申请实施例的目标检测模型的训练装置可以用于执行本申请实施例所提供的用于目标检测模型的训练方法。以下对本申请实施例提供的目标检测模型的训练装置进行介绍。
图2是根据本申请实施例的目标检测模型的训练装置的示意图。如图2所示，该装置包括：
获取单元10，用于获取训练图像，所述训练图像中标注有第一类型目标的位置和所述第一类型目标的确定类别、第二类型目标的位置和所述第二类型目标的未知类别，所述第一类型目标指的是在标注时能够准确确定类别的目标，所述第二类型目标指的是在标注时无法准确确定类别的目标；
第一处理单元20，用于采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，所述候选样本区域包括所述第一类型目标所在的区域和所述第二类型目标所在的区域；
分配训练单元30，用于基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性，得到分配结果，且将所述分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息；
第二处理单元40，用于依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数。
上述方案中，通过对第一类型目标和第二类型目标进行标注，采用第一检测网络和第二检测网络对训练图像进行联合训练，构建联合损失函数，交并比处理，二次掩码Softmax化处理等方式，实现了对目标检测模型的精确确定，采用本方案的目标检测模型可以实现对第一类型目标的种类和第二类型目标的种类进行确定，尤其是实现对第二类型目标的种类的确定。
一些具体的实施方式中，第二处理单元包括构建模块和第一处理模块，构建模块用于依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，构建联合损失函数；第一处理模块用于采用所述联合损失函数进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数。
可选地，所述装置还包括提取单元和训练单元，提取单元用于采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置之前，采用主干网络模型对所述训练图像进行特征提取处理，得到特征提取结果；训练单元用于将所述特征提取结果和预设锚框输入至区域网络模型中进行训练，得到候选框列表，所述候选框列表中包括所述第一类型目标对应的候选框和所述第二类型目标对应的候选框。
可选的实施方式中，所述第一检测网络包括第一采样器和第一检测头，第一处理单元包括去除模块、第二处理模块和第三处理模块，去除模块用于采用第一采样器将所述候选框列表中的第二类型候选框去除，得到第一类型候选框集合，所述第二类型候选框与所述第二类型目标相对应，所述第一类型候选框与所述第一类型目标相对应；第二处理模块用于对所述第一类型候选框集合进行随机采样处理，得到可信候选框列表；第三处理模块用于采用所述第一检测头对所述可信候选框列表进行分类和回归处理，得到所述第一类型目标的分类标签和回归位置。
可选地，去除模块包括处理子模块和去除子模块，处理子模块用于将所述候选框列表中的各所述候选框与预设候选框进行交并比处理，得到第一交并比结果，所述预设候选框指的是基于所述第二类型目标确定的候选框；去除子模块用于将大于第一阈值的所述第一交并比结果对应所述候选框从所述候选框列表中去除，得到所述第一类型候选框集合。
一些实施方式中，所述装置还包括第三处理单元和第四处理单元，第三处理单元用于采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置的过程中，将所述可信候选框列表输入至所述第一检测头中进行前向传播处理和反向传播处理，以更新所述第一检测头中的参数，得到更新后的第一检测头；第四处理单元用于将所述候选框列表中的所有的候选框输入至所述更新后的第一检测头中进行二次前向传播处理，得到各所述候选框的预测框，所述预测框具有回归类别和回归位置。
另一些实施方式中，所述装置还包括第五处理单元、第六处理单元、确定单元和第七处理单元，第五处理单元用于将所述第二类型目标对应的候选框与所述预测框进行交并比处理，得到第二交并比结果；第六处理单元用于在所述第二交并比结果小于第二阈值的情况下，将所述第二类型目标对应的候选框作为负样本；确定单元用于所述第二交并比结果大于或者等于所述第二阈值的情况下，确定与所述第二类型目标对应的候选框最匹配的预测框；第七处理单元用于对与所述第二类型目标对应的候选框最匹配的预测框进行二次掩码Softmax化处理，得到所述第二类型目标的分类标签。
具体地，第七处理单元包括设置模块和第四处理模块，设置模块用于将与所述第二类型目标对应的候选框最匹配的预测框的多个回归类别中的部分回归类别的置信度设置为零；第四处理模块用于针对剩余的回归类别进行所述二次掩码Softmax化处理，得到所述第二类型目标的分类标签。
具体地，分配训练单元包括第一确定模块和第二确定模块，第一确定模块用于将目标候选框和所述目标候选框周围的候选框，确定为第一类正样本，其中，所述目标候选框为已经重新分配所述分类标签的所述第二类型目标对应候选框；第二确定模块用于将所述第一类型目标对应的候选框确定为第二类正样本，且将剩余的候选框确定为负样本。
具体的方案中，分配训练单元包括第五处理模块和训练模块，第五处理模块用于采用所述第二采样器对所述第一类正样本和所述第二类正样本进行采样处理，得到采样候选框；训练模块用于将所述采样候选框以及所采样候选框对应的类别标签输入至所述第二检测头中进行训练，且确定训练过程中各所述采样候选框的动态损失权重信息。
所述目标检测模型的训练装置包括处理器和存储器，上述获取单元、第一处理单元、分配训练单元和第二处理单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现对目标检测模型的精确确定。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
实施例3
根据本发明实施例，提供了一种目标检测方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图3是根据本申请实施例的目标检测方法的流程图。如图3所示，该方法包括以下步骤：
步骤S301，获取训练图像，所述训练图像中标注有第一类型目标的位置和所述第一类型目标的确定类别、第二类型目标的位置和所述第二类型目标的未知类别，所述第一类型目标指的是在标注时能够准确确定类别的目标，所述第二类型目标指的是在标注时无法准确确定类别的目标；
步骤S302，构建网络模型，所述网络模型包括第一检测网络和第二检测网络，其中，所述第一检测网络用于对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，所述候选样本区域包括所述第一类型目标所在的区域和所述第二类型目标所在的区域，所述第二检测网络用于对分配结果进行训练，且确定训练过程中各候选样本区域的动态损失权重信息，其中，所述分配结果基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性得到的；
步骤S303，采用联合损失函数进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数，其中，所述联合损失函数是依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置得到的。
在步骤S302之后，所述方法还包括：
获取待测试图像；
将所述待测试图像输入至所述网络模型中进行测试，得到第一预测结果和第二预测结果，所述第一预测结果为所述第一检测网络的输出结果，所述第二预测结果为所述第二检测网络的输出结果；
将所述第二预测结果中的检测框与所述第一预测结果中的可信检测框进行交并比运算，得到第三交并比结果，所述可信检测框为所述第一类型目标的候选框对应的检测框；
将大于第三阈值的所述第三交并比结果对应的所述可信检测框的置信度进行校正，并将大于所述第三阈值的所述第三交并比结果对应的所述第二预测结果中的检测框删除，得到第一处理结果；
将小于或者等于所述第三阈值的所述第三交并比结果对应的可信检测框的置信度进行校正，得到第二处理结果；
融合所述第一处理结果和所述第二处理结果，得到最优处理结果，所述最优处理结果用于表征所述待测试图像的分类标签和回归位置。
上述方案中，通过对第一类型目标和第二类型目标进行标注，构建包括第一检测网络和第二检测网络的网络模型，构建联合损失函数，实现了对目标检测模型的精确确定，进而采用确定好的目标检测模型实现了对测试图像的精准测试，尤其是实现了对测试图像中的第二类型目标的种类的确定。
实施例4
根据本申请实施例，提供了一种具体的目标检测方案，具体采用如图4所示的原理实现，包括如下步骤：
步骤1：在模型训练前对图像目标信息进行标注，对于人工可以做出准确判断的目标，标注目标的位置（记为
Figure DEST_PATH_IMAGE001
）和类别（记为
Figure 38006DEST_PATH_IMAGE002
，目标定义为正常目标（即第一类型目标）；对于人工无法做出判断的目标，标注目标的位置（记为
Figure DEST_PATH_IMAGE003
），将其类别标为“忽略”，目标定义为模棱两可目标（即第二类型目标）。将图像送入到主干网络（即主干网络模型）中进行特征提取，并将预设的锚框送入到区域网络模型训练得到候选框列表，记作{L}，区域网络模型训练时，将与模棱两可目标匹配的锚框当作负样本。
步骤2：使用可靠采样器（即第一采样器）对步骤1中获得的候选框列表{L}行采样，可靠采样器采样过程：首先计算每个候选框与模棱两可目标的IoU（交并比），将IoU大于t（t默认0.3）的目标过滤，再从剩下的候选框中做随机采样，得到可靠候选框列表。将可靠性候选框送入到可靠性检测头（即第一检测头）中进行前向传播与反向传播，更新可靠检测头的参数。具体地，可靠性检测头的结构可以是常用目标检测网络中检测头的任意一种。
步骤3：将步骤1获得的所有候选框送入到更新后的可靠检测头中进行二次前向传播，获取每个候选框的分类和回归坐标，对候选框的位置进行校正，得到可靠检测头候选框的预测结果，分类结果记为S，位置记为
Figure 469993DEST_PATH_IMAGE004
。其中，该步骤中的可靠性检测头与步骤2中的可靠性检测头共享网络参数，此步骤不进行反向传播。
步骤4：采用步骤3的预测结果对模棱两可目标进行匹配，计算与模棱两可目标最匹配的预测结果，更新模棱两可目标的类别标签。具体步骤如下：
（1）将与模棱两可目标的IoU小于ε的预测框过滤（ε默认为0.5），若所有的预测框的IoU均小于0.5，则将该模棱两可目标作为背景训练，即作为负样本；
（2）若存在IoU大于0.5的预测框，则计算模棱两可目标与预测目标框的匹配因子，公式如下：
Figure DEST_PATH_IMAGE005
（公式1）
式中，i为模棱两可目标的索引，j为预测目标框的索引，
Figure 125097DEST_PATH_IMAGE006
表示第i个模棱两可目标与第j个预测目标框的匹配因子，
Figure DEST_PATH_IMAGE007
表示预测目标框的分类结果，
Figure 625698DEST_PATH_IMAGE008
表示预测目标框的位置，
Figure DEST_PATH_IMAGE009
模棱两可目标的位置。
（3）统计与模棱两可目标最大匹配因子对应的预测框，将匹配的预测目标框的预测分类置信度进行软化处理，标签软化处理过程如下：将原始的Softmax处理后的类别预测结果进行二次掩码Softmax化，步骤如下：首先，将预测的类别置信度从大到小排序，将前k个类别的掩码值设置为1，其余掩码值设置为0；然后，将类别置信度进行二次掩码Softmax化，以保证置信度信息集中到可信度高的类别上。公式如下：
Figure 377754DEST_PATH_IMAGE010
（公式2）
式中，
Figure DEST_PATH_IMAGE011
表示软化处理结果，c为第c个类别索引，
Figure 403479DEST_PATH_IMAGE012
为第c个类别的掩码值，
Figure DEST_PATH_IMAGE013
为第c个类别对应的置信度，n为类别数，i为第i个类别索引，
Figure 309992DEST_PATH_IMAGE014
为第i个类别的掩码值，
Figure DEST_PATH_IMAGE015
为第i个类别对应的置信度。
例如，对于5类别目标检测，分类结果为：[0.68, 0.23, 0.06, 0.02,0.01]，假设k为2，经二次掩码后结果为[0.61, 0.393, 0, 0, 0]。
（4）将计算的软化置信度的结果作为模棱两可目标的类别标签。
步骤5：使用混合采样器对候选框列表进行混合采样，混合采样器（第二采样器）步骤：首先，重新分配候选框的正负样本属性，将已经重新分配类别标签的模棱两可目标周围的候选框也作为正样本，训练时的类别标签使用软化标签（步骤4获取的结果）；然后，将模棱两可目标周围的候选框优先采样，再根据剩余所需样本数从正常目标周围的候选框中做随机采样。
步骤6：将步骤5中采样的得到的候选框送入到混合检测头（第二检测头）中训练，训练时为每个候选框分配动态损失权重，调节模棱两可目标训练时对模型的贡献，动态损失权重计算方法：
Figure 915417DEST_PATH_IMAGE016
（公式3）
式中，i表示候选框索引，
Figure DEST_PATH_IMAGE017
表示第i个候选框的坐标，
Figure 521979DEST_PATH_IMAGE018
表示与第i个候选框距离最近的模棱两可目标，
Figure DEST_PATH_IMAGE019
表示候选框的动态损失权重；
步骤7：训练时将可靠性检测头与混合检测头构造多头联合损失函数（即联合损失函数），训练时一起进行反向传播优化参数。多头联合损失函数如下：
Figure 453026DEST_PATH_IMAGE020
（公式4）
式中，
Figure 177662DEST_PATH_IMAGE022
表示多头联合结果，n为样本数，i表示混合检测头的候选样本索引，
Figure DEST_PATH_IMAGE023
为第i个候选样本对应的动态权重，CE为交叉熵损失函数，
Figure 852357DEST_PATH_IMAGE024
为第i个样本的软化类别置信度，
Figure DEST_PATH_IMAGE025
为第i个样本预测类别置信度， L1为平均绝对误差回归损失函数，
Figure 313425DEST_PATH_IMAGE026
为第i个样本标签坐标，
Figure DEST_PATH_IMAGE027
为第i个样本的预测坐标。j表示可靠检测头的候选样本索引，
Figure 680952DEST_PATH_IMAGE028
为第j个样本的真实类别标签，
Figure DEST_PATH_IMAGE029
为第j个样本的预测类别置信度，
Figure 358796DEST_PATH_IMAGE030
为第j个样本的真实标签坐标，
Figure DEST_PATH_IMAGE031
为第j个样本的预测坐标。当然，公式4示出的只是一种示例性的多头联合损失函数，多头联合损失函数还可以表示其他形式。
步骤8：模型训练完成后，在模型推理阶段对可靠检测头和混合检测头的预测结果进行融合，使用多头加权融合使一致性较强的检测结果产生更高的检测置信度，一致性较差的检测结果降低检测置信度，从而生成更优检测结果。
加权融合过程如下：将可靠性检测头的检测结果作为基准检测结果，统计混合检测头输出的检测框中与可靠检测框的IoU大于0.5的框，重新矫正可靠检测框的置信度，并将所匹配到的混合检测头的检测框删除，矫正公式如下：
Figure 571603DEST_PATH_IMAGE032
（公式5）
其中，
Figure DEST_PATH_IMAGE033
为矫正后的可靠检测框（即可信检测框）的置信度，
Figure 949495DEST_PATH_IMAGE034
为可靠检测框的置信度，
Figure DEST_PATH_IMAGE035
为与可靠检测框匹配到的混合检测头输出的检测框的置信度，m为匹配到的检测框的数量。
对于没有匹配到的混合检测头的检测框，重新矫正检测置信度：
Figure 222344DEST_PATH_IMAGE036
（公式6）
Figure DEST_PATH_IMAGE037
表示混合检测头矫正后的置信度，
Figure 400866DEST_PATH_IMAGE038
表示混合检测头输出的检测框的置信度。
将矫正置信度后的两个检测头的检测结果融合，作为最终的检测输出结果。
通过多头分治的思想处理可以较好的处理正常目标与模棱两可目标的学习问题；在训练时使用可靠性检测头对混合检测头的标签进行监督学习，动态的更新混合检测头的标签值，相比较人工经验性的标注，有更强且可靠的先验知识；训练时动态的调整模棱两可目标对于模型的贡献使模型更关注于高质量标注框的学习，同时也不会忽略模棱两可特征的学习；推理时多头融合的策略，使一致性较强检测结果有用更高的检测置信度，一致性较差的检测结果会降低检测置信度，这样有助于生成质量更高的检测结果。
实施例5
根据本申请实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行所述目标检测模型的训练方法。
实施例6
根据本申请实施例，提供了一种目标检测设备，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的方法。
实施例7
根据本申请实施例，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述目标检测模型的训练方法。
实施例8
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：
步骤S101，获取训练图像，所述训练图像中标注有第一类型目标的位置和所述第一类型目标的确定类别、第二类型目标的位置和所述第二类型目标的未知类别，所述第一类型目标指的是在标注时能够准确确定类别的目标，所述第二类型目标指的是在标注时无法准确确定类别的目标；
步骤S102，采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，所述候选样本区域包括所述第一类型目标所在的区域和所述第二类型目标所在的区域；
步骤S103，基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性，得到分配结果，且将所述分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息；
步骤S104，依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数。
本文中的设备可以是服务器、PC、PAD、手机等。
实施例9
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：
步骤S101，获取训练图像，所述训练图像中标注有第一类型目标的位置和所述第一类型目标的确定类别、第二类型目标的位置和所述第二类型目标的未知类别，所述第一类型目标指的是在标注时能够准确确定类别的目标，所述第二类型目标指的是在标注时无法准确确定类别的目标；
步骤S102，采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，所述候选样本区域包括所述第一类型目标所在的区域和所述第二类型目标所在的区域；
步骤S103，基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性，得到分配结果，且将所述分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息；
步骤S104，依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种目标检测模型的训练方法，其特征在于，包括：
获取训练图像，所述训练图像中标注有第一类型目标的位置和所述第一类型目标的确定类别、第二类型目标的位置和所述第二类型目标的未知类别，所述第一类型目标指的是在标注时能够准确确定类别的目标，所述第二类型目标指的是在标注时无法准确确定类别的目标；
采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，所述候选样本区域包括所述第一类型目标所在的区域和所述第二类型目标所在的区域；
基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性，得到分配结果，且将所述分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息；
依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数；
采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置之前，所述方法还包括：
采用主干网络模型对所述训练图像进行特征提取处理，得到特征提取结果；
将所述特征提取结果和预设锚框输入至区域网络模型中进行训练，得到候选框列表，所述候选框列表中包括所述第一类型目标对应的候选框和所述第二类型目标对应的候选框；
所述第一检测网络包括第一采样器和第一检测头，采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，包括：
采用第一采样器将所述候选框列表中的第二类型候选框去除，得到第一类型候选框集合，所述第二类型候选框与所述第二类型目标相对应，所述第一类型候选框与所述第一类型目标相对应；
对所述第一类型候选框集合进行随机采样处理，得到可信候选框列表；
采用所述第一检测头对所述可信候选框列表进行分类和回归处理，得到所述第一类型目标的分类标签和回归位置;
采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置的过程中，所述方法还包括：
将所述可信候选框列表输入至所述第一检测头中进行前向传播处理和反向传播处理，以更新所述第一检测头中的参数，得到更新后的第一检测头；
将所述候选框列表中的所有的候选框输入至所述更新后的第一检测头中进行二次前向传播处理，得到各所述候选框的预测框，所述预测框具有回归类别和回归位置。
2.根据权利要求1所述的方法，其特征在于，依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数，包括：
依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，构建联合损失函数；
采用所述联合损失函数进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数。
3.根据权利要求1所述的方法，其特征在于，采用第一采样器将所述候选框列表中的第二类型候选框去除，得到第一类型候选框集合，包括：
将所述候选框列表中的各所述候选框与预设候选框进行交并比处理，得到第一交并比结果，所述预设候选框指的是基于所述第二类型目标确定的候选框；
将大于第一阈值的所述第一交并比结果对应所述候选框从所述候选框列表中去除，得到所述第一类型候选框集合。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述第二类型目标对应的候选框与所述预测框进行交并比处理，得到第二交并比结果；
在所述第二交并比结果小于第二阈值的情况下，将所述第二类型目标对应的候选框作为负样本；
在所述第二交并比结果大于或者等于所述第二阈值的情况下，确定与所述第二类型目标对应的候选框最匹配的预测框；
对与所述第二类型目标对应的候选框最匹配的预测框进行二次掩码Softmax化处理，得到所述第二类型目标的分类标签。
5.根据权利要求4所述的方法，其特征在于，对与所述第二类型目标对应的候选框最匹配的预测框进行二次掩码Softmax化处理，得到所述第二类型目标的分类标签，包括：
将与所述第二类型目标对应的候选框最匹配的预测框的多个回归类别中的部分回归类别的置信度设置为零；
针对剩余的回归类别进行所述二次掩码Softmax化处理，得到所述第二类型目标的分类标签。
6.根据权利要求1所述的方法，其特征在于，基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性，得到分配结果，包括：
将目标候选框和所述目标候选框周围的候选框，确定为第一类正样本，其中，所述目标候选框为已经重新分配所述分类标签的所述第二类型目标对应候选框；
将所述第一类型目标对应的候选框确定为第二类正样本，且将剩余的候选框确定为负样本。
7.根据权利要求6所述的方法，其特征在于，所述第二检测网络包括第二采样器和第二检测头，将所述分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息，包括：
采用所述第二采样器对所述第一类正样本和所述第二类正样本进行采样处理，得到采样候选框；
将所述采样候选框以及所采样候选框对应的类别标签输入至所述第二检测头中进行训练，且确定训练过程中各所述采样候选框的动态损失权重信息。
8.一种目标检测方法，其特征在于，包括：
获取训练图像，所述训练图像中标注有第一类型目标的位置和所述第一类型目标的确定类别、第二类型目标的位置和所述第二类型目标的未知类别，所述第一类型目标指的是在标注时能够准确确定类别的目标，所述第二类型目标指的是在标注时无法准确确定类别的目标；
构建网络模型，所述网络模型包括第一检测网络和第二检测网络，其中，所述第一检测网络用于对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，所述候选样本区域包括所述第一类型目标所在的区域和所述第二类型目标所在的区域，所述第二检测网络用于对分配结果进行训练，且确定训练过程中各候选样本区域的动态损失权重信息，其中，所述分配结果基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性得到的；
采用联合损失函数进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数，其中，所述联合损失函数是依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置得到的；
所述方法还包括：
采用主干网络模型对所述训练图像进行特征提取处理，得到特征提取结果；
将所述特征提取结果和预设锚框输入至区域网络模型中进行训练，得到候选框列表，所述候选框列表中包括所述第一类型目标对应的候选框和所述第二类型目标对应的候选框；
所述第一检测网络包括第一采样器和第一检测头，包括：
采用第一采样器将所述候选框列表中的第二类型候选框去除，得到第一类型候选框集合，所述第二类型候选框与所述第二类型目标相对应，所述第一类型候选框与所述第一类型目标相对应；
对所述第一类型候选框集合进行随机采样处理，得到可信候选框列表；
采用所述第一检测头对所述可信候选框列表进行分类和回归处理，得到所述第一类型目标的分类标签和回归位置;
所述方法还包括：
将所述可信候选框列表输入至所述第一检测头中进行前向传播处理和反向传播处理，以更新所述第一检测头中的参数，得到更新后的第一检测头；
将所述候选框列表中的所有的候选框输入至所述更新后的第一检测头中进行二次前向传播处理，得到各所述候选框的预测框，所述预测框具有回归类别和回归位置。
9.根据权利要求8所述的方法，其特征在于，在采用联合损失函数进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数之后，所述方法还包括：
获取待测试图像；
将所述待测试图像输入至所述网络模型中进行测试，得到第一预测结果和第二预测结果，所述第一预测结果为所述第一检测网络的输出结果，所述第二预测结果为所述第二检测网络的输出结果；
将所述第二预测结果中的检测框与所述第一预测结果中的可信检测框进行交并比运算，得到第三交并比结果，所述可信检测框为所述第一类型目标的候选框对应的检测框；
将大于第三阈值的所述第三交并比结果对应的所述可信检测框的置信度进行校正，并将大于所述第三阈值的所述第三交并比结果对应的所述第二预测结果中的检测框删除，得到第一处理结果；
将小于或者等于所述第三阈值的所述第三交并比结果对应的可信检测框的置信度进行校正，得到第二处理结果；
融合所述第一处理结果和所述第二处理结果，得到最优处理结果，所述最优处理结果用于表征所述待测试图像的分类标签和回归位置。
10.一种目标检测模型的训练装置，其特征在于，包括：
获取单元，用于获取训练图像，所述训练图像中标注有第一类型目标的位置和所述第一类型目标的确定类别、第二类型目标的位置和所述第二类型目标的未知类别，所述第一类型目标指的是在标注时能够准确确定类别的目标，所述第二类型目标指的是在标注时无法准确确定类别的目标；
第一处理单元，用于采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置，所述候选样本区域包括所述第一类型目标所在的区域和所述第二类型目标所在的区域；
分配训练单元，用于基于经所述第一检测网络处理得到的所述第二类型目标的所述分类标签重新分配候选样本的正负样本属性，得到分配结果，且将所述分配结果输入至第二检测网络中进行训练，且确定训练过程中各候选样本区域的动态损失权重信息；
第二处理单元，用于依据所述动态损失权重信息和经所述第一检测网络处理得到的所述候选样本对应的分类标签和回归位置，进行反向传播，以调整所述第一检测网络的参数和所述第二检测网络的参数;
所述装置还包括提取单元和训练单元，
所述提取单元用于采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置之前，采用主干网络模型对所述训练图像进行特征提取处理，得到特征提取结果；
所述训练单元用于将所述特征提取结果和预设锚框输入至区域网络模型中进行训练，得到候选框列表，所述候选框列表中包括所述第一类型目标对应的候选框和所述第二类型目标对应的候选框；
所述第一检测网络包括第一采样器和第一检测头，第一处理单元包括去除模块、第二处理模块和第三处理模块，
所述去除模块用于采用第一采样器将所述候选框列表中的第二类型候选框去除，得到第一类型候选框集合，所述第二类型候选框与所述第二类型目标相对应，所述第一类型候选框与所述第一类型目标相对应；
所述第二处理模块用于对所述第一类型候选框集合进行随机采样处理，得到可信候选框列表；
所述第三处理模块用于采用所述第一检测头对所述可信候选框列表进行分类和回归处理，得到所述第一类型目标的分类标签和回归位置；
所述装置还包括第三处理单元和第四处理单元，
所述第三处理单元用于采用第一检测网络对所述训练图像中的候选样本区域进行分类和回归处理，得到候选样本对应的分类标签和回归位置的过程中，将所述可信候选框列表输入至所述第一检测头中进行前向传播处理和反向传播处理，以更新所述第一检测头中的参数，得到更新后的第一检测头；
所述第四处理单元用于将所述候选框列表中的所有的候选框输入至所述更新后的第一检测头中进行二次前向传播处理，得到各所述候选框的预测框，所述预测框具有回归类别和回归位置。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的方法。
12.一种目标检测设备，其特征在于，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至7中任意一项所述的方法。
CN202211059995.XA 2022-09-01 2022-09-01 目标检测模型的训练方法、装置与目标检测方法 Active CN115131655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211059995.XA CN115131655B (zh) 2022-09-01 2022-09-01 目标检测模型的训练方法、装置与目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211059995.XA CN115131655B (zh) 2022-09-01 2022-09-01 目标检测模型的训练方法、装置与目标检测方法

Publications (2)

Publication Number Publication Date
CN115131655A CN115131655A (zh) 2022-09-30
CN115131655B true CN115131655B (zh) 2022-11-22

Family

ID=83387449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211059995.XA Active CN115131655B (zh) 2022-09-01 2022-09-01 目标检测模型的训练方法、装置与目标检测方法

Country Status (1)

Country Link
CN (1) CN115131655B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758429B (zh) * 2023-08-22 2023-11-07 浙江华是科技股份有限公司 一种基于正负样本候选框动态选择船舶检测方法及系统
CN117437459B (zh) * 2023-10-08 2024-03-22 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232450A (zh) * 2020-12-15 2021-01-15 浙江啄云智能科技有限公司 一种综合多阶段的难例样本挖掘方法、目标检测方法
CN113177576A (zh) * 2021-03-31 2021-07-27 中国科学院大学 一种用于目标检测的多示例主动学习方法
WO2021198446A1 (de) * 2020-04-03 2021-10-07 Car.Software Estonia As Verfahren und vorrichtung zum ermitteln und klassifizieren wenigstens eines objekts in einem erfassungsbereich eines sensors
CN113780277A (zh) * 2021-09-08 2021-12-10 浙江啄云智能科技有限公司 目标检测模型的训练方法、装置、电子设备及存储介质
CN114220063A (zh) * 2021-11-17 2022-03-22 浙江大华技术股份有限公司 目标检测方法及装置
CN114429459A (zh) * 2022-01-24 2022-05-03 上海商汤智能科技有限公司 目标检测模型的训练方法及对应的检测方法
CN114586072A (zh) * 2019-10-23 2022-06-03 华为技术有限公司 特征检测器和描述符
CN114863091A (zh) * 2022-04-18 2022-08-05 北京计算机技术及应用研究所 一种基于伪标签的目标检测训练方法
CN114882324A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 目标检测模型训练方法、设备及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934453B2 (en) * 2014-06-19 2018-04-03 Bae Systems Information And Electronic Systems Integration Inc. Multi-source multi-modal activity recognition in aerial video surveillance
CN108932304B (zh) * 2018-06-12 2019-06-18 山东大学 基于跨模态的视频时刻定位方法、系统及存储介质
US11210523B2 (en) * 2020-02-06 2021-12-28 Mitsubishi Electric Research Laboratories, Inc. Scene-aware video dialog
KR20220101868A (ko) * 2021-01-12 2022-07-19 한국전자통신연구원 동적 딥 뉴럴 네트워크 학습 방법 및 시스템
WO2021092631A2 (en) * 2021-02-26 2021-05-14 Innopeak Technology, Inc. Weakly-supervised text-based video moment retrieval
CN114064967B (zh) * 2022-01-18 2022-05-06 之江实验室 多粒度级联交互网络的跨模态时序行为定位方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114586072A (zh) * 2019-10-23 2022-06-03 华为技术有限公司 特征检测器和描述符
WO2021198446A1 (de) * 2020-04-03 2021-10-07 Car.Software Estonia As Verfahren und vorrichtung zum ermitteln und klassifizieren wenigstens eines objekts in einem erfassungsbereich eines sensors
CN112232450A (zh) * 2020-12-15 2021-01-15 浙江啄云智能科技有限公司 一种综合多阶段的难例样本挖掘方法、目标检测方法
CN113177576A (zh) * 2021-03-31 2021-07-27 中国科学院大学 一种用于目标检测的多示例主动学习方法
CN113780277A (zh) * 2021-09-08 2021-12-10 浙江啄云智能科技有限公司 目标检测模型的训练方法、装置、电子设备及存储介质
CN114220063A (zh) * 2021-11-17 2022-03-22 浙江大华技术股份有限公司 目标检测方法及装置
CN114429459A (zh) * 2022-01-24 2022-05-03 上海商汤智能科技有限公司 目标检测模型的训练方法及对应的检测方法
CN114863091A (zh) * 2022-04-18 2022-08-05 北京计算机技术及应用研究所 一种基于伪标签的目标检测训练方法
CN114882324A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 目标检测模型训练方法、设备及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
UC-OWOD: Unknown-Classified Open World Object Detection;Zhiheng Wu et al;《Arxiv》;20220723;第1-24页 *
Unknown-Aware Object Detection: Learning What You Don"t Know from Videos in the Wild;Xuefeng Du et al;《Arxiv》;20220308;第1-17页 *
基于显著图的弱监督实时目标检测;李阳等;《自动化学报》;20190702(第02期);第242-255页 *

Also Published As

Publication number Publication date
CN115131655A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN115131655B (zh) 目标检测模型的训练方法、装置与目标检测方法
JP6905954B2 (ja) 自動欠陥分類のための未知欠陥除去の最適化
US10818000B2 (en) Iterative defect filtering process
CN110929617B (zh) 一种换脸合成视频检测方法、装置、电子设备及存储介质
US20220092359A1 (en) Image data classification method, device and system
CN111723728A (zh) 基于双向交互网络的行人搜索方法、系统、装置
CN110969600A (zh) 一种产品缺陷检测方法、装置、电子设备及存储介质
CN116385380A (zh) 基于深度特征的缺陷检测方法、系统、设备及存储介质
CN113780277A (zh) 目标检测模型的训练方法、装置、电子设备及存储介质
CN110147837B (zh) 基于特征聚焦的任意方向密集目标检测方法、系统及设备
CN113253269B (zh) 一种基于图像分类的sar自聚焦方法
CN115661160A (zh) 一种面板缺陷检测方法及系统及装置及介质
CN110728229B (zh) 图像处理方法、装置、设备和存储介质
CN117173568A (zh) 目标检测模型训练方法和目标检测方法
CN112149698A (zh) 一种困难样本数据的筛选方法及装置
US11176026B2 (en) Assignment of test case priorities based on combinatorial test design model analysis
CN111737371B (zh) 可动态预测的数据流量检测分类方法及装置
CN115410250A (zh) 阵列式人脸美丽预测方法、设备及存储介质
CN114841980A (zh) 基于巡线航拍图像的绝缘子缺陷检测方法及系统
CN114445678A (zh) 图像处理模型的训练方法及相关装置、设备和存储介质
CN114820618B (zh) 瑕疵检测模型的训练方法、装置、设备及存储介质
US20220253997A1 (en) Image defect detection method, electronic device using the same
CN116071375B (zh) 图像分割方法和装置、存储介质及电子设备
US20220189005A1 (en) Automatic inspection using artificial intelligence models
Zheng et al. Efficient Conflict-Filtered Network for Defect Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant