CN111914944A - 基于动态样本选择和损失一致性的物体检测方法和系统 - Google Patents

基于动态样本选择和损失一致性的物体检测方法和系统 Download PDF

Info

Publication number
CN111914944A
CN111914944A CN202010832019.8A CN202010832019A CN111914944A CN 111914944 A CN111914944 A CN 111914944A CN 202010832019 A CN202010832019 A CN 202010832019A CN 111914944 A CN111914944 A CN 111914944A
Authority
CN
China
Prior art keywords
sample
prediction
training
box
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010832019.8A
Other languages
English (en)
Other versions
CN111914944B (zh
Inventor
雷震
张士峰
罗卓群
张永明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010832019.8A priority Critical patent/CN111914944B/zh
Publication of CN111914944A publication Critical patent/CN111914944A/zh
Application granted granted Critical
Publication of CN111914944B publication Critical patent/CN111914944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于模式识别领域，具体涉及了一种基于动态样本选择和损失一致性的物体检测方法和系统，旨在解决物体识别精确度和性能不足的问题。本发明包括：先获取测试图像，通过在训练过程中动态地选取正样本和负样本，并引入非极大值抑制损失，该物体检测模型获得测试图像的预测框位置以及预测框属于各类别的概率，再次通过非极大值抑制获得最优测试图像的目标类别和预测框位置。本发明使每个标注框产生相同数量的正样本，优化器可以公平的对待每个训练样本，通过动态样本选择，通过预测每个预测框的IoU对回归损失函数重新加权使最优的检测结果更加精确，在训练阶段引入非极大值抑制损失函数对训练中产生的虚检进行惩罚，从而在测试阶段减少虚检。

Description

基于动态样本选择和损失一致性的物体检测方法和系统
技术领域
本发明属于模式识别领域，具体涉及了一种基于动态样本选择和损失一致性的物体检测方法、系统。
背景技术
物体检测是计算机视觉至关重要的技术领域，在多个高层视觉任务中属于基础模块。目前的物体检测方法主要分为基于锚点框和无需锚点框两种主流方法。这两种方法在训练阶段都需要定义正负样本以进行分类和回归任务，并且在测试阶段中都需要使用非极大值抑制算法输出最优结果。但当前物体检测算法存在两个问题，其一是训练的非动态性问题，当样本在训练开始阶段被划分为正负样本后，整个训练过程都使用这个固定的划分结果，但是随着训练的进行，样本在发生变化，而正负样本的划分并没有随着训练的进行而动态变化；其二是训练的非一致性问题，物体检测的训练阶段有两个非一致性，第一个非一致性是在检测中得分最高的预测框未必是位置最准确的预测框，第二个非一致性体现在对虚检的过滤上，测试阶段使用非极大值抑制算法过滤虚检，而训练阶段没有涉及这一操作。总的来说，就是分类和回归任务的非一致性和非极大值抑制在训练和测试阶段的非一致性，容易导致无法得到最佳的分类和物体位置的问题。
发明内容
为了解决现有技术中的上述问题，即现有的物体检测技术使用的检测模型，训练过程中依据检测初始阶段预设的锚点框和固定的标签进行训练，并没有随训练样本的变化而动态优化网络，分类最优和定位最优不一致，训练和测试中非极大值抑制操作不一致的问题，本发明提供了一种基于动态样本选择和损失一致性的物体检测方法，所述方法包括：
步骤S100，获取测试图像；
步骤S200，将所述测试图像输入训练好的物体检测模型，获得多个测试图像预测框位置和测试图像预测框属于各类别的概率；所述测试图像预测框位置包含预测IoU值和测试图像边框回归值；
步骤S300，基于所述测试图像预测框位置和测试图像预测框属于各类别的概率，通过第一非极大值抑制方法获得最优检测结果；所述最优检测结果包括最优测试图像预测框位置和目标类别；
其中，所述物体检测模型基于物体检测卷积神经网络、分类器和回归器构建，并基于训练图像以及设定的包含非极大值抑制一致性损失函数的全局损失函数训练；所述物体检测模型训练过程中动态地选取正样本和负样本，并通过随机梯度下降算法来反向传播误差，更新网络参数，反复迭代至损失函数收敛，获得训练好的物体检测模型。
进一步地，所述物体检测模型的训练方法包括：
步骤B100，获取带有标注框的训练图像；
步骤B200，基于所述训练图像的标注框，获取正样本集合和负样本集合；
步骤B300，将所述正样本集合产生的预测框划分为真正样本集合和伪正样本集合，将负样本集合划分为真负样本集合和伪负样本集合，舍弃伪负样本集合；
步骤B400，将所述真正样本集合输入所述分类器进行分类器训练，获得真正样本预测框属于各类别的概率；
将所述真正样本集合和伪正样本集合输入所述回归器进行回归器训练，获得训练样本回归预测框位置；其中，所述训练样本回归预测框的位置包含预测IoU值和训练样本边框回归值；
将所述真负样本输入所述分类器进行分类器训练并获得真负样本预测框属于各类别的概率；
步骤B500，基于用于训练分类器的样本预测各类别的概率和训练样回归器的样本预测标注框的位置，通过分类回归一致性方法和随机梯度下降算法反复迭代至损失函数收敛，获得训练好的物体检测模型；所述用于训练分类器的样本包括真负样本和真正样本，所述用于训练回归器的样本包括真正样本和伪正样本。
进一步地，所述步骤B200包括：
步骤B210，基于所述训练图像，生成预设数量不同尺寸的待选锚点框集合；
步骤B220，计算所述待选锚点框和标注框的第一IoU和所述待选锚点框中心点到标注框中心点的欧式距离；
步骤B230，基于所述第一IoU，对同一个标注框对应的待选锚点框进行降序排序，其中所述第一IoU相同的待选锚点框依据所述待选锚点框中心点到标注框中心点的欧氏距离升序排序，选取前K个所述待选锚点框作为正样本，其余为负样本，K为预设的自然数；
进一步地，所述步骤B300包括：
步骤B310，基于所述正样本集合和负样本集合，通过所述物体检测卷积神经网络，分别生成正样本预测框集合和负样本预测框集合；
一张训练图像的正样本集合为：
Figure BDA0002638337850000031
其中m是正样本的数量，与正样本集合对应的正样本预测框集合为：
Figure BDA0002638337850000032
Figure BDA0002638337850000033
一张训练图像的负样本集合为：
Figure BDA0002638337850000041
其中k是负样本的数量，与负样本集合对应的负样本预测框集合为：
Figure BDA0002638337850000042
Figure BDA0002638337850000043
步骤B320，计算正样本预测框与标注框的第二IoU，和负样本预测框与标注框的第三IoU；
若所述正样本预测框与标注框的第二IoU小于预设的真正-伪正判定阈值，则将该正样本预测框对应的正样本添加伪正样本标签设定为伪正样本集合，其余添加真正样本标签设定为真正样本集合；
若所述负样本预测框与标注框的第三IoU大于预设的真负-伪负阈值，则将该负样本预测框对应的负样本添加伪负样本标签设定为伪负样本集合，其余添加真负样本标签设定为真负样本集合。
所述进行回归器训练包括：
基于所述真正样本和伪正样本，通过所述回归器生成样本回归预测框，通过随机梯度下降算法将所述样本回归预测框反复迭代至回归损失函数Lreg收敛，得到训练好的回归器；
其中，在所述反复迭代的过程中所述回归器对所述真正样本预测框位置和伪正样本预测框位置进行平移和缩放的微调；
若微调后的真正样本预测框与标注框的第四IoU小于所述真正-伪正判定阈值，将该微调后的真正样本预测框的标签改为伪正样本标签并设定为伪正样本继续迭代，该伪正样本不参与下一轮分类器训练；
若微调后的伪正样本预测框与标注框的第五IoU大于所述真正-伪正判定阈值，将该微调后的伪正样本预测框的标签改为真正样本标签并设定为真正样本继续迭代，并输入分类器进行分类器训练。
进一步地，所述分类回归一致性方法包括：
计算每个用于训练分类器的样本预测框与标注框的第四IoU，通过所述第四IoU和用于训练分类器的样本预测框分类最高得分作乘法运算并取其平方根获得每个真正样本预测框对应的
Figure BDA0002638337850000051
其中，所述用于训练分类器的样本预测框包括真正样本预测框和真负样本预测框；所述预测框分类最高得分为用于训练分类器的样本预测框属于各类别概率中的最大值；
基于所述每个用于训练分类器的样本预测框对应的
Figure BDA0002638337850000052
从大到小对预测框进行从排序，选取第一个预测框作为用于计算非极大值抑制损失函数的最优训练预测框。
进一步地，所述全局损失函数L为：
L＝λ1LIoU+λ2Lcls+λ3Lreg+λ4Lnms
其中，LIoU为交并比损失函数，Lcls为分类损失函数，Lreg为回归损失函数，Lnms为非极大值抑制损失函数，λ1、λ2、λ3和λ4为权重系数；其中Lcls分类损失函数采用所有用于训练分类器的样本预测框属于各类别的概率进行计算。
进一步地，所述非极大值抑制损失函数Lnms为：
Figure BDA0002638337850000053
其中，b为一张图片的最优预测框，R为预测框与标注框的第三IoU低于预设的第二非极大值抑制阈值t2但大于预设的惩罚阈值的负样本，ri为所述负样本R的其中一个负样本标记，IoU(b,ri)为所述最优预测框b与负样本ri的交并比，计算每个标注框的Lnms，然后对有所标注框的损失计算平均值作为非极大值抑制损失。
进一步地，所述非极大值抑制方法包括：
将每个所述测试图像预测框对应的测试图像预测IoU值和测试图像分类最高得分作乘法运算并取其平方根获得每个测试图像预测框对应的
Figure BDA0002638337850000061
其中所述测试图像分类最高得分为测试图像属于各类别的概率中的最大值；
基于所述每个测试图像预测框对应的
Figure BDA0002638337850000062
从大到小对测试图像预测框进行排序，选取第一个测试图像预测框为最优测试图像预测框；
计算其余测试图像预测框与最优测试图像预测框的第六IoU，将所述第六IoU大于预设的第一非极大值抑制阈值t1的对应的测试图像预测框舍弃，未被选取或舍弃的测试图像预测框则继续迭代，直到所有测试图像预测框都被选取或丢弃，被选取的最优测试图像预测框位置和测试图像分类得分对应的目标类别为最优检测结果。
本发明的另一方面，提出了一种基于动态样本选择和损失一致性的物体检测系统，所述系统包括图像获取模块、分类回归模块和后处理模块；
所述图像获取模块，用于获取测试图像；
所述分类回归模块，将所述测试图像输入训练好的物体检测模型，获得多个测试图像预测框位置和测试图像预测框属于各类别的概率；所述测试图像预测框位置包含预测IoU和测试图像边框回归值；
所述后处理模块，用于基于所述测试图像预测框位置和测试图像预测框属于各类别的概率，通过非极大值抑制方法获得最优检测结果；所述最优检测结果包括测试图像最优预测框位置和目标类别；
其中，所述物体检测模型基于物体检测卷积神经网络、分类器和回归器构建，并基于训练图像以及设定的包含非极大值抑制一致性损失函数的全局损失函数训练；所述物体检测模型训练过程中动态地选取正样本和负样本，并通过随机梯度下降算法来反向传播误差，更新网络参数，反复迭代至损失函数收敛，获得训练好的物体检测模型。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于动态样本选择和损失一致性的物体检测方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于动态样本选择和损失一致性的物体检测方法。
本发明的有益效果：
(1)本发明一种基于动态样本选择和损失一致性的物体检测方法，通过以距离敏感的方式改进初始正样本锚点框选择的方法，使每个标注框产生相同数量的正样本，从而优化器可以公平的对待每个训练样本，提高了物体检测的精确度。
(2)本发明一种基于动态样本选择和损失一致性的物体检测方法，通过在物体检测模型的训练过程中动态调整正负样本来优化网络，过滤掉了极易产生混淆的伪正样本和伪负样本，避免了虚检，提高了分类器的性能和物体检测的精确度。
(3)本发明一种基于动态样本选择和损失一致性的物体检测方法，通过预测每个预测框与标注框的IoU，在训练阶段通过预测框与标注框的IoU对回归损失函数重新加权，在测试阶段通过预测框与标注框的IoU对分类得分重新加权，在一定程度上解决了分类和边框回归不一致的问题，提高了物体检测模型的性能。
(4)本发明一种基于动态样本选择和损失一致性的物体检测方法，通过提出一种新的非极大值抑制损失函数，在训练阶段使更多的负样本被非极大值抑制，减少了虚检，提高了物体检测模型的性能。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明动态样本选择和损失一致性的物体检测方法的流程示意图；
图2是本发明第一实施例中的物体检测模型训练方法的原理示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于动态样本选择和损失一致性的物体检测方法，本方法包括步骤S100-步骤S300；
步骤S100，获取测试图像；
步骤S200，将所述测试图像输入训练好的物体检测模型，获得多个测试图像预测框位置和测试图像预测框属于各类别的概率；所述测试图像预测框位置包含预测IoU值和测试图像边框回归值；
步骤S300，基于所述测试图像预测框位置和测试图像预测框属于各类别的概率，通过非极大值抑制方法获得最优检测结果；所述最优检测结果包括测试图像最优预测框位置和目标类别；
其中，所述物体检测模型基于物体检测卷积神经网络、分类器和回归器构建，并基于训练图像以及设定的包含非极大值抑制一致性损失函数的全局损失函数训练；所述物体检测模型训练过程中动态地选取正样本和负样本，并通过随机梯度下降算法来反向传播误差，更新网络参数，反复迭代至损失函数收敛，获得训练好的物体检测模型。
为了更清晰地对本发明基于动态样本选择和损失一致性的物体检测方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于动态样本选择和损失一致性的物体检测方法，包括步骤S100-步骤S300，各步骤详细描述如下：
步骤S100，获取测试图像；
步骤S200，将所述测试图像输入训练好的物体检测模型，获得多个测试图像预测框位置和测试图像预测框属于各类别的概率；所述测试图像预测框位置包含预测IoU值和测试图像边框回归值；
当前基于卷积神经网络的物体检测方法，主要划分为基于锚点框和无需锚点框两大类主流方法，这两种方法在训练阶段都需要定义正负样本，以进行分类和回归任务，并在测试阶段都使用非极大值抑制算法输出最优结果。但两类方法都面临着训练中正负样本动态选择和训练一致性的问题。
在本实施例中，物体检测模型的训练方法包括步骤B100-步骤B500，各步骤详细描述如下：
步骤B100，获取带有标注框的训练图像；
步骤B200，基于所述训练图像的标注框，获取正样本集合和负样本集合；
在本实施例中，步骤B200包括步骤B210-步骤B230，各步骤详细描述如下：
步骤B210，基于所述训练图像，生成预设数量不同尺寸的待选锚点框集合；
步骤B220，计算所述待选锚点框和标注框的第一IoU和所述待选锚点框中心点到标注框中心点的欧式距离；
步骤B230，基于所述第一IoU，对同一个标注框对应的待选锚点框进行降序排序，其中所述第一IoU相同的待选锚点框依据所述待选锚点框中心点到标注框中心点的欧氏距离升序排序，选取前K个所述待选锚点框作为正样本，其余为负样本，K为预设的自然数；
在本实施例中，正-负判定阈值为0.5，即锚点框与标注框IoU大于0.5的锚点框定义为正样本，小于或等于0.5的锚点框定义为负样本；但这样会产生各标注框的正样本数量不均衡的问题，即一些标注框会有更多的正样本，正样本不均衡会影响后续的优化。
通过选取前K个待选锚点框使得所有标注框都产生相同数量的正样本，从而优化器可以公平的对待每个训练样本。
该距离敏感初始正样本锚点框选择方法，不受物体尺度和位置的影响，每个标注框产生同样数量的正样本锚点框，避免了训练阶段初始正样本锚点框样本不均衡的问题。
当使用任何一种策略定义完正负样本后，所有锚点框都被分为正样本和负样本。正样本和负样本全都用来训练分类器，而只有正样本用于训练回归器。
步骤B300，将所述正样本集合产生的预测框划分为真正样本集合和伪正样本集合，将负样本集合划分为真负样本集合和伪负样本集合，舍弃伪负样本集合；
在本实施例中，步骤B300包括步骤B310-步骤B320，各步骤详细描述如下：
步骤B310，基于所述正样本集合和负样本集合，通过所述物体检测卷积神经网络，分别生成正样本预测框集合和负样本预测框集合；
一张训练图像的正样本集合为：
Figure BDA0002638337850000111
其中m是正样本的数量，与正样本集合对应的正样本预测框集合为：
Figure BDA0002638337850000112
Figure BDA0002638337850000113
一张训练图像的负样本集合为：
Figure BDA0002638337850000114
其中k是负样本的数量，与负样本集合对应的负样本预测框集合为：
Figure BDA0002638337850000115
Figure BDA0002638337850000116
步骤B320，计算正样本预测框与标注框的第二IoU，和负样本预测框与标注框的第三IoU；
若所述正样本预测框与标注框的第二IoU小于预设的真正-伪正判定阈值，则将该正样本预测框对应的正样本添加伪正样本标签设定为伪正样本集合，其余添加真正样本标签设定为真正样本集合；
在本实施例中，真正-伪正判定阈值设定为0.5；即伪正样本指预测框和标注框IoU小于0.5的正样本，其余是真正样本；
伪正样本的来源除了IoU小于0.5的低质量锚点框被选为了正样本锚点框，还包括正样本锚点框与标注框的IoU大于0.5，但是经过错误地回归，其与标注框的IoU低于0.5。真正样本和伪正样本会在训练中会来回转换。
若所述负样本预测框与标注框的第三IoU大于预设的真负-伪负阈值，则将该负样本预测框对应的负样本添加伪负样本标签设定为伪负样本集合，其余添加真负样本标签设定为真负样本集合。
在本实施例中，真负-伪负判定阈值设定为0.75.即，预测框与标注框IoU大于0.75的负样本视为伪负样本
处理这些伪负样本有两种方法，一是直接忽略，二是将其加到正样本中。后一种方法会造成性能损失，可能的原因是训练中一个锚点框会时而为负时而为正，即标签定义存在歧义，令模型难以收敛，还会导致每个标注框有着不同数量的正样本，再次引入正样本数量不均衡的问题；
动态正负样本选择模块对这些伪负样本在训练阶段所采取的策略是直接过滤掉。
原因是这些与标注框拥有较高IoU的伪负样本，它们与正样本极为相似，如果将它们作为负样本训练分类器，会对分类器产生混淆。
步骤B400，将所述真正样本集合输入所述分类器进行分类器训练，获得真正样本预测框属于各类别的概率；
将所述真正样本集合和伪正样本集合输入所述回归器进行回归器训练，获得训练样本回归预测框位置；其中，所述训练样本回归预测框的位置包含预测IoU值和训练样本边框回归值；
所述回归器训练包括：
基于所述真正样本和伪正样本，通过所述回归器生成样本回归预测框，通过随机梯度下降算法将所述样本回归预测框反复迭代至回归损失函数Lreg收敛，得到训练好的回归器；
其中，在所述反复迭代的过程中所述回归器对所述真正样本预测框位置和伪正样本预测框位置进行平移和缩放的微调；
微调后的真正样本预测框与标注框的第四IoU小于所述真正-伪正判定阈值，将该微调后的真正样本预测框的标签改为伪正样本标签并设定为伪正样本继续迭代，并暂停分类器训练；
若微调后的伪正样本预测框与标注框的第五IoU大于所述真正-伪正判定阈值，将该微调后的伪正样本预测框的标签改为真正样本标签并设定为真正样本继续迭代，并输入分类器进行分类器训练。
将所述真负样本输入所述分类器进行分类器训练并获得真负样本属于各类别的概率；
若微调后的真正样本预测框与标注框的第四IoU小于所述真正-伪正判定阈值，将该微调后的真正样本预测框的标签改为伪正样本标签并设定为伪正样本继续迭代，该伪正样本不参与下一轮分类器训练。
这背后的逻辑是，如果伪正样本进入到分类器，取得比较高的得分，从而在最后成为高得分虚检而严重损害分类器性能，但是将其放到回归分支中有可能通过的微调，转化为真正样本，从而可以参与到分类中训练。
该发明提出的动态正样本选择策略，在没有减少每个标注框的正样本的前提下减少了得分较高的虚检。
步骤B500，基于用于训练分类器的样本预测各类别的概率和训练样回归器的样本预测标注框的位置，通过分类回归一致性方法和随机梯度下降算法反复迭代至损失函数收敛，获得训练好的物体检测模型；所述用于训练分类器的样本包括真负样本和真正样本，所述用于训练回归器的样本包括全部正样本。
物体检测是回归和检测的多任务学习，两个任务存在预测结果上存在非一致性。具体来说，就是得分最高的预测框未必是边框回归最精确的预测框，反之亦然。只使用分类得分来做非极大值抑制，次优的预测框可能会成为最后的输出结果；
本发明设计了一个简单的分支，同时考虑每个样本的分类和回归的归一化得分，即在训练阶段使用预测的IoU对回归损失重新计算权重，而在测试阶段，使用预测的IoU对分类得分重新计算权重。
预设的分类回归一致性方法包括：
计算每个用于训练分类器的样本预测框与标注框的第四IoU，通过所述第四IoU和用于训练分类器的样本预测框分类最高得分作乘法运算并取其平方根获得每个真正样本预测框对应的
Figure BDA0002638337850000131
其中，所述用于训练分类器的样本预测框包括真正样本预测框和真负样本预测框；所述预测框分类最高得分为用于训练分类器的样本预测框属于各类别概率中的最大值；
基于所述每个用于训练分类器的样本预测框对应的
Figure BDA0002638337850000141
从大到小对预测框进行从大到小排序，选取第一个预测框作为用于计算非极大值抑制损失函数的最优训练预测框。
这样将会选择更精确的预测框作为最后的输出。
另外，传统的检测模型训练方法仅将真正样本用于训练回归器，本发明提出的也将伪正样本用于训练回归器并将结果结合本发明提出的分类回归一致性方法用于计算全局损失，极大地提高了模型的性能和检测精度。
所述全局损失函数L为：
L＝λ1LIoU+λ2Lcls+λ3Lreg+λ4Lnms
其中，LIoU为交并比损失函数，Lcls为分类损失函数，Lreg为回归损失函数，Lnms为非极大值抑制损失函数，λ1、λ2、λ3和λ4为权重系数；其中Lcls分类损失函数采用所有用于训练分类器的样本预测框属于各类别的概率进行计算。
其中，所述非极大值抑制损失函数Lnms为：
Figure BDA0002638337850000142
其中，b为一张图片的最优预测框，R为预测框与标注框的第三IoU低于预设的第二非极大值抑制阈值t2但大于预设的惩罚阈值的负样本，ri为所述负样本R的其中一个负样本标记，IoU(b,ri)为所述最优预测框b与负样本ri的交并比，计算每个标注框的Lnms，然后对有所标注框的损失计算平均值作为非极大值抑制损失。
本实施例中惩罚阈值设定为0.4。
通过此非极大值抑制可以解决如第三IoU为0.49的虚检未能被IoU＝0.5的非极大值抑制算法过滤掉的问题。
引入非极大值抑制的目的是在训练阶段更多的负样本可以被非极大值抑制算法抑制，从而在测试阶段减少虚检。
步骤S300，步骤S300，基于所述测试图像预测框位置和测试图像预测框属于各类别的概率，通过非极大值抑制方法获得最优检测结果；所述最优检测结果包括测试图像最优预测框位置和目标类别；
本实施例中非极大值抑制方法包括：
将每个所述测试图像预测框对应的测试图像预测IoU值和测试图像分类最高得分作乘法运算并取其平方根获得每个测试图像预测框对应的
Figure BDA0002638337850000151
其中所述测试图像分类最高得分为测试图像属于各类别的概率中的最大值；
基于所述每个测试图像预测框对应的
Figure BDA0002638337850000152
从大到小对测试图像预测框进行排序，选取第一个测试图像预测框为最优测试图像预测框；
测试阶段用于计算
Figure BDA0002638337850000153
的IoU为模型预测的，训练阶段用于计算
Figure BDA0002638337850000154
的IoU是通过预测框与标注框计算的。
计算其余测试图像预测框与最优测试图像预测框的第六IoU，将所述第六IoU大于预设的第一非极大值抑制阈值t1的对应的测试图像预测框舍弃，未被选取或舍弃的测试图像预测框则继续迭代，直到所有测试图像预测框都被选取或丢弃，被选取的最优测试图像预测框位置和测试图像分类最高得分对应的目标类别为最优检测结果。
在本实施例中，预设的第一非极大值抑制阈值t1选取0.5。
其中，所述物体检测模型基于物体检测卷积神经网络、分类器和回归器构建，并基于训练图像以及设定的包含非极大值抑制一致性损失函数的全局损失函数训练；所述物体检测模型训练过程中动态地选取正样本和负样本，并通过随机梯度下降算法来反向传播误差，更新网络参数，反复迭代至损失函数收敛，获得训练好的物体检测模型。
本发明提出的基于动态样本选择和损失一致性的物体检测方法与多个当前主流物体检测方法相结合，在MS COCO数据集合上取得了优异的检测结果。
本发明第一实施例中的物体检测模型的训练原理如图2所示；在训练阶段，使用带有标注框的训练图像对物体检测模型进行训练；将训练图像输入物体检测模型后，物体检测模型会生成预设个数的待选锚点框；首先采用本发明特有的距离敏感正样本选择策略选取K个正样本，其余为负样本；再将正样本分为真正样本和伪正样本，真正样本用于训练回归器和分类器，伪正样本用于训练回归器，将负样本分为真负样本和伪负样本，真负样本用于训练分类器，伪负样本不参与训练；然后采用本发明特有的正负样本动态选择策略在训练过程中动态地更新真正样本标签和伪正样本标签；再然后采用本发明特有的分类回归一致性分支，利用预测的IoU和分类得分相乘求平方根得到
Figure BDA0002638337850000161
对预测框重新排序；最后通过本发明特有的非极大值抑制损失函数减少训练阶段的虚检，反复迭代降低全局损失函数至模型收敛得到训练好的物体检测模型。
本发明第二实施例的基于动态样本选择和损失一致性的物体检测系统，包括图像获取模块、分类回归模块和目标定位模块；
所述图像获取模块，用于获取测试图像；
所述分类回归模块，用于将所述测试图像输入训练好的物体检测模型，获得测试图像预测框集合；
其中，所述测试图像预测框的信息包括：测试图像预测框回归值、测试图像预测框IoU值和测试图像预测框分类得分；
所述目标定位模块，用于基于所述测试图像预测框集合，通过第一非极大值抑制方法获得最优检测结果；
其中，所述物体检测模型基于物体检测卷积神经网络、分类器和回归器构建，并基于训练图像以及设定的包含非极大值抑制一致性损失函数的全局损失函数训练；所述物体检测模型训练过程中动态地选取正样本和负样本，并通过随机梯度下降算法来反向传播误差，更新网络参数，反复迭代至损失函数收敛，获得训练好的物体检测模型。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的一种基于动态样本选择和损失一致性的物体检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于动态样本选择和损失一致性的物体检测方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于动态样本选择和损失一致性的物体检测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于动态样本选择和损失一致性的物体检测方法，其特征在于，所述方法包括：
步骤S100，获取测试图像；
步骤S200，将所述测试图像输入训练好的物体检测模型，获得多个测试图像预测框位置和测试图像预测框属于各类别的概率；所述测试图像预测框位置包含预测IoU值和测试图像边框回归值；
步骤S300，基于所述测试图像预测框位置和测试图像预测框属于各类别的概率，通过非极大值抑制方法获得最优检测结果；所述最优检测结果包括测试图像最优预测框位置和目标类别；
其中，所述物体检测模型基于物体检测卷积神经网络、分类器和回归器构建，并基于训练图像以及设定的包含非极大值抑制一致性损失函数的全局损失函数训练；所述物体检测模型训练过程中动态地选取正样本和负样本，并通过随机梯度下降算法来反向传播误差，更新网络参数，反复迭代至损失函数收敛，获得训练好的物体检测模型。
2.根据权利要求1所述的基于动态样本选择和损失一致性的物体检测方法，其特征在于，所述物体检测模型的训练方法包括：
步骤B100，获取带有标注框的训练图像；
步骤B200，基于所述训练图像的标注框，获取正样本集合和负样本集合；
步骤B300，将所述正样本集合产生的预测框划分为真正样本集合和伪正样本集合，将负样本集合划分为真负样本集合和伪负样本集合，舍弃伪负样本集合；
步骤B400，将所述真正样本集合输入所述分类器进行分类器训练，获得真正样本预测框属于各类别的概率；
将所述真正样本集合和伪正样本集合输入所述回归器进行回归器训练，获得训练样本回归预测框位置；其中，所述训练样本回归预测框的位置包含预测IoU值和训练样本边框回归值；
将所述真负样本输入所述分类器进行分类器训练并获得真负样本属于各类别的概率；
步骤B500，基于用于训练分类器的样本预测各类别的概率和训练样回归器的样本预测标注框的位置，通过分类回归一致性方法和随机梯度下降算法反复迭代至损失函数收敛，获得训练好的物体检测模型；所述用于训练分类器的样本包括真负样本和真正样本，所述用于训练回归器的样本包括全部正样本。
3.根据权利要求2所述的一种基于动态样本选择和损失一致性的物体检测方法，其特征在于，步骤B200包括：
步骤B210，基于所述训练图像，生成预设数量不同尺寸的待选锚点框集合；
步骤B220，计算所述待选锚点框和标注框的第一IoU和所述待选锚点框中心点到标注框中心点的欧式距离；
步骤B230，基于所述第一IoU，对同一个标注框对应的待选锚点框进行降序排序，其中所述第一IoU相同的待选锚点框依据所述待选锚点框中心点到标注框中心点的欧氏距离升序排序，选取前K个所述待选锚点框作为正样本，其余为负样本，K为预设的自然数。
4.根据权利要求2所述的基于动态样本选择和损失一致性的物体检测方法，其特征在于，所述步骤B300包括：
步骤B310，基于所述正样本集合和负样本集合，通过所述物体检测卷积神经网络，分别生成正样本预测框集合和负样本预测框集合；
一张训练图像的正样本集合为：
Figure FDA0002638337840000031
其中m是正样本的数量，与正样本集合对应的正样本预测框集合为：
Figure FDA0002638337840000032
一张训练图像的负样本集合为：
Figure FDA0002638337840000033
其中k是负样本的数量，与负样本集合对应的负样本预测框集合为：
Figure FDA0002638337840000034
步骤B320，计算正样本预测框与标注框的第二IoU，和负样本预测框与标注框的第三IoU；
若所述正样本预测框与标注框的第二IoU小于预设的真正-伪正判定阈值，则将该正样本预测框对应的正样本添加伪正样本标签设定为伪正样本集合，其余添加真正样本标签设定为真正样本集合；
若所述负样本预测框与标注框的第三IoU大于预设的真负-伪负阈值，则将该负样本预测框对应的负样本添加伪负样本标签设定为伪负样本集合，其余添加真负样本标签设定为真负样本集合。
5.根据权利要求2所述的基于动态样本选择和损失一致性的物体检测方法，其特征在于，所述进行回归器训练包括：
基于所述真正样本和伪正样本，通过所述回归器生成样本回归预测框，通过随机梯度下降算法将所述样本回归预测框反复迭代至回归损失函数Lreg收敛，得到训练好的回归器；
其中，在所述反复迭代的过程中，所述回归器对所述真正样本预测框位置和伪正样本预测框位置进行平移和缩放的微调；
若微调后的真正样本预测框与标注框的第四IoU小于所述真正-伪正判定阈值，将该微调后的真正样本预测框的标签改为伪正样本标签并设定为伪正样本继续迭代，该伪正样本不参与下一轮分类器训练；
若微调后的伪正样本预测框与标注框的第五IoU大于所述真正-伪正判定阈值，将该微调后的伪正样本预测框的标签改为真正样本标签并设定为真正样本继续迭代，并输入分类器进行分类器训练。
6.根据权利要求2所述的基于动态样本选择和损失一致性的物体检测方法，其特征在于，所述分类回归一致性方法包括：
计算每个用于训练分类器的样本预测框与标注框的第四IoU，通过所述第四IoU和用于训练分类器的样本预测框分类最高得分作乘法运算并取其平方根获得每个真正样本预测框对应的
Figure FDA0002638337840000041
其中，所述用于训练分类器的样本预测框包括真正样本预测框和真负样本预测框；所述预测框分类最高得分为用于训练分类器的样本预测框属于各类别概率中的最大值；
基于所述每个用于训练分类器的样本预测框对应的
Figure FDA0002638337840000042
从大到小对预测框进行从排序，选取第一个预测框作为用于计算非极大值抑制损失函数的最优训练预测框。
7.根据权利要求6所述的基于动态样本选择和损失一致性的物体检测方法，其特征在于，所述全局损失函数L为：
L＝λ1LIoU+λ2Lcls+λ3Lreg+λ4Lnms
其中，lIoU为交并比损失函数，Lcls为分类损失函数，Lreg为回归损失函数，Lnms为非极大值抑制损失函数，λ1、λ2、λ3和λ4为权重系数；其中Lcls分类损失函数采用所有用于训练分类器的样本预测框属于各类别的概率进行计算；
所述非极大值抑制损失函数Lnms为：
Figure FDA0002638337840000043
其中，b为一张图片的最优预测框，R为预测框与标注框的第三IoU低于预设的第二非极大值抑制阈值t2但大于预设的惩罚阈值的负样本，ri为所述负样本R的其中一个负样本标记，IoU(b,ri)为所述最优预测框b与负样本ri的交并比，计算每个标注框的Lnms，然后对有所标注框的损失计算平均值作为非极大值抑制损失。
8.一种基于动态样本选择和损失一致性的物体检测系统，其特征在于，所述系统包括图像获取模块、分类回归模块和后处理模块；
所述图像获取模块，用于获取测试图像；
所述分类回归模块，用于将所述测试图像输入训练好的物体检测模型，获得多个测试图像预测框位置和测试图像预测框属于各类别的概率；所述测试图像预测框位置包含预测IoU值和测试图像边框回归值；
所述后处理模块，用于基于所述测试图像预测框位置和测试图像预测框属于各类别的概率，通过非极大值抑制方法获得最优检测结果；所述最优检测结果包括测试图像最优预测框位置和目标类别；
其中，所述物体检测模型基于物体检测卷积神经网络、分类器和回归器构建，并基于训练图像以及设定的包含非极大值抑制一致性损失函数的全局损失函数训练；所述物体检测模型训练过程中动态地选取正样本和负样本，并通过随机梯度下降算法来反向传播误差，更新网络参数，反复迭代至损失函数收敛，获得训练好的物体检测模型。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的基于动态样本选择和损失一致性的物体检测方法。
10.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现：权利要求1-7任一项所述的基于动态样本选择和损失一致性的物体检测方法。
CN202010832019.8A 2020-08-18 2020-08-18 基于动态样本选择和损失一致性的物体检测方法和系统 Active CN111914944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010832019.8A CN111914944B (zh) 2020-08-18 2020-08-18 基于动态样本选择和损失一致性的物体检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010832019.8A CN111914944B (zh) 2020-08-18 2020-08-18 基于动态样本选择和损失一致性的物体检测方法和系统

Publications (2)

Publication Number Publication Date
CN111914944A true CN111914944A (zh) 2020-11-10
CN111914944B CN111914944B (zh) 2022-11-08

Family

ID=73278337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010832019.8A Active CN111914944B (zh) 2020-08-18 2020-08-18 基于动态样本选择和损失一致性的物体检测方法和系统

Country Status (1)

Country Link
CN (1) CN111914944B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509008A (zh) * 2020-12-15 2021-03-16 重庆邮电大学 一种基于交并比引导孪生网络的目标跟踪方法
CN112598048A (zh) * 2020-12-16 2021-04-02 佛山市南海区广工大数控装备协同创新研究院 一种根据物体的统计特性自适应的选择正负样本的方法
CN112949849A (zh) * 2021-01-27 2021-06-11 武汉星巡智能科技有限公司 采用边缘计算优化智能摄像头检测模型的方法和装置
CN113011532A (zh) * 2021-04-30 2021-06-22 平安科技（深圳）有限公司 分类模型训练方法、装置、计算设备及存储介质
CN113037662A (zh) * 2021-03-02 2021-06-25 电子科技大学 一种基于联邦学习的移动设备射频分布识别方法
CN113052217A (zh) * 2021-03-15 2021-06-29 上海云从汇临人工智能科技有限公司 预测结果标识及其模型训练方法、装置及计算机存储介质
CN113221769A (zh) * 2021-05-18 2021-08-06 北京百度网讯科技有限公司 识别模型训练方法、识别方法、装置、设备及存储介质
CN113239982A (zh) * 2021-04-23 2021-08-10 北京旷视科技有限公司 检测模型的训练方法、目标检测方法、装置和电子系统
CN113361369A (zh) * 2021-06-01 2021-09-07 南京南瑞信息通信科技有限公司 基于训练样本选择的电力现场着装规范检测方法
WO2022133430A1 (en) * 2020-12-16 2022-06-23 Argo AI, LLC Autonomous vehicle system for intelligent on-board selection of data for training a remote machine learning model
CN115861720A (zh) * 2023-02-28 2023-03-28 人工智能与数字经济广东省实验室(广州) 一种小样本亚类图像分类识别方法
US11657591B2 (en) 2021-01-15 2023-05-23 Argo AI, LLC Autonomous vehicle system for intelligent on-board selection of data for building a remote machine learning model
US11769318B2 (en) 2020-11-23 2023-09-26 Argo AI, LLC Systems and methods for intelligent selection of data for building a machine learning model

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503106A (zh) * 2016-10-17 2017-03-15 北京工业大学 一种基于深度学习的图像哈希索引构建方法
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法
CN110866134A (zh) * 2019-11-08 2020-03-06 吉林大学 一种面向图像检索的分布一致性保持度量学习方法
CN111091101A (zh) * 2019-12-23 2020-05-01 中国科学院自动化研究所 基于一步法的高精度行人检测方法、系统、装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503106A (zh) * 2016-10-17 2017-03-15 北京工业大学 一种基于深度学习的图像哈希索引构建方法
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法
CN110866134A (zh) * 2019-11-08 2020-03-06 吉林大学 一种面向图像检索的分布一致性保持度量学习方法
CN111091101A (zh) * 2019-12-23 2020-05-01 中国科学院自动化研究所 基于一步法的高精度行人检测方法、系统、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾钰廷: "基于深度学习的物体检测与跟踪方法的研究", 《中国优秀硕士学位论文全文数据库 信息科技》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11769318B2 (en) 2020-11-23 2023-09-26 Argo AI, LLC Systems and methods for intelligent selection of data for building a machine learning model
CN112509008A (zh) * 2020-12-15 2021-03-16 重庆邮电大学 一种基于交并比引导孪生网络的目标跟踪方法
CN112509008B (zh) * 2020-12-15 2022-05-03 重庆邮电大学 一种基于交并比引导孪生网络的目标跟踪方法
CN112598048A (zh) * 2020-12-16 2021-04-02 佛山市南海区广工大数控装备协同创新研究院 一种根据物体的统计特性自适应的选择正负样本的方法
WO2022133430A1 (en) * 2020-12-16 2022-06-23 Argo AI, LLC Autonomous vehicle system for intelligent on-board selection of data for training a remote machine learning model
US11657591B2 (en) 2021-01-15 2023-05-23 Argo AI, LLC Autonomous vehicle system for intelligent on-board selection of data for building a remote machine learning model
CN112949849B (zh) * 2021-01-27 2024-03-26 武汉星巡智能科技有限公司 采用边缘计算优化智能摄像头检测模型的方法和装置
CN112949849A (zh) * 2021-01-27 2021-06-11 武汉星巡智能科技有限公司 采用边缘计算优化智能摄像头检测模型的方法和装置
CN113037662A (zh) * 2021-03-02 2021-06-25 电子科技大学 一种基于联邦学习的移动设备射频分布识别方法
CN113052217A (zh) * 2021-03-15 2021-06-29 上海云从汇临人工智能科技有限公司 预测结果标识及其模型训练方法、装置及计算机存储介质
CN113239982A (zh) * 2021-04-23 2021-08-10 北京旷视科技有限公司 检测模型的训练方法、目标检测方法、装置和电子系统
CN113011532A (zh) * 2021-04-30 2021-06-22 平安科技（深圳）有限公司 分类模型训练方法、装置、计算设备及存储介质
CN113221769A (zh) * 2021-05-18 2021-08-06 北京百度网讯科技有限公司 识别模型训练方法、识别方法、装置、设备及存储介质
CN113221769B (zh) * 2021-05-18 2023-06-27 北京百度网讯科技有限公司 识别模型训练方法、识别方法、装置、设备及存储介质
CN113361369A (zh) * 2021-06-01 2021-09-07 南京南瑞信息通信科技有限公司 基于训练样本选择的电力现场着装规范检测方法
CN113361369B (zh) * 2021-06-01 2022-08-09 南京南瑞信息通信科技有限公司 基于训练样本选择的电力现场着装规范检测方法
CN115861720A (zh) * 2023-02-28 2023-03-28 人工智能与数字经济广东省实验室(广州) 一种小样本亚类图像分类识别方法

Also Published As

Publication number Publication date
CN111914944B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN111914944B (zh) 基于动态样本选择和损失一致性的物体检测方法和系统
Zhu et al. Autoassign: Differentiable label assignment for dense object detection
CN110163234B (zh) 一种模型训练方法、装置和存储介质
CN106096670B (zh) 级联卷积神经网络训练和图像检测方法、装置及系统
JP2022511491A (ja) ニューラルネットワークを使用した集積回路フロアプランの生成
CN109460793A (zh) 一种节点分类的方法、模型训练的方法及装置
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN111428733A (zh) 基于语义特征空间转换的零样本目标检测方法及系统
CN110222215A (zh) 一种基于f-ssd-iv3的作物害虫检测方法
CN106383912A (zh) 一种图片检索方法和装置
CN109934330A (zh) 基于多样化种群的果蝇优化算法来构建预测模型的方法
US11694111B2 (en) Learning device and learning method
CN109903242A (zh) 一种图像生成方法及装置
CN109886343A (zh) 图像分类方法及装置、设备、存储介质
CN113361645A (zh) 基于元学习及知识记忆的目标检测模型构建方法及系统
CN112990298A (zh) 关键点检测模型训练方法、关键点检测方法及装置
CN111832693B (zh) 神经网络层运算、模型训练方法、装置及设备
CN109961129A (zh) 一种基于改进粒子群的海上静止目标搜寻方案生成方法
CN110796268A (zh) 确定业务处理模型超参数的方法和装置
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
CN109902641B (zh) 基于语义对齐的人脸关键点检测方法、系统、装置
CN111445024B (zh) 一种医学影像识别训练方法
CN110033117A (zh) 模型校准方法及装置
CN109408396A (zh) 软件质量评价方法、装置、设备及计算机可读存储介质
CN113657510A (zh) 一种有标注价值的数据样本的确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant