CN109784391B - 基于多模型的样本标注方法及装置 - Google Patents
基于多模型的样本标注方法及装置 Download PDFInfo
- Publication number
- CN109784391B CN109784391B CN201910009377.6A CN201910009377A CN109784391B CN 109784391 B CN109784391 B CN 109784391B CN 201910009377 A CN201910009377 A CN 201910009377A CN 109784391 B CN109784391 B CN 109784391B
- Authority
- CN
- China
- Prior art keywords
- model
- result
- prediction
- information
- credible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 164
- 238000012549 training Methods 0.000 claims abstract description 151
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012795 verification Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 15
- 230000010354 integration Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 3
- 241000282326 Felis catus Species 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 241000282376 Panthera tigris Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多模型的样本标注方法及装置，其中，方法包括：S1，根据训练样本集中的已标注样本图片以及已标注样本图片的标注信息对联合模型所包含的各个子模型进行训练更新得到更新后的联合模型；S2，将训练样本集中的未标注样本图片输入至更新后的联合模型所包含的各个子模型中进行预测处理得到各个子模型输出的预测结果；S3，根据各个子模型输出的预测结果进行相互校验，根据校验结果确定未标注样本图片的标注信息；S4，判断更新后的联合模型是否满足预设的模型迭代终止条件；若否，执行步骤S5；S5，在训练样本集中将已确定标注信息的未标注样本图片归类为已标注样本图片，执行步骤S1。本发明的方法能够实现对未标注图片进行准确标注。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于多模型的样本标注方法及装置。
背景技术
近些年来，深度学习技术得到了学术界广泛的关注，大量新的研究使其完成许多任务的能力接近甚至超过了人类水平，因此在业界中已经得到了广泛的应用。在很多领域，深度学习算法都可以替代原来的人工操作，这不仅降低了人工成本，还大幅降低了出错的概率和风险。比如，在目前安防领域中常用的行人检测以及人脸识别、金融领域常用的人证合一验证、新零售中常用的商品识别等等。
由于目前的主流深度学习算法都是监督学习，模型的训练依赖大量的标注数据，其中，基于深度学习的神经网络模型需要的样本数量尤其巨大，这也是模型能够具有很高表现力和鲁棒性的原因。在实际应用中，采集大量样本图像然后进行人工打标有两方面的限制：第一，需要大量的时间和人工成本，影响模型的快速开发；第二，在一些情况下无法采集到足够的图片。因此，如何快速廉价获取标注样本是实现快速开发适应实际需求的模型的重要因素。
现如今，越来越多的研究开始关注自动图像标注的问题，现有的方法往往是基于传统机器学习或者深度学习来预训练一个模型，然后利用模型进行预测的方式实现自动标注过程。然而，这种方式至少存在以下不足：首先，需要相对较多的样本，而能公开获取到的数据集种类相对较少，无法满足要求；其次，不能保证模型的准确性，导致后期还需要较多的人工校验。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于多模型的样本标注方法及装置。
根据本发明的一个方面，提供了一种基于多模型的样本标注方法，方法包括：
S1，根据训练样本集中的已标注样本图片以及已标注样本图片的标注信息对联合模型所包含的各个子模型进行训练更新，得到更新后的联合模型；
S2，将训练样本集中的未标注样本图片输入至更新后的联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的预测结果；
S3，根据各个子模型输出的预测结果进行相互校验，根据校验结果确定未标注样本图片的标注信息；
S4，判断更新后的联合模型是否满足预设的模型迭代终止条件；若是，则本方法结束；若否，则执行步骤S5；
S5，在训练样本集中将已确定标注信息的未标注样本图片归类为已标注样本图片，跳转执行步骤S1。
可选地，预测结果包括：预测类别结果以及预测概率分值，则步骤S3进一步包括：
针对每一个子模型，根据该子模型输出的各个预测类别结果所对应的概率分值确定该子模型的可信预测类别结果，其中，可信预测类别结果所对应的概率分值不小于第一预设分值阈值；
根据各个子模型的可信预测类别结果进行相互校验，根据校验结果确定未标注样本图片的标注信息。
可选地，根据各个子模型的可信预测类别结果进行相互校验，根据校验结果确定未标注样本图片的标注信息进一步包括：
若各个子模型均未预测得到可信预测类别结果，则放弃确定未标注样本图片的标注信息；
若各个子模型均预测得到相同的可信预测类别结果，则将可信预测类别结果确定为类别真值结果，根据类别真值结果确定未标注样本图片的标注信息；
若预测得到相同的可信预测类别结果的子模型的数量超过预设数量阈值，则根据预测得到相同的可信预测类别结果的子模型的数量和/或可靠度分值判断相同的可信预测类别结果是否为类别真值结果，若是，根据类别真值结果确定未标注样本图片的标注信息；其中，预设数量阈值小于子模型的总数量且大于1；
若每两个子模型预测得到的可信预测类别结果均不一致，则针对每一个子模型预测得到的可信预测类别结果，根据该子模型预设的可靠度分值确定该可信预测类别结果的可信度分值，判断该可信预测类别结果的可信度分值是否达到第二预设分值阈值，若是，则将该子模型的可信预测类别结果确定为类别真值结果，根据类别真值结果确定未标注样本图片的标注信息。
可选地，当各个子模型分别为检测子模型时，预测结果还包括：预测位置结果，则根据类别真值结果确定未标注样本图片的标注信息进一步包括：
根据类别真值结果确定未标注样本图片的分类标注信息；
按照预设的融合处理规则对类别真值结果所对应的多个预测位置结果进行融合，根据融合结果确定未标注样本图片的位置标注信息。
可选地，步骤S1具体包括：
将训练样本集中的已标注样本图片输入至联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的训练预测结果；
将各个子模型输出的训练预测结果与已标注样本图片的标注信息进行比对，得到各个子模型针对已标注样本图片的预测差异信息；
利用预设的联合损失函数对各个子模型针对已标注样本图片的预测差异信息进行整合，根据整合结果对各个子模型的参数进行更新。
可选地，根据整合结果对各个子模型的参数进行更新进一步包括：
针对每一个子模型，每一次更新过程中，控制该子模型的第一参数保持不变，对该子模型的参数中除第一参数之外的第二参数进行更新。
可选地，判断更新后的联合模型是否满足预设的模型迭代终止条件具体包括：
依据预设的模型评估函数判断更新后的联合模型是否满足模型迭代终止条件；其中，预设的模型评估函数根据以下中的一种或多种因素而设计：模型准确率信息、模型召回率信息、模型复杂度信息。
可选地，判断更新后的联合模型是否满足预设的模型迭代终止条件进一步包括：
确定利用本次训练迭代得到的更新后的联合模型进行预测得到的已标注样本图片的数量，判断预测得到的已标注样本图片的数量是否不大于预设数量阈值。
可选地，当各个子模型分别为检测子模型时，将已标注样本图片输入至联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的训练预测结果进一步包括：
提取已标注样本图片的特征信息；
根据已标注样本图片的标注信息确定可信候选区域，根据已标注样本图片的特征信息确定可信候选区域的特征信息；
根据可信候选区域的特征信息预测已标注图片的训练预测结果，其中，训练预测结果包括：训练预测位置信息、训练预测类别信息。
可选地，根据已标注图片的标注信息确定可信候选区域进一步包括：
根据已标注样本图片的大小划分多个候选区域；
确定已标注样本图片的标注信息所包含的位置标注信息所对应的目标区域，根据目标区域与各个候选区域的交并比信息对各个候选区域进行打分，将分值达到第三预设分值阈值的候选区域确定为可信候选区域。
可选地，第一预设分值阈值以及第二预设分值阈值根据更新后的联合模型的预测准确度设置。
根据本发明的另一方面，提供了一种基于多模型的样本标注装置，装置包括：
训练更新模块，适于根据训练样本集中的已标注样本图片以及已标注样本图片的标注信息对联合模型所包含的各个子模型进行训练更新，得到更新后的联合模型；
预测处理模块，适于将训练样本集中的未标注样本图片输入至更新后的联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的预测结果；
标注模块，适于根据各个子模型输出的预测结果进行相互校验，根据校验结果确定未标注样本图片的标注信息；
判断模块，适于判断更新后的联合模型是否满足预设的模型迭代终止条件；
归类模块，适于在训练样本集中将已确定标注信息的未标注样本图片归类为已标注样本图片。
可选地，预测结果包括：预测类别结果以及预测概率分值，
则标注模块进一步适于：
针对每一个子模型，根据该子模型输出的各个预测类别结果所对应的概率分值确定该子模型的可信预测类别结果，其中，可信预测类别结果所对应的概率分值不小于第一预设分值阈值；
根据各个子模型的可信预测类别结果进行相互校验，根据校验结果确定未标注样本图片的标注信息。
可选地，标注模块进一步适于：
若各个子模型均未预测得到可信预测类别结果，则放弃确定未标注样本图片的标注信息；
若各个子模型均预测得到相同的可信预测类别结果，则将可信预测类别结果确定为类别真值结果，根据类别真值结果确定未标注样本图片的标注信息；
若预测得到相同的可信预测类别结果的子模型的数量超过预设数量阈值，则根据预测得到相同的可信预测类别结果的子模型的数量和/或可靠度分值判断相同的可信预测类别结果是否为类别真值结果，若是，根据类别真值结果确定未标注样本图片的标注信息；其中，预设数量阈值小于子模型的总数量且大于1；
若每两个子模型预测得到的可信预测类别结果均不一致，则针对每一个子模型预测得到的可信预测类别结果，根据该子模型预设的可靠度分值确定该可信预测类别结果的可信度分值，判断该可信预测类别结果的可信度分值是否达到第二预设分值阈值，若是，则将该子模型的可信预测类别结果确定为类别真值结果，根据类别真值结果确定未标注样本图片的标注信息。
可选地，当各个子模型分别为检测子模型时，预测结果还包括：预测位置结果，则标注模块进一步适于：
根据类别真值结果确定未标注样本图片的分类标注信息；
按照预设的融合处理规则对类别真值结果所对应的多个预测位置结果进行融合，根据融合结果确定未标注样本图片的位置标注信息。
可选地，训练更新模块进一步适于：
将训练样本集中的已标注样本图片输入至联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的训练预测结果；
将各个子模型输出的训练预测结果与已标注样本图片的标注信息进行比对，得到各个子模型针对已标注样本图片的预测差异信息；
利用预设的联合损失函数对各个子模型针对已标注样本图片的预测差异信息进行整合，根据整合结果对各个子模型的参数进行更新。
可选地，训练更新模块进一步适于：
针对每一个子模型，每一次更新过程中，控制该子模型的第一参数保持不变，对该子模型的参数中除第一参数之外的第二参数进行更新。
可选地，判断模块进一步适于：
依据预设的模型评估函数判断更新后的联合模型是否满足模型迭代终止条件；
其中，预设的模型评估函数根据以下中的一种或多种因素而设计：模型准确率信息、模型召回率信息、模型复杂度信息。
可选地，判断模块进一步适于：
确定利用本次训练迭代得到的更新后的联合模型进行预测得到的已标注样本图片的数量，判断预测得到的已标注样本图片的数量是否不大于预设数量阈值。
可选地，当各个子模型分别为检测子模型时，训练更新模块进一步适于：
提取已标注样本图片的特征信息；
根据已标注样本图片的标注信息确定可信候选区域，根据已标注样本图片的特征信息确定可信候选区域的特征信息；
根据可信候选区域的特征信息预测已标注图片的训练预测结果，其中，训练预测结果包括：训练预测位置信息、训练预测类别信息。
可选地，训练更新模块进一步适于：
根据已标注样本图片的大小划分多个候选区域；
确定已标注样本图片的标注信息所包含的位置标注信息所对应的目标区域，根据目标区域与各个候选区域的交并比信息对各个候选区域进行打分，将分值达到第三预设分值阈值的候选区域确定为可信候选区域。
可选地，第一预设分值阈值以及第二预设分值阈值根据更新后的联合模型的预测准确度设置。
根据本发明的又一方面，提供了一种电子设备/终端/服务器，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于多模型的样本标注方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于多模型的样本标注方法对应的操作。
根据本发明提供的基于多模型的样本标注方法及装置，方法包括：S1，根据训练样本集中的已标注样本图片以及已标注样本图片的标注信息对联合模型所包含的各个子模型进行训练更新得到更新后的联合模型；S2，将训练样本集中的未标注样本图片输入至更新后的联合模型所包含的各个子模型中进行预测处理得到各个子模型输出的预测结果；S3，根据各个子模型输出的预测结果进行相互校验，根据校验结果确定未标注样本图片的标注信息；S4，判断更新后的联合模型是否满足预设的模型迭代终止条件；若否，执行步骤S5；S5，在训练样本集中将已确定标注信息的未标注样本图片归类为已标注样本图片，执行步骤S1。该方式通过自动打标和模型训练的方式对模型进行迭代，能够降低初始标注样本的需求量，降低初始标注的成本，能够为后续的联合模型训练提供给充足且多样的样本；再者，通过多模型联合的方式对生成的标注结果进行相互校验，抑制错误的标注信息进入下一次模型训练迭代，通过相互校验所确定的标注信息的精度和召回率都比较高，能够提升联合模型的预测准确度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的基于多模型的样本标注方法的流程示意图；
图2a示出了根据本发明另一个实施例的基于多模型的样本标注方法的流程示意图；
图2b示出了步骤S201包含的子步骤的流程示意图；
图3示出了根据本发明又一个实施例的基于多模型的样本标注装置的结构示意图；
图4示出了根据本发明一个实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的基于多模型的样本标注方法，如图1所示，该方法包括：
步骤S101，根据训练样本集中的已标注样本图片以及已标注样本图片的标注信息对联合模型所包含的各个子模型进行训练更新，得到更新后的联合模型。
具体实施时，可将采集到的样本图片统一置于样本池中，然后从样本池中获取一定数量的未标注样本图片进行初始标注，例如在20种类别总计20000张未标注样本图片中，每一种类别随机选取包含目标的20张图片进行初始标注。可通过人工标注方式对未标注样本图片进行初始标注，或者利用标注工具对未标注样本图片进行初始标注，本发明对初始标注的具体方式不做限定。
例如，对于分类任务而言，对未标注样本图片进行初始标注需要标注出图片名称以及目标类别；对于检测任务而言，对未标注样本图片进行初始标注需要标注出图片名称、图片中需要检测的目标的类别以及包含该目标的矩形框在图片中的位置信息，其中，包含目标的矩形框在图片中的位置信息可以包括：矩形框的坐标、矩形框的长和宽。在完成初始标注之后，可以将得到的标注信息保存在与图片名称相同的标注文档中。
然后，将初始标注得到的已标注样本图片作为联合模型的训练样本，对联合模型包含的各个子模型进行训练更新。具体地，将初始标注得到的已标注样本图片输入至联合模型所包含的各个子模型中进行预测，将各个子模型预测得到的训练预测结果与该已标注样本图片的标注信息之间差异通过反向传播的方式反馈给各个子模型，对各个子模型的参数进行更新，进而得到更新后的联合模型。其中，联合模型包含的每一个子模型为单独的结构不同的深度学习网络，各个子模型之间的参数互相独立不共享。
步骤S102，将训练样本集中的未标注样本图片输入至更新后的联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的预测结果。
将训练样本集中的未标注样本图片输入至更新后的联合模型中的各个子模型进行预测处理，各个子模型首先提取出未标注样本图片的特征信息，根据特征信息进行预测，然后输出针对该未标注图片的预测结果。分类子模型输出的预测结果可以包括：类别预测结果以及概率分值；检测子模型输出的预测结果可以包括：类别预测结果、位置预测结果以及概率分值。
步骤S103，根据各个子模型输出的预测结果进行相互校验，根据校验结果确定未标注样本图片的标注信息。
将未标注样本图片输入至各个子模型中进行预测处理，各个子模型均会输出针对该未标注样本图片的预测结果，而由于各个子模型的深度学习网络不完全相同，各个子模型输出的预测结果之间也存在不同，因此为了得到该未标注样本图片唯一的且置信度高的标注信息，本实施例中根据各个子模型输出的预测结果进行相互校验，根据校验结果确定该未标注样本图片的标注信息，从而完成对未标注样本图片的标注。
步骤S104，判断更新后的联合模型是否满足预设的模型迭代终止条件；若是，则本方法结束；若否，则执行步骤S105。
其中，模型迭代终止条件可以指更新后的联合模型的联合损失函数收敛，联合损失函数用于整合上述各个子模型的训练预测结果与已标注样本图片的标注信息之间的差异，若联合损失函数收敛，则表明更新后的联合模型与已标注样本图片的标注信息之间的差异越来越小，联合模型的预测结果接近于已标注样本图片的真实标注信息。若更新后的联合模型满足预设的模型迭代终止条件，则停止对更新后的联合模型做进一步的更新，若更新后的联合模型不满足预设的模型迭代终止条件，则执行步骤S105。当然，上述模型迭代终止条件的示例仅仅是本发明的一个具体实施方式，本发明的方案不限于此。
步骤S105，在训练样本集中将已确定标注信息的未标注样本图片归类为已标注样本图片，跳转执行步骤S101。
若判断出更新后的联合模型不满足模型迭代终止条件，则需要继续对该更新后的联合模型进行训练更新。根据上述步骤确定了未标注样本图片的标注信息，则将已确定标注信息的未标注样本图片归类为已标注样本图片，并且将利用更新后的联合模型进行预测得到的已标注样本图片以及初始标注得到的已标注样本图片均作为训练样本进一步对该更新后的联合模型进行训练更新。
根据本实施例所提供的基于多模型的样本标注方法，通过自动打标和模型训练的方式对模型进行迭代，能够降低初始标注样本的需求量，降低初始标注的成本，并且，为后续的联合模型训练提供给充足且多样的样本；再者，通过多模型联合的方式对生成的标注结果进行相互校验，抑制错误的标注信息进入下一次模型训练迭代，通过相互校验所确定的标注信息的精度和召回率都比较高，能够提升联合模型的预测准确度。
图2a示出了根据本发明另一个实施例的基于多模型的样本标注方法的流程示意图，如图2a所示，该方法包括：
步骤S201，将训练样本集中的已标注样本图片输入至联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的训练预测结果。
其中，联合模型包含多个子模型，每一个子模型为单独的结构不同的深度学习网络，各个子模型之间的参数互相独立不共享。子模型可以为分类子模型或者检测子模型，分类子模型用于识别判断图片中包含的物体属于哪一类，检测子模型用于识别判断图片中包含的物体属于哪一类以及该物体在图片中的位置。
具体实施时，可将采集到的样本图片统一置于样本池中，然后从样本池中获取一定数量的未标注样本图片进行初始标注。对于分类任务来说，对未标注样本图片进行初始标注需要标注出图片名称以及目标类别；对于检测任务来说，对未标注样本图片进行初始标注需要标注出图片名称、图片中需要检测的目标的类别以及包含该目标的矩形框在图片中的位置信息，包含目标的矩形框在图片中的位置信息可以包括：矩形框的坐标、矩形框的长和宽。在完成初始标注之后，可以将得到的标注信息保存在于图片名称相同的标注文档中。
然后，将初始标注得到的已标注样本图片输入至联合模型所包含的各个子模型中，各个子模型分别对输入的已标注样本图片进行预测处理，输出针对该与标注样本图片的训练预测结果。
其中，当子模型为检测子模型时，步骤S201又可以包括图2b中示出的各个子步骤，如图2b所示，步骤S201包括：
子步骤S2011，提取已标注样本图片的特征信息。
检测子模型可以是two-stage或者one-stage的检测器。将已标注样本图片信息输入至子模型之后，首先提取已标注样本图片的特征信息，提取特征信息的骨架网络可以为ResNet、VGG、DenseNet等，提取到的特征信息用于后续步骤中对位置信息进行预测以及对类别信息进行预测。
子步骤S2012，根据已标注样本图片的标注信息确定可信候选区域，根据已标注样本图片的特征信息确定可信候选区域的特征信息。
根据已标注样本图片的标注信息确定可信候选区域，根据可信候选区域的坐标从已标注样本图片的特征信息中提取出可信候选区域的特征信息。
由于本发明使用的是多次迭代训练的机制，更新后的联合模型预测得到的已标注样本图片也会用于对该更新后的联合模型进一步进行训练更新。对于包含多个同类物体的样本图片来说，可能无法在一次迭代的联合模型将所有的目标检测出来，因此，当此类样本图片再次进入联合模型的训练更新过程时，生成的候选区域可能会包含假阴性候选区域，而假阴性候选区域进入联合模型的更新训练会影响联合模型的预测准确性。
举例来说，一张包含三只猫的图片，在第一次迭代过程中，更新后的联合模型只检测出其中的第一只和第二只猫，而没有检测出第三只猫，因此只能够确定第一只猫以及第二只猫的标注信息，那么第三只猫所在的区域即为假阴性区域，假阴性区域也就是实际上包含目标，但联合模型没有检测出来的区域。在第二次迭代过程中，将该图片输入至联合模型中的各个子模型进行训练，若采用全图生成候选区域的方式，生成的候选区域中可能会包含对应于上述第三只猫所在的假阴性区域的假阴性候选区域。
为了抑制假阴性区域的影响，本实施例提供了一种软采样机制以确定可信候选区域。具体地：根据已标注样本图片的大小划分多个候选区域；确定已标注样本图片的标注信息所包含的位置标注信息所对应的目标区域，根据目标区域与各个候选区域的交并比信息对各个候选区域进行打分，将分值达到第三预设分值阈值的候选区域确定为可信候选区域。
首先，根据已标注样本图片的大小划分多个候选区域，确定已标注样本图片标注信息所包含的位置标注信息所对应的目标区域，从目标区域周围采集多个候选区域，并基于目标区域的概率分值对各个候选区域进行打分，具体根据目标区域与各个候选区域的交并比信息以及目标区域的概率分值对各个候选区域进行打分，将分值达到第三预设分值阈值的候选区域确定为可信候选区域，第三预设分值阈值可根据实际需要进行调节。通过这种方式，只将已标注的目标区域周围采集阳性候选区域和阴性候选区域，利用打分机制筛选出高置信度候选区域(可信候选区域)。其中，联合模型中各个子模型输出的预测结果包括：预测类别结果、预测位置结果以及预测概率分值，相应地，根据各个子模型输出的预测结果所确定的标注信息中也包括类别标注信息、位置标注信息以及概率分值，那么，与位置标注信息所对应的目标区域的概率分值也就是与该位置标注信息对应的类别标注信息所对应的概率分值。
子步骤S2013，根据可信候选区域的特征信息预测已标注图片的训练预测结果，其中，训练预测结果包括：训练预测位置信息、训练预测类别信息。
最后，构建用于回归目标所在位置的网络，以及构建用于预测目标类型的网络，根据可信候选区域的特征信息以及构建好的网络预测得到目标的位置信息以及类别信息，从而得到已标注图片的训练预测结果。
步骤S202，将各个子模型输出的训练预测结果与已标注样本图片的标注信息进行比对，得到各个子模型针对已标注样本图片的预测差异信息。
针对每一个子模型，将子模型输出的针对已标注样本图片的训练预测结果与该已标注图片的标注信息进行比对，确定每一个子模型输出的训练预测结果与已标注样本图片的标注信息(样本真值)之间的差异。例如，可利用曼哈顿距离和欧式距离来评估训练预测结果与已标注样本图片的标注信息之间的差异。
步骤S203，利用预设的联合损失函数对各个子模型针对已标注样本图片的预测差异信息进行整合，根据整合结果对各个子模型的参数进行更新，得到更新后的联合模型。
利用预设的联合损失函数整合各个子模型在联合训练时产生的训练预测结果与已标注样本图片的标注信息之间的差异，然后通过反向传播的方式将联合损失函数整合得到的差异信息反馈给各个子模型，以对子模型的参数进行调整，调整幅度根据联合损失函数整合得到的差异信息进行确定。
联合模型包括多个子模型，由于多个子模型的存在导致需要更新的参数大幅度增加，同时更新也会导致模型训练产生较大的波动，可能会导致联合模型的收敛速度变慢，甚至无法收敛。并且对每个子模型采取单独更新的方式无法多个子模型之间相互协调，从而更好地适应训练样本，影响子模型输出的特征从而影响预测结果。其中，单独更新的方式也就是针对每一个子模型设计一个损失函数，利用子模型对应的损失函数评估训练预测结果与已标注样本图片的标注信息之间的差异，并通过反向传播的方式将差异反馈给该子模型，以对该子模型的参数进行更新。
本实施例提供了一种交替优化策略对每个子模型的参数逐次进行更新以克服上述问题。具体地，针对每一个子模型，每一次更新过程中，控制该子模型的第一参数保持不变，对该子模型的参数中除第一参数之外的第二参数进行更新。也即在每一次更新过程中，固定住子模型中的部分参数，而对其他的参数进行更新，依次轮换进行更新，直至子模型的每一个参数均完成更新。具体实施时，当联合损失函数收敛或者训练迭代的次数达到一定的阈值时，则停止对联合模型中的子模型的参数进行更新。
此外，由于联合模型中包含大量的参数需要进行更新，因此每次模型迭代需要的时间相比于单个子模型会更多。因此，在实际应用中，除了联合训练的方式以外，还可以解耦子模型之间的参数迭代关系，对解耦之后的各个子模型进行单独更新，从而加速模型的训练迭代，而解耦导致的精度损失可以通过添加更多子模型进行弥补。当然，本发明的方案并不以此为限。
步骤S204，将训练样本集中的未标注样本图片输入至更新后的联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的预测结果。
根据上述步骤完成了对联合模型的更新，然后将未标注样本图片输入至更新后的联合模型所包含的各个子模型中，利用各个子模型对未标注样本图片进行预测处理，预测结果至少包括：预测类别结果以及预测概率分值。
其中，当子模型为分类子模型时，子模型的预测结果包括：预测类别结果以及预测概率分值；当子模型为检测子模型时，子模型的预测结果包括：预测类别结果、预测位置结果以及预测概率分值。
步骤S205，针对每一个子模型，根据该子模型输出的各个预测类别结果所对应的概率分值确定该子模型的可信预测类别结果，其中，可信预测类别结果所对应的概率分值不小于第一预设分值阈值。
本实施例中根据子模型输出的概率分值来确定可信预测类别结果，若子模型的预测类别结果所对应的概率分值达到第一预设分值阈值，则确定该预测类别结果为可信预测类别结果。其中，第一预设分值阈值可根据更新后的联合模型的预测准确度进行设置，预先可设置一组第一预设分值阈值的候选值，分别比较第一预设分值为不同的候选值的情况下更新后的联合模型的预测准确度，从而根据预测准确度对第一预设分值阈值的数值进行设置，通过这种浮动阈值的方式调整联合模型的超参，降低迭代早期标注错误的影响扩大的风险。
本实施例中，采用基于预测类别结果对应该概率分值作为可信预测类别结果的判断依据，实际应用中，还可以专门设计结合标注目标类别，类别置信度分值和标注目标大小的评估函数，作为可信预测类别结果的判断依据，比如某些类别的目标在图像中的大小符合特定分布，如果超过正常的分布范围则表示出现错误标注的概率较高。
以子模型为检测子模型为例，更新后的联合模型中包括子模型A、子模型B以及子模型C，将第一预设分值阈值设置为0.8，将未标注样本图片信息输入至三个模型中进行预测处理，子模型A输出的预测结果为：[(猫，0.8，位置A1)、(狗，0.12，位置A2)、(老虎，0.08，位置A3)]，子模型B输出的预测结果为：[(猫，0.9，位置B1)、(狗，0.1，位置B2)]，子模型C输出的预测结果为：[(猫，0.84，位置C1)、(老虎，0.16，位置C2)]，其中，各个子模型输出的预测类别结果“猫”对应的概率分值均大于0.8，那么针对该未标注样本图片，子模型A、子模型B以及子模型C的可信预测类别结果均为“猫”。另外，当子模型为分类模型时，各个子模型的输出的预测结果中不包含位置信息，在此不进行赘述。
步骤S206，根据各个子模型的可信预测类别结果进行相互校验，根据校验结果确定未标注样本图片的标注信息。
将未标注样本图片输入至各个子模型中进行预测处理，各个子模型均会输出针对该未标注样本图片的预测结果，而由于各个子模型的深度学习网络不完全相同，各个子模型输出的预测结果之间也存在不同，因此为了得到该未标注样本图片唯一的且置信度高的标注信息，本实施例中根据各个子模型输出的预测结果进行相互校验，根据校验结果确定该未标注样本图片的标注信息，从而完成对未标注样本图片的标注。
在本步骤中，首先需要根据各个子模型的可信预测类别结果确定类别真值结果，然后根据类别真值确定未标注样本图片的标注信息，其中，根据各个子模型的可信预测类别结果确定类别真值结果包括以下四种场景：
第一种场景：若各个子模型均未预测得到可信预测类别结果，则放弃确定所述未标注样本图片的标注信息。若上述子模型A、子模型B以及子模型C输出的预测结果中，各个预测类别结果所对应的概率分值均小于第一分值阈值，表明各个子模型输出的预测结果的置信度不高，则舍弃各个子模型对该未标注样本图片的预测结果，放弃确定该未标注样本图片的标注信息，在下一次迭代中，在将该未标注样本图片输入至更新的联合模型中进行预测处理。
第二种场景：若各个子模型均预测得到相同的可信预测类别结果，则将可信预测类别结果确定为类别真值结果，根据类别真值结果确定未标注样本图片的标注信息。在此情况下，所有子模型都预测得到相同的可信预测类别记过，例如上述示例中，子模型A、子模型B以及子模型C输出的预测结果中，预测类别结果“猫”的概率分值均大于0.8，则确定该未标注样本图片的类别真值结果为“猫”。
第三种场景：若预测得到相同的可信预测类别结果的子模型的数量超过预设数量阈值，则根据预测得到相同的可信预测类别结果的子模型的数量和/或可靠度分值判断相同的可信预测类别结果是否为类别真值结果，若是，根据类别真值结果确定未标注样本图片的标注信息；其中，预设数量阈值小于子模型的总数量且大于1。在此情况下，部分子模型预测得到相同的可信预测类别结果，若预测得到相同的可信预测类别结果的子模型的数量大于预设数量阈值，或者预测到的相同的可信预测类别结果的子模型的数量与子模型的总数量的比值大于预设比值阈值，则把该相同的预测类别结果确定为未标注样本图片的类别真值结果；或者，结合预测得到的相同的可信预测类别结果的子模型的数量以及各个子模型的可靠度分值确定未标注样本图片的类别真值结果，子模型的可靠度分值为一个经验值，可以根据子模型的准确度进行设定。
举例来说，子模型A和子模型B对应的可信预测类别结果分别为“猫”，子模型C对应的可信预测类别结果为“老虎”，而子模型A的可靠度分值为0.1，子模型B的可靠度分值为0.2，而子模型C的可靠度分值为1，虽然，子模型A和子模型B都预测的得到了“猫”，但子模型A以及子模型B的可靠度分值都较低，而子模型C的可靠度分值较高，那么可以将子模型C的可信预测类别结果确定为未标注样本图片的类别真值结果。综上，在实际应用中，在仅有部分子模型预测得到相同的可信预测类别结果的情况下，可以结合预测得到相同的可信预测类别结果的数量以及各个子模型的可靠度分值确定未标注样本图片的类别真值结果。
第四种场景：若每两个子模型预测得到的可信预测类别结果均不一致，则针对每一个子模型预测得到的可信预测类别结果，根据该子模型预设的可靠度分值确定该可信预测类别的可信度分值，判断该可信预测类别结果的可信度分值是否达到第二预设分值阈值，若是，则将该子模型的可信预测类别确定为类别真值结果，根据类别真值结果确定未标注样本图片的标注信息。
举例来说，设置第二预测分值阈值为0.9，子模型A的可信类别预测结果为“猫”，对应的概率分值为0.8，子模型A的可靠度分值为0.4；子模型B的可信类别预测结果为“老虎”，对应的概率分值为0.82，子模型B可靠度分值为0.5；子模型C的可信类别预测结果为“狗”，对应的概率分值为0.9，子模型C可靠度分值为1，则评估得到的子模型A的可信预测类别结果“猫”的可信度分值为：0.32(0.8乘以0.4)，评估得到的子模型B的可信预测类别结果“老虎”的可信度分值为：0.41(0.82乘以0.5)，评估得到的子模型C的可信预测类别结果“狗”的可信度分值为：0.9(0.9乘以1)。评估得到的子模型C的可信预测类别结果“狗”的可信度分值大于第二预设分值阈值，则确定未标注样本图片的类别真值结果为“狗”。其中，第二预设分值阈值可根据更新的联合模型的预测准确度进行设置，预先可设置一组第二预设分值阈值的候选值，分别比较第二预设分值为不同的候选值的情况下更新的联合模型的预测准确度，从而根据预测准确度对第二预设分值阈值的数值进行设置，通过这种浮动阈值的方式调整联合模型的超参，降低迭代早期标注错误的影响扩大的风险。
本发明通过这种相互校验的方式，能够抑制错误的标注结果进入下一次模型迭代，从而使得生成的标注信息的精度和召回率都比较高，并且联合模型的预测结果的准确性较高。
对于分类任务而言，只需要对未标注样本图片中目标的类别进行标注，则在确定了类别真值结果之后，直接可以将类别真值结果确定为未标注样本图片中目标的类别。而对于检测任务而言，还需要对未标注样本图片中目标的位置进行标注，也即进一步根据类别真值结果确定未标注样本图片的位置标注信息。
那么，对于检测任务而言，根据类别真值结果确定未标注样本图片的标注信息的步骤具体可以包括：
根据类别真值结果确定未标注样本图片的分类标注信息；按照预设的融合处理规则对类别真值结果所对应的多个预测位置结果进行融合，根据融合结果确定未标注样本图片的位置标注信息。例如，在上述第二种场景中，相同的可信预测类别结果就是类别真值结果，则进一步对各个子模型预测得到的与该相同的可信预测类别结果所对应的位置预测结果进行融合，例如，采取加权平均、投票或者非极大阈值等方式进行融合，根据融合结果确定未标注样本图片的位置标注信息。
步骤S207，依据预设的模型评估函数判断更新后的联合模型是否满足模型迭代终止条件；若是，本方法结束；若否，则执行步骤S208。
该步骤即判断更新后的联合模型是否满足模型迭代终止条件，若是，停止对模型进行训练更新；若否，则进一步对该更新后的联合模型进行更新。其中，联合模型的训练迭代次数越多，生成标注信息所采取的过滤条件越严格，能够抑制迭代早期标注错误随迭代次数增加而过于放大。
预设的模型评估函数根据以下中的一种或多种因素而设计：模型准确率信息、模型召回率信息、模型复杂度信息。实际应用中，可以已标注样本图片划分为样本集和验证集，样本集用于对联合模型进行训练，验证集用于评估更新后的联合模型的表现。预设的模型评估函数用于评估更新后的联合模型在验证集上的表现值，若评估得到的表现值达到了一定的阈值，则停止对该更新后的联合模型进行训练迭代。
另外，在实际应用中，还可以根据更新后的联合模型标注的未标注图片的数量确定更新后的联合模型是否满足模型迭代终止条件。具体地，确定利用本次训练迭代得到的更新后的联合模型进行预测得到的已标注样本图片的数量，判断预测得到的已标注样本图片的数量是否不大于预设数量阈值。也即，当两次迭代间隔生成的新的标注目标数少于一定阈值时，则终止迭代。或者还可以根据利用更新后的联合模型进行预测得到的已标注样本图片占训练样本集中所有的图片的比例判断更新后的联合模型是否满足模型迭代终止条件。
在联合模型训练迭代终止之后，对于训练样本集中仍未确定标注信息的未标注样本图片可进行人工标注，此类样本图片属于困难样本，对鲁棒训练的模型比较有帮助。
步骤S208，在训练样本集中将已确定标注信息的未标注样本图片归类为已标注样本图片，跳转执行步骤S201。
若判断出更新后的联合模型不满足模型迭代终止条件，则需要继续对该更新后的联合模型进行训练更新。根据上述步骤确定了未标注样本图片的标注信息，则将已确定标注信息的未标注样本图片归类为已标注样本图片，将利用联合模型进行预测得到的已标注样本图片以及初始标注得到的已标注样本图片均作为该更新后的联合模型的训练样本进一步进行训练更新。
根据本实施例所提供的基于多模型的样本标注方法，通过自动打标和模型训练的方式对模型进行迭代，能够降低初始标注样本的需求量，降低初始标注的成本；再者，通过多模型联合的方式对生成的标注结果进行相互校验，抑制错误的标注信息进入下一次模型训练迭代，通过相互校验所确定的标注信息的精度和召回率都比较高；再者，通过在限定条件下进行模型训练迭代以及生成高置信度样本，能够对未标注样本图片进行标注，为后续的联合模型训练提供了充足且多样的样本；最后，该方式采取软采样的机制筛选高置信度候选区域，能够抑制假阴性候选区域对联合模型的预测准确度的影响。
图3示出了根据本发明又一个实施例的基于多模型的样本标注装置的结构示意图，如图3所示，该装置包括：
训练更新模块31，适于根据训练样本集中的已标注样本图片以及已标注样本图片的标注信息对联合模型所包含的各个子模型进行训练更新，得到更新后的联合模型；
预测处理模块32，适于将训练样本集中的未标注样本图片输入至更新后的联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的预测结果；
标注模块33，适于根据各个子模型输出的预测结果进行相互校验，根据校验结果确定未标注样本图片的标注信息；
判断模块34，适于判断更新后的联合模型是否满足预设的模型迭代终止条件；
归类模块35，适于在训练样本集中将已确定标注信息的未标注样本图片归类为已标注样本图片。
在一种可选的方式中，预测结果包括：预测类别结果以及预测概率分值，
则标注模块33进一步适于：
针对每一个子模型，根据该子模型输出的各个预测类别结果所对应的概率分值确定该子模型的可信预测类别结果，其中，可信预测类别结果所对应的概率分值不小于第一预设分值阈值；
根据各个子模型的可信预测类别结果进行相互校验，根据校验结果确定未标注样本图片的标注信息。
在一种可选的方式中，标注模块33进一步适于：
若各个子模型均未预测得到可信预测类别结果，则放弃确定未标注样本图片的标注信息；
若各个子模型均预测得到相同的可信预测类别结果，则将可信预测类别结果确定为类别真值结果，根据类别真值结果确定未标注样本图片的标注信息；
若预测得到相同的可信预测类别结果的子模型的数量超过预设数量阈值，则根据预测得到相同的可信预测类别结果的子模型的数量和/或可靠度分值判断相同的可信预测类别结果是否为类别真值结果，若是，根据类别真值结果确定未标注样本图片的标注信息；其中，预设数量阈值小于子模型的总数量且大于1；
若每两个子模型预测得到的可信预测类别结果均不一致，则针对每一个子模型预测得到的可信预测类别结果，根据该子模型预设的可靠度分值确定该可信预测类别结果的可信度分值，判断该可信预测类别结果的可信度分值是否达到第二预设分值阈值，若是，则将该子模型的可信预测类别结果确定为类别真值结果，根据类别真值结果确定未标注样本图片的标注信息。
在一种可选的方式中，当各个子模型分别为检测子模型时，预测结果还包括：预测位置结果，则标注模块33进一步适于：
根据类别真值结果确定未标注样本图片的分类标注信息；
按照预设的融合处理规则对类别真值结果所对应的多个预测位置结果进行融合，根据融合结果确定未标注样本图片的位置标注信息。
在一种可选的方式中，训练更新模块31进一步适于：
将训练样本集中的已标注样本图片输入至联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的训练预测结果；
将各个子模型输出的训练预测结果与已标注样本图片的标注信息进行比对，得到各个子模型针对已标注样本图片的预测差异信息；
利用预设的联合损失函数对各个子模型针对已标注样本图片的预测差异信息进行整合，根据整合结果对各个子模型的参数进行更新。
在一种可选的方式中，训练更新模块31进一步适于：
针对每一个子模型，每一次更新过程中，控制该子模型的第一参数保持不变，对该子模型的参数中除第一参数之外的第二参数进行更新。
在一种可选的方式中，判断模块34进一步适于：
依据预设的模型评估函数判断更新后的联合模型是否满足模型迭代终止条件；其中，预设的模型评估函数根据以下中的一种或多种因素而设计：模型准确率信息、模型召回率信息、模型复杂度信息。
在一种可选的方式中，判断模块34进一步适于：
确定利用本次训练迭代得到的更新后的联合模型进行预测得到的已标注样本图片的数量，判断预测得到的已标注样本图片的数量是否不大于预设数量阈值。
在一种可选的方式中，当各个子模型分别为检测子模型时，训练更新模块31进一步适于：
提取已标注样本图片的特征信息；
根据已标注样本图片的标注信息确定可信候选区域，根据已标注样本图片的特征信息确定可信候选区域的特征信息；
根据可信候选区域的特征信息预测已标注图片的训练预测结果，其中，训练预测结果包括：训练预测位置信息、训练预测类别信息。
在一种可选的方式中，训练更新模块31进一步适于：
根据已标注样本图片的大小划分多个候选区域；
确定已标注样本图片的标注信息所包含的位置标注信息所对应的目标区域，根据目标区域与各个候选区域的交并比信息对各个候选区域进行打分，将分值达到第三预设分值阈值的候选区域确定为可信候选区域。
在一种可选的方式中，第一预设分值阈值以及第二预设分值阈值根据更新后的联合模型的预测准确度设置。
本申请实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于多模型的样本标注方法。
图4示出了根据本发明实施例六的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述基于多模型的样本标注方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
根据训练样本集中的已标注样本图片以及已标注样本图片的标注信息对联合模型所包含的各个子模型进行训练更新，得到更新后的联合模型；将训练样本集中的未标注样本图片输入至更新后的联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的预测结果；根据各个子模型输出的预测结果进行相互校验，根据校验结果确定未标注样本图片的标注信息；判断更新后的联合模型是否满足预设的模型迭代终止条件；在训练样本集中将已确定标注信息的未标注样本图片归类为已标注样本图片，跳转执行步骤S1。
在一种可选的方式中，预测结果包括：预测类别结果以及预测概率分值，程序410具体可以用于使得处理器402执行以下操作：
针对每一个子模型，根据该子模型输出的各个预测类别结果所对应的概率分值确定该子模型的可信预测类别结果，其中，可信预测类别结果所对应的概率分值不小于第一预设分值阈值；
根据各个子模型的可信预测类别结果进行相互校验，根据校验结果确定未标注样本图片的标注信息。
在一种可选的方式中，程序410具体可以用于使得处理器402执行以下操作：若各个子模型均未预测得到可信预测类别结果，则放弃确定未标注样本图片的标注信息；
若各个子模型均预测得到相同的可信预测类别结果，则将可信预测类别结果确定为类别真值结果，根据类别真值结果确定未标注样本图片的标注信息；
若预测得到相同的可信预测类别结果的子模型的数量超过预设数量阈值，则根据预测得到相同的可信预测类别结果的子模型的数量和/或可靠度分值判断相同的可信预测类别结果是否为类别真值结果，若是，根据类别真值结果确定未标注样本图片的标注信息；其中，预设数量阈值小于子模型的总数量且大于1；
若每两个子模型预测得到的可信预测类别结果均不一致，则针对每一个子模型预测得到的可信预测类别结果，根据该子模型预设的可靠度分值确定该可信预测类别结果的可信度分值，判断该可信预测类别结果的可信度分值是否达到第二预设分值阈值，若是，则将该子模型的可信预测类别结果确定为类别真值结果，根据类别真值结果确定未标注样本图片的标注信息。
在一种可选的方式中，当各个子模型分别为检测子模型时，预测结果还包括：预测位置结果，程序410具体可以用于使得处理器402执行以下操作：
根据类别真值结果确定未标注样本图片的分类标注信息；
按照预设的融合处理规则对类别真值结果所对应的多个预测位置结果进行融合，根据融合结果确定未标注样本图片的位置标注信息。
在一种可选的方式中，程序410具体可以用于使得处理器402执行以下操作：
将训练样本集中的已标注样本图片输入至联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的训练预测结果；
将各个子模型输出的训练预测结果与已标注样本图片的标注信息进行比对，得到各个子模型针对已标注样本图片的预测差异信息；
利用预设的联合损失函数对各个子模型针对已标注样本图片的预测差异信息进行整合，根据整合结果对各个子模型的参数进行更新。
在一种可选的方式中，程序410具体可以用于使得处理器402执行以下操作：针对每一个子模型，每一次更新过程中，控制该子模型的第一参数保持不变，对该子模型的参数中除第一参数之外的第二参数进行更新。
在一种可选的方式中，程序410具体可以用于使得处理器402执行以下操作：依据预设的模型评估函数判断更新后的联合模型是否满足模型迭代终止条件；其中，预设的模型评估函数根据以下中的一种或多种因素而设计：模型准确率信息、模型召回率信息、模型复杂度信息。
在一种可选的方式中，程序410具体可以用于使得处理器402执行以下操作：确定利用本次训练迭代得到的更新后的联合模型进行预测得到的已标注样本图片的数量，判断预测得到的已标注样本图片的数量是否不大于预设数量阈值。
在一种可选的方式中，程序410具体可以用于使得处理器402执行以下操作：提取已标注样本图片的特征信息；
根据已标注样本图片的标注信息确定可信候选区域，根据已标注样本图片的特征信息确定可信候选区域的特征信息；
根据可信候选区域的特征信息预测已标注图片的训练预测结果，其中，训练预测结果包括：训练预测位置信息、训练预测类别信息。
在一种可选的方式中，程序410具体可以用于使得处理器402执行以下操作：根据已标注样本图片的大小划分多个候选区域；
确定已标注样本图片的标注信息所包含的位置标注信息所对应的目标区域，根据目标区域与各个候选区域的交并比信息对各个候选区域进行打分，将分值达到第三预设分值阈值的候选区域确定为可信候选区域。
在一种可选的方式中，第一预设分值阈值以及第二预设分值阈值根据更新后的联合模型的预测准确度设置。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的电子设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (14)
1.一种基于多模型的样本标注方法，其特征在于，所述方法包括：
S1，根据训练样本集中的已标注样本图片以及所述已标注样本图片的标注信息对联合模型所包含的各个子模型进行训练更新，得到更新后的联合模型；
S2，将训练样本集中的未标注样本图片输入至所述更新后的联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的预测结果；其中，所述预测结果包括：预测类别结果以及预测概率分值；
S3，针对每一个子模型，根据该子模型输出的各个预测类别结果所对应的预测概率分值确定该子模型的可信预测类别结果，所述可信预测类别结果所对应的预测概率分值不小于第一预设分值阈值；根据各个子模型的可信预测类别结果进行相互校验，若各个子模型均未预测得到可信预测类别结果，则放弃确定所述未标注样本图片的标注信息；
若各个子模型均预测得到相同的可信预测类别结果，则将所述可信预测类别结果确定为类别真值结果，根据类别真值结果确定所述未标注样本图片的标注信息；
若预测得到相同的可信预测类别结果的子模型的数量超过预设数量阈值，则根据预测得到所述相同的可信预测类别结果的子模型的数量和/或可靠度分值判断所述相同的可信预测类别结果是否为类别真值结果，若是，根据类别真值结果确定所述未标注样本图片的标注信息；其中，所述预设数量阈值小于子模型的总数量且大于1；
若每两个子模型预测得到的可信预测类别结果均不一致，则针对每一个子模型预测得到的可信预测类别结果，根据该子模型预设的可靠度分值确定该可信预测类别结果的可信度分值，判断该可信预测类别结果的可信度分值是否达到第二预设分值阈值，若是，则将该子模型的可信预测类别结果确定为类别真值结果，根据类别真值结果确定所述未标注样本图片的标注信息；
S4，判断所述更新后的联合模型是否满足预设的模型迭代终止条件；若是，则本方法结束；若否，则执行步骤S5；
S5，在训练样本集中将已确定标注信息的未标注样本图片归类为已标注样本图片，跳转执行所述步骤S1。
2.根据权利要求1所述的方法，其特征在于，当所述各个子模型分别为检测子模型时，所述预测结果还包括：预测位置结果，则根据类别真值结果确定所述未标注样本图片的标注信息进一步包括：
根据所述类别真值结果确定所述未标注样本图片的分类标注信息；
按照预设的融合处理规则对所述类别真值结果所对应的多个预测位置结果进行融合，根据融合结果确定所述未标注样本图片的位置标注信息。
3.根据权利要求1所述的方法，其特征在于，所述步骤S1具体包括：
将训练样本集中的已标注样本图片输入至联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的训练预测结果；
将所述各个子模型输出的训练预测结果与所述已标注样本图片的标注信息进行比对，得到所述各个子模型针对所述已标注样本图片的预测差异信息；
利用预设的联合损失函数对所述各个子模型针对所述已标注样本图片的预测差异信息进行整合，根据整合结果对所述各个子模型的参数进行更新。
4.根据权利要求3所述的方法，其特征在于，所述根据整合结果对所述各个子模型的参数进行更新进一步包括：
针对每一个子模型，每一次更新过程中，控制该子模型的第一参数保持不变，对该子模型的参数中除第一参数之外的第二参数进行更新。
5.根据权利要求1所述的方法，其特征在于，所述判断所述更新后的联合模型是否满足预设的模型迭代终止条件具体包括：
依据预设的模型评估函数判断所述更新后的联合模型是否满足模型迭代终止条件；
其中，所述预设的模型评估函数根据以下中的一种或多种因素而设计：模型准确率信息、模型召回率信息、模型复杂度信息。
6.根据权利要求1所述的方法，其特征在于，所述判断所述更新后的联合模型是否满足预设的模型迭代终止条件进一步包括：
确定利用本次训练迭代得到的更新后的联合模型进行预测得到的已标注样本图片的数量，判断所述预测得到的已标注样本图片的数量是否不大于预设数量阈值。
7.根据权利要求3所述的方法，其特征在于，当所述各个子模型分别为检测子模型时，所述将训练样本集中的已标注样本图片输入至联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的训练预测结果进一步包括：
提取所述已标注样本图片的特征信息；
根据所述已标注样本图片的标注信息确定可信候选区域，根据所述已标注样本图片的特征信息确定所述可信候选区域的特征信息；
根据所述可信候选区域的特征信息预测所述已标注样本图片的训练预测结果，其中，所述训练预测结果包括：训练预测位置信息、训练预测类别信息。
8.根据权利要求7所述的方法，其特征在于，所述根据所述已标注样本图片的标注信息确定可信候选区域进一步包括：
根据所述已标注样本图片的大小划分多个候选区域；
确定所述已标注样本图片的标注信息所包含的位置标注信息所对应的目标区域，根据所述目标区域与各个候选区域的交并比信息对所述各个候选区域进行打分，将分值达到第三预设分值阈值的候选区域确定为可信候选区域。
9.根据权利要求1所述的方法，其特征在于，所述第一预设分值阈值以及所述第二预设分值阈值根据所述更新后的联合模型的预测准确度设置。
10.一种基于多模型的样本标注装置，其特征在于，所述装置包括：
训练更新模块，适于根据训练样本集中的已标注样本图片以及所述已标注样本图片的标注信息对联合模型所包含的各个子模型进行训练更新，得到更新后的联合模型；
预测处理模块，适于将训练样本集中的未标注样本图片输入至所述更新后的联合模型所包含的各个子模型中进行预测处理，得到各个子模型输出的预测结果；其中，所述预测结果包括：预测类别结果以及预测概率分值；
标注模块，适于针对每一个子模型，根据该子模型输出的各个预测类别结果所对应的预测概率分值确定该子模型的可信预测类别结果，所述可信预测类别结果所对应的预测概率分值不小于第一预设分值阈值；
若各个子模型均未预测得到可信预测类别结果，则放弃确定所述未标注样本图片的标注信息；
若各个子模型均预测得到相同的可信预测类别结果，则将所述可信预测类别结果确定为类别真值结果，根据类别真值结果确定所述未标注样本图片的标注信息；
若预测得到相同的可信预测类别结果的子模型的数量超过预设数量阈值，则根据预测得到所述相同的可信预测类别结果的子模型的数量和/或可靠度分值判断所述相同的可信预测类别结果是否为类别真值结果，若是，根据类别真值结果确定所述未标注样本图片的标注信息；其中，所述预设数量阈值小于子模型的总数量且大于1；
若每两个子模型预测得到的可信预测类别结果均不一致，则针对每一个子模型预测得到的可信预测类别结果，根据该子模型预设的可靠度分值确定该可信预测类别结果的可信度分值，判断该可信预测类别结果的可信度分值是否达到第二预设分值阈值，若是，则将该子模型的可信预测类别结果确定为类别真值结果，根据类别真值结果确定所述未标注样本图片的标注信息；
判断模块，适于判断所述更新后的联合模型是否满足预设的模型迭代终止条件；
归类模块，适于在训练样本集中将已确定标注信息的未标注样本图片归类为已标注样本图片。
11.根据权利要求10所述的装置，其特征在于，所述训练更新模块进一步适于：
针对每一个子模型，每一次更新过程中，控制该子模型的第一参数保持不变，对该子模型的参数中除第一参数之外的第二参数进行更新。
12.根据权利要求11所述的装置，其特征在于，当所述各个子模型分别为检测子模型时，所述训练更新模块进一步适于：
提取所述已标注样本图片的特征信息；
根据所述已标注样本图片的大小划分多个候选区域；确定所述已标注样本图片的标注信息所包含的位置标注信息所对应的目标区域，根据所述目标区域与各个候选区域的交并比信息对所述各个候选区域进行打分，将分值达到第三预设分值阈值的候选区域确定为可信候选区域；
根据所述已标注样本图片的特征信息确定所述可信候选区域的特征信息；根据所述可信候选区域的特征信息预测所述已标注样本图片的训练预测结果，其中，所述训练预测结果包括：训练预测位置信息、训练预测类别信息。
13.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的基于多模型的样本标注方法对应的操作。
14.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-9中任一项所述的基于多模型的样本标注方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910009377.6A CN109784391B (zh) | 2019-01-04 | 2019-01-04 | 基于多模型的样本标注方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910009377.6A CN109784391B (zh) | 2019-01-04 | 2019-01-04 | 基于多模型的样本标注方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109784391A CN109784391A (zh) | 2019-05-21 |
| CN109784391B true CN109784391B (zh) | 2021-01-05 |
Family
ID=66499948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910009377.6A Active CN109784391B (zh) | 2019-01-04 | 2019-01-04 | 基于多模型的样本标注方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109784391B (zh) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110288007B (zh) * | 2019-06-05 | 2021-02-02 | 北京三快在线科技有限公司 | 数据标注的方法、装置及电子设备 |
| CN110222791B (zh) * | 2019-06-20 | 2020-12-04 | 杭州睿琪软件有限公司 | 样本标注信息的审核方法及装置 |
| CN110457675B (zh) * | 2019-06-26 | 2024-01-19 | 平安科技（深圳）有限公司 | 预测模型训练方法、装置、存储介质及计算机设备 |
| CN110310123B (zh) * | 2019-07-01 | 2023-09-26 | 创新先进技术有限公司 | 风险判断方法和装置 |
| CN112241749A (zh) * | 2019-07-17 | 2021-01-19 | 上海高德威智能交通系统有限公司 | 字符识别模型训练方法、装置及设备 |
| CN112348040B (zh) * | 2019-08-07 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 模型训练方法、装置及设备 |
| CN110457304A (zh) * | 2019-08-08 | 2019-11-15 | 北京百度网讯科技有限公司 | 数据清洗方法、装置、电子设备及可读存储介质 |
| CN112445924A (zh) * | 2019-09-04 | 2021-03-05 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于互联网图片资源的数据挖掘和迁移学习系统及其方法和应用 |
| CN110750694A (zh) * | 2019-09-29 | 2020-02-04 | 支付宝(杭州)信息技术有限公司 | 数据标注实现方法及装置、电子设备、存储介质 |
| CN112699908B (zh) * | 2019-10-23 | 2022-08-05 | 武汉斗鱼鱼乐网络科技有限公司 | 标注图片的方法、电子终端、计算机可读存储介质及设备 |
| CN110766080B (zh) * | 2019-10-24 | 2022-03-08 | 腾讯医疗健康(深圳)有限公司 | 一种标注样本确定方法、装置、设备及存储介质 |
| CN112766296B (zh) * | 2019-11-06 | 2023-04-07 | 济南信通达电气科技有限公司 | 输电线路安全隐患目标检测模型训练方法及装置 |
| CN111061933A (zh) * | 2019-11-21 | 2020-04-24 | 深圳壹账通智能科技有限公司 | 图片样本库构建方法、装置、可读存储介质及终端设备 |
| CN110909803B (zh) * | 2019-11-26 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 图像识别模型训练方法、装置和计算机可读存储介质 |
| CN110889463A (zh) * | 2019-12-10 | 2020-03-17 | 北京奇艺世纪科技有限公司 | 一种样本标注方法、装置、服务器及机器可读存储介质 |
| CN111125389A (zh) * | 2019-12-18 | 2020-05-08 | 创新奇智(合肥)科技有限公司 | 基于动态渐进式采样的数据分类清洗系统及清洗方法 |
| CN110971895B (zh) | 2019-12-18 | 2022-07-08 | 北京百度网讯科技有限公司 | 视频抖动检测方法和装置 |
| CN111310826B (zh) * | 2020-02-13 | 2024-02-02 | 南京旷云科技有限公司 | 样本集的标注异常检测方法、装置及电子设备 |
| CN111353549B (zh) * | 2020-03-10 | 2023-01-31 | 创新奇智(重庆)科技有限公司 | 图像标签的核验方法及装置、电子设备、存储介质 |
| CN111428806B (zh) * | 2020-04-03 | 2023-10-10 | 北京达佳互联信息技术有限公司 | 图像标签确定方法、装置、电子设备及存储介质 |
| CN113627449A (zh) * | 2020-05-07 | 2021-11-09 | 阿里巴巴集团控股有限公司 | 模型训练方法及装置、标签确定方法及装置 |
| CN111666993A (zh) * | 2020-05-28 | 2020-09-15 | 平安科技（深圳）有限公司 | 医学图像样本筛查方法、装置、计算机设备和存储介质 |
| CN111814582B (zh) * | 2020-06-15 | 2022-06-28 | 开易（北京）科技有限公司 | 一种用于驾驶员行为监测图像的处理方法及装置 |
| CN113822281A (zh) * | 2020-06-19 | 2021-12-21 | 富士通株式会社 | 用于进行多目标优化的装置、方法以及存储介质 |
| CN113839797B (zh) * | 2020-06-23 | 2022-11-25 | 华为技术有限公司 | 数据处理方法和装置 |
| CN111898661B (zh) * | 2020-07-17 | 2024-09-13 | 交控科技股份有限公司 | 道岔转辙机的工作状态监测方法及装置 |
| CN112052356B (zh) * | 2020-08-14 | 2023-11-24 | 腾讯科技（深圳）有限公司 | 多媒体分类方法、装置和计算机可读存储介质 |
| CN112101156B (zh) * | 2020-09-02 | 2024-08-27 | 杭州海康威视数字技术股份有限公司 | 一种目标识别的方法、装置和电子设备 |
| CN112734035B (zh) * | 2020-12-31 | 2023-10-27 | 成都佳华物链云科技有限公司 | 一种数据处理方法及装置、可读存储介质 |
| CN115146654A (zh) * | 2021-03-30 | 2022-10-04 | 微软技术许可有限责任公司 | 多模型联合去噪训练 |
| CN112801229B (zh) * | 2021-04-07 | 2021-07-30 | 北京三快在线科技有限公司 | 一种识别模型的训练方法及装置 |
| CN112988733B (zh) * | 2021-04-16 | 2021-08-27 | 北京妙医佳健康科技集团有限公司 | 一种数据质量提升和增强的方法及装置 |
| CN113139072B (zh) * | 2021-04-20 | 2024-09-20 | 苏州挚途科技有限公司 | 数据标注方法、装置和电子设备 |
| CN113190154B (zh) * | 2021-04-29 | 2023-10-13 | 北京百度网讯科技有限公司 | 模型训练、词条分类方法、装置、设备、存储介质及程序 |
| CN114519404B (zh) * | 2022-04-20 | 2022-07-12 | 四川万网鑫成信息科技有限公司 | 一种图像样本分类标注方法、装置、设备、存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930792A (zh) * | 2016-04-19 | 2016-09-07 | 武汉大学 | 一种基于视频局部特征字典的人体动作分类方法 |
| CN107577994A (zh) * | 2017-08-17 | 2018-01-12 | 南京邮电大学 | 一种基于深度学习的行人、车辆附属品识别及检索方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108447062B (zh) * | 2018-02-01 | 2021-04-20 | 浙江大学 | 一种基于多尺度混合分割模型的病理切片非常规细胞的分割方法 |
| CN108831115B (zh) * | 2018-06-22 | 2020-11-06 | 国网湖南省电力有限公司 | 一种基于Adaboost的输电线路暴雨灾害风险预警方法 |
-
2019
- 2019-01-04 CN CN201910009377.6A patent/CN109784391B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930792A (zh) * | 2016-04-19 | 2016-09-07 | 武汉大学 | 一种基于视频局部特征字典的人体动作分类方法 |
| CN107577994A (zh) * | 2017-08-17 | 2018-01-12 | 南京邮电大学 | 一种基于深度学习的行人、车辆附属品识别及检索方法 |
Non-Patent Citations (3)
| Title |
|---|
| Greedy Function Approximation: A Gradient Boosting Machine;Jerome H. Friedman;《The Annals of Statistics》;20001130;第29卷(第5期);第1-34页 * |
| 基于半监督集成学习的情感分类方法研究;高伟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215;正文第2.4节，第4.2节 * |
| 基于半监督集成学习的高光谱图像分类;张鑫;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180415;正文第2.4.2节，第4.3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109784391A (zh) | 2019-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109784391B (zh) | 基于多模型的样本标注方法及装置 | |
| CN109087510B (zh) | 交通监测方法及装置 | |
| CN110046706B (zh) | 模型生成方法、装置及服务器 | |
| CN110889463A (zh) | 一种样本标注方法、装置、服务器及机器可读存储介质 | |
| KR102167011B1 (ko) | 샘플링 및 적응적으로 변경되는 임계치에 기초하여 뉴럴 네트워크를 학습하는데 이용되는 하드 네거티브 샘플을 추출하는 영상 학습 장치 및 상기 장치가 수행하는 방법 | |
| CN112862093A (zh) | 一种图神经网络训练方法及装置 | |
| CN112926531A (zh) | 特征信息提取方法、模型训练方法、装置及电子设备 | |
| CN113657202A (zh) | 构件识别方法、构建训练集方法、装置、设备及存储介质 | |
| CN112214402B (zh) | 一种代码验证算法的选择方法、装置及存储介质 | |
| CN109376736A (zh) | 一种基于深度卷积神经网络的视频小目标检测方法 | |
| CN115147353B (zh) | 缺陷检测模型的训练方法、装置、设备、介质及程序产品 | |
| CN114708286B (zh) | 基于伪标注动态更新的细胞实例分割方法和装置 | |
| CN110490058B (zh) | 行人检测模型的训练方法、装置、系统和计算机可读介质 | |
| CN113674318A (zh) | 一种目标跟踪方法、装置及设备 | |
| CN113283396A (zh) | 目标对象的类别检测方法、装置、计算机设备和存储介质 | |
| CN112861708A (zh) | 一种雷达图像的语义分割方法、设备及存储介质 | |
| CN111597966A (zh) | 一种表情图像识别方法、装置及系统 | |
| CN116758373A (zh) | 深度学习模型的训练方法、图像处理方法、装置和设备 | |
| CN111488776A (zh) | 对象检测方法、对象检测装置和电子设备 | |
| CN112149698A (zh) | 一种困难样本数据的筛选方法及装置 | |
| CN114330542A (zh) | 一种基于目标检测的样本挖掘方法、装置及存储介质 | |
| CN112800355A (zh) | 新闻内容标签自动抽取方法及系统 | |
| JP7507172B2 (ja) | 情報処理方法、情報処理システム及び情報処理装置 | |
| CN115049960B (zh) | 目标检测方法、装置、电子设备及计算机可读存储介质 | |
| CN113963027B (zh) | 不确定性检测模型的训练、不确定性的检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Sample annotation method and device based on multiple models Effective date of registration: 20231108 Granted publication date: 20210105 Pledgee: Guotou Taikang Trust Co.,Ltd. Pledgor: HANGZHOU BIZHI TECHNOLOGY Co.,Ltd. Registration number: Y2023980064447 |