CN112926621A - 数据标注方法、装置、电子设备及存储介质 - Google Patents
数据标注方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112926621A CN112926621A CN202110082238.3A CN202110082238A CN112926621A CN 112926621 A CN112926621 A CN 112926621A CN 202110082238 A CN202110082238 A CN 202110082238A CN 112926621 A CN112926621 A CN 112926621A
- Authority
- CN
- China
- Prior art keywords
- data
- fingerprint information
- model
- labeling
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000012163 sequencing technique Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 8
- 239000013589 supplement Substances 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000013145 classification model Methods 0.000 description 29
- 230000000694 effects Effects 0.000 description 18
- 238000012795 verification Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
本公开提供了一种数据标注方法、装置、电子设备及存储介质，涉及人工智能、深度学习、指纹识别、图像处理、短视频处理等领域。具体实现方案为：根据第一标注数据得到第一样本数据集；根据所述第一样本数据集对第一模型进行训练，得到训练后的第二模型；将待标注对象输入所述第二模型进行特征提取处理，得到指纹信息；根据所述指纹信息进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据。采用本公开，可以用少量的已标注数据实现自动化的数据标注及定向的类别增补，从而得到数量及类别更多样化的样本数据集。
Description
技术领域
本公开涉及计算机处理领域。本公开尤其涉及人工智能、深度学习、指纹识别、图像处理、短视频处理等领域。
背景技术
随着人工智能技术的快速发展，诸多信息领域(如：图像、语音、视频、文字)人工智能技术被广泛应用于图像识别、检测、视频分类、语音识别和文本识别等场景中。
人工智能技术应用于任何一个场景中，都需要海量的、有效的标注数据，目前的方法是通过人工标注的方式去获得这些标注数据，但是，人工标注的方式会浪费大量的人力物力，且数据类别不够多样化。
发明内容
本公开提供了一种数据标注方法、装置、电子设备及存储介质。
根据本公开的一方面，提供了一种数据标注方法，包括：
根据第一标注数据得到第一样本数据集；
根据所述第一样本数据集对第一模型进行训练，得到训练后的第二模型；
将待标注对象输入所述第二模型进行特征提取处理，得到指纹信息；
根据所述指纹信息进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据。
根据本公开的另一方面，提供了一种数据标注装置，包括：
样本构建模块，用于根据第一标注数据得到第一样本数据集；
训练模块，用于根据所述第一样本数据集对第一模型进行训练，得到训练后的第二模型；
特征提取模块，用于将待标注对象输入所述第二模型进行特征提取处理，得到指纹信息；
数据标注模块，用于根据所述指纹信息进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任意一实施例所提供的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本公开任意一项实施例所提供的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本公开任意一项实施例所提供的方法。
采用本公开，可以根据第一标注数据得到第一样本数据集；根据所述第一样本数据集对第一模型进行训练，得到训练后的第二模型；将待标注对象输入所述第二模型进行特征提取处理，得到指纹信息；根据所述指纹信息进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据。由于可以采用第一标注数据(少量的已标注数据)实现自动化的数据标注及定向的类别增补，从而得到数量及类别更多样化的样本数据集。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的数据标注方法的流程示意图；
图2是根据本公开实施例的获得指纹信息的示意图；
图3是根据本公开实施例的基于指纹信息实现自动化的数据标注及模型训练的示意图；
图4是根据本公开实施例的数据标注装置的组成结构示意图；
图5是用来实现本公开实施例的数据标注方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
以人工智能技术应用的诸如图像、语音、视频、文字等领域为例，可以将基于人工智能技术所得到的各类模型广泛应用于图像识别/检测、视频分类、语音识别和文本识别中。要想各类模型的训练效果好，则需要占用大量人力物力去标注海量的、有效的标注数据。
为了得到这些标注数据，可以通过人工标注的方式去实现，然而，该方式存在的缺陷是：需要标注大量的人力物力，数据类别的多样性不够，而持续的人工标注特定的数据类别，不仅耗费人力物力且不准确，最终导致模型训练效果不佳。具体说明如下：
以图像分类场景中的数据标注为例，数据准备的过程如下：
1)定义好图像的类别，需要先获得大量的未标注的数据，然后由人根据图像的定义对图像进行类别的标注，获得第一版的数据集，将数据划分为训练集，测试集和验证集。
2)将上述第一版的训练集输入模型，得到训练后的模型，通过上述验证集对该训练后的模型进行验证处理，以验证模型的训练效果(比如该图像分类场景，可以是对分类准确率进行验证)。得到验证结果后，根据验证结果分析并找到因为数据类别多样性不够所导致训练效果不好的图像类别。比如，模型训练效果不好，可以考虑分类准确率(比如分类准确率低)及召回率(比如误召率低)两个方面。为了提高分类准确率和召回率，则需要对表现差的类别进行数据类别的扩充。
3)获取海量的未标注数据，通过上述人工标注的数据准备过程，对训练效果不好的图像类型进行数据扩充后再进行第二次的模型训练。
上述方案存在以下不足之处：
针对第1)步而言，首先需要获得大量的未标注数据，获得了海量的数据后还需要大量的人工进行数据标注，这将耗费大量的人力和物力，如果海量的未标注的数据类别的多样化不够的情况下，会直接导致人力的浪费和模型训练的效果不佳。
针对第2)步而言，为了提高某一类图像的召回率，需要对该图像类别未召回的图像进行数据扩充，以作为正样本进行模型训练。而通过人工标注数据不仅浪费了人力物力，而且，人工标注出来的数据和模型训练真正需要的数据存在偏差，导致召回率虽然得到了提升，但是分类准确率造成了下降。
针对第3)步而言，为了提高某一类图像的准确率，需要对该类别误召的误检图像进行数据扩充，以作为负样本进行模型训练。而通过人工标注数据不仅浪费了人力物力，而且人工标注出来的数据和模型训练真正需要的数据存在偏差，导致分类准确率得到了提升，但是，召回率造成了下降。
综上所述，为了标注海量有效的标注数据，不仅需要标注大量的人力物力，而且，当数据类别的多样性不够的情况下，会造成不同类别在模型中的类间距比较小，导致数据类型偏移的问题，最终导致模型的训练效果不理想。而为了解决类间距小，只能继续人工标注特定类型的数据类别，以试图解决数据类型偏移的问题，但是，类间距通过人工标注的方式，是很难准确的予以控制的。
采用本公开，只需要少量的已标注数据，基于指纹信息可以进行定向的类别标注，从而实现了数据标注及定向增补类别的自动化处理(即非人工标注)流程，节省了大量的人力物力，还可以获得数据类别多样性的样本数据，进一步还可以通过指纹信息的比对来解决人和模型之间对同一个图像类别的认知偏差，并进一步扩充样本数据，从而完成了使用少量标注数据在超大数据集上的训练，快速得到高质量的样本数据集，数据类别的多样性也得到了保证，最终提高了模型的训练效果，本公开训练后的模型的应用领域包括不限于，图像识别/检测、视频分类、语音识别/分类、文本识别、分类等。
根据本公开的实施例，提供了一种数据标注方法，图1是根据本公开实施例的数据标注方法的流程示意图，该方法可以应用于数据标注装置，例如，该装置可以部署于终端或服务器或其它处理设备执行的情况下，可以执行特征提取、定向类别标注及数据扩充等等。其中，终端可以为用户设备(UE，User Equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA，Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，包括：
S101、根据第一标注数据得到第一样本数据集。
S102、根据所述第一样本数据集对第一模型进行训练，得到训练后的第二模型。
S103、将待标注对象输入所述第二模型进行特征提取处理，得到指纹信息。
S104、根据所述指纹信息进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据。
基于上述步骤S101-S104的一示例中，以图像分类场景为例，可以对样本对象进行标注，从而得到上述第一标注数据，其中，该样本对象可以为诸如拍照得到的图像、或从视频中提取的多个视频帧所对应的图像，第一模型可以为第一分类模型，相应的，第二模型可以为第二分类模型。该第二分类模型，即对第一分类模型训练后所得到的训练后的模型，为了区分训练前、训练后的模型，本示例中将训练前的模型记为上述第一分类模型，将训练后的模型记为第二分类模型。具体的，可以包括：1)对样本对象进行类别标注，得到第一标注数据(即少量通过人工标注的已标注数据)，根据所述第一标注数据得到第一样本数据集，根据所述第一样本数据集对第一分类模型进行训练，训练后得到第二分类模型。2)将待标注对象(如M个图像或M个视频帧所对应的图像，M为正整数)输入该第二分类模型进行特征提取处理，将所提取的特征(如M个特征作为第一指纹信息，即M个第一指纹信息)。3)获取通过该第二分类模型进行分类识别所得到的识别评估参数(如召回率或分类识别准确率)，若所述识别评估参数低于分类阈值(即低于预期的召回率或预期的分类识别准确率)，则将低于分类阈值的类别确定为需要增补的第一类别，并将该第一类别记为需要定向扩充到第一样本数据集的类别；4)根据所述第一类别进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据。之后，还可以根据扩充后的第一样本数据集对上述第一分类模型继续训练。
采用本公开，可以根据第一标注数据得到第一样本数据集；根据所述第一样本数据集对第一模型进行训练，得到训练后的第二模型；将待标注对象输入所述第二模型进行特征提取处理，得到指纹信息；根据所述指纹信息进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据。由于可以采用第一标注数据(少量的已标注数据)实现自动化的数据标注及定向的类别增补，从而得到数量及类别更多样化的样本数据集。
一实施方式中，所述根据所述指纹信息进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据，包括：对所述第二模型输出的所述指纹信息进行验证处理，得到低于阈值的第一类别；将所述第一类别作为需要定向扩充到所述第一样本数据集的数据类别，并进行所述定向的类别标注，得到所述第二标注数据。采用本实施方式，以图像分类场景为例，可以从上述第一样本数据集中提取作为验证集使用的数据集，并基于该验证集对指纹信息进行分类验证处理，则该验证处理可以是：得到低于分类阈值(如低于预期召回率或预期分类识别准确率的类别)的第一类别，将该第一类别作为需要数据扩充的增补类别，以实现定向的标注，可以针对性的扩充数据类别，提高数据类别的多样性，通过定向的类别标注所得到的该第二标注数据更利于提高模型训练的效果，以图像分类场景为例，训练后的模型可以提高图像分类的准确率。
一实施方式中，还包括：根据预期召回率或预期识别准确率中的至少一种评估参数，得到所述阈值。采用本实施方式，可以根据用于评估模型训练效果的至少一种评估参数“召回率或识别准确率”来创建阈值，从而可以得到低于阈值的第一类别，以将该第一类别用于增补第一样本数据集中的数据类别。
一实施方式中，还包括：将所述待标注对象输入所述第二模型进行特征提取处理所得到的所述指纹信息，记为第一指纹信息；将所述第二标注数据输入所述第二模型进行特征提取处理，得到第二指纹信息；根据所述第一指纹信息及所述第二指纹信息的比对结果，得到用于再次扩充所述第一样本数据集的第三标注数据。采用本实施方式，可以通过指纹比对来进一步实现标注数据的自动化扩充，且该标注数据可以解决人与模型对同一个待标注对象在类别上的识别偏差，从而为后续的模型训练提供了更多数量，类别多样化及更准确的样本数据。
一示例中，以图像分类场景为例，第一模型可以为第一分类模型，相应的，第二模型可以为第二分类模型，为了得到针对该第一分类模型更好的模型训练效果，还可以进一步基于指纹信息的比对来自动化的扩充第一样本数据集，该过程可以包括：将待标注对象(如M个图像或M个视频帧所对应的图像，M为正整数)输入所述第二模型进行特征提取处理所得到的所述指纹信息，记为第一指纹信息，将该第二标注数据(如N个已标注有相应类别的图像或N个视频帧所对应的图像，N为正整数且小于M)输入所述第二分类模型进行特征提取处理，将所提取的特征(如N个特征)作为第二指纹信息；根据所述第一指纹信息及所述第二指纹信息的比对结果，得到用于二次扩充所述第一样本数据集的第三标注数据。之后，可以根据扩充后的第一样本数据集对上述第一分类模型继续训练(即进行针对第一分类模型的二次训练)，直至模型收敛。
一实施方式中，还包括：根据再次扩充后的第一样本数据集，对所述第一模型进行训练，直至模型收敛，得到目标模型；根据所述目标模型，对待识别对象进行分类、检测、分割中的至少一种处理，得到相应的处理结果。采用本实施方式，根据再次扩充后的第一样本数据集，对所述第一模型进行训练，所得到的模型为最终所需的目标模型(如图像分类场景中的目标分类模型)，根据该目标模型可以针对包括但不限于分类、检测、分割等各种场景中的任务进行处理，从而得到相应的处理结果，由于该目标模型训练所使用的第一样本数据集为再次扩充后的样本数据集，因此，可以得到更为精确且高效的处理结果。
一实施方式中，所述根据所述第一指纹信息及所述第二指纹信息的比对结果，得到用于再次扩充所述第一样本数据集的第三标注数据，包括：将所述第二标注数据中的各数据对象与所述第一指纹信息中的各指纹对象进行欧氏距离运算，得到多个距离；将所述多个距离进行排序，得到排序结果；根据所述排序结果，从所述第二指纹信息中的各指纹信息中筛选出相匹配的目标指纹信息；获取所述目标指纹信息对应的数据对象并进行标注，得到所述第三标注数据。采用本实施方式，在第一指纹信息及第二指纹信息的比对过程中，通过多个距离进行排序所得到的排序结果，可以从第二指纹信息中的各指纹信息中筛选出相匹配的目标指纹信息(即与第一指纹信息相匹配的目标指纹信息)，则对目标指纹信息对应的数据对象进行标注所得到的第三标注数据，类别更为精确，将模型认为两张相似的图像作为同一类的数据，并聚合在一起。
一示例中，使用了少量的标注数据即能完成在超大数据集上的训练，从而快速的获得高质量的数据集，通过指纹信息还可以定向增加任一类别的数据，从而提高了数据的多样性，包括如下内容：
1)对待标注对象进行类别标注，得到少量的第一标注数据，将该第一标注数据作为模型训练的第一样本数据集(其中，该第一样本数据集可以划分为训练集，测试集和验证集)。
2)根据所述第一样本数据集对第一模型进行训练，训练后得到第二模型，其中，可以采用验证集来验证该第二模型的训练效果。
3)将测试集中的待标注对象提取出来，也可以重新获取更多的待标注对象，将这些待标注对象输入该第二模型以提取特征，将第二模型输出的该特征作为第一指纹信息。比如，图像分类场景中，待标注对象为图像，输入M个图像，对应输出M个特征，即得到M个第一指纹信息，M为大于1的正整数。
4)采用验证集来继续验证采用上述第二模型对该待标注对象进行分类识别的分类识别准确率或召回率，确定出分类识别率或召回率比较低的第一类别(即：找出识别比较薄弱的类别)，根据确定的第一类别对待标注对象进行定向标注，得到第二标注数据，不仅可以定向增加任意类别，也可以通过该第二标注数据来扩充第一样本数据集。
其中，该第4)步实际上不是靠人工来判断类别并标注，是通过模型识别的第一类别，从而减少了人工成本；而且，将模型识别的第一类别进行标注，得到第二标注数据，引入第二标注数据后也增加了初始的第一样本数据集中标注数据的数量。
5)将该第二标注数据(如N个图像)输入上述第二模型以提取特征，将第二模型输出的该特征也作为第二指纹信息(如N个指纹信息)，将该N个指纹信息对应的N个图像中的每一个图像，分别与上述步骤3)中M个第一指纹信息执行欧式距离运算，得到M个距离，将M中的距离从小到大进行排序，获得跟该N个指纹信息中距离最近的S个指纹。
6)找到该S个指纹的对应的原始图像，人工审核S个图像的准确率，通过改变S和M的值来满足准确率(M越大，S越小，准确率越高)，从而获得“N*S”个具有有效和多样性的海量的数据，将获得的图像作为第三标注数据(即对第二标注数据进行扩充以得到该第三标注数据，而无需在初期就人工标注大量数据)。
7)利用第三标注数据进行第一模型的二次训练，直到模型收敛，训练效果符合预期。
应用本公开实施例的一应用示例的处理流程，包括如下内容：
本应用示例中，可以基于指纹信息来实现数据标注的自动化处理，通过指纹信息可以获得海量且同时具有数据类别多样性的样本数据，可以节省人力成本在90％以上，而且，通过指纹扩充的数据，可以通过按需扩充保证召回率不变的情况下提高准确率，也可以在保证准确率的情况下提高召回率，以及同时提高召回率和准确率。
一、针对指纹信息而言，图2是根据本公开实施例的获得指纹信息的示意图，如图2所示，以图像分类场景为例，将图像输入第二分类模型(对第一分类模型训练后所得到的模型)，通过特征提取处理得到的图像信息特征，称之为图像信息的“指纹信息”，由于根据该指纹信息可以实现自动化的数据标注及定向的类别增补，获得有效且多样性的海量数据，因此，将数据扩充后得到的第一样本数据集，继续用于模型训练，可以得到更为精确的模型训练效果。之后，将应用该训练后模型输出得到的指纹信息应用于该第二分类模型下游的任务(如：分类、检测、分割等)，从而，可以得到更为精确的相应处理结果。
图3是根据本公开实施例的基于指纹信息实现自动化的数据标注及模型训练的示意图，以图像分类为例，如图3所示，包括：
1、收集少量的数据，将数据划分为训练集，测试集和验证集。
比如，预先定义好图像的类别，可以先获取少量且未标注的数据，数据量为传统方法数量的十分之一，然后由人根据图像的定义对图像进行类别的标注，得到第一标注数据，根据第一标注数据构建第一样本数据集。其中，第一样本数据集可以划分为训练集，测试集和验证集。
2、获得验证集的效果，同时将M个图像输入第二分类模型，获得M个第一指纹信息。
比如，将上述步骤1的训练集输入第一分类模型，训练得到第二分类模型，获取海量的M个图像，将M个图像输入第二分类模型，输出海量数据的M个指纹信息。可以通过上述步骤1的验证集来验证模型训练效果。
3、根据分析验证集的效果确定类别，针对每一类别标注N张图像，将N个图像输入第二分类模型，获得N个第二指纹信息。
比如，分析上述步骤2验证集合的效果，确定召回率或准确率比较低的图像类别。根据召回率或准确率低的图像类别，每一类标注少量的N个图像(可以是自己定义的图像)，则针对每一类别去标注的N个图像，记为第二标注数据，然后将该第二标注数据输入第二分类模型，获得N个第二指纹信息。
4、将单个图像与M个第一指纹信息计算距离，获得S个图像。
比如，将步骤3中的N个图像中每个图像，以单个图像为例，分别和步骤2中M个第一指纹信息计算欧式距离(包括而不限于此类方法)，获得M个距离，将M中的距离从小到大进行排序，获得跟该N个第二指纹信息距离最近的S个指纹，S为正整数且小于N，找到S个指纹的对应的原始图像(准确率较高的S个图像)，人工审核S个图像的准确率，通过改变S和M的值来满足准确率，M越大，S越小准确率越高。
5、针对N个图像，共获得N*S个图像，并用于第一分类模型的二次训练。
比如，通过上述步骤4可以获得“N*S”个具有多样性及有效的海量数据，将获得的数据用于第一分类模型的二次训练。
6、重复上述步骤2，模型训练结果满意则结束上述流程，否则，回到上述步骤2，直到模型效果符合预期为止。
采用本应用示例，针对数据标注而言，仅使用了少量的标注数据即完成了在超大数据集上的训练，通过指纹技术可以快速获得高质量的数据集。针对数据多样性而言，在获取数据的过程中，通过指纹技术，还可以定向增加任一类别的数据，从而提高了数据的多样性。针对人和模型间的认知偏差而言，两张相似的图像是否真的相似，人的视觉和模型的度量之间存在认知偏差，通过指纹技术还可以将模型认为同一类的数据聚合在一起，从而解决了该认知偏差。
根据本公开的实施例，提供了一种数据标注装置，图4是根据本公开实施例的数据标注装置的组成结构示意图，如图4所示，数据标注装置400包括：样本构建模块401，用于根据第一标注数据得到第一样本数据集；训练模块402，用于根据所述第一样本数据集对第一模型进行训练，得到训练后的第二模型；特征提取模块403，用于将待标注对象输入所述第二模型进行特征提取处理，得到指纹信息；数据标注模块404，用于根据所述指纹信息进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据。
一实施方式中，所述数据标注模块，用于对所述第二模型输出的所述指纹信息进行验证处理，得到低于阈值的第一类别；将所述第一类别作为需要定向扩充到所述第一样本数据集的数据类别，并进行所述定向的类别标注，得到所述第二标注数据。
一实施方式中，还包括阈值确定模块，用于根据预期召回率或预期识别准确率中的至少一种评估参数，得到所述阈值。
一实施方式中，还包括比对模块，用于将所述待标注对象输入所述第二模型进行特征提取处理所得到的所述指纹信息，记为第一指纹信息；将所述第二标注数据输入所述第二模型进行特征提取处理，得到第二指纹信息；根据所述第一指纹信息及所述第二指纹信息的比对结果，得到用于再次扩充所述第一样本数据集的第三标注数据。
一实施方式中，还包括对象处理模块，用于根据再次扩充后的第一样本数据集，对所述第一模型进行训练，直至模型收敛，得到目标模型；根据所述目标模型，对待识别对象进行分类、检测、分割中的至少一种处理，得到相应的处理结果。
一实施方式中，所述比对模块，用于将所述第二标注数据中的各数据对象与所述第一指纹信息中的各指纹对象进行欧氏距离运算，得到多个距离；将所述多个距离进行排序，得到排序结果；根据所述排序结果，从所述第二指纹信息中的各指纹信息中筛选出相匹配的目标指纹信息；获取所述目标指纹信息对应的数据对象并进行标注，得到所述第三标注数据。
本公开实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质及一种计算机程序产品。
如图5所示，是用来实现本公开实施例的数据标注方法的电子设备的框图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。
如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如数据标注方法。例如，在一些实施例中，数据标注方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的数据标注方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据标注方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (15)
1.一种数据标注方法，包括：
根据第一标注数据得到第一样本数据集；
根据所述第一样本数据集对第一模型进行训练，得到训练后的第二模型；
将待标注对象输入所述第二模型进行特征提取处理，得到指纹信息；
根据所述指纹信息进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据。
2.根据权利要求1所述的方法，其中，所述根据所述指纹信息进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据，包括：
对所述第二模型输出的所述指纹信息进行验证处理，得到低于阈值的第一类别；
将所述第一类别作为需要定向扩充到所述第一样本数据集的数据类别，并进行所述定向的类别标注，得到所述第二标注数据。
3.根据权利要求2所述的方法，还包括：
根据预期召回率或预期识别准确率中的至少一种评估参数，得到所述阈值。
4.根据权利要求1至3中任一项所述的方法，还包括：
将所述待标注对象输入所述第二模型进行特征提取处理所得到的所述指纹信息，记为第一指纹信息；
将所述第二标注数据输入所述第二模型进行特征提取处理，得到第二指纹信息；
根据所述第一指纹信息及所述第二指纹信息的比对结果，得到用于再次扩充所述第一样本数据集的第三标注数据。
5.根据权利要求4所述的方法，还包括：
根据再次扩充后的第一样本数据集，对所述第一模型进行训练，直至模型收敛，得到目标模型；
根据所述目标模型，对待识别对象进行分类、检测、分割中的至少一种处理，得到相应的处理结果。
6.根据权利要求4所述的方法，其中，所述根据所述第一指纹信息及所述第二指纹信息的比对结果，得到用于再次扩充所述第一样本数据集的第三标注数据，包括：
将所述第二标注数据中的各数据对象与所述第一指纹信息中的各指纹对象进行欧氏距离运算，得到多个距离；
将所述多个距离进行排序，得到排序结果；
根据所述排序结果，从所述第二指纹信息中的各指纹信息中筛选出相匹配的目标指纹信息；
获取所述目标指纹信息对应的数据对象并进行标注，得到所述第三标注数据。
7.一种数据标注装置，所述装置包括：
样本构建模块，用于根据第一标注数据得到第一样本数据集；
训练模块，用于根据所述第一样本数据集对第一模型进行训练，得到训练后的第二模型；
特征提取模块，用于将待标注对象输入所述第二模型进行特征提取处理，得到指纹信息；
数据标注模块，用于根据所述指纹信息进行定向的类别标注，得到用于扩充所述第一样本数据集的第二标注数据。
8.根据权利要求7所述的装置，其中，所述数据标注模块，用于：
对所述第二模型输出的所述指纹信息进行验证处理，得到低于阈值的第一类别；
将所述第一类别作为需要定向扩充到所述第一样本数据集的数据类别，并进行所述定向的类别标注，得到所述第二标注数据。
9.根据权利要求8所述的装置，还包括阈值确定模块，用于：
根据预期召回率或预期识别准确率中的至少一种评估参数，得到所述阈值。
10.根据权利要求7至9中任一项所述的装置，还包括比对模块，用于：
将所述待标注对象输入所述第二模型进行特征提取处理所得到的所述指纹信息，记为第一指纹信息；
将所述第二标注数据输入所述第二模型进行特征提取处理，得到第二指纹信息；
根据所述第一指纹信息及所述第二指纹信息的比对结果，得到用于再次扩充所述第一样本数据集的第三标注数据。
11.根据权利要求10所述的装置，还包括对象处理模块，用于：
根据再次扩充后的第一样本数据集，对所述第一模型进行训练，直至模型收敛，得到目标模型；
根据所述目标模型，对待识别对象进行分类、检测、分割中的至少一种处理，得到相应的处理结果。
12.根据权利要求10所述的装置，其中，所述比对模块，用于：
将所述第二标注数据中的各数据对象与所述第一指纹信息中的各指纹对象进行欧氏距离运算，得到多个距离；
将所述多个距离进行排序，得到排序结果；
根据所述排序结果，从所述第二指纹信息中的各指纹信息中筛选出相匹配的目标指纹信息；
获取所述目标指纹信息对应的数据对象并进行标注，得到所述第三标注数据。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的方法。
15.一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110082238.3A CN112926621B (zh) | 2021-01-21 | 数据标注方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110082238.3A CN112926621B (zh) | 2021-01-21 | 数据标注方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112926621A true CN112926621A (zh) | 2021-06-08 |
| CN112926621B CN112926621B (zh) | 2024-05-10 |
Family
ID=
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114241243A (zh) * | 2021-12-20 | 2022-03-25 | 百度在线网络技术（北京）有限公司 | 图像分类模型的训练方法、装置、电子设备和存储介质 |
| CN114443849A (zh) * | 2022-02-09 | 2022-05-06 | 北京百度网讯科技有限公司 | 一种标注样本选取方法、装置、电子设备和存储介质 |
| CN114707015A (zh) * | 2022-03-14 | 2022-07-05 | 同盾科技有限公司 | 一种商标标注方法、装置、电子设备以及存储介质 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104572735A (zh) * | 2013-10-23 | 2015-04-29 | 华为技术有限公司 | 一种图片标注词推荐方法及装置 |
| CN106778878A (zh) * | 2016-12-21 | 2017-05-31 | 东方网力科技股份有限公司 | 一种人物关系分类方法及装置 |
| CN108009589A (zh) * | 2017-12-12 | 2018-05-08 | 腾讯科技（深圳）有限公司 | 样本数据处理方法、装置和计算机可读存储介质 |
| CN109359517A (zh) * | 2018-08-31 | 2019-02-19 | 深圳市商汤科技有限公司 | 图像识别方法和装置、电子设备、存储介质、程序产品 |
| US20190266487A1 (en) * | 2016-07-14 | 2019-08-29 | Google Llc | Classifying images using machine learning models |
| CN110210560A (zh) * | 2019-05-31 | 2019-09-06 | 北京市商汤科技开发有限公司 | 分类网络的增量训练方法、分类方法及装置、设备及介质 |
| WO2019233297A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 数据集的构建方法、移动终端、可读存储介质 |
| CN110889463A (zh) * | 2019-12-10 | 2020-03-17 | 北京奇艺世纪科技有限公司 | 一种样本标注方法、装置、服务器及机器可读存储介质 |
| CN111104479A (zh) * | 2019-11-13 | 2020-05-05 | 中国建设银行股份有限公司 | 一种数据标注的方法及装置 |
| WO2020087974A1 (zh) * | 2018-10-30 | 2020-05-07 | 北京字节跳动网络技术有限公司 | 生成模型的方法和装置 |
| CN111126108A (zh) * | 2018-10-31 | 2020-05-08 | 北京市商汤科技开发有限公司 | 图像检测模型的训练和图像检测方法及装置 |
| US20200151246A1 (en) * | 2018-11-13 | 2020-05-14 | International Business Machines Corporation | Labeling Training Set Data |
| CN111191032A (zh) * | 2019-12-24 | 2020-05-22 | 深圳追一科技有限公司 | 语料扩充方法、装置、计算机设备和存储介质 |
| CN111382791A (zh) * | 2020-03-07 | 2020-07-07 | 北京迈格威科技有限公司 | 深度学习任务处理方法、图像识别任务处理方法和装置 |
| CN111428008A (zh) * | 2020-06-11 | 2020-07-17 | 北京百度网讯科技有限公司 | 用于训练模型的方法、装置、设备以及存储介质 |
| CN111476256A (zh) * | 2019-01-24 | 2020-07-31 | 北京京东尚科信息技术有限公司 | 基于半监督学习的模型训练方法、装置及电子设备 |
| CN112101162A (zh) * | 2020-09-04 | 2020-12-18 | 沈阳东软智能医疗科技研究院有限公司 | 图像识别模型的生成方法、装置、存储介质和电子设备 |
| CN112132179A (zh) * | 2020-08-20 | 2020-12-25 | 中国人民解放军战略支援部队信息工程大学 | 基于少量标注样本的增量学习方法及系统 |
| CN112200273A (zh) * | 2020-12-07 | 2021-01-08 | 长沙海信智能系统研究院有限公司 | 数据标注方法、装置、设备及计算机存储介质 |
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104572735A (zh) * | 2013-10-23 | 2015-04-29 | 华为技术有限公司 | 一种图片标注词推荐方法及装置 |
| US20190266487A1 (en) * | 2016-07-14 | 2019-08-29 | Google Llc | Classifying images using machine learning models |
| CN106778878A (zh) * | 2016-12-21 | 2017-05-31 | 东方网力科技股份有限公司 | 一种人物关系分类方法及装置 |
| CN108009589A (zh) * | 2017-12-12 | 2018-05-08 | 腾讯科技（深圳）有限公司 | 样本数据处理方法、装置和计算机可读存储介质 |
| WO2019233297A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 数据集的构建方法、移动终端、可读存储介质 |
| CN109359517A (zh) * | 2018-08-31 | 2019-02-19 | 深圳市商汤科技有限公司 | 图像识别方法和装置、电子设备、存储介质、程序产品 |
| WO2020087974A1 (zh) * | 2018-10-30 | 2020-05-07 | 北京字节跳动网络技术有限公司 | 生成模型的方法和装置 |
| CN111126108A (zh) * | 2018-10-31 | 2020-05-08 | 北京市商汤科技开发有限公司 | 图像检测模型的训练和图像检测方法及装置 |
| US20200151246A1 (en) * | 2018-11-13 | 2020-05-14 | International Business Machines Corporation | Labeling Training Set Data |
| CN111476256A (zh) * | 2019-01-24 | 2020-07-31 | 北京京东尚科信息技术有限公司 | 基于半监督学习的模型训练方法、装置及电子设备 |
| CN110210560A (zh) * | 2019-05-31 | 2019-09-06 | 北京市商汤科技开发有限公司 | 分类网络的增量训练方法、分类方法及装置、设备及介质 |
| CN111104479A (zh) * | 2019-11-13 | 2020-05-05 | 中国建设银行股份有限公司 | 一种数据标注的方法及装置 |
| CN110889463A (zh) * | 2019-12-10 | 2020-03-17 | 北京奇艺世纪科技有限公司 | 一种样本标注方法、装置、服务器及机器可读存储介质 |
| CN111191032A (zh) * | 2019-12-24 | 2020-05-22 | 深圳追一科技有限公司 | 语料扩充方法、装置、计算机设备和存储介质 |
| CN111382791A (zh) * | 2020-03-07 | 2020-07-07 | 北京迈格威科技有限公司 | 深度学习任务处理方法、图像识别任务处理方法和装置 |
| CN111428008A (zh) * | 2020-06-11 | 2020-07-17 | 北京百度网讯科技有限公司 | 用于训练模型的方法、装置、设备以及存储介质 |
| CN112132179A (zh) * | 2020-08-20 | 2020-12-25 | 中国人民解放军战略支援部队信息工程大学 | 基于少量标注样本的增量学习方法及系统 |
| CN112101162A (zh) * | 2020-09-04 | 2020-12-18 | 沈阳东软智能医疗科技研究院有限公司 | 图像识别模型的生成方法、装置、存储介质和电子设备 |
| CN112200273A (zh) * | 2020-12-07 | 2021-01-08 | 长沙海信智能系统研究院有限公司 | 数据标注方法、装置、设备及计算机存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 王泽霞;陈革;陈振中;: "基于改进卷积神经网络的化纤丝饼表面缺陷识别", 纺织学报, no. 04, pages 44 - 49 * |
| 高志华;贲可荣;: "基于主动学习和自学习的噪声源识别方法", 计算机工程与应用, no. 01, 31 December 2015 (2015-12-31), pages 119 - 122 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114241243A (zh) * | 2021-12-20 | 2022-03-25 | 百度在线网络技术（北京）有限公司 | 图像分类模型的训练方法、装置、电子设备和存储介质 |
| CN114443849A (zh) * | 2022-02-09 | 2022-05-06 | 北京百度网讯科技有限公司 | 一种标注样本选取方法、装置、电子设备和存储介质 |
| CN114443849B (zh) * | 2022-02-09 | 2023-10-27 | 北京百度网讯科技有限公司 | 一种标注样本选取方法、装置、电子设备和存储介质 |
| US11907668B2 (en) | 2022-02-09 | 2024-02-20 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for selecting annotated sample, apparatus, electronic device and storage medium |
| CN114707015A (zh) * | 2022-03-14 | 2022-07-05 | 同盾科技有限公司 | 一种商标标注方法、装置、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190026641A (ko) | 클레임 서류의 문자 인식 방법, 장치, 서버 및 저장매체 | |
| CN107330471B (zh) | 反馈内容的问题定位方法和装置、计算机设备、存储介质 | |
| CN107423278B (zh) | 评价要素的识别方法、装置及系统 | |
| KR102002024B1 (ko) | 객체 라벨링 처리 방법 및 객체 관리 서버 | |
| CN113239807B (zh) | 训练票据识别模型和票据识别的方法和装置 | |
| CN114428677B (zh) | 任务处理方法、处理装置、电子设备及存储介质 | |
| CN111931809A (zh) | 数据的处理方法、装置、存储介质及电子设备 | |
| CN113780098A (zh) | 文字识别方法、装置、电子设备以及存储介质 | |
| CN113657483A (zh) | 模型训练方法、目标检测方法、装置、设备以及存储介质 | |
| CN113221918A (zh) | 目标检测方法、目标检测模型的训练方法及装置 | |
| CN114419035A (zh) | 产品识别方法、模型训练方法、装置和电子设备 | |
| CN115359308A (zh) | 模型训练、难例识别方法、装置、设备、存储介质及程序 | |
| CN111738290B (zh) | 图像检测方法、模型构建和训练方法、装置、设备和介质 | |
| CN116935368A (zh) | 深度学习模型训练方法、文本行检测方法、装置及设备 | |
| CN112926621B (zh) | 数据标注方法、装置、电子设备及存储介质 | |
| CN112926621A (zh) | 数据标注方法、装置、电子设备及存储介质 | |
| CN112818972B (zh) | 兴趣点图像的检测方法、装置、电子设备及存储介质 | |
| CN115375965A (zh) | 一种目标场景识别的预处理方法、目标场景识别方法 | |
| CN113657230B (zh) | 训练新闻视频识别模型的方法、检测视频的方法及其装置 | |
| CN115482436B (zh) | 图像筛选模型的训练方法、装置以及图像筛选方法 | |
| CN114998906B (zh) | 文本检测方法、模型的训练方法、装置、电子设备及介质 | |
| CN111738252B (zh) | 图像中的文本行检测方法、装置及计算机系统 | |
| CN117764052A (zh) | 一种检验文本相似程度的方法、装置、设备及介质 | |
| CN114861820A (zh) | 样本数据筛选方法、模型训练方法、装置及电子设备 | |
| CN113963287A (zh) | 评分模型获取及视频识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |