CN113505261A - 数据标注方法、装置以及数据标注模型训练方法、装置 - Google Patents

数据标注方法、装置以及数据标注模型训练方法、装置 Download PDF

Info

Publication number
CN113505261A
CN113505261A CN202110889756.6A CN202110889756A CN113505261A CN 113505261 A CN113505261 A CN 113505261A CN 202110889756 A CN202110889756 A CN 202110889756A CN 113505261 A CN113505261 A CN 113505261A
Authority
CN
China
Prior art keywords
target
annotated
data
image
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110889756.6A
Other languages
English (en)
Other versions
CN113505261B (zh
Inventor
徐剑炯
方玲洪
毛云青
董墨江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCI China Co Ltd
Original Assignee
CCI China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCI China Co Ltd filed Critical CCI China Co Ltd
Priority to CN202110889756.6A priority Critical patent/CN113505261B/zh
Publication of CN113505261A publication Critical patent/CN113505261A/zh
Application granted granted Critical
Publication of CN113505261B publication Critical patent/CN113505261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出了一种数据标注方法、装置以及数据标注模型训练方法、装置，所述方法包括：获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；若是，通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；若否，获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框内的目标边缘位置，根据所述目标边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集。通过本发明对于无法自动化标注的图像通过图像处理技术辅助人工标注，通过自动化结合人工标注的方式提高了标注质量和效率。

Description

数据标注方法、装置以及数据标注模型训练方法、装置
技术领域
本申请涉及数据处理领域，特别是涉及数据标注方法、装置以及数据标注模型训练方法、装置。
背景技术
近年来，城市治理成为热点，通过广泛的监控布局以及人工智能、云计算等信息技术的深入应用，城市治理模式已经完成从传统的监控“能看见”到“能看懂”的转变，以智能技术推动城市智能化建设发展也是城市治理的必经之路。
要让机器“能看懂”，首先需要机器认识视频图像中的相关目标，现有技术中，会对图像中已有的相关目标进行人工标注，再让机器不断学习，从而提升识别对应目标的能力。在这一过程中，大量优质的标注数据对机器学习至关重要。目前标注多采用人工标注，但人工标注需要耗费大量的人力和财力，成本高昂。随着机器学习广泛应用在各行各业，人工标注已满足不了各行业对标注数据集的需求。同时人工标注过于依赖标注人员，而标注人员专业水平不一，影响标注正确性和速度。其次，标注的数据需保证目标框边缘与图像中的实际边缘尽可能接近，人工标注往往会将多余的背景标进框内或者整个目标不处在框内，无法实现精细化的标注，从而影响机器学习的效果。因此，如何提高标注的效率和质量、提高标注的精细度是现今亟需解决的难题。
发明内容
本申请实施例提供了一种数据标注方法、装置以及数据标注模型训练方法、装置，采用目标检测算法对图像进行自动化标注，对于无法自动化标注的图像通过图像处理技术辅助人工标注，通过自动化结合人工标注的方式提高了标注质量和效率。
第一方面，本申请实施例提供了一种数据标注方法，所述方法包括：获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；若是，通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；若否，获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框内的目标边缘位置，根据所述目标边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集。
本实施例用于解决人工标注无法实现精细化标注以及标注效率低的问题，通过对人工标注的初始目标框进行边缘检测，提高目标框边缘与图像中的实际边缘的接近程度，并且通过目标检测算法对图像进行自动化标注，提高了标注正确性以及速度。
在其中一个可行实施例中，所述方法还包括：所述数据标注模型包括：提取网络以及多个级联的子网络；“通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集”包括：将所述待标注图像输入所述提取网络中提取出每个待标注目标对应的多个初始候选框，基于预置的每个待标注目标对应的真实标记框以及第一阈值对所有初始候选框进行筛选，将筛选得到的每个初始候选框输入所述多个级联的子网络中，得到所述多个级联的子网络输出的第一已标注数据集。
在其中一个可行实施例中，所述方法还包括：对所述数据标注模型输出的每个目标框内的目标边缘位置进行提取，根据所述目标边缘位置调整每个所述目标框，得到第一已标注数据集。
在其中一个可行实施例中，所述方法还包括：对第一已标注数据集或第二已标注数据集中的每个目标框内的图像执行先膨胀后腐蚀的形态学处理，去除所述目标框内的噪声数据点，得到标注样本集。
在其中一个可行实施例中，“基于预置的每个待标注目标对应的真实标记框以及第一阈值对所有初始候选框进行筛选”包括：对每个所述初始候选框与所述真实标记框计算交并比，在交并比大于第一阈值的情况下，保留所述初始候选框。
在其中一个可行实施例中，所述方法包括：在所述级联的子网络中对输入目标框进行回归，根据预设阈值对回归得到的候选框进行筛选，将当前子网络的筛选结果作为下一级的子网络的所述输入目标框。
第二方面，本申请实施例提供了一种数据标注模型训练方法，所述方法包括：获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；若是，通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；若否，获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框的边缘位置，根据所述边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集；基于所述第一已标注数据集、所述第二已标注数据集对所述数据标注模型进行训练。
第三方面，本申请实施例提供了一种数据标注装置，包括：获取模块，用于获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；判断模块，用于判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；第一标注模块，用于通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；第二标注模块，用于获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框内的目标边缘位置，根据所述目标边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集。
第四方面，本申请实施例提供了一种数据标注模型训练装置，包括：获取模块，用于获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；判断模块，用于判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；第一标注模块，用于通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；第二标注模块，用于获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框的边缘位置，根据所述边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集；训练模块，用于基于所述第一已标注数据集、所述第二已标注数据集对标注类别对应的所述数据标注模型进行训练。
第五方面，本申请实施例提供了一种计算机程序产品，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述代码软件部分用于执行第一方面所述的数据标注方法或者第二方面所述的数据标注模型训练方法。
第六方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面所述的数据标注方法或者第二方面所述的数据标注模型训练方法。
第七方面，本申请实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行第一方面所述的数据标注方法或者第二方面所述的数据标注模型训练方法。
本申请实施例的主要贡献和创新点如下：
本申请实施例在数据标注过程中通过人工标注和自动化标注相结合的方式提高了标注效率，并且借助边缘检测算法来辅助人工标注，提高目标框边缘与图像中的实际边缘的接近程度，从而实现精细化的标注。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的数据标注方法的流程图。
图2是采用无监督学习的目标检测算法提取到的多种目标的效果图。
图3是采用现有图像识别算法标注出符合训练任务所需的目标标注框的效果图。
图4是初始人工标注结果图。
图5是边缘检测辅助标注结果图。
图6是采用已训练的目标检测模型提取出数据标记结果的流程图。
图7是采用已训练的目标检测模型进行目标检测的检测效果推理流程图。
图8是根据本申请实施例的数据标注模型训练方法的流程图。
图9是根据本申请实施例的数据标注装置的结构框图。
图10是根据本申请实施例的电子装置的硬件结构示意图。
图11是根据本申请实施例的数据标注模型训练装置的结构框图。
图12是标注训练平台流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
实施例一
本申请实施例提供了一种数据标注方法，参考图1，所述方法包括以下步骤S101至S104：
步骤S101，获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别。
步骤S102，判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型。
步骤S103，若是，通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集。
步骤S104，若否，获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框内的目标边缘位置，根据所述目标边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集。
在本申请实施例中，对于未标注数据集可以采用自动化标注以提高标注效率，例如，通过数据标记模型对输入的待标注图像的待标注目标进行目标检测，获取检测出的目标框，如图2所示，可以采用无监督学习的目标检测模型提取图像中的多种目标，无监督学习的目标检测模型可以解决由于缺乏足够的先验知识难以人工标注类别以及标注的成本太高的问题。但是由图2可以看出，无监督学习的目标检测模型只能提取出图片中的多种前景目标，无法识别出提取目标的类别从而识别出训练任务所需目标，例如在图2中提取出的结果包括非机动车、机动车、人等。因此在本步骤中借助目标检测模型以确定目标类别的待标注图像作为输入来识别训练任务中的目标检测框从而得到如图3所示的数据标记结果，所得到的低质量的数据标记结果可以用于后续对无监督学习的目标检测模型进行训练，从而使得模型可以自动化标注出符合训练任务所需的目标标注框。
需要说明的是，在步骤S101中，待标注图像集可以包括多个待标注图像，每个待标注图像中可以包括多个待标注目标，不同的待标注目标有其对应的标注类别。再次参阅图2，以图2为例，在一张待标注图像中无监督学习的目标检测模型会检测出入非机动车、机动车、人等多个待标注目标，当无监督学习模型结合图像识别算法对目标进行提取时，可以根据模型的数据标注类型，例如对非机动车进行标注、对机动车进行标注或者对人进行标注等实现自动化标注出符合训练任务所需标注类别的目标标注框。
在步骤S102中，需要根据待标注图像的待标注图标的标注类别进行判断，例如需要对待标注图像集中的每张待标注图像的非机动车进行标注，则对应地需要判断是否存在能够进行非机动车标注的数据标注模型。
在步骤S103中，对于待标注图像集，当存在与之对应的数据标注模型，则采用数据标注模型进行目标标注，获取第一已标注数据集。
在步骤S104中，对于未标注数据集，当没有与之对应的数据标注模型时，可以通过人工标注的方式进行标注。为了提高人工标注结果的质量，在本步骤中借助边缘检测算法来辅助人工标注。具体地，边缘信息指的是初始目标框内的目标内容的轮廓信息。如图4所示，人工标注的初始目标框可能存在未将整辆车标注在内的情况，因此对初始标注框内的图像进行目标内容的边缘选取，根据选取出的目标轮廓信息重新调整初始目标框的大小以及位置，该过程能够使最终目标框更加贴合目标边缘，从而提高标注结果的准确性。图5是采用边缘检测算法辅助人工标注后得到的标注结果，对比图4和图5可以看出，初始人工标注结果只标注了车辆的大概位置，初始目标框的四个顶点的位置不够准确且未将整辆车标注在内，而结合了边缘检测算法后的标注结果能够提高目标框边缘与图像中的实际边缘的接近程度，从而实现精细化的标注。
在其中一些实施例中针对模型的结构进行了改进，从而提升目标检测与识别的性能。所述数据标注模型包括：提取网络以及多个级联的子网络；“通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集”包括：将所述待标注图像输入所述提取网络中提取出每个待标注目标对应的多个初始候选框，基于预置的每个待标注目标对应的真实标记框以及第一阈值对所有初始候选框进行筛选，将筛选得到的每个初始候选框输入所述多个级联的子网络中，得到所述多个级联的子网络输出的第一已标注数据集。
具体地，数据标注模型采用的是提取网络与多个级联子网络相结合的设计，每一级子网络的输入都是前一级子网络的输出。在该数据标注模型中，提取网络、每个子网络的输出都是其回归得到的候选框与真实标记框的交并比高于阈值的候选框，例如，在提取网络中对待标注图像进行初始阶段的目标提取，得到若干个初始候选框，将每个初始候选框与真实标记框进行交并比计算，设置第一阈值过滤后得到若干初始候选框，将这些初始候选框输入第一级子网络中进行回归，根据第二阈值对回归的若干目标框进行筛选，得到第一阶段候选框，输入第二级子网络中回归，以此类推，经过级联的子网络一步步的选择和调整，输出的目标候选框的准确度会更高。
此外，数据标注模型中的参数更新均采取反向传播，即先前向传播，再计算当前批次数据的损失值，若计算的损失值较高时说明候选框与样本的真实标记框距离较远，调整梯度更新的方向，并逐层重新更新优化模型的参数。
图3是采用现有图像识别算法标注出符合训练任务所需的目标标注框的效果图。参考图3，提取网络输出的是初始候选框，经过阈值过滤和第一级子网络中边框回归后，得到第一级子网络输出的第一阶段候选框，将第一阶段候选框输入第二级子网络中经过边框回归，阈值过滤，得到第二级子网络输出的第二阶段候选框，将第二阶段候选框输入第三级子网络中经过边框回归，阈值过滤，得到第三级子网络输出的第三阶段候选框等等。通过级联深度学习算法的设计形式使得后一次级的回归模型能够在前一级的检测基础上进一步选择和调整，从而获取更高准确率的目标候选框。
再次参阅图3，以已训练的数据标注模型对车辆进行检测和识别为例，提取网络目的是将初始提取的候选框利用设定的较低的阈值过滤后作为输入，通过检测子网络对筛选的候选框进行回归从而获取尽可能多的相对提取网络更为准确的车辆候选框；然后再利用阈值α过滤后送入第二阶段的子网络进行进一步选择和调整，从而获取更高准确率的车辆候选框；同时通过边框回归过程中的损失函数矫正上一次检测中一部分相对不准确的候选框，整个回归过程中通过计算标注样本框与预测框之间的偏差值，不断矫正候选框直到保留的候选框的偏差量尽可能的最小，将此预测框就为矫正后的候选框；再利用较高的阈值γ筛选出较为准确的部分，以此类推，每一次回归都会通过边框回归的损失函数矫正上一级的候选框，并设置高于上一级的阈值对矫正后候选框进行过滤，直至筛选出最后阶段的候选框作为自动化标注的结果。
在本实施例中，对每个所述初始候选框与所述真实标记框计算交并比，在交并比大于第一阈值的情况下，保留所述初始候选框。
具体地，GDIoU的计算公式包括：
Figure DEST_PATH_IMAGE002
其中P为预测的候选框、G为真实的标注框、H为P和G的最小外接矩形框，P∩G表示两个框的交集面积，P∪G表示两个框的并集面积，D（PC,GC）表示P框的中心点到G框中心点的距离，DH表示H框的对角线的距离。
在本实施例中采用了新型的GDIoU来计算两个框的交并比，使得筛选的候选框更加地准确有效。
在本实施例中采用了新型的GDIoU来计算两个框的交并比，使得筛选的候选框更加地准确有效。
此外，本实施例中提取网络采用DenseNet主干网络的架构，在此基础上将传统的Relu激活函数改换为swish激活函数，通过swish激活函数有助于防止训练期间梯度消失并导致饱和，同时swish函数具有很强的正则化，使得面对较大的负输入时，神经元仍会正常学习。在此基础上还采用soft-pooling操作替代传统的最大池化操作(max pooling)，通过学习的权值对图像信息进行指数加权求和的方式保留了更多的特征信息。另外，在模型中通多个阶段对不同GDIoU阈值的利用进行级联筛选候选框，显著提升了目标检测与识别的性能，提高了图像算法自动化标注的准确率。
在本实施例中，为了进一步提高模型自动化标注的准确度，还可以借助图像处理技术进行人工复核标注，从而起到对自动化标注结果的矫正作用，以得到高质量的标注结果。
具体地，人工复核包括：借助如上述实施例提供的边缘检测算法，通过获取模型自动化标注得到的每个目标框，对每个目标框内的目标边缘位置进行提取，根据所述目标边缘位置调整每个所述目标框，得到第一已标注数据集。
在其中一些实施例中，所述方法还包括：对所述最终目标框内的图像执行先膨胀后腐蚀的形态学处理，去除所述最终目标框内的噪声数据点，得到标注样本集。
在本实施例中，进一步采用形态学方法对最终目标框内的图像进行处理，需要说明的是，本实施例提供的形态学处理可以分别在人工标注以及人工复核过程中使用，通过对目标框内的图像进行膨胀与腐蚀起到消除图像噪声的作用。
在其中一个实施例中，基于所述第一已标注数据集、第二已标注数据集对所述数据标注模型进行训练。
在本实施例中，第一已标注数据集指的是模型输出的粗略的标注结果以及人工对模型输出结果复核后的高质量标注结果，第二已标注数据集指的是借助边缘检测以及形态学处理方法进行人工标注得到的人工标注结果，通过不断地将上述标注结果作为输入对模型进行训练后，能够提高模型的标注质量。
具体地，参考图8，本申请实施例还提出了一种数据标注模型训练方法，所述方法包括以下四个步骤，
步骤S801、获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；
步骤S802、判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；
步骤S803、若是，通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；
步骤S804、若否，获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框的边缘位置，根据所述边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集；
步骤S805、基于所述第一已标注数据集、所述第二已标注数据集对标注类别对应的所述数据标注模型进行训练。
在本申请实施例中提出了一种改进的数据标注模型，为了对数据标注模型进行训练，使其更准确地识别出所需标注类别的目标，需要获取足够多标注准确的训练集，因此训练集通过图像技术辅助人工标注以及自动化标注相结合的方式获得，基于模型标注结果集以及人工标注结果集对自动化标注的模型进行不断迭代，从而提高数据标注模型自动化标注的准确率。
综上，本申请实施例一提出了一种数据标注方法以及基于该方法的数据标注模型训练方法，在数据标注过程中通过人工标注和自动化标注相结合的方式提高了标注效率，并且对自动化标注的模型结构进行改进，以提高自动化标注的准确率。此外，基于模型标注结果集以及人工标注结果集对自动化标注的模型进行不断迭代，进一步提高了模型自动化标注的准确率。
实施例二
基于相同的构思，参考图9，本申请还提出了一种数据标注装置，包括：
获取模块901，用于获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；
判断模块902，用于判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；
第一标注模块903，用于通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；
第二标注模块904，用于获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框内的目标边缘位置，根据所述目标边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集。
实施例三
本实施例还提供了一种电子装置，参考图10，包括存储器1004和处理器1002，该存储器1004中存储有计算机程序，该处理器1002被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地，上述处理器1002可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器1004可以包括用于数据或指令的大容量存储器1004。举例来说而非限制，存储器1004可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器1004可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器1004可在数据处理装置的内部或外部。在特定实施例中，存储器1004是非易失性（Non-Volatile）存储器。在特定实施例中，存储器1004包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器1004（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。
存储器1004可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器1002所执行的可能的计算机程序指令。
处理器1002通过读取并执行存储器1004中存储的计算机程序指令，以实现上述实施例中的任意一种数据标注方法。
可选地，上述电子装置还可以包括传输设备1006以及输入输出设备1008，其中，该传输设备1006和上述处理器1002连接，该输入输出设备1008和上述处理器1002连接。
传输设备1006可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备1006可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
输入输出设备1008用于输入或输出信息。在本实施例中，输入的信息可以是待标注图像集、训练任务等，输出的信息可以是待标注数据集的标注进展，第一已标注数据集、第二已标注数据集、模型输出的结果：[x1,y1,x2,y2,cls]，其中（x1,x2）表示该图像中标注框的左上角点坐标，（x1,x2）表示该图像中标注框的右下角点坐标，cls表示标注目标的类别等。
可选地，在本实施例中，上述处理器1002可以被设置为通过计算机程序执行以下步骤：
步骤S101，获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别。
步骤S102，判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型。
步骤S103，若是，通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集。
步骤S104，若否，获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框内的目标边缘位置，根据所述目标边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例一，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的数据标注方法以及数据标注模型训练方法。
实施例四
基于相同的构思，本申请实施例还提供了一种数据标注模型训练装置，如图11所示，所述装置包括：
获取模块1101，用于获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；
判断模块1102，用于判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；
第一标注模块1103，用于通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；
第二标注模块1104，用于获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框的边缘位置，根据所述边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集；
训练模块1105，用于基于所述第一已标注数据集、所述第二已标注数据集对标注类别对应的所述数据标注模型进行训练。
实施例五
基于相同的构思，本申请实施例还提供了一种标注训练管理平台，包括：标注管理模块以及训练管理模块，其中，所述标注管理模块用于：导入待标注数据集，根据训练任务设置所述待标注数据集的目标类型；可视化所述待标注数据集的基本信息及标注进展；训练管理模块用于：新建训练任务，基于所述训练任务对所述待标注数据集进行人工标注或者自动化标注或者人工复核；将所述人工标注以及所述人工复核得到的标注样本输入数据标注模型中对模型进行训练，根据训练得到的所述数据标注模型对所述待标注数据集进行自动化标注。
在本实施例中，所述训练任务包括：视频标注任务、图像标注任务、文本分类任务的至少一种。本实施例所涉及的标注平台以及使用的自动化标注算法整体流程框架不仅适用于视频和图像的标注任务，还可以拓展应用于文本分类领域，在具体流程中只需要将无监督学习算法和图像自动标注算法更换为文本分析相关的无监督算法和优秀的深度学习文本分析算法，即可对文本语料数据利用无监督学习的文本算法进行初始的标注工作以及标注平台自动更新迭代文本分析的深度学习标注模型，实现文本数据的自动化标注任务。
如图12所示，标注训练平台主要有标注管理和训练管理等功能。
标注管理的子功能分为新建数据集、查看数据集、标注数据集等。在新建数据集中，用户创建数据集项目时需选择相应的数据集类型，导入待标注的数据集，并根据训练任务设置该数据集的待标注的目标类型，新建完成可查看数据集的详情。在查看数据集中，用户可查看该数据集的基本信息及标注进展，包括数据集的总数量、标注完成数量、未标注数量、标注人名称、标注人标注数量、已发布数量、未发布数量等信息。标注数据集又分为人工标注和自动化标注。人工标注指用户针对一张图片借助边缘检测、形态学腐蚀与膨胀图像处理技术将待标注的目标框出，标注数据时支持多人同时在线标注，标注完成的数据发布后即可用于模型的训练。自动化标注指用户针对该数据集，选择已训练完成的数据标注模型进行自动化标注。初始时不存在待标注目标的图像自动标注模型，因此无法进行自动化标注，此时需要人工标注少量数据集用于图像自动标注模型训练得到初始模型。
训练管理的功能分为新建训练任务，查看训练进展。在新建训练任务中用户选择需要训练且为已发布的数据集，并配置相关的训练参数和训练算法，其中训练参数包括训练次数、训练集数量、测试集数量等，训练算法为实施例一所述的采用级联的模型算法，创建完成任务后即可开始训练。在查看训练进展中可查看当前训练完成状态，以及训练结果的正确率和召回率，当训练完成后可将数据标注模型发布。此时在标注管理中用户可利用发布的数据标注模型对未标注的数据进行自动化标注，用户再借助边缘检测、形态学腐蚀与膨胀图像处理技术对自动化标注后的结果进行人工复核。用户将复核后的数据发布用于数据标注模型训练，将得到的模型再次用于自动标注，不断重复以上步骤得到高质量的模型，减少人工标注及复核，实现自动化标注。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (17)

1.一种数据标注方法，其特征在于，所述方法包括：
获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；
判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；
若是，通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；
若否，获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框内的目标边缘位置，根据所述目标边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集。
2.根据权利要求1所述的数据标注方法，其特征在于，所述数据标注模型包括：提取网络以及多个级联的子网络；“通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集”包括：
将所述待标注图像输入所述提取网络中提取出每个待标注目标对应的多个初始候选框，基于预置的每个待标注目标对应的真实标记框以及第一阈值对所有初始候选框进行筛选，将筛选得到的每个初始候选框输入所述多个级联的子网络中，得到所述多个级联的子网络输出的第一已标注数据集。
3.根据权利要求1所述的数据标注方法，其特征在于，所述方法还包括：
对所述数据标注模型输出的每个目标框内的目标边缘位置进行提取，根据所述目标边缘位置调整每个所述目标框，得到第一已标注数据集。
4.根据权利要求1或3任一所述的数据标注方法，其特征在于，所述方法还包括：
对第一已标注数据集或第二已标注数据集中的每个目标框内的图像执行先膨胀后腐蚀的形态学处理，去除所述目标框内的噪声数据点，得到标注样本集。
5.根据权利要求2所述的数据标注方法，其特征在于，“基于预置的每个待标注目标对应的真实标记框以及第一阈值对所有初始候选框进行筛选”包括：
对每个所述初始候选框与所述真实标记框计算交并比，在所述交并比大于第一阈值的情况下，保留所述初始候选框。
6.根据权利要求1所述的数据标注方法，其特征在于，所述方法包括：在所述级联的子网络中对输入目标框进行回归，根据预设阈值对回归得到的候选框进行筛选，将当前子网络的筛选结果作为下一级的子网络的所述输入目标框。
7.一种数据标注模型训练方法，其特征在于，所述方法包括：
获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；
判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；
若是，通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；
若否，获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框的边缘位置，根据所述边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集；
基于所述第一已标注数据集、所述第二已标注数据集对标注类别对应的所述数据标注模型进行训练。
8.根据权利要求7所述的数据标注模型训练方法，其特征在于，所述数据标注模型包括：提取网络以及多个级联的子网络；“通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集”包括：
将所述待标注图像输入所述提取网络中提取出每个待标注目标对应的多个初始候选框，基于预置的每个待标注目标对应的真实标记框以及第一阈值对所有初始候选框进行筛选，将筛选得到的每个初始候选框输入所述多个级联的子网络中，得到所述多个级联的子网络输出的第一已标注数据集。
9.根据权利要求7所述的数据标注模型训练方法，其特征在于，所述方法还包括：
对所述数据标注模型输出的每个目标框内的目标边缘位置进行提取，根据所述目标边缘位置调整每个所述目标框，得到第一已标注数据集。
10.根据权利要求8或9任一项所述的数据标注模型训练方法，其特征在于，所述方法还包括：
对第一已标注数据集或第二已标注数据集中的每个目标框内的图像执行先膨胀后腐蚀的形态学处理，去除所述目标框内的噪声数据点，得到标注样本集。
11.根据权利要求8所述的数据标注模型训练方法，其特征在于，“基于预置的每个待标注目标对应的真实标记框以及第一阈值对所有初始候选框进行筛选”包括：
对每个所述初始候选框与所述真实标记框计算交并比，在所述交并比大于第一阈值的情况下，保留所述初始候选框。
12.根据权利要求7所述的数据标注模型训练方法，其特征在于，所述方法包括：在所述级联的子网络中对输入目标框进行回归，根据预设阈值对回归得到的候选框进行筛选，将当前子网络的筛选结果作为下一级的子网络的所述输入目标框。
13.一种数据标注装置，其特征在于，包括：
获取模块，用于获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；
判断模块，用于判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；
第一标注模块，用于通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；
第二标注模块，用于获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框内的目标边缘位置，根据所述目标边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集。
14.一种数据标注模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取待标注图像集，确定每一所述待标注图像的待标注目标的标注类别；
判断模块，用于判断每一所述待标注图像的待标注目标的标注类别是否存在对应的数据标注模型；
第一标注模块，用于通过所述数据标注模型对所述待标注图像进行目标标注，得到第一已标注数据集；
第二标注模块，用于获取所述待标注图像中待标注目标的初始目标框，检测所述至少一个待标注目标的初始目标框的边缘位置，根据所述边缘位置调整所述至少一个待标注目标的初始目标框，得到第二已标注数据集；
训练模块，用于基于所述第一已标注数据集、所述第二已标注数据集对标注类别对应的所述数据标注模型进行训练。
15.一种计算机程序产品，其特征在于，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述代码软件部分用于执行根据权利要求1至6任一所述的数据标注方法或者根据权利要求7至12任一所述的一种数据标注模型训练方法。
16.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行根据权利要求1至6任一所述的数据标注方法或者根据权利要求7至12任一所述的一种数据标注模型训练方法。
17.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为由处理器运行时执行根据权利要求1至6任一所述的数据标注方法或者根据权利要求7至12任一所述的一种数据标注模型训练方法。
CN202110889756.6A 2021-08-04 2021-08-04 数据标注方法、装置以及数据标注模型训练方法、装置 Active CN113505261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110889756.6A CN113505261B (zh) 2021-08-04 2021-08-04 数据标注方法、装置以及数据标注模型训练方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110889756.6A CN113505261B (zh) 2021-08-04 2021-08-04 数据标注方法、装置以及数据标注模型训练方法、装置

Publications (2)

Publication Number Publication Date
CN113505261A true CN113505261A (zh) 2021-10-15
CN113505261B CN113505261B (zh) 2024-02-02

Family

ID=78014974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110889756.6A Active CN113505261B (zh) 2021-08-04 2021-08-04 数据标注方法、装置以及数据标注模型训练方法、装置

Country Status (1)

Country Link
CN (1) CN113505261B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241384A (zh) * 2021-12-20 2022-03-25 北京安捷智合科技有限公司 连续帧图片标注方法、电子设备及存储介质
CN114519404A (zh) * 2022-04-20 2022-05-20 四川万网鑫成信息科技有限公司 一种图像样本分类标注方法、装置、设备、存储介质
CN114637877A (zh) * 2022-03-04 2022-06-17 共达地创新技术(深圳)有限公司 标注方法、电子设备及存储介质
CN114663940A (zh) * 2022-03-17 2022-06-24 北京玉盛元科技有限公司 视频处理方法、装置和设备
CN118485046A (zh) * 2024-07-08 2024-08-13 北京中科闻歌科技股份有限公司 标注数据处理方法和装置、电子设备、计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866476A (zh) * 2019-11-06 2020-03-06 南京信息职业技术学院 一种基于自动标注和迁移学习的密集堆垛目标检测方法
WO2021051918A1 (zh) * 2019-09-17 2021-03-25 华为技术有限公司 提供ai模型的方法、ai平台、计算设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051918A1 (zh) * 2019-09-17 2021-03-25 华为技术有限公司 提供ai模型的方法、ai平台、计算设备及存储介质
CN110866476A (zh) * 2019-11-06 2020-03-06 南京信息职业技术学院 一种基于自动标注和迁移学习的密集堆垛目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢禹;李玉俊;董文生;: "基于SSD神经网络的图像自动标注及应用研究", 信息技术与标准化, no. 04 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241384A (zh) * 2021-12-20 2022-03-25 北京安捷智合科技有限公司 连续帧图片标注方法、电子设备及存储介质
CN114241384B (zh) * 2021-12-20 2024-01-19 北京安捷智合科技有限公司 连续帧图片标注方法、电子设备及存储介质
CN114637877A (zh) * 2022-03-04 2022-06-17 共达地创新技术(深圳)有限公司 标注方法、电子设备及存储介质
CN114663940A (zh) * 2022-03-17 2022-06-24 北京玉盛元科技有限公司 视频处理方法、装置和设备
CN114519404A (zh) * 2022-04-20 2022-05-20 四川万网鑫成信息科技有限公司 一种图像样本分类标注方法、装置、设备、存储介质
CN114519404B (zh) * 2022-04-20 2022-07-12 四川万网鑫成信息科技有限公司 一种图像样本分类标注方法、装置、设备、存储介质
CN118485046A (zh) * 2024-07-08 2024-08-13 北京中科闻歌科技股份有限公司 标注数据处理方法和装置、电子设备、计算机存储介质
CN118485046B (zh) * 2024-07-08 2024-09-17 北京中科闻歌科技股份有限公司 标注数据处理方法和装置、电子设备、计算机存储介质

Also Published As

Publication number Publication date
CN113505261B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN113505261B (zh) 数据标注方法、装置以及数据标注模型训练方法、装置
CN109741332B (zh) 一种人机协同的图像分割与标注方法
CN111709420B (zh) 文本检测方法、电子设备及计算机可读介质
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
CN113689445B (zh) 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法
JP2008217706A (ja) ラベリング装置、ラベリング方法及びプログラム
CN111583180B (zh) 一种图像的篡改识别方法、装置、计算机设备及存储介质
CN114926726B (zh) 基于多任务网络的无人船感知方法及相关设备
CN108629286A (zh) 一种基于主观感知显著模型的遥感机场目标检测方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN113706472B (zh) 公路路面病害检测方法、装置、设备及存储介质
JP2013016168A (ja) 画像におけるテキスト領域を位置決めする方法及び装置
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN113240623A (zh) 一种路面病害检测方法及装置
CN112037180B (zh) 染色体分割方法及装置
CN116342973A (zh) 一种基于半监督学习的数据标注方法和系统
CN112132892A (zh) 目标位置标注方法、装置及设备
CN116958968A (zh) 变化检测图像的自动化标注方法以及系统
CN115797955A (zh) 基于单元格约束的表格结构识别方法及其应用
US20240020944A1 (en) Systems and methods for sampling and augmenting unbalanced datasets
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
CN111753723B (zh) 一种基于密度校准的指纹识别方法及装置
CN112465835B (zh) 用于翡翠图像分割的方法及模型训练方法
CN114330542A (zh) 一种基于目标检测的样本挖掘方法、装置及存储介质
CN111815689A (zh) 一种半自动化标注方法、设备、介质及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant