CN113344079A - 一种图像标签半自动标注方法、系统、终端及介质 - Google Patents
一种图像标签半自动标注方法、系统、终端及介质 Download PDFInfo
- Publication number
- CN113344079A CN113344079A CN202110651618.4A CN202110651618A CN113344079A CN 113344079 A CN113344079 A CN 113344079A CN 202110651618 A CN202110651618 A CN 202110651618A CN 113344079 A CN113344079 A CN 113344079A
- Authority
- CN
- China
- Prior art keywords
- learning
- sample
- image
- samples
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000012360 testing method Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000015654 memory Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 239000006002 Pepper Substances 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 238000011160 research Methods 0.000 description 7
- 239000007788 liquid Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种图像标签半自动标注方法及系统，包括：获取多张图像样本，对其中部分图像样本进行属性标注，得到一一对应的图像内容及其标签，生成学习样本；基于学习样本，选择网络进行训练，得到学习模型；基于学习模型，将学习样本和预先标定好的测试样本作为学习模块的输入，输出得到相应的学习结果；将学习结果反馈至学习模型，对学习模型进行优化。同时提供了一种相应的终端及介质。本发明对于给定的图像样本，可以得到最终的标定结果，同时加入了人工干预的过程。整个过程不需要耗费太多的人力，并且没有用到大型网络，保证了较短的运行时间。本发明可以满足现阶段大多数数据集的标注工作，包括分类数据集、检测数据集、识别数据集等。
Description
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种图像标签半自动标注方法、系统、终端及介质。
背景技术
机器学习和模式识别算法由于其在目标分类、目标检测、目标识别、语音识别等多领域的性能，在现阶段达到一枝独秀的优势，已被广泛应用于这些领域中，从算法的本体创新性研究，到算法在应用过程中的性能提升，包括算法对于特定任务的精度、算法的运行时间等，科研人员和各大公司都致力于对机器学习和模式识别算法的探究。
在机器学习和模式识别领域中，其中的有监督学习方式研究和应用最为广泛。通俗来讲，有监督学习方式是指，在探究算法的过程中，除了研究算法如何工作外，还需要“样本”来验证算法的准确性和运行速度，此处的样本除了给定样本的本体外，还需要给定样本的所属属性，例如：在飞机图像分类领域，样本的本体是指含有飞机的图像，属性是指飞机类别。有监督学习方式现阶段在各领域的应用中占有举足轻重的地位，例如：人脸识别、目标检测、语音识别等领域，而有监督样本的可靠性对于算法的准确度性有着决定性作用。因此，在进行算法的研究和应用中，必须保证样本及其属性的准确性标注。
现阶段，在标注样本的所属属性时，基本上都是依赖人工标注，因为人工标注可以保证标注的准确性。但是，人工标注存在如下不足之处：
(1)耗费人力和体力，虽然现在很多研究机构和公司都会设有样本标注人员，但在样本数量庞大的情况下，往往需要大量的人力来分配样本，并且需要很长的时间才能完成标注，这大大提升了各公司和研究机构的研发成本；
(2)歧义性大，在样本标注时，存在着一种情况，不同人对同一属性的认知和认定可能不同，例如在对颜色样本标注时，不同人对同一种颜色的标定结果可能不同，导致使用标定的样本去训练模型时，模型的泛化能力差。
因此，亟需一种样本属性(即标签)的自动化标注方式，一方面可以解放更多的劳动力，使得科研机构和公司可以将更多的精力和财力放在算法研发本身。另一方面，可以统一样本的属性，避免歧义。
经过检索发现：
1、授权公告号为CN111292839B、授权公告日为2020年10月13日的中国发明专利《图像处理方法、装置、计算机设备和存储介质》，获取待处理的医学影像以及医学影像相对应的人工标注结果；调用预标注模型对医学影像进行标注，得到医学影像相应的机器标注结果；预标注模型通过医学影像样本和相应的训练标签训练得到；训练标签为医学影像样本的显式特征标注结果；当人工标注结果中的显式特征标注结果与机器标注结果不一致时，则判定人工标注结果为错误标注结果，并根据错误标注结果更新人工标注结果所属标注者的标注水平量化结果；当人工标注结果所属标注者的标注水平量化结果满足恶意标注判定条件时，则将人工标注结果识别为恶意标注结果。该方法涉及了一种半自动的影像标注技术，但是，该方法仍然存在如下问题：
(1)该种方法只适用于医学影像分类这一场景，方法的泛化能力差；
(2)该方法过于依赖网络的输出结果，结果的可靠性低。
2、公开号为CN111739057A、公开日为2020年10月2日的中国发明专利申请《一种基于U-net卷积神经网络模型的自由液面识别和提取方法》，首先，对液面图像进行处理并人工标注自由液面，构成带有已分割完成的液面图像的数据集，将数据集分为训练集，验证集和测试集三个部分。其次，搭建U-net卷积神经网络模型；在U-net卷积神经网络中导入训练集，对图像进行特征学习，对自由液面进行预测。再次，使用验证集对模型进行验证并调整模型，当损失函数不在下降时保存最优模型。最后，将训练好的U-net卷积神经网络模型进行部署，用于对测试集中的液面图像进行自动检测并对模型进行评估。该方法涉及了一种半自动的图像标注技术，在该技术中，将U-net卷积神经网络模型中此类图片分割错误部分人工修复后，将其与原始图像构成数据集，再与原始训练集重新合并为新的训练集，直到模型的输出结果满足需要时。但是在此过程，该技术一方面只考虑到分错的样本，没有考虑到难样本，导致模型容易过拟合；另一方面，该技术并没有说明“输出结果满足需要时”的定量说明，导致该技术在实用阶段产生“何时结束”的问题。
综上所述，包括上述专利文献在内的现有技术，仍然存在上述问题，无法真正满足人们的标注需求。目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种图像标签半自动标注方法、系统、终端及介质。
根据本发明的一个方面，提供了一种图像标签半自动标注方法，包括：
获取多张图像样本，对其中部分图像样本进行属性的人工标注，得到一一对应的图像内容及其标签，生成学习样本；
基于所述学习样本，选择网络进行训练，得到学习模型；
基于所述学习模型，将所述学习样本和预先标定好的测试样本作为所述学习模块的输入，输出得到相应的学习结果；
将所述学习结果反馈至所述学习模型，对所述学习模型进行优化。
优选地，所述对其中部分图像样本进行属性的人工标注，得到一一对应的图像内容及其标签，生成学习样本，包括：
针对需要标注的图像样本，确定每一张图像所需标注的属性；
在每一个属性下，随机抽取数量相等的图像；
对抽取的每一张图像进行属性的人工标注，形成对应的标签，得到学习样本。
优选地，所述属性包括：类别。
优选地，所述生成学习样本的过程中，通过专家系统，完成对每一张图像的人工标注。
优选地，所述生成学习样本的过程中，还包括：对随机抽取的图像进行噪声图像剔除。
优选地，所述基于所述学习样本，选择网络进行训练，得到学习模型，包括：
对所述学习样本进行数据增强；
根据学习目的以及属性数量，选择需要训练的网络；
利用数据增强后的学习样本，对所述网络进行训练；
当网络的损失变化曲线平缓的从大到小缓慢变化，在达到一个极小值点后处于稳点阶段，终止训练过程，得到学习模型。
优选地，所述数据增强包括如下任意一种或任意多种：
-JPEG压缩；
-亮度对比度增强；
-Gamma亮度增强；
-高斯模糊；
-运动模糊；
-添加椒盐噪声；
-添加高斯噪声。
优选地，所述根据学习目的以及属性数量，选择需要训练的网络，包括：
-当以目标分类作为学习目的时：
属性数量小于设定阈值a，选择减枝、减通道的ResNet18网络；
属性数量大于等于设定阈值a、小于设定阈值b，选择减通道的ResNet18网络；
属性的数量大于等于设定阈值b，选择ResNet18网络；
-当以目标检测作为学习目的时：
属性数量小于设定阈值c，选择减通道的Yolov3网络；
属性数量大于等于设定阈值c，选择Yolov3网络。
优选地，设定阈值a为50，设定阈值b为1000，设定阈值c为500。
优选地，所述基于所述学习模型，将所述学习样本和预先标定好的测试样本作为所述学习模块的输入，输出得到相应的学习结果，包括：
随机选取一部分已进行属性标注的图像样本作为预先标定好的测试样本，将所述测试样本依次送入学习模型中进行测试，得到每个测试样本对应的学习结果，作为测试样本结果；
将所述学习样本依次送入学习模型中进行测试，得到每个学习样本对应的学习结果，作为学习样本结果。
优选地，所述将所述学习结果反馈至所述学习模型，对所述学习模型进行优化，包括：
统计每个样本对于学习模型的得分；
根据设定的得分阈值，抽取所述得分位于得分阈值内的样本，作为难样本；
对所述难样本进行数据增强，并补充到所述学习样本中，对所述学习模型进行重新训练，对所述学习模型进行优化。
优选地，所述统计每个样本对于学习模型的得分，包括：
对于学习模型，在统计每一个样本对于学习模型得分的过程中，去掉损失层，给定样本，学习模型进行前向传播，将损失层前一层的输出作为该样本的得分。
优选地，所述根据设定的得分阈值，抽取所述得分位于得分阈值内的样本，作为难样本，包括：
将所述得分接近于1的样本作为正样本，将所述得分接近于0的样本作为负样本；
设定得分阈值范围为0.3～0.7，则，所述得分大于等于0.3、小于等于0.7之间的样本作为难样本。
优选地，所述对所述学习模型进行优化的过程中，还包括：
将所述得分通过直方图展示；其中，所述直方图的横轴分数范围为0到1，每一个子格的分数为0.1，所述直方图的纵轴为所述子格分数对应的样本数目。
优选地，所述对所述学习模型进行优化的过程中，还包括：
通过专家系统，对所述难样本的标注属性进行核对，矫正标注错误的学习样本。
根据本发明的另一个方面，提供了一种图像标签半自动标注系统，包括：
学习样本选取模块，该模块获取多张图像样本，对其中部分图像样本进行属性的人工标注，得到一一对应的图像内容及其标签，生成学习样本；
学习模型模块，该模块基于所述学习样本，选择网络进行训练，得到学习模型；
学习模型反馈模块，该模块基于所述学习模型，将所述学习样本和预先标定好的测试样本作为所述学习模块的输入，输出得到相应的学习结果；将所述学习结果反馈至所述学习模型，对所述学习模型进行优化。
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一项所述的方法。
根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一项所述的方法。
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
本发明提供的图像标签半自动标注方法、系统、终端及介质，是一套兼具准确率和速度的标签半自动标注技术，该技术能够根据满足用户大部分的标注需求。
本发明提供的图像标签半自动标注方法、系统、终端及介质，在给定所要标注的类别标签列表以及每个类别同等数量的样本下，可以通过这些样本学习到在给定类别下样本的特征，完成学习过程；学习完成后，进而实现大量的未标注样本的标注工作，完成标注过程。
本发明提供的图像标签半自动标注方法、系统、终端及介质，无论是在学习过程阶段，还是在标注过程阶段，执行时间都很短，能够在最短的时间下实现和人工标注同样的标注结果。
本发明提供的图像标签半自动标注方法、系统、终端及介质，对于标注结果的歧义性小，对于每个类别，均基于一种准则，减少了系统的标注误差。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中提供的图像标签半自动标注方法流程图。
图2为本发明一优选实施例中提供的图像标签半自动标注方法流程图。
图3为本发明一实施例中提供的图像标签半自动标注系统组成模块示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
图1为本发明一实施例提供的图像标签半自动标注方法流程图。
如图1所示，本实施例提供的图像标签半自动标注方法，可以包括如下步骤：
S100，获取多张图像样本，对其中部分图像样本进行属性的人工标注，得到一一对应的图像内容及其标签，生成学习样本；
S200，基于学习样本，选择网络进行训练，得到学习模型；
S300，基于学习模型，将学习样本和预先标定好的测试样本作为学习模块的输入，输出得到进行了相应的学习结果；
S400，将学习结果反馈至学习模型，对学习模型进行优化。
在本实施例的S100中，作为一优选实施例，对其中部分图像样本进行属性的人工标注，得到一一对应的图像内容及其标签，生成学习样本，可以包括如下步骤：
S101，针对需要标注的图像样本，确定每一张图像所需标注的属性；
S102，在每一个属性下，随机抽取数量相等的图像；
S103，对抽取的每一张图像进行属性的人工标注，形成对应的标签，得到学习样本。
进一步地，在一具体应用实例中，属性包括：类别。
在该实施例的S102中，作为一优选实施例，还包括：当随机抽取的图像中包含多张相似图像时，保留其中一张图像作为待标注的图像。
在该实施例的S102中，作为一优选实施例，还包括：对随机抽取的图像进行噪声图像剔除，即，剔除图像内容与其他所有给定类别之间不存在任何关联关系的图像。
在该实施例的S103中，作为一具体应用实例，对抽取的每一张图像进行属性的人工标注，可以通过专家系统对图像进行标注。
在该实施例的S103中，作为一具体应用实例，对抽取的每一张图像进行属性的人工标注，还可以采用如下方式：
基于先验知识，采用人工标注的方式对图像进行标注。
进一步地，在一具体应用实例中，采用多人同时标注的方式，对同一张图像进行多人同时标注，然后遵从少数服从多数的原则，将投票后的属性作为图像的最终属性。
在该实施例的S200中，作为一优选实施例，基于学习样本，选择网络进行训练，得到学习模型，可以包括如下步骤：
S201，对学习样本进行数据增强；
S202，根据学习目的以及属性数量，选择需要训练的网络；
S303，利用数据增强后的学习样本，对网络进行训练；
S304，当网络的损失变化曲线平缓的从大到小缓慢变化，在达到一个极小值点后处于稳点阶段，终止训练过程，得到学习模型。
在该实施例的S201中，作为一优选实施例，数据增强包括如下任意一种或任意多种：
-JPEG压缩；
-亮度对比度增强；
-Gamma亮度增强；
-高斯模糊；
-运动模糊；
-添加椒盐噪声；
-添加高斯噪声。
在该实施例的S202中，作为一优选实施例，根据学习目的以及属性数量，选择需要训练的网络，包括：
-当以目标分类作为学习目的时：
属性数量小于设定阈值a，选择减枝、减通道的ResNet18网络；
属性数量大于等于设定阈值a、小于设定阈值b，选择减通道的ResNet18网络；
属性的数量大于等于设定阈值b，选择ResNet18网络；
-当以目标检测作为学习目的时：
属性数量小于设定阈值c，选择减通道的Yolov3网络；
属性数量大于等于设定阈值c，选择Yolov3网络。
进一步地，在一具体应用实例中，设定阈值a为50，设定阈值b为1000，设定阈值c为500。
在该实施例的S300中，作为一优选实施例，基于学习模型，将学习样本和预先标定好的测试样本作为学习模块的输入，输出得到相应的学习结果，可以包括如下步骤：
S300a，随机选取一部分已进行属性标注的图像样本作为预先标定好的测试样本，将测试样本依次送入学习模型中进行测试，得到每个测试样本对应的学习结果，作为测试样本结果；
S300b，将学习样本依次送入学习模型中进行测试，得到每个学习样本对应的学习结果，作为学习样本结果。
在该实施例的S300中，步骤S300a和步骤S300b的执行顺序可调换。
在该实施例的S400中，作为一优选实施例，将学习结果反馈至学习模型，对学习模型进行优化，可以包括如下步骤：
S401，统计每个样本对于学习模型的得分；
S402，根据设定的得分阈值，抽取得分位于得分阈值内的样本，作为难样本；
S403，对难样本进行数据增强，并补充到学习样本中，对学习模型进行重新训练，对学习模型进行优化。
在该实施例的S401中，作为一优选实施例，统计每个样本对于学习模型的得分，可以包括如下步骤：
对于学习模型，在统计每一个样本对于学习模型得分的过程中，去掉损失层，给定样本，学习模型进行前向传播，将损失层前一层的输出作为该样本的得分。
在该实施例的S402中，作为一优选实施例，根据设定的得分阈值，抽取得分位于得分阈值内的样本，作为难样本，可以包括如下步骤：
S402a，将得分接近于1的样本作为正样本，将得分接近于0的样本作为负样本；
S402b，设定得分阈值范围为0.3～0.7，则，得分大于等于0.3、小于等于0.7之间的样本作为难样本。
在该实施例的S400中，作为一优选实施例，S401和S402之间，还可以包括如下步骤：
S404，将得分通过直方图展示；其中，直方图的横轴分数范围为0到1，每一个子格的分数为0.1，直方图的纵轴为子格分数对应的样本数目。
在该实施例S403中，作为一优选实施例，还可以包括如下步骤：
通过专家系统，对难样本的标注属性进行核对，矫正标注错误的样本。
图2为本发明一优选实施例中提供的图像标签半自动标注方法流程图。
如图2所示，该优选实施例提供的本发明一优选实施例中提供的图像标签半自动标注方法，主要分为三个阶段：学习样本选取阶段、学习阶段、反馈阶段。
首先对这三个阶段进行说明如下：
S1，学习样本选取阶段，通过人工标注的方式得到一部分学习样本，要求这部分学习样本的图像内容和其标签准确无误的一一对应；
S2，学习阶段，通过选取兼具准确性和速度的高性能网络，基于步骤S1得到的学习样本，训练网络，得到学习模型；
S3，反馈阶段，基于得到的学习模型，将学习样本和事先已经标定好的测试样本送入到模型中，得到学习结果；
S4，分析学习结果，将其反馈到学习模型中，优化学习模型。
在步骤S1和S3中，采用通过专家系统等人工标注的学习样本，即在整个方法中，引入了部分人工操作，因此该方法属于半自动标注技术，提高了全自动标注方法的准确性，同时，缩短了纯人工标注方法的工作时间。
下面对上述三个阶段详细描述如下。
一、学习样本选取阶段
在给定大量需要标注的图像样本后，先明确需要标注的类别(属性)，然后对于每种类别，随机抽取等量少数样本，即通过专家系统进行类似人工标注结合先验知识的形式，或通过人工标注结合先验知识的形式，对于每种类别选取等量少数的样本。在此过程中：
(1)为了减少误差，先剔除噪声样本，这些噪声样本体现在其图像内容与所有给定的类别之间不存在任何关联关系；
(2)为了减少歧义性，当采用人工标注结合先验知识的方式进行标注时，使用多个人(例如三个人)对这些数据进行同时标注，然后遵从少数服从多数的原则，将投票后的类别作为每个样本的最终类别；
(3)为了增强学习模型的泛化能力，对于每类选取的样本，若两张样本的相似度过高，则舍弃其中一张样本。
在本发明部分实施例中，对于两张样本的相似度，可以通过专家系统进行衡量。
通过上述学习样本选取阶段后，将得到每个类别下的等量样本，这些样本称之为学习样本。
二、学习阶段
在得到上述学习样本后，一方面为了在不耗费人力的基础上扩充学习样本数据集，另一方面为了提升模型的泛化能力，进行数据增强，包含：JPEG压缩、亮度对比度增强、Gamma亮度增强、高斯模糊、运动模糊、添加椒盐噪声、添加高斯噪声。
这些数据增强的方式及引入的原因如下表1所示。
表1数据增强方式及引入原因
需要说明的是，这些数据增强都均在学习阶段中进行。在学习阶段，学习模型在加载数据的时候会完成数据增强操作，即在线数据增强。此过程将学习阶段和数据增强阶段放在一起执行，减少了两部分分开执行带来的额外存储空间的消耗，以及运行时间的消耗，减少了整个系统的复杂度和运行时间。
在使用数据增强后的学习样本训练模型时，对于目标分类问题，采用ResNet18网络，对于目标检测网络，采用yolov3网络。在本方法中，所要标注的类别数目和模型类型(学习目的)决定着使用哪种网络，其决定关系如下表2所示。
表2类别数目和网络的对应关系
值得注意的是，表2中的定量数字是通过大量的实践和经验得出的，使用者可根据自身情况进行调整。
至此，得到了选取的学习样本和网络，然后将学习样本送入网络中，结合学习样本的类别信息训练网络。在训练过程中，时刻关注网络的损失变化，直到损失变化到平稳阶段(即损失变化曲线平缓的从大到小缓慢变化)才终止训练过程。
三、反馈阶段
由于的最终任务时实现标签的自动标注，因此必须要保证训练的模型泛化能力强，准确率高。在训练完学习模型后，需要进行反馈。
3.1学习结果的分析
在训练完成后，观察训练的损失变化，若损失变化曲线不是平缓的从大到小缓慢变化，则说明选取的样本存在问题，可能的问题及解决方案如下：
(1)各类别样本数目严重不平衡，统计各类别的样本数目，保证各类别的样本数目保持平衡；
(2)对于每一类，其各样本之间的图像内容差距很大，应该将所有的学习样本过滤下，清除掉其中的噪声样本；
(3)样本的标签标注有误，应该将所有的学习样本及其标签检查一遍，保证其是一一对应的关系。
3.2学习模型的反馈
在得到学习模型后：
(1)随机选取一部分已标注属性的图像样本，将其当做测试样本，将这些测试样本依次送入网络中进行测试，得到每个样本对应的学习结果，称为测试样本结果；
(2)将选取的学习样本依次送入网络中进行测试，得到每个样本对应的学习结果，称为学习样本结果。
一般情况下，训练完成后的学习模型在训练集(学习样本)上的测试准确率都很高，接近100％，即学习样本结果接近100％，在学习样本标注无误的情况下，测试样本的结果一般也很高，无论是学习样本结果，还是测试样本结果：
(1)统计每个样本对于网络的得分；
(2)将所有结果的得分通过直方图体现，直方图的横轴范围为0到1，每个格子的范围是0.1，纵轴是该格子分数对应的样本数目；
(3)理论上所有正样本的得分都应该接近于1，负样本的分数都应该接近于0，因此将分数范围在0.3到0.7之间的样本称之为难样本，抽取学习样本和测试样本中的难样本；
(4)将难样本进行数据增强和数据扩充后，放入学习样本中，然后使用网络重新训练模型。
反馈体现在将学习结果反馈至学习模型中，学习模型结合学习样本和反馈结果重新训练，得到优化后的学习模型。
通过上述过程，可以得到最终训练好的用来标注未知标签数据的模型，将未知标签的数据依次送入训练好的学习模型中，可以得到最终的标注结果。
需要说明的是，在上述过程中，通过学习模型标注的样本标签并不能保证所有的结果都是正确的，需要人为的对所有样本进行核对一遍，矫正标错的样本。
本发明另一实施例提供了一种图像标签半自动标注系统，如图3所示，包括：学习样本选取模块、学习模型模块以及学习模块反馈模块；其中：
学习样本选取模块，该模块获取多张图像样本，对其中部分图像样本进行属性(类别)标注，得到一一对应的图像内容及其标签，生成学习样本；
学习模型模块，该模块基于学习样本，选择网络进行训练，得到学习模型；
学习模型反馈模块，该模块基于学习模型，将学习样本和预先标定好的测试样本作为学习模块的输入，输出得到相应的学习结果；将学习结果反馈至学习模型，对学习模型进行优化。
本发明第三个实施例提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行本发明上述实施例中任一项所述的方法。
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
本发明第四个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行本发明上述实施例中任一项所述的方法。
本发明上述实施例提供的图像标签半自动标注方法、系统、终端及介质，对于给定的图像样本，可以得到最终的标定结果，同时加入了人工干预的过程。整个过程不需要耗费太多的人力，并且没有用到大型网络，保证了较短的运行时间。本发明上述实施例提供的图像标签半自动标注方法、系统、终端及介质，可以满足现阶段大多数数据集的标注工作，包括分类数据集、检测数据集、识别数据集等。
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成，即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (13)
1.一种图像标签半自动标注方法，其特征在于，包括：
获取多张图像样本，对其中部分图像样本进行属性的人工标注，得到一一对应的图像内容及其标签，生成学习样本；
基于所述学习样本，选择网络进行训练，得到学习模型；
基于所述学习模型，将所述学习样本和预先标定好的测试样本作为所述学习模块的输入，输出得到相应的学习结果；
将所述学习结果反馈至所述学习模型，对所述学习模型进行优化。
2.根据权利要求1所述的图像标签半自动标注方法，其特征在于，所述对其中部分图像样本进行属性的人工标注，得到一一对应的图像内容及其标签，生成学习样本，包括：
针对需要标注的图像样本，确定每一张图像所需标注的属性；
在每一个属性下，随机抽取数量相等的图像；
对抽取的每一张图像进行属性的人工标注，形成对应的标签，得到学习样本。
3.根据权利要求2所述的图像标签半自动标注方法，其特征在于，所述生成学习样本的过程中，还包括如下任意一项或任意多项：
-所述属性包括：类别；
-通过专家系统，完成对每一张图像的人工标注；
-对随机抽取的图像进行噪声图像剔除。
4.根据权利要求1所述的图像标签半自动标注方法，其特征在于，所述基于所述学习样本，选择网络进行训练，得到学习模型，包括：
对所述学习样本进行数据增强；
根据学习目的以及属性数量，选择需要训练的网络；
利用数据增强后的学习样本，对所述网络进行训练；
当网络的损失变化曲线平缓的从大到小缓慢变化，在达到一个极小值点后处于稳点阶段，终止训练过程，得到学习模型。
5.根据权利要求4所述的图像标签半自动标注方法，其特征在于，所述数据增强包括如下任意一种或任意多种：
-JPEG压缩；
-亮度对比度增强；
-Gamma亮度增强；
-高斯模糊；
-运动模糊；
-添加椒盐噪声；
-添加高斯噪声；
所述根据学习目的以及属性数量，选择需要训练的网络，包括：
-当以目标分类作为学习目的时：
属性数量小于设定阈值a，选择减枝、减通道的ResNet18网络；
属性数量大于等于设定阈值a、小于设定阈值b，选择减通道的ResNet18网络；
属性的数量大于等于设定阈值b，选择ResNet18网络；
-当以目标检测作为学习目的时：
属性数量小于设定阈值c，选择减通道的Yolov3网络；
属性数量大于等于设定阈值c，选择Yolov3网络。
6.根据权利要求5所述的图像标签半自动标注方法，其特征在于，设定阈值a为50，设定阈值b为1000，设定阈值c为500。
7.根据权利要求1所述的图像标签半自动标注方法，其特征在于，所述基于所述学习模型，将所述学习样本和预先标定好的测试样本作为所述学习模块的输入，输出得到相应的学习结果，包括：
随机选取一部分已进行属性标注的图像样本作为预先标定好的测试样本，将所述测试样本依次送入学习模型中进行测试，得到每个测试样本对应的学习结果，作为测试样本结果；
将所述学习样本依次送入学习模型中进行测试，得到每个学习样本对应的学习结果，作为学习样本结果。
8.根据权利要求1所述的图像标签半自动标注方法，其特征在于，所述将所述学习结果反馈至所述学习模型，对所述学习模型进行优化，包括：
统计每个样本对于学习模型的得分；
根据设定的得分阈值，抽取所述得分位于得分阈值内的样本，作为难样本；
对所述难样本进行数据增强，并补充到所述学习样本中，对所述学习模型进行重新训练，对所述学习模型进行优化。
9.根据权利要求8所述的图像标签半自动标注方法，其特征在于，所述统计每个样本对于学习模型的得分，包括：
对于学习模型，在统计每一个样本对于学习模型得分的过程中，去掉损失层，给定样本，学习模型进行前向传播，将损失层前一层的输出作为该样本的得分；
所述根据设定的得分阈值，抽取所述得分位于得分阈值内的样本，作为难样本，包括：
将所述得分接近于1的样本作为正样本，将所述得分接近于0的样本作为负样本；
设定得分阈值范围为0.3～0.7，则，所述得分大于等于0.3、小于等于0.7之间的样本作为难样本。
10.根据权利要求8所述的图像标签半自动标注方法，其特征在于，所述对所述学习模型进行优化的过程中，还包括如下任意一项或任意多项：
-将所述得分通过直方图展示；其中，所述直方图的横轴分数范围为0到1，每一个子格的分数为0.1，所述直方图的纵轴为所述子格分数对应的样本数目；
-通过专家系统，对所述难样本的标注属性进行核对，矫正标注错误的学习样本。
11.一种图像标签半自动标注系统，其特征在于，包括：
学习样本选取模块，该模块获取多张图像样本，对其中部分图像样本进行属性的人工标注，得到一一对应的图像内容及其标签，生成学习样本；
学习模型模块，该模块基于所述学习样本，选择网络进行训练，得到学习模型；
学习模型反馈模块，该模块基于所述学习模型，将所述学习样本和预先标定好的测试样本作为所述学习模块的输入，输出得到相应的学习结果；将所述学习结果反馈至所述学习模型，对所述学习模型进行优化。
12.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-10中任一项所述的方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110651618.4A CN113344079B (zh) | 2021-06-11 | 2021-06-11 | 一种图像标签半自动标注方法、系统、终端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110651618.4A CN113344079B (zh) | 2021-06-11 | 2021-06-11 | 一种图像标签半自动标注方法、系统、终端及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113344079A true CN113344079A (zh) | 2021-09-03 |
| CN113344079B CN113344079B (zh) | 2024-05-14 |
Family
ID=77476593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110651618.4A Active CN113344079B (zh) | 2021-06-11 | 2021-06-11 | 一种图像标签半自动标注方法、系统、终端及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344079B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419399A (zh) * | 2022-03-22 | 2022-04-29 | 杭州利珀科技有限公司 | 机器视觉深度学习样本自动生成方法、计算机及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110909780A (zh) * | 2019-11-14 | 2020-03-24 | 腾讯科技（深圳）有限公司 | 一种图像识别模型训练和图像识别方法、装置及系统 |
| CN111539452A (zh) * | 2020-03-26 | 2020-08-14 | 深圳云天励飞技术有限公司 | 多任务属性的图像识别方法、装置、电子设备及存储介质 |
| CN112528960A (zh) * | 2020-12-29 | 2021-03-19 | 之江实验室 | 一种基于人体姿态估计和图像分类的吸烟行为检测方法 |
| US10963754B1 (en) * | 2018-09-27 | 2021-03-30 | Amazon Technologies, Inc. | Prototypical network algorithms for few-shot learning |
-
2021
- 2021-06-11 CN CN202110651618.4A patent/CN113344079B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10963754B1 (en) * | 2018-09-27 | 2021-03-30 | Amazon Technologies, Inc. | Prototypical network algorithms for few-shot learning |
| CN110909780A (zh) * | 2019-11-14 | 2020-03-24 | 腾讯科技（深圳）有限公司 | 一种图像识别模型训练和图像识别方法、装置及系统 |
| CN111539452A (zh) * | 2020-03-26 | 2020-08-14 | 深圳云天励飞技术有限公司 | 多任务属性的图像识别方法、装置、电子设备及存储介质 |
| CN112528960A (zh) * | 2020-12-29 | 2021-03-19 | 之江实验室 | 一种基于人体姿态估计和图像分类的吸烟行为检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419399A (zh) * | 2022-03-22 | 2022-04-29 | 杭州利珀科技有限公司 | 机器视觉深度学习样本自动生成方法、计算机及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113344079B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110796186A (zh) | 基于改进的YOLOv3网络的干湿垃圾识别分类方法 | |
| CN108229588B (zh) | 一种基于深度学习的机器学习识别方法 | |
| CN104881675A (zh) | 一种视频场景的识别方法和装置 | |
| CN108537119A (zh) | 一种小样本视频识别方法 | |
| CN114998220B (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
| CN111626279A (zh) | 一种负样本标注训练方法及高度自动化的票据识别方法 | |
| CN110414005A (zh) | 意图识别方法、电子设备及存储介质 | |
| CN110659599A (zh) | 一种基于扫描试卷的离线笔迹鉴定系统以及使用方法 | |
| CN114463603B (zh) | 图像检测模型的训练方法、装置、电子设备及存储介质 | |
| CN114882325A (zh) | 基于二阶段物体检测器的半监督物检测及训练方法、装置 | |
| CN113344079A (zh) | 一种图像标签半自动标注方法、系统、终端及介质 | |
| CN109086737B (zh) | 基于卷积神经网络的航运货物监控视频识别方法及系统 | |
| CN108229692B (zh) | 一种基于双重对比学习的机器学习识别方法 | |
| CN108345942B (zh) | 一种基于嵌入编码学习的机器学习识别方法 | |
| CN112364828B (zh) | 人脸识别方法及金融系统 | |
| CN117516937A (zh) | 基于多模态特征融合增强的滚动轴承未知故障检测方法 | |
| CN109977400B (zh) | 一种校验处理的方法、装置、计算机存储介质及终端 | |
| CN108345943B (zh) | 一种基于嵌入编码与对比学习的机器学习识别方法 | |
| CN111783688A (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
| CN108229693B (zh) | 一种基于对比学习的机器学习识别装置及方法 | |
| CN112329735B (zh) | 人脸识别模型的训练方法及在线教育系统 | |
| CN111414930A (zh) | 深度学习模型训练方法及装置、电子设备及存储介质 | |
| CN114757941A (zh) | 变电站设备缺陷的识别方法、装置、电子设备及存储介质 | |
| CN117523218A (zh) | 标签生成、图像分类模型的训练、图像分类方法及装置 | |
| CN114005017A (zh) | 目标检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |