CN112699908B - 标注图片的方法、电子终端、计算机可读存储介质及设备 - Google Patents

标注图片的方法、电子终端、计算机可读存储介质及设备 Download PDF

Info

Publication number
CN112699908B
CN112699908B CN201911010322.3A CN201911010322A CN112699908B CN 112699908 B CN112699908 B CN 112699908B CN 201911010322 A CN201911010322 A CN 201911010322A CN 112699908 B CN112699908 B CN 112699908B
Authority
CN
China
Prior art keywords
pictures
unlabelled
deep learning
learning model
unlabeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911010322.3A
Other languages
English (en)
Other versions
CN112699908A (zh
Inventor
吕志高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201911010322.3A priority Critical patent/CN112699908B/zh
Publication of CN112699908A publication Critical patent/CN112699908A/zh
Application granted granted Critical
Publication of CN112699908B publication Critical patent/CN112699908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种标注图片的方法、电子终端、计算机可读存储介质及设备，该方法包括：将未标注图片输入训练得到的深度学习网络中，并得到每张未标注图片的置信度，然后选取置信度较高的未标注图片的特征值进行聚类，以供得到准确度较高的聚类结果，后续接收到每个类别的标注信息后，根据每个类别的标注信息对每个类别包含的未标注图片进行标注，实现了高效率以及高精度的对图片进行标注。

Description

标注图片的方法、电子终端、计算机可读存储介质及设备
技术领域
本申请涉及图片处理技术领域，尤其涉及标注图片的方法、电子终端、计算机可读存储介质及设备。
背景技术
在一些图像处理任务中，往往需要对海量的图片进行标注。目前对图片进行标注的方式一种是人工标注，另一种的机器自动化标注。针对人工标注而言，人工标注需要耗费大量的人力资源，且当需要标注的图片的数量巨大时，采用人工标注的方式，标注效率低下；针对机器自动化标注而言，目前一般是直接对待标注的图片进行聚类
自动标注，这种方式提高了标注效率，但是忽视了标注精度，导致标注结果的准确度不高。即现有技术中的对图片进行标注的方式无法同时达到高效率以及高精度的效果。
申请内容
本申请提供了一种标注图片的方法、电子终端、计算机可读存储介质及设备，以解决或者部分解决现有技术中的对图片进行标注的方式无法兼备高效率以及高精度的技术问题。
为解决上述技术问题，本申请提供了一种标注图片的方法，所述方法包括：
通过G张已标注图片对第一深度学习模型进行训练，得到第二深度学习模型，其中G为大于或等于2的正整数；
将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度，其中S为大于或等于2的正整数；
将所述S张未标注图片中置信度大于或等于第一阈值的M张未标注图片放入第一图片组，并获取所述第二深度学习模型的全连接层输出的所述M张未标注图片的特征值，其中，M为小于或等于S的正整数；
基于所述M张未标注图片的特征值，对所述第一图片组中的所述M张未标注图片进行聚类，以供将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数；
获取每个类别的标注信息，并根据所述每个类别的标注信息对每个类别包含的未标注图片进行标注，得到M张新的已标注图片。
可选的，在所述将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度，其中S为大于或等于 2的正整数之后，还包括：
将所述S张未标注图片中置信度小于所述第一阈值的Q张未标注图片放入第二图片组，其中，Q＝S-M。
可选的，在所述获取每个类别的标注信息，并根据所述每个类别的标注信息对每个类别包含的未标注图片进行标注，得到M张新的已标注图片之后，还包括：
当所述Q大于或等于第二阈值时，通过当前所有的已标注图片对所述第二深度学习模型进行训练，得到第三深度学习模型；
将所述Q张未标注图片作为所述S张未标注图片，将所述第三深度学习模型作为所述第二深度学习模型，并执行上述将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度的步骤，直至检测到所述第二图片组中的未标注图片数量小于所述第二阈值。
可选的，所述基于所述M张未标注图片的特征值，对所述第一图片组中的所述M张未标注图片进行聚类，以供将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数包括：
对所述M张未标注图片的特征值进行归一化处理，得到所述M张未标注图片的新特征值；
基于所述M张未标注图片的新特征值，通过K-means算法对所述M张未标注图片进行聚类，将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数。
可选的，所述特征值包括各个维度上的特征值，所述对所述M张未标注图片的特征值进行归一化处理，得到所述M张未标注图片的新特征值包括：
通过归一化公式对M张未标注图片中的每张未标注图片的各个维度上的特征值进行归一化处理，得到M张未标注图片各个维度上的新特征值，其中归一化处理的方式为：
Figure BDA0002244016980000031
其中，Ti指各个维度上的特征值，
Figure BDA0002244016980000032
指对各个维度上的特征值进行归一化处理后得到的各个维度上的新特征值，Tmax指各个维度上的特征值中的最大值， Tmin指各个维度上的特征值中的最小值，n指维度的数量。
可选的，所述获取每个类别的标注信息包括：
从每个类别中分别获取X张未标注图片，得到每个类别对应的X张未标注图片，其中X为大于或等于2的正整数；
通过预置的自动化标注方法分别对每个类别对应的X张未标注图片进行标注，得到每个类别对应的X张未标注图片的标注信息；
分别检测所述每个类别对应的X张未标注图片的标注信息是否一致；
当X张未标注图片的标注信息一致时，以所述X张未标注图片的标注信息作为所述X张未标注图片对应的类别的标注信息；
当X张未标注图片的标注信息不一致时，输出提示信息；
接收用户基于所述提示信息输入的手动标注信息，以所述手动标注信息作为所述X张未标注图片对应的类别的标注信息。
为解决上述技术问题，本申请还提供一种电子终端，所述电子终端包括：
训练模块，用于通过G张已标注图片对第一深度学习模型进行训练，得到第二深度学习模型，其中G为大于或等于2的正整数；
第一获取模块，用于将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度，其中S为大于或等于2的正整数；
第二获取模块，用于将所述S张未标注图片中置信度大于或等于第一阈值的M张未标注图片放入第一图片组，并获取所述第二深度学习模型的全连接层输出的所述M张未标注图片的特征值，其中，M为小于或等于S的正整数；
聚类模块，用于基于所述M张未标注图片的特征值，对所述第一图片组中的所述M张未标注图片进行聚类，以供将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数；
标注模块，用于获取每个类别的标注信息，并根据所述每个类别的标注信息对每个类别包含的未标注图片进行标注，得到M张新的已标注图片。
可选的，所述聚类模块用于：
对所述M张未标注图片的特征值进行归一化处理，得到所述M张未标注图片的新特征值；
基于所述M张未标注图片的新特征值，通过K-means算法对所述M张未标注图片进行聚类，将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数。
为解决上述技术问题，本申请公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
为解决上述技术问题，本申请公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
本申请中，将未标注图片输入训练得到的深度学习网络中，并得到每张未标注图片的置信度，然后选取置信度较高的未标注图片的特征值进行聚类，以供得到准确度较高的聚类结果，后续接收到每个类别的标注信息后，根据每个类别的标注信息对每个类别包含的未标注图片进行标注，实现了高效率以及高精度的对图片进行标注。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请标注图片的方法一实施例的流程示意图；
图2为本申请电子终端一实施例的功能模块示意图；
图3为本申请计算机设备一实施例的功能模块的硬件结构示意图；
图4为本申请计算机可读存储介质一实施例的硬件结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1，图1为本申请标注图片的方法一实施例的流程示意图。在一实施例中，标注图片的方法包括：
步骤S10，通过G张已标注图片对第一深度学习模型进行训练，得到第二深度学习模型，其中G为大于或等于2的正整数；
本实施例中，已标注图片指的是对应有标注信息的图片。其中标注信息可以是图片中人物的位置信息，图片中人物的性别信息，标注信息还可以是图片类别信息(以图片中是否存在人脸图像将图片分为类别1以及类别2)。在此对标注信息不做限制，具体可根据实际需要制定标注规则，从而根据制定的标注规则得到图片的标注信息。
G张标注图片可以是直接从网络上获取的对应有标注信息的图片，可以是通过人工手动标注的方式，得到G张标注图片，其中G为大于或等于2的正整数。例如G取值1000，2000等。
选取分类精度较高的深度学习图像分类模型作为第一深度学习模型，例如基于Resnet的图像分类网络Modelresnet作为第一深度学习模型，当然还可以选择其他的分类精度较高的深度学习图像分类模型作为第一深度学习模型，在此不做限制。
一实施例中，通过G张已标注图片对第一深度学习模型进行训练的过程包括：对G张已标注图片进行预处理，例如将每张已标注图片的图片格式调整为预置图片格式，然后将经过预处理的G张图片输入第一深度学习模型，得到每张图片的预测信息，然后将每张图片的预测信息与其对应的标注信息进行相似度对比，得到每张图片的预测信息与其对应的标注信息的相似度，对所有的相似度进行求平均值计算，得到map值。其中，map反应了深度学习模型的优劣， map越高，说明当前的深度学习模型输出的结果越准确。为了得到满足精度需求的第二深度学习模型，需要设置一阈值，若map值大于或等于阈值，则以当前的深度学习模型作为第二深度学习模型，若map值小于阈值，则对当前的深度学习模型进行参数调整(参数调整的实施方式可参考现有技术，深度学习模型本质上是一个计算流程，在前端接收输入信号后，经过一层层复杂的运算，在最末端输出结果。然后将计算结果和正确结果相比较，得到误差，再根据误差通过相应计算方法改进深度学习模型内部的相关参数，使得深度学习模型下次再接收到同样的数据时，最终计算输出得到的结果与正确结果之间的误差能越来越小)，得到新的深度学习模型，并重复上述训练步骤，直至检测到map 值大于或等于阈值时，将对应的深度学习模型作为第二深度学习模型。
本实施例中，训练得到第二深度学习模型，后续可通过第二深度学习模型快速提取输入第二深度学习模型的图片的特征值。
步骤S20，将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度，其中S为大于或等于2的正整数；
本实施例中，将S张未标注图片输入第二深度学习模型后，第二深度学习模型会输出每张未标注图片的预测信息以及预测信息的置信度。因此，可从第二深度学习模型输出的信息中得到S张未标注图片的置信度。
例如，若G张标注图片的标注信息是图片类别信息，则第二深度学习模型输出的每张未标注图片的预测信息是图片类型信息以及图片类型信息的置信度。例如，未标注图片1的预测信息是类别1以及置信度0.6，未标注图片2的预测信息是类别1以及置信度0.8，未标注图片3的预测信息是类别3以及置信度0.2……其中，置信度的取值范围为0～1，置信度越高表明当前的预测信息越可信。
步骤S30，将所述S张未标注图片中置信度大于或等于第一阈值的M张未标注图片放入第一图片组，并获取所述第二深度学习模型的全连接层输出的所述M张未标注图片的特征值，其中，M为小于或等于S的正整数；
本实施例中，通过上述步骤S20，得到了S张未标注图片中每张未标注图片的置信度。通过将每张未标注图片的置信度同第一阈值(根据实际情况灵活设置，例如设置为0.8)进行比较，并将S张未标注图片中置信度大于或等于第一阈值的M张未标注图片放入第一图片组，并获取第二深度学习模型的全连接层输出的M张未标注图片的特征值，其中，M为小于或等于S的正整数。其中，全连接层用于对上一层(如卷积层)提取到的图片特征进行综合，得到输入图片的特征值。本实施例中，即是得到S张未标注图片的特征值，但是本实施例只获取S张未标注图片中置信度大于或等于第一阈值的M张未标注图片的特征值。在本实施例中，若第二深度学习模型的全连接层有多层，则选择最靠近分类器的全连接层，并获取第二深度学习模型中最靠近分类器的全连接层输出的M张未标注图片的特征值。通过本实施例，可以快速得到M张未标注图片的特征值，以供后续根据M张未标注图片的特征值，对M张未标注图片进行聚类。
步骤S40，基于所述M张未标注图片的特征值，对所述第一图片组中的所述M张未标注图片进行聚类，以供将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数；
本实施例中，由于M张未标注图片的置信度是大于或等于第一阈值的，说明当前的第二深度学习模型基于全连接层输出的M张未标注图片的特征值输出的M张未标注图片的预测信息的精度是比较高的，从而说明根据从全连接层获取的M张未标注图片的特征值对这M未标注图片进行聚类得到的聚类结果的准确度是比较高的。因此，本实施例中，仅获取置信度大于或等于第一阈值的M张未标注图片的特征值，并基于M张未标注图片的特征值，对所述第一图片组中的M张未标注图片进行聚类，以供将M张未标注图片分为K个类别，其中K为大于或等于2的正整数。其中，对M张未标注图片进行聚类所采用的具体方式不限，例如K-means算法进行聚类，或采用层次聚类算法进行聚类。
一可选实施例中，步骤S40包括：
对所述M张未标注图片的特征值进行归一化处理，得到所述M张未标注图片的新特征值；
其中，所述特征值包括各个维度上的特征值，所述对所述M张未标注图片的特征值进行归一化处理，得到所述M张未标注图片的新特征值包括：
通过归一化公式对M张未标注图片中的每张未标注图片的各个维度上的特征值进行归一化处理，得到M张未标注图片各个维度上的新特征值，其中归一化处理的方式为：
Figure BDA0002244016980000071
其中，Ti指各个维度上的特征值，
Figure BDA0002244016980000072
指对各个维度上的特征值进行归一化处理后得到的各个维度上的新特征值，Tmax指各个维度上的特征值中的最大值， Tmin指各个维度上的特征值中的最小值，n指维度的数量。
其中，每张未标注图片的特征值是其在n个维度上的特征值的集合，例如，一张未标注图片的特征值表示为：(T1，T2，……，Tn)，其中，T1表示该未标注图片在第一个维度上的特征值，T2表示该未标注图片在第二个维度上的特征值……Tn表示该未标注图片在第n个维度上的特征值。对M张未标注图片的特征值进行归一化处理，即对M张未标注图片中的每张未标注图片在各个维度上的特征值进行归一化处理，归一化处理的目的是为了将每张未标注图片在各个维度上的特征值转化为0～1的数，从而便于后续聚类过程中的距离计算。例如，对特征值表示为：(T1，T2，……，Tn)的未标注图片的特征值进行归一化处理的方式为：
Figure BDA0002244016980000081
其中，Ti指各个维度上的特征值，
Figure BDA0002244016980000082
指对各个维度上的特征值进行归一化处理后得到的各个维度上的新特征值，Tmax指各个维度上的特征值中的最大值， Tmin指各个维度上的特征值中的最小值，n指维度的数量。通过上述归一化处理，即可得到新的T1～Tn，即得到该未标注图片的新特征值。同理，对其他未标注图片进行相同操作，即可得到M张未标注图片的新特征值。
基于所述M张未标注图片的新特征值，通过K-means算法对所述M张未标注图片进行聚类，将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数。
本实施例中，聚类算法采用K-means算法。K-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。对k- means算法的工作过程说明如下：首先从M个数据对象任意选择K个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度(距离)，分别将它们分配给与其最相似的(聚类中心所代表的)聚类；然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值)；不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数。 K个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。其中，要预先设定K的取值，且K取大于或等于2的正整数，一具体实施例中，聚类过程包括：
a、从M个新特征值中随机选择K个新特征值作为初始聚类中心；
b、计算剩余(M-K)个新特征值与每个初始聚类中心的欧式距离，根据计算结果，将(M-K)个新特征值中的每个新特征值划分到与其欧氏距离最小的初始聚类中心对应的类中，得到K个类；
c、计算每个类的均值(即计算每个类中包含的所有新特征值的平均值)，得到K个均值；
d、计算上述M个新特征值与每个均值的欧式距离，根据计算结果，将M 个新特征值中的每个新特征值划分到与其欧氏距离最小的均值对应的类中，得到K个新的类；
e、重复步骤c至步骤d，直至每个类中的数据不再发生变化，则确认聚类完成，此时已将M张未标注图片分为了K个类别。
步骤S50，获取每个类别的标注信息，并根据所述每个类别的标注信息对每个类别包含的未标注图片进行标注，得到M张新的已标注图片。
本实施例中，基于步骤S40，将M张未标注图片分为了K个类别，容易理解的是，单个类别包含的若干张未标注图片的特征值是相近的，说明单个类别包含的若干张未标注图片的标注信息应该基本相同，因此，直接获取每个类别的标注信息，从而根据每个类别的标注信息对每个类别包含的未标注图片进行标注，从而得到M张新的已标注图片。
一可选实施例中，所述获取每个类别的标注信息包括：
从每个类别中分别获取X张未标注图片，得到每个类别对应的X张未标注图片，其中X为大于或等于2的正整数；通过预置的自动化标注方法分别对每个类别对应的X张未标注图片进行标注，得到每个类别对应的X张未标注图片的标注信息；分别检测所述每个类别对应的X张未标注图片的标注信息是否一致；当X张未标注图片的标注信息一致时，以所述X张未标注图片的标注信息作为所述X张未标注图片对应的类别的标注信息；当X张未标注图片的标注信息不一致时，输出提示信息；接收用户基于所述提示信息输入的手动标注信息，以所述手动标注信息作为所述X张未标注图片对应的类别的标注信息。
本实施例中，随机从每个类别中获取若干张(X张)未标注图片，然后通过现有的机器自动化标注方法(例如基于faster-rcnn的图片标注方法)对这若干张未标注图片进行标注，若基于机器自动化标注方法得到的若干张未标注图片的标注信息是一致的，则以一致的标注信息作为这若干张未标注图片对应的类别的标注信息，从而根据该类别的标注信息对该类别中的所有未标注图片进行标注。
若基于机器自动化标注方法得到的X张未标注图片的标注信息不是一致的，则输出提示信息，以供提示用户通过对X张未标注图片进行查看，从而输入X张未标注图片的标注信息，电子终端(该方法的执行主体)获取到基于用户操作输入的手动标注信息后，以手动标注信息作为X张未标注图片对应的类别的标注信息。
当然，还可以是在将M张未标注图片分为了K个类别后，用户通过对每个类别包含的未标注图片中的若干张未标注图片进行查看，从而确定每个类别的标注信息并输入，以供电子终端(该方法的执行主体)获取基于用户操作输入的每个类别的标注信息，从而根据每个类别的标注信息对每个类别包含的未标注图片进行标注，得到M张新的已标注图片。
本申请实施例中，将未标注图片输入训练得到的深度学习网络中，并得到每张未标注图片的置信度，然后选取置信度较高的未标注图片的特征值进行聚类，以供得到准确度较高的聚类结果，后续接收到每个类别的标注信息后，根据每个类别的标注信息对每个类别包含的未标注图片进行标注，实现了高效率以及高精度的对图片进行标注。
进一步地，一实施例中，步骤S20之后，还包括：
将所述S张未标注图片中置信度小于所述第一阈值的Q张未标注图片放入第二图片组，其中，Q＝S-M。
本实施例中，若S张未标注图片中存在Q张置信度小于第一阈值的未标注图片时，说明当前的第二深度学习模型基于全连接层输出的Q张未标注图片的特征值输出的Q张未标注图片的预测信息的精度是比较低的，若根据从全连接层获取的Q张未标注图片的特征值对这Q未标注图片进行聚类，得到的聚类结果的准确度是比较低的，因此，将这部分未标注图片(称为难例数据)放入第二图片组中。
进一步地，一实施例中，步骤S50之后，还包括：
当所述Q大于或等于第二阈值时，通过当前所有的已标注图片对所述第二深度学习模型进行训练，得到第三深度学习模型；
将所述Q张未标注图片作为所述S张未标注图片，将所述第三深度学习模型作为所述第二深度学习模型，并执行上述将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度的步骤，直至检测到所述第二图片组中的未标注图片数量小于所述第二阈值。
本实施例中，当Q大于或等于第二阈值(根据实际需要进行设置，例如设置为200)时，说明当前的难例数据较多。在这种情况下，通过G张已标注图片以及M张新的已标注图片对第二深度学习模型进行训练(训练过程与训练第二深度学习模型的过程类型，在此不做赘述)，得到第三深度学习模型。由于用于训练的样本数据更多(训练得到第二深度学习模型只用到了G张已标注图片，而训练第三深度学习模型用到了G+M张已标注图片)，该第三深度学习模型相较于第二深度学习模型具备更好的预测精度。将Q张未标注图片输入第三深度学习模型，得到Q1张置信度大于或等于第一阈值的未标注图片，以及Q2 张置信度小于第一阈值的未标注图片，其中Q＝Q1+Q2。然后按照上述实施例中指出的聚类方式，对Q1张未标注图片进行聚类，将Q1张未标注图片分为 K个类别，并获取每个类别的标注信息，从而对每个类别包含的未标注图片进行标注，得到Q1张已标注图片。然后继续判断Q2是否大于或等于第二阈值，若是，则通过G+M+Q1张已标注图片对第三深度学习模型进行训练，得到第四深度学习模型，将Q2张未标注图片输入第四深度学习模型得到Q21张置信度大于或等于第一阈值的未标注图片，以及Q22张置信度小于第一阈值的未标注图片，其中Q2＝Q21+Q22。然后按照上述实施例中指出的聚类方式，对Q21 张未标注图片进行聚类，将Q21张未标注图片分为K个类别，并获取每个类别的标注信息，从而对每个类别包含的未标注图片进行标注，得到Q21张已标注图片。然后继续判断Q22是否大于或等于第二阈值，若是，则重复上述步骤；若不是，则说明当前的难例数据个数较少，可直接借助人工标注的方式完成对难例数据的标注，此时结束整个流程。
本实施例中，通过循环训练深度学习模型，不断提高深度学习模型的预测精度，从而实现对难例数据的特征值准确提取，从而提高对难例数据的聚类准确度，从而提高难例数据的标注精确度。
参照图2，图2为本申请电子终端一实施例的功能模块示意图。在一实施例中，电子终端包括：
训练模块10，用于通过G张已标注图片对第一深度学习模型进行训练，得到第二深度学习模型，其中G为大于或等于2的正整数；
第一获取模块20，用于将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度，其中S为大于或等于2的正整数；
第二获取模块30，用于将所述S张未标注图片中置信度大于或等于第一阈值的M张未标注图片放入第一图片组，并获取所述第二深度学习模型的全连接层输出的所述M张未标注图片的特征值，其中，M为小于或等于S的正整数；
聚类模块40，用于基于所述M张未标注图片的特征值，对所述第一图片组中的所述M张未标注图片进行聚类，以供将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数；
标注模块50，用于获取每个类别的标注信息，并根据所述每个类别的标注信息对每个类别包含的未标注图片进行标注，得到M张新的已标注图片。
进一步地，一实施例中，所述电子终端还包括存储模块，用于：
将所述S张未标注图片中置信度小于所述第一阈值的Q张未标注图片放入第二图片组，其中，Q＝S-M。
进一步地，一实施例中，所述电子终端还包括重训练模块，用于：
当所述Q大于或等于第二阈值时，通过当前所有的已标注图片对所述第二深度学习模型进行训练，得到第三深度学习模型；
将所述Q张未标注图片作为所述S张未标注图片，将所述第三深度学习模型作为所述第二深度学习模型，并执行上述将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度的步骤，直至检测到所述第二图片组中的未标注图片数量小于所述第二阈值。
进一步地，一实施例中，聚类模块40用于：
对所述M张未标注图片的特征值进行归一化处理，得到所述M张未标注图片的新特征值；
基于所述M张未标注图片的新特征值，通过K-means算法对所述M张未标注图片进行聚类，将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数。
进一步地，一实施例中，聚类模块40用于：
通过归一化公式对M张未标注图片中的每张未标注图片的各个维度上的特征值进行归一化处理，得到M张未标注图片各个维度上的新特征值，其中归一化处理的方式为：
Figure BDA0002244016980000121
其中，Ti指各个维度上的特征值，
Figure BDA0002244016980000131
指对各个维度上的特征值进行归一化处理后得到的各个维度上的新特征值，Tmax指各个维度上的特征值中的最大值， Tmin指各个维度上的特征值中的最小值，n指维度的数量。
进一步地，一实施例中，标注模块50用于：
从每个类别中分别获取X张未标注图片，得到每个类别对应的X张未标注图片，其中X为大于或等于2的正整数；
通过预置的自动化标注方法分别对每个类别对应的X张未标注图片进行标注，得到每个类别对应的X张未标注图片的标注信息；
分别检测所述每个类别对应的X张未标注图片的标注信息是否一致；
当X张未标注图片的标注信息一致时，以所述X张未标注图片的标注信息作为所述X张未标注图片对应的类别的标注信息；
当X张未标注图片的标注信息不一致时，输出提示信息；
接收用户基于所述提示信息输入的手动标注信息，以所述手动标注信息作为所述X张未标注图片对应的类别的标注信息。
本申请电子终端的具体实施例与上述标注图片的方法的各个实施例基本相同，在此不做赘述。
基于与前述实施例中同样的申请构思，本申请实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前文任一所述标注图片的方法的步骤。如图3 所示，图3为本申请计算机设备一实施例的功能模块的硬件结构示意图。一实施例中，计算机设备包括存储器310、处理器320及存储在存储器320上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现前文任一所述标注图片的方法的步骤。本申请计算机设备的具体实施例与上述标注图片的方法的各个实施例基本相同，在此不做赘述。
基于与前述实施例中同样的申请构思，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文任一所述标注图片的方法的步骤。如图4所示，图4为本申请计算机可读存储介质一实施例的硬件结构示意图。在一实施例提供中，计算机可读存储介质400其上存储有计算机程序411，该计算机程序411被处理器执行时实现前文任一所述标注图片的方法的步骤。本申请计算机可读存储介质的具体实施例与上述标注图片的方法的各个实施例基本相同，在此不做赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。

Claims (8)

1.一种标注图片的方法，其特征在于，所述方法包括：
通过G张已标注图片对第一深度学习模型进行训练，得到第二深度学习模型，其中G为大于或等于2的正整数；
将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度，其中S为大于或等于2的正整数；
将所述S张未标注图片中置信度大于或等于第一阈值的M张未标注图片放入第一图片组，并获取所述第二深度学习模型的全连接层输出的所述M张未标注图片的特征值，其中，M为小于或等于S的正整数；
基于所述M张未标注图片的特征值，对所述第一图片组中的所述M张未标注图片进行聚类，以供将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数；将所述S张未标注图片中置信度小于所述第一阈值的Q张未标注图片放入第二图片组，其中，Q＝S―M；
获取每个类别的标注信息，并根据所述每个类别的标注信息对每个类别包含的未标注图片进行标注，得到M张新的已标注图片；
当所述Q大于或等于第二阈值时，通过当前所有的已标注图片对所述第二深度学习模型进行训练，得到第三深度学习模型；
将所述Q张未标注图片作为所述S张未标注图片，将所述第三深度学习模型作为所述第二深度学习模型，并执行上述将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度的步骤，直至检测到所述第二图片组中的未标注图片数量小于所述第二阈值。
2.如权利要求1所述的方法，其特征在于，所述基于所述M张未标注图片的特征值，对所述第一图片组中的所述M张未标注图片进行聚类，以供将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数包括：
对所述M张未标注图片的特征值进行归一化处理，得到所述M张未标注图片的新特征值；
基于所述M张未标注图片的新特征值，通过K-means算法对所述M张未标注图片进行聚类，将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数。
3.如权利要求2所述的方法，其特征在于，所述特征值包括各个维度上的特征值，所述对所述M张未标注图片的特征值进行归一化处理，得到所述M张未标注图片的新特征值包括：
通过归一化公式对M张未标注图片中的每张未标注图片的各个维度上的特征值进行归一化处理，得到M张未标注图片各个维度上的新特征值，其中归一化处理的方式为：
Figure FDA0003638479020000021
其中，Ti值各个维度上的特征值，
Figure FDA0003638479020000022
指对各个维度上的特征值进行归一化处理后得到的各个维度上的新特征值，Tmax指各个维度上的特征值中的最大值，Tmin指各个维度上的特征值中的最小值，n指维度的数量。
4.如权利要求1至3中任一项所述的方法，其特征在于，所述获取每个类别的标注信息包括：
从每个类别中分别获取X张未标注图片，得到每个类别对应的X张未标注图片，其中X为大于或等于2的正整数；
通过预置的自动化标注方法分别对每个类别对应的X张未标注图片进行标注，得到每个类别对应的X张未标注图片的标注信息；
分别检测所述每个类别对应的X张未标注图片的标注信息是否一致；
当X张未标注图片的标注信息一致时，以所述X张未标注图片的标注信息作为所述X张未标注图片对应的类别的标注信息；
当X张未标注图片的标注信息不一致时，输出提示信息；
接收用户基于所述提示信息输入的手动标注信息，以所述手动标注信息作为所述X张未标注图片对应的类别的标注信息。
5.一种电子终端，其特征在于，所述电子终端包括：
训练模块，用于通过G张已标注图片对第一深度学习模型进行训练，得到第二深度学习模型，其中G为大于或等于2的正整数；
第一获取模块，用于将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度，其中S为大于或等于2的正整数；
第二获取模块，用于将所述S张未标注图片中置信度大于或等于第一阈值的M张未标注图片放入第一图片组，并获取所述第二深度学习模型的全连接层输出的所述M张未标注图片的特征值，其中，M为小于或等于S的正整数；
聚类模块，用于基于所述M张未标注图片的特征值，对所述第一图片组中的所述M张未标注图片进行聚类，以供将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数；将所述S张未标注图片中置信度小于所述第一阈值的Q张未标注图片放入第二图片组，其中，Q＝S―M；
标注模块，用于获取每个类别的标注信息，并根据所述每个类别的标注信息对每个类别包含的未标注图片进行标注，得到M张新的已标注图片；
当所述Q大于或等于第二阈值时，通过当前所有的已标注图片对所述第二深度学习模型进行训练，得到第三深度学习模型；
将所述Q张未标注图片作为所述S张未标注图片，将所述第三深度学习模型作为所述第二深度学习模型，并执行上述将S张未标注图片输入所述第二深度学习模型，得到所述第二深度学习模型输出的所述S张未标注图片的置信度的步骤，直至检测到所述第二图片组中的未标注图片数量小于所述第二阈值。
6.如权利要求5所述的电子终端，其特征在于，所述聚类模块用于：
对所述M张未标注图片的特征值进行归一化处理，得到所述M张未标注图片的新特征值；
基于所述M张未标注图片的新特征值，通过K-means算法对所述M张未标注图片进行聚类，将所述M张未标注图片分为K个类别，其中K为大于或等于2的正整数。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4任一项所述方法的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-4任一项所述方法的步骤。
CN201911010322.3A 2019-10-23 2019-10-23 标注图片的方法、电子终端、计算机可读存储介质及设备 Active CN112699908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911010322.3A CN112699908B (zh) 2019-10-23 2019-10-23 标注图片的方法、电子终端、计算机可读存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911010322.3A CN112699908B (zh) 2019-10-23 2019-10-23 标注图片的方法、电子终端、计算机可读存储介质及设备

Publications (2)

Publication Number Publication Date
CN112699908A CN112699908A (zh) 2021-04-23
CN112699908B true CN112699908B (zh) 2022-08-05

Family

ID=75504941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911010322.3A Active CN112699908B (zh) 2019-10-23 2019-10-23 标注图片的方法、电子终端、计算机可读存储介质及设备

Country Status (1)

Country Link
CN (1) CN112699908B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676790A (zh) * 2022-04-12 2022-06-28 北京百度网讯科技有限公司 对象标注、模型的处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617429A (zh) * 2013-12-16 2014-03-05 苏州大学 一种主动学习分类方法和系统
CN109784391A (zh) * 2019-01-04 2019-05-21 杭州比智科技有限公司 基于多模型的样本标注方法及装置
CN110298415A (zh) * 2019-08-20 2019-10-01 视睿（杭州）信息科技有限公司 一种半监督学习的训练方法、系统和计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2452735T3 (es) * 2006-08-25 2014-04-02 Motorola Mobility Llc Método y sistema para la clasificación de datos utilizando un mapa auto-organizativo
CN103150578A (zh) * 2013-04-09 2013-06-12 山东师范大学 一种基于半监督学习的支持向量机分类器训练方法
CN108241662B (zh) * 2016-12-23 2021-12-28 北京国双科技有限公司 数据标注的优化方法及装置
US11176456B2 (en) * 2017-11-29 2021-11-16 International Business Machines Corporation Pre-training neural networks using data clusters
CN108764372B (zh) * 2018-06-08 2019-07-16 Oppo广东移动通信有限公司 数据集的构建方法和装置、移动终端、可读存储介质
CN109460795A (zh) * 2018-12-17 2019-03-12 北京三快在线科技有限公司 分类器训练方法、装置、电子设备及计算机可读介质
CN109961095B (zh) * 2019-03-15 2023-04-28 深圳大学 基于非监督深度学习的图像标注系统及标注方法
CN110046666B (zh) * 2019-04-18 2022-12-02 深圳市深视创新科技有限公司 海量图片标注方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617429A (zh) * 2013-12-16 2014-03-05 苏州大学 一种主动学习分类方法和系统
CN109784391A (zh) * 2019-01-04 2019-05-21 杭州比智科技有限公司 基于多模型的样本标注方法及装置
CN110298415A (zh) * 2019-08-20 2019-10-01 视睿（杭州）信息科技有限公司 一种半监督学习的训练方法、系统和计算机可读存储介质

Also Published As

Publication number Publication date
CN112699908A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN108038474B (zh) 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN109583332B (zh) 人脸识别方法、人脸识别系统、介质及电子设备
US10013636B2 (en) Image object category recognition method and device
US20180341810A1 (en) Recognition Process Of An Object In A Query Image
CN111476256A (zh) 基于半监督学习的模型训练方法、装置及电子设备
CN109919252B (zh) 利用少数标注图像生成分类器的方法
CN110135505B (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
CN109858476B (zh) 标签的扩充方法和电子设备
CN111344697A (zh) 用于机器视觉模型的基于复杂度的渐进式训练
CN113688851B (zh) 数据标注方法和装置和精细粒度识别方法和装置
CN110717554A (zh) 图像识别方法、电子设备及存储介质
US20200320440A1 (en) System and Method for Use in Training Machine Learning Utilities
CN113128536A (zh) 无监督学习方法、系统、计算机设备及可读存储介质
CN110458600A (zh) 画像模型训练方法、装置、计算机设备及存储介质
CN110751191A (zh) 一种图像的分类方法及系统
JP5214679B2 (ja) 学習装置、方法及びプログラム
CN113902944A (zh) 模型的训练及场景识别方法、装置、设备及介质
CN112699908B (zh) 标注图片的方法、电子终端、计算机可读存储介质及设备
CN113065607A (zh) 图像检测方法、装置、电子设备及介质
CN113378852A (zh) 关键点检测方法、装置、电子设备及存储介质
CN111144466B (zh) 一种图像样本自适应的深度度量学习方法
CN110765917A (zh) 适用于人脸识别模型训练的主动学习方法、装置、终端、介质
CN110826616A (zh) 信息处理方法及装置、电子设备、存储介质
CN115984671A (zh) 模型在线更新方法、装置、电子设备及可读存储介质
CN114637877A (zh) 标注方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant