CN114169381A - 图像标注方法、装置、终端设备及存储介质 - Google Patents

图像标注方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN114169381A
CN114169381A CN202010841303.1A CN202010841303A CN114169381A CN 114169381 A CN114169381 A CN 114169381A CN 202010841303 A CN202010841303 A CN 202010841303A CN 114169381 A CN114169381 A CN 114169381A
Authority
CN
China
Prior art keywords
image data
target
prediction
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010841303.1A
Other languages
English (en)
Inventor
唐欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202010841303.1A priority Critical patent/CN114169381A/zh
Publication of CN114169381A publication Critical patent/CN114169381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于信息处理技术领域，提供了一种图像标注方法、装置、终端设备及存储介质，所述图像标注方法包括：获取训练数据集，训练数据集中的图像数据包括已标注图像数据和未标注图像数据；利用已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型；根据初始目标检测模型对未标注图像数据进行目标预测，确定未标注图像数据中的预测目标及其预测概率值；基于预测目标及其预测概率值，对未标注图像数据进行筛选，得到待标注图像数据；将待标注图像数据发送至标注平台进行标注，得到目标标注图像数据。本申请有效缩减了待标注数据的规模，大大减少了标注人员的工作量，可节省大量时间和人力，提高了标注的效率，有利于产品的快速迭代。

Description

图像标注方法、装置、终端设备及存储介质
技术领域
本申请属于信息处理技术领域，尤其涉及一种图像标注方法、装置、终端设备及存储介质。
背景技术
随着深度学习和计算机视觉技术的日趋成熟，目标检测领域由传统方法转向深度学习方法，通过深度学习判断图片所含的物体类别、位置、大小信息，极大地提高了目标检测的效果，目标检测领域开始大规模发展。
然而，在利用深度学习进行目标检测的过程中，也依然存在很多问题。要得到效果好的目标检测模型，模型的训练样本很重要，训练样本的标注尤为重要。目前，用于目标检测技术的已标注样本资源是有限的，海量未标注样本资源还未得到利用。
现有技术中，对样本的标注往往是通过人工花费大量的时间对图像中的目标进行标注。人工标注过程中，一般是拿到多少未标注数据，就标注多少数据，或者，随机挑选一部分数据进行标注。这两种标注方式，不仅耗时耗力，标注效率不高，甚至可能遗漏有利于提升模型性能的数据，标注的有效性较低，不利于产品的快速迭代。
发明内容
有鉴于此，本申请实施例提供了一种图像标注方法、装置、终端设备及存储介质，以解决现有标注方法不仅耗时耗力，标注效率不高，甚至可能遗漏有利于提升模型性能的数据，标注的有效性较低，不利于产品的快速迭代的问题。
本申请实施例的第一方面提供了一种图像标注方法，包括：
获取训练数据集，所述训练数据集中的图像数据包括已标注图像数据和未标注图像数据；
利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型；
根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值；
基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据；
将所述待标注图像数据发送至标注平台进行标注，得到目标标注图像数据。
本申请实施例的第二方面提供了一种图像标注装置，包括：
训练数据获取单元，用于获取训练数据集，所述训练数据集中的图像数据包括已标注图像数据和未标注图像数据；
第一模型生成单元，用于利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型；
模型预测单元，用于根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值；
图像筛选单元，用于基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据；
图像标注单元，用于将所述待标注图像数据发送至标注平台进行标注，得到目标标注图像数据。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得终端设备实现如上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
在本申请的图像标注方法中，通过获取训练数据集，所述训练数据集中的图像数据包括已标注图像数据和未标注图像数据，然后利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型，再根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值，最后基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据，通过主动学习筛选数据，自动选择有利于提升模型性能的训练图像数据，有效提高确定待标注图像数据的准确性，从而解决了现有技术中未充分有效利用数据，甚至可能遗漏有利于提升模型性能的数据，标注的有效性较低的问题，最后将所述待标注图像数据发送至标注平台进行标注，得到目标标注图像数据，由于对样本数据进行了筛选，有效缩减了待标注数据的规模，大大减少了标注人员的工作量，可节省大量时间和人力，提高了标注的效率，有利于产品的快速迭代。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像标注方法的实现流程图；
图2是本申请实施例提供的图像标注方法步骤S102的具体实现流程图；
图3是本申请实施例提供的图像标注方法步骤S103的具体实现流程图；
图4是本申请实施例提供的图像标注方法步骤S104的具体实现流程图；
图5是本申请实施例提供的另一图像标注方法的实现流程图；
图6是本申请实施例提供的图像标注装置的结构框图；
图7是本申请实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
由于用于目标检测技术的已标注样本资源有限，想要提高模型的性能，需要更多有效的标注样本对模型进行训练，目前，主要是通过人工进行标注，然而，对于海量的未标注样本资源，人工标注需要耗费大量的时间和人力，标注的效率不高，在实际应用场景中，人工标注可通过挑选部分未标注样本资源进行标注，从而减少标注的数据规模，减少人力和时间，然而，人工挑选存在主观性，不一定能挑选到最有效的数据，甚至可能遗漏有利于提升模型性能的数据，标注的有效性不高，不利于产品的快速迭代。
为了解决上述问题，本申请实施例提供了一种图像标注方法、装置、终端设备及存储介质，具体参见如下所述。
本申请实施例提供的图像标注方法可以应用于服务器、超级移动个人计算机(ultra-mobile personal computer，UMPC)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
实施例一：
图1示出了本申请实施例提供的图像标注方法的实现流程，该方法流程包括步骤S101至S105。各步骤的具体实现原理如下：
步骤S101：获取训练数据集，所述训练数据集中的图像数据包括已标注图像数据和未标注图像数据。
在本申请实施例中，上述训练数据集可以是存储在本地的数据集，还可以是存储在远程服务器或者云端服务器中的数据集。
其中，上述训练数据集中的已标注图像数据和未标注图像数据的比例可以根据用户需求自定义。
在一些实施方式中，上述已标注图像数据在上述训练数据集中的所占的比例小于甚至远小于上述未标注图像数据在上述训练数据集中所占的比例。
例如，获取训练数据集T，T＝{t1，t2，…，tQ}，Q为训练数据集T中图像数据总数，训练数据集T包括已标注图像数据集L和未标注图像数据集U，L∈T，U∈T，L＝{l1，l2，…，lc}，U＝{u1，u2，…，uI}，C为训练数据集T中已标注图像数据总数，I为训练数据集T中未标注图像数据总数，C、I为正整数，C≤I。
在一些实施方式中，上述训练数据集中的已标注图像数据可以是从已标注样本数据集中获取的数据。
在另一些实施方式中，通过获取源数据集，该源数据集中包括的图像数据均为未标注图像数据，通过随机抽样算法从上述源数据集中随机抽取设定比例的未标注图像数据发送至标注平台进行标注，得到上述设定比例的已标注图像数据，上述设定比例是指抽取的图像数据在上述源数据集中所占的比例。上述随机抽样算法可以是简单随机抽样、等距抽样、分层抽样、整体抽样中的一种或者多种的组合，随机抽样算法参考现有技术中的抽样算法，在此不再赘述。根据上述设定比例的已标注图像数据更新上述源数据集，具体将上述设定比例的已标注图像数据替换上述源数据集中对应的未标注图像数据，从而得到上述训练数据集。
实际上，从一系列图像数据中抽取设定比例的未标注图像数据的过程，也是对需要标注的图像数据的初筛选过程。筛选的标准可以根据图像的清晰程度、质量以及图像的类别等确定。
步骤S102：利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型。
上述目标检测模型是需要训练的模型，可以是Yolo(You Only Look Once目标检测模型)或CenterNet(中心网络目标检测模型)任一种目标检测模型。
在本申请实施例中，利用训练数据集中已标注图像数据对目标检测模型进行模型训练，模型训练的过程可参照现有目标检测算法中网络模型的训练过程。经过一定的训练后得到相应的模型参数，生成初始目标检测模型，该初始目标检测模型具备一定的目标预测能力，具体地，所述目标预测能力包括对图像数据进行目标预测，获得预测目标的预测概率值。
示例性地，上述目标检测模型的训练过程可参照Yolo-v3算法，生成初始目标检测模型。
作为本申请一种可能的实施方式，图2示出了本申请实施例提供的步骤S102的具体实现流程，详述如下：
A1：获取预定义的场景类别。
上述场景类别是图像数据所属的场景，可用于对图像数据进行分类。
在一些实施方式中，上述预定义的场景类别可以是训练数据集中图像数据默认分类的场景类别。
在另一些实施方式中，上述预定义的场景类别可以是用户自定义的场景类别，例如户外场景、白天场景等等。
A2：将所述训练数据集中的图像数据按所述场景类别分类，得到与所述场景类别对应的子数据集。
在本申请实施例中，按上述预定义的场景类别将上述训练数据集中的图像数据进行分类，得到每一场景类别对应的子数据集。每一子数据集中都包括已标注图像数据和未标注图像数据。不同子数据集中一标注图像数据与未标注图像数据的比例可以相同，也可以不相同，在此不做限定。
在一些实施方式中，若上述训练数据集中没有某一场景类别对应的图像数据，则该场景类别对应的子数据集为空。
在一些实施方式中，获取预定义的场景类别，并依次为各场景类别编号，并将该编号作为场景类别的场景标识，建立该场景标识与场景类别一对一的映射关系，通过该场景标识即可确定对应的场景类别。
A3：利用各个所述子数据集中的已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型。
上述训练数据集中的图像数据通过场景分类划分得到多个子数据集，每一子数据集中均包括已标注图像数据和未标注图像数据，利用每一场景类别对应的子数据集中已标注图像数据对目标检测模型进行模型训练，从而生成初始目标检测模型。
在本申请实施例中，利用小规模的已标注图像数据对目标检测模型进行模型训练，生成有一定目标预测能力的初始目标检测模型。
示例性地，以一个应用场景为例，利用各个子数据集中小规模的已标注图像数据，对Yolo进行模型训练，设置总的迭代次数是8000，训练得到一个精度足够高的模型，即为本申请实施例中的初始目标检测模型。
作为本申请一种可能的实施方式，在利用所述已标注图像数据对目标检测模型进行模型训练之前，对已标注图像数据进行预处理。
图像数据预处理的目的是提高图像质量，以及获取满足要求的图像，为后续模型训练做准备。
作为一种可能的实施方式，本申请实施例中所述预处理包括图像滤波、图像归一化、光照归一化以及姿态归一化中的一种或者多种。
图像滤波的目的是滤除掉原始图像中存在的一些噪声点，上述图像滤波是指在尽量保留图像细节特征的条件下对图像的噪声进行抑制。
作为本申请一种可能的实施方式，可选择中值滤波或者双边滤波等滤波算法对图像进行处理。具体地，中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。而双边滤波(Bilateral filter)是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。
图像归一化的目的是得到相同形式的标准图像。上述图像归一化是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。原始的图像在经历一些处理或攻击后可以得到多种副本图像，这些图像在经过相同参数的图像归一化处理后能够得到相同形式的标准图像。图像归一化包括分为线性归一化和非线性归一化两种。线性归一化可以放大和缩小原始图像的长度和宽度，保留图像的线性性质。而非线性归一化是将图像的中心位置进行适当的调整，是的图像的中心位置统一。
由于在真实的测温场景中捕获的图像经常会受到光照条件的影响，光照的变化会对图像特征产生干扰，因此，通过对图像进行光照归一化处理，从而解决光照干扰造成的不均匀问题。上述光照归一化具体可使用伽玛校正对输入的图像进行处理，然后对其执行DOG滤波操作，最后对其执行直方图均衡化操作，从而很好的处理光照干扰造成的不均匀问题。
作为另一种可能的实施方式，上述图像数据的预处理还包括图像裁剪。在本申请实施例中，将图像进行裁剪成指定像素大小的图像，例如，将图像裁剪成256×256像素大小的图像。
在本申请实施例中，为提高目标检测模型训练的效率，利用小规模的已标注图像数据进行训练，通过对已标注图像数据进行预处理，进一步提高图像的质量，从而快速得到有一定预测性能的目初始目标检测模型，提升初始检测模型的性能。
步骤S103：根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值。
在本申请实施例中，利用经过模型训练得到的初始目标检测模型对上述训练数据集中的未标注图像数据进行推理预测，确定上述未标注图像数据中的预测目标及其预测概率值。
作为本申请一种可能的实施方式，所述子数据集包括其对应场景类别的场景标识，图3示出了本申请实施例提供的步骤S103的具体实现流程，详述如下：
B1：根据所述子数据集的场景标识，确定所述子数据集对应的置信度。
在一种可能的实施方式中，预设场景标识与置信度的对应关系，根据该对应关系，即可根据每一子数据集的场景标识确定对应的置信度。
在本申请实施例中，不同场景下的置信度可以相同，也可以不相同。即，每一子数据集对应的置信度可能相同，也可能不相同。
B2：根据所述初始目标检测模型对所述子数据集中的未标注图像数据进行目标预测，得到预测结果。
B3：基于所述置信度对所述目标预测的预测结果进行过滤，确定所述未标注图像数据中的预测目标及其预测概率值。
在本申请实施例中，分别利用各个子数据集中的已标注图像数据对目标检测模型进行模型训练，再利用经过模型训练得到的初始目标检测模型对上述训练数据集中的未标注图像数据进行推理预测，基于子数据集的场景标识对应的置信度，对推理预测的结果进行过滤，去除掉大量无用的目标检测框，例如，去除同一目标重复的预测，从而可提升模型的计算速度。
步骤S104：基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据。
在本申请实施例中，基于初始目标检测模型对未标注图像数据的目标预测，确定的预测目标及其预测概率值，再对上述训练数据集中大量的未标注图像数据进行筛选，得到待标注图像数据，可避免遗漏有利于提醒模型性能的数据，并大大缩小了待标注图像数据的规模，提高了标注的有效性和效率。
作为本申请一种可能的实施方式，图4示出了本申请实施例提供的步骤S104的具体实现流程，详述如下：
C1：根据预设算法与所述预测目标及其预测概率值，计算所述未标注图像数据的不确定性指标值，所述不确定性指标值用于标识图像对模型训练的价值。
作为一种可能的实施方式，上述根据预设算法与所述预测目标及其预测概率值，计算所述未标注图像数据的不确定性指标值具体可通过获取所述未标注图像数据中预测目标的总数与所述预测目标的类别总数，然后根据所述预测目标的总数，确定所述预测目标对应的目标检测框的总数，再根据所述预测目标及其预测概率值、所述预测目标的类别总数以及所述预测目标对应的目标检测框的总数，计算所述未标注图像数据的不确定性指标值。
作为一种可能的实施方式，根据下述公式(1)计算所述未标注图像的不确定性指标值entropy(image)：
Figure BDA0002640536500000091
其中，box表示所述未标注图像数据中预测目标的目标检测框，N表示所述目标检测框的总数，con表示所述预测目标的类别编号，M为预测目标的类别总数，M≥1，N≥1，classcon表示预测目标对应类别的预测概率值。例如，多类检测数据集coco为80类，则M为80。
由于熵常被用于衡量一个系统或状态的不确定性，熵越高，代表不确定性越高，在本申请实施例中，采用熵的概念来作为不确定性的评价指标。
在本申请实施例中，通过计算训练数据集中每一未标注图像数据的不确定性指标值，根据该不确定性指标值对训练数据集中的未标注图像数据进行筛选，可有效确定利用价值较高的未标注图像数据，缩小待标注图像数据的规模，从而可提高标注的效率。
在一种可能的实施方式中，上述公式(1)中，
Figure BDA0002640536500000092
表示背景置信度，在考虑图像中一个目标检测的不确定性的时候，背景的判断也是很重要的因素，在本申请实施例中，通过考虑图像背景的熵，可使得对图像的不确定性指标值的评价更为有准确有效。
C2：基于所述不确定性指标值，对所述未标注图像数据进行筛选，得到待标注图像数据。
在一种可能的实施方式中，将未标注图像数据按上述不确定性指标值从高到低排序，并依次抽取预设比例的图像。
在一种可能的实施方式中，预设不确定性指标阈值，将未标注图像数据按上述不确定性指标值从高到低排序，抽取不确定性指标值达到预设不确定性指标阈值未标注图像数据。
步骤S105：将所述待标注图像数据发送至标注平台进行标注，得到目标标注图像数据。
在一种可能的实施方式中，将所述待标注图像数据发送至标注平台，利用预先训练好的标注模型，对所述待标注图像数据进行自动标注，从而得到目标标注图像数据。
在一种可能的实施方式中，将所述待标注图像数据发送至标注平台，通过人工对所述待标注图像数据进行人工标注后返回，从而得到目标标注图像数据。
作为本申请一种可能的实施方式，图5示出了本发明另一实施例提供的图像标注方法，详述如下：
S201：获取训练数据集，所述训练数据集中的图像数据包括已标注图像数据和未标注图像数据。
S202：利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型。
S203：根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值；
S204：基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据；
S205：将所述待标注图像数据发送至标注平台进行标注，得到目标标注图像数据。
本实施例中，步骤S201至步骤S205的具体步骤参见上述实施例步骤S101至步骤S105，在此不再赘述。
S206：根据所述目标标注图像数据更新所述训练数据集，获得目标训练数据集。
具体地，利用目标标注图像数据替换其在原训练数据集中对应的未标注图像数据，从而获得新的目标训练数据集。
在本申请实施例中，上述目标训练数据集包括上述训练数据集中原有的已标注图像数据，还包括根据上述步骤S201至步骤S205得到目标标注图像数据。上述目标训练数据集的规模小于上述训练数据集。
S207：利用所述目标训练数据集对所述初始目标检测模型进行模型训练，直到所述初始目标检测模型的模型指标达到预设条件，得到训练完成的目标检测模型。
由上可见，在本申请实施例中，通过获取训练数据集，所述训练数据集中的图像数据包括已标注图像数据和未标注图像数据，然后利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型，再根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值，最后基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据，通过主动学习筛选数据，自动选择有利于提升模型性能的训练图像数据，有效提高确定待标注图像数据的准确性，从而解决了现有技术中未充分有效利用数据，甚至可能遗漏有利于提升模型性能的数据，标注的有效性较低的问题，最后将所述待标注图像数据发送至标注平台进行标注，得到目标标注图像数据，由于对样本数据进行了筛选，有效缩减了待标注数据的规模，大大减少了标注人员的工作量，可节省大量时间和人力，提高了标注的效率，有利于产品的快速迭代。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例二：
对应于上文实施例所述的图像标注方法，图6示出了本申请实施例提供的图像标注装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图6，该图像标注装置包括：训练数据获取单元61，第一模型生成单元62，模型预测单元63，图像筛选单元64，图像标注单元65，其中：
训练数据获取单元61，用于获取训练数据集，所述训练数据集中的图像数据包括已标注图像数据和未标注图像数据；
第一模型生成单元62，用于利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型；
模型预测单元63，用于根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值；
图像筛选单元64，用于基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据；
图像标注单元65，用于将所述待标注图像数据发送至标注平台进行标注，得到目标标注图像数据。
在一些可能的实现方式中，所述第一模型生成单元62包括：
场景类别获取模块，用于获取预定义的场景类别；
图像分类模块，用于将所述训练数据集中的图像数据按所述场景类别分类，得到与所述场景类别对应的子数据集；
初始模型生成模块，用于利用各个所述子数据集中的已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型。
在一些可能的实现方式中，所述子数据集包括其对应场景类别的场景标识，所述模型预测单元63包括：
置信度确定模块，用于根据所述子数据集的场景标识，确定所述子数据集对应的置信度；
初始模型预测模块，用于根据所述初始目标检测模型对所述子数据集中的未标注图像数据进行目标预测，得到预测结果；
信息过滤模块，用于基于所述置信度对所述目标预测的预测结果进行过滤，确定所述未标注图像数据中的预测目标及其预测概率值。
在一些可能的实现方式中，所述图像筛选单元64包括：
指标值计算模块，用于根据预设算法与所述预测目标及其预测概率值，计算所述未标注图像数据的不确定性指标值，所述不确定性指标值用于标识图像对模型训练的价值；
图像筛选模块，用于基于所述不确定性指标值，对所述未标注图像数据进行筛选，得到待标注图像数据。
在一些可能的实现方式中，所述指标值计算模块具体用于：
获取所述未标注图像数据中预测目标的总数与所述预测目标的类别总数；
根据所述预测目标的总数，确定所述预测目标对应的目标检测框的总数；
根据所述预测目标及其预测概率值、所述预测目标的类别总数以及所述预测目标对应的目标检测框的总数，计算所述未标注图像数据的不确定性指标值。
在一些可能的实现方式中，所述指标值计算模块还具体用于：
根据下式计算所述未标注图像的不确定性指标值entropy(image)：
Figure BDA0002640536500000131
其中，box表示所述未标注图像数据中预测目标的目标检测框，N表示所述目标检测框的总数，con表示所述预测目标的类别编号，M为预测目标的类别总数，M≥1，N≥1，classcon表示预测目标对应类别的预测概率值。
在一些可能的实现方式中，所述图像标注装置还包括：
数据集更新单元，用于根据所述目标标注图像数据更新所述训练数据集，获得目标训练数据集；
第二模型生成单元，用于利用所述目标训练数据集对所述初始目标检测模型进行模型训练，直到所述初始目标检测模型的模型指标达到预设条件，得到训练完成的目标检测模型。
由上可见，在本申请实施例中，通过获取训练数据集，所述训练数据集中的图像数据包括已标注图像数据和未标注图像数据，然后利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型，再根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值，最后基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据，通过主动学习筛选数据，自动选择有利于提升模型性能的训练图像数据，有效提高确定待标注图像数据的准确性，从而解决了现有技术中未充分有效利用数据，甚至可能遗漏有利于提升模型性能的数据，标注的有效性较低的问题，最后将所述待标注图像数据发送至标注平台进行标注，得到目标标注图像数据，由于对样本数据进行了筛选，有效缩减了待标注数据的规模，大大减少了标注人员的工作量，可节省大量时间和人力，提高了标注的效率，有利于产品的快速迭代。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如图1至图5表示的任意一种图像标注方法的步骤。
本申请实施例还提供一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如图1至图5表示的任意一种图像标注方法的步骤。
本申请实施例还提供一种计算机程序产品，当该计算机程序产品在服务器上运行时，使得服务器执行实现如图1至图5表示的任意一种图像标注方法的步骤。
实施例三：
图7是本申请实施例三提供的终端设备的示意图。如图7所示，该实施例的终端设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述图像标注方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示单元61至65的功能。
示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述终端设备7中的执行过程。例如，所述计算机程序72可以被分割成训练数据获取单元、第一模型生成单元、模型预测单元、图像筛选单元、图像标注单元，各单元具体功能如下：
训练数据获取单元，用于获取训练数据集，所述训练数据集中的图像数据包括已标注图像数据和未标注图像数据；
第一模型生成单元，用于利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型；
模型预测单元，用于根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值；
图像筛选单元，用于基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据；
图像标注单元，用于将所述待标注图像数据发送至标注平台进行标注，得到目标标注图像数据。
所述终端设备7可以是服务器、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像标注方法，其特征在于，包括：
获取训练数据集，所述训练数据集中的图像数据包括已标注图像数据和未标注图像数据；
利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型；
根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值；
基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据；
将所述待标注图像数据发送至标注平台进行标注，得到目标标注图像数据。
2.根据权利要求1所述的图像标注方法，其特征在于，所述基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据的步骤，包括：
根据预设算法与所述预测目标及其预测概率值，计算所述未标注图像数据的不确定性指标值，所述不确定性指标值用于标识图像对模型训练的价值；
基于所述不确定性指标值，对所述未标注图像数据进行筛选，得到待标注图像数据。
3.根据权利要求2所述的图像标注方法，其特征在于，所述根据预设算法与所述预测目标及其预测概率值，计算所述未标注图像数据的不确定性指标值的步骤，包括：
获取所述未标注图像数据中预测目标的总数与所述预测目标的类别总数；
根据所述预测目标的总数，确定所述预测目标对应的目标检测框的总数；
根据所述预测目标及其预测概率值、所述预测目标的类别总数以及所述预测目标对应的目标检测框的总数，计算所述未标注图像数据的不确定性指标值。
4.根据权利要求1所述的图像标注方法，其特征在于，所述利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型的步骤，包括：
获取预定义的场景类别；
将所述训练数据集中的图像数据按所述场景类别分类，得到与所述场景类别对应的子数据集；
利用各个所述子数据集中的已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型。
5.根据权利要求4所述的图像标注方法，其特征在于，所述子数据集包括其对应场景类别的场景标识，所述根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值的步骤，包括：
根据所述子数据集的场景标识，确定所述子数据集对应的置信度；
根据所述初始目标检测模型对所述子数据集中的未标注图像数据进行目标预测，得到预测结果；
基于所述置信度对所述目标预测的预测结果进行过滤，确定所述未标注图像数据中的预测目标及其预测概率值。
6.根据权利要求1至5任一项所述的图像标注方法，其特征在于，所述图像标注方法还包括：
根据所述目标标注图像数据更新所述训练数据集，获得目标训练数据集；
利用所述目标训练数据集对所述初始目标检测模型进行模型训练，直到所述初始目标检测模型的模型指标达到预设条件，得到训练完成的目标检测模型。
7.一种图像标注装置，其特征在于，包括：
训练数据获取单元，用于获取训练数据集，所述训练数据集中的图像数据包括已标注图像数据和未标注图像数据；
第一模型生成单元，用于利用所述已标注图像数据对目标检测模型进行模型训练，生成初始目标检测模型；
模型预测单元，用于根据所述初始目标检测模型对所述未标注图像数据进行目标预测，确定所述未标注图像数据中的预测目标及其预测概率值；
图像筛选单元，用于基于所述预测目标及其预测概率值，对所述未标注图像数据进行筛选，得到待标注图像数据；
图像标注单元，用于将所述待标注图像数据发送至标注平台进行标注，得到目标标注图像数据。
8.根据权利要求7所述的图像标注装置，其特征在于，所述图像标注装置还包括：
数据集更新单元，用于根据所述目标标注图像数据更新所述训练数据集，获得目标训练数据集；
第二模型生成单元，用于利用所述目标训练数据集对所述初始目标检测模型进行模型训练，直到所述初始目标检测模型的模型指标达到预设条件，得到训练完成的目标检测模型。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN202010841303.1A 2020-08-19 2020-08-19 图像标注方法、装置、终端设备及存储介质 Pending CN114169381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010841303.1A CN114169381A (zh) 2020-08-19 2020-08-19 图像标注方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010841303.1A CN114169381A (zh) 2020-08-19 2020-08-19 图像标注方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN114169381A true CN114169381A (zh) 2022-03-11

Family

ID=80475353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010841303.1A Pending CN114169381A (zh) 2020-08-19 2020-08-19 图像标注方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN114169381A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519404A (zh) * 2022-04-20 2022-05-20 四川万网鑫成信息科技有限公司 一种图像样本分类标注方法、装置、设备、存储介质
CN114743170A (zh) * 2022-04-24 2022-07-12 重庆长安汽车股份有限公司 一种基于ai算法的自动驾驶场景标注方法
CN114972893A (zh) * 2022-07-12 2022-08-30 浙江大华技术股份有限公司 一种数据标注方法、装置、电子设备和存储介质
CN116229197A (zh) * 2022-11-24 2023-06-06 浙江大学 预标注模型的构建方法、预标注方法及装置、电子设备
CN116403074A (zh) * 2023-04-03 2023-07-07 上海锡鼎智能科技有限公司 基于主动标注的半自动图像标注方法及标注装置
CN116934727A (zh) * 2023-07-28 2023-10-24 保定景欣电气有限公司 一种拉晶过程中籽晶熔接控制方法、装置及电子设备
CN117746028A (zh) * 2024-02-08 2024-03-22 暗物智能科技(广州)有限公司 一种未标注物品的视觉检测方法、装置、设备及介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519404A (zh) * 2022-04-20 2022-05-20 四川万网鑫成信息科技有限公司 一种图像样本分类标注方法、装置、设备、存储介质
CN114519404B (zh) * 2022-04-20 2022-07-12 四川万网鑫成信息科技有限公司 一种图像样本分类标注方法、装置、设备、存储介质
CN114743170A (zh) * 2022-04-24 2022-07-12 重庆长安汽车股份有限公司 一种基于ai算法的自动驾驶场景标注方法
CN114972893A (zh) * 2022-07-12 2022-08-30 浙江大华技术股份有限公司 一种数据标注方法、装置、电子设备和存储介质
CN116229197A (zh) * 2022-11-24 2023-06-06 浙江大学 预标注模型的构建方法、预标注方法及装置、电子设备
CN116403074A (zh) * 2023-04-03 2023-07-07 上海锡鼎智能科技有限公司 基于主动标注的半自动图像标注方法及标注装置
CN116403074B (zh) * 2023-04-03 2024-05-14 上海锡鼎智能科技有限公司 基于主动标注的半自动图像标注方法及标注装置
CN116934727A (zh) * 2023-07-28 2023-10-24 保定景欣电气有限公司 一种拉晶过程中籽晶熔接控制方法、装置及电子设备
CN116934727B (zh) * 2023-07-28 2024-03-08 保定景欣电气有限公司 一种拉晶过程中籽晶熔接控制方法、装置及电子设备
CN117746028A (zh) * 2024-02-08 2024-03-22 暗物智能科技(广州)有限公司 一种未标注物品的视觉检测方法、装置、设备及介质
CN117746028B (zh) * 2024-02-08 2024-06-11 暗物智能科技(广州)有限公司 一种未标注物品的视觉检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN114169381A (zh) 图像标注方法、装置、终端设备及存储介质
CN109151501B (zh) 一种视频关键帧提取方法、装置、终端设备及存储介质
CN106557778B (zh) 通用物体检测方法和装置、数据处理装置和终端设备
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN104115161B (zh) 用于比较图像的方法和系统
CN110751037A (zh) 车身颜色识别的方法及终端设备
Mukherjee et al. Enhancement of image resolution by binarization
CN111767915A (zh) 车牌检测方法、装置、设备及存储介质
CN112308802A (zh) 一种基于大数据的图像分析方法及系统
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
Zhang et al. Multi-scale segmentation strategies in PRNU-based image tampering localization
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN108960246B (zh) 一种用于图像识别的二值化处理装置及方法
CN111199228B (zh) 一种车牌定位的方法及装置
CN111754491A (zh) 一种图片清晰度判定方法及装置
Gao et al. Traffic video-based moving vehicle detection and tracking in the complex environment
Kaur et al. Deep learning: survey of environmental and camera impacts on internet of things images
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN115035316A (zh) 目标区域图像识别方法、装置、计算机设备
CN115170838A (zh) 一种数据筛选方法及装置
CN114511862A (zh) 表格识别方法、装置及电子设备
CN114463764A (zh) 表格线检测方法、装置、计算机设备和存储介质
CN113610934A (zh) 图像亮度调整方法、装置、设备及存储介质
CN112861874A (zh) 一种基于多滤波器去噪结果的专家场去噪方法及系统
Niu et al. Evaluation of visual saliency analysis algorithms in noisy images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination