CN110084289B - 图像标注方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提出一种图像标注方法、装置、电子设备及存储介质，属于计算机应用技术领域。其中，该方法包括：在应用使用过程中，采集应用的元数据，其中，元数据中包括图像、及图像对应的识别结果和第一置信度；对元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度；根据每个图像对应的各视觉属性和各第二置信度、及元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式；根据每个图像对应的待标注方式，将每个图像进行标注处理。由此，通过这种图像标注方法，降低了图像数据标注过程中的人工参与度，不仅提高了数据标注的准确率和效率，而且降低了数据标注的成本。

Description

图像标注方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机应用技术领域，尤其涉及一种图像标注方法、装置、电子设备及存储介质。

背景技术

随着现代计算机技术的不断发展，人工智能技术在生活中的应用越来越广泛。计算机视觉技术作为人工智能领域的一项重要技术，在很多方面都发挥着重要的作用。比如，人脸识别、指纹识别、文字识别等离不开计算机视觉技术的支撑。而计算机视觉技术的发展需要采集并标注大量的数据，构成标注数据集，以利用标注数据集训练识别模型。

相关技术中，通常通过人工的方式搜集大量数据，并对搜集的大量数据进行筛选，进而根据预设的标注规则对筛选后的数据进行人工标注。但是，人工标注数据是一个很困难的过程，标注任务复杂、繁琐、耗时，需要花费大量时间整理和标注数据；此外，由于每个标注者专业知识背景的不同，对标注规范的理解和认知也会有一定的差异，标注过程中可能会出现一些不符合标准的标注错误，从而导致人工标注数据的方法，不仅准确率低，而且效率低、成本高。

发明内容

本申请提出的图像标注方法、装置、电子设备及存储介质，用于解决相关技术中，通过人工对数据进行标注的方式，不仅准确率低，而且效率低、成本高的问题。

本申请一方面实施例提出的图像标注方法，包括：在应用使用过程中，采集所述应用的元数据，其中，所述元数据中包括图像、及图像对应的识别结果和第一置信度；对所述元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度；根据每个图像对应的各视觉属性和各第二置信度、及所述元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式；根据每个图像对应的待标注方式，将所述每个图像进行标注处理。

本申请另一方面实施例提出的图像标注装置，包括：采集模块，用于在应用使用过程中，采集所述应用的元数据，其中，所述元数据中包括图像、及图像对应的识别结果和第一置信度；第一确定模块，用于对所述元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度；第二确定模块，用于根据每个图像对应的各视觉属性和各第二置信度、及所述元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式；标注模块，用于根据每个图像对应的待标注方式，将所述每个图像进行标注处理。

本申请再一方面实施例提出的电子设备，其包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如前所述的图像标注方法。

本申请再一方面实施例提出的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如前所述的图像标注方法。

本申请又一方面实施例提出的计算机程序，该程序被处理器执行时，以实现本申请实施例所述的图像标注方法。

本申请实施例提供的图像标注方法、装置、电子设备、计算机可读存储介质及计算机程序，可以在应用使用过程中，采集应用的元数据，并对元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度，之后根据每个图像对应的各视觉属性和各第二置信度、及元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式，进而根据每个图像对应的待标注方式，将每个图像进行标注处理。由此，通过对应用使用过程中产生的元数据进行采集，并根据应用对各元数据中包括的图像的识别结果及对应的置信度，确定对每个图像的标注方式，从而降低了图像数据标注过程中的人工参与度，不仅提高了数据标注的准确率和效率，而且降低了数据标注的成本。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种图像标注方法的流程示意图；

图2为本申请实施例所提供的另一种图像标注方法的流程示意图；

图3为本申请实施例所提供的一种图像标注装置的结构示意图；

图4为本申请实施例所提供的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请实施例针对相关技术中，通过人工对数据进行标注的方式，不仅准确率低，而且效率低、成本高的问题，提出一种图像标注方法。

本申请实施例提供的图像标注方法，可以在应用使用过程中，采集应用的元数据，并对元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度，之后根据每个图像对应的各视觉属性和各第二置信度、及元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式，进而根据每个图像对应的待标注方式，将每个图像进行标注处理。由此，通过对应用使用过程中产生的元数据进行采集，并根据应用对各元数据中包括的图像的识别结果及对应的置信度，确定对每个图像的标注方式，从而降低了图像数据标注过程中的人工参与度，不仅提高了数据标注的准确率和效率，而且降低了数据标注的成本。

下面参考附图对本申请提供的图像标注方法、装置、电子设备、存储介质及计算机程序进行详细描述。

图1为本申请实施例所提供的一种图像标注方法的流程示意图。

如图1所示，该图像标注方法，包括以下步骤：

步骤101，在应用使用过程中，采集所述应用的元数据，其中，所述元数据中包括图像、及图像对应的识别结果和第一置信度。

其中，元数据，是指在应用使用过程中产生的在线数据，可以包括用户输入的图像、对用户输入的图像的识别结果，以及与识别结果对应的第一置信度等。第一置信度，是指应用对图像进行识别，确定的图像对应的识别结果的可信度。比如，应用为人脸识别应用，则元数据中可以包括用户在使用应用时，输入的人脸图像，以及应用对用户输入的人脸图像进行识别处理，确定的人脸图像对应的识别结果(如人脸图像对应性别、年龄等)，与人脸图像对应的识别结果的第一置信度。

需要说明的是，第一置信度越大，则图像对应的识别结果的可信度越高；反之，则图像对应的识别结果的可信度越低。

在本申请实施例中，可以对应用使用过程中产生的数据作为数据采集的数据源，从而不仅可以降低数据采集的难度和周期，提高数据采集的效率，还可以使得采集的数据更加符合用户的实际使用需求。

作为一种可能的实现方式，可以实时采集在应用使用过程中产生的在线数据，即每获取到用户输入的图像数据，并生成该图像数据对应的识别结果与第一置信度之后，便对该图像数据、该图像数据对应的识别结果及第一置信度构成的元数据进行采集并存储，以使在线的用户数据转化为线下数据以待使用。

作为一种可能的实现方式，还可以预设采集应用的元数据的时间周期，并根据预设的时间周期采集处于预设的时间周期内的应用使用过程中产生的在线数据。比如，预设的时间周期为一个月，上次采集应用的元数据的时间为3月1日，则可以在4月1日时对用在3月1日至4月1日之间产生的元数据进行采集。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，采集应用的元数据的具体方式，以及采集应用的元数据的时间周期，均可以根据实际需要及具体的使用场景预设，本申请实施例对此不做限定。

步骤102，对所述元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度。

其中，图像对应的视觉属性，是指对图像的内容进行深度学习，识别出的图像的属性，可以包括植物属性、人体属性、分类属性、文本属性、主体属性、色情属性、水印属性、清晰度属性等等，图像对应的各视觉属性是指从不同角度对图像的理解。比如，植物属性可以用于表示图像内容中是否包括植物，或者在确定图像内容中包括植物，还可以进一步表示植物的颜色、名称、类别等信息；人体属性可以用于表示图像内容中是否包括人体，或则在确定图像内容中包括人体时，还可以进一步表示人体对应的性别、年龄、身高、着装等信息；文本属性可以用于表示图像内容中是否包括文本，以及所包括的文本的具体内容等等。

视觉属性的第二置信度，是指对图像进行内容检测之后，确定的图像对应该视觉属性的可信度，具体的，视觉属性的第二置信度越大，则图像对应该视觉属性的可信度越高；反之，则图像对应该视觉属性的可信度越低。比如，元数据A中包括的图像为人物图像，则对元数据A中的图像进行内容检测，可以确定该图像对应的视觉属性为“人体属性”，且“人体属性”的第二置信度为95，其中，置信度的取值范围为[1,100]。

需要说明的是，图像对应的各视觉属性可以包括但不限于以上列举的情形。实际使用时，可以根据实际需要及具体的应用场景，预设图像对应的各视觉属性中包括的具体内容，本申请实施例对此不做限定。

作为一种可能的实现方式，可以预先训练识别图像对应的识别属性的识别模型，进而利用视觉属性识别模型对获取的各元数据中的每个图像进行内容检测，以确定每个图像对应的视觉属性，以及视觉属性的第二置信度。可选的，每个图像对应的视觉属性可以有多个，以从不同的角度对图像进行理解，从而提高对图像内容理解的准确度。

步骤103，根据每个图像对应的各视觉属性和各第二置信度、及所述元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式。

步骤104，根据每个图像对应的待标注方式，将所述每个图像进行标注处理。

在本申请实施例中，第一置信度可以反映元数据中图像对应的识别结果的可信度，第二置信度可以反映元数据中的图像对应的视觉属性的可信度，即第一置信度及第二置信度可以反映出应用对元数据中的图像识别的准确度。具体的，元数据中的第一置信度越大，则可以确定应用对该元数据中的图像的识别准确度越高；反之，则可以确定应用对该元数据中的图像的识别准确度越低。相应的，图像对应的视觉属性的第二置信度越高，则可以确定应用对该图像的视觉属性的识别准确度越高；反之，则可以确定应用对该图像的视觉属性的识别准确度越低。

作为一种可能的实现方式，应用对图像的识别准确度不同，可以对图像采用不同的标注方式，以在保证对图像进行准确标注的同时，提高对图像进行标注的效率。由于元数据中的识别结果是指应用对元数据中的图像的最终识别结果，即用户通过应用所需的识别结果，比如，应用为色情识别应用，则元数据中的识别结果为元数据中的图像是否为色情图像。而图像对应的各视觉属性可以从多个角度对图像进行理解，即可以从多个维度对图像进行描述，从而通过确定图像对应的各视觉属性可以进一步提高对图像理解的准确性。因此，在本申请实施例一种可能的实现形式中，由于元数据中的识别结果和第一置信度，以及每个图像对应的各视觉属性和各第二置信度，均可以从不同方面反映应用对每个图像的识别效果，从而可以根据元数据中每个图像对应的识别结果和第一置信度，以及每个图像对应的各视觉属性和各第二置信度，确定每个图像对应的待标注方式。

可选的，可以采用每个图像对应的各第二置信度及第一置信度的均值，表示应用对每个图像的识别准确度；或者也可以采用每个图像对应的各第二置信度及第一置信度的方差、标准差等数学统计特性，表示应用对每个图像的识别准确度。

举例来说，若采用每个图像对应的各第二置信度及第一置信度的均值，表示应用对每个图像的识别准确度，则图像对应的各第二置信度及第一置信度的均值越大，则应用对该图像的识别准确度越高；而图像对应的各第二置信度及第一置信度的均值越小，则应用对该图像的识别准确度越低。

需要说明的是，通过每个图像对应的各第二置信度及第一置信度的数学统计特性表示应用对每个图像识别准确度时，可以包括但不限于均值、方差、标准差等数学统计特性。实际使用时，可以根据实际需要选择应用对图像识别准确度的表示方式，本申请实施例对此不做限定。进一步的，若图像对应的第二置信度与第一置信度所处的数值范围不同，还可以首先对图像对应的第二置信度与第一置信度进行归一化处理，进而利用归一化后的第二置信度及第一置信度对应用对图像的识别准确度进行表示。

作为一种可能的实现方式，还可以预设应用对图像识别准确度的第三阈值，若应用对图像的识别准确度大于或等于第三阈值，则可以确定应用对该图像的识别准确度较高，即可以将该图像对应的待标注方式，确定为自动标注，并可以采用应用对该图像的识别结果，和/或应用确定的该图像的各视觉属性等信息，对该图像进行自动标注处理，以降低数据标注的人工参与度，提高数据标注的效率；若应用对图像的识别准确度小于第三阈值，则可以确定应用对该图像的识别准确度较低，即应用对该图像的识别结果，以及确定的图像的各视觉属性的可靠性不高，则可以将该图像对应的待标注方式，确定为人工标注，从而可以通过人工方式对该图像进行标注处理，以提高对图像标注的准确性。

举例来说，采用每个图像对应的各第二置信度及第一置信度的均值，表示应用对每个图像的识别准确度，且第一置信度及第二置信度的取值范围均为[1,100]，预设的第三阈值为80，若图像对应的各第二置信度及第一置信度的均值大于或等于80，则可以确定该图像对应的待标注方式为自动标注，并采用应用对该图像的识别结果，以及应用确定的该图像的各视觉属性等信息，对该图像进行自动标注处理；若图像对应的各第二置信度及第一置信度的均值小于80，则可以确定该图像对应的待标注方式为人工标注。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，第三阈值的具体取值可以根据实际需要以及第一置信度及第二置信度的取值范围预设，本申请实施对此不做限定。

作为另一种可能的实现方式，还可以预设第四阈值，并直接根据每个图像对应的各第二置信度及第一置信度分别与第四阈值的关系，确定每个图像对应的待标注方式。可选的，若图像对应的第一置信度大于或等于第四阈值，则可以确定该图像对应的待标注方式为自动标注，并可以采用该图像对应的识别结果对该图像进行自动标注处理；或者，若至少存在一个第二置信度大于或等于第四阈值，则可以确定该图像对应的标注方式为自动标注，并可以采用大于或等于第四阈值的各第二置信度对应的视觉属性对该图像进行自动标注处理；或者，若图像对应的第一置信度大于或等于第四阈值，且存在一个或多个第二置信度大于或等于第四阈值，也可以确定该图像对应的标注方式为自动标注，并可以采用该图像对应的识别结果及大于或等于第四阈值的一个或多个第二置信度对应的视觉属性对该图像进行自动标注处理；若图像对应的各第二置信度及第一置信度均小于第四阈值，则可以确定该图像对应的标注方式为人工标注。

需要说明的是，根据每个图像对应的各第二置信度及第一置信度，确定每个图像对应的待标注方式的方法，可以包括但不限于以上列举的情形。实际使用时，可以根据实际需要预设确定图像对应的待标注方式的方法，本申请实施例对此不做限定。

进一步的，在对获取的元数据中的每个图像进行标注之后，可以利用标注后的图像数据重新对应用的识别模型进行训练并更新，以进一步提高应用的识别准确度。即在本申请实施例一种可能的实现形式中，上述步骤104之后，还可以包括：

利用标注处理后的图像对所述应用中的图像识别模型进行更新训练，生成更新后的识别模型。

在本申请实施例中，利用确定的每个图像对应的待标注方式，对获取的元数据中的每个图像进行标注处理之后，即可利用标注处理后的图像作为训练数据，对应用中的图像识别模型进行训练，生成更新后的识别模型，从而进一步提高识别模型的识别准确度。

本申请实施例提供的图像标注方法，可以在应用使用过程中，采集应用的元数据，并对元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度，之后根据每个图像对应的各视觉属性和各第二置信度、及元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式，进而根据每个图像对应的待标注方式，将每个图像进行标注处理。由此，通过对应用使用过程中产生的元数据进行采集，并根据应用对各元数据中包括的图像的识别结果及对应的置信度，确定对每个图像的标注方式，从而降低了图像数据标注过程中的人工参与度，不仅提高了数据标注的准确率和效率，而且降低了数据标注的成本。

在本申请一种可能的实现形式中，在获取到应用的元数据之后，还可以首先对获取的元数据进行初步筛选，以去除低质量数据以及识别准确率很高的无需再次标注的数据，从而进一步缩短数据标注的周期，提高数据标注的效率，以及进一步降低数据标注的成本。

下面结合图2，对本申请实施例提供的图像标注方法进行进一步说明。

图2为本申请实施例所提供的另一种图像标注方法的流程示意图。

如图2所示，该图像标注方法，包括以下步骤：

步骤201，在应用使用过程中，采集所述应用的元数据，其中，所述元数据中包括图像、及图像对应的识别结果和第一置信度。

上述步骤201的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤202，根据所述元数据中每个图像对应的识别结果的第一置信度，对所述元数据进行过滤处理，获取第一置信度在预设范围内的第一图像集。

其中，第一图像集，是指元数据中对应的识别结果的第一置信度在预设范围内的图像的集合。

需要说明的是，在应用使用过程中获取的应用的元数据中，可能包括不常使用的、识别准确度特别低的等没有标注价值的低质量元数据，或者识别准确度很高，从而无需进行再次标注的元数据，因此，在本申请实施例中，可以在获取到应用的元数据之后，对获取的应用的元数据进行筛选处理，以去除没有标注价值的低质量元数据，以及识别准确度很高的无需进行再次标注的元数据。

作为一种可能的实现方式，由于图像对应的识别结果的第一置信度，可以反映应用对图像的识别准确度，从而可以根据元数据中每个图像对应的识别结果的第一置信度，对元数据进行过滤处理，以获取第一置信度在预设范围内的各图像，并利用获取的第一置信度在预设范围内的各图像构成第一图像集。

具体的，由于图像对应的识别结果的第一置信度越大，则应用对该图像的识别准确度越高；反之，应用对该图像的识别准确度越低，因此，可以将对应的识别结果的第一置信度很小的图像(即识别准确度很低的图像)，以及对应的识别结果的第一置信度很大的图像(即识别准确度很高的图像)进行滤除，以获取对应的识别结果的第一置信度处于中间水平的图像构成第一图像集，即第一图像集中各图像对应的识别结果的第一置信度所处的预设范围，可以处于第一置信度的取值范围的中间段。

举例来说，第一置信度的取值范围为[1,100]，则预设范围可以是[40,80]，即将元数据中对应的识别结果的第一置信度小于40的图像，以及对应的识别结果第一置信度大于80的图像进行滤除，获取对应的识别结果的第一置信度处于[40,80]取值范围内的图像构成第一图像集。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要及具体的应用场景，预设第一图像集中的各图像对应的识别结果的第一置信度所处的预设范围，本申请实施例对此不做限定。

进一步的，应用的业务类型不同，对识别结果的准确度的要求也可能不同，即对识别结果的第一置信度的要求不同，从而在对元数据进行过程处理时，可以根据应用的业务类型，对第一图像集中各图像对应的识别结果的第一置信度所处的预设范围进行调整。即在本申请实施例一种可能的实现形式中，上述步骤202，可以包括：

根据所述应用对应的业务类型，确定置信度阈值；

根据所述置信度阈值及每个图像对应的识别结果的第一置信度，对所述元数据进行过滤处理。

其中，置信度阈值，是指第一图像集中各图像对应的识别结果的第一置信度所处的预设范围的最大值。

需要说明的是，应用对应的业务类型不同，对图像的识别准确度也可能不同。比如，对于人脸识别类应用，对图像识别准确度的要求比较高(如识别结果的第一置信度大于95时，才可以认为识别结果很准确)；又如，对于色情识别类应用，对图像识别准确度的要求相对较低(如识别结果的第一置信度大于80，即可以认为识别结果很准确)。因此，在根据元数据中每个图像对应的识别结果的第一置信度，对元数据进行过滤处理时，还可以根据应用对应的业务类型，确定置信度阈值，即可以对第一图像集中各图像对应的识别结果的第一置信度所处的预设范围灵活调整，以使获取的第一图像集符合应用的业务需要。

作为一种可能的实现方式，若应用对应的业务类型对图像识别准确度的要求较高，则可以将置信度阈值确定为较大的值；若应用对应的业务类型对图像识别准确度的要求相对较低，则可以将置信度阈值确定为相对较小的值。

举例来说，若应用对应的业务类型为人脸识别，即对图像的识别准确对要求较高，则可以将置信度阈值确定为95，即第一图像集中各图像对应的识别结果的第一置信度所处的预设范围可以为[40,95]；若应用对应的业务类型为色情识别，即对图像的识别准确度的要求较低，则可以将置信度阈值确定为80，即第一图像集中各图像对应的识别结果的第一置信度所处的预设范围可以为[40,80]。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要及具体的应用场景，确定置信度阈值的具体取值，本申请实施例对此不做限定。

步骤203，对所述第一图像集中的每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度。

在本申请实施例中，在对元数据进行过滤处理之后，即可仅对获取的第一图像集中的每个图像进行内容检测，以确定每个图像对应的各视觉属性即各视觉属性的各第二置信度。

上述步骤203的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤204，根据所述应用对应的业务类型，确定所述各视觉属性分别对应的各第一权重、及所述元数据中的识别结果对应的第二权重。

需要说明的是，各视觉属性是对从不同角度对图像的理解和描述，而应用对应的业务类型不同，其侧重的视觉属性也可能不同，即各视觉属性对应用的重要程度不同，从而使得应用对各视觉属性识别的准确度的要求不同。比如，对于人体识别类应用，人体属性对该类应用的重要程度很高，即该类应用对人体属性识别的准确度要求较高，而文本属性对该类应用的重要程度则相对较低，即该类应用对文本属性识别的准确度要求较低；而对于文本识别类应用，文本属性对该类应用的重要程度很高，即该类应用对文本属性识别的准确度要求较高，而人体属性对该类应用的重要程度则相对较低，即该类应用对人体属性识别的准确度要求较低。因此，在本申请实施例中，可以根据各视觉属性对应用的重要程度，对各视觉属性及识别结果赋予相应的权重，从而使得确定的各图像对应的待标注方式更加符合应用的业务需求。

作为一种可能的实现方式，可以根据应用对应的业务类型，确定各视觉属性分别对应用的重要程度，进而根据各数据属性的重要程度，确定各视觉属性对应的各第一权重。具体的，视觉属性的重要程度越高，则该视觉属性对应的第一权重越大；视觉属性的重要程度越低，则该视觉属性对应的第一权重越小。由于对于应用来说，元数据中的识别结果的重要程度很高，从而可以将元数据中识别结果对应的第二权重确定为较大的值，比如，可以大于各视觉属性对应的各第一权重。

举例来说，应用对应的业务类型为“人体识别”，视觉属性中包括“人体属性”和“文本属性”，从而可以确定“人体属性”的重要程度高于“文本属性”的重要程度，则可以将“人体属性”对应的第一权重确定为0.4，将“文本属性”对应的第一权重确定为0.1，将识别结果对应的第二权重确定为0.5。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要及具体的应用场景，确定各第一权重及第二权重的具体取值和约束关系，本申请实施例对此不做限定。

步骤205，根据所述各视觉属性分别对应的各第一权重、元数据中的识别结果对应的第二权重、每个图像对应的各视觉属性的各第二置信度、及所述元数据中的识别结果的第一置信度，确定每个图像对应的融合后的总置信度。

作为一种可能的实现方式，根据应用对应的业务类型，确定出各视觉属性分别对应的各第一权重以及元数据中的识别结果对应的第二权重之后，即可根据每个图像对应的各视觉属性的各第二置信度，以及元数据中的识别结果的第一置信度，确定每个图像对应的融合后的总置信度。

优选的，每个图像对应的融合后的总置信度可以是元数据中每个图像对应的识别结果的第一置信度与第二权重的乘积，与各视觉属性的各第二置信度与相应的第一权重的乘积之和，即图像对应的融合后的总置信度可以由公式(1)确定。

其中，c为图像对应的融合后的总置信度，c₀为该图像对应的识别结果的第一置信度，w₀为识别结果的第二权重，c_i为该图像对应的第i各视觉属性的第二置信度，w_i为第i个视觉属性的第一权重，i为视觉属性的序号，n为视觉属性的数量。

进一步的，若第一置信度与各第二置信度所处的取值范围不同，则可以首先对第一置信度即各第二置信度进行归一化处理，以使第一置信度与各第二置信度处于相同的取值范围内，进而根据归一化后的第一置信度与各第二置信度，以及公式(1)确定每个图像对应的融合后的总置信度。

步骤206，根据每个图像对应的融合后的总置信度，确定每个图像对应的待标注方式。

作为一种可能的实现方式，应用对图像的识别准确度不同，可以对图像采用不同的标注方式，以在保证对图像进行准确标注的同时，提高对图像进行标注的效率。由于每个图像对应的融合后的总置信度，可以从整体上反映应用对每个图像的识别准确度，从而可以根据每个图像对应的融合后的总置信度，确定每个图像对应的待标注方式。

具体的，对于识别准确度较高的图像，可以对该图像进行自动标注，以提高图像标注的准确率和效率；而对应识别准确度较低的图像，可以对该图像进行人工标注，以保证图像标注的正确性。即在本申请实施例一种可能的实现形式中，上述步骤206，可以包括：

若第一图像对应的融合后的总置信度大于或等于第一阈值，则确定所述第一图像为优选标注图像；

若第二图像对应的融合后的总置信度小于第一阈值、且大于或等于第二阈值，则确定所述第二图像为人工标注图像；

若第三图像对应的融合后的总置信度小于第二阈值，则确定所述第三图像为待清理图像。

在本申请实施例一种可能的实现形式中，若第一图像对应的融合后的总置信度大于或等于第一阈值，即应用对第一图像的识别准确度很高，则可以将第一图像确定为优选标注图像，即可以将第一图像对应的待标注方式确定为自动标注；若第二图像第一的融合后的总置信度小于第一阈值、且大于或等于第二阈值，即应用对第二图像的识别准确度较低，则可以将第二图像确定为人工标注图像，即可以将第二图像的待标注方式确定为人工标注；若第三图像对应的融合后的总置信度小于第二阈值，即应用对第三图像的识别准确度很低，则可以将第三图像确定为待清理图像，即可以认为第三图像为对改进应用的识别准确率的作用很小的低质量图像，从而可以将第三图像进行删除处理，不对其进行标注，以进一步降低需要进行标注的图像数量，提高图像标注的效率。

步骤207，根据每个图像对应的待标注方式，将所述每个图像进行标注处理。

在本申请实施例中，确定出每个图像对应的待标注方式之后，即可以根据每个图像对应的待标注方式，对每个图像进行标注处理。具体的，若确定图像对应的待标注方式为自动标注，则可以采用应用对该图像的识别结果，和/或应用确定的该图像的各视觉属性等信息，对该图像进行自动标注处理，以降低数据标注的人工参与度，提高数据标注的效率；若确定图像对应的待标注方式为人工标注，则可以将图像推送给相应的标注人员，以通过人工方式对该图像进行标注处理，从而提高对图像标注的准确性。

本申请实施例提供的图像标注方法，可以根据获取的应用的元数据中每个图像对应的识别结果的第一置信度，对元数据进行过滤处理，获取第一置信度在预设范围内的第一图像集，并对第一图像集中的每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度，之后根据应用对应的业务类型，确定各视觉属性分别对应的各第一权重、及元数据中的识别结果对应的第二权重，以及根据各视觉属性分别对应的各第一权重、元数据中的识别结果对应的第二权重、每个图像对应的各视觉属性的各第二置信度、及元数据中的识别结果的第一置信度，确定每个图像对应的融合后的总置信度，进而根据每个图像对应的融合后的总置信度，确定每个图像对应的待标注方式，以根据每个图像对应的待标注方式，将每个图像进行标注处理。由此，通过根据第一置信度对元数据进行过滤处理，并根据过滤处理后获得的第一图像集中的各图像对应的融合后的总置信度确定每个图像对应的待标注方式，从而不仅降低了图像数据标注过程中的人工参与度，而且降低了需要标注的图像数量，进一步提高了数据标注的准确率和效率，而且降低了数据标注的成本。

为了实现上述实施例，本申请还提出一种图像标注装置。

图3为本申请实施例提供的一种图像标注装置的结构示意图。

如图3所示，该图像标注装置30，包括：

采集模块31，用于在应用使用过程中，采集所述应用的元数据，其中，所述元数据中包括图像、及图像对应的识别结果和第一置信度；

第一确定模块32，用于对所述元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度；

第二确定模块33，用于根据每个图像对应的各视觉属性和各第二置信度、及所述元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式；

标注模块34，用于根据每个图像对应的待标注方式，将所述每个图像进行标注处理。

在实际使用时，本申请实施例提供的图像标注装置，可以被配置在任意电子设备中，以执行前述图像标注方法。

本申请实施例提供的图像标注装置，可以在应用使用过程中，采集应用的元数据，并对元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度，之后根据每个图像对应的各视觉属性和各第二置信度、及元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式，进而根据每个图像对应的待标注方式，将每个图像进行标注处理。由此，通过对应用使用过程中产生的元数据进行采集，并根据应用对各元数据中包括的图像的识别结果及对应的置信度，确定对每个图像的标注方式，从而降低了图像数据标注过程中的人工参与度，不仅提高了数据标注的准确率和效率，而且降低了数据标注的成本。

在本申请一种可能的实现形式中，上述图像标注装置30，还包括：

过滤模块，用于根据所述元数据中每个图像对应的识别结果的第一置信度，对所述元数据进行过滤处理，获取第一置信度在预设范围内的第一图像集；

相应的，上述第一确定模块32，包括：

检测单元，用于对所述第一图像集中的每个图像进行内容检测。

进一步的，在本申请另一种可能的实现形式中，上述过滤模块，包括：

第一确定单元，用于根据所述应用对应的业务类型，确定置信度阈值；

过滤单元，用于根据所述置信度阈值及每个图像对应的识别结果的第一置信度，对所述元数据进行过滤处理。

在本申请一种可能的实现形式中，上述第二确定模块，包括：

第二确定单元，用于根据所述应用对应的业务类型，确定所述各视觉属性分别对应的各第一权重、及所述元数据中的识别结果对应的第二权重；

第三确定单元，用于根据所述各视觉属性分别对应的各第一权重、元数据中的识别结果对应的第二权重、每个图像对应的各视觉属性的各第二置信度、及所述元数据中的识别结果的第一置信度，确定每个图像对应的融合后的总置信度；

第四确定单元，用于根据每个图像对应的融合后的总置信度，确定每个图像对应的待标注方式。

进一步的，在本申请另一种可能的实现形式中，上述第四确定单元，具体用于：

若第一图像对应的融合后的总置信度大于或等于第一阈值，则确定所述第一图像为优选标注图像；

若第二图像对应的融合后的总置信度小于第一阈值、且大于或等于第二阈值，则确定所述第二图像为人工标注图像；

若第三图像对应的融合后的总置信度小于第二阈值，则确定所述第三图像为待清理图像。

进一步的，在本申请再一种可能的实现形式中，上述图像标注装置30，还包括：

更新模块，用于利用标注处理后的图像对所述应用中的图像识别模型进行更新训练，生成更新后的识别模型。

需要说明的是，前述对图1、图2所示的图像标注方法实施例的解释说明也适用于该实施例的图像标注装置30，此处不再赘述。

本申请实施例提供的图像标注装置，可以根据获取的应用的元数据中每个图像对应的识别结果的第一置信度，对元数据进行过滤处理，获取第一置信度在预设范围内的第一图像集，并对第一图像集中的每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度，之后根据应用对应的业务类型，确定各视觉属性分别对应的各第一权重、及元数据中的识别结果对应的第二权重，以及根据各视觉属性分别对应的各第一权重、元数据中的识别结果对应的第二权重、每个图像对应的各视觉属性的各第二置信度、及元数据中的识别结果的第一置信度，确定每个图像对应的融合后的总置信度，进而根据每个图像对应的融合后的总置信度，确定每个图像对应的待标注方式，以根据每个图像对应的待标注方式，将每个图像进行标注处理。由此，通过根据第一置信度对元数据进行过滤处理，并根据过滤处理后获得的第一图像集中的各图像对应的融合后的总置信度确定每个图像对应的待标注方式，从而不仅降低了图像数据标注过程中的人工参与度，而且降低了需要标注的图像数量，进一步提高了数据标注的准确率和效率，而且降低了数据标注的成本。为了实现上述实施例，本申请还提出一种电子设备。

图4为本发明一个实施例的电子设备的结构示意图。

如图4所示，上述电子设备200包括：

存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本申请实施例所述的图像标注方法。

总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。

电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。

需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本申请实施例的图像标注方法的解释说明，此处不再赘述。

本申请实施例提供的电子设备，可以执行如前所述的图像标注方法，在应用使用过程中，采集应用的元数据，并对元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度，之后根据每个图像对应的各视觉属性和各第二置信度、及元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式，进而根据每个图像对应的待标注方式，将每个图像进行标注处理。由此，通过对应用使用过程中产生的元数据进行采集，并根据应用对各元数据中包括的图像的识别结果及对应的置信度，确定对每个图像的标注方式，从而降低了图像数据标注过程中的人工参与度，不仅提高了数据标注的准确率和效率，而且降低了数据标注的成本。

为了实现上述实施例，本申请还提出一种计算机可读存储介质。

其中，该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现本申请实施例所述的图像标注方法。

为了实现上述实施例，本申请再一方面实施例提供一种计算机程序，该程序被处理器执行时，以实现本申请实施例所述的图像标注方法。

一种可选实现形式中，本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像标注方法，其特征在于，包括：

在应用使用过程中，采集所述应用的元数据，其中，所述元数据中包括图像、及图像对应的识别结果和第一置信度；

对所述元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度；

根据每个图像对应的各视觉属性和各第二置信度、及所述元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式；

根据每个图像对应的待标注方式，将所述每个图像进行标注处理。

2.如权利要求1所述的方法，其特征在于，所述对所述元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度之前，还包括：

根据所述元数据中每个图像对应的识别结果的第一置信度，对所述元数据进行过滤处理，获取第一置信度在预设范围内的第一图像集；

所述对所述元数据中每个图像进行内容检测，包括：

对所述第一图像集中的每个图像进行内容检测。

3.如权利要求2所述的方法，其特征在于，所述根据所述元数据中每个图像对应的识别结果的第一置信度，对所述元数据进行过滤处理，包括：

根据所述应用对应的业务类型，确定置信度阈值；

根据所述置信度阈值及每个图像对应的识别结果的第一置信度，对所述元数据进行过滤处理。

4.如权利要求1所述的方法，其特征在于，所述根据每个图像对应的各视觉属性和各第二置信度、及所述元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式，包括：

根据所述应用对应的业务类型，确定所述各视觉属性分别对应的各第一权重、及所述元数据中的识别结果对应的第二权重；

根据所述各视觉属性分别对应的各第一权重、元数据中的识别结果对应的第二权重、每个图像对应的各视觉属性的各第二置信度、及所述元数据中的识别结果的第一置信度，确定每个图像对应的融合后的总置信度；

根据每个图像对应的融合后的总置信度，确定每个图像对应的待标注方式。

5.如权利要求4所述的方法，其特征在于，所述根据每个图像对应的融合后的总置信度，确定每个图像对应的待标注方式，包括：

若第一图像对应的融合后的总置信度大于或等于第一阈值，则确定所述第一图像为优选标注图像；

若第二图像对应的融合后的总置信度小于第一阈值、且大于或等于第二阈值，则确定所述第二图像为人工标注图像；

若第三图像对应的融合后的总置信度小于第二阈值，则确定所述第三图像为待清理图像。

6.如权利要求1-5任一所述的方法，其特征在于，所述将所述每个图像进行标注处理之后，还包括：

利用标注处理后的图像对所述应用中的图像识别模型进行更新训练，生成更新后的识别模型。

7.一种图像标注装置，其特征在于，包括：

采集模块，用于在应用使用过程中，采集所述应用的元数据，其中，所述元数据中包括图像、及图像对应的识别结果和第一置信度；

第一确定模块，用于对所述元数据中每个图像进行内容检测，确定每个图像对应的各视觉属性及各视觉属性的各第二置信度；

第二确定模块，用于根据每个图像对应的各视觉属性和各第二置信度、及所述元数据中的识别结果和第一置信度，确定每个图像对应的待标注方式；

标注模块，用于根据每个图像对应的待标注方式，将所述每个图像进行标注处理。

8.如权利要求7所述的装置，其特征在于，还包括：

过滤模块，用于根据所述元数据中每个图像对应的识别结果的第一置信度，对所述元数据进行过滤处理，获取第一置信度在预设范围内的第一图像集；

所述第一确定模块，包括：

检测单元，用于对所述第一图像集中的每个图像进行内容检测。

9.如权利要求8所述的装置，其特征在于，所述过滤模块，包括：

第一确定单元，用于根据所述应用对应的业务类型，确定置信度阈值；

过滤单元，用于根据所述置信度阈值及每个图像对应的识别结果的第一置信度，对所述元数据进行过滤处理。

10.如权利要求7所述的装置，其特征在于，所述第二确定模块，包括：

第二确定单元，用于根据所述应用对应的业务类型，确定所述各视觉属性分别对应的各第一权重、及所述元数据中的识别结果对应的第二权重；

第三确定单元，用于根据所述各视觉属性分别对应的各第一权重、元数据中的识别结果对应的第二权重、每个图像对应的各视觉属性的各第二置信度、及所述元数据中的识别结果的第一置信度，确定每个图像对应的融合后的总置信度；

第四确定单元，用于根据每个图像对应的融合后的总置信度，确定每个图像对应的待标注方式。

11.如权利要求10所述的装置，其特征在于，所述第四确定单元，具体用于：

若第一图像对应的融合后的总置信度大于或等于第一阈值，则确定所述第一图像为优选标注图像；

若第二图像对应的融合后的总置信度小于第一阈值、且大于或等于第二阈值，则确定所述第二图像为人工标注图像；

若第三图像对应的融合后的总置信度小于第二阈值，则确定所述第三图像为待清理图像。

12.如权利要求7-11任一所述的装置，其特征在于，还包括：

更新模块，用于利用标注处理后的图像对所述应用中的图像识别模型进行更新训练，生成更新后的识别模型。

13.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的图像标注方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的图像标注方法。

Images