CN112765388A

CN112765388A - 一种目标数据标注方法、系统、设备及介质

Info

Publication number: CN112765388A
Application number: CN202110134474.5A
Authority: CN
Inventors: 董师周; 田国栋
Original assignee: Yuncong Technology Group Co Ltd
Current assignee: Yuncong Technology Group Co Ltd
Priority date: 2021-01-29
Filing date: 2021-01-29
Publication date: 2021-05-07

Abstract

本发明提供一种目标数据标注方法、系统、设备及介质，利用目标数据关联聚类算法对多个单目标图像中的目标数据进行聚类，形成多个簇；从每个簇中选择至少部分目标数据进行关联，并基于关联结果对至少部分目标数据进行聚类，以及根据至少部分目标数据的聚类结果将多个簇合并成多个新簇；在合并后的每个新簇中任意选择一个目标数据进行一个或多个属性标注，并基于属性标注结果自动标注同一个新簇中其余的目标数据。本发明不仅可以简化人工标注的难度和工作量，保证数据标注的质量；还突破了传统标注方式中完全采用人工标注时，无法对海量的人脸数据或人体数据进行完全标注的局限性，改变了传统中完全采用人工标注的方式。

Description

一种目标数据标注方法、系统、设备及介质

技术领域

本发明涉及数据标注技术领域，特别是涉及一种目标数据标注方法、系统、设备及介质。

背景技术

目前，在一些算法研发中需要海量的有标注的人脸数据或人体数据，从而据供给模型训练与算法性能测试。但是完全采用人工对大量的人脸数据或人体数据进行标注是一件非常耗费人力、物力和财力的事情。同时，完全采用人工标注的方式对海量的人脸人体数据进行标注也几乎是不可能实现的，而且还会严重阻碍算法研发流程和性能提升。更严重的是，对海量的人脸数据或人体数据进行完全人工的标注也难以保证最终数据标注质量。因为让标注人员同时记住海量的人脸和外貌特征，并进行区分是一件几乎不可能的事情。另外，同一个人的人脸数据或人体数据往往有着相同的属性类别，但是却需要重复的标注多次，这也严重降低了标注的效率。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种标注单目标图像中人脸数据或人体数据的方法、系统、设备及介质，用于解决现有技术中存在的技术问题。

为实现上述目的及其他相关目的，本发明提供一种目标数据标注方法，包括以下步骤：

利用目标数据关联聚类算法对多个单目标图像中的目标数据进行聚类，形成多个簇；其中，每个单目标图像仅包括一个目标数据，所述目标数据包括人脸数据或人体数据；

从每个所述簇中选择至少部分目标数据进行关联，并基于关联结果对所述至少部分目标数据进行聚类，以及根据所述至少部分目标数据的聚类结果将多个所述簇合并成多个新簇；

在合并后的每个新簇中任意选择一个目标数据进行一个或多个属性标注，并基于属性标注结果自动标注同一个新簇中其余的目标数据；其中，合并后的每个新簇仅包括同一人的人脸或人体数据。

可选地，根据所述至少部分目标数据的聚类结果将多个所述簇合并成多个新簇后，还包括：

判断发生合并的簇数量是否满足预设阈值；

若发生合并的簇数量不满足预设阈值，则从合并后的新簇中重新选择至少部分目标数据进行关联，并在关联后对重新选择的至少部分目标数据进行聚类，以及根据聚类结果进行簇合并，直至发生合并的簇数量满足预设阈值；

若发生合并的簇数量满足预设阈值，则在最终合并后的每个新簇中任意选择一个目标数据进行一个或多个属性标注，基于属性标注结果自动标注同一个新簇中其余的目标数据。

可选地，还包括：

计算任意两个新簇之间的相似度，根据相似度计算结果为每个新簇推荐一个或多个相似簇；

选择每个新簇需要合并的相似簇，并将选择出的相似簇与对应的新簇进行簇间合并形成目标簇；

在每个目标簇中任意选择一个目标数据进行一个或多个属性标注，基于属性标注结果自动标注同一个目标簇中其余的目标数据；其中，每个目标簇中仅包括同一人的人脸或人体数据。

可选地，在对同一个簇中的至少部分人脸数据或至少部分人体数据进行关联前，还包括：挑选出每个簇中不属于同一个人的人脸数据或人体数据，并根据挑选出的人脸数据或人体数据形成一个或多个单独的新簇。

本发明还提供一种目标数据标注系统，包括有：

聚类模块，用于利用目标数据关联聚类算法对多个单目标图像中的目标数据进行聚类，形成多个簇；其中，每个单目标图像仅包括一个目标数据，所述目标数据包括人脸数据或人体数据；

关联合并模块，用于从每个所述簇中选择至少部分目标数据进行关联，并基于关联结果对所述至少部分目标数据进行聚类，以及根据所述至少部分目标数据的聚类结果将多个所述簇合并成多个新簇；

标注模块，用于在合并后的每个新簇中任意选择一个目标数据进行一个或多个属性标注，以及基于属性标注结果自动标注同一个新簇中其余的目标数据；其中，合并后的每个新簇仅包括同一人的人脸或人体数据。

可选地，所述关联合并模块根据所述至少部分目标数据的聚类结果将多个所述簇合并成多个新簇后，还包括：

判断发生合并的簇数量是否满足预设阈值；

可选地，还包括：

本发明还提供有一种计算机设备，其特征在于，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。

本发明还提供有一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。

如上所述，本发明提供一种目标数据标注方法、系统、设备及介质，具有以下有益效果：

利用目标数据关联聚类算法对多个单目标图像中的目标数据进行聚类，形成多个簇；从每个簇中选择至少部分目标数据进行关联，并基于关联结果对至少部分目标数据进行聚类，以及根据至少部分目标数据的聚类结果将多个簇合并成多个新簇；在合并后的每个新簇中任意选择一个目标数据进行一个或多个属性标注，并基于属性标注结果自动标注同一个新簇中其余的目标数据；其中，合并后的每个新簇仅包括同一人的人脸或人体数据；每个单目标图像仅包括一个目标数据，目标数据包括人脸数据或人体数据。本发明针对目前存在的问题，设计了一套人机交互式的人脸数据或人体数据多属性自动化标注流程，整个标注流程不仅可以简化人工标注的难度和工作量，而且还可以保证数据标注的质量。即本发明利用人脸或人体关联聚类算法来对人脸数据或人体数据进行聚类，得到一个或多个簇；选择某个簇中的任意一个人脸数据或人体数据进行一个或多个属性标注后，都能够通过完成属性标注后的人脸数据或人体数据自动标注该簇中剩余的人脸数据或人体数据，从而减少了人工标注的工作量，使海量的人脸数据或人体数据的标注成为可能。而且本发明突破了传统标注方式中完全采用人工标注时，无法对海量的人脸数据或人体数据进行完全标注的局限性，改变了传统中完全采用人工标注的方式。同时，通过本发明标注后的人脸数据或人体数据，还可以应用在跨境追踪、行人重识别、人脸识别、人体识别、行人属性分类、人脸属性分类以及人体属性分类等算法研发中。

附图说明

图1为一实施例提供的目标数据标注方法的流程示意图；

图2为另一实施例提供的目标数据标注方法的流程示意图；

图3为一实施例提供的目标数据标注系统的硬件结构示意图；

图4为一实施例提供的终端设备的硬件结构示意图；

图5为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 音频组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种目标数据标注方法，其特征在于，包括以下步骤：

S100，利用目标数据关联聚类算法对多个单目标图像中的目标数据进行聚类，形成多个簇；其中，每个单目标图像仅包括一个目标数据，目标数据包括人脸数据或人体数据；

S200，从每个所述簇中选择至少部分目标数据进行关联，并基于关联结果对所述至少部分目标数据进行聚类，以及根据所述至少部分目标数据的聚类结果将多个所述簇合并成多个新簇；

S300，在合并后的每个新簇中任意选择一个目标数据进行一个或多个属性标注，并基于属性标注结果自动标注同一个新簇中其余的目标数据；其中，合并后的每个新簇仅包括同一人的人脸或人体数据。

本方法针对目前存在的问题，设计了一套人机交互式的人脸数据或人体数据多属性自动化标注流程，整个标注流程不仅可以简化人工标注的难度和工作量，而且还可以保证数据标注的质量。即本方法利用人脸或人体关联聚类算法来对人脸数据或人体数据进行聚类，得到一个或多个簇；选择某个簇中的任意一个人脸数据或人体数据进行一个或多个属性标注后，都能够通过完成属性标注后的人脸数据或人体数据自动标注该簇中剩余的人脸数据或人体数据，从而减少了人工标注的工作量，使海量的人脸数据或人体数据的标注成为可能。而且本方法突破了传统标注方式中完全采用人工标注时，无法对海量的人脸数据或人体数据进行完全标注的局限性，改变了传统中完全采用人工标注的方式。同时，通过本方法标注后的人脸数据或人体数据，还可以应用在跨境追踪或行人重识别、人脸识别、人体识别、行人属性分类、人脸属性分类以及人体属性分类等算法研发中。其中，跨境追踪：又称为行人重识别，是指通过关联同一个人在不同摄像下的人脸或人体数据，还原整个人的行动轨迹的技术。人脸识别：是指通过人脸识别出身份的技术。人脸、行人属性分类：是指识别出某个人脸、人体的属性种类，常见的人脸属性包括性别、年龄、表情、发色、是否戴眼镜等，常见的人体属性包括服饰类别，服饰颜色，是否背包，是否有手提物等。

在一示例性实施例中，步骤S200根据至少部分目标数据的聚类结果将步骤S100中的多个簇合并成多个新簇后，还包括：判断发生合并的簇数量是否满足预设阈值；若发生合并的簇数量不满足预设阈值，则从合并后的新簇中重新选择至少部分目标数据进行关联，并在关联后对重新选择的至少部分目标数据进行聚类，以及根据聚类结果进行簇合并，直至发生合并的簇数量满足预设阈值；若发生合并的簇数量满足预设阈值，则在最终合并后的每个新簇中任意选择一个目标数据进行一个或多个属性标注，基于属性标注结果自动标注同一个新簇中其余的目标数据。其中，某簇的至少部分目标数据包括该簇的部分目标数据、或该簇的全部目标数据。

具体地，判断发生合并的簇数量是否满足预设阈值；

若发生合并的簇数量不满足预设阈值，则从合并后的新簇中重新选择至少部分目标数据进行关联，并在关联后对重新选择的至少部分目标数据进行聚类，以及根据聚类结果继续进行簇合并；

继续判断发生合并后的簇数量是否满足预设阈值，若发生合并的簇数量不满足预设阈值，则迭代执行上一步骤，直至发生合并的簇数量满足预设阈值；

作为示例，发生合并的簇数量是否满足预设阈值的条件例如可以是：发生合并的簇数量是否小于等于K，若发生合并的簇数量大于K，则发生合并的簇数量不满足预设阈值；反之，若发生合并的簇数量小于等于K，则发生合并的簇数量满足预设阈值。其中，本申请实施例中的K值可以根据实际情况进行具体数值限定，本申请实施例不对其进行具体数值限定。

根据上述记载，在一示例性实施例中，若步骤S100中至少部分目标数据为步骤S100中该簇的全部目标数据，则有：

关联步骤S100中每一个簇中的所有目标数据，并在关联完成后利用目标数据关联聚类算法对步骤S100中所有簇的目标数据进行聚类，并根据聚类结果将步骤S100中的簇合并成多个新簇。

判断发生合并的簇数量是否满足预设阈值；

若发生合并的簇数量不满足预设阈值，则从每一个新簇中选择该簇的全部目标数据，并关联同一个新簇中选择出的全部目标数据；且在关联后对重新选择的所有目标数据进行聚类，以及根据聚类结果继续进行簇合并；

继续判断发生合并后的簇数量是否满足预设阈值，若发生合并的簇数量仍然不满足预设阈值，则迭代执行上一步骤，直至发生合并的簇数量满足预设阈值；

若发生合并的簇数量满足预设阈值，则在最终合并后的每个新簇中任意选择一个目标数据进行一个或多个属性标注，基于属性标注结果自动标注同一个新簇中其余的目标数据。或者，在发生合并的簇数量满足预设阈值后，计算任意两个新簇之间的相似度，根据相似度计算结果为每个新簇推荐一个或多个相似簇；选择每个新簇需要合并的相似簇，并将选择出的相似簇与对应的新簇进行簇间合并形成目标簇；在每个目标簇中任意选择一个目标数据进行一个或多个属性标注，基于属性标注结果自动标注同一个目标簇中其余的目标数据；其中，每个目标簇中仅包括同一人的人脸或人体数据。

本申请实施例通过对所有人脸数据或人体数据进行聚类形成一个或多个簇，并在聚类后让每个簇中仅包括同一人的人脸数据或人体数据，方便对这些人脸数据或人体数据、以及与这些人脸数据或人体数据对应的单目标图像完成一些重复属性的标注，从而提高标注效率。

根据上述记载，在一示例性实施例中，若步骤S100中至少部分目标数据为步骤S100中该簇的部分目标数据，则有：

从步骤S100中的每个簇中选出一个或多个簇代表数据；

对同一个簇中的一个或多个簇代表数据进行关联，并在关联后通过目标数据关联聚类算法对所有簇代表数据进行半监督聚类，并清理半监督聚类结果中发生了合并的簇代表数据，以及基于清理结果将步骤S100中的多个簇合并成多个新簇；

判断发生合并的簇数量是否满足预设阈值；

若发生合并的簇数量不满足预设阈值，则从每一个新簇中选择该簇的簇代表数据，并关联同一个新簇中选择出的所有簇代表数据；且在关联后对重新选择的所有簇的簇代表数据进行聚类，以及根据聚类结果继续进行簇合并；

作为一个示例，若目标数据为人脸数据，则可以从每个簇中选出M个人脸数据作为该簇的簇代表数据，对同一个簇的簇代表数据进行关联，即对同一个簇中选出的M个人脸数据进行关联，并在关联后通过人脸关联聚类算法对所有簇的簇代表数据进行半监督聚类，以及清理半监督聚类结果中发生了合并的簇代表数据，把每个簇中不属于同一个人的人脸数据删除。同时，利用清理过的簇代表数据的聚类结果对整个簇的人脸数据进行合并。判断发生合并的簇数量是否满足预设阈值K，本申请实施例中的预设阈值K的数值可以根据实际合并需要进行预先设置。例如可以判断发生合并的簇的个数是否大于K，如果大于K，则认为发生合并的簇数量不满足预设阈值，说明已有的簇还可能有需要合并的簇。则放宽聚类的阈值，继续进行自动的簇间合并，迭代执行对同一个簇的簇代表数据进行关联，并在关联后通过人脸关联聚类算法对所有簇的簇代表数据进行半监督聚类，以及清理半监督聚类结果中发生了合并的簇代表数据，把每个簇中不属于同一个人的人脸数据删除，并利用清理过的簇代表数据的聚类结果对整个簇的人脸数据进行合并，直至发生合并的簇数量小于等于K。在发生合并的簇数量小于等于K后，重新从每个新簇中任意选出一个新的簇代表数据，并计算任意两个新的簇代表数据之间的相似度，以及将这两个新的簇代表数据的相似作为对应的两个新簇之间的相似度。在所有新簇进行两两组合后，分别计算对应的相似度，并获取对所有新簇两两组合后的相似度计算结果，根据相似度计算结果为每个新簇推荐一个或多个相似簇。根据推荐结果对每个新簇的相似簇按照相似进行排序，根据排序结果选择每个新簇需要合并的相似簇，按照选择的相似簇再次进行簇间合并，得到最终合并后的一个或多个新簇；其中，最终合并后的每个新簇中仅包括同一人的人脸数据。

作为另一个示例，若目标数据为人体数据，则可以从每个簇中选出N个人体数据作为该簇的簇代表数据，对同一个簇的簇代表数据进行关联，即对同一个簇中选出的N个人体数据进行关联，并在关联后通过人体关联聚类算法对所有簇的簇代表数据进行半监督聚类，以及清理半监督聚类结果中发生了合并的簇代表数据，把每个簇中不属于同一个人的人体数据删除。同时，利用清理过的簇代表数据的聚类结果对整个簇的人体数据进行合并。判断发生合并的簇数量是否满足预设阈值K，本申请实施例中的预设阈值K的数值可以根据实际合并需要进行预先设置。例如可以判断发生合并的簇的个数是否大于K，如果大于K，则认为发生合并的簇数量不满足预设阈值，说明已有的簇还可能有需要合并的簇。则放宽聚类的阈值，继续进行自动的簇间合并，迭代执行对同一个簇的簇代表数据进行关联，并在关联后通过人体关联聚类算法对所有簇的簇代表数据进行半监督聚类，以及清理半监督聚类结果中发生了合并的簇代表数据，把每个簇中不属于同一个人的人体数据删除，并利用清理过的簇代表数据的聚类结果对整个簇的人体数据进行合并，直至发生合并的簇数量小于等于K。在发生合并的簇数量小于等于K后，重新从每个新簇中任意选出一个新的簇代表数据，并计算任意两个新的簇代表数据之间的相似度，以及将这两个新的簇代表数据的相似作为对应的两个新簇之间的相似度。在所有新簇进行两两组合后，分别计算对应的相似度，并获取对所有新簇两两组合后的相似度计算结果，根据相似度计算结果为每个新簇推荐一个或多个相似簇。根据推荐结果对每个新簇的相似簇按照相似进行排序，根据排序结果选择每个新簇需要合并的相似簇，按照选择的相似簇再次进行簇间合并，得到最终合并后的一个或多个新簇；其中，最终合并后的每个新簇中仅包括同一人的人体数据。

根据上述记载，在一些示例性实施例中，利用人脸关联聚类算法对人脸数据进行聚类形成一个或多个簇后，或者利用人体关联聚类算法对人体数据进行聚类形成一个或多个簇后；还包括对聚类结果进行清理，挑选出每个簇中不属于同一个人的人脸数据或人体数据，并根据挑选出的人脸数据或人体数据形成一个或多个单独的簇。

根据上述记载，在一些示例性实施例中，本方法在利用人脸关联聚类算法对人脸数据进行聚类，或者利用人体关联聚类算法对人体数据进行聚类前，还包括对单目标图像进行预处理，即根据图像大小、图像质量等方式过滤掉过小的、模糊的低质量的人脸数据的或人体数据对应的单目标图像。其中，人脸关联聚类算法或人体关联聚类算法可以是已有的，也可以是根据实际情况自行创建。

在一具体实施例中，如图2所示，利用簇代表数据来对人脸数据或人体数据进行标注，则有：

S101，数据预处理；根据图像大小、图像质量等方式过滤掉过小的、模糊的低质量的人脸数据的或人体数据对应的单目标图像。

S102，聚类；利用人脸关联聚类算法对人脸数据进行聚类，或者利用人体关联聚类算法对人体数据进行聚类，形成多个簇。作为示例，可以利用已有的人脸关联聚类算法对人脸数据进行聚类，或者利用已有的人体关联聚类算法对人体数据进行聚类。

S103，簇内清理；对聚类结果进行清理，挑出每个簇中不属于同一个人的人脸或人体数据形成单独的簇。

S104，选簇代表；在每个簇中选取M个人脸代表作为该簇的簇代表数据，或者在每个簇中选取N个人体代表作为该簇的簇代表数据。

S105，簇代表聚类；把同一个簇的簇代表数据形成强关联，例如通过人脸关联聚类算法对所有簇的人脸代表数据进行聚类，形成多个新簇；或者利用人体关联聚类算法对所有簇的人体代表数据进行聚类，形成多个新簇。作为示例，人脸关联聚类算法或人体关联聚类算法可以是已有的算法。

S106，代表簇内清洗；对发生了合并的簇代表数据的聚类结果进行清理，把每个新簇中不属于同一个人的人体数据或人脸数据删除。

S107，簇间合并；同时利用清理过的簇代表数据的聚类结果对所有新簇的人脸数据或人体数据进行合并。

S108，合并的簇数判断；判断发生合并的簇数量是否大于K，如果大于K说明已有的簇还存在有需要合并的簇；跳转到步骤S104，放宽聚类的阈值，并重新选择簇代表数据，根据重新选择的簇代表数据继续进行簇间合并；如果发生合并的簇数量小于等于K，则继续执行后面的处理步骤。

S109，推荐相似簇；计算任意进行簇间合并后的两个新簇之间的相似度，根据相似度计算结果为每个新簇推荐一个或多个相似簇。

S110，相似簇确认；确认每个新簇的相似簇中哪些簇需要合并，根据确认的结果最后进行一次簇间合并，得到最终合并后的一个或多个簇。至此，最终合并后的每个簇中的数据即是同一个的人脸或人体数据。

S111，属性标注；从最终合并后的每个簇中任意选择一个人脸数据进行一个或多个属性的标注，然后向同一簇中其余的人脸数据分发这一个或多个属性标注，基于分发的属性标注自动标注同一簇中其余的人脸数据。或者，从最终合并后的每个簇中任意选择一个人体数据进行一个或多个属性的标注，然后向同一簇中其余的人体数据分发这一个或多个属性标注，基于分发的属性标注自动标注同一簇中其余的人体数据。

根据上述记载，本申请实施例利用已有的人脸或人体关联聚类算法，设计了一整套人机交互式的人脸或人体数据自动标注流程。在整个流程中的11个步骤中，步骤S103、步骤S106、步骤S110和步骤S111共4个步骤可以选择人工或者选择非人工。其中，步骤S103、步骤S106只需要进行简单的簇内清洗，步骤S110不需要人去找哪些簇应该合并，只需要确认哪些簇应该合并即可，这极大的降低的标注的难度。另外，步骤S106也只需要在发生了合并的代表簇中进行簇内清洗，这减少了大量的标注工作量和聚类的计算量。步骤S111属性标注只会对每个簇标注一次，极大的减少了重复标注工作量。同时，整个标注流程的步骤S109和步骤S110是对步骤S104到步骤S108簇间自动合并结果的再一次确认，在提高标注效率的同时，保证了数据标注的准确性，使海量的人脸数据或人体数据准确标注成为可能。

本方法针对目前存在的问题，设计了一套人机交互式的人脸数据或人体数据多属性自动化标注流程，整个标注流程不仅可以简化人工标注的难度和工作量，而且还可以保证数据标注的质量。即本方法利用人脸或人体关联聚类算法来对人脸数据或人体数据进行聚类，得到一个或多个簇；选择某个簇中的任意一个人脸数据或人体数据进行一个或多个属性标注后，都能够通过完成属性标注后的人脸数据或人体数据自动标注该簇中剩余的人脸数据或人体数据，从而减少了人工标注的工作量，使海量的人脸数据或人体数据的标注成为可能。而且本方法突破了传统标注方式中完全采用人工标注时，无法对海量的人脸数据或人体数据进行完全标注的局限性，改变了传统中完全采用人工标注的方式。同时，通过本方法标注后的人脸数据或人体数据，还可以应用在跨境追踪、行人重识别、人脸识别、人体识别、行人属性分类、人脸属性分类以及人体属性分类等算法研发中。

如图3所示，本发明还提供一种目标数据标注系统，包括有：

聚类模块M10，用于利用目标数据关联聚类算法对多个单目标图像中的目标数据进行聚类，形成多个簇；其中，每个单目标图像仅包括一个目标数据，所述目标数据包括人脸数据或人体数据；

关联合并模块M20，用于从每个所述簇中选择至少部分目标数据进行关联，并基于关联结果对所述至少部分目标数据进行聚类，以及根据所述至少部分目标数据的聚类结果将多个所述簇合并成多个新簇；

标注模块M30，用于在合并后的每个新簇中任意选择一个目标数据进行一个或多个属性标注，以及基于属性标注结果自动标注同一个新簇中其余的目标数据；其中，合并后的每个新簇仅包括同一人的人脸或人体数据。

本系统针对目前存在的问题，设计了一套人机交互式的人脸数据或人体数据多属性自动化标注流程，整个标注流程不仅可以简化人工标注的难度和工作量，而且还可以保证数据标注的质量。即本系统利用人脸或人体关联聚类算法来对人脸数据或人体数据进行聚类，得到一个或多个簇；选择某个簇中的任意一个人脸数据或人体数据进行一个或多个属性标注后，都能够通过完成属性标注后的人脸数据或人体数据自动标注该簇中剩余的人脸数据或人体数据，从而减少了人工标注的工作量，使海量的人脸数据或人体数据的标注成为可能。而且本系统突破了传统标注方式中完全采用人工标注时，无法对海量的人脸数据或人体数据进行完全标注的局限性，改变了传统中完全采用人工标注的方式。同时，通过本系统标注后的人脸数据或人体数据，还可以应用在跨境追踪或行人重识别、人脸识别、人体识别、行人属性分类、人脸属性分类以及人体属性分类等算法研发中。其中，跨境追踪：又称为行人重识别，是指通过关联同一个人在不同摄像下的人脸或人体数据，还原整个人的行动轨迹的技术。人脸识别：是指通过人脸识别出身份的技术。人脸、行人属性分类：是指识别出某个人脸、人体的属性种类，常见的人脸属性包括性别、年龄、表情、发色、是否戴眼镜等，常见的人体属性包括服饰类别，服饰颜色，是否背包，是否有手提物等。

在一示例性实施例中，关联合并模块M20根据至少部分目标数据的聚类结果将聚类模块M10中的多个簇合并成多个新簇后，还包括：判断发生合并的簇数量是否满足预设阈值；若发生合并的簇数量不满足预设阈值，则从合并后的新簇中重新选择至少部分目标数据进行关联，并在关联后对重新选择的至少部分目标数据进行聚类，以及根据聚类结果进行簇合并，直至发生合并的簇数量满足预设阈值；若发生合并的簇数量满足预设阈值，则在最终合并后的每个新簇中任意选择一个目标数据进行一个或多个属性标注，基于属性标注结果自动标注同一个新簇中其余的目标数据。其中，某簇的至少部分目标数据包括该簇的部分目标数据、或该簇的全部目标数据。

具体地，判断发生合并的簇数量是否满足预设阈值；

根据上述记载，在一示例性实施例中，若聚类模块M10中至少部分目标数据为该簇的全部目标数据，则有：

将关联合并模块M20中每一个簇中的所有目标数据进行关联，并在关联完成后利用目标数据关联聚类算法对聚类模块M10中所有簇的目标数据进行聚类，并根据聚类结果将聚类模块M10中的簇合并成多个新簇。

判断发生合并的簇数量是否满足预设阈值；

根据上述记载，在一示例性实施例中，若聚类模块M10中至少部分目标数据为该簇的部分目标数据，则有：

从聚类模块M10中的每个簇中选出一个或多个簇代表数据；

对同一个簇中的一个或多个簇代表数据进行关联，并在关联后通过目标数据关联聚类算法对所有簇代表数据进行半监督聚类，并清理半监督聚类结果中发生了合并的簇代表数据，以及基于清理结果将聚类模块M10中的多个簇合并成多个新簇；

判断发生合并的簇数量是否满足预设阈值；

在一具体实施例中，利用簇代表数据来对人脸数据或人体数据进行标注的具体流程如图2所示，本系统不再进行赘述。

本系统针对目前存在的问题，设计了一套人机交互式的人脸数据或人体数据多属性自动化标注流程，整个标注流程不仅可以简化人工标注的难度和工作量，而且还可以保证数据标注的质量。即本系统利用人脸或人体关联聚类算法来对人脸数据或人体数据进行聚类，得到一个或多个簇；选择某个簇中的任意一个人脸数据或人体数据进行一个或多个属性标注后，都能够通过完成属性标注后的人脸数据或人体数据自动标注该簇中剩余的人脸数据或人体数据，从而减少了人工标注的工作量，使海量的人脸数据或人体数据的标注成为可能。而且本系统突破了传统标注方式中完全采用人工标注时，无法对海量的人脸数据或人体数据进行完全标注的局限性，改变了传统中完全采用人工标注的方式。同时，通过本系统标注后的人脸数据或人体数据，还可以应用在跨境追踪、行人重识别、人脸识别、人体识别、行人属性分类、人脸属性分类以及人体属性分类等算法研发中。

本申请实施例还提供了一种目标数据标注设备，包括有：

利用目标数据关联聚类算法对多个单目标图像中的目标数据进行聚类，形成多个簇；其中，每个单目标图像仅包括一个目标数据，目标数据包括人脸数据或人体数据；

对同一个簇中的目标数据进行关联，并在关联后合并多个簇，使合并后的每个簇中仅包括同一人的人脸数据或人体数据；

选择合并后的每个簇中任意一个目标数据进行一个或多个属性标注，基于属性标注结果自动标注同一簇中其余的目标数据。

在本实施例中，该目标数据标注设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中数据处理方法所包含步骤的指令(instructions)。

图4为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图5为本申请的另一个实施例提供的终端设备的硬件结构示意图。图5是对图4在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，音频组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件1206被配置为输出和/或输入语音信号。例如，音频组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，音频组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图5实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口1207、传感器组件1208均可以作为图4实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种目标数据标注方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的目标数据标注方法，其特征在于，根据所述至少部分目标数据的聚类结果将多个所述簇合并成多个新簇后，还包括：

判断发生合并的簇数量是否满足预设阈值；

3.根据权利要求1或2所述的目标数据标注方法，其特征在于，还包括：

4.根据权利要求1或2所述的目标数据标注方法，其特征在于，在对同一个簇中的至少部分人脸数据或至少部分人体数据进行关联前，还包括：挑选出每个簇中不属于同一个人的人脸数据或人体数据，并根据挑选出的人脸数据或人体数据形成一个或多个单独的新簇。

5.一种目标数据标注系统，其特征在于，包括有：

6.根据权利要求5所述的目标数据标注系统，其特征在于，所述关联合并模块根据所述至少部分目标数据的聚类结果将多个所述簇合并成多个新簇后，还包括：

判断发生合并的簇数量是否满足预设阈值；

7.根据权利要求5或6所述的目标数据标注系统，其特征在于，还包括：

8.根据权利要求5或6所述的目标数据标注系统，其特征在于，在对同一个簇中的至少部分人脸数据或至少部分人体数据进行关联前，还包括：挑选出每个簇中不属于同一个人的人脸数据或人体数据，并根据挑选出的人脸数据或人体数据形成一个或多个单独的新簇。

9.一种计算机设备，其特征在于，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如权利要求1-4中任意一项所述的方法。

10.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如权利要求1-4中任意一项所述的方法。