CN113449550A

CN113449550A - 人体重识别数据处理的方法、人体重识别的方法和装置

Info

Publication number: CN113449550A
Application number: CN202010216751.2A
Authority: CN
Inventors: 胡芝兰; 武克斌; 宁艺昭
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2020-03-25
Filing date: 2020-03-25
Publication date: 2021-09-28

Abstract

本申请提供一种人体重识别数据处理的方法、人体重识别方法以及装置，涉及人工智能领域，具体涉及计算机视觉领域。该人体重识别数据处理的方法包括：从无标签数据中获取第一特征信息和第二特征信息，再根据第一特征信息和第二特征信息对无标签数据进行标注，获得对应于无标签数据的自标注数据。该人体重识别数据处理的方法综合考虑了多种特征信息来获得自标注数据，能够提高标注的准确性，从而当根据自标注数据对人体重识别模型进行训练时，能够提高人体重识别模型的准确性。

Description

人体重识别数据处理的方法、人体重识别的方法和装置

技术领域

本申请涉及人工智能领域中的计算机视觉领域，并且更具体地，涉及一种人体重识别数据处理的方法、人体重识别的方法和装置。

背景技术

计算机视觉是用各种成像系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。

在计算机视觉领域中，需要带有标注信息的大数据支撑，也就是说需要对庞大数量的数据进行标注，而数据的标注需要投入大量的人力财力，对于比较复杂的任务，例如行人的人体重识别(person re-identification,ReID)中，标注的效率极低且周期很长，此外这些数据也通常很难获得。除此之外，随着大数据的进一步发展，重视数据隐私和安全已经成为了全球的趋势。但这些均给人工智能的发展带来了前所未有的挑战，例如难以保护数据隐私和确保数据安全，无法提高较高的数据标注的效率，以及难以在没有人工接入的前提下实现自动对无标签数据做好标注等。人体重识别简称人体ReID。

在现有方案中，通过无监督学习，利用人体特征识别无标签图像中的行人。但由于这种方法的准确率很低，导致所学习出来的模型准确性很低，当用于人体重识别时错误率很高，很容易会出现将不同的行人标注成同一个人或者遗漏了一些图像中出现的同一个人等情况。因此，如何提高人体重识别的准确性是一项亟待解决的问题。

发明内容

本申请提供一种人体重识别数据处理的方法、人体重识别的方法和装置，能够提高自标注数据的准确性，以及提高人体重识别模型的准确性。

第一方面，提供一种人体重识别数据处理的方法，该方法包括：从无标签数据中获取第一特征信息和第二特征信息，再根据第一特征信息和第二特征信息对无标签数据进行标注，获得对应于无标签数据的自标注数据。

在本申请的技术方案中，在获得自标注数据时，综合考虑多种特征信息进行标注，能够提高标注的准确性，从而当根据所述自标注数据，进行人体重识别模型(第一特征信息模型的一例)的训练时，能够提高人体重识别模型(第一特征信息模型的一例)的准确性。也就是说，利用第一特征信息和第二特征信息对无标签数据进行学习，实现数据的自标注，能够提高人体重识别模型的准确性，从而提高人体重识别的准确性。该方案不需要人工介入，既能保护人体数据的隐私又能够节省人工标注的成本和提高标注效率，且当应用到不同场景时，能够利用本地数据在本地重新学习，不需要人工干预，可移植性好。

可选地，第一特征信息可以包括人体特征信息。人体特征可以指人体非结构化特征，即为特征向量。比如，一个卷积神经网络模型，特征输出可能是256维，那么人体特征就是256维的向量，不限数据类型。通常，人体特征指指人体表观特征，综合了着装、体态等等信息，但是每一维数字可能不代表某种语义信息。在本申请中可以指基于深度学习等人工智能方法得到的特征，也可以是传统特征，比如颜色统计直方图等。在本申请实施例中，人体特征信息是指用于表示人体特征的信息。

可选地，第二特征信息可以包括人体属性信息、人脸信息、时间信息、空间信息等任意一种或多种特征信息。第二特征信息还可以是未列出的第一特征信息以外的其他特征信息。

需要说明的是，人体属性是指结构化特征，包括性别、年龄、衣服颜色、衣服纹理、衣服款式、是否戴帽子等等结构化特征。所谓的结构化特征即每一维特征都有具体的语义信息，而且每一维的取值都是有限的。比如颜色可能存在5种，红绿青蓝紫，性别只有两个值：男或女。一些情况下，可以将人体属性认为是人的局部特征，将人体特征认为是人的整体特征。在本申请实施例中，人体属性信息是指用于表示人体属性的信息，也可以称之为人体属性特征信息，或者可以理解为用于表示人体的结构化特征的信息。

下面举例说明人体特征信息和人体属性信息，人体特征相当于人的整体呈现的特征，这些人体特征可能会因为着装、身高、服饰等各类因素产生个体差异，但人体特征是不代表某种具体语义的信息，也可以理解为，人体特征并不关心这些特征的具体含义是什么。而人体属性特征则相当于人的结构化的特征，或者某些情况下也可以称之为局部特征，可以理解为人体属性特征是代表具体含义的特征，例如这些人体属性特征可以包括衣服的颜色、身高、年龄、服饰、性别等等。或者还可以理解为，人体特征是着装、体态等各类特征差异混合在一起构成的不区分具体含义的整体特征；而人体属性特征则是具有不同具体含义的局部特征。

进一步举例说明，假设两个图像中分别有一个人体，即人体1和人体2，对图像提取人体特征相当于提取了人体1和人体2整体呈现的特征，这些特征具体是什么特征并不知道，但从整体上还是可以看出两个人体的特征存在一些差异。而如果对图像提取人体属性特征，则相当于提取了人体的性别、年龄、衣服颜色等具体的特征，例如得到人体1的性别是男，年龄是10-15岁，衣服颜色是黑色；人体2的性别是女，年龄是20-30岁，衣服颜色是红色等。也就是说，在提取人体特征的时候，得到一些不知道具体含义的特征值，而在提取人体属性特征时，得到的是具体到人体的衣服颜色、性别或者年龄等一种或多种具体特征的特征值。

还需要说明的是，也正是因为人体特征是整体的非结构化的特征，所以可能会出现某些局部的特征差异被淹没在整体相似的特征中的情况。

人脸特征则是指非结构化特征，类似人体特征。通常指对于人体脸部的一些特征信息。在本申请中可以指人脸识别特征，例如利用基于深度学习得到的模型所提取的特征。在本申请实施例中，人脸特征信息又称之为人脸信息，是指用于表示人脸特征的信息。

时空信息通常指包括时间特征和/或空间特征的信息，其中，时间特征也可以称之为时序特征，用于表示行人的信息在时间上的关联性；空间特征用于表示行人的信息在空间上的关联性。例如，在某一时刻，同一个人不会在同一个摄像机中出现两次；又例如在在空间上距离相对较远的两个摄像头中，在某一相同时间段内，不会同时出现同一个人。因此，通过时间和空间维度的信息也可以识别出不同的人。在本申请实施例中，将时空信息与其他信息进行结合，能够进一步将相似的人区分开。

还应理解，无标签数据是指没有进行标注的不带有标签的数据，可以包括无标签图像、无标签图片、无标签序列等。这些无标签数据中均包含有与人的特征信息相关的数据，通过特征提取等方式，能够从这些无标签数据中提取出人体特征。例如当采用无标签图像时，可以是一些包括有行人的图像，指示这些图像中没有打上标签，则可以通过特征提取，从无标签图像中获取人体信息、人体属性信息等各类特征信息。

可选地，在根据第一特征信息和第二特征信息对无标签数据进行标注的过程中，可以先对第一特征信息进行分类，获得初步分类结果，再根据第二特征信息对初步分类结果进行调整，获得最终的分类结果，再利用最终的分类结果对无标签数据进行标注。

结合第一方面，在第一方面的某些实现方式中，根据第一特征信息对无标签数据进行分类(例如采用聚类的方法)，获得初步分类结果(例如采用聚类方法获得的聚类结果)，之后根据第二特征信息对初步分类结果进行调整，获得无标签数据的最终分类结果，再根据最终分类结果对无标签数据进行标注。例如，当第一特征信息包括人体特征信息、第二特征信息包括人脸信息时，可以先根据人体特征信息获得初步分类结果，再根据人脸信息对初步分裂结果进行调整，获得最终的分类结果。上述实现方式相当于利用第二特征信息对第一特征信息对应的分类结果进行了核查，从而将一些错误的分类进行修正，使得分类更为准确，从而在利用上述更为准确的分类对无标签数据进行标注时提高了自标注数据的准确性。

需要说明的是，由于第二特征信息可以只包括一种特征信息，也可以包括多种特征信息，当第二特征信息包括多种时，在利用第二特征信息对初步分类结果进行调整时，可以一次利用每一种第二特征信息对初步分类结果进行调整，也可以先将多种第二特征信息进行融合，将融合后的第二特征信息用来对初步分类结果进行调整。

结合第一方面，在第一方面的某些实现方式中，在根据第一特征信息和第二特征信息对无标签数据进行标注的过程中，还可以先对第一特征信息和第二特征信息进行融合获得相应的融合信息，再对融合信息进行分类，以获得分类结果，以及根据分类结果对无标签数据进行标注。例如，当第一特征信息包括人体特征信息、第二特征信息包括人体属性信息时，可以先将人体特征信息和人体属性信息进行特征融合，获得二者融合后的融合信息，再利用融合信息进行分类。

可选地，可以先对第一特征信息和第二特征信息进行融合，以获得二者的融合信息，相当于将多个特征融合成一个特征。例如把人脸特征和人体特征融合成一个特征，用于图像样本之间的相似度计算。又例如，可以在评估两个图像之间的相似度的时候，分别求取第一特征信息的相似度和第二特征信息的相似度，然后把两个相似度融合成一个用于最终的分类的相似度，等等。

需要说明的是，该过程相当于先将多种特征信息进行融合，再对融合后的特征信息进行分类。此处融合可以是特征融合，也可以是相似度融合等等。例如可以是将人体特征信息和多个第二特征信息中的每个特征信息进行融合之后，获得融合信息；也可以是分别计算人体特征信息和多个第二特征信息中每个特征信息的相似度，再将相似度进行融合。还应理解，在融合过程中不存在先后顺序的限定，以第二特征信息中包括人脸信息和人体属性信息为例，可以先融合人体特征信息和人脸信息，再将融合后的特征信息与人体属性信息融合；也可以先融合人脸信息和人体属性信息，再将融合后的特征信息与人体特征信息融合；还可以同时进行融合等等，在此不再赘述。

可选地，可以采用现有的例如组合等融合方式执行上述融合操作。

利用第一特征信息和第二特征信息的融合信息进行分类，能够将因为存在遮挡、正背面、低分辨率等问题导致的难以区分的数据给分离开，从而获得正确的分类结果，进而获得更为准确的自标注数据。

结合第一方面，在第一方面的某些实现方式中，在从无标签数据中获取第一特征信息时，还可以利用人体重识别模型来获得，且可以利用训练后的人体重识别模型对无标签数据进行特征提取来获得第一特征信息。也就是说，可以将训练后的人体重识别模型用于从无标签数据中提取新的第一特征信息，进而利用新的第一特征信息来对无标签数据进行标注，获得新的自标注数据，以及利用新的自标注数据对上述训练后的人体重识别模型进行再训练。需要说明的是，此处的无标签数据可以采用原有的无标签数据，也可以是新的无标签数据。上述实现方式，利用训练后的人体重识别模型来提取第一特征信息，能够提高第一特征信息的准确性，从而当利用这些更为准确的数据再次训练模型时，能够提高模型的性能，获得更好的模型。

结合第一方面，在第一方面的某些实现方式中，还可以利用第二特征信息模型来获取第二特征信息，以及根据自标注数据对第二特征信息模型进行训练。上述实现方式，能够提高第二特征信息的准确性，从而当利用这些更为准确的数据训练模型时，能够提高模型的准确性等性能，获得更好的模型。

第二方面，提供一种人体重识别方法，该方法包括：获取一个或多个待处理图像，利用人体重识别模型从待处理图像中获取目标行人的一个或多个图像，并根据获得的目标行人的一个或多个图像来确定一行人的活动轨迹。其中，人体重识别模型可以利用第一方面提供的任意一种方法获得。

在本申请技术方案中，利用人体重识别模型来获取某一行人的相关图像，从而可以根据这些图像来分析和推断该行人的活动轨迹和可能去向，由于人体重识别模型是采用本申请实施例提供的方法获得的，具有更高的准确性和鉴别能力，因此能够使得上述人体重识别方法更为有效。

可选地，利用第一方面任意一种方法获得的人体重识别模型还可以用于平安城市/平安园区/视频监控系统等，例如，在视频监控系统中通过实时进行行人的人体重识别，标出行人的人体ReID结果，并将人体ReID标注结果发送给系统的分析单元中，可以用于查找犯罪嫌疑人、失踪人口进而实现天网追踪等。

可选地，可以从多个待处理图像中，根据人体重识别模型获取目标行人的一个或多个图像，也就是属于同一个人体标识的一个或多个图像，就可以根据这些获取到的同一个人体标识的图像确定其活动轨迹，或者甚至可以预测其接下来的去向。

又例如，可以用于在平安城市/平安园区/视频监控系统中进行行人的跨境追踪，比如可以利用某个监控摄像机所获取的某个人员的图像等数据追踪到其他监控摄像机中该人员出现的情况。

第三方面，提供一种人体重识别方法，该方法包括：获取第一图像，并根据人体重识别模型，从一个或多个无标签图像中获取与第一图像相关的一个或多个第二图像。其中，人体重识别模型可以利用第一方面提供的任意一种方法获得。

在本申请技术方案中，实现了以图搜图，利用一张或多张第一图像，连获取与之相关的一张或多张第二图像，由于人体重识别模型是采用本申请实施例提供的方法获得的，具有更高的准确性和鉴别能力，因此能够使得上述人体重识别方法更为有效。

可选地，利用第一方面任意一种方法获得的人体重识别模型还可以用于在平安城市/平安园区/视频监控系统中进行人体的以图搜图，比如可以利用某个人员(例如目标行人)的在某一帧或多帧图像或者某一张或多张图片中的数据检索到其它图像或图片中的该人员，就可以根据检索出的一系列图像或图片分析出该人员的行动路径，甚至可以用于推断该人员接下来可能出现的场所等。例如，可以获取某个人员的第一图像，再根据人体重识别模型从多个待处理图像中获取与该第一图像相关的一个或多个第二图像，相当于可以利用一张或多张第一图像，从图像库中检索出一张或多张第二图像，实现以图找图。

第四方面，提供一种获取人体重识别模型的装置，该装置包括用于执行上述第一方面中的方法中的各个模块。

第五方面，提供一种人体重识别的装置，该装置包括用于执行上述第二方面中的方法中的各个模块。

第六方面，提供一种人体重识别的装置，该装置包括用于执行上述第三方面中的方法中的各个模块。

第七方面，提供了一种获取人体重识别模型的装置，该装置包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行上述第一方面中的方法。

第八方面，提供了一种人体重识别的装置，该装置包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行上述第二方面或第三方面中的方法。

第九方面，提供了一种电子设备，该电子设备包括上述第四方面中的获取人体重识别模型的装置。

第十方面，提供了一种电子设备，该电子设备包括上述第五方面或者第六方面中的人体重识别的装置。

第十一方面，提供一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，该程序代码包括用于执行第一方面或者第二方面或者第三方面中的方法中的步骤的指令。

第十二方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面或者第二方面或者第三方面中的方法。

第十三方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面或者第二方面或者第三方面中的方法。

可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面中的方法。

上述芯片具体可以是现场可编程门阵列FPGA或者专用集成电路ASIC。

应理解，本申请中，第一方面的方法具体可以是指第一方面以及第一方面中各种实现方式中的任意一种实现方式中的方法。第二方面的方法具体可以是指第二方面以及第二方面中各种实现方式中的任意一种实现方式中的方法。第三方面的方法具体可以是指第三方面以及第三方面中各种实现方式中的任意一种实现方式中的方法。

附图说明

图1是多个行人的人体重识别情况示意图。

图2是现有技术中一种基于无监督学习的人体重识别方法的示意图。

图3是人体特征相似的多个图像的示意图。

图4是本申请实施例的系统架构的示意图。

图5是利用本申请实施例提供的卷积神经网络模型进行人体重识别的示意图。

图6是本申请实施例提供的一种芯片硬件结构示意图。

图7是本申请实施例的人体重识别数据处理的装置的示意性框图。

图8是本申请实施例的人体重识别数据处理的方法的示意性流程图。

图9是本申请实施例的一种人体重识别数据处理的方法的示意性流程图。

图10是本申请实施例的一种人体重识别数据处理的方法的示意性流程图。

图11是本申请实施例的基于人体特征信息和人脸信息的人体重识别数据处理的方法的示意图。

图12是利用传统方法进行人体重识别的结果示意图。

图13是利用图11的方法进行人体重识别的结果示意图。

图14是本申请实施例的基于人体特征信息和人脸信息的人体重识别数据处理的方法的示意图。

图15是利用图14的方法获得的模型进行人体重识别的结果示意图。

图16和图17是基于人体特征信息和人体属性信息的人体重识别的结果示意图。

图18是基于人体特征信息和人体属性信息的人体重识别的结果示意图。

图19是本申请实施例的基于人体特征信息和多个第二特征信息的人体重识别数据处理的方法的示意图。

图20是利用人体特征信息进行人体重识别的结果示意图。

图21是本申请实施例的基于人体特征信息和多个第二特征信息的人体重识别数据处理的方法的示意图。

图22是本申请实施例的基于自标注数据的第二特征信息模型的训练方法示意图。

图23和图24为利用本申请实施例的人体重识别模型获得的多样化的待识别人脸图像的示意图。

图25是人体特征信息和/或人体属性信息相近的多个行人的图像的示意图。

图26是本申请实施例的人体重识别数据处理的装置的示意性框图。

图27是本申请实施例的人体重识别数据处理的装置的硬件结构示意图。

具体实施方式

本申请的方案可以应用在各类视频监控系统中，以及应用于各类需要对无标签数据进行标注的应用场景中。下面对常用的视频监控的应用场景进行简单的介绍。

应用场景一：平安城市/平安园区/视频监控系统

在视频监控系统中通过实时进行行人的人体重识别，标出行人的人体ReID结果，并将人体ReID标注结果发送给系统的分析单元中，可以用于查找犯罪嫌疑人、失踪人口进而实现天网追踪等。

例如，在平安城市/平安园区/视频监控系统获取的道路画面图像经过行人的人体重识别得到目标行人的人体ReID标注结果(该目标行人的自标注数据)，接下来，可以再根据标注结果确定出该目标行人的活动轨迹，例如去过哪些地方做了哪些事情等等，还可以对该目标行人进行追踪，还可以预测该目标行人接下来的活动轨迹。也就是说，可以从多个待处理图像中，根据人体重识别模型获取目标行人的多个图像，也就是属于同一个人体标识(identification,ID)的一个或多个图像，就可以根据这些获取到的同一个人体标识的多个图像确定其活动轨迹，或者甚至可以预测其接下来的去向。

又例如，可以用于在平安城市/平安园区/视频监控系统中进行人体的以图搜图，比如可以利用某个人员(例如目标行人)的在某一帧图像或者某一图片中的数据检索到其它图像或图片中的该人员，就可以根据检索出的一系列图像或图片分析出该人员的行动路径，甚至可以用于推断该人员接下来可能出现的场所等。例如，可以获取某个人员的第一图像，再根据人体重识别模型从多个待处理图像中获取与该第一图像相关的一个或多个第二图像，相当于可以利用一张或几张第一图像，从图像库中检索出一张或多张第二图像，实现以图找图。

其中，行人的人体重识别可以由本申请实施例的行人的人体重识别方法来执行。例如可以根据行人的人体重识别方法能够识别该行人是否为特定人员(失踪人口、犯罪嫌疑人等等)，当识别出特定人员后可以对启动天眼系统(该系统可以视为平安城市/视频监控系统的一部分)对特定人员进行追踪。

与人体相关的数据是非常敏感的数据，一旦泄露存在很大的安全隐患，而且随着个人隐私逐渐受到重视和保护，人体相关的数据已经很难获取，拥有这类数据的一般为公安或者相关单位，但根据规定也不会允许传到外网，这就形成了当前所说的“数据孤岛”问题。也就是说，数据只能在一定网络范围内是共享的，不同网络范围之间相互独立。此外，人体重识别标注需要把每一个人经过不同监控摄像头/摄像机的图都标注出来，难度较大，如果采用人工标注效率低且成本非常高。此外，当一个在“孤岛”内训练好的人体重识别模型要部署在一个新的场景(其他“孤岛”)时，需要解决域迁移的问题，通常的方法就是标注一批新场景的数据，但是这种方法成本高、效率低，甚至会不被允许，例如因为新场景根据规定不允许向外界提供本地数据。

基于上述情况，本申请提出一种对人体重识别进行自标注的方法，能够利用无标签数据进行有效的自动标注，以及利用无标签数据自学习一个适配当地场景的模型。下面对所涉及的“自标注”和“自学习”两个术语进行解释。

自标注，也可以称之为自动标注，是与人工标注相对应的一种说法，是指在无需人工干预的情况下对无标签数据打上人体的标识标签。例如自动给一个或多个摄像机所采集的图像中的每个人体打上ID标签。

图1是多个行人的人体重识别情况示意图。如图1所示，该场景中包括6台摄像机，为便于描述，将其分别编号为摄像机-1，摄像机-2，…，摄像机-6；该场景中共识别出了5个不同的行人，将这5个行人编号为行人-1至行人-5，且将识别出的这5个行人打上标签，即将其分别标注为人体ID-1，人体ID-2，…，人体ID-5。在图1所示场景中，行人-1(对应于图1中的人体ID-1)被6台摄像机都有拍摄到，而行人-2(对应于图1中的人体ID-2)被摄像机-1、摄像机-2、摄像机-4、摄像机-5和摄像机-6拍摄到，行人-3(对应于图1中的人体ID-3)则只被摄像机-3拍摄到，行人-4(对应于图1中的人体ID-4)被摄像机-1、摄像机-3、摄像机-5和摄像机-6拍摄到，行人-5(对应于图1中的人体ID-5)被摄像机-2和摄像机-4拍摄到。从图1可以看出，在人体重识别过程中，可以识别和标注出不同摄像机中的同一个人，以及相同摄像机中的不同人。

自学习，可以理解为利用无标签的数据自主学习得到模型，例如可以采用无监督学习的方法进行自学习。

为了便于理解，首先对本申请各实施例中所涉及的一些技术术语进行介绍。

人体特征：这里指人体非结构化特征，即为特征向量。比如，一个卷积神经网络(convolutional neuron network，CNN)模型，特征输出可能是256维，那么人体特征就是256维的向量，不限数据类型。通常，人体特征指指人体表观特征，综合了着装、体态等等信息，但是每一维数字可能不代表某种语义信息。在本申请中可以指基于深度学习等人工智能方法得到的特征，也可以是传统特征，比如颜色统计直方图等。在本申请实施例中，人体特征信息是指用于表示人体特征的信息。

人脸特征：指非结构化特征，类似人体特征。通常指对于人体脸部的一些特征信息。在本申请中可以指人脸识别特征，例如利用基于深度学习得到的模型所提取的特征。在本申请实施例中，人脸特征信息又称之为人脸信息，是指用于表示人脸特征的信息。

需要说明的是，非结构化特征可以理解为整体呈现的表观特征，也就是说，可以不关心这些特征的具体含义，例如人体特征会受着装、身高等影响从而产生个体间的人体特征的差异，但人体特征并不关心哪些特征是对应于着装的，哪些特征是对应于身高的等等。又例如人脸特征会受到五官的影响从而产生个体间人脸特征的差异，但人脸特征并不关心哪些特征是对应于眼睛的，哪些特征是对应于鼻子的等等。而结构化特征则可以理解为有具体含义的局部特征，也就是说，会具体到哪个局部特征的特征值是什么，例如下面的人体属性特征可以具体到身高、年龄、衣服颜色等具体语义的特征。又例如，对于人脸特征还可以设置五官特征、脸型特征等等，作为与人脸特征相对应的结构化特征，可以具体到眼睛、鼻子、耳朵、嘴巴、脸型等等，而这些结构化的人脸特征同样可以作为本申请实施例中第二特征信息中的一例。

人体属性：指结构化特征，包括性别、年龄、衣服颜色、衣服纹理、衣服款式、是否戴帽子等等结构化特征。所谓的结构化特征即每一维特征都有具体的语义信息，而且每一维的取值都是有限的。比如颜色可能存在5种，红绿青蓝紫，性别只有两个值：男或女。一些情况下，可以将人体属性认为是人的局部特征，将人体特征认为是人的整体特征。在本申请实施例中，人体属性信息是指用于表示人体属性的信息，也可以称之为人体属性特征信息，或者可以理解为用于表示人体的结构化特征的信息。

时空信息：通常指包括时间特征和/或空间特征的信息，其中，时间特征也可以称之为时序特征，用于表示行人的信息在时间上的关联性；空间特征用于表示行人的信息在空间上的关联性。例如，在某一时刻，同一个人不会在同一个摄像机中出现两次；又例如在在空间上距离相对较远的两个摄像头中，在某一相同时间段内，不会同时出现同一个人。因此，通过时间和空间维度的信息也可以识别出不同的人。在本申请实施例中，将时空信息与其他信息进行结合，能够进一步将相似的人区分开。

在本申请实施例中，将人体特征信息、人脸信息、时空信息，以及其他与人相关的特征信息均称之为特征信息。

有监督学习：用于学习的数据都带有明确的标签，数据和标签一一对应，可以直接用于学习。可以理解为，有监督学习相当于在知道正确答案的情况下学习，通过比较学习结果和正确答案之间的差距来不断修正学习模型。

无监督学习：用于学习的数据本身没有标签，需要先对数据进行自动打标签之后，再进一步学习。可以理解为，无监督学习相当于在不知道正确答案的情况下学习方法，是利用“试错”的方式进行学习，在学习过程中用奖励值和惩罚值评价学习结果，通过使得获得的奖励更多来不断修正学习模型。

无标签数据：是指没有进行标注的不带有标签的数据，可以包括无标签图像、无标签图片、无标签序列等。这些无标签数据中均包含有与人的特征信息相关的数据，通过特征提取等方式，能够从这些无标签数据中提取出人体特征。例如当采用无标签图像时，可以是一些包括有行人的图像，指示这些图像中没有打上标签，则可以通过特征提取，从无标签图像中获取人体特征信息、人体属性信息等各类特征信息。

自标注数据：是指在没有人工干预的情况下进行了标注的数据，在本申请实施例中，可以是指利用本申请实施例提供的方法，对无标签数据进行标注之后的数据。自标注数据可以包括自标注图像数据、自标注图片数据、自标注序列等等，也就是说，与输入的无标签数据的形式保持一致，例如当输入的是无标签图像时，则自标注产生的就是自标注图像(或称之为自标注图像数据)。

聚类：将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。聚类算法则是对一些数据进行处理，根据它们的相似性对数据进行聚类，相当于试图找到数据的内在结构，以便按照最大的共同点将数据进行归类。聚类算法可以分为中心聚类、关联聚类、密度聚类、概率聚类等等，常见的聚类算法包括k-means算法、期望最大化(expectation maximization,EM)算法等。

如图2所示，首先输入图像数据，也就是将无标签图像输入到人体重识别网络。接下来对无标签图像提取特征，获得这些无标签图像中的人体特征。之后利用聚类的方法对所提取的人体特征进行特征分类，从而得到分类结果，基于这些分类结果为无标签图像打上标签，也就是对无标签图像进行标注，以获得标注结果(带标注的图像)。接下来，利用这些标注结果对人体重识别模型进行训练。

但在图2所示的方法中仅利用了人体特征的信息，难以将人体特征相似的图像分开，如图3所示的两组图。图3是人体特征相似的多个图像的示意图。图3中的(a)所示的一组图中，三个不同的人均穿黑色的衣服，利用上述基于人体特征进行聚类的方法，则很容易将三者聚为一类，从而产生了错误的标签；图3中的(b)所示的一组图中，也容易将两者判断为同一人。出现这种情况的主要原因在于，人体特征是一种人体表观特征，通常注重的是整体信息，因此当这种整体新相似的时候，例如不同的人穿了相同颜色的长款衣物，很容易弱化其他整体信息的影响，使得将穿着同样颜色衣服的人归为一类。总体来说，图2所示方法受自身模型的局限，无法区分整体着装相似的不同人，且对背景的干扰和物体的遮挡也会相对敏感。对此，在本申请实施例中，在考虑人体特征信息的同时，也考虑人脸信息、人体属性信息、时空信息等其他信息，以将上述相似的图中的不同人体ID区分开。

本申请实施例的人体重识别方法可以由神经网络(模型)来执行，为了更好地理解本申请实施例的人体重识别方法，下面先对神经网络的相关术语和概念进行介绍。

(1)神经网络

神经网络可以是由神经单元组成的，神经单元可以是指以x_s和截距1为输入的运算单元，该运算单元的输出可以如公式(1)所示：

其中，s＝1、2、……n，n为大于1的自然数，W_s为x_s的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，该激活函数用于对神经网络中的特征进行非线性变换，从而将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。

(2)深度神经网络

深度神经网络(deep neural network，DNN)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。

虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：

其中，

是输入向量，

是输出向量，

是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量

经过如此简单的操作得到输出向量

由于DNN层数多，系数W和偏移向量

的数量也比较多。这些参数在DNN中的定义如下所述：以系数W为例，假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为

上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。

综上，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为

需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。

(3)卷积神经网络

卷积神经网络是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。

(4)残差网络

残差网络是在2015年提出的一种深度卷积网络，相比于传统的卷积神经网络，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。残差网络的核心是解决了增加深度带来的副作用(退化问题)，这样能够通过单纯地增加网络深度，来提高网络性能。残差网络一般会包含很多结构相同的子模块，通常会采用残差网络(residualnetwork，ResNet)连接一个数字表示子模块重复的次数，比如ResNet50表示残差网络中有50个子模块。

(6)分类器

很多神经网络结构最后都有一个分类器，用于对图像中的物体进行分类。分类器一般由全连接层(fully connected layer)和softmax函数(可以称为归一化指数函数)组成，能够根据输入而输出不同类别的概率。

(7)损失函数

在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。

(8)反向传播算法

神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的数值，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。

以上对神经网络的一些基本内容做了简单介绍，下面针对图像数据处理时可能用到的一些特定神经网络进行介绍。

下面结合图4对本申请实施例的训练模型的装置的系统架构进行详细的介绍。

图4是本申请实施例的系统架构的示意图。如图4所示，系统架构100包括执行设备110、训练设备120、数据库130、客户设备140、数据存储系统150、以及数据采集系统160。

另外，执行设备110包括计算模块111、I/O接口112、预处理模块113和预处理模块114。其中，计算模块111中可以包括目标模型/规则101，预处理模块113和预处理模块114是可选的。

数据采集设备160用于采集训练数据。针对本申请实施例的人体重识别方法来说，训练数据可以包括训练图像(该训练图像中包括行人，该训练图像无标签)。在采集到训练数据之后，数据采集设备160将这些训练数据存入数据库130，训练设备120基于数据库130中维护的训练数据训练得到目标模型/规则101。

需要说明的是，在本申请实施例中训练图像只是输入数据(或称之为待处理数据)的一种形式，也就是说，训练数据是指待训练的与行人相关的数据，这些数据的输入形式可以是图像，也可以是图片或者序列等形式。在本申请实施例中，训练数据是无标签数据，单位了便于描述和理解，全文主要以图像为例进行介绍。

下面对训练设备120基于训练数据得到目标模型/规则101进行描述，为了便于理解，将训练设备120对无标签数据进行标注的过程称之为自标注过程，将训练设备120对人体重识别模型进行训练的过程称之为模型训练过程。则在自标注过程中，训练设备120利用人体重识别模型对输入的训练图像进行人体识别，利用输出的人体识别结果对训练图像进行标注，得到自标注的图像数据(例如输出图像中人体的包围框以及图像中人体的ID标签)。在模型训练过程中，将自标注的图像数据用于训练人体重识别模型，也就是说，人体重识别模型的训练数据包括训练图像以及自标注图像数据，其中，自标注图像数据中给出了训练图像中的存在行人的包围框(bounding box)的坐标以及行人的ID标签。训练设备120将训练后的人体重识别模型重新用于人体识别，对输入的训练图像进行人体识别，将输出的人体识别结果(图像中存在行人的包围框以及图像中存在行人的包围框的置信度)与自标注结果进行对比，直到训练设备120输出的人体重识别结果与自标注的结果的差异小于一定的阈值，从而完成目标模型/规则101的训练。

此外，训练设备120还可以用于其他信息的相关模型的训练过程，例如可以用于人脸信息的模型训练，或者将人脸信息相关的模型称之为人脸识别模型。又例如可以用于人体属性信息的模型训练，或者将人体属性信息相关的模型称之为人体属性模型。又例如可以用于时间特征信息的模型训练，或者将时间特征信息相关的模型称之为时间信息模型、时序特征模型、时序模型等。又例如还可以用于空间特征信息的模型训练或者时空特征信息的模型训练等等，以及获得空间模型、时空模型等等。在上述各模型的训练过程中，同样可以将自标注的图像数据用于训练这些模型，也就是说，上述各模型的训练数据包括训练图像以及自标注图像数据，其中，自标注图像数据中给出了训练图像中的存在行人的包围框的坐标以及行人的ID标签。训练设备120将训练后的上述各模型重新用于人体识别，对输入的训练图像进行人体识别，将输出的人体识别结果(图像中存在行人的包围框以及图像中存在行人的包围框的置信度)与自标注结果进行对比，直到训练设备120输出的人体重识别结果与自标注的结果的差异小于一定的阈值，从而完成上述各模型的训练。

上述目标模型/规则101能够用于实现本申请实施例的人体重识别方法，即，将待处理图像(通过相关预处理后)输入该目标模型/规则101，即可得到待处理图像的人体重识别结果。本申请实施例中的目标模型/规则101具体可以为神经网络。需要说明的是，在实际应用中，数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。

根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备中，如应用于图4所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)，车载终端等，还可以是服务器或者云端等。在图4中，执行设备110配置输入/输出(input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向I/O接口112输入数据，所述输入数据在本申请实施例中可以包括：客户设备输入的待处理图像。这里的客户设备140具体可以是终端设备。

预处理模块113和预处理模块114用于根据I/O接口112接收到的输入数据(如待处理图像)进行预处理，在本申请实施例中，可以没有预处理模块113和预处理模块114或者只有的一个预处理模块。当不存在预处理模块113和预处理模块114时，可以直接采用计算模块111对输入数据进行处理。

在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。

最后，I/O接口112将处理结果，如将目标模型/规则101计算得到的人体重识别结果呈现给客户设备140，从而提供给用户。

具体地，经过计算模块111中的目标模型/规则101处理得到的人体重识别结果可以通过预处理模块113(也可以再加上预处理模块114的处理)的处理后将处理结果送入到I/O接口，再由I/O接口将处理结果送入到客户设备140中显示。

应理解，当上述系统架构100中不存在预处理模块113和预处理模块114时，计算模块111还可以将处理得到的人体重识别结果传输到I/O接口，然后再由I/O接口将处理结果送入到客户设备140中显示。

值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则101，该相应的目标模型/规则101即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。

在图4中所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库130。

值得注意的是，图1仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图1中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。

如图4所示，根据训练设备120训练得到目标模型/规则101，可以是本申请实施例中的神经网络，具体的，本申请实施例提供的神经网络可以是CNN以及深度卷积神经网络(deep convolutional neural networks,DCNN)等等。

由于CNN是一种非常常见的神经网络，下面结合图5重点对CNN的结构进行详细的介绍。如上文的基础概念介绍所述，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。

如图5所示，卷积神经网络(CNN)200可以包括输入层210，卷积层/池化层220(其中池化层为可选的)，以及全连接层(fully connected layer)230。下面对这些层的相关内容做详细介绍。

卷积层/池化层220：

卷积层：

如图5所示卷积层/池化层220可以包括如示例221-226层，举例来说：在一种实现中，221层为卷积层，222层为池化层，223层为卷积层，224层为池化层，225为卷积层，226为池化层；在另一种实现方式中，221、222为卷积层，223为池化层，224、225为卷积层，226为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。

下面将以卷积层221为例，介绍一层卷积层的内部工作原理。

卷积层221可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的卷积特征图的尺寸也相同，再将提取到的多个尺寸相同的卷积特征图合并形成卷积运算的输出。

这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络200进行正确的预测。

当卷积神经网络200有多个卷积层的时候，初始的卷积层(例如221)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络200深度的加深，越往后的卷积层(例如226)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。

池化层：

由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在如图5中220所示例的221-226各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。

全连接层230：

在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层220只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络200需要利用全连接层230来生成一个或者一组所需要的类的数量的输出。因此，在全连接层230中可以包括多层隐含层(如图5所示的231、232至23n)以及输出层240，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类等等。

在全连接层230中的多层隐含层之后，也就是整个卷积神经网络200的最后层为输出层240，该输出层240具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络200的前向传播(如图5由210至240方向的传播为前向传播)完成，反向传播(如图5由240至210方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络200的损失，及卷积神经网络200通过输出层输出的结果和理想结果之间的误差。

需要说明的是，如图5所示的卷积神经网络200仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在。

应理解，可以采用图5所示的卷积神经网络(CNN)200执行本申请实施例的人体重识别方法，如图5所示，可以将待处理数据(例如无标签数据)经过输入层210、卷积层/池化层220和全连接层230的处理之后可以得到待处理数据的识别结果(例如自标注数据)。

图6为本申请实施例提供的一种芯片硬件结构，该芯片包括神经网络处理器60。该芯片可以被设置在如图4所示的执行设备110中，用以完成计算模块111的计算工作。该芯片也可以被设置在如图4所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型/规则101。如图5所示的卷积神经网络中各层的算法均可在如图6所示的芯片中得以实现。

神经网络处理器(neural-network processing unit，NPU)60作为协处理器挂载到主中央处理器(central processing unit，CPU)(host CPU)上，由主CPU分配任务。NPU的核心部分为运算电路603，控制器604控制运算电路603提取存储器(权重存储器或输入存储器)中的数据并进行运算。

在一些实现中，运算电路603内部包括多个处理单元(process engine,PE)。在一些实现中，运算电路603是二维脉动阵列。运算电路603还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路603是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路603从权重存储器602中取矩阵B相应的数据，并缓存在运算电路603中每一个PE上。运算电路603从输入存储器601中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)608中。

向量计算单元607可以对运算电路603的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元607可以用于神经网络中非卷积/非FC层的网络计算，如池化(pooling)，批归一化(batch normalization)，局部响应归一化(local response normalization)等。

在一些实现中，向量计算单元能607将经处理的输出的向量存储到统一缓存器606。例如，向量计算单元607可以将非线性函数应用到运算电路603的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元607生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路603的激活输入，例如用于在神经网络中的后续层中的使用。

统一存储器606用于存放输入数据以及输出数据。

权重数据直接通过存储单元访问控制器605(direct memory accesscontroller，DMAC)将外部存储器中的输入数据搬运到输入存储器601和/或统一存储器606、将外部存储器中的权重数据存入权重存储器602，以及将统一存储器606中的数据存入外部存储器。

总线接口单元(bus interface unit，BIU)610，用于通过总线实现主CPU、DMAC和取指存储器609之间进行交互。

与控制器604连接的取指存储器(instruction fetch buffer)609，用于存储控制器604使用的指令；

控制器604，用于调用指存储器609中缓存的指令，实现控制该运算加速器的工作过程。

一般地，统一存储器606，输入存储器601，权重存储器602以及取指存储器609均为片上(on-chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random accessmemory，DDR SDRAM)、高带宽存储器(high bandwidth memory，HBM)或其他可读可写的存储器。

另外，在本申请中，图5所示的卷积神经网络中各层的运算可以由运算电路603或向量计算单元607执行。

图7是本申请实施例的人体重识别数据处理的装置的示意性框图。如图7所示，在装置700中，可以包括特征提取模块710、自标注模块720、和模型训练模块730，下面将结合图7对本申请实施例的人体重识别数据处理的装置进行介绍。

特征提取模块710可以用于获取行人的特征信息，包括第一特征信息的获取和第二特征信息的获取。

可选地，可以对输入的无标签数据进行第一特征信息的提取，以获取第一特征信息。其中，无标签数据可以是图像、图片或序列等任意一种形式的数据。

可选地，可以利用第一特征信息模型对无标签数据进行特征提取，例如，当第一特征信息包括人体特征信息时，可以利用人体重识别模型对无标签数据进行特征提取，以获得人体特征信息。假设将第一特征信息对应的模型称之为第一特征信息模型，则人体重识别模型可以看作是第一特征信息模型的一例，相当于当第一特征信息包括人体特征信息时对应的第一特征信息模型。

与第一特征信息的获取相似，同样可以利用第二特征信息模型获取第二特征信息。

需要说明的是，第二特征信息可以包括一种或多种除了第一特征信息以外的其他特征信息，例如第二特征信息可以包括人脸特征信息、人体属性信息、时序信息或空间信息中的至少一种信息，也就是说，第二特征信息可以是多种特征信息，例如第二特征信息可以包括人脸信息和时空信息(利用时序信息和空间信息获得的信息)。但应理解，本领域技术人员可以不经过创造性劳动，即可采用与本申请实施例相同或相似的方法获取未列出的其他特征信息，以及将这些其他信息应用于本申请实施例的方法，以提高自标注数据的准确定，当将自标注数据应用于模型训练时，能够提高模型的鉴别能力等性能。

还需说明的是，对于第二特征信息的获取，可以是利用输入的无标签数据获得，也可以是利用重识别过程产生的中间结果(例如特征分类后获得的初步分类结果)获得。下面分别进行介绍。

情况一、第二特征信息是利用无标签数据获得的。

可选地，可以类似于第一特征信息的获取方法，对输入的无标签数据进行第二特征信息的提取，以获取第二特征信息。其中，无标签数据可以是图像、图片或序列等任意二种形式的数据。

可选地，可以利用第二特征信息模型对无标签数据进行特征提取，例如，当第二特征信息包括人脸信息时，可以利用人脸识别模型对无标签数据进行特征提取，以获得人脸信息。

还应理解，在情况一种，对于第一特征信息和第二特征信息的获取可以同时进行，也可以不同时进行，且可以采用不同的方法获取。

情况二、第二特征信息是利用中间结果(初步分类结果)获得的。

可选地，特征提取模块710获取来自于自标注模块720的初步分类结果(也可以称之为初步标注结果)，再从该初步分类结果中获取第二特征信息。可选地，可以利用第二特征信息模型对初步分类结果进行特征提取，获得第二特征信息。也就是说，在情况二中，第二特征信息的提取是对初步分类结果进行的操作，而不是对输入的无标签数据直接进行的操作。

自标注模块720用于获取来自于特征获取模块710的第一特征信息和/或第二特征信息，以及对获取的特征信息进行分类等处理，获得对应于无标签数据的自标注数据。可选地，自标注模块720可以包括特征分类模块721和数据标注模块722。

特征分类模块721用于根据获取的特征信息进行分类获得分类结果。此处，特征信息可以是第一特征信息和/或第二特征信息，分类结果可以是初步分类结果，也可以是最终的分类结果。

数据标注模块722可以利用来自于特征分类模块721的分类结果对无标签数据进行标注，获得相应的自标注数据，该自标注数据例如可以是图像中识别出的人体ReID(例如输出图像中人体的包围框以及图像中人体的ID标签)。数据标注模块722还可以将自标注数据发送给模型训练模块730。

在获得自标注数据时，当能够获取人工标注数据时，可以与人工标注数据进行比较，调整自标注模块720的参数，以使得利用自标注模块720所获得的自标注数据与人工标注数据的误差在一定阈值范围内。当不能够获取人工标注数据的时候，可以将自标注数据用于模型训练，通过对训练后的模型评价实现对自标注网络的评价，从而可以根据对训练后的模型的评价调整自标注模块720的参数，以使得自标注模块720能够获得更为准确的自标注数据。

模型训练模块730可以用于利用来自于自标注模块720的自标注数据对模型进行训练，包括对第一特征信息模型的训练和/或对第二特征信息模型的训练，以及输出训练后的模型。可选地，可以将训练后的模型用于特征获取模块710的特征提取。也就是说，可以利用自标注数据对第一特征信息模型进行训练，以及还可以将训练后的第一特征信息继续用于提取第一特征信息。此外，还可以将自标注数据用于对第二特征信息模型进行训练，以及将训练后的第二特征信息模型继续用于提取第二特征信息。

下面结合图8对本申请实施例的人体重识别方法进行介绍。图8是本申请实施例的人体重识别数据处理的方法的示意性流程图。下面对图8所示各步骤进行介绍。

801、从无标签数据中获取第一特征信息和第二特征信息。

可选地，第一特征信息可以包括人体特征信息。该人体特征信息可以从无标签数据中获取。上述无标签数据可以是包含无标签的图像、图片、序列等。

具体地，上述无标签数据可以是各种包含行人的图像，例如，通过手机或者其他智能终端拍摄的图像，辅助/自动驾驶系统获取的道路画面图像，平安城市/平安园区/视频监控系统获取的监控画面图像。

应理解，上述通过手机或者智能终端拍摄的图像，以及道路画面图像和监控画面图像一般是包含行人的图像，如果这些图像中不包括行人的话，那么，最终的识别结果可以是空，也就是对这类不包含行人的图像进行识别，不能识别出包围行人的包围框。

在上述步骤801中，既可以通过摄像机拍摄来获取图像，也可以从存储器中获取图像。

第二特征信息可以包括人脸信息、人体属性信息、时序信息或空间信息中的至少一种，第二特征信息可以从无标签数据中获取，也可以先对第一特征信息进行处理之后，从产生的中间结果中获取，两种获取方式对后续的执行流程产生影响，因此会在步骤802中再进一步介绍第二特征信息的获取。

802、根据第一特征信息和第二特征信息对无标签数据进行标注，获得对应于无标签数据的自标注数据。

由于第二特征信息可以从无标签数据中获取，也可以从对无标签数据进行处理后产生的中间结果中获取，因此下面会分别进行介绍。

可选地，可以先对第一特征信息进行分类，获得初步分类结果，再根据第二特征信息对初步分类结果进行调整，获得最终的分类结果，再利用最终的分类结果对无标签数据进行标注。

可选地，还可以先对第一特征信息和第二特征信息进行融合获得相应的融合信息，再对融合信息进行分类，以获得分类结果，以及根据分类结果对无标签数据进行标注。例如，当第一特征信息包括人体特征信息、第二特征信息包括人体属性信息时，可以先将人体特征信息和人体属性信息进行特征融合，获得二者融合后的融合信息，再利用融合信息进行分类。下面结合图9和图10对上述两种情况下分别的执行过程进行介绍。

在执行步骤802时，可以先根据第一特征信息对无标签数据进行分类(例如采用聚类的方法)，获得初步分类结果(例如采用聚类方法获得的聚类结果)，之后根据第二特征信息对初步分类结果进行调整，获得无标签数据的最终分类结果，再根据最终分类结果对无标签数据进行标注。例如，当第一特征信息包括人体特征信息、第二特征信息包括人脸信息时，可以先根据人体特征信息获得初步分类结果，再根据人脸信息对初步分裂结果进行调整，获得最终的分类结果。下面结合图9对这种情况下的人体重识别数据处理的方法的执行过程进行介绍，图9是本申请实施例的一种人体重识别数据处理的方法的示意性流程图。

901、提取第一特征信息。

可选地，可以利用上文所述相关方法提取无标签数据的第一特征信息，该第一特征信息例如可以包括人体特征信息。

可选地，可以利用第一特征信息模型对无标签数据进行特征提取，以获得第一特征信息。

902、对第一特征信息进行分类，以获得初步分类结果。

可选地，可以采用聚类算法，例如k-means等对第一特征信息进行聚类，以获得初步分类结果。由于上述采用了聚类的方法，因此，所获得的初步分类结果也可以称之为初步聚类结果。

需要说明的是，聚类是分类的一种方式，也是目前在无监督学习中常见的一种分类方法，因此，在本申请实施例中，例如在图9-图21各方法中，主要以聚类为例进行介绍，但应理解也可以采用其他分类方法获得各分类结果(例如初步分类结果、最终的分类结果)，因此，初步聚类结果可以看作是初步分类结果的一例，最终聚类结果(或者最终的聚类结果)则可以看作是最终的分类结果的一例，在下文不再一一赘述。

903、提取第二特征信息。

可选地，可以利用上文所述相关方法提取初步分类结果所对应的图像的第二特征信息，该第二特征信息可以包括一种或多种特征信息，例如，可以包括人脸信息或者人体属性信息或者时序信息或者空间信息中的至少一种，其中，时序信息和空间信息还可以是融合在一起的时空信息。

可选地，可以利用第二特征信息模型对初步聚类结果所对应的图像进行特征提取，以获得第二特征信息。

904、调整初步分类结果，以获得最终分类结果。

可选地，可以利用第二特征信息对初步分类结果进行核查，例如假设根据第一特征信息分类后获得N个类，但通过提取第i类的第二特征信息后发现，第i类还需要分成多个类，则可以将第i类划分成多个类，其中N为正整数，i为小于或等于N的正整数。进一步举例说明，假设，根据第一特征信息分类后获得5个类，当对这些图像进行第二特征信息提取之后发现，第3类根据第二特征信息不属于同一个类，以包括2个类为例，则可以将第3类再分为2个类，或者将这2个类中的其中一个类的数据删除。又例如，假设根据第一特征信息分类后获得N个类，但通过提取第二特征信息后发现，第i类和第j类其实是同一个类，则可以将第i类和第j类进行合并，其中N为正整数，i和j均为小于或等于N的正整数，且i不等于j。进一步举例说明，假设根据第一特征信息分类后获得5个类，当对这些图像进行第二特征信息提取之后发现，第1类和第2类根据第二特征信息划分的话会属于同一个类，则可以将第1类和第2类进行合并，例如将第2类合并到第1类，相当于最终的分类结果中包括4个类，且此时第1类中包括初步分类结果中的第1类和第2类中的数据。这种方法相当于对分类结果进行了修正，假设在只利用第一特征信息将多个具有相似人第一特征信息的人划分成同一个人或者将同一个人划分成多个人时，通过步骤903和步骤904就可以将这种错误分类进行修正。

905、利用分类结果对无标签数据进行标注，以获得自标注数据。

可选地，可以在图像中框出识别出的人体和在框出的人体图像框上标注人体ID标签。这些标注了人体ID数据就可以称之为自标注数据。

举例说明，假设根据分类结果可以看出，无标签数据被分为M个类，M为正整数，每个类中包括相同或不同数量的无标签数据，则每个类都有一个相同的人体ID，用于表示，这个类中的无标签数据属于同一个人，假设是图片，则是把每个类中的每张图片中的人体框出来，和在框出的人体图像框上标注该人体ID，这些标注了人体ID的数据即为获得的自标注数据。所以，把M个类区分开需要有M个人体ID，但M个类和M个人体ID的对应关系不存在限定。

进一步举例说明，假设分类结果得到3个类，为了方便描述，分别表示为第1类、第2类和第3类，无标签数据为6个无标签图像，为3个类分配3个人体ID，分别为ID-1、ID-2、ID-3。假设分类结果中，第1类包括1个图像，第二类包括2个图像，第3类包括3个图像，3个类中的图像无交叉。则可以分别框出每个图像中的人体，并在人体图像框中标注上人体ID，例如，将第1类的1个图像的人体框出，并标注人体ID为ID-1；将第2类的2个图像的人体框出，并标注该2个图像的人体ID均为ID-2，将第3类的3个图像的人体框出，并标注该3个图像的人体ID均为ID-3。但需要说明的是，为哪个类对应哪个人体ID并不存在限定，也可以第1类对应ID-2或对应ID-3等等，只要保证将三个类分别对应到不同的人体ID即可，在此不再赘述。

还需理解，人体ID相当于用来区分不同的人体，或者可以理解为不同的人，但并不需要确定某个人体具体是谁，或者可以理解为，只需要区分出不同的人，而这些人到底是谁可以不关心。同理，分类结果同样是将无标签数据分成了不同的类，但这些类的具体含义可以不关心。换而言之，假设有一些无标签数据，在本申请实施例中，则可以将这些无标签数据分类成不同的类，并给每个类打上不同的标签(人体ID)，但这些类的具体含义是什么以及这些人体ID具体对应谁均可以不关心。假设通过其他方法获知这些无标签数据中有张三和李四的图像数据，则可以将他们与获得的自标注数据进行对应。

906、更新第一特征信息模型。

可选地，可以利用自标注数据更新第一特征信息模型，也就是说，可以利用自标注数据对第一特征信息模型进行训练，并且可以将更新后(训练后)的第一特征信息模型继续用于提取第一特征信息。

需要说明的是，步骤906可以不执行，依然可以实现图8所示过程。

在图9所示方法中，相当于利用第二特征信息对第一特征信息对应的分类结果(例如图9中的初步分类结果)进行了核查，从而将一些错误的分类进行修正，使得分类更为准确，从而在利用上述更为准确的分类(例如图9中的最终分类结果)对无标签数据进行标注时提高了自标注数据的准确性。

可选地，当第二特征信息是利用第二特征信息模型获得的时候，还可以利用自标注数据更新第二特征信息模型。在图9中未示出。

在执行步骤802时，还可以先对第一特征信息和第二特征信息进行融合获得相应的融合信息，再对融合信息进行分类，以获得分类结果，以及根据分类结果对无标签数据进行标注。下面结合图10对这种情况下的人体重识别数据处理的方法的执行过程进行介绍，图10是本申请实施例的一种人体重识别数据处理的方法的示意性流程图。

1001、提取第一特征信息。

1002、提取第二特征信息。

可选地，可以利用上文所述相关方法提取无标签数据的第二特征信息，该第二特征信息可以包括一种或多种特征信息，例如，可以包括人脸信息或者人体属性信息或者时序信息或者空间信息中的至少一种，其中，时序信息和空间信息还可以是融合在一起的时空信息。

可选地，可以利用第二特征信息模型对无标签数据进行特征提取，以获得第二特征信息。

需要说明的是，步骤1001和步骤1002的执行不存在先后顺序的限定，可以同时执行也可以不同时执行，且获取第一特征信息和获取第二特征信息的方法也可以不相同。

1003、对第一特征信息和第二特征信息进行特征分类，以获得分类结果。

1004、利用分类结果对无标签数据进行标注，以获得自标注数据。

可选地，可以在图像中框出识别出的人体和在框出的人体图像框上标注人体ID标签。

可选地，可以采用图9中步骤9005所提供的方法执行步骤1004。

1005、更新第一特征信息模型。

需要说明的是，步骤1005可以不执行，依然可以实现图8所示过程。

可选地，当第二特征信息是利用第二特征信息模型获得的时候，还可以利用自标注数据更新第二特征信息模型。在图10中未示出。

在图10所示方法中，利用第一特征信息和第二特征信息的融合信息进行分类，能够将因为存在遮挡、正背面、低分辨率等问题导致的难以区分的数据给分离开，从而获得正确的分类结果，进而获得更为准确的自标注数据。

应理解图9所示方法和图10所示方法也可以相结合来进行，例如，可以利用第一特征信息分类得到初步分类结果，再利用第一特征信息和第二特征信息的融合信息对初步分类结果进行调整。又例如，可以利用第一特征信息分类得到初步分类结果，再从初步分类结果中获取第二特征信息，在对第一特征信息和第二特征信息的融合信息进行分类。

还需说明的是，由于第二特征信息可以只包括一种特征信息，也可以包括多种特征信息，当第二特征信息包括多种时，在利用第二特征信息对初步分类结果进行调整时，可以一次利用每一种第二特征信息对初步分类结果进行调整，也可以先将多种第二特征信息进行融合，将融合后的第二特征信息用来对初步分类结果进行调整。

可选地，当获得自标注数据后，图8所示方法还可以包括步骤803(图8中未示出)，通过执行步骤803来利用自标注数据更新(训练)第一特征信息模型。

803、根据自标注数据，对第一特征信息模型进行训练，获得训练后的第一特征信息模型。

可选地，在利用图8所示方法获得自标注数据后，还可以将获得的自标注数据还可以用于模型训练，例如用于第一特征信息模型和/或第二特征信息模型的训练。例如，可以根据自标注数据，对人体重识别模型进行训练，获得训练后的人体重识别模型。

如图9所示步骤906和图10所示步骤1005。当第一特征信息包括人体特征信息时，第一特征信息模型即为人体重识别模型，利用自标注数据对该人体重识别模型进行训练，能够提高模型的准确性，当将训练后的人体重识别模型应用于提取人体特征信息(第一特征信息的一例)时，能够提高人体特征信息的准确性，从而进一步作用于自标注数据的准确性，可以如此不断迭代，还可以设定迭代次数阈值，执行次数累计达到次数阈值时停止并输出当轮次的训练后的人体重识别模型。

在图8所示方法中，利用第一特征信息和第二特征信息对无标签数据进行学习，实现数据的自标注，在获得自标注数据时，综合考虑多种特征信息进行标注，能够提高标注的准确性，从而当根据所述自标注数据，进行人体重识别模型(第一特征信息模型的一例)的训练时，能够提高人体重识别模型(第一特征信息模型的一例)的准确性，从而提高人体重识别的准确性。该方案不需要人工介入，既能保护人体数据的隐私又能够节省人工标注的成本和提高标注效率，且当应用到不同场景时，能够利用本地数据在本地重新学习，不需要人工干预，可移植性好。

从上文可知，第二特征信息可以存在不同的组成情况，下面将根据第二特征信息的不同情况对本申请实施例提供的人体重识别方法进行举例介绍。需要说明的是，图11至图21相当于对图8至图10的进一步举例介绍，因此，为了简洁，对部分描述进行了合理省略。

图11是本申请实施例的基于人体特征信息和人脸信息的人体重识别数据处理的方法的示意图。图11所示例子对应于第一特征信包括人体特征信息、第二特征信息包括人脸信息的情况。下面对图11所示各步骤进行介绍。

1101、提取人体特征信息。

可选地，可以利用人体重识别模型(第一特征信息模型的一种示例)对无标签数据进行特征提取，以获得人体特征信息。

可选地，可以采用与步骤901相同的方法执行步骤1101。

1102、对人体特征信息进行分类，获得人体特征信息的初步分类结果。

可选地，可以采用与步骤902相同的方法执行步骤1102。例如，可以采用上文所述例如分类算法等执行步骤1102。

1103、提取初步分类结果的人脸信息。

可选地，可以利用人脸识别模型(第二特征信息模型的一种示例)对初步分类结果所对应的图像进行识别，以获得人脸信息。

可选地，可以采用与步骤903相同的方法执行步骤1103。

1104、根据人脸信息调整初步分类结果，以获得最终分类结果。

可选地，可以采用步骤904相同的方法执行步骤1104。

1105、利用最终分类结果对无标签数据进行标注，以获得自标注数据。

可选地，可以采用与步骤905相同的方法执行步骤1105。

在图11所示方法中，利用人脸信息对人体重识别结果进行修正，有效提高了识别的准确性。图12是利用传统方法进行人体重识别的结果示意图。图13是利用图11的方法获得的人体重识别模型进行人体重识别的结果示意图。如图12所示，当只利用人体特征信息进行分类时，很容易将图12所示各图像划分为一类，即图12所示各图像中的行人的标签为同一ID。如图13所示，当利用图11所示的方法，对图12所示各图像进行人脸识别，并根据人脸识别结果对图12所示的分类结果进行调整后，将图12所示的属于同一类的8个图像进一步划分为了三类，即标签为3个ID。可以看出，准确性得到了有效提高。

可选地，图11所示方法还可以包括步骤1106。

1106、更新人体重识别模型。

可选地，可以利用步骤1105所获得的自标注数据，对人体重识别模型进行训练，在本申请实施例中更新也可以称之为训练，以获得训练后(更新后)的人体重识别模型，从而提高了人体重识别模型的准确性。

可选地，训练后(更新后)的人体重识别模型还可以进一步用于人体特征信息的提取，从而提高人体特征信息的准确性，以进一步提高自标注数据的准确性。

图14是本申请实施例的基于人体特征信息和人脸信息的人体重识别数据处理的方法的示意图。图14所示例子对应于第一特征信包括人体特征信息、第二特征信息包括人脸信息的情况。下面对图14所示各步骤进行介绍。

1401、提取人体特征信息。

可选地，可以利用人体重识别模型(第一特征信息模型的一例)对无标签数据进行特征提取，以获得人体特征信息。

可选地，可以采用与步骤1001相同的方法执行步骤1401。

1402、提取人脸信息。

可选地，可以利用人脸识别模型(第二特征信息模型的一例)对无标签数据进行识别，以获得人脸信息。

可选地，可以采用与步骤1002相同的方法执行步骤1402。

需要说明的是，步骤1401和步骤1402同样不存在执行先后顺序的限定，可以同时执行也可以不同时执行。

1403、根据人体特征信息和人脸信息进行特征分类，以获得分类结果。

可选地，可以采用与步骤1003相同的方法执行步骤1403，即可以将人体特征信息和人脸信息融合成一个特征，再计算样本间的相似度，也可以先计算两种信息各自样本间的相似度，再将相似度结果进行融合，在此不再赘述。

1404、利用分类结果对无标签数据进行标注，以获得自标注数据。

可选地，可以采用与步骤1004相同的方法执行步骤1404，在此不再赘述。

在图14所示方法中，在进行特征分类的时候，同时利用了人体特征信息和人脸信息，可以有效提高自标注和识别的准确性。图15是利用图14的方法获得的人体重识别模型进行人体重识别的结果示意图。如图15所示，由于背景以及骑行工具等带来的遮挡和姿态变化，使得图15中同一ID下的三幅图之间的类内距离较大，在自标注中难以标记为同一个ID。然而，图15所示三图中人脸特征之间的相似度较高，因此通过利用图14所述的方法，将人体特征和人脸特征进行融合(例如特征融合或相似度融合等)后再进行分类，则三幅图之间的类内距离降低，从而得更容易获得正确的分类结果，准确性得到了有效提高。

可选地，图14所示方法还可以包括步骤1405。

1405、更新人体重识别模型。

可选地，可以利用步骤1404所获得的自标注数据，对人体重识别模型进行训练，以获得训练后(更新后)的人体重识别模型，从而提高了人体重识别模型的准确性。

本申请实施例还提供了基于人体特征信息和人体属性信息的人体重识别方法，其可以采用与图11和图14相同的方法和执行过程，只需要将图11与图14中的人脸信息替换为人体属性信息即可，因此为了简洁，在此不再详细介绍。需要说明的是，人体属性包括但不限于衣服颜色，衣服纹理，衣服款式，性别，发型，鞋子颜色，鞋子款式，是否背包等等。相比于人体特征，人体属性信息通常聚焦的是某个局部或者某个特性的特征，因此与人体特征信息具有互补性。

图16和图17是基于人体特征信息和人体属性信息的人体重识别的结果示意图。如图16和图17所示，当只利用人体特征信息进行分类时，由于行人的着装很相似，也就是人体特征信息相似，导致很容易将图16中的4个图像划分为同一类，以及将图17中的4个图像划分为同一类。但若结合人体属性信息，就可以将图16和图17中的各图像进一步区分开来，例如图16结合所穿鞋子的颜色(人体属性信息的一例)将属于同一类的4张图像进一步划分为两组(两类)，图17结合发型(人体属性信息的一例)将属于同一类的4张图像进一步划分为两组(两类)，从而提高了自标注和识别的准确性。

图18是基于人体特征信息和人体属性信息的人体重识别的结果示意图。如图18所示，由于遮挡、正背面、低分辨率等原因，图18中同一ID下的4个图像之间的类内距离较大，在自标注中难以标记为同一个ID。然而，4个图像中的人体属性信息的识别结果表明，4个图像中均为微卷短发、红色上衣裤子、黑鞋白底等，因此通过先对人体特征和人体属性特征进行融合(例如特征融合或相似度融合等)再进行分类，使得4个图像之间的类内距离可以降低，从而得更容易获得正确的分类结果，使得准确性得到提高。

图19是本申请实施例的基于人体特征信息和多个第二特征信息的人体重识别数据处理的方法的示意图。图19对应于第一特征信息为人体特征信息，第二特征信息包括人体属性信息、人脸信息和时空信息的情况，其中，时空信息包括时序信息和空间信息。下面对图19各步骤进行介绍。

1901、提取人体特征信息。

可选地，可以利用人体重识别模型(第一特征信息模型的一例)，对输入的无标签数据/图片/序列进行特征提取，获得人体特征信息。人体重识别模型也可以称之为人体ReID模型或者人体特征信息模型等。

1902、对人体特征信息进行分类获得初步分类结果。

可选地，可以采用聚类算法，例如k-means等对人体特征信息进行分类，以获得初步分类结果。

1903、提取初步分类结果的第二特征信息。

可选地，可以利用人脸识别模型获取人脸信息，利用人体属性模型获得人体属性信息，利用时空模型获得时空信息。需要说明的是，在图19所示实施例中第二信息包括人脸信息、人体属性信息和时空信息，但对于第二特征信息的组成不存在限定，第二特征信息也可以存在其他的情况，例如第二特征信息包括人脸信息和时空信息，又例如第二特征信息包括人体属性信息和时序信息等等，又例如第二特征信息还可以包括本申请未列举的其他特征信息等等，在此不再赘述。

1904、根据多个第二特征信息调整初步分类结果，以得到最终的分类结果。

可选地，可以采用上文所提供的相同的方法执行步骤1904，利用第二特征信息分别对初步分类结果进行核查和调整，使得初步分类结果中的错误分类得到修正，提高分类结果准确性。步骤1904可以将人体特征信息相近的图像进行进一步的分类，从而提高分类的准确性，进而提高自标注的准确性和人体特征模型的准确性。

1905、利用最终的分类结果对无标签数据进行标注，以得到自标注数据。

需要说明的是，当输入的不是无标签数据，而是无标签序列时，步骤1905可以是对无标签序列进行标注，得到相应的自标注序列数据。同理，当输入的是无标签图片时，步骤1905可以是对无标签图片进行标注，得到相应的自标注图片数据。

1906、利用自标注数据更新人体重识别模型。

可选地，可以重复上述步骤1901至1906，直到满足停止条件时，停止执行上述步骤，例如可以设置执行次数阈值，当执行的次数大于或等于阈值的时候，停止执行上述步骤。

需要说明的是，步骤1906可以执行，也可以不执行，当执行步骤1906时，相当于利用自标注数据不断对人体重识别模型进行优化训练，使得该模型更优，从而当将优化后的模型应用于步骤1901时，能够获得更为准确的人体特征信息。

在图19所示方法中，利用人体属性信息、人脸信息和时空信息对分类结果进行修正，提高了人体ReID自标注数据的质量和人体ReID模型的性能。

图20是利用人体特征信息进行人体重识别的结果示意图。在图20中，5个图像均来自于初步分类结果中的某一个类别，为了便于表述，从左至右，分别将其编号为图像1至图像5。当只采用人体特征信息时，将5个图像划分为了同一类。则可以利用图19所提供的方法，将5个图像区分开。例如，通过结合人脸信息，可将图像3和图像4区分开。通过结合人体属性信息(例如鞋子颜色)，可将图像2和图像5区分开。而图像1和图像5来自于距离相隔较远的视频摄像机，两者视频摄像机位置的空间距离约150m，而时间间隔为1分钟，因此，从时空信息上可以判断图像1和图像5不会是同一个人，即从时空信息上可判断图像1和图像5并非同一ID，因此图像1和图像5可以通过时空信息来区分开。

图21是本申请实施例的基于人体特征信息和多个第二特征信息的人体重识别数据处理的方法的示意图。图21对应于第一特征信息为人体特征信息，第二特征信息包括人体属性信息、人脸信息、时序信息、空间信息、时空信息中的任意多种的情况。下面对图21各步骤进行介绍。

2101、提取人体特征信息。

可选地，可以采用上文所提供的相同的方法执行步骤2101，因此不再重复介绍。

2102、提取多个第二特征信息。

可选地，同样可以采用上文所提供的相同的方法执行步骤2102，因此不再重复介绍。但需要说明的是，步骤2101和步骤2102不存在先后顺序的限定，且二者可以同时执行也可以不同时执行。还应理解，第二特征信息可以存在多种组成情况，只要第二特征信息中是多种特征信息即可。

2103、根据人体特征信息和多个第二特征信息的融合信息进行特征分类，以获得分类结果。

可选地，同样可以采用上文所提供的相同的方法执行步骤2103，因此不再重复介绍。但需要说明的是，在步骤2103相当于先将多种特征信息进行融合，再对融合后的特征信息进行分类。此处融合可以是特征融合，也可以是相似度融合等等。例如可以是将人体特征信息和多个第二特征信息中的每个特征信息进行融合之后，获得融合信息；也可以是分别计算人体特征信息和多个第二特征信息中每个特征信息的相似度，再将相似度进行融合。还应理解，在融合过程中不存在先后顺序的限定，以第二特征信息中包括人脸信息和人体属性信息为例，可以先融合人体特征信息和人脸信息，再将融合后的特征信息与人体属性信息融合；也可以先融合人脸信息和人体属性信息，再将融合后的特征信息与人体特征信息融合；还可以同时进行融合等等，在此不再赘述。

2104、利用分类结果对无标签数据进行标注，以得到自标注数据。

2105、更新人体重识别模型。

可选地，可以利用步骤2104所获得的自标注数据对人体重识别模型进行优化训练。

步骤2105同样可以采用上文提供的相同的方法执行，因此同样不再重复介绍。

图22是本申请实施例的获得第二特征信息模型的方法示意图。

如图22所示，可以先利用图8至图21所示的任意一种方法获得标注结果(自标注数据)，再利用标注结果对第二特征信息模型进行训练，获得训练后的第二特征信息模型。

2201、获取第一特征信息。

可选地，可以先对输入的无标签数据进行第一特征信息的提取，例如利用第一特征信息模型提取第一特征信息，例如利用人体重识别模型获得人体特征信息。

2202、对无标签数据进行标注。

可选地，可以采用上文提供的方法，利用第一特征信息和第二特征信息对无标签数据进行标注，获得标注结果(自标注数据)。

2203、利用标注结果对第二特征信息模型进行训练。

将获得的标注结果用于第二特征信息模型的训练，能够使得第二特征信息模型的性能得到提高，从而能够提高第二特征信息的准确性。

此外，还可以利用标注结果对第一特征信息模型进行训练，从而提高第一特征信息模型的准确性，使得第一特征信息的提取质量得到提高。即可以包括步骤2204。

步骤2204、利用标注结果对第一特征信息模型进行训练。

需要说明的是，第二特征信息模型可以包括人脸识别模型、人体属性模型、时序模型、空间模型或者时空模型中的任意一种或多种。

当第二特征信息模型包括人脸识别模型时，使用自标注数据可以获得更多样化的人脸图像。对自标注数据进行人脸识别，所得到的人脸图像为同一ID的数据，因此可以获得低分辨率、俯仰角大和侧脸等人脸标注数据。利用这些同一ID的不同情况的人脸数据进行人脸识别模型的优化训练，能够获得鉴别能力更好的人脸识别模型。图23和图24为利用本申请实施例的人体重识别方法获得的多样化的待识别人脸图像的示意图。如图23和图24所示，通过利用人体重识别过程中产生的自标注结果，可获得低分辨率、俯仰角大和侧面的人脸图像，此类人脸图像对人脸识别性能的提升具有重要作用。

当第二特征信息模型包括人体属性模型时，使用自标注数据可以获得高质量的人体属性标注，例如可以识别出低分辨率、光线过强过暗等数据的人体属性信息。对自标注数据进行人体属性信息识别，即是在对每一类中的高质量图像/图片等数据进行人体属性识别，能够获得鉴别能力更好的人体属性模型。图25是人体特征信息和/或人体属性信息相近的多个行人的图像的示意图。为了便于描述对图25中个同乡进行了分组和编号，分为3组，编号采用组编号加图编号的形式，例如第1组的第1个图像编号为组1-1，第2组的第3个图像的编号为组2-3等。如图25所示，若仅采用人体属性识别模型，则对组1-3的鞋子款式属性、组2-2和组2-3的性别属性、组3-1的颜色属性等均易识别错误。但通过结合利用上述自标注数据，此处的自标注数据的形式为图像，即自标注图像数据，则可通过对其组内其他图像的属性识别来提升上述较难识别的图像的人体属性信息的识别准确率。

在图22所示的方法中，利用自标注数据，自动产生第二特征信息识别的标注样本，能够提升第二特征信息模型的鉴别能力。

需要说明的是，本申请实施例所提供的各方法除了可以用于行人的人体重识别，也可以用于动物的重识别，只需将上文中的人替换为动物即可。

上文结合附图对本申请实施例的人体重识别方法进行了详细描述，下面结合附图对本申请实施例的人体重识别装置进行详细的描述，应理解，下面描述的人体重识别装置能够执行本申请实施例的人体重识别方法的各个步骤，为了避免不必要的重复，下面在介绍本申请实施例的人体重识别装置时适当省略重复的描述。

图26是本申请实施例的人体重识别数据处理的装置的示意性框图。图26所示的装置3000包括获取单元3001和处理单元3002。

获取单元3001和处理单元3002可以用于执行本申请实施例的人体重识别方法。

例如，获取单元3001可以执行上述步骤801，处理单元3002可以执行上述步骤802和/或步骤803。又例如，获取单元3001可以执行上述步骤1001和步骤1002，处理单元3002可以执行上述步骤1003至步骤1005。又例如，获取单元3001可以执行上述步骤901和步骤903，处理单元3002可以执行上述步骤902和步骤904至步骤906。又例如，获取单元3001可以执行上述步骤191和步骤193，处理单元3002可以执行上述步骤192和步骤194至步骤906。又例如，获取单元3001可以执行上述步骤1401和步骤1402，处理单元3002可以执行上述步骤1403至步骤1405。又例如，获取单元3001可以执行上述步骤11001和步骤11003，处理单元3002可以执行上述步骤11002和步骤11004至步骤11006。又例如，获取单元3001可以执行上述步骤2101和步骤2102，处理单元3002可以执行上述步骤2103至步骤2105。

上述处理单元3002按照处理功能的不同可以分成多个模块，具体地，处理单元3002可以相当于图4所示的人体重识别装置中的主干网络模块101、RPN模块102、自激活模块103、基础特征加权模块104、区域特征生成模块105、RCNN模块106以及输出模块107。处理单元3002能够实现图4所示的人体重识别装置中的各个模块的功能。

装置3000还可以包括图7所示人体重识别装置700个模块，能够实现相同的功能，获取单元3001可以包括特征获取模块710，实现与特征获取模块710相同的功能，处理单元3002可以包括自标注模块720和模型训练模块730。

图27是本申请实施例的人体重识别数据处理的装置的硬件结构示意图。图27所示的装置4000(该装置4000具体可以是一种计算机设备)包括存储器4001、处理器4002、通信接口4003以及总线4004。其中，存储器4001、处理器4002、通信接口4003通过总线4004实现彼此之间的通信连接。

存储器4001可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器4001可以存储程序，当存储器4001中存储的程序被处理器4002执行时，处理器4002用于执行本申请实施例的人体重识别方法的各个步骤。

处理器4002可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请方法实施例的人体重识别方法。

处理器4002还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的人体重识别方法的各个步骤可以通过处理器4002中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器4002还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器4001，处理器4002读取存储器4001中的信息，结合其硬件完成本人体重识别装置中包括的单元所需执行的功能，或者执行本申请方法实施例的人体重识别方法。

通信接口4003使用例如但不限于收发器一类的收发装置，来实现装置4000与其他设备或通信网络之间的通信。例如，可以通过通信接口4003获取待处理图像。

总线4004可包括在装置4000各个部件(例如，存储器4001、处理器4002、通信接口4003)之间传送信息的通路。

应注意，尽管上述装置4000仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置4000还可以包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置4000还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置4000也可仅仅包括实现本申请实施例所必须的器件，而不必包括图27中所示的全部器件。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种人体重识别数据处理的方法，其特征在于，包括：

从无标签数据中获取第一特征信息和第二特征信息，所述第一特征信息包括人体特征信息，所述第二特征信息包括人脸信息、人体属性信息、时序信息或空间信息中的至少一种；

根据所述第一特征信息和所述第二特征信息对所述无标签数据进行标注，获得对应于所述无标签数据的自标注数据。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述自标注数据，对人体重识别模型进行训练，获得训练后的人体重识别模型。

3.如权利要求1或2所述的方法，其特征在于，所述根据所述第一特征信息和所述第二特征信息对所述无标签数据进行标注，包括：

根据所述第一特征信息对所述无标签数据进行分类，获得初步分类结果；

根据所述第二特征信息对所述初步分类结果进行调整，获得最终分类结果；

根据所述最终分类结果对所述无标签数据进行标注，获得所述自标注数据。

4.如权利要求1或2所述的方法，其特征在于，所述根据所述第一特征信息和所述第二特征信息对所述无标签数据进行标注，包括：

获取所述第一特征信息和所述第二特征信息的融合信息；

根据所述融合信息对所述无标签数据进行分类，获得分类结果；

根据所述分类结果对所述无标签数据进行标注，获得所述自标注数据。

5.如权利要求2至4中任一项所述的方法，其特征在于，所述方法还包括：

利用所述训练后的人体重识别模型对所述无标签数据进行特征提取，以获取新的第一特征信息；

根据所述新的第一特征信息对所述无标签数据进行标注，以获得新的自标注数据；

根据所述新的自标注数据，对所述训练后的人体重识别模型进行再训练。

6.如权利要求1至5中任一项所述的方法，其特征在于，所述第二特征信息是利用第二特征信息模型获得的；

所述方法还包括：

根据所述自标注数据更新所述第二特征信息模型。

7.一种人体重识别的方法，其特征在于，包括：

获取一个或多个待处理图像；

利用人体重识别模型，从所述一个或多个待处理图像中获取目标行人的一个或多个图像，所述人体重识别模型是利用如权利要求1至6中任一项所述的方法获得的；

根据所述目标行人的一个或多个图像，确定所述目标行人的活动轨迹。

8.一种人体重识别的方法，其特征在于，包括：

获取第一图像；

根据人体重识别模型，从一个或多个无标签图像中获取与所述第一图像相关的一个或多个第二图像，所述人体重识别模型是利用如权利要求1至6中任一项所述的方法获得的。

9.一种人体重识别数据处理的装置，其特征在于，包括：

获取单元，用于从无标签数据中获取第一特征信息和第二特征信息，所述第一特征信息包括人体特征信息，所述第二特征信息包括人脸信息、人体属性信息、时序信息或空间信息中的至少一种；

处理单元，用于根据所述第一特征信息和所述第二特征信息对所述无标签数据进行标注，获得对应于所述无标签数据的自标注数据。

10.如权利要求9所述的装置，其特征在于，所述处理单元，还用于根据所述自标注数据，对人体重识别模型进行训练，获得训练后的人体重识别模型。

11.如权利要求9或10所述的装置，其特征在于，所述处理单元，具体用于根据所述第一特征信息对所述无标签数据进行分类，获得初步分类结果；

12.如权利要求9或10所述的装置，其特征在于，所述处理单元，具体用于获取所述第一特征信息和所述第二特征信息的融合信息；

13.如权利要求10至12中任一项所述的装置，其特征在于，所述获取单元，还用于利用所述训练后的人体重识别模型对所述无标签数据进行特征提取，以获取新的第一特征信息；

所述处理单元，还用于根据所述新的第一特征信息对所述无标签数据进行标注，以获得新的自标注数据；根据所述新的自标注数据，对所述训练后的人体重识别模型进行再训练。

14.如权利要求9至13中任一项所述的装置，其特征在于，所述第二特征信息是利用第二特征信息模型获得的；

所述处理单元，还用于根据所述自标注数据更新所述第二特征信息模型。

15.一种人体重识别的装置，其特征在于，包括：

获取单元，用于获取一个或多个待处理图像；

处理单元，用于利用人体重识别模型，从所述一个或多个待处理图像中获取目标行人的一个或多个图像，所述人体重识别模型是利用如权利要求9至14中任一项所述的装置获得的；

所述处理单元，还用于根据所述目标行人的一个或多个图像，确定所述目标行人的活动轨迹。

16.一种人体重识别的装置，其特征在于，包括：

获取单元，用于获取第一图像；

处理单元，用于根据人体重识别模型，从一个或多个无标签图像中获取与所述第一图像相关的一个或多个第二图像，所述人体重识别模型是利用如权利要求9至14中任一项所述的装置获得的。

17.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如权利要求1至6中任一项所述的方法。

18.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如权利要求7或8所述的方法。

19.一种芯片，其特征在于，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以执行如权利要求1至6中任一项所述的方法。

20.一种芯片，其特征在于，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以执行如权利要求7或8所述的方法。