CN113657186A - 一种基于行人重识别的特征提取方法、装置和存储介质 - Google Patents

Abstract

本申请公开了一种基于行人重识别的特征提取方法、装置和存储介质，该方法包括：获取第一图像，第一图像包括行人目标；对行人目标的不同部件所在的区域进行检测，得到部件区域；基于部件区域的像素信息与行人目标的属性信息，确定第一行人相关信息；对第一行人相关信息进行编码，得到第一行人相关向量；采用行人特征提取模型对第一行人相关向量进行特征提取处理，得到第一特征。通过上述方式，本申请能够优化行人特征提取模型的训练速度，提升特征提取的准确率。

Description

一种基于行人重识别的特征提取方法、装置和存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种基于行人重识别的特征提取方法、装置和存储介质。

背景技术

在实际监控场景中，由于环境复杂以及相机分辨率低，很难得到清晰的人脸图像，人脸识别技术的作用并不突出；行人重识别作为人脸识别的补充，可以有效解决实际应用中跨设备、跨场景的问题。但在实际应用场景中，存在行人被遮挡、行人姿态不同以及行人外观较相似等问题，导致难以区分是否为同一个行人。

发明内容

本申请提供一种基于行人重识别的特征提取方法、装置和存储介质，能够优化行人特征提取模型的训练速度，提升特征提取的准确率。

为解决上述技术问题，本申请采用的技术方案是：提供一种基于行人重识别的特征提取方法，该方法包括：获取第一图像，第一图像包括行人目标；对行人目标的不同部件所在的区域进行检测，得到部件区域；基于部件区域的像素信息与行人目标的属性信息，确定第一行人相关信息；对第一行人相关信息进行编码，得到第一行人相关向量；采用行人特征提取模型对第一行人相关向量进行特征提取处理，得到第一特征。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种特征提取装置，该特征提取装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的基于行人重识别的特征提取方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的基于行人重识别的特征提取方法。

通过上述方案，本申请的有益效果是：先获取第一图像中行人目标的不同部件的部件区域；再获取每个部件区域的像素信息与行人目标的属性信息，以构建第一行人相关信息；然后对第一行人相关信息进行编码，得到第一行人相关向量；再采用行人特征提取模型对第一行人相关向量进行特征提取处理，得到第一特征；由于只对第一图像中的部件区域的信息进行处理，能够有效除去背景干扰，提升行人特征判别的准确性；而且通过将属性信息与像素信息输入同一个网络模型，无需添加辅助分支来提取属性特征，避免单独训练属性辅助分支对应的模型，能够降低训练模型所花费的时间，提高行人特征提取模型的训练速度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的基于行人重识别的特征提取方法一实施例的流程示意图；

图2是本申请提供的基于行人重识别的特征提取方法另一实施例的流程示意图；

图3是本申请提供的对第一图像进行处理的示意图；

图4是本申请提供的特征提取装置一实施例的结构示意图；

图5是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前有些方案在特征提取网络中增加分支网络，用属性信息作为辅助，但由于属性信息是独立分支，存在训练周期长以及特征判别低等问题。基于此，本申请提供了一种新的特征提取方案，无需新增分支，采用一个网络便可实现对输入数据进行特征提取，下面对本申请所采用的技术方案进行详细阐述。

请参阅图1，图1是本申请提供的基于行人重识别的特征提取方法一实施例的流程示意图，该方法包括：

步骤11：获取第一图像。

可通过摄像装置对当前监控场景进行拍摄得到第一图像，或者从图像数据中获取第一图像，或者接收其他装置发送的第一图像，该第一图像包括行人目标，该行人目标为在当前监控场景中行走的人。

步骤12：对行人目标的不同部件所在的区域进行检测，得到部件区域。

在获取到第一图像之后，采用目标检测算法对第一图像进行检测，可以得到每个部件的位置坐标，比如：左上角坐标与右下角坐标，将左上角坐标与右下角坐标所围成的区域记作部件区域；或者获取第一图像中行人目标的不同部件所在的检测框，该检测框围成的区域即为部件区域，部件可以为头、左上半身、右上半身、左下半身或右下半身等，或者还可将人体划分为头、左胳膊、右胳膊、左腿、右腿、上半身、下半身、左脚或右脚等部件。

进一步地，目标检测算法为常用的能够检测出人体各个部件的算法，比如：Yolo(You Only Look Once)、单步多框检测(Single Shot Multibox Detector，SSD)或快速区域卷积神经网络(Region-based Convolutional Neural Networks，Faster R-CNN)。

步骤13：基于部件区域的像素信息与行人目标的属性信息，确定第一行人相关信息。

在获取到部件区域后，对于每个部件区域，可获取第一图像中该部件区域内的所有像素值，得到像素信息；同时采用属性识别算法对该行人目标所在的图像或整幅第一图像进行识别分析，得到属性信息，该属性信息可以但不局限于包括行人目标是否戴帽子、行人目标是否戴口罩、行人目标的衣服款式、行人目标正面或背面、行人目标的皮肤属性特征、行人目标的性别或年龄。

步骤14：对第一行人相关信息进行编码，得到第一行人相关向量。

第一行人相关信息包括像素信息与属性信息，在获取到像素信息与属性信息之后，可对像素信息进行编码生成像素向量，对属性信息进行编码生成属性向量，然后将像素向量与属性向量组合，生成第一行人相关向量。

步骤15：采用行人特征提取模型对第一行人相关向量进行特征提取处理，得到第一特征。

在获取到第一行人相关向量之后，将该第一行人相关向量输入行人特征提取模型，行人特征提取模型对第一行人相关向量进行特征提取处理，生成第一特征，该行人特征提取模型可以为Transfomer模型或深度残差网络(Deep residual network，ResNet)等具备特征提取作用的学习模型。

本实施例提供了一种结合属性与部件特征的特征提取方法，通过行人检测确定行人目标的部件区域，将行人目标的属性信息与部件区域的像素信息编码为矢量嵌入到行人特征提取模型中，由于只对第一图像中的部件区域的信息进行处理，能够有效除去背景干扰，提升行人特征判别的准确性；而且由于将属性信息与像素信息输入同一个网络模型，无需添加辅助分支来提取属性特征，能够缩短模型训练的时间，优化行人特征提取模型的训练速度。

请参阅图2，图2是本申请提供的基于行人重识别的特征提取方法另一实施例的流程示意图，该方法包括：

步骤21：获取第一图像。

步骤21与上述实施例中步骤11相同，在此不再赘述。

步骤22：将第一图像输入人体部件检测模型，得到至少一个部件的检测框。

利用预先训练好的人体部件检测模型对第一图像进行检测，得到第一图像中人体目标的每个部件的检测框，检测框所在的区域记作部件区域，即该检测框所围成的区域即为部件区域。

步骤23：获取部件区域中每个像素的像素值，将所有像素值展开成向量得到像素信息，并对像素信息进行编码处理得到像素向量。

假设部件区域包括M×N个像素，将M×N个像素的像素值编码成像素向量，即将M×N个像素值拉伸成为特征向量(即像素向量)，该特征向量的长度为M×N。

进一步地，可按照水平向右的方向对像素值进行展开，得到一个M×N的向量，然后将该向量与一个拉伸权重相乘，得到像素向量，该拉伸权重的初始值可以为1。例如，假设第一图像为灰度图像，部件区域为该灰度图像中3×4的图像块，其像素值如下所示：

对这些像素值进行展开后，得到一个12维的像素向量[G11，G12，G13，G14，G21，G22，G23，G24，G31，G32，G33，G34]。

可以理解地，还可按照其他合理方式对像素值进行展开，比如：先按照水平向右的方向再按照垂直向下的方向展开，即像素向量为[G11，G12，G13，G14，G24，G23，G22，G21，G31，G32，G33，G34]。

步骤24：对行人目标对应的图像进行属性识别处理得到属性信息，并对属性信息进行编码处理得到属性向量。

属性信息包括至少一种属性，对每种属性的属性值进行随机初始化编码，得到属性向量，任意两种属性的属性向量不同，即属性向量与属性一一对应。例如，假设属性有4种：是否戴帽子、上衣颜色为红色、上衣颜色为白色以及上衣颜色为黑色，如果属性向量的维度为12，则是否戴帽子对应的属性向量可以为[h1，h2，h3，h4，h5，h6，h7，h8，h9，h10，h11，h12]，红色上衣对应的属性向量为[r1，r2，r3，r4，r5，r6，r7，r8，r9，r10，r11，r12]，白色上衣对应的属性向量为[k1，k2，k3，k4，k5，k6，k7，k8，k9，k10，k11，k12]，黑色上衣对应的属性向量为[g1，g2，g3，g4，g5，g6，g7，g8，g9，g10，g11，g12]。

可以理解地，如果不同的行人目标的某个属性相同，则他们对应的属性向量也相同；例如，假设属性信息为是否戴帽子，行人A戴帽子，行人B也待帽子，则行人A与行人B的属性向量相同。

步骤25：获取部件区域在第一图像中的位置信息，并采用正余弦函数对位置信息进行编码，生成位置向量。

可将部件区域的位置信息编码成位置向量；例如：头对应第一块，左上半身对应第二块，右上半身对应第三块，左下半身对应第四块，右下半身对应第五块；编码方式为利用余弦公式生成一个位置向量，具体公式如下：

其中，pos为待编码信息在待编码序列中的位置，其为0～(Num-1)之间的整数，Num为待编码序列的最大长度，d_model为位置向量的维度，i为0～(d_model/2-1)之间的整数，PE_(pos,2i)为与pos对应的位置向量中的第2i个向量值，PE_(pos,2i+1)为与pos对应的位置向量中的第(2i+1)个向量值。

步骤26：将第一行人相关向量输入行人特征提取模型得到部件特征，并对所有部件特征进行融合得到第一特征。

第一行人相关信息包括像素信息、属性信息以及位置信息，第一行人相关向量包括像素向量、位置向量以及属性向量；在获取到位置向量、属性向量以及像素向量后，将它们输入行人特征提取模型，以使得行人特征提取模型进行特征提取处理，生成相应的部件特征；通过对所有部位特征进行融合(比如：叠加、相减、求平均或直接拼接)得到第一特征，即第一特征包括每个部件的部件特征。

进一步地，行人特征提取模型为Transfomer模型，其为一个注意力机制的网络模型，通过采用Transfomer模型能够得到各个部件的特征(记作部件特征)，将各个部件的部位特征链接起来，便可得到最终的行人特征(即第一特征)。可以理解地，Transfomer模型的架构、工作原理与现有Transfomer模型相同，在此不再赘述。

在一具体的实施例中，可预先进行Transfomer模型的训练操作，得到训练好的Transfomer模型，具体步骤如下：

(1)获取数据集。

该数据集包括多张第二图像，第二图像为包含至少一个人体目标的图像，可通过摄像装置对行人进行拍摄，来收集第二图像。

(2)从数据集中选取一张第二图像作为当前处理图像。

在数据集中的第二图像的数量大于设定值(根据经验设置的值)时，可从数据集中随机挑选出一张图像作为当前处理图像，或者按照其他规则(比如：按照第二图像的获取顺序)来挑选当前处理图像。

(3)对当前处理图像进行处理，得到第二行人相关信息；再对第二行人相关信息进行编码，得到第二行人相关向量；再将第二行人相关向量输入Transfomer模型得到第二特征；然后基于第二特征计算出当前损失值，判断当前损失值是否小于预设损失值。

在获取到当前处理图像后，利用上述对第一图像处理的方式对第二图像进行处理，获取与第二图像对应的第二行人相关信息，对该第二行人相关信息进行编码处理得到第二行人相关向量，然后将不同部件的第二行人相关向量输入Transfomer模型，得到不同部件的部件特征；再通过对所有部件的部件特征进行融合便可得到第二特征；然后将该第二特征与真实标签特征进行对比，计算出相应的损失值(记作当前损失值)。

进一步地，可结合度量损失(比如：triplet损失)函数与类别损失(比如：交叉熵损失)函数来监督训练，以得到较好的网络模型；例如，将利用triplet损失函数计算出的损失值为记作第一损失值，将利用交叉熵损失函数计算出的损失值记作第二损失值，对第一损失值与第二损失值进行加权求和，得到当前损失值；或者还可判断第一损失值是否小于预设损失值，且判断第二损失值是否小于预设损失值；或者还可采用其他手段，例如，假设在特征融合之后获得1024维的行人特征，这个行人特征可以用度量损失函数监督，期望相同人的特征尽可能接近，不同人的特征尽可能远离；同时，将这个1024维的行人特征输入一个全连接层得到行人类别，用行人类别来进行监督，以训练模型。

(5)若判断当前损失值大于/等于预设损失值，则返回从数据集中选取一张第二图像作为当前处理图像的步骤，并调整Transfomer模型的参数，直至当前损失值小于预设损失值，得到训练好的Transfomer模型。

如果判断出当前损失值大于/等于预设损失值，则表明误差较大，此时可返回步骤(2)，同时调整Transfomer模型的参数(比如：拉伸权重、Transfomer模型中编码器的参数或Transfomer模型中解码器的参数)，不断对模型进行训练，直至当前损失值小于预设损失值。

例如，以图3所示的第一图像31为例来说明本实施例所采用的方案，采用人体部件检测模型对第一图像31进行处理，得到5个部件(包括头、左上半身、右上半身、左下半身以及右下半身)的检测框32a-32e；分别对检测框32a-32e中的所有像素值进行展开并编码，得到五组像素向量；对第一图像31中人所在的图像进行属性识别与编码处理得到属性向量，该属性向量对应的属性信息包括戴帽子、格子上衣、牛仔裤子、背面以及男性；对5个部件区域在第一图像中的位置信息进行编码得到位置向量；将第一行人相关向量输入Transfomer模型得到部件特征，并对所有部件特征进行融合得到第一特征。

为提高行人特征的判别性，本实施例提出一种结合行人属性与行人部件区域、且采用Transformer模型进行特征提取的方法，该方法根据行人部件检测算法将行人图像划分为不同的部件区域，对部件区域进行向量化得到像素向量，并对部件区域的编号进行编码得到位置向量，同时将行人属性信息编码成属性向量，嵌入到特征提取网络中；最后结合部件区域的像素向量、位置向量以及属性向量，通过Transformer模型提取出各部件的特征；最终将各个部件特征连接起来，便可得到具有判别性的行人特征。由于利用检测出的行人目标的部件区域来作为特征提取的单元，能够有效去除背景干扰，使得网络更聚焦行人本身，提取出更具判别性的特征，同时能实现部件特征对齐；另外，通过将行人的属性信息嵌入到主干网络中，能消除不同视角带来的差异(比如：正面与背面情况下行人的性别不变)，进一步提升算法的鲁棒性，且无需额外设置分支，模型的训练速度较快。

请参阅图4，图4是本申请提供的特征提取装置一实施例的结构示意图，特征提取装置30包括互相连接的存储器31和处理器32，存储器31用于存储计算机程序，计算机程序在被处理器32执行时，用于实现上述实施例中的基于行人重识别的特征提取方法。

本实施例基于行人的部件区域与属性信息进行特征提取，通过定位出行人的不同部件，一方面有效去除背景干扰，另外一方面可以实现特征对齐；而且由于将行人属性信息编码到主干网络中，无需额外设置与行人属性信息对应的辅助分支，训练速度较快，且特征判别性高。

请参阅图5，图5是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质40用于存储计算机程序41，计算机程序41在被处理器执行时，用于实现上述实施例中的基于行人重识别的特征提取方法。

计算机可读存储介质40可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于行人重识别的特征提取方法，其特征在于，包括：

获取第一图像，所述第一图像包括行人目标；

对所述行人目标的不同部件所在的区域进行检测，得到部件区域；

基于所述部件区域的像素信息与所述行人目标的属性信息，确定第一行人相关信息；

对所述第一行人相关信息进行编码，得到第一行人相关向量；

采用行人特征提取模型对所述第一行人相关向量进行特征提取处理，得到第一特征。

2.根据权利要求1所述的基于行人重识别的特征提取方法，其特征在于，所述第一行人相关信息还包括位置信息，所述第一行人相关向量还包括位置向量，所述方法还包括：

获取所述部件区域在所述第一图像中的位置信息，并采用正余弦函数对所述位置信息进行编码，生成所述位置向量。

3.根据权利要求1所述的基于行人重识别的特征提取方法，其特征在于，所述对所述第一行人相关信息进行编码，得到第一行人相关向量的步骤，包括：

对所述像素信息进行编码处理，得到像素向量；

对所述属性信息进行编码处理，得到属性向量；

将所述属性向量与所述像素向量输入所述行人特征提取模型。

4.根据权利要求3所述的基于行人重识别的特征提取方法，其特征在于，所述属性信息包括至少一种属性，所述对所述像素信息进行编码处理，得到像素向量的步骤，包括：

对所述属性的属性值进行随机初始化编码，得到所述属性向量，任意两种所述属性的属性向量不同。

5.根据权利要求1所述的基于行人重识别的特征提取方法，其特征在于，所述基于所述部件区域的像素信息与所述行人目标的属性信息，确定第一行人相关信息的步骤，包括：

获取所述部件区域中每个像素的像素值，将所有所述像素值展开成向量，得到所述像素信息；

对所述部件区域对应的图像进行属性识别处理，得到所述属性信息。

6.根据权利要求1所述的基于行人重识别的特征提取方法，其特征在于，所述对所述行人目标的不同部件所在的区域进行检测，得到部件区域的步骤，包括：

将所述第一图像输入人体部件检测模型，得到至少一个部件的检测框；

其中，所述部件区域为所述检测框所在的区域。

7.根据权利要求6所述的基于行人重识别的特征提取方法，其特征在于，所述第一特征包括每个所述部件的部件特征，所述采用行人特征提取模型对所述第一行人相关向量进行特征提取处理，得到第一特征的步骤，包括：

将所述第一行人相关向量输入所述行人特征提取模型，得到所述部件特征；

对所有所述部件特征进行融合，得到所述第一特征。

8.根据权利要求1所述的基于行人重识别的特征提取方法，其特征在于，所述行人特征提取模型为Transfomer模型，所述采用行人特征提取模型对所述第一行人相关向量进行特征提取处理的步骤之前，包括：

获取数据集，所述数据集包括多张第二图像；

从所述数据集中选取一张所述第二图像作为当前处理图像；

对所述当前处理图像进行处理，得到第二行人相关信息；

对所述第二行人相关信息进行编码，得到第二行人相关向量；

将所述第二行人相关向量输入所述Transfomer模型，得到第二特征，基于所述第二特征计算出当前损失值；

判断所述当前损失值是否小于预设损失值；

若否，则返回所述从所述数据集中选取一张所述第二图像作为当前处理图像的步骤，并调整所述Transfomer模型的参数，直至所述当前损失值小于所述预设损失值，得到所述Transfomer模型。

9.一种特征提取装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-8中任一项所述的基于行人重识别的特征提取方法。

10.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-8中任一项所述的基于行人重识别的特征提取方法。

Images