CN111476144A - 行人属性识别模型确定方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种行人属性识别模型确定方法、装置及计算机可读存储介质，该行人属性识别模型确定方法包括以下步骤：获取行人图像对应的输入图像；基于输入图像和卷积神经网络中的特征提取网络，确定最高特征图；基于最高特征图和卷积神经网络中的特征融合模块，确定执行特征融合模块中的特征融合操作后的融合特征图和融合特征图对应的融合特征向量；基于融合特征图、融合特征向量和卷积神经网络中的全连接层，确定分类损失量和一致性损失量，并且基于分类损失量和一致性损失量确定卷积神经网络的总体损失量；基于总体损失量，对特征提取网络的网络参数和全连接层的权重参数进行优化，确定行人属性识别模型。本发明提升了行人属性识别的效果。

Description

行人属性识别模型确定方法、装置及计算机可读存储介质

技术领域

本发明涉及机器学习领域，尤其涉及一种行人属性识别模型确定方法、装置及计算机可读存储介质。

背景技术

行人属性识别的目标在于挖掘给定行人图像的属性，如发型，性别，衣着等属性。行人属性作为一种高级的语义特征，其对于视角和观测条件的变化具有很高的鲁棒性，可以被集成到一些其他的视觉任务中以帮助它们获得更好的表现，如用于辅助行人再识别，人脸识别等任务。但由于用于行人属性识别的行人图像具有视角变化大，分辨率较低，低光照等特点，行人属性识别仍然是一个极具挑战性的任务，并且难以获得较好的性能。

现有技术中，一般的行人属性识别方法是将行人图像输入至用以提取特征的神经网络，得到可以表示行人图像的行人属性的特征向量，然后基于此特征向量对行人属性进行分类，得到该行人图像对应的行人属性集合。在行人属性的分类任务中，通常会进行数据增强操作，也就是对输入的行人图像进行水平翻转、缩放等操作以增加输入的训练数据的多样性，对输入的行人图像进行缩放等操作，使得相同的行人图像具有不同的尺度，即行人图像的大小不同，当输入的相同的行人图像的尺度不一样时，神经网络对相同类型的不同尺度的行人图像的行人属性识别的效果较差，从而导致用于识别行人属性的神经网络的性能较差。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种行人属性识别模型确定方法、装置及计算机可读存储介质，旨在解决神经网络对相同类型的不同尺度的行人图像的行人属性识别的效果较差的技术问题。

为实现上述目的，本发明提供一种行人属性识别模型确定方法，所述行人属性识别模型确定方法包括以下步骤：

获取行人图像对应的输入图像；

基于所述输入图像以及所述卷积神经网络中的特征提取网络，确定最高特征图；

基于所述最高特征图以及所述卷积神经网络中的特征融合模块，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量；

基于所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定分类损失量以及一致性损失量，并且基于所述分类损失量以及所述一致性损失量确定所述卷积神经网络的总体损失量；

基于所述总体损失量，对所述特征提取网络的网络参数以及所述全连接层的权重参数进行优化，确定行人属性识别模型。

可选地，所述基于所述最高特征图以及所述卷积神经网络中的特征融合模块，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量的步骤包括：

将所述最高特征图输入至所述卷积神经网络中的特征融合模块；

对所述最高特征图进行全局平均池化，确定所述最高特征图对应的全局特征向量；

基于所述全局特征向量以及所述最高特征图，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量。

可选地，所述基于所述全局特征向量以及所述最高特征图，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量的步骤包括：

基于预设卷积规则以及所述最高特征图，降低所述最高特征图的特征维度，确定对应的特征图；

基于所述预设卷积规则以及所述全局特征向量，降低所述全局特征向量的特征维度，确定降低特征维度后的特征向量；

基于所述特征图以及所述特征向量，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量。

可选地，所述基于所述特征图以及所述特征向量，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量的步骤包括：

将所述特征图和所述特征向量相加，确定所述融合特征图；

对所述融合特征图进行全局平均池化，确定所述融合特征向量。

可选地，所述基于所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定分类损失量以及一致性损失量，并且基于所述分类损失量以及所述一致性损失量确定所述卷积神经网络的总体损失量的步骤包括：

获取预设行人属性的个数，并将所述预设行人属性的个数作为所述全连接层的输出量对应的输出维度；

基于所述输出维度、所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定所述分类损失量以及所述一致性损失量。

可选地，所述基于所述输出维度、所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定所述分类损失量以及所述一致性损失量的步骤包括：

基于所述输出维度，将所述融合特征向量输入至所述卷积神经网络中的全连接层，确定所述卷积神经网络中的全连接层输出的输出量；

基于所述输出量以及所述融合特征向量对应的实际标签，确定所述分类损失量；

基于所述全连接层中的权重参数以及所述融合特征图，确定所述一致性损失量。

可选地，所述基于所述全连接层中的权重参数以及所述融合特征图，确定所述一致性损失量的步骤包括：

基于所述全连接层中的权重参数以及所述融合特征图，确定所述输入图像对应的激活图；

基于所述激活图，确定所述一致性损失量。

可选地，所述获取行人图像对应的输入图像的步骤包括：

获取原始行人图像；

对所述原始行人图像进行放缩，确定预设尺度的图像；

对所述预设尺度的图像进行归一化处理，确定所述输入图像。

此外，为实现上述目的，本发明还提供一种行人属性识别模型确定装置，所述行人属性识别模型确定装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的行人属性识别模型确定程序，所述行人属性识别模型确定程序被所述处理器执行时实现如上述的行人属性识别模型确定方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有行人属性识别模型确定程序，所述行人属性识别模型确定程序被处理器执行时实现如上述的行人属性识别模型确定方法的步骤。

本发明通过获取行人图像对应的输入图像；基于所述输入图像以及所述卷积神经网络中的特征提取网络，确定最高特征图；基于所述最高特征图以及所述卷积神经网络中的特征融合模块，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量；基于所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定分类损失量以及一致性损失量，并且基于所述分类损失量以及所述一致性损失量确定所述卷积神经网络的总体损失量；基于所述总体损失量，对所述特征提取网络的网络参数以及所述全连接层的权重参数进行优化，确定行人属性识别模型，将一致性损失作为卷积神经网络的监督信号，以使卷积神经网络输入不同尺度的行人图像时，卷积神经网络对不同尺度的行人图像产生监督约束的行为，使得卷积神经网络对于变换前后的行人图像应该在相同位置输出具有相同的响应，提高了卷积神经网络的学习能力，最终确定性能优异的行人属性识别模型，以对行人图像预测行人属性结果，提升了行人属性识别的效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的行人属性识别模型确定装置结构示意图；

图2为本发明行人属性识别模型确定方法第一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的行人属性识别模型确定装置结构示意图。

本发明实施例行人属性识别模型确定装置可以是PC，也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该行人属性识别模型确定装置可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，行人属性识别模型确定装置还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。

本领域技术人员可以理解，图1中示出的行人属性识别模型确定装置结构并不构成对行人属性识别模型确定装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及行人属性识别模型确定程序。

在图1所示的行人属性识别模型确定装置中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的行人属性识别模型确定程序。

在本实施例中，行人属性识别模型确定装置包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的行人属性识别模型确定程序，其中，处理器1001调用存储器1005中存储的行人属性识别模型确定程序时，并执行以下操作：

获取行人图像对应的输入图像；

基于所述输入图像以及所述卷积神经网络中的特征提取网络，确定最高特征图；

基于所述最高特征图以及所述卷积神经网络中的特征融合模块，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量；

基于所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定分类损失量以及一致性损失量，并且基于所述分类损失量以及所述一致性损失量确定所述卷积神经网络的总体损失量；

基于所述总体损失量，对所述特征提取网络的网络参数以及所述全连接层的权重参数进行优化，确定行人属性识别模型。

进一步地，处理器1001可以调用存储器1005中存储的行人属性识别模型确定程序，还执行以下操作：

将所述最高特征图输入至所述卷积神经网络中的特征融合模块；

对所述最高特征图进行全局平均池化，确定所述最高特征图对应的全局特征向量；

基于所述全局特征向量以及所述最高特征图，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量。

进一步地，处理器1001可以调用存储器1005中存储的行人属性识别模型确定程序，还执行以下操作：

基于预设卷积规则以及所述最高特征图，降低所述最高特征图的特征维度，确定对应的特征图；

基于所述预设卷积规则以及所述全局特征向量，降低所述全局特征向量的特征维度，确定降低特征维度后的特征向量；

基于所述特征图以及所述特征向量，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量。

进一步地，处理器1001可以调用存储器1005中存储的行人属性识别模型确定程序，还执行以下操作：

将所述特征图和所述特征向量相加，确定所述融合特征图；

对所述融合特征图进行全局平均池化，确定所述融合特征向量。

进一步地，处理器1001可以调用存储器1005中存储的行人属性识别模型确定程序，还执行以下操作：

获取预设行人属性的个数，并将所述预设行人属性的个数作为所述全连接层的输出量对应的输出维度；

基于所述输出维度、所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定所述分类损失量以及所述一致性损失量。

进一步地，处理器1001可以调用存储器1005中存储的行人属性识别模型确定程序，还执行以下操作：

基于所述输出维度，将所述融合特征向量输入至所述卷积神经网络中的全连接层，确定所述卷积神经网络中的全连接层输出的输出量；

基于所述输出量以及所述融合特征向量对应的实际标签，确定所述分类损失量；

基于所述全连接层中的权重参数以及所述融合特征图，确定所述一致性损失量。

进一步地，处理器1001可以调用存储器1005中存储的行人属性识别模型确定程序，还执行以下操作：

基于所述全连接层中的权重参数以及所述融合特征图，确定所述输入图像对应的激活图；

基于所述激活图，确定所述一致性损失量。

进一步地，处理器1001可以调用存储器1005中存储的行人属性识别模型确定程序，还执行以下操作：

获取原始行人图像；

对所述原始行人图像进行放缩，确定预设尺度的图像；

对所述预设尺度的图像进行归一化处理，确定所述输入图像。

本发明还提供一种行人属性识别模型确定方法，参照图2，图2为本发明行人属性识别模型确定方法第一实施例的流程示意图。

在本实施例中，该行人属性识别模型确定方法包括以下步骤：

本发明行人属性识别模型确定方法包括训练卷积神经网络以及训练卷积神经网络完成后得到行人属性识别模型，也就是说，行人属性识别模型也是卷积神经网络，但是行人属性识别模型为训练完成的卷积神经网络。其中，卷积神经网络包括特征提取网络、特征融合模块以及全连接层。

本发明行人属性识别模型确定方法应用于一种卷积神经网络训练系统，该卷积神经网络训练系统可以是服务器或者终端。其中，服务器可以是计算机等网络设备。服务器可以是一个独立的设备，也可以是多个服务器所形成的服务器集群。优选地，云服务器可以采用云计算技术进行信息处理。终端可以是手机、平板电脑或者是专用的手持设备等具有无线通信功能的电子设备，也可以是PC(personal computer，简称个人计算机)，笔记本电脑，服务器等有线接入方式连接上网的设备。终端可以是一个独立的设备，也可以是多个终端所形成的终端集群。优选地，终端可以采用云计算技术进行信息处理。

行人属性识别可以被定义为：给定一张行人图像I和预定义的属性集A，目标为从这张图像中预测出一组属于属性集合A的属性集合B，用以描述这张行人图像的特征。然而，由于用于训练神经网络的行人图像的训练数据集存在着多视角、遮挡、不平衡数据分布、低分辨率、光照以及模糊等问题，因此行人属性识别是一个具有挑战的任务，并且难以获得较好的性能。现有技术中，一般的行人属性识别方法是将行人图像输入用于特征提取的神经网络，得到可以表示输入的行人图像的行人属性的特征向量，然后基于此特征向量对行人属性进行分类，以得到该行人图像对应的行人属性集合。

但是，经过分析神经网络的输出响应发现，神经网络对于相同图像在不同尺度输入大小的输出响应是不同的，神经网络的输出响应对于输入图像的尺度变化敏感，也就是说，当输入不同尺度的同类型行人图像时，神经网络对这种不同尺度的同类型行人图像的预测的效果差，这不利于提升模型的性能。

步骤S10，获取行人图像对应的输入图像；

一实施例中，训练卷积神经网络开始，获取用于训练卷积神经网络的输入图像，将输入图像作为训练数据集以训练该卷积神经网络。其中，输入图像的数量一般较多，输入图像为用于训练该卷积神经网络的行人图像，行人图像包括行人信息以及其它的非行人信息，其中，行人信息为行人图像中行人属性，行人属性包括但不限于行人表情、行人动作、运动状态、衣领形状、性别和/或种族等。CNN(Convolutional Neural Network，卷积神经网络)是一种前馈神经网络，卷积神经网络中的神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。

步骤S20，基于所述输入图像以及所述卷积神经网络中的特征提取网络，确定最高特征图；

一实施例中，将用于训练卷积神经网络的输入图像输入至卷积神经网络中训练该卷积神经网络，先将输入图像输入至卷积神经网络中的特征提取网络，特征提取网络逐层提取输入图像的图像特征，即提取输入图像对应的行人图像的行人属性。具体地，选取预训练的残差网络作为特征提取网络，将输入图像输入至残差网络的第一层，第一层输出第一底层特征图像；将第一底层特征图像输入至残差网络的第二层，第二层输出第二底层特征图像；将二底层特征图像输入至残差网络的第三层，第三层输出第三底层特征图像；将第三底层特征图像输入至残差网络的第四层，第四层输出最高层特征图像，最高层特征图像即最高特征图。其中，用于提取输入图像的图像特征的残差网络包括预设层数的网络结构。

步骤S30，基于所述最高特征图以及所述卷积神经网络中的特征融合模块，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量；

一实施例中，卷积神经网络中包含特征融合模块，特征融合模块中包含若干步骤的特征融合操作，特征融合操作包括但不限于全局平均池化操作或者卷积操作，也就是说，特征融合模块用于将最高特征图对应的最高层特征与底层特征融合。具体地，对步骤S20得到的最高特征图，将最高特征图经过全局平均池化，以将最高特征图降低特征维度，得到降低特征维度后的全局特征向量，同时，通过特征融合模块中包含的若干步骤的特征融合操作，将最高特征图对应的高层特征与全局特征向量融合，从而确定执行特征融合模块中的特征融合操作后的融合特征图以及与该融合特征图对应的融合特征向量。

步骤S40，基于所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定分类损失量以及一致性损失量，并且基于所述分类损失量以及所述一致性损失量确定所述卷积神经网络的总体损失量；

一实施例中，卷积神经网络中还包含全连接层，全连接层在整个卷积神经网络中起到“分类器”的作用。具体地，将融合特征向量作为全连接层的输入量输入至卷积神经网络中的全连接层，运行全连接层中各个神经元的计算能力，输出融合特征对应的输出量。之后，基于输出量以及输入量(融合特征向量)，使用分类损失函数计算卷积神经网络的目标函数对应的分类损失量，分类损失函数用于将每一个属性的识别问题转化为一个二分类问题，即融合特征向量对应的输入图像是否具有该属性特征的问题。其中，全连接层包括预设层数的神经网络结构，预设层数的大小在本实施例中不作限定；分类损失函数可以是交叉熵损失函数，分类损失函数在本实施例中不做限定，交叉熵损失函数用于计算网络对每一个属性进行二分类时的损失，交叉熵可以用来衡量两个概率分布的相似程度，因而交叉熵损失函数经常被用来在神经网络的训练过程中计算网络预测的分布和实际的分布之间的差异，也就是说，在本实施例中，基于输出量与融合特征向量对应的实际标签，使用交叉熵损失函数计算输入量与实际标签之间的差异即分类损失量。

基于卷积神经网络的全连接层，获取全连接层中各个神经元的权重，并基于全连接层各个神经元的权重以及融合特征图确定一致性损失量，将一致性损失量作为卷积神经网络的监督信号。确定分类损失量以及监督信号后，将分类损失量和监督信号相加，得到卷积神经网络的总体损失量，以对特征提取网络的网络以及全连接层的权重参数进行优化，确定行人属性识别模型。

步骤S50，基于所述总体损失量，对所述特征提取网络的网络参数以及所述全连接层的权重参数进行优化，确定行人属性识别模型。

一实施例中，将分类损失量和监督信号相加作为卷积神经网络的总体损失量，基于总体损失量，使用梯度下降法对特征提取网络的网络参数和全连接层的权重参数进行优化，确定特征提取网络的新的网络参数，以及确定全连接层的新的权重参数，更新特征提取网络的网络参数和全连接层的权重参数，直至满足卷积神经网络的停止迭代条件，则停止迭代卷积神经网络，停止更新特征提取网络的网络参数以及全连接层的权重参数，最终确定行人属性识别模型。

本实施例提出的行人属性识别模型确定方法，通过获取行人图像对应的输入图像；以及，基于所述输入图像以及所述卷积神经网络中的特征提取网络，确定最高特征图；以及，基于所述最高特征图以及所述卷积神经网络中的特征融合模块，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量；以及，基于所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定分类损失量以及一致性损失量，并且基于所述分类损失量以及所述一致性损失量确定所述卷积神经网络的总体损失量；以及，基于所述总体损失量，对所述特征提取网络的网络参数以及所述全连接层的权重参数进行优化，确定行人属性识别模型，将一致性损失作为卷积神经网络的监督信号，以使卷积神经网络输入不同尺度的行人图像时，卷积神经网络对不同尺度的行人图像产生监督约束的行为，使得卷积神经网络对于变换前后的行人图像应该在相同位置输出具有相同的响应，提高了卷积神经网络的学习能力，最终确定性能优异的行人属性识别模型，以对行人图像预测行人属性结果，提升了行人属性识别的效果。

基于第一实施例，提出本发明行人属性识别模型确定方法的第二实施例，在本实施例中，步骤S30包括：

步骤a，将所述最高特征图输入至所述卷积神经网络中的特征融合模块；

步骤b，对所述最高特征图进行全局平均池化，确定所述最高特征图对应的全局特征向量；

步骤c，基于所述全局特征向量以及所述最高特征图，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量。

一实施例中，卷积神经网络中包含特征融合模块，特征融合模块中包含若干步骤的特征融合操作，特征融合操作包括全局平均池化操作以及卷积操作，也就是说，特征融合模块用于将最高特征图对应的最高层特征与底层特征融合。具体地，对步骤S20得到的最高特征图，将最高特征图输入至卷积神经网络中的特征融合模块，先对最高特征图进行全局平均池化，得到降低特征维度后的全局特征向量。之后，将全局平均池化得到的全局特征向量，通过特征融合模块中包含的特征融合操作，将最高特征图对应的高层特征与全局特征向量对应的特征融合，从而确定执行特征融合模块中的特征融合操作后的融合特征图和该融合特征图对应的融合特征向量。

进一步地，一实施例中，所述基于所述全局特征向量以及所述最高特征图，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量的步骤包括：

步骤d，基于预设卷积规则以及所述最高特征图，降低所述最高特征图的特征维度，确定降低特征维度后的特征图；

步骤e，基于所述预设卷积规则以及所述全局特征向量，降低所述全局特征向量的特征维度，确定降低特征维度后的特征向量；

步骤f，基于所述特征图以及所述特征向量，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量。

一实施例中，预设卷积规则为特征融合模块的卷积层中卷积核对应的卷积操作，其中，卷积核可以是1*1卷积核。对于最高特征图，通过1*1卷积核的卷积操作，降低最高特征图的特征维度，得到降低特征维度后的特征图。同样的，对于全局特征向量，同样使用1*1卷积核，通过1*1卷积核的卷积操作，降低全局特征向量的特征维度，得到降低特征维度后的特征向量。进一步地，基于降低特征维度的特征图以及特征向量，从而将最高特征图对应的高层特征与全局特征向量对应的特征融合，从而确定执行特征融合模块中的特征融合操作后的融合特征图以及与该融合特征图相对应的融合特征向量。

进一步地，一实施例中，所述基于所述特征图以及所述特征向量，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量的步骤包括：

步骤g，将所述特征图和所述特征向量相加，确定所述融合特征图；

步骤h，对所述融合特征图进行全局平均池化，确定所述融合特征向量。

一实施例中，基于降低特征维度的特征图以及特征向量，将特征图和特征向量相加，得到融合特征图，之后再将融合特征图全局平均池化，以将特征图和特征向量相加得到的结果进行全局平均池化，而得到包含全局特征的融合特征向量，从而可以将最高特征图对应的高层特征与全局特征向量对应的底层特征融合，从而确定执行特征融合模块中的特征融合操作后的融合特征向量。

本实施例提出的行人属性识别模型确定方法，通过将所述最高特征图输入至所述卷积神经网络中的特征融合模块；以及，对所述最高特征图进行全局平均池化，确定所述最高特征图对应的全局特征向量；以及，基于所述全局特征向量以及所述最高特征图，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量，基于特征融合模块的特征融合操作，将全局特征向量对应的底层特征与最高特征图对应的高层特征融合起来，以供后续进一步确定卷积神经网络的总体损失量，是对特征提取网络的网络参数以及全连接层的权重参数进行优化的必要前提，即是对卷积神经网络进行优化的前提。

基于第一实施例，提出本发明行人属性识别模型确定方法的第三实施例，在本实施例中，步骤S40包括：

步骤i，获取预设行人属性的个数，并将所述预设行人属性的个数作为所述全连接层的输出量对应的输出维度；

步骤j，基于所述输出维度、所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定所述分类损失量以及所述一致性损失量。

一实施例中，输出维度为全连接层中输出层的神经元的数量，将融合特征向量输入至全连接层之前，预先设置全连接层的输出层的神经元个数，也就是说，设定全连接层的输出层的输出维度。具体地，设置行人属性的个数，行人属性的个数在本实施例中不做限定，所设置的行人属性的个数则为预设行人属性的个数，将所设定的预设行人属性的个数作为全连接层的输出层的输出维度，从而确定全连接层的输出层的维度。

设定全连接层的输出层的输出维度后，将融合特征向量输入至全连接层，运行全连接层中各个神经元的计算能力，输出融合特征对应的输出量。之后，基于输出量以及输入量(融合特征向量)，使用分类损失函数计算卷积神经网络的目标函数对应的分类损失量，分类损失函数用于将每一个属性的识别问题转化为一个二分类问题，即融合特征向量对应的输入图像是否具有该属性特征的问题。其中，全连接层包括预设层数的神经网络结构，预设层数的大小在本实施例中不作限定；分类损失函数可以是交叉熵损失函数，分类损失函数在本实施例中不做限定，交叉熵损失函数用于计算网络对每一个属性进行二分类时的损失，交叉熵可以用来衡量两个概率分布的相似程度，因而交叉熵损失函数经常被用来在神经网络的训练过程中计算网络预测的分布和实际的分布之间的差异，也就是说，在本实施例中，基于输出量与融合特征向量对应的实际标签，使用交叉熵损失函数计算输入量与实际标签之间的差异即分类损失量。

基于卷积神经网络的全连接层，获取全连接层中各个神经元的权重，并基于全连接层各个神经元的权重以及融合特征图确定一致性损失量，将一致性损失量作为卷积神经网络的监督信号。确定分类损失量以及监督信号后，将分类损失量和监督信号相加，得到卷积神经网络的总体损失量，以对特征提取网络的网络以及全连接层的权重参数进行优化，确定行人属性识别模型。

进一步地，一实施例中，所述基于所述输出维度、所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定所述分类损失量以及所述一致性损失量的步骤包括：

步骤k，基于所述输出维度，将所述融合特征向量输入至所述卷积神经网络中的全连接层，确定所述卷积神经网络中的全连接层输出的输出量；

步骤m，基于所述输出量以及所述融合特征向量对应的实际标签，确定所述分类损失量；

步骤n，基于所述全连接层中的权重参数以及所述融合特征图，确定所述一致性损失量。

一实施例中，设定全连接层的输出层的输出维度后，将融合特征向量输入至全连接层，运行全连接层中各个神经元的计算能力，输出融合特征对应的输出量。之后，基于输出量以及融合特征向量对应的实际标签，使用分类损失函数计算卷积神经网络的目标函数对应的分类损失量。其中，分类损失函数用于将每一个属性的识别问题转化为一个二分类问题，即融合特征向量对应的输入图像是否具有该属性特征的问题。分类损失函数可以是交叉熵损失函数，分类损失函数在本实施例中不做限定，交叉熵损失函数用于计算网络对每一个属性进行二分类时的损失，交叉熵可以用来衡量两个概率分布的相似程度，因而交叉熵损失函数经常被用来在神经网络的训练过程中计算网络预测的分布和实际的分布之间的差异，也就是说，在本实施例中，基于输出量与融合特征向量对应的实际标签，使用交叉熵损失函数计算输入量与实际标签之间的差异即分类损失量。

在分类任务中，通常会进行数据增强操作，也就是对输入图片进行水平翻转、缩放等操作以增加训练样本的多样性，因此需要神经网络对于变换前后的图片应该在相同位置具有相同的响应，引入了一致性损失，通过在卷积神经网络施加监督信号以提高网络的学习能力。具体地，基于卷积神经网络的全连接层，获取全连接层中各个神经元的权重参数，以及获取融合特征图，将所获得的权重参数融合特征图相乘，并在通道维度上累加，得到激活图；基于激活图，计算一致性损失量，从而得到一致性损失量，以供后续将一致性损失量作为卷积神经网络的监督信号，以进一步对特征提取网络的网络以及全连接层的权重参数进行优化，确定行人属性识别模型。

进一步地，一实施例中，所述基于所述全连接层中的权重参数以及所述融合特征图，确定所述一致性损失量的步骤包括：

步骤p，基于所述全连接层中的权重参数以及所述融合特征图，确定所述输入图像对应的激活图；

步骤q，基于所述激活图，确定所述一致性损失量。

一实施例中，在分类任务中，通常会进行数据增强操作，也就是对输入图片进行水平翻转、缩放等操作以增加训练样本的多样性，因此需要神经网络对于变换前后的图片应该在相同位置具有相同的响应，引入了一致性损失，通过在卷积神经网络施加监督信号以提高网络的学习能力。具体地，基于卷积神经网络的全连接层，获取全连接层中各个神经元的权重参数，以及获取融合特征图，将所获得的权重参数融合特征图相乘，并在通道维度上累加，得到激活图；基于激活图，计算一致性损失量，从而得到一致性损失量，以供后续将一致性损失量作为卷积神经网络的监督信号，以进一步对特征提取网络的网络以及全连接层的权重参数进行优化，确定行人属性识别模型。

进一步地，一实施例中，所述获取行人图像对应的输入图像的步骤包括：

步骤r，获取原始行人图像；

步骤s，对所述原始行人图像进行放缩，确定预设尺度的图像；

步骤t，对所述预设尺度的图像进行归一化处理，确定所述输入图像。

一实施例中，对于给定的像素值分布为[0,255]的原始行人图像进行预处理，将原始行人图像大小缩放到特征提取网络的输入大小，一般为244*244，从而确定预设尺度的图像；接着，使用预先设定的均值和标准差对预设尺度的图像进行归一化处理，以得到行人图像对应的输入图像，以使得卷积神经网络的训练过程较为稳定。

本实施例提出的行人属性识别模型确定方法，通过获取预设行人属性的个数，并将所述预设行人属性的个数作为所述全连接层的输出量对应的输出维度；以及，基于所述输出维度、所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定所述分类损失量以及所述一致性损失量，将一致性损失作为卷积神经网络的监督信号，以使卷积神经网络输入不同尺度的行人图像时，卷积神经网络对不同尺度的行人图像产生监督约束的行为，使得卷积神经网络对于变换前后的行人图像应该在相同位置输出具有相同的响应，提高了卷积神经网络的学习能力，最终确定性能优异的行人属性识别模型，以对行人图像预测行人属性结果，提升了行人属性识别的效果。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有行人属性识别模型确定程序，所述行人属性识别模型确定程序被处理器执行时实现如上述中任一项所述的行人属性识别模型确定方法的步骤。

本发明计算机可读存储介质具体实施例与上述行人属性识别模型确定方法的各实施例基本相同，在此不再详细赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种行人属性识别模型确定方法，其特征在于，所述行人属性识别模型确定方法包括以下步骤：

获取行人图像对应的输入图像；

基于所述输入图像以及所述卷积神经网络中的特征提取网络，确定最高特征图；

基于所述最高特征图以及所述卷积神经网络中的特征融合模块，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量；

基于所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定分类损失量以及一致性损失量，并且基于所述分类损失量以及所述一致性损失量确定所述卷积神经网络的总体损失量；

基于所述总体损失量，对所述特征提取网络的网络参数以及所述全连接层的权重参数进行优化，确定行人属性识别模型。

2.如权利要求1所述的行人属性识别模型确定方法，其特征在于，所述基于所述最高特征图以及所述卷积神经网络中的特征融合模块，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量的步骤包括：

将所述最高特征图输入至所述卷积神经网络中的特征融合模块；

对所述最高特征图进行全局平均池化，确定所述最高特征图对应的全局特征向量；

基于所述全局特征向量以及所述最高特征图，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量。

3.如权利要求2所述的行人属性识别模型确定方法，其特征在于，所述基于所述全局特征向量以及所述最高特征图，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量的步骤包括：

基于预设卷积规则以及所述最高特征图，降低所述最高特征图的特征维度，确定对应的特征图；

基于所述预设卷积规则以及所述全局特征向量，降低所述全局特征向量的特征维度，确定降低特征维度后的特征向量；

基于所述特征图以及所述特征向量，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量。

4.如权利要求3所述的行人属性识别模型确定方法，其特征在于，所述基于所述特征图以及所述特征向量，确定执行所述特征融合模块中的特征融合操作后的融合特征图以及所述融合特征图对应的融合特征向量的步骤包括：

将所述特征图和所述特征向量相加，确定所述融合特征图；

对所述融合特征图进行全局平均池化，确定所述融合特征向量。

5.如权利要求1所述的行人属性识别模型确定方法，其特征在于，所述基于所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定分类损失量以及一致性损失量，并且基于所述分类损失量以及所述一致性损失量确定所述卷积神经网络的总体损失量的步骤包括：

获取预设行人属性的个数，并将所述预设行人属性的个数作为所述全连接层的输出量对应的输出维度；

基于所述输出维度、所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定所述分类损失量以及所述一致性损失量。

6.如权利要求5所述的行人属性识别模型确定方法，其特征在于，所述基于所述输出维度、所述融合特征图、所述融合特征向量以及所述卷积神经网络中的全连接层，确定所述分类损失量以及所述一致性损失量的步骤包括：

基于所述输出维度，将所述融合特征向量输入至所述卷积神经网络中的全连接层，确定所述卷积神经网络中的全连接层输出的输出量；

基于所述输出量以及所述融合特征向量对应的实际标签，确定所述分类损失量；

基于所述全连接层中的权重参数以及所述融合特征图，确定所述一致性损失量。

7.如权利要求6所述的行人属性识别模型确定方法，其特征在于，所述基于所述全连接层中的权重参数以及所述融合特征图，确定所述一致性损失量的步骤包括：

基于所述全连接层中的权重参数以及所述融合特征图，确定所述输入图像对应的激活图；

基于所述激活图，确定所述一致性损失量。

8.如权利要求1至7任一项所述的行人属性识别模型确定方法，其特征在于，所述获取行人图像对应的输入图像的步骤包括：

获取原始行人图像；

对所述原始行人图像进行放缩，确定预设尺度的图像；

对所述预设尺度的图像进行归一化处理，确定所述输入图像。

9.一种行人属性识别模型确定装置，其特征在于，所述行人属性识别模型确定装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的行人属性识别模型确定程序，所述行人属性识别模型确定程序被所述处理器执行时实现如权利要求1至8中任一项所述的行人属性识别模型确定方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有行人属性识别模型确定程序，所述行人属性识别模型确定程序被处理器执行时实现如权利要求1至8中任一项所述的行人属性识别模型确定方法的步骤。

Images