CN112686228B - 行人属性识别方法、装置、电子设备及存储介质 - Google Patents
行人属性识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112686228B CN112686228B CN202110272771.6A CN202110272771A CN112686228B CN 112686228 B CN112686228 B CN 112686228B CN 202110272771 A CN202110272771 A CN 202110272771A CN 112686228 B CN112686228 B CN 112686228B
- Authority
- CN
- China
- Prior art keywords
- pedestrian attribute
- pedestrian
- attribute identification
- model
- identification model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000013526 transfer learning Methods 0.000 claims abstract description 15
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 230000001133 acceleration Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 description 12
- 238000005457 optimization Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 241000392928 Parachromis friedrichsthalii Species 0.000 description 2
- 241001301648 Tradescantia ohiensis Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供一种行人属性识别方法、装置、电子设备及存储介质，所述方法包括：获取多类别卷积神经网络模型；通过卷积神经网络技术，将多类别卷积神经网络模型按行人属性类别数量进行重构，得到第一行人属性识别模型，重构包括存储数据格式的重构；通过迁移学习，使用预先准备的行人属性数据集对第一行人属性识别模型进行训练，得到第二行人属性识别模型；通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化，得到目标行人属性识别模型；通过目标行人属性识别模型对待识别图像进行行人属性识别，得到行人属性识别结果。本发明通过对行人属性识别模型进行优化加速，解决在模型损失准确度较小的情况下，提高模型运行速度的问题。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种行人属性识别方法、装置、电子设备及存储介质。
背景技术
近年来，行人属性识别在各个领域中越来越得到广泛的应用，准确、高效的行人属性识别结果在协助管理人员处理事件、改进人机交互体验等方面有重要的辅助作用。尤其随着人工智能领域中深度学习技术的发展以及相关硬件设备算力的提升，构建深层卷积神经网络模型来提取特征以解决行人属性识别问题已经逐步成为主要的技术手段，这就对提高行人属性识别的准确度起到了积极作用。但是卷积神经网络模型使用的层数越多，通常其运行速度就越慢；另一方面，如果模型的运行速度越高，通常其识别精度就越低。因此，现有的行人属性识别存在识别精度与识别速度的限制，使得在面对大规模行人属性识别时处理效率较低。
发明内容
本发明实施例提供一种行人属性识别方法，能够通过对行人属性识别模型进行优化加速，解决在模型损失准确度较小的情况下，提高模型运行速度的问题，有利于生产环境下面对大规模数据时提高行人属性识别的处理效率，进而可以对节约时间成本和提高相关的经济、社会效益带来巨大帮助。
第一方面，本发明实施例提供一种行人属性识别方法，所述方法包括：
获取多类别卷积神经网络模型；
通过卷积神经网络技术，将所述多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到第一行人属性识别模型，所述重构包括输出层存储数据格式的重构；
通过迁移学习，使用预先准备的行人属性数据集对所述第一行人属性识别模型进行训练，得到第二行人属性识别模型；
通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化，得到目标行人属性识别模型；
通过所述目标行人属性识别模型对待识别图像进行行人属性识别，得到行人属性识别结果。
可选的，所述方法还包括：
根据所述行人属性类别数量以及行人属性类别，构建行人属性数据集。
可选的，所述通过卷积神经网络技术，将所述多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到第一行人属性识别模型，包括：
丢弃所述多类别卷积神经网络模型的原输出层；
为每个行人属性类别构建一个线性分类器，得到重构后的输出层；
其中，所述重构后的输出层中，每个所述线性分类器前向传递后输出的结果均以元组的数据格式保存，对于所有线性分类器对应的元组，按照预设的属性顺序追加到同一个元组中作为输出结果。
可选的，在所述通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化之前，所述方法还包括：
将所述第二行人属性识别模型进行格式转换，以使所述第二行人属性识别模型适应所述预设的可编程推理加速器。
可选的，所述方法还包括：
在可编程推理加速器空间中创建与所述第二行人属性识别模型对应的加速引擎；
在可编程推理加速器空间中设定所述第二行人属性识别模型相关的参数，所述第二行人属性识别模型相关的参数包括图像数据的色彩模式、图像数据的分辨率、并行处理时的图像数量以及拟分配的显存大小中的至少一项；
根据所述加速引擎以及所述第二行人属性识别模型相关的参数，得到所述第二行人属性识别模型的可编程推理加速器。
第二方面，本发明实施例还提供一种行人属性识别装置，所述装置包括：
获取模块，用于获取多类别卷积神经网络模型；
重构模块，用于通过卷积神经网络技术，将所述多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到第一行人属性识别模型，所述重构包括输出层存储数据格式的重构；
训练模块，用于通过预先准备的行人属性数据集对所述第一行人属性识别模型进行训练，得到第二行人属性识别模型；
加速模块，用于通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化，得到目标行人属性识别模型；
识别模块，用于通过所述目标行人属性识别模型对待识别图像进行行人属性识别，得到行人属性识别结果。
可选的，所述装置还包括：
构建模块，用于根据所述行人属性类别数量以及行人属性类别，构建行人属性数据集。
可选的，所述重构模块包括：
丢弃单元，用于丢弃所述多类别卷积神经网络模型的原输出层；
重构单元，用于为每个行人属性类别构建一个线性分类器，得到重构后的输出层；
其中，所述重构后的输出层中，每个所述线性分类器前向传递后输出的结果均以元组的数据格式保存，对于所有线性分类器对应的元组，按照预设的属性顺序追加到同一个元组中作为输出结果。
可选的，所述装置还包括：
格式转换模块，用于将所述第二行人属性识别模型进行格式转换，以使所述第二行人属性识别模型适应所述预设的可编程推理加速器。
可选的，所述装置还包括：
创建模块，用于在可编程推理加速器空间中创建与所述第二行人属性识别模型对应的加速引擎；
设定模块，用于在可编程推理加速器空间中设定所述第二行人属性识别模型相关的参数，所述第二行人属性识别模型相关的参数包括图像数据的色彩模式、图像数据的分辨率、并行处理时的图像数量以及拟分配的显存大小中的至少一项；
确定模块，用于根据所述加速引擎以及所述第二行人属性识别模型相关的参数，确定所述第二行人属性识别模型的可编程推理加速器。
第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例中任一项所述的行人属性识别方法中的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例提供的任一项所述的行人属性识别方法中的步骤。
本发明实施例中，获取多类别卷积神经网络模型；通过卷积神经网络技术，将所述多类别卷积神经网络模型按行人属性类别数量进行重构，得到第一行人属性识别模型，所述重构包括存储数据格式的重构；通过迁移学习，使用预先准备的行人属性数据集对所述第一行人属性识别模型进行训练，得到第二行人属性识别模型；通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化，得到目标行人属性识别模型；通过所述目标行人属性识别模型对待识别图像进行行人属性识别，得到行人属性识别结果。本发明通过对行人属性识别模型进行优化加速，解决在模型损失准确度较小的情况下，提高模型运行速度的问题，有利于生产环境下面对大规模数据时提高行人属性识别的处理效率，进而可以对节约时间成本和提高相关的经济、社会效益带来巨大帮助。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种行人属性识别方法的流程图；
图2是本发明实施例提供的一种输出层重构方法的流程图；
图3是本发明实施例提供的一种模型优化加速的流程图；
图4是本发明实施例提供的一种行人属性识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种行人属性识别方法的流程图，如图1所示，该行人属性识别方法包括以下步骤：
101、获取多类别卷积神经网络模型。
在本发明实施例中，上述多类别卷积神经网络模型用于对多个类别的属性进行分类，具体的，上述多类别卷积神经网络中包括输入层、卷积层、池化层、输出层，其中输出层为全连接层，全连接层将卷积层提取到隐含特征进行分类。
上述多类别卷积神经网络模型可以是从开源网站中进行获取得到，也可以是用户自行构建得到。
在一种可能的实施例中，上述多类别卷积神经网络模型可以是多行人属性类别的卷积神经网络模型。
102、通过卷积神经网络技术，将多类别卷积神经网络模型按行人属性类别数量进行重构，得到第一行人属性识别模型。
在本发明实施例中，上述卷积神经网络技术可以是设置全连接层的权重参数，以使全连接层的权重参数按需要的行人属性类别进行输出预测，可以将第一行人属性识别模型进行迁移学习，上述迁移学习指的是将从一个多类别环境中学到的多类别分类用来帮助多类别行人属性识别环境中的学习任务。上述多类别卷积神经网络模型可以是已经训练好的。
行人属性类别数量根据用户需求进行设定，比如，用户想要识别的行人属性为红上衣、蓝上衣、绿上衣、黄上衣，则行人属性类别数量为4，则多类别卷积神经网络模型被重构为对红上衣、蓝上衣、绿上衣、黄上衣进行分类识别的行人属性模型。
在本发明实施例中，上述的重构包括存储数据格式的重构。具体的，模型前向传递后输出的结果，均以元组的数据格式进行存储，对于所有行人属性类别的元组数据，按照预设的属性顺序追加到同一个元组中作为模型输出的结果。
需要说明的是，上述第一行人属性识别模型与上述多类别卷积神经网络拥有相同的主体网络，上述主体网络包括输入层、卷积层、池化层，也可以理解为上述第一行人属性识别模型与上述多类别卷积神经网络的深度是一样的。
103、通过迁移学习，使用预先准备的行人属性数据集对第一行人属性识别模型进行训练，得到第二行人属性识别模型。
在本发明实施例中，上述迁移学习指的是将从一个多类别环境中学到的多类别分类用来帮助多类别行人属性识别环境中的学习任务。预先准备的行人属性数据集中包括与行人属性类别数量相同的属性类别样本，每个属性类别样本中包括一定数量的行人图像样本。
通过行人属性数据集对第一行人属性识别模型进行训练，主要训练第一行人属性识别模型中的卷积层权重参数以及输出层参数。具体的，可以通过误差反向传播来调整第一行人属性识别模型中的卷积层权重参数以及输出层参数。
需要说明的是，上述第一行人属性识别模型与第二行人属性识别模型在网络结构上是相同的，拥有相同深度。上述第一行人属性识别模型与第二行人属性识别模型只在权重参数上不同，可以理解的是，第一行人属性识别模型的权重参数是基于多类别卷积神经网络模型的，而第二行人属性识别模型的权重参数是基于行人属性数据集训练后的行人属性识别模型的。
通过迁移学习后，上述第二行人属性识别模型与上述多类别卷积神经网络拥有相同的主体网络，且参数得到训练，可以对行人属性识别任务进行推理。
104、通过预设的可编程推理加速器对第二行人属性识别模型进行优化，得到目标行人属性识别模型。
在本发明实施例中，上述可编程推理加速器可以理解为对第二行人属性识别模型使用模型量化、动态张量机制、融合内核中网络节点等方法进行模型结构优化的一种加速器。
可选的，在本发明实施例中，上述预设的可编程推理加速器可以是基于英伟达可编程推理加速器(TensorRT)的一种可编程推理加速器。
通过可编程推理加速器的优化，得到的目标行人属性识别模型在结构规模上比第二行人属性识别模型的结构规模更小，因此，目标行人属性识别模型的行人属性识别速率高于第二行人属性识别模型，且在精度上损失极小。
在本发明实施例中，可以理解的是，目标行人属性识别模型是所要部署的平台进行优化的，比如，目标行人属性识别模型是要部署于嵌入式平台，则可编程推理加速器的优化则可以是针对嵌入式平台对第二行人属性识别模型进行的优化。
105、通过目标行人属性识别模型对待识别图像进行行人属性识别，得到行人属性识别结果。
在本发明实施例中，上述待识别图像可以是摄像头进行实时拍摄得到，也可以是用户进行上传得到。
可选的，上述行人属性识别方法还包括：
根据行人属性类别数量以及行人属性类别，构建行人属性数据集。
具体的，可以根据行人属性类别数量，构建对应数量的样本组，每个样本组对应的一个行人属性类别，根据用户需求的行人属性类别，确定样本组的属性类别。比如，用户想要识别的行人属性为红上衣、蓝上衣、绿上衣、黄上衣，则行人属性类别数量为4，确定样本组的属性类别为红上衣、蓝上衣、绿上衣、黄上衣。需要说明的是，上述行人属性类别数据为4以及样本组的属性类别为红上衣、蓝上衣、绿上衣、黄上衣只是示例，不应视为是本发明实施例的限定，行人属性类别数量也可以是用户需求的其他数量，样本组的属性类别也可以是用户需求的其他属性类别。
可选的，上述通过卷积神经网络技术，将多类别卷积神经网络模型按行人属性类别数量进行重构，得到第一行人属性识别模型的步骤具体包括：通过卷积神经网络技术，将多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到第一行人属性识别模型，所述重构包括输出层存储数据格式的重构。
在本发明实施例中，上述多类别卷积神经网络中包括输入层、卷积层、池化层、输出层，其中输出层为全连接层，全连接层将卷积层提取到隐含特征进行分类。上述输入层、卷积层、池化层为多类别卷积神经网络的主体网络结构，用于提取n维的隐含特征。通过对多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到的第一行人属性识别模型只输出与用户需求的行人属性类别数量对应的输出结果。
比如，主体网络结构提取n维的隐含特征，多类别卷积神经网络模型的输出类别为m，则多类别卷积神经网络模型中的全连接层的参数张量为n×m，而用户需求的行人属性类别数量为k，则可以将多类别卷积神经网络模型中的全连接层的参数张量重构为n×k。
在本发明实施例中，上述的重构包括存储数据格式的重构。具体的，第一行人属性识别模型中，输出层前向传递后输出的结果，均以元组的数据格式进行存储，对于所有行人属性类别的元组数据，按照预设的属性顺序追加到同一个元组中作为输出层输出的结果。
可选的，请参见图2，图2是本发明实施例提供的一种输出层重构方法的流程图，如图2所示，上述通过卷积神经网络技术，将多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到第一行人属性识别模型的步骤具体包括：
201、丢弃多类别卷积神经网络模型的原输出层。
在本发明实施例中，上述多类别卷积神经网络中包括输入层、卷积层、池化层、输出层，其中输出层为全连接层，全连接层将卷积层提取到隐含特征进行分类。上述输入层、卷积层、池化层为多类别卷积神经网络的主体网络结构，用于提取n维的隐含特征。通过对多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到的第一行人属性识别模型只输出与用户需求的行人属性类别数量对应的输出结果。
202、为每个行人属性类别构建一个线性分类器，得到重构后的输出层。
在本发明实施例中，行人属性类别以及行人属性类别数量可以根据用户需求进行设定。重构后的输出层符合用户对于行人属性类别数量的需求。
其中，重构后的输出层中，每个线性分类器前向传递后输出的结果均以元组的数据格式保存，对于所有线性分类器对应的元组，按照预设的属性顺序追加到同一个元组中作为输出结果。通过元组的存储方式，使得后续对第二行人属性识别模型的优化加速效果提高。
可选的，在上述通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化之前，上述行人属性识别方法还包括：将第二行人属性识别模型进行格式转换，以使第二行人属性识别模型适应所述预设的可编程推理加速器。
在一些可能的实施例中，上述可编程推理加速器只能对特定格式的模型进行优化加速，比如，英伟达可编程推理加速器(TensorRT)则只可以对ONNX格式的模型进行优化加速，因此，需要对第二行人属性识别模型进行格式转换，将第二行人属性识别模型转换为ONNX格式后，才可以通过英伟达可编程推理加速器(TensorRT)对第二行人属性识别模型进行优化加速。
可选的，请参见图3，图3是本发明实施例提供的一种模型优化加速的流程图，如图3所示，模型优化加速的具体步骤包括：
301、输入ONNX格式的第二行人属性识别模型。
302、在英伟达可编程推理加速器(TensorRT)空间中创建与第二行人属性识别模型对应的加速引擎。
需要说明的是，上述英伟达可编程推理加速器(TensorRT)空间也可以称为英伟达可编程推理加速器(TensorRT)工程。
303、在英伟达可编程推理加速器(TensorRT)空间中设定所述第二行人属性识别模型相关的参数。
在本发明实施例中，上述第二行人属性识别模型相关的参数包括图像数据的色彩模式、图像数据的分辨率、并行处理时的图像数量以及拟分配的显存大小中的至少一项。
304、根据加速引擎以及第二行人属性识别模型相关的参数，确定第二行人属性识别模型的可编程推理加速器。
在本发明实施例中，上述第二行人属性识别模型的可编程推理加速器为基于英伟达可编程推理加速器(TensorRT)的可编程推理加速器。
305、生成序列化模型结构，得到目标行人属性识别模型。
通过上述可编程推理加速器，将上述第二行人属性识别模型生成对应于目标部署平台的序列化模型结构，得到目标行人属性识别模型。
本发明实施例中，获取多类别卷积神经网络模型；通过卷积神经网络技术，将所述多类别卷积神经网络模型按行人属性类别数量进行重构，得到第一行人属性识别模型，所述重构包括存储数据格式的重构；通过预先准备的行人属性数据集对所述第一行人属性识别模型进行训练，得到第二行人属性识别模型；通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化，得到目标行人属性识别模型；通过所述目标行人属性识别模型对待识别图像进行行人属性识别，得到行人属性识别结果。本发明通过对行人属性识别模型进行优化加速，解决在模型损失准确度较小的情况下，提高模型运行速度的问题，有利于生产环境下面对大规模数据时提高行人属性识别的处理效率，进而可以对节约时间成本和提高相关的经济、社会效益带来巨大帮助。
请参见图4，图4是本发明实施例提供的一种行人属性识别装置的结构示意图，如图4所示，所述装置包括：获取模块401、重构模块402、训练模块403、加速模块404以及识别模块405。
获取模块401用于获取多类别卷积神经网络模型。
在本发明实施例中，上述多类别卷积神经网络模型用于对多个类别的属性进行分类，具体的，上述多类别卷积神经网络中包括输入层、卷积层、池化层、输出层，其中输出层为全连接层，全连接层将卷积层提取到隐含特征进行分类。
上述多类别卷积神经网络模型可以通过获取模块401从开源网站中进行获取得到，也可以是用户自行构建得到。
在一种可能的实施例中，上述多类别卷积神经网络模型可以是多行人属性类别的卷积神经网络模型。
重构模块402用于通过卷积神经网络技术，将所述多类别卷积神经网络模型按行人属性类别数量进行重构，得到第一行人属性识别模型，所述重构包括存储数据格式的重构。
在本发明实施例中，上述卷积神经网络技术可以是设置全连接层的权重参数，以使全连接层的权重参数按需要的行人属性类别进行输出预测。可以将第一行人属性识别模型进行迁移学习，上述迁移学习指的是将从一个多类别环境中学到的多类别分类用来帮助多类别行人属性识别环境中的学习任务。上述多类别卷积神经网络模型可以是已经训练好的。
行人属性类别数量根据用户需求进行设定，比如，用户想要识别的行人属性为红上衣、蓝上衣、绿上衣、黄上衣，则行人属性类别数量为4，则多类别卷积神经网络模型被重构模块402重构为对红上衣、蓝上衣、绿上衣、黄上衣进行分类识别的行人属性模型。
在本发明实施例中，上述的重构包括存储数据格式的重构。具体的，模型前向传递后输出的结果，均以元组的数据格式进行存储，对于所有行人属性类别的元组数据，按照预设的属性顺序追加到同一个元组中作为模型输出的结果。
需要说明的是，上述第一行人属性识别模型与上述多类别卷积神经网络拥有相同的主体网络，上述主体网络包括输入层、卷积层、池化层，也可以理解为上述第一行人属性识别模型与上述多类别卷积神经网络的深度是一样的。
训练模块403用于通过迁移学习，使用预先准备的行人属性数据集对所述第一行人属性识别模型进行训练，得到第二行人属性识别模型。通过迁移学习后，上述第二行人属性识别模型与上述多类别卷积神经网络拥有相同的主体网络，且参数得到训练，可以对行人属性识别任务进行推理。
在本发明实施例中，预先准备的行人属性数据集中包括与行人属性类别数量相同的属性类别样本，每个属性类别样本中包括一定数量的行人图像样本。
训练模块403通过行人属性数据集对第一行人属性识别模型进行训练，主要训练第一行人属性识别模型中的卷积层权重参数以及输出层参数。具体的，可以通过误差反向传播来调整第一行人属性识别模型中的卷积层权重参数以及输出层参数。
需要说明的是，上述第一行人属性识别模型与第二行人属性识别模型在网络结构上是相同的，拥有相同深度。上述第一行人属性识别模型与第二行人属性识别模型只在权重参数上不同，可以理解的是，第一行人属性识别模型的权重参数是基于多类别卷积神经网络模型的，而第二行人属性识别模型的权重参数是基于行人属性数据集训练后的行人属性识别模型的。
加速模块404用于通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化，得到目标行人属性识别模型。
在本发明实施例中，上述可编程推理加速器可以理解为对第二行人属性识别模型使用模型量化、动态张量机制、融合内核中网络节点等方法进行模型结构优化的一种加速器。
可选的，在本发明实施例中，上述预设的可编程推理加速器可以是基于英伟达可编程推理加速器(TensorRT)的一种可编程推理加速器。
通过加速模块404驱动可编程推理加速器对第二行人属性识别模型进行优化，得到的目标行人属性识别模型在结构规模上比第二行人属性识别模型的结构规模更小，因此，目标行人属性识别模型的行人属性识别速率高于第二行人属性识别模型，且在精度上损失极小。
在本发明实施例中，可以理解的是，目标行人属性识别模型是所要部署的平台进行优化的，比如，目标行人属性识别模型是要部署于嵌入式平台，则可编程推理加速器的优化则可以是针对嵌入式平台对第二行人属性识别模型进行的优化。
识别模块405用于通过所述目标行人属性识别模型对待识别图像进行行人属性识别，得到行人属性识别结果。
在本发明实施例中，上述待识别图像可以是摄像头进行实时拍摄得到，也可以是用户进行上传得到。
可选的，所述装置还包括：构建模块，用于根据所述行人属性类别数量以及行人属性类别，构建行人属性数据集。
具体的，可以根据行人属性类别数量，构建对应数量的样本组，每个样本组对应的一个行人属性类别，根据用户需求的行人属性类别，确定样本组的属性类别。比如，用户想要识别的行人属性为红上衣、蓝上衣、绿上衣、黄上衣，则行人属性类别数量为4，确定样本组的属性类别为红上衣、蓝上衣、绿上衣、黄上衣。需要说明的是，上述行人属性类别数据为4以及样本组的属性类别为红上衣、蓝上衣、绿上衣、黄上衣只是示例，不应视为是本发明实施例的限定，行人属性类别数量也可以是用户需求的其他数量，样本组的属性类别也可以是用户需求的其他属性类别。
可选的，所述重构模块还用于通过卷积神经网络技术，将所述多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到第一行人属性识别模型，所述重构包括输出层存储数据格式的重构。
在本发明实施例中，上述多类别卷积神经网络中包括输入层、卷积层、池化层、输出层，其中输出层为全连接层，全连接层将卷积层提取到隐含特征进行分类。上述输入层、卷积层、池化层为多类别卷积神经网络的主体网络结构，用于提取n维的隐含特征。通过对多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到的第一行人属性识别模型只输出与用户需求的行人属性类别数量对应的输出结果。
比如，主体网络结构提取n维的隐含特征，多类别卷积神经网络模型的输出类别为m，则多类别卷积神经网络模型中的全连接层的参数张量为n×m，而用户需求的行人属性类别数量为k，则可以将多类别卷积神经网络模型中的全连接层的参数张量重构为n×k。
在本发明实施例中，上述的重构包括存储数据格式的重构。具体的，第一行人属性识别模型中，输出层前向传递后输出的结果，均以元组的数据格式进行存储，对于所有行人属性类别的元组数据，按照预设的属性顺序追加到同一个元组中作为输出层输出的结果。
可选的，所述重构模块402包括：丢弃单元以及重构单元。
丢弃单元用于丢弃所述多类别卷积神经网络模型的原输出层。
在本发明实施例中，上述多类别卷积神经网络中包括输入层、卷积层、池化层、输出层，其中输出层为全连接层，全连接层将卷积层提取到隐含特征进行分类。上述输入层、卷积层、池化层为多类别卷积神经网络的主体网络结构，用于提取n维的隐含特征。通过对多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到的第一行人属性识别模型只输出与用户需求的行人属性类别数量对应的输出结果。
重构单元，用于为每个行人属性类别构建一个线性分类器，得到重构后的输出层。
在本发明实施例中，行人属性类别以及行人属性类别数量可以根据用户需求进行设定。重构后的输出层符合用户对于行人属性类别数量的需求。
其中，所述重构后的输出层中，每个所述线性分类器前向传递后输出的结果均以元组的数据格式保存，对于所有线性分类器对应的元组，按照预设的属性顺序追加到同一个元组中作为输出结果。
可选的，所述装置还包括：
格式转换模块，用于将所述第二行人属性识别模型进行格式转换，以使所述第二行人属性识别模型适应所述预设的可编程推理加速器。
在一些可能的实施例中，上述可编程推理加速器只能对特定格式的模型进行优化加速，比如，英伟达可编程推理加速器(TensorRT)则只可以对ONNX格式的模型进行优化加速，因此，需要对第二行人属性识别模型进行格式转换，将第二行人属性识别模型转换为ONNX格式后，才可以通过英伟达可编程推理加速器(TensorRT)对第二行人属性识别模型进行优化加速。
可选的，所述装置还包括：创建模块、设定模块以及确定模块。
创建模块用于在可编程推理加速器空间中创建与所述第二行人属性识别模型对应的加速引擎。
设定模块用于在可编程推理加速器空间中设定所述第二行人属性识别模型相关的参数，所述第二行人属性识别模型相关的参数包括图像数据的色彩模式、图像数据的分辨率、并行处理时的图像数量以及拟分配的显存大小中的至少一项。
确定模块用于根据所述加速引擎以及所述第二行人属性识别模型相关的参数，确定所述第二行人属性识别模型的可编程推理加速器。
本发明实施例中，获取多类别卷积神经网络模型；通过迁移学习，将所述多类别卷积神经网络模型按行人属性类别数量进行重构，得到第一行人属性识别模型，所述重构包括存储数据格式的重构；通过预先准备的行人属性数据集对所述第一行人属性识别模型进行训练，得到第二行人属性识别模型；通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化，得到目标行人属性识别模型；通过所述目标行人属性识别模型对待识别图像进行行人属性识别，得到行人属性识别结果。本发明通过对行人属性识别模型进行优化加速，解决在模型损失准确度较小的情况下，提高模型运行速度的问题，有利于生产环境下面对大规模数据时提高行人属性识别的处理效率，进而可以对节约时间成本和提高相关的经济、社会效益带来巨大帮助。
本发明实施例还提供的一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的行人属性识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的行人属性识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存取存储器（Random AccessMemory，简称RAM）等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (12)
1.一种行人属性识别方法，其特征在于，包括以下步骤：
获取多类别卷积神经网络模型，所述多类别卷积神经网络模型用于对多个类别的属性进行分类；
通过卷积神经网络技术，将所述多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到第一行人属性识别模型，所述重构包括输出层存储数据格式的重构；
通过迁移学习，使用预先准备的行人属性数据集对所述第一行人属性识别模型进行训练，得到第二行人属性识别模型；
通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化，得到目标行人属性识别模型；
通过所述目标行人属性识别模型对待识别图像进行行人属性识别，得到行人属性识别结果。
2.如权利要求1所述的行人属性识别方法，其特征在于，所述方法还包括：
根据所述行人属性类别数量以及行人属性类别，构建行人属性数据集。
3.如权利要求1所述的行人属性识别方法，其特征在于，所述通过卷积神经网络技术，将所述多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到第一行人属性识别模型，包括：
丢弃所述多类别卷积神经网络模型的原输出层；
为每个行人属性类别构建一个线性分类器，得到重构后的输出层；
其中，所述重构后的输出层中，每个所述线性分类器前向传递后输出的结果均以元组的数据格式保存，对于所有线性分类器对应的元组，按照预设的属性顺序追加到同一个元组中作为输出结果。
4.如权利要求1至3中任一所述的行人属性识别方法，其特征在于，在所述通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化之前，所述方法还包括：
将所述第二行人属性识别模型进行格式转换，以使所述第二行人属性识别模型适应所述预设的可编程推理加速器。
5.如权利要求4所述的行人属性识别方法，其特征在于，所述方法还包括：
在可编程推理加速器空间中创建与所述第二行人属性识别模型对应的加速引擎；
在可编程推理加速器空间中设定所述第二行人属性识别模型相关的参数，所述第二行人属性识别模型相关的参数包括图像数据的色彩模式、图像数据的分辨率、并行处理时的图像数量以及拟分配的显存大小中的至少一项；
根据所述加速引擎以及所述第二行人属性识别模型相关的参数，确定所述第二行人属性识别模型的可编程推理加速器。
6.一种行人属性识别装置，其特征在于，所述装置包括：
获取模块，用于获取多类别卷积神经网络模型，所述多类别卷积神经网络模型用于对多个类别的属性进行分类；
重构模块，用于通过卷积神经网络技术，将所述多类别卷积神经网络模型的输出层按行人属性类别数量进行重构，得到第一行人属性识别模型，所述重构包括输出层存储数据格式的重构；
训练模块，用于通过迁移学习，使用预先准备的行人属性数据集对所述第一行人属性识别模型进行训练，得到第二行人属性识别模型；
加速模块，用于通过预设的可编程推理加速器对所述第二行人属性识别模型进行优化，得到目标行人属性识别模型；
识别模块，用于通过所述目标行人属性识别模型对待识别图像进行行人属性识别，得到行人属性识别结果。
7.如权利要求6所述的行人属性识别装置，其特征在于，所述装置还包括：
构建模块，用于根据所述行人属性类别数量以及行人属性类别，构建行人属性数据集。
8.如权利要求7所述的行人属性识别装置，其特征在于，所述重构模块包括：
丢弃单元，用于丢弃所述多类别卷积神经网络模型的原输出层；
重构单元，用于为每个行人属性类别构建一个线性分类器，得到重构后的输出层；
其中，所述重构后的输出层中，每个所述线性分类器前向传递后输出的结果均以元组的数据格式保存，对于所有线性分类器对应的元组，按照预设的属性顺序追加到同一个元组中作为输出结果。
9.如权利要求6至8中任一所述的行人属性识别装置，其特征在于，所述装置还包括：
格式转换模块，用于将所述第二行人属性识别模型进行格式转换，以使所述第二行人属性识别模型适应所述预设的可编程推理加速器。
10.如权利要求9所述的行人属性识别装置，其特征在于，所述装置还包括：
创建模块，用于在可编程推理加速器空间中创建与所述第二行人属性识别模型对应的加速引擎；
设定模块，用于在可编程推理加速器空间中设定所述第二行人属性识别模型相关的参数，所述第二行人属性识别模型相关的参数包括图像数据的色彩模式、图像数据的分辨率、并行处理时的图像数量以及拟分配的显存大小中的至少一项；
确定模块，用于根据所述加速引擎以及所述第二行人属性识别模型相关的参数，确定所述第二行人属性识别模型的可编程推理加速器。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的行人属性识别方法中的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的行人属性识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110272771.6A CN112686228B (zh) | 2021-03-12 | 2021-03-12 | 行人属性识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110272771.6A CN112686228B (zh) | 2021-03-12 | 2021-03-12 | 行人属性识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686228A CN112686228A (zh) | 2021-04-20 |
| CN112686228B true CN112686228B (zh) | 2021-06-01 |
Family
ID=75455536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110272771.6A Active CN112686228B (zh) | 2021-03-12 | 2021-03-12 | 行人属性识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686228B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106951961A (zh) * | 2017-02-24 | 2017-07-14 | 清华大学 | 一种粗粒度可重构的卷积神经网络加速器及系统 |
| CN109800710A (zh) * | 2019-01-18 | 2019-05-24 | 北京交通大学 | 行人重识别系统及方法 |
| CN110688897A (zh) * | 2019-08-23 | 2020-01-14 | 深圳久凌软件技术有限公司 | 一种基于联合判断与生成学习的行人重识别方法及装置 |
| KR20200010658A (ko) * | 2018-06-29 | 2020-01-31 | 한양대학교 산학협력단 | 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램 |
| CN111597876A (zh) * | 2020-04-01 | 2020-08-28 | 浙江工业大学 | 一种基于困难五元组的跨模态行人重识别方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000010658U (ko) * | 1998-11-25 | 2000-06-26 | 전주범 | 난방기의 축류 팬 |
| KR20180088186A (ko) * | 2017-01-26 | 2018-08-03 | (주)다인비전 | 다채널 거리센서가 부설된 횡단보도 보행자 검지 장치 및 그 방법 |
| US11048948B2 (en) * | 2019-06-10 | 2021-06-29 | City University Of Hong Kong | System and method for counting objects |
| CN112001353B (zh) * | 2020-09-03 | 2023-02-17 | 杭州云栖智慧视通科技有限公司 | 一种基于多任务联合监督学习的行人再识别方法 |
| CN112418134B (zh) * | 2020-12-01 | 2024-02-27 | 厦门大学 | 基于行人解析的多流多标签行人再识别方法 |
-
2021
- 2021-03-12 CN CN202110272771.6A patent/CN112686228B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106951961A (zh) * | 2017-02-24 | 2017-07-14 | 清华大学 | 一种粗粒度可重构的卷积神经网络加速器及系统 |
| KR20200010658A (ko) * | 2018-06-29 | 2020-01-31 | 한양대학교 산학협력단 | 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램 |
| CN109800710A (zh) * | 2019-01-18 | 2019-05-24 | 北京交通大学 | 行人重识别系统及方法 |
| CN110688897A (zh) * | 2019-08-23 | 2020-01-14 | 深圳久凌软件技术有限公司 | 一种基于联合判断与生成学习的行人重识别方法及装置 |
| CN111597876A (zh) * | 2020-04-01 | 2020-08-28 | 浙江工业大学 | 一种基于困难五元组的跨模态行人重识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686228A (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109376242B (zh) | 基于循环神经网络变体和卷积神经网络的文本分类方法 | |
| CN110609891B (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
| CN109783666B (zh) | 一种基于迭代精细化的图像场景图谱生成方法 | |
| CN109472024A (zh) | 一种基于双向循环注意力神经网络的文本分类方法 | |
| CN111160350B (zh) | 人像分割方法、模型训练方法、装置、介质及电子设备 | |
| CN108304364A (zh) | 关键词提取方法和装置 | |
| CN111079837B (zh) | 一种用于二维灰度图像检测识别分类的方法 | |
| Depuru et al. | Human emotion recognition system using deep learning technique | |
| CN111914555B (zh) | 基于Transformer结构的自动化关系抽取系统 | |
| CN112860904B (zh) | 一种融入外部知识的生物医疗关系抽取方法 | |
| CN111639186A (zh) | 动态嵌入投影门控的多类别多标签文本分类模型及装置 | |
| CN110851654A (zh) | 基于张量化数据降维的工业设备故障检测分类方法 | |
| CN112925904A (zh) | 一种基于Tucker分解的轻量级文本分类方法 | |
| Depuru et al. | Convolutional neural network based human emotion recognition system: A deep learning approach | |
| CN109308316A (zh) | 一种基于主题聚类的自适应对话生成系统 | |
| Jin et al. | Image generation method based on improved condition GAN | |
| Qi et al. | Research on deep learning expression recognition algorithm based on multi-model fusion | |
| CN110472746A (zh) | 一种基于人工智能的编码预测方法和系统 | |
| CN109344309A (zh) | 基于卷积神经网络堆叠泛化的文档图像分类方法和系统 | |
| CN112686228B (zh) | 行人属性识别方法、装置、电子设备及存储介质 | |
| Gao et al. | A robust improved network for facial expression recognition | |
| CN111859936A (zh) | 一种基于深度混合网络的面向跨域立案的法律文书专业管辖权识别方法 | |
| Luqin | A survey of facial expression recognition based on convolutional neural network | |
| Ma | Summary of research on application of deep learning in image recognition | |
| Lan et al. | GCN-based multi-modal multi-label attribute classification in anime illustration using domain-specific semantic features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240109 Granted publication date: 20210601 |