CN115100469A - 一种基于分割算法的目标属性识别方法、训练方法和装置 - Google Patents

Abstract

本发明公开了一种基于分割算法的目标属性识别方法、模型训练方法、识别装置和训练装置，其中一个实施例提供的目标属性识别方法，使用预设置的目标属性识别模型对接收的待识别图像进行目标识别，并输出目标掩码，利用目标掩码从待识别图像中分割出目标掩码图像，并针对目标掩码图像进行目标属性的识别，最终输出目标的多标签属性。本实施例通过分割算法，过滤与所述目标无关的区域，通过行人掩码图像进行属性识别，能够避免环境所带来的干扰，显著提高识别速度和准确率，特别是在安防领域，使用本发明一个实施例所述的行人属性识别方法，能够实现自动化的监控，有效实现快速的过滤和协助查找，提高工作效率，具有广泛的应用前景。

Description

一种基于分割算法的目标属性识别方法、训练方法和装置

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于分割算法的目标属性识别方法、训练方法和装置。

背景技术

在安防场景中，通常采用计算机视觉算法实现自动化监控。具体的，通过深度学习算法，首先对待处理图像进行分割，只保留感兴趣的区域，其次针对行人区域进行行人特征的提取，完成属性的识别。伴随监控场景的增多，产生大量的视频数据，在海量数据量的前提下，如何能够快速、准确的过滤行人属性，准确查找到目标行人成为亟待解决的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

为了解决上述问题至少之一，本发明第一个实施例提供一种基于分割算法的目标属性识别方法，具体包括：

使用预设置的目标属性识别模型对接收的待识别图像进行目标识别，并输出目标掩码，所述目标掩码为基于分割算法进行像素空间对齐获得的；

根据所述目标掩码，使用所述目标属性识别模型对所述待识别图像进行掩码操作并获取目标掩码图像；

根据所述目标掩码图像，使用所述目标属性识别模型进行目标属性识别，并输出待识别图像的目标的属性，所述属性包括所述目标的多标签属性。

进一步地，所述使用预设置的目标属性识别模型对接收的待识别图像进行目标识别，并输出目标掩码进一步包括：

使用所述目标属性识别模型对所述待识别图像进行特征提取并输出第一特征图；

使用所述目标属性识别模型对所述第一特征图进行区域检测并输出多个区域筛选框；

使用所述目标属性识别模型对所述区域筛选框进行区域特征匹配并输出第二特征图，所述第二特征图为基于分割算法进行像素空间对齐获得的；

使用所述目标属性识别模型对所述第二特征图进行区域检测并输出目标掩码。

进一步地，所述目标属性识别模型包括特征提取网络、第一特征图金字塔网络和区域生成网络；

所述使用所述目标属性识别模型对所述待识别图像进行特征提取并输出第一特征图进一步包括：

使用所述特征提取网络对所述待识别图像进行特征提取并输出多层特征原图；

使用所述第一特征图金字塔网络，根据至少一层所述特征原图输出所述第一特征图；

所述使用所述目标属性识别模型对所述第一特征图进行区域检测并输出多个区域筛选框进一步包括：根据预设置的锚框，使用所述区域生成网络对所述第一特征图进行区域检测并输出多个区域筛选框。

进一步地，所述目标属性识别模型包括掩码预测分支、回归预测分支和分类预测分支；

使用所述目标属性识别模型对所述第二特征图进行区域检测并输出目标掩码进一步包括：

使用所述掩码预测分支对所述第二特征图进行区域预测并输出目标掩码；

使用所述回归预测分支对所述第二特征图进行区域预测并输出目标框；

使用所述分类预测分支对所述第二特征图进行分类预测并输出目标分类。

进一步地，所述根据所述目标掩码，使用所述目标属性识别模型对所述待识别图像进行掩码操作并获取目标掩码图像进一步包括：将所述目标掩码与所述待识别图像进行乘法操作并获取目标掩码图像；

所述根据所述目标掩码图像，使用所述目标属性识别模型进行目标属性识别，并输出待识别图像的目标的属性进一步包括：根据所述目标分类使用所述目标属性识别模型中对应的属性识别模型对所述目标掩码图像进行目标属性识别，并输出待识别图像的目标的属性，所述属性识别模型为多任务多标签分类模型。

进一步地，所述根据所述目标掩码，使用所述目标属性识别模型对所述待识别图像进行掩码操作并获取目标掩码图像进一步包括：将所述输出目标框与所述待识别图像进行乘法操作以获取目标框掩码图像，将所述目标掩码与目标框掩码图像进行乘法操作并获取目标掩码图像；

所述根据所述目标掩码图像，使用所述目标属性识别模型进行目标属性识别，并输出待识别图像的目标的属性进一步包括：根据所述目标分类使用所述目标属性识别模型中对应的属性识别模型对所述目标掩码图像进行目标属性识别，并输出待识别图像的目标的属性，所述属性识别模型为多任务多标签分类模型。

进一步地，所述特征提取网络为VGG网络、googlenet网络、resnet网络、以及resnext网络中的一个。

本发明第二个实施例提供一种基于分割算法的行人属性识别方法：

使用预设置的行人属性识别模型对接收的待识别图像进行行人识别，并输出行人掩码，所述行人掩码为基于分割算法进行像素空间对齐获得的；

根据所述行人掩码，使用所述行人属性识别模型对所述待识别图像进行掩码操作并获取行人掩码图像；

根据所述行人掩码图像，使用所述行人属性识别模型进行行人属性识别，并输出待识别图像的行人的属性，所述属性包括所述行人的多标签属性。

进一步地，所述多标签属性包括性别属性、头饰属性、发型属性、服饰属性、服饰颜色属性、配饰属性、遮挡属性、截断属性和朝向属性中的至少三个。

本发明第三个实施例提供一种模型训练方法，包括：

获取多个样本识别图像，并对各样本识别图像的目标按照像素空间对齐方式进行标注；

使用已标注的多个样本识别图像对目标属性识别模型进行目标识别训练。

进一步地，所述目标属性识别模型包括掩码预测分支、回归预测分支和分类预测分支，以及多标签分类损失函数，

所述使用已标注的多个样本识别图像对目标属性识别模型进行目标识别训练进一步包括：

根据预设置的第一准确率阈值，所述掩码预测分支、回归预测分支和分类预测分支分别通过预设置的损失函数进行计算并调整模型参数；

根据预设置的第二准确率阈值，通过所述多标签分类损失函数对所述目标属性识别模型进行模型参数调整。

本发明第四个实施例提供一种目标属性识别装置，包括：

目标掩码获取单元，用于对接收的待识别图像进行目标识别，并输出目标掩码，所述目标掩码为基于分割算法进行像素空间对齐获得的；

目标掩码图像获取单元，用于根据所述目标掩码对所述待识别图像进行掩码操作并获取目标掩码图像；

目标属性识别单元，用于对所述目标掩码图像进行目标属性识别，并输出待识别图像的目标的属性，所述属性包括所述目标的多标签属性。

本发明第五个实施例提供一种行人属性识别装置，包括：

行人掩码获取单元，用于对接收的待识别图像进行行人识别，并输出行人掩码，所述行人掩码为基于分割算法进行像素空间对齐获得的；

行人掩码图像获取单元，用于根据所述行人掩码对所述待识别图像进行掩码操作并获取行人掩码图像；

行人属性识别单元，用于对所述行人掩码图像进行行人属性识别，并输出待识别图像的行人的属性，所述属性包括所述行人的多标签属性。

本发明第六个实施例提供一种模型训练装置，其特征在于，包括：

标注单元，用于获取多个样本识别图像，并对各样本识别图像的目标按照像素空间对齐方式进行标注；

训练单元，用于使用已标注的多个样本识别图像对目标属性识别模型进行目标识别训练。

本发明第七个实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，

该程序被处理器执行时实现如第一个实施例所述的方法；

或者

该程序被处理器执行时实现如第二个实施例所述的方法；

或者

该程序被处理器执行时实现如第三个实施例所述的方法。

本发明第八个实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，

所述处理器执行所述程序时实现如第一个实施例所述的方法；

或者

所述处理器执行所述程序时实现如第二个实施例所述的方法；

或者

所述处理器执行所述程序时实现如第三个实施例所述的方法。

本发明的有益效果如下：

本发明针对目前现有的问题，提供一种基于分割算法的目标属性识别方法，使用预设置的目标属性识别模型对接收的待识别图像进行目标识别，并输出目标掩码，利用所述目标掩码从所述待识别图像中分割出所述目标掩码图像，并针对所述目标掩码图像进行所述目标属性的识别，最终输出所述目标的多标签属性。本实施例通过所述分割算法，最大程度的过滤掉与所述目标无关的非目标区域，通过目标掩码图像进行属性识别，能够避免环境对属性识别造成的干扰，显著提高识别速度和准确率，特别是在安防领域，使用本发明一个实施例所述的行人属性识别方法，能够实现自动化的监控，有效实现快速的过滤和协助查找，提高工作效率，具有广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明的一个实施例所述目标属性识别方法的流程图；

图2示出本发明的另一个实施例所述目标属性识别方法的框图；

图3示出本发明的一个实施例所述锚框示意图；

图4示出本发明的一个实施例所述目标掩码和目标掩码图像示意图；

图5示出本发明的一个实施例所述待识别图像和目标属性示意图；

图6示出本发明的另一个实施例所述一种目标属性识别装置结构图；

图7示出本发明的另一个实施例所述一种行人属性识别装置结构图；

图8示出本发明的另一个实施例所述一种模型训练装置结构图；

图9示出本发明的另一个实施例所述的一种计算机设备的结构示意图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

在相关技术中，进行行人属性识别时，广泛使用计算机视觉技术，通过深度学习算法，例如针对行人区域进行行人特征的提取，完成属性的识别。相对于以前的传统图像处理，目前的特征提取主流方式都是使用卷积神经网络，使用深度学习的方法来解决此类问题，例如，使用YOLACT算法对行人属性背景信息进行过滤，拼接不同大小的特征图进行多任务网络预测，提出梯度权重损失函数进行模型的训练；再例如使用人体姿态关键点获取人体区域，将提取的细节关键点和浅层特征进行结合，将提取的人体区域和深层特征进行结合，将结合后的数据和深层特征分别输入到区域引导模块得到多个预测向量，将多个预测向量进行融合，得到最终的预测结果。然而，上述方法均需要进行额外的关键点检测，该步骤对设备的计算能力要求较高，并且需要增加相应的处理时间，考虑到在实际的应用中，存在数据量巨大的待识别图像时、以及实时判别能力要求时，对识别速度和准确率提出了较高要求，因此如何快速、准确地识别目标属性成为亟待解决的技术问题。

针对上述情况，如图1所示，本发明的一个实施例提供了一种基于分割算法的目标属性识别方法，包括：

使用预设置的目标属性识别模型对接收的待识别图像进行目标识别，并输出目标掩码，所述目标掩码为基于分割算法进行像素空间对齐获得的；

根据所述目标掩码，使用所述目标属性识别模型对所述待识别图像进行掩码操作并获取目标掩码图像；

根据所述目标掩码图像，使用所述目标属性识别模型进行目标属性识别，并输出待识别图像的目标的属性，所述属性包括所述目标的多标签属性。

本实施例通过所述基于分割算法的目标属性识别方法，相对于所述使用额外的关键点的识别方法，绕开了处理关键点的步骤，降低了对硬件的性能要求，缩短了识别时间，并且能够最大程度的过滤掉非目标区域，通过目标掩码图像进行属性识别，能够避免环境对属性识别造成的干扰，显著提高识别速度和准确率，能够实现快速的过滤和协助查找，极大的提高工作效率，具有广泛的应用前景。

在一个具体的示例中，如图2所示，所述属性识别分为三个步骤：

首先，读取所述待识别图像100，进行目标识别200，输出目标掩码300。

在本实施例中，具体包括如下步骤：

对所述待识别图像100进行特征提取210，输出第一特征图220，即Feature Map，为输入图像经过神经网络卷积获取的结果，其分辨率大小取决于先前卷积核的步长。

区域检测230，即使用提取候选框的网络区域生成网络(Region ProposalNetwork，RPN)进行“区域选取”并输出多个区域筛选框240，区域特征匹配250并输出第二特征图260，再次进行区域检测270并输出目标掩码300。

具体的，将一张待识别图像100输入到一个预置的已完成训练的主干卷积神经网络中(BackboneConvolutional Neural Networks,Backbone CNN)，所述主干卷积神经网络主要用于提取所述待识别图像100的特征图以供后续网络使用。

在一个可选的实施例中，所述特征提取网络为vgg网络、googlenet网络、resnet网络、或者resnext网络。

通过上述特征提取网络中的一个对待识别图像进行特征提取。

具体的，所述VGG(视觉几何组网络，Visual Geometry Group)网络中，通过使用一系列大小为3x3的小尺寸卷积核和池化层构造深度卷积神经网络，具有结构简单、应用性强的特点。

在所述GoogLeNet网络中，卷积块被称为Inception块，Inception块相当于一个有4条路径的子网络，通过不同窗口形状的卷积层和最大汇聚层来并行抽取信息，并使用1×1卷积层减少每像素级别上的通道维数从而降低模型复杂度。

ResNeXt网络同时采用了VGG网络的堆叠思想和inception块的split-transform-merge思想，具有更强的可扩展性，在增加准确率的同时基本不会改变或降低模型的复杂度。

ResNet网络是针对更深层次的神经网络难以训练的问题、提出的一种残差学习的结构，在增加了网络深度的同时减少参数的数量，在检测、分割、识别等领域获得广泛应用。

在本实施例中，所述特征提取网络采用ResNet50网络。所述ResNet50网络输出多个特征图，本实施例利用特征图金字塔网络(Feature Pyramid Network，FPN)将最后三层输出的特征图进行融合并输出特征图220。

其中，特征图金字塔网络(Feature Pyramid Network，FPN)是一种自顶向下的特征融合方法，并且是一种多尺度的目标检测算法，即使用大于1个的特征预测层，将多个阶段的特征图融合在一起，既提取高层特征图的语义特征，又提取低层的轮廓特征。

值得说明的是，本申请对FPN网络进行特征图融合的数量不作具体限定，本领域技术人员应当根据实际应用需求，例如网络的处理速度和特征图的性能选择适当数量的特征图进行融合，在此不再赘述。

本实施例通过采用ResNet50网络提取所述待识别图像100的特征图，并进一步使用FPN网络进行特征融合并形成所述第一特征图220，能够通过ResNet50网络在各个阶段提取的特征图，既能够提取高层特征图的语义特征，又能够提取低层的轮廓特征，从而解决较小物体无法检测的问题。

基于所述第一特征图220，输入RPN网络进行区域检测230，从而提取所述区域筛选框240。

具体的，将所述第一特征图220进行3×3的卷积操作，得到一个通道(channel)数256的特征图，其尺寸和所述第一特征图220相同。例如，所述第一特征图220的长为H，宽为W，则所述通道数为256的特征图，视为具有H×W个向量，每个向量是256维，继续对此向量做两次全连接操作，分别得到2个分数和4个坐标，等同于对所述通道数为256的特征图做两次1×1的卷积，得到一个2×H×W和一个4×H×W大小的特征图。

具体的，2×H×W的特征图，即2个置信度，表示前景和背景的分数，因为所述PRN网络只负责提取所述区域筛选框240，不需要判断所述待识别图像100中物品的类别，因此利用前景和背景的置信度判断是否为物品；4×H×W大小的特征图，即4个坐标，表示在所述待识别图像100中的偏移坐标(x，y，w，h)。

值得注意的是，所述偏移坐标是所述待识别图像100的坐标，因所述待识别图像100与所述第一特征图220的宽和高不同，为了获取所述待识别图像100中的图片坐标，引入锚点(Anchor)。具体包括：

在所述第一特征图220中随机选取一个点，该点能够映射到所述待识别图像100的一个框，例如所述待识别图像100与所述第一特征图220的缩放比例为8:1，则所述映射的框为8×8，设置此框的左上角或者中心点为所述锚点，基于此锚点按照预先配置的规则生成若干锚框(AnchorBox)，每个锚框的大小由缩放比(scale)和宽高比(ratio)两个参数来确定，例如预先设置scale＝[128]，ratio＝[0.5,1,1.5]，则每个像素点可以产生3个不同大小的框。如图3所示，三个框面积相同，通过ratio的值来改变其长宽比，从而产生不同形状的框。值得注意的是，本申请对所述锚框的个数、缩放比例、以及宽高比不作具体限定，本领域技术人员应当根据实际应用需求，例如网络的处理速度和性能进行适当的选择，在此不再赘述。

在本实施例中，例如所述锚框个数为K，即每个锚点产生K个框，所述第一特征图220，包含H×W个点，每个点对应所述待识别图像100有K个框，则总共有H×W×K个所述区域筛选框240，通过所述RPN判断这些框是否是物体以及其在所述待识别图像100上的偏移坐标，即得到所述区域筛选框240。

进一步地，考虑到相关技术中采用的感兴趣区域池化(region ofinterestpooling，ROIPooling)来处理候选区域尺寸不同的问题，由于ROIPooling采用向下取整的方式容易导致产生误差且无法保证所述特征层和所述输入层像素精确对应，无法达到语义分割任务的要求。因此本实施例采用ROI对齐(ROIAlign)的方式，取消取整操作，改用双线性插值得到固定四个点坐标的像素值，从而使得不连续的操作变得连续起来，能够有效降低误差，实现所述像素空间对齐，完成所述区域特征匹配250。换句话说，本实施例使用ROIAlign的方式实现对所述区域筛选框进行区域特征匹配250并输出第二特征图260，即基于分割算法进行像素空间对齐获得第二特征图260；实现在所述待识别图像100中识别出待测物品(前景物体)的精确的坐标像素值。

本实施例考虑到目标属性识别模型的性能和准确度的要求，一方面通过引入RPN网络进行区域检测能够显著提高检测速度，并且更容易与其他神经网络结合；另一方面通过采用ROIAlign的方式实现所述像素空间对齐，能够有效降低误差。

基于所述第二特征图260再次进行区域检测270并获取所述目标掩码300。具体包括分别将所述第二特征图输入三个预测分支。

具体的，将所述第二特征图260引入所述分类预测分支进行分类预测并输出目标分类，在一个全连接层后接入一个softmax层，softmax层接收一个N维向量作为输入，把每一维的值转换成(0，1)之间的一个实数，实现将所述全连接层的输出映射成一个概率的分布，在本实施例中具体用于实现前景和背景分类。

具体的，将所述第二特征图260引入所述回归预测分支进行分类预测并输出目标框，在一个全连接层后接入一个边框回归层(Bounding Box Regression，bbox reg)，通过回归预测得到更加精确的坐标像素值，所述坐标像素值为所述待识别图像100中识别出待测物品(前景物体)的精确坐标。

具体的，将所述第二特征图260引入所述掩码预测分支进行分类预测并输出目标掩码，在一个头部层(Head)后接入一个全连接层，所述头部层将所述第二特征图260的输出维度扩大，增加掩码预测精确度，然后在每一个ROI里面进行全连接网络(FCN)操作，生成如图4所示的所述目标掩码300。

本实施例通过三个分支分别操作获得目标分类、目标框和目标掩码。

在一个可选的实施例中，本实施例通过三个分支依次操作，例如在预测阶段先进行所述分类预测和回归预测操作，将所得结果传入所述掩码预测分支，快速、准确的得到所述目标掩码。

其次，使用所述目标掩码300和所述待识别图像100进行掩码操作400，并输出目标掩码图像500。在本实施例中，如图4所述，所述目标掩码300包含两种元素0和1，0代表黑色，1代表透明。所述掩码操作400为根据所述目标掩码300生成切片图片，即所述待识别图像100和所述目标掩码300之间进行相乘操作，所述目标掩码300的0将原图片RGB数值置为0，所述目标掩码300的1不改变所述待识别图像100的RGB数值。如图4所示，生成的所述目标掩码图像500是将待测目标从图像中分割出来。所述目标掩码图像500不包含环境的背景，能够有效降低环境带来的噪声。

最后，使用所述目标掩码图像500，进行目标属性识别600，并输出目标属性700。

在本实施例中，对所述目标掩码图像500进行卷积操作，通过多层卷积操作，进行多任务多标签分类，识别结果如图5所示。

至此，本实施例使用所述基于分割算法的目标属性识别方法，完成对所述待识别图像100的目标属性识别，并输出目标属性700。

在一个可选的实施例中，先使用所述目标属性识别模型的掩码预测分支对所述第二特征图进行区域预测并输出目标掩码，将所述目标掩码与所述待识别图像进行乘法操作并获取目标掩码图像；再使用所述目标属性识别模型进行目标属性识别并输出待识别图像的目标的属性，具体的，根据所述目标分类使用所述目标属性识别模型中对应的属性识别模型对所述目标掩码图像进行目标属性识别，并输出待识别图像的目标的属性，所述属性识别模型为多任务多标签分类模型。

本实施例通过掩码预测分支获取的目标掩码与待识别图像进行乘法操作以获取目标掩码图像，并根据分类预测分支获取的目标分类选择对应的多任务多标签分类模型的属性识别模型对目标掩码图像进行属性识别并输出目标的属性。

具体的，例如目标为车辆，则选择对应的多任务多标签车辆分类模型的属性识别模型对目标掩码图像进行属性识别并输出车辆的属性；例如目标为狗，则选择对应的多任务多标签狗分类模型的属性识别模型对目标掩码图像进行属性识别并输出狗的属性；例如目标为行人，则选择对应的多任务多标签行人分类模型的属性识别模型对目标掩码图像进行属性识别并输出行人的属性。

在另一个可选的实施例中，使用所述目标属性识别模型对所述待识别图像进行掩码操作并获取目标掩码图像，具体的，先将所述输出目标框与所述待识别图像进行乘法操作以获取目标框掩码图像，再将所述目标掩码与目标框掩码图像进行乘法操作并获取目标掩码图像；再使用所述属性识别模型进行目标属性识别并输出待识别图像的目标的属性，具体的，根据所述目标分类使用所述目标属性识别模型中对应的属性识别模型对所述目标掩码图像进行目标属性识别，并输出待识别图像的目标的属性，所述属性识别模型为多任务多标签分类模型。

本实施例通过回归预测分支获取的目标框与待识别图像进行乘法操作以获取目标框掩码图像，然后通过掩码预测分支获取的目标掩码与目标框掩码图像进行乘法操作以获取目标掩码图像，并根据分类预测分支获取的目标分类选择对应的多任务多标签分类模型的属性识别模型对目标掩码图像进行属性识别并输出目标的属性，能够进一步提高目标掩码图像的获取准确率。

本实施例选用ResNet50网络提取所述待识别图像100的多个阶段的特征图，并进一步使用FPN网络，将至少一个阶段的特征融合在一起，形成所述第一特征图220，从而利用ResNet50网络各个阶段提取到的特征，既提取高层特征图的语义特征，又提取低层的轮廓特征，解决较小物体无法检测的问题；同时，本实施例引入RPN网络进行区域检测，所述RPN网络不需要查找所有的区域筛选框，能够显著提高检测速度，并且更容易与其他神经网络结合；另一方面，本实施例采用ROIAlign的方式实现所述像素空间对齐，能够有效降低误差；然后，进行所述分类预测和回归预测操作，将所得结果传入所述掩码预测分支，快速、准确的得到所述目标掩码300；所述目标掩码图像500不包含环境的背景能够有效降低环境带来的噪声；对所述目标掩码图像500进行卷积操作，通过多层卷积操作，对提取的特征进行多任务多标签分类，从而提取出所述目标属性700；本实施例能够实现快速的过滤和协助查询，极大的提高工作效率，具有广泛的应用前景。

基于本实施例的目标属性识别方法，在实际应用中，例如在商超、街道等监控场景中，本实施例所述目标属性识别方法进一步能够扩展成一种基于分割算法的行人属性识别方法，其中与本发明所述第一个实施例相同和共性的部分不再赘述，仅针对行人识别特殊的部分做出具体说明。在安防领域伴随需监控的场景增多，人流密级程度增加，监控时长普遍需要7×24小时，导致监控数据量激增，在此情况下，如单纯依靠人力进行排查，耗时耗力，且准确性无法保证，因此迫切需要利用计算机视觉算法来完成自动化的监控，实现快速识别和精确查找。

在行人识别领域中，行人属性是行人识别过程中最为关键的因素，利用计算机视觉的方式，通过深度学习算法，利用卷积神经网络灵活和快速的优势。对待识别图像进行分割，只保留感兴趣的行人区域，并针对行人区域进行行人特征提取，完成行人属性的识别，能够极大的提高工作效率。

本发明的第二个实施例提供了一种基于分割算法的行人属性识别方法，包括：

使用预设置的行人属性识别模型对接收的待识别图像进行行人识别，并输出行人掩码，所述行人掩码为基于分割算法进行像素空间对齐获得的；

根据所述行人掩码，使用所述行人属性识别模型对所述待识别图像进行掩码操作并获取行人掩码图像；

根据所述行人掩码图像，使用所述行人属性识别模型进行行人属性识别，并输出待识别图像的行人的属性，所述属性包括所述行人的多标签属性。

在本实施例中，行人属性识别方法能够使用预设置的行人属性识别模型对接收的待识别图像进行行人识别，并输出行人掩码，利用所述行人掩码从所述待识别图像中分割出所述行人掩码图像，并针对所述行人掩码图像进行所述行人属性的识别，最终输出所述行人的多标签属性，具有较高的识别度和准确率。

在一个可选的实施例中，所述多标签属性包括性别属性、头饰属性、发型属性、服饰属性、服饰颜色属性、配饰属性、遮挡属性、截断属性和朝向属性中的至少三个。

以一个具体的示例进行说明：

首先获取一张所述待识别图像100，所述待识别图像的来源，包括但不限定于视频文件中的某一帧或者监控视频流中的某一帧，将所述待识别图像100输入到一个预置的已完成训练的主干卷积神经网络中，综合考虑到识别速度和识别精度的要求，选用ResNet系列的ResNet50网络提取多个阶段的特征图，再引入特征图金字塔网络(Feature PyramidNetwork，FPN)，将至少一个阶段的特征图融合在一起并输出第一特征图，既提取高层特征图的语义特征，又提取低层的轮廓特征。基于所述第一特征图220输入RPN网络进行区域检测230以提取所述区域筛选框240，再采用ROI对齐(ROI Align)的方式实现所述像素空间对齐以完成区域特征匹配250并输出第二特征图260，再次进行区域检测270以提取所述行人掩码300，然后将所述行人掩码300和所述待识别图像100进行所述掩码操作400并输出行人掩码图像500。所述行人掩码图像500不包含环境的背景，能够有效降低环境带来的噪声。

最后，对所述行人掩码图像500进行多任务多标签分类并输出行人属性，识别结果如图5所示，所述行人属性包括但不限定于性别属性、头饰属性、发型属性、服饰属性、服饰颜色属性、配饰属性、遮挡属性、截断属性和朝向属性中至少三个属性。

本发明的第三个实施例提供了一种模型训练方法，包括：

获取多个样本识别图像，并对各样本识别图像的目标按照像素空间对齐方式进行标注；

使用已标注的多个样本识别图像对目标属性识别模型进行目标识别训练。

在本实施例中，通过已标注的样本识别图像对目标属性识别模型进行训练，例如将已标注的行人、车辆、狗的样本识别图像输入到目标属性识别模型中，通过目标属性识别模型的目标识别模型对所述样本识别图像进行特征提取并输出第一特征图，通过目标属性识别模型的区域检测模型对第一特征图进行区域检测并输出多个区域筛选框，通过目标属性识别模型的区域特征匹配模型对区域筛选框进行区域特征匹配并输出第二特征图，通过目标属性识别模型的区域检测模型对第二特征图进行区域检测并输出目标掩码；再通过掩码操作获取目标掩码图像，并利用目标属性识别模型的属性识别模型进行目标属性识别，根据获取的目标属性判断目标属性识别模型的准确率，如果未达到预设目标，则进一步调整参数并继续训练，直到满足预设目标为止。

进一步地，所述目标属性识别模型包括掩码预测分支、回归预测分支和分类预测分支，以及多标签分类损失函数，所述使用已标注的多个样本识别图像对目标属性识别模型进行目标识别训练进一步包括：

根据预设置的第一准确率阈值，所述掩码预测分支、回归预测分支和分类预测分支分别通过预设置的损失函数进行计算并调整模型参数；

根据预设置的第二准确率阈值，通过所述多标签分类损失函数对所述属性识别模型进行模型参数调整。

在本实施例中，根据预设置的第一准确率阈值，例如90％，各预测分支进行损失函数的计算并获得总的损失值，使用第一准确率阈值判断所述损失值，直到满足第一准确率阈值为止；同理，根据预设置的第二准确率阈值，对多标签分类损失函数计算的损失值进行判断，知道满足第二准确率阈值为止。

在本实施例中，选用开源的MS COCO数据集做为训练集，选用Cityscapes数据集中带有行人的精细标注的样本材料作为第一测试集，选用从一个已运行一年的安防系统备份视频资料中手工整理和标注的样本素材做为第二测试集。

所述MS COCO数据集，预置了80种不同的物体，非常适合训练行人检测模型的情况，能够有效的区分样本素材中行人和其他相关物体，如车、猫、狗、树木和标识牌等。另外，由于卷积神经网络用训练集训练的模型对目标分辨率是敏感的，特别是针对行人检测问题，当使用一个数据集训练的模型去测试另一个数据集的行人时，会出现目标召回率低的问题，并且恰好所述MSCOCO数据集的图像分辨率并不一致，为提高模型的准确度，把输入图像统一处理为1024×1024分辨率，在保证样本图像原始纵横比的前提下，对于其他部分进行补0处理。

所述Cityscapes数据集包含5000张带有张精细标注的样本图片，其中并非所有图像中都包含行人，因此本实施例中，针对行人检测筛选出带有行人的2900张图像做为所述第一测试集进行测试。

所述第二测试集是从真实的安防系统的备份视频资料中获取，并且统一处理为1024×1024分辨率，由相关技术人员手工标注相关信息，总共500张做为第二测试集进行测试。在一个可选的实施例中，也可以将所述第一测试集和所述第二测试混合成第三测试集，在此不再赘述。

在本实施例中，所述目标属性识别模型包括掩码预测分支、回归预测分支和分类预测分支，以及多标签分类损失函数，所述使用已标注的多个样本识别图像对目标属性识别模型进行目标识别训练进一步包括：

根据预设置的第一准确率阈值，所述掩码预测分支选用交叉熵损失函数、所述回归预测分支选用smooth L1损失函数，所述分类预测分支选用交叉熵损失函数，并设置第一准确率阈值，以便计算和调整模型参数。在本实施例中设定第一准确率阈值为90％，另一方面，在所述多标签分类，选用交叉熵损失函数，在本实施例中设定第二准确率阈值为90％，所述属性识别模型进行模型参数调整。

本实施例根据行人属性识别的具体需求，在数据集的选取、神经网络架构和损失函数的选取等方面做出针对性的设计，运用所述模型训练方法，能够训练出高效且稳定的模型，从而实现基于分割算法的目标属性识别、或者行人属性识别。需要说明的是，本申请对模型训练的其他细节信息，例如初始参数的选择、GPU硬件的选择等不作具体限定，本领域技术人员应当根据实际应用需求进行选择即可，在此不再赘述。

相应地，本发明还提供一种目标属性识别装置700，如图6所示包括：

目标掩码获取单元701，用于对接收的待识别图像进行目标识别，并输出目标掩码，所述目标掩码为基于分割算法进行像素空间对齐获得的；

目标掩码图像获取单元702，用于根据所述目标掩码对所述待识别图像进行掩码操作并获取目标掩码图像；

目标属性识别单元703，用于对所述目标掩码图像进行目标属性识别，并输出待识别图像的目标的属性，所述属性包括所述目标的多标签属性。

前述实施方式也适用于本实施例提供的目标属性识别装置，在本实施例中不再详细描述。前述实施例和随之带来的有益效果同样适用于本实施例，因此，相同的部分不再赘述。

相应地，本发明还提供一种行人属性识别装置800，如图7所示包括：

行人掩码获取单元801，用于对接收的待识别图像进行行人识别，并输出行人掩码，所述行人掩码为基于分割算法进行像素空间对齐获得的；

行人掩码图像获取单元802，用于根据所述行人掩码对所述待识别图像进行掩码操作并获取行人掩码图像；

行人属性识别单元803，用于对所述行人掩码图像进行行人属性识别，并输出待识别图像的行人的属性，所述属性包括所述行人的多标签属性。

前述实施方式也适用于本实施例提供的行人属性识别装置，在本实施例中不再详细描述。前述实施例和随之带来的有益效果同样适用于本实施例，因此，相同的部分不再赘述。

相应地，本发明还提供一种模型训练装置900，如图8所示包括：

标注单元901，用于获取多个样本识别图像，并对各样本识别图像的目标按照像素空间对齐方式进行标注；

训练单元902，用于使用已标注的多个样本识别图像对目标属性识别模型进行目标识别训练。

前述实施方式也适用于本实施例提供的模型训练装置，在本实施例中不再详细描述。前述实施例和随之带来的有益效果同样适用于本实施例，因此，相同的部分不再赘述。

本发明的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：所述基于分割算法的目标属性识别方法，或者基于分割算法的行人属性识别方法，或者模型训练方法。

在实际应用中，所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

如图9所示，本发明的另一个实施例提供的一种计算机设备的结构示意图。图9显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图9中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理一种基于分割算法的目标属性识别方法，或者一种基于分割算法的行人属性识别方法，或者一种模型训练方法。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (13)

1.一种基于分割算法的目标属性识别方法，其特征在于，包括：

使用预设置的目标属性识别模型对接收的待识别图像进行目标识别，并输出目标掩码，所述目标掩码为基于分割算法进行像素空间对齐获得的；

根据所述目标掩码，使用所述目标属性识别模型对所述待识别图像进行掩码操作并获取目标掩码图像；

根据所述目标掩码图像，使用所述目标属性识别模型进行目标属性识别，并输出待识别图像的目标的属性，所述属性包括所述目标的多标签属性。

2.根据权利要求1所述的目标属性识别方法，其特征在于，所述使用预设置的目标属性识别模型对接收的待识别图像进行目标识别，并输出目标掩码进一步包括：

使用所述目标属性识别模型对所述待识别图像进行特征提取并输出第一特征图；

使用所述目标属性识别模型对所述第一特征图进行区域检测并输出多个区域筛选框；

使用所述目标属性识别模型对所述区域筛选框进行区域特征匹配并输出第二特征图，所述第二特征图为基于分割算法进行像素空间对齐获得的；

使用所述目标属性识别模型对所述第二特征图进行区域检测并输出目标掩码。

3.根据权利要求2所述的目标属性识别方法，其特征在于，所述目标属性识别模型包括特征提取网络、第一特征图金字塔网络和区域生成网络；

所述使用所述目标属性识别模型对所述待识别图像进行特征提取并输出第一特征图进一步包括：

使用所述特征提取网络对所述待识别图像进行特征提取并输出多层特征原图；

使用所述第一特征图金字塔网络，根据至少一层所述特征原图输出所述第一特征图；

所述使用所述目标属性识别模型对所述第一特征图进行区域检测并输出多个区域筛选框进一步包括：根据预设置的锚框，使用所述区域生成网络对所述第一特征图进行区域检测并输出多个区域筛选框。

4.根据权利要求2所述的目标属性识别方法，其特征在于，所述目标属性识别模型包括掩码预测分支、回归预测分支和分类预测分支；

使用所述目标属性识别模型对所述第二特征图进行区域检测并输出目标掩码进一步包括：

使用所述掩码预测分支对所述第二特征图进行区域预测并输出目标掩码；

使用所述回归预测分支对所述第二特征图进行区域预测并输出目标框；

使用所述分类预测分支对所述第二特征图进行分类预测并输出目标分类。

5.根据权利要求4所述的目标属性识别方法，其特征在于，

所述根据所述目标掩码，使用所述目标属性识别模型对所述待识别图像进行掩码操作并获取目标掩码图像进一步包括：将所述目标掩码与所述待识别图像进行乘法操作并获取目标掩码图像；

所述根据所述目标掩码图像，使用所述目标属性识别模型进行目标属性识别，并输出待识别图像的目标的属性进一步包括：根据所述目标分类使用所述目标属性识别模型中对应的属性识别模型对所述目标掩码图像进行目标属性识别，并输出待识别图像的目标的属性，所述属性识别模型为多任务多标签分类模型。

6.根据权利要求4所述的目标属性识别方法，其特征在于，

所述根据所述目标掩码，使用所述目标属性识别模型对所述待识别图像进行掩码操作并获取目标掩码图像进一步包括：将所述输出目标框与所述待识别图像进行乘法操作以获取目标框掩码图像，将所述目标掩码与目标框掩码图像进行乘法操作并获取目标掩码图像；

所述根据所述目标掩码图像，使用所述目标属性识别模型进行目标属性识别，并输出待识别图像的目标的属性进一步包括：根据所述目标分类使用所述目标属性识别模型中对应的属性识别模型对所述目标掩码图像进行目标属性识别，并输出待识别图像的目标的属性，所述属性识别模型为多任务多标签分类模型。

7.根据权利要求3所述的目标属性识别方法，其特征在于，所述特征提取网络为vgg网络、googlenet网络、resnet网络、以及resnext网络中的一个。

8.一种基于分割算法的行人属性识别方法，其特征在于，

使用预设置的行人属性识别模型对接收的待识别图像进行行人识别，并输出行人掩码，所述行人掩码为基于分割算法进行像素空间对齐获得的；

根据所述行人掩码，使用所述行人属性识别模型对所述待识别图像进行掩码操作并获取行人掩码图像；

根据所述行人掩码图像，使用所述行人属性识别模型进行行人属性识别，并输出待识别图像的行人的属性，所述属性包括所述行人的多标签属性。

9.根据所述权利要求8所述的行人属性识别方法，其特征在于，所述多标签属性包括性别属性、头饰属性、发型属性、服饰属性、服饰颜色属性、配饰属性、遮挡属性、截断属性和朝向属性中的至少三个。

10.一种模型训练方法，其特征在于，包括：

获取多个样本识别图像，并对各样本识别图像的目标按照像素空间对齐方式进行标注；

使用已标注的多个样本识别图像对目标属性识别模型进行目标识别训练。

11.根据权利要求10所述的模型训练方法，其特征在于，所述目标属性识别模型包括掩码预测分支、回归预测分支和分类预测分支，以及多标签分类损失函数，

所述使用已标注的多个样本识别图像对目标属性识别模型进行目标识别训练进一步包括：

根据预设置的第一准确率阈值，所述掩码预测分支、回归预测分支和分类预测分支分别通过预设置的损失函数进行计算并调整模型参数；

根据预设置的第二准确率阈值，通过所述多标签分类损失函数对所述目标属性识别模型进行模型参数调整。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，

该程序被处理器执行时实现如权利要求1-7中任一项所述的方法；或者

该程序被处理器执行时实现如权利要求8-9中任一项所述的方法；或者

该程序被处理器执行时实现如权利要求10所述的方法。

13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，

所述处理器执行所述程序时实现如权利要求1-7中任一项所述的方法；或者

所述处理器执行所述程序时实现如权利要求8-9中任一项所述的方法；或者

所述处理器执行所述程序时实现如权利要求10所述的方法。

Images