CN109446991A - 基于全局和局部特征融合的步态识别方法 - Google Patents

Abstract

本发明提供了一种基于全局和局部特征融合的步态识别方法。该方法包括：通过三维卷积神经网络从标准化轮廓图中训练出全局步态特征；通过三维卷积神经网络从局部轮廓图中训练出局部步态特征；通过串行组合的方式对所述全局步态特征和局部步态特征进行串行融合，获得组合步态特征，利用所述组合步态特征进行步态识别。本发明利用全局和局部的特征融合派生出最佳特征子集，进行步态特征提取模型的建立，统一解决现有的步态识别方法中存在的特征集不够有价值的问题，从而可以获得较好的步态识别结果。

Description

基于全局和局部特征融合的步态识别方法

技术领域

本发明涉及步态识别技术领域，尤其涉及一种基于全局和局部特征融合的步态识别方法。

背景技术

步态识别可以用于预防犯罪、交通监测等诸多领域，并且步态识别可以在远距离和不受控制的场景下更好地捕捉到生物的特征，以便帮助完成识别工作，步态识别具有广泛的应用前景。

一个典型的步态识别系统主要包括两个部分，即步态特征建模和基于步态特征的识别分类。在进行步态特征建模时，首先，需要收集大量的步态数据，以步态数据为基础构建步态数据库，通过步态数据库可以训练出一个步态特征提取模型。上述步态特征提取模型可以从输入的人体的步态中提取出易于识别分类的特征；然后，基于步态特征提取模型的提取结果，利用相应的识别分类模型，就可以得到步态的识别分类的结果。

步态特征提取模型是步态识别的核心，直接关系到步态识别分类的效果。目前，根据是否使用时态上的信息，步态特征提取模型可以分为二维卷积模型和三维卷积模型。二维卷积模型的输入仅为2D的图片，通过对2D图片进行卷积建立步态特征提取模型。但是二维卷积忽略了时态上的信息，而使用三维卷积可以利用时态的信息，可以更好地建立步态特征提取模型。

步态特征提取的好坏将直接影响步态认证中的结果，但是步态特征是嘈杂的、重叠的或混乱的都会抑制任何分类器的性能。因此，选择一组适当的步态特征是至关重要的。目前，现有技术中的步态特征提取模型均采用的是全局步态来进行特征提取工作，而根据实际情况全局步态会有一些不必要的、无价值的特征集，这些不必要的、无价值的特征集会使分类器混淆，降低分类器的性能。

发明内容

本发明的实施例提供了一种基于全局和局部特征融合的步态识别方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于全局和局部特征融合的步态识别方法，包括：

通过三维卷积神经网络从待识别的步态视频的标准化轮廓图中训练出全局步态特征；

通过三维卷积神经网络从局部轮廓图中训练出局部步态特征；

通过串行组合的方式对所述全局步态特征和局部步态特征进行串行融合，获得组合步态特征，利用所述组合步态特征对所述待识别的步态视频进行步态识别。

进一步地，所述的通过三维卷积神经网络从待识别的步态视频的标准化轮廓图中训练出全局步态特征，包括：

将由待识别的步态视频的每一帧减去背景图片得到的二值化图片作为原始轮廓图，对所述原始轮廓图进行标准化处理，得到标准化轮廓图；

将图像样本归一化至112*122大小，序列输入长度为16，通过迭代优化策略，利用图像样本及图像样本标签预训练三维卷积网络，得到用于全局步态特征提取的三维卷积神经网络模型，将所述标准化轮廓图输入到所述用于全局步态特征提取的三维卷积神经网络模型中，通过三维卷积神经网络模型训练出全局步态特征。

进一步地，所述的通过三维卷积神经网络从局部轮廓图中训练出局部步态特征，包括：

计算所述标准化轮廓图中运动目标的中心,将所述运动目标的中心以下的部分作为人体的局部轮廓图；

将图像样本归一化至56*122大小，序列输入长度为16，通过迭代优化策略，利用图像样本及图像样本标签预训练三维卷积网络，得到用于局部步态特征提取的三维卷积神经网络模型，将所述标准化轮廓图输入到所述用于局部步态特征提取的三维卷积神经网络模型中，通过三维卷积神经网络模型训练出局部步态特征。

进一步地，所述的通过串行组合的方式对所述全局步态特征和局部步态特征进行串行融合，获得组合步态特征，包括：

设定全局步态特征V1的权重为ε，局部步态特征V2的权重为1-ε；

通过串行组合的方式，对所述全局步态特征V1和局部步态特征V2进行串行融合，获得组合步态特征V：

进一步地，所述的利用所述组合步态特征对所述待识别的步态视频进行步态识别，包括：

采用主成分分析PCA方法对融合后的组合特征进行降维处理，从降维后的组合特征中提取出待识别的步态视频的鲁棒性特征，将提取出来的鲁棒性特征依次与训练集中已经给定具体步态类别的特征进行距离测算，选出待分类特征与训练集特征中距离最小的特征对应的步态类别，将该步态特征作为所述待识别的步态视频的步态类别。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例利用全局和局部的特征融合派生出最佳特征子集，进行步态特征提取模型的建立，统一解决现有的步态识别方法中存在的特征集不够有价值的问题，从而可以获得较好的步态识别结果。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于全局和局部特征融合的步态识别方法的处理流程图；

图2为本发明实施例提供的一种原始轮廓图的提取过程示意图；

图3为本发明实施例提供的一种从原始轮廓图提取出标准化轮廓图的示意图；

图4为本发明实施例提供的一种局部轮廓图的提取过程示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明实施例针对现有步态识别方法，提供了一种基于全局和局部特征融合的步态识别方法，该方法利用全局和局部的特征融合派生出最佳特征子集，再基于最佳特征子集建立步态特征提取模型，统一解决了现有的步态识别方法中存在的特征集不够有价值的问题。

本发明实施例提供的一种基于全局和局部特征融合的步态识别方法的处理流程如图1所示，包括以下处理步骤：

步骤S11、通过三维卷积神经网络从标准化轮廓图中训练出全局步态特征。

图2为本发明实施例提供的一种原始轮廓图的提取过程示意图；由待识别步态视频的每一帧减去背景图片得到二值化图片，将上述二值化图片作为原始轮廓图。

图3为本发明实施例提供的一种从原始轮廓图提取出标准化轮廓图的示意图，如图3所示，对原始轮廓图进行标准化处理，得到标准化轮廓图。

三维卷积神经网络的输入大小被设置为N*N*L，其中N表示输入图像的高度和宽度和，L表示输入图像帧的个数。在本发明实施例中将图像样本归一化至112*122大小，序列输入长度为16。

通过迭代优化策略，利用图像样本及图像样本标签预训练三维卷积网络，使得训练后的三维卷积网络能从标准化轮廓图中提取出较好的特征。然后，将上述标准化轮廓图输入到用于全局步态特征提取的三维卷积神经网络模型中，通过三维卷积神经网络模型训练出全局步态特征。

步骤S12、从标准化轮廓图中裁剪出局部轮廓图，通过三维卷积神经网络从局部轮廓图中训练出局部步态特征。

从标准化轮廓图中裁剪出局部轮廓图。步态识别中步态的变化绝大部分信息来自肢体的下半部分，从引起步态变化的根源出发确定研究对象的局部区域，因此，本发明实施例的局部轮廓图的主要研究对象为髋关节以下的部分。

对于怎样确定人体的髋关节还没有很好的方法，因此本发明以中心为标准提取人体局部轮廓图。本发明实施例提供的一种局部轮廓图的提取过程示意图如图4所示。为了提取局部轮廓图，首先计算每个标准化轮廓图中运动目标的中心(Gx,Gy),将中心(Gx,Gy)以下的部分作为人体的局部轮廓图。

将基于三维卷积的步态识别方法中提取的标准化轮廓图的特征作为本发明实施例的全局特征。在提取局部轮廓的步态特征时，同样采用与提取全局特征相同的三维卷积神经网络。

将图像样本归一化至56*122大小，序列输入长度为16。通过迭代优化策略，使用相同的三维卷积神经网络，利用图像样本及图像样本标签预训练，通过16帧的局部轮廓序列精细调整三维卷积神经网络，可以获最终的用于局部步态特征提取的三维卷积神经网络模型。

然后，将上述局部轮廓图输入到用于局部步态特征提取的三维卷积神经网络模型中，通过三维卷积神经网络模型训练出局部步态特征。

设V_t表示一个视频的第t段视频片段的局部步态特征，视频的局部特征计算见式(1):

其中M表示视频包含的视频片段数，V_t表示视频局部步态特征。

步骤S13、通过串行组合的方式，对上述全局步态特征和局部步态特征进行串行融合，获得组合步态特征。

通过串行组合的方式，并利用测试出的最优权重，对上述全局步态特征和局部步态特征进行串行融合，获得组合步态特征，该组合步态特征为最佳特征子集。

一旦从原始数据集中获得最佳特征子集，就可以使用派生数据集或基于两个或多个选择的特征为分类任务派生出一个新的特征。基于这一概念，有两种现有的特征组合技术：串行组合和并行组合。串行特征融合是一种基于串行特征组合方法的特征提取过程，产生的特征称为串行融合特征。并行特征融合是一种基于并行特征组合方法的特征提取过程，产生的特征称为并行融合特征。假设A和B是图像样本空间ω上定义的两个特征空间。对于图像样本空间任意一个图像样本σ∈ω，对应的特征向量α∈A和β∈B。串行组合特征是：

γ＝(α，β)^T (2)

而并行组合特征式：

γ＝α+kβ (3)

如果,σ和ω的特征维度分别为m，n，则串行组合后的特征维度为m+n，而并行组合后的特征维度为max{m,n}。

在本发明实施例中采用串行组合特征的融合方式将全局轮廓特征V1和局部轮廓特征V2进行融合。在串行组合中，特征权重的设置至关重要。并非所选特征的所有信息都有用或具有相同的重要性。因此，权重可以用来增加一个好的特征的影响，并减少相对较差的特征的影响。在组合中对特征融合选择合适的权值是非常重要的。

本发明实施例中通过手动调节特征权重，串行融合的组合特征见式(4),其中ε和1-ε为全局特征V1和局部特征V2的权重，V为融合后的组合特征。

步骤S14、采用PCA(principal component analysis，主成分分析)方法对融合后的组合特征进行降维处理，利用降维后的组合特征进行步态识别。

融合后的组合特征的维数较高，为了使特征匹配运算过于复杂增加了计算时间，因此需要进行特征降维。特征降维就是通过某种数学计算将高维特征映射到低维特征表示。本发明实施例采用PCA方法对融合后的组合特征进行降维处理。

PCA是一种用于特征维数降低的高效统计分析方法，用于从多元事物中提取主要影响因素，将高维数据映射到低维空间，用较少的数据维度保存较多的数据特征。PCA方法是一种用于最佳线性变换的经典方法，该方法将数据集转换成一个新的坐标系，通过保持保留数据的最大差异的前几个主分量来执行降维。PCA通过选择主成分可以最大限度地保留初始特征信息，以简化初始特征集合，消除初始特征间的冗余信息。

然后，利用降维后的组合特征进行步态识别。

步态识别的具体处理过程为：输入待识别的步态视频，通过背景剪出法获取二值化图片，即原始轮廓图。进一步提取出标准轮廓图和局部轮廓图。将标准轮廓图和局部轮廓图，输入已经训练好的全局和局部的三维卷积神经网络，提取出该步态视频的全局和局部特征。通过串行组合出最佳特征子集，进一步使用PCA降维技术消除冗余。由此我们可以获得该步态视频的鲁棒性特征。将提取出来的鲁棒性特征，依次与训练集中已经给定具体步态类别的特征进行距离测算，选出待分类特征与训练集特征中距离最小的特征对应的步态类别，将该步态特征作为上述待识别的步态视频的步态类别。

综上所述，本发明实施例利用全局和局部的特征融合派生出最佳特征子集，进行步态特征提取模型的建立，统一解决现有的步态识别方法中存在的特征集不够有价值的问题，从而可以获得较好的步态识别结果。

本发明模仿了人辨别行为的方式。人在辨别行为时，可能更加关注局部的区域。而步态识别中，关注人体下肢部位的特征符合人的思维模式。局部全局融合的方式可以增强人体下肢的特征，提高识别精确度。

其次，全局和局部特征融合的思想属于一种特征增强机制，适用于大部分先进的神经网络。

最后，本发明作为特征增强机制，不仅可以适用于步态分类(输入一个步态序列，分别出具体是那个人)，也可适用于步态认证(输入一对步态序列，判别是否是同一个人)。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于全局和局部特征融合的步态识别方法，其特征在于，包括：

通过三维卷积神经网络从待识别的步态视频的标准化轮廓图中训练出全局步态特征；

通过三维卷积神经网络从局部轮廓图中训练出局部步态特征；

通过串行组合的方式对所述全局步态特征和局部步态特征进行串行融合，获得组合步态特征，利用所述组合步态特征对所述待识别的步态视频进行步态识别。

2.根据权利要求1所述的方法，其特征在于，所述的通过三维卷积神经网络从待识别的步态视频的标准化轮廓图中训练出全局步态特征，包括：

将由待识别的步态视频的每一帧减去背景图片得到的二值化图片作为原始轮廓图，对所述原始轮廓图进行标准化处理，得到标准化轮廓图；

将图像样本归一化至112*122大小，序列输入长度为16，通过迭代优化策略，利用图像样本及图像样本标签预训练三维卷积网络，得到用于全局步态特征提取的三维卷积神经网络模型，将所述标准化轮廓图输入到所述用于全局步态特征提取的三维卷积神经网络模型中，通过三维卷积神经网络模型训练出全局步态特征。

3.根据权利要求2所述的方法，其特征在于，所述的通过三维卷积神经网络从局部轮廓图中训练出局部步态特征，包括：

计算所述标准化轮廓图中运动目标的中心,将所述运动目标的中心以下的部分作为人体的局部轮廓图；

将图像样本归一化至56*122大小，序列输入长度为16，通过迭代优化策略，利用图像样本及图像样本标签预训练三维卷积网络，得到用于局部步态特征提取的三维卷积神经网络模型，将所述标准化轮廓图输入到所述用于局部步态特征提取的三维卷积神经网络模型中，通过三维卷积神经网络模型训练出局部步态特征。

4.根据权利要求1、2或3所述的方法，其特征在于，所述的通过串行组合的方式对所述全局步态特征和局部步态特征进行串行融合，获得组合步态特征，包括：

设定全局步态特征V1的权重为ε，局部步态特征V2的权重为1-ε；

通过串行组合的方式，对所述全局步态特征V1和局部步态特征V2进行串行融合，获得组合步态特征V：

5.根据权利要求4所述的方法，其特征在于，所述的利用所述组合步态特征对所述待识别的步态视频进行步态识别，包括：

采用主成分分析PCA方法对融合后的组合特征进行降维处理，从降维后的组合特征中提取出待识别的步态视频的鲁棒性特征，将提取出来的鲁棒性特征依次与训练集中已经给定具体步态类别的特征进行距离测算，选出待分类特征与训练集特征中距离最小的特征对应的步态类别，将该步态特征作为所述待识别的步态视频的步态类别。