CN112613430B - 一种基于深度迁移学习的步态识别方法 - Google Patents

Abstract

本发明公开了一种基于深度迁移学习的步态识别方法。本发明步骤如下：1：对步态视频做帧序列图片提取，对背景减除后的步态序列图做形态学处理后把无用背景剔除掉，只保留人体步态轮廓图；将人体进行上下和左右切割，对人体侧影轮廓图的左半身、右半身、上半身、下半身、全身进行归一化处理；2：将同一视角下的五种人体侧影轮廓图输入到深度迁移学习网络中，调整迁移网络参数，训练得到五个深度迁移模型，并将输出层的概率矩阵进行模型集成；3：将n个视角下的人体步态侧影轮廓图均进行模型集成，得到最终集成模型，根据得到的最终概率得出测试者身份类别。本发明拥有良好的识别性能；能达到良好的分类效果；具有良好的模型可移植性。

Description

一种基于深度迁移学习的步态识别方法

技术领域

本发明属于模式识别领域，具体涉及一种基于深度迁移学习的步态识别方法。

背景技术

生物特征识别技术是鉴定个体身份的一种方法。它通过高科技信息检测技术、利用人体所固有的生理或行为特征进行个体的身份鉴别，包括人脸识别、指纹识别、虹膜识别和步态识别等多种识别技术。由于每个人的生物特征具有唯一性与普遍性，不易伪造和假冒，因此利用生物特征识别技术进行身份认证具有安全、可靠、正确等优点。目前广泛使用的指纹识别、虹膜识别及人脸识别等生物特征识别技术，大多需要被检测对象的配合，有时需要被检测对象完成特定的动作才能进行识别，这样难免会造成某些身份认证的被动性。步态识别旨在根据人们走路的姿势识别其身份。它是在远距离情况下唯一可感知的生物行为特征，有非接触性、隐蔽性好、对视频质量要求不高以及难以伪装等特点，因此被广泛应用在视频监控等领域。

在步态识别的研究当中，物体遮挡、衣着、携带物和视角等协变量因素都影响着识别结果的准确性，而其中视角作为一个重要的影响因素在其中起着作用。此外，深度学习模型由于其强大的数据表示和特征学习能力而被广泛的应用于生物医学信号处理领域。基于此，本发明提出一种基于深度迁移学习的视角信息集成步态识别方法，旨在构建精准的步态识别分类系统。

发明内容

本发明的目的是克服现有技术存在的问题，结合步态识别领域和深度迁移学习领域，利用基于预训练的深度网络模型的迁移学习方法，提出了一种深度迁移学习的步态识别方法。采用迁移学习方法，其优势主要包括，1)迁移学习能够保留深度学习对信号的强大表示能力，能对数据进行更深层次的挖掘，从而拥有良好的识别性能；2)迁移学习方法利用预训练好的深度模型，直接提取信号特征进行训练识别，能达到良好的分类效果；3)迁移学习具有良好的模型可移植性。

本发明首先从视频中将步态序列一帧一帧提取出来，去除掉不含完整人形的无用帧，对有用帧的步态序列进行背景减除，背景减除后的步态序列图做形态学处理，消除步态序列图所存在的孔洞、噪声等干扰，之后在步态序列图将人体目标轮廓图裁剪出来，然后进行人体上下剪切分割和左右剪切分割得到人体侧影轮廓图，最终进行归一化处理，将人体侧影轮廓图的左半身、右半身、上半身、下半身、全身都调整为适应网络输入尺寸的图片，分别作为预训练的深度网络模型的输入；将上述的五种人体侧影轮廓图分别输入到深度迁移学习网络中进行权值调整训练，并将训练好的五个深度模型的softmax输出层得到的概率矩阵进行模型集成；当有n个视角的步态行走视频时，将每个视角下的集成模型进一步集成；当实际应用时，输入任意测试摄像头下(任意视角)的步态序列侧影轮廓图，均可通过步态识别模型判别出测试者身份。

本发明的具体技术方案通过如下步骤实现：

步骤1：对所采集的步态视频做帧序列图片提取，将有用帧步态序列进行背景减除，对背景减除后的步态序列图做形态学处理，去除孔洞、噪声等影响，接着把无用背景剔除掉，只保留人体步态轮廓图；将人体步态轮廓图中的人体进行上下切割和左右切割，对人体侧影轮廓图的左半身、右半身、上半身、下半身、全身都进行归一化处理，使其符合深度迁移学习网络的大小224*224*3；

步骤2：将同一视角下归一化处理后的五种人体侧影轮廓图输入到深度迁移学习网络densenet201中，调整迁移网络参数，训练得到五个深度迁移模型，并将输出层softmax层的概率矩阵进行模型集成；

步骤3：将n个视角下的人体步态侧影轮廓图均进行步骤2的模型集成，形成最终的集成模型，根据得到的最终概率得出测试者身份类别。

所述步骤1的具体流程如下：

1-1将采集到的步态视频做一帧一帧的图片序列提取，并将彩色图片做灰度化处理，得到灰度步态图像H_n(x,y)，便于进一步识别；把不具备完整人体轮廓图的灰度步态图像删掉，保留具备完整人体轮廓图的灰度步态图像；

1-2将RGB背景图像转换成灰度背景图像T_n(x,y)，并将多帧进行平均处理，得到均值背景图像Q(x,y)；

所述的RGB背景图像是指同环境下没有人体的背景图；N表示RGB背景图像数量。

1-3进行背景减除操作，采用下式(2)灰度步态图像H_n(x,y)去除均值背景图像Q(x,y)，提取出前景运动图像P_n(x,y)，该前景运动图像P_n(x,y)保留有完整的人体轮廓图像；

P_n(x,y)＝|H_n(x,y)-Q(x,y)| (2)

1-4在只提取人体轮廓图像时，有部分前景运动图像P_n(x,y)上有瑕疵，里面包含噪声，进而不能很好的提取人体轮廓图像，此时对前景运动图像P_n(x,y)进行开操作(形态学处理)去噪；

1-5由于每一帧图像在人体步态周围有许多无用背景。去除去噪后前景运动图像P_n(x,y)的无用背景，只保留人体侧影轮廓图；

1-6将人体侧影轮廓图上下切分、左右切分，这样模型的输入便有上半身、下半身、左半身、右半身、全身五种；将上半身、下半身、左半身、右半身、全身五种人体侧影轮廓图进行归一化处理，使其大小满足深度迁移学习网络densenet201的输入要求224*224*3；

所述步骤2的具体流程如下：

2-1将同一视角下归一化处理后的五种人体侧影轮廓图输入到预训练好的深度迁移网络模型densenet201中，调整迁移网络参数，模型初始学习率为1*10^-3，minibatchSize为40，训练Epoch为60、采用SGDM优化算法；

2-2训练好的五个深度迁移网络模型，每一个都有相应的softmax输出层概率矩阵，记为a₁、b₁、c₁、d₁、e₁，其中W₁₁、W₁₂、W₁₃、W₁₄、W₁₅是权值，在同一视角下对五个深度迁移网络模型进行集成；

S₁＝W₁₁a₁+W₁₂b₁+W₁₃c₁+W₁₄d₁+W₁₅e₁ (3)

所述步骤3的具体流程如下：

3-1当有n个视角的步态数据时，每个视角都的模型都会集成为一个单视角系统：

3-2对每个视角下的集成模型进行相应的视角集成，得到最终的识别模型：

S＝(R₁S₁+R₂S₂+…+R_nS_n)/n (5)

其中R₁、R₂…R_n是权重值。

本发明与现有技术相比，具有如下优点和有益效果：

1、人体步态行走过程中手臂摆动幅度和腿部摆动幅度对于个体差异性相较明显，与此同时，人体左半部分身体和右半部分身体也具有明显的差异性，因此，本发明以人体侧影轮廓图的上半身、下半身、左半身、右半身、全身五部分来表征人体身份更能为区分行人提供有利帮助；

2、真实环境下的步态识别面临着复杂的步态条件改变所带来的影响，综合运用当前研究热点之一的深度迁移学习与多模型集成技术能为复杂条件下的步态识别提供解决良策，迁移学习能够保留深度学习对信号的强大表示能力，能对数据进行更深层次的挖掘，从而拥有良好的识别性能，对人体侧影轮廓图的上半身、下半身、左半身、右半身、全身五部分分别训练模型，将最终的训练模型进行模型的集成，这样更能将人体的信息更全面的挖掘，更充分的表征人体身份，从而提升识别的鲁棒性；

3、实际场景中的视频监控系统都是由多个彼此关联的观测摄像头组成，仅用已有文献方法中单一观测视角下的步态特征显然难以描述步态运动的全面特性，因而容易受到步态条件改变带来的影响。本发明首先将单个视角分别进行模型建立，然后将这些关联多观测摄像头(多观测视角)下的步态信息实现步态动态信息的关联信息进行整合，将集成模型进行方向的集成，构建一个鲁棒性强、抗干扰能力强的步态识别系统。

附图说明

图1：单视角模型集成结构图。

图2：双集成系统结构图。

图3：视频中提取的灰度图。

图4：背景减除后的步态图。

图5：人体轮廓图。

图6：上下切割和左右切割后的步态图。

图7：归一化后的步态轮廓图。

图8：分类识别结果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1到8所示，本发明第一个主要步骤为步态数据预处理，其具体实现步骤如下：

将采集到的步态视频做一帧一帧的图片序列提取，并将彩色图片做灰度化处理，得到灰度步态图像H_n(x,y)，便于进一步识别；把图片中不具备完整人体轮廓图(视为无用帧)的帧删掉，将具备完整人体轮廓图(视为有用帧)的帧保留；将RGB背景图像转换成灰度背景图像T_n(x,y)，并将多帧进行平均处理，得到均值背景图像Q(x,y)；

进行背景减除操作，采用公式(2)去除背景图像Q(x,y)提取出前景运动图像P_n(x,y)，保留完整的人体轮廓图像；

P_n(x,y)＝|H_n(x,y)-Q(x,y)| (2)

在只提取人体轮廓图时，有部分人体步态图上有瑕疵，里面包含噪声，进而不能很好的提取人体轮廓图，此时进行开操作(形态学处理)去噪；每一帧上在人体步态周围有许多无用背景，去除无用背景，只保留人体侧影轮廓图；将人体侧影轮廓图上下切分、左右切分，这样模型的输入便有上半身、下半身、左半身、右半身、全身五种；将上半身、下半身、左半身、右半身、全身五种人体侧影轮廓图进行归一化处理，使其大小满足深度迁移学习网络densenet201的输入要求224*224*3；

本发明第二个主要步骤为单视角模型的训练与模型集成，其具体实现步骤如下：

将同一视角下归一化处理后的五种人体侧影轮廓图输入到预训练好的深度迁移学习网络densenet201中，调整迁移网络参数，模型初始学习率为1*10^-3，minibatchSize为40，训练Epoch为60、采用SGDM优化算法；以上实验采用的深度学习模型为densenet201网络，该网络结构在进入第一个denseblock之前，一个卷继层和池化层先被执行了，之后经历四个denseblock密集连接，每两个密集连接之间均是有一个卷积层和池化层进行连接的，在最后一个denseblock的最后，连接一个全局池化以及一个softmax分类器。训练好的五个迁移网络模型，每一个都有相应的softmax输出层概率矩阵，记为a₁、b₁、c₁、d₁、e₁，其中W₁₁、W₁₂、W₁₃、W₁₄、W₁₅是权值，在同一视角下进行模型的集成；

S₁＝W₁₁a₁+W₁₂b₁+W₁₃c₁+W₁₄d₁+W₁₅e₁ (3)

本发明第三个主要步骤为多视角信息集成，其具体实现步骤如下：

当有n个视角的步态数据，每个视角都会模型集成为一个单视角系统；

对每个方向下的集成模型进行相应的方向集成，得到最终的步态识别系统，其中R₁、R₂…R_n是权重值；

S＝(R₁S₁+R₂S₂+…+R_nS_n)/n (5)

如图8(分类识别结果图)所示，是本发明中进行识别实验的识别率(CCR)结果图，采用中科院步态识别数据库CASIA-B进行实验验证，建立的训练模式库中包含124个人在11个视角的行走模式，其中走路状态包括正常行走、背包、穿大衣三种，在正常行走状态下，对于每个视角的上半身、下半身、左半身、右半身、全身均建立模型，并在softmax输出层的概率矩阵做模型的集成，由于此数据库有11个视角，所以对11个集成模型进行方向的最终集成，而在测试集中对正常行走、背包、穿大衣三种穿衣状态中所有124个人的11个视角逐一进行识别实验。实验数据说明了本发明的优越性，从图八可以看出本发明方法无论测试视角是多少识别率都相对较高，模型集成提高了步态识别的鲁棒性，使得每个测试视角的步态识别率均很高。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种基于深度迁移学习的步态识别方法，其特征在于包括如下步骤：

步骤1：对所采集的步态视频做帧序列图片提取，将有用帧步态序列进行背景减除；对背景减除后的步态序列图做形态学处理，去除孔洞、噪声的影响；接着把无用背景剔除掉，只保留人体步态轮廓图；将人体步态轮廓图中的人体进行上下切割和左右切割，对人体侧影轮廓图的左半身、右半身、上半身、下半身、全身都进行归一化处理，使其符合深度迁移学习网络的大小224*224*3；

步骤2：将同一视角下归一化处理后的五种人体侧影轮廓图输入到深度迁移学习网络densenet201中，调整迁移网络参数，训练得到五个深度迁移模型，并将输出层softmax层的概率矩阵进行模型集成；

步骤3：将n个视角下的人体步态侧影轮廓图均进行步骤2的模型集成，形成最终的集成模型，根据得到的最终概率得出测试者身份类别；

步骤1的具体流程如下：

1-1将采集到的步态视频做一帧一帧的图片序列提取，并将彩色图片做灰度化处理，得到灰度步态图像H_n(x,y)，便于进一步识别；把不具备完整人体轮廓图的灰度步态图像删掉，保留具备完整人体轮廓图的灰度步态图像；

1-2将RGB背景图像转换成灰度背景图像T_n(x,y)，并将多帧进行平均处理，得到均值背景图像Q(x,y)；

所述的RGB背景图像是指同环境下不含人体的背景图；N表示RGB背景图像数量；

1-3进行背景减除操作，采用下式(2)灰度步态图像H_n(x,y)去除均值背景图像Q(x,y)，提取出前景运动图像P_n(x,y)，该前景运动图像P_n(x,y)保留有完整的人体轮廓图像；

P_n(x,y)＝|H_n(x,y)-Q(x,y)|(2)

1-4在只提取人体轮廓图像时，有部分前景运动图像P_n(x,y)上有瑕疵，里面包含噪声，进而不能很好的提取人体轮廓图像，此时对前景运动图像P_n(x,y)进行开操作去噪；

1-5去除去噪后前景运动图像P_n(x,y)的无用背景，只保留人体侧影轮廓图；

1-6将人体侧影轮廓图上下切分、左右切分，这样模型的输入便有上半身、下半身、左半身、右半身、全身五种；将上半身、下半身、左半身、右半身、全身五种人体侧影轮廓图进行归一化处理，使其大小满足深度迁移学习网络densenet201的输入要求224*224*3；

所述步骤3的具体流程如下：

3-1当有n个视角的步态数据时，每个视角的模型都会集成为一个单视角系统：

3-2对每个视角下的集成模型进行相应的视角集成，得到最终的识别模型：

S＝(R₁S₁+R₂S₂+…+R_nS_n)/n(5)

其中R₁、R₂…R_n是权重值。

2.根据权利要求1所述的一种基于深度迁移学习的步态识别方法，其特征在于所述步骤2的具体流程如下：

2-1将同一视角下归一化处理后的五种人体侧影轮廓图输入到预训练好的深度迁移网络模型densenet201中，调整迁移网络参数，模型初始学习率为1*10^-3，minibatch Size为40，训练Epoch为60、采用SGDM优化算法；

2-2训练好的五个深度迁移网络模型，每一个都有相应的softmax输出层概率矩阵，记为a₁、b₁、c₁、d₁、e₁，其中W₁₁、W₁₂、W₁₃、W₁₄、W₁₅是权值，在同一视角下对五个深度迁移网络模型进行集成；

S₁＝W₁₁a₁+W₁₂b₁+W₁₃c₁+W₁₄d₁+W₁₅e₁ (3)。