CN110096941A - 一种基于siamese网络的步态识别系统 - Google Patents

Abstract

本发明属于计算机视觉和机器学习领域，公开了一种基于siamese网络的步态识别系统，基于该网络的步态识别系统设置有：接收标记好的图片对的siamese网络组件；与siamese网络组件相连接的，用于对同一类别对或不同类别对进行差异比较的损失层组件；siamese网络包括卷积神经网络组件、对比损失层、判决层并依次连接。本发明对实际应用中存在新出现的待识别目标的应用场景，该算法不需要重新训练模型，只需要对该目标进行标记，便可有效地判定该类别的身份，尤其是对于样本集较小的待识别目标，该系统具有较好的适应性。

Description

一种基于siamese网络的步态识别系统

技术领域

本发明属于计算机视觉和机器学习领域，尤其涉及一种基于siamese网络的步态识别系统。

背景技术

目前，现有的步态识别技术中，一般要求已知样本集包含的类别数，并且对于每一类别要求有足够多的训练样本。实际应用情况中往往没有待识别目标的大量样本，并且针对一个新出现的待识别目标，步态数据库中往往是不含有该目标的训练集，因此现有的步态识别算法很难(几乎不可能)对该类目标进行有效识别。现有的步态识别方法几乎都没有克服这些限制因素，这极大的限制了步态识别技术的发展。另一方面现有的对于步态识别算法性能评估的研究主要是针对该某一特定算法研究其识别率的大小，这种评估往往只是考虑了算法的准确性，使得算法的性能比较局限。

综上所述，现有技术存在的问题是：现有步态识别技术中要求已知样本集所包含的类别数量及每种类别都有一定数量的训练样本，无法满足实际应用中各类别的样本数量较少或对于一个新出现的目标由于训练集不含有该类别的样本时系统也可以进行有效识别的应用场景。对于算法性能的评估仅从准确性的角度出发，使得设计的算法的性能比较局限。

发明内容

针对现有技术存在的问题，本发明提供了一种基于siamese网络的步态识别系统。

将带有标签的图片对输入到siamese网络组件，利用siamese网络的双分支结构分别提取两张图片的特征，最后在对比损失层对两张图片特征进行比较，通过设计对比损失函数使得对于同一类别的样本对其函数值应尽可能的小，对于不同类别对函数值尽可能大，这样根据对比损失函数值的大小便很容易判别输入样本对是否属于同一类别。

本发明是这样实现的，一种基于siamese网络的步态识别系统，设置有：接收标记好的图片对及对应的标签数据的siamese网络组件；

与siamese网络组件相连接，用于对同一类别对或不同类别对进行差异比较的对比损失层组件。

进一步，所述siamese网络组件包括卷积神经网络组件、对比损失层、判决层并依次连接；所述判决层用判别函数与损失层组件相连接。

经过siamese网络组件对输入的图片对进行相关处理，对两张图片分别提取步态特征；

网络中各层卷积组件经过特征提取后在对比损失层设计损失函数使得模型对于同一类别的图片对其损失尽可能的小，对于不同类别的图片对其损失尽可能的大的对比损失层组件。

本发明的优点及积极效果为：基于siamese网络的步态识别系统相比于传统的步态识别，该系统更接近于实际应用，对实际应用中存在新出现的待识别目标的应用场景，不需要重新训练模型，只需要对该目标进行标记，便可有效的判定该类别的身份，尤其是对于样本集较小的待识别目标，该系统具有较好的适应性。由于该系统是直接学习一种相似性度量矩阵，因此不需要参考集中每个类别都包含大量的训练样本从而得到一个可靠的模型，有效避免了由于训练样本较少时模型的表达能力差的弊端，同时节省了训练模型所需的计算资源和时间。

附图说明

图1是本发明实施例提供的基于siamese网络的步态识别系统的结构示意图；

图中：1、siamese网络组件；2、卷积神经网络组件；3、损失层组件；4、对比损失层；5、判决层。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

下面结合附图对本发明的结构作详细的描述。

图1，本发明实施例提供的基于siamese网络的步态识别系统，设置有：接收标记好的图片对的siamese网络组件1；

与siamese网络组件1相连接，用于对同一类别对或不同类别对进行误差比较的损失层组件3。

所述siamese网络组件包括卷积神经网络组件2、对比损失层4、判决层5并依次连接；所述判决层用判别函数连接损失层组件。

本发明基于相似性度量的步态识别模型，通过去判断输入样本对是否属于同一类别间接地完成分类(将一个分类任务划分为多个验证任务)。应用大量的同类别样本对与不同类别样本对去训练模型，使得该模型可以有效度量输入样本对的相似性，通过一定的设计准则使得网络对于相同类别的输入图片对的距离比较小，对于不同图片对的距离比较大，这样可以通过损失函数对输入对的类别有效判定。使用siamese网络组件，该网络是基于两个平行的共享权值的卷积神经网络的双通道模型，使用对比损失函数对双通道模型进行连接，对比损失函数是用输入对步态特征的距离差值度量输入图片对之间的相似度，训练过程使用梯度下降法对神经网络的参数更新，使得模型可以有效的度量输入的相似性。模型通过判断输入对的相似性去判定其是否属于同一类别而间接地完成步态识别。最后通过分析该算法对属于同一类别的样本对的正确接受率和错误拒绝率分别判断该模型的鲁棒性及可靠性。

下面结合现有软件及算法对本发明作进一步描述。

本发明实施例提供的基于siamese神经网络的步态识别系统分为训练过程和测试过程。

训练过程是将标记好的图片对送入siamese网络组件，通过共享权值的卷积神经网络组件CNN对两张图片分别提取步态特征，再将两个图片的特征输入到损失层，通过设计损失函数使得模型对于同一类别的图片对其损失尽可能的小，对于不同类别的图片对其损失尽可能的大。训练阶段损失经过反向传播更新卷积神经网络组件的参数使得该模型可以有效地度量输入图片对的相似性。

测试过程是通过组合待测试样本与不同的样本集来判定待测试样本所属的类别。具体的实施过程如下：

数据准备

选取中科院的数据库作为实验数据库，提取步态高斯图，主要过程为对视频进行分割，从视频序列中减除运动背景得到人体运动轮廓图，对轮廓图进行形态学处理使其噪声减小并连续，提取步态周期，进一步对轮廓图进行归一化使其大小相等，在一个步态周期内计算步态高斯图。随机选定62个人的步态序列作为训练样本，另外62个人作为测试集；训练集和测试过程分别从62个人的步态高斯图片中选取3000个匹配样本对(两个样本属于同一类别)和3000个非匹配样本对(两个样本对属于不同类别)。

模型建立

在alexnet zoo上下载bvlc_alexnet.caffemodel模型，去掉该模型的最后两个全连接层后得到sub_CNN，建立两个平行的sub_CNN，通过loss层进行连接。建立该模型相关的配置文件，主要有deploy.prototxt、solver.prototxt、train_valprototxt等文件，这些文件主要定义了训练数据、测试数据、模型的优化方法、迭代次数……等相关信息，有利于我们更好地得到一个基于siamese网络的步态识别模型。

实验：

根据发明内容的不同本实验进行了两组实验，分别为：

A：选取正常状态(nm)，不同视角(0～180)的步态视频序列作为研究对象。即训练集随机选定62个人(nm状态)的步态序列作为训练样本，另外62个人(nm状态)作为测试集；训练和测试过程分别从62个人的步态高斯图片中选取3000个匹配样本对(样本对同一类别不同视角)和3000个非匹配样本对(两个样本对属于不同类别同一视角或不同视角均可)。

B：选取不同状态(nm、bg、cl)，90视角的步态视频序列作为研究对象。即训练集随机选定62个人(nm、bg、cl状态)90度视角的步态序列作为训练样本，另外62个人(nm状态)90度视角作为测试集；训练和测试过程分别从62个人的步态高斯图片中选取3000个匹配样本对(样本对同一类别不同状态)和3000个非匹配样本对(两个样本对属于不同类别90度视角携带状态相同或不同均可)。

对实验的性能进行评估：

对于两组实验，分别计算匹配样本对时正确识别的百分比(正确接收率)和非匹配样本对时有效识别其是不同类别的百分比(错误拒绝率)评价算法性能。正确接收率反映了对于同类样本对模型可有效识别的能力(即模型的有效性)，错误拒绝率反映了对于不同类别的样本对模型可以正确判定其属于不同类别的能力(即模型的可靠性)。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (2)

1.一种基于siamese网络的步态识别系统，其特征在于，所述基于siamese网络的步态识别系统设置有：接收标记好的图片对的siamese网络组件；

与siamese网络组件相连接，用于对同一类别对或不同类别对进行差异比较的损失层组件。

2.如权利要求1所述的基于siamese网络的步态识别系统，其特征在于，所述siamese网络组件包括卷积神经网络组件、对比损失层、判决层并依次连接；所述判决层用判别函数与损失层组件相连接。