发明内容
本发明针对现有技术存在的上述不足,提供一种基于自适应特征块选择的步态识别方法,用于处理行人衣着、携带物状态改变时的身份识别问题,本发明通过对步态能量图中的人体区域进行分块,根据无衣着和携带物状态干扰的训练数据得出每块区域的统计信息,在测试时通过分块计算统计信息而自动选取符合训练数据统计信息规律的特征块,有效克服了因行人衣着、携带物状态变化对步态识别造成的不利影响,同时保留了人的头、肩等部位特征,提高了步态识别的有效性。本发明不需要任何先验知识,特征选择的计算复杂度比现有非监督特征选择的步态识别方法降低了28%,同时平均识别率可比于现有基于监督特征选择的步态识别方法。
本发明是通过以下技术方案实现的,本发明包括以下步骤:
第一步、采用最小中位数平方法(Least Median of Squares)从视频的N帧图像序列I中恢复得到背景图像B(x,y),然后计算当前图像帧It和背景图像B(x,y)的提取函数值,通过对函数值作阈值化处理而分离出前景图像I′t(x,y)。
第二步、对前景图像I′t(x,y)的每个连通块构建最小矩形框边界,并对矩形框中的图像采用HOG行人检测器判断是否存在人体区域,对包含人体区域的矩形框进行尺度变换,由此获得的一系列固定大小的矩形图片就构成了二值步态序列G(x,y,t)。
第三步、根据二值步态序列G(x,y,t)进行步态周期计算并生成步态模板图;
第四步、对训练集每个对象的步态模板图进行人体结构分块,并建立各个分块的统计特征,然后对步态模板图执行自适应的特征块选择;
第五步、计算测试集对象与训练集中任一对象在人体结构对应分块上的欧氏距离,将六个分块的距离加权起来得到两个对象间的总距离,作为该对象和训练集中任一对象的步态特征相似性的度量,并根据最近邻法则将这些距离中的最小值所对应的训练集对象确定为身份识别的结果。
本发明的原理是,考虑到人在普通状态下行走的步态跟人的衣着、携带物状态发生改变后的步态直观上存在明显差异,即衣服厚度、背包的出现会造成伴随人体一起运动的轮廓区域面积增加,亦即视频的前景运动区域的像素数目会增多。如果直接比较步态特征图像的相似性,衣物的干扰必定会产生很大的噪声,严重影响识别效果。因此,在对人体结构进行分块后,将训练集的步态特征图像各人体结构分块的统计信息作为依据,在测试时能够快速有效地排除掉可能存在干扰的特征块,选择出最佳的特征区域用于身份识别。
与现有技术相比,本发明根据人体结构特性以及分块统计特性对步态能量图进行自适应特征块选择,既实现了快速识别,也很好地利用了对识别有帮助的头肩等特征区域。在各种实验条件下,该算法的平均识别率达到85%,处理速度比现有非监督特征选择的步态识别算法提高28%。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例
如图2和图7所示,本实施例包括以下步骤:
第一步、采用最小中位数平方法(Least Median of Squares)从视频的N帧图像序列I中恢复得到背景图像B(x,y),然后计算当前图像帧It和背景图像B(x,y)的提取函数值,通过对函数值作阈值化处理而分离出前景图像I′t(x,y)。
所述的背景图像
其中:(x,y)为像素位置,median(·)表示中值滤波,t表示图像帧序号,t={1,2,…,N},min(·)表示最小化操作符。
所述的提取函数值是指:
其中:f(It(x,y),B(x,y))为提取函数值,该函数f可根据当前帧与背景的亮度对比自适应地检测出前景与背景之间的相对差异。
所述的阈值化处理是指:对函数值结果f(It(x,y),B(x,y))采用阈值门限F进行二值化,该二值化图像中非零值图像像素被认为是前景像素,具体表示如下:
该实施例中,F=0.01。最后通过中值滤波和形态学腐蚀膨胀操作来滤除二值图I′t(x,y)中的噪声区域。
第二步、对前景图像I′t(x,y)的每个连通块构建最小矩形框边界,并对矩形框中的图像采用HOG行人检测器判断是否存在人体区域,将包含人体区域的矩形框进行尺度变换,统一调整为固定大小128×96像素。由此获得的一系列固定大小的矩形图片就构成了二值步态序列G(x,y,t)。
所述的构建最小矩形框边界是指:能够包含连通域中所有点的最小的外接矩形,矩形左上角顶点的横坐标为点集中所有点的横坐标的最小值,其纵坐标为点集中所有点的纵坐标的最小值,矩形的高设为点集中两点纵坐标之差的最大值,矩形的宽设为点集中两点横坐标之差的最大值。
所述的HOG行人检测器是指:HOG是Histogram of Oriented Gradients的缩写,它把局部图像的梯度方向信息的统计值作为目标的一种特征描述。首先将图像分成小的连通区域,在每个区域内计算各像素点的梯度的方向直方图,最后将这些直方图组合起来以表征整幅图像。HOG行人检测器是对大量样本提取HOG特征,经过训练得到的级联Adaboost分类器。
所述的尺度变换是指:将矩形框图片尺寸调整为固定大小,调整时保持人体区域的二值轮廓重心在图片的中线上。
第三步、根据二值步态序列G(x,y,t)进行步态周期计算并生成步态模板图;
所述的步态周期是指:普通行走状态下行人一侧脚跟着地至该侧脚跟再次着地所需的时间。在一个步态周期中,每侧肢体要经过踩地负重和离地摆动两个阶段,分别成为步态周期的站立相和摆动相。
所述的步态周期计算过程为:
i)统计每帧人体二值图的下方1/3高度区域内的前景像素点的个数,将第t帧时的数值记为N(t),当两只脚间隔最远时,N(t)将达到局部最大值;当两只腿交错时,N(t)将取得局部最小值;
ii)利用半径为2的圆形均值滤波器H对N(t)曲线做平滑操作得到N′(t),如图1(b)所示,其中:N(t)为1×n的向量,通过边界延拓扩展为5×n的矩阵),N′(t)每两个紧邻的局部最小值之间应构成一个步态周期,因此从第一个N′(t)的局部最小值处开始,计算每两个相邻局部最小值之间的横坐标距离(即帧数差),并把这些距离的中值作为步态周期。
所述的圆形均值滤波器
所述的生成步态模板图具体包括以下步骤:
3.1)设周期为T,取一个步态周期内的所有二值步态图,则步态能量图
本实施例中T的取值范围为19≤T≤32,步态能量图的计算框架如图2所示,如图3所示,为实施例中求得的步态能量图;
3.2)针对训练集的每个对象,根据其多个步态能量图建立步态模板图,步态模板图T(x,y)定义为此对象所有步态能量图的平均图像:
其中:C为当前对象所有步态序列共包含的步态周期总数,即可得到C张步态能量图,T(x,y)以阈值θ为界二值化,
本实施例中C的取值范围为4≤C≤13,二值化阈值θ=127。
第四步、对训练集每个对象的步态模板图进行人体结构分块,并建立各个分块的统计特征,然后对步态模板图执行自适应的特征块选择;
①所述的人体结构分块,如图4所示:
包括:头部:0~W,0.870H~H,颈、肩和胸部:0~W,0.720H~0.870H,躯干前半部:0~0.530W,0.377H~0.720H,躯干后背:0.530W~W,0.377H~0.720H,大腿至膝部:0~W,0.180H~0.377H,小腿和足部:0~W,0~0.180H,其中:W为步态模板图的宽度,H为步态模板图的高度。本实施例中步态模板图的高度为H=128,宽度为W=96。
②所述的统计特征是指:根据S个训练集对象,根据人体结构分块统计训练集所有对象步态模板图中T
1,T
2,T
3,…,T
S中每个部分的前景像素点个数,i∈{1,2,…,6},
表示T
s中第i部分的前景像素点个数,则第i部分的统计特征Ω
i为:
本实施例中,S=124。
③所述的特征块选择是指:将测试对象的步态序列按照同样的过程建立步态模板图并进行人体结构分块,然后计算各个人体结构分块的统计特征,仅当某个人体结构分块跟训练集对应人体结构分块的统计特征相似时,该人体结构分块才用于步态识别过程,即实现自适应的特征块选择。具体步骤如下:
4.1)对Ω
i中S=124个数值进行升序排列,以λ=0.9的概率给定置信区间
即
中落入区间
的个数为λ·S≈112,其中
当测试对象的行走状态与训练集中某对象的行走状态相同或相似时,其步态模板图中第i部分的前景像素点个数γ
i满足:
4.2)对每一个测试集对象r,r∈{1,2,…,R=124},计算其步态模板图,并统计所有对象步态模板图第i部分的前景像素点个数
通过
实现自适应块特征选择,其中:当w
i取1时,说明对象r的步态模板图的第i部分没有受到衣着、携带物变化的影响,这个区域内的特征将会被选中用于识别;当w
i为0时,说明第i部分的前景像素受到了干扰,不能真实反映人体的运动信息,故应舍弃。
第五步、计算测试集对象与训练集中任一对象在人体结构对应分块上的欧氏距离,将六个分块的距离加权起来得到两个对象间的总距离,作为该对象和训练集中任一对象的步态特征相似性的度量,并根据最近邻法则将这些距离中的最小值所对应的训练集对象确定为身份识别的结果,如图6所示。
所述的两个对象间的总距离为:
其中:
为训练集中的某个对象,
表示S
g的第n张步态能量图的第k个人体结构分块,n∈{1,…,N
g},k∈{1,2,…,6},
表示测试集对象S
p第m张步态能量图的第k个人体结构分块,m∈{1,…,N
p},k∈{1,2,…,6}。
实施效果
依据上述步骤,对中国科学院自动化研究所CASIA步态数据库Dataset B进行步态识别。该数据库采集于2005年1月,共有124个对象,每个对象有11个观测视角和10个步态序列,分别在三种行走条件下(普通条件,穿大衣,携带包裹)采集获得。本实验中,选取90度的侧面视角,将每个对象普通条件下采集的前4个步态序列作为训练集Set A1,测试集则由2个普通条件下采集的步态序列Set A2、2个穿大衣的序列Set B,2个携带包裹的序列Set C所组成。所有试验均在PC计算机上实现,该PC计算机的主要参数为:中央处理器
2Duo CPU E6600@2.40GHz,内存2GB。
采用现有技术中Shaogang Gong等人非监督特征选择方法,可得识别结果为:
当测试集为Set A2时,识别率为99.4%;
当测试集为Set B时,识别率为31.3%;
当测试集为Set C时,识别率为79.9%。
特征选择用时:5秒
本实施例获得的识别结果为:
当测试集为Set A2时,识别率为99.2%;
当测试集为Set B时,识别率为80.6%;
当测试集为Set C时,识别率为75.8%。
特征选择用时:3.6秒
实验表明,较之于现有的非监督特征选择方法,本实施例Set B的识别率比原先有了大幅度提高,Set C的识别率略有下降。但是,三个测试集的平均识别率得到了15%的提升。同时,本实施例完成特征选择所需要的时间为3.6秒,计算速度提高了28%。