CN106529499A - 基于傅里叶描述子和步态能量图融合特征的步态识别方法 - Google Patents
基于傅里叶描述子和步态能量图融合特征的步态识别方法 Download PDFInfo
- Publication number
- CN106529499A CN106529499A CN201611067039.0A CN201611067039A CN106529499A CN 106529499 A CN106529499 A CN 106529499A CN 201611067039 A CN201611067039 A CN 201611067039A CN 106529499 A CN106529499 A CN 106529499A
- Authority
- CN
- China
- Prior art keywords
- gait
- frame
- formula
- coordinate
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Abstract
本发明涉及基于傅里叶描述子和步态能量图融合特征的步态识别方法,即:对单帧图像进行灰度化预处理,使用混合高斯模型实时更新背景,并通过背景减除法获取前景;对每帧进行二值化、形态学处理,获取运动人体的最小外接矩,并归一化至同一高度,根据最小外接矩高宽比的周期性变化获取步态周期及关键5帧;提取关键5帧傅里叶描述子的低频部分作为特征一;中心化周期内所有帧以获取步态能量图,通过主成分分析降维作为特征二;融合此两个特征后采用支持向量机进行识别。本发明能够实现对当前人行为是否异常的判定;使用混合高斯模型以确保对背景准确建模,同时具有较好的实时性;使用的融合特征具有强表征性和鲁棒性,能有效提高异常步态的识别率。
Description
技术领域
本发明涉及模式识别技术领域,尤其是一种基于傅里叶描述子和步态能量图融合特征的步态识别方法。
背景技术
伴随科技的进步,生物特征识别技术以其便利性、安全可靠受到越来越多人的青睐,如人脸识别、指纹识别、步态识别等,其中步态识别是唯一能远距离识别的生物技术,凭借其非侵犯性、难以修饰隐藏等特点,已成为智能监控领域的一个研究热点,如美国的远距离身份识别(HID,Human Identification at a Distance)计划。
传统步态表征技术有三类:结构表征、非结构表征及融合表征;结构表征通过对人体部分(如膝盖、腿部、手臂等)建模跟踪,获得系列人体参数作为特征,这些特征具有独立的方向性和模型独立性,但对步态序列很敏感、参数运算量较大;非结构表征则只对图像序列中运动人体生成的时空模式做统计分析,隐含定义应该观察的特征,进而实现步态特征提取和识别,优点是对步态序列敏感度较低,运算量小、实时性好,但对背景和光照信号较敏感。
融合表征将几种不同特征根据互补原则进行融合,得到比单一特征更好的识别性能,分为不同步态特征之间融合、步态特征与其他生物特征之间融合两类。关于前者,Wang等人提出将基于Procrustes形状分析的静态特征与跟踪人体下肢关节运动轨迹的动态特征相融合,Nandini等人也提出将最大信息压缩索引和步态的周期特征进行融合来进行步态识别;而后者多涉及多模态的生物特征,一般为决策级融合,如Kale等人使用人脸和步态特征的决策级融合方法,并分别尝试了分层和整体两种策略。大量的实验表明,基于融合特征的识别算法性能明显优于基于任何单一特征的算法。
考虑到步态识别对实时性、准确性的高标准,选择何种特征、使用何种方式进行融合,都将直接影响到最终的识别,因此未来的工作之一将集中在融合特征的选择上。
发明内容
本发明所要解决的技术问题是:提供一种基于融合特征的步态识别方法,旨在解决现有步态识别方法中实时性与准确性之间“鱼和熊掌不可兼得”的问题。
本发明解决其技术问题采用以下的技术方案:
本发明提供的基于傅里叶描述子和步态能量图融合特征的步态识别方法,具体是:对单帧图像实时采集侧面步态视频并进行灰度化预处理,使用融合混合高斯模型实时更新背景,并通过背景减除法获取前景;对每帧进行二值化、形态学处理,获取运动人体的最小外接矩,将运动人体所在区域从图像中分割出来,并归一化至同一高度,根据最小外接矩高宽比的周期性变化获取步态周期及关键5帧;提取关键5帧傅里叶描述子的低频部分作为步态特征一;中心化周期内所有帧以获取步态能量图,通过主成分分析降维作为步态特征二;融合步态特征一和步态特征二,得到最终描述子后,采用支持向量机进行识别。
所述的灰度化预处理,参照重要程度,即人眼对绿色敏感度最高,采用下式对RGB三分量进行加权平均得到灰度图像,
f(x,y)=0.30R(x,y)+0.59G(x,y)+0.11B(x,y)
式中:f(x,y)为灰度化后点(x,y)的灰度值,R(x,y)、G(x,y)、B(x,y)分别为坐标(x,y)处红色、绿色和蓝色分量的值。
本发明采用以下方法使用融合混合高斯模型与背景减除法获取前景,该方法包括以下步骤:
(1)使用视频前t时刻的历史灰度图完成混合高斯模型初始化,即t时刻坐标(x,y)处像素取值为Xt的概率P(Xt)为:
式中:K为高斯分布的个数,一般取3-5;ωi,t是第i个分布t时刻的权重估计值,n为Xt的维数,μi,t、∑i,t分别为第i个分布t时刻的均差、协方差;
(2)将Xt与混合高斯模型一一进行匹配,如下式:
|Xt-μt|<Dσt
式中:一般取D为2.5;σt为高斯分布的方差,若满足上式,则认为匹配成功,执行步骤(3),否则执行步骤(4);
(3)若匹配成功,则检查此高斯分布的权值是否满足下式:
ωi,t>1-T
式中:T为描述背景的最小权值比例,若满足该关系式,则此高斯分布被划分为描述背景的前B个高斯分布之一(B通常取3-5个),在后续的操作中将不再执行更新;
(4)若匹配不成功,则按下式更新各高斯分布的参数:
式中:α为学习率,ρ为更新速度,分别为t时刻ωi,t、μi,t、σi,t的估计值,作为t+1时刻的值;
(5)高斯分布更新完成后,根据归一化,按ωi,t/σi,t的大小降序排列,取前B个分布作为背景模型,通过背景减除法获取当前前景。
本发明采用包括以下步骤的方法获取步态周期及关键5帧,具体为:
(1)使用形态学处理中的闭操作,消除前景中的空洞;
(2)获取运动人体所在的最小外接矩,具体为:
按行遍历整图,搜寻人体的最上和最下非零像素点,分别记录两点的纵坐标ytop、ybottom;按列遍历整图,搜寻人体的最左和最右两像素,分别记录两点的横坐标xleft、xright;将坐标(xleft,ytop)、(xright,ybottom)分别作为矩形框的左上角和右下角坐标,则这个矩形框即为包含人体的最小外接矩;
(3)截取前景中最小外接矩所对应的区域,保持矩形长宽比不变,缩放到同一高度H=128像素,得到长宽一致且只含人体的前景区域,简称原图;
(4)根据人体宽高比的变化获取人的步态周期及关键5帧,具体为:
1)计算每一帧的高宽比k=h/w,按时间先后存入数组{k1,k2,...,kn}中;
2)从第一帧开始寻找k满足以下要求的五帧以获取步态周期:“极大值→极小值→极大值→极小值→极大值”,从第一个和第三个极大值处对视频序列分割,并将以上5帧作为关键5帧存储。
所述步态特征一,由以下方法获得,具体为:
(1)对所述关键5帧逐帧使用canny算子获取人体的外轮廓,将轮廓上的每一点表示为如下形式:zi=xi+jyi,其中xn、yn为轮廓上第n个的横纵坐标,j为虚数单位;
(2)设轮廓上共m个点,将这m点的zi组成一个数列{z1,z2,...,zm},对该数列进行离散傅里叶变换,获得傅里叶描述子;
(3)提取前N个傅里叶描述子,作为步态特征一。
所述步态特征二,由以下方法获得,具体为:
(1)对所述的原图进行中心化处理;
1)计算未中心化的矩形区域水平方向的中心xcenter,公式如下:
式中:Nd为矩形区域内表示人体的像素点总数,xn表示未中心化人体区域的第n个像素点的x坐标;
2)将所述的原图扩展到同一宽度W,扩展部分用值为0的像素进行填充;
3)对原图中所有点按下式进行中心化移动:
式中:Iold(x,y)为原图坐标(x,y)处的像素值,Inew(x,y)为中心化后坐标(x,y)处的像素值;
(2)以步态周期为单位,获取每个周期的步态能量图:
式中:Q为当前周期内图像的帧数,Ii,t(x,y)为第t帧步态图像坐标(x,y)处的像素值,G(x,y)为步态能量图坐标(x,y)处的像素值,对整张图进行上述操作即可获得步态能量图G;
(3)对所有步态能量图使用2DPCA法进行降维处理,具体为:
1)获取投影矩阵A;
设测试样本(即步态能量图)Gk有M个,Gk∈R128×w,k=1,2,...,M,则平均图像矩阵图像的协方差矩阵为:定义J(A)=tr(ATC0A),现求取投影矩阵A(A为W×N的矩阵),满足A=argmax[J(A)];
2)对步态能量图进行主成分提取,即对待降维步态能量图Gk进行投影,公式如下:
G′k=GkA,
式中:G′k为128×N的矩阵,即Gk投影后的特征矩阵。
本发明可以采用以下方法获得最终描述子:
将获取的关键帧的N个傅里叶描述子作一个1×N的行向量,共5帧即5行,与G′k组成一个133×N的矩阵,作为最终描述子,记为F。
所述采用支持向量机进行识别,具体为:
(1)训练,使用“一对一”的决策函数构造策略,在任意两类样本之间设计一个二值分类器:
1)将视频库中待分两类行为的最终描述子F均分为n组(记做F1,F2,...,Fn),其中n-1组作为训练集,并为之选定标签yi,yi∈{-1,1},余下1组作为测试集;
2)通过训练集样本获取决策函数;
①采用径向基函数exp(||Fi-Fj||2/γ2)作为核函数,记为K(Fi,Fj),其中0.001<γ<0.006;
②采用C-支持向量机模型作为二分类模型(C=1000),并构造拉格朗日函数L(w,b;α);
式中:α=(α1,α2,...,αm)为拉格朗日乘子,1≤αi≤C,1≤i≤m(m为待分类行为步态能量图的总数);
③求解拉格朗日函数的鞍点(此处取得最大超平面距离),通过对偶法,将L(w,b;α)关于w和b的最小值转化为求L(w,b;α)关于α的最大值,即求取满足下式的α*:
④求取参数公式为:
⑤构造决策函数f(x),其中
⑥将测试组步态能量图作为输入,使用步骤⑤中的决策函数进行分类,获取正确分类样本所占的比例;
3)使用交叉验证的方式获取最佳模型:对步骤1)中分好的n组,依次取其中1组作为测试集,剩余组作为训练集,重复步骤2),获取正确分类比例最高对应的模型,将之作为该两类之间的二值分类器;
4)使用步骤1)~步骤3)所述方法为任意两类行为设计一个二值分类器;
(2)识别;
设类别i,j之间的决策函数为fij(x)(i≠j,j=1,...,n),若fij(x)>0,则认为x属于类别i,即类别标记gij=1;反之,属于类别j,即gij=-1。根据上述原理,将待识别样本x进行分类时,计算取gi(x)最大值对应的类别i,作为x的类别。
本发明提供上述的步态识别方法,其用途是:在智能监控领域中的应用。
所述的智能监控领域包括:智能小区、楼宇的出入身份识别,或者公共场合嫌疑人的快速识别与判断。
本发明与现有技术相比有如下主要的优点:
1.在前景分割中,使用混合高斯模型对背景进行更新,确保对背景的准确建模,进而实现准确的前景分割,同时为了确保算法的实时性,对混合高斯模型的更新机制进行了改进;
2.在步态特征的提取中,将一个完整的步态周期作为一个整体,提取出能代表整体的特征(步态能量图)及局部的特征(关键5帧的傅里叶描述子)并进行融合,具有很好的表征性和强鲁棒性;
3.在支持向量机的训练阶段,使用“一对一”的决策函数构造策略,为任意两类行为构造一个分类器,并使用交叉验证的方法进行检验,以确保所获得的分类器具有很好的分类效果。
4.将视频或摄像头获取的人的侧面步态图作为输入,借助于预先建立的步态特征库,就能够实现对当前人行为是否异常的精确判定。
总之,本发明通过从视频库或摄像头实时获取视频帧,并基于这些视频帧进行步态特征提取及降维,最终实现对当前人行为是否异常的判定;使用改进的混合高斯模型以确保对背景准确建模,同时具有较好的实时性;使用的融合特征具有强表征性和鲁棒性,能有效提高异常步态的识别率。
附图说明
图1为本发明步态识别方法流程图;
图2为本发明基于融合混合高斯模型与背景减除法获取前景的流程图;
图3为本发明实施例中不同角度中最小外接矩高宽比的波形图;
图4为本发明实施例中关键5帧获取的原理图;
图5为本发明实施例的支持向量机的训练与识别流程图。
具体实施方式
本发明涉及基于傅里叶描述子和步态能量图融合特征的步态识别方法,具体是:对单帧图像进行灰度化预处理,使用混合高斯模型实时更新背景,并通过背景减除法获取前景;对每帧进行二值化、形态学处理,获取运动人体的最小外接矩,并归一化至同一高度,根据最小外接矩高宽比的周期性变化获取步态周期及关键5帧;提取关键5帧傅里叶描述子的低频部分作为特征一;中心化周期内所有帧以获取步态能量图,通过主成分分析降维作为特征二;使用加法原则融合两个特征后采用支持向量机进行识别。
下面结合实施例及附图对本发明作进一步说明,应当理解,下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能成为对本发明的限制。
本发明提供的基于傅里叶描述子和步态能量图融合特征的步态识别方法的流程图,如图1所示,具体如下:
a.建立人体步态数据库;
CASIA步态数据库由中国科学院自动化研究所创建,是国内最完备的步态数据库,到目前为止该数据库包括三个子数据库:Dataset A(小规模库,即NLPR)、Dataset B(多视角数据库)和Dataset C(红外库)。其中,子数据库Dataset B为中科院自动化所在实验室环境下拍摄,距离较远且背景简单,创建于2005年1月,包含124个人,每人在三种行走条件下(普通、穿大衣及携带包裹条件)从11个视角(分别为0、18、...,180度)进行了步态数据采集,共13640个视频序列。本方法将Dataset B作为训练数据库,其使用见后期具体操作。
b.对训练数据库中所有侧面步态视频逐一灰度化处理,融合混合高斯模型与背景减除法获取前景,流程如图2所示,具体步骤如下:
b1.参照重要程度(人眼对绿色最敏感),采用下式对RGB三分量进行加权平均得到灰度图像:
f(x,y)=0.30R(x,y)+0.59G(x,y)+0.11B(x,y)
式中f(x,y)为灰度化后的像素值,R(x,y)、G(x,y)、B(x,y)分别为坐标(x,y)处红色、绿色和蓝色分量的值;
b2.使用视频前t时刻的历史灰度图像完成混合高斯模型的初始化,即t时刻坐标(x,y)处像素取值为Xt的概率为:
式中,K为高斯分布的个数,一般取3-5;ωi,t是第i个分布t时刻的权重估计值,n为Xt的维数,μi,t、∑i,t分别为第i个分布t时刻的均差、协方差;
b3.将Xt与混合高斯模型一一进行匹配,如下式:
|Xt-μt|<Dσt
式中,D一般取2.5,σt为高斯分布的方差,若满足上式,则认为匹配成功,执行b31,否则执行b32;
b31.若匹配成功,则检查此高斯分布的权值是否满足下式:
ωi,t>1-T
式中,T为描述背景的最小权值比例,若满足该关系式,则此高斯分布被划分为描述背景的前B个(通常为3-5个)高斯分布之一,在后续的操作中将不再执行更新;
b32.若匹配不成功,则按下式更新各高斯分布的参数:
式中,α为学习率,ρ为更新速度,分别为t时刻ωi,t、μi,t、σi,t的估计值,作为t+1时刻的值;
b4.高斯分布更新完成后,根据归一化,按ωi,t/σi,t的大小降序排列,取前B个分布作为背景模型,通过背景减除法获取当前前景;
c.对每一帧进行二值化与形态学处理,获取运动人体所在的最小外接矩并分割、归一化到同一高度,根据最小外接矩高宽比的周期性变化(其波形如图3所示),获取步态周期及关键5帧,流程图如图4所示,具体步骤为:
c1.使用形态学闭操作消除前景中的空洞;
c2.获取运动人体所在的最小外接矩;
c3.截取前景中最小外接矩所对应的区域,保持高宽比不变,缩放到同一高度H=128像素;
c4.根据人体高宽比的变化获取人的步态周期及关键5帧:
c41.计算每一帧的高宽比k=h/w,按时间先后存入数组{k1,k2,...,kn}中;
c42.从第一帧开始寻找k满足以下要求的五帧以获取步态周期:“极大值→极小值→极大值→极小值→极大值”,从第一个和第三个极大值处对视频序列分割,并将以上5帧作为关键5帧存储;
d.对步骤c中获取的关键5帧逐帧提取傅里叶描述子,截取其低频部分作为描述特征一,具体步骤为:
d1.对c42中获得的关键5帧逐帧使用canny算子获取人体外轮廓,并将轮廓上的每一点表示为zi=xi+jyi形式,其中xn、yn为轮廓上第n个的横纵坐标,j为虚数单位;
d2.设轮廓上共m个点,将这m点的zi组成一个数列{z1,z2,...,zm},对该数列进行离散傅里叶变换,即可获得傅里叶描述子;
d3.傅里叶描述子具有低频集中性,因此提取前N个傅里叶描述子(低频部分)即可对轮廓进行较好的表征,且在N小于轮廓点总数前,N越大表征越准确,因此本发明中N的值将根据具体情况来确定;
e.对周期内的每一帧进行中心化处理后获取步态能量图,并基于主成分分析法(2DPCA)进行降维,作为特征二,具体步骤为:
e1.对c42获取的步态周期内的每一帧进行中心化处理,具体为:
e11.计算未中心化的矩形区域水平方向的中心xcenter;
e12.将原图(未中心化)扩展到同一宽度W,扩展部分用值为0的像素进行填充;
e13.对原图中所有点按下式进行中心化移动:
式中,Iold(x,y)为原图坐标(x,y)处的像素值,Inew(x,y)为中心化后坐标(x,y)处的像素值;
e2.以步态周期为单位,获取每个周期的步态能量图,公式如下:
式中,Q为当前周期内图像的帧数,Ii,t(x,y)为第t帧步态图像坐标(x,y)处的像素值,G(x,y)为步态能量图坐标(x,y)处的像素值,对整张图进行上述操作即可获得步态能量图G;
e3.对所有步态能量图使用2DPCA法进行降维处理,具体为:
e31.获取投影矩阵A;设测试样本(即步态能量图)Gk有M个,Gk∈R128×w,k=1,2,...,M,则平均图像矩阵图像的协方差矩阵为:定义J(A)=tr(ATC0A),现求取投影矩阵A(A为W×N的矩阵),满足A=argmax[J(A)];
e32.对步态能量图进行主成分提取,即对待降维步态能量图Gk进行投影,公式如下:
G′k=GkA,
式中G′k为128×N的矩阵,即Gk投影后的特征矩阵;
f.将特征一与特征二进行融合,得到最终描述子:
将获取的关键帧的N个傅里叶描述子作一个1×N的行向量,共5帧即5行,与G′k组成一个133×N的矩阵,作为最终描述子,记为F;
g.使用支持向量机进行识别,其实现包含2个部分:使用视频库中视频训练支持向量机和输入待检测样本进行识别,流程如图5所示,具体步骤如下:
g1.训练,使用“一对一”的决策函数构造策略在任意两类样本之间设计一个二值分类器:
g11.将待分类的两行为视频序列使用步骤b-f中方法获取每段视频序列的最终描述子F;
g12.按5:1将最终描述子分为训练集和测试集,并为训练集选定标签yi,yi∈{-1,1},通过训练集样本获取决策函数fij(x);
g13.使用交叉验证的方法获取最佳模型,即按g12中比例分组,每1组轮流作为测试集、其余5组作为训练集,通过训练集获取决策函数fij(x)后,将测试集作为输入并获取正确分类比例,选择正确率最高对应的模型作为该两类行为之间的二值分类器;
g14.重复步骤g11-g13,为任意两类行为设计一个二值分类器,并将所有分类器进行组合得到最终分类器;
g2.输入待检测样本进行识别,具体为:
g21.将待检测视频按步骤b-f获取最终描述子;
g22.设类别i,j之间的决策函数为fij(x)(i≠j,j=1,...,n),若fij>0,则认为x属于类别i,即类别标记gij=1;反之,属于类别j,gij=-1。根据上述原理,将待识别样本x进行分类时,计算取gi(x)最大值对应的类别i,作为x的类别。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.基于傅里叶描述子和步态能量图融合特征的步态识别方法,其特征是对单帧图像实时采集侧面步态视频并进行灰度化预处理,使用融合混合高斯模型实时更新背景,并通过背景减除法获取前景;对每帧进行二值化、形态学处理,获取运动人体的最小外接矩,将运动人体所在区域从图像中分割出来,并归一化至同一高度,根据最小外接矩高宽比的周期性变化获取步态周期及关键5帧;提取关键5帧傅里叶描述子的低频部分作为步态特征一;中心化周期内所有帧以获取步态能量图,通过主成分分析降维作为步态特征二;融合步态特征一和步态特征二,得到最终描述子后,采用支持向量机进行识别。
2.根据权利要求1所述的步态识别方法,其特征在于所述的灰度化预处理,参照重要程度,即人眼对绿色敏感度最高,采用下式对RGB三分量进行加权平均得到灰度图像,
f(x,y)=0.30R(x,y)+0.59G(x,y)+0.11B(x,y)
式中:f(x,y)为灰度化后点(x,y)的灰度值,R(x,y)、G(x,y)、B(x,y)分别为坐标(x,y)处红色、绿色和蓝色分量的值。
3.根据权利要求1所述的步态识别方法,其特征是采用以下方法使用融合混合高斯模型与背景减除法获取前景,该方法包括以下步骤:
(1)使用视频前t时刻的历史灰度图完成混合高斯模型初始化,即t时刻坐标(x,y)处像素取值为Xt的概率P(Xt)为:
式中:K为高斯分布的个数,一般取3-5;ωi,t是第i个分布t时刻的权重估计值,n为Xt的维数,μi,t、∑i,t分别为第i个分布t时刻的均差、协方差;
(2)将Xt与混合高斯模型一一进行匹配,如下式:
|Xt-μt|<Dσt
式中:一般取D为2.5;σt为高斯分布的方差,若满足上式,则认为匹配成功,执行步骤(3),否则执行步骤(4);
(3)若匹配成功,则检查此高斯分布的权值是否满足下式:
ωi,t>1-T
式中:T为描述背景的最小权值比例,若满足该关系式,则此高斯分布被划分为描述背景的前B个高斯分布之一,B为3-5个,在后续的操作中将不再执行更新;
(4)若匹配不成功,则按下式更新各高斯分布的参数:
式中:α为学习率,ρ为更新速度,分别为t时刻ωi,t、μi,t、σi,t的估计值,作为t+1时刻的值;
(5)高斯分布更新完成后,根据归一化,按ωi,t/σi,t的大小降序排列,取前B个分布作为背景模型,通过背景减除法获取当前前景。
4.根据权利要求1所述的步态识别方法,其特征是采用包括以下步骤的方法获取步态周期及关键5帧,具体为:
(1)使用形态学处理中的闭操作,消除前景中的空洞;
(2)获取运动人体所在的最小外接矩,具体为:
按行遍历整图,搜寻人体的最上和最下非零像素点,分别记录两点的纵坐标ytop、ybottom;按列遍历整图,搜寻人体的最左和最右两像素,分别记录两点的横坐标xleft、xright;将坐标(xleft,ytop)、(xright,ybottom)分别作为矩形框的左上角和右下角坐标,则这个矩形框即为包含人体的最小外接矩;
(3)截取前景中最小外接矩所对应的区域,保持矩形长宽比不变,缩放到同一高度H=128像素,得到长宽一致且只含人体的前景区域,简称原图;
(4)根据人体宽高比的变化获取人的步态周期及关键5帧,具体为:
1)计算每一帧的高宽比k=h/w,按时间先后存入数组{k1,k2,...,kn}中;
2)从第一帧开始寻找k满足以下要求的五帧以获取步态周期:“极大值→极小值→极大值→极小值→极大值”,从第一个和第三个极大值处对视频序列分割,并将以上5帧作为关键5帧存储。
5.根据权利要求1所述的步态识别方法,其特征在于所述步态特征一,由以下方法获得,具体为:
(1)对所述关键5帧逐帧使用canny算子获取人体的外轮廓,将轮廓上的每一点表示为如下形式:zi=xi+jyi,其中xn、yn为轮廓上第n个的横纵坐标,j为虚数单位;
(2)设轮廓上共m个点,将这m点的zi组成一个数列{z1,z2,...,zm},对该数列进行离散傅里叶变换,获得傅里叶描述子;
(3)提取前N个傅里叶描述子,作为步态特征一。
6.根据权利要求1或4所述的步态识别方法,其特征在于所述步态特征二,由以下方法获得,具体为:
(1)对权利要求4所述的原图进行中心化处理;
1)计算未中心化的矩形区域水平方向的中心xcenter,公式如下:
式中:Nd为矩形区域内表示人体的像素点总数,xn表示未中心化人体区域的第n个像素点的x坐标;
2)将所述的原图扩展到同一宽度W,扩展部分用值为0的像素进行填充;
3)对原图中所有点按下式进行中心化移动:
式中:Iold(x,y)为原图坐标(x,y)处的像素值,Inew(x,y)为中心化后坐标(x,y)处的像素值;
(2)以步态周期为单位,获取每个周期的步态能量图:
式中:Q为当前周期内图像的帧数,Ii,t(x,y)为第t帧步态图像坐标(x,y)处的像素值,G(x,y)为步态能量图坐标(x,y)处的像素值,对整张图进行上述操作即可获得步态能量图G;
(3)对所有步态能量图使用2DPCA法进行降维处理,具体为:
1)获取投影矩阵A;
设测试样本(即步态能量图)Gk有M个,Gk∈R128×w,k=1,2,...,M,则平均图像矩阵图像的协方差矩阵为:定义J(A)=tr(ATC0A),现求取投影矩阵A(A为W×N的矩阵),满足A=argmax[J(A)];
2)对步态能量图进行主成分提取,即对待降维步态能量图Gk进行投影,公式如下:
G′k=GkA,
式中:G′k为128×N的矩阵,即Gk投影后的特征矩阵。
7.根据权利要求1所述的步态识别方法,其特征是采用以下方法获得最终描述子:
将获取的关键帧的N个傅里叶描述子作一个1×N的行向量,共5帧即5行,与G′k组成一个133×N的矩阵,作为最终描述子,记为F。
8.根据权利要求1所述的步态识别方法,其特征在于所述采用支持向量机进行识别,具体为:
(1)训练,使用“一对一”的决策函数构造策略,在任意两类样本之间设计一个二值分类器:
1)将视频库中待分两类行为的最终描述子F均分为n组(记做F1,F2,...,Fn),其中n-1组作为训练集,并为之选定标签yi,yi∈{-1,1},余下1组作为测试集;
2)通过训练集样本获取决策函数;
①采用径向基函数exp(||Fi-Fj||2/γ2)作为核函数,记为K(Fi,Fj)其中0.001<γ<0.006;
②采用C-支持向量机模型作为二分类模型(C=1000),并构造拉格朗日函数L(w,b;α);
式中:α=(α1,α2,...,αm)为拉格朗日乘子,1≤αi≤C,1≤i≤m(m为待分类行为步态能量图的总数);
③求解拉格朗日函数的鞍点(此处取得最大超平面距离),通过对偶法,将L(w,b;α)关于w和b的最小值转化为求L(w,b;α)关于α的最大值,即求取满足下式的α*:
④求取参数公式为:
⑤构造决策函数f(x),其中
⑥将测试组步态能量图作为输入,使用步骤⑤中的决策函数进行分类,获取正确分类样本所占的比例;
3)使用交叉验证的方式获取最佳模型:对步骤1)中分好的n组,依次取其中1组作为测试集,剩余组作为训练集,重复步骤2),获取正确分类比例最高对应的模型,将之作为该两类之间的二值分类器;
4)使用步骤1)~步骤3)所述方法为任意两类行为设计一个二值分类器;
(2)识别;
设类别i,j之间的决策函数为fij(x)(i≠j,j=1,...,n),若fij(x)>0,则认为x属于类别i,即类别标记gij=1;反之,属于类别j,即gij=-1。根据上述原理,将待识别样本x进行分类时,计算取gi(x)最大值对应的类别i,作为x的类别。
9.权利要求1至8中任一所述步态识别方法的应用,其特征在于该步态识别方法在智能监控领域中的应用。
10.根据权利要求9所述的应用,其特征在于所述的智能监控领域包括:智能小区、楼宇的出入身份识别,或者公共场合嫌疑人的快速识别与判断。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611067039.0A CN106529499A (zh) | 2016-11-24 | 2016-11-24 | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611067039.0A CN106529499A (zh) | 2016-11-24 | 2016-11-24 | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106529499A true CN106529499A (zh) | 2017-03-22 |
Family
ID=58357752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611067039.0A Pending CN106529499A (zh) | 2016-11-24 | 2016-11-24 | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106529499A (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107403154A (zh) * | 2017-07-20 | 2017-11-28 | 四川大学 | 一种基于动态视觉传感器的步态识别方法 |
CN107491754A (zh) * | 2017-08-16 | 2017-12-19 | 闽江学院 | 基于并行遗传算法的高精度步态识别方法 |
CN107742102A (zh) * | 2017-10-13 | 2018-02-27 | 北京华捷艾米科技有限公司 | 一种基于深度传感器的手势识别方法 |
CN107766819A (zh) * | 2017-10-18 | 2018-03-06 | 陕西国际商贸学院 | 一种视频监控系统及其实时步态识别方法 |
CN108416325A (zh) * | 2018-03-27 | 2018-08-17 | 中国计量大学 | 一种结合视角转换模型与隐马尔可夫模型的步态识别方法 |
CN108509994A (zh) * | 2018-03-30 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 人物图像聚类方法和装置 |
CN108563939A (zh) * | 2018-04-25 | 2018-09-21 | 常州大学 | 基于步态轨迹曲线特征的人体身份识别 |
CN109359578A (zh) * | 2018-10-09 | 2019-02-19 | 四川师范大学 | 加权融合三通道特征步态表征方法 |
CN109711387A (zh) * | 2019-01-11 | 2019-05-03 | 哈尔滨工程大学 | 一种基于多类能量图的步态图像预处理方法 |
CN109784206A (zh) * | 2018-12-25 | 2019-05-21 | 杭州电子科技大学 | 一种基于超限学习机的步态识别方法 |
CN110032976A (zh) * | 2019-04-16 | 2019-07-19 | 中国人民解放军国防科技大学 | 一种基于掩膜处理新型步态能量图的获取及身份识别方法 |
CN110197130A (zh) * | 2019-05-09 | 2019-09-03 | 广州番禺职业技术学院 | 一种生猪步态异常检测设备及系统 |
CN110232717A (zh) * | 2019-06-10 | 2019-09-13 | 北京壹氢科技有限公司 | 一种适用于多对多目标识别的目标同一性识别方法 |
CN110236523A (zh) * | 2019-06-17 | 2019-09-17 | 杭州电子科技大学 | 基于高斯回归的步态-心电rr间隔关联方法 |
CN110378170A (zh) * | 2018-04-12 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 视频处理方法及相关装置,图像处理方法及相关装置 |
CN110458116A (zh) * | 2019-08-14 | 2019-11-15 | 大连海事大学 | 基于姿态信息的步态多特征表达和匹配方法 |
CN110632482A (zh) * | 2019-11-03 | 2019-12-31 | 西南交通大学 | 基于高斯金字塔的epr电缆绝缘老化状态测评方法 |
CN110647857A (zh) * | 2019-09-29 | 2020-01-03 | 南京工程学院 | 一种步态识别方法及系统 |
CN111310587A (zh) * | 2020-01-19 | 2020-06-19 | 中国计量大学 | 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法 |
CN114061616A (zh) * | 2021-10-22 | 2022-02-18 | 北京自动化控制设备研究所 | 一种自适应波峰检测计步方法 |
CN114757237A (zh) * | 2022-06-13 | 2022-07-15 | 武汉理工大学 | 一种基于WiFi信号的速度无关步态识别方法 |
CN114996769A (zh) * | 2022-08-08 | 2022-09-02 | 西安晟昕科技发展有限公司 | 一种数据预处理和存储的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101488185A (zh) * | 2009-01-16 | 2009-07-22 | 哈尔滨工程大学 | 基于分块矩阵的步态识别方法 |
CN101794372A (zh) * | 2009-11-30 | 2010-08-04 | 南京大学 | 基于频域分析的步态特征表示及识别方法 |
CN102289672A (zh) * | 2011-06-03 | 2011-12-21 | 天津大学 | 红外步态双信道特征融合识别方法 |
CN104299003A (zh) * | 2014-11-02 | 2015-01-21 | 天津理工大学 | 一种基于相似规则高斯核函数分类器的步态识别方法 |
CN105335725A (zh) * | 2015-11-05 | 2016-02-17 | 天津理工大学 | 一种基于特征融合的步态识别身份认证方法 |
-
2016
- 2016-11-24 CN CN201611067039.0A patent/CN106529499A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101488185A (zh) * | 2009-01-16 | 2009-07-22 | 哈尔滨工程大学 | 基于分块矩阵的步态识别方法 |
CN101794372A (zh) * | 2009-11-30 | 2010-08-04 | 南京大学 | 基于频域分析的步态特征表示及识别方法 |
CN102289672A (zh) * | 2011-06-03 | 2011-12-21 | 天津大学 | 红外步态双信道特征融合识别方法 |
CN104299003A (zh) * | 2014-11-02 | 2015-01-21 | 天津理工大学 | 一种基于相似规则高斯核函数分类器的步态识别方法 |
CN105335725A (zh) * | 2015-11-05 | 2016-02-17 | 天津理工大学 | 一种基于特征融合的步态识别身份认证方法 |
Non-Patent Citations (4)
Title |
---|
MRIDUL GHOSH 等: "Gait Recognition for Human Identification Using Fourier Descriptor and Anatomical Landmarks", 《I.J. IMAGE, GRAPHICS AND SIGNAL PROCESSING》 * |
周鑫: "基于蚁群算法和遗传算法的步态识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
梁韶聪 等: "基于步态能量图的KPCA和SVM的步态识别方法", 《计算机应用研究》 * |
王永忠 等: "基于自适应混合高斯模型的时空背景建模", 《自动化学报》 * |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107403154A (zh) * | 2017-07-20 | 2017-11-28 | 四川大学 | 一种基于动态视觉传感器的步态识别方法 |
CN107491754A (zh) * | 2017-08-16 | 2017-12-19 | 闽江学院 | 基于并行遗传算法的高精度步态识别方法 |
CN107742102A (zh) * | 2017-10-13 | 2018-02-27 | 北京华捷艾米科技有限公司 | 一种基于深度传感器的手势识别方法 |
CN107742102B (zh) * | 2017-10-13 | 2020-03-24 | 北京华捷艾米科技有限公司 | 一种基于深度传感器的手势识别方法 |
CN107766819A (zh) * | 2017-10-18 | 2018-03-06 | 陕西国际商贸学院 | 一种视频监控系统及其实时步态识别方法 |
CN107766819B (zh) * | 2017-10-18 | 2021-06-18 | 陕西国际商贸学院 | 一种视频监控系统及其实时步态识别方法 |
CN108416325A (zh) * | 2018-03-27 | 2018-08-17 | 中国计量大学 | 一种结合视角转换模型与隐马尔可夫模型的步态识别方法 |
CN108416325B (zh) * | 2018-03-27 | 2021-11-30 | 中国计量大学 | 一种结合视角转换模型与隐马尔可夫模型的步态识别方法 |
CN108509994A (zh) * | 2018-03-30 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 人物图像聚类方法和装置 |
CN110378170A (zh) * | 2018-04-12 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 视频处理方法及相关装置,图像处理方法及相关装置 |
CN110378170B (zh) * | 2018-04-12 | 2022-11-08 | 腾讯科技(深圳)有限公司 | 视频处理方法及相关装置,图像处理方法及相关装置 |
CN108563939A (zh) * | 2018-04-25 | 2018-09-21 | 常州大学 | 基于步态轨迹曲线特征的人体身份识别 |
CN108563939B (zh) * | 2018-04-25 | 2022-05-20 | 常州大学 | 基于步态轨迹曲线特征的人体身份识别 |
CN109359578A (zh) * | 2018-10-09 | 2019-02-19 | 四川师范大学 | 加权融合三通道特征步态表征方法 |
CN109784206A (zh) * | 2018-12-25 | 2019-05-21 | 杭州电子科技大学 | 一种基于超限学习机的步态识别方法 |
CN109711387B (zh) * | 2019-01-11 | 2023-04-18 | 哈尔滨工程大学 | 一种基于多类能量图的步态图像预处理方法 |
CN109711387A (zh) * | 2019-01-11 | 2019-05-03 | 哈尔滨工程大学 | 一种基于多类能量图的步态图像预处理方法 |
CN110032976A (zh) * | 2019-04-16 | 2019-07-19 | 中国人民解放军国防科技大学 | 一种基于掩膜处理新型步态能量图的获取及身份识别方法 |
CN110197130A (zh) * | 2019-05-09 | 2019-09-03 | 广州番禺职业技术学院 | 一种生猪步态异常检测设备及系统 |
CN110232717A (zh) * | 2019-06-10 | 2019-09-13 | 北京壹氢科技有限公司 | 一种适用于多对多目标识别的目标同一性识别方法 |
CN110236523A (zh) * | 2019-06-17 | 2019-09-17 | 杭州电子科技大学 | 基于高斯回归的步态-心电rr间隔关联方法 |
CN110458116A (zh) * | 2019-08-14 | 2019-11-15 | 大连海事大学 | 基于姿态信息的步态多特征表达和匹配方法 |
CN110458116B (zh) * | 2019-08-14 | 2022-10-25 | 大连海事大学 | 基于姿态信息的步态多特征表达和匹配方法 |
CN110647857A (zh) * | 2019-09-29 | 2020-01-03 | 南京工程学院 | 一种步态识别方法及系统 |
CN110632482A (zh) * | 2019-11-03 | 2019-12-31 | 西南交通大学 | 基于高斯金字塔的epr电缆绝缘老化状态测评方法 |
CN111310587A (zh) * | 2020-01-19 | 2020-06-19 | 中国计量大学 | 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法 |
CN114061616A (zh) * | 2021-10-22 | 2022-02-18 | 北京自动化控制设备研究所 | 一种自适应波峰检测计步方法 |
CN114757237A (zh) * | 2022-06-13 | 2022-07-15 | 武汉理工大学 | 一种基于WiFi信号的速度无关步态识别方法 |
CN114757237B (zh) * | 2022-06-13 | 2022-09-27 | 武汉理工大学 | 一种基于WiFi信号的速度无关步态识别方法 |
CN114996769A (zh) * | 2022-08-08 | 2022-09-02 | 西安晟昕科技发展有限公司 | 一种数据预处理和存储的方法 |
CN114996769B (zh) * | 2022-08-08 | 2022-10-25 | 西安晟昕科技发展有限公司 | 一种数据预处理和存储的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
Lian et al. | Road extraction methods in high-resolution remote sensing images: A comprehensive review | |
CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
CN105069472B (zh) | 一种基于卷积神经网络自适应的车辆检测方法 | |
CN105354565A (zh) | 基于全卷积网络人脸五官定位与判别的方法及系统 | |
CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
CN103310466B (zh) | 一种单目标跟踪方法及其实现装置 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN109344736A (zh) | 一种基于联合学习的静态图像人群计数方法 | |
CN107463920A (zh) | 一种消除局部遮挡物影响的人脸识别方法 | |
CN106447625A (zh) | 基于人脸图像序列的属性识别方法及装置 | |
CN105488809A (zh) | 基于rgbd描述符的室内场景语义分割方法 | |
CN106295532B (zh) | 一种视频图像中的人体动作识别方法 | |
CN109583482A (zh) | 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法 | |
CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
CN109145766A (zh) | 模型训练方法、装置、识别方法、电子设备及存储介质 | |
CN106778687A (zh) | 基于局部评估和全局优化的注视点检测方法 | |
CN104036293B (zh) | 基于快速二值编码的高分辨率遥感影像场景分类方法 | |
CN106897669A (zh) | 一种基于一致迭代多视角迁移学习的行人再辨识方法 | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
CN109635634A (zh) | 一种基于随机线性插值的行人再识别数据增强方法 | |
CN108256462A (zh) | 一种商场监控视频中的人数统计方法 | |
CN106960176A (zh) | 一种基于超限学习机和颜色特征融合的行人性别识别方法 | |
CN106650798B (zh) | 一种结合深度学习与稀疏表示的室内场景识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170322 |
|
RJ01 | Rejection of invention patent application after publication |