CN107818300A - 一种基于隐马尔科夫模型的步态去噪方法 - Google Patents

一种基于隐马尔科夫模型的步态去噪方法 Download PDF

Info

Publication number
CN107818300A
CN107818300A CN201710968206.7A CN201710968206A CN107818300A CN 107818300 A CN107818300 A CN 107818300A CN 201710968206 A CN201710968206 A CN 201710968206A CN 107818300 A CN107818300 A CN 107818300A
Authority
CN
China
Prior art keywords
gait
sequence
hmm
probability distribution
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710968206.7A
Other languages
English (en)
Other versions
CN107818300B (zh
Inventor
关健
王敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201710968206.7A priority Critical patent/CN107818300B/zh
Publication of CN107818300A publication Critical patent/CN107818300A/zh
Application granted granted Critical
Publication of CN107818300B publication Critical patent/CN107818300B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于隐马尔科夫模型的步态去噪方法，包含以下步骤：1)对步态轮廓高度进行归一化处理；2)对步态序列长度进行归一化处理；3)建立步态集合概率分布序列；4)初始化隐马尔可夫模型；5)估计混淆矩阵B；6)估计转移矩阵A；7)对步态进行后验估计；8)在步态后验估计的基础上进行步态回归。本发明建立步态轮廓概率分布，并将其看作步态的先验概率，使用隐马尔科夫模型的解码算法，找出每个步态图像所对应的步态先验概率，进而得到步态的后验估计，有效的去除了背包、大衣、肢体等缺失引入的步态噪声，有助于显著提高步态识别的准确率。

Description

一种基于隐马尔科夫模型的步态去噪方法
技术领域
本发明属于计算机视觉和模式识别领域，具体地说涉及一种基于隐马尔科夫(HMM)模型的步态去噪方法。
背景技术
在公共场合中，人流量比较大，大量的人流同时就会产生难以估计的行为，如果能快速准确的识别公共场合中的行人，并理解其产生的行为，对维护公共秩序和安全将会有极大的帮助，因此基于生物特征的识别研究成为现在公共场合安防的主流技术。
作为生物特征识别技术的重要组成部分，步态识别正在被广泛应用。步态识别主要的优点如下：1)步态识别是一种可以实现远距离身份认证的生物识别技术，在操作上具有很大的灵活性和便捷性；2)步态识别可以在不影响被观测者的情况下，完成特征的提取和识别过程，是一种真正的非侵扰式的生物识别技术；3)步态识别可以在被观测者毫不知情的情况下，完成整个身份识别过程，具有很强的隐蔽性；4)步态识别对视频分辨率要求不高，即便在分辨率相对较低的情况下，也可以完成身份识别的任务。因此，需要一种有效的步态识别算法。
在现实场景下,步态噪声，如被观察者携带的背包、挎包、大衣等，会对步态识别的准确性造成影响，有时甚至是严重影响。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供了一种有效提供步态识别效率和准确率的基于隐马尔科夫(HMM)模型的步态去噪方法。
发明内容：为解决上述技术问题，本发明提出一种基于隐马尔科夫模型的步态去噪方法，包含以下步骤：
步骤1：对采集到的步态轮廓高度进行归一化处理；
步骤2：对采集到的步态序列长度进行归一化处理；
步骤3：根据步骤2得到的归一化后的步态序列建立步态集合概率分布序列；
步骤4：采用隐马尔可夫模型计算获得每个步态集合概率的阈值，根据得到的每个步态集合概率的阈值获得步态的先验估计的结果；
步骤5：将步态集合和对应的步态集合概率分布相乘，再做二值化处理，得到步态集合的似然估计的结果；
步骤6：结合步骤4中获得先验估计的结果和步骤5中获得的步态集合的似然估计的结果对步态进行后验估计；
步骤7：在步态后验估计的基础上进行步态回归。
进一步，步骤2中所述对步态序列长度进行归一化处理，将长度为L的步态序列聚类成长度为N的步态序列。
进一步，步骤3中所述步态集合概率分布序列建立方法为，通过累加的方式得到每个步态集合的累加和，然后对相对应的图像做归一化操作得到每个步态集合的概率分布。
进一步，根据公式获得第j个步态集合的累加和其中，D为步态集合的长度，Sj,d表示第j个步态集合Sj的第d个步态轮廓；根据公式获得第j个步态集合的概率分布Pj；其中，Sj,d(x,y)表示第j个步态集合Sj的第d个步态轮廓图片中的像素点坐标，x表示步态轮廓图片归一化后的像素高度，y表示步态轮廓图片归一化后的像素宽度。
进一步，步骤7中所述在步态后验估计的基础上进行步态回归，对步态后验估计做逆归一化操作。即将归一化之后的步态还原到原始的步态尺寸，这样原始步态的静态属性得以保留。
工作原理：本发明建立步态轮廓概率分布，并将其看作步态的先验概率，使用隐马尔科夫模型的解码算法，找出每个步态图像所对应的步态先验概率，进而得到步态的后验估计并结合原始步态的静态属性的恢复，有效的去除了背包、大衣、肢体等缺失引入的步态噪声。
有益效果：与现有技术相比，本发明主要是在步态去噪步骤中使用静态属性结合动态属性的方式提高步态去噪性能；显著的提高了步态识别的准确率，减少了携带物、大衣、裙子等因素对步态识别效果的影响。在所述建立步态概率分布序列中，目的是对一个二值化的步态图像，得到其所有像素值为1的像素属于该步态的概率，然后取一个阈值，将步态图像中低概率的像素去掉，从而实现步态去噪，有助于显著提高步态识别的准确率。
附图说明
图1为本发明的流程图；
图2为观察步态和隐状态的间距与混淆概率之间的关系图；
图3位本发明提供的方法对步态识别结果的影响。
具体实施方式
下面结合附图对本发明的技术方案作进一步解释。
如图1所示，本实施例公开的基于HMM模型的步态去噪方法，包括以下步骤：
步骤1：步态轮廓高度归一化：为了消除步态轮廓高度引起的差异，按照步态轮廓高度，对所有的步态序列中的步态轮廓做了归一化处理。将所有的步态轮廓的高度都缩放到120像素，步态的宽度做等比例缩放，并将步态轮廓图片归一化成为120×80px的图片。本实施例中共有K个步态序列。
步骤2：步态序列长度归一化：在步态序列完成高度归一化之后，对于一个连续的步态序列，需要将其抽象成为N个离散的步态集合，并用这N个离散的步态集合来表示一个完整的步态周期。
使用KNN算法将长度为L(L>N)的步态序列聚类成为长度为N的步态序列。首先将一个步态序列等距划分为N个步态集合,然后根据步态轮廓的距离在相邻步态集合之间做聚类操作，保证任意一个步态集合中至少有一个步态轮廓。
步骤3：建立步态集合概率分布序列：在对所有的步态序列完成高度归一化和长度归一化之后，对于每一个步态序列都可以得到N个步态集合，每个步态集合中有D个步态轮廓，其中，对于第j个归一化的步态集合为Sj，通过累加的方式求得该步态集合的累加和然后对其做图像归一化操作，即得到第j个步态集合的概率分布Pj。其中x表示步态轮廓图片归一化后的像素高度，y表示步态轮廓图片归一化后的像素宽度：
其中D为步态集合的长度，Sj,d表示第j个步态集合Sj的第d个步态轮廓。
步骤4：初始化隐马尔可夫模型：为了得到步态集合所对应的步态集合概率的阈值，因此使用了已有的隐马尔科夫模型Viterbi算法。
HMM表示为：λ＝(N,M,Π,A,B)，参数具体意义如下：
1)N是隐状态的数目，本实施例中，N为归一化后的每个步态序列长度。
2)M是观察状态的数目，即输入的一个步态周期的长度，不同的步态周期其对应的M不一定相同。
3)Π是隐状态的初始向量。
4)A为隐状态的状态转移矩阵。
5)B为隐状态的混淆矩阵。
隐状态的状态转移矩阵A和混淆矩阵B则需要基于现有的步态数据集估计，下面是对矩阵A和B的估计过程。
步骤5：计算混淆矩阵：隐马尔科夫模型的混淆矩阵B中的元素bj,k是指在第t次迭代时给定HMM中的一个隐状态qt时，得到第t次迭代时的观察状态Ot的概率，所以：
采用混合高斯密度函数,初始估计混淆矩阵B：
其中的是Ot到第j个隐状态集合均值的距离。如图2所示，μj＝0.5时上式的函数曲线图，观察步态和隐状态之间的间距越小，其对应的混淆概率b就越大，即观察状态Ot的隐状态qt为Pj的概率就越大。
其中μj是一个和步态隐状态相关的参数，其定义为：
其中|Sj|为隐状态集合Sj的势。
步骤6：计算转移矩阵：对输入的步态序列做循环边界处理，即对于输入的步态序列O＝{S1,S2,…,SN}，在其序列的最末端添加第一个步态集合，得到扩展后的步态序列EO＝{S1,S2,…,SN,S1}，并基于扩展步态序列EO对转移矩阵A做初始化，得到初始化转移矩阵A中的元素A0 (s，v)：
其中，A0 (s，v)表示在初始状态下第s个隐状态集合转移为第v个隐状态集合的概率，|ST(s,v)|为隐状态转移集合ST(s,v)的势，|Ss|表示第s个隐状态集合的势。转移矩阵的行数为N，列数为N+1。
ST(s,v)＝{Ss∈EOt&&Sv∈EOt+1}；
其中，EOt表示第t次迭代时扩展后的步态序列，EOt+1表示第t+1次迭代时扩展后的步态序列，Ss表示第s个隐状态集合，Sv表示第v个隐状态集合。
因此在扩展步态序列下得到的结果表示为：
其中，K是步态序列的总数，|Sv|表示第v个隐状态集合的势，转移矩阵A的初始值如下，由于对步态序列的边界做了扩展，所以转移矩阵A的初始值中最后一行第一个元素是非零的。
为了对转移矩阵A进行迭代估计，需要定义前向局部变量和后向局部变量
因此可得出前向局部变量计算公式为:
后向局部变量为：
其中，上标k指的是所有步态序列中第k个步态序列，t是迭代次数。Pj是第j个隐状态，即第j个步态集合概率分布。表示在第k个步态序列中第t次迭代时的观察状态；表示在第k个步态序列中第M次迭代时的观察状态。
因此可得出后向局部变量计算公式为：
其中是第t次迭代时转移矩阵A的元素，当转移矩阵A不再变化时，停止迭代。
步骤7：对步态进行后验估计：相当于对步态的重构，将二值化图像看做是似然估计，即将与人相连的标记为1，背景为0；将步骤1-6算得步态轮廓概率分布看做是步态的先验估计，然后将两者相乘，就可以对存在缺失的步态做填补。如果不进行后验估计，那么手套被作为噪声去除，得到的步态就是没有手。主要是通过步骤4到步骤6中完成了对HMM模型λ＝(N,M,Π,A,B)的参数估计，任意一个步态轮廓都有一个与之对应的步态概率分布，然后采用HMM解码算法，得到步态序列中每个步态轮廓所对应的步态概率分布，看作是步态轮廓的先验概率。将步态轮廓和对应的步态概率分布相乘，再做二值化处理，即得到了去噪之后的步态轮廓，看作是步态轮廓的似然估计。将先验概率和似然估计相乘，得到的就是步态的后验估计，相对于直接提取到的似然估计而言，步态后验估计可以去除背包、大衣等人为噪声，更好的描述步态的原始特征。
步骤8：在步态后验估计的基础上进行步态回归：基于步骤7得到经过后验估计后的步态，步态后验估计在去除了步态中的大部分噪声的同时，由于步态是经过了尺寸上的归一化操作，所以后验估计之后的步态所得到的是步态的动态属性，步态的静态属性被归一化处理掉。
为了同时将步态的动态属性和静态属性用于步态识别之中，在步态后验估计的基础上，进行步态回归。步态回归的主要思想是对步态后验估计做逆归一化操作，即将归一化之后的步态还原到原始的步态尺寸，这样原始步态的静态属性得以保留。具体算法如下：
步骤801：输入步骤7中得到的步态后验估计图片，步态轮廓对应的原始高度h；
步骤802：计算高度缩放比例α，这里归一化的高度H＝120；
α＝H/h；
步骤803：计算等比例缩放之前的宽度w，这里归一化的宽度为W：
步骤804：计算步态质心C，并按照xc将步态对齐在逆归一化之后的尺寸为h×w的图片中，这里Q是逆归一化之后步态轮廓图片中前景像素点的数目，p(xw,yh)是第i个像素点及其坐标；xw表示逆归一化之后步态轮廓图片中前景像素点的横坐标，yh表示逆归一化之后步态轮廓图片中前景像素点的纵坐标。
通过步态质心C就可以还原原始步态的静态属性。
如图3所示，采用本发明提供的方法步态去噪结果得到显著提升。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于隐马尔科夫模型的步态去噪方法，其特征在于：包含以下步骤：
步骤1：对采集到的步态轮廓高度进行归一化处理；
步骤2：对采集到的步态序列长度进行归一化处理；
步骤3：根据步骤2得到的归一化后的步态序列建立步态集合概率分布序列；
步骤4：采用隐马尔可夫模型计算获得每个步态集合概率的阈值，根据得到的每个步态集合概率的阈值获得步态的先验估计的结果；
步骤5：将步态集合和对应的步态集合概率分布相乘，再做二值化处理，得到步态集合的似然估计的结果；
步骤6：结合步骤4中获得先验估计的结果和步骤5中获得的步态集合的似然估计的结果对步态进行后验估计；
步骤7：在步态后验估计的基础上进行步态回归。
2.根据权利要求1所述的基于隐马尔科夫模型的步态去噪方法，其特征在于：步骤2中所述对步态序列长度进行归一化处理，将长度为L的步态序列聚类成长度为N的步态序列。
3.根据权利要求1所述的基于隐马尔科夫模型的步态去噪方法，其特征在于：步骤3中所述步态集合概率分布序列建立方法为，通过累加的方式得到每个步态集合的累加和，然后对相对应的图像做归一化操作得到每个步态集合的概率分布。
4.根据权利要求3所述的基于隐马尔科夫模型的步态去噪方法，其特征在于：根据公式 获得第j个步态集合的累加和其中，D为步态集合的长度，Sj，d表示第j个步态集合Sj的第d个步态轮廓；根据公式 获得第j个步态集合的概率分布Pj；其中，Sj，d(x，y)表示第j个步态集合Sj的第d个步态轮廓图片中的像素点坐标，x表示步态轮廓图片归一化后的像素高度，y表示步态轮廓图片归一化后的像素宽度。
5.根据权利要求1所述的基于隐马尔科夫模型的步态去噪方法，其特征在于：步骤7中所述在步态后验估计的基础上进行步态回归，对步态后验估计做逆归一化操作。
CN201710968206.7A 2017-10-18 2017-10-18 一种基于隐马尔科夫模型的步态去噪方法 Expired - Fee Related CN107818300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710968206.7A CN107818300B (zh) 2017-10-18 2017-10-18 一种基于隐马尔科夫模型的步态去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710968206.7A CN107818300B (zh) 2017-10-18 2017-10-18 一种基于隐马尔科夫模型的步态去噪方法

Publications (2)

Publication Number Publication Date
CN107818300A true CN107818300A (zh) 2018-03-20
CN107818300B CN107818300B (zh) 2021-06-01

Family

ID=61607995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710968206.7A Expired - Fee Related CN107818300B (zh) 2017-10-18 2017-10-18 一种基于隐马尔科夫模型的步态去噪方法

Country Status (1)

Country Link
CN (1) CN107818300B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353958A (zh) * 2020-02-28 2020-06-30 北京东软医疗设备有限公司 图像处理方法、装置及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103471589A (zh) * 2013-09-25 2013-12-25 武汉大学 一种室内行人行走模式识别和轨迹追踪的方法
CN103617347A (zh) * 2013-11-14 2014-03-05 杭州电子科技大学 跑步机用户异常状态监测方法
CN103793599A (zh) * 2014-01-17 2014-05-14 浙江远图智控系统有限公司 一种基于隐马尔科夫模型的出行异常检测方法
CN105095918A (zh) * 2015-09-07 2015-11-25 上海交通大学 一种多机器人系统故障诊断方法
CN105224918A (zh) * 2015-09-11 2016-01-06 深圳大学 基于双线性联合稀疏判别分析的步态识别方法
CN105335725A (zh) * 2015-11-05 2016-02-17 天津理工大学 一种基于特征融合的步态识别身份认证方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103471589A (zh) * 2013-09-25 2013-12-25 武汉大学 一种室内行人行走模式识别和轨迹追踪的方法
CN103617347A (zh) * 2013-11-14 2014-03-05 杭州电子科技大学 跑步机用户异常状态监测方法
CN103793599A (zh) * 2014-01-17 2014-05-14 浙江远图智控系统有限公司 一种基于隐马尔科夫模型的出行异常检测方法
CN105095918A (zh) * 2015-09-07 2015-11-25 上海交通大学 一种多机器人系统故障诊断方法
CN105224918A (zh) * 2015-09-11 2016-01-06 深圳大学 基于双线性联合稀疏判别分析的步态识别方法
CN105335725A (zh) * 2015-11-05 2016-02-17 天津理工大学 一种基于特征融合的步态识别身份认证方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AMIT KALE: "GAIT-BASED HUMAN IDENTIFICATION FROM A MONOCULAR VIDEO SEQUENCE", 《WSPC/TRIM SIZE: 9.75IN X 6.5IN FOR REVIEW VOLUME》 *
MIN WANG 等: "Robust Gait Recognition Using Gait Energy Image and Band-Limited Phase-Only Correlation", 《ADVANCED INTELLIGENT COMPUTING》 *
许凡 等: "基于CLSTM的步态分类方法", 《华东理工大学学报（自然科学版）》 *
马勤勇 等: "基于瞬时步态能量图的远距离身份识别", 《电子学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353958A (zh) * 2020-02-28 2020-06-30 北京东软医疗设备有限公司 图像处理方法、装置及系统
US11645736B2 (en) 2020-02-28 2023-05-09 Beijing Neusoft Medical Equipment Co., Ltd. Image processing methods, apparatuses and systems
CN111353958B (zh) * 2020-02-28 2023-07-25 北京东软医疗设备有限公司 图像处理方法、装置及系统

Also Published As

Publication number Publication date
CN107818300B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN109871781A (zh) 基于多模态3d卷积神经网络的动态手势识别方法及系统
Zhang et al. Active energy image plus 2DLPP for gait recognition
CN110659565B (zh) 一种基于带孔卷积的3d多人人体姿态估计方法
CN103942577A (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
Chen et al. Gait recognition based on improved dynamic Bayesian networks
CN107833239B (zh) 一种基于加权模型约束的寻优匹配目标跟踪方法
Jalal et al. Daily human activity recognition using depth silhouettes and transformation for smart home
CN102393910B (zh) 一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法
CN109726619A (zh) 一种基于参数共享的卷积神经网络人脸识别方法及系统
CN109902565A (zh) 多特征融合的人体行为识别方法
CN104794449A (zh) 基于人体hog特征的步态能量图获取及身份识别方法
CN102592150B (zh) 基于模糊理论决策的双向二维主成分分析的步态识别方法
CN102222215A (zh) 基于二级小波包分解和完全主成分分析的步态识别方法
Deng et al. Individual identification using a gait dynamics graph
CN111027586A (zh) 一种基于新型响应图融合的目标跟踪方法
CN107818300A (zh) 一种基于隐马尔科夫模型的步态去噪方法
CN105096343B (zh) 一种移动目标跟踪方法及装置
Uddin et al. Human activity recognition using robust spatiotemporal features and convolutional neural network
CN117173792A (zh) 一种基于三维人体骨架的多人步态识别系统
Elmezain et al. Vision-based human activity recognition using ldcrfs
CN105472380A (zh) 基于蚁群的压缩域显著性检测算法
CN106127236B (zh) 基于狄利克雷mrf混合模型的极化sar图像分类方法
CN113657186B (zh) 一种基于行人重识别的特征提取方法、装置和存储介质
Xiang et al. RGB-thermal based pedestrian detection with single-modal augmentation and ROI pooling multiscale fusion
Chen Efficient polygonal posture representation and action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210601

CF01 Termination of patent right due to non-payment of annual fee