CN111476077A - 一种基于深度学习的多视角步态识别方法 - Google Patents
一种基于深度学习的多视角步态识别方法 Download PDFInfo
- Publication number
- CN111476077A CN111476077A CN202010012500.2A CN202010012500A CN111476077A CN 111476077 A CN111476077 A CN 111476077A CN 202010012500 A CN202010012500 A CN 202010012500A CN 111476077 A CN111476077 A CN 111476077A
- Authority
- CN
- China
- Prior art keywords
- gait
- contour
- frames
- channel
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 27
- 238000011410 subtraction method Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims abstract description 10
- 230000000737 periodic effect Effects 0.000 claims abstract description 9
- 230000002776 aggregation Effects 0.000 claims abstract description 8
- 238000004220 aggregation Methods 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims abstract description 6
- 230000004931 aggregating effect Effects 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 230000000694 effects Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000013074 reference sample Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明涉及一种基于深度学习的多视角步态识别方法，属于计算机视觉和机器学习技术领域，包括S1：采集人的步态，从每段视频序列中随机抽取n帧，通过背景减除法提取步态轮廓图；S2：将提取的n张目标轮廓图进行预处理；S3：以人体运动的幅度来表示周期性变化，检测一个步态周期内的轮廓图；S4：以单一通道的步态能量图为基础，将步态序列中的帧映射到不同的通道，根据帧的幅度确定通道的边界；S5：将获得的多通道步态模板组成用于输入的集合，对每个模板提取特征后再将这些特征进行聚合；S6：选择度量学习的方法，提出具有增强约束的Triplet Loss函数来学习到最优的特征，辨别得到的特征聚合向量进行识别。
Description
技术领域
本发明属于计算机视觉和机器学习技术领域，涉及一种基于深度学习的多视角步态识别方法。
背景技术
步态识别是近年来计算机视觉和生物特征识别领域一个备受关注的研究方向，它旨在根据人们走路的姿势进行身份识别。每个人走路的风格都各有不同，这都源于每个人的骨骼长度、肌肉强度、重心强度以及运动神经灵敏度等24种不同的成分的差异性所造成的，如果把这些成分都考虑到，则步态是为个体所特有的。正是由于每个人步态的唯一性，且利用步态来识别个体具有远距离、非受控、不易伪装等优点，使得步态识别技术有了长足的发展，在医疗、监控和疑犯跟踪等方面都有很广阔的应用前景。步态识别作为一种新兴的生物识别技术，相比于较为成熟的识别技术如指纹、人脸识别等，在识别精度和速度方面都有一定的不足。随着卷积神经网络的带动发展，步态识别研究成果在各方面的性能得到了很大的提升。步态特征提取是整个识别过程中最为关键的一步，也是一直以来国内外学者的研究热点。现如今的步态特征提取的方法主要可分为基于模型匹配的方法和基于外观匹配的方法。
基于模型匹配的方法提供了可用于测量肢体长度、人体关节角度和角速度的运动学模型，在基于模型的步态识别中，2D/3D人体运动姿态模型常被用于提取步态特征。2D运动姿态建模的方法主要基于腿、头、手臂等肢体长度与身体高度的比例。Bouchrika等人利用椭圆傅立叶描述符(Elliptic Fourier Descriptors,EFD)提取人体关节，以参数化形式描述人体运动的空间模型模板。同时，采用自适应序列前向漂浮选择(AdaptiveSequential Forward Floating Selection, ASFFS)搜索算法去除冗余步态特征并获取具有区分度的步态特征。Deng等人基于人体模型构建了一个二维人体运动模型并提取四个下肢关节角度作为运动特征并使用确定性学习 (Deterministic Learning,DL)方法学习这些人体姿态参数，最终根据最小距离准则判断待测个体与训练集中个体的相似度完成身份识别。除了2D人体运动模型外，在多视角、遮挡等方面具有优势的3D人体模型也常被用于步态特征提取。邓秀春等提出了基于三维步态特征的步态识别方法，但是该方法需要多台摄像头同时进行数据采集，对衣服变化等处理比较困难。Lu 等人采用41个标签来标记身体的关节点并通过放置周围的12台摄像机采集人体上的标记点并以此构建出人体运动姿态。获得人体运动姿态后，将左右腿的角度结合计算出联合分布谱，并依此分布谱进行身份识别。
基于外观匹配的方法是从行人的步态序列中产生的时空模式分析步态，对人体步态的轮廓、外形和原始图像等进行特征提取，主要通过计算视觉之间的相似性来来进行步态识别。具体的，基于外观匹配的方法可以分为基于步态能量图的方法和基于步态图像序列的方法。步态能量图(Gait Energy Image，GEI)通过在长时间范围内平均步态轮廓图，可以有效地抑制由于预处理失败而导致的噪声，但却丢失了部分时间上的信息。Wang等人提出了一种基于时间保持的步态能量图(Chrono-gait Image，CGI),该模板利用RGB颜色空间保存了原生步态序列中的时间信息。Chao等人直接将步态轮廓图当作没有时序关系的图像集，识别效果显著。步态图像序列因其完整地保留了步态特征时间上的信息，所以能够有效地处理识别中的一些挑战。Decann等人提出了时空域上的步态曲线(Gait Curves)的方法进行步态识别。在他们的方法中通过计算每一帧二值步态轮廓图的静态特征，从而提取出步态曲线。之后根据不同行走状态的步态曲线进行对比进行背包检测并进行轮廓校正。Hu等人提出一种基于光流的增量步态识别框架，其使用局部二值模式(LBP)的方法来描述光流的纹理信息，同时使用隐马尔科夫模型(Hidden Markov Model,HMM)来表征人体步态运动过程中姿势的动态变化。所提出的方法对噪声和识别有良好的效果。
发明内容
有鉴于此，本发明的目的在于针对拍摄视角的改变会使人体的整体轮廓发生变化，而多相机拍摄系统又会增加成本与运算时间的问题，提供一种基于深度学习的多视角步态识别方法，方法中将一个周期的步态轮廓图进行归一化处理后，通过步幅的大小将周期内的轮廓图划分为7个通道，每个通道内的轮廓图按照平均步态来处理，最后得到七通道的步态模板。结合卷积神经网络的优异性能，将该多通道步态模板Period Energy Image(PEI)当成图像集作为网络的输入，让网络自身去提取步态模板之间的时序关系。在此基础上，使用增强约束的 Triplet Loss函数来学习到最优的特征和距离度量，使最终的训练更加有效，最终提出的方法在多视角的情况下能取得很好的识别效果。
为达到上述目的，本发明提供如下技术方案：
一种基于深度学习的多视角步态识别方法，包括以下步骤：
S1：通过摄像头采集人的步态，从每段视频序列中随机抽取n帧，通过背景减除法从视频帧中提取步态轮廓图；
S2：将从每段视频中提取的n张目标轮廓图进行剪裁、对齐预处理；
S3：以人体运动的幅度来表示周期性变化，检测一个步态周期内的轮廓图；
S4：以单一通道的步态能量图为基础，将步态序列中的帧映射到不同的通道，根据帧的幅度来确定通道的边界，获得多通道步态模板；
S5：将获得的多通道步态模板组成用于输入的集合，对每个模板提取特征后再将这些特征进行聚合；
S6：选择度量学习的方法，提出具有增强约束的Triplet Loss函数来学习到最优的特征，辨别得到的特征聚合向量来实现识别。
进一步，步骤S1中，针对室内环境采用直接差分的背景减除方法，针对室外环境采用背景实时更新的背景减除方法；假设B(x,y)和fn(x,y)分别代表背景图像和当前图像中(x,y)处的像素值，按照公式(1)进行差分运算：
其中，T为设定的阈值，R′n(x,y)为最终得到的图像。
进一步，步骤S2中，具体包括以下步骤：
S21：通过遍历原始的步态轮廓图像，找出上、下、左、右边界像素值为1的点，以此来确定人体轮廓的最小矩形框作为人体目标轮廓图像；
S22：将目标轮廓中的每个像素点(xn,yn)缩放至(64,64yn/xn)，根据公式(2)计算其质心横坐标xc；
其中xi为人体轮廓像素点的横坐标，N为总体的像素点数；
S23：归一化轮廓图为64×64大小。
进一步，步骤S3中，用人体运动的幅度来表示周期性变化，通过检测步态周期来找到一些关键帧，并在一个周期内测量每个步态框架的相对位置；步态轮廓图腿部区域的平均宽度 W表示为：
其中h表示个体图像的高度，Li和Ri分别表示个体第i行中最左侧和最右侧前景像素的位置，0≤α≤β≤1；连续三个波峰或三个波谷之间的时间跨度为一个步态周期。
进一步，步骤S4中，根据帧的幅度来确定通道的边界，步态轮廓图在一定范围内对应的幅度用T(k)来表示：
其中k为通道数，k＝1,2,...,nc，m为通道窗口的大小；每个通道中的模板PEIk用该通道中帧的平均值序列来表示：
其中Nk为该通道内步态轮廓图的数量，Bt为第t帧的轮廓图像；通过式(4)和式(5)得到不同通道的步态模板。
进一步，步骤S5中，通过提取帧级能量图特征方法来代替提取单一的步态能量图的方法，以获得更全面的特征信息；
给定数据集中的N个人表示为y1,y2,...,yn，每个人只有自己独有的步态轮廓分布pi，每个序列中的轮廓表示为
其中
则识别任务表示为：
fi＝H(G(F(xi))) (6)
其中函数F通过CNN网络对序列中的每个轮廓图都进行特征提取；函数G将提取到的多幅图像的特征映射到序列级函数中，得到一个聚合特征向量；函数H通过全连接网络对得到的聚合特征向量进行辨别从而实现识别效果。
进一步，步骤S6中，选择度量学习中的三元组结构
其中参考样本记为
正样本记为
负样本记为
三元组经过神经网络映射到特征空间为
要求：
其中ε1为阈值参数，对其距离进行l2范数归一化处理：
添加新的损失函数来增强约束，使得相似样本对之间的距离小于一个设定的阈值τ2，并且这个阈值小于τ1，从而使改进的损失函数通过增加约束来增大类间距离和减小类内距离，改进后的Triplet Loss函数表示为：
其中N是训练样本的个数，β平衡了类内和类间距离所占的比重。
本发明的有益效果在于：
(1)通过摄像头采集人的步态，从每段视频序列中随机抽取n帧，通过背景减除法从视频帧中提取步态轮廓图；
(2)将从每段视频中提取的n张目标轮廓图进行剪裁、对齐等预处理；
(3)以人体运动的幅度来表示周期性变化，检测一个步态周期内的轮廓图；
(4)以单一通道的步态能量图为基础，将步态序列中的帧映射到不同的通道，这里根据帧的幅度来确定通道的边界；
(5)将获得的七通道步态模板组成用于输入的集合，对每个模板提取特征后再将这些特征进行聚合；
(6)选择度量学习的方法，提出具有增强约束的Triplet Loss函数来学习到最优的特征，辨别得到的特征聚合向量来实现识别。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明方法实现的流程图；
图2为本发明步态轮廓图预处理示意图；
图3为本发明步态周期图示意图；
图4为本发明七通道步态模板示意图；
图4(a)36°视角下模板示意图；
图4(b)90°视角下模板示意图；
图4(c)144°视角下模板示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
Chao等人提出的GaitSet算法直接将步态轮廓图当作没有时序关系的图像集，识别效果显著。但这里选取步态轮廓图作为步态特征，它只考虑了步态的时间信息而忽略了部分空间信息，步态的空间信息在识别过程中同样发挥着重要的作用。基于单幅图像提取特征的方法提取了步态能量图的高维特征，既降低了计算成本，也保留了大部分的步态信息，但是忽略了步态中的时序信息。而直接从有序的步态轮廓图提取特征能很好的建模步态中的时域和空域信息，但是计算复杂且不易于训练。如图1所示，本发明结合了以上两种方法的优点，将多通道的步态能量图当作没有时序关系的图像集，让深度神经网络自身优化去提取并利用这种关系。
一、步态检测
在静态背景下运动目标检测与分割问题上，通常使用的方法为光流法、帧间差分法和背景减除法。通过对各个方法进行对比，最终采用背景减除法对人体进行检测与分割。针对室内环境采用直接差分的背景减除方法，而室外环境则采用背景实时更新的背景减除方法。假设B(x,y)和fn(x,y)分别代表背景图像和当前图像中(x,y)处的像素值，按照公式(1)进行差分运算：
其中，T为设定的阈值，R′n(x,y)为最终得到的图像。
二、归一化步态轮廓图
图2为本发明归一化步态轮廓图示意图。首先，通过遍历原始的步态轮廓图像，找出上、下、左、右边界像素值为1的点，以此来确定人体轮廓的最小矩形框作为人体目标轮廓图像。然后将目标轮廓中的每个像素点(xn,yn)缩放至(64,64yn/xn)，根据公式(2)计算其质心横坐标 xc。
其中xi为人体轮廓像素点的横坐标，N为总体的像素点数。最后，归一化轮廓图为64× 64大小。
三、步态周期检测
图3为本发明的步态周期图示意图。步态区别于其他生物特征的一个重要方面就是人体步态具有很强的周期性。通过对单幅特征图像或者整个周期的图像进行匹配，可以在识别过程中对周期步态进行有效的评估。这里我们用人体运动的幅度来表示周期性变化，通过检测步态周期来找到一些关键帧，并在一个周期内测量每个步态框架的相对位置。步态轮廓图腿部区域的平均宽度W可表示为：
其中h表示个体图像的高度，Li和Ri分别表示个体第i行中最左侧和最右侧前景像素的位置，这里0≤α≤β≤1。连续三个波峰或三个波谷之间的时间跨度为一个步态周期。
四、获取多通道步态模板
图4为本发明七通道步态模板示意图。以单一通道的步态能量图为基础，这里提出了多通道的步态模板。在多通道的步态模板中，步态序列中的帧被映射到不同的通道，我们根据帧的幅度来确定通道的边界，步态轮廓图在一定范围内对应的幅度用T(k)来表示：
其中k为通道数，k＝1,2,...,nc，m为通道窗口的大小。每个通道中的模板PEIk用该通道中帧的平均值序列来表示：
其中Nk为该通道内步态轮廓图的数量，Bt为第t帧的轮廓图像。通过式(4)和式(5)可以得到不同通道的步态模板。
五、基于图像集的特征提取和聚合
特征提取作为整个步态识别过程中最为关键的一步，直接影响了最后的识别效果。本发明通过提取帧级能量图特征方法来代替提取单一的步态能量图的方法，以获得更全面的特征信息。
给定数据集中的N个人表示为y1,y2,...,yn，每个人只有自己独有的步态轮廓分布pi，每个序列中的轮廓可以表示为
其中
则识别任务可表示为：
fi＝H(G(F(xi))) (6)
其中函数F通过CNN网络对序列中的每个轮廓图都进行特征提取；函数G将提取到的多幅图像的特征映射到序列级函数中，得到一个聚合特征向量；函数H通过全连接网络对得到的聚合特征向量进行辨别从而实现识别效果。
六、度量学习方式的选择
识别任务大都是基于数据上的距离度量展开的，为了处理相似度，我们可以在特定的任务通过选择合适的特征并手动构建距离函数。然而这种方法会需要很大的人工投入，也可能对数据的改变非常不鲁棒。度量学习作为一个理想的替代，学习样本之间的距离度量，为估计样本相似性提供更可靠的依据。
这里我们选择度量学习中的三元组结构
其中参考样本记为
正样本记为
负样本记为
三元组经过神经网络映射到特征空间为
那么就要求：
其中ε1为阈值参数，对其距离进行l2范数归一化处理：
传统的三元组损失函数只要求样本对之间的类内距离小于类间距离，而并没有提出相似样本对之间的相似程度。这很有可能导致相似样本对在着装、遮挡、不同视角等外界环境的影响下产生差异。
基于以上的问题，本文中做出了相应的改进。我们添加了新的损失函数来增强约束，使得相似样本对之间的距离应小于一个设定的阈值τ2，并且这个阈值应该小于τ1。这样，改进的损失函数通过增加约束来增大类间距离和减小类内距离，改进后的Triplet Loss函数可表示为：
其中N是训练样本的个数，β平衡了类内和类间距离所占的比重。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于深度学习的多视角步态识别方法，其特征在于：包括以下步骤：
S1：通过摄像头采集人的步态，从每段视频序列中随机抽取n帧，通过背景减除法从视频帧中提取步态轮廓图；
S2：将从每段视频中提取的n张目标轮廓图进行剪裁、对齐预处理；
S3：以人体运动的幅度来表示周期性变化，检测一个步态周期内的轮廓图；
S4：以单一通道的步态能量图为基础，将步态序列中的帧映射到不同的通道，根据帧的幅度来确定通道的边界，获得多通道步态模板；
S5：将获得的多通道步态模板组成用于输入的集合，对每个模板提取特征后再将这些特征进行聚合；
S6：选择度量学习的方法，提出具有增强约束的Triplet Loss函数来学习到最优的特征，辨别得到的特征聚合向量来实现识别。
2.根据权利要求1所述的基于深度学习的多视角步态识别方法，其特征在于：步骤S1中，针对室内环境采用直接差分的背景减除方法，针对室外环境采用背景实时更新的背景减除方法；假设B(x,y)和fn(x,y)分别代表背景图像和当前图像中(x,y)处的像素值，按照公式(1)进行差分运算：
其中，T为设定的阈值，R′n(x,y)为最终得到的图像。
3.根据权利要求1所述的基于深度学习的多视角步态识别方法，其特征在于：步骤S2中，具体包括以下步骤：
S21：通过遍历原始的步态轮廓图像，找出上、下、左、右边界像素值为1的点，以此来确定人体轮廓的最小矩形框作为人体目标轮廓图像；
S22：将目标轮廓中的每个像素点(xn,yn)缩放至(64,64yn/xn)，根据公式(2)计算其质心横坐标xc；
其中xi为人体轮廓像素点的横坐标，N为总体的像素点数；
S23：归一化轮廓图为64×64大小。
4.根据权利要求1所述的基于深度学习的多视角步态识别方法，其特征在于：步骤S3中，用人体运动的幅度来表示周期性变化，通过检测步态周期来找到一些关键帧，并在一个周期内测量每个步态框架的相对位置；步态轮廓图腿部区域的平均宽度W表示为：
其中h表示个体图像的高度，Li和Ri分别表示个体第i行中最左侧和最右侧前景像素的位置，0≤α≤β≤1；连续三个波峰或三个波谷之间的时间跨度为一个步态周期。
5.根据权利要求1所述的基于深度学习的多视角步态识别方法，其特征在于：步骤S4中，根据帧的幅度来确定通道的边界，步态轮廓图在一定范围内对应的幅度用T(k)来表示：
其中k为通道数，k＝1,2,...,nc，m为通道窗口的大小；每个通道中的模板PEIk用该通道中帧的平均值序列来表示：
其中Nk为该通道内步态轮廓图的数量，Bt为第t帧的轮廓图像；通过式(4)和式(5)得到不同通道的步态模板。
6.根据权利要求1所述的基于深度学习的多视角步态识别算法，其特征在于：步骤S5中，通过提取帧级能量图特征方法来代替提取单一的步态能量图的方法；
给定数据集中的N个人表示为y1,y2,...,yn，每个人只有自己独有的步态轮廓分布pi，每个序列中的轮廓表示为
其中
则识别任务表示为：
fi＝H(G(F(xi))) (6)
其中函数F通过CNN网络对序列中的每个轮廓图都进行特征提取；函数G将提取到的多幅图像的特征映射到序列级函数中，得到一个聚合特征向量；函数H通过全连接网络对得到的聚合特征向量进行辨别从而实现识别效果。
7.根据权利要求1所述的基于深度学习的多视角步态识别方法，其特征在于：步骤S6中，选择度量学习中的三元组结构
其中参考样本记为
正样本记为
负样本记为
三元组经过神经网络映射到特征空间为
要求：
其中ε1为阈值参数，对其距离进行l2范数归一化处理：
添加新的损失函数来增强约束，使得相似样本对之间的距离小于一个设定的阈值τ2，并且这个阈值小于τ1，从而使改进的损失函数通过增加约束来增大类间距离和减小类内距离，改进后的Triplet Loss函数表示为：
其中N是训练样本的个数，β平衡了类内和类间距离所占的比重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010012500.2A CN111476077A (zh) | 2020-01-07 | 2020-01-07 | 一种基于深度学习的多视角步态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010012500.2A CN111476077A (zh) | 2020-01-07 | 2020-01-07 | 一种基于深度学习的多视角步态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111476077A true CN111476077A (zh) | 2020-07-31 |
Family
ID=71746218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010012500.2A Pending CN111476077A (zh) | 2020-01-07 | 2020-01-07 | 一种基于深度学习的多视角步态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476077A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112214783A (zh) * | 2020-11-18 | 2021-01-12 | 西北大学 | 一种基于可信执行环境的步态识别平台及识别方法 |
| CN112613430A (zh) * | 2020-12-28 | 2021-04-06 | 杭州电子科技大学 | 一种基于深度迁移学习的步态识别方法 |
| CN112686196A (zh) * | 2021-01-07 | 2021-04-20 | 每日互动股份有限公司 | 图像选择方法、电子设备和计算机可读存储介质 |
| CN113158023A (zh) * | 2021-02-05 | 2021-07-23 | 杭州码全信息科技有限公司 | 基于混合推荐算法的公共数字生活精准分类服务方法 |
| CN113537121A (zh) * | 2021-07-28 | 2021-10-22 | 浙江大华技术股份有限公司 | 身份识别方法和装置、存储介质及电子设备 |
| CN113673537A (zh) * | 2021-07-14 | 2021-11-19 | 南京邮电大学 | 一种基于步态序列视频的人物轮廓特征提取方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016065534A1 (zh) * | 2014-10-28 | 2016-05-06 | 中国科学院自动化研究所 | 一种基于深度学习的歩态识别方法 |
| US9633268B1 (en) * | 2015-12-18 | 2017-04-25 | Beijing University Of Posts And Telecommunications | Method and device for gait recognition |
| CN108537181A (zh) * | 2018-04-13 | 2018-09-14 | 盐城师范学院 | 一种基于大间距深度度量学习的步态识别方法 |
| CN108921019A (zh) * | 2018-05-27 | 2018-11-30 | 北京工业大学 | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 |
| CN109711387A (zh) * | 2019-01-11 | 2019-05-03 | 哈尔滨工程大学 | 一种基于多类能量图的步态图像预处理方法 |
-
2020
- 2020-01-07 CN CN202010012500.2A patent/CN111476077A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016065534A1 (zh) * | 2014-10-28 | 2016-05-06 | 中国科学院自动化研究所 | 一种基于深度学习的歩态识别方法 |
| US20170243058A1 (en) * | 2014-10-28 | 2017-08-24 | Watrix Technology | Gait recognition method based on deep learning |
| US9633268B1 (en) * | 2015-12-18 | 2017-04-25 | Beijing University Of Posts And Telecommunications | Method and device for gait recognition |
| CN108537181A (zh) * | 2018-04-13 | 2018-09-14 | 盐城师范学院 | 一种基于大间距深度度量学习的步态识别方法 |
| CN108921019A (zh) * | 2018-05-27 | 2018-11-30 | 北京工业大学 | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 |
| CN109711387A (zh) * | 2019-01-11 | 2019-05-03 | 哈尔滨工程大学 | 一种基于多类能量图的步态图像预处理方法 |
Non-Patent Citations (3)
| Title |
|---|
| 吕卓纹;王一斌;邢向磊;王科俊;: "加权CCA多信息融合的步态表征方法" * |
| 施沫寒;王志海;: "一种基于时间序列特征的可解释步态识别方法" * |
| 王科俊;丁欣楠;邢向磊;刘美辰;: "多视角步态识别综述" * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112214783A (zh) * | 2020-11-18 | 2021-01-12 | 西北大学 | 一种基于可信执行环境的步态识别平台及识别方法 |
| CN112214783B (zh) * | 2020-11-18 | 2023-08-25 | 西北大学 | 一种基于可信执行环境的步态识别平台及识别方法 |
| CN112613430A (zh) * | 2020-12-28 | 2021-04-06 | 杭州电子科技大学 | 一种基于深度迁移学习的步态识别方法 |
| CN112613430B (zh) * | 2020-12-28 | 2024-02-13 | 杭州电子科技大学 | 一种基于深度迁移学习的步态识别方法 |
| CN112686196A (zh) * | 2021-01-07 | 2021-04-20 | 每日互动股份有限公司 | 图像选择方法、电子设备和计算机可读存储介质 |
| CN113158023A (zh) * | 2021-02-05 | 2021-07-23 | 杭州码全信息科技有限公司 | 基于混合推荐算法的公共数字生活精准分类服务方法 |
| CN113673537A (zh) * | 2021-07-14 | 2021-11-19 | 南京邮电大学 | 一种基于步态序列视频的人物轮廓特征提取方法 |
| CN113673537B (zh) * | 2021-07-14 | 2023-08-18 | 南京邮电大学 | 一种基于步态序列视频的人物轮廓特征提取方法 |
| CN113537121A (zh) * | 2021-07-28 | 2021-10-22 | 浙江大华技术股份有限公司 | 身份识别方法和装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476077A (zh) | 一种基于深度学习的多视角步态识别方法 | |
| Nadeem et al. | Human actions tracking and recognition based on body parts detection via Artificial neural network | |
| CN104008370B (zh) | 一种视频人脸识别方法 | |
| Simo-Serra et al. | A joint model for 2d and 3d pose estimation from a single image | |
| Uddin et al. | Human activity recognition using body joint‐angle features and hidden Markov model | |
| CN110555412B (zh) | 基于rgb和点云相结合的端到端人体姿态识别方法 | |
| CN106296742B (zh) | 一种结合特征点匹配的在线目标跟踪方法 | |
| CN109949341B (zh) | 一种基于人体骨架结构化特征的行人目标跟踪方法 | |
| CN109949375A (zh) | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 | |
| CN110490158B (zh) | 一种基于多级模型的鲁棒人脸对齐方法 | |
| CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
| CN106056053A (zh) | 基于骨骼特征点提取的人体姿势识别方法 | |
| CN107862240B (zh) | 一种多摄像头协同的人脸追踪方法 | |
| CN111027432B (zh) | 基于步态特征的视觉跟随机器人方法 | |
| CN109902565B (zh) | 多特征融合的人体行为识别方法 | |
| CN110008913A (zh) | 基于姿态估计与视点机制融合的行人再识别方法 | |
| CN112464847B (zh) | 视频中人体动作切分方法及装置 | |
| CN107563323A (zh) | 一种视频人脸特征点定位方法 | |
| CN113850865A (zh) | 一种基于双目视觉的人体姿态定位方法、系统和存储介质 | |
| CN105631899A (zh) | 一种基于灰度纹理特征的超声图像运动目标跟踪方法 | |
| CN106599785A (zh) | 人体3d特征身份信息库的建立方法及设备 | |
| CN111582036B (zh) | 可穿戴设备下基于形状和姿态的跨视角人物识别方法 | |
| CN102156994B (zh) | 一种单视角无标记人体运动跟踪的关节定位方法 | |
| CN105930793A (zh) | 一种基于sae特征可视化学习的人体检测方法 | |
| CN113256789A (zh) | 一种三维实时人体姿态重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200731 |