CN111062340A - 一种基于虚拟姿态样本合成的异常步态行为识别方法 - Google Patents
一种基于虚拟姿态样本合成的异常步态行为识别方法 Download PDFInfo
- Publication number
- CN111062340A CN111062340A CN201911321748.0A CN201911321748A CN111062340A CN 111062340 A CN111062340 A CN 111062340A CN 201911321748 A CN201911321748 A CN 201911321748A CN 111062340 A CN111062340 A CN 111062340A
- Authority
- CN
- China
- Prior art keywords
- sample
- virtual
- human body
- abnormal gait
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010017577 Gait disturbance Diseases 0.000 title claims abstract description 192
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 67
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 136
- 230000006399 behavior Effects 0.000 claims abstract description 64
- 230000005021 gait Effects 0.000 claims abstract description 32
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 32
- 230000037237 body shape Effects 0.000 claims description 31
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 10
- 238000005315 distribution function Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 10
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000001308 synthesis method Methods 0.000 abstract description 4
- 230000036544 posture Effects 0.000 description 110
- 239000013598 vector Substances 0.000 description 90
- 239000010410 layer Substances 0.000 description 41
- 210000002683 foot Anatomy 0.000 description 33
- 230000006870 function Effects 0.000 description 28
- 210000002569 neuron Anatomy 0.000 description 28
- 230000000007 visual effect Effects 0.000 description 26
- 238000000605 extraction Methods 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 21
- 210000001503 joint Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 210000004394 hip joint Anatomy 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 239000013256 coordination polymer Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 210000000629 knee joint Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 210000001624 hip Anatomy 0.000 description 2
- 210000002364 input neuron Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 241000227425 Pieris rapae crucivora Species 0.000 description 1
- 208000028752 abnormal posture Diseases 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 208000030175 lameness Diseases 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于虚拟姿态样本合成的异常步态行为识别方法。使用三维参数化的异常步态真实训练样本对虚拟姿态样本合成模型进行训练，然后使用训练完成的模型来生成虚拟样本，再利用真实训练样本和虚拟样本对SoftMax异常步态行为分类器进行训练，训练完成后即能够通过分类器对采集的异常步态行为进行准确识别。本发明所采用的虚拟姿态样本合成方法和特征调制机制，可以有效解决人体异常步态真实训练样本少的问题，显著提高异常步态行为检测和识别模型的鲁棒性，具有广泛的应用前景，包括：危险区域异常步态行为识别，老龄人异常步态行为检测，智能驾驶和安防中的行人步态行为分析等，有很好的经济和社会效益。
Description
技术领域
本发明涉及一种基于虚拟姿态样本合成的异常步态行为识别方法。
背景技术
异常步态通常指人体行走时的各种非正常的动作和姿态。作为一种重要的生物特征，它可以用来实现老龄人异常步态行为检测，安防领域中的异常行为监测，自动驾驶环境下的行人异常行为分析，医学中的步态症状评估和分析等，具有很广阔的应用前景和较大的实用价值。
当前通过视觉手段对异常步态行为进行检测和识别，主要有两种方法：一种基于传统二维图像数据，另一种基于结构光传感器采集的三维点云数据。使用二维视觉方法比较直观且方便，使用二维彩色摄像机来获取人体的步态运动图像数据，并通过模式识别方法进行检测和分析。比如，使用人体质心所在的相对位置来判断跌到，使用二值步态轮廓和支持向量机来进行异常步态行为的检测分类，使用步态能量图或运动历史图等基于统计信息的步态图像来进行异常步态特征的表述和分类识别等。
由于人体视觉是三维系统，通过三维摄像机采集的深度或点云数据来进行异常步态行为分析，可以充分发挥三维视觉的优势。比如使用深度摄像机来进行人体行为识别，通过法向量来提取人体运动能量特征的方法，实现对异常步态行为的分类和识别。使用滤波方法来获取深度视频中的局部特征点，通过深度长方体相似性特征描述和度量方法，将其应用于行为检测和识别算法中。
当前，无论二维检测方法还三维识别方法，都存在一个比较明显的问题，就是异常步态的训练样本不足。相比正常步态而言，真实异常步态行为数据太少，其中涉及到个人隐私等问题。由于无法大规模采集训练样本，因而形成了模式识别中的小样本问题。小样本问题，会使得异常步态检测识别在面对视角和形体变换，遮挡和衣着变化等外在因素时，直接影响到识别模型的识别准确性。二维步态图像由于缺少深度信息，无法构建三维空间模型，无法充分发挥三维人体模型的特点进行虚拟样本扩展。
当前，基于结构光深度传感器的人体行为检测识别方法得到了不少的关注。但是，结构光传感器所获取的人点云数据往往是杂乱无章的，同时也会受到光线、背景和遮挡等外界干扰，数据存在噪音和缺失。与此同时，三维异常人体步态数据获取比二维更加困难，比如摔倒，昏厥，跛脚等数据采集难度大，真实数据较少，大多是通过正常人员或专业演员模拟得到的单一视角数据。
在生物特征小样本扩展方面，通常使用两种技术，一种是根据生理结构对称性假设的镜像对称虚拟样本合成，如人脸识别中的左右完全对称样本合成。另一种是通过添加高斯噪音到原来样本中，以生成新的虚拟样本。镜像虚拟样本是一种完全对称的操作，但即使是正常健康的人，其人体也不是完全对称的，镜像对称是一种理想的假设，与实际存在偏差，一定程度上会影响到真实的识别效果。而添加高斯噪音的方法，可以解决图像识别中的普通白噪音干扰问题，但并不能解决不同人在相同动作上的个体差异问题，即不同人在同一个动作上，其姿态关节的变化上存在差异。同时对于加入高斯噪音的均值和方差很难自动选取，噪音过小作用不明显，噪音过大可能影响到分类结果，通常依据个人经验来设定，因此通用性不强。
发明内容
本发明公布一种基于虚拟姿态样本合成的异常步态行为识别方法，使用三维摄像机采集各种异常步态点云人体数据。以散乱和非结构化的点云人体数据为观测目标，通过变形标准的三维参数化人体模型，使变形后的参数化人体模型在形体和姿态关节上与采集的点云人体数据相似，利用基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数来进行相似度的评估，通过迭代计算估计出所采集异常点云人体数据对应的最优匹配三维参数化人体模型及其形体和姿态关节参数，得到具有不同形体和姿态关节参数的三维参数化人体模型，并构建参数化异常步态训练样本和测试样本。然后通过左右非镜像对称人体虚拟样本合成模型，将参数化异常步态训练样本数量扩展一倍。再运用构建的姿态扰动人体虚拟样本合成模型，通过基于先验知识的虚拟扰动姿态生成网络对参数化异常步态训练样本数量进一步扩展。将非镜像对称虚拟样本、姿态扰动虚拟样本和真实样本组合在一起，形成一个三者融合的参数化异常步态训练集。通过构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，对真实样本和虚拟生成样本进行特征调制和分类识别，有效提高分类器面对不同视角和人体形体时的鲁棒性。
为了实现上述技术目的，本发明的技术方案是，
一种基于虚拟姿态样本合成的异常步态行为识别方法，包括以下步骤：使用三维参数化的异常步态真实训练样本对包括非镜像对称人体虚拟样本合成模型和姿态扰动人体虚拟样本合成模型的虚拟姿态样本合成模型进行训练，然后使用训练完成的模型来生成虚拟样本，再利用真实训练样本和虚拟样本对SoftMax异常步态行为分类器进行训练，训练完成后即能够通过分类器对采集的异常步态行为进行准确识别。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其中的三维参数化的异常步态训练样本和测试样本的构建，是使用三维摄像机采集各种异常步态点云人体数据，以散乱和非结构化的点云人体数据为观测目标，通过变形标准的三维参数化人体模型，使变形后的参数化人体模型在形体和姿态关节上与采集的点云人体数据相似，再利用基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数来进行相似度的评估，通过迭代计算估计出所采集异常点云人体数据对应的最优匹配三维参数化人体模型及其形体和姿态关节参数，得到具有不同形体和姿态关节参数的三维参数化人体模型，将同一个步态周期序列下的不同姿态关节参数化人体模型按时间先后进行组合并形成样本，以异常步态类别为样本标签，构成三维参数化的异常步态样本集合，再将样本集合按预设比例划分成真实训练样本和测试样本。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其中虚拟姿态样本合成模型的非镜像对称人体虚拟样本合成模型的训练，是选取异常步态真实训练样本中具有左右对称的样本，利用它们的非完全对称姿态关节数据，对模型进行训练。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其中训练完成后的虚拟姿态样本合成模型中的非镜像对称人体虚拟样本合成模型生成虚拟样本，是利用该非镜像对称人体虚拟样本合成模型对异常步态训练样本中的三维参数化人体模型进行非镜像对称变换，生成新的非镜像对称三维参数化人体模型作为虚拟样本，从而将异常步态训练样本数量按姿态对称的方式扩充一倍。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，虚拟姿态样本合成模型中的姿态扰动人体虚拟样本合成模型，是由基于先验知识的虚拟扰动姿态生成式对抗网络构成，包括基于先验知识的虚拟扰动姿态生成网络和虚拟样本判别网络。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，虚拟姿态样本合成模型中的姿态扰动人体虚拟样本合成模型的训练，首先基于异常步态训练样本中的参数化三维人体模型姿态关节数据，计算出训练样本所对应的人体各姿态关节参数的扰动系数，与异常步态的类别标签一起作为模型的先验知识，然后与按姿态对称的方式扩充一倍后的异常步态训练样本一起对基于先验知识的虚拟扰动姿态生成式对抗网络进行训练。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其中在姿态扰动人体虚拟样本合成模型训练前，还包括首先进行输入数据扰动范围确定的步骤，基于按姿态对称的方式扩充一倍后的异常步态训练样本中的参数化三维人体模型姿态关节数据，通过基于模糊三角隶属度概率分布函数方法，以扩展现有训练样本下各种异常步态动作下的人体姿态关节数据的动态变化范围。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，训练完成后的姿态扰动人体虚拟样本合成模型生成虚拟样本，是通过给定数量的异常步态类别标签和扰动系数作为先验知识来生成新的姿态扰动虚拟样本，从而进一步扩展原来的训练样本数量。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，利用真实训练样本和虚拟合成样本对SoftMax异常步态行为分类器进行训练，是首先构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，再利用真实训练样本、生成的非镜像对称三维参数化人体模型和生成的姿态扰动虚拟样本，对分类器进行训练。
本发明的技术效果在于，利用结构光传感器获取人体步态的杂乱无序和非结构化的点云数据。然后对三维标准参数化人体模型进行形体和姿态变形，运用基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数，使其在形状和姿态上匹配点云人体数据，从而将传感器采集的点云人体数据转化为结构化的三维参数化人体模型，具备形体和姿态变形功能。根据异常人体样本的姿态估计数据，通过非镜像对称人体虚拟样本合成模型，可以扩展其非镜像对称性姿态样本。再通过基于先验知识的虚拟扰动姿态生成式对抗网络模型，依据给定扰动条件和类别标签信息，来主动扩展其扰动姿态样本。所述的虚拟姿态样本合成方法，可以有效根据先验知识和现有的小样本异常步态数据，来生成大量的高质量虚拟样品，对于三维异常人体步态训练样本少的问题非常有效。通过构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，对扩展样本进行特征调制和分类识别，提高异常步态行为检测和识别模型面对不同视角和人体行体时的鲁棒性，可广泛应用于变电站等危险区域异常步态行为识别，老龄人异常步态行为检测和智能驾驶中的行人步态行为分析和智能安防中的行人异常步态行为检测等领域，具有很好的经济和社会效益。
下面结合附图对本发明作进一步说明。
附图说明
图1为本发明参数化人体模型及其点云数据示意图；其中(a)为三维参数化人体模型，(b)为参数化人体模型骨架信息，(c)为所对应的标准人体点云数据；
图2为Kinect三维摄像机采集的人体点云数据示意图；其中(a)为侧面45度图，(b)为正面图；
图3为本发明点云人体数据到三维参数化人体模型估计示意图；
图4为本发明非镜像对称虚拟姿态样本合成示意图；其中(a)为真实样本，(b)为虚拟合成的左右镜像对称样本；(c)为虚拟合成的左右非镜像对称样本；
图5为本发明异常步态人体模型姿态关节参数动态范围扩展后的模糊三角隶属度概率分布函数示意图；
图6为本发明基于先验知识的姿态扰动生成对抗网络模型结构示意图；
图7为本发明的姿态扰动虚拟样本合成示意图；其中(a)为真实样本，(b)～(f)为合成的姿态扰动人体虚拟样本；
图8为本发明具有视角和形体特征调制机制的SoftMax异常步态行为分类器示意图；
图9本发明虚拟样本合成方法与其它异常步态分类识别方法实验对比示意图；其中(a)为右脚垫高5cm异常识别对比，(b)为右脚垫高10cm异常识别对比，(c)为右脚垫高15cm异常识别对比，(d)为右脚负重4Kg异常识别对比。
具体实施方式
本发明包括以下步骤：
A、使用三维参数化异常步态训练样本对虚拟姿态样本合成模型进行训练，使用训练完成的模型来生成虚拟样本，利用真实训练样本和虚拟合成样本对SoftMax异常步态行为分类器进行训练，并对测试样本进行识别，虚拟姿态样本合成模型包括非镜像对称人体虚拟样本合成模型和姿态扰动人体虚拟样本合成模型。
B、所述权利A)中三维参数化异常步态训练样本和测试样本的构建，使用三维摄像机采集各种异常步态点云人体数据，以散乱和非结构化的点云人体数据为观测目标，通过变形标准的三维参数化人体模型，使变形后的参数化人体模型在形体和姿态关节上与采集的点云人体数据相似，利用基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数来进行相似度的评估，通过迭代计算估计出所采集异常点云人体数据对应的最优匹配三维参数化人体模型及其形体和姿态关节参数，得到具有不同形体和姿态关节参数的三维参数化人体模型，将同一个步态周期序列下的不同姿态关节参数化人体模型按时间先后进行组合并形成一个样本，以异常步态类别为样本标签，构成参数化异常步态样本集合，再将样本集合按给定比例划分成训练样本和测试样本；
C、所述权利要求A)中非镜像对称人体虚拟样本合成模型训练，选取B)中异常步态训练样本中具有左右对称的样本，利用它们的非完全对称姿态关节数据，对模型进行训练，训练完成后，利用该非镜像对称人体虚拟样本合成模型对异常步态训练样本集合中所有样本中的三维参数化人体模型进行非镜像对称样本虚拟合成，生成新的非镜像对称三维参数化人体模型，将异常步态训练样本数量按姿态对称的方式扩充一倍。
D、所述权利要求A)中的姿态扰动人体虚拟样本合成模型的输入数据扰动范围确定，利用权利C)所述扩充一倍后的异常步态训练样本中的参数化三维人体模型姿态关节数据，通过基于模糊三角隶属度概率分布函数方法，扩展现有训练样本下各种异常步态动作下的人体姿态关节数据的动态变化范围；
E、所述权利要求A)中的姿态扰动人体虚拟样本合成模型，由基于先验知识的虚拟扰动姿态生成式对抗网络构成，具体包括基于先验知识的虚拟扰动姿态生成网络和虚拟样本判别网络，通过在所述权利要求D)中的异常步态人体模型的姿态关节数据动态范围内，计算出训练样本所对应的人体各姿态关节参数的扰动系数，与异常步态的类别标签一起作为模型的先验知识。
F、利用权利C)所述扩充一倍后的三维参数化异常步态训练样本和E)中所述方法计算的先验知识，对E)所述基于先验知识的虚拟扰动姿态生成式对抗网络进行训练，使用训练完成的虚拟扰动姿态生成网络，通过给定数量的异常步态类别标签和扰动系数作为先验知识来生成新的姿态扰动虚拟样本，扩展原来的训练样本数量。
G、构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，利用所述B)的真实样本，C)所述非镜像对称虚拟合成样本和F)所述虚拟扰动姿态虚拟合成样本，对分类器进行训练，运用训练好的异常步态行为分类器对B)所述测试样本进行识别。
所述的方法，所述步骤B包括以下具体步骤：
1)利用三维摄像机获取各种异常步态点云人体数据和所对应的点云深度图Idepth＝{(x,y,d(x,y)),x∈[1..M],y∈[1..N]}，M、N分别表示深度图像的长和宽，x、y为图像上的像素二维坐标，d(x,y)为对应像素的深度值；
2)使用SCAPE参数化人体建模方法来构建标准的三维参数化人体模型，β表示SCAPE参数化人体模型训练时用到的形体参数向量，该向量包含Ks个人体的形体参数；r向量表示SCAPE参数化人体模型训练时用到的姿态关节参数向量，使用CMU mocap运动人体骨架来定义姿态关节参数，r向量由Kp个具体关节参数构成，关节参数为对应骨架关节的在x,y和z坐标轴上的旋转值；
3)构建基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数和规则：
式中，
是给定点云深度图像Idepth中第i个像素的深度值提取函数,
表示头部质心提取函数，
表示二阶范数，Pα表示采集的人体点云数据在α视图的投影深度图像，α视角表示观测人体的水平视角，0度定义为正面，90度定义为左侧面(头和身体向左)，-90度定义为右侧面(头和身体向右)，±180度定义为背面，γα表示形体参数向量为r和姿态关节参数向量为β的三维参数人体模型对应α视图的投影深度图像，
表示一组共Jrule项关于人体姿态关节的知识规则集合，
定义了一组共Krule项关于人体形状的知识规则集合，规则函数rule( )输入当前形体参数向量β或姿态关节参数向量r，以检查是否存在违反当前规则的情况，当有数据违反预设规则时返回一个大于10000的惩罚项正值，否则返回零；
4)改变形体参数向量β和姿态关节参数向量r来变形2)所述标准的三维参数人体模型，使其与采集的人体点云数据相在形体和姿态上相似，通过最小化基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数，即求解
得到最优的形体参数向量βopt和姿态关节参数向量ropt，获得与点云人体最相似的三维参数化人体模型为Yopt＝P(ropt)·S(βopt)·Xstd，其中P( )为姿态关节变形函数，S( )为形体变形函数，Xstd为标准参数人体模型数据，它们都是通过SCAPE参数化人体建模方法，在三维人体数据库中学习得到；
5)通过步骤3)和4)得到具有不同形体和姿态关节参数的三维参数化人体模型，将同一个步态周期序列下的不同姿态关节参数化人体模型按时间先后进行组合并形成一个样本，每个样本由L＝20个相同形体不同姿态关节参数化人体模型构成，模型由形体参数向量和L＝20个姿态关节参数向量进行描述，以异常步态类别为样本标签，构成参数化异常步态样本集合，令集合共有Kset个样本，再将样本集合按δ:(1-δ)的比例随机划分成异常步态训练样本和测试样本，δ∈[0 1]，划分后，令异常步态真实训练样本为Ktr个，构成真实训练样本集合Xrel,测试样本Kte个，构成测试样本集合Xtest；
所述的方法，所述步骤C中包括以下具体步骤：
1)选取B步骤5)中异常步态训练样本中具有左右对称的样本，每个样本由L＝20个不同姿态的人体模型按照动作时序先后组合构成，利用这些人体模型，对非镜像对称人体虚拟样本合成模型进行训练，令
表示与左脚相关的异常步态人体模型数据，K表示所有与左脚相关人体模型数量，Left表示左脚标志，
其中T表示向量的转置，
表示n维几何空间，即向量有n维数据，
表示第k个左脚异常的人体模型对应的三维姿态关节参数向量，
表示其对应的人体形体参数向量，n为形体参数向量和姿态关节参数向量的总参数个数，令
表示对应的与右脚相关的异常步态数据
Right表示右脚标志，
表示第k个右脚异常的人体模型对应的三维姿态关节参数向量，
表示其对应的人体形体参数向量；
2)所述非镜像对称人体虚拟样本合成模型的输入为左脚相关的异常步态数据
输出为非镜像对称右脚相关的异常步态数据
非镜像对称人体虚拟样本合成模型由单层神经网络构成，定义为
其中，M表示神经网络隐层输出结点，g(x)＝(ex-e-x)/(ex+e-x)表示激活函数，e＝2.71828为欧拉数，wm＝[wm1,…,wmn]T，wmn表示第n个输入神经元和第m个隐层神经元之间的联结系数，·表示内积操作，bm为偏置系数，μm＝[μm1,…,μmn]T，μmn表示第m个隐层神经元和第n个输出神经元之间的联结系数；上式通过以下矩阵形式表示，
上式
其中模型的学习，首先固定参数wm和bm，通过求解以下最小二乘法来确定μ系数：
式中，
表示二阶范数，通过非镜像对称样本
和
对模型进行训练，学习得到模型的最优参数，使模型具备估计异常步态的非镜像对称姿态虚拟样本的能力，给定新的左脚异常步态数据
估计其非镜像对称右脚异常步态姿态样本数据
3)再将右脚异常作为模型输入，左脚异常作为模型输出，通过相同过程学习到通过右脚异常来估计左脚异常的非镜像对称姿态虚拟样本；
4)利用左右非镜像对称人体虚拟样本合成模型对异常步态训练样本集合中所有样本中的三维参数化人体模型进行非镜像对称样本虚拟合成，生成新的非镜像对称形体参数向量和姿态关节参数向量，利用新的形体参数向量和姿态关节参数向量对标准参数化人体模型进行变形，即得到对应的非镜像对称三维参数化人体模型，将异常步态训练样本数量按姿态对称的方式扩充一倍，令扩充后的训练样本数为
Ktr为B步骤5)所述的真实异常步态训练样本；所述的方法，所述步骤D包括以下具体步骤：
1)令
表示三维异常步态的
个观测样本，ck为异常步态行为分类标号，C为最大类别标号；每个样本由L＝20帧不同姿态的人体模型按照动作时序先后组合构成，对应的L帧三维参数化人体姿态关节参数向量构成的特征矩阵表示为
表示矩阵几何空间为Kp×L维，即行Kp维，列L维。
表示第k个样本第l帧所对应的姿态关节参数向量，共有Kp个姿态关节参数；
2)固定其形体参数向量为
从
个观测样本中选取所属异常步态类别标号为c的Nc个样本，计算它们第n个姿态关节参数在l帧时的中心观测数值
表示异常步态类别分类标号，Uc表示属于c类的样本编号索引集合，n∈[1…Kp]。计算该类别对应l帧时的第n个姿态关节参数变量最小边界值LB和最大的边界值UB如下：
其中，Umin表示样本中的最小观测值，Umax表示最大观测值，κ＝NU/(NL+NU+sp)，λ＝NL/(NL+NU+sp)，NU表示所属异常步态类别标号为c的Nc个样本中，第n个姿态关节参数数据大于前面定义的中心观测数值UCP的数量，NL表示对应观测样本中小于UCP的数量，sp表示校正系数；指定姿态关节参数即所属异常步态类别标号为c的第l帧的第n个姿态关节参数的动态范围从原来的[UminUmax]扩展到了[LB UB]，其非对称的模糊三角隶属度概率函数表示为：
步骤E包括以下具体步骤：
1)所述基于先验知识的虚拟扰动姿态生成式对抗网络模型，包括基于先验知识的虚拟扰动姿态生成网络G和虚拟样本判别网络D；模型G学习真实数据分布，生成姿态扰动虚拟样本，模型D将虚拟生成样本与真实样本鉴别区分开来；基于先验知识的虚拟扰动姿态生成式对抗网络的模型表示如下：
其中，x表示训练数据，z为服从均匀分布的噪音数据，pz(z)表示均匀噪音的概率分布函数，ypr是数值表示的先验知识向量，由异常步态类别标签和姿态关节扰动系数构成，pdata(x)为训练数据概率分布函数，虚拟扰动姿态生成网络模型输入z噪音和ypr，生成虚拟姿态样本
表示为
鉴别网络D(x,ypr)当输入x为真实样本时输出1，当输入x为虚拟合成样本时输出0，E()为期望值；
2)向虚拟姿态生成网络G输入为dz维噪音z和dy维先验知识数据，噪音向量和先验知识向量分开输入，噪音z后面接L1隐层，其包含d1个神经元，先验知识后面接K2个隐层包含d2个神经元，将L1隐层和L2隐层神经元输出数据进行组合，作为L3隐层输入，L3隐层包含d3个神经元，L3隐层后面接输出层含有do个神经元，生成网络的输出为训练样本数据x。，虚拟样本判别网络D输入为待鉴定数据
和先验知识ypr的数据组合，输出为判定结果概率，真为1，假为0，中间两层隐层，分别包含d4和d5个神经元，输出层包括1个神经元；
3)所属c类异常步态样本的第n个姿态关节参数在l帧时的扰动系数的计算过程定义如下：
所述扰动系数I(x)是数值化先验知识ypr向量的重要组成，
其中，
)表示样本中第l帧中所有Kp个姿态关节参数的扰动系数，
Ik( )表示该样本所属类别第k个姿态关节参数值所对应的扰动系数函数，
表示样本在l帧时的第n个姿态关节参数值，Oc表示其所属类别的独热编码，独热编码又称一位有效编码，其方法是使用Nh位状态寄存器来对Nh个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效，独热编码长度为Nh。
步骤F包括以下具体步骤：
1)根据E步骤所述的基于先验知识的虚拟扰动姿态生成式对抗网络，先生成N1组均匀噪音，同时生成N1组先验知识数据
利用虚拟姿态生成网络对应生成N1组虚拟样本；将N1组虚拟样本和它们的先验知识数据ypr送到虚拟样本判别网络进行真假鉴别，此时固定虚拟样本判别网络输出为真值1，即认为它是真实样本而不是虚拟合成的，迭代更新生成样本模型参数，使
项最小化；
2)然后，固定虚拟扰动姿态生成网络，将N1组虚拟样本和非镜像对称扩充后的
组真实样本，结合它们的先验知识数据ypr同时送到虚拟样本判定网络进行训练，虚拟样本对应输出为假值0，真实样本对应输出为真值1，更新虚拟样本判别网络模型参数，使得
项最大化；
3)重复上述的两个步骤，直到迭代次数达到设定值，或模型收敛。
4)训练完成后，给定Nvr组噪音向量和先验知识向量ypr，生成Nvr组姿态扰动人体虚拟样本，每个样本都由形体参数向量βk，L帧姿态关节参数向量和所属异常步态类别标签进行描述，表示为
βk为人体参数模型的形体参数向量，
表示行Kp维和列L维的矩阵，
表示第k个样本第l帧所对应的姿态关节参数向量，共有Kp个姿态关节参数，Ck代表所对应的异常步态类别标签，k∈[1 Nvr]。
所述的方法，所述步骤G包括以下具体步骤：
1)将B步骤5)中所述真实样本
和C步骤4)以及F步骤4)中所述方法生成的虚拟样本
相结合，构成一个扩充训练样本
虚拟样本包括Ktr个非镜像对称合成样本和Nvr个虚拟扰动姿态样本，其中，
和
为F步骤4)所述，每个样本都由形体参数向量β，L帧姿态关节参数向量r和所属异常步态类别标签进行描述，ci,cn和ck代表所对应的异常步态类别标签；
2)构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，所述分类器由时空特征提取调制网络和SoftMax分类器构成；
所述时空特征调制网络由时空特征提取模块和视角形体特征调制模块组成，利用调制模块输出矩阵对特征提取模块的输出进行调制；
所述时空特征提取模块输入为参数化的异常人体步态点云投影序列图像
由连续L＝20帧α视角下的人体点云投影图像
构成，l∈[1…L]，M和N为图像尺寸,α投影视角如B步骤3)所述；
中的图像由训练样本集Xall中编号为i的样本
投影得到，其中
表示具备形体参数向量为βi和姿态关节参数向量为
的三维参数人体模型对应α视图的投影深度图像，其中
表示行Kp维和列L维的矩阵，
表示第i个样本第l帧所对应的姿态关节参数向量，共有Kp个姿态关节参数；时空特征提取模块由F1，F2和F3三个深度网络层组成，其中F1层是卷积特征提取层，由ResNet-50特征提取网络构成，输入
输出为对应提取特征
NRes＝1024为ResNet-50提取的特征维度；F2为基于卷积网络的长短时序记忆网络(LSTM)构成，神经元为1024个，输入为
输出为
NL为LSTM神经元个数；F3为全连接网络层，神经元为1024个，输入为
输出为
Nd＝256为全连接网络层神经元个数，
为全连接神经网络系数；
所述视角和形体特征调制模块输入为人体步态点云投影图像
所对应的投影视角αi和人体形体参数向量βi，即
N2为
数据维度,调制模块中间层由F4全连接层和调制矩阵转换层F5构成，F4输入为
输出为
其中
为全连接网络系数，b2为偏置，Nd＝256为F4全连接网络层神经元个数；F5输入为向量
输出为二阶调制矩阵
调制模块输出矩阵
对时空特征提取模块的输出yi进行调制的运算表示为
·表示内积运算，
为依据视角和形体特征调制后的时空特征，zi为新特征空间下的视角和人体形体参数无关的特征；
3)时空特征调制网络构建完成后，通过最小以下损失函数，运用梯度下降法进行训练，学习得到模型的参数：
其中，
为时空特征子集
中的样本，M为子集中样本数量，j∈[1…Nsub]，Nsub表示最大子集编号，每个子集都是由相近投影视角和形体参数的样本构成，时空特征样本
由时空特征模块对输入样本
进行特征提取得到,
和
为对应的调制模块输出调制矩阵，分别由输入
和
计算得到，它们为调制模块输入，由各自
对应的投影视角αi和形体参数向量βi构成，
为一个子集编号的集合，表示与子集j有相对应样本，但不同的形体和投影视角的子集编号索引集合；
4)时空特征提取调制网络进行训练完成后，运用所有调制后特征zi并根据其所属异常步态分类标签，对SoftMax异常步态行为分类器进行分类训练，完成后分类器即能够对B步骤4)所述异常步态测试样本集Xstd中的测试样本
进行分类识别，其中βtest,rtest,ctest参数意义与权利要求7中1)所述训练样本的构成参数一致，ctest为未知的所要估计的异常步态类别标签，通过G步骤提取其调制特征zi，运用训练好的SoftMax异常步态行为分类器对zi进行最终分类。
下面给出相应的具体实施例：
本实施中所述的方法，采用Python编程语言实现，使用公开发布的三维异常步行步态数据集(3D walking gait dataset)，该数据集包使用Microsoft Kinect三维摄像机采集得到，总共有8种异常步态数据,左脚4种异常(左脚垫高5、10、15CM和捆绑4Kg重物)，右脚4种异常(与左脚为对称状态)，同时有1种正常步态数据。
利用基于人体形体和运动信息先验知识的点云人体和三维人体相似性度量函数，估计点云人体数据所对应的三维异常步态模型构建训练样本和测试样本数据。
1)利用三维摄像机获取各种异常步态点云人体数据和所对应的点云深度图Idepth＝{(x,y,d(x,y)),x∈[1..M],y∈[1..N]}，M＝240，N＝160表示深度图像尺寸，d(x,y)为对应像素的深度值；
2)使用SCAPE参数化人体建模方法来构建标准的三维参数化人体模型，，在模型训练时，使用以下Ks＝15个人体形体参数，形体参数向量
包括：性别，年龄，身高，体重，头部垂直长，头部水平长，臂长，臂粗，腿长，腿粗，躯干厚度，胸围，腰围，臀围，双足尺寸。使用CMU mocap运动人体骨架模型来实现姿态动作变形，实施中使用以下Kp＝15关节参数，姿态关节参数向量
包含：头关节，左右肩关节，左右肘关节，左右手腕关节，胸部关节，根关节，左右髋关节，左右膝关节，左右脚踝关节。所有关节都拥有三个自由度；
3)构建基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数和规则：
式中，
是给定点云深度图像Idepth中第i个像素的深度值提取函数,
表示头部质心提取函数，
表示二阶范数，Pα表示采集的人体点云数据在α视图的投影深度图像，α视角表示观测人体的水平视角，0度定义为正面，90度定义为左侧面(头和身体向左)，-90度定义为右侧面(头和身体向右)，±180度定义为背面，Υα表示具备形体参数向量β和姿态关节参数向量r的三维参数人体在α视图的投影深度图像。
表示一组(Jrule＝5项)关于人体姿态关节的规则集合，包括：头部长度小于身高的1/6，体重(kg)/身高(m)的体质指数限定在15～45之间，身高限定在1米～2.5米，(全臂长/身高)×100比例限定在20～40，(全腿长/身高)×100比例限定在30～60。
定义了一组(Krule＝11项)关于人体形状的规则集合,包括：所有关节变化限定在-120度～120度之间，头关节屈曲变化限定在50度，后伸限定在30度以内，胸部关节后伸限定在30度以内，左右髋关节屈曲时不能同时大于30度，后伸不能同时大于20度(不能违反人体步态运动常识)，左右髋关节膝关节内外旋转不能大于50度，过伸(中立位为膝关节伸直)不能大于15度，膝关节内外旋转不能大于20度，肘关节(中立位为前臂伸直)过度伸直不能大于15度，踝关内外旋转不能大于30度。规则函数rule( )输入当前形体参数向量β或姿态关节参数向量r，以检查是否存在违反当前规则的情况，当有数据违反预设规则时返回一个大于10000的惩罚项正值，否则返回零；
4)通过改变形体参数向量β和姿态关节参数向量r来变形三维参数人体模型，使其与采集的人体点云数据相在形体和姿态上相似，共9×9×20×10＝16200个人体点云(9个人，8种异常步态1种正常步态，每个异常步态序列分割出取10组周期样本，每个周期样本20帧数据)，最小化基于人体结构和运动信息先验知识的点云人体和三维参数化人体相似性度量函数,即求解
得到最优的形体参数向量βopt和姿态关节参数向量ropt，获得与点云人体最相似的三维参数化人体模型为Yopt＝P(ropt)·S(βopt)·Xstd，其中P( )为姿态关节变形函数，S( )为形体变形函数，Xstd为标准参数人体模型数据，它们都是通过SCAPE参数化人体建模方法，使用Makehuman软件生成三维人体数据库进行学习。
5)依据4)所述方法得到16200个具有不同形体和姿态关节参数的三维参数化人体模型，将同一个步态周期序列下的不同姿态关节参数化人体模型按时间先后进行组合并形成一个样本，每个样本由L＝20个相同形体不同姿态关节参数化人体模型构成，模型由形体参数向量和L＝20个姿态关节参数向量进行描述，以异常步态类别为样本标签，构成参数化异常步态样本集合，集合共有Kset＝810个样本，再将样本集合按0.556:0.444的比例随机划分成异常步态训练样本和测试样本，划分后，异常步态真实训练样本为Ktr＝450个，构成真实异常步态训练样本集合Xrel,测试样本Kte＝360个，构成测试样本集合Xtest；利用非镜像对称人体虚拟样本合成模型来扩充一倍的异常步态训练样本数量。
1)选取真实异常步态训练样本集中一半的左脚异常参数化人体模型，令
表示真实左脚相关的异常步态人体数据，
其中T表示向量的转置，
表示n维几何空间，即向量有n维数据，
表示第k个左脚异常的人体模型对应的三维姿态关节参数向量，
表示其对应的人体形体参数向量，n＝60为形体参数向量和姿态关节参数向量的总参数个数，令
表示对应的与右脚相关的异常步态人体数据
Right表示右脚标志，
表示第k个右脚异常的人体模型对应的三维姿态关节参数向量，
表示其对应的人体形体参数向量；
2)非镜像对称人体虚拟样本合成模型由单层神经网络构成，定义为
其中，M＝60表示神经网络隐层输出结点，g(x)＝(ex-e-x)/(ex+e-x)表示激活函数，e＝2.71828为欧拉数，wm＝[wm1,…,wmn]T，wmn表示第n个输入神经元和第m个隐层神经元之间的联结系数，·表示内积操作，bm为偏置系数，μm＝[μm1,…,μmn]T，μmn表示第m个隐层神经元和第n个输出神经元之间的联结系数；上式通过以下矩阵形式表示，
上式
其中模型的学习，首先固定参数wm和bm，通过求解以下最小二乘法来确定μ系数：
式中，
表示二阶范数，通过3600个左脚异常真实样本
和非镜像对称的3600个右脚异常样本
对模型进行训练，学习得到模型的最优参数，使模型具备估计异常步态的非镜像对称姿态虚拟样本的能力，给定新的左脚异常步态数据
估计其非镜像对称右脚异常步态姿态样本数据
3)通过相同的方法，将右脚异常作为模型输入，左脚异常作为模型输出，可以学习到通过右脚异常来估计左脚异常的非镜像对称异常步态虚拟样本数据。
4)利用左右非镜像对称人体虚拟样本合成模型对异常步态训练样本集合中所有样本中的三维参数化人体模型进行非镜像对称样本虚拟合成，生成新的非镜像对称形体参数向量和姿态关节参数向量，利用新的形体参数向量和姿态关节参数向量对标准参数化人体模型进行变形，即得到对应的非镜像对称三维参数化人体模型，将异常步态训练样本数量按姿态对称的方式扩充一倍，令扩充后的训练样本数为
Ktr＝450为权利要求5中2)所述的真实异常步态训练样本；
利用扩充一倍后的异常步态训练样本中的参数化三维人体模型姿态关节数据，通过基于模糊三角隶属度概率分布函数方法，扩展现有训练样本下各种异常步态动作下的人体姿态关节数据的动态变化范围。
1)异常步态数据库中取一半异常样本，令
表示三维异常步态的K＝360个观测样本，ck为异常步态行为分类标号，C＝9为最大类别标号。每个样本由L＝20帧点云图像构成，其对应的三维参数化人体姿态关节序列参数特征表示为
表示第k个样本第l帧所对应的姿态关节参数向量，共有Kp＝45个姿态关节参数。
令
表示三维异常步态的
个观测样本，ck为异常步态行为分类标号，C＝9为最大类别标号；每个样本由L＝20帧不同姿态的人体模型按照动作时序先后组合构成，对应的L帧三维参数化人体姿态关节参数向量构成的特征矩阵表示为
表示矩阵几何空间为45×20维。
表示第k个样本第l帧所对应的姿态关节参数向量，共有Kp＝45个姿态关节参数；
2)固定其形体参数向量为
从
个观测样本中选取所属异常步态类别标号为c的Nc＝100个样本，计算它们第n个姿态关节参数在l帧时的中心观测数值
表示异常步态类别分类标号，Uc表示属于c类的样本编号索引集合，n∈[1…45]。计算该类别对应l帧时的第n个姿态关节参数变量最小边界值LB和最大的边界值UB如下：
其中，Umin表示样本中的最小观测值，Umax表示最大观测值，κ＝NU/(NL+NU+sp)，λ＝NL/(NL+NU+sp)，NU表示所属异常步态类别标号为c的Nc＝100个样本中，第n个姿态关节参数数据大于前面定义的中心观测数值UCP的数量，NL表示对应观测样本中小于UCP的数量，sp＝0表示不需要校正；指定姿态关节参数即所属异常步态类别标号为c的第l帧的第n个姿态关节参数的动态范围从原来的[UminUmax]扩展到了[LB UB]，其非对称的模糊三角隶属度概率函数表示为：
构建基于先验知识的虚拟扰动姿态生成式对抗网络，计算异常步态训练样本所对应的人体各姿态关节参数的扰动系数。
1)构建基于先验知识的虚拟扰动姿态生成网络G和虚拟样本判别网络D；
2)基于先验知识的生成对抗网络，其模型表示如下：
其中，x表示训练数据，z为服从均匀分布的噪音数据，pz(z)表示均匀噪音的概率分布函数，ypr是数值表示的先验知识向量，由异常步态类别标签和姿态关节扰动系数构成，pdata(x)为训练数据概率分布函数，虚拟扰动姿态生成网络模型输入z噪音和ypr，生成虚拟姿态样本
表示为
鉴别网络D(x,ypr)当输入x为真实样本时输出1，当输入x为虚拟合成样本时输出0，E( )为期望值；
3)所述基于先验知识的虚拟扰动姿态生成网络G，输入为dz＝100维噪音z和dy＝45×20＝900维先验知识数据,噪音和先验知识分开输入，噪音z后面接L1隐层包含d1＝200个神经元，先验知识后面接L2个隐层包含d2＝200个神经元，将L1隐层和L2隐层神经元输出数据进行组合，作为L3隐层输入，L3隐层包含d3＝500个神经元，L3隐层后面接输出层含有do＝45个神经元，生成网络的输出为训练样本数据x。判定网络输入为待鉴定数据
和先验知识ypr的数据组合，输出为判定结果，中间有两层隐层，分别包含d4＝500和d5＝100个神经元，输出层包括1个神经元。
4)所属c类异常步态样本的第n个姿态关节参数在l帧时的扰动系数的计算过程如下：
扰动系数I(x)为先验知识ypr的重要组成数据，
其中L＝20，
表示样本中第l帧中所有45个姿态关节参数的扰动系数，Ik( )表示该样本所属类别第k个姿态关节参数值所对应的扰动系数函数，
表示样本在l帧时的第n个姿态关节参数值。Oc表示其所属类别的独热编码，使用Nh＝10位状态寄存器来对9个异常步态类别进行编码(多余1位空缺)，每个类别都由他独立的寄存器位，并且在任意时候，其中只有一位有效，独热编码长度为Nh＝10。
利用扩充一倍后的三维参数化异常步态训练样本和计算的先验知识数据，对基于先验知识的虚拟扰动姿态生成式对抗网络进行训练，使用训练完成的虚拟扰动姿态生成网络，扩展原来的训练样本数量。
1)生成N1＝1000组100维的均匀噪音，同时生成N1＝1000组先验知识数据
利用基于先验知识的虚拟扰动姿态生成网络G对应生成N1＝1000个虚拟样本。将1000组虚拟样本和它们的先验知识数据ypr送到虚拟样本判别网络进行真假鉴别，此时固定虚拟样本判别网络输出为真值1，即认为它是真实样本而不是虚拟合成的，迭代更新生成样本模型参数，使损失函数
最小化；
2)然后，固定生成样本，将N1＝1000个虚拟样本和
个扩充后的样本，结合它们的先验知识数据ypr同时送到虚拟样本判定网络进行训练，虚拟样本对应输出为假值0，真实样本对应输出为真值1，更新虚拟样本判别网络模型参数，使得
项最大化；
3)重复所述1)和2)中的步骤，直到模型收敛。
4)训练完成后，给定Nvr＝2000组噪音和先验知识ypr，按先验知识生成Nvr＝2000个姿态扰动虚拟样本，每个样本都由L＝20帧数据构成，表示为
训练完成后，给定Nvr＝2000组噪音向量和先验知识向量ypr，生成Nvr＝2000组姿态扰动人体虚拟样本，每个样本都由形体参数向量βk，L＝20帧姿态关节参数向量和所属异常步态类别标签进行描述，表示为
βk为人体参数模型的形体参数向量，
表示行45维和列20维的矩阵，
表示第k个样本第l帧所对应的姿态关节参数向量，共有Kp＝45个姿态关节参数，ck代表所对应的异常步态类别标签，k∈[1 2000]。
构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，利用真实样本，非镜像对称虚拟合成样本和虚拟扰动姿态虚拟合成样本，对分类器进行训练，运用训练好的分类器述测试样本进行识别。
1)将4中所述真实样本
和虚拟样
相结合,构成一个完整训练样本Xall＝Xrel∪Xvr，真实样本投影成3个视角(0度，45度，90度3个视角数据)共1080个样本，虚拟样由2000个扰动姿态数据(每个扰动姿态投影成3个视角)共6000样本和360个非镜相对称数据(每个投影成3个视角)共1080样本构成，输入为样本数据x，输出为其所对应的异常步态类别标签c；
将真实样本
和生成的虚拟样本
相结合，构成一个扩充训练样本
虚拟样本包括Ktr＝450个非镜像对称合成样本和Nvr＝2000个虚拟扰动姿态样本，其中，
和
对应为真实训练样本，虚拟训练样本和扩充训练样本，每个样本都由形体参数向量β，L帧姿态关节参数向量r和所属异常步态类别标签进行描述，ci,cn和ck代表所对应的异常步态类别标签；
2)构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，分类器由时空特征提取调制网络和SoftMax分类器构成；
3)时空特征调制网络由时空特征提取模块和视角形体特征调制模块组成，利用调制模块输出矩阵对特征提取模块的输出进行调制；
4)时空特征提取模块输入为参数化的异常人体步态点云投影序列图像
由连续L＝20帧α＝45视角下的人体点云投影图像
构成，l∈[1…20]，M＝240和N＝160为图像尺寸,α投影视角如权利要求2中3)所述；
中的图像由训练样本集Xall中编号为i的样本
投影得到，其中
表示形体参数向量为βi和姿态关节参数向量为
的三维参数人体模型对应α＝45视图的投影深度图像，其中
表示行45维和列20维的矩阵，
表示第i个样本第l帧所对应的姿态关节参数向量，共有Kp＝45个姿态关节参数；时空特征提取模块由F1，F2和F3三个深度网络层组成，其中F1层是卷积特征提取层，由ResNet-50特征提取网络构成，输入
输出为对应提取特征
NRes＝1024为ResNet-50提取的特征维度；F2为基于卷积网络的长短时序记忆网络(LSTM)构成，神经元为1024个，输入为
输出为
NL为LSTM神经元个数；F3为全连接网络层，神经元为1024个，输入为
输出为
Nd＝256为全连接网络层神经元个数，
为全连接神经网络系数；
5)所述视角和形体特征调制模块输入
为人体步态点云投影图像
所对应的投影视角αi和人体形体参数βi，N2＝4为
数据维度，主要包括1个水平视角参数和3个形体参数(性别、身高和体重),调制模块中间层由F4全连接层和调制矩阵转换层F5构成，F4输入为
输出为
其中
为全连接网络系数，b2为偏置，Nd＝(256)2为F4全连接网络层神经元个数；F5输入为向量
输出为二阶调制矩阵
6)所述3)中调制模块输出矩阵
对时空特征提取模块的输出yi进行调制的运算表示为
·表示内积运算，
为依据视角和形体特征调制后的时空特征，zi为新特征空间下的视角和人体形体参数无关的特征；
7)所述3)-6)的时空特征调制网络，构建完成后，通过最小以下损失函数，运用梯度下降法进行训练，学习得到模型的参数：
其中，
为时空特征子集
中的样本，M为子集中样本数量，j∈[1…Nsub]，Nsub＝24表示最大子集编号，每个子集都是由相近投影视角(取3个视角0度，45度和90度)和形体参数(2类性别，2种身高档次和2种体重档次)的样本构成，时空特征样本
由4)所述时空特征模块对输入样本
进行特征提取得到,
和
为对应的调制模块输出调制矩阵，分别由输入
和
计算得到，它们为调制模块输入，由5)所述的各自
对应的投影视角αi和形体参数βi构成，
为一个子集编号的集合，表示与子集j有相对应样本，但不同的形体和投影视角的子集编号索引集合；
8)时空特征提取调制网络通过7)所示方法进行训练完成后，对所有调制后特征zi根据其所属异常步态分类标签，利用SoftMax分类器进行分类训练，完成后分类器可对异常步态测试样本进行分类识别。测试时使用未参与训练的另外360个异常步态样本，将本发明基于虚拟姿态样本合成方法与其他三种方法进行正常分类识别率比较。参与比较的三种方法为使用彩色曲率能量图的方法(C-CGCI)，使用动态深度运动图的方法(HP-DMM),使用动态运动历史图的方法(D-DMHI)和使用步态能量图(GEI)方法，从结果可以看出，本发明方法识别率明显高于其他方法。
时空特征提取调制网络进行训练完成后，运用所有调制后特征zi并根据其所属异常步态分类标签，对SoftMax异常步态行为分类器进行分类训练，完成后分类器即能够对异常步态测试样本集Xstd中的360个测试样本
进行分类识别，其中βtest,rtest为形体参数向量，rtest为20个姿态关节参数向量构成的特征矩阵，ctest为未知的所要估计的异常步态类别标签，通过4)-6)中步骤提取其调制特征zi，运用训练好的SoftMax异常步态行为分类器对zi进行最终分类。
将本发明基于虚拟姿态样本合成方法与其他三种方法进行正常分类识别率比较。参与比较的三种方法为使用彩色曲率能量图的方法(C-CGCI)，使用动态深度运动图的方法(HP-DMM),使用动态运动历史图的方法(D-DMHI)和使用步态能量图(GEI)方法，从结果可以看出，本发明方法识别率明显高于其他方法。
Claims (9)
1.一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，包括以下步骤：使用三维参数化的异常步态真实训练样本对包括非镜像对称人体虚拟样本合成模型和姿态扰动人体虚拟样本合成模型的虚拟姿态样本合成模型进行训练，然后使用训练完成的模型来生成虚拟样本，再利用真实训练样本和虚拟样本对SoftMax异常步态行为分类器进行训练，训练完成后即能够通过分类器对采集的异常步态行为进行准确识别。
2.根据权利要求1所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，其中的三维参数化的异常步态训练样本和测试样本的构建，是使用三维摄像机采集各种异常步态点云人体数据，以散乱和非结构化的点云人体数据为观测目标，通过变形标准的三维参数化人体模型，使变形后的参数化人体模型在形体和姿态关节上与采集的点云人体数据相似，再利用基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数来进行相似度的评估，通过迭代计算估计出所采集异常点云人体数据对应的最优匹配三维参数化人体模型及其形体和姿态关节参数，得到具有不同形体和姿态关节参数的三维参数化人体模型，将同一个步态周期序列下的不同姿态关节参数化人体模型按时间先后进行组合并形成样本，以异常步态类别为样本标签，构成三维参数化的异常步态样本集合，再将样本集合按预设比例划分成真实训练样本和测试样本。
3.根据权利要求1所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，其中虚拟姿态样本合成模型的非镜像对称人体虚拟样本合成模型的训练，是选取异常步态真实训练样本中具有左右对称的样本，利用它们的非完全对称姿态关节数据，对模型进行训练。
4.根据权利要求1所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，其中训练完成后的虚拟姿态样本合成模型中的非镜像对称人体虚拟样本合成模型生成虚拟样本，是利用该非镜像对称人体虚拟样本合成模型对异常步态训练样本中的三维参数化人体模型进行非镜像对称变换，生成新的非镜像对称三维参数化人体模型作为虚拟样本，从而将异常步态训练样本数量按姿态对称的方式扩充一倍。
5.根据权利要求4所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，虚拟姿态样本合成模型中的姿态扰动人体虚拟样本合成模型，是由基于先验知识的虚拟扰动姿态生成式对抗网络构成，包括基于先验知识的虚拟扰动姿态生成网络和虚拟样本判别网络。
6.根据权利要求5所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，虚拟姿态样本合成模型中的姿态扰动人体虚拟样本合成模型的训练，首先基于异常步态训练样本中的参数化三维人体模型姿态关节数据，计算出训练样本所对应的人体各姿态关节参数的扰动系数，与异常步态的类别标签一起作为模型的先验知识，然后与按姿态对称的方式扩充一倍后的异常步态训练样本一起对基于先验知识的虚拟扰动姿态生成式对抗网络进行训练。
7.根据权利要求6所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，其中在姿态扰动人体虚拟样本合成模型训练前，还包括首先进行输入数据扰动范围确定的步骤，基于按姿态对称的方式扩充一倍后的异常步态训练样本中的参数化三维人体模型姿态关节数据，通过基于模糊三角隶属度概率分布函数方法，以扩展现有训练样本下各种异常步态动作下的人体姿态关节数据的动态变化范围。
8.根据权利要求6所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，训练完成后的姿态扰动人体虚拟样本合成模型生成虚拟样本，是通过给定数量的异常步态类别标签和扰动系数作为先验知识来生成新的姿态扰动虚拟样本，从而进一步扩展原来的训练样本数量。
9.根据权利要求8所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，利用真实训练样本和虚拟合成样本对SoftMax异常步态行为分类器进行训练，是首先构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，再利用真实训练样本、生成的非镜像对称三维参数化人体模型和生成的姿态扰动虚拟样本，对分类器进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911321748.0A CN111062340B (zh) | 2019-12-20 | 2019-12-20 | 一种基于虚拟姿态样本合成的异常步态行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911321748.0A CN111062340B (zh) | 2019-12-20 | 2019-12-20 | 一种基于虚拟姿态样本合成的异常步态行为识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062340A true CN111062340A (zh) | 2020-04-24 |
| CN111062340B CN111062340B (zh) | 2023-05-23 |
Family
ID=70302447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911321748.0A Active CN111062340B (zh) | 2019-12-20 | 2019-12-20 | 一种基于虚拟姿态样本合成的异常步态行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062340B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882659A (zh) * | 2020-07-21 | 2020-11-03 | 浙江大学 | 一种融合人体脚型规律和可视外壳的高精度人体脚型重建方法 |
| CN111950418A (zh) * | 2020-08-03 | 2020-11-17 | 启航汽车有限公司 | 基于腿部特征的步态识别方法、装置及系统、可读存储介质 |
| CN112232224A (zh) * | 2020-10-19 | 2021-01-15 | 西安建筑科技大学 | 一种lstm与cnn相结合的跨视角步态识别方法 |
| CN112365582A (zh) * | 2020-11-17 | 2021-02-12 | 电子科技大学 | 一种对抗点云生成方法、存储介质和终端 |
| CN112613460A (zh) * | 2020-12-30 | 2021-04-06 | 深圳威富优房客科技有限公司 | 人脸生成模型的建立方法和人脸生成方法 |
| CN112699759A (zh) * | 2020-12-24 | 2021-04-23 | 深圳数联天下智能科技有限公司 | 一种训练性别识别模型的方法及相关装置 |
| CN113159146A (zh) * | 2021-04-08 | 2021-07-23 | 浙江天行健智能科技有限公司 | 样本生成、目标检测模型训练、目标检测方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110025834A1 (en) * | 2009-07-31 | 2011-02-03 | Samsung Electronics Co., Ltd. | Method and apparatus of identifying human body posture |
| CN104268593A (zh) * | 2014-09-22 | 2015-01-07 | 华东交通大学 | 一种小样本情况下多稀疏表示的人脸识别方法 |
| CN107423729A (zh) * | 2017-09-20 | 2017-12-01 | 湖南师范大学 | 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法 |
| CN108416276A (zh) * | 2018-02-12 | 2018-08-17 | 浙江大学 | 基于人的侧面步态视频的异常步态检测方法 |
| CN109325532A (zh) * | 2018-09-18 | 2019-02-12 | 成都网阔信息技术股份有限公司 | 一种小样本下扩充数据集的图像处理方法 |
| CN109919032A (zh) * | 2019-01-31 | 2019-06-21 | 华南理工大学 | 一种基于动作预测的视频异常行为检测方法 |
| CN109948498A (zh) * | 2019-03-13 | 2019-06-28 | 中南大学 | 一种基于3d卷积神经网络算法的动态手势识别方法 |
| CN110084156A (zh) * | 2019-04-12 | 2019-08-02 | 中南大学 | 一种步态特征提取方法及基于步态特征的行人身份识别方法 |
| CN110188828A (zh) * | 2019-05-31 | 2019-08-30 | 大连理工大学 | 一种基于虚拟样本集成学习的图像来源鉴别方法 |
-
2019
- 2019-12-20 CN CN201911321748.0A patent/CN111062340B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110025834A1 (en) * | 2009-07-31 | 2011-02-03 | Samsung Electronics Co., Ltd. | Method and apparatus of identifying human body posture |
| CN104268593A (zh) * | 2014-09-22 | 2015-01-07 | 华东交通大学 | 一种小样本情况下多稀疏表示的人脸识别方法 |
| CN107423729A (zh) * | 2017-09-20 | 2017-12-01 | 湖南师范大学 | 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法 |
| CN108416276A (zh) * | 2018-02-12 | 2018-08-17 | 浙江大学 | 基于人的侧面步态视频的异常步态检测方法 |
| CN109325532A (zh) * | 2018-09-18 | 2019-02-12 | 成都网阔信息技术股份有限公司 | 一种小样本下扩充数据集的图像处理方法 |
| CN109919032A (zh) * | 2019-01-31 | 2019-06-21 | 华南理工大学 | 一种基于动作预测的视频异常行为检测方法 |
| CN109948498A (zh) * | 2019-03-13 | 2019-06-28 | 中南大学 | 一种基于3d卷积神经网络算法的动态手势识别方法 |
| CN110084156A (zh) * | 2019-04-12 | 2019-08-02 | 中南大学 | 一种步态特征提取方法及基于步态特征的行人身份识别方法 |
| CN110188828A (zh) * | 2019-05-31 | 2019-08-30 | 大连理工大学 | 一种基于虚拟样本集成学习的图像来源鉴别方法 |
Non-Patent Citations (4)
| Title |
|---|
| LUO J, ET AL.: "Abnormal Gait behavior detection for elderly based on enhanced Wigner-Ville analysis and cloud incremental SVM learning" * |
| NIETO-HIDALGO M, ET AL.: "A vision based proposal for classification of normal and abnormal gait using RGB camera" * |
| 汤亚男: "基于视觉传感的步态检测系统" * |
| 罗坚, 黎梦霞, 罗诗光.: "一种基于深度摄像机的3D人体步态建模和识别方法" * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882659A (zh) * | 2020-07-21 | 2020-11-03 | 浙江大学 | 一种融合人体脚型规律和可视外壳的高精度人体脚型重建方法 |
| CN111882659B (zh) * | 2020-07-21 | 2022-04-22 | 浙江大学 | 一种融合人体脚型规律和可视外壳的高精度人体脚型重建方法 |
| CN111950418A (zh) * | 2020-08-03 | 2020-11-17 | 启航汽车有限公司 | 基于腿部特征的步态识别方法、装置及系统、可读存储介质 |
| CN112232224A (zh) * | 2020-10-19 | 2021-01-15 | 西安建筑科技大学 | 一种lstm与cnn相结合的跨视角步态识别方法 |
| CN112365582A (zh) * | 2020-11-17 | 2021-02-12 | 电子科技大学 | 一种对抗点云生成方法、存储介质和终端 |
| CN112365582B (zh) * | 2020-11-17 | 2022-08-16 | 电子科技大学 | 一种对抗点云生成方法、存储介质和终端 |
| CN112699759A (zh) * | 2020-12-24 | 2021-04-23 | 深圳数联天下智能科技有限公司 | 一种训练性别识别模型的方法及相关装置 |
| CN112699759B (zh) * | 2020-12-24 | 2024-08-13 | 深圳数联天下智能科技有限公司 | 一种训练性别识别模型的方法及相关装置 |
| CN112613460A (zh) * | 2020-12-30 | 2021-04-06 | 深圳威富优房客科技有限公司 | 人脸生成模型的建立方法和人脸生成方法 |
| CN113159146A (zh) * | 2021-04-08 | 2021-07-23 | 浙江天行健智能科技有限公司 | 样本生成、目标检测模型训练、目标检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062340B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062340B (zh) | 一种基于虚拟姿态样本合成的异常步态行为识别方法 | |
| CN107423730B (zh) | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 | |
| CN108345869B (zh) | 基于深度图像和虚拟数据的驾驶人姿态识别方法 | |
| CN106384093B (zh) | 一种基于降噪自动编码器和粒子滤波的人体动作识别方法 | |
| CN104700087B (zh) | 可见光与近红外人脸图像的相互转换方法 | |
| CN110310285B (zh) | 一种精确的基于三维人体重建的烧伤面积计算方法 | |
| CN112101176A (zh) | 一种结合用户步态信息的用户身份识别方法及系统 | |
| JPH08212329A (ja) | 適応的認識システム | |
| CN101807245A (zh) | 基于人工神经网络的多源步态特征提取与身份识别方法 | |
| CN102682452A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
| KR102326902B1 (ko) | 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템 | |
| JP2014211719A (ja) | 情報処理装置およびその方法 | |
| CN107103308A (zh) | 一种基于由粗到细深度尺度学习的行人重识别方法 | |
| Michel et al. | Tracking the articulated motion of the human body with two RGBD cameras | |
| CN112287857A (zh) | 一种多视角异常步态识别方法 | |
| CN107967941A (zh) | 一种基于智能视觉重构的无人机人体健康监控方法与系统 | |
| CN112330813A (zh) | 一种基于单目深度摄像头的着装下三维人体模型重建方法 | |
| CN111160294A (zh) | 基于图卷积网络的步态识别方法 | |
| Chan et al. | A 3-D-point-cloud system for human-pose estimation | |
| CN111428555B (zh) | 一种分关节的手部姿态估计方法 | |
| Yan et al. | Silhouette body measurement benchmarks | |
| Li et al. | Remodeling of mannequins based on automatic binding of mesh to anthropometric parameters | |
| Du | The computer vision simulation of athlete’s wrong actions recognition model based on artificial intelligence | |
| Qammaz et al. | A hybrid method for 3d pose estimation of personalized human body models | |
| Deng et al. | View-invariant gait recognition based on deterministic learning and knowledge fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |