CN111062340B - 一种基于虚拟姿态样本合成的异常步态行为识别方法 - Google Patents

一种基于虚拟姿态样本合成的异常步态行为识别方法 Download PDF

Info

Publication number
CN111062340B
CN111062340B CN201911321748.0A CN201911321748A CN111062340B CN 111062340 B CN111062340 B CN 111062340B CN 201911321748 A CN201911321748 A CN 201911321748A CN 111062340 B CN111062340 B CN 111062340B
Authority
CN
China
Prior art keywords
sample
virtual
human body
abnormal gait
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911321748.0A
Other languages
English (en)
Other versions
CN111062340A (zh
Inventor
罗坚
江沸菠
黎梦霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN201911321748.0A priority Critical patent/CN111062340B/zh
Publication of CN111062340A publication Critical patent/CN111062340A/zh
Application granted granted Critical
Publication of CN111062340B publication Critical patent/CN111062340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于虚拟姿态样本合成的异常步态行为识别方法。使用三维参数化的异常步态真实训练样本对虚拟姿态样本合成模型进行训练，然后使用训练完成的模型来生成虚拟样本，再利用真实训练样本和虚拟样本对SoftMax异常步态行为分类器进行训练，训练完成后即能够通过分类器对采集的异常步态行为进行准确识别。本发明所采用的虚拟姿态样本合成方法和特征调制机制，可以有效解决人体异常步态真实训练样本少的问题，显著提高异常步态行为检测和识别模型的鲁棒性，具有广泛的应用前景，包括：危险区域异常步态行为识别，老龄人异常步态行为检测，智能驾驶和安防中的行人步态行为分析等，有很好的经济和社会效益。

Description

一种基于虚拟姿态样本合成的异常步态行为识别方法
技术领域
本发明涉及一种基于虚拟姿态样本合成的异常步态行为识别方法。
背景技术
异常步态通常指人体行走时的各种非正常的动作和姿态。作为一种重要的生物特征，它可以用来实现老龄人异常步态行为检测，安防领域中的异常行为监测，自动驾驶环境下的行人异常行为分析，医学中的步态症状评估和分析等，具有很广阔的应用前景和较大的实用价值。
当前通过视觉手段对异常步态行为进行检测和识别，主要有两种方法：一种基于传统二维图像数据，另一种基于结构光传感器采集的三维点云数据。使用二维视觉方法比较直观且方便，使用二维彩色摄像机来获取人体的步态运动图像数据，并通过模式识别方法进行检测和分析。比如，使用人体质心所在的相对位置来判断跌到，使用二值步态轮廓和支持向量机来进行异常步态行为的检测分类，使用步态能量图或运动历史图等基于统计信息的步态图像来进行异常步态特征的表述和分类识别等。
由于人体视觉是三维系统，通过三维摄像机采集的深度或点云数据来进行异常步态行为分析，可以充分发挥三维视觉的优势。比如使用深度摄像机来进行人体行为识别，通过法向量来提取人体运动能量特征的方法，实现对异常步态行为的分类和识别。使用滤波方法来获取深度视频中的局部特征点，通过深度长方体相似性特征描述和度量方法，将其应用于行为检测和识别算法中。
当前，无论二维检测方法还三维识别方法，都存在一个比较明显的问题，就是异常步态的训练样本不足。相比正常步态而言，真实异常步态行为数据太少，其中涉及到个人隐私等问题。由于无法大规模采集训练样本，因而形成了模式识别中的小样本问题。小样本问题，会使得异常步态检测识别在面对视角和形体变换，遮挡和衣着变化等外在因素时，直接影响到识别模型的识别准确性。二维步态图像由于缺少深度信息，无法构建三维空间模型，无法充分发挥三维人体模型的特点进行虚拟样本扩展。
当前，基于结构光深度传感器的人体行为检测识别方法得到了不少的关注。但是，结构光传感器所获取的人点云数据往往是杂乱无章的，同时也会受到光线、背景和遮挡等外界干扰，数据存在噪音和缺失。与此同时，三维异常人体步态数据获取比二维更加困难，比如摔倒，昏厥，跛脚等数据采集难度大，真实数据较少，大多是通过正常人员或专业演员模拟得到的单一视角数据。
在生物特征小样本扩展方面，通常使用两种技术，一种是根据生理结构对称性假设的镜像对称虚拟样本合成，如人脸识别中的左右完全对称样本合成。另一种是通过添加高斯噪音到原来样本中，以生成新的虚拟样本。镜像虚拟样本是一种完全对称的操作，但即使是正常健康的人，其人体也不是完全对称的，镜像对称是一种理想的假设，与实际存在偏差，一定程度上会影响到真实的识别效果。而添加高斯噪音的方法，可以解决图像识别中的普通白噪音干扰问题，但并不能解决不同人在相同动作上的个体差异问题，即不同人在同一个动作上，其姿态关节的变化上存在差异。同时对于加入高斯噪音的均值和方差很难自动选取，噪音过小作用不明显，噪音过大可能影响到分类结果，通常依据个人经验来设定，因此通用性不强。
发明内容
本发明公布一种基于虚拟姿态样本合成的异常步态行为识别方法，使用三维摄像机采集各种异常步态点云人体数据。以散乱和非结构化的点云人体数据为观测目标，通过变形标准的三维参数化人体模型，使变形后的参数化人体模型在形体和姿态关节上与采集的点云人体数据相似，利用基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数来进行相似度的评估，通过迭代计算估计出所采集异常点云人体数据对应的最优匹配三维参数化人体模型及其形体和姿态关节参数，得到具有不同形体和姿态关节参数的三维参数化人体模型，并构建参数化异常步态训练样本和测试样本。然后通过左右非镜像对称人体虚拟样本合成模型，将参数化异常步态训练样本数量扩展一倍。再运用构建的姿态扰动人体虚拟样本合成模型，通过基于先验知识的虚拟扰动姿态生成网络对参数化异常步态训练样本数量进一步扩展。将非镜像对称虚拟样本、姿态扰动虚拟样本和真实样本组合在一起，形成一个三者融合的参数化异常步态训练集。通过构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，对真实样本和虚拟生成样本进行特征调制和分类识别，有效提高分类器面对不同视角和人体形体时的鲁棒性。
为了实现上述技术目的，本发明的技术方案是，
一种基于虚拟姿态样本合成的异常步态行为识别方法，包括以下步骤：使用三维参数化的异常步态真实训练样本对包括非镜像对称人体虚拟样本合成模型和姿态扰动人体虚拟样本合成模型的虚拟姿态样本合成模型进行训练，然后使用训练完成的模型来生成虚拟样本，再利用真实训练样本和虚拟样本对SoftMax异常步态行为分类器进行训练，训练完成后即能够通过分类器对采集的异常步态行为进行准确识别。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其中的三维参数化的异常步态训练样本和测试样本的构建，是使用三维摄像机采集各种异常步态点云人体数据，以散乱和非结构化的点云人体数据为观测目标，通过变形标准的三维参数化人体模型，使变形后的参数化人体模型在形体和姿态关节上与采集的点云人体数据相似，再利用基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数来进行相似度的评估，通过迭代计算估计出所采集异常点云人体数据对应的最优匹配三维参数化人体模型及其形体和姿态关节参数，得到具有不同形体和姿态关节参数的三维参数化人体模型，将同一个步态周期序列下的不同姿态关节参数化人体模型按时间先后进行组合并形成样本，以异常步态类别为样本标签，构成三维参数化的异常步态样本集合，再将样本集合按预设比例划分成真实训练样本和测试样本。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其中虚拟姿态样本合成模型的非镜像对称人体虚拟样本合成模型的训练，是选取异常步态真实训练样本中具有左右对称的样本，利用它们的非完全对称姿态关节数据，对模型进行训练。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其中训练完成后的虚拟姿态样本合成模型中的非镜像对称人体虚拟样本合成模型生成虚拟样本，是利用该非镜像对称人体虚拟样本合成模型对异常步态训练样本中的三维参数化人体模型进行非镜像对称变换，生成新的非镜像对称三维参数化人体模型作为虚拟样本，从而将异常步态训练样本数量按姿态对称的方式扩充一倍。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，虚拟姿态样本合成模型中的姿态扰动人体虚拟样本合成模型，是由基于先验知识的虚拟扰动姿态生成式对抗网络构成，包括基于先验知识的虚拟扰动姿态生成网络和虚拟样本判别网络。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，虚拟姿态样本合成模型中的姿态扰动人体虚拟样本合成模型的训练，首先基于异常步态训练样本中的参数化三维人体模型姿态关节数据，计算出训练样本所对应的人体各姿态关节参数的扰动系数，与异常步态的类别标签一起作为模型的先验知识，然后与按姿态对称的方式扩充一倍后的异常步态训练样本一起对基于先验知识的虚拟扰动姿态生成式对抗网络进行训练。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其中在姿态扰动人体虚拟样本合成模型训练前，还包括首先进行输入数据扰动范围确定的步骤，基于按姿态对称的方式扩充一倍后的异常步态训练样本中的参数化三维人体模型姿态关节数据，通过基于模糊三角隶属度概率分布函数方法，以扩展现有训练样本下各种异常步态动作下的人体姿态关节数据的动态变化范围。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，训练完成后的姿态扰动人体虚拟样本合成模型生成虚拟样本，是通过给定数量的异常步态类别标签和扰动系数作为先验知识来生成新的姿态扰动虚拟样本，从而进一步扩展原来的训练样本数量。
所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，利用真实训练样本和虚拟合成样本对SoftMax异常步态行为分类器进行训练，是首先构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，再利用真实训练样本、生成的非镜像对称三维参数化人体模型和生成的姿态扰动虚拟样本，对分类器进行训练。
本发明的技术效果在于，利用结构光传感器获取人体步态的杂乱无序和非结构化的点云数据。然后对三维标准参数化人体模型进行形体和姿态变形，运用基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数，使其在形状和姿态上匹配点云人体数据，从而将传感器采集的点云人体数据转化为结构化的三维参数化人体模型，具备形体和姿态变形功能。根据异常人体样本的姿态估计数据，通过非镜像对称人体虚拟样本合成模型，可以扩展其非镜像对称性姿态样本。再通过基于先验知识的虚拟扰动姿态生成式对抗网络模型，依据给定扰动条件和类别标签信息，来主动扩展其扰动姿态样本。所述的虚拟姿态样本合成方法，可以有效根据先验知识和现有的小样本异常步态数据，来生成大量的高质量虚拟样品，对于三维异常人体步态训练样本少的问题非常有效。通过构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，对扩展样本进行特征调制和分类识别，提高异常步态行为检测和识别模型面对不同视角和人体行体时的鲁棒性，可广泛应用于变电站等危险区域异常步态行为识别，老龄人异常步态行为检测和智能驾驶中的行人步态行为分析和智能安防中的行人异常步态行为检测等领域，具有很好的经济和社会效益。
下面结合附图对本发明作进一步说明。
附图说明
图1为本发明参数化人体模型及其点云数据示意图；其中(a)为三维参数化人体模型，(b)为参数化人体模型骨架信息，(c)为所对应的标准人体点云数据；
图2为Kinect三维摄像机采集的人体点云数据示意图；其中(a)为侧面45度图，(b)为正面图；
图3为本发明点云人体数据到三维参数化人体模型估计示意图；
图4为本发明非镜像对称虚拟姿态样本合成示意图；其中(a)为真实样本，(b)为虚拟合成的左右镜像对称样本；(c)为虚拟合成的左右非镜像对称样本；
图5为本发明异常步态人体模型姿态关节参数动态范围扩展后的模糊三角隶属度概率分布函数示意图；
图6为本发明基于先验知识的姿态扰动生成对抗网络模型结构示意图；
图7为本发明的姿态扰动虚拟样本合成示意图；其中(a)为真实样本，(b)～(f)为合成的姿态扰动人体虚拟样本；
图8为本发明具有视角和形体特征调制机制的SoftMax异常步态行为分类器示意图；
图9本发明虚拟样本合成方法与其它异常步态分类识别方法实验对比示意图；其中(a)为右脚垫高5cm异常识别对比，(b)为右脚垫高10cm异常识别对比，(c)为右脚垫高15cm异常识别对比，(d)为右脚负重4Kg异常识别对比。
具体实施方式
本发明包括以下步骤：
A、使用三维参数化异常步态训练样本对虚拟姿态样本合成模型进行训练，使用训练完成的模型来生成虚拟样本，利用真实训练样本和虚拟合成样本对SoftMax异常步态行为分类器进行训练，并对测试样本进行识别，虚拟姿态样本合成模型包括非镜像对称人体虚拟样本合成模型和姿态扰动人体虚拟样本合成模型。
B、所述权利A)中三维参数化异常步态训练样本和测试样本的构建，使用三维摄像机采集各种异常步态点云人体数据，以散乱和非结构化的点云人体数据为观测目标，通过变形标准的三维参数化人体模型，使变形后的参数化人体模型在形体和姿态关节上与采集的点云人体数据相似，利用基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数来进行相似度的评估，通过迭代计算估计出所采集异常点云人体数据对应的最优匹配三维参数化人体模型及其形体和姿态关节参数，得到具有不同形体和姿态关节参数的三维参数化人体模型，将同一个步态周期序列下的不同姿态关节参数化人体模型按时间先后进行组合并形成一个样本，以异常步态类别为样本标签，构成参数化异常步态样本集合，再将样本集合按给定比例划分成训练样本和测试样本；
C、所述权利要求A)中非镜像对称人体虚拟样本合成模型训练，选取B)中异常步态训练样本中具有左右对称的样本，利用它们的非完全对称姿态关节数据，对模型进行训练，训练完成后，利用该非镜像对称人体虚拟样本合成模型对异常步态训练样本集合中所有样本中的三维参数化人体模型进行非镜像对称样本虚拟合成，生成新的非镜像对称三维参数化人体模型，将异常步态训练样本数量按姿态对称的方式扩充一倍。
D、所述权利要求A)中的姿态扰动人体虚拟样本合成模型的输入数据扰动范围确定，利用权利C)所述扩充一倍后的异常步态训练样本中的参数化三维人体模型姿态关节数据，通过基于模糊三角隶属度概率分布函数方法，扩展现有训练样本下各种异常步态动作下的人体姿态关节数据的动态变化范围；
E、所述权利要求A)中的姿态扰动人体虚拟样本合成模型，由基于先验知识的虚拟扰动姿态生成式对抗网络构成，具体包括基于先验知识的虚拟扰动姿态生成网络和虚拟样本判别网络，通过在所述权利要求D)中的异常步态人体模型的姿态关节数据动态范围内，计算出训练样本所对应的人体各姿态关节参数的扰动系数，与异常步态的类别标签一起作为模型的先验知识。
F、利用权利C)所述扩充一倍后的三维参数化异常步态训练样本和E)中所述方法计算的先验知识，对E)所述基于先验知识的虚拟扰动姿态生成式对抗网络进行训练，使用训练完成的虚拟扰动姿态生成网络，通过给定数量的异常步态类别标签和扰动系数作为先验知识来生成新的姿态扰动虚拟样本，扩展原来的训练样本数量。
G、构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，利用所述B)的真实样本，C)所述非镜像对称虚拟合成样本和F)所述虚拟扰动姿态虚拟合成样本，对分类器进行训练，运用训练好的异常步态行为分类器对B)所述测试样本进行识别。
所述的方法，所述步骤B包括以下具体步骤：
1)利用三维摄像机获取各种异常步态点云人体数据和所对应的点云深度图Idepth＝{(x,y,d(x,y)),x∈[1..M],y∈[1..N]}，M、N分别表示深度图像的长和宽，x、y为图像上的像素二维坐标，d(x,y)为对应像素的深度值；
2)使用SCAPE参数化人体建模方法来构建标准的三维参数化人体模型，β表示SCAPE参数化人体模型训练时用到的形体参数向量，该向量包含Ks个人体的形体参数；r向量表示SCAPE参数化人体模型训练时用到的姿态关节参数向量，使用CMU mocap运动人体骨架来定义姿态关节参数，r向量由Kp个具体关节参数构成，关节参数为对应骨架关节的在x,y和z坐标轴上的旋转值；
3)构建基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数和规则：
Figure BDA0002327327010000091
式中，
Figure BDA0002327327010000092
是给定点云深度图像Idepth中第i个像素的深度值提取函数,/>
Figure BDA0002327327010000093
表示头部质心提取函数，/>
Figure BDA0002327327010000094
表示二阶范数，Pα表示采集的人体点云数据在α视图的投影深度图像，α视角表示观测人体的水平视角，0度定义为正面，90度定义为左侧面(头和身体向左)，-90度定义为右侧面(头和身体向右)，±180度定义为背面，γα表示形体参数向量为r和姿态关节参数向量为β的三维参数人体模型对应α视图的投影深度图像，
Figure BDA0002327327010000095
表示一组共Jrule项关于人体姿态关节的知识规则集合，
Figure BDA0002327327010000096
Figure BDA0002327327010000097
定义了一组共Krule项关于人体形状的知识规则集合，规则函数rule( )输入当前形体参数向量β或姿态关节参数向量r，以检查是否存在违反当前规则的情况，当有数据违反预设规则时返回一个大于10000的惩罚项正值，否则返回零；
4)改变形体参数向量β和姿态关节参数向量r来变形2)所述标准的三维参数人体模型，使其与采集的人体点云数据相在形体和姿态上相似，通过最小化基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数，即求解
Figure BDA0002327327010000101
得到最优的形体参数向量βopt和姿态关节参数向量ropt，获得与点云人体最相似的三维参数化人体模型为Yopt＝P(ropt)·S(βopt)·Xstd，其中P( )为姿态关节变形函数，S( )为形体变形函数，Xstd为标准参数人体模型数据，它们都是通过SCAPE参数化人体建模方法，在三维人体数据库中学习得到；
5)通过步骤3)和4)得到具有不同形体和姿态关节参数的三维参数化人体模型，将同一个步态周期序列下的不同姿态关节参数化人体模型按时间先后进行组合并形成一个样本，每个样本由L＝20个相同形体不同姿态关节参数化人体模型构成，模型由形体参数向量和L＝20个姿态关节参数向量进行描述，以异常步态类别为样本标签，构成参数化异常步态样本集合，令集合共有Kset个样本，再将样本集合按δ:(1-δ)的比例随机划分成异常步态训练样本和测试样本，δ∈[0 1]，划分后，令异常步态真实训练样本为Ktr个，构成真实训练样本集合Xrel,测试样本Kte个，构成测试样本集合Xtest；
所述的方法，所述步骤C中包括以下具体步骤：
1)选取B步骤5)中异常步态训练样本中具有左右对称的样本，每个样本由L＝20个不同姿态的人体模型按照动作时序先后组合构成，利用这些人体模型，对非镜像对称人体虚拟样本合成模型进行训练，令
Figure BDA0002327327010000102
表示与左脚相关的异常步态人体模型数据，K表示所有与左脚相关人体模型数量，Left表示左脚标志，
Figure BDA0002327327010000111
其中T表示向量的转置，/>
Figure BDA0002327327010000112
表示n维几何空间，即向量有n维数据，/>
Figure BDA0002327327010000113
表示第k个左脚异常的人体模型对应的三维姿态关节参数向量，/>
Figure BDA0002327327010000114
表示其对应的人体形体参数向量，n为形体参数向量和姿态关节参数向量的总参数个数，令/>
Figure BDA0002327327010000115
Figure BDA0002327327010000116
表示对应的与右脚相关的异常步态数据
Figure BDA0002327327010000117
Right表示右脚标志，/>
Figure BDA0002327327010000118
表示第k个右脚异常的人体模型对应的三维姿态关节参数向量，/>
Figure BDA0002327327010000119
表示其对应的人体形体参数向量；
2)所述非镜像对称人体虚拟样本合成模型的输入为左脚相关的异常步态数据
Figure BDA00023273270100001110
输出为非镜像对称右脚相关的异常步态数据/>
Figure BDA00023273270100001111
非镜像对称人体虚拟样本合成模型由单层神经网络构成，定义为
Figure BDA00023273270100001112
其中，M表示神经网络隐层输出结点，g(x)＝(ex-e-x)/(ex+e-x)表示激活函数，e＝2.71828为欧拉数，wm＝[wm1,…,wmn]T，wmn表示第n个输入神经元和第m个隐层神经元之间的联结系数，·表示内积操作，bm为偏置系数，μm＝[μm1,…,μmn]T，μmn表示第m个隐层神经元和第n个输出神经元之间的联结系数；上式通过以下矩阵形式表示，
Figure BDA00023273270100001113
上式
Figure BDA0002327327010000121
其中模型的学习，首先固定参数wm和bm，通过求解以下最小二乘法来确定μ系数：
Figure BDA0002327327010000122
式中，
Figure BDA0002327327010000123
表示二阶范数，通过非镜像对称样本/>
Figure BDA0002327327010000124
和/>
Figure BDA0002327327010000125
对模型进行训练，学习得到模型的最优参数，使模型具备估计异常步态的非镜像对称姿态虚拟样本的能力，给定新的左脚异常步态数据/>
Figure BDA0002327327010000126
估计其非镜像对称右脚异常步态姿态样本数据/>
Figure BDA0002327327010000127
3)再将右脚异常作为模型输入，左脚异常作为模型输出，通过相同过程学习到通过右脚异常来估计左脚异常的非镜像对称姿态虚拟样本；
4)利用左右非镜像对称人体虚拟样本合成模型对异常步态训练样本集合中所有样本中的三维参数化人体模型进行非镜像对称样本虚拟合成，生成新的非镜像对称形体参数向量和姿态关节参数向量，利用新的形体参数向量和姿态关节参数向量对标准参数化人体模型进行变形，即得到对应的非镜像对称三维参数化人体模型，将异常步态训练样本数量按姿态对称的方式扩充一倍，令扩充后的训练样本数为
Figure BDA0002327327010000128
Ktr为B步骤5)所述的真实异常步态训练样本；所述的方法，所述步骤D包括以下具体步骤：
1)令
Figure BDA0002327327010000129
表示三维异常步态的/>
Figure BDA00023273270100001210
个观测样本，ck为异常步态行为分类标号，C为最大类别标号；每个样本由L＝20帧不同姿态的人体模型按照动作时序先后组合构成，对应的L帧三维参数化人体姿态关节参数向量构成的特征矩阵表示为/>
Figure BDA00023273270100001211
Figure BDA00023273270100001212
表示矩阵几何空间为Kp×L维，即行Kp维，列L维。/>
Figure BDA0002327327010000131
表示第k个样本第l帧所对应的姿态关节参数向量，共有Kp个姿态关节参数；
2)固定其形体参数向量为
Figure BDA0002327327010000132
从/>
Figure BDA0002327327010000133
个观测样本中选取所属异常步态类别标号为c的Nc个样本，计算它们第n个姿态关节参数在l帧时的中心观测数值
Figure BDA0002327327010000138
表示异常步态类别分类标号，Uc表示属于c类的样本编号索引集合，n∈[1…Kp]。计算该类别对应l帧时的第n个姿态关节参数变量最小边界值LB和最大的边界值UB如下：
Figure BDA0002327327010000135
/>
Figure BDA0002327327010000136
其中，Umin表示样本中的最小观测值，Umax表示最大观测值，κ＝NU/(NL+NU+sp)，λ＝NL/(NL+NU+sp)，NU表示所属异常步态类别标号为c的Nc个样本中，第n个姿态关节参数数据大于前面定义的中心观测数值UCP的数量，NL表示对应观测样本中小于UCP的数量，sp表示校正系数；指定姿态关节参数即所属异常步态类别标号为c的第l帧的第n个姿态关节参数的动态范围从原来的[UminUmax]扩展到了[LB UB]，其非对称的模糊三角隶属度概率函数表示为：
Figure BDA0002327327010000137
步骤E包括以下具体步骤：
1)所述基于先验知识的虚拟扰动姿态生成式对抗网络模型，包括基于先验知识的虚拟扰动姿态生成网络G和虚拟样本判别网络D；模型G学习真实数据分布，生成姿态扰动虚拟样本，模型D将虚拟生成样本与真实样本鉴别区分开来；基于先验知识的虚拟扰动姿态生成式对抗网络的模型表示如下：
Figure BDA0002327327010000141
其中，x表示训练数据，z为服从均匀分布的噪音数据，pz(z)表示均匀噪音的概率分布函数，ypr是数值表示的先验知识向量，由异常步态类别标签和姿态关节扰动系数构成，pdata(x)为训练数据概率分布函数，虚拟扰动姿态生成网络模型输入z噪音和ypr，生成虚拟姿态样本
Figure BDA0002327327010000142
表示为/>
Figure BDA0002327327010000143
鉴别网络D(x,ypr)当输入x为真实样本时输出1，当输入x为虚拟合成样本时输出0，E()为期望值；
2)向虚拟姿态生成网络G输入为dz维噪音z和dy维先验知识数据，噪音向量和先验知识向量分开输入，噪音z后面接L1隐层，其包含d1个神经元，先验知识后面接K2个隐层包含d2个神经元，将L1隐层和L2隐层神经元输出数据进行组合，作为L3隐层输入，L3隐层包含d3个神经元，L3隐层后面接输出层含有do个神经元，生成网络的输出为训练样本数据x。，虚拟样本判别网络D输入为待鉴定数据
Figure BDA0002327327010000148
和先验知识ypr的数据组合，输出为判定结果概率，真为1，假为0，中间两层隐层，分别包含d4和d5个神经元，输出层包括1个神经元；
3)所属c类异常步态样本的第n个姿态关节参数在l帧时的扰动系数的计算过程定义如下：
Figure BDA0002327327010000144
所述扰动系数I(x)是数值化先验知识ypr向量的重要组成，
Figure BDA0002327327010000145
Figure BDA0002327327010000146
其中，/>
Figure BDA0002327327010000147
)表示样本中第l帧中所有Kp个姿态关节参数的扰动系数，/>
Figure BDA0002327327010000151
Ik( )表示该样本所属类别第k个姿态关节参数值所对应的扰动系数函数，/>
Figure BDA0002327327010000152
表示样本在l帧时的第n个姿态关节参数值，Oc表示其所属类别的独热编码，独热编码又称一位有效编码，其方法是使用Nh位状态寄存器来对Nh个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效，独热编码长度为Nh。
步骤F包括以下具体步骤：
1)根据E步骤所述的基于先验知识的虚拟扰动姿态生成式对抗网络，先生成N1组均匀噪音，同时生成N1组先验知识数据
Figure BDA0002327327010000153
利用虚拟姿态生成网络对应生成N1组虚拟样本；将N1组虚拟样本和它们的先验知识数据ypr送到虚拟样本判别网络进行真假鉴别，此时固定虚拟样本判别网络输出为真值1，即认为它是真实样本而不是虚拟合成的，迭代更新生成样本模型参数，使/>
Figure BDA0002327327010000154
项最小化；
2)然后，固定虚拟扰动姿态生成网络，将N1组虚拟样本和非镜像对称扩充后的
Figure BDA0002327327010000155
组真实样本，结合它们的先验知识数据ypr同时送到虚拟样本判定网络进行训练，虚拟样本对应输出为假值0，真实样本对应输出为真值1，更新虚拟样本判别网络模型参数，使得
Figure BDA0002327327010000156
项最大化；
3)重复上述的两个步骤，直到迭代次数达到设定值，或模型收敛。
4)训练完成后，给定Nvr组噪音向量和先验知识向量ypr，生成Nvr组姿态扰动人体虚拟样本，每个样本都由形体参数向量βk，L帧姿态关节参数向量和所属异常步态类别标签进行描述，表示为
Figure BDA0002327327010000157
βk为人体参数模型的形体参数向量，
Figure BDA0002327327010000158
Figure BDA0002327327010000159
表示行Kp维和列L维的矩阵，
Figure BDA0002327327010000161
表示第k个样本第l帧所对应的姿态关节参数向量，共有Kp个姿态关节参数，Ck代表所对应的异常步态类别标签，k∈[1 Nvr]。
所述的方法，所述步骤G包括以下具体步骤：
1)将B步骤5)中所述真实样本
Figure BDA00023273270100001618
和C步骤4)以及F步骤4)中所述方法生成的虚拟样本/>
Figure BDA0002327327010000163
Figure BDA00023273270100001619
相结合，构成一个扩充训练样本/>
Figure BDA0002327327010000165
Figure BDA0002327327010000166
虚拟样本包括Ktr个非镜像对称合成样本和Nvr个虚拟扰动姿态样本，其中，
Figure BDA0002327327010000167
和/>
Figure BDA0002327327010000168
为F步骤4)所述，每个样本都由形体参数向量β，L帧姿态关节参数向量r和所属异常步态类别标签进行描述，ci,cn和ck代表所对应的异常步态类别标签；
2)构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，所述分类器由时空特征提取调制网络和SoftMax分类器构成；
所述时空特征调制网络由时空特征提取模块和视角形体特征调制模块组成，利用调制模块输出矩阵对特征提取模块的输出进行调制；
所述时空特征提取模块输入为参数化的异常人体步态点云投影序列图像
Figure BDA0002327327010000169
由连续L＝20帧α视角下的人体点云投影图像/>
Figure BDA00023273270100001610
构成，l∈[1…L]，M和N为图像尺寸,α投影视角如B步骤3)所述；/>
Figure BDA00023273270100001611
中的图像由训练样本集Xall中编号为i的样本/>
Figure BDA00023273270100001612
Figure BDA00023273270100001613
投影得到，其中/>
Figure BDA00023273270100001614
表示具备形体参数向量为βi和姿态关节参数向量为/>
Figure BDA00023273270100001615
的三维参数人体模型对应α视图的投影深度图像，其中
Figure BDA00023273270100001616
Figure BDA00023273270100001617
表示行Kp维和列L维的矩阵，
Figure BDA0002327327010000171
表示第i个样本第l帧所对应的姿态关节参数向量，共有Kp个姿态关节参数；时空特征提取模块由F1，F2和F3三个深度网络层组成，其中F1层是卷积特征提取层，由ResNet-50特征提取网络构成，输入/>
Figure BDA0002327327010000172
输出为对应提取特征
Figure BDA0002327327010000173
NRes＝1024为ResNet-50提取的特征维度；F2为基于卷积网络的长短时序记忆网络(LSTM)构成，神经元为1024个，输入为/>
Figure BDA0002327327010000174
输出为/>
Figure BDA0002327327010000175
NL为LSTM神经元个数；F3为全连接网络层，神经元为1024个，输入为/>
Figure BDA0002327327010000176
输出为/>
Figure BDA0002327327010000177
Figure BDA0002327327010000178
Nd＝256为全连接网络层神经元个数，/>
Figure BDA0002327327010000179
为全连接神经网络系数；
所述视角和形体特征调制模块输入为人体步态点云投影图像
Figure BDA00023273270100001710
所对应的投影视角αi和人体形体参数向量βi，即/>
Figure BDA00023273270100001711
N2为/>
Figure BDA00023273270100001712
数据维度,调制模块中间层由F4全连接层和调制矩阵转换层F5构成，F4输入为/>
Figure BDA00023273270100001713
输出为/>
Figure BDA00023273270100001714
其中
Figure BDA00023273270100001715
为全连接网络系数，b2为偏置，Nd＝256为F4全连接网络层神经元个数；F5输入为向量/>
Figure BDA00023273270100001716
输出为二阶调制矩阵/>
Figure BDA00023273270100001717
调制模块输出矩阵
Figure BDA00023273270100001718
对时空特征提取模块的输出yi进行调制的运算表示为
Figure BDA00023273270100001719
·表示内积运算，/>
Figure BDA00023273270100001720
为依据视角和形体特征调制后的时空特征，zi为新特征空间下的视角和人体形体参数无关的特征；
3)时空特征调制网络构建完成后，通过最小以下损失函数，运用梯度下降法进行训练，学习得到模型的参数：
Figure BDA00023273270100001721
其中，
Figure BDA00023273270100001722
为时空特征子集/>
Figure BDA00023273270100001723
中的样本，M为子集中样本数量，j∈[1…Nsub]，Nsub表示最大子集编号，每个子集都是由相近投影视角和形体参数的样本构成，时空特征样本/>
Figure BDA0002327327010000181
由时空特征模块对输入样本/>
Figure BDA0002327327010000182
进行特征提取得到,/>
Figure BDA0002327327010000183
和/>
Figure BDA0002327327010000184
为对应的调制模块输出调制矩阵，分别由输入/>
Figure BDA0002327327010000185
和/>
Figure BDA0002327327010000186
计算得到，它们为调制模块输入，由各自
Figure BDA0002327327010000187
对应的投影视角αi和形体参数向量βi构成，/>
Figure BDA0002327327010000188
为一个子集编号的集合，表示与子集j有相对应样本，但不同的形体和投影视角的子集编号索引集合；
4)时空特征提取调制网络进行训练完成后，运用所有调制后特征zi并根据其所属异常步态分类标签，对SoftMax异常步态行为分类器进行分类训练，完成后分类器即能够对B步骤4)所述异常步态测试样本集Xstd中的测试样本
Figure BDA0002327327010000189
进行分类识别，其中βtest,rtest,ctest参数意义与权利要求7中1)所述训练样本的构成参数一致，ctest为未知的所要估计的异常步态类别标签，通过G步骤提取其调制特征zi，运用训练好的SoftMax异常步态行为分类器对zi进行最终分类。
下面给出相应的具体实施例：
本实施中所述的方法，采用Python编程语言实现，使用公开发布的三维异常步行步态数据集(3D walking gait dataset)，该数据集包使用Microsoft Kinect三维摄像机采集得到，总共有8种异常步态数据,左脚4种异常(左脚垫高5、10、15CM和捆绑4Kg重物)，右脚4种异常(与左脚为对称状态)，同时有1种正常步态数据。
利用基于人体形体和运动信息先验知识的点云人体和三维人体相似性度量函数，估计点云人体数据所对应的三维异常步态模型构建训练样本和测试样本数据。
1)利用三维摄像机获取各种异常步态点云人体数据和所对应的点云深度图Idepth＝{(x,y,d(x,y)),x∈[1..M],y∈[1..N]}，M＝240，N＝160表示深度图像尺寸，d(x,y)为对应像素的深度值；
2)使用SCAPE参数化人体建模方法来构建标准的三维参数化人体模型，，在模型训练时，使用以下Ks＝15个人体形体参数，形体参数向量
Figure BDA0002327327010000191
包括：性别，年龄，身高，体重，头部垂直长，头部水平长，臂长，臂粗，腿长，腿粗，躯干厚度，胸围，腰围，臀围，双足尺寸。使用CMU mocap运动人体骨架模型来实现姿态动作变形，实施中使用以下Kp＝15关节参数，姿态关节参数向量/>
Figure BDA0002327327010000192
包含：头关节，左右肩关节，左右肘关节，左右手腕关节，胸部关节，根关节，左右髋关节，左右膝关节，左右脚踝关节。所有关节都拥有三个自由度；
3)构建基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数和规则：
Figure BDA0002327327010000193
式中，
Figure BDA0002327327010000194
是给定点云深度图像Idepth中第i个像素的深度值提取函数,/>
Figure BDA0002327327010000195
表示头部质心提取函数，/>
Figure BDA0002327327010000196
表示二阶范数，Pα表示采集的人体点云数据在α视图的投影深度图像，α视角表示观测人体的水平视角，0度定义为正面，90度定义为左侧面(头和身体向左)，-90度定义为右侧面(头和身体向右)，±180度定义为背面，Υα表示具备形体参数向量β和姿态关节参数向量r的三维参数人体在α视图的投影深度图像。
Figure BDA0002327327010000197
表示一组(Jrule＝5项)关于人体姿态关节的规则集合，包括：头部长度小于身高的1/6，体重(kg)/身高(m)的体质指数限定在15～45之间，身高限定在1米～2.5米，(全臂长/身高)×100比例限定在20～40，(全腿长/身高)×100比例限定在30～60。/>
Figure BDA0002327327010000201
定义了一组(Krule＝11项)关于人体形状的规则集合,包括：所有关节变化限定在-120度～120度之间，头关节屈曲变化限定在50度，后伸限定在30度以内，胸部关节后伸限定在30度以内，左右髋关节屈曲时不能同时大于30度，后伸不能同时大于20度(不能违反人体步态运动常识)，左右髋关节膝关节内外旋转不能大于50度，过伸(中立位为膝关节伸直)不能大于15度，膝关节内外旋转不能大于20度，肘关节(中立位为前臂伸直)过度伸直不能大于15度，踝关内外旋转不能大于30度。规则函数rule( )输入当前形体参数向量β或姿态关节参数向量r，以检查是否存在违反当前规则的情况，当有数据违反预设规则时返回一个大于10000的惩罚项正值，否则返回零；
4)通过改变形体参数向量β和姿态关节参数向量r来变形三维参数人体模型，使其与采集的人体点云数据相在形体和姿态上相似，共9×9×20×10＝16200个人体点云(9个人，8种异常步态1种正常步态，每个异常步态序列分割出取10组周期样本，每个周期样本20帧数据)，最小化基于人体结构和运动信息先验知识的点云人体和三维参数化人体相似性度量函数,即求解
Figure BDA0002327327010000202
得到最优的形体参数向量βopt和姿态关节参数向量ropt，获得与点云人体最相似的三维参数化人体模型为Yopt＝P(ropt)·S(βopt)·Xstd，其中P( )为姿态关节变形函数，S( )为形体变形函数，Xstd为标准参数人体模型数据，它们都是通过SCAPE参数化人体建模方法，使用Makehuman软件生成三维人体数据库进行学习。
5)依据4)所述方法得到16200个具有不同形体和姿态关节参数的三维参数化人体模型，将同一个步态周期序列下的不同姿态关节参数化人体模型按时间先后进行组合并形成一个样本，每个样本由L＝20个相同形体不同姿态关节参数化人体模型构成，模型由形体参数向量和L＝20个姿态关节参数向量进行描述，以异常步态类别为样本标签，构成参数化异常步态样本集合，集合共有Kset＝810个样本，再将样本集合按0.556:0.444的比例随机划分成异常步态训练样本和测试样本，划分后，异常步态真实训练样本为Ktr＝450个，构成真实异常步态训练样本集合Xrel,测试样本Kte＝360个，构成测试样本集合Xtest；利用非镜像对称人体虚拟样本合成模型来扩充一倍的异常步态训练样本数量。
1)选取真实异常步态训练样本集中一半的左脚异常参数化人体模型，令
Figure BDA0002327327010000211
表示真实左脚相关的异常步态人体数据，
Figure BDA0002327327010000212
其中T表示向量的转置，/>
Figure BDA0002327327010000213
表示n维几何空间，即向量有n维数据，/>
Figure BDA0002327327010000214
表示第k个左脚异常的人体模型对应的三维姿态关节参数向量，/>
Figure BDA0002327327010000215
表示其对应的人体形体参数向量，n＝60为形体参数向量和姿态关节参数向量的总参数个数，令/>
Figure BDA0002327327010000216
Figure BDA0002327327010000217
表示对应的与右脚相关的异常步态人体数据/>
Figure BDA0002327327010000218
Right表示右脚标志，
Figure BDA0002327327010000219
表示第k个右脚异常的人体模型对应的三维姿态关节参数向量，/>
Figure BDA00023273270100002110
表示其对应的人体形体参数向量；
2)非镜像对称人体虚拟样本合成模型由单层神经网络构成，定义为
Figure BDA00023273270100002111
其中，M＝60表示神经网络隐层输出结点，g(x)＝(ex-e-x)/(ex+e-x)表示激活函数，e＝2.71828为欧拉数，wm＝[wm1,…,wmn]T，wmn表示第n个输入神经元和第m个隐层神经元之间的联结系数，·表示内积操作，bm为偏置系数，μm＝[μm1,…,μmn]T，μmn表示第m个隐层神经元和第n个输出神经元之间的联结系数；上式通过以下矩阵形式表示，
Figure BDA0002327327010000221
上式
Figure BDA0002327327010000222
其中模型的学习，首先固定参数wm和bm，通过求解以下最小二乘法来确定μ系数：
Figure BDA0002327327010000223
式中，
Figure BDA0002327327010000224
表示二阶范数，通过3600个左脚异常真实样本/>
Figure BDA0002327327010000225
和非镜像对称的3600个右脚异常样本/>
Figure BDA0002327327010000226
对模型进行训练，学习得到模型的最优参数，使模型具备估计异常步态的非镜像对称姿态虚拟样本的能力，给定新的左脚异常步态数据/>
Figure BDA0002327327010000227
估计其非镜像对称右脚异常步态姿态样本数据/>
Figure BDA0002327327010000228
3)通过相同的方法，将右脚异常作为模型输入，左脚异常作为模型输出，可以学习到通过右脚异常来估计左脚异常的非镜像对称异常步态虚拟样本数据。
4)利用左右非镜像对称人体虚拟样本合成模型对异常步态训练样本集合中所有样本中的三维参数化人体模型进行非镜像对称样本虚拟合成，生成新的非镜像对称形体参数向量和姿态关节参数向量，利用新的形体参数向量和姿态关节参数向量对标准参数化人体模型进行变形，即得到对应的非镜像对称三维参数化人体模型，将异常步态训练样本数量按姿态对称的方式扩充一倍，令扩充后的训练样本数为
Figure BDA0002327327010000229
Ktr＝450为权利要求5中2)所述的真实异常步态训练样本；
利用扩充一倍后的异常步态训练样本中的参数化三维人体模型姿态关节数据，通过基于模糊三角隶属度概率分布函数方法，扩展现有训练样本下各种异常步态动作下的人体姿态关节数据的动态变化范围。
1)异常步态数据库中取一半异常样本，令
Figure BDA0002327327010000231
Figure BDA0002327327010000232
表示三维异常步态的K＝360个观测样本，ck为异常步态行为分类标号，C＝9为最大类别标号。每个样本由L＝20帧点云图像构成，其对应的三维参数化人体姿态关节序列参数特征表示为
Figure BDA0002327327010000233
Figure BDA0002327327010000234
Figure BDA0002327327010000235
表示第k个样本第l帧所对应的姿态关节参数向量，共有Kp＝45个姿态关节参数。
令
Figure BDA0002327327010000236
表示三维异常步态的/>
Figure BDA0002327327010000237
个观测样本，ck为异常步态行为分类标号，C＝9为最大类别标号；每个样本由L＝20帧不同姿态的人体模型按照动作时序先后组合构成，对应的L帧三维参数化人体姿态关节参数向量构成的特征矩阵表示为/>
Figure BDA0002327327010000238
Figure BDA0002327327010000239
表示矩阵几何空间为45×20维。/>
Figure BDA00023273270100002310
表示第k个样本第l帧所对应的姿态关节参数向量，共有Kp＝45个姿态关节参数；
2)固定其形体参数向量为
Figure BDA00023273270100002311
从/>
Figure BDA00023273270100002312
个观测样本中选取所属异常步态类别标号为c的Nc＝100个样本，计算它们第n个姿态关节参数在l帧时的中心观测数值
Figure BDA00023273270100002313
表示异常步态类别分类标号，Uc表示属于c类的样本编号索引集合，n∈[1…45]。计算该类别对应l帧时的第n个姿态关节参数变量最小边界值LB和最大的边界值UB如下：
Figure BDA00023273270100002314
Figure BDA00023273270100002315
其中，Umin表示样本中的最小观测值，Umax表示最大观测值，κ＝NU/(NL+NU+sp)，λ＝NL/(NL+NU+sp)，NU表示所属异常步态类别标号为c的Nc＝100个样本中，第n个姿态关节参数数据大于前面定义的中心观测数值UCP的数量，NL表示对应观测样本中小于UCP的数量，sp＝0表示不需要校正；指定姿态关节参数即所属异常步态类别标号为c的第l帧的第n个姿态关节参数的动态范围从原来的[UminUmax]扩展到了[LB UB]，其非对称的模糊三角隶属度概率函数表示为：
Figure BDA0002327327010000241
构建基于先验知识的虚拟扰动姿态生成式对抗网络，计算异常步态训练样本所对应的人体各姿态关节参数的扰动系数。
1)构建基于先验知识的虚拟扰动姿态生成网络G和虚拟样本判别网络D；
2)基于先验知识的生成对抗网络，其模型表示如下：
Figure BDA0002327327010000242
其中，x表示训练数据，z为服从均匀分布的噪音数据，pz(z)表示均匀噪音的概率分布函数，ypr是数值表示的先验知识向量，由异常步态类别标签和姿态关节扰动系数构成，pdata(x)为训练数据概率分布函数，虚拟扰动姿态生成网络模型输入z噪音和ypr，生成虚拟姿态样本
Figure BDA0002327327010000243
表示为/>
Figure BDA0002327327010000244
鉴别网络D(x,ypr)当输入x为真实样本时输出1，当输入x为虚拟合成样本时输出0，E( )为期望值；
3)所述基于先验知识的虚拟扰动姿态生成网络G，输入为dz＝100维噪音z和dy＝45×20＝900维先验知识数据,噪音和先验知识分开输入，噪音z后面接L1隐层包含d1＝200个神经元，先验知识后面接L2个隐层包含d2＝200个神经元，将L1隐层和L2隐层神经元输出数据进行组合，作为L3隐层输入，L3隐层包含d3＝500个神经元，L3隐层后面接输出层含有do＝45个神经元，生成网络的输出为训练样本数据x。判定网络输入为待鉴定数据
Figure BDA0002327327010000257
和先验知识ypr的数据组合，输出为判定结果，中间有两层隐层，分别包含d4＝500和d5＝100个神经元，输出层包括1个神经元。
4)所属c类异常步态样本的第n个姿态关节参数在l帧时的扰动系数的计算过程如下：
Figure BDA0002327327010000251
扰动系数I(x)为先验知识ypr的重要组成数据，
Figure BDA0002327327010000252
Figure BDA0002327327010000253
其中L＝20，/>
Figure BDA0002327327010000254
表示样本中第l帧中所有45个姿态关节参数的扰动系数，Ik( )表示该样本所属类别第k个姿态关节参数值所对应的扰动系数函数，/>
Figure BDA0002327327010000255
表示样本在l帧时的第n个姿态关节参数值。Oc表示其所属类别的独热编码，使用Nh＝10位状态寄存器来对9个异常步态类别进行编码(多余1位空缺)，每个类别都由他独立的寄存器位，并且在任意时候，其中只有一位有效，独热编码长度为Nh＝10。
利用扩充一倍后的三维参数化异常步态训练样本和计算的先验知识数据，对基于先验知识的虚拟扰动姿态生成式对抗网络进行训练，使用训练完成的虚拟扰动姿态生成网络，扩展原来的训练样本数量。
1)生成N1＝1000组100维的均匀噪音，同时生成N1＝1000组先验知识数据
Figure BDA0002327327010000256
利用基于先验知识的虚拟扰动姿态生成网络G对应生成N1＝1000个虚拟样本。将1000组虚拟样本和它们的先验知识数据ypr送到虚拟样本判别网络进行真假鉴别，此时固定虚拟样本判别网络输出为真值1，即认为它是真实样本而不是虚拟合成的，迭代更新生成样本模型参数，使损失函数/>
Figure BDA0002327327010000261
最小化；
2)然后，固定生成样本，将N1＝1000个虚拟样本和
Figure BDA0002327327010000262
个扩充后的样本，结合它们的先验知识数据ypr同时送到虚拟样本判定网络进行训练，虚拟样本对应输出为假值0，真实样本对应输出为真值1，更新虚拟样本判别网络模型参数，使得
Figure BDA0002327327010000263
项最大化；
3)重复所述1)和2)中的步骤，直到模型收敛。
4)训练完成后，给定Nvr＝2000组噪音和先验知识ypr，按先验知识生成Nvr＝2000个姿态扰动虚拟样本，每个样本都由L＝20帧数据构成，表示为
Figure BDA0002327327010000264
Figure BDA0002327327010000265
训练完成后，给定Nvr＝2000组噪音向量和先验知识向量ypr，生成Nvr＝2000组姿态扰动人体虚拟样本，每个样本都由形体参数向量βk，L＝20帧姿态关节参数向量和所属异常步态类别标签进行描述，表示为
Figure BDA0002327327010000266
Figure BDA0002327327010000267
βk为人体参数模型的形体参数向量，
Figure BDA0002327327010000268
Figure BDA0002327327010000269
Figure BDA00023273270100002610
表示行45维和列20维的矩阵，
Figure BDA00023273270100002611
表示第k个样本第l帧所对应的姿态关节参数向量，共有Kp＝45个姿态关节参数，ck代表所对应的异常步态类别标签，k∈[1 2000]。
构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，利用真实样本，非镜像对称虚拟合成样本和虚拟扰动姿态虚拟合成样本，对分类器进行训练，运用训练好的分类器述测试样本进行识别。
1)将4中所述真实样本
Figure BDA00023273270100002612
和虚拟样
Figure BDA00023273270100002613
相结合,构成一个完整训练样本Xall＝Xrel∪Xvr，真实样本投影成3个视角(0度，45度，90度3个视角数据)共1080个样本，虚拟样由2000个扰动姿态数据(每个扰动姿态投影成3个视角)共6000样本和360个非镜相对称数据(每个投影成3个视角)共1080样本构成，输入为样本数据x，输出为其所对应的异常步态类别标签c；
将真实样本
Figure BDA0002327327010000271
和生成的虚拟样本
Figure BDA0002327327010000272
相结合，构成一个扩充训练样本
Figure BDA0002327327010000273
虚拟样本包括Ktr＝450个非镜像对称合成样本和Nvr＝2000个虚拟扰动姿态样本，其中，/>
Figure BDA0002327327010000274
Figure BDA0002327327010000275
和
Figure BDA0002327327010000276
对应为真实训练样本，虚拟训练样本和扩充训练样本，每个样本都由形体参数向量β，L帧姿态关节参数向量r和所属异常步态类别标签进行描述，ci,cn和ck代表所对应的异常步态类别标签；
2)构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，分类器由时空特征提取调制网络和SoftMax分类器构成；
3)时空特征调制网络由时空特征提取模块和视角形体特征调制模块组成，利用调制模块输出矩阵对特征提取模块的输出进行调制；
4)时空特征提取模块输入为参数化的异常人体步态点云投影序列图像
Figure BDA0002327327010000277
由连续L＝20帧α＝45视角下的人体点云投影图像/>
Figure BDA0002327327010000278
构成，l∈[1…20]，M＝240和N＝160为图像尺寸,α投影视角如权利要求2中3)所述；
Figure BDA0002327327010000279
中的图像由训练样本集Xall中编号为i的样本/>
Figure BDA00023273270100002710
投影得到，其中/>
Figure BDA00023273270100002711
表示形体参数向量为βi和姿态关节参数向量为/>
Figure BDA00023273270100002712
的三维参数人体模型对应α＝45视图的投影深度图像，其中/>
Figure BDA00023273270100002713
Figure BDA00023273270100002714
表示行45维和列20维的矩阵，/>
Figure BDA00023273270100002715
表示第i个样本第l帧所对应的姿态关节参数向量，共有Kp＝45个姿态关节参数；时空特征提取模块由F1，F2和F3三个深度网络层组成，其中F1层是卷积特征提取层，由ResNet-50特征提取网络构成，输入/>
Figure BDA0002327327010000281
输出为对应提取特征/>
Figure BDA0002327327010000282
NRes＝1024为ResNet-50提取的特征维度；F2为基于卷积网络的长短时序记忆网络(LSTM)构成，神经元为1024个，输入为/>
Figure BDA0002327327010000283
输出为/>
Figure BDA0002327327010000284
NL为LSTM神经元个数；F3为全连接网络层，神经元为1024个，输入为/>
Figure BDA0002327327010000285
输出为/>
Figure BDA0002327327010000286
Figure BDA0002327327010000287
Nd＝256为全连接网络层神经元个数，/>
Figure BDA0002327327010000288
为全连接神经网络系数；
5)所述视角和形体特征调制模块输入
Figure BDA0002327327010000289
为人体步态点云投影图像/>
Figure BDA00023273270100002810
所对应的投影视角αi和人体形体参数βi，N2＝4为/>
Figure BDA00023273270100002811
数据维度，主要包括1个水平视角参数和3个形体参数(性别、身高和体重),调制模块中间层由F4全连接层和调制矩阵转换层F5构成，F4输入为/>
Figure BDA00023273270100002812
输出为/>
Figure BDA00023273270100002813
Figure BDA00023273270100002814
其中/>
Figure BDA00023273270100002815
为全连接网络系数，b2为偏置，Nd＝(256)2为F4全连接网络层神经元个数；F5输入为向量/>
Figure BDA00023273270100002816
输出为二阶调制矩阵/>
Figure BDA00023273270100002817
6)所述3)中调制模块输出矩阵
Figure BDA00023273270100002818
对时空特征提取模块的输出yi进行调制的运算表示为/>
Figure BDA00023273270100002819
·表示内积运算，/>
Figure BDA00023273270100002820
为依据视角和形体特征调制后的时空特征，zi为新特征空间下的视角和人体形体参数无关的特征；
7)所述3)-6)的时空特征调制网络，构建完成后，通过最小以下损失函数，运用梯度下降法进行训练，学习得到模型的参数：
Figure BDA00023273270100002821
其中，
Figure BDA00023273270100002822
为时空特征子集/>
Figure BDA00023273270100002823
中的样本，M为子集中样本数量，j∈[1…Nsub]，Nsub＝24表示最大子集编号，每个子集都是由相近投影视角(取3个视角0度，45度和90度)和形体参数(2类性别，2种身高档次和2种体重档次)的样本构成，时空特征样本/>
Figure BDA0002327327010000291
由4)所述时空特征模块对输入样本/>
Figure BDA0002327327010000292
进行特征提取得到,/>
Figure BDA0002327327010000293
和/>
Figure BDA0002327327010000294
为对应的调制模块输出调制矩阵，分别由输入/>
Figure BDA0002327327010000295
和/>
Figure BDA0002327327010000296
计算得到，它们为调制模块输入，由5)所述的各自/>
Figure BDA0002327327010000297
对应的投影视角αi和形体参数βi构成，/>
Figure BDA0002327327010000298
为一个子集编号的集合，表示与子集j有相对应样本，但不同的形体和投影视角的子集编号索引集合；
8)时空特征提取调制网络通过7)所示方法进行训练完成后，对所有调制后特征zi根据其所属异常步态分类标签，利用SoftMax分类器进行分类训练，完成后分类器可对异常步态测试样本进行分类识别。测试时使用未参与训练的另外360个异常步态样本，将本发明基于虚拟姿态样本合成方法与其他三种方法进行正常分类识别率比较。参与比较的三种方法为使用彩色曲率能量图的方法(C-CGCI)，使用动态深度运动图的方法(HP-DMM),使用动态运动历史图的方法(D-DMHI)和使用步态能量图(GEI)方法，从结果可以看出，本发明方法识别率明显高于其他方法。
时空特征提取调制网络进行训练完成后，运用所有调制后特征zi并根据其所属异常步态分类标签，对SoftMax异常步态行为分类器进行分类训练，完成后分类器即能够对异常步态测试样本集Xstd中的360个测试样本
Figure BDA0002327327010000299
Figure BDA00023273270100002910
进行分类识别，其中βtest,rtest为形体参数向量，rtest为20个姿态关节参数向量构成的特征矩阵，ctest为未知的所要估计的异常步态类别标签，通过4)-6)中步骤提取其调制特征zi，运用训练好的SoftMax异常步态行为分类器对zi进行最终分类。
将本发明基于虚拟姿态样本合成方法与其他三种方法进行正常分类识别率比较。参与比较的三种方法为使用彩色曲率能量图的方法(C-CGCI)，使用动态深度运动图的方法(HP-DMM),使用动态运动历史图的方法(D-DMHI)和使用步态能量图(GEI)方法，从结果可以看出，本发明方法识别率明显高于其他方法。

Claims (4)

1.一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，包括以下步骤：使用三维参数化的异常步态真实训练样本对包括非镜像对称人体虚拟样本合成模型和姿态扰动人体虚拟样本合成模型的虚拟姿态样本合成模型进行训练，然后使用训练完成的模型来生成虚拟样本，再利用真实训练样本和虚拟样本对SoftMax异常步态行为分类器进行训练，并对测试样本进行识别，训练完成后即能够通过分类器对采集的异常步态行为进行准确识别；
其中虚拟姿态样本合成模型的非镜像对称人体虚拟样本合成模型的训练，是选取异常步态真实训练样本中具有左右对称的样本，利用它们的非完全对称姿态关节数据，对模型进行训练；
其中训练完成后的虚拟姿态样本合成模型中的非镜像对称人体虚拟样本合成模型生成虚拟样本，是利用该非镜像对称人体虚拟样本合成模型对异常步态训练样本中的三维参数化人体模型进行非镜像对称变换，生成新的非镜像对称三维参数化人体模型作为虚拟样本，从而将异常步态训练样本数量按姿态对称的方式扩充一倍；
虚拟姿态样本合成模型中的姿态扰动人体虚拟样本合成模型，是由基于先验知识的虚拟扰动姿态生成式对抗网络构成，包括基于先验知识的虚拟扰动姿态生成网络和虚拟样本判别网络；
虚拟姿态样本合成模型中的姿态扰动人体虚拟样本合成模型的训练，首先基于异常步态训练样本中的参数化三维人体模型姿态关节数据，计算出训练样本所对应的人体各姿态关节参数的扰动系数，与异常步态的类别标签一起作为模型的先验知识，然后与按姿态对称的方式扩充一倍后的异常步态训练样本一起对基于先验知识的虚拟扰动姿态生成式对抗网络进行训练；
训练完成后的姿态扰动人体虚拟样本合成模型生成虚拟样本，是通过给定数量的异常步态类别标签和扰动系数作为先验知识来生成新的姿态扰动虚拟样本，从而进一步扩展原来的训练样本数量。
2.根据权利要求1所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，其中的三维参数化的异常步态训练样本和测试样本的构建，是使用三维摄像机采集各种异常步态点云人体数据，以散乱和非结构化的点云人体数据为观测目标，通过变形标准的三维参数化人体模型，使变形后的参数化人体模型在形体和姿态关节上与采集的点云人体数据相似，再利用基于人体形体和运动信息先验知识的点云人体和三维参数化人体相似性度量函数来进行相似度的评估，通过迭代计算估计出所采集异常点云人体数据对应的最优匹配三维参数化人体模型及其形体和姿态关节参数，得到具有不同形体和姿态关节参数的三维参数化人体模型，将同一个步态周期序列下的不同姿态关节参数化人体模型按时间先后进行组合并形成样本，以异常步态类别为样本标签，构成三维参数化的异常步态样本集合，再将样本集合按预设比例划分成真实训练样本和测试样本。
3.根据权利要求1所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，其中在姿态扰动人体虚拟样本合成模型训练前，还包括首先进行输入数据扰动范围确定的步骤，基于按姿态对称的方式扩充一倍后的异常步态训练样本中的参数化三维人体模型姿态关节数据，通过基于模糊三角隶属度概率分布函数方法，以扩展现有训练样本下各种异常步态动作下的人体姿态关节数据的动态变化范围。
4.根据权利要求1所述的一种基于虚拟姿态样本合成的异常步态行为识别方法，其特征在于，利用真实训练样本和虚拟合成样本对SoftMax异常步态行为分类器进行训练，是首先构建具有视角和形体特征调制机制的SoftMax异常步态行为分类器，再利用真实训练样本、生成的非镜像对称三维参数化人体模型和生成的姿态扰动虚拟样本，对分类器进行训练。
CN201911321748.0A 2019-12-20 2019-12-20 一种基于虚拟姿态样本合成的异常步态行为识别方法 Active CN111062340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911321748.0A CN111062340B (zh) 2019-12-20 2019-12-20 一种基于虚拟姿态样本合成的异常步态行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911321748.0A CN111062340B (zh) 2019-12-20 2019-12-20 一种基于虚拟姿态样本合成的异常步态行为识别方法

Publications (2)

Publication Number Publication Date
CN111062340A CN111062340A (zh) 2020-04-24
CN111062340B true CN111062340B (zh) 2023-05-23

Family

ID=70302447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911321748.0A Active CN111062340B (zh) 2019-12-20 2019-12-20 一种基于虚拟姿态样本合成的异常步态行为识别方法

Country Status (1)

Country Link
CN (1) CN111062340B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882659B (zh) * 2020-07-21 2022-04-22 浙江大学 一种融合人体脚型规律和可视外壳的高精度人体脚型重建方法
CN111950418A (zh) * 2020-08-03 2020-11-17 启航汽车有限公司 基于腿部特征的步态识别方法、装置及系统、可读存储介质
CN112232224A (zh) * 2020-10-19 2021-01-15 西安建筑科技大学 一种lstm与cnn相结合的跨视角步态识别方法
CN112365582B (zh) * 2020-11-17 2022-08-16 电子科技大学 一种对抗点云生成方法、存储介质和终端
CN112699759A (zh) * 2020-12-24 2021-04-23 深圳数联天下智能科技有限公司 一种训练性别识别模型的方法及相关装置
CN112613460A (zh) * 2020-12-30 2021-04-06 深圳威富优房客科技有限公司 人脸生成模型的建立方法和人脸生成方法
CN113159146A (zh) * 2021-04-08 2021-07-23 浙江天行健智能科技有限公司 样本生成、目标检测模型训练、目标检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268593A (zh) * 2014-09-22 2015-01-07 华东交通大学 一种小样本情况下多稀疏表示的人脸识别方法
CN107423729A (zh) * 2017-09-20 2017-12-01 湖南师范大学 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法
CN108416276A (zh) * 2018-02-12 2018-08-17 浙江大学 基于人的侧面步态视频的异常步态检测方法
CN109325532A (zh) * 2018-09-18 2019-02-12 成都网阔信息技术股份有限公司 一种小样本下扩充数据集的图像处理方法
CN109919032A (zh) * 2019-01-31 2019-06-21 华南理工大学 一种基于动作预测的视频异常行为检测方法
CN109948498A (zh) * 2019-03-13 2019-06-28 中南大学 一种基于3d卷积神经网络算法的动态手势识别方法
CN110084156A (zh) * 2019-04-12 2019-08-02 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN110188828A (zh) * 2019-05-31 2019-08-30 大连理工大学 一种基于虚拟样本集成学习的图像来源鉴别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025834A1 (en) * 2009-07-31 2011-02-03 Samsung Electronics Co., Ltd. Method and apparatus of identifying human body posture

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268593A (zh) * 2014-09-22 2015-01-07 华东交通大学 一种小样本情况下多稀疏表示的人脸识别方法
CN107423729A (zh) * 2017-09-20 2017-12-01 湖南师范大学 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法
CN108416276A (zh) * 2018-02-12 2018-08-17 浙江大学 基于人的侧面步态视频的异常步态检测方法
CN109325532A (zh) * 2018-09-18 2019-02-12 成都网阔信息技术股份有限公司 一种小样本下扩充数据集的图像处理方法
CN109919032A (zh) * 2019-01-31 2019-06-21 华南理工大学 一种基于动作预测的视频异常行为检测方法
CN109948498A (zh) * 2019-03-13 2019-06-28 中南大学 一种基于3d卷积神经网络算法的动态手势识别方法
CN110084156A (zh) * 2019-04-12 2019-08-02 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN110188828A (zh) * 2019-05-31 2019-08-30 大连理工大学 一种基于虚拟样本集成学习的图像来源鉴别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Luo J, et al..Abnormal Gait behavior detection for elderly based on enhanced Wigner-Ville analysis and cloud incremental SVM learning.《Journal of Sensors》.2016,全文. *
Nieto-Hidalgo M, et al..A vision based proposal for classification of normal and abnormal gait using RGB camera.《Journal of biomedical informatics》.2016,全文. *
汤亚男.基于视觉传感的步态检测系统.《中国优秀硕士学位论文全文数据库-信息科技辑》.2019,全文. *
罗坚, 黎梦霞, 罗诗光..一种基于深度摄像机的3D人体步态建模和识别方法.《光学技术》.2019,全文. *

Also Published As

Publication number Publication date
CN111062340A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN111062340B (zh) 一种基于虚拟姿态样本合成的异常步态行为识别方法
CN108345869B (zh) 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN111275518B (zh) 一种基于混合光流的视频虚拟试穿方法及装置
CN104115192B (zh) 三维近距离交互的改进或与其有关的改进
JP3560670B2 (ja) 適応的認識システム
Tran et al. 3-D posture and gesture recognition for interactivity in smart spaces
Remelli et al. Low-dimensionality calibration through local anisotropic scaling for robust hand model personalization
CN110310285B (zh) 一种精确的基于三维人体重建的烧伤面积计算方法
Elforaici et al. Posture recognition using an RGB-D camera: exploring 3D body modeling and deep learning approaches
CN112784736B (zh) 一种多模态特征融合的人物交互行为识别方法
CN106778474A (zh) 3d人体识别方法及设备
CN111160294B (zh) 基于图卷积网络的步态识别方法
Monir et al. Rotation and scale invariant posture recognition using Microsoft Kinect skeletal tracking feature
CN111914643A (zh) 一种基于骨骼关键点检测的人体动作识别方法
CN114821640A (zh) 基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法
CN113610046B (zh) 一种基于深度视频联动特征的行为识别方法
CN110084211A (zh) 一种动作识别方法
CN111476077A (zh) 一种基于深度学习的多视角步态识别方法
CN112287857A (zh) 一种多视角异常步态识别方法
CN114998934A (zh) 基于多模态智能感知和融合的换衣行人重识别和检索方法
CN109558814A (zh) 一种三维矫正和加权相似性度量学习的无约束人脸验证方法
CN105488491A (zh) 基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法
Ong et al. Tracking hybrid 2D-3D human models from multiple views
CN113256789B (zh) 一种三维实时人体姿态重建方法
Liu et al. Key algorithm for human motion recognition in virtual reality video sequences based on hidden markov model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant