CN112287857A - 一种多视角异常步态识别方法 - Google Patents

Abstract

本发明公开了一种多视角异常步态识别方法，该方法基于三维参数化人体模型，利用采集的三维人体点云数据，估计结构化的人体参数模型，再通过对三维人体模型的视角、形体和姿态变换，来虚拟合成各视角下的数据，从而有效扩充样本数据，解决异常步态数据获取难度大和训练视角少的问题，提高识别模型面对视角变换时的鲁棒性和泛化能力；通过对时空特征的提取及分类器的训练，避免异常步态检测时受到视角变化幅度的影响。本发明提供的一种多视角异常步态识别方法解决现在技术所存在的异常步态数据量小导致识别模型的泛化能力和鲁棒性有局限性，图像检测过程局限性导致缺少深度信息在视角大幅变化时检测受到影响的问题。

Description

一种多视角异常步态识别方法

技术领域

本发明涉及异常步态行为检测技术领域，特别涉及，一种多视角异常步态识别方法。

背景技术

异常步态是指人体行走时的各种非正常的动作和姿态，具有明显的动态特征。异常步态行为的检测包括变电站中的意外跌倒检测、独居老人的跌倒检测、人体行为分析和公共场合下的异常步态行为检测等。

目前，异常步态相比正常步态而言，数据量小，训练样本少，视角变换、遮挡和衣着变化等外在因素将直接影响到识别模型的泛化能力和鲁棒性。现有的异常步态行为检测的方法中使用的二维图像步态检测方法局限性比较明显，缺少深度信息，面对视角大幅变化时，检测模型的鲁棒性受到限制，图像获取方法也受到一定限制。

针对上述问题，设计一种解决现有技术所存在的异常步态数据量小导致识别模型的泛化能力和鲁棒性有局限性，图像检测过程局限性导致缺少深度信息在视角大幅变化时检测受到影响的问题的方法，实现对异常步态进行更好的检测识别。

发明内容

针对上述缺陷，本发明解决的技术问题在于，提供一种多视角异常步态识别方法，以解决现在技术所存在的异常步态数据量小导致识别模型的泛化能力和鲁棒性有局限性，图像检测过程局限性导致缺少深度信息在视角大幅变化时检测受到影响的问题。

本发明提供了一种多视角异常步态识别方法，具体步骤包括：

步骤1、基于三维结构光和TOF技术，获取人体异常步态的点云数据；

步骤2、根据获取的点云数据，构建对应的三维参数化人体模型；

步骤3、对三维参数化人体模型的形体、姿态和视角参数进行变换，虚拟合成多视角下的新样本；

步骤4、对异常步态进行深度图像的时空特征提取，并将所述时空特征的样本划分为三元组；

步骤5、基于三元组的样本，对三元组分类器进行训练；

步骤6、使用训练好的三元组分类器进行异常步态识别。

优选地，所述步骤2具体步骤包括：

步骤2.1、根据获取的点云数据，对标准人体模型的骨架关节变换和形体变形，得到异常步态的三维人体模型；

步骤2.2、采用骨骼蒙皮方法对三维人体模型的姿态变形，得到依据形体和姿态语义参数生成的新的人体模型；

步骤2.3、基于深度点云轮廓和重要关节点信息对新的人体模型进行匹配，得到三维参数化人体模型。

优选地，所述步骤3具体步骤包括：

步骤3.1、固定三维参数化人体模型的姿态参数，生成虚拟的形体参数集；

步骤3.2、对形体变换后的人体模型进行姿态参数变换，生成虚拟姿态参数集；

步骤3.3、形体参数集和姿态参数集虚拟合成后，变换视角生成不同视角下的点云轮廓投影，得到虚拟合成的异常步态样本特征集。

优选地，所述步骤4具体步骤包括：

步骤4.1、采用具有时空特征的时空卷积神经网络，提取所有样本固定帧长度的步态投影深度图像；

步骤4.2、以固定帧长为单位，对所有样本的步态投影深度图像进行时空特征提取；

步骤4.3、对所有时空特征的样本按照三元组进行分类，其中所述三元组包括自身样本、正样本和负样本。

优选地，所述步骤5具体步骤包括：

步骤5.1、根据三元组样本，获得基于三元组的能量损失函数为

其中δ为正样本和负样本的边界值，

为第n个训练样本时空特征，

为其同一类的正样本，

为其负样本；

步骤5.2、通过能量损失函数，完成对三元组分类器的学习，分类器C(x)＝Wx+b，其中x为待分类的输入样本，W为分类器所要学习的权重参数；

步骤5.3、基于三元组分类器，将同类样本差异极小化，不同类样本之间的差异最大化，得到训练好的三元组分类器。

优选地，所述步骤2.1具体步骤包括：

步骤2.1.1、将参数化模型内嵌三维运动人体关节骨架信息，其形体参数所对应的数值为g＝[g₁,Λ,g_L]，其中L为最大形体数值；

步骤2.1.2、将运动信息通过人体骨架中各关节相对旋转角度进行表示，得到姿态语义特征r＝[Δr₁,Λ,Δr_M]，M为最大关节数值，Δr_M∈R³；

步骤2.1.3、生成标准T姿态人体衣着一套，对训练模型进行虚拟穿衣，得到穿衣后的三维人体训练模型S＝{S¹,S²,Λ,S^K}，其中S^K＝{V^K，P^K}，K为模型样本数，V＝[v₁,v₂,Λ,v_M]为模型的M个顶点信息，v_M∈R³，P＝[p₁,p₂,Λ,p_K]为模型网格面数据，p_K∈R³，一个网格面含t个顶点；

步骤2.1.4、对所有模型顶点V∈R^3M×K进行主成分分析得到

其中V^k为样本k∈[1,Λ,K]的顶点信息，U∈R^3M×K为特征矩阵，p^k∈R^K×1为个体形体差异系数，

的均值向量；

步骤2.1.5、采用线性回归分析方法完成语义特征对三维人体模型的直接变形，采用增量变形方式最终得到异常步态的三维人体模型。

优选地，所述步骤2.2具体步骤包括：

步骤2.2.1、对每个关节建立三维局部坐标系，采用3个欧拉角的旋转变换来实现各个关节的相对运动，得到刚性模型联合变换矩阵为

其中，绕三维局部坐标系的三个坐标轴旋转的角度分别为α、β、γ，c表示cos运算，s表示sin运算；

步骤2.2.2、通过形体和姿态旋转变形，依据形体和姿态语义参数合成新的人体模型

其中X_std为标准姿态和形体模型，g为形体特征，r为姿态变化特征，R(r)为形体变形，S(g)为姿态旋转变形。

优选地，所述步骤2.3具体步骤包括：

步骤2.3.1、采集视角α的人体步态点云数据，并对其进行归一化处理，得到对应的点云投影深度图像；

步骤2.3.2、提取新的人体模型的人体边缘轮廓，将其重要关节点坐标和深度值与点云投影深度图像的重要关节点坐标和深度值进行匹配，得到相似度函数；

步骤2.3.3、以采集的三维人体点云轮廓和重要关节点为约束，根据其投影轮廓相似度函数得到对应的形体和姿态估计语义特征值；

步骤2.3.4、通过聚类分析方法选取良好的相似度函数的初值，利用改进鲍威尔共轭方向迭代法，最终得到三维参数化人体模型。

优选地，所述步骤2.3.4具体步骤包括：

步骤2.3.4.1、固定标准人体模型的形体，对其姿态参数进行迭代；

步骤2.3.4.2、固定迭代后的姿态参数，对形体进行优化求解；

步骤2.3.4.3、根据联合最优解的形式得到三维参数化人体模型的最优解，得到三维参数化人体模型的最优姿态和形体参数。

由上述方案可知，本发明提供的一种多视角异常步态识别方法是一种基于点云数据和人体语义特征模型的异常步态三维人体建模和可变视角的识别方法，该方法基于三维参数化人体模型，利用采集的三维人体点云数据，估计结构化的人体参数模型，再通过对三维人体模型的视角、形体和姿态变换，来虚拟合成各视角下的数据，从而有效扩充样本数据，解决异常步态数据获取难度大和训练视角少的问题，提高识别模型面对视角变换时的鲁棒性和泛化能力，同时通过对时空特征的提取及分类器的训练保证模型含有足够的深度信息数据，避免异常步态检测时受到视角变化幅度的影响。本发明解决现在技术所存在的异常步态数据量小导致识别模型的泛化能力和鲁棒性有局限性，图像检测过程局限性导致缺少深度信息在视角大幅变化时检测受到影响的问题，作用效果显著，适于广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多视角异常步态识别方法的过程框图一；

图2为本发明实施例提供的一种多视角异常步态识别方法的过程框图二；

图3为本发明实施例提供的一种多视角异常步态识别方法的获取的真实点云数据图；

图4为根据图3所示的真实点云数据图得到的参数化人体模型图；

图5为图4所示参数化人体模型进行虚拟形体变换后的人体模型图；

图6为图5所示人体模型进行虚拟姿态变换后的人体模型图；

图7为根据图6所示人体模型得到的不同视角人体模型图；

图8为本发明实施例提供的一种多视角异常步态识别方法的3D人体模型图；

图9为本发明实施例提供的一种多视角异常步态识别方法的人体模型骨架；

图10为本发明实施例提供的一种多视角异常步态识别方法的人体点云图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请一并参阅图1至图10，现对本发明提供的一种多视角异常步态识别方法的一种具体实施方式进行说明。该种多视角异常步态识别方法的具体步骤包括：

S1、基于三维结构光和TOF(time of flight)技术，获取人体异常步态的点云数据；

使用三维结构光传感器，通过采集点云数据作为步态数据来源，根据异常步态的彩色图像及包含距离信息的深度图像，获取人体异常步态的点云数据进而进行异常步态识别。基于结构光和TOF技术的三维传感器显示更加精确，分辨率更高，受光照等外在因素影响更小，同时实时计算所拍摄物体的深度值，实时性能更好。

S2、根据获取的点云数据，以人体异常步态点云数据为观测目标，运用非刚性变形和蒙皮方法构建对应的基于形体和姿态语义特征的三维参数化人体模型；

本步骤具体的实现步骤可以为：

S2.1、根据获取的点云数据，对标准人体模型的骨架关节变换和形体变形，得到异常步态的三维人体模型；

通过对标准人体模型的骨架关节变换和形体变形，使人体参数模型与点云数据所表述的人体姿态和形体基本一致，达到对人体姿态和形体参数估计的目的，完成对异常步态的三维建模。本步骤具体的实现步骤可以为：

S2.1.1、将参数化模型内嵌三维运动人体关节骨架信息，其形体参数所对应的数值为g＝[g₁,Λ,g_L]，其中L为最大形体数值；

S2.1.2、将运动信息通过人体骨架中各关节相对旋转角度进行表示，得到姿态语义特征r＝[Δr₁,Λ,Δr_M]，M为最大关节数值，Δr_M∈R³，每一个三维人体模型都具有固定的顶点数量v_i和网格面数，所有模型都内嵌有人体骨架；

S2.1.3、利用三维辅助设计软件，生成标准T姿态人体衣着一套，对训练模型进行虚拟穿衣，得到穿衣后的三维人体训练模型S＝{S¹,S²,Λ,S^K}，其中S^K＝{V^K，P^K}，K为模型样本数，V＝[v₁,v₂,Λ,v_M]为模型的M个顶点信息，v_M∈R³，P＝[p₁,p₂,Λ,p_K]为模型网格面数据，p_K∈R³，一个网格面含t个顶点；

S2.1.4、对所有模型顶点V∈R^3M×K进行主成分分析得到

其中V^k为样本k∈[1,Λ,K]的顶点信息，U∈R^3M×K为特征矩阵，p^k∈R^K×1为个体形体差异系数，

为{V^K}的均值向量；

S2.1.5、采用线性回归分析方法完成语义特征对三维人体模型的直接变形，采用增量变形方式最终得到异常步态的三维人体模型。

S2.2、采用骨骼蒙皮方法对三维人体模型的姿态变形，得到依据形体和姿态语义参数生成的新的人体模型；

将网格模型作为皮肤，绑定到人体的骨架上，即将网格顶点附着在不同的骨头上，在姿态变形时，先进行关节骨架变化，然后更新对应网格顶点，获得多种姿态的三维人体模型。

本步骤具体的实现步骤可以为：

S2.2.1、对每个关节建立三维局部坐标系，采用3个欧拉角的旋转变换来实现各个关节的相对运动，得到刚性模型联合变换矩阵为

其中，绕三维局部坐标系的三个坐标轴旋转的角度分别为α、β、γ，c表示cos运算，s表示sin运算；

S2.2.2、通过形体和姿态旋转变形，依据形体和姿态语义参数合成新的人体模型

其中X_std为标准姿态和形体模型，g为形体特征，r为姿态变化特征，R(r)为形体变形，S(g)为姿态旋转变形。

S2.3、基于深度点云轮廓和重要关节点信息对新的人体模型进行匹配，得到三维参数化人体模型。

本步骤具体的实现步骤可以为：

S2.3.1、采集视角α的人体步态点云数据，并对其进行归一化处理，得到对应的点云投影深度图像P_α；

将姿态和标准形体下的参数化人体模型及其点云深度图像进行投影，得到三维参数化人体模型及其在α视角下的点云投影深度图像Y_a(r,g)，不同灰度颜色表示不同的深度信息。

基于深度点云轮廓和重要关键关节点匹配相似度函数为

其中w₁和w₂为权重值，Γ_i()为点云深度图像中的人体轮廓提取函数，表示当前视角下人体边缘轮廓中的第i个离散点相对坐标r_i和深度值d_i，表示为(r_i，d_i)，人体边缘轮廓提取是以人体表面质心为三维坐标系原点，按顺时针方向取I个点，表示为r_i＝x_ii+y_ij，P_α同样以人体表面质心为参考原点，求取其I个轮廓点信息Γ_i(P_α)，外围轮廓距离差度量函数保证了参数人体模型和采集点云人体模型的全局匹配。

Mark_n(Y_α(r,g))表示视角α下，参数化人体模型深度投影图像中的第n个重要关节点坐标和深度值，表示为(r_n，d_n)，Mark_n(P_α)表示点云人体投影图像P_α的第n个重要关节点对应的坐标和深度值，重要关节点距离度量函数保证估计参数人体模型的局部细节的匹配。

S2.3.2、提取新的人体模型的人体边缘轮廓，将其重要关节点坐标和深度值与点云投影深度图像的重要关节点坐标和深度值进行匹配，得到相似度函数，取人体模型的头部关节点、左右手踝关节点和左右脚踝关节点作为5个人体重要关节点；

S2.3.3、以采集的三维人体点云轮廓和重要关节点为约束，通过求解其投影轮廓相似度函数的极小值，得到对应最优的形体和姿态估计语义特征值，进而得到对应的三维参数化人体模型；

S2.3.4、通过聚类分析方法选取良好的相似度函数的初值，利用改进鲍威尔共轭方向迭代法，最终得到三维参数化人体模型。

本步骤具体的实现步骤可以为：

S2.3.4.1、固定标准人体模型的形体，对其姿态参数进行迭代；

S2.3.4.2、固定迭代后的姿态参数，对形体进行优化求解；

S2.3.4.3、根据联合最优解的形式得到三维参数化人体模型的最优解，得到三维参数化人体模型的最优姿态和形体参数。

S3、对三维参数化人体模型的形体、姿态和视角参数进行适当变换，虚拟合成多视角下的新样本，达到扩充异常步态数据库的目的；

本步骤具体的实现步骤可以为：

S3.1、固定三维参数化人体模型的姿态参数，生成虚拟的形体参数集；

S3.2、对形体变换后的人体模型进行姿态参数变换，生成虚拟姿态参数集，其方差限制在较小的范围内，即姿态变换太大，可能成为另一种异常步态，小幅度变换，则归属于同一类；

S3.3、形体参数集和姿态参数集虚拟合成后，变换视角生成不同视角下的点云轮廓投影，得到虚拟合成的异常步态样本特征集。

S4、将深度卷积网络引入，对异常步态进行深度图像的时空特征提取，并将时空特征的样本划分为三元组，时空特征即步态数据具有周期性的特点，本步骤具体的实现步骤可以为：

S4.1、采用具有时空特征的ConvGRU时空卷积神经网络，提取所有样本固定帧长度的步态投影深度图像；

ConvGRU卷积循环神经网络是基于卷积网络和GRU循环神经网络两种特性的时空卷积网络，卷积网络对二维图像进行多尺度的特征提取效果很好，而循环神经网络则可充分记忆时序特征。GRU循环神经网络结构更简单有效。

S4.2、将所有步态投影深度图像以固定帧长为单位，通过时空卷积神经网络对所有样本的步态投影深度图像进行时空特征提取；

进行异常步态分析时，只提取固定帧长度的步态投影深度图像进行特征提取。将所有视频按固定帧进行分割并附注异常步态类别标签，将固定帧的一定视角下的点云步态投影深度图依据时间先后顺序，输入到深度卷积循环网络中，提取其时空特征。

S4.3、对所有时空特征的样本按照三元组进行分类，其中三元组包括自身样本、正样本和负样本，正样本是与自身样本属于同一类的样本，而负样本则是与自身样本不在同一类的样本。

S5、基于三元组的样本，对三元组异常步态分类器进行训练，以提高分类器对细小差异的鉴别能力；

本步骤具体的实现步骤可以为：

S5.1、根据三元组样本，获得基于三元组的能量损失函数为

其中δ为正样本和负样本的边界值，

为第n个训练样本时空特征，

为其同一类的正样本，

为其负样本，属于其他类别；

S5.2、通过最小化三元组能量损失函数，完成对三元组分类器的学习，分类器C(x)＝Wx+b，其中x为待分类的输入样本，W为分类器所要学习的权重参数；

S5.3、基于三元组分类器，将同类样本差异极小化，不同类样本之间的差异最大化，得到训练好的三元组分类器，有利于很好地完成对测试样本的分类识别。

S6、使用训练好的三元组分类器进行异常步态识别。

该种多视角异常步态识别方法是一种基于点云数据和人体语义特征模型的异常步态三维人体建模和可变视角的识别方法，该方法基于三维参数化人体模型，利用采集的三维人体点云数据，估计结构化的人体参数模型，再通过对三维人体模型的视角、形体和姿态变换，来虚拟合成各视角下的数据，从而有效扩充样本数据，解决异常步态数据获取难度大和训练视角少的问题，提高识别模型面对视角变换时的鲁棒性和泛化能力，同时通过对时空特征的提取及分类器的训练保证模型含有足够的深度信息数据，避免异常步态检测时受到视角变化幅度的影响。

该方法结合了三维人体先验知识、循环卷积网络的时空特性和虚拟视角样本合成方法的优点，提高异常步态在面对视角变换时的识别准确性，充分有效地提取异常步态的时空特征，有效区别异常步态中的细小差异，提高识别效果和提升算法在面对各种情境下的鲁棒性。

示例性的：使用CSU(Central South University)三维异常步态数据库和DHA(depth-included human action video)深度人体行为数据库进行实验，对比了不同异常步态或行为识别方法的效果。

具体的实行步骤是，使用CSU三维异常步态数据库和DHA深度人体行为数据库进行交叉视角时异常步态的检测识别，交叉视角即训练和识别非同一视角，设置实验组与对照组，其中，实验组按照该种多视角异常步态识别方法分别对两组数据库的样本数据进行训练及检测识别，对照组为DMHI(difference motion history image改进运动历史图的异常行为识别方法)检测识别方法分别对两组数据库的相同样本数据进行训练及检测识别，得到如下实验结果：实验组在CSU异常步态库实验中，0度、45度、90度视角下对异常步态的综合检测识别率为96.6％，特别是在90度和0度交叉和变换视角实验中，比对照组的步态动作特征检测结果准确率要高出25％以上；在DHA深度人体运动数据库实验中，实验组识别率接近0.98，比对照组高出2％-3％。

通过对比，最终得出结论：在相同数据量进行训练的条件下，实验组相较于对照组对异常步态不同视角的识别率更高，检测效果更好。由上述数据可见，应用该方法进行异常步态检测识别的效果十分显著。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种多视角异常步态识别方法，其特征在于，具体步骤包括：

步骤1、基于三维结构光和TOF技术，获取人体异常步态的点云数据；

步骤2、根据获取的点云数据，构建对应的三维参数化人体模型；

步骤3、对三维参数化人体模型的形体、姿态和视角参数进行变换，虚拟合成多视角下的新样本；

步骤4、对异常步态进行深度图像的时空特征提取，并将所述时空特征的样本划分为三元组；

步骤5、基于三元组的样本，对三元组分类器进行训练；

步骤6、使用训练好的三元组分类器进行异常步态识别。

2.根据权利要求1所述的一种多视角异常步态识别方法，其特征在于，所述步骤2具体步骤包括：

步骤2.1、根据获取的点云数据，对标准人体模型的骨架关节变换和形体变形，得到异常步态的三维人体模型；

步骤2.2、采用骨骼蒙皮方法对三维人体模型的姿态变形，得到依据形体和姿态语义参数生成的新的人体模型；

步骤2.3、基于深度点云轮廓和重要关节点信息对新的人体模型进行匹配，得到三维参数化人体模型。

3.根据权利要求2所述的一种多视角异常步态识别方法，其特征在于，所述步骤3具体步骤包括：

步骤3.1、固定三维参数化人体模型的姿态参数，生成虚拟的形体参数集；

步骤3.2、对形体变换后的人体模型进行姿态参数变换，生成虚拟姿态参数集；

步骤3.3、形体参数集和姿态参数集虚拟合成后，变换视角生成不同视角下的点云轮廓投影，得到虚拟合成的异常步态样本特征集。

4.根据权利要求3所述的一种多视角异常步态识别方法，其特征在于，所述步骤4具体步骤包括：

步骤4.1、采用具有时空特征的时空卷积神经网络，提取所有样本固定帧长度的步态投影深度图像；

步骤4.2、以固定帧长为单位，对所有样本的步态投影深度图像进行时空特征提取；

步骤4.3、对所有时空特征的样本按照三元组进行分类，其中所述三元组包括自身样本、正样本和负样本。

5.根据权利要求4所述的一种多视角异常步态识别方法，其特征在于，所述步骤5具体步骤包括：

步骤5.1、根据三元组样本，获得基于三元组的能量损失函数为

其中δ为正样本和负样本的边界值，

为第n个训练样本时空特征，

为其同一类的正样本，

为其负样本；

步骤5.2、通过能量损失函数，完成对三元组分类器的学习，分类器C(x)＝Wx+b，其中x为待分类的输入样本，W为分类器所要学习的权重参数；

步骤5.3、基于三元组分类器，将同类样本差异极小化，不同类样本之间的差异最大化，得到训练好的三元组分类器。

6.根据权利要求2所述的一种多视角异常步态识别方法，其特征在于，所述步骤2.1具体步骤包括：

步骤2.1.1、将参数化模型内嵌三维运动人体关节骨架信息，其形体参数所对应的数值为g＝[g₁,Λ,g_L]，其中L为最大形体数值；

步骤2.1.2、将运动信息通过人体骨架中各关节相对旋转角度进行表示，得到姿态语义特征r＝[Δr₁,Λ,Δr_M]，M为最大关节数值，Δr_M∈R³；

步骤2.1.3、生成标准T姿态人体衣着一套，对训练模型进行虚拟穿衣，得到穿衣后的三维人体训练模型S＝{S¹,S²,Λ,S^K}，其中S^K＝{V^K，P^K}，K为模型样本数，V＝[v₁,v₂,Λ,v_M]为模型的M个顶点信息，v_M∈R³，P＝[p₁,p₂,Λ,p_K]为模型网格面数据，p_K∈R³，一个网格面含t个顶点；

步骤2.1.4、对所有模型顶点V∈R^3M×K进行主成分分析得到

其中V^k为样本k∈[1,Λ,K]的顶点信息，U∈R^3M×K为特征矩阵，p^k∈R^K×1为个体形体差异系数，

为{V^K}的均值向量；

步骤2.1.5、采用线性回归分析方法完成语义特征对三维人体模型的直接变形，采用增量变形方式最终得到异常步态的三维人体模型。

7.根据权利要求6所述的一种多视角异常步态识别方法，其特征在于，所述步骤2.2具体步骤包括：

步骤2.2.1、对每个关节建立三维局部坐标系，采用3个欧拉角的旋转变换来实现各个关节的相对运动，得到刚性模型联合变换矩阵为

其中，绕三维局部坐标系的三个坐标轴旋转的角度分别为α、β、γ，c表示cos运算，s表示sin运算；

步骤2.2.2、通过形体和姿态旋转变形，依据形体和姿态语义参数合成新的人体模型

其中X_std为标准姿态和形体模型，g为形体特征，r为姿态变化特征，R(r)为形体变形，S(g)为姿态旋转变形。

8.根据权利要求7所述的一种多视角异常步态识别方法，其特征在于，所述步骤2.3具体步骤包括：

步骤2.3.1、采集视角α的人体步态点云数据，并对其进行归一化处理，得到对应的点云投影深度图像；

步骤2.3.2、提取新的人体模型的人体边缘轮廓，将其重要关节点坐标和深度值与点云投影深度图像的重要关节点坐标和深度值进行匹配，得到相似度函数；

步骤2.3.3、以采集的三维人体点云轮廓和重要关节点为约束，根据其投影轮廓相似度函数得到对应的形体和姿态估计语义特征值；

步骤2.3.4、通过聚类分析方法选取良好的相似度函数的初值，利用改进鲍威尔共轭方向迭代法，最终得到三维参数化人体模型。

9.根据权利要求8所述的一种多视角异常步态识别方法，其特征在于，所述步骤2.3.4具体步骤包括：

步骤2.3.4.1、固定标准人体模型的形体，对其姿态参数进行迭代；

步骤2.3.4.2、固定迭代后的姿态参数，对形体进行优化求解；

步骤2.3.4.3、根据联合最优解的形式得到三维参数化人体模型的最优解，得到三维参数化人体模型的最优姿态和形体参数。

Images