CN104461000A - 一种基于少量缺失信号的在线连续人体运动识别方法 - Google Patents

Abstract

本发明是一种基于少量缺失信号的在线连续人体运动识别方法，该方法首先针对每种运动类型的信号数据进行训练建立该类信号数据对应的分层回归模型，并标记该类数据所对应的运动种类；其次根据动作之间的连续性和可衔接性构建动作图对连续识别过程中运动类别的估计提供先验知识信息；然后在在线识别的过程中，通过分层各个分层回归模型的当前识别结果对连续的运动信号进行划分；最后，对当前识别的运动结果进行在线的绘制，从三维运动数据库中选取对应的运动数据片段，并通过运动图和运动插值技术以及动态时间规整生成连续的三维人体运动数据。

Description

一种基于少量缺失信号的在线连续人体运动识别方法

技术领域

本发明属于计算机人机交互技术领域，具体涉及一种基于少量缺失信号的在线连续人体运动识别方法。

背景技术

使计算机以人所习惯的方式与人们进行信息交换，是计算机智能化的一个重要反应。其中，对场景信息中的人物进行全面地分析和辨别，并将感兴趣的信息从周围环境中准确分离出来是人类视觉的一个最基本的功能，也是使计算机智能化的一项主要标准。运动是人类维持生命、完成任务、改造客观世界的基础，使计算机获取并分析场景中人物的运动是计算机视觉与虚拟现实领域的一项重要内容。随着人类对三维人体运动分析研究逐渐深入并应用到各个领域中，大量视频与各种类型的传感器设备逐渐普及并投入应用中，利用计算机自动获取、分析视频与传感器信号中的人体运动信息引起越来越受到研究人员的关注。

然而，由于人体结构和运动本身存在复杂性，同时，图像、视频、传感器中的信号来源也存在着环境约束与干扰，三维人体运动分析技术的研究虽然已经取得了一定的进展，但尚未成熟，仍然是当前的研究热点。在交互式人体运动识别领域，随着科技的发展，越来越多的新型设备能够稳定的捕获人体运动的相关信息进而对人体运动的识别问题提供了便捷的解决途径。结合人体运动的特点以及对研究现状的分析，仍然存在有待解决的问题：

(1)从输入设备方面而言，作为人体运动获取的主要途径，图像和视频中人体的行为识别的理解仍然会是识别领域的重点。同姿态估计中的问题类似，如何从复杂场景中有效地提取人体运动信息也是识别领域的一项难题，除此之外，由于人体的运动通常会与周围的其他人或物产生联系，因此多人之间交互行为的理解仍然处于研究中的初级阶段。而在基于传感器的输入中，由精确信号恢复人体运动信息已较为成熟，然而当前一些信号传输渠道通常存在着干扰与不稳定性，导致获取的信号存在着大量噪声、不连续性，甚至整段的缺失。因此，如何从基于少量的，含有缺失信息的信号源中获取足够的人体运动信息估计人物的运动内容也是研究中的一项难点；

(2)在运动的表示方面，人体是具有对称结构的由众多关节连接起来的肢体组合，为了保持人体在静态和运动时的平衡和灵活，各个关节之间存在复杂的关联，而在视觉上，多样的肢体姿态呈现出复杂的形态，使得运动识别存在一定难度。此外，由于不同的个体存在身形、运动习惯等差异，使不同人对相同动作的表现不尽相同，甚至对于某些特定复杂动作还表现出较大的差异，进一步增加了运动恢复与识别的难度；

(3)在识别对象方面，目前的大多数运动识别方法是基于分割后的行为序列进行分析的，而对连续的、长时间的运动序列进行分析的研究工作比较少。

当前存在的研究工作中，大多基于传感器的识别工作针对也开始着手减少输入的信息，然而大部分方法尚采用精确的传感器数据通过估计人体主要关节点的三维位置信息并还原人物姿态进行识别。对于无法正确估算位置的信息的输入以及过程中产生的数据缺失，此类方法尚不能较好的完成识别的任务。

发明内容

本发明的目的：针对少量信息源以及信号中的噪声和信息缺失，研究一种分层回归的交互式人体运动识别方法，构建一个具有预测能力的分层映射模型，有效地将人体各个关键部件的运动信号源数据映射到不同类别的三维人体运动数据中，从而完成连续在线识别的任务。

本发明提出的基于少量缺失信号的在线连续人体运动识别方法，其主要步骤如下：

步骤(1)、针对每种运动类型的信号数据进行训练，建立该类信号数据对应的分层回归模型；

步骤(2)、根据动作之间的连续性和可衔接性构建动作图对连续识别过程中运动类别的估计提供先验知识信息；

步骤(3)、在连续的在线识别中，根据步骤(1)的分层回归模型和步骤(2)中的先验知识计算当前运动的类型，并以该识别结果为指导进行连续输入信号的分割；

步骤(4)、利用步骤(3)得到的当前识别结果，从三维运动数据库中选取对应的运动数据片段，并通过运动图运动插值技术以及动态时间规整生成连续的三维人体运动数据。

进一步的，所述步骤(1)中对分层回归模型构建的具体内容如下：

步骤(A1)、根据人体各个关节点的加速度信号源的个数与分布对人体进行区域划分；

步骤(A2)、分别针对每个运动类型，对每个步骤(A1)中划分得到的区域内的加速度信号建立隐马尔科夫模型HMM_i；

步骤(A3)、根据不同的运动类别建立各个区域的树形结构，并对树形结构中父子节点区域对应的隐马尔科夫进行融合，建立隐马尔科夫模型之间的关联关系；

步骤(A4)、对每组加速度信号建立回归方程，使模型具有预测和信号恢复的能力。

所述步骤(2)构造动作图的步骤具体如下：

步骤(B1)、针对连续的运动信号进行手动信号划分，构造训练数据集；

步骤(B2)、将运动之间的过渡点作为动作图的节点，将不同种类的运动数据作为动作图的边，对动作图进行统计训练，获取每个节点之间，即边上的状态转移概率；

步骤(B3)、在进行连续的运动识别时，通过步骤(B2)中的状态转移概率和识别过程中当前处于的状态值计算后续不同种类运动可能出现的概率值。

所述步骤(3)中在线识别中连续运动信号分割的步骤如下：

步骤(C1)、在线识别过程中，对每个时刻T建立标签投票数组vote[t][type]，并进行初始化；

步骤(C2)、设计长度固定的滑动窗口随着在线识别信号的连续输入以步长为1个单位时间的速度滑动，每滑动一次对当前窗口内的信号数据结合步骤(1)中的模型和步骤(2)中获得的先验概率值进行识别，并得到识别结果x；

步骤(C3)、将当前滑动窗口内的每一时刻t的标签投票数组进行更新：vote[t][type]＝vote[t][type]+1；

步骤(C4)、当窗口滑动到时间T时，对T-1时刻的投票数目进行统计，投票最高且投票数目超过设定阈值H表示当前时刻信号的运动类别，若当前时刻的运动类别与前一时刻的运动类别不同，则当前时刻即为分割点。

所述步骤(4)利用运动图和运动插值技术实现运动合成与绘制的步骤如下：

步骤(D1)、通过步骤(3)中的识别结果从三维运动数据库中选取对应的运动数据片段，并根据当前运动状态对运动数据进行动态时间规整；

步骤(D2)、对两段运动之间的过渡通过运动图的方法进行运动插值，生成过渡数据；

步骤(D3)、对步骤(D1)、步骤(D2)中生成的运动数据进行绘制。

本发明与现有技术相比的优势：

首先，本发明中的分层回归模型以处理时序数据能力较强的隐马尔科夫模型作为底层模型，通过针对人体本身的空间分布结构对隐马尔科夫模型进行分层，并建立层次之间的联系。同时在输入信号中引入回归方程，对信号中的缺失信息进行预测和修正。该分层模型保证了此映射过程的鲁棒性，并且无需对关键节点的位置信息进行冗余的计算。

其次，本发明中引入的动作图结构根据不同种类的运动数据之间过渡的可能性进行统计，使得连续识别的过程中通过当前的识别结果对后续的运动类型具有一定的预测和指导能力，同时进一步加强连续运动识别的准确度。

最后，本发明给出一种以识别结果为指导的信号分割方法，该方法相对于现有的信号分割方法不仅具有更高的分割准确率，且具有较高效率，能够满足在线连续运动识别的需求。本发明在训练的运动类型为32种时，能够适应3个以上信号源的输入，当输入为双手、一只脚的关节点信号时，识别率能够达到81％以上；对于4个以上的信号源，当信号加入噪声或缺失时，识别准确率达到85％以上，而对于无噪声的准确信号源，本发明的识别率能达到95％以上。

附图说明

图1为本发明的基于少量缺失信号的在线连续人体运动识别方法的整体过程示意图；

图2为本发明的动作图结构的示意图；

图3为本发明的在线信号分割中投票数组随时序变化的示意图；

图4为本发明的基于识别结果的运动数据合成与绘制的示意图。

具体实施方式

下面结合附图与实例对本发明作进一步详细描述：

本发明实施过程包括四个主要步骤：分层回归模型的构建与训练，动作图结构的构建与训练，在线识别过程中基于识别结果的连续信号分割，利用运动图等运动插值技术实现运动的合成与绘制。图1展示了本发明的整体过程示意图。

步骤一：建立分层回归模型：

第一阶段：人体区域划分：

人体区域划分阶段主要处理的是对单个的隐马尔科夫模型建立模型隐状态与人体的某个关键节点上信号数据之间的映射。根据输入的信号个数和数目建立树形结构：当输入信号源较少时，如仅有四肢和腰部根节点的信号数据，人体的区域将分为三块(或四块)：主躯干、上肢末段(或左手、右手)、下肢末段，从而建立一个两层的树形结构，以主躯干为父节点，上肢末段与下肢末段为叶节点；当输入信号源较多时，如包括人体主要十个以上的关节点时，分块尺度将更加细化，相应的树形结构的层数也会增多，表达的人体部件之间的关系信息也将更加具体。该阶段的目的在于建立后续各个关节点之间隐马尔科夫模型的关联参数，以提高模型针对复杂人体结构与运动的映射鲁棒性。

第二阶段：针对每个区域的信号源建立单个隐马尔科夫模型：

根据第一阶段中的划分结果，将总的信号特征信息分为各个区域的特征，对每一区域特征信息分别独立的训练HMM，得到HMM₁，…，HMM_n，n为区域的总个数。训练过程采用经典的Baum-Welch方法，该算法的主要思想是期望最大化过程，通过迭代的估计，训练得到最优的参数值。

第三阶段：建立隐马尔科夫模型之间的关联：

本阶段在原始的各个隐马尔科夫模型的基础上，根据建立的树形层次结构引入隐马尔科夫模型之间的融合机制，以建立各个人体区域之间的关联。对于其中需要建立关联的两个隐马尔科夫模型，其关联方式如下：

$p^{\left(1\right)}(O^{\left(1\right)};O^{\left(2\right)})=p\left(O^{\left(1\right)}\right)p\left(O^{\left(2\right)}\right)\frac{p(U^{\left(1\right)},O^{\left(2\right)})}{p\left(U^{\left(1\right)}\right),p\left(O^{\left(2\right)}\right)}=p\left(O^{\left(1\right)}\right)p\left(O^{\left(2\right)}\right|U^{\left(1\right)})---\left(1\right)$

其中，O为观察值向量，U为隐状态向量。该式表明，对于两个在树形结构中具有父子关系的隐马尔科夫模型父节点HMM₁与子节点HMM₂，将HMM₁作为主模型，则将HMM₂的隐状态与HMM₁的观察值建立关联，从而表明子节点隐马尔科夫模型的状态选择依赖于父节点隐马尔科夫模型的观察值。此结构中引入的关联参数B₁₂表示一个模型的隐状态序列输出另外一个模型的观察值序列的概率，训练采用期望最大化算法对关联参数进行计算，训练过程近似于隐马尔科夫模型的参数训练过程。其中，相较于原始隐马尔科夫模型，该模型需要额外训练的关联参数如下：

$B_{12}=\arg \underset{B_{12}}{\max }p\left(O^{\left(2\right)}\right|U^{\left(1\right)})---\left(2\right)$

第四阶段：对各个信号源建立回归方程，并建立分层回归模型：

为了使得模型具有更好的预测能力，对每组观察值建立回归方程，即建立每一时刻的观察值与之前观察值之间的映射：

$O_t=e(s_{t-1},s_t)+\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{c}_i(s_{t-1},s_t)O_{t-i}+{\mathrm{\ϵ}}_t---\left(3\right)$

其中，e表示仅受到当前前后两帧隐状态影响的观察值基值，c表示之前观察值对当前观察值的影响。在此基础上确定模型参数集合，以双层模型为例，模型的参数将从原有的隐马尔科夫模型参数{π,A,B}，扩展为ψ＝{π₁,A₁,e₁,c₁,π₂,A₂,e₂,c₂,B₁₂}。在模型的训练过程中，即求解模型中未知参数ψ的过程中，采用隐马尔科夫模型中传统的最大期望算法(EM)与Baum-Welch方法对分层模型的参数进行学习，通过最大化概率P(O)获取模型的未知参数。

在识别的过程中，通过求解在给定序列O，与模型参数ψ的基础上，P(O₁,...,O_n|ψ)的数值解获得识别结果。该概率值即为识别中评价输入信号与基于当前运动种类分层回归模型的匹配程度，直接决定了识别的结果。该过程采用Viterbi算法求解。

步骤二：定义随机过程并指定各个因子的核函数，构造出随机过程的协方差函数：

第一阶段：针对连续的运动信号进行手动信号划分，构造训练数据集：

对于连续化的运动，通常不同动作间存在过渡的可能性，而某些不同的动作在实际人体的连续运动中无法接连的完成，而是通过增加中间的一个或几个过渡动作完成。本阶段主要通过从数据库中收集连续的运动数据长片段，并进行人工的标注与分割，将整段的连续运动数据转化为连续的运动标签数据，如[走路，走路，跳，走路，跑步…]，作为动作图结构的训练数据。

第二阶段：对动作图进行统计训练，获取每个节点之间的状态转移概率：

图结构的两个最重要的元素是节点和节点之间的连接(边)，动作图中，节点的连接关系有两种：自连接与向其他节点的连接。其中，每个节点表示当前种类的运动片段结束后的状态，而节点之间的连接则表示通过某段运动后状态的转移。图2表示了动作图的结构示意。其中，节点{1，2，3，4}代表当前动作结束下一个动作开始前所处的状态，边{A，B，C，D}代表不同种类的运动。

基于第一阶段中得到的运动标签数据，本阶段采用Bayes来训练节点概率模型，通过概率模型计算当前信号与状态节点之间的匹配度，找到使得之前输入序列与状态的匹配度最大化的状态作为当前状态，并根据该以状态为出发点的边上概率值预测后续可能的运动种类，并排除不可能出现的运动类别。

第三阶段：在连续的在线运动识别中，结合步骤一中的模型给出当前运动种类的概率：

对当前信号的识别综合了步骤一中的分层回归模型的识别结果和动作图中给出的后续运动种类预测概率值：

式(4)中x表示运动的种类，P(x)表示判断当前输入运动信号为运动种类x的概率，当此概率在所有的运动种类中达到最大且超过设定的阈值H时，则判定该段运动的类型为x；若全部运动种类中的最大概率值均不超过H，则认为当前信号为过渡信号或已超出训练数据中所规定的运动种类。

步骤三：在线识别中连续运动信号分割方法：

第一阶段：对每个时刻T建立标签投票数组并进行初始化：

建立一个二维数组vote[t][type]，其中t表示t个单位时间，type表示运动的类型，用此二维数组保存投票结果，其中每个运动类别对应着一个随时间变化的投票曲线。在此阶段对此二维数组进行归零初始化。

第二阶段：设计滑动窗口并随着在线识别信号的连续输入进行滑动，每滑动一次对当前窗口内的信号数据进行识别：

选用长度为N的滑动窗口，当输入信号长度达到N时开始跟随后续的输入信号进行滑动，每个单位时间内滑动步长为1，使得窗口的右端始终与当前时刻信号对齐。每当窗口滑动一次后，采用步骤一与步骤二中的识别模型对窗口内信号片段进行识别，并得到识别结果。

第三阶段：将当前滑动窗口内的每一时刻t的标签投票数组进行更新：

根据第二阶段中得到的识别结果，对当前窗口所包括的时序片段对应的标签投票数组，即vote[t-N][result]，...，vote[t][result]进行更新：

vote[t][result]＝vote[t][result]+1      (5)

其中，result为识别结果的运动类型标签。

第四阶段：根据投票数组对信号进行在线划分：

当滑动窗口的左端离开第t帧之后，即可根据在t时刻的投票值得到相应的识别结果。当投票值最高的种类的票数超过设定的阈值时，则当前时刻的运动标签即为投票值最高的运动类型；若投票值最高的种类的票数低于设定的阈值时，则认为该时刻的信号为非合理的运动信号，其标签为空。

根据上述每一时刻的标签，可在线的对信号进行分割。当前时刻t的标签与前一时刻t-1的标签不同时，则认为该时刻t即为合理的分割点。并能够根据各个分割点之间信号片段的标签值判断该段信号是否为正确的运动信号以排除两类运动之间的过渡数据，同时，当片段的长度小于一定的长度值L_min时，认为该段信号为噪声并忽略。

步骤四：利用运动图等插值技术实现运动合成与绘制：

第一阶段：步骤三中的识别结果从三维运动数据库中选取对应的运动数据片段，并进行动态时间规整：

原始的运动数据在时间、速度和一个周期的帧数上都有所区别。为了找出运动数据空间上的区别，需要首先进行时间对准。本阶段采用动态时间扭曲(Dynamic Time Warping,DTW)算法将运动对准到一个模板运动上，并根据当前运动的种类分别进行处理。对于非周期性运动，通过该运动的信号持续时间对原始的运动数据进行时间调整，对于周期性运动则对每一个周期的运动进行时间调整，确保交互识别时的绘制结果的在线性。

第二阶段：对两段运动之间的过渡通过运动图的方法进行运动插值，生成过渡数据；

对于两段运动之间的过渡数据，则通过运动图等方法合成过渡数据。在计算出两端运动相应帧之间的距离之后，给定一个阈值，然后将所有距离小于给定阈值的两个帧作为候选的过渡帧。选定了满足给定阈值的过渡帧号之后，将根据过渡帧号计算两个运动数据片段的过渡数据。若两帧A_i，B_j之间的距离小于给定的阈值，则通过对第A_i帧到第A_i+k-1帧之间的数据和第B_j-k+1帧到第B_j帧之间的数据进行融合，生成过渡数据。其中，k为给定的融合长度。

第三阶段：对前两阶段中生成的运动数据进行绘制。

本发明未详细阐述部分属于本领域技术人员的公知技术。

Claims (5)

1.一种基于少量缺失信号的在线连续人体运动识别方法，其特征在于该方法步骤如下：

步骤(1)、针对每种运动类型的信号数据进行训练，建立该类信号数据对应的分层回归模型；

步骤(2)、根据动作之间的连续性和可衔接性构建动作图对连续识别过程中运动类别的估计提供先验知识信息；

步骤(3)、在连续的在线识别中，根据步骤(1)的分层回归模型和步骤(2)中的先验知识计算当前运动的类型，并以该识别结果为指导进行连续输入信号的分割；

步骤(4)、利用步骤(3)得到的当前识别结果，从三维运动数据库中选取对应的运动数据片段，并通过运动图和运动插值技术以及动态时间规整生成连续的三维人体运动数据。

2.根据权利要求1所述的基于少量缺失信号的在线连续人体运动识别方法，其特征在于：所述步骤(1)中对分层回归模型构建的具体内容如下：

步骤(A1)、根据人体各个关节点的加速度信号源的个数与分布对人体进行区域划分；

步骤(A2)、分别针对每个运动类型，对每个步骤(A1)中划分得到的区域内的加速度信号建立隐马尔科夫模型HMMi；

步骤(A3)、根据不同的运动类别建立各个区域的树形结构，并对树形结构中父子节点区域对应的隐马尔科夫进行融合，建立隐马尔科夫模型之间的关联关系；

步骤(A4)、对每组加速度信号建立回归方程，使模型具有预测和信号恢复的能力。

3.根据权利要求1所述的基于少量缺失信号的在线连续人体运动识别方法，其特征在于：所述步骤(2)构造动作图的步骤具体如下：

步骤(B1)、针对连续的运动信号进行手动信号划分，构造训练数据集；

步骤(B2)、将运动之间的过渡点作为动作图的节点，将不同种类的运动数据作为动作图的边，对动作图进行统计训练，获取每个节点之间，即边上的状态转移概率；

步骤(B3)、在进行连续的运动识别时，通过步骤(B2)中的状态转移概率和识别过程中当前处于的状态值计算后续不同种类运动可能出现的概率值。

4.根据权利要求1所述的基于少量缺失信号的在线连续人体运动识别方法，其特征在于：所述步骤(3)中在线识别中连续运动信号分割的步骤如下：

步骤(C1)、在线识别过程中，对每个时刻T建立标签投票数组vote[t][type]，并进行初始化；

步骤(C2)、设计长度固定的滑动窗口随着在线识别信号的连续输入以步长为1个单位时间的速度滑动，每滑动一次对当前窗口内的信号数据结合步骤(1)中的模型和步骤(2)中获得的先验概率值进行识别，并得到识别结果x；

步骤(C3)、将当前滑动窗口内的每一时刻t的标签投票数组进行更新：vote[t][type]＝vote[t][type]+1；

步骤(C4)、当窗口滑动到时间T时，对T-1时刻的投票数目进行统计，投票最高且投票数目超过设定阈值H表示当前时刻信号的运动类别，若当前时刻的运动类别与前一时刻的运动类别不同，则当前时刻即为分割点。

5.根据权利要求1所述的基于少量缺失信号的在线连续人体运动识别方法，其特征在于：所述步骤(4)利用运动图和运动插值技术实现运动合成与绘制的步骤如下：

步骤(D1)、通过步骤(3)中的识别结果从三维运动数据库中选取对应的运动数据片段，并根据当前运动状态对运动数据进行动态时间规整；

步骤(D2)、对两段运动之间的过渡通过运动图的方法进行运动插值，生成过渡数据；

步骤(D3)、对步骤(D1)、步骤(D2)中生成的运动数据进行绘制。