CN104103075A - 一种多视角人体部件语义匹配方法和装置 - Google Patents

Abstract

本发明公开一种多视角人体部件语义匹配方法，包括：初始化原始二维人体关节点数据，构建人体部件图模型，建立二维人体部件时间域匹配，建立二维人体部件空间域匹配，得到最终所需的人体部件时空语义对应关系。同时本发明公开了一种多视角人体姿态语义匹配装置，包括初始化单元、二维人体部件时间域匹配单元、二维人体部件空间域匹配单元。应用本发明所述的方法和装置，能够方便有效地实现多视角人体部件的语义匹配。

Description

一种多视角人体部件语义匹配方法和装置

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于多视角图像采集设备下人体部件检测结果，能够自动进行人体部件语义匹配的方法和装置。

背景技术

计算机视觉领域主要研究图像的获取、处理、分析和理解。分析和理解图像中的人体运动，对于众多人工智能应用有着重要的意义。三维人体姿态估计就是这一研究领域中的热点之一，它指的是通过对传感器采集的数据进行分析和处理，获得三维空间中可重现的三维人体关节点位置信息。

多视角方式是常见的人体运动图像采集方法，多视角方式通常基于两个或两个以上相机进行人体运动图像数据的采集，并通过不同图像之间的时空语义对应关系，通过提取多视角中的图像特征，从中分析三维人体运动数据。由于使用了多角度数据，多视角方式获取了更多的三维信息，而且通过增加视角个数，施加透视投影图像约束，可以减小甚至消除姿态估计中的歧义问题。同时，多视角方式可以应用于户外复杂的自然场景下，可以对高速的人体运动进行数据采集和姿态估计。因此，多视角方式是一种具有多种应用优势和研究价值的无标记非接触式人体运动数据采集方式。

然而，为了构建多视角下三维人体姿态，需要已知单视角下二维人体部件检测结果和多视角间人体关节点或人体部件的语义对应关系，即除了需要已知各个视角下的二维人体部件的像素坐标位置，还需要知道多视角间各个关节点或部件一一对应关系。与此同时，由于人体部件的对称性和人体的高度灵活性，在建立多视角间的二维人体部件对应关系时，人体部件的语义信息较难识别，特别是由于人体存在多组对称性的部件或关节点，其左右语义标签建立较为困难。实际上在常见的二维姿态方法，如图报模型、混合部件模型等方法，仅能识别图像平面内的人体关节点或部件，并不能和真实的身体部件或关节点左右语义标签相对应。因此，对于对称性人体部件或关节点，现有的二维姿态估计方法不能建立多视角之间的人体部件的语义对应关系，也不能建立多视角人体部件与真实人体部件的语义对应关系，如何基于二维人体姿态检测和估计结果，即人体部件的像素位置信息，建立多视角间的人体部件的语义对应关系是当前必须解决的一个关键问题。

发明内容

有鉴于此，本发明的目的在于提供一种多视角人体部件语义匹配方法和装置，基于二维人体部件检测结果，建立多视角间的人体部件的语义对应关系。

首先，初始化，初始化二维人体关节点数据，将原始的多视角人体关节点结果进行语义合并和语义重构，重构为人体部件图模型；

其次，时间域人体部件语义匹配，基于上述人体部件图模型，通过计算人体部件图模型的时间域节点-节点关联矩阵，通过关联矩阵度量函数，建立多视角间的人体部件语义的时间域匹配关系。

第三，基于上述时间域匹配关系，计算多视角下人体姿态在Z向轨迹值，通过Z向轨迹值为特征进行分类，建立多视角间的人体部件语义的空间匹配关系，实现人体部件的时空一致性匹配。

为达到以上目的，本发明的技术方案是：

一种二维人体部件语义匹配方法，该方法包括：

(1)初始化：用于初始化数据和模型，包括人体关节点数据预处理、人体部件图模型重构。

(2)二维人体部件时间域匹配：用于建立时间域人体部件的关联关系，包括时间域节点-节点关联矩阵计算、时间域匹配计算。

(3)二维人体部件空间域匹配：用于建立空间域人体部件的关联关系，包括Z向轨迹特征计算、人体部件特征图模型构造、空间域匹配计算。

一种二维人体部件语义匹配装置，该装置包括：

(1)初始化单元：用于初始化数据和模型，包括人体关节点数据预处理单元、人体部件图模型重构单元。

(2)二维人体部件时间域匹配单元：用于建立时间域人体部件的关联关系，包括时间域节点-节点关联矩阵计算单元、时间域匹配计算单元。

(3)二维人体部件空间域匹配单元：用于建立空间域人体部件的关联关系，包括Z向轨迹特征计算单元、人体部件特征图模型构造单元、空间域匹配计算单元。

由以上步骤可见，本发明的有益效果是：通过建立人体部件的时空语义对应关系实现人体部件的语义匹配，整个方法和装置具有简单易行、通用性好的特点。

附图说明

图1是用于说明多视角人体部件语义匹配问题的示意图。

图2是本发明多视角人体部件语义匹配方法实施例的流程图。

图3是为了说明人体关节点图模型构建方式的图。

图4是为了说明人体部件图模型构建方式的图。

图5是本发明方法实施例中的Z向轨迹特征示意图。

图6是本发明多视角人体部件语义匹配装置实施例的组成结果示意图。

具体实施方式

在介绍具体的方案之前，首先介绍一下二维人体部件或关节点检测，传统方法采用图像处理的方法进行二维部件或关节点的检测和识别。然而由于图像信息量极大，图像中常常包含所需要检测人体前景和图像背景，这些信息可以分为几何信息和非几何信息两大类，其中的几何信息，如人体的轮廓、背景物体的边缘等都有助于人体姿态检测；另一部分非几何信息，常见的如环境光照强度、物体表面的明暗程度、以及色彩信息。

传统人体姿态识别方法的鲁棒性较差，近几年提出的基于统计模型的二维人体姿态识别方法，通过统计模型实现人体部件或人体关节点的识别。然而，基于图像处理方式的传统方法和基于统计模型的方法可以识别人体部件或关节点的类别，如胳膊、腿等人体部件，但是两种方法均难于识别对称相似人体部件的左右语义标签，因为无法建立多视角间的人体部件对应信息。其本质原因是人体部件具有对称性，而一副静态图像中的几何信息和非几何信息难于提供区分人体所有肢体的语义，例如人体左右手臂、左右胳膊以及左右膝关节的语义信息，从一副图像中较难提取。

对于多视角人体运动分析，为了求解三维的人体姿态，除了需要通过二维人体姿态检测和估计得到单个视角中人体部件的像素位置，与此同时，也需要知道不同视角中各个人体部件的语义对应关系，即空间域人体部件的匹配关系。然而单帧多视角人体姿态数据不能够提供准确的人体部件对应关系信息，本发明采用时间域匹配和空间域匹配结合的方式，建立其人体部件匹配关系，实现其在时空中的一致性对应关系的建立。

为了说明多视角人体部件语义匹配问题，如图1用于说明多视角人体部件语义匹配问题的示意图所示，图中包含3个视角下的原始人体关节点数据信息，其中，浅色人体姿态表示当前视角下前一时刻的人体姿态，深色姿态表示当前时刻人体姿态。仅通过当前时刻的多视角人体姿态分析，即空间域姿态分析，很难建立多视角人体部件的语义对应关系。多视角人体部件语义匹配问题的最终目的，就是要基于原始人体关节点数据信息，建立其在各个视角之间的一一对应关系。

针对这一问题的研究当前也已经展开，典型的如文献《V.Kazemi.Multi-view Body PartRecognition with Random Forests.IEEE British Machine Vision Conference(BMVC 2013),Bristol,England,Sept 2013》，特别是第5至6页对该问题进行了探讨，指出实际二维姿态检测结果中常常并不知道多视角下左右关节点是否对应于真实身体上同样的关节点，即多视角人体关节点对应关系未知，其本质是由于人体部件对称外观所引起的歧义问题。该文献通过离散潜变量表示语义标签，建立统计模型进行最优推理。然而，该方法针对视角数目较少情形可以满足，但是对于视角数较多情形下，计算量较大。然而实际中采用的多视角方式常常具有较多的视角数，例如美国Brown大学HumanEVA-I数据集包含7个视角、上海交通大学PEAR数据集包含16个视角等。同时模型没有考虑单个视角下时间域的姿态语义对应关系。

当前研究中常见方法均难以建立多视角间的人体部件的语义对应关系。针对现有技术中存在的不足，加上人体部件的左右对称相似性，直接建立多视角间人体部件的语义对应关系存在很大难度，本发明提出一种全新的方案来建立多视角间人体部件的语义对应关系，其基本思路是基于多视角图像中二维人体关节点检测结果，采用时间域匹配和空间域匹配结合的方式，建立其人体部件匹配关系，实现其在时空中的一致性对应关系的建立。具体地，通过分析人体关节点在时间域的匹配关系，基于时间域匹配关系，以人体关节点在时间域的运动轨迹，区分不同关节点的语义信息，建立空间域的匹配关系。因此，建立本发明所述方案的具体实现包括：

首先，基于原始二维人体关节数据，建立人体部件图模型。

其次，建立多视角间的人体部件语义的时间域匹配关系。为了求解关节点的时间域运动轨迹，需要建立关节点的时间域语义对应关系。

第三，建立多视角间的人体部件语义的空间域匹配关系。不同语义的人体部件，其Z向轨迹特征具有较大的区分度，通过计算Z向轨迹特征，进行分类分析，计算最优的语义信息。

最后，进行循环迭代，依此遍历每一帧下对应的每一个视角，通过时间域语义对应关系求解空间域语义对应关系，最终建立了人体语义部件的时空语义对应关系。

为了使本发明的目的、技术方案及优点更加清晰明白，以下结合附图并举实施例，对本发明作进一步的详细描述：

如图2所示是本发明多视角人体部件语义匹配方法实施例的流程图。包括以下步骤：

步骤201，初始化第t帧第c视角下的二维人体姿态。初始化包括:人体关节点数据预处理、人体部件图模型重构。

1)人体关节点数据预处理。主要是根据原始二维人体关节点数据，构架人体关节点图模型。以单个视角为例，人体关节点图模型构建的模型和方法为：

Η＝{x,e,b}                    (1)其中为图模型顶点，包含n个人体关节点的像素坐标位置信息，x_i＝(x_i,y_i)表示第i个关节的二维像素坐标位置。人体姿态的拓扑关系通过连接关系矩阵e∈{0,1}^n×n建立。e_ij∈e为图模型的边，e_ij＝1表示关节点i和j相互连接，反之，e_ij＝0表示两部件不连接。b∈{LA,RA,LL,RL,S,H}^1×n为关节点所属的部件语义标签，依次对应人体部件的左臂、右臂、左腿、右腿、躯干和头部。

2)人体部件图模型重构。如图3为了说明人体关节点图模型构建方式的图所示，关节点1,2,3具有相同的语义标签，即关节点所属的部件语义标签b₁＝b₂＝b₃＝LL。为了表示和求解的方便，将人体关节点图模型中属于相同语义标签属性的图模型节点进行合并成为人体部件。以单个视角为例，为了说明人体部件图模型构建方式，人体部件图模型构建结果如图4所示，构建方法为：

G＝{X,E,B}                   (2)

其中X＝[X₁,…,X_N]为图模型节点，X_N∈X为具有相同语义标签的人体关节点像素坐标的集合，E∈{0,1}^N×N为图模型的边，与人体关节点图模型类似，通过0和1表示不同语义人体部件的连接关系。B∈{LA,RA,LL,RL,S,H}^1×N对应于图模型节点的语义信息。

为了叙述方便，以上人体关节点数据预处理和人体部件图模型重构仅表示为单视角下模型。考虑在不同时间不同空间下人体姿态的表示，即不同图像采集时刻不同视角下的人体姿态，即表示考虑人体姿态的空间关系和时间关系，即引入空间中图像采集视角c和时间t，则第t帧，即t时刻第c视角下的二维人体姿态初始化为：

G^c(t)＝{X^c(t),E^c(t),B^c(t)}                 (3)

其中，为视角的索引，为帧索引。C和T分别为总视角数和总帧数。

步骤202，计算c视角下t时刻和t-1时刻的时间域节点-节点关联矩阵，即c视角下第t帧和第t-1帧对应的时间域节点-节点关联矩阵Φ，即部件-部件关联矩阵计算方法为：

$\mathrm{\Φ}=\left(\begin{array}{cc}{\mathrm{\φ}}_{\mathrm{ii}}& {\mathrm{\φ}}_{\mathrm{ij}}\\ {\mathrm{\φ}}_{\mathrm{ji}}& {\mathrm{\φ}}_{\mathrm{jj}}\end{array}\right)---\left(4\right)$

其中，为部件i和部件j的关联度度量函数，计算为：

${\mathrm{\φ}}_{\mathrm{ij}}=G_i^c\left(t\right)\·G_j^c(t-1)=\mathrm{\Σ}{X}_i^c{\left(t\right)}^T{X}_j^c(t-1)---\left(5\right)$

其中为G^c(t)的子图，表示部件i对应的人体部件子图模型。

步骤203，时间域匹配计算，匹配的计算方法为：

其中，det(Φ)为时间域节点-节点关联矩阵Φ的行列式。在给定的c视角下，t和t-1两个时刻下左右两个部件存在两种匹配关系：φ_iiφ_jj表示部件按照当前语义对应关系进行匹配的关联度度量，为t和t-1两个时刻下两个部件相互匹配的关联度乘积，即t时刻部件i和t-1时刻部件i关联度度量φ_ii，乘以t时刻部件j和t-1时刻部件j关联度度量φ_jj；类似地，φ_ijφ_ji表示t时刻部件按照语义标签翻转之后的语义对应关系进行匹配的关联度度量。也为t和t-1两个时刻下两个部件相互匹配的关联度乘积，即t时刻部件i和t-1时刻部件j关联度度量φ_ij，乘以t时刻部件j和t-1时刻部件i关联度度量φ_ji。

因此，可以通过比较两种可能下的关联度大小，即det(Φ)的正负来判断哪种情形下的匹配有更大的关联度。因此，当M(Φ)＝1时，表示当前人体部件匹配，M(Φ)＝0，表示当前人体部件不匹配，需要对t时刻对称性人体部件进行语义标签翻转，即将子图和子图节点对应的语义标签和进行交换，可以表示如下：

$\left\{\begin{array}{c}{B}_i^c\left(t\right)=B_j^c\left(t\right)\\ B_j^c\left(t\right)=B_i^c\left(t\right)\end{array}\right.,B_i^c\left(t\right),B_j^c\left(t\right)\∈B---\left(7\right)$

步骤204,至此，便建立了当前视角下时间域上的部件匹配关系，重复步骤201～步骤203，遍历计算不同视角c下的时间域节点-节点关联矩阵，建立其时间域的匹配关系。

步骤205，Z向轨迹特征计算。如图5本发明方法实施例中的Z向轨迹特征示意图所示，t时刻视角c下人体关节i的Z向轨迹记为则其计算为：

$z_i^c\left(t\right)=\left|y_i^c\left(t\right){-y}_i^c(t-1)\right|---\left(8\right)$

其中，y为人体关节点i在像平面竖直方向的像素坐标。因此，可以近似表示t-1时刻到t时刻之间，视角c下人体关节i运动位置信息在摄像机坐标系下竖直方向的分量，可以作为特征，对多视角间人体关节点语义进行区分。则对于包含k个关节点的人体部件j，其Z向轨迹为：

$Z_j^c\left(t\right)=[z_1,\·\·\·,z_k]---\left(9\right)$

步骤206，构造人体部件特征图模型。人体部件图模型中人体部件j节点表示为k个关节点的像素集合，通过计算Z向轨迹，可以用Z向轨迹特征作为图模型节点来表示，因此，以Z向轨迹特征为图模型节点构造人体部件特征图模型为：

J＝{Z,E,B}                    (10)

其中，和B∈{LA,RA,LL,RL,S,H}^1×N分别为人体部件特征图模型节点和人体部件特征图模型的语义标签。空间域人体部件匹配中，对于给定的t＝τ时刻，则第c视角下的人体部件特征图模型构造为：

步骤207，空间域匹配计算。对于对称性人体部件，即胳膊和腿部，提出语义标签假设l_β，计算对应关系下人体部件二分类的分类间隔γ_β，计算为：

${\mathrm{\γ}}_{\mathrm{\β}}=l_{\mathrm{\β}}(\frac{w}{\left|\right|w\left|\right|}{z}_{\mathrm{\β}}+\frac{b}{\left|\right|w\left|\right|})---\left(12\right)$

其中，l_β∈{-1,1}分别表示对称性部件的左、右标签，例如t时刻c视角下对称性部件i和j，当其语义标签表示左臂，则l_β＝-1，此时对称性部件表示右臂，则l_β＝1，，(w,b)为当前最优二分类的超平面参数，||·||是二范数，通过最大化样本点z_β与超平面(w,b)的二分类间隔进行最优语义标签β选择，即

$\underset{\mathrm{\β}}{\arg \max }\left|{\mathrm{\γ}}_{\mathrm{\β}}\right|=\underset{\mathrm{\β}}{\arg \max }\left|l_{\mathrm{\β}}(\frac{w}{\left|\right|w\left|\right|}{z}_{\mathrm{\β}}+\frac{b}{\left|\right|w\left|\right|})\right|---\left(13\right)$

因此，使得上式最大化的β即为空间域部件匹配的语义标签结果，也是t时刻视角c下人体部件时空匹配的结果。

步骤208，至此，便建立了当前时刻下时间域和空间域上的部件匹配关系。重复步骤201～步骤207，建立时空一致的人体部件语义匹配关系。

至此，即完成了本发明所述方法实施例中的多视角二维人体部件语义匹配过程。

基于上述方法，图6是本发明多视角人体部件语义匹配装置实施例的组成结果示意图。如图6所示，该装置包括：

初始化单元61，用于初始化人体姿态数据，包括人体关节点数据预处理单元、人体部件图模型重构单元。

人体关节点数据预处理单元611，主要是根据原始二维人体关节点数据，构架人体关节点图模型。以单个视角为例，人体关节点图模型构建的模型和方法为

Η＝{x,e,b}                     (1)

其中为图模型顶点，包含n个人体关节点的像素坐标位置信息，x_i＝(x_i,y_i)表示第i个关节的二维像素坐标位置。人体姿态的拓扑关系通过连接关系矩阵e∈{0,1}^n×n建立。e_ij∈e为图模型的边，e_ij＝1表示关节点i和j相互连接，反之，e_ij＝0表示两部件不连接。b∈{LA,RA,LL,RL,S,H}^1×n为关节点所属的部件语义标签，依次对应人体部件的左臂、右臂、左腿、右腿、躯干和头部。

人体部件图模型重构单元612，用以建立人体部件图模型。将人体关节点图模型中属于相同语义标签属性的图模型节点进行合并成为人体部件。以单个视角为例，重构方法为：

G＝{X,E,B}                      (2)

其中X＝[X₁,…,X_N]为图模型节点，表示N个人体部件的像素位置，E∈{0,1}^N×N为图模型的边，表示不同语义人体部件的连接关系。B∈{LA,RA,LL,RL,S,H}^1×N对应于图模型节点的语义信息。

为了叙述方便，以上人体关节点数据预处理和人体部件图模型重构仅表示为单视角下模型。考虑在不同时间不同空间下人体姿态的表示，即不同图像采集时刻不同视角下的人体姿态，即表示考虑人体姿态的空间关系和时间关系，即引入空间中图像采集视角c和时间t，则第t帧，即t时刻第c视角下的二维人体姿态初始化为：

G^c(t)＝(X^c(t),E^c(t),B^c(t))                (3)

其中，为视角的索引，为帧索引。C和T分别为总视角数和总帧数。

二维人体部件时间域匹配单元62，用于计算时间域人体部件语义匹配关系。

时间域节点-节点关联矩阵计算单元621，用于计算图模型节点之间的关联关系，即计算c视角下t时刻和t-1时刻的时间域节点-节点关联矩阵，即c视角下第t帧和第t-1帧对应的时间域节点-节点关联矩阵Φ，计算方法为：

$\mathrm{\Φ}=\left(\begin{array}{cc}{\mathrm{\φ}}_{\mathrm{ii}}& {\mathrm{\φ}}_{\mathrm{ij}}\\ {\mathrm{\φ}}_{\mathrm{ji}}& {\mathrm{\φ}}_{\mathrm{jj}}\end{array}\right)---\left(4\right)$

其中,为部件i和部件j的关联度度量函数，计算为：

${\mathrm{\φ}}_{\mathrm{ij}}=G_i^c\left(t\right)\·G_j^c(t-1)=\mathrm{\Σ}{X}_i^c{\left(t\right)}^T{X}_j^c(t-1)---\left(5\right)$

其中为G^c(t)的子图，表示部件i对应的人体部件子图模型。

时间域匹配计算单元622，用于计算时间域图模型节点-节点的匹配关系，计算公式为：

其中，det(Φ)为时间域节点-节点关联矩阵Φ的行列式。当M(Φ)＝1时，表示当前人体部件匹配，M(Φ)＝0，表示当前人体部件不匹配，需要对t时刻人体部件进行语义标签翻转，即将子图和子图节点对应的语义标签和进行交换，可以表示如下：：

$\left\{\begin{array}{c}{B}_i^c\left(t\right)=B_j^c\left(t\right)\\ B_j^c\left(t\right)=B_i^c\left(t\right)\end{array}\right.,B_i^c\left(t\right),B_j^c\left(t\right)\∈B---\left(7\right)$

二维人体部件空间域匹配单元63，用于计算空间域人体部件语义匹配关系。

Z向轨迹特征计算单元631，用于计算t时刻视角c下人体关节i的Z向轨迹。t时刻视角c下人体关节i的Z向轨迹记为计算为：

$z_i^c\left(t\right)=\left|y_i^c\left(t\right){-y}_i^c(t-1)\right|---\left(8\right)$

其中，y为人体关节点i在像平面竖直方向的像素坐标。可以近似表示t-1时刻到t时刻之间，视角c下人体关节i运动位置信息在摄像机坐标系下竖直方向的分量。则对于包含k个关节点的人体部件j，其Z向轨迹为：

$Z_j^c\left(t\right)=[z_1,\·\·\·,z_k]---\left(9\right)$

人体部件特征图模型构造单元632。人体部件图模型中人体部件j节点表示为k个关节点的像素集合，通过计算Z向轨迹，可以用Z向轨迹特征作为图模型节点来表示，因此，以Z向轨迹特征为图模型节点构造人体部件特征图模型为：

J＝{Z,E,B}                       (10)

其中，和B∈{LA,RA,LL,RL,S,H}^1×N分别为人体部件特征图模型节点和人体部件特征图模型的语义标签。空间域人体部件匹配中，对于给定的t＝τ时刻，则第c视角下的人体部件特征图模型构造为：

空间域匹配计算单元633，用于根据不同语义对应关系下人体部件二分类的分类间隔，对于对称性人体部件，即胳膊和腿部，提出语义标签假设l_β，

${\mathrm{\γ}}_{\mathrm{\β}}=l_{\mathrm{\β}}(\frac{w}{\left|\right|w\left|\right|}{z}_{\mathrm{\β}}+\frac{b}{\left|\right|w\left|\right|})---\left(12\right)$

其中，l_β∈{-1,1}分别表示对称性部件的左、右标签，例如t时刻c视角下对称性部件i和j，当其语义标签表示左臂，则l_β＝-1，此时对称性部件表示右臂，则l_β＝1，(w,b)为超平面，||·||是二范数，通过最大化样本点z_β与超平面(w,b)的二分类间隔进行最优语义标签选择，即

$\underset{\mathrm{\β}}{\arg \max }\left|{\mathrm{\γ}}_{\mathrm{\β}}\right|=\underset{\mathrm{\β}}{\arg \max }\left|l_{\mathrm{\β}}(\frac{w}{\left|\right|w\left|\right|}{z}_{\mathrm{\β}}+\frac{b}{\left|\right|w\left|\right|})\right|---\left(13\right)$

图6所示装置的具体工作流程请参照图5所示方法实例中的相应说明，此处不再赘述。

总之，采用本发明的技术方案，基于二维人体关节点检测结果,能够实现多视角间人体部件语义对应关系的建立。整个方法简单、运算量小。

最后需要说明的是，以上所述仅为本发明的较佳实施例，并非用于限定本发明的精神和保护范围，任何熟悉本领域的技术人员所做出的等同变化或替换，都是为涵盖在本发明的保护范围之内。

Claims (10)

1.一种多视角人体部件语义匹配方法，其特征在于，该方法包括：

初始化原始二维人体关节点数据，构建人体部件图模型；

基于上述人体部件图模型，建立二维人体部件时间域匹配；

基于上述时间域匹配结果，建立二维人体部件空间域匹配，得到最终所需的人体部件时空语义对应关系。

2.根据权利要求1所述的方法，其特征在于，所构建的人体部件图模型是基于原始二维人体关节点数据，将人体关节点图模型中相同语义节点进行语义合并和语义重构后得到对应的t时刻c视角下的二维人体部件图模型G^c(t)，

G^c(t)＝{X^c(t),E^c(t),B^c(t)}

其中X为图模型节点，E为图模型的边，B对应于图模型节点的语义信息。

3.根据权利要求1所述的方法，其特征在于，二维人体部件时间域匹配是通过计算关联矩阵度量函数M(Φ)确定其匹配关系，计算方法为：

其中 $\mathrm{\Φ}=\left(\begin{array}{cc}{\mathrm{\φ}}_{\mathrm{ii}}& {\mathrm{\φ}}_{\mathrm{ij}}\\ {\mathrm{\φ}}_{\mathrm{ji}}& {\mathrm{\φ}}_{\mathrm{jj}}\end{array}\right)$ 为时间域节点-节点关联矩阵，det(Φ)＝φ_iiφ_jj-φ_ijφ_ji为节点-节点关联矩阵的行列式。M(Φ)＝1和M(Φ)＝0分别表示当前姿态匹配和姿态不匹配。

4.根据权利要求3所述的方法，其中所述的时间域节点-节点关联矩阵是通过关联矩阵度量函数计算而得，关联矩阵度量函数计算方法为：

${\mathrm{\φ}}_{\mathrm{ij}}=G_i^c\left(t\right)\·G_j^c(t-1)=\mathrm{\Σ}{X}_i^c{\left(t\right)}^T{X}_j^c(t-1)$

其中为G^c（t)的子图，表示部件i对应的人体部件子图模型，为图模型的节点。

5.根据权利要求1所述的方法，其特征在于，二维人体部件空间域匹配是以Z向轨迹为特征，通过计算不同语义假设对应关系下人体部件二分类的分类间隔，通过最大化二分类间隔获得最优假设，计算方法为：

$\underset{\mathrm{\β}}{\arg \max }\left|{\mathrm{\γ}}_{\mathrm{\β}}\right|=\underset{\mathrm{\β}}{\arg \max }\left|l_{\mathrm{\β}}(\frac{w}{\left|\right|w\left|\right|}{z}_{\mathrm{\β}}+\frac{b}{\left|\right|w\left|\right|})\right|$

其中l_β∈{-1,1}分别表示对称性部件的左、右标签，(w,b)为求得的超平面参数，z_β为以Z向轨迹特征为节点的人体部件特征图模型的节点。

6.根据权利要求5所述的方法，其中所述的Z向轨迹特征，t时刻视角c下人体关节i的Z向轨迹特征计算为，

$z_i^c\left(t\right)=\left|y_i^c\left(t\right){-y}_i^c(t-1)\right|$

其中y为人体部件i在摄像机坐标系下竖直方向的位置分量。

7.一种多视角人体部件语义匹配装置，其特征在于，该装置包括：

初始化单元，用于初始化人体姿态数据；

二维人体部件时间域匹配单元，用于计算时间域人体部件语义匹配关系；

二维人体部件空间域匹配单元，用于计算空间域人体部件语义匹配关系。

8.根据权利要求7所述的装置，其特征在于，所述初始化单元包括：

人体关节点数据预处理单元，用于基于原始关节点数据，初始化人体关节点图模型；

人体部件图模型重构单元，用于基于人体关节点图模型，初始化人体部件图模型，将人体关节点图模型中相同语义节点进行语义合并和语义重构后得到t时刻第c视角下的二维人体部件图模型G^c(t)，

G^c(t)＝{X^c(t),E^c(t),B^c(t)}

其中X为图模型节点，E为图模型的边，B对应于图模型节点的语义信息。

9.根据权利要求7所述的装置，其特征在于，所述时间域匹配单元包括：

时间域节点-节点关联矩阵计算单元，用于计算图模型节点之间的关联关系，即计算c视角下t时刻和t-1时刻的时间域节点-节点关联矩阵Φ，计算方法为 $\mathrm{\Φ}=\left(\begin{array}{cc}{\mathrm{\φ}}_{\mathrm{ii}}& {\mathrm{\φ}}_{\mathrm{ij}}\\ {\mathrm{\φ}}_{\mathrm{ji}}& {\mathrm{\φ}}_{\mathrm{jj}}\end{array}\right).$ 关联矩阵度量函数φ_ij计算方法为，

${\mathrm{\φ}}_{\mathrm{ij}}=G_i^c\left(t\right)\·G_j^c(t-1)=\mathrm{\Σ}{X}_i^c{\left(t\right)}^T{X}_j^c(t-1)$

其中为G^c(t)的子图，表示部件i对应的人体部件子图模型，为图模型的节点。

时间域匹配计算单元，用于计算时间域图模型节点-节点的匹配关系M(Φ)，计算方法为：

其中det(Φ)＝φ_iiφ_jj-φ_ijφ_ji为节点-节点关联矩阵的行列式。M(Φ)＝1时，表示当前姿态匹配；M(Φ)＝0，表示当前姿态不匹配。

10.根据权利要求7所述的装置，其特征在于，所述时间域匹配单元包括：

Z向轨迹特征计算单元，用于计算Z向轨迹特征，t时刻视角c下人体关节i的Z向轨迹特征计算为：

$z_i^c\left(t\right)=\left|y_i^c\left(t\right){-y}_i^c(t-1)\right|$

其中y为人体关节点i在像平面竖直方向的像素坐标。

人体部件特征图模型构造单元，用于以部件的Z向轨迹特征来代替人体部件图模型中的位置信息，来建立以人体部件的Z向轨迹特征为图模型节点的人体部件特征图模型。

空间域匹配计算单元，用于计算不同语义假设对应关系下人体部件二分类的分类间隔，通过最大化二分类间隔获得最优假设，计算方法为：

$\underset{\mathrm{\β}}{\arg \max }\left|{\mathrm{\γ}}_{\mathrm{\β}}\right|=\underset{\mathrm{\β}}{\arg \max }\left|l_{\mathrm{\β}}(\frac{w}{\left|\right|w\left|\right|}{z}_{\mathrm{\β}}+\frac{b}{\left|\right|w\left|\right|})\right|$

其中l_β∈{-1,1}分别表示对称性部件的左、右标签，(w,b)为求得的超平面参数，z_β为以Z向轨迹特征为节点的人体部件特征图模型的节点。