CN103337083B - 一种非侵入式大运动条件下人体测量方法 - Google Patents

Abstract

本发明是一种针对公开场合下处于大运动中人体体征参数的测量方法及“运动恢复—人体建模”串行测量系统，本发明在不限制测量目标运动状态以及测量目标所着衣物的条件下，首先通过多层运动滤波器，全自动地连续恢复时间轴上人体运动参数；将多个姿态下的人体模型经由深度图像优化，并根据事先测定的“深度误差—单位法向内积”曲线空时加权，获得一致平均模型；以一致模型与原始模型的基线差方向作为方向约束，对多帧下的优化模型最优基线差进行时空分析，最终借助运动信息，消除衣物影响，真实测量人体体征参数。本方法对测量目标属于非侵入测量，既不限制测量目标的运动状态，也不限制测量目标的衣着状态，可于日常公开场合得到广泛应用。

Description

一种非侵入式大运动条件下人体测量方法

技术领域

本发明涉及计算机视觉以及传感测量领域，尤其涉及针对大运动条件下着衣人体体征参数的测量问题。

背景技术

非侵入式人体体征参数测量在监控、电子商务以及虚拟现实等方面扮演着重要的角色。在进行体征参数测量之前，需要获得人体模型的重建。近年来，民用激光雷达技术高度发展，可以用来获得精确人体模型重建。然而，二维激光雷达的市场价格通常在240,000-3，000,000元人民币左右，这极大地限制了激光雷达在非侵入式人体测量领域的大规模应用；另一方面，激光雷达需要受测者身着紧身衣或半裸才可获得精确人体体征参数，这对于多数公开场合的应用是不现实的。在相关领域的研究人员的不懈努力之下，近年来，无标记多相机人体建模系统也得到了长足地发展，然而商用无标记多相机系统不仅搭建麻烦，而且占用较大空间，并且在价格上优势并不明显。当前，采用单目彩色相机与深度摄像机组合测量人体体征的方案也为国际上广大研究者所关注，它的优点显而易见，即价格低廉，构建方便，占用空间小，有着良好的应用前景。然而，当前的“单目彩色相机+深度相机”架构测量人体体征的方案限制人体仅作小幅运动，并对于着衣情况有着半裸或者着紧身衣的要求，这极大地限制了公开场合单目架构下的非侵入式人体测量方案的广泛应用。所以，如何尽量节省成本，减少对测量目标运动以及衣着情况限制，是目前非侵入式人体体征测量领域的一个重大问题。

发明内容

针对现有技术中存在的问题，本发明采用了单目彩色相机与深度相机的联合架构，它具有价格低廉、安装快捷等特点。于算法上，本发明拓展了当前运动捕捉领域前沿的多层运动滤波器技术，采用了最接近人体的SCAPE肌肉模型作为运动跟踪模型，精确恢复人体运动参数。依靠运动中衣物的起伏变化信息，创造性地采用时空分析的方法，消除衣物影响，在此基础上，精确测定了人体体征参数。

本发明的发明目的是：在不限制人体运动以及着衣条件的情况下，非侵入、精确地测量人体体征参数，如身高、臂长、腿长、腰围、胸围等，主要应用于虚拟试衣、虚拟现实和电子商务等应用。

为了实现上述目的，本发明的技术方案为：一种非侵入式大运动条件下人体测量方法，本方法及系统主要由四个主要阶段组成。

第一阶段为数据采集阶段。在这一阶段中，“单目彩色相机+深度相机”系统连续、同步地获取彩色图像与深度图像。

第二阶段为人体运动捕捉阶段。在这一阶段中，人体姿态参数采用多层运动滤波器算法获得。多层运动滤波器的第一层是运动检测模块，运动检测模块采用计算机视觉自底向上的方法自动获得粗略人体参数，作为第一帧以及失败恢复帧的初始化。多层运动滤波器的第二层是运动跟踪模块，除第一帧外，每一帧采用上一帧姿态参数作为初始化，以最大后验概率算法作局部优化，获取精确姿态参数。与传统的基于类圆柱模型下的姿态跟踪不同，本发明基于SCAPE（ShapeCompletionandAnimationforPeople）肌肉模型更真实地恢复了人体运动参数。为了应对四肢与头部的径向转动，在最大后验概率算法的框架下，引入了彩色图像约束，而为了应对SCAPE肌肉模型与真实深度测量的细节差异，基于CPD（CoherentPointDrift）算法构建了边

缘约束，总的优化目标函数如下所示：

$\arg \underset{q}{\min }{E}_{\mathrm{rgb}}+E_{\mathrm{silhouette}}+E_{\mathrm{depth}}+E_{\mathrm{extra}}+E_{\mathrm{prior}}.$

其中，目标函数前两项为本发明最新提出，用于将类圆柱人体模型推广至SCAPE肌肉模型下的运动捕捉。E_rgb当中的相关点是由彩色图像、深度图像联合分析获得，具体方法如下：在连续彩色图像上完成特征点检测与匹配，再将同一帧下的深度图像投影至彩色图像坐标系下，为每一个彩色图像特征点寻找最近深度图像投影点作为一对“彩色—深度”匹配，并去除距离超过3像素的“彩色—深度”匹配，综合连续帧间的彩色图像匹配以及帧内“彩色—深度”匹配，即可获得连续帧间的深度图像点匹配，记p_rgb为当前帧深度图像匹配点，p_rgb(q)为前一帧深度图像匹配点，那么E_rgb可以描述为：

$E_{\mathrm{rgb}}=\frac{{|P_{\mathrm{rgb}}-P_{\mathrm{rgb}}|}^2}{{{2\mathrm{\σ}}_{\mathrm{rgb}}}^2}.$

同样地，E_silhouette的匹配点可在SCAPE生成的二维边缘图像与二维采集边缘图像上由CPD算法建立，记SCAPE生成的二维边缘图像上的一点为S_render(q)，二维采集边缘图像上的对应点为S_observed，那么E_silhouette可以描述为：

$E_{\mathrm{silhouette}}=\frac{{|S_{\mathrm{observed}}-S_{\mathrm{render}}\left(q\right)|}^2}{{{2\mathrm{\σ}}_{\mathrm{silhouette}}}^2}.$

求解上述目标函数可以采用一阶泰勒展开式线性求解，其中涉及估计SCAPE模型关于姿态参数的导数问题，本发明提出了“绝对线性蒙皮模型（ArbitraryLinearBlendSkinning）”对SCAPE模型的导数近似技术，这一方法的核心思路在于将SCAPE模型的模版坐标变换问题近似视作单一骨骼影响的线性蒙皮模型坐标变换问题，这样，SCAPE模型关于姿态参数的导数估计就可以归结为扭参数的一阶线性连乘估计。在多层运动滤波器的最后一层，存在一个稳定性监控模块，监控姿态跟踪结果的稳定性，并于失败时调用姿态检测模块重新初始化姿态跟踪。上述多层运动捕捉滤波器是全自动、无需人为干预的。

第三阶段为获取空时平均模型阶段。在这一阶段中，首先利用前五帧信息估算一个基线模型，在确定姿态参数的情况下，SCAPE模型的生成过程可表示为形态参数β的线性函数：

Y＝Aβ.

依照三维CPD算法建立原始模型与深度图像间的对应点，以及考虑形态参数的规范性约束，那么基线模型的形态参数可以如下优化：

$\arg \underset{\mathrm{\β}}{\min }{|\mathrm{SA\β}-C|}^2+w{|\mathrm{\β}-{\mathrm{\β}}_{\mathrm{average}}|}^2.$

其中S为模型上的对应点选择矩阵，C为深度图像上的特征点所构成的矩阵，β_average取自泛化形态参数模型，是对形态参数基本形式的一致性约束。

接下来，在每一帧下，根据每一点在此帧下的前向情况，依照置信函数进行时空加权，置信函数的定义如下：

${\mathrm{\&omega;}}_t^j=\left\{\begin{array}{cc}0.01,& n_t^j<0;\\ G\left(n_t^j\right),& n_t^j\&GreaterEqual;0.\end{array}\right.$

上式中是模型上顶点的单位法向量与单位传感器投影向量的内积，为根据深度相机深度误差特性选择的加权函数，较好的选择为高斯加权函数，定义如下：

$G\left(n_t^j\right)=e^{-\frac{{(n_t^j-1)}^2}{{2\mathrm{\&sigma;}}^2}}.$

其中标准差参数选择为使得模型上的法向正交点恰处于权重函数的3σ点处。根据上述置信函数，于时间轴上完成空间累积平均的过程可以表示为：

$v_{\mathrm{average}}\left(j\right)=\frac{1}{\underset{t=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_t^j}\underset{t=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_t^j{v}_t\left(j\right).$

v_t(j)是对应于时间t的模型上第j个顶点，v_average(j)为时空平均模型上第j个顶点。

第四阶段为消除衣物影响阶段。在这一阶段中，基于时空模型所提供的稳态方向信息，消除衣物的过程可以表示为于时间轴上抽取相对于基线模型最小变化向量点，其目标函数可表示为：

$\arg \underset{\mathrm{\&Delta;p}}{\min }\left|\mathrm{\&Delta;p}\right|-w<{\mathrm{\&Delta;p}}_{\mathrm{average}},\frac{\mathrm{\&Delta;p}}{\left|\mathrm{\&Delta;p}\right|}>.$

Δp_average是时空平均模型关于基线模型的变化向量，Δp为模型上同一顶点关于基线模型对应点在不同时刻的变化向量，它的起伏反映了在此点的衣物起伏。完成了衣物影响的消除，即可从模型上自动测量出人体体征参数。

附图说明

附图说明用于提供对本发明技术方案的进一步理解，并构成说明书的一部分，与本发明的实施一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。附图说明如下：

图1为本发明的流程示意图。(a)为同步采集到的深度图像与彩色图像；(b)为多层运动捕捉传感器获得的姿态重建；(c)为时空平均模型；(d)为消除衣物影响之后的人体模型，从此模型上可以精确测得人体体征参数。

图2为本发明采用的“单目彩色相机+深度相机”架构示意图。

图3为本发明中消除衣物影响示意图。图中正方形、五边形、六边形都表示不同时间同一点的位置，圆点表示基线模型上该点的位置，五角星表示时空平均模型上该点的位置。选取具有相对于基线模型最小位移向量点的过程中，我们同时考虑与平均点位移向量方向相同的约束，所以，在实际过程中，选取的是图中五边形所表示的点，而非选取位移向量最短的正方形所示的点。

具体实施方式

以下将结合附图来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决问题，并达成技术效果的实现过程能充分理解并据以实施。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的不同计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本部分将结合图1来说明应用本发明的具体流程。

步骤1数据采集：同步、连续采集带有目标人体的深度图像、彩色图像（图1(a)），一个典型的“单目彩色相机+深度相机”架构图可见图2。

步骤2运动捕捉：采用“运动检测—运动跟踪—稳定性监测”三层运动捕捉滤波器架构，以运动检测算法获取人体姿态初始化，以最大后验概率准则构建运动跟踪目标函数，结合彩色图像约束和边缘图像约束，精确求解SCAPE模型上的姿态参数，最后由稳定性监测模块采用“比例区域法”判断此次姿态跟踪是否成功，若成功，则进入下一次姿态跟踪，否则调用姿态检测重新初始化姿态参数（图1(b)）。对于SCAPE模型的骨骼分块可见图1。

步骤3空时平均：对每一帧模型采用深度图像优化，并利用上一步求解的姿态参数将优化后的模型变换到标准姿态，运用置信函数在时序上加权平均，获得平均模型（图1(c)）。

步骤4衣物影响消除：根据基线模型与步骤3获得的空时平均模型，以空时平均模型相对于基线模型的方向作为标准方向约束，寻找时序上相对于基线模型的最小变化点，此点的物理意义即为时序上衣物最贴近于身体时刻的点，以它作为目标模型点可以有效地消除衣物影响（图1(d)）。一个时域上的消除衣物影响示意图可见图3。

本领域的技术人员应该明白，上述的本发明的系统结构和各个步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将他们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所示出和描述的实施方式如上，但是所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上以及细节上做任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (5)

1.一种非侵入式大运动条件下人体测量方法，其特征在于，包含以下步骤：

步骤一、采用彩色图像约束与深度图像约束结合的运动捕捉技术恢复人体姿态参数；

步骤二、根据深度图像，初始化人体模型的形态参数，生成基线模型；

步骤三、通过深度图像优化各帧下的模型，并依据当前帧模型的不同顶点相对于传感器的前向特性选择权重，获得空时加权平均模型；

步骤四、以平均模型作为方向约束，寻找相对于基线模型的最小位移点作为目标模型的相应顶点，进而获得无衣物影响模型，并从无衣物影响模型上测得人体体征参数。

2.根据权利要求1所述的测量方法，其特征在于，所述步骤一：于运动跟踪阶段，引入彩色图像约束，通过帧间彩色图像匹配点，以及帧内“彩色—深度图像”匹配点，获得帧间深度图像匹配点，在此匹配点基础上定义附加目标函数其中p_rgb为当前帧深度图像上的三维对应点，p_rgb(q)为上一帧深度图像三维对应点根据姿态参数变换得到的该帧三维生成点；同时，运动跟踪阶段引入边缘图像约束，由二维CPD(CoherentPointDrift)算法获得边缘图像匹配点，其附加目标函数部分为其中S_observed为观测边缘图像对应点，S_render为生成边缘图像对应点。

3.根据权利要求1所述的测量方法，其特征在于，所述步骤二：优化形态参数时引入一致性约束，即目标函数处增加的形如|β-β_average|²的附加项，其中β_average为目标形态未知量，为范化形态标准量。

4.根据权利要求1所述的测量方法，其特征在于，所述步骤三：根据当前帧模型上各顶点的前向特性选择权重，权重函数形式为 ${\mathrm{\&omega;}}_t^j=\left\{\begin{array}{cc}0.01,& n_t^j<0;\\ G\left(n_t^j\right),& n_t^j\&GreaterEqual;0.\end{array}\right.,$ 为区间[0,1]上的任意单调递增函数，表示时间t对应帧上模型第j个顶点的单位法向量与传感器单位投影向量的内积。

5.根据权利要求1所述的测量方法，其特征在于，所述步骤四：

(1)采用时空平均模型相对于基线模型的位移矢量方向作为选择约束；

(2)采用各时刻优化模型相对于基线模型的位移矢量长度作为度量约束；

整个选择目标函数形式为：其中Δp_average是时空平均模型关于基线模型的变化向量，Δp为模型上同一顶点关于基线模型对应点在不同时刻的变化向量。