CN107371009A - 一种人体动作增强可视化方法及人体动作增强现实系统 - Google Patents

Abstract

本发明公开了一种人体动作增强可视化方法及人体动作增强现实系统，该方法通过人体动作获取设备提取人体骨架动作信息，将其设置为边界条件及外力，使用计算流体力学的方法，在叠加的图层上进行气流运动的仿真，并将气流下密度场的变化与运动数据同步显示，从而增强各类动作的可视化效果，适用于对微小及瞬时动作的可视化。本发明通过计算自动合成增强运动效果的视觉数据至原人体动作视频上，无需人为地对动作数据进行后续的处理，可配合增强现实眼镜或其他相机显示一体设备，应用于增强现实等领域。

Description

一种人体动作增强可视化方法及人体动作增强现实系统

技术领域

本发明涉及虚拟现实及数据可视化技术领域，特别涉及一种人体动作增强可视化方法及人体动作增强现实系统。

背景技术

人体动作是常见的视频内容，通过观察人体动作可以获得大量关于运动者的信息，在教育、健康、体育等领域有诸多应用。视频录制与运动捕捉系统是常见的人体动作数据获取方式，在这样的数据获取手段下，由于其他高维数据可视化技术不够直观，人体动作数据的可视化多以视频形式及杆状的抽象骨架运动来进行可视化。受到人类视觉的局限，此类直观的人体动作可视化方法对于平稳且明显的动作展示效果较好，而对瞬时动作及微小动作无法明显地进行展示。针对这一问题，文献[Ce Liu et al，Motion Magnification，ACM Transactions on Graphics 24(3)，2005，Pages 519-526]及其后续工作提出了一类通过信号处理的方法来放大动作的视频处理技术。此类技术人为地放大了视频中的动作，用户需要对比处理前的数据才能观察到真实的运动数据。

为此，本发明提出了一种新的人体动作增强可视化方法，保留原人体动作的视觉信息，旨在通过使用计算流体力学方法仿真人体动作下气流的运动，显示并叠加算出的气流运动以增强显示人体动作。本发明提出的动作增强显示技术可以通过计算的方法自动合成至原人体动作视频上，无需人为地对动作数据及视频进行后续的处理及合成，可配合AR眼镜或其他相机显示一体设备，应用于增强现实等领域。

发明内容

本发明的目的是提供一种人体动作增强可视化方法，其能够根据采集到的人体动作数据，在保留原动作数据的基础上自动地叠加视觉数据以增强人体动作的可视化效果。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种人体动作增强可视化方法，包括使用人体动作获取设备获得三维人体动作数据以及二维视频序列，并将三维人体动作数据投影至二维视频中获得传统可视化下的人体动作视频，还包括如下步骤：

步骤1，从三维人体动作数据中提取三维骨架运动数据，并将其投影至二维视频中，获得二维骨架运动数据，并得出二维骨架位置信息；

步骤2，创建与二维视频分辨率一致的二维半透明的图层；根据二维骨架位置信息对和图层分辨率一致的密度场进行初始化；

步骤3，对密度场进行下采样，使用计算流体力学的方法，对密度场在人体运动下的变化进行仿真，仿真的边界条件根据二维骨架运动数据计算获得；

步骤4，对变化后的密度场进行上采样，获得密度场半透明图层，并将其叠加至传统可视化下的人体动作视频中，或者使用流场可视化方法，对气流流速场进行采样，并将其结果进叠加至传统可视化下的人体动作视频中。

本发明还提供一种人体动作增强现实系统，包括人体动作获取设备、增强可视化生成模块、视频合成模块和显示屏，其中：

人体动作获取设备用于获取三维人体动作数据和二维视频序列；

增强可视化生成模块用于增强人体动作可视化效果：

首先，增强可视化生成模块从三维人体动作数据中提取三维骨架运动数据，并将其投影至二维视频中，获得二维骨架运动数据，并得出二维骨架位置信息；

然后，创建与二维视频分辨率一致的二维半透明的图层；根据二维骨架位置信息对和图层分辨率一致的密度场进行初始化；

最后，对密度场进行下采样，使用计算流体力学的方法，对密度场在人体运动下的变化进行仿真，仿真的边界条件根据二维骨架运动数据计算获得；

视频合成模块对变化后的密度场进行上采样，获得密度场半透明图层，并将其叠加至传统可视化下的人体动作视频中，或者使用流场可视化方法，对气流流速场进行采样，并将其结果进叠加至传统可视化下的人体动作视频中，最后传输至显示屏中。

综上所述，本发明具有以下有益效果：

本发明充分利用视频中人体外的空间，辅以可视的空气流动仿真效果以增强人体动作可视效果，原人体动作能被保留，且增强可视效果直观；本发明无需人为对视频进行后期处理，加入额外的计算模块可在视频上直接显示增强可视的效果；本发明在二维空间进行流体仿真计算，相比在三维空间先进行仿真计算再投影至二维进行显示计算效率更高；对于微小动作或瞬时动作，虽然视频中人体动画部分无法强调显示出此类动作，叠加的图层上通过模拟动作产生的随时间变化的气流变化，可以帮助用户观察到微小动作或瞬时动作。

附图说明

图1为本发明方法的原理示意图；

图2为边界条件设置方法示例；

图3为本发明应用于增强现实系统的系统框图示例。

具体实施方式

附图对本发明的技术方案进行详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明提供一种人体动作增强可视化方法，包括如下步骤：

步骤1，如图1所示，本发明的输入数据为三维的人体动作数据以及从其中提取的骨架运动数据。此类数据可通过如Vicon等运动捕获系统或Kinect等深度相机及其配套的骨架运动提取SDK获取。

若此数据来自于运动捕获系统，则直接绘制骨架动画，投影至所选取视角，作为传统动作可视化方法。

若此数据来自于深度相机，则绘制其RGB通道数据，或是同时绘制RGB通道数据及投影后的骨架动画，作为传统动作可视化方法。

步骤2，对密度场进行初始化。

方法一

若传统可视化绘制分辨率为800x600，则设置初始化密度场拥有同样的维数800x600。选取骨架运动的第一帧作为参考来计算初始密度场。初始密度场ρ可以通过求解离散的热扩散方程获得：

(I-tL)ρ＝ρ₀ (1)

其中t为时间常数控制热扩散的时间，L为离散格点上的Laplace矩阵，I为单位矩阵，ρ₀为在二维骨架处的热源密度为1，其余位置处的热源密度为0时的密度场分布。

方法二

密度场可通过公式：

计算，其中Ci为第i(i≥0)个骨骼的位置，K(r)为半径为r的高斯核函数，r是Gaussian Kernel的半径，dl是积分曲线上Ci的线单元，ρ(x，y)为密度场分布。

方法二中，初始密度场可以设置为在以人体重心为圆心的环状、圆形或其他正规形状区域内为1，其余区域为0的密度场。

步骤3，如图2所示，根据骨架的运动信息，计算密度场的变化。

使用计算流体力学的方法，通过在二维格点上求解Navier-Stokes方程来计算密度场的更新。为提高仿真计算的效率，首先对密度场进行下采样，将相邻格点合并取其密度场的平均值为下采样的密度场，如将800x600的密度场下采样至200x150，以减少计算规模。根据骨架的运动设置计算流体力学所需的边界条件。具体包括在与骨架相交的格点处外力f＝c(v_s-v_f)，其中v_s，v_f分别为骨架的运动速度及密度场的变化速度，c为可调节的缩放系数；以及骨架相交处的边界条件，在流速变化下，首先计算出到达每一个骨架相邻侧处格点处的速度大小，再利用反射定理计算出以骨架为边界后的速度的大小以及方向。如图2右图所示，入射气流流速场v₁和v₂碰到骨架后，形成入射角α，以同样的反射角α反射后形成下一帧的气流流速v₁’和v₂’，从而实现以骨架为边界的效果。由于在进行流体计算的时候是将速度正交分解为v_x与v_y，所以在进行边界条件计算的时候需要先将速度合成，经过计算处理后，再正交分解成反射后的速度。在气流仿真中，可以将图层边界设置为闭合或开放的边界条件。每次骨架动画前进一帧，进行一至多帧的仿真计算，以更新气流速度场，进而更新骨架运动影响下的密度场。

步骤4，完成对传统可视化的增强显示效果。

首先对计算流体力学仿真后的低分辨率密度场进行上采样。对每个像素点采用高斯模糊化处理，选取高斯核函数中标准差使其能覆盖上采样像素点。如将200x150的密度场上采样至800x600的密度场，选取标准差σ满足之后将密度场以透明图层形式绘制，选取颜色如白色为此图层颜色，将密度场映射为图层不透明度。最后叠加此半透明图层至传统可视化中，完成人体动作的增强可视化。同时也可根据需要，使用流场可视化的方法，如流线法或是在格点处绘制箭头并进行采样绘制，并直接将流场可视化结果叠加至传统可视化上，以辅助展示人体动作。

本发明还提供一种人体动作增强现实系统，包括人体动作获取设备、增强可视化生成模块、视频合成模块和显示屏，其中：

人体动作获取设备用于获取三维人体动作数据和二维视频序列；

增强可视化生成模块用于增强人体动作可视化效果：

首先，增强可视化生成模块从三维人体动作数据中提取三维骨架运动数据，并将其投影至二维视频中，获得二维骨架运动数据，并得出二维骨架位置信息；

然后，创建与二维视频分辨率一致的二维半透明的图层；根据二维骨架位置信息对和图层分辨率一致的密度场进行初始化；

最后，对密度场进行下采样，使用计算流体力学的方法，对密度场在人体运动下的变化进行仿真，仿真的边界条件根据二维骨架运动数据计算获得；

视频合成模块对变化后的密度场进行上采样，获得密度场半透明图层，并将其叠加至传统可视化下的人体动作视频中，或者使用流场可视化方法，对气流流速场进行采样，并将其结果进叠加至传统可视化下的人体动作视频中，最后传输至显示屏中。

图3给出了本发明应用于增强现实系统的示例。用户可佩戴含相机及近眼显示的AR眼镜，通过使用本发明给出的方法，自动根据所采集到的人体动作合成视窗内气流运动下密度场的变化，通过视频合成模块，将仿真的密度场变化数据与相机所采集的视频流叠加显示在近眼显示屏上，即可达成所见人体动作的增强现实效果。用户可通过此方式观察人体的不同微小动作。同时本发明所提的方法也可以用于自动的视效合成。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (8)

1.一种人体动作增强可视化方法，包括使用人体动作获取设备获得三维人体动作数据以及二维视频序列，并将三维人体动作数据投影至二维视频中获得传统可视化下的人体动作视频，其特征在于，还包括如下步骤：

步骤1，从三维人体动作数据中提取三维骨架运动数据，并将其投影至二维视频中，获得二维骨架运动数据，并得出二维骨架位置信息；

步骤2，创建与二维视频分辨率一致的二维半透明的图层；根据二维骨架位置信息对和图层分辨率一致的密度场进行初始化；

步骤3，对密度场进行下采样，使用计算流体力学的方法，对密度场在人体运动下的变化进行仿真，仿真的边界条件根据二维骨架运动数据计算获得；

步骤4，对变化后的密度场进行上采样，获得密度场半透明图层，并将其叠加至传统可视化下的人体动作视频中，或者使用流场可视化方法，对气流流速场进行采样，并将其结果进叠加至传统可视化下的人体动作视频中。

2.根据权利要求1所述的一种人体动作增强可视化方法，其特征在于：步骤2中密度场初始化的方法为：将密度场映射至含透明通道的颜色值；密度为0处设为全透明，密度为1设为不透明；密度场的初始化使用二维扩散模型，设置二维骨架位置处的热源密度为1，使用二维标准热扩散模型计算密度场ρ的分布：

(I-tL)ρ＝ρ₀ (1)

其中t为时间常数控制热扩散的时间，L为离散格点上的Laplace矩阵，I为单位矩阵，ρ₀为在二维骨架处的热源密度为1，其余位置处的热源密度为0时的密度场分布。

3.根据权利要求1所述的一种人体动作增强可视化方法，其特征在于，步骤2中，密度场通过累加各高斯核函数沿着各骨骼的线积分获得：

<mrow> <mi>&amp;rho;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&amp;Sigma;</mi> <mi>i</mi> </msub> <msub> <mo>&amp;Integral;</mo> <msub> <mi>C</mi> <mi>i</mi> </msub> </msub> <mi>K</mi> <mrow> <mo>(</mo> <mi>r</mi> <mo>)</mo> </mrow> <mi>d</mi> <mi>l</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

其中Ci为第i(i≥0)个骨骼的位置，K(r)为半径为r的高斯核函数，r是GaussianKernel的半径，dl是积分曲线上Ci的线单元，ρ(x，y)为密度场分布。

4.根据权利要求1所述的一种人体动作增强可视化方法，其特征在于：步骤3中对密度场在人体运动下的变化进行仿真的具体步骤为：根据二维骨架位置信息，将其中的骨架格点处所受的外力设置为c(v_s-v_f)，其中v_s，v_f分别为骨架的运动速度及密度场的变化速度，c为可调节的缩放系数；同时，将骨架所在位置设值为仿真的边界条件，在流速场变化下，骨架两边格点的速度场以骨架方向为边界计算反射获得；计算中，将图层的边界设为封闭或开放边界。

5.根据权利要求1所述的一种人体动作增强可视化方法，其特征在于，步骤3的仿真过程中，每次的二维骨架运动的动画前进一帧，进行一至多帧的仿真计算，以更新气流速度场，进而更新二维骨架运动影响下的密度场。

6.根据权利要求1所述的一种人体动作增强可视化方法，其特征在于，步骤4中，在对计算流体力学仿真后的低分辨率密度场进行上采样时，对每个像素点采用高斯模糊化处理，选取高斯核函数中标准差使其能覆盖上采样像素点，之后将密度场以透明图层形式绘制，选取白色为此图层颜色，将密度场映射为图层不透明度；最后叠加此半透明图层至传统可视化中，完成人体动作的增强可视化。

7.根据权利要求1所述的一种人体动作增强可视化方法，其特征在于，步骤4中，在使用流场可视化的方法时，使用流线法或是在格点处绘制箭头并进行采样绘制，并直接将流场可视化结果叠加至传统可视化上，以辅助展示人体动作。

8.一种人体动作增强现实系统，其特征在于，包括人体动作获取设备、增强可视化生成模块、视频合成模块和显示屏，其中：

人体动作获取设备用于获取三维人体动作数据和二维视频序列；

增强可视化生成模块用于增强人体动作可视化效果：

首先，增强可视化生成模块从三维人体动作数据中提取三维骨架运动数据，并将其投影至二维视频中，获得二维骨架运动数据，并得出二维骨架位置信息；

然后，创建与二维视频分辨率一致的二维半透明的图层；根据二维骨架位置信息对和图层分辨率一致的密度场进行初始化；

最后，对密度场进行下采样，使用计算流体力学的方法，对密度场在人体运动下的变化进行仿真，仿真的边界条件根据二维骨架运动数据计算获得；

视频合成模块对变化后的密度场进行上采样，获得密度场半透明图层，并将其叠加至传统可视化下的人体动作视频中，或者使用流场可视化方法，对气流流速场进行采样，并将其结果进叠加至传统可视化下的人体动作视频中，最后传输至显示屏中。