CN104732586B - 一种三维人体动态形体和三维运动光流快速重建方法 - Google Patents

Abstract

本发明公开了一种三维人体动态形体重建方法，包括步骤：1、对t时刻图像由背景相减得到人体轮廓图像；2、扫描三维立体空间内的所有体块，通过投影查找表，检测各体块中心点是否为三维形体上的点；3、去除三维形体内部的三维空间点；4、对形体表皮点由对应的可视摄像机图像的二维像素点颜色平均值作颜色渲染，最终得到t时刻带颜色的三维人体形体。本发明还公开了一种三维运动光流重建方法，包括步骤：1、对各个体块中心点预先计算Jocobian光流查找表；2、计算三维光流；3、去除噪声引起的噪声光流，获得整个形体的三维运动光流。本发明的三维人体动态形体和三维运动光流快速重建方法均具有方便快捷、精度高、易于实现的优点。

Description

一种三维人体动态形体和三维运动光流快速重建方法

技术领域

本发明涉及图像信息学科学领域，特别涉及一种三维人体动态形体和三维运动光流快速重建方法。

背景技术

人体运动数据在动画、电影、体育、医疗等应用领域需求广泛。例如，在动画领域，仅依赖手工绘画角色的关键运动帧往往费时耗力且逼真度不高，采用精确的骨架运动数据去驱动角色运动的方法则准确且方便；在体育方面，运动员的运动姿态、关节角度等数据是往往是进行训练和相关分析的重要信息；在医疗领域，人体运动数据也有重要的应用，例如有些疾病的治疗需要观察检测病人的行走姿势、骨骼形变等。

动作捕捉是当前获取人体运动数据的主要技术。动作捕捉设备主要分为三类，第一类是光学传感捕捉设备，即通过摄像捕获到穿戴设备上的标志点的运动轨迹，然后分析计算出人体的关节运动数据；第二类是机械捕捉设备，其通过直接测量人体关节角度等数据，一般需要被测量者穿戴上类似于骨架结构的机械测量设备；第三类是电磁传感捕捉设备，即采用电磁传感器测量和计算人体关节角度等数据，也需要穿戴特制的电磁传输和接收设备或标志。上述动作捕捉设备都需要人体对象穿戴上复杂的传感标志设备，这有时候会对人体对象的运动产生限制或影响；并且这些设备需要昂贵的配套计算和分析设备，设备总体价格非常昂贵。这是很多有动作捕捉需求的一般用户无法承受的。这促使人们寻找更加便宜而方便的动作捕捉技术。

人体动态形体和三维光流运动信息都是与人体运动密切相关的，如果能够获得人体的三维人体形体和三维运动光流数据则为恢复三维人体骨架运动数据创造了条件。人体三维扫描设备可以获得较高精度的三维形体数据，但是不能够实时获取动态的三维形体信息；Kinect等当前依赖深度摄像传感设备的动作跟踪技术可以实时获取人体骨架运动数据，但只能够恢复出2.5维度的形体深度信息，同时也无法获得人体的三维光流信息；基于多摄像机的三维重建技术例如stereo等方法可以对三维动态形体进行重建，但是往往较为耗时，且不容易控制重建精度，也无法得到三维光流等与人体运动密切相关的运动信息。。

发明内容

本发明的目的是针对上述已有技术的不足，提出一种并行度高、计算量少、简单快速的三维人体动态形体和三维运动光流快速重建方法。

本发明的技术方案是：

一种三维人体动态形体重建方法，包括以下步骤：

S01、选择一个三维立体空间，在三维立体空间内布置有对三维立体空间成像的图像采集组件，并建立三维立体空间内各个三维立体空间点到图像采集组件的投影查找表，并将三维立体空间沿着长、宽、高方向均划分r个体块，即将三维立体空间划分为r×r×r个体块；

S02：通过图像采集组件对三维立体空间内的运动人体图像进行采集；

S03：获取步骤S02中图像采集组件采集的当前帧图像中的人体轮廓；

S04：通过查找投影查找表对三维立体空间内的三维立体空间点进行投影检测，保留可在所有轮廓投影成像的点，获得人体三维形体点云；

S05：对各体块采用对应的二维像素颜色值进行颜色建模，最终得到彩色的三维人体形体。

优选地，所述图像采集组件包括多台摄像机，多台摄像机分布在三维立体空间内并能在三维立体空间内完整成像。

优选地，步骤S01中投影查找表的建立过程如下：设(X_i,Y_i,Z_i)为三维立体空间内的某一个三维空间点P_i，为P_i在其中一台摄像机k上的成像点，k表示第k个摄像机，它们之间满足投影关系：

$\left\{\begin{array}{c}{u}_i^k=\frac{m_{11}^k{X}_i+m_{12}^k{Y}_i+m_{13}^k{Z}_i+m_{14}^k}{m_{21}^k{X}_i+m_{22}^k{Y}_i+m_{23}^k{Z}_i+m_{24}^k}\\ v_i^k=\frac{m_{31}^k{X}_i+m_{32}^k{Y}_i+m_{33}^k{Z}_i+m_{34}^k}{m_{21}^k{X}_i+m_{22}^k{Y}_i+m_{23}^k{Z}_i+m_{24}^k}\end{array}\right.---\left(1\right)$

其中为此摄像机的通过标定得到的空间位姿和内部参数；将每个体块的中心点在各个摄像机的投影，按上述公式建立投影查找表，将三维立体空间内的任意体块中心所对应的三维空间点P_i对应至各摄像机上的二维成像点。

优选地，步骤S03中，通过背景相减法获取步骤S02中图像采集组件采集的当前帧图像中的人体轮廓,其中背景相减法的具体过程为：设其中一台摄像机对应的背景为B_k，则人体轮廓区域其中为摄像机k在时刻t采集到的图像，D()为腐蚀膨胀像素处理操作；然后将每个像素点赋予在上相同的RGB颜色。

优选地，步骤S05的具体过程为：在人体三维形体点云中寻找表皮点，以去除形体内部的三维点；对各表皮点采用对应的所有摄像机视图上的二维像素点的颜色值进行颜色建模，最终得到彩色的三维人体形体。

本发明还公开了一种三维运动光流重建方法，包括以下步骤：

S11、对图像采集组件采集到的每一帧图像按照如上所述的方法重建三维人体形体，得到三维人体动态形体数据{V_t|t＝1,…,T}，T表示采集的图像帧数目；

S12、得到三维立体空间内的某一个三维空间点P_i，三维空间点P_i＝(X_i,Y_i,Z_i)，P_i在摄像机k上的成像点为则存在如下关系式：

$\frac{{\mathrm{dp}}_i^k}{dt}=\frac{\∂p_i^k}{\∂P_i}\frac{\∂P_i}{dt}---\left(2\right)$

Jocobian矩阵由公式(1)计算得到；假定C_vis(p_i)为对P_i可视的图像采集组件的集合，C_i为对P_i可视的图像采集组件的个数，则可以得到以下线性方程组：

$B\frac{{\mathrm{dP}}_i}{dt}=U---\left(3\right)$

其中：

S13：对图像采集组件上多个可见的表面形体点P_i，由公式(3)计算得到三维运动光流

与现有技术相比，本发明所具有的有益效果为：

本发明的三维人体动态形体和三维运动光流快速重建方法快速方便、精度高、易于实现。

附图说明

图1为多个摄像机安装及人体运动空间结构示意图；

图2为三维形体重建方法步骤流程图；

图3为三维运动光流重建步骤方法流程图；

图4为三维人体形体重建结果示例图；

图5为三维人体形体运动三维光流重建效果示例图。

图6为图5中人体左小腿部分的光流细节放大图。

具体实施方式

以下结合附图对本发明的具体实施例进行详细描述，但不构成对本发明的限制。

如图1～6所示，本实施例的三维人体动态形体重建方法，包括以下步骤：

1、选定足够大小的房间搭建一个图像/视频采集系统，此系统包括图像采集组件，图像采集组件包括多台摄像机，如图1所示。搭建图像/视频采集系统的要求如下：

1)人体运动限制在a×b×c大小的三维立体空间S内；本实施例取a＝b＝c＝3m；

2)三维立体空间S四周布置单色背景，通过控制场景灯光使得场景光线明亮稳定，使得场景成像色彩和亮度自然均衡；

3)摄像机数目C不少于9个，本实施例取C＝9；并且按合适的角度固定安装，使得各个摄像机都能够对三维立体空间S完整成像；

4)摄像机同步拍摄，保证帧率>24fps；

2、采用计算机视觉的像机标定方法对各个摄像机的空间位姿和内部参数进行标定；各个摄像机的空间位姿均相对于同一个空间坐标系；可单个摄像机各自标定，也可采用多摄像机同步标定方法。本实施例空间坐标系设定在三维立体空间体S对应的地面中心位置处，以垂直地面为Z坐标轴。单个人体对象在三维立体空间S中运动，通过标定的多台摄像机同步拍摄单个动态的人体对象，保证每台摄像机的画面覆盖人体轮廓；

3、按一定的采样分辨率，建立三维立体空间S的各个空间点到多摄像机二维视图的投影查找表：假定(X_i,Y_i,Z_i)为在三维立体空间体S内的某三维空间点P_i，为P_i在摄像机k上的成像点，它们之间满足投影关系：

$\left\{\begin{array}{c}{u}_i^k=\frac{m_{11}^k{X}_i+m_{12}^k{Y}_i+m_{13}^k{Z}_i+m_{14}^k}{m_{21}^k{X}_i+m_{22}^k{Y}_i+m_{23}^k{Z}_i+m_{24}^k}\\ v_i^k=\frac{m_{31}^k{X}_i+m_{32}^k{Y}_i+m_{33}^k{Z}_i+m_{34}^k}{m_{21}^k{X}_i+m_{22}^k{Y}_i+m_{23}^k{Z}_i+m_{24}^k}\end{array}\right.$

其中为摄像机k的通过标定得到的空间位姿和内部参数。对三维立体空间体S划分为r×r×r个体块。将每个体块的中心点在各个摄像机的投影，按上述公式建立一张投影查找表。由此，三维立体空间体S内的任意体块中心所对应的三维空间点P_i都可以查找到在某摄像机k上的二维成像点。

4、设所采集的某时刻t多摄像机图像集为对每幅图像，通过背景相减方法获得图像中彩色人体轮廓；假定摄像机k对应的背景为B_k，则人体轮廓区域D()为腐蚀膨胀等像素处理操作，以去除孤立的噪声像素点。然后将每个像素点赋予在上相同的RGB颜色。

5、对任意空间体块中心点P_i通过使用投影查找表进行投影检测，保留可在所有轮廓上投影成像的点，从而获得与人体形体匹配的三维点云V_t。其中空间分辨率r越高，点云的密度越大，形体重建的精度也就越高。在重建的点云中寻找表皮点，以去除形体内部的三维点，使得节省渲染时间。假定任意重建得到点P_i，检测其六邻域点，如果至少存在一个邻域点在V_t所占的空间之外，则此点为表皮点。对各表皮点采用对应的所有摄像机视图上的二维像素点的颜色值进行颜色建模，最终得到彩色的三维人体形体。对某三维表皮点，一种简单的方法是采用所有可看见此表皮点的摄像机的二维像素点颜色值的平均值作为此三维点的颜色。这需要找到任意表皮点对应的对其可视的摄像机集C_vis(p_i)。在进行形体重建中可找到对每个摄像机的每个像素的最近体块，由此可迅速得到对某个三维点可见的摄像机集合。

6、对每一帧按上述方法重建三维人体形体，从而得到三维人体动态形体数据{V_t|t＝1,…,T}。其中图4为三维人体形体重建结果示例，各分辨率从左至右分别为50，100，200。

本发明还公开一种三维运动光流重建方法，包括以下步骤：

S11、对图像采集组件采集到的每一帧图像按照如上所述的方法重建三维人体形体，得到三维人体动态形体数据{V_t|t＝1,…,T}；

S12、得到三维立体空间内的某一个三维空间点P_i，三维空间点P_i＝(X_i,Y_i,Z_i)，P_i在摄像机k上的成像点为则存在如下关系式：

$\frac{{\mathrm{dp}}_i^k}{dt}=\frac{\∂p_i^k}{\∂P_i}\frac{\∂P_i}{dt}---\left(2\right)$

上述Jocobian矩阵由公式(1)计算得到；假定C_vis(p_i)为对P_i可视的图像采集组件的集合，C_i为对P_i可视的图像采集组件的个数，则可以得到以下线性方程组：

$B\frac{{\mathrm{dP}}_i}{dt}=U---\left(3\right)$

其中：其中公式(1)为：

$\left\{\begin{array}{c}{u}_i^k=\frac{m_{11}^k{X}_i+m_{12}^k{Y}_i+m_{13}^k{Z}_i+m_{14}^k}{m_{21}^k{X}_i+m_{22}^k{Y}_i+m_{23}^k{Z}_i+m_{24}^k}\\ v_i^k=\frac{m_{31}^k{X}_i+m_{32}^k{Y}_i+m_{33}^k{Z}_i+m_{34}^k}{m_{21}^k{X}_i+m_{22}^k{Y}_i+m_{23}^k{Z}_i+m_{24}^k}\end{array}\right.---\left(1\right).$

S13：对图像采集组件上多个可见的表面形体点P_i，由公式(3)计算得到三维运动光流

对于至少三个摄像机可见的表面形体点P_i，可以由公式(3)计算三维光流

由于各个摄像机固定不动，其空间位姿都是保持不变的，上述计算三维光流步骤采用以下简化计算：

1)预先计算Jocobian矩阵B，对整个重建过程只需要进行计算一次，之后都存在内存中作为查找表使用。

2)空间点可视摄像机集合在进行形体重建过程中已经得到，因此进行三维光流计算不需要再重新查找可视摄像机集合；

3)二维光流计算限定于在形体二维轮廓内的表皮点的投影点。

尽管上面是对本发明具体实施方案的完整描述，但是可以采取各种修改、变体和替换方案。这些等同方案和替换方案被包括在本发明的范围内。因此，本发明的范围不应该被限于所描述的实施方案，而是应该由所附权利要求书限定。

Claims (5)

1.一种三维人体动态形体重建方法，其特征在于，包括以下步骤：

S01、选择一个三维立体空间，在三维立体空间内布置有对三维立体空间成像的图像采集组件，并建立三维立体空间内各个三维空间点到图像采集组件的投影查找表，并将三维立体空间沿着长、宽、高方向均划分r个体块，即将三维立体空间划分为r×r×r个体块；

所述投影查找表的建立过程如下：设(X_i,Y_i,Z_i)为三维立体空间内的某一个三维空间点为P_i在其中一台摄像机k上的成像点，k表示第k个摄像机，它们之间满足投影关系：

$\left\{\begin{array}{c}{u}_i^k=\frac{m_{11}^k{X}_i+m_{12}^k{Y}_i+m_{13}^k{Z}_i+m_{14}^k}{m_{21}^k{X}_i+m_{22}^k{Y}_i+m_{23}^k{Z}_i+m_{24}^k}\\ V_i^k=\frac{m_{31}^k{X}_i+m_{32}^k{Y}_i+m_{33}^k{Z}_i+m_{34}^k}{m_{21}^k{X}_i+m_{22}^k{Y}_i+m_{23}^k{Z}_i+m_{24}^k}\end{array}\right.---\left(1\right)$

其中为此摄像机k的通过标定得到的空间位姿和内部参数；将每个体块的中心点在各个摄像机的投影，按上述公式建立投影查找表，将三维立体空间内的任意体块中心所对应的三维空间点P_i对应至各摄像机上的二维成像点；

S02：通过图像采集组件对三维立体空间内的运动人体图像进行采集；

S03：获取步骤S02中图像采集组件采集的当前帧图像中的人体轮廓；

S04：通过查找投影查找表对三维立体空间内的三维空间点进行投影检测，保留在所有轮廓投影成像的点，获得人体三维形体点云；

S05：对各体块采用对应的二维像素颜色值进行颜色建模，最终得到彩色的三维人体形体。

2.根据权利要求1所述的三维人体动态形体重建方法，其特征在于，所述图像采集组件包括多台摄像机，多台摄像机分布在三维立体空间内并能在三维立体空间内完整成像。

3.根据权利要求1或2所述的三维人体动态形体重建方法，其特征在于，步骤S03中，通过背景相减法获取步骤S02中图像采集组件采集的当前帧图像中的人体轮廓,其中背景相减法的具体过程为：设其中一台摄像机对应的背景为B_k，则人体轮廓区域其中为摄像机k在时刻t采集到的图像；D()为腐蚀膨胀像素处理操作；然后将每个像素点赋予在上相同的RGB颜色。

4.根据权利要求3所述的三维人体动态形体重建方法，其特征在于，步骤S05的具体过程为：在人体三维形体点云中寻找表皮点，以去除形体内部的三维点；对各表皮点采用对应的所有摄像机视图上的二维像素点的颜色值进行颜色建模，最终得到彩色的三维人体形体。

5.一种三维运动光流重建方法，其特征在于，包括以下步骤：

S11、对图像采集组件采集到的每一帧图像按照权利要求1中的三维人体动态形体重建方法重建三维人体形体，得到三维人体动态形体数据{V_t|t＝1,…,T}，T表示采集的图像帧数目；

S12、得到三维立体空间内的某一个三维空间点P_i，三维空间点P_i＝(X_i,Y_i,Z_i)，P_i在摄像机k上的成像点为则存在如下关系式：

$\frac{{\mathrm{dp}}_i^k}{dt}=\frac{\∂p_i^k}{\∂P_i}\frac{\∂P_i}{dt}---\left(2\right)$

Jocobian矩阵可以由公式(1)计算得到；

$\left\{\begin{array}{c}{u}_i^k=\frac{m_{11}^k{X}_i+m_{12}^k{Y}_i+m_{13}^k{Z}_i+m_{14}^k}{m_{21}^k{X}_i+m_{22}^k{Y}_i+m_{23}^k{Z}_i+m_{24}^k}\\ V_i^k=\frac{m_{31}^k{X}_i+m_{32}^k{Y}_i+m_{33}^k{Z}_i+m_{34}^k}{m_{21}^k{X}_i+m_{22}^k{Y}_i+m_{23}^k{Z}_i+m_{24}^k}\end{array}\right.---\left(1\right)$

其中为此摄像机k的通过标定得到的空间位姿和内部参数；

假定C_vis(p_i)为对P_i可视的图像采集组件的集合，C_i为对P_i可视的图像采集组件的个数，则可以得到以下线性方程组：

$B\frac{{\mathrm{dP}}_i}{dt}=U---\left(3\right)$

其中：

S13：对图像采集组件上多个可见的表面形体点P_i，由公式(3)计算得到三维运动光流