CN110675486B - 一种非刚性人体运动的频域重建方法 - Google Patents

Abstract

该发明公开了一种非刚性人体运动的频域重建方法，该方法属于计算机视觉领域，特别是根据图像数据的三维重建。本发明从频域的角度出发，分析和重建低频的非刚性人体关节点运动和高频的相机运动，完全区别于之前的轨迹基与形状基非刚性人体运动重建方式，是一种全新的方法。从二维投影的傅里叶变换中，不仅可以估计相机绕Z轴的高频运动，以及相机绕Z轴运动并带有俯仰角的高频运动，而且可以估计出任意的低频人体动作运动，适用于一些特定三维人体运动重建场景。

Description

一种非刚性人体运动的频域重建方法

技术领域

本发明属于计算机视觉领域，特别是根据图像数据的三维重建。

背景技术

三维重建是指从已知多帧的二维投影图像，恢复出三维空间结构。非刚性的三维重建则是针对人体运动一类的非刚性目标进行重建。但是对于后者来讲，每时每刻只能捕捉三维空间结构的一个二维投影，因此非刚性三维重建成为一个病态问题，无法直接求解。现有的人体非刚性三维重建技术要么利用形状基来对人体形状进行表示，要么利用轨迹基来对人体运动在三维空间中进行表示，其目的都是通过降低模型的参数个数，利用优化的方法来找到一个可行解，适用范围有限，重建的精度也随非刚性目标的非刚性程度高低而变化。已授权专利201610154349X——一种面向图像序列的铰接关节点空间运动重构方法是通过获得相机的自校正参数以及相机CCD物理尺寸后，求解初等函数，获得铰接关节点的潜在坐标；进一步通过轨迹平滑约束，逐帧建立铰接关节点的空间运动轨迹。申请专利201711006415.X——稳定的非刚性重建方法主要考虑解决非刚性重建中预先需要设定或者调试正交离散余弦基个数的问题，提出了一种自适应的稳定重建方法。前述两种方法都是通过最优化方法在时域中来实现重建，而本发明则是采取完全不同的思路，转换到频域中来实现非刚性重建。

发明内容

本发明的目的在于提出一种新的方法重建非刚性人体运动，提供一种基于频域分析的非刚性重建方法。提出的方法将相机运动和人体运动首先经过傅里叶变换，转换到频域；通过分析相机和人体非刚性运动的频域特征，建立求解频域系数的非线性方程，获得频域系数，在进行反变换重建非刚性三维人体运动。

本发明技术方案为：一种非刚性人体运动的频域重建方法，以下内容基于Z轴朝上，X轴朝前，Y轴朝右的坐标系；该方法包括：

步骤1：设人体共有N个关节点，其中各关节点的二维投影表示为：

{x_i(t)＝[x_i(t),y_i(t)]，i＝1,2,...,N,t＝1,2,...,F}

其中x_i(t)表示第i个关节点的二维投影，x_i(t),y_i(t)表示二维投影的x序列和y序列，t为观测时刻，即第t帧数据，共F帧数据；对第i个点二维投影的x序列{x_i(1),x_i(2),...,x_i(F)}做离散傅里叶变换，得到离散傅里叶变换系数的实部{A_x1,A_x2,...,A_xF}和虚部{B_x1,B_x2,...,B_xF}；

步骤2：设定人体运动频率分量个数N_p，相机运动频率分量个数N_c，假定相机运动的拟合频率分量范围为[N_Cl,N_Ch]，人体运动的拟合频率分量范围为[1,N_p]，且N_p≥N_Ch，构建如下方程组，其中

为未知量，j₁＝0,1,...,N_p，j₂＝1,2,...,N_c：

括号(·)的下标表示括号中矩阵的维度，其中

分别为待重建三维坐标X轴和Y轴的傅里叶系数，

为待重建相机运动的傅里叶系数，B^*是辅助因子；

步骤3：求解方程组未知量，具体步骤如下：

步骤3.1：首先利用求解器工具求解(1-1)，如果不考虑求解B^*,则(1-1)中包含N_p+N_Ch个方程，且有N_Ch-N_Cl+1个A_R和N_p+1个A_X未知量，此为非线性方程组，故产生解集

k1＝K1，对应于

即(1-1)的K1个根；

步骤3.2：利用求解器工具求解(1-2)，同样不考虑求解B^*,则(1-2)中包含N_p+N_Ch个方程，有N_Ch-N_Cl+1个A_R和N_p个A_Y未知，此为非线性方程组，故产生解集：

k2＝K2，对应于

即(1-2)的K2个根；

步骤3.3：查找方程组(1-1)解集

和方程组(1-2)解集

中欧式距离最近的两个解，假定分别为

和

再各自带入(1-1)和(1-2)求解

和

再通过对A_X和A_Y后添0补齐至F维向量，即：

和

对A_X进行反离散余弦变换或者反傅里叶变换，获得X(t),t＝1,2,...,F，对A_Y进行反离散余弦变换或者反傅里叶变换，获得Y(t),t＝1,2,...,F；

步骤4：令Z(t)＝y(t)，则根据第i个点的二维投影求解得到的第i个点的三维人体运动轨迹为X_i＝[X_i(t),Y_i(t),Z_i(t)]；其中y(t)为步骤1中的二维投影；

步骤5：i＝1,2,...,N循环，依次求解人体N个关节点的三维运动，即恢复出对应于F帧的三维人体运动。

本发明从频域的角度出发，分析和重建低频的非刚性人体关节点运动和高频的相机运动，完全区别于之前的轨迹基与形状基非刚性人体运动重建方式，是一种全新的方法。从二维投影的傅里叶变换中，不仅可以估计相机绕Z轴的高频运动，以及相机绕Z轴运动并带有俯仰角的高频运动，而且可以估计出任意的低频人体动作运动，适用于一些特定三维人体运动重建场景。

附图说明

图1为本发明的频域重建方法流程图。

图2是相机围绕Z轴匀速运动在CMU三维人体运动数据集Pickup姿态重建结果图，人体上一共有41个点，其中N_p＝4，N_c＝1，N_Cl＝N_Ch＝5，F＝357；10个重建结果是从357帧中均匀采样显示；适应于相机匀速旋转，即旋转角随时间匀速变化的情况。

图3是相机围绕Z轴非匀速运动在CMU三维人体运动数据集Drink姿态重建结果图，人体上一共有41个点，其中N_p＝4，N_c＝3，N_Cl＝1，N_Ch＝3，F＝1102。10个重建结果是从1102帧中均匀采样显示；适应于相机绕Z轴随机运动的情况。

图4是相机围绕Z轴匀速运动且有俯仰角在CMU三维人体运动数据集Stretch姿态重建结果图，其中N_p＝4，N_c＝1，N_Cl＝N_Ch＝5，F＝370；适应于相机匀速旋转且有俯仰角度的情况，其中俯仰角设为30度。

具体实施方式

在各实施例中，首先假设相机为正交投影相机模型，绕Z轴旋转匀速运动或非匀速运动，生成2x3的相机投影矩阵。如果是匀速运动，则角速度为5°；再将CMU各人体运动的三维数据集进行投影，生成二维投影序列，作为实施例的输入，逆向求解相机运动和三维人体运动。这样可以利用假设的相机运动和原三维人体数据作为真值数据进行比较，以衡量方法计算的误差。

实施例一：

以下列出的是由第一个生成的相机运动模型对CMU三维人体运动Pickup动作投影获得的二维坐标，即第一帧(F＝1)41个关节点的二维投影x坐标和y坐标实例：

其中相机围绕Z轴匀速运动，投影矩阵R由下式生成

实施例一中，采用F＝357连续帧的关节点二维投影做为输入，逆向所对应的41个关节点的三维坐标X，做为输出。表1中展示的是在CMU多个数据集上相机绕Z轴匀速运动，提出的人体重建方法与传统的轨迹基重建方法相比较的结果。

表1相机围绕Z轴匀速运动在CMU各三维人体运动数据集上的人体重建误差与传统的轨迹基重建方法相比较的结果

Datsets	轨道基ΔE(重建误差)	本发明频域法ΔE(重建误差)
			DRINK	2.50E-02	2.75E-02
PICKUP	2.37E-01	6.38E-02
			YOGA	1.62E-01	9.22E-02
STRETCH	1.09E-01	4.96E-02
			DANCE	2.96E-01	2.01E-01

实施例二：

以下列出的是由第一个生成的相机运动模型对CMU三维人体运动Drink动作投影获得的二维坐标，即第一帧(F＝1)41个关节点的二维投影x坐标和y坐标实例：

其中所采用对应的非匀速运动的相机投影矩阵R，由下式生成

。实施例二中，采用F＝370连续帧的关节点二维投影做为输入，逆向所对应的41个关节点的三维坐标X，做为输出。表2中展示的是在CMU多个数据集上相机绕Z轴非匀速运动，提出的人体重建方法与传统的轨迹基重建方法相比较的结果。

表2相机绕Z轴非匀速运动在CMU各三维人体运动数据集上的人体重建误差与传统的轨迹基重建方法相比较的结果

Datset	轨道基ΔE(重建误差)	本发明频域法ΔE(重建误差)
			DRINK	7.11E-01	2.43E-01
PICKUP	5.40E-01	6.84E-01
			YOGA	1.17E-00	4.28E-01
STRETCH	5.14E-01	4.33E-01

实施例三：

以下列出的是由第一个生成的相机运动模型对CMU三维人体运动Stretch动作投影获得的二维坐标，即第一帧(F＝1)41个关节点的二维投影x坐标和y坐标实例:

结果对应图3表2的内容；

其中相机围绕Z轴匀速运动且有θ_Y＝30°度的俯仰角，投影矩阵R由下式生成

实施例三中，采用F＝3702连续帧的关节点二维投影做为输入，逆向所对应的41个关节点的三维坐标X，做为输出。表3中展示的是在CMU多个数据集上相机绕Z轴匀速运动且有俯仰角，提出的人体重建方法与传统的轨迹基重建方法相比较的结果。

表3相机围绕Z轴匀速运动且有俯仰角在CMU三维人体运动数据集上的人体重建误差与传统的轨迹基重建方法相比较的结果

Datsets	轨道基ΔE(重建误差)	本发明频域法ΔE(重建误差)
			DRINK	2.50E-02	5.34E-02
PICKUP	2.17E-01	1.03E-01
			YOGA	1.79E-01	1.02E-01
STRETCH	1.34E-01	7.84E-02
			DANCE	2.56E-01	1.65E-01

Claims (1)

1.一种非刚性人体运动的频域重建方法，以下内容基于Z轴朝上，X轴朝前，Y轴朝右的坐标系；该方法包括：

步骤1：设人体共有N个关节点，其中各关节点的二维投影表示为：

{x_i(t)＝[x_i(t),y_i(t)]，i＝1,2,...,N,t＝1,2,...,F}

其中x_i(t)表示第i个关节点的二维投影，x_i(t),y_i(t)表示二维投影的x序列和y序列，t为观测时刻，即第t帧数据，共F帧数据；对第i个点二维投影的x序列{x_i(1),x_i(2),...,x_i(F)}做离散傅里叶变换，得到离散傅里叶变换系数的实部{A_x1,A_x2,...,A_xF}和虚部{B_x1,B_x2,...,B_xF}；

步骤2：设定人体运动频率分量个数N_p，相机运动频率分量个数N_c，假定相机运动的拟合频率分量范围为[N_Cl,N_Ch]，人体运动的拟合频率分量范围为[1,N_p]，且N_p≥N_Ch，构建如下方程组，其中

为未知量，j₁＝0,1,...,N_p，j₂＝1,2,...,N_c：

括号(·)的下标表示括号中矩阵的维度，其中

分别为待重建三维坐标X轴和Y轴的傅里叶系数，

为待重建相机运动的傅里叶系数，B^*是辅助因子；

步骤3：求解方程组未知量，具体步骤如下：

步骤3.1：首先利用求解器工具求解(1-1)，如果不考虑求解B^*,则(1-1)中包含N_p+N_Ch个方程，且有N_Ch-N_Cl+1个A_R和N_p+1个A_X未知量，此为非线性方程组，故产生解集

对应于

即(1-1)的K1个根；

步骤3.2：利用求解器工具求解(1-2)，同样不考虑求解B^*,则(1-2)中包含N_p+N_Ch个方程，有N_Ch-N_Cl+1个A_R和N_p个A_Y未知，此为非线性方程组，故产生解集：

对应于

即(1-2)的K2个根；

步骤3.3：查找方程组(1-1)解集

和方程组(1-2)解集

中欧式距离最近的两个解，假定分别为

和

再各自带入(1-1)和(1-2)求解

和

再通过对A_X和A_Y后添0补齐至F维向量，即：

和

对A_X进行反离散余弦变换或者反傅里叶变换，获得X(t),t＝1,2,...,F，对A_Y进行反离散余弦变换或者反傅里叶变换，获得Y(t),t＝1,2,...,F；

步骤4：令Z(t)＝y(t)，则根据第i个点的二维投影求解得到的第i个点的三维人体运动轨迹为X_i＝[X_i(t),Y_i(t),Z_i(t)]；其中y(t)为步骤1中的二维投影；

步骤5：i＝1,2,...,N循环，依次求解人体N个关节点的三维运动，即恢复出对应于F帧的三维人体运动。

Images