CN107204025B - 基于视觉感知的自适应服装动画建模方法 - Google Patents

Abstract

本发明公开了一种基于视觉感知的自适应服装动画建模方法，其包括：步骤1：构建符合人眼特性的服装视觉显著模型，应用深度卷积神经网络学习并提取出服装动画每帧图像的不同层次抽象特征，并从这些特征和真实的眼动数据中深度学习出视觉显著模型；步骤2：服装分区域建模，基于步骤1已构建的视觉显著模型，预测服装动画图像的视觉显著图，提取出服装区域的关注度，对服装变形进行滤波，并结合摄像机视点运动信息以及物理变形信息，通过设置细节模拟因子对服装进行分区域建模；步骤3：构建视觉感知驱动的自适应服装模型并实现模拟，采用自适应多精度网格技术实现服装分区域建模，细节模拟因子高的区域进行高精度建模，细节模拟因子较低的区域则进行低精度建模，在此基础上进行动力学计算和碰撞检测，构建视觉逼真的服装动画系统。

Description

基于视觉感知的自适应服装动画建模方法

技术领域

本发明属于虚拟现实和计算机图形学技术领域，具体涉及一种基于视觉感知的自适应服装动画建模方法。

背景技术

服装动画模拟效果的视觉逼真性，一直是研究者们致力工作的目标。为了得到细腻的服装效果，通常需要对服装模型进行高精度的建模，以表现其丰富的变形细节。但高精度模型有近万个图元，这就需要进行大量的碰撞检测和大规模动力学方程求解，从而花费高昂的计算代价，降低系统性能。

为了解决上述问题，一种有效的解决方案是对服装进行自适应多精度建模，现有方法主要包括：基于变形状态驱动的建模法，即根据动画过程中布料状态估算服装可能出现的高变形区和低变形区，不同变形程度区采用不同精度的模型；基于视点位置驱动的建模法，即根据摄像机的视点信息，对位于摄像机镜头内和距离摄像机镜头较近的点或面片进行精化，而位于镜头外或背对镜头的点或面片进行粗化。这些方法可以在一定程度上降低计算代价，并保持变形细节。

但已有方法存在的共性问题是：在动画建模时，只考虑服装运动的客观真实性，而完全忽略了人眼主观作用对感知逼真性的影响。事实上，人类视觉系统通过从外界获取图像信息传送入大脑，通过大脑对图像信息进行分析和理解，然后获得对外界信息的感知。视觉感知的敏感度不仅受到光强度、波长的影响，还与记忆与经验等更高层次的心理因素有关。因此，人类视觉系统对于服装不同区域变形的感知将会受到诸多因素的影响；如果单纯考虑构建物理真实的动画模型或者提高服装模型的精度，而完全忽略视觉敏感度对感知真实性的影响，则难以保证最终生成的服装动画的视觉逼真性。

发明内容

本发明的目的是为了实现视觉效果逼真服装动画，同时提高动画计算效率。

为了保证服装动画视觉效果逼真，同时提高动画计算效率，本发明公开了一种基于视觉感知的自适应多精度服装动画方法，该方法基于服装动画视频提取出在不同抽象层次的特征表示，构建符合人眼视觉感知特性的服装关注度模型，再结合服装不同区域的物理变形程度以及摄像机的视点运动信息，对服装进行分区域建模，构建视觉效果逼真的服装动画系统。

本发明方法包含3个步骤：

步骤1：构建符合人眼特性的服装视觉显著模型

人类视觉机制和视觉心理学的研究发现，当人类在观察图像时，并不能够获得图像中的所有信息，而是会选择性地将注意力集中在场景中的某部分而忽略掉其他的部分。传统的显著模型是基于底层图像特征表示的数学模型，而这些特征的选取往往是由人的先验知识来确定的，存在很多不确定性，由此得到的视觉显著模型往往不能够准确反映人类真实的视觉感受。为此，本发明中应用深度卷积神经网络学习并提取出服装动画每帧图像的不同层次抽象特征，并从这些特征和真实的眼动数据中深度学习出视觉显著模型。

步骤2：服装分区域建模

基于步骤1已构建的视觉显著模型，预测服装动画图像的视觉显著图，提取出服装区域的关注度，对服装变形进行滤波，并结合摄像机视点运动信息以及物理变形信息，通过设置细节模拟因子对服装进行分区域建模；在此基础上，结合摄像机视点位置和方向对服装区域进行分割，通过设置细节模拟因子控制不同区域的模拟细节程度，保证离视点较远的低关注遮挡区域尽可能平滑，而离视点近的未遮挡区域尽可能保持原有变形。

步骤3：构建视觉感知驱动的自适应服装模型并实现模拟，

采用自适应多精度网格技术实现服装分区域建模，细节模拟因子高的区域进行高精度建模，细节模拟因子较低的区域则进行低精度建模，在此基础上进行动力学计算和碰撞检测，构建视觉逼真的服装动画系统。由于各区域精度不同，因此区域边界容易产生视觉不平滑和伪影。为此，通过设置连续精度改变因子进行变形修正。

本发明的有益效果

(1)构建的服装显著模型能够准确的预测服装动画图像的视觉显著图，从而分析出服装各区域的关注度。

(2)通过对服装的分区域建模，能够保证服装模型视觉效果逼真，同时提高模拟效率。

(3)通过构建视觉感知驱动的自适应服装模型并实现模拟，能够模拟出视觉感知逼真的服装动画。

附图说明

图1为眼动数据处理示意图。

图2为图像视觉显著性模型示意图。

图3为服装分割示意图。

具体实施方式

下面结合附图，对本发明进一步详细说明。

一种基于视觉感知的自适应服装动画建模方法，包含以下步骤：

1.构建符合人眼特性的服装视觉显著模型

1.1眼动数据采集和预处理

本发明采用遥测式眼动仪收集真实眼动数据，人位于屏幕前观看服装动画视频，眼动仪通过捕捉眼球的运动情况分析出人眼视线的运动轨迹和关注点，并由此产生每帧视频的焦点图和热度图。对多位试验者叠加的焦点图进行高斯卷积，得到连续平滑的“groundtruth”显著图(如图1所示)。图中自左至右，分别是原始图像，焦点图，热度图和groundtruth显著图。

1.2运用深度学习方法构建视觉显著性模型

本发明中运用卷积神经网络提取每帧图像的不同层次抽象特征，并从这些特征中训练出视觉显著模型，从而预测动画每帧图像的显著图。模型主要由三个部分组成(如图2所示)。

将一帧图像作为输入，运用卷积神经网络(CNN)提取出底层、中层和高层特征；然后，通过特征权重网络训练出各个特征在视觉显著性预测中的影响权重，并产生临时的视觉显著图；最终，再与一个学习得到的先验显著图通SVM或softmax分类器得到最终的视觉显著性模型。

(1)特征提取网络

该网络架构是一个完全卷积神经网络，共有13层，其获取输入图像并产生特征图。通过VGG-16架构，能够得到每帧图像在不同的神经网络层中的特征表示图。这些特征图在不同的抽象层次映射着图像信息，特征图在神经网络中的层次越高所代表的图像信息越抽象。

(2)特征权重网络

本发明从特征提取网络中选取三层，得到三种不同特征空间的特征图。它们共享相同的空间大小并且连接形成一个多通道张量，随后将其输入到特征权重网络，其保留概率为0.5，以提高泛化能力。然后，卷积层使用3×3的卷积核学习64个显著的指定特征图。最后一个1×1的卷积层学习衡量每个特征图的重要性，从而产生临时的显著性预测图。最终，再与一个学习得到的先验显著图通过SVM或softmax分类器训练得到最终的视觉显著性预测图。

(3)构建视觉显著性模型

提取到图像特征后，作为输入输送到最后的特征权重神经网络用于计算，得到每块图像区域的显著度分数。在每幅图所对应的“ground truth”显著图中，按照显著性从最引人注意的前30％的显著位置中选若干个正样本，标记为1；同样从最不引人注意的后30％的区域里选若干个负样本，标记为-1。以视频的每帧图像和其“ground truth”显著图中的正负样本构成训练样本，通过最小化均方预测误差训练得到最后的结果。

1.3通过交叉验证评价模型的准确性

将特征数据集以及显著图集分割为两个子集，其中一个子集作为训练样本集，另外一个子集作为验证样本集。根据训练样本集学习深度神经网络；然后用测试集进行测试，比较预测值与真实样本值之间的误差，用以评价显著模型学习算法的准确性。

2.服装分区域建模

为了能够模拟出视觉感知逼真的服装动画，本发明将服装变形、服装视觉显著模型、摄像机视点运动轨迹相结合，对服装进行分区域建模。

2.1根据变形分布对服装模型进行区域分割

首先选取人体运动和服装模型，生成服装动画，并根据变形程度对服装进行分割(如图3所示)，颜色越深表示该区域变形越剧烈。

2.2基于显著图对已划分区域进行滤波

为了得到三维服装模型的显著图，需要将三维空间点与二维图像点联系起来的。本发明依据摄像机模型将世界坐标系中的服装顶点映射到二维图像内，以此来确定服装顶点位于图像中的像素位置。由于服装视觉显著模型输入和输出是基于图像的，为了能够确定世界空间中服装各区域的关注度大小，需要依据服装顶点世界空间和图像平面的像素映射，来确定服装各区域关注度大小。根据服装顶点映射到像素坐标的二维显著性确定该服装顶点的显著性，从而形成三维服装模型显著图。

2.3基于摄像机视点轨迹对服装各区域划分结果进行二次滤波

基于摄像机视点信息进行进一步简化。服装模型各个区域由于相对于摄像机的位置和角度不同，人眼会有不同的视觉感知效果。位于摄像机镜头内的服装区域对于人眼感知的影响最大，同时，镜头的远近和角度也能够影响视觉感知效果。本发明考虑了两个可见性标准，在当前摄像机位置不可见的区域，即那些位于摄像机镜头外或者背离摄像机镜头的区域，将其细节模拟因子设置为最低等级。对于可见的区域，控制其可见图元的大小，对于远离摄像机的区域，对其细节模拟因子可适当减小。

为了消除不连续的现象并且得到无伪影的效果，本发明定义了空间和时间上连续的精度改变因子。

(1)空间平滑

本发明对于位于镜头内外边界的面定义了一个连续衰减的视觉因子。对于给定的模型网格，令d作为距离摄像机视锥体的距离。本发明定义了空间平滑视觉因子该因子在指定的边界长度m范围内对网格精度线性插值到v_out：

其中，v_fb是1或者v_back，这是由面法线的方向决定的。因此，在位于摄像机视锥体范围内的面或者v_back和相对视锥体较远的面v_out之间有一个连续的变换区域。

(2)时间平滑

在时间平滑前，可以将视觉因子看成一个时间函数v，该因子考虑到摄像机视点的运动。为了平滑视觉因子v，本发明基于当前模拟时间t，在时间间隔[t,t+T]内对v进行平滑。定义一个时间窗口函数w(τ)，满足w(0)＝1并且当t＝T时减小至0。时间平滑视觉因子是

其中

w(τ)＝1-τ/T

3.构建视觉感知驱动的自适应服装模型并试验模拟

动画计算过程中，首先需要对服装模型各区域进行精度变换，再基于布料动力学模型进行动画计算，以保持服装动画的视觉效果逼真。动画计算流程如下：

(1)预测服装各区域的关注度大小，生成显著图，并将视觉显著图按照显著区域范围进行分区，以此来确定各区域的关注度，按照服装各块区域关注度级别以及原有变形对其进行多精度变换。

(2)基于摄像机视点位置和方向优化多精度服装模型：对于镜头外的区域统一减精到最低等级，对于远离摄像机的服装区域按距离反比修改精度级别，并对其进行时间和空间平滑。

(3)对上述优化后服装模型进行受力计算和动力学方程求解，生成视觉逼真的服装动画。

上述实施例对本发明的技术方案进行了详细说明。显然，本发明并不局限于所描述的实施例。基于本发明中的实施例，熟悉本技术领域的人员还可据此做出多种变化，但任何与本发明等同或相类似的变化都属于本发明保护的范围。

Claims (2)

1.一种基于视觉感知的自适应服装动画建模方法，其特征在于，所述方法包括以下步骤：

步骤1：构建符合人眼特性的服装视觉显著模型，

1.1 眼动数据采集和预处理

采用遥测式眼动仪收集真实眼动数据，人位于屏幕前观看服装动画视频，眼动仪通过捕捉眼球的运动情况分析出人眼视线的运动轨迹和关注点，并由此产生每帧视频的焦点图和热度图；对多位试验者叠加的焦点图进行高斯卷积，得到连续平滑的“ground truth”显著图；

1.2 运用深度学习方法构建视觉显著性模型

运用卷积神经网络提取每帧图像的不同层次抽象特征，并从这些特征中训练出视觉显著模型，从而预测动画每帧图像的显著图,模型主要由三个部分组成；

将一帧图像作为输入，运用卷积神经网络提取出底层、中层和高层特征；然后，通过特征权重网络训练出各个特征在视觉显著性预测中的影响权重，并产生临时的视觉显著图；最终，再与一个学习得到的先验显著图通SVM或softmax分类器得到最终的视觉显著性模型；

(1)特征提取网络

该网络架构是一个完全卷积神经网络，共有13层，其获取输入图像并产生特征图；通过VGG-16架构，能够得到每帧图像在不同的神经网络层中的特征表示图；这些特征图在不同的抽象层次映射着图像信息，特征图在神经网络中的层次越高所代表的图像信息越抽象；

(2)特征权重网络

从特征提取网络中选取三层，得到三种不同特征空间的特征图；它们共享相同的空间大小并且连接形成一个多通道张量，随后将其输入到特征权重网络，其保留概率为0.5，以提高泛化能力；然后，卷积层使用3×3的卷积核学习64个显著的指定特征图；最后一个1×1的卷积层学习衡量每个特征图的重要性，从而产生临时的显著性预测图；最终，再与一个学习得到的先验显著图通过SVM或softmax分类器训练得到最终的视觉显著性预测图；

(3)构建视觉显著性模型

提取到图像特征后，作为输送到最后的特征权重神经网络用于计算，得到每块图像区域的显著度分数；在每幅图所对应的“ground truth”显著图中，按照显著性从最引人注意的前30％的显著位置中选若干个正样本，标记为1；同样从最不引人注意的后30％的区域里选若干个负样本，标记为-1，以视频的每帧图像和其“ground truth”显著图中的正负样本构成训练样本，通过最小化均方预测误差训练得到最后的结果；

1.3 通过交叉验证评价模型的准确性

将特征数据集以及显著图集分割为两个子集，其中一个子集作为训练样本集，另外一个子集作为验证样本集；根据训练样本集学习深度神经网络；然后用测试集进行测试，比较预测值与真实样本值之间的误差，用以评价显著模型学习算法的准确性；

步骤2：服装分区域建模，基于步骤1已构建的视觉显著模型，预测服装动画图像的视觉显著图，提取出服装区域的关注度，对服装变形进行滤波，并结合摄像机视点运动信息以及物理变形信息，通过设置细节模拟因子对服装进行分区域建模；利用其对服装变形进行滤波，使得高关注服装区域保持原有物理逼真的变形，而低关注服装区域变得更为平滑；在此基础上，结合摄像机视点位置和方向对服装区域进行分割，通过设置细节模拟因子控制不同区域的模拟细节程度，保证离视点较远的低关注遮挡区域尽可能平滑，而离视点近的未遮挡区域尽可能保持原有变形；

步骤3：构建视觉感知驱动的自适应服装模型并实现模拟，采用自适应多精度网格技术实现服装分区域建模，细节模拟因子高的区域进行高精度建模，细节模拟因子较低的区域则进行低精度建模，在此基础上进行动力学计算和碰撞检测，构建视觉逼真的服装动画系统。

2.根据权利要求1所述方法，其特征在于，所述步骤2包括以下步骤：

2.1 根据变形分布对服装模型进行区域分割，选取人体运动和服装模型，生成服装动画，并根据变形程度对服装进行分割；

2.2 基于显著图对已划分区域进行滤波，依据摄像机模型将世界坐标系中的服装顶点映射到二维图像内，以此来确定服装顶点位于图像中的像素位置；

2.3 基于摄像机视点轨迹对服装各区域划分结果进行二次滤波，基于摄像机视点信息进行进一步简化，在当前摄像机位置不可见的区域，将其细节模拟因子设置为最低等级；对于可见的区域，控制其可见图元的大小，对于远离摄像机的区域，对其细节模拟因子适当减小。