CN109920035A

CN109920035A - 一种基于移动设备增强现实的动态特效合成方法

Info

Publication number: CN109920035A
Application number: CN201910053211.4A
Authority: CN
Inventors: 朱利丰; 刘希婧
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2019-06-21
Anticipated expiration: 2039-01-21
Also published as: CN109920035B

Abstract

本发明公开了一种基于移动设备增强现实的动态特效合成方法，对真实世界中的图像标记进行操作交互，将图像标记转化为虚拟世界中的元素及速度场，并进行了合成运动等操作，生成动态特效并叠加绘制至移动设备显示屏上。本发明允许用户在增强现实环境里直接对图像或物体标记进行移动操作，以实时地生成与场景视频一致的三维动态特效，无需离线后期处理，大大提高动态特效合成效率；允许用户以控制动态速度场的方式间接地控制虚拟元素的运动，相比直接控制虚拟元素的位置，用户可以对动态特效中元素的运动模式进行更灵活的编辑，除了改变位置外还能产生虚拟元素的朝向运动。

Description

一种基于移动设备增强现实的动态特效合成方法

技术领域

本发明涉及增强现实技术领域，尤其是一种在移动设备上的增强现实中合成动态特效的交互与计算方法。

背景技术

动态特效是视频特效的一种，可以为视频添加诸如泡沫、飘叶、颗粒等不同的视觉效果。传统的视频动态特效合成大多是离线生成的，通过对录制好的视频进行单元划分跟踪，再将调整渲染好的来自粒子系统或物理仿真的特效视频进行逐帧调整叠加至原始视频上，此类方法必须离线进行且比较耗时耗人力。近年也出现了一些基于草绘界面的动态特效合成方法，此类方法多用于二维情形，直接将草绘界面推广到三维场景中仍然需要大量的交互。现有移动设备增强现实中的动态特效一般先使用专业动画软件事先制作好含动态效果的场景，再将场景绑定到增强现实跟踪的标记上，可以控制事先生成好的场景的位置，但此类方案只能控制动态特效的整体位置，无法对动态特效进行灵活的局部控制。

发明内容

发明目的：为了解决现有技术存在的问题，实现交互式三维动态特效在线实时的合成及控制，提高动态特效的合成效率，本发明提供一种基于移动设备增强现实的动态特效合成方法。

技术方案：一种基于移动设备增强现实的动态特效合成方法，包括以下步骤：

(1)引入图像标记，图像标记包括控制标记和发射标记，控制标记指用于控制动态特效运动特性的图像标记，发射标记指用于产生动态特效中虚拟元素的图像标记；

(2)对控制标记跟踪，将所跟踪的控制标记的图像位置信息映射成单元速度场，每个控制标记对应为虚拟世界中的一个单元速度场；将单元速度场注册到增强现实系统中，并将所有的单元速度场合成为全局的动态速度场；

对发射标记跟踪，在所跟踪的发射标记上随机生成虚拟元素，通过调整发射标记的姿态控制虚拟元素的生成位置；

(3)通过动态速度场控制虚拟元素的运动；

(4)获得运动的虚拟元素后，调用移动设备增强现实的显示模块，将运动的虚拟元素与拍摄到的真实场景叠加绘制在移动设备显示屏上，形成增强现实效果。

进一步的，步骤(2)中，将所跟踪的第i个控制标记的图像平面位置信息I_i＝(o_i,n_i,l_i,m_i)映射成单元速度场v_i，其中o_i为所跟踪的控制标记的中心位置，n_i为所跟踪控制标记的图像的平面法向量，l_i、m_i分别为图像平面矩形的长向量和宽向量。

进一步的，步骤(2)中，单元速度场为源速度场、吸收速度场、涡流速度场、均匀速度场中的一种或几种。

进一步的，步骤(2)中，在动态速度场中，将空间任一点p的速度定义为：

其中v_i(p)为p点在第i个单元速度场下的速度值，w_i(p)为p点处第i个单元速度场的影响权重。

进一步的，所有的单元速度场的影响权重均设置为1。

进一步的，单元速度场的影响权重与点p到中心位置o_i的距离成反比。

进一步的，步骤(2)中，将一个发射标记同时绑定一个单元速度场。

进一步的，步骤(3)通过动态速度场控制虚拟元素的运动的方法为：若虚拟元素为一个粒子，使用显示欧拉积分或四阶龙格库塔法，将动态速度场中的虚拟元素进行位置积分，获得运动的虚拟元素。

进一步的，步骤(3)结合动态速度场控制虚拟元素的运动的方法为：若虚拟元素为一个实体模型，计算实体模型的惯性张量I；使用惯性坐标系同惯性张量椭球的交点作为实体模型的采样点；根据各采样点处在动态速度场中的速度计算各采样点处的角动量并求和获得实体模型的近似角动量L；求解实体模型角速度ω＝I^-1L；获得角速度后，对实体模型角速度进行显示欧拉积分，获得模型在动态速度场下的朝向。

进一步的，步骤(2)中，控制标记的图像平面位置通过调用ARKit、ARCore或ARToolKit增强现实平台中的图像跟踪函数获得。

本发明提出了一种基于移动设备增强现实的动态特效合成方法，存在以下优点：1、允许用户在增强现实环境里直接对图像或物体标记进行移动操作，以实时地生成与场景视频一致的三维动态特效，无需离线后期处理，大大提高动态特效合成效率；

2、允许用户以控制动态速度场的方式间接地控制虚拟元素的运动，相比直接控制虚拟元素的位置，用户可以对动态特效中元素的运动模式进行更灵活的编辑，除了改变位置外还能产生虚拟元素的朝向运动。

附图说明

图1为本发明的系统流程示意图；

图2(a)为本发明的图像标记生成示意图；

图2(b)为源速度场的生成示意图；

图2(c)为涡流速度场的生成示意图；

图2(d)为均匀速度场的生成示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

基于移动设备增强现实的动态特效合成方法包括以下步骤：

(1)首先引入图像标记的概念，图像标记包括控制标记和发射标记，控制标记指用于控制动态特效运动特性的图像标记，发射标记指用于产生动态特效中虚拟元素的图像标记。

(2)如图1所示，用户对真实世界中的图像标记进行操作交互，增强现实系统将图像标记转化为虚拟世界中的虚拟元素及单元速度场，具体包括以下步骤：

(a)通过单元速度场交互控制模块实现单元速度场的生成。如图1右侧，对真实世界的控制标记进行操作交互，调用诸如ARKit或、ARCore或ARToolKit等增强现实平台中的图像跟踪函数获得控制标记的图像平面位置信息。每个控制标记对应为虚拟世界中的一个单元速度场，即将第i个控制标记的图像平面位置信息I_i＝(o_i,n_i,l_i,m_i)映射成单元速度场v_i，其中o_i为所跟踪的控制标记的中心位置，n_i为所跟踪控制标记的图像的平面法向量，l_i、m_i分别为图像平面矩形的长向量和宽向量。

图2给出了由控制标记的图像平面位置信息生成单元速度场的一些映射示例。图2(a)为控制标记的图像平面位置信息，图2(b)所示，为根据图像平面位置信息生成的源速度场v_i ^(source)(p)，将源速度场的速度方向进行反转即为吸收速度场；图2(c)给出了涡流速度场的计算示意；图2(d)为均匀速度场的定义。此四类速度场也可用以下计算公式描述：

实施中，我们也可以将以上单元速度场进行加权组合，以对应于某个图像标记，如v_i(p)＝0.5*v_i ^(source)(p)+0.5*v_i ^(uniform)(p)；我们也可以定义均匀速度场的方向为控制标记的法向，v_i ^(uniform)(p)＝n_i。不限于以上常见的单元速度场，任何可将图像平面位置信息I_i唯一映射到的速度场定义，都可以作为控制标记对应的单元速度场，用户可以根据需要给增强现实系统注册这些对应信息。

(b)通过动态速度场生成模块将单元速度场v_i合成为一个全局的动态速度场v。如图1右侧所示，用户移动控制标记获得运动着的单元速度场，进而合成出动态的速度场。使用带权加和的方式进行计算，空间任意一点p处的速度定义为:

其中v_i(p)为p点在第i个单元速度场下的速度值，w_i(p)为该点处第i个单元速度场的影响权重。此权重可以均匀设置为1，使得各个单元速度场的控制强度一样；也可以定义为归一化后的p到o_i的距离的反比，使得p点受到距离它更近的单元速度场的影响更大。由于各个单元速度场是随时间变化的图像位置信息的函数，所合成出的速度场也是一个动态的速度场。

(c)将一些图像标记注册为虚拟元素发射标记，通过虚拟元素生成模块在所跟踪的发射标记上随机生成一定数量的虚拟元素，此类虚拟元素将在动态速度场的影响下产生运动，形成动态特效。同时，虚拟元素的形状、生命期、产生频率等其他属性也在注册阶段定义。所生成的虚拟元素可以在所标记的图像位置I_i处出现，也可以用户定义函数X(I_i)确定虚拟元素产生的位置。用户通过调整此类图像标记的姿态以控制虚拟元素的生成位置。一个控制虚拟元素生成的发射标记也可以同时绑定一个单位速度场控制模块，以达成生成虚拟元素的同时使之产生运动的效果。使用将发射标记绑定源速度场或沿着图像标记法向的均匀速度场，或是这两种速度场的加权平均可以取得更好的视觉效果。

(3)如图1所示，在虚拟世界虚拟元素运动模块结合动态速度场产生虚拟元素的运动。此模块中，若虚拟元素为一个粒子，使用显示欧拉积分或四阶龙格库塔法，将速度场中的元素进行位置积分，以获得运动的虚拟元素。若虚拟元素为一个实体模型，还可以对模型的朝向进行运动，使用一个简化的刚体运动模型，首先计算实体模型的惯性张量I，使用惯性坐标系同惯性张量椭球的交点作为模型的采样点，之后根据各采样点处在动态速度场中的速度计算其角动量并求和获得模型的近似角动量L，进而求解出模型角速度ω＝I^-1L。获得角速度后，对模型角速度进行显示欧拉积分获得模型在动态速度场下的朝向。从整个流程上看，用户通过与真实世界中的图像或物体标记进行交互，通过移动这些标记控制动态特效。由于本实施例中的动态速度场及虚拟元素生成均在3D空间中进行，所获取的动态特效也为三维的动态特效。

(4)获得运动的虚拟元素后，通过增强现实合成效果模块调用移动设备增强现实的显示模块，如图1左下角，将运动的虚拟元素与拍摄到的真实场景叠加绘制在移动设备显示屏上，形成增强现实效果。实施例中，可以调用诸如ARKit、ARCore或ARToolKit等增强现实平台中的渲染函数将运动的虚拟元素绘制叠加到移动设备的摄像头获取的真实场景视频中，以获得含动态特效的增强现实效果。

通过录制与真实世界交互的增强显示效果，无需后期的视频处理，直接获得叠加在视频上，与视频中标记操作位置一致的动态特效。

Claims

1.一种基于移动设备增强现实的动态特效合成方法，其特征在于，包括以下步骤：

(3)通过动态速度场控制虚拟元素的运动；

2.根据权利要求1所述的基于移动设备增强现实的动态特效合成方法，其特征在于，步骤(2)中，将所跟踪的第i个控制标记的图像平面位置信息I_i＝(o_i,n_i,l_i,m_i)映射成单元速度场v_i，其中o_i为所跟踪的控制标记的中心位置，n_i为所跟踪控制标记的图像的平面法向量，l_i、m_i分别为图像平面矩形的长向量和宽向量。

3.根据权利要求1所述的基于移动设备增强现实的动态特效合成方法，其特征在于，步骤(2)中，单元速度场为源速度场、吸收速度场、涡流速度场、均匀速度场中的一种或几种。

4.根据权利要求1所述的基于移动设备增强现实的动态特效合成方法，其特征在于，步骤(2)中，在动态速度场中，将空间任一点p的速度定义为：

5.根据权利要求4所述的基于移动设备增强现实的动态特效合成方法，其特征在于，所有的单元速度场的影响权重均设置为1。

6.根据权利要求4所述的基于移动设备增强现实的动态特效合成方法，其特征在于，单元速度场的影响权重与点p到中心位置o_i的距离成反比。

7.根据权利要求1所述的基于移动设备增强现实的动态特效合成方法，其特征在于，步骤(2)中，将一个发射标记同时绑定一个单元速度场。

8.根据权利要求1所述的基于移动设备增强现实的动态特效合成方法，其特征在于，步骤(3)通过动态速度场控制虚拟元素的运动的方法为：若虚拟元素为一个粒子，使用显示欧拉积分或四阶龙格库塔法，将动态速度场中的虚拟元素进行位置积分，获得运动的虚拟元素。

9.根据权利要求1所述的基于移动设备增强现实的动态特效合成方法，其特征在于，步骤(3)结合动态速度场控制虚拟元素的运动的方法为：若虚拟元素为一个实体模型，计算实体模型的惯性张量I；使用惯性坐标系同惯性张量椭球的交点作为实体模型的采样点；根据各采样点处在动态速度场中的速度计算各采样点处的角动量并求和获得实体模型的近似角动量L；求解实体模型角速度ω＝I^-1L；获得角速度后，对实体模型角速度进行显示欧拉积分，获得模型在动态速度场下的朝向。

10.根据权利要求1所述的基于移动设备增强现实的动态特效合成方法，其特征在于，步骤(2)中，控制标记的图像平面位置通过调用ARKit、ARCore或ARToolKit增强现实平台中的图像跟踪函数获得。