CN105931283B - 一种基于动作捕捉大数据的三维数字内容智能制作云平台 - Google Patents

Abstract

本发明公开的一种基于动作捕捉大数据的三维数字内容智能制作云平台，包括三维数据采集单元、三维数据云存储单元和三维数字内容云计算单元。所述三维数据采集单元用于采集数据，所述三维数据云存储单元用来在云端存储和读取三维数据；所述三维数字内容云计算单元通过云端服务器并行计算处理器智能生成所需的三维数字内容。该平台具有优异的兼容性，对三维模型数据与三维动作数据匹配速度快、精确度高，能够适应任何形式的三维动作捕捉系统，降低了三维数字内容制作门槛，用户可充分调用客户端模块，在网页和APP中使用该技术获得同样高质的三维数字内容和同等的用户体验。

Description

一种基于动作捕捉大数据的三维数字内容智能制作云平台

技术领域

本发明属涉及三维数字内容智能制作技术领域，特别是一种基于动作捕捉大数据的三维数字内容智能制作云平台。

背景技术

随着计算机技术的迅猛发展，以及人们对生活品质的更高追求，更多的三维数字产品走入了人们日常生活。在娱乐产业，高科技的三维动画影视及电影特技制作越来越得到人们的喜爱和市场的追捧，每年全球在三维动画产业的投入达到数百亿美元。同时，在虚拟现实、增强现实、裸眼三维等技术应用中，人们对三维数字内容的要求越来越多。可是，三维数字内容制作必须由专业人员通过专业设备、专业软件来手工制作，费时、费力、成本高。在影视拍摄制作中，三维数字内容计算机三维制作所占的比例越来越大。现在动画影视大都是利用计算机动画软件，直接在计算机上手工制作出来的。对于一部长达1小时的动画片，则需要手工绘制近十万张图片，需要大量的人力，时间以及资金的投入，而且由于动作是手工绘制的，在视觉上依然给人以“动画”的感觉，缺乏人物动作的真实和自然性。2009年奥斯卡获奖影片《阿凡达》的成功上映在电影制片史上具有划时代的意义，在《阿凡达》电影中大量使用先进的三维动作捕捉技术，通过将真人表演的动作和表情准确地匹配到动画角色中，开创了动画电影制作一个新的里程，从根本上改变了现有的影视动画制作乃至特技制作方法,大大增加电影中人物动作的真实性，增加了视觉的观赏性，给世界观众带来了一个全新的感觉和享受。也取得了巨大的商业成功，成为世界电影史上第一个票房价值超出20亿美元电影巨作。目前在国外电影大片制作中，基于动作捕捉的三维数字内容制作已被广泛使用。

智能制作是实现普通民众制作三维数字内容的有效途径，智能制作三维数字内容需要采集三维数据形成三维云端数据库，并采用计算机系统智能生成三维数字内容。

在动作捕捉上，目前有机械式、声学式、电磁式、光学式等几类方法，光学式运动捕捉无电缆、机械装置的限制，可以容许表演者较大的活动范围，采样数率高和精度高，可以满足高速运动高精度测量的需要， 因而具有较多的优势。但是物体在连续不断的变化的情况下，可能会产生混淆、遮挡的目标点，这也是目前光学式运动捕捉相比其他方法所有的缺陷，需要人工进行修正。

在三维动作数据库上，目前只有包括卡内基梅隆大学少数几个动作数据库，所储存的动作数据不仅数量少，动作简单，而且仅按动作进行分类，只能用于研究，很难直接用于商业动画制作。

目前在三维数字内容领域标杆软件系统是国外的Autodesk的MotionBuilder，使用上述软件时，需要将表演者的骨骼和角色骨骼进行人工匹配，同时Motionbuilder需要采用Autodesk公司自身定义的标准的人体骨骼架构，对于众多与Motionbuilder所定义的人体骨骼架构不同动画角色，Motionbuilder则无法进行人体动作匹配和动作驱动。在动作匹配和动作驱动中，一个普遍存在的问题是动作“穿帮”和“滑步”。当演员在进行手脚贴身动作表演时，由于人体形状和动漫角色的形体上常常有很大的不同，在动作匹配时，角色的手脚会插入到身体某些部位，也会产生动画角色的脚步不能正确地踩在地面上而出现“滑步”的现象。

发明内容

本发明要解决的问题是提供一种基于动作捕捉大数据的三维数字内容智能制作云平台，该平台采集数据时克服了传统光学式运动捕捉混淆、遮挡目标点的缺陷，打造云端数据库，并且智能制作的三维内容匹配精确，因此降低了三维数字内容制作门槛，让广大普通民众使用普通计算机或无线移动设备等工具通过互联网方便、简单、经济地进行三维数字内容制作，实现大众创意、万众制作三维数字内容。

本发明的基于动作捕捉大数据的三维数字内容智能制作云平台，包括三维数据采集单元、三维数据云存储单元和三维数据云计算单元。所述三维数据采集单元用于采集数据，所述三维数据云存储单元用来在云端存储和读取三维数据；所述三维数据云计算单元通过云端服务器并行计算处理器智能生成所需的三维数字内容。

所述三维数据采集单元包括三维对象（包括人体、动物、物体等等）三维对象（包括人体、动物、物体等等）采集子单元、三维动作采集子单元、三维模型场景重构子单元。所述三维对象（包括人体、动物、物体等等）采集子单元除了采用常用激光扫描和多二维相机进行对象扫描/拍摄后重建三维模型，也包括三维深度摄像模块，采用多个三维深度摄像机快速同步准确地扫描对象（包括人体、动物、物体等等）全身并进行三维对象（包括人体、动物、物体等等）模型构建和人体肤色提取，一般可在1秒钟内完成。所述三维动作采集子单元通过三维动作捕捉设备进行实时动作数据采集。同时根据前后帧图像所拥有的信息及运动轨迹预测，对混淆、遮挡的目标点采用多帧分析的方法自动矫正，对于光标点的跳动，则采用信号平滑算法自动对数据进行平滑处理，消除抖动，以保证动作数据的质量。三维模型场景重构子单元用于对场景重构，一般采用Maya或三维Max等制作软件手工制作或采用携带三维深度摄像模块的无人机对场景进行快速扫描和重构。采用单元迁移模块，用于向开发者提供现有单元中各种数据源数据导入功能，实现对现有单元迁移到云存储上。

所述三维数据云存储单元用来在云端存储和读取三维数据，主要包含有三维对象（包括人体、动物、物体等等）模型数据库、动作数据库和三维场景数据库。其中三维动作数据库中基本覆盖日常人们见到的人物动作和特殊的表演动作（如武术、戏曲表演、中国舞蹈等）。所述动作数据库具有树状结构，用于存储不同类型的动作。除了按照不同的动作形式（走、跑、跳、转等）进行检索，还根据人体的骨骼关节分类及人体面部五官所捕捉的动作轨迹进一步分层细化分类并存放在相应的树状结构下，同时，提取三维物体及动作轨迹的一些特征值，如物体的几何参数和形状、空间运动位置等，以提高动作检索及形状匹配的速度和精度。此外，通过选取不同对象（包括人、物体，动物等）的不同的关节动作进行重新组合可以产生新的动作。三维对象（包括人体、动物、物体等等）模型数据库和三维场景数据库也分门别类进行保存。为了对海量三维数据进行检索和访问，所述三维数据云存储单元还包括基于三维形状的快速三维数据搜索引擎，为用户寻找所需要的三维模型或动作或场景提供方便。

所述三维数据云计算单元以动作捕捉数据智能处理、自动实时动作匹配和动作驱动MotionMagic核心技术为基础，通过云端服务器并行计算处理器智能生成所需的三维数字内容。三维数据云计算单元根据所需场景的人物动作的设计，将对象模型与动作进行相应的匹配，自动生成所需要的三维动画图像序列。用户在客户终端（比如计算机或手机等无线设备）通过选择云端对象（包括人体、动物、物体等等）模型库里的三维模型，然后从云端动作数据库里选用所需的动作，再从三维场景/背景数据库里配以相应的场景，云服务器就可智能生成用户所需的三维数字内容。MotionMagic系统使得三维数字内容的手工制作变成了自动实时智能制作，使得以此为核心的三维数字内容制作云平台的搭建成为可能，以便让普通用户都能进行三维数字内容创意设计和制作。通过此三维数字内容智能制作云平台，每个普通用户可以制作个性化的微动漫，也可把自己的三维模型和动作融合到虚拟游戏中，还可以和保存在云动作数据库的名家、名师的动作来进行武术、舞蹈等教学和培训（动作“卡拉OK”）。

基于动作捕捉大数据的三维数字内容智能制作云平台还包括：

管理平台模块，用于在云服务管理平台上提供账户管理、软件管理、监控管理、系统参数管理、使用策略管理、安全管理，以方便开发者对应用程序进行实时监控和管理。

实时监视模块，用于在云端实时监视接入进来的每一用户的状态(使用的软件、使用的硬件等)

本发明的基于动作捕捉大数据的三维数字内容智能制作云平台，该平台具有优异的兼容性，对三维特征匹配速度快、精确度高，能够适应任何形式的三维动作捕捉系统，降低了三维数字内容制作门槛，用户可充分调用客户端模块，在网页和APP中使用该技术获得同等的用户体验。

附图说明

图1为本发明三维数字内容智能制作云平台的框图；

图2为使用本发明制作云平台制作三维数字内容流程示意图。

具体实施方式

下面结合附图，对本发明提出的一种基于动作捕捉大数据的三维数字内容智能制作云平台进行详细说明。

本发明的基于动作捕捉大数据的三维数字内容智能制作云平台，包括三维数据采集单元、三维数据云存储单元和三维数据云计算单元。三维数据采集单元用于采集数据，三维数据云存储单元用来在云端存储和读取三维数据；三维数据云计算单元通过云端服务器并行计算处理器智能生成所需的三维数字内容。

三维数据采集单元包括三维对象采集子单元、三维动作采集子单元、三维模型场景重构子单元；三维对象采集子单元除了采用常用激光扫描和多二维相机进行对象扫描/拍摄后重建三维模型，也包括三维深度摄像模块对三维对象进行快速精准扫描和三维模型构建；三维动作采集子单元通过三维动作捕捉设备进行实时动作数据采集。同时根据前后帧图像所拥有的信息及运动轨迹预测，对混淆、遮挡的目标点采用多帧分析的方法自动矫正，对于光标点的跳动，则采用信号平滑算法自动对数据进行平滑处理，消除抖动，提高动作数据质量；三维模型背景重构子单元采用携带三维深度摄像模块的无人机对场景进行快速扫描和三维场景快速扫描和重构。三维数据采集单元还包括单元迁移模块，用于向开发者提供现有单元中各种数据源数据导入功能，实现将现有单元迁移到云存储上。

三维数据云存储单元包括三维对象模型数据库、动作数据库和三维场景数据库。动作数据库具有树状结构，用于存储不同类型的动作，分类标准包括按照不同的动作形式分类、根据人体的骨骼关节分类及人体面部五官所捕捉的动作轨迹分类。三维数据云存储单元还用于提取三维物体及动作轨迹的特征值，选取不同对象的不同关节动作进行重新组合产生新的动作。三维数据云存储单元还包括基于三维形状的快速三维数据搜索引擎。

三维数据云计算单元以动作捕捉数据智能处理、自动实时动作匹配和动作驱动MotionMagic 核心技术为基础，通过云端服务器并行计算处理器智能生成所需的三维数字内容；三维数据云计算单元根据所需场景的人物动作的设计，将人物模型与动作进行相应的匹配，自动生成所需要的三维动画图像序列。

上述基于动作捕捉大数据的三维数字内容智能制作云平台，其特征在于，还包括：

管理平台模块，用于在云服务管理平台上提供账户管理、软件管理、监控管理、系统参数管理、使用策略管理、安全管理。

实时监视模块，用于在云端实时监视接入进来的每一用户的状态。

对于普通使用用户端（比如计算机或手机等无线设备）的用户制作三维数字内容而言，主要用到该云平台三维数据云存储、三维数据云计算两部分，假设用户准备在云平台制作足球运动员在竞技状态下的视频，首先通过基于三维形状的快速三维数据搜索引擎在三维数据云存储中寻找所需要的三维人体模型，即足球运动员模型、三维背景/场景即足球场（含球门）、动作/表情即准备传球，云计算模块通过自动动作匹配和动作驱动，智能生成用户所需的三维数字内容。，

而对于专业使用该云平台从事特定动画制作的用户而言，在三维数据云存储暂未存储特定模型的情况下，首先需要对三维人体模型扫描和三维动画建模，三维人体模型扫描采用多个三维深度摄像设备，可在1秒内快速准确地扫描人体全身并进行三维人体模型构建和人体肤色提取。三维动画建模也可通过动画师用Maya或三维Max等动画制作软件完成动画及游戏中的角色建模，并将角色模型输入到MotionMagic， MotionMagic的动画角色分析模块对三维角色模型的表面几何面片进行分析处理，提取所需的角色骨骼信息，并自动计算骨骼节点之间的几何面片与所附着骨骼节点的运动权重以及骨骼的几何特征值（大小、位置、轴向等），并将这些信息保存在骨骼树状机构中，以增加实时动作捕捉的匹配速度和准确性。匹配后的数据在用户允许后，补充到三维数据云存储中的三维对象（包括人体、动物、物体等等）模型数据库中。云计算模块可通过自动动作匹配和动作驱动，智能生成用户所需的三维数字内容，并将产生的角色动作序列输出到fbx文件中,。此文件可以直接导入到AutoDesk公司的Motionbuilder中进行二次编辑和处理，也可直接导入到Maya或三维Max中进行编辑和动画后期渲染处理，与目前动画制作无缝衔接。 同时为了支持二维动画的制作，系统也支持将屏幕显示内容以二维图像格式（.jpg, .png等）或以视频方式（.avi,.mp4等）直接输出。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (8)

1.一种基于动作捕捉大数据的三维数字内容智能制作云平台，其特征在于，包括三维数据采集单元、三维数据云存储单元和三维数据云计算单元 ；所述三维数据采集单元用于采集数据，所述三维数据云存储单元用来在云端存储和读取三维数据；所述三维数据云计算单元通过云端服务器并行计算处理器智能生成所需的三维数字内容；

所述三维数据云计算单元以动作捕捉数据智能处理、自动实时动作匹配和动作驱动MotionMagic 核心技术为基础，通过云端服务器并行计算处理器智能生成所需的三维数字内容；三维数据云计算单元根据所需场景的人物动作的设计，进行相应的匹配，自动生成所需要的三维动画图像序列，具体过程为:

将角色模型输入到MotionMagic， MotionMagic的动画角色分析模块对三维角色模型的表面几何面片进行分析处理，提取所需的角色骨骼信息，并自动计算骨骼节点之间的几何面片与所附着骨骼节点的运动权重以及骨骼的几何特征值，并将这些信息保存在骨骼树状机构中，以增加实时动作捕捉的匹配速度和准确性；

匹配后的数据在用户允许后，补充到三维数据云存储中的三维对象模型数据库中；

三维数据云计算单元可通过自动动作匹配和动作驱动，智能生成用户所需的三维数字内容，并将产生的角色动作序列输出到fbx文件中。

2.根据权利要求1所述的基于动作捕捉大数据的三维数字内容智能制作云平台，其特征在于，所述三维数据采集单元包括 三维对象采集子单元、三维动作采集子单元、三维模型场景重构子单元；所述三维对象采集子单元包括三维深度摄像模块；所述三维动作采集子单元用于根据前后帧图像所拥有的信息及运动轨迹预测，对混淆、遮挡的目标点采用多帧分析的方法自动矫正 ，对于光标点的跳动，则采用信号平滑算法自动对数据进行平滑处理，消除抖动；所述三维模型场景重构子单元用于对三维场景重构。

3.根据权利要求2所述的基于动作捕捉大数据的三维数字内容智能制作云平台，其特征在于，所述三维数据采集单元还包括单元迁移模块，用于向开发者提供现有单元中各种数据源数据导入功能，实现将现有单元迁移到云存储上。

4.根据权利要求1所述的基于动作捕捉大数据的三维数字内容智能制作云平台，其特征在于，所述三维数据云存储单元包括三维对象模型数据库、动作数据库和三维场景数据库。

5.根据权利要求4所述的基于动作捕捉大数据的三维数字内容智能制作云平台，其特征在于，所述动作数据库具有树状结构，用于存储不同类型的动作，分类标准包括按照不同的动作形式分类、根据人体的骨骼关节分类及人体面部五官所捕捉的动作轨迹分类。

6.根据权利要求4所述的基于动作捕捉大数据的三维数字内容智能制作云平台，其特征在于，所述三维数据云存储单元用于提取三维物体及动作轨迹的特征值，通过选取不同主体的不同的关节动作进行重新组合产生新的动作。

7.根据权利要求4所述的基于动作捕捉大数据的三维数字内容智能制作云平台，其特征在于，所述三维数据云存储单元还包括基于三维几何形状的快速三维数据搜索引擎。

8.根据权利要求1所述的基于动作捕捉大数据的三维数字内容智能制作云平台，其特征在于，还包括：

管理平台模块，用于在云服务管理平台上提供账户管理、软件管理、监控管理、系统参数管理、使用策略管理、安全管理；

实时监视模块，用于在云端实时监视接入进来的每一用户的状态。