CN112802192B - 一种可实时交互的三维图形图像播放器 - Google Patents

Abstract

本发明提供一种可实时交互的三维图形图像播放器，包括素材管理模块、渲染控制模块、交互控制模块和显示控制模块；此外，所述素材管理模块还包括属性解析模块，对素材、硬件环境以及运行平台等进行分类解析；所述可实时交互的三维图形图像播放器通过智能引擎匹配技术，可对不同格式、类型的三维图形图像匹配不同引擎进行渲染，实现三维图形图像的导入、渲染引擎智能匹配、加载、预览、交互等全流程能力；同时，支持独有的具备可交互能力的三维图形图像的预览、点击、效果呈现等交互体验。

Description

一种可实时交互的三维图形图像播放器

技术领域

本发明涉及三维图形图像实时处理以及视频播放技术领域，具体涉及一种可实时交互的三维图形图像播放器。

背景技术

随着图形图像以及虚拟现实技术的不断进步，三维数据可视化的需求日益提高，需要进行三维建模的场景也越来越多，很多行业和用户都会有三维场景或三维模型的交易及使用需求，而市面上存在着众多的三维渲染引擎，各家引擎在渲染能力、封装方式、支持环境等方面都不尽相同，用户很难通过一个统一的平台对不同引擎渲染的模型、场景进行预览以及交互，这就给用户在选择购买模型和场景时带来到了困难。

在现有的使用场景中，在网页上浏览三维模型或场景时，只能通过截图、视频等方式进行浏览，部分使用WebGL的平台可以在网页端进行模型的呈现，例如，专利申请201710388818.9公开了一种基于网络平台的在线视频播放器，提供一种基于网络平台的在线视频播放器，可通过在线编辑后上传编辑数据，达到和使用AE等视频编辑软件的一样的合成视频效果，可极大加快合成视频的过程。但是该专利主要克服的是技术缺陷是：在线视频领域，教学或者指导内容的视频附带图片内容，是需要将图片(比如乐谱)后期通过视频编辑软件加工(比如AE等视频编辑软件)到视频内容中，然后在发布到网上，就可以观看视频内容和图片同步效果的影片，此过程非常的繁琐和麻烦。该专利申请的在线视频播放器使用的呈现方式或者播放器也全都是使用传统的显示技术，在其显示界面对图形图像或者三维模型进行简单的显示，而无法实现在浏览时进行360度的预览和缩放，更无法实现在对图形图像或者三维模型进行预览的同时，在其内部进行实时的交互操作，因此，用户只能通过不是很直观的方式预览模型或场景以及交互方式，无法在购买之前充分了解到所选模型或场景的真实情况，容易造成误判断及经济损失。

另外，目前行业内针对不同三维模型制作软件以及模型的呈现效果，需要使用不同的引擎对模型进行渲染和预览。绝大多数的三维模型网站或内容提供方，只能提供截图、视频形式的三维模型预览，少数提供了基于WebGL的网页端三维模型预览功能工具，但也仅限于拖拽、旋转、缩放等操作。对于一些特有的具备节点特效的三维模型，到目前为止，行业市场中还没有任何一款三维模型播放器支持对其进行渲染、预览和交互的能力。

发明内容

针对上面提到的技术问题，本发明提供一种可实时交互的三维图形图像播放器，目的在于通过智能引擎匹配技术，对不同格式、类型的三维图形图像匹配不同引擎进行渲染，实现三维图形图像的导入、渲染引擎智能匹配、加载、预览、交互等全流程能力；同时，支持一些独有的具备可交互能力的三维图形图像的预览、点击、效果呈现等交互体验。

本发明提供一种可实时交互的三维图形图像播放器，其包括：素材管理模块、渲染控制模块、交互控制模块和显示控制模块，其中：

所述素材管理模块，其与所述渲染控制模块相连，用于将本地素材通过调用本地文件管理器，对本地符合要求的素材进行单个或批量导入到所述渲染控制模块；或者对于网络素材，通过输入素材的下载地址(CDN地址)，先对素材进行下载，再导入所述渲染控制模块；

所述渲染控制模块，其分别与所述素材管理模块和交互控制模块相连，用于管理调用渲染引擎，对所述素材管理模块导入的素材和经交互控制模块实施交互操作后的素材进行实时渲染操作，再将渲染后的素材输出至所述交互控制模块；

所述交互控制模块，其分别与所述渲染控制模块和所述显示控制模块相连，用于接收交互指令，控制对来自渲染控制模块的渲染后的素材进行交互操作，如果无需进行交互操作，则将渲染后的素材输出至所述显示控制模块；

所述显示控制模块，其与所述交互控制模块相连，用于将渲染后的素材进行加载、展示和预览。

此外，本发明的所述素材管理模块还包括属性解析模块，该模块用于对导入素材、硬件环境以及运行平台进行分类解析，生成与导入素材相对应的属性标签，并与导入的素材一起封装素材文件，所述素材文件始终具有所述属性标签。

所述属性标签包括基础特征部分和扩展特征部分，其中，所述基础特征部分包括至少5基本特征字段，分别是素材的文件格式、素材的复杂度、素材的应用场景、硬件环境和平台类型；所述扩展特征部分字段用于功能扩展。

可选择地，所述渲染控制模块还可以包括渲染引擎调度管理模块，用于对渲染引擎进行管理和调度，完成单个渲染引擎对所述素材文件的独立渲染和多个渲染引擎对所述素材文件并行批量渲染。

所述渲染引擎调度管理模块基于所述属性标签执行渲染引擎调度方法，对多个本地或云端渲染引擎进行管理和调用，所述渲染引擎调度方法包括下述步骤：

提取属性标签，从所述素材文件中提取所述属性标签；

解析素材属性，读取所述属性标签中的字段数据，并对所述字段数据进行逻辑运算，得到素材属性数据；

确定渲染引擎调度方案，根据所述素材属性数据，生成渲染引擎调用指令标签；

调用渲染引擎，根据所述渲染引擎调用指令标签，组织对单个或多个渲染引擎进行调用，实施对所述素材文件的渲染操作。

其中，所述素材复杂度主要与素材中的模型点线面数量、模型材质纹理信息、模型中物件数量以及物件渲染精度相关。

基于本发明的应用场景，所述交互控制模块主要可进行三类基础交互操作：

第一类交互操作，控制对场景界面进行交互操作；

第二类交互操作，控制对场景中的部分公共属性进行交互操作；

第三类交互操作，控制对场景中包含的节点进行交互操作。

针对上述基础交互操作，所述交互控制模块执行通用的主交互控制方法进行交互操作，具体步骤为：

确定交互操作类型，接收并分析交互指令，确定基础交互操作的类型；

执行交互操作，根据确定的交互操作的类型，对所述渲染控制模块渲染后的所述素材文件进行相应的交互操作，生成交互操作后素材；

修改属性标签，根据执行的交互操作，对交互操作后素材文件的属性标签进行修改，生成新属性标签；

输出交互操作结果，将交互操作后素材文件输出至所述渲染控制模块进行渲染。

另外，针对于上述第三类交互操作，本发明提出一种子交互控制方法，具体步骤为：

三维建模，调用所述播放器集成的三维建模插件对素材进行三维建模，生成三维模型；

动画制作，将建好的所述三维模型导入到所述播放器集成的动画制作插件中，进行动画制作，生成动画模板；

节点编辑，对所述动画模板进行节点内容的编辑，使其可以支持触控播出或其他控制播出的方式；

定义按钮节点，在所述动画模板中定义按钮节点，形成触发机制，用以控制所述动画模板中所述三维模型可以按照节点内容进行三维动画播出。

本发明通过上述技术方案的使用和实施，能够将目前主流三维渲染引擎进行统一管理和调用，在一款产品中兼容绝大多数的主流建模工具、场景编辑工具、蓝图绘制工具、交互设计工具，适配几乎所有的三维渲染引擎，用户无需安装附在的运行库和引擎底层，就能快速的预览到模型、场景以及交互逻辑的状态，为用户选购模型、后续的生产制作、以及用户交付提供更便捷的手段。

由于本发明可实时交互的三维图形图像播放器内部集成多内核渲染引擎，因此，除了能够广泛应用于广电传媒、数据可视化、教育行业研发传统领域的三维图文创作、渲染及播出控制系统开发，满足各电视节目对三维图文包装效果的需求，例如新闻直播、体育转播、财经播报、气象预报、娱乐综艺、交通路况等各类广播电视直播、传媒大屏播出、数据可视化输出等需求；本发明的可实时交互的三维图形图像播放器还可以应用在诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具中。本发明的播放器针对不同开发平台，可简单进行移植，具有很好的跨平台特性，能够方便迅速在Android、iOS等主流系统上应用。

此外，本发明的播放器不仅可以实现多种渲染引擎的模型、模板的一键式渲染和预览，还可提供专业级别的编辑修改功能，方便用户不需要学习复杂的场景制作工具，就能够快速的打开及编辑相应的三维场景。

附图说明

图1为根据本发明第一实施例的一种可实时交互的三维图形图像播放器的结构示意图；

图2为根据本发明第二实施例的一种可实时交互的三维图形图像播放器的结构示意图；

图3为根据本发明第二实施例的一种可实时交互的三维图形图像播放器的渲染控制模块执行的渲染引擎调度方法处理流程示意图；

图4为根据本发明第一和第二实施例的一种可实时交互的三维图形图像播放器的交互控制模块执行的主交互控制方法处理流程示意图；

图5为根据本发明第一和第二实施例的一种可实时交互的三维图形图像播放器的交互控制模块执行的子交互控制方法处理流程示意图；

图6为根据本发明第一和第二实施例的一种可实时交互的三维图形图像播放器中生成及使用的属性标签结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，下面所描述的实施例仅是本发明的实施例，其仅用于更加清楚地对本发明进行解释和说明，并不能以此来限定本发明的保护范围。

参考图1，本发明第一实施例的一种可实时交互的三维图形图像播放器P包括：素材管理模块M、渲染控制模块R、交互控制模块I和显示控制模块D，其中：

素材管理模块M，其与所述渲染控制模块R相连，用于将本地素材通过调用本地文件管理器，对本地符合要求的素材进行单个或批量导入到所述渲染控制模块；或者对于网络素材，通过输入素材的下载地址(CDN地址)，先对素材进行下载，再导入所述渲染控制模块R；

渲染控制模块R，其分别与所述素材管理模块M和交互控制模块I相连，用于管理调用渲染引擎，对所述素材管理模块M导入的素材和经交互控制模块I实施交互操作后的素材进行实时渲染操作，再将渲染后的素材输出至所述交互控制模块I；

所述交互控制模块I，其分别与所述渲染控制模块R和所述显示控制模块D相连，用于接收交互指令，控制对来自渲染控制模块R的渲染后的素材进行交互操作，如果无需进行交互操作，则将渲染后的素材输出至所述显示控制模块D；

所述显示控制模块D，其与所述交互控制模块I相连，用于将渲染后的素材进行加载、展示和预览。

可选择地，本发明的所述素材管理模块还包括属性解析模块R-DM，该属性解析模块R-DM用于对导入素材、硬件环境以及运行平台进行分类解析，生成与导入素材相对应的属性标签C-Tag，并与导入的素材一起封装素材文件，所述素材文件始终具有所述属性标签C-Tag。

所述属性标签C-Tag包括基础特征部分和扩展特征部分，其中，所述基础特征部分包括至少5基本特征字段，分别是素材的文件格式、素材的复杂度、素材的应用场景、硬件环境和平台类型；所述扩展特征部分字段用于功能扩展。

参考图2，图2为根据本发明第二实施例的一种可实时交互的三维图形图像播放器P的结构示意图。其中，渲染控制模块R还可以包括渲染引擎调度管理模块R-DM，用于对渲染引擎进行管理和调度，完成单个渲染引擎对所述素材文件的独立渲染和多个渲染引擎对所述素材文件并行批量渲染。

参考图3，图3所示为根据本发明第二实施例的一种可实时交互的三维图形图像播放器P的渲染控制模块执行的渲染引擎调度方法处理流程示意图。所述渲染引擎调度管理模块R-DM基于所述属性标签C-Tag执行渲染引擎调度方法，对多个本地或云端渲染引擎进行管理和调用，所述渲染引擎调度方法包括下述步骤：

S101，提取属性标签C-Tag，从所述素材文件中提取所述属性标签C-Tag；

S102，解析素材属性，读取所述属性标签C-Tag中的字段数据，并对所述字段数据进行逻辑运算，得到素材属性数据；

S103，确定渲染引擎调度方案，根据所述素材属性数据，生成渲染引擎调用指令标签；

S104，调用渲染引擎，根据所述渲染引擎调用指令标签，组织对单个或多个渲染引擎进行调用，实施对所述素材文件的渲染操作。

其中，所述素材复杂度主要与素材中的模型点线面数量、模型材质纹理信息、模型中物件数量以及物件渲染精度相关。

在上述渲染引擎调度方法中，所述渲染引擎调度管理模块R-DM执行相应的渲染引擎调度管理方法，这样，当本发明的实时交互的三维图形图像播放器P打开模型文件时，会自动判断素材的类型、复杂度、应用场合以及当前硬件资源平台类型等去智能判断。具体例如，如果模型格式属于传媒、教育、医疗虚拟现实、虚拟增强应用、三维信息可视化类型，调度使用IDPRE引擎内核打开；如果属于游戏，娱乐、建筑以及虚拟现实可视化应用，调度使用UE引擎内核打开；如果属于轻量级、移动端的游戏、娱乐，调度使用Unity引擎内核处理打开；当硬件平台较弱，会优先使用IDPRE\Unity引擎内核处理，如果硬件平台强大，优先使用UE引擎内核处理；如果渲染画面质量优先，会调度UE引擎内核，如果考虑速度优先，会优先调度使用IDPRE\Unity引擎；如果是普通的3D模型文件优先使用IDPRE打开，如果是特定平台文件，调度使用Unity、UE等引擎内核打开。通过所述渲染引擎调度管理模块执行渲染引擎调度管理方法，本发明的可实时交互的三维图形图像播放器P能够自动根据素材具体情况的多层级、多维度去智能判断如何进行渲染操作，从而使用最低的硬件资源，兼顾最高处理效率，以最大兼容性来打开、浏览、交互各种3D素材文件。

此外，基于本发明的应用场景，所述交互控制模块I主要可进行三类基础交互操作：

第一类交互操作，控制对场景界面进行交互操作；

第二类交互操作，控制对场景中的部分公共属性进行交互操作；

第三类交互操作，控制对场景中包含的节点进行交互操作。

参考图4，图4为根据本发明第一和第二实施例的一种可实时交互的三维图形图像播放器P的交互控制模块I执行的主交互控制方法处理流程示意图。针对上述三类基础交互操作，交互控制模块I执行通用的主交互控制方法进行交互操作，具体步骤为：

S201，确定交互操作类型，接收并分析交互指令，确定基础交互操作的类型；

S202，执行交互操作，根据确定的交互操作的类型，对所述渲染控制模块R渲染后的所述素材文件进行相应的交互操作，生成交互操作后素材；

S203，修改属性标签C-Tag，根据执行的交互操作，对交互操作后素材文件的属性标签C-Tag进行修改，生成新属性标签C-Tag；

S204，输出交互操作结果，将交互操作后素材文件输出至所述渲染控制模块R进行渲染。

参考图5，图5为根据本发明第一和第二实施例的一种可实时交互的三维图形图像播放器P的交互控制模块I执行的子交互控制方法处理流程示意图，针对于上述第三类交互操作，本发明提出一种子交互控制方法，具体步骤为：

S301，三维建模，调用所述实时交互的三维图形图像播放器P集成的三维建模插件对素材进行三维建模，生成三维模型；

S302，动画制作，将建好的所述三维模型导入到所述实时交互的三维图形图像播放器P集成的动画制作插件中，进行动画制作，生成动画模板；

S303，节点编辑，对所述动画模板进行节点内容的编辑，使其可以支持触控播出或其他控制播出的方式；

S304，定义按钮节点，在所述动画模板中定义按钮节点，形成触发机制，用以控制所述动画模板中所述三维模型可以按照节点内容进行三维动画播出。

下面结合对汽车模型的交互，对上述第三类交互操作的子交互控制方法进行详解，具体步骤如下：

一、首先，在三维建模软件中进行汽车的建模，建模不仅要包括汽车的主题结构，还要包括内部的主要部件，例如发动机、悬挂系统、变速箱、水箱、邮箱、传动系统、刹车系统、轮胎、轮毂等部件的建模；

二、将建好的三维模型导入到动画制作软件中，进行动画制作，包括车体分解动画，将一辆完整的汽车分解成各个零部件的状态的动画；汽车合成动画，将分散的零部件组合成一个完整的汽车的动画；

三、对此模板进行节点内容的编辑，使其可以支持触控播出或其他控制播出的方式；

四、给整车增加一个按钮节点，使其成为一个整体的触发内容，用此按钮的单击指令，控制车体分解动画的播出，具体为：

1、给发动机、悬挂系统、变速箱、水箱、油箱、传动系统、刹车系统、轮胎、轮毂等物件添加自由旋转节点，使这每一个物件都能进行旋转操作；

2、再给发动机、悬挂系统、变速箱、水箱、油箱、传动系统、刹车系统、轮胎、轮毂等物件添加移动节点，使每一个物件都可自由移动；

3、再给发动机、悬挂系统、变速箱、水箱、油箱、传动系统、刹车系统、轮胎、轮毂等物件添加缩放节点，使每个物件都可支持自由缩放操作；

4、增加一个空白热区，添加为按钮节点，用此按钮的单击指令，控制车体的合成动画的播出；

5、为发动机、悬挂系统、变速箱、水箱、油箱、传动系统、刹车系统、轮胎、轮毂等每个物件制作一个动画，制作一个可以弹出介绍文字版的动画；

6、为发动机、悬挂系统、变速箱、水箱、油箱、传动系统、刹车系统、轮胎、轮毂等每个物件增加一个按钮节点，使用这个按钮的单击触发对应的介绍文字版的动画，再次单击，触发文字版收回的动画。

完成了以上步骤之后的场景文件，在播放器中加载并打开后，就可以实现节点的交互控制，通过点击车体，播出车体的分解动画，每一个部件都可以自由旋转、缩放、移动，并且点击每一个部件，还会触发介绍版文字的动画播出。

通过上述实施例，本发明能够将目前主流三维渲染引擎进行统一管理和调用，在一款产品中兼容绝大多数的主流建模工具、场景编辑工具、蓝图绘制工具、交互设计工具，适配几乎所有的三维渲染引擎，用户无需安装附在的运行库和引擎底层，就能快速的预览到模型、场景以及交互逻辑的状态，为用户选购模型、后续的生产制作、以及用户交付提供更便捷的手段。

另外，由于内部集成多内核渲染引擎以及相应的调度管理模块和调度管理方法，因此，本发明的实时交互的三维图形图像播放器P除了能够广泛应用于广电传媒、数据可视化、教育行业研发、娱乐综艺等传统传媒领域，还可以应用在诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发领域中。此外，本发明的实时交互的三维图形图像播放器P针对不同开发平台，可简单进行移植，具有很好的跨平台特性，能够方便迅速在Android、iOS等主流系统上应用。

此外，本发明的播放器不仅可以实现多种渲染引擎的模型、模板的一键式渲染和预览，还可提供专业级别的编辑修改功能，方便用户不需要学习复杂的场景制作工具，就能够快速的打开及编辑相应的三维场景。

以上对本发明的具体实施方式进行了详细的描述，但本领域内的技术人员根据本发明的创造性概念，可以对本发明进行各种变形和修改，但所做的各种变形和修改不脱离本发明的精神和范围，皆属于本发明权利要求的范围之内。

Claims (8)

1.一种可实时交互的三维图形图像播放器，该三维图形图像播放器包括：素材管理模块、渲染控制模块、交互控制模块和显示控制模块，其中：

所述素材管理模块，其与所述渲染控制模块相连，用于将本地素材通过调用本地文件管理器，对本地符合要求的素材进行单个或批量导入到所述渲染控制模块；或者对于网络素材，通过输入素材的下载地址，即CDN地址，先对素材进行下载，再导入所述渲染控制模块；

所述渲染控制模块，其分别与所述素材管理模块和交互控制模块相连，用于管理调用渲染引擎，对所述素材管理模块导入的素材和经交互控制模块实施交互操作后的素材进行实时渲染操作，再将渲染后的素材输出至所述交互控制模块；

所述交互控制模块，其分别与所述渲染控制模块和所述显示控制模块相连，用于接收交互指令，控制对来自渲染控制模块的渲染后的素材进行交互操作，如果无需进行交互操作，则将渲染后的素材输出至所述显示控制模块；

所述显示控制模块，其与所述交互控制模块相连，用于将渲染后的素材进行加载、展示和预览；

其特征在于，所述素材管理模块包括属性解析模块，用于对导入素材、硬件环境以及运行平台进行分类解析，生成与导入素材相对应的属性标签，并与导入的素材一起封装素材文件，所述素材文件始终具有所述属性标签。

2.根据权利要求1所述的播放器，其特征在于，其中所述属性标签包括基础特征部分和扩展特征部分，

其中，所述基础特征部分包括至少5个 基本特征字段，分别是素材的文件格式、素材的复杂度、素材的应用场景、硬件环境和平台类型；

所述扩展特征部分字段用于功能扩展。

3.根据权利要求2所述的播放器，其特征在于，所述渲染控制模块包括渲染引擎调度管理模块，用于对渲染引擎进行管理和调度，完成单个渲染引擎对所述素材文件的独立渲染和多个渲染引擎对所述素材文件并行批量渲染。

4.根据权利要求3所述的播放器，其特征在于，所述渲染引擎调度管理模块基于所述属性标签执行渲染引擎调度方法，对多个本地或云端渲染引擎进行管理和调用，所述渲染引擎调度方法包括下述步骤：

提取属性标签，从所述素材文件中提取所述属性标签；

解析素材属性，读取所述属性标签中的字段数据，并对所述字段数据进行逻辑运算，得到素材属性数据；

确定渲染引擎调度方案，根据所述素材属性数据，生成渲染引擎调用指令标签；

调用渲染引擎，根据所述渲染引擎调用指令标签，组织对单个或多个渲染引擎进行调用，实施对所述素材文件的渲染操作。

5.根据权利要求2所述的播放器，其特征在于，所述素材的 复杂度由素材中的模型点线面数量、模型材质纹理信息、模型中物件数量以及物件渲染精度确定。

6.根据权利要求1所述的播放器，其特征在于，所述交互控制模块可进行三类基础交互操作，

第一类交互操作，控制对场景界面进行交互操作；

第二类交互操作，控制对场景中的部分公共属性进行交互操作；

第三类交互操作，控制对场景中包含的节点进行交互操作。

7.根据权利要求6所述的播放器，其特征在于，所述交互控制模块执行主交互控制方法进行交互操作，具体步骤为：

确定交互操作类型，接收并分析交互指令，确定基础交互操作的类型；

执行交互操作，根据确定的交互操作的类型，对所述渲染控制模块渲染后的所述素材文件进行相应的交互操作，生成交互操作后素材；

修改属性标签，根据执行的交互操作，对交互操作后素材文件的属性标签进行修改，生成新属性标签；

输出交互操作结果，将交互操作后素材文件输出至所述渲染控制模块进行渲染。

8.根据权利要求6所述的播放器，其特征在于，当所述交互控制模块根据交互指令实施所述第三类交互操作时，则执行子交互控制方法，具体步骤为：

三维建模，调用所述播放器集成的三维建模插件对素材进行三维建模，生成三维模型；

动画制作，将建好的所述三维模型导入到所述播放器集成的动画制作插件中，进行动画制作，生成动画模板；

节点编辑，对所述动画模板进行节点内容的编辑，使其可以支持触控播出或其他控制播出的方式；

定义按钮节点，在所述动画模板中定义按钮节点，形成触发机制，用以控制所述动画模板中所述三维模型可以按照节点内容进行三维动画播出。

Images