CN115756407A - 基于场景-行为融合和模型驱动的元宇宙服务开发方法 - Google Patents

Abstract

基于场景‑行为融合和模型驱动的元宇宙服务开发方法，属于计算机服务技术领域。它能够支持元宇宙下服务流程、交互、场景等的建模。包括以下步骤：S1.对场景‑行为融合服务设计建模；S2.构建一个元宇宙应用开发建模工具；S3.进行服务设计模型与实现模型的映射和转换；S4.将元宇宙服务实现模型转换为元宇宙环境下虚拟现实的模拟；本发明提出了一种系统的建模语言和开发方法，将元宇宙内场景、角色和行为深度融合，相比传统软件开发方法该发明可以有效地表示元宇宙三维空间内用户的操作及交互，同时通过模型驱动方法，从编程问题中抽象化，以便服务设计者能够在不需要编写过多代码的情况下，通过场景‑行为融合的建模语言自动开发应用。

Description

基于场景-行为融合和模型驱动的元宇宙服务开发方法

技术领域

本发明属于计算机服务技术领域，具体涉及基于场景-行为融合和模型驱动的元宇宙服务开发方法。

背景技术

近些年来，随着人工智能、区块链、智能硬件、网络技术等的快速发展，催生了元宇宙概念，成为了当下技术研究与产业发展的热点。元宇宙是一种平行于现实世界的沉浸式虚实融合的虚拟世界，其通过整合多种技术将现实世界映射到虚拟世界中，进一步促进现实生活中各方面数字化转型，带给人们沉浸式的体验。越来越多的大公司正在支持这项技术的发展及其背后的应用，推动元宇宙服务蓬勃发展。而元宇宙服务的产生，将打破过去原有的惯性服务模式，升级到一个新的服务体系。通过结合具体的服务场景，元宇宙服务将更好地推动社会进步，促进数字经济蓬勃发展。

随着元宇宙中不断出现的数字应用场景，以及现实世界中不断丰富的数字应用场景，各种服务将逐渐分散或多集中。交互式技术使用户能够操作视觉元素，在元宇宙中自由探索，并提供沉浸式的体验，用户沉浸在360度的虚拟社会中，与服务人员进行互动。可视化可以通过处理元宇宙中的数据并以适当的形式呈现给用户来提供这样的指导。这些技术的发展使元宇宙的用户感知和探索更加现实和有趣，同时，元宇宙内用户的需求也越来越复杂，这对服务应用的设计和实现都提出了更高的要求。

目前在传统的服务应用开发中，由于不同行业的服务之间的联系不明确，服务流程往往是单独开发，导致缺乏协作和信息互连。同时，现有的服务流程模型虽然已经较为成熟，但面向元宇宙服务场景建模时，其表达能力不足，不能有效的表达出复杂多变的交互流程和需求。在元宇宙服务中的关键便是场景、角色及用户动作间合理有效的交互协同，以及结合视觉上指导和提示，目前缺乏一种元宇宙服务设计模型能够将现实世界中的服务业务、服务流程、服务交互完美地引入到元宇宙的沉浸式、虚拟化环境中。

基于上述研究背景可以发现，扩展服务流程模型将元宇宙内的场景、行为相融合，进而基于模型驱动技术快速构建元宇宙服务，是降低元宇宙服务开发难度，提升服务开发效率的有效手段。

发明内容

针对元宇宙时代用户需求复杂繁多，元宇宙服务系统设计耗时耗力的问题，本发明提出了一种基于场景-行为融合和模型驱动的元宇宙服务开发方法，将元宇宙内场景、角色和行为深度融合，支撑辅助设计人员对服务系统的功能进行全面的建模；能够支持元宇宙下服务流程、交互、场景等的建模，实现服务设计模型与实现模型的转换和映射，开发元宇宙服务应用的模拟运行引擎支持服务应用的自动化运行。

本发明所采取的技术方案是：

基于场景-行为融合和模型驱动的元宇宙服务开发方法，包括以下步骤：

S1.对场景-行为融合服务设计建模；

S2.通过对S1中构建的设计建模方法，构建一个元宇宙应用开发建模工具，绘制元宇宙应用开发设计模型；

S3.通过模型驱动的思想进行服务设计模型与实现模型的映射和转换；

S4.将元宇宙服务实现模型转换为元宇宙环境下虚拟现实的模拟；

S5.元宇宙应用运行。

本发明与现有技术相比具有以下有益效果：

1、传统软件开发方法不能够很好的应对元宇宙服务的开发，其本质上原因在于“元宇宙服务＝场景+角色+行为”，它们需要深度融合，本发明针对此点提出了场景-行为融合的元宇宙服务模型和建模方法，在基于标准的BPMN2.0业务流程模型的基础上进一步详细定义了建模细节，包括建模要素、流程建模、交互建模、场景建模、角色建模，以及模型的详细定义等，将元宇宙内场景、角色与用户交互行为相融合，定义了元素之间的相互作用，支撑辅助设计人员对元宇宙内服务系统的功能进行全面的建模，对元宇宙内沉浸式交互的行为进行详细的建模。

2、本发明通过基于BPMN-JS改进的场景-行为融合元宇宙应用开发建模工具，构建场景管理、角色管理、外部服务管理及绘制建模等模块，在元宇宙应用开发中需求发生变化时，设计人员可以根据特定的需求选择对应的场景、角色，绘制需要的交互流程，设计出一个自定义的元宇宙服务。

3、本发明通过一种模型驱动的方法来有效地将流程模型和场景模型集成为一个实现模型以解决源和目标模型之间的结构差异，同时结合一些实现细节，使软件设计人员可以通过项目的形式将复杂用户需求对应的一系列模型组织在一起，在元宇宙环境中生成服务流程实现模型。通过建立的实现模型，设计人员可以更直观的展示服务的设计。

4、本发明通过使用Unity游戏引擎在元宇宙环境中模拟用户的行为，通过使用Acceleo编写的模型到文本的转换，将代表服务程序的实现模型按照脚本代码进行序列化，由Unity引擎执行，依照设计出的实现模型进行自动代码框架生成及实现，减少软件开发的工作量，生成具体的元宇宙服务。

5、本发明充分考虑到了日益增长的元宇宙应用建模需求以及元宇宙应用低代码开发需求，并根据元宇宙环境所要求的新型交互形式、信息的视觉表示、场景与行为融合等因素，提出了一种系统的建模语言和开发方法，通过利用具体的流程模型、符号和语言来支持元宇宙服务的设计和实施，将元宇宙内场景、角色和行为深度融合，相比传统软件开发方法该发明可以有效地表示元宇宙三维空间内用户的操作及交互，同时通过模型驱动方法，从编程问题中抽象化，以便服务设计者能够在不需要编写过多代码的情况下，通过场景-行为融合的建模语言自动开发应用。

附图说明

图1是本发明流程图；

图2是基于BPMN扩展的场景-行为融合元模型示意图；

图3是建模工具组件图；

图4是模型转换流程图。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明的做进一步详细的描述。

本发明的一种基于场景-行为融合和模型驱动的元宇宙服务开发方法包括以下步骤：

S1.对场景-行为融合服务设计建模；

本步骤主要是针对元宇宙应用开发需求，提供服务的结构化(形式化)描述，允许对复杂元宇宙应用服务进行更标准化的规划和管理。为了充分表达出元宇宙应用细节，需要在建模中表示各种交互的模式及信息的视觉表示。交互模式是使用户能够联系、控制或影响元宇宙的各种方式，扩展BPMN的任务图元，增加交互任务、高级通信任务、外部服务提供任务、加载场景任务及导航任务。交互任务是通过环境中的控制器进行选择或操作，进而改变元宇宙中任何对象的属性、位置或方向。高级通信任务是通过元宇宙设备上的麦克风和摄像头，通过语音或视频的方式与对方交流沟通。加载场景任务是加载元宇宙应用程序的服务场景和状态，定义了场景类型、角色类型、不同角色的活动区域、不同角色可接触的物体限制。导航任务是指导致元宇宙中视图变化的用户操作，使用控制器进行指向和传送。外部服务提供任务是通过调用外部服务对象来满足元宇宙应用内需求，使用的对象是实体对象、媒体实例等，这些对象的信息在设计模型中被详细定义，如服务基本属性、名称、功能、URL、请求方式、接口参数、返回值等。元宇宙内信息的视觉表示考虑到可视化需求，其包括文本、图像和视频等类型信息，在模型中详细定义了它们的特性和格式。构建粗粒度的跨场景的全局模型和细粒度的场景内的局部模型，全局模型关联局部模型，将场景与交互等行为任务进行绑定融合，针对BPMN的元模型进行场景-行为融合的扩展，具体结构如图2所示，包括：

事件，进程，活动等BPMN原始概念；

捕获事件：由开始事件和捕获中间事件构成；

任务：由交互任务、高级通信任务、外部服务提供任务、加载场景任务及导航任务构成；

网关：针对排他型网关，扩展人工决策；

数据对象：针对数据对象，扩展附加信息，包含文本信息、常见问题解答、图片链接、视频链接和检查列表；

池：针对池，扩展场景池。

具体步骤如下：

S11.在元宇宙应用中，由于元宇宙所要求的虚拟现实环境需要新的交互形式，例如行走、沟通或手势交互等，在服务过程的建模中针对各种交互的模式和可能性在BPMN中进行扩展表示，针对每个场景与场景下角色的交互行为进行绑定融合，实现细粒度的建模；

S12.对于元宇宙服务应用，元宇宙内信息的视觉表示是基本的要求，在元宇宙应用流程建模中针对可视化需求，对文本、图像和视频等形式的外部服务进行建模表示，描述它们的特性和格式。

S2.元宇宙应用开发建模工具。

通过对S1中构建的元宇宙应用开发设计建模方法，构建一个元宇宙应用开发建模工具；用户使用建模工具根据开发需求选取场景模型、角色模型、外部服务调用，快速绘制元宇宙应用开发设计模型。

本步骤需要针对S1中提出的建模方法，集成到建模工具内，用户通过建模工具绘制场景-行为融合的应用设计模型。建模工具中包含场景模型管理模块、角色模型管理模块、外部服务管理模块及绘制建模模块，用户选择需要的场景、角色、外部服务进行建模，如果用户需求在管理模块中没有对应的场景、角色、外部服务实例，或者对应的场景、角色、外部服务实例不满足用户的预期，则用户可引入符合要求的外部场景、角色、服务实例或自定义搭建场景、角色、服务实例。最后用户快速绘制元宇宙应用开发设计模型后，进行步骤S3。具体的流程图如图3所示。

具体步骤如下：

S21.针对普遍用户需求构建场景管理模块，用户选择需要的场景进行建模，如果用户需求在场景管理中没有对应的场景实例，或者对应的场景实例不满足用户的预期，则用户可引入符合要求的外部场景实例或自定义搭建场景实例；

S22.针对普遍用户需求构建角色管理模块，用户选择需要的角色进行建模，如果用户需求在角色管理中没有对应的角色实例，或者对应的角色实例不满足用户的预期，则用户可引入符合要求的外部角色实例或自定义搭建角色实例；

S23.针对元宇宙应用的服务需求构建外部服务管理模块，用户选择需要的外部服务放入建模过程中，如果用户需求在外部服务管理中没有对应的服务实例，或者对应的服务实例不满足用户的预期，则用户可引入符合要求的外部服务实例或自定义搭建外部服务实例；

S24.构建绘制建模模块，集成bpmn-js工具包，用户通过web建模器，选取基础和扩展的图元，绘制场景-行为融合应用设计模型。

其中：

场景模型管理模，块负责管理场景模型，提供用户需要的场景实例和信息；

角色模型管理模块，负责管理角色模型，提供用户需要的角色实例和信息；

外部服务管理模块，负责管理外部服务，规定外部服务的信息形式，提供用户需要的外部服务实例；

绘制建模模块，负责提供绘制场景-行为融合应用设计模型的模板和建模器；

S3.服务设计模型与实现模型的映射和转换。

对整个元宇宙应用开发建模完成后，通过模型驱动的思想来有效地进行服务设计模型与实现模型的映射和转换(即将应用设计模型集成为一个实现模型,该方法允许在元宇宙环境中自动生成应用实现模型)，解决源和目标元模型之间的结构差异，自动代码生成；首先需要将元模型通过解析器转换为中间模型，中间模型再转换为实现模型，以进行在3D引擎内自动运行。基本的步骤包括：

S31.利用S2所绘制的应用设计模型，通过解析器，生成一个中间元模型文件；

具体为：利用S2所绘制的应用设计模型，将服务设计模型转换为中间元模型，为了读取一个源模型文件，需要设计一个解析器，它将输入一个服务设计模型文件并生成一个中间元模型文件，通过解析、映射，找到设计模型中的流程关系、顺序关系、交互关系等，形成对应的服务构件。从解析的模型中，我们设计一个工具收集有关元素的信息在图表中，如ID、名称、类型(即活动、网关、事件等)，角色在虚拟现实世界中的位置信息，以及从中可到达的节点列表，中间元模型可以利用这些信息来设置三维空间。)

S32.将中间元模型按照不同3D引擎的编程概念和执行需求转换为所支持的实现模型；

具体为：将中间元模型转换为实现模型，尽管元模型在编程概念的表示上相当通用，但模型到模型的转换必须围绕着3D引擎提供的支持，因为生成的元宇宙服务模型应该与3D引擎支持的功能相匹配，以便能够实现可执行性。在这个转换过程中，每个设计模型都被转换成一个执行模型，它有一个程序作为根元素。需要为3D引擎命名空间的本地类型创建外部类型(作为属性)。源模型的每个元素都被转换成目标模型中的File和Class。目标类的成员和方法是基于类所表示的操作和元素的游组件创建的。

S33.应用的实现模型仍然需要按照脚本代码进行序列化，以便由一个或多个第三方3D引擎执行。

具体为：在代码生成上，代表服务程序的模型仍然需要按照脚本代码进行序列化，以便由3D引擎执行。为了获得这个脚本代码，设计了一个用Acceleo编写的模型到文本的转换。Acceleo模型到文本的转换根据模板为执行模型元素生成脚本代码，在概念上非常接近运行时平台的编程概念。具体的流程图如图4所示。

S4.元宇宙服务的模拟运行引擎——将元宇宙服务实现模型，转换为元宇宙环境下虚拟现实的模拟；需要实现工具来处理场景的空间和行为方面，对步骤S3所得到的序列化代码进行自动化执行。

本步骤主要是将元宇宙服务实现模型转换为元宇宙环境下虚拟现实的模拟，需要实现工具来处理场景的空间和行为方面，使用游戏引擎(Unity游戏引擎)在元宇宙环境中模拟用户的行为。在3D引擎中，通过渲染引擎、物理引擎、碰撞和声音生成器以及塑造虚拟AI行为的脚本来表现元宇宙场景、用户及其活动。通过计算机编程，使用3D引擎让用户进一步丰富元宇宙服务的信息内容，在元宇宙环境中与其他平台和工具互操作。

为了实现虚拟场景与真实场景之间的实时交互，将服务器作为用户侧与设备端之间的桥梁。在3D引擎中，使用接口单元web请求与服务器进行通信，实现从服务器获取设备状态信息并向服务器发送控制命令的功能。使用一个组合HTTP请求和处理HTTP响应的模块化系统，该系统将HTTP事务分解为三种不同的操作：向服务器提供数据、从服务器接收数据和HTTP流控制，进而虚拟场景与真实场景进行实时交互。

为了实现模型的交互功能操作，使用C#语言编写设备控制的脚本文件，将脚本装载到相应的设备模型上，并通过碰撞检测技术触发脚本文件。

应用程序输出是一个3D引擎，它由生成的场景和脚本组成，而资源文件只是简单地复制到目标3D引擎项目文件夹，不需要任何修改。用户被要求提供输入位置，他可以选择性地更改目标3D引擎项目文件夹，如果没有，它将在应用程序根文件夹中创建。

需要说明的是，本发明中的各个模块(或单元)是逻辑意义上的，具体实现时，多个模块(或单元)可以合并成一个模块(或单元)，一个模块(或单元)也可拆分成多个模块(或单元)。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (8)

1.一种基于场景-行为融合和模型驱动的元宇宙服务开发方法，其特征在于：包括以下步骤：

S1.对场景-行为融合服务设计建模；

S2.通过对S1中构建的设计建模方法，构建一个元宇宙应用开发建模工具，绘制元宇宙应用开发设计模型；

S3.通过模型驱动的思想进行服务设计模型与实现模型的映射和转换；

S4.将元宇宙服务实现模型，转换为元宇宙环境下虚拟现实的模拟；

S5.元宇宙应用运行。

2.根据权利要求1所述的基于场景-行为融合和模型驱动的元宇宙服务开发方法，其特征在于：所述S1中的服务设计建模结构，包括：

捕获事件：由开始事件和捕获中间事件构成；

任务：由交互任务、高级通信任务、外部服务提供任务、加载场景任务及导航任务构成；

网关：针对排他型网关，扩展人工决策；

数据对象：针对数据对象，扩展附加信息，包含文本信息、常见问题解答、图片链接、视频链接和检查列表；

池：针对池，扩展场景池。

3.根据权利要求2所述的基于场景-行为融合和模型驱动的元宇宙服务开发方法，其特征在于：所述任务扩展的建模元素包括

交互任务：通过环境中的控制器进行选择或操作，进而改变元宇宙中任何对象的属性、位置或方向；

高级通信任务：通过元宇宙设备上的麦克风和摄像头，通过语音或视频的方式与对方交流沟通；

加载场景任务：加载元宇宙应用程序的服务场景和状态，定义了场景类型、角色类型、不同角色的活动区域、不同角色可接触的物体限制；

导航任务：指导致元宇宙中视图变化的用户操作，使用控制器进行指向和传送；

外部服务提供任务：通过调用外部服务对象来满足元宇宙应用内需求，使用的对象是实体对象、媒体实例。

4.根据权利要求3所述的基于场景-行为融合和模型驱动的元宇宙服务开发方法，其特征在于：所述S1中基于服务设计建模结构的建模方法，包括以下步骤：

S11.在服务过程的建模中针对各种交互的模式和可能性在BPMN中进行扩展表示，针对每个场景与场景下角色的交互行为进行绑定融合，实现细粒度的建模；

S12.在元宇宙应用流程建模中针对可视化需求，对文本、图像和视频等形式的外部服务进行建模表示，描述它们的特性和格式。

5.根据权利要求1所述的基于场景-行为融合和模型驱动的元宇宙服务开发方法，其特征在于：所述S2构建一个元宇宙应用开发建模工具的具体步骤如下：

S21.针对普遍用户需求构建场景管理模块，用户选择需要的场景进行建模；

S22.针对普遍用户需求构建角色管理模块，用户选择需要的角色进行建模；

S23.针对元宇宙应用的服务需求构建外部服务管理模块；

S24.构建绘制建模模块，集成bpmn-js工具包，用户通过web建模器，选取基础和扩展的图元，绘制场景-行为融合应用设计模型。

6.根据权利要求5所述的基于场景-行为融合和模型驱动的元宇宙服务开发方法，其特征在于：所述S2中的建模工具包括

场景模型管理模块，负责管理场景模型，提供用户需要的场景实例和信息；

角色模型管理模块，负责管理角色模型，提供用户需要的角色实例和信息；外部服务管理模块，负责管理外部服务，规定外部服务的信息形式，提供用户需要的外部服务实例；

绘制建模模块，负责提供绘制场景-行为融合应用设计模型的模板和建模器。

7.根据权利要求1所述的基于场景-行为融合和模型驱动的元宇宙服务开发方法，其特征在于：所述S3的具体步骤如下：

S31.利用S2所绘制的应用设计模型，通过解析器，生成一个中间元模型文件；

S32.将中间元模型按照不同3D引擎的编程概念和执行需求转换为所支持的实现模型；

S33.应用的实现模型仍然需要按照脚本代码进行序列化，以便由一个或多个第三方3D引擎执行。

8.根据权利要求1所述的基于场景-行为融合和模型驱动的元宇宙服务开发方法，其特征在于：所述S4具体为：

使用游戏引擎在元宇宙环境中模拟用户的行为；

在3D引擎中，通过渲染引擎、物理引擎、碰撞和声音生成器以及塑造虚拟AI行为的脚本来表现元宇宙场景、用户及其活动；

通过计算机编程，使用3D引擎让用户进一步丰富元宇宙服务的信息内容，在元宇宙环境中与其他平台和工具互操作；

将服务器作为用户侧与设备端之间的桥梁,实现虚拟场景与真实场景之间的实时交互；

使用C#语言编写设备控制的脚本文件，将脚本装载到相应的设备模型上，并通过碰撞检测技术触发脚本文件，实现模型的交互功能。

Images