CN117171568A - 模型训练方法、装置、内容生成方法、装置及存储介质 - Google Patents

Abstract

本申请提供一种模型训练方法、装置、内容生成方法、装置及存储介质，涉及人工智能领域，用于解决现有技术中生成XR内容准确度较低的问题。该方法包括：获取历史扩展现实XR内容数据；基于历史XR内容数据，生成目标生成对抗网络GANs模型；基于历史XR内容数据，确定历史XR内容数据对应的潜在分布数据；基于潜在分布数据，生成目标变分自编码VAEs模型；获取用户终端的历史反馈数据；基于历史反馈数据，生成目标深度强化学习DRL模型。

Description

模型训练方法、装置、内容生成方法、装置及存储介质

技术领域

本申请涉及虚拟技术领域，尤其涉及一种模型训练方法、装置、内容生成方法、装置及存储介质。

背景技术

随着虚拟技术的不断普及，扩展现实(extended reality，XR)技术也慢慢被应用到各行业当中。

现有XR内容的生成方法是通过预先设置元素特效数据库，元素特效数据库中包含多个元素特效，多个元素特效中的每个元素特效对应不同的用户需求信息。然后，可以获取目标用户需求信息，根据目标用户需求信息确定目标用户需求信息对应的元素特效。然后根据目标用户需求信息对应的元素特效生成XR内容。但是通过这种方法生成的XR内容受限于元素特效数据库，无法灵活应对不断变化的用户需求，生成的XR内容准确度较低。

发明内容

本申请提供模型训练方法、装置、内容生成方法、装置及存储介质，用于解决现有技术中生成XR内容准确度较低的问题。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种模型训练方法，包括：获取历史扩展现实XR内容数据；基于历史XR内容数据，生成目标生成对抗网络GANs模型；基于历史XR内容数据，确定历史XR内容数据对应的潜在分布数据；基于潜在分布数据，生成目标变分自编码VAEs模型；获取用户终端的历史反馈数据；基于历史反馈数据，生成目标深度强化学习DRL模型。

可选的，根据历史XR内容数据生成目标生成对抗网络GANs模型，包括：基于历史XR内容数据，生成原始GANs模型；原始GANs模型包括：生成模型和鉴别模型；将历史XR内容数据对应的属性信息输入生成模型，生成目标XR内容数据；将属性信息相同的目标XR内容数据和历史XR内容数据输入鉴别模型，确定目标XR内容数据和历史XR内容数据差别占比；当差别占比小于预设数值时，确定原始GANs模型为目标GANs模型。

可选的，历史反馈数据包括：用户满意度和用户指令，根据历史反馈数据，生成目标深度强化学习DRL模型，包括：基于DRL技术，以及用户满意度，获取用户偏好数据；基于DRL技术，以及用户指令，生成修改XR内容指令；基于用户偏好数据，以及修改XR内容指令，生成目标DRL模型。

还提供一种内容生成方法，其特征在于，包括：获取用户终端的需求信息；基于需求信息，以及目标GANs模型，生成XR内容模型和XR内容模型对应纹理；基于需求信息，以及目标VAEs模型，生成XR内容模型对应的动画和XR内容模型对应的音频。

可选的，该内容生成方法还包括：获取用户终端的实时反馈数据；基于用户终端的实时反馈数据，以及目标DRL模型，生成修改XR内容模型的指令。

第二方面，提供一种模型训练装置，包括：获取模块、生成模块和确定模块；获取模块，用于获取历史扩展现实XR内容数据；生成模块，用于基于历史XR内容数据，生成目标生成对抗网络GANs模型；确定模块，用于基于历史XR内容数据，确定历史XR内容数据对应的潜在分布数据；生成模块，还用于基于潜在分布数据，生成目标变分自编码VAEs模型；获取模块，还用于获取用户终端的历史反馈数据；生成模块，还用于基于历史反馈数据，生成目标深度强化学习DRL模型。

可选的，生成模块具体用于：基于历史XR内容数据，生成原始GANs模型；原始GANs模型包括：生成模型和鉴别模型；将历史XR内容数据对应的属性信息输入生成模型，生成目标XR内容数据；将属性信息相同的目标XR内容数据和历史XR内容数据输入鉴别模型，确定目标XR内容数据和历史XR内容数据差别占比；当差别占比小于预设数值时，确定原始GANs模型为目标GANs模型。

可选的，历史反馈数据包括：用户满意度和用户指令，生成模块具体用于：基于DRL技术，以及用户满意度，获取用户偏好数据；基于DRL技术，以及用户指令，生成修改XR内容指令；基于用户偏好数据，以及修改XR内容指令，生成目标DRL模型。

还提供一种内容生成装置，其特征在于，包括：获取模块、生成模块；获取模块，用于获取用户终端的需求信息；生成模块，用于基于需求信息，以及目标GANs模型，生成XR内容模型和XR内容模型对应纹理；生成模块，还用于基于需求信息，以及目标VAEs模型，生成XR内容模型对应的动画和XR内容模型对应的音频。

可选的，获取模块还用于，获取用户终端的实时反馈数据；基于用户终端的实时反馈数据，以及目标DRL模型，生成修改XR内容模型的指令。

第三方面，提供一种模型训练装置，包括存储器和处理器；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当模型训练装置运行时，处理器执行存储器存储的计算机执行指令，以使模型训练装置执行第一方面所述的模型训练方法。

该模型训练装置可以是网络设备，也可以是网络设备中的一部分装置，例如网络设备中的芯片系统。该芯片系统用于支持网络设备实现第一方面及其任意一种可能的实现方式中所涉及的功能，例如，获取、确定、发送上述模型训练方法中所涉及的数据和/或信息。该芯片系统包括芯片，也可以包括其他分立器件或电路结构。

还提供一种内容生成装置，包括存储器和处理器；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当内容生成装置运行时，处理器执行存储器存储的计算机执行指令，以使内容生成装置执行第一方面所述的模型训练方法。

该内容生成装置可以是网络设备，也可以是网络设备中的一部分装置，例如网络设备中的芯片系统。该芯片系统用于支持网络设备实现第一方面及其任意一种可能的实现方式中所涉及的功能，例如，获取、确定、发送上述模型训练方法中所涉及的数据和/或信息。该芯片系统包括芯片，也可以包括其他分立器件或电路结构。

第四方面，提供一种计算机可读存储介质，计算机可读存储介质包括计算机执行指令，当计算机执行指令在计算机上运行时，使得该计算机执行第一方面所述的模型训练方法。

第五方面，还提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在模型训练装置上运行时，使得模型训练装置执行如上述第一方面所述的模型训练方法。

需要说明的是，上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中，第一计算机可读存储介质可以与模型训练装置的处理器封装在一起的，也可以与模型训练装置的处理器单独封装，本申请实施例对此不作限定。

本申请中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

在本申请实施例中，上述模型训练装置和内容生成装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，属于本申请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

本申请提供的技术方案至少带来以下有益效果：

基于上述任一方面，本申请实施例提供了一种模型训练方法，可以先获取历史XR内容数据。然后基于历史XR内容数据，生成目标生成对抗网络(generative adversarialnets，GANs)模型。接着，基于历史XR内容数据，确定历史XR内容数据对应的潜在分布数据。基于潜在分布数据，生成目标，变分自编码(variational auto encoders，VAEs)模型。再然后，可以获取用户终端的历史反馈数据。基于历史反馈数据，生成目标深度强化学习(deepreinforcement learning，DRL)模型。

由上可知，模型训练设备可以根据历史XR数据生成用于构建XR内容模型和XR模型纹理的目标GANs模型，用于生成动画和音频的目标VAEs模型，还有用于根据用户反馈调整XR内容的目标DRL模型。从而获得准确度更高的XR内容。

附图说明

图1为本申请实施例提供的模型训练系统的结构示意图；

图2为本申请实施例提供的内容生成系统的结构示意图；

图3为本申请实施例提供的模型训练装置的一种硬件结构示意图；

图4为本申请实施例提供的模型训练装置的又一种硬件结构示意图；

图5为本申请实施例提供的一种模型训练方法的流程示意图；

图6为本申请实施例提供的又一种模型训练方法的流程示意图；

图7为本申请实施例提供的又一种模型训练方法的流程示意图；

图8为本申请实施例提供的一种内容生成方法的流程示意图；

图9为本申请实施例提供的又一种内容生成方法的流程示意图；

图10为本申请实施例提供的一种模型训练装置的结构示意图；

图11为本申请实施例提供的一种内容生成装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

为了便于清楚描述本申请实施例的技术方案，在本申请实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。

在对本申请提供的模型训练方法进行详细介绍之前，先对本申请涉及的背景进行简单介绍。

随着虚拟技术的不断普及，XR技术也慢慢被应用到各行业当中。

XR技术是一个综合性的技术，包括虚拟现实(virtual reality，VR)技术、增强现实(augmented reality，AR)技术和混合现实(mixed reality，MR)技术。在游戏、娱乐、教育和文化表达等领域有着广泛的应用空间。

现有XR内容的生成方法是通过预先设置元素特效数据库，元素特效数据库中包含多个元素特效，多个元素特效中的每个元素特效对应不同的用户需求信息。

然后，可以获取目标用户需求信息，根据目标用户需求信息确定目标用户需求信息对应的元素特效。然后根据目标用户需求信息对应的元素特效生成XR内容。

但是通过这种方法生成的XR内容受限于元素特效数据库，无法灵活应对不断变化的用户需求，生成的XR内容准确度较低。

针对上述问题，本申请实施例提供了一种模型训练方法，可以先获取历史XR内容数据。然后基于历史XR内容数据，生成目标GANs模型。接着，基于历史XR内容数据，确定历史XR内容数据对应的潜在分布数据。基于潜在分布数据，生成目标VAEs模型。再然后，可以获取用户终端的历史反馈数据。基于历史反馈数据，生成目标DRL模型。

由上可知，模型训练设备可以根据历史XR数据生成用于构建XR内容模型和XR模型纹理的目标GANs模型，用于生成动画和音频的目标VAEs模型，还有用于根据用户反馈调整XR内容的目标DRL模型。从而获得准确度更高的XR内容。

该模型训练方法适用于模型训练系统。图1示出了该模型训练系统的一种结构。如图1所示，该模型训练系统包括：模型训练设备101、用户终端102。

可选的，模型训练设备101用于获取历史XR内容数据和历史反馈数据，并基于历史XR内容数据和历史反馈数据，进行模型训练。

可选的，用户终端102用于向模型训练设备101发送历史反馈数据。

其中，模型训练设备101与用户终端102之间通信连接。

在实际应用中，模型训练设备101可以连接多个用户终端102。为了便于理解，本申请以一个模型训练设备101连接一个用户终端102为例进行说明。

可选的，模型训练设备101的实体设备可以是终端，也可以是服务器，还可以是其他类型的电子设备。

可选的，当模型训练设备101的实体设备为终端时，终端可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。终端可以经无线接入网(radio access network，RAN)与一个或多个核心网进行通信。终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，也可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据，例如，手机、平板电脑、笔记本电脑、上网本、个人数字助理(personaldigital assistant，PDA)。

可选的，当模型训练设备101的实体设备为服务器时，服务器可以是服务器集群(由多个服务器组成)中的一个服务器，也可以是该服务器中的芯片，还可以是该服务器中的片上系统，还可以通过部署在物理机上的虚拟机(virtual machine，VM)实现，本申请实施例对此不作限定。

图2示出了一种内容生成系统对应的结构。如图2所示，该内容生成系统包括：内容生成设备103、用户终端104。

可选的，内容生成设备103用于获取用户的需求信息和实时反馈信息，并基于模型训练设备101生成的GANs模型、VAEs模型和DRL模型，生成需求信息对应的XR内容。

可选的，用户终端104用于向内容生成设备103发送用户的需求信息和实时反馈数据。

其中，内容生成设备103与用户终端104之间通信连接。

在实际应用中，内容生成设备103可以连接多个用户终端104。为了便于理解，本申请以一个内容生成设备103连接一个用户终端104为例进行说明。

可选的，内容生成设备103的实体设备可以是终端，也可以是服务器，还可以是其他类型的电子设备。

可选的，当内容生成设备103的实体设备为终端时，终端可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。终端可以经RAN与一个或多个核心网进行通信。终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，也可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据，例如，手机、平板电脑、笔记本电脑、上网本、PDA。

可选的，当内容生成设备103的实体设备为服务器时，服务器可以是服务器集群(由多个服务器组成)中的一个服务器，也可以是该服务器中的芯片，还可以是该服务器中的片上系统，还可以通过部署在物理机上的VM实现，本申请实施例对此不作限定。

模型训练系统中的模型训练设备101，以及内容生成系统中的内容生成设备103的基本硬件结构类似，都包括图3或图4所示模型训练装置所包括的元件。下面以图3和图4所示的模型训练装置为例，介绍模型训练设备101和内容生成设备103的硬件结构。

如图3所示，为本申请实施例提供的模型训练装置和内容生成装置的一种硬件结构示意图。该模型训练装置包括处理器21，存储器22、通信接口23、总线24。处理器21，存储器22以及通信接口23之间可以通过总线24连接。

处理器21是模型训练装置的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器21可以是一个通用中央处理单元(central processing unit，CPU)，也可以是其他通用处理器等。其中，通用处理器可以是微处理器或者是任何常规的处理器等。

作为一种实施例，处理器21可以包括一个或多个CPU，例如图3中所示的CPU0和CPU1。

存储器22可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable program able read-only memory，EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

一种可能的实现方式中，存储器22可以独立于处理器21存在，存储器22可以通过总线24与处理器21相连接，用于存储指令或者程序代码。处理器21调用并执行存储器22中存储的指令或程序代码时，能够实现本申请下述实施例提供的模型训练方法。

在本申请实施例中，对于模型训练设备101而言，存储器22中存储的软件程序不同，所以模型训练设备101实现的功能不同。关于各设备所执行的功能将结合下面的流程图进行描述。

另一种可能的实现方式中，存储器22也可以和处理器21集成在一起。

通信接口23，用于模型训练装置与其他设备通过通信网络连接，所述通信网络可以是以太网，无线接入网，无线局域网(wireless local area networks，WLAN)等。通信接口23可以包括用于接收数据的接收单元，以及用于发送数据的发送单元。

总线24，可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component interconnect，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

图4示出了本申请实施例中模型训练装置的另一种硬件结构。如图4所示，模型训练装置可以包括处理器31以及通信接口32。处理器31与通信接口32耦合。

处理器31的功能可以参考上述处理器21的描述。此外，处理器31还具备存储功能，可以起上述存储器22的功能。

通信接口32用于为处理器31提供数据。该通信接口32可以是模型训练装置的内部接口，也可以是模型训练装置对外的接口(相当于通信接口23)。

需要指出的是，图3(或图4)中示出的结构并不构成对模型训练装置的限定，除图3(或图4)所示部件之外，该模型训练装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合附图对本申请实施例提供的模型训练方法进行详细介绍。

如图5所示，本申请实施例提供的模型训练方法应用于模型训练设备，模型训练方法包括：S401-S406。

S401、模型训练设备获取历史XR内容数据。

可选的，XR内容数据包括但不限于：VR数据、AR数据和MR数据。

具体的，为了生成更为真实更为准确的XR内容数据，模型训练设备需要通过大量的优质历史XR内容，对生成XR内容的模型进行训练。模型训练设备获取的历史XR内容越丰富，训练出来的用于生成XR内容的模型功能就越强大。

可选的，模型训练设备获取历史XR内容数据的一种实现方式：模型训练人员可以在模型训练设备上执行输入历史XR内容的操作。相应的，模型训练设备响应于模型训练人员执行的输入历史XR内容的操作，获取对应的历史XR内容。

示例性的，结合图1，假设模型训练人员可以在模型训练设备101上执行输入“大熊猫”相关XR内容的操作。相应的，模型训练设备101响应于模型训练人员执行的输入“大熊猫”相关XR内容的操作，获取“大熊猫”相关的XR内容。

S402、模型训练设备基于历史XR内容数据，生成目标GANs模型。

可选的，目标GANs模型可以为通过GANs技术生成的对抗神经网络模型，用于生成更为真实的XR内容。

具体的，因为GANs技术生成目标GANs模型，可以通过生成模型和鉴别模型的不间断的对抗性训练，从而获得更为清晰准确的XR内容，可以提高XR内容的真实性。

可选的，模型训练设备基于历史XR内容数据，生成目标GANs模型的一种实现方式：模型训练设备基于历史XR内容数据，生成原始的GANs模型。原始GANs模型包括：生成模型和鉴别模型。生成模型用于生成更为真实的XR内容，鉴别模型用于对历史XR内容和生成模型生成的XR内容进行判别，当生成模型生成的XR内容和历史XR内容之间的差别较小时，可以确定原始GANs模型为目标GANs模型。

S403、模型训练设备基于历史XR内容数据，确定历史XR内容数据对应的潜在分布数据。

可选的，潜在分布数据可以为用于训练VAEs模型的历史XR内容数据对应的分布统计数据，通常以多元高斯分布表示。

当模型训练设备确定历史XR内容数据对应的潜在分布数据后，模型训练设备可以根据潜在分布数据进行模型训练，从而生成目标VAEs模型。

S404、模型训练设备基于潜在分布数据，生成目标VAEs模型。

可选的，VAEs模型可以是一种生成式模型，可以通过学习多元高斯分布的参数(即历史XR内容数据对应的潜在分布数据)，从而生成具有历史XR内容数据类似特征的新XR内容，提高模型生成XR内容的多样性。

具体的，VAEs模型生成的XR内容可以尽可能的保留历史XR内容数据的重要特征，还可以根据历史XR内容数据的重要特征生成类似特征的新内容。

示例性的，结合图1，假设历史XR内容为“大熊猫”。在这种情况下，模型训练设备，可以确定“大熊猫”XR内容的动态分布数据，例如：站立、奔跑、吃竹子等。接着根据上述“大熊猫”XR内容的动态分布数据，进行模型训练，生成用于生成“大熊猫”动画和音频的目标VAEs模型。

S405、模型训练设备获取用户终端的历史反馈数据。

可选的，历史反馈数据可以包括但不限于：历史XR内容数据对应的用户的评价得分和历史XR内容数据对应的用户的操作数据。

具体的，模型训练设备可以根据历史反馈数据进行模型训练，通过DRL技术学习用户的偏好习惯，从而生成能够更好满足用户需求的目标DRL模型。

示例性的，结合图1，假设用户终端102中存储的历史反馈数据为“大熊猫应该吃竹子”。在这种情况下，模型训练设备101可以向用户终端102发送获取历史反馈数据的请求。然后用户终端102接收模型训练设备发送的请求，响应并向模型训练设备101发送“大熊猫应该吃竹子”的历史反馈数据。

S406、模型训练设备基于历史反馈数据，生成目标DRL模型。

可选的，DRL模型可以是一种通过深度强化学习的人工智能模型。

具体的，DRL模型可以通过反馈信息学习更加优秀的行为策略，从而生成更符合用户终端的需求的XR内容。

示例性的，结合图1，假设历史反馈数据为“大熊猫应该吃竹子”。在这种情况下，模型训练设备101可以根据历史反馈数据进行训练，生成目标DRL模型。当XR模型为“大熊猫”时，目标DRL模型对当前模型进行调整，并添加竹子模型。

在本申请实施例中，模型训练设备可以基于历史XR内容数据和历史反馈数据，进行模型训练，从而生成目标GANs模型、目标VAEs模型和目标DRL模型。在生成上述三种模型之后，目标GANs模型可以生成更为真实模型纹理更加清晰的XR内容；目标VAEs模型可以生成XR内容对应的动画和音频，使生成XR内容更多样性；目标DRL模型可以使生成的XR内容更加贴合用户需求。

在一些实施例中，结合图5，如图6所示，上述S402中，模型训练设备基于历史XR内容数据，生成目标GANs模型的方法具体包括：S501-S504。

S501、模型训练设备基于历史XR内容数据，生成原始GANs模型。

其中，原始GANs模型包括：生成模型和鉴别模型。

具体的，原始GANs模型属于基于最小最大值理论和零和博弈理论训练出来的生成式模型，生成模型用于生成目标XR内容，并将生成出来的目标XR内容发送给鉴别模型。鉴别模型用于区分生成模型生成的目标XR内容和历史XR内容。当鉴别模型无法区别生成模型生成的目标XR内容和历史XR内容时，模型训练设备就确定GANs技术中的对抗性训练成功，从而确定原始GANs模型为目标GANs模型。

S502、模型训练设备将历史XR内容数据对应的属性信息输入生成模型，生成目标XR内容数据。

可选的，属性信息包括但不限于：历史XR内容的分类、历史XR内容的环境和历史XR内容的主题。

可选的，目标XR内容数据可以为GANs模型中的生成模型根据历史XR内容数据对应的属性信息，生成的XR内容对应的数据。

示例性的，结合图1，假设历史XR内容数据的属性信息为“吃竹子的大熊猫”。在这种情况下，模型训练设备101可以将“吃竹子的大熊猫”输入生成模型，从而生成目标XR内容数据。

S503、模型训练设备将属性信息相同的目标XR内容数据和历史XR内容数据输入鉴别模型，确定目标XR内容数据和历史XR内容数据差别占比。

具体的，目标XR内容数据和历史XR内容数据差别占比为：目标XR内容数据与历史XR内容数据之间不同的数据，与历史XR内容数据总数据量之间的比值。

可选的，当目标XR内容数据和历史XR内容数据差别占比过大时，鉴别模型可以向生成模型发送提示信息，用于提示生成模型重新进行训练，直到差别占比小于预设数值。

示例性的，结合图1，假设历史XR内容数据的属性信息为“吃竹子的大熊猫”。在这种情况下，模型训练设备101可以将属性信息为“吃竹子的大熊猫”目标XR内容数据和历史XR内容数据进行鉴别，从而确定二者之间的差异占比。

S504、当差别占比小于预设数值时，模型训练设备确定原始GANs模型为目标GANs模型。

具体的，当目标XR内容数据和历史XR内容数据差别占比小于预设数值时，说明鉴别模型无法区分目标XR内容数据和历史XR内容数据。在这种情况下，模型训练设备可以确定原始GANs模型中的生成模型生成的XR内容质量满足要求。

示例性的，结合图1，假设预设数值为10％。属性信息为“吃竹子的大熊猫”目标XR内容数据和历史XR内容数据之间的差别占比为8％。在这种情况下，电子设备可以确定

在本申请实施例中，通过GANs技术中的对抗性训练，生成的XR内容

在一些实施例中，结合图6，如图7所示，上述S406中，历史反馈数据包括：用户满意度和用户指令，模型训练设备基于历史反馈数据，生成目标DRL模型的方法具体包括：S601-S603。

S601、模型训练设备基于DRL技术，以及用户满意度，获取用户偏好数据。

具体的，DRL技术为一种结合了深度神经网络和强化学习的算法的人工智能模型训练技术。

可选的，用户偏好数据可以为一种表示用户针对XR内容反馈的倾向性数据，模型训练设备通过学习用户的偏好数据，从而生成目标DRL模型。目标DRL模型可以对XR内容进行调整，以使得XR内容更符合用户需求。

示例性的，结合图1，假设用户对于XR背景为傍晚的XR内容评分更高，在这种情况下，电子设备可以在生成新的XR内容时，会优先选择傍晚作为XR内容的背景环境。

S602、模型训练设备基于DRL技术，以及用户指令，生成修改XR内容指令。

可选的，模型训练设备获取用户指令的一种实现方式为：用户可以在用户终端上执行的调整操作，相应的，用户终端响应于该调整操作生成用户指令。然后，用户终端可以向模型训练设备发送上述用户指令，以使得模型训练设备获取上述用户指令。

可选的，修改XR内容指令包括但不限于：调整XR内容中的模型位置、改变XR内容中的背景环境和改变XR内容中的模型大小。

S603、模型训练设备基于用户偏好数据，以及修改XR内容指令，生成目标DRL模型。

具体的，为了生成更符合用户要求的XR内容，需要随时根据用户的反馈信息对生成XR内容进行调整。因此，需要根据用户偏好数据以及XR内容指令，生成目标DRL模型，然后目标DRL模型可以在接收到用户对当前XR内容的反馈时，确定当前XR内容对应的调整指令。

在本申请实施例中，模型训练设备可以基于用户偏好数据，以及修改XR内容指令，生成目标DRL模型。通过这种方法可以解决生成XR内容无法根据用户需求随时调整的问题。

如图8所示，本申请实施例提供的内容生成方法应用于内容生成设备，内容生成方法包括：S701-S703。

S701、内容生成设备获取用户终端的需求信息。

可选的，用户终端包括但不限于：VR头盔、AR眼镜、投影仪和显示液晶屏。

可选的，需求信息包括但不限于：XR内容的场景描述、XR内容的人物和XR内容的物品。

具体的，内容生成设备可以通过获取用户终端的需求信息，从而根据用户终端的需求信息，生成与需求信息最接近的XR内容。

当用户终端的需求信息越是详细清楚，生成的XR内容就越准确，质量也会更高。

可选的，内容生成设备获取用户终端的需求信息的一种实现方式：用户可以在用户终端上执行输入需求信息的操作。相应的，用户终端可以响应上述输入需求信息的操作，生成用户对应的需求信息。接着，用户终端可以向内容生成设备发送上述需求信息。在这种情况下，内容生成设备可以获取到用户终端的需求信息。

S702、内容生成设备基于需求信息，以及目标GANs模型，生成XR内容模型和XR内容模型对应纹理。

可选的，内容生成设备与模型训练设备之间可以通信连接，从而获取模型训练生成的目标GANs模型、目标VAES模型和目标DRL模型。

可选的，XR内容模型为用于构建XR内容的三维立体展示的模型，由网格、材质和贴图。

可选的，XR内容模型对应纹理为XR内容模型中贴图对应的最基本数据输入单位(也可以称为XR内容模型的图像映射规则)。

示例性的，结合图2，假设根据需求信息为XR内容背景为山水风格、主体为大熊猫、动作是吃竹子。内容生成设备可以将上述信息输入到目标GANs模型，从而生成一只在山水背景中的大熊猫，并为大熊猫设置对应的皮毛纹理。

S703、内容生成设备基于需求信息，以及目标VAEs模型，生成XR内容模型对应的动画和XR内容模型对应的音频。

示例性的，结合图2，假设根据需求信息为XR内容背景为山水风格、主体为大熊猫、动作是吃竹子。内容生成设备可以将上述信息输入到目标VAEs模型，从而为大熊猫添加吃竹子的动画效果。

在本申请实施例中，内容生成设备基于用户终端的需求信息，生成需求信息对应的XR内容模型和XR内容模型的纹理，以使得生成XR内容更加的真实且符合用户需求。然后通过VAEs模型生成XR内容模型对应的动画和XR内容模型对应的音频，以使得生成的XR内容动作更加流畅不死板。综上，内容生成设备可以通过GANS模型和VAEs模型，生成质量更高且更符合用户需求的XR内容。

在一些实施例中，结合图8，如图9所示，内容生成方法还包括：S801-S802。

S801、内容生成设备获取用户终端的实时反馈数据。

可选的，实时反馈数据包括：用户终端在播放XR内容时，使用用户终端的用户在XR内容对应的虚拟环境中产生的意见反馈，或者用户与XR内容中物品之间的交互操作。

具体的，内容生成设备可以通过获取用户终端的实时反馈数据，从而记录到用户的习惯偏好，然后可以根据用户的习惯偏好对XR内容进行修改，从而生成个性化的XR内容。

S802、内容生成设备基于用户终端的实时反馈数据，以及目标DRL模型，生成修改XR内容模型的指令。

示例性的，结合图2，假设实时反馈数据为“大熊猫的体型过大”。在这种情况下，将“大熊猫的体型过大”的实时反馈数据输入到目标DRL模型，生成“缩小大熊猫体型”的指令。

在本申请实施例中，内容生成设备将用户终端的实时反馈数据，输入目标DRL模型，可以生成用于修改XR内容模型的指令，以使得XR内容可以随着时间的推移不断更新。

在生成XR内容之后，还可以将生成XR内容的文件格式转化为可以被VR头盔、AR眼镜和智能手机识别的多种标准文件格式，提高生成XR内容的兼容性。

并且，还可以提供通用的接口，允许用户终端所在的设备与其他系统和应用程序进行交互，提高混合现实应用程序的创建程度。

此外，还可以将生成XR内容上传到网络云端，用户可以随时登录云端对生成的XR内容所在网页进行访问，从而随时随地的使用XR内容。

同时，还配备了网络连接模块，可以使用各种网络技术进行通信连接，从而使得多个用户在同一XR环境中共同完成交互。

还可以将用户收集的XR内容进行加密，保护用户的个人隐私。

在用户使用完XR内容后，还可以给XR内容进行打分，当XR内容的分数较高时，内容生成设备会优先选择该XR内容作为之后模型训练的模板，从而提高了XR内容的复用率。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对模型训练装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。可选的，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

如图10所示，为本申请实施例提供的一种模型训练装置的结构示意图。该模型训练装置可以用于执行图5-图7所示的模型训练的方法。图10所示模型训练装置包括：获取单元901、生成单元902和确定单元903。

获取单元901，用于获取历史扩展现实XR内容数据；生成单元902，用于基于历史XR内容数据，生成目标生成对抗网络GANs模型；确定单元903，用于基于历史XR内容数据，确定历史XR内容数据对应的潜在分布数据；生成单元902，还用于基于潜在分布数据，生成目标变分自编码VAEs模型；获取单元901，还用于获取用户终端的历史反馈数据；生成单元902，还用于基于历史反馈数据，生成目标深度强化学习DRL模型。

可选的，生成单元902具体用于：基于历史XR内容数据，生成原始GANs模型；原始GANs模型包括：生成模型和鉴别模型；将历史XR内容数据对应的属性信息输入生成模型，生成目标XR内容数据；将属性信息相同的目标XR内容数据和历史XR内容数据输入鉴别模型，确定目标XR内容数据和历史XR内容数据差别占比；当差别占比小于预设数值时，确定原始GANs模型为目标GANs模型。

可选的，历史反馈数据包括：用户满意度和用户指令，生成单元902具体用于：基于DRL技术，以及用户满意度，获取用户偏好数据；基于DRL技术，以及用户指令，生成修改XR内容指令；基于用户偏好数据，以及修改XR内容指令，生成目标DRL模型。

如图11所示，为本申请实施例提供的一种内容生成装置的结构示意图。该内容生成装置可以用于执行图8-图9所示的内容生成的方法。图11所示模型训练装置包括：获取单元1001和生成单元1002；获取单元1001，用于获取用户终端的需求信息；生成单元1002，用于基于需求信息，以及目标GANs模型，生成XR内容模型和XR内容模型对应纹理；生成单元1002，还用于基于需求信息，以及目标VAEs模型，生成XR内容模型对应的动画和XR内容模型对应的音频。

可选的，获取单元1001还用于，获取用户终端的实时反馈数据；基于用户终端的实时反馈数据，以及目标DRL模型，生成修改XR内容模型的指令。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质包括计算机执行指令，当计算机执行指令在计算机上运行时，使得计算机执行如上述实施例提供的模型训练方法。

本申请实施例还提供一种计算机程序，该计算机程序可直接加载到存储器中，并含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述实施例提供的模型训练方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种模型训练方法，其特征在于，包括：

获取历史扩展现实XR内容数据；

基于所述历史XR内容数据，生成目标生成对抗网络GANs模型；

基于所述历史XR内容数据，确定所述历史XR内容数据对应的潜在分布数据；

基于所述潜在分布数据，生成目标变分自编码VAEs模型；

获取用户终端的历史反馈数据；

基于所述历史反馈数据，生成目标深度强化学习DRL模型。

2.根据权利要求1所述的模型训练方法，其特征在于，所述根据所述历史XR内容数据生成目标生成对抗网络GANs模型，包括：

基于所述历史XR内容数据，生成原始GANs模型；所述原始GANs模型包括：生成模型和鉴别模型；

将所述历史XR内容数据对应的属性信息输入所述生成模型，生成目标XR内容数据；

将所述属性信息相同的所述目标XR内容数据和所述历史XR内容数据输入所述鉴别模型，确定所述目标XR内容数据和所述历史XR内容数据差别占比；

当所述差别占比小于预设数值时，确定所述原始GANs模型为所述目标GANs模型。

3.根据权利要求1所述的模型训练方法，其特征在于，所述历史反馈数据包括：用户满意度和用户指令，所述根据所述历史反馈数据，生成目标深度强化学习DRL模型，包括：

基于DRL技术，以及用户满意度，获取用户偏好数据；

基于所述DRL技术，以及用户指令，生成修改XR内容指令；

基于所述用户偏好数据，以及所述修改XR内容指令，生成所述目标DRL模型。

4.一种内容生成方法，其特征在于，包括：

获取所述用户终端的需求信息；

基于所述需求信息，以及所述目标GANs模型，生成XR内容模型和所述XR内容模型对应纹理；

基于所述需求信息，以及目标VAEs模型，生成所述XR内容模型对应的动画和所述XR内容模型对应的音频。

5.根据权利要求4所述的内容生成方法，其特征在于，还包括：

获取所述用户终端的实时反馈数据；

基于所述用户终端的实时反馈数据，以及所述目标DRL模型，生成修改所述XR内容模型的指令。

6.一种模型训练装置，其特征在于，包括：获取模块、生成模块和确定模块；所述获取模块，用于获取历史扩展现实XR内容数据；

所述生成模块，用于基于所述历史XR内容数据，生成目标生成对抗网络GANs模型；

所述确定模块，用于基于所述历史XR内容数据，确定所述历史XR内容数据对应的潜在分布数据；

所述生成模块，还用于基于所述潜在分布数据，生成目标变分自编码VAEs模型；

所述获取模块，还用于获取用户终端的历史反馈数据；

所述生成模块，用于基于所述历史反馈数据，生成目标深度强化学习DRL模型。

7.一种内容生成装置，其特征在于，包括：获取模块、生成模块；

所述获取单元，用于获取所述用户终端的需求信息；

所述生成单元，用于基于所述需求信息，以及所述目标GANs模型，生成XR内容模型和所述XR内容模型对应纹理；

所述生成模块，还用于基于所述需求信息，以及目标VAEs模型，生成所述XR内容模型对应的动画和所述XR内容模型对应的音频。

8.一种模型训练装置，其特征在于，包括存储器和处理器；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过总线连接；当所述模型训练装置运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述模型训练装置执行如权利要求1-3任一项所述的模型训练方法。

9.一种内容生成装置，其特征在于，包括存储器和处理器；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过总线连接；当所述内容生成装置运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述内容生成装置执行如权利要求4或5所述的内容生成方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机执行指令，当所述计算机执行指令在计算机上运行时，使得所述计算机执行如权利要求1-3任一项所述的模型训练方法或执行如权利要求4或5所述的内容生成方法。