CN115346028A - 虚拟环境主题处理方法及装置 - Google Patents

虚拟环境主题处理方法及装置 Download PDF

Info

Publication number
CN115346028A
CN115346028A CN202210989247.5A CN202210989247A CN115346028A CN 115346028 A CN115346028 A CN 115346028A CN 202210989247 A CN202210989247 A CN 202210989247A CN 115346028 A CN115346028 A CN 115346028A
Authority
CN
China
Prior art keywords
theme
image
professional
user
occupation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210989247.5A
Other languages
English (en)
Inventor
曹佳炯
丁菁汀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210989247.5A priority Critical patent/CN115346028A/zh
Publication of CN115346028A publication Critical patent/CN115346028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本说明书实施例提供了虚拟环境主题处理方法及装置，其中，一种虚拟环境主题处理方法包括：根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度；根据所述置信度和所述职业类别确定所述用户的目标职业类别；将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得；在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。

Description

虚拟环境主题处理方法及装置
技术领域
本文件涉及数据处理技术领域，尤其涉及一种虚拟环境主题处理方法及装置。
背景技术
随着互联网技术的不断发展，虚拟世界逐渐成为学术界和工业界的热门话题。虚拟世界能够高度逼真地模拟用户在现实世界中的视、听、触等行为，用户可以在虚拟世界中从事与现实世界类似的各种行为活动，或者在虚拟世界中从事在现实世界中无法进行的行为活动，比如飞行。然而，针对虚拟世界的研究还处于起步阶段，所以如何能更深入地研究虚拟世界成为学术界与工业界的重要关注点。
发明内容
本说明书一个或多个实施例提供了一种虚拟环境主题处理方法，包括：根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度。根据所述置信度和所述职业类别确定所述用户的目标职业类别。将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得。在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
本说明书一个或多个实施例提供了一种虚拟环境主题处理装置，包括：职业预测模块，被配置为根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度。职业类别确定模块，被配置为根据所述置信度和所述职业类别确定所述用户的目标职业类别。主题渲染模块，被配置为将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得。主题图像输出模块，被配置为在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
本说明书一个或多个实施例提供了一种虚拟环境主题处理设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度。根据所述置信度和所述职业类别确定所述用户的目标职业类别。将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得。在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
本说明书一个或多个实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度。根据所述置信度和所述职业类别确定所述用户的目标职业类别。将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得。在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；
图1为本说明书一个或多个实施例提供的一种虚拟环境主题处理方法处理流程图；
图2为本说明书一个或多个实施例提供的一种应用于虚拟世界场景的虚拟环境主题处理方法处理流程图；
图3为本说明书一个或多个实施例提供的另一种虚拟环境主题处理方法处理流程图；
图4为本说明书一个或多个实施例提供的一种虚拟环境主题处理装置示意图；
图5为本说明书一个或多个实施例提供的一种虚拟环境主题处理设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
本说明书提供的一种虚拟环境主题处理方法实施例：
本实施例提供的虚拟环境主题处理方法，根据用户的职业类别生成对应的职业主题图像，并向用户的接入设备进行输出，具体的，首先根据用户的图像数据和行为数据对用户的职业类别进行预测，输出职业类别和置信度，通过图像数据和行为数据进行多模态职业预测，提升职业预测的准确性，并借助输出的职业类别和置信度确定用户的目标职业类别；其次，将虚拟环境图像输入目标职业类别对应的主题渲染模型，进行目标职业类别的职业主题的主题渲染；最后，在检测到用户接入虚拟世界的接入指令后，向用户的接入设备输出渲染获得的职业主题图像，以此，实现基于用户的职业类别生成职业主题图像的自动化，提升主题图像生成的灵活化，满足用户的多样化需求，提升用户体验。
参照图1，本实施例提供的虚拟环境主题处理方法，具体包括步骤S102至步骤S108。
步骤S102，根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度。
本实施例所述图像数据，是指通过图像传感器采集的用户的图像数据，比如用户的脸部图像，可选的，在用户访问虚拟世界时，所述图像数据通过用户的接入设备配置的图像传感器进行采集。
所述虚拟世界，是指基于去中心化协作实现并且具有开放经济系统的虚拟的拟真世界，可选的，所述虚拟世界中通过生成非同质化标识进行去中心化的交易，通过交易占有虚拟资产的所有权。具体的，真实世界中的用户可通过接入设备接入虚拟世界，以在虚拟世界中进行去中心化的交易和其他行为，比如用户通过接入设备进行游戏交互的游戏虚拟世界，再比如用户通过接入设备进行在线会议的会议虚拟世界，或者用户通过接入设备进行在线交易的交易虚拟世界；所述虚拟世界的接入设备，可以是连接虚拟世界的VR(VirtualReality，虚拟现实)设备、AR(Augmented Reality，增强现实)设备等，比如连接虚拟世界的头戴式VR设备。
所述行为数据，包括用户在虚拟世界的交互数据，比如娱乐交互数据和/或工作交互数据；所述职业类别，是指职业预测获得的用户可能的职业类别，该职业类别可以是一者，也可以是多者，所述职业类别，包括真实的职业类别(比如教师)或者虚拟角色类别(比如游戏中的牧师)；所述置信度，是表征职业预测的预测指标，所述置信度包括用户职业类别为所述职业类别中首个职业类别的概率。
实际应用中，为了提升用户职业预测的准确性，可采集用户的图像数据和行为数据，根据图像数据和行为数据进行用户职业预测，获得职业类别和置信度，此外，也可根据图像数据和行为数据中任意一者进行用户职业预测，获得职业类别和置信度；另外，还可采集用户的多模态数据，所述多模态数据包括图像数据和行为数据，根据用户的多模态数据进行用户职业预测，获得职业类别和置信度，除此之外，所述多模态数据还可包括其他类型的数据，比如语音数据，在此情况下，根据图像数据、行为数据和/或语音数据进行用户职业预测，获得职业类别和置信度。
具体实施时，为了提升进行用户职业预测的预测效率，通过多模态职业预测模型进行用户职业预测，本实施例提供的一种可选实施方式中，具体在通过多模态职业预测模型进行用户职业预测的过程中，执行如下操作：
将所述图像数据和所述用户在所述虚拟世界的交互数据，输入多模态职业预测模型进行所述用户职业预测，获得所述职业类别和所述置信度。
例如，将图像数据和交互数据输入多模态职业预测模型进行用户职业预测，获得职业类别为：教师、培训师、育婴师，输出置信度为85％。
此外，上述提供的将所述图像数据和所述用户在所述虚拟世界的交互数据，输入多模态职业预测模型进行用户职业预测这一实现方式，还可被替换为：根据所述用户的图像数据和所述用户在所述虚拟世界的交互数据，进行用户职业预测获得所述职业类别和所述置信度，并与本实施例提供的其他处理步骤组成新的实现方式。
在具体的执行过程中，在多模态职业预测模型中可配置多个网络结构，以通过多个网络结构进行用户职业预测，本实施例提供的一种可选实施方式中，所述多模态职业预测模型，包括图像特征提取网络、交互特征提取网络和多模态职业预测网络；
其中，所述用户职业预测，采用如下方式实现：
通过所述图像特征提取网络从所述图像数据中提取图像特征，并利用所述交互特征提取网络从所述交互数据中提取交互特征；
将所述图像特征和所述交互特征输入所述多模态职业预测网络，计算存储职业类别中各职业类别的预测概率；
根据所述预测概率在所述存储职业类别中确定所述职业类别，并将符合预设条件的预测概率作为所述置信度。
其中，所述存储职业类别，是指预先存储的职业类别；所述预测概率，是指各职业类别为用户职业类别的预测概率，所述用户职业类别，是指用户真实的职业类别；所述预设条件，包括预测概率的排序位置处于预设位置之前，比如预测概率的排序位置处于第二位之前，即预测概率的排序位置处于首位。在具体排序过程中，可按照由大到小的顺序对所述预测概率对应的职业类别进行排序。
具体在根据所述预测概率在所述存储职业类别中确定所述职业类别的过程中，可根据所述预测概率从所述存储职业类别中筛选存储职业类别作为所述职业类别。
此外，所述多模态职业预测模型，还可包括图像特征提取网络、行为特征提取网络和多模态职业预测网络；所述用户职业预测的实现方式也可被替换为：通过所述图像特征提取网络从所述图像数据中提取图像特征，并利用所述行为特征提取网络从所述行为数据中提取行为特征；将所述图像特征和所述交互特征输入所述多模态职业预测网络，输出所述职业类别和所述置信度。
除此之外，上述用户职业预测的实现方式也可被替换为：从所述图像数据中提取图像特征，并从行为数据中提取行为特征；根据所述图像特征和所述行为特征进行职业预测，输出所述职业类别和置信度。
其中，所述多模态职业预测模型的训练可以预先完成，具体在多模态职业预测模型的训练过程中，本实施例提供的一种可选实施方式中，所述多模态职业预测模型，采用如下方式进行训练：
根据图像数据和行为数据构建多模态样本集，并构建待训练模型；
将所述多模态样本集输入所述待训练模型进行模型训练；
若模型训练获得的中间模型在至少一个维度下的评估指标符合模型训练终止条件，则将所述中间模型确定为所述多模态职业预测模型。
其中，所述维度，包括图像维度、行为维度和/或综合维度，所述评估指标包括损失值，所述模型训练终止条件，包括损失值不再减小。
具体的，可根据图像数据构建图像样本集，并根据行为数据构建行为样本集；构建待训练模型，待训练模型设置有图像特征提取网络、行为特征提取网络和多模态职业预测网络；图像特征提取网络用于提取所述图像样本集中各图像样本的图像特征，行为特征提取网络用于提取所述行为样本集中各行为样本的行为特征，多模态职业预测网络可根据图像特征提取网络输出的图像特征和行为特征提取网络输出的行为特征，进行用户职业预测概率的计算并输出预测概率；此外，也可在图像特征提取网络之后，增加第一职业预测网络，用于根据图像特征提取网络输出的图像特征计算第一职业预测概率，还可在行为特征提取网络之后，增加第二职业预测网络，用于根据行为特征提取网络输出的行为特征计算第二职业预测概率。
在获得预测概率、第一职业预测概率和/或第二职业预测概率之后，根据预测概率计算多模态预测准确率、根据第一职业预测概率计算图像预测准确率和/或根据第二职业预测概率计算行为预测准确率；进一步，还可在模型训练过程中构建损失函数，在训练过程中，基于上述网络结构和损失函数进行网络训练，直至损失函数值不再减小获得多模态职业预测模型。
实际应用中，用户在访问虚拟世界的场景的过程中，可能不设置自身的职业类别，在此情况下，为了使用户同样感受丰富的虚拟世界，以此来提升用户粘性，可按照默认配置使用户的接入设备接入虚拟世界，本实施例提供的一种可选实施方式中，在根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度执行之后，还执行如下操作：
检测用户职业类别是否为预设职业类别；
若否，则执行步骤S104；
若是，则将虚拟环境图像向所述接入设备进行输出；
其中，所述接入设备配置有图像传感器，所述图像传感器采集所述图像数据；所述用户职业类别是指用户的职业类别。
所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得；所述预设职业类别，是指预先设置的职业类别，比如预设职业类别为：检测到用户的职业类别为空。
此外，上述提供的在根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度执行之后，检测用户职业类别是否为预设职业类别这一实现方式，还可被替换为：检测用户职业类别是否为空；若是，则执行步骤S104，若否，则将虚拟环境图像向所述接入设备进行输出，并与本实施例提供的其他处理步骤组成新的实现方式。
步骤S104，根据所述置信度和所述职业类别确定所述用户的目标职业类别。
上述根据用户的图像数据和行为数据进行用户职业预测之后，本步骤中，可借助置信度和职业类别确定用户的目标职业类别，其中，所述目标职业类别，是指该用户的职业类别，比如该用户的职业类别为“教师”。
具体实施时，为了提升目标职业类别的有效性，可设置置信度取值区间，基于所述置信度所处的置信度取值区间，确定用户的职业策略，并按照职业策略在所述职业类别中确定目标职业类别，本实施例提供的一种可选实施方式中，在根据置信度和职业类别确定用户的目标职业类别的过程中，执行如下操作：
根据所述置信度所处的置信度取值区间，确定所述用户的职业策略；
根据所述职业策略和所述职业类别确定所述目标职业类别。
其中，所述职业策略，是指确定用户的职业类别的策略；所述置信度取值区间，是指置信度可能的取值区间，比如，置信度取值区间包括：置信度≥T1、置信度≥T2且置信度＜T1、置信度＜T2，其中，T1和T2均为0-1之间的取值，且T1＞T2。
在此基础上，在上述根据所述职业策略和所述职业类别确定所述目标职业类别的过程中，为了提升职业策略的全面性，以全面的职业策略覆盖用户的多样化需求，按照用户的不同需求进行灵活化处理，本实施例提供的一种可选实施方式中，在根据所述职业策略和所述职业类别确定所述目标职业类别的过程中，执行如下操作：
若确定的职业策略为第一职业策略，则将所述职业类别中的首个职业类别确定为所述目标职业类别；
若确定的职业策略为第二职业策略，则获取所述用户在所述职业类别中选择的职业类别作为所述目标职业类别；
若确定的职业策略为第三职业策略，则获取所述用户录入的职业类别作为所述目标职业类别。
其中，所述职业类别中的首个职业类别，是指所述职业类别中排序位置处于首位的职业类别；在具体排序过程中，可计算所述职业类别中各职业类别的预测概率，并按照由大到小的顺序对所述预测概率对应的职业类别进行排序。
此外，上述提供的根据置信度取值区间确定的职业策略和所述职业类别确定目标职业类别的实现方式，还可被替换为：若置信度所处的置信度取值区间为第一区间，则将所述职业类别中的首个职业类别确定为所述目标职业类别；和/或，若置信度所处的置信度取值区间为第二区间，则获取所述用户在所述职业类别中选择的职业类别作为所述目标职业类别；和/或，若置信度所处的置信度取值区间为第三区间，则获取所述用户录入的职业类别作为所述目标职业类别，并与本实施例提供的其他处理步骤组成新的实现方式。
步骤S106，将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染。
在上述根据置信度和职业类别确定用户的目标职业类别之后，本步骤中，采用主题渲染模型对虚拟环境图像进行主题渲染，具体职业类别与主题渲染模型具有对应关系，即每个职业类别对应1个主题渲染模型，则将虚拟环境图像输入目标职业类别对应的主题渲染模型，对虚拟环境图像进行目标职业类别的职业主题的主题渲染，输出职业主题图像。
本实施例所述虚拟环境图像是指与物理环境对应的虚拟环境的图像，所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得；所述物理环境，是指真实世界(现实世界)的环境。
可选的，所述多视角图像，是指在真实世界中从多个采集视角出发针对目标进行图像采集获得的图像，该目标可以是一个用户，也可以是用户的某个身体部位(比如头部)。可选的，所述用户的多视角图像，包括在真实世界中针对用户采集的至少一个视角的用户图像，比如针对用户从前、后、左、右四个视角出发进行图像采集，采集获得的四张用户图像即为该用户的多视角图像。所述多视角图像包括多视角RGB(Red，Green，Blue)图像。
本实施例中，所述主题渲染模型可通过预先训练获得，具体可基于训练样本对预先构建的待训练模型进行训练，训练样本为真实世界具有目标职业类别的职业主题的图像，训练完成之后获得主题渲染模型，主题渲染模型可以是采用stylegan架构的模型。
具体实施时，为了提升虚拟环境图像的准确性和有效性，能更真实地在虚拟世界中还原物理环境，可从多个角度采集物理环境的图像，获得物理环境的多角度图像，基于物理环境的多视角图像进行图像重建获得虚拟环境图像。本实施例提供的一种可选实施方式中，在对物理环境的多视角图像进行图像重建的过程中，执行如下操作：
将所述多视角图像输入图像重建模型进行图像重建，获得所述虚拟环境图像；
或者，
对所述多视角图像向所述虚拟世界进行图像映射处理；
对映射处理获得的映射图像进行图像整合处理，并对整合处理获得的整合图像进行仿射变换，获得所述虚拟环境图像；
或者，
对所述多视角图像向所述虚拟世界进行图像映射处理；
对映射处理获得的映射图像进行仿射变换，并对获得的仿射变换图像进行图像整合处理，获得所述虚拟环境图像。
其中，图像重建模型可以是神经辐射场模型，具体采用NERF(Neural RadianceFields)架构。
在对物理环境的多视角图像进行图像重建的过程中，为了提升图像重建的重建效率和便捷性，可引入图像重建模型进行图像重建，具体将物理环境的多视角图像输入图像重建模型进行图像重建，输出虚拟环境图像；其中，所述图像重建模型可预先训练，具体可基于训练样本对预先构建的待训练模型进行训练，训练样本为物理环境的多视角图像，训练完成之后获得图像重建模型。
为了提升图像重建的灵活性，同时提升图像重建后的虚拟环境图像的图像质量，可向虚拟世界进行物理环境的多视角图像的图像映射处理，并对映射处理获得的映射图像进行图像整合处理，对整合处理获得的整合图像进行仿射变换，获得虚拟环境图像。
其中，所述图像整合处理包括图像合成处理、图像拼接处理和/或图像去重处理；所述仿射变换，包括进行平移、渲染、缩小、放大、拉伸等变换。
此外，在对多视角图像向虚拟世界进行图像映射处理的过程中，具体可通过如下方式实现：根据多视角图像中包含的像素点，将所述像素点向所述虚拟世界进行像素点映射处理；和/或，建立多视角图像与虚拟世界的世界坐标的映射关系；基于所述映射关系确定所述多视角图像在所述虚拟世界中映射的映射方向，并根据映射方向确定映射图像。
在具体的执行过程中，在基于图像重建获得虚拟环境图像之后，可对虚拟环境图像进行目标职业类别的职业主题的主题渲染，获得职业主题图像，为了提升主题渲染效率，还可通过训练主题渲染模型，利用目标职业类别对应的主题渲染模型对虚拟环境图像进行目标职业类别的职业主题的主题渲染。本实施例提供的一种可选实施方式中，在对虚拟环境图像进行目标职业类别的职业主题的主题渲染的过程中，执行如下操作：
根据所述职业主题的主题图像中的图像元素，对所述虚拟环境图像进行元素渲染，获得所述职业主题图像。
具体的，职业主题下存储有一个或者多个主题图像，根据该主题图像中的图像元素，对虚拟环境图像进行元素渲染，获得职业主题图像。
此外，上述对虚拟环境图像进行主题渲染的执行过程，还可采用如下方式实现：根据职业主题的主题图像，对所述虚拟环境图像进行主题迁移，获得所述职业主题图像。
具体将职业主题的主题图像携带的主题迁移至所述虚拟环境图像，获得所述职业主题图像。
实际应用中，在虚拟世界可针对虚拟资产进行交易，以此获得收益，其中，所述虚拟资产可以是虚拟地产、虚拟服饰等，而在虚拟世界中，采用非同质化标识进行交易，为了使用户的目标职业类别的职业主题能够交易，并由交易为用户带来收益，可生成目标职业类别的职业主题对应的非同质化标识。本实施例提供的一种可选实施方式中，在步骤S106执行之后，还可执行如下操作：
生成用于在所述虚拟世界进行职业主题交易的非同质化标识。
在进行职业主题交易的过程中，可基于所述非同质化标识在所述虚拟世界进行所述职业主题的去中心化交易，并在交易成功后进行所述职业主题的所有权的转移处理。
其中，所述非同质化标识包括NFT(Non-Fungible Token，非同质化代币)。
具体的，本实施例提供的一种可选实施方式中，所述职业主题交易，包括：
获取交易用户针对所述职业主题提交的交易指令；
基于所述非同质化标识，在所述虚拟世界进行所述职业主题的去中心化交易，并在交易成功后，将所述用户针对所述职业主题的所有权转移至所述交易用户。
所述交易用户，包括在虚拟世界中进行职业主题交易的用户。
步骤S108，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
上述将虚拟环境图像输入目标职业类别对应的主题渲染模型，对虚拟环境图像进行目标职业类别的职业主题的主题渲染，本步骤中，将主题渲染获得的职业主题图像向用户的接入设备进行输出，向用户展示职业主题图像，其中，所述职业主题图像，是对虚拟环境图像进行目标职业类别的职业主题的主题渲染之后获得的图像。
具体实施时，为了提升职业主题图像的丰富程度，并满足用户对职业主题图像的更改需求，提升职业主题图像的全面性，可对职业主题图像中的职业主题对象进行更新。本实施例提供的一种可选实施方式中，在检测到用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向用户的接入设备进行输出执行之后，还执行如下操作：
若所述职业主题图像中的职业主题对象被触发，则加载与所述职业主题对象关联的虚拟对象元素；
根据选择指令中携带的目标虚拟对象元素更新所述职业主题对象。
其中，所述职业主题对象，包括职业主题图像中的对象，比如职业主题图像中的“学校建筑物”；所述虚拟对象元素，包括职业主题对象的对象元素，比如“学校建筑物”的对象元素有“a风格建筑物”、“b风格建筑物”。
例如，若“教师”主题的职业主题图像中的“学校建筑物”被触发，则加载与“学校建筑物”关联的“建筑物元素”，“建筑物元素”有“a风格建筑物”和“b风格建筑物”，根据选择指令中携带的“b风格建筑物”更新“学校建筑物”。
实际应用中，为了增加用户在虚拟世界与关联用户的交互，以此达到引流的目的，可根据所述职业主题邀请用户的关联用户加入虚拟世界，将职业主题图像向关联用户的接入设备进行输出，或者获取关联用户针对职业主题的参与指令，在关联用户的职业类别与目标职业类别匹配的情况下，并在用户授权之后，将职业主题图像向关联用户的接入设备进行输出。本实施例提供的一种可选实施方式中，在检测到用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向用户的接入设备进行输出执行之后，还执行如下操作：
根据所述职业主题生成邀请提醒，并向所述用户的关联用户发送；
在获取到所述邀请提醒的确认指令的情况下，将所述职业主题图像向所述关联用户的接入设备进行输出；
或者，
获取所述用户的关联用户提交的所述职业主题的参与指令；
若所述关联用户的职业类别与所述目标职业类别匹配，则获取所述用户针对所述参与指令的授权指令，并将所述职业主题图像向所述关联用户的接入设备进行输出。
其中，所述参与指令，是指申请参与所述职业主题的指令。
综上所述，本实施例提供的虚拟环境主题处理方法，首先根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度，根据置信度和职业类别确定用户的目标职业类别，其次将虚拟环境图像输入目标职业类别对应的主题渲染模型，对虚拟环境图像进行目标职业类别的职业主题的主题渲染，最后在检测到用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向用户的接入设备进行输出，以此，实现基于用户的职业类别生成职业主题图像的自动化，提升主题图像生成的灵活化，实现对用户的“千人千面”展示，满足用户的多样化需求，提升用户体验。
下述以本实施例提供的一种虚拟环境主题处理方法在虚拟世界场景的应用为例，对本实施例提供的虚拟环境主题处理方法进行进一步说明，参见图2，应用于虚拟世界场景的虚拟环境主题处理方法，具体包括如下步骤。
步骤S202，根据用户的图像数据和在虚拟世界的交互数据进行用户职业预测，获得职业类别和置信度。
步骤S204，检测用户职业类别是否为空；
若是，则执行步骤S206至步骤S216；
若否，则将虚拟环境图像向用户的接入设备进行输出。
步骤S206，根据置信度所处的置信度取值区间，确定用户的职业策略，并根据职业策略和职业类别确定用户的目标职业类别。
其中，根据职业策略和职业类别确定用户的目标职业类别的执行过程，具体包括：若确定的职业策略为第一职业策略，则将职业类别中的首个职业类别确定为目标职业类别；若确定的职业策略为第二职业策略，则获取用户在职业类别中选择的职业类别作为目标职业类别；若确定的职业策略为第三职业策略，则获取用户录入的职业类别作为目标职业类别。
步骤S208，对物理环境的多视角图像进行图像重建，获得虚拟环境图像。
其中，对物理环境的多视角图像进行图像重建的执行过程，具体包括：对多视角图像向虚拟世界进行图像映射处理；对映射处理获得的映射图像进行图像整合处理，并对整合处理获得的整合图像进行仿射变换，获得虚拟环境图像。
步骤S210，将虚拟环境图像输入目标职业类别对应的主题渲染模型，根据目标职业类别的职业主题的主题图像中的图像元素，对虚拟环境图像进行元素渲染获得职业主题图像。
步骤S212，生成用于在虚拟世界进行职业主题交易的非同质化标识。
步骤S214，获取交易用户针对职业主题提交的交易指令，并基于非同质化标识，在虚拟世界进行职业主题的去中心化交易。
步骤S216，在交易成功后，将用户针对职业主题的所有权转移至交易用户。
本说明书还提供另一种虚拟环境主题处理方法，具体包括如下步骤：
步骤S302，根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度。
步骤S302还可被替换为：将图像数据和用户在虚拟世界的交互数据，输入多模态职业预测模型进行用户职业预测，获得职业类别和置信度。
步骤S304，若检测到用户职业类别为空，则根据置信度和职业类别确定用户的目标职业类别。
其中，用户职业类别是指用户的职业类别。
所述根据置信度和职业类别确定用户的目标职业类别，包括：若置信度所处的置信度取值区间为第一区间，则将所述职业类别中的首个职业类别确定为所述目标职业类别；
和/或，
若置信度所处的置信度取值区间为第二区间，则获取所述用户在所述职业类别中选择的职业类别作为所述目标职业类别；
和/或，
若置信度所处的置信度取值区间为第三区间，则获取所述用户录入的职业类别作为所述目标职业类别。
步骤S306，将虚拟环境图像输入目标职业类别对应的主题渲染模型，对虚拟环境图像进行目标职业类别的职业主题的主题渲染。
步骤S306还可被替换为：根据职业主题的主题图像中的图像元素，对虚拟环境图像进行元素渲染，获得职业主题图像。
步骤S308，将主题渲染获得的职业主题图像向用户的接入设备进行输出。
步骤S310，若检测到用户职业类别不为空，则将虚拟环境图像向接入设备进行输出。
需要说明的是，本实施例提供的虚拟环境主题处理方法中，步骤S302至步骤S310的具体实现过程与上述实施例提供的一种虚拟环境主题处理方法的实现过程类似，因此，阅读本实施例中的步骤S302至步骤S310，请参照上述实施例提供的一种虚拟环境主题处理方法。
本说明书提供的一种虚拟环境主题处理装置实施例如下：
在上述的实施例中，提供了一种虚拟环境主题处理方法，与之相对应的，还提供了一种虚拟环境主题处理装置，下面结合附图进行说明。
参照图4，其示出了本实施例提供的一种虚拟环境主题处理装置示意图。
由于装置实施例对应于方法实施例，所以描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例提供一种虚拟环境主题处理装置，包括：
职业预测模块402，被配置为根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度；
职业类别确定模块404，被配置为根据所述置信度和所述职业类别确定所述用户的目标职业类别；
主题渲染模块406，被配置为将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得；
主题图像输出模块408，被配置为在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
本说明书提供的一种虚拟环境主题处理设备实施例如下：
对应上述描述的一种虚拟环境主题处理方法，基于相同的技术构思，本说明书一个或多个实施例还提供一种虚拟环境主题处理设备，该虚拟环境主题处理设备用于执行上述提供的虚拟环境主题处理方法，图5为本说明书一个或多个实施例提供的一种虚拟环境主题处理设备的结构示意图。
本实施例提供的一种虚拟环境主题处理设备，包括：
如图5所示，虚拟环境主题处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器501和存储器502，存储器502中可以存储有一个或一个以上存储应用程序或数据。其中，存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括虚拟环境主题处理设备中的一系列计算机可执行指令。更进一步地，处理器501可以设置为与存储器502通信，在虚拟环境主题处理设备上执行存储器502中的一系列计算机可执行指令。虚拟环境主题处理设备还可以包括一个或一个以上电源503，一个或一个以上有线或无线网络接口504，一个或一个以上输入/输出接口505，一个或一个以上键盘506等。
在一个具体的实施例中，虚拟环境主题处理设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对虚拟环境主题处理设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度；
根据所述置信度和所述职业类别确定所述用户的目标职业类别；
将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得；
在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
本说明书提供的一种存储介质实施例如下：
对应上述描述的一种虚拟环境主题处理方法，基于相同的技术构思，本说明书一个或多个实施例还提供一种存储介质。
本实施例提供的存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：
根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度；
根据所述置信度和所述职业类别确定所述用户的目标职业类别；
将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得；
在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
需要说明的是，本说明书中关于存储介质的实施例与本说明书中关于虚拟环境主题处理方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应方法的实施，重复之处不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪30年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (17)

1.一种虚拟环境主题处理方法，包括：
根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度；
根据所述置信度和所述职业类别确定所述用户的目标职业类别；
将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得；
在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
2.根据权利要求1所述的虚拟环境主题处理方法，所述将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染步骤执行之后，还包括：
生成用于在所述虚拟世界进行职业主题交易的非同质化标识。
3.根据权利要求2所述的虚拟环境主题处理方法，所述职业主题交易，包括：
获取交易用户针对所述职业主题提交的交易指令；
基于所述非同质化标识，在所述虚拟世界进行所述职业主题的去中心化交易，并在交易成功后，将所述用户针对所述职业主题的所有权转移至所述交易用户。
4.根据权利要求1所述的虚拟环境主题处理方法，所述根据所述置信度和所述职业类别确定所述用户的目标职业类别，包括：
根据所述置信度所处的置信度取值区间，确定所述用户的职业策略；
根据所述职业策略和所述职业类别确定所述目标职业类别。
5.根据权利要求4所述的虚拟环境主题处理方法，所述根据所述职业策略和所述职业类别确定所述目标职业类别，包括：
若确定的职业策略为第一职业策略，则将所述职业类别中的首个职业类别确定为所述目标职业类别；
若确定的职业策略为第二职业策略，则获取所述用户在所述职业类别中选择的职业类别作为所述目标职业类别；
若确定的职业策略为第三职业策略，则获取所述用户录入的职业类别作为所述目标职业类别。
6.根据权利要求1所述的虚拟环境主题处理方法，所述根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度步骤执行之后，且所述根据所述置信度和所述职业类别确定所述用户的目标职业类别步骤执行之前，还包括：
检测用户职业类别是否为预设职业类别；
若否，则执行所述根据所述置信度和所述职业类别确定所述用户的目标职业类别步骤。
7.根据权利要求6所述的虚拟环境主题处理方法，若所述检测用户职业类别是否为预设职业类别操作执行之后的执行结果为是，则执行如下操作：
将所述虚拟环境图像向所述接入设备进行输出；
其中，所述接入设备配置有图像传感器，所述图像传感器采集所述图像数据。
8.根据权利要求1所述的虚拟环境主题处理方法，所述根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度，包括：
将所述图像数据和所述用户在所述虚拟世界的交互数据，输入多模态职业预测模型进行所述用户职业预测，获得所述职业类别和所述置信度。
9.根据权利要求8所述的虚拟环境主题处理方法，所述多模态职业预测模型，包括图像特征提取网络、交互特征提取网络和多模态职业预测网络；
其中，所述用户职业预测，采用如下方式实现：
通过所述图像特征提取网络从所述图像数据中提取图像特征，并利用所述交互特征提取网络从所述交互数据中提取交互特征；
将所述图像特征和所述交互特征输入所述多模态职业预测网络，计算存储职业类别中各职业类别的预测概率；
根据所述预测概率在所述存储职业类别中确定所述职业类别，并将符合预设条件的预测概率作为所述置信度。
10.根据权利要求8所述的虚拟环境主题处理方法，所述多模态职业预测模型，采用如下方式进行训练：
根据图像数据和行为数据构建多模态样本集，并构建待训练模型；
将所述多模态样本集输入所述待训练模型进行模型训练；
若模型训练获得的中间模型在至少一个维度下的评估指标符合模型训练终止条件，则将所述中间模型确定为所述多模态职业预测模型。
11.根据权利要求1所述的虚拟环境主题处理方法，所述对物理环境的多视角图像进行图像重建，包括：
将所述多视角图像输入图像重建模型进行图像重建，获得所述虚拟环境图像；
或者，
对所述多视角图像向所述虚拟世界进行图像映射处理；
对映射处理获得的映射图像进行图像整合处理，并对整合处理获得的整合图像进行仿射变换，获得所述虚拟环境图像。
12.根据权利要求1所述的虚拟环境主题处理方法，所述对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染，包括：
根据所述职业主题的主题图像中的图像元素，对所述虚拟环境图像进行元素渲染，获得所述职业主题图像。
13.根据权利要求1所述的虚拟环境主题处理方法，所述在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出步骤执行之后，还包括：
若所述职业主题图像中的职业主题对象被触发，则加载与所述职业主题对象关联的虚拟对象元素；
根据选择指令中携带的目标虚拟对象元素更新所述职业主题对象。
14.根据权利要求1所述的虚拟环境主题处理方法，所述在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出步骤执行之后，还包括：
根据所述职业主题生成邀请提醒，并向所述用户的关联用户发送；
在获取到所述邀请提醒的确认指令的情况下，将所述职业主题图像向所述关联用户的接入设备进行输出；
或者，
获取所述用户的关联用户提交的所述职业主题的参与指令；
若所述关联用户的职业类别与所述目标职业类别匹配，则获取所述用户针对所述参与指令的授权指令，并将所述职业主题图像向所述关联用户的接入设备进行输出。
15.一种虚拟环境主题处理装置，包括：
职业预测模块，被配置为根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度；
职业类别确定模块，被配置为根据所述置信度和所述职业类别确定所述用户的目标职业类别；
主题渲染模块，被配置为将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得；
主题图像输出模块，被配置为在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
16.一种虚拟环境主题处理设备，包括：
处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：
根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度；
根据所述置信度和所述职业类别确定所述用户的目标职业类别；
将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得；
在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
17.一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：
根据用户的图像数据和行为数据进行用户职业预测，获得职业类别和置信度；
根据所述置信度和所述职业类别确定所述用户的目标职业类别；
将虚拟环境图像输入所述目标职业类别对应的主题渲染模型，对所述虚拟环境图像进行所述目标职业类别的职业主题的主题渲染；所述虚拟环境图像基于对物理环境的多视角图像进行图像重建获得；
在检测到所述用户接入虚拟世界的接入指令后，将主题渲染获得的职业主题图像向所述用户的接入设备进行输出。
CN202210989247.5A 2022-08-17 2022-08-17 虚拟环境主题处理方法及装置 Pending CN115346028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210989247.5A CN115346028A (zh) 2022-08-17 2022-08-17 虚拟环境主题处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210989247.5A CN115346028A (zh) 2022-08-17 2022-08-17 虚拟环境主题处理方法及装置

Publications (1)

Publication Number Publication Date
CN115346028A true CN115346028A (zh) 2022-11-15

Family

ID=83952687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210989247.5A Pending CN115346028A (zh) 2022-08-17 2022-08-17 虚拟环境主题处理方法及装置

Country Status (1)

Country Link
CN (1) CN115346028A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115809696A (zh) * 2022-12-01 2023-03-17 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263255A (zh) * 2019-06-21 2019-09-20 北京字节跳动网络技术有限公司 用户属性信息的获取方法、系统、服务器及存储介质
CN110782128A (zh) * 2019-09-27 2020-02-11 北京淇瑀信息科技有限公司 一种用户职业标签生成方法、装置和电子设备
US20200302296A1 (en) * 2019-03-21 2020-09-24 D. Douglas Miller Systems and method for optimizing educational outcomes using artificial intelligence
US20210097765A1 (en) * 2019-07-09 2021-04-01 Josh Lehman Apparatus, system, and method of providing a three dimensional virtual local presence
CN112785163A (zh) * 2021-01-26 2021-05-11 维沃移动通信有限公司 职业识别方法、装置、设备及介质
CN114115523A (zh) * 2021-10-15 2022-03-01 苏州金螳螂文化发展股份有限公司 一种动静结合的沉浸式场景展示系统
CN114708377A (zh) * 2022-06-02 2022-07-05 杭州华鲤智能科技有限公司 一种虚拟空间中的3d图像渲染方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200302296A1 (en) * 2019-03-21 2020-09-24 D. Douglas Miller Systems and method for optimizing educational outcomes using artificial intelligence
CN110263255A (zh) * 2019-06-21 2019-09-20 北京字节跳动网络技术有限公司 用户属性信息的获取方法、系统、服务器及存储介质
US20210097765A1 (en) * 2019-07-09 2021-04-01 Josh Lehman Apparatus, system, and method of providing a three dimensional virtual local presence
CN110782128A (zh) * 2019-09-27 2020-02-11 北京淇瑀信息科技有限公司 一种用户职业标签生成方法、装置和电子设备
CN112785163A (zh) * 2021-01-26 2021-05-11 维沃移动通信有限公司 职业识别方法、装置、设备及介质
CN114115523A (zh) * 2021-10-15 2022-03-01 苏州金螳螂文化发展股份有限公司 一种动静结合的沉浸式场景展示系统
CN114708377A (zh) * 2022-06-02 2022-07-05 杭州华鲤智能科技有限公司 一种虚拟空间中的3d图像渲染方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕宁: "旅游管理专业本科生论文集", vol. 2020, 30 September 2020, 北京旅游教育出版社, pages: 248 *
李晖晖: "《深度学习与计算机视觉》", vol. 2021, 31 October 2021, 西北工业大学出版社, pages: 14 - 19 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115809696A (zh) * 2022-12-01 2023-03-17 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置
CN115809696B (zh) * 2022-12-01 2024-04-02 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置

Similar Documents

Publication Publication Date Title
CN112434721B (zh) 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN111260545B (zh) 生成图像的方法和装置
CN110348462B (zh) 一种图像特征确定、视觉问答方法、装置、设备及介质
CN106293074B (zh) 一种情绪识别方法和移动终端
CN116935169B (zh) 文生图模型训练方法以及文生图方法
CN112819052B (zh) 多模态细粒度混合方法、系统、设备和存储介质
CN115359219B (zh) 虚拟世界的虚拟形象处理方法及装置
Gnat et al. The use of geoinformation technology, augmented reality and gamification in the urban modeling process
Hong et al. Selective residual learning for visual question answering
CN115357938A (zh) 虚拟形象处理方法及装置
CN115346028A (zh) 虚拟环境主题处理方法及装置
CN115359220A (zh) 虚拟世界的虚拟形象更新方法及装置
KR102119518B1 (ko) 인공지능을 이용하여 생성되는 스타일 공간에 기반한 상품 추천 방법 및 시스템
CN114332484A (zh) 关键点检测方法、装置、计算机设备和存储介质
Zong et al. A cascaded refined rgb-d salient object detection network based on the attention mechanism
Bourhim et al. Augmented reality SDK’s: a comparative study
KR102059017B1 (ko) 지식 공유 플랫폼의 제어 방법, 장치 및 시스템
CN116958324A (zh) 图像生成模型的训练方法、装置、设备及存储介质
CN115374141B (zh) 虚拟形象的更新处理方法及装置
CN115810073A (zh) 虚拟形象生成方法及装置
Soliman et al. Artificial intelligence powered Metaverse: analysis, challenges and future perspectives
CN115358777A (zh) 虚拟世界的广告投放处理方法及装置
CN115965791A (zh) 图像生成方法、装置及电子设备
CN115374298A (zh) 基于索引的虚拟形象数据处理方法及装置
CN115146140A (zh) 一种基于融合影响力的群体推荐方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination