CN115496844A - 虚拟会议空间显示方法以及装置 - Google Patents

虚拟会议空间显示方法以及装置 Download PDF

Info

Publication number
CN115496844A
CN115496844A CN202211034524.3A CN202211034524A CN115496844A CN 115496844 A CN115496844 A CN 115496844A CN 202211034524 A CN202211034524 A CN 202211034524A CN 115496844 A CN115496844 A CN 115496844A
Authority
CN
China
Prior art keywords
target
participant
rendering
dimensional
conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211034524.3A
Other languages
English (en)
Inventor
刘成锋
宋达琪
孙林
周浩雅
陈炉军
李恩沛
蒋雅萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202211034524.3A priority Critical patent/CN115496844A/zh
Publication of CN115496844A publication Critical patent/CN115496844A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本说明书实施例提供虚拟会议空间显示方法以及装置,其中所述虚拟会议空间显示方法包括:获取各背景物的显示模型和各与会人的三维虚拟形象,在目标虚拟会议空间中,按照预设排列信息,对各背景物的显示模型进行渲染,获取并根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标,根据人物空间三维坐标,将目标与会人的三维虚拟形象渲染至目标显示模型的上方。在根据预设排列信息渲染各背景物的目标虚拟会议空间内,显示出各与会人的虚拟形象,显示效果更贴近于线下会议的物理会议空间,可以提升与会人的参与感,使得与会人能够更专注于会议过程,从而提升了会议效率。

Description

虚拟会议空间显示方法以及装置
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种虚拟会议空间显示方法。
背景技术
随着互联网技术的发展,远程办公在人们工作中的占比越来越大,很多工作问题需要通过线上会议解决,因此,具有线上会议功能的应用程序已经成为远程办公不可或缺的工具。
目前,线上会议主要是由与会人创建会议空间,通过终端设备采集与会人的音频数据,这样,进入到会议空间中的各与会人都可以听到音频数据,从而实现线上的会议交流。然而,这样的线上会议方式,与线下会议的物理会议空间具有很大差别,与会人参与感较低,使得与会人无法专注于会议过程,降低了会议效率。
发明内容
有鉴于此,本说明书实施例提供了一种虚拟会议空间显示方法。本说明书一个或者实施例同时涉及一种虚拟会议空间显示装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种虚拟会议空间显示方法,包括:
获取各背景物的显示模型和各与会人的三维虚拟形象;
在目标虚拟会议空间中,按照预设排列信息,对各背景物的显示模型进行渲染;
获取并根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标,其中,目标显示模型为供目标与会人入座的目标背景物的显示模型;
根据人物空间三维坐标,将目标与会人的三维虚拟形象渲染至目标显示模型的上方。
根据本说明书实施例的第二方面,提供了一种虚拟会议空间显示装置,包括:
获取模块,被配置为获取各背景物的显示模型和各与会人的三维虚拟形象;
第一渲染模块,被配置为在目标虚拟会议空间中,按照预设排列信息,对各背景物的显示模型进行渲染;
定位模块,被配置为获取并根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标,其中,目标显示模型为供目标与会人入座的目标背景物的显示模型;
第二渲染模块,被配置为根据人物空间三维坐标,将目标与会人的三维虚拟形象渲染至目标显示模型的上方。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述虚拟会议空间显示方法的步骤。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述虚拟会议空间显示方法的步骤。
根据本说明书实施例的第五方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述虚拟会议空间显示方法的步骤。
本说明书一个或多个实施例中,获取各背景物的显示模型和各与会人的三维虚拟形象,在目标虚拟会议空间中,按照预设排列信息,对各背景物的显示模型进行渲染,获取并根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标,根据人物空间三维坐标,将目标与会人的三维虚拟形象渲染至目标显示模型的上方。在根据预设排列信息渲染各背景物的目标虚拟会议空间内,显示出各与会人的虚拟形象,显示效果更贴近于线下会议的物理会议空间,可以提升与会人的参与感,使得与会人能够更专注于会议过程,从而提升了会议效率。
附图说明
图1是本说明书一个实施例提供的一种虚拟会议空间显示系统的系统架构图;
图2是本说明书一个实施例提供的一种虚拟会议空间显示系统的处理流程图;
图3是本说明书一个实施例提供的一种虚拟会议空间显示方法的流程图;
图4是本说明书一个实施例提供的一种应用于部门会议的虚拟会议空间显示方法的处理过程流程图;
图5是本说明书一个实施例提供的一种虚拟会议空间显示方法的显示效果图;
图6是本说明书一个实施例提供的一种虚拟会议空间显示方法的虚拟形象设置界面的显示效果图;
图7是本说明书一个实施例提供的一种虚拟会议空间显示装置的结构示意图;
图8是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或实施例。在本说明书一个或实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或实施例中使用的术语“和/或”是指并包含一个或相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或实施例涉及的名词术语进行解释。
渲染:是指用软件从模型生成图像的过程。
虚拟会议空间:一种可以在用户的终端设备上显示的会议场景的虚拟空间模型,可以为二维模型,也可以为三维模型。包括虚拟投影仪、虚拟会议桌、虚拟座位等,与会人可选择的虚拟形象可以在该虚拟会议空间中进行渲染显示。
AI SDK(Artificial Intelligence Software Development Kit,人工智能软件开发包):是一种基于神经网络的数据分析包,可以对应用程序中的数据进行特征分析,获得对应的特征信息,在本说明书中AI SDK用于对应用程序客户端的与会视频数据进行人物特征分析,获得与会人的形态特征信息。
WebGL(Web Graphics Library,Web图形库):是一种三维绘图协议,可以为HTML5Canvas提供硬件三维加速渲染,使得三维场景和模型借助系统显卡来在浏览器里被流畅地展示。显然,WebGL可被用于创建具有复杂三维结构的网站页面,也可以用来设计三维结构的应用程序等。
目前,具有线上会议功能的应用程序提供了线上视频会议的形式,通过用户的终端设备采集与会人的视频数据,使得进入到会议空间的各与会人都可以看到视频数据。然而,目前的线上视频会议主要是将各与会人的视频数据集中在视频显示区域集中显示,在一个与会人发言时,所有的用户需要观看其对应的视频显示弹窗,这样的形式与线下会议的物理会议空间具有很大的差别,使得各与会人的参与感降低,降低了会议效率。
针对上述问题,本说明书中提供了一种虚拟会议空间显示方法,本说明书同时涉及一种虚拟会议空间显示装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了本说明书一个实施例提供的一种虚拟会议空间显示系统的系统架构图。
如图1所示,虚拟会议空间显示系统由应用程序客户端、AI SDK和WebGL构成,其中,应用程序客户端通过终端设备采集各与会人的与会视频数据后,将目标与会人的与会视频数据发送给AI SDK进行分析,得到目标与会人的形态特征信息,应用程序客户端基于目标与会人的形态特征信息,利用WebGL对目标与会人的三维虚拟形象进行渲染,并将目标与会人的三维虚拟形象渲染至目标显示模型的上方。
参见图2,图2示出了本说明书一个实施例提供的一种虚拟会议空间显示系统的处理流程图。
如图2所示,首先获取各背景物的显示模型和各与会人的三维虚拟形象,然后利用各背景物的显示模型和三维虚拟形象渲染模块进行渲染,其中,各背景物的显示模型和三维虚拟形象渲染模块具有渲染精度自适应机制、三维虚拟形象定位机制和三维虚拟形象组装机制,在应用程序的客户端渲染显示后,根据用户操作,选择更新三维虚拟形象或者渲染动态三维虚拟形象。
更新三维虚拟形象包括:利用形象更新系统对三维虚拟形象进行更新;在更新完成后利用静态形象图片生成机制生成静态形象图片,再利用各背景物的显示模型和三维虚拟形象渲染模块对静态形象图片进行渲染。
渲染动态三维虚拟形象包括:判断是否开启视频采集设备,若是,则利用面部特征信息分析机制,对视频采集设备采集的与会视频数据进行分析,得到面部特征信息,再根据面部特征信息,利用各背景物的显示模型和三维虚拟形象渲染模块对三维虚拟形象重新进行渲染;若否,则利用嘴部动作信息分析机制,对语音采集设备采集的与会语音数据进行分析,得到嘴部动作信息,利用各背景物的显示模型和三维虚拟形象渲染模块对三维虚拟形象重新进行渲染。
上述为本实施例的一种虚拟会议空间显示系统的示意性方案。需要说明的是,该虚拟会议空间显示系统的技术方案与下述图3实施例中的虚拟会议空间显示方法的技术方案属于同一构思,本说明书实施例中未详细描述的细节内容,均可以参见下述图3实施例中虚拟会议空间显示方法的技术方案的描述。
本说明书实施例中,各个流程中为详细说明的部分,在下述图3实施例中进行详尽说明。
参见图3,图3示出了本说明书一个实施例提供的一种虚拟会议空间显示方法的流程图,具体包括以下步骤。
步骤302:获取各背景物的显示模型和各与会人的三维虚拟形象。
本说明书实施例应用于具有线上会议功能的应用程序的客户端。其中,线上会议可以为产品发布交流会,可以为线上课堂,可以为线上小组讨论会,可以为线上一对一交流会,可以为线上办公会议,本说明书实施例中以线上办公会议为例进行说明。
背景物为虚拟会议空间中对应线下会议的物理会议空间中背景物的物品,包括:会议桌、投影仪、椅子、板凳、沙发、会议室装饰物(植物、横幅等)、会议工具(白板、静止或移动计算机、话筒等)。
背景物的显示模型为在应用程序的前端进行显示的虚拟会议空间中的背景物的模型,背景物的显示模型可以为二维的图片显示模型,也可以为三维的立体显示模型。
与会人的三维虚拟形象为在应用程序的前端进行显示的虚拟会议空间中与会人的三维模型。与会人的三维虚拟形象可以为多种风格的虚拟形象,例如,真实风格的虚拟形象,三维动画风格的虚拟形象等,在此不作限定。与会人的三维虚拟形象是根据与会人的形态特征生成的,具体的生成方式可以为利用用户的终端设备输入的形态特征信息直接生成,例如,运用虚拟形象生成软件,根据与会人的形态特征信息,生成对应虚拟形象。又例如,与会人注册应用程序的账号时,在终端设备上利用图像采集设备采集与会人的图像数据,或者利用视频采集设备采集与会人的视频数据,对图像数据或者视频数据进行特征提取,得到与会人的形态特征信息,利用应用程序的虚拟形象生成模块,生成与会人的三维虚拟形象。还例如,与会人注册应用程序的账号时,通过与会人在终端设备上输入的形态特征的文字数据,选择文字数据对应的形态特征信息,利用应用程序的虚拟形象生成模块,生成与会人的三维虚拟形象。具体的生成方式还可以为根据与会人的形态特征,对三维虚拟形态素材进行调整后生成,例如,从远程的三维虚拟形象素材数据库中下载三维虚拟形象素材,根据与会人的形态特征信息,利用虚拟形象生成软件对三维虚拟形象素材进行调整后生成。具体的生成方式在本说明书实施例中不作限定。
获取各背景物的显示模型和各与会人的三维虚拟形象,可以是直接获取预先构建的各背景物的显示模型和各与会人的三维虚拟形象,也可以是获取预先设置的各背景物的显示模型和三维虚拟人员的初始三维虚拟形象及人物附加子特征模型后,构建得到各与会人的三维虚拟形象,在此不作限定。
示例性地,从开源的远程数据库中获取预先生成的1个会议桌的显示模型、10把椅子的显示模型、投影仪和投屏幕布的显示模型、10位与会人的三维虚拟形象。
通过获取各背景物的显示模型和各与会人的三维虚拟形象,为在目标虚拟会议空间中排列并渲染各背景物的显示模型、定位并渲染各与会人的三维虚拟形象奠定了模型基础。
步骤304:在目标虚拟会议空间中,按照预设排列信息,对各背景物的显示模型进行渲染。
目标虚拟会议空间为用户通过应用程序的客户端选择的虚拟会议空间。
预设排列信息为预先设定的各背景物的位置信息和各背景物之间的位置关系信息。预设排列信息是预先根据线下会议的物理会议空间中背景物的排列方式设置的。预设排列信息对应于目标虚拟会议空间,一个目标虚拟会议空间可以包含多个预设排列信息。例如,在5人讨论室中,一种预设排列信息需要排列5个椅子,1个矩形会议桌,1个投影仪和投影幕布,对应的预设排列信息为:矩形会议桌横置在目标虚拟会议空间的正中间,矩形会议桌一条长边放置投影幕布,另一条长边放置3个椅子,两条短边各放置1个椅子,矩形会议桌上放置投影仪。
本说明书实施例中的渲染为利用预设的渲染模块进行渲染,渲染模块为利用三维绘图协议进行渲染的功能性模块,例如,Canvas,Three.JS,ECharts,3dmax,maya等渲染模块。本说明书实施例中的三维绘图协议以WebGL为例进行说明。
在目标虚拟会议空间中,按照预设排列信息,对各背景物的显示模型进行渲染,具体方式为,在目标虚拟会议空间中,按照预设排列信息,对各背景物的显示模型进行排列;对排列完成的目标虚拟会议空间进行渲染。
示例性地,用户通过应用程序的客户端选择10人会议室为目标虚拟会议空间,对应的一种预设排列信息为:1个主席桌横置在目标虚拟会议空间的正前方,2个椅子和投影幕布放置在主席桌的后方,投影幕布放置在2个椅子的后方,正对主席桌放置8个椅子,按照每排4个共2排放置,8个椅子和主席桌后的2个椅子方向相对,在8个椅子的后方放置投影仪,对排列完成的10人会议室中进行渲染。
在目标虚拟会议空间中,按照预设排列信息,对各背景物的显示模型进行渲染,通过预设排列信息,对各背景物的显示模型进行渲染,保证了渲染的各背景物的目标虚拟会议空间贴近于线下会议的物理会议空间,提升了目标虚拟会议空间的真实度。
步骤306:获取并根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标,其中,目标显示模型为供目标与会人入座的目标背景物的显示模型。
目标与会人为待渲染的三维虚拟模型对应的与会人。
目标背景物为目标与会人在虚拟会议空间中入座的背景物。目标显示模型为虚拟会议空间中对应的目标与会人的可入座的背景物的显示模型,例如,目标与会人为会议主持人,目标背景物为主席桌后方的椅子,目标显示模型为该椅子的目标显示模型。
目标显示模型的位置信息为目标显示模型在虚拟会议空间中的位置信息,可以为在虚拟会议空间的坐标,例如,二维目标显示模型的坐标为(X,Y)的二维坐标,三维目标显示模型的坐标为(X,Y,Z)。也可以为在虚拟会议空间中相对其他背景物的显示模型的相对位置信息,例如,1个椅子的目标显示模型相对于会议桌(方向:正东方向,距离:10cm)。
目标显示模型对应的人物空间三维坐标为目标显示模型的在三维虚拟形象对应的三维人物空间中的坐标。
根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标,具体方式为,根据目标显示模型在虚拟会议空间中的位置信息,确定目标显示模型对应的人物空间三维坐标。
示例性地,目标与会人为会议主持人,目标背景物为主席桌后方的椅子,目标显示模型为该椅子的二维显示模型。根据该椅子的二维显示模型在10人会议室中的坐标为(50,20),确定该椅子的二维显示模型对应的人物空间三维坐标为(50,20,3)。
获取并根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标,为后续将目标与会人的三维虚拟形象渲染至目标显示模型的上方提供了位置参考,保证了渲染的准确度,提升了渲染得到的包含目标与会人的目标虚拟会议空间的真实度。
步骤308:根据人物空间三维坐标,将目标与会人的三维虚拟形象渲染至目标显示模型的上方。
根据人物空间三维坐标,将目标与会人的三维虚拟形象渲染至目标显示模型的上方,具体方式为,将目标与会人的三维虚拟形象的空间三维坐标设定为目标显示模型对应的人物空间三维坐标,对该三维虚拟形象进行渲染。
示例性地,将会议主持人的三维虚拟形象的空间三维坐标设定为主席桌后方的椅子的二维显示模型对应的人物空间三维坐标(50,20,3),对该三维虚拟形象进行渲染。
本说明书实施例中,获取各背景物的显示模型和各与会人的三维虚拟形象,在目标虚拟会议空间中,按照预设排列信息,对各背景物的显示模型进行渲染,获取并根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标,根据人物空间三维坐标,将目标与会人的三维虚拟形象渲染至目标显示模型的上方。在根据预设排列信息渲染各背景物的目标虚拟会议空间内,显示出各与会人的虚拟形象,显示效果更贴近于线下会议的物理会议空间,可以提升与会人的参与感,使得与会人能够更专注于会议过程,从而提升了会议效率。
可选地,步骤302中获取各与会人的三维虚拟形象,包括如下具体步骤:
获取各与会人的初始三维虚拟形象以及附加特征集,其中,附加特征集包括多个类型的人物附加特征子模型;
针对任一与会人,从附加特征集中选择至少一种类型的人物附加特征子模型,按照预设组装规则,将至少一种类型的人物附加特征子模型与初始三维虚拟形象进行组装,获得该与会人的三维虚拟形象。
初始三维虚拟形象为运用虚拟形象生成软件或者利用应用程序的虚拟形象生成模块,预先生成的与会人的初始三维虚拟形象,初始三维虚拟形象可以为与会人的形态特征信息,预先生成的三维虚拟形象,也可以为与会人根据应用程序的客户端提供的三维虚拟形象模板选择的三维虚拟形象,还可以为用户在之前使用应用程序时,客户端存储的历史三维虚拟形象,在此不作限定。
人物附加特征子模型为可与初始三维虚拟形象进行组装的虚拟形象身体部位或者附加物品的模型,例如,不同发型、颜色的头发模型,不同大小、瞳色的眼睛模型,头部佩戴物品模型,手持物品模型等,人物附加特征子模型所属的类型,例如,头发特征类型、眼睛特征类型、头部佩戴类型、手持类型。
预设组装规则为预先设定的针对人物附加特征子模型与初始三维虚拟形象之间组装的限制条件。例如,对于头发特征类型,只能选择一个头发模型与初始三维虚拟形象进行组装,对于头部佩戴类型,只能选择一个头部佩戴物品模型与初始三维虚拟形象进行组装,对于手持类型,最多只能选择两个手持物品模型与初始三维虚拟形象进行组装。
获取各与会人的初始三维虚拟形象以及附加特征集,可以为从本地获取预先存储的初始三维虚拟形象以及附加特征集,也可以为从本地获取预先存储的初始三维虚拟形象并从远程数据库中获取附加特征集,还可以为从远程数据库中获取初始三维虚拟形象以及附加特征集。
针对任一与会人,从附加特征集中选择至少一种类型的人物附加特征子模型,按照预设组装规则,将至少一种类型的人物附加特征子模型与初始三维虚拟形象进行组装,获得该与会人的三维虚拟形象,具体方式为,针对任一与会人,从附加特征集中选择至少一种类型的人物附加特征子模型,根据至少一种人物附加子模型所属的类型,按照预设组装规则,将至少一种类型的人物附加特征子模型与初始三维虚拟形象进行组装。
示例性地,从远程数据库中获取与会人的初始三维虚拟形象和附加特征集,从附加特征集中选择人物附加子模型:头发特征类型的头发模型1(红色、长发)、眼睛特征类型的眼睛模型4(大眼睛、棕色瞳色)、2个手持类型的手持物品模型(笔记本电脑、咖啡杯),根据各人物附加子模型所属的类型,按照预设组装规则,将头发模型1与初始三维虚拟形象的头发部位进行组装,将眼睛模型4与初始三维虚拟形象的眼睛部位进行组装,将笔记本电脑模型与初始三维虚拟形象的右手部位进行组装,将咖啡杯与初始三维虚拟形象的左手部位进行组装,获得该与会人的三维虚拟形象。
通过将至少一种类型的人物附加特征子模型与初始三维虚拟形象进行组装,获得该与会人的三维虚拟形象,增加了三维虚拟形象的形象丰富度,同时按照预设组装规则进行组装,保证了三维虚拟形象的真实度和准确性,提升了用户体验。
可选地,在步骤308之后,还包括如下具体步骤:
接收形象更新请求,其中,形象更新请求包括用户选择的目标与会人的待更新三维虚拟形象、至少一种类型的人物附加特征子模型;
按照预设组装规则,将至少一种类型的人物附加特征子模型与待更新三维虚拟形象进行组装,获得目标与会人更新的三维虚拟形象;
根据人物空间三维坐标,采用覆盖渲染技术,将目标与会人更新的三维虚拟形象渲染至目标显示模型的上方。
形象更新请求为用户通过应用程序的客户端发送的针对已经渲染的三维虚拟形象的更新请求。
待更新三维虚拟形象为已经渲染在虚拟会议空间中的目标显示模型上方的、需要更新的三维虚拟形象。预先构建的与会人的,初始三维虚拟形象可以为与会人的形态特征信息,预先生成的三维虚拟形象,也可以为用户在之前使用应用程序时,客户端记录的历史三维虚拟形象,还可以为与会人根据应用程序的客户端提供的三维虚拟形象模板选择的三维虚拟形象,在此不作限定。
覆盖渲染技术为将预先渲染的模型删除后,将更新的模型渲染至原模型的坐标位置的技术。
按照预设组装规则,将至少一种类型的人物附加特征子模型与待更新三维虚拟形象进行组装,获得目标与会人更新的三维虚拟形象,具体方式为,根据至少一种人物附加子模型所属的类型,按照预设组装规则,将至少一种类型的人物附加特征子模型与初始三维虚拟形象进行组装。
根据人物空间三维坐标,将目标与会人更新的三维虚拟形象渲染至目标显示模型的上方,具体方式已在上述详细说明,在此不再赘述。
示例性地,接收用户通过应用程序的客户端发送的待更新三维虚拟形象的更新请求,确定目标与会人对应的待更新三维虚拟形象和人物附加特征子模型:头发特征类型的头发模型4(金色、短发),头部佩戴类型的头部佩戴物品模型(耳机),手持类型的手持物品模型(平板电脑),按照预设组装规则,将头发模型4与待更新三维虚拟形象的头发部位进行组装,将耳机模型与待更新三维虚拟形象的头部部位进行组装,将平板电脑模型与初始三维虚拟形象的右手部位进行组装,获得目标与会人更新的三维虚拟形象。
通过将至少一种类型的人物附加特征子模型与待更新三维虚拟形象进行组装,获得目标与会人更新的三维虚拟形象,增加了三维虚拟形象的形象丰富度,保证了三维虚拟形象的真实度和准确性,提升了三维虚拟形象生成的灵活度,提升了用户体验。
可选地,步骤304包括如下具体步骤:
根据用户选择的会议类型,确定目标虚拟会议空间;
按照目标虚拟会议空间对应的预设排列信息,在目标虚拟会议空间中对各背景物的显示模型进行渲染。
会议类型为根据线上会议的形式、内容、参会人数、环境条件等预先设定的类型。各会议类型对应不同的虚拟会议空间。例如,针对线上课堂的会议类型,对应的虚拟会议空间为虚拟教室;针对线上产品发布会的会议类型,对应的虚拟会议空间为发布会场地。
根据用户选择的会议类型,确定目标虚拟会议空间,具体方式为,根据用户选择的会议类型,从预设的多种虚拟会议空间中确定对应的目标虚拟会议空间。
按照目标虚拟会议空间对应的预设排列信息,在目标虚拟会议空间中对各背景物的显示模型进行渲染,具体方式已在上述详细说明,在此不再赘述。
示例性地,用户选择的会议类型为500人产品发布会,确定目标虚拟会议空间为500人发布场地,按照500人发布场地对应的预设排列信息:500人发布场地正前方放置大投影幕布和主席台,主席台前方顶部正对放置投影仪,主席台下放置500个椅子,每排50人共10排,每排间距为3,在500人发布场地的虚拟会议空间中对大投影幕布、主席台、投影仪、500个椅子的显示模型进行渲染。
根据用户选择的会议类型,确定目标虚拟会议空间,增强了目标虚拟会议空间的场景适用性,按照目标虚拟会议空间对应的预设排列信息,在目标虚拟会议空间中对各背景物的显示模型进行渲染,保证了渲染的各背景物的目标虚拟会议空间贴近于线下会议的物理会议空间,提升了目标虚拟会议空间的真实度。
可选地,步骤304中对各背景物的显示模型进行渲染,包括如下具体步骤:
按照预设渲染精度,对各背景物的显示模型进行渲染;
对应地,步骤308中将目标与会人的三维虚拟形象渲染至目标显示模型的上方,包括如下具体步骤:
按照预设渲染精度,将目标与会人的三维虚拟形象渲染至目标显示模型的上方。
渲染精度为对目标虚拟会议空间中各背景物的显示模型和目标与会人的三维虚拟形象的渲染精确指数,包括高渲染精度、中渲染精度和低渲染精度。渲染精度越高,显示模型和三维虚拟形象的显示细腻度就越高,与线下会议的物理会议空间的贴近程度就越高。
预设渲染精度为根据各用户的终端设备的设备性能、预先设置的渲染精度。中渲染精度可以在满足大部分用户的终端设备的设备性能的情况下,保证渲染的虚拟会议空间与线下会议的物理会议空间的贴近程度,因而在本说明书实施例中预设渲染精度以中渲染精度为例进行说明。
示例性地,预设渲染精度为中渲染精度,按照中渲染精度,对各背景物的显示模型进行渲染,按照中渲染精度,将目标与会人的三维虚拟形象渲染至目标显示模型的上方。
按照预设渲染精度,对各背景物的显示模型进行渲染,再将目标与会人的三维虚拟形象渲染至目标显示模型的上方,提升了渲染效率,并且使得渲染的虚拟会议空间具有更高的显示适应度,同时保证渲染的虚拟会议空间与线下会议的物理会议空间的贴近程度。
可选地,在步骤308之后,还包括如下具体步骤:
获取客户端性能参数;
根据客户端性能参数,调整渲染精度,并按照调整后的渲染精度,对各背景物的显示模型和目标与会人的三维虚拟形象重新进行渲染。
客户端性能参数为目标与会人的客户端在终端设备上的运行性能参数,包括:CPU参数、内存参数、显卡参数、进程数等。
获取客户端性能参数的方式可以为按照预设的采样频率获取客户端性能参数,也可以为直接获取客户端性能参数,在此不作限定。
根据客户端性能参数,调整渲染精度,可以为根据客户端性能参数,根据预设的多级性能参数阈值进行逐级比较后,确定对应级别的性能参数阈值为渲染精度,也可以为利用预设的渲染精度算法,根据客户端性能参数计算得到对应的渲染精度。
示例性地,直接获取客户端性能参数:CPU使用率:10%,CPU硬件参数:8核4.5GHz;内存使用率:28%,内存硬件参数:32GB;显卡硬件参数:核心频率1.8GHz,显存大小:18GB,显存位宽:128bit,根据预设的多级性能参数阈值进行逐级比较后,确定对应高渲染精度级别的性能参数阈值为渲染精度,并按照高渲染精度,对各背景物的显示模型和目标与会人的三维虚拟形象重新进行渲染。
根据客户端性能参数,调整渲染精度,并按照调整后的渲染精度,对各背景物的显示模型和目标与会人的三维虚拟形象重新进行渲染,提升了渲染的虚拟会议空间的显示适应度。
可选地,在步骤308之前,还包括如下具体步骤:
根据目标与会人的三维虚拟形象,生成目标与会人的静态形象图片;
根据目标显示模型的位置信息,显示目标与会人的静态形象图片。
由于三维虚拟形象的渲染需要耗费一定的时间,在渲染完成前,目标显示模型上无法显示目标与会人的虚拟形象,因而,需要在渲染完成前利用可以快速渲染完成的静态形态图片来替代三维虚拟形象显示。
目标与会人的静态形象图片为三维虚拟形象的二维映射图片。
根据目标与会人的三维虚拟形象,生成目标与会人的静态形象图片,具体方式为,对目标与会人的三维虚拟形象进行降维渲染,生成目标与会人的静态形象图片。降维渲染为将三维虚拟形象的三维人物空间降维至二维人物空间后,进行渲染。
根据目标显示模型的位置信息,显示目标与会人的静态形象图片,具体方式为,根据目标显示模型的位置信息,确定目标显示模型对应的人物空间二维坐标,根据人物空间二维坐标,将静态形象图片渲染至目标显示模型的上方。
示例性地,目标与会人为线上课程讲师,目标显示模型为讲台的显示模型对线上课程讲师的三维虚拟形象进行降维渲染,生成线上课程讲师的静态形象图片,根据讲台的显示模型的位置信息(50,50),确定讲台的显示模型对应的人物空间二维坐标(50,50),根据人物空间二维坐标(50,50),将静态形象图片渲染讲台的显示模型的上方。
根据目标与会人的三维虚拟形象,生成目标与会人的静态形象图片,根据目标显示模型的位置信息,显示目标与会人的静态形象图片。避免了在渲染完成前,目标显示模型上无法显示目标与会人的虚拟形象,提升了用户体验。
可选地,在步骤308之后,还包括如下具体步骤:
获取视频采集设备采集的目标与会人的与会视频数据;
对与会视频数据进行分析,获得目标与会人的形态特征信息;
基于形态特征信息,对目标与会人的三维虚拟形象中的形态特征进行渲染。
视频采集设备为用户的终端设备上的视频采集设备,例如,用户的终端设备为手机,视频采集设备为手机的前置摄像头,用户的终端设备为笔记本电脑,视频采集设备为笔记本电脑的前置摄像头。
与会视频数据为包含目标与会人的形象的视频数据。
目标与会人的形态特征信息为目标与会人的形体特征和姿态特征信息,其中,形体特征包括面部特征、头部特征、肢体特征、躯体特征等,姿态特征包括:面部朝向、头部转动角度、肢体关节角度等。
获取视频采集设备采集的目标与会人的与会视频数据,具体方式为,获取视频采集设备据按照预设的采样频率采集的目标与会人的与会视频数据。
对与会视频数据进行分析,获得目标与会人的形态特征信息,具体方式为,对与会视频数据中的目标与会人的形态特征进行分析,获得目标与会人的形态特征信息。更进一步地,利用预先设置的特征分析算法,对与会视频数据中的目标与会人的形态特征进行分析,获得目标与会人的形态特征信息。预先设置的特征分析算法可以为预先设置的图像特征识别算法,也可以预先训练的神经网络模型,在此不作限定。
基于形态特征信息,对目标与会人的三维虚拟形象中的形态特征进行渲染,具体方式为,基于形态特征信息,调整目标与会人的三维虚拟形象中的形体特征和姿态特征,对调整完成后的目标与会人的三维虚拟形象按照预设渲染频率进行渲染。根据预设采样频率采集与会视频数据,并按照预设渲染频率进行渲染,使得渲染的三维虚拟形象可以根据目标与会人的动作、表情做出对应的动作、表情,即得到动态的虚拟形象。
示例性地,目标与会人为线上小组组长,获取线上小组组长的终端设备的视频采集设备采集的线上小组组长的与会视频数据,利用预先训练的神经网络模型,对与会视频数据中的线上小组组长的形态特征进行分析,获得线上小组组长的形态特征信息:头发(长头发,黑色),脸型(圆脸),眼睛(大眼睛,黑色瞳色),嘴巴(小嘴巴),姿势(坐姿),基于形态特征信息,调整线上小组组长的三维虚拟形象中的形体特征和姿态特征,对调整完成后的线上小组组长的三维虚拟形象进行渲染。
获取视频采集设备采集的目标与会人的与会视频数据,对与会视频数据进行分析,获得目标与会人的形态特征信息,基于形态特征信息,对目标与会人的三维虚拟形象中的形态特征进行渲染。显示效果更贴近于线下会议中的真实与会人,可以提升与会人的参与感,使得与会人能够更专注于会议过程,从而提升了会议效率。
可选地,对与会视频数据进行分析,获得目标与会人的形态特征信息,包括如下具体步骤:
对与会视频数据进行面部分析,获得目标与会人的面部各特定部位的面部特征信息和特征系数;
对应地,基于形态特征信息,对目标与会人的三维虚拟形象中的形态特征进行渲染,包括如下具体步骤:
根据面部各特定部位的面部特征信息和特征系数,确定面部各特定部位的渲染参数;
基于面部各特定部位的渲染参数,对目标与会人的三维虚拟形象中的面部各特定部位进行渲染。
面部各特定部位包括脸颊、额头、下巴、五官等面部部位。
特征系数为预先根据面部各特定部位设定的特征系数,通过对面部各特定部位的不同特征系数渲染面部各特定部位,实现各面部特征部位的不同渲染效果。
对与会视频数据进行面部分析,获得目标与会人的面部各特定部位的面部特征信息和特征系数,具体方式为,对与会视频数据中目标与会人的形象的预设面部特征点的位置信息和颜色信息进行分析,获得目标与会人的面部各特定部位的面部特征信息和特征系数。
示例性地,对与会视频数据中目标与会人的形象的预设眼睛上的特征点的位置信息和颜色信息进行分析,获得目标与会人的眼睛的特征信息(睁眼,大眼睛,黑色瞳色)和对应的特征系数。
根据面部各特定部位的面部特征信息和特征系数,确定面部各特定部位的渲染参数,具体方式为,根据面部各特定部位的面部特征信息和特征系数,利用预先设置的面部特征信息和特征系数与渲染参数之间的转换算法,得到面部各特定部位的渲染参数。进一步地,转换算法可以为预先构建面部特征信息和特征系数与渲染参数之间的对应关系,也可以为预先训练的神经网络模型,在此不作限定。
示例性地,根据目标与会人的眼睛的特征信息(睁眼,大眼睛,黑色瞳色)和对应的特征系数,利用预先训练的神经网络模型,得到目标与会人的眼睛的渲染参数。
对与会视频数据进行面部分析,获得目标与会人的面部各特定部位的面部特征信息和特征系数,根据面部各特定部位的面部特征信息和特征系数,确定面部各特定部位的渲染参数,基于面部各特定部位的渲染参数,对目标与会人的三维虚拟形象中的面部各特定部位进行渲染。使得渲染的三维虚拟形象的面部可以准确地显示目标与会人的面部表情,面部显示效果更贴近于线下会议中的真实与会人的面部,可以提升与会人的参与感,使得与会人能够更专注于会议过程,从而提升了会议效率。
可选地,在步骤308之后,还包括如下具体步骤:
获取语音采集设备采集的目标与会人的与会语音数据;
对与会语音数据进行分析,获得目标与会人的嘴部动作信息;
基于嘴部动作信息,对目标与会人的三维虚拟形象中的嘴部进行渲染。
由于不同的视频采集设备的性能差异,或者目标与会人所处视频录制环境差异,或者识别得到的面部特征信息中的嘴部特征信息不明显,导致渲染的三维虚拟形象的嘴部动作不明显,因而,可以根据目标与会人的与会语音数据进行辅助分析,增强渲染效果。
嘴部动作信息为嘴部形状和嘴部尺寸的表征信息,例如,微笑,对应的嘴部形状为嘴角上扬,唇尖相碰,尺寸为中等尺寸;大笑,对应的嘴部形状为嘴角上扬,唇尖相离,尺寸为大尺寸。
对与会语音数据进行分析,获得目标与会人的嘴部动作信息,具体方式为,对与会语音数据中的目标与会人的语音特征进行分析,获得目标与会人的嘴部动作信息。更进一步地,利用预先设置的特征分析算法,对与会语音数据中的目标与会人的语音特征进行分析,获得目标与会人的嘴部动作信息。预先设置的特征分析算法可以为预先设置的语音特征识别算法,也可以预先训练的神经网络模型,在此不作限定。
基于嘴部动作信息,对目标与会人的三维虚拟形象中的嘴部进行渲染,具体方式为,基于嘴部动作信息,确定目标与会人的三维虚拟形象中的嘴部特征点的位置信息,基于目标与会人的三维虚拟形象中的嘴部特征点的位置信息,对目标与会人的三维虚拟形象中的嘴部进行渲染。
示例性地,对与会语音数据中的目标与会人的语音特征进行分析,获得目标与会人的嘴部动作信息(微笑),基于嘴部动作信息(微笑),确定目标与会人的三维虚拟形象中的嘴部特征点(嘴角、唇尖)的位置信息,基于目标与会人的三维虚拟形象中的嘴部特征点(嘴角、唇尖)的位置信息,对目标与会人的三维虚拟形象中的嘴部进行渲染。
获取语音采集设备采集的目标与会人的与会语音数据,对与会语音数据进行分析,获得目标与会人的嘴部动作信息,基于嘴部动作信息,对目标与会人的三维虚拟形象中的嘴部进行渲染。使得渲染的三维虚拟形象的嘴部可以准确地显示目标与会人的嘴部动作,嘴部显示效果更贴近于线下会议中的真实与会人的嘴部,可以提升与会人的参与感,使得与会人能够更专注于会议过程,从而提升了会议效率。
可选地,对与会语音数据进行分析,获得目标与会人的嘴部动作信息,包括如下具体步骤:
对与会语音数据进行语义分析,确定目标与会人的嘴部形状信息;
对与会语音数据进行音量分析,确定目标与会人的嘴部尺寸信息;
对应地,基于嘴部动作信息,对目标与会人的三维虚拟形象中的嘴部进行渲染,包括如下具体步骤:
基于嘴部形状信息和嘴部尺寸信息,对目标与会人的三维虚拟形象中的嘴部进行渲染。
由于人在讲话时,嘴部形状与所讲的词语发音有关,例如,根据与会语音数据中的语义词“啊”,可以确定目标与会人的嘴部形状为向四周张开的形状,根据与会语音数据中的语义词“哦”,可以确定目标与会人的嘴部形状为向四周收紧的形状。另外,嘴部尺寸与讲话音量有关,例如,大声讲话时的嘴部尺寸大于小声讲话的嘴部尺寸。因此,可以根据与会语音数据中的语义特征,确定目标与会人的嘴部形状信息,根据与会语音数据中的音量特征,确定目标与会人的嘴部尺寸信息。
对与会语音数据进行语义分析,确定目标与会人的嘴部形状信息,具体方式为,利用预先设定的语义分析算法对与会语音数据进行语义分析,确定目标与会人的嘴部形状信息。更进一步地,预先设定的语义分析算法可以为根据与会语音数据的频率,分析得到对应的语义特征。也可以为预先训练的神经网络模型,对与会语音数据进行语义分析,得到对应的语义特征,在此不作限定。
对与会语音数据进行音量分析,确定目标与会人的嘴部尺寸信息,具体方式为,利用预先设定的音量分析算法对与会语音数据进行音量分析,确定目标与会人的嘴部尺寸信息。
基于嘴部形状信息和嘴部尺寸信息,对目标与会人的三维虚拟形象中的嘴部进行渲染,具体方式为,基于嘴部形状信息和嘴部尺寸信息,确定目标与会人的三维虚拟形象中的嘴部特征点的位置信息,基于目标与会人的三维虚拟形象中的嘴部特征点的位置信息,对目标与会人的三维虚拟形象中的嘴部进行渲染。
示例性地,利用预先训练的神经网络模型,对与会语音数据进行语义分析,得到对应的语义特征“啊喔咿呜吁”,根据语义特征“啊喔咿呜吁”确定目标与会人的嘴部形状信息为“大张口,小张口,咧嘴,嘟嘴,嘟嘴”,利用预先设定的音量分析算法对与会语音数据进行音量分析,得到对应的音量为80dB,确定目标与会人的嘴部尺寸信息为“大尺寸”,基于嘴部形状信息“大张口,小张口,咧嘴,嘟嘴,嘟嘴”和嘴部尺寸信息“大尺寸”,对目标与会人的三维虚拟形象中的嘴部进行渲染。
对与会语音数据进行语义分析,确定目标与会人的嘴部形状信息,对与会语音数据进行音量分析,确定目标与会人的嘴部尺寸信息,基于嘴部形状信息和嘴部尺寸信息,对目标与会人的三维虚拟形象中的嘴部进行渲染。使得渲染的三维虚拟形象的嘴部可以更准确地显示目标与会人的嘴部动作,嘴部显示效果更贴近于线下会议中的真实与会人的嘴部,可以提升与会人的参与感,使得与会人能够更专注于会议过程,从而提升了会议效率。
下述结合附图4,以本说明书提供的虚拟会议空间显示方法在部门会议的应用为例,对虚拟会议空间显示方法进行进一步说明。其中,图4示出了本说明书一个实施例提供的一种应用于部门会议的虚拟会议空间显示方法的处理过程流程图,具体包括以下步骤。
步骤402:接收部门会议发起人发送的虚拟会议建立请求,其中,虚拟会议建立请求包括会议类型,会议类型为部门会议;
步骤404:根据部门会议的会议类型,确定目标虚拟会议空间为部门会议室;
步骤406:获取各背景物的显示模型;
各背景物的显示模型包括:会议桌的显示模型、椅子的显示模型、显示屏的显示模型、植物的显示模型。
步骤408:获取各与会人的初始三维虚拟形象以及附加特征集;
步骤410:渲染部门会议室的目标虚拟会议空间;
步骤412:在部门会议室的目标虚拟会议空间中,按照预设排列信息和预设渲染精度,对各背景物的显示模型进行渲染;
步骤414:针对目标与会人,从附加特征集中选择至少一种类型的人物附加特征子模型,按照预设组装规则,将至少一种类型的人物附加特征子模型与目标与会人的初始三维虚拟形象进行组装,获得目标与会人的三维虚拟形象;
各与会人包括与会人1、与会人2。目标与会人为与会人1。
附加特征集包括头发模型(头发模型1,头发模型2,头发模型3,头发模型4)、头部佩戴物品模型(鸭舌帽模型,头巾模型,发卡模型)、手持物品模型(笔记本电脑模型,平板电脑模型,咖啡杯模型)。
从中选择头发模型3和鸭舌帽模型,按照预设组装规则,将头发模型3和鸭舌帽模型与与会人1的初始三维虚拟形象进行组装,获得与会人1的三维虚拟形象。
步骤416:获取目标与会人对应的目标显示模型的位置信息;
目标显示模型为与会人1对应的椅子的显示模型,目标显示模型的位置信息为:正对显示屏的左起第二个位置。
步骤418:根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标;
步骤420:根据目标与会人的三维虚拟形象,生成目标与会人的静态形象图片;
步骤422:根据目标显示模型的位置信息,显示目标与会人的静态形象图片;
步骤424:根据人物空间三维坐标,按照预设渲染精度,将目标与会人的三维虚拟形象渲染至目标显示模型的上方;
步骤426:获取客户端性能参数;
步骤428:根据客户端性能参数,调整渲染精度,并按照调整后的渲染精度,对各背景物的显示模型和目标与会人的三维虚拟形象重新进行渲染;
步骤430:接收目标与会人发送的形象更新请求,按照预设组装规则和调整后的渲染精度,将至少一种类型的人物附加特征子模型与待更新三维虚拟形象进行组装,获得目标与会人更新的三维虚拟形象,根据人物空间三维坐标,采用覆盖渲染技术,将目标与会人更新的三维虚拟形象渲染至目标显示模型的上方;
从中选择头发模型4和头巾模型,按照预设组装规则,将头发模型4和头巾模型与与会人1的待更新三维虚拟形象进行组装,更新的三维虚拟形象,根据人物空间三维坐标,采用覆盖渲染技术,将目标与会人更新的三维虚拟形象渲染至目标显示模型的上方。
步骤432:获取视频采集设备采集的目标与会人的与会视频数据,对与会视频数据进行分析,获得目标与会人的形态特征信息,基于形态特征信息和调整后的渲染精度,对目标与会人的三维虚拟形象中的形态特征进行渲染;
对与会视频数据进行分析,获得与会人1的形态特征信息为圆脸、坐姿。
步骤434:获取语音采集设备采集的目标与会人的与会语音数据,对与会语音数据进行分析,获得目标与会人的嘴部动作信息,基于嘴部动作信息和调整后的渲染精度,对目标与会人的三维虚拟形象中的嘴部进行渲染。
对与会语音数据进行分析,获得与会人1的嘴部动作信息为微笑。
本说明书实施例中,根据部门会议的会议类型,确定目标虚拟会议空间为部门会议室,使得目标虚拟会议空间更具有针对性;在部门会议室的目标虚拟会议空间中,按照预设排列信息和预设渲染精度,对各背景物的显示模型进行渲染,提升了渲染效率,并且使得渲染的虚拟会议空间具有更高的显示适应度,同时保证渲染的虚拟会议空间与线下会议的物理会议空间的贴近程度,同时显示出各与会人的虚拟形象,显示效果更贴近于线下会议的物理会议空间,可以提升与会人的参与感,使得与会人能够更专注于会议过程,从而提升了会议效率;按照预设组装规则,获得目标与会人的三维虚拟形象;根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标,保证了三维虚拟形象的真实度和准确性,提升了用户体验;根据目标与会人的三维虚拟形象,生成目标与会人的静态形象图片,根据目标显示模型的位置信息,显示目标与会人的静态形象图片,避免了在渲染完成前,目标显示模型上无法显示目标与会人的虚拟形象,提升了用户体验;根据人物空间三维坐标,按照预设渲染精度,将目标与会人的三维虚拟形象渲染至目标显示模型的上方;根据客户端性能参数,调整渲染精度,并按照调整后的渲染精度,对各背景物的显示模型和目标与会人的三维虚拟形象重新进行渲染,提升了渲染的虚拟会议空间的显示适应度;对与会视频数据进行分析,获得目标与会人的形态特征信息,基于形态特征信息和调整后的渲染精度,对目标与会人的三维虚拟形象中的形态特征进行渲染,对与会语音数据进行分析,获得目标与会人的嘴部动作信息,基于嘴部动作信息和调整后的渲染精度,对目标与会人的三维虚拟形象中的嘴部进行渲染,使得显示效果更贴近于线下会议中的真实与会人,可以提升与会人的参与感,使得与会人能够更专注于会议过程,从而提升了会议效率。
图5示出了本说明书一个实施例提供的一种虚拟会议空间显示方法的显示效果图。
如图5所示,在应用程序客户端的虚拟会议室显示界面,渲染了多个背景物的显示模型,包括:显示屏的显示模型,植物的显示模型,椅子的显示模型,会议桌的显示模型,在会议桌的显示模型上渲染有“点击加入会议”的功能控件,在虚拟会议室显示界面的右侧设置有不同虚拟会议空间的切换控件,用户通过点击对应的空间来切换虚拟会议空间。在其中的两个椅子的显示模型上渲染有与会人的三维虚拟模型,包括:与会人1的三维虚拟模型和与会人2的三维虚拟模型。在虚拟会议室显示界面的下方设置有与会人的信息标识(与会人1、大厅)和功能控件,包括:“取消静音”的功能控件、“关闭扬声器”的功能控件、“共享屏幕”的功能控件、“动态形象”的切换控件、“设置”的功能控件和“退出会议”的功能控件。用户可以通过点击“取消静音”的功能控件和“关闭扬声器”的功能控件实现对应的扬声器状态设置,在完成扬声器状态设置后,会在对应的与会人的三维虚拟空间上方渲染扬声器状态信息,例如,在与会人1的三维虚拟模型上渲染有与会人1的扬声器状态,在与会人2的三维虚拟模型上渲染有与会人2的扬声器状态。
图6示出了本说明书一个实施例提供的一种虚拟会议空间显示方法的虚拟形象设置界面的显示效果图。
如图6所示,在图5的基础上,用户通过点击“设置”的功能控件,进入设置显示界面,在设置显示界面的左侧设置有设置功能菜单,包括:常规、音频和虚拟形象的功能菜单,用户通过点击“虚拟形象”的功能菜单,切换至虚拟形象设置界面,在虚拟形象设置界面的上方设置有三维动画形象和三维真实形象的切换控件,在虚拟形象设置界面的中间设置有虚拟形象预览区域,在虚拟形象设置界面的下方设置有形象模板和发色的切换控件,用户通过点击“形象模板”的切换控件,展开多种形象模板,在选定对应的形象模板后点击“确定”控件生成三维虚拟形象,或者点击“取消”控件取消生成三维虚拟形象。
与上述方法实施例相对应,本说明书还提供了虚拟会议空间显示装置实施例,图7示出了本说明书一个实施例提供的一种虚拟会议空间显示装置的结构示意图。如图7所示,该装置包括:
获取模块702,被配置为获取各背景物的显示模型和各与会人的三维虚拟形象;
第一渲染模块704,被配置为在目标虚拟会议空间中,按照预设排列信息,对各背景物的显示模型进行渲染;
定位模块706,被配置为获取并根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标,其中,目标显示模型为供目标与会人入座的目标背景物的显示模型;
第二渲染模块708,被配置为根据人物空间三维坐标,将目标与会人的三维虚拟形象渲染至目标显示模型的上方。
可选地,获取模块702被进一步配置为:获取各与会人的初始三维虚拟形象以及附加特征集,其中,附加特征集包括多个类型的人物附加特征子模型;针对任一与会人,从附加特征集中选择至少一种类型的人物附加特征子模型,按照预设组装规则,将至少一种类型的人物附加特征子模型与初始三维虚拟形象进行组装,获得该与会人的三维虚拟形象。
可选地,该装置还包括:
第三渲染模块,被配置为接收形象更新请求,其中,形象更新请求包括用户选择的目标与会人的待更新三维虚拟形象、至少一种类型的人物附加特征子模型;按照预设组装规则,将至少一种类型的人物附加特征子模型与待更新三维虚拟形象进行组装,获得目标与会人更新的三维虚拟形象;根据人物空间三维坐标,采用覆盖渲染技术,将目标与会人更新的三维虚拟形象渲染至目标显示模型的上方。
可选地,第一渲染模块704被进一步配置为:
根据用户选择的会议类型,确定目标虚拟会议空间;按照目标虚拟会议空间对应的预设排列信息,在目标虚拟会议空间中对各背景物的显示模型进行渲染。
可选地,第一渲染模块704被进一步配置为:
按照预设渲染精度,对各背景物的显示模型进行渲染;
对应地,第二渲染模块708被进一步配置为:
按照预设渲染精度,将目标与会人的三维虚拟形象渲染至目标显示模型的上方。
可选地,该装置还包括:
第四渲染模块,被配置为获取客户端性能参数;根据客户端性能参数,调整渲染精度,并按照调整后的渲染精度,对各背景物的显示模型和目标与会人的三维虚拟形象重新进行渲染。
可选地,该装置还包括:
图片显示模块,被配置为根据目标与会人的三维虚拟形象,生成目标与会人的静态形象图片;根据目标显示模型的位置信息,显示目标与会人的静态形象图片。
可选地,该装置还包括:
第五渲染模块。被配置为获取视频采集设备采集的目标与会人的与会视频数据;对与会视频数据进行分析,获得目标与会人的形态特征信息;基于形态特征信息,对目标与会人的三维虚拟形象中的形态特征进行渲染。
可选地,第五渲染模块被进一步配置为:
对与会视频数据进行面部分析,获得目标与会人的面部各特定部位的面部特征信息和特征系数;根据面部各特定部位的面部特征信息和特征系数,确定面部各特定部位的渲染参数;基于面部各特定部位的渲染参数,对目标与会人的三维虚拟形象中的面部各特定部位进行渲染。
可选地,该装置还包括:
第六渲染模块,被配置为获取语音采集设备采集的目标与会人的与会语音数据;对与会语音数据进行分析,获得目标与会人的嘴部动作信息;基于嘴部动作信息,对目标与会人的三维虚拟形象中的嘴部进行渲染。
可选地,第六渲染模块被进一步配置为:
对与会语音数据进行语义分析,确定目标与会人的嘴部形状信息;对与会语音数据进行音量分析,确定目标与会人的嘴部尺寸信息;基于嘴部形状信息和嘴部尺寸信息,对目标与会人的三维虚拟形象中的嘴部进行渲染。
本说明书实施例中,获取各背景物的显示模型和各与会人的三维虚拟形象,在目标虚拟会议空间中,按照预设排列信息,对各背景物的显示模型进行渲染,获取并根据目标显示模型的位置信息,确定目标显示模型对应的人物空间三维坐标,根据人物空间三维坐标,将目标与会人的三维虚拟形象渲染至目标显示模型的上方。在根据预设排列信息渲染各背景物的目标虚拟会议空间内,显示出各与会人的虚拟形象,显示效果更贴近于线下会议的物理会议空间,可以提升与会人的参与感,使得与会人能够更专注于会议过程,从而提升了会议效率。
上述为本实施例的一种虚拟会议空间显示装置的示意性方案。需要说明的是,该虚拟会议空间显示装置的技术方案与上述的虚拟会议空间显示方法的技术方案属于同一构思,虚拟会议空间显示装置的技术方案未详细描述的细节内容,均可以参见上述虚拟会议空间显示方法的技术方案的描述。
图8示出了本说明书一个实施例提供的一种计算设备800的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接,数据库850用于保存数据。
计算设备800还包括接入设备840,接入设备840使得计算设备800能够经由一个或网络860通信。些网络的示例包括公用交换电话网(PSTN,Public Switched TelephoneNetwork)、局域网(LAN,Local Area Network)、广域网(WAN,Wide Area Network)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,Network InterfaceController))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,Wireless Local AreaNetworks)无线接口、全球微波互联接入(Wi-MAX,World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near Field Communication)接口,等等。
在本说明书的一个实施例中,计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图8所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备800可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备800还可以是移动式或静止式的服务器。
其中,处理器820用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述虚拟会议空间显示方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的虚拟会议空间显示方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述虚拟会议空间显示方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述虚拟会议空间显示方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的虚拟会议空间显示方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述虚拟会议空间显示方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述虚拟会议空间显示方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的虚拟会议空间显示方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述虚拟会议空间显示方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种虚拟会议空间显示方法,包括:
获取各背景物的显示模型和各与会人的三维虚拟形象;
在目标虚拟会议空间中,按照预设排列信息,对所述各背景物的显示模型进行渲染;
获取并根据目标显示模型的位置信息,确定所述目标显示模型对应的人物空间三维坐标,其中,所述目标显示模型为供目标与会人入座的目标背景物的显示模型;
根据所述人物空间三维坐标,将所述目标与会人的三维虚拟形象渲染至所述目标显示模型的上方。
2.根据权利要求1所述的方法,所述获取各与会人的三维虚拟形象,包括:
获取各与会人的初始三维虚拟形象以及附加特征集,其中,所述附加特征集包括多个类型的人物附加特征子模型;
针对任一与会人,从所述附加特征集中选择至少一种类型的人物附加特征子模型,按照预设组装规则,将所述至少一种类型的人物附加特征子模型与所述初始三维虚拟形象进行组装,获得该与会人的三维虚拟形象。
3.根据权利要求1或2所述的方法,在所述根据所述人物空间三维坐标,将所述目标与会人的三维虚拟形象渲染至所述目标显示模型的上方之后,还包括:
接收形象更新请求,其中,所述形象更新请求包括用户选择的所述目标与会人的待更新三维虚拟形象、至少一种类型的人物附加特征子模型;
按照预设组装规则,将所述至少一种类型的人物附加特征子模型与所述待更新三维虚拟形象进行组装,获得所述目标与会人更新的三维虚拟形象;
根据所述人物空间三维坐标,采用覆盖渲染技术,将所述目标与会人更新的三维虚拟形象渲染至所述目标显示模型的上方。
4.根据权利要求1所述的方法,所述在目标虚拟会议空间中,按照预设排列信息,对所述各背景物的显示模型进行渲染,包括:
根据用户选择的会议类型,确定目标虚拟会议空间;
按照所述目标虚拟会议空间对应的预设排列信息,在所述目标虚拟会议空间中对所述各背景物的显示模型进行渲染。
5.根据权利要求1所述的方法,所述对所述各背景物的显示模型进行渲染,包括:
按照预设渲染精度,对所述各背景物的显示模型进行渲染;
所述将所述目标与会人的三维虚拟形象渲染至所述目标显示模型的上方,包括:
按照所述预设渲染精度,将所述目标与会人的三维虚拟形象渲染至所述目标显示模型的上方。
6.根据权利要求5所述的方法,在所述将所述目标与会人的三维虚拟形象渲染至所述目标显示模型的上方之后,还包括:
获取客户端性能参数;
根据所述客户端性能参数,调整渲染精度,并按照调整后的渲染精度,对所述各背景物的显示模型和所述目标与会人的三维虚拟形象重新进行渲染。
7.根据权利要求1或2所述的方法,在所述根据所述人物空间三维坐标,将所述目标与会人的三维虚拟形象渲染至所述目标显示模型的上方之前,还包括:
根据所述目标与会人的三维虚拟形象,生成所述目标与会人的静态形象图片;
根据所述目标显示模型的位置信息,显示所述目标与会人的静态形象图片。
8.根据权利要求1所述的方法,在所述根据所述人物空间三维坐标,将所述目标与会人的三维虚拟形象渲染至所述目标显示模型的上方之后,还包括:
获取视频采集设备采集的所述目标与会人的与会视频数据;
对所述与会视频数据进行分析,获得所述目标与会人的形态特征信息;
基于所述形态特征信息,对所述目标与会人的三维虚拟形象中的形态特征进行渲染。
9.根据权利要求8所述的方法,所述对所述与会视频数据进行分析,获得所述目标与会人的形态特征信息,包括:
对所述与会视频数据进行面部分析,获得所述目标与会人的面部各特定部位的面部特征信息和特征系数;
所述基于所述形态特征信息,对所述目标与会人的三维虚拟形象中的形态特征进行渲染,包括:
根据所述面部各特定部位的面部特征信息和特征系数,确定所述面部各特定部位的渲染参数;
基于所述面部各特定部位的渲染参数,对所述目标与会人的三维虚拟形象中的面部各特定部位进行渲染。
10.根据权利要求1或8所述的方法,在所述根据所述人物空间三维坐标,将所述目标与会人的三维虚拟形象渲染至所述目标显示模型的上方之后,还包括:
获取语音采集设备采集的所述目标与会人的与会语音数据;
对所述与会语音数据进行分析,获得所述目标与会人的嘴部动作信息;
基于所述嘴部动作信息,对所述目标与会人的三维虚拟形象中的嘴部进行渲染。
11.根据权利要求10所述的方法,所述对所述与会语音数据进行分析,获得所述目标与会人的嘴部动作信息,包括:
对所述与会语音数据进行语义分析,确定所述目标与会人的嘴部形状信息;
对所述与会语音数据进行音量分析,确定所述目标与会人的嘴部尺寸信息;
所述基于所述嘴部动作信息,对所述目标与会人的三维虚拟形象中的嘴部进行渲染,包括:
基于所述嘴部形状信息和嘴部尺寸信息,对所述目标与会人的三维虚拟形象中的嘴部进行渲染。
12.一种虚拟会议空间显示装置,包括:
获取模块,被配置为获取各背景物的显示模型和各与会人的三维虚拟形象;
第一渲染模块,被配置为在目标虚拟会议空间中,按照预设排列信息,对所述各背景物的显示模型进行渲染;
定位模块,被配置为获取并根据目标显示模型的位置信息,确定所述目标显示模型对应的人物空间三维坐标,其中,所述目标显示模型为供目标与会人入座的目标背景物的显示模型;
第二渲染模块,被配置为根据所述人物空间三维坐标,将所述目标与会人的三维虚拟形象渲染至所述目标显示模型的上方。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述虚拟会议空间显示方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述虚拟会议空间显示方法的步骤。
CN202211034524.3A 2022-08-26 2022-08-26 虚拟会议空间显示方法以及装置 Pending CN115496844A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211034524.3A CN115496844A (zh) 2022-08-26 2022-08-26 虚拟会议空间显示方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211034524.3A CN115496844A (zh) 2022-08-26 2022-08-26 虚拟会议空间显示方法以及装置

Publications (1)

Publication Number Publication Date
CN115496844A true CN115496844A (zh) 2022-12-20

Family

ID=84467454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211034524.3A Pending CN115496844A (zh) 2022-08-26 2022-08-26 虚拟会议空间显示方法以及装置

Country Status (1)

Country Link
CN (1) CN115496844A (zh)

Similar Documents

Publication Publication Date Title
US11381778B2 (en) Hybrid texture map to be used during 3D video conferencing
US11570404B2 (en) Predicting behavior changes of a participant of a 3D video conference
CN113269872A (zh) 基于三维人脸重构和视频关键帧优化的合成视频生成方法
US20160134840A1 (en) Avatar-Mediated Telepresence Systems with Enhanced Filtering
US11657557B2 (en) Method and system for generating data to provide an animated visual representation
US20170243387A1 (en) High-fidelity facial and speech animation for virtual reality head mounted displays
US7804997B2 (en) Method and system for a three dimensional facial recognition system
US20210392175A1 (en) Sharing content during a virtual 3d video conference
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
CN110555507B (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
US11765332B2 (en) Virtual 3D communications with participant viewpoint adjustment
US11790535B2 (en) Foreground and background segmentation related to a virtual three-dimensional (3D) video conference
WO2022252866A1 (zh) 一种互动处理方法、装置、终端及介质
CN111182350B (zh) 图像处理方法、装置、终端设备及存储介质
CN110794964A (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
US20210392231A1 (en) Audio quality improvement related to a participant of a virtual three dimensional (3d) video conference
JP6796762B1 (ja) 仮想人物対話システム、映像生成方法、映像生成プログラム
Mortlock et al. Virtual conferencing
CN115496844A (zh) 虚拟会议空间显示方法以及装置
WO2022255980A1 (en) Virtual agent synthesis method with audio to video conversion
Kasat et al. Real time face morphing
Lu et al. Instant Messenger with Personalized 3D Avatar
JP2021086618A (ja) 仮想人物対話システム、映像生成方法、映像生成プログラム
Chandrasiri et al. Communication over the Internet using a 3D agent with real-time facial expression analysis, synthesis and text to speech capabilities
Skúlason et al. Integrating Video with Artificial Gesture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40081889

Country of ref document: HK