CN108881784B - 虚拟场景实现方法、装置、终端及服务器 - Google Patents
虚拟场景实现方法、装置、终端及服务器 Download PDFInfo
- Publication number
- CN108881784B CN108881784B CN201710334728.1A CN201710334728A CN108881784B CN 108881784 B CN108881784 B CN 108881784B CN 201710334728 A CN201710334728 A CN 201710334728A CN 108881784 B CN108881784 B CN 108881784B
- Authority
- CN
- China
- Prior art keywords
- client
- session
- information
- space
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请实施例提供了一种虚拟场景实现方法、装置、终端及服务器,本申请通过渲染当前场景的虚拟场景,并将其作为会话期间客户端呈现的通话背景,并且,客户端还会获得针对本次会话创建的会话空间的当前空间信息,如当前接入会话空间的至少一个客户端的成员属性信息,从而据此获得该至少一个客户端对应的虚拟人物,并按照预设的虚拟人物在虚拟场景中的位置关系,使各虚拟人物呈现在本地呈现的虚拟场景中,从而给通话成员营造一种参与本次会话的各成员都在本地的感觉,使得通话成员更加投入本次会话,且不需要本成员再从其客户端呈现的多个视频界面中查找当前发言成员,缩短了本次会话时间,提高了工作效率。
Description
技术领域
本申请主要涉及网络通信领域,更具体地说是涉及虚拟场景实现方法、装置、终端及服务器。
背景技术
随着通信技术的发展,目前大部分移动终端都能够支持多方视频通话功能,以方便身处不同地方的用户通过视频通话的方式,能够随时随地进行多方会话,丰富了用户业余生活,且为用户工作带来了很大便利,大大降低了交通费用。
具体的,用户使用移动终端进行多方视频通话时,通常会建立一个会话群,进入会话群的用户可以通过所用移动终端的前置摄像头采集用户图像,发送至其他用户的移动终端显示,同时通过移动终端的声音采集器采集用户语音信息发送至其他用户移动终端播放,从而保证每一个进入会话群的用户通过所用移动终端显示屏,能够直接看到其他用户真实图像,同时也能够同步接收到当前发言用户的语音信息,无需这几个用户亲自到同一地方进行面对面交流,非常方便,这种交流方式目前已被广泛应用于企业管理、电子商务、社会、科学、交易以及医疗等多个领域。
然而,现有技术中进行多方视频通话时,本用户移动终端上通常会显示多个视频界面,每一个视频界面将呈现进入会话群的一个其他用户真实图像,而各视频界面的背景图像通常是不同的,将会导致本用户移动终端显示界面比较乱,视觉效果差,很容易给本用户造成混乱,无法快速准确确定当前发言用户并给予及时反馈,往往会导致本次会话时间拖长,影响工作效率。
发明内容
有鉴于此,本申请提供了一种虚拟场景实现方法、装置、终端及服务器,通过结合实景的虚拟场景,并将参与会话的各成员生成相应的虚拟人物呈现在该虚拟场景中,丰富了客户端呈现的会议场景,逼真地展现了会话场景,提高会话效率。
为了实现上述目的,本申请提供了以下技术方案:
本申请实施例提供了一种虚拟场景实现方法,所述方法包括:
获得至少一个客户端接入的会话空间的当前空间信息,所述会话空间是服务器在接收到任意一个客户端发起的会话请求时创建的,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
利用所述至少一个客户端对应的成员属性信息,获得所述至少一个客户端对应的虚拟人物;
采集当前场景的环境图像信息,并利用所述环境图像信息,渲染所述会话空间的虚拟场景;
利用获得的虚拟人物在所述虚拟场景中位置关系,呈现包含有所述虚拟人物的虚拟场景。
本申请实施例还提供了一种虚拟场景实现方法,所述方法包括:
接收客户端发起的会话请求;
创建用于信息交互的会话空间,并将所述会话请求转发至所述客户端邀请接入所述会话空间的其他客户端;
根据所述其他客户端对所述会话请求的响应结果,确定所述会话空间的当前空间信息,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
将所述当前空间信息发送至当前接入所述会话空间的至少一个客户端,以使所述至少一个客户端利用所述成员属性信息,获得相应客户端对应的虚拟人物。
本申请实施例还提供了一种虚拟场景实现装置,所述装置包括:
第一数据传输模块,用于获得至少一个客户端接入的会话空间的当前空间信息,所述会话空间是服务器在接收到任意一个客户端发起的会话请求时创建的,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
第一渲染模块,用于利用所述至少一个客户端对应的成员属性信息,获得所述至少一个客户端对应的虚拟人物;
第二渲染模块,用于采集当前场景的环境图像信息,并利用所述环境图像信息,渲染所述会话空间的虚拟场景;
第一输出模块,用于利用获得的虚拟人物在所述虚拟场景中位置关系,呈现包含有所述虚拟人物的虚拟场景。
本申请实施例还提供了另一种虚拟场景实现装置,所述装置包括:
请求接收模块,用于接收客户端发起的会话请求;
创建模块,用于创建用于信息交互的会话空间,并将所述会话请求转发至所述客户端邀请接入所述会话空间的其他客户端;
信息确定模块,用于根据所述其他客户端对所述会话请求的响应结果,确定所述会话空间的当前空间信息,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
数据传输模块,用于将所述当前空间信息发送至当前接入所述会话空间的至少一个客户端,以使所述至少一个客户端利用所述成员属性信息,获得相应客户端对应的虚拟人物。
本申请实施例还提供了一种终端,所述终端包括:
显示器;
通信模块,用于实现与服务器的数据交互;
存储器,用于存储多个指令;
处理器,用于加载并执行所述多个指令,包括:
获得至少一个客户端接入的会话空间的当前空间信息,所述会话空间是服务器在接收到任意一个客户端发起的会话请求时创建的,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
利用所述至少一个客户端对应的成员属性信息,获得所述至少一个客户端对应的虚拟人物;
采集当前场景的环境图像信息,并利用所述环境图像信息,渲染所述会话空间的虚拟场景;
利用获得的虚拟人物在所述虚拟场景中位置关系,通过所述显示器呈现包含有所述虚拟人物的虚拟场景。
本申请实施例还提供了一种服务器,所述服务器包括:
通信接口,用于接收客户端发起的会话请求;
存储器,用于存储多个指令;
处理器,用于加载并执行所述多个指令,包括:
创建用于信息交互的会话空间,并将所述会话请求转发至所述客户端邀请接入所述会话空间的其他客户端;
根据所述其他客户端对所述会话请求的响应结果,确定所述会话空间的当前空间信息,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
通过所述通信接口将所述当前空间信息发送至当前接入所述会话空间的至少一个客户端,以使所述至少一个客户端利用所述成员属性信息,获得相应客户端对应的虚拟人物。
基于上述技术方案,本申请实施例提供了一种虚拟场景实现方法、装置、终端及服务器,本申请通过渲染当前场景的虚拟场景,并将其作为会话期间客户端呈现的通话背景,并且,客户端还会获得针对本次会话创建的会话空间的当前空间信息,如当前接入会话空间的至少一个客户端的成员属性信息,从而据此获得该至少一个客户端对应的虚拟人物,并按照预设的虚拟人物在虚拟场景中的位置关系,使各虚拟人物呈现在本地呈现的虚拟场景中,从而给通话成员营造一种参与本次会话的各成员都在本地的感觉,使得通话成员更加投入本次会话,且不需要本成员再从其客户端呈现的多个视频界面中查找当前发言成员,缩短了本次会话时间,提高了工作效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种虚拟场景实现系统结构图;
图2为本申请实施例提供的一种服务器的结构图;
图3为本申请实施例提供的一种终端的硬件结构图;
图4为本申请实施例提供的一种服务器的硬件结构图;
图5为本申请实施例提供的一种虚拟场景实现方法的信令流程图;
图6(a)~图6(d)为本申请实施例提供的一种虚拟场景实现过程中的不同显示界面示意图;
图7为本申请实施例提供的另一种虚拟场景实现方法的部分流程图;
图8为本申请实施例提供的又一种虚拟场景实现方法的部分流程图;
图9(a)为本申请实施例提供的一种网络会议虚拟场景实现方法的信令流程图;
图9(b)为本申请实施例提供的一种网络会议虚拟场景实现系统的框架示意图;
图9(c)和图9(d)分别是本申请实施例提供的一种虚拟场景的示意图;
图10为本申请实施例提供的一种虚拟场景实现装置的结构框图;
图11为本申请实施例提供的另一种虚拟场景实现装置的结构框图;
图12为本申请实施例提供的又一种虚拟场景实现装置的结构框图;
图13为本申请实施例提供的又一种虚拟场景实现装置的结构框图;
图14为本申请实施例提供的又一种虚拟场景实现装置的结构框图;
图15为本申请实施例提供的又一种虚拟场景实现装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,其示出了本申请实施例提供的一种虚拟场景实现系统的结构图,该系统可以包括:多个终端10和服务器20。
终端10中安装有用于提供即时通信服务的客户端,如目前常用的各种即时通信APP(Application,应用程序)或者企业专用的企业会议APP等,本申请并不限定用于进行网络会议的客户端类型。
其中,为了保证多人会话质量,终端通常具有音频采集器、视频采集器、显示器等硬件设备,在本实施例中,终端10可以是智能手机、平板电脑等设备。而且,终端10可以通过有线网络或无线网络与服务器20连接。
服务器20可以是网络侧为用户提供服务的服务器设备,可以是一台服务器,或者若干台服务器组成的服务器集群,或者是一个云计算服务中心。
可选的,当服务器20是由若干台服务器组成的服务器集群时,如图2所示,该服务器20可以包括信令服务器21以及数据服务器22。
信令服务器21,用于接收各终端的客户端发起的业务请求,如接入请求、退出请求、邀请请求等会话请求,但并不局限于此,可以根据实际业务需要确定。
数据服务器22,用于接收各终端客户端发送的业务数据,并作为业务数据的转发站,实现各客户端发送的业务数据的交互。其中,当客户端发起的是会话请求时,数据服务器22接收并转发的业务数据可以是会话数据,如会话语音数据、参与会话成员的图像数据等,本申请对该业务数据的内容不作限定。
参照图3,为本申请实施例提供的一种终端的硬件结构图,该终端可以安装实现网络会话通信的客户端,以便实现远程会话通信,在本实施例中,终端10可以包括通信模块11,显示器12、传感器13、存储器14、音频电路15以及处理器16等部件,为了提高会话的便携性,还可以包括图像采集器17,当然,也可以利用单独的图像采集设备,配合终端实现会话通信,本申请对此不作限定。
另外,需要说明的是,本领域技术人员应该理解,图3所示的终端结构并不构成对终端的限定,可以包括比图3示出的更多或更少的部件,或组合某些部件,或者不同的部件布置。其中:
通信模块11可以用于接收和发送信息,实现与服务器20之间的数据交互,而且,还可以通过无线通信与网络和其他设备通信。在实际应用中,其可以是GSM(Global Systemfor Mobile Communication,全球移动通讯系统)模块、GPRS(General Packet RadioService,通用分组无线服务)模块、CDMA(Code Division Multiple Access,码分多址)模块、或WCDMA(Wideband Code Division Multiple Access,带宽码分多址)模块等等,本申请对通信模块101的具体电路结构不作限定,采用通信方式不同所具有的电路结构是不同的。
显示器12可以用于显示通信模块11接收到的信息,以及处理器16对接收到的信息进行处理后的信息,如在网络会话过程中,显示器12可以显示参与会话的成员及会话场景等图像信息,以及各成员进行讲解的文件信息等等。
在实际应用中,该显示器12可以是触摸屏或液晶显示屏等,本申请并不限定显示器12的电路结构,但需要说明的是,当显示器12的电路结构不同时,可以配置相应的输入设备满足实际需要。例如,当显示器12是触摸屏时,用户可以直接用手对显示器上各种操作按钮进行操作,也可以利用触控笔完成输入操作;然而,当显示器12具有的是非触摸显示屏,通常终端10还包括输入设备(如键盘)18,用户利用输入设备才能对显示屏显示的内容进行相应操作。
传感器13用来感应用户对终端的输入操作,以便生成相应的指令发送至处理器16执行,实现所需功能。可选的,传感器103可以包括温度传感器、压力传感器、运动传感器、光传感器或其他近场感应设备等等,本申请并不限定传感器13的产品类型及其电路结构,通常会给出终端实际操作需要确定。例如,光传感器可以包括环境光传感器和接近传感器,环境光传感器可以根据环境光线的强度来调节显示屏的亮度,接近传感器可以在终端接近用户耳边时,关闭显示屏的背景光。运动传感器可以包括重力加速度传感器,来检测各个方向上的加速度大小,静止时可以检测重力的大小及方向,用于识别终端姿态的应用(如横竖屏切换等),此外,终端还可以配置有陀螺仪、气压计、红外线传感器等等其他传感器,本申请在此不再一一列举。
存储器14可以用于存储软件程序及模块,根据需要还可以存储通信模块11接收到的数据信息等,其可以包括存储程序区和存储数据区。其中,存储程序区可以存储操作系统、至少一个功能所需的应用程序(如上述客户端、音视频播放器等)等,该应用程序通常包括多个指令,以便处理器16加载并执行这些指令,实现网络会话等;存储数据区可以存储根据终端使用所创建的数据(如音视频数据、电话本、短信息)以及接收到其他设备传输的数据信息等等。
在本申请中,存储器14可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器、闪存器件或其他易失性固态存储器件等。
音频电路15可以将接收到的音频数据转换为电信号,传输到扬声器19,由扬声器19转换为声音信号输出;另一方面,传声器110可以将收集到的声音信号转换为电信号,由音频电路15转换为音频数据后发送至处理器16处理,再通过通信模块发送至其他设备。
处理器16是终端10的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储器14存储的软件程序和/或模块,调用存储器14内的数据,还可以对接收或发送的数据信息进行处理,实现终端的各种功能。
可选的,处理器16可以是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
例如,处理器16可集成应用处理器和调制解调处理器,应用处理器可以而处理操作系统、用户界面以及应用程序等,调制解调器可以处理通信模块的通信过程。其中,该调制解调器可以不集成在处理器16中。
可选的,终端10除了上述列举的部件外,还可以包括为各部件供电的电源111(例如电池),可选的,电源111可以通过电源管理系统与处理器16连接,通过电源管理系统实现管理充放电以及功耗管理等功能。电源111还可以包括一个或多个直流或交流电源、电源转换器、电源故障检测电路以及逆变器、电源状态指示器等任意组件,本申请对此不作限定。
参照图4,示出了本申请实施例提供的服务器的硬件结构图,服务器20可以包括:处理器21、通信接口22、存储器23以及通信总线24。
其中,处理器21、通信接口22和存储器23通过通信总线24连接。
通信接口22可以是通信模块的接口,具体类型可以基于上述终端中通信模块的电路结构确定,以保证服务器能够通过该通信接口与终端进行正常通信。因此,该通信接口22可以是GSM模块的接口、GPRS模块的接口、CDMA模块的接口或者是MCDMA模块的接口等,但并不局限于此。
处理器21与上述终端中的处理器的功能类似,可以用于执行存储器203内存储的应用程序,并对通信接口22接收到的数据进行处理或者将处理得到的数据发送至通信接口,进行转发至其他设备。其中,应用程序可以包括程序代码,如计算机操作指令等。
存储器23可以包括随机存取存储器与只读存储器的系统存储器,根据需要还可以包括用于存储操作系统、应用程序和其他程序模块的大容量存储器等,本申请在此不再一一详述。
处理器21可能是一个中央处理器CPU,或者是特定集成电路ASIC
(Application Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
基于上述对系统结构以及终端和服务器接口的描述,当用户希望进行多方网络会话,可以点击终端显示的会话客户端图标,从而进入该客户端的操作界面,此时,用户可以选择希望参加本次会话的其他用户,并向服务器发起会话请求,使得服务器创建实现本次会话的会话空间,并将该会话请求转发给被邀请的其他客户端,从而使多个客户端都能够接入该会话空间,实现本次会话通信。
在此期间,接入会话空间的各客户端界面可以呈现所在环境的虚拟场景,且该虚拟场景中会包含接入会话空间的各客户端对应的成员虚拟人物,从而给本地成员营造一种参与本次会话的其他成员也在本地的感觉,使得本地成员更加投入本次会话,且不需要本地成员再从其客户端呈现的多个视频界面中查找当前发言成员,缩短了本次会话时间,提高了工作效率。而且,还能够会话空间实时了解参与会话的各成员的动态,以便本地成员给出合适反映,丰富了音视频软件的交互方式。下面将通过几个实施例对本申请提供的技术方案进行介绍和说明。
如图5所示,为本申请实施例提供的一种虚拟场景实现方法的信令流程图,本实施例中,为了方便描述该方法的实现过程,可以将发起会议请求的客户端作为第一客户端,将受第一客户端邀请进入会议空间的其他客户端作为第二客户端,其中,第一客户端和第二客户端可以是具有会话功能的任意客户端,本申请并不限定第一客户端和第二客户端的产品类型。基于此,在本实施例中,该方法可以包括:
步骤S51,第一客户端向服务器发起会话请求;其中,该会话请求中携带有请求参与本次会话的各会话成员的客户端信息,如客户端地址、名称等,用来区分并识别所请求参会本次会话的各成员。可选的,该成员信息可以采用成员列表的方式输出,但并不局限于此。
当用户在第一客户端的操作界面触发会话请求功能后,可以输出如图6(a)所示的选择界面,用户可以从中选择需要邀请参加本次会话的成员,并点击确认,从而生成相应的会话请求,并发送至服务器,但并不局限于图6(a)所示的选择界面。步骤S52,服务器响应该会话请求,创建会话空间并维持该会话空间的空间信息;
在实际应用中,可以由服务器中的信令服务器来创建会话空间,具体的,可以在信令服务器接收到第一客户端发起的会话请求时,确定一个全局唯一的空间ID,作为针对该会话请求要创建的会话空间的空间ID,实现与其他会话空间的区分。尤其是在服务器创建了多个会话空间时,可以利用空间ID进行区分,保证客户端的正确接入。
另外,服务器还需要维持创建的这个会话空间的空间信息和生命周期,直至该会话空间内的所有成员都退出本次会话,可以删除创建的该会话空间及其空间信息。
其中,当接入该会话空间的客户端发生变化后,将会及时更改相应的空间信息,并反馈至当前参与会议的各客户端,从而使客户端调整呈现的虚拟场景中的虚拟人物,如增加新接入会话空间的客户端对应的虚拟人物,或者,删除退出会话空间的客户端对应的虚拟人物等。
可选的,为了保证用户请求参与会话的其他成员能够及时收到会话请求,尽快将其客户端接入本次网络会话,成为本次会话的一名会话成员,服务器可以将第一客户端能够建立通信连接的其他客户端的网络状态反馈给第一客户端输出,以便用户能够通过第一客户端的显示界面,直观得知哪些用户当前处于网络在线状态,哪些用户当前不在线或者处于忙碌状态等,这样,用户通过第一客户端发起会话请求时,为了尽快开展会话内容,可以直接邀请当前网络在线的其他客户端用户参与本次会话,减少了无效会议请求的发送数量,降低了服务器的工作量。
需要说明的是,用户通过第一客户端发起会话请求时,并不局限于上段描述的情况,也可以将希望参与本次会话的会话成员的成员信息添加到会话请求中发送至服务器,以便在本次会话结束前,受邀请的成员在会话期间随时加入。
可选的,服务器针对接收到的会话请求,成功创建会话空间后,可以为进入该会话空间的第一客户端分配唯一对应的成员ID,用来区分进入该会话空间的多个客户端。
步骤S53,服务器利用会话请求携带的客户端信息,通知至少一个第二客户端接入上述会话空间;
在本实施例中,服务器可以作为中间转发站,可以直接将第一客户端发起的会话请求转发至请求参与会话的其他成员的客户端即第二客户端,以便其他成员看到该会话请求,自主决定是否进入针对该会话请求创建的会话空间。
步骤S54,服务器接收至少一个第二客户端反馈的响应结果,并将该响应结果转发至第一客户端。
在实际应用中,受邀请的用户在第二客户端看到会话请求提示窗口后,可以根据自身情况选择是否接受本次邀请参与本次会话,无论是否参与都会将相应的结果反馈至服务器,服务器还可以进一步反馈至发起该会话请求的第一客户端,以使发起会话请求的用户能够及时了解有哪些用户参与了本次会话,当然,也可以根据后续虚拟场景中虚拟人物确定参与本次会话的成员,并不局限于响应结果的反馈这一种方式。
可选的,在服务器接收到每一个第二客户端反馈的响应结果,除了反馈至第一客户端外,还会反馈至当前接入相应会话空间的所有客户端,以便进入该会话空间的各客户端能够了解都有哪些客户端用户参加了本次会话。并且,当服务器确定接收到的响应结果表明该第二客户端将进入创建的会话空间时,服务器还可以为这类第二客户端分配一一对应的成员ID,实现对接入会话空间的多个客户端的区分。
其中,服务器是在创建的会话空间未删除前,即本次会话未结束前,接收到第二客户端反馈的进入该会话空间的响应结果后,才会为其分配一一对应的成员ID,对于本次会话结束后接收到的进入本次会话的响应结果,可以不作处理,可以告知相应第二客户端本次会话已结束,或者也可以直接控制发送至第二客户端的通知无效,以使第二客户端向输出的会话请求提示窗口消失等等,本申请在此不再一一列举。
需要说明的是,服务器为进入同一会话空间的各客户端分配的成员ID可以按照一定规则确定,如逐渐增加或减小等方式,本申请对此不作限定,只要进入同一会话空间的各成员对应的成员ID不同,能够通过该成员ID区分各成员,申请在此不再一一列举。
而且,在会话过程中,若有客户端退出本次会话,当其再次进入本次会话的会话空间,服务器将会重新为其分配成员ID。
可选的,本申请中参与同一会议的各客户端之间可以基于UDP(User DatagramProtocol,用户数据报协议)实现会议数据通道的建立,但并不局限于这一种协同通信方式。
由接入会话空间的所有客户端都有服务器建立了通信连接,所以,接入房间的任意两个客户端之间能够通过服务器时间数据交互,从而实现网络会议的基本功能,如语音交互等。
步骤S55,第一客户端以及至少一个第二客户端通过服务器进行语音交互,以使接入会话空间的各客户端都能够播放当前交互的语音信息。
结合上述对终端结构的描述可知,为了保证终端能够实现会话,并在会话期间进行语音通信,终端通常会设置有音频设备(具有上述音频电路15),在确定当前参与本次会话的各客户端之间的通信通道成功建立后,可以触发各自的音频设备启动,准备采集各自用户的音频数据。
在本实施例的实际应用中,采用上述方式能够使参与会话的客户端用户及时且准确听到其他客户端用户的发言,好比是参与本次会话的所有成员都在本地同一地方开会,从而使本地用户能够更加投入本次会话。
可选的,在会话期间,若参与会话的某成员不希望其发表的语言被其他所有成员或个别成员听到,该成员可以控制本地客户端与其他成员客户端之间的会议数据传输通道的工作情况,从而实现有选择地小范围讨论等等,非常方便且实用。
步骤S56,第一客户端以及至少一个第二客户端分别获取所在地当前场景的环境图像信息,并利用所述环境图像信息,渲染相应客户端输出的该会话空间的虚拟场景;
在实际应用中,对于接入会话空间的各客户端来说,可以开启各客户端所在的终端的后置摄像头来获取当前场景的环境图像信息,也可以利用单独视频设备,才获得相应客户端所在地当前场景的环境图像信息,再发送至该相应客户端,本申请对此不作限定。
客户端获得环境图像信息后,可以利用虚拟现实技术,对该环境图像信息进行处理,从而渲染得到相应的虚拟场景,作为该客户端将要输出的本次会话空间的虚拟场景,也就是说,对于参见本次会话的各客户端来说,其呈现的会话背景将是所在地场景映射得到的虚拟场景,从而使客户端呈现的会话背景与用户所在地场景统一,增强会话的趣味性以及互动性。
需要说明的是,本申请对如何利用采集到的当前场景的环境图像信息,渲染得到对应的虚拟场景的方法不作限定。
步骤S57,第一客户端以及至少一个第二客户端获得服务器发送的会话空间的当前房间信息;
在本实施例中,由于用户在客户端上注册激活账号时,通常可以生成该用户的属性信息,如选择代表其的人物形象,具体可以包括人脸特征、性别、身高、发型、衣服、鞋子等信息。其中,人脸特征可以通过人脸扫描确定,融合了用户脸部真实特征的3D虚拟信息,用于还原3D虚拟人脸形象。
具体的,当用户需要在客户端注册账号时,可以利用客户端所在客户端的前置摄像头采集用户的人脸特征信息。当然,也可以利用单独的图像采集设备来采集用户人脸特征并发送至该终端的客户端,用于后续虚拟形象的构建,本申请对获取人脸特征的具体方式不作限定。
可选的,关于用户属性信息中除人脸特征之外的其他信息,客户端可以针对每一类信息输出多个被选选项,如图6(b)所示的衣服的选择窗口,以及图6(c)所示的鞋子选择窗口等等,当然,用户也可以自己上传合适的衣服、鞋子、发型等信息,并不局限于客户端本申请提供的备选内容。
由此可见,用户在实现会话的客户端完成登录注册后,服务器通常会得到代表该客户端用户的人物形象,如上述用户属性信息或成员属性信息。基于此,服务器在确定接入本次会话空间的客户端后,通常会获得接入的客户端对应的成员属性信息,作为该会话空间的当前空间信息的一部分,也就是说,会话空间的当前房间信息包括接入会话空间的至少一个客户端对应的成员属性信息,但并不局限于此。
其中,当接入会话空间的客户端发生变化时,该会话空间的当前房间信息也会相应改变,如增加或减少会议成员的成员属性信息等等。
步骤S58,第一客户端以及至少一个第二客户端利用当前房间信息中的多个成员属性信息,渲染相应的虚拟人物;
本申请对利用成员属性信息,渲染对应的虚拟人物的实现方法不作限定,可以利用预先构建的3D人物模型,按照确定的成员属性信息,渲染得到对应的虚拟人物,本申请对虚拟人物的渲染过程不作详述。
由于可见,对于接入会话空间的每一个客户端来说,都可以得到接入该会话空间的各客户端用户的虚拟人物,从而使该客户端根据得到的虚拟人物得知参加本次会话的成员。
步骤509,第一客户端以及至少一个第二客户端分别利用获得的虚拟人物在各自虚拟场景中的位置关系,在各自当前会话界面呈现包含有各虚拟人物的虚拟场景;
如图6(d)所示,客户端输出的会话界面可以包括本次参与会话的成员列表,在一侧窗口显示的虚拟场景以及各会话成员的虚拟人物,还可以设置有退出本次会话的按钮,录制会话内容的按钮以及设置会话输出静音的按钮等等,可以根据需要进行增加或删除功能按钮,本申请在此不再一一列举。
其中,由于虚拟场景是基于客户端所在地的环境图像信息渲染得到,通常情况下,各客户端在会话界面中呈现的本次会话的虚拟场景是不同的,,即便是位于同一地方的多个客户端,由于所在终端的图像采集器的采集角度的不同,所得到的环境图像信息也是不同的,从而使同一地方的各客户端呈现的虚拟场景可以不同。
步骤S510,第一客户端以及至少一个第二客户端获得本地会话成员的面部表情信息,并利用该面部表情信息,重新渲染所呈现的虚拟场景中相应虚拟人物的面部表情;
在本实施例中,确定客户端接入本次会话对应的会话空间后,可以触发该客户端所在终端的前置摄像头等图像采集器启动,来实时采集该客户端用户的面部表情信息,即摄取该客户端用户的面部图像;当然,关于客户端用户的面部表情信息,也可以利用独立的图像采集器采集后发送至该客户端,本申请对该客户端用户的面部表情信息的采集方式不作限定。
由此可见,本申请实现了对会话成员的面部跟踪与更新,以便根据各会话成员的当前面部表情,确定各会话成员的当前心情,以及对当前发言内容的态度等,以便本地会话成员据此确定与自己具有相同兴趣或观点的其他会话成员,大大提高了会话乐趣以及会话效率。
步骤S511,第一客户端以及至少一个第二客户端通过所述服务器实现各自面部表情信息的交互,以使第一客户端以及至少一个第二客户端都能够利用接收到的面部表情信息,重新渲染相应虚拟人物的面部表情;
作为本申请另一实施例,当用户在客户端进行注册时,并未采集人脸特征信息,那么,上述构建的各会话成员的虚拟人物的面部特征是可以预设的特征。此时,按照上述步骤S510所示的内容,再启动终端的前置摄像头采集本用户的面部图像数据,以使各客户端利用该面部图像数据,重新渲染对应会话成员的虚拟人物的面部表情。
由此可见,本申请通过网络进行会话期间,可以在客户端呈现当前场景实景映射的虚拟场景,且该在虚拟场景中还会有参见本次会话的各成员的虚拟人物,在会话过程中,各虚拟人物的面部表情以及口型变化,将会随着该虚拟人物对应的成员的真实表情以及发言口型变化,有助于各会话成员通过观察其他会话成员面部表情,了解其对会话内容的反应,以便及时调整发言内容或方式,或与相应会话成员进行及时沟通等,进一步提高了会议效率。
而且,由于本申请利用虚拟场景替换现有网络会议中的固定背景,利用三维的各会话成员的虚拟人物替换现有的对方平面图片,从而使本申请客户端输出的虚拟会话界面输出的内容更加丰富且逼真,增强了各端会话成员的临场感,提高了会话成员对本次会话的专注度,有助于提高会话效率,且解决了多个会话窗口给本端成员造成混乱,无法快速准确确定发言成员并及时给予反馈,而导致会话时间延长,影响工作效率的技术问题。
可选的,在上述实施例的基础上,参与会话的各客户端所在终端的音频设备采集得到的语音信息的可以包括:语音信号、信号强度、信号幅度以及变化频率等,这样,各客户端就可以根据每一个成员对应的这些音频数据计算出该会话成员说话时的嘴型幅度值,并作用到其虚拟人物模型的嘴部,从而模拟该成员说话时的嘴型变化情况,进一步提高了成员的临场感。
因此,如图7所示,从客户端角度来看,在上述实施例相应部分的基础上,本申请提供的虚拟场景实现方法还可以包括:
步骤S71,采集本地成员输出的语音信息;
步骤S72,获取该语音信息的信号强度、信号幅度以及信号变化频率;
步骤S73,计算得到的当前发言的本地成员的嘴型幅度值;
步骤S74,基于该嘴型幅度值,控制当前呈现的虚拟场景中对应虚拟人物的口型;
步骤S75,将该口型幅度值发送至服务器,通过更新会话空间的当前空间信息,控制当前接入该会话空间的多个客户端呈现的同一虚拟人物的口型一致。
由此可见,本申请可以采用这种方式追踪各会话成员的嘴型变化,进一步增强虚拟人物的真实感,同时也能够通过嘴型的变化,来了解相应会话成员的当前状态等,进而据此适当调整会话进度等,保证会话的正常进行。
另外,在网络会话进行过程中,以采集会话背景图像信息的视频设备为终端的后置摄像头为例,用户可以调整后置摄像头拍摄范围,从而调整采集到的用户所在地的会话背景图像信息,进而重新渲染虚拟场景,与此同时,还可以重新映射该用户的虚拟人物,例如,调整后置摄像头的远近,从而实现虚拟人物的放大或缩小;调整后置摄像头的图像采集方向,从而实现虚拟人物展示角度的改变等等,本申请在此不再一一列举。
由于可见,对于任意客户端来说,在上述实施例相应步骤的情况下,如图8所示,本申请提供的虚拟场景实现方法还可以包括:
步骤S81,监测到当前场景的环境图像信息发生变化,获得环境图像信息的变化信息;
如上文描述,在移动采集环境图像信息的视频设备过程中,可以获取采集到的环境图像信息的变化信息。
步骤S82,利用该环境图像信息的变化信息,更新当前呈现的虚拟场景,并按照预设规则调整虚拟会话场景中各虚拟人物的显示状态。
可选的,在本申请中,可以利用变化后的环境图像信息,重新渲染当前虚拟场景;也可以进针对变化的区域即得到的变化信息,对当前输出的虚拟场景中的相应部分进行重新渲染,从而得到相应的变化后的虚拟场景,本申请对此不作限定,本实施例在此仅以后者为例进行说明。
在实际应用中,当获得的环境图像信息的变化信息表明所述环境图像被放大,放大所述虚拟场景中的各虚拟人物;当该变化信息表明所述环境图像被缩小,缩小所述虚拟场景中的各虚拟人物;当该变化信息表明所述环境图像向第一方向移动,控制所述虚拟场景中的各虚拟人物向第一方向移动,其中,第一方向为任意方向。当该变化信息表明所述环境图像的观看视角发生了变化,相应调整所述虚拟场景中的各虚拟人物的展示角度。
可见,本申请还可以通过上述方式实现了各会话成员的虚拟人物的显示状态的多样化以及多变化,进一步提高了本申请呈现的虚拟会话场景及其中各会话成员的虚拟人物的乐趣。
可选的,在网络会话进行过程中,任意会话成员都可以提出退出本次会话,或邀请其他成员的客户端接入该会话空间,从而使该会话空间的当前房间信息发生变化。具体的,可以将退出本次会话的会话成员的相关信息删除,增加新接入客户端的会话成员的相关信息,如上述会话成员的属性信息等方式,实现对会话空间的当前房间信息的更新,确定更新后的房间信息,服务器会将更新后的当前房间信息发送至当前接入会话空间的各客户端,以使各客户端利用更新后的房间信息,删除当前输出的虚拟会话场景中的已退出本次会话的会话成员的虚拟人物,或者在当前输出的虚拟场景中增加新加入的会话成员的虚拟人物。
可见,本申请采用上述方式实现了各客户端呈现的虚拟会话空间中各会话成员的实时更新,从而使各会话成员通过其客户端成员的虚拟人物,直观且实时掌握参与本次会话的会话成员的变更情况。
基于上述分析,下面将结合网络会议这一会话应用场景为例,对本申请提供的虚拟场景实现方案进行说明,但并不局限于本实施例描述的该应用场景,其中,该应用场景具体可以是客户端A邀请客户端B和客户端C参加网络会议,会议过程中,客户端B因故退出了本次网络会议,客户端C邀请了客户端D参加本次会议。
如图9(a)所示,为本申请场景实施例提供的一种网络会议虚拟场景实现方法,结合图9(b)所示的实现网络会议的系统框架图,以及图9(c)所示的网络会议的虚拟场景示意图,该方法可以包括:
步骤S91,客户端A向信令服务器发起会议请求;
其中,会议请求中携带有请求参与本次会议的各成员的成员列表,本实施例可以是客户端A、客户端B和客户端C。
步骤S92,信令服务器针对该会议请求,创建会议房间并维持该会议房间的房间信息;
其中,房间信息可以包括请求参加会议的各客户端成员的属性信息,如上述实施例对应部分的描述,该属性信息可以是用户在客户端上注册账号时生成的,可以包括各客户端成员注册时设置的虚拟人物的相关信息等。
步骤S93,信令服务器将会议请求分发至客户端B和客户端C;
需要说明的是,在实际应用中,上述步骤S93与步骤S92可以同时进行。
步骤S94,信令服务器接收客户端B和客户端C接受会议请求的响应结果,并将该响应结果发送至客户端A;
在本实施例中,关于上述步骤中客户端与信令服务器之间的数据交互,可以利用TCP协议实现,但并不局限于。
步骤S95,客户端A、客户端B以及客户端C分别利用当前场景的环境图像信息,渲染各自的虚拟会议场景,并利用获得的各会议成员的成员属性信息,渲染并在该虚拟会议场景中显示的虚拟人物;
本实施例客户端将其所在地的实景渲染成网络会议的虚拟会议场景,与现有技术中固定的背景相比,大大提高了网络会议给会议成员带来的临场感,使得会议成员更能快速地投入到网络会议,并及时作出相应反应,进而提高会议效率。
另外,信令服务器创建会议房间,并确定接入该会议房间的客户端后,可以将各客户端对应的会议成员的属性信息发送至各客户端,用于渲染各会议成员的虚拟人物。需要说明的是,本申请对信令服务器向各客户端发送各会议成员的属性信息的时间不作限定。
在实际应用中,根据参见本次会议的用户所在场景的不同,其终端呈现的虚拟会议场景可以不同,并不局限于图9(c)所示的虚拟会议场景,还可以是图9(d)所示的虚拟会议场景等等,本申请对此不作限定。
步骤S96,客户端A、客户端B以及客户端C分别与数据服务器建立通信连接;
本实施例可以通过UDP协议使各客户端与数据服务器建立通信连接,区别于上述与信令服务器的通信连接,但并不局限于这一种连接方式。
步骤S97,客户端A、客户端B以及客户端C将采集到的本地会议成员的语音信息发送至数据服务器,以使数据服务器实现任意两个客户端之间的语音交互;
本实施例中,客户端A、客户端B以及客户端C都可以从数据服务器获得当前发言的会议成员的语音信息,保证了多人语音会议的正常通话。
步骤S98,客户端A、客户端B以及客户端C分别利用获得的各自所在地会议成员的面部图像信息,渲染当前输出的虚拟会议场景中相应虚拟人物的面部表情;
在实际应用中,可以利用客户端所在终端的前置摄像头采集对应会议成员的面部图像信息,但并不局限与此。
步骤S99,客户端A、客户端B以及客户端C将各自获得的所在地会议成员的面部图像信息发送至数据服务器,以使数据服务器实现任意两个客户端之间的面部图像信息交互;
步骤S910,客户端A、客户端B以及客户端C分别利用另外两个客户端对应的面部表情信息,渲染各自输出的虚拟会议场景中另外虚拟人物的面部表情;
在会议过程中,本申请还可以不断获得各会议成员的面部表情信息,来更新对应虚拟人物的面部表情,从而使虚拟人物的面部表面能够随着会议成员的面部表情的变化而改变,如适时呈现大笑、难过、微笑、生气等表情。
可见,本申请采用检测并跟踪会议成员的面部表情的方式,更新虚拟人物的面部表情,进一步增强了虚拟网络会议的真实感,从而增强了会议成员的临场感。
步骤S911,客户端A、客户端B以及客户端C分别根据各自环境图像信息的变化信息,相同调整当前输出的虚拟会议场景中虚拟人物的显示状态;
步骤S912,客户端A、客户端B以及客户端C分别根据接收到的当前发言的会议成员输出的语音信息的信号强度、信号幅度以及信号变化频率,计算该会议成员的嘴型幅度值,并同步调整当前输出的虚拟场景中相应虚拟人物的嘴部变化;
步骤S913,客户端B向信令服务器发送退出会议消息;
可见,本实施例中,参见会议的各会议成员可以随时在其客户端进行退出该会议的操作。
步骤S914,信令服务器更新会议房间的当前房间信息;
步骤S915,信令服务器将更新后的房间信息发送至客户端A和客户端C;
步骤S916,客户端A和客户端C根据更新后的房间信息,删除当前输出的虚拟会议场景中客户端B对应的虚拟人物;
步骤S917,客户端C向信令服务器发起针对本次会议的邀请请求;
其中,该邀请请求可以包含有客户端C希望邀请加入本次会议的客户端D或多个客户端的成员名称。
步骤S918,信令服务器将该邀请请求发送至受邀请的客户端D;
步骤S919,信令服务器确定客户端D接入会议房间后,更新当前房间信息;
步骤S920,信令服务器将更新后的房间信息发送至客户端A、客户端C以及客户端D;
步骤S921,客户端A与客户端C根据更新后的房间信息以及客户端D对应会议成员的面部图像信息,渲染客户端D对应的虚拟人物,并添加到当前输出的虚拟会议场景中显示;
步骤S922,客户端D利用获得的所在地的环境图像信息,渲染虚拟会议场景,并利用获得的各会议成员的面部图像信息以及属性信息,渲染各会议成员的虚拟人物,并在当前输出的虚拟会议场景中显示。
需要说明的是,在本申请中,各客户端渲染虚拟会议场景以及虚拟人物的实现过程类似,都可以利用三维渲染技术,本申请在此不再一一详述。
另外,当受客户端A邀请加入会议的客户端有一个或更多个时,实现网络会议的过程与上述图9(a)所示的实现过程类似,本申请在此不再一一详述。
如图10所示,为本申请实施例提供的一种虚拟场景实现装置的结构框图,该装置可以应用于终端,主要从该终端中实现会话功能的客户端的角度进行功能模块的描述,具体可以包括:
第一数据传输模块101,用于获得至少一个客户端接入的会话空间的当前空间信息,所述会话空间是服务器在接收到任意一个客户端发起的会话请求时创建的,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
其中,服务器创建的会话空间的当前房间信息可以根据实际需要适应性调整,本申请在此不再一一详述,可以参照上述方法实施例相应部分的描述。
可选的,成员属性信息可以包括成员在客户端上注册账号时选定的虚拟人物以及衣服、配饰、鞋子、身高、性别、发型以及脸部特征等等。需要说明的是,该脸部特征可以是会话成员从多个备选项中选择的,也可以是直接利用终端的前置摄像头采集的该会议成员的真实脸部特征,本申请对此不作限定。
在实际应用中,该装置还可以包括:
会话请求发送模块,用于向服务器发起会话请求;
其中,会话请求用于触发服务器创建相应的会话空间,并指示参与本次会话的其他成员对应的第二客户端与所述服务器建立通信连接;
通信通道建立模块,用于接收到所述服务器反馈的针对所述会话请求的成功响应结果,与所述服务器建立通信连接;
在本实施例中,确定接受该会话请求的至少一个第二客户端都将会与服务器建立通信连接,具体可以采用UDP通信方式域服务器中的数据服务器建立通信连接,实现数据交互,本申请对该装置与服务器之间的通信方式不作限定。
第一渲染模块102,用于利用所述至少一个客户端对应的成员属性信息,获得所述至少一个客户端对应的虚拟人物;
在本申请中,可以利用3D图像处理算法,按照相应的成员属性信息,生成对应成员的虚拟人物,或者说是按照得到的成员属性信息,对预设的对应成员的虚拟人物模型进行处理,得到代表成员的虚拟人物,本申请对该虚拟人物的生成方法不作限定。
第二渲染模块103,用于采集当前场景的环境图像信息,并利用所述环境图像信息,渲染所述会话空间的虚拟场景;
在实际应用中,可以通过客户端所在终端的后置摄像头采集所在地的环境图像信息,并发送至该客户端,本申请对当前场景的环境图像信息的采集方式不作限定。
可选的,如图11所示,第二渲染模块103可以包括:
图像处理单元1031,用于利用图像处理算法,对所述环境图像信息进行处理,确定当前拍摄视野内的多个拍摄对象以及对应的属性信息;
虚拟对象生成单元1032,用于利用所述多个拍摄对象的3D模型以及对应的属性信息,生成相应拍摄对象的虚拟对象;
合成处理单元1033,用于对生成的多个虚拟对象进行合成处理,得到所述环境图像信息对应的虚拟场景。
第一输出模块104,用于利用获得的虚拟人物在所述虚拟场景中位置关系,呈现包含有所述虚拟人物的虚拟场景。
由此可见,在进行网络会话时,本申请客户端的虚拟会议窗口呈现的是基于实景渲染的虚拟场景,且在该虚拟场景中还有呈现各会花成员的虚拟人物,在保证网络会议的基本功能的前提下,增强了虚拟会话的真实感,使得会议成员能够更专注地参加本次网络会话,有助于提高会话效率,且解决了多个会话窗口给本端成员造成混乱,无法快速准确确定发言成员并及时给予反馈,从而导致会话时间延长,影响工作效率的技术问题。
作为本申请另一实施例,本申请还可以检测并跟踪会话成员的面部表情,并体现在虚拟场景中的虚拟人物上,进一步提高虚拟网络会话的真实感,增强会话成员的临场感,具体的,在上述实施例的基础上,如图12所示,该装置还可以包括:
图像采集模块105,用于获取本地会话成员的面部表情信息;
第三渲染模块106,用于利用所述面部表情信息,重新渲染所述虚拟场景呈现的相应虚拟人物的面部表情;
第二数据传输模块107,用于将所述面部表情信息发送至所述服务器,通过更新所述会话空间的当前空间信息,控制当前接入所述会话空间的至少一个客户端呈现的同一虚拟人物的面部表情一致。
在本实施例中,由于接入会话空间的各客户端都与数据服务器建立了通信连接,所以,无论哪个客户端输出数据,都能够通过服务器发送至其他客户端,保证了多人网络会议的正常进行。
可见,本申请可以通过上述方式跟踪会话成员的面部表情,并实时更新到各客户端输出的虚拟场景中的对应虚拟人物上,从而使得呈现出的虚拟人物更加真实地反应会话成员当前表面状态,进而得知其对会议内容的态度等信息,以便及时调整本次会议的方向,或与相应会话成员进行及时沟通等,有助于进一步提高了会议效率。
作为本申请又一实施例,如图13所示,该装置还可以包括:
监测模块108,用于监测到当前场景的环境图像信息发生变化;
结合上述描述可知,本申请呈现的虚拟场景是根据客户端所在地的实景渲染得到的,所以,会话成员可以根据自己喜好调整后置摄像头的拍摄范围以及方式,从而相应调整输出的虚拟会议场景,使得呈现出的虚拟会议场景能够达到远景、近景或针对其中的某一个或多个虚拟人物的特写等效果,大大提高了网络会议的乐趣。
基于此,当需要调整客户端呈现的虚拟场景时,本申请可以控制终端切换到后置摄像头工作,从而获取所在地当前的环境图像信息,并且根据需要还可以移动终端,从而使调整后置摄像头的拍摄范围,从而获得变化后的环境图像信息。
变化信息获得模块109,用于获得所述环境图像信息的变化信息;
第一更新模块1010,用于利用所述环境图像信息的变化信息,更新当前呈现的所述虚拟场景,并调整当前呈现的至少一个虚拟人物的显示状态。
可选的,在实际应用中,第一更新模块1010具体可以包括:
变化信息确定单元,用于利用所述环境图像信息的变化信息,确定所述环境图像变化前后拍摄对象的缩放比例、视角变化参数和/或移动参数;
缩放处理单元,用于按照所述缩放比例,对当前呈现的所述虚拟场景中的虚拟人物进行缩放处理;
视角调整单元,用于按照所述视角变化参数,调整当前呈现的虚拟场景中的虚拟人物的视角;
移动单元,用于按照所述移动参数,控制当前呈现的虚拟场景中的虚拟人物进行整体移动。
由此可见,在本申请中,在调整终端的后置摄像头的拍摄范围以及方式的过程中,除了能够相应调整虚拟场景外,还可以按照预设规则调整虚拟场景中虚拟人物的显示状态,如放大、缩小、从某一个角度显示虚拟人物等等,从而满足会话成员的观看需求。
作为本申请又一实施例,如图14所示,该装置还可以包括:
语音采集模块1011,用于采集本地成员输出的语音信息;
第一获取模块1012,用于获取所述语音信息的信号强度、信号幅度以及信号变化频率;
计算模块1013,用于计算得到当前发言的本地成员的嘴型幅度值;
第一控制模块1014,用于基于所述嘴型幅度值,控制当前呈现的虚拟场景中对应虚拟人物的口型;
第三数据传输模块1015,用于将所述嘴型幅度值发送至服务器,通过更新所述会话空间的当前空间信息,控制当前接入所述会话空间的至少一个客户端呈现的同一虚拟人物的口型一致。
由此可见,本申请可以通过跟踪各会话成员说话时的嘴型变化,并将其作用到相应的虚拟人物中,来模拟该会话成员说话时的嘴型变化,进一步提高了虚拟场景的真实性,增强了会话成员的临场感。
另外,在会话期间,各客户端成员可以根据呈现的虚拟场景中各虚拟人物的表情、发表的语音信号等内容,作出相应的表情或动作,具体可以通过该客户端呈现的相应功能按钮实现。
基于此,该装置还可以包括:
触发指令检测单元,用于检测到表征本地成员的情绪状态的触发指令;
控制单元,用于响应所述触发指令,控制当前呈现的所述虚拟场景中本地成员的虚拟人物执行预设操作。
可选的,在会话期间,参与会话的各会话成员可以随时退出本次会话,也可以随时邀请其他成员加入本次会话,从而使会话空间的房间信息发生变化,进而影响接入会话空间的各客户端输出的虚拟场景中的虚拟人物。
基于此,该装置还可以包括:
控制指令发送模块,用于向服务器发送退出或接入所述会话空间的控制指令;
其中,所述控制指令用于指示所述服务器更新所述会话空间的当前空间信息,且接入会话空间的控制指令可以是响应已接入所述会话空间的任一客户端发起的参会请求生成的。
虚拟人物更新模块,用于利用所述会议空间更新后的空间信息,更新当前呈现的所述虚拟场景中的虚拟人物。
具体的,该虚拟人物更新模块可以包括:
获取单元,用于接收服务器发送的更新后的房间信息;
在实际应用中,当会话空间的会话成员发生变化后,服务器将会相应地更新其房间信息,具体方式可以参照上述方法实施例对应部分的描述,本实施在此不再赘述。
调整单元,用于利用更新后的房间信息,删除当前输出的虚拟场景中的已退出本次会话的会话成员的虚拟人物,或者在当前输出的虚拟场景中增加新加入的会话成员的虚拟人物;
其中,所述新加入的会话成员可以是基于当前所述会话空间内任意一个会话成员发起的会话请求确定的。
需要说明的是,对于上述装置的各可选实施例,可以任意组合构成新的实施例,并不局限于附图所示的装置的结构,本申请在此不再一一详述。
如图15所示,为本申请实施例提供的另一种虚拟场景实现装置的结构图,该装置可以应用服务器,即从服务器角度描述该装置的功能组成模块,具体可以包括:
请求接收模块151,用于接收客户端发起的会话请求;
创建模块152,用于创建用于信息交互的会话空间,并将所述会话请求转发至所述客户端邀请接入所述会话空间的其他客户端;
信息确定模块153,用于根据所述其他客户端对所述会话请求的响应结果,确定所述会话空间的当前空间信息,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
数据传输模块154,用于将所述当前空间信息发送至当前接入所述会话空间的至少一个客户端,以使所述至少一个客户端利用所述成员属性信息,获得相应客户端对应的虚拟人物。
可选的,在上述实施例的基础上,该装置还可以包括:
第一接收模块,用于接收所述至少一个客户端发送的对应成员的面部表情信息和/或嘴型幅度值;
信息转发模块,用于将所述面部表情信息和/或嘴型幅度值转发至所述至少一个客户端中的其他客户端,以使所述至少一个客户端当前呈现的同一虚拟人物的面部表情和/或口型一致。
此外,该装置的数据传输模块还可以实现接入同一会话空间的各客户端之间的语音信息、图像信息等数据的交互,保证接入同一会话空间的各客户端呈现的虚拟场景中的各成员的虚拟人物的表情以及输出的语音信息一致等等,具体实现过程可以参照上述方法实施例相应部分的描述。
上面装置主要是从功能模块角度来描述该装置的组成结构,下面将从硬件结构角度对各装置所在的终端或服务器进行结构说明。
结合上图3所示的终端的硬件结构图,该终端可以包括:通信模块11,显示器12、传感器13、存储器14、音频电路15、处理器16以及图像采集器17等等。
在本申请中,终端可以安装实现会话功能的客户端,启动客户端后,可以在显示器12中显示该客户端的操作界面,以便用户据此完成网络会话。
通信模块11,可以用来实现与服务器的数据交互,具体过程可以参照上述方法实施例相应部分的描述,本实施在此不作详述。
存储器14,用于存储多个指令,具体可以是实现上述虚拟场景实现方法程序代码。
处理器16,用于加载并执行这多个指令,实现虚拟场景,具体可以包括:
获得至少一个客户端接入的会话空间的当前空间信息,所述会话空间是服务器在接收到任意一个客户端发起的会话请求时创建的,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
利用所述至少一个客户端对应的成员属性信息,获得所述至少一个客户端对应的虚拟人物;
采集当前场景的环境图像信息,并利用所述环境图像信息,渲染所述会话空间的虚拟场景;
利用获得的虚拟人物在所述虚拟场景中位置关系,通过所述显示器呈现包含有所述虚拟人物的虚拟场景。
需要说明的是,关于终端的处理器实现虚拟场景的具体过程可以参照上述方法实施例相应部分的描述,本实施在此不再详述。
参照图4所示的服务器的硬件结构图,该服务器可以包括:处理器21、通信接口22、存储器23以及通信总线24等等,其中:
通信接口22,用于接收客户端发起的会话请求;
存储器23,用于存储多个指令;
处理器21,用于加载并执行所述多个指令,包括:
创建用于信息交互的会话空间,并将所述会话请求转发至所述客户端邀请接入所述会话空间的其他客户端;
根据所述其他客户端对所述会话请求的响应结果,确定所述会话空间的当前空间信息,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
通过所述通信接口将所述当前空间信息发送至当前接入所述会话空间的至少一个客户端,以使所述至少一个客户端利用所述成员属性信息,获得相应客户端对应的虚拟人物。
其中,关于服务器的处理器实现虚拟场景的过程可以参照上述方法实施例相应部分的描述,本实施在此不再详述。
综上所述,本申请利用终端的客户端进行网络会话期间,由于该终端的显示器可以呈现当前场景映射的虚拟场景,且该在虚拟场景中还会有参见本次会话的各成员的虚拟人物,相对于现有技术在多个会话窗口呈现会话成员的真实平面图像的方案相比,本申请终端输出的虚拟会话界面输出的内容更加丰富且逼真,增强了各端会话成员的临场感,提高了会话成员对本次会话的专注度,有助于提高会话效率。
而且,在会话过程中,终端还会控制所呈现的各虚拟人物的面部表情以及口型,随着该虚拟人物对应的成员的真实表情以及发言口型变化,有助于各会话成员通过观察其他会话成员面部表情,了解其对会话内容的反应,以便及时调整发言内容或方式,或与相应会话成员进行及时沟通等,进一步提高了会议效率。
最后,需要说明的是,关于上述各实施例中,诸如第一、第二等之类的关系术语仅仅用来将一个操作、单元或模块与另一个操作、单元或模块区分开来,而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者系统中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、终端、服务器以及系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (16)
1.一种虚拟场景实现方法,其特征在于,所述方法包括:
获得至少一个客户端接入的会话空间的当前空间信息,所述会话空间是服务器在接收到任意一个客户端发起的会话请求时创建的,且所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
利用所述至少一个客户端对应的成员属性信息,获得所述至少一个客户端对应的虚拟人物;
针对所述至少一个客户端中的每个客户端,采集所述客户端所在地当前场景的环境图像信息,并利用所述客户端的环境图像信息,渲染所述客户端的所述会话空间的虚拟场景;利用获得的虚拟人物在所述客户端的虚拟场景中位置关系,在所述客户端呈现包含有接入所述会话空间的各个客户端对应的虚拟人物的虚拟场景。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取本地会话成员的面部表情信息;
利用所述面部表情信息,重新渲染所述虚拟场景呈现的相应虚拟人物的面部表情;
将所述面部表情信息发送至所述服务器,通过更新所述会话空间的当前空间信息,控制当前接入所述会话空间的各个客户端呈现的同一虚拟人物的面部表情一致。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
监测到当前场景的环境图像信息发生变化;
获得所述环境图像信息的变化信息;
利用所述环境图像信息的变化信息,更新当前呈现的所述虚拟场景,并调整当前呈现的至少一个虚拟人物的显示状态。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采集本地会话成员输出的语音信息;
获取所述语音信息的信号强度、信号幅度以及信号变化频率;
计算得到的本地会话成员的嘴型幅度值;
基于所述嘴型幅度值,控制当前呈现的虚拟场景中对应虚拟人物的口型;
将所述嘴型幅度值发送至服务器,通过更新所述会话空间的当前空间信息,控制当前接入所述会话空间的各个客户端呈现的同一虚拟人物的口型一致。
5.根据权利要求1所述的方法,其特征在于,所述利用所述环境图像信息,渲染所述会话空间的虚拟场景,包括:
利用图像处理算法,对所述环境图像信息进行处理,确定当前拍摄视野内的多个拍摄对象以及对应的属性信息;
利用所述多个拍摄对象的3D模型以及对应的属性信息,生成相应拍摄对象的虚拟对象;
对生成的多个虚拟对象进行合成处理,得到所述环境图像信息对应的虚拟场景。
6.根据权利要求3所述的方法,其特征在于,所述利用所述环境图像信息的变化信息,调整当前呈现的至少一个虚拟人物的显示状态,包括:
利用所述环境图像信息的变化信息,确定所述环境图像变化前后拍摄对象的缩放比例、视角变化参数和/或移动参数;
按照所述缩放比例,对当前呈现的所述虚拟场景中的虚拟人物进行缩放处理;
按照所述视角变化参数,调整当前呈现的虚拟场景中的虚拟人物的视角;
按照所述移动参数,控制当前呈现的虚拟场景中的虚拟人物进行整体移动。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
向服务器发送退出或接入所述会话空间的控制指令,所述控制指令用于指示所述服务器更新所述会话空间的当前空间信息;
会话空间利用所述会议空间更新后的空间信息,更新当前呈现的所述虚拟场景中的虚拟人物。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测到表征本地成员的情绪状态的触发指令;
响应所述触发指令,控制当前呈现的所述虚拟场景中本地成员的虚拟人物执行预设操作。
9.一种虚拟场景实现方法,其特征在于,所述方法包括:
接收客户端发起的会话请求;
创建用于信息交互的会话空间,并将所述会话请求转发至所述客户端邀请接入所述会话空间的其他客户端;
根据所述其他客户端对所述会话请求的响应结果,确定所述会话空间的当前空间信息,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
将所述当前空间信息发送至当前接入所述会话空间的至少一个客户端,以使所述至少一个客户端中的每个客户端,利用所述成员属性信息,获得相应客户端对应的虚拟人物,并利用获得的虚拟人物在所述客户端的虚拟场景中的位置关系,在所述客户端呈现包含有接入所述会话空间的各个客户端对应的虚拟人物的虚拟场景,所述客户端的虚拟场景由该客户端所在地当前场景的环境图像信息渲染出。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
接收所述至少一个客户端发送的对应成员的面部表情信息和/或嘴型幅度值;
将所述面部表情信息和/或嘴型幅度值转发至所述至少一个客户端中的其他客户端,以使所述至少一个客户端当前呈现的同一虚拟人物的面部表情和/或口型一致。
11.一种虚拟场景实现装置,其特征在于,所述装置包括:
第一数据传输模块,用于获得至少一个客户端接入的会话空间的当前空间信息,所述会话空间是服务器在接收到任意一个客户端发起的会话请求时创建的,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
第一渲染模块,用于利用所述至少一个客户端对应的成员属性信息,获得所述至少一个客户端对应的虚拟人物;
第二渲染模块,用于针对所述至少一个客户端中的每个客户端,采集所述客户端所在地当前场景的环境图像信息,并利用所述客户端的环境图像信息,渲染所述客户端的所述会话空间的虚拟场景;
第一输出模块,用于利用获得的虚拟人物在所述客户端的虚拟场景中位置关系,在所述客户端呈现包含有接入所述会话空间的各个客户端对应的虚拟人物的虚拟场景。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
图像采集模块,用于获取本地会话成员的面部表情信息;
第三渲染模块,用于利用所述面部表情信息,重新渲染所述虚拟场景呈现的相应虚拟人物的面部表情;
第二数据传输模块,用于将所述面部表情信息发送至所述服务器,通过更新所述会话空间的当前空间信息,控制当前接入所述会话空间的各个客户端呈现的同一虚拟人物的面部表情一致。
13.一种虚拟场景实现装置,其特征在于,所述装置包括:
请求接收模块,用于接收客户端发起的会话请求;
创建模块,用于创建用于信息交互的会话空间,并将所述会话请求转发至所述客户端邀请接入所述会话空间的其他客户端;
信息确定模块,用于根据所述其他客户端对所述会话请求的响应结果,确定所述会话空间的当前空间信息,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
数据传输模块,用于将所述当前空间信息发送至当前接入所述会话空间的至少一个客户端,以使所述至少一个客户端中的每个客户端,利用所述成员属性信息,获得相应客户端对应的虚拟人物,并利用获得的虚拟人物在所述客户端的虚拟场景中的位置关系,在所述客户端呈现包含有接入所述会话空间的各个客户端对应的虚拟人物的虚拟场景,所述客户端的虚拟场景由该客户端所在地当前场景的环境图像信息渲染出。
14.一种终端,其特征在于,所述终端包括:
显示器;
通信模块,用于实现与服务器的数据交互;
存储器,用于存储多个指令;
处理器,用于加载并执行所述多个指令,包括:
获得至少一个客户端接入的会话空间的当前空间信息,所述会话空间是服务器在接收到任意一个客户端发起的会话请求时创建的,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
利用所述至少一个客户端对应的成员属性信息,获得所述至少一个客户端对应的虚拟人物;
针对所述至少一个客户端中的每个客户端,采集所述客户端所在地当前场景的环境图像信息,并利用所述客户端的环境图像信息,渲染所述客户端的所述会话空间的虚拟场景;利用获得的虚拟人物在所述客户端的虚拟场景中位置关系,在所述客户端通过所述显示器呈现包含有接入所述会话空间的各个客户端对应的虚拟人物的虚拟场景。
15.一种服务器,其特征在于,所述服务器包括:
通信接口,用于接收客户端发起的会话请求;
存储器,用于存储多个指令;
处理器,用于加载并执行所述多个指令,包括:
创建用于信息交互的会话空间,并将所述会话请求转发至所述客户端邀请接入所述会话空间的其他客户端;
根据所述其他客户端对所述会话请求的响应结果,确定所述会话空间的当前空间信息,所述当前空间信息包括所述至少一个客户端对应的成员属性信息;
通过所述通信接口将所述当前空间信息发送至当前接入所述会话空间的至少一个客户端,以使所述至少一个客户端中的每个客户端,利用所述成员属性信息,获得相应客户端对应的虚拟人物,并利用获得的虚拟人物在所述客户端的虚拟场景中的位置关系,在所述客户端呈现包含有接入所述会话空间的各个客户端对应的虚拟人物的虚拟场景,所述客户端的虚拟场景由该客户端所在地当前场景的环境图像信息渲染出。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序;所述计算机程序由处理器执行如权利要求1-10任一项所述的虚拟场景实现方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710334728.1A CN108881784B (zh) | 2017-05-12 | 2017-05-12 | 虚拟场景实现方法、装置、终端及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710334728.1A CN108881784B (zh) | 2017-05-12 | 2017-05-12 | 虚拟场景实现方法、装置、终端及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108881784A CN108881784A (zh) | 2018-11-23 |
CN108881784B true CN108881784B (zh) | 2020-07-03 |
Family
ID=64319877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710334728.1A Active CN108881784B (zh) | 2017-05-12 | 2017-05-12 | 虚拟场景实现方法、装置、终端及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108881784B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109802931B (zh) | 2017-11-17 | 2021-08-06 | 腾讯科技(深圳)有限公司 | 一种通信处理方法、终端及存储介质 |
CN109448463A (zh) * | 2018-12-29 | 2019-03-08 | 江苏师范大学 | 基于虚拟现实技术的外语发音自主学习训练系统及其方法 |
CN113632089B (zh) * | 2019-03-29 | 2023-10-20 | 平田机工株式会社 | 图面检验系统、客户端装置、程序、记录介质、服务器装置及控制方法 |
CN110427099A (zh) * | 2019-06-28 | 2019-11-08 | 广东虚拟现实科技有限公司 | 信息记录方法、装置、系统、电子设备以及信息获取方法 |
CN110427227B (zh) * | 2019-06-28 | 2023-01-06 | 广东虚拟现实科技有限公司 | 虚拟场景的生成方法、装置、电子设备及存储介质 |
CN110430439A (zh) * | 2019-07-30 | 2019-11-08 | 北京达佳互联信息技术有限公司 | 管理媒体流房间的方法及装置、服务器及存储介质 |
CN111274910B (zh) * | 2020-01-16 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 场景互动方法、装置及电子设备 |
CN111741285A (zh) * | 2020-06-08 | 2020-10-02 | 上海龙旗科技股份有限公司 | 实时3d场景实现方法及设备 |
CN116210217A (zh) * | 2020-07-16 | 2023-06-02 | 华为技术有限公司 | 用于视频会议的方法和装置 |
CN112150246A (zh) * | 2020-09-25 | 2020-12-29 | 刘伟 | 一种3d数据采集系统及其应用 |
CN112261337B (zh) * | 2020-09-29 | 2023-03-31 | 上海连尚网络科技有限公司 | 一种在多人语音中播放语音信息的方法与设备 |
CN112003879B (zh) * | 2020-10-22 | 2021-05-18 | 腾讯科技(深圳)有限公司 | 用于虚拟场景的数据传输方法、计算机设备及存储介质 |
CN112839196B (zh) * | 2020-12-30 | 2021-11-16 | 橙色云互联网设计有限公司 | 一种实现在线会议的方法、装置以及存储介质 |
CN112905007A (zh) * | 2021-01-28 | 2021-06-04 | 海信视像科技股份有限公司 | 一种虚拟现实设备及语音辅助交互方法 |
CN113099159A (zh) * | 2021-03-26 | 2021-07-09 | 上海电气集团股份有限公司 | 一种远程会议的控制方法及装置 |
CN115767577A (zh) * | 2021-09-04 | 2023-03-07 | 华为技术有限公司 | 一种提供通话附加服务的方法、装置及系统 |
CN115034936A (zh) * | 2022-06-06 | 2022-09-09 | 北京新唐思创教育科技有限公司 | 基于群组会话的教学方法、装置、设备及存储介质 |
CN115701894B (zh) * | 2022-12-27 | 2023-10-24 | 蔚来汽车科技(安徽)有限公司 | 通话方法、通话系统及计算机存储介质 |
CN115955542B (zh) * | 2023-03-14 | 2023-05-30 | 南京维赛客网络科技有限公司 | 一种线上元空间拟真会场入座控制方法、系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102263772A (zh) * | 2010-05-28 | 2011-11-30 | 经典时空科技(北京)有限公司 | 基于三维技术的虚拟会议系统 |
CN103218843A (zh) * | 2013-03-15 | 2013-07-24 | 苏州跨界软件科技有限公司 | 虚拟人物通讯系统和方法 |
CN104468959A (zh) * | 2013-09-25 | 2015-03-25 | 中兴通讯股份有限公司 | 移动终端通话过程中显示图像的方法、装置及移动终端 |
CN105657294A (zh) * | 2016-03-09 | 2016-06-08 | 北京奇虎科技有限公司 | 在移动终端上呈现虚拟特效的方法及装置 |
CN106548517A (zh) * | 2016-09-30 | 2017-03-29 | 深圳前海勇艺达机器人有限公司 | 基于增强现实技术进行视频会议的方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8823739B2 (en) * | 2010-08-25 | 2014-09-02 | International Business Machines Corporation | Background replacement for videoconferencing |
US8970704B2 (en) * | 2011-06-07 | 2015-03-03 | Verizon Patent And Licensing Inc. | Network synchronized camera settings |
US9007427B2 (en) * | 2011-12-14 | 2015-04-14 | Verizon Patent And Licensing Inc. | Method and system for providing virtual conferencing |
US9846960B2 (en) * | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
-
2017
- 2017-05-12 CN CN201710334728.1A patent/CN108881784B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102263772A (zh) * | 2010-05-28 | 2011-11-30 | 经典时空科技(北京)有限公司 | 基于三维技术的虚拟会议系统 |
CN103218843A (zh) * | 2013-03-15 | 2013-07-24 | 苏州跨界软件科技有限公司 | 虚拟人物通讯系统和方法 |
CN104468959A (zh) * | 2013-09-25 | 2015-03-25 | 中兴通讯股份有限公司 | 移动终端通话过程中显示图像的方法、装置及移动终端 |
CN105657294A (zh) * | 2016-03-09 | 2016-06-08 | 北京奇虎科技有限公司 | 在移动终端上呈现虚拟特效的方法及装置 |
CN106548517A (zh) * | 2016-09-30 | 2017-03-29 | 深圳前海勇艺达机器人有限公司 | 基于增强现实技术进行视频会议的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108881784A (zh) | 2018-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108881784B (zh) | 虚拟场景实现方法、装置、终端及服务器 | |
TWI533198B (zh) | 於虛擬區域及實體空間之間通訊的技術 | |
CN109788236B (zh) | 音视频会议控制方法、装置、设备以及存储介质 | |
WO2019128787A1 (zh) | 网络视频直播方法、装置及电子设备 | |
WO2018113639A1 (zh) | 用户终端之间的互动方法、终端、服务器、系统及存储介质 | |
CN109802931B (zh) | 一种通信处理方法、终端及存储介质 | |
US9407866B2 (en) | Joining an electronic conference in response to sound | |
CN105450736B (zh) | 与虚拟现实连接的方法和装置 | |
CN112468831B (zh) | 多人直播方法、装置、终端、服务器及存储介质 | |
US11715386B1 (en) | Queuing for a video conference session | |
CN109428859B (zh) | 一种同步通信方法、终端及服务器 | |
JP2023538958A (ja) | 撮影方法、装置、電子機器及びコンピュータ可読記憶媒体 | |
CN113411656B (zh) | 信息处理方法、装置、计算机设备及存储介质 | |
CN108513088B (zh) | 群组视频会话的方法及装置 | |
US20210092170A1 (en) | Communication terminal, communication system, and method of sharing data | |
US20210055904A1 (en) | Communication terminal, communication system, method of sharing data, and recording medium | |
JP7228338B2 (ja) | 動画を配信するためのシステム、方法、及びプログラム | |
CN110782532A (zh) | 图像生成方法、生成装置、电子设备及存储介质 | |
CN109788364B (zh) | 视频通话互动方法、装置及电子设备 | |
JP2017068329A (ja) | 通信管理システム、通信システム、通信管理方法、及びプログラム | |
CN111835617B (zh) | 用户头像调整方法、装置及电子设备 | |
CN113518198B (zh) | 会话界面显示方法、会议界面显示方法、装置及电子设备 | |
JP2017027561A (ja) | 端末、通信システム、通信方法、及びプログラム | |
JP2017022432A (ja) | 通信管理システム、通信システム、通信管理方法、及びプログラム | |
JP6597299B2 (ja) | 共有端末、通信システム、通信方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |