CN113676690A - 一种视频会议的实现方法、设备及存储介质 - Google Patents

一种视频会议的实现方法、设备及存储介质 Download PDF

Info

Publication number
CN113676690A
CN113676690A CN202010409593.2A CN202010409593A CN113676690A CN 113676690 A CN113676690 A CN 113676690A CN 202010409593 A CN202010409593 A CN 202010409593A CN 113676690 A CN113676690 A CN 113676690A
Authority
CN
China
Prior art keywords
image
video
conference
video conference
real environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010409593.2A
Other languages
English (en)
Inventor
祝振翔
夏凡
王储
蔡国祥
刘桐旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nail Holding Cayman Co ltd
Dingtalk Holding Cayman Ltd
Original Assignee
Nail Holding Cayman Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nail Holding Cayman Co ltd filed Critical Nail Holding Cayman Co ltd
Priority to CN202010409593.2A priority Critical patent/CN113676690A/zh
Publication of CN113676690A publication Critical patent/CN113676690A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents

Abstract

本申请实施例提供一种视频会议的实现方法、设备及存储介质。在本申请实施例中,获取当前用户所处环境的真实环境图像以及参加视频会议成员的视频图像,将视频图像设置在真实环境图像中,生成AR视频会议图像,从而生成AR会议视频。由于可以将视频图像设置在真实环境图像中,从而增强真实环境图像的画面感,此外,也使得视频图像不再是简单的显示在电视上的图像,也增强了视频图像的视频效果。同时提高用户的视频体验感,增加更多的视频真实感。

Description

一种视频会议的实现方法、设备及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种视频会议的实现方法、设备及存储介质。
背景技术
视频会议又可以称为电视会议,是通过电视(或多媒体设备)和通信网络召开会议的一种方式。在召开会议时,处于两地或多个不同地点的与会代表既可以听到对方的声音,又能看到对方的形象,同时还能看到对方会议室的场景,以及在会议室中展示的实物、图片、文件等,缩小了与会代表间的距离,从而完成了会议的目的。然而电视会议需要依托电视等大型设备,使得电视会议并不是很方便。
但,随着互联网高速发展,视频会议可以不再依托电视设备进行视频会议了,从而可以更加方便用户进行视频会议,但是视频会议的画面依旧单一且枯燥。
发明内容
本申请的多个方面提供一种视频会议的实现方法、设备及存储介质,用以能够增强视频会议的画面感,提升用户的视频体验。
本申请实施例提供一种视频会议的实现方法,包括:获取当前用户所处环境的真实环境图像;获取参加视频会议成员的视频图像,将所述视频图像设置在所述真实环境图像中,生成AR视频会议图像;根据所述AR视频会议图像,生成AR会议视频。
本申请实施例还提供一种视频会议的实现方法,包括:获取虚拟空间图像;获取参加视频会议成员的视频图像,将所述视频图像设置在所述真实环境图像中,生成VR视频会议图像;根据所述VR视频会议图像,生成VR会议视频。
本申请实施例还提供一种视频会议的实现方法,包括:获取当前用户所处环境的真实环境图像以及虚拟空间图像;获取参加视频会议成员的视频图像,将虚拟空间图像以及所述视频图像设置在所述真实环境图像中,生成MR视频会议图像;根据所述MR视频会议图像,生成MR会议视频。
本申请实施例还提供一种视频直播方法,包括:获取当前用户所处环境的真实环境图像;获取直播视频图像,将所述直播视频图像设置在所述真实环境图像中,生成AR直播视频图像;根据所述AR直播视频图像,生成AR直播视频。
本申请实施例还提供一种远程协助的方法,包括:获取当前用户所处环境的真实环境图像;获取待远程协助设备对应的屏幕图像,将所述视频图像设置在所述真实环境图像中,生成AR远程协助图像;根据所述AR远程协助图像,进行远程协助。
本申请实施例还提供一种AR显示设备,包括:存储器、处理器、通信组件以及摄像头;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序;所述摄像头,用于获取当前用户所处环境的真实环境图像;所述通信组件,用于获取参加视频会议成员的视频图像;所述处理器,以用于:将所述视频图像设置在所述真实环境图像中,生成AR视频会议图像;根据所述AR视频会议图像,生成AR会议视频。
本申请实施例还提供一种VR显示设备,包括:存储器、处理器以及通信组件;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序,以用于:获取虚拟空间图像;将所述视频图像设置在所述真实环境图像中,生成VR视频会议图像;根据所述VR视频会议图像,生成VR会议视频;所述通信组件,用于获取参加视频会议成员的视频图像。
本申请实施例还提供一种MR显示设备,包括:存储器、处理器、通信组件以及摄像头;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序;所述摄像头,用于获取当前用户所处环境的真实环境图像;所述通信组件,用于获取参加视频会议成员的视频图像;所述处理器,以用于:获取虚拟空间图像;将虚拟空间图像以及所述视频图像设置在所述真实环境图像中,生成MR视频会议图像;根据所述MR视频会议图像,生成MR会议视频。
本申请实施例还提供一种AR显示设备,包括:存储器、处理器、通信组件以及摄像头;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序;所述摄像头,用于获取当前用户所处环境的真实环境图像;所述通信组件,用于获取直播视频图像;所述处理器,以用于:将所述直播视频图像设置在所述真实环境图像中,生成AR直播视频图像;根据所述AR直播视频图像,生成AR直播视频。
本申请实施例还提供一种AR显示设备,包括:存储器、处理器、通信组件以及摄像头;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序;所述摄像头,用于获取当前用户所处环境的真实环境图像;所述通信组件,用于获取待远程协助设备对应的屏幕图像;所述处理器,以用于:将所述视频图像设置在所述真实环境图像中,生成AR远程协助图像;根据所述AR远程协助图像,进行远程协助。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被一个或多个处理器执行时,致使所述一个或多个处理器实现上述方法中的步骤。
在本申请实施例中,获取当前用户所处环境的真实环境图像以及参加视频会议成员的视频图像,将视频图像设置在真实环境图像中,生成AR视频会议图像,从而生成AR会议视频。由于可以将视频图像设置在真实环境图像中,从而增强真实环境图像的画面感,此外,也使得视频图像不再是简单的显示在电视上的图像,也增强了视频图像的视频效果。同时提高用户的视频体验感,增加更多的视频真实感。
相似地,还可以生成VR会议视频以及MR视频会议。同样可以给用户带来较强的视频画面感,增强用户对视频会议的兴趣。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一示例性实施例的视频会议的实现系统的结构示意图;
图2为本申请一示例性实施例的视频会议的实现方法的流程示意图;
图3A为本申请又一示例性实施的真实环境图像的示意图;
图3B为本申请又一示例性实施的AR视频会议图像的示意图;
图4为本申请又一示例性实施的共享屏幕的示意图;
图5为本申请一示例性实施例的视频会议的实现方法的流程示意图;
图6A为本申请一示例性实施例的虚拟空间图像的示意图;
图6B为本申请一示例性实施例的VR视频会议图像的示意图;
图7为本申请一示例性实施例的视频会议的实现方法的流程示意图;
图8为本申请一示例性实施例的视频直播方法的流程示意图;
图9为本申请一示例性实施例的远程协助的方法的流程示意图;
图10为本申请又一示例性实施例提供的视频会议的实现装置的结构示意图;
图11为本申请又一示例性实施例提供的视频会议的实现装置的结构示意图;
图12为本申请又一示例性实施例提供的视频会议的实现装置的结构示意图;
图13为本申请又一示例性实施例提供的视频直播装置的结构示意图;
图14为本申请又一示例性实施例提供的远程协助的装置的结构示意图;
图15为本申请一示例性实施例提供的计算设备的结构示意图;
图16为本申请一示例性实施例提供的计算设备的结构示意图;
图17为本申请一示例性实施例提供的计算设备的结构示意图;
图18为本申请一示例性实施例提供的计算设备的结构示意图;
图19为本申请一示例性实施例提供的计算设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
基于前文可知,对于目前的视频会议,由于其不仅画面感单一以及电视设备过大,不能给用户带来很好的视频会议体验。
于此,本申请实施例提供的方法,能够给用户带来较强的视频会议的画面感,提高用户的视频体验感,增强用户的视频兴趣。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本申请一示例性实施例提供的一种视频会议的实现系统的结构示意图。如图1所示,该系统100可以包括:第一设备101、第二设备102以及第三设备103。
其中,第一设备101可以是有一定计算能力的设备,可以实现向第三设备103发送数据的功能,并从第三设备103获取到响应数据,并生成沉浸式图像(如,增强现实图像等)等,展示这些图像。此外,第一设备101也可以和第二设备102进行数据的传输。第一设备101的基本结构可以包括:至少一个处理器。处理器的数量可以取决于具有一定计算能力装置的配置和类型。具有一定计算能力装置也可以包括存储器,该存储器可以为易失性的,例如RAM(Random Access Memory,随机存取存储器),也可以为非易失性的,例如只读存储器(Read-Only Memory,ROM)、闪存等,或者也可以同时包括两种类型。存储器内通常存储有操作系统(Operating System,OS)、一个或多个应用程序,也可以存储有程序数据等。除了处理单元和存储器之外,具有一定计算能力装置还包括一些基本配置,例如网卡芯片、IO(输入/输出,Input/Output)总线、显示组件、摄像头、控制器以及一些设备等。第一设备101可以为头戴式智能设备以及非头戴智能设备,头戴式智能设备可以为智能眼镜等,可以包括AR(Augmented Reality,增强现实)眼镜、VR(Virtual Reality,虚拟现实)眼镜、MR(MixedReality,混合现实)眼镜等。非头戴智能设备可以是裸眼AR设备,包括裸眼AR设备、裸眼VR设备以及裸眼MR设备等。
第二设备102可以是有一定计算能力的设备,可以实现向第三设备103发送数据的功能,并从第三设备103获取到响应数据。第一设备102的基本结构可以包括:至少一个处理器。处理器的数量可以取决于具有一定计算能力装置的配置和类型。具有一定计算能力装置也可以包括存储器,该存储器可以为易失性的,例如RAM,也可以为非易失性的,例如只读存储器(Read-Only Memory,ROM)、闪存等,或者也可以同时包括两种类型。存储器内通常存储有操作系统(Operating System,OS)、一个或多个应用程序,也可以存储有程序数据等。除了处理单元和存储器之外,具有一定计算能力装置还包括一些基本配置,例如网卡芯片、IO总线、显示组件以及一些外围设备等。可选地,一些外围设备可以包括,例如键盘、输入笔以及摄像头等。其它外围设备在本领域中是众所周知的,在此不做赘述。可选地,第二设备102可以为智能终端,例如,手机、台式电脑、笔记本、平板电脑等。
第三设备103是指可以在网络虚拟环境中提供计算处理服务的设备,可以是指利用网络进行视频数据处理的设备。在物理实现上,第三设备103可以是任何能够提供计算服务,响应服务请求,并返回数据处理结果,例如可以是常规服务器、云服务器、云主机、虚拟中心等等。第三设备103的构成主要包括处理器、硬盘、内存、系统总线等,和通用的计算机架构类似。
在本申请实施例中,第一设备101,获取当前用户所处环境的真实环境图像;从第三设备103处或者第二设备102处获取参加视频会议成员的视频图像,将视频图像设置在真实环境图像中,生成AR视频会议图像;根据AR视频会议图像,生成AR会议视频,并由第一设备101的显示组件展示该AR会议视频。
此外,第二设备102向第三设备103发送当前用户的视频图像,并由第三设备103将当前用户的视频图像发送至其它与第三设备103连接的设备。
需要说明的是,对于第二设备102而言,可以是具有多个的,即有多个用户参与该视频会议,可以每个用户对应一个第二设备102,每个用户也可以对应一个第一设备101。且第一设备101与第二设备102可以通过关联的同一个账号进行对应,由此,第三设备103在发送视频图像时,不但可以将视频图像发送至对应的第二设备102,也可以发送至与该第二设备102对应的第一设备101,实现数据的同步发送。
在本申请实施例的应用场景中,用户104可以先佩戴上第一设备101,并通过第一设备101,如AR眼镜,并通过AR眼镜登录与视频会议关联的账号。同时,用户104也通过第二设备102,如手机,登录同一账号。当具有视频会议时,AR眼镜以及手机都可以接收到视频会议邀请,用户可以通过AR眼镜的控制器来同意入会邀请,从而使得AR眼镜以及手机均接入到该视频会议中。
接入到会议中后,AR眼镜通过其摄像头获取当前用户所在的环境,如办公室,的真实环境图像,如办公室图像。应理解,该摄像头会持续拍摄该办公室图像,生成连续多帧的视频。此外,手机也会通过自身配置的摄像头获取当前用户的视频图像,并将该视频图像发送至第三设备103,如视频会议服务器。应理解,手机的摄像头会持续地对当前用户进行拍摄,并持续地发送至视频会议服务器,从而形成视频。
视频会议服务器可以接收到多个手机发送的视频图像,并发送至对应的其它手机中以及与其它手机相关联的其它AR眼镜中。如对于用户A而言,用户A的手机以及AR眼镜可以接收到用户A、用户B、用户C、用户D的视频图像。用户A的AR眼镜在接收到这些用户的视频图像后,将接收到的视频图像设置在用户A的AR眼镜获取到的办公室图像中,可以以水平环绕方式进行设置,生成AR视频会议图像。由于用户A的AR眼镜可以持续地接收到这些用户的视频图像,即从而形成了这些用户各自的视频,从而针对每帧视频图像,将每帧视频图像与当前每帧办公室图像对应,从而生成多帧的AR视频会议图像,形成AR会议视频,并由AR眼镜的显示组件,如镜片进行展示,使得用户A通过眼睛看到该镜片上的AR会议视频。
需要说明是,处理AR会议视频,该系统100也可以生成VR会议视频以及MR会议视频,生成过程相似,会在下文进行详细说明,此处就不再阐述。
另,用户也可以通过裸眼AR设备进行观看视频会议,该裸眼AR设备可以是AR投影仪。AR投影仪可以接收用户的视频图像以及获取真实环境图像,并生成AR视频会议图像,还可以对该图像进行光影打造,使得该图像更加逼真,并进行展示。用户就可以直接通过眼睛进行观看,无需在佩戴设备进行观看。
此外,本申请实施例除了应用于AR、VR以及MR视频会议以外,还可以应用于其它应用场景,如视频直播、远程协助等等。具体的实现方式可以参见下文。
第二设备102与第一设备101可以通过网络连接,也可以通过蓝牙连接。
在上述本实施例中,第一设备101、第二设备102以及第三设备103进行网络连接,该网络连接可以是无线连接。若第一设备101、第二设备102以及第三设备103是通信连接,该移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、WiMax、5G等中的任意一种。
下面结合方法实施例,针对视频会议的实现过程进行详细说明。
图2为本申请一示例性实施例的一种视频会议的实现方法的流程示意图。本申请实施例提供的该方法200由头戴式智能设备或非头戴智能设备执行,如AR眼镜,AR投影仪;或者由智能终端执行,如手机。该方法200包括以下步骤:
201:获取当前用户所处环境的真实环境图像。
202:获取参加视频会议成员的视频图像,将视频图像设置在真实环境图像中,生成AR视频会议图像。
203:根据AR视频会议图像,生成AR会议视频。
以下针对上述步骤进行详细阐述:
201:获取当前用户所处环境的真实环境图像。
其中,当前用户所处环境是指当前用户在进行视频会议时所在场所,如户外场所,办公室场所以及公共场所等等。对应的,真实环境图像则是该场所的真实环境图像,如户外环境图像、办公室图像等。
获取真实环境图像的方式可以为:通过头戴式AR设备,如AR眼镜,或通过非头戴AR设备,如AR投影仪,进行获取。例如,由于AR眼镜或AR投影仪上具有摄像头,可以通过该摄像头获取到当前用户视角内的真实环境图像。
例如,根据前文所述,用户A在办公室内进行视频会议。同时用户A通过AR眼镜登录了视频会议的关联账号,该关联账号可以是安装在AR眼镜中的应用程序A的登录账号。并根据该登录账号,接收到视频会议邀请。用户A可以根据该AR眼镜的控制器(如,控制手柄等)同意该邀请,使得AR眼镜被接入到视频会议中。用户A通过AR眼镜的摄像头获取到用户A视角内的办公室图像。图3A示出了用户A视角内的办公室图像300A。其中,在该办公室图像300A中有电脑302以及与电脑302连接的摄像头301。
此外,对于智能终端为执行主体而言,如手机,其可以通过与其连接的AR眼镜获取到该办公室图像,从而获取到对应的真实环境图像。用户A同样的通过手机上安装的应用程序A登陆上述关联账号。
需要说明的是,视频会议在进行邀请前,可以有其他用户发起该视频会议,也可以直接由用户A发起视频会议。在其他用户,如用户B发起视频会议时,用户B可以通过其智能终端,如手机,电脑,也可以通过用户B的AR眼镜发起视频会议。该视频会议可以是直接发起的,也可以是预约的。对于直接发起的视频会议,用户B可以在手机等设备上进行操作,发起视频会议,并由手机等设备可以向视频会议服务器发送视频会议请求,并可以由视频会议服务器根据请求中携带的参加视频会议的用户ID,向其他用户的设备发起视频会议邀请。应理解,其他用户应当均通过各自的账号在所对应的设备上进行登录,才能够接收到视频会议邀请。由此,用户A可以接收到该视频会议邀请。
对于预约视频会议的过程,与直接的视频会议相似,就不再过多赘述。仅说明,预约视频会议需要用户通过手机等设备在其安装的应用程序A上进行操作,预约视频会议,如预约时间、参加人员、会议名称等等。手机等设备会响应这种预约操作,向视频会议服务器发送预约请求,视频会议服务器会在预约时间到达时,向参见人员,即对应的用户所在设备发起视频会议邀请。
202:获取参加视频会议成员的视频图像,将视频图像设置在真实环境图像中,生成AR视频会议图像。
其中,参加视频会议成员是指参加视频会议的用户。
获取视频图像的方式可以包括:对于智能终端而言,例如,通过手机或者电脑的摄像头获取当前用户的视频图像,并将该视频图像发送至视频会议服务器,视频会议服务器会接受到参加该视频会议的用户的视频图像,并将视频图像发送至对应的用户所在设备,如手机、电脑,使得当前用户可以通过手机接收到其他用户以及当前用户的视频图像。
对于AR设备(即包括头戴式以及非头戴式)而言,可以通过与智能终端连接,从智能终端,电脑处获取到其他用户以及当前用户的视频图像。或者,通过视频会议服务器直接发送其他用户以及当前用户的视频图像。应理解,由于各个设备均可以通过关联账号接入到视频会议,形成同步视频会议,所以各个接入到视频会议的设备也可以同步接收到视频会议服务器发送的数据,如视频图像等。
具体的,将视频图像设置在真实环境图像中,生成AR视频会议图像,包括:将多个成员各自对应的视频图像设置在真实图像中的预置位置上,生成AR视频会议图像。
例如,根据前文所述,当AR眼镜、AR投影仪或者手机、电脑接收到其他用户以及当前用户的视频图像后,将视频图像设置在当前时间对应的办公室图像中,按照预置的位置进行设置,形成AR视频会议图像。除此以外,还可以在生成AR视频会议图像前,将视频图像设置在办公室图像中后,利用光源效果等对该办公室图像进行处理,使得最终的办公室图像更有立体效果,生成AR视频会议图像。图3B示出了AR视频会议图像300B,在该图像300B中示出了用户的视频图像3031,是水平方式设置的,同时上方还设置有正在说话的用户的视频图像3032,是以大图的形式展示的。
需要说明的是,无论以何种方式展示视频图像,都可以根据需求来设置预置位置,从而进行视频图像的展示,故通过预置位置展示视频图像的方式都在本申请实施例的保护范畴内。
另,还可以通过以下方式进行设置视频图像:
1)、将视频图像设置在真实环境图像中,生成AR视频会议图像,包括:根据水平环绕方式,将多个成员各自对应的视频图像设置在真实环境图像中的预置位置上,生成AR视频会议图像。
其中,水平环绕方式是指视频图像以180度的环绕方式,设置在用户的视角内。例如,多个视频图像可以呈现为180度环形排列,也可以呈现为中间的多个视频图像直线排列,其两侧视频图像环绕排列。
例如,根据前文所述,当AR眼镜或者手机、电脑接收到视频图像后,可以将视频图像以水平环绕方式,即用户视角内以水平环绕方式进行展示,使得视频图像能够在用户视角内展示出来,环绕在用户A的身边。
2)、将视频图像设置在真实环境图像中,生成AR视频会议图像,包括:在真实环境图像的中间位置确定一个空白区域;将多个成员各自对应的视频图像设置在空白区域的两侧,生成AR视频会议图像。
例如,根据前文所述,当AR眼镜、AR投影仪或者手机、电脑接收到视频图像后,可以先确定真实环境图像的中心点,然后根据中心点,确定一个空白区域,该空白区域可以是矩形、圆形以及任意形状。然后AR眼镜或者手机、电脑,将视频图像设置在该空白区域的左右两侧。
该空白区域可以用来展示其它内容,如共享屏幕等等。
203:根据AR视频会议图像,生成AR会议视频。
其中,根据AR视频会议图像,生成AR会议视频,包括:根据生成的连续多帧的AR视频会议图像,生成AR会议视频。
由于会议视频是由连续多帧AR视频会议图像组成的,所以在生成AR视频会议图像时,也是一帧一帧生成的,最后组合成AR会议视频的。无论对于AR眼镜、AR投影仪还是手机以及电脑等,都可以生成最终的AR会议视频。
在生成AR会议视频需要通过AR展示设备进行展示,具体的,该方法200还包可以括:将AR会议视频展示在AR显示设备上,以使当前用户在佩戴AR显示设备的情况下,观看AR会议视频。
其中,该AR显示设备可以为AR眼镜。由于AR眼镜便于用户携带,所以使得用户在方便的情况下可以随时随地的使用AR眼镜进行视频会议,快速接入到视频会议中。
例如,根据前文所述,AR眼镜生成AR会议视频后,可以直接由AR眼镜的进行会议视频的播放,提供给用户A在其镜片(即AR眼镜的显示屏)上进行观看。或者手机或者电脑生成AR会议视频后,发送至AR眼镜该AR会议视频,进行观看。
具体的,该方法200还包括:通过AR显示设备展示AR会议视频,以使当前用户直接观看展示出来的AR会议视频。
其中,该AR显示设备可以为裸眼AR设备,AR投影仪或者AR芯片。其中,AR芯片可以植入于人眼中,使得用户直接可以观看电脑或手机上的AR会议视频。
对于AR投影仪而言,AR投影仪可以根据上述生成AR会议视频,投影在空白墙体上,或者投影布上,或者直接投影在当前用户所在的空间内,形成具有较强光影效果的AR会议视频。
此外,具有该AR投影仪效果的手机以及电脑都可以成为展示AR会议视频的展示设备,向用户进行展示,使得用户直接可以裸眼进行观看,摆脱了佩戴相关设备的麻烦。
为了提高视频会议的方便性,本申请实施例还支持屏幕共享,使得用户在进行视频会议时能够方便地观看同一屏幕上的内容和资料。
具体的,该方法200还可以包括:响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;将屏幕图像设置在真实环境图像中,生成AR视频会议图像。
例如,根据前文所述,用户A可以通过电脑进行电脑界面的操作,由于电脑也通过其上安装的应用程序A登录了账号,则用户A可以通过应用程序A进行屏幕共享的操作,即将用户A的电脑上的屏幕进行共享,使得其他用户(当前用户也可以看到)也可以看到,从而进行详细的会议说明。电脑可以通过应用程序A响应于用户的操作,确定电脑的屏幕,并获取电脑的屏幕图像,向视频会议服务器发送屏幕共享请求,该屏幕共享请求可以携带用户A的电脑的屏幕图像。视频会议服务器响应该请求,将屏幕图像发送至各个用户的电脑设备或者AR眼镜、AR投影仪,使得接收到的设备能够将该屏幕图像设置在真实环境图像中。如,用户A的电脑接收到屏幕图像后,将屏幕图像设置在办公室图像中,生成AR视频会议图像。然后可以由电脑发送至AR眼镜,进行观看屏幕共享。
此外,对于AR眼镜来说,用户可以通过其控制器进行屏幕共享操作,从而控制与其连接的电脑进行屏幕共享操作,从而实现屏幕共享。同时,视频会议服务器可以将屏幕图像发送至AR眼镜,由AR眼镜直接对屏幕图像设置到办公室图像中,生成AR视频会议图像,直接进行观看。
对于AR投影仪来说,可以进行上述屏幕共享操作,也可以通过其控制器进行控制,控制过程与前文阐述的相似,此处就不再过多赘述。
在进行视频共享时,为了便于用户能够清晰地观看该屏幕图像,可以将该屏幕图像的展示位置进行设置。
具体的,该方法200还可以包括:将屏幕图像设置在真实环境图像中的主图面位置上,将视频图像设置在真实环境图像中的次图面位置上。
其中,主图面位置可以是指位于真实环境图像中的面积较大的视图位置。次图面可以是指真实环境中面积较小的视图位置(即主图面的面积大于次画面的面积)。主图面可以是位于在次图面的后上方。
例如,根据前文所述,电脑或者AR眼镜、AR投影仪将屏幕图像,即共享屏幕的画面,设置在办公室图像中的主图面位置上。图4示出了共享屏幕的图像的图像400,在该图像400中,共享屏幕的画面3033设置在用户的视频图像3031的上方且偏后的位置。用户在佩戴AR眼镜进行观看的时候可以看到这种设置。
此外,还可以这样设置:将屏幕图像设置在真实环境图像中,包括:在真实环境图像的中间位置确定一个空白区域;将屏幕图像设置在真实环境图像中的空白区域。
例如,根据前文所述,电脑或者AR眼镜、AR投影仪将屏幕图像,设置在该空白区域中。
需要说明的是,屏幕共享时,也是根据前文所述,通过将屏幕图像的每帧设置在对应的办公室图像中,形成AR会议视频。
此外,可以根据需求对用户的视频图像以及屏幕图像的尺寸进行调整,为了提高用户的体验,可以在用户的视角内,尽量将尺寸调整大,实现大屏幕180度的观看的效果。
还需要说明的是,用户在视角可以改变,如用户A在办公室中一致保持水平180度的视角,但是用户A可以通过转动头部以及身体,使得该视角由180度转变为360度,从而使得AR眼镜能够获取到用户所在办公室内360度的办公室图像,由此,根据这个360度的办公室图像,将所有用户的视频图像以及屏幕图像设置在该360度的办公室图像内,具体的设置方式不限,可以是环绕式的,从而使得其中的视频图像以及屏幕图像尽量的大。
在无屏幕共享时,为了更好地使得发言用户能够得到其他用户的关注,以及方便其他用户知晓是谁在发言,可以将发言用户的视频图像的展示位置进行设置。
具体的,该方法200还包括:确定多个视频图像中具有声音的视频图像,并将该视频图像设置在真实环境图像中的主图面位置上,将其它视频图像设置在真实环境图像中的次图面位置上。
例如,根据前文所述,电脑或者AR眼镜、AR投影仪可以将正在发言的用户的视频图像设置在主图面上。电脑或者AR眼镜、AR投影仪可以通过识别出具有声音的视频图像,从而进行设置。图3B示出了具有正在发言的用户的视频图像的视频会议图像300B,在该图像300B中,正在发言的用户的视频图像3032设置在其他用户的视频图像3031的后上方。在发言的用户进行切换时,该图像300B中的视频图像3032也会跟着切换。
另,该方法200还可以包括:确定多个视频图像中具有声音的视频图像,并将该视频图像设置在空白区域中。
例如,根据前文所述,电脑或者AR眼镜、AR投影仪将具有声音的视频图像设置在该空白区域上。
此外,当既有需要共享的屏幕图像且又有正在发言的用户,那么可以以屏幕图像为优先,将屏幕图像设置在主图画上,用户的视频图像设置在次图画上。
需要说明的是,对于AR设备而言,可以设置有拾音器,如麦克风。还可以设置有放音器,如扬声器等。由此,用户可以通过AR眼镜的控制器来控制拾音器、放音器以及摄像头等。此外,用户也可以控制手机或者电脑上的摄像头、拾音器、放音器等等。
具体的,该方法200还包括:响应于拾音的控制操作,开启或关闭拾音器;响应于放音的控制操作,开启或关闭放音器;响应于摄像头的控制操作,开启或关闭摄像头。
例如,根据前文所述,用户A可以通过AR眼镜、AR投影仪的控制器,如控制手柄,控制AR眼镜、AR投影仪的麦克风关闭和打开,以及扬声器或听筒的关闭和打开以及摄像头的关闭和打开。同时,该控制器也可以通过AR眼镜控制手机或电脑的拾音器、摄像头以及放音器的开启或关闭。或者用户A直接控制手机或电脑的拾音器、摄像头以及放音器的开启或关闭。
用户可以通过AR眼镜、AR投影仪以及智能终端接收到视频会议的邀请,具体的,该方法200还包括:接收视频会议的邀请,响应于视频会议的入会操作,接入到视频会议中,以获取真实环境图像以及视频图像,生成AR视频图像,进行展示。
由于前文已经阐述过,此处就不再赘述。
而AR眼镜、AR投影仪以及智能终端均可以接收到视频会议的邀请的前提是,需要通过关联账号将这些设备接入到视频会议中,具体的,该方法200还包括:通过AR显示设备,登录视频会议所对应的关联账号;通过AR显示设备,接收视频会议的邀请,以及响应于入会操作,接入到视频会议中。
由于前文已经阐述过,此处就不再赘述。
用户在手机以及电脑等智能终端已经通过各自安装的应用程序登录了关联账号后,进行了视频会议。当AR眼镜、AR投影仪后续通过其上安装的应用程序登录了关联账号后,也可以将该AR眼镜、AR投影仪接入到视频会议中。或者,用户在AR眼镜、AR投影仪先登录了关联账号,进行了视频会议。后续用户再通过手机以及电脑等智能终端登录了关联账号,也可以将手机以及电脑等接入到视频会议中。
具体的,该方法200还包括:通过其它设备登录视频会议所对应的关联账号,接收视频会议的邀请,响应于入会操作,接入到视频会议中;在其它设备已接入到视频会议中的情况下,通过AR显示设备,登录视频会议所对应的关联账号,接收该视频会议的邀请,响应于入会操作,接入到视频会议中。
例如,根据前文可知,用户A可以通过通过手机和电脑等登录关联账号,并接入到视频会议中。随后,用户A还可以通过AR眼镜、AR投影仪登录该关联账号,该账号的登录可以在其它服务器中实现,同时,其它服务器可以更新各个设备(已经登录了关联账号的设备)的状态,如是否进行视频会议。由此,其它服务器可以向对应的视频会议服务器发送该AR眼镜、AR投影仪的信息,如网络地址、设备ID以及登录账号等等,使得视频会议服务器根据这些信息查找到该AR眼镜、AR投影仪,并发送视频会议的邀请,并基于用户A的入会操作,进行发送相关图像,如用户的视频图像等。
另,也可以由视频会议服务器直接接收AR眼镜、AR投影仪的登录请求等,直接发送视频会议的邀请。对于电脑和手机后续登录接入视频会议也是一样,此处就不再赘述。
在AR视频会议中,用户可以进行移动,用户在移动后依旧可以观看到移动后的视频会议。
具体的,该方法200还包括:响应于用户的移动操作,确定用户移动后的位置,根据移动后的位置,将视频图像设置在移动后的真实环境图像中。
例如,根据前文所述,用户移动位置后,AR眼镜可以对移动后的用户视角内的办公室图像进行获取,并传输给电脑或手机,使得手机或电脑也可以接收到办公室图像。由此,当用户移动后,AR眼镜可以根据传感器确定当前用户移动了。由此,根据移动后的位置,获取对应的图像。并将用户的视频图像设置到移动后的真实环境图像中。设置过程前文已经阐述过了,此处就不再赘述。
为了方便用户对该视频会议的记录,本申请实施例还可以对视频会议进行录制。具体如下:
该方法200还包括:录制AR视频会议,并在AR视频会议结束后,保存至本地预置区域中。
例如,根据前文所述,AR眼镜、AR投影仪或者电脑以及手机可以对AR会议视频进行录制,在用户结束会议后,即点击退出会议操作后,将录制AR会议视频存储至本地对应区域中。以便用户后续进行查找和复看。
基于上述相似的发明构思,图5示出了本申请另一示例性实施例提供的一种视频会议的实现方法的流程示意图。本申请实施例提供的该方法500由上述头戴式智能设备执行,如VR眼镜,非头戴式智能设备执行,如VR投影仪,VR显示屏或者由智能终端执行,如手机,如图5所示,该方法500包括以下步骤:
501:获取虚拟空间图像。
502:获取参加视频会议成员的视频图像,将视频图像设置在真实环境图像中,生成VR视频会议图像。
503:根据VR视频会议图像,生成VR会议视频。
由于步骤501-503的具体实施方式与前文阐述的具体实施方式相似,此处就不再过度赘述。仅说明,以下内容:
501:获取虚拟空间图像。
其中,获取虚拟空间图像,包括:响应于虚拟空间图像的选择操作,确定虚拟空间图像,以进行获取。
其中,虚拟空间图像是指三维虚拟图像,可以是预置好各个不同场景对应的三维虚拟图像,如办公室、咖啡馆、会议室等场景对应的三维虚拟图像。
例如,用户可以通过对该三维虚拟图像进行选择,如办公室三维图像、户外三维图像、咖啡馆三维图像等等。用户可以通过VR眼镜的控制器进行选择,也可以通过手机或者电脑进行选择。VR眼镜、VR投影仪、VR显示屏、手机或者电脑响应该选择操作,确定出用户选择的三维虚拟图像,从而使得VR眼镜、VR投影仪、VR显示屏、手机或者电脑从视频会议服务器处获取,或者直接从本地存储的区域中获取。
图6A示出了虚拟空间图像600A,在该图像600A中展示了会议室三维虚拟图像601。
502:获取参加视频会议成员的视频图像,将视频图像设置在真实环境图像中,生成VR视频会议图像。
其中,将视频图像设置在真实环境图像中,包括:根据水平环绕方式,将多个成员各自对应的视频图像设置在虚拟空间图像中的预置位置上,生成VR视频会议图像。
需要说明的是,VR眼镜、手机或者电脑获取到三维虚拟图像后,可以在三维虚拟空间内预先确定一个位置,作为当前用户的初始位置以及用户的初始视角。当用户移动后,可以根据VR传感器进行用户在三维虚拟图像中位置的追踪,从而呈现出三维虚拟图像中的不同景象。同时,VR眼镜还可以通过对眼球追踪,确定用户的视角范围,从而,确定出不同视角范围对应的三维景象,应理解,不同景象或者三维景象属于三维虚拟图像中的一部分。在这部分景象范围内,可以设置用户的视频图像,同时可以随着用户的移动以及眼球的移动,将视频图像也进行对应的位置移动,从而生成VR视频会议图像。
其中,图6B示出了在VR视频会议图像600B,在该在图像600B中展示了会议室601,同时展出了用户的视频图像3031以及正在发言的用户的视频图像3032。
但,对于VR投影仪、VR显示屏而言,可以直接展示出完整的VR视频会议图像,用户可以进行移动观看,但是可以不用跟随用户的移动进行图像变化。
503:根据VR视频会议图像,生成VR会议视频。
根据VR视频会议图像,生成VR会议视频,包括:根据生成的连续多帧的VR视频会议图像,生成VR会议视频。
由于前文已经阐述过类似的具体实现方式,此处就不再赘述。
此外,该方法500还包括:将VR会议视频展示在VR显示设备上,以使当前用户在佩戴VR显示设备的情况下,观看VR会议视频。其中,VR显示设备包括:VR眼镜。
该方法500还包括:通过VR显示设备展示VR会议视频,以使当前用户直接观看展示出来的VR会议视频。
由于前文已经阐述过类似的具体实现方式,此处就不再赘述。仅说明,该VR显示设备可以是VR芯片,用于植入人眼中,使得用户可以直接通过该芯片观看VR会议视频。
此外,该方法500还包括:响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;将屏幕图像设置在虚拟空间图像中,生成VR视频会议图像。
由于前文已经阐述过类似的具体实现方式,此处就不再赘述。
需要说明的是,对于三维虚拟图像而言,也可以将需要展示的图像,包括用户的视频图像以及屏幕图像,以360度的形式进行设置,用户可以通过转动身体和头部进行观看,增加视频会议的趣味性。
此外,该方法500还包括:响应于用户的移动操作,确定用户移动后的位置,根据移动后的位置,确定该位置对应的用户视角的虚拟空间图像,作为移动后的虚拟空间图像;将视频图像设置在移动后的虚拟空间图像中。
由于前文已经阐述过类似的具体实现方式,此处就不再赘述。
此外,该方法500还包括:通过VR显示设备的控制器,响应于用户的交互操作,确定该交互操作对应的响应虚拟空间图像,并展示在真实环境图像中。
需要说明的是,用户可以通过控制器,如控制手柄,在办公室三维空间图像中点击桌面,VR眼镜、手机或者电脑均可以响应这种交互操作,在桌面上展示出一盏灯,并且加强灯光亮度。或者,通过控制器拖住屏幕图像,拉向用户,使得屏幕图像往前移动,离近用户,方便用户观看等等。
另,本方法500未能详细描述的内容,还可以参照上述方法200中的各个步骤,例如视频图像的设置方式等等。
基于上述相似的发明构思,图7示出了本申请另一示例性实施例提供的一种视频会议的实现方法的流程示意图。本申请实施例提供的该方法700由头戴式智能设备执行,如MR眼镜,非头戴智能设备,如MR显示屏或者MR投影仪,或者由智能终端执行,如手机。该方法700包括以下步骤:
701:获取当前用户所处环境的真实环境图像以及虚拟空间图像。
702:获取参加视频会议成员的视频图像,将虚拟空间图像以及视频图像设置在真实环境图像中,生成MR视频会议图像。
703:根据MR视频会议图像,生成MR会议视频。
由于步骤601-603的具体实施方式与前文阐述的具体实施方式相似,此处就不再过度赘述。仅说明,以下内容:
702:获取参加视频会议成员的视频图像,将虚拟空间图像以及视频图像设置在真实环境图像中,生成MR视频会议图像。
其中,将虚拟空间图像以及视频图像设置在真实环境图像中,包括:将虚拟空间图像设置在真实环境图像中预置位置上;根据水平环绕方式,将多个成员各自对应的视频图像设置在虚拟空间图像中的预置位置上,生成MR视频会议图像;或者,根据水平环绕方式,将多个成员各自对应的视频图像设置在真实环境图像中的预置位置上,生成MR视频会议图像。
需要说明的是,VR眼镜、MR显示屏、MR投影仪、手机或者电脑,将虚拟空间图像设置在真实环境图像中,如,将办公室三维虚拟图像设置在户外街上的真实环境图像中。同时可以在办公室三维虚拟图像中展示出来用户的视频图像以及屏幕图像等。展示方式如前所述。
此外,该700方法还包括:将MR会议视频展示在MR显示设备上,以使当前用户在佩戴MR显示设备的情况下,观看MR会议视频。其中,MR显示设备包括:MR眼镜。
该700方法还包括:通过MR显示设备展示MR会议视频,以使当前用户直接观看展示出来的MR会议视频。
由于前文已经阐述过类似的具体实现方式,此处就不再赘述。仅说明,该MR显示设备还可以为MR芯片,用于植入人眼中,使得用户直接通过该芯片,观看MR会议视频。
703:根据MR视频会议图像,生成MR会议视频。
其中,根据MR视频会议图像,生成MR会议视频,包括:根据生成的连续多帧的MR视频会议图像,生成MR会议视频。
由于前文已经阐述过类似的具体实现方式,此处就不再赘述。
此外,该700方法还包括:响应于用户的移动操作,确定用户移动后的位置,根据移动后的位置,确定该位置对应的用户视角的虚拟空间图像,作为移动后的虚拟空间图像;将移动后的虚拟空间图像设置在移动后的真实环境图像中;将视频图像设置在移动后的虚拟空间图像中;或者,将视频图像设置在移动后的真实环境图像中。
需要说明的是,用户在进行移动时,无论是眼球移动还是身体移动,都可以带来视角范围的变化。在用户的身体进行移动时,真实环境图像以及空间虚拟图像都会有有所改变,由此,可以进行重新生成对应的MR视频会议图像。
此外,该700方法还包括:获取用户的手势,根据用户的手势,确定对应的指令,响应于该指令执行对应的动作。
响应于该指令执行对应的动作,包括:响应于虚拟空间图像的切换指令,在真实环境图像中切换虚拟空间图像。
需要说明的是,用户可以直接进行手势互动,手机或者电脑的摄像头可以将用户的手势,并且对该手势进行识别,从确定出该手势对应的指令,例如拉近屏幕图像等。电脑或手机可以直接响应该指令,进行执行。也可以将该指令传送至MR眼镜、MR显示屏、MR投影仪,进行指令响应。此外,还可以进行虚拟空间图像切换,识别出该指令是切换指令则进行虚拟空间图像切换。
应理解的是,这些指令可以提前预置好,用户根据这些预置手势指令动作,进行手势动作,从而实现发出手势指令。
另,本方法700未能详细描述的内容,还可以参照上述方法200中的各个步骤,例如视频图像的设置方式等等。
基于上述相似的发明构思,图8示出了本申请另一示例性实施例提供的一种视频直播方法的流程示意图。本申请实施例提供的该方法800由头戴式智能设备执行,如AR眼镜,非头戴智能设备执行,如AR投影仪等,或者由智能终端执行,如手机。该方法800包括以下步骤:
801:获取当前用户所处环境的真实环境图像。
802:获取直播视频图像,将直播视频图像设置在真实环境图像中,生成AR直播视频图像。
803:根据AR直播视频图像,生成AR直播视频。
由于步骤801-803的具体实施方式与前文阐述的具体实施方式相似,此处就不再过度赘述。仅说明,以下内容:
直播图像就是主播用户的视频图像。
此外,该方法800还包括:响应于发言的操作,获取发言用户的视频图像;将发言用户的视频图像设置在真实环境图像中,生成AR直播视频图像。
此外,该方法800还包括:响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;将屏幕图像设置在真实环境图像中,生成AR视频会议图像。
需要说明的是,该直播场景不仅仅可以应用在直播买货上,还可以应用在唱歌、在线教育等。且该方法800也可以通过VR眼镜等以及MR眼镜等来实现,具体的实现方式可以参照前文所述,此处就不再赘述。
另,本方法800未能详细描述的内容,还可以参照上述方法200中的各个步骤。
基于上述相似的发明构思,图9示出了本申请另一示例性实施例提供的一种远程协助的方法的流程示意图。本申请实施例提供的该方法900由头戴式智能设备执行,如AR眼镜,非头戴式智能设备,如AR投影仪等,或者由智能终端执行,如手机。该方法900包括以下步骤:
901:获取当前用户所处环境的真实环境图像。
902:获取待远程协助设备对应的屏幕图像,将视频图像设置在真实环境图像中,生成AR远程协助图像。
903:根据AR远程协助图像,进行远程协助。
由于步骤901-903的具体实施方式与前文阐述的具体实施方式相似,此处就不再过度赘述。仅说明,以下内容:
待远程协助设备可以是指其他用户的电脑。此外,远程协助时,待远程协助设备的界面发送至进行协助的用户的设备,如AR眼镜、AR投影仪等。该用户可以通过AR眼镜的控制器对该界面进行操作,或者,通过电脑对该界面进行操作,但是用户依旧可以通过AR眼镜观看该界面。
需要说明的是,该方法800也可以通过VR眼镜等以及MR眼镜等来实现,具体的实现方式可以参照前文所述,此处就不再赘述。
另,本方法900未能详细描述的内容,还可以参照上述方法200中的各个步骤。
图10为本申请一示例性实施例提供的一种视频会议的实现装置的结构框架示意图。该装置1000可以应用于头戴式智能设备,如AR眼镜,非头戴式智能设备,如AR投影仪等,或者智能终端,如手机。该装置1000包括:获取模块1001、设置模块1002以及生成模块1003;以下针对各个模块的功能进行详细的阐述:
获取模块1001,用于获取当前用户所处环境的真实环境图像。
设置模块1002,用于获取参加视频会议成员的视频图像,将视频图像设置在真实环境图像中,生成AR视频会议图像。
生成模块1003,用于根据AR视频会议图像,生成AR会议视频。
此外,该装置方法还包括:展示模块,用于将AR会议视频展示在AR显示设备上,以使当前用户在佩戴AR显示设备的情况下,观看AR会议视频。
此外,展示模块,还用于通过AR显示设备展示AR会议视频,以使当前用户直接观看展示出来的AR会议视频。
其中,设置模块1002,具体用于:将多个成员各自对应的视频图像设置在真实图像中的预置位置上,生成AR视频会议图像。
其中,设置模块1002,具体用于:根据水平环绕方式,将多个成员各自对应的视频图像设置在真实环境图像中的预置位置上,生成AR视频会议图像。
其中,设置模块1002,具体用于:在真实环境图像的中间位置确定一个空白区域;将多个成员各自对应的视频图像设置在空白区域的两侧,生成AR视频会议图像。
生成模块1003,具体用于:根据生成的连续多帧的AR视频会议图像,生成AR会议视频。
此外,获取模块1001,还用于:响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;设置模块1002,还用于将屏幕图像设置在真实环境图像中,生成AR视频会议图像。
其中,设置模块1002,还用于:将屏幕图像设置在真实环境图像中的主图面位置上,将视频图像设置在真实环境图像中的次图面位置上。
设置模块1002,具体用于:在真实环境图像的中间位置确定一个空白区域;将屏幕图像设置在真实环境图像中的空白区域。
此外,该装置1000还包括:确定模块,用于确定多个视频图像中具有声音的视频图像,并将该视频图像设置在真实环境图像中的主图面位置上,将其它视频图像设置在真实环境图像中的次图面位置上。
其中,主图面的面积大于次画面的面积。
此外,设置模块1002,还用于:确定多个视频图像中具有声音的视频图像,并将该视频图像设置在空白区域中。
此外,该装置1000还包括:控制模块,用于响应于拾音的控制操作,开启或关闭拾音器;响应于放音的控制操作,开启或关闭放音器;响应于摄像头的控制操作,开启或关闭摄像头。
此外,该装置1000还包括:接入模块,用于接收视频会议的邀请,响应于视频会议的入会操作,接入到视频会议中,以获取真实环境图像以及视频图像,生成AR视频图像,进行展示。
此外,该装置1000还包括:登录模块,用于通过AR显示设备,登录视频会议所对应的关联账号;接入模块,还用于通过AR显示设备,接收视频会议的邀请,以及响应于入会操作,接入到视频会议中。
此外,接入模块,还用于:通过其它设备登录视频会议所对应的关联账号,接收视频会议的邀请,响应于入会操作,接入到视频会议中;在其它设备已接入到视频会议中的情况下,通过AR显示设备,登录视频会议所对应的关联账号,接收该视频会议的邀请,响应于入会操作,接入到视频会议中。
其中,AR显示设备包括AR眼镜。
此外,设置模块1002,还用于:响应于用户的移动操作,确定用户移动后的位置,根据移动后的位置,将视频图像设置在移动后的真实环境图像中。
此外,该装置1000还包括:录制模块,用于录制AR视频会议,并在AR视频会议结束后,保存至本地预置区域中。
图11为本申请一示例性实施例提供的一种视频会议的实现装置的结构框架示意图。该装置1100可以应用于头戴式智能设备,如VR眼镜,非头戴式智能设备,如VR投影仪等,或者智能终端,如手机。该装置1100包括:获取模块1101、设置模块1102以及生成模块1103;以下针对各个模块的功能进行详细的阐述:
获取模块1101,用于获取虚拟空间图像。
设置模块1102,用于获取参加视频会议成员的视频图像,将视频图像设置在真实环境图像中,生成VR视频会议图像。
生成模块1103,用于根据VR视频会议图像,生成VR会议视频。
此外,该装置1100还包括:展示模块,用于将VR会议视频展示在VR显示设备上,以使当前用户在佩戴VR显示设备的情况下,观看VR会议视频。
此外,展示模块,还用于通过VR显示设备展示VR会议视频,以使当前用户直接观看展示出来的VR会议视频。
其中,VR显示设备可以包括:VR眼镜。
具体的,获取模块1101,具体用于:响应于虚拟空间图像的选择操作,确定虚拟空间图像,以进行获取。
具体的,设置模块1102,具体用于:根据水平环绕方式,将多个成员各自对应的视频图像设置在虚拟空间图像中的预置位置上,生成VR视频会议图像。
具体的,生成模块1103,具体用于:根据生成的连续多帧的VR视频会议图像,生成VR会议视频。
此外,获取模块1101,还用于:响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;生成模块1103,还用于:将屏幕图像设置在虚拟空间图像中,生成VR视频会议图像。
此外,该装置1100还包括:确定模块,用于响应于用户的移动操作,确定用户移动后的位置,根据移动后的位置,确定该位置对应的用户视角的虚拟空间图像,作为移动后的虚拟空间图像;将视频图像设置在移动后的虚拟空间图像中。
此外,该装置1100还包括:交互模块,用于通过VR显示设备的控制器,响应于用户的交互操作,确定该交互操作对应的响应虚拟空间图像,并展示在真实环境图像中。
需要说明的是,对于装置1100未能提及的部分内容,可以参照上述装置1000的内容。
图12为本申请一示例性实施例提供的一种视频会议的实现装置的结构框架示意图。该装置1200可以应用于头戴式智能设备,如MR眼镜,非头戴式智能设备,如MR投影仪等,或者智能终端,如手机。该装置1200包括:获取模块1201、设置模块1202以及生成模块1203;以下针对各个模块的功能进行详细的阐述:
获取模块1201,用于获取当前用户所处环境的真实环境图像以及虚拟空间图像。
设置模块1202,用于获取参加视频会议成员的视频图像,将虚拟空间图像以及视频图像设置在真实环境图像中,生成MR视频会议图像。
生成模块1203,用于根据MR视频会议图像,生成MR会议视频。
此外,该装置1200还包括:展示模块,用于将MR会议视频展示在MR显示设备上,以使当前用户在佩戴MR显示设备的情况下,观看MR会议视频。
此外,展示模块,用于通过MR显示设备展示MR会议视频,以使当前用户直接观看展示出来的MR会议视频。
其中,MR显示设备包括:MR眼镜。
具体的,设置模块1202,包括:设置单元,用于将虚拟空间图像设置在真实环境图像中预置位置上;生成单元,用于根据水平环绕方式,将多个成员各自对应的视频图像设置在虚拟空间图像中的预置位置上,生成MR视频会议图像;或者,根据水平环绕方式,将多个成员各自对应的视频图像设置在真实环境图像中的预置位置上,生成MR视频会议图像。
具体的,生成模块,具体用于:根据生成的连续多帧的MR视频会议图像,生成MR会议视频。
从外,确定模块,还用于:响应于用户的移动操作,确定用户移动后的位置,根据移动后的位置,确定该位置对应的用户视角的虚拟空间图像,作为移动后的虚拟空间图像;设置模块,还用于将移动后的虚拟空间图像设置在移动后的真实环境图像中;将视频图像设置在移动后的虚拟空间图像中;或者,将视频图像设置在移动后的真实环境图像中。
此外,获取模块1201,还用于:获取用户的手势,根据用户的手势,确定对应的指令,响应于该指令执行对应的动作。
具体的,获取模块1201,具体用于:响应于虚拟空间图像的切换指令,在真实环境图像中切换虚拟空间图像。
需要说明的是,对于装置1200未能提及的部分内容,可以参照上述装置1000的内容。
图13为本申请一示例性实施例提供的一种视频直播装置的结构框架示意图。该装置1300可以应用于头戴式智能设备,如AR眼镜,非头戴式智能设备,如AR投影仪等,或者智能终端,如手机。该装置1300包括:获取模块1301、设置模块1302以及生成模块1303;以下针对各个模块的功能进行详细的阐述:
获取模块1301,用于获取当前用户所处环境的真实环境图像;
设置模块1302,用于获取直播视频图像,将直播视频图像设置在真实环境图像中,生成AR直播视频图像。
生成模块1303,用于根据AR直播视频图像,生成AR直播视频。
此外,获取模块1301,还用于:响应于发言的操作,获取发言用户的视频图像;生成模块1303,还用于:将发言用户的视频图像设置在真实环境图像中,生成AR直播视频图像。
此外,该装置1300还包括:确定模块,用于响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;将屏幕图像设置在真实环境图像中,生成AR视频会议图像。
需要说明的是,对于装置1300未能提及的部分内容,可以参照上述装置1000的内容。
图14为本申请一示例性实施例提供的一种远程协助的装置的结构框架示意图。该装置1400可以应用于头戴式智能设备,如AR眼镜,非头戴式智能设备,如AR投影仪等,或者智能终端,如手机。该装置1400包括:获取模块1401、生成模块1402以及协助模块1403;以下针对各个模块的功能进行详细的阐述:
获取模块1401,用于获取当前用户所处环境的真实环境图像。
生成模块1402,用于获取待远程协助设备对应的屏幕图像,将视频图像设置在真实环境图像中,生成AR远程协助图像。
协助模块1403,用于根据AR远程协助图像,进行远程协助。
需要说明的是,对于装置1400未能提及的部分内容,可以参照上述装置1000的内容。
以上描述了图10所示的装置1000的内部功能和结构,在一个可能的设计中,图10所示的装置1000的结构可实现为计算设备,如,AR眼镜等。如图15所示,该设备1500可以包括:存储器1501、处理器1502、通信组件1503以及摄像头1504;
存储器1501,用于存储计算机程序。
处理器1502,用于执行计算机程序。
摄像头1504,用于获取当前用户所处环境的真实环境图像。
通信组件1503,用于获取参加视频会议成员的视频图像。
处理器1502,以用于:将视频图像设置在真实环境图像中,生成AR视频会议图像;根据AR视频会议图像,生成AR会议视频。
此外,处理器1502,还用于:将AR会议视频展示在AR显示设备上,以使当前用户在佩戴AR显示设备的情况下,观看AR会议视频。
此外,处理器1502,还用于:通过AR显示设备展示AR会议视频,以使当前用户直接观看展示出来的AR会议视频。
其中,处理器1502,具体用于:将多个成员各自对应的视频图像设置在真实图像中的预置位置上,生成AR视频会议图像。
其中,处理器1502,具体用于:根据水平环绕方式,将多个成员各自对应的视频图像设置在真实环境图像中的预置位置上,生成AR视频会议图像。
其中,处理器1502,具体用于:在真实环境图像的中间位置确定一个空白区域;将多个成员各自对应的视频图像设置在空白区域的两侧,生成AR视频会议图像。
其中,处理器1502,具体用于:根据生成的连续多帧的AR视频会议图像,生成AR会议视频。
此外,处理器1502,还用于:响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;将屏幕图像设置在真实环境图像中,生成AR视频会议图像。
其中,将屏幕图像设置在真实环境图像中的主图面位置上,将视频图像设置在真实环境图像中的次图面位置上。
其中,处理器1502,具体用于:在真实环境图像的中间位置确定一个空白区域;将屏幕图像设置在真实环境图像中的空白区域。
此外,处理器1502,还用于:确定多个视频图像中具有声音的视频图像,并将该视频图像设置在真实环境图像中的主图面位置上,将其它视频图像设置在真实环境图像中的次图面位置上。
其中,主图面的面积大于次画面的面积。
此外,处理器1502,还用于:确定多个视频图像中具有声音的视频图像,并将该视频图像设置在空白区域中。
此外,处理器1502,还用于:通过AR显示设备,登录视频会议所对应的关联账号;通过AR显示设备,接收视频会议的邀请,以及响应于入会操作,接入到视频会议中。
此外,该设备1500还包括:控制器;控制器,用于响应于拾音的控制操作,开启或关闭拾音器;响应于放音的控制操作,开启或关闭放音器;响应于摄像头的控制操作,开启或关闭摄像头。
此外,处理器1502,还用于:通过其它设备登录视频会议所对应的关联账号,接收视频会议的邀请,响应于入会操作,接入到视频会议中;基于同一关联账号,在其它设备已接入到视频会议中的情况下,处理器1502,还用于:登录视频会议所对应的同一关联账号;通信组件1503,还用于:接收该视频会议的邀请;控制器,还用于:响应于入会操作,将AR显示设备接入到视频会议中。
其中,AR显示设备包括AR眼镜。
此外,处理器1502,还用于:响应于用户的移动操作,确定用户移动后的位置,根据移动后的位置,将视频图像设置在移动后的真实环境图像中。
此外,处理器1502,还用于:录制模块,用于录制AR视频会议,并在AR视频会议结束后,保存至本地预置区域中。
此外,处理器1502,还用于:登录视频会议所对应的关联账号;通信组件1503,还用于:接收视频会议的邀请;控制器,用于响应于视频会议的入会操作,将AR显示设备接入到视频会议中,以获取真实环境图像以及视频图像,生成AR视频图像,进行展示。
此外,该设备1500还包括:AR显示组件;AR显示组件,用于展示AR会议视频。AR显示组件可以为AR显示屏。
需要说明的是,该设备1500还可以以智能终端实现,如手机等。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现图2方法实施例中一种视频会议的实现方法的步骤
以上描述了图11所示的装置1100的内部功能和结构,在一个可能的设计中,图11所示的装置1100的结构可实现为计算设备,如,VR眼镜等。如图16所示,该设备1600可以包括:存储器1601、处理器1602以及通信组件1603;
存储器1601,用于存储计算机程序。
处理器1602,用于执行计算机程序,以用于:获取虚拟空间图像;将视频图像设置在真实环境图像中,生成VR视频会议图像;根据VR视频会议图像,生成VR会议视频。
通信组件1603,用于获取参加视频会议成员的视频图像。此外,该设备1600还包括:VR显示组件;VR显示组件,用于展示VR会议视频。VR显示组件可以为VR显示屏。
此外,该设备1600还包括:控制器;处理器1602,还用于:登录视频会议所对应的关联账号;通信组件1603,接收视频会议的邀请;控制器,用于响应于视频会议的入会操作,将VR显示设备接入到视频会议中,以获取虚拟空间图像以及视频图像,生成VR视频图像,进行展示。
此外,处理器1602,还用于:将VR会议视频展示在VR显示设备上,以使当前用户在佩戴VR显示设备的情况下,观看VR会议视频。其中,VR显示设备包括:VR眼镜。
此外,处理器1602,还用于:通过VR显示设备展示VR会议视频,以使当前用户直接观看展示出来的VR会议视频。
具体的,处理器1602,具体用于:响应于虚拟空间图像的选择操作,确定虚拟空间图像,以进行获取。
具体的,处理器1602,具体用于:根据水平环绕方式,将多个成员各自对应的视频图像设置在虚拟空间图像中的预置位置上,生成VR视频会议图像。
具体的,处理器1602,具体用于:根据生成的连续多帧的VR视频会议图像,生成VR会议视频。
此外,处理器1602,还用于:响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;将屏幕图像设置在虚拟空间图像中,生成VR视频会议图像。
此外,处理器1602,还用于:响应于用户的移动操作,确定用户移动后的位置,根据移动后的位置,确定该位置对应的用户视角的虚拟空间图像,作为移动后的虚拟空间图像;将视频图像设置在移动后的虚拟空间图像中。
此外,处理器1602,还用于:通过VR显示设备的控制器,响应于用户的交互操作,确定该交互操作对应的响应虚拟空间图像,并展示在真实环境图像中。
需要说明的是,对于该设备1600未能提及的部分内容,可以参照上述设备1500的内容。
需要说明的是,该设备1600还可以以智能终端实现,如手机等。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现图5方法实施例中一种视频会议的实现方法的步骤。
以上描述了图12所示的装置1200的内部功能和结构,在一个可能的设计中,图12所示的装置1200的结构可实现为计算设备,如,MR眼镜等。如图17所示,该设备1700可以包括:存储器1701、处理器1702、通信组件1703以及摄像头1704;
存储器1701,用于存储计算机程序。
处理器1702,用于执行计算机程序。
摄像头1704,用于获取当前用户所处环境的真实环境图像。
通信组件1703,用于获取参加视频会议成员的视频图像。
处理器1702,以用于:获取虚拟空间图像;将虚拟空间图像以及视频图像设置在真实环境图像中,生成MR视频会议图像;根据MR视频会议图像,生成MR会议视频。
此外,该设备1700还包括:MR显示组件;MR显示组件,用于展示MR会议视频。MR显示组件可以为MR显示屏。
此外,该设备1700还包括:控制器;处理器1702,还用于:登录视频会议所对应的关联账号;通信组件1703,还用于:接收视频会议的邀请;控制器,用于响应于视频会议的入会操作,将MR显示设备接入到视频会议中,以获取真实环境图像、虚拟空间图像以及视频图像,生成MR视频图像,进行展示。
此外,处理器1702,还用于:将MR会议视频展示在MR显示设备上,以使当前用户在佩戴MR显示设备的情况下,观看MR会议视频。
其中,MR显示设备包括:MR眼镜。
此外,处理器1702,还用于:通过MR显示设备展示MR会议视频,以使当前用户直接观看展示出来的MR会议视频。
具体的,处理器1702,具体用于:将虚拟空间图像设置在真实环境图像中预置位置上;根据水平环绕方式,将多个成员各自对应的视频图像设置在虚拟空间图像中的预置位置上,生成MR视频会议图像;或者,根据水平环绕方式,将多个成员各自对应的视频图像设置在真实环境图像中的预置位置上,生成MR视频会议图像。
具体的,处理器1702,具体用于:根据生成的连续多帧的MR视频会议图像,生成MR会议视频。
从外,处理器1702,还用于:响应于用户的移动操作,确定用户移动后的位置,根据移动后的位置,确定该位置对应的用户视角的虚拟空间图像,作为移动后的虚拟空间图像;将移动后的虚拟空间图像设置在移动后的真实环境图像中;将视频图像设置在移动后的虚拟空间图像中;或者,将视频图像设置在移动后的真实环境图像中。
此外,处理器1702,还用于:获取用户的手势,根据用户的手势,确定对应的指令,响应于该指令执行对应的动作。
具体的,处理器1702,具体用于:响应于虚拟空间图像的切换指令,在真实环境图像中切换虚拟空间图像。
需要说明的是,对于该设备1700未能提及的部分内容,可以参照上述设备1500的内容。
需要说明的是,该设备1700还可以以智能终端实现,如手机等。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现图7方法实施例中一种视频会议的实现方法的步骤。
以上描述了图13所示的装置1300的内部功能和结构,在一个可能的设计中,图13所示的装置1300的结构可实现为计算设备,如,AR眼镜等。如图18所示,该设备1800可以包括:存储器1801、处理器1802、通信组件1803以及摄像头1804;
存储器1801,用于存储计算机程序。
处理器1802,用于执行计算机程序。
摄像头1804,用于获取当前用户所处环境的真实环境图像。
通信组件1803,用于获取直播视频图像。
处理器1802,以用于:将直播视频图像设置在真实环境图像中,生成AR直播视频图像;根据AR直播视频图像,生成AR直播视频。
此外,处理器1802,还用于:响应于发言的操作,获取发言用户的视频图像;将发言用户的视频图像设置在真实环境图像中,生成AR直播视频图像。
此外,处理器1802,还用于:响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;将屏幕图像设置在真实环境图像中,生成AR视频会议图像。
需要说明的是,对于该设备1800未能提及的部分内容,可以参照上述设备1500的内容。
需要说明的是,该设备1800还可以以智能终端实现,如手机等。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现图8方法实施例中一种视频直播方法的步骤。
以上描述了图14所示的装置1400的内部功能和结构,在一个可能的设计中,图14所示的装置1400的结构可实现为计算设备,如,AR眼镜等。如图19所示,该设备1900可以包括:存储器1901、处理器1902、通信组件1903以及摄像头1904;
存储器1901,用于存储计算机程序。
处理器1902,用于执行计算机程序。
摄像头1904,用于获取当前用户所处环境的真实环境图像。
通信组件1903,用于获取待远程协助设备对应的屏幕图像。
处理器1902,以用于:将视频图像设置在真实环境图像中,生成AR远程协助图像;根据AR远程协助图像,进行远程协助。
需要说明的是,该设备1900还可以以智能终端实现,如手机等。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现图9方法实施例中一种远程协助的方法的步骤。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如201、202、203等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程多媒体数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程多媒体数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程多媒体数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程多媒体数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (56)

1.一种视频会议的实现方法,其特征在于,包括:
获取当前用户所处环境的真实环境图像;
获取参加视频会议成员的视频图像,将所述视频图像设置在所述真实环境图像中,生成AR视频会议图像;
根据所述AR视频会议图像,生成AR会议视频。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述AR会议视频展示在AR显示设备上,以使所述当前用户在佩戴所述AR显示设备的情况下,观看所述AR会议视频。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过AR显示设备展示所述AR会议视频,以使所述当前用户直接观看展示出来的AR会议视频。
4.根据权利要求1所述的方法,其特征在于,所述将所述视频图像设置在所述真实环境图像中,生成AR视频会议图像,包括:
将多个成员各自对应的视频图像设置在所述真实图像中的预置位置上,生成AR视频会议图像。
5.根据权利要求1所述的方法,其特征在于,所述将所述视频图像设置在所述真实环境图像中,生成AR视频会议图像,包括:
根据水平环绕方式,将多个成员各自对应的视频图像设置在所述真实环境图像中的预置位置上,生成AR视频会议图像。
6.根据权利要求1所述的方法,其特征在于,所述将所述视频图像设置在所述真实环境图像中,生成AR视频会议图像,包括:
在所述真实环境图像的中间位置确定一个空白区域;
将多个成员各自对应的视频图像设置在所述空白区域的两侧,生成AR视频会议图像。
7.根据权利要求1所述的方法,其特征在于,所述根据所述AR视频会议图像,生成AR会议视频,包括:
根据生成的连续多帧的AR视频会议图像,生成AR会议视频。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;
将所述屏幕图像设置在所述真实环境图像中,生成AR视频会议图像。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
将所述屏幕图像设置在所述真实环境图像中的主图面位置上,将所述视频图像设置在所述真实环境图像中的次图面位置上;所述主图面的面积大于次画面的面积。
10.根据权利要求8所述的方法,其特征在于,所述将所述屏幕图像设置在所述真实环境图像中,包括:
在所述真实环境图像的中间位置确定一个空白区域;
将所述屏幕图像设置在所述真实环境图像中的空白区域。
11.根据权利要求4或5所述的方法,其特征在于,所述方法还包括:
确定多个视频图像中具有声音的所述视频图像,并将该视频图像设置在所述真实环境图像中的主图面位置上,将其它视频图像设置在所述真实环境图像中的次图面位置上。
12.根据权利要求6所述的方法,其特征在于,所述方法还包括:
确定多个视频图像中具有声音的所述视频图像,并将该视频图像设置在所述空白区域中。
13.根据权利要求1或9所述的方法,其特征在于,所述方法还包括:
响应于拾音的控制操作,开启或关闭拾音器;
响应于放音的控制操作,开启或关闭放音器;
响应于摄像头的控制操作,开启或关闭摄像头。
14.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收视频会议的邀请,响应于视频会议的入会操作,接入到视频会议中,以获取所述真实环境图像以及视频图像,生成AR视频图像,进行展示。
15.根据权利要求12所述的方法,其特征在于,所述方法还包括:
通过AR显示设备,登录视频会议所对应的关联账号;
通过AR显示设备,接收视频会议的邀请,以及响应于所述入会操作,接入到视频会议中。
16.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过其它设备登录视频会议所对应的关联账号,接收视频会议的邀请,响应于所述入会操作,接入到视频会议中;
在其它设备已接入到视频会议中的情况下,通过AR显示设备,登录视频会议所对应的关联账号,接收该视频会议的邀请,响应于所述入会操作,接入到视频会议中。
17.根据权利要求2所述的方法,其特征在于,所述AR显示设备包括AR眼镜。
18.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于用户的移动操作,确定用户移动后的位置,根据所述移动后的位置,将所述视频图像设置在移动后的真实环境图像中。
19.根据权利要求1所述的方法,其特征在于,所述方法还包括:
录制所述AR视频会议,并在所述AR视频会议结束后,保存至本地预置区域中。
20.一种视频会议的实现方法,其特征在于,包括:
获取虚拟空间图像;
获取参加视频会议成员的视频图像,将所述视频图像设置在所述真实环境图像中,生成VR视频会议图像;
根据所述VR视频会议图像,生成VR会议视频。
21.根据权利要求20所述的方法,其特征在于,所述方法还包括:
将所述VR会议视频展示在VR显示设备上,以使所述当前用户在佩戴所述VR显示设备的情况下,观看所述VR会议视频。
22.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过VR显示设备展示所述VR会议视频,以使所述当前用户直接观看展示出来的VR会议视频。
23.根据权利要求21所述的方法,其特征在于,所述VR显示设备包括:VR眼镜。
24.根据权利要求20所述的方法,其特征在于,所述获取虚拟空间图像,包括:
响应于虚拟空间图像的选择操作,确定虚拟空间图像,以进行获取。
25.根据权利要求20所述的方法,其特征在于,所述将所述视频图像设置在所述真实环境图像中,包括:
根据水平环绕方式,将多个成员各自对应的视频图像设置在所述虚拟空间图像中的预置位置上,生成VR视频会议图像。
26.根据权利要求20所述的方法,其特征在于,所述根据所述VR视频会议图像,生成VR会议视频,包括:
根据生成的连续多帧的VR视频会议图像,生成VR会议视频。
27.根据权利要求20所述的方法,其特征在于,所述方法还包括:
响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;
将所述屏幕图像设置在所述虚拟空间图像中,生成VR视频会议图像。
28.根据权利要求20所述的方法,其特征在于,所述方法还包括:
响应于用户的移动操作,确定用户移动后的位置,根据所述移动后的位置,确定该位置对应的用户视角的虚拟空间图像,作为移动后的虚拟空间图像;
将所述视频图像设置在移动后的虚拟空间图像中。
29.根据权利要求20所述的方法,其特征在于,所述方法还包括:
通过VR显示设备的控制器,响应于用户的交互操作,确定该交互操作对应的响应虚拟空间图像,并展示在所述真实环境图像中。
30.一种视频会议的实现方法,其特征在于,包括:
获取当前用户所处环境的真实环境图像以及虚拟空间图像;
获取参加视频会议成员的视频图像,将虚拟空间图像以及所述视频图像设置在所述真实环境图像中,生成MR视频会议图像;
根据所述MR视频会议图像,生成MR会议视频。
31.根据权利要求30所述的方法,其特征在于,所述方法还包括:
将所述MR会议视频展示在MR显示设备上,以使所述当前用户在佩戴所述MR显示设备的情况下,观看所述MR会议视频。
32.根据权利要求30所述的方法,其特征在于,所述方法还包括:
通过MR显示设备展示所述MR会议视频,以使所述当前用户直接观看展示出来的MR会议视频。
33.根据权利要求31所述的方法,其特征在于,所述MR显示设备包括:MR眼镜。
34.根据权利要求30所述的方法,其特征在于,所述将虚拟空间图像以及所述视频图像设置在所述真实环境图像中,包括:
将所述虚拟空间图像设置在所述真实环境图像中预置位置上;
根据水平环绕方式,将多个成员各自对应的视频图像设置在所述虚拟空间图像中的预置位置上,生成MR视频会议图像;或者,
根据水平环绕方式,将多个成员各自对应的视频图像设置在所述真实环境图像中的预置位置上,生成MR视频会议图像。
35.根据权利要求30所述的方法,其特征在于,所述根据所述MR视频会议图像,生成MR会议视频,包括:
根据生成的连续多帧的MR视频会议图像,生成MR会议视频。
36.根据权利要求30所述的方法,其特征在于,所述方法还包括:
响应于用户的移动操作,确定用户移动后的位置,根据所述移动后的位置,确定该位置对应的用户视角的虚拟空间图像,作为移动后的虚拟空间图像;
将移动后的虚拟空间图像设置在移动后的真实环境图像中;
将所述视频图像设置在移动后的虚拟空间图像中;或者,
将所述视频图像设置在移动后的真实环境图像中。
37.根据权利要求30所述的方法,其特征在于,所述方法还包括:
获取用户的手势,根据所述用户的手势,确定对应的指令,响应于该指令执行对应的动作。
38.根据权利要求37所述的方法,其特征在于,响应于该指令执行对应的动作,包括:
响应于虚拟空间图像的切换指令,在所述真实环境图像中切换虚拟空间图像。
39.一种视频直播方法,其特征在于,包括:
获取当前用户所处环境的真实环境图像;
获取直播视频图像,将所述直播视频图像设置在所述真实环境图像中,生成AR直播视频图像;
根据所述AR直播视频图像,生成AR直播视频。
40.根据权利要求39所述的方法,其特征在于,所述方法还包括:
响应于发言的操作,获取发言用户的视频图像;
将发言用户的视频图像设置在所述真实环境图像中,生成AR直播视频图像。
41.根据权利要求39所述的方法,其特征在于,所述方法还包括:
响应于屏幕共享的操作,确定该操作对应的设备屏幕,并获取该设备屏幕的屏幕图像;
将所述屏幕图像设置在所述真实环境图像中,生成AR视频会议图像。
42.一种远程协助的方法,其特征在于,包括:
获取当前用户所处环境的真实环境图像;
获取待远程协助设备对应的屏幕图像,将所述视频图像设置在所述真实环境图像中,生成AR远程协助图像;
根据所述AR远程协助图像,进行远程协助。
43.一种AR显示设备,包括:存储器、处理器、通信组件以及摄像头;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序;
所述摄像头,用于获取当前用户所处环境的真实环境图像;
所述通信组件,用于获取参加视频会议成员的视频图像;
所述处理器,以用于:将所述视频图像设置在所述真实环境图像中,生成AR视频会议图像;根据所述AR视频会议图像,生成AR会议视频。
44.根据权利要求43所述的设备,所述设备还包括:控制器;
所述控制器,用于响应于拾音的控制操作,开启或关闭拾音器;
响应于放音的控制操作,开启或关闭放音器;
响应于摄像头的控制操作,开启或关闭摄像头。
45.根据权利要求43所述的设备,所述处理器,还用于:登录视频会议所对应的关联账号;
所述通信组件,还用于接收视频会议的邀请;
所述控制器,用于响应于视频会议的入会操作,将AR显示设备接入到视频会议中,以获取所述真实环境图像以及视频图像,生成AR视频图像,进行展示。
46.根据权利要求43所述的设备,基于同一关联账号,在其它设备已接入到视频会议中的情况下,所述处理器,还用于:登录视频会议所对应的同一关联账号;
所述通信组件,还用于:接收该视频会议的邀请;
所述控制器,还用于:响应于所述入会操作,将AR显示设备接入到视频会议中。
47.根据权利要求43所述的设备,所述设备还包括:AR显示组件;
所述AR显示组件,用于展示所述AR会议视频。
48.一种VR显示设备,包括:存储器、处理器以及通信组件;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:
获取虚拟空间图像;
将所述视频图像设置在所述真实环境图像中,生成VR视频会议图像;
根据所述VR视频会议图像,生成VR会议视频;
所述通信组件,用于获取参加视频会议成员的视频图像。
49.根据权利要求48所述的设备,所述设备还包括:VR显示组件;
所述VR显示组件,用于展示所述VR会议视频。
50.根据权利要求48所述的设备,所述设备还包括:控制器;
所述处理器,还用于:登录视频会议所对应的关联账号;
所述通信组件,接收视频会议的邀请;
所述控制器,用于响应于视频会议的入会操作,将VR显示设备接入到视频会议中,以获取所述虚拟空间图像以及视频图像,生成VR视频图像,进行展示。
51.一种MR显示设备,包括:存储器、处理器、通信组件以及摄像头;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序;
所述摄像头,用于获取当前用户所处环境的真实环境图像;
所述通信组件,用于获取参加视频会议成员的视频图像;
所述处理器,以用于:获取虚拟空间图像;将虚拟空间图像以及所述视频图像设置在所述真实环境图像中,生成MR视频会议图像;
根据所述MR视频会议图像,生成MR会议视频。
52.根据权利要求51所述的设备,所述设备还包括:MR显示组件;
所述MR显示组件,用于展示所述MR会议视频。
53.根据权利要求51所述的设备,所述设备还包括:控制器;
所述处理器,还用于:登录视频会议所对应的关联账号;
所述通信组件,还用于接收视频会议的邀请;
所述控制器,用于响应于视频会议的入会操作,将MR显示设备接入到视频会议中,以获取所述真实环境图像、所述虚拟空间图像以及视频图像,生成MR视频图像,进行展示。
54.一种AR显示设备,包括:存储器、处理器、通信组件以及摄像头;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序;
所述摄像头,用于获取当前用户所处环境的真实环境图像;
所述通信组件,用于获取直播视频图像;
所述处理器,以用于:将所述直播视频图像设置在所述真实环境图像中,生成AR直播视频图像;
根据所述AR直播视频图像,生成AR直播视频。
55.一种AR显示设备,包括:存储器、处理器、通信组件以及摄像头;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序;
所述摄像头,用于获取当前用户所处环境的真实环境图像;
所述通信组件,用于获取待远程协助设备对应的屏幕图像;
所述处理器,以用于:将所述视频图像设置在所述真实环境图像中,生成AR远程协助图像;
根据所述AR远程协助图像,进行远程协助。
56.一种存储有计算机程序的计算机可读存储介质,其特征在于,计算机程序被一个或多个处理器执行时,致使所述一个或多个处理器实现权利要求1-42任一项所述方法中的步骤。
CN202010409593.2A 2020-05-14 2020-05-14 一种视频会议的实现方法、设备及存储介质 Pending CN113676690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010409593.2A CN113676690A (zh) 2020-05-14 2020-05-14 一种视频会议的实现方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010409593.2A CN113676690A (zh) 2020-05-14 2020-05-14 一种视频会议的实现方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113676690A true CN113676690A (zh) 2021-11-19

Family

ID=78537455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010409593.2A Pending CN113676690A (zh) 2020-05-14 2020-05-14 一种视频会议的实现方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113676690A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2613244A (en) * 2021-11-23 2023-05-31 Motorola Mobility Llc Methods, systems, and devices for presenting content selection and verification presentations in a videoconference
US11770424B2 (en) 2021-11-23 2023-09-26 Motorola Mobility Llc Methods, systems, and devices for presenting content selection and verification presentations in a videoconference

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349111A (zh) * 2013-07-24 2015-02-11 华为技术有限公司 视频会议会场创建方法及系统
CN108427195A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的信息处理方法及设备
WO2018214746A1 (zh) * 2017-05-24 2018-11-29 中兴通讯股份有限公司 一种视频会议实现方法、装置、系统及计算机存储介质
CN109274924A (zh) * 2018-12-07 2019-01-25 合肥万户网络技术有限公司 一种基于虚拟现实的视频会议方法
WO2019199569A1 (en) * 2018-04-09 2019-10-17 Spatial Inc. Augmented reality computing environments
CN110351514A (zh) * 2019-07-09 2019-10-18 北京猫眼视觉科技有限公司 一种虚拟模型通过远程协助方式和视频流同时传输的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349111A (zh) * 2013-07-24 2015-02-11 华为技术有限公司 视频会议会场创建方法及系统
CN108427195A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的信息处理方法及设备
WO2018214746A1 (zh) * 2017-05-24 2018-11-29 中兴通讯股份有限公司 一种视频会议实现方法、装置、系统及计算机存储介质
WO2019199569A1 (en) * 2018-04-09 2019-10-17 Spatial Inc. Augmented reality computing environments
CN109274924A (zh) * 2018-12-07 2019-01-25 合肥万户网络技术有限公司 一种基于虚拟现实的视频会议方法
CN110351514A (zh) * 2019-07-09 2019-10-18 北京猫眼视觉科技有限公司 一种虚拟模型通过远程协助方式和视频流同时传输的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2613244A (en) * 2021-11-23 2023-05-31 Motorola Mobility Llc Methods, systems, and devices for presenting content selection and verification presentations in a videoconference
US11770424B2 (en) 2021-11-23 2023-09-26 Motorola Mobility Llc Methods, systems, and devices for presenting content selection and verification presentations in a videoconference
US11843644B2 (en) 2021-11-23 2023-12-12 Motorola Mobility Llc Methods, systems, and devices for presenting content selection and verification presentations in a videoconference

Similar Documents

Publication Publication Date Title
US9524588B2 (en) Enhanced communication between remote participants using augmented and virtual reality
US7840638B2 (en) Participant positioning in multimedia conferencing
WO2018098720A1 (zh) 一种基于虚拟现实的数据处理方法及系统
US11770599B2 (en) Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction
CN114286142B (zh) 一种虚拟现实设备及vr场景截屏方法
JP2016025633A (ja) 情報処理装置、管理装置、情報処理方法、およびプログラム
WO2019221952A1 (en) Viewing a virtual reality environment on a user device
WO2012100114A2 (en) Multiple viewpoint electronic media system
WO2021204139A1 (zh) 视频显示方法、装置、设备和存储介质
WO2022262839A1 (zh) 现场演出的立体显示方法、装置、介质及系统
JP6628343B2 (ja) 装置および関連する方法
CN112732089A (zh) 一种虚拟现实设备及快捷交互方法
Ryskeldiev et al. Streamspace: Pervasive mixed reality telepresence for remote collaboration on mobile devices
CN113676690A (zh) 一种视频会议的实现方法、设备及存储介质
CN105306872B (zh) 控制多点视频会议的方法、装置和系统
CN108989784A (zh) 虚拟现实设备的图像显示方法、装置、设备及存储介质
CN114302221B (zh) 一种虚拟现实设备及投屏媒资播放方法
KR20120060548A (ko) 마커 기반 3차원 입체 시스템
US20240054746A1 (en) Interactive Element in a Replay
WO2022151882A1 (zh) 虚拟现实设备
CN113315885B (zh) 一种用于远程互动的全息演播室及系统
WO2020248682A1 (zh) 一种显示设备及虚拟场景生成方法
CN209859042U (zh) 可穿戴式控制设备和虚拟/增强现实系统
CN115129280A (zh) 一种虚拟现实设备及投屏媒资播放方法
US20150264336A1 (en) System And Method For Composite Three Dimensional Photography And Videography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40062898

Country of ref document: HK