CN108322474B - 基于共享桌面的虚拟现实系统、相关装置及方法 - Google Patents

基于共享桌面的虚拟现实系统、相关装置及方法 Download PDF

Info

Publication number
CN108322474B
CN108322474B CN201810154883.XA CN201810154883A CN108322474B CN 108322474 B CN108322474 B CN 108322474B CN 201810154883 A CN201810154883 A CN 201810154883A CN 108322474 B CN108322474 B CN 108322474B
Authority
CN
China
Prior art keywords
data
client
platform
clients
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810154883.XA
Other languages
English (en)
Other versions
CN108322474A (zh
Inventor
徐泽前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sohu New Media Information Technology Co Ltd
Original Assignee
Beijing Sohu New Media Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sohu New Media Information Technology Co Ltd filed Critical Beijing Sohu New Media Information Technology Co Ltd
Priority to CN201810154883.XA priority Critical patent/CN108322474B/zh
Publication of CN108322474A publication Critical patent/CN108322474A/zh
Application granted granted Critical
Publication of CN108322474B publication Critical patent/CN108322474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/08Protocols specially adapted for terminal emulation, e.g. Telnet

Abstract

本发明实施例提供VR系统、相关装置及方法。上述系统包括:平台,桌面共享客户端和VR客户端;桌面共享客户端部署于第一设备,VR客户端部署于支持VR技术的第二设备上;其中:桌面共享客户端用于:请求平台分配用于桌面共享的虚拟房间标识ID,对第一设备的桌面进行屏幕抓取和声音采集,将视频流和音频数据上传至平台;平台用于:为桌面共享客户端分配虚拟房间ID,将上传的视频流和音频数据分发至与虚拟房间ID相关联的VR客户端;VR客户端用于:向平台请求与虚拟房间ID相关联,构建三维播放场景,在三维播放场景中播放接收到的视频流和音频数据。

Description

基于共享桌面的虚拟现实系统、相关装置及方法
技术领域
本发明涉及数据处理技术领域,具体涉及基于共享桌面的虚拟现实系统、相关装置及方法。
背景技术
桌面共享是数据共享的一种重要应用,传统的桌面共享技术是两台或多台PC端进行桌面的观看或操控。
然而基于传统的桌面共享技术,参与方只可进行文件、图片、视频等的共享,并不能提供用户沉浸式的虚拟现实体验。
发明内容
有鉴于此,本发明实施例提供基于共享桌面的虚拟现实系统、相关装置及方法,以为用户提供沉浸式的桌面共享的虚拟现实体验。
为实现上述目的,本发明实施例提供如下技术方案:
一种基于共享桌面的虚拟现实VR系统,包括:平台,接入所述平台的桌面共享客户端,以及,至少一个VR客户端;所述桌面共享客户端部署于第一设备,所述VR客户端部署于支持VR技术的第二设备上;所述第二设备为VR一体机设备;或者,所述第二设备包括VR头戴式设备和与之相连的终端,所述终端为任意支持与VR头戴式设备通信的设备;
其中:
所述桌面共享客户端至少用于:请求所述平台分配用于桌面共享的虚拟房间标识ID,对所述第一设备的桌面进行屏幕抓取和声音采集,得到视频流和音频数据,将所述视频流和音频数据上传至所述平台;
所述平台至少用于:为所述桌面共享客户端分配虚拟房间ID,将上传的所述视频流和音频数据分发至与所述虚拟房间ID相关联的VR客户端;
所述VR客户端至少用于:向所述平台请求与所述虚拟房间ID相关联,构建三维播放场景,接收所述平台发送的视频流和音频数据,在所述三维播放场景中播放接收到的视频流和音频数据。
一种桌面共享客户端,所述桌面共享客户端部署于第一设备,所述共享客户端包括:
桌面数据采集单元,用于对所述第一设备的桌面进行屏幕抓取和声音采集,得到视频流和音频数据;
通讯单元,用于请求平台分配用于桌面共享的虚拟房间标识ID,将所述视频流和音频数据上传至所述平台;其中,所述平台至少用于:为所述桌面共享客户端分配虚拟房间ID,将上传的所述视频流和音频数据分发至与所述虚拟房间ID相关联的VR客户端;所述VR客户端至少用于:构建三维播放场景,在所述三维播放场景中播放接收到的视频流和音频数据。
一种虚拟现实VR客户端,所述VR客户端部署于支持VR技术的第二设备上;所述第二设备为VR一体机设备;或者,所述第二设备包括VR头戴式设备和与之相连的终端,所述终端为任意支持与VR头戴式设备通信的设备;
所述客户端包括:
桌面共享支持单元,用于向平台请求与虚拟房间ID相关联,构建三维播放场景,接收所述平台分发的视频流和音频数据,在所述三维播放场景中播放接收到的视频流和音频数据;其中,所述虚拟房间ID由桌面共享客户端向所述平台申请,所述视频流和音频数据由所述桌面共享客户端上传;
模拟单元,用于在所述三维播放场景中,构建其他VR客户端对应的虚拟人物;
其中,所述其他VR客户端包括与本VR客户端关联同一虚拟房间ID的VR客户端,所述虚拟人物用于表征所述其他VR客户端的使用者。
一种基于共享桌面的虚拟现实VR方法,应用于上述的VR系统,所述方法包括:
桌面共享客户端请求所述平台分配用于桌面共享的虚拟房间标识ID,对所述第一设备的桌面进行屏幕抓取和声音采集,得到视频流和音频数据,将所述视频流和音频数据上传至所述平台;
所述平台为所述桌面共享客户端分配虚拟房间ID,将上传的所述视频流和音频数据分发至与所述虚拟房间ID相关联的VR客户端;
所述VR客户端向所述平台请求与所述虚拟房间ID相关联,构建三维播放场景,接收所述平台发送的视频流和音频数据,在所述三维播放场景中播放接收到的视频流和音频数据。
可见,在本发明实施例中,VR客户端可通过平台共享桌面观看共享客户端提供的桌面,并且,与同一虚拟房间ID相关联的VR客户端共享相同的桌面。桌面共享客户端可对共享桌面的画面(屏幕)、声音进行捕捉、上传,由平台负责分发共享桌面的画面和声音,VR客户端则在三维播放场景中播放接收到的画面和音频数据,为用户提供沉浸式的虚拟现实体验。
附图说明
图1a和图1b为本发明实施例提供的VR系统架构示意图;
图2、5为本发明实施例提供的实现基于共享桌面的VR社交方法的示例性流程图;
图3a为本发明实施例提供的共享用桌面示意图;
图3b为本发明实施例提供的VR系客户端显示共享桌面的示意图;
图4为本发明实施例提供的展示虚拟人物的示例性流程图;
图6为本发明实施例提供的桌面共享客户端示例性结构图;
图7为本发明实施例提供的平台示例性结构图;
图8为本发明实施例提供的VR客户端示例性结构图。
具体实施方式
本发明实施例提供基于共享桌面的虚拟现实(VR)系统、方法及相关装置(例如桌面共享客户端/PC端、VR客户端/VR设备、平台/服务器)。
图1a示出了上述VR系统的一种示例性架构,包括:平台,接入平台的桌面共享客户端,以及,至少一个VR客户端。
上述VR系统可为VR客户端的用户提供共享桌面的社交服务。具体的,桌面共享客户端和VR客户端可接入同一虚拟房间,由同一虚拟房间中的桌面共享客户端提供共享桌面,而该虚拟房间中VR客户端的用户可共享桌面,并享受沉浸式的VR体验。
需要说明的是,上述桌面共享客户端和VR客户端可以软件的形式应用于设备中。客户端可为独立的软件,当然,也可作为大型系统(例如操作系统)的子系统或组件。
具体的,请参见图1b:
上述桌面共享客户端部署于第一设备,桌面共享客户端可对第一设备的桌面进行屏幕抓取和声音采集,得到视频流和音频数据,将视频流和音频数据上传至平台。
当然,在需接入虚拟房间的场景下,在开始进行屏幕抓取和声音采集之前,上述桌面共享客户端还需要向平台申请分配用于桌面共享的虚拟房间标识(ID)。当然,虚拟房间标识也可理解为桌面共享标识,是为了区分不同的客户端发起的桌面共享而设立的。
在一个示例中,上述第一设备可为PC(personal computer,个人计算机)。这主要是考虑PC端有出色的数据处理能力,未来并不排除可在其他设备上部署桌面共享客户端。
上述VR客户端可部署于支持VR技术的第二设备上。
VR客户端可构建三维播放场景,接收平台发送的视频流和音频数据,在三维播放场景中播放接收到的视频流和音频数据,以便为用户(第二设备的使用者)提供沉浸式的VR体验服务。
在需接入虚拟房间的场景下,VR客户端还可先向平台请求与虚拟房间ID相关联。
在一个示例中,上述任一第二设备可为VR一体机设备。或者,第二设备可至少包括VR头戴式设备(简称VR头显)和与之相连的终端,或者,第二设备可至少包括智能移动终端和眼镜盒子(眼镜盒子类似于VR头戴式设备)。
上述终端为任意支持与VR头戴式设备通信的设备,其示例性的可包括PC端、智能终端(例如智能手机)、笔记本等。
仍请参见图1b,图1b最左边的设备为安装有桌面共享客户端的PC机,而位于服务器之下的其他三个设备由左至右分别为:安装有VR客户端的VR一体机、PC端+VR头显(PC端上安装有VR客户端)、智能移动终端+VR头显(智能移动终端上安装有VR客户端)。
当然,不连接VR头显的智能移动终端,也可接入平台,只是这种情况下,使用者只可进行桌面共享,但无法获得沉浸式的VR体验了。
图1b中的服务器提供平台服务。或者说,服务器安装有提供平台服务的软件。
需要说明的是,虽然图1b仅示出了一台服务器,但其可根据服务器功能拆分成多台服务器,或者,可由服务器集群来实现某一类功能。
平台对于VR一体机、PC端+VR头显、智能移动终端+VR头显是一视同仁。
平台至少可用于:为桌面共享客户端分配虚拟房间ID,将上传的视频流和音频数据分发至与虚拟房间ID相关联的VR客户端(接入某虚拟房间的VR客户端,即为与虚拟房间ID相关联的VR客户端)。
VR系统中,各组成部分之间的交互可参见图2。
举例来讲,假定有用户A-C,用户A拥有PC机和VR一体机,用户A可在其PC机上安装桌面共享客户端,向平台申请一个虚拟房间ID,将PC机的桌面分享出去(将自己的桌面直播化)。
然后,用户A可使用VR一体机(安装有VR客户端)进入平台提供的大厅,大厅提供有房间列表,查找到自己的房间ID并进入。
假定用户B拥有PC端+VR头显,用户C拥有智能移动终端+VR头显,则用户B也可通过PC端上的VR客户端进入大厅,选择某一房间ID并进入。同理,用户C可通过智能移动终端上的VR客户端进入大厅,选择某一房间ID并进入。
假定,用户A-C进入了同一虚拟房间,则用户B和用户C均可在自己的VR头显上观看到用户A的PC机的桌面。
用户A的PC端的桌面如图3a所示,而用户B或C在VR头显上看到的景象可如图3b所示。
当然,用户B和用户C也可将自己的桌面共享出去,例如,用户B可在其PC端上安装桌面共享客户端,将其PC端的桌面与上述同一虚拟房间ID相关联。同理,用户C也可进行类似的操作。
则在同一虚拟房间中,可同时观看至用户A至C的桌面,其场景类似于一个虚拟的小网吧。
当然,可设计为:任一用户仅可观看其他用户的共享桌面,也可设计为:任一用户可远程操控其他用户的共享桌面。
或者可设计为:权限低的用户仅可观看其他用户的共享桌面,权限高的可远程操控其他用户的共享桌面,本发明对此不作具体限定。
可见,在本发明实施例中,VR客户端可通过平台共享桌面观看共享客户端提供的桌面,并且,与同一虚拟房间ID相关联的VR客户端共享相同的桌面。桌面共享客户端可对共享桌面的画面(屏幕)、声音进行捕捉、上传,由平台负责分发共享桌面的画面和声音,VR客户端则在三维播放场景中播放接收到的画面和音频数据,为用户提供沉浸式的虚拟现实体验。
需要说明的是,目前Steam平台下的BigScreen已经实现了基于PC端的共享桌面多人社交,然而,其客户端只可通过PC端接入平台,而本申请中,并不局限于PC端。
为了实现社交互动,任一VR客户端还可采集使用者(或称为用户)的语音数据上传至平台,由平台分发至其他相关联的VR客户端。
此外,任一VR客户端还可在上述三维播放场景中,构建其他VR客户端对应的三维虚拟人物或二维虚拟人物(可统称为虚拟人物),虚拟人物用于表征其他VR客户端的使用者。
虚拟人物可以是真人形象,也可以是游戏角色、卡通、动物形象等。
更具体的,虚拟人物可只包含人头,也可是或站或坐的完整的人体。
仍以用户A至C为例,用户A的VR客户端可在三维播放场景中构建用户B和C的虚拟人物,用户B的VR客户端可在三维播放场景中构建用户A和C的虚拟人物,而用户C的VR客户端可在三维播放场景中构建用户B和A的虚拟人物,从而模拟出几个人一起观看桌面的场景。
并且,为了达到更贴切的社交效果,还可使用虚拟人物模拟用户的面部表情和动作,并提供3D音效,从而提供更好的渲染式体验。
则VR客户端可采集使用者的第一用户数据上传至平台,由平台将同一虚拟房间中各VR客户端上传的、同一时刻的第一用户数据进行整合处理,得到第二用户数据,再下发至各VR客户端。
VR客户端可使用第二用户数据模拟其他用户的面部表情、动作等。
更具体的,请参见图4,以用户A为例(用户A的VR客户端可称为VR客户端A),VR客户端与平台之间的交互如下:
S401:各VR客户端上传使用者的第一用户数据至平台。
其中,上述第一用户数据可由VR一体机设备或VR头戴式设备上的传感器采集。本文后续还将进行更为详细的描述。
第一用户数据可包括使用者的动作数据和姿势数据中的至少一种等。在其他实施例中,若VR客户端可生成情绪数据,第一用户数据也可包括情绪数据。
第一用户数据的内容视使用者的当前情况而定。
S402:平台将与同一虚拟房间ID相关联的各VR客户端在同一时刻的第一用户数据进行整合处理,得到第二用户数据,并将第二用户数据下发给相应的VR客户端。
第二用户数据的内容与第一用户数据的内容相关。
在一个示例中,第二用户数据可包括:各VR客户端在同一时刻的情绪数据、姿势数据和动作数据中的至少一种;其中,情绪数据用于表征相应使用者的情绪。
在一个示例中,平台可对第一用户数据中的语音数据进行文字识别,得到文字识别结果,再对文字识别结果进行情绪识别或情感分析,得到情绪类别(例如愤怒、喜悦等)。上述情绪数据也可包括情绪类别。
如何进行情绪识别可参考现有的方式,在此不作赘述。
当然,平台也可仅对第一用户数据进行打包,由VR客户端进行上述文字识别、情绪识别等。更具体的,可由上传方进行上述文字识别、情绪识别等,在得到情绪类别后,再上传平台,也可由接收方对接收的语音数据进行上述文字识别、情绪识别等,得到情绪类别。
或者,使用者也可通过VR客户端输入表情信息(例如哭脸表情、无语表情等),平台可根据输入的表情信息得到表情类别。上述情绪数据也可包括表情类别。
当然,也可由上传方直接上传表情类别,或由接收方根据表情信息得到表情类别,本文不作赘述。
或者,任一VR客户端可使用摄像头和图像处理模块来采集其使用者的人脸关键特征点,更具体的,可由摄像头采集使用者的面部图像,由图像处理模块从面部图像中提取出人脸关键特征点。
其他VR客户端可使用上述人脸关键特征点构建出与使用者相类似的虚拟人物。上述人脸关键特征点可归属于情绪数据。
以用户A-C为例,用户A的VR客户端可采集用户A的人脸关键特征点并上传,用户B和C的VR客户端在得到用户A的人脸关键特征点后,据此构建出的虚拟人物的面貌和面部表情,会与用户A的真实面貌和面部表情相类似。
至于如何整理,有以下两种方式:
第一:平台针对同一虚拟房间中不同的VR客户端整合处理得到不同的第二用户数据。
以用户A为例,平台向用户A下发的第二用户数据可包括上述用户B和C的情绪数据、语音数据、动作数据等,而不包含用户A自己的。
第二,平台向同一虚拟房间中不同的VR客户端发送同样的第二用户数据。
也即,无论是用户A、B还是C,对其下发的第二用户数据包括所有用户的情绪数据、语音数据、动作数据等。
对于用户A而言,其可扔掉自己的情绪数据、语音数据、动作数据等。
S403:VR客户端根据第二用户数据展示虚拟人物。
具体的,若第二用户数据包括任一其他VR客户端的动作数据,根据动作数据展示相应虚拟人物的动作(例如转头,开口等)。
若第二用户数据包括任一其他VR客户端的情绪数据,则可根据情绪数据展示相应虚拟人物的面部表情,以实现对相应使用者的面部表情的模拟。
关于面部表情模拟更为具体的交互流程可参见图5。
举例来讲,根据用户B的语音数据可分析出情绪类别为愤怒,则用户A会将用户B对应的虚拟人物的面部表情调整为愤怒。
此外,若任一其他VR客户端上传了语音数据,根据相应虚拟人物在三维播放场景中的位置,选择多个不同声道播放语音数据,以实现三维立体音效。
举例来讲,假定在三维播放场景中,用户B在用户A的左侧,则播放出的音效也会令用户A感觉声音来自左边。
前述还曾提及,在桌面共享时,可播放音频数据。则类似的,可根据共享用的桌面在三维播放场景中的位置,以及自身位置来选择多个不同声道播放音频数据,以实现三维立体音效。
可见,不同于一般的视频会议,本发明实施例除了可实现桌面共享、语音交互等内容,更侧重交互式体验,利用语音识别、情感识别等技术识别出用户的情绪,进而模拟出不同的表情。同时,还可模拟用户动作,以及通过3D立体音效让用户区分不同用户的发声情况。
下面将分别介绍系统中各组成设备的内部结构。
一,桌面共享客户端/第一设备。
请参见图6,在第一设备上部署的桌面共享客户端可包括设置模块61、屏幕采集模块62、音频采集模块63、数据处理模块64、数据上传模块65、操作指令接收模拟模块66。
其中,设置模块61可包括以下功能:
1,设置房间类型,公开、受限(需要验证,可用于电话会议、家庭聚会等私密性较强的场景);
2,设置房间人数限制;
同一个虚拟房间下的用户才能进行桌面共享,这主要是由于移动端的性能限制,以及服务端数据传输(视频数据,数据量巨大)、分析能力的限制,因此会做此限制,不过具体参数,如房间最大人数,可以根据不同平台做相应配置。
3,设置发言模式;
(1)播主模式,只允许播主一人发言,其他用户只能观看无法语音。
(2)指定模式,播主可指定某几个用户发言(此数量受服务端限制),其余用户只能观看无法语音交互。
(3)默认模式,进入的前几名用户可发言(此数量受服务端限制),其余用户均只可观看无法语音交互。
4,踢出、邀请用户;
5,设置房间通告,群发消息;
6,设置房间标签。
房间标签可便于进入大厅的用户更为方便得了解直播或房间内容。
在其他示例中,设置模块也可用于设置允许进行桌面共享的用户、设置进入虚拟房间的密码或口令等。
屏幕采集模块62可用于对共享的PC端实施屏幕抓取,将采集到的帧数据传至下游数据处理模块64;
音频采集模块63可用于对共享PC端实施声音采集,将采集到的声音数据传至下游数据处理模块64;
数据处理模块64可用于对已采集的帧数据进行压缩、组装处理,得到视频流,将视频流交由数据上传模块65;为了缩减声音数据的大小,数据处理模块64还可用于对已采集的声音数据进行压缩等处理,得到音频数据,将音频数据交由数据上传模块65;
数据上传模块65可用于将视频流按流媒体传输协议传输至服务器/平台,也可用于将音频数据传输至服务器/平台。
语音传输部分跟现有的语音聊天技术类似,在此不作赘述。
操作指令接收模拟模块66,用于与VR设备(例如VR头显)建立一对一的TCP连接,接收VR设备的操作指令并执行,并在PC端的桌面上模拟指令的执行过程。
例如,使用者通过VR设备拖某一文件,则操作指令接收模拟模块可在桌面上模拟鼠标拖动文件的过程。
二,平台/服务器。
请参见图7,平台可包括数据分发模块71、语音处理模块72、用户数据接收处理模块73、用户数据同步模块74。
其中:
数据分发模块71可用于将接收到的视频流分发至相应的VR客户端。
例如,用户A至C在同一虚拟房间中,用户A的共享桌面的视频流可分发至用户B和C的VR客户端。
此外,前述的第二用户数据和音频数据也可通过数据分发模块71进行分发。
语音处理模块72,可用于对VR客户端上传的语音数据进行处理。
具体的,可对VR客户端上传的语音数据进行去噪和分发。
此外,为了降低数据包大小,还可对语音数据进行压缩。
需要强调的是,这里的语音数据包括VR客户端的使用者所发出的声音。而前述音频采集模块63采集的是共享PC端所播放的声音数据。
用户数据接收处理模块73,用于接收、处理同一个房间中的用户产生的第一用户数据(例如动作数据、姿势数据等)。
上述动作数据示例性的可包括眨眼动作、嘴巴的动作等。
眨眼动作可以通过VR头显上的激光传感器检测到,而嘴巴的动作可以通过判断用户是否说话(是否有音频数据传输过来)来模拟。
在一个示例中,嘴巴的动作数据可包括简单的数值或字符,用于表征嘴巴是否有动作。
例如,可以0表示嘴巴无动作,以1表示嘴巴有动作。以A表示嘴巴无动作,以B表示嘴巴有动作等等。本领域技术人员可进行灵活设计,在此不作赘述。
姿势数据可包括头部的姿势数据和身体姿势数据,可利用陀螺仪来获取头部的姿势数据,身体姿势数据可利用诸如kinnect这样的动作捕捉设备来获取。
此外,在一些实施例中,用户数据接收处理模块73还可用于生成前述的情绪数据。
用户数据同步模块74,用于对同一个虚拟房间中的第一用户数据进行同步。
需要说明的是,同一房间下的所有VR客户端会定时将各自的第一用户数据/传感器数据(陀螺仪,激光传感器等)上传至平台,平台搜集某一时间段的第一用户数据,进行必要的剔除(同一用户的冗余信息)、新增(如情绪数据),整合同一时刻下用户的第一用户数据、情绪数据等,封装成统一的格式,然后再回传至各个VR客户端。
三,VR客户端。
请参见图8,VR客户端可包括桌面共享辅助模块81、视频播放模块82、音频播放模块83、数据上传模模块84、语音交互模块85。
其中,桌面共享辅助模块81可用于实现以下功能:
1,可按主题、类别查看观看列表;
2,房号搜索功能;
3,角色装扮功能:可设置本角色的形象;
4,观看场景选择功能:可提供场景列表,可随意切换体验场景(沙漠、星空、别墅等);
5,弹幕功能:可将VR输入模块(虚拟键盘)输入信息,发送至屏幕特定区域,也可关闭弹幕。
播放模块82,可用于播放前述的视频流。
音频播放模块83,可用于播放平台分发的桌面共享的音频数据。
数据上传模块84,可用于收集本机的第一用户数据(例如陀螺仪数据、其他传感器数据等)并上传至平台/服务端。
语音交互模块85,可用于实现语音输入、发送、接收等功能。
需要说明的是,假设一个房间有四个VR客户端A-D,它们会将自己的语音数据先发送至服务端,服务端接收到数据后,会向客户端A发送客户端B至D的语音数据(A不需要再听一遍自己的声音)。
对于客户端A的语音交互模块85来说,只需接收服务端的语音数据,再通过硬件解码出来即可。
此外,对于VR设备+终端的情况,上述VR客户端还可包括:用户操控模块,用于搜集VR设备的操作指令(如一体机自带的手持设备发送的单击、拖动、滑动等操作指令),建立VR设备与终端的网络通信,将指令传至终端,终端接收到指令后按照指令模拟相应的行为,类似于远程桌面(参见前述的操作指令接收模拟模块66)。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元,或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于共享桌面的虚拟现实VR系统,其特征在于,包括:平台,接入所述平台的桌面共享客户端,以及,至少一个VR客户端;所述桌面共享客户端部署于第一设备,所述VR客户端部署于支持VR技术的第二设备上;所述第二设备为VR一体机设备;或者,所述第二设备包括VR头戴式设备和与之相连的终端,所述终端为任意支持与VR头戴式设备通信的设备;
其中:
所述桌面共享客户端至少用于:请求所述平台分配用于桌面共享的虚拟房间标识ID,对所述第一设备的桌面进行屏幕抓取和声音采集,得到视频流和音频数据,将所述视频流和音频数据上传至所述平台;
所述平台至少用于:为所述桌面共享客户端分配虚拟房间ID,将上传的所述视频流和音频数据分发至与所述虚拟房间ID相关联的VR客户端;
所述VR客户端至少用于:向所述平台请求与所述虚拟房间ID相关联,构建三维播放场景,接收所述平台发送的视频流和音频数据,在所述三维播放场景中播放接收到的视频流和音频数据;
任一所述VR客户端还用于:在所述三维播放场景中,构建其他VR客户端对应的虚拟人物;
其中,所述其他VR客户端包括与本VR客户端关联同一虚拟房间ID的VR客户端,所述虚拟人物用于表征所述其他VR客户端的使用者;
上传使用者的语音数据和第一用户数据中的至少一种至所述平台,所述第一用户数据由所述第二设备的传感器采集;
所述平台还用于:将接收到的所述语音数据分发给其他相关联的VR客户端,将与同一虚拟房间ID相关联的各VR客户端在同一时刻的第一用户数据进行整合处理,得到第二用户数据,并将所述第二用户数据下发给各VR客户端;
其中,任一所述VR客户端上传的第一用户数据包括:相应使用者的姿势数据和动作数据中的至少一种;
所述第二用户数据包括:所述各VR客户端在同一时刻的姿势数据、情绪数据和动作数据中的至少一种;其中,所述情绪数据用于表征相应使用者的情绪。
2.如权利要求1所述的系统,其特征在于,在将与同一虚拟房间ID相关联的各VR客户端在同一时刻的第一用户数据进行整合处理的方面,所述平台具体用于:
对所述语音数据进行文字识别,得到文字识别结果;
对所述文字识别结果进行情绪识别,得到情绪类别;所述情绪数据包括所述情绪类别;
或者,根据使用者通过VR客户端输入的表情信息,得到表情类别,所述情绪数据包括所述表情类别。
3.如权利要求1或2所述的系统,其特征在于,所述VR客户端还用于:
若所述第二用户数据包括任一其他VR客户端的情绪数据,根据所述情绪数据展示相应虚拟人物的面部表情。
4.如权利要求1或2所述的系统,其特征在于,所述VR客户端还用于:
根据相应虚拟人物在所述三维播放场景中的位置,选择多个不同声道播放所述语音数据,以实现三维立体音效。
5.如权利要求1或2所述的系统,其特征在于,所述VR客户端还用于:
若所述第二用户数据包括任一其他VR客户端的动作数据,根据所述动作数据展示相应虚拟人物的动作。
6.一种桌面共享客户端,其特征在于,所述桌面共享客户端部署于第一设备,所述共享客户端包括:
桌面数据采集单元,用于对所述第一设备的桌面进行屏幕抓取和声音采集,得到视频流和音频数据;
通讯单元,用于请求平台分配用于桌面共享的虚拟房间标识ID,将所述视频流和音频数据上传至所述平台;其中,所述平台至少用于:为所述桌面共享客户端分配虚拟房间ID,将上传的所述视频流和音频数据分发至与所述虚拟房间ID相关联的VR客户端;所述VR客户端至少用于:构建三维播放场景,在所述三维播放场景中播放接收到的视频流和音频数据;所述VR客户端部署于支持VR技术的第二设备上;所述第二设备为VR一体机设备;或者,所述第二设备包括VR头戴式设备和与之相连的终端,所述终端为任意支持与VR头戴式设备通信的设备;
任一所述VR客户端还用于:在所述三维播放场景中,构建其他VR客户端对应的虚拟人物;其中,所述其他VR客户端包括与本VR客户端关联同一虚拟房间ID的VR客户端,所述虚拟人物用于表征所述其他VR客户端的使用者;
上传使用者的语音数据和第一用户数据中的至少一种至所述平台,所述第一用户数据由所述第二设备的传感器采集;
所述平台还用于:将接收到的所述语音数据分发给其他相关联的VR客户端,将与同一虚拟房间ID相关联的各VR客户端在同一时刻的第一用户数据进行整合处理,得到第二用户数据,并将所述第二用户数据下发给各VR客户端;
其中,任一所述VR客户端上传的第一用户数据包括:相应使用者的姿势数据和动作数据中的至少一种;
所述第二用户数据包括:所述各VR客户端在同一时刻的姿势数据、情绪数据和动作数据中的至少一种;其中,所述情绪数据用于表征相应使用者的情绪。
7.一种虚拟现实VR客户端,其特征在于,所述VR客户端部署于支持VR技术的第二设备上;所述第二设备为VR一体机设备;或者,所述第二设备包括VR头戴式设备和与之相连的终端,所述终端为任意支持与VR头戴式设备通信的设备;
所述VR客户端包括:
桌面共享支持单元,用于向平台请求与虚拟房间ID相关联,构建三维播放场景,接收所述平台分发的视频流和音频数据,在所述三维播放场景中播放接收到的视频流和音频数据;其中,所述虚拟房间ID由桌面共享客户端向所述平台申请,所述视频流和音频数据由所述桌面共享客户端上传;
模拟单元,用于在所述三维播放场景中,构建其他VR客户端对应的虚拟人物;
其中,所述其他VR客户端包括与本VR客户端关联同一虚拟房间ID的VR客户端,所述虚拟人物用于表征所述其他VR客户端的使用者;
所述VR客户端还用于:在所述三维播放场景中,构建其他VR客户端对应的虚拟人物;其中,所述其他VR客户端包括与本VR客户端关联同一虚拟房间ID的VR客户端,所述虚拟人物用于表征所述其他VR客户端的使用者;
上传使用者的语音数据和第一用户数据中的至少一种至所述平台,所述第一用户数据由所述第二设备的传感器采集;
所述平台还用于:将接收到的所述语音数据分发给其他相关联的VR客户端,将与同一虚拟房间ID相关联的各VR客户端在同一时刻的第一用户数据进行整合处理,得到第二用户数据,并将所述第二用户数据下发给各VR客户端;
其中,第一用户数据包括:相应使用者的姿势数据和动作数据中的至少一种;所述第二用户数据包括:各VR客户端在同一时刻的姿势数据、情绪数据和动作数据中的至少一种;其中,所述情绪数据用于表征相应使用者的情绪。
8.一种实现基于共享桌面的虚拟现实社交方法,其特征在于,应用于如权利要求1-5任一项所述的VR系统,所述方法包括:
桌面共享客户端请求所述平台分配用于桌面共享的虚拟房间标识ID,对所述第一设备的桌面进行屏幕抓取和声音采集,得到视频流和音频数据,将所述视频流和音频数据上传至所述平台;
所述平台为所述桌面共享客户端分配虚拟房间ID,将上传的所述视频流和音频数据分发至与所述虚拟房间ID相关联的VR客户端;
所述VR客户端向所述平台请求与所述虚拟房间ID相关联,构建三维播放场景,接收所述平台发送的视频流和音频数据,在所述三维播放场景中播放接收到的视频流和音频数据;所述VR客户端部署于支持VR技术的第二设备上;所述第二设备为VR一体机设备;或者,所述第二设备包括VR头戴式设备和与之相连的终端,所述终端为任意支持与VR头戴式设备通信的设备;
任一所述VR客户端在所述三维播放场景中,构建其他VR客户端对应的虚拟人物;其中,所述其他VR客户端包括与本VR客户端关联同一虚拟房间ID的VR客户端,所述虚拟人物用于表征所述其他VR客户端的使用者;
任一所述VR客户端上传使用者的语音数据和第一用户数据中的至少一种至所述平台,所述第一用户数据由所述第二设备的传感器采集;
所述平台将接收到的所述语音数据分发给其他相关联的VR客户端,将与同一虚拟房间ID相关联的各VR客户端在同一时刻的第一用户数据进行整合处理,得到第二用户数据,并将所述第二用户数据下发给各VR客户端;
其中,任一所述VR客户端上传的第一用户数据包括:相应使用者的姿势数据和动作数据中的至少一种;所述第二用户数据包括:所述各VR客户端在同一时刻的姿势数据、情绪数据和动作数据中的至少一种;所述情绪数据用于表征相应使用者的情绪。
CN201810154883.XA 2018-02-23 2018-02-23 基于共享桌面的虚拟现实系统、相关装置及方法 Active CN108322474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810154883.XA CN108322474B (zh) 2018-02-23 2018-02-23 基于共享桌面的虚拟现实系统、相关装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810154883.XA CN108322474B (zh) 2018-02-23 2018-02-23 基于共享桌面的虚拟现实系统、相关装置及方法

Publications (2)

Publication Number Publication Date
CN108322474A CN108322474A (zh) 2018-07-24
CN108322474B true CN108322474B (zh) 2020-09-29

Family

ID=62899807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810154883.XA Active CN108322474B (zh) 2018-02-23 2018-02-23 基于共享桌面的虚拟现实系统、相关装置及方法

Country Status (1)

Country Link
CN (1) CN108322474B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030796B2 (en) 2018-10-17 2021-06-08 Adobe Inc. Interfaces and techniques to retarget 2D screencast videos into 3D tutorials in virtual reality
CN109788345B (zh) * 2019-03-29 2020-03-10 广州虎牙信息科技有限公司 直播控制方法、装置、直播设备及可读存储介质
CN110175059A (zh) * 2019-04-16 2019-08-27 上海达龙信息科技有限公司 基于陀螺仪的远程桌面操控方法及系统、存储介质、服务器
CN112866619B (zh) * 2021-01-05 2021-12-28 浙江大学 一种远程会议控制方法、装置、电子设备及存储介质
CN112947751A (zh) * 2021-02-07 2021-06-11 杭州小派智能科技有限公司 在虚拟现实画面中调节头显和画面显示效果的方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595760A (zh) * 2013-10-15 2014-02-19 北京航空航天大学 基于云端的文件画面共享方法
EP3009989A1 (en) * 2014-10-16 2016-04-20 Wipro Limited System and method for distributed augmented reality
CN105913715A (zh) * 2016-06-23 2016-08-31 同济大学 适用于建筑环境工学研究的vr可共享实验系统及方法
CN107248342A (zh) * 2017-07-07 2017-10-13 四川云图瑞科技有限公司 基于虚拟现实技术的三维互动教学系统
CN107632705A (zh) * 2017-09-07 2018-01-26 歌尔科技有限公司 沉浸式交互方法、设备、系统及虚拟现实设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595760A (zh) * 2013-10-15 2014-02-19 北京航空航天大学 基于云端的文件画面共享方法
EP3009989A1 (en) * 2014-10-16 2016-04-20 Wipro Limited System and method for distributed augmented reality
CN105913715A (zh) * 2016-06-23 2016-08-31 同济大学 适用于建筑环境工学研究的vr可共享实验系统及方法
CN107248342A (zh) * 2017-07-07 2017-10-13 四川云图瑞科技有限公司 基于虚拟现实技术的三维互动教学系统
CN107632705A (zh) * 2017-09-07 2018-01-26 歌尔科技有限公司 沉浸式交互方法、设备、系统及虚拟现实设备

Also Published As

Publication number Publication date
CN108322474A (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
CN108322474B (zh) 基于共享桌面的虚拟现实系统、相关装置及方法
US10699482B2 (en) Real-time immersive mediated reality experiences
US10499118B2 (en) Virtual and augmented reality system and headset display
US11386903B2 (en) Methods and systems for speech presentation based on simulated binaural audio signals
US10218762B2 (en) System and method for providing a real-time three-dimensional digital impact virtual audience
AU2013346503B2 (en) Multi-user interactive virtual environment including broadcast content and enhanced social layer content
US20180316948A1 (en) Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
US20180316939A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20180316947A1 (en) Video processing systems and methods for the combination, blending and display of heterogeneous sources
US20180316942A1 (en) Systems and methods and interfaces for video processing, combination and display of heterogeneous sources
CN111527525A (zh) 混合现实服务提供方法及系统
JP5122433B2 (ja) 情報通信システムおよび情報通信方法
CN112235530B (zh) 远程会议的实现方法及装置、电子设备、存储介质
WO2018071781A2 (en) Systems and methods for video processing and display
WO2017112520A1 (en) Video display system
EP3342158A1 (en) System and method for interactive video conferencing
US11405587B1 (en) System and method for interactive video conferencing
CN113938696B (zh) 基于自定义虚拟礼物的直播互动方法、系统及计算机设备
CN109819341A (zh) 视频播放方法、装置、计算设备及存储介质
US11102265B2 (en) System and method for providing a real-time digital virtual audience
US11659138B1 (en) System and method for interactive video conferencing
US20210320959A1 (en) System and method for real-time massive multiplayer online interaction on remote events
KR102234066B1 (ko) 증강현실 기반의 그룹 라이딩 지원 시스템
CN114640863A (zh) 直播间内的人物信息显示方法、系统、装置及计算机设备
JP2024043574A (ja) 仮想イベントのデジタル自動化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant