CN108431872A - 一种共享虚拟现实数据的方法和设备 - Google Patents
一种共享虚拟现实数据的方法和设备 Download PDFInfo
- Publication number
- CN108431872A CN108431872A CN201780005621.0A CN201780005621A CN108431872A CN 108431872 A CN108431872 A CN 108431872A CN 201780005621 A CN201780005621 A CN 201780005621A CN 108431872 A CN108431872 A CN 108431872A
- Authority
- CN
- China
- Prior art keywords
- terminal
- data
- image
- virtual reality
- reality data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及通信技术领域,尤其涉及虚拟现实技术,在一种共享虚拟现实数据的方法中,终端获取包含当前所处环境的环境图像在内的环境数据,并在该环境图像为二维图像的情况下,将该环境数据中的环境图像由二维图像转换为三维图像,得到用于反映该终端所处环境的三维场景的虚拟现实数据,这样,将该虚拟现实数据传输给至少一个接收终端之后,接收终端用户通过观看该接收终端输出的该虚拟现实数据,便可以感受到如同亲临该第一终端所处的环境的效果,实现了多用户共享相同场景的体验效果。
Description
本申请要求于2016年12月27日提交中国专利局、申请号为201611224693.8、发明名称为“一种共享虚拟现实数据的方法和设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请涉及通信技术领域,尤其涉及虚拟现实技术。
虚拟现实(Virtual Reality,VR)技术是指利用计算机模拟产生一个三维空间的虚拟世界,提供使用者关于视觉、触觉等感官的模拟,让使用者如同身临其境一般,可以及时、没有限制的观察三维空间内的事物。
目前,虚拟现实技术已经被应用于游戏、电影等诸多领域。但是在应用虚拟现实的诸多领域中,虚拟现实的体验功能较为单一,仅仅能够满足单侧用户的观看需求。然而,随着网络以及社交应用的不断发展,网络用户之间的交互需求日益增多,因此,如何实现多个用户可以体验到处于相同场景中的效果,是本领域技术人员迫切需要解决的技术问题。
发明内容
有鉴于此,本申请提供了一种共享虚拟现实数据的方法和设备,以实现多个用户之间相同场景的虚拟现实数据的共享,使得处于不同地方的多个用户可以体验到处于相同场景中的体验效果。
一方面,本申请提供一种共享虚拟现实数据的方法,在该方法中,第一终端采集当前所处环境的环境数据,该环境数据至少包括该第一终端所处环境的环境图像;在该环境图像为二维图像的情况下,将该环境数据中的环境图像由二维图像转换为三维图像,从而将该环境数据转换为用于反映所述第一终端所处环境的三维场景的虚拟现实数据,这样,在将该虚拟现实数据传输给至少一个第二终端之后,第二终端的用户通过观看该第二终端输出的虚拟现实数据,可以感受到如同身处该第一终端所处的环境中的视觉体验,从而体验到与第一终端处于相同环境场景的体验效果。
在一种可能的设计中,将所述环境数据中的所述环境图像由二维图像转换为三维图像,可以是为该环境数据中的环境图像创建深度信息,然后,利用该深度信息和该环境图像,构建该环境图像对应的三维图像,这样,将环境数据中二维的环境图像替换为三维的环境图像,便实现了将环境数据转换为虚拟显示数据。
在一种可能的设计中,在该环境数据中的环境图像为三维图像的情况下,可以直接将该环境数据确定为用于反映该第一终端所处环境的三维场景的虚拟现实数据,并将该虚拟现实数据传输给至少一个第二终端,从而实现了将反映第一终端所处环境的三维场景的数据共享给至少一个第二终端,使得第二终端的用户基于该虚拟现实数据可以体验到与第一终端的用户处于相同环境中的体验。
在一种可能的设计中,在第一终端得到虚拟现实数据之后,第一终端还可以对虚拟现实数据中三维的环境图像进行虚拟现实场景渲染,该虚拟现实场景渲染可以包括:反向畸变、反色散和瞳距调节等一种或几种。通过对虚拟现实数据进行虚拟现实场景渲染,可以减少后续第二终端展现虚拟现实数据的过程中,出现图像失真等异常情况。
在一种可能的设计中,在第一终端采集第一终端当前所处环境的环境数据的同时,还可以采集该第一终端侧的用户对所述环境的观看视角;相应的,在第一终端将虚拟现实数据传输给至少第二终端的同时,该第一终端还可以将该观看视角发送给该至少一个第二终端,以便该第二终端按照该观看视角渲染虚拟现实数据,并输出以观看视角呈现出的虚拟现实数据,从而使得第二终端的用户可以与第一终端的用户以相同的视角观看该第一终端所处的环境场景。
在一种可能的设计中,为了适应数据传输协议,在第一终端将所述虚拟现实数据传输给至少一个第二终端之前,该第一终端还可以对虚拟现实数据进行编码。
进一步的,为了提高数据传输的速度以及可靠性,确定该第一终端的网络状态;并基于所述网络状态确定编码模式,按照所述编码模式对所述虚拟现实数据进行编码。又一方面,本申请还提供了一种终端,该终端具有实现上述方法中实际终端行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中,该终端中包括图像采集装置、数据接口、处理器以及通信模块。其中,图像采集装置用于采集终端当前所处环境的环境图像;数据接口,用于获取该终端当前所处环境的环境数据,该环境数据至少包括:图像采集装置采集到的环境图像;该处理器被配置为支持终端执行上述方法中相应的功能,如该处理器可以被配置为用于在所述环境图像为二维图像的情况下,将所述环境数据中的所述环境图像由二维图像转换为三维图像,得到由所述环境数据转换出的虚拟现实数据,所述虚拟现实数据用于反映所述终端所处环境的三维场景;该通信模块,用于将所述虚拟现实数据传输给至少一个接收终端。
在一种可能的设计中,该处理器,还用于在所述环境图像为三维图像的情况下,将所述环境数据确定为所述用于反映所述终端所处环境的三维场景的虚拟现实数据。
在一种可能的设计中,所述处理器还用于,在得到虚拟现实数据之后,对所述虚拟现实数据中三维的环境图像进行虚拟现实场景渲染,所述虚拟现实场景渲染包括:反向畸变、反色散和瞳距调节中的一种或几种。
在一种可能的设计中,该终端还可以包括:传感器,用于感应所述终端侧的用户对所述环境的观看视角;
该数据接口,还用于所述传感器采集到的所述终端侧的用户对所述环境的观看视角;
该通信模块,还用于在所述将所述虚拟现实数据传输给至少一个第二终端的同时,将所述观看视角发送给所述至少一个第二终端,以便所述第二终端按照该观看视角渲染所述虚拟现实数据,并输出以所述观看视角呈现出的虚拟现实数据。
在一种可能的设计中,该处理器还用于,在通信模块将该虚拟现实数据传输给至少一个接收终端之前,确定该终端的网络状态;基于该网络状态确定编码模式;按照该编码模
式对该虚拟现实数据进行编码。
本申请实施例的第二方面和第一方面的设计思路一致,技术手段类似,技术方案带来的具体有益效果请参考第一方面,不再赘述。
又一方面,本申请还提供了另一种共享虚拟现实数据的方法,在该方法中,终端获取第一终端待分享的目标数据,该目标数据包括至少一帧图像;在该目标数据中的图像为二维图像的情况下,将目标数据中的图像由二维图像转换为三维图像,得到由该目标数据转换出的虚拟现实数据,由于该虚拟现实数据可以反映依据该目标数据所构建出的三维场景,这样,在将虚拟现实数据传输给至少一个第二终端之后,第二终端的用户可以在该第二终端上观看该虚拟现实数据,实现了虚拟现实数据的共享;而且,第二终端的用户通过该虚拟现实数据能够更为真实的体验到该第一终端侧所播放的图像所对应的真实环境场景。
在一种可能的设计中,终端获取第一终端侧待分享的目标数据可以为获取第一终端当前所处环境的环境数据,该环境数据包括:第一终端所处环境的环境图像。
在一种可能的设计中,终端获取第一终端待分享的目标数据可以为获取第一终端当前播放的视频数据,该视频数据包括至少一帧视频图像。
在一种可能的设计中,终端获取所述第一终端当前播放的视频数据可以为获取所述第一终端中展现出的目标播放窗口(如游戏应用的游戏窗口、浏览器的视频展现窗口、播放器等应用的播放窗口)中当前播放的视频数据,将该目标窗口播放的视频数据所转换出的虚拟现实数据发送给第二终端之后,第二终端的用户通过观看该第二终端输出的虚拟现实数据,可以使得用户如同身处该第一终端中该目标数据所对应的三维环境场景中(如,感受身处该第一终端输出的游戏的三维环境场景中)。
又一方面,本申请还提供了一种终端,该终端具有实现第三方面的上述方法中实际终端行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一种可能的设计中,该终端包括数据接口、处理器以及通信模块,其中,数据接口用于获取第一终端待分享的目标数据,所述目标数据包括至少一帧图像;处理器,用于在所述目标数据中的图像为二维图像的情况下,将所述目标数据中的图像由二维图像转换为三维图像,得到由所述目标数据转换出的虚拟现实数据,所述虚拟现实数据用于反映依据所述目标数据所构建出的三维场景;通信模块,用于将所述虚拟现实数据传输给至少一个第二终端。
在一种可能的设计中,所述数据接口具体用于,获取第一终端当前所处环境的环境数据,所述环境数据包括:第一终端所处环境的环境图像。
在一种可能的设计中,所述数据接口在获取第一终端待分享的目标数据时,具体用于获取所述第一终端当前播放的视频数据,所述视频数据包括至少一帧视频图像。
在一种可能的设计中,所述数据接口具体用于,获取所述第一终端中展现出的目标播放窗口中当前播放的视频数据,其中,所述目标播放窗口为所述第一终端中指定应用的图像输出窗口。
本申请实施例的第四方面和第三方面的设计思路一致,技术手段类似,技术方案带来
的具体有益效果请参考第三方面,不再赘述。
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一种终端的组成架构示意图;
图2示出了本申请一种共享虚拟现实数据的方法一个实施例的流程示意图;
图3示出了本申请一种共享虚拟现实数据的方法又一个实施例的流程示意图;
图4示出了本申请一种共享虚拟现实数据的装置一个实施例的组成结构示意图;
图5示出了本申请又一种共享虚拟现实数据的装置一个实施例的组成结构示意图。
本申请实施例的共享虚拟现实数据的方法适用于不同终端设备之间共享虚拟现实数据。
在本申请实施例中,终端可以包括但不限于手机、移动电脑、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、媒体播放器、智能可穿戴设备(如,智能眼镜和头戴式智能设备等)等设备。该终端具体有运行应用程序(Application,APP)、接入网络等功能。
如图1,为本申请实施例相关的终端100的部分组成结构示意图。
参考图1,终端100包括:通信模块110、存储器120、输入装置130、显示器140、传感器150、音频电路160、图像采集装置170以及处理器180等部件。其中,通信模块110、存储器120、输入装置130、显示器140、传感器150、音频电路160、图像采集装置170以及处理器180通过通信总线190相连。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,在实际中,该终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图1对终端100的各个构成部件进行具体的介绍:
通信模块110可用于收发信息,如信号的接收和发送等,如,终端为手机时,该通信模块可以为射频(Radio Frequency,RF)电路,该RF电路可以包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,LNA)以及双工器等。此外,RF电路还可以通过无线通信与网络和其他设备通信。该通信模块还可以包括数据传输模块和数据接收模块,以实现图像、音频或者视频数据的接收以及发送,如通信模块可以包括蓝牙模块、WiFi模块等等。
存储器120可用于存储软件程序以及模块。该存储器还可以存储本申请所涉及的图像、音频等数据。
在一种可能的实现方式中,该存储器120可主要包括存储程序区和存储数据区,其中,
存储程序区可存储操作系统、至少一个功能(比如声音播放功能、图像播放功能等)所需的应用程序等。在本申请实施例中,该存储程序区可以存储用于获取第一终端所处环境的图像采集模块;用于处理该第一终端所处环境的环境图像的图像处理模块;用于对待传输的数据进行编码的数据编码模块;以及用于数据传输的数据传输模块。
其中,该存储数据区可存储根据终端100的使用所创建的数据,比如,音频数据、图像数据等等。
此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入装置130可用于接收输入的数字或字符信息,以及产生与终端100的用户设置以及功能控制有关的键信号输入。如,以终端为手机为例,该输入装置130可以包括触控面板以及其他输入设备。触控面板也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并根据预先设定的程序驱动相应的连接装置。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示器140(也可以称为显示模块),可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单。显示器140可包括显示面板,在一种可能的情况中,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。虽然在图1中,输入装置与显示器是作为两个独立的部件来实现终端100的输入和输出功能,但是在某些实施例中,如,手机等移动终端,可以将输入装置(如,触控面板)与显示面板集成,而实现手机的输入和输出功能。
终端100还可包括至少一种传感器150,比如光传感器、运动传感器以及其他传感器。特别的,为了能够确定中终端当前的观看视角,终端至少包括能够获取用户感应用户身体姿态的传感器。
音频电路160可以连接有扬声器和麦克风,从而提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,麦克风将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出至通信模块110以发送给另一终端,或者将音频数据输出至存储器120以便进一步处理。
图像采集装置170用于采集终端所处环境的图像数据,并将图像采集数据传输给处理器进行处理。如,图像采集装置170可以为摄像头。可以理解的是,图1是是以该终端设置有该图像采集装置为例进行介绍,但是在实际应用中,该图像采集单元是设置于终端的外部,并通过线路或者无线网络等于该终端实现相连。
其中,该图像采集装置、连接有扬声器和麦克风的音频电路以及传感器可以作为本申请采集图像、音频等数据的数据采集模块。
处理器180是终端100的控制中心,利用各种数据接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行终端100的各种功能和处理数据,从而对终端进行整体监控。如,处
理器通过数据接口获取图像采集单元采集到的图像数据,同时,该数据接口还可以获取音频电路采集到的音频信号以及传感器采集到的感应信号,并将音频信号以及感应信号传输给处理器。
在本申请实施例中,该处理器可以包括:中央处理器(Central Processing Unit,CPU),还可以包括:图像处理器(Graphics Processing Unit,GPU)。
在一种可能的情况中,该处理器180至少可以用于:从数据接口获取终端当前所处环境的环境数据,该环境数据至少包括图像采集装置采集到的环境图像;在该环境图像为二维图像的情况下,将环境数据中的环境图像由二维图像转换为三维图像,得到由该环境数据转换出的虚拟现实数据,该虚拟现实数据用于反映终端所处环境的三维场景;并通过该通信模块将该虚拟现实数据传输给至少一个用于接收终端,该接收终端为用于接收该虚拟现实数据的终端。
具体的,该处理器可用于实现下述图2以及图3所示实施例提供的共享虚拟现实数据的方法中第一终端中处理器所执行的相关操作。
终端100还包括给各个部件供电的电源(比如电池),在一种可能的情况中,电源可以通过电源管理系统与处理器180逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
尽管未示出,终端100还可以包括射频模块、蓝牙模块等,在此不再赘述。
下面结合图1,对本申请实施例提供的一种共享虚拟现实数据的方法的方案进行说明。
首先,以第一终端向第二终端共享该第一终端所处环境对应的虚拟现实数据为例进行介绍。其中,该第一终端可以理解为需要发送或者共享虚拟现实数据的发送终端;而该第二终端为接收虚拟现实数据的接收终端。
如图2,其示出了本申请一种共享虚拟现实数据的方法一个实施例的流程示意图,本实施例的方法可以包括:
S201,第一终端采集该第一终端所处环境的视频数据;
可以理解的是,视频数据可以由连续的多帧图像组成,为了便于区分,将采集到的该第一终端所处环境的各帧图像称为环境图像。
如,可以通过第一终端的图像采集装置,例如摄像头或者第一终端外接的摄像头,采集该第一终端当前所处环境的图像。
可以理解的是,本申请实施例中该图像采集装置可以为采集二维(Two Dimensions,2D)图像的摄像头等图像采集装置,相应的,采集到的视频数据可以为包含多帧连续的2D图像。其中,2D图像也可以称为平面图像,是指具有两个维度的图像,如,可以通过(X,Y)这两个维度表示的图像。
该图像采集装置也可以是采集三维(Three Dimensions,3D)图像的摄像头等图像采集装置,其中,3D图像也可以称为立体图像,是指具有三个维度的图像,如,通过(X,Y,Z)三个维度表示的图像。如,图像采集装置可以为VR摄像头等,相应的,采集到的视频数据可以为包含多帧连续的3D图像。
特别的,为了能够更准确的反映出第一终端所处环境的特征(例如第一终端当前的时间、地点、天气等),该第一终端的图像采集装置采集该第一终端所处环境的视频数据的同时,还可以通过音频电路采集第一终端所处环境的音频信号,如,通过音频电路相连的麦克风等音频采集装置采集该第一终端所处环境的音频信号,以使得音频电路可以采集到音频信号。
为了使得第二终端侧的用户能够了解到第一终端侧的用户在所处环境中的观看视角等信息,在第一终端采集该视频数据的同时,还可以通过该第一终端的传感器感应第一终端侧用户的用户姿态的用户姿态数据,该用户姿态可以包括用户观看当前环境的观看视角。如,该用户姿态可以为用户的头部仰角等等。
其中,该视频图像、音频数据可以构成该第一终端侧所处环境的环境数据。
S202,第一终端检测当前采集到的环境图像是否属于3D图像,如果是,则将该环境图像作为第一终端当前所处环境的虚拟现实数据,并执行步骤S206;如果否,则执行步骤S203;
如,第一终端的处理器可以检测到该环境图像中是否包含深度信息,如果不包含深度信息,则说明该环境图像为2D图像;如果该环境图像包含深度信息,则该环境图像属于3D图像。
其中,2D图像与3D图像的差异,就是2D图像缺少深度信息,如,在摄像机坐标系中,以垂直成像平面并穿过镜面中心的直线为Z轴,如果被摄像的物体在摄像机坐标系的坐标为(X,Y,Z),那么,其中,物体在该Z轴的值就是该物体在该摄像机成像平面的深度信息,该物体的2D图像中不包含该深度信息,而该物体的3D图像中包含该深度信息。
可以理解的是,第一终端每个时刻采集一帧环境图像,第一终端每采集到一帧环境图像,均需要检测该环境图像是否属于3D图像,并在该环境图像不属于3D图像的情况下,执行将2D的环境图像转换为3D图像的操作。当然,考虑到第一终端在采集该第一终端侧所处环境的视频图像的过程中,一般不会进行摄像头等图像采集装置的切换,因此,也可以仅仅通过对视频数据中的第一帧环境图像进行检测,并根据该环境图像的维度,来确定视频数据所包含的各帧环境图像的维度。
需要说明的是,本申请仅仅是以环境数据包含环境图像为例进行介绍,而由于采集到的环境数据除了包含环境图像之外,还可能会包含音频信号等数据,因此,如果环境数据中的环境图像为3D图像时,可以将环境数据作为该第一终端所处环境的虚拟现实数据。
S203,在该环境图像为2D图像的情况下,第一终端确定将该环境图像从2D图像转换为3D图像所需的深度信息;
如,第一终端的处理器构建该环境图像的深度信息,以便后续依据为环境图像构建的深度信息,将环境图像由2D图像转换为3D图像。第一终端为2D的环境图像构建深度信息的方式可以有多种,如基于几何分析的方式,基于特征学习的方法,采用相对深度或者深度排序的方法构建深度信息,本申请对于采用何种方式构建将该2D的环境图像转换为3D图像所需的深度信息并不限制。
特别的,为了优化深度信息,如果该环境图像中存在处于运动状态的运动对象,则可以结合运动对象的运动信息、该环境图像以及处于该环境图像之前的最近一帧环境图像,
对该环境图像对应的深度信息进行优化处理。
其中,分析该环境图像中是否存在运动对象可以通过对该环境图像以及该环境图像相邻的一帧或多帧环境图像进行分析来确定,例如,对相邻帧环境图像进行图像识别,确定其中的被摄物体是否有位置偏移。
S204,第一终端依据为2D环境图像构建的深度信息以及该2D的环境图像,构建出该2D的环境图像对应的3D环境图像;
其中,为了便于区分,将由环境图像构建出的3D图像称为3D环境图像。
如,第一终端的处理器将该深度信息与该环境图像进行合成,从将2D的环境图像转换为3D环境图像。
其中,由环境图像构建出的该3D环境图像实际上反映的是采集到环境图像时,该第一终端所处环境的三维场景,因此,该3D环境图像实际上就是第一终端侧当前所处环境对应的虚拟现实数据。其中,该虚拟现实数据可以反映该第一终端所处环境的三维立体场景。
可以理解的是,以上是直接以对环境图像的处理为例进行说明,但是可以理解的是,如果第一终端的采集到的是包含环境图像的环境数据,则可以将环境数据中2D的环境图像转换为3D的环境图像,便可以得到由该环境数据转换出的虚拟现实数据。
需要说明的是,步骤S203和S204为将环境图像从2D图像转换为3D图像的一种实现方式,如果通过其他方式将该环境图像从2D转换为3D图像也同样适用于本申请实施例,在此不再赘述。
S205,第一终端对构建出的3D环境图像进行空洞填补。
其中,空洞填补也称空洞填充,空洞填补所利用的基本思想是空间相关性,即,利用图像中空洞周围的邻域像素来估计该孔洞中像素的深度值,从而依据估计出的深度值对空洞进行填充。
为了提高渲染出的3D环境图像所呈现出的3D效果,第一终端的处理器还可以对转换出的3D的环境图像进行空洞填补等优化处理。当然,该步骤仅仅是为了优化图像的3D效果,在对3D效果要求不高的场景中,也可以不执行该步骤S205。
S206,第一终端对3D环境图像进行VR场景渲染,得到渲染后的3D环境图像;
处理器对构建出的3D环境图像或者是采集到的3D的环境图像进行VR场景渲染的目的是为了避免后续第二终端展现该3D环境图像时,出现失真等异常情况。
为了便于理解图像所可能出现的失真,以几种失真情况,以及为了抵消失真所进行的VR场景渲染为例进行介绍:
如,由于终端的显示屏上的图像在透过透镜放大时,图像会被畸变,为了抵消这个畸变,就需要对图像进行拉伸扭曲,这样,终端显示出的图像投射到用户的视网膜上就是没有变形的图像。其中,为了抵消终端显示屏输出的图像的畸变所进行的处理就是反畸变,也称为反向畸变,反畸变就是VR场景渲染的一种处理方式。
又如,当一束白光穿过三棱镜,从三棱镜射出的是一道彩虹,那是因为不同颜色的光线折射率不同,而导致的色散现象。相应的,终端在输出图像的过程中,同样会出现该种色散现象。为了避免由于色散现象,而导致图像失真,可以利用光路可逆的原理进行反色
散,如,既然从图像投射出的光线经过透镜的时候会发生色散,那么就可以在图像的光线进入透镜之前,先将图像做一次色散,这样经过透镜呈现出的图像就是正常图像了。
又如,正常人的双眼注视同一物体时,物体分别在两眼视网膜处成像,并在大脑视中枢重叠起来,成为一个完整的、具有立体感的单一物体,这个功能叫双眼单视。而用于观看VR图像的VR眼镜的原理和我们的眼睛类似,目前的VR眼镜一般都是将图像内容分屏,切成两半,通过镜片实现叠加成像,这时往往会导致人眼瞳孔中心、透镜中心、屏幕(分屏后)中心不在一条直线上,使得视觉效果很差,出现不清晰、变形等一大堆问题。而理想的状态是,人眼瞳孔中心、透镜中心、屏幕(分屏后)中心应该在一条直线上,这时就需要通过调节透镜的“瞳距”使之与人眼瞳距重合,并调节屏幕的画面中心,保证3点处于一条直线上,从而获得最佳的视觉效果。而为了实现能够实现将人眼瞳孔中心、透镜中心、屏幕(分屏后)中心处于一条直线上,而对3D环境图像所处的处理称为瞳距调节。
在本申请实施例中,VR场景渲染可以包括:对该3D环境图像进行反向畸变、反色散以及瞳距调节等一种或多种处理。可见,如果采集到的环境数据(为了便于区分,可以称为第一环境数据)不是3D数据,该第一终端会调整该环境数据的参数信息(如,增加深度信息,进行空洞填补等等),以将环境数据转换为3D的环境数据(即,第二环境数据),并通过对该3D的环境数据进行VR场景渲染,生成经过VR场景渲染后的3D环境数据(可以称为第三环境数据或第三数据)。如果数据采集模块所采集到的环境数据(即第一环境数据)是3D数据,则该第一终端只需对该环境数据进行VR场景渲染,生成第四数据。
可以理解的是,如果在步骤S206之前获取到是的包含3D环境图像在内的虚拟现实数据,则可以直接对该虚拟现实数据中的三维的环境图像进行VR场景渲染即可。
S207,第一终端依据当前该第一终端与第二终端之间的网络状态,并确定该网络状态所适用的编码方式;
网络状态可以反映第一终端与第二终端之间数据传输效果,如,网络状态可以包括网络速度、网络信号质量等。
其中,该编码方式可以分为两大类,一种为有损编码方式,一种为无损编码方式。当然,每类编码方式具体又可以分为多种编码模式,如,有损编码方式可以包括:音视频交错格式(Aud io Video I nter leaved,AVI)的编码,动态图像专家组4(Moving Picture Experts Group 4,MPEG4)的编码方式等。无损编码方式可以包括:香农编码、哈夫曼(Huffman)编码、行程编码(Run Length Code,RLC)等。
在本申请实施例中,根据网络速度可以确定所需采用哪类编码方式,进而采用该类编码方式所包含的一种编码模式进行编码。
举例说明,当网络状态较好,如,网络状态表明该第一终端与第二终端的网络速度较高时,则第一终端的处理器可以采用无损编码方式作为所需的编码方式,由于无损编码方式编码出的图像质量较高,从而在不影响图像数据传输速度的情况下,向第二终端传输具有较高图像质量的图像数据。当然,在网络状态较好的情况下,具体采用哪种无损编码模式,则可以根据需要设定。而网络状态较差,如,网络状态表明该第一终端与第二终端的网络传输速度较低,第一终端可以选取有损编码方式作为对3D图像编码的编码方式,以尽
可能降低传输压缩后的数据所需的耗时。相应的,在网络状态较差的情况下,具体采用哪种有损编码模式,也可以根据需要设定。
可以理解的是,为了第一终端能够像第二终端传输该环境数据,第一终端与第二终端之间可以是预先建立通讯连接,如第一终端与第二终端之间可以建立有即时通讯通道,以通过第一终端与第二终端之间的即时通讯通道传输该经过编码后的3D环境图像。在该种情况下,可以确定第一终端与第二终端之间建立的通讯连接通道的网络状态。
当然,第一终端也可以通过邮件等形式将3D环境图像传输给第二终端,对于第一终端向第二终端传输该3D环境图像所采用的具体通信方式不加以限制。而在第一终端向第二终端传输数据之前,如果第一终端与第二终端为建立网络连接,那么可以仅仅确定第一终端的网络状态,并依据该第一终端的网络状态,确定编码方式。
需要说明的是,依据网络状态确定编码方式仅仅是一种实现方式,在实际应用中,也可以预先设定所需的编码方式,或者由用户选择所需的编码方式,在此不加以限制。
S208,第一终端依据确定出的编码方式,对经过VR场景渲染的3D环境图像进行编码,得到经过编码的3D环境数据。
可以理解的是,在采集环境图像的同时,如果第一终端采集到音频数据以及用户观看视角等数据,则,第一终端会将该经过VR场景渲染的3D环境数据和音频数据在内的环境数据,以及用户观看视角等数据一并进行编码,以便后续将编码后的环境数据以及第一终端侧用户的观看视角一起发送给第二终端。
S209,第一终端将经过编码的3D环境图像发送给第二终端。
如,第一终端的处理器将经过编码后的3D环境图像发送给第一终端的通信模块,并通过该通信模块将该经过编码后的3D环境图像传输给第二终端。
其中,第一终端向第一终端传输该经过编码的3D环境图像所采用的网络可以有多种可能,如可以通过有线网络,或者是蓝牙、wifi等无线网络向该第二终端传输给3D环境图像。具体的,传输该经过编码的3D环境图像所采用的传输协议,与传输该3D环境图像所采用的传输方式有关。
可以理解的是,由于步骤S201会持续采集环境图像,因此,在实际应用中可以第一终端会不断重复以上步骤S202至S209,直至所有将采集到视频图像中的所有环境图像均进行处理后发送给第二终端。
在本申请实施例中,是以获取到第一终端当前所处环境的环境图像时,如果当前获取到的该环境图像为二维图像,则实时该环境图像转换为虚拟现实数据,并将当前转换出的虚拟现实数据实时传输给第二终端为例进行说明。
但是可以理解的是,在不需要实时共享第一终端侧所处环境的场景的情况中,也可以是在第一终端结束对第一终端所处环境的环境图像的采集之后,再依次将采集到的环境图像转换为虚拟现实数据,并对虚拟现实数据进行VR场景渲染;然后,再依次对经过VR渲染后的各个3D图像进行编码并传输;或者是将所有的经过VR场景渲染后的3D图像进行统一编码之后,再一起发送给第二终端。
需要说明的是,以上是以该第一终端连续摄取多帧环境图像为例进行介绍,但是可以
理解的是,如果第一终端仅仅采集到一帧环境图像,同样可以采用本申请实施例的方式进行处理,其过程相似,在此不再赘述。
特别的,在将环境数据中的环境图像转换为3D图像,并对转换出的3D图像进行VR场景渲染的情况下,环境数据中包含了经过VR场景渲染后的3D环境数据,则可以直接对环境数据进行编码,以便后续将编码后的环境数据传输给第二终端。
本实施例是以第一终端将环境图像对应的虚拟现实数据(3D环境图像或者包含3D环境图像的视频数据)发送给一个第二终端为例进行介绍,但是可以理解的是,第一终端可以根据需要向多个第二终端发送该虚拟现实数据,其具体过程相似,在此不再赘述。
S210,第二终端在接收到经过编码的3D环境图像的情况下,对该经过编码的3D环境数据解码,得到该3D环境图像。
如,第二终端通过其通信模块接收第一终端传输的该经过编码的3D环境图像,第二终端的处理器(处理器可以调用数据解码模块)将通信模块接收到的该经过编码的3D环境图像进行解码,以解码出该3D环境图像。
在第一终端向第二终端发送的为经过编码的环境数据的情况下,则可以对环境数据进行解码,以解码出包含由该3D环境图像的环境数据。
S211,第二终端获取当前观看该3D环境图像的指定观看视角。
S212,第二终端按照该指定观看,对该3D环境图像进行渲染,得到以该指定观看视角所呈现出的3D环境图像。
可以理解的是,第二终端解码出的图像为一个3D图像,而第二终端向显示屏输出的图像可以为任意视角下所观看到的图像,因此,第二终端的处理器可以先确定一个指定视角,并按照该指定视角,对该3D环境图像进行渲染,得到以该指定视角呈现出的3D环境图像。
其中,该指定视角可以为预先设定的默认视角,也可以是由第二终端侧的用户预先选择或者实时选择的观看视角。
可以理解的是,在第二终端接收到的经过编码的3D环境数据的同时,如果第二终端的通信模块接收到经过编码的用户姿态数据,则该第二终端的处理器可以解码出用户姿态数据。相应的,该处理器可以根据该用户姿态数据确定第一终端侧的用户的观看视角,从而可以将该第一终端侧的用户的观看视角作为默认的观看视角。这样,在第二终端侧的用户不调整观看视角的情况下,第二终端可以按照该第一终端侧用户的观看视角,对该3D环境图像进行渲染,从而使得第二终端可以感受到第一终端侧用户观看到的环境场景。
S213,第二终端将以该指定观看视角所呈现出的3D环境图像输出到显示屏。
如,第二终端的处理器将按照指定观看视角渲染后的3D环境图像传输给第二终端的显示单元,以通过该显示单元输出该3D环境图像。
在第二终端输出3D环境图像之后,第二终端的用户可以通过虚拟现实设备来观看该第二终端侧所输出的3D环境图像,从而可以采取第一终端的用户相关的观看视角观看该3D环境图像;也可以按照自己的需求没从任意视角观看该3D图像,从而可以体验到如同亲临到第一终端侧用户所处环境的视觉感受。
在本申请实施例中,第一终端可以获取第一终端所处环境的环境图像,并基于该环境
图像构建出用于反映该第一终端所处环境的三维场景的3D环境图像,并将3D环境图像发送给至少一个第二终端,这样,第二终端的用户通过观看该第二终端输出的该3D环境图像,可以感受到如同身处该第一终端所处的环境中的视觉体验,从而体验到与第一终端处于相同环境场景的体验效果。
可以理解的是,以上是以第一终端向第二终端共享该第一终端所处环境对应的虚拟现实数据为例进行介绍,在实际应用中,第一终端还可以将第一终端侧用户正在观看的视频图像作为需要共享的视频图像,并经过本申请的共享虚拟现实数据的方法进行处理后,分享给第二终端,以使得第二终端的用户可以体验到与第一终端的用户观看该视频图像相同的体验效果。当然,第一终端也可以将第一终端存储的视频图像作为待分享的数据,并利用本申请的共享虚拟现实数据的方法将该存储的视频图像处理为虚拟现实数据,并传输给第二终端。
以第一终端将第一终端正在播放的视频图像分享给第二终端为例进行介绍。
如图3,其示出了本申请一种共享虚拟现实数据的方法又一种实施例的流程示意图,本实施例的方法可以包括:
S301,第一终端获取该第一终端当前播放的视频数据;
该视频数据至少包括视频图像,还可以包括音频信号;
该视频数据可以为一帧图像以及该帧图像所关联的音频信号,如,终端播放的视频文件中当前正在播放的一帧视频图像以及输出的音频信号所组成的视频数据。
当然,视频数据也可以是一个视频文件,在该视频文本中包括多帧视频图像以及该多帧视频文件关联的音频信号,在该种情况下,第一终端可以依次处理该视频文件中各帧视频图像,其处理过程与本实施例的过程相似,在此不再赘述。
在一种实现方式中,第一终端可以获取该第一终端展现出的目标播放窗口中当前播放的视频数据,该目标播放窗口可以为第一终端中指定应用的图像输出窗口。
如,指定应用可以为游戏应用,而该目标播放窗口为游戏应用输出游戏画面的游戏窗口,在该种应用场景中,第一终端获取到的视频数据可以为游戏数据,该游戏数据包括游戏画面以及游戏中的声音信号等,通过本实施例的虚拟现实共享方法,可以实现将该游戏数据中的游戏画面转换为虚拟现实数据,以共享给第二终端的用户,以使得第二终端的用户可以观看到第一终端侧播放的游戏画面所对应的三维立体场景。
又如,该指定应用可以为播放器,则该目标播放窗口可以为播放器的视频播放窗口,在该种应用场景中,第一终端可以获取播放器的视频播放窗口所播放的视频图像,并通过本实施例的虚拟现实共享方法,实现将播放器所播放的视频图像转换为虚拟现实数据,并共享给第二终端的用户,以使得第二终端的用户可以感受到身处该第一终端侧的播放器播放的视频图像所对应的三维立体场景的体验。
当然,该指定应用还可以为浏览器等等具备图像输出功能的应用,在此不加以限制。
在一种可能的实现方式中,第一终端获取当前播放的视频图像的同时,还可以通过传感器等器件感应第一终端侧用户观看视频图像的观看视角,以便后续第二终端侧可以以相
同的观看视角观看该视频图像。
S302,第一终端检测该视频数据中的视频图像是否属于3D图像,如果是,则将该视频数据作为第一终端当前播放的虚拟现实数据,并执行步骤S306;如果否,则执行步骤S303;
可以理解的是,在视频数据包含多帧视频图像的情况下,均需要检测当前播放的视频图像是否属于3D图像,并在该视频图像不属于3D图像的情况下,执行将2D的视频图像转换为3D图像的操作。当然,考虑到一个视频文件内的视频图像的维度一般也是相同的,因此,也可以仅仅通过对视频数据中的第一帧视频图像进行检测,并根据该第一帧图像的维度,来确定视频数据所包含的各帧图像的维度。
S303,在视频图像为2D图像的情况下,第一终端确定将视频数据中该视频图像从2D图像转换为3D图像所需的深度信息;
特别的,为了优化深度信息,如果该视频图像中存在处于运动状态的运动对象,则可以结合运动对象的运动信息以及视频图像中处于该视频图像之前的最近一帧图像,对该环境图像对应的深度信息进行优化处理。
S304,第一终端依据视频图像对应的深度信息以及该视频图像,将该视频数据中的视频图像转换为3D视频图像,得到由视频数据转换出的虚拟现实数据;
其中,为了便于区分,将视频图像转换出的3D图像称为3D视频图像,而由于包含该3D环境图像的视频数据实际上是一个三维的视频数据,因此,转换后的视频数据可以称为虚拟现实数据,该虚拟现实数据用于反映该第一终端当前播放的视频图像的三维场景。
S305,第一终端对虚拟现实数据中3D视频图像进行空洞填补和优化。
当然,该步骤仅仅是为了优化图像的3D效果,在对3D效果要求不高的场景中,也可以不执行该步骤S305。
S306,第一终端对虚拟现实数据中的3D视频图像进行VR场景渲染,得到渲染后的虚拟现实数据;
如,VR场景渲染包括:对该3D环境图像进行反畸变、反色散以及瞳距调节等一种或多种处理。
将视频图像转换为3D视频图像的过程与前面实施例中将环境图像转换为3D环境图像的过程相似,具体可以参见前面实施例的相关介绍,在此不再赘述。
S307,第一终端依据当前该第一终端与第二终端之间的网络状态,并确定该网络状态所适用的编码方式;
需要说明的是,依据网络状态确定编码方式仅仅是一种实现方式,在实际应用中,也可以预先设定所需的编码方式,或者由用户选择所需的编码方式,在此不加以限制。
S308,第一终端依据确定出的编码方式,对经过VR场景渲染的虚拟现实数据进行编码,得到经过编码的虚拟现实数据。
可以理解的是,如果第一终端获取视频数据的同时,获取到该第一终端侧用户的观看视角,则可以将虚拟现实数据与该用户的观看视角一起进行编码,以便后续将经过编码后的虚拟现实数据以及观看视角一起发送给第二终端。
对虚拟现实数据进行编码以及发送的过程可以参见前面实施例中相关过程,在此不再
赘述。
S309,第一终端将经过编码的虚拟现实数据发送给第二终端。
S310,第二终端在接收到经过编码的虚拟现实数据的情况下,对该经过编码的虚拟现实数据进行解码,得到包含3D视频图像的虚拟现实数据。
S311,第二终端获取当前观看该3D视频图像的指定观看视角。
S312,第二终端按照该指定观看,对该3D视频图像进行渲染,得到以该指定观看视角所呈现出的3D视频图像。
其中,该指定视角可以为预先设定的默认视角,也可以是由第二终端侧的用户预先选择或者实时选择的观看视角。
可以理解的是,在第二终端接收到的经过编码的3D环境数据的同时,如果第二终端的通信模块接收到第一终端侧用户观看该视频图像的观看视角,可以将观看视角作为默认的观看视角。
S313,第二终端将以该指定观看视角所呈现出的3D视频图像输出到显示屏。
本实施例的方案中,第一终端将该第一终端当前播放的视频图像对应的3D图像发送给至少一个第二终端,这样,如果第一终端的用户所观看的视频图像为3D视频图像,那么在将该3D视频图像共享给第二终端,可以实现第二终端的用户体验到与第一终端的用户相同的观看体验;而如果第一终端的用户所观看的视频图像为2D视频图像,通过本申请的方案可以将第一终端侧所播放的视频图像转换为3D图像并分享给第二终端,从而实现了3D图像的分享,使得第二终端的用户可以同步观看该第一终端侧的用户所观看的视频图像所对应的虚拟现实数据。
另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当所述指令在终端上运行时,使得该终端执行如上任意一种共享虚拟现实数据的方法。
另一方面,本申请还提供了一种包含指令的计算机程序产品,当该计算机程序产品在终端上运行时,使得该终端执行如上所述的共享虚拟现实数据的方法。
另一方面,本申请还提供了一种共享虚拟现实数据的装置,该装置可以应用于前面所提到的发送虚拟现实数据的终端中。
如,参见图4,其示出了本申请一种共享虚拟现实数据的装置一个实施例的组成结构示意图,本实施的装置可以包括:
数据采集模块401,用于获取终端所处环境的环境数据,该环境数据至少包括环境图像。该环境数据可以理解为由至少一帧环境图像组成的视频数据。如,数据采集模块获取通过摄像头(采集二维图像的摄像头或者采集VR数据的摄像头)等图像采集装置采集到的该终端所处环境的环境图像。
图像处理模块402,用于在该环境图像为二维图像的情况下,将该环境数据中的该环境图像由二维图像转换为三维图像,得到由该境数据转换出的虚拟现实数据,该虚拟现实数
据用于反映所述终端所处环境的三维场景。
数据传输模块403,用于将所述虚拟现实数据传输给至少一个接收终端。
其中,该数据采集装置获取到的环境数据还可以包括:通过终端上的麦克风等采集到的音频数据,以及通过传感器感应到的用户姿态等等数据。获取到的环境数据以及用户姿态等数据可以统称为用户环境数据。其中,该用户姿态可以为用户观看该第一终端所处环境的观看视角,相应的,该数据传输模块403在传输该虚拟现实数据的同时,还可以传输该用户姿态数据,以使得接收设备可以按照该观看视角渲染所述虚拟现实数据,并输出以所述观看视角呈现出的虚拟现实数据。
在一种实现方式中,该图像处理模块在从数据采集模块获取到环境数据之后,还可以检测到采集到的数据是否为3D数据。
如果该环境数据为2D数据,该图像处理模块在将环境数据中的环境图像转换为3D图像的过程可以为:确定2D环境数据对应的深度信息,并利用获取的深度信息和该2D环境数据构建出3D环境数据。其中,在处理有运动信息的视频时利用运动信息和帧间信息优化深度信息。
进一步的,该图像处理模块还可以对该3D环境数据进行空洞填补和优化。
进一步的,该图像处理模块在构建出3D环境数据之后,还可以对3D环境数据进行渲染,即进行前面所提到的VR场景渲染。
如果图像处理模块确定出该环境数据为3D数据,则该图像处理模块还可以将该环境数据确定为虚拟现实数据,以便直接对该3D的环境数据VR场景渲染。
在一种实现方式中,该装置还可以包括:数据编码模块404,用于基于终端的网络状态确定编码模式;按照该编码模式对虚拟现实数据进行编码。该数据编码模块可以根据网络状态,自适应选择最适宜的编码方式,并按着选定的编码方式对3D环境数据进行编码,以提高后续传输虚拟现实数据的速度和可靠性。
另一方面,本申请还提供了又一种共享虚拟现实数据的装置,该装置可以应用于接收该虚拟现实数据的接收终端中。
如,参见图5,其示出了又一种共享虚拟现实数据的装置一个实施例的组成结构示意图,本实施例的装置可以包括:
数据接收模块501,用于从发送终端接收虚拟现实数据。其中,该数据接收模块501可以通过传输协议与发送终端的数据传输模块建立传输连接。
显示模块502,用于显示该虚拟现实数据。
其中,该显示模块将虚拟现实数据所输出至的显示屏幕包括但不局限于手机屏幕,VR头盔自带显示屏幕等。
在一种实现方式中,该装置还包括数据解码模块503。
如果该数据接收模块接收到的虚拟现实数据为编码后的虚拟现实数据,则该数据接收模块将该虚拟现实数据传递给数据解码模块。该数据解码模块用于对该虚拟现实数据进行解码,并将解码后的虚拟现实数据传输给显示模块进行显示。
本申请中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (25)
- 一种共享虚拟现实数据的方法,其特征在于,包括:获取第一终端当前所处环境的环境数据,所述环境数据至少包括:第一终端所处环境的环境图像;在所述环境图像为二维图像的情况下,将所述环境数据中的所述环境图像由二维图像转换为三维图像,得到由所述环境数据转换出的虚拟现实数据,所述虚拟现实数据用于反映所述第一终端所处环境的三维场景;将所述虚拟现实数据传输给至少一个第二终端。
- 根据权利要求1所述的共享虚拟现实数据的方法,其特征在于,还包括:在所述环境图像为三维图像的情况下,将所述环境数据确定为所述用于反映所述第一终端所处环境的三维场景的虚拟现实数据。
- 根据权利要求1或2所述的共享虚拟现实数据的方法,其特征在于,在得到虚拟现实数据之后,还包括:对所述虚拟现实数据中三维的环境图像进行虚拟现实场景渲染,所述虚拟现实场景渲染包括:反向畸变、反色散和瞳距调节中的一种或几种。
- 根据权利要求1或2所述的共享虚拟现实数据的方法,其特征在于,所述将所述环境数据中的所述环境图像由二维图像转换为三维图像,包括:为所述环境数据中的所述环境图像创建深度信息;利用所述深度信息和所述环境图像,构建所述环境图像对应的三维图像。
- 根据权利要求1所述的共享虚拟现实数据的方法,其特征在于,在所述采集第一终端当前所处环境的环境数据的同时,还包括:采集所述第一终端侧的用户对所述环境的观看视角;在所述将所述虚拟现实数据传输给至少一个第二终端的同时,还包括:将所述观看视角发送给所述至少一个第二终端,以便所述第二终端按照该观看视角渲染所述虚拟现实数据,并输出以所述观看视角呈现出的虚拟现实数据。
- 根据权利要求1、2或5所述的共享虚拟现实数据的方法,其特征在于,在所述将所述虚拟现实数据传输给至少一个第二终端之前,还包括:确定所述第一终端的网络状态;基于所述网络状态确定编码模式;按照所述编码模式对所述虚拟现实数据进行编码。
- 根据权利要求1、2或5所述的共享虚拟现实数据的方法,其特征在于,所述获取第一终端当前所处环境的环境数据,包括:获取当前采集到的第一终端当前所处环境的环境图像;所述在所述环境图像为二维图像的情况下,将所述环境数据中的所述环境图像由二维图像转换为三维图像,得到由所述环境数据转换出的虚拟现实数据,包括:在获取到当前采集到的所述环境图像,且确定所述环境图像为二维图像时,将所述环境数据中的所述环境图像由二维图像转换为三维图像,得到由所述环境数据转换出的虚拟 现实数据;所述将所述虚拟现实数据传输给至少一个第二终端,包括:将当前时刻转换出的所述虚拟现实数据传输给至少一个第二终端。
- 一种共享虚拟现实数据的方法,其特征在于,包括:获取第一终端待分享的目标数据,所述目标数据包括至少一帧图像;在所述目标数据中的图像为二维图像的情况下,将所述目标数据中的图像由二维图像转换为三维图像,得到由所述目标数据转换出的虚拟现实数据,所述虚拟现实数据用于反映依据所述目标数据所构建出的三维场景;将所述虚拟现实数据传输给至少一个第二终端。
- 根据权利要求8所述的共享虚拟现实数据的方法,其特征在于,所述获取第一终端侧待分享的目标数据,包括:获取第一终端当前所处环境的环境数据,所述环境数据包括:第一终端所处环境的环境图像。
- 根据权利要求8所述的共享虚拟现实数据的方法,其特征在于,所述获取第一终端待分享的目标数据,包括:获取所述第一终端当前播放的视频数据,所述视频数据包括至少一帧视频图像。
- 根据权利要求10所述的共享虚拟现实数据的方法,其特征在于,所述获取所述第一终端当前播放的视频数据,包括:获取所述第一终端中展现出的目标播放窗口中当前播放的视频数据,其中,所述目标播放窗口为所述第一终端中指定应用的图像输出窗口。
- 一种终端,其特征在于,包括:图像采集装置,用于采集所述终端当前所处环境的环境图像;数据接口,用于获取所述终端当前所处环境的环境数据,所述环境数据至少包括:所述图像采集装置采集到的所述环境图像;处理器,用于在所述环境图像为二维图像的情况下,将所述环境数据中的所述环境图像由二维图像转换为三维图像,得到由所述环境数据转换出的虚拟现实数据,所述虚拟现实数据用于反映所述终端所处环境的三维场景;通信模块,用于将所述虚拟现实数据传输给至少一个接收终端。
- 根据权利要求12所述的终端,其特征在于,所述处理器,还用于在所述环境图像为三维图像的情况下,将所述环境数据确定为所述用于反映所述终端所处环境的三维场景的虚拟现实数据。
- 根据权利要求12或13所述的终端,其特征在于,所述处理器还用于,在得到虚拟现实数据之后,对所述虚拟现实数据中三维的环境图像进行虚拟现实场景渲染,所述虚拟现实场景渲染包括:反向畸变、反色散和瞳距调节中的一种或几种。
- 根据权利要求12至14任一项所述的终端,其特征在于,所述处理器在将所述环境数据中的所述环境图像由二维图像转换为三维图像时,具体用于,为所述环境图像中的所述环境图像创建深度信息;利用所述深度信息和所述环境图像,构建所述环境图像对应 的三维图像。
- 根据权利要求15所述的终端,其特征在于,所述终端还包括:传感器,用于感应所述终端侧的用户对所述环境的观看视角;所述数据接口,还用于所述传感器采集到的所述终端侧的用户对所述环境的观看视角;所述通信模块,还用于在所述将所述虚拟现实数据传输给至少一个第二终端的同时,将所述观看视角发送给所述至少一个第二终端,以便所述第二终端按照该观看视角渲染所述虚拟现实数据,并输出以所述观看视角呈现出的虚拟现实数据。
- 根据权利要求12、13或16所述的终端,其特征在于,所述处理器还用于,在所述通信模块将所述虚拟现实数据传输给至少一个接收终端之前,确定所述终端的网络状态;基于所述网络状态确定编码模式;按照所述编码模式对所述虚拟现实数据进行编码。
- 一种终端,其特征在于,包括:数据接口,用于获取第一终端待分享的目标数据,所述目标数据包括至少一帧图像;处理器,用于在所述目标数据中的图像为二维图像的情况下,将所述目标数据中的图像由二维图像转换为三维图像,得到由所述目标数据转换出的虚拟现实数据,所述虚拟现实数据用于反映依据所述目标数据所构建出的三维场景;通信模块,用于将所述虚拟现实数据传输给至少一个第二终端。
- 根据权利要求18所述的终端,其特征在于,所述数据接口在获取第一终端侧待分享的目标数据时,具体用于,获取第一终端当前所处环境的环境数据,所述环境数据包括:第一终端所处环境的环境图像。
- 根据权利要求18所述的终端,其特征在于,所述数据接口在获取第一终端待分享的目标数据时,具体用于获取所述第一终端当前播放的视频数据,所述视频数据包括至少一帧视频图像。
- 根据权利要求20所述的终端,其特征在于,所述数据接口在获取所述第一终端当前播放的视频数据时,具体用于,获取所述第一终端中展现出的目标播放窗口中当前播放的视频数据,其中,所述目标播放窗口为所述第一终端中指定应用的图像输出窗口。
- 一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在终端上运行时,使得所述终端执行如权利要求1-7中任一项所述的共享虚拟现实数据的方法。
- 一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在终端上运行时,使得所述终端执行如权利要求8-11中任一项所述的共享虚拟现实数据的方法。
- 一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在终端上运行时,使得所述终端执行如权利要求1-7中任一项所述的共享虚拟现实数据的方法。
- 一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在终端上运行时,使得所述终端执行如权利要求8-11中任一项所述的共享虚拟现实数据的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611224693 | 2016-12-27 | ||
CN2016112246938 | 2016-12-27 | ||
PCT/CN2017/087725 WO2018120657A1 (zh) | 2016-12-27 | 2017-06-09 | 一种共享虚拟现实数据的方法和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108431872A true CN108431872A (zh) | 2018-08-21 |
Family
ID=62706946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780005621.0A Pending CN108431872A (zh) | 2016-12-27 | 2017-06-09 | 一种共享虚拟现实数据的方法和设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108431872A (zh) |
WO (1) | WO2018120657A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111612919A (zh) * | 2020-06-19 | 2020-09-01 | 中国人民解放军国防科技大学 | 数字孪生飞行器的多学科分屏同步展示方法和系统 |
CN112492231A (zh) * | 2020-11-02 | 2021-03-12 | 重庆创通联智物联网有限公司 | 远程交互方法、装置、电子设备和计算机可读存储介质 |
CN117915117A (zh) * | 2024-01-25 | 2024-04-19 | 太一云境技术有限公司 | 一种陪伴交流照看方法、系统、计算机设备及其存储介质 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109992902A (zh) * | 2019-04-08 | 2019-07-09 | 中船第九设计研究院工程有限公司 | 一种基于虚拟现实的船舶舱室体验系统构建方法 |
CN111459267A (zh) * | 2020-03-02 | 2020-07-28 | 杭州嘉澜创新科技有限公司 | 一种数据处理方法、第一服务器、第二服务器与存储介质 |
CN113452896B (zh) | 2020-03-26 | 2022-07-22 | 华为技术有限公司 | 一种图像显示方法和电子设备 |
CN111931830B (zh) * | 2020-07-27 | 2023-12-29 | 泰瑞数创科技(北京)股份有限公司 | 视频融合处理方法、装置、电子设备及存储介质 |
CN114554276B (zh) * | 2020-11-26 | 2023-12-12 | 中移物联网有限公司 | 一种设备间内容共享的方法、装置及系统 |
CN113873313B (zh) * | 2021-09-22 | 2024-03-29 | 乐相科技有限公司 | 一种虚拟现实画面分享方法及装置 |
CN115396474A (zh) * | 2022-08-30 | 2022-11-25 | 重庆长安汽车股份有限公司 | 一种车端虚拟现实数据传输系统及方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101754036A (zh) * | 2008-12-19 | 2010-06-23 | 聚晶光电股份有限公司 | 二维/三维图像成像装置、控制方法及三维图像显示方法 |
CN102164265A (zh) * | 2011-05-23 | 2011-08-24 | 宇龙计算机通信科技(深圳)有限公司 | 一种三维视频通话的方法及系统 |
CN102547328A (zh) * | 2010-08-26 | 2012-07-04 | Lg电子株式会社 | 图像显示设备及其操作方法 |
CN103127717A (zh) * | 2011-12-02 | 2013-06-05 | 深圳泰山在线科技有限公司 | 控制操作游戏的方法及系统 |
CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法 |
CN103634563A (zh) * | 2012-08-24 | 2014-03-12 | 中兴通讯股份有限公司 | 视频会议显示方法及装置 |
CN104866261A (zh) * | 2014-02-24 | 2015-08-26 | 联想(北京)有限公司 | 一种信息处理方法和装置 |
JP2015192436A (ja) * | 2014-03-28 | 2015-11-02 | キヤノン株式会社 | 送信端末、受信端末、送受信システム、およびそのプログラム |
JP5997824B1 (ja) * | 2015-11-10 | 2016-09-28 | 株式会社オプティム | 遠隔端末、遠隔指示方法及び遠隔端末用プログラム |
WO2016191051A1 (en) * | 2015-05-28 | 2016-12-01 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103269423B (zh) * | 2013-05-13 | 2016-07-06 | 浙江大学 | 可拓展式三维显示远程视频通信方法 |
CN105913715A (zh) * | 2016-06-23 | 2016-08-31 | 同济大学 | 适用于建筑环境工学研究的vr可共享实验系统及方法 |
CN106060528B (zh) * | 2016-08-05 | 2018-08-10 | 福建天泉教育科技有限公司 | 基于手机端和电子白板的增强现实方法及系统 |
-
2017
- 2017-06-09 CN CN201780005621.0A patent/CN108431872A/zh active Pending
- 2017-06-09 WO PCT/CN2017/087725 patent/WO2018120657A1/zh active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101754036A (zh) * | 2008-12-19 | 2010-06-23 | 聚晶光电股份有限公司 | 二维/三维图像成像装置、控制方法及三维图像显示方法 |
CN102547328A (zh) * | 2010-08-26 | 2012-07-04 | Lg电子株式会社 | 图像显示设备及其操作方法 |
CN102164265A (zh) * | 2011-05-23 | 2011-08-24 | 宇龙计算机通信科技(深圳)有限公司 | 一种三维视频通话的方法及系统 |
CN103127717A (zh) * | 2011-12-02 | 2013-06-05 | 深圳泰山在线科技有限公司 | 控制操作游戏的方法及系统 |
CN103634563A (zh) * | 2012-08-24 | 2014-03-12 | 中兴通讯股份有限公司 | 视频会议显示方法及装置 |
CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法 |
CN104866261A (zh) * | 2014-02-24 | 2015-08-26 | 联想(北京)有限公司 | 一种信息处理方法和装置 |
JP2015192436A (ja) * | 2014-03-28 | 2015-11-02 | キヤノン株式会社 | 送信端末、受信端末、送受信システム、およびそのプログラム |
WO2016191051A1 (en) * | 2015-05-28 | 2016-12-01 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
JP5997824B1 (ja) * | 2015-11-10 | 2016-09-28 | 株式会社オプティム | 遠隔端末、遠隔指示方法及び遠隔端末用プログラム |
Non-Patent Citations (9)
Title |
---|
HUIYU NIE: "3D Video Conversion Method Based on the Depth of the Image Description", 《计算机科学与电子技术国际学会(COMPUTER SCIENCE AND ELECTRONIC TECHNOLOGY INTERNATIONAL SOCIETY)会议论文集》 * |
JAE-HYEUNG PARK 等: "Depth-enhanced three-dimensional–two-dimensional convertible display based on modified integral imaging", 《OPTICS LETTERS》 * |
KYOJI MATSUSHIMA 等: "Digitized holography: modern holography for 3D imaging of virtual and real objects", 《APPLIED OPTICS》 * |
万征: "《IEEE 802.11e无线网络中的跨层自适应视频传输研究》", 31 December 2015, 复旦大学出版社 * |
张翠红: "基于Kinect深度相机的室内三维场景重构", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
本刊编辑部: "让VR产业由愿景到成熟应用的技术有哪些?", 《单片机与嵌入式系统应用》 * |
杨欣: "如何挑选VR眼镜", 《计算机与网络》 * |
杨进军: "中关村布局VR/AR产业 抢占虚拟现实制高点", 《中关村》 * |
黄炳乐 等: "一种二维视频转换为三维视频的新方法", 《光电子技术》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111612919A (zh) * | 2020-06-19 | 2020-09-01 | 中国人民解放军国防科技大学 | 数字孪生飞行器的多学科分屏同步展示方法和系统 |
CN112492231A (zh) * | 2020-11-02 | 2021-03-12 | 重庆创通联智物联网有限公司 | 远程交互方法、装置、电子设备和计算机可读存储介质 |
CN117915117A (zh) * | 2024-01-25 | 2024-04-19 | 太一云境技术有限公司 | 一种陪伴交流照看方法、系统、计算机设备及其存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2018120657A1 (zh) | 2018-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108431872A (zh) | 一种共享虚拟现实数据的方法和设备 | |
CN109919888B (zh) | 一种图像融合的方法、模型训练的方法以及相关装置 | |
CN110139028B (zh) | 一种图像处理的方法及头戴式显示设备 | |
JP6030230B2 (ja) | パノラマベースの3dビデオコーディング | |
CN111445583B (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
CN107667534A (zh) | 在有限的带宽连接中播放球形视频 | |
CN105340279A (zh) | 用于近眼显示器的显示更新时间缩减 | |
US10572764B1 (en) | Adaptive stereo rendering to reduce motion sickness | |
WO2017023471A1 (en) | Depth image enhancement for hardware generated depth images | |
US10964067B2 (en) | Visual quality enhancement of reconstructed point clouds via color smoothing | |
US10482670B2 (en) | Method for reproducing object in 3D scene and virtual reality head-mounted device | |
CN107065197B (zh) | 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统 | |
US11843755B2 (en) | Cloud-based rendering of interactive augmented/virtual reality experiences | |
Akyildiz et al. | Wireless extended reality (XR): Challenges and new research directions | |
US20150244984A1 (en) | Information processing method and device | |
CN111510757A (zh) | 一种共享媒体数据流的方法、装置以及系统 | |
CN113014960B (zh) | 一种在线制作视频的方法、装置及存储介质 | |
KR20220062938A (ko) | 가상현실 서비스를 제공하는 전자 장치 및 방법 | |
US20220172440A1 (en) | Extended field of view generation for split-rendering for virtual reality streaming | |
CN105472358A (zh) | 一种关于视频图像处理的智能终端 | |
CN110807769B (zh) | 图像显示控制方法及装置 | |
CN210090827U (zh) | 一种轻便化的ar眼镜实现系统 | |
US20210192681A1 (en) | Frame reprojection for virtual reality and augmented reality | |
KR20200144702A (ko) | 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법 | |
WO2021249562A1 (zh) | 一种信息传输方法、相关设备及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180821 |