CN106385587A - 分享虚拟现实视角的方法、装置及系统 - Google Patents
分享虚拟现实视角的方法、装置及系统 Download PDFInfo
- Publication number
- CN106385587A CN106385587A CN201610826631.8A CN201610826631A CN106385587A CN 106385587 A CN106385587 A CN 106385587A CN 201610826631 A CN201610826631 A CN 201610826631A CN 106385587 A CN106385587 A CN 106385587A
- Authority
- CN
- China
- Prior art keywords
- viewing
- visual angle
- terminal
- angle
- service device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000005540 biological transmission Effects 0.000 claims abstract description 216
- 230000000007 visual effect Effects 0.000 claims description 596
- 230000004044 response Effects 0.000 claims description 166
- 238000005516 engineering process Methods 0.000 description 13
- 230000011664 signaling Effects 0.000 description 9
- 230000006854 communication Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1069—Session establishment or de-establishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/64—Addressing
- H04N21/6405—Multicasting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- Radar, Positioning & Navigation (AREA)
- Optics & Photonics (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种用于分享虚拟现实视角的方法、装置和系统。方法包括:内容分发服务器与终端和视角分享服务器分别建立第一传输连接,分别向终端和视角分享服务器组播全景视频数据;视角分享服务器经由第一传输连接接收全景视屏数据,与终端建立第二传输连接以接收终端反馈的视角信息或向终端发送视角信息,呈现接收的视角信息;终端经由第一传输连接接收全景视频数据,将全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频,经由第二传输连接反馈终端的视角信息,接收视角分享服务器发送的视角信息,将全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频,增加了向用户呈现的信息量。
Description
技术领域
本申请一般涉及电子设备的通信领域,具体涉及虚拟现实设备的通信领域,尤其涉及分享虚拟现实视角的方法、装置及系统。
背景技术
随着虚拟现实VR(Virtual Reality)技术的发展,全景视频及其相关技术也得到了非常广泛的关注。全景视频,又名360°全景视频,由一系列的全景图组成,受成像设备的限制,需要通过多个相机同时对多个角度的图像进行拍摄,并利用拼接算法将同一时间内多个角度的图像拼接成一幅全景图像。
在用户终端向用户呈现用户视角可见区域的图像时,由于全景视频显示的是360°的图像,并且图像中的线条都有一定程度的扭曲,并不能直接播放,因此需要根据投影方式的不同,选择不同的坐标变换公式,将三维空间坐标转换成二维坐标,得到用户视角可见区域的图像,从而显示该用户视角可见区域的图像。由于全景视频允许用户从不同角度及位置去浏览视频,各位用户浏览的虚拟场景的视角可能不尽相同。
然而,目前向用户显示的图像仅为用户视角可见区域的图像,能够向用户呈现的信息较少,导致用户与其他用户或管理者之间进行交互的信息量较少。
发明内容
本申请提供了一种分享虚拟现实视角的方法、装置及系统。
一方面,本申请提供了一种用于分享虚拟现实视角的方法,所述方法包括:内容分发服务器与终端和视角分享服务器分别建立第一传输连接,分别向所述终端和所述视角分享服务器组播全景视频数据;所述视角分享服务器与所述内容分发服务器建立第一传输连接,接收所述全景视屏数据,与所述终端建立第二传输连接,接收终端反馈的视角信息或向所述终端发送视角信息,呈现接收的视角信息;所述终端与所述内容分发服务器建立第一传输连接,接收全景视频数据,将所述全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频,与所述视角分享服务器建立第二传输连接,反馈所述终端的视角信息,接收视角分享服务器发送的视角信息,将所述全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
在某些实施方式中,所述终端反馈所述终端的视角信息包括:所述终端响应于用户已设置所述视角信息中的共享标志位信息为预定值,向所述视角分享服务器反馈共享标志位信息已设置为预定值的视角信息;以及所述视角分享服务器向所述终端发送视角信息包括:所述视角分享服务器响应于从所述终端接收到所述共享标志位信息已设置为预定值的视角信息,向网络中允许接收视角分享服务器发送的视角信息的终端发送所述视角信息。
在某些实施方式中,所述方法还包括:所述终端响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向所述视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求,并仅接收视角分享服务器响应于所述第一请求发送的视角信息;以及所述视角分享服务器响应于接收到所述第一请求,向所述终端仅发送视角分享服务器接收的视角信息。
在某些实施方式中,所述方法还包括:所述终端响应于用户设置的视角分享模式为对预定终端的视角跟随模式,向所述视角分享服务器发送用于获取所述预定终端的视角信息的第二请求,并接收视角分享服务器响应于所述第二请求发送的预定终端的视角信息;以及所述视角分享服务器响应于接收到所述第二请求,向所述终端发送所述预定终端的视角信息。
在某些实施方式中,所述方法还包括:所述终端响应于用户设置的视角分享模式为免打扰模式,停止接收视角分享服务器发送的视角信息。
在某些实施方式中,所述终端呈现用户视角范围内的视频以及呈现与接收的视角信息对应的视频包括:所述终端响应于用户设置的呈现方式为画中画方式,在呈现的所述用户视角范围内的视频中呈现所述与接收的视角信息对应的视频,或在呈现的所述与接收的视角信息对应的视频中呈现所述用户视角范围内的视频;或响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现所述与接收的视角信息对应的视频。
在某些实施方式中,所述视角分享服务器向所述终端发送视角信息包括:所述视角分享服务器响应于接收到分享操作,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
在某些实施方式中,所述方法还包括:所述视角分享服务器基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频;或响应于接收到对呈现的接收的视角信息的选中操作,基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频。
在某些实施方式中,所述视角信息包括:视角水平方向的偏差角、视角垂直方向的偏差角、共享标志位信息及视角拥有者信息。
第二方面,本申请提供了一种用于分享虚拟现实视角的方法,所述方法包括:与内容分发服务器建立第一传输连接;经由所述第一传输连接接收内容分发服务器组播的全景视屏数据;与终端建立第二传输连接;经由所述第二传输连接接收终端反馈的视角信息;经由所述第二传输连接向终端发送视角信息;呈现接收的视角信息。
在某些实施方式中,所述经由所述第二传输连接向终端发送视角信息包括:响应于从所述终端接收到共享标志位信息已设置为预定值的视角信息,经由所述第二传输连接向网络中允许接收视角分享服务器发送的视角信息的终端发送所述视角信息。
在某些实施方式中,所述经由所述第二传输连接向终端发送视角信息包括以下任意一项:响应于接收到终端发送的第一请求,经由所述第二传输连接向所述终端仅发送视角分享服务器接收的视角信息,其中,所述第一请求为所述终端响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向所述视角分享服务器发送的用于获取视角分享服务器接收的视角信息的第一请求;响应于接收到终端发送的第二请求,经由所述第二传输连接向所述终端发送预定终端的视角信息,其中,所述第二请求为所述终端响应于用户设置的视角分享模式为对所述预定终端的视角跟随模式,向所述视角分享服务器发送的用于获取所述预定终端的视角信息的第二请求。
在某些实施方式中,所述经由所述第二传输连接向终端发送视角信息包括:响应于接收到分享操作,经由所述第二传输连接向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
在某些实施方式中,所述方法还包括:基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频;或响应于接收到对呈现的接收的视角信息的选中操作,基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频。
第三方面,本申请提供了一种用于分享虚拟现实视角的方法,所述方法包括:与所述内容分发服务器建立第一传输连接;经由所述第一传输连接接收全景视频数据;将所述全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频;与所述视角分享服务器建立第二传输连接;经由所述第二传输连接反馈所述终端的视角信息;接收视角分享服务器发送的视角信息;将所述全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
在某些实施方式中,所述经由所述第二传输连接反馈所述终端的视角信息包括:响应于用户已设置所述视角信息中的共享标志位信息为预定值,经由所述第二传输连接向所述视角分享服务器反馈共享标志位信息已设置为预定值的视角信息。
在某些实施方式中,所述方法还包括:响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,经由所述第二传输连接向所述视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求,接收视角分享服务器响应于所述第一请求发送的视角信息;或响应于用户设置的视角分享模式为对预定终端的视角跟随模式,经由所述第二传输连接向所述视角分享服务器发送用于获取所述预定终端的视角信息的第二请求,接收视角分享服务器响应于所述第二请求发送的预定终端的视角信息。
在某些实施方式中,所述方法还包括:响应于用户设置的视角分享模式为免打扰模式,停止接收视角分享服务器发送的视角信息。
在某些实施方式中,所述方法还包括:响应于用户设置的呈现方式为画中画方式,在呈现的所述用户视角范围内的视频中呈现所述与接收的视角信息对应的视频,或在呈现的所述与接收的视角信息对应的视频中呈现所述用户视角范围内的视频;或响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现所述与接收的视角信息对应的视频。
第四方面,本申请提供了一种用于分享虚拟现实视角的系统,所述系统包括:内容分发服务器,用于与终端和视角分享服务器分别建立第一传输连接以组播全景视频数据;所述视角分享服务器,用于与所述内容分发服务器建立第一传输连接以接收所述全景视屏数据,与所述终端建立第二传输连接以接收终端反馈的视角信息或向所述终端发送视角信息,呈现接收的视角信息;所述终端,用于与所述内容分发服务器建立第一传输连接以接收全景视频数据,将所述全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频,与所述视角分享服务器建立第二传输连接以反馈所述终端的视角信息,接收视角分享服务器发送的视角信息,将所述全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
在某些实施方式中,所述终端进一步用于:响应于用户已设置所述视角信息中的共享标志位信息为预定值,向所述视角分享服务器反馈共享标志位信息已设置为预定值的视角信息;以及所述视角分享服务器进一步用于:响应于从所述终端接收到所述共享标志位信息已设置为预定值的视角信息,向网络中允许接收视角分享服务器发送的视角信息的终端发送所述视角信息。
在某些实施方式中,所述终端进一步用于:响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向所述视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求,并仅接收视角分享服务器响应于所述第一请求发送的视角信息;以及所述视角分享服务器进一步用于:响应于接收到所述第一请求,向所述终端仅发送视角分享服务器接收的视角信息。
在某些实施方式中,所述终端进一步用于:响应于用户设置的视角分享模式为对预定终端的视角跟随模式,向所述视角分享服务器发送用于获取所述预定终端的视角信息的第二请求,并接收视角分享服务器响应于所述第二请求发送的预定终端的视角信息;以及所述视角分享服务器进一步用于:响应于接收到所述第二请求,向所述终端发送所述预定终端的视角信息。
在某些实施方式中,所述终端进一步用于:响应于用户设置的视角分享模式为免打扰模式,停止呈现视角分享服务器发送的视角信息。
在某些实施方式中,所述终端进一步用于:响应于用户设置的呈现方式为画中画方式,在呈现的所述用户视角范围内的视频中呈现所述与接收的视角信息对应的视频,或在呈现的所述与接收的视角信息对应的视频中呈现所述用户视角范围内的视频;或响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现所述与接收的视角信息对应的视频。
在某些实施方式中,所述视角分享服务器进一步用于:响应于接收到分享操作,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
在某些实施方式中,所述视角分享服务器进一步用于:基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频;或响应于接收到对呈现的接收的视角信息的选中操作,基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频。
第五方面,本申请提供了一种用于分享虚拟现实视角的装置,所述装置包括:第一传输连接模块,用于与内容分发服务器建立第一传输连接;视频接收模块,用于经由所述第一传输连接接收内容分发服务器组播的全景视屏数据;第二传输连接模块,用于与终端建立第二传输连接;视角接收模块,用于经由所述第二传输连接接收终端反馈的视角信息;视角发送模块,用于经由所述第二传输连接向终端发送视角信息;呈现模块,用于呈现接收的视角信息。
在某些实施方式中,所述视角发送模块进一步用于:响应于从所述终端接收到共享标志位信息已设置为预定值的视角信息,向网络中允许接收视角分享服务器发送的视角信息的终端发送所述视角信息。
在某些实施方式中,所述视角发送模块进一步用于以下任意一项:响应于接收到终端发送的第一请求,向所述终端仅发送视角分享服务器接收的视角信息,其中,所述第一请求为所述终端响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向所述视角分享服务器发送的用于获取视角分享服务器接收的视角信息的第一请求;响应于接收到终端发送的第二请求,向所述终端发送预定终端的视角信息,其中,所述第二请求为所述终端响应于用户设置的视角分享模式为对所述预定终端的视角跟随模式,向所述视角分享服务器发送的用于获取所述预定终端的视角信息的第二请求。
在某些实施方式中,所述视角发送模块进一步用于:响应于接收到分享操作,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
在某些实施方式中,所述呈现模块进一步用于:基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频;或响应于接收到对呈现的接收的视角信息的选中操作,基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频。
第六方面,本申请提供了一种用于分享虚拟现实视角的装置,所述装置包括:第一传输连接模块,用于与所述内容分发服务器建立第一传输连接;视频接收模块,用于经由所述第一传输连接接收全景视频数据;第二传输连接模块,用于与所述视角分享服务器建立第二传输连接;视角分享模块,用于经由所述第二传输连接反馈所述终端的视角信息;视角接收模块,用于接收视角分享服务器发送的视角信息;呈现模块,用于将所述全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频;将所述全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
在某些实施方式中,所述视角分享模块进一步用于:响应于用户已设置所述视角信息中的共享标志位信息为预定值,经由所述第二传输连接向所述视角分享服务器反馈共享标志位信息已设置为预定值的视角信息。
在某些实施方式中,所述装置还包括:视角跟随模块,用于响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向所述视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求;或用于响应于用户设置的视角分享模式为对预定终端的视角跟随模式,向所述视角分享服务器发送用于获取所述预定终端的视角信息的第二请求;所述视角接收模块进一步用于:接收视角分享服务器响应于所述第一请求发送的视角信息;或接收视角分享服务器响应于所述第二请求发送的预定终端的视角信息。
在某些实施方式中,所述呈现模块进一步用于:响应于用户设置的视角分享模式为免打扰模式,停止呈现视角分享服务器发送的视角信息。
在某些实施方式中,所述呈现模块进一步用于:响应于用户设置的呈现方式为画中画方式,在呈现的所述用户视角范围内的视频中呈现所述与接收的视角信息对应的视频,或在呈现的所述与接收的视角信息对应的视频中呈现所述用户视角范围内的视频;或响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现所述与接收的视角信息对应的视频。
本申请提供的用于分享虚拟现实视角的方法、装置及系统,首先内容分发服务器与终端和视角分享服务器分别建立第一传输连接,分别向所述终端和所述视角分享服务器组播全景视频数据;所述视角分享服务器与所述内容分发服务器建立第一传输连接,接收所述全景视屏数据,与所述终端建立第二传输连接,接收终端反馈的视角信息或向所述终端发送视角信息,呈现接收的视角信息;所述终端与所述内容分发服务器建立第一传输连接,接收全景视频数据,将所述全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频,与所述视角分享服务器建立第二传输连接,反馈所述终端的视角信息,接收视角分享服务器发送的视角信息,将所述全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频,实现了通过视角分享服务器向用户分享其它用户或管理者的视角,向用户呈现的信息量大大增加,使得用户与其他用户或管理者之间可以进行交互的信息量大大增加。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出了本申请可以应用于其中的示例性系统架构图;
图2示出了根据本申请实施例的用于分享虚拟现实视角的系统内部的一个示例性架构图;
图3示出了视角分享服务器所呈现的一个示例性界面图;
图4示出了终端A分享视角信息给终端B或视角分享服务器的一个示例性信令图;
图5示出了终端A跟随终端B或视角分享服务器接收的视角信息的一个示例性信令图;
图6示出了视角分享服务器推送自身视角信息给终端A和终端B的一个示例性信令图;
图7示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示,系统架构100可以包括内容分发服务器110、视角分享服务器120、n个终端130(n为大于0的整数)和网络140。网络140用以在请求端内容分发服务器110、视角分享服务器120和n个终端130之间提供通信链路的介质。网络140可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端通过网络140与内容分发服务器110和视角分享服务器120分别进行交互,以接收或发送消息等。终端120上可以安装有各种客户端应用,例如虚拟现实应用、即时通信工具、邮箱客户端、社交平台软件等。
终端130可以是具有显示屏并且支持VR技术的各种电子设备,包括但不限于基于移动终端或电脑的VR头显设备、基于移动终端或电脑的VR智能眼镜等等。
需要说明的是,本申请实施例所提供的用于分享虚拟现实视角的方法一般内容分发服务器110、视角分享服务器120和终端130共同执行,相应地,分享虚拟现实视角的系统一般包括内容分发服务器110、视角分享服务器120和终端130。
应该理解,图1中的内容分发服务器110、视角分享服务器120、终端130和网络140的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
在上述的用于分享虚拟现实视角的系统100中,内容分发服务器110,配置用于与终端和视角分享服务器分别建立第一传输连接以组播全景视频数据。也即,全景视频数据通过实时传输协议RTP进行传输,RTP报文中包含全景视频的时间戳和编码数据,一个全景视频数据帧可能由一个或者多个RTP报文组成。
这里的第一传输连接,可以为现有技术中或未来发展的技术中具有组播全景视频数据能力的连接方式,本申请对此不做限定。示例性的,第一传输连接可以为实时传输协议(Real-time Transport Protocol,简称RTP)连接。
在上述的用于分享虚拟现实视角的系统100中,视角分享服务器120,配置用于与内容分发服务器建立第一传输连接以接收全景视屏数据,与终端建立传输控制协议第二传输连接以接收终端反馈的视角信息或向终端发送视角信息,呈现接收的视角信息。在这里,通过第二传输连接进行传输的视角信息,可以包括用于指示用户视角的信息以及视角的拥有者信息,例如,可以包括视角水平方向的偏差角pitch、视角垂直方向的偏差角yaw以及视角的拥有者信息。进一步的,还可以包括用于设置与其它终端共享视角的共享标志位信息。
这里的第二传输连接,可以为现有技术中或未来发展的技术中具有传输视角信息能力的连接方式,本申请对此不做限定。示例性的,第二传输连接可以为传输控制协议(Transmission Control Protocol,简称TCP)会话或用户数据报协议(User DatagramProtocol,简称UDP)连接。
在上述的用于分享虚拟现实视角的系统100中,终端130,配置用于与内容分发服务器建立第一传输连接以接收全景视频数据,将全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频,与视角分享服务器建立第二传输连接以反馈终端的视角信息,接收视角分享服务器发送的视角信息,将全景视频数据转换为与接收的视角信息对应的视频数据,并呈现与接收的视角信息对应的视频。
在一些场景中,用户可能希望向其它终端分享本地终端的视角,此时终端130可以进一步配置用于响应于用户已设置视角信息中的共享标志位信息为预定值,向视角分享服务器反馈共享标志位信息已设置为预定值的视角信息;以及视角分享服务器120向终端发送视角信息包括:视角分享服务器120进一步配置用于响应于从终端接收到共享标志位信息已设置为预定值的视角信息,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角信息。
在一些场景中,用户可能希望跟随视角分享服务器的视角(例如用户作为教练时希望了解所有终端的视角),此时终端130进一步配置用于响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求,并仅接收视角分享服务器响应于第一请求发送的视角信息;以及视角分享服务器120进一步配置用于响应于接收到第一请求,向终端仅发送视角分享服务器接收的视角信息。
在另一些场景中,用户可能希望跟随其它用户的视角,此时终端130进一步配置用于响应于用户设置的视角分享模式为对预定终端的视角跟随模式,向视角分享服务器发送用于获取预定终端的视角信息的第二请求,并接收视角分享服务器响应于第二请求发送的预定终端的视角信息;以及视角分享服务器120进一步配置用于响应于接收到第二请求,向终端发送预定终端的视角信息。
在另一些场景中,用户可能希望不被别的用户或视角分享服务器所打扰,此时终端130进一步配置用于响应于用户设置的视角分享模式为免打扰模式,停止接收视角分享服务器发送的视角信息。这里需要注意的是,停止接收视角分享服务器发送的视角信息的方法,可以为现有技术或未来发展的技术中停止接收信息的方法,本申请对此不做限定。例如,终端130可以拒收视角分享服务器向其发送的消息,还可以断开与视角分享服务器的连接,以停止接收视角分享服务器发送的视角信息,还可以向视角分享服务器发送设置免打扰模式的请求,待需要恢复与视角分享服务器的默认模式时,向视角分享服务器发送恢复默认模式请求。
在一些场景中,终端130在向用户呈现用户视角范围内的视频以及呈现与接收的视角信息对应的视频时,终端130可以响应于用户设置的呈现方式为画中画方式,在呈现的用户视角范围内的视频中呈现与接收的视角信息对应的视频,或在呈现的与接收的视角信息对应的视频中呈现用户视角范围内的视频;或响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现与接收的视角信息对应的视频。
在一些场景中,视角分享服务器的管理者也可以通过视角分享服务器120向所有允许接收视角分享的终端发送视角分享服务器的终端(例如当该管理者作为教练时),以便这些终端了解全局情况,也即视角分享服务器120进一步配置用于响应于接收到分享操作,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
在一些场景中,视角分享服务器120可以对接收的视角信息进行显示,并进一步配置用于:基于全景视屏数据和接收的视角信息,直接呈现与接收的视角信息对应的视频;或响应于接收到对呈现的接收的视角信息的选中操作,基于全景视屏数据和接收的视角信息,呈现与接收的视角信息对应的视频。
本申请上述实施例提供的用于分享虚拟现实视角的系统,可以经由终端与视角分享服务器之间的第二传输连接实现不同终端之间以及视角分享服务器和终端之间的视频内容分享,大大增加了向用户呈现的信息量,从而增加了用户体验。
进一步参考图2,图2示出了根据本申请实施例的用于分享虚拟现实视角的系统中内容分享服务器、视角分享服务器和终端内部的一个示例性架构图。
如图2所示,分享虚拟现实视角的系统200包括内容分享服务器210、视角分享服务器220和终端230。
其中,内容分享服务器210可以包括一种装置,该装置包括第一传输连接模块211和视频分发模块212。
在本实施例中,第一传输连接模块211,可以配置用于分别与视角分享服务器的第一传输连接模块和终端的第一传输连接模块建立连接;视频分发模块212,可以配置用于经由上述建立的第一传输连接分别向终端和视角分享服务器组播全景视频数据。
这里的第一传输连接,可以为现有技术中或未来发展的技术中具有组播全景视频数据能力的连接方式,本申请对此不做限定。示例性的,第一传输连接可以为实时传输协议(Real-time Transport Protocol,简称RTP)连接。
视角分享服务器220可以包括一种装置,该装置可以包括:第一传输连接模块221,视频接收模块222,第二传输连接模块223,视角接收模块224,视角发送模块225和呈现模块226。
在本实施例中,第一传输连接模块221,可以配置用于与内容分发服务器建立第一传输连接;视频接收模块222,可以配置用于经由第一传输连接接收内容分发服务器组播的全景视屏数据;第二传输连接模块223,可以配置用于与终端建立第二传输连接;视角接收模块224,可以配置用于经由第二传输连接接收终端反馈的视角信息;视角发送模块225,可以配置用于经由第二传输连接向终端发送视角信息;呈现模块226,可以配置用于呈现接收的视角信息。
这里的第一传输连接,可以为现有技术中或未来发展的技术中具有组播全景视频数据能力的连接方式,本申请对此不做限定。示例性的,第一传输连接可以为实时传输协议(Real-time Transport Protocol,简称RTP)连接。这里的第二传输连接,可以为现有技术中或未来发展的技术中具有传输视角信息能力的连接方式,本申请对此不做限定。示例性的,第二传输连接可以为传输控制协议(Transmission Control Protocol,简称TCP)会话或用户数据报协议(User Datagram Protocol,简称UDP)连接。在本实施例的一些可选实现方式中,视角分享服务器可以根据用户终端发送的分享指令,经由视角发送模块225将其视角信息发送至允许接收视角分享服务器发送的视角信息的终端:视角发送模块225可以进一步配置用于响应于从终端接收到共享标志位信息已设置为预定值的视角信息,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角信息。
在本实施例的一些可选实现方式中,视角分享服务器可以通过视角发送模块225响应用户的跟随请求:视角发送模块225可以进一步配置用于响应于接收到终端发送的第一请求,向终端仅发送视角分享服务器接收的视角信息,这里的第一请求为终端响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向视角分享服务器发送的配置用于获取视角分享服务器接收的视角信息的第一请求。备选地,视角发送模块225可以进一步配置用于响应于接收到终端发送的第二请求,向终端发送预定终端的视角信息,这里的第二请求为终端响应于用户设置的视角分享模式为对预定终端的视角跟随模式,向视角分享服务器发送的配置用于获取预定终端的视角信息的第二请求。
在本实施例的一些可选实现方式中,视角分享服务器可以根据视角分享服务器管理者输入的分享操作,经由视角发送模块225将视角分享服务器接收的视角信息向允许接收视角分享服务器发送的视角信息的终端发送:视角发送模块225可以进一步配置用于响应于接收到分享操作,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
在本实施例的一些可选实现方式中,视角分享服务器可以经由呈现模块226呈现对应接收的视角信息的视频:呈现模块226可以配置用于基于全景视屏数据和接收的视角信息,呈现与接收的视角信息对应的视频;或呈现模块226可以配置用于响应于接收到对呈现的接收的视角信息的选中操作,基于全景视屏数据和接收的视角信息,呈现与接收的视角信息对应的视频,示例性的,可以参考图3,图3示出了视角分享服务器的视频内容显示区域300,301为终端视角显示区域,302和303分别对应不同的终端视角,当管理者点击终端视角302和303时,可以显示终端视角对应的视频内容,如305和306所示。
返回图2,终端230可以包括一种装置,该装置可以包括:第一传输连接模块231,视频接收模块232,第二传输连接模块233,视角分享模块234,视角接收模块235以及呈现模块236。
在本实施例中,第一传输连接模块231,配置用于与内容分发服务器建立第一传输连接;视频接收模块232,配置用于经由第一传输连接接收全景视频数据;第二传输连接模块233,配置用于与视角分享服务器建立第二传输连接;视角分享模块234,配置用于经由第二传输连接反馈终端的视角信息;视角接收模块235,配置用于接收视角分享服务器发送的视角信息;呈现模块236,配置用于将全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频;将全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
这里的第一传输连接,可以为现有技术中或未来发展的技术中具有组播全景视频数据能力的连接方式,本申请对此不做限定。示例性的,第一传输连接可以为实时传输协议(Real-time Transport Protocol,简称RTP)连接。这里的第二传输连接,可以为现有技术中或未来发展的技术中具有传输视角信息能力的连接方式,本申请对此不做限定。示例性的,第二传输连接可以为传输控制协议(Transmission Control Protocol,简称TCP)会话或用户数据报协议(User Datagram Protocol,简称UDP)连接。
在本实施例的一些可选实现方式中,用户可以经由视角分享模块234向视角分享服务器提出向其它终端分享本地终端的视角:也即视角分享模块进一步用于:响应于用户已设置视角信息中的共享标志位信息为预定值,经由第二传输连接向视角分享服务器反馈共享标志位信息已设置为预定值的视角信息。
在本实施例的一些可选实现方式中,用户可以经由终端中设置的视角跟随模块向视角分享服务器发送视角跟随请求,并接收视角分享服务器返回的视角信息。此时终端还包括:视角跟随模块237,用于响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求;或用于响应于用户设置的视角分享模式为对预定终端的视角跟随模式,向视角分享服务器发送用于获取预定终端的视角信息的第二请求;此时视角接收模块可以进一步用于:接收视角分享服务器响应于第一请求发送的视角信息;或接收视角分享服务器响应于第二请求发送的预定终端的视角信息。
在本实施例的一些可选实现方式中,用户可能希望停止呈现视角分享服务器发送的视角信息。此时,呈现模块236进一步用于:响应于用户设置的视角分享模式为免打扰模式,停止呈现视角分享服务器发送的视角信息。
在本实施例的一些可选实现方式中,呈现模块在向用户呈现用户视角范围内的视频以及呈现与接收的视角信息对应的视频时,可以响应于用户设置的呈现方式为画中画方式,在呈现的用户视角范围内的视频中呈现与接收的视角信息对应的视频,或在呈现的与接收的视角信息对应的视频中呈现用户视角范围内的视频;或响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现与接收的视角信息对应的视频。
本领域技术人员应当理解,图2中示出的内容分发服务器、视角分享服务器以及终端的结构仅为示例性结构,并不代表对本身请的限定,图2中的各个模块也可以为能够实现各个模块对应功能的任意模块及任意模块的变形模块。例如,图2中的视角分享服务器可以第一传输连接模块和第二传输连接模块的功能合并至会话管理模块中,通过会话管理模块完成与内容分享服务器的第一传输连接和与终端的第二传输连接等,此时的会话管理模块即为第一传输连接模块和第二传输连接模块合并后的模块。另外,上述分享虚拟现实视角的装置还可以包括一些其他公知结构,例如处理器、存储器等,为了不必要地模糊本公开的实施例,这些公知的结构未示出。
本申请上述实施例提供的用于分享虚拟现实视角的系统,包括内容分享服务器、视角分享服务器和终端,可以实现不同终端之间以及视角分享服务器和终端之间的视频内容分享,向用户呈现的信息量大大增加,从而极大的增加了用户体验。
以下结合图4说明如何实现终端A向终端B或视角分享服务器分享视角信息。
图4示出了终端A分享视角信息给终端B或视角分享服务器的一个示例性信令图。如图4所示,信令图400包括:
步骤S401~步骤S403,终端A,终端B以及视角分享服务器分别同内容分发服务器之间建立RTP会话,请求消息中携带内容分发服务器的IP地址及端口信息。
步骤S404~步骤S405,终端A和终端B分别同视角分享服务器之间建立TCP会话,请求消息中携带视角分享服务器的IP地址及端口信息。
步骤S406~步骤S408,内容分发服务器分别向终端A,终端B以及视角分享服务器通过RTP组播方式发送全景视频数据,RTP报文中携带全景视频的时间戳及编码数据。一个全景视频数据帧可能由一个或者多个RTP报文组成。
步骤S409,终端A实时反馈自身的视角信息,视角信息包含视角水平方向的偏差角pitch,视角垂直方向的偏差角yaw,视角拥有者信息以及分享标志位信息。其中,分享标志位保持默认,未设置。
步骤S410,视角分享服务器接收到终端A的视角,检测到分享标志位未设置,通过呈现模块显示终端A的视角,点击终端A视角后,可以显示终端A的视角范围内视频。
步骤S411,终端A通过分享按键分享自身的视角,视角信息同步骤S409,分享标志位被设置,此时将视角信息发送到视角分享服务器。
步骤S412,视角分享服务器检测到终端A的分享标志位被置位,准备将终端A的视角发送给终端B。
步骤S413,终端A的视角通过TCP方式发送给终端B。
步骤S414,如果终端B设置为自由模式,可以通过画中画的方式在原有视频基础上显示终端A的视频内容。终端B也可以采用全屏方式显示终端A的视频内容。
步骤S415~步骤S416,终端A与终端B分别关闭各自的端口,退出已建立会话。
本领域技术人员应当理解,上述图4中示出的各个步骤仅为本申请实施例终端A分享视角信息给终端B或视角分享服务器的一个示例性实施例,并不代表对本申请的限定,例如,图4中的步骤S401和步骤S402可以调换执行顺序,步骤S406、步骤S407和步骤S408可以同一时间执行等。
以下结合图5说明如何实现终端A跟随终端B或视角分享服务器的视角信息。
图5示出了终端A跟随终端B或视角分享服务器的视角信息的一个示例性信令图。如图5所示,信令图500包括:
步骤S501~步骤S503,终端A,终端B以及视角分享服务器分别同内容分发服务器之间建立RTP会话,请求消息中携带内容分发服务器的IP地址及端口信息。
步骤S504~步骤S505,终端A和终端B分别同视角分享服务器之间建立TCP会话,请求消息中携带视角分享服务器的IP地址及端口信息。
步骤S506~步骤S508,内容分发服务器分别向终端A,终端B以及视角分享服务器通过RTP组播方式发送全景视频数据,RTP报文中携带全景视频的时间戳及编码数据。一个全景视频数据帧可能由一个或者多个RTP报文组成。
步骤S509,终端B实时反馈自身的视角信息,视角信息包含视角水平方向的偏差角pitch,视角垂直方向的偏差角yaw,视角拥有者信息以及分享标志位信息。其中,分享标志位保持默认,未设置。
步骤S510,视角分享服务器接收到终端B的视角,检测到分享标志位未设置,通过呈现模块显示终端B的视角,点击终端B视角后,可以显示终端B的视角范围内视频。
步骤S511,终端A向视角分享服务器发起视角跟随请求,请求与终端B采用相同的视角浏览虚拟内容。
步骤S512,视角分享服务器收到终端A的请求并返回终端B的视角信息。
步骤S513,终端A获取到终端B的视角信息,将终端B视角范围内的虚拟内容以全屏的方式显示。
步骤S514,终端A向视角分享服务器发起视角跟随请求,请求与视角分享服务器采用相同的视角浏览虚拟内容。
步骤S515,视角分享服务器收到终端A的请求并返回自身的视角信息。
步骤S516,终端A获取到视角分享服务器的视角信息,将视角分享服务器的视角范围内的虚拟内容以全屏的方式显示。
步骤S517~步骤S518,终端A与终端B分别关闭各自的端口,退出已建立会话。
本领域技术人员应当理解,上述图5中示出的各个步骤仅为本申请实施例终端A跟随终端B或视角分享服务器的视角信息的一个示例性实施例,并不代表对本申请的限定,例如,图5中的步骤S501和步骤S502的步骤可以调换执行顺序,步骤S505、步骤S506与步骤S507可以同时执行等。
以下结合图6说明如何实现视角分享服务器推送自身视角信息给终端A和终端B。
图6示出了视角分享服务器推送自身视角信息给终端A和终端B的一个示例性信令图。如图6所示,信令图600包括:
步骤S601~步骤S603,终端A,终端B以及视角分享服务器分别同内容分发服务器之间建立RTP会话,请求消息中携带内容分发服务器的IP地址及端口信息。
步骤S604~步骤S605,终端A和终端B分别同视角分享服务器之间建立TCP会话,请求消息中携带视角分享服务器的IP地址及端口信息。
步骤S606~步骤S608,内容分发服务器分别向终端A,终端B以及视角分享服务器通过RTP组播方式发送全景视频数据,RTP报文中携带全景视频的时间戳及编码数据。一个全景视频数据帧可能由一个或者多个RTP报文组成。
步骤S609,终端B实时反馈自身的视角信息,视角信息包含视角水平方向的偏差角pitch,视角垂直方向的偏差角yaw,视角拥有者信息以及分享标志位信息。其中,分享标志位保持默认,未设置。
步骤S610,视角分享服务器接收到终端B的视角,检测到分享标志位未设置,通过呈现模块显示终端B的视角,点击终端B视角后,可以显示终端B的视角范围内视频。
步骤S611,终端A实时反馈自身的视角信息,视角信息包含视角水平方向的偏差角pitch,视角垂直方向的偏差角yaw,视角拥有者信息以及分享标志位信息。其中,分享标志位保持默认,未设置。
步骤S612,视角分享服务器接收到终端A的视角,检测到分享标志位未设置,通过呈现模块显示终端B的视角,点击终端A视角后,可以显示终端A的视角范围内视频。
步骤S613~步骤S614,视角分享服务器推送自身的视角给终端A和终端B。
步骤S615~步骤S616,终端A及终端B接收视角分享服务器推送的视角并以画中画或者全屏方式显示。
步骤S617~步骤S618,终端A与终端B分别关闭各自的端口,退出已建立会话。
本领域技术人员应当理解,上述图6中示出的各个步骤仅为本申请实施例视角分享服务器推送自身视角信息给终端A和终端B的一个示例性实施例,并不代表对本申请的限定,例如,图6中的步骤S601、S602可以调换执行顺序,步骤S606、步骤S607和步骤S608可以同一时间执行等。
本申请上述实施例提供的用于分享虚拟现实视角的方法,向用户呈现的信息量大大增加,从而极大的增加了用户体验。
在上述图2至图6的用于分享虚拟现实视角的系统、用于分享虚拟现实视角的视角分享服务器中的装置和用于分享虚拟现实视角的终端中的装置的实施例之外,本申请还提供了用于系统的用于分享虚拟现实视角的方法、用于视角分享服务器的用于分享虚拟现实视角的方法和用于终端的用于分享虚拟现实视角的方法的实施例。
在本申请的用于系统的用于分享虚拟现实视角的方法的实施例中,用于系统的用于分享虚拟现实视角的方法包括:内容分发服务器与终端和视角分享服务器分别建立第一传输连接,分别向终端和视角分享服务器组播全景视频数据;视角分享服务器与内容分发服务器建立第一传输连接,接收全景视屏数据,与终端建立第二传输连接,接收终端反馈的视角信息或向终端发送视角信息,呈现接收的视角信息;终端与内容分发服务器建立第一传输连接,接收全景视频数据,将全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频,与视角分享服务器建立第二传输连接,反馈终端的视角信息,接收视角分享服务器发送的视角信息,将全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
在本实施例的一些可选实现方式中,终端反馈终端的视角信息包括:终端响应于用户已设置视角信息中的共享标志位信息为预定值,向视角分享服务器反馈共享标志位信息已设置为预定值的视角信息;以及视角分享服务器向终端发送视角信息包括:视角分享服务器响应于从终端接收到共享标志位信息已设置为预定值的视角信息,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角信息。
在本实施例的一些可选实现方式中,方法还包括:终端响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求,并仅接收视角分享服务器响应于第一请求发送的视角信息;以及视角分享服务器响应于接收到第一请求,向终端仅发送视角分享服务器接收的视角信息。
在本实施例的一些可选实现方式中,方法还包括:终端响应于用户设置的视角分享模式为对预定终端的视角跟随模式,向视角分享服务器发送用于获取预定终端的视角信息的第二请求,并接收视角分享服务器响应于第二请求发送的预定终端的视角信息;以及视角分享服务器响应于接收到第二请求,向终端发送预定终端的视角信息。
在本实施例的一些可选实现方式中,方法还包括:终端响应于用户设置的视角分享模式为免打扰模式,停止接收视角分享服务器发送的视角信息。
在本实施例的一些可选实现方式中,终端呈现用户视角范围内的视频以及呈现与接收的视角信息对应的视频包括:终端响应于用户设置的呈现方式为画中画方式,在呈现的用户视角范围内的视频中呈现与接收的视角信息对应的视频,或在呈现的与接收的视角信息对应的视频中呈现用户视角范围内的视频;或响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现与接收的视角信息对应的视频。
在本实施例的一些可选实现方式中,视角分享服务器向终端发送视角信息包括:视角分享服务器响应于接收到分享操作,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
在本实施例的一些可选实现方式中,方法还包括:视角分享服务器基于全景视屏数据和接收的视角信息,呈现与接收的视角信息对应的视频;或响应于接收到对呈现的接收的视角信息的选中操作,基于全景视屏数据和接收的视角信息,呈现与接收的视角信息对应的视频。
在本实施例的一些可选实现方式中,视角信息包括:视角水平方向的偏差角、视角垂直方向的偏差角、共享标志位信息及视角拥有者信息。
应当理解,上述用于系统的用于分享虚拟现实视角的方法中记载的诸步骤,分别与参考图1至图6描述的系统中的各个终端相对应。由此,上文针对图1至图6方法中各个终端描述的操作和特征同样适用于上述用于分享虚拟现实视角的方法记载的诸步骤,在此不再赘述。
在本申请的用于视角分享服务器的用于分享虚拟现实视角的方法的实施例中,用于视角分享服务器的用于分享虚拟现实视角的方法包括:与内容分发服务器建立第一传输连接;经由第一传输连接接收内容分发服务器组播的全景视屏数据;与终端建立第二传输连接;经由第二传输连接接收终端反馈的视角信息;经由第二传输连接向终端发送视角信息;呈现接收的视角信息。
在本实施例的一些可选实现方式中,经由第二传输连接向终端发送视角信息包括:响应于从终端接收到共享标志位信息已设置为预定值的视角信息,经由第二传输连接向网络中允许接收视角分享服务器发送的视角信息的终端发送视角信息。
在本实施例的一些可选实现方式中,经由第二传输连接向终端发送视角信息包括以下任意一项:响应于接收到终端发送的第一请求,经由第二传输连接向终端仅发送视角分享服务器接收的视角信息,其中,第一请求为终端响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向视角分享服务器发送的用于获取视角分享服务器接收的视角信息的第一请求;响应于接收到终端发送的第二请求,经由第二传输连接向终端发送预定终端的视角信息,其中,第二请求为终端响应于用户设置的视角分享模式为对预定终端的视角跟随模式,向视角分享服务器发送的用于获取预定终端的视角信息的第二请求。
在本实施例的一些可选实现方式中,经由第二传输连接向终端发送视角信息包括:响应于接收到分享操作,经由第二传输连接向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
在本实施例的一些可选实现方式中,方法还包括:基于全景视屏数据和接收的视角信息,呈现与接收的视角信息对应的视频;或响应于接收到对呈现的接收的视角信息的选中操作,基于全景视屏数据和接收的视角信息,呈现与接收的视角信息对应的视频。
应当理解,上述用于视角分享服务器的用于分享虚拟现实视角的方法中记载的诸步骤,分别与参考图2至图3描述的视角分享服务器中的各个模块相对应。由此,上文针对图2至图3方法中各个模块描述的操作和特征同样适用于上述用于视角分享服务器的用于分享虚拟现实视角的方法记载的诸步骤,在此不再赘述。
在本申请的用于终端的用于分享虚拟现实视角的方法的实施例中,用于终端的用于分享虚拟现实视角的方法包括:与内容分发服务器建立第一传输连接;经由第一传输连接接收全景视频数据;将全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频;与视角分享服务器建立第二传输连接;经由第二传输连接反馈终端的视角信息;接收视角分享服务器发送的视角信息;将全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
在本实施例的一些可选实现方式中,经由第二传输连接反馈终端的视角信息包括:响应于用户已设置视角信息中的共享标志位信息为预定值,经由第二传输连接向视角分享服务器反馈共享标志位信息已设置为预定值的视角信息。
在本实施例的一些可选实现方式中,方法还包括:响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,经由第二传输连接向视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求,接收视角分享服务器响应于第一请求发送的视角信息;或响应于用户设置的视角分享模式为对预定终端的视角跟随模式,经由第二传输连接向视角分享服务器发送用于获取预定终端的视角信息的第二请求,接收视角分享服务器响应于第二请求发送的预定终端的视角信息。
在本实施例的一些可选实现方式中,方法还包括:响应于用户设置的视角分享模式为免打扰模式,停止接收视角分享服务器发送的视角信息。
在本实施例的一些可选实现方式中,方法还包括:响应于用户设置的呈现方式为画中画方式,在呈现的用户视角范围内的视频中呈现与接收的视角信息对应的视频,或在呈现的与接收的视角信息对应的视频中呈现用户视角范围内的视频;或响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现与接收的视角信息对应的视频。
应当理解,上述用于终端的用于分享虚拟现实视角的方法中记载的诸步骤,分别与参考图2描述的终端中的各个模块相对应。由此,上文针对图2终端中各个模块描述的操作和特征同样适用于上述用于终端的用于分享虚拟现实视角的方法记载的诸步骤,在此不再赘述。
在本申请的上述实施例中,第一请求及第二请求仅代表两个不同的请求。本领域技术人员应当理解,其中的第一或第二并不构成对请求的特殊限定。
同理,在本申请的上述实施例中,第一传输连接及第二传输连接仅代表两个不同的传输连接,其中,第一传输连接为具有组播全景视频数据能力的连接方式,第二传输连接为具有传输视角信息能力的连接方式。本领域技术人员应当理解,其中的第一或第二并不构成对传输连接的特殊限定。
下面参考图7,其示出了适于用来实现本申请实施例的终端设备计算机系统700的结构示意图。
如图7所示,计算机系统700包括中央处理模块(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如NFC组件、LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序端、或代码的一部分,所述模块、程序端、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的部分模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括视频接收模块、视角接收模块和视角发送模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,视频接收模块还可以被描述为“经由第一传输连接接收内容分发服务器组播的全景视屏数据的模块”。
作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:内容分发服务器与终端和视角分享服务器分别建立第一传输连接,分别向终端和视角分享服务器组播全景视频数据;视角分享服务器与内容分发服务器建立第一传输连接,接收全景视屏数据,与终端建立第二传输连接,接收终端反馈的视角信息或向终端发送视角信息,呈现接收的视角信息;终端与内容分发服务器建立第一传输连接,接收全景视频数据,将全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频,与视角分享服务器建立第二传输连接,反馈终端的视角信息,接收视角分享服务器发送的视角信息,将全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (37)
1.一种用于分享虚拟现实视角的方法,其特征在于,所述方法包括:
内容分发服务器与终端和视角分享服务器分别建立第一传输连接,分别向所述终端和所述视角分享服务器组播全景视频数据;
所述视角分享服务器与所述内容分发服务器建立第一传输连接,接收所述全景视屏数据,与所述终端建立第二传输连接,接收终端反馈的视角信息或向所述终端发送视角信息,呈现接收的视角信息;
所述终端与所述内容分发服务器建立第一传输连接,接收全景视频数据,将所述全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频,与所述视角分享服务器建立第二传输连接,反馈所述终端的视角信息,接收视角分享服务器发送的视角信息,将所述全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
2.根据权利要求1所述的方法,其特征在于,所述终端反馈所述终端的视角信息包括:
所述终端响应于用户已设置所述视角信息中的共享标志位信息为预定值,向所述视角分享服务器反馈共享标志位信息已设置为预定值的视角信息;以及
所述视角分享服务器向所述终端发送视角信息包括:
所述视角分享服务器响应于从所述终端接收到所述共享标志位信息已设置为预定值的视角信息,向网络中允许接收视角分享服务器发送的视角信息的终端发送所述视角信息。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述终端响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向所述视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求,并仅接收视角分享服务器响应于所述第一请求发送的视角信息;以及
所述视角分享服务器响应于接收到所述第一请求,向所述终端仅发送视角分享服务器接收的视角信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述终端响应于用户设置的视角分享模式为对预定终端的视角跟随模式,向所述视角分享服务器发送用于获取所述预定终端的视角信息的第二请求,并接收视角分享服务器响应于所述第二请求发送的预定终端的视角信息;以及
所述视角分享服务器响应于接收到所述第二请求,向所述终端发送所述预定终端的视角信息。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述终端响应于用户设置的视角分享模式为免打扰模式,停止接收视角分享服务器发送的视角信息。
6.根据权利要求1-5任意一项所述的方法,其特征在于,所述终端呈现用户视角范围内的视频以及呈现与接收的视角信息对应的视频包括:
所述终端响应于用户设置的呈现方式为画中画方式,在呈现的所述用户视角范围内的视频中呈现所述与接收的视角信息对应的视频,或在呈现的所述与接收的视角信息对应的视频中呈现所述用户视角范围内的视频;或响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现所述与接收的视角信息对应的视频。
7.根据权利要求1所述的方法,其特征在于,所述视角分享服务器向所述终端发送视角信息包括:
所述视角分享服务器响应于接收到分享操作,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
8.根据权利要求1-5任意一项所述的方法,其特征在于,所述方法还包括:
所述视角分享服务器基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频;或响应于接收到对呈现的接收的视角信息的选中操作,基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频。
9.根据权利要求1所述的方法,其特征在于,所述视角信息包括:视角水平方向的偏差角、视角垂直方向的偏差角、共享标志位信息及视角拥有者信息。
10.一种用于分享虚拟现实视角的方法,其特征在于,所述方法包括:
与内容分发服务器建立第一传输连接;
经由所述第一传输连接接收内容分发服务器组播的全景视屏数据;
与终端建立第二传输连接;
经由所述第二传输连接接收终端反馈的视角信息;
经由所述第二传输连接向终端发送视角信息;
呈现接收的视角信息。
11.根据权利要求10所述的方法,其特征在于,所述经由所述第二传输连接向终端发送视角信息包括:
响应于从所述终端接收到共享标志位信息已设置为预定值的视角信息,经由所述第二传输连接向网络中允许接收视角分享服务器发送的视角信息的终端发送所述视角信息。
12.根据权利要求10所述的方法,其特征在于,所述经由所述第二传输连接向终端发送视角信息包括以下任意一项:
响应于接收到终端发送的第一请求,经由所述第二传输连接向所述终端仅发送视角分享服务器接收的视角信息,其中,所述第一请求为所述终端响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向所述视角分享服务器发送的用于获取视角分享服务器接收的视角信息的第一请求;
响应于接收到终端发送的第二请求,经由所述第二传输连接向所述终端发送预定终端的视角信息,其中,所述第二请求为所述终端响应于用户设置的视角分享模式为对所述预定终端的视角跟随模式,向所述视角分享服务器发送的用于获取所述预定终端的视角信息的第二请求。
13.根据权利要求10所述的方法,其特征在于,所述经由所述第二传输连接向终端发送视角信息包括:
响应于接收到分享操作,经由所述第二传输连接向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
14.根据权利要求10-13任意一项所述的方法,其特征在于,所述方法还包括:
基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频;或
响应于接收到对呈现的接收的视角信息的选中操作,基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频。
15.一种用于分享虚拟现实视角的方法,其特征在于,所述方法包括:
与所述内容分发服务器建立第一传输连接;
经由所述第一传输连接接收全景视频数据;
将所述全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频;
与所述视角分享服务器建立第二传输连接;
经由所述第二传输连接反馈所述终端的视角信息;
接收视角分享服务器发送的视角信息;
将所述全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
16.根据权利要求15所述的方法,其特征在于,所述经由所述第二传输连接反馈所述终端的视角信息包括:
响应于用户已设置所述视角信息中的共享标志位信息为预定值,经由所述第二传输连接向所述视角分享服务器反馈共享标志位信息已设置为预定值的视角信息。
17.根据权利要求15所述的方法,其特征在于,所述方法还包括:
响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,经由所述第二传输连接向所述视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求,接收视角分享服务器响应于所述第一请求发送的视角信息;或
响应于用户设置的视角分享模式为对预定终端的视角跟随模式,经由所述第二传输连接向所述视角分享服务器发送用于获取所述预定终端的视角信息的第二请求,接收视角分享服务器响应于所述第二请求发送的预定终端的视角信息。
18.根据权利要求15所述的方法,其特征在于,所述方法还包括:
响应于用户设置的视角分享模式为免打扰模式,停止接收视角分享服务器发送的视角信息。
19.根据权利要求15-18任意一项所述的方法,其特征在于,所述方法还包括:
响应于用户设置的呈现方式为画中画方式,在呈现的所述用户视角范围内的视频中呈现所述与接收的视角信息对应的视频,或在呈现的所述与接收的视角信息对应的视频中呈现所述用户视角范围内的视频;或
响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现所述与接收的视角信息对应的视频。
20.一种用于分享虚拟现实视角的系统,其特征在于,所述系统包括:
内容分发服务器,用于与终端和视角分享服务器分别建立第一传输连接以组播全景视频数据;
所述视角分享服务器,用于与所述内容分发服务器建立第一传输连接以接收所述全景视屏数据,与所述终端建立第二传输连接以接收终端反馈的视角信息或向所述终端发送视角信息,呈现接收的视角信息;
所述终端,用于与所述内容分发服务器建立第一传输连接以接收全景视频数据,将所述全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频,与所述视角分享服务器建立第二传输连接以反馈所述终端的视角信息,接收视角分享服务器发送的视角信息,将所述全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
21.根据权利要求20所述的系统,其特征在于,所述终端进一步用于:响应于用户已设置所述视角信息中的共享标志位信息为预定值,向所述视角分享服务器反馈共享标志位信息已设置为预定值的视角信息;以及
所述视角分享服务器进一步用于:响应于从所述终端接收到所述共享标志位信息已设置为预定值的视角信息,向网络中允许接收视角分享服务器发送的视角信息的终端发送所述视角信息。
22.根据权利要求20所述的系统,其特征在于,所述终端进一步用于:响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向所述视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求,并仅接收视角分享服务器响应于所述第一请求发送的视角信息;以及
所述视角分享服务器进一步用于:响应于接收到所述第一请求,向所述终端仅发送视角分享服务器接收的视角信息。
23.根据权利要求20所述的系统,其特征在于,所述终端进一步用于:响应于用户设置的视角分享模式为对预定终端的视角跟随模式,向所述视角分享服务器发送用于获取所述预定终端的视角信息的第二请求,并接收视角分享服务器响应于所述第二请求发送的预定终端的视角信息;以及
所述视角分享服务器进一步用于:响应于接收到所述第二请求,向所述终端发送所述预定终端的视角信息。
24.根据权利要求20所述的系统,其特征在于,所述终端进一步用于:
响应于用户设置的视角分享模式为免打扰模式,停止呈现视角分享服务器发送的视角信息。
25.根据权利要求20-24任意一项所述的系统,其特征在于,所述终端进一步用于:
响应于用户设置的呈现方式为画中画方式,在呈现的所述用户视角范围内的视频中呈现所述与接收的视角信息对应的视频,或在呈现的所述与接收的视角信息对应的视频中呈现所述用户视角范围内的视频;或
响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现所述与接收的视角信息对应的视频。
26.根据权利要求20所述的系统,其特征在于,所述视角分享服务器进一步用于:响应于接收到分享操作,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
27.根据权利要求20-24任意一项所述的系统,其特征在于,所述视角分享服务器进一步用于:
基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频;或
响应于接收到对呈现的接收的视角信息的选中操作,基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频。
28.一种用于分享虚拟现实视角的装置,其特征在于,所述装置包括:
第一传输连接模块,用于与内容分发服务器建立第一传输连接;
视频接收模块,用于经由所述第一传输连接接收内容分发服务器组播的全景视屏数据;
第二传输连接模块,用于与终端建立第二传输连接;
视角接收模块,用于经由所述第二传输连接接收终端反馈的视角信息;
视角发送模块,用于经由所述第二传输连接向终端发送视角信息;
呈现模块,用于呈现接收的视角信息。
29.根据权利要求28所述的装置,其特征在于,所述视角发送模块进一步用于:
响应于从所述终端接收到共享标志位信息已设置为预定值的视角信息,向网络中允许接收视角分享服务器发送的视角信息的终端发送所述视角信息。
30.根据权利要求28所述的装置,其特征在于,所述视角发送模块进一步用于以下任意一项:
响应于接收到终端发送的第一请求,向所述终端仅发送视角分享服务器接收的视角信息,其中,所述第一请求为所述终端响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向所述视角分享服务器发送的用于获取视角分享服务器接收的视角信息的第一请求;
响应于接收到终端发送的第二请求,向所述终端发送预定终端的视角信息,其中,所述第二请求为所述终端响应于用户设置的视角分享模式为对所述预定终端的视角跟随模式,向所述视角分享服务器发送的用于获取所述预定终端的视角信息的第二请求。
31.根据权利要求28所述的装置,其特征在于,所述视角发送模块进一步用于:
响应于接收到分享操作,向网络中允许接收视角分享服务器发送的视角信息的终端发送视角分享服务器接收的视角信息。
32.根据权利要求28-31任意一项所述的装置,其特征在于,所述呈现模块进一步用于:
基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频;或
响应于接收到对呈现的接收的视角信息的选中操作,基于所述全景视屏数据和所述接收的视角信息,呈现与接收的视角信息对应的视频。
33.一种用于分享虚拟现实视角的装置,其特征在于,所述装置包括:
第一传输连接模块,用于与所述内容分发服务器建立第一传输连接;
视频接收模块,用于经由所述第一传输连接接收全景视频数据;
第二传输连接模块,用于与所述视角分享服务器建立第二传输连接;
视角分享模块,用于经由所述第二传输连接反馈所述终端的视角信息;
视角接收模块,用于接收视角分享服务器发送的视角信息;
呈现模块,用于将所述全景视频数据转换为用户视角范围内的视频数据,呈现用户视角范围内的视频;将所述全景视频数据转换为与接收的视角信息对应的视频数据,呈现与接收的视角信息对应的视频。
34.根据权利要求33所述的装置,其特征在于,所述视角分享模块进一步用于:响应于用户已设置所述视角信息中的共享标志位信息为预定值,经由所述第二传输连接向所述视角分享服务器反馈共享标志位信息已设置为预定值的视角信息。
35.根据权利要求33所述的装置,其特征在于,所述装置还包括:视角跟随模块,用于响应于用户设置的视角分享模式为对视角分享服务器的视角跟随模式,向所述视角分享服务器发送用于获取视角分享服务器接收的视角信息的第一请求;或用于响应于用户设置的视角分享模式为对预定终端的视角跟随模式,向所述视角分享服务器发送用于获取所述预定终端的视角信息的第二请求;
所述视角接收模块进一步用于:接收视角分享服务器响应于所述第一请求发送的视角信息;或接收视角分享服务器响应于所述第二请求发送的预定终端的视角信息。
36.根据权利要求33所述的装置,其特征在于,所述呈现模块进一步用于:
响应于用户设置的视角分享模式为免打扰模式,停止呈现视角分享服务器发送的视角信息。
37.根据权利要求33-36任意一项所述的装置,其特征在于,所述呈现模块进一步用于:
响应于用户设置的呈现方式为画中画方式,在呈现的所述用户视角范围内的视频中呈现所述与接收的视角信息对应的视频,或在呈现的所述与接收的视角信息对应的视频中呈现所述用户视角范围内的视频;或
响应于用户设置的呈现方式为全屏方式,采用全屏方式呈现所述与接收的视角信息对应的视频。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610826631.8A CN106385587B (zh) | 2016-09-14 | 2016-09-14 | 分享虚拟现实视角的方法、装置及系统 |
US15/703,467 US20180074679A1 (en) | 2016-09-14 | 2017-09-13 | Method, apparatus, and system for sharing virtual reality viewport |
EP17851125.9A EP3475924A4 (en) | 2016-09-14 | 2017-09-13 | METHOD, DEVICE AND SYSTEM FOR THE JOINT USE OF A VIEWPOINT VIEWER OF VIRTUAL REALITY |
KR1020170117431A KR102375307B1 (ko) | 2016-09-14 | 2017-09-13 | 가상 현실 뷰포트를 공유하기 위한 방법, 장치, 및 시스템 |
PCT/KR2017/010064 WO2018052251A1 (en) | 2016-09-14 | 2017-09-13 | Method, apparatus, and system for sharing virtual reality viewport |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610826631.8A CN106385587B (zh) | 2016-09-14 | 2016-09-14 | 分享虚拟现实视角的方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106385587A true CN106385587A (zh) | 2017-02-08 |
CN106385587B CN106385587B (zh) | 2019-08-02 |
Family
ID=57935759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610826631.8A Active CN106385587B (zh) | 2016-09-14 | 2016-09-14 | 分享虚拟现实视角的方法、装置及系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180074679A1 (zh) |
EP (1) | EP3475924A4 (zh) |
KR (1) | KR102375307B1 (zh) |
CN (1) | CN106385587B (zh) |
WO (1) | WO2018052251A1 (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106990848A (zh) * | 2017-04-10 | 2017-07-28 | 河南中医药大学 | 一种虚拟现实防眩晕方法和系统 |
CN107172136A (zh) * | 2017-05-04 | 2017-09-15 | 腾讯科技(深圳)有限公司 | 体素数据的同步方法和装置 |
CN107613338A (zh) * | 2017-09-25 | 2018-01-19 | 中兴通讯股份有限公司 | 视频传输方法、服务器、vr播放终端及计算机可读存储介质 |
CN108040260A (zh) * | 2017-12-13 | 2018-05-15 | 北京视博云科技有限公司 | C/s架构下高清全景视频的观看方法及系统、终端及服务器 |
CN108307182A (zh) * | 2017-08-04 | 2018-07-20 | 东北大学 | 一种基于虚拟现实技术的网络交互共享体验系统和方法 |
CN108462729A (zh) * | 2017-02-17 | 2018-08-28 | 北京三星通信技术研究有限公司 | 实现终端设备交互的方法和装置、终端设备及服务器 |
CN108632631A (zh) * | 2017-03-16 | 2018-10-09 | 华为技术有限公司 | 一种全景视频中视频分片的下载方法和装置 |
CN108765536A (zh) * | 2018-05-30 | 2018-11-06 | 链家网(北京)科技有限公司 | 一种虚拟三维空间的同步处理方法及装置 |
WO2018219688A1 (de) * | 2017-05-29 | 2018-12-06 | Audi Ag | Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system |
WO2018233459A1 (zh) * | 2017-06-21 | 2018-12-27 | 腾讯科技(深圳)有限公司 | 全景图像的展示方法、展示控制方法、计算设备及存储介质 |
CN109246438A (zh) * | 2017-07-10 | 2019-01-18 | 上海交通大学 | 基于用户消费信息的视频处理方法及装置 |
CN109309787A (zh) * | 2018-09-07 | 2019-02-05 | 视联动力信息技术股份有限公司 | 一种全景视频数据的操作方法和系统 |
WO2019100631A1 (zh) * | 2017-11-27 | 2019-05-31 | 中兴通讯股份有限公司 | 视频播放方法、装置、系统及存储介质 |
CN110149542A (zh) * | 2018-02-13 | 2019-08-20 | 华为技术有限公司 | 传输控制方法 |
WO2019158000A1 (zh) * | 2018-02-14 | 2019-08-22 | 阿里巴巴集团控股有限公司 | 虚拟现实vr直播中的视角同步方法及装置 |
CN110494840A (zh) * | 2017-04-05 | 2019-11-22 | 三星电子株式会社 | 电子设备和用于电子设备的屏幕图像显示方法 |
CN110506423A (zh) * | 2017-03-27 | 2019-11-26 | 佳能株式会社 | 对包括所生成的内容的媒体数据进行编码的方法和设备 |
CN110573225A (zh) * | 2017-04-28 | 2019-12-13 | 微软技术许可有限责任公司 | 视觉数据上的直观增强现实协作 |
CN110602480A (zh) * | 2019-09-27 | 2019-12-20 | 三星电子(中国)研发中心 | 一种采用增强现实分享场景的方法、装置及系统 |
CN111510757A (zh) * | 2019-01-31 | 2020-08-07 | 华为技术有限公司 | 一种共享媒体数据流的方法、装置以及系统 |
CN111862348A (zh) * | 2020-07-30 | 2020-10-30 | 腾讯科技(深圳)有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
WO2021170123A1 (zh) * | 2020-02-28 | 2021-09-02 | 深圳看到科技有限公司 | 视频生成方法、装置及对应的存储介质 |
CN113873313A (zh) * | 2021-09-22 | 2021-12-31 | 乐相科技有限公司 | 一种虚拟现实画面分享方法及装置 |
CN114554276A (zh) * | 2020-11-26 | 2022-05-27 | 中移物联网有限公司 | 一种设备间内容共享的方法、装置及系统 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10769797B2 (en) * | 2017-01-05 | 2020-09-08 | Samsung Electronics Co., Ltd. | Virtual reality experience sharing |
US10430147B2 (en) * | 2017-04-17 | 2019-10-01 | Intel Corporation | Collaborative multi-user virtual reality |
WO2019127349A1 (zh) * | 2017-12-29 | 2019-07-04 | 腾讯科技(深圳)有限公司 | 一种多媒体信息分享的方法、相关装置及系统 |
CN110519652B (zh) | 2018-05-22 | 2021-05-18 | 华为软件技术有限公司 | Vr视频播放方法、终端及服务器 |
US11032590B2 (en) * | 2018-08-31 | 2021-06-08 | At&T Intellectual Property I, L.P. | Methods, devices, and systems for providing panoramic video content to a mobile device from an edge server |
US11323754B2 (en) * | 2018-11-20 | 2022-05-03 | At&T Intellectual Property I, L.P. | Methods, devices, and systems for updating streaming panoramic video content due to a change in user viewpoint |
JP7360112B2 (ja) * | 2019-09-27 | 2023-10-12 | グリー株式会社 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
CN111343478A (zh) * | 2020-02-21 | 2020-06-26 | 深圳市酷开网络科技有限公司 | Vr设备数据处理方法、系统、vr一体机及存储介质 |
CN111459267A (zh) * | 2020-03-02 | 2020-07-28 | 杭州嘉澜创新科技有限公司 | 一种数据处理方法、第一服务器、第二服务器与存储介质 |
WO2022234699A1 (ja) * | 2021-05-07 | 2022-11-10 | キヤノン株式会社 | 動画配信装置、表示制御装置、動画配信システム、動画配信方法およびプログラム |
CN114095752A (zh) * | 2021-10-18 | 2022-02-25 | 长沙宏达威爱信息科技有限公司 | 一种虚拟现实云渲染系统的制作方法 |
CN114979089B (zh) * | 2022-04-25 | 2023-03-24 | 北京邮电大学 | 一种实时传输全景视频的系统和方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103731630A (zh) * | 2012-10-16 | 2014-04-16 | 华为技术有限公司 | 一种视频监控方法、设备和系统 |
CN103873453A (zh) * | 2012-12-18 | 2014-06-18 | 中兴通讯股份有限公司 | 沉浸通信客户端、服务器及获取内容视图的方法 |
CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
US20160044284A1 (en) * | 2014-06-13 | 2016-02-11 | Magna Electronics Inc. | Vehicle vision system with panoramic view |
CN105578199A (zh) * | 2016-02-22 | 2016-05-11 | 北京佰才邦技术有限公司 | 虚拟现实全景多媒体处理系统、方法及客户端设备 |
CN105915937A (zh) * | 2016-05-10 | 2016-08-31 | 上海乐相科技有限公司 | 一种全景视频播放方法及设备 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7673246B2 (en) * | 2001-12-12 | 2010-03-02 | Canon Kabushiki Kaisha | Image information processing apparatus and method, virtual space presentation apparatus, information administration apparatus, and control methods thereof |
WO2004036894A2 (en) * | 2002-10-18 | 2004-04-29 | Sarnoff Corporation | Method and system to allow panoramic visualization using multiple cameras |
US20080231626A1 (en) * | 2007-03-22 | 2008-09-25 | Motorola, Inc. | Method and Apparatus to Facilitate a Differently Configured Virtual Reality Experience for Some Participants in a Communication Session |
EP3471053B1 (en) * | 2007-05-25 | 2020-07-08 | Google LLC | Rendering, viewing and annotating panoramic images, and applications thereof |
EP2490179B1 (en) * | 2011-02-18 | 2018-05-09 | Alcatel Lucent | Method and apparatus for transmitting and receiving a panoramic video stream |
US8836771B2 (en) * | 2011-04-26 | 2014-09-16 | Echostar Technologies L.L.C. | Apparatus, systems and methods for shared viewing experience using head mounted displays |
US9015245B1 (en) * | 2011-07-20 | 2015-04-21 | Google Inc. | Experience sharing with commenting |
US9870429B2 (en) * | 2011-11-30 | 2018-01-16 | Nokia Technologies Oy | Method and apparatus for web-based augmented reality application viewer |
US20130141526A1 (en) * | 2011-12-02 | 2013-06-06 | Stealth HD Corp. | Apparatus and Method for Video Image Stitching |
US9710968B2 (en) * | 2012-12-26 | 2017-07-18 | Help Lightning, Inc. | System and method for role-switching in multi-reality environments |
EP2824885B1 (en) * | 2013-07-12 | 2019-01-23 | Provenance Asset Group LLC | A manifest file format supporting panoramic video |
US10622020B2 (en) * | 2014-10-03 | 2020-04-14 | FieldCast, LLC | Point of view video processing and curation platform |
JP6264087B2 (ja) * | 2014-02-21 | 2018-01-24 | ソニー株式会社 | 表示制御装置、表示装置および表示制御システム |
US9691181B2 (en) * | 2014-02-24 | 2017-06-27 | Sony Interactive Entertainment Inc. | Methods and systems for social sharing head mounted display (HMD) content with a second screen |
US10827230B2 (en) * | 2014-07-03 | 2020-11-03 | Sony Corporation | Information processing apparatus and information processing method |
JP5898756B1 (ja) * | 2014-11-28 | 2016-04-06 | 株式会社コロプラ | ディスプレイとネットワークを介して接続される複数のコントローラとを連動させて画面操作するシステム、プログラム、及び方法 |
-
2016
- 2016-09-14 CN CN201610826631.8A patent/CN106385587B/zh active Active
-
2017
- 2017-09-13 US US15/703,467 patent/US20180074679A1/en not_active Abandoned
- 2017-09-13 KR KR1020170117431A patent/KR102375307B1/ko active IP Right Grant
- 2017-09-13 WO PCT/KR2017/010064 patent/WO2018052251A1/en unknown
- 2017-09-13 EP EP17851125.9A patent/EP3475924A4/en not_active Ceased
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103731630A (zh) * | 2012-10-16 | 2014-04-16 | 华为技术有限公司 | 一种视频监控方法、设备和系统 |
CN103873453A (zh) * | 2012-12-18 | 2014-06-18 | 中兴通讯股份有限公司 | 沉浸通信客户端、服务器及获取内容视图的方法 |
US20160044284A1 (en) * | 2014-06-13 | 2016-02-11 | Magna Electronics Inc. | Vehicle vision system with panoramic view |
CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
CN105578199A (zh) * | 2016-02-22 | 2016-05-11 | 北京佰才邦技术有限公司 | 虚拟现实全景多媒体处理系统、方法及客户端设备 |
CN105915937A (zh) * | 2016-05-10 | 2016-08-31 | 上海乐相科技有限公司 | 一种全景视频播放方法及设备 |
Cited By (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108462729A (zh) * | 2017-02-17 | 2018-08-28 | 北京三星通信技术研究有限公司 | 实现终端设备交互的方法和装置、终端设备及服务器 |
CN108632631B (zh) * | 2017-03-16 | 2020-08-07 | 华为技术有限公司 | 一种全景视频中视频分片的下载方法和装置 |
CN108632631A (zh) * | 2017-03-16 | 2018-10-09 | 华为技术有限公司 | 一种全景视频中视频分片的下载方法和装置 |
US11265622B2 (en) | 2017-03-27 | 2022-03-01 | Canon Kabushiki Kaisha | Method and apparatus for generating media data |
US11070893B2 (en) | 2017-03-27 | 2021-07-20 | Canon Kabushiki Kaisha | Method and apparatus for encoding media data comprising generated content |
CN110506423A (zh) * | 2017-03-27 | 2019-11-26 | 佳能株式会社 | 对包括所生成的内容的媒体数据进行编码的方法和设备 |
CN110494840A (zh) * | 2017-04-05 | 2019-11-22 | 三星电子株式会社 | 电子设备和用于电子设备的屏幕图像显示方法 |
EP3591514A4 (en) * | 2017-04-05 | 2020-02-26 | Samsung Electronics Co., Ltd. | ELECTRONIC DEVICE AND ON-SCREEN IMAGE DISPLAY METHOD FOR ELECTRONIC DEVICE |
CN106990848A (zh) * | 2017-04-10 | 2017-07-28 | 河南中医药大学 | 一种虚拟现实防眩晕方法和系统 |
US11782669B2 (en) | 2017-04-28 | 2023-10-10 | Microsoft Technology Licensing, Llc | Intuitive augmented reality collaboration on visual data |
CN110573225A (zh) * | 2017-04-28 | 2019-12-13 | 微软技术许可有限责任公司 | 视觉数据上的直观增强现实协作 |
CN107172136B (zh) * | 2017-05-04 | 2018-07-03 | 腾讯科技(深圳)有限公司 | 体素数据的同步方法和装置 |
CN107172136A (zh) * | 2017-05-04 | 2017-09-15 | 腾讯科技(深圳)有限公司 | 体素数据的同步方法和装置 |
US10955910B2 (en) | 2017-05-29 | 2021-03-23 | Audi Ag | Method for operating a virtual reality system, and virtual reality system |
CN110692033B (zh) * | 2017-05-29 | 2020-08-14 | 奥迪股份公司 | 用于运行虚拟现实系统的方法和虚拟现实系统 |
CN110692033A (zh) * | 2017-05-29 | 2020-01-14 | 奥迪股份公司 | 用于运行虚拟现实系统的方法和虚拟现实系统 |
WO2018219688A1 (de) * | 2017-05-29 | 2018-12-06 | Audi Ag | Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system |
WO2018233459A1 (zh) * | 2017-06-21 | 2018-12-27 | 腾讯科技(深圳)有限公司 | 全景图像的展示方法、展示控制方法、计算设备及存储介质 |
CN109246438A (zh) * | 2017-07-10 | 2019-01-18 | 上海交通大学 | 基于用户消费信息的视频处理方法及装置 |
CN109246438B (zh) * | 2017-07-10 | 2020-11-17 | 上海交通大学 | 基于用户消费信息的视频处理方法及装置 |
CN108307182A (zh) * | 2017-08-04 | 2018-07-20 | 东北大学 | 一种基于虚拟现实技术的网络交互共享体验系统和方法 |
JP2020527300A (ja) * | 2017-09-25 | 2020-09-03 | 中興通訊股▲ふん▼有限公司Zte Corporation | ビデオ伝送方法、サーバ、vr再生端末及びコンピュータ読み取り可能な記憶媒体 |
CN107613338A (zh) * | 2017-09-25 | 2018-01-19 | 中兴通讯股份有限公司 | 视频传输方法、服务器、vr播放终端及计算机可读存储介质 |
CN109842792A (zh) * | 2017-11-27 | 2019-06-04 | 中兴通讯股份有限公司 | 视频播放方法、装置、系统及存储介质 |
WO2019100631A1 (zh) * | 2017-11-27 | 2019-05-31 | 中兴通讯股份有限公司 | 视频播放方法、装置、系统及存储介质 |
CN109842792B (zh) * | 2017-11-27 | 2021-05-11 | 中兴通讯股份有限公司 | 视频播放方法、装置、系统及存储介质 |
CN108040260B (zh) * | 2017-12-13 | 2020-09-18 | 江苏视博云信息技术有限公司 | C/s架构下高清全景视频的观看方法、系统及服务器 |
CN108040260A (zh) * | 2017-12-13 | 2018-05-15 | 北京视博云科技有限公司 | C/s架构下高清全景视频的观看方法及系统、终端及服务器 |
CN110149542B (zh) * | 2018-02-13 | 2021-12-03 | 华为技术有限公司 | 传输控制方法 |
CN110149542A (zh) * | 2018-02-13 | 2019-08-20 | 华为技术有限公司 | 传输控制方法 |
WO2019157803A1 (zh) * | 2018-02-13 | 2019-08-22 | 华为技术有限公司 | 传输控制方法 |
US11290573B2 (en) * | 2018-02-14 | 2022-03-29 | Alibaba Group Holding Limited | Method and apparatus for synchronizing viewing angles in virtual reality live streaming |
WO2019158000A1 (zh) * | 2018-02-14 | 2019-08-22 | 阿里巴巴集团控股有限公司 | 虚拟现实vr直播中的视角同步方法及装置 |
CN108765536A (zh) * | 2018-05-30 | 2018-11-06 | 链家网(北京)科技有限公司 | 一种虚拟三维空间的同步处理方法及装置 |
CN109309787B (zh) * | 2018-09-07 | 2020-10-30 | 视联动力信息技术股份有限公司 | 一种全景视频数据的操作方法和系统 |
CN109309787A (zh) * | 2018-09-07 | 2019-02-05 | 视联动力信息技术股份有限公司 | 一种全景视频数据的操作方法和系统 |
CN111510757A (zh) * | 2019-01-31 | 2020-08-07 | 华为技术有限公司 | 一种共享媒体数据流的方法、装置以及系统 |
CN110602480A (zh) * | 2019-09-27 | 2019-12-20 | 三星电子(中国)研发中心 | 一种采用增强现实分享场景的方法、装置及系统 |
WO2021170123A1 (zh) * | 2020-02-28 | 2021-09-02 | 深圳看到科技有限公司 | 视频生成方法、装置及对应的存储介质 |
CN111862348A (zh) * | 2020-07-30 | 2020-10-30 | 腾讯科技(深圳)有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
CN111862348B (zh) * | 2020-07-30 | 2024-04-30 | 深圳市腾讯计算机系统有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
CN114554276A (zh) * | 2020-11-26 | 2022-05-27 | 中移物联网有限公司 | 一种设备间内容共享的方法、装置及系统 |
CN114554276B (zh) * | 2020-11-26 | 2023-12-12 | 中移物联网有限公司 | 一种设备间内容共享的方法、装置及系统 |
CN113873313A (zh) * | 2021-09-22 | 2021-12-31 | 乐相科技有限公司 | 一种虚拟现实画面分享方法及装置 |
CN113873313B (zh) * | 2021-09-22 | 2024-03-29 | 乐相科技有限公司 | 一种虚拟现实画面分享方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20180074679A1 (en) | 2018-03-15 |
KR20180030393A (ko) | 2018-03-22 |
KR102375307B1 (ko) | 2022-03-17 |
EP3475924A1 (en) | 2019-05-01 |
EP3475924A4 (en) | 2019-08-14 |
WO2018052251A1 (en) | 2018-03-22 |
CN106385587B (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106385587B (zh) | 分享虚拟现实视角的方法、装置及系统 | |
CN102342100B (zh) | 用于在网络环境中提供三维成像的系统和方法 | |
US9473741B2 (en) | Teleconference system and teleconference terminal | |
CN102342066B (zh) | 实时多媒体流处理带宽管理 | |
CN109889855A (zh) | 基于移动app的智能全景视频直播网络购物系统及方法 | |
WO2014199579A2 (en) | Image transmission system and image transmission method | |
WO2011145539A1 (en) | Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium | |
CN105610843A (zh) | 远程摄像画面实时分享方法及其系统 | |
CN113163214A (zh) | 一种视频处理方法及其装置 | |
CN111343415A (zh) | 数据传输方法及装置 | |
JP2012034343A (ja) | 映像処理装置、及びその制御方法 | |
KR20150133496A (ko) | 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기 | |
KR101909254B1 (ko) | 셋톱 박스에서 고화질 파노라마를 제공하는 방법, 디바이스 및 시스템 | |
WO2017222258A1 (ko) | 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법 | |
GB2563439A (en) | Methods, devices, and computer programs for improving streaming of portions of media data | |
CN107404641A (zh) | 视频处理方法、视频播放方法、机顶盒以及vr设备 | |
KR20210072086A (ko) | 정보 처리 시스템, 정보 처리 방법, 및 저장 매체 | |
WO2013067898A1 (zh) | 传输信息的方法和终端 | |
JP2015162117A (ja) | サーバ装置、プログラム、及び情報処理方法 | |
GB2526618A (en) | Method for generating a screenshot of an image to be displayed by a multi-display system | |
WO2021147749A1 (zh) | 实现3d显示的方法、装置及3d显示系统 | |
JP5864371B2 (ja) | 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置 | |
CN103096015B (zh) | 一种视频处理方法和系统 | |
CN107483876A (zh) | 视频数据处理方法、存储设备、直录播互动终端 | |
CN108353195A (zh) | 发送设备、发送方法、接收设备、接收方法和发送/接收系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |