CN112887843A - 发送虚拟现实（vr）内容的方法和系统 - Google Patents

发送虚拟现实（vr）内容的方法和系统 Download PDF

Info

Publication number
CN112887843A
CN112887843A CN202110163038.0A CN202110163038A CN112887843A CN 112887843 A CN112887843 A CN 112887843A CN 202110163038 A CN202110163038 A CN 202110163038A CN 112887843 A CN112887843 A CN 112887843A
Authority
CN
China
Prior art keywords
content
qos
fov
packets
transmission priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110163038.0A
Other languages
English (en)
Other versions
CN112887843B (zh
Inventor
叶颍华
施航
戴惠达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112887843A publication Critical patent/CN112887843A/zh
Application granted granted Critical
Publication of CN112887843B publication Critical patent/CN112887843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

公开了一种发送虚拟现实(VR)内容的方法，包括：由网元接收由VR内容服务器为单个VR内容场景发送的VR内容包，以及用于该VR内容包的业务质量QoS传输优先级，其中该QoS传输优先级包括与该VR内容包中第一多个VR内容包对应的第一QoS传输优先级，以及与该VR内容包中第二多个VR内容包对应的第二QoS传输优先级。在本实施例中，该方法还包括由该网元基于该第一QoS传输优先级发送该第一多个VR内容包，并且基于该第二QoS传输优先级发送该第二多个VR内容包，其中该第二QoS传输优先级不同于该第一QoS传输优先级。

Description

发送虚拟现实(VR)内容的方法和系统
相关申请的交叉引用
本申请要求享有于2017年6月8日提交的、题为“发送虚拟现实(VR)内容的方法和系统”、申请号为15/617,859的美国申请的优先权，所述申请的全部内容在此通过引用完全并入本申请。
技术领域
本公开涉及虚拟现实(Virtual Reality，VR)视频，并且尤其涉及经由网络发送VR内容。
背景技术
希望虚拟现实视频系统支持360度视角，以向用户提供全景图。虚拟现实系统允许用户在视频播放期间自由控制观看方向。这种360度视频系统显示器和用户的方位以及用户在任何给定的观看方向上能够看到的视场(field of view，FOV)来计算和显示观看区域。
目前的360度视频传递技术通常使用传统视频所使用的传递方案。通常，VR内容提供者编码和发送的VR内容中包括了对于当前观看方向而言可见的部分和不可见的部分。与传递视野的当前可见部分相比，使用传统传递方案传递VR内容的所有这些编码部分需要高带宽，并耗费更多资源。使用这些资源来支持传统传递方案会造成网络负载问题、加重网络延迟、并降低网络性能，可能导致不良的观看体验。
发明内容
示例实施例的第一方面包括一种由网元执行的用于发送虚拟现实(VR)内容的方法。在该方法中，该网元接收由VR内容服务器针对单个VR内容场景发送的VR内容包和该VR内容包的业务质量(quality of service，QoS)传输优先级。其中，该QoS传输优先级包括与第一多个VR内容包对应的第一QoS传输优先级和与第二多个VR内容包对应的第二QoS传输优先级。然后，该网元基于该第一QoS传输优先级来发送该第一多个VR内容包，并且基于该第二QoS传输优先级来发送该第二多个VR内容包。其中，该第二QoS传输优先级不同于该第一QoS传输优先级。通过上述实施例，QoS传输优先级对应于VR内容包，从而使得单个VR内容场景中的不同VR内容包可以使用不同的QoS传输优先级来发送。因此，可以确保高QoS传输优先级的VR内容包的传输。
示例实施例的第二方面包括一种由虚拟现实(VR)内容服务器执行的用于发送VR内容的方法。在该方法中，该VR内容服务器接收针对单个VR内容场景的VR内容请求，其中该VR内容请求包括与终端视线有关的信息。然后，该VR内容服务器基于与该终端视线有关的该信息，获取该VR内容请求的视场标识符(field of view identifier，FOV ID)，并基于该FOV ID，从多个集合的VR内容包中选择先前已编码的VR内容包；并为VR内容包确定业务质量QoS传输优先级，其中该QoS传输优先级包括第一集合多个VR内容包的第一QoS传输优先级和第二集合多个VR内容包的第二QoS传输优先级。最后，VR内容服务器发送该VR内容包和该QoS传输优先级。通过该方法，该VR内容服务器针对单个VR内容场景中的不同VR内容包确定了不同的QoS传输优先级，从而使单个VR内容场景的所有区域可以用不同的QoS传输优先级来传输。
示例实施例的第三方面包括一种由终端设备执行的用于接收虚拟现实(VR)内容的方法。在该方法中，该终端设备接收VR内容场景的索引，其中该索引包括与终端视线有关的至少两个视场标识符FOV ID。然后，该终端设备基于终端视线，从该索引中选择FOV ID，并发送VR内容请求，该VR内容请求包括针对该VR内容场景选择的该FOV ID。再然后，该终端设备接收具有与针对该VR内容场景选择的该FOV ID对应的第一QoS的VR内容包，并接收该VR内容场景中具有第二且较低QoS并且还具有不同FOV ID的VR内容包。通过该方法，该终端设备可以在发送VR内容请求之前选择FOV ID，以便基于FOV ID从VR内容服务器接收具有不同QoS传输优先级的VR内容包。
示例实施例的第四方面包括一种网元。其中，该网络包括：包括指令的非暂时性存储器；以及与该存储器通信的一个或多个处理器。其中该一个或多个处理器被配置为执行该指令以：接收由VR内容服务器为单个VR内容场景发送的VR内容包，以及用于该VR内容包的业务质量QoS传输优先级，其中该QoS传输优先级包括与该VR内容包中第一多个VR内容包对应的第一QoS传输优先级，以及与该VR内容包中第二多个VR内容包对应的第二QoS传输优先级；以及基于该第一QoS传输优先级发送该第一多个VR内容包，并且基于该第二传输优先级发送该第二多个VR内容包，其中该第二QoS传输优先级不同于该第一QoS传输优先级。
示例实施例的第五方面包括一种虚拟现实(VR)内容服务器。其中，该终端设备包括：包括指令的非暂时性存储器；以及与该存储器通信的一个或多个处理器。其中，该一个或多个处理器被配置为执行由本示例实施例的第二方面中的VR内容服务器所执行的指令。
示例实施例的第六方面包括一种终端设备。其中，该终端设备包括：包括指令的非暂时性存储器；与该存储器通信的一个或多个处理器，其中该一个或多个处理器被配置为执行由本示例实施例的第三方面中的终端设备所执行的指令。
示例实施例的第七方面包括一种网元。其中，该网元包括示例实施例的第一方面中的网元的功能。这些功能可以通过硬件来实现，或者可以通过由硬件执行的软件来实现。并且，该硬件或软件包括与该功能对应的一个或多个模块。
示例实施例的第八方面包括一种VR内容服务器。其中，该VR内容服务器包括示例实施例的第二方面中的VR内容服务器的功能。这些功能可以通过硬件来实现，或者可以通过由硬件执行的软件来实现。并且，该硬件或软件包括与该功能对应的一个或多个模块。
示例实施例的第九方面包括一种终端设备。其中，该终端设备包括示例实施例的第三方面中的终端设备的功能。这些功能可以通过硬件来实现，或者可以通过由硬件执行的软件来实现。并且，该硬件或软件包括与该功能对应的一个或多个模块。
示例实施例的第十方面包括一种计算机存储介质。其中，该计算机存储介质存储有由示例实施例的第一或第四方面中网元执行的指令，并且存储有示例实施例的第一或第四方面中的程序。
示例实施例的第十一方面包括一种计算机存储介质。其中，该计算机存储介质存储有由示例实施例的第二或第五方面中VR内容服务器执行的指令，并且存储有示例实施例的第二或第五方面中的程序。
示例实施例的第十二方面包括一种计算机存储介质。其中，该计算机存储介质存储有由示例实施例的第三或第六方面中终端设备执行的指令，并且存储有示例实施例的第三或第六方面中的程序。
附图说明
图1示出了根据示例实施例的VR内容分发系统100的网络图；
图2示出了根据示例实施例的层级式VR内容分发系统200的其它框图；
图3示出了单个360度视频内容场景的不同部分的传输优先级的二维表示；
图4示出了根据本发明的一个实施例的360度视频内容场景的不同部分的二维FOV区域视图；
图5示出了根据示例实施例，由360度视频的内容服务器112基于用户头部水平(对应于左右转动头部)或垂直(头部上下活动)活动而设置的FOV ID；
图6示出了根据示例实施例的基于用户头部在四个方向(包括左、右、上和下)上动作的360度视频场景的网格拼接全景视频的不同区域；
图7示出了用于发送VR内容的方法的实施例的信号流程图；
图8示出了用于发送VR内容场景的VR内容包的方法的实施例的信号流程图；
图9示出了根据本发明实施例的层级式终端设备102的框图；
图10示出了根据本发明实施例的层级式虚拟现实(VR)内容服务器112的框图；
图11示出了根据本发明实施例的分级网络实体1100的框图；并且
图12示出了用于实现一个或多个元件，例如VR内容服务器、网元(PGW、UPF、PCRF、基站等)、路由器、终端设备或其它设备，以执行根据本发明所描述的各方面和实施例的用于发送、接收或处理VR内容的示例实施例的方法的电路的框图。
具体实施方式
在下面的描述中，参考了形成其一部分的附图，并且在附图中通过示意的方式示出了可以实践的特定实施例。对这些实施例进行了足够详细的描述，以使本领域技术人员能够实施本发明，并且应当理解，在不脱离本发明范围的情况下，可以利用其它实施例，并且可以做出结构上、逻辑上和电气上的改变。因此，以下示例性实施方式的描述不应被认为是限制性的，本发明的范围由所附权利要求限定。
在一个实施例中，本文描述的功能或算法可以用软件实现。该软件可以包括存储在计算机可读介质上或计算机可读存储设备上的计算机可执行指令，诸如一个或多个非暂时性存储器或本地或联网的其它类型的基于硬件的存储设备。此外，这样的功能对应于模块，其可以是软件、硬件、固件或其任何组合。多种功能可以根据需要在一个或多个模块中执行，并且所描述的实施例仅是示例。该软件可以在数字信号处理器、专用集成电路(application-specific integrated circuit，ASIC)、微处理器或在诸如个人计算机、服务器或其它计算机系统之类的计算机系统上运行的其它类型的处理器上执行，从而将该计算机系统变成专门编程的机器。
包含360度视频的虚拟现实(VR)应用在低延迟和高吞吐量下效果最佳。VR内容应在大约20毫秒(ms)内传递到人眼，才能实现较好的体验质量(quality of experience，QoE)。考虑到VR内容服务器上的VR处理时间、通过一个或多个网络传递VR内容的传输时间、以及终端设备的视频渲染时间，要在每次显示之后的20ms内再次显示VR内容这个目标相当具有挑战性。
无线链路的状况，诸如网络负载、干扰和传输错误率等，是无线链路会影响使用无线链路的通信带宽和/或延迟的方面。在不良链接条件下流式发送高清晰度VR内容会加重拥塞、导致分组丢失和分组重传过多，并可导致不良的体验质量(QoE)，对网络操作产生不良影响，继而影响其它传输。
图1示出了根据示例实施例的VR内容分发系统100的网络图。VR内容分发系统100可以包括终端设备102、网络104和VR内容服务器112。网络104可以包括分组数据网关(packet data network gateway，PGW)实体106、网络控制业务(network controlservice，NCS)实体110和策略与计费规则功能(Policy and Charging Rules Function，PCRF)实体110。可以使用任何已知的网络来代替网络104。此外，可以使用业务能力开放功能(service capability exposure function，SCEF)来代替NCS。无线终端设备102经由无线通信链路耦合到网络104，并且在这里，更具体地，耦合到PGW 106。
终端设备102与VR内容服务器112通信，并且经由网络104从VR内容服务器112接收VR内容包。通常，VR内容场景的VR内容包是以由VR内容服务器112发送的VR内容包的形式被传递的。在图1的示例中，VR内容包经由PGW 106发送。NCS 110与PGW 106通信，了解网络状况，并将网络数据发送到VR内容服务器112。PCRF 108与NCS 110和PGW106通信，将QoS处理规则从NCS 110发送到PGW 106。NCS 110从VR内容服务器112接收QoS处理规则。在所描述的实施例中，QoS处理规则使得网元实体获取VR内容包的QoS传输优先级，该QoS传输优先级从VR内容服务器接收。
在一个实施例中，终端设备102被配置为接收由VR内容服务器112发送的VR内容场景的索引。该索引包括至少两个视场标识符(filed of view identifier，FOV ID)字段。终端设备102基于与用户的头部动作相关的终端视线，从该索引中选择FOV ID，并在内容请求内将所选择的FOV ID发送给VR内容服务器112。这里，在网络104中，内容请求和索引是通过PGW 106发送的，不过也可以通过未在图中示出的其它网元发送。另外，终端设备102经由PGW 106从VR内容服务器112接收与所选择的FOV ID对应的VR内容包。
PGW 106从VR内容服务器112接收VR内容包，其中来自不同区域的VR内容包被分配了不同的业务质量(QoS)传输优先级。例如，第一多个VR内容包对应于第一QoS传输优先级、第二多个VR内容包对应于第二QoS传输优先级、并且第三多个VR内容包对应于第三QoS传输优先级。此外，网元实体分别基于第一、第二或第三QoS传输优先级来发送第一、第二或第三多个VR内容包。另外，PGW 106可以将网络数据提供给NCS110。该网络数据包括吞吐量信息、时延信息、分组丢失信息和错误率信息中的至少一项。
NCS 110从PGW 106接收网络数据，并且将网络数据发送到VR内容服务器112。此外，NCS从VR内容服务器112接收QoS处理规则，并且将QoS处理规则发送到PCRF 108。PCRF108从NCS 110接收QoS处理规则，并将QoS处理规则发送到PGW 106。
VR内容服务器112经由网络104将VR内容场景的VR内容包发送到终端设备102。在一个实施例中，VR内容服务器接收由终端设备选择的视场标识符(FOV ID)，并基于收到的FOV ID生成VR内容包。然后，VR内容服务器发送场景的VR内容包，但各VR内容包具有基于与所请求的FOV ID的关系而分配的不同的QoS传输优先级值。VR内容服务器112经由网络104从终端设备102接收包括FOV ID的VR内容请求。另外，在发送VR内容包之前，VR内容服务器112会发送VR内容包的索引。VR内容包的索引包括与终端视线有关的至少两个FOV ID，使得终端可以基于终端视线从各FOV ID中选择FOV ID。
因此，PGW 106，或更一般地说，正在开发中的下一代无线网络(目前称为“5G”)中的用户面功能(User Plane Function，UPF)设备以及网络中其它的任何设备，不再是发送每个虚拟现实(VR)分组而不考虑网络状态和QoS，而是可以根据QoS传输优先级来发送VR内容包。QoS传输优先级可以包括第一QoS传输优先级、第二QoS传输优先级、第三QoS传输优先级等等。不同的QoS传输优先级对应于来自单个场景的不同视野区域的VR内容包。例如，第一多个VR内容包对应于第一QoS传输优先级、第二多个VR内容包对应于第二QoS传输优先级、并且第三多个VR内容对应于第三QoS传输优先级。
这样，QoS传输优先级不同的VR内容包可以根据QoS传输优先级来传递。因此，对于单个场景，不在用户FOV内的不同部分所对应的分组可以用较低的QoS等级，故而可以保证用户FOV中的分组的内容传输业务质量，并可降低网络时延、提高网络性能。
另外，终端102可以根据终端视线确定FOV ID，并请求与确定的FOV ID所对应的VR内容包。这样就避免了让VR内容服务器在接收到VR内容请求之后再确定FOV ID、并在确定FOV ID之后再产生VR内容包。因此就节约了从VR内容服务器接收VR内容包的等待时间。
图2示出了根据示例实施例的层级式VR内容分发系统200的其它框图。与VR内容分发系统100不同的是，VR内容分发系统200包括不同的网络202，该网络202可用于5G网络中，包括了用户面功能(user plane function，UPF)实体206、NCS 110、策略控制功能(policycontrol function，PCF)实体208和SMF实体204。可以将网络104替换为任何已知的网络，而且也可以使用网络开放功能(network exposure function，NEF)来替换NCS 110。
在层级式VR内容分发系统200中，终端设备102与VR内容服务器112通信，并且经由网络104从VR内容服务器112接收VR内容包。NCS 110与UPF 206和VR内容服务器112通信，将网络数据从UPF 206发送到VR内容服务器112，并从VR内容服务器112接收QoS处理规则。PCF208与NCS 110和SMF 204通信，以将QoS处理规则从NCS 110发送到SMF 204，该QoS处理规则包括在由PCF 208生成的策略和计费控制(policy and charging control，PCC)规则中。SMF 204与UPF 206通信，以将策略和计费控制(PCC)中的QoS处理规则发送到UPF 206。
除了网络的正常功能之外，网络202还执行与网络104的过程具有某些相似性的过程，尤其是涉及本发明的各个实施例和各个方面的过程。例如，UFP 206执行PGW 106的功能，并且PCF 208执行PCRF 108的功能。关于UPF 206、NCS 110和PCF 208的过程的细节不再赘述，可以参考图1的描述。
图1和图2示出了层级式VR内容分发系统100和200的一些实施例，其中VR内容服务器112与网络104和202分离。在替代实施例中，VR内容服务器112可以是包括在网络中的网络实体。
图3示出了单个360度视频内容场景的不同部分的传输优先级的二维表示。参照图3，该360度视频内容包括多个VR内容区域，总体上以300示出，这些VR内容区域针对单个VR内容场景中相对于终端视线的不同部分而定义。具体地，在水平方向上呈现的内容示出了相对于终端视线基于用户头部左右方向动作的多个VR内容区域，而在垂直方向上呈现的内容示出了相对于终端视线基于用户头部上下方向动作的多个VR内容区域。各VR内容区域300相对于用户的视场(FOV)定义，并且VR内容区域包括由区域306表示的FOV区域(例如用户视线周围的区域)，以及垂直相邻区域304和308、水平相邻区域314和316。VR内容区域300还包括不可见区域302、310、312和318。不可见区域312和318表示水平方向上的不可见区域，而区域302和310表示垂直方向上的不可见区域。FOV区域304对应于用户视线穿透的区域。与FOV区域304相邻的区域对应于与FOV区域相邻的区域，包括区域314、316、304和308。而且，不可见区域表示用户看不到的区域，包括区域312和318、310和302。
应该注意的是，在图3中，与FOV区域相邻的区域包括VR内容场景的4个部分，基于用户在水平或垂直方向上的头部动作，这些部分可能成为FOV区域。这4个部分中的每一个对应于VR内容场景的一部分。每个不可见区域，包括图3中的区域312和318、310和302，对应于VR内容场景的一部分。本实施例的一个方面是，FOV区域306以第一QoS发送，与FOV区域306相邻的每个区域(即区域314、316、304和308)可以以第一QoS或比第一QoS低的第二QoS发送。每个不可见区域(即区域312和318、310和302)可以以低于第一Qos且可能低于第二QoS的第三QoS来发送。图3的所有区域尽管是以不同的QoS等级发送的，但都是单个场景的一部分。在所描述的实施例中，是单个360度场景。
图4示出了360度视频内容场景的不同部分根据本发明的一个实施例的二维FOV区域视图。在图4中，佩戴终端设备的用户位于显示360度视频内容场景的圆的中心点。线“a”是由内容服务器112设置的从360度视频的中心点到360度视频的点的参照线。在一些实施例中，由线a指示的360度视频的点可以是网格拼接的360度视频场景的全景视频的中心点。线AI示出了用户终端当前朝向下的终端(或用户)视线。终端视线是从用户终端的中心点到用户视场的中心点的线。线BI和线CI在终端视线的相对两侧，定义FOV。线DI和EI在彼此的对侧，帮助定义与FOV区域相邻的区域。更具体地说，线BI和EI定义一个相邻区域，而线CI和DI定义第二个相邻区域。FOV区域可以由线BI和CI定义。
线BI&EI和CI&DI所创建的角度可以由VR内容服务器确定。对于由线BI和CI创建的FOV的角度，在一个实施例中可以由VR内容服务器确定，而在另一实施例中可以由终端确定。虽然并不是必须的，不过在一个实施例中，FOV的角度大于相邻区域的角度。
如图4所示，该360度视频内容场景包括多个区域。其中，线BI和CI所包括的区域与一个方向(例如，水平方向或垂直方向)上的FOV区域相对应，该区域标识出在任何给定时刻看到的可观察世界的范围。线BI和EI以及线CI和DI所包括的区域是在一个方向(例如，水平方向或垂直方向)上与FOV区域相邻的区域。而从线DI到线EI的区域是不可见区域，可以包括该360度视频内容中除FOV区域和与该FOV区域相邻的区域之外的区域。
图5示出了根据示例实施例，由360度视频的内容服务器112基于用户头部水平(对应于左右转动头部)或垂直(头部上下活动)活动而设置的FOV ID。在图5中，佩戴终端设备102的用户位于显示360度视频内容场景的圆的中心点。线“a”是由内容服务器112设置的从360度视频的中心点到360度视频的点的参照线。线02、04、06、08和10是VR内容服务器112设置的FOV ID，与基于用户头部动作的不同的终端视线相对应。VR内容服务器112可以将FOVID和终端视线之间的关系发送到终端设备102。在一些实施例中，VR内容服务器112可以将FOV ID 02映射到终端视线，即参照“a”线向左加20度，每条视线的间隔为20度或其它任何度数。在其它实施例中，VR内容服务器112可以将终端视线的信息设置为FOV ID。例如20、40、80等均可，FOV ID 20表示将终端视线向左转动20度的线，并且每条视线的间隔为20度或任何其它度数。
应当注意，图4和图5只是基于用户在两个方向上的头部动作，例如用户向左和向右转动头部，呈现两个维度上的360度视频内容场景。在其它示例中，用户的头部动作也可以在其它方向上，例如上下。用户头部动作的其它方向上的FOV区域和FOV ID的描述可以参见图4和5中的描述。
图6示出了根据示例实施例的基于用户头部动作的360度视频场景的网格拼接全景视频的不同区域。网格600示出了由VR内容服务器112存储的整个场。在一些实施例中，整个场可以是由一个或多个摄像机获得的360度视野。
在图6中，点A是由VR内容服务器112设置的网格拼接全景视频的中心点。点A可以是图4和5中的线“a”上的点。点B是用户的视场的中心点，并且点B可以是图4中线“a”上的点。仅作为示例，图6中的点B表示用户在水平和垂直方向上的头部动作。网格600包括FOV区域601、与之相邻的区域FOV区域602、以及不可见区域603。
注意，图6仅是360度视频场景的区域如何划分的示例。在其它实施例中，FOV区域可以是该将终端视线在水平两侧转至第一预定角度、并将将终端视线在垂直两侧转至第二预定角度后的矩形区域。应该注意的是，当将终端线在水平两侧转动时，第一预定角度可以不同。当用户在垂直的两侧转动终端视线时，第二预定角度可以不同。
图7示出了用于发送VR内容的方法的实施例的信号流程图。该方法可以在如图1或图2所示的系统的上下文中执行，并且可以使用图4至图6所例示的FOV信息。
首先，NCS 110向PGW 106或UPF 206发送网络数据查询请求(701)。网络数据可以包括任何已知的网络性能度量，并且可以包括时延、吞吐量、错误率和分组丢失信息中的任何一种，并且它们可以与不同的QoS等级相关联。在一些实施例中，NCS 110在NCS 110与PGW106或UPF 206之间的连接期间周期性地获取网络数据。并且NCS 110可以使用任何消息来发送该查询请求。
NCS 110从PGW 106/UPF206接收查询响应(702)。该查询响应包含网络数据。
接下来，VR内容服务器112向NCS 110发送网络数据请求(703)。在一些实施例中，VR内容服务器112可以在与NCS 110建立连接时发送网络数据请求。在其它实施例中，VR内容服务器112可以在需要的任何时候发送网络数据请求，或周期性地发送网络数据请求。VR内容服务器112经由网络数据响应，从NCS 110接收网络数据(704)。网络数据可以包括针对不同的QoS等级的时延、吞吐量、错误率和分组丢失信息中的至少一项。在一些实施例中，NCS 110可以基于VR内容服务器112的请求，将网络数据发送到VR内容服务器112。在其它实施例中，NCS 110可以在从PGW 106/UPF 206接收网络数据之后、确定网络数据已被改变之后、或其它情况下，将网络数据发送到VR内容服务器112。
然后，VR内容服务器112将QoS处理规则发送到NCS 110(705)。在从NCS 110接收到网络数据之后，VR内容服务器112确定用于VR内容包的QoS处理规则。QoS处理规则可以包括VR内容服务器互联网协议(Internet protocol，IP)地址、VR内容服务器端口号，以及终端设备地址、终端设备端口号、协议类型、以及与如何标识VR内容包的QoS相关的信息中的至少一种。
在从NCS 110接收到网络数据之后，VR内容服务器可以根据算法确定网络状态，例如VR内容服务器可以为每个网络数据配置阈值，并根据该阈值确定网络状态。正如表1的示例。
表1：映射网络状态和网络数据
Figure BDA0002937268080000081
表1显示了网络状态和网络数据之间关系的示例。如果VR内容服务器112接收的网络数据仅包括带宽、时延和分组丢失之一，则VR内容服务器可以根据表1中的阈值确定网络状态。此外，VR内容服务器还可以对于每种网络数据配置一个比例，例如带宽对应的网络状态可以是30％，时延对应的网络状态可以是30％，依此类推。然后，VR内容服务器112根据每个网络数据的网络状态的比例来确定网络状态。正如已经指出的那样，VR内容服务器112可以使用其它技术方案来确定网络状态。
表2：VR内容区域、QoS和网络状态之间的映射
Figure BDA0002937268080000082
在确定网络状态之后，VR内容服务器112确定VR内容中与终端视线有关的不同区域的VR内容包对应的QoS传输优先级。
NCS 110随后将QoS处理规则发送到PCRF 108/PCF 208(706)，此后，PCRF 108/PCF208通过策略和计费控制(PCC)规则，将QoS处理规则发送到PGW 106或UPF 206(707)。
QoS处理规则使得网元实体(例如PGW 106或UPF 206)获取VR内容包的QoS传输优先级。在一些实施例中，QoS处理规则还可以是VR内容服务器互联网协议(Internetprotocol，IP)地址、VR内容服务器端口号，以及终端设备地址、终端设备端口、协议类型、以及与如何标识VR内容包的QoS相关的信息中的至少一种，以使得接收该QoS处理规则的网元实体(例如PGW 106或UPF 206)获取VR内容包的QoS传输优先级。例如，QoS处理规则包括VR内容服务器地址，以使网元实体能够从具有该VR内容服务器地址的VR内容服务器112获得用于VR内容包的QoS传输优先级，或者QoS处理规则包括终端设备地址，以使得该网元实体获得发送给具有该终端设备地址的终端设备102的VR内容包的QoS传输优先级。
在步骤708-710中，PGW 106或UPF 206经由PCRF 108和NCS 110，或经由PCF 208和NCS 110，向VR内容服务器112返回QoS响应。在其它实施例中，由PGW 106/UPF 206发送至VR内容服务器112的QoS响应可以直接发送，或经由一个或多个网元间接发送。
终端设备102向VR内容服务器112发送VR内容请求，其中，该VR内容请求可以包括终端设备102选择的FOV ID，以及终端设备102请求的多个VR内容包的通用资源定位符(Universal Resource Locator，URL)(711)。在一些实施例中，VR内容请求中的FOV ID与终端视线有关，其指示从VR内容的中心点出发的终端视线的位置。终端设备102基于终端设备(例如头戴式显示器(Head Mounted Display，HMD))的动作来选择FOV ID。
在终端设备102发送VR内容请求之前，终端设备102通过确定传感器和来自VR内容服务器300的与终端视线有关的FOV ID，根据用户的头部动作来选择FOV ID。选择FOV ID的过程可以在图5和图7的说明中描述。在另一个实施例中，VR内容请求不包括由终端设备102选择的FOV ID，而是包括终端视线信息。然后，VR内容服务器112确定对应于FOV ID的VR内容包的QoS信息(712)。
在从终端设备102接收到VR内容请求之后，VR内容服务器112检索先前产生的并且与VR内容请求中的FOV ID对应的VR内容包。如果VR内容请求并不包括由终端设备102选择的FOV ID，而是包括终端视线信息，则VR内容服务器可以基于终端视线信息和图5中的VR内容服务器112设置的FOV ID，确定该VR内容请求的FOV ID。然后，检索先前产生的并且与VR内容服务器112确定的FOV ID对应的VR内容包。
每个VR内容包都属于一个VR内容区域，该VR内容区域是针对单个VR内容场景中相对于终端视线的不同部分定义的。然后，VR内容服务器112确定与VR内容区域中的VR内容包对应的业务质量(QoS)传输优先级。在一些实施例中，VR内容服务器根据表2的信息确定与VR内容包所属的VR内容区域对应的QoS传输优先级。其中，QoS传输优先级表示VR内容包的优先级。参照表2，QoS传输优先级可以包括高优先级、中等优先级和低优先级中的至少一个，以分别对应于第一、第二和第三QoS传输优先级。并且，VR内容区域可以包括FOV区域、与该FOV区域相邻的区域、以及不可见区域。
因此，内容服务器112可以根据指示终端视线和参照线“a”之间的角度的FOV ID，确定VR内容包所属的360度视频场景中的VR内容区域。
当基于FOV ID从多个集合的VR内容包中选择先前已编码的内容包时，内容服务器112基于VR内容请求中的或由VR内容服务器112确定的FOV ID来选择VR内容包。例如，假定FOV ID是04，其指示视线与360度的参照线之间的角度是40度，并且用户的头部从图5中的参照线“a”向左转动40度。
在选择VR内容包之后，VR内容服务器112可以为各VR内容包确定每个区域对应的业务质量(QoS)信息。参照表2，VR内容服务器112可以基于网络状态，确定与VR内容包的每个区域对应的业务质量(QoS)传输优先级(诸如高优先级、中等优先级或低优先级)。
然后，VR内容服务器112将单个VR内容场景的不同QoS传输优先级对应的VR内容包发送到PGW 106或UPF 206(713)。具体地，VR内容包在单个流中被发送到PGW 106或UPF206。该流程由5个元素定义，包括IP源地址(VR内容服务器IP地址)、IP目的地地址(终端设备IP地址)、源端口(VR内容服务器端口号)、目的地端口(终端设备端口)、协议类型。这意味着由VR内容服务器112发送的所有VR内容包具有相同的IP源地址、IP目的地地址、源端口、目的地端口和协议类型。
在一些实施例中，QoS传输优先级包括与第一多个VR内容包对应的第一QoS传输优先级、与第二多个VR内容包对应的第二QoS传输优先级、或与第三多个VR内容包对应的第三QoS传输优先级中的至少一个。由VR内容服务器发送的VR内容包包括对应于第一QoS传输优先级的第一多个VR内容包、对应于第二QoS传输优先级的第二多个VR内容包、以及对应于第三QoS传输优先级第三多个VR内容包中的至少两个。
在一些实施例中，QoS传输优先级可以被包括在每个VR内容包中；在其它实施例中，QoS传输优先级可以被包括在消息头中，以与VR内容包相对应。例如，如果VR内容包经由差分业务控制点(differentiated service control point，DSCP)方法发送到PGW 106或UPF206，则QoS传输优先级可以包括在IP报头的一种服务器字段中。又例如，如果VR内容包经由HTTP上的动态自适应流式传输(Dynamic Adaptive Streaming over HTTP，DASH)方法发送到PGW 106或UPF 206，则QoS传输优先级可以包括在定制的有效载荷中。
在一些实施例中，在VR内容服务器112从终端设备102接收到VR内容请求之后，VR内容服务器112可以保存该VR内容请求中与终端视线有关的信息，并根据保存的先前VR内容请求和该与终端视线有关的信息，预测下一个VR内容请求的预测的FOV ID(下一个VR内容请求的FOV ID也可以称为最近获得的FOV ID)，并将与该预测的FOV ID所对应的多个VR内容包进行编码，用于下一个VR内容请求，其中每个编码后的VR内容包都属于一个VR内容区域。在其它实施例中，如果VR内容请求中没有包括由终端设备102选择的FOV ID，而是包括终端视线信息，则VR内容服务器112可以确定用于VR内容请求的FOV ID。在确定了用于VR内容请求的FOV ID之后，VR内容服务器112可以保存该用于VR内容请求的FOV ID，并且根据保存的FOV ID来确定用于下一个VR内容请求的FOV ID，并将与该确定的FOV ID所对应的多个VR内容包进行编码，用于下一个VR内容请求，其中每个编码后的VR内容包都属于一个VR内容区域。
当VR内容服务器112将与为下一个VR内容请求预测的FOV ID对应的多个VR内容包进行编码时，为了克服预测错误，VR内容服务器112还将与该预测的FOV相邻的FOV ID所对应的多个VR内容包进行编码，用于下一个VR内容请求。例如，参考图5，为下一个VR内容请求确定的FOV ID是02，与FOV ID 02相邻的FOV ID是FOV ID 04和FOV ID 00。具体地，对于下一个VR内容请求，预测的FOV ID(也称为最近获得的FOV ID)和与该最近获得的FOV ID相邻的FOV ID也可以称为第一期望FOV ID、第二期望FOV ID和第三期望FOV ID。如果VR内容服务器112确定下一个VR内容请求中的预测的FOV ID为02(其指示用户的头部左转20度)，则VR内容服务器112将与下一个VR内容请求的预测的FOV 02对应的、与该预测的FOV ID相邻的FOV ID对应的，诸如与00对应的、或与04对应的，多个集合的VR内容包进行编码。在其它实施例中，该多个集合的VR内容包可以对应更多的FOV ID。
最后，PGW 106/UPF 206基于所指示的与QoS传输优先级对应的优先等级，将各VR内容包中的至少一个发送至终端设备102(714)。在一些实施例中，PGW 106/UPF 206将VR内容包的QoS传输优先级映射到移动网络中的QoS分类标识符(QoS ClassificationIdentifier，QCI)中，先发送高QoS传输优先级的VR内容包，然后发送中等QoS传输优先级和低QoS传输优先级的VR内容包。在其它实施例中，VR内容服务器112丢弃具有较低QoS传输优先级的VR内容包，PGW 106/UPF 206可以丢弃具有较低QoS传输优先级的VR内容包，尤其是在网络状态不佳时。换言之，PGW 106/UPF 206会基于所指示的与QoS传输优先级对应的优先等级，并基于网络状态，将多个VR内容包中的至少一个发送至终端设备。
通过包括指示VR内容包的优先等级且对应于该VR内容包所属的VR内容区域的业务质量(QoS)传输优先级，PGW 106/UPF 206可以基于该指示的与QoS传输优先级对应的优先等级，将VR内容包发送到终端设备102。因此，可以基于QoS信息来执行传输技术方案，进而可以改善用户体验。通过发送具有高QoS传输优先级的VR内容包并根据网络状态丢弃具有低QoS传输优先级的VR内容包，可以确保能够将具有高QoS传输优先级的VR内容包发送给终端，因此，用户可能会有较好的体验。
图8示出了用于发送VR内容场景的VR内容包的方法的实施例的信号流程图。图8的实施例可以在如图1或图2所示的系统的上下文中执行，并且可以使用图4至图6所例示的FOV信息。
首先，VR内容服务器112将VR内容包发送到终端设备102。该步骤与步骤713和714相同(801)。在步骤802和803中，VR内容服务器112将VR内容场景的索引发送到终端设备102。之后，VR内容服务器112对与多个FOV ID对应的，包括为下一个VR内容请求的预测的FOV ID对应的多个集合的VR内容包进行编码。在一些实施例中，VR内容服务器112可以将与预测的FOV ID相邻的FOV ID对应的多个集合的VR内容包进行编码。例如，假定预测的FOVID是04，并且与预测的FOV ID相邻的FOV ID是06和02。然后，VR内容服务器300基于FOV ID(包括预测的FOV ID和与预测的FOV ID相邻的FOV ID，或其它FOV ID，例如预测的FOV ID相邻的FOV ID的相邻FOV ID)，保存多个VR内容包。
VR内容服务器112为与各FOV ID对应的待编码的VR内容包生成索引。VR内容的索引包括VR内容包的FOV ID，以及与多个FOV ID中的每个FOV ID对应的VR内容包的URL。
例如，VR内容服务器112对与FOV ID 04对应的VR内容包进行编码、对与FOV ID 06对应的VR内容包进行编码、并对与FOV ID 02对应的VR内容包进行编码(各FOV请参见图5)。发送给终端设备100的索引包括FOV ID 04、FOV ID 06和FOV ID 02，以及与FOV ID04对应的VR内容包的URL、与FOV ID 06对应的VR内容包的URL、与FOV ID 02对应的VR内容包的URL。在其它示例中，VR内容服务器112还可对与FOV ID 00或FOV ID 08对应的VR内容包进行编码，等等。
终端设备102基于终端视线，从索引中为下一个VR内容请求选择FOV ID(804)。
当从VR内容服务器112接收到索引时，终端设备102从终端设备的传感器获得用户的视线，并基于用户头部的位置来确定用户的终端视线。在一些实施例中，传感器检测用户的头部动作，然后，诸如终端设备的VR内容客户端等终端设备基于用户头部的位置来确定终端视线，并选择与终端设备确定的终端视线最接近的FOV ID。
在步骤805-806中，终端设备102经由PGW 106/UPF 206向VR内容服务器112发送VR内容请求。VR内容请求包括视场(FOV)ID。这样，VR内容服务器112就可以基于VR内容请求中的FOV ID来选择VR内容包。在一些实施例中，VR内容请求还可以包括VR内容包的URL，使得VR内容服务器112可以根据VR内容包的URL选择VR内容包。
在一些实施例中，VR内容场景的索引可以不包括FOV ID，并且VR内容请求不包括由终端设备102选择的FOV ID，而是包括终端视线信息。
VR内容服务器112确定与FOV ID对应的VR内容包的QoS传输优先级(807)。该步骤与步骤712相同。
在步骤808-809中，VR内容服务器112经由PGW 106/UPF 206向终端设备102发送VR内容包。这些步骤与步骤713-714相同。
图9示出了根据本发明实施例的层级式终端设备102的框图。终端设备10可以实施为基于微处理器的计算机，例如通用个人计算机(personal computer，PC)、定制PC、诸如平板计算机或智能电话等便携式设备，不过本发明的范围不限于这些示例。终端设备102包括收发器902、VR客户端904和传感器。VR客户端904连接到收发器902和传感器。
收发器902包括用以生成信号并进行无线传输和/或处理以无线方式所接收到的信号的任意合适的结构。并且收发器902可以从(3G、4G、5G)、通用移动电信服务(UniversalMobile Telecommunications Service，UMTS)、码分多址(Code Division MultipleAccess，CDMA)、全球移动系统(Global System for Mobiles，GMS)等网络接收信号或向其发送信号。VR客户端904和终端设备的传感器可以实施为通用中央处理器(centralprocession unit，CPU)、通用处理器、数字信号处理器(digital signal processor，DSP)、现场可编程门阵列(field programmable gate array，FPGA)、专用集成电路(application-specific integrated circuit，ASIC)或一个或多个集成电路，其被配置为控制本发明所限定的程序例程的执行。终端设备的上述模块也可以是计算功能的组合，例如包括一个或多个微处理器的组合、包括DSP和微处理器的组合等。传感器可以是九轴姿态传感器，包括三轴陀螺仪、三轴加速度传感器和三轴磁传感器。传感器可以感应用户的动作姿势。
收发器902经由诸如网络104/202的网络，接收从VR内容服务器112发送的VR内容场景的索引。其中，该索引包括与终端视线有关的至少两个视场标识符(FOV ID)。
VR客户端904从收发器902接收索引，并从传感器获得终端视线，并基于终端视线从索引中选择FOV ID。
收发器902发送VR内容请求，该VR内容请求包括针对VR内容场景选择的FOV ID。另外，收发器902还接收VR内容包，该VR内容包具有第二且较低的QoS，并且还具有VR内容场景的不同FOV ID。而且，VR客户端904可以显示该VR内容包。
传感器将终端视线提供给终端。VR客户端904可以显示第一多个VR内容包和第二多个VR内容包。
应当理解，除了以上功能之外，收发器902、VR客户端904和传感器906还可以执行图1-图8中描述的终端设备102的功能。
图10示出了根据本发明实施例的层级式虚拟现实(VR)内容服务器112的框图。VR内容服务器112可以实施为基于微处理器的计算机，例如通用个人计算机(personalcomputer，PC)、定制PC、诸如平板计算机或智能电话等便携式设备，不过本发明的范围不限于这些示例。VR内容服务器112包括收发器1002、学习引擎1004、VR编码引擎1006和FOV&QoS映射引擎1008。
收发器1002连接到学习引擎1004和VR编码引擎1006，以将VR内容请求发送到学习引擎1004和VR编码引擎1006。学习引擎1004还连接到VR编码引擎1006，以为发到VR编码引擎1004的下一个VR内容请求提供预测的FOV ID。VR编码引擎1006还可以连接到FOV&QoS映射引擎1008，以将VR内容包发送到FOV&QoS映射引擎1008。FOV&QoS映射引擎1008可以连接到收发器1002，以将VR内容包和QoS传输优先级发送到FOV&QoS映射引擎1008。
收发器1002接收终端设备102通过网络104或网络202发送的信息，并将信息发送到终端设备102。例如，收发器1002接收针对单个VR内容场景的VR内容请求，其中该VR内容请求包括与终端视线有关的信息。VR编码引擎1006基于与终端视线有关的信息，得到用于VR内容请求的视场标识符(FOV ID)，并且基于该FOV ID，从多个集合的VR内容包中选择已经预先编码好的VR内容包。FOV&QoS映射引擎1008接收由VR编码引擎1006选择的用于VR内容请求的VR内容包，并为VR内容包确定业务质量(QoS)传输优先级。其中，该QoS传输优先级包括第一多个VR内容包的第一QoS传输优先级和第二多个VR内容包的第二QoS传输优先级。
收发器1002还发送VR内容包和QoS传输优先级。其中，收发器1002发送的VR内容包包括与第一QoS传输优先级对应的第一多个VR内容包和与第二QoS传输优先级对应的第二多个VR内容包。
在一些实施例中，收发器1002在接收到VR内容请求后，将该VR内容请求发送给学习引擎1004。学习引擎1004根据已保存的先前VR内容请求的FOV ID和与终端视线有关的信息，确定下一个VR内容请求的FOV ID。在一些实施例中，与终端视线有关的信息是FOV ID。在其它实施例中，与终端视线有关的信息包括终端视线的信息(例如终端视线的位置)，并且学习引擎1004还可以确定与该终端视线的信息对应的FOV ID。另外，除了确定用于下一个VR内容请求的FOV ID之外，学习引擎1004还保存VR内容请求的FOV ID，并且将下一个VR内容请求的FOV ID发送给VR编码引擎1006。VR编码引擎1006对与确定的下一个VR内容请求的FOV ID对应的多个集合的VR内容包进行编码。
应当理解，除了以上功能之外，收发器1002、学习引擎1004、VR编码引擎1006以及FOV&QoS映射引擎1008还可以执行图1-8中描述的VR内容服务器112的功能。
学习引擎1004、VR编码引擎1006和FOV&QoS映射引擎1008中的任何一个都可以实施为通用中央处理器(central procession unit，CPU)、通用过程、数字信号处理器(digital signal processor，DSP)、现场可编程门阵列(field programmable gatearray，FPGA)、专用集成电路(application-specific integrated circuit，ASIC)或一个或多个集成电路，其被配置为控制本发明所限定的程序例程的执行。学习引擎1004、VR编码引擎1006和FOV&QoS映射引擎1008也可以是计算功能的组合，例如包括一个或多个微处理器的组合、包括DSP和微处理器的组合等。收发器1002包括用以生成信号并进行无线传输和/或处理以无线方式所接收到的信号的任意合适的结构。并且收发器902可以从(3G、4G、5G)、通用移动电信服务(Universal Mobile Telecommunications Service，UMTS)、码分多址(Code Division Multiple Access，CDMA)、全球移动系统(Global System forMobiles，GMS)等网络接收信号或向其发送信号。
图11示出了根据本发明实施例的层级式网络实体1100的框图。网络实体1100可以是PGW 106或UPF 206或任何其它功能实体。并且，网络实体1100可以实施为基于微处理器的计算机，例如通用个人计算机(personal computer，PC)、定制PC、诸如平板计算机或智能电话等便携式设备，不过本发明的范围不限于这些示例。网络实体1100包括接收器1102和发送器1106。接收器1102连接到发送器1106。
接收器1102接收由VR内容服务器针对单个VR内容场景发送的VR内容包和该VR内容包的业务质量(QoS)传输优先级。QoS处理1104获得映射到VR内容包的QoS传输优先级。其中，该QoS传输优先级包括与第一多个VR内容包对应的第一QoS传输优先级和与第二多个VR内容包对应的第二QoS传输优先级。并且，发送器1106基于第一QoS传输优先级发送第一多个VR内容包，并且基于第二QoS传输优先级发送第二多个VR内容包，其中第二QoS传输优先级不同于第一QoS传输优先级。
在至少一个实施例中，网络实体1100还可以执行图1-8中描述的PGW 106和UPF206的功能。
QoS处理可以实施为通用中央处理器(central procession unit，CPU)、通用过程、数字信号处理器(digital signal processor，DSP)、现场可编程门阵列(fieldprogrammable gate array，FPGA)、专用集成电路(application-specific integratedcircuit，ASIC)或一个或多个集成电路，其被配置为控制本发明所限定的程序例程的执行。VR内容服务器112的上述模块也可以是计算功能的组合，例如包括一个或多个微处理器的组合、包括DSP和微处理器的组合等。收发器1102和发送器1106包括用以生成信号并进行无线传输和/或处理以无线方式所接收到的信号的任意合适的结构。并且收发器1102可以从(3G、4G、5G)、通用移动电信服务(Universal Mobile Telecommunications Service，UMTS)、码分多址(Code Division Multiple Access，CDMA)、全球移动系统(Global Systemfor Mobiles，GMS)等网络接收信号或向其发送信号。
图12示出了用于实现一个或多个元件，例如VR内容服务器、网元(PGW、UPF、PCRF、基站等)、路由器、终端设备或其它设备，以执行根据本发明所描述的各方面和实施例的用于发送、接收或处理VR内容的示例实施例的方法的电路的框图。在各种实施例中，并不需要使用全部组件。例如，VR内容服务器可以包括云计算资源，几乎不需要直接用户输入/输出(input/output，I/O)设备。UE可以不包括磁盘驱动器类存储设备，而其它设备可以使用不同的组件集合。以计算机1200的形式的示例计算设备可以包括处理器1202和经由总线1220与该处理器1202通信的存储器1203。存储器1203可以包括可移动存储装置1210或非可移动存储装置1212中的一个或两者，其中包括用于根据本发明所描述的各方面和实施例的用于发送、接收或处理VR内容的计算机指令。应当注意，例如，存储器可以包括计算机指令，当计算机指令由处理器执行时，其使得处理器，或者更一般地，使得容纳有处理器的设备执行本文——尤其是本说明书的方法描述——中所述的任何功能。存储器1203可以包括易失性存储器1214和/或非易失性存储器1208。尽管示例计算设备被示出和描述为计算机1200，但是在不同的实施例中，该计算设备可以是不同的形式。例如，计算设备可以替代地是智能手机、平板电脑、智能手表或其它计算设备，其可包括与图12所示出和描述的可以接收和显示VR内容的元件的相同或相似的元件。诸如智能手机，平板电脑和智能手表之类的设备通常统称为移动设备或用户设备。此外，尽管将各种数据存储元件示出为计算机1200的一部分，但是该存储还可以或可替代地包括可经由网络，诸如因特网访问的基于云的存储，或基于服务器的存储。
计算机1200可以包括或可以访问包括各种计算机可读介质，例如与总线1220耦合的易失性存储器1214和/或非易失性存储器1208、可移动存储装置1210和/或非可移动存储装置1212，的计算环境。计算机存储设备包括随机存取存储器(random access memory，RAM)、只读存储器(read only memory，ROM)、可擦可编程只读存储器(erasableprogrammable read-only memory，EPROM)和电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、闪存或其它存储技术、光盘只读存储器(compact disc read-only memory，CD ROM)、数字通用磁盘(Digital VersatileDisks，DVD)或其它光盘存储设备、磁带盒、磁带、磁盘存储设备或其它磁性存储设备、或任何其它能够存储计算机可读指令的介质。
计算机1200可以包括或可以访问耦合到总线1220的输入接口1206、输出接口1204和通信接口1216。输出接口1204可以包括诸如触摸屏之类的显示设备，其也可以用作输入设备。输入接口1206可以包括触摸屏、触摸板、鼠标、键盘、摄像头、一个或多个设备专用按钮、集成在计算机500中或经由有线或无线数据连接或耦合到计算机500的一个或多个传感器、以及其它输入设备。计算机1200可以使用通信接口1216在联网环境中操作，以连接到一个或多个远程计算机，诸如数据库服务器或其它设备或系统。远程计算机可以包括个人计算机(PC)、服务器、路由器、网络PC、对等设备或其它常见DFD网络交换机，等等。通信接口1216可以通过局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、蜂窝网、WiFi(Wireless Fidelity)、蓝牙或其它网络或系统进行通信。根据一个实施例，计算机1200的各种组件与系统总线1220连接。
存储在计算机可读介质上(诸如存储在存储器1203中)的计算机可读指令1218可由计算机1200的处理器1202执行。如果载波和信号被认为过于暂时性，则术语“计算机可读介质”和“存储设备”不包括载波或信号。存储设备还可以包括网络存储设备，诸如存储区域网络(storage area network，SAN)。
在一个示例中，计算机1200包括：存储器1203，其包括指令1218；以及一个或多个处理器1202，其与存储器1203通信，其中该一个或多个处理器1202执行该指令1218，以接收由VR内容服务器为单个VR内容场景发送的VR内容包，以该VR内容包的业务质量(QoS)传输优先级，并且当该计算机1200作为网元工作时，基于第一QoS传输优先级发送第一多个VR内容包，并基于第二QoS传输优先级发送第二多个VR内容包。
下面的示例示出了本发明实施例的其它方面：
示例1、一种由网元执行的用于发送虚拟现实(VR)内容的方法，包括：
接收VR内容服务器为单个VR内容场景发送的VR内容包以及该VR内容包的业务质量(QoS)传输优先级，其中，该QoS传输优先级包括与该第一VR对应的第一QoS传输优先级内容包和第二多个VR内容包对应的第二QoS传输优先级；和
基于该第一QoS传输优先级发送该第一多个VR内容包，并且基于该第二QoS传输优先级发送该第二多个VR内容包，其中该第二QoS传输优先级不同于该第一QoS传输优先级。
示例2、根据示例1所述的方法，其中相对于用户的视场FOV，针对该单个VR内容场景的不同部分定义多个VR内容区域。
示例3、根据示例1或2中任一项所述的方法，其中该QoS传输优先级分别对应于VR内容区域的该VR内容包。
示例4、根据示例1-3中任一项所述的方法，还包括：接收策略和计费控制(PCC)规则，其中该PCC规则包括QoS处理规则，以使得该网元确定该VR内容包的该QoS传输优先级。
示例5、根据示例1-4中任一项所述的方法，其中该QoS处理规则包括VR内容服务器地址，以使得该网元从该VR内容服务器获取该VR内容包的该QoS传输优先级。
示例6、根据示例1-5中任一项所述的方法，还包括：丢弃具有第三QoS传输优先级的第三多个VR内容包。
示例7、根据示例1-6中任一项所述的方法，其中基于该第一QoS传输优先级的该第一多个VR内容包和基于该第二QoS传输优先级的该第二多个VR内容包是由该VR内容服务器经由该VR内容服务器和该网元之间的单个流发送。
示例8、一种由虚拟现实(VR)内容服务器执行的用于发送VR内容的方法，包括：
接收针对单个VR内容场景的VR内容请求，其中该VR内容请求包括与终端视线有关的信息；
基于与该终端视线有关的该信息，获取该VR内容请求的视场标识符(FOV ID)；
基于该FOV ID，从多个集合的VR内容包中选择先前已编码的VR内容包；
为VR内容包确定业务质量(QoS)传输优先级，其中该QoS传输优先级包括第一多个VR内容包的第一QoS传输优先级和第二多个VR内容包的第二QoS传输优先级；以及
发送该VR内容包和该QoS传输优先级。
示例9、根据示例8所述的方法，还包括：
接收网络数据信息，并且其中确定该QoS传输优先级包括基于该网络数据信息确定该QoS传输优先级。
示例10、根据示例8-9中任一项所述的方法，其中该网络数据包括吞吐量信息、时延信息、分组丢失信息和错误率信息中的至少一种。
示例11、根据示例8-10中任一项所述的方法，还包括：向网元发送QoS处理规则，其中该QoS处理规则使得该网元基于QoS信息来使用QoS传输优先级。
示例12、根据示例8-11中任一项所述的方法，其中该QoS处理规则包括资源地址和目的地地址中的至少一个。
示例13、根据示例8-12中任一项所述的方法，还包括：
在接收到来自VR终端设备的VR内容请求之前，将该VR内容场景的索引发送至该终端设备，其中该索引包括与终端视线有关的至少两个视场标识符FOV ID，其中该VR内容请求中的该FOV ID根据该终端视线从该索引中选择。
示例14、根据示例8-13中任一项所述的方法，还包括：在接收VR内容请求之前，对该多个集合的VR内容包进行编码，其中第一集合对应于第一期望FOV ID、第二集合对应于第二期望FOV ID、并且第三集合对应于第三期望ID。
示例15、根据示例8-14中任一项所述的方法，其中该第一、第二和第三期望FOV ID基于与最近终端视线有关的最近获得的FOV ID来预测。
示例16、根据示例8-15中任一项所述的方法，与该终端视线有关的该信息是与该终端视线有关的FOV ID或该终端视线信息。
示例17、根据示例8-16中任一项所述的方法，其中该VR内容包和该QoS传输优先级经由单个信道被发送到该网元。
示例18、一种由终端设备执行的用于接收虚拟现实(VR)内容的方法，包括：
接收VR内容场景的索引，其中该索引包括与终端视线有关的至少两个视场标识符(FOV ID)；
基于终端视线，从该索引中选择FOV ID；
发送VR内容请求，该VR内容请求包括针对该VR内容场景选择的该FOV ID；
接收具有与针对该VR内容场景选择的该FOV ID对应的第一业务质量QoS的该VR内容包；以及
接收该VR内容场景中具有第二且较低QoS并且还具有不同FOV ID的VR内容包。
示例19、根据示例18所述的方法，其中该VR内容包具有不同QoS传输优先级，并且其中该方法还包括：
基于该QoS传输优先级显示该VR内容包。
示例20、根据示例18-19中任一项所述的方法，其中该VR内容包包括与第一QoS传输优先级对应的第一多个VR内容包、与第二QoS传输优先级对应的第二多个VR内容包、以及与第三QoS传输优先级对应的第三多个VR内容包；该基于该QoS传输优先级显示该VR内容包包括：
显示该第一多个VR内容包和该第二多个VR内容包。
示例21、根据示例18-20中任一项所述的方法，还包括：
发送该FOV ID与该终端视线之间的关系。
示例22、一种网元，包括：包括指令的非暂时性存储器；以及与该存储器通信的一个或多个处理器，其中该一个或多个处理器被配置为执行该指令以：
接收由虚拟现实VR内容服务器为单个VR内容场景发送的VR内容包，以及该VR内容包的业务质量(QoS)传输优先级，其中该QoS传输优先级包括与该VR内容包中第一多个VR内容包对应的第一QoS传输优先级，以及与该VR内容包中第二多个VR内容包对应的第二QoS传输优先级；以及
基于该第一QoS传输优先级发送该第一多个VR内容包，并且基于该第二QoS传输优先级发送该第二多个VR内容包，其中该第二QoS传输优先级不同于该第一QoS传输优先级。
示例23、根据示例22所述的网元，其中该一个或多个处理器被配置为还执行该指令以：
接收策略和计费控制(PCC)规则，其中该PCC规则包括QoS处理规则，以使得该网元确定该VR内容包的该QoS传输优先级。
示例24、根据示例22-23中任一项所述的网元，其中该一个或多个处理器被配置为还执行该指令以：
丢弃具有第三QoS传输优先级的第三多个VR内容包。
示例25、一种虚拟现实(VR)内容服务器，包括：包括指令的非暂时性存储器；以及与该存储器通信的一个或多个处理器，其中该一个或多个处理器被配置为执行该指令以：
接收针对单个VR内容场景的VR内容请求，其中该VR内容请求包括与终端视线有关的信息；
基于与该终端视线有关的该信息，获取该VR内容请求的视场标识符(FOV ID)；
基于该FOV ID，从多个集合VR内容包中选择先前已编码的VR内容包；
为VR内容包确定业务质量QoS传输优先级，其中该QoS传输优先级包括第一多个VR内容包的第一QoS传输优先级和第二多个VR内容包的第二QoS传输优先级；以及
发送该VR内容包和该QoS传输优先级。
示例26、根据示例25所述的网元，包括：其中该一个或多个处理器被配置为还执行该指令以：
接收网络数据信息；以及
其中确定该QoS传输优先级还包括基于该网络状态确定该QoS传输优先级。
示例27、一种终端设备，包括：包括指令的非暂时性存储器；以及与该存储器通信的一个或多个处理器，其中该一个或多个处理器被配置为执行该指令以：
接收虚拟现实VR内容场景的索引，其中该索引包括与终端视线有关的至少两个视场标识符(FOV ID)；
基于终端视线，从该索引中选择FOV ID；
发送VR内容请求，该VR内容请求包括针对该VR内容场景选择的该FOV ID；
接收具有与针对该VR内容场景选择的该FOV ID对应的第一QoS的该VR内容包；以及
接收该VR内容场景中具有第二且较低QoS并且还具有不同FOV ID的VR内容包。
尽管上面已经详细描述了一些实施例，但是其它修改也是可能的。例如，附图中描绘的逻辑流程并不要求按照所示的特定顺序或顺次顺序来实现期望的结果。可以提供其它步骤，或者可以从所描述的流程中去除步骤，并且可以将其它组件添加到所描述的系统中或从中移除。其它实施例可以在所附权利要求的范围内。

Claims (27)

1.一种由网元执行的用于发送虚拟现实VR内容的方法，包括：
向VR内容服务器转发来自终端设备的针对单个VR内容场景的VR内容请求，其中所述VR内容请求包括与所述终端设备的终端视线有关的信息；
接收由所述VR内容服务器为所述单个VR内容场景发送的VR内容包，以及所述VR内容包的业务质量QoS传输优先级，其中所述QoS传输优先级包括与所述VR内容包中第一集合的多个VR内容包对应的第一QoS传输优先级，以及与所述VR内容包中第二集合的多个VR内容包对应的第二QoS传输优先级；以及
基于所述第一QoS传输优先级发送所述第一集合的多个VR内容包，并且基于所述第二QoS传输优先级发送所述第二集合的多个VR内容包，其中所述第二QoS传输优先级不同于所述第一QoS传输优先级。
2.根据权利要求1所述的方法，其中相对于用户的视场FOV，针对所述单个VR内容场景的不同部分定义多个VR内容区域。
3.根据权利要求1或2所述的方法，其中所述QoS传输优先级分别对应于VR内容区域的所述VR内容包。
4.根据权利要求1或2所述的方法，还包括：
接收策略和计费控制PCC规则，其中所述PCC规则包括QoS处理规则，以使得所述网元确定所述VR内容包的所述QoS传输优先级。
5.根据权利要求4所述的方法，其中所述QoS处理规则包括VR内容服务器地址，以使得所述网元从所述VR内容服务器获取所述VR内容包的所述QoS传输优先级。
6.根据权利要求1、2和5中任一项所述的方法，还包括：丢弃具有第三QoS传输优先级的第三多个VR内容包。
7.根据权利要求1、2和5中任一项所述的方法，其中基于所述第一QoS传输优先级的所述第一集合的多个VR内容包和基于所述第二QoS传输优先级的所述第二集合的多个VR内容包是由所述VR内容服务器经由所述VR内容服务器和所述网元之间的单个流发送。
8.一种由虚拟现实VR内容服务器执行的用于发送VR内容的方法，包括：
接收终端设备针对单个VR内容场景的VR内容请求，其中所述VR内容请求包括与所述终端设备的终端视线有关的信息；
基于与所述终端视线有关的所述信息，获取所述VR内容请求的视场标识符FOV ID；
基于所述FOV ID，从多个VR内容包的集合中选择先前已编码的VR内容包，其中第一集合的多个VR内容包对应于所述FOV ID，第二集合的多个VR内容包对应于与所述FOV ID不同的FOV ID；
为所述第一集合的多个VR内容包和所述第二集合的多个VR内容包确定业务质量QoS传输优先级，其中所述QoS传输优先级包括所述第一集合的多个VR内容包的第一QoS传输优先级和所述第二集合的多个VR内容包的第二QoS传输优先级，其中所述第二QoS传输优先级不同于所述第一QoS传输优先级；以及
按照所述QoS传输优先级，向所述终端设备发送所述第一集合的多个VR内容包和所述第二集合的多个VR内容包。
9.根据权利要求8所述的方法，还包括：
接收网络数据信息；以及
其中确定所述QoS传输优先级包括基于所述网络数据信息确定所述QoS传输优先级。
10.根据权利要求9所述的方法，其中所述网络数据包括吞吐量信息、时延信息、分组丢失信息和错误率信息中的至少一种。
11.根据权利要求8-10中任一项所述的方法，还包括：向网元发送QoS处理规则，其中所述QoS处理规则使得所述网元基于QoS信息来使用QoS传输优先级。
12.根据权利要求11所述的方法，其中所述QoS处理规则包括资源地址和目的地地址中的至少一个。
13.根据权利要求8-10和12中任一项所述的方法，还包括：
在接收到来自VR终端设备的VR内容请求之前，将所述VR内容场景的索引发送至所述VR终端设备，其中所述索引包括与终端视线有关的至少两个视场标识符FOV ID，其中所述VR内容请求中的所述FOV ID根据所述终端视线从所述索引中选择。
14.根据权利要求8-10和12中任一项所述的方法，还包括：在接收VR内容请求之前，对所述多个包含VR内容包的集合进行编码，其中第一集合对应于第一期望FOV ID、第二集合对应于第二期望FOV ID、并且第三集合对应于第三期望FOV ID。
15.根据权利要求14所述的方法，其中所述第一期望FOV ID、第二期望FOV ID和第三期望FOV ID基于与最近终端视线有关的最近获得的FOV ID来预测。
16.根据权利要求8-10和12中任一项所述的方法，其中与所述终端视线有关的所述信息是与所述终端视线有关的FOV ID或终端视线信息。
17.根据权利要求8-10和12中任一项所述的方法，其中所述VR内容包和所述QoS传输优先级经由单个信道被发送到所述网元。
18.一种由终端设备执行的用于接收虚拟现实VR内容的方法，包括：
接收来自VR内容服务器的单个VR内容场景的索引，其中所述索引包括与终端视线有关的至少两个视场标识符FOV ID；
基于终端视线，从所述索引中选择FOV ID；
向所述VR内容服务器发送VR内容请求，所述VR内容请求包括针对所述VR内容场景选择的所述FOV ID；
接收具有与针对所述VR内容场景选择的所述FOV ID对应的第一业务质量QoS的VR内容包；以及
接收所述VR内容场景中具有第二QoS并且还具有不同FOV ID的VR内容包，所述第二QoS为较低的QoS。
19.根据权利要求18所述的方法，其中所述VR内容包具有不同QoS传输优先级，并且其中所述方法还包括：
基于所述QoS传输优先级显示所述VR内容包。
20.根据权利要求18或19所述的方法，其中所述VR内容包包括与第一QoS传输优先级对应的第一集合的多个VR内容包、与第二QoS传输优先级对应的第二集合的多个VR内容包、以及与第三QoS传输优先级对应的第三集合的多个VR内容包；所述基于所述QoS传输优先级显示所述VR内容包包括：
显示所述第一集合的多个VR内容包和所述第二集合的多个VR内容包。
21.根据权利要求18或19所述的方法，还包括：
发送所述FOV ID与所述终端视线之间的关系。
22.一种网元，包括：
包括指令的非暂时性存储器；以及
与所述存储器通信的一个或多个处理器，其中所述一个或多个处理器被配置为执行所述指令以：
向VR内容服务器转发来自终端设备的针对单个VR内容场景的VR内容请求，其中所述VR内容请求包括与所述终端设备的终端视线有关的信息；
接收由所述VR内容服务器为所述单个VR内容场景发送的VR内容包，以及所述VR内容包的业务质量QoS传输优先级，其中所述QoS传输优先级包括与所述VR内容包中第一集合的多个VR内容包对应的第一QoS传输优先级，以及与所述VR内容包中第二集合的多个VR内容包对应的第二QoS传输优先级，其中所述第一集合的多个VR内容包对应于与所述终端视线有关的所述信息；以及
基于所述第一QoS传输优先级发送所述第一集合的多个VR内容包，并且基于所述第二QoS传输优先级发送所述第二集合的多个VR内容包，其中所述第二QoS传输优先级不同于所述第一QoS传输优先级。
23.根据权利要求22所述的网元，其中所述一个或多个处理器被配置为还执行所述指令以：
接收策略和计费控制PCC规则，其中所述PCC规则包括QoS处理规则，以使得所述网元确定所述VR内容包的所述QoS传输优先级。
24.根据权利要求22或23所述的网元，其中所述一个或多个处理器被配置为还执行所述指令以：
丢弃具有第三QoS传输优先级的第三集合的多个VR内容包。
25.一种虚拟现实VR内容服务器，包括：
包括指令的非暂时性存储器；以及
与所述存储器通信的一个或多个处理器，其中所述一个或多个处理器被配置为执行所述指令以：
接收终端设备针对单个VR内容场景的VR内容请求，其中所述VR内容请求包括与所述终端设备的终端视线有关的信息；
基于与所述终端视线有关的所述信息，获取所述VR内容请求的视场标识符FOV ID；
基于所述FOV ID，从多个集合的VR内容包中选择先前已编码的VR内容包，其中第一集合的多个VR内容包对应于所述FOV ID，第二集合的多个VR内容包对应于与所述FOV ID不同的FOV ID；
为所述第一集合的多个VR内容包和所述第二集合的多个VR内容包确定业务质量QoS传输优先级，其中所述QoS传输优先级包括所述第一集合的多个VR内容包的第一QoS传输优先级和所述第二集合的多个VR内容包的第二QoS传输优先级，其中所述第二QoS传输优先级不同于所述第一QoS传输优先级；以及
按照所述QoS传输优先级，向所述终端设备发送所述第一集合的多个VR内容包和所述第二集合的多个VR内容包。
26.根据权利要求25所述的VR内容服务器，其中所述一个或多个处理器被配置为还执行所述指令以：
接收网络数据信息；以及
其中确定所述QoS传输优先级包括基于所述网络数据信息确定所述QoS传输优先级。
27.一种终端设备，包括：
包括指令的非暂时性存储器；以及
与所述存储器通信的一个或多个处理器，其中所述一个或多个处理器被配置为执行所述指令以：
接收来自VR内容服务器的单个VR内容场景的索引，其中所述索引包括与终端视线有关的至少两个视场标识符FOV ID；
基于终端视线，从所述索引中选择FOV ID；
向所述VR内容服务器发送VR内容请求，所述VR内容请求包括针对所述VR内容场景选择的所述FOV ID；
接收具有与针对所述VR内容场景选择的所述FOV ID对应的第一集合的业务质量QoS传输优先级的VR内容包；以及
接收所述VR内容场景中具有第二且较低QoS传输优先级并且还具有不同FOV ID的VR内容包。
CN202110163038.0A 2017-06-08 2018-05-23 发送虚拟现实(vr)内容的方法和系统 Active CN112887843B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/617,859 US10477105B2 (en) 2017-06-08 2017-06-08 Method and system for transmitting virtual reality (VR) content
US15/617,859 2017-06-08
CN201880031808.2A CN110622506B (zh) 2017-06-08 2018-05-23 发送虚拟现实(vr)内容的方法和系统
PCT/CN2018/087940 WO2018223839A1 (en) 2017-06-08 2018-05-23 A method and system for transmitting virtual reality (vr) content

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880031808.2A Division CN110622506B (zh) 2017-06-08 2018-05-23 发送虚拟现实(vr)内容的方法和系统

Publications (2)

Publication Number Publication Date
CN112887843A true CN112887843A (zh) 2021-06-01
CN112887843B CN112887843B (zh) 2022-08-26

Family

ID=64564257

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110163038.0A Active CN112887843B (zh) 2017-06-08 2018-05-23 发送虚拟现实(vr)内容的方法和系统
CN201880031808.2A Active CN110622506B (zh) 2017-06-08 2018-05-23 发送虚拟现实(vr)内容的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880031808.2A Active CN110622506B (zh) 2017-06-08 2018-05-23 发送虚拟现实(vr)内容的方法和系统

Country Status (6)

Country Link
US (1) US10477105B2 (zh)
EP (1) EP3625961A4 (zh)
JP (1) JP6973709B2 (zh)
KR (2) KR102419114B1 (zh)
CN (2) CN112887843B (zh)
WO (1) WO2018223839A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117348932A (zh) * 2023-12-04 2024-01-05 中科亿海微电子科技（苏州）有限公司 支持axi深度乱序传输的从机装置及工作方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) * 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10560759B1 (en) * 2018-10-23 2020-02-11 At&T Intellectual Property I, L.P. Active network support on adaptive virtual reality video transmission
CN111565422B (zh) * 2019-02-13 2022-04-05 华为技术有限公司 策略控制方法、装置及系统
US20210304705A1 (en) * 2020-03-27 2021-09-30 Samsung Electronics Co., Ltd. Image display apparatus and method for managing data packet loss
CN113452474B (zh) * 2020-03-27 2022-12-02 华为技术有限公司 扩展现实数据传输方法及装置
CN113747510A (zh) * 2020-05-28 2021-12-03 华为技术有限公司 通信方法及装置
US11677840B2 (en) 2021-01-11 2023-06-13 Cisco Technology, Inc. Preserving transmission properties of real-time scenes in an environment when an increasing number of users join a session
US11895170B2 (en) * 2021-03-09 2024-02-06 Cisco Technology, Inc. Synchronicity for virtual reality/augmented reality interactive sessions in wireless networks
US11917011B2 (en) * 2022-01-10 2024-02-27 Meta Platforms Technologies, Llc Resilient rendering for augmented-reality devices
WO2023136754A1 (en) * 2022-01-12 2023-07-20 Telefonaktiebolaget Lm Ericsson (Publ) Application server node, network node, core network node, and methods in a wireless communications network
US11758104B1 (en) 2022-10-18 2023-09-12 Illuscio, Inc. Systems and methods for predictive streaming of image data for spatial computing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102377764A (zh) * 2010-07-01 2012-03-14 美国博通公司 通信方法和通信系统
US20140184475A1 (en) * 2012-12-27 2014-07-03 Andras Tantos Display update time reduction for a near-eye display
CN106162513A (zh) * 2015-04-09 2016-11-23 上海贝尔股份有限公司 支持优先级的接近业务直接通信的方法和装置
CN106454321A (zh) * 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8146142B2 (en) * 2004-09-03 2012-03-27 Intel Corporation Device introduction and access control framework
KR20070119905A (ko) * 2006-06-16 2007-12-21 삼성에스디아이 주식회사 연료 전지용 막-전극 어셈블리 및 이를 포함하는 연료 전지시스템
JP4111231B2 (ja) * 2006-07-14 2008-07-02 富士ゼロックス株式会社 立体表示システム
US7630314B2 (en) * 2006-12-05 2009-12-08 Latitue Broadband, Inc. Methods and systems for dynamic bandwidth management for quality of service in IP Core and access networks
US8688814B2 (en) * 2007-10-19 2014-04-01 Telefonaktiebolaget L M Ericsson (Publ) Methods and apparatuses for notifying an application function of resource restrictions relating to a communication session
CN104898652B (zh) * 2011-01-28 2018-03-13 英塔茨科技公司 与一个可移动的远程机器人相互交流
EP2689036B1 (en) * 2011-03-25 2017-12-20 Cedars-Sinai Medical Center Methods of diagnosing and treating intestinal granulomas and low bone density in inflammatory bowel disease
CN103533367B (zh) * 2013-10-23 2015-08-19 传线网络科技（上海）有限公司 一种无参考视频质量评价方法及装置
WO2015106022A1 (en) * 2014-01-08 2015-07-16 Futurewei Technologies, Inc. Method and system of quality of service (qos) negotiation for network assisted adaptive streaming
US9699437B2 (en) * 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
EP3037915B1 (en) * 2014-12-23 2017-08-16 Nokia Technologies OY Virtual reality content control
US10575008B2 (en) 2015-06-01 2020-02-25 Apple Inc. Bandwidth management in devices with simultaneous download of multiple data streams
CN106303404A (zh) * 2015-06-29 2017-01-04 北京智谷睿拓技术服务有限公司 可视化内容传输控制方法、发送方法、及其装置
US10217877B2 (en) * 2015-07-27 2019-02-26 Lg Electronics Inc. Solar cell
CN105898138A (zh) 2015-12-18 2016-08-24 乐视致新电子科技（天津）有限公司 全景视频播放方法及装置
CN106919248A (zh) 2015-12-26 2017-07-04 华为技术有限公司 应用于虚拟现实的内容传输方法以及设备
KR102663043B1 (ko) * 2016-05-12 2024-05-10 인터디지탈 패튼 홀딩스, 인크 가상화된 모바일 코어 네트워크들에의 접속
US11395020B2 (en) * 2016-09-08 2022-07-19 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in a virtual reality (VR) environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102377764A (zh) * 2010-07-01 2012-03-14 美国博通公司 通信方法和通信系统
US20140184475A1 (en) * 2012-12-27 2014-07-03 Andras Tantos Display update time reduction for a near-eye display
CN106162513A (zh) * 2015-04-09 2016-11-23 上海贝尔股份有限公司 支持优先级的接近业务直接通信的方法和装置
CN106454321A (zh) * 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117348932A (zh) * 2023-12-04 2024-01-05 中科亿海微电子科技（苏州）有限公司 支持axi深度乱序传输的从机装置及工作方法
CN117348932B (zh) * 2023-12-04 2024-03-15 中科亿海微电子科技（苏州）有限公司 支持axi深度乱序传输的从机装置及工作方法

Also Published As

Publication number Publication date
EP3625961A4 (en) 2020-04-01
US10477105B2 (en) 2019-11-12
JP6973709B2 (ja) 2021-12-01
KR20210106034A (ko) 2021-08-27
CN110622506B (zh) 2021-02-12
CN112887843B (zh) 2022-08-26
KR20200014355A (ko) 2020-02-10
KR102419114B1 (ko) 2022-07-07
CN110622506A (zh) 2019-12-27
WO2018223839A1 (en) 2018-12-13
JP2020522944A (ja) 2020-07-30
US20180359189A1 (en) 2018-12-13
EP3625961A1 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
CN112887843B (zh) 发送虚拟现实(vr)内容的方法和系统
US10231014B2 (en) Virtual reality (VR) video distribution using edge resources
US9609370B2 (en) Video delivery modification based on network availability
JP6418660B2 (ja) データ送信方法及びデバイス
US11259352B2 (en) Systems, methods, and media for providing multi-homing
US11979450B2 (en) Communication method and apparatus
US20140036893A1 (en) System and Method for Enforcing Uplink Wireless Medium Usage in Wireless Networks
EP3241380A1 (en) Technique for providing quality enhancements to an application residing on a user terminal
TW201707419A (zh) 多寬頻訂閱共享
US20190378244A1 (en) Method and apparatus for selecting communication interface in wireless communication system
CN114339928A (zh) 无线路由器及其数据传输方法
US11265356B2 (en) Network assistance functions for virtual reality dyanmic streaming
US20240334504A1 (en) Methods and systems for data flow coordination in multi-modal communications
CN114846810A (zh) 通信方法及装置
WO2021212999A1 (zh) 媒体报文的传输方法、装置及系统
US20240340243A1 (en) Systems and methods for establishing local area network links for devices based on quality of service
US20230076650A1 (en) Image content transmission method and apparatus using edge computing service
US11297634B2 (en) Systems, methods, and media for scheduling traffic of a communication session between an application on a WiFi network and another device
WO2023009777A1 (en) System and method for dynamic policy generation in near-real time (rt) radio access network intelligent controller (ric) for adaptive applications
WO2024088575A1 (en) Quality of service sustainability in a wireless communication network
WO2024088574A1 (en) Updating protocol data unit set parameters based on analytics in a wireless communication system
TW202349981A (zh) Wlan裝置的qos管理之系統和方法
CN118633318A (zh) 信息处理方法及装置、通信设备及存储介质
CN114727308A (zh) 一种信息处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant