CN117099373A - 当越来越多的用户加入会话时在环境中保留实时场景的传输属性 - Google Patents

当越来越多的用户加入会话时在环境中保留实时场景的传输属性 Download PDF

Info

Publication number
CN117099373A
CN117099373A CN202280018660.5A CN202280018660A CN117099373A CN 117099373 A CN117099373 A CN 117099373A CN 202280018660 A CN202280018660 A CN 202280018660A CN 117099373 A CN117099373 A CN 117099373A
Authority
CN
China
Prior art keywords
metric
metrics
new client
acgls
alr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280018660.5A
Other languages
English (en)
Inventor
马尔科姆·缪尔·史密斯
塞尔焦·梅娜
洛伦佐·格拉奈
杰罗姆·亨利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cisco Technology Inc
Original Assignee
Cisco Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cisco Technology Inc filed Critical Cisco Technology Inc
Publication of CN117099373A publication Critical patent/CN117099373A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/143—Termination or inactivation of sessions, e.g. event-controlled end of session
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H04N21/2396—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests characterized by admission policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/2585—Generation of a revocation list, e.g. of client devices involved in piracy acts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

可以提供当越来越多的用户加入会话时在环境中保留实时场景的传输属性。可以确定与具有粗粒度(CG)层和细粒度(FG)层的场景的传输相关联的多个度量。然后，可以基于多个度量中的第一度量撤销当前客户端。然后可以执行以下操作之一：基于多个度量中的第二度量阻挡新客户端；以及基于多个度量中的第二度量允许新客户端。

Description

当越来越多的用户加入会话时在环境中保留实时场景的传输 属性
本申请于2022年1月7日作为PCT国际专利申请被提交，并且要求获得2021年1月11日提交的美国非临时专利申请序列号17/146,046的权益和优先权，该美国申请的全部公开内容被通过引用完全并入。
技术领域
本公开概括而言涉及保留实时场景的传输属性。
背景技术
在计算机联网中，无线接入点(Access Point，AP)是一种联网硬件设备，它允许Wi-Fi兼容的客户端设备连接到有线网络和其他客户端设备。AP通常作为独立设备连接到路由器(直接或经由有线网络间接连接)，但它也可以是路由器本身的一个组成部分。多个AP也可以通过直接的有线或无线连接，或者通过一个通常称为无线局域网(WirelessLocal Area Network，WLAN)控制器的中央系统，来协调地工作。AP有别于热点，后者是提供对WLAN的Wi-Fi接入的物理位置。
在无线网络出现之前，要在企业、家庭或学校中建立计算机网络，通常要求通过墙壁和天花板铺设许多线缆，以便向建筑物中的所有启用网络的设备提供网络接入。随着无线AP的创建，网络用户只要用很少或根本不用线缆，就能够添加接入网络的设备。AP连接到有线网络，然后提供射频链路以便其他无线电设备接入该有线网络。大多数AP支持多个无线设备的连接。AP被构建来支持使用这些无线电频率来发送和接收数据的标准。
附图说明
包含在本公开中并且构成本公开的一部分的附图图示了本公开的各种实施例。在附图中：
图1是当越来越多的用户加入会话时在环境中保留实时场景的传输属性的操作环境的框图；
图2是当越来越多的用户加入会话时在环境中保留实时场景的传输属性的方法的流程图；并且
图3是计算设备的框图。
具体实施方式
概述
可以提供当越来越多的用户加入会话时在环境中保留实时场景的传输属性。可以确定与具有粗粒度(Coarse Grain，CG)层和细粒度(Fine Grain，FG)层的场景的传输相关联的多个度量。然后，可以基于多个度量中的第一度量撤销当前客户端。然后可以执行以下操作之一：基于多个度量中的第二度量阻挡新客户端；以及基于多个度量中的第二度量允许新客户端。
前面的概述和接下来的示例实施例都只是举例和说明，而不应当被认为限制所描述和要求保护的本公开的范围。此外，除了描述的那些以外，还可以提供其他特征和/或变化。例如，本公开的实施例可以针对示例实施例中描述的各种特征组合和子组合。
示例实施例
接下来的详细描述参考了附图。只要有可能，在附图和接下来的描述中使用相同的标号来指代相同或相似的元素。虽然可以描述本公开的实施例，但修改、改编和其他实现方式是可能的。例如，可以对附图中图示的元素进行替换、添加或修改，并且可以通过对所公开的方法进行替换、重排序或添加阶段来修改本文描述的方法。因此，接下来的详细描述并不限制本公开。相反，本公开的恰当范围由所附权利要求限定。
虚拟现实(Virtual Reality，VR)或增强现实(Augmented Reality，AR)应用可将其发送和接收的实时场景数据划分为子场景。VR或AR应用的数据传输的一个属性可能是相关子场景的同步传输。WiFi6(即，802.11ax)可提供一种改进这种同步传输的过程，即正交频分多址接入(Orthogonal Frequency Division Multiple Access，OFDMA)及其调度资源单元(Resource Unit，RU)的灵活性，以将相关子场景适配在给定的传输机会(TransmitOpportunity，TXOP)中。
OFDMA可以取得Wi-Fi信道并且将其划分为较小的频率分配(即，RU)。这使得接入点(AP)能够通过将多个客户端设备指派到特定的RU(例如，一个TXOP内的RU)来与多个客户端设备。另外，通过细分信道，使用小帧(例如，视频或音频流媒体)的应用可以被同时传输到多个端点，这可以减少第二层的开销和拥塞，提高应用性能。OFDMA可能是灵活的，并且可取决于流量为单个客户端分配信道或者为多个客户端细分信道。
在大规模情况下(即，许多无线VR/AR客户端设备)，可能没有足够的可用时间-频率RU来在同一TXOP中发送所有VR/AR子场景更新数据。如果出现这种情况，则一些子场景更新可能会在稍后的TXOP中发送，这可能会对同步性产生不利影响。这可能会导致一些用户的体验不流畅。
当越来越多的用户加入VR或AR会话时，实时多用户VR/AR应用可能需要一种过程来保留传输属性。因此，当越来越多的用户加入会话时，本公开的实施例可以保留实时AR/VR场景的传输属性，例如在OFDMA Wi-Fi6/7环境中。因此，本公开的实施例可以通过例如在当前系统负载上使用明确、公平的标准来限制用户的数目。本公开的实施例还可以检测并且排除在其对RU的使用中可能不公平的VR/AR用户。此外，本公开的实施例可用于场景二进制格式(Binary Format for Scenes，BIFS)、轻量级应用场景表示法(LightweightApplication Scene Representation，LASeR)、其他标准视频格式或者未来的标准化视频格式之上。
图1示出了当越来越多的用户加入会话时在环境中保留实时场景的传输属性的操作环境100。如图1所示，操作环境100可包括软件定义网络(Software-Defined Network，SDN)控制器105、无线局域网(WLAN)110、WLAN控制器115、以及服务器120。WLAN 110可包括第一接入点(AP)125和第二AP 130。第一AP 125可为诸如第一客户端设备135之类的设备提供无线网络接入(例如，对WLAN 110的接入)。类似地，第二AP 130可为诸如第二客户端设备140之类的设备提供无线网络接入(例如，对WLAN 110的接入)。操作环境100可包括除了第一客户端设备135和第二客户端设备140以外的更多客户端设备，而不限于两个客户端设备。在本公开的其他实施例中，服务器120可以直接与SDN控制器105连接，以便了解VR/AR流的使用情况(例如，FG相对于CG的统计数据)，例如，如果从客户端设备到视频服务器的链路是加密的话。另一个示例可能是接收对一个或多个子场景的场景请求，如下文所述。
第一客户端设备135和第二客户端设备140可包括但不限于智能电话、个人计算机、平板设备、移动设备、线缆调制解调器、蜂窝基站、电话、遥控设备、机顶盒、数字视频记录器、物联网(Internet-of-Things，IoT)设备、网络计算机、大型机、路由器、或者其他类似的基于微计算机的设备。第一AP 125和第二AP 130例如可以与诸如802.11ax规范标准之类的规范标准兼容。第一客户端设备135和第二客户端设备140可包括或者以其他方式与VR头显和/或AR头显结合使用。VR头显和AR头显可包括头戴式设备，该设备可为佩戴者(即，用户)提供虚拟现实和/或增强现实。它们可包括立体头戴式显示器(Head-Mounted Display，HMD)，该头戴式显示器可为每只眼睛提供单独的图像、立体声和头部运动跟踪传感器，这些传感器可包括陀螺仪、加速计、磁力计、结构光系统，等等。一些VR/AR头显还可能包括眼睛跟踪传感器和游戏控制器。
WLAN控制器115可配设和控制WLAN 110。WLAN控制器115可允许第一AP 125和第二AP 130加入WLAN 110。SDN控制器105可以由数字网络体系结构中心(Digital NetworkArchitecture Center，DNAC)控制器实现，该控制器可以为WLAN 110配置信息，以便在越来越多的用户加入会话时在环境中保留实时场景的传输属性。
服务器120可包括虚拟现实(VR)服务器和/或增强现实(AR)服务器。服务器120可结合VR或AR应用向客户端设备(例如，第一客户端设备135和第二客户端设备140)提供VR或AR子场景(即，流式传输VR或AR子场景)。
操作环境100的上述元件(例如，SDN控制器105、WLAN控制器115、服务器120、第一AP 125、第二AP 130、第一客户端设备135和第二客户端设备140)可以在硬件和/或软件(包括固件、常驻软件、微代码，等等)中实现或者在任何其他电路或系统中实现。操作环境100的元件可以在包括分立电子元件的电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路中实现，或者在包含电子元件或微处理器的单个芯片上实现。此外，操作环境100的元件也可以使用其他能够执行逻辑运算(例如，AND、OR和NOT)的技术来实现，包括但不限于机械、光学、流体和量子技术。如下文参考图3更详细描述的，操作环境100的元件可以在计算设备300中实现。
图2是流程图，列出了与本公开的实施例一致的方法200中涉及的一般阶段，该方法用于在越来越多的用户加入会话时在环境中保留实时场景的传输属性。方法200可由SDN控制器105实现，该控制器可由计算设备300体现，如下文参考图3更详细描述的。方法200可由操作环境100内或外的其它设备实现。将在下文更详细地描述实现方法200的各阶段的方式。
在VR/AR系统中，客户端设备可以订阅场景，场景可以由一个或多个子场景构成。子场景渲染例如可能取决于从VR/AR服务器接收的基础X3D模型(多边形计数、大小(分辨率)、纹理、颜色深度，等等)以及客户端设备在与模型交互时产生的更新(例如，更新频率和动作对场景/子场景的影响)。在其他实施例中，子场景渲染在本质上可能是专有的，并且可能依赖于例如基于与服务器120(即，VR服务器)交换的HMD(例如，与客户端设备相关联)跟踪信息的隐式子场景选择。
本公开的实施例可以使用分层过程。例如，用户可以将VR/AR对象从点A移动到点B。可能需要在观看该动作的所有VR/AR头显(例如，与客户端设备相关联)上表示该对象的移动。由这种动作生成的场景更新可能或多或少比较精确和细粒度，例如取决于在运动期间使用多少点来表示轨迹、多少小数和多少多边形。例如，为了描述运动的轨迹，可以在连续点之间配置DELTA(在时间上，或者在空间上)，从而得到更多或更少的点。大的DELTA(DELTA_coarse)可粗略描述轨迹，而小的DELTA(DELTA_fine)可提高粗略轨迹的精度。可以配置运动的轨迹点的欧几里得坐标(无论是绝对坐标还是相对坐标)的浮点精度。从而，可以设置有限数目的小数(例如，粗略、粗糙)，这可通过添加更高精度项来进行微调(精细)。
本公开的实施例可将VR/AR数据划分为两层，例如粗粒度(CG)层和细粒度(FG)层，这样CG加上FG可等于完整的场景。此外，本公开的实施例可保证在当前TXOP中可调度所有当前用户的CG层流量。从而，CG层流量可以得到优先待遇。FG层可提供改善的质量(例如，精度)。同样的分层可被应用于来自VR/AR服务器的场景更新(例如，更多或更少的多边形、纹理质量，等等)。CG层可能受益于强大的同步递送属性，而FG层的同步递送可能是尽力而为的。
WLAN控制器115可以管理多个AP(例如，第一AP 125和第二AP 130)。SDN控制器105可以监视网络，包括无线子系统(例如，WLAN 110)。无线客户端(例如，第一客户端设备135和第二客户端设备140)可以共享由VR服务器(例如，服务器120)管理的VR/AR会话，该服务器可以流式传输子场景信息。
如果新的客户端设备希望加入AR/VR会话，则它可以向SDN控制器105发送对一个或多个子场景的请求。利用本公开的实施例，SDN控制器105(或服务器120)可充当客户端设备与服务器120之间的代理。如果SDN控制器105准予接入，则SDN控制器105可回复所请求的子场景的已分配subscene_id。有了有效的subscene_id，客户端就可以为其流量获得CG层待遇。
利用本公开的实施例，SDN控制器105可以实现VR/AR场景的CG层和FG层之间的划分。CG层可能受益于强大的同步递送属性，而FG层的同步递送可能是尽力而为的。SDN控制器105可从WLAN控制器115和/或AP和/或服务器120接收详细的深度包检测(Deep PacketInspection)数据，因此可以了解场景请求。有了这些数据，SDN控制器105就可以构建“排名表”，其中带有每个客户端设备/场景的CG层和FG层在当前TXOP中占用的大小。
方法200可以从开始块205开始并且进行到阶段210，在该阶段中，计算设备300可以确定与具有CG层和FG层的场景的传输相关联的多个度量。例如，多个度量可包括但不限于：自最高用户起的时间(Time Since Top User，TSTU)、平均CG层大小(Average CG LayerSize，ACGLS)、CG/FG层比率(CG/FG Layer Ratio，LR)、平均CG/FG层比率(Average CG/FGLayer Ratio，ALR)、以及每个TXOP(CG)的RU(RU per TXOP(CG)，RUT-CG)。TSTU可被应用于当前在排名表中排名最高的客户端设备/场景，并且表示自从排名最高的客户端设备/场景达到该最高排名以来可能已经过去了多少秒。ACGLS可包括所有客户端设备/场景的CG层大小(以字节为单位)之和(对于当前TXOP)除以客户端设备/场景的数目。可通过应用指数移动平均(Exponential Moving Average，EMA)来随时间平滑这个值。给定客户端的LR可包括其当前CG层的大小除以其当前FG层的大小(对于当前TXOP)。LR越大可能意味着体验质量(Quality of Experience，QoE)越好，因为其流量的更大比例可能是在CG层上传输的。ALR可包括当前TXOP的所有客户端的平均LR。RUT-CG可包括对于每个客户端设备在每个同步TXOP中分配给CG场景的RU(例如，26音块)(例如，在此示例中分配给AR/VR功能的那些)的平均数目。
在开始时，一个或多个客户端设备(例如，第一客户端设备135和第二客户端设备140)可以请求VR/AR场景，这些场景可包括几何构造。这些场景可由服务器120通过操作环境100传输，并且在客户端设备处被渲染。这一过程可以持续到N个VR/AR场景被渲染为止。N可以是可配置的，并且可以与目标信道利用率(Channel Utilization，CU)水平、最大视频音量水平或者与QoE控制相关的任何其他度量相匹配。
每次传输和渲染VR/AR场景时，计算设备300(例如，SDN控制器105)都可以使用从WLAN控制器115和/或AP(例如，第一AP 125和第二AP 130)获得的最新数据来测量TSTU、ACGLS、ALR和RUT-CG/FG。每个AP中的调度器可以基于客户端设备需求在同步TXOP中分配RU(即，它可以不被预分配/指派)。
从计算设备300确定与具有CG层和FG层的场景的传输相关联的多个度量的阶段210，方法200可以前进到阶段220，在该阶段中，计算设备300可以基于多个度量中的第一度量撤销当前客户端。例如，如果测得的TSTU大于最大TSTU值(例如，max_tstu)，则计算设备300(例如，SDN控制器105)可以检查列出当前在VR/AR会话中的客户端设备的客户端列表，识别新的消费者(例如，通过排名表顶部的客户端设备/场景)，并且撤销对于该客户端设备和场景对的发送/接收许可。TSTU值(例如，max_tstu)可表示客户端设备/场景在排名表中可能排名最高的最长时间(以秒为单位)。其目的可能是防止给定用户滥用系统资源。可以预期公平的客户端设备会在其被通知其在排名表中排名最高时扼制其CG层的内容。因此，在排名表顶部停留的时间超过max_tstu秒的客户端设备可能行为不公平，并且可被阻挡(即，撤销)。FG场景流量可能是尽力而为的。当客户端设备被撤销时，它可能不再发送CG流量，而这是要保护的层。如果客户端设备在过度使用CG流量，则可以纠正/防止这种滥用。
一旦被撤销，客户端设备/场景的流量就可能不再享受CG层待遇。其效果可能是，已经在接收场景的所有其他客户端设备可以继续拥有详细的多边形结构(即，最优的VR/AR体验)，然而新客户端可能会接收到较低的多边形分辨率(例如，从FG层接收，直接后果是导致颗粒感更强的VR/AR场景，但益处是维持了其他客户端设备的体验)。
本公开的实施例还可允许随时间推移平滑这一评估。例如，可以考虑x秒内的趋势(即，RU使用情况、小区中的视频量，等等)来决定触发动作。这种预防措施可确保新客户端设备体验可保持在可接受的水平，例如，不会出现先是高质量场景后是低质量场景的不稳定交替，而是平缓劣化，这可能比突然的视觉变化更不易察觉。
一旦计算设备300在阶段220中基于多个度量中的第一度量撤销当前客户端，方法200就可以继续到阶段230，在该阶段中，计算设备300可以执行以下操作之一：基于多个度量中的第二度量阻挡新客户端，以及基于多个度量中的第二度量允许新客户端。例如，如果测得的ACGLS小于最小ACGLS值(例如，min_agls)，或者如果测得的ALR小于最小ALR值(例如，min_alr)，则可以阻挡新客户端设备/场景分配。新的客户端设备/场景可能不再接收具有至少CG层待遇的最低准入标准的scene_id。本公开的实施例可以防止过多的客户端设备破坏所有客户端设备的体验。如果测得的ACGLS大于或等于最小ACGLS值(例如，min_agls)，或者如果测得的ALR大于或等于最小ALR值(例如，min_alr)，则可以恢复新客户端设备/场景分配，并且新客户端设备/场景可能能够获得具有CG层待遇的scene_id。根据本公开的实施例，阶段230可以在每次客户端设备尝试加入会话时发生。然而，阶段220可以周期性地发生。在计算设备300在阶段230中执行基于多个度量中的第二度量阻挡新客户端和基于多个度量中的第二度量允许新客户端中的一者之后，方法200随后可以在阶段240结束。
图3示出了计算设备300。如图3所示，计算设备300可包括处理单元310和存储器单元315。存储器单元315可包括软件模块320和数据库325。当在处理单元310上执行时，软件模块320可以执行例如用于在越来越多的用户加入会话时在环境中保留实时场景的传输属性的过程，如上文参考图2所述。例如，计算设备300可以为SDN控制器105、WLAN控制器115、服务器120、第一AP 125、第二AP 130、第一客户端设备135和第二客户端设备140提供操作环境。SDN控制器105、WLAN控制器115、服务器120、第一AP 125、第二AP 130、第一客户端设备135和第二客户端设备140可以在其他环境中操作，而并不限于计算设备300。
可以使用无线保真(Wireless Fidelity，Wi-Fi)接入点、蜂窝基站、平板设备、移动设备、智能电话、电话、遥控设备、机顶盒、数字视频记录器、线缆调制解调器、个人计算机、网络计算机、大型机、路由器、交换机、服务器集群、类似智能电视的设备、网络存储设备、网络中继设备或者其他类似的基于微计算机的设备来实现计算设备300。计算设备300可包括任何计算机操作环境，例如手持设备、多处理器系统、基于微处理器或者可编程的发送器电子设备、微型计算机、大型计算机，等等。也可以在分布式计算环境中实现计算设备300，其中任务由远程处理设备执行。上述系统和设备是示例，而计算设备300可包括其他系统或设备。
本公开的实施例例如可以实现为计算机过程(方法)、计算系统、或者实现为诸如计算机程序产品或计算机可读介质之类的制造品。计算机程序产品可以是可被计算机系统读取并且编码了用于执行计算机过程的指令的计算机程序的计算机存储介质。计算机程序产品也可以是可被计算系统读取并且编码了用于执行计算机过程的指令的计算机程序的载体上的传播信号。因此，本公开可以体现在硬件和/或软件中(包括固件、常驻软件、微代码，等等)。换句话说，本公开的实施例可以采取计算机可使用或计算机可读的存储介质上的计算机程序产品的形式，该介质中体现有计算机可使用或计算机可读的程序代码，供指令执行系统使用或者与之相联系地使用。计算机可使用或计算机可读介质可以是任何可包含、存储、传达、传播或传输程序以供指令执行系统、装置或设备使用或与之相联系地使用的介质。
计算机可使用或计算机可读介质可以例如但不限于是电子的、磁的、光的、电磁的、红外的或半导体的系统、装置、设备或传播介质。更具体的计算机可读介质示例(非详尽列表)，计算机可读介质可包括以下的：具有一条或多条导线的电连接、便携式计算机盘、随机访问存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、以及便携式紧凑盘只读存储器(compact discread-only memory，CD-ROM)。注意，计算机可使用或计算机可读介质甚至可以是其上打印有程序的纸或另一种适当介质，因为程序可经由例如对纸或其他介质的光学扫描被电子捕捉，然后在必要时被以适当的方式编译、解释或者以其他方式处理，并随后被存储在计算机存储器中。
虽然已描述了本公开的某些实施例，但也可能存在其他实施例。此外，虽然本公开的实施例已被描述为与存储在存储器和其他存储介质中的数据相关联，但数据也可以被存储在其他类型的计算机可读介质上或者被从这些介质中读取，例如次级存储设备，比如硬盘、软盘或CD-ROM，来自互联网的载波，或者其他形式的RAM或ROM。另外，所公开的方法的阶段可以以任何方式被修改，包括通过重排序阶段和/或插入或删除阶段，而不偏离本公开。
此外，本公开的实施例可以在包括分立电子元件的电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路中实现，或者在包含电子元件或微处理器的单个芯片上实现。本公开的实施例也可以使用其他能够执行逻辑运算(例如，AND、OR和NOT)的技术来实现，包括但不限于机械、光学、流体和量子技术。此外，本公开的实施例可以在通用计算机内或者在任何其他电路或系统中实现。
本公开的实施例可以经由片上系统(system-on-a-chip，SOC)实现，其中图1中所示的每个或许多元件可以被集成到单个集成电路上。这样的SOC设备可包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能，所有这些都可以作为单个集成电路被集成(或者“烧录”)到芯片衬底上。当经由SOC操作时，本文对于本公开的实施例描述的功能，可以经由与计算设备300的其他组件集成在单个集成电路(芯片)上的专用逻辑来执行。
例如，上文参考根据本公开的实施例的方法、系统和计算机程序产品的框图和/或操作图示描述了本公开的实施例。方框中记载的功能/行为可以不按任何流程图中所示的顺序发生。例如，取决于所涉及的功能/动作，接连示出的两个方框实际上可被基本同时执行，或者方框有时可按相反顺序被执行。
虽然本说明书包括示例，但本公开的范围由所附权利要求指示。此外，虽然已经用结构特征和/或方法动作特定的语言描述了本说明书，但权利要求并不限于上文描述的特征或动作。更确切地说，上文描述的具体特征和动作是作为本公开的实施例的示例被公开的。

Claims (20)

1.一种方法，包括：
由计算设备确定与具有粗粒度(CG)层和细粒度(FG)层的场景的传输相关联的多个度量；
基于所述多个度量中的第一度量撤销当前客户端；并且
执行以下操作之一：
基于所述多个度量中的第二度量阻挡新客户端，以及
基于所述多个度量中的第二度量允许新客户端。
2.如权利要求1所述的方法，其中，所述场景包括增强现实(AR)场景和虚拟现实(VR)场景之一。
3.如权利要求1或2所述的方法，其中，所述多个度量中的第一度量包括自最高用户起的时间(TSTU)，并且其中，所述多个度量中的第二度量包括平均粗粒度层大小(ACGLS)和平均层比率(ALR)之一。
4.如任一在前权利要求所述的方法，其中，基于所述多个度量中的第一度量撤销所述当前客户端包括：当包括自最高用户起的时间(TSTU)的所述多个度量中的第一度量大于最大TSTU值时，撤销所述当前客户端。
5.如任一在前权利要求所述的方法，其中，基于所述多个度量中的第二度量阻挡所述新客户端包括：当包括平均粗粒度层大小(ACGLS)的所述多个度量中的第二度量小于最小ACGLS值时，阻挡所述新客户端。
6.如权利要求1至4中的任一项所述的方法，其中，基于所述多个度量中的第二度量阻挡所述新客户端包括：当包括平均层比率(ALR)的所述多个度量中的第二度量小于最小ALR值时，阻挡所述新客户端。
7.如任一在前权利要求所述的方法，其中，基于所述多个度量中的第二度量允许所述新客户端包括：当包括平均粗粒度层大小(ACGLS)的所述多个度量中的第二度量大于最小ACGLS值或等于最小ACGLS值时，允许所述新客户端。
8.如权利要求1至6中的任一项所述的方法，其中，基于所述多个度量中的第二度量允许所述新客户端包括：当包括平均层比率(ALR)的所述多个度量中的第二度量大于最小ALR值或等于最小ALR值时，允许所述新客户端。
9.一种系统，包括：
存储器存储装置；以及
与所述存储器存储装置耦合的处理单元，其中所述处理单元能操作来：
确定与具有粗粒度(CG)层和细粒度(FG)层的场景的传输相关联的多个度量；并且
执行以下操作之一：
基于所述多个度量中的第一度量阻挡新客户端，以及
基于所述多个度量中的第一度量允许新客户端。
10.如权利要求9所述的系统，其中，所述场景包括增强现实(AR)场景和虚拟现实(VR)场景之一。
11.如权利要求9或10所述的系统，其中，所述处理单元还能操作来：基于所述多个度量中的第二度量撤销当前客户端。
12.如权利要求11所述的系统，其中，所述多个度量中的第二度量包括自最高用户起的时间(TSTU)，并且其中，所述多个度量中的第一度量包括平均粗粒度层大小(ACGLS)和平均层比率(ALR)之一。
13.如权利要求11或12所述的系统，其中，所述处理单元能操作来基于所述多个度量中的第二度量撤销所述当前客户端包括：所述处理单元能操作来在包括自最高用户起的时间(TSTU)的所述多个度量中的第二度量大于最大TSTU值时，撤销所述当前客户端。
14.如权利要求9至13中的任一项所述的系统，其中，所述处理单元能操作来基于所述多个度量中的第一度量阻挡所述新客户端包括：所述处理单元能操作来在包括平均粗粒度层大小(ACGLS)的所述多个度量中的第一度量小于最小ACGLS值时，阻挡所述新客户端。
15.如权利要求9至13中的任一项所述的系统，其中，所述处理单元能操作来基于所述多个度量中的第一度量阻挡所述新客户端包括：所述处理单元能操作来在包括平均层比率(ALR)的所述多个度量中的第一度量小于最小ALR值时，阻挡所述新客户端。
16.如权利要求9至15中的任一项所述的系统，其中，所述处理单元能操作来基于所述多个度量中的第一度量允许所述新客户端包括：所述处理单元能操作来在包括平均粗粒度层大小(ACGLS)的所述多个度量中的第一度量大于最小ACGLS值或等于最小ACGLS值时，允许所述新客户端。
17.如权利要求9至16中的任一项所述的系统，其中，所述处理单元能操作来基于所述多个度量中的第一度量允许所述新客户端包括：所述处理单元能操作来在包括平均层比率(ALR)的所述多个度量中的第一度量大于最小ALR值或等于最小ALR值时，允许所述新客户端。
18.一种计算机可读介质，该介质存储一组指令，所述一组指令当被执行时执行一种方法，该方法包括：
由计算设备确定与具有粗粒度(CG)层和细粒度(FG)层的场景的传输相关联的度量；并且
执行以下操作之一：
基于所述度量阻挡新客户端，以及
基于所述度量允许新客户端。
19.如权利要求18所述的计算机可读介质，其中，基于所述度量阻挡所述新客户端包括以下之一：
当包括平均粗粒度层大小(ACGLS)的所述度量小于最小ACGLS值时，阻挡所述新客户端；并且
基于所述度量阻挡所述新客户端包括：当包括平均层比率(ALR)的所述度量小于最小ALR值时，阻挡所述新客户端。
20.如权利要求18或19所述的计算机可读介质，其中，基于所述度量允许所述新客户端包括以下之一：
当包括平均粗粒度层大小(ACGLS)的所述度量大于最小ACGLS值或等于最小ACGLS值时，允许所述新客户端；并且
基于所述度量允许所述新客户端包括当包括平均层比率(ALR)的所述度量大于最小ALR值或等于最小ALR值时，允许所述新客户端。
CN202280018660.5A 2021-01-11 2022-01-07 当越来越多的用户加入会话时在环境中保留实时场景的传输属性 Pending CN117099373A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/146,046 2021-01-11
US17/146,046 US11677840B2 (en) 2021-01-11 2021-01-11 Preserving transmission properties of real-time scenes in an environment when an increasing number of users join a session
PCT/US2022/011694 WO2022150641A1 (en) 2021-01-11 2022-01-07 Preserving transmission properties of real-time scenes in an environment when an increasing number of user join a session

Publications (1)

Publication Number Publication Date
CN117099373A true CN117099373A (zh) 2023-11-21

Family

ID=80448567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280018660.5A Pending CN117099373A (zh) 2021-01-11 2022-01-07 当越来越多的用户加入会话时在环境中保留实时场景的传输属性

Country Status (4)

Country Link
US (2) US11677840B2 (zh)
EP (1) EP4275356A1 (zh)
CN (1) CN117099373A (zh)
WO (1) WO2022150641A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233928B2 (en) * 2009-09-29 2012-07-31 Spectrum Bridge, Inc. System and method for managing spectrum allocation
US9112849B1 (en) * 2014-12-31 2015-08-18 Spotify Ab Methods and systems for dynamic creation of hotspots for media control
US10546424B2 (en) * 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
CA3017210C (en) 2016-03-10 2024-02-13 Cable Television Laboratories, Inc. Systems and methods for latency reduction
EP3603006B1 (en) 2017-03-23 2024-05-01 Vid Scale, Inc. Metrics and messages to improve experience for 360-degree adaptive streaming
US10477105B2 (en) 2017-06-08 2019-11-12 Futurewei Technologies, Inc. Method and system for transmitting virtual reality (VR) content
US20190250805A1 (en) 2018-02-09 2019-08-15 Tsunami VR, Inc. Systems and methods for managing collaboration options that are available for virtual reality and augmented reality users
WO2019157448A1 (en) 2018-02-12 2019-08-15 VRHealth Ltd Virtual and augmented reality telecommunication platforms
US20190318065A1 (en) * 2018-04-11 2019-10-17 IAS Machine, LLC Delivery and monitoring use of licensed content in augmented reality
US11051206B2 (en) 2018-10-31 2021-06-29 Hewlett Packard Enterprise Development Lp Wi-fi optimization for untethered multi-user virtual reality

Also Published As

Publication number Publication date
WO2022150641A1 (en) 2022-07-14
US20220224756A1 (en) 2022-07-14
US20230328142A1 (en) 2023-10-12
EP4275356A1 (en) 2023-11-15
US11677840B2 (en) 2023-06-13

Similar Documents

Publication Publication Date Title
CN112437122B (zh) 通信方法、装置、计算机可读介质及电子设备
US8705511B2 (en) System and method for synchronous transmission of content
CN108924796B (zh) 一种资源分配及卸载比例联合决策的方法
CN108370306B (zh) 分层频谱协调
US11528198B2 (en) Augmented/mixed reality virtual venue pipeline optimization
US11902108B2 (en) Dynamic adaptive network
US11924255B2 (en) Data transmission method and apparatus, server, storage medium, and program product
CN110708708A (zh) 一种无线资源优化方法及装置
WO2019029704A1 (zh) 网络对象管理方法及其装置
US20200314887A1 (en) Enhancement of configured grant communications in a wireless network
Yahia et al. Http/2-based streaming solutions for tiled omnidirectional videos
US11677840B2 (en) Preserving transmission properties of real-time scenes in an environment when an increasing number of users join a session
CN105047210A (zh) 一种随机播放列表的跨设备同步方法及装置
CN116567247A (zh) 视频编码方法、实时通信方法、装置、设备及存储介质
Zhilong et al. Wireless multicast of virtual reality videos with MPEG-I format
CN108989905A (zh) 媒体流控制方法、装置、计算设备及存储介质
US20240048603A1 (en) Synchronicity for virtual reality/augmented reality interactive sessions in wireless networks
CN113383366B (zh) 远程多路接入系统及其工作方法
US20240104817A1 (en) Methods and Systems for Partitioning Media Content Across Different Network Slices in a Network
CN114422789B (zh) 一种基于无压缩技术的全景视频无线传输方法及系统
CN115190034B (zh) 基于边缘云计算的服务部署方法
WO2018171732A1 (zh) 一种信道配置方法及通信节点、存储介质
Liu et al. An information filtering method for Link16 system based on fresh-keeping degree
WO2024008319A1 (en) Quality of service coordination for a virtual experience service in a wireless communications network
WO2017145781A1 (ja) ペーシング制御装置、ペーシング制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination