CN118019564A

CN118019564A - 用于无线通信中的信令增强的方法和装置

Info

Publication number: CN118019564A
Application number: CN202280061810.0A
Authority: CN
Inventors: R·克里希纳; 王重钢; X·德福伊; S·拉赫曼
Original assignee: InterDigital Patent Holdings Inc
Current assignee: InterDigital Patent Holdings Inc
Priority date: 2021-08-06
Filing date: 2022-08-04
Publication date: 2024-05-10
Also published as: US20240325883A1; WO2023014901A1; EP4380704A1

Abstract

提供了用于信令增强以满足无线通信网络中的云游戏应用程序的低延迟要求的方法和装置。在一个示例中，一种由无线发射/接收单元(WTRU)实现的方法包括：发射第一消息，该第一消息包括神经网络数据和指示第一类型的神经网络数据的信息，该神经网络数据在发射之前被编组成一个或多个字节数组；接收指示边缘设备已经接收到的第二类型的神经网络数据的第一确认消息；基于所发射的神经网络数据和该信息接收包括编组的数据的第二消息；以及发射指示该WTRU已经接收到的第三类型的神经网络数据的第二确认消息。

Description

用于无线通信中的信令增强的方法和装置

相关申请的交叉引用

本申请要求于2021年8月6日提交于美国专利商标局的美国临时申请63/230,601号的优先权和权益，该美国临时申请的全部内容以引用方式并入本文，如同在下文中出于所有可用目的而完整地阐述全文一样。

发明内容

本公开涉及无线和/或有线的通信网络。例如，本文公开的一个或多个实施方案涉及用于增强终端设备上的云游戏应用程序的方法和装置。提供了满足终端设备(例如，WTRU或UE)上的云游戏应用程序的低延迟要求的方法、流程和架构。

在一个实施方案中，提供了用于信令增强以满足无线通信网络中的云游戏应用程序的低延迟要求的方法和装置。在一个示例中，一种由无线发射/接收单元(WTRU)实现的方法包括：发射第一消息，该第一消息包括神经网络数据和指示第一类型的神经网络数据的信息，该神经网络数据在发射之前被编组成一个或多个字节数组；接收指示边缘设备已经接收到的第二类型的神经网络数据的第一确认消息；基于所发射的神经网络数据和该信息接收包括编组的数据的第二消息；以及发射指示该WTRU已经接收到的第三类型的神经网络数据的第二确认消息。

在一个实施方案中，提供了在WTRU与边缘实体之间传送分布式神经网络数据的方法、流程和部件。

在一个实施方案中，提供了在WTRU与边缘实体之间传送原位数据(当用户玩游戏时生成的数据)的方法、流程和部件。

在一个实施方案中，提供了在WTRU与边缘实体之间传送用户动作预测的方法、流程和部件。

在一个实施方案中，提供了用于决定需要在WTRU上进行哪些计算的方法、流程和部件。

在一个实施方案中，提供了用于决定需要在边缘实体上进行哪些计算的方法、流程和部件。

附图说明

从下面的详细描述中可以得到更详细的理解，该描述结合其附图以举例的方式给出。与详细描述一样，此类附图中的图是示例。因此，附图(图)和具体实施方式不应被认为是限制性的，并且其他同样有效的示例是可能的和预期的。另外，图中类似的附图标号(“ref.”)指示类似的元件，并且其中：

图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统的系统图；

图1B是示出根据一个实施方案可在图1A所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图；

图1C是示出根据一个实施方案可在图1A所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图；

图1D是示出根据一个实施方案可在图1A所示的通信系统内使用的另外一个示例性RAN和另外一个示例性CN的系统图；

图2是示出用于云游戏的示例性架构的图；

图3是示出分层的计算模型的示例的图；

图4是示出具有取决于网络延迟的响应时间的云游戏应用程序的示例的图；

图5是示出具有低响应时间的用户动作预测的示例的图；

图6是示出FUGU ABR算法的部件的示例的图；

图7是示出支持对等WebRTC信道上的ML数据流的网络的示例性系统的图；

图8是示出在WTRU上运行的新型系统的示例性架构的图；

图9是示出在边缘设备上运行的系统的示例性架构的图；

图10是用于sendGameChanges流程的消息序列图；

图11是用于sendPredictedGameChanges流程的消息序列图；

图12是用于sendNeuralNetData流程的消息序列图；

图13是用于sendNeuralNetUpdates流程的消息序列图；

图14是用于sendPredictedGameChanges流程的消息序列图；

图15示出了使架构部件能够递送低延迟的示例性流程和机制；

图16是用于通过WTRU的GPU渲染模块实现当前游戏世界变化的低质量视频渲染的消息序列图；

图17是用于通过WTRU的GPU渲染模块实现低质量视频渲染+通过WTRU的DNN使用低质量预测的消息序列图；

图18是用于WTRU与边缘设备之间的通信的示例性分组结构；

图19是示出所提议的分组在WebRTC数据信道的协议层中的示例性位置的图；

图20是示出5G系统中集成的5G-XR功能的示例的系统图；

图21是示出5G系统的功能扩展的第一示例的系统图；

图22是示出5G系统的功能扩展的第二示例的系统图；

图23是示出云游戏WTRU映射到AR/VR WTRU的示例的图；以及

图24是示出云游戏边缘设备映射到支持AR/VR WTRU的边缘设备的示例的图。

具体实施方式

在以下详细描述中，阐述了许多具体细节以提供对本文所公开的实施方案和/或示例的透彻理解。然而，应当理解，此类实施方案和示例可在没有本文阐述的一些或所有具体细节的情况下被实践。在其他情况下，未详细描述熟知的方法、流程、部件和电路，以免模糊以下描述。此外，本文未具体描述的实施方案和示例可代替本文中明确、隐含和/或固有地描述、公开或以其他方式提供(统称为“提供”)的实施方案和其他示例来实践，或与这些实施方案和示例组合来实践。尽管本文描述和/或要求保护了各种实施方案，其中装置、系统、设备等和/或其任何元件执行操作、过程、算法、功能等和/或其任何部分，但应当理解，本文所述和/或受权利要求书保护的任何实施方案假定任何装置、系统、设备等和/或其任何元件被配置为执行任何操作、过程、算法、功能等和/或其任何部分。

通信网络和设备

本文提供的方法、装置和系统非常适于涉及有线网络和无线网络两者的通信。相对于图1A至图1D提供了各种类型的无线设备和基础结构的概述，其中网络的各种元件可利用本文提供的方法、装置和系统，执行本文提供的方法、装置和系统，根据本文提供的方法、装置和系统布置，并且/或者针对本文提供的方法、装置和系统进行适配和/或配置。

图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的系统图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(CDMA)、时分多址接入(TDMA)、频分多址接入(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾(ZT)唯一字(UW)离散傅里叶变换(DFT)扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。

如图1A所示，通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、无线电接入网络(RAN)104/113、核心网络(CN)106/115、公共交换电话网(PSTN)108、互联网110和其他网络112，但应当理解，所公开的实施方案设想了任何数量的WTRU、基站、网络和/或网络元件。WTRU 102a、102b、102c、102d中的每一者可以是配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，WTRU 102a、102b、102c、102d(其中任一个WTRU均可称为“站”和/或“STA”)可被配置为传输和/或接收无线信号，并且可包括(或可以是)用户装备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动化处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。UE 102a、102b、102c和102d中的任一者可互换地称为WTRU。

通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备，其被配置为与WTRU 102a、102b、102c、102d中的至少一者无线对接以例如促进对一个或多个通信网络(诸如CN 106/115、互联网110和/或网络112)的访问。作为示例，基站114a、114b可为基站收发台(BTS)、节点B(NB)、演进节点B(eNB)、家庭节点B(HNB)、家庭演进节点B(HeNB)、g节点B(gNB)、NR节点B(NR NB)、站点控制器、接入点(AP)、无线路由器等中的任一者。虽然基站114a、114b各自被描绘为单个元件，但应当理解，基站114a、114b可包括任何数量的互连基站和/或网络元件。

基站114a可以是RAN 104/113的一部分，该RAN还可包括其他基站和/或网络元件(未示出)，诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上发射和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖，该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如，与基站114a相关联的小区可被划分为三个扇区。因此，在实施方案中，基站114a可包括三个收发器，即，小区的每个扇区一个收发器。在实施方案中，基站114a可采用多输入多输出(MIMO)技术并且可针对小区的每个或任何扇区利用多个收发器。例如，可使用波束成形在所需的空间方向上发射和/或接收信号。

基站114a、114b可通过空中接口116与WTRU 102a、102b、102c、102d中的一者或多者通信，该空中接口可为任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。可使用任何合适的无线电接入技术(RAT)来建立空中接口116。

更具体地讲，如上所指出，通信系统100可为多址接入系统，并且可采用一个或多个信道接入方案，诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN 104/113中的基站114a和WTRU 102a、102b、102c可实现无线电技术诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其可使用宽带CDMA(WCDMA)来建立空中接口116。WCDMA可包括诸如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。

在实施方案中，基站114a和WTRU 102a、102b、102c可实现诸如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术，其可使用长期演进(LTE)和/高级LTE(LTE-A)和/或高级LTEPro(LTE-A Pro)来建立空中接口116。

在实施方案中，基站114a和WTRU 102a、102b、102c可实现无线电技术诸如NR无线电接入，该无线电技术可使用新空口(NR)来建立空中接口116。

在实施方案中，基站114a和WTRU 102a、102b、102c可实现多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此，WTRU 102a、102b、102c所利用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的发射来表征。

在实施方案中，基站114a和WTRU 102a、102b、102c可实现诸如IEEE 802.11(即，无线保真(Wi-Fi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM增强数据率演进(EDGE)、GSM EDGE(GERAN)等无线电技术。

图1A中的基站114b可为例如无线路由器、家庭节点B、家庭演进节点B或接入点，并且可利用任何合适的RAT来促进局部区域诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等中的无线连接。在实施方案中，基站114b和WTRU 102c、102d可实现诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在实施方案中，基站114b和WTRU 102c、102d可实现诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在实施方案中，基站114b和WTRU 102c、102d可利用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)来建立微小区、微微小区或毫微微小区中的任一者。如图1A所示，基站114b可具有与互联网110的直接连接。因此，基站114b可不需要经由CN 106/115访问互联网110。

RAN 104/113可与CN 106/115通信，该CN可以是被配置为向WTRU 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(VoIP)服务的任何类型的网络。数据可具有不同的服务质量(QoS)要求，诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。CN 106/115可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管未在图1A中示出，但是应当理解，RAN 104/113和/或CN 106/115可与采用与RAN 104/113相同的RAT或不同RAT的其他RAN进行直接或间接通信。例如，除了连接到可利用NR无线电技术的RAN 104/113之外，CN 106/115还可与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或Wi-Fi无线电技术中的任一者的另一RAN(未示出)通信。

CN 106/115也可充当WTRU 102a、102b、102c、102d的网关，以访问PSTN 108、互联网110和/或其他网络112。PSTN 108可包括提供普通老式电话服务(POTS)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(TCP)、用户数据报协议(UDP)和/或TCP/IP互联网协议组中的互联网协议(IP))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如，网络112可包括连接到一个或多个RAN的另一CN，该一个或多个RAN可采用与RAN 104/114相同的RAT或不同的RAT。

通信系统100中的一些或所有WTRU 102a、102b、102c、102d可包括多模式能力(例如，WTRU 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如，图1A所示的WTRU 102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信，并且与可采用IEEE 802无线电技术的基站114b通信。

图1B是示出示例性WTRU 102的系统图。如图1B所示，WTRU 102可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他元件/外围设备138等。应当理解，在与实施方案保持一致的同时，WTRU 102可包括前述元件的任何子组合。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些其他功能使WTRU 102能够在无线环境中工作。处理器118可耦合到收发器120，该收发器可耦合到发射/接收元件122。虽然图1B将处理器118和收发器120描绘为单独的部件，但是应当理解，处理器118和收发器120可以例如在电子封装或芯片中集成在一起。

发射/接收元件122可被配置为通过空中接口116向基站(例如，基站114a)发射信号或从基站接收信号。例如，在实施方案中，发射/接收元件122可以是被配置为传输和/或接收RF信号的天线。在一个实施方案中，发射/接收元件122可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射器/检测器。在实施方案中，发射/接收元件122可以被配置为传输和/或接收RF信号和光信号两者。应当理解，发射/接收元件122可被配置为发射和/或接收无线信号的任何组合。

尽管发射/接收元件122在图1B中被描绘为单个元件，但是WTRU 102可包括任何数量的发射/接收元件122。例如，WTRU 102可采用MIMO技术。因此，在实施方案中，WTRU 102可包括用于通过空中接口116传输和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。

收发器120可被配置为调制将由发射/接收元件122发射的信号并且解调由发射/接收元件122接收的信号。如上所指出，WTRU 102可具有多模式能力。例如，因此，收发器120可包括多个收发器，以便使WTRU 102能够经由多种RAT(诸如NR和IEEE 802.11)进行通信。

WTRU 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。此外，处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息，并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方案中，处理器118可从未物理上定位在WTRU 102上(诸如，服务器或家用计算机(未示出)上)的存储器访问信息，并且将数据存储在该存储器中。

处理器118可从电源134接收电力，并且可被配置为向WTRU 102中的其他部件分配和/或控制电力。电源134可以是用于为WTRU 102供电的任何合适的设备。例如，电源134可包括一个或多个干电池组(例如，镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

处理器118还可耦合到GPS芯片组136，该GPS芯片组可被配置为提供关于WTRU 102的当前位置的位置信息(例如，经度和纬度)。除了来自GPS芯片组136的信息之外或代替该信息，WTRU 102可通过空中接口116从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解，在与实施方案保持一致的同时，该WTRU 102可通过任何合适的位置确定方法来获取位置信息。

处理器118还可耦合到其他元件/外围设备138，该其他元件/外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块/单元和/或硬件模块/单元。例如，元件/外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(例如，用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发器、免提头戴式耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。元件/外围设备138可包括一个或多个传感器，该传感器可为以下一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器；地理位置传感器；测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。

WTRU 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的传输和接收(例如，与用于上行链路(例如，用于传输)和下行链路(例如，用于接收)两者的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元，该干扰管理单元用于经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在实施方案中，WTRU 102可包括半双工无线电台，对于该半双工无线电台，一些或所有信号的传输和接收(例如，与用于上行链路(例如，用于传输)或下行链路(例如，用于接收)的特定子帧相关联)。

图1C是示出根据一个实施方案的RAN 104和CN 106的系统图。如上所指出，RAN104可以采用E-UTRA无线电技术通过空中接口116与WTRU 102a、102b和102c通信。RAN 104还可与CN 106通信。

RAN 104可包括演进节点B 160a、160b、160c，但是应当理解，在与实施方案保持一致的同时，RAN 104可包括任何数量的演进节点B。演进节点B 160a、160b、160c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在实施方案中，演进节点B 160a、160b、160c可实施MIMO技术。因此，演进节点B 160a例如可以使用多个天线来向WTRU 102a发射无线信号，以及从该WTRU接收无线信号。

演进节点B 160a、160b和160c中的每一者可以与特定小区(未示出)相关联，并且可以被配置为处理无线电资源管理决策、切换决策、上行链路(UL)和/或下行链路(DL)中的用户调度，等等。如图1C所示，演进节点B 160a、160b、160c可通过X2接口彼此通信。

图1C所示的CN 106可包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(PGW)166。虽然前述元件中的每一者被描绘为CN 106的一部分，但是应当理解，这些元件中的任一者可由除CN运营商之外的实体拥有和/或操作。

MME 162可以经由S1接口连接到RAN 104中的演进节点B 160a、160b和160c中的每一者，并且可以用作控制节点。例如，MME 162可负责认证WTRU 102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始附加期间选择特定服务网关等。MME 162可提供用于在RAN 104和采用其他无线电技术(诸如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换的控制平面功能。

SGW 164可经由S1接口连接到RAN 104中的演进节点B 160a、160b、160c中的每一者。SGW 164通常可向/从WTRU 102a、102b、102c路由和转发用户数据分组。SGW 164可执行其他功能，诸如在演进节点B间切换期间锚定用户平面、当DL数据可用于WTRU 102a、102b、102c时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文等。

SGW 164可连接到PGW 166，该PGW可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问，以有利于WTRU 102a、102b、102c和启用IP的设备之间的通信。

CN 106可促进与其他网络的通信。例如，CN 106可为WTRU 102a、102b、102c提供对电路交换网络(诸如，PSTN 108)的访问，以促进WTRU 102a、102b、102c与传统陆线通信设备之间的通信。例如，CN 106可包括用作CN 106与PSTN 108之间的接口的IP网关(例如，IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。此外，CN 106可向WTRU 102a、102b、102c提供对其他网络112的接入，该其他网络可包括由其他服务提供商拥有和/或操作的其他有线和/或无线网络。

尽管WTRU在图1A至图1D中被描述为无线终端，但是可以设想，在某些代表性实施方案中，此类终端可(例如，临时或永久)使用与通信网络的有线通信接口。

在代表性实施方案中，其他网络112可为WLAN。

处于基础结构基本服务集(BSS)模式的WLAN可具有用于BSS的接入点(AP)以及与AP相关联的一个或多个站点(STA)。AP可具有至分配系统(DS)或将流量携带至和/或携带流量离开BSS的另一种类型的有线/无线网络的接入或接口。源自BSS外部并通向STA的流量可通过AP到达并且可被传递到STA。源自STA并通向BSS外部的目的地的流量可被发送到AP以被传递到相应目的地。BSS内的STA之间的流量可通过AP发送，例如，其中源STA可向AP发送流量，并且AP可将流量传递到目的地STA。BSS内的STA之间的流量可被视为和/或称为点对点流量。可利用直接链路建立(DLS)在源和目的地STA之间(例如，直接在它们之间)发送点对点流量。在某些代表性实施方案中，DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP，并且IBSS内或使用IBSS的STA(例如，所有STA)可彼此直接通信。IBSS通信模式在本文中有时可称为“ad-hoc”通信模式。

当使用802.11ac基础结构操作模式或相似操作模式时，AP可在固定信道(诸如主信道)上发射信标。主信道可为固定宽度(例如，20MHz宽带宽)或经由信令动态设置的宽度。主信道可为BSS的操作信道，并且可由STA用来建立与AP的连接。在某些代表性实施方案中，例如在802.11系统中可实现载波侦听多路访问/冲突避免(CSMA/CA)。对于CSMA/CA，STA(例如，每个STA)(包括AP)可侦听主信道。如果主信道被特定STA侦听/检测和/或确定为繁忙，则特定STA可退避。一个STA(例如，仅一个站)可在给定BSS中在任何给定时间传输。

高吞吐量(HT)STA可使用40MHz宽的信道进行通信，例如，经由主20MHz信道与相邻或不相邻的20MHz信道的组合以形成40MHz宽的信道。

极高吞吐量(VHT)STA可支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合连续的20MHz信道来形成。可通过组合8个连续的20MHz信道，或通过组合两个非连续的80MHz信道(这可被称为80+80配置)来形成160MHz信道。对于80+80配置，在信道编码之后，数据可通过可将数据分成两个流的段解析器。可单独地对每个流进行快速傅里叶逆变换(IFFT)处理和时间域处理。可将这些流映射到两个80MHz信道，并且可通过发射STA来发射数据。在接收STA的接收器处，可颠倒上述用于80+80配置的操作，并且可将组合的数据发送到介质访问控制(MAC)层、实体等。

802.11af和802.11ah支持低于1GHz的操作模式。相对于802.11n和802.11ac中使用的那些，802.11af和802.11ah中减少了信道操作带宽和载波。802.11af支持TV白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施方案，802.11ah可支持仪表类型控制/机器类型通信(MTC)，诸如宏覆盖区域中的MTC设备。MTC设备可具有某些能力，例如有限的能力，包括支持(例如，仅支持)某些带宽和/或有限的带宽。MTC设备可包括电池寿命高于阈值(例如，以保持非常长的电池寿命)的电池。

可支持多个信道的WLAN系统以及诸如802.11n、802.11ac、802.11af和802.11ah之类的信道带宽包括可被指定为主信道的信道。主信道可具有等于由BSS中的所有STA支持的最大公共操作带宽的带宽。主信道的带宽可由来自在BSS中操作的所有STA的STA(其支持最小带宽操作模式)设置和/或限制。在802.11ah的示例中，对于支持(例如，仅支持)1MHz模式的STA(例如，MTC型设备)，主信道可为1MHz宽，即使AP和BSS中的其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(NAV)设置可取决于主信道的状态。如果主信道繁忙，例如，由于STA(仅支持1MHz操作模式)正在向AP传输，即使大多数频带保持空闲并且可能可用，整个可用频带也可被视为繁忙。

在美国，可供802.11ah使用的可用频带为902MHz至928MHz。在韩国，可用频带为917.5MHz至923.5MHz。在日本，可用频带为916.5MHz至927.5MHz。802.11ah可用的总带宽为6MHz至26MHz，具体取决于国家代码。

图1D是示出根据一个实施方案的RAN 113和CN 115的系统图。如上所指出，RAN113可采用NR无线电技术以通过空中接口116与WTRU 102a、102b、102c通信。RAN 113还可与CN 115通信。

RAN 113可包括gNB 180a、180b、180c，但是应当理解，在与实施方案保持一致的同时，RAN 113可包括任何数量的gNB。gNB 180a、180b、180c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在实施方案中，gNB 180a、180b、180c可实现MIMO技术。例如，gNB 180a、180b可利用波束成形来向WTRU 102a、102b、102c传输信号和/或从WTRU接收信号。因此，gNB 180a例如可使用多个天线来向WTRU 102a发射无线信号和/或从该WTRU接收无线信号。在实施方案中，gNB 180a、180b、180c可实现载波聚合技术。例如，gNB 180a可向WTRU 102a(未示出)发射多个分量载波。这些分量载波的子集可在免许可频谱上，而其余分量载波可在许可频谱上。在实施方案中，gNB 180a、180b、180c可实现被协调的多点(CoMP)技术。例如，WTRU 102a可从gNB 180a和gNB 180b(和/或gNB 180c)接收被协调的发射。

WTRU 102a、102b、102c可使用与可扩展参数集相关联的传输来与gNB 180a、180b、180c通信。例如，OFDM符号间隔和/或OFDM子载波间隔可因不同传输、不同小区和/或无线传输频谱的不同部分而变化。WTRU 102a、102b、102c可使用各种或可扩展长度的子帧或传输时间间隔(TTI)(例如，包括不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB180a、180b、180c通信。

gNB 180a、180b、180c可被配置为以独立配置和/或非独立配置与WTRU 102a、102b、102c通信。在独立配置中，WTRU 102a、102b、102c可与gNB 180a、180b、180c通信，同时也不访问其他RAN(例如，诸如演进节点B 160a、160b、160c)。在独立配置中，WTRU 102a、102b、102c可将gNB 180a、180b、180c中的一者或多者用作移动性锚定点。在独立配置中，WTRU 102a、102b、102c可在未许可频带中使用信号与gNB 180a、180b、180c通信。在非独立配置中，WTRU 102a、102b、102c可与gNB 180a、180b、180c通信或连接，同时也与其他RAN(诸如，演进节点B160a、160b、160c)通信或连接。例如，WTRU 102a、102b、102c可实现DC原理以基本上同时与一个或多个gNB 180a、180b、180c和一个或多个演进节点B 160a、160b、160c通信。在非独立配置中，演进节点B 160a、160b、160c可用作WTRU 102a、102b、102c的移动性锚点，并且gNB 180a、180b、180c可提供用于服务WTRU 102a、102b、102c的附加覆盖和/或吞吐量。

gNB 180a、180b、180c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度、网络切片的支持、双连接、NR和E-UTRA之间的互通、用户平面数据朝向用户平面功能(UPF)184a、184b的路由、控制平面信息朝向接入和移动性管理功能(AMF)182a、182b的路由等。如图1D所示，gNB 180a、180b、180c可通过Xn接口彼此通信。

图1D所示的CN 115可包括至少一个AMF 182a、182b、至少一个UPF 184a、184b、至少一个会话管理功能(SMF)183a、183b以及至少一个数据网络(DN)185a、185b。虽然前述元件中的每个元件被描绘为CN 115的一部分，但应当理解，这些元件中的任一元件可由除CN运营商之外的实体拥有和/或操作。

AMF 182a、182b可经由N2接口连接到RAN 113中的gNB 180a、180b、180c中的一者或多者，并且可用作控制节点。例如，AMF 182a、182b可以负责认证WTRU 102a、102b、102c的用户、对网络切片的支持(例如，对具有不同要求的不同协议数据单元(protocol dataunit，PDU)会话的处理)、选择特定SMF 183a、183b、注册区域的管理、NAS信令的终止、移动性管理等。AMF 182a、182b可使用网络切片以例如基于WTRU 102a、102b、102c所使用的服务的类型来为WTRU 102a、102b、102c定制CN支持。例如，可针对不同的用例(诸如，依赖于超高可靠低延迟(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、用于MTC接入的服务等)建立不同的网络切片。AMF 162可提供用于在RAN 113和采用其他无线电技术(诸如LTE、LTE-A、LTE-A Pro和/或非3GPP接入技术，诸如Wi-Fi)的其他RAN(未示出)之间进行切换的控制平面功能。

SMF 183a、183b可经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可选择并控制UPF184a、184b，并且配置通过UPF 184a、184b进行的流量路由。SMF 183a、183b可执行其他功能，诸如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、非基于IP的、基于以太网的等。

UPF 184a、184b可经由N3接口连接到RAN 113中的gNB 180a、180b、180c中的一者或多者，这些gNB可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的接入，例如以促进WTRU 102a、102b、102c和启用IP的设备之间的通信。UPF 184、184b可执行其他功能，诸如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等。

CN 115可促进与其他网络的通信。例如，CN 115可包括用作CN 115与PSTN 108之间的接口的IP网关(例如，IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。此外，CN115可向WTRU 102a、102b、102c提供对其他网络112的接入，该其他网络可包括由其他服务提供商拥有和/或操作的其他有线和/或无线网络。在实施方案中，WTRU 102a、102b、102c可通过UPF 184a、184b经由至UPF 184a、184b的N3接口以及UPF 184a、184b与本地数据网络(DN)185a、185b之间的N6接口连接到DN 185a、185b。

鉴于图1A至图1D以及图1A至图1D的对应描述，本文参照以下中的任一者描述的功能中的一个或多个功能或全部功能可由一个或多个仿真元件/设备(未示出)执行：WTRU102a-102d、基站114a-114b、演进节点B160a-160c、MME 162、SGW 164、PGW 166、gNB 180a-180c、AMF 182a-182b、UPF 184a-184b、SMF 183a-183b、DN 185a-185b和/或本文所述的任何其他元件/设备。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如，仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如，该一个或多个仿真设备可执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能，同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。

该一个或多个仿真设备可执行一个或多个(包括所有)功能，同时不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试装备。经由RF电路(例如，其可包括一个或多个天线)进行的直接RF耦合和/或无线通信可由仿真设备用于发射和/或接收数据。

引言

当前云游戏提供商诸如Onlive、Gaikai、Google Stadia、GeForce Now、PS Now在云中运行他们的游戏逻辑、GPU渲染和视频编码模块(例如，朝向互联网核心的数据中心)。然而，这引入了不可预测的延迟，导致在某些场景(例如，高流量时间)中用户的不良体验质量(QoE)。这种不良QoE是各种游戏类型的非常严格的延迟阈值要求的结果。例如，第一人称射击游戏、角色扮演游戏和实时策略游戏的延迟阈值分别是100ms、500ms和1000ms。实际上，3GPP TR 26.928[12]文档规定45ms至60ms是快节奏游戏中的可接受延迟的更准确估计。因此，可能期望新的或改进的方法、流程和架构来减少当前网络/系统的尽力而为服务模型(best-effort service model)内的网络延迟。

图2(参考[6])示出了由云游戏平台使用的示例性架构。具有软件部件“用户交互”和“视频解码器”的瘦客户端在WTRU(或用户装备(UE))上运行。游戏中的用户动作由“用户交互”模块捕获，并且作为“用户命令”由WTRU通过网络发送到在远程数据中心中运行的云游戏平台。该数据中心的云游戏平台具有被称为“瘦客户端交互”的部件，该部件从客户端接收用户命令并将它们转换成“游戏动作”。接下来，“游戏动作”被云游戏平台的“游戏逻辑”模块解释为游戏世界中的变化。这些世界变化然后被“GPU渲染”模块转换成“经渲染的场景”。“GPU渲染”模块接着将“经渲染的场景”转发到“视频编码器”，该“视频编码器”对视频进行编码(包括压缩)并且将该视频发送到“视频流媒体”模块。最后，“视频流媒体”模块通过网络将“编码视频”作为“视频流”发送回瘦客户端。该瘦客户端的“视频解码器”部件然后解码视频并在WTRU上为用户显示该视频。

图3示出了端到端路径(在WTRU与云之间)如何被分段成三个不同的层级[7]并且被云游戏平台使用的示例，该云游戏平台诸如Google Stadia[8]、GeForce Now[9]、PS Now[10]、Outatime[1]和/或Kahawi[11]。每个层级具有与该层级相关的共同设计考虑。

层级1表示计算弹性、存储持久性和硬件合并的三个设计考虑[7]。计算弹性设计考虑要求可根据对其资源的需求而快速启动新机器或关闭旧机器。存储持久性设计考虑要求使用例如独立磁盘冗余阵列(RAID)的存储冗余、基础结构的稳定性以及需要数据备份和灾难恢复的实践。最后，硬件合并设计考虑要求在数据中心的大量机器上分摊运营成本。使用层级1基础结构提供的服务的商业示例包括但不限于Amazon Web Services、MicrosoftAzure和Google Cloud Platform。

层级2表示网络接近性的设计考虑[7]。这种考虑要求在更靠近WTRU的位置处提供具有少量服务器的迷你数据中心。根据低往返时间(RTT)和WTRU与层级2服务器之间的高带宽连接的可用性来量化该接近。层级2迷你数据中心也被称为边缘计算设备。用于提供层级2基础结构的设备的示例包括但不限于迷你数据中心、便携式设备和车载设备。

层级3表示移动性和感测的设计考虑[7]。移动性设计考虑要求在该层级中使用的设备是移动的。这限制了此类设备的重量、尺寸、热耗散和电池寿命。感测设计考虑要求在层级3处使用的设备应支持传感器，诸如GPS、麦克风、加速度计、陀螺仪和摄像机。注意，层级3设备本身可能不能提供分析来自前述传感器的数据所必需的必要处理能力。层级3设备的示例包括智能电话、增强现实/虚拟现实(AR/VR)设备、无人机以及静态的或在车辆上的传感器。

通过预测未来用户游戏动作来将响应时间减小到延迟阈值以下的当前方法

如上所讨论的，设计用于云游戏的系统的关键挑战之一是导致用户的游戏体验的可感知差异的延迟阈值的问题。在一个示例中，玩家可以感知60ms的延迟，并且超过100ms的任何延迟都使得第一人称射击游戏不可玩[13]。

如图2所示，当前云游戏架构围绕游戏循环来组织，该游戏循环以WTRU发送用户的命令开始并且以云游戏平台返回所得的视频帧结束。假设帧是以30fps的速率生成的，返回所得的帧所花费的时间是33ms(大约1/30)加上(+)WTRU与云游戏系统之间的网络延迟。这实质上是该云游戏系统从用户输入游戏命令时到在用户的设备上渲染对应帧时花费的响应时间。只有当生成帧所花费的时间等于或低于33ms并且网络延迟等于或低于67ms时，该响应时间才等于或低于期望的100ms。没有网络延迟的开销的响应时间被称为“帧时间”。因此，当假设帧速率为30fps时，帧时间为33ms。

已经进行了一些相关工作以通过预测用户未来可能在游戏中做出的动作来减少响应时间并改善游戏体验。例如，Outatime[1]使用在云服务器上运行的基于马尔可夫的预测模型来预测用户在游戏中的下一个动作。这是通过检查用户的历史趋势和当前输入以预测预期的未来输入来完成的。这些未来输入接着用于渲染在未来RTT毫秒内出现的多个可能的帧输出。WTRU是从服务器接收帧并向用户显示适当帧的瘦客户端。

参考图4，示出了当用户在WTRU上的下一个游戏动作未被预测时响应时间如何依赖于延迟。我们将时间离散化为每时钟节拍33ms(其是如上定义的帧时间)。在时钟节拍t5处，用户的输入i5被发送到云端的服务器。假设RTT为4个时钟节拍(4×33＝132ms)，则用户输入在2个时钟节拍之后在t7处到达服务器。在服务器上，花费一个时钟节拍直到t8来生成适当的帧f5。如图所示，该帧在2个时钟节拍之后的t10处到达客户端。因此，总响应时间是5个时钟节拍，即5×33＝165ms。响应时间可以增加等于RTT(4个时钟节拍)的量。

参考图5，示出了如何通过提前预测用户的动作并生成随后被发送到WTRU的对应帧来减轻网络延迟的影响。同样，图5中的每个时钟节拍对应于33ms的离散时间。在t0处，用户的输入i0被发送到服务器。假设RTT为4个时钟节拍，则输入i0在时间t2处到达服务器。然后，服务器预测未来例如1RTT的用户输入序列，并将预测的输入i'5的对应帧f'5发送到WTRU。如果预测是准确的，则在WTRU上渲染该预测的帧f'5。如图5所示，i5与f'5之间的响应时间现在显著减小。

Munakata等人[2]预测了游戏玩家的手指在为云游戏场景开发的游戏板上的脉冲输入。预测算法使用边缘检测来识别压力和梯度的变化。

Zhaowei等人[3]预测了其值是用户动作的结果的那些变量。首先，当用户在玩游戏的同时四处移动时，他们预测下一移动塔切换的时间。这是通过使用从WTRU对基站的无线电信号强度的测量到从网络返回的响应的映射来推断基站的决策算法来完成的。其次，他们基于对流量小且周期性的观察来预测上行链路分组的到达时间。

LaValle等人[4]在用户使用Oculus Rift头戴式耳机玩游戏时，使用贝叶斯过滤技术来预测性地跟踪用户的头部姿势。对用户的头部姿势的准确预测有助于减少头部运动与在他们的视网膜上出现适当图像之间的时间滞后。这种时间滞后的减少对于防止通常与使用AR/VR头戴式耳机(诸如Oculus Rift)相关联的模拟器疾病是重要的。

原位使用深度神经网络(DNN)

Yan等人[5]提出了一种在服务器端运行的自适应比特率(ABR)算法，称为FUGU。它使用深度神经网络(DNN)训练的预测器作为模型预测控制器(MPC)算法的输入，该算法是经典控制策略。利用来自部署环境的实况数据原位(在线)训练DNN。该环境是向公众开放的被称为“PUFFER”的视频流媒体服务器。图6示出了FUGU ABR算法部件的架构。“传输时间预测器”部件是估计具有给定文件大小的数据的传输时间的概率分布的DNN。该DNN由“数据聚合器”部件每天更新一次。该“数据聚合器”部件聚合其从PUFFER视频服务器接收到的数据并且更新“传输时间预测器”。“MPC控制器”使用“传输时间预测器的”估计概率分布来选择适当的比特率。然后，PUFFER视频服务器以该所选择的比特率将视频提供给客户端，并且还更新关于当前状态的“MPC控制器”。在一些情况下，名称为“传输时间预测器”的DNN和MPC两者不在客户端与服务器之间划分。

用于用户动作预测的当前技术

在用于用户动作预测的当前方法中，没有一种方法使用基于分布式原位深度神经网络(DNN)的技术来预测云游戏场景中的用户动作。

DNN是可用于从原始数据中提取更高级别的抽象特征的代表性学习技术[14]。然后，这些抽象特征可以用作计算学习的函数的基础，该学习的函数可以将新示例映射到预测的输出。

在云游戏中，可能同时期望在线(原位：当用户玩游戏时生成的数据)学习DNN模型，该模型也分布在WTRU与边缘之间。尽管除了云游戏之外的系统已经部署了在线学习模型[5]，但是这些模型没有分布在WTRU与边缘之间。另一方面，除云游戏之外，已经部署了分布式DNN[15]的系统不使用原位学习模型。

用于云游戏中的预测的离线学习模式DNN

由于参数诸如网络带宽、缓冲器占用率的重尾性质，使用用于云游戏应用程序的离线模型的预测是不准确的。这是因为对于此类重尾分布，大数定律工作得太慢以至于没有任何实际用途。此类分布的另一个问题是样本的平均值和分布的平均值不相等，因此标准偏差和方差不能用作计算预测的输入[17]。此外，此类分布存在“期望悖论”[16]，其中事件的未来发生与事件的过去发生所经过的时间成比例。最后，由于事件的计数和大小之间的不匹配，大的罕见事件使分布失真[16]。

因此，如果使用基于DNN的技术来预测用户在游戏中的下一动作，则可能需要或期望在线(原位)学习DNN模型。

云游戏中DNN数据结构的集中位置

可能潜在地使用在边缘上运行的DNN数据结构的在WTRU上运行的云游戏应用程序存在高通信成本。这是因为训练DNN所需的所有原始数据将需要被发送到边缘服务器进行处理，并且所得的预测被发送回WTRU。该数据是除了包括高分辨率视频数据和用户动作的编码的云游戏数据本身之外的数据，因此给WTRU与边缘之间的无线链路的带宽需求带来额外的负担。此外，WTRU需要等待来自边缘的所有预测，并且如先前已经讨论的，取决于无线链路的网络延迟，游戏的体验质量可能变化很大。

另一方面，使用分布式DNN[15]的当前技术使得终端设备上的较小DNN能够用于近似预测。这需要在终端设备上使用DNN的浅部分以用于早期退出和更快的近似预测。这些预测然后可以被馈送到边缘设备上的较大DNN中以用于更准确的预测。然而，在此类分布式DNN中使用的学习模型不是原位的，并且这导致以上讨论的与用于云游戏中的预测的离线学习模式DNN有关的问题。

因此，如果要使用基于DNN的技术来预测用户在游戏中的下一动作，则在线(原位)学习DNN模型需要在WTRU与边缘之间分配。

概述

在云游戏中，它可能同时需要在线(原位)学习DNN模型，该模型也分布在WTRU与边缘之间(如上所讨论的)以向云游戏用户(例如，在WTRU上)递送低延迟体验。这需要WTRU和/或边缘处的软件(和/或硬件)部件的新型的或改进的架构。该架构可由新型流程和机制来启用以使架构部件能够递送低延迟。在稍后描述的示例中，提供了同时支持在UE与边缘之间分布的在线DNN模型的新型架构的设计。在另一示例中，提供了支持在云游戏场景中通过此类架构递送延迟的新型流程和机制。

实现低延迟的架构部件

在一个实施方案中，提供了软件部件的新型布置以使得终端设备能够运行在WTRU上递送低延迟体验的云游戏应用程序。

图7示出了架构部件以及它们之间的关系的高级视图。每个WTRU无线地连接到运行云游戏软件的分配的边缘设备。边缘设备本身可以以例如以下(但不限于)几何布置中的任一种的逻辑拓扑来连接：超立方体和Tori、蝶形网络、德布莱英图、环和/或XOR几何结构。

边缘设备协作以将必要的云游戏信息从给定WTRU散布到其他WTRU的子集。WTRU本身使用点对点消息来与它们指定的边缘设备进行通信。

对WTRU架构和支持的边缘设备架构的要求

新架构提供了组合以下两个属性的机制：1)支持部件，其可以在玩游戏时从正在产生的实况数据原位(在线)学习。这减轻了重尾训练数据的问题；以及2)支持运行在WTRU上的受过训练的神经网络的层与运行在边缘设备上的受过训练的神经网络的层进行通信。这确保了在WTRU本身上生成近似预测，从而解决了所讨论的与云游戏中DNN数据结构的集中位置相关的问题。

在WTRU上运行的架构

在一个实施方案中，所提议的系统的架构被提供给WTRU或UE(或在其上运行)以向云游戏应用程序递送低延迟。例如，参考图8，该架构包括以下部件中的一者或多者，以下讨论其输入和输出：

游戏逻辑：用户的“游戏动作”被WTRU的“游戏逻辑”模块解释为游戏世界中的变化。这些变化可作为标记为“游戏世界变化”的数据结构被携带到“数据聚合”或“MPC控制器”模块，如图8所示。此外，这些变化可以作为图8中标记为“当前世界变化”的数据结构被携带到“决策模块”。

GPU渲染：该部件的一个输入可以是在如图8所示的数据结构中携带的“当前游戏世界变化”。该数据由“决策模块”转发，并且最初来自WTRU上的“游戏逻辑”模块。另一输入可以是在数据结构中携带并由“决策模块”转发的“预测的游戏世界变化”。图8示出该第二输入可以来自WTRU上或边缘设备上的“MPC控制器”部件。该“GPU渲染”部件将这些数据结构转换为适当的视频帧作为输出。

视频解码器：该模块可以从网络接收“编码视频流”，并且可以以适合于在WTRU上渲染场景的视频帧格式对其进行解压缩，如图8所示。

服务器交互模块：该模块提供服务，包括但不限于将自变量编组成字节数组并将字节数组回复解组回合适的数据格式，提供认证服务、命名和目录服务、编程抽象等。为了提供这些服务，它提供了可由WTRU上的其他模块调用的三个流程：sendGameChanges、sendPredictedGameChanges、sendNeuralNetData。稍后更详细地讨论这些流程。此外，补充/辅助流程，即sendAck、getNeuralNetUpdates和getPredictedAction也是可用的。

决策模块：如图8所示，该模块可以接受来自UE上的“游戏逻辑”部件的数据结构中携带的“当前游戏世界变化”作为输入。此外，如图8所示，其可接受来自WTRU的“MPC控制器”部件或边缘设备的“MPC控制器”的数据结构中携带的“预测的游戏世界变化”。根据决策算法，“当前游戏世界变化”数据结构和“预测的游戏世界变化”数据结构都可以被输出到“GPU渲染”模块中，或者可以对“服务器交互模块”的sendGameChanges或sendPredictedGameChanges流程进行调用，以便将相应的数据结构发送到边缘设备(参见后面描述)。

在一个实施方案中，决策模块上的决策算法从以下选择组合中选择一者：(a)使用通过WTRU的GPU渲染模块的低质量视频渲染+使用通过WTRU的DNN的低质量预测；(b)使用通过WTRU的GPU渲染模块的低质量视频渲染+使用通过边缘设备的DNN的高质量预测；(c)使用通过WTRU的DNN的低质量预测+使用通过边缘设备的GPU渲染模块的高质量视频渲染；(d)使用通过边缘设备的GPU渲染模块的高质量视频渲染+使用通过边缘设备的DNN的高质量预测。

该选择是在遥测数据交换的基础上与边缘设备上的决策模块协调进行的。在一个实施方案中，遥测数据可以是WTRU与边缘设备之间的往返时间(RTT)。

MPC控制器：该模块运行模型预测控制器(MPC)算法，该算法是经典控制策略。它从图8中标记为“受过训练的神经网络”的深度神经网络(DNN)训练的预测器取得标记为“UE神经网络数据”的预测(例如，该预测可以是点估计，而在另一个实施方案中，它可以是概率分布)。这些预测可以被用作输入以优化客观体验质量(QoE)函数。在一个实施方案中，QoE是往返时间(RTT)的函数。此外，MPC控制器可从“游戏逻辑”模块获得作为当前“游戏世界变化”的游戏更新。最终输入可以是对来自图8中标记为“神经网络更新”的边缘设备的MPC控制器的控制算法的数值参数的更新。MPC控制器的输出是携带可被发送到“决策模块”的“预测的游戏世界变化”的数据结构。

数据聚合：该模块可以从WTRU的“游戏逻辑”模块收集数据结构中携带的“游戏世界变化”，并使用该数据来训练标记为“受过训练的神经网络”的DNN，如图8所示。在一个示例中，该训练每天进行一次。

受过训练的神经网络：该部件是可在WTRU上运行的小DNN。然而，由于其小尺寸，该DNN只能基于来自以上讨论的WTRU的“数据聚合”模块的输入来产生近似预测。其输出是对游戏的未来状态的预测。在一个示例中，预测采用点估计的形式。在另一示例中，预测采用概率分布的形式。这些近似预测(在图8中标记为“UE神经网络数据”)可以由MPC控制器在WTRU本身上使用。另选地，可以使用稍后讨论的“服务器交互模块”的sendNeuralNetData流程将其发送到边缘设备，以便在更大的神经网络上进行进一步处理。

在边缘设备上运行的架构

在一个实施方案中，图9示出了具有在边缘设备上运行的部件的架构。该架构包括以下部件中的一者或多者，以下讨论其输入和输出：

GPU渲染：其输入可以是携带“游戏世界中的变化”的数据结构或携带来自边缘的“决策模块”并且最初来自WTRU的“预测的游戏世界变化”的数据结构(在图9中标记为“当前/预测的游戏世界变化”)。另一输入可以是携带来自边缘的“MPC控制器”并且由边缘的“决策模块”触发的“预测的游戏世界变化”的数据结构。“GPU渲染”模块可以将数据结构转换为适当的视频帧作为边缘的“视频编码器”部件的输出。

客户端交互模块：该部件从WTRU获得其输入。如上所述，这些输入分为三类：“当前游戏世界变化”、“预测的游戏世界变化”和“UE神经网络数据”。该“客户端交互模块”然后可以将这些输入转发到“决策模块”。此外，“当前游戏世界变化”也可被转发到边缘的“MPC控制器”。“客户端交互模块”提供服务，包括但不限于将自变量编组成字节数组并将字节数组回复解组回合适的数据格式，提供认证服务、命名和目录服务、编程抽象等。它向边缘设备上的其他部件提供流程sendNeuralNetUpdates、sendPredictedGameOutcomes、getGameChanges、getPredictedChanges、getUENeuralNetData和sendAck。

MPC控制器：该模块运行模型预测控制器(MPC)算法，该算法是经典控制策略。它从WTRU上的深度神经网络(DNN)训练的预测器“受过训练的神经网络”(图8)取得图9中标记为“来自UE的DNN数据”的预测，这是低质量预测。另选地，它从边缘设备上的深度神经网络(DNN)训练的预测器“受过训练的神经网络”取得如图9所示的预测，该边缘设备将来自WTRU的“受过训练的神经网络”的低质量预测与边缘自己的“受过训练的神经网络”组合。从这两个选择中选择预测输入的决策由以下讨论的边缘设备上的“决策模块”做出。

在一个实施方案中，该预测可以是点估计，而在另一个实施方案中，它可以是概率分布，作为优化客观体验质量(QoE)函数的输入。在一个实施方案中，QoE是往返时间(RTT)的函数。此外，如图9所示，MPC控制器可以获得作为来自WTRU上的“游戏逻辑”模块的数据结构中携带的并且从WTRU的“客户端交互模块”发送到边缘设备的“服务器交互模块”的“当前游戏世界变化”的游戏更新。MPC控制器的一个输出可以是携带“预测的游戏世界变化”的数据结构，该数据结构被发送到如图9所示的边缘设备上的“GPU渲染”部件。第二输出可以是使用边缘设备的“客户端交互模块”的sendNeuralNetUpdates流程对从边缘设备的“MPC控制器”到WTRU的“MPC控制器”的控制算法的数值参数的更新，并且在图9中被示为标记为“MPC更新”的输出。最终输出可以是携带“预测的游戏世界变化”的数据结构，其经由如图9所示的边缘的“客户端交互模块”的sendPredictedGameOutcomes流程被发送到UE。

视频编码器：其输入可以是来自边缘的“GPU渲染”模块的待压缩的适当视频帧。其输出可以是使用适当编码的一组压缩视频帧。

视频流媒体模块：该部件的输入可以是使用适当编码的一组压缩视频帧。其输出可以是适于在网络上传输的视频流。

决策模块：该模块可以从边缘设备的“客户端交互模块”接受以下输入：第一输入可以是在来自UE的数据结构中携带的“当前游戏世界变化”，第二输入可以是在数据结构中携带的“预测的游戏世界变化”，并且可以被接受的第三输入是“UE神经网络数据”，其在一个实施方案中可以是点估计并且在另一个实施方案中可以是概率分布。输出如下：该模块可将“当前游戏世界变化”作为携带状态更新的数据结构转发到“GPU渲染”模块或“数据聚合”模块；该模块还可以将数据结构中携带的“预测的游戏世界变化”转发到边缘设备上的“GPU渲染”模块。另一输出可以是到图9中标记为“受过训练的神经网络”的DNN的“来自UE的DNN数据”(其在一个实施方案中可以是点估计并且在另一个实施方案中可以是概率分布)。该相同的“来自UE的DNN数据”也可被转发到边缘设备上的“MPC控制器”部件，如图9所示。

在一个实施方案中，决策模块上的决策算法从以下选择组合中选择一者：(a)使用通过WTRU的GPU渲染模块的低质量视频渲染+使用通过WTRU的DNN的低质量预测；(b)使用通过WTRU的GPU渲染模块的低质量视频渲染+使用通过边缘设备的DNN的高质量预测；(c)使用通过WTRU的DNN的低质量预测+使用通过边缘设备的GPU渲染模块的高质量视频渲染；(d)使用通过边缘设备的GPU渲染模块的高质量视频渲染+使用通过边缘设备的DNN的高质量预测。选择是在遥测数据交换的基础上与WTRU上的决策模块协调进行的。在一个示例中，遥测数据可以是WTRU与边缘设备之间的往返时间(RTT)。

数据聚合器：该模块可以收集在图9中标记为“用于训练的数据”并且在来自边缘设备的“决策模块”的数据结构中携带的当前游戏世界变化。它可以使用该数据来训练在图9中标记为“受过训练的神经网络”的DNN。在一个示例中，该训练每天进行一次。

受过训练的神经网络：这是具有以下输入的DNN：第一输入可以是用于训练来自如上讨论的“数据聚合器”的DNN的数据。在一个示例中，该训练每天进行一次。第二输入可以是由“决策模块”转发的“来自UE的DNN数据”，如图9所示。在一个实施方案中，最初来自WTRU的较小DNN的该第二输入可以是近似点估计，并且在另一个实施方式中是近似概率分布。该DNN的输出是预测，其在一个实施方案中可以是精确的点估计，并且在另一个实施方案中可以是精确的概率分布。

用于使架构部件能够递送低延迟的代表性流程和机制

在各种实施方案中，流程和机制被提供有可被用来向云游戏应用程序递送低延迟的架构部件。在一个实施方案中，一个或多个所提议的流程和机制可以在WTRU上运行以实现与边缘设备的通信。在另一个实施方案中，一个或多个所提议的流程和机制可以在边缘设备上运行以实现与WTRU的通信。在后面的描述中还示出了如何使用这些流程和机制来使得架构部件能够递送低延迟。在一个实施方案中，描述了一种在WTRU和边缘之间携带通信数据的协议分组结构。

从WTRU到边缘设备的通信模式

在一个实施方案中，WTRU可以执行命名为sendGameChanges、sendPredictedGameChanges、sendNeuralNetData的三个流程来与边缘上的远程设备通信，以通过使用来自分布式DNN的预测来促进低延迟。此外，补充/辅助流程，即sendAck、getNeuralNetUpdates和getPredictedAction也是可用的。这些流程中的一些或全部由WTRU(或UE)上的“服务器交互模块”提供给其他部件。

流程sendGameChanges。该流程由WTRU上的“服务器交互模块”提供。它被WTRU上的部件用来向远程设备传送游戏中的变化，诸如用户的动作。在一个实施方案中，该远程设备是边缘设备。由该流程产生的数据是标记为“当前游戏世界变化”的数据结构，并且由边缘上的各种部件消耗。

因此，该流程可以提供用于向边缘设备发送当前游戏变化以生成高质量图像的密钥机制。然后这些图像可以被发送回以在WTRU上渲染。例如，该流程可用于实现通过WTRU的DNN的低质量预测+通过边缘设备的GPU渲染模块的高质量视频渲染的策略。此外，该流程还可用于实现通过边缘设备的GPU渲染模块的高质量视频渲染+通过边缘设备的DNN的高质量预测的策略。

该流程sendGameChanges需要表示边缘服务器的类的实例作为参数。该类提供了用于以编程方式访问边缘机器的互联网地址和端口的流程。为了在本文档中讨论的目的，我们将该类命名为“EdgeRef”，但是根据实现的便利性，其可被命名为任何事物。流程sendGameChanges还需要标识游戏变化的类型的参数。在一个实施方案中，这种类型可以表示为整数。最后，流程sendGameChanges需要同样要被发送的游戏动作类型所要求的参数。在一个实施方案中，这些参数可以作为字节数组来发送。服务器交互模块向sendGameChanges流程的调用者提供将自变量编组成字节数组并将字节数组回复解组回合适的数据格式的服务。

在一个实施方案中，一旦sendGameChanges执行，就可能需要动作：sendGameChanges(EdgeRef s,int：游戏变化的类型(例如，挑选项目、动作)、字节数组中游戏变化的参数)。其结果是来自边缘设备的ACK(确认)：

·首先，边缘设备执行由客户端交互模块提供的getGameChange()以获取来自WTRU的请求。

·接下来，边缘设备执行由客户端交互模块提供的sendAck(byte[]ack,InetAddress UE,int UEPort)。该流程需要确认，在一个实施方案中，该确认可以是字节数组。还需要返回WTRU的互联网地址的类(在一个实施方案中，该类被称为InetAddress)。另外，WTRU端口也被指定(在一个实施方案中，该端口表示为整数)。

·边缘设备选择变化的类型，并最终执行该类型的变化作为经渲染的场景。经渲染的游戏场景作为编码视频由边缘设备发送到WTRU。在一个实施方案中，可以使用流控制传输协议(SCTP)协议来发送该编码视频。

图10示出了在执行sendGameChanges流程之后系统需要支持的新型消息序列。图10示出了所提议的流程如何能够被用于实现其中表示当前游戏变化的其输出数据结构被边缘设备上的部件用来生成高质量图像的场景。这些高质量图像然后被发送回以在WTRU上渲染。如图10所示，可以执行一个或多个以下步骤：

1.在步骤1中，在WTRU上运行的“UE游戏逻辑”部件通过调用由WTRU的“服务器交互模块”提供的流程sendGameChanges向WTRU的“UE决策模块”部件发送表示当前游戏变化的数据结构。当用户在游戏中进行一些动作时触发该步骤。

2.在步骤2中，在WTRU上运行的“UE决策模块”部件根据由决策策略选择的参数将数据结构转发到WTRU的“UE服务器交互”部件。在该策略的一个实施方案中，如果RTT值为低或半高，则执行该步骤。

3.接下来，在步骤3a中，这些数据结构自变量被WTRU的“UE服务器交互”部件编组成字节数组，并且通过网络被发送到边缘设备的“边缘客户端交互”部件。

4.在该图的步骤3b中，“边缘客户端交互”部件将确认发送回客户端的“UE服务器交互”部件，以指示其已经接收到的数据的类型。

5.然后，在该图的步骤4中，边缘的“边缘客户端交互”部件将自变量解组成适当的数据结构，并将它们发送到边缘设备的“边缘决策模块”。

6.在步骤5中，“边缘决策模块”根据由决策策略选择的参数将数据结构作为“游戏变化”发送到在边缘上运行的“边缘GPU渲染”部件。在该策略的一个实施方案中，如果RTT值为低或半高，则执行该步骤。该“边缘GPU渲染”部件接着将经渲染的场景发送到在边缘上运行的“视频编码器”部件。“视频编码器”继而将编码视频发送到“视频流媒体”部件。注意，在图10中，三个部件即“GPU渲染”、“视频编码器”和“视频流媒体”一起显示在一个框中以节省空间。

7.该编码视频在步骤6中作为视频流由“视频流媒体”部件转发到边缘设备的“边缘客户端部件”。

8.在步骤7a中，“边缘客户端交互”部件然后编组视频流并通过网络将其发送到WTRU的“UE服务器交互”部件。

9.在步骤7b中，WTRU的“UE服务器交互”部件将确认发送回边缘的“边缘服务器交互”部件，以指示其已经接收到的数据的类型。

10.最后，在步骤8中，“UE服务器交互”模块解组其接收到的自变量，并将所得的编码视频发送到WTRU的“UE视频解码器”部件。

流程sendPredictedGameChanges。该流程由WTRU上的“服务器交互模块”提供。它被UE上的部件用来向远程设备传送游戏中的预测的变化，诸如用户的动作。在一个实施方案中，该远程设备是边缘设备。由该流程产生的数据标记为“预测的游戏世界变化”，并且由边缘上的各种部件消耗。该预测是由UE上的本地MPC完成的，并且因此不如通过将WTRU的DNN输出与在边缘设备上运行的DNN的输出相组合并且将该数据馈送到在边缘设备上运行的MPC所进行的预测那样准确。

在一个实施方案中，当RTT对于要在边缘设备上渲染的帧足够低但对于边缘设备的MPC机器对预测作出贡献不足够低时，执行该流程。换句话说，RTT是半高的。该RTT水平的精确值可针对特定应用程序通过实验确定。因此，该流程使得能够节省花费在处理和聚合数据以预测用户在边缘设备的MPC机器上的动作的时间，但代价是不那么准确。例如，该流程可用于实现通过WTRU的DNN的低质量预测+通过边缘设备的GPU渲染模块的高质量视频渲染的策略。

在一个实施方案中，流程sendPredictedGameChanges可以要求代表边缘服务器的类的实例作为参数。该类提供了用于以编程方式访问边缘机器的互联网地址和端口的流程。该类可被命名为“EdgeRef”，但是根据实现的便利性，其可被命名为其他事物。流程sendPredictedGameChanges还可能需要标识游戏变化的类型的参数。在一个实施方案中，这种类型可以表示为整数。最后，流程sendPredictedGameChanges需要同样要被发送的游戏动作类型所要求的参数。在一个实施方案中，这些参数可以作为字节数组来发送。服务器交互模块向sendPredictedGameChanges流程的调用者提供将自变量编组成字节数组并将字节数组回复解组回合适的数据格式的服务。

我们描述了一旦sendPredictedGameChanges执行就需要的动作：

·sendPredictedGameChanges(EdgeRef s,int：游戏变化的类型(挑选项目、其他动作等)、字节数组中的游戏变化的参数)

·其结果是来自边缘设备的ack(确认)：

·首先，边缘设备执行getPredictedAction()以从UE获取请求。

·接下来，边缘设备异步执行sendAck(byte[]ack,InetAddress UE,intUEPort)。该流程需要确认，在一个实施方案中，该确认可以是字节数组。还需要返回UE的互联网地址的类(在一个实施方案中，该类被称为InetAddress)。另外，UE端口也被指定(在一个实施方案中，该端口表示为整数)。

·在一个实施方案中，如果没有足够的时间预算(高RTT)，则边缘设备的决策模块接受用于渲染的未来游戏动作的预测，否则该预测不被接受。如果接受，则该预测被渲染为游戏场景。该场景作为编码视频由边缘设备发送到UE。在一个实施方案中，可以使用SCTP协议来发送该编码视频。如果由于存在足够的时间预算(半高RTT)而不接受预测，则边缘设备进一步在其自己的神经网络上运行从UE发送的神经网络数据以细化预测(参见下面的sendNeuralNetData流程)。该经细化的预测被渲染为游戏场景。该场景作为编码视频由边缘设备发送到UE。在一个实施方案中，可以使用SCTP协议来发送该编码视频。

图11示出了在执行sendPredictedGameChanges流程之后系统需要支持的消息序列。图11示出了所提议的流程如何能够被用于实现其中WTRU的DNN的低质量(近似)预测与边缘设备上的预测的高质量视频渲染相组合的场景。

如图11所示，可以执行一个或多个以下步骤：

1.在步骤1中，在UE上运行的“UE MPC控制器”部件将包含预测的游戏世界变化的数据结构发送到UE的“UE决策模块”部件。当用户在游戏中进行一些动作时触发该步骤。

2.在步骤2中，在UE上运行的“UE决策模块”部件通过根据由决策策略选择的参数调用其流程sendPredictedGameChanges来将数据结构转发到UE的“UE服务器交互”部件。在该策略的一个实施方案中，如果RTT值为半高，则执行该步骤。

3.接下来，在步骤3a中，这些数据结构自变量被UE的“UE服务器交互”部件编组成字节数组，并且通过网络被发送到边缘设备的“边缘客户端交互”部件。

6.在步骤5中，“边缘决策模块”根据由决策策略选择的参数将数据结构作为“预测的游戏变化”发送到在边缘上运行的“边缘GPU渲染”部件。在该策略的一个实施方案中，如果RTT值为半高，则执行该步骤。该“边缘GPU渲染”部件接着将经渲染的场景发送到在边缘上运行的“视频编码器”部件。“视频编码器”继而将编码视频发送到“视频流媒体”部件。注意，在图11中，三个部件即“GPU渲染”、“视频编码器”和“视频流媒体”一起显示在一个框中以节省空间。

7.该编码视频在步骤6中由“视频流媒体”部件转发到边缘设备的“边缘客户端部件”。

8.在步骤7a中，“边缘客户端交互”部件然后编组视频流并通过网络将其发送到UE的“UE服务器交互”部件。

9.在步骤7b中，UE的“UE服务器交互”部件将确认发送回边缘的“边缘服务器交互”部件，以指示其已经接收到的数据的类型。

10.最后，在步骤8中，“UE服务器交互”模块解组其接收到的自变量，并将所得的编码视频发送到UE的“UE视频解码器”部件。

流程sendNeuralNetData。该流程由WTRU上的“服务器交互模块”提供。它被WTRU上的图8中标记为“受过训练的神经网络”的DNN用来向远程设备传送来自WTRU上的本地DNN的早期退出数据。在一个实施方案中，该远程设备是边缘设备。由该流程产生的数据标记为“UE神经网络数据”，并且由边缘上的各种部件消耗。

该流程的输出是对游戏的未来状态的预测。在一个实施方案中，预测采用点估计的形式。在另一个实施方案中，预测采用概率分布的形式。

该预测是在WTRU上的本地DNN上完成的，并且因此不如通过将UE的DNN输出与在边缘设备上运行的DNN相组合所进行的预测那样准确。在一个实施方案中，当RTT足够低时执行该流程，使得我们具有足够的时间预算来将WTRU DNN的输出与边缘设备的DNN输出相组合，并且将预测作为帧在边缘设备上渲染。

因此，该流程提供了用于通过UE与边缘设备之间的分布式DNN使用原位数据来生成预测的机制(例如，密钥机制)。例如，该流程可用于实现通过边缘设备的GPU渲染模块的高质量视频渲染+通过边缘设备的DNN的高质量预测的策略。

流程sendNeuralNetData可以要求代表边缘服务器的类的实例作为参数。该类提供了用于以编程方式访问边缘机器的互联网地址和端口的流程。将该类命名为“EdgeRef”作为示例，但是根据实现的便利性，其可被命名为任何事物。流程sendNeuralNetData还需要标识正被发送的神经网络数据类型的参数(例如，点估计与概率分布)。在一个实施方案中，这种类型可以表示为整数。最后，流程sendNeuralNetData需要同样要被发送的神经网络类型所要求的参数。在一个实施方案中，这些参数可以作为字节数组来发送。服务器交互模块向sendNeuralNetData流程提供将自变量编组成字节数组并将字节数组回复解组回合适的数据格式的服务。

我们描述了一旦sendNeuralNetData执行就需要的动作：

·sendNeuralNetData(EdgeRef s,int：神经网络数据的类型(例如，点估计与概率分布)、字节数组中神经网络数据的参数)

·其结果是来自边缘设备的ACK(确认)：

·首先，边缘设备执行getUENeuralNetData()以从UE获取请求。

·最后，边缘设备将数据异步发送到其神经网络以用于进一步细化和更准确的预测。在一个实施方案中，仅在我们具有足够时间(低RTT)的情况下使用该预测，否则将其用于训练。

图12示出了在执行sendNeuralNetData流程之后系统需要支持的消息序列。图12示出了所提议的流程如何能够被用于实现其中WTRU DNN的输出与边缘设备的DNN输出相组合并且所得的高质量预测然后在边缘设备的“GPU渲染器”部件上被渲染为高质量视频帧的场景。

如图12所示，可以执行一个或多个以下步骤：

1.在步骤1中，在UE上运行的“UE训练的神经网络”部件通过调用“UE服务器交互”提供的流程sendNeuralNetData，将DNN输出以数据结构的形式发送给“UE服务器交互”部件。当用户在游戏中进行一些动作时触发该步骤。

2.接下来，在步骤2a中，这些数据结构自变量被UE的“UE服务器交互”部件编组成字节数组，并且通过网络被发送到边缘设备的“边缘客户端交互”部件。

3.在该图的步骤2b中，“边缘客户端交互”部件将确认发送回客户端的“UE服务器交互”部件，以指示其已经接收到的数据的类型。

4.然后，在该图的步骤3中，边缘的“边缘客户端交互”部件将自变量解组成适当的数据结构，并将它们发送到边缘设备的“边缘决策模块”。

5.在步骤4中，“边缘决策模块”将数据结构作为“神经网络数据”发送到“边缘训练的神经网络”，以便根据决策策略所选择的参数进行更准确的预测。在该策略的一个实施方案中，如果RTT值为低，则执行该步骤。该数据然后由“边缘训练的神经网络”以适当的形式发送到“边缘MPC控制器”以进行预测。注意，在图12中，两个部件即“边缘训练的神经网络”和“边缘MPC控制器”一起显示在一个框中以节省空间。

6.接下来在步骤5中，来自“MPC控制器”部件的数据结构“预测的游戏变化”被发送到在边缘上运行的“边缘GPU渲染”部件。该“边缘GPU渲染”部件接着将经渲染的场景发送到在边缘上运行的“视频编码器”部件。“视频编码器”继而将编码视频发送到“视频流媒体”部件。注意，在图12中，三个部件即“GPU渲染”、“视频编码器”和“视频流媒体”一起显示在一个框中以节省空间。

从边缘设备到WTRU的通信模式

在一个实施方案中，响应于WTRU的三个流程调用，即sendGameChanges、sendPredictedGameChanges、sendNeuralNetData，边缘设备发送在流程sendAck中封装的三种类型的确认。此外，边缘设备响应于WTRU的上述流程分别执行getGameChanges、getPredictedChange和getUENeuralNetData。这些流程，即sendAck、getGameChanges、getPredictedChange、getUENeuralNetData，由边缘的“客户端交互模块”提供给在边缘设备上运行的部件。此外，该模块提供本文讨论的流程sendNeuralNetUpdates和sendPredictedGameChanges。

流程sendNeuralNetUpdates。被称为sendNeuralNetUpdates的边缘设备上的流程被边缘上的MPC控制器用来更新在UE上运行的MPC控制器的参数的数值。因此，该流程提供了用于更新UE与用于原位预测的边缘设备之间的分布式MPC的数值参数的密钥机制。该流程可能需要表示UE的类的实例作为参数。该类提供了用于以编程方式访问UE的互联网地址和端口的流程。为了在本文档中讨论的目的，我们将该类命名为“UERef”，但是根据实现的便利性，其可被命名为任何事物。流程sendNeuralNetUpdates还可能需要标识正被更新的控制算法变量的类型的参数。在一个实施方案中，这种类型可以表示为整数。最后，流程sendNeuralNetUpdates可能需要同样要被发送的神经网络类型所要求的参数。在一个实施方案中，这些参数可以作为字节数组来发送。

边缘设备上的“客户端交互模块”向sendNeuralNetUpdates流程的调用者提供将自变量编组成字节数组并将字节数组回复解组回合适的数据格式的服务。

我们描述了一旦sendNeuralNetUpdates执行就需要的动作：

·sendNeuralNetUpdates(UERef、带数据的字节数组，例如点估计或概率分布)

·其结果是来自WTRU的ACK(确认)：

·首先，UE执行由“服务器交互模块”提供的getNeuralNetUpdate()以从边缘获取请求。

·接下来，UE执行由“服务器交互模块”提供的sendAck(byte[]ack,InetAddressedgeDevice,intedgeDevicePort)。该流程需要确认，在一个实施方案中，该确认可以是字节数组。还需要返回边缘设备的互联网地址的类(在一个实施方案中，该类称为InetAddress)。另外，边缘设备端口也被指定(在一个实施方案中，该端口表示为整数)。

如上所讨论，在一个实施方案中，边缘可以使用SCTP协议来发送编码视频。另外，响应于来自WTRU的三个流程调用，即sendGameChanges、sendPredictedGameChanges、sendNeuralNetData，边缘设备可以发送三种类型的ACK。

图13示出了在执行sendNeuralNetUpdates流程之后系统需要支持的消息序列。图13示出了所提议的流程如何能够被用于更新WTRU与用于原位预测的边缘设备之间的分布式MPC的数值参数的密钥机制。

如图13所示，可以执行一个或多个以下步骤：

·在步骤1中，“边缘MPC控制器”部件通过调用“边缘客户端交互”模块的sendNeuralNetUpdates流程来发送包含用于UE的“MPC控制器”的参数的数值的数据结构。在一个实施方案中，该步骤每天触发一次。

·在步骤2a中，“边缘客户端交互”部件编组数据结构并通过网络将其发送到UE的“UE服务器交互”部件。

·在步骤2b中，UE的“UE服务器交互”部件将确认发送回边缘的“边缘服务器交互”部件，以指示其已经接收到的数据的类型。

·最后，在步骤3中，“UE服务器交互”模块解组其接收到的自变量，并将所得的“神经网络更新”发送到UE的“UE MPC控制器”部件。

流程sendPredictedGameChanges

流程sendPredictedGameChanges由边缘的“客户端交互模块”提供。其由边缘设备上的“MPC控制器”部件使用以在将由UE的“GPU渲染器”部件直接渲染的数据结构中发送“预测的游戏世界变化”。因此，该流程使得边缘设备上的高质量预测能够在UE上被渲染为低质量视频，从而节省了在边缘上渲染视频所花费的额外时间。

该流程可能需要表示UE的类的实例作为参数。该类提供了用于以编程方式访问UE的互联网地址和端口的流程。为了在本文档中讨论的目的，我们将该类命名为“UERef”，但是根据实现的便利性，其可被命名为任何事物。流程sendPredictedGameChanges还可能需要标识游戏变化的类型的参数。在一个实施方案中，这种类型可以表示为整数。最后，流程sendPredictedGameChanges需要同样要被发送的游戏动作类型所要求的参数。在一个实施方案中，这些参数可以作为字节数组来发送。

客户端交互模块向sendPredictedGameChanges流程的调用者提供将自变量编组成字节数组并将字节数组回复解组回合适的数据格式的服务。

我们描述了一旦sendPredictedGameChanges执行就需要的动作：

·sendPredictedGameChanges(UERef s,int：游戏变化的类型(挑选项目、其他动作等)、字节数组中的游戏变化的参数)

·其结果是来自WTRU的ACK(确认)：

·首先，UE执行由“服务器交互模块”提供的getPredictedAction()以从WTRU获取请求。

·接下来，UE执行由“服务器交互模块”提供的sendAck(byte[]ack,InetAddressedgeDevice,intedgeDevicePort)。该流程需要确认，在一个实施方案中，该确认可以是字节数组。还需要返回边缘设备的互联网地址的类(在一个实施方案中，该类称为InetAddress)。

另外，边缘设备端口也被指定(在一个实施方案中，该端口表示为整数)。

图14示出了在执行sendPredictedGameChanges流程之前和之后系统需要支持的消息序列。图14示出了所提议的流程如何能够被用于在边缘设备上实现高质量预测，该高质量预测然后可以在WTRU上被渲染为低质量视频，从而节省了在边缘上渲染视频所花费的额外时间。

如图14所示，可以执行一个或多个以下步骤：

1.在步骤1中，在UE上运行的“UE游戏逻辑”部件通过调用由UE的“服务器交互模块”提供的流程sendGameChanges向UE的“UE决策模块”部件发送表示当前游戏变化的数据结构。当用户在游戏中进行一些动作时触发该步骤。

2.在步骤2中，在UE上运行的“UE决策模块”部件根据由决策策略选择的参数将数据结构转发到UE的“UE服务器交互”部件。在该策略的一个实施方案中，如果RTT值为半高，则执行该步骤。

6.在步骤5中，“边缘决策模块”根据由决策策略选择的参数将数据结构作为“游戏变化”发送到在边缘上运行的“边缘MPC控制器”部件。在该策略的一个实施方案中，如果RTT值为半高，则执行该步骤。

7.在步骤6中，“边缘MPC控制器”通过调用由边缘的“边缘客户端交互”部件提供的流程sendPredictedGameChanges来发送包含预测的游戏变化的数据结构。

8.在步骤7a中，“边缘客户端交互”部件编组数据结构并通过网络将其发送到UE的“UE服务器交互”部件。

10.接下来，在步骤8中，“UE服务器交互”模块解组其接收到的自变量，并将所得的“预测的游戏变化”发送到UE的“UE决策模块”部件。

11.最后，在步骤9中，“UE决策模块”发送要由“UE GPU渲染”在UE上渲染的适当“预测的游戏世界变化”。

如何使用本文所描述的流程和机制来使得架构部件能够递送低延迟的代表性示例

如上所述，在各种实施方案中，WTRU上的决策模块上的决策算法从以下选择组合中选择一者作为实现低延迟的策略：(a)使用通过UE的GPU渲染模块的低质量视频渲染+使用通过UE的DNN的低质量预测；(b)使用通过UE的GPU渲染模块的低质量视频渲染+使用通过边缘设备的DNN的高质量预测；(c)使用通过UE的DNN的低质量预测+使用通过边缘设备的GPU渲染模块的高质量视频渲染；(d)使用通过边缘设备的GPU渲染模块的高质量视频渲染+使用通过边缘设备的DNN的高质量预测。这些选择集合可以从图15中获得。

在一个实施方案中，该选择可以由WTRU或UE的“决策模块”在遥测数据交换的基础上与边缘设备上的决策模块协调进行。在一个实施方案中，遥测数据可以是UE与边缘设备之间的往返时间(RTT)。

在各种实施方案中，鉴于决策算法的实施方案，上文所讨论的部件、流程和/或机制可用于在本文中实现低延迟。这些新型部件、流程和机制是通用的，并且可以支持本文所讨论的实施方案之外的任何决策算法。

使用通过UE的GPU渲染模块的低质量视频渲染+使用通过UE的DNN的低质量预测

通过使用遥测数据来进行该选择，在一个实施方案中，遥测数据可以是UE与边缘设备之间的往返时间(RTT)。在此类实施方案中，高RTT将意味着我们没有足够的时间预算来在边缘设备上渲染视频或者使用边缘设备上的“MPC控制器”的预测。因此，UE上的“决策模块”选择依赖于UE上的“GPU渲染器”来进行视频渲染，依赖于UE上的“MPC控制器”来进行近似预测。该RTT的精确值将需要针对特定应用程序通过实验确定。

这种选择可以通过图16和/或图17中描绘的消息序列的组合来实现。在一个实施方案中，图16示出了如何在UE上渲染“当前游戏世界变化”。另一方面，图17示出了如何在UE上渲染来自UE的MPC控制器的“预测的游戏世界变化”形式的预测。在这些示例/实施方案中，我们假设游戏中的动作是快节奏的，并且连同“当前游戏世界变化”一起，我们需要推测性地高速缓存在UE上本地生成的少量“预测的游戏世界变化”。此外，我们假设UE的“决策模块”的实现具有从当前和预测的游戏世界变化中挑选和选择的方式。注意，为了实现该选择，没有消息被发送到边缘设备。下面详细描述图16和图17中的消息序列图。

图16示出了在UE上本地渲染“游戏世界变化”所需的步骤。这些步骤示出了在UE上运行的“UE决策模块”部件如何通过允许在UE自身上的实际游戏变化的低质量视频渲染来节省时间以实现低延迟。在步骤1中，UE上的“游戏逻辑”部件向UE上的“决策模块”发送包含“游戏世界变化”的数据结构。当用户在游戏中进行一些动作时触发该步骤。接下来，在步骤2中，UE上的“决策模块”根据由决策策略选择的参数将“当前游戏世界变化”转发到UE的“GPU渲染”模块。在该策略的一个实施方案中，如果RTT值为高，则执行该步骤。然后，在步骤3中，UE的“GPU渲染”模块渲染场景并将其发送到“UE显示器”以供显示。

图17示出了在UE自身上渲染低质量预测所要求的步骤。这些步骤示出了在UE上运行的“UE决策模块”部件如何通过允许来自“UE MPC控制器”的未来游戏变化的低质量预测被渲染为UE自身上的低质量视频来节省时间以实现低延迟。在步骤1中，UE上的“游戏逻辑”部件向UE上的“MPC控制器”发送包含“游戏世界变化”的数据结构。“MPC控制器”需要该数据结构来作出关于游戏世界变化的预测。当用户在游戏中进行一些动作时触发该步骤。接下来，在步骤2中，UE的“MPC控制器”部件生成具有“预测的游戏世界变化”的数据结构并将其发送到UE的“决策模块”。在步骤3中，UE上的“决策模块”根据由决策策略选择的参数将适当“预测的游戏世界变化”转发到UE的“GPU渲染”模块。在该策略的一个实施方案中，如果RTT值为高，则执行该步骤。最后，在步骤4中，UE的“GPU渲染”模块将经渲染的场景发送到“UE显示器”以供显示。

使用通过UE的GPU渲染模块的低质量视频渲染+使用通过边缘设备的DNN的高质量预测

通过使用遥测数据来进行该选择，在一个实施方案中，遥测数据可以是UE与边缘设备之间的往返时间(RTT)。在此类实施方案中，半高RTT将意味着我们没有足够的时间预算来渲染视频和在边缘设备上做出预测，但是可以仅使用边缘设备上的MPC控制器的预测。因此，UE上的“决策模块”选择依赖于UE上的“GPU渲染器”来进行视频渲染，依赖于边缘上的“MPC控制器”来进行准确预测。该半高RTT的精确值将需要针对特定应用程序通过实验确定。

这种选择可以通过图16和图14中描绘的新型消息序列的组合来实现。在一个实施方案中，图16示出了如何在UE上渲染“当前游戏世界变化”。另一方面，图14示出了如何通过UE的决策模块来渲染来自边缘的MPC控制器的“预测的游戏世界变化”形式的预测。

在该实施方案中，我们假设游戏中的动作是快节奏的，并且连同“当前游戏世界变化”一起，我们需要推测性地高速缓存在边缘上远程生成的少量“预测的游戏世界变化”。此外，我们假设UE和边缘的“决策模块”的实现具有从当前和预测的游戏世界变化中挑选和选择的方式。注意，为了实现该选择，从UE向边缘设备发送消息。

使用通过UE的DNN的低质量预测+使用通过边缘设备的GPU渲染模块的高质量视频渲染

通过使用遥测数据来进行该选择，在一个实施方案中，遥测数据可以是UE与边缘设备之间的往返时间(RTT)。在一个实施方案中，半高RTT将意味着我们没有足够的时间预算用于边缘设备上的预测(并且因此将必须使用UE的“MPC控制器”用于近似预测)，但是仍然可以使用边缘设备上的“GPU渲染器”用于高质量视频渲染。因此，UE上的“决策模块”选择依赖于UE上的“MPC控制器”来进行近似预测，依赖于边缘上的“GPU渲染器”来进行高质量视频渲染。该半高RTT的精确值将需要针对特定应用程序通过实验确定。

这种选择可以通过图10和图11中描绘的消息序列的组合来实现。图10示出了如何在边缘上渲染来自UE的“当前游戏世界变化”。类似地，图11示出了如何在边缘上渲染来自UE的MPC控制器的“预测的游戏世界变化”形式的预测。

在该实施方案中，我们假设游戏中的动作是快节奏的，并且连同“当前游戏世界变化”一起，我们需要推测性地高速缓存在UE上生成的少量“预测的游戏世界变化”。此外，我们假设UE和边缘的“决策模块”的实现具有从当前和预测的游戏世界变化中挑选和选择的方式。注意，为了实现该选择，从UE向边缘设备发送消息。

使用通过边缘设备的GPU渲染模块的高质量视频渲染+使用通过边缘设备的DNN的高质量预测

通过使用遥测数据来进行该选择，在一个实施方案中，遥测数据可以是UE与边缘设备之间的往返时间(RTT)。在此类实施方案中，低RTT将意味着我们具有足够的时间预算用于边缘设备上的预测，并且还可以使用边缘设备上的“GPU渲染器”用于高质量视频渲染。因此，UE上的“决策模块”选择依赖于边缘上的“MPC控制器”来进行准确预测，依赖于边缘上的“GPU渲染器”来进行高质量视频渲染。该低RTT的精确值将需要针对特定应用程序通过实验确定。

这种选择可以通过图10和图12中描绘的新型消息序列的组合来实现。图10示出了如何将来自UE的“当前游戏世界变化”渲染为边缘上的高质量视频。类似地，图12示出了其中来自UE的DNN的低质量预测与来自边缘设备的DNN的高质量预测相组合并且该预测由边缘设备上的“GPU渲染器”部件渲染为高质量视频的场景。

在该实施方案中，我们假设游戏中的动作是快节奏的，并且连同“当前游戏世界变化”一起，我们需要推测性地高速缓存在边缘上生成的少量“预测的游戏世界变化”。此外，我们假设UE和边缘的“决策模块”的实现具有从当前和预测的游戏世界变化中挑选和选择的方式。注意，为了实现该选择，从UE向边缘设备发送消息。

代表性的协议分组结构

图18中示出了用于UE与边缘之间的通信的分组结构。标记为“数据ID”的第一字段用于指示分组是从UE发送还是从边缘发送。标记为“序列号”的字段指示消息的标识符。标记为“远程设备参考号”的字段是属于RemoteDevice类的实例。属于该类的对象具有返回远程设备诸如边缘设备的互联网地址和端口的方法。标记为“数据类型”的字段指示由分组携带的数据的类型。在一个实施方案中，它是整数值，其中“0”表示当前游戏变化；“1”表示预测的游戏变化；“2”表示神经网络数据；并且“3”表示确认。由分组携带的数据例如可以是游戏动作诸如“左移”、“右移”或者包含概率分布的向量。

参考图19，示出了一个实施方案，其中所提议的分组作为SCTP分组的有效载荷被嵌套在WebRTC协议栈中。在数据报传输层安全(DTLS)协议分组上携带SCTP分组本身。该DTLS有效载荷继而被携带在UDP分组上。在一个示例中，UDP分组作为有效载荷被携带在IP分组上。

3GPP实施方案

3GPP文档TR 26.928[12]提出了一种支持如图20所示的扩展现实(XR)的架构。XR在该文档中定义如下：“扩展现实(XR)是指所有真实和虚拟组合环境，以及由计算机技术和可穿戴设备生成的相关联的人机交互。它包括代表性形式诸如增强现实(AR)、混合现实(MR)和虚拟现实(VR)以及在它们之间内插的区域。”在TR 26.928中讨论了游戏低延迟要求。特别地，该文档规定45ms至60ms是快节奏游戏中的可接受延迟的更准确估计。在一个实施方案中，提议使用本文所述的方法、流程和部件来扩展3GPP提议。

在图20中，“5G-XR”客户端是可以由5G-XR感知应用程序[12]通过明确定义的接口/API访问的5G-XR会话数据的接收器。该客户端通过X5接口访问5G-XR AF(如图20所示)。该5G-XR AF是类似于3GPP TS 23.501，条款6.2.10中定义的专用于5G-XR服务的应用程序功能。此外，5G-XR客户端通过X4接口访问5G-XR AS(如图20所示)。5G-XR AS是专用于5G-XR服务的应用服务器。

图21示出了所提议的部件如何可以用于扩展由3GPP TR 26.928提议的架构的功能。“5G-XR客户端”可以通过包括图8中的“服务器交互模块”、“GPU渲染”和“视频解码器”部件来扩展。

根据3GPP TR 26.928，AI部件被认为专用于为其创建AI部件的特定XR应用程序。因此，如图21所示，“MPC控制器”、“数据聚合”和“受过训练的神经网络”可以是该实施方案中的5G-XR应用程序的一部分。此外，“游戏逻辑”和“决策模块”也是应用程序的一部分。

类似地，可信DN(数据网络)模块可以起到如图21所示的“客户端交互模块”的作用。此外，在该实施方案中，“GPU渲染”、“视频编码器”和“视频流媒体”是可信DN的一部分。“决策模块”、“MPC控制器”、“数据聚合”和“受过训练的神经网络”部件可扩展5G-XR应用程序提供商的“外部数据网络(DN)”的功能，如图21所示。

图22更详细地示出了与3GPP 26.928相关的一个实施方案。3GPP架构中的“XR引擎”可以起到“GPU渲染”和“视频解码器”的作用。“XR会话处理程序”可以起到我们的“服务器交互模块”的作用。最后，“5GXR感知应用程序”可体现我们的部件“游戏逻辑”、“决策模块”、“MPC控制器”、“数据聚合”和“受过训练的神经网络”。

在如图22所示的服务器端，“5G XR AS”模块可以体现我们的部件“GPU渲染”和“视频编码器”和“视频流媒体”；“5G XR AF”模块可以体现我们的“客户端交互模块”，并且最后“5GXR应用程序提供商”模块可以体现我们的部件“决策模块”、“MPC控制器”、“数据聚合”和“受过训练的神经网络”。

虽然与图20至图22相关的实施方案聚焦于5G网络，但是本公开中所提议的思想可以类似地应用于5G和6G之外的蜂窝网络。

IETF实施方案：对AR/VR用例的适用性

IETF MOPS工作组(WG)最近已经修改了讨论用于边缘计算架构上的增强现实应用程序的媒体操作用例的文档[18]。该用例设想旅行者在佩戴AR头戴式耳机的历史伦敦塔的基础上四处走动。该AR头戴式耳机在旅行者的物理空间视图上叠加3D显示历史场景。上述新型方法、流程和架构直接映射到上述用例。

在该用例中，AR/VR UE上的工作负荷被分类为两个子任务：1)处理观光伦敦塔的旅行者正在实时观看的场景；以及2)更详细地生成高分辨率图像。

处理场景的第一子任务需要跟踪用户的视点并确保虚拟对象与真实对象的动态配准(对准)。生成高分辨率图像的第二子任务需要确保虚拟对象与真实对象之间在颜色匹配、遮挡、阴影和/或模糊方面的视觉一致性。此外，它需要向用户呈现定位可视化。

参考图23和图24，示出了所提议的架构可以分别直接映射到用例中的AR/VR UE和支持AR/VR UE的边缘设备。如图所示，将“游戏逻辑”部件重命名为“AR/VR逻辑”部件。该部件如上所讨论地进行场景的处理。所示的“GPU渲染器”部件进行如上所述的高分辨率图像的生成。此外，“游戏动作”被重命名为“用户动作”。“游戏世界变化”被重命名为“用户视图变化”；“当前游戏世界变化”被重命名为“当前用户视图变化”；“预测的游戏世界变化”被重命名为“预测的用户视图变化”。通过这种重命名，所有其他附图也适用于该用例。

因此，本文描述/提议的方法、流程和架构的范围包括除了云游戏应用程序之外对一个或多个AR/VR用例的直接(或间接)适用性。

结论

尽管上文以特定组合提供了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。本公开并不限于就本专利申请中所述的具体实施方案而言，这些具体实施方案旨在作为各个方面的例证。在不脱离本发明的实质和范围的前提下可进行许多修改和变型，因其对于本领域的技术人员而言将是显而易见的。除非明确如此提供，否则本申请说明书中使用的任何元件、动作或说明均不应理解为对本发明至关重要或必要。根据前面的描述，除了本文列举的那些之外，在本公开的范围内的功能上等同的方法和装置对于本领域的技术人员而言将是显而易见的。此类修改和变型旨在落入所附权利要求书的范围内。本公开仅受限于所附权利要求的条款以及此类享有权利的权利要求的等同形式的全部范围。应当理解，本公开不限于特定的方法或系统。

为了简单起见，关于红外能力设备(即红外发射器和接收器)的术语和结构讨论了前述实施方案。然而，所讨论的实施方案不限于这些系统，而是可应用于使用其他形式的电磁波或非电磁波(诸如声波)的其他系统。

还应当理解，本文所用的术语仅用于描述具体实施方案的目的，并非旨在进行限制。如本文所用，术语“视频”或术语“图像”可意指在时间基础上显示的快照、单个图像和/或多个图像中的任一者。又如，当在本文中提及时，术语“用户装备”和其缩写“UE”、术语“远程”和/或术语“头戴式显示器”或其缩写“HMD”可意指或包括(i)无线发射和/或接收单元(WTRU)；(ii)WTRU的多个实施方案中的任一个实施方案；(iii)具有无线功能和/或具有有线功能(例如，可拴系)的设备配置有(特别是)WTRU的一些或全部结构和功能；(iii)配置有少于WTRU的全部结构和功能的无线能力和/或有线能力设备；或(iv)等。本文相对于图1A至图1D提供了可代表本文所述的任何WTRU的示例性WTRU的细节。又如，本文中的各种所公开实施方案在上文和下文被描述为利用头戴式显示器。本领域技术人员将认识到，可利用除头戴式显示器之外的设备，并且可相应地修改本公开和各种所公开实施方案中的一些或全部，而无需过度实验。这种其他设备的示例可包括无人机或其他设备，被配置为流式传输信息以提供调适的现实体验。

另外，本文中所提供的方法可在并入计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实施。计算机可读介质的示例包括电子信号(通过有线或无线连接发射)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如CD-ROM磁盘和数字通用光盘(DVD))。与软件相关联的处理器可用于实现用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发器。

在不脱离本发明的范围的情况下，上文提供的方法、装置和系统的变型是可能的。鉴于可应用的各种实施方案，应当理解，所示实施方案仅是示例，并且不应视为限制以下权利要求书的范围。例如，本文中提供的实施方案包括手持设备，该手持设备可包括提供任何适当电压的任何适当电压源(诸如电池等)或与该电压源一起使用。

此外，在上文所提供的实施方案中，指出了处理平台、计算系统、控制器和包括处理器的其他设备。这些设备可包括至少一个中央处理单元(“CPU”)和存储器。根据计算机编程领域的技术人员的实践，对动作和操作或指令的符号表示的引用可由各种CPU和存储器执行。此类动作和操作或指令可被认为是正在“执行的”、“计算机执行的”或“CPU执行的”。

本领域的普通技术人员将会知道，动作和符号表示的操作或指令包括CPU对电信号的操纵。电系统表示数据位，这些数据位可导致电信号的最终变换或电信号的减少以及对在存储器系统中的存储器位置处的数据位的保持，从而重新配置或以其他方式改变CPU的操作以及进行信号的其他处理。保持数据位的存储器位置是具有与数据位对应或表示数据位的特定电属性、磁属性、光学属性或有机属性的物理位置。应当理解，实施方案不限于上述平台或CPU，并且其他平台和CPU也可支持所提供的方法。

数据位还可保持在计算机可读介质上，该计算机可读介质包括磁盘、光盘和CPU可读的任何其他易失性(例如，随机存取存储器(“RAM”))或非易失性(例如，只读存储器(“ROM”))海量存储系统。计算机可读介质可包括协作或互连的计算机可读介质，该协作或互连的计算机可读介质唯一地存在于处理系统上或者分布在多个互连的处理系统中，该多个互连的处理系统相对于该处理系统可以是本地的或远程的。应当理解，实施方案不限于上述存储器，并且其他平台和存储器也可支持所提供的方法。

在例示性实施方案中，本文所述的操作、过程等中的任一者可实现为存储在计算机可读介质上的计算机可读指令。计算机可读指令可由移动单元、网络元件和/或任何其他计算设备的处理器执行。

在系统的各方面的硬件具体实施和软件具体实施之间几乎没有区别。硬件或软件的使用通常是(但不总是，因为在某些上下文中，硬件和软件之间的选择可能会变得很重要)表示在成本与效率之间权衡的设计选择。可存在可实现本文所述的过程和/或系统和/或其他技术的各种媒介(例如，硬件、软件和/或固件)，并且优选的媒介可随部署过程和/或系统和/或其他技术的上下文而变化。例如，如果实施者确定速度和准确度最重要，则实施者可选择主要为硬件和/或固件的媒介。如果灵活性最重要，则实施者可选择主要为软件的具体实施。另选地，实施者可选择硬件、软件和/或固件的一些组合。

上述详细描述已经通过使用框图、流程图和/或示例列出了设备和/或过程的各种实施方案。在此类框图、流程图和/或示例包括一个或多个功能和/或操作的情况下，本领域的技术人员应当理解，此类框图、流程图或示例内的每个功能和/或操作可单独地和/或共同地由广泛范围的硬件、软件、固件或几乎它们的任何组合来实现。在实施方案中，本文所述主题的若干部分可经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)和/或其他集成格式来实现。然而，本领域的技术人员将认识到，本文所公开的实施方案的一些方面整体或部分地可等效地在集成电路中实现为在一个或多个计算机上运行的一个或多个计算机程序(例如，在一个或多个计算机系统上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(例如，在一个或多个微处理器上运行的一个或多个程序)、固件或几乎它们的任何组合，并且根据本公开，设计电路和/或写入软件和/或固件的代码将完全在本领域技术人员的技术范围内。此外，本领域的技术人员将会知道，本文所述主题的机制可以多种形式作为程序产品分发，并且本文所述主题的例示性实施方案适用，而不管用于实际执行该分发的信号承载介质的具体类型如何。信号承载介质的示例包括但不限于以下各项：可记录类型介质(诸如软盘、硬盘驱动器、CD、DVD、数字磁带、计算机存储器等)；和传输类型介质(诸如数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路等))。

本领域技术人员将认识到，本领域中常见的是，以本文中阐述的方式来描述设备和/或过程，并且此后使用工程实践以将这类所描述设备和/或过程集成到数据处理系统中。也就是说，本文中所描述的设备和/或过程的至少一部分可经由合理量的实验集成到数据处理系统中。本领域技术人员将认识到，典型数据处理系统一般可包括以下中的一个或多个：系统单元外壳；视频显示设备；存储器，诸如易失性存储器和非易失性存储器；处理器，诸如微处理器和数字信号处理器；计算实体，诸如操作系统、驱动程序、图形用户接口和应用程序；一个或多个交互设备，诸如触摸板或屏幕；和/或控制系统，包括反馈回路和控制马达(例如用于感测位置和/或速度的反馈、用于移动和/或调整部件和/或量的控制马达)。典型数据处理系统可利用任何合适的市售部件来实施，诸如通常在数据计算/通信和/或网络计算/通信系统中发现的那些部件。

本文所述的主题有时示出了包括在不同的其他部件内或与不同的其他部件连接的不同的部件。应当理解，此类描绘的架构仅仅是示例，并且事实上可实现达成相同功能的许多其他架构。在概念意义上，达成相同功能的部件的任何布置是有效“相关联的”，使得可实现期望的功能。因此，在本文中被组合以实现特定功能的任何两个部件可被视为彼此“相关联”，使得所需功能得以实现，而与架构或中间部件无关。同样，如此相关联的任何两个部件也可被视为彼此“可操作地连接”或“可操作地耦合”以实现期望的功能，并且能够如此相关联的任何两个部件也可被视为“可操作地可耦合”于彼此以实现期望的功能。可操作地可耦合的具体示例包括但不限于可物理配合和/或物理交互的部件和/或可无线交互和/或无线交互的部件和/或逻辑交互和/或可逻辑交互的部件。

关于本文使用的基本上任何复数和/或单数术语，本领域的技术人员可根据上下文和/或应用适当地从复数转换成单数和/或从单数转换成复数。为清楚起见，本文可明确地列出了各种单数/复数排列。

本领域的技术人员应当理解，一般来讲，本文尤其是所附权利要求(例如，所附权利要求的主体)中使用的术语通常旨在作为“开放式”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“具有至少”，术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解，如果意图说明特定数量的引入的权利要求叙述对象，则此类意图将在权利要求中明确叙述，并且在不存在此类叙述对象的情况下，不存在此类意图。例如，在预期仅一个项目的情况下，可使用术语“单个”或类似的语言。为了有助于理解，以下所附权利要求和/或本文的描述可包括使用引导短语“至少一个”和“一个或多个”来引入权利要求叙述对象。然而，此类短语的使用不应理解为暗示通过不定冠词“一个”或“一种”将包括此类引入的权利要求叙述对象的任何特定权利要求限制为包括仅一个此类叙述对象的实施方案来引入权利要求叙述对象。即使当同一权利要求包括引导短语“一个或多个”或“至少一个”和不定冠词诸如“一个”或“一种”(例如，“一个”和/或“一种”应解释为意指“至少一个”或“一个或多个”)时，也是如此。这同样适用于使用用于引入权利要求叙述对象的定冠词。此外，即使明确叙述了特定数量的引入的权利要求叙述对象，本领域的技术人员也将认识到，此类叙述应解释为意指至少所述的数量(例如，在没有其他修饰语的情况下，对“两个叙述对象”的裸叙述意指至少两个叙述对象、或者两个或更多个叙述对象)。另外，在使用类似于“A、B和C等中的至少一者”的惯例的那些实例中，一般来讲，此类构造的含义是本领域的技术人员将理解该惯例(例如，“具有A、B和C中的至少一者的系统”将包括但不限于单独具有A、单独具有B、单独具有C、同时具有A和B、同时具有A和C、同时具有B和C和/或同时具有A、B和C等的系统)。在使用类似于“A、B或C等中的至少一者”的惯例的那些实例中，一般来讲，此类构造的含义是本领域的技术人员将理解该惯例(例如，“具有A、B或C中的至少一者的系统”将包括但不限于单独具有A、单独具有B、单独具有C、同时具有A和B、同时具有A和C、同时具有B和C和/或同时具有A、B和C等的系统)。本领域的技术人员还应当理解，事实上，无论在说明书、权利要求书还是附图中，呈现两个或更多个另选术语的任何分离的词语和/或短语都应当理解为设想包括术语中的一个术语、术语中的任一个术语或这两个术语的可能性。例如，短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。另外，如本文所用，后面跟着列出多个项目和/或多个项目类别的术语“…中的任一个”旨在包括单独的或与其他项目和/或其他项目类别结合的项目和/或项目类别“中的任一个”、“的任何组合”、“的任何倍数”和/或“的倍数的任何组合”。此外，如本文所使用，术语“集合”旨在包括任何数量的项目，包括零。此外，如本文所用，术语“数量”旨在包括任何数量，包括零。并且，如本文所用，术语“多”旨在与“多个”同义。

此外，在根据马库什群组描述本公开的特征或方面的情况下，由此本领域的技术人员将认识到，也根据马库什群组的任何单独的成员或成员的子群组来描述本公开。

如本领域的技术人员将理解的，出于任何和所有目的(诸如就提供书面描述而言)，本文所公开的所有范围还涵盖任何和所有可能的子范围以及它们的子范围的组合。任何列出的范围均可容易地被识别为充分地描述并且使得相同的范围能够被划分成至少相等的两半、三分之一、四分之一、五分之一、十分之一等。作为非限制性示例，本文所讨论的每个范围可容易地被划分成下三分之一、中三分之一和上三分之一等。如本领域的技术人员还将理解的，诸如“最多至”、“至少”、“大于”、“小于”等的所有语言包括所引用的数字并且是指随后可被划分为如上所述的子范围的范围。最后，如本领域的技术人员将理解的，范围包括每个单独的数字。因此，例如具有1至3个单元的群组是指具有1、2或3个单元的群组。类似地，具有1至5个单元的群组是指具有1、2、3、4或5个单元的群组等。

此外，除非另有说明，否则权利要求书不应被理解为受限于所提供的顺序或元件。此外，在任何权利要求中使用术语“用于……的装置”旨在调用35U.S.C.§112,6或装置加功能的权利要求格式，并且没有术语“用于……的装置”的任何权利要求并非意在如此。

Claims

1.一种由无线发射/接收单元(WTRU)实现的用于无线通信的方法，所述方法包括：

向边缘设备发射第一消息，所述第一消息包括神经网络数据和指示第一类型的神经网络数据的信息，其中所述神经网络数据在发射之前被编组成一个或多个字节数组；

从所述边缘设备接收指示所述边缘设备已经接收到的第二类型的神经网络数据的第一确认消息；

基于所发射的神经网络数据和所述信息从所述边缘设备接收包括编组的数据的第二消息；以及

向所述边缘设备发射指示所述WTRU已经接收到的第三类型的神经网络数据的第二确认消息。

2.根据权利要求1所述的方法，所述方法还包括接收包括所述第三类型的神经网络数据的第三消息。

3.根据前述权利要求中任一项所述的方法，所述方法还包括：

解组在所述第二消息中接收的所述编组的数据；以及

解码所述解组的数据。

4.根据前述权利要求中任一项所述的方法，其中所述信息包括指示所述第一类型的神经网络数据的一个或多个参数。

5.根据前述权利要求中任一项所述的方法，其中所述一个或多个参数由决策策略选择。

6.根据前述权利要求中任一项所述的方法，其中所述一个或多个参数作为字节数组来发送。

7.根据前述权利要求中任一项所述的方法，其中所述第一类型的神经网络数据指示点估计或概率分布。

8.根据前述权利要求中任一项所述的方法，其中所述第二类型的神经网络数据或所述第三类型的神经网络数据中的任一者指示点估计或概率分布。

9.根据前述权利要求中任一项所述的方法，所述方法还包括：

从分布式深度神经网络(DNN)确定一组预测和/或一组参数；以及

执行一个或多个流程以与一个或多个远程WTRU和边缘设备通信以促进低延迟。

10.根据前述权利要求中任一项所述的方法，所述方法还包括执行一个或多个补充流程。

11.根据前述权利要求中任一项所述的方法，其中所述一个或多个流程由服务器交互模块提供。

12.根据前述权利要求中任一项所述的方法，所述方法还包括：

确定由所述WTRU执行的第一组流程；

响应于所确定的第一组流程来发射确认；以及

响应于所确定的第一组流程来执行第二组流程。

13.根据前述权利要求中任一项所述的方法，所述方法还包括从以下项选择一个或多个流程：

(1)使用低质量视频渲染(经由GPU渲染模块)和低质量预测(通过WTRU的DNN)；(2)使用低质量视频渲染(通过WTRU的GPU渲染模块)和高质量预测(通过边缘设备的DNN)；(3)使用低质量预测(通过WTRU的DNN)和高质量视频渲染(通过边缘设备的GPU渲染模块)；和/或(4)使用高质量视频渲染(通过边缘设备的GPU渲染模块)和高质量预测(通过边缘设备的DNN)。

14.一种无线发射/接收单元(WTRU)，所述WTRU包括实现根据权利要求1至13中的任一项所述的方法的处理器、发射器、接收器和存储器。

15.一种第二边缘设备，所述第二边缘设备包括实现根据权利要求1至3中任一项所述的方法的处理器、发射/接收单元和存储器。