CN112219406B

CN112219406B - 用于全向视频的等待时间报告方法和系统

Info

Publication number: CN112219406B
Application number: CN201980031487.0A
Authority: CN
Inventors: 贺勇; 叶艳; 阿赫麦德·哈姆扎
Original assignee: Vid Scale Inc
Current assignee: Vid Scale Inc
Priority date: 2018-03-22
Filing date: 2019-03-20
Publication date: 2023-05-05
Anticipated expiration: 2039-03-20
Also published as: CN116723338A; US11616942B2; KR102395395B1; KR20230039761A; US20210021806A1; KR102509753B1; KR102638415B1; WO2019183217A1; EP3769539A1; CN116708847A; KR20210002475A; KR20220076496A; CN112219406A

Abstract

本文描述的系统和方法提供了360度视频的渲染和渲染的质量监视，其中视频在不同区域中具有带有不同质量水平的多个表示。在示例性方法中，客户端设备跟踪视口相对于360度视频的位置，且将所述表示的选定集合渲染到所述视口。客户端基于视口位置自适应地添加表示并从所选集合中移除表示。客户端还测量并报告视口切换等待时间。在一些实施例中，视口切换的等待时间是可比较质量的视口切换等待时间，其表示在视口切换之后返回到与切换前视口质量相当的质量所花费的时间。

Description

用于全向视频的等待时间报告方法和系统

相关申请的交叉引用

本申请是美国临时专利申请号62/646,750(2018年03月22日提交)、美国临时专利申请号62/693,177(2018年07月02日提交)、美国临时专利申请62/699,501号(2018年07月17日提交)和62/737,657(2018年09月22日提交)的非临时提交，并且根据35U.S.C.§119(e)要求这些申请的权益，所有这些申请的标题都是“视口相关的视频流传输事件”，并且它们全部通过引用其整体而并入本文。

背景技术

360°视频是媒体行业中出现的快速增长的新格式。它通过VR设备的日益增长的可用性而实现，并且能够向观看者提供非常新的存在感。与传统的直线流视频(2D或3D)相比，360°视频对视频处理和递送提出了一组新的且困难的工程挑战。实现舒适和沉浸式用户体验要求高视频质量和非常低的延迟，而大视频尺寸可能是以高质量递送360°视频的障碍。

发明内容

在一些实施例中，一种由全向视频播放器执行的方法包括：将全向视频的一部分渲染到视口；记录所述视口的多个视口质量测量和相关联的测量时间；检测视口切换事件；从所述视口质量测量中选择切换前测量时间，使得(i)所选择的切换前测量时间在所述视口切换事件之前的预定切换前间隔内，以及(ii)与所选择的切换前测量时间相关联的所述视口质量测量是所述切换前间隔内的最大视口质量测量；从所述视口质量测量中选择切换后测量时间，使得(i)所选择的切换后测量时间在所述视口切换事件之后的预定切换后间隔内，并且(ii)所选择的切换后测量时间具有与所述切换前间隔内的最大视口质量测量相当(例如，至少一样大)的相关联的视口质量测量；以及报告等待时间值，其中等待时间值表示所选择的切换前测量时间与所选择的切换后测量时间之间的间隔。

在一些实施例中，全向视频包括多个子图片，且其中将全向视频的一部分渲染到视口包括渲染子图片中的至少一者的活动集合。在一些这样的实施例中，检测视口切换事件包括检测到新子图片向活动集的添加。在一些实施例中，活动集中的每个子图片与子图片质量水平相关联，并且视口质量测量是基于活动集中的子图片的子图片质量水平确定的。例如，可以使用活动集中的子图片的质量水平的加权平均来计算视口质量测量，其中，通过由相应子图片覆盖的视口的区域来对质量水平进行加权。

在一些实施例中，播放器报告切换前间隔的持续时间M和切换后间隔的持续时间N以及等待时间。在一些实施例中，播放器从服务器接收关于要使用的M和N的值的指示。

在一些实施例中，周期性地执行对所述多个视口质量测量结果和相关联的测量时间的记录。该周期可小于切换前间隔和切换后间隔的最小值。

在一些实施例中，播放器报告与所选择的切换前测量时间相关联的视口质量测量和与所选择的切换后测量时间相关联的视口质量测量。

在一些实施例中，所选择的切换前测量时间是在切换前间隔内具有等于最大视口质量测量的相关联视口质量测量的最近的切换前测量时间。在一些实施例中，所选择的切换后测量时间是具有至少与切换前间隔内的最大视口质量测量一样大的相关联视口质量测量的最早切换后测量时间。

进一步的实施例包括可操作以执行这里描述的实施例的播放器设备。在一些实施方式中，播放器设备或其他系统包括处理器、显示器和存储指令的非暂时性计算机可读存储介质，所述指令在处理器上执行时可操作以执行本文所述的方法。

附图说明

图1A是示出了可以实施所公开的一个或多个实施例的示例通信系统的系统图。

图1B是示出了根据实施例的可以在图1A所示的通信系统内部使用的示例的无线发射/接收单元(WTRU)的系统图。

图2示出了媒体呈现描述(MPD)分级数据模型。

图3示出了四个轨迹(track)的示例，每个轨迹包含360覆盖的等矩形投影帧，但是具有由带点填充的矩形所示的不同的高质量编码区域。

图4示出了基于表示的视口切换示例。

图5A-5B示出了360视频图片的子图片的实例。

图6示出了基于子图片的视口切换示例。

图7示出了沉浸式媒体度量客户端参考模型。

图8示出了活动视口表示集和视口表示集的示例。

图9示出了基于子图片的视口切换示例。

图10示出了另一个基于子图片的视口切换示例。

图11示出了活动子图片集示例。

图12示出了第一视口、第一活动视口表示集和质量排名值的示例。

图13示出了第二视口、第二活动视口表示集和质量排名值的示例。

图14示出了基于子图片的可比较质量的视口切换示例。

图15示出了按区域的质量排名的编码内容的可比较质量的视口切换示例。

图16示出了根据一些实施例的使用切换前间隔和切换后间隔的测量过程的示例。

图17A-17B是随时间推移的记录的视口质量测量的示意图，示出了根据一些实施例的切换前和切换后测量时间的选择。

用于实施例的实现的示例网络

图1A是示出了可以实施所公开的一个或多个实施例的示例通信系统100的图。该通信系统100可以是为多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM以及滤波器组多载波(FBMC)等等。

如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104、CN 106、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络元件。每一个WTRU102a、102b、102c、102d可以是被配置成在无线环境中操作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成传送和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订阅者单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中操作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上操作的设备等等。WTRU 102a、102b、102c、102d的任一者可被可互换地称为UE。

通信系统100还可以包括基站114a和/或基站114b。每一个基站114a、基站114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一者对接来促使其接入一个或多个通信网络(例如CN 106、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个元件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络元件。

基站114a可以是RAN 104的一部分，并且所述RAN还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于许可频谱、未许可频谱或是许可与未许可频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，一个收发信机对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。

基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何合适的无线通信链路(例如射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何合适的无线电接入技术(RAT)来建立。

更具体地，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口116。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTE Pro(LTE-A Pro)来建立空中接口116。

在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新无线电(NR)来建立空中接口116。

在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。

在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(即全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)、以及GSM EDGE(GERAN)等等。

图1A中的基站114b例如可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何合适的RAT来促成局部区域中的无线连接，所述局部区域例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU 102c、102d可以通过实施诸如IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106来接入因特网110。

RAN 104可以与CN 106进行通信，所述CN可以是被配置成向一个或多个WTRU102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)要求，例如不同的吞吐量要求、等待时间要求、容错要求、可靠性要求、数据吞吐量要求、以及移动性要求等等。CN 106可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN 104和/或CN 106可以直接或间接地和其他那些与RAN 104使用相同RAT或不同RAT的RAN进行通信。例如，除了与可以使用NR无线电技术的RAN 104相连之外，CN 106还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。

CN 106还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如传输控制协议/网际协议(TCP/IP)网际协议族中的TCP、用户数据报协议(UDP)和/或IP)的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104使用相同RAT或不同RAT。

通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。

图1B是示出了示例WTRU 102的系统图。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等等。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述元件的任何子组合。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中操作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收元件122。虽然图1B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以一起集成在一电子封装或芯片中。

发射/接收元件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收元件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收元件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收元件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收元件122可以被配置成发射和/或接收无线信号的任何组合。

虽然在图1B中将发射/接收元件122描述成是单个元件，但是WTRU 102可以包括任何数量的发射/接收元件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在一个实施例中，WTRU 102可以包括两个或更多个通过空中接口116来传送和接收无线信号的发射/接收元件122(例如多个天线)。

收发信机120可被配置成对发射/接收元件122所要传送的信号进行调制，以及对发射/接收元件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。

WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些元件的用户输入数据。处理器118还可以向扬声器/麦克风124、数字键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何合适的存储器中存取信息，以及将数据存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订阅者标识模块(SIM)卡、记忆棒、和安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。

处理器118可以接收来自电源134的电力，并且可被配置成分发和/或控制用于WTRU 102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。

处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何合适的位置确定方法来获取位置信息。

处理器118可以进一步耦合到其他外围设备138，其中所述外围设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、蓝牙模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。外围设备138可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、姿势传感器、生物测定传感器、和/或湿度传感器。

WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧关联)的接收和传输可以是并发或同时的等。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送或接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧关联)的半双工无线电设备。

虽然在图1A-1B中将WTRU描述成了无线终端，然而应该想到的是，在某些典型实施例中，此类终端与通信网络可以使用(例如临时或永久性地使用)有线通信接口。

在典型的实施例中，其他网络112可以是WLAN。

采用基础设施基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP关联的一个或多个站(STA)。所述AP可以访问或是对接到分布式系统(DS)或是将业务送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务可被发送至AP，以便递送到对应的目的地。处于BSS内部的STA之间的业务可以通过AP来发送，例如在源STA可以向AP发送业务并且AP可以将业务递送至目的地STA的情况下。处于BSS内部的STA之间的业务可被认为和/或称为点到点业务。所述点到点业务可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些典型实施例中，DLS可以使用802.11e DLS或802.11z隧道化DLS(TDLS))。使用独立BSS(IBSS)模式的WLAN可以不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式也可被称为“自组织(ad-hoc)”通信模式。

在使用802.11ac基础设施操作模式或类似的操作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或经由信令动态设置的宽度。主信道可以是BSS的操作信道，并且可被STA用来与AP建立连接。在某些典型实施例中，所实施的可以是具有冲突避免的载波侦听多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在给定的BSS中，一个STA(例如只有一个站)可以在任何给定时间进行传输。

高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信，例如，借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道。

甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过分段解析器，所述分段解析器可以将数据分成两个流。在每一个流上可以单独执行逆快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由发射STA来传送。在接收STA的接收机上，用于80+80配置的上述操作可以被颠倒，并且组合数据可被发送至媒体访问控制(MAC)。

802.11af和802.11ah支持次1GHz的操作模式。相比于802.11n和802.11ac，在802.11af和802.11ah中使用的信道操作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。依照典型实施例，802.11ah可以支持仪表类型控制/机器类型通信(MTC)，例如宏覆盖区域中的MTC设备。MTC设备可以具有某种能力，例如包括了支持(例如只支持)某些和/或有限带宽在内的有限的能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如以用于维持很长的电池寿命)。

对于可以支持多个信道和信道带宽的WLAN系统(例如802.11n、802.11ac、802.11af以及802.11ah)来说，这些系统包括了可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共操作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在BSS中操作的所有STA且支持最小带宽操作模式。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽操作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配矢量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz操作模式)对AP进行传输)，那么即使大多数的频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。

在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。

有鉴于图1A-1B以及关于图1A-1B的对应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN 185 a-b和/或这里描述的一个或多个其他任何设备。仿真设备可以是被配置成模拟这里描述的一个或多个或所有功能的一个或多个设备。举例来说，仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施或部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。

一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施或部署的同时执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。

具体实施方式

通过HTTP的动态流(DASH)。

通过HTTP的MPEG动态自适应流(MPEG-DASH)是一种通过动态地适应变化的网络条件来向终端用户提供良好质量视频体验的递送格式。

动态HTTP流要求多媒体内容的各种比特率替换方案在服务器处可用。另外，多媒体内容可以包括若干媒体成分(例如音频、视频、文本)，其中的每一个可以具有不同的特征。在MPEG-DASH中，这些特征由媒体呈现描述(MPD)描述。

图2示出MPD分级数据模型。MPD描述周期序列，其中媒体内容成分的编码版本的一致集合在周期期间不改变。每个周期具有开始时间和持续时间，并且由一个或多个自适应集合组成。

自适应集合表示共享诸如语言、媒体类型、图片纵横比、角色、可访问性、视点和评级特性之类的特性的一个或若干媒体内容成分的编码版本的集合。例如，自适应集合可以包含相同多媒体内容的视频分量的不同比特率。另一适配集合可以包含相同多媒体内容的音频分量(例如，较低质量的立体声和较高质量的环绕声)的不同比特率。每个自适应集合通常包括多个表示。

表示描述了一个或若干媒体成分的可递送的编码版本，其在比特率、分辨率、通道数目或其他特征方面与其他表示不同。每个表示由一个或多个片段组成。表示元素的属性，诸如@id、@带宽、@质量排名和@相关Id，用于指定相关表示的属性。

表示还可以包括子表示。子表示法被嵌入在常规表示法中，并由子表示法元素描述。例如，如果表示包含音频和视频两者，则它可以具有子表示以给出仅应用于音频的附加信息。子表示还可以提供用于从复用的容器中提取一个流或用于提取流的较低质量版本的信息，例如仅包含I帧的版本，其在快进模式中是有用的。

片段是可以用单个HTTP请求检索的最大数据单元。每个片段具有标识服务器上的可寻址位置的URL，其可以使用HTTP GET或具有字节范围的HTTP GET来下载。

为了使用该数据模型，DASH客户端解析MPD XML文档，基于在每个自适应集元素中提供的信息选择适合于其环境的适应集的集合。在每个自适应集合内，客户端通常基于@带宽属性的值，而且考虑客户端解码和渲染能力来选择一个表示。客户端下载所选择的表示的初始化片段，然后通过请求整个片段或片段的字节范围来访问内容。一旦呈现已经开始，客户端就通过连续地请求媒体片段或媒体片段的部分并根据媒体呈现时间线播放内容来继续消费媒体内容。客户端可以考虑来自其环境的更新信息来切换表示。客户端应当在多个时段上连续播放内容。一旦客户端正在消费包含在片段中的媒体，接近表示中通告的媒体的结束，则终止媒体呈现、开始新的时段或者重新获取MPD。

全向媒体格式和视口相关的自适应流传输

全向媒体格式(OMAF)是由MPEG开发的系统标准，其定义了一种媒体格式，该媒体格式使得能够实现全向媒体应用，并且主要关注360°视频、图像、音频和相关联的定时文本。在2018年早期发布了在ISO/IEC JTC1/SC29/WG11N17399“FDIS 23090-2全向媒体格式”(2018年02月)中描述的OMAF国际标准(FDIS)的最终草案。

以下描述于OMAF标准中。

·子图片是表示原始内容的空间子集的图片。

·子图片比特流是表示原始内容的空间子集的比特流。

·观看定向是表征用户正消费视听内容的定向的方位角、仰角和倾斜角的三方。

·视口是全向图像或视频的适于显示和由用户观看的区域。

·视点是视口的中心点或者用户从其观看场景的点，其通常对应于相机位置。

·轨迹是ISO基媒体文件中的相关样本的集合。对于媒体数据，轨迹对应于图像序列或采样音频。

·内容覆盖是由轨迹或图像项表示的内容所覆盖的一个或多个球体区域。

·质量排名区域是与质量排名值相关联的区域，并且是相对于解码画面或球体而指定的。

·质量排名值指示质量排名区域的相对质量顺序。当质量排名区域A具有小于质量排名区域B的非零质量排名值时，质量排名区域A具有比质量排名区域B更高的质量。当质量排名值是非零时，整个所指示的质量排名区域内的画面质量近似恒定。在DASH自适应集等级上可以存在至多一个按区域的质量排名(RWQR)描述符，并且在DASH表示等级上可以存在至多一个RWQR描述符。

OMAF的第一版本指定两个简档：视口无关的基线呈现简档和视口相关的基线呈现简档。

对于视口无关的流，360视频图片被编码为单个比特流。整个编码比特流被存储在服务器，并且如果需要，通常被完全发送到OMAF播放器，由解码器完全解码，并且与当前视口相对应的解码图像区域被渲染给用户。

对于视口相关的视频流传输，下面描述两种视频处理方法：按区域的质量排名编码方法和基于子图片的方法。

按区域的质量排名编码方法。

按区域的质量排名编码方法生成多个独立流，每个流包含整个全向视频，但是每个流具有由按区域的质量排名(RWQR)元数据指示的不同的高质量编码区域。根据当前视口，选择包含与当前视口位置的高质量编码区域相匹配的高质量编码区域的流，并将其发送到OMAF播放器。在图3给出的例子中，只递送一个相应的轨迹，其中基于高质量编码区域的选择标准与用户当前视口的选择标准相匹配。最初，选择流302以便发送到播放器。流302包括较高质量区域303。后续流304、306、308包括旨在与当前视口的变化的位置相对应的相应的较高质量区域305、307、309。

图4示出了这样的RWQR流传输示例。在图4的实例中，播放器在时间t0正渲染第一表示400(表示#1)，其中表示400的高质量区域402覆盖第一视口404。第一视口404可在时间t1切换到第二视口406，并且播放器可保持渲染400(表示#1)但开始请求新的表示410(表示#2)以获得第二视口406的高质量覆盖。在时间t2，正在渲染新请求的表示410(表示#2)，并且以高质量渲染第二视口406，因为表示410的高质量区域412覆盖视口406。视口可以在时间t3改变到第三视口416。具有高质量区域422的第三表示420(表示#3)被请求，并在稍后在时间t4渲染。

在图4和随后的图示中，全向视频的区域和子图片被图示为矩形，而视口被图示为具有弧形边缘。这些形状是为了易于理解而选择的，但是应当理解，在不同的实施例中，区域、子图片和视口可以具有不同的形状。

基于子图片的方法。

基于子图片流的方法将360视频分割成子图片序列。每个子图片序列覆盖全向视频内容的空间区域的子集。然后，将每个子图片序列彼此独立地编码为单个比特流。OMAF播放器基于OMAF播放器的定向/视口元数据选择要流传送的子图片(一个或多个)。与覆盖剩余的当前未渲染区域的那些子图片流的质量或分辨率相比，针对与当前视口相对应的那些子图片流接收、解码和渲染更佳质量或更高分辨率的流。

在图5A-5B给出的例子中，360°视频图片被分成四个子图片。图5A是非重叠子图片的例子。在图5A中，图片500由不重叠的子图片501、502、503和504组成。在图5B中，图片510由子图片511、512、513和514组成，但是子图片512与子图片501和子图片514都重叠。

图6示出了视口切换和对应的子图片表示切换的示例。在图6的例子中，子图片不重叠。在图6的例子中，每个子图片被编码成两个表示，表示H是较高质量表示(用点画填充示出)，表示L是较低质量表示。

在图6的实例中，在时间t0，视频图片600由子图片组成。在时间t0，高质量(例如，由RWQR值指示)表示611(其可被称为Rep(1，H))被用于向视口620提供高质量视频。表示602、603和604在视口620之外，并且以较低质量被接收。在时间t0，表示611的质量高于表示602、603和604的质量。只要视口620保持在使用表示611呈现的子图片内，播放器便可继续请求并接收高质量表示611和低质量表示602、603和604的片段。

播放器请求(和渲染)的表示可以响应于视口位置的改变而改变。响应于视口在时间t1从第一视口620切换到第二视口622，最初，高质量表示611(Rep(1，H))和低质量表示602(Rep(2，L))两者都被渲染以呈现视口622。然而，播放器开始请求表示611的较低质量版本601(Rep(1，L))的片段，而不是继续请求高质量表示611的片段。类似地，播放器开始请求表示602的较高质量版本612(Rep(2，H))的片段，而不是继续请求低质量表示602的片段。一旦接收到这些新请求的片段，在时间t2，使用表示601和612来呈现视口622，使得视口622的大部分以高质量渲染。视口的质量可以从被渲染以覆盖视口的区域或表示的质量导出。在时间t3，视口移动到视口624。最初，使用高质量表示612和低质量表示603来呈现视口624。播放器开始请求表示603的更高质量版本613。一旦接收到该信息，就使用高质量表示612和613来呈现视口624。

沉浸式媒体度量。

在ISO/IEC JTC1/SC29/WG11N17400“WD of ISO/IEC 23090-6沉浸式媒体度量”(2018年02月)中描述的MPEG沉浸式媒体度量规定了用于沉浸式应用的沉浸式媒体度量的测量框架和收集，以记录和/或报告它们的沉浸式媒体质量和客户体验。工作草案中还包括具有观察和测量点的客户端参考模型，以定义用于度量收集的接口。

图7示出了具有五个观察点的客户端参考。度量计算和报告模块可以通过聚合来自每个OP的数据来获得度量。在MPEG文件ISO/IEC JTC1/SC29/WG11N17239，“考虑中的沉浸式媒体度量”(2017年10月)中描述了几种度量候选，例如视口切换等待时间、渲染FOV等。图7示出VR客户端700，其包括媒体表示模块702、传感器模块704、媒体处理模块706、网络接入模块708和客户端控制器710。媒体呈现模块执行投影、合成和渲染。传感器模块执行头部、眼睛和运动跟踪，并将传感器数据提供给媒体呈现模块、媒体处理模块和网络接入模块。媒体处理模块对由网络接入模块在网络712上检索到的媒体和元数据执行解封装、解码和解析。VR客户端的模块都与度量计算和报告(MCS)模块714通信，其编译并报告诸如本文所述的那些度量。

在示例实施例中解决了问题。

虚拟现实(VR)为用户提供自然参与沉浸式体验的机会，从而提供虚拟环境中的物理存在的感觉。沉浸式VR体验的影响和价值取决于VR设备、内容制作和所部署的VR技术。用于捕获、测量和分析这种影响的一致方法对于量化和评估VR产品和应用性能和有效性、增强存在和享受的感觉、以及进一步改进产品和体验设计是有用的。

例如在ISO/IEC JTC1/SC29/WG11N17239“考虑中的沉浸式媒体度量”(2017年10月)中已经提出了一些VR特定度量，并且这些度量是应用和技术不可知的。对于递送与观看内容的终端用户的总体服务质量和体验相关的一致的一组度量，缺乏准确且一致的度量记录和报告手段可能对行业提出挑战。

对于视口无关的流传输应用，可以部署传统的视频处理和分发技术，并且用户体验主要取决于网络吞吐量、系统端到端延迟和设备性能。

对于视口相关的流传输应用，已经提出了视口相关的编码和流技术以更有效地利用网络带宽。视口相关的方法的一个目标是递送全向视频的视口部分以用于以较高质量显示和供用户观看，而剩余区域以较低质量显示和观看。当用户改变观看定向时，系统更新呈现以快速地以较高质量渲染新视口，使得用户可连续体验一致的较高质量视频。视口切换或转换等待时间影响用户体验，并且诸如视频编码、递送、传感器跟踪和渲染之类的技术是该等待时间的贡献因素。为了评估和优化所有技术组件之间的系统性能，测量和分析不同技术的性能的可行且一致的方法对于视口相关的服务调试、改进和评估将是有价值的。期望开发一种一致的方法来支持实际的API和事件驱动的测量框架，使得度量可以由第三方分析用于体验质量评估和验证。

实施例概述。

存在至少两种主要类别的视口相关的视频译码和流传输方法。

第一种方法是全向内容的按区域的质量排名(RWQR)编码。每个表示覆盖整个360°视频帧，但是具有不同的高质量编码区域。根据当前视口，基于轨迹的按区域的质量排名元数据来选择包含与当前视口位置的高质量编码区域相匹配的高质量编码区域的轨迹，并将其发送到VR播放器。

第二种方法是基于子图片的流传输，在编码之前将源内容分割成子图片序列。每个子图片序列覆盖全向视频内容的空间区域的子集。子图片有可能重叠。然后，将每个子图片序列彼此独立地编码为单个比特流。此外，为了允许速率自适应，可以针对一个子图片序列，例如针对不同的比特率、不同的分辨率等，对若干比特流进行编码。播放器可以请求具有由按区域的质量排名元数据指示的不同质量的不同的多个子图片轨迹以渲染视口。播放器可以请求不覆盖当前视口的子图片轨迹，并且这些轨迹可以在用户的观看方向或视口改变时稍后被解码和渲染。

观看定向改变可(例如)通过在具有平板显示器的常规装置上的用户交互或通过用户在头戴式装置上的头部移动而触发。

表示集合。

在基于子图片的流传输方法中，将球体区域编码成多个子图片流。每个子图片可以被编码成多个表示，每个表示具有不同的分辨率、比特率和/或质量。目标是接收质量更好的表示流以呈现当前视口。

如本文所使用的，术语“活动视口表示集合”用于指被渲染以呈现视口的表示集合。

如本文所使用，术语“视口表示集合”用以指与活动视口表示集合中的表示属于相同自适应集合(一个或多个)的表示集合。换句话说，“视口表示集合”是正被渲染以呈现视口的子图片的表示的集合。播放器可以从第一视口表示集合请求表示或子表示以针对第一视口进行渲染。

作为示例，第一活动视口表示集合包括覆盖第一视口的一个或多个子图片表示和/或子表示流，其由客户端请求以便在第一视口内渲染内容。覆盖剩余区域的子图片表示和/或子表示可以由播放器请求、解码或呈现，也可以不由播放器请求、解码或呈现。当用户的观察定向从第一视口改变为第二视口时，来自第一活动视口表示集合的表示可能不覆盖第二视口的整个区域。播放器接着请求、解码和渲染来自第二活动视口表示集合的表示，所述表示包含一或多个子图片表示和/或覆盖第二视口的子表示。

图8示出视口表示集合的示例。在图8的例子中，每个子图片被编码成两个表示，较高质量和较低质量，并且相同子图片的两个表示被包括在相同的自适应集合中。

在图8的示例中，子图片#1(801)具有两个表示，Rep(1，H)和Rep(1，L)；子图片#2(802)具有两个表示，Rep(2，H)，Rep(2，L)；子图片#3(803)具有两个表示，Rep(3，H)，Rep(3，L)；且子图片#4(804)具有两个表示，Rep(4，H)和Rep(4，L)。

当视口806如图8所示覆盖子图片#2和#3两者时，请求、解码和渲染表示Rep(2，H)和Rep(3，H)以呈现视口。在这种情况下，表示Rep(2，H)和Rep(3，H)形成活动视口表示集合。表示Rep(2，H)和Rep(2，L)共享相同的自适应集合，并且表示Rep(3，H)和Rep(3，L)共享相同的自适应集合。因此，表示Rep(2，H)、Rep(2，L)、Rep(3，H)和Rep(3，L)形成视口表示集合。

视口切换事件。

VR递送虚拟世界中存在的感觉，并且允许用户探索360度的环境。VR应用理想地将即时呈现变化的视口，以匹配用户的观看定向并避免感知冲突，但是实际上存在一定量的延迟。可以使用与视口切换相关的度量，诸如切换等待时间、跟踪准确性和质量一致性，来评估观看体验。

在使用单流方法的系统中，整个全向内容在片段中被递送并且在播放器侧被解码。播放器渲染全向内容的一部分并将其作为视口在显示器上呈现。当观看定向改变时，播放器直接呈现内容的另一部分以反映定向改变。在该方法中，视口切换等待时间主要由运动到光子等待时间引起。

运动到光子等待时间主要由诸如显示刷新率、内容帧速率、渲染引擎周期和传感器运动跟踪性能之类的因素确定。表1提供了可以在一些实施例中使用的运动到光子等待时间度量。运动到光子等待时间度量可以包括测量时间和记录的等待时间。

表1.运动到光子等待时间。

对于基于子图片的视口相关的流传输，播放器可仅请求覆盖视口的表示的片段。当用户将他或她的头部快速转到未被当前片段覆盖(完全或部分)的新视口时，在请求、接收、解码和渲染覆盖新视口的段之前，在新区域中看不到任何东西。在另一情形中，播放器可以请求多个表示的片段以覆盖整个全向内容，并且播放器可以解码并仅渲染覆盖视口的那些片段。当用户将他或她的头部快速转到没有被当前正在渲染的片段覆盖(完全或部分地)的新视口时，播放器识别覆盖新视口的片段，并且开始解码和渲染那些新片段以呈现新视口。在这两种情形中，视口切换等待时间取决于诸如网络吞吐量、端到端系统等待时间、子图片分辨率、片段长度和设备解码(例如，单解码器与多解码器)以及渲染能力之类的因素。这里提出了用于测量基于子图片的流方法的视口切换等待时间的方法。

可以基于用于基于子图片的视口相关的流传输的视口切换事件来检测和测量视口切换度量。在一些实施例中，当请求未包括在第一视口表示集合中的表示时，从第一视口切换到第二视口的视口切换事件被检测，并且稍后被解码和渲染以呈现第二视口。

在本文描述的示例中，Rep(i，j)形式的表达用于表示第i个子图片的第j个表示。图9示出了基于表示切换来检测视口切换事件的示例。

在图9的示例中，在步骤952，在时间t0，正在渲染更高质量的表示Rep(1，H)(911)以呈现第一视口。第一活动视口表示集合包括Rep(1，H)(911)，并且第一视口表示集合包括属于子图片#1的Rep(1，H)(911)和Rep(1，L)(901)。播放器仅请求、解码和渲染Rep(1，H)(911)。播放器还可以请求(在步骤954中)其他子图片表示，例如Rep(2，L)(902)、Rep(3，L)(903)和Rep(4，L)(904)，以在呈现第一视口时覆盖球体上的剩余区域，所述第一视口完全位于第一子图片内。

在时间t2，在步骤956中，传感器检测改变到位于第二视口922处的观看定向。在步骤958中，响应于检测到到第二视口922的改变，播放器将时间t2记入日志作为等待时间测量的开始时间。在步骤960，在时间t3，播放器请求子图片#2的较高质量表示Rep(2，H)(912)。在步骤962中，在时间t4，播放器开始渲染未被包括在第一视口表示集合中的表示Rep(2，L)(902)。(步骤960和962的顺序可以颠倒。)第二活动视口表示集合包括Rep(2，L)，而第二视口表示集合包括属于子图片#2并且共享同一自适应集合的Rep(2，H)和Rep(2，L)。响应于步骤962中的渲染Rep(2，L)(902)的启动，播放器在步骤964中将时间t4记录为等待时间测量结束时间。因此，使用图9的技术生成的等待时间测量可以计算为开始时间t2和结束时间t4之间的差。在步骤964，在时间t5，渲染在步骤960中请求的子图片#2的较高质量表示Rep(2，H)(912)。

在该示例中，视口切换等待时间被测量为在第二视口处用户的观看定向的传感器检测时间(这导致未被包括在第一表示集合中的新表示或子表示被请求并被渲染以呈现第二视口)与覆盖第二视口内容的表示(一个或多个)被完全渲染的时间之间的时间，例如以毫秒为单位。在图9的示例中，视口等待时间是t2和t4之间的时间间隔。

图10示出了在播放器仅请求覆盖视口的表示片段的情况下的视口切换的另一示例。

在图10的示例中，在时间t0，视口920完全位于由表示911覆盖的区域内。结果，观看器仅检索表示911，并且在步骤1052中，观看器将表示911渲染到视口920。在时间t2，在步骤1054中，播放器检测到视口922的改变。响应于视口的改变，在步骤1056中，将t2记录为等待时间测量开始时间。在步骤1058中，在时间t3，播放器请求覆盖新视口922位置的表示912。播放器接收表示912，并且在步骤1060中，在时间t4，播放器开始向视口922渲染表示912。响应于向视口922渲染表示912的启动，在步骤1062中播放器将时间t4记入日志作为等待时间测量结束时间。因此，使用图10的技术产生的等待时间测量可以计算为开始时间t2和结束时间t4之间的差。图10的视口切换等待时间通常高于图9中的视口切换等待时间，因为在图10中，覆盖第二视口的片段Rep(2，H)(922)直到传感器已经检测到观察定向改变之后才被请求。

表2提供视口等待时间度量，包括诸如传感器检测到定向改变时的时间、播放器发出对新表示的HTTP请求时的时间、渲染新表示以呈现新视口的时间以及总视口切换等待时间之类的参数。

表2.视口切换等待时间。

视点切换等待时间。

视点是用户观看场景的点。视点通常对应于相机位置。视点可以沿时间线静态或动态地定位。真实视点可对应于捕捉视频时相机的位置，并且虚拟视点可经由视图合成方法生成。诸如体育比赛或音乐会之类的事件可以在场地或体育场上具有多个视点，以向用户提供不同的观看视角。用户可以一次请求一个视点，并在空中在视点之间切换。视点切换等待时间可能由各种因素引起，诸如设备的响应时间、编码视频的随机访问周期、视点转换效果的呈现、以及使用视图合成过程生成虚拟视口所花费的时间。

表3提供了视点切换等待时间度量的示例。

表3.视点切换等待时间。

视点数据类型指定视点识别符、标签和视点的位置。表4示出了VR度量中要使用的视点数据类型结构的示例。

表4.视点数据类型

在实施例中，当在渲染第一视点的内容的同时传感器检测到用户对第二视点的选择时，视点切换事件开始。用户可以基于该视点的默认定向或用户选择的定向来请求第二视点的一个或多个片段。在第二视点是虚拟视点的情况下，可请求参考视点的轨迹的片段以生成新的视图。显示器可以呈现第一视点和第二视点之间的转换。当第二视点的视口正被渲染给用户时，视点切换事件结束。

在一些实施例中，当响应于明确的用户请求或用户与场景的交互，做出对来自当前没有正在渲染其表示的新视点的表示的片段的网络请求时，检测到潜在的视点切换事件。在基于子图片的视口相关的流的情况下，可以请求与新视点的子图片相对应的一个或多个片段。当在下载并解码所请求的片段(一个或多个)之后最终渲染来自新视点(当前未被渲染)的视口时，最终识别(完成)了事件。

在一些实施例中，响应于检测到潜在的视点切换，客户端创建包含检测时间和目标视点的记录，并且将该记录添加到跟踪所有未决的视点切换测量的存储器内数据结构(例如，列表)。响应于渲染模块利用与先前渲染的视口的视点id不同的新视点id来渲染视口，客户端检查具有最近检测时间和与正被渲染的视口的目标视点id相等的目标视点id的记录的未决的视点切换测量结果的列表。如果存在这样的记录，则识别视点切换事件。新的视口及其相关联的视点id被分配给第二视点字段，并且渲染时间被分配给测量时间字段：measurementTime。检测时间早于返回记录的所有记录都从未决的视点切换测量的列表中清除。然后，将在所识别的视点切换事件之前正在渲染的视口(以及相关联的视点id)分配给第一视点字段。视口切换等待时间被计算为(i)对新视口的表示做出请求的时间与(ii)渲染视点的表示的时间之间的时间间隔。将该间隔分配给等待时间字段，并报告为视点切换等待时间。

以下时间线提供了在基于子图片的视口相关的流传输的情况下的测量过程的示例：

·时间t0：客户端从视点A渲染视口。

·时间t1：响应于用户交互，通过网络请求来自视点B的一个或多个片段。客户端创建指示未决的视点切换测量的记录<t1，B>，并将其存储在存储器内数据结构中。

·时间t2：完成了所请求片段(一个或多个)的下载。

·时间t3：解码所请求的片段，并且来自视点B的视口准备被渲染。

·时间t4：将用于视点B视口的子图片(一个或多个)添加到活动子图片集合，并且识别视点切换。客户端搜索存储器内数据结构并检索<t1，B>(具有最早开始时间和目标视点B的记录)。在识别视点切换事件之前正被渲染的最后一个视口被分配给第一视点，并且来自视点B的新视口被分配给第二视点。测量时间t4被分配给字段：measurementTime。时间差(t4-t1)被分配给等待时间字段，并被报告为视点切换等待时间。

服务提供商和设备制造商可以使用这种度量来评估用户体验和系统性能。对于中间视点或虚拟视点，这样的度量可以用于表征视图合成算法和设备处理能力的性能。

渲染视点。

在一些实施例中，被渲染的视点度量报告已经在媒体呈现时间的特定间隔被渲染的视点的列表。在表5中指定了被渲染的视点度量的示例。

表5.被渲染的视点度量。

终端用户可以在多个视点之间进行即时切换，关键字开始时间和持续时间指示从一个视点产生的整个内容的特定部分正在由终端用户渲染。服务器可以聚集来自多个终端用户的这种度量，并且导出特定视点的使用统计和从视点对内容的不同部分的吸引。

在另一实施例中，视点信息可以被添加到ISO/IEC JTC1/SC29/WG11N17564，“ISO/IEC 23090-6沉浸式媒体度量的WD”(2018年04月)中指定的被渲染的视口度量。表6示出了具有相关联的视点信息的被渲染的视口度量的示例。

表6.提出的被渲染的视口度量。

内容制作器可以使用被渲染的视点度量来识别观看最多的视点并生成多个视点的推荐的视点，或者在这些视点的内容上分配更多的资源以改善观看体验，或者在最具人气的视点周围添加更多的物理或虚拟视点以向用户提供更多的观看视点。例如，代替在客户端侧合成中间视图，可以在服务器侧针对用户的请求合成共同渲染的虚拟视点。服务提供商还可以依靠该度量来将大多数被渲染的视点内容的片段分配到更靠近终端用户的高速缓存，以改善观看体验。

被渲染的推荐视口。

OMAF为单个视点或多个视点指定推荐视口。推荐视口定时元数据轨迹指示当用户不控制观看定向或已经释放了对观看定向的控制时应当显示的视口。推荐视口类型可以基于导演的剪辑或基于测量统计。在回放期间，用户可选择释放对观看定向的控制并跟随推荐视口定时元数据轨迹，或从一个推荐视口轨迹切换到另一推荐视口轨迹。用户可即时重新控制观看定向。

在一些实施例中，被渲染的推荐视口度量被用于评估用户何时切换到推荐视口定时元数据轨迹以及用户观看对应的推荐视口轨迹多长时间。每当用户不具有对观看定向的控制或对观看定向释放控制时，客户端设备可记录事件。被渲染的推荐视口度量还可被用于确定推荐视口轨迹的人气以及推荐视口轨迹的人气部分。表7描述了推荐的视口命中度量的示例。

每当用户切换到推荐的视口定时元数据轨迹时，可以记录度量。

表7.推荐的视口命中度量。

在表7的实施例中：

·id是MPD中的推荐视口定时元数据表示的标识符；

·测量时间指定当用户切换到推荐视口定时元数据轨迹时度量被测量的挂钟时间；

·开始时间指定推荐视口样本中的第一个播放的媒体样本的媒体呈现时间；以及

·持续时间指定正在测量的推荐视口的继续渲染的持续时间。

所述设备可以记录测量时间以报告何时执行测量。开始时间和持续时间可用于确定用户感兴趣的推荐视口轨迹的特定部分。id指向特定的推荐视口定时元数据轨迹，其包括诸如视口区域和相关联的视点位置之类的信息。

内容提供商和服务提供商可以使用这种度量来识别哪个推荐视口轨迹和这种轨迹的哪个部分对终端用户有吸引力。可将最多被渲染的推荐视口轨迹或推荐轨迹的最多被渲染的片段更接近终端用户地高速缓存，而可从MPD文件中移除最少被渲染的推荐视口轨迹。与用户简档相结合，分析服务器可以基于地区、年龄、性别和内容来识别不同组的人的观看习惯。设备制造商可以使用这种度量来评估其UI设计是否可以鼓励用户容易地跟随观看推荐。

子图片集合。

术语活动子图片集合在本文中用于指代正被渲染以呈现视口的子图片群组。活动子图片集合包括正被渲染以呈现视口的那些子图片的所有表示。

渲染第一活动子图片集合的子图片以呈现第一视口，并且当渲染未被包括在第一活动子图片集合中的至少一个新子图片以呈现第二视口时，视口切换事件可被识别。

图11示出了使用活动子图片集合的示例。当在步骤1152中渲染子图片#1(1101)以在时间t1覆盖第一视口1120时，第一活动子图片集合包括子图片#1(1101)。当传感器在步骤1154中检测到观看定向在时间t2已移动到第二视口1122时，播放器开始请求子图片#2(1102)。在步骤1154中，在时间t3渲染子图片#1和#2两者以覆盖第二视口1102。结果，在时间t3设置的活动子图片包括子图片#1(1101)和#2(1102)两者。当用户定向移动到第三视口1124时，在步骤1156中仅渲染子图片#2(1102)以在时间t4覆盖第三视口。结果，在时间t4，第三活动子图片集合仅包括一个子图片，子图片#2(1102)。视口切换等待时间可被测量为时间t2(在步骤1158记录)与t3(在步骤1160记录)之间的时间间隔。

可比较质量的视口切换事件。

影响观看体验的一个因素是视口质量的一致性。对于视口无关的流传输，整个全向内容的质量近似恒定，并且变化的视口的质量也是恒定的。对于基于子图片的视口相关的流传输，当传感器检测到用户的观看定向从第一视口转向第二视口时，可比较质量的视口切换开始。当呈现第一视口时，用户可以请求一个或多个表示以覆盖部分或全部全向内容。部分或完全覆盖第一视口的区域的所有被渲染的表示被称为第一活动视口表示集合，并且被渲染以呈现第一视口的子图片(一个或多个)的所有表示被称为第一视口表示集合。视口表示集合不仅包含当前正被渲染的每一子图片的表示，而且包含未针对视口被渲染的那些相同子图片的任何其它表示(例如，较高或较低质量表示)。第i个子图片表示的第j个表示的按区域的质量排名(RWQR)值被表示为qr(i，j)。当渲染第一视口时第i个子图片的第j个表示的质量排名值是qr₁(i，j)。每个表示的质量排名值可以是不同的。被渲染以覆盖第一视口的表示(一个或多个)的质量排名值可以低于未覆盖第一视口的表示的质量排名值。

图12示出了第一视口1200和每个表示的质量排名值的示例。在图12的示例中，第一活动视口表示集合是{Rep(2，H)，Rep(3，H)，Rep(6，H)，Rep(7，H)}，因为这些表示当前正被渲染给视口1200。第一视口表示集合包括活动视口表示集合中的子图片的所有其他表示，例如{Rep(2，H)，Rep(2，L)，Rep(3，H)，Rep(3，L)，Rep(6，H)，Rep(6，L)，Rep(7，H)，Rep(7，L)}。

播放器可以发送针对未被包括在第一视口表示集合中但稍后在传感器检测到观看定向已改变为第二视口之后被渲染的至少一个表示的HTTP请求。渲染第二视口的子图片的表示(一个或多个)或子表示形成第二活动视口表示集合。当第二视口被渲染时正被请求的第i个子图片的第j个表示的质量排名值是qr₂(i，j)。被渲染以覆盖第二视口的表示(一个或多个)的质量排名值可以小于未覆盖第二视口的表示的质量排名值。

图13示出了第二视口1300和每个表示的质量排名值的示例。在图13的示例中，第二活动视口表示集合是{Rep(5，H)，Rep(6，H)，Rep(9，H)，Rep(10，H)}，因为这些表示当前正被呈现给视口1300。第二视口表示集合包括活动视口表示集合中的子图片的所有其他表示，例如{Rep(5，H)，Rep(5，L)，Rep(6，H)，Rep(6，L)，Rep(9，H)，Rep(9，L)，Rep(10，H)，Rep(10，L)}。

视口的质量排名值可以从覆盖视口的所有表示的质量排名值导出。例如，图12中的第一视口的质量排名值可以从qr₁(2，H)、qr₁(3，H)、qr₁(6，H)和qr₁(7，H)导出；以及图13中的第二视口的质量排名值可以从qr₂(5，H)、qr₂(6，H)、qr₂(9，H)和qr₂(10，H)导出。在一些实施例中，视口的质量排名值可以被导出为覆盖视口的所有表示的质量排名值的平均值、最大值或最小值。在一些实施例中，视口的质量排名值可以被导出为每个区域的质量排名值的加权平均，其中权重可以对应于(例如，可以与之成比例)由每个区域覆盖的视口的面积大小。

在采用质量排名的实施例中，较高质量排名值对应于较低视口质量。在其他实施例中，可以采用质量测量，其中较高质量测量对应于较高视口质量。在本公开中，参考基础图像质量来描述质量测量之间的比较，使得较高的“质量测量”对应于较高的图像质量，而不管基础度量是随着视口质量增加而增加的度量还是随着视口质量增加而减少的度量。

在视口切换转变期间，视口相关的流传输可以低质量呈现第二视口，如图9所示，理想地，传感器将检测到用户向第二视口的移动，并且播放器将以相同的质量即时向用户呈现第二视口，以避免晕动。然而，在现实世界实现中，播放器可以不发送对用于覆盖第二视口的新的高质量表示的HTTP请求，直到传感器检测到观察定向改变。取决于不同的技术，播放器需要时间来请求新表示的新的高质量片段，并且需要时间来下载所请求的片段并从缓冲器中检索相应的片段以用于解码和渲染。所有这些时间间隔都对可比较质量的视口切换等待时间有贡献，并且这样的等待时间可能显著影响观看体验。这里提出了用于测量用于视口相关的流传输方法的可比较质量的视口切换等待时间的方法。

在图14的示例中，在步骤中，播放器在步骤1452中在时间t0以第一质量(例如，高质量)利用来自第一视口表示集合的表示来呈现第一视口920。在步骤1454中，播放器可以请求第二质量(例如，低质量)的未包括在第一表示集合中的表示(例如，表示902、903、904)。在步骤1456中，传感器在时间t2检测到视口改变。响应于视口改变，在步骤1460中，播放器记录等待时间测量开始时间。在步骤1458中，播放器在时间t3发送对于具有第三质量的Rep(2，H)的新片段的第一HTTP请求(912)。在呈现时间t4，所请求的具有第三质量的Rep(2，H)的片段可能未被完全下载，或者具有第二质量的Rep(2，L)的先前片段在缓冲器中。在步骤1462中，播放器在时间t4渲染具有第二质量的Rep(2，L)的片段(902)。具有第二质量的Rep(2，L)的片段可能在视口切换检测之前在时间t1已被请求。在步骤1464中，具有第三质量的Rep(2，H)的新请求的片段被解码，并在时间t5被渲染。在步骤1466中，时间t5被记录为等待时间测量结束时间。

当(i)未被包括在第一视口表示集合中的表示正被渲染以呈现第二视口并且(ii)第二视口的质量等于或高于与第一视口相关联的第一质量时，可以确定可比较质量的视口切换事件。在步骤1460中可记录这种事件的时间。

在另一实施例中，当(i)未被包括在第一视口表示集合中的表示正被渲染以呈现第二视口并且(ii)与第二视口相关联的质量高于当呈现第一视口时相同视口的质量时，可以确定可比较质量的视口切换事件。换言之，视口切换之后的第二视口的质量应当高于视口切换之前的第二视口的质量。在传感器检测到第二视口处的观看定向的时间(例如，时间t2)与当第二视口以可比质量被呈现时的时间(例如，t5)之间的等待时间可以被测量为可比质量视口切换等待时间。

图15示出了针对按区域质量排名(RWQR)编码的全向内容的可比较质量的视口切换示例。每个表示覆盖整个全向内容，但是具有由按区域的质量排名元数据所指示的不同的高质量编码区域。在步骤1552中，当播放器在时间t0正呈现第一视口1520时，播放器基于按区域的质量排名元数据来请求、解码和渲染包含与第一视口位置(Rep#1)的高质量编码区域相匹配的高质量编码区域1511的表示1502。在步骤1554中，播放器在时间t2可检测观看定向改变到第二视口1522位置。响应于视口位置的改变，在步骤1556中将时间t2记录为等待时间测量开始时间。在步骤1558中，播放器在时间t3发送对不同RWQR表示1504(Rep#2)的HTTP请求。表示1504包括包围第二视口1522位置的高质量编码区域1512。Rep#2(1504)在呈现时间t4可能未准备好，因此Rep#1被解码，且在步骤1560中对表示1502的低质量编码区域进行渲染以呈现第二视口1522。在步骤1562中，在时间t5将具有高质量编码区域1512的Rep#2(1504)渲染到视口1522。响应于将高质量编码区域1512渲染到视口1522，在步骤1564中将时间t5记录为等待时间测量结束时间。t2和t5之间的间隔被测量为可比较质量的视口切换等待时间，并且可以在报告中被发送到度量服务器。

对于RWQR编码内容，具有不同高质量编码区域的表示可属于相同的自适应集合。在这种情况下，为子图片场景指定的可比较质量的切换事件可能不适用于RWQR编码内容。

对于RWQR编码内容，具有第一高质量编码区域的第一表示被渲染以呈现第一视口。传感器可以检测用户定向变化，并且请求具有与第一高质量编码区域不同的第二高质量编码区域的第二表示。当(i)渲染具有第二高质量编码区域的第二表示，(ii)第二高质量编码区域与第一高质量编码区域不相同，以及(iii)第二视口的质量与第一视口的质量可比较时，可以识别出可比较质量的视口切换。视口质量可以从覆盖由按区域的质量排名值指示的视口的编码区域(一个或多个)的质量导出。在一些实施例中，当第二视口的质量等于或高于第一视口的质量时，相当的质量被发现。在其他实施例中，当第二视口的质量高于当呈现第一视口时覆盖第二视口的区域的质量时，相当的质量被发现。

表8呈现了可比较质量的视口等待时间度量的示例，包括参数，诸如传感器检测到定向改变时的时间、播放器发出对新表示的HTTP请求时的时间、新表示被渲染以呈现新视口的时间、可比较质量的视口切换事件之前的第一视口的质量排名值、可比较质量的视口切换事件之后的第二视口的质量排名值、以及总的可比较质量的视口切换等待时间。

表8.可比较质量的视口切换等待时间。

在一些实施例中，当渲染不属于当前活动子图片集合的一个或多个子图片的轨迹或表示时，视口切换事件被识别。如表8所示，视口切换事件时间被分配给视口渲染时间。

在一些实施例中，视口切换时间是新子图片被渲染的时间。可以记录(例如，周期性地)视口质量，包括在视口切换时间之前的时间段中。在一些实施例中，视口切换等待时间的测量利用两个测量时间间隔来设置测量范围。切换前间隔值M毫秒是在视口切换时间之前在时间上往回拉伸的时间段，其中M是整数。切换后间隔值N毫秒是从视口切换时间开始的时间段，其中N是整数。

可以使用各种方法来指定时间间隔M和N的值。这类方法的示例如下所示。

·M和N可以由标准来指定，并且所有客户端在测量和报告度量时将使用共同指定的值。

·M和N可以由网络服务器确定，并作为元数据被发送到客户端，元数据可以在MPD中发送，或者使用DASH服务器和网络辅助DASH消息来发送。

·M和N可以由客户端选择，并且在内部用于生成报告。M和N的值可以基于诸如运动到光子的等待时间、定向传感器检测等待时间、下载和解码器缓冲器大小以及视场等因素来选择。

·如果客户端选择M和N用于其自身生成报告的用途，则客户端可以将这些值用信号通知给度量服务器，使得其理解报告是如何生成的—例如，可以将M和N的值添加到报告元数据。

在一些实施例中，客户端周期性地记录视口信息、视口质量和挂钟时间。记录周期小于M和N的最小值。记录周期可以小于为“质量视口切换等待时间”度量定义的最小等待时间。如表8所示，视口切换时间之前的过去M毫秒内记录的与最高视口质量相对应的视口质量值被设置为第一视口质量排名值。如果在切换前间隔内的多于一个测量具有等于最大视口质量值的视口质量值，则这些测量中的最后一个可以用作所选择的切换前测量时间。

在可比较质量的视口切换等待时间测量周期期间，如果新视口的质量值不能匹配视口切换时间之后的下一N毫秒期间的第一视口质量排名值，则中断测量周期并且不报告度量。如果在视口切换事件之后而在能够识别出相当的视口质量之前检测到新视口切换事件，则也不报告所述度量。

在一些实施例中，如果视口质量提供主观上等效或主观上类似的主观观看质量，则视口质量被认为是相当的。在一些实施例中，如果视口质量至少与先前视口质量一样高，则视口质量被认为与先前视口质量可比较。在一些实施例中，如果视口质量在先前视口质量的预定阈值(例如，预定百分比)内，则视口质量被认为与先前视口质量可比较。

与第一视口质量排名值相当的新视口的质量值被设置为第二视口质量排名值。

“质量视口切换等待时间”的等待时间被测量为记录的第一视口质量排名值的时间和测量第二视口质量排名值的切换后测量时间之间的时间间隔。

图16示出了根据一些实施例的测量过程的示例。用户观看定向从左边(例如，在时间t1的视口1620)逐渐移动到右边(例如，在时间t4的视口1623)。在步骤1652中，在时间t1，将高质量表示1611渲染到视口1620。

在时间t2，视口已移动到位置1621，但其仍在子图片#1内，且在步骤1654中，播放器继续渲染表示1611。

在时间t3，视口已移动到位置1622，其跨越子图片#1和子图片#2两者。在步骤1656中，播放器将表示1611(子图片#1的高质量表示)和1602(子图片#2的缓冲的低质量表示)渲染到视口1622。在时间t3，渲染模块通过检测新的子图片(子图片#2)已经被添加到活动子图片集合来识别视口切换事件。

在时间t4，视口已移动到视口位置1623，且子图片#2的较高质量表示1612已被接收且正被渲染到视口1623。

在图16的实施例中，为了确定可比较质量的视口切换等待时间，记录多个视口质量测量和相关联的测量时间。例如，在时间t1(步骤1660)、t2(步骤1662)、t3(步骤1664)和t4(步骤1666)记录时间和质量测量。播放器响应于将子图片#2添加到活动子图片集合而在时间T3检测到视口切换事件。在步骤1668中，播放器选择要用于计算等待时间测量的时间。具体地，播放器选择切换前测量时间和切换后测量时间。切换前测量时间和切换后测量时间可以如下确定。

在一些实施例中，切换前测量时间被选择为具有以下两个标准的记录时间：(i)所选择的切换前测量时间在所述视口切换事件之前的预定切换前间隔内，以及(ii)与所述选择的切换前测量时间相关联的所述视口质量测量是所述切换前间隔内的最大视口质量测量。预定的切换前间隔的长度可以由M表示，其可以以毫秒表示。如果多于一个的切换前测量时间在切换前间隔内具有最大质量测量，则这些测量时间中的最后一个可以被选择为切换前测量时间。切换前间隔可以包括视口切换事件的时间。

在一些实施例中，切换后测量时间被选择为具有以下两个标准的记录时间：(i)所选择的切换后测量时间在所述视口切换事件之后的预定切换后间隔内，以及(ii)所选择的切换后测量时间具有至少与所述切换前间隔内的最大视口质量测量一样大的相关联视口质量测量。预定的切换后间隔的长度可由N表示，其可以毫秒表示。所选择的切换后测量时间可以是切换后间隔中的第一测量时间，以满足上述标准。在一些情况下，没有记录的时间满足上述标准。例如，如果视口质量直到时间N过去之后才达到切换前水平，则将是这种情况。在这种情况下，播放器可以确定不报告任何等待时间值。类似地，如果在视口质量已达到切换前水平之前发生第二视口切换事件，则播放器可以做出不报告任何等待时间值的确定。

可以通过从所选择的切换后测量时间中减去所选择的切换前测量时间来计算等待时间值，以确定所选择的切换前测量时间与所选择的切换后测量时间之间的间隔。在步骤1670中，播放器将等待时间值报告给例如度量服务器。

在一些实施例中，与在过去的M毫秒内被记录的最高视口质量相关联的视口质量值被设置为第一视口质量排名值，并且存储对应的切换前测量时间。在时间t4，将与第一视口质量排名值匹配的新视口的质量值记录为切换后测量时间，并且将该值分配给第二视口质量排名值。等待时间被报告为第一视口质量排名值和第二视口质量排名值的记录时间之间的时间间隔。

图17A和17B是示意性地表示视口质量测量的曲线图。每个图示的点表示记录的视口质量测量及其相关联的测量时间。

在图17A中，在时间1702检测视口切换事件。可以响应于先前未被渲染的至少一个子图片的渲染来检测视口切换事件。时间1702可以与任何视口质量测量的时间一致或不一致。切换前间隔在视口切换事件之前M毫秒延伸。切换前测量时间被选择为测量时间1704，因为该测量在切换前间隔中具有最高质量水平(其可以是例如最低的“质量等级”)。切换后测量时间被选择为测量时间1706，因为(i)该测量是具有至少与测量1704处的质量值一样大的质量值的第一测量，以及(ii)其落入在视口切换事件之后N毫秒延伸的预定切换后间隔内。播放器可以将等待时间计算为测量1704和1706之间的间隔，并且可以向服务器报告该等待时间。

参考图17A，如果在适当的切换后测量发生之前检测到第二视口切换事件，例如如果在时间1708检测到第二视口切换事件，则播放器可以确定不报告时间1702的视口切换事件的任何等待时间。然而，在这种情况下，播放器仍然可以采取步骤来确定时间1708的视口切换事件的等待时间。

在图17B中，在时间1712检测到视口切换事件。可以响应于先前未被渲染的至少一个子图片的渲染来检测视口切换事件。切换前间隔在视口切换事件之前M毫秒延伸。切换前测量时间被选择为测量时间1714，因为该测量在切换前间隔中具有最高质量水平。然而，没有切换后测量满足以下标准：(i)具有至少与测量1714处的质量值一样大的质量值，以及(ii)落在视口切换事件之后N毫秒延伸的预定切换后间隔内。因为没有选择适当的切换后测量，所以在时间1712处，没有针对视口切换事件向服务器报告等待时间。

其它实施例。

在一些实施例中，相对于360度视频跟踪视口的位置，其中视频包括多个表示。将所述表示中的至少一个表示的选定集合渲染到所述视口。基于视口位置自适应地从所选集合添加和移除表示。测量视口切换等待时间，其中视口切换等待时间表示视口位置的改变触发将新表示添加到所选集合的第一时间与开始渲染新表示的第二时间之间的等待时间。视口切换等待时间可以被报告给例如度量服务器。每一表示可对应于视频的相应区，且选定集合可包含足以覆盖整个视口的表示的至少一集合。

在一些实施例中，一种方法包含跟踪视口相对于360度视频的位置，其中所述视频包括多个表示。将所述表示中的至少一个表示的选定集合渲染到所述视口。基于视口位置主动地改变所选集合中的表示。测量可比较质量的视口切换等待时间，其中，可比较质量的视口切换等待时间表示第一时间与第二时间之间的等待时间，其中在所述第一时间视口位置的改变触发所选集合中的改变表示，在所述第二时间视口位置的改变之后所渲染的视口的质量变得至少与视口位置的改变之前所渲染的视口的质量一样高。

在一些实施例中，提供了一种渲染360度视频的方法，其中视频包括多个子图片表示，每个子图片表示对应于视频的相应区域。在第一时间处，在视口处于第一位置时，渲染活动表示的第一集合中的每一子图片表示的至少一部分，其中活动集合中的每一子图片表示与视口的至少一部分重叠。检测视口已经移动到第二位置的第二时间，其中在所述第二位置中视口的至少一部分不与活动视口表示的第一集合中的任何子图片表示重叠。在所述第二时间之后的第三时间，开始对不在所述视口表示的第一集合中的新子图片表示的至少一部分进行渲染。计算并报告第二时间和第三时间之间的等待时间。

在一些实施例中，提供了一种渲染360度视频的方法，其中视频包括多个子图片表示，每个子图片表示对应于视频的相应区域。在第一时间处，在视口处于第一位置时，渲染活动表示的第一集合中的每一子图片表示的至少一部分，其中活动集合中的每一子图片表示与视口的至少一部分重叠。在第一时间处确定第一视口质量。检测视口已经移动到其中视口的至少一部分不与活动视口表示的第一集合中的任何子图片表示重叠的第二位置的第二时间。在所述第二时间之后，渲染不在所述视口表示的第一集合中的新子图片表示的至少一部分。检测视口质量与第一视口质量相当的第三时间。计算并报告第二时间和第三时间之间的等待时间。在一些实施例中，检测视口质量与第一视口质量相当的第三时间包括检测视口质量何时等于或大于第一视口质量。在一些实施例中，检测视口质量与第一视口质量相当的第三时间包括在第二时间之后检测视口质量的增加。

在一些实施例中，提供了一种渲染被编码为按区域的质量排名(RWQR)编码的全向内容的360度视频的方法。在第一时间处，在视口处于第一视口位置时，渲染视频的第一表示的至少一部分，第一表示具有与第一视口位置至少部分重叠的高质量区域。在第二时间，检测视口位置到第二视口位置的改变。响应于视口位置的改变，检索视频的第二表示，所述第二表示具有不同于第一表示的高质量区域且至少部分地与第二视口位置重叠的高质量区域。在第三时间，开始对所述第二表示的至少一部分进行渲染。计算并报告第二时间和第三时间之间的等待时间。

在一些实施例中，一种方法包括为用户渲染360度视频的至少第一视点表示。从用户接收对360度视频的第二视点表示的选择。测量视点切换等待时间，其中，视点切换等待时间表示用户选择第二视点表示的第一时间与第二视点表示的渲染开始的第二时间之间的延迟。例如，将等待时间报告给度量服务器。

在一些实施例中，为用户渲染360度视频的一系列视点特定表示。生成与被渲染的视点特定表示相对应的被渲染的视点的列表，并且以被渲染的视点度量来报告所述被渲染的视点的列表。在一些实施例中，测量持续时间，在该持续时间内连续呈现相应视点中的每一个，并且在渲染视点度量中报告相应持续时间。

在一些实施例中，为用户渲染360度视频的视口，该视口具有可变的位置和取向。用户能够在(i)视口位置和定向的用户控制和(ii)使用推荐视口元数据轨迹的视口位置和定向的自动控制之间进行选择。识别用户选择视口位置和定向的自动控制的一个或多个时段。在所呈现的推荐视口度量中，报告在其期间选择对视口位置和定向的自动控制的时段。还可以报告所述时段的持续时间。

注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其执行(即，执行、实施等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、和/或软件指令等的形式或包括它们，并且可以存储在任何适当的非暂时性计算机可读介质或媒介中，诸如通常被称为RAM、ROM等。

尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读存储介质的示例包括但不限于，只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘的磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)的光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。

Claims

1.一种用于全向视频的等待时间报告方法，所述方法包括：

创建关于未决的视点切换测量的列表，所述列表中的每个记录是响应于潜在视点切换事件的检测而被创建的，并且所述每个记录标识检测时间和目标视点；

响应于确定渲染模块已经从渲染第一视点切换到渲染第二视点，从关于所述未决的视点切换测量的列表中，在标识所述第二视点的记录中选择具有最近检测时间的记录；

将视点切换等待时间确定为所述最近检测时间与渲染模块从渲染所述第一视点切换到渲染所述第二视点的时间之间的时间间隔；以及

报告所述视点切换等待时间，

其中，检测潜在视点切换包括：检测对来自新视点的表示的片段的网络请求，所述新视点的表示当前未被渲染。

2.根据权利要求1所述的方法，其中，确定渲染模块已经从渲染第一视点切换到渲染第二视点包括：确定所述渲染模块正在渲染具有与先前渲染的视点的视点标识符不同的视点标识符的视点。

3.根据权利要求1所述的方法，其中，报告所述视点切换等待时间进一步包括：报告所述第二视点的视点标识符。

4.根据权利要求1所述的方法，其中，报告所述视点切换等待时间进一步包括：报告所述第一视点的视点标识符。

5.根据权利要求1所述的方法，其中，报告所述视点切换等待时间进一步包括：报告测量时间，所述测量时间表示渲染模块从渲染所述第一视点切换到渲染所述第二视点的时间。

6.根据权利要求1所述的方法，进一步包括：从所述关于未决的视点切换测量的列表中清除具有比所选择的记录的所述检测时间更早的检测时间的所有记录。

7.一种用于全向视频的等待时间报告系统，所述系统包括处理器和存储指令的计算机可读存储介质，所述指令当在所述处理器上执行时可操作用于执行一方法，所述方法包括：

报告所述视点切换等待时间，

8.根据权利要求7所述的系统，其中，确定渲染模块已经从渲染第一视点切换到渲染第二视点包括：确定所述渲染模块正在渲染具有与先前渲染的视点的视点标识符不同的视点标识符的视点。

9.根据权利要求7所述的系统，其中，报告所述视点切换等待时间进一步包括：报告所述第二视点的视点标识符。

10.根据权利要求7所述的系统，其中，报告所述视点切换等待时间进一步包括：报告所述第一视点的视点标识符。

11.根据权利要求7所述的系统，其中，报告所述视点切换等待时间进一步包括：报告测量时间，所述测量时间表示渲染模块从渲染所述第一视点切换到渲染所述第二视点的时间。

12.根据权利要求7所述的系统，其中，所述指令进一步操作用于：从所述关于未决的视点切换测量的列表中清除具有比所选择的记录的所述检测时间更早的检测时间的所有记录。