CN111713111A - 用于360度视频译码的面不连续性滤波 - Google Patents

Abstract

公开了用于360度视频编码的不连续面边界滤波的系统，方法和工具。例如，在面不连续性的任一侧上使用译码样本或填充样本，全部或部分地对面不连续性进行滤波(例如，以减少接缝伪像)。滤波可以被应用为例如环内滤波器或后处理步骤。与面不连续性的两侧相关的2D位置信息在视频位流中被用信号通知，从而滤波可以不依赖于投影格式和/或帧打包技术来应用。

Description

用于360度视频译码的面不连续性滤波

相关申请的交叉引用

本申请要求在2017年12月19日提交的申请号为62/607,737的美国临时专利和在2018年4月2日提交的申请号为62/651,448的美国临时专利的权益，其公开内容通过引用整体并入本文。

背景技术

各种数字视频压缩技术实现了有效的数字视频通信、分发和消费。标准化视频压缩技术的一些示例是H.261、MPEG-1、MPEG-2、H.263、MPEG-4部分2和H.264/MPEG-4部分10AVC。与H.264/AVC相比，先进的视频压缩技术(例如高效视频译码(HEVC))可以在相同的视频质量下提供两倍的压缩率或一半的比特率。可以使用各种技术来产生接缝伪影。

发明内容

公开了用于滤波与360度视频相关联的面不连续性的系统、方法和手段。表示360度视频的帧打包图片可以由译码设备(例如，编码设备和/或解码设备)接收。帧打包图片可以包括一个或多个分别对应于360度视频的二维(2D)投影的面。译码设备可以确定在帧打包图片中是否存在面不连续性(例如，至少一个面不连续性)。如果存在面不连续性，则基于与面不连续性相关联的2D位置信息，译码设备可以进一步识别面不连续性的第一侧和第二侧。这样的2D位置信息可以被包括在视频比特流中，并且面不连续性的第一和第二侧分别与第一面的第一边缘和第二面的第二边缘重合。译码设备可以基于所识别的第一和第二侧，将滤波器应用于沿着第一和第二边缘定位的一个或多个样本，例如，以便去除与面不连续性相关联的一个或多个伪影。如果在帧打包图片中不存在面不连续性，则译码设备可以在不应用滤波器的情况下处理沿多个面的边缘定位的样本。

与面不连续性相关联的2D位置信息可指示面不连续的第一侧的第一起始点的位置和面不连续性的第二侧的第二起始点的位置。2D位置信息还可以指示面不连续性的第一侧的第一起始点到第一端点的相对位置(例如距离)，以及面部不连续性的第二侧的第二起始点到第二端点的相对位置(例如距离)。可以作为后处理步骤或使用环内滤波器来应用滤波。可以沿着第一和第二边缘将滤波联合地应用于第一和第二面中的译码样本。替代地或附加地，第一面可以被填充(例如，使用几何形状填充)，并且可以使用第一面的一个或多个填充样本沿着第一边缘对至少一个样本应用滤波。

附图说明

图1A是示出了以经度

和纬度(θ)表示的球面采样的示例的图。

图1B是示出使用等矩形(equirectangular)投影(ERP)将球面投影到2D平面上的图。

图2A是示出立方体贴图投影(CMP)几何形状的示例的示图。

图2B是示出包括六个面的2D平面的示例的图。

图2C是示出包括六个面的2D平面的示例的图。

图3是示出了用于ERP的几何形状填充的示例的图。

图4是示出用于CMP的几何形状填充的示例的图。

图5是示出360度视频处理工作流的示例的框图。

图6是示出基于块的混合视频编码系统的示例的框图。

图7是示出基于块的视频解码器的示例的框图。

图8是示出可在当前变换单元(TU)的帧内预测中使用的示例参考样本的图。

图9是示范性帧内预测方向的图。

图10是示出了利用一个运动矢量(MV)的帧间预测的示例的图。

图11是示出了用于边界之外的参考样本的填充的示例的图。

图12是示出可在合并过程中用来导出空间合并候选的示例空间相邻者的示图。

图13A和13B是示出了可能涉及去块滤波器(DBF)开/关决策、滤波器选择和/或滤波的样本的图。

图14A是示出提取样本以针对ERP滤波面不连续性的示例的图。

图14B是示出提取样本以针对CMP滤波面不连续性的示例的图。

图14C是示出了提取样本以针对CMP来滤波面不连续性的示例的图。

图15是示出使用几何形状填充面的面不连续性滤波的示例的图。

图16A示出了可以针对不同参数值计算的调整函数的示例的图。

图16B是示出针对不同参数值的绝对样本位置差的示例的图。

图17A是示出了可以实现一个或多个所公开的实施例中的示例通信系统的系统图。

图17B是示出了根据实施例的可以在图17A所示的通信系统中使用的示例性无线发射/接收单元(WTRU)的系统图。

图17C是示出根据实施例的可以在图17A中示出的通信系统内使用的示例无线电接入网络(RAN)和示例核心网络(CN)的系统图。

图17D是示出了根据实施例的可以在图17A中图示的通信系统内使用的另外的示例RAN和另外的示例CN的系统图。

具体实施方式

虚拟现实(VR)可以具有许多应用领域，例如，保健、教育、社交网络、工业设计/训练、游戏、电影、购物、娱乐等。VR可以例如为工业和消费者提供沉浸式观看体验。VR可以创建围绕观看者的虚拟环境，并且可以为观看者生成真实体验感。用户体验可以例如取决于VR环境是否提供完全逼真的感觉。VR系统可以支持交互，例如，通过姿势、手势、眼睛注视、语音等。VR系统可以向用户提供触觉反馈，例如，以允许用户以自然的方式与VR世界中的对象交互。VR系统可以使用360度视频来为用户提供从360度角(例如，在水平方向)和/或180度角(例如，在垂直方向)观看场景的能力。未来的媒体消费可能会围绕VR和360度视频发展。

可以提高VR处理链的各个方面(例如，捕获、处理、显示和应用)的VR质量和用户体验。VR系统可以(例如，用于捕获)使用多重相机从不同的/各异的视图(例如，6～12个视图)捕获场景，这些视图可以被拼接(stitch)在一起以形成高分辨率(例如，4K或8K)的360度视频。VR系统(例如，在客户端或用户侧)可以包括计算平台、头戴式显示器(HMD)、头部跟踪传感器等。计算平台可负责接收和解码360度视频和/或生成视口以供显示。可以为视口渲染两个图片(每个眼睛一个图片)。可以在HMD中显示两个图片，例如用于立体观看。透镜可以用于放大在HMD中显示的图像，例如，以便更好地观看。头部跟踪传感器可以(例如，不断地)跟踪观看者的头部方向。取向信息可以用于显示用于特定取向的视口图片。VR系统可以为观看者提供触摸设备(例如，专用的触摸设备)以与虚拟世界中的对象交互。

VR系统可以由例如具有图形处理单元(GPU)支持的工作站驱动。VR系统(例如，光VR系统)可以使用智能电话来充当计算平台、HMD显示器和/或头部跟踪传感器，VR系统可以包括大约2160×1200的局部HMD分辨率、大约90Hz的刷新速率和/或大约110度的视场(FOV)。头部跟踪传感器的采样率可以是例如1000Hz，其可以捕获非常快的运动。VR系统可以包括透镜和/或纸板(cardboard)，透镜和/或纸板中的任一个或两者可以由智能电话驱动。VR系统可以用于游戏和/或提供360度视频流传输服务。

可以标准化用于客户端互操作性和/或全向媒体应用格式的处理链。360度3D视频应用可以例如在基于360度视频(例如全向视频)的系统或基于多视图的系统中实现。压缩可以根据所采用的投影和/或转换技术而变化。例如，可以在标准动态范围类别、高动态范围类别和/或360度视频类别中实现360度视频译码压缩。

360度视频压缩和递送系统可包括用于基于DASH的360度视频流传输的一个或多个通道。360度视频递送可以利用球面几何形状结构来呈现360度信息。在示例中，同步的多个视图(例如，由多个相机捕获的)可以作为整体结构被拼接在球面上。球面信息可以被投影到2D平面表面。例如，可以使用几何形状变换技术来投影球面信息。360度视频的投影格式包括等矩形投影和立方体贴图投影。

图1A和1B示出了使用等矩形投影被投影到2D平面上的球面几何形状的例子。图1A示出了以经度

和纬度(θ)表示的球面采样的示例。图1B示出了使用等矩形投影(ERP)被投影到2D平面中的球面的示例。球面上的点P可以被投影到2D平面中的点q。在范围[-π，π]中的经度

可以被称为偏航(例如，在航空中)，在范围[-π/2，π/2]中的纬度θ可以被称为俯仰，其中π可以是圆的周长与其直径的比率。在示例中，(x，y，z)可以表示3D空间中的点的坐标，而(ue，ve)可以表示当使用ERP时在2D平面中的点的坐标。ERP可以例如根据等式(1)和(2)来数学地表示：

ve＝(0.5-θ/π)×H (2)

其中W和H可以是2D平面图片的宽度和高度。点P(例如，球面上经度L4和纬度A1之间的交叉点)可以例如使用等式(1)和(2)映射到2D平面中的唯一点q。2D平面中的点q可以被投影回球面上的点P，例如，经由逆投影。在示例中(例如图1B所示)，球面中的视场可以被映射到具有沿大约110度的X轴的视角的2D平面。

360度视频可以被映射(例如，使用ERP)到正常2D视频。例如，可以使用视频编解码器(例如基于H.264、HEVC和/或类似物等的代码)对其进行编码。可以将编码的360度视频递送送到客户端。等矩形视频可以由客户端解码，并且可以例如基于用户的视口来渲染，例如，通过将等矩形图片中属于FOV的部分投影并显示在HMD上来进行渲染。可以将球面视频变换成2D平面图片，例如用于利用ERP进行编码。等矩形2D图片的特征可不同于常规2D图片(例如，区域线性视频)。

等矩形图片的顶部部分可对应于北极，图片的底部部分可对应于南极，且图片的中间部分可对应于赤道。顶部和底部部分相比于中间部分可以被拉伸，这可以指示2D空间域中的等矩形采样可能是不均匀的。时间方向中的2D等矩形图片中的运动场可能比正常2D视频中的运动更复杂。

ERP图片的左边界和右边界可以被独立地译码。ERP图片的左边界和右边界的独立译码可产生令人反感的视觉伪影。例如，这样的视觉伪像可以是″面接缝″的形式，其中相应的重造的视频被用于渲染显示给用户的视口(例如，通过HMD或常规的2D屏幕)。可以例如通过在图片的左侧和右侧填充N个(例如8个)亮度样本(例如，使用几何形状填充)来减少接缝伪影(例如，在包含ERP图片的左边界和右边界的重构视口中)。可以对包含填充样本的经填充的ERP图片进行编码。具有填充的重构ERP可以(例如，在解码之后)例如通过混合复制样本或裁剪填充区域而被转换回来。

可以分别对应于北极和南极的ERP图片的顶部和底部，相比于图片的中间部分可以被拉伸。这可以指示对于ERP格式，球面采样密度可能是不均匀的。描述相邻ERP图片之间的时间相关性的运动场可能变得比常规2D视频更复杂。视频编解码器可以使用平移模型来描述运动场，运动场可能无法有效地表示平面ERP图片中的形状变化运动。可以使用各种几何形状投影格式来将360度视频映射到多个面(例如，这些面的每一个可以映射到360度视频在2D平面上的的相应投影)。立方形投影(CMP)可以是压缩友好的投影格式。

图2A示出了CMP几何形状的示例。CMP 3D几何形状结构可以包括六个正方形面，其可以被标记为PX、PY、PZ、NX、NY、NZ。P可以表示正，N可以表示负，并且X、Y、Z可以指3D空间中的三个轴。这些面可以用数字0-5标记，例如PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)、NZ(5)。在示例中，切球面的半径可以被设定为1，并且投影面的横向长度可以被设定为2。例如，CMP格式的六个面可以被一起打包(例如，经由帧打包)成单个图片，使得可以使用未被设计为直接处理球面视频的视频编解码器来对其进行编码/解码。CMP的一个或多个面可以被旋转(例如，旋转一定角度)，例如，以最大化相邻面之间的连续性。

图2B和图2C示出了将六个面打包成矩形图片(例如，2D平面)的示例。图2B示出了3×2帧打包的示例，而图2C示出了4×3帧打包的示例。附图中的面索引的取向可以指示面的相应旋转(例如，为了更好的可视化)。例如，在图2B中，面#3和#1可以分别逆时针旋转180和270度，而其他面可以不旋转。

在帧打包图片中可能发生一个或多个面不连续性。图2B的第一示例类型的面不连续性。如图所示，在3D几何形状中，三个面的顶排可以是空间上相邻的面。这些面可以具有连续的纹理。三个面的底行可以是3D几何形状中空间上相邻的面(例如，具有连续纹理)。面的顶面和/或底面在3D几何形状中可以不是空间连续的。帧打包图片可能存在表面不连续(例如，其可能导致两个面之间的接缝)。例如，面不连续性可能存在于3×2帧打包图片中，因为面#0在顶行中而面#1在底行中，尽管在帧打包图片中彼此相邻，但在3D几何形状中并不是相邻者。图2B示出了第二种示例类型的面不连续性的方法。例如，面#4和面#3可以是3D几何结构中的空间相邻者。然而，在3×2帧打包图片中可能出现面不连续性，因为与3D几何形状相比，面#4和面#3在帧打包图片中具有不同的取向(例如，面#3可以在逆时针方向上旋转180°)。图2C示出了第三示例类型的面不连续性。例如，面#2和面#4可以是3D几何形状中的空间相邻者。然而，在4×3帧打包图片中存在面不连续性，因为在帧打包图片中面#2和面#4彼此分离。

CMP可以具有变化的采样密度，其在(例如，每个)面的中心处可以近似等于1。CMP采样密度可朝向边缘增加，与中心纹理相比这可能导致边缘附近的纹理被拉伸。例如，可以针对不同的基于立方形贴图的投影(例如，等角立方形贴图投影(EAC)和/或调整的立方形贴图投影(ACP))，通过在垂直和/或水平方向上使用非线性翘曲函数调整(例如，每个)面来提高CMP采样密度，以实现更均匀的采样密度。可以使用正切函数来执行该调整(例如在EAC中)。可以使用二阶多项式函数来执行该调整(例如，在ACP中)。EAC和ACP的概括可以称为混合立方形贴图映射(HCP)。可以针对(例如，每个)面和/或方向(例如，单独地)调整函数及其参数(例如，在HCP中)。基于立方体的投影可以如CMP中的那样类似地被打包，并且这会导致帧打包的图片中类似的面不连续。

可提供几何形状填充以用于360度视频译码。视频编解码器可以考虑在平面上捕获的2D视频。当运动补偿预测利用参考图片的边界之外的样品来完成时，可以执行填充。可以通过从图片边界复制样本值来执行重复填充。

360度视频包含整个球面上的视频信息，其可以(例如固有地)具有循环特性。例如，考虑到360度视频的参考图片包含的信息可以围绕球面缠绕，这些参考图片可以不具有″边界″。循环属性可以保持，而不管哪个投影格式或哪个帧打包可以用于在2D平面上表示360度视频。例如，可以通过考虑3D几何形状来填充样本，来执行用于360度视频编码的几何形状填充。

可以提供用于ERP的几何形状填充，其中ERP可以被限定在具有纵向纬度的球面上。给定要填充的点(u，v)(例如，在ERP图片之外)，可以例如根据等式(3)、(4)和(5)来计算用于导出填充样本的点(u′，v′)：

如果(u＜0或u≥W)且(0≤v＜H)，则u′＝u％W，v′＝v (3)

否则，如果(v＜0)，则v′＝-v-1，

否则，如果(v≥H)，则v′＝2*H-1-v，

其中W和H可以表示ERP图片的宽度和高度。

图3示出了用于ERP的几何形状填充的示例。位于图片的左边界外侧的样本(例如，图3中的A、B和C处的样本)可用与该图片的右边界内侧的A′、B′和C′处的对应样本进行填充。图片的右边界外侧的样本(例如，图3中的D、E和F处的样本)可用与该图片的左边界内部的D′、E′和F′处的对应样本进行填充。位于顶部边界之外的样本(例如，图3中的G、H、I和J处的样本)可以用图片的顶部边界之内的G′、H′、I′和J′处的对应样本来填充(例如，具有图片的一半宽度的偏移)。位于图片的底部边界外部的样本(例如，图3中的K、L、M和N处的样本)可用与图片的底部边界内部的K′、L′、M′和N′处的对应样本(例如，具有图片的一半的宽度的偏移)进行填充。

图片可以是CMP格式。使用几何形状填充来填充这种图片的面。图4示出了用于3D几何形状中的CMP的几何形状填充的示例。如图4所示，点P可以在面F1的平面上，但位于F1的边界外侧。在这种情况下可以进行填充。例如，点O可以在相应球的中心。R可以是最靠近P的左边界点，并且可以在面F1的边界内部。点Q可以是点P从中心点O在面F2上投影点。使用几何形状填充，点Q处(例如而不是点R处)的样本值可用于填充点P处的样本。

可以提供混合视频译码。图5示出了360度视频处理工作流的示例。在502处，可以使用多个摄像机来捕获覆盖特定球面空间的视频。在504处，可以例如以等矩形的几何形状结构将这些视频拼接在一起。在506处，可以将等边几何形状结构转换为另一个几何形状结构(例如立方体)，以便通过一个或多个视频编解码器进行编码。在508处，译码几何形状的面(例如，立方形贴图的六个面)可以通过帧打包被打包(和/或旋转一定角度)成矩形区域，并且在510处，帧打包的图片可以被处理(例如，编码)为2D图片。可以使用不同的帧打包配置(例如，图5所示的3行乘2列的配置)。编码的视频可以例如经由动态流传输或广播被递送到客户端。在520处，视频可以在接收机处被解码和/或解压。在522处，可以对压缩后的帧进行解包，并且在524处，可以将解包后的面转换回原始的显示几何形状。在526处，可根据用户的视角执行视口投影。然后在528处，投影视频可以经由HMD显示。

图6示出了示例性的基于块的混合视频编码器。使用这种示例编码器，可以逐块地处理输入视频信号602。可以支持扩展的块尺寸(例如，扩展译码单元(CU))。例如，CU包括64×64个像素。举例来说，可使用一个或一个以上预测技术将CU分割成预测单元(PU)。可以将单独的(例如相同或不同的)预测过程应用于这些PU。可针对(例如，每一)输入视频块(例如，其可为宏块(MB)或CU)执行空间预测660及/或时间预测662。

空间预测(例如，帧内预测)可(例如)通过使用来自相同图片或切片中的已译码的相邻块(例如，参考样本)的像素来预测当前视频块。空间预测可以减少视频信号中固有的空间冗余。时间预测(例如，帧间预测或运动补偿预测)可通过使用来自已译码视频图片的重构的像素来预测当前视频块。时间预测可减少视频信号中可能固有的时间冗余。可(例如)通过一个或一个以上运动向量(MV)用信号发送针对给定视频块的时间预测信号，所述运动向量可指示当前块与参考块之间的运动的量及方向。例如，当可支持多个参考图片时，可以发送参考图片索引(例如，针对每个视频块)。参考索引可以用于识别时间预测信号可能属于的参考图片(例如，在参考图片存储664中)。

编码器中的模式决策和控制逻辑单元680可以(例如在空间和/或时间预测之后)基于速率失真优化来选择合适的预测模式。在616处可从当前视频块中减去预测块。预测残差(residual)可以被去相关(例如使用变换单元604)和量化单元606(例如以实现目标比特率)。量化的残差系数可以是逆量化610和逆变换612，例如以形成重构的残差。可将重构的残差添加回到预测块626，以(例如)形成重构的视频块。例如，在将其放入参考图片存储664中并用于对未来视频块进行译码之前，可以对重构的视频块应用环内滤波666(例如，去块滤波器和/或自适应环路滤波器)。熵译码单元608可例如通过将译码模式(例如，帧间或帧内)信息、预测模式信息、运动信息和/或量化的残差系数压缩和打包到比特流620中来产生输出视频比特流。

图7是基于块的视频解码器的实例。视频比特流702(例如，图6的视频比特流620)可在熵解码单元708处被解包和熵解码。可提取译码模式和预测信息，和/或将其发送到空间预测单元760(例如，当被帧内译码时)或时间预测单元762(例如，当被帧间译码时)以形成预测块。可将残余变换系数提供到逆量化(去量化)单元710和/或逆变换单元712(例如)以重建残余块。可在726处将预测块及残差块加和。例如，在将重构的块存储在参考图片存储764中之前，可以在766处对重构的块应用滤波(例如，环内滤波)。在720处重构的视频可被提供给显示设备和/或用于预测未来视频块。

可以使用编解码器来译码2D平面直线式视频。译码可以利用空间和/或时间相关性来去除信息冗余(例如通过帧内预测和/或帧间预测)。图8显示可用于当前变换单元(TU)的帧内预测的实例参考样本，所述参考样本可包含来自当前TU的左侧和/或顶部相邻者的重构的样本。可以使用多个帧内预测模式或方向(例如35个帧内预测模式)，所述帧内预测模式包括例如平面(0)、DC(1)、角度预测(2～34)。图9示出了示例帧内预测方向。例如，通过比较由每个帧内预测模式产生的预测值与原始样本之间的失真，以及通过选择产生最小失真的预测模式，在编码器侧可以选择帧内预测模式。帧内预测模式可在视频比特流中译码(例如，用信号通知)。

图10展示具有一个运动向量(MV)的帧间预测的实例，其可称为单向预测。块B0′和B1′可属于参考图片且可分别参考当前图片的块B0和B1的块。参考块B0′可部分在图片边界的外部。通过填充过程填充图片边界之外的一个或多个未知样本。

图11示出了针对在图片边界的外部的参考样本(例如，图10中的块B0′的在图片边界的外部的部分)进行填充的示例，如图所示，块B0′可以包括4个部分(例如，P0、P1、P2和P3)。部分P0、P1、P2可以在图片边界之外，并且可以通过填充过程被填充。例如，部分P0可以用图像的左上角的样本填充，部分P1可以通过垂直填充(例如，使用图像的最顶行)进行填充，而部分P2可以通过水平填充(例如，使用图像的最左列)进行填充。运动向量预测和/或合并模式可用于帧间编码，例如，以编码运动向量信息。运动向量预测可使用来自相邻PU(一个或多个)或时间上并置的PU(一个或多个)的一个或多个运动向量来预测当前MV。编码器和解码器中的任一个或两者可以构造运动矢量预测值候选列表。举例来说，编码器可构造运动向量预测符候选者列表，对来自候选列表的选定MV预测符的索引进行译码，且将索引用信号发送到解码器。解码器还可以构造MV预测符列表，并且可以使用具有用信号通知的索引的列表的条目作为当前PU的MV的预测符。合并模式可重新使用空间和/或时间邻近PU的MV信息，例如，使得可跳过/避免对用于当前PU的运动向量进行显示编码。编码器和解码器可以以相同的方式构造它们各自的运动向量合并候选列表。

图12示出了可以用来(例如在合并过程中)导出空间合并候选的空间相邻者(例如左下、右上、左上)的示例。可对选定的合并候选索引进行译码。例如，可以由解码器(例如，与由编码器所采用的方向相同的方式)构造合并候选列表。具有用信号通知的合并候选索引的条目可用作当前PU的MV。可以将滤波器(例如，环内去块滤波器(DBF))应用于重构的样本。DBF可以减少阻止伪像，该伪像可以在基于块的译码期间引入。DBF可应用于位于PU和/或TU边界处的样本。对于位于图片边界处的样本或者当在切片和/或图块边界处滤波时，可以跳过DBF的使用。水平滤波可以应用于垂直边界。可以对水平边界应用垂直滤波。例如，对于具有公共8×8网格边界的两个相邻块P和Q，例如当其中一个帧内译码时，可以分配滤波器强度2。例如，当满足了以下条件中的一个或多个时，可以分配滤波器强度1：(i)P或Q包括至少一个非零变换系数；(ii)P和Q的参考索引不相等；(iii)P和Q的运动矢量不相等；和/或(iv)P的一个或多个运动向量的分量和Q的差等于或大于一个整数样本。如果上述条件均不满足，则可以分配滤波器强度0(例如，可以不应用DBF)。可以基于滤波器强度和/或P和Q的平均量化参数(QP)，根据一个或多个预定义的表中确定阈值t_C和β。例如，基于β和/或局部样本差的值，可以对亮度样本应用无滤波、强滤波或弱滤波。

图13A和13B示出了某些样本如何在DBF开/关决策、滤波器选择和/或滤波操作本身中使用的实例。为了进行强滤波，可以在水平(或垂直)方向上对边界的每一侧上的三个样本列(或行)进行滤波。对于弱滤波，边界的每一侧上的多达两个样本可取决于β和样本差的值而被滤波。例如，可以将滤波后的样本值(例如，在弱滤波中)限幅在未滤波的样本值周围±2t_C的范围内。对于色度样本，以下各项中的一或多者可适用：无滤波和/或正常滤波。例如，当滤波器强度大于一时，可以应用正常滤波。在实例中(例如，对于色度样本滤波)，可对边界的每一侧上的一个样本进行滤波。

与面不连续性相关联的填充可作为预处理步骤结合重构阶段的混合来应用，例如，以减少接缝伪影。填充可以增加译码样本的数量，这可以增加比特率。例如(例如，对于具有4096×2048亮度样本的分辨率的ERP)，应用于左边界和右边界的8个亮度样本的填充可以将译码样本的数量增加0.39％。在其他示例中(例如，对于具有1184×1184亮度样本和3×2帧打包的面分辨率的CMP)，应用于每个面行边界的8个亮度样本的填充可以将译码样本的数量增加1.81％。可以在不增加译码样本的数量的情况下，减少接缝伪像，例如，通过在任一方向上减少一个或多个分辨率，因此填充之后的图片可以具有相同数量的样本。当实际分辨率较低时，影响视觉质量。可以在投影格式中正确地重构图片，而不参考任何填充样本。例如，可(例如，取决于投影格式)用信号通知任意填充样本的位置，且可在重构期间丢弃所填充的样本。

如本文所述，可能发生与面打包帧(例如帧打包图片)的两个面(例如第一面和第二面)相关联的面不连续性。这两个面在3D几何形状中可以是空间相邻的，并且在2D帧打包图片中可以变得不连续(例如，分离)。因此，可以有与面不连续相关的两个侧(例如，两个侧可以分别对应于变得不连续的第一和第二面)。第一侧可以与第一面的边缘重合(例如，由其表示)并且第二侧可以与第二面的边缘重合(例如，由其表示)。例如，可以使用在面不连续性的一个或两个侧(例如，沿着与侧边重合的面边缘)上可用的译码样本来应用面不连续性滤波。滤波可以例如用作环内滤波器和/或在后处理期间(例如，作为后处理步骤)应用。基于译码样本的滤波可以减少要处理/发信号的样本数，同时保持视频内容的分辨率。可以利用不同的滤波技术，包括例如基于距离的加权、去块滤波和/或基于边缘保持的滤波(例如双边滤波)。

面不连续的环内或后处理滤波减少了由于面不连续造成的接缝伪像。如本文所解释的，可以引入视频内容的不连续性(例如，由于面打包)，并且可以执行滤波(例如，在与面不连续性相关联的两侧上)以去除或减少不连续性。如果两个表面不包括视频内容中的不连续性，则可能不需要应用滤波。一个或多个不连续性可以在帧打包图片中被识别。帧打包信息可以在视频比特流中用信号通知，并且可以用于确定面不连续性。可以用信号通知指示符以指定面不连续性中没有一者、全部或子集应该被滤波。可以发送附加信息以指示哪些面不连续性(例如，识别面不连续性的特定子集)应当被滤波。面不连续的一侧或两侧的端点坐标可以(例如，显式地)在视频比特流中被用信号通知。

一种用于面不连续性的滤波操作包括从与面不连续性相关联的两侧提取样本。这些样本可以位于帧打包图片的不同区域中。面不连续性的一侧上的第一组样本(例如，其可以属于一个或多个译码块)被提取，并且与面不连续性的另一侧上的第二组样本(例如，其可以属于一个或多个译码块)一起进行滤波。虽然第一和第二组样本可以以原始球面内容表示来表示连续的内容，但是在帧打包图片中的两组样本之间可能存在不连续性，例如由于与所使用的具体的面打包几何形状相关联的有损压缩。可以利用滤波来克服这种伪像的不连续性。在不连续面两侧上的样品被提取，例如针对包括单个面的简单几何形状(例如ERP)或针对包括多个面的更复杂的几何形状(例如CMP)。在示例中，可以展开几何形状(例如，取每个面并将它们彼此相邻地放置在相同的2D平面上)，并且可以在滤波操作中使用(直接使用)来自相邻面的样本(例如，经由展开导出的译码样本)。这种技术被称为基于面的填充。在示例中，可以使用几何形状填充来填充面，并且可以使用填充样本来滤波面不连续性的一侧或两侧上的非填充的样本(例如，使用本文所述的各种样本提取技术提取填充样本)。

基于面的填充可以导致不相关样本的滤波，这可能生成可见的接缝伪影。例如，在一些投影格式(例如HCP)中，针对每个面采样可以是不同的(例如因为用于采样的参数在相邻面之间可能是不同的)，并且差异会导致不相关的样本被滤波波。在这种类型的情况下(例如，当使用HCP时)，可以对面不连续性的一个或多个部分应用面不连续性滤波波。

可以确定并用信号通知(例如，用信号向解码器通知)帧打包图片中的一个或多个面不连续性。帧打包信息可以在视频比特流中被用信号通知，例如，以识别帧打包图片中的(例如，每个)面(例如，面身份和/或取向)。如果在原始球面内容表示中这些面共享相同的边缘，在帧打包的图片的相邻面之间的共享边缘可以被认为是连续的。如果帧打包图片的相邻面在原始球面内容表示中不共享相同的边缘，则认为这些相邻面之间的边缘是不连续的。在后一种情况下，可以确定在帧打包图片中可能存在面不连续性，并且可以识别与面不连续性相关联的两侧以去除由面部不连续性造成的伪像。与面不连续性相关联的两侧表示原始球面内容表示中的共享边缘的两侧。在2D帧打包图片中，两侧可以分别与第一面的第一边缘和第二面的第二边缘重合。

在被完全滤波的帧中的面不连续性。优化过程可用于确定面不连续性是否应该被滤波(例如，基于比特率、图片质量和/或复杂度)。可以在视频比特流中用信号通知指示符，以指定面不连续性中没有一者、全部或子集应该被滤波。当面不连续性的子集被滤波时，视频比特流可以指示/识别特定的面不连续性应当被滤波。可以以特定顺序(例如，编码器和解码器已知的预定顺序)扫描面不连续性。可以针对面不连续性(例如，针对每个面不连续性)发信号通知标志，以指定是否应当针对面不连续性应用滤波。

如下所述，可以在视频比特流中用信号通知(例如，显性地)表示帧打包图片中的面不连续性的相应侧(或与之重合的)的一个或多个边缘的端点坐标。对角线不连续性也可以通过信令被识别，例如，针对三角形的几何形状，例如八面体投影(OHP)和/或二十面体投影(ISP)。水平和/或垂直不连续可通过信令被识别。与面不连续性相关的2D位置信息可以被提供，以指示面不连续性的第一侧的第一起始点和第一末端点的位置，以及面不连续性的第二侧的第二起始点和第二末端点的位置。2D位置信息还可以指示与面不连续性相关联的第一面和第二面相对于面不连续性的第一侧和第二侧的相应位置。可以例如在如下面的表1所示的视频等级提供与前述信令机制相关的语法元素。

参数(例如，face_discontinuity_param_present_flag)可包含于参数集中，以确定视频比特流中是否存在面边界不连续性和/或是否存在语法元素涉及到一或多个面不连续性(例如，num_face_discontinuities，face_discontinuity_position，face_discontinuity_start_point_x，face_discontinuity_start_point_y，face_discontinuity_end_point_x及face_discontinuity_end_point__y)。在帧打包图像中与两个面相关联的不连续。关于帧打包图片的信息也可以被指示/包括在视频比特流中。接收视频比特流的设备(例如，解码器)可以例如基于参数face_discontinuity_param_present_flag的值，来确定帧打包图片中是否存在一个或多个面不连续性。在示例中，如果face_discontinuity_param_present_flag的值是一，则设备可确定帧打包图片中存在一个或多个面不连续性，和/或与视频比特流中包括的面部中断相关的语法元素。如果face_discontinuity_param_present_flag的值为零，则设备可确定没有面不连续性要处理和/或视频比特流中不包括与面不连续性有关的语法元素。如果face_discontinuity_param_present_flag的值为零(例如，如果解码器确定沿边界不存在不连续性)，则该设备可以在不应用滤波器的情况下处理与面相关联的边界样本。在示例中，参数face_discontinuity_param_present_flag可以不存在于视频比特流中，并且设备可以如同face_discontinuity_param_present_flag的值为零那样处理视频比特流。

表1视频参数集原始字节序列有效载荷(RBSP)

视频比特流(例如，视频位比特中的参数集)可包含以下参数中的一者或多者(例如，如果face_discontinuity_param_present_flag被设定为一)。可以包括num_face_discontinuities，以指定帧打包图片中的面不连续性的数量(例如，面不连续性的总数量)。如果参数在视频比特流中不出现，则hum_face_discontinuities的值可被假定等于1。在示例中，可以用信号通知num_face_discontinuities_minus1(例如，代替用信号通知num_face_discontinuities)，例如以减少对参数进行译码所需的比特数量，并且接收设备(例如，解码器)可以基于用信号通知的num_face_discontinuities_minus1的值来确定num_face_discontinuities的实际值。

可以包括参数face_discontinuity_position[i][j]，以指定与相对于第i个面不连续性的第j侧的面不连续性相关联的面中的一者的位置，其中面不连续性的第一侧可以由j＝0指示，第二侧可以由j＝1指示。例如，如果face_discontinuity_position[i][j]具有值0，则接收设备可以确定相应的面位于第i个面不连续性的第j侧的之下和/或右侧。如果face_discontinuity_position[i][j]具有值1，则接收设备可以确定对应的面位于第i个面不连续性的第j侧之上和/或左边。

可以包括参数face_discontinuity_start_point_x[i][j]，以指定位于第i个面不连续性的第j侧的边缘的起始点的x坐标。该边缘可以属于与第i个面不连续性相关联的两个面中的一者，并且可以表示面不连续性的一侧(例如，如由j的值所指示的)。可以在包括第i个面不连续性的帧打包图片内定义x坐标。face_discontinuity_start_point_x[i][j]的值可以例如在0到picture_width-1的范围(包括端值)内，其中picture_width可以表示帧打包图片的宽度。

可以包括参数face_discontinuity_start_point_y[i][j]，以指定上述边缘的起始点的y坐标。可以在包括第i个面不连续性的帧打包图片中定义y坐标。face_discontinuity_start_point_y[i][j]的值可以例如在0到picture_height-1的范围(包括端值)内，其中picture_height可以表示帧打包图片的高度。

可以包括参数face_discontinuity_end_point_dx[i][j]，以指定所述边缘的起始点的x坐标和所述边缘的端点的x坐标之间的差(例如，相对位置)。face_discontinuity_end_point_dx[i][j]的值可以例如在picture_width+1到picture_width-1的范围(包括端值)内，其中picture_width可以表示帧打包图片的宽度。基于face_discontinuity_end_point_x[i][j]和face_discontinuity_end_point_dx[i][j]，可以根据下式导出边缘的端点的x坐标face_discontinuity_end_point_x[i][j]：face_discontinuity_end_point_x[i][j]＝face_discontinuity_end_point_dx[i][j]+face_discontinuity_start_point_x[i][j]。face_discontinuity_end_point_x[i][j]的实际值可以在视频比特流中直接用信号通知(例如，代替用信号通知face_discontinuity_end_point_dx[i][j])。

可以包括参数face_discontinuity_end_point_dy[i][j]，以指定边缘的起始点的y坐标和边缘的端点的y坐标之间的差(例如，相对位置)。face_discontinuity_end_point_dy[i][j]的值可以例如在picture_height+1到picture_height-1的范围(包括端值)内，其中picture_height可以表示帧打包图片的高度。基于face_discontinuity_end_point_y[i][j]和face_discontinuity_end_point_dy[i][j]，可以根据下式导出边缘的端点的y坐标face_discontinuity_end_point_y[i][j]：face_discontinuity_end_point_y[i][j]＝face_discontinuity_end_point_dy[i][j]+face_discontinuity_start_point_y[i][j]。face_discontinuity_end_point_y[i][j]的实际值可以在视频比特流中直接用信号通知(例如，代替用信号通知face_discontinuity_end_point_dy[i][j])。

可以在视频等级上被定义和/或用信号通知本文所述的参数中的一者或多者。可以在序列等级和/或图像等级定义/发信号通知本文描述的参数的一者或多者(例如，当在视频编码期间可以改变投影几何形状和/或帧打包时)。可以使用这些合成元素的固定长度译码(例如，代替可变长度译码)。语法元素的比特长度可以例如由取整(ceil)(log2(picture_width))或取整(log2(picture_height))来确定。

如本文所述，可以与多侧(例如两侧)相关联的面不连续性，例如对应于与面不连续相关联的各个面(例如两个面)。包括在框架包装的图片中的面可以以任何配置打包，并且一些面可能已经被旋转。当如这里所述用信号通知与面不连续相关联的多个(例如两个)侧时，接收设备能够确定滤波如何从不依赖于所使用的帧打包方案和/或投影格式的面边界的多个(例如两个)侧(例如联合滤波)中滤波样本(例如，而无需具有或接收关于这种帧打包方案和/或投影格式的信息)。例如，通过利用上述信令技术，即使接收设备没有接收到或以其他方式拥有关于所使用的帧打包方案和/或投影格式的信息，接收设备也能够滤波与面不连续性相关联的样本(例如，来自面不连续性两侧的样本)。可联合滤波与面不连续相关联的两侧(例如，两个面)，例如，正如如果两侧彼此相邻或邻近。

图14A示出了与针对ERP格式的面不连续性滤波有关的样本提取的示例。图14B示出了与针对4×3CMP格式的面不连续性滤波有关的样本提取的示例。图14C示出了与针对3×2CMP格式的面不连续性滤波相关的样本提取的示例。考虑使用具有4×3打包配置(例如，图14B中所示)的CMP和N×N亮度样本的面大小的示例，根据以下内容可以用信号通知不连续的面边界(例如，在图14B中由粗线示出)，其中面不连续的第一侧可以由索引0表示，面不连续的第二侧可以由索引1表示。

face_discontinuity_position[i][0]＝1 face_discontinuity_position[i][1]＝0

face_discontinuity_start_point_x[i][0]＝N-1 face_discontinuity_start_point_x[i][1]＝2N-1

face_discontinuity_start_point_y[i][0]＝0 face_discontinuity_start_point_y[i][1]＝N

face_discontinuity_end_point_dx[i][0]＝0 face_discontinuity_end_point_dx[i][1]＝-N+1

face_discontinuity_end_point_dy[i][0]＝N-1 face_discontinuity_end_point_dy[i][1]＝0

译码设备(例如，A编码器)可以响应于接收到该信令，确定如何对面不连续性的多侧(例如，两侧)进行滤波(例如，以减少与边界相关联的接缝伪影)。滤波操作可以在后处理期间和/或作为环内滤波被应用。可以使用不同的滤波技术，包括例如基于距离的加权、DBF或基于边缘保持的滤波(例如双边滤波)。

DBF可被应用于可位于PU和/或TU边界处的样本。在实例中，可(例如)基于位于PU和/或TU边界的每一侧上的块的一个或多个译码模式和/或属性(例如，量化参数(QP)、变换系数、参考索引和/或运动向量)来确定DBF的滤波强度。面不连续性可以与该面不连续性的每一侧上的多个块相关联，并且这些块可以被独立地译码(例如，不考虑相邻块是否共享相同的PU和/或TU边界)。因此，当DBF用于滤波面不连续性时，对位于面不连续性每侧上的块的译码模式和/或属性的考虑可被跳过(例如，在面不连续性每侧上的块的运动矢量不可比较，由于这些块可能不再连续)。由于不考虑位于面不连续性的每一侧上的块的译码模式和/或属性，所以可以提高样本的处理速度。可以使用固定强度(例如，强度2)将DBF应用于面不连续性。切片等级QP可用于确定DBF操作的一个或多个参数(例如，tC和/或β)。可以基于N×N网格(例如，4×4或8×8网格)针对面不连续来执行DBF操作，(例如)以减少计算复杂性和/或提高并行处理性能。位于面不连续性的每一侧上的样本可用于确定是否可以应用强滤波或弱滤波。

为了便于帧打包图片中的面不连续性的滤波，可以从面不连续性的双侧提取样本。这些样本可位于帧打包图片的不同区域中(例如，样本在与帧打包图片中可能在空间上不是连续的)。对于例如包括单个面的那些几何形状(例如，ERP)，提取操作可能是简单的。图14A示出了在ERP图片中的样本提取的示例，用于滤波图片的左和/或右边界的一部分。在这种类型的几何形状中，可以相当简单地确定样本的球面相邻者的位置。当几何形状包括多个面时，球面相邻者的确定可能变成更复杂的。在那些复杂的情况下，几何形状可以被展开(例如，取每个面并将它们彼此相邻地放置在同一2D平面上)，并且来自相邻面的样本(例如，其可以被称为基于面的填充)可以被用于(例如，直接用于)滤波面不连续性。

图14B和14C示出了与CMP中的面不连续性的滤波相关的样本提取的示例。基于面的填充(例如，使用来自相邻面的样本)可以在这种类型的情况下被使用，例如，当来自概念面边界的样本的偏移量与面的长度的比率相对较小时(例如，低于特定阈值)。用于确定偏移量的样本可以是距离面边界最远的样本。在这种类型的情况下，可以限制由不适用球面相邻者(例如，真实球面相邻者)引入的失真。替代地或附加地，几何形状填充可以用于提取位于面外部的球面相邻者。与面不连续性相关联的面的一者或两者使用几何形状填充进行填充。可以(例如独立地)对面不连续性的每一侧应用面不连续性滤波。

图15示出了使用几何形状填充所执行的面不连续性滤波的示例。一个或多个填充样本可以用在滤波过程中，其中滤波可以在样本位置处应用，在该样本位置处填充样本可以对滤波结果有贡献。一个或多个填充样本本身可能不被滤波(在填充样本位置处的滤波被跳过)。在这些填充样本位置处跳过滤波可以节省计算时间(例如，填充样本可能最终被丢弃)。如图15所述，与面不连续性相关联的面可被填充(例如，使用样本P₀、P₁、P₂和P₃)。可以使用填充样本p₀、p₁、p₂和p₃来对样本q₀、q₁、q₂和q₃(例如，其可以是面内的译码样本)进行滤波，而不对填充样本p₀、p₁、p₂和p₃本身进行滤波。最近相邻者内插可与几何形状填充一起使用，例如，以避免插值可能需要的某些预滤波操作和/或降低译码复杂性。

在不同的投影格式(例如混合立方形贴图或HCP)中，采样对于每个面可能是不是相同的。影响(例如，确定)采样操作的参数在相邻面之间可以是不同的。至少对于这些投影格式，可以使用球面填充来提取位于面不连续性的第二侧(例如，当前帧边界之外)的球面相邻者。基于面的填充可能不如几何形状填充那么复杂。然而，通过基于面的填充获得的相邻样本可能不与与面不连续性相关联的样本(例如，与当前面的边界相关联的样本)相关，并且这导致在重构的视频中的可见的伪像。为了减少这样的接缝伪影，可以对面不连续性的一个或多个部分(例如，与整个面不连续性相反)应用滤波。例如，在面不连续性的一侧上的第一样本与面不连续性的另一侧上的相应第二样本之间的位置差(例如，绝对位置差)低于阈值(例如，第一和第二样本可以是球面上的连续样本)的情况下，可以应用滤波。

图16A示出了使用调整函数x′＝f(x，p)计算针对两个差分变换函数参数p₁和p₂的相应的调整值x′的示例，其中x可以表示立方体面中的位置，x′可以表示HCP面中的对应位置，并且p₁和p₂可以是控制调整函数的形状的参数。图16B是示出了对应于图16A中计算的不同调整值x′的绝对样本位置差的示意图。如图所示，调整函数x′＝f(x，p)可以用于确定面边界的两侧上的面的相应采样模式。可以基于调整函数x′＝f(x，p)来计算/导出面边界两侧的样本位置。可以定义阈值，并且可以通过找到使f(x，p₁)和f(x，p₂)之间的绝对差等于或小于T的x值，来确定面边界的将要被滤波的部分，如下面的等式(6)和等式(7)所示：

|f(x，p₁)-f(x，p₂)|＝T (6)

|f(x，p₁)-f(x，p₂)|≤T (7)

由于调整函数f(x，p)可以是单调的，所以可以使用二进制搜索技术(例如，迭代地)求解方程(6)。例如，当由编码器所使用的投影格式和参数在视频比特流中被用信号通知给解码器时，可以由编码器和解码器执行相同的(例如，基本上类似的)处理。另外或替代地，待滤波的面的部分(一个或多个)(例如，x)可在视频比特流中用信号通知(例如，显式地)。

可以利用填充的投影格式来执行运动补偿预测。几何形状填充可用于此目的。如本文所述，可以在某些面边界(例如，与面不连续性相关联的边界)处填充帧打包图片，以解决360度视频译码中的接缝伪像。编码器可以对不同的投影格式使用不同的填充方法，这些投影格式包括八面体投影(OHP)、二十面体投影(ISP)、分段球面投影(SSP)、和/或经填充的ERP(例如，这里描述的PERP格式)。用填充样本译码的每个投影格式可以定义(例如，预定义)填充区域的位置。PERP可以进一步定义混合方法(例如，可以仅在后处理期间而不在解码期间使用)。填充方法(例如，通过编码器和/或解码器)可以是基于所使用的投影格式的(例如，对于特定投影格式，填充方法可以是唯一的)。译码设备(例如，解码器)可以使用重构的填充样本来应用混合，例如，以在渲染之前增强重构的图片。如果没有定义混合方法，则所述编码设备可以使用所述重构的填充样本进行解码，并且可以在渲染所述视频内容时丢弃重构的填充样本。

在示例中(例如，当投影格式用填充样本译码时)，可以执行几何形状填充以扩展用于运动补偿预测参考图片(一个或多个)。译码设备(例如，编码器和/或解码器)可以在针对运动补偿预测应用几何形状填充之前，首先在参考图片定义中处理重构的填充样本。译码设备可以知道填充样本的位置，但设备不知道用来混合填充样本的方法。例如，可以为译码设备预定义或发信号通知填充样本的位置(例如，该设备可以利用这些用于360度视频渲染的位置)。如果设备不知道用于混合填充样本的方法，则该设备可在应用几何形状填充之前丢弃填充样品。如果设备知道用于混合填充样本的方法，则设备可以混合重构的填充样本，并且例如使用混合样本来向一个或多个边界应用几何形状填充，以扩展用于运动补偿预测的参考图片。该设备确定用于通过比特流中的信令来混合填充样本的方法(例如，其可以指示混合方法)。设备可应用预定义的混合方法。除了出于内容呈现的目的在后处理期间使用混合之外或作为其替代，本文描述的混合方法可用于在解码期间扩展一个或多个参考图片。

图17A是示出了其中可以实现一个或多个所公开的实施例的示例通信系统100的图。通信系统100可以是向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址系统。通信系统100可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问这样的内容。例如，通信系统100可以采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT-UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。

如图17A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN104/113、CN106/115、公共交换电话网(PSTN)108、因特网110以及其他网络112，但是应当理解，所公开的实施例可以设想任意数量的WTRU、基站、网络和/或网络元件。每一个WTRU102a、102b、102c、102d可为被配置为在无线环境中操作和/或通信的任何类型的设备。举例来说，WTRU102a、102b、102c、102d(其中任何一个可被称为″站″和/或″STA″)可被配置成传送和/或接收无线信号，并且可包括用户设备(UE)、移动站、固定或移动订户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或MiFi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动化处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。WTRU102a、102b、102c及102d中的任意者可互换地称为UE。

通信系统100还可以包括基站114a和/或基站114b。基站114a、114b中的每一个可以是任何类型的设备，其被配置为与WTRU102a、102b、102c、102d中的至少一个无线对接，以便于接入一个或多个通信网络(例如CN106/115、因特网110和/或其他网络112)。作为示例，基站114a、114b可以是基站收发台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但是将理解，基站114a、114b可以包括任何数目的互连基站和/或网络元件。

基站114a可以是RAN104/113的一部分，其也可以包括其它基站和/或网络元件(未示出)，例如基站控制器(BSC)、无线网络控制器(RNC)、中继节点等。基站114a和/或基站114b可以被配置为在一个或多个载波频率上(其可以被称为小区(未示出))上发送和/或接收无线信号。这些频率可以在许可频谱、未许可频谱、或者许可和未许可频谱的组合中。小区可以向特定地理区域提供无线服务的覆盖范围，该特定地理区域可以是相对固定的或者可以随时间而改变。小区可以进一步被划分为小区扇区。例如，与基站114a相关联的小区可以被划分为三个扇区。因此，在一个实施例中，基站114a可以包括三个收发信机，即，小区的每个扇区一个收发信机。在实施例中，基站114a可以采用多输入多输出(MIMO)技术，并且可以针对小区的每个扇区使用多个收发信机。例如，波束成形可以用于在期望的空间方向上传送和/或接收信号。

基站114a、114b可经由空中接口116与WTRU102a、102b、102c、102d中的一个或多个通信，该空中接口116可以是任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。空中接口116可以使用任何合适的无线接入技术(RAT)来建立。

基站114a、114b可经由空中接口116与WTRU102a、102b、102c、102d中的一个或多个通信，该空中接口116可以是任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。空中接口116可以使用任何合适的无线接入技术(RAT)来建立。

在一个实施例中，基站114a和WTRU102a、102b、102c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，该无线电技术可以使用长期演进(LTE)和/或高级LTE(LTE-A)和/或高级LTE Pro (LTE-A Pro)来建立空中接口116。

在一个实施例中，基站114a和WTRU102a、102b、102c可以实现诸如NR无线电接入的无线电技术，其可以使用新的无线电(NR)来建立空中接口116。

在一个实施例中，基站114a和WTRU102a、102b、102c可以实现多种无线电接入技术。例如，基站114a和WTRU102a、102b、102c可以例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此，WTRU102a、102b、102c所使用的空中接口的特征可在于发送到/来自多种类型的基站(例如eNB和gNB)的多种类型的无线电接入技术和/或传输。

在其它实施例中，基站114a及WTRU102a、102b、102c可实施无线技术，例如IEEE802.11(即无线保真(WiFi)、IEEE802.16(即全球微波存取互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、国际互联网标准2000(IS-2000)、国际互联网标准95(IS-95)、国际互联网标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进技术的增强型数据速率(EDGE)、GSM EDGE(GERAN)等。

图17A中的基站114b可以是例如无线路由器、家庭节点B、家庭e节点B或接入点，并且可以利用任何合适的RAT来促进局部区域中的无线连接，该局部区域诸如营业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等。在一个实施例中，基站114b和WTRU102c、102d可以实施诸如IEEE802.11的无线电技术以建立无线局域网(WLAN)。在一个实施例中，基站114b和WTRU102c、102d可以实施无线电技术，例如IEEE802.15，以建立无线个人局域网(WPAN)。在又一实施例中，基站114b和WTRU102c、102d可利用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE-A、LTE-A、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图17A所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可不需要经由CN106/115访问因特网110。

RAN104/113可与CN106/115通信，CN106/115可为任何类型的网络，其经配置以提供语音、数据、应用和/或网际协议语音(VoIP)服务至WTRU102a、102b、102c、102d中的一者或多者。数据可具有变化服务质量(QoS)要求，例如不同处理量要求、时延要求、错误容限要求、可靠性要求、数据处理量要求、移动性要求等。CN106/115可提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行高级安全功能(例如用户认证)。尽管在图17A中未示出，但是应当理解，RAN104/113和/或CN106/115可以与采用与RAN104/113相同的RAT或不同的RAT的其它RAN直接或间接地进行通信。例如，除了连接到可以利用NR无线电技术的RAN104/113之外，CN106/115还可以与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。

CN106/115亦可作为WTRU102a、102b、102c、102d的网关以接入PSTN108、因特网110、和/或其他网络112。PSTN108可以包括提供普通老式电话服务(POTS)的电路交换电话网。因特网110可以包括使用公共通信协议的互连计算机网络和设备的全球系统，所述公共通信协议例如是TCP/IP因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或因特网协议(IP)。网络112可以包括由其他服务提供商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括连接到一个或多个RAN的另一个CN，所述RAN可以使用与RAN104/113相同的RAT或不同的RAT。

通信系统100中的WTRU102a、102b、102c、102d中的一些或所有可包括多模式能力(例如，WTRU102a、102b、102c、102d可包括多个收发信机，以通过不同无线链接与不同无线网络通信)。例如，图17A所示的WTRU102c可以被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE802无线电技术的基站114b通信。

图17B是示出示例WTRU102的系统图。如图17B所示，WTRU102可包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等等。可以理解的是，WTRU102可以包括前述元件的任何子组合，同时保持与实施例一致。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)、状态机等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理和/或任何其他使WTRU102能够在无线环境中操作的功能。处理器118可以耦合到收发信机120，其可以耦合到发射/接收元件122。虽然图17B将处理器118和收发信机120描绘为单独的组件，但将了解，处理器118和收发信机120可一起集成在电子封装或芯片中。

发射/接收元件122可以被配置为通过空中接口116向基站(例如，基站114a)发射信号或从其接收信号。例如，在一个实施例中，发射/接收元件122可以是被配置为发射和/或接收RF信号的天线。在一个实施例中，发射/接收元件122可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射机/检测器。在又一实施例中，发射/接收元件122可经配置以发射和/或接收RF及光信号两者。应当理解，发射/接收元件122可以被配置为发射和/或接收无线信号的任何组合。

尽管发射/接收元件122在图17B中被描述为单个元件，但是WTRU102可以包括任意数量的发射/接收元件122。更具体地，WTRU102可以使用MIMO技术。因此，在一个实施方式中，WTRU102可以包括两个或多个发射/接收元件122(例如多个天线)，用于通过空中接口116发射和接收无线信号。

收发信机120可以被配置为调制将由发射/接收元件122发射的信号，并且解调由发射/接收元件122接收的信号。如上所述，WTRU102可以具有多模式能力。因此，收发信机120可以包括多个收发信机，用于使WTRU102能够经由多个RAT(例如NR和IEEE 802.11)进行通信。

WTRU102的处理器118可被连接到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并可从其接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。另外，处理器118可从任何类型的合适存储器访问信息，且将数据存储在所述存储器中，例如不可移除存储器130和/或可移除存储器132。不可移除存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其它类型的存储器存储装置。可移除存储器132可以包括用户识别模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方式中，处理器118可以从存储器访问信息并将数据存储在存储器中，所述存储器不是物理地位于WTRU102上，例如位于服务器或家用计算机(未示出)上。

处理器118可以从电源134接收功率，并且可以被配置成分配和/或控制功率给WTRU102中的其他组件。电源134可以是任何合适的用于为WTRU102供电的设备。例如，电源134可以包括一个或多个干电池(例如，镍镉、镍锌、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

处理器118也可以耦合到GPS芯片组136，其可以被配置成提供关于WTRU102的当前位置的位置信息(例如经度和纬度)。除了来自GPS芯片组136的信息之外，或者作为其替代，WTRU102可以通过空中接口116从基站(例如基站114a、114b)接收位置信息，和/或基于从两个或更多邻近基站接收的信号的定时来确定其位置。应该理解，WTRU102可以通过任何合适的位置确定方法来获取位置信息，同时保持与实施例一致。

处理器118还可以耦合到其他外围设备138，外围设备138可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子罗盘、卫星收发信机、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、

模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备138可以包括一个或多个传感器，传感器可以是陀螺仪、加速度计、霍尔效应传感器、磁力计、取向传感器、接近度传感器、温度传感器、时间传感器中的一个或多个；地理定位传感器；高度计、光传感器、触摸传感器、磁力计、气压计、姿态传感器、生物测定传感器和/或湿度传感器。

WTRU102可以包括全双工无线电，对于该全双工无线电，一些或所有信号(例如，与用于UL(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联的信号)的传输和接收可以是并发的和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如用于传输)或下行链路(例如用于接收)的特定子帧相关联的信号)的半双工无线电设备。

图17C是图示根据实施例的RAN104和CN106的系统图。如上所述，RAN104可采用E-UTRA无线电技术以通过空中接口116与WTRU102a、102b、102c通信。RAN104还可以与CN106通信。

RAN104可包含e节点B160a、160b、160c，但应了解，RAN104可包含任何数目个e节点B，同时保持与实施例一致。e节点B160a、160b、160c可各自包括一个或多个收发信机，以通过空中接口116与WTRU102a、102b、102c进行通信。在一个实施例中，e节点B160a、160b、160c可实施MIMO技术。因此，例如，e节点-B160a可以使用多个天线来向WTRU102a传送无线信号和/或从其接收无线信号。

e节点B160a、160b、160c中的每一者可与特定小区(未图示)相关联，且可经配置以处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等。如图17C中所示，e节点B160a、160b、160c可经由X2接口而彼此通信。

图17C中所示的CN106可以包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(或PGW)166。虽然前述元件中的每一个被描绘为CN106的一部分，但是将理解，这些元件中的任何一个可以由CN运营商之外的实体拥有和/或操作。

MME162可以经由S1接口连接到RAN104中的e节点B162a、162b、162c中的每一者，并且可以用作控制节点。例如，MME162可负责认证WTRU102a、102b、102c的用户、承载激活/去激活、在WTRU102a、102b、102c的初始附接期间选择特定服务网关等等。MME162可以提供控制平面功能，用于在RAN104和采用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换。

SGW164可经由S1接口连接到RAN104中的e节点B160a、160b、160c中的每一者。SGW164通常可以路由和转发去往/来自WTRU102a、102b、102c的用户数据分组。SGW164可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当DL数据可用于WTRU102a、102b、102c时触发寻呼、管理和存储WTRU102a、102B、102c的上下文等等。

SGW164可以连接到PGW166，PGW166可以为WTRU102a、102b、102c提供对诸如因特网110的分组交换网络的接入，以促进WTRU102a、102b、102c和IP使能设备之间的通信。

CN106可以促进与其他网络的通信。例如，CN106可提供WTRU102a、102b、102c接入电路交换网络(例如PSTN108)，以促进WTRU102a、102b、102c和传统陆线通信设备之间的通信。例如，CN106可以包括IP网关(例如，IP多媒体子系统(IMS)服务器)，或者可以与IP网关通信，该IP网关用作CN106和PSTN108之间的接口。此外，CN106可提供WTRU102a、102b、102c接入其他网络112，其他网络112可包括其它服务提供商所拥有和/或操作的其他有线和/或无线网络。

虽然WTRU在图18A-18D中被描述为无线终端，但是可以预期在某些代表性实施例中，这种终端与通信网络可以使用(例如临时或永久)有线通信接口。

在代表性实施例中，其他网络112可以是WLAN。

基础设施基本服务集(BSS)模式中的WLAN可以具有用于BSS的接入点(AP)和与AP相关联的一个或多个站(STA)。AP可以接入或对接到分布系统(DS)或承载进入和/或离开BSS的业务的另一类型的有线/无线网络。源于BSS外部且去往STA的业务可以通过AP到达，并且可以被递送到STA。源自STA且去往BSS外部的目的地的业务可以被发送到AP以被递送到相应的目的地。BSS内的STA之间的业务可以通过AP来发送，例如，其中源STA可以向AP发送业务，并且AP可以向目的STA递送业务。BSS内的STA之间的业务可以被认为和/或称为对等业务。对等业务可以利用直接链路建立(DLS)在源和目的STA之间(例如，直接在源和目的STA之间)发送。在某些代表性实施例中，DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可能不具有AP，并且在IBSS内或使用IBSS的STA(例如，所有STA)可以彼此直接通信。IBSS通信模式在这里有时可以被称为″自组织(ad-hoc)″通信模式。

当使用802.11ac基础结构操作模式或类似的操作模式时，AP可以在固定信道(例如主信道)上传送信标。主信道可以是固定宽度(例如，20MHz宽的带宽)或经由信令动态设置的宽度。主信道可以是BSS的工作信道，并且可以由STA用来建立与AP的连接。在某些代表性实施例中，例如在802.11系统中可以实现具有冲突避免的载波感测多址接入(CSMA/CA)。对于CSMA/CA，包括AP的一个或多个STA可以感测主信道。如果主信道被特定STA感测/检测和/或确定为繁忙，则该特定STA可以退避。一个STA可以在给定BSS中在任何给定时间进行传送。

高吞吐量(HT)STA可以使用40MHz宽信道进行通信，例如，通过将主20MHz信道与相邻或非相邻的20MHz信道组合以形成40MHz宽信道。

甚高吞吐量(VHT)STA可以支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合相邻的20MHz信道来形成。160MHz信道可通过组合8个连续的20MHz信道或通过组合两个不连续的80MHz信道来形成，这可被称为80+80配置。对于80+80配置，在信道编码之后，数据可以被传递并经过分段解析器，该分段解析器可以将数据划分成两个流。可以对每个流分别进行快速傅立叶逆变换(IFFT)处理和时域处理。所述流可以被映射到两个80MHz信道上，并且数据可以由发射STA传送。在接收STA的接收机处，上述80+80配置的操作可以颠倒，并且组合数据可以被发送到介质访问控制(MAC)。

低于1GHz的操作模式由802.11af和802.11ah支持。相对于802.11n和802.11ac中使用的信道工作带宽和载波，在802.11af和802.11ah中信道工作带宽和载波被减少。802.11af支持TV空白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽，而802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施例，802.11ah可以支持仪表器型控制/机器型通信，诸如宏覆盖区域中的MTC设备。MTC设备可具有某些能力，例如，包括对某些和/或有限带宽的支持的有限能力。MTC设备可包括具有高于阈值的电池寿命(例如，以维持非常长的电池寿命)的电池。

可以支持多个信道和信道带宽的WLAN系统，例如802.11n、802.11ac、802.11af和802.11ah，WLAN系统包括可以被指定为主信道的信道。主信道可以具有等于BSS中的所有STA所支持的最大工作操作带宽的带宽。主信道的带宽可以由在BSS(其支持最小带宽工作模式)中操作的所有STA之中的STA来设置和/或限制。在802.11ah的例子中，对于支持1MHz模式的STA(例如，MTC型设备)，主信道可以是1MHz宽，即使AP和BSS中的其它STA支持2MHz、4MHz、8MHz、16MHz和/或其它信道带宽操作模式。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如，由于STA(其支持1MHz操作模式)向AP传送)，则即使频带中的大多数保持空闲并且可用，也可以认为整个可用频带繁忙。

在美国，802.11ah可使用的可用频带是从902MHz到928MHz。在韩国，可用频带是从917.5MHz到923.5MHz。在日本，可用频带是从916.5MHz到927.5MHz。根据国家代码，可用于802.11ah的总带宽是6MHz到26MHz。

图17D是图示根据实施例的RAN113和CN115的系统图。如上所述，RAN113可以使用NR无线技术通过空中接口116与WTRU102a、102b、102c通信。RAN113还可以与CN115通信。

RAN113可以包括gNB180a、180b、180c，但是应当理解，RAN113可以包括任意数目的gNB，同时保持与实施例一致。gNB180a、180b、180c中的每一个都包括一个或多个收发信机，用于通过空中接口116与WTRU102a、102b、102c进行通信。在一个实施例中，gNB180a、180b、180c可以实现MIMO技术。例如，gNB180a、108b可以利用波束成形来向gNB180a、180b、180c传送信号和/或从其接收信号。因此，gNB180a例如可使用多个天线来向WTRU102a传送无线信号和/或从其接收无线信号。在一个实施例中，gNB180a、180b、180c可以实现载波聚合技术。例如，gNB180a可以向WTRU102a传送多个分量载波(未示出)。这些分量载波的子集可以在未许可频谱上，而剩余分量载波可以在许可频谱上。在一个实施例中，gNB180a、180b、180c可以实现协作多点(CoMP)技术。例如，WTRU102a可以从gNB180a和gNB180b(和/或gNB180c)接收协调传输。

WTRU102a、102b、102c可以使用与可扩缩参数配置(numerology)相关联的传输来与gNB180a、180b、180c通信。例如，OFDM符号间隔和/或OFDM子载波间隔可以针对不同的传输、不同的小区和/或无线传输频谱的不同部分而变化。WTRU102a、102b、102c可以使用具有各种或可伸缩长度的子帧或传输时间间隔(TTI)(例如，包含不同数量的OFDM符号和/或持续变化的绝对时间长度)与gNB180a、180b、180c进行通信。

gNB180a、180b、180c可被配置为在独立配置和/或非独立配置中与WTRU102a、102b、102c通信。在独立配置中，WTRU102a、102b、102c可以与gNB180a、180b、180c通信，而不需要也接入其他RAN(例如e节点B160a、160b、160c)。在独立配置中，WTRU102a、102b、102c可利用gNB180a、180b、180c中的一个或多个作为移动性锚点。在独立配置中，WTRU102a、102b、102c可以使用未许可频带中的信号与gNB180a、180b、180c通信。在非独立配置中，WTRU102a、102b、102c可以与gNB180a、180b、180c通信/连接，同时也可以与诸如e节点B160a、160b、160c的另一个RAN通信/连接。举例来说，WTRU102a、102b、102c可以实施DC原则以便与gNB180a、180b、180c中的一个或多个以及e节点B160a、160b、160c中的一个或多个基本上同时地进行通信。在非独立配置中，e节点B160a、160b、160c可以用作WTRU102a、102b、102c的移动性锚点，并且gNB180a、180b、180c可以提供用于服务WTRU102a、102b、102c的额外的覆盖范围和/或吞吐量。

gNB180a、180b、180c中的每一个gNB可以与特定小区(未示出)相关联，并且可以被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络分片、双连接性、NR和E-UTRA之间的交互工作、向用户平面功能(UPF)184a、184b路由用户平面数据、向接入和移动性管理功能(AMF)182a、182b路由控制平面信息等。如图17D所示，gNB180a、180b、180c可以通过Xn接口彼此通信。

图17D中所示的CN115可以包括AMF182a、182b中的至少一个、UPF184a、184b中的至少一个、会话管理功能(SMF)183a、183b中的至少一个以及可能的数据网络(DN)185a、185b。虽然前述元件中的每一个被描绘为CN115的一部分，但是将理解，这些元件中的任何一个可以由CN运营商之外的实体拥有和/或操作。

AMF182a、182b可以经由N2接口连接到RAN113中的gNB180a、180b、180c中的一个或多个，并且可以充当控制节点。例如，AMF182a、182b可负责认证WTRU102a、102b、102c的用户、支持网络切片(例如，处理具有不同需求的不同PDU会话)、选择特定的SMF183a、183b、管理注册区域、终止NAS信令、移动性管理等等。AMF182a、182b可使用切片，以根据WTRU102a、102b、102c所使用的服务类型，来定制CN对WTRU102a、102b、102c的支持。例如，可以针对不同的使用情况建立不同的网络切片，诸如所述使用情况为依赖于超可靠低延迟(URLLC)接入的服务、依赖于增强的大规模移动宽带(eMBB)接入的服务、用于机器类型通信(MTC)接入的服务等。AMF162可以提供用于在RAN113和采用其他无线电技术(例如，LTE、LTE-A、LTE-APro和/或诸如WiFi的非3GPP接入技术)的其他RAN(未示出)之间进行切换的控制平面功能。

SMF183a、183b可经由N11接口连接到CN115中的AMF182a、182b。SMF183a、183b也可以经由N4接口连接到CN115中的UPF184a、184b。SMF183a、183b可以选择和控制UPF184a、184b，并且配置通过UPF184a、184b的业务路由。SMF183a、183b可以执行其他功能，例如管理和分配UEIP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等等。PDU会话类型可以是基于IP的、基于非IP的、基于以太网的等等。

UPF184a、184b可以经由N3接口连接到RAN113中的gNB180a、180b、180c中的一个或多个，这可以为WTRU102a、102b、102c提供对诸如因特网110的分组交换网络的接入，以促进WTRU102a、102b、102c与IP使能设备之间的通信。UPF184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多归属PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等等。

CN115可以促进与其他网络的通信。例如，CN115可以包括IP网关(例如，IP多媒体子系统(IMS)服务器)或者可以与IP网关通信，该IP网关用作CN115和PSTN108之间的接口。此外，CN115可为WTRU102a、102b、102c提供针对其他网络112的接入，其他网络112可包括其它服务提供商所拥有和/或操作的其他有线和/或无线网络。在一实施例中，WTRU102a、102b、102c可经由至UPF184a、184b的N3接口及介于UPF184a、184b与本地数据网络(DN)185a、185b之间的N6接口，并通过UPF184a、184b连接至DN185a、185b。

鉴于图1A-1D和图1A-1D的相应描述，本文关于以下各项中的一者或一者以上描述的功能中的一者或一者以上或全部可以由一个或多个仿真设备(未示出)执行：WTRU102a-d、基站114a-b、e节点-B160a-c、MME162、SGW164、PGW166、gNB180a-c、AMF182a-b、UPF184a-b、SMF183a-b、DN185a-b和/或这里描述的任何其他设备(一个或多个)。这些仿真设备可以是被配置为仿真这里描述的功能中的一个或多个或全部的一个或多个设备。例如，仿真设备可以用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如，一个或多个仿真设备可以执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。一个或多个仿真设备可以执行一个或多个或所有功能，同时被临时实现/部署为有线和/或无线通信网络的一部分。仿真设备可出于测试目的而直接耦合到另一设备，且/或可使用空中无线通信来执行测试。

一个或多个仿真设备可以执行一个或多个功能(包括所有功能)，而不是作为有线和/或无线通信网络的一部分来实现/部署。例如，仿真设备可以在测试实验室和/或未被部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个组件的测试。一个或多个仿真设备可以是测试设备。仿真设备可以使用直接RF耦合和/或经由RF电路(例如，其可以包括一个或多个天线)合和/或无线通信来传送和/或接收数据。

尽管以上以特定的组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可以单独使用或与其他特征和元件任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读介质的示例包括电子信号(通过有线或无线连接传输)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于，只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘等磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)等光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。

Claims (20)

1.一种用于处理360度视频的方法，所述方法包括：

接收视频比特流中的帧打包图像，所述帧打包图像包括一个或多个面；

确定在所述帧打包图片中是否存在至少一个面不连续性；

基于确定在所述帧打包图片中存在至少一个面不连续性，基于与面不连续性相关联的2D位置信息来识别所述面不连续性的第一侧和第二侧，所述2D位置信息被包括在所述视频比特流中，所述面不连续性的所述第一侧与第一面的第一边缘重合，并且所述面不连续性的所述第二侧与第二面的第二边缘重合；以及

基于所识别的所述面不连续性的第一侧和第二侧，将滤波器应用于沿着所述第一边缘和所述第二边缘定位的一个或多个样本，以去除与所述面不连续性相关联的一个或多个接缝伪像。

2.根据权利要求1所述的方法，进一步包括基于确定在所述帧打包图片中不存在面不连续性，跳过对沿着所述一个或多个面的边缘定位的样本进行滤波。

3.根据权利要求1所述的方法，其中与所述面不连续性相关联的所述2D位置信息指示所述面不连续性的所述第一侧的第一起始点的位置和所述面不连续性的所述第二侧的第二起始点的位置。

4.根据权利要求3所述的方法，其中所述2D位置信息进一步指示所述第一起始点到所述不连续的面边界的所述第一侧的第一端点的相对位置，所述2D位置信息进一步指示所述第二起始点到所述不连续的面边界的所述第二侧的第二端点的相对位置。

5.根据权利要求1所述的方法，进一步包括：基于与所述面不连续性相关联的所述2D位置信息，确定所述第一面和所述第二面相对于所述面不连续性的所述第一侧和所述第二侧的相应位置。

6.根据权利要求1所述的方法，其中将所述滤波器应用于沿着所述第一边缘和所述第二边缘的所述一个或多个样本包括：

沿着所述第一面的所述第一边缘在所述第一面中定位一个或多个第一译码样本；

沿着所述第二面的所述第二边缘在所述第二面中定位一个或多个第二译码样本；以及

对所述一个或多个第一译码样本和所述一个或多个第二译码样本进行联合滤波。

7.根据权利要求1所述的方法，其中将所述滤波器应用于沿着所述第一边缘和所述第二边缘的所述一个或多个样本包括：

沿着所述第一边缘填充所述第一面；以及

使用所述第一面的一个或多个填充样本，对沿着所述第一边缘的至少一个样本进行滤波。

8.根据权利要求7所述的方法，其中针对所述第一面的所述一个或多个填充样本的滤波被跳过。

9.根据权利要求7所述的方法，其中所述一个或多个填充样本使用几何形状填充被导出。

10.根据权利要求1所述的方法，其中在后处理期间所述滤波器被应用于沿着所述第一边缘和所述第二边缘的所述一个或多个样本。

11.一种被配置为处理360度视频的译码设备，所述译码设备包括：

处理器，其被配置为：

接收视频比特流中的帧打包图片，所述帧打包图片包括一个或多个面；

确定所述帧打包图片中是否存在至少一个面不连续性；

基于确定在所述帧打包图片中存在至少一个面不连续性，基于与面不连续性相关联的2D位置信息来识别所述面不连续性的第一侧和第二侧，所述2D位置信息被包括在所述视频比特流中，所述面不连续性的所述第一侧与第一面的第一边缘重合，并且所述面不连续性的所述第二侧与第二面的第二边缘重合；以及

基于所识别的所述面不连续性的第一侧和第二侧，将滤波器应用于沿着所述第一边缘和第二边缘定位的一个或多个样本，以去除与所述面不连续性相关联的一个或多个接缝伪影。

12.根据权利要求11所述的译码设备，其中所述处理器进一步被配置为基于确定在所述帧打包图片中不存在面不连续性，跳过对沿着所述一个或多个面的边缘定位的样本进行滤波。

13.根据权利要求11所述的译码设备，其中与所述面不连续相关联的所述2D位置信息指示所述不连续的面边界的所述第一侧的第一起始点的位置和所述面不连续性的所述第二侧的第二起始点的位置。

14.根据权利要求13所述的译码设备，其中所述2D位置信息进一步指示所述第一起始点到所述面不连续性的所述第一侧的第一端点的相对位置，所述2D位置信息进一步指示所述第二起始点到所述面不连续性的第二侧的第二端点的相对位置。

15.根据权利要求11所述的译码设备，其中所述处理器进一步被配置为基于与所述面不连续性相关联的所述2D位置信息，确定所述第一面和所述第二面相对于所述面不连续性的所述第一侧和所述第二侧的相应位置。

16.根据权利要求11所述的译码设备，其中所述处理器被配置为将所述滤波器应用于沿着所述第一边缘和所述第二边缘的所述一个或多个样本包括所述处理器被配置为：

沿着所述第一面的所述第一边缘在所述第一面中定位一个或多个第一译码样本；

沿着所述第二面的所述第二边缘在所述第二面中定位一个或多个第二译码样本；以及

对所述一个或多个第一译码样本和所述一个或多个第二译码样本进行联合滤波。

17.根据权利要求11所述的译码设备，其中所述处理器被配置为将所述滤波器应用于沿着所述第一边缘和所述第二边缘的所述一个或多个样本包括所述处理器被配置为：

沿着所述第一边缘填充所述第一面；以及

使用所述第一面的一个或多个填充样本，对沿着所述第一边缘的至少一个样本进行滤波。

18.根据权利要求17所述的译码设备，其中所述处理器被配置为跳过对所述第一面的所述一个或多个填充样本进行滤波。

19.根据权利要求17所述的译码设备，其中所述一个或多个填充样本使用几何形状填充被导出。

20.根据权利要求1所述的译码设备，其中在后处理期间，所述滤波器被应用于沿着所述第一边缘和所述第二边缘的所述一个或多个样本。

Images