CN117061771A - 用于编码的方法和装置和用于解码的方法和装置 - Google Patents

用于编码的方法和装置和用于解码的方法和装置 Download PDF

Info

Publication number
CN117061771A
CN117061771A CN202310953723.2A CN202310953723A CN117061771A CN 117061771 A CN117061771 A CN 117061771A CN 202310953723 A CN202310953723 A CN 202310953723A CN 117061771 A CN117061771 A CN 117061771A
Authority
CN
China
Prior art keywords
virtual boundary
picture
block
indicate
position indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310953723.2A
Other languages
English (en)
Inventor
菲利普·汉哈特
贺玉文
叶艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN117061771A publication Critical patent/CN117061771A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G06T3/047—
    • G06T3/067—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

可以提供系统、方法和手段来忽略来自跨越面不连续的空间相邻者的译码信息和/或重构样本。可以确定当前块是否位于面不连续处。所述面不连续可以是两个或更多个邻接块之间的面边界，其中该两个或更多个邻接块可能不是球形相邻者。可以确定所述当前块的相邻块的译码可用性，例如，这可以基于该相邻块是否与所述当前块位于所述面不连续的相同侧上。例如，如果所述相邻块与所述当前块在所述面不连续的所述相同侧，则可以确定所述相邻块可用于解码所述当前块，并且如果所述相邻块不在所述面不连续的所述相同侧，则所述相邻块不可用。所述相邻块可以是空间相邻块或时间相邻块。

Description

用于编码的方法和装置和用于解码的方法和装置
本申请为2018年9月19日的题为“用于编码的方法和装置、用于解码的方法和装置以及存储介质”的中国专利申请No.201880061181.5的分案申请，该母案申请的内容通过引用而被并入本文。
相关申请的交叉引用
本申请要求保护2017年9月20日递交的美国临时申请序列号62/560,992、2018年1月26日递交的美国临时申请序列号62/622,551、2018年2月2日提交的美国临时申请序列号62/625,575、以及2018年2月9日递交的美国临时申请序列号62/628,752的权益，其内容通过引用而被并入本文。
背景技术
虚拟现实(VR)正被应用于许多应用领域，这其中包括但不限于保健、教育、社交网络、工业设计/训练、游戏、电影、购物、娱乐和/或类似应用。VR例如可以通过创建观看者周围的虚拟环境并且为观看者生成“在那里”的真实感觉来增强观看者的体验。VR系统可以通过姿势、手势、眼睛注视、语音等来支持交互。该系统可以向用户提供触觉反馈，使得用户可以以自然的方式与VR环境中的对象交互。
发明内容
可以提供系统、方法和手段来忽略来自跨越面不连续(face discontinuity)的空间相邻者的译码信息和/或重构样本。可以确定当前块是否位于面不连续处。该面不连续可以是两个或更多个邻接块之间的面边界，其中该两个或更多个邻接块不是球形相邻者。可确定当前块的相邻块的译码可用性，例如，这可以基于所述相邻块是否与所述当前块在所述面不连续的相同侧上。例如，如果所述相邻块与所述当前块在所述面不连续的相同侧，则可以确定所述相邻块可用于解码所述当前块，并且如果所述相邻块不在所述面不连续的所述相同侧，则所述相邻块不可用。所述相邻块可以是空间相邻块或时间相邻块。
确定所述当前块位于所述面不连续处可以基于比特流中的面不连续指示。该面不连续指示可以是关于面边界是不连续面边界的指示。所述面不连续指示可以是关于所述面不连续的两个或更多个端点的指示。所述面不连续指示可以是关于帧打包信息的指示。
例如，可以基于所述相邻块的所述译码可用性，对当前块执行解码功能。该解码功能可以包括导出所述当前块的合并模式。举例来说，如果所述相邻块被确定为可用，则可将该相邻块添加到合并候选列表(例如，候选块列表)。如果所述相邻块被确定为不可用，那么可从合并候选列表排除所述相邻块。所述解码功能可以是例如帧间预测、帧内预测、跨分量线性模型预测、重叠块运动补偿、解块滤波器、样本自适应偏移滤波器或自适应环路滤波器。
例如，可以基于重构样本是否与所述当前块在所述面不连续的所述相同侧来确定所述重构样本的所述译码可用性。例如，如果所述重构样本与所述当前块在所述面不连续的所述相同侧，则可以确定重构样本可用于对所述当前块进行解码，而如果所述重构样本不在所述面不连续的所述相同侧，则确定所述重构样本不可用于对所述当前块进行解码。不可用的重构样本可用一个或多个可用的重构样本来替换。包含所述不可用的重构样本的模板可以被标记为不可用的。
面不连续可以跨越当前块。该当前块可被划分为两个或更多个预测单元(PU)。这些PU可以由所述面不连续来分离。可针对每一PU单独地执行运动补偿。
基于所述重构样本的所述译码可用性对所述当前块执行解码功能可包含应用以下中的一或多者：跨分量线性模型预测、重叠块运动补偿(OMBC)、解块滤波器(DBF)、样本自适应偏移(SAO)滤波器和/或自适应环路滤波器(ALF)。
例如，可以基于在比特流中用信号发送的面不连续指示来识别帧打包图片中的面不连续。在示例中，所述面不连续指示可以包括帧打包信息，该帧打包信息标识与面不连续相对应的边缘。在示例中，所述面不连续指示可以包括关于两个面之间的边界是连续的还是不连续的指示。在示例中，所述面不连续指示可以包括关于面不连续的端点坐标的指示。可以执行关于面不连续的确定和/或用信号发送该面不连续。
对于帧内和帧间预测，如果块位于面不连续的右侧，则左、左上和左下的帧打包的相邻块可能位于所述面不连续的另一侧，并且可以被认为不可用于推断属性，例如，用于导出帧内角度过程中的最可能模式、用于导出帧间预测中的合并模式、和/或用于运动向量预测。类似的考虑可以应用于可以位于面不连续的左侧、上方和/或下方的当前块。可以确定面不连续处的空间候选的译码可用性。
对于帧内和帧间预测，如果块位于面不连续的右侧，则位于该块左侧的重构样本可能位于所述面不连续的另一侧，并且可能不与当前块样本相关。在此情况下，所述重构样本可被视为在一个或一个以上预测方法中不可用，所述预测方法例如为帧内预测中的DC、平面和/或角度模式、帧间预测中的帧速率上转换(FRUC)模板模式和局部照明补偿(LIC)模式。类似的考虑可以应用于位于面不连续的左侧、上方和/或下方的当前块。可以确定在面不连续处的重构样本的译码可用性。
对于跨分量线性模型预测，如果在面不连续处的重构样本不与当前块位于面不连续的相同侧，则可以丢弃它们。例如，如果块位于面不连续的右侧(或下方)，则对于估计所述线性模型的参数，位于该面不连续的左侧(或上方)的重构样本可被丢弃。可以执行关于所述线性模型参数的导出。
对于DIMD搜索，在面不连续的一侧上的模板可以被丢弃。例如，如果块位于面不连续的右侧(例如，下面)或其附近，并且来自左(例如，顶部)模板的部分或全部样本和/或来自用于预测所述左(例如，顶部)模板的左(例如，顶部)参考样本的部分或全部样本位于所述面不连续的另一侧，则对于DIMD搜索，可丢弃所述不连续的该另一侧的模板。可以确定关于DIMD中的面不连续附近的顶部模板和左侧模板的使用。
对于OBMC，如果当前块(或子块)位于面不连续的右侧，则可以跳过使用位于面不连续的另一侧的右侧块(或子块)的运动向量来调整当前块(或子块)的前数列。类似的考虑可以应用于位于面不连续的左侧、上方和/或下方的当前块(或子块)。可以执行关于在面不连续处的块(或子块)的基于OBMC的调整。
对于DBF，如果垂直(或水平)块边界在垂直(或水平)面不连续附近，使得DBF滤波器中使用的一个或多个(例如，所有)样本不位于所述面不连续的相同侧，则可以跨所述块边界禁用DBF。可以执行跨越面不连续的解块。
对于SAO，如果当前样本位于面不连续的右侧，则可以针对该样本位置禁用边缘偏移模式中的水平类别和两个对角类别，因为在基于梯度的分类中使用的样本可能位于所述面不连续的另一侧并且可能不与所述当前样本相关。类似的考虑可以应用于位于面不连续的左侧、上方和/或下方的当前样本。SAO过程可以在面不连续处被执行。
对于ALF，如果当前亮度(或色度)样本位于自面不连续的四个(或两个)样本之内，则可针对该样本位置禁用ALF，因为9×9(或5×5)菱形滤波器中使用的一个或多个样本可能位于所述面不连续的另一侧并且可能不与所述当前样本相关。ALF可以在面不连续处被执行。
附图说明
图1(a)示出了在等边矩形(equirectangular)投影(ERP)中沿着经度方向和纬度方向的示例球体采样。
图1(b)示出了ERP中的示例2D平面。
图1(c)图示了使用ERP产生的示例图片。
图2(a)示出了立方体贴图投影(CMP)中的示例3D几何结构。
图2(b)示出了具有3×2帧打包和六个面的示例2D平面。
图2(c)示出了使用立方体贴图(cubemap)投影产生的示例图片。
图3示出了示例360度视频处理。
图4示出了示例的基于块的编码器的框图。
图5示出了示例性的基于块的解码器的框图。
图6示出了在高效视频译码(HEVC)帧内预测中使用参考样本的示例。
图7示出了HEVC中的关于帧内预测方向的示例指示。
图8示出了用于在HEVC帧内角度过程中导出最可能模式的空间相邻者的示例。
图9示出了具有一个运动向量的示例帧间预测(单向预测)。
图10示出了在HEVC合并过程中导出空间合并候选时使用的空间相邻者的示例。
图11示出了解块滤波器(DBF)开/关判决、滤波器选择和滤波中所涉及的样本的示例。
图12示出了在样本自适应偏移(SAO)中使用的梯度图案的示例：(a)水平梯度图案；(b)竖直梯度图案；(c)对角梯度图案；以及(d)45°对角梯度图案。
图13示出了在跨分量线性模型预测中用于推导α和β的样本的示例位置。
图14示出了示例重叠块运动补偿。
图15示出了与局部照明补偿相关联的示例。
图16示出了自适应环路滤波器(ALF)形状的示例：(a)5×5菱形滤波器形状；(b)7×7菱形滤波器形状；以及(c)9×9菱形滤波器形状。
图17示出了在解码器侧帧内模式导出(DIMD)中具有目标、模板和参考样本的示例。
图18示出了示例CMP：(a)3D表示；以及(b)3×2帧打包配置。
图19示出了当面不连续位于以下位置时空间相邻者的示例可用性：(a)当前块的上方；(b)当前块的下方；(c)当前块的左侧；或(d)当前块的右侧。
图20示出了当面不连续位于以下位置时重构样本的示例可用性：(a)当前块的上方；(b)当前块的下方；(c)当前块的左侧；或(d)当前块的右侧。
图21示出了关于以下的示例比较：(a)基于子块的运动补偿、(b)具有子块合并的基于子块的运动补偿、以及(c)具有在面不连续附近的子块合并的基于子块的运动补偿。
图22示出了关于以下的示例比较：(a)运动补偿、和(b)靠近面不连续的运动补偿。
图23示出了当面不连续位于以下位置时用于跨分量线性模型预测的重构样本的示例可用性：(a)当前块的上方；或(b)当前块的左侧。
图24示出了基于以下的基于外部重叠块运动补偿(OBMC)的运动补偿的示例比较：(a)OBMC设计、(b)基于行/列的子块合并、以及(c)接近面不连续的子块合并。
图25A是示出了其中可以实施一个或多个公开的实施例的示例通信系统的系统图。
图25B是示出了根据实施例的可在图25A中所示的通信系统内使用的示例无线发射/接收单元(WTRU)的系统图。
图25C是示出了根据实施例的可在图25A中所示的通信系统内使用的示例无线电接入网络(RAN)和示例核心网络(CN)的系统图。
图25D是示出了根据实施例的可在图25A中所示的通信系统内使用的另一示例RAN和另一示例CN的系统图。
具体实施方式
现在将参考各个附图来描述说明性实施例的详细描述。尽管本说明书提供了可能实施方式的详细示例，但是应当注意，这些细节旨在是示例性的，而不以任何方式限制本申请的范围。
VR系统可以使用一个或多个全向视频。例如，一个或多个全向视频可以包括一个或多个360度视频。可以从水平方向上的360度角和垂直方向上的180度角观看该360度视频。VR系统和360度视频可以用于超高清(UHD)服务之外的媒体消费。自由视图TV(FTV)可以测试解决方案的性能。例如，FTV可测试基于360度视频(例如，或全向视频)的系统和/或基于多视图的系统的性能。
VR系统可以包括处理链。该处理链可以包括捕获、处理、显示和/或应用。关于捕获，VR系统可以使用一个或多个相机来捕获来自不同发散视图(例如，6到12个视图)的场景。这些视图可以被拼接在一起以形成360度视频(例如，诸如4K或8K的高分辨率的视频)。VR系统的客户端和/或用户侧可以包括计算平台、头戴式显示器(HMD)和/或一个或多个头部跟踪传感器。所述计算平台可以接收和/或解码360度视频。所述计算平台可以生成视窗以用于显示。可以为所述视窗渲染两个图片(例如，每个眼睛一个图片)。这两个图片可以在HMD中显示以供立体观看。一个或多个透镜可以用于放大HMD中显示的图像(例如，以便更好地观看)。所述头部跟踪传感器可以跟踪(例如，不断地跟踪)观看者的头部朝向。可以将朝向信息馈送到VR系统以显示针对该朝向的视窗图像。VR系统可以提供专用触摸设备。例如，专用触摸设备可以允许观看者与虚拟世界中的对象交互。VR系统可以由具有图形处理单元(GPU)支持的工作站驱动。VR系统可以使用移动设备(例如，智能电话)作为计算平台、作为HMD显示器和/或作为头部跟踪传感器。HMD的空间分辨率可以是例如2160x1200。刷新速率可以是例如90Hz。视场(FOV)可以是例如大约110度。头部跟踪传感器的采样率可以是例如1000Hz，以捕获快速移动。VR系统可以包括透镜和卡板，并且可以由智能电话驱动。VR系统可以用于游戏。可以提供一个或多个360度视频流传输服务。
VR系统能够提供交互性和/或触觉反馈。大的HMD可能不便于个人佩戴。立体视图(例如，由某些HMD提供的)的2160x1200的分辨率可能是不够的，并且可能导致一些用户的眩晕和不适。分辨率增加可能是所希望的。VR体验可以通过将VR系统的视觉效果与真实世界的力反馈相结合而被增强。VR过山车应用可以是将VR系统的视觉效果与真实世界的力反馈相结合的示例。
例如，可以使用基于HTTP的动态自适应流(DASH)的视频流传输技术来压缩和/或传送360度视频。360度视频内容可以用球体几何结构来表示。例如，所同步的多个视图可以由多个相机捕获并且可以被拼接在球体上。所同步的多个视图可以作为(例如，一个)整体结构而被拼接在球体上。所述球体信息可以经由几何结构转换过程被投影到2D平面表面上。例如，可以使用等边矩形投影(ERP)将所述球体信息投影到2D平面表面上。图1(a)示出了在经度和纬度(θ)上的示例球体采样。图1(b)示出了使用ERP被投影到2D平面上的示例球体。范围[-π，π]中的经度/>可以被称为偏航，并且范围[-π/2，π/2]中的纬度θ可以被称为俯仰(例如，在飞行中)。π可以是圆的周长与其直径的比率。(x，y，z)可以表示3D空间中的点的坐标。(ue，ve)可以表示ERP之后2D平面中的点的坐标。ERP可以数学方式表示，例如，如等式(1)和/或(2)所示。
ue＝(φ/(2*π)+0.5)*W (1)
ve＝(0.5-θ/π)*H (2)
其中W和H可以分别是2D平面图片的宽度和高度。如图1(a)所示，点P可以是球体上经度L4和纬度A1之间的交叉点。可以使用等式(1)和/或(2)将P映射到2D平面中的图1(b)中的唯一点q。图1(b)中所示的2D平面中的点q可以例如经由反投影被投影回图1(a)中所示的球体上的点P。图1(b)中的视场(FOV)示出了被映射到2D平面的球体中的FOV的示例，其中沿着X轴的视角大约为110度。
一个或多个360度视频可以被映射到2D视频。例如，360度视频可以使用ERP而被映射到2D视频。所述360度视频可以利用诸如H.264或高效视频译码(HEVC)的视频编解码器来译码，并且可以被递送到客户端。例如，所述360度视频可以被映射到2D视频，并且该2D视频可以被编码并被递送到客户端。在该客户端侧，可以基于用户的视窗来对所述视频进行解码(例如，以等边矩形格式)和渲染，这可例如通过将属于在等边矩形图片中的FOV的部分投影并显示到HMD上而进行。等边矩形2D图片的特性可以与非等边矩形2D图片(例如，直线视频图片)不同。图1(c)示出了示例性的等边矩形图。图1(c)中所示的图片的顶部部分可对应于北极，且底部部分可对应于南极。如图1(c)所示，所述顶部部分和/或底部部分可以被拉伸。例如，与所述图片的对应于赤道的中间部分相比，所述顶部部分和/或底部部分可以被拉伸。所述顶部部分和/或底部部分的拉伸可以指示2D空间域中的等边矩形采样是不均匀的。
如图1(c)所示，分别对应于北极和南极的ERP图片的顶部部分和底部部分与所述图片的中部部分相比可以被拉伸。球形采样密度对于ERP格式可以是不均匀的。各种几何投影格式可以用于将360度视频映射到多个面上。图2(a)示出了立方体贴图投影(CMP)几何结构的示例。所述CMP可以包括6个正方形面，其可以被标记为PX、PY、PZ、NX、NY、NZ，其中P可以代表正，N可以代表负，并且X、Y、Z可以指轴。这些面也可以使用数字0-5标记，例如根据PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)、NZ(5)而被标记。例如，如果相切球的半径为1，则每个面的侧向长度可以是2。CMP格式的6个面可以被一起打包成单个图片。一些面可以旋转一定角度，例如，以最大化相邻面之间的连续。图2(b)示出了将6个面放置到矩形图片中的示例性打包方法，其中(例如，为了更好的可视化)面索引(例如，每个面索引)被放置在与该面的对应旋转对准的方向上。例如，面#3和#1可以分别逆时针旋转270度和180度，而其他面可以不旋转。图2(c)中给出了具有CMP的示例图片。如图2(c)所示，顶行的3个面可以是3D几何结构中的空间相邻面并且可以具有连续纹理，底行的3个面可以是3D几何结构中的空间相邻面并且因此可以具有连续纹理。所述顶面行和底面行在3D几何结构中可能不是空间连续的，并且接缝(例如，不连续的边界)可能存在于两个面行之间。不是球形相邻者的两个或更多个邻接块之间的面边界可以被称为面不连续。
在CMP中，假设在面(例如每个面)的中心处的采样密度等于1，则所述采样密度可以朝向边缘增加，这意味着边缘周围的纹理与中心处的纹理相比可能被拉伸。在不同的基于立方体贴图投影的投影中(例如等角立方体贴图投影(EAC)和/或调整的立方体贴图投影(ACP))，可以使用垂直和/或水平方向上的非线性扭曲函数来调整面(例如，每个面)，以实现更均匀的采样密度。在EAC中，所述调整可以使用正切函数而被执行，而在ACP中，所述调整可以使用二阶多项式函数而被执行。可以使用EAC和ACP的概括，其可以被称为混合立方体贴图映射(HCP)。在HCP中，可以针对面(例如，每个面)和方向单独地调谐所述调整函数及其参数，以提供更好的译码效率。可以以与CMP类似的方式来打包基于立方体的投影。
图3示出了用于360度视频处理的示例工作流。可使用一个或一个以上相机来捕获360度视频捕获。例如，一个或多个相机可被用于捕获覆盖球形空间的360度视频。这些视频可以被拼接在一起。例如，可以使用等边矩形几何结构将这些视频拼接在一起。可以将该等边矩形几何结构转换到另一几何结构，诸如立方体贴图几何结构，以用于译码(例如，利用视频编解码器进行编码)。例如，可以经由动态流传输和/或广播而将所译码的视频递送到客户端。例如，可以在接收机处对所述视频进行解码。解压缩后的帧可以被解包到诸如显示器几何结构的显示器。例如，所述显示几何结构可以是等边矩形几何结构。该几何结构可以用于渲染。例如，所述几何结构可以用于根据用户的视角经由视窗投影进行渲染。
图4示出了示例性的基于块的混合视频编码系统600的框图。输入视频信号602可以被逐块处理。扩展的块大小(例如，称为译码单元或CU)可以用于(例如，在HEVC中)压缩高分辨率(例如，1080p和/或以上)视频信号。CU可具有高达64×64像素(例如，在HEVC中)。CU可被分区成预测单元或PU，可对其应用单独的预测。对于输入视频块(例如，宏块(MB)或CU)，可执行空间预测660或时间预测662。空间预测(例如，或帧内预测)可使用来自同一视频图片和/或切片中的已译码相邻块的像素来预测当前视频块。空间预测可以减少视频信号中固有的空间冗余。时间预测(例如，称为帧间预测或运动补偿预测)可使用来自已译码视频图片的像素来预测当前视频块。时间预测可减少视频信号中固有的时间冗余。可由指示当前块与其参考块之间的运动的量和/或方向的运动向量用信号发送给定视频块的时间预测信号。如果支持多个参考图片(例如，在H.264/AVC或HEVC中)，则可将视频块的参考图片索引用信号发送给解码器。该参考索引可以用于标识时间预测信号可以来自参考图片存储库664中的哪个参考图片。
在空间和/或时间预测之后，编码器中的模式决策680可例如基于速率失真优化来选择预测模式。在616处，可从当前视频块减去预测块。预测残差可以使用变换模块604和量化模块606来去相关，以实现目标比特率。所量化的残差系数可以在610被逆量化，并在612被逆变换以形成重构的残差。在626处，可以将该重构的残差加回到所述预测块以形成重构的视频块。在将所述重构的视频块放入参考图片存储库664中之前，可在666处将环路内滤波器(例如，解块滤波器和/或自适应环路滤波器)应用于所述重构的视频块。所述参考图片存储库664中的参考图片可用于译码未来视频块。可以形成输出视频比特流620。译码模式(例如，帧间或帧内译码模式)、预测模式信息、运动信息和/或经量化的残余系数可被发送到熵译码单元608以被压缩和打包以形成比特流620。
图5示出了示例性的基于块的视频解码器的一般框图。视频比特流202可以在熵解码单元208处被接收、解包和/或熵解码。可将译码模式和/或预测信息发送到空间预测单元260(例如，如果经帧内译码)和/或发送到时间预测单元262(例如，如果经帧间译码)。预测块可由空间预测单元260和/或时间预测单元262形成。可将残余变换系数发送到逆量化单元210和逆变换单元212以重构残余块。可在226处，将所述预测块和残余块相加。重构块可以经过环路内滤波266，并且可以被存储在参考图片存储库264中。该参考图片存储264中的重构视频可用于驱动显示设备和/或预测未来视频块。
帧内预测和/或帧间预测可在视频译码中被执行。帧内预测可用于利用相邻重构样本来预测样本值。例如，图6中示出了用于当前变换单元(TU)的帧内预测的参考样本。该参考样本可以来自左侧和/或顶部相邻的重构样本，如图6中的阴影框所示。
图7示出了角度帧内预测模式的示例指示。HEVC可以支持多种(例如，35种)帧内预测模式，诸如DC模式(例如，模式1)、平面模式(例如，模式0)和33种方向或角度帧内预测模式。所述平面预测模式可以使用例如顶部和左侧重构样本来生成当前块的一阶近似。所述角度预测模式可以被设计(例如，特别设计)为预测方向纹理。可选择所述帧内预测模式(例如，在编码器侧选择)。举例来说，可通过使由帧内预测模式(例如，每一帧内预测模式)产生的预测与一个或一个以上原始样本之间的失真最小化而在编码器侧处选择所述帧内预测模式。可基于使用速率失真优化使速率失真成本最小化来选择所述帧内预测模式。举例来说，可使用用于帧内译码的最可能模式(MPM)来编码所述帧内预测模式。MPM可重新使用空间相邻PU的帧内角度模式。图8示出了用于在HEVC帧内角度处理中导出所述MPM的空间相邻者的示例。图8可示出用于HEVC中的MPM候选导出的空间相邻者(例如，左下、右上、上和/或左上)。可以对所选择的MPM候选索引进行译码。MPM候选列表可在解码器侧被构建(例如，以与编码器处相同的方式被构建)。具有用信号表示的MPM候选索引的条目可用作当前PU的帧内角度模式。
图9示出了利用一个运动向量(MV)的示例帧间预测(例如，单预测)。图9的参考图片中的块B0'和B1'可分别为块B0和B1的参考块。举例来说，可通过使用运动向量预测和/或用于帧间译码的合并模式来编码所述运动向量信息。所述运动向量预测可使用来自空间相邻PU或时间并置PU的运动向量作为当前MV的预测器。所述编码器和/或解码器可以以相同的方式形成运动向量预测值候选列表。来自该候选列表的所选MV预测器的索引可以被译码和/或用信号发送给所述解码器。所述解码器可以构建MV预测器列表，并且具有用信号发送的索引的条目可以用作当前PU的MV的预测器。所述合并模式可以重新使用空间和/或时间相邻的MV信息。所述编码器和/或所述解码器可以以相同的方式形成一运动向量合并候选列表。图10示出了在HEVC合并过程中导出空间合并候选时使用的空间相邻者的示例。如图10所示，所述空间相邻者(例如，左下、右上、上和/或左上)可用于HEVC中的合并候选导出。可对所选的合并候选索引进行译码。所述合并候选列表可在解码器侧被构建(例如，以与编码器中相同的方式被构建)。具有用信号发送的合并候选索引的条目可用作当前PU的MV。
在HEVC中，一个或多个(例如，两个)环路内滤波器(例如，解块滤波器(DBF)，其后是样本自适应偏移(SAO)滤波器)可应用于一个或多个重构样本。所述DBF可被配置以减少归因于基于块的译码的块效应。DBF可应用于(例如，仅应用于)位于PU和/或TU边界处的样本，图片边界处除外或在切片和/或图片边界处被禁用时除外。可对垂直边界应用(例如，首先应用)水平滤波，且可对水平边界应用垂直滤波。图11示出了DBP开/关判定、滤波器选择和滤波中所涉及的样本的示例。给定两个相邻块P和Q，取决于滤波器强度，可以在水平(或垂直)滤波中对边界的每侧上的多达三个样本列(或行)进行滤波，如图11中所描绘的。SAO可以是另一环路内滤波过程，其基于由编码器传输的查找表中的值，通过有条件地将偏移值添加到样本(例如，每一样本)来修改经解码的样本。SAO可以具有一个或多个(例如，两个)操作模式：频带偏移模式和边缘偏移模式。在频带偏移模式中，可以根据样本幅度而将偏移添加到样本值。全样本幅度范围可被划分为32个频带，且可通过添加正偏移或负偏移来修改属于这些频带中的四个的样本值，其中可针对每一译码树单元CTU用信号发送所述正偏移或负偏移。在所述边缘偏移模式中，水平梯度、垂直梯度和两个对角梯度可用于分类，如图12中所描绘。图12示出了在SAO中使用的四个梯度图案的示例。对于每个边缘类别，可以在CTU级用信号发送偏移。
可以执行跨分量线性模型预测。可以执行RGB到YUV颜色转换(例如，以减少不同通道之间的相关性)。跨分量线性模型预测可用于使用线性模型从对应的亮度样本预测色度样本。给定色度样本的值pi,j可以从对应的下采样(例如，如果视频是420或422色度格式)的重构亮度样本值L'i,j来预测，如等式(3)所示(例如，假设N×N个样本的色度块)：
pi,j＝α·L′i,j+β (3)
可如等式(4)中所示来计算所述下采样的亮度样本：
所述线性模型的参数可以通过最小化顶部和左侧相邻的重构样本之间的回归误差来导出，并且可以如等式(5)和(6)所示来计算：
图13示出了在跨分量线性模型预测中用于推导α和β的样本的示例位置。例如，图13提供了用于推导α和β的顶部和左侧相邻重构样本的位置。该相邻的重构样本可以在编码器和/或解码器处可用。所述α和β的值可以在编码器和/或解码器处以相同的方式被导出。
可以执行重叠块运动补偿。
重叠块运动补偿(OBMC)可以用于在运动补偿阶段去除一个或多个块效应。可针对除一个块的右边界和下边界之外的一个或一个以上(例如，所有)块间边界执行OBMC。当以子块模式(例如，高级时间运动向量预测ATMVP和/或空间-时间运动向量预测STMVP)对视频块进行译码时，可针对子块的边界(例如，子块的边界中的每一者)执行OBMC。图14示出了OBMC的示例概念。当OBMC应用于子块(例如，图14中的子块A)时，除了当前子块的运动向量之外，可使用多达四个相邻子块的运动向量来导出当前子块的预测信号。可对使用相邻子块的运动向量的多个预测块进行平均，以产生当前子块的最终预测信号。
加权平均可以用在OBMC中以产生块的预测信号。使用相邻子块的运动向量的预测信号可以被表示为PN，并且使用当前子块的运动向量的预测信号可以被表示为PC。当应用OBMC时，PN的前/后四行/列中的样本可以与PC中的相同位置处的样本进行加权平均。例如，可以根据相应的相邻子块的位置来确定应用加权平均的样本。举例来说，当相邻子块为上方相邻子块(例如，图14中的子块b)时，可调整当前子块的前四行中的样本。当相邻子块是下方相邻子块(例如，图14中的子块d)时，可调整当前子块的最后四行中的样本。当相邻子块是左相邻子块(例如，图14中的子块a)时，可调整当前块的前四列中的样本。当相邻子块是右相邻子块(例如，图14中的子块c)时，可以调整当前子块的最后四列中的样本。当当前块未在子块模式中被译码时，一个或一个以上加权因子(例如，{1/4，1/8，1/16，1/32})可用于PN的前四行/列，且一个或一个以上加权因子(例如，{3/4，7/8，15/16，31/32})可用于PC的前四行/列。当以子块模式对当前块进行译码时，可对PN和PC的前两行/列进行平均。在这种情况下，一个或多个加权因子(例如，{1/4，1/8})可用于PN，而一个或多个加权因子(例如，{3/4，7/8})可用于PC。
可以执行局部照明补偿。
照明补偿(IC)可以基于使用例如缩放因子a和/或偏移b的照明变化的线性模型。可针对帧间译码块(例如，每一帧间译码块)自适应地启用/禁用IC。图15示出了IC的示例。如图15所示，当IC被应用于块时，可以采用最小均方误差(LMSE)方法(例如，以导出所述参数a和b)。举例来说，可通过使当前块的相邻样本(例如，模板)与时间参考图片中的它们的对应参考样本之间的失真最小化来导出所述参数a和b。如图15所示，所述模板可以被子采样(例如，2:1子采样)，这可以降低复杂度。如图15所示，阴影样本(例如，仅阴影样本)可用于导出a和b。
可以使用自适应环路滤波器(ALF)。对于亮度分量，可选择一或多个(例如，多达三个)菱形滤波器形状：例如，分别如图16(a)、(b)和(c)所示的5×5、7×7和9×9。图16示出了示例ALF滤波器形状。可以在图片级用信号发送所选择的滤波器。对于色度分量，可以使用(例如，总是使用)5×5菱形形状。对于亮度分量，2×2块(例如，每个2×2块)可以被分类到25个类别中的一个类别中，以选择用于该块的适当滤波器系数。可不对所述色度分量执行分类，例如，一组系数可用于一个或一个以上(例如，所有)色度样本。可以通过分析每个2×2块周围的邻域中的梯度的活动性和方向性来执行所述分类。所述水平梯度、垂直梯度和两个对角梯度可以使用1-D拉普拉斯算子在6×6个样本的邻域中被计算。可针对每一2×2块应用滤波器系数的一个或一个以上(例如，三个)几何变换(例如，对角、垂直翻转和/或旋转)(例如，取决于所述块的梯度值)。对于亮度分量，可在CU层级控制滤波，例如通过使用标志来用信号发送是否应用ALF。对于色度分量，可针对整个图片启用或禁用ALF。
可以执行解码器侧帧内模式导出(DIMD)。DIMD可从块的相邻样本(例如，一个块的相邻重构样本)导出信息(例如，在编码器和/或解码器处导出)。图17示出了使用DIMD导出(例如，不用信令)帧内模式的示例。如图17中所见，目标可将一块表示为当前块(例如，具有块大小N)。可以估计该当前块的帧内模式。所述模板(例如，如图17中对角图案化的区域所指示的)可以指示样本(例如，已经重构的样本)集合。所述样本可用于导出所述帧内模式。所述模板的大小可以由该模板内的样本的数目来指示，该模板在目标块上方和左侧延伸，例如，如图17中所见的L。所述模板的参考(例如，如图17中的虚线区域所指示的)可以是一组相邻样本。该相邻样本可以位于所述模板的上方和左侧。对于帧内预测模式(例如，每个帧内预测模式)，DIMD可计算所述重构模板样本和其预测样本之间的绝对差之和(SAD)。所述预测样本可以从所述模板的所述参考样本获得。可将产生最小SAD的帧内预测模式选择为块的帧内预测模式(例如，目标块的最终帧内预测模式)。
对于由不同面构成的几何结构(例如，CMP、八面体投影(OHP)、二十面体投影(ISP)和/或类似者)，在帧打包图片中的两个或更多个相邻面之间可能出现一个或多个不连续(例如，不考虑紧凑的面布置)。例如，图2(c)示出了示例3×2CMP。在图2(c)中，上半部中的3个面在3D几何结构中可能是水平连续的。下半部的3个面在3D几何结构中可能是水平连续的。所述上半部和下半部在3D几何结构中可能是不连续的。对于360度视频，由于不连续，所述帧打包图片中的相邻块可能不一定是相关的。
图18的(a)和(b)示出了CMP的示例。图18的(a)示出了所述CMP的示例3D表示。图18的(b)示出了所述CMP的示例性3×2帧打包配置。如图18(a)和/或(b)所示，块D可以是位于块A之上的帧打包相邻者。帧打包相邻者可以是或可以包括在所述帧打包图片中与所述当前块相邻的块。球形相邻者可以是或可以包括在3D几何结构中与所述当前块相邻的块。帧打包相邻者也可以是球形相邻者。考虑所述3D几何结构，块E可以是位于块A上方的球形相邻者。如果使用为2D视频设计的视频编解码器(一个或多个)，则帧打包相邻者D可用于例如以帧内预测、帧内MPM、合并模式、和/或运动向量预测等的形式预测所述当前块A。来自D的信息可能不适合预测A(例如，由于D和A之间的固有不连续)，并且可能降低译码效率。当导出相关译码信息(例如，帧内模式、运动向量、参考样本和/或其类似者)以预测所述当前块(例如，块A)时，可使用球形相邻者(例如，块E)。
可以导出所述球形相邻者。例如，可以在样本级导出所述球形相邻者(例如，以导出用于帧内预测和/或用于跨分量线性模型的参考样本)。可以应用2D到3D几何结构转换和/或3D到2D几何结构转换来导出所述球形相邻者。查找表(LUT)可用于预存储球形相邻者的位置。
可以以光栅扫描顺序处理当前图片/切片/图块中的CTU。来自有限数量的帧打包的相邻块的信息可以被缓冲(例如，使用高速缓存)。当考虑球形相邻者时，所述参考样本和/或译码信息可能按光栅扫描顺序而远离所述当前块。例如，来自图18(b)的块E可能比块B、C和D在光栅扫描顺序中距离A更远。在对块A进行译码之前，可以从所述高速缓存中移除来自块E的信息。
当(例如，仅当)帧打包相邻块是当前块的球形相邻块时，所述帧打包相邻块可用于在360度视频译码中预测所述当前块。对于图18(a)-(b)中所示的示例，块B可以是相对于块A的帧打包相邻者和球形相邻者，而块C和D可以是块A的帧打包相邻者，而不是块A的球形相邻者。可以禁止跨越面不连续而推断信息。
左(L)相邻者、上(A)相邻者、右上(AR)相邻者、左上(AL)相邻者和左下(BL)相邻者可以用于推断2D视频译码中的信息(例如，由于光栅扫描处理)(例如，见图8和图10)。如果当前块位于面不连续的右侧，则左、左上和/或左下的帧打包的相邻块可能位于所述面不连续的另一侧，并且可以被认为不可用于推断属性，例如，用于导出帧内预测中的最可能模式的列表、用于导出运动向量预测和/或合并模式中的运动向量候选、和/或OBMC等等。类似的考虑可以应用于可以位于面不连续的左侧、上方和/或下方的当前块。以此方式，当从相邻块推断属性时，可排除非相关空间候选。
位于当前块上方和/或左侧的重构样本可用于2D视频译码(例如，由于光栅扫描处理)中以用于预测所述当前块(例如，参见图6和图13)。如果所述当前块位于面不连续的右侧，则位于该块左侧的重构样本(例如，R0,0...R0,2N(例如，参见图6和图13))可能位于所述面不连续的另一侧，并且可能不与所述当前块样本相关。在这种情况下，所述重构样本可被认为在一个或多个预测方法(例如，帧内预测中的DC模式、平面模式和/或角度模式、跨分量线性模型预测、OBMC和/或环路内滤波)中不可用。以此方式，当使用相邻重构样本来预测和/或滤波所述当前块时，可排除相关性较差的重构样本。
可以忽略来自跨越面不连续的空间相邻者的重构样本和/或译码信息。
本文描述的技术可以应用于面不连续和/或面连续，例如，帧打包图片中的两个面之间的边界，这两个面在3D几何结构中也是相邻面。
可以确定帧打包图片中的面不连续。在示例中，可以在比特流中用信号发送帧打包信息以标识所述帧打包图片中的一个或多个面(例如，每个面)。对于所述帧打包图片中的一对或多对(例如，每一对)相邻面，如果该两个面在3D几何结构中共享相同的边缘，则该共享边缘可以被定义为连续的。如果该两个面在3D几何结构中不共享相同的边缘，则该边缘可以被定义为不连续的。
例如，帧打包图片可以包含M×N个面(例如，在图2(b)中，M＝3并且N＝2)，(-1)×N个垂直边缘可以存在于所述图片中的面之间，而M×(N-1)个水平边缘可以存在于所述图片中的面之间。可以用信号发送总共(M-1)×N+M×(N-1)个标志，例如以指定边缘是否连续，如表1所示。可以以特定顺序(例如，从上到下以及从左到右)扫描所述边缘。表1可说明被放置在视频参数集中的此组语法元素。其它序列级参数集(例如，图片参数集(PPS)或序列参数集(SPS))也可用于承载此信息。
表1视频参数集RBSP
在表1中，参数face_discontinuity_param_present_flag可以指定是否存在语法元素num_face_rows、num_face_columns和face_discontinuity_flag[i]中的一个或多个。当所述比特流中不存在所述参数face_discontinuity_param_present_flag时，可以推断该参数的值是指示不存在面不连续参数的值(例如，0)。
所述参数num_face_rows可以指定帧打包图片中的面行数。当所述比特流中不存在参数num_face_rows时，可以将该参数的值设置为默认值(例如，1)。
所述参数num_face_columns可以指定帧打包图片中的面列数。当所述比特流中不存在所述参数num_face_columns时，可以将该参数的值设置为默认值(例如，1)。
可用信号发送参数num_face_rows_minus1和/或num_face_columns_minus1(例如，代替用信号发送num_face_rows和num_face_columns和/或除用信号发送num_face_rows和num_face_columns之外)以减少用来对所述语法元素进行译码的比特的数目。
参数face_discontinuity_flag[i]可以指定第i个面边缘是否是不连续的。
在示例中，可以用信号发送(例如，显式地用信号发送)帧打包图片中的一个或多个面不连续(例如，每个面不连续)的两个端点的坐标。可以用信号发送水平和/或垂直不连续的端点。可以用信号发送对角不连续的端点。对角不连续可被用于例如基于三角形的几何结构(例如，OHP和/或ISP)。表2示出了在视频级别的示例语法元素。
表2视频参数集RBSP
在表2中，参数face_discontinuity_param_present_flag可以指定是否存在语法元素num_face_discontinuities、face_discontinuity_start_point_x、face_discontinuity_start_point_y、face_discontinuity_end_point_x和/或face_discontinuity_end_point_y中的一个或多个。当所述比特流中不存在所述参数face_discontinuity_param_present_flag时，可以推断该参数的值是指示不存在所述面不连续参数的值(例如，0)。
所述参数num_face_discontinuities可以指定帧打包图片中的面不连续的数目。当所述比特流中不存在所述参数num_face_discontinuities时，可以将该参数的值设置为默认值(例如，1)。可以用信号发送参数num_face_discontinuities_minus1(例如，代替和/或除了用信号发送num_face_discontinuities之外)。该参数num_face_discontinuities_minus1的值可以是帧打包图像中的面不连续的数目减一。
所述参数face_discontinuity_start_point_x[i]可以指定第i个面不连续的开始点在帧打包图片中的x坐标。该参数face_discontinuity_start_point_x[i]的值可以在0到picture_width-1的范围内(例如，包括性地)。
所述参数face_discontinuity_start_point_y[i]可以指定第i个面不连续的开始点在帧打包图片中的y坐标。该参数face_discontinuity_start_point_x[i]的值可以在0到picture_height-1的范围内(例如，包括性地)。
所述参数face_discontinuity_end_point_x[i]可以指定第i个面不连续的端点在帧打包图片中的x坐标。该参数face_discontinuity_start_point_x[i]的值可以在0到picture_width-1的范围内(例如，包括性地)。
所述参数face_discontinuity_end_point_y[i]可以指定第i个面不连续的端点在帧打包图片中的y坐标。该参数face_discontinuity_start_point_y[i]的值可以在0到picture_height-1的范围内(例如，包括性地)。
例如，如果在视频编码期间改变投影几何结构和/或帧打包，则可以在序列和/或图片级用信号发送(例如，代替和/或另外用信号发送)在视频级定义的一个或多个参数。可使用所述语法元素的固定长度译码(例如，代替ue(v))。所述语法元素的比特长度可由ceil(log2(picture_width))或ceil(log2(picture_height))确定。
如果使用本文描述的一个或多个示例性方法，则可以生成面不连续的列表。例如，可以标识K个垂直面不连续和L个水平面不连续。关于(+L)个面不连续的列表可以被分成两个列表：可以表示为Dv的关于K个垂直面不连续的列表，以及可以表示为Dh的关于L个水平面不连续的列表。对于面不连续d，其在帧打包图片中的两个端点可以被表示为Ad和Bd并且可以被确定。块可以由其左上坐标、其宽度和其高度来标识，其中左上坐标可以表示为C，宽度可以表示为W，高度可以表示为H。为了检查水平不连续是否位于所述块之上，可以如表3所示执行水平面不连续检查。
表3检查不连续的示例方法
可以使用类似的方法来确定不连续是否位于块的下面、左侧和/或右侧。可以使用类似的方法来确定不连续是否位于特定样本位置附近。
帧打包布置可以在高级别(例如，序列级别或图像级别)被确定。面不连续可以在所述高级别上被确定并且可以在多个图片中保持相同。可以以给定粒度预先计算数组以存储对于块是否存在不连续。例如，如果在块级定义所述数组，则可以为每个块计算面不连续标志，并且可以将其存储在该数组中。所述块可以具有预定大小，例如4×4。可确定在当前块的编码/解码期间是否存在不连续。
图2(b)示出了3×2立方体贴图帧打包的示例。在图2(c)中，在图片的中间可能出现水平不连续，并且可能没有垂直不连续。邻接不连续线的块和/或位于不连续线顶部的样本可具有被设置为真的不连续标志。一个或多个其它块(例如，所有其它块)和/或样本可具有被设置为假的不连续标志。
可以用信号发送面边界的位置(例如，帧打包图片内的所有面边界的位置)。可以用信号发送(例如，可以仅用信号发送)帧打包图片内的不连续面边界的位置。可以针对面边界(例如，每个面边界)用信号发送标志。该标志可以指示所述面边界是连续的还是不连续的。
可以识别面不连续处的空间候选。
信息可从相邻块被推断，例如，用于帧内预测中的最可能模式、空间-时间运动向量预测(STMVP)、OBMC和/或帧间预测中的合并模式。所述相邻块可以是空间相邻块或时间相邻块。可以例如基于当前块的位置来确定该当前块是否位于面不连续处。例如，可以基于相邻块是否与所述当前块在所述面不连续的相同侧上来确定所述相邻块的译码可用性。不是当前块的球形相邻者的帧打包相邻者(例如，不与所述当前块在所述面不连续的所述相同侧的相邻块)可以被认为不可用于解码所述当前块。作为所述当前块的球形相邻者的帧打包相邻者(例如，与当前块在所述面不连续的所述相同侧上的相邻块)可以被认为可用于解码所述当前块。
例如，可以基于所述相邻块的译码可用性，对所述当前块执行解码功能。所述解码功能可以包括导出所述当前块的合并模式。举例来说，如果所述相邻块被确定为可用，则可将该相邻块添加到合并候选列表(例如，候选块列表)。如果所述相邻块被确定为不可用，那么可从所述合并候选列表排除所述相邻块。
图19示出了当面不连续位于当前块的上方(例如，图19(a))、下方(例如，图19(b))、左侧(例如，图19(c))和/或右侧(例如，图19(d))时空间相邻者的示例可用性。图19(a)-(d)中使用阴影图案描述的块可以位于面不连续的另一侧，并且可以被认为是不可用的(例如，确定为不可用于解码所述当前块)。例如，如果面不连续位于当前块之上，则左上相邻块、上相邻块和/或右上相邻块可被认为是不可用的，如图19(a)中所描绘的。如果面不连续位于当前块之下，则左下相邻块可以被认为是不可用的，如图19(b)所示。如果面不连续位于当前块的左侧，则左上方、左侧和/或左下方相邻块可被认为是不可用的，如图19(c)中所描绘。如果面不连续位于当前块的右侧，则可以认为右上相邻块不可用，如图19(d)所示。
例如，可以基于当前块的位置来确定是否可以使用在面不连续处的重构样本来预测所述当前块。可以确定当前块是否位于面不连续处。例如，可以基于重构样本是否与当前块在面不连续的相同侧来确定该重构样本的译码可用性。位于当前块邻接的面不连续的另一侧的一个或多个重构样本可被认为是不可用的(例如，不可用于解码所述当前块)。位于当前块邻接的面不连续的相同侧上的一个或多个重构样本可被认为是可用的(例如，可用于解码所述当前块)。可以使用可用的重构样本来填充被认为不可用的重构样本。例如，被认为不可用的重构样本可以用一个或多个可用的重构样本来替换。
图20示出了当面不连续位于当前块的上方(例如，图20(a))、下方(例如，图20(b))、左侧(例如，图20(c))和/或右侧(例如，图20(d))时重构样本的可用性的示例。图20(a)-(d)中使用阴影图案描述的重构样本可以位于面不连续的另一侧，并且可以被认为是不可用的(例如，被确定为不可用于解码所述当前块)。例如，如果面不连续位于所述当前块之上，则位于该当前块之上的重构样本(例如，R0,0...R2N,0)可以被认为是不可用的，如图20(a)所示。如果面不连续位于当前块之下，则位于当前块之下的重构样本(例如，R0,N+ 1...R0,2N)可以被认为是不可用的，如图20(b)所示。如果面不连续位于当前块的左侧，则位于当前块左侧的重构样本(例如，R0,0...R0,2N)可被认为是不可用的，如图20(c)所示。如果面不连续位于当前块的右侧，则位于当前块右侧的重构样本(例如，RN+1,0...R2N,0)可被认为是不可用的，如图20(d)所示。
在本文所述的一个或多个情况下，可以使用多于一个参考样本线，并且相同的方法可以应用于矩形块。
如果所使用的重构样本(例如，所有重构样本)不属于同一面，则可以禁用(例如，完全禁用)某些实现(例如，跨分量线性模型预测、IC等)。例如，如果面不连续跨越当前块和/或该当前块的一个或多个样本属于与模板的面不同的面，则可以禁用(例如，完全禁用)IC。禁用IC可以避免使用位于不同面中的重构样本来对块进行缩放和/或偏移。
可以在面不连续处执行运动补偿。帧间预测模式(例如，FRUC、替代时间运动向量预测(ATMVP)、空间-时间运动向量预测(STMVP)和/或仿射运动补偿预测)可采用基于子块的运动向量预测。举例来说，如果子块组具有相同的运动信息，则可将运动补偿应用(例如，直接地)到所述子块组(例如，整个子块组)。如果一个或多个子块被合并成更大的子块组(例如，作为运动补偿单元)，则属于同一面的子块可以被合并在一起。
运动补偿可以单独地(例如，在面不连续的每一侧上)和/或联合地应用。如图21(a)-(c)所示，如果面不连续跨越一译码块，并且该块一侧的一个或多个子块(例如，所有子块)具有相同的运动信息，则可以单独应用运动补偿(例如，对应于图21(c)中的MC0和MC1)。例如，运动补偿可以单独地应用于面不连续的每一侧的一个或多个组。如图21(a)-(c)所示，如果面不连续没有跨越一译码块，并且该块一侧的一个或多个子块(例如，所有子块)具有相同的运动信息，则可以联合应用运动补偿(例如，对应于图21(b)中的MC0)。例如，可以针对译码块的每一侧联合地应用运动补偿。
可以考虑所合并的子块所属的面来应用运动补偿。例如，如果使用几何结构填充，则可以使用对应的经填充的面来应用运动补偿。使用该对应的经填充的面的运动补偿可以导出用于内插的一个或多个参考样本。
如果面不连续跨越块/子块且所述块/子块具有一个运动向量，那么可将运动补偿划分成两个或两个以上运动补偿过程。例如，当应用基于面的几何结构填充时，可以在所述面不连续的一侧(例如，每一侧)执行运动补偿。此技术可类似于用于译码单元和/或预测单元的概念。例如，可以确定面不连续是否跨越当前译码单元(例如，当前块)。该当前译码单元可以被划分为一个或多个预测单元(例如，在面不连续的每侧上一个预测单元)。这些预测单元可用于执行运动补偿预测。举例来说，可针对每一预测单元单独地执行运动补偿。如图22(a)和(b)所示，如果面不连续跨越一译码单元，则可以单独应用运动补偿(例如，在图22(b)中对应于MC0和MC1)。例如，运动补偿可以被单独地应用于在面不连续的每一侧上的预测单元。如图22(a)和(b)所示，如果译码单元没有被垂直和/或水平面不连续跨越，则可以联合地应用运动补偿(例如，对应于图22(a)中的MC0)。举例来说，可针对预测单元的每一侧联合地应用运动补偿。
可以基于面不连续来应用分区。例如，该分区可以是隐式的和/或显式的。该分区可以将块边界与面不连续对准，这可以避免所述块被面不连续跨越。
可以执行在面不连续处的跨分量线性模型预测(CCLMP)。可以基于例如块的位置来确定针对该块是启用还是禁用CCLMP。对于跨分量线性模型预测，可以改进重构样本与当前块样本之间的相关性。例如，一个或多个重构样本可以用于估计线性模型的参数。可以丢弃位于当前块邻接的面不连续的另一侧的重构样本。
图23示出了当面不连续位于当前块之上(例如，图23(a))或左侧(例如，图23(b))时用于跨分量线性模型预测的重构样本的示例可用性。使用阴影图案描绘的重构样本可能位于面不连续的另一侧，并且可以被认为是不可用的(例如，被确定为不可用于对当前块进行解码)。例如，如果面不连续位于当前块之上，则位于当前块之上的重构样本可以被丢弃(例如，不被用于预测所述线性模型的所述参数)，如图23(a)所示。在这种情况下，所述线性模型参数可以如等式(7)和(8)所示被计算：
如果面不连续位于当前块的左侧，则位于当前块左侧的重构样本可以被丢弃(例如，不用于预测所述线性模型的所述参数)，如图23(b)所示。在这种情况下，所述线性模型参数可以如等式(9)和(10)所示被计算：
如果面不连续位于当前块的上方和/或左侧，则位于当前块的上方和/或左侧的重构样本可能位于面不连续的另一侧，并且可以针对该块禁用跨分量线性模型预测。
如本文所述的相同原理可应用于矩形块(例如，不必对较长边界进行子采样以具有与较短边界相同数目的样本)。本文描述的跨分量线性模型预测可用于在两个色度分量之间进行预测(例如，在样本域中或在残差域中)。可以使用一个或多个跨分量线性模型，其中可以针对样本值的特定范围定义跨分量线性模型预测，并且如本文所述应用该跨分量线性模型预测。
位于当前块所邻接的面不连续的另一侧的重构样本可以被认为是不可用的(例如，不是被丢弃)，并且可以使用一个或多个可用的重构样本来填充。
解码器侧帧内模式导出(DIMD)可以在面不连续处被执行。如果来自模板的部分或全部样本(例如，重构样本)和/或用于预测模板的部分或全部参考样本位于当前块邻接的面不连续的另一侧(例如，所述样本不可用于解码当前块)，则可以在DIMD搜索中丢弃该模板(例如，标记为不可用)。
例如，如果面不连续位于当前块之上，则来自顶部模板的一个或多个重构样本和/或位于该顶部模板之上的一个或多个参考样本可能位于当前块邻接的面不连续的另一侧。在DIMD搜索中可以丢弃所述顶部模板。
例如，如果面不连续位于当前块的左侧，则来自左模板的一个或多个重构样本和/或位于所述左模板的左侧的一个或多个参考样本可能位于所述当前块邻接的面不连续的另一侧。在DIMD搜索中可以丢弃所述左模板。
可被用于预测一模板并且可能位于当前块邻接的面不连续的另一侧的重构样本可被认为是不可用的。该指示可以应用于模板和/或所述参考样本(其可以用于预测所述模板)。被认为不可用的重构样本可被填充(例如，使用可用重构样本来填充)。
所述重构样本可能位于所述当前块邻接的面不连续的另一侧。可以使用一个或多个球形相邻者来代替帧打包相邻者。所述球形相邻者可以通过展开所述几何结构并使用来自相邻面的样本来导出。这可以被称为基于面的填充。例如，如图18的(a)和(b)所示，块A的顶部模板可以从其球形相邻块E导出。例如，如果在块A和块D之间存在面不连续，则块D可以不用于填充。
可基于块相对于面不连续的位置来对该块禁用DIMD。例如，DIMD可以针对以下一个或多个而被禁用：其在顶部模板和左侧模板中的样本不位于所述当前块所属的同一面的块，和/或其用于预测所述顶部模板和左侧模板的参考样本不位于所述当前块所属的同一面的块。
在面不连续处的重叠块运动补偿可被执行。为了避免在OBMC中使用不适当的样本进行调整，可以跳过基于位于当前块(或子块)邻接的面不连续的另一侧的相邻块(或子块)的调整。如果面不连续位于当前块(或子块)的上方，则可以跳过使用位于该面不连续另一侧的上方块(或子块)的运动向量对所述当前块(或子块)的前数行进行调整。如果面不连续位于当前块(或子块)的下方，则可以跳过使用位于所述面不连续另一侧的下方块(或子块)的运动向量对所述当前块(或子块)的最后数行的调整。如果面不连续位于当前块(或子块)的左侧，则可以跳过使用位于所述面不连续另一侧的左侧块(或子块)的运动向量对所述当前块(或子块)的前数列的调整。如果面不连续位于当前块(或子块)的右侧，则可以跳过使用位于面不连续另一侧的右侧块(或子块)的运动向量来调整当前块(或子块)的最后数列。
可以基于跨越一块或子块的面不连续来跳过对该块或子块的调整。例如，如果面不连续跨越当前块或子块，则可以跳过对面不连续所跨越的该块或子块边界的调整。当水平面不连续跨越所述当前块或子块时，可以跳过所述当前块或子块的前数列和/或最后数列的调整。当垂直面不连续跨越所述当前块或子块时，可以跳过对该当前块或子块的前数行和/或最后数行的调整。
面不连续可以跨越块或子块的边界。如果所述当前块或子块的边界被面不连续跨越，则可以应用OBMC。例如，OBMC可以单独应用于块边界的一部分(例如，每个部分)，其可以位于所述面不连续的一侧(例如，每侧)，例如，这可发生在考虑与边界分段(例如，每个边界分段)位于相同面的相应相邻MV的情况下。
子块组可以呈现类似的(例如，相同的)运动信息。OBMC可以被应用于(例如，直接应用于)一组子块(例如，整组子块)，这可发生在例如所述子块呈现相同的运动信息的情况下，则如图21(a)-(b)所示。
子块可以基于它们相对于面不连续的位置而被合并成一个或多个更大的子块组。如果一个或多个子块被合并成更大的子块组，则属于同一面的子块(例如，仅该子块)可以被合并在一起。例如，如果一个块被水平面不连续跨越，并且该块左侧的子块(例如，所有子块)具有相同的运动信息，则该相邻子块可以被分组在一起(例如，分成两组)。该分组在一起的相邻子块可以用于执行基于外部OBMC的运动补偿。如图24(c)中所见，这些子块组可以对应于运动补偿(例如，图24(c)中的MC2和MC3)。如图24(c)所示，组可以位于面不连续的一侧。
基于OBMC的运动补偿可以在考虑所述子块所属的面的情况下来应用。例如，如果执行几何结构填充，则可以使用对应的填充面来应用所述基于OBMC的运动补偿。可以基于组和/或子块相对于面不连续的位置，对该组和/或子块禁用OBMC。例如，对于属于与当前块的左上位置的面不同的面的组和/或子块，可以禁用OBMC。在图24(c)所示的示例中，可以禁用基于OBMC的运动补偿(例如，图24(c)中的MC3)。
OBMC可以使用相邻块或子块的MV来对当前块或子块执行运动补偿。当相邻MV来自与当前块或子块不同的面时，可以针对该MV禁用OBMC。OBMC可以使用相邻MV来组合一个或多个预测信号，以生成当前块的最终预测信号。如果使用相邻MV生成的预测信号使用来自与当前块或子块的面不同的面的样本，则可以针对该MV禁用OBMC。
例如，块或子块可能位于面不连续下方。可调整所述块或子块的左边界。如果使用左相邻运动向量(例如，其可以来自与当前块或子块相同的面)和/或使用来自面不连续上方的样本来生成所述预测信号，则可以针对左侧块或子块边界禁用OBMC。
在示例中，针对位于面不连续附近的块(或子块)，可以禁用(例如，完全禁用)OBMC。在示例中，可以禁用(例如，完全禁用)用于被面不连续跨越的块(或子块)的OBMC。
解块滤波器可以应用在面不连续处。
当在解块滤波器中使用的一个或多个(例如，所有)样本不位于面不连续的相同侧时，可以跳过对在该面不连续附近的块边界的解块。例如，如果垂直块边界在垂直面不连续的附近，使得在解块滤波器中使用的一个或多个(例如，所有)样本不位于所述面不连续的相同侧，则可以跨该块边界禁用所述解块滤波器。如果水平块边界在水平面不连续附近，使得在解块滤波器中使用的一个或多个(例如，所有)样本不位于所述面不连续的相同侧，则可以跨该块边界禁用所述解块滤波器。
可以在面不连续处应用样本自适应偏移(SAO)滤波器。可以禁用SAO中的边缘偏移模式中的一个或多个类别，其中对于该一个或两个类别，在梯度计算中使用的样本在面不连续的两个不同侧。例如，如果面不连续位于当前样本位置之上或之下，则可以针对该样本位置禁用垂直类别和两个对角类别。如果面不连续位于当前样本位置的左侧或右侧，则对于该样本位置，可以禁用水平类别和两个对角类别。在示例中，对于位于面不连续附近的样本，可以禁用(例如，完全禁用)SAO中的边缘偏移模式。
自适应环路滤波器(ALF)可以应用于面不连续。ALF可跳过最大滤波器与面不连续交叉的样本位置。例如，ALF可以跳过在滤波过程中使用的样本在面不连续的两个不同侧的样本位置。对于亮度分量，其可以使用高达9×9菱形滤波器(例如，参见图16(c))，ALF可以对于位于面不连续的四个样本内的样本而被禁用。对于可以使用(例如，仅使用)5×5菱形滤波器(例如，参见图16(a))的色度分量，可以针对位于面不连续的两个样本内的样本而禁用ALF。
在示例中，对于位于面不连续旁边的块和/或对于包括面不连续的块，ALF可以被禁用(例如，完全禁用)。禁用ALF可允许解码器在块级执行确定(例如，ALF是开启还是关闭)。ALF可以在图像级和/或块级被适配(例如，被开启/关闭)。对于给定块，例如当该块受到面不连续影响时(例如，该块被面不连续跨越或与面不连续相邻)，ALF可被关闭。可以跳过针对该块的块级信令，并且可以推断针对该块的ALF是关闭的。
ALF分类过程可跳过ALF滤波可被禁用的一个或多个样本位置和/或样本位置块。例如，所述ALF分类可以跳过一样本位置，因为该样本位置受面不连续影响(例如，在该分类过程中在该样本位置使用的样本在面不连续的两个不同侧上)。ALF分类可以跳过一块，其中该块内的一个或多个样本受面不连续影响。可对2×2块单元执行ALF分类。
图25A是示出了可以实施一个或多个所公开的实施例的示例通信系统100的示图。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够接入此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图25A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。每一个基站114a、114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。举例来说，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件，然而应该了解。基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。举例来说，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新型无线电(NR)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。举例来说，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图25A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图25A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，其中所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图25A中没有显示，然而应该了解，RAN 104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备系统。所述网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，所述其他网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图25A所示的WTRU 102c可被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图25B是示出了例示WTRU 102的系统图示。如图25B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图25B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图25B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户标识模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一个或多个：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减少和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图25C是示出了根据实施例的RAN 104和CN 106的系统图示。如上所述，RAN 104可以在空中接口116上使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c，然而应该了解，在保持符合实施例的同时，RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b、160c都可以包括在空中接口116上与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施例中，e节点B 160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。
每一个e节点B 160a、160b、160c都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图25C所示，e节点B 160a、160b、160c彼此可以通过X2接口进行通信。
图25C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然前述的每一个部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的每一个e节点B 162a、162b、162c，并且可以充当控制节点。例如，MME 142可以负责验证WTRU 102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162还可以提供一个用于在RAN 104与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c。SGW164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW 164还可以执行其他功能，例如在eNB间的切换过程中锚用户平面，在DL数据可供WTRU 102a、102b、102c使用时触发寻呼处理，以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 166，所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU 102a、102b、102c提供电路交换网络(例如PSTN 108)接入，以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括一个IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU 102a、102b、102c提供针对其他网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。
虽然在图25A-25D中将WTRU描述成了无线终端，然而应该想到的是，在某些典型实施例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。
在典型实施例中，所述其他网络112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以接入或是对接到分布式系统(DS)或是将业务送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务可以通过AP来发送，例如源STA可以向AP发送业务并且AP可以将业务递送至目的地STA。处于BSS内部的STA之间的业务可被认为和/或称为点到点业务。所述点到点业务可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些典型实施例中，DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些典型实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在指定的BSS中，在任何指定时间可有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理和时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。与802.11n和802.11ac相比，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据某些典型实施例，802.11ah可以支持仪表类型控制/机器类型通信，例如宏覆盖区域中的MTC设备。MTC可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如，802.11n、802.11ac、802.11af以及802.11ah)来说，所述WLAN系统包括一个可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如，因为STA(其仅支持1MHz工作模式)正在对AP进行传输)，那么即使大多数的频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。
图25D是示出了根据实施例的RAN 113和CN 115的系统图示。如上所述，RAN 113可以在空中接口116上使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c，但是应该了解，在保持符合实施例的同时，RAN 113可以包括任何数量的gNB。每一个gNB 180a、180b、180c都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中，gNB180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此，举例来说，gNB 180a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。在实施例中，gNB180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a传送多个分量载波(未显示)。这些分量载波的一个子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在实施例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩数字配置(numerology)相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如e节点B 160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如e节点B 160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c进行通信。在非独立配置中，e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU 102a、102b、102c提供服务。
每一个gNB 180a、180b、180c都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图25D所示，gNB 180a、180b、180c彼此可以通过Xn接口通信。
图25D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一个前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的一者或多者gNB 180a、180b、180c，并且可以充当控制节点。例如，AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户，支持网络切片(例如处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、182b可以使用网络切片处理，以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。举例来说，针对不同的使用情况，可以建立不同的网络切片，所述使用情况例如为依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类型通信(MTC)接入的服务等等。AMF 162可以提供用于在RAN 113与使用其他无线电技术(例如LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF 184a、184b来配置业务路由。SMF 183a、183b可以执行其他功能，例如管理和分配WTRU/UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接到RAN 113中的一者或多者gNB 180a、180b、180c，这样可以为WTRU 102a、102b、102c提供对分组交换网络(例如因特网110)的接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信，UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚处理等等。
CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外，CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在一个实施例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与数据网络(DN)185a、185b之间的N6接口并通过UPF 184a、184b连接到本地DN 185a、185b。
有鉴于图25A-25D以及关于图25A-25D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF184a-b、SMF183a-b、DN 185a-b和/或这里描述的其他任何设备(一个或多个)。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素以任何组合使用。另外，本文描述的方法可以在结合在计算机可读介质中的计算机程序、软件或固件中实现，以由计算机或处理器执行。计算机可读媒体的示例包括但不限于电子信号(通过有线或无线连接传输)和计算机可读存储媒体。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁媒体(例如内部硬盘和可移除磁盘)、磁光媒体和光学媒体(例如CD-ROM盘和数字通用盘(DVD))。与软件相关联的处理器可用于实施用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发信机。

Claims (38)

1.一种用于视频解码的方法，包括：
获得虚拟边界环路滤波器禁用指示符，所述虚拟边界环路滤波器禁用指示符被配置为指示将在图片中的虚拟边界上禁用环路滤波；
基于所述虚拟边界环路滤波器禁用指示符被配置为指示将在所述图片中的所述虚拟边界上禁用所述环路滤波，获得虚拟边界位置指示符，其中所述虚拟边界位置指示符被配置为指示与所述图片中的将禁用所述环路滤波的所述虚拟边界相关联的沿着轴的位置；
基于所获得的虚拟边界位置指示符，确定所述图片中的将禁用所述环路滤波的所述虚拟边界的的位置；以及
在所述图片中的所述虚拟边界的所确定的位置上，禁用所述环路滤波。
2.根据权利要求1所述的方法，其中所述虚拟边界位置指示符进一步被配置为指示所述图片中的虚拟边界的数目。
3.根据权利要求1所述的方法，其中所述虚拟边界位置指示符进一步被配置为指示所述图片中将禁用所述环路滤波的虚拟边界的数目。
4.根据权利要求1所述的方法，其中所述虚拟边界位置指示符被配置为指示至少一个虚拟边界的开始位置及结束位置。
5.根据权利要求1所述的方法，其中所述虚拟边界位置指示符包括垂直虚拟边界位置指示符或水平虚拟边界位置指示符中的至少一者，其中所述垂直虚拟边界位置指示符被配置为指示沿着水平轴的与所述图片中的将禁用所述环路滤波的垂直虚拟边界相关联的位置，且其中所述水平虚拟边界位置指示符被配置为指示沿着垂直轴的与所述图片中的将禁用所述环路滤波的水平虚拟边界相关联的位置。
6.根据权利要求1所述的方法，其中所述图片包括具有多个面的帧封装图片，并且所述图片中的所述虚拟边界包括所述图片中的面边界。
7.根据权利要求1所述的方法，其中所述虚拟边界环路滤波器禁用指示符在序列参数集SPS层级处被获得。
8.根据权利要求1所述的方法，其中所述环路滤波包括自适应环路滤波器ALF、解块滤波器或样本自适应偏移SAO滤波器中的至少一者。
9.根据权利要求1所述的方法，其中所述图片与360度视频相关联。
10.一种用于视频解码的装置，其包括：
处理器，其被配置为：
获得虚拟边界环路滤波器禁用指示符，其被配置为指示将在图片中的虚拟边界上禁用环路滤波；
基于所述虚拟边界环路滤波器禁用指示符被配置为指示将在所述图片中的所述虚拟边界上禁用所述环路滤波，获得虚拟边界位置指示符，其中所述虚拟边界位置指示符被配置为指示与所述图片中的将禁用所述环路滤波的所述虚拟边界相关联的沿着轴的位置；
基于所获得的虚拟边界位置指示符，确定所述图片中的将禁用所述环路滤波的所述虚拟边界的的位置；以及
在所述图片中的所述虚拟边界的所确定的位置上，禁用所述环路滤波。
11.根据权利要求10所述的装置，其中所述虚拟边界位置指示符进一步被配置为指示所述图片中的虚拟边界的数目。
12.根据权利要求10所述的装置，其中所述虚拟边界位置指示符进一步被配置为指示所述图片中将禁用所述环路滤波的虚拟边界的数目。
13.根据权利要求10所述的装置，其中所述虚拟边界位置指示符被配置为指示至少一个虚拟边界的开始位置及结束位置。
14.根据权利要求10所述的装置，其中所述虚拟边界位置指示符包括垂直虚拟边界位置指示符或水平虚拟边界位置指示符中的至少一者，其中所述垂直虚拟边界位置指示符被配置为指示沿着水平轴的与所述图片中的将禁用所述环路滤波的垂直虚拟边界相关联的位置，且其中所述水平虚拟边界位置指示符被配置为指示沿着垂直轴的与所述图片中的将禁用所述环路滤波的水平虚拟边界相关联的位置。
15.根据权利要求10所述的装置，其中所述图片包括具有多个面的帧封装图片，并且所述图片中的所述虚拟边界包括所述图片中的面边界。
16.根据权利要求10所述的装置，其中所述虚拟边界环路滤波器禁用指示符是在序列参数集SPS层级获得的。
17.根据权利要求10所述的装置，其中所述环路滤波包括自适应环路滤波器ALF、解块滤波器或样本自适应偏移SAO滤波器中的至少一者。
18.根据权利要求10所述的装置，其中所述图片与360度视频相关联。
19.一种用于视频编码的方法，包括：
确定将在图片中的虚拟边界上禁用环路滤波；
获取虚拟边界位置，其中所述虚拟边界位置与所述图片中的所述虚拟边界相关联；以及
在视频数据中包含虚拟边界环路滤波器禁用指示符和虚拟边界位置指示符，其中所述虚拟边界环路滤波器禁用指示符被配置为指示在所述图片中的所述虚拟边界上将禁用所述环路滤波，且其中所述虚拟边界位置指示符被配置为指示与所述图片中的将禁用所述环路滤波的所述虚拟边界相关联的沿着轴的位置。
20.根据权利要求19所述的方法，其中所述虚拟边界位置指示符进一步被配置为指示所述图片中的虚拟边界的数目。
21.根据权利要求19所述的方法，其中所述虚拟边界位置指示符进一步被配置为指示所述图片中将禁用所述环路滤波的虚拟边界的数目。
22.根据权利要求19所述的方法，其中所述虚拟边界位置指示符被配置为指示至少一个虚拟边界的开始位置及结束位置。
23.根据权利要求19所述的方法，其中所述虚拟边界位置指示符包括垂直虚拟边界位置指示符或水平虚拟边界位置指示符中的至少一者，其中所述垂直虚拟边界位置指示符被配置为指示沿着水平轴的与所述图片中的将禁用所述环路滤波的垂直虚拟边界相关联的位置，且其中所述水平虚拟边界位置指示符被配置为指示沿着垂直轴的与所述图片中的将禁用所述环路滤波的水平虚拟边界相关联的位置。
24.根据权利要求19所述的方法，其中所述图片包括具有多个面的帧封装图片，并且所述图片中的所述虚拟边界包括所述图片中的面边界。
25.根据权利要求19所述的方法，其中所述虚拟边界环路滤波器禁用指示符在序列参数集SPS层级处被获得。
26.根据权利要求19所述的方法，其中所述环路滤波包括自适应环路滤波器ALF、解块滤波器或样本自适应偏移SAO滤波器中的至少一者。
27.根据权利要求19所述的方法，其中所述图片与360度视频相关联。
28.一种用于视频编码的装置，其包括：
处理器，其被配置为：
确定将在图片中的虚拟边界上禁用环路滤波；
获取虚拟边界位置，其中所述虚拟边界位置与所述图片中的所述虚拟边界相关联；以及
在视频数据中包含虚拟边界环路滤波器禁用指示符和虚拟边界位置指示符，其中所述虚拟边界环路滤波器禁用指示符被配置为指示在所述图片中的所述虚拟边界上将禁用所述环路滤波，且其中所述虚拟边界位置指示符被配置为指示与所述图片中的将禁用所述环路滤波的所述虚拟边界相关联的沿着轴的位置。
29.根据权利要求28所述的装置，其中所述虚拟边界位置指示符进一步被配置为指示所述图片中的虚拟边界的数目。
30.根据权利要求28所述的装置，其中所述虚拟边界位置指示符进一步被配置为指示所述图片中将禁用所述环路滤波的虚拟边界的数目。
31.根据权利要求28所述的装置，其中所述虚拟边界位置指示符被配置为指示至少一个虚拟边界的开始位置和结束位置。
32.根据权利要求28所述的装置，其中所述虚拟边界位置指示符包括垂直虚拟边界位置指示符或水平虚拟边界位置指示符中的至少一者，其中所述垂直虚拟边界位置指示符被配置为指示沿着水平轴的与所述图片中的将禁用所述环路滤波的垂直虚拟边界相关联的位置，且其中所述水平虚拟边界位置指示符被配置为指示沿着垂直轴的与所述图片中的将禁用所述环路滤波的水平虚拟边界相关联的位置。
33.根据权利要求28所述的装置，其中所述图片包括具有多个面的帧封装图片，并且所述图片中的所述虚拟边界包括所述图片中的面边界。
34.根据权利要求28所述的装置，其中所述虚拟边界环路滤波器禁用指示符是在序列参数集SPS层级处被获得的。
35.根据权利要求28所述的装置，其中所述环路滤波包括自适应环路滤波器ALF、解块滤波器或样本自适应偏移SAO滤波器中的至少一者。
36.根据权利要求28所述的装置，其中所述图片与360度视频相关联。
37.一种计算机可读存储介质，包括用于视频解码的指令，所述指令使处理器执行根据权利要求1-9中任一项所述的方法。
38.一种计算机可读存储介质，包括用于编码的指令，所述指令使处理器执行根据权利要求19-27中任一项所述的方法。
CN202310953723.2A 2017-09-20 2018-09-19 用于编码的方法和装置和用于解码的方法和装置 Pending CN117061771A (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201762560992P 2017-09-20 2017-09-20
US62/560,992 2017-09-20
US201862622551P 2018-01-26 2018-01-26
US62/622,551 2018-01-26
US201862625575P 2018-02-02 2018-02-02
US62/625,575 2018-02-02
US201862628752P 2018-02-09 2018-02-09
US62/628,752 2018-02-09
CN201880061181.5A CN111183646B (zh) 2017-09-20 2018-09-19 用于编码的方法和装置、用于解码的方法和装置以及存储介质
PCT/US2018/051798 WO2019060443A1 (en) 2017-09-20 2018-09-19 HANDLING FACIAL DISCONTINUITIES IN 360-DEGREE VIDEO CODING

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880061181.5A Division CN111183646B (zh) 2017-09-20 2018-09-19 用于编码的方法和装置、用于解码的方法和装置以及存储介质

Publications (1)

Publication Number Publication Date
CN117061771A true CN117061771A (zh) 2023-11-14

Family

ID=63862200

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310953723.2A Pending CN117061771A (zh) 2017-09-20 2018-09-19 用于编码的方法和装置和用于解码的方法和装置
CN201880061181.5A Active CN111183646B (zh) 2017-09-20 2018-09-19 用于编码的方法和装置、用于解码的方法和装置以及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880061181.5A Active CN111183646B (zh) 2017-09-20 2018-09-19 用于编码的方法和装置、用于解码的方法和装置以及存储介质

Country Status (7)

Country Link
US (2) US11418816B2 (zh)
EP (1) EP3685585A1 (zh)
JP (2) JP7343487B2 (zh)
KR (1) KR20200064989A (zh)
CN (2) CN117061771A (zh)
IL (1) IL273379A (zh)
WO (1) WO2019060443A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN111615828B (zh) * 2017-11-29 2023-01-10 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
KR20230057481A (ko) * 2018-03-29 2023-04-28 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 블록 단위의 화상 코딩을 위한 인트라 예측 모드 개념
EP3629579A1 (en) * 2018-09-27 2020-04-01 Ateme Method for image processing and apparatus for implementing the same
JP7271672B2 (ja) * 2018-12-14 2023-05-11 中興通訊股▲ふん▼有限公司 没入型ビデオビットストリーム処理
US11095921B2 (en) * 2018-12-18 2021-08-17 Tencent America LLC Method and apparatus for video encoding or decoding
US11044473B2 (en) * 2018-12-21 2021-06-22 Qualcomm Incorporated Adaptive loop filtering classification in video coding
WO2020182167A1 (en) * 2019-03-12 2020-09-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image coding
US11159791B2 (en) * 2019-03-16 2021-10-26 Mediatek Inc. Method and apparatus for signaling adaptive loop filter parameters in video coding
EP3935839A4 (en) * 2019-04-09 2022-06-22 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND DEVICES FOR SIGNALING MERGE MODES IN VIDEO ENCODING
US20220201286A1 (en) * 2019-04-25 2022-06-23 Mediatek Inc. Method and Apparatus of Encoding or Decoding with Mode Dependent Intra Smoothing Filter in Intra Prediction
CN113632464B (zh) * 2019-05-21 2023-04-28 华为技术有限公司 分量间预测的方法和设备
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
US11159822B2 (en) * 2019-07-11 2021-10-26 Qualcomm Incorporated Intra-prediction according to virtual boundaries for video coding
US11432015B2 (en) * 2019-07-11 2022-08-30 Qualcomm Incorporated Adaptive loop filtering across raster-scan slices
US11234010B2 (en) * 2019-08-28 2022-01-25 Qualcomm Incorporated Cross-component adaptive loop filtering for video coding
JP7368145B2 (ja) * 2019-08-28 2023-10-24 シャープ株式会社 画像符号化装置、および、画像復号装置
US11115671B2 (en) * 2019-09-18 2021-09-07 Panasonic Intellectual Property Corporation Of America System and method for video coding
BR112022005046A2 (pt) 2019-09-18 2022-07-05 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador e meio de gravação não transitório legível por computador
EP4018652A4 (en) 2019-09-22 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. FILLING METHOD IN AN ADAPTIVE LOOP FILTER
CN114450954A (zh) 2019-09-27 2022-05-06 北京字节跳动网络技术有限公司 不同视频单元之间的自适应环路滤波
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
EP4042684A4 (en) 2019-10-29 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SIGNALING AN ADAPTIVE CROSS-COMPONENT LOOP FILTER
WO2021101201A1 (ko) * 2019-11-18 2021-05-27 엘지전자 주식회사 루프 필터링을 제어하는 영상 코딩 장치 및 방법
MX2022006734A (es) 2019-12-11 2022-06-09 Beijing Bytedance Network Tech Co Ltd Relleno de muestra para filtrado de circuito adaptivo de componente cruzado.
AU2020414207B2 (en) * 2019-12-23 2024-05-02 Lg Electronics Inc Image coding apparatus and method based on sub-picture
JP7180001B2 (ja) 2019-12-24 2022-11-29 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 適応ループフィルタ処理のための仮想境界処理
CN114788264B (zh) * 2019-12-30 2023-07-25 阿里巴巴（中国）有限公司 用于发出虚拟边界和环绕运动补偿的信号的方法
CN112544081B (zh) * 2019-12-31 2023-12-22 北京大学 环路滤波的方法与装置
CN114830663A (zh) * 2019-12-31 2022-07-29 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
US11477490B2 (en) * 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
US20230179803A1 (en) * 2020-04-02 2023-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Virtual boundary signaling
CN112514382A (zh) * 2020-04-09 2021-03-16 北京大学 一种视频编解码方法、装置以及计算机可读存储介质
EP4154529A1 (en) 2020-05-22 2023-03-29 Alibaba Group Holding Limited Method and apparatus for processing video content
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
JP2024513939A (ja) * 2021-04-12 2024-03-27 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 重複ブロック動き補償
US11943432B2 (en) 2021-04-26 2024-03-26 Tencent America LLC Decoder side intra mode derivation
US20240040142A1 (en) * 2022-07-26 2024-02-01 Tencent America LLC Method and apparatus for warp sample selection and grouping

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
GB2488829A (en) * 2011-03-10 2012-09-12 Canon Kk Encoding and decoding image data
KR20130034566A (ko) 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
CN102509350B (zh) * 2011-09-30 2013-12-25 北京航空航天大学 一种基于立方体的体育运动赛事信息可视化方法
US9161046B2 (en) * 2011-10-25 2015-10-13 Qualcomm Incorporated Determining quantization parameters for deblocking filtering for video coding
US20130107973A1 (en) 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
JP6222576B2 (ja) 2012-03-21 2017-11-01 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US8983218B2 (en) * 2012-04-11 2015-03-17 Texas Instruments Incorporated Virtual boundary processing simplification for adaptive loop filtering (ALF) in video coding
US9503702B2 (en) 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
RS56322B1 (sr) * 2012-04-16 2017-12-29 Hfi Innovation Inc Postupak i aparat za filtriranje u petlji preko granica režnja ili pločice
CN104813669B (zh) 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
CA2897152C (en) 2013-01-07 2019-03-05 Kemal Ugur Inter-layer video encoding and decoding with adaptive resolution change at indicated switching points
US9648335B2 (en) 2013-07-12 2017-05-09 Qualcomm Incorporated Bitstream restrictions on picture partitions across layers
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
EP3090558A4 (en) 2014-01-03 2017-08-16 Nokia Technologies OY Parameter set coding
US20150271515A1 (en) 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
WO2016064862A1 (en) 2014-10-20 2016-04-28 Google Inc. Continuous prediction domain
US9918082B2 (en) 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
CN104702963B (zh) * 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
JP6559337B2 (ja) 2015-09-23 2019-08-14 ノキア テクノロジーズ オーユー ３６０度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
CN108702528B (zh) 2016-02-17 2021-06-01 Lg电子株式会社 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
US20170272758A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
US10368067B2 (en) 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
US10887621B2 (en) 2016-07-08 2021-01-05 Vid Scale, Inc. 360-degree video coding using geometry projection
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
WO2018045108A1 (en) 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
EP3301914A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
KR20180042098A (ko) * 2016-10-17 2018-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US20180192074A1 (en) 2017-01-03 2018-07-05 Mediatek Inc. Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
CN117560504A (zh) 2017-03-17 2024-02-13 Vid拓展公司 基于几何图形填充的用于360度视频的预测编码
CN110692249A (zh) 2017-04-11 2020-01-14 Vid拓展公司 使用面部连续性的360度视频编码
CN111713111B (zh) 2017-12-19 2024-04-09 Vid拓展公司 用于360度视频译码的面不连续性滤波

Also Published As

Publication number Publication date
WO2019060443A1 (en) 2019-03-28
US20200260120A1 (en) 2020-08-13
US11418816B2 (en) 2022-08-16
IL273379A (en) 2020-05-31
US20220377385A1 (en) 2022-11-24
JP7343487B2 (ja) 2023-09-12
JP2023159440A (ja) 2023-10-31
KR20200064989A (ko) 2020-06-08
JP2020534750A (ja) 2020-11-26
CN111183646B (zh) 2023-08-04
CN111183646A (zh) 2020-05-19
EP3685585A1 (en) 2020-07-29

Similar Documents

Publication Publication Date Title
CN111183646B (zh) 用于编码的方法和装置、用于解码的方法和装置以及存储介质
JP7357747B2 (ja) 面連続性を使用する３６０度ビデオコーディング
CN111713111B (zh) 用于360度视频译码的面不连续性滤波
JP7406378B2 (ja) ３６０度ビデオ符号化のための適応的量子化
CN112740701A (zh) 用于360度视频译码的样本导出
CN110651476B (zh) 基于几何图形填充的用于360度视频的预测编码
CN111602401B (zh) 用于360度视频译码的自适应帧封装
CN110870317B (zh) 用于对360度视频内容进行编码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination