CN110692249A - 使用面部连续性的360度视频编码 - Google Patents

使用面部连续性的360度视频编码 Download PDF

Info

Publication number
CN110692249A
CN110692249A CN201880035746.2A CN201880035746A CN110692249A CN 110692249 A CN110692249 A CN 110692249A CN 201880035746 A CN201880035746 A CN 201880035746A CN 110692249 A CN110692249 A CN 110692249A
Authority
CN
China
Prior art keywords
face
current block
boundary
block
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880035746.2A
Other languages
English (en)
Inventor
菲利普·汉哈特
贺玉文
叶艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN110692249A publication Critical patent/CN110692249A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

编码设备(作为示例该设备可以是或者可以包括编码器和/或解码器)可以接收360度视频的帧封装画面。该编码设备可以识别帧封装画面中当前块所属的面部。该编码设备可以确定当前块位于当前块所属的面部的边界。编码设备可以识别当前块的多个球形相邻块。编码设备可以识别跨面部边界相邻块。编码设备可以识别帧封装画面中与跨面部边界相邻块相对应的块。编码设别可以基于所识别的块的可用性来确定是否使用所识别的块来编码当前块。编码设备可以基于使用所识别的块的确定来编码当前块。

Description

使用面部连续性的360度视频编码
相关申请的交叉引用
本申请要求享有2017年04月11日提交的美国临时申请序列号62/484,218以及2017年06月28日提交的美国临时申请序列号62/525,880的权益，所述申请的内容在这里被引入以作为参考。
背景技术
虚拟现实(VR)已经开始进入我们的日常生活。例如，VR在不同领域中具有诸多应用，这些领域包括但不局限于医疗保健、教育、社交网络、行业设计/培训、游戏、电影、购物和/或娱乐。VR可以增强观看者的体验，例如通过创建围绕观看者的虚拟环境以及为观看者产生真正的“身临其境”感。作为示例，用户体验可以依赖于在VR环境中提供完整的真实感觉。例如，VR系统可以通过姿态、手势、眼睛注视和/或语音来支持交互。VR系统可以向用户提供触觉反馈，以便允许用户以自然的方式来与VR世界中的对象进行交互。例如，VR系统可以使用360度视频来为用户提供从水平方向的360度角和/或垂直方向上的180度角观看场景的能力。
发明内容
一种编码设备(例如可以是或者可以包括编码器和/或解码器的设备)可以接收360度视频的帧封装画面。该帧封装画面可以包括多个面部以及当前块。该编码设备可以识别帧封装画面中当前块所属的面部。该编码设备可以确定当前块位于当前块所属面部的离开(exiting)边界。作为示例，编码设备可以依照帧封装画面的编码顺序来确定当前块位于当前块所属面部的离开边界。当前块所属面部的离开边界所在的方向可以和与当前块相对的编码顺序相同。
帧封装画面可以以某种编码顺序来编码。在示例中，编码顺序可以具有和关联于帧封装画面的当前块相对的从左到右的方向。在示例中，编码顺序可以具有与当前块相对的从顶到底的方向。在示例中，编码顺序可以具有与当前块相对的从左到右和从顶到底的方向。在示例中，如果编码顺序具有与当前块相对的从左到右的方向，那么面部的离开边界可以位于右侧(例如当前块所属面部的最右侧)。在示例中，如果编码顺序具有与当前块相对的从顶到底的方向，那么面部的离开边界可以位于底侧(例如当前块所属面部的最底侧)。在示例中，如果编码顺序具有与当前块相对的从左到右和从顶到底的方向，那么面部的离开边界可以位于当前面部的右侧和底侧(例如当前块所属面部的最右侧和最底侧)。
一旦确定当前块位于当前块所属面部的离开边界，则编码设备可以使用位于与当前块所属面部的离开边界共享边界的面部上的跨面部边界相邻块来编码当前块。例如，编码设备可以识别当前块的多个球形相邻块。作为示例，编码设备可以基于360度视频的球形特征来识别当前块的多个球形相邻块。编码设备可以识别与当前块相关联的跨面部边界相邻块。例如，编码设备可以在所识别的当前块的多个球形相邻块之中识别出跨面部边界相邻块。在示例中，所述跨面部边界相邻块可以位于与当前块所属面部的离开边界共享边界的面部。在示例中，跨面部边界相邻块可以位于当前块所属面部边界的对面，并且其所在方向可以和与当前块相对的编码顺序相同。
编码设备可以确定是否使用跨面部边界相邻块来对当前块进行编码。例如，与跨面部边界相邻块相对应的帧封装画面中的块可以被识别。与跨面部边界相邻块相对应的帧封装画面中的块可以是基于360度视频的帧封装信息识别的。编码设备可以基于和与跨面部边界相邻块相对应的的帧封装画面中的被识别的块的可用性来确定是否使用所述帧封装画面中的被识别的块编码所述当前块。例如，帧封装画面中的被识别的块的可用性可以基于所述被识别的块是否已被编码来确定。编码设备可以基于该确定来使用帧封装画面中的被识别的块编码当前块，并且可以使用与跨面部边界相邻块相对应的被识别和可用的块来编码当前块。
这里使用的360度视频可以包括或者可以是球形视频、全向视频、虚拟现实(VR)视频、全景视频、沉浸式视频(例如可以包含6个自由度的光场视频)和/或点云视频等等。
附图说明
图1A描述了采用经度(φ)和纬度(θ)的例示球体采样。
图1B描述了使用等矩形投影(ERP)而被投影到2D平面的例示球体。
图1C描述了使用ERP产生的例示画面。
图2A描述了立方体映射(cubmap)投影(CMP)中的例示的3D几何图形。
图2B描述了使用4×3帧封装处理并具有六个面部的例示的2D平面(planar)。
图2C描述了使用CMP产生的例示画面。
图3描述了用于360度视频系统的例示工作流程。
图4A描述了使用ERP并由重复的填充边界产生的例示画面。
图4B描述了使用CMP并由重复的填充边界产生的例示画面。
图5A描述了供ERP显示填充几何图形的例示的几何图形填充处理。
图5B描述了供ERP显示被填充的ERP画面的例示的几何图形填充处理。
图6A描述了供CMP显示填充几何图形的例示的几何图形填充处理。
图6B描述了供CMP显示被填充的CMP面部的例示的几何图形填充处理。
图7是基于块的视频编码器的例图。
图8是基于块的视频解码器的例图。
图9描述的是在高效视频编码(HEVC)帧内预测中使用的例示的参考采样。
图10描述了关于HEVC中的帧内预测方向的例示指示。
图11A描述了将顶侧参考行延伸到左侧的左侧参考采样的例示投影。
图11B描述了向上扩展左侧参考列的上述参考采样的例示投影。
图12A-D描述了用于(A)帧内模式2；(B)帧内模式34；(C)帧内模式3-6；(D)帧内模式30-33的例示边界预测滤波处理。
图13描述了供HEVC帧内角度处理中的最可能的模式使用的例示空间邻居。
图14描述了用于在跨分量线性模型预测中推导α和β的采样的例示位置。
图15描述了具有一个运动矢量的例示的帧间预测处理。
图16描述了用于画面边界之外的参考采样的例示填充处理。
图17描述了供HEVC合并过程中的合并候选使用的例示空间邻居。
图18A描述了关于CMP的例示的3D表示。
图18B描述了关于CMP的例示的3×2帧封装配置。
图19描述了用于在帧内和帧间编码处理中预测当前块的例示的重建采样。
图20A-C描述了位于(A)右侧面部边界；(B)底侧面部边界；以及(C)底侧右侧面部边界的例示空间邻居。
图21A-C描述了位于(A)右侧面部边界；(B)底侧面部边界；(C)底侧右侧面部边界的重建采样的例示可用性。
图22A-B描述了位于(A)左侧面部边界；(B)底侧边界的例示的附加帧内预测模式。
图23A-D描述了位于(A-B)右侧面部边界以及(C-D)底侧面部边界的例示的附加帧内预测模式。
图24A-D描述了位于(A-B)右侧面部边界以及(C-D)底侧面部边界的例示的双向帧内预测。
图25A-H描绘了针对以下各项的在右侧面部边界上进行的例示的边界预测滤波处理：(A)帧内模式2；(B)帧内模式3-6；(C)帧内模式7-9；(D)帧内模式10；(E)帧内模式11-17；(F)帧内模式18；(G)帧内模式19-21；以及(H)帧内模式22。
图26A-H描述了针对以下各项的在底侧面部边界上进行的例示边界预测滤波处理：(A)帧内模式14；(B)帧内模式15-17；(C)帧内模式18；(D)帧内模式19-25；(E)帧内模式26；(F)帧内模式27-29；(G)帧内模式30-33；以及(H)帧内模式34。
图27A-C描述了供位于(A)右侧面部边界；(B)底侧面部边界；以及(C)底侧右侧面部边界的跨分量线性模型预测的采样的示例位置。
图28示出了用于计算线性模型参数的示例方程式(例如方程式(38)，(41)，(43)和(44))。
图29A-B描述了用于CMP 3×2封装配置的块处理顺序的示例：(A)光栅扫描顺序；(B)面部扫描顺序。
图30描述了例示的编码树单元(CTU)和块分区。
图31描述了例示的3×2封装配置。虚线可以表示CTU边界，并且箭头可以表示两个面部之间的共享边界。
图32描述了这里描述的例示的3×2封装配置。虚线可以表示CTU边界，并且箭头可以表示两个面部之间的共享边界。
图33A是示出了可以实施所公开的一个或多个实施例的例示通信系统的系统图。
图33B是示出了根据实施例的可以在图33A所示的通信系统内部使用的例示的无线发射/接收单元(WTRU)的系统图示。
图33C是示出了根据实施例的可以在图33A所示的通信系统内部使用的例示无线电接入网络(RAN)和例示核心网络(CN)的系统图示。
图33D是示出了根据实施例的可以在图33A所示的通信系统内部使用的另一个例示RAN和另一个例示CN的系统图示。
具体实施方式
现在将参考不同附图来描述关于说明性实施例的具体实施方式。虽然该描述提供了关于可能的实施方式的详细示例，然而应该指出的是，这些细节仅仅是例示性的，并且绝不会对本申请的范围构成限制。
作为示例，VR系统和/或360度视频可以支持超出超高清(UHD)服务的媒体消费。一个或多个小组业已关注于提升VR中的360度视频的质量和/或对用于客户端互操作性的处理链进行标准化。在示例中，在ISO/IEC/MPEG中可以成立特别小组来研究全向媒体应用格式的需求和/或技术。在示例中，特别小组业已执行了针对360度3D视频应用的探索实验。该特别小组业已测试了基于360度视频(例如全向视频)的系统和/或基于多视图的系统。来自MPEG和ITU-T的联合视频探索团队(JVET)正在探索下一代视频编码标准技术，并且呼吁具有包括VR在内的测试序列。目前已经成立了特别小组(AHG8)，并且AHG8小组的任务是制订360度视频编码的通用测试条件、测试序列格式以及评估标准。AHG8将会研究在使用不同投影方法时的压缩效果以及转换软件。一个或多个公司都乐意都提供一些360度视频作为测试序列以开发用于360度视频的编码技术。JVET开设了一个参考软件360Lib来执行投影格式转换和测量客观的360度视频质量度量，以便遵循一组常见的测试条件和评估过程来进行实验。考虑到对于360度视频编码的兴趣，JVET同意将360度视频包含在初步联合呼吁中，以便寻求具有超越了HEVC的能力的视频压缩证据。
关于VR处理链中的一个或多个方面(包括捕获、处理、显示和/或应用程序)的质量和/或用户体验是可以改善的。举例来说，在捕获端，VR系统可以使用一个或多个摄像机来从一个或多个不同视图(例如6到12个视图)捕获场景。不同的视图可以被缝合在一起，以便形成高分辨率(例如4K或8K)的360度视频。举例来说，在客户端或用户侧，VR系统可以包括计算平台、头戴式显示器(HMD)和/或头部追踪传感器。该计算平台可以接收和/或解码360度视频，并且可以产生用于显示的视口。针对所述视口可以渲染两个画面，其中每一个画面对应于一只眼睛。在HMD中可以显示这两个画面以进行立体观看。透镜可以用于放大HMD中显示的图像，以便更好地进行观看。头部追踪传感器可以追踪(例如不断追踪)观看者的头部方位，并且可以将该方位信息馈送到系统，以便显示该方位的视口图片。VR系统可以为观看者提供触摸设备(例如专用触摸设备)，例如用于与虚拟世界中的对象进行交互。在示例中，VR系统可以由得到GPU支持的工作站来驱动。在示例中，VR系统可以使用智能手机作为计算平台、HMD显示器和/或头部追踪传感器。HMD空间分辨率可以是2160x1200。刷新率可以是90Hz，并且视场(FOV)可以是110度。头部追踪传感器的采样率可以是1000Hz，其可以捕获快速(例如非常快的)运动。关于VR系统的示例可以使用智能手机作为计算平台，并且可以包括透镜和/或纸板。360度视频流传输服务也是可以存在的。
在VR系统中，体验质量(例如交互性和/或触觉反馈)是可以改善的。举例来说，HMD有可能过大和/或可能不方便佩戴。HMD提供的分辨率(作为示例，对于立体视图而言是2160×1200)有可能不足，并且可能会导致用户头晕和/或感到不适。该分辨率可以被提高。来自VR环境中的视觉的感觉可以与现实世界中的反馈(例如力反馈)相结合，并且可以增强VR体验。VR过山车可以是关于此类组合应用的一个示例。
360度视频递送可以表示360度信息(例如使用球形几何结构)。举例来说，一个或多个摄像机捕获的一个或多个同步视图可以在球形上被缝合成一个整体结构。该球形信息可以通过几何图形转换过程而被投影在2D平面上。作为示例，等矩形投影(ERP)和/或立方体映射投影(CMP)可被用于例证投影格式。
ERP可以将球形地球仪的纬度和/或经度坐标映射在网格的水平和/或垂直坐标上(例如直接映射在其上)。图1A描述了采用经度(φ)和纬度(θ)的球形采样示例。图1B描述了被映射到2D平面(例如使用ERP)的球形的示例。图1C描述了使用ERP的投影画面的示例。在航空学中，处于范围[-π,π]的经度φ可以是偏航，并且处于范围[-π/2,π/2]的纬度θ可以是俯仰。π可以是圆周长与其直径的比值。在图1A-B中，(x,y,z)可以表示一个点在3D空间中的坐标，并且(ue,ve)可以表示一个点在2D平面中的坐标。ERP可以如等式1和/或2中显示的那样以数学方式表示：
ue＝(φ/(2*π)+0.5)*W (1)
ve＝(0.5-θ/π)*H (2)
其中W和H可以是2D平面画面的宽度和高度。如图1A所示，通过使用等式(1)和(2)，可以将点P(即球形上的经度L4与纬度A1之间的交叉点)映射到2D平面中的唯一的点q(例如图1B)。2D平面中的点q可以借助反投影而被反向投影到球体上的点P。图1B中的视场(FOV)显示这样一个示例，其中球形上的FOV可被映射到2D平面，并且X轴上的视角约为110度。
通过使用ERP，可以将360度视频映射成2D视频。例如，360度视频可以用视频编解码器(例如H.264和/或HEVC)来编码。经过编码的360度视频可被递送至客户端。在客户端可以解码等矩形视频。所述等矩形视频可以被渲染(例如基于用户视口并通过将属于该等矩形画面中的FOV的部分投影和/或显示在HMD上)。球形视频可被转换成2D平面画面，以便用ERP来编码。等矩形2D画面的特性可能不同于2D画面(例如直线视频)。
图1C描述了使用ERP产生的例示画面。如图1C所示，ERP画面的顶侧和/或底侧部分(作为示例，其分别是北极和/或南极)可以被缝合(例如与画面的中间部分(例如赤道)相比较)。ERP画面的顶侧和/或底侧部分的拉伸可以表明，对于ERP格式而言，球形采样密度有可能是不均匀的。与2D视频相比，可描述相邻ERP画面间的时间相关性的运动场可能会变得更复杂。
视频编解码器(例如MPEG-2，H.264或HEVC)可以使用平移模型来描述运动场。视频编解码器可能无法表示(例如无法有效表示)等矩形投影的2D平面画面中的形状不断变化的运动。如图1C所示，对于观看者和/或内容供应方来说，其对ERP中更靠近极点的区域(例如北极和/或南极)有可能兴趣较低。例如，观看者不会长时间专注于顶侧和/或底侧区域。基于翘曲效应，拉伸区域在ERP之后有可能会变成2D平面的很大一部分，压缩这些区域可能会耗费很多比特。通过应用预处理(例如对极点区域执行平滑处理以减少编码极点区域的带宽)，可以改进等矩形画面编码处理。一种或多种几何图形投影可被用于将360度视频映射到多个面部。作为示例，所述一个或多个几何图形投影可以包括但不局限于立方体映射、等面积、圆柱形、金字塔形和/或八面体。
立方体映射投影(CMP)可以采用一种有利于压缩的格式。CMP包括6个面部。例如，CMP可以包括6个方形面部。这些面部可以是平面方形。图2A描述了采用CMP的例示3D几何图形结构。如果相切球体的半径是1(例如图2A)，那么CMP的一个或多个面部(例如方形面部)的横向长度可以是2。图2B描述了将6个面部置于矩形画面中的例示2D封装方法，所述方法可以用于编码和/或递送。图2C描述了使用CMP产生的例示画面。图2C中显示的阴影部分可以是用于填充矩形画面的被填充区域。就面部而言，该画面看起来与2D画面可以是相同的。面部的边界有可能是不连续的。例如，跨越两个相邻面部的直线可以弯曲和/或可以在两个面部的边界变成多条线段(例如两条线段)。面部边界的运动有可能是不连续的。
对于一种或多种不同几何图形投影的编码效率，目前业已提出了一种或多种客观质量度量。例如，峰值信噪比(PSNR)测量可以包括球形PSNR(S-PSNR)和视口PSNR。在S-PSNR中可以用在一组预先定义的采样(例如均匀分布在球体上的采样)上计算的均方误差(MSE)来测量失真。所使用的可以是基于纬度的PSNR(L-PSNR)。L-PSNR可以基于采样纬度来加权一个或多个采样，由此考虑观看者的观看行为。当观看者观看训练序列时，通过追踪观看者的视角，可以推导出所述加权。如果频繁被观看，那么该加权将会较大。据统计，赤道周围的加权有可能较大。举例来说，由于感兴趣的内容可能位于赤道周围，因此，赤道周围的加权会大于极点(一个或多个)附近的加权。对于视口PSNR来说，视口可以被渲染，并且PSNR可以是在被渲染的视口上计算的。作为示例，球星的一部分可以被考虑从(例如用于失真量度)。在覆盖球形不同部分的多个视口上可以计算平均视口PSNR。S-PSNR可以考虑多个采样。例如，S-PSNR可以考虑可均匀分布在球形上的采样。球形加权均匀PSNR(WS-PSNR)是可以使用的。WS-PSNR可以使用可在2D投影平面上提供的一个或多个(例如全部)采样来计算PSNR。对于2D投影平面上的一个或多个位置，该失真可以通过由采样位置覆盖的球形区域来加权。WS-PSNR可以被计算(例如直接在投影平面中)。针对不同的投影格式，可以得出不同的加权。卡斯特抛物线投影(CPP)可被用于投影360度图像和/或在被投影的图像上计算PSNR。该方法可以是CPP-PSNR。
等矩形格式可以通过360度摄像机和/或缝合过程来支持。在立方体映射几何图形中编码360度视频的处理可以使用将等矩形格式转换成立方体映射格式的处理。等矩形与立方体映射可以具有关联。在图2A中有六个面部(例如PX，NX，PY，NY，PZ和NZ)以及从球形中心(例如O)到面部中心的三个轴(例如X，Y和Z)。“P”可以代表正，并且“N”可以代表负。PX可以是从球形中心开始沿着正的X轴的方向，并且NX可以是PX的反方向。相似的概念也可用于PY，NY，PZ和NZ。所述六个面部(例如PX，NX，PY，NY，PZ和NZ)可以分别对应于前侧、后侧、顶侧、底侧、左侧和右侧。所述面部可以用0到5来索引(例如PX(0)，NX(1)，PY(2)，NY(3)，PZ(4)和NZ(5))。Ps(X_s，Y_s，Z_s)可以是半径为1的球体上的点。Ps可以如下用偏航φ和俯仰θ来表示：
X_s＝cos(θ)cos(φ) (3)
Y_s＝sin(θ) (4)
Z_s＝-cos(θ)sin(φ) (5)
Pf可以是在将线条从球心延伸到Ps时的立方体上的点，并且Pf可以处于面部NZ。Pf(X_f,Y_f,Z_f)的坐标可以如下计算：
X_f＝X_s/|Z_s| (6)
Y_f＝Y_s/|Z_s| (7)
Z_f＝-1 (8)
其中|x|可以是变量x的绝对值。处于面部NZ的2D平面中的Pf,(uc,vc)的坐标可以如下计算：
uc＝W*(1-X_f)/2 (9)
vc＝H*(1-Y_f)/2 (10)
在使用一个或多个等式(3)到(10)的情况下，特定面部上的立方体映射中的坐标(uc,vc)与球形上的坐标(φ,θ)之间会存在关系。从等式(1)和/或(2)中可以获知等矩形点(ue,ve)与球形上的点(φ,θ)之间的关系。在等矩形几何图形与立方体映射几何图形之间会存在关系。从立方体映射到等矩形的几何图形映射可以被表示。举例来说，点(uc,vc)可以在立方体映射的面部上被给出。等矩形平面上的输出(ue,ve)可被计算。举例来说，可以基于等式(9)和(10)来用(uc,vc)计算3D点P_f在该面部上的坐标。基于等式(6)、(7)和(8)，可以用P_f来计算3D点P_s在球面上的坐标。基于等式(3)、(4)和(5)，可以利用P_s来计算球体上的(φ,θ)。基于等式(1)和(2)，可以从(φ,θ)中计算点(ue,ve)在等矩形画面上的坐标。
在2D画面中可以表示360度视频。例如，在2D画面中可以使用立方体映射来呈现360度视频。立方体映射的六个面部可被封装成矩形区域。该封装可以是帧封装。帧封装画面可以作为2D画面来处理(例如编码)。一种或多种不同的帧封装配置都是可以使用的(例如3x2和/或4x3封装配置)。在3x2的配置中，六个立方体映射面部可被封装成2行，其中3个面部排成一行。在4x3的配置中，四个面部(例如PX，NZ，NX和PZ)可被封装成一行(例如中心行)，并且面部PY和NY可被封装到(例如单独封装)到两个不同的行中(例如顶侧行和底侧行)。图2C描述了与图1C中的等矩形画面相对应的4×3帧封装示例。
采用等矩形格式的360度视频可被输入并转换成立方体映射格式。针对立方体映射格式中的(例如每一个)采样位置(uc,vc)，可以为其计算等矩形格式中的相应坐标(ue,ve)。如果计算得到的等矩形中的坐标(ue,ve)不在整数采样位置，那么可以使用插值滤波器。举例来说，通过使用插值滤波器，可以使用该来自相邻整数位置的采样计算分数位置的采样值。
图3描述用于360度视频系统的例示工作流程。该工作流程可以包括使用一个或多个摄像机(例如覆盖整个球体空间)来执行360度视频捕获。这些视频可以被一起缝合在一个几何图形结构中(例如使用等矩形几何图形结构)。该等矩形几何结构可被转换成另一种几何结构(例如立方体映射或其他投影格式)，以便执行编码(例如使用视频编解码器来编码)。编码视频可以被递送至客户端(例如借助动态流传输或广播)。该视频可以被解码。作为示例，在接收机上可以解码该视频。解压缩的帧可以被解封装，由此显示几何图形(例如等矩形)。该几何图形可被用于执行渲染(例如依照用户视角及借助视口投影)。
色度分量可以被子采样(例如被子采样成更小的分辨率)。例如，色度分量可被子采样成比亮度分量的分辨率更小的分辨率。色度子采样处理可以减少用于编码的视频数据量，该处理可以节约带宽和/或计算能力，并且可以在不影响(例如显著影响)视频质量的情况下执行。对于4:2:0的色度格式来说，所有的两个色度分量全都可被子采样成亮度分辨率的1/4(例如在水平方向上子采样成其1/2以及在垂直方向上子采样成其1/2)。在执行了色度子采样处理之后，色度采样网格有可能会不同于亮度采样网格。在图3中，在整个处理流程中，在每一个阶段处理的360度视频都会采用已对色度分量执行子采样的色度格式。
考虑到在平面上捕获的2D视频，可以设计一个或多个视频编解码器。当运动补偿预测使用参考画面边界之外的一个或多个采样时，这时可以通过复制源于画面边界的采样值来执行填充处理。例如，通过拷贝来自画面边界的采样值，可以执行重复填充处理。图4A-B描述了通过针对ERP(例如图4A)和CMP(例如图4B)的重复填充处理所产生的扩展画面的示例。在图4A-B中，原始画面可以处于虚线框中，并且扩展边界可以处于虚线框以外。360度视频可以包括关于整个球形的视频信息，并且可以具有循环属性。在考虑360度视频的循环属性时，由于可以将360度视频画面包含的信息卷绕在球形上，因此，该360度视频的参考画面不会具有边界。对于不同的投影格式或是用来在2D平面上表示360度视频的帧封装，该循环属性可以被保持。360度视频编码可以使用几何图形填充处理。举例来说，通过填充这些采样和/或通过考虑360度视频中表示的3D几何图形结构，可以将几何图形填充处理用于360度视频编码。
针对ERP的几何填充处理可被定义在具有经度和/或纬度的球形上。举例来说，考虑到被填充的点(u,v)(例如位于ERP画面以外)，用于推导填充采样的点(u'，v')可以用如下方式计算：
如果(u<0或u≥W)并且(0≤v<H)，那么u'＝u％W，v'＝v； (11)
如果(v<0)，v'＝-v-1，u'＝(u+W/2)％W； (12)
如果(v≥H)，v'＝2*H-1-v，u'＝(u+W/2)％W； (13)其中W和H可以是ERP画面的宽度和高度。图5A描述了针对ERP的例示几何图形填充处理。对于画面左侧边界以外的填充处理(也就是填充位于图5A中的A、B和C的采样)来说，这些采样可以用位于A’、B’和C’的相应采样来填充，其中所述A’、B’和C’位于画面右侧边界以内。对于画面右侧边界以外的填充处理(也就是填充位于图5A中的D、E和F的采样)来说，这些采样可以用位于D’、E’和F’的相应采样来填充，其中所述D’、E’和F’位于画面左侧边界以内。对于位于顶侧边界以外的采样(也就是位于图5A中的G、H、I和J的采样)来说。这些采样可以用位于G’、H’、I’和J’的相应采样来填充，其中所述G’、H’、I’和J’位于画面的顶侧边界以内，并且与之具有大小是宽度的一半的偏移。对于位于画面底侧底侧边界以外的采样(例如位于图5A中的K，L，M和N的采样)来说，这些采样可以用位于K'，L'，M'和N'的相应采样来填充，其中所述K'，L'，M'和N'处于画面的底侧底侧边界以内，并且与之具有大小是宽度的一半的偏移。图5B描述的是一个使用几何图形填充处理的例示的扩展ERP画面。图5A-B中显示的几何图形填充处理可以为ERP画面边界以外的区域提供有意义的采样和/或为其改善相邻采样的连续性。
如果编码画面采用CMP格式，那么可以通过将相邻面部的采样投影在当前面部的扩展区域上来使用几何图形填充处理扩展CMP的面部。图6A描述了如何可以为3D几何图形中的指定CMP面部执行几何图形填充处理的示例。在图6A中，点P可以位于面部F1，并且可以位于面部F1的边界以外。点P可以被填充。点O可能是球形中心。R可以是最接近于P的左侧边界点，并且可以位于面部F1以内。点Q可以是点P从中心点O投影在面部F2上的投影点。几何图形填充处理可以使用位于点Q的采样值来填充位于点P的采样值(作为示例，而不是使用位于点R的采样值来填充位于点P的采样值)。图6B描述了一个为CMP 3X2画面使用了几何图形填充处理的例示扩展面部。图6A-B中显示的几何图形填充处理可以为CMP面部边界以外的区域提供有意义的采样。
图7示出了例示的基于块的混合视频编码系统600。输入视频信号602可以被逐块处理。扩展块大小(例如编码单元或CU)可被用于(例如在HEVC中)压缩高分辨率(例如1080p和/或更高)视频信号。CU可以具有多达64x64个像素(例如在HEVC中)。CU可以被划分成可被应用单独预测的预测单元或PU。对于输入视频块(例如宏块(MB)或CU)来说，可以为其执行空间预测660或时间预测662。空间预测(例如帧内预测)可使用来自相同视频画面和/或切片中的已被编码的相邻块的像素来预测当前视频块。空间预测可以减小视频信号中固有的空间冗余度。时间预测(例如帧间预测或运动补偿预测)可以使用源于已被编码的视频画面的像素来预测当前视频块。时间预测可以减小视频信号中固有的时间冗余度。用于指定视频块的时间预测信号可以通过指示了当前块与其参考块之间的运动量和/或方向的运动矢量来用信号通告。如果支持多个参考画面(例如在H.264/AVC或HEVC中)，那么可以将视频块的参考画面索引用信号通告给解码器。该参考索引可被用于识别时间预测信号源自参考画面存储库664中的哪一个参考画面。
在空间和/或时间预测之后，编码器中的模式决定680可以选择预测模式(例如基于速率失真优化)。在616，预测块可被从当前视频块中减去。预测残差可以通过使用变换模块604和量化模块606而被去相关，由此实现目标比特率。量化的残差系数可以在610被逆量化，并且可以在612被逆变换，由此形成重建残差。在626，该重建残差可被加回到预测块，以便形成重建视频块。在666，在将重建视频块放入参考画面存储库664之前，在该重建视频块上可以应用环路滤波器(例如去块滤波器和/或自适应环路滤波器)。参考画面存储库664中的参考画面可被用于编码将来的视频块。输出视频比特流620可以被形成。编码模式(例如帧间或帧内)、预测模式信息、运动信息和/或量化残差系数可被发送到熵编码单元608，以便压缩和封装以形成比特流620。
图8示出了例示的基于块的混合视频解码器。图8中的解码器与图7中的编码器相对应。在熵解码单元208，视频比特流202可以被接收、解封装和/或熵解码。编码模式和/或预测信息可以被发送到空间预测单元260(例如在帧内编码的情况下)和/或发送到时间预测单元262(例如在帧间编码的情况下)。在空间预测单元260和/或时间预测单元262中可以形成预测块。残差变换系数可被发送到逆量化单元210和逆变换单元212，以便重构残差块。在226，预测块和残差块可以被添加。重建块可以通过环路滤波266，并且可以被保存在参考画面存储库264中。参考画面存储库264中的重建视频可以用于驱动显示设备和/或预测未来的视频块。
一个或多个视频编解码器(例如H.264和HEVC)可以用于编码一个或多个2D平面直线流视频。视频编码可以利用一个或多个空间和/或时间相关性，例如用于消除信息冗余。在视频编码期间可以应用各种预测技术，例如帧内预测和帧间预测。帧内预测可以用采样值的邻近重建采样来预测该采样值。图9描述了一个可以用于对当前变换单元(TU)进行帧内预测的例示参考采样。这里描述的当前TU可以是当前块，并且这两个术语是可以互换使用的。如这里所述，参考采样可以包括位于当前TU上方或左侧的重建采样。
可供选择的帧内预测模式有一种或多种。例如，HEVC可以指定35种帧内预测模式，如图10所示，这其中包括平面(0)，DC(1)以及角度预测(2～34)。平面预测可以为当前块生成一阶近似值(例如使用上侧和/或左侧的重建采样)。顶侧右侧和底侧右侧的采样值可以分别沿着右侧的列和底侧的行被拷贝(例如因为光栅扫描顺序)。针对块内的一个或多个位置，可以形成垂直预测值(例如使用相应的顶侧和底侧采样值的加权平均)。水平预测值可以用相应的左侧和右侧采样来形成。作为示例，最终的预测可以通过取水平和垂直预测值的平均值来形成。底侧右侧的采样值可被外推成是顶侧右侧和底侧左侧的采样值的平均值。右侧的列(例如底侧的行)可以用顶侧右侧和底侧右侧的采样(例如底侧左侧和底侧右侧的采样)来外推。
角度预测可被设计成预测定向纹理。例如，在HEVC中可以通过使用给定方向来从重建的参考采样中外推采样值，由此执行帧内角度预测处理。处于当前块内部的一个或多个(例如所有)采样位置可被投影到参考行或列(例如依照角度模式)。如果被投影的像素位置具有负索引，那么可以通过投影左侧参考列来将参考行扩展到左侧，以便执行垂直预测，而参考列则可以通过投影顶侧参考行被向上扩展，以便执行水平预测。图11A-B描述了用于左侧参考采样(例如图11A)和上方的参考采样(例如图11B)的例示投影。图11A-B中的粗体箭头可以表示预测方向，并且细箭头可以表示参考采样投影。图11A描述了使用源自左侧参考列的采样来扩展顶侧参考行的例示过程。在块边界上可以对预测采样执行滤波以减小块效应(blocking artifact)(例如已经产生了帧内预测块)。对于垂直帧内模式来说(例如在HEVC中)，最左侧的预测采样列si，j可以如下用左侧参考列Ri，j来调整：
s1，j＝s1，j+(R0，j-R0，0)j＝1…N (14)
对于水平帧内模式来说，最顶侧的预测采样行可以用相似的过程来调整。图12A-D描述了用于其他角度模式的边界预测滤波处理的示例。作为示例，图12A描述了用于帧内模式2的例示边界预测滤波处理。作为示例，图12B描述了用于帧内模式34的例示边界预测滤波处理。作为示例，图12C描述了用于帧内模式3-6的例示边界预测滤波处理。作为示例，图12D描述了用于帧内模式30-33的例示边界预测滤波处理。在编码器端，通过将一个或多个帧内预测模式产生的预测与原始采样之间的失真最小化，可以选择一种恰当的帧内预测模式。最可能模式(MPM)可被用于帧内编码(例如用于有效地编码帧内预测模式)。该MPM可以重复使用空间相邻的PU的帧内角度模式。例如，MPM可以重复使用空间相邻的PU的帧内角度模式，以使其不会编码用于当前PU的帧内角度模式。
图13描述了一个用于MPM候选推导的例示的空间邻居(例如左下方(BL)，左侧(L)，右上方(AR)，顶侧(A)，左上方(AL))。所选择的MPM候选索引可以被编码。在解码器端可以用与编码器端相同的方式来构造MPM候选列表。具有用信号通告的MPM候选索引的条目可被用作当前PU的帧内角度模式。RGB到YUV的颜色转换可被执行(例如用于减小不同通道之间的相关性)。在亮度与色度通道之间可能会存在相关性。跨分量的线性模型预测可以利用这种相关性，以便以如下方式(例如假设色度块有N×N个采样以及遵循图9中的相同概念)使用线性模型来从下采样重建亮度采样值L′i，j中预测色度采样值pi，j，由此从亮度通道中预测色度通道：
pi，j＝α·L′i，j+β (15)
下采样的亮度采样可以用如下方式来计算：
Figure BDA0002295084590000191
该线性模型的参数可以通过将顶侧和左侧的相邻重建采样之间的回归误差最小化来得到。该线性模型的参数可以用如下方式来计算：
Figure BDA0002295084590000192
图14描述了用于推导α和β的顶侧和左侧的相邻重建采样的例示位置。图15描述了具有运动矢量(MV)的例示的帧间预测。参考画面中的块B0’和B1’可以分别是块B0和B1的参考块。参考块B0’可以局部处于画面边界以外。填充处理(例如在HEVC/H.264中)可被配置成填充画面边界以外的未知采样。图16描述了HEVC/H.264中用于画面边界(例如块B0’)以外的参考采样的例示填充处理。块B0’可以具有4个部分，例如P0，P1，P2和P3。部分P0、P1和P2有可能位于画面边界以外，并且有可能会由填充处理填充。部分P0可被填充画面的顶侧-左侧采样。部分P1可以用该画面中的最顶侧的行来进行垂直填充。部分P2可以用该画面中的最左侧的列来进行水平填充。运动矢量预测和合并模式可被用于帧间编码，以便对运动矢量信息进行编码。该运动矢量预测可以使用来自其相邻PU或时间并置的PU的运动矢量作为当前MV的预测值。编码器和/或解码器可以形成一个运动矢量预测值候选列表(例如以相同的方式)。来自该候选列表的所选择的MV预测值的索引可以被编码，并且可以用信号通告给解码器。解码器可以构造MV预测值列表，并且可以使用具有通信号通告的索引的条目作为当前PU的MV的预测值。合并模式可以重复使用空间和时间相邻的PU的MV信息，由此不会对当前PU的运动矢量进行编码。编码器和/或解码器可以形成运动矢量合并候选列表(例如以相同的方式)。图17描述了用于合并候选推导处理的例示的空间邻居(例如左下方，左侧，右上方，上方，左上方)。所选择的合并候选索引可被编码。在解码器端可以构造该合并候选列表(例如以与编码器端相同的方式)。具有用信号通告的合并候选索引的条目可被用作当前PU的MV。
已被帧封装的360度视频可以具有不同于2D视频的特征。该360度视频可以包含关于观看者周围环境的360度信息。该360度信息可以指示所述360度视频具有固有的圆形对称性。2D视频则不具有这种对称性。目前业已为2D视频设计了一个或多个视频编解码器，并且这些视频编解码器未必考虑了360度视频的对称特征。例如，所述一个或多个编解码器可以按照编码顺序来处理(例如，编码)视频。举例来说，所述一个或多个编解码器可以使用某种从顶到底和/或从左到右来对块进行编码的编码顺序(例如光栅扫描顺序)来逐块处理视频信号。用于编码当前块的信息可以是从位于所述当前块的上方和/或左侧的块推断的。
对于360度视频来说，帧封装画面中的相邻块未必是相关的(例如与编码当前块相关)。帧封装画面中与当前块相邻的块可以是帧封装相邻块。在3D几何图形中与当前块相邻的块可以是面部相邻块或是球形相邻块。图18A-B描述了关于CMP的示例。图18A描述了关于CMP的例示3D表示。图18B描述了关于CMP的例示的3×2帧封装配置。在图18A-B中，块A可以是位于块C的上方的帧封装相邻块。考虑到3D几何图形，块D可以是位于块A的上方的正确的面部相邻块(例如球形相邻块)。360度视频编码中的附加面部相邻块也是可以使用的。例如，当当前块位于与帧封装画面的面部相关联的右侧和/或底侧面部边界时，所使用的可以是右侧和/或底侧面部相邻块。该右侧和/或底侧面部相邻块可以位于边界另一侧(例如在对端或者跨面部)的面部。例如，右侧和/或底侧面部相邻块可以共享位于当前块所属面部的右侧和/或底侧面部边界的边界。面部布置和/或扫描处理顺序(例如光栅扫描顺序)可被用于确定哪些块可以如这里所述被用于对当前块进行编码。在图18B描述的示例中，块B可以是与块A相对的右侧面部相邻块。如果块B是与块A相对的右侧面部相邻块，那么该右侧面部相邻块可以与左侧帧封装相邻块匹配。如果从左向右扫描所述块(例如具有从左向右移动的扫描顺序的光栅扫描)，那么在编码块A的时候不会编码块B，并且右侧相邻块将会是不可用的(例如不会被编码)。在编码块E时，其右侧面部相邻块(例如使用360度视频的固有球形特征的块F)有可能已被编码，并且可用于编码(例如预测)块E。在编码块G时，其下方的面部相邻块(例如使用了360度视频的固有球形特性的块H)有可能已被编码，并且可以被用于编码(例如预测)块G。在图18A-B中，位于一个阴影区域(例如图18B)中的面部边界的块可以在当前块的编码(例如预测)处理过程中使用其右侧和/或下方的一个或多个面部相邻块，这是因为其右侧和/或底侧相邻块都已经被解码(例如可用)(例如考虑到360度视频的一个或多个球形特性)。所述右侧和/或底侧面部相邻块可被用作参考块。
作为示例，左侧(L)、上方(A)、右上方(AR)、左上方(AL)和/或左下方(BL)的相邻块可以在2D视频编码处理中用于推测信息(例如因为2D视频编码(如图13和图17所示)中的扫描顺序(例如光栅扫描处理))。对于360度视频来说，如果当前块位于右侧面部边界，那么可以使用右侧(R)和右下方(BR)的面部相邻块来推测属性(例如在帧内预测中推导MPM列表)，由此推导出运动矢量预测和/或合并模式中的运动矢量候选。如果当前块位于底侧面部边界，那么可以使用下方(B)和右下方(BR)的相邻块来推测一个或多个属性。一个或多个附加空间候选可被用于从相邻块中推测一个或多个属性。
作为示例，在2D视频编码中可以使用位于当前块的上方和/或左侧的重建采样(例如由于光栅扫描处理)来预测当前块(如图9所示)。对于360度视频来说，如果相邻的重建采样位于当前块所属面部的外部，那么可以外推该采样(例如使用几何图形填充处理)。举例来说，如果块位于右侧面部边界，那么可以使用几何图形填充处理来获取采样RN+1,0…R2N,0。位于块的右侧的重建采样(例如图19中显示的RN+1,0…RN+1,2N)。图19描述了用于在帧内和帧间编码中预测当前块的例示重建采样。当块位于底侧面部边界时，所使用的可以是位于块的底侧的采样(例如R0,N+1…R2N,N+1)。如这里所述，重建采样(例如附加和/或更有意义的重建采样)可被用在不同的预测方法中(例如帧内预测中的DC、平面和/或角度模式，跨分量线性模型预测，边界预测滤波和/或环路滤波)。
360度视频编码可以使用空间邻居以及重建采样来执行帧内预测和/或帧间预测。这里描述的块可以包括当前块或子块，并且是可以互换使用的。如果块位于右侧(作为示例，或是底侧)面部边界，那么可以将其右侧和右下方(作为示例，或者是底侧或右下方)的面部相邻块视为从空间邻居中推测帧间属性(例如在帧内角度处理中推导MPM，在帧间预测中推导合并模式，和/或推导运动矢量预测等等)的一个或多个不同过程的一个或多个候选。从一个或多个相邻面部可以获取位于当前面部以外的块。在这里描述了位于面部边界的空间候选的位置。
对于帧内和/或帧间预测来说，如果块(例如当前块)位于右侧(作为示例，或者是底侧)面部边界，那么可以使用来自其右侧和右下方(作为示例，或者是下方以及右下方)的重建采样面部相邻块来编码(例如预测)当前块。该重建的采样可以位于当前面部以外，并且作为示例，其可以用几何图形填充来获取。位于面部边界的重建采样的位置可以用这里描述的方式来识别。
对于帧内预测来说，如果块位于右侧(作为示例，或者是底侧)面部边界，那么可以使用来自其右侧和右下方(作为示例，或者是下方和右下方)的面部相邻块的重建采样来推导参考采样。如果块位于右侧(作为示例，或者是底侧)面部边界，那么可以定义一个或多个附加水平(作为示例，或者是垂直)角度预测模式。在这里会描述面部边界的参考采样推导处理以及一个或多个附加角度模式。
对于帧内角度预测来说，如果块位于右侧(作为示例，或者是底侧)面部边界，那么在块的右侧(作为示例，或者是底侧)边界应用边界滤波处理。举例来说，通过在块的右侧(例如底侧)边界应用边界滤波处理，可以减小在插值与重建采样之间的交叉点上出现的不连续性。在这里会描述面部边界的边界预测滤波处理。
在2D视频编码中，顶侧、右侧、底侧和/或左侧画面边界不会被滤波(例如在环路滤波处理过程中)。对于去块处理来说，在边界(例如顶侧、右侧、底侧和/或左侧)以外不会存在一个或多个采样。对于360度视频编码来说，面部的顶侧、右侧、底侧和/或左侧边界可被连接到另一个面部边界。作为示例，对于360度视频编码来说，由于360度视频固有的圆形特性，可以将一个面部的顶侧、右侧、底侧和/或左侧边界连接到另一个面部边界。在一个或多个(例如所有)面部边界上可以应用环路滤波处理。在这里将会描述面部边界上的环路滤波处理。
对于跨分量的线性模型预测来说，如果块位于右侧(例如或底侧)面部边界，那么可以使用来自其右侧(作为示例，或者是下方)面部相邻块的重建采样来估计线性模型的参数。该重建采样可以位于当前面部以外，并且作为示例，其可以用几何图形填充处理来获取。在这里将会描述位于面部边界的重建采样的位置，重建亮度采样的下采样处理，和/或推导线性模型参数的处理。
在面部内部可以使用某种扫描顺序(例如光栅扫描顺序)来处理(例如按顺序处理)一个或多个面部。有了面部扫描顺序，面部相邻块的可用性将会得到提升。在这里描述了该面部扫描顺序。
对于CMP和/或相关的基于立方体的几何图形来说，一个或多个面部可以用这里描述的配置来封装。举例来说，一个或多个面可以被封装，由此具有3×2的封装配置。这里描述的3×2封装配置可以将面部相邻块的可用性最大化。
编码设备(例如可以是或者可以包括编码器和/或解码器的设备)可以使用一个或多个附加相邻块(例如基于当前块在几何图形面部内部的位置)。例如，编码设备可以基于当前块在几何图形面部以内的位置来使用一个或多个附加相邻块，以便增加从一个或多个相邻块推测信息的候选的数量。编码设备可以在帧内预测中使用MPM，在帧间预测中使用运动估计和/或在帧间预测中使用合并模式，由此从一个或多个相邻块中推测信息。
在示例中，编码设备(例如可以是或者可以包括编码器和/或解码器的设备)可以接收按照某种编码顺序编码的帧封装画面。当前块可以位于所述当前块所属的帧封装画面中的面部的离开边界。例如，编码设备可以依照帧封装画面的编码顺序来确定当前块位于当前块所属面部的离开边界。当前块所属面部的离开边界所在的方向和与当前块相对的编码顺序可以是相同的。
在示例中，编码块可以具有与当前块相对的从左到右的方向。如果编码块具有与当前块相对的从左到右的方向，那么当前块所属的帧封装画面中的面部的离开边界可以位于当前块(作为示例，其可以处于与编码顺序相同的方向)所属的右侧面部边界(例如最右侧的面部边界)。在示例中，编码块可以具有与当前块相对的从顶到底的方向。如果编码块具有与当前块相对的从顶到底的方向，那么当前块所属的帧封装画面中的面部的离开边界可以位于当前块(作为示例，其可以处于与编码顺序相同的方向)所属的底侧面部边界(例如最底侧的面部边界)。在示例中，编码块可以具有与当前块相对的从左到右和从顶到底的方向。如果编码块具有与当前块相对的从左到右和从顶到底的方向，那么当前块所属的帧封装画面中的面部的离开边界可以位于当前块(作为示例，其可以处于与编码顺序相同的方向)所属的右侧和底侧面部边界(例如最右侧和最低侧的面部边界)。
如果编码设备确定当前块位于当前块所属面部的离开边界(例如当前块所属的最右侧和/或最底侧面部边界)，那么编码设备可以标识当前块的一个或多个(例如多个)球形相邻块。作为示例，编码设备可以基于360度视频的球形特征来识别当前块的一个或多个球形相邻块。
编码设备可以在所识别的球形相邻块之中识别出位于某个面部(例如另一面部)的跨面部边界相邻块。跨面部边界相邻块所属的面部可以共享当前块所属面部的边界(例如右侧和/或底侧面部边界)。举例来说，跨面部边界相邻块可以位于当前块的外部，并且可以跨越当前块所属面部和/或处于与当前块的面部边界的对端。跨面部边界相邻块可以位于与当前块相对的编码顺序相同的方向上。例如，跨面部边界相邻块可以是当前块的右侧(R)、下方(B)和/或右下方(BR)的块。
在示例中，如果当前块位于当前块所属面部的右侧边界(例如最右侧边界)，那么如图20A所述，编码设备可以确定是否能将所识别的与跨面部相邻块相对应的块(例如右侧(R)的块和/或右下方(BR)的块)用作一个或多个候选(例如一个或多个附加候选)。
图20A-C描述了位于当前块所属面部的右侧面部边界(例如图20A)、底侧面部边界(例如图20B)以及底侧右侧面部边界(例如图20C)的例示空间邻居。在图20A-C中，使用阴影图案描绘的一个或多个块可以位于当前面部以外。如图20B所示，如果当前块处于底侧面部边界，那么可以使用下方(B)和/或右下方(BR)的块(例如已被编码的相邻块)作为候选(例如附加候选)，例如用于预测当前块。位于底侧面部边界的当前块可以遵循在这里针对右侧面部边界描述的相似方法。如图20C所示，如果当前块位于底侧右侧面部边界，则可以使用右侧、下方或右下方(例如已被编码的相邻块)作为候选(例如附加候选)，例如用于预测当前块。位于底侧右侧面部边界的当前块可以遵循在这里针对右侧面部边界描述的相似方法。如果相邻块位置处于当前面部之外，那么可以从相应的相邻面部获取相应的块(例如像这里描述的那样通过映射采样位置来推导空间相邻块)。
一旦识别出跨面部边界相邻块，则编码设备可以识别在帧封装画面中与跨面部相邻块相对应的块。举例来说，编码设备可以基于360度视频的帧封装信息来识别帧封装画面中与跨面部相邻块相对应的块。
编码设备可以确定是否使用所识别的与跨面部相邻块相对应的帧封装画面中的块来对当前块进行编码。举例来说，编码设备可以确定是否使用所识别的与跨面部相邻块相对应的块来编码当前块(例如基于在帧封装画面中所识别的块的可用性)。如果所识别的块已被解码，那么可以认为帧封装画面中的所识别的块是可用的。编码设备可以确定所识别的与跨面部面相邻块(例如一个或多个右侧和/或右下方的块)相对应的块是否已被编码和/或是否可用于编码当前块。如果编码设备确定所识别的与跨面部相邻块(例如一个或多个右侧和/或右下方的块)相对应的块是可用的(例如已被编码)，那么编码设备可以使用所识别的与跨面部相邻块相对应的块。
编码设备可以确定不使用所识别的与跨面部相邻块相对应的块。在示例中，编码设备可以确定所识别的与跨面部相邻块相对应的块未被编码和/或不能用于编码当前块。在示例中，编码设备可以确定当前块位于当前块所属面部以内。在示例中，编码设备可以确定当前块位于当前块所属面部的进入边界。当前块所属面部的进入边界可以依照与帧封装画面相关的编码顺序来定位。如果编码设备确定不使用所识别的与跨面部相邻块相对应的块(例如在跨面部相邻块不可用和/或未被编码时，在当前块位于面部以内时，或者在当前块位于当前块所属面部的进入边界时)，编码设备可以使用已编码的一个或多个球形相邻块来编码当前块。这里描述的一个或多个球形相邻块可以包括帧封装的相邻块或是3D几何图形的相邻块(例如已被编码的相邻块)。作为示例，编码设备可使用左侧(L)、上方(A)和/或左上方的块中的至少一者作为一个或多个球形相邻块，以便编码(例如预测)当前块。在示例中，编码设备可以使用几何图形填充处理来编码(例如预测)当前块。
编码设备可以使用一个或多个附加块(例如和这里描述的所识别的与跨面部相邻块相对应的块相关联)来增加与一个或多个附加块相关联的可用采样的数量，由此预测当前块(例如帧内预测)。举例来说，编码设别可以使用一个或多个附加重建采样(例如基于当前块在几何图形面部以内的位置)。作为示例，编码设备可以使用与在这里描述和/或在图19中显示的所识别的与跨面部相邻块相对应的块相关联的一个或多个重建采样(例如附加的重建采样)。
在示例中，编码设备可以不使用一个或多个(例如所有)重建采样(例如这里描述的附加重建采样)。举例来说，如果编码设备确定当前块处于某个面部以内，和/或如果当前块位于面部边界并且当前块所在的方向和与当前块相对的编码顺序相反(例如处于顶侧面部边界和/或处于左侧面部边界)，那么编码设备可以使用图9中描述的一个或多个重建采样。作为示例，编码设备可以使用一个或多个可用的(例如已被编码的)重建采样。所述一个或多个可用重建采样可以位于当前块的一个或多个左侧和/或上方相邻块(例如一个或多个空间相邻块)中。位于当前块的右侧和/或底侧相邻块的一个或多个采样有可能是不可用的(例如有可能未被编码和/或重建)。如果一个或多个重建采样处于当前块(例如与当前面部相关联的当前块)的外部，那么编码设备可以获取一个或多个重建采样(例如使用几何图形填充处理)。
如这里所述，编码设备可确定使用来自所识别的与跨面部相邻块相对应的块的一个或多个采样来编码当前块。在示例中，如果编码设备确定当前块位于与帧封装画面相关联的面部的右侧面部边界，那么编码设备可以使用位于当前块的右侧的一个或多个重建采样(例如RN+1,0…RN+1,2N)(例如如图21A所示，除了与位于当前块的左侧和/或上方的一个或多个块相关联的一个或多个重建采样(作为示例，其分别是R0,0…R0,2N和/或R0,0…RN,0))。图21A-C描述了位于面部边界(例如图21A)、底侧面部边界(例如图21B)以及底侧右侧面部边界(例如图21C)的一个或多个(例如附加)重建采样的示例。在图21A-C中，使用阴影区域描述的一个或多个重建采样可以位于当前块(作为示例，或者是当前面部)以外。编码设备可以对一个或多个重建采样应用预处理。例如，预处理可以包括但不局限于滤波、插值和/或重采样。如果编码设备对位于当前块左侧的一个或多个重建采样应用预处理(例如滤波、插值和/或重采样)，那么编码设备可以对位于当前块右侧的一个或多个重建采样应用相似的(例如相同的)预处理。
在示例中，如果编码设备确定当前块位于与帧封装画面相关联的面部的底部面部边界，那么编码设备可以使用位于当前块下方的一个或多个重建采样(例如R0,N+1…R2N,N+1)(作为示例，如图21B所示，除了与位于当前块的左侧和/或上方的一个或多个块相关联的一个或多个重建采样(作为示例，其分别是R0,0…R0,N和/或R0,0…R2N,0))。如果编码设备对处于当前块上方的一个或多个重建采样进行预处理(例如滤波、插值和/或重采样)，那么编码设备可以对位于当前块下方的一个或多个重建采样应用相似的(例如相同的)预处理。
在示例中，如果编码设备确定当前块位于与帧封装画面相关联的面部的底侧右侧面部边界，那么编码设备可以使用位于当前块右侧和下方的一个或多个重建采样(作为示例，其分别是RN+1,0…RN+1,N+1和/或R0,N+1…RN+1,N+1)(例如如图21C所述，除了与位于当前块的左侧和/或上方的一个或多个块相关联的一个或多个重建采样(作为示例，其分别是R0,0…R0,N和/或R0,0…RN,0)之外)。如果编码设备对位于当前块左侧和/或上方的重建采样应用预处理(例如滤波、插值和/或重采样)，那么编码设备可以对位于当前块右侧和/或下方的重建采样应用相似的(例如相同的)预处理。
在这里描述的一种或多种(例如所有)情形中，编码设备可以使用一个或多个参考采样行。编码设备可以将这里描述的一种或多种情形应用于一个或多个矩形块。
如果与面部关联的当前块位于该面部的右侧面部边界，那么可以如图21A-C描述的那样使用位于跨面部边界相邻块上(例如位于当前块右侧)的一个或多个采样(RN+1,0…RN+1,2N)。从跨面部边界相邻块推导的所要预测的一个或多个参考采样(例如RN+1,0…RN+1,2N)的位置可以更接近于位于当前块右上(AR)方的采样(例如RN+1,0…R2N,0)。一个或多个参考采样(例如RN+1,0…RN+1,2N)可以被滤波。作为示例，所述一个或多个参考采样(例如RN+1,0…RN+1,2N)可以在执行预测(例如与HEVC中的帧内预测处理相似)之前被滤波。
跨面部边界相邻块可以用于预测当前块(相关示例如这里所述)。所使用的可以是参考行或参考列(作为示例，其取决于所选择的预测模式的方向性)。如图22A所示，上方的参考行可以被向右扩展(例如通过投影右侧参考列)。图22A-B描述了右侧面部边界(例如图22A)和底侧面部边界(例如图22B)上的帧内预测的示例。图22A-B中显示的粗箭头可以表示预测方向，并且细箭头可以表示参考采样投影。在图22A-B中使用虚线描绘的参考采样可以位于当前面部以外。考虑到图10中定义的帧内角度预测方向，不会使用采样RN+1,N…RN+1,2N来向右扩展上方的参考行。采样RN+1,N…RN+1,2N可以用于对右侧参考列执行滤波。
在考虑帧内角度预测方向(作为示例，其覆盖了比图10中描述的范围
Figure BDA0002295084590000301
更宽的范围)时，所使用的可以是位于当前块的右下方的采样(例如RN+1,N+1…RN+1,2N)。如图23A所示，所使用的可以是右侧参考列，或者如图23B所示，通过投影上方的参考行，可以向上扩展右侧参考列。图23A-D描述了位于右侧面部边界(例如图23A-B)和底侧面部边界(例如图23C-D)的附加帧内预测模式的示例。图23A-D中显示的粗箭头可以表示预测方向，并且细箭头可以表示参考采样投影。在图23A-D中使用虚线描述的参考采样可以位于当前面部以外。
对于水平角度方向来说，如图24A-B所述，在左侧参考列与左侧参考列之间可以执行混合处理，以便预测当前块采样。作为示例，考虑到所要预测的采样与参考采样之间的距离，可以执行线性加权或类似处理。在示例中，投影像素位置可以具有负索引。如果投影像素位置具有负索引，那么可以如图24A中描述的那样向上扩展左侧参考列(例如通过投影上方的参考行)，和/或如图24B中描述的那样向上扩展右侧参考列(例如通过投影上方的参考行)。图24A-D描述了位于右侧面部边界(例如图24A-B)和底侧面部边界(例如图24C-D)的例示的双向帧内预测。图24A-D中显示的粗箭头可以表示预测方向，并且细箭头可以表示参考采样投影。在图24A-D中使用虚线描述的参考采样可以位于当前面部以外。
对于DC模式来说，如果当前块位于右侧面部边界，那么可以使用位于当前块右侧的采样来计算DC预测值：
Figure BDA0002295084590000302
对于平面模式来说，如果当前块位于右侧面部边界外，那么可以将所获取(例如使用几何图形填充获取的)的采样RN+1,1…RN+1,N用于水平预测值。对于垂直预测值来说，采样Ri,N+1,i＝1…N的值可以是从R0,N+1和RN+1,N+1插值得到的(例如使用考虑了与这两个采样的距离的线性加权或类似处理)。RN+1,N+1的值可以是从相应的可用重建采样中获取的。
如果当前块位于底侧面部边界，那么可以如图21B中描述的那样使用位于当前块下方的采样(例如R0,N+1…R2N,N+1)。这样一来，从与这里描述的跨面部边界相邻块相关联的块中得到(例如从重建采样中得到)的参考采样会更接近于所要预测的当前块采样。参考采样R0,N+1…R2N,N+1可以被滤波(例如在执行预测之前)。作为示例，参考采样R0,N+1…R2N,N+1可以在执行与帧内预测过程相似的预测之前被滤波(例如在HEVC中)。
作为示例，左侧参考列可以向下延伸(例如如图22B中描述的那样通过投影下方的参考行)。考虑到图10中的帧内角度预测方向，不会使用采样RN,N+1…R2N,N+1来向下延伸左侧参考列。采样RN,N+1…R2N,N+1可以用于滤波下方的参考行。
在考虑帧内角度预测方向时(作为示例，其覆盖了比图10中描述的范围更宽的范围)，所使用的可以是位于当前块的右下方的采样(例如RN+1,N+1…R2N,N+1)。在这种情况下，如图23C所述，所使用的可以是下方参考行。如图23D所述，该下方参考行可以向左延伸(例如通过投影左侧参考列)。
对于垂直角度方向来说，如图24C-D所示，通过在上方和下方参考行之间执行混合处理，可以预测当前块采样。在这种情况下可以执行线性加权或类似处理(例如在考虑了所要预测的采样与参考采样之间的距离的情况下)。在一些情况中，投影像素位置有可能具有负索引。如果投影像素位置具有负索引，那么可以如图24C中显示的那样向左扩展上方的参考行(例如通过投影左侧参考列)。如图24D所述，下方参考行可以被向左扩展(例如通过投影左侧参考列)。
对于DC模式来说，如果当前块位于底侧面部边界，那么可以使用位于当前块下方的采样来计算DC预测值：
Figure BDA0002295084590000321
对于平面模式来说，如果当前块位于底侧面部边界，那么可以将使用几何图形填充处理获取的采样R1,N+1…RN,N+1用于垂直预测值。对于水平预测值来说，采样RN+1,j,j＝1…N的值可以是从RN+1,0和RN+1,N+1插值得到的(例如通过使用考虑了与这两个采样的距离的线性加权或类似处理)。RN+1,N+1的值可以从相应的可用重建采样中获取。
如果当前块位于底侧右侧面部边界，那么可以使用位于当前块右侧的采样(例如RN+1,0…RN+1,N+1)。如图21C所示，所使用的可以是位于当前块下方的采样(例如R0,N+1…RN+1,N+1)。从这里描述的跨面部边界相邻块推导得到的参考采样将会更接近于所要预测的当前块采样。
对于DC模式来说，如果当前块位于底侧右侧面部边界，那么可以使用位于当前块右侧和/或下方的采样来计算DC预测值：
Figure BDA0002295084590000322
对于平面模式来说，如果当前块位于底侧右侧面部边界，那么可以将使用几何图形填充处理获取的采样RN+1,1…RN+1,N用于水平预测值，并且可以将使用几何图形填充处理获取的采样R1,N+1…RN,N+1用于垂直预测值。
在这里描述的一种或多种(例如所有)情形中可以使用一个或多个参考采样行，并且矩形块可以被配置成使用这里描述的重建采样。
作为示例，如果当前块位于与360度视频相关联的帧封装画面中的面部的右侧、下方和/或右下方的面部边界，那么可以应用一个或多个附加的边界预测滤波处理(例如在帧内预测之后)。举例来说，在帧内预测之后可以应用一个或多个附加的边界预测滤波处理，以便减小面部边界的不连续性。这里描述的滤波处理可以紧接着边界预测滤波处理来应用。在示例中，这里描述的滤波处理可被应用于块的(一个或多个)顶行(例如最顶端的行)和/或一个或多个左侧的列(例如一个或多个最左侧的列)。
对于一个或多个水平帧内模式(例如接近于水平)来说，如果当前块位于右侧面部边界，那么可以调整位于右侧列的块的一个或多个预测采样si，j，例如以如下方式使用右侧参考列Ri，j来调整：
sN，j＝sN，j+(RN+1，j-RN+1，0)j＝1...N (22)
图25A-H描绘了针对帧内模式2(例如图25A)、帧内模式3-6(例如图25B)、帧内模式7-9(例如图25C)、帧内模式10(例如图25D)、帧内模式11-17(例如图25E)、帧内模式18(例如图25F)、帧内模式19-21(例如图25G)以及帧内模式22(例如图25H)的右侧面部边界上的例示的边界预测滤波处理。在图25A-H中使用虚线描述的参考采样可以位于当前面部以外。
对于其他的一种或多种帧内角度模式来说，如果当前块位于右侧面部边界，那么可以滤波位于一个或多个右侧列(例如一个或多个最右侧的列)的块的一个或多个预测采样si，j，例如以如下方式使用右侧参考列Ri，j：
对于模式2(例如图25A)来说，
对于模式3-6(例如图25B)和/或模式7-9(例如图25C)来说，
对于模式10(例如图25D)来说，
Figure BDA0002295084590000342
对于模式11-17(例如图25E)来说，
sN，j＝a·sN，j+b·RN+1，j+c·RN+1，j+1 (26)
j＝1...N，a+b+c＝1
对于模式18(例如图25F)来说，
sN-δ，j＝a(δ)·sN-δ，j+b(δ)·RN+1，j+1+δ (27)
j＝1...N，δ＝0...D，a(δ)+b(δ)＝1
对于模式19-21(例如图25G)来说，
sN，j＝a·sN，j+b·RN+1，j+1+c·RN+1，j+2 (28)
j＝1...N，a+b+c＝1
对于模式22(例如图25H)来说，
sN，j＝a·sN，j+b·RN+1，j+2+c·RN+1，j+3 (29)
j＝1...N，a+b+c＝1
其中D可以是一个控制最右侧的列的数量的参数，并且是可以被滤波的。加权“a”，“b”和“c”是可以选择的(例如基于帧内模式和/或与参考采样的距离)。作为示例，通过使用查询表(LUT)，可以获取取决于帧内模式的一个或多个参数。在LUT中，依照帧内模式，可以为更接近当前位置的一个或多个参考采样给予更高的加权。作为示例，对于模式2和18来说，可以使用表1中定义的加权(作为示例，其分别是等式(23)和(27))来滤波所述块的最右侧的列。
表1.用于对角线、垂直和/或水平模式的加权
δ a(δ) b(δ)
0 8/16 8/16
1 12/16 4/16
2 14/16 2/16
3 15/16 1/16
表1中定义的加权可用于水平模式(例如模式10)。对于模式19到22来说，所使用的可以是表2中定义的加权。
表2.用于近对角线模式的加权
模式 a b c
19 8/16 6/16 2/16
20 12/16 2/16 2/16
21 12/16 1/16 3/16
22 12/16 3/16 1/16
对于其他的一种或多种模式来说，通过确定加权，能使“b”和/或“c”的值映射到右侧参考采样列中的位置。预测采样可以在考虑了相对的角度方向的情况下被投影，并且可以用预测采样值来加权(例如均等加权)这个值。举个例子，对于模式3到9来说，这些加权可被确定成是a＝0.5，
Figure BDA0002295084590000351
c＝0.5-b，其中Δx和Δy可以分别是角度方向的水平和垂直分量。
对于一个或多个垂直帧内模式(例如接近于垂直)来说，如果当前块位于(例如与360度视频相关联的帧封装画面中的面部的)底侧面部边界，那么可以调整位于最底侧的行的块的预测采样si，j，例如以如下方式使用下方参考行Ri，j来调整：
si，N＝si，N+(Ri，N+1-R0，N+1)i＝1...N (30)
当前块可被应用滤波处理(例如边界预测滤波处理)(例如通过使用这里描述的跨面部边界相邻块)。图26A-H描述了针对帧内模式14(例如图26A)、帧内模式15-17(例如图26B)、帧内模式18(例如图26C)、帧内模式19-25(例如图26D)、帧内模式26(例如图26E)、帧内模式27-29(例如图26F)、帧内模式30-33(例如图26G)以及帧内模式34(例如图26H)的底侧边界上的例示的预测滤波处理。在图26A-H中用虚线描绘的一个或多个参考采样可以位于当前面部以外。
对于其他的一个或多个帧内角度模式来说，如果当前块位于底侧面部边界，那么可以滤波位于一个或多个底侧行(例如一个或多个最底侧的行)的块的一个或多个预测采样si，j，例如以如下方式使用下方的参考行Ri，j来滤波：对于模式14(例如图26A)来说，
si，N＝a·si，N+b·Ri+2，N+1+c·Ri+3，N+1 (31)
j＝1...N，a+b+c＝1
对于模式15-17(例如图26B)来说，
si，N＝a·si，N+b·Ri+1，N+1+c·Ri+2，N+1 (32)
j＝1...N，a+b+c＝1
对于模式18(例如图26C)来说，
si，N-δ＝a(δ)·si，N-δ+b(δ)·Ri+1+δ，N+1 (34)
i＝1...N，δ＝0...D，a(δ)+b(δ)＝1
对于模式19-25(例如图26D)来说，
si，N＝a·si，N+b·Ri，N+1+c·Ri+1，N+1 (34)
i＝1...N，a+b+c＝1
对于模式26(例如图26E)来说，
si，N-δ＝a(δ)·si，N-δ+b(δ)·Ri，N+1 (35)
i＝1...N，δ＝0...D，a(δ)+b(δ)＝1
对于模式27-29(例如图26F)和模式30-33(例如图26G)来说，
si，N＝a·si，N+b·Ri-1，N+1+c·Ri，N+1 (36)
i＝1...N，a+b+c＝1
对于模式34(例如图26H)来说，
si，N-δ＝a(δ)·si，N-δ+b(δ)·Ri-1-δ，N+1 (37)
i＝1...N，δ＝0...min(i-1，D)，a(δ)+b(δ)＝1
其中D可以是一个控制最底侧的行的数量的参数，并且是可以被滤波的。加权“a”、“b”和“c”是可以被选择的(例如依照帧内模式和/或与参考采样的距离)。
对于一个或多个帧内角度模式来说，如这里所述，如果当前块位于(例如与360度视频相关联的帧封装画面的面部的)底侧右侧面部边界，那么可以滤波位于一个或多个右侧列(例如一个或多个最右侧的列)的所述块的预测采样(例如使用右侧参考列)，并且可以滤波位于一个或多个底行(例如一个或多个最底侧的行)的块(例如使用下方参考行)。
对于DC模式来说，如果当前块位于(例如与360度视频相关联的帧封装画面中的面部的)右侧面部边界，那么可以滤波所述块的位于一个或多个右侧列(例如，一个或多个最右侧列)的一个或多个预测采样(例如使用右侧参考列)(例如依照等式(25))。如果当前块位于(例如与360度视频相关联的帧封装画面中的面部的)底侧面部边界，那么可以滤波所述块的位于一个或多个底侧行(例如一个或多个最底侧的行)的一个或多个预测采样(例如使用下方的参考行)(例如依照等式(35))。如果当前块位于(例如与360度视频相关联的帧封装画面中的面部的)底侧右侧面部边界，那么可以滤波所述块的位于一个或多个右侧列(例如一个或多个最右侧的列)的一个或多个预测采样(例如使用右侧参考列)，并且可以滤波位于一个或多个底侧行(例如一个或多个最底侧的行)的块(例如使用下方参考行)(例如依照等式(25)和(35))。
作为示例，滤波处理可以用固定点精度和/或比特移位操作来实现。相似的滤波操作可被应用于位于一个或多个右侧列(例如一个或多个最右侧的列)的块和/或位于一个或多个底侧行(例如一个或多个最底侧的行)的块(例如在考虑了更精细的帧内角度粒度和/或矩形块的时候)。
对于环路滤波来说，滤波处理可被应用在一个或多个(例如全部的)面部边界上。例如，该滤波处理可被应用在包括右侧和/或底侧面部边界在内的面部边界上。如果当前块位于(例如与360度视频相关联的帧封装画面中的面部的)左侧(作为示例，或是上方)面部边界，那么即使所述块可以位于帧封装画面边界，也可以使用左侧(作为示例，或是上方)的一个或多个重建采样来滤波位于一个或多个最左侧的列(作为示例，或者是一个或多个最顶侧的行)的块。如果块位于(例如与360度视频相关联的帧封装画面中的面部的)顶侧左侧面部边界，那么可以使用左侧和上方的一个或多个重建采样来分别滤波位于一个或多个最左侧的列以及一个或多个最顶侧的行的块，即使所述块可以位于帧封装画面边界。如果块位于(例如与360度视频相关联的帧封装画面中的面部的)右侧(作为示例，或是底侧)的面部边界，那么可以使用使用右侧(作为示例，或者是下方)的一个或多个重建采样来滤波位于一个或多个最右列(作为示例，或者是一个或多个最底侧的行)的块，即使所述块有可能位于帧封装画面边界。如果块位于(例如与360度视频相关联的帧封装画面中的面部的)底侧右侧面部边界，那么可以使用右侧和下方的一个或多个重建采样来分别滤波位于一个后多个最右侧的列以及一个或多个最底侧的行的块，即使所述块有可能位于帧封装画面边界上。所述一个或多个重建采样可以位于当前面部以外，并且作为示例，所述重建采样可以使用几何图形填充处理来获取。
对于跨分量的线性模型预测来说，其可以使用一个或多个重建采样(例如一个或多个附加资源采样)。作为示例，一个或多个重建采样(例如一个或多个附加资源采样)可以基于当前块在几何图形面部以内的位置。
图27A-C描绘了可供位于右侧面部边界(例如图27A)、底侧面部边界(例如图27B)以及底侧右侧面部边界(例如图27C)的跨分量线性模型预测使用的采样的例示位置。在图27A-C中用虚线描绘的重建采样可以位于当前面部以外。如果当前块处于(例如与360度视频相关联的帧封装画面中的面部的)右侧面部边界，那么如图27A所示，可以使用位于当前块右侧的一个或多个重建采样(例如除了位于当前块左侧的一个或多个重建采样和/或位于当前块上方的一个或多个重建采样之外)来预测线性模型的一个或多个参数。在这种情况下，所述一个或多个线性模型参数可以用如下方式(例如等式(38)-(40))来计算：
等式(38)是在图28中显示的，并且
Figure BDA0002295084590000391
其中L″i，j可以是下采样重建亮度采样(例如位于当前块的右侧)。L″i，j可以用如下方式被计算(例如在考虑了重建亮度采样的可用性和/或色度位置的情况下)：
Figure BDA0002295084590000392
作为示例，通过使用一个或多个跨面部边界相邻块，可以应用一个或多个下采样滤波器。如果在位于当前块左侧的重建采样上应用预处理(例如滤波处理)，那么可以在位于当前块右侧的重建采样上应用相似(例如相同的)预处理。
如果当前块位于(例如与360度视频相关联的帧封装画面中的面部的)底侧面部边界，那么如图27B所示，可以使用位于当前块下方的重建采样(例如除了位于当前块左侧的重建采样和/或位于当前块上方的重建采样之外)来预测线性模型参数。在这种情况下，该线性模型参数可以用如下方式来计算(例如等式(41)-(42))：
等式(41)是在图28中显示的，并且
Figure BDA0002295084590000401
位于当前块下方的重建的亮度采样可以被下采样(例如依照等式(16))。一个或多个下采样滤波器可以被应用(例如通过使用跨面部边界相邻块来应用)。如果在位于当前块上方的重建采样上应用预处理(例如滤波处理)，那么可以在位于当前块下方的重建采样上应用类似(例如相同)的预处理。
如果当前块位于(例如与360度视频相关联的帧封装画面中的面部的)底侧右侧面部边界，那么如图27C所示，可以使用位于当前块右侧和下方的重建采样(作为示例，除了位于当前块左侧的重建采样以及位于当前块上方的重建采样之外)来预测线性模型参数。该线性模型参数可以采用如下方式来计算(例如等式(43)和(44))：
在图28中显示了等式(43)和(44)。
对于一个或多个矩形块来说，较长边界的相邻采样可被子采样(例如通过使用一个或多个跨面部边界相邻块)。举例来说，矩形块的较长边界的相邻采样可被子采样，以便与较短边界具有相同数量的采样。这里描述的跨分量线性模型预测可被用于在两个色度分量之间执行预测(例如在采样域或在残差域中)。在面部边界上可以使用多个跨分量线性模型，其中一个或多个跨分量线性模型预测可被定义在一范围的采样值上，并且可以以这里描述的方式来应用。如果一个或多个重建采样位于当前面部以外，那么作为示例，该重建采样可以用几何图形填充来获取。
位于右侧和/或底侧面部边界的另一端(例如当前块位置的面部边界的对端，且和与当前块或跨面部边界相邻块的编码顺序处于相同方向)的一个或多个可用块和/或采样可被用于预测。面部相邻块和/或采样的可用性可以取决于处理帧封装画面的块的编码顺序。举例来说，图29A描述了用于CMP3×2封装配置的例示的光栅扫描顺序(例如从顶到底和/或从左到右)。这些块可以被逐个面部地处理(例如在一个或多个面部以内使用光栅扫描顺序)(例如图29B所示)。通过使用图29B中显示的面部扫描顺序，可以提升面部相邻块和/或采样的可用性。相似的结果可以用一个或多个不同的帧封装配置来实现。例如，在图29A描述的状况中，如果使用了6×1的封装配置(例如作为3X2的封装配置的替换或补充)，那么光栅扫描顺序可以逐一处理一个或多个面。依照所使用的面部布置，块编码顺序(例如处理顺序)可能会存在差异。
作为示例，在块分区过程中可以施加一个或多个约束。例如，通过在块分区过程中施加一个或多个约束，可以减少两个或更多面部上的块重叠。如果使用了一个或多个编码树单元(CTU)，那么这些CTU可被配置成致使CTU内部的一个或多个(例如所有)编码块属于相同的面部。如果面部大小不是CTU大小的倍数。那么可以使用重叠的CTU，其中处于CTU所属面部以内的块可被编码。图30描述了面部的例示CTU和块分区处理，其中面部大小不是CTU大小的倍数。图30中显示的实线可以表示面部边界。虚线可以表示CTU边界，以及点划线可以表示块边界。使用阴影区域描述的块可以位于当前块以外。帧内和帧间编码帧可以使用一个或多个不同的块扫描顺序。例如，帧内编码帧可以使用面部扫描顺序(例如图29B)。帧间编码帧可以使用光栅扫描顺序(例如图29A)。在不同的面部之间和/或内部可以使用一种或多种不同的扫描顺序(例如基于面部的编码模式(例如预测模式))。
环路滤波器操作(作为示例，如这里所述，其中在环路滤波操作中将来自已编码面部的相邻采样用于右侧和/或底侧边界)可以被启用或禁用。举例来说，环路滤波器操作可以基于面部扫描顺序和/或帧封装配置而被启用或禁用。如果在去块滤波器或其他环路滤波器中没有使用3D几何图形中的恰当相邻采样，那么在重建视频中将会看到令人不快的面部接缝形式的视觉伪像。举例来说，当使用重建视频来渲染视口并显示给用户(例如借助头戴式设备(HMD)或是通过2D屏幕)时，在重建视频中有可能会看到面部接缝。作为示例，图18B示出了一个3×2CMP示例。在3D几何图形中，图18B中显示的上半部分的三个面部可以是水平连续的。在3D几何图形中，下半部分的3个面部可以是水平连续的。在3D几何图形中，上半部分和下半部分有可能是不连续的。该3X2的CMP画面可以用两个图块(例如用于3X2的CMP画面的上半部分的图块和用于下半部分的图块)来编码，并且在图块边界上可以禁用环路滤波。作为示例，在图块边界上可以禁用环路滤波处理(例如通过将画面参数集(PPS)语法元素loop_filter_across_tiles_enabled_flag的值设置成0)。环路滤波处理可以被禁用(例如用于避免在不连续边缘(例如分离上半部分和下半部分的水平边缘)应用去块处理和/或其他环路滤波处理)。
帧封装画面中的块可以使用面部扫描顺序来编码和/或解码。图18B中显示的6个面部可以用图29B中显示的顺序来处理。面部扫描顺序可以通过将六个面部与六个图块相对齐来实现。在这种情况下，通过设置指示符(例如将loop_filter_across_tiles_enabled_flag设置成0)，可以使得在图块之间的水平边缘(作为示例，所述边缘有可能是不连续的，并且可以被禁用)上以及垂直边缘(作为示例，所述边缘有可能是连续的，并且不会被禁用)上禁用去块处理以及环路滤波。应用边缘环路滤波还是不应用边缘环路滤波是可以被指定的。环路滤波器的类型可被考虑。例如，环路滤波器(例如去块和/或自适应环路滤波器(ALF))可以是在滤波处理中使用了相邻采样的N抽头滤波器。用于滤波器的一个或多个相邻采样可以跨越不连续边界。环路滤波器(例如采样自适应偏移(SAO))可以通过添加偏移来校正当前位置的解码采样值。在示例中，环路滤波器(例如SAO)可以不在滤波操作中使用相邻采样值。跨越了一些图块和/或面部边界的去块处理和/或ALF可以被禁用。SAO可以被启用。举例来说，跨越了一些图块和/或面部边界的去块处理和/或ALF是可以被禁用的，而SAO则是可以被启用的。
关于指示符(例如loop_filter_across_tiles_enabled_flag)的扩展可被指示给编码设备(例如以比特流的形式)。该指示符(例如loop_filter_across_tiles_enabled_flag)语法元素可以被分离。举例来说，语法元素loop_filter_across_tiles_enabled_flag可被分离成两个或更多语法元素(例如两个语法元素)。在示例中，是否对水平边缘应用环路滤波器是可以指示的(例如借助语法元素)。在示例中，是否对垂直边缘应用环路滤波器也是可以指示的(例如借助语法元素)。
该指示符(例如loop_filter_across_tiles_enabled_flag)语法元素可被分成两个或更多语法元素，这些语法元素可被指示(例如以比特流的形式)给编码设备。作为示例，借助两个或更多被分离的语法元素，可以指示在指定边缘上启用还是禁用环路滤波器。作为示例，所考虑的可以是包含了M×N个面部的帧封装投影格式(例如图18B，其中M＝3并且N＝2)。在包含M×N个面部的帧封装投影格式中，在画面中的面部之间会存在(M-1)×N个垂直边缘，并且在画面中的面部之间会存在M×(N-1)个水平边缘。在这种情况下，(M-1)×N+M×(N-1)个指示(例如标记)可以指定启用还是禁用一个或多个水平和/或垂直边缘。指示符(例如loop_filter_across_tiles_enabled_flag)语法元素的语义可被适配成在不连续面部之间的边缘上禁用或启用环路滤波器。在这种情况下，在不连续面部之间的边缘上可以禁用环路滤波器(例如用于避免出现接缝)。通过配置信令，可以指定哪些边缘处于连续面部之间和/或哪些边缘处于不连续的面部之间。
指示符(例如loop_filter_across_tiles_enabled_flag)语法元素可被分成两个或更多语法元素。所述两个或更多语法元素可以用于控制不同类型的环路滤波器。例如，去块处理可以用一个指示(例如标记)来启用或禁用。作为示例，ALF可以用一个指示(例如标记)来启用或禁用。作为示例，SAO可以用一个指示(例如标记)来启用或禁用。如果在视频编码器和/或解码器中使用了更多的环路滤波器(如图7和图8所示)，那么可以使用更多的指示(例如标记)。该指示符(例如loop_filter_across_tiles_enabled_flag)语法元素可以被分离(例如分成两个语法元素)。举例来说，使用相邻采样的环路滤波器可以用一个指示(例如标记)来控制。作为示例，未使用相邻采样的环路滤波器可以用不同的指示(例如标记)来控制。指示符(例如loop_filter_across_tiles_enabled_flag)语法元素可以指示禁用还是启用使用了相邻采样的环路滤波器。在这种情况下，未使用相邻采样的环路滤波器是已经被启用。
这里描述的扩展是可以组合的。举例来说，如果使用了多个指示(例如标记)，那么可以使用一个或多个指示(例如标记)来控制环路滤波器类型，并且可以相应地适配一个或多个指示(例如标记)的语义。作为示例，一个或多个指示的语义可被适配成控制是否对跨越连续面部的边缘应用滤波器，以及可以为跨越不连续面部的边缘禁用滤波器(例如用于避免出现接缝)。
这里描述的指示符(例如loop_filter_across_tiles_enabled_flag)扩展可以使用图块作为例示方式。本领域技术人员将会理解，这些扩展可以适用于其他面部等级(例如切片)。例如，作为指示符(例如不同指示符)使用的可以是用于控制是否跨切片地应用环路滤波器的pps_loop_filter_across_slices_enabled_flag和/或slice_loop_filter_across_slices_enabled_flag。由于CTU内的编码块属于相同图块和/或切片，因此，图块和/或切片的大小可以是CTU大小的倍数。面部大小有可能不是CTU大小的倍数。这里描述的图块和/或切片可以用面部替换(例如用于避免使用图块和/或切片以及改变这里描述的语义)。举例来说，这里描述的指示符(例如loop_filter_across_tiles_enabled_flag)语法及其一种或多种扩展可以用不同的指示符(例如loop_filter_across_faces_enabled_flag)替换(作为示例，或者与其结合使用)。在启用图块和/或切片时，基于面部的环路滤波器控制指示(例如标记)将会发挥作用。在这种情况下，此类基于面部的环路滤波器控制指示(例如标记)可以适用于面部边界上的边缘，并且基于图块和/或切片的环路滤波器控制指示(例如标记)可被应用于图块和/或切片边界上的边缘。
通过重叠CTU，可以编码属于相同面部的CTU内部的一个或多个(例如所有)编码块以及处于CTU所属面部内部的块。这样一来，图块和/或切片都是可以使用的(作为示例，即使面部大小不是CTU大小的倍数)。
对于CMP和/或相关的基于立方体的几何图形来说，所使用的可以是3x2的封装配置。举例来说，3×2的封装配置可被用于表示(例如紧凑型表示)，并且可以形成矩形帧封装画面。3×2封装配置可以不使用默认(例如空集)采样的填充空白区域，由此形成图2B所示的矩形帧封装画面(例如4×3封装配置)。3×2封装配置的一个或多个面部可以被布置，由此减少帧画面中的两个相邻面部之间的不连续性。如图31所示，3x2的封装配置可被定义成将右侧、前侧以及左侧的面部置于顶侧的行中(例如按照该特定顺序)，以及将底侧、后侧和顶侧面部置于底侧的行中(例如按照该特定顺序)。图31示出了例示的3×2封装配置(例如将右侧、前侧和左侧面部置于顶侧的行中，以及将底侧、后侧和顶侧面部置于底侧的行中)。图31的虚线31可以表示CTU边界。箭头可以表示两个面部之间的共享边界。在一个面部行(例如每一个面部行)内部，这些面部是可以旋转的。举例来说，面部行可以旋转以将两个相邻面部之间的不连续性最小化。面部大小有可能不是CTU大小的倍数。第二个面部行的一部分可以被编码(例如在第一面部行被完全编码之前)。在编码底侧、后侧和顶侧面部中的一个或多个块时，右侧、前侧和/或左侧的相邻块有可能是不可用的。举个例子，对于图31中描述的3×2封装配置来说，在编码底侧面部(例如图31中的阴影区域)的第一(例如局部)CTU行中的块时，由于前侧和左侧面部的相邻块尚未被编码，因此不会从相应的相邻块中推测出信息。同样，对于后侧面部来说，处于第一(例如局部)CTU行(例如图31中的阴影区域)中且宽度大小h＝mod(面部大小，CTU大小)(其中mod(x,y)可以是模运算符)的第一个块不会从左侧面部中的相邻块推测信息，因为相应的相邻块有可能尚未编码。
在比特流(例如去往/来自编码设备)中可以使用和/或用信号通告3X2封装配置。举例来说，在使用这里描述的3X2封装配置时，针对位于第二面部行中的面部，可以从第一面部行中的一个或多个相邻面部推测信息。如图32所示，这种3X2封装配置可被定义成将右侧、前侧和左侧面部置于第一面部行中(例如按照该特定顺序)，以及将顶侧、后侧和底侧面部置于第二面部行中(例如按照该特定顺序)。图32示出了例示的3×2封装配置(例如具有处于第一面部行中的右侧、前侧和左侧面部，以及处于第二面部行中的顶侧、后侧和底侧面部)。在面部行(例如每一个面部行)内部，面部可以被旋转(例如以最小化两个相邻面部之间的不连续性)。对于图32中显示的3x2的封装配置来说，第二个面部行中的一个或多个面部可以旋转180度(例如相比于图31中显示的3×2的封装配置)。有了图32中显示的配置，在编码顶侧、后侧和底侧面部时，处于右侧、前侧和左侧面部中的相邻块可以是可用的。
这里描述的前侧、后侧、左侧、右侧、顶侧和/或底侧面部的定义可以是相对的。通过对立方体加以旋转，可以得到这里描述的类似布置。
图33A是示出了可以实施所公开的一个或多个实施例的例示通信系统100的图示。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-sOFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM以及滤波器组多载波(FBMC)等等。
如图33A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d可被可交换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。每一个基站114a和/或基站114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一者无线对接来促使其接入一个或多个通信网络(例如CN106/115、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新型无线电(NR)建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图33A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立WLAN。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图33A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、时延需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图33A中没有显示，然而应该了解，RAN104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如传输控制协议/网际协议(TCP/IP)网际协议族中的TCP、用户数据报协议(UDP)和/或IP)的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线或无线通信网络。例如，网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图33A所示的WTRU 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图33B是示出了例示WTRU 102的系统图示。如图33B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他外围设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图33B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以一起集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件122可被配置成发射和接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图33B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在一个实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、数字键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118可以进一步耦合到其他外围设备138，其中所述外围设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0002295084590000531
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。外围设备138可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送或接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图33C是示出了根据实施例的RAN 104和CN 106的系统图示。如上所述，RAN 104可以通过空中接口116使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c，然而应该了解，在保持符合实施例的同时，RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b、160c都可以包括通过空中接口116与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施例中，e节点B 160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号，和/或以及接收来自WTRU 102a的无线信号。
每一个e节点B 160a、160b、160c都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图33C所示，e节点B 160a、160b、160c彼此可以通过X2接口进行通信。
图33C显示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然前述的每一个部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c，并且可以充当控制节点。例如，MME 162可以负责验证WTRU 102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162还可以提供用于在RAN 104与使用其他无线电技术(例如GSM或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c。SGW164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW 164还可以执行其他功能，例如在eNB间的切换过程中锚定用户平面，在DL数据可供WTRU 102a、102b、102c使用时触发寻呼处理，以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 166，所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU 102a、102b、102c提供电路交换网络(例如PSTN 108)接入，以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU102a、102b、102c提供针对其他网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线或无线网络。
虽然在图33A-1D中将WTRU描述成了无线终端，然而应该想到的是，在某些典型实施例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。
在典型的实施例中，其他网络112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以访问或是对接到分布式系统(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送，例如在源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA的情况下。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些典型实施例中，DLS可以使用802.11e DLS或802.11z隧道化DLS(TDLS))。举例来说，使用独立BSS(IBSS)模式的WLAN不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些典型实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在指定的BSS中，在任何指定时间都有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据分成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质访问控制(MAC)。
802.11af和802.11ah支持次1GHz的工作模式。相比于802.11n和802.11ac，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。依照典型实施例，802.11ah可以支持仪表类型控制/机器类型通信(例如宏覆盖区域中的MTC设备)。MTC设备可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如802.11n、802.11ac、802.11af以及802.11ah)来说，这些系统包含了可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配矢量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz工作模式)对AP进行传输)，那么即使大多数的频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。
图33D是示出了根据实施例的RAN 113和CN 115的系统图示。如上所述，RAN 113可以在空中接口116上使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c，但是应该了解，在保持符合实施例的同时，RAN 113可以包括任何数量的gNB。每一个gNB 180a、180b、180c都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中，gNB180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b可以使用波束成形处理来向gNB180a、180b、180c发射信号和/或从gNB 180a、180b、180c接收信号。由此，举例来说，gNB180a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。在实施例中，gNB 180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU102a传送多个分量载波(未显示)。这些分量载波的子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在实施例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩参数配置相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续不同的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如e节点B 160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如e节点B 160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c进行通信。在非独立配置中，e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU 102a、102b、102c提供服务。
每一个gNB 180a、180b、180c都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图33D所示，gNB 180a、180b、180c彼此可以通过Xn接口通信。
图33D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一个前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的一个或多个gNB 180a、180b、180c，并且可以充当控制节点。例如，AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户，支持网络切片(例如处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、182b可以使用网络切片处理，以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。作为示例，针对不同的用例，可以建立不同的网络切片，例如依赖于超可靠低时延(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类型通信(MTC)接入的服务等等。AMF 162可以提供用于在RAN 113与使用其他无线电技术(例如LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF 184a、184b来配置业务量路由。SMF 183a、183b可以执行其他功能，例如管理和分配UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接到RAN 113中的一个或多个gNB 180a、180b、180c，这样可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信，UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外，CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务供应商拥有和/或运营的其他有线或无线网络。在一个实施例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与数据网络(DN)185a、185b之间的N6接口并通过UPF 184a、184b连接到本地DN 185a、185b。
有鉴于图33A-33D以及关于图33A-33D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF184a-b、SMF 183a-b、DN185 a-b和/或这里描述的一个或多个其他任何设备。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。

Claims (20)

1.一种用于解码360度视频的方法，包括：
接收按照编码顺序编码的帧封装画面，所述帧封装画面包括多个面部和当前块；
识别所述帧封装画面中所述当前块所属的第一面部；
依照所述帧封装画面的所述编码顺序，确定所述当前块位于所述第一面部的离开边界；
识别所述当前块的多个球形相邻块；
在所述当前块的所述多个球形相邻块中，识别位于第二面部的跨面部边界相邻块，其中所述第一面部的所述离开边界在所述第一面部和所述第二面部之间被共享；
基于所述360度视频的帧封装信息，识别所述帧封装画面中与所述跨面部边界相邻块相对应的第二块；
基于所识别的第二块的可用性，确定是否使用所述帧封装画面中的所识别的第二块来编码所述当前块；以及
基于所述确定来编码所述当前块，其中基于确定使用所识别的第二块，使用与所述跨面部边界相邻块相对应的所述第二块来编码所述当前块。
2.根据权利要求1所述的方法，其中所述编码顺序包括以下的至少一者：具有与所述当前块相对的从左到右的方向的第一编码顺序，具有与所述当前块相对的从顶到底的方向的第二编码顺序，或者具有与所述当前块相对的从左到右和从顶到底的方向的第三编码顺序。
3.根据权利要求1所述的方法，进一步包括：
依照所述帧封装画面的所述编码顺序，确定所述当前块位于所述第一面部内部或者位于所述第一面部的进入边界；
基于所述帧封装画面来识别所述当前块的可用的球形相邻块；以及
基于所识别的所述当前块的空间相邻块来编码所述当前块。
4.根据权利要求1所述的方法，其中所述第一面部的所述离开边界包括所述第一面部的第一边界，其中所述第一边界所在的方向和与所述当前块相对的所述编码顺序的方向相同。
5.根据权利要求4所述的方法，其中所述第一面部的所述离开边界包括以下的至少一者：与所述第一面部相关联的最右侧面部边界，与所述第一面部相关联的最底侧面部边界，或是与所述第一面部相关联的最右侧和最底侧面部边界。
6.根据权利要求1所述的方法，其中所述帧封装画面包括关于所述帧封装画面的解码表示，所述解码表示包括具有相应面部部边界的所述多个面部。
7.根据权利要求1所述的方法，其中所述跨面部边界相邻块所在的方向和与所述当前块相对的所述编码顺序的方向相同，以及所述跨面部边界相邻块包括以下的至少一者：与所述当前块相关联的右上方的(AR)块，与所述当前块相关联的右侧的(R)块，与所述当前块相关联的下方的(B)块，与所述当前块相关联的右下方(BR)的块，或是与所述当前块相关联的左下方的(BL)块。
8.根据权利要求1所述的方法，进一步包括：
当所述当前块位于所述第一面部的所述离开边界并且所述离开边界所在的方向和与所述当前块相对的所述编码顺序的方向相同时，使用所述跨面部边界相邻块来对所述当前块应用滤波处理。
9.根据权利要求8所述的方法，其中所述滤波包括以下的至少一者：环路滤波，采样自适应偏移(SAO)滤波，去块滤波或自适应环路滤波(ALF)。
10.根据权利要求1所述的方法，其中编码所述当前块进一步包括：
使用以下的至少一者：帧内预测、帧间预测、跨分量线性模型预测、滤波或几何图形填充。
11.一种用于360度视频的解码器，包括：
处理器，其被配置成：
接收按照编码顺序编码的帧封装画面，所述帧封装画面包括多个面部和当前块；
识别所述帧封装画面中所述当前块所属的第一面部；
依照所述帧封装画面的所述编码顺序，确定所述当前块位于所述第一面部的离开边界；
识别所述当前块的多个球形相邻块；
在所述当前块的所述多个球形相邻块中，识别位于第二面部的跨面部边界相邻块，其中所述第一面部的所述离开边界在所述第一面部和所述第二面部之间被共享；
基于所述360度视频的帧封装信息，识别所述帧封装画面中与所述跨面部边界相邻块相对应的第二块；
基于所识别的第二块的可用性，确定是否使用所述帧封装画面中的所识别的第二块来编码所述当前块；以及
基于所述确定来编码所述当前块，其中基于确定使用所识别的第二块，使用与所述跨面部边界相邻块相对应的所述第二块来编码所述当前块。
12.根据权利要求11所述的解码器，其中所述编码顺序包括以下的至少一者：具有与所述当前块相对的从左到右的方向的第一编码顺序，具有与所述当前块相对的从顶到底的方向的第二编码顺序，或者具有与所述当前块相对的从左到右和从顶到底的方向的第三编码顺序。
13.根据权利要求11所述的解码器，其中所述处理器进一步被配置成：
依照所述帧封装画面的所述编码顺序，确定所述当前块位于所述第一面部内部或者位于所述第一面部的进入边界；
基于所述帧封装画面来识别所述当前块的可用的球形相邻块；以及
基于所识别的所述当前块的空间相邻块来编码所述当前块。
14.根据权利要求11所述的解码器，其中所述第一面部的所述离开边界包括所述第一面部的第一边界，其中所述第一边界所在的方向和与所述当前块相对的所述编码顺序的方向相同。
15.根据权利要求14所述的解码器，其中所述第一面部的所述离开边界包括以下的至少一者：与所述第一面部相关联的最右侧面部边界，与所述第一面部相关联的最底侧面部边界，或是与所述第一面部相关联的最右侧和最底侧面部边界。
16.根据权利要求11所述的解码器，其中所述帧封装画面包括关于所述帧封装画面的解码表示，所述解码表示包括具有相应面部部边界的所述多个面部。
17.根据权利要求11所述的解码器，其中所述跨面部边界相邻块所在的方向和与所述当前块相对的所述编码顺序的方向相同，以及所述跨面部边界相邻块包括以下的至少一者：与所述当前块相关联的右上方的(AR)块，与所述当前块相关联的右侧的(R)块，与所述当前块相关联的下方的(B)块，与所述当前块相关联的右下方(BR)的块，或是与所述当前块相关联的左下方的(BL)块。
18.根据权利要求11所述的解码器，其中所述处理器进一步被配置成：
当所述当前块位于所述第一面部的所述离开边界并且所述离开边界所在的方向和与所述当前块相对的所述编码顺序的方向相同时，使用所述跨面部边界相邻块来对所述当前块应用滤波处理。
19.根据权利要求18所述的解码器，其中所述滤波包括以下的至少一者：环路滤波，采样自适应偏移(SAO)滤波，去块滤波或自适应环路滤波(ALF)。
20.根据权利要求11所述的解码器，其中所述处理器进一步被配置成使用以下的至少一者来编码所述当前块：
帧内预测、帧间预测、跨分量线性模型预测、滤波或几何图形填充。
CN201880035746.2A 2017-04-11 2018-04-10 使用面部连续性的360度视频编码 Pending CN110692249A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762484218P 2017-04-11 2017-04-11
US62/484,218 2017-04-11
US201762525880P 2017-06-28 2017-06-28
US62/525,880 2017-06-28
PCT/US2018/026828 WO2018191224A1 (en) 2017-04-11 2018-04-10 360-degree video coding using face continuities

Publications (1)

Publication Number Publication Date
CN110692249A true CN110692249A (zh) 2020-01-14

Family

ID=62067880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880035746.2A Pending CN110692249A (zh) 2017-04-11 2018-04-10 使用面部连续性的360度视频编码

Country Status (9)

Country Link
US (1) US20200120359A1 (zh)
EP (1) EP3610649A1 (zh)
JP (2) JP7169988B2 (zh)
KR (3) KR20200005539A (zh)
CN (1) CN110692249A (zh)
CA (1) CA3059870A1 (zh)
SG (1) SG11201909450WA (zh)
WO (1) WO2018191224A1 (zh)
ZA (1) ZA201906677B (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745547A (zh) 2016-05-27 2022-07-12 松下电器（美国）知识产权公司 编码装置及解码装置
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN111183646B (zh) 2017-09-20 2023-08-04 Vid拓展公司 用于编码的方法和装置、用于解码的方法和装置以及存储介质
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
WO2019240425A1 (ko) 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 인터 예측 방법 및 영상 복호화 장치
KR20190140387A (ko) * 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 360도 영상의 인터 예측 방법 및 이를 이용한 영상 복호화 장치
CN112672161A (zh) 2018-06-27 2021-04-16 株式会社Kt 用于处理视频信号的方法和设备
WO2020009400A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 인트라 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
GB2590844B (en) 2018-08-17 2023-05-03 Beijing Bytedance Network Tech Co Ltd Simplified cross component prediction
US11284054B1 (en) * 2018-08-30 2022-03-22 Largo Technology Group, Llc Systems and method for capturing, processing and displaying a 360° video
US11094088B2 (en) * 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
US11330277B2 (en) * 2018-08-31 2022-05-10 Hfi Innovation Inc. Method and apparatus of subblock deblocking in video coding
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
WO2020053804A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. Downsampling in cross-component linear modeling
CN113170104A (zh) * 2018-11-15 2021-07-23 韩国电子通信研究院 使用基于区域的帧间/帧内预测的编码/解码方法和设备
EP3895425A4 (en) 2018-12-14 2021-12-15 ZTE Corporation PROCESSING AN IMMERSIVE VIDEO BITSTREAM
US11039115B2 (en) * 2018-12-21 2021-06-15 Samsung Electronics Co., Ltd. Low complexity color smoothing of reconstructed point clouds
WO2020125794A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Two step cross-component prediction mode
US11089335B2 (en) * 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
SG11202109980WA (en) 2019-03-11 2021-10-28 Huawei Tech Co Ltd Sub-picture level filtering in video coding
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
US11070848B2 (en) 2019-06-24 2021-07-20 Tencent America LLC Method for efficient signaling of virtual boundary for loop filtering control
US11432015B2 (en) * 2019-07-11 2022-08-30 Qualcomm Incorporated Adaptive loop filtering across raster-scan slices
BR112022005046A2 (pt) 2019-09-18 2022-07-05 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador e meio de gravação não transitório legível por computador
CN114503594B (zh) 2019-09-22 2024-04-05 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用
EP4022910A4 (en) 2019-09-27 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. ADAPTIVE LOOP FILTERING BETWEEN DIFFERENT VIDEO UNITS
EP4040790A4 (en) * 2019-09-30 2022-10-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. PREDICTION METHOD, ENCODER, DECODER AND COMPUTER STORAGE MEDIUM
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
CN117528097A (zh) 2019-10-29 2024-02-06 抖音视界(北京)有限公司 跨分量自适应环路滤波器
MX2022006734A (es) 2019-12-11 2022-06-09 Beijing Bytedance Network Tech Co Ltd Relleno de muestra para filtrado de circuito adaptivo de componente cruzado.
US11356698B2 (en) 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream
US11477490B2 (en) * 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
KR20220140706A (ko) * 2020-02-17 2022-10-18 인텔 코포레이션 컨볼루션 신경망(cnn) 기반 필터를 사용한 360도 비디오의 향상
CN111612885A (zh) * 2020-04-10 2020-09-01 安徽继远软件有限公司 输电智慧物联环境下数字化杆塔管控方法和系统
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
US11638019B2 (en) * 2020-07-29 2023-04-25 Alibaba Group Holding Limited Methods and systems for prediction from multiple cross-components
WO2022119254A1 (ko) * 2020-12-04 2022-06-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012119784A1 (en) * 2011-03-10 2012-09-13 Canon Kabushiki Kaisha Method and device for encoding image data, and method and device for decoding image data
US20130101031A1 (en) * 2011-10-25 2013-04-25 Qualcomm Incorporated Determining quantization parameters for deblocking filtering for video coding
CN103518375A (zh) * 2012-04-16 2014-01-15 联发科技股份有限公司 用于贯穿条带或图块边界环路滤波的方法及其装置
CN103947213A (zh) * 2011-10-28 2014-07-23 高通股份有限公司 瓦片边界上的环路滤波控制
CN104702963A (zh) * 2015-02-13 2015-06-10 北京大学 一种自适应环路滤波的边界处理方法及装置
CN105580373A (zh) * 2013-07-23 2016-05-11 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8045615B2 (en) * 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
US8805100B2 (en) * 2010-06-03 2014-08-12 Sharp Kabushiki Kaisha Filter device, image decoding device, image encoding device, and filter parameter data structure
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
WO2012175195A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Simplified pipeline for filtering
IN2014CN01752A (zh) * 2011-08-31 2015-09-04 Nokia Corp
CN108696753B (zh) * 2011-09-20 2021-07-27 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
KR20130034566A (ko) * 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
CN103843350A (zh) * 2011-10-14 2014-06-04 联发科技股份有限公司 回路滤波方法及其装置
US9077998B2 (en) * 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
CN104160701B (zh) * 2012-01-27 2017-06-30 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、及图像解码装置
JP6222576B2 (ja) * 2012-03-21 2017-11-01 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
EP2870759B1 (en) * 2012-07-03 2016-10-05 Telefonaktiebolaget LM Ericsson (publ) Strong deblocking filtering decisions
US10575021B2 (en) * 2012-07-03 2020-02-25 Telefonaktiebolaget Lm Ericsson (Publ) Controlling deblocking filtering
EP2898695A1 (en) * 2012-09-18 2015-07-29 VID SCALE, Inc. Region of interest video coding using tiles and tile groups
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
EP2898689B1 (en) * 2012-09-21 2020-05-06 Nokia Technologies Oy Method and apparatus for video coding
CN104704824B (zh) * 2012-10-04 2018-05-11 瑞典爱立信有限公司 分层去块参数适配
CN105144720B (zh) * 2013-01-04 2018-12-28 Ge视频压缩有限责任公司 高效可伸缩编码概念
EP2941868B1 (en) * 2013-01-07 2020-07-08 Nokia Technologies Oy Method and apparatus for video coding and decoding
US20140282678A1 (en) * 2013-03-15 2014-09-18 Cisco Technology, Inc. Method for Enabling 3DTV on Legacy STB
US9516306B2 (en) * 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9369708B2 (en) * 2013-03-27 2016-06-14 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9473784B2 (en) * 2013-05-20 2016-10-18 Texas Instruments Incorporated Sample adaptive offset (SAO) filtering in video coding
US9854252B2 (en) * 2013-05-20 2017-12-26 Texas Instruments Incorporated Method and apparatus of HEVC de-blocking filter
US9510021B2 (en) * 2013-05-24 2016-11-29 Electronics And Telecommunications Research Institute Method and apparatus for filtering pixel blocks
GB2516422A (en) * 2013-07-09 2015-01-28 Sony Corp Data encoding and decoding
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
CN105359525A (zh) * 2013-07-14 2016-02-24 夏普株式会社 瓦片对齐信令和一致性约束
US20150016503A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Tiles and wavefront processing in multi-layer context
KR102435018B1 (ko) * 2013-07-15 2022-08-22 지이 비디오 컴프레션, 엘엘씨 네트워크 장치 및 오류 처리
US9237359B2 (en) * 2013-09-25 2016-01-12 Qualcomm Incorporated Filtering video data in video coding
EP3057327A4 (en) * 2013-10-08 2017-05-17 Sharp Kabushiki Kaisha Image decoder, image encoder, and encoded data converter
US10091519B2 (en) * 2013-10-14 2018-10-02 Electronics And Telecommunications Research Institute Multilayer-based image encoding/decoding method and apparatus
US9736488B2 (en) * 2013-11-27 2017-08-15 Nxp Usa, Inc. Decoding for high efficiency video transcoding
KR101851479B1 (ko) * 2014-01-03 2018-04-23 노키아 테크놀로지스 오와이 파라미터 세트 코딩
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US9628822B2 (en) * 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
US10205950B2 (en) * 2014-02-21 2019-02-12 Panasonic Corporation Image decoding method, image encoding method, image decoding apparatus, and image encoding apparatus
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US10432928B2 (en) * 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10038919B2 (en) * 2014-05-29 2018-07-31 Apple Inc. In loop chroma deblocking filter
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
EP3178228B1 (en) * 2014-09-15 2023-10-04 HFI Innovation Inc. Method of deblocking for intra block copy in video coding
US9918082B2 (en) * 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
CN106664403B (zh) * 2014-10-20 2020-10-16 谷歌有限责任公司 连续预测域
GB2532420A (en) * 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
GB2534409A (en) * 2015-01-23 2016-07-27 Sony Corp Data encoding and decoding
US10306246B2 (en) * 2015-02-13 2019-05-28 Mediatek Inc. Method and apparatus of loop filters for efficient hardware implementation
KR20180019549A (ko) * 2015-06-18 2018-02-26 엘지전자 주식회사 영상 코딩 시스템에서 영상 필터링 방법 및 장치
WO2017045101A1 (en) * 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
EP3354029A4 (en) 2015-09-23 2019-08-21 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR ENCODING 360-DEGREE PANORAMIC VIDEO
US10499382B2 (en) * 2015-10-17 2019-12-03 Comcast Cable Communications, Llc Control channel configuration in partial and full subframes
WO2017075804A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
WO2017130183A1 (en) * 2016-01-26 2017-08-03 Beamr Imaging Ltd. Method and system of video encoding optimization
US10389999B2 (en) * 2016-02-17 2019-08-20 Qualcomm Incorporated Storage of virtual reality video in media files
FI20165114A (fi) * 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
EP3301914A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US11172208B2 (en) * 2017-02-28 2021-11-09 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012119784A1 (en) * 2011-03-10 2012-09-13 Canon Kabushiki Kaisha Method and device for encoding image data, and method and device for decoding image data
US20130101031A1 (en) * 2011-10-25 2013-04-25 Qualcomm Incorporated Determining quantization parameters for deblocking filtering for video coding
CN103947213A (zh) * 2011-10-28 2014-07-23 高通股份有限公司 瓦片边界上的环路滤波控制
CN103518375A (zh) * 2012-04-16 2014-01-15 联发科技股份有限公司 用于贯穿条带或图块边界环路滤波的方法及其装置
CN105049845A (zh) * 2012-04-16 2015-11-11 联发科技股份有限公司 视频解码器中用于视频数据的环路滤波器处理方法及装置
CN105580373A (zh) * 2013-07-23 2016-05-11 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
CN104702963A (zh) * 2015-02-13 2015-06-10 北京大学 一种自适应环路滤波的边界处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUNG-CHIH LIN等: "AHG8: Compact cube layout with tile partition", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
PHILIPPE HANHART等: "AHG8: High level syntax extensions for signaling of 360-degree video information", 《JOINT VIDEO EXPLORATION TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Also Published As

Publication number Publication date
EP3610649A1 (en) 2020-02-19
KR20200005539A (ko) 2020-01-15
JP7169988B2 (ja) 2022-11-11
WO2018191224A1 (en) 2018-10-18
JP7357747B2 (ja) 2023-10-06
CA3059870A1 (en) 2018-10-18
JP2023002793A (ja) 2023-01-10
KR20230117492A (ko) 2023-08-08
SG11201909450WA (en) 2019-11-28
ZA201906677B (en) 2023-01-25
JP2020517164A (ja) 2020-06-11
US20200120359A1 (en) 2020-04-16
KR20230079466A (ko) 2023-06-07

Similar Documents

Publication Publication Date Title
JP7357747B2 (ja) 面連続性を使用する３６０度ビデオコーディング
CN111183646B (zh) 用于编码的方法和装置、用于解码的方法和装置以及存储介质
US11277635B2 (en) Predictive coding for 360-degree video based on geometry padding
CN111713111B (zh) 用于360度视频译码的面不连续性滤波
CN110999296B (zh) 解码360度视频的方法、设备及计算机可读介质
CN112740701A (zh) 用于360度视频译码的样本导出
CN111602401B (zh) 用于360度视频译码的自适应帧封装
US11825116B2 (en) Predictive coding for 360-degree video based on geometry padding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination