CN112740701A - 用于360度视频译码的样本导出 - Google Patents

用于360度视频译码的样本导出 Download PDF

Info

Publication number
CN112740701A
CN112740701A CN201980062285.2A CN201980062285A CN112740701A CN 112740701 A CN112740701 A CN 112740701A CN 201980062285 A CN201980062285 A CN 201980062285A CN 112740701 A CN112740701 A CN 112740701A
Authority
CN
China
Prior art keywords
picture
surround
reference sample
offset
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980062285.2A
Other languages
English (en)
Inventor
菲利普·汉哈特
贺玉文
叶艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN112740701A publication Critical patent/CN112740701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于基于接收指示是否启用水平环绕运动补偿的环绕启用指示来对当前样本执行水平几何结构填充的系统、方法和手段。如果基于所述环绕启用指示启用所述水平环绕运动补偿，那么视频译码设备可确定图片中的当前样本的参考样本环绕偏移。该参考样本环绕偏移可指示所述图片的面宽度。所述视频译码设备可基于所述参考样本环绕偏移、所述图片的图片宽度及当前样本位置，确定所述当前样本的参考样本位置。所述视频译码设备可基于水平方向上的所述参考样本位置来预测所述当前样本。可以在垂直方向上使用重复填充或裁剪。

Description

用于360度视频译码的样本导出
交叉引用
本申请要求在2018年9月27日提交的美国临时申请No.62/737,303的权益，其内容通过引用而被并入本文。
背景技术
虚拟现实(VR)正越来越多地进入我们的日常生活中。VR具有许多应用领域，这其中包括保健、教育、社交网络、工业设计/训练、游戏、电影、购物、娱乐等。VR正受到工业和消费者的关注，因为VR能够带来沉浸式观看体验。VR创建围绕观看者的虚拟环境，并且为观看者生成“在那里”的真实感觉。如何在VR环境中提供完全真实的感觉对于用户的体验是重要的。例如，VR系统可以通过姿势、手势、眼睛注视、语音等来支持交互。为了允许用户以自然的方式与VR世界中的对象交互，VR可以向用户提供触觉反馈。
发明内容
公开了用于基于接收指示了启用水平环绕(wraparound)运动补偿的环绕启用指示来对当前样本执行水平几何结构填充的系统、方法和手段。
视频译码设备可在比特流中接收与视频内容相关联的图片。本文描述的视频译码设备可为或可包含编码器和/或解码器。所述图片可以是或者可以包括帧封装图片。所述视频译码设备可接收环绕启用指示。举例来说，所述视频译码设备可在序列级中接收环绕启用指示。所述环绕启用指示可指示水平环绕运动补偿是启用还是停用。所述环绕启用指示可以是或可以包括环绕启用标志，该标志指示所述水平环绕运动补偿是被启用还是被停用。
基于指示了启用水平环绕运动补偿的所述环绕启用指示，所述视频译码设备可确定所述图片中的当前样本的参考样本环绕偏移。在示例中，所述视频译码设备可在所述比特流中接收关于参考样本环绕偏移的偏移指示。可基于所述偏移指示确定所述参考样本环绕偏移。该参考样本环绕偏移可指示所述图片的面宽度。在示例中，所述视频译码设备可接收指示所述图片的面宽度的大小指示。举例来说，该大小指示可为或可包含按照亮度样本的保护带的宽度。所述视频译码设备可基于所述大小指示计算图片的面宽度，且可使用所计算的面宽度作为所述参考样本环绕偏移。在示例中，所述保护带可以具有相同的宽度。在示例中，所述保护带可以具有不同的宽度。
所述视频译码设备可基于所述参考样本环绕偏移、所述图片的图片宽度及当前样本位置，确定所述当前样本的参考样本位置。所述视频译码设备可在序列级中接收所述参考样本环绕偏移。
在示例中，所述视频译码设备可确定与所述当前样本位置相关联的原始参考样本位置(例如，原参考样本位置)是否在所述图片之外。如果所述原始参考样本位置在所述图片之外，那么视频译码设备可计算所述参考样本位置以用于水平几何结构填充。举例来说，所述视频译码设备可通过将所述参考样本环绕偏移应用于与所述原始参考样本位置相关联的水平样本坐标来计算所述参考样本位置。
在示例中，所述视频译码设备可基于所述参考样本环绕偏移及所述图片的图片宽度计算所述图片的面宽度。所述视频译码设备可识别所述图片中的当前样本位置。所述视频译码设备可确定原始参考样本位置是否在所述图片之外。如果所述原始参考样本位置在所述图片的最左水平边界之外，那么所述视频译码设备可通过将所述参考样本环绕偏移添加到与所述原始参考样本位置相关联的水平样本坐标来确定所述参考样本位置。如果所述原始参考样本位置在所述图片的最右水平边界之外，那么所述视频译码设备可通过从与所述原始参考样本位置相关联的水平样本坐标减去所述参考样本环绕偏移来确定所述参考样本位置。
所述视频译码设备可基于所述参考样本位置来预测当前样本。
所述视频译码设备可基于所述环绕启用指示来确定是否停用所述水平环绕运动补偿。如果所述环绕启用指示了所述水平环绕运动补偿被停用，那么所述视频译码设备可识别所述图片中的所述当前样本位置。所述视频译码设备可确定所述当前样本位置是否位于所述图片的水平边界处。所述视频译码设备可确定所述参考样本位置是否位于所述图片的水平边界之外。如果视频译码设备确定所述参考样本位置位于所述图片的所述水平边界之外，那么视频译码设备可识别所述图片的水平边界上的所述参考样本位置。所述视频译码设备可基于所述参考样本位置来预测当前样本。
所述图片可以是或者可以包括等矩形投影(ERP)格式、等面积投影(EAP)格式或经调整的等面积投影(AEP)格式。
所述视频译码设备可基于所述环绕启用指示，确定是否接收关于所述参考样本环绕偏移的偏移指示。如果所述视频译码设备确定所述环绕启用指示被启用，那么视频译码设备可解析所述比特流以接收关于所述参考样本环绕偏移的所述偏移指示。如果视频译码设备确定所述环绕启用指示被停用，那么视频译码设备可跳过解析所述比特流且跳过接收关于所述参考样本环绕偏移的所述偏移指示。
可以(例如，在比特流中)用信号发送指示以启用几何结构填充。可以确定一个或多个球面相邻者的正确位置。几何结构填充可以考虑保护带的位置和/或大小，以计算一个或多个球面相邻者的所述正确位置。当在图片中封装一个或多个面时(例如，在编码之前)，所述位置和/或大小的保护带可能已被添加。可以用信号发送与几何结构填充有关的一个或多个指示，以指示是否应用几何结构填充和/或指定保护带。
对于包括面(例如，单个面)的投影几何结构，诸如ERP、EAP、AEP和/或类似的投影格式，可以在水平方向上执行几何结构填充。当在水平方向上执行几何结构填充时，可以在垂直方向上使用重复填充。样本位置可被确定，因为水平样本坐标可被绕回到(wrapped)经译码的图片内。例如，如在重复填充中那样，垂直样本坐标可被裁剪到一个或一个以上经译码图片边界。可以确定用于与基于单个面的投影几何结构相关联的帧间预测(例如，使用水平几何结构填充)的整数样本导出过程和/或分数样本内插过程。
附图说明
图1A示出了经度和纬度的示例球面采样。
图1B示出了具有等矩形投影的示例二维(2D)平面。
图2A示出了用于立方图(cubemap)投影(CMP)的示例三维(3D)几何结构。
图2B示出了用于CMP的六个面的示例2D平面。
图3A示出了使用等矩形投影(ERP)的具有填充边界的示例图片。
图3B示出了使用CMP的具有填充边界的示例图片。
图4A示出了ERP的示例填充几何结构。
图4B示出了示例性的填充的ERP图片。
图5A示出了用于CMP的示例性填充几何结构。
图5B示出了示例性的填充的CMP面。
图6示出了示例360度视频工作流。
图7示出了示例视频编码器。
图8示出了示例视频解码器。
图9示出了在帧内预测中使用的示例参考样本。
图10示出了关于帧内预测方向的示例指示。
图11示出了利用运动矢量的帧间预测(例如，单向预测)的示例。
图12示出了用于图片边界之外的参考样本的示例填充。
图13示出了在确定空间合并候选者时使用的示例空间相邻者。
图14示出了当使用水平几何结构填充时用于帧间预测的重构样本的示例缓存。
图15说明用于四分之一样本亮度内插的示例整数样本(例如，具有大写字母的阴影块)和分数样本位置(例如，具有小写字母的非阴影块)。
图16A是示出了其中可以实施一个或多个公开的实施例的示例性通信系统的系统图。
图16B是示出了可在图16A中所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图。
图16C是示出了可在图16A中所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图。
图16D是示出了可在图16A中所示的通信系统内使用的另一示例性RAN和另一示例性CN的系统图。
具体实施方式
现在将参考各个附图来描述说明性实施例的详细描述。尽管本说明书提供了可能实施方式的详细示例，但是应当注意，这些细节旨在是示例性的，而不以任何方式限制本申请的范围。
本文描述的360度视频可以是或可以包括球面视频、全向视频、虚拟现实(VR)视频、全景视频、沉浸式视频(例如，可以包括6个自由度的光场视频)、和/或点云视频等。
VR系统可以使用360度视频来向用户提供在水平方向上从360度角度观看场景以及在垂直方向上从180度角度观看场景的能力。所述VR系统和/或所述360度视频可以被认为是超高清(UHD)服务之外的媒体消费的方向。可以进行针对全向媒体应用格式的要求和潜在技术的工作，以提高VR系统中360度视频的质量和/或标准化用于客户端互操作性的处理链。自由视野TV(FTV)可以测试以下各项中的一个或多个的性能：(1)基于360度视频(例如，全向视频)的系统；(2)基于多视图的系统。
VR系统可以包括处理链。该处理链可以是或可以包括捕获、处理、显示和/或应用。关于捕获，VR系统可以使用一个或多个相机来捕获来自不同发散视图(例如，6到12个视图)的场景。这些视图可以被拼接在一起以形成高分辨率(例如，4K或8K)的360度视频。在客户端侧和/或用户侧，VR系统可以包括计算平台、头戴式显示器(HMD)和/或一个或多个头部跟踪传感器。所述计算平台可以接收和/或解码360度视频，和/或生成用于显示的视窗。可以为视窗渲染两个图片，每只眼睛一个图片。这两个图片可以在HMD中显示(例如，用于立体观看)。透镜可以用于放大HMD中显示的图像以便更好地观看。所述头部跟踪传感器可以保持(例如，恒定地保持)对观看者的头部朝向的跟踪，和/或可以将朝向信息馈送至系统以显示针对该朝向的视窗图片。
VR系统可以提供触摸设备以供观看者与虚拟世界中的对象交互。VR系统可以由具有GPU支持的工作站驱动。VR系统可以使用智能电话作为计算平台、HMD显示器和/或头部跟踪传感器。空间HMD分辨率可以是2160x1200，刷新率可以是90Hz，和/或视场(FOV)可以是110度。头部跟踪传感器的采样密度可以是1000Hz，其可以捕获快速移动。VR系统可以包括透镜和/或卡板，和/或可以由智能电话驱动。
例如，可以使用基于HTTP上动态自适应流式传输(DASH)的视频流式传输技术来压缩和/或传送360度视频。例如，可以通过使用球面几何结构来表示360度信息，从而实现360度视频传送。例如，由多个相机捕获的同步的多个视图可以被拼接在球体上(例如，作为整体结构)。该球体信息可以经由几何结构转换(例如，等矩形投影和/或立方图投影)而被投影到2D平面表面上。
可以执行等矩形投影。图1A示出了在经度
Figure BDA0002988237990000071
和纬度(θ)的示例球体采样。图1B示出了使用等矩形投影(ERP)而被投影到2D平面上的示例球体。范围[-π，π]中的经度
Figure BDA0002988237990000072
可以被称为偏航，并且范围[-π/2，π/2]中的纬度θ可以被称为航空中的俯仰。π可以是圆的周长与其直径的比率。坐标(x，y，z)可以表示3D空间中的点的坐标。坐标(ue，ve)可以表示ERP之后2D平面中的点的坐标。ERP可以用数学方法表示，例如，如(1)和(2)所示。
ue＝(φ/(2*π)+0.5)*W (1)
ve＝(0.5-θ/π)*H (2)
W和H可以是2D平面图片的宽度和高度。如图1A所示，点P(即，球体上经度L4和纬度A1之间的交叉点)可以使用(1)和/或(2)而被映射到2D平面中图1B中的唯一点q。图1B中所示的2D平面中的点q可以例如经由反投影被投影回图1A中所示的球体上的点P。图1B中的视场(FOV)示出了一个示例，其中球体中的FOV被映射到2D平面，其中沿着X轴的视角大约为110度。
一个或多个360度视频可以被映射到2D视频。所映射的视频可以使用视频编解码器(例如，H.264和/或HEVC等)来编码和/或可以被递送到客户端。在客户端侧，可以基于用户的视窗(例如，通过将在等矩形图片中属于FOV的部分投影和/或显示到HMD上)来解码和/或渲染等矩形视频。球面视频可被变换成2D平面图片以供用ERP编码。等矩形2D图片的特性可以与非等矩形2D图片(例如，直线视频)不同。可以拉伸可以对应于北极的图片的顶部部分和可以对应于南极的图片的底部部分(例如，当与可以对应于中纬线的图片的中间部分相比时)。该拉伸可以指示2D空间域中的等矩形采样可能是不均匀的。2D等矩形图片中的运动场沿时间方向可能是很复杂的。
ERP图片的左边界和/或右边界可以被译码(例如，独立地译码)。例如，当重构视频被用于渲染视窗(该视窗经由HMD或2D屏幕而被显示示给用户)时，可能会在该重构视频中产生面接缝形式的令人反感的视觉伪像。N(例如，8)个亮度样本的填充可应用于图片的左侧和/或右侧。可以对包括填充样本的经填充的ERP图片进行编码。具有填充的重构ERP可以被转换回。例如，可以(例如，在解码之后)通过混合所复制的样本和/或裁剪所填充的区域来转换回所述具有填充的重构ERP。
朗伯(Lambert)圆柱形等面积投影(EAP)可以使用与ERP同样的经度采样。朗伯圆柱形EAP可以通过降低垂直采样密度来补偿极点附近增加的水平采样密度。在EAP中，所述垂直采样密度可以被设置为
Figure BDA0002988237990000081
并且组合的采样密度可以在整个球体上是恒定的。调整后的等面积投影(AEP)可以是EAP的一般化。AEP可以引入一参数，其可以控制投影中的线重新采样速率。
可以执行立方图投影。可以拉伸分别对应于北极和南极的ERP图片的顶部和底部(例如，当与图片的中间部分相比时)。这可以指示所述图片的球面采样密度可能是不均匀的。可描述相邻ERP图片之间的时间相关性的运动场可变得很复杂。某些视频编解码器(例如，MPEG-2、H.264和/或HEVC)可使用平移模型来描述所述运动场，且可能不能够表示平面ERP图片中的形状变化的移动。
几何投影格式可以用于将360度视频映射到多个面上。例如，可以使用立方图投影(CMP)。图2A示出了示例CMP几何结构。如图2A所示，该CMP可以包括六个正方形面，其可以被标记为PX、PY、PZ、NX、NY和/或NZ。P可以代表正，而N可以代表负。X、Y和Z可以指轴线。这些面可以用数字0-5标记。例如，这些面可以被标记为PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)、NZ(5)。如果切球体的半径是1，则每个面的横向长度可以是2。CMP格式的六个面可以被封装在一起(例如，帧封装在一起)成为图片(例如，单个图片)。可以将面旋转一定角度(例如，特定角度)，这可以影响(例如，最大化影响)相邻面之间的连续性。图2B示出了将六个面布置入矩形图片的示例性封装。面索引可以被置于与该面的相应旋转对准的方向。例如，面#3和#1可以被分别逆时针旋转180和270度。其它面可以不旋转。在示例中，帧封装方法可以包括3×2布局(例如，如图2B所示)。如图2B所示，顶行3个面可以是3D几何结构中的空间相邻面，并且可以具有连续纹理。如图2B所示，底行3个面可以是3D几何结构中的空间相邻面，并且可以具有连续纹理。顶面行和底面行在3D几何结构中可以不是空间连续的，并且该两个面行之间可以存着接缝，例如不连续的边界。
在CMP中，如果在面的中心处的采样密度为1，则该采样密度可以朝向边缘增加。当与中心处的纹理相比时，边缘周围的纹理可以被拉伸。基于立方图的投影(例如，等角立方图投影(EAC)、经调整的立方图投影(ACP)和/或类似投影)可以使用非线性扭曲函数在垂直和/或水平方向上调整面(例如，每个面)。例如，在EAC中，可以使用正切函数来执行调整。在ACP中，可以使用二阶多项式函数来执行调整。
可以执行混合立方图投影(HCP)。在HCP中，调整函数及其参数可以针对面和/或方向而被单独地调谐。基于立方图的投影格式可以包括混合等角立方图投影格式(HEC)。可以封装基于立方的投影。例如，基于立方的投影可以类似于CMP而被被封装。在基于立方的投影中，在帧封装的图片内可能出现面不连续性。
可执行用于360度视频译码的几何结构填充。
视频编解码器可以考虑在平面上捕获的2D视频。如果运动补偿预测使用参考图片边界之外的样本，则可以通过从所述图片边界复制一个或多个样本值来执行填充。这种类型的填充可以被称为重复填充。图3A和3B分别示出了使用重复填充用于ERP和CMP来扩展原始图片(例如，由虚线框所界定的图片)的示例。
360度视频可以包含球体(例如，整个球体)上的视频信息，和/或可以具有循环属性。360度视频的参考图片可以不具有边界。例如，360度视频的参考图片可以环绕所述球体(例如，并且可以不具有边界)。当在2D平面上表示360度视频时，所述循环属性可以存在。所述循环属性可以存在，而不管使用哪种投影格式和/或哪种帧封装实施。可通过考虑3D几何结构来填充样本而针对360度视频译码执行几何结构填充。
可以执行用于ERP的几何结构填充。ERP可以在具有经度和纬度的球体上被定义。给定要被填充的点(u，v)(例如，在ERP图片之外)，点(u'，v')可以用于导出填充样本。这可以通过以下步骤确定：
如果(u＜0or u≥W)and(0≤v＜H)；u′＝u％W，v′＝v (3)
否则，如果(v＜0)；v′＝-v-1，
Figure BDA0002988237990000101
否则，如果(v≥H)；v′＝2*H-1-v，
Figure BDA0002988237990000102
W和H可以是ERP图片的宽度和高度。
图4A示出了ERP的几何结构填充的示例。填充可以在图片的左边界之外执行。例如，如图4A中所见，位于图片的左边界之外的样本A、B和C可以用可位于所述图片的右边界之内的样本A'、B'和C'来填充。填充可以在图片的右边界之外执行。举例来说，如图4A中所见，样本D、E和F可用样本D'、E'和F'填充，所述样本D'、E'和F'可位于图片的左边界内部。填充可以在图片的顶部边界之外执行。例如，如图4A中所见，样本G、H、I和J可以用样本G'、H'、I'和J'填充，样本G'、H'、I'和J'可以位于图片的顶部边界内且具有一半宽度的偏移。填充可以在图片的底部边界之外执行。例如，如图4A中所见，样本K、L、M和N可以用样本K'、L'、M'和N'填充，样本K'、L'、M'和N'可以位于图片的底部边界内且具有一半宽度的偏移。图4B示出了使用几何结构填充的扩展的ERP图片的示例。如图4B中所见，几何结构填充可为ERP图片的边界之外的区域提供相邻样本之间的连续性。可以简化用于ERP的几何结构填充。例如，可以使用几何结构填充来填充图片的左边界和/或右边界，并且可以使用重复填充来填充图片的顶部边界和底部边界。对图片的左和/或右边界进行几何结构填充以及对图片的顶部和底部边界进行重复填充可能是合乎需要的，例如，因为与诸如顶部和底部边界的极点区相比，中纬线周围的区域(诸如，左边界和/或右边界)可能包括更有趣的视频内容和/或可能被用户更频繁地观看。
当经译码的图片为CMP格式时，可使用几何结构填充来填充CMP的一或多个面。图5A示出了在3D几何结构中的给定面上执行的几何结构填充的示例。如图5A所示，点P可以在面F1上，并且可以在面F1的边界之外。点P可以被填充。如图5A所示，点O可以在球体的中心。如图5A所示，R可以是左边界点，其可以最靠近P和位于面F1内侧。如图5A所示，点Q可以是点P从中心点O在面F2上的投影点。几何结构填充可以使用点Q处的样本值充填(fill)点P处的样本值来执行。图5B示出了使用针对CMP 3x2图片的几何结构填充的扩展的面的示例。如图5B所示，可以单独地在每个面上执行填充。几何结构填充可以为CMP面的边界之外的区域提供样本。
可以执行混合视频编码。图6中示出了示例性360度视频传送实施方式。如图6所示，示例性360度视频传送实施方式可以包括360度视频捕捉，其可以使用多个相机来捕捉覆盖球体空间(例如，整个球体空间)的视频。该视频可以以原生(native)几何结构被拼接在一起。例如，所述视频可以按照ERP格式而被拼接在一起。可以例如基于视频编解码器将所述原生几何结构转换为一个或多个投影格式以用于编码。在接收器处，可对所述视频进行解码，和/或可将解压缩的视频转换为几何结构以供显示。所述视频可以用于根据用户的视角经由视窗投影进行渲染。
图7示出了示例的基于块的混合视频编码系统600。输入视频信号602可以被逐块处理。扩展的块大小(例如，称为译码单元(CU))可以用于(例如，在HEVC中用于)压缩高分辨率(例如，1080p和/或以上)视频信号。CU可具有高达64x64像素(例如，在HEVC中)。CU可被分割成预测单元(PU)，可对该PU应用单独的预测。对于输入视频块(例如，宏块(MB)或CU)，可执行空间预测660或运动预测662。空间预测(例如，或帧内预测)可使用来自同一视频图片和/或切片中的已译码相邻块的像素来预测当前视频块。空间预测可以减少所述视频信号中固有的空间冗余。运动预测(例如，称为帧间预测或时间预测)可使用来自已译码视频图片的像素来预测当前视频块。运动预测可以减少所述视频信号中固有的时间冗余。可通过指示当前块与其参考块之间的运动的量及/或方向的运动矢量来用信号发送针对给定视频块的运动预测信号。如果支持多个参考图片(例如，在H.264/AVC、HEVC和/或其类似者中)，那么可将视频块的参考图片索引用信号发送到解码器。该参考索引可以用于标识时间预测信号可以来自参考图片存储664中的哪个参考图片。
在空间和/或运动预测之后，编码器中的模式决策680可例如基于速率失真优化来选择预测模式。在616处可从当前视频块减去预测块。预测残差可以使用变换模块604和量化模块606去相关，以实现目标比特率。量化的残差系数可以在610被逆量化并且在612被逆变换以形成重构的残差。在626，可以将该重构的残差加回到预测块，以形成重构的视频块。在将该重构的视频块放入参考图片存储664中之前，可在666处将环路内滤波器(例如，解块滤波器及/或自适应环路滤波器)应用于所述重构的视频块。所述参考图片存储664中的参考图片可用于对未来视频块进行译码。可以形成输出视频比特流620。译码模式(例如，帧间或帧内译码模式)、预测模式信息、运动信息和/或经量化的残余系数可被发送到熵译码单元608以被压缩和封装以形成比特流620。
图8说明示例基于块的视频解码器。视频比特流202可以在熵解码单元208处被接收、解封装和/或熵解码。译码模式和/或预测信息可被发送到空间预测单元260(例如，如果经帧内译码)和/或发送到时间预测单元262(例如，如果经帧间译码)。预测块可由空间预测单元260和/或时间预测单元262形成。残余变换系数可被发送到逆量化单元210及逆变换单元212以重构残余块。预测块及残余块可在226处被相加。重构块可经过环路内滤波266，并可被存储在参考图片存储264中。该参考图片存储264中的重构视频可用于驱动显示设备和/或预测未来视频块。
诸如H.264和/或HEVC的视频编解码器可以用于对2D平面直线视频进行译码。视频译码可利用空间和/或时间相关性，例如以移除信息冗余。可在视频译码期间应用例如帧内预测和/或帧间预测等一个或一个以上预测技术。帧内预测可以利用其相邻的重构样本来预测样本值。图9展示了可用于对当前变换单元(TU)进行帧内预测的示例参考样本。该参考样本可以是或可以包括位于所述当前TU上方和/或左侧的重构样本。所述参考样本可以是或可以包括来自左侧和/或顶部的相邻重构样本。
图10说明了HEVC中的帧内预测方向的示例指示。例如，HEVC可以指定35个帧内预测模式，这其中包括平面(0)、DC(1)和/或角度预测(2～34)，如图10所示，可以选择适当的帧内预测模式。例如，可以在编码器侧选择适当的帧内预测模式。可以比较由多个候选帧内预测模式生成的预测。可选择产生预测样本与原始样本之间的最小失真的候选帧内预测模式。可将所选的帧内预测模式译码入比特流。
角度预测可以用于预测定向纹理。图11示出了利用运动矢量(MV)的示例帧间预测。参考图片中的块B0'和B1'可为当前图片的块B0和B1的相应参考块。参考块B0'可以部分在所述参考图片的边界之外。填充可用于充填图片边界之外的未知样本。图12示出了用于图片边界之外的参考样本的示例填充。例如，用于块B0'的填充示例可以具有四个部分P0、P1、P2和P3。部分P0、P1和P2可以在图片边界之外，并且可以例如经由填充而被充填。部分P0可以用参考图片的左上样本来充填。部分P1可使用参考图片的最顶行通过垂直填充来充填。部分P2可使用所述图片的最左列通过水平填充来充填。
合并模式可使用(例如，再使用)空间和/或时间相邻PU的MV信息。PU(例如，当前PU)的运动矢量可不经译码。编码器和/或解码器可形成运动矢量合并候选者列表。例如，可使用空间和/或时间相邻PU的MV信息来创建该列表。图13示出了用于合并候选者导出的空间相邻者(例如，左下、右上、上和/或左上)的示例。可译码和/或用信号发送所选的合并候选者索引。合并候选者列表可由解码器构造。该解码器所进行的列表构造可以类似于(例如，相同于)编码器所进行的列表构造。用信号发送的合并候选者索引的条目可用作PU(例如，当前PU)的MV。
可以实施用于360度视频译码的几何结构填充。例如，可以基于2D到3D和3D到2D映射函数来实施用于360度视频译码的几何结构填充。所述2D到3D和3D到2D映射函数可以使用除法和/或三角函数，例如正弦、余弦、正切和/或类似函数。几何结构填充的实施可以利用计算资源，诸如CPU和/或存储器。所述几何结构填充可以是硬件实施的。可以实施具有恒定分母的除法。例如，可以使用比特移位操作来实施具有恒定分母的除法。具有可变分母的除法可能难以实施。可以使用查找表(LUT)来实现一个或多个功能。LUT可能不可用于解码平台。编码器和/或解码器可以将所述LUT存储在存储器中。
可以通过创建参考图片来实施几何结构填充。参考图片中的多个样本可被预填充在图片边界周围。可以不使用一个或多个预填充的样本。举例来说，当比特流中没有运动矢量参考经填充的样本时，可省略一或多个经预填充的样本且可不使用所述一或多个经预填充的样本。可以存储参考图片和/或经预填充的样本。例如，所述参考图片和/或经预填充的样本可被存储在存储器中。
在示例中，例如，如本文所描述的，几何结构填充可以基于在获取球面相邻者时导出一个或多个样本来实施。例如，当使用水平几何结构填充时，一个或多个样本可以从基于单个面的投影几何结构导出，诸如ERP、EAP、AEP和/或类似格式。裁剪操作可用于约束经解码的图片内的样本。
在示例中，块可以被划分成一个或多个子块。例如，可以基于块的运动矢量而将该块划分成一个或多个子块。可以取得从投影视频的不同部分对子块的预测。例如，如果运动矢量取ERP图片的左边缘之外的块的左部分，则该块可以被划分成多个部分，诸如两个部分。所述多个部分可以在所述ERP图片的边缘的内侧或/和外侧。可以从ERP图片的右侧取出位于左边缘外侧的部分，并且可以从ERP图片的左侧取出该左边缘内侧的部分。
一种视频译码设备可执行几何结构填充。本文描述的视频译码设备可为或可包含编码器和/或解码器。举例来说，视频译码设备可基于在获取一或多个球面相邻者时导出一或多个样本而执行几何结构填充。
可以用信号发送一指示以启用几何结构填充，诸如水平几何结构填充。例如，可以用信号发送一环绕启用指示以指示启用几何结构填充。所述环绕启用指示可指示是否启用水平环绕运动补偿。所述环绕启用指示可为或可包含环绕启用标志，所述环绕启用标志可指示是否启用所述水平环绕运动补偿。可在比特流中用信号发送例如环绕启用指示等指示。
可以确定一个或多个球面相邻者的正确位置。举例来说，所述视频译码设备可基于当前样本的参考样本环绕偏移，确定与所述当前样本相关联的一或多个球面相邻者的正确位置。所述视频译码设备可经由几何结构填充来考虑所述偏移，例如参考样本环绕偏移，且可计算所述一或多个球面相邻者的正确位置。例如，所述参考样本环绕偏移可以是或可以包括指示所述图片(诸如，与视频内容相关联的帧封装图片)的面宽度的信息。所述视频译码设备可基于指示所述帧封装图片的面宽度的大小指示来计算一或多个球面相邻者的正确位置。所述大小指示可以是或可以包括保护带大小，诸如按照亮度样本的保护带的宽度。基于可为或可包含所述保护带大小的宽度的所述大小指示，所述视频译码设备可计算与所述当前样本相关联的一或多个球面相邻者的正确位置。当在图片内对一个或多个面进行封装时，可以添加(例如，可以已经添加)所述位置和/或大小的保护带。当在图片(例如，所述帧封装的图片)中封装一个或多个面时，可能已经添加了保护带。例如，当在编码之前在图片内封装一个或多个面时，可能已经添加了所述保护带。如本文所述，可以用信号发送与几何结构填充有关的一个或多个指示，以指示是否应用了诸如水平几何结构填充之类的几何结构填充和/或指示了保护带。
对于包括面的投影几何结构，诸如像ERP、EAP、AEP和/或类似投影格式的单面投影格式，可以在水平方向上执行几何结构填充。当在水平方向上执行几何结构填充时，可以在垂直方向上使用重复填充。样本位置可以被确定，因为水平样本坐标可以被绕回到译码的图片内(例如，参见公式(3))。垂直样本坐标可以例如在重复填充中被裁剪至一个或多个译码图片边界。可以描述用于基于面(例如，单个面)的投影几何结构的帧间预测(例如，使用水平几何结构填充)的整数样本导出过程和/或分数样本内插过程。
可以用信号发送与几何结构填充有关的一个或多个指示。如本文所述，可用信号发送环绕启用指示。所述环绕启用指示可指示是否启用水平环绕运动补偿。可在序列及/或图片层级处用信号发送所述环绕启用指示。例如，指示几何结构填充的环绕启用指示可在诸如序列参数集(SPS)等序列级上被用信号发送。
可在比特流中用信号发送一个或一个以上帧封装参数。例如，可以使用高级语法(HLS)元素在序列和/或图片级用信号发送一个或多个帧封装参数。可以在比特流中用信号发送帧封装图片的面的位置和/或朝向。可以在比特流中用信号发送指示与帧封装图片相关联的面宽度的指示。可以在比特流中用信号发送针对一个或多个偏移的指示，例如指示保护带的宽度的大小指示和/或一个或多个保护带的存在。例如，可以在比特流中用信号发送用于面边缘处的一个或多个像素(例如，附加像素)的保护带的存在和/或大小指示。所述保护带的位置(诸如，所述偏移)可以基于投影格式。例如，对于基于单个面的投影几何结构，保护带可以位于左面边界和/或右面边界处。在示例中，位于左面边界和右面边界处的保护带的大小可以相同。在示例中，位于左面边界和右面边界处的保护带的大小可以不同。指示保护带宽度的所述大小指示可以包括所述保护带的宽度，例如左保护带和右保护带的宽度。对于基于多面的投影格式，例如CMP格式，所述保护带可以位于一组连续面和/或面行周围。如果在基于多个面的投影格式中保护带的大小不同，则该大小指示可以包括每个保护带的宽度。
可以用信号发送本文描述的一个或多个保护带和/或几何结构填充语法元素。举例来说，可用信号发送环绕启用指示以指示是否启用水平环绕运动补偿。该指示可以是或可以包括环绕启用标志。所述指示可以包括指示帧封装图片的面宽度的大小指示可被用信号发送。如本文所述，所述大小指示(例如，指示面宽度)可以是或可以包括指示所述保护带的宽度的参数，诸如guard_bands_param_present_flag。表1示出了几何结构填充和保护带语法元素的示例。所述几何结构填充和/或保护带语法元素可以在序列级和/或图片级被用信号发送。
表1.几何结构填充和保护带语法
Figure BDA0002988237990000181
在示例中，表1的参数可以具有以下语义。
语法元素projection_geometry可以是或可以包括所使用的投影几何结构的映射索引(例如，在表2中示出)。
语法元素guard_bands_param_present_flag可以指示是否存在语法元素gu ard_bands_size_in_luma_samples。如果不存在语法元素guard_bands_size_in_luma_samples，则可推断语法元素guard_bands_param_present_flag的值等于0。
偏移存在指示(例如，指示是否存在偏移的指示)可以包括关于偏移的信息。例如，所述偏移存在指示(诸如，guard_bands_param_present_flag)可用于确定比特流中是否存在偏移。如果所述偏移存在指示指示了所述比特流中存在所述偏移，那么例如解码器等视频译码设备可解析所述比特流以接收所述偏移。如果所述偏移存在指示指示了所述偏移不存在于所述比特流中，那么视频译码设备可跳过解析所述比特流以接收所述偏移。举例来说，如果所述偏移存在指示(例如，guard_bands_param_presnt_flag)指示不存在所述偏移，那么视频译码设备可跳过使用所述保护带。所投影的面的最左边边界和最右边边界可以在球体中相连接，并且这些边界可以不在帧封装图片中连接。可在所述比特流中对所述保护带中的充填/扩展样本进行译码。例如，左保护带信息可以来自所述面内的最右区段，并且右保护带信息可以来自所述面内的最左区段。在最左边界和最右边界处的重构样本可以是连续的(例如，当在译码中将最左边界和最右边界处的重构样本视为相邻样本时)。所述保护带中的样本可以在渲染中被丢弃(例如，因为这些样本在物理上不存在)。
可以接收指示图片(例如，帧封装图片)的面宽度的大小指示。举例来说，该大小指示可包含语法元素，例如guard_bands_size_in_luma_samples。可以基于所述大小指示来计算所述帧封装图片的面宽度。所计算的面宽度可以用作参考样本环绕偏移。例如，语法元素guard_bands_size_in_luma_samples可以表示按照在帧封装图片中使用的保护带的一个或多个亮度样本的大小。可以针对投影格式定义保护带的位置(例如，偏移)。例如，对于诸如ERP、EAP、AEP和/或类似格式的基于单个面的投影几何结构，可以在左和/或右面边界处定义一个或多个保护带。在示例中，左面边界和右面边界处的保护带可以具有相同的宽度。在示例中，所述左面边界和右面边界处的保护带可以具有不同的宽度。对于基于多面的投影几何结构，例如CMP格式，可以在一组面(例如，每组连续面或每个面行)周围定义一个或多个保护带。语法元素guard_bands_size_in_luma_samples可以不等于0。语法元素guard_band s_size_in_luma_samples可以是MinCbSizeY的整数倍。
如果语法元素geometry_padding_enabled_flag等于1，则该语法元素geo metry_padding_enabled_flag可指示参考图片的几何结构填充被应用于位于图片边界之外的一个或多个样本。如果语法元素geometry_padding_enabled_flag等于0，则该语法元素geometry_padding_enabled_flag可指示跳过(例如，不应用)所述几何结构填充。如果不存在语法元素geometry_padding_enabled_flag，则可推断语法元素geometry_padding_enabled_flag的值等于0。
表2示出了示例投影几何结构索引。
表2.投影几何结构索引
索引 投影几何结构
0 等矩形
1 立方图
2 等面积
3 调整后的等面积
可以根据在表1中用信号发送的信息和/或译码图片大小来计算面的实际大小，诸如没有保护带的面宽度。例如，对于诸如ERP、EAP、AEP和/或类似格式的基于单个面的投影几何结构，在译码图片的左侧和/或右侧具有保护带，可以例如使用公式(6)来计算所述实际面宽度。指示帧封装图片的面宽度的参数(例如，所述大小指示)可以是或可以包括如本文所述的pic_width_in_luma_samples。所述大小指示或例如pic_width_in_luma_samples等的所述参数可表示以亮度样本为单位的经解码图片的宽度。参数pic_width_in_luma_samples可以在序列级被用信号发送。例如，在顶侧和/或底侧上不存在保护带的情况下，可以从译码图片高度推断面高度。
face_width_in_luma_samples＝pic_width_in_luma_samples–2*guard_bands_size_in_luma_samples (6)
在示例中，左保护带和右保护带可以具有相同的大小。在示例中，左保护带和右保护带可以具有不同的大小。如果左保护带和右保护带具有不同的大小，则可以例如根据表3来用信号发送保护带的大小(例如，单独的大小)。表3示出了示例性几何结构填充和保护带语法。
表3.几何结构填充和保护带语法
Figure BDA0002988237990000211
语法元素guard_bands_param_present_flag可表示是否存在语法元素left_guard_band_width_in_luma_samples、right_guard_band_width_in_luma_sampl es或guard_bands_size_in_luma_samples中的至少一个。如果不存在诸如left_guard_band_width_in_luma_samples、right_guard_band_width_in_luma_samp les或guard_band_size_in_luma_samples之类的语法元素中的至少一个，则可以推断语法元素guard_bands_param_present_flag的值等于0。
语法元素left_guard_band_width_in_luma_samples可以表示按照在与基于单个面的投影相关联的图片(例如，ERP、EAP和/或AEP图片)的左面边界处的帧封装图片中使用的保护带的亮度样本的宽度。所述语法元素left_guard_band_width_in_luma_samples可以是MinCbSizeY的整数倍。
语法元素right_guard_band_width_in_luma_samples可以表示按照在与基于单个面的投影相关联的图片(例如，ERP、EAP和/或AEP图片)的右面边界处的帧封装图片中使用的保护带的亮度样本的宽度。语法元素right_guard_band_width_in_luma_samples可以是MinCbSizeY的整数倍。
如本文所述，可以基于指示帧封装图片的面宽度的大小(诸如left_guard_band_width_in_luma_samples和/或right_guard_band_width_in_luma_samples)指示来计算帧封装图片的面宽度。例如，通过使用这里描述的表示，可以例如基于使用公式(7)来计算面宽度。
face_width_in_luma_samples＝pic_width_in_luma_samples–(left_guard_band_width_in_luma_samples+right_guard_band_width_in_luma_samples) (7)
在示例中，保护带宽度的值可以是MinCbSizeY的倍数。如果保护带宽度的值是MinCbSizeY的倍数，则可以MinCbSizeY为单位指定语法元素，例如，以作为以亮度样本为单位的代替或作为其补充。
可以基于一个或多个样本对基于单个面的投影几何结构进行几何结构填充。在帧间预测中，可从参考图片中的参考块预测当前图片中的当前块。例如，可使用与从当前块位置到参考块位置的转换对应的MV从参考图片中的参考块预测当前图片中的当前块。对于当前块内的样本位置(x，y)，例如通过使用公式(8)，可以从参考图片Iref和MV(Δx，Δy)获得预测信号Ipred(x，y)。
Ipred(x，y)＝Iref(x+Δx，y+Δy) (8)
MV可使用分数精度p。例如，所述MV可使用1/2、1/4、1/8或1/16像素精度。所述分数精度可以使用从一个或多个可用的整数样本位置的内插。参考图片中的样本位置可例如使用公式(9)-(12)而被表示为整数部分和小数部分。s＝-log2(p)，》和《可以分别表示算术右移和左移。&可以表示逐位“与”运算符。
xInt＝x+(Δx＞＞s) (9)
xFrac＝Δx&[(1＜＜s)-1] (10)
yInt＝y+(Δy＞＞s) (11)
yFrac＝Δy&[(1＜＜s)-1] (12)
预测信号可以通过在整数位置处内插一个或多个相邻样本来获得。可获得所述预测信号以确定分数位置处的值。如果整数位置(xInt，yInt)处的样本在参考图片边界之外，例如在帧封装图片之外，那么可使用裁剪来将样本位置约束为在经译码的图片边界内。这可以类似于(例如，等效于)执行重复填充。对于亮度样本，可(例如)分别使用公式(13)和(14)来裁剪xInt和yInt坐标。
Figure BDA0002988237990000231
Figure BDA0002988237990000232
举例来说，如果所述环绕启用指示水平环绕运动补偿被停用，那么可执行裁剪和/或重复填充。可以识别帧封装图片中的当前样本位置。视频译码设备可确定所述当前样本位置是否位于帧封装图片的水平边界处。视频译码设备可确定所述参考样本位置是否位于帧封装图片的水平边界之外。可识别帧封装图片的水平边界上的参考样本位置。例如，如本文所述，可以基于裁剪来识别帧封装图片的水平边界上的参考样本位置。可以基于参考样本位置来预测当前样本。
对于亮度分量，当使用水平几何结构填充时，可例如使用公式(15)将xInt坐标绕回到经译码的图片，以考虑360度视频的循环属性，对于公式(15)，WL＝pic_width_in_luma_samples,FL＝face_width_in_luma_samples,且
Figure BDA0002988237990000242
如本文所述，诸如环绕启用指示之类的指示可以提供使用水平几何结构填充的信息。
Figure BDA0002988237990000241
如本文所描述，所述视频译码设备可确定原始参考样本位置(例如，原参考样本位置)是否在帧封装图片之外。如果原始参考样本位置在帧封装图片之外，则可以通过将参考样本环绕偏移应用于与所述原始参考样本位置相关联的水平样本坐标来计算参考样本位置。
在示例中，所述帧封装图片的面宽度可以基于参考样本环绕偏移来确定。可以在帧封装图片中识别当前样本位置。视频译码设备可确定原始参考样本位置(例如，原参考样本位置)是否在帧封装图片之外。如果原始参考样本位置在帧封装图片的最左水平边界之外，那么可通过将参考样本环绕偏移添加到与原始参考样本位置相关联的水平样本坐标(例如，xInt坐标)来确定参考样本位置(例如，如公式15中所示)。如果原始参考样本位置在帧封装图片的最右水平边界之外，那么可通过从与原始参考样本位置相关联的水平样本坐标减去参考样本环绕偏移来确定参考样本位置(例如，如公式15中所示)。
对于基于单个面的投影几何结构(例如，ERP、EAP、AEP和/或类似格式)，可以导出亮度样本位置，例如，如表4所示。表4说明了导出亮度样本位置的示例方法。例如，表4示出了用于帧间预测的整数样本推导过程和/或分数样本内插过程的示例。
表4.导出亮度样本位置的示例方法
Figure BDA0002988237990000251
对于一个或一个以上色度样本，当使用重复填充时，可(例如)通过分别使用公式(16)和(17)来裁剪xInt和yInt坐标。
Figure BDA0002988237990000261
Figure BDA0002988237990000262
对于色度分量，当使用水平几何结构填充时，可例如通过使用公式(18)来将xInt坐标绕回到经译码的图片，以考虑360度视频的循环属性，对于公式(18)，WC＝pic_width_in_luma_samples/SubWidthC且FC＝face_width_in_luma_samples/SubWidthC。
Figure BDA0002988237990000263
对于基于单个面的投影几何结构(例如，ERP、EAP、AEP和/或类似格式)，可以导出色度样本位置，例如，如表5所示。表5示出了导出色度样本位置的示例方法。例如，表5示出了用于帧间预测的整数样本推导过程和/或分数样本内插过程的示例。
表5.导出色度样本位置的示例方法
Figure BDA0002988237990000271
如果用于表示所述360度视频的投影格式是单面投影格式(例如，ERP、EAP、AEP和/或类似投影格式)，则本文中使用模运算描述的样本位置的环绕可以应用于水平几何结构填充。对于其它投影格式，诸如多面投影格式(例如，CMP和/或基于CMP的投影格式)，可以实施2D到3D和3D到2D映射函数。这里描述的模操作可以作为近似而被应用于所述多面投影格式(例如，CMP和/或基于CMP的投影格式)。
视频译码设备可针对所述当前CU内的样本位置确定一位置和/或可在样本级别执行运动补偿。对于标准动态范围(SDR)视频和/或类似者，可在块级别(例如，块可为CU或子CU)执行运动补偿。所述CU可被划分成多个部分(例如，两个部分)且/或可针对所述多个部分(例如，两个部分)中的每一者使用几何结构填充来执行运动补偿。
图14示出了当使用水平几何结构填充时用于帧间预测的重构样本的示例缓存。在帧间预测中，可不止一次访问参考图片中的样本，因为相同区域可由若干块、内插过程和/或细化过程参考。当访问解码图片缓冲器时，参考图片的一部分可以被缓存在存储器(例如，本地存储器)中，以便在执行帧间预测时进行快速读取访问，如图14所示。缓存区域可以是以当前块位置和/或当前CTU位置为中心的邻域。缓存区域的大小可能是有限的。如果使用几何结构填充并且当前块在第一面的第一面边界处和/或附近，则所述缓存区域可以被划分成两个子区域：第一子区域，其位于第一面中的当前块位置周围；以及第二子区域，其位于第一面边界的另一侧上，例如，在与第一面相邻的第二面上。例如，考虑如图12所示的ERP图片，在参考图片中，所缓存的数据可以包括两个子区域：位于当前块位置周围的第一区域(例如，用于预测图12中的两个子部分P1和P3区段)；以及对应于所环绕的数据的第二区域(例如，用于预测图12中的两个子部分P0和P2区段)，例如，其考虑了360度视频的循环属性。
为了预测对应于图12所示的P1和P3区段的部分，一个或多个预测样本可以来自图片的左侧。如果运动矢量具有分数样本精度，则可以实施内插和/或可以调整来自图片右侧的相邻者(例如，与图12所示的P0和P2区段相对应的区域)。可以应用重复填充以获得在图12所示的P1和P3区段预测的内插中使用的一个或多个样本值。
为了预测对应于P0和P2区段的部分，当需要内插时，可以通过重复填充(例如，通过使用360度视频的循环属性重复在图片的右边缘处的一个或多个样本)来获得一个或多个相邻样本。可以跳过从图片的左边缘提取一个或多个样本。为了获得用于所述两个部分中的每一个的两个运动矢量，对于对应于P1和P3区段的第一部分，运动矢量可以保持不变。对于对应于P0和P2区段的第二部分，可对运动矢量的水平分量应用模运算，例如，以实现如本文所述的环绕效应。
数据可以在所述缓存外部被访问。对于水平几何结构填充，可限制绕回操作以跳过获取位于所缓存的数据外部的一个或一个以上样本。例如，水平几何结构填充可以在给定范围SL(SL≤face_width_in_luma_samples,SC＝SL/SubWidthC)内执行，该范围可以与缓存大小相关。对于位于所缓存的数据之外的一个或多个样本，可以在该范围之外应用重复填充。公式(15)以及(18)可以分别被公式(19)和(20)代替。
Figure BDA0002988237990000291
Figure BDA0002988237990000292
当在分数样本位置处内插一个或一个以上样本时，可导出内插滤波器所使用的全样本位置处的一个或一个以上样本，例如，如分别针对亮度分量和色度分量的表4和/或表5中所示。举例来说，考虑图15中所描绘的情形，可使用全样本位置(xAi,j,yAi,j)处的亮度样本Ai,j来内插分数样本位置处的亮度样本a0,0到r0,0。对于全样本位置处的亮度样本Ai,j，可导出xAi,j和yAi,j坐标，例如，如分别针对亮度分量和色度分量的表4和/或表5中所示。
图16A是示出了可以实施一个或多个所公开的实施例的例示通信系统100的示图。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够接入此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图16A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。每一个基站114a、114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。举例来说，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件，然而应该了解。基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。举例来说，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新型无线电(NR)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。举例来说，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图16A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图16A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，其中所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图16A中没有显示，然而应该了解，RAN 104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图16A所示的WTRU 102c可被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图16B是示出了例示WTRU 102的系统图示。如图16B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图16B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图16B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0002988237990000361
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一个或多个：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图16C是示出了根据实施例的RAN 104和CN 106的系统图示。如上所述，RAN 104可以在空中接口116上使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c，然而应该了解，在保持符合实施例的同时，RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b、160c都可以包括在空中接口116上与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施例中，e节点B 160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。
每一个e节点B 160a、160b、160c都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图16C所示，e节点B 160a、160b、160c彼此可以通过X2接口进行通信。
图16C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然前述的每一个部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的每一个e节点B 162a、162b、162c，并且可以充当控制节点。例如，MME 142可以负责验证WTRU 102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162还可以提供一个用于在RAN 104与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c。SGW164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW 164还可以执行其他功能，例如在eNB间的切换过程中锚定用户平面，在DL数据可供WTRU 102a、102b、102c使用时触发寻呼处理，以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 166，所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU 102a、102b、102c提供电路交换网络(例如PSTN 108)接入，以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括一个IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU 102a、102b、102c提供针对其他网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。
虽然在图16A-16D中将WTRU描述成了无线终端，然而应该想到的是，在某些典型实施例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。
在典型实施例中，所述其他网络112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以接入或是对接到分布式系统(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送，例如源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些典型实施例中，DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些典型实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在指定的BSS中，在任何指定时间可有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。与802.11n和802.11ac相比，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据某些典型实施例，802.11ah可以支持仪表类型控制/机器类型通信(例如宏覆盖区域中的MTC设备)。MTC可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如，802.11n、802.11ac、802.11af以及802.11ah)来说，所述WLAN系统包括一个可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配矢量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz工作模式)对AP进行传输)，那么即使大多数的频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。
图16D是示出了根据实施例的RAN 113和CN 115的系统图示。如上所述，RAN 113可以在空中接口116上使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c，但是应该了解，在保持符合实施例的同时，RAN 113可以包括任何数量的gNB。每一个gNB 180a、180b、180c都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中，gNB180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此，举例来说，gNB180a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。在实施例中，gNB180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a传送多个分量载波(未显示)。这些分量载波的一个子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在实施例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩数字配置相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如e节点B 160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如e节点B 160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c进行通信。在非独立配置中，e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU 102a、102b、102c提供服务。
每一个gNB 180a、180b、180c都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图16D所示，gNB 180a、180b、180c彼此可以通过Xn接口通信。
图16D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一个前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的一者或多者gNB 180a、180b、180c，并且可以充当控制节点。例如，AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户，支持网络切片(例如处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、1823b可以使用网络切片处理，以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。举例来说，针对不同的使用情况，可以建立不同的网络切片，所述使用情况例如为依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类型通信(MTC)接入的服务等等。AMF 162可以提供用于在RAN 113与使用其他无线电技术(例如LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF 184a、184b来配置业务量路由。SMF 183a、183b可以执行其他功能，例如管理和分配UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接到RAN 113中的一者或多者gNB 180a、180b、180c，这样可以为WTRU 102a、102b、102c提供对分组交换网络(例如因特网110)的接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信，UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外，CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在一个实施例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与DN 185a、185b之间的N6接口并通过UPF 184a、184b连接到本地数据网络(DN)185a、185b。
有鉴于图16A-16D以及关于图16A-16D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF184a-b、SMF 183a-b、DN 185a-b和/或这里描述的其他任何设备(一个或多个)。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
在此所述的处理及技术可以在结合在计算机可读介质中的计算机程序、软件和/或固件中实施，以由计算机和/或处理器执行。计算机可读媒体的示例包括但不限于电子信号(通过有线和/或无线连接传输)和/或计算机可读存储媒体。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁媒体(例如，包括但不限于内部硬盘和可移除磁盘)、磁光媒体和/或光学媒体(例如CD-ROM盘和/或数字通用盘(DVD))。与软件相关联的处理器可用于实施用于WTRU、终端、基站、RNC和/或任何主计算机的射频收发信机。

Claims (17)

1.一种用于视频内容的译码的方法，所述方法包括：
在比特流中接收与所述视频内容相关联的图片；
接收环绕启用指示，所述环绕启用指示是否启用水平环绕运动补偿；
基于指示所述水平环绕运动补偿被启用的所述环绕启用指示，确定所述图片中的当前样本的参考样本环绕偏移；
基于所述参考样本环绕偏移、所述图片的图片宽度及当前样本位置，确定所述当前样本的参考样本位置；以及
基于所述参考样本位置，预测所述当前样本。
2.根据权利要求1所述的方法，其中所述方法进一步包括：
基于所述环绕启用指示，确定是否接收关于所述参考样本环绕偏移的偏移指示，其中在确定启用所述环绕启用指示后，解析所述比特流以接收关于所述参考样本环绕偏移的所述偏移指示，且其中在确定停用所述环绕启用指示后，跳过解析所述比特流以接收关于所述参考样本环绕偏移的所述偏移指示。
3.根据权利要求1所述的方法，其中所述环绕启用指示包括环绕启用标志，所述环绕启用标志指示所述水平环绕运动补偿是否被启用。
4.根据权利要求1所述的方法，其中确定所述图片中的所述当前样本的所述参考样本环绕偏移包括：
接收所述比特流中的关于所述参考样本环绕偏移的偏移指示，其中所述参考样本环绕偏移是基于所述偏移指示而被确定的，且所述参考样本环绕偏移指示所述图片的面宽度。
5.根据权利要求1所述的方法，其中确定所述图片中的所述当前样本的所述参考样本环绕偏移包括：
接收指示所述图片的面宽度的大小指示，其中所述大小指示包括按照亮度样本的保护带的宽度；以及
基于所述大小指示，计算所述图片的所述面宽度。
6.根据权利要求5所述的方法，其中所述保护带的所述宽度为所述保护带的第一宽度，且指示所述图片的所述面宽度的所述大小指示进一步包括按照亮度样本的所述保护带的第二宽度，且所述图片的所述面宽度基于所述保护带的所述第一宽度及按照亮度样本的所述保护带的所述第二宽度而被计算。
7.根据权利要求1所述的方法，其中所述环绕启用指示和所述参考样本环绕偏移是在序列级被接收的。
8.根据权利要求1所述的方法，其中确定所述参考样本位置包括：
基于所述参考样本环绕偏移和所述图片的所述图片宽度来计算所述图片的面宽度；
识别所述图片中的所述当前样本位置；
确定原始参考样本位置在所述图片之外；
在确定所述原始参考样本位置在所述图片的最左水平边界之外后，通过将所述参考样本环绕偏移添加到与所述原始参考样本位置相关联的水平样本坐标来确定所述参考样本位置；以及
在确定所述原始参考样本位置在所述图片的最右水平边界之外后，通过从与所述原始参考样本位置相关联的所述水平样本坐标减去所述参考样本环绕偏移来确定所述参考样本位置。
9.根据权利要求1所述的方法，其中所述方法包括：
确定所述原始参考样本位置在所述图片之外；以及
通过将所述参考样本环绕偏移应用于与所述原始参考样本位置相关联的水平样本坐标来计算所述参考样本位置。
10.根据权利要求1所述的方法，其中所述方法包括：
识别所述图片中的所述当前样本位置；
确定所述当前样本位置位于所述图片的水平边界处；
确定所述参考样本位置位于所述图片的所述水平边界之外；
基于指示所述水平环绕运动补偿被停用的所述环绕启用指示，识别所述图片的所述水平边界上的所述参考样本位置；以及
基于所述参考样本位置来预测所述当前样本。
11.根据权利要求1所述的方法，其中所述图片与等矩形投影(ERP)格式、等面积投影(EAP)格式或经调整的等面积投影(AEP)格式相关联。
12.一种用于视频内容的译码的设备，包括：
处理器，所述处理器被配置为：
在比特流中接收与所述视频内容相关联的图片；
接收环绕启用指示，所述环绕启用指示是否启用水平环绕运动补偿；
基于指示所述水平环绕运动补偿被启用的所述环绕启用指示，确定所述图片中的当前样本的参考样本环绕偏移；
基于所述参考样本环绕偏移、所述图片的图片宽度及当前样本位置，
确定所述当前样本的参考样本位置；以及
基于所述参考样本位置，预测所述当前样本。
13.根据权利要求12所述的设备，其中所述处理器进一步被配置为：
基于所述环绕启用指示，确定是否接收关于所述参考样本环绕偏移的偏移指示，其中在确定启用所述环绕启用指示后，解析所述比特流以接收关于所述参考样本环绕偏移的所述偏移指示，且其中在确定停用所述环绕启用指示后，跳过解析所述比特流以接收关于所述参考样本环绕偏移的所述偏移指示。
14.根据权利要求12所述的设备，其中为了确定所述图片中的所述当前样本的所述参考样本环绕偏移，所述处理器被配置为：
接收所述比特流中的关于所述参考样本环绕偏移的偏移指示，其中所述参考样本环绕偏移是基于所述偏移指示而被确定的，且所述参考样本环绕偏移指示所述图片的面宽度。
15.根据权利要求12所述的设备，其中为了确定所述图片中的所述当前样本的所述参考样本环绕偏移，所述处理器被配置为：
接收指示所述帧封装图片的面宽度的大小指示，其中所述大小指示包括按照亮度样本的保护带的宽度；以及
基于所述大小指示来计算所述图片的所述面宽度。
16.根据权利要求12所述的设备，其中为了确定所述参考样本位置，所述处理器被配置为：
基于所述参考样本环绕偏移和所述图片的所述图片宽度来计算所述帧封装图片的面宽度；
识别所述帧封装图片中的所述当前样本位置；
确定原始参考样本位置在所述图片之外；
在确定所述原始参考样本位置在所述图片的最左水平边界之外后，通过将所述参考样本环绕偏移添加到与所述原始参考样本位置相关联的水平样本坐标来确定所述参考样本位置；以及
在确定所述原始参考样本位置在所述图片的最右水平边界之外后，通过从与所述原始参考样本位置相关联的所述水平样本坐标减去所述参考样本环绕偏移来确定所述参考样本位置。
17.根据权利要求12所述的设备，其中所述处理器被配置为：
识别所述图片中的所述当前样本位置；
确定所述当前样本位置位于所述图片的水平边界处；
确定所述参考样本位置位于所述图片的所述水平边界之外；
基于指示所述水平环绕运动补偿被停用的所述环绕启用指示，识别所述图片的所述水平边界上的所述参考样本位置；以及
基于所述参考样本位置来预测所述当前样本。
CN201980062285.2A 2018-09-27 2019-09-26 用于360度视频译码的样本导出 Pending CN112740701A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862737303P 2018-09-27 2018-09-27
US62/737,303 2018-09-27
PCT/US2019/053055 WO2020069058A1 (en) 2018-09-27 2019-09-26 Sample derivation for 360-degree video coding

Publications (1)

Publication Number Publication Date
CN112740701A true CN112740701A (zh) 2021-04-30

Family

ID=68165853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980062285.2A Pending CN112740701A (zh) 2018-09-27 2019-09-26 用于360度视频译码的样本导出

Country Status (8)

Country Link
US (2) US11601676B2 (zh)
EP (1) EP3857895A1 (zh)
JP (1) JP2022501905A (zh)
KR (1) KR20210080358A (zh)
CN (1) CN112740701A (zh)
BR (1) BR112021005945A2 (zh)
TW (1) TWI822863B (zh)
WO (1) WO2020069058A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11252434B2 (en) 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
JP7425808B2 (ja) 2019-06-04 2024-01-31 北京字節跳動網絡技術有限公司 動き候補リスト構築プロセスの条件付き実行
CN113966616B (zh) 2019-06-04 2023-11-14 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
CN113994699B (zh) 2019-06-06 2024-01-12 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
CN114175636B (zh) 2019-07-14 2024-01-12 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
US11095916B2 (en) * 2019-07-23 2021-08-17 Qualcomm Incorporated Wraparound motion compensation in video coding
CN117615155A (zh) 2019-09-19 2024-02-27 北京字节跳动网络技术有限公司 视频编解码中的参考样点位置推导
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
WO2021068921A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Motion vector handling in geometry partition mode
US11095912B2 (en) * 2019-10-28 2021-08-17 Mediatek Inc. Video decoding method for decoding part of bitstream to generate projection-based frame with constrained guard band size, constrained projection face size, and/or constrained picture size
JP7393550B2 (ja) 2019-12-11 2023-12-06 北京字節跳動網絡技術有限公司 クロス成分適応ループフィルタリングのためのサンプルパディング
US11711537B2 (en) 2019-12-17 2023-07-25 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
US11418804B2 (en) 2019-12-31 2022-08-16 Tencent America LLC Method for wrap around motion compensation with reference picture resampling
KR20220160038A (ko) * 2020-03-26 2022-12-05 알리바바 그룹 홀딩 리미티드 비디오 코딩 데이터를 시그널링하기 위한 방법들
JP7425224B2 (ja) 2020-04-07 2024-01-30 北京字節跳動網絡技術有限公司 高レベル構文におけるインター予測のための信号通知
WO2021204234A1 (en) 2020-04-09 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Deblocking signaling in video coding
CN115486064A (zh) 2020-04-10 2022-12-16 抖音视界有限公司 标头语法元素和自适应参数集的使用
CN115868159A (zh) 2020-04-17 2023-03-28 抖音视界有限公司 自适应参数集单元的存在
WO2021222037A1 (en) 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of weighted prediction information
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
TWI828091B (zh) * 2022-03-23 2024-01-01 中華電信股份有限公司 全景影像傳輸系統、方法以及電腦程式產品
WO2024037645A1 (en) * 2022-08-19 2024-02-22 Mediatek Inc. Boundary sample derivation in video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105850122A (zh) * 2014-01-03 2016-08-10 高通股份有限公司 在多层译码中用于对参考图片集(rps)进行译码的方法
CN107852498A (zh) * 2015-07-27 2018-03-27 高通股份有限公司 在视频译码中限制双向预测的方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703283B1 (ko) 2004-03-15 2007-04-03 삼성전자주식회사 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법
US7480335B2 (en) * 2004-05-21 2009-01-20 Broadcom Corporation Video decoder for decoding macroblock adaptive field/frame coded video data with spatial prediction
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
US8923384B2 (en) * 2007-12-31 2014-12-30 Netlogic Microsystems, Inc. System, method and device for processing macroblock video data
WO2011052142A1 (ja) * 2009-10-29 2011-05-05 パナソニック株式会社 画像符号化方法および画像復号方法
CN102088610B (zh) * 2011-03-08 2013-12-18 开曼群岛威睿电通股份有限公司 视频编解码器及运动估计方法
WO2012132237A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
KR102432085B1 (ko) * 2015-09-23 2022-08-11 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
US20170214937A1 (en) 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
FI20165256L (fi) 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US20170374364A1 (en) 2016-06-23 2017-12-28 Mediatek Inc. Method and Apparatus of Face Independent Coding Structure for VR Video
KR20230051319A (ko) * 2016-07-08 2023-04-17 브이아이디 스케일, 인크. 지오메트리 투영을 이용한 360도 비디오 코딩
EP3301914A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
US10609284B2 (en) * 2016-10-22 2020-03-31 Microsoft Technology Licensing, Llc Controlling generation of hyperlapse from wide-angled, panoramic videos
EP3316212A1 (en) * 2016-10-28 2018-05-02 Thomson Licensing Method for deblurring a video, corresponding device and computer program product
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US10893256B2 (en) * 2017-06-26 2021-01-12 Nokia Technologies Oy Apparatus, a method and a computer program for omnidirectional video
US11252434B2 (en) * 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
BR112021012366B1 (pt) * 2019-01-15 2022-03-22 Lg Electronics Inc Método de decodificação de uma imagem realizado por um aparelho de decodificação, método de codificação de uma imagem realizado por um aparelho de codificação e mídia de armazenamento digital legível por computador não transitória

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105850122A (zh) * 2014-01-03 2016-08-10 高通股份有限公司 在多层译码中用于对参考图片集(rps)进行译码的方法
CN107852498A (zh) * 2015-07-27 2018-03-27 高通股份有限公司 在视频译码中限制双向预测的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PHILIPPE HANHART 等: "AHG8: Horizontal geometry padding for PERP", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》, 10 July 2018 (2018-07-10), pages 1 - 4 *

Also Published As

Publication number Publication date
KR20210080358A (ko) 2021-06-30
TWI822863B (zh) 2023-11-21
EP3857895A1 (en) 2021-08-04
US20230188752A1 (en) 2023-06-15
WO2020069058A1 (en) 2020-04-02
US11601676B2 (en) 2023-03-07
US20220007053A1 (en) 2022-01-06
BR112021005945A2 (pt) 2021-06-29
TW202029763A (zh) 2020-08-01
JP2022501905A (ja) 2022-01-06

Similar Documents

Publication Publication Date Title
TWI822863B (zh) 360度視訊寫碼樣本導出
JP7357747B2 (ja) 面連続性を使用する３６０度ビデオコーディング
CN111183646B (zh) 用于编码的方法和装置、用于解码的方法和装置以及存储介质
CN111713111B (zh) 用于360度视频译码的面不连续性滤波
CN110999296B (zh) 解码360度视频的方法、设备及计算机可读介质
TWI797234B (zh) 360度視訊編碼適應性訊框填裝
WO2019089382A1 (en) 360-degree video coding using face-based geometry padding
CN110651476B (zh) 基于几何图形填充的用于360度视频的预测编码
RU2786015C2 (ru) Получение сэмпла для кодирования 360-градусного видео

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination