CN114731431A - 在360度虚拟现实视频编码中用于发送水平环绕移动补偿的方法和装置 - Google Patents

在360度虚拟现实视频编码中用于发送水平环绕移动补偿的方法和装置 Download PDF

Info

Publication number
CN114731431A
CN114731431A CN202080078645.0A CN202080078645A CN114731431A CN 114731431 A CN114731431 A CN 114731431A CN 202080078645 A CN202080078645 A CN 202080078645A CN 114731431 A CN114731431 A CN 114731431A
Authority
CN
China
Prior art keywords
parameter set
motion compensation
virtual reality
video sequence
reality video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080078645.0A
Other languages
English (en)
Inventor
邱志尧
陈俊嘉
徐志玮
陈庆晔
黄毓文
庄子德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN114731431A publication Critical patent/CN114731431A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)

Abstract

编解码VR360视频序列的方法和装置被公开，其中环绕运动补偿作为编解码工具被包括。根据所述方法，与VR360视频序列的编码数据相对应的比特流在编码器侧被生成或在解码器侧被接收，其中，所述比特流包括与图像参数集合(picture parameter set，简称PPS)中的环绕运动补偿信息有关的一个或多个PPS语法。基于环绕运动补偿信息，VR360视频序列在编码器侧被编码或在解码器侧被解码。

Description

在360度虚拟现实视频编码中用于发送水平环绕移动补偿的 方法和装置
相关引用
本申请要求分别在2019年11月15日递交的申请号为62/935,665的美国临时申请案和在2019年11月29日递交的申请号为62/941,934的美国临时申请案的优先权。上述全部内容以引用方式并入本发明。
技术领域
本发明涉及360度虚拟现实(VR360)图像的图像处理，更具体地，涉及发送VR360视频编解码的环绕运动补偿信息。
背景技术
360度视频(也被称为沉浸式视频)是一种新兴技术，可提供“当下的感觉”。通过以覆盖全景图(尤其是360度视场)的环绕场景包围使用者，沉浸感可被实现。立体呈现可进一步改善“当下的感觉”。因此，全景视频被广泛用于虚拟现实(Virtual Reality，简称VR)应用程序中。
沉浸式视频涉及使用多个摄像机获取场景以覆盖全景视图，例如360度视场。沉浸式摄像机通常使用全景摄像机或一组摄像机来获取360度视场。通常，沉浸式摄像机使用两个或更多摄像机。所有视频必须同时拍摄，以及场景的单独片段(也称为单独的透视图)被记录。此外，摄像机组通常被布置为水平地获取视图，而摄像机的其他布置也是可能的。
360度虚拟现实(virtual reality，简称VR)图像可使用360度球面全景相机来获取或是布置成覆盖360度左右所有视野的多张图像。三维(three-dimensional，简称3D)球面图像很难使用常规图像/视频处理设备进行处理或存储。因此，通常使用3D到2D投影方法(例如，等角矩形投影(EquiRectangular Projection，简称ERP)和立方体投影(CubMapProjection，简称CMP))，360度VR图像被转换为二维(two-dimensional，简称2D)格式。除了ERP和CMP投影格式外，还有许多其他VR投影格式，例如八面体投影(OctaHedraonProjection，简称OHP)，二十面体投影(icosahedron，简称ISP)，分段球投影(SegmentedSphere Projection，简称SSP)和旋转球投影(Rotated Sphere Projection，简称RSP)，这些已在该领域中广泛使用。
VR360视频序列通常比常规的2D视频序列需要更多的存储空间。因此，视频压缩通常应用于VR360视频序列，以减少用于存储的存储空间或用于流/传输的比特率。
高效率视频编解码(High Efficiency Video Coding，HEVC)标准是在ITU-T视频编解码专家组(Video Coding Experts Group，VCEG)和ISO/IEC运动图像专家组(MovingPicture Experts Group,MPEG)标准化组织的联合视频项目下开发的，尤其是与被称为视频编解码联合协作小组(Joint Collaborative Team on Video Coding,JCT-VC)的合作而开发的。VR360视频序列可使用HEVC进行编解码。名为“通用视频编解码(Versatile VideoCoding，简称VVC)”的新兴的视频编解码标准开发(emerging video coding standarddevelopment)，还包括用于VR360视频序列的编解码技术。如下所述，VVC支持参考图像重采样。
参考图像重采样
在VVC的开发过程中，根据“对未来视频编解码标准的要求”，“在适应性流服务提供了相同内容的多个表示(每个表示具有不同属性)的适应性流服务的情况下，该标准应支持快速表示切换(例如空间分辨率或采样位深度)”在实时视频通信中，无需插入I图像就可以在编解码视频序列中更改分辨率，不仅可以使视频数据无缝地适应动态信道条件或用户偏好，而且还可以消除由I图像引起的跳动效果。图1中显示了带有参考图像重采样(Reference Picture Resampling，简称RPR)的适应性分辨率更改(Adaptive ResolutionChange，简称ARC)的假设示例，其中，当前图像(110)根据不同大小的参考图像(Ref0 120和Ref1130)进行预测。如图1所示，参考图像Ref0(120)具有比当前图像(110)更低的分辨率。为了将参考图像Ref0用作参考，Ref0必须被放大到与当前图像相同的分辨率。参考图像Ref1(130)具有比当前图像(110)更高的分辨率。为了将参考图像Ref1用作参考，Ref1必须被缩小到与当前图像相同的分辨率。
为了支持空间可伸缩性，参考图像的图像大小可以与当前图像不同，这对于流应用程序很有用。用于支持参考图像重采样(Reference Picture Resampling，简称RPR)(也被称为适应性分辨率更改(Adaptive Resolution Change，简称ARC))的方法已经被研究，以将其包含在VVC规范中。在日内瓦举行的第14届JVET会议上，一些有关RPR的文稿在会议上被提出并被讨论。
水平环绕运动补偿
水平环绕运动补偿已经被提出包括在VTM7中(J.Chen,et al.,Algorithmdescription for Versatile Video Coding and Test Model 7(VTM 7),Joint VideoExperts Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11 16thMeeting:Geneva,CH,1–11Oct.2019,Document:JVET-P2002)。水平环绕运动补偿是一种360特定的编解码工具，旨在提高等角矩形投影(equi-rectangular projection，简称ERP)格式的重构360度视频的视觉质量。在常规的运动补偿中，当运动向量参考参考图像的图像边界之外的样本时，通过将对应图像边界的最近相邻样本进行复制，重复填充被应用以导出越界样本的值。对于360度视频，这种重复填充的方法不适合，并且可能在重构的视口(viewport)视频中引起被称为“接缝伪影”的视觉伪影。因为360度视频是在球体上获取的，并且固有地没有“边界”，所以投影域中参考图像的边界之外的参考样本可以始终从球体域中的相邻样本中获取。对于一般的投影格式，可能难以在球形域中导出对应的相邻样本，因为它涉及2D到3D和3D到2D坐标转换，以及分数样本位置的样本插值。对于ERP投影格式的左边界和右边界，此问题要简单得多，因为左图像边界外的球面相邻样本可以从右图像边界内的样本获得，反之亦然。鉴于ERP投影格式的广泛使用以及相对易于实现的特点，水平环绕运动补偿在VTM7中被采用，以提高以ERP投影格式编解码的360视频的视觉质量。
在图2A中，对应于ERP格式的世界地图的VR360帧210的示例被示出。如果帧被视为常规2D图像，则参考块220覆盖帧边界224外部的区域222。该外部参考区域将被视为不可用。如图2A的区域230所示，根据常规的运动补偿，不可用的参考数据可使用重复填充来生成，这可能导致接缝伪影。如图2B的区域250所示，VTM7中采用的环绕运动补偿可使用水平环绕来生成不可用的参考数据。因此，参考块220的不可用区域现在使用环绕参考数据242来实现适当的运动补偿。
水平环绕运动补偿过程的示例在图3中被描述。当参考块的一部分在投影域中的参考图像的左(或右)边界之外时，代替重复填充，“越界”部分取自相应球面相邻区域，该相邻区域位于参考图像内朝向投影域中的右(或左)边界。重复填充仅用于顶部和底部图像边界。如图3所示，当前图像310被填充在ERP图像(左边界(314)和右边界(312)之间的区域)的左边界(314)和右边界(312)上。类似地，参考图像320被填充在ERP图像(左边界(324)和右边界(322)之间的区域)的左边界(324)和右边界(322)上。块330对应于当前图像310的当前CU和块340对应于参考图像320的同位(co-located)CU。运动向量(motion vector，简称MV)被用来定位参考块342，其中参考块的一部分(即，充满斜线的区域344)在参考图像之外。越界区域344可从环绕参考块346生成，其中，通过将越界区域344水平移动ERP宽度，环绕参考块346被定位。
如图3所示，水平环绕运动补偿可与360度视频编解码中经常使用的非规范填充方法相结合。在VVC中，这是通过发送高级语法元素来实现，以指示环绕偏移，该偏移应在填充之前被设置为ERP图像宽度。该语法用于相应地调整水平环绕的位置。此语法不受左右图像边界上的特定填充量影响。因此，语法自然地支持ERP图像的非对称填充，以允许不同的左右填充。当参考样本在参考图像的左边界或右边界之外时，水平环绕运动补偿对运动补偿提供了更有意义的信息。在360视频通用测试条件(common test condition，简称CTC)下，此工具不仅在速率失真性能方面提高了压缩性能，还在减少接缝伪像和改善重构的360度视频的主观质量的方面提高了压缩性能。水平环绕运动补偿还可用于在水平方向上具有恒定(constant)采样密度的其他单面投影格式，例如360Lib中调整后的等面积投影。
本发明解决与发送环绕运动补偿信息有关的问题。
发明内容
对VR360视频序列进行编码的方法和装置被公开，环绕运动补偿作为编解码工具被包括其中。根据该方法，与VR360视频序列的编码数据相对应的比特流在编码器侧被生成或在解码器侧被接收，其中，该比特流包括与图像参数集合(picture parameter set，简称PPS)中环绕运动补偿信息有关的一个或多个PPS语法。基于环绕运动补偿信息，VR360视频序列在编码器侧被编码或在解码器侧被解码。
在一实施例中，PPS语法包括与PPS标志相对应的第一PPS语法，该PPS标志指示环绕运动补偿是否用于目标图像。例如，第一PPS语法可被指定为pps_ref_wraparound_enabled_flag。在另一实施例中，当第一PPS语法指示环绕运动补偿用于目标图像时，第二PPS语法被包括在比特流中，其中第二PPS语法与环绕偏移量的值有关。第二PPS语法可表示环绕运动补偿偏移量的值减1。例如，第二PPS语法可被指定为pps_ref_wraparound_offset_minus1。
在一实施例中，比特流包括与序列参数集合(sequence parameter set，简称SPS)中的环绕运动补偿信息有关的一个或多个SPS语法。SPS语法可包括与SPS标志相对应的第一SPS语法，该SPS标志指示环绕运动补偿是否用于目标序列。例如，第一SPS语法可被指定为sps_ref_wraparound_enabled_flag。
附图说明
图1示出具有参考图像重采样(Reference Picture Resampling，简称RPR)的适应性分辨率更改(Adaptive Resolution Change，简称ARC)的假设示例，其中当前图像根据不同尺寸的参考图像(Ref0和Ref1)来预测。
图2A示出VR360帧的不可用参考数据的重复填充的示例。
图2B示出VR360帧的不可用参考数据的水平环绕示例。
图3示出水平环绕运动补偿处理的示例。
图4示出根据本发明的实施例的引入发送环绕运动补偿信息的系统的示例性框图。
具体实施方式
以下描述是实施本发明的最佳构想模式。该描述的进行是出于说明本发明的一般原理的目的，而不应被认为是限制性的。本发明的范围最好透过参考所附的权利要求来确定。
容易理解的是，如本文附图中一般描述和说明的本发明的元件可以以各种不同的配置来布置和设计。因此，如附图所示，本发明的系统和方法的实施例的以下更详细的描述并非旨在限制所要求保护的本发明的范围，而仅仅代表本发明的所选实施例。
本说明书中对“实施例”，“一些实施例”或类似语言的引用意味着结合实施例描述的具体特征，结构或特性可以包括在本发明的至少一实施例中。因此，贯穿本说明书在各个地方出现的短语“在实施例中”或“在一些实施例中”不一定都指代相同的实施例，
此外，所描述的特征，结构或特性可在一个或多个实施例中以任何合适的方式组合。然而，所属技术领域的技术人员将认识到，可在没有一个或多个具体细节的情况下或者利用其他方法，元件等来实践本发明。在其他情况下，未示出或详细描述公知的结构或操作，以避免模糊本发明的各方面。
通过参考附图，本发明的所示实施例将被最好地理解，其中，相似的部分始终由相似的数字表示。以下描述仅旨在作为示例，并且简单地示出了与本文所要求保护的本发明一致的装置和方法的特定选择的实施例。
在说明书中，现在附图和说明书中的相似的附图标记指定不同视图之间的对应或相似元素。
如前所述，VVC草案7使用环绕运动补偿来处理参考图像边界之外的参考图像区域。此外，根据VVC草案7，高级语法元素被发送以指示环绕偏移，该偏移被设置为填充前的ERP图像宽度。但是，RPR被启用时，分辨率不同的一组图像的环绕偏移可能会有所不同。另一个问题是，只要有引用SPS的图像违反一致性规定，我们就无法启用水平环绕运动补偿。为了解决上述两个问题，根据本发明的实施例修改了水平环绕运动补偿信息的发送。
方法1：在PPS中发送水平环绕运动补偿信息
在VVC草案7中，水平环绕运动补偿信息的发送在序列参数集合(SequenceParameter Set，简称SPS)中。由于适应性分辨率更改(adaptive Resolution Change，简称ARC)/参考图像重采样(Reference Picture Resampling，简称RPR)允许参考图像具有不同的分辨率，因此SPS中水平环绕运动补偿的发送可能会导致参考数据不正确。因此，解决此问题的一种方法是将水平环绕运动补偿信息的发送从SPS移动到图像参数集合(PictureParameter Set，简称PPS)。
方法2：有条件地在PPS中发送水平环绕运动补偿信息
在本发明的另一种方法中，当水平环绕运动补偿信息不在SPS中时，在PPS中发送水平环绕运动补偿信息被允许。如果水平环绕运动补偿信息既不在PPS中也不在SPS中，则应在图像报头(Picture Header)中。
在另一实施例中，当RPR被禁用时，在SPS中环绕偏移信息被发送。此外，当RPR被启用时，在PPS中环绕补偿的信息被发送。
方法3：无论RPP被启用或禁用，都支持水平环绕运动补偿
根据方法3，无论RPR被启用还是被禁用，当没有水平缩放并且当前图像和参考图像之间的图像大小相同时，仅水平环绕运动补偿被支持。具体地说，没有水平缩放意味着在当前图像和参考图像之间PicOutputWidthL相同，其中PicOutputWidthL表示应用缩放窗口后当前图像的宽度。
下面列出的方法3的四个实施例：
1.在一实施例中，仅在当前图像和参考图像之间的PicOutputWidthL和图像大小相同时，环绕运动补偿才被支持。
2.在一实施例中，仅在当前图像和参考图像之间的PicOutputWidthL相同时，环绕运动补偿才被支持。
3.在一实施例中，仅在当前图像和参考图像之间的PicOutputWidthL，PicOutputHeightL和图像大小都相同时，环绕运动补偿才被支持。
4.在一实施例中，仅在当前图像和参考图像之间的PicOutputWidthL和PicOutputHeightL相同时，环绕运动补偿才被支持。
方法4：互斥RPR和水平环绕运动补偿
根据该方法，参考图像重采样(reference picture resampling，简称RPR)和水平环绕运动补偿是互斥的。方法4可以有两个实施例：
1.当RPR被启用或inter_layer_ref_pics_present_flag等于1时，在SPS中水平环绕运动补偿被禁用。
2.当RPR被启用时，在SPS中水平环绕运动补偿被禁用。
如下所示，基于工作草案来实现本发明的一些示例。
根据方法1，工作草图可以如下表所示修改。
表1.根据方法1的实施例的示例性序列参数集合RBSP语法
//sps_ref_wraparound_enabled_flag// //u(1)//
//if(sps_ref_wraparound_enabled_flag)//
//sps_ref_wraparound_offset_minus1// //ue(v)//
在上表中，一对双斜杠之间的文本表示已删除的文本。如上表所示，在SPS中环绕标志(即sps_ref_wraparound_enabled_flag)和环绕偏移信息(即sps_ref_wraparound_offset_minus1)被删除。如下表所示，根据本发明的实施例，在PPS中该信息被发送。
表2.根据方法1的实施例的示例性图像参数集合RBSP语法
Figure BDA0003639128510000092
在上表中，斜体文本表示插入的文本。如上表所示，在PPS中环绕标志(即pps_ref_wraparound_enabled_flag)和环绕偏移信息(即pps_ref_wraparound_offset_minus1)被插入。
图像参数集合RBSP的语义描述如下：
pps_ref_wraparound_enabled_flag等于1表示在帧间预测中水平环绕运动补偿被应用。pps_ref_wraparound_enabled_flag等于0表示水平环绕运动补偿不被应用。当(CtbSizeY/MinCbSizeY+1)的值大于或等于(pic_width_in_luma_samples/MinCbSizeY-1)时，pps_ref_wraparound_enabled_flag的值应等于0。
pps_ref_wraparound_offset_minus1加1表示用于以MinCbSizeY亮度样本为单位计算水平环绕位置的偏移量。ref_wraparound_offset_minus1的值应在(CtbSizeY/MinCbSizeY)+1至(pic_width_in_luma_samples/MinCbSizeY)-1范围内(包含端点)。
根据方法2，SPS的工作草案可依据下表所示修改：
表3a.根据方法2的实施例的示例性序列参数集合RBSP语法
Figure BDA0003639128510000091
Figure BDA0003639128510000101
根据另一实施例，用于SPS中的环绕信息的示例语法设计在下表被示出。在下表中，SPS语法sps_ref_wraparound_enabled_flag被发送。如果ref_pic_resampling_enabled_flag未被设置且sps_ref_wraparound_enabled_flag已被设置，则语法sps_ref_wraparound_offset_minus1被发送。
表3b.根据方法2的实施例的示例性序列参数集合RBSP语法
Figure BDA0003639128510000102
如表3a所示，语法sps_ref_wraparound_enabled_present_flag被引入。仅当sps_ref_wraparound_enabled_present_flag的值为1时，语法sps_ref_wraparound_enabled_flag才会被发送。对PPS的修改与方法1中的修改相同。换句话说，如下表所示，环绕信息的发送也可在PPS中完成。
表4a.根据方法2的实施例的示例性图像参数集合RBSP语法
pps_ref_wraparound_enabled_flag u(1)
if(pps_ref_wraparound_enabled_flag)
pps_ref_wraparound_offset_minus1 ue(v)
根据另一实施例，类似于表3b的语法设计被提出。在PPS中发送环绕信息在下表被显示。
表4b.根据方法2的实施例的示例性图像参数集合RBSP语法
Figure BDA0003639128510000103
Figure BDA0003639128510000111
遵循表3a和表4a的语法设计，环绕信息可以在图像报头(Picture Header，简称PH)中发送，如下表所示。
表5.根据方法2的实施例的示例性图像报头RBSP语法
Figure BDA0003639128510000112
上表中的序列参数集合RBSP语义描述如下。
sps_ref_wraparound_enabled_present_flag等于1表示SPS中存在sps_ref_wraparound_enabled_flag。sps_ref_wraparound_enabled_present_flag等于0表示SPS中不存在sps_ref_wraparound_enabled_flag。
sps_ref_wraparound_enabled_flag等于1表示水平环绕运动补偿应用于帧间预测中。sps_ref_wraparound_enabled_flag等于0表示水平环绕运动补偿不被应用。当(CtbSizeY/MinCbSizeY+1)的值小于或等于(pic_width_in_luma_samples/MinCbSizeY-1)时，其中pic_width_in_luma_samples是参考SPS的任一PPS中的pic_width_in_luma_samples的值，并且sps_ref_wrap的值应当等于0。
ref_pic_resampling_enabled_flag等于1表示当解码编解码层视频序列(codedlayer video sequence，简称CLVS)中参考SPS的编码图像时，参考图像重采样可被应用。ref_pic_resampling_enabled_flag等于0表示解码CLVS中参考SPS的图像时参考图像重采样不被应用。
sps_ref_wraparound_offset_minus1加1表示用于以MinCbSizeY亮度样本为单位计算水平环绕位置的偏移量。ref_wraparound_offset_minus1的值应在(CtbSizeY/MinCbSizeY)+1到(pic_width_in_luma_samples/MinCbSizeY)-1范围内(包含端点)，其中pic_width_in_luma_samples是引用SPS的任一PPS中pic_width_in_luma_samples的值。
上表中的图像参数集RBSP语义描述如下。
pps_ref_wraparound_enabled_flag等于1表示水平环绕运动补偿应用于参考PPS的所有图像的帧间预测中。pps_ref_wraparound_enabled_flag等于0表示水平环绕运动补偿不被应用。当(CtbSizeY/MinCbSizeY+1)的值大于或等于(pic_width_in_luma_samples/MinCbSizeY-1)时，pps_ref_wraparound_enabled_flag的值应等于0。
当sps_ref_wraparound_enabled_flag等于0或sps_ref_wraparound_enabled_flag等于1时，pps_ref_wraparound_enabled_flag应当等于0。
pps_ref_wraparound_present_flag等于1表示水平环绕运动补偿应用于参考PPS的所有图像的帧间预测中。pps_ref_wraparound_present_flag等于0表示水平环绕运动补偿不被应用。当(CtbSizeY/MinCbSizeY+1)的值大于或等于(pic_width_in_luma_samples/MinCbSizeY-1)时，pps_ref_wraparound_present_flag的值应等于0。当ref_pic_resampling_enabled_flag等于0时，pps_ref_wraparound_present_flag应当等于0。
pps_ref_wraparound_offset_minus1加1表示用于以MinCbSizeY亮度样本为单位计算水平环绕位置的偏移量。ref_wraparound_offset_minus1的值应在(CtbSizeY/MinCbSizeY)+1至(pic_width_in_luma_samples/MinCbSizeY)-1范围内(包含端点)。
图像报头RBSP的语义描述如下。
ph_ref_wraparound_enabled_flag等于1表示水平环绕运动补偿应用于参考PH的图像的帧间预测中。ph_ref_wraparound_enabled_flag等于0表示水平环绕运动补偿不应用于参考PH的图像。
ph_ref_wraparound_offset_minus1加1表示用于以MinCbSizeY亮度样本为单位计算水平环绕位置的偏移量。ref_wraparound_offset_minus1的值应在(CtbSizeY/MinCbSizeY)+1至(pic_width_in_luma_samples/MinCbSizeY)-1范围内(包含端点)。
根据方法4的实施可使用新的语法设计或通过修改现有VVC工作草案的语法设计来实现。基于工作草案的一些示例如下所示。
在一实施例中，序列参数集合RBSP语法可以如下表所示修改。
表6a.根据方法4的实施例的示例性SPS RBSP语法
Figure BDA0003639128510000131
根据另一实施例，inter_layer_ref_pics_present_flag的值被忽略以发送环绕信息。基于VVC工作草案的语法设计如下所示。
表6b.根据方法4的另一实施例的示例性SPS RBSP语法
Figure BDA0003639128510000132
Figure BDA0003639128510000141
序列参数集合RBSP语义描述如下。这些语义与现有的工作草案具有相同的含义。
sps_ref_wraparound_enabled_flag等于1表示水平环绕运动补偿应用于帧间预测中。sps_ref_wraparound_enabled_flag等于0表示水平环绕运动补偿不被应用。当(CtbSizeY/MinCbSizeY+1)的值小于或等于(pic_width_in_luma_samples/MinCbSizeY-1)时，其中pic_width_in_luma_samples是在引用SPS的任一PPS中的pic_width_in_luma_samples的值。如果sps_ref_wraparound_enabled_flag不存在，则sps_ref_wraparound_enabled_flag的值应等于0。
ref_pic_resampling_enabled_flag等于1表示当解码CLVS中参考SPS的编码图像时参考图像重采样可被应用。ref_pic_resampling_enabled_flag等于0表示解码CLVS中参考SPS的图像时参考图像重采样不被应用。
sps_ref_wraparound_offset_minus1加1表示用于以MinCbSizeY亮度样本为单位计算水平环绕位置的偏移量。ref_wraparound_offset_minus1的值应在(CtbSizeY/MinCbSizeY)+1到(pic_width_in_luma_samples/MinCbSizeY)-1范围内(包含端点)，其中pic_width_in_luma_samples是引用SPS的任一PPS中pic_width_in_luma_samples的值。
inter_layer_ref_pics_present_flag等于0表示没有ILRP用于CLVS中任一编码图像的帧间预测。inter_layer_ref_pics_flag等于1表示ILRP可用于CLVS中一个或多个编码图像的帧间预测。当sps_video_parameter_set_id等于0时，inter_layer_ref_pics_present_flag的值被推断为等于0。当vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等于1时，inter_layer_ref_pics_present_flag的值应当等于0
根据另一实施例，sps_ref_wraparound_enabled_flag的值被施加了一些约束，而不是修改SPS的语法表。
例如，sps_ref_wraparound_enabled_flag的语义可修改如下。
sps_ref_wraparound_enabled_flag等于1表示水平环绕运动补偿应用于帧间预测中。sps_ref_wraparound_enabled_flag等于0表示水平环绕运动补偿不被应用。当(CtbSizeY/MinCbSizeY+1)的值小于或等于(pic_width_in_luma_samples/MinCbSizeY-1)时，其中pic_width_in_luma_samples是在引用SPS的任一PPS中的pic_width_in_luma_samples的值。根据本发明的一实施例，当ref_pic_resampling_enabled_flag等于1或inter_layer_ref_pics_present_flag等于1时，sps_ref_wraparound_enabled_flag的值应当等于0。
当sps_ref_wraparound_enabled_flag不存在时，sps_ref_wraparound_enabled_flag的值应等于0。
视频编码器必须遵循前述语法设计以便生成合法的比特流，并且只有在解析过程符合前述语法设计的情况下，视频解码器才能够正确地解码比特流。当在比特流中语法被跳过时，编码器和解码器应将语法值设置为推断值，以确保编码和解码结果匹配。
图4示出根据本发明的实施例的引入发送环绕运动补偿信息的系统的示例性框图。流程图中所示的步骤以及本公开中的其他后续流程图可被实现为可在编码器侧和/或解码器侧的一个或多个处理器(例如，一个或多个CPU)上执行的程序代码。流程图中所示的步骤也可以基于硬件来实现，例如被布置为执行流程图中的步骤的一个或多个电子设备或处理器。根据该方法，在步骤410中，与VR360视频序列的编码数据相对应的比特流在编码器侧被生成或在解码器侧被接收，其中，该比特流包括与图像参数集合(Picture ParameterSet，简称PPS)中的环绕运动补偿信息有关的一种或多种PPS语法。在步骤420中，基于环绕运动补偿信息，VR360视频序列在编码器侧被编码或在解码器侧被解码。
所示的流程图旨在说明根据本发明的实施例的示例。所属技术领域的技术人员可以修改每个步骤，重新布置步骤，拆分步骤或组合步骤以实践本发明，而不背离本发明的精神。
上述描述被给出以使所属技术领域的技术人员能够实践在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于所属技术领域的技术人员将是显而易见的，并且本文中定义的一般原理可以应用于其他实施例。因此，本发明不旨在限于所示出和描述的特定实施例，而是与符合本文公开的原理和新颖性特征的最宽范围相一致。在以上详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，所属技术领域的技术人员将理解，本发明可被实施。
如上所述的本发明的实施例可以以各种硬件，软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中以执行本文描述的处理的程序代码。本发明的实施例还可以是在数字信号处理器(Digital Signal Processor，DSP)上执行以执行本文描述的处理的程序代码。本发明还可涉及由计算机处理器，数字信号处理器，微处理器或现场可程序设计门阵列(fieldprogrammable gate arragy，简称FPGA)执行的许多功能。该些处理器可被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。软件代码或固件代码可以不同的程序设计语言和不同的格式或样式来开发。软件代码也可被编译用于不同的目标平台。然而，不同的代码格式，软件代码的样式和语言以及配置代码以执行根据本发明的任务的其他手段将不脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前述描述来指示。落在权利要求的等同含义和范围内的所有改变均应包含在其范围之内。

Claims (18)

1.一种用于编解码360度虚拟现实视频序列的方法，环绕运动补偿作为编解码工具被包括其中，所述方法包括：
在编码器侧生成或在解码器侧接收与所述360度虚拟现实视频序列的编码数据相对应的比特流，其中所述比特流包括在图像参数集合中与环绕运动补偿信息相关联的一个或多个图像参数集合语法；以及
使用所述环绕运动补偿信息，在所述编码器侧编码或在所述解码器侧解码所述360度虚拟现实视频序列。
2.如权利要求1所述的用于编解码360度虚拟现实视频序列的方法，其特征在于，所述一个或多个图像参数集合语法包括对应于图像参数集合标志的第一图像参数集合语法，所述图像参数集合标志指示所述环绕运动补偿是否用于目标图像。
3.如权利要求2所述的用于编解码360度虚拟现实视频序列的方法，其特征在于，所述第一图像参数集合语法被指定为pps_ref_wraparound_enabled_flag。
4.如权利要求2所述的用于编解码360度虚拟现实视频序列的方法，其特征在于，当所述第一图像参数集合语法指示所述环绕运动补偿用于所述目标图像，第二图像参数集合语法包括在所述比特流中，其中所述第二图像参数集合语法与环绕偏移量的值相关联。
5.如权利要求4所述的用于编解码360度虚拟现实视频序列的方法，其特征在于，所述第二图像参数集合语法表示所述环绕运动补偿偏移量的值减1。
6.如权利要求4所述的用于编解码360度虚拟现实视频序列的方法，其特征在于，所述第二图像参数集合语法被指定为pps_ref_wraparound_offset_minus1。
7.如权利要求1所述的用于编解码360度虚拟现实视频序列的方法，其特征在于，所述比特流包括在序列参数集合中与所述环绕运动补偿信息相关联的一个或多个序列参数集合语法。
8.如权利要求7所述的用于编解码360度虚拟现实视频序列的方法，其特征在于，所述一个或多个序列参数集合语法包括对应于序列参数集合标志的第一序列参数集合语法，所述序列参数集合标志指示所述环绕运动补偿是否用于目标序列。
9.如权利要求8所述的用于编解码360度虚拟现实视频序列的方法，其特征在于，所述第一序列参数集合语法被指定为sps_ref_wraparound_enabled_flag。
10.一种用于编解码360度虚拟实视频序列的装置，环绕运动补偿作为编解码工具被包括其中，所述装置包括一个或多个电子电路或处理器，被配置为：
在编码器侧生成或在解码器侧接收与所述360度虚拟现实视频序列的编码数据相对应的比特流，其中所述比特流包括在图像参数集合中与环绕运动补偿信息相关联的一个或多个图像参数集合语法；以及
使用所述环绕运动补偿信息，在所述编码器侧编码或在所述解码器侧解码所述360度虚拟现实视频序列。
11.如权利要求10所述的用于编解码360度虚拟现实视频序列的装置,所述一个或多个图像参数集合语法包括对应于图像参数集合标志的第一图像参数集合语法，所述图像参数集合标志指示所述环绕运动补偿是否用于目标图像。
12.如权利要求11所述的用于编解码360度虚拟现实视频序列的装置，其特征在于，所述第一图像参数集合语法被指定为pps_ref_wraparound_enabled_flag。
13.如权利要求11所述的用于编解码360度虚拟现实视频序列的装置，其特征在于，当所述第一图像参数集合语法指示所述环绕运动补偿用于所述目标图像，第二图像参数集合语法包括在所述比特流中，其中所述第二图像参数集合语法与环绕偏移量的值相关联。
14.如权利要求13所述的用于编解码360度虚拟现实视频序列的装置，其特征在于，所述第二图像参数集合语法表示所述环绕运动补偿偏移量的值减1。
15.如权利要求13所述的用于编解码360度虚拟现实视频序列的装置，其特征在于，所述第二图像参数集合语法被指定为pps_ref_wraparound_offset_minus1。
16.如权利要求10所述的用于编解码360度虚拟现实视频序列的装置，其特征在于，所述比特流包括在序列参数集合中与所述环绕运动补偿信息相关联的一个或多个序列参数集合语法。
17.如权利要求16所述的用于编解码360度虚拟现实视频序列的装置，其特征在于，所述一个或多个序列参数集合语法包括对应于序列参数集合标志的第一序列参数集合语法，所述序列参数集合标志指示所述环绕运动补偿是否用于目标序列。
18.如权利要求17所述的用于编解码360度虚拟现实视频序列的装置，其特征在于，所述第一序列参数集合语法被指定为sps_ref_wraparound_enabled_flag。
CN202080078645.0A 2019-11-15 2020-11-13 在360度虚拟现实视频编码中用于发送水平环绕移动补偿的方法和装置 Pending CN114731431A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962935665P 2019-11-15 2019-11-15
US62/935,665 2019-11-15
US201962941934P 2019-11-29 2019-11-29
US62/941,934 2019-11-29
PCT/CN2020/128572 WO2021093837A1 (en) 2019-11-15 2020-11-13 Method and apparatus for signaling horizontal wraparound motion compensation in vr360 video coding

Publications (1)

Publication Number Publication Date
CN114731431A true CN114731431A (zh) 2022-07-08

Family

ID=75912538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080078645.0A Pending CN114731431A (zh) 2019-11-15 2020-11-13 在360度虚拟现实视频编码中用于发送水平环绕移动补偿的方法和装置

Country Status (6)

Country Link
US (1) US20220400287A1 (zh)
EP (1) EP4059221A4 (zh)
CN (1) CN114731431A (zh)
MX (1) MX2022005905A (zh)
TW (1) TWI774124B (zh)
WO (1) WO2021093837A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114258682A (zh) * 2019-12-31 2022-03-29 腾讯美国有限责任公司 具有参考图片重采样的环绕运动补偿方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11412253B2 (en) * 2020-02-24 2022-08-09 Alibaba Group Holding Limited Methods for combining decoder side motion vector refinement with wrap-around motion compensation

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5790839A (en) * 1996-12-20 1998-08-04 International Business Machines Corporation System integration of DRAM macros and logic cores in a single chip architecture
US5901304A (en) * 1997-03-13 1999-05-04 International Business Machines Corporation Emulating quasi-synchronous DRAM with asynchronous DRAM
KR100244769B1 (ko) * 1997-06-26 2000-02-15 전주범 스케일러빌리티를 갖는 간 윤곽선 부호화 방법 및 장치
KR100240770B1 (ko) * 1997-07-11 2000-01-15 이형도 에너지보상/역보상기능을개선한스케러블부호화기및그방법
US6765962B1 (en) * 1999-12-02 2004-07-20 Sarnoff Corporation Adaptive selection of quantization scales for video encoding
US6826232B2 (en) * 1999-12-20 2004-11-30 Koninklijke Philips Electronics N.V. Fine granular scalable video with embedded DCT coding of the enhancement layer
AU4338800A (en) * 1999-12-22 2001-07-03 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding
US7477688B1 (en) * 2000-01-26 2009-01-13 Cisco Technology, Inc. Methods for efficient bandwidth scaling of compressed video data
US7095782B1 (en) * 2000-03-01 2006-08-22 Koninklijke Philips Electronics N.V. Method and apparatus for streaming scalable video
US6771703B1 (en) * 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
US7016412B1 (en) * 2000-08-29 2006-03-21 Koninklijke Philips Electronics N.V. System and method for dynamic adaptive decoding of scalable video to balance CPU load
WO2002035854A1 (en) * 2000-10-24 2002-05-02 Eyeball Networks Inc. Dct-based scalable video compression
US7263124B2 (en) * 2001-09-26 2007-08-28 Intel Corporation Scalable coding scheme for low latency applications
US7729421B2 (en) * 2002-02-20 2010-06-01 International Business Machines Corporation Low latency video decoder with high-quality, variable scaling and minimal frame buffer memory
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7369610B2 (en) * 2003-12-01 2008-05-06 Microsoft Corporation Enhancement layer switching for scalable video coding
US7697608B2 (en) * 2004-02-03 2010-04-13 Sony Corporation Scalable MPEG video/macro block rate control
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
WO2006087319A2 (en) * 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US8189659B2 (en) * 2005-08-30 2012-05-29 Thomson Licensing Cross-layer optimization for scalable video multicast over IEEE 802.11 wireless local area networks
JP2007081720A (ja) * 2005-09-13 2007-03-29 Sanyo Electric Co Ltd 符号化方法
US8345755B2 (en) * 2006-01-09 2013-01-01 Lg Electronics, Inc. Inter-layer prediction method for video signal
TWI416961B (zh) * 2010-04-02 2013-11-21 Univ Nat Chiao Tung 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置
US20110268175A1 (en) * 2010-04-30 2011-11-03 Wai-Tian Tan Differential protection of a live scalable media
US20130028324A1 (en) * 2011-07-29 2013-01-31 National Chiao Tung University Method and device for decoding a scalable video signal utilizing an inter-layer prediction
US9124899B2 (en) * 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
US9918082B2 (en) * 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
JP6559337B2 (ja) * 2015-09-23 2019-08-14 ノキア テクノロジーズ オーユー ３６０度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
US20170214937A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
EP3301914A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US11252434B2 (en) * 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
JP2021513755A (ja) * 2019-01-15 2021-05-27 エルジー エレクトロニクス インコーポレイティド 変換スキップフラグを利用した映像コーディング方法及び装置
US11095916B2 (en) * 2019-07-23 2021-08-17 Qualcomm Incorporated Wraparound motion compensation in video coding
CN114287135A (zh) * 2019-08-23 2022-04-05 北京字节跳动网络技术有限公司 参考图片重采样中的剪切
WO2021078177A1 (en) * 2019-10-23 2021-04-29 Beijing Bytedance Network Technology Co., Ltd. Signaling for reference picture resampling

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114258682A (zh) * 2019-12-31 2022-03-29 腾讯美国有限责任公司 具有参考图片重采样的环绕运动补偿方法
CN114258682B (zh) * 2019-12-31 2024-07-12 腾讯美国有限责任公司 具有参考图片重采样的环绕运动补偿方法及相关装置

Also Published As

Publication number Publication date
WO2021093837A1 (en) 2021-05-20
TW202123709A (zh) 2021-06-16
MX2022005905A (es) 2022-06-24
EP4059221A4 (en) 2023-09-13
EP4059221A1 (en) 2022-09-21
TWI774124B (zh) 2022-08-11
US20220400287A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
EP3182708B1 (en) Methods and apparatus for multi-view information conveyed in high level syntax
TWI752739B (zh) 視訊編解碼系統中的視訊處理方法和裝置
JP5674873B2 (ja) ビデオ符号化及び複合化におけるタイリング
WO2017158236A2 (en) A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
US12120285B2 (en) Signaling a cancel flag in a video bitstream
US11651523B2 (en) Apparatus, a method and a computer program for volumetric video
CN114731431A (zh) 在360度虚拟现实视频编码中用于发送水平环绕移动补偿的方法和装置
KR20220100019A (ko) 루프 필터링을 제어하기 위한 영상 코딩 장치 및 방법
US20210400295A1 (en) Null tile coding in video coding
KR20220100018A (ko) 필터링 기반 영상 코딩 장치 및 방법
CN114982236A (zh) 视频编码的参考图像重采样中考虑最差情况带宽的缩放窗限制的方法和装置
KR20240050414A (ko) 비디오 처리를 위한 방법, 기기 및 매체
WO2024061660A1 (en) Dynamic structures for volumetric data coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination