CN109983470A - 具有无效区域的vr图像的视频编解码方法和装置 - Google Patents

具有无效区域的vr图像的视频编解码方法和装置 Download PDF

Info

Publication number
CN109983470A
CN109983470A CN201880004484.3A CN201880004484A CN109983470A CN 109983470 A CN109983470 A CN 109983470A CN 201880004484 A CN201880004484 A CN 201880004484A CN 109983470 A CN109983470 A CN 109983470A
Authority
CN
China
Prior art keywords
block
frame
intra prediction
residual
inactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880004484.3A
Other languages
English (en)
Other versions
CN109983470B (zh
Inventor
施正轩
林建良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109983470A publication Critical patent/CN109983470A/zh
Application granted granted Critical
Publication of CN109983470B publication Critical patent/CN109983470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于处理360度虚拟现实图像的方法。根据一种方法，针对编码器侧的无效块跳过目标块的编解码标记，或者基于识别目标块是解码器侧的无效块的信息导出目标块的像素。根据另一种方法，当目标块部分地填充有无效像素时，使用码率‑失真优化来选择最佳预测值，其中通过排除目标块的无效像素来测量与码率‑失真优化相关联的失真。根据另一种方法，用值填充残差块的无效像素以实现最佳的码率‑失真优化。根据另一种方法，残差块的有效像素被重新排列成较小的块，并且编解码被应用于较小的块，或者形状自适应变换编解码被应用于残差块的有效像素。

Description

具有无效区域的VR图像的视频编解码方法和装置
【交叉引用】
本申请要求申请日为2017年9月13日，美国临时申请号为62/557,785的美国临时申请案的优先权，上述临时申请案的内容一并并入本申请。
【技术领域】
本发明涉及360度虚拟现实(VR)图像的影像处理。特别是，本发明涉及提高虚拟现实图像(包括一个或多个无效(inactive)区域)的压缩效率。
【背景技术】
360度的视频，也被称为沉浸式视频，是一种新兴的技术，它可以提供"当下感觉(feeling as sensation of present)"。沉浸感是通过围绕使用者环绕场景而实现的，环绕场景覆盖了全景视图，特别是360度视野。通过立体呈现(render)可以进一步提高"当下感觉"的效果。因此，全景视频被广泛应用于虚拟现实(VR)应用中。
沉浸式视频涉及使用多个摄像机拍摄场景，以覆盖全景视图，例如360度视野。沉浸式相机通常使用全景相机或一组摄像机来捕捉360度视野。通常，两台或更多摄像机用作沉浸式摄像机。必须同时拍摄所有视频，并记录场景的单独片段(也称为单独的视角)。此外，摄像机组通常被布置成水平地捕获视图，但摄像机的其他布置也是可能的。
可以使用360度球面全景相机捕获360度虚拟现实(VR)图像，或者布置多个图像以覆盖360度的所有视野。使用传统的图像/视频处理设备难以处理或存储三维(3D)球形图像。因此，通常使用3D到2D投影方法将360度VR图像转换为二维(2D)格式。例如，等角投影(ERP)和立方图投影(CMP)是常用的投影方法。因此，可以以等角投影格式存储360度图像。其他广泛使用的投影格式的描述，如八面体投影(OHP)、二十面体投影(ISP)、分段球投影(SSP)和旋转球投影(RSP)、桶形布局(barrel layout)和Craster抛物线投影(CPP)已被广泛揭露。因此，这里不再叙述这些投影格式的细节。
为了形成矩形2D投影帧，2D投影帧通常用无效区域填充。例如，图1中示出了SSP投影帧110。图1中还示出了与球体的北极和南极区域相对应的帧的两个圆形图像周围的无效区域120。图2中示出了RSP投影帧210。在图2中还示出了两个椭圆形图像周围的无效区域220。图3中示出了具有3×4布局的CMP投影帧310。要填充矩形帧的无效区域320也在图3中示出。图4中示出了具有3×4布局的另一CMP投影帧410。用于填充矩形帧的无效区域420也在图4中示出。
桶形布局是近年来公开的新布局格式。对于等角投影(ERP)格式，顶部和底部基本沿水平方向拉伸。但是，如果切割以等角布局格式化的图像的前25％和后25％，则剩余部分对应于场景的中间90度，其包含非常均匀的角度样本分布。然后垂直拉伸该中间部分以增加所需特定区域中的像素密度。为了覆盖球体的其余部分，立方体贴图布局的顶面和底面，特别是这些面的中间圆，与拉伸的中间部分连接，以形成桶形布局格式的帧。图5示出了桶形布局帧510的示例，其中拉伸的中间部分位于帧的左侧，并且两个圆圈位于帧的右侧。如图5所示，在两个圆圈周围添加无效区域520。
Craster抛物线投影(CPP)是伪圆柱形(pseudo-cylindrical)、等面积投影。中央子午线是赤道一半长的直线，其他子午线是等间距的抛物线，在两极相交，抛物线突起方向背对中央子午线。图6示出了Craster抛物线投影帧610的示例。在Craster抛物线投影图像周围添加了无效区域620，如图6所示。
在图7中示出了二十面体投影(ISP)投影帧710。图7中还示出了用于填充矩形帧的无效区域720。图8中示出了另一个ISP投影帧810。图8中还示出了填充矩形框的无效区域820。图9中示出了八面体投影(OHP)投影帧910。图9中还示出了填充矩形帧的无效区域920。
当对投影帧进行编解码时，2D投影帧中的无效区域将消耗一些带宽。此外，投影图像和无效区域之间的不连续可能导致更突出的编码伪像。因此，期望开发可以降低比特率和/或减轻在投影图像和无效区域之间的不连续处的伪像的可见性的方法。
【发明内容】
公开了处理360度虚拟现实图像的方法。根据一种方法，接收2D(二维)帧的输入数据，其中2D帧使用目标投影从3D(三维)球投影，并且2D帧包括填充有一个或多个无效区域的无效像素。2D帧被分成多个块。当目标块是所有像素都是无效像素的无效块时，在编码器侧跳过目标块的编解码标志，或者基于识别目标块是解码器侧的无效块的信息导出目标块的像素。编解码标志可以包括从包括预测模式，预测信息，分割模式和残差系数的组中选择的一个或多个元素。可以将默认编解码标志分配给编码器侧或解码器侧的编解码标志。
根据第二种方法，当目标块被无效像素部分填充时，对于所选参考图片区域中的至少一个候选参考块，识别候选参考块中的无效像素，或者对于帧内预测组中的至少一个候选帧内预测模式，与所述至少一个候选帧内预测模式相关联的候选帧内预测值中的一个或多个参考样本用最近的可用参考填充，或者，如果所述一个或多个参考样本不可用，则从帧内预测组中移除至少一个候选帧内预测模式；根据码率-失真优化，在所选择的参考图片区域中的候选参考块之间或者与帧内预测组中的候选帧内预测模式相关联的候选帧内预测值中选择最佳预测值；并且使用最佳预测值对目标块进行编码。
对于第二种方法，在最佳预测值用于编码目标块之前，候选参考块的无效像素可以由默认值替换。在另一实施例中，在最佳预测值用于编码目标块之前，在与帧内预测组中的候选帧内预测模式相关联的候选帧内预测值中选择的最佳预测值的无效像素可以由默认值替换。在一个实施例中，可以通过排除目标块的无效像素来测量与码率-失真优化相关联的失真。在另一实施例中，可以根据目标块与一个候选参考块之间或目标块与一个候选帧内预测值之间的绝对差之和来测量与码率-失真优化相关联的失真。
根据第三种方法，当目标块部分地填充有无效像素时：使用帧间预测值或帧内预测值为目标块生成残差块；利用残差值填充残差块的无效像素，以通过选择残差值来生成填充残差块，以实现对填充残差块的最佳码率-失真优化；通过对填充的残差块应用编码处理来生成重构的填充残差块；修整重构填充残差块的无效像素以生成用于重构目标块的重构残差块。
对于第三种方法，可以根据填充残差块和重构填充残差块之间的绝对差之和来测量与码率-失真优化相关联的失真。在另一实施例中，通过排除填充残差块的无效像素来测量与码率-失真优化相关联的失真。编码过程可以包括正向变换、量化、逆量化和逆变换。
根据第四方法，当目标块部分地填充有无效像素时：使用编码器侧的帧间预测值或帧内预测值或者从在解码器侧的视频比特流导出残差块，为目标块生成残差块；并且通过重新排列剩余块的有效像素，通过将包括正向变换的第一编解码处理应用于较小的矩形块，或者通过将包括非矩形正向变换的第二编解码处理应用于编码器侧的残差块的有效像素来编码残差块；或者，使用包括对较小矩形块中重新排列的残差块进行逆变换的第三编解码处理，或者通过对解码器侧残差块的有效像素应用包括非矩形逆变换的第四编解码处理来解码残差块。
对于第四种方法，非矩形正向变换可以对应于正向形状自适应变换，而非矩形逆变换对应于逆形状自适应变换。正向形状自适应变换处理可以包括在第一方向上的第一1-D DCT(离散余弦变换)处理，将第一1-D DCT处理的第一结果与第一方向中的第一平面对准，第二方向上的第二1-D DCT处理，将第二1-D DCT处理的第二结果与第二方向中的第二平面对准；并且逆形状自适应变换处理包括第一方向上的第一逆1-D DCT处理，将第一逆1-D DCT处理的第一结果恢复到第一方向上的原始第一位置，第二方向上的第二逆1-D DCT处理，将第二逆1-D DCT处理的第二结果恢复到第二方向上的原始第二位置。
【附图说明】
图1示出了分段球投影(SSP)投影帧的示例，其中示出了对应于球体的北极和南极区域的帧的两个圆形图像周围的无效区域。
图2示出了旋转球投影(RSP)投影帧的示例，其中示出了两个椭圆形图像周围的无效区域。
图3示出了具有3×4布局的立方体贴图投影(CMP)投影帧的示例，其中无效区域填充有灰色。
图4示出了具有3×4布局的另一立方体体贴图投影(CMP)投影帧的示例，其中无效区域填充有黑色。
图5示出了桶形布局帧的示例，其中拉伸的中间部分位于帧的左侧，并且两个圆圈位于帧的右侧。在两个圆圈周围添加了无效区域。
图6示出了Craster抛物线投影(CPP)投影帧的示例，其中在Craster抛物线投影图像周围添加了无效区域。
图7示出了二十面体投影(ISP)投影帧的示例，其中示出了填充矩形帧的无效区域。
图8示出了二十面体投影(ISP)投影帧的另一示例，其中示出了用于填充矩形帧的无效区域。
图9示出了八面体投影(OHP)投影帧的示例，其中示出了用于填充矩形帧的无效区域。
图10示出了SSP帧的一部分，其中一个CU完全在无效区域内而另一个CU部分在无效区域内。
图11A示出了对应于用于分段球投影(SSP)投影格式的先前编解码的投影帧的参考帧。
图11B示出了填充方形外部的区域的示例，所述方形包围表示具有默认像素值的北极和南极的两个圆，并且对应于赤道的图像使用几何填充。
图11C示出了使用几何填充填充表示北极和南极的两个圆之外的区域的示例。
图12示出了根据本发明实施例的具有部分无效像素的块的帧间预测过程的示例，其中示出了SSP帧的一部分和具有位于对应于南极的圆形图像的边界处的部分无效像素的当前CU。
图13示出了根据本发明实施例的具有部分无效像素的块的帧内预测过程的示例，其中示出了SSP帧的一部分和位于与具有部分非活动像素的南极对应的圆形图像的边界处的当前CU。
图14示出了根据本发明的传统帧内预测和利用最近的可用参考像素填充无效区域中的不可用参考像素的帧内预测的实施例。
图15示出了根据本发明实施例的利用最近可用参考像素填充不可用参考像素(例如，无效像素、外部面像素和另一个面像素)的示例。
图16示出了根据本发明实施例的对投影帧进行编解码的示例，其中如果与帧内预测模式相关联的帧内预测值指的是任何不可用的参考像素，将从用于当前块的帧内预测候选集中排除帧内预测模式。
图17示出了投影帧中的无效块的示例，其中无效块由填充有实心灰色的区域指示。
图18示出了根据本发明一个实施例的残差编解码的示例，其中残差的无效像素用实现残差编码的最佳RDO(码率-失真优化)的值填充。
图19示出了根据本发明另一实施例的残差编解码的示例，其中残差块的有效像素被重新排列成较小的块并且编解码被应用于较小的块，或者形状自适应变换编解码应用于残差块的有效像素。
图20示出了用于处理360度虚拟现实图像的编解码系统的示例性流程图，其中跳过了用于无效块的编解码标志。
图21示出了用于处理360度虚拟现实图像的编解码系统的示例性流程图，其中部分无效的块以帧内或帧间预测模式被编码。
图22示出了用于处理360度虚拟现实图像的编解码系统的示例性流程图，其中残差块的无效像素用值填充以实现最佳码率-失真优化。
图23示出了用于处理360度虚拟现实图像的编解码系统的示例性流程图，其中残差块的有效像素被重新排列成较小的块并且编解码被应用于较小的块，或者形状自适应变换编解码应用于残差块的有效像素。
【具体实施方式】
以下描述是实现本发明的最佳方案。进行该描述是为了说明本发明的一般原理，而不应被视为具有限制意义。通过参考所附权利要求最好地确定本发明的范围。
如上所述，2D投影帧中的无效区域将消耗一些带宽，并且投影图像和无效区域之间的不连续可能导致更突出的编解码伪像(coding artifacts)。为了克服与无效区域相关的问题，公开了专注于处理无效像素或无效像素附近区域的方法。所提出的方法可以通过提高预测精度和降低失真来提高压缩效率和视觉质量。所提出的方法可以应用于帧间预测、帧内预测和残差编解码。
为了维持可管理的复杂性，通常将图像划分为块，例如宏块(macroblock，简写为MB)或编解码单元(CU)以应用视频编解码。当通过将帧划分为编解码单元(CU)来编解码具有无效区域的投影帧时，CU可以完全在无效区域内或部分在无效区域内。图10示出了SSP帧1010的一部分，其中CU(1020)完全在无效区域内，而另一CU(1030)部分在无效区域内。对于具有所有像素为无效像素的CU，根据本发明，不对诸如预测模式、预测信息、分割模式、残差系数和CU的其他相关标志(flag)的所有编解码标志进行编解码。CU的每个像素的预测值是无效像素的默认值(例如，灰度级(gray level)或其他已知值)，并且残差为0。对于具有部分无效像素的CU，无效像素的预测值可以是默认值。无效像素的残差为0。预测误差仅考虑用于码率-失真优化(RDO)过程的有效像素。换言之，对于具有所有像素都是无效像素的CU，跳过无效CU的编码。对于具有部分无效像素的CU，可以修剪预测值的无效像素(帧间预测或帧间预测)。具有部分无效像素的CU的残差编解码可以包括填充残差的无效像素，将非矩形DCT变换应用于残差编解码，或者在应用DCT之前将非矩形残差形状重新排列成比原始块更小的矩形。
在传统方法中，先前编解码的投影帧可以用作参考帧。例如，图11A示出了对应于SSP投影格式的先前编解码的投影帧的参考帧。根据本发明的实施例，可以填充投影帧外部的图像。例如，包含代表北极和南极的两个圆的正方形外的区域可以用默认像素值填充。例如，默认值可以与无效像素值相同，如图11B所示的填充图像1110和1112所示。对于对应于赤道的图像，可以使用几何填充来形成如图11B所示的填充图像1120，其中几何填充通过考虑360视频的球形特性来围绕图像边界延伸像素。用于各种投影格式的几何填充在文献中是已知的(例如，Y.He等人，“AHG8:Geometry padding for 360video coding”，ITU-T SG16WP 3和ISO/IEC JTC 1/SC 29/WG 11联合视频探索团队(JVET)，第4次会议：成都，CN，2016年10月15-21日，文件：JVET-D0075)。因此，这里不再重复几何填充的细节。对应于北极和南极的两个圆形图像也可以使用几何填充来填充。几何填充的北极图像1130和南极图像1132在图11C中示出。
根据本发明的一个实施例，可以使用几何填充的参考图像来执行帧间预测。例如，具有几何填充的面(例如几何填充的北极图像1130和南极图像1132)可以用作参考图像以导出预测值。图12示出了根据本发明实施例的具有部分无效像素的块(例如CU)的帧间预测过程的示例。在图12中，示出了SSP帧1210的一部分和具有部分无效像素的当前CU 1212，其中部分无效CU 1212位于对应于南极的圆形图像的边界处。在图12中示出填充有对应于南极的灰色区域1220的面。将几何填充应用于用灰色区域填充的图像1220的面以形成几何填充的面图像1230。可以应用匹配方法来搜索当前块1212的几何填充面图像1230中的最佳匹配块。例如，可以使用流行的块匹配算法。失真度量可以基于当前块和候选参考块之间的SAD(sum of absolute differences，绝对差之和)。在最佳匹配搜索处理期间，无效像素的加权被设置为0。换言之，匹配处理忽略来自无效像素的贡献。在图12中，块1232对应于最佳匹配块。可以识别该最佳匹配块的有效区域1240。示出了对应于最佳匹配块1232的参考块1242，其中块的有效区域(即块1244)用作当前块1212的预测值，而无效区域1246不用于预测值。
图13示出了根据本发明实施例的具有部分无效像素的块(例如CU)的帧内预测过程的示例。在图13中，示出了SSP帧1310的一部分和具有部分无效像素的当前CU 1312，其中部分无效CU 1312位于对应于南极的圆形图像的边界处。在各种帧内预测值中，选择导致最佳码率-失真优化的帧内预测值作为帧内预测值，其中将无效像素的失真度量的加权设置为0。失真度量可以基于当前块和候选帧内预测块之间的SAD(绝对差之和)。在图13的示例中，预测方向1314实现最佳预测。如斜线所示的帧内预测值1316对应于最佳预测值。可以识别帧内预测值的有效区域(active region)1320。根据本发明的实施例，可以识别帧内预测值1322的有效部分和无效部分(由虚线弧线分开)。可以修整(trim)无效部分1326，并且仅将有效部分1324用作当前块1312的帧内预测值。在图表1340和图表1342中示出没有修剪的残差和有修剪的残差，其中在外部面(即无效区域((inactive region)))中将残差强制为0。图表1350和1352分别示出了没有修剪和修剪的情况的重构残差。对于没有修剪和修剪的情况，失真分别在图表1360和图表1362中示出。
在本发明的另一个实施例中，填充用于帧内像素的无效像素区域中的参考样本。对于图14中的传统帧内预测1410，使用当前块周围的先前编解码的参考像素来生成当前块的帧内预测值。例如，当前块上方的参考像素1414和左侧的参考像素1416可用于生成帧内预测值。通常，编码器将检查各种帧内预测模式(例如，DC，平面和方向模式)并选择实现最佳性能(例如最小失真)的模式。然而，对于包括无效区域的投影帧，当前块的一些或所有参考像素可能不可用。图14中的帧内预测1420示出了由于无效区域导致的不可用参考像素的示例。在该示例中，当前块1422上方的一些参考像素1424不可用。弧1430对应于无效区域(右侧区域)和有效区域(左侧区域)的边界。因此，只有左侧的参考像素1426和顶部的部分参考像素1428可用。本发明的实施例将利用可用的参考像素来填充不可用的像素。例如，可以用最近的可用参考像素1440填充不可用像素。
参考像素还可以跨越各种类型的像素，诸如有效像素、无效像素、外面(outsideface)像素和另一个面(another-face)像素。在本发明的另一个实施例中，任何无效像素、外面像素和另一个面像素被认为是不可用的，并且不可用的参考像素被最近的参考像素填充。图15示出了不可用参考像素的填充的示例，其中图像1510对应于南极周围的SSP图像的一部分。块A、B和C是待帧内预测的三个块。参考像素由虚线包围的区域表示。对于块A，参考像素1520和1522是无效像素，参考像素1524和1526是有效像素(active pixel)。因此，参考像素1520和1522不可用。对于块B，参考像素1530是无效的，1532是有效像素，参考像素1534是外面像素。因此，参考像素1530和1534不可用。对于块C，参考像素1540和1542是有效像素，参考像素1544是无效像素，而像素1546是另一个面像素。因此，参考像素1544和1546不可用。
根据本发明的实施例，最近的可用参考像素用于填充不可用的参考像素。在图15中，图像1520用于说明根据本发明实施例的像素填充。对于块A，最近的可用参考像素1528用于填充参考像素1528左侧的无效像素(即，图像1510中的像素1520)，并且最近的可用参考像素1529用于填充上方的无效像素(即，图像1510中的无效像素1522)。对于块B，最近的可用参考像素1536用于填充块上方的不可用像素(即，图像1510中的无效像素1530和外面像素1534)。对于块C，最近的可用参考像素1548用于填充下方的不可用像素(即，图像1510中的无效像素1544和另一个面像素1546)。
在图16中，图像1610对应于南极周围的SSP图像的一部分，并且块1620是要进行帧内预测的当前块。对于当前块上方的参考像素1622，它们中的一些(1624)不可用(例如，无效、外面或另一个面)。当根据所选择的帧内预测模式(例如，如图16中所示的垂直预测)使用这些不可用像素来生成帧内预测值时，可以从这些不可用参考像素(即，这种情况下的无效参考像素)生成帧内预测值的一些像素。来自无效像素的预测可能导致大的预测误差。根据本发明的另一实施例，对于任何帧内预测模式，如果与帧内预测模式相关联的一定量的预测值样本将参考任何不可用的参考像素(即，在该示例中为无效像素)，则将从用于当前块的帧内预测候选集中排除该帧内预测模式。允许的帧内预测模式的总数将减少。可以改善编解码性能。
对于投影帧，块可以完全处于无效区域中。当块(例如CU)中的所有像素都是无效像素时，该块被称为无效块。在图17中，图像1710对应于南极周围的SSP图像的一部分，并且无效块被示出为由填充有实心灰色的区域指示。根据本发明的实施例，不对编解码标志(诸如预测模式、预测信息、分割模式、残差系数和用于无效CU的其他相关信息)进行编码。因为CU信息不是针对无效CU编码的，所以我们仅需要为无效CU分配一组预定义信息，使得解码器将针对无效CU使用相同信息。例如，我们可以将预测模式指定为帧内模式；跳过残差编解码；将块预测值的像素值设置为默认值；不进一步拆分无效CU；等等。
根据本发明的一个实施例的残差编解码在图18中示出。根据该实施例，残差的无效像素区域用实现用于残差编解码的最优RDO(码率-失真优化)的值填充。在图18中，要预测的当前原始块1810包括无效部分1812。为当前块生成预测值1820(帧间或帧内预测值)。修整对应于无效部分的预测值的区域以形成修剪的预测值1822。可以导出预测残差1824(即，修整的预测值和原始数据之间的差异)。根据一个实施例，将对残差1824进行编码和解码(例如，DCT＝>量化＝>逆量化＝>逆DCT)以生成重构残差1826。可以修整重构残差1826的无效区域以生成修剪的重构残差1828用于进一步的编解码过程。根据另一个实施例，可以通过用值填充来填充残差以形成填充的残差1830以实现最佳RDO。填充的残差1830将被编码和解码(例如，DCT＝>量化＝>逆量化＝>逆DCT)以生成重构的填充残差1832。在RDO过程期间，将针对残差块的有效区域评估失真。可以修整重构的填充残差1832的无效区域以形成修剪的重构残差1834。由于选择填充残差1830的填充以实现最佳RDO性能，因此最终重构残差(即，修整的重构残差)应该导致给定比特率的最小失真。
根据另一实施例，通过将DCT应用于对应于有效区域的缩减块或应用形状自适应DCT(shape-adaptive DCT，简写为SA-DCT)，可以从编解码处理中排除残差的无效像素区域。在图19中，为当前块生成预测值1920(帧间或帧内预测值)。修整对应于无效部分的预测值的区域以形成修剪的预测值1922。可以导出预测残差1924(即，修整的预测值和原始数据之间的差异)。根据一个实施例，残差1924的有效像素将用于形成较小的块1926，其被编码和解码(例如，DCT＝>量化＝>逆量化＝>逆DCT)以生成重构的较小残差1928。将无效像素添加回重构的较小残差1928以恢复重构残差1929。根据本发明的另一实施例，可以对非矩形块进行编解码。例如，形状自适应DCT(离散余弦变换)可以应用于残差1924的有效像素。如本领域所知，形状信息或轮廓信息必须在逆SA-DCT过程可以执行之前发送到接收器端。根据SA-DCT，如块1931所示，1-D DCT在垂直方向上应用于残差1930的有效像素，其中DCT大小取决于垂直方向上的有效像素的数量。垂直移位1-D DCT的系数并与块的上边界对齐以形成对准块1932。然后，如块1933所示，1-D DCT在水平方向上应用于对齐块1932的有效样本，其中DCT大小取决于水平方向上的有效像素的数量。变换块的系数水平移位并与左边界对齐以形成SA-DCT块1934。然后对SA-DCT块1934进行编码和解码(即，量化和反量化)以形成重构的SA-DCT块1935年。如块1936所示，通过在水平方向上应用1-D DCT将逆SA-DCT应用于重构的SA-DCT块1935。如块1937所示，恢复水平方向上的原始像素位置。然后如块1938所示在垂直方向上施加1-D DCT，并且如块1939所示恢复垂直方向上的像素位置，以获得重构块1940。填充有无效区域的重构残差变为完全重构的残差1942，其可与预测值一起使用以重构原始信号。
图20示出了用于处理360度虚拟现实图像的编码系统的示例性流程图，其中跳过了用于无效块的编解码标志。流程图中示出的步骤可以实现为在编码器侧或解码器侧的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。流程图中示出的步骤还可以基于诸如被布置为执行流程图中的步骤的一个或多个电子设备或处理器的硬件来实现。根据该实施例，在步骤2010中接收用于2D(二维)帧的输入数据，其中使用目标投影从3D(三维)球投影2D帧，并且2D帧包括一个或多个填充有无效像素的无效的区域。如前所述，可以使用各种投影格式来生成2D帧。在步骤2020中，2D帧被分成多个块以进行处理。这些块可以对应于编码单元(CU)。在步骤2030，当目标块是所有像素都是无效像素的无效块时，在编码器侧跳过目标块的编解码标志，或者在解码器侧藉由识别该目标块为无效块的信息，来导出该目标块的所有像素都是无效像素。
图21示出了用于处理360度虚拟现实图像的编码系统的示例性流程图，其中部分无效的块以帧内或帧间预测模式被编码。根据该实施例，在步骤2110中接收用于2D(二维)帧的输入数据，其中2D帧使用目标投影从3D(三维)球投影，并且2D帧包括一个或多个填充无效像素的无效区域。2D帧被分成多个块以在步骤2120中进行处理。在步骤2130中检查目标块是否部分地填充有无效像素。如果目标块部分地填充有无效像素(即，来自步骤2130的“是”路径)，则执行步骤2140至2160。否则(即，步骤2130的“否”路径)，跳过步骤2140至2160。在步骤2140中，对于所选择的参考图片区域中的至少一个候选参考块，识别候选参考块中的无效像素，或者对于帧内预测组中的至少一个候选帧内预测模式，与所述至少一个候选帧内预测模式相关联的候选帧内预测值中的一个或多个参考样本用最近的可用参考填充，或如果所述一个或多个参考样本不可用，则移除来自帧内预测组的所述至少一个候选帧内预测模式。如果为目标块选择了帧间预测，则候选参考块用于帧间预测。在步骤2150中，根据码率-失真优化，在所选择的参考图片区域的候选参考块中或者在与帧内预测组中的候选帧内预测模式相关联的候选帧内预测值中选择最佳预测值。如对于帧间预测所知，从候选参考块所选择的参考图片区域中搜索最佳预测值。对于帧内预测，在允许的帧内预测模式组中选择最佳预测值。在步骤2160中，在选择最佳预测值之后，使用最佳预测值对目标块进行编码。
图22示出了用于处理360度虚拟现实图像的编解码系统的示例性流程图，其中残差块的无效像素用值填充以实现最佳码率-失真优化。根据该实施例，在步骤2210中接收用于2D(二维)帧的输入数据，其中使用目标投影从3D(三维)球投影2D帧，并且2D帧包括一个或多个填充无效像素的无效区域。在步骤2220中，2D帧被分成多个块以进行处理。在步骤2230中检查目标块是否部分地填充有无效像素。如果目标块部分地填充有无效像素(即，来自步骤2230的“是”路径)，则执行步骤2240至2270。否则(即，步骤2230的“否”路径)，跳过步骤2240至2270。在步骤2240中，使用帧间预测值或帧内预测值生成目标块的残差块。在步骤2250中，用残差值填充残差块的无效像素，以通过选择残差值来生成填充残差块，以实现对填充残差块的最佳码率-失真优化。在步骤2260中，通过对填充的残差块应用编解码处理来生成重构的填充残差块。在步骤2270中，修整经重构的填充残差块的无效像素以生成用于重构目标块的重构残差块。
图23示出了用于处理360度虚拟现实图像的编解码系统的示例性流程图，其中残差块的有效像素被重新排列成较小的块并且编解码被应用于较小的块，或者形状自适应变换编解码应用于残差块的有效像素。根据该实施例，在步骤2310中接收用于2D(二维)帧的输入数据，其中使用目标投影从3D(三维)球投影2D帧，并且2D帧包括一个或多个填充无效像素的无效区域。在步骤2320中，2D帧被分成多个块以进行处理。在步骤2330中检查目标块是否部分地填充有无效像素。如果目标块部分地填充有无效像素(即，步骤2330的“是”路径)，则执行步骤2340至2350。否则(即，步骤2330的“否”路径)，跳过步骤2340至2350。在步骤2340中，使用编码器侧的帧间预测值或帧内预测值生成目标块的残差块，或者从解码器侧的视频比特流导出残差块。在步骤2350，通过重新排列残差块的有效像素将包括正向变换(forward transform)的第一编解码处理应用于较小的矩形块，或通过对编码器侧的残差块的有效像素应用包括非矩形正向变换的第二编解码处理，来编码残差块；或者，使用包括对较小矩形块中重新排列的残差块进行逆变换的第三编解码处理，或者通过对解码器侧残差块的有效像素应用包括非矩形逆变换的第四编解码处理来解码残差块。
以上所示的流程图旨在用作示例以说明本发明的实施例。本领域技术人员可以通过在不脱离本发明的精神的情况下修改各个步骤、分裂或组合步骤来实践本发明。
呈现以上描述是为了使得本领域技术人员能够实践在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以应用于其他实施例。因此，本发明不限于所示出和描述的特定实施例，而是与符合本文所公开的原理和新颖特征的最宽范围相一致。在以上详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以实施本发明。
如上所述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电子电路或集成到视频压缩软件中的程序代码，以执行这里描述的处理。本发明的实施例还可以是要在数字信号处理器(DSP)上执行的程序代码，以执行这里描述的处理。本发明还可以涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的许多功能。这些处理器可以被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。软件代码或固件代码可以用不同的程序语言和不同的格式或样式开发。还可以针对不同的目标平台编译软件代码。然而，软件代码的不同代码格式、样式和语言以及配置代码以执行根据本发明的任务的其他方式将不脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述表示。在权利要求的含义和等同范围内的所有变化都包含在其范围内。

Claims (14)

1.一种处理360度虚拟现实图像的方法，该方法包括：
接收2D(二维)帧的输入数据，其中该2D帧使用目标投影从3D(三维)球投影，并且该2D帧包括填充有无效像素的一个或多个无效区域；
将该2D帧分成多个块；以及
当目标块是具有所有像素为无效像素的无效块时，在编码器侧跳过该目标块的多个编解码标志或者在解码器侧基于识别该目标块是该无效块的信息导出该目标块的像素。
2.根据权利要求1所述的方法，其特征在于，该多个编解码标志包括从包括预测模式、预测信息、分割模式和残差系数的组中选择的一个或多个元素。
3.根据权利要求1所述的方法，其特征在于，多个默认编解码标志被分配给该编码器侧或该解码器侧的该多个编解码标志。
4.一种处理360度虚拟现实图像的方法，该方法包括：
接收2D(二维)帧的输入数据，其中该2D帧使用目标投影从3D(三维)球投影，并且该2D帧包括填充有无效像素的一个或多个无效区域；
将该2D帧分成多个块；以及
当目标块部分填充无效像素时：
对于所选择的参考图片区域中的至少一个候选参考块，识别候选参考块中的无效像素，或者针对帧内预测组中的至少一个候选帧内预测模式，使用最近可用参考像素填充候选帧内预测值中的一个或多个参考样本，其中该候选帧内预测值与该至少一个候选帧内预测模式相关，或者如果该一个或多个参考样本不可用，从该帧内预测组中移除该至少一个候选帧内预测模式；
根据码率-失真优化，在所选择的参考图片区域中的多个候选参考块中或与帧内预测组中的多个候选帧内预测模式相关联的多个候选帧内预测值中选择最佳预测值，其中，通过排除该目标块的无效像素来测量与该码率-失真优化相关联的失真；以及
使用该最佳预测值对该目标块进行编码。
5.根据权利要求4所述的方法，其特征在于，在该最佳预测值用于编码该目标块之前，所述至少一个候选参考块的无效像素被默认值替换。
6.根据权利要求4所述的方法，其特征在于，在该最佳预测值用于编码目标块之前，在与帧内预测组中的候选帧内预测模式相关联的候选帧内预测值中选择的该最佳预测值的无效像素被默认值替换。
7.根据权利要求4所述的方法，其特征在于，根据该目标块与一个候选参考块之间或该目标块与一个候选帧内预测值之间的绝对差之和来测量与该码率-失真优化相关联的该失真。
8.一种处理360度虚拟现实图像的方法，该方法包括：
接收2D(二维)帧的输入数据，其中该2D帧使用目标投影从3D(三维)球投影，并且该2D帧包括填充有无效像素的一个或多个无效区域；
将该2D帧分成多个块；以及
当目标块部分填充无效像素时：
使用帧间预测值或帧内预测值生成该目标块的残差块；
用残差值填充该残差块的该无效像素，以通过选择该残差值来生成填充的残差块，以实现对该填充的残差块的最佳码率-失真优化；
通过对该填充的残差块应用编解码处理来生成重构的填充残差块；以及
修整该重构的填充残差块的无效像素，以生成用于重构该目标块的重构残差块。
9.根据权利要求8所述的方法，其特征在于，根据该填充的残差块与该重构的填充残差块之间的绝对差之和来测量与该码率-失真优化相关联的失真。
10.根据权利要求8所述的方法，其特征在于，通过排除该填充的残差块的无效像素来测量与该码率-失真优化相关联的失真。
11.根据权利要求8所述的方法，其特征在于，所述该编解码处理包括正向变换、量化、逆量化和逆变换。
12.一种处理360度虚拟现实图像的方法，该方法包括：
接收2D(二维)帧的输入数据，其中该2D帧使用目标投影从3D(三维)球投影，并且该2D帧包括填充有无效像素的一个或多个无效区域；
将该2D帧分成多个块；以及
当目标块部分填充无效像素时：
使用编码器侧的帧间预测值或帧内预测值生成该目标块的残差块，或者在解码器侧从视频比特流导出该残差块；以及
通过重新排列该残差块的有效像素将包括正向变换的第一编解码处理应用于较小的矩形块，或通过对该编码器侧的该残差块的该有效像素应用包括非矩形正向变换的第二编解码处理，来编码该残差块；或者，使用包括对该较小矩形块中重新排列的残差块进行逆变换的第三编解码处理，或者通过对该解码器侧该残差块的该有效像素应用包括非矩形逆变换的第四编解码处理来解码该残差块。
13.根据权利要求12所述的方法，其特征在于，该非矩形正向变换对应于正向形状自适应变换，并且该非矩形逆变换对应于逆形状自适应变换。
14.根据权利要求13所述的方法，其特征在于，该正向形状自适应变换过程包括在第一方向上的第一1-D DCT(离散余弦变换)处理，将该第一1-D DCT处理的第一结果与该第一方向中的第一平面对准，第二方向上的第二1-D DCT处理，将该第二1-D DCT处理的第二结果与该第二方向中的第二平面对准；并且该逆形状自适应变换处理包括该第一方向上的第一逆1-D DCT处理，将该第一逆1-D DCT处理的第一结果恢复到该第一方向上的原始第一位置，第二方向上的第二逆1-D DCT处理，将该第二逆1-D DCT处理的第二结果恢复到该第二方向上的原始第二位置。
CN201880004484.3A 2017-09-13 2018-09-13 处理360度虚拟现实图像的方法 Active CN109983470B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762557785P 2017-09-13 2017-09-13
US62/557,785 2017-09-13
US16/127,954 US20190082183A1 (en) 2017-09-13 2018-09-11 Method and Apparatus for Video Coding of VR images with Inactive Areas
US16/127,954 2018-09-11
PCT/CN2018/105498 WO2019052505A1 (en) 2017-09-13 2018-09-13 METHOD AND APPARATUS FOR VIDEO CODING OF VIRTUAL REALITY IMAGES WITH INACTIVE AREAS

Publications (2)

Publication Number Publication Date
CN109983470A true CN109983470A (zh) 2019-07-05
CN109983470B CN109983470B (zh) 2023-03-10

Family

ID=65631975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880004484.3A Active CN109983470B (zh) 2017-09-13 2018-09-13 处理360度虚拟现实图像的方法

Country Status (4)

Country Link
US (1) US20190082183A1 (zh)
CN (1) CN109983470B (zh)
TW (1) TWI688256B (zh)
WO (1) WO2019052505A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10764605B2 (en) * 2018-02-14 2020-09-01 Qualcomm Incorporated Intra prediction for 360-degree video
US10567752B2 (en) 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
KR102065632B1 (ko) * 2018-10-22 2020-02-11 전자부품연구원 복수의 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
US10638165B1 (en) * 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction
KR102476057B1 (ko) 2019-09-04 2022-12-09 주식회사 윌러스표준기술연구소 클라우드 가상 현실을 위한 imu 센서 데이터를 활용한 비디오 인코딩 및 디코딩 가속 방법 및 장치
US11882368B1 (en) * 2021-04-27 2024-01-23 Apple Inc. Circular image file

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833536A (zh) * 2012-07-24 2012-12-19 南京邮电大学 一种面向无线传感器网络的分布式视频编解码方法
US20150358612A1 (en) * 2011-02-17 2015-12-10 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
WO2016008284A1 (zh) * 2014-07-18 2016-01-21 清华大学 帧内像素预测方法、编码方法、解码方法及其装置
CN105554506A (zh) * 2016-01-19 2016-05-04 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
CN106504187A (zh) * 2016-11-17 2017-03-15 乐视控股（北京）有限公司 视频识别方法以及装置
US20170214937A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637491B1 (ko) * 2009-12-30 2016-07-08 삼성전자주식회사 3차원 영상 데이터 생성 방법 및 장치
US8848779B2 (en) * 2010-07-15 2014-09-30 Sharp Laboratories Of America, Inc. Method of parallel video coding based on block size
CN102693552B (zh) * 2011-03-24 2015-07-22 雷欧尼斯（北京）信息技术有限公司 数字内容的2d转3d的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150358612A1 (en) * 2011-02-17 2015-12-10 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
CN102833536A (zh) * 2012-07-24 2012-12-19 南京邮电大学 一种面向无线传感器网络的分布式视频编解码方法
WO2016008284A1 (zh) * 2014-07-18 2016-01-21 清华大学 帧内像素预测方法、编码方法、解码方法及其装置
CN105282558A (zh) * 2014-07-18 2016-01-27 清华大学 帧内像素预测方法、编码方法、解码方法及其装置
CN105554506A (zh) * 2016-01-19 2016-05-04 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
US20170214937A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
CN106504187A (zh) * 2016-11-17 2017-03-15 乐视控股（北京）有限公司 视频识别方法以及装置

Also Published As

Publication number Publication date
TWI688256B (zh) 2020-03-11
WO2019052505A1 (en) 2019-03-21
CN109983470B (zh) 2023-03-10
US20190082183A1 (en) 2019-03-14
TW201916683A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109983470A (zh) 具有无效区域的vr图像的视频编解码方法和装置
CN110832855B (zh) 利用包含追加区域的分割单位的影像解码方法以及装置
TWI655861B (zh) 預拼接圖像的視頻編碼方法、視頻解碼方法和相關的裝置
KR100732958B1 (ko) 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
Katsaggelos et al. MPEG-4 and rate-distortion-based shape-coding techniques
CN107809642B (zh) 用于视频图像编码和解码的方法、编码设备和解码设备
JP5872676B2 (ja) ３ｄビデオコーディングにおけるテクスチャーイメージ圧縮方法および装置
WO2017125030A1 (en) Apparatus of inter prediction for spherical images and cubic images
TW201939951A (zh) 360度虛擬現實視訊的環路濾波方法和裝置
CN109478312A (zh) 一种视频编解码的方法及装置
CN111131837B (zh) 运动补偿修正方法、编码方法、编码器及存储介质
JP5934210B2 (ja) 画像の現在のブロックを再構築する方法および対応する符号化方法、対応する符号化装置、さらに、ビットストリームに符号化された画像を保持する記憶媒体
CN106063270A (zh) 用于主颜色索引图编码的方法及装置
US10863198B2 (en) Intra-prediction method and device in image coding system for 360-degree video
Magnor et al. Model-aided coding of multi-viewpoint image data
JP6708374B2 (ja) 画像群内で修正可能要素のセットを決定するための方法、デバイス、プログラム、及び可読媒体
US11051020B2 (en) Image decoding method and apparatus using projection-type based quantisation parameters in image coding system for 360-degree video
CN109076232A (zh) 用于虚拟现实视频的面独立编解码结构的方法与装置
TWI699114B (zh) Vr360視訊編碼的塊分割方法和裝置
WO2012128209A1 (ja) 画像符号化装置、画像復号装置、プログラムおよび符号化データ
Mao et al. Learning to predict on octree for scalable point cloud geometry coding
CN111630862B (zh) 用于对表示全向视频的多视图视频序列进行编码和解码的方法和设备
Magnor Geometry adaptive multi-view coding techniques for image based rendering
WO2012128211A1 (ja) 画像符号化装置、画像復号装置、プログラムおよび符号化データ
CN113840146A (zh) 一种视频信息隐藏方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant