CN105103556A - 用于亮度补偿的双向预测的方法和装置 - Google Patents

用于亮度补偿的双向预测的方法和装置 Download PDF

Info

Publication number
CN105103556A
CN105103556A CN201480020705.8A CN201480020705A CN105103556A CN 105103556 A CN105103556 A CN 105103556A CN 201480020705 A CN201480020705 A CN 201480020705A CN 105103556 A CN105103556 A CN 105103556A
Authority
CN
China
Prior art keywords
block
reference block
luminance compensation
listing
current text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480020705.8A
Other languages
English (en)
Other versions
CN105103556B (zh
Inventor
陈渏纹
庄子德
林建良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105103556A publication Critical patent/CN105103556A/zh
Application granted granted Critical
Publication of CN105103556B publication Critical patent/CN105103556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭示了一种用于在具有使能的亮度补偿的三维和多视图编码中的单向预测和双向预测派生对齐的视图间预测的方法和装置。当使能亮度补偿时，用于参考列表0或参考列表1中的单个参考块的派生过程，在单向预测的情况下与用于参考列表0中的参考块和参考列表1中的参考块的派生过程在双向预测的情况下对齐。当使用帧间预测时，重建过程基于时间参考块生成参考块，当使用视图间预测时，基于视图间参考块。对于单向预测和双向预测，相同的裁剪过程可以包含于重建过程，亮度补偿过程或两者。

Description

用于亮度补偿的双向预测的方法和装置
【交叉参考相关引用】
本发明要求2013年4月10日申请的序列号为61/810，385的美国临时专利申请的优先权，标题为“ModifiedIlluminationCompensationinVideoCoding”。美国临时专利申请在此全部并入参考。
【技术领域】
本发明涉及三维和多视图视频编码。特别地，本发明涉及在亮度补偿使能的情况下单向预测(uni-prediction)和双向预测(bi-prediction)的视图间预测的派生。
【背景技术】
近年来，三维(3D)电视已经成为一种技术趋势，其致力于带给观众生动的观看体验。多视图视频是一种俘获和描绘3D视频的技术。多视图视频通过同时使用多个相机俘获一个场景来典型地创建，其中多个相机合适地放置以便每个照相机从一个视图俘获此场景。具有与视图关联的大量视频序列的多视图视频表示大数量数据。因此，多视图视频将要求较大存储空间以储存和/或较高的带宽以传送。因此，多视图视频编码技术已经在本领域发展以减少所要求的存储空间和传送带宽。简单的方法可简单地将现有的视频编码技术独立地应用到每个单个视图视频序列，并忽略不同视图之间的任何相关。这样的简单的技术将导致较差的编码性能。为了改进多视图视频编码效率，多视图视频编码通常利用视图间冗余。两个视图之间的不一致是由两个相应相机的位置和角度导致的。
图1显示用于3D视频编码的公共测试条件的示范性预测结构。对应于特定照相机位置的视频图片和深度图由视图标识符(即，图1中的V0、V1和V2)指示。属于相同照相机位置的所有文本图片和深度图与相同的视图Id关联(即，视图标识符)。视图标识符用于指定访问单元中的编码顺序以及检测易错误环境中的丢失视图。访问单元包含对应于相同的时刻的所有视频图片和深度图。在访问单元中，当出现时，视频图片和具有视图Id等于0的关联的深度图首先编码，然后紧接着是视频图片和具有视图Id等于1的深度图，等等。视图Id等于0(即，图1中的V0)的视图也被称作基础视图或从属视图。基础视图视频图片可以使用现有的HEVC视频编码器不依赖其它视图来编码。
显示于图1中的示例对应于视图编码顺序从V0(即，基础视图)到V1，紧接着V2。正在编码的当前图片中的当前块位于V2中。根据HTM-6.0，先前编码的视图中的参考块的所有MV可以看作视图间候选，即使视图间图片不在当前图片的参考图片列表中。在图1中，帧110、120和130对应于在时间t1分别来自视图V0、V2和V2的视频图片或深度图。块132是当前视图中的当前块，以及块112和122分别是V0和V1中的当前块。对于V0中的当前块112，视差向量(116)用于定位视图间同位块(114)。类似地，对于V1中的当前块122，视差向量(126)用于定位视图间同位块(124)。
亮度补偿(IC)是一种减少由不同的相机在不同的位置俘获的两个视图的不同的光场导致的视图之间的强度差别的技术。在HTM中，线性IC模型由Liu等人揭示(“3D-CE2.h：ResultsofIlluminationCompensationforInter-ViewPrediction”，JointCollaborativeTeamon3DVideoCodingExtensionDevelopmentofITU-TSG16WP3andISO/IECJTC1/SC29/WG11、2ndMeeting：Shanghai，CN，13–19Oct.2012，Document：JCT3V-B0045)，以补偿不同视图之间的亮度差异。使用可用的最近重建的相邻像素为每个PU估计IC模型中的参数。因此，不需要将IC参数传送到解码器。是否应用IC是在编码单元(CU)级别决定，且编码IC旗标以指示IC是否在CU级别使能。旗标仅仅是为了使用视图间预测编码的CU而呈现。如果使能IC用于CU且CU中的PU由时间预测(即，帧间预测)来编码，则推测PU块使IC禁能。用于视图间预测的线性IC模型显示于eqn.(1)：
p(i,j)＝aIC·r(i+dvx,j+dvy)+bICwhere(i,j)∈PUc(1)
其中PUc是当前PU，(i,j)是PUc中的像素坐标，(dvx,dvy)是PUc的视差向量，p(i,j)是PUc的预测，r(·,·)是来自相邻视图的PU的参考图片，以及aIC和bIC是线性IC模型的参数。
为了估计PU的参数aIC和bIC，如图2A和2B所示，使用两组像素。如图2A所示，相邻像素包含当前CU(由粗线框指示的)左列和上面行(显示为圆圈)中的重建的相邻像素，其中CU包含当前PU。如图2B所示，其它组像素对应于当前CU的参考块(由粗线框指示的)的相邻像素(显示为圆圈)。当前CU的参考块通过使用当前PU的位置和当前PU的视差向量来定位。
用于视图间视频编码的自适应亮度补偿工具由Mishurovskiy揭示(“CE2.Aresultsoninter-viewcodingwithadaptiveluminancecompensation”，JointCollaborativeTeamon3DVideoCodingExtensionDevelopementofITU-TSG16WP3andISO/IECJTC1/SC29/WG11、2ndMeeting：Shanghai，CN，13–19Oct.2012，Document：JCT3V-B0031)。此自适应亮度补偿是仅仅应用于P切片。传送宏块(MB)级别的旗标用于跳过MB、P16x16、P16x8、P8x16和P8x8MB以打开或关闭自适应亮度补偿。
在HTM-6.0中，当帧间预测是单向预测时，裁剪首先应用于来自基于DCT的内插滤波器(DCTIF)的内插的像素输出(即，分别用于L0(参考列表0)和L1(参考列表1)的predSamplesL0[x][y]和predSamplesL1[x][y])，以裁剪像素值到如分别用于L0和L1的eqn.(2)和eqn.(3)所示的有效范围。内插的像素对应于运动补偿的重建的像素。
clipPredVal＝Clip3(0，(1<<bitDepth)-1，(predSamplesL0[x][y]+offset1)>>shift1)，(2)
clipPredVal＝Clip3(0，(1<<bitDepth)-1，(predSamplesL1[x][y]+offset1)>>shift1)，(3)
其中Clip3(a,b,c)是裁剪函数，其在a和b之间裁剪值c。offset1、shift1是环绕因素(roundingfactors)。如eqn.(2)和eqn.(3)所示，内插的像素输出裁剪到从0到最大值的范围，最大值可以由bitDepth位表示(即，(1<<bitDepth)-1)。
参考块的裁剪的像素然后由亮度补偿根据线性IC模型处理，以将值裁剪到有效范围。在IC操作后，像素值再次裁剪到如分别用于L0和L1的eqn.(4)和eqn.(5)所示的有效范围，且裁剪结果用作指示符。
predSamples[x][y]＝！puIcFlagL0？clipPredVal：
(Clip3(0，(1<<bitDepth)-1，(clipPredVal*icWeightL0)>>icShiftL0)+icoffsetL0)(4)
predSamples[x][y]＝！puIcFlagL1？clipPredVal：
(Clip3(0，(1<<bitDepth)-1，(clipPredVal*icWeightL1)>>icShiftL1)+icoffsetL1)(5)
其中s＝t？u：v表示如果是真(或等于1)，则s＝u；否则s＝v。根据eqn.(4)和(5)，当用于PU的IC旗标(即，puIcFlagL0和puIcFlagL1)不是真时，基于eqn.(2)和(3)裁剪的值直接使用；否则基于eqn.(2)和(3)裁剪的值进一步亮度补偿和裁剪。因此，当IC旗标是真时，重建的参考像素将被裁剪两次(即，在eqn.2&4或在eqn.3&5)。
对于双向预测情形，如eqn.(6)和eqn.(7)所示，每个列表(即，L0或L1)内插的像素既不裁剪也不是亮度补偿的输出。用于每个列表的亮度补偿的像素然后平均以及裁剪到有效范围，如eqn.(8)所示。
predVal0＝！puIcFlagL0？predSamplesL0[x][y]：
((predSamplesL0[x][y]*icWeightL0)>>icShiftL0)+(icoffsetL0<<shift1))(6)
predVal1＝！puIcFlagL1？predSamplesL1[x][y]：
((predSamplesL1[x][y]*icWeightL1)>>icShiftL1)+(icoffsetL1<<shift1))(7)
predSamples[x][y]＝
Clip3(0，(1<<bitDepth)-1，(predVal0+predVal1+offset2)>>shift2)(8)
其中icWeightL0、icShiftL0、icoffsetL0、icWeightL1、icShiftL1和icoffsetL1是IC参数。
如上所示，IC使能的视图间预测的派生过程不同于单向预测和双向预测。当与双向预测关联的运动信息参考相同的参考块时，编码器可通过使用单向预测而不是双向预测简化派生过程。如果解码器仍然使用双向预测，则编码器和解码器可具有不同的预测。在此情况下，一侧可具有单向预测以及另一侧可具有双向预测。当与双向预测关联的运动信息指向相同的参考块时，使用单向预测比使用双向预测更有效率。单向预测可以通过仅仅使用对应于原始列表0MV和参考索引的列表0预测，将原始双向预测转换到单向预测来完成。由于用于单向预测和双向预测的不同的IC派生过程，当与双向预测关联的运动信息参考相同的参考块时，编码系统可能遇到不匹配问题。期望当与双向预测关联的运动信息参考相同的参考块时，利用单向预测的减少的计算复杂性而不导致不匹配问题。
【发明内容】
本发明揭示了一种用于在具有使能的亮度补偿的三维和多视图编码中的单向预测和双向预测派生对齐的视图间预测的方法和装置。当使能亮度补偿且选择单向预测用于当前文本块，参考列表0或参考列表1中的单个参考块通过调用重建过程用于当前文本块来生成。当帧间预测用于当前文本块时，重建过程基于单个时间参考块生成单个参考块，且当视图间预测用于当前文本块时，基于单个视图间参考块。单个亮度补偿的参考块然后通过将亮度补偿过程应用到单个参考块来生成，且单个亮度补偿的参考块用作最终参考块。当使能亮度补偿且选择双向预测用于当前文本块时，参考列表0中的第一参考块和参考列表1中的第二参考块通过用于单向预测的相同的重建过程来生成。第一亮度补偿的参考块和第二亮度补偿的参考块通过如将相同的亮度补偿过程应用于单向预测一样，分别应用于第一参考块和第二参考块。最终参考块从第一亮度补偿的参考块和第二亮度补偿的参考块的平均来派生。在最终参考块为单向预测或双向预测派生后，当前文本块使用最终参考块作为预测符来编码或解码。
在一个实施例中，来自重建过程的输出裁剪到第一有效范围。在另一实施例中，来自亮度补偿过程的输出裁剪到第一有效范围。在又一发明中，来自重建过程和亮度补偿过程的输出均裁剪到第一有效范围。
本发明使能相同运动检查。在选择双向预测且与双向预测关联的运动信息参考相同的参考块的情况下，双向预测可以简化为单向预测的预测。在另一实施例中，修改与参考列表0或参考列表1关联的运动信息。例如，偏置向量(m，n)可以增加到运动向量用于相同参考块中的一个。在另一示例中，与相同参考块中的一个关联的参考索引可以在相应参考列表中设置为最小参考索引，且使用根据关于对应参考索引的图片顺序距离的缩放的运动向量和最小参考索引。在又一示例中，不同的内插滤波器可用于生成相同参考块中的一个。
【附图说明】
图1图示了三维/多视图编码的示例，其中使用运动补偿的预测(MCP)和不一致补偿的预测(DCP)。
图2A和图2B图示用于派生亮度补偿参数的当前块和参考块的相邻像素的示例。
图3图示了根据本发明的实施例的合并用于具有使能的亮度补偿的三维/多视图编码系统中的单向预测和双向预测的对齐的视图间预测的示范性流程图。
【具体实施方式】
当与用于双向预测的两个参考块关联的两组运动信息对应于相同的参考块时，基于双向预测的帧间预测可以转换为单向预测，以便根据HEVC(高效率视频编码)标准减少冗余运动的计算的复杂性。为了利用此优点，编码器需要检查与用于双向预测的两个参考块关联的两组运动信息是否参考相同的参考块。如果是，基于单向预测的帧间预测可替代双向预测来使用。检查过程在本公开中称为相同运动检查。然而，由于用于单向预测和双向预测的不同的裁剪操作，具有使能的IC(亮度补偿)的3D-HEVC不支持此灵活性。
在本发明中，揭示了统一的(也称为对齐的)裁剪过程用于当IC使能时的单向预测和双向预测。当与用于双向预测的两个参考块关联的两组运动信息参考相同的参考块时，无论是否采用单向预测或双向预测，统一的裁剪过程将产生相同的预测符。
在第一实施例中，单向预测和双向预测相等地应用两个裁剪操作，其中裁剪操作和应用于HEVC标准中的单向预测的裁剪操作相同。对于显示于eqn(2)-eqn(5)的单向预测操作，从内插滤波器输出的内插像素由第一裁剪操作处理。然后，裁剪后的像素由IC操作处理。第二裁剪操作应用于亮度补偿的像素以产生最终预测输出。对于双向预测情形，来自两个相应参考块的亮度补偿的像素被平均。详细操作显示于下文。除了显示于eqn(9)到eqn(12)的符号修改(由加粗形式指示)，用于与相应参考块关联的IC的裁剪过程与单向预测的裁剪过程本质上相同。
clipPredVal0＝Clip3(0，(1<<bitDepth)-1，(predSamplesL0[x][y]+offset1)>>shift1)(9)
clipPredVal1＝Clip3(0，(1<<bitDepth)-1，(predSamplesL1[x][y]+offset1)>>shift1)(10)
predVal0＝predSamples[x][y]＝！puIcFlagL0？clipPredVal：
(Clip3(0，(1<<bitDepth)-1，(clipPredVal0*icWeightL0)>>icShiftL0)+icoffsetL0)(11)
predVal1＝predSamples[x][y]＝！puIcFlagL1？clipPredVal：
(Clip3(0，(1<<bitDepth)-1，(clipPredVal1*icWeightL1)>>icShiftL1)+icoffsetL1)(12)
从两个IC补偿的和裁剪的参考块获得预测的平均操作可以与显示于eqn(8)中的相同。
在第二实施例中，用于单向预测的裁剪过程修改为使用单个裁剪。对于单向预测而言，裁剪首先应用于从基于DCT的内插滤波器(DCTIF)输出的内插像素以裁剪像素值到有效的范围，如分别用于L0和L1的eqn(2)和eqn(3)所示。然而，当IC被使能以用于当前PU如分别由puIcFlagL0和puIcFlagL1指示的时，不用应用进一步的裁剪。因此，eqn(4)和eqn(5)的单向预测操作修改如下：
predSamples[x][y]＝！puIcFlagL0？clipPredVal：
(Clip3(0，(1<<bitDepth)-1，(predSamplesL0[x][y]*icWeightL0)>>icShiftL0)+icoffsetL0)(13)
predSamples[x][y]＝！puIcFlagL1？clipPredVal：
(Clip3(0，(1<<bitDepth)-1，(predSamplesL1[x][y]*icWeightL1)>>icShiftL1)+icoffsetL1)(14)
如eqn(13)和(14)所示，IC参数icWeightL0和icWeightL1分别应用于为裁剪的样本predSamplesL0[x][y]和predSamplesL1[x][y]。因此，对于单项预测和双向预测情形，只有一个裁剪应用于样本。
当用于双向预测的两组运动信息参考相同的参考块时，双向预测可以转换为单向预测，两组运动信息的一组还可以修改以便两组运动信息将参考不同的参考块。例如，偏置向量(m，n)可以加入到一个运动向量，其中m和n是两个整数。在另一示例中，一个参考索引可以修改到最小的参考索引。对应运动向量可以根据关于对应参考索引和最小参考索引的图片顺序计数(POC)距离，修改为缩放的运动向量。在另一实施例中，当用于双向预测的两组运动信息参考相同的参考块时，不同的内插滤波器可用于派生一个参考块。
根据本发明的实施例的包含用于单向预测和双向预测的统一的亮度补偿的3D/多视图视频编码系统的性能与基于HTM-6.0的现有的系统的3D/多视图视频编码系统的性能相比显示于表1中。性能比较是基于位于第一列的不同组的测试数据。在基于HTM-6.0的现有的系统，不执行相同运动检查；否则，如上所述，不匹配问题可能发生。另一方面，包含本发明的实施例的系统检查与双向预测关联的运动信息是否参考相同的参考块。如果与双向预测关联的运动信息参考相同的参考块，则双向预测转换为单向预测。对于根据本发明的单向预测和双向预测，使用统一的裁剪过程。显示于表1的比较是基于统一的裁剪，其中两个裁剪使用于单向预测和双向预测。用于单向预测和双向预测的对齐的帧间预测还可以应用于其它帧间预测工具，例如，视图综合预测或加权预测，以支持相同MV检查的特性。
BD率差别显示用于视图1(视频1)和视图2(视频2)中的文本图片。BD率中的负值暗示本发明具有更好的性能。如表1所示，包含本发明的实施例的视频1和视频2的BD率与现有的系统一样。第二组性能仅仅是文本视频的比特率测量(视频/视频比特率)、文本视频的(视频/总比特率)总比特率(文本比特率和深度比特率)以及编码的和综合视频(合成/总比特率)的总比特率。如表1所示，在此组的平均性能也与现有的HTM-6.0相同。处理时间(编码时间、解码时间和描绘时间)也进行比较。如表1所示，解码时间减少大约5％。
表1
图3图示了根据本发明的实施例的合并用于具有使能的亮度补偿的三维/多视图编码系统中的单向预测和双向预测的对齐的视图间预测的示范性流程图。如步骤310所示，系统接收与从属视图中的当前文本块关联的输入数据。对于编码，从属视图中的当前文本块关联的输入数据对应于即将编码的像素数据。对于解码，从属视图中的当前文本块关联的输入数据对应于即将被解码的编码后的像素数据。与当前文本块关联的输入数据可以从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)或从处理器获取。如果亮度补偿被使能且单向预测选择为用于当前块(如在步骤315中检查的)，参考列表0或参考列表1中的单个参考块通过调用用于当前文本块的重建过程来生成，如在步骤320中所示。当帧间预测用于当前文本块时，重建过程基于单个时间参考块生成单个参考块，且当视图间预测用于当前文本块时，基于单个视图间参考块生成单个参考块。单个亮度补偿的参考块通过将选择的亮度补偿过程应用到单个参考块来生成，如在步骤325中显示。单个亮度补偿的参考块用作最终参考块。
当亮度补偿被使能且双向预测选择为用于当前文本块时(如在步骤330中检查的)，参考列表0中的第一参考块和参考列表1中的第二参考块通过调用与单向预测一样的重建过程，用于当前文本块来生成，如步骤335和340所示。第一亮度补偿的参考块和第二亮度补偿的参考块通过将与单向预测一样的亮度补偿过程分别应用于第一参考块和第二参考块来生成，如步骤345和350所示。最终参考块然后从第一亮度补偿的参考块和第二亮度补偿的参考块的平均派生，如在步骤355中所示。在最终参考块为单向预测或双向预测派生后，当前文本块使用最终参考块作为预测符来编码或解码，如在步骤360中所示。
以上所示流程图旨在图示使用对齐的视图间预测用于具有使能的亮度补偿的三维和多视图编码中的单向预测和双向的3D/多视图编码的示例。本领域的技术人员可修改每个步骤、重新安排步骤、拆分步骤或合并步骤以在不背离本发明精神的情况下实践本发明。
呈现以上描述以使本领域的普通技术人员能如特定应用和其要求的上下文所提供的来实践本发明。所描述的实施例的各种修改对本领域的技术人员是表观的，且本文所定义的一般原理可以应用到其它实施例。因此，本发明不打算限制为所示和所描述的特定实施例，但是符合与本文所揭示的原理和新颖的特征一致的最大范围。在以上详细描述中，图示各种具体细节以便提供对于本发明的全面理解。然而，本领域技术人员应理解本发明可以实践。
如上所述的本发明的实施例可以以各种硬件、软件代码或其组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片的电路或集成到视频压缩软件的程序代码，以执行本文描述的处理。本发明的实施例还可以是在数字信号处理器(DSP)上运行的程序代码以执行本文描述的处理。本发明还可涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的多个函数。这些处理器可以配置为根据本发明，通过执行实施本发明的特定方法定义的机器可读软件代码或固件代码来执行特定任务。软件代码或固件代码可以用不同的编程语言和不同的格式或风格来开发。软件代码还可以用不同的目标平台来编译。然而，不同的代码格式、风格和软件代码的语言和配置代码的其他装备以根据本发明执行任务，将不背离本发明的精神和范围。
本发明可以以不背离其精神或实质特性的其他具体形式来实施。所描述的示例在各方面仅仅是说明性的而非限制性的。因此，本发明的范围，由所附的权利要求而非上文的描述所指示。在权利要求等同的意思和范围内的所有改变落入本发明范围。

Claims (12)

1.一种三维和多视图编码系统中的预测编码方法，其特征在于，包含：
接收与从属视图中当前文本块关联的输入数据；
当亮度补偿被使能且单向预测选择为用于所述当前文本块时：
通过调用用于所述当前文本块的选择的重建过程，在参考列表0或参考列表1生成单个参考块，其中当帧间预测用于所述当前文本块时，所述选择的重建过程基于单个时间参考块生成所述单个参考块，且当视图间预测用于所述当前文本块时，基于单个视图间参考块生成所述单个参考块；以及
通过将选择的亮度补偿过程应用于所述单个参考块，生成单个亮度补偿的参考块，其中所述单个亮度补偿的参考块用作最终参考块；
当所述亮度补偿被使能且双向预测选择为用于所述当前文本块时：
通过调用用于所述当前文本块的所述选择的重建过程，在所述参考列表0中生成第一参考块；
通过调用用于所述当前文本块的所述选择的重建过程，在所述参考列表1中生成第二参考块；
通过将所述选择的亮度补偿过程应用于所述第一参考块，生成第一亮度补偿的参考块；
通过将所述选择的亮度补偿过程应用于所述第二参考块，生成第二亮度补偿的参考块；以及
通过将所述第一亮度补偿的参考块和所述第二亮度补偿的参考块平均，派生所述最终参考块；以及
使用所述最终参考块作为预测符，编码或解码所述当前文本块。
2.如权利要求1所述的方法，其特征在于，所述生成单个参考块，所述生成第一参考块和所述生成第二参考块包含在来自所述选择的重建过程的第一输出上调用第一裁剪过程，其中所述第一裁剪过程将所述第一输出裁剪到第一有效范围。
3.如权利要求2所述的方法，其特征在于，所述生成单个亮度补偿的参考块，所述生成第一亮度补偿的参考块和所述生成第二亮度补偿的参考块包含在来自所述选择的亮度补偿过程的第二输出上调用第一裁剪过程。
4.如权利要求1所述的方法，其特征在于，所述生成单个亮度补偿的参考块，所述生成第一亮度补偿的参考块和所述生成第二亮度补偿的参考块包含在来自所述选择的亮度补偿过程的第二输出上调用第一裁剪过程，其中所述第一裁剪过程将所述第二输出裁剪到第一有效范围。
5.如权利要求1所述的方法，其特征在于，当所述亮度补偿被使能且所述双向预测选择为用于所述当前文本块时，如果与所述双向预测关联的运动信息在所述参考列表0和所述参考列表1中参考相同的参考块，则所述双向预测转换为所述单向预测。
6.如权利要求1所述的方法，其特征在于，当所述亮度补偿被使能且所述双向预测选择为用于所述当前文本块时，如果与所述双向预测关联的运动信息在所述参考列表0和所述参考列表1参考相同的参考块，则与所述参考列表0或所述参考列表1关联的运动信息被修改。
7.如权利要求6所述的方法，其特征在于，如果与所述双向预测关联的运动信息在所述参考列表0和所述参考列表1参考相同的参考块，则与所述参考列表0或所述参考列表1关联的所述运动信息是通过增加偏置向量(m，n)来修改，其中m和n是整数。
8.如权利要求6所述的方法，其特征在于，如果与所述双向预测关联的运动信息在所述参考列表0和所述参考列表1参考相同的参考块，则与所述参考列表0或所述参考列表1关联的所述运动信息是通过在对应参考列表中将对应参考索引改变为最小参考索引来修改，其中修改后的所述运动信息使用根据关于所述对应参考索引和所述最小参考索引的图片顺序计数距离的缩放的修改后的运动向量。
9.如权利要求1所述的方法，其特征在于，当所述亮度补偿被使能且所述双向预测选择为用于所述当前文本块时，如果与所述双向预测关联的运动信息在所述参考列表0和所述参考列表1参考相同的参考块，则所述第一参考块或所述第二参考块是使用另一重建过程来生成，其中所述另一重建过程包含不同于所述选择的重建过程的内插滤波器。
10.一种用于三维和多视图编码系统中的预测编码的装置，所述装置包含一个或多个电子电路，其中所述一个或多个电子电路用于：
接收与从属视图中当前文本块关联的输入数据；
当使能亮度补偿且选择单向预测用于所述当前文本块时：
通过调用用于所述当前文本块的选择的重建过程，在参考列表0或参考列表1生成单个参考块，其中当帧间预测用于所述当前文本块时，所述选择的重建过程基于单个时间参考块生成所述单个参考块，且当视图间预测用于所述当前文本块时，基于单个视图间参考块；以及
通过将选择的亮度补偿过程应用于所述单个参考块，生成单个亮度补偿的参考块，其中所述单个亮度补偿的参考块用于最终参考块；
当使能所述亮度补偿且选择双向预测用于所述当前文本块时：
通过调用用于所述当前文本块的所述选择的重建过程，在所述参考列表0中生成第一参考块；
通过调用用于所述当前文本块的所述选择的重建过程，在所述参考列表1中生成第二参考块；
通过将所述选择的亮度补偿过程应用于所述第一参考块，生成第一亮度补偿的参考块；
通过将所述选择的亮度补偿过程应用于所述第二参考块，生成第二亮度补偿的参考块；以及
通过将所述第一亮度补偿的参考块和所述第二亮度补偿的参考块平均，派生所述最终参考块；以及
使用所述最终参考块作为预测符，编码或解码所述当前文本块。
11.如权利要求10所述的装置，其特征在于，当使能所述亮度补偿且选择所述双向预测用于所述当前文本块时，如果与所述双向预测关联的运动信息在所述参考列表0和所述参考列表1中参考相同的参考块，则所述双向预测转换为所述单向预测。
12.如权利要求10所述的装置，其特征在于，当使能所述亮度补偿且选择所述双向预测用于所述当前文本块时，如果与所述双向预测关联的运动信息在所述参考列表0和所述参考列表1参考相同的参考块，则修改与所述参考列表0或所述参考列表1关联的运动信息。
CN201480020705.8A 2013-04-10 2014-04-04 用于亮度补偿的双向预测的方法和装置 Active CN105103556B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361810385P 2013-04-10 2013-04-10
US61/810,385 2013-04-10
PCT/CN2014/074785 WO2014166360A1 (en) 2013-04-10 2014-04-04 Method and apparatus for bi-prediction of illumination compensation

Publications (2)

Publication Number Publication Date
CN105103556A true CN105103556A (zh) 2015-11-25
CN105103556B CN105103556B (zh) 2018-07-31

Family

ID=51688937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480020705.8A Active CN105103556B (zh) 2013-04-10 2014-04-04 用于亮度补偿的双向预测的方法和装置

Country Status (5)

Country Link
US (1) US9961347B2 (zh)
EP (1) EP2923491B1 (zh)
CN (1) CN105103556B (zh)
CA (1) CA2896810C (zh)
WO (1) WO2014166360A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020164575A1 (en) * 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion derivation based on processing parameters
WO2020177755A1 (en) * 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
CN113170123A (zh) * 2018-12-08 2021-07-23 高通股份有限公司 照明补偿与帧间预测的相互作用
US11277624B2 (en) 2018-11-12 2022-03-15 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
US11838539B2 (en) 2018-10-22 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Utilization of refined motion vector
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position
US12081767B2 (en) 2019-02-03 2024-09-03 Beijing Bytedance Network Technology Co., Ltd Interaction between MV precisions and MV difference coding

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356416B2 (en) * 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10887597B2 (en) 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
EP3313072B1 (en) * 2015-06-16 2021-04-07 LG Electronics Inc. Method for predicting block on basis of illumination compensation in image coding system
ES2737845B2 (es) * 2016-07-05 2021-05-19 Kt Corp Metodo y aparato para procesar senal de video
WO2018070661A1 (ko) * 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
EP3410717A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
CN109756737B (zh) * 2017-11-07 2020-11-17 华为技术有限公司 图像预测方法和装置
EP3554080A1 (en) 2018-04-13 2019-10-16 InterDigital VC Holdings, Inc. Methods and devices for picture encoding and decoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193302A (zh) * 2006-12-01 2008-06-04 三星电子株式会社 照明补偿方法和设备以及视频编解码方法和设备
US20090010323A1 (en) * 2006-01-09 2009-01-08 Yeping Su Methods and Apparatuses for Multi-View Video Coding
WO2012031107A1 (en) * 2010-09-03 2012-03-08 Dolby Laboratories Licensing Corporation Method and system for illumination compensation and transition for video coding and processing
WO2012044118A2 (ko) * 2010-09-30 2012-04-05 한국전자통신연구원 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101244917B1 (ko) 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR102006443B1 (ko) * 2010-09-30 2019-08-02 한국전자통신연구원 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
CN103416062A (zh) 2011-01-07 2013-11-27 三星电子株式会社 能够执行双向预测和单向预测的视频预测方法及其装置、视频编码方法及其装置以及视频解码方法及其装置
KR20140011481A (ko) 2011-06-15 2014-01-28 미디어텍 인크. 3d 비디오 코딩을 위한 움직임 벡터 및 변이 벡터의 예측과 보상 방법 및 장치
US9912942B2 (en) * 2012-12-28 2018-03-06 Qualcomm Incorporated High-frequency-pass sample adaptive offset in video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090010323A1 (en) * 2006-01-09 2009-01-08 Yeping Su Methods and Apparatuses for Multi-View Video Coding
CN101193302A (zh) * 2006-12-01 2008-06-04 三星电子株式会社 照明补偿方法和设备以及视频编解码方法和设备
WO2012031107A1 (en) * 2010-09-03 2012-03-08 Dolby Laboratories Licensing Corporation Method and system for illumination compensation and transition for video coding and processing
WO2012044118A2 (ko) * 2010-09-30 2012-04-05 한국전자통신연구원 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUI YONG KIM: "Motion Compensation Complexity Reduction for Bi-Prediction", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG116TH MEETING: TORINO》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11838539B2 (en) 2018-10-22 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Utilization of refined motion vector
US12041267B2 (en) 2018-10-22 2024-07-16 Beijing Bytedance Network Technology Co., Ltd. Multi-iteration motion vector refinement
US11889108B2 (en) 2018-10-22 2024-01-30 Beijing Bytedance Network Technology Co., Ltd Gradient computation in bi-directional optical flow
US11277624B2 (en) 2018-11-12 2022-03-15 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
US11284088B2 (en) 2018-11-12 2022-03-22 Beijing Bytedance Network Technology Co., Ltd. Using combined inter intra prediction in video processing
US11516480B2 (en) 2018-11-12 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
US11956449B2 (en) 2018-11-12 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position
CN113170123A (zh) * 2018-12-08 2021-07-23 高通股份有限公司 照明补偿与帧间预测的相互作用
US12081767B2 (en) 2019-02-03 2024-09-03 Beijing Bytedance Network Technology Co., Ltd Interaction between MV precisions and MV difference coding
US12034964B2 (en) 2019-02-14 2024-07-09 Beijing Bytedance Network Technology Co., Ltd Selective application of decoder side refining tools
US11425417B2 (en) 2019-02-14 2022-08-23 Beijing Bytedance Network Technology Co., Ltd. Techniques for using a decoder side motion vector refinement tool
WO2020164575A1 (en) * 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion derivation based on processing parameters
US11240531B2 (en) 2019-02-14 2022-02-01 Beijing Bytedance Network Technology Co., Ltd. Size selective application of decoder side refining tools
US11876932B2 (en) 2019-02-14 2024-01-16 Beijing Bytedance Network Technology Co., Ltd Size selective application of decoder side refining tools
US11509923B1 (en) 2019-03-06 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
WO2020177755A1 (en) * 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding

Also Published As

Publication number Publication date
EP2923491A1 (en) 2015-09-30
CA2896810A1 (en) 2014-10-16
CN105103556B (zh) 2018-07-31
EP2923491B1 (en) 2018-10-31
US20150381986A1 (en) 2015-12-31
CA2896810C (en) 2017-12-19
EP2923491A4 (en) 2016-04-13
WO2014166360A1 (en) 2014-10-16
US9961347B2 (en) 2018-05-01

Similar Documents

Publication Publication Date Title
CN105103556A (zh) 用于亮度补偿的双向预测的方法和装置
JP7471328B2 (ja) エンコーダ、デコーダ、および対応する方法
KR101276720B1 (ko) 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
US10264281B2 (en) Method and apparatus of inter-view candidate derivation in 3D video coding
JP4663792B2 (ja) 多視点動映像を符号化及び復号化する装置及び方法
KR20070040286A (ko) 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
US9998760B2 (en) Method and apparatus of constrained disparity vector derivation in 3D video coding
US12113959B2 (en) Motion vector prediction for video coding
CN113508592A (zh) 编码器、解码器及相应的帧间预测方法
KR20210088693A (ko) 임의의 ctu 크기에 대한 ibc 검색 범위 최적화를 사용하는 인코더, 디코더 및 대응하는 방법
KR20070033863A (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
CN111052739A (zh) 基于帧间预测模式的图像处理的方法和设备
CN112673633A (zh) 合并模式的编码器、解码器及对应方法
KR101008525B1 (ko) 디지털 비디오 시퀀스 인코딩 방법, 인코더용 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체, 컴퓨터용 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체, 디지털 비디오 시퀀스를 인코딩하는 인코더 및 비디오 통신 시스템
CN114450958A (zh) 用于减小增强插值滤波器的内存带宽的仿射运动模型限制
CN112868233B (zh) 编码器、解码器及相应的帧间预测方法
CN114830665A (zh) 仿射运动模型限制
US9509972B2 (en) Encoding/decoding method and apparatus using a skip mode
CN115349257A (zh) 基于dct的内插滤波器的使用
JP2022523440A (ja) ビデオコーディングにおけるヌルタイルコーディング
US10075690B2 (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
KR101261577B1 (ko) 다시점 동영상을 부호화 및 복호화하는 장치 및 방법
CN118044201A (zh) 基于mdmvr的图像编译方法及设备
CN112136328A (zh) 视频处理系统中的帧间预测的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160908

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant