CN105794210B - 视频编码系统中用于边界像素的运动补偿预测方法及装置 - Google Patents

视频编码系统中用于边界像素的运动补偿预测方法及装置 Download PDF

Info

Publication number
CN105794210B
CN105794210B CN201480066225.5A CN201480066225A CN105794210B CN 105794210 B CN105794210 B CN 105794210B CN 201480066225 A CN201480066225 A CN 201480066225A CN 105794210 B CN105794210 B CN 105794210B
Authority
CN
China
Prior art keywords
pixel
current
prediction
boundary
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480066225.5A
Other languages
English (en)
Other versions
CN105794210A (zh
Inventor
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105794210A publication Critical patent/CN105794210A/zh
Application granted granted Critical
Publication of CN105794210B publication Critical patent/CN105794210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本发明揭露了视频编码系统中用于导出用于边界像素的运动补偿预测的方法以及装置。本发明的实施例确定当前MV以及对应于上方MV、左侧MV、或上方MV以及左侧MV的一个或多个相邻MV。通过应用运动补偿根据当前MV以及由当前MV指向的第一参考图片产生用于当前CU的边界区域的当前边界像素的第一预测子。通过应用运动补偿根据相邻MV以及由相邻MV指向的参考图片产生用于当前边界像素的一个或多个第二预测子。接着，用于当前边界像素的当前边界像素预测子根据权重因子使用第一预测子以及第二预测子的加权和来产生。

Description

视频编码系统中用于边界像素的运动补偿预测方法及装置
【相关申请的交叉引用】
本发明主张申请于2013年12月6日，序列号为61/912，686，标题为“MotionBoundary Enhancement”的美国临时专利申请的优先权。将此美国临时专利申请以参考的方式并入本文中。
【技术领域】
本发明涉及视频编码。特别地，本发明涉及用于运动边界处理(motion boundaryprocessing)的方法以及装置以减少编码单元边界的不连续性。
【背景技术】
运动估计是一种利用视频序列中时间冗余的有效的帧间编码技术。运动补偿帧间编码被广泛地使用于各种国际视频编码标准。各种编码标准中采用的运动估计常常是基于块的技术，其中，运动信息(例如：编码模式以及运动向量)被确定以用于每个宏块或类似块配置。此外，帧内编码也被适应性地应用，其中，图片不需参考任何其它图片被处理。通常，帧间预测或帧间预测残差进一步由转换、量化以及熵编码来处理以产生已压缩的视频比特流。于编码处理过程中，特别是在量化过程中，编码失真(coding artifacts)被引入。为了减轻编码失真，于更新的编码系统中，附加的处理被应用到重建的视频以增加图片质量。附加的处理常被配置于环路操作(in-loop operation)中，以使编码器及解码器能产生相同的参考图片以改进系统性能。
图1A所示为基于使用自适应帧间/帧内预测的高效视频编码(High EfficiencyVideo Coding，HEVC)的视频编码器的示范性系统框图。对于帧间预测，运动估计(MotionEstimation，ME)/运动补偿(Motion Compensation，MC)112用于提供基于来自其它图片或多个其他图片的视频数据的预测数据。开关114选择帧内预测110或帧间预测数据，且已选择的预测数据被提供到加法器116以形成预测误差，也被称为残差。接着，预测误差由被量化(Quantization，Q)120跟随的转换(Transformation，T)118来处理。接着，已转换以及已量化的残差由熵编码器122来编码以形成对应于已压缩视频数据的视频比特流。接着，与转换系数相关联的比特流与辅助信息(例如：运动、模式、以及与图像区域相关联的其它信息)一起被打包。辅助信息还可被熵编码以减少所需的带宽。因此，如图1A所示，与辅助信息相关联的数据被提供到熵编码器122。当帧间预测模式被使用时，一个或多个参考图片也必须于编码器端被重建。因此，已转换以及已量化的残差由反量化(Inverse Quantization，IQ)124以及反转换(Inverse Transformation，IT)126来处理以恢复残差。接着，残差被加回到重建(Reconstruction，REC)128的预测数据136中以重建视频数据。重建的视频数据可被储存于参考图片缓冲器134中且被用于预测其它帧。
如图1A所示，输入的视频数据在编码系统中进行了一系列的处理。由于一系列的处理，来自REC 128的重建的视频数据可能会有各种减损(impairment)。因此，于重建的视频数据被储存于参考图片缓冲器134之前，各种环路处理被应用于重建的视频数据以提高视频质量。在HEVC标准已经被开发的情况下，解块滤波器(Deblocking Filter，DF)130以及样本自适应偏置(Sample Adaptive Offset，SAO)131已经被开发出来以增强图片质量。环路滤波器信息可被并入比特流，以使解码器能正确地恢复出所需的信息。因此，来自SAO131的环路滤波器信息被提供到熵编码器122以并入比特流。于图1A中，DF 130首先被应用于重建的视频；且接着SAO 131被应用于已由DF处理的视频。然而，DF以及SAO之间的处理顺序是可以重新安排的。
图1B所示为用于图1A的编码器的对应解码器。视频比特流由视频解码器142解码以恢复已转换以及已量化的残差、DF/SAO信息、以及其它系统信息。于解码器侧，只有MC113被执行，而非ME/MC被执行。解码过程类似于编码器侧的重建环路。已恢复的已转换以及已量化的残差，DF/SAO信息以及其它系统信息被用于重建视频数据。重建的视频进一步由DF 130以及SAO 131处理以产生最终增强的已解码视频。
于HEVC系统中，H.264/AVC中的固定尺寸的宏区块由称为编码单元(coding unit，CU)的可变块(flexible block)来替代。CU中的像素共用相同的编码参数以提升编码效率。CU可以从最大CU(largest CU，LCU)开始，于HEVC中，其也被称为编码树单元(coded treeunit，CTU)。除编码单元的概念以外，HEVC中也引入了预测单元(prediction unit，PU)的概念。当CU分层树的分割被执行，根据预测类型以及PU分区，每个叶CU(leaf CU)可以进一步被分割为多个PU。HEVC中的帧间/帧内预测过程被应用到PU基础(basis)。对于每个2Nx2N叶CU，分区尺寸被选择以用于CU的分区。当帧间模式被选择时，2Nx2N的PU可被分区为2Nx2N、2NxN、或Nx2N的PU。当2Nx2N的PU为帧内编码时，PU可被分区为一个2Nx2N或四个NxN的区块。
虽然，大多数情况下，非重叠运动预测块(non-overlapped motion predictionblock)被用于HEVC实践中，然而在HEVC标准发展过程中也有关重叠运动补偿的提案。重叠块运动补偿(Overlapped Block Motion Compensation，OBMC)是一种在HEVC标准发展过程中被提出的技术。OBMC利用线性最小均方误差(Linear Minimum Mean Squared Error，LMMSE)技术来估计基于由相邻块运动向量(motion vector，MV)导出的运动补偿信号的像素强度值。从推定理论的角度来看，这些MV被认为是对于其真实运动的不同的合理假设，对于最大编码效率来说，它们的权重将最小化对于单元增益约束的均方预测误差。
于JCTVC-C251(Chen,et al,“Overlapped block motion compensation inTMuC”,in Joint Collaborative Team on Video Coding(JCT-VC),of ITU-T SG16 WP3and ISO/IEC JTC1/SC29/WG11 3rd Meeting:Guangzhou,CN,7-15 October,2010,Document:JCTVC-C251)中揭露了HEVC发展过程中的OBMC提案，其中，OBMC被应用于几何分区。于几何分区中，因为两个不同运动向量被用于运动补偿，转换块中很可能包含属于不同分区的像素。因此，位于分区边界的像素可能有很大的不连续性，这会产生类似块效应(blockiness)的视觉失真。因为在转换域的信号能量将向高频广泛地延伸，这反过来又降低了编码效率。由几何分区产生的两个区域被表示为区域1以及区域2。于图2中，之字形线段210指示用于区域1以及区域2的分区线。如果来自区域1(2)的像素的4个相连的相邻(左侧、上侧、右侧、以及底部)像素中的任何一个属于区域2(1)，则来自区域1(2)的此像素被定义为边界像素。图2所示为一个示例，其中，对应于区域1的边界像素由图案220来指示，且区域2的边界像素由图案230来指示。如果像素是边界像素(220或230)，则使用来自两个运动向量的运动预测的加权和(weighted sum)来执行运动补偿。对于使用包含边界像素的区域的运动向量的预测，权重为3/4，对于使用其它的区域的运动向量的预测，权重为1/4。换句话说，位于边界的像素是由对应于两个不同运动向量的两个预测子的加权和来导出。重叠的边界增强了重建视频的视觉质量，也提供了BD率增益。
在HEVC标准发展过程中的另一个OBMC提案于JCTVC-F299(Guo,et al,“CE2:Overlapped Block Motion Compensation for 2NxN and Nx2N Motion Partitions”,inJoint Collaborative Team on Video Coding(JCT-VC),of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,6th Meeting:Torino,14-22 July,2011,Document:JCTVC-F299)中被揭露，其中，OBMC被应用到对称的运动分区。如果CU被分区为两个2NxN或Nx2N分区单元，OBMC被应用于两个2NxN预测块的水平边界以及两个Nx2N预测块的垂直边界。因为这些分区可能具有不同运动向量，分区边界的像素可能具有大的不连续性，其可能会产生视觉失真，并会降低编码效率。于JCTVC-F299中，OBMC被引入以平滑(smooth)运动分区的边界。
图3所示为用于2NxN(图3A)以及Nx2N块(图3B)的OBMC的示例。阴影区域的像素属于分区0，空白区域的像素属于分区1。亮度分量的重叠区域被定义为水平(或垂直)分区边界的每个边上的2行(或列)的像素。对于离分区边界分离1行(或列)的像素，即，图3中被标注为A的像素，OBMC权重因子为(3/4、1/4)。对于离分区边界2行(或列)的像素，即，图3中被标注为B的像素，OBMC权重因子为(7/8、1/8)。对于色度分量，重叠区域被定义为水平(或垂直)分区边界的每个边上的像素的1行(或列)，且权重因子为(3/4、1/4)。
【发明内容】
本发明揭露了视频编码系统中用于导出用于边界像素的运动补偿预测的方法以及装置。本发明的实施例确定当前运动向量(motion vector，MV)以及对应于上方MV(aboveMV)、左侧MV(left MV)、或上方MV以及左侧MV的一个或多个相邻MV。根据当前MV以及由当前MV指向的第一参考图片通过应用运动补偿产生用于当前CU的边界区域的当前边界像素的第一预测子。根据相邻MV以及由相邻MV指向的参考图片通过应用运动补偿产生用于当前边界像素的一个或多个第二预测子。接着，用于当前边界像素的当前边界像素预测子根据权重因子使用第一预测子以及所述一个或多个第二预测子的加权和来产生。
当前CU的边界区域可对应于当前CU的CU边界的多个像素线、像素列、或像素线与像素列两者。当前CU的CU边界的像素线、像素列、或像素线与像素列两者的数量可以被预定义，或或基于CU尺寸或PU尺寸被适应性地确定。权重因子可以被预定义或基于当前边界像素以及左侧或上方CU边界之间的距离被适应性地确定。
当上方MV以及左侧MV被使用时，分别基于上方MV以及左侧MV产生用于当前边界像素的两个第二预测子以形成当前边界像素预测子。备选地，用于当前边界像素的一个第二预测子可以基于由上方MV以及左侧MV中选择的一个相邻MV来产生，且被用于形成第一级当前边界像素预测子。用于当前边界像素的另一第二预测子可基于由上方MV以及左侧MV中选择的其它相邻MV来产生，且被用于形成最终的当前边界像素预测子。第一级当前边界像素预测子可基于上方MV或左侧MV来形成。
运动边界增强(Motion Boundary Enhancement，MBE)预测过程可以一直被执行以用于当前CU，或可被显式地开/关。于当前CU被分区为两个或者更多当前PU时，MBE预测过程可与应用于当前CU的分区边界像素的重叠块运动补偿(Overlapped Block MotionCompensation，OBMC)过程联合使用，MBE预测过程也可单独使用。当前CU包括亮度分量以及至少一个色度分量，且用于亮度分量以及所述至少一个色度分量的权重因子是不同的。在此情况下，用于亮度分量以及色度分量的还可边界区域可以是不同的。上方CU或左侧CU可对应于最小CU。
【附图说明】
图1A所示为与HEVC编码系统相关联的自适应帧间/帧内视频编码器的示例。
图1B所示为与HEVC编码系统相关联的自适应帧间/帧内视频解码器的示例。
图2所示为用于几何分区的重叠块运动补偿(Overlapped Block MotionCompensation，OBMC)的示例。
图3A所示为用于2NxN预测单元(prediction unit，PU)的OBMC的示例。
图3B所示为用于Nx2N预测单元的OBMC的示例。
图4A所示为根据本发明实施例的运动边界增强(Motion Boundary Enhancement，MBE)的示例，其中，上方运动向量以及左侧运动向量与当前运动向量一起被使用以形成用于边界像素的权重预测。
图4B所示为根据本发明实施例的用于MBE的权重因子的示例。
图5所示为根据本发明实施例的细粒度运动边界增强(fine-grained MotionBoundary Enhancement，fg-MBE)的示例，其中，上方运动向量以及左侧运动向量是基于最小编码单元(smallest coding unit，SCU)被确定。
图6所示为根据本发明实施例的并入MBE的视频编码系统的示范性流程图。
【具体实施方式】
于HEVC中，每个编码单元(coding unit，CU)可被分区为一个或多个预测单元。重叠块运动补偿(Overlapped Block Motion Compensation，OBMC)仅被应用于先前所描述的分区边界中。然而，运动不连续性也可能存在于CU边界。因此，本发明揭露了一种被称为运动边界增强(Motion Boundary Enhancement，MBE)的边界像素处理技术以增强CU边界的运动补偿预测。图4所示为根据本发明实施例的示例。于图4A，当前CU边界由粗线410来表示。当执行运动补偿时，位于CU边界的像素将使用来自上边(upper side)的运动向量MV_U_1、左边(left side)的运动向量MV_L_1、或上边以及左边两者的运动向量以及其自身的运动向量MV_X来形成运动预测的加权和。需要注意的是，运动向量MV_U_1是从上边CU(upperCU)导出的第一可用的运动向量，且运动向量MV_L_1是从左边CU(left CU)导出的第一可用的运动向量。众所周知，于HEVC中CU可被分区为多个PU，且每个PU可具有其自身的运动向量。因此，用于CU边界的像素的运动向量(即，MV_X)取决于像素位于哪个PU。
图4B所示为根据本发明实施例的的MBE细节的示例。图4B中的像素A到D对应于重叠的垂直以及水平边界。运动向量MV_U_1以及MV_L_1两者将与运动向量MV_X一起被用于这些像素。对于像素A，用于MV_U_1、MV_L_1以及MV_X的权重因子分别为2/8、2/8、4/8。换句话说，根据MBE的像素A被计算为与三个运动向量(即，MV_U_1、MV_L_1、以及MV_X)相关联的三个预测子的加权和。每个预测子基于相应运动向量使用运动补偿被导出。于三个预测子被导出后，像素A基于三个预测子使用权重因子(2/8、2/8、4/8)来产生。对于像素B，对应权重因子为(2/8、1/8、5/8)。对于像素C，对应权重因子为(1/8、2/8、5/8)。对于像素D，对应权重因子为(1/8、1/8、6/8)。对于被标示为E以及F的像素，仅有MV_U_1将与MV_X一起被使用。对于像素E，用于MV_U_1以及MV_X的权重因子为(2/8、6/8)。对于像素F，权重因子为(1/8、7/8)。对于被标示为G以及H的像素，仅有MV_L_1将与MV_X一起被使用。对于像素G，用于MV_L_1以及MV_X的权重因子为(2/8、6/8)。对于像素H，权重因子为(1/8、7/8)。
以上所揭露的权重因子旨在说明MBE的示例。这些示范性的权重因子不应当被解释为对本发明的限制。本领域技术人员可以使用其它权重因子来实施本发明。权重因子可以被预定义，或基于当前边界像素以及左侧或上方CU边界之间的距离被适应性地确定。例如，较大的权重因子可被用于与CU边界具有较短距离的边界像素。虽然图4B的示例中边界区域包含两个像素线以及两个像素列，不同数量的像素线/列也可用于实施本发明。边界区域的尺寸可以被预定义，或基于CU尺寸或PU尺寸被适应性地确定。例如，多个像素线或列可被用于较大的CU或PU尺寸。
MBE处理可以一直被启用，并被应用于正被编码的视频数据。然而，MBE过程还可被显式地开/关。例如，旗标可被使用以指示用于底层视频数据的MBE过程是开还是关。底层数据可对应于CU、编码树单元(coding tree unit，CTU)、编码树块(coding tree block，CTB)，条带、图片、或序列。MBE还可被应用到视频数据的不同颜色分量。不同的MBE过程可被应用到不同的颜色分量。例如，MBE过程可被应用到亮度分量，而不是色度分量。备选地，MBE过程可被应用于亮度以及色度分量两者。然而，用于不同颜色分量的权重因子是不同的。此外，不同边界区域可被选择以用于不同颜色分量。例如，较少的像素线/列可用于色度分量。
MBE可独立于OBMC被应用。其也可于OBMC过程之前或之后被应用，以用多个运动向量来改善分区边界以及CU边界。此外，其也可与OBMC过程联合(joint)应用以共用处理过程中存取的数据。因此，联合处理可减少存储器存取带宽或减少缓冲器要求。
为了进一步提高编码性能，可使用细粒度运动边界增强(fine-grained MotionBoundary Enhancement，fg-MBE)。图5所示为fg-MBE的示例。于图5中，对于尺寸为8x8的当前CU，来自左侧以及上侧的相邻运动向量是基于4x4的最小编码单元(smallest codingunit，SCU)被导出。于HEVC中所公知的，CU可使用四叉树来分区为更小的CU。当CU达到最小尺寸(即，SCU)时，分区过程可停止。根据HEVC，SCU可为4x4。虽然在图5的示例中所示的当前CU尺寸为8x8，当前CU可对应于其它尺寸(例如，16x16或32x32)。因为对于每个SCU的运动向量可能属于不同的PU或甚至是不同CU，所以运动向量可能会彼此不同。例如，图5中的MV_L_1以及MV_L_2可能会不同。而且，MV_U_1以及MV_U_2可能会不同。由此，所导出的运动信息将更准确，以产生更准确的运动补偿预测子。在一些情况下，用于SCU的运动向量可能是不可用的。例如，SCU为帧内编码或SCU为具有有效MV的边界块。在此情况下，运动补偿预测子可通过数据填补(padding)或使用来自现存预测子的加权和来产生。
图6所示为根据本发明实施例的并入MBE的视频编码系统的示范性流程图。如步骤610所示，输入数据与当前CU相关联，其中当前CU被分区为一个或多个当前PU。与当前CU相关联的输入数据可以从媒体(例如：系统中的RAM或DRAM)中存取。与当前编码单元相关联的输入数据也可直接从处理器(例如：中央处理单元、控制器、或数字信号处理器)接收。于编码器侧，输入数据对应于即将根据运动补偿处理的像素数据。于解码器侧，输入数据对应于运动补偿残差，且解码过程将使用运动补偿预测以及运动补偿残差来重建当前CU。于步骤620中，确定当前MV以及对应于上方MV、左侧MV、或上方MV以及左侧MV的一个或多个相邻MV。上方MV与从上方与当前CU邻接(adjoining)的上方CU相关联，左侧MV与从左侧与当前CU邻接的左侧CU相关联，且当前MV与当前CU相关联。于步骤630中，根据当前MV以及由当前MV指向的第一参考图片通过应用运动补偿产生用于当前CU的边界区域的当前边界像素的第一预测子。于步骤640中，根据所述一个或多个相邻MV以及由所述一个或多个相邻MV指向的一个或多个第二参考图片通过应用运动补偿产生用于当前边界像素的一个或多个第二预测子。于步骤650中，根据权重因子使用第一预测子以及所述一个或多个第二预测子的加权和产生用于当前边界像素的当前边界像素预测子。接着，如步骤660所示，使用包括当前边界像素预测子的预测数据将编码过程(用于编码器)或解码过程(用于解码器)应用于当前CU。
图6所示的示范性流程图为示范的目的。本领域技术人员可以在不脱离本发明的精神的情况下重新排列，合并步骤，或分割步骤来实施本发明。
以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。
如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。
在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (17)

1.一种视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，所述方法包括：
接收与当前编码单元相关联的输入数据，其中，所述当前编码单元被分区为一个或多个当前预测单元；
确定当前运动向量以及对应于上方运动向量、左侧运动向量、或所述上方运动向量以及所述左侧运动向量的一个或多个相邻运动向量，其中，所述上方运动向量与从上方与所述当前编码单元邻接的上方编码单元相关联，所述左侧运动向量与从左侧与所述当前编码单元邻接的左侧编码单元相关联，且所述当前运动向量与所述当前编码单元相关联；所述上方编码单元或所述左侧编码单元对应于最小编码单元；
产生用于所述当前编码单元的运动边界增强预测，其中，所述产生运动边界增强预测的步骤包含：
根据所述当前运动向量以及由所述当前运动向量指向的第一参考图片通过应用运动补偿产生用于所述当前编码单元的边界区域的当前边界像素的第一预测子；
根据所述一个或多个相邻运动向量以及由所述一个或多个相邻运动向量指向的一个或多个第二参考图片通过应用所述运动补偿产生用于所述当前边界像素的一个或多个第二预测子；
根据权重因子使用所述第一预测子与所述一个或多个第二预测子的加权和产生用于所述当前边界像素的当前边界像素预测子；以及
使用包括所述当前边界像素预测子的预测数据将编码或解码应用到所述当前编码单元。
2.如权利要求1所述的视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，所述当前编码单元的所述边界区域对应于位于所述当前编码单元的编码单元边界的多个像素线、像素列、或像素线与像素列两者。
3.如权利要求2所述的视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，所述当前编码单元的所述编码单元边界的所述多个像素线、像素列、或像素线与像素列两者被预定义或基于编码单元尺寸或预测单元尺寸被适应性地确定。
4.如权利要求1所述的视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，所述权重因子被预定义的或基于所述当前边界像素以及左侧或上方编码单元边界之间的距离被适应性地确定。
5.如权利要求1所述的视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，当所述上方运动向量以及所述左侧运动向量被确定时，所述产生用于所述当前边界像素的一个或多个第二预测子的步骤对应于分别基于所述上方运动向量以及所述左侧运动向量产生用于所述当前边界像素的两个第二预测子。
6.如权利要求1所述的视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，当所述上方运动向量以及所述左侧运动向量被确定时，所述产生运动边界增强预测的步骤被执行两次；于第一个所述产生运动边界增强预测的步骤期间，所述产生用于所述当前边界像素的一个或多个第二预测子的步骤对应于基于来自所述上方运动向量以及所述左侧运动向量的一个相邻运动向量产生用于所述当前边界像素的一个第二预测子；以及于第二个所述产生运动边界增强预测的步骤期间，所述产生用于所述当前边界像素的一个或多个第二预测子的步骤对应于基于来自所述上方运动向量以及所述左侧运动向量的另一相邻运动向量产生用于所述当前边界像素的一个第二预测子。
7.如权利要求6所述的视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，所述一个相邻运动向量对应于所述上方运动向量，且所述另一相邻运动向量对应于所述左侧运动向量。
8.如权利要求6所述的视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，所述一个相邻运动向量对应于所述左侧运动向量，且所述另一相邻运动向量对应于所述上方运动向量。
9.如权利要求1所述的视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，所述产生运动边界增强预测的步骤永远被执行以用于所述当前编码单元，或被显式地开/关。
10.如权利要求1所述的视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，还包括：当所述当前编码单元被分区为两个或者更多当前预测单元时，将重叠边界运动补偿应用到所述当前编码单元的分区边界像素。
11.如权利要求1所述的视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，所述当前编码单元包括亮度分量以及至少一个色度分量，且用于所述亮度分量以及所述至少一个色度分量的权重因子是不同的。
12.如权利要求1所述的视频编码系统中用于边界像素的运动补偿预测的方法，其特征在于，所述当前编码单元包括亮度分量以及色度分量，且用于所述亮度分量以及所述色度分量的边界区域是不同的。
13.一种视频编码系统中用于边界像素的运动补偿预测的装置，所述装置包含：
接收与当前编码单元相关联的输入数据的模块，其中，所述当前编码单元被分区为一个或多个当前预测单元；
确定当前运动向量以及对应于上方运动向量、左侧运动向量、或所述上方运动向量以及所述左侧运动向量的一个或多个相邻运动向量的模块，其中，所述上方运动向量与从上方与所述当前编码单元邻接的上方编码单元相关联，所述左侧运动向量与从左侧与所述当前编码单元邻接的左侧编码单元相关联，且所述当前运动向量与所述当前编码单元相关联；所述上方编码单元或所述左侧编码单元对应于最小编码单元；
根据所述当前运动向量以及由所述当前运动向量指向的第一参考图片通过应用运动补偿产生用于所述当前编码单元的边界区域的当前边界像素的第一预测子的模块；
根据所述一个或多个相邻运动向量以及由所述一个或多个相邻运动向量指向的一个或多个第二参考图片通过应用所述运动补偿产生用于所述当前边界像素的一个或多个第二预测子的模块；
根据权重因子使用所述第一预测子以及所述一个或多个第二预测子的加权和产生用于所述当前边界像素的当前边界像素预测子的模块；以及
使用包括所述当前边界像素预测子的预测数据将编码或解码应用到所述当前编码单元的模块。
14.如权利要求13所述的视频编码系统中用于边界像素的运动补偿预测的装置，其特征在于，所述当前编码单元的所述边界区域对应于位于所述当前编码单元的编码单元边界的多个像素线、像素列、或像素线与像素列两者。
15.如权利要求13所述的视频编码系统中用于边界像素的运动补偿预测的装置，其特征在于，所述权重因子被预定义的或基于所述当前边界像素以及左侧或上方编码单元边界之间的距离被适应性地确定。
16.如权利要求13所述的视频编码系统中用于边界像素的运动补偿预测的装置，其特征在于，所述当前编码单元包括亮度分量以及至少一个色度分量，且用于所述亮度分量以及所述至少一个色度分量的权重因子是不同的。
17.如权利要求13所述的视频编码系统中用于边界像素的运动补偿预测的装置，其特征在于，所述当前编码单元包括亮度分量以及色度分量；以及对于所述亮度分量以及所述色度分量，对应于所述当前编码单元的所述编码单元边界的所述边界像素的像素线或像素列的数量是不同的。
CN201480066225.5A 2013-12-06 2014-12-05 视频编码系统中用于边界像素的运动补偿预测方法及装置 Active CN105794210B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361912686P 2013-12-06 2013-12-06
US61/912,686 2013-12-06
PCT/CN2014/093148 WO2015081888A1 (en) 2013-12-06 2014-12-05 Method and apparatus for motion boundary processing

Publications (2)

Publication Number Publication Date
CN105794210A CN105794210A (zh) 2016-07-20
CN105794210B true CN105794210B (zh) 2019-05-10

Family

ID=53272911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480066225.5A Active CN105794210B (zh) 2013-12-06 2014-12-05 视频编码系统中用于边界像素的运动补偿预测方法及装置

Country Status (4)

Country Link
US (1) US11303900B2 (zh)
EP (1) EP3078196B1 (zh)
CN (1) CN105794210B (zh)
WO (1) WO2015081888A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9813730B2 (en) * 2013-12-06 2017-11-07 Mediatek Inc. Method and apparatus for fine-grained motion boundary processing
WO2016175549A1 (ko) * 2015-04-27 2016-11-03 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
CN109792535B (zh) * 2016-05-13 2023-03-28 夏普株式会社 预测图像生成装置、运动图像解码装置以及运动图像编码装置
US10567793B2 (en) 2016-06-06 2020-02-18 Google Llc Adaptive overlapped block prediction in variable block size video coding
US10390033B2 (en) 2016-06-06 2019-08-20 Google Llc Adaptive overlapped block prediction in variable block size video coding
KR102283517B1 (ko) * 2016-11-28 2021-07-29 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20190014324A1 (en) * 2017-07-05 2019-01-10 Industrial Technology Research Institute Method and system for intra prediction in image encoding
BR112020002254A2 (pt) * 2017-08-22 2020-08-04 Panasonic Intellectual Property Corporation Of America codificador de imagem, decodificador de imagem, método de codificação de imagem e método de decodificação de imagem
WO2019045398A1 (ko) * 2017-08-28 2019-03-07 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2019065329A1 (ja) * 2017-09-27 2019-04-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、及び復号方法
KR20200058417A (ko) * 2017-10-16 2020-05-27 디지털인사이트 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019089864A1 (en) * 2017-11-01 2019-05-09 Vid Scale, Inc. Overlapped block motion compensation
CN110720221A (zh) * 2018-02-14 2020-01-21 北京大学 运动补偿的方法、装置和计算机系统
WO2019165162A1 (en) * 2018-02-26 2019-08-29 Interdigital Vc Holdings, Inc. Method and apparatus for generalized obmc
US20190387251A1 (en) * 2018-06-19 2019-12-19 Mediatek Inc. Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
WO2020008325A1 (en) * 2018-07-01 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Improvement of interweaved prediction
CN111131822B (zh) * 2018-10-31 2023-08-01 北京字节跳动网络技术有限公司 具有从邻域导出的运动信息的重叠块运动补偿
CN111418208B (zh) 2018-11-06 2023-12-05 北京字节跳动网络技术有限公司 用于几何分割的权重推导
CN113841408B (zh) * 2019-05-17 2024-02-06 北京字节跳动网络技术有限公司 用于视频处理的运动信息确定和存储
CN115361550A (zh) * 2021-02-22 2022-11-18 北京达佳互联信息技术有限公司 用于帧间预测的改进重叠块运动补偿
CN113596474A (zh) * 2021-06-23 2021-11-02 浙江大华技术股份有限公司 图像/视频编码方法、装置、系统及计算机可读存储介质
WO2022267654A1 (en) * 2021-06-23 2022-12-29 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image prediction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1175920A1 (en) * 2000-07-27 2002-01-30 Board Of Regents, The University Of Texas System Therapeutic ultrasound apparatus for enhancing tissue perfusion
CN101309405A (zh) * 2007-05-14 2008-11-19 华为技术有限公司 参考数据载入的方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466032B2 (ja) 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
KR101044934B1 (ko) * 2003-12-18 2011-06-28 삼성전자주식회사 움직임 벡터 추정방법 및 부호화 모드 결정방법
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
US8681867B2 (en) * 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
JP5887764B2 (ja) 2011-08-29 2016-03-16 株式会社Ｊｖｃケンウッド 動き補償フレーム生成装置及び方法
US9883203B2 (en) * 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US10230980B2 (en) * 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
US10939118B2 (en) * 2018-10-26 2021-03-02 Mediatek Inc. Luma-based chroma intra-prediction method that utilizes down-sampled luma samples derived from weighting and associated luma-based chroma intra-prediction apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1175920A1 (en) * 2000-07-27 2002-01-30 Board Of Regents, The University Of Texas System Therapeutic ultrasound apparatus for enhancing tissue perfusion
CN101309405A (zh) * 2007-05-14 2008-11-19 华为技术有限公司 参考数据载入的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Robust Video Super-resolution Based on Adaptive Overlapped Block Motion Compensation;GE JING ET AL;《2013 INTERNATIONAL CONFERENCE ON SIGNAL-IMAGE TECHNOLOGY & INTERNET-BASED SYSTEMS》;20131202;全文 *
Motion-Compensated Frame Interpolation Using Bilateral Motion Estimation and Adaptive Overlapped Block Motion Compensation;BYEONG-DOO CHOI ET AL;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20070401;第17卷(第4期);第3章第A、B、C、D节，图3、5 *

Also Published As

Publication number Publication date
EP3078196A1 (en) 2016-10-12
EP3078196B1 (en) 2023-04-05
EP3078196A4 (en) 2017-03-29
WO2015081888A1 (en) 2015-06-11
CN105794210A (zh) 2016-07-20
US20160295215A1 (en) 2016-10-06
US11303900B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN105794210B (zh) 视频编码系统中用于边界像素的运动补偿预测方法及装置
JP7359878B2 (ja) 変換スキップモードにおける量子化パタメータの修正技術
US10009612B2 (en) Method and apparatus for block partition of chroma subsampling formats
US10313705B2 (en) Method and apparatus for pre-prediction filtering for use in block-prediction techniques
EP2859726B1 (en) Methods for intra transform skip mode
WO2018036447A1 (en) Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
EP3051815B1 (en) Apparatus for decoding an image
TWI749584B (zh) 具有自適應色彩轉換技術之視訊資料編碼或解碼方法和裝置
KR102227411B1 (ko) 거리 가중 양지향성 인트라 예측
KR20170071594A (ko) 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법
US20160323594A1 (en) Method and Apparatus for Major Color Index Map Coding
US9813730B2 (en) Method and apparatus for fine-grained motion boundary processing
WO2019205998A1 (en) Methods and apparatus of alternative transform skip mode for image and video coding
US20150256827A1 (en) Video encoding device, video decoding device, video encoding method, and video decoding method
CN113228638B (zh) 在区块分割中条件式编码或解码视频区块的方法和装置
KR20170125154A (ko) 곡선 화면 내 예측을 사용하는 비디오 복호화 방법 및 장치
CN110771166B (zh) 帧内预测装置和方法、编码、解码装置、存储介质
CN108028924B (zh) 用于编码/解码图像的方法及其装置
WO2023207511A1 (en) Method and apparatus of adaptive weighting for overlapped block motion compensation in video coding system
KR20130090846A (ko) 깊이 영상 복호화 방법 및 장치
TW202341732A (zh) 視訊編解碼方法和裝置
KR20130083314A (ko) ＬＣＵ ｂｏｕｎｄａｒｙ에서의 ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒｉｎｇ 방법
KR20190065620A (ko) 양방향 필터를 사용하는 비디오 코딩 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant