CN110800302A - 用于视频编解码的帧内-帧间预测的方法及装置 - Google Patents

用于视频编解码的帧内-帧间预测的方法及装置 Download PDF

Info

Publication number
CN110800302A
CN110800302A CN201880036728.6A CN201880036728A CN110800302A CN 110800302 A CN110800302 A CN 110800302A CN 201880036728 A CN201880036728 A CN 201880036728A CN 110800302 A CN110800302 A CN 110800302A
Authority
CN
China
Prior art keywords
intra
predictor
inter
current block
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880036728.6A
Other languages
English (en)
Inventor
赖贞延
陈庆晔
徐志玮
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN110800302A publication Critical patent/CN110800302A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开一种视频编解码的方法及装置。依据一种方法，当前块中的边界区域被确定。对于边界区域中的每个像素，帧内预测子和帧间预测子可以被推导出。透过混合帧内预测子和帧间预测子，帧内‑帧间预测子被生成。使用帧内‑帧间预测子，当前块的边界区域中的像素被编码或解码。对于当前块中不属于边界区域的剩余像素，使用帧间预测子或帧内预测子，这些像素被编码或解码。在另一方法中，透过将帧内加权因子与帧间加权因子之和缩放成2的幂，帧内‑帧间预测流程被实现，以避免除法操作的需要。在又一方法中，帧内‑帧间预测基于当前块尺寸被应用。

Description

用于视频编解码的帧内-帧间预测的方法及装置
交叉申请
本申请主张2017年1月7日申请的美国临时专利申请62/516,157的优先权，该申请的全文被本申请引用。
技术领域
本申请涉及视频编解码帧间预测。具体而言，本申请涉及一种透过混合帧间与帧内预测的新的帧间预测。
背景技术
视频数据需要较大的存储空间来存储或者较宽的带宽来传输。随着较高分辨率和较高帧率的增长，如果视频数据以未压缩的形式被存储或传输，则存储或传输带宽需求将是巨大的。因此，使用视频编解码技术，视频数据通常以已压缩的格式被存储或传输。使用较新的视频压缩格式，例如，H.264/AVC标准和高效视频编解码(High Efficiency VideoCoding，HEVC)标准，编解码效率实际上已被提高。为了保持可控的复杂度，图像通常被分割成块，例如，宏块(macroblock，MB)或最大编码单元(LCU)/编码单元(CU)，以用于视频编解码。视频编解码标准通常基于块适应性采用帧间/帧内预测。
图1示出了集成环路处理的示例性适应性帧间/帧内视频编解码系统。对于帧间预测，运动估计(Motion Estimation，ME)/运动补偿(Motion Compensation，MC)112用于基于来自于一个或多个其他图像的视频数据提供预测数据。开关114选择帧内预测110或帧间预测数据，所选择的预测数据被提供给加法器116，以形成预测误差，也称为残差。随后，预测误差，先由变换(Transform，T)118进行处理，后由量化(Quantization，Q)120进行处理。随后，已变换且已量化残差由熵编码器122进行编解码，以被包含在对应于已压缩视频数据的视频比特流中。随后，与变换系数相关的比特流与辅助信息一起被封装，例如，运动、编解码模式和与图像区域相关的其他信息。辅助信息，例如，帧间预测数据、运动信息和环路滤波器信息，也可以透过熵编码进行压缩，以降低所需带宽。因此，如图1所示，与辅助信息相关的数据被提供给熵编码器122。当帧间预测模式被使用时，一个或多个参考图像也必须在编码器端被重构。因此，已变换且已量化残差由逆量化(Inverse Quantization，IQ)124和逆变换(Inverse Transformation，IT)126进行处理，以恢复残差。随后，残差在重构(Reconstruction，REC)128处与预测数据136相加，以重构视频数据。已重构视频数据可以被存储在参考图像缓存器134中，并用于其他帧的预测。
如图1所示，在编码系统中，输入的视频数据经历一系列处理。由于一系列的处理，来自于重构128的已重构视频数据可能经受不同的损坏。因此，环路滤波器130通常在已重构视频数据被存储到参考图像缓存器134之前被应用于已重构视频数据，以便提高视频质量。例如，去块(deblocking filter，DF)滤波器和样本适应性偏移(Sample AdaptiveOffset，SAO)已在高效视频编解码(High Efficiency Video Coding，HEVC)标准中使用。滤波器信息可以必须被包括在比特流中，使得解码器可以适当地恢复所需信息。因此，环路滤波器信息被提供给熵编码器122以包含在比特流中。在图1中，在已重构样本被存储在参考图像缓存器134之前，环路滤波器130被应用于已重构视频。图1中的系统旨在示出典型的视频编码器的示例性结构。
在帧内预测中，当前块由来自于空间相邻块的先前已解码边界样本预测。对于HEVC，存在33种不同的角度模式、DC模式和平面模式，以用于从4x4到32x32的块尺寸。下一代视频编解码正被开发以进一步提高编解码效率，其公开了改进的帧内预测。例如，在JEM-6(Chen et al.,“Algorithm Description of Joint Exploration Test Model 6(JEM6)”,Joint Video Exploration Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC1/SC 29/WG 11,6th Meeting:Hobart,AU,31March–7April 2017,Document:JVET-F1001)中，公开了更细粒度任意方向帧内预测，其中67种帧内预测模式被使用，包括平面模式、DC模式和65种角度模式。下一代视频编解码所支持的编码单元被扩大到265x256。
在帧间预测中，每个块将试图在一个或多个先前已编码帧(称为参考帧)中，查找相似块，运动信息将被发信或推导出。在HEVC中，运动信息通常包括水平运动向量平移值和垂直运动向量平移值，一个或两个参考图像索引如果是在B片段中的预测区域的情况，以及哪个参考图像列表与每个索引相关的标识。
在HEVC中，帧间预测也包括合并模式，以继承来自于空间或时间相邻块的运动信息。合并候选列表在编码器端和解码器端被保持。自列表选择的候选可以由合并索引表示，而无需发信运动信息。其被称为合并模式，是因为其形成合并区域以共享所有运动信息。合并模式相似于AVC中的直接模式和跳过模式。
在下一代视频编解码中，不同的帧间预测技术已被公开，以提高编解码效率的性能。例如，在VCEG-AZ07(Chen et al.,“Further improvements to HMKTA-1.0”,VideoCoding Experts Group(VCEG)of ITU-T SG16 Q,2015)中，公开了基于模型的MV推导(pattern-based MV derivation，PMVD)方法。PMVD方法在VCEG-AZ07中也称为帧率向上转换(Frame Rate Up Conversion，FRUC)。FRUC包括用于双向预测块的双边匹配和用于单向预测块的模板匹配。依据PMVD(又称为FRUC)推导的预测子可以被插入到合并列表中，作为另一候选。
图2示出了帧率向上转换(Frame Rate Up Conversion，FRUC)双向匹配模式的示例，其中基于两个参考图像，当前块210的运动信息被推导出。透过在两个不同参考图像(即Ref0和Ref1)中沿着当前块的运动轨迹240查找两个块(即220和230)之间的最佳匹配，当前块的运动信息被推导出。在连续运动轨迹的假设下，指向两个参考块的与Ref0相关的运动向量运动向量MV 0和与Ref1相关的运动向量运动向量MV 1将与当前图像(即Cur pic)和两个参考图像Ref0和Ref1之间的时间距离，即TD0和TD1成比例。
图3标出了模板匹配FRUC模式的示例。当前图像(即Cur pic)中的当前块310的相邻区域(即320a和320b)用作模板，以与参考图像(即图3中的Ref0)中的相应模板(即330a和330b)匹配。模板320a/320b与模板330a/330b之间的最佳匹配将确定解码器侧推导运动向量340。虽然图3中显示了Ref0，但是Ref1也可以用作参考图像。
在HEVC中，仅平移运动模型被应用于运动补偿预测(motion compensationprediction，MCP)。虽然在实际世界中，存在很多种运动，例如，放大/缩小、旋转、透视运动和其他非常规运动。仿射模型能描述二维块选择和二维变形，以将方形(或长方形)变换成平行四边形。此模型可以被描述成如下：
x′＝ax+by+θ，
y′＝cx+dy+f. (1)
在此模型中，总共6个参数(即，a、b、c、d、e和f)被使用。对于感兴趣区域中的每个像素A(x，y)，使用块的运动向量场(motion vector field，MVF)，此像素与其相应参考像素A’(x’，y’)之间的运动向量可以被推导出。
在下一代视频编解码中，简化的仿射变换运动补偿预测被应用，以便提高编解码效率。块的仿射运动场由与两个控制点相关的运动向量描述，仿射模型仅使用4个参数，而不是6个。
除了PMVD和仿射运动模型，其他改进的帧间预测技术，例如，空间-时间运动向量预测(spatial-temporal motion vector prediction，STMVP)和不同的基于子预测单元的运动向量预测，也被提出到下一代视频编辑码。
在本申请中，新的帧间预测模式被公开，其组合帧内预测模式与帧间预测模式。
发明内容
本申请公开了视频编解码的方法及装置，其由视频编码器或视频解码器执行。依据一种方法，当前块中的边界区域被确定。对于边界区域中的每个像素，自多个帧内参考像素推导出帧内预测子；也在参考图像中推导出包括位于参考块中的多个帧间参考像素的帧间预测子；透过混合帧内预测子和帧间预测子，生成帧内-帧间预测子；以及使用帧内-帧间预测子，编码或解码边界区域像素。参考块先于当前块被编解码。多个帧内参考像素在当前图像中位于当前块的顶端边界之上或位于当前块的左侧边界的左侧。帧内参考像素先于当前块被编解码。对于当前块中不属于边界区域的多个剩余像素，使用帧间预测子或帧内预测子，多个剩余像素被编码或解码。
在一个实施例中，边界区域对应于靠近多个帧内参考像素的当前块的前N列和靠近多个帧内参考像素的当前块的前N行中的至少一个，其中N为大于0的整数。N可以为预定义的，或者基于当前块的尺寸发信的。与位于当前块的第一列或第一行处的最大梯度相关的位置可以是基于帧内预测子或帧间预测子，或者帧内预测子与帧间预测子之间的差推导出的，位置用于确定N的值。可选地，与位于当前块的第一列或第一行处的最大梯度相关的位置可以是基于帧内预测子或帧间预测子，或者帧内预测子与帧间预测子之间的差推导出的，且如果最大梯度实质上(substantially)大于为当前块的第一列或第一行所计算的多个垂直梯度和多个水平梯度的平均梯度，则位置用于确定N的值，否则默认值用于N。当最大梯度大于某一数量或百分比，其可以被考虑成“实质上”。例如，当最大梯度50％大于平均梯度，其被考虑为“实质上”。在另一情况中，与帧内预测子与多个相邻已重构像素之间、帧间预测子与多个相邻已重构像素之间或者帧间预测子与帧内预测子之间的最大差相关的位置可以被推导出，或者帧间预测子与帧内预测子之间，且位置用于确定N的值。当前块中不属于边界区域的剩余像素使用帧间预测子被编码或解码。
在一个实施例中，在当前块中确定边界区域包括：基于帧间预测子、帧内预测子或帧内预测与帧间预测子之间的差值，在当前块中检测模型边缘，且边界区域是依据模型边缘确定的。检测多个模型边缘可以包括：依据与帧内预测子相关的帧内预测模式是靠近垂直方向还是水平方向，基于用于每行或每列的帧间预测子、帧内预测子或帧内预测子与帧间预测子之间的差值，计算最大梯度。边界区域可以包括每行或每列中的一个边缘像素。边界区域还可以包括与当前块的同一行或同一列中的一个边缘像素相邻的任何相邻像素。边界区域还可以包括位于当前行或列中的当前边缘像素与先前行或列中的先前边缘像素之间的当前行或列中的任何额外像素。对于当前块中不属于边界区域的目标像素，如果目标像素位于与目标像素相同的行或列中的一个边缘像素之上或左侧，则目标像素可以使用帧内预测子被编码或解码。对于当前块中不属于边界区域的目标像素，如果目标像素位于与目标像素相同的行或列中的一个边缘像素之下或右侧，则目标像素可以使用帧间预测子被编码或解码。
本申请还公开了另一种视频编解码的方法及装置，其由视频编码器或视频解码器执行。在帧内预测子和帧间预测子被推导出之后，帧内预测子和帧间预测子的加权之和被生成，其中生成帧内预测子和帧间预测子的加权之和包括：将已加权帧内预测子与已加权帧间预测子进行相加，其中已加权帧内预测子是透过将帧内预测子乘以帧内加权因子而推导出的，且已加权帧间预测子是透过将帧间预测子乘以帧间加权因子而推导出的，帧内加权因子与帧间加权因子之和被缩放成2的幂。透过将右移操作应用于帧内预测子与帧间预测子的加权之和，已归一化帧内-帧间预测子被生成。随后，当前块使用已归一化帧内-帧间预测子被编码或解码。偏置可以被添加到已加权帧内预测子与已加权帧间预测子之和。
本申请还公开了又一种视频编解码的方法及装置，其由视频编码器或视频解码器执行。依据此方法，如果当前块的尺寸大于最大块尺寸或小于最小块尺寸，则禁能用于当前块的帧内-帧间预测模式。
本发明公开了一种用于由视频编码器或解码器执行的视频编码或解码的方法和装置，视频编码器或视频解码器集成具有多个方向帧内预测模式的帧内预测的编解码工具。根据本发明，当帧内预测模式是方向模式时，基于帧内预测模式来确定一个或多个编解码工具设定，使得不需要显性信令基于帧内预测模式所确定的一个或多个编解码工具设定。在编码器侧，将帧内预测和编解码工具应用于当前块以生成当前块的帧内预测残差或已变换帧内预测残差。在解码器侧，将帧内预测和编解码工具应用于帧内预测残差或已变换帧内预测残差以生成已重构当前块。根据当前帧内预测模式来应用帧内预测，并且根据一个或多个目标设置来应用编解码工具。
附图说明
图1示出了集成环路处理的示例性适应性帧间/帧内视频编解码系统。
图2标出了FRUC双边匹配模式的示例，其中当前块的运动信息基于两个参考图像被推导出。
图3标出了模板匹配FRUC模式的示例，其中当前图像中的当前块的相邻区域被用作模板，以与参考图像中的相应模板匹配。
图4示出了依据本发明实施例的示例性编码器的结构示意图，其中编码器在帧内模式、帧间模式和帧内-帧间模式中进行选择以编码输入视频。
图5标出了透过组合具有加权系数的帧内预测子和帧间预测子生成帧内-帧间预测子的示例。
图6标出了依据角度模式的加权系数选择的一个示例，其中所有角度模式被分为两组，每组使用具有四个系数带的相应加权块。
图7标出了依据角度模式的加权系数选择的另一示例，其中帧内模式由其预测方向分组成五组，每组使用其自身的加权块。
图8标出了在帧内模式为对角线模式时依据当前样本与参考样本(810和812)之间的距离调节加权系数的示例。
图9示出了依据一个实施例的推导出用于帧内-帧间预测的边界区域的示例。
图10示出了依据本发明实施例的使用帧内-帧间预测的视频编解码系统的一个示例性流程图，其中帧内-帧间预测仅被应用于边界区域。
图11示出了依据本发明实施例的使用帧内-帧间预测的视频编解码系统的另一示例性流程图，其中帧内加权因子与帧间加权因子之和被缩放成2的幂次，以避免除法操作的需要。
图12示出了依据本发明实施例的使用帧内-帧间预测的视频编解码系统的又一示例性流程图，其中帧内-帧间预测基于当前块尺寸被应用。
具体实施方式
以下描述为本发明的较佳实施例。以下实施例仅用来举例阐释本发明的技术特征，并非用以限定本发明。本发明的保护范围当视权利要求书所界定为准。
在传统的编解码系统中，块以帧内预测模式被编解码，或者以帧间预测模式被编解码。在本申请中，公开了已组合帧内预测与帧间预测模式，以用于视频压缩中的帧间图像。在本申请中，也公开了帧内-帧间模式的发信。帧内-帧间模式可以被应用于子块分割(例如，预测单元(prediction unit，PU)和变换单元(transform unit，TU))。与所提出的帧内-帧间预测模式相关的子块(即编码单元、预测单元和变换单元)层发信也被公开了。此外，也公开了与新的帧内-帧间预测模式相关的不同方面，例如，调节用于帧内-帧间的帧内模式的数量，修改用于帧内预测子和帧间预测子的加权系数以及在高层语法中控制帧内-帧间模式的参数或开启/关闭。
帧内-帧间模式
帧内-帧间模式是一种新的模式，其组合帧内模式和帧间模式以形成新的帧间预测。在如图4所示的一个示例性编码器的结构示意图中，编码器400在帧内模式、帧间模式和帧内-帧间模式中进行选择以编码输入视频410。当帧内模式被选择时，帧内预测412用于生成预测子。当常规帧间模式被使用时，运动估计/补偿414被应用于当前块。当帧内-帧间模式被使用时，运动估计/补偿以及帧内预测416被应用于当前块。使用加法器418，预测子(即帧内预测子、帧间预测子或帧内-帧间预测子)自当前块提取，以形成残差。随后，残差由变换与量化420进行处理，以形成已量化变换系数，其还由熵编解码模块440进行处理，以生成比特流。在视频编码器侧，已重构图像必须被生成且存储为参考图像以用于帧间预测。因此，编码器也包括逆量化与逆变换422，以形成已重构残差。已重构残差利用加法器424与预测子相加，以形成已重构信号。为了降低编解码伪影，诸如去块滤波器430和样本适应性偏移432的滤波器被应用于已重构图像。已解码图像缓存器434用于将已滤波且已重构图像存储为参考图像。在编码器侧，其将被发信以表示当前块是否以帧内模式、帧间模式或帧内-帧间模式被编解码。在解码器侧，其将推导或解析出用于当前块的编解码模式。当当前块使用帧内-帧间模式时，帧内编解码信息(例如，帧内模式)和帧间编解码信息(例如，参考图像索引、运动向量、单向预测或双向预测)将在编码器侧被发信，或者在解码器侧被推导出。
在另一实施例中，帧内-帧间模式可以被处理为帧间预测分支下的特定帧间模式。当当前块以帧间预测模式被编解码时，标志将在编码器侧被发信，或在解码器侧被推导出，以表示当前预测块是否为常规帧间模式或帧内-帧间模式。当当前块使用帧内-帧间模式时，帧内编解码信息(例如，帧内模式)和帧间编解码信息(参考列表索引、运动向量、双向预测或单向预测)将在编码器侧被发信或在解码器被推导出。
在另一实施例中，帧内-帧间模式可以被处理为帧内预测分支下的特定帧内模式。当当前块以帧内预测模式被编解码时，标志将在编码器侧被发信，或在解码器侧被推导出，以表示当前预测块是否为常规帧内模式或帧内-帧间模式。当当前块使用帧内-帧间模式时，帧内编解码信息(例如，帧内模式)和帧间编解码信息(参考列表索引、运动向量、双向预测或单向预测)将在编码器侧被发信或在解码器被推导出。
帧内-帧间预测子生成
在所提出的方法中，对于每个块，将存在帧内预测子和帧间预测子。如图5所示，帧内预测子将与具有加权系数的帧间预测子进行组合，以生成新的预测子。在图5中，帧内预测子510与帧间预测子520进行组合，以形成已组合帧内-帧间预测子530。
在本申请中，帧内预测意味着自同一图像中的当前块的相邻边界推导出的预测子，可以存在关于相邻像素如何用于预测当前块的很多变量。在一实施例中，当前图像可以使用传统的HEVC帧内模式。在另一实施例中，当前图像可以使用如JVET-F1001中公开的JEM中所公开的更高级的帧内预测。在另一实施例中，当前块可以使用角度帧内模式中的更少的方向。在另一实施例中，基于相邻块的已滤波样本或未滤波样本，当前块可以推导出帧内预测子，且帧内预测子还可以透过滤波当前块的样本而被细化。
在本申请中，帧间预测意味着预测子来自于先前帧，其可以为常规帧间模式预测子、合并模式预测子、FRUC模式预测子、仿射模式预测子或来自于先前帧的其他预测子。
帧内-帧间模式的发信
在此部分中，帧内-帧间模式的发信被公开。
在一示例中，帧内-帧间模式被处理为帧间预测模式。在这种情况中，当当前块以帧间预测被编解码时，标志用于表示其是否以帧内-帧间预测被编解码。如果是帧内-帧间模式，则帧内信息将被发信；以及帧间信息(即，运动信息)也在编码器侧被发信或在解码器侧被推导出。否则，仅帧间信息被发信或推导出。表1中提供基于HEVC语法的示例性语法设计。
表1预测单元层处的帧内-帧间模式的语法示例
Figure BDA0002298839690000101
在表1中，对于跳过模式，标志(即intra_inter_mode_flag)被使用(如注释(1-1a)所示)，以表示帧内-帧间模式是否用于当前预测单元。intra_inter_mode_flag的值被检测以确定此值是否被设置为1(即如注释(1-2a)所示的“if(intra_inter_mode_flag)”)。如果此值被设置为1，如注释(1-3a)所示的语法元素intra_pred_mode用于表示帧内预测信息。相似说明被包括在用于合并模式(如注释(1-1c)、注释(1-2c)和注释(1-3c)所示)和单向预测模式和双向预测模式(如注释(1-1b)、和注释(1-2b)所示)的语法表格中。在上述示例中，intra_inter mode_flag可以是上下文编解码的或旁路编解码的。其可以使用一个上下文、两个上下文或三个上下文。
在使用两个上下文编解码帧内-帧间标志的情况中，如果上方块和左侧块中的任何一个使用帧内-帧间模式，则上下文0被选择；否则，上下文1被选择。在使用三个上下文编解码帧内-帧间标志的情况中，如果上方块和左侧块均不使用帧内-帧间模式，则上下文0被选择；如果上方块和左侧块中的一个使用帧内-帧间模式，则上下文1被选择；以及如果上方块和左侧块均使用帧内-帧间模式，则上下文2被选择。
帧内-帧间模式的加权系数
当组合帧内模式和帧间模式时，不同的加权可以被应用于帧内预测子和帧间预测子。设w_Intra和w_Inter表示用于帧内模式和帧间模式的加权系数。帧内-帧间预测子可以依据如下被推导出：
Pred＝w_Intra*Pred_Intra+w_Inter*Pred_Inter (2)
在上述方程式中，Pred为已组合预测子，Pred_Intra为帧内预测子，Pred_Inter为帧间预测子，且w_Intra+w_Inter＝1。
在一实施例中，加权系数与帧内模式方向相关。例如，w_Intra可以沿着帧内模式方向减小。另一方面，w_Inter可以沿着帧内模式方向增大。
在一示例中，如果样本大部分由上方参考像素预测(即帧内预测方向靠近垂直模式)，则帧内预测子的加权(w_Intra)逐行正向下方向逐列减小。如果样本大部分由左侧参考像素预测(即帧内预测方向靠近水平模式)，则帧内预测子的加权(w_Intra)正向右方向逐列减小。如果帧内模式为DC模式或平面模式，则w_Intra被设置为0.5，且w_Inter也被设置为0.5以用于整个块。在另一示例中，w_Intra和w_Inter可以为其他数值。例如，w_Intra与w_Inter之和可以为除了1之外的值。然而，如果帧内模式为DC模式或平面模式，w_Intra和w_Inter仍然等于1。图6标出了依据角度模式的加权系数选择的示例。
在图6中，所有角度模式610被分成两组，其中具有更靠近垂直模式的预测方向的所有角度帧内模式被分类为垂直组612，具有更靠近水平模式的预测方向的所有角度帧内模式被分类为水平组613。如果块由属于垂直组的帧内模式而被帧内编解码，则帧内加权集620被使用，逐行其中帧内加权逐列被分成具有从w_Intra1到w_Intra4减小的加权的四个带(即w_Intra1到w_Intra4)。如果块由属于水平组的帧内模式而被帧内编解码，则帧内加权集630被使用，其中帧内加权逐列被分成具有从w_Intra1到w_Intra4减小的加权的四个带(即w_Intra1到w_Intra4)。
在上述示例中，对于四个帧内预测子加权系数(w_Intra1,w_Intra2,w_Intra_3和w_Intra4)，帧间预测子加权系数(即w_Inter1,w_Inter2,w_Inter_3,和w_Inter4)可以依据如下被推导出：w_Inter1＝1-w_Intra1,w_Inter2＝1-w_Intra2,w_Inter3＝1-w_Intra3，以及w_Inter4＝1-w_Intra4。在本示例中，对于帧内加权的4个样本带，存在4个加权系数，其自靠近参考像素的边界向远离参考像素的边界减小。在另一实施例中，对于每个块，可以存在N个加权系数，其中N为大于1的整数。在另一实施例中，对于更大的块尺寸，更大数量的加权系数可以被使用(即，更多加权系数可以被选择以用于推导帧内-帧间预测子)，并且对于更小的块尺寸，更小数量的加权系数可以被使用。在另一实施例中，对于每组，具有相同系数的区域可以是非线性的，意味着每个区域的宽度无需是相同的。
在另一示例中，帧内模式由其预测方向进行分组。例如，帧内模式可以被分成5组，其对应于图7中的垂直组(标记为组A)、水平组(标记为组B)、对角线组(标记为组C)、垂直对角线组(标记为组D)和模式2组(标记为组E)。对于HEVC或下一代视频编解码中的帧内预测已知，模式2对应于右上对角线预测方向。如果帧内方向靠近垂直模式712(即组A)，则帧内预测子加权720被使用，其向下逐行减小。如果帧内方向靠近水平模式713(即组B)，则帧内预测子加权730被使用，其向右方向逐列减小。如果帧内方向靠近对角线模式714(即组C)，则帧内预测子加权740被使用，其向右下对角线方向减小。如果帧内方向靠近垂直对角线模式(vertical-diagonal mode，VDIA)715(即组D)，则帧内预测子加权750被使用，其向左下对角线方向减小。如果帧内方向靠近模式2 716(即组E)，则帧内预测子加权760被使用，其向右上对角线方向减小。如果帧内模式为DC模式或平面模式，则被设置为0.5以用于整个块。在另一实施例中，w_Intra和w_Inter可以为其他数值。例如，如果帧内模式为DC模式或平面模式，则w_Intra和w_Inter可以为除了1之外的值，而w_Intra与w_Inter之和仍然等于1。
在图7中，w_Intra1,w_Intra2,w_Intra_3和w_Intra4为用于样本带的帧内预测子加权系数。帧间预测子加权系数(即w_Inter1,w_Inter2,w_Inter_3和w_Inter4)可以依据如下被推导出：w_Inter1＝1-w_Intra1,w_Inter2＝1-w_Intra2,w_Inter3＝1-w_Intra3,以及w_Inter4＝1-w_Intra4。在本示例中，存在4个加权系数，其自靠近参考像素的边界向远离参考像素的边界减小。在另一实施例中，对于每个块，可以存在N个加权系数，其中N为大于1的整数。在另一实施例中，对于更大的块尺寸，更大数量的加权系数可以被使用(即，更多加权系数可以被选择以用于推导帧内-帧间预测子)，并且对于更小的块尺寸，更小数量的加权系数可以被使用。在另一实施例中，对于每组，具有相同系数的区域可以是非线性的，意味着每个区域的宽度无需是相同的。
在又一实施例中，加权系数与当前像素与参考像素之间的距离相关。当帧内模式为角度模式时，如果当前像素靠近参考像素，则帧内预测子具有比帧间预测子更大的加权。当帧内模式为角度模式时，如果当前像素远离参考像素，则帧间预测子具有比帧内预测子更大的加权。当帧内模式为DC模式或平面模式时，w_Intra和w_Inter均被设置为0.5以用于整个块。在又一实施例中，w_Intra和w_Inter可以为其他数值。例如，如果帧内模式为DC模式或平面模式，则w_Intra和w_Inter可以为除了1之外的值，而w_Intra与w_Inter之和仍然等于1。
图8标出了在帧内模式为对角线模式时依据当前样本(由区域820表示)与参考样本(810和812)之间的距离调节加权系数的示例。在图8中，S_r对应于参考样本，S_p对应于已预测样本。S_p与S_r之间的距离由D表示。帧内预测加权w_Intra可以被表示为D的函数。例如，可以被计算为如下：
w_intra(D)＝a*D2+b (3)
在上述方程式中，a和b为正整数。a和b的值可以透过训练来确定，且可以在序列参考集(Sequence Parameter Set，SPS)、图像参数集(Picture Parameter Set，PPS)、片段头处被发信或在编码器侧和解码器侧被硬编解码。同样，当D更小时，w_intra应更大。参考样本与当前样本之间的距离越近，w_intra将越大。
在另一实施例中，帧内预测加权w_intra可以由其他函数表示。
在一实施例中，加权参数可以被使用以调节每个帧的w_intra。此参数可以在序列参考集、图像参数集或片段头处被发信。新的预测子将由如下方程序计算：
Pred＝w_Intra*Adjustment_Intra*Pred_Intra+(1-w_Intra*Adjustment_Intra)*Pred_Inter (4)
Adjustment_Intra参数可以自先前帧推导出。推导帧内预测加权系数的不同方式已在前面描述了，其可以被应用于上述方程式。
帧内-帧间模式的边缘检测
依据本方法，如果近似模型边缘可以被检测到，则帧内预测子和帧间预测子的加权系数可以适应性地被确定。在一实施例中，帧间预测子可以被使用以检测模型边缘。首先，帧间预测子的垂直梯度和水平梯度被计算(例如，垂直方向上的帧间预测子之间的差可以被使用以推导出垂直梯度，且水平方向上的帧间预测子之间的差可以被使用以推导出水平梯度)，随后，这两个梯度被平均以用于下一流程。如果帧内预测模式靠近垂直模式，则每行的具有最大值的样本被选择。为了简便，在本发明中，每行的具有最大值的像素被称为边缘像素。对于此行中位于具有最大值的此样本(即边缘像素)之上的其他样本，仅帧内预测子被使用，无需混合流程；以及对于此同一行中位于具有最大值的此样本(即边缘像素)之下的这些样本，仅帧间预测子被使用于帧间-帧内预测。接下来，为了降低使用帧内预测子或使用帧间预测子处理的样本之间的不连续性，混合流程被应用于围绕具有最大值的边界样本(即边缘像素)的这些像素。为了简便，边缘像素和围绕边缘像素的像素被称为边界区域像素。包括边界区域像素的区域被称为边界区域。如果帧内预测模式靠近水平模式，则每列的具有最大值的样本被选择。对于此列中位于具有最大值的样本(即边缘像素)的左侧的其他样本，仅帧内预测子被使用，无需混合流程；以及对于此同一列中位于具有最大值的此样本的右侧的这些样本，仅帧间预测子被使用于帧间-帧内预测，其中此列中位于具有最大值的样本(即，边缘像素)的左侧或右侧的上述其他样本可以被作为当前块中的目标像素，其不属于边界区域。接下来，为了降低使用帧内预测子或使用帧间预测子处理的样本之间的不连续性，混合流程被应用于围绕具有最大值的边界样本的这些像素。同样，为了简便，边缘像素和围绕边缘像素的像素被称为边界区域像素。包括边界区域像素的区域被称为边界区域。在另一实施例中，帧内预测子可以被使用以检测模型边缘，并处理与前面实施例相同的规则，以完成分割。在另一实施例中，帧间预测子与帧内预测子之间的差可以被使用以检测模型边缘，也应用与前面实施例相同的规则以完成帧内-帧间预测。
图9示出了依据上述实施例推导用于帧内-帧间预测的边界区域的示例，其中块910对应于当前块的预测子，图例920表示预测子类型。本示例被示出以用于帧内预测靠近垂直预测的情况。因此，最大梯度(如图9中的最黑色方块923所示)被确定以用于每列(即从最左侧列到最右侧列)。在本申请中，具有最大梯度的像素也被称为边缘像素。为了降低使用帧内预测子或使用帧间预测子处理的样本之间的不连续性，混合流程被应用于围绕具有最大值的边界样本(即边缘像素)的这些像素。因此，如果边界像素存在，则帧内-帧间混合也被应用于位于边缘像素之上的像素以及位于边缘像素之下的像素。在图9中，相邻像素由光点填充方块922表示。此外，边界区域包括位于当前行中的当前边缘像素(即边缘像素911)与先前行中的先前边缘像素(即边缘像素912)之间的当前行中的任何额外像素。因此，由线913所表示的三个额外像素也被包括在边界区域中。如前面所述，紧靠边缘像素911之上的相邻像素已被包括在先前步骤中的边界区域中。现在，所有边界区域像素(即光点填充像素和黑色像素)已被推导出。如由斜线填充方块921表示，位于边界区域之上的任何像素被设计以用于帧内预测，并且如白色方块924所示，位于边界区域之下的任何像素被设计以用于帧间预测。
帧内-帧间模式中的加权归一化的操作
如前面所述，加权系数w_Intra和加权系数w_Inter可以具有被选择以用于块的每个样本带的值。已混合帧内-帧间预测子透过使用已加权和来组合帧内预测子和帧间预测子被推导出。对于计算已混合帧内-帧间，除法操作可以被避免，因为其相比于加法操作和乘法操作将需要更多处理功率以实现除法操作。在计算已帧内-帧间预测子期间，除法操作被使用于加权归一化。为了避免除法操作，在本申请的一实施例中，w_Intra和w_Inter总和被缩放成2的幂，使得平移操作可以被使用于加权归一化：
Pred＝(w_Intra*Pred_Intra+w_Inter*Pred_Inter)>>(Log2(w_Intra+w_Inter))(5)
在上述方程式中，符号“>>”表示右移操作，Log2表示以2为基数的对数操作。在另一实施例中，偏置(bias)可以被包括以降低舍入误差：
Pred＝((w_Intra*Pred_Intra+w_Inter*Pred_Inter)+bias)>>(Log2(w_Intra+w_Inter))(6)
用于帧内-帧间模式的帧内预测的光滑滤波器
帧内-帧间模式中的帧内预测被使用，以补偿由于帧间预测引起的一些信息损失。在帧内预测中，一些光滑滤波器和边界滤波器被有条件地采用以进一步改进帧内预测子。对于帧内-帧间模式，帧内预测子的生成可以与常规帧内预测相同。可选地，在帧内-帧间模式的帧内预测生成中，这些光滑滤波器或边界滤波器可以总是被使能或禁能。
帧内-帧间模式的第一行/列的改进
相邻编码单元的信息可以被参考以增大当前预测的准确性。在一实施例中，属于当前编码单元边界的样本是透过在帧内预测子、帧间预测子和帧间预测子与帧内预测子的混合结果中选择最好的一个而生成。最好的一个可以被定义为一个预测子，其相比于相邻样本具有最小差，以为了生成光滑边界的当前编码单元中的样本之间的最小梯度，或者当前编码单元中样本与相邻编码单元中的样本之间的最小梯度。
用于帧内-帧间模式的参考先前编码单元参数设置
为了在编码器处降低帧内-帧间模式的计算复杂度，第一率失真优化(Rate-Distortion Optimization，RDO)流程中的帧内-帧间模式的一些信息可以被节省，并在不同编码单元分割中的后续RDO流程中被重新使用。在一实施例中，帧内-帧间模式的开启/关闭决策被重新使用。在此之后，预测子可以遵循第一决策以处理或跳过此模式。然而，相邻编码单元的预测模式可以不同，使得帧内-帧间模式中的帧内预测和帧间预测的性能可以被改变。因此，在另一实施例中，尽管第一决策被使能，但是禁能帧内-帧间模式将总是被测试。在另一实施例中，帧内-帧间模式的最好帧内预测模式也可以被重新使用，以降低复杂度。
与帧内-帧间模式的边界进行混合
帧内-帧间模式中，帧内预测被使用以补偿帧间预测的缺陷。然而，对于较大尺寸编码单元，远离参考样本的已预测样本在帧内预测中一般不准确。为了克服此问题，用于帧内-帧间混合的边界约束被提出。在一实施例中，仅靠近参考样本的前几列或前几行将经历帧内-帧间混合流程；且其他样本直接自帧间预测推导出。如果帧内预测模式靠近垂直模式，则帧内预测子加权在靠近参考样本的前N行内逐列减小。如果帧内预测模式靠近水平模式，则帧内预测子加权在靠近参考样本的前N列内逐行减小(即帧内预测子自第1列到第N列减小，且剩余列(如果存在)的帧内预测子加权均被设置为0)。对于DC模式或平面帧内模式，等于0.5的w_Intra和w_Inter仅被应用于L型区域(靠近参考样本的前面N列和N行)内。在另一实施例中，第一列和第一行中的样本的梯度先被计算。如果第一列/行中的最大梯度比对此列/行所计算的平均梯度大得多，则最大梯度的位置为混合流程中的边界；否则，默认范围边界被使用。用此混合边界，透过仅生成前面N列或N行以用于进一步混合，帧内-帧间中的帧内预测可以被简化。在一些实施例中，N为预定义的或基于当前块的尺寸发信的。在另一实施例中，顶端编码单元和左侧编码单元的L型中的帧间/帧内预测子与相邻已重构像素之间的差被计算，具有最大差的位置被检测到。混合边界可以使用上述所公开的边界推导方法中的任何被设置，或者默认边界可以被使用于此约束。
帧内-帧间模式的编码单元尺寸约束
对于较小编码单元，每个语法元素比更大编码单元需要更多辅助信息开销。因此，移除用于较小编码单元的一个标志可以在编解码效率方面实现较好的折中点。在一实施例中，帧内-帧间模式被强制为关闭以用于较小编码单元。在另一实施例中，由于帧内-帧间模式在较大编码单元中被选择的较低概率，用于较大编码单元的帧内-帧间模式被强制为关闭。
透过分析帧内-帧间模式中的帧内-帧间相关性来推导帧内预测模式
用帧内-帧间模式中所使用的帧内预测子和帧间预测子，一些有用信息可以透过比较其相关性被生成。在一实施例中，不是发信帧内-帧间模式中所使用的帧内预测模式，在编码器处比较帧内-帧间混合结果与当前编码单元，在解码器处帧内预测子与帧间预测子之间的比较可以被使用以选择帧内-帧间模式中所使用的帧内预测模式。在这种情况中，发信帧内-帧间模式中所使用的帧内预测模式可以被消除。
图10示出了依据本发明实施例的使用帧内-帧间预测的视频编解码系统的示例性流程图。本流程图中所示的步骤可以被实现为编码器侧的一个或多个处理器(例如一个或多个CPU)上可执行的程序代码。本流程图中所示的步骤也可以基于硬件被实现，例如用于执行该流程图中步骤的一个或者多个电子设备或者处理器。依据本方法，在步骤1010中，在编码器侧处，接收与当前图像中的当前块相关的数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流。在步骤1020中，在当前块中确定边界区域。在步骤1030中，检测当前像素是否为边界像素。当当前像素为边界像素时(即来自于步骤1030的“是”路径)，步骤1040至步骤1070被执行。否则(即来自于步骤1030的“否”路径)，步骤1080被执行。在步骤1040中，自帧内参考像素推导出帧内预测子，其中帧内参考像素在当前图像中位于当前块的顶端边界之上或位于当前块的左侧边界的左侧，且帧内参考像素先于当前块被编解码。在步骤1050中，在参考图像中推导出包括位于参考块中的帧间参考像素的帧间预测子，其中参考块先于当前块被编解码。在步骤1060中，透过混合帧内预测子和帧间预测子，生成帧内-帧间预测子。在步骤1070中，使用帧内-帧间预测子，在编码器侧处编码或在解码器侧处解码每个边界区域像素。在步骤1080中，使用帧间预测子或帧内预测子，在编码器侧处编码或在解码器侧处解码剩余像素。
图11示出了依据本发明实施例的使用帧内-帧间预测的视频编解码系统的另一示例性流程图。依据本方法，在步骤1110中，在编码器侧处，接收与当前图像中的当前块相关的数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流。在步骤1120中，自参考像素推导出帧内预测子，其中帧内参考像素在当前图像中位于当前块的顶端边界之上或位于当前块的左侧边界的左侧，且帧内参考像素先于当前块被编解码。在步骤1130中，在参考图像中推导出包括位于参考块中的帧间参考像素的帧间预测子，其中参考块先于当前块被编解码。在步骤1140中，生成帧内预测子和帧间预测子的加权之和，其中生成帧内预测子和帧间预测子的加权之和包括：将已加权帧内预测子与已加权帧间预测子进行相加，其中已加权帧内预测子是透过将帧内预测子乘以帧内加权因子而推导出的，且已加权帧间预测子是透过将帧间预测子乘以帧间加权因子而推导出的，帧内加权因子与帧间加权因子之和被缩放成2的幂。在步骤1150中，透过将右移操作应用于帧内预测子与帧间预测子的加权之和，生成已归一化帧内-帧间预测子。在步骤1160中，使用已归一化帧内-帧间预测子，在编码器侧处编码或在解码器侧处解码当前块。
图12示出了依据本发明实施例的使用帧内-帧间预测的视频编解码系统的示例性流程图。依据本方法，在步骤1210中，在编码器侧处，接收与当前图像中的当前块相关的数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流。在步骤1220中，如果当前块的尺寸大于最大块尺寸或小于最小块尺寸，则帧内-帧间预测模式被禁能以用于当前块。在步骤1230中，检测帧内-帧间预测模式是否被选择用于当前块。当帧内-帧间预测模式被选择用于当前块时(即来自于步骤1230的“是”路径)，步骤1240至步骤1270被执行。否则(即来自于步骤1230的“否”路径)，步骤1280和步骤1290被执行。在步骤1240中，自参考像素推导出帧内预测子，其中帧内参考像素在当前图像中位于当前块的顶端边界之上或位于当前块的左侧边界的左侧，且帧内参考像素先于当前块被编解码。在步骤1250中，在参考图像中推导出包括位于参考块中的帧间参考像素的帧间预测子，其中参考块先于当前块被编解码。在步骤1260中，透过混合帧内预测子和帧间预测子，生成帧内-帧间预测子。在步骤1270中，使用帧内-帧间预测子，在编码器侧处编码或在解码器侧处解码当前块。在步骤1280中，推导出帧内预测子和帧间预测子。在步骤1290中，使用帧间预测子或帧内预测子，在编码器侧处编码或在解码器侧处解码当前块。
前面所提出的方法中的任何可以在编码器和/或解码器中被实现。如视频编解码技术领域所已知，帧内预测子和帧间预测子可以在编码器侧以及解码器侧被推导出。透过使用加权系数混合帧内预测子和帧间预测子，帧内-帧间预测子可以被生成。加权系数可以被推导或发信。因此，编码器和解码器均可以执行相同的混合流程。
所示的流程图用于示出依据本发明的视频编解码的示例。在不脱离本发明的精神的情况下，所属领域中具有习知技术者可以修改每个步骤、重组这些步骤、将一个步骤进行分割或者组合这些步骤而实施本发明。在本发明中，具体的语法和语义已被使用以示出实现本发明实施例的示例。在不脱离本发明的精神的情况下，透过用等同的语法和语义来替换该语法和语义，具有习知技术者可以实施本发明。
上述说明，使得所属领域中具有习知技术者能够在特定应用程序的内容及其需求中实施本发明。对所属领域中具有习知技术者来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的具有习知技术者理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(fieldprogrammable gate array，FPGA)所执行的若干函数。依据本发明，透过执行定义了本发明所实施的特定方法的机器可读软件代码或者韧体代码，这些处理器可以被配置为执行特定任务。软件代码或韧体代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由后附的申请专利范围来表示，而不是前述的描述来表示。申请专利范围的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (19)

1.一种视频编解码的方法，由视频编码器或视频解码器执行，该方法包括：
在编码器侧处，接收与当前图像中的当前块相关的数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流；
对于该当前块中的边界区域中的每个边界区域像素：
自多个帧内参考像素推导出帧内预测子，其中该多个帧内参考像素在该当前图像中位于该当前块的顶端边界之上或位于该当前块的左侧边界的左侧，且该多个帧内参考像素先于该当前块被编解码；
在参考图像中推导出包括位于参考块中的多个帧间参考像素的帧间预测子，其中该参考块先于该当前块被编解码；
透过混合该帧内预测子和该帧间预测子，生成帧内-帧间预测子；以及
使用该帧内-帧间预测子，编码或解码每个边界区域像素；以及
对于该当前块中不属于该边界区域的多个剩余像素：
使用帧间预测子或帧内预测子，编码或解码该多个剩余像素。
2.根据权利要求1所述的视频编解码的方法，其特征在于，该边界区域对应于靠近该多个帧内参考像素的该当前块的前N列和靠近该多个帧内参考像素的该当前块的前N行中的至少一个，其中N为大于0的整数。
3.根据权利要求2所述的视频编解码的方法，其特征在于，与位于该当前块的第一列或第一行处的最大梯度相关的位置是基于该帧内预测子或帧间预测子，或者该帧内预测子与该帧间预测子之间的差值推导出的，其中该位置用于确定N的值。
4.根据权利要求2所述的视频编解码的方法，其特征在于，
与位于该当前块的第一列或第一行处的最大梯度相关的位置是基于该帧内预测子或帧间预测子，或者该帧内预测子与该帧间预测子之间的差值推导出的；以及
如果该最大梯度实质上大于该当前块的该第一列或该第一行所计算的多个垂直梯度和多个水平梯度的平均梯度，则该位置用于确定N的值，否则设定N为默认值。
5.根据权利要求2所述的视频编解码的方法，其特征在于，该帧内预测子和多个相邻已重构像素之间、该帧间预测子和该多个相邻已重构像素之间或者该帧间预测子与该帧内预测子之间的最大差值相关的位置被推导出，且该位置用于确定N的值。
6.根据权利要求2所述的视频编解码的方法，其特征在于，N为预定义的，或者基于该当前块的尺寸被发信。
7.根据权利要求1所述的视频编解码的方法，其特征在于，还包括：
基于该帧间预测子、该帧内预测子或该帧内预测子与该帧间预测子之间的差值，检测该当前块中的多个模型边缘；以及
该边界区域基于该多个模型边缘而被确定。
8.根据权利要求7所述的视频编解码的方法，其特征在于，检测该多个模型边缘包括：
依据与该帧内预测子相关的帧内预测模式是靠近垂直方向还是水平方向，基于用于每行或每列的该帧间预测子、该帧内预测子或该帧内预测子与该帧间预测子之间的差值，计算最大梯度。
9.根据权利要求8所述的视频编解码的方法，其特征在于，该边界区域包括每行或每列中的一个边缘像素。
10.根据权利要求9所述的视频编解码的方法，其特征在于，该边界区域还包括与该当前块的同一行或同一列中的一个边缘像素相邻的任何相邻像素。
11.根据权利要求10所述的视频编解码的方法，其特征在于，该边界区域还包括位于当前行或列中的当前边缘像素与先前行或列中的先前边缘像素之间的该当前行或列中的任何额外像素。
12.根据权利要求9所述的视频编解码的方法，其特征在于，对于该当前块中不属于该边界区域的目标像素，如果该目标像素位于与该目标像素相同的行或列中的一个边缘像素之上或左侧，则该目标像素使用该帧内预测子被编码或解码。
13.根据权利要求9所述的视频编解码的方法，其特征在于，对于该当前块中不属于该边界区域的目标像素，如果该目标像素位于与该目标像素相同的行或列中的一个边缘像素之下或右侧，则该目标像素使用该帧间预测子被编码或解码。
14.一种视频编解码的装置，在视频编解码系统中，该装置包括一个或多个电子设备或处理器，用于：
在编码器侧处，接收与当前图像中的当前块相关的数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流；
对于边界区域中的每个边界区域像素：
自多个帧内参考像素推导出帧内预测子，其中该多个帧内参考像素在该当前图像中位于该当前块的顶端边界之上或位于该当前块的左侧边界的左侧，且该多个帧内参考像素先于该当前块被编解码；
在参考图像中推导出包括位于参考块中的多个帧间参考像素的帧间预测子，其中该参考块先于该当前块被编解码；
透过混合该帧内预测子和该帧间预测子，生成帧内-帧间预测子；以及
使用该帧内-帧间预测子，编码或解码每个边界区域像素；以及
对于该当前块中不属于该边界区域的多个剩余像素：
使用帧间预测子或帧内预测子，编码或解码该多个剩余像素。
15.一种视频编解码的方法，由视频编码器或视频解码器执行，该方法包括：
在编码器侧处，接收与当前图像中的当前块相关的数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流；
自多个帧内参考像素推导出帧内预测子，其中该多个帧内参考像素在该当前图像中位于该当前块的顶端边界之上或位于该当前块的左侧边界的左侧，且该多个帧内参考像素先于该当前块被编解码；
在参考图像中推导出包括位于参考块中多个帧间参考像素的帧间预测子，其中该参考块先于该当前块被编解码；
生成该帧内预测子和该帧间预测子的加权之和，其中生成该帧内预测子和该帧间预测子的加权之和包括：
将已加权帧内预测子与已加权帧间预测子进行相加，其中该已加权帧内预测子是透过将该帧内预测子乘以帧内加权因子而推导出的，且该已加权帧间预测子是透过将该帧间预测子乘以帧间加权因子而推导出的，该帧内加权因子与该帧间加权因子之和被缩放成2的幂；
透过将右移操作应用于该帧内预测子与该帧间预测子的加权之和，生成已归一化帧内-帧间预测子；以及
使用该已归一化帧内-帧间预测子，编码或解码该当前块。
16.根据权利要求15所述的视频编解码的方法，其特征在于，生成该帧内预测子和该帧间预测子的加权之和包括：
给该已加权帧内预测子与该已加权帧间预测子相加的结果添加一偏置值。
17.一种视频编解码的装置，在视频编解码系统中，该装置包括一个或多个电子设备或处理器，用于：
在编码器侧处，接收与当前图像中的当前块相关的输入数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流；
自多个帧内参考像素推导出帧内预测子，其中该多个帧内参考像素在该当前图像中位于该当前块的顶端边界之上或位于该当前块的左侧边界的左侧，且该多个帧内参考像素先于该当前块被编解码；
在参考图像中推导出包括位于参考块中多个帧间参考像素的帧间预测子，其中该参考块先于该当前块被编解码；
透过将已加权帧内预测子与已加权帧间预测子相加，生成该帧内预测子和该帧间预测子的加权之和，其中该已加权帧内预测子是透过将该帧内预测子乘以帧内加权因子而推导出的，且该已加权帧间预测子是透过将该帧间预测子乘以帧间加权因子而推导出的，该帧内加权因子与该帧间加权因子之和被缩放成2的幂；
透过将右移操作应用于该帧内预测子与该帧间预测子的加权之和，生成已归一化帧内-帧间预测子；以及
使用该已归一化帧内-帧间预测子，编码或解码该当前块。
18.一种视频编解码的方法，由视频编码器或视频解码器执行，该方法包括：
在编码器侧处，接收与当前图像中的当前块相关的输入数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流；
如果该当前块的尺寸大于最大块尺寸或小于最小块尺寸，则禁能用于该当前块的帧内-帧间预测模式；
当该帧内-帧间预测模式被选择用于该当前块时，则：
自多个参考像素推导出帧内预测子，其中该多个帧内参考像素在该当前图像中位于该当前块的顶端边界之上或位于该当前块的左侧边界的左侧，且该多个帧内参考像素先于该当前块被编解码；
在参考图像中推导出包括位于参考块中的多个帧间参考像素的帧间预测子，其中该参考块先于该当前块被编解码；
透过混合该帧内预测子和该帧间预测子，生成帧内-帧间预测子；以及
使用该帧内-帧间预测子，编码或解码该当前块；以及
当该帧内-帧间预测模式被禁能用于该当前块时，则：
推导出该帧内预测子或推导出该帧间预测子；以及
使用该帧间预测子或该帧内预测子，编码或解码该当前块。
19.一种视频编解码的装置，在视频编解码系统中，该装置包括一个或多个电子设备或处理器，用于：
在编码器侧处，接收与当前图像中的当前块相关的输入数据，或在视频解码器侧，接收包括当前块的已压缩数据的视频比特流；
如果当前块的尺寸大于最大块尺寸或小于最小块尺寸，则禁能用于该当前块的帧内-帧间预测模式；
当该帧内-帧间预测模式被选择用于该当前块时，则：
自多个参考像素推导出帧内预测子，其中该多个帧内参考像素在该当前图像中位于该当前块的顶端边界之上或位于该当前块的左侧边界的左侧，且该多个帧内参考像素先于该当前块被编解码；
在参考图像中推导出包括位于参考块中的多个帧间参考像素的帧间预测子，其中该参考块先于该当前块被编解码；
透过混合该帧内预测子和该帧间预测子，生成帧内-帧间预测子；以及
使用该帧内-帧间预测子，编码或解码该当前块；以及
当该帧内-帧间预测模式被禁能用于该当前块时，则：
推导出该帧内预测子或推导出该帧间预测子；以及
使用该帧间预测子或该帧内预测子，编码或解码该当前块。
CN201880036728.6A 2017-06-07 2018-06-07 用于视频编解码的帧内-帧间预测的方法及装置 Pending CN110800302A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762516157P 2017-06-07 2017-06-07
US62/516,157 2017-06-07
PCT/CN2018/090253 WO2018224004A1 (en) 2017-06-07 2018-06-07 Method and apparatus of intra-inter prediction mode for video coding

Publications (1)

Publication Number Publication Date
CN110800302A true CN110800302A (zh) 2020-02-14

Family

ID=64566461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880036728.6A Pending CN110800302A (zh) 2017-06-07 2018-06-07 用于视频编解码的帧内-帧间预测的方法及装置

Country Status (5)

Country Link
US (1) US11070815B2 (zh)
EP (1) EP3625963A4 (zh)
CN (1) CN110800302A (zh)
TW (1) TWI678917B (zh)
WO (1) WO2018224004A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022141282A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 视频处理方法和编码装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3643062A1 (en) * 2017-07-04 2020-04-29 Huawei Technologies Co., Ltd. Decoder side intra mode derivation (dimd) tool computational complexity reduction
CN117354499A (zh) * 2017-07-06 2024-01-05 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质
CN118338016A (zh) * 2017-11-22 2024-07-12 英迪股份有限公司 用于解码图像的方法、用于编码图像的方法和非暂态存储介质
EP3737093A4 (en) * 2017-11-28 2022-02-09 Electronics and Telecommunications Research Institute METHOD AND DEVICE FOR CODING/DECODING IMAGES AND RECORDING MEDIA STORED WITH A BITSTREAM
CN118301327A (zh) * 2018-07-04 2024-07-05 松下电器（美国）知识产权公司 编码装置、解码装置、和非暂时性的计算机可读介质
US11057636B2 (en) * 2018-09-17 2021-07-06 Qualcomm Incorporated Affine motion prediction
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
US10848763B2 (en) * 2018-11-14 2020-11-24 Tencent America LLC Method and apparatus for improved context design for prediction mode and coded block flag (CBF)
US20200162737A1 (en) 2018-11-16 2020-05-21 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
US11652984B2 (en) 2018-11-16 2023-05-16 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
WO2020116402A1 (ja) * 2018-12-04 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
GB2579824B (en) * 2018-12-14 2022-05-18 British Broadcasting Corp Video encoding and video decoding
CN113676733B (zh) * 2019-01-09 2023-02-24 北京达佳互联信息技术有限公司 视频解码方法、设备、非暂时性计算机可读存储介质
KR102489605B1 (ko) 2019-01-09 2023-01-17 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 조합된 인터 및 인트라 예측을 위한 시스템 및 방법
AU2020208699A1 (en) * 2019-01-17 2021-06-10 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of deblocking filter adaptation
US11330283B2 (en) * 2019-02-01 2022-05-10 Tencent America LLC Method and apparatus for video coding
JP2022535726A (ja) * 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
JP2021057649A (ja) * 2019-09-27 2021-04-08 マクセル株式会社 画像符号化方法および画像復号方法
CN113873249B (zh) * 2020-06-30 2023-02-28 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US20230412794A1 (en) * 2022-06-17 2023-12-21 Tencent America LLC Affine merge mode with translational motion vectors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104737537A (zh) * 2012-09-07 2015-06-24 高通股份有限公司 用于可缩放视频译码的加权预测模式
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100750136B1 (ko) 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
MX2014008483A (es) * 2012-01-19 2014-10-14 Sony Corp Dispositivo y metodo de procesamiento de imagenes.
EA201492098A1 (ru) * 2012-05-14 2015-04-30 Лука Россато Кодирование и декодирование на основании смешивания последовательностей выборок с течением времени
KR101691314B1 (ko) 2012-06-11 2016-12-29 닛폰 호소 교카이 부호화 장치, 복호 장치 및 프로그램
KR20220131366A (ko) * 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
US9374578B1 (en) * 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US10057590B2 (en) 2014-01-13 2018-08-21 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US10666940B2 (en) * 2014-11-06 2020-05-26 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
WO2017043816A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017143467A1 (en) * 2016-02-22 2017-08-31 Mediatek Singapore Pte. Ltd. Localized luma mode prediction inheritance for chroma coding
WO2018054269A1 (en) * 2016-09-22 2018-03-29 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
US10757420B2 (en) * 2017-06-23 2020-08-25 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
US20200162737A1 (en) * 2018-11-16 2020-05-21 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
US11330283B2 (en) * 2019-02-01 2022-05-10 Tencent America LLC Method and apparatus for video coding
US11166037B2 (en) * 2019-02-27 2021-11-02 Mediatek Inc. Mutual excluding settings for multiple tools
CN117440173A (zh) * 2019-03-21 2024-01-23 北京字节跳动网络技术有限公司 组合帧间帧内预测的改进的加权处理
US11102483B2 (en) * 2019-05-17 2021-08-24 Panasonic Intellectual Property Corporation Of America System and method for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104737537A (zh) * 2012-09-07 2015-06-24 高通股份有限公司 用于可缩放视频译码的加权预测模式
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022141282A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 视频处理方法和编码装置

Also Published As

Publication number Publication date
TW201904296A (zh) 2019-01-16
EP3625963A4 (en) 2020-11-18
US20200204824A1 (en) 2020-06-25
TWI678917B (zh) 2019-12-01
EP3625963A1 (en) 2020-03-25
US11070815B2 (en) 2021-07-20
WO2018224004A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
CN110800302A (zh) 用于视频编解码的帧内-帧间预测的方法及装置
US20180332292A1 (en) Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
CA2935340C (en) Selection of motion vector precision
US11956421B2 (en) Method and apparatus of luma most probable mode list derivation for video coding
KR20200051831A (ko) 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법
CN113170143B (zh) 一种编码器、解码器及去块滤波器的边界强度的对应推导方法
US10298945B2 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
WO2011049605A1 (en) Methods and apparatus for dc intra prediction mode for video encoding and decoding
US10735726B2 (en) Apparatuses and methods for encoding and decoding a video coding block of a video signal
WO2020125490A1 (en) Method and apparatus of encoding or decoding video blocks with constraints during block partitioning
US20220217397A1 (en) Video Processing Methods and Apparatuses of Determining Motion Vectors for Storage in Video Coding Systems
EP4243416A2 (en) Method and apparatus of chroma direct mode generation for video coding
CN113243107B (zh) 图像编码设备和方法、图像解码设备和方法以及存储介质
CN114830642A (zh) 图像编码方法和图像解码方法
JP2017073602A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
WO2023193516A1 (en) Method and apparatus using curve based or spread-angle based intra prediction mode in video coding system
WO2024022145A1 (en) Method and apparatus of amvp with merge mode for video coding
WO2023221993A1 (en) Method and apparatus of decoder-side motion vector refinement and bi-directional optical flow for video coding
WO2021052510A1 (en) Method and apparatus of sample clipping for prediction refinement with optical flow in video coding
JP2024051178A (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220429

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu China Dusing 1

Applicant before: MEDIATEK Inc.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200214