CN113141783A - 用于多重假设的帧内预测 - Google Patents

用于多重假设的帧内预测 Download PDF

Info

Publication number
CN113141783A
CN113141783A CN201980066554.2A CN201980066554A CN113141783A CN 113141783 A CN113141783 A CN 113141783A CN 201980066554 A CN201980066554 A CN 201980066554A CN 113141783 A CN113141783 A CN 113141783A
Authority
CN
China
Prior art keywords
prediction
mode
current block
intra
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980066554.2A
Other languages
English (en)
Other versions
CN113141783B (zh
Inventor
江嫚书
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN113141783A publication Critical patent/CN113141783A/zh
Application granted granted Critical
Publication of CN113141783B publication Critical patent/CN113141783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种视频解码器，其通过使用多重假设结合预测模式来解码当前像素块。视频解码器基于帧间预测模式产生当前块的第一预测。视频解码器根据当前块的大小致能当前块的结合预测模式，所述当前块的大小根据当前块的宽度或高度决定。当所述当前块的宽度或高度大于阈值长度时，所述结合预测模式失能。当所述结合预测模式被致能时，视频解码器产生第二预测，并基于第一预测与第二预测而产生当前块的结合预测。视频解码器通过使用结合预测而重构出当前块。

Description

用于多重假设的帧内预测
相关引用
本发明要求以下申请的优先权：在2018年10月11日递交的申请号为62/744,464的美国临时专利申请，其全部内容以引用方式并入本公开。
技术领域
本发明通常涉及视频处理。具体地，本发明涉及编解码像素块的方法，其通过使用多重假设来进行帧间预测。
背景技术
除非此处另有说明外，本小节所描述的方法相对于下面列出的权利要求书而言不是先前技术，并且不因纳入于本小节而被认为承认是先前技术。
高效率视频编解码(High-Efficiency Video Coding，简称HEVC)是由视频编解码联合协作小组(Joint Collaborative Team on Video Coding，JCT-VC)所发展的新一代国际性视频编解码标准。HEVC是基于混合块为基础的运动补偿类似DCT转换的编解码架构。补偿的基本单元(称为编解码单元，CU)是2Nx2N的方形块，而每个CU可递归式地被分割成四个较小的CU，一直达到预定的最小尺寸为止。每个CU包括一个或多个预测单元(PredictionUnit，PU)。
为达成HEVC中混合编解码架构的最佳编解码效率，对于每个PU有两种预测模式，即帧内预测与帧间预测。对于帧内预测模式而言，空间相邻重构像素被用来产生方向性的预测，在HEVC中有多达35种方向。对于帧间预测模式而言，时间重构参考帧被用来产生运动补偿的预测，有三种不同模式，包括跳过(Skip)、合并(Merge)以及帧间高级运动向量预测(帧间AMVP)模式。
当PU是以帧间AMVP模式编码时，运动补偿的预测是由所传送来的运动向量差值(motion vector differences，MVDs)来进行，MVDs可以与运动向量预测子(Motion VectorPredictors，MVPs)一起使用来推导出运动向量(motion vector，MVs)。为了决定帧间AMVP模式下的MVP，高级运动向量预测(advanced motion vector prediction，简称AMVP)的架构被用来从AMVP候选组中选出运动向量预测子，该AMVP候选组包括二个空间MVP以及一个时间MVP。因此在AMVP模式下，MVP的MVP索引以及相对应的MVDs需要被编码与传送。此外，帧间预测方向(用来表明在双向预测以及单向预测之间的预测方向，也就是列表List0(L0)以及列表List1(L1))以及对于每一列表所伴随的参考帧索引也应予以编码与传送。
当PU是以跳过模式或合并模式编码时，除了被选到的候选的合并索引之外，是不会传送运动信息的，这是因为跳过与合并模式是使用运动推论(motion inference)方法(MV＝MVP+MVD，其中MVD为零)，从位于同位画面(co-located picture)中的空间相邻块(空间候选)或是时间块(时间候选)来取得运动信息；其中所述同位画面是片段头(sliceheader)中所发送的列表0或列表1中的第一个参考画面。如果是跳过模式的PU(Skip PU)，残差信号被省略。为了决定跳过与合并模式的合并索引，合并架构被用来从包括四个空间MVP与一个时间MVP的合并候选组中选出运动向量预测子。
发明内容
以下发明内容仅是说明性的，不打算以任何方式加以限制。也就是说，以下发明内容被提供以介绍此处所描述的新且非显而易知的技术的概念、重点、好处和优势。选择性而不是将所有的实施方式在下面的详细说明中进行进一步描述。因此，以下发明内容不用于决定所要求主题的本质特征，也不用于决定所要求主题的范围。
在本发明的一些实施例中提供一种视频解码器，其通过使用多重假设(MH)结合预测模式来解码当前像素块。MH结合预测模式包括至少一个用于帧内的MH模式与用于帧间的MH模式。视频解码器基于帧间预测模式产生当前块的第一预测。根据当前块的宽度或高度而决定当前块的块大小，视频解码器致能当前块的结合预测模式。当该当前块的宽度或当前块的高度大于阈值长度时，该结合预测模式失能。该阈值可以是固定数值或基于标准中具体指定的最大TU(例如64)，或具体指定在SPS/PPS/方格(tile)/方格组/片段水平的最大TU尺寸(例如64)。当结合预测模式被致能时，视频解码器基于帧内预测模式或帧间预测模式产生第二预测，以及基于第一预测与第二预测产生当前块的结合预测。视频解码器通过使用结合预测重构出当前块。
在一些实施例中，当基于帧内预测模式产生该第二预测时，视频解码器进行简化的帧内预测。通过使用该帧内预测模式来辨识一组相邻像素，以及将内插滤波器应用于该组经过辨识的相邻像素来产生一组经过内插的像素，视频解码器产生该第二预测。在一些实施例中，该组经过内插的像素不需要进一步调整而被使用作为该第二预测。在一些实施例中，该第二预测是不使用位置依存度帧内预测结合(position dependent intraprediction combination，简称PDPC)或角度帧内预测而计算得出。当该帧内预测模式是平面模式(planar mode)时，该第二预测是通过省略至少下列之一来进行计算：(i)参考可用性检查与替代；(ii)参考样本滤波；(iii)水平平面预测子产生与平均；以及(iv)PDPC。
附图说明
下列图式用以提供本发明的进一步理解，并被纳入且构成本发明的一部分。这些图式说明了本发明的实施方式，并与说明书一起用以解释本发明的原理。为了清楚地说明本发明的概念，与实际实施方式中的尺寸相比，一些元件可以不按照比例被示出，这些图式无需按照比例绘制。
图1示出了HEVC中用于帧间-预测模式的MVP候选组。
图2示出了包括结合型双向预测合并候选的合并候选列表。
图3示出了包括缩放型合并候选的合并候选列表。
图4示出了零向量候选添加至合并候选列表或AMVP候选列表中的例子。
图5显示出于不同方向的帧内-预测模式。
图6示出了四参数仿射运动模型。
图7示出了用于仿射帧间模式的MVP推导。
图8a概念性示出了通过使用用于帧内的多重假设模式来编码或解码像素块。
图8b概念性示出了通过使用用于帧间的多重假设模式来编码或解码像素块。
图9概念性示出了基于像素块的大小、宽度或高度来致能用于帧内的MH模式或用于帧间的MH模式。
图10示出了示例性的视频编码器，其可以实施用于帧内的MH模式或用于帧间的MH模式。
图11a示出了部分的视频编码器，当编码像素块时，其可以实施用于帧内的MH模式。
图11b示出了部分的视频编码器，当编码像素块时，其可以实施用于帧间的MH模式。
图12概念性示出了流程，其使用用于帧内的MH模式或用于帧间的MH模式来编码像素块。
图13示出了示例性的视频解码器，其可以实施用于帧内的MH模式或用于帧间的MH模式。
图14a示出了部分的视频解码器，当解码像素块时，其可以实施用于帧内的MH模式。
图14b示出了部分的视频解码器，当解码像素块时，其可以实施用于帧间的MH模式。
图15各自概念性示出了流程，其使用用于帧内的MH模式或用于帧间的MH模式来解码像素块。
图16概念性示出了电子系统，本发明的一些实施例可以于其中加以实施。
具体实施方式
在下面详细的说明书中，为了透彻理解相关教示内容，透过举例的方式进行说明大量具体的细节。基于本文所描述的教示内容的任何改变、推导和/或拓展均在本发明的保护范围内。为了避免不必要地混淆本发明的教示内容的方面，关于此处所公开的一个或多个示例性实施方式中已知的方法、程序、元件和/或电路，在有些时候会用相对较高的层次加以描述而不细说。
帧间-预测模式
图1示出了HEVC中用于帧间-预测模式(即跳过、合并、与AMVP)的MVP候选组。此图显示出正在编码或解码的视频画面或帧的当前块100。当前块100(其可以是PU或CU)参考相邻块来推导用于AMVP模式、合并模式、或跳过模式的空间与时间MVP。
对于跳过模式与合并模式而言，最多有四个空间合并索引可以从A0,A1,B0与B1导出，以及一个时间合并索引可以从TBR或TCTR导出(TBR首先被使用；如果TBR是不可用的，TCTR被使用)。如果四个空间合并索引中任何一个是不可用的，则位置B2被用来推导合并索引以作为替代。在四个空间合并索引与一个时间合并索引的推导之后，冗余的合并索引被去除。如果非-冗余的合并索引数目小于5，则额外的候选从原始的候选被导出并添加至候选列表中。有三种推导候选的类型：
1.结合型(combined)双向预测合并候选(推导候选类型1)
2.缩放型(scaled)双向预测合并候选(推导候选类型2)
3.零向量合并/AMVP候选(推导候选类型3)
在推导候选类型1中，结合型双向预测合并候选是通过结合原始的合并候选来创建出。尤其，如果当前片段是B片段，通过结合来自列表0与列表1的候选，进一步的合并候选被产生。图2示出了包括结合型双向预测合并候选的合并候选列表。如图所示，双向预测合并候选是使用二个原始候选来创建的：其中二个原始候选具有mvL0(列表0中的运动向量)与refIdxL0(列表0中的参考画面索引)；或是mvL1(列表1中的运动向量)与refIdxL1(列表1中的参考画面索引)。
在推导候选类型2中，缩放型合并候选通过缩放原始的合并候选来创建。图3示出了包括缩放型合并候选的合并候选列表。如图所示，原始合并候选具有mvLX(列表X中的运动向量，X可以是0或1)与refIdxLX(列表X中的参考画面索引，X可以是0或1)。例如，原始候选A是列表0中具有mvL0_A与参考画面索引ref0的单向预测MV。首先候选A被拷贝到具有参考画面索引ref0’的列表1。通过基于ref0与ref0’来缩放mvL0_A，缩放型的MV mvL0’_A被计算。列表0中具有mvL0_A与ref0以及列表1中具有mvL0’_A与ref0’的缩放型双向预测合并候选被创建出并添加至合并候选列表中。相类似地，列表0中具有mvL1’_A与ref1’以及列表1中具有mvL1_A,ref1的缩放型双向预测合并候选则被创建出并添加至合并候选列表中。
在推导候选类型3中，零向量候选通过结合零向量与参考索引来创建。如果所创建出的零向量候选不重复，则其被加入合并/AMVP候选列表中。图4示出了将零向量候选添加至合并候选列表或AMVP候选列表中的例子。
帧内-预测模式
帧内-预测方法利用相邻于当前预测单元(prediction unit，简称PU)的一个参考层(reference tier)与多个帧内-预测模式中的一个，以产生用于当前PU的预测子。帧内-预测方向可在包括多个预测方向的模式组中选择。对于通过帧内-预测所编码的每一个PU，一个索引被使用和编码以选择多个帧内-预测模式中的一个。相对应的预测被产生，然后残差可以被推导与转换。
图5显示出于不同方向的帧内-预测模式。这些帧内-预测模式被称为方向性的模式以及不包括直流模式(DC mode)或平面模式(Planar mode)。如图所示的，有33个方向性的模式(V：垂直方向；H：水平方向)，因此H，H+1～H+8，H-1～H-7，V，V+1～V+8，V-1～V-8被使用。一般而言，方向性的模式可以用H+k或V+k模式来代表，其中k＝±1，±2，...，±8。(在有些情况下，帧内-预测模式有65个方向性的模式，因此k的范围是从±1到±16)。
在HEVC的35个帧内-预测模式中，其中3个模式被考虑为最可能模式(mostprobable modes，简称MPM)以用来预测当前预测块的帧内-预测模式。这3个模式则被选择为最可能模式组(MPM set)。例如，左方预测块使用的帧内-预测模式与上方预测块使用的帧内-预测模式被用作MPM。当在二个相邻块的帧内-预测模式使用了相同的帧内-预测模式时，此帧内-预测模式可被用作MPM。当在二个相邻块仅有一个是可用的以及以方向性模式加以编码时，紧邻在此方向性模式旁边的二个相邻方向可被用作MPM。直流模式与平面模式也被考虑为MPM以填补MPM组中的可用位置，特别是如果上方或顶端相邻块是不可用的或非以帧内-预测编码的，或如果相邻块的帧内-预测模式并非方向性的模式。如果用于当前预测块的帧内-预测模式是在MPM组中的模式之一，则1或2比特被用来发送其为哪一个模式。否则，当前块的帧内-预测模式不同于在MPM组中的任一字段，以及当前块被编码为非-MPM模式。总共有32个这样的非-MPM模式和(5-比特)固定长度编解码方法被用来发送该模式。
在一些实施例中，位置依存度帧内预测结合(position dependent intraprediction combination,PDPC)被应用于一些帧内模式而不发送：平面、直流、水平、垂直、左下方角度模式与其x相邻角度模式、以及右上方角度模式与其x相邻角度模式。x的数值取决于角度模式的数目。PDPC的描述可在下列文件中找到：G.Van der Auwera、J.Heo、A.Filippov所提的“CE3:Summary Report on Intra Prediction and Mode Coding”，第11次JVET会议，在斯洛文尼亚的卢布尔雅那(Ljubljana；SI)，2018年7月，文件JVET-K0023；ITU-T SG16/Q6文件COM16-C1046，Position Dependent intra Prediction Combination(PDPC)”；X.Zhao、V.Seregin、A.Said、M.Karczewicz所提的“EE1 related:Simplificationand extension of PDPC”，第8次JVET会议，在中国澳门(Macau)，2018年10月，文件JVET-H0057；M.Karczewicz等人所提的“Description of SDR,HDR and 360°video codingtechnology proposal by Qualcomm”，第10次JVET会议，在美国加州圣地亚哥(San Diego,CA,USA)，2018年4月，文件JVET-J0021。
仿射合并模式
HEVC仅使用平移型运动模型来进行运动补偿预测。在真实世界中有许多其他种类的运动，例如放大与缩小、旋转、透视型运动、与其他非常规的运动。所述其他种类的运动中有些可以用仿射转换或仿射运动来代表，其保留点、直线、与平面。仿射转换不必然保留线间的角度或点间的距离，但却保留一直在线点间距离的比例。当仿射运动块在移动时，该块的运动向量场可使用二个控制点运动向量或四参数来描述如下：
转换块是长方块。在此运动块每一点的运动向量场可以用如下等式加以描述。
Figure GDA0003066849580000091
其中(v0x,v0y)是在左上方角落的控制点运动向量，而(v1x,v1y)是在块的右上方角落的另一个控制点运动向量。在一些实施例中，对于帧间模式编码的CU而言，当CU尺寸等于或大于16x16，仿射_标志(affine_flag)被发送来指示仿射帧间模式是否被应用。如果当前CU是在仿射帧间模式，使用相邻有效的重构块来建构候选MVP配对列表。图6示出了四参数仿射运动模型。
图7示出了用于仿射帧间模式的MVP推导。如图7所示，v0是选自块A0、A1或A2的运动向量，以及v1是选自块B0与B1的运动向量。候选MVP配对的索引可在比特流中被发送，二控制点的MV差值(MV difference，简称MVD)则可被编码在比特流中。
在一些实施例中，如果当前的PU是合并PU，相邻5块(图7中C0、B0、B1、C1与A0块)被检查来决定这些相邻块之一是否仿射帧间模式或仿射合并模式。如果是，则可以发送一仿射_标志(affine_flag)来指示当前PU是否为仿射模式。在当前PU是用仿射合并模式来编码的情况下，它会从有效的相邻重构块(valid neighbor reconstructed blocks)中得到第一个以仿射模式编码的块。如图7所示，候选块的选择顺序可以从左方、上方、右上、左下到左上(C0→B0→B1→C1→A0)。第一个仿射编码块的仿射参数可以用来推导当前PU的v0与v1。
最终的运动向量表达式(Ultimate Motion Vector Expression，UMVE)
在一些实施例，最终的运动向量表达式(Ultimate Motion Vector Expression，UMVE)在跳过或合并模式中被使用。当从多个合并候选中选择出候选时，在UMVE之下所选择候选的表达式可被扩大。UMVE提供了具有简化发送的运动向量表达式。UMVE运动向量表达式包括预测方向信息、起始点、运动幅度(motion magnitude)、与运动方向。
在一些实施例中，合并候选列表以其现况来使用。然而，默认合并类型(MRG_TYPE_DEFAULT_N)的候选被考虑用于UMVE扩大。在UMVE扩大中，预测方向信息指示在L0,L1,以及L0与L1预测之中的预测方向。在B片段中，通过使用镜像技术(mirroring technique)，双向-预测候选可以用单向-预测由合并候选所产生。例如，如果合并候选是用L1的单向-预测，参考索引L0通过搜寻列表(list)0中的特定参考画面来决定，该特定参考画面为以合并候选所得到列表(list)1的参考画面做镜像而形成。如果没有搜索到相对应画面，最接近当前画面的参考画面被使用。L0’MV通过缩放L1的MV来导出。缩放因子通过画面顺序计数(picture order count，POC)距离来计算。
如果UMVE候选的预测方向是和原始合并候选之一是相同的，则数值0的索引被发送作为UMVE预测方向。但是，如果不相同(相同于原始合并候选之一)，则数值1的索引被发送。在发送第一比特之后，剩下的预测方向基于事先定义的UMVE预测方向的优先级发送。优先级是L0/L1预测、L0预测与L1预测。如果合并候选的预测方向是L1，发送‘0’用于UMVE的预测方向L1，发送‘10’用于UMVE的预测方向L0与L1，发送‘11’用于UMVE的预测方向L0。如果L0与L1预测列表相同，UMVE的预测方向信息不被发送。
基础候选索引(base candidate index)定义出了起始点。基础候选索引指出在列表中候选之中最佳的候选如下。
表1.基础候选索引
基础候选索引 0 1 2 3
偏移量会加入到起始MV的水平分量或垂直分量中。距离索引与预先定义偏移量的关系表明如下。
表2.距离索引
Figure GDA0003066849580000111
方向索引代表MVD相对于起始点的方向。方向索引可以代表如下显示的四个方向。
表3.方向索引
Figure GDA0003066849580000112
Figure GDA0003066849580000121
在一些实施例中，为了降低编码的复杂度，块限制被应用。例如，如果CU的宽度或高度小于4，则UMVE不被执行。
多重-假设模式
本发明的一些实施例提供多重-假设模式来改善帧间预测，也就是对于跳过与/或合并模式的改善方法。在原始的跳过与合并模式中，合并索引被用来从合并候选列表中来选择一个运动候选，其可以是通过候选本身来推导的单向-预测或双向-预测。在一些实施例中，所产生的运动补偿预测子(motion compensated predictor)则被称为第一假设(或第一预测)。在多重-假设模式下，除了第一假设之外，第二假设被产生。预测子的第二假设可以通过基于帧间预测模式(例如合并或跳过模式)从运动候选的运动补偿来产生，或是通过基于帧内预测模式的帧内预测来产生。
当多重-假设模式被支持时，一个或多个多重-假设候选对于跳过与/或合并模式是可用的(available)。当第二假设(或第二预测)通过帧内预测模式产生时，多重-假设模式被称为用于帧内的MH模式或帧内MH模式或帧内MH。当第二假设通过运动候选的运动补偿或帧间预测模式(例如合并或跳过模式)产生时，多重-假设模式被称为用于帧间的MH模式或帧间MH模式或帧间MH(或也被称为用于合并的MH模式或合并MH)。
对于多重-假设模式而言，每一个多重-假设候选(或称为每一个具有多重-假设的候选)包含一个运动候选(即第一假设)与一个预测模式(即第二假设)，其中运动候选是选择自候选列表I而预测模式是选择自候选列表II。在一些用于帧内的MH模式的实施例中，每一个多重-假设候选(或被称为每一个具有多重-假设的候选)包含一个运动候选与一个帧内预测模式，其中运动候选是选择自候选列表I而帧内预测模式是选择自候选列表II。也就是说，一个运动候选可以配合(match)编码器端一个或多个帧内预测模式(或是一个或多个运动候选可以配合编码器端一个帧内预测模式)；以及通过编码模式决定，决定出一个运动候选与一个帧内预测模式，而发送给解码器。
在一些用于帧间的MH模式的实施例中，每一个多重-假设候选包含二个运动候选，而此二个运动候选中至少一个选择自候选列表I。在一些实施例中，候选列表I与当前块的合并候选列表是相同的，以及用于帧间的MH模式的多重-假设候选的二个运动候选都选择自候选列表I。在一些实施例中，候选列表I是合并候选列表的子集合。在一些实施例中，多重-假设候选的其中一个运动候选选择自合并候选列表，而相同多重-假设候选的另一个运动候选选择自候选列表I。
图8a概念性示出了通过使用用于帧内的MH模式来编码或解码像素块。如图示出了视频编解码器正在编码或解码的视频画面800。视频画面800包括的像素块810，其正在被编码或解码为当前块。当前块810通过用于帧内的MH模式来进行编解码，尤其，基于当前块810的第一预测822(第一假设)和当前块810的第二预测824(或第二假设)，结合预测820被产生。然后结合预测820被用来重构当前块810。
当前块810正通过用于帧内的MH模式来编解码。具体而言，基于参考帧802与804中至少之一，第一预测可以通过帧间-预测来获得。基于当前块810的相邻像素806，第二预测可以通过帧内-预测来获得。如图所示，第一预测822基于帧间-预测模式来产生，或是基于从包括一个或多个候选帧间-预测模式的第一候选列表832(候选列表I)中所选择的运动候选842(第一预测模式)来产生。第二预测824基于帧内-预测模式844(第二预测模式)来产生，以及帧内-预测模式844从包括一个或多个候选帧内-预测模式的第二候选列表834(候选列表II)中选择。
图8b示出了通过使用用于帧间的MH模式编解码的当前块810。具体而言，基于参考帧802与804中至少之一，第一预测822可以通过帧间-预测来获得。基于参考帧806与808中至少之一，第二预测824可以通过帧间-预测来获得。如图所示，第一预测822基于一帧间-预测模式或一运动候选842(第一预测模式)来产生，而运动候选842是从一第一候选列表832(候选列表I)中选择的。第一预测824基于一帧间-预测模式或一运动候选846(第二预测模式)来获得，而运动候选846也是从该第一候选列表832(候选列表I)中选择的。
在一些实施例中，当用于帧内的MH模式被支持时，发送一个标志(例如，来代表是否应用了用于帧内的MH模式)。此标志可以通过比特流中的语法元素来代表或指示。在一些实施例中，如果标志是开启的，一个额外的帧内模式索引被发送以指示来自候选列表II的帧内预测模式。在一些实施例中，如果标志是开启的，用于帧内的MH模式的帧内预测模式从候选列表II中隐含地来选择。
在一些实施例中，对于用于帧内的MH模式或用于帧间的MH模式，用来选择第一预测模式与第二预测模式的索引是分别且清楚地加以发送，例如，在用来编码视频画面800的比特流中的二个语法元素。例如，第一语法元素被用来指示来自第一候选列表832的第一候选842的选择，而第二语法元素被用来指示来自第二候选列表834(或第一候选列表832)的第二候选844的选择。
在一些实施例中，对于用于帧内的MH模式而言，用来选择第一预测模式的索引被发送，例如，作为在用来编码视频画面800的比特流中的一个语法元素。例如，第一语法元素被用来指示来自第一候选列表832的第一候选842的选择，而来自第二候选列表834(或第一候选列表832)的第二候选844被隐含地决定。
在一些实施例中，根据如支持-模式设定、结合-权重设定、帧内模式设定、块大小设定、以及以上任一组合的不同设定，用于帧内的MH模式或用于帧间的MH模式的不同变形可以由视频编解码器来实施。用于帧内的MH模式或用于帧间的MH模式选择上的设定，可以由块宽度与/或块高度隐含地推导出；或通过在CU水平、CTU水平、片段水平、方格(tile)水平、方格组、SPS水平、PPS水平或以上任一组合所发送的标志来显性地指示出。
支持-模式设定
帧内预测或帧间预测的假设可以与来自不同帧间模式(其被视为支持-模式设定)的帧间预测的假设相结合。在一些实施例中，帧间预测的假设可以从例如跳过、合并、AMVP、仿射合并、仿射AMVP、或子-块合并等的任一现存的帧间模式来产生。在一些实施例中，用于帧内的MH模式可以支持改善的帧间模式。例如，UMVE候选被用来产生帧间预测的假设。例如另一例子，透过参考历史-根据架构(或称历史-根据运动向量预测，HMVP)中先前已被编解码的运动信息，用于产生帧间预测假设的运动信息被获取。HMVP候选被定义为先前已编码块的运动信息。在编码/解码过程中，具有多个HMVP候选的表被维持。当新片段(slice)出现时，此表被清空。
结合-权重设定(Combined-Weight Settings)
权重被用来结合用于帧内的MH模式或用于帧间的MH模式的预测的多重假设(例如，计算预测的第一假设与预测的第二假设的权重和作为结合预测)。权重可被固定在特定数值，或随块宽度或块高度或预先定义的对照表(lookup table)而改变。例如，相同的权重被应用于预测的多重假设。
帧内模式设定
候选列表II可以根据帧内模式设定来决定。当候选列表II的大小(在列表中的候选数目)等于一时，所选择的帧内模式被推断为候选列表II中唯一可用的帧内预测模式而不用被发送。例如，候选列表II可仅包括平面模式，而所选择的帧内模式被推断为平面模式。
在一些实施例中，候选列表II是由下列所构成：{平面、直流、水平、对角}中任一或任一种组合，或是{平面、直流、水平、对角}中任一或任一种组合±偏移量，而此偏移量是整数。在一些实施例中，候选列表II(其中的候选)随着块大小或块宽度或块高度而改变。在一些实施例中，平面模式并不在候选列表II中。上述的任一组合可被应用在用于帧内的MH模式中。在一个例子中，当块大小小于特定阈值时(以T表示)，其中T可以是4x4、8x8、16x16、32x32，候选列表II包括超过一种帧内预测模式，其可以是{平面、直流、水平、对角}中任一种组合，或是{平面、直流、水平、对角}中任一种组合±偏移量。在另一个例子中，当块大小大于特定阈值时(以T表示)，其中T可以是4x4、8x8、16x16、32x32，候选列表II可以包括{直流、水平、对角}中任一个或任一种组合，或是{直流、水平、对角}中任一个或任一种组合±偏移量。对于较大块而言将平面模式移出候选列表II的好处之一是将用于产生帧内预测的假设的缓冲器大小减小。该阈值可以是固定数值或基于标准中具体指定的最大TU(例如64)，或具体指定(例如被解析或被发送)在SPS/PPS/方格(tile)/方格组/片段水平的最大TU尺寸(例如64)。
在一些实施例中，用于帧内的MH模式的帧内预测流程可以和一般帧内模式的帧内预测流程调整看齐或相同(一般帧内模式是不会与帧间预测相结合而作为多重-假设预测的一部分的帧内模式，或者一般帧内模式是指描述于“帧内-预测模式”章节中的帧内模式)。在一些实施例中，用于帧内的MH模式的帧内预测流程可以是一般帧内模式的帧内预测流程的简化版本。简化的架构(或用于帧内的MH模式的简化型帧内预测流程)可以省略(至少有些的)滤波处理流程、减少帧内内插滤波器的长度、省略例如PDPC与广角度帧内预测(于JVET-K0500所提议)等用来改良帧内预测的工具等等。例如，简化的平面模式(用于简化的帧内预测)可以仅应用一部分的(或一子集合)或都不用下列这四种平面预测步骤：(1)参考可用性检查与替代；(2)参考样本滤波；(3)水平与垂直平面预测子产生与平均；以及(4)PDPC，其中一般的平面模式可以包括所有四种平面预测步骤。
块大小设定
多重-假设模式(例如，用于帧内的MH模式或用于帧间的MH模式)可根据当前块的块宽度与/或块高度来致能。在一些实施例中，对于块大小大于特定阈值(例如4x4、8x8、16x16、32x32、64x64、或128x128)的情况，用于帧内的MH模式失能(或被禁能)。对于较大块，让用于帧内的MH模式失能或禁能的好处之一，是将用于产生帧内预测的假设的缓冲器大小减小。在一些实施例中，对于块大小小于特定阈值，例如4x4、8x8、16x16、或32x32的情况，用于帧内的MH模式失能(或被禁能)。(换言之，对于块大小大于或等于该特定阈值，例如4x4、8x8、16x16、或32x32的情况，用于帧内的MH模式被致能)。在一些实施例中，对于块宽度大于N与/或块高度大于M的块，用于帧内的MH模式失能(或被禁能)，其中N和M可以是4、8、16、32、64、或128。上述的任一组合可以应用在用于帧内的MH模式中。在一些实施例中，NxM可以代表是由NxM结果所产生的块大小阈值。例如，对于当块面积大于16、32、64、128、256、512、或1024的情况，用于帧内的MH模式或用于帧间的MH模式失能(或称禁能)。例如，对于块面积小于16、32、64、128、256、512、或1024的情况，用于帧内的MH模式或用于帧间的MH模式失能(或被禁能)。在一些实施例中，所提出的块大小设定可以使用在用于帧间的MH模式。在一些实施例中，如果用于帧内的MH模式或用于帧间的MH模式失能(或被禁能)时，已失能模式(其可以是用于帧内的MH模式或用于帧间的MH模式)的语法(例如，指示在被编码的视频数据中是否使用用于帧内的MH模式来编码当前块的标志)，不会在编码器侧被发送，以及也不会在解码器侧进行解析。在一些实施例中，在下列状况中语法被推断为错误以及此已失能模式不被应用：已失能模式(其可以是用于帧内的MH模式或用于帧间的MH模式)的语法(例如，指示在被编码的视频数据中是否使用用于帧内的MH模式来编码当前块的标志)，不在编码器被发送，以及也不在解码器来进行解析。
图9概念性示出了基于像素块的大小、宽度或高度来致能多重-假设模式(例如，用于帧内的MH模式与/或用于帧间的MH模式)。视频编解码器编码或解码视频画面900。视频画面900则分割为多种尺寸的块，包括4x4块911-914、8x8块921-923、16x16块931-933、32x32块941以及128x32块951。
一些块是从较大CU通过四叉树分割、二叉树分割、三叉树分割等分割而来的CU或PU。视频编解码器根据当前块的宽度、当前块的高度、或二者来决定当前块的块大小。在一些实施例中，视频编解码器基于当前块的块大小致能用于帧内的MH模式(或用于帧间的MH模式)。当块的宽度大于阈值宽度或块的高度大于阈值高度时，用于帧内的MH模式(或用于帧间的MH模式)失能。在一些实施例中，当块的宽度或高度大于阈值长度时，用于帧内的MH模式(或用于帧间的MH模式)失能。
当块大小≥8x8时，视频编解码器致能多重-假设模式(例如，用于帧内的MH模式或用于帧间的MH模式)进行块的编解码。以用于帧内的MH模式为例，用于帧内的MH模式具有块大小的致能阈值(≥64)。如果块的宽度或高度大于64时(例如，用于帧内的MH模式具有大于64的失能阈值长度、宽度、或高度)，视频编解码器使得块的编解码中用于帧内的MH模式(或用于帧间的MH模式)失能。用于帧内的MH模式是被致能的块以无阴影部分显示，用于帧内的MH模式是失能的块以阴影部分显示。如图所示，块911-914未以用于帧内的MH模式进行编解码，这是因为他们的宽度与高度无法导致大于或等于致能阈值8x8或64的块大小。块921-923、931-933、与941具有符合致能阈值64的大小，因此用于帧内的MH模式被致能用于编解码这些块。块951具有大于失能阈值64的宽度128，因此用于帧内的MH模式失能于编解码块951。
前面提出的任一方法可以在编码器与/或解码器中加以实施。例如，所提出的任何方法可以在编码器的帧间编解码模块或帧内编解码模块、运动补偿模块、解码器的合并候选推导模块中加以实施。所提出的任一方法也可以选择性地实施为电路而耦合至帧间编解码模块或帧内编解码模块与/或运动补偿模块、解码器的合并候选推导模块。
示例视频编码器
图10示出了示例性的视频编码器1000，其可以实施用于帧内的MH模式或用于帧间的MH模式。如图所示，视频编码器1000从视频源1005接收输入视频信号并将该信号编码成比特流1095。视频编码器1000具有若干元件或模块以将来自视频源1005的信号加以编码，包括以下至少一部分：转换模块1010、量化模块1011、逆量化模块1014、逆转换模块1015、帧内-画面估计模块1020、帧内-预测模块1025、运动补偿模块1030、运动估计模块1035、环路滤波器1045、已重构画面缓冲器1050、MV缓冲器1065、MV预测模块1075以及熵编码器1090。运动补偿模块1030与运动估计模块1035是帧间-预测模块1040的一部分。
在一些实施例中，模块1010-1090是由计算设备或电子装置的一个或多个处理单元(例如，处理器)所执行的软件指令的模块。在一些实施例中，模块1010-1090是由电子装置的一个或多个集成电路(integrated circuit，IC)所实现的硬件电路的模块。虽然模块1010-1090被示出为分离的模块，但是一些模块可以被组合成单一个模块。
视频源1005提供原始视频信号，其呈现没有压缩的每个视频帧的像素数据。减法器1008计算视频源1005的原始视频像素数据与来自于运动补偿模块1030或者帧内-预测模块1025的已预测像素数据1013之间的差值。转换模块1010将此差值(或残差像素数据或残差信号1009)转换为转换系数(例如，透过执行离散余弦转换(Discrete CosineTransform，简称DCT)、离散正弦转换(Discrete Sine Transform，简称DST)、或任一其它转换功能)。量化模块1011将转换系数量化为已量化数据(或已量化系数)1012，其由熵编码器1090编码进比特流1095中。
逆量化模块1014逆量化已量化资料(或已量化系数)1012，以获得转换系数，而逆转换模块1015对转换系数执行逆转换以产生已重构残差1019。已重构残差1019与已预测像素数据1013相加以生成已重构像素数据1017。在一些实施例中，已重构像素数据1017被暂时存储在线缓冲器(未示出)中以用于帧内-画面预测和空间MV预测。已重构像素由环路滤波器1045进行滤波并被存储在已重构画面缓冲器1050中。在一些实施例中，已重构画面缓冲器1050是在视频编码器1000之外的内存。在一些实施例中，已重构画面缓冲器1050是在视频编码器1000之内的内存。
帧内-画面估计模块1020基于已重构像素数据1017执行帧内-预测，以产生帧内预测数据。帧内-预测数据被提供给熵编码器1090以被编码进比特流1095中。帧内-预测数据也被帧内-预测模块1025使用，以产生已预测像素数据1013。
运动估计模块1035通过提供MV给存储在已重构画面缓冲器1050中的先前已解码视频帧的参考像素数据，来执行帧间-预测。这些MV被提供给运动补偿模块1030以产生已预测像素数据。
不用将完整实际MV编码进比特流中，视频编码器1000使用MV预测来产生已预测MV，以及用于运动补偿的MV与已预测MV之间的差值被编码为残差运动数据并被存储在比特流1095中。
MV预测模块1075基于参考MV来产生已预测MV，所述参考MV被生成用于编码先前视频帧，也就是用于执行运动补偿的运动补偿MV。MV预测模块1075从MV缓冲器1065中取回来自先前视频帧的参考MV。视频编码器1000将被生成用于当前视频帧的MV存储在MV缓冲器1065中，以作为用于产生已预测MV的参考MV。
MV预测模块1075使用参考MV来创建已预测MV。已预测MV可以由空间MV预测或时间MV预测来计算。当前视频帧(残差运动数据)的已预测MV与运动补偿MV(MC MV)之间的差值由熵编码器1090编码进比特流1095中。
熵编码器1090透过使用诸如上下文适应性二进制算术编码(Context-basedAdaptive Binary Arithmetic Coding，CABAC)或霍夫曼编码(Huffman encoding)的熵编解码技术，将各种参数和数据编码进比特流1095中。熵编码器1090将各种标头元素、标志、以及已量化转换系数1012与残差运动数据，一起编码为语法元素进入比特流1095中。然后比特流1095被存储于存储装置中或被传输出去(例如，透过诸如网络的通信介质被传输至解码器)。
环路滤波器1045对已重构像素数据1017进行滤波运算或平滑操作运算以减少编解码伪影，特别是在像素块的边界处。在一些实施例中，所执行的滤波操作包括解块(deblocking)或取样自适应偏移(Sample Adaptive Offset，SAO)。在一些实施例中，滤波操作包括自适应环路滤波器(Adaptive Loop Filter，ALF)。
图11a示出了部分的视频编码器1000，当编码像素块时，其可以实施用于帧内的MH模式。如图所示，视频编码器1000实施结合预测模块1110，其产生已预测的像素数据1013。结合预测模块1110接收通过帧内-画面预测模块1025所产生的帧内-预测值。结合预测模块1110也从运动补偿模块1030接收帧间-预测值。通过运动补偿模块1030与帧内-画面预测模块1025来编码像素块所使用的运动信息与模式方向，则储存于内存中，以供相同模块使用在后续块中来作为合并模式或用于帧内的MH模式的候选。
当用于帧内的MH模式被致能时(对于块或块的一部分)，MH模式控制器1120控制帧内-画面预测模块1025与运动补偿模块1030的操作。MH模式控制器1120决定帧间-预测模式列表(候选列表I)与帧内-预测模式列表(候选列表II)。每一个列表的候选基于多种因素来被决定与被辨识，包括当前块的大小、宽度、或高度，与/或相对应运动候选的方向。基于当前块的大小、宽度、或高度，MH模式控制器1120也可被致能或失能用于帧内的MH模式，也就是通过使帧内-画面预测模块1025与运动补偿模块1030中之一或二者致能或失能来达成。在一些实施例中，帧内预测模块1025使用缓冲器，以及所述缓冲器的大小可基于可使得用于帧内的MH模式失能的块宽度或高度的阈值来减小。
MH模式控制器1120从候选列表I中选择出帧间-预测候选以及从候选列表
II中选择出帧内-预测候选。运动补偿模块1030基于从候选列表I中所选择的候
选来执行帧间-预测。帧内-画面预测模块1025基于从候选列表II中所选择的候选来执行帧内-预测。帧间-预测与帧内-预测的结果则在结合预测模块1110中结合起来(例如，加以平均)而产生已预测像素数据1013。
MH模式控制器也提供信息给熵编码器1090来插入于比特流中作为语法元素。这些语法元素发送(signal)用于帧内的MH模式是否被开启。或者，对于帧内MH模式，这些语法元素也可显性地(explicitly)发送用于来自候选列表I与II中的帧间-预测与帧内-预测候选的选择。用来发送帧间-预测与帧内-预测候选的选择的语法元素可包括单一索引，其从包括候选列表I与候选列表II二者的结合列表中选择该帧间-预测与帧内-预测候选。如果候选列表I或候选列表II仅有一个候选，则用来发送帧内-预测候选与/或帧间-预测候选的选择的语法元素也可被省略(隐含性发送，implicit signaling)。
通过使用所选择的帧内预测模式来辨识一组相邻像素以及应用内插滤波器于该组经过辨识的相邻像素来产生一组经过内插的像素，帧内预测模块1025产生帧内预测结果。信号(标示为MH帧内/一般帧内)控制帧内预测模块1025是否被用来产生用于帧内的MH模式或一般帧内预测的帧内预测结果。
当帧内预测模块1025被用来产生常规或一般帧内预测的帧内预测结果时(即，不是用于帧内MH模式的部分，或描述于帧内-预测模式的章节)，则例如PDPC与广角度帧内预测等用来改良帧内预测的工具也可被使用。例如，当所选择的帧内预测模式是平面模式时，对于一般帧内预测而言，帧内预测模块1025也可以执行参考可用性检查与替代、参考样本滤波、水平平面预测子产生与平均、以及PDPC。
而从另一方面而言，当帧内预测模块1025被用来产生用于帧内的MH模式的帧内预测结果时，帧内预测模块1025执行简化(simplified)的帧内预测处理流程。这种简化的处理流程可以省略(至少有些的)滤波处理流程、减少帧内内插滤波器的长度(例如，具有三个或更少的抽头(taps)，而不用四个抽头)、省略例如PDPC与广角度帧内预测等用来改良帧内预测的工具。简化的帧内预测处理流程在计算平面模式时可以仅应用一部分的(或子集合)或都不用四种平面预测步骤(参考可用性检查与替代、参考样本滤波、水平平面预测子产生与平均、以及PDPC)。在一些实施例中，该组经过内插的像素没有经过帧内MH模式的进一步调整而被使用作为帧内预测的结果。
图11b示出了部分的视频编码器1000，当编码像素块时，其可以实施用于帧间的MH模式。如图所示，视频编码器1000实施结合预测模块1110，其产生已预测的像素数据1013。结合预测模块1110接收从运动补偿模块1030来的第一组帧间-预测值。结合预测模块1110也接收来自相同的运动补偿模块1030或第二运动补偿模块1130的第二组帧间-预测值。由运动补偿模块1030(与第二运动补偿模块1130)用来解码像素块所使用的二组运动信息被储存于内存中，以供相同模块用于后续块中作为合并模式或用于帧间的MH模式的候选。
当用于帧间的MH模式被致能时(对于块或块的一部分)，MH模式控制器1120控制运动补偿模块1030的操作(与/或第二运动补偿模块1130)。MH模式控制器1120创建帧间-预测模式列表(候选列表I)。列表中的候选基于多种因素来被决定与被辨识，包括当前块的大小、宽度、或高度，与/或相对应运动候选的方向。
MH模式控制器1120从候选列表I中选择出第一帧间-预测候选以及第二帧内-预测候选。运动补偿模块1030基于从候选列表I中所选择的第一帧间-预测候选来执行第一帧间-预测。运动补偿模块1030(或第二运动补偿模块1130)基于从候选列表I中所选择的第二帧间-预测候选来执行第二帧间-预测。第一帧间-预测与第二帧间-预测的结果则在结合预测模块1110中结合起来(例如，加以平均)产生已预测像素数据1013。
MH模式控制器也提供信息给熵编码器1090来插入于比特流中作为语法元素。这些语法元素发送用于帧间的MH模式是否被开启。或者，对于帧间MH模式，这些语法元素也可显性地(explicitly)发送来自候选列表I的第一帧间-预测与第二帧间-预测候选的选择。用来发送第一与第二帧间-预测候选的选择的语法元素也可包括从候选列表I中选择该第一帧间-预测候选的单一索引以及从候选列表I中选择该第二帧间-预测候选的单一索引。用来发送第一与第二帧间-预测候选的选择的语法元素也可包括从候选列表I中选择所述二个帧间-预测候选的单一索引。如果候选列表I仅有一个候选，则用来发送帧间-预测候选的选择的语法元素也可以被省略(隐含性发送，implicit signaling)。
图12概念性示出了流程1200，其使用用于帧内的MH模式(或用于帧间的MH模式)来编码像素块。在一些实施例中，通过执行储存于计算机可读取媒介上的指令，实施编码器1000的计算装置上的一个或多个处理单元(例如，处理器)执行流程1200。在一些实施例中，实施编码器1000的电子装置执行流程1200。
编码器接收(于步骤1210)原始像素或视频数据，以将像素块编码为当前画面中的当前块。基于选择自第一候选列表的第一预测模式，编码器产生(于步骤1220)当前块的第一预测。第一候选列表(例如候选列表I)包括一个或多个候选帧间-预测模式。第一候选列表可以与合并候选列表相同，或是合并候选列表的子集合。
根据当前块的宽度、高度或其他的大小设定，编码器决定(于步骤1225)用于帧内的MH模式(或用于帧间的MH模式)是否可以被致能(enabled)。在一些实施例中，根据块的大小是否符合(例如大于或等于)致能阈值(enabling threshold，例如64)，编码器决定是否致能该用于帧内的MH模式(或用于帧间的MH模式)。根据块的高度与/或宽度(例如，面积)，块的大小被决定。如果当前块的大小不符合(例如小于)所述致能阈值时，流程进行到1270。如果块的大小符合所述致能阈值时，则流程进行到1240。在一些实施例中，根据块的宽度与/或高度，编码器决定用于帧内的MH模式是否失能(disabled)。在一些实施例中，根据块的宽度或高度是否超过(例如大于)失能阈值(disabling threshold，例如64)，编码器决定是否使该用于帧内的MH模式失能。如果是，流程进行到1270。如果块的宽度与/或高度未超过(例如小于或等于)该失能阈值，则流程进行到1240。
于步骤1240，编码器从第一候选列表或包括一个或多个帧内预测模式的第二候选列表中选择出第二预测模式。基于块的属性或第一预测模式的方向，编码器可辨识出第二候选列表的候选(例如，候选列表II)。例如，第二候选列表的候选顺序可基于第一预测模式的方向来决定(例如，当第一预测模式的运动候选是来自左方相邻块，或第二候选列表的第一帧内-预测模式的方向是水平)。在另一例子，第二候选列表的候选数目可以基于当前块的宽度、高度、或大小来决定。在一些实施例中，如果第二候选列表中仅有一个候选，编码器选择第二候选列表中此唯一的候选当成第二预测模式而不显性地(explicitly)在比特流中发送。上述选择可通过码字发送，而该码字也以语法元素的方式而被纳入比特流中。基于列表中候选的顺序，第二候选列表中不同的候选被指定不同的码字。在列表中的第一个候选则被指定最短的码字。流程进行到1250。
于步骤1250，基于所选择的第二预测模式，编码器通过执行帧内预测而产生当前块的第二预测。当执行用于帧内的MH模式的帧内预测时，编码器可以省略掉用来增强一般帧内预测结果的工具。
基于当前块的第一预测与第二预测产生结合预测，然后编码器通过使用上述结合预测来对当前块进行编码(于步骤1260)。结合预测可以是第一预测与第二预测经过加权后的总和。
于步骤1270，编码器不使用帧内的MH模式而对当前块进行编码。在一些实施例中，当前块由其他预测模式进行编码，例如，没有结合预测的合并模式。在一些其他的实施例中，流程1200可以修改为使用帧间的MH模式来编码像素块，在本发明中此种作法不应受限。
示例视频解码器
图13示出了示例性的视频解码器1300，其可以实施MH模式(用于帧内的MH模式与/或用于帧间的MH模式)。如图所示，视频解码器1300是影像-解码或视频-解码电路，其接收比特流1395并将比特流的内容解码为视频帧的像素数据以用于显示。视频解码器1300具有用于解码比特流1395的若干元件或模块，包括以下至少一部分：逆量化模块1305、逆转换模块1310、帧内-预测模块1325、运动补偿模块1330、环路滤波器1345、已解码画面缓冲器1350、MV缓冲器1365、MV预测模块1375与解析器1390。运动补偿模块1330是帧间-预测模块1340的一部分。
在一些实施例中，模块1310-1390是由计算设备的一个或多个处理单元(例如，处理器)所执行的软件指令的模块。在一些实施例中，模块1310-1390是由电子设备的一个或多个集成电路所实现的硬件电路的模块。虽然模块1310-1390被表示为分离的模块，但是一些模块可以被组合成单一模块。
解析器1390(或熵解码器)接收比特流1395，以及根据由视频-编码或影像-编码标准所定义的语法来进行初步解析。所解析的语法元素包括各种标头元素、标志、以及已量化数据(或已量化系数)1312。解析器1390通过使用诸如上下文适应性二进制算术编码(CABAC)或霍夫曼编码的熵编解码技术来解析出各种语法元素。
逆量化模块1305对已量化数据(或已量化系数)1312进行逆量化以获得转换系数，并且逆转换模块1310对转换系数1316执行逆转换运算以产生已重构残差信号1319。已重构残差信号1319与来自于帧内-预测模块1325或运动补偿模块1330的已预测像素数据1313相加，以产生已解码像素数据1317。已解码像素数据由环路滤波器1345滤波以及被存储在已解码画面缓冲器1350中。在一些实施例中，已解码画面缓冲器1350是在视频解码器1300之外的内存。在一些实施例中，已解码画面缓冲器1350是在视频解码器1300之内的内存。
帧内-预测模块1325从比特流1395接收帧内-预测数据，以及据此从存储在已解码画面缓冲器1350中的已解码像素数据1317产生已预测像素数据1313。在一些实施例中，已解码像素数据1317也被存储在用于帧内-画面预测和空间MV预测的线缓冲器(未示出)中。
在一些实施例中，已解码画面缓冲器1350的内容被用于显示。显示设备1355直接取回出已解码画面缓冲器1350的内容以进行显示，或将已解码画面缓冲器的内容取回到显示缓冲器。在一些实施例中，显示设备透过像素传输从已解码画面缓冲器1350来接收像素值。
运动补偿模块1330根据运动补偿MV(motion compensation MV，简称MC MV)，从存储在已解码画面缓冲器1350中的已解码像素数据1317产生已预测像素数据1313。这些运动补偿MV透过将自比特流1395接收的残差运动数据与自MV预测模块1375接收的预测MV相加而被解码。
MV预测模块1375基于参考MV来产生已预测MV，所述参考MV是在解码先前视频帧所产生的，也就是用于执行运动补偿的运动补偿MV。MV预测模块1375从MV缓冲器1365中取回先前视频帧的参考MV。视频解码器1300将产生用来解码当前视频帧的运动补偿MV存储在MV缓冲器1365中，以作为用于产生已预测MV的参考MV。
环路滤波器1345对已解码像素数据1317执行滤波操作或平滑操作，以减少编解码伪影，特别是在像素块的边界处。在一些实施例中，所执行的滤波操作包括解块(deblocking)与/或取样自适应偏移(Sample Adaptive Offset，SAO)。在一些实施例中，滤波操作包括自适应环路滤波器(Adaptive Loop Filter，ALF)。
图14a示出了部分的视频解码器，当解码像素块时，其可以实施用于帧内的MH模式。如图所示，视频解码器1300实施结合预测模块1410，其产生已预测的像素数据1313。结合预测模块1410接收通过帧内-画面预测模块1325所产生的帧内-预测值。结合预测模块1410也从运动补偿模块1330接收帧间-预测值。由运动补偿模块1330与帧内-画面预测模块1325用来解码像素块所使用的运动信息与模式方向，被储存于内存中，以供相同模块用于后续块中作为合并模式或MH模式的候选。
当用于帧内的MH模式被致能时(对于块或块的一部分)，MH模式控制器1420控制帧内-画面预测模块1325与运动补偿模块1330的操作。MH模式控制器1420决定帧间-预测模式列表(候选列表I)与帧内-预测模式列表(候选列表II)。每一列表的候选基于多种因素来被决定与被辨识，包括当前块的大小、宽度、或高度，与/或相对应运动候选的方向。基于当前块的大小、宽度、或高度，MH模式控制器1420也可以致能或失能用于帧内的MH模式，也就是通过使帧内-画面预测模块1325与运动补偿模块1330中之一或二者致能或失能来达成。在一些实施例中，帧内预测模块1325使用缓冲器，所述缓冲器的大小可基于可使得用于帧内的MH模式失能的块宽度或高度的阈值来减小。
MH模式控制器1420从候选列表I中选择出帧间-预测候选以及从候选列表II中选择出帧内-预测候选。运动补偿模块1330基于从候选列表I中所选择出候选来执行帧间-预测。帧内-画面预测模块1325基于从候选列表II中所选择出候选来执行帧内-预测。帧间-预测与帧内-预测的结果则在结合预测模块1410中结合起来(例如，加以平均)产生已预测像素数据1313。
MH模式控制器1420基于比特流中的语法元素接收来自解析器1390的信息。这些语法元素发送(signal)用于帧内的MH模式是否被开启。或者，对于帧内的MH模式，这些语法元素也可显性地(explicitly)发送来自候选列表I与II的帧间-预测与帧内-预测的候选的选择。用来发送帧间-预测与帧内-预测候选的选择的语法元素，也可包括从候选列表I中选择该帧间-预测候选的单一索引以及从候选列表II中选择帧内-预测候选的单一索引。用来发送帧间-预测与帧内-预测候选的选择的语法元素也可以包括一单一索引，其从包括候选列表I与候选列表II二者的结合列表中选择出该帧间-预测与帧内-预测候选。如果候选列表I或候选列表II仅有一个候选，则用来发送帧内-预测候选与/或帧间-预测候选的选择的语法元素也可以被省略(隐含性发送，implicit signaling)。
通过使用所选择的帧内预测模式来辨识一组相邻像素以及应用内插滤波器于该组经过辨识的相邻像素来产生一组经过内插的像素，帧内预测模块1325产生帧内预测结果。信号(标示为MH帧内/一般帧内)控制帧内预测模块1325是否被用来产生用于帧内的MH模式或一般帧内预测的帧内预测结果。
当帧内预测模块1325被用来产生常规或一般帧内预测的帧内预测结果(即，不是用于帧内MH模式的部分)，则例如PDPC与广角度帧内预测等用来改良帧内预测的工具也可被使用。例如，当所选择的帧内预测模式是平面模式时，对于一般帧内预测而言，帧内预测模块1325也可以执行参考可用性检查与替代、参考样本滤波、水平平面预测子产生与平均、以及PDPC。
而从另一方面而言，当帧内预测模块1325被用来产生用于帧内的MH模式的帧内预测结果时，帧内预测模块1325使用简化的帧内预测处理流程。这种简化的处理流程可省略(至少有些的)滤波处理流程、减少帧内内插滤波器的长度(例如，具有三个或更少的抽头，而不用四个抽头)、省略例如PDPC与广角度帧内预测等用来改良帧内预测的工具。简化的帧内预测处理流程在计算平面模式时可以仅应用一部分的(或子集合)或都不用四种平面预测步骤(参考可用性检查与替代、参考样本滤波、水平平面预测子产生与平均、以及PDPC)。在一些实施例中，该组经过内插的像素没有经过帧内MH模式的进一步调整而被使用作为帧内预测的结果。
图14b示出了部分的视频解码器1300，当解码像素块时，其可以实施用于帧间的MH模式。如图所示，视频解码器1300实施结合预测模块1410，其产生已预测的像素数据1313。结合预测模块1410接收来自运动补偿模块1330的第一组帧间-预测值。结合预测模块1410也接收来自相同的运动补偿模块1330或第二运动补偿模块1430的第二组帧间-预测值。由运动补偿模块1330(与第二运动补偿模块1430)编码像素块所使用的二组运动信息被储存于内存中，以供相同模块用于后续块中作为合并模式或用于帧间的MH模式的候选。
当用于帧间的MH模式被致能时(对于块或块的一部分)，MH模式控制器1420控制运动补偿模块1330的操作(与/或第二运动补偿模块1430)。MH模式控制器1420创建帧间-预测模式列表(候选列表I)。列表中的候选基于多种因素来被决定与被辨识，包括当前块的大小、宽度、或高度，与/或相对应运动候选的方向(如果运动候选是来自左方相邻块，则方向是水平)。
MH模式控制器1420从候选列表I中选择出第一帧间-预测候选以及第二帧内-预测候选。运动补偿模块1330基于从候选列表I中所选择的第一帧间-预测候选来执行第一帧间-预测。相同的运动补偿模块1330(或第二运动补偿模块1430)基于从候选列表I中所选择出的第二帧间-预测候选来执行第二帧间-预测。第一帧间-预测与第二帧间-预测的结果在结合预测模块1410中结合起来(例如，加以平均)产生已预测像素数据1313。
MH模式控制器从比特流中的语法元素接收熵解码器1390所解析的信息。这些语法元素发送用于帧间的MH模式是否被开启。对于帧间的MH模式，这些语法元素也可显性地(explicitly)发送来自候选列表I的第一帧间-预测与第二帧间-预测的候选的选择。用来发送第一与第二帧间-预测候选的选择的语法元素也可包括从候选列表I中选择所述二个帧间-预测候选的单一索引。如果候选列表I仅有一个候选，则用来发送帧间-预测候选的选择的语法元素也可被省略(隐含性发送，implicit signaling)。
图15各自概念性示出了流程1500，其使用用于帧内的MH模式(或用于帧间的MH模式)来解码像素块。在一些实施例中，通过执行储存于计算机可读取媒介上的指令，实施解码器1300的计算装置上的一个或多个处理单元(例如，处理器)执行流程1500。在一些实施例中，实施解码器1300的电子装置执行流程1500。
解码器接收(于步骤1510)将被解码的数据，以将像素块解码为当前画面中的当前块。基于选择自第一候选列表的第一预测模式，解码器产生(于步骤1520)当前块的第一预测。第一候选列表(例如候选列表I)包括一个或多个候选帧间-预测模式。第一候选列表与合并候选列表相同，或是合并候选列表的子集合。
根据当前块的宽度、高度或其他的大小设定，解码器决定(于步骤1525)用于帧内的MH模式(或用于帧间的MH模式)是否被致能(enabled)。在一些实施例中，根据块的大小是否符合(例如大于或等于)致能阈值(enabling threshold，例如64)，解码器决定是否致能该用于帧内的MH模式(或用于帧间的MH模式)。根据块的高度与/或宽度(例如，面积)，块的大小被决定。如果当前块的大小不符合(例如小于)所述致能阈值时，流程进行到1570。如果块的大小符合所述致能阈值时，则流程进行到1540。在一些实施例中，根据块的宽度与/或高度，解码器决定用于帧内的MH模式是否失能(disabled)。在一些实施例中，根据块的宽度或高度是否超过(例如大于)失能阈值(disabling threshold，例如64)，解码器决定是否使该用于帧内的MH模式失能。如果是，流程进行到1570。如果块的宽度与/或高度未超过(例如小于或等于)该失能阈值，则流程进行到1540。
于步骤1540，解码器从第一候选列表或包括一个或多个帧内预测模式的第二候选列表中选择出第二预测模式。基于块的属性或第一预测模式的方向，解码器可以识别出第二候选列表的候选(例如，候选列表II)。例如，第二候选列表的候选顺序可基于第一预测模式的方向来决定(例如，当第一预测模式的运动候选是来自左方相邻块，或第二候选列表的第一帧内-预测模式的方向是水平)。在另一例子，第二候选列表的候选数目可以基于当前块的宽度、高度、或大小来决定。在一些实施例中，如果第二候选列表中仅有一个候选，解码器则选择第二候选列表中此唯一的候选当成第二预测模式而不显性地(explicitly)于比特流中加以发送。上述选择可通过码字发送，以及该码字以语法元素的方式而被纳入比特流中。基于列表中候选的顺序，第二候选列表中不同的候选则被指定不同的码字。在列表中的第一个候选则被指定最短的码字。流程进行到1550。
于步骤1550，基于所选择的第二预测模式，解码器通过执行帧内预测而产生当前块的第二预测。当执行用于帧内的MH模式的帧内预测时，解码器可省略掉用来增强一般帧内预测结果的工具。
通过使用基于当前块的第一预测与第二预测产生的结合预测，解码器对当前块进行重构(于步骤1560)。结合预测是第一预测与第二预测的加权后的总和。
于步骤1570，解码器不使用帧内的MH模式而对当前块进行重构。在一些实施例中，当前块由其他预测模式进行解码，例如，没有结合预测的合并模式。在一些其他的实施例中，流程1500被修改为使用帧间的MH模式来解码像素块，于本发明中此种作法不应受限。
示例电子系统
很多上述的特征和应用可以被实现为软件处理，其被指定为记录在计算机可读存储介质(computer readable storage medium)(也被称为计算机可读介质)上的指令集。当这些指令由一个或多个计算单元或者处理单元(例如，一个或多个处理器、处理器核或者其他处理单元)来执行时，则这些指令使得该处理单元执行这些指令所表示的动作。计算机可读介质的示例包括但不限于CD-ROM、闪存驱动器(flash drive)、随机存取内存(randomaccess memory，RAM)芯片、硬盘、可擦写可程序设计只读存储器(erasable programmableread only memory，EPROM)，电可擦除可程序设计只读存储器(electrically erasableprogrammable read-only memory，EEPROM)等。该计算机可读介质不包括透过无线或有线连接的载波和电信号。
在本说明书中，术语“软件”意味着包括只读存储器中的固件或者存储在磁存储装置中的应用程序，该应用程序可以被读入到内存中以用于处理器进行处理。同时，在一些实施例中，多个软件发明可以作为更大程序的子部分来实现，而保留不同的软件发明。在一些实施例中，多个软件发明可以作为独立的程序来实现。最后，一起实现此处所描述的软件发明的独立的程序的任一结合都在本发明的范围内。在一些实施例中，当被安装以在一个或多个电子系统上进行操作时，软件程序定义了一个或多个特定的机器实现方式，该机器实现方式执行和实施该软件程序的操作。
图16概念性示出在本申请一些实施例中实现的电子系统1600。电子系统1600可以是计算机(例如，台式计算机、个人计算机、平板计算机等)、电话、PDA或者其他种类的电子设备。所述电子系统包括各种类型的计算机可读媒质和用于各种其他类型的计算机可读媒质的接口。电子系统1600包括总线1605、处理单元1610、图像处理单元((graphics-processing unit，GPU)1615、系统内存1620、网络1625、只读存储器(read-only memory，ROM)1630、永久存储装置1635、输入设备1640和输出设备1645。
总线1605集体表示与大量的电子系统1600通信连接的内部设备的所有系统总线、外设总线和芯片组总线。例如，总线1605透过图像处理单元1615、只读存储器1630、系统内存1620和永久存储装置1635，与处理单元1610通信连接。
对于这些各种内存单元，处理单元1610取回执行的指令和处理的数据，以为了执行本发明的处理。在不同实施例中，该处理单元可以是单个处理器或者多核处理器。一些指令被传输至图像处理单元1615以及被其执行。该图像处理单元1615可以卸载各种计算或补充由处理单元1610提供的图像处理。
只读存储器1630存储处理单元1610或者电子系统的其他模块所需要的静态数据和指令。另一方面，永久存储装置1635是一种读写内存设备(read-and-write memory)。所述设备是一种非易失性(non-volatile)内存单元，即使在电子系统1600关闭时，所述设备也存储指令和数据。本发明的一些实施例使用大容量存储设备(例如磁盘或光盘及其相应的磁盘驱动器)作为永久存储装置1635。
其他实施例使用可移动存储装置设备(如软盘、闪存设备等，以及其相应的磁盘驱动器)作为该永久存储装置。与永久存储装置1635一样，系统内存1620是一种读写内存设备。但是，与存储装置1635不一样的是，该系统内存1620是一种易失性(volatile)读写内存，例如随机读取内存。系统内存1620存储一些处理器在运行时需要的指令和数据。在一些实施例中，根据本发明的处理被存储在该系统内存1620、永久存储装置1635和/或只读存储器1630中。例如，各种内存单元包括用于根据一些实施例的处理多媒体剪辑的指令。对于这些各种内存单元，处理单元1610取回执行的指令和处理的数据，以为了执行某些实施例的处理。
总线1605也连接到输入设备1640和输出设备1645。该输入设备1640使得用户沟通信息以及选择指令到该电子系统上。该输入设备1640包括字母数字元键盘和定点设备(pointing device)(也被称为“游标控制设备”)，相机(如网络摄像头(webcam))，用于接收语音命令的麦克风或类似的设备等。输出设备1645显示由电子系统生成的图像或以其他方式输出的数据。输出设备1645包括打印机和显示设备，例如阴极射线管(cathode raytube，CRT)或液晶显示器(liquid crystal display，LCD)，以及扬声器或类似的音频输出设备。一些实施例包括诸如同时用作输入设备和输出设备的触摸屏等设备。
最后，如图16所示，总线1605也透过网络适配器(未示出)将电子系统1600耦接到网络1625。在这个方式中，计算机可以是计算机网络(例如，局域网(local area network，LAN)、广域网(wide area network，WAN)或者内部网络)或者网络的网络(例如互联网)的一部分。电子系统1600的任一或者所有元件可以与本发明结合使用。
一些实施例包括电子元件，例如，微处理器、存储装置和内存，其将计算机程序指令存储到机器可读介质或者计算机可读介质(可选地被称为计算机可读存储介质、机器可读介质或者机器可读存储介质)。计算机可读介质的一些实例包括RAM、ROM、只读光盘(read-only compact disc，CD-ROM)，可录制光盘(recordable compact disc，CD-R)、可擦写光盘(rewritable compact disc，CD-RW)、只读数字通用光盘(read-only digitalversatile disc)(例如，DVD-ROM，双层DVD-ROM)、各种可记录/可擦写DVD(例如DVD RAM、DVD-RW、DVD+RW等)、闪存(如SD卡、迷你SD卡，微SD卡等)、磁性和/或固态硬盘、只读和可刻录
Figure GDA0003066849580000371
(
Figure GDA0003066849580000372
)盘、超高密度光盘和其他任何光学介质或磁介质，以及软盘。计算机可读介质可以存储由至少一个处理单元执行的计算机程序，并且包括用于执行各种操作的指令集。计算机程序或计算机代码的示例包括机器代码，例如编译程序产生的机器代码，以及包含由计算机、电子元件或微处理器使用注释器(interpreter)而执行的高级代码的文档。
当以上讨论主要是指执行软件的微处理器或多核处理器时，很多上述的功能和应用程序由一个或多个集成电路执行，如特定应用的集成电路(application specificintegrated circuit，ASIC)或现场可程序设计门阵列(field programmable gate array，FPGA)。在一些实施例中，这种集成电路执行存储在该电路本身上的指令。此外，一些实施例执行存储在可程序设计逻辑器件(programmable logic device，PLD)，ROM或RAM设备中的软件。
如本发明的说明书和任一请求项中所使用，术语“计算机”、“服务器”、“处理器”和“内存”均指电子设备或其他技术设备。这些术语不包括人或群体。为了本说明书的目的，术语显示或显示设备指在电子设备上进行显示。如本发明的说明书和任一请求项中所使用，术语“计算机可读介质”、“计算机可读媒质”和“机器可读介质”完全局限于有形的、实体的物体，其以计算机可读的形式存储信息。这些术语不包括任何无线信号、有线下载信号和其他任何短暂信号。
在结合许多具体细节的情况下描述了本发明时，所属技术领域的技术人员将认识到，本发明可以以其他具体形式而被实施，而不脱离本发明的精神。此外，大量的图(包括图12和图15)概念性示出了处理。这些处理的具体操作可以不以所示以及所描述的确切顺序来被执行。这些具体操作可用不在一个连续的操作系列中被执行，并且不同的具体操作可以在不同的实施例中被执行。另外，该处理透过使用几个子处理而被实现，或者作为更大宏处理的部分。因此，所属技术领域的技术人员将能理解的是，本发明不受前述说明性细节的限制，而是由请求项加以界定。
附加的说明
本文所描述的主题有时表示不同的元件，其包含在或者连接到其他不同的元件。可以理解的是，所描述的结构仅是示例，实际上可以由许多其他结构来实施，以实现相同的功能。从概念上讲，任何实现相同功能的元件的排列实际上是“相关联的”，以便实现所需的功能。因此，不论结构或中间部件，为实现特定的功能而组合的任何两个元件被视为“相互关联”，以实现所需的功能。同样，任何两个相关联的元件被看作是相互“可操作连接”或“可操作耦接”，以实现特定功能。能相互关联的任何两个元件也被视为相互“可操作地耦合”以实现特定功能。可操作连接的具体例子包括但不限于物理可配对和/或物理上相互作用的元件，和/或无线可交互和/或无线上相互作用的元件，和/或逻辑上相互作用和/或逻辑上可交互的元件。
此外，关于基本上任何复数和/或单数术语的使用，所属技术领域的技术人员可以根据上下文和/或应用从复数转换为单数和/或从单数到复数。为清楚起见，本文明确规定了不同的单数/复数排列。
此外，所属技术领域的技术人员可以理解，通常，本发明所使用的术语特别是请求项中的，如请求项的主题，通常用作“开放”术语，例如，“包括”应解释为“包括但不限于，“有”应理解为“至少有”“包括”应解释为“包括但不限于”等。所属技术领域的技术人员可以进一步理解，若计划介绍特定数量的请求项内容，将在请求项内明确表示，并且，在没有这类内容时将不显示。例如，为帮助理解，下面请求项可能包含短语“至少一个”和“一个或多个”，以介绍请求项内容。然而，这些短语的使用不应理解为暗示使用不定冠词“a”或“an”介绍请求项内容，而限制了任何特定的请求项。甚至当相同的请求项包括介绍性短语“一个或多个”或“至少有一个”，不定冠词，例如“a”或“an”，则应被解释为表示至少一个或者更多，对于用于介绍请求项的明确描述的使用而言，同样成立。此外，即使明确引用特定数量的介绍性内容，所属技术领域的技术人员可以认识到，这样的内容应被解释为表示所引用的数量，例如，没有其他修改的“两个引用”，意味着至少两个引用，或两个或两个以上的引用。此外，在使用类似于“A、B和C中的至少一个”的表述的情况下，通常如此表述是为了所属技术领域的技术人员可以理解该表述，例如，“系统包括A、B和C中的至少一个”将包括但不限于单独具有A的系统，单独具有B的系统，单独具有C的系统，具有A和B的系统，具有A和C的系统，具有B和C的系统，和/或具有A、B和C的系统，等。所属技术领域的技术人员进一步可理解，无论在说明书中、请求项中或者附图中，由两个或两个以上的替代术语所表现的任何分隔的单词和/或短语应理解为，包括这些术语中的一个，其中一个，或者这两个术语的可能性。例如，“A或B”应理解为，“A”，或者“B”，或者“A和B”的可能性。
从前述可知，为了说明目的，此处已描述了各种实施方案，并且在不偏离本发明的范围和精神的情况下，可以进行各种变形。因此，此处所公开的各种实施方式不用于限制，权利要求书表示真实的范围和精神。

Claims (15)

1.一种视频解码方法，包括：
从比特流中接收将被解码的数据，以将像素块解码作为视频的当前画面中的当前块；
基于帧间预测模式而产生所述当前块的第一预测；
根据所述当前块的宽度或高度决定所述当前块的块大小；
基于所述当前块的所述块大小致能所述当前块的结合预测模式，其中当所述当前块的所述宽度或所述高度大于阈值长度时，所述结合预测模式失能；以及
当所述结合预测模式被致能时：
产生第二预测；
基于所述第一预测与所述第二预测产生所述当前块的结合预测；以及
通过使用所述结合预测而重构所述当前块。
2.如权利要求1所述的视频解码方法，其特征在于，所述第二预测是基于帧内预测模式产生的。
3.如权利要求2所述的视频解码方法，其特征在于，所述帧间预测模式是选自包括一个或多个候选帧间预测模式的第一候选列表，以及所述帧内预测模式是选自包括一个或多个候选帧内预测模式的第二候选列表。
4.如权利要求3所述的视频解码方法，其中所述第一候选列表的所述一个或多个帧间预测候选与所述当前块的合并候选列表中的一个或多个候选是相同的。
5.如权利要求3所述的视频解码方法，其特征在于，所述第二候选列表包括不多于一个候选帧内预测模式。
6.如权利要求2所述的视频解码方法，其特征在于，所述帧内预测模式是平面模式。
7.如权利要求2所述的视频解码方法，其特征在于，所述帧内预测模式的计算不用至少下列之一来进行：
(i)参考可用性检查与替代；
(ii)参考样本滤波；
(iii)水平平面预测子产生与平均；以及
(iv)位置依存度帧内预测结合。
8.如权利要求2所述的视频解码方法，其特征在于，基于所述帧内预测模式而产生所述第二预测包括：
(i)使用所述帧内预测模式来辨识组相邻像素；以及
(ii)应用内插滤波器于所述组经过辨识的相邻像素来产生一组经过内插的像素；
其中所述组经过内插的像素没有经过进一步调整而被使用作为所述第二预测。
9.如权利要求8所述的视频解码方法，其特征在于，所述内插滤波器具有三个或更少的抽头。
10.如权利要求2所述的视频解码方法，其特征在于，所述第二预测是不使用位置依存度帧内预测结合或角度帧内预测而计算得出。
11.如权利要求1所述的视频解码方法，其特征在于，所述阈值长度为64。
12.如权利要求1所述的视频解码方法，其特征在于，当所述当前块的所述块大小大于或等于64时，使所述结合预测模式致能。
13.一种视频编码方法，包括：
接收原始像素数据，以将像素块编码为进入比特流中的视频的当前画面中的当前块；
基于帧间预测模式而产生所述当前块的第一预测；
根据所述当前块的宽度或高度而决定所述当前块的块大小；
基于所述当前块的所述块大小致能所述当前块的结合预测模式，其中当所述当前块的所述宽度或所述高度大于阈值长度时，所述结合预测模式失能；以及
当所述结合预测模式被致能时：
产生第二预测；
基于所述第一预测与所述第二预测产生所述当前块的结合预测；以及
通过使用所述结合预测而编码所述当前块进入所述比特流。
14.一种电子装置，包括：
视频解码电路，用于：
从比特流中接收将被解码的数据，以将像素块解码作为视频的当前画面中的当前块；
基于帧间预测模式而产生所述当前块的第一预测；
根据所述当前块的宽度或高度而决定所述当前块的块大小；
基于所述当前块的所述块大小致能所述当前块的结合预测模式，其中当所述当前块的所述宽度或所述高度大于阈值长度时，所述结合预测模式失能；以及
当所述结合预测模式被致能时：
产生第二预测；
基于所述第一预测与所述第二预测产生所述当前块的结合预测；以及
通过使用所述结合预测而重构所述当前块。
15.一种视频编解码方法，包括：
接收将被编码或被解码的数据，以作为视频的当前画面中的当前块；
基于帧间预测模式而产生所述当前块的第一预测；
根据所述当前块的宽度或高度而决定所述当前块的块大小；
基于所述当前块的所述块大小致能所述当前块的结合预测模式，其中当所述当前块的所述宽度或所述高度大于阈值长度时，所述结合预测模式失能；以及
当所述结合预测模式被致能时：
产生第二预测；
基于所述第一预测与所述第二预测产生所述当前块的结合预测；以及
使用所述结合预测而重构所述当前块或编码所述当前块进入比特流。
CN201980066554.2A 2018-10-11 2019-10-10 一种视频编解码方法及电子装置 Active CN113141783B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862744464P 2018-10-11 2018-10-11
US62/744,464 2018-10-11
US16/596,040 US20200120339A1 (en) 2018-10-11 2019-10-08 Intra Prediction For Multi-Hypothesis
US16/596,040 2019-10-08
PCT/CN2019/110265 WO2020073937A1 (en) 2018-10-11 2019-10-10 Intra prediction for multi-hypothesis

Publications (2)

Publication Number Publication Date
CN113141783A true CN113141783A (zh) 2021-07-20
CN113141783B CN113141783B (zh) 2024-04-05

Family

ID=70160982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066554.2A Active CN113141783B (zh) 2018-10-11 2019-10-10 一种视频编解码方法及电子装置

Country Status (5)

Country Link
US (2) US20200120339A1 (zh)
EP (1) EP3857878A4 (zh)
CN (1) CN113141783B (zh)
TW (1) TWI729526B (zh)
WO (1) WO2020073937A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11997311B2 (en) * 2018-09-17 2024-05-28 Hfi Innovation Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
US11317099B2 (en) * 2018-10-05 2022-04-26 Tencent America LLC Method and apparatus for signaling an offset in video coding for intra block copy and/or inter prediction
KR20230128587A (ko) * 2018-10-27 2023-09-05 후아웨이 테크놀러지 컴퍼니 리미티드 서브블록 병합 후보를 위한 개별적인 병합 목록 및 비디오 코딩을 위한 인트라-인터 기술 조화
RU2766152C1 (ru) * 2018-11-08 2022-02-08 Гуандун Оппо Мобайл Телекоммьюникейшнз Корп., Лтд. Способ и устройство для кодирования/декодирования сигнала изображения
WO2020139061A1 (ko) * 2018-12-28 2020-07-02 인텔렉추얼디스커버리 주식회사 화면 간 예측 부호화 및 복호화 방법 및 장치
CN113545041A (zh) * 2019-03-07 2021-10-22 数字洞察力有限公司 图像编码/解码方法和设备
CN114175632A (zh) 2019-07-26 2022-03-11 北京字节跳动网络技术有限公司 对视频编解码模式的块尺寸相关使用
US11451809B2 (en) * 2019-08-28 2022-09-20 Tencent America LLC Method and apparatus for video coding
WO2021194797A1 (en) * 2020-03-26 2021-09-30 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video
US11259055B2 (en) * 2020-07-10 2022-02-22 Tencent America LLC Extended maximum coding unit size
WO2023200643A2 (en) * 2022-04-12 2023-10-19 Dolby Laboratories Licensing Corporation Geometric partition mode in video coding
WO2024017188A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Method and apparatus for blending prediction in video coding system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070098067A1 (en) * 2005-11-02 2007-05-03 Samsung Electronics Co., Ltd. Method and apparatus for video encoding/decoding
CN103238333A (zh) * 2010-11-29 2013-08-07 Sk电信有限公司 进行图像编码/解码以使帧内预测模式的冗余最小化的方法和设备
CN107113425A (zh) * 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
US20170251213A1 (en) * 2016-02-25 2017-08-31 Mediatek Inc. Method and apparatus of video coding
US20180035134A1 (en) * 2015-04-15 2018-02-01 Lytro, Inc. Encoding and decoding virtual reality video
CN107852492A (zh) * 2015-05-12 2018-03-27 三星电子株式会社 用于对图像进行编码和解码的方法和设备
CN108141604A (zh) * 2015-06-05 2018-06-08 英迪股份有限公司 图像编码和解码方法和图像解码设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006100871A (ja) * 2004-09-28 2006-04-13 Sony Corp 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070098067A1 (en) * 2005-11-02 2007-05-03 Samsung Electronics Co., Ltd. Method and apparatus for video encoding/decoding
CN103238333A (zh) * 2010-11-29 2013-08-07 Sk电信有限公司 进行图像编码/解码以使帧内预测模式的冗余最小化的方法和设备
CN107113425A (zh) * 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
US20180035134A1 (en) * 2015-04-15 2018-02-01 Lytro, Inc. Encoding and decoding virtual reality video
CN107852492A (zh) * 2015-05-12 2018-03-27 三星电子株式会社 用于对图像进行编码和解码的方法和设备
CN108141604A (zh) * 2015-06-05 2018-06-08 英迪股份有限公司 图像编码和解码方法和图像解码设备
US20170251213A1 (en) * 2016-02-25 2017-08-31 Mediatek Inc. Method and apparatus of video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M-S CHIANG: "Multi-hypothesis prediction for improving AMVP mode,skip or merge mode,and intra mode", VERSATILE VIDEO CODING (DRAFT 2) *
王威;苏昊;: "IPTV中的视频编解码标准", 世界电信, no. 02 *

Also Published As

Publication number Publication date
TW202029748A (zh) 2020-08-01
TWI729526B (zh) 2021-06-01
EP3857878A4 (en) 2022-07-06
US20230209048A1 (en) 2023-06-29
CN113141783B (zh) 2024-04-05
US20200120339A1 (en) 2020-04-16
EP3857878A1 (en) 2021-08-04
US11924413B2 (en) 2024-03-05
WO2020073937A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
CN110169061B (zh) 编解码电子装置与方法
CN113141783B (zh) 一种视频编解码方法及电子装置
WO2020200298A1 (en) Interaction between core transform and secondary transform
CN112400319B (zh) 一种视频编码/解码方法及装置
CN113455003B (zh) 视频编解码方法及电子设备
JP7263529B2 (ja) デコーダ側精緻化ツールのサイズ選択アプリケーション
WO2019029560A1 (en) INTRA FUSION PREDICTION
TW201946470A (zh) 用於照度補償的信令
US11245922B2 (en) Shared candidate list
CN113491123B (zh) 用于多重-参考行预测与多重-假设预测的发信
US11240524B2 (en) Selective switch for parallel processing
CN113316935A (zh) 使用局部照明补偿的运动候选列表
CN112840645A (zh) 视频编码系统中组合多个预测子用于块预测的方法及装置
CN113853795A (zh) 发信运动向量差值推导
WO2024027700A1 (en) Joint indexing of geometric partitioning mode in video coding
TW202402054A (zh) 用於候選清單的相似性閾值

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220526

Address after: Chinese Taiwan jhubei City, Hsinchu County Taiwan Yuan Street No. five 3 floor 7

Applicant after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road Taiwan Hsinchu city China Dusing No. 1

Applicant before: MEDIATEK Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant