CN105812819B - 执行混成多重假设移动补偿预测的方法以及装置 - Google Patents

执行混成多重假设移动补偿预测的方法以及装置 Download PDF

Info

Publication number
CN105812819B
CN105812819B CN201610023800.4A CN201610023800A CN105812819B CN 105812819 B CN105812819 B CN 105812819B CN 201610023800 A CN201610023800 A CN 201610023800A CN 105812819 B CN105812819 B CN 105812819B
Authority
CN
China
Prior art keywords
coding unit
vector
coding
prediction
executed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610023800.4A
Other languages
English (en)
Other versions
CN105812819A (zh
Inventor
林建良
蔡玉宝
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/601,247 external-priority patent/US9118929B2/en
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of CN105812819A publication Critical patent/CN105812819A/zh
Application granted granted Critical
Publication of CN105812819B publication Critical patent/CN105812819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

本发明提供一种在编码单元进行视讯编码时执行多重假设预测的方法以及装置，其中，方法包含：处理所述编码单元中的多个次编码单元；当所述编码单元由三维或多视图编码工具处理时，执行视差向量导出，或当所述编码单元由帧内区块复制模式处理时，执行区块向量导出；以及根据所述多个向量执行所述特定次编码单元的多重假设预测，使用从所述多个向量中推导出的多个像素值的线性组合来作为所述特定次编码单元的已预测像素值。本发明提供的在编码单元进行视讯编码时执行多重假设预测的方法以及装置，可以提升视讯处理的压缩效率。

Description

执行混成多重假设移动补偿预测的方法以及装置
技术领域
本发明是关于移动补偿的视讯处理，尤指在编码单元(coding unit)进行视讯编码时执行混成多重假设移动补偿预测(hybrid multihypothesis motion-compensatedprediction)的方法以及其相关装置。
背景技术
移动估测/补偿(motion estimation/compensation)是为一种将视讯数据编码(coding)与解码(decoding)以进行视讯压缩(video compression)时所使用的技术，藉由移动估测/补偿的帮助，一目前画面(current picture)可由一个或多个参考画面(reference picture)的部分视讯数据来加以表示，其中参考画面可能是之前已出现的画面，甚至是接下来会出现的画面。一般来说，透过移动补偿，目前的影像可透过之前已传送/储存的影像来加以合成产生，进而提升压缩效率。此外，随着编码技术的进步，因应新的标准的相关设计也已被应用以更进一步提升压缩效率。
发明内容
因此，本发明的目的之一在于提供一种在编码单元进行视讯编码时执行混成多重假设移动补偿预测技术的方法及相关装置，用以提升视讯处理的压缩效率。
依据本发明的实施例，其揭示一种在编码单元进行视讯编码时执行多重假设预测的方法，其特征在于，所述的方法包含：处理所述编码单元中的多个次编码单元；当所述编码单元由三维或多视图编码工具处理时，执行视差向量导出，或当所述编码单元由帧内区块复制模式处理时，执行区块向量导出，其中，所述执行视差向量或区块向量导出的步骤进一步包含:推导用于所述编码单元中的特定次编码单元的多重假设预测的多个向量，其中，所述多个向量从至少两个视差向量，至少两个区块向量，或视差向量、区块向量、以及移动向量的组合中选择，至少一个所述向量是另一次编码或编码单元的所述视差向量或区块向量，且在所述对应视差向量或区块向量被导出以用于所述特定次编码单元的多重假设预测之前，所述另一次编码或编码单元被编码；以及根据所述多个向量执行所述特定次编码单元的多重假设预测，其中，所述根据所述多个向量执行所述特定次编码单元的多重假设预测的步骤进一步包括:使用从所述多个向量中推导出的多个像素值的线性组合来作为所述特定次编码单元的已预测像素值。
依据本发明的实施例，其另揭示一种在编码单元进行视讯编码时执行多重假设预测的装置，其特征在于，所述装置包含:处理电路，用于执行所述编码单元上的视讯编码，其中所述处理电路包括:预处理模块，用于处理所述编码单元中的多个次编码单元，以及当所述编码单元由三维或多视图编码工具处理时，执行视差向量导出，或当所述编码单元由帧内区块复制模式处理时，执行区块向量导出，其中，所述预处理模块推导用于部分所述次编码单元的特定次编码单元的多重假设预测的多个向量，其中，从至少两个视差向量，至少两个区块向量，或视差向量、区块向量、以及移动向量的组合中选择，其中，至少一个所述向量是另一次编码或编码单元的所述视差向量或区块向量，且在所述对应视差向量或区块向量被导出以用于所述特定次编码单元的多重假设预测之前，所述另一次编码或编码单元被编码，以及根据所述多个向量执行所述特定次编码单元的多重假设预测，以及所述预处理模块使用从所述多个向量中推导出的多个像素值的线性组合来作为所述特定次编码单元的已预测像素值；以及至少一编码模块，用于根据由所述预处理模块执行的所述多重假设预测在所述编码单元上执行视讯编码。
本发明提供的在编码单元进行视讯编码时执行多重假设预测的方法以及装置，可以提升视讯处理的压缩效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A为本发明在编码单元进行视讯编码时执行混成多重假设移动补偿预测的装置的一实施例的示意图。
图1B为图1A所示的画面间/画面内预测模块的一实施例的示意图。
图1C为图1A所示的画面间/画面内预测模块进行多重假设移动补偿预测的一实施例的示意图。
图2为本发明在编码单元进行视讯编码时执行混成多重假设移动补偿预测的方法的一实施例的流程图。
图3为与图2所示的方法相关的已编码区块的一实施例的示意图。
图4为与图2所示的方法相关的实施细节的一实施例的示意图。
图5A为与图2所示的方法相关的混成多重假设移动补偿预测的范例型式的示意图。
图5B为与图2所示的方法相关的混成多重假设移动补偿预测的另一范例型式的示意图。
图5C为与图2所示的方法相关的实施细节的一实施例的示意图。
图6为与图2所示的方法相关的解码程序的一实施例的流程图。
图7A为以变换尺寸为基底的分割的一实施例的示意图。
图7B为本发明取得与图2所示的方法相关的移动向量的来源的一实施例的示意图。
图7C为本发明取得与图2所示的方法相关的移动向量的来源的另一实施例的示意图。
图7D为本发明取得与图2所示的方法相关的移动向量的来源的再另一实施例的示意图。
图8A为本发明取得剩余部分的移动向量的来源的一实施例的示意图。
图8B为本发明取得剩余部分的移动向量的来源的另一实施例的示意图。
图9A为与图2所示的方法相关的解码程序的一实施例的流程图。
图9B为与图2所示的方法相关的解码程序的另一实施例的流程图。
图9C为与图2所示的方法相关的解码程序的再另一实施例的流程图。
附图标号：
100 视讯编码器
109 原始信号
110 画面间/画面内预测模块
112 多重假设画面间预测电路
113 多重假设画面间预测输出
114 画面间预测电路
115 画面间预测输出
116 画面内预测电路
117 画面内预测输出
118 切换电路
119 预测信号
120 运算单元
130 变换与量化模块
140 熵编码电路
150 反变换与反量化模块
160 重建电路
169 重建信号
170 去区块滤波器
179 去区块信号
180 图框缓冲器
189 已回复信号
具体实施方式
在说明书及后续的权利要求范围当中使用了某些词汇来指称特定的元件。所属领域中具有通常知识者应可理解，制造商可能会用不同的名词来称呼同样的元件。本说明书及后续的申请专利范围并不以名称的差异来作为区别元件的方式，而是以元件在功能上的差异来作为区别的基准。在通篇说明书及后续的权利要求当中所提及的“包含”是为一开放式的用语，故应解释成“包含但不限定于”。此外，“电性连接”一词在此是包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置电性连接于一第二装置，则代表该第一装置可直接连接于该第二装置，或透过其他装置或连接手段间接地连接至该第二装置。
请参阅图1A，图1A为依据本发明第一实施例的一种在一编码单元进行视讯编码时执行混成多重假设移动补偿预测的装置100的示意图。装置100包含：一画面间/画面内预测模块(inter/intra prediction module)110(于图1A中，标示为“画面间/画面内预测”)、一运算单元(arithmetic unit)120、一变换与量化模块(transform and quantizationmodule)130(于图1A中，标示为“变换与量化”)、一熵编码电路(entropy coding circuit)140(于图1A中，标示为“熵编码”)、一反变换与反量化模块(inverse transform andinverse quantization module)150(于图1A中，标示为“反变换与反量化”)、一重建电路(reconstruction circuit)160(于图1A中，标示为“重建”)、一去区块滤波器(deblockingfilter)170，以及一图框缓冲器(frame buffer)180。请参考图1B，上述的画面间/画面内预测模块110可包含：一多重假设画面间预测电路(multihypothesis inter predictioncircuit)112(于图1B中，标示为“多重假设画面间预测”)、一画面间预测电路(interprediction circuit)114(于图1B中，标示为“画面间预测”)、一画面内预测电路(intraprediction circuit)116(于图1B中，标示为“画面内预测”)，以及一切换电路(switchingcircuit)118。
依据图1A所示的实施例，装置100可对一原始信号(original signal)109进行视讯编码以产生一个挟带编码结果的输出信号，例如熵编码电路140的输出。举例来说，原始信号109可能是代表挟带编码单元的数据的视讯输入，而熵编码电路140的输出可能是一输出位元流。此外，画面间/画面内预测模块110是用以进行画面间/画面内预测，更具体地说，画面间/画面内预测模块110分别利用图1B所示的多重假设画面间预测电路112、画面间预测电路114，以及画面内预测电路116来进行多重假设画面间预测、画面间预测及画面内预测。
如图1A所示，运算单元120是用以进行一运算操作，例如对原始信号109(可能是代表挟带该编码单元数据的视讯输入)与由画面间/画面内预测模块110所产生的预测信号119来进行相减(subtraction)操作。另外，变换与量化模块130、熵编码电路140、反变换与反量化模块150以及重建电路160则分别用以进行变换与量化、熵编码、反变换与反量化以及重建等操作，因此，重建电路160便会产生挟带重建操作的结果的重建信号169，另外，去区块滤波器170则用来对重建信号169进行去区块滤波处理以产生挟带去区块视讯数据且会暂存于图框缓冲器180的去区块信号179，因此，画面间/画面内预测模块110得以从画面缓冲器180存取一已回复信号(restored signal)189所挟带的去区块视讯数据。以上所述仅供说明之需，并不局限本发明的多个变化形，而依据本实施例中多个变化形，在去区块滤波器170与其相关滤波处理操作得以省略的情形下，由重建信号169所挟带的重建结果可暂存于图框缓冲器180，以及画面间/画面内预测模块110可透过已回复信号189来存取重建结果。
请参考图1B，多重假设画面间预测电路112是用以依据原始信号109与已回复信号189来进行多重假设画面间预测以产生多重假设画面间预测输出113，画面间预测电路114是用以依据原始信号109与已回复信号189来进行画面间预测以产生画面间预测输出115，以及画面内预测电路116是用以依据原始信号109与重建信号169来进行画面内预测以产生画面内预测输出117，其中切换电路118则用以动态选择多重假设画面间预测输出113、画面间预测输出115以及画面内预测输出117的其中之一来做为上述的预测信号119。
实际上，装置100中至少有一部分的元件(比方说一部分或是全部的元件)可利用多个硬体电路来实现。例如，装置100可由一种用以对编码单元进行视讯编码的处理电路(processing circuit)来实现，其中该处理电路可包含一个具有画面间/画面内预测模块110的预处理模块(preprocessing module)，以及另可包含至少一个具有运算单元120、变换与量化模块130、熵编码电路140、反变换与反量化模块150、重建电路160以及去区块滤波器170的编码模块(coding module)。更具体地说，装置100中至少有一个或多个元件可由数位信号处理技术(digital signal processing technique)来实现。以上所述仅供说明之需，并不局限本发明的多个变化形。此外，依据本实施例的多个变化形，装置100中至少有一部分元件可利用至少一个程式模块(program module)来实现。举例来说，该处理电路可能是一种执行多个程式模块的处理器(processor)，其中执行该多个程式模块中第一部分的程式模块的处理器能够进行与上述预处理模块的相同或相似的操作，以及执行该多个程式模块中第二部分的程式模块的处理器能够进行与上述编码模块的相同或相似的操作。
无论装置100中至少有一部分的元件(比方说一部分或是全部的元件)是利用硬体电路还是利用至少一个程式模块来实现，装置100皆能够对多个编码单元中的每一编码单元来进行视讯编码，举例来说，该多个编码单元可为多个16x16巨集区块(macroblocks，MBs)，而在另一个例子中，该多个编码单元可为具有一特定尺寸的多个编码单元，其中该特定尺寸可被预先决定并且不必等同于该多个巨集区块的大小。在处理至少一个影像中多个编码单元的一个编码单元时，比方说如上文提及的编码单元，也许会需要预测一个或多个移动向量以供该编码单元之用。此外，在编码格式较为复杂的情形下，为了达到良好的编码效能(如编码或解码效能)，建议不要耗费过多时间在主要编码程序之前的预处理阶段中进行移动向量的计算。依据本实施例，上述预处理模块能够将上述的编码单元分割成多个次编码单元(比方说，在该编码单元中进行多种分割(partition)，例如正方形或非正方形分割)，以及能够对该多个次编码单元之中一部分的次编码单元进行移动向量的推导，更具体地说，预处理模块能够从至少一个其他次编码/编码单元(尤指至少一个已编码的次编码/编码单元)中推导出多个移动向量以供该一部分的次编码单元中的一特定次编码单元进行多重假设移动补偿预测之用，以及依据上述的多个移动向量来对该特定次编码单元进行多重假设移动补偿预测，其中预处理模块会利用由上述的多个移动向量所得的多个像素值的一线性组合来做为该特定次编码单元的一预测像素值。此外，上述的至少一编码模块是用以依据预处理模块所进行的多重假设移动补偿预测来对该编码单元进行视讯编码。
依据本发明的一实施例，图1C说明了图1A中画面间/画面内预测模块110的多重假设移动补偿预测的范例操作。在本实施例中，一符号组F(t0–3)、F(t0–2)、F(t0–1)以及F(t0)代表多个连续图框(subsequent frames){F(t0)}中的一部份，其中F(t0)为一目前图框(current frame)，目前图框F(t0)包含多个编码单元{CU(t0)}，以及一编码单元CU(t0)可包含多个次编码单元{SCU(t0)}，其中符号Vk可代表供该特定次编码单元(例如图1C中的SCU(t0))进行多重假设移动补偿预测所需的上述多个移动向量之一。因此，上述的预处理模块会由至少一个其他次编码/编码单元(例如一个或多个次编码/编码单元)分别得到多个移动向量{Vk}，其表示预处理模块利用至少一个其他次编码/编码单元的多个移动向量来做为该特定次编码单元进行多重假设移动补偿预测所需的多个移动向量{Vk}。依据本实施例，预处理模块能够依据多个移动向量{Vk}来对该特定次编码单元(如图1C所示的次编码单元SCU(t0))进行多重假设移动补偿预测。
一般来说，预处理模块能够利用由上述的该多个移动向量所得的多个像素值(例如多个参考像素(reference pixel)中多个参考像素值{Ψr})的一个线性组合来做为该特定次编码单元的一预测像素值Ψp，尤指该特定次编码单元中一特定预测像素的预测像素值Ψp。请注意，该线性组合可以是该多个像素值的一加权总和，其表示预处理模块计算出该多个像素值的该加权总和以得到该特定次编码单元的该预测像素值。举例来说，在具有预测像素值Ψp的该特定预测像素是属于第i个次编码单元(如图1C中的次编码单元SCU(t0))且处在位置x(例如一个指向此一位置的向量，比方说在目前图框F(t0)影像平面中的一个二维向量)的情形下，预测像素值Ψp可改写为Ψp(i,x)，以及预测像素值Ψp(i,x)可以表示如下：
Ψp(i,x)＝Σk∈K(hk(i,x)Ψr(x+vk))；
其中索引值k可于数值集合K中变动，而符号hk(i,x)则代表一个与索引值k相关的加权参数，举例来说，当可能的索引值k的个数超过1时，多个加权参数{hk(i,x)}的总和可简化为1。
如图1C所示，当多个像素值的个别加权参数中任两个皆彼此相等时，多个移动向量{Vk}可包含目前图框F(t0)中至少一个其他编码单元的次编码单元A与B的移动向量VA与VB，以及另一个图框(例如先前图框(previous frame)F(t0-1))中一编码单元CU(t0-1)的一个次编码单元T的移动向量VT，更具体地说，上述位于目前图框F(t0)中的该其他编码单元(或次编码单元)是为一已编码的编码单元(或次编码单元)或是一已移动补偿(motion-compensated)的编码单元/次编码单元。举例来说，当该多个编码单元为多个区块时，编码单元CU(t0-1)相对于编码单元CU(t0)来说可以是一共位区块(collocated block)，因此，藉由应用多个加权参数{hk(i,x)}至多个参考像素值{Ψr}，预处理模块得以针对该多个移动向量{Vk}(例如VA、VB以及VT)所指向的多个部分影像(partial image)进行混成(blend/mix)以产生一加权总和影像，并且利用该加权总和影像做为该特定次编码单元(如图1C中次编码单元SCU(t0))的一预测部分影像(predicted partial image)。以上所述仅供说明之需，并不局限本发明的多个变化形。依据本实施例的一变化形，预处理模块可以计算出该多个像素值的一平均值以得到该特定次编码单元的预测像素Ψp，这代表了多个加权参数{hk(i,x)}中任两个加权参数是为彼此相等。关于上述所揭露的操作的进一步说明，请参阅图2。
图2为依据本发明的一实施例而在一编码单元进行视讯编码时执行混成多重假设移动补偿预测的方法910的流程图。方法910可被应用于第1图的装置100，更具体地说，可被应用于上述的处理电路。该方法说明如下。
于步骤912中，上述的预处理模块会对多个次编码单元(像是编码单元中CU(t0)(即将进行的编码单元)的多个次编码单元{SCU(t0)})进行处理，以及会对多个次编码单元{SCU(t0)}((前文提及的该部份次编码单元))之中一部分的次编码单元进行移动向量的推导。具体地说，预处理模块会从至少一个其他次编码/编码单元中推导出多个移动向量，如上述所揭露的多个移动向量{Vk}，以供多个次编码单元{SCU(t0)}的该部份次编码单元中的特定次编码单元SCU(t0)进行多重假设移动补偿预测。依据本发明的一实施例，如图3所示，编码单元CU(t0)可以是一个正在处理的区块(在图3中，标示为“处理中的区块”(Processedblock))，以及特定次编码单元SCU(t0)可以是一个次区块(sub-block，SB)，其中图3中多个阴影部份可代表至少一部分的多个已编码区块{CB}(coded block，CB)。请参阅图3，已编码区块{CB}可能包含一个左半部已编码区块CBL、一个左上部已编码区块CBUL、一个上半部已编码区块CBU，以及一个右上部已编码区块CBUR。举例来说，多个移动向量{Vk}可包含至少一部份(比方说一部分或是全部)的已编码区块{CB}的多个移动向量。在其他例子中，预处理单元会对多个次编码单元(如该编码单元中的一个左半部与一个右半部次编码单元，或是该编码单元中的一个上半部与一个下半部次编码单元)进行处理，此外，预处理单元从至少一个其他次编码/编码单元中推导出多个移动向量以供该左半部次编码单元/右半部次编码单元/上半部次编码单元/下半部次编码单元来进行多重假设移动补偿预测，其中该至少一个其他次编码/编码单元可以是一个空间(spatial)次编码/编码单元(例如一个邻近(neighboring)编码单元的一个次编码单元)或是一个时间(temporal)次编码/编码单元(例如一个共位次编码/编码单元)。上述的多个移动向量可由单一个次编码/编码单元推导出，举例来说，该多个移动向量是为一邻近编码单元中相同次编码单元的“list 0”移动向量与“list 1”移动向量。此外，预处理模块也可依据一显旗标(explicit flag)来对该部份次编码单元进行移动向量的推导，举例来说，一特定空间次编码单元的至少一个移动向量可依据该显旗标而被选为供该特定次编码单元进行多重假设移动补偿预测之用。
在步骤914中，上述的预处理模块依据多个移动向量{Vk}来对特定次编码单元SCU(t0)进行多重假设移动补偿预测，尤指预处理模块利用由上述多个移动向量{Vk}所得的多个像素值(例如多个参考像素中多个参考像素值{Ψr})的一个线性组合来做为该特定次编码单元的预测像素值Ψp，举例来说，每一个编码单元(例如编码单元CU(t0))可以是一个区块，尤指一个包含一像素阵列的区块，例如一延伸巨集区块(extended macroblock)、一巨集区块(macroblock)，或是一巨集区块的一部分，因此，一个次编码单元可被称为为一个次区块(sub-block)。依据本发明的一实施例，如图3所示，前述的预处理模块可依据上述的多个移动向量{Vk}来对正在处理的区块(在图3中，标示为“处理中的区块”)进行多重假设移动补偿预测，其中预处理模块得以对由至少一部分(例如一部分或全部)的已编码区块{CB}(例如至少一个已编码区块CBL、CBUL、CBU，以及CBUR)中的多个移动向量{Vk}所得出的多个参考像素值{Ψr}来进行混成。在此实施例中，该多个已编码区块{CB}可以是多个已移动补偿的区块。
请注意，依据本发明的一实施例，如图2所示实施例的一变化形，步骤912与步骤914的操作顺序可以交换。举例来说，为了进行视讯编码时能符合新式编码技术的规范，可先进行步骤914的操作，然后再进行步骤912的操作。
依据图2所示实施例的一变化形，在步骤912中，预处理模块利用移动估测(motioncompensation)来取得该多个移动向量{Vk}以供上文所述的特定次编码单元SCU(t0)进行多重假设移动补偿预测之用。此外，在步骤914中，预处理模块另可利用与该多个移动向量{Vk}相关的多个像素值{Ψr}的一个线性组合来做为特定次编码单元SCU(t0)的预测像素值Ψp，举例来说，在具有预测像素值Ψp的该特定预测像素处于位置x(例如一个指向此一位置的向量，比方说在目前图框F(t0)影像平面中的二维向量)的情形下，预测像素值Ψp可改写为Ψp(x)，以及预测像素值Ψp(x)可以表示为：
Ψp(x)＝Σk∈K(hk(x)Ψr(x+vk))+h0(x)Ψr(x+v0)；
其中索引值k可于数值集合K中变动，而符号hk(x)则代表一个与索引值k相关的加权参数，以及估测移动向量(estimated motion vector)v0为是为在移动估测中所估测出来的移动向量，此外，符号hk(x)则代表一个与估测移动向量v0的下标值(suffix)0相关的加权参数。
举例来说，本变化形中的预处理模块可藉由从估测移动向量v0的其他多个可能状态(status)中找出最佳状态，以充分运用估测移动向量v0，因此，本变化形的线性组合可以是加权总和Σk∈K(hk(x)Ψr(x+vk))+h0(x)Ψr(x+v0)，而其中估测移动向量v0已先求得，故预处理模块可利用加权总和Σk∈K(hk(x)Ψr(x+vk))+h0(x)Ψr(x+v0)来做为特定次编码单元SCU(t0)的参考像素值Ψp。在此不再赘述本变化形与其他实施例中相似的细节描述。
在图3所示实施例的多个变化形中，步骤912中提及的另一个次编码/编码单元是为一个已编码的次编码/编码单元，举例来说，在这些变化形的一部分变化形中，步骤912中提及的另一个次编码/编码单元包含至少一个空间上已编码(spatially coded)的次编码/编码单元(例如目前图框F(t0)中的一个或多个已编码区块{CB}，或是正在处理的区块中一个或多个已编码次区块)及/或至少一个时间上已编码(temporally coded)的次编码/编码单元(例如与目前图框F(t0)相异的另一个图框中一个或多个已编码的次区块/区块)。于另一实施例中，在这些变化形的一部分变化形中，步骤912中提及的另一个次编码/编码单元是为一已移动补偿的次编码/编码单元。此外，依据一部分的变化形，多个移动向量{Vk}可以藉由移动估测得知。
依据本发明的一实施例，图4说明了与图2所示的方法910相关的实施细节。另外，为使更易于理解，多个已编码区块CBL、CBUL、CBU以及CBUR可视为分别等同于图3所示的多个已编码区块。请参阅图4，多个次编码单元α1、α2、α3、α4、α5、α6、α7及α8是属于左半部已编码区块CBL，多个次编码单元β1、β2、β3、β4、β5、β6、β7及β8是属于上半部已编码的区块CBU，以及多个次编码单元β9与δ则分别属于右上部已编码区块CBUR与左上部已编码区块CBUL。
在此实施例中，步骤912中提及的另一个次编码/编码单元可能包含一个或多个次编码单元或一个或多个其他编码单元，例如至少一个或多个次编码单元{α1、α2、α3、α4、α5、α6、α7、α8、β1、β2、β3、β4、β5、β6、β7、β8、β9、δ}，以及可能另包含多个次编码单元{SCU(t0)}的一剩余部份，例如于正在处理的区块(在图4中，标示为“处理中的区块”)中多个暗阴影(darkly shaded)次区块，其中步骤912中提及的该部份的多个次编码单元{SCU(t0)}可以是正在处理的区块中多个亮阴影(lightly shaded)次区块。更具体地说，步骤912中提及的该多个移动向量{Vk}可能包含多个次编码单元{SCU(t0)}的该剩余部份之中的至少一移动向量(例如一个或多个移动向量)，其中上述的至少一移动向量通常在推导出多个移动向量{Vk}之前求得，尤指上述的至少一移动向量(例如一个或多个移动向量)可以先被估测出。
简言之，位于多个次编码单元{SCU(t0)}的该剩余部份中的多个次编码单元可称为多个剩余次编码单元(remaining sub-coding unit)(或是当每一个编码单元为一个区块时，可称为多个剩余次区块(remaining sub-block))，以及步骤912中提及的该部份的多个次编码单元{SCU(t0)}中的多个次编码单元可称为多个多重假设预测直接次编码单元(multihypothesis prediction direct sub-coding unit，MHP direct sub-codingunit)(或是当每一个编码单元为一个区块时，可称为多个多重假设预测直接次区块(MHPdirect sub-block))，主要是因为用以提供每一个多重假设预测直接次编码单元来进行多重假设移动补偿的多个移动向量是为直接由其他多个编码单元(例如上述的其他次编码/编码单元)而得。此外，上述的包含多个多重假设预测直接次编码单元(或是多个多重假设预测直接次区块(当每一个编码单元为一个区块时))的部分，可称为多重假设预测直接部份(MHP direct portion)。
依据本发明的多个实施例，图5A与图5B分别说明了与图2所示的方法910相关的混成多重假设移动补偿预测的多个范例型式。在这些实施例中，预处理模块得以动态决定关于在步骤912中提及的多个次编码单元{SCU(t0)}中一部份(亦即多重假设预测直接部份)的内部/外部排列(internal/external arrangement)。更具体地说，预处理模块得以依据一预先决定的型样(predetermined pattern)、一隐旗标(implicit flag)或是一显旗标，来决定出多个次编码单元{SCU(t0)}中的一部份在多个次编码单元{SCU(t0)}中的其他部份之间的分布(distribution)。换言之，预处理模块可决定该多重假设预测直接部份与编码单元CU(t0)中的一剩余部份的分布/排列。举例来说，假设上述的混成多重假设移动补偿预测型式是包含一上半部型式(top type)、一下半部型式(bottom type)、一左半部型式(left type)以及一右半部型式(right type)，则图5A的左半部与右半部所示的分布/排列可分别对应到该左半部型式与该右半部型式，其中该多重假设预测直接部份与编码单元CU(t0)中的该剩余部份分别于个别实施例中标示为“MHP”及“REM”以便易于理解。
预处理模块也可由挟带该编码单元的一位元流、多个已编码的次编码/编码单元的多个移动向量、该多个已编码的次编码/编码单元的一移动向量变异数(motion vectorvariance)、一量化参数(Quantization Parameter，QP)、一位元率(bit-rate)、该多个已编码的次编码/编码单元的一重建残值信号(reconstructed residual signal)、一已传送的离散余弦变换系数(transmitted discrete cosine transform，transmitted DCT)、一移动分割型式(motion partition type)、一区块尺寸(block size)、统计数据或上述各项的任何组合，来推导出一隐旗标以决定该多重假设预测直接部份的分布。
在如第5图所示的多个实施例中，一编码单元可以仅被分割为两部份，例如图5C所示的该编码单元中的上半部与下半部，亦即分别是本实施例中标示为“MHP”的该多重假设预测直接部份与标示为“REM”的编码单元CU(t0)中的该剩余部份。关于该上半部的移动向量推导，预处理模块可由至少一个其他次编码/编码单元，比方说由至少一个其他编码单元中的一个或多个次编码单元(例如图5C所示的多个阴影次编码单元，其多个移动向量形成一个空间移动向量集合(spatial motion vector set)，该集合标示为“空间移动向量集合”(Spatial Motion Vector set，Spatial MV set))以及该上半部所对应的一个或多个共位次编码单元，推导出至少一移动向量，或者由至少一个显旗标所指明的一个或多个其他次编码/编码单元来推导出至少一移动向量。举例来说，在预处理模块由至少一个显旗标所指明的一个或多个其他次编码/编码单元来推导出至少一移动向量的情形下，当该显旗标指明在左上半部已编码区块CBUL的该次编码单元是需要被推导出的至少一移动向量的来源时，预处理模块会由左上半部已编码区块CBUL推导出一个或两个移动向量。在本实施例中，如果该次编码单元具有双向预测性(bi-predictive)，则会有两个移动向量可供利用(更具体地说，“list 0”的移动向量以及“list 1”的移动向量)；反之(亦即该次编码单元并未具双向预测性)，则仅有一个移动向量可供利用。无论是两个移动向量或是一个移动向量可供利用，预处理模块皆可运用上述的该次编码单元的一个或两个移动向量做为该上半部的移动向量。以上所述仅供说明之需，并不局限本发明的多个变化形。依据这些实施例的多个变化形，预处理模块得以利用上述的两个移动向量的一线性组合来计算出该上半部的一个移动向量。
依据本发明的一实施例，图6是为与图2所示的方法910相关的解码程序的流程图。该解码流程说明如下。
在步骤922中，上述的预处理模块会读取一参数inter_partitioning_idc，其中该参数inter_partitioning_idc代表一分割型式。
在步骤923中，预处理模块会确认在步骤922中所提及的该分割型式的多个分割单元(partition unit)的数量是否等于2。当该分割型式的多个分割单元的数量等于2时，该流程会进行至步骤924；反之，该流程将会进行至未显示于图中(为了简化流程图)的某一步骤。
在步骤924中，预处理模块会读取一旗标MHP_flag，其中旗标MHP_flag是用以指明是否要进行多重假设预测的处理。
在步骤925中，预处理模块会确认旗标MHP_Flag是否等于1。当旗标MHP_Flag等于1时，该流程会进行至步骤925；反之，该流程将会进行至未显示于图中(为了简化流程图)的某一步骤。
在步骤926中，预处理模块会读取一旗标Partition_Flag，其中旗标Partition_Flag是用以指明一分割型式，例如图5A与图5B中多个实施例所揭露的多个分割型式的其中之一。
在步骤928中，预处理模块会读取一旗标MV_Set_Flag，其中旗标MV_Set_Flag是用以指明要由多个移动向量集合(或是多个移动向量的多个集合)中选取出来的一特定移动向量集合(或是多个移动向量的一特定集合)。
在步骤930中，预处理模块会读取至少一个移动向量差异(motion vectordifference，MVD)以供至少一个非多重假设预测分割(non-MHP partition)(例如上述的该剩余部份)所用。举例来说，移动向量差异可以是原始移动向量(original motion vector)与所预测的移动向量(motion vector predictor)之间的差异，用以减少传输频宽(transmission bandwidth)。在另一个例子，移动向量差异可以是目前移动向量(currentmotion vector)与先前移动向量(previous motion vector)之间的差异。
在步骤940中，预处理模块会进行包含为了完成该解码程序所需的多个操作的后续处理(post process)。
依据本发明的不同实施例，图7A说明了以一变换尺寸(transform size)为基底的多个范例分割。如上文所述，预处理模块得以动态决定关于在步骤912中提及的多个次编码单元{SCU(t0)}的一部分(亦即多重假设预测直接部份)的内部/外部排列。更具体地说，在本实施例中，预处理模块得以决定特定次编码单元SCU(to-)的尺寸，使该尺寸成为编码单元CU(t0)进行视讯编码的一转换尺寸，也就是说，预处理模块得以决定多个次编码单元{SCU(t0)}的一部分中每一个次编码单元的尺寸(亦即每一个多重假设预测直接次编码单元的尺寸)，使该尺寸成为编码单元CU(t0)进行视讯编码的转换尺寸(例如4x4或8x8等等)。
依据本发明的多个实施例，图7B到图7D说明了用以取得与图2所示的方法910相关的多个移动向量的多个范例来源。在这些实施例中，预处理模块得以依据于步骤928所提及的旗标MV_Set_Flag来由多个移动向量集合之中选择出该特定移动向量集合，其中该多个移动向量集合可能包含至少一个空间移动向量集合(例如一个或多个空间移动向量集合)及/或至少一个时间移动向量集合(例如一个或多个时间移动向量集合)。
请参阅图7B，上述的至少一个空间移动向量集合可包含空间移动向量集合{VS,k}(标示为“空间移动向量集合{VS,k}”(Spatial MV Set{VS,k}))，其中空间移动向量集合{VS,k}可包含该特定次编码单元SCU(t0)内左半部已编码区块CBL中多个距离最近的次编码单元所分别对应的多个移动向量，以及另可包含该特定次编码单元SCU(t0)内剩余部份(标示为“REM”)中多个距离最近的次编码单元所分别对应的多个移动向量。
请参阅图7C，上述的至少一个时间移动向量集合可包含时间移动向量集合{VT,k}(标示为“时间移动向量集合{VT,k}”(Temporal MV Set{VT,k}))，其中时间移动向量集合{VT,k}可包含该特定次编码单元SCU(t0)内一个共位次编码单元(例如图7C所示的共位次区块)中至少一个移动向量，以及另可包含该共位次编码单元内多个相邻/邻近(adjacent/neighboring)的次编码单元，举例来说，该时间移动向量集合可包含一个共位次编码单元中“list 0”的移动向量与“list 1”的移动向量。
请参阅图7D，上述的至少一个空间移动向量可包含空间移动向量集合{VS1,k}(标示为“空间移动向量集合{VS1,k}”(Spatial MV Set{VS1,k}))与空间移动向量集合{VS2,k}(标示为“空间移动向量集合{VS2,k}”(Spatial MV Set{VS2,k}))。在本实施例中，空间移动向量{VS1,k}可包含特定次编码单元SCU(t0)内左半部已编码区块CBL中多个距离最近的次编码单元所分别对应的多个移动向量；此外，空间移动向量{VS2,k}可包含该特定次编码单元SCU(t0)内一个或多个剩余部份(标示为“REM”)中的一个或多个距离最近的次编码单元。
依据本发明的多个实施例，图8A与图8B说明了取得该剩余部分(标示为“REM”)的至少一移动向量的多个范例来源。举例来说，可依据图8A中所示的多个次编码单元A、B及C的多个移动向量vA、vB及vC来利用多个习知方法(例如多个与H.264规范相容的方法)以推导出该剩余部份的移动向量。在其他的实施例中，可依据图8B左半部与右半部中任一处所示的多个次编码单元A、B及C的多个移动向量vA、vB及vC来利用多个习知方法(例如多个与H.264规范相容的方法)以推导出该剩余部份的移动向量。
依据本发明的不同实施例，图9A到图9C分别说明了与图2所示的方法910相关的多个解码程序的流程图。在这些实施例中，步骤922、923、924、925以及926是与图6所示实施例中的多个步骤相同，此外，步骤940-1、940-2以及940-3可与图6所示实施例中的步骤940相同或相似。该多个解码程序的其余步骤则说明如下。
请参阅图9A，在步骤928-1中，预处理模块会读取一旗标Spatiotemporal_Flag，其中该旗标Spatiotemporal_Flag指明了多个空间/时间移动向量集合的组态(configuration)，例如用以从上述的至少一个空间移动向量集合(比方说多个空间移动向量的一个或多个集合)以及上述的至少一个时间移动向量集合(比方说多个时间移动向量的一个或多个集合)之中选择一个或多个移动向量集合的多个组态。
在步骤932-1中，预处理模块会读取至少一个移动向量差异以供至少一个非多重假设预测分割(例如上述的该剩余部份)所用。举例来说，移动向量差异可以是原始移动向量与所预测的移动向量之间的差异，用以减少传输频宽。在另一个例子中，移动向量差异可以是目前移动向量与先前移动向量之间的差异。
在步骤934-1中，预处理模块会决定上述的变换尺寸。
在步骤936-1中，预处理模块会计算出至少一个所预测的移动向量(motionvector predictor，MVP)以供上述的该剩余部份的至少一个非多重假设预测分割所用。
请参阅图9B，在步骤928-2中，预处理模块会读取一旗标Spatiotemporal_Flag，其中旗标Spatiotemporal_Flag指明了多个空间/时间移动向量集合的组态，例如用以从上述的至少一个空间移动向量集合(比方说多个空间移动向量的一个或多个集合)以及上述的至少一个时间移动向量集合(比方说多个时间移动向量的一个或多个集合)之中选择一个或多个移动向量集合的多个组态。
在步骤932-2中，预处理模块会决定上述的变换尺寸。
在步骤934-2中，预处理模块会读取至少一个移动向量差异以供至少一个非多重假设预测分割(例如上述的该剩余部份)所用。举例来说，移动向量差异可以是原始移动向量与移动向量偏移(motion vector offset)之间的差异，用以减少传输频宽。
请参阅图9C，在步骤928-3中，预处理模块会读取一旗标Spatiotemporal_Flag，其中旗标Spatiotemporal_Flag指明了多个空间/时间移动向量集合的组态，例如用以从上述的至少一个空间移动向量集合(比方说多个空间移动向量的一个或多个集合)以及上述的至少一个时间移动向量集合(比方说多个时间移动向量的一个或多个集合)之中选择一个或多个移动向量集合的多个组态。
在步骤932-3中，预处理模块会利用一预定方法来计算出B.mv，其中符号B.mv可代表次编玛单元B的移动向量，用以计算出图8A所示实施例之中的该剩余部份。
在步骤934-3中，预处理模块会读取至少一个移动向量差异以供至少一个非多重假设预测分割(例如上述的该剩余部份)所用。
在步骤936-3中，预处理模块会决定上述的变换尺寸。
综上所述，本发明的优点之一在于编码器与解码器可正确地执行多重假设预测，更具体地说，编码器与解码器得以轻易地对正在编码的编码单元之中的多重假设预测直接部份的至少一个次编码单元进行多重假设移动补偿，而该剩余部份可藉由多个习知方法(例如多个与H.264规范相容的方法)来进行处理，因此，藉由利用本发明的方法及装置，移动向量预测的操作以及多重假设移动补偿的操作皆可顺利执行且不会产生任何习知技术所面临的问题(例如低编码效率)。
以上所述的多重假设预测操作也可被用于三维(three-dimensional，3D)视讯编码，多视图(multi-view)视讯编码，以及屏幕内容(screen content)编码。用于3D视讯编码以及多视图视讯编码的多种编码工具已经被开发，以利用邻近视图之间的视图间冗余。3D或多视图视讯编码中被称为视差补偿预测(Disparity-compensated prediction，DCP)的编码工具被用于视图间预测。DCP参考相同访问单元中的其他视图的先前已编码图片中的数据，其类似于移动补偿预测(motion-compensated prediction，MCP)参考不同时间点(time instance)的相同视图的先前已编码图片中的数据。用于DCP的向量被称为视差向量(disparity vector，DV)，类似的，用于MCP的向量为移动向量(motion vector，MV)。
于帧间模式、合并模式、或跳过模式中，MV可由移动向量预测(motion vectorpredictor，MVP)来预测。根据以上所述的多重假设预测操作，当用于特定次编码单元的双向预测被启动，可推导出用于特定次编码单元的多个MV，其中，至少一个MV是另一个已编码次编码或编码单元的MV。多个像素值是从多个MV中推导出，且用于特定次编码单元的已预测像素值是利用多个像素值的线性组合来计算。
类似的，DV可由视差向量预测(disparity vector predictor，DVP)候选来预测，其中，DVP是从也使用视图间参考图片的空间相邻区块或时间对应区块中推导出。在用于特定次编码单元的双向预测的情况下，多个DV被导出，其中，至少一个DV是另一已编码次编码或编码单元的DV。于对应DV被推导以用于特定次编码单元的多重假设预测之前，另一次编码/编码单元被编码。多个DV被用于推导多个像素值，且多个像素值的线性组合被计算以作为特定次编码单元的已预测像素值。
于本发明的一个实施例中，线性组合被简化为平均操作，所以特定次编码单元的已预测像素值是通过平均从多个DV推导出的多个像素值来计算。DV导出(disparityvector derivation)可基于显式的旗标(explicit flag)或基于隐式的方法(implicitmethod)来执行。例如，一个旗标被引入(incorporated)用于特定次编码单元的比特流中，此旗标用于指示哪一个或多个其他已编码的次编码或编码单元被参考。被指示的已编码的次编码或编码单元的两个或多个DV被用于已导出像素值，例如，使用单个已编码的次编码或编码单元的列表0DV以及列表1DV。已导出像素值的组合(例如：平均)被计算以作为特定次编码单元的已预测像素值。用于DV导出的一个或多个其他已编码的次编码或编码单元可以是相邻次编码/编码单元，例如，其可为空间已编码的次编码/编码单元、时间已编码的次编码/编码单元、或视差补偿次编码/编码单元。一个或多个其他已编码的次编码或编码单元可以是其他视图的视差补偿次编码/编码单元。于另一实施例中，一个或多个DV是从相同编码单元的其余部分(remaining portion)推导出。
于本发明的另一个实施例中，用于特定次编码单元的多重假设预测包括至少一个DV以及至少一个MV，其中，DV是另一已编码的次编码或编码单元的DV，且MV是其他已编码的次编码或编码单元或相同次编码或编码单元的MV。于对应DV被推导以用于特定次编码单元的多重假设预测之前，另一次编码/编码单元被编码。被指示的已编码的次编码或编码单元的两个或多个向量(包括至少一个DV以及至少一个MV)被用于已导出像素值，例如，使用单个已编码的次编码或编码单元的列表0DV以及列表1MV。已导出像素值的组合(例如：平均)被计算以作为特定次编码单元的已预测像素值。
先前描述的DV导出以及已预测像素值计算可被应用在多种3D或多视图编码工具中，例如：DVP、视图间移动预测、视图间残差预测、视图合并预测(view synthesisprediction，VSP)。视图间移动预测被用于共享参考视图的先前已编码移动信息。为了推导出用于附属视图中当前区块的候选移动参数，首先推导出当前区块的DV，且接着参考视图中已编码图片中的预测区块通过将DV增加到当前区块的位置来定位。如果预测区块是使用MCP来编码，相关的移动参数可被用作为当前视图中当前区块的候选移动参数。已导出DV也可直接被用作为DCP的候选DV。视图间残差允许共享邻近视图的先前已编码残差信息，当前预测区块的残差信号可通过视图间图片中对应块的残差信号来预测。对应块可以由其各自的DV来定位。VSP是一种用于移除来自不同视点的视讯信号中的视图间冗余的技术，其中，合成信号被用作预测当前图片的参考。于3D-HEVC测试模型，HTM-7.0中，存在一种导出视差向量预测子(disparity vector predictor)的程序，被称为相邻块视差向量(NeighboringBlock Disparity Vector，NBDV)。推导出虚拟深度的程序可以被应用到VSP中以定位已编码视图中的对应的深度区块。接着，导出的DV被用于获取参考视图的深度图像中的深度区块。已获取的深度块可具有与当前预测单元(prediction unit，PU)相同的大小，且将被用于执行用于当前PU的后向扭曲(backward warping)。
以上所描述的多重假设预测操作也可被用于帧内区块复制(intra block copy，IntraBC)模式。IntraBC是一种区块匹配(block matching)技术，于IntraBC中，编码单元被预测以作为相同图片中样本的已重建区块的替换(displacement)。因为IntraBC模式从重复的型样中移除了冗余，所以IntraBC模式对于屏幕视讯内容是有效率的，重复的型样通常发生在图片中的区域文本(regions text)及/或静态图形(still graphics)中。区块向量(block vector，BV)被用于IntraBC模式中以表示当前区块以及参考区块之间的空间关系。IntraBC模式中的BV等于帧内预测模式中的MV。
于IntraBC模式中应用多重假设预测操作的实施例中，推导出多个向量(例如：两个或多个BV，或至少一个BV以及至少一个MV)以用于编码单元中的特定次编码单元，且至少一个BV是另一已编码的次编码或编码单元的BV。多个像素值是从多个向量中推导出，且用于特定次编码单元的已预测像素值是利用多个像素值的线性组合来计算。线性组合可以是平均操作。于对应BV被推导以用于特定次编码单元的多重假设预测之前，另一次编码/编码单元被编码。用于BV导出的另一已编码的次编码或编码单元可以是相邻次编码/编码单元，例如，其可以是空间已编码的次编码/编码单元、时间已编码的次编码/编码单元、或视差补偿次编码/编码单元。BV导出可基于显式的旗标来执行，例如，比特流中具有一旗标以指示哪个已编码的次编码/编码单元被用于BV导出。一个或多个向量可以从相同编码单元的其余部分被推导出。于一实施例中，多个向量从单个次编码单元/编码单元中导出。例如，多个向量中的一个为列表0向量，且多个向量中的另一个为列表1向量。
以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。
如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视讯压缩芯片电路，或被集成于视讯压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。
在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (17)

1.一种在编码单元进行视讯编码时执行多重假设预测的方法，其特征在于，所述的方法包含：
处理所述编码单元中的多个次编码单元；
当所述编码单元由帧内区块复制模式处理时，执行区块向量导出，其中，所述区块向量导出的步骤进一步包含:
推导用于所述编码单元中的特定次编码单元的多重假设预测的多个第一向量，其中，所述多个第一向量从至少两个区块向量，或区块向量以及移动向量的组合中选择，至少一个所述第一向量是另一次编码或编码单元的所述区块向量，且在所述另一次编码或编码单元的所述区块向量被导出以用于所述特定次编码单元的多重假设预测之前，所述另一次编码或编码单元被编码；以及
根据所述多个第一向量执行所述特定次编码单元的多重假设预测，其中，所述根据所述多个第一向量执行所述特定次编码单元的多重假设预测的步骤进一步包括:
使用从所述多个第一向量中推导出的多个像素值的线性组合来作为所述特定次编码单元的已预测像素值。
2.如权利要求1所述的在编码单元进行视讯编码时执行多重假设预测的方法，其特征在于，所述根据所述多个第一向量执行所述特定次编码单元的多重假设预测的步骤进一步包括:
计算所述多个像素值的平均以推导所述特定次编码单元的所述已预测像素值。
3.如权利要求1所述的在编码单元进行视讯编码时执行多重假设预测的方法，其特征在于，所述执行区块向量导出的步骤进一步包含:
当所述编码单元由所述帧内区块复制模式处理时，基于显式的旗标执行区块向量导出。
4.如权利要求1所述的在编码单元进行视讯编码时执行多重假设预测的方法，其特征在于，所述多个第一向量是从所述编码单元的所述次编码单元的其余部分推导。
5.如权利要求1所述的在编码单元进行视讯编码时执行多重假设预测的方法，其特征在于，所述至少另一次编码/编码单元包括至少一空间已编码的次编码/编码单元以及/或至少一时间已编码的次编码/编码单元。
6.如权利要求1所述的在编码单元进行视讯编码时执行多重假设预测的方法，其特征在于，所述至少另一次编码/编码单元由用于区块向量导出的所述帧内区块复制模式来处理。
7.如权利要求1所述的在编码单元进行视讯编码时执行多重假设预测的方法，其特征在于，所述至少另一次编码单元/编码单元为相邻编码单元中的次编码单元。
8.如权利要求1所述的在编码单元进行视讯编码时执行多重假设预测的方法，其特征在于，所述多个第一向量是从单个次编码单元/编码单元中推导。
9.如权利要求1所述的在编码单元进行视讯编码时执行多重假设预测的方法，其特征在于，所述多个第一向量中的一个为列表0向量，以及所述多个第一向量中的另一个为列表1向量。
10.一种在编码单元进行视讯编码时执行多重假设预测的装置，其特征在于，所述装置包含:
处理电路，用于执行所述编码单元上的视讯编码，其中所述处理电路包括:
预处理模块，用于处理所述编码单元中的多个次编码单元，以及当所述编码单元由帧内区块复制模式处理时，执行区块向量导出，其中，所述预处理模块推导用于部分所述次编码单元的特定次编码单元的多重假设预测的多个第一向量，其中，所述多个第一向量是从至少两个区块向量，或区块向量以及移动向量的组合中选择，其中，所述多个第一向量中的至少一个是另一次编码或编码单元的所述区块向量，且在所述另一次编码或编码单元的所述区块向量被导出以用于所述特定次编码单元的多重假设预测之前，所述另一次编码或编码单元被编码，以及根据所述多个第一向量执行所述特定次编码单元的多重假设预测，以及所述预处理模块使用从所述多个第一向量中推导出的多个像素值的线性组合来作为所述特定次编码单元的已预测像素值；以及
至少一编码模块，用于根据由所述预处理模块执行的所述多重假设预测在所述编码单元上执行视讯编码。
11.如权利要求10所述的在编码单元进行视讯编码时执行多重假设预测的装置，其特征在于，所述预处理模块计算所述多个像素值的平均以推导所述特定次编码单元的所述已预测像素值。
12.如权利要求10所述的在编码单元进行视讯编码时执行多重假设预测的装置，其特征在于，当所述编码单元由所述帧内区块复制模式处理时，所述预处理模块基于显式的旗标执行区块向量导出。
13.如权利要求10所述的在编码单元进行视讯编码时执行多重假设预测的装置，其特征在于，所述预处理模块从所述编码单元的所述次编码单元的其余部分推导所述第一向量。
14.如权利要求10所述的在编码单元进行视讯编码时执行多重假设预测的装置，其特征在于，所述至少另一次编码/编码单元包括至少一空间已编码的次编码/编码单元以及/或至少一时间已编码的次编码/编码单元。
15.如权利要求10所述的在编码单元进行视讯编码时执行多重假设预测的装置，其特征在于，当所述预处理模块执行区块向量导出时，所述至少另一次编码/编码单元由所述帧内区块复制模式来处理。
16.如权利要求10所述的在编码单元进行视讯编码时执行多重假设预测的装置，其特征在于，所述多个第一向量是从单个次编码单元/编码单元中推导。
17.如权利要求10所述的在编码单元进行视讯编码时执行多重假设预测的装置，其特征在于，所述多个第一向量中的一个为列表0向量，以及所述多个第一向量中的另一个为列表1向量。
CN201610023800.4A 2015-01-21 2016-01-14 执行混成多重假设移动补偿预测的方法以及装置 Active CN105812819B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/601,247 2015-01-21
US14/601,247 US9118929B2 (en) 2010-04-14 2015-01-21 Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus

Publications (2)

Publication Number Publication Date
CN105812819A CN105812819A (zh) 2016-07-27
CN105812819B true CN105812819B (zh) 2019-02-15

Family

ID=56466299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610023800.4A Active CN105812819B (zh) 2015-01-21 2016-01-14 执行混成多重假设移动补偿预测的方法以及装置

Country Status (1)

Country Link
CN (1) CN105812819B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944171B (zh) * 2018-09-25 2023-05-09 华为技术有限公司 一种图像预测方法和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223532A (zh) * 2010-04-14 2011-10-19 联发科技股份有限公司 在编码单元进行视讯编码时执行混成多重假设移动补偿预测的方法以及装置
CN102595240A (zh) * 2011-01-17 2012-07-18 联发科技股份有限公司 缓冲装置与相应的缓冲方法
CN103828372A (zh) * 2011-11-24 2014-05-28 联发科技股份有限公司 储存于缓冲装置中的多重图像块编码图像的数据存取方法及装置
CN104041047A (zh) * 2012-01-06 2014-09-10 高通股份有限公司 在使用深度的3d视频译码中的多重假设差异向量构建

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10904551B2 (en) * 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223532A (zh) * 2010-04-14 2011-10-19 联发科技股份有限公司 在编码单元进行视讯编码时执行混成多重假设移动补偿预测的方法以及装置
CN102595240A (zh) * 2011-01-17 2012-07-18 联发科技股份有限公司 缓冲装置与相应的缓冲方法
CN103828372A (zh) * 2011-11-24 2014-05-28 联发科技股份有限公司 储存于缓冲装置中的多重图像块编码图像的数据存取方法及装置
CN104041047A (zh) * 2012-01-06 2014-09-10 高通股份有限公司 在使用深度的3d视频译码中的多重假设差异向量构建

Also Published As

Publication number Publication date
CN105812819A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
US9118929B2 (en) Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
CN102907095B (zh) 局部多重假设预测的执行方法及装置
CN103907346B (zh) 运动矢量预测子及视差矢量导出方法及其装置
TWI492637B (zh) 在編碼單元進行視訊編碼時執行混成多重假設移動補償預測的方法以及裝置
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN104412597B (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
US9900594B2 (en) Image encoding and decoding method with predicted and representative motion information
KR20180019688A (ko) 픽처 예측 방법 및 픽처 예측 장치
CN108605136A (zh) 基于图片次序计数的运动矢量精简
CN109644272A (zh) 用于建构候选列表的几何型优先级
TWI734262B (zh) 用於視訊編碼之運動向量差值改良式合併方法和裝置
CN108141605A (zh) 帧内块复制合并模式及不可用帧内块复制参考区域的填充
CN104995916B (zh) 视频数据解码方法和视频数据解码设备
CN104301739A (zh) 多视点视频编码方法
CN109587479A (zh) 视频图像的帧间预测方法、装置及编解码器
EP3065405B1 (en) Method for decoding video using buffer compression for motion vector competition
CN101563927A (zh) 用于对视频图像的块进行解码的方法
TW201340724A (zh) 視訊寫碼中之像差向量預測
CN104412587A (zh) 三维视频编码中视图间候选获取的方法和设备
CN104811717A (zh) 用于编码/解码高分辨率图像的方法和设备
TW202042558A (zh) 動態影像預測解碼裝置及動態影像預測解碼方法
CN104429074A (zh) 3d视频编码中视差矢量导出的方法和装置
CA3083703A1 (en) Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160927

Address after: Chinese Taiwan jhubei City, Hsinchu County Taiwan Yuan Street No. five 3 floor 7

Applicant after: Atlas Limited by Share Ltd

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu Chinese Dusing 1

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant