CN107439015B - 支持残差预测的多视图视频编解码器 - Google Patents

支持残差预测的多视图视频编解码器 Download PDF

Info

Publication number
CN107439015B
CN107439015B CN201680020923.0A CN201680020923A CN107439015B CN 107439015 B CN107439015 B CN 107439015B CN 201680020923 A CN201680020923 A CN 201680020923A CN 107439015 B CN107439015 B CN 107439015B
Authority
CN
China
Prior art keywords
coding unit
prediction
picture
residual prediction
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680020923.0A
Other languages
English (en)
Other versions
CN107439015A (zh
Inventor
格哈特·泰希
卡尔斯滕·祖宾
德特勒夫·马尔佩
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN107439015A publication Critical patent/CN107439015A/zh
Application granted granted Critical
Publication of CN107439015B publication Critical patent/CN107439015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

通过避免检查解码画面缓冲器中的任何画面可用性或不可用性来在鲁棒性和/或处理成本方面改善支持涉及与当前编码/解码画面相比属于不同视图和时间戳的参考画面的残差预测的多视图视频编码/解码。

Description

支持残差预测的多视图视频编解码器
技术领域
本申请涉及支持残差预测的多视图视频编码。
背景技术
支持残差预测的多视图视频编解码器的示例是3D-HEVC。在3D-HEVC的目前设计[5]中，用于残差预测的编码单元(CU)解码过程([1]、[2])参考三个参考画面。可以通过参考画面顺序计数(POC)、参考视图顺序索引(VOI)、当前POC和当前VOI来标识画面。
参考POC是如下画面的POC：a)该画面包括在当前画面的参考画面列表RefPicList中；以及b)该画面包括在当前层中。参考POC是根据VPS的语法元素和当前画面的切片首部导出的，并且对于当前画面的所有CU是恒定的([3]、[4])。
参考VOI是如下画面的VOI：a)该画面包括在当前画面的参考画面列表RefPicList中；以及b)包括在当前访问单元(AU)中。它是根据VPS的语法元素、切片首部和当前CU导出的，因此可以针对当前画面的CU而变化。
CU参考的三个参考画面包括在以下各项中：
1、当前视图和具有参考POC的AU(表示为画面A)
2、具有参考VOI的视图和当前AU(表示为画面V)
3、具有参考VOI的视图和具有参考POC的AU(表示为画面VA)
当可以导出参考POC和参考VOI并且所有三个参考画面都可用时，针对当前CU启用残差预测。
画面V和画面A的可用性被隐含地保证，这是因为：
分别在当前画面的参考画面列表(RefPicList)中包括的画面的POC和VOI中选择参考POC和参考VOI。
RefPicList包括包括在根据当前画面的切片首部和VPS导出的画面集合RefPicSetLtCurr、RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetInterLayer1和RefPicSetInterLayer0的并集中的画面子集。
当对当前画面进行解码时，需要(由于比特流的约束)将RefPicSetLtCurr、RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetInterLayer1和RefPicSetInterLayer0中包含的画面置于解码画面缓冲器(DPB)中。
当解码画面缓冲器(DPB)包括被标记为“用于参考”并且具有参考POC和参考VOI的画面时，画面VA是可用的([3])。因此，关于针对当前CU是否调用用于残差预测的解码过程取决于DPB的状态。
应当注意的是，虽然在解码过程中未显式地测试，但是当满足以下两个条件时，画面VA是可用的：
1)比特流包含具有参考POC和参考VOI的画面。
2)画面V的语法元素指示画面VA可以被以下之一用作参考：
a)画面V。这在画面VA包括在根据VPS和画面V的切片首部导出的集合RefPicSetLtCurr、RefPicSetStCurrBefore或RefPicSetStCurrAfter之一中时指示。
b)具有参考VOI的视图中的在V画面之后的画面。这在画面VA包括在根据VPS和画面V的切片首部导出的RefPicSetLtFoll或RefPicSetStFoll中时指示。
应当注意的是，在不失一般性的情况下，上面和下面的描述假定当前CU和当前切片仅执行P预测。对于B预测，该过程
可以针对CU的两个列表都被执行。
在画面VA不可用的情况下，可以仅禁用画面VA的使用，而不是针对CU完全禁用残差预测。
在图1中示出了示例1，图1描绘了3D-HEVC多层比特流的层和当前画面的CU的画面依赖性。当前画面是视图3的画面2。在对当前画面的任何编码单元(CU)进行解码之前，对参数集合VPS、SPS；视图0、1和2的画面0、1和2；视图3的画面0和1；以及当前画面的切片首部进行解码。
此外，在对当前画面的第一CU进行解码之前，根据VPS的语法元素和当前画面的切片首部导出参考画面列表refPicList。列表refPicList包括视图3的画面0和1以及视图0和2的画面2。参考POC是在refPicList和视图3中包括的画面的POC中选择的，使得它等于1。
当对CU 0被解码时，根据VPS的语法元素、当前画面的切片首部和CU 0导出参考VOI，使得它等于2。因此，画面V和A分别是视图2中的画面2和视图3中的画面1。为了确定是否针对CU 0启用残差预测，进一步测试视图2的画面1(画面VA)是否包括在DPB中并且“被标记为用于参考”。由于视图2的画面1存在于比特流中并且包括在视图2的画面2的RefPicSetStFoll中，因此所述情况成立，并且针对CU 0启用残差预测。
当对CU 1被解码时，根据VPS的语法元素、当前画面的切片首部和CU 1导出参考VOI，使得它等于0。因此，画面V和A分别是视图2中的画面0和视图3中的画面1。为了确定是否针对CU 1启用残差预测，进一步测试视图0的画面1(画面VA)是否包括在DPB中并且“被标记为用于参考”。由于视图0的画面1存在于比特流中并且包括在视图2的画面2的RefPicSetLtCurr中，因此所述情况成立，并且针对CU 1启用残差预测。
当前的残差预测解码过程的问题在于对在DPB中存在具有参考POC和VOI的画面(画面VA)的依赖性。通常通过设计选择在HEVC规范中避免对DPB的状态的依赖性。该设计的缺点是在对当前画面进行解码时不一定检测到画面VA丢失。
因此，当对当前CU进行解码并且DPB中不存在画面VA时，不清楚是它是丢失了还是故意不存在。
参见图2中的示例2。图2描绘了与示例1相同的设置，区别在于视图2中的画面1已经丢失。因此，不满足条件1(如上所述)，并且针对CU 0的画面VA不在DPB中，使得针对CU 0禁用残差预测。然而，当对当前画面进行解码时，不能检测到错误的解码，这是因为视图2中的画面1不需要存在。应当注意的是，视图2中的画面1存在于视图2中的画面2的RefPicSetStFoll或者RefPicSetLtFoll中并不要求视图2中的画面1存在于比特流或DPB中。例如，在根本没有残差预测的情况下，HEVC中的这种设计选择的原因是能够在不改变视图2的画面2的情况下丢弃视图2的画面1。
因此，需要一种多视图视频编解码器，其改善涉及与当前编码/解码画面的时间戳和视图都不一致的画面的残差预测的支持，例如，改善针对传输丢失的鲁棒性和/或处理成本。
发明内容
该目的是通过独立权利要求的主题来实现的。
根据本申请，如果避免检查解码画面缓冲器中的任何画面的可用性或不可用性，则可以改善支持涉及与当前编码/解码画面相比属于不同视图和时间戳的参考画面的残差预测的多视图视频编码/解码的鲁棒性和/或处理成本。根据本发明的第一方面，针对预定的运动或视差补偿预测编码单元启用或禁用残差预测是至少关于与当前画面相比属于不同的视图和时间戳的第三参考画面根据数据流中的与当前画面的第二参考画面有关的参数集合的检验来执行的，其中第二参考画面的参考视图与第三参考画面一致并且第二参考画面的时间戳与当前画面一致。根据该参数集合导出可以用于预测第二参考画面并且属于参考视图的所有参考画面的集合，即，可用于第二参考画面的层内预测的参考画面的集合。通过这种方式，关于残差预测的启用/禁用的决定不再依赖于在解码画面缓冲器中存在或不存在第三参考画面，因此由于传输丢失而意外引起的在解码画面缓冲器中不存在第三参考画面的情形不会导致将编码单元不正确地分类为要进行残差预测的编码单元和不进行残差预测的编码单元。根据本申请的另一方面，关于预定的运动或视差补偿预测编码单元的残差预测的启用/禁用的决定至少关于第三参考画面由数据流中的第二参数集合中的与当前画面相关的标志执行。使用数据流中的与当前画面相关的第一参数集合来识别包括在与当前视图不同的视图中并且潜在地用作当前画面的编码单元的第二参考画面的参考画面的第一集合以及潜在地用作当前画面的编码单元的第一参考画面的参考画面的参考时间戳。因此，参考画面的第一集合的时间戳与当前画面一致。对于参考画面的第二集合中的每一个参考画面，第二参数集合包括指示所述参考画面的第二集合中的所述相应画面是否能够用作第三参考画面的标志，其中，所述参考画面的第二集合针对所述第一集合中的每一个参考画面包括一个与所述参考画面的第一集合中的相应参考画面的视图一致并且属于所述参考时间戳的画面。也就是说，根据第二备选方案，标志直接指示“第三参考画面”(在本申请的描述中的其他地方表示为“VA”)的可用性或不可用性，因此提高了错误鲁棒性并降低了支持残差预测所涉及的处理复杂度。
附图说明
有益的实现是从属权利要求的主题。下面参照附图描述本申请的优选实施例，在附图中：
图1示出了说明与可以针对其应用残差预测的编码单元相关的参考画面的示意图，以便说明残差预测及其对当前3D-HEVC设计的依赖性；
图2示出了说明在画面丢失的情况下图1的相同情形，以用于说明在这种情形下出现的问题；
图3示出了与图1和图2相对应的用于说明解决关于图2所述的问题的可能性的示意图；
图4示出了根据示意性地示出用于多视图视频的示例的画面的实施例的多视图视频解码器的框图；
图5示出了说明根据实施例的运动补偿预测编码单元的残差预测过程的示意图；
图6示意性地示出了涉及与图5相似的残差预测的编码单元的重构过程，但是这里针对视差补偿预测编码单元进行说明；
图7示出了说明根据实施例的由图4的残差预测开关14执行的解码侧的关于残差预测的启用/禁用确定的示意图；
图8示出了说明根据实施例的图4的视频解码核心对编码单元的残差预测的应用或非应用的依赖性以及其对图7的启用/禁用确定的依赖性；
图9示出了用于在3D-HEVC中使用以形成根据图7和图8的实施例的实现的语法示例的表格；
图10示出了根据实施例的与图4的解码器相适应的多视图视频编码器的框图；以及
图11示出了说明根据本申请的第二方面的在多视图视频编码器和多视图视频解码器之间共享的启用/禁用确定过程的示意图。
具体实施方式
在下面进一步描述本申请的各种实施例之前，应通过继续在本申请的说明书的介绍部分的3D-HEVC的当前设计中出现的问题的解释并且基于上面所述的并且在图1和图2中所示的示例描述可以克服所述的问题的解决方案，来解释这些实施例的基本思想和优点。
根据本申请的第一方面的思想是允许通过仅在画面VA包括在画面V的RefPicSetLtCurr、RefPicSetStCurrBefore或RefPicSetStCurrAfter中时启用残差预测来允许对画面VA的丢失的直接检测。当对画面V进行解码时，比特流要求是包括在这些集合中的画面存在于DPB中。当对画面V进行解码时，通常会检查它们的存在。因此，当对画面V进行解码时，因此在对当前画面进行解码之前，将已经对画面VA的丢失进行了检测。应当注意的是，在对画面V进行解码和对当前画面进行解码之间，未从DPB中移除包括在画面V的RefPicSetLtCurr、RefPicSetStCurrBefore或RefPicSetStCurrAfter中的画面。因此，当对画面V进行解码时存在画面VA足以确保当对当前画面进行解码时在DPB中存在画面VA。
参见图3中的示例3。图3示出了使用刚刚提出的解决方案的解码过程。视图2的画面1(CU 0的画面VA)包括在视图2的画面2(CU 0的画面V)的RefPicSetStFoll中，但是不在CU 0的画面V的RefPicSetLtCurr、RefPicSetStCurrBefore或RefPicSetStCurrAfter中。因此，针对CU 0禁用残差预测，这是因为不能推断是否需要在DPB中存在CU 0的画面VA。
在视图2的画面2(CU1的画面V)的RefPicSetStCurrBefore中包括视图0的画面1(CU 1的画面VA)。因此，由于确保了在DPB中存在CU1的画面VA，因此针对CU 1启用残差预测。当CU 1的画面VA不存在时，当对视图0的画面2进行解码时将检测到这一点，这是因为由于比特流的约束因此在那里需要存在视图0的画面1。
3D-HEVC的当前规范的规范改变可以如下。
应当注意的是，使用下划线指示插入，并且已删除的部分被显示为中划线。
I.8.3.9针对残差预测的目标参考索引的导出过程
当当前切片是P或B切片时调用该过程。
设currPic是当前画面。
变量RpRefIdxL0和RpRefIdxL1被设置为等于-1，并且变量RpRefPicAvailFlagL0和RpRefPicAvailFlagL1被设置为等于0。
以下适用于0到1的范围(包括端点)内的X：
-当X等于0或当前切片为B切片时，以下内容适用：
变量pocDiff被设置为等于215-1。
-针对0到num_ref_idx_lX_active_minus1的范围内的i，以下内容适用：
-变量currPocDiff被设置为等于Abs(PicOrderCnt(RefPicListX[i])-PicOrderCntVal)。
-当currPocDiff不等于0且currPocDiff小于pocDiff时，以下内容适用：
pocDiff＝currPocDiff(I-52)
RpRefIdxLX＝i(I-53)
RpRefPicAvailFlagLX＝1(I-54)
变量RpRefPicAvailFlag被推导如下：
RpRefPicAvailFlag＝(RpRefPicAvailFlagL0||RpRefPicAvailFlagL1)&&DispAvailFlag (I-55)
当RpRefPicAvailFlag等于1时，以下内容适用于0到1的范围(包含端点)内的X：
-针对0到MaxLayersMinus1的范围(包含端点)内的refViewOrderIdx，以下内容适用：
变量RefRpRefAvailFlagLX[refViewOrderIdx]被设置为等于0。
-当X等于0或当前切片为B切片时，以下内容适用：
-针对0到NumActiveRefLayerPics-1的范围(包含端点)内的i，以下内容适用：
-变量refViewOrderIdx被设置为等于ViewOrderIdx(RefPicLayerId[i])。
-设picV是当前AU中的画面，其nuh_layer_id等于RefPicLayerId[i]。
-当RpRefPicAvailFlagLX等于1并且在DPB中PicOrderCnt(picA)等于PicOrderCnt(RefPicListX[RpRefIdxLX])、ViewIdx(picA)等于refViewOrderIdx、OtherDimsEqualFlag(currPic,picA,DIM_VIEW)等于1并且被标记为“用于参考”的picV的参考画面集合RefPicSetLtCurr、RefPicSetStCurrBefore、RefPicSetStCurrAfter之一中存在画面picA时，RefRpRefAvailFlagLX[refViewOrderIdx]被设置为等于1。
当RpRefPicAvailFlag等于1并且RefRpRefAvailFlagL0[refViewOrderIdx]对于0到MaxLayersMinus1的范围(包含端点)内的任何refViewOrderIdx等于1时，比特流一致性的要求是针对编码画面的所有切片，PicOrderCnt(RefPicList0[RpRefIdxL0])应当是相同的。
当RpRefPicAvailFlag等于1并且RefRpRefAvailFlagL1[refViewOrderIdx]对于0到MaxLayersMinus1的范围(包含端点)内的任何refViewOrderIdx等于1时，比特流一致性的要求是针对编码画面的所有切片，PicOrderCnt(RefPicList1[RpRefIdxL1])应当是相同的。
根据下面进一步描述的本申请的第二方面的实施例利用备选的解决方案，并且该备选的解决方案是：
在当前切片的切片首部中显式地用信号通知当前切片的CU潜在需要的画面VA中的哪一些存在。(分别针对预测列表L0和L1)
当用信号通知VA画面存在时，由于比特流约束因此需要其存在于DPB中
当未用信号通知对当前CU进行解码所需的特定画面VA存在时，针对当前CU禁用来自画面VA的残差预测。
这样可以避免访问picV的RefPicSetLtCurr、RefPicSetStCurrBefore、RefVicSetStCurrAfter。然而，附加的切片首部信令化引入附加的信令成本。
这里，遵从备选解决方案的规范改变可以是：
I.7.3.6.1一般的切片首部语法
Figure BDA0001428604300000091
Ref_rp_ref_avail_flag_l0[i]等于指定icOrderCnt(picA)等于PicOrderCnt (RefPicListX[RpRefIdxL0])、ViewIdx(picA)等于ViewOrderIdx(RefPicLayerId[i])、 OtherDimsEqualFlag(currPic,picA,DIM_VIEW)等于1的画面picA可能不存在并且不用于 当前切片的残差预测解码过程。ref_rp_ref_avail_flag_l0[i]等于1指定PicOrderCnt (picA)等于PicOrderCnt(RefPicListX[RpRefIdxL0])、ViewIdx(picA)等于ViewOrderIdx (RefPicLayerId[i])、OtherDimsEqualFlag(currPic,picA,DIM_VIEW)等于1的画面picA存 在并且可以用于当前切片的残差预测解码过程。
ref_rp_ref_avail_flag_l1[i]等于指定PicOrderCnt(picA)等于PicOrderCnt (RefPicListX[RpRefIdxL1])、ViewIdx(picA)等于ViewOrderIdx(RefPicLayerId[i])、 OtherDimsEqualFlag(currPic,picA,DIM_VIEW)等于1的画面picA可能不存在并不用于当 前切片的残差预测解码过程。ref_rp_ref_avail_flag_l1[i]等于1指定PicOrderCnt (picA)等于PicOrderCnt(RefPicListX[RpRefIdxL0])、ViewIdx(picA)等于ViewOrderIdx (RefPicLayerId[i])、OtherDimsEqualFlag(currPic,picA,DIM_VIEW)等于1的画面picA存 在并且可以用于当前切片的残差预测解码过程。
I.8.3.9针对残差预测的目标参考索引的导出过程
当当前切片是P或B切片时调用该过程。
设currPic是当前画面。
变量RpRefIdxL0和RpRefIdxL1被设置为等于-1，并且变量RpRefPicAvailFlagL0和RpRefPicAvailFlagL1被设置为等于0。
以下适用于0到1的范围(包括端点)内的X：
-当X等于0或当前切片为B切片时，以下内容适用：
变量pocDiff被设置为等于215-1。
-针对0到num_ref_idx_lX_active_minus1的范围内的i，以下内容适用：
-变量currPocDiff被设置为等于Abs(PicOrderCnt(RefPicListX[i])-PicOrderCntVal)。
-当currPocDiff不等于0且currPocDiff小于pocDiff时，以下内容适用：
pocDiff＝currPocDiff(I-52)
RpRefIdxLX＝i(I-53)
RpRefPicAvailFlagLX＝1(I-54)
变量RpRefPicAvailFlag被推导如下：
RpRefPicAvailFlag＝(RpRefPicAvailFlagL0||RpRefPicAvailFlagL1)&&DispAvailFlag(I-55)
当RpRefPicAvailFlag等于1时，以下内容适用于0到1的范围(包含端点)内的X：
-针对0到MaxLayersMinus1的范围(包含端点)内的refViewOrderIdx，以下内容适用：
变量RefRpRefAvailFlagLX[refViewOrderIdx]被设置为等于0。
-当X等于0或当前切片为B切片时，以下内容适用：
-针对0到NumActiveRefLayerPics-1的范围(包含端点)内的i，以下内容适用：
-变量refViewOrderIdx被设置为等于ViewOrderIdx(RefPicLayerId[i])。
-RefRpRefAvailFlagLX[refViewOrderIdx]被设置为等于RpRefPicAvailFlagLX&&ref_rp_ref_avail_flag_lX[i]。
-当RefRpRefAvailFlagLX[refViewOrderIdx]等于1时，比特流一致性要求在DPB中存在PicOrderCnt(picA)等于PicOrderCnt(RefPicListX[RpRefIdxLX])、ViewIdx(picA)等于refViewOrderIdx、OtherDimsEqualFlag(currPic,picA,DIM_VIEW)等于1并且被标记为“用于参考”的画面picA。
Figure BDA0001428604300000111
当RpRefPicAvailFlag等于1并且RefRpRefAvailFlagL0[refViewOrderIdx]对于0到MaxLayersMinus1的范围(包含端点)内的任何refViewOrderIdx等于1时，比特流一致性的要求是针对编码画面的所有切片，PicOrderCnt(RefPicList0[RpRefIdxL0])应当是相同的。
当RpRefPicAvailFlag等于1并且RefRpRefAvailFlagL1[refViewOrderIdx]对于0到MaxLayersMinus1的范围(包含端点)内的任何refViewOrderIdx等于1时，比特流一致性的要求是针对编码画面的所有切片，PicOrderCnt(RefPicList1[RpRefIdxL1])应当是相同的。
在对以下进一步描述的本申请的实施例的思想和优点进行了例示和说明之后，应当注意以下事实：上述具体参考3D-HEVC的当前设计的图示不应在任何程度上被解释为随后描述的实施例的限制。也就是说，虽然随后描述的实施例基于上述思想而出现，但是它们可以以与3D-HEVC不同的方式来实现。换句话说，尽管下面描述的实施例可以被实现为产生具有上述优点的3D-HEVC编解码器，但是备选地下面描述的实施例可以不同地实现。
图4示出了根据本发明的实施例的多视图视频解码器10。多视图视频解码器10包括视频解码核心12和残差预测开关14。如图4所示，残差预测开关14实际上可以包括在视频解码核心12中。
视频解码核心12被配置为从由多视图视频解码器接收的数据流18对多视图视频16进行解码。在图4中，多视图视频16包括的多个视图是四个视图，以便于将图4的实施例与上面关于图3提出的描述进行比较，但是视图的数量可以备选地低于4个，例如2个或大于2的任何数量。每个视图V0…V3由画面的时间序列组成，使得每个画面20沿着时间轴22属于特定的时间戳Pi，其中为了说明的目的，图4仅示出了属于两个连续的时间戳P1和P2的画面。各种视图的画面例如从与视图Pj相对应的不同视图位置在不同的时刻或时间戳Pi显示共同场景。
视频解码核心支持对当前视图的当前画面20的编码单元的残差预测。这意味着以下内容。视频解码核心12以视图V1…V4的画面20被细分为的编码单元为单位对画面20进行解码。例如，编码单元可以是树根块的递归多细分的叶，其中画面20按行和列被规则地预先细分为树根块。然而，这仅是一个示例，并且编码单元本身可以按行和列形成画面的常规细分。视频解码核心在对数据流18进行解码时遵循画面20的编码单元的特定解码顺序。例如，视频解码核心12可以按解码顺序来顺序地对编码单元进行解码。备选地，视频解码核心10可以使用并行处理，以便对画面的编码单元并行地解码，然而，视频解码核心10遵循在编码单元中定义的解码顺序，使得视频16的按解码顺序在当前编码单元之前的画面的部分已经被处理/解码。例如，解码顺序可以逐个画面地遍历编码单元，其中在进行到另一时间戳的画面的编码单元之前遍历一个时间戳的画面。解码顺序例如沿着视图Vi的视图索引i顺序地遍历特定时间戳的画面。
不同的编码模式可以与编码单元相关联。数据流18可以用信号通知这些编码模式。例如，一些编码单元可以是运动补偿预测编码单元，其是由视频解码核心12在时间上基于按解码顺序继续但是属于相同视图的参考画面使用运动补偿预测来预测的。其他编码单元可以是视差补偿预测编码单元，其是视频解码核心12基于按解码顺序的属于相同时刻/时间戳的先前/后续层的画面使用视差补偿预测来预测的。
甚至其他编码单元也可以是用于解码的帧内编码的编码单元，其中视频解码核心12对帧内编码的编码单元既不使用时间预测也不使用视图间预测。例如，空间预测可以用于这样的帧内编码的编码单元。
视频解码核心12支持基于当前视图的第一参考画面、参考视图的与当前视图的当前画面20的时间戳一致的第二参考画面和参考视图的与第一参考画面的时间戳一致的第三参考画面对当前画面20的预定的运动或视差补偿预测编码单元的残差预测。为了说明的目的，图4示出了在时间戳P2视图V3的画面20中的编码单元22。该编码单元22可以是例如当前编码单元。
如下面关于图5和6将描述的，视频解码核心12可以被配置为：在对当前编码单元22进行残差预测时，根据预定的运动或视差补偿预测编码单元22是运动补偿预测编码单元或视差补偿编码单元来确定第一参考画面A、第二参考画面V和第三参考画面VA中的参考画面子集，并且使用所确定的参考画面子集来执行残差预测。例如，图5示出了当前画面P、画面P的第一参考画面A、第二参考画面V和第三参考画面VA，并且示出了被假定为运动补偿预测的(即，时间预测的)编码单元的当前编码单元22。也就是说，数据流指示要对编码单元22进行时间预测，并且用信号通知诸如一个或多个运动矢量24的运动数据，其中，通过使用所述运动数据，将从运动信息24指向的并且位于参考画面A中的相应部分26预测编码单元22(即，编码单元22覆盖的画面块)。下面更详细地阐述关于残差预测是否应用于编码单元22的细节。然而，如果要对编码单元22进行残差预测，则视频解码核心12可以如下操作。使用视频解码核心12可以根据编码到数据流18中的深度图或通过数据流中的相应附加信令或者根据与当前编码单元在时间上或空间上相邻的编码单元导出的视差信息28，并且可选地通过使用诸如运动信息24或针对画面V传送的运动信息的运动信息，视频解码核心12将相应部分32和34定位在参考画面VA和V中，并形成这些部分32和34之差30，并使用一方面通过使用来自部分26的运动信息24获得的第一级预测信号38和另一方面差分信号30之和作为编码单元22的最终预测36。视频解码核心12可以通过使用残差解码42从数据流导出残差信号40来将残差信号40与该预测信号36相加，这可以例如涉及对系数级进行熵解码或变换，对变换系数级进行量化，以及对经量化的变换系数进行频谱到空间的变换。将最终预测信号36和残差信号40相加的结果可以用于重构编码单元22的内容。
图6示出了编码单元22是视差补偿的(即，视图间预测的)编码单元的情况，针对该编码单元，数据流18用信号通知该编码单元与运动信息24一起被层间预测，然而，运动信息24现在表示视差信息，例如指向相应部分26(然而，相应部分26现在位于参考画面V内)的一个或多个矢量。在这种情形下，视频解码核心12根据相应部分32和34形成差分信号30，然而相应部分32和34现在位于画面A和VA中的例如由视频解码核心12通过使用时间信息或运动矢量(例如在用于参考画面V的数据流中传送的时间信息或运动矢量)和可选的视差信息(例如视差信息24)或以其他方式从数据流导出的用于考虑部分32和34之间的相对视差移位的视差信息所定位的位置。一方面通过从部分26复制获得的第一级预测信号38和另一方面差分信号30之和被再次用作最终预测信号36，然后将最终预测信号36用于在将残差信号40与预测信号36相加或不相加的情况下重构画面P的由编码单元22覆盖的部分。
应当注意的是，图5集中在将残差预测用于时间预测的画面P的情况。然而，如果未被使用，则当前画面的相同视图/层内的参考画面可以不同于图5所示的参考画面，即不同于在应用残差预测的情况下用作画面A的参考画面。可以针对编码单元22用信号通知参考索引，其中编码单元22从当前画面P的时间参考画面的集合中选择一个时间参考画面。稍后将参考附图标记48关于画面V的层/视图来提及这样的参考画面的集合。参考画面A，即在应用残差预测的情况下使用的参考画面A可以是“时间上最近的”画面，并且如果应用残差预测，则可以固有地/自动地选择该参考画面A。可以通过显式信令(例如通过显式地约定每个可用的时间参考画面的相关联的参考画面V)或者固有地为画面P选择画面V。在图6的情况下，即在层间预测的画面P的情况下，可以用信号通知画面V是参考索引，并且画面A可以再次是可用参考画面的集合中的“时间上最近的”参考画面。
也就是说，图5和图6表示这样的示例：在编码单元22被时间预测的情况下解码核心12使用参考画面VA和V以预测时间第一级预测38的预测残差并且在编码单元22被视图间预测的情况下解码核心12使用参考画面A和VA以预测视图间预测信号38的预测残差。在这两种情况下，所有画面A、V和VA都参与重构过程，但是应当注意的是，图5和图6的实施例仅仅是一个示例，并且修改是可行的。
如下面更详细地说明的那样，不是所有的运动或视差补偿预测编码单元都被视频解码核心12进行残差预测。相反，决定是否对运动或视差补偿预测类型的当前编码单元进行残差预测至少部分地依赖于残差预测开关14执行的检查的结果，下面更详细地对此进行描述。“部分地”意味着数据流18可以例如传送信号化，该信号化针对当前编码单元22用信号通知是否对当前编码单元22执行残差预测。然而，只有在残差预测开关针对该编码单元启用残差预测的情况下，这种信号化才可以包括在数据流18内。根据该备选方案，视频解码核心12将已经关于解析过程(即，解析数据流18)对残差预测开关进行了响应。只有在针对当前编码单元22启用残差预测的情况下，视频解码核心12才从数据流读取用信号通知是否对当前编码单元应用残差预测的信号化。根据备选方案，每当开关14启用残差预测时，可以在由解码核心12执行残差预测的情况下中断针对编码单元22的这种信号化，或者可以在数据流中针对编码单元22不可避免地用信号通知这种信号化，然而开关14修改残差预测方案以便不依赖于参考画面VA。例如，代替使用上面关于图5和图6描述的残差预测方案，如果开关14用信号通知禁用，则解码核心12可以通过例如对第一级预测信号38的空间预测或通过某种其他方式来执行残差预测。在任何情况下，至少就第三参考画面而言，视频解码核心12根据残差预测开关14针对当前编码单元应用或不应用残差预测。
为了决定针对当前编码单元22启用或禁用残差预测，残差预测开关14被配置为评估数据流中包含的特定参数集合，如关于图7所描述的。
具体地，如图7所示，残差预测开关14从数据流读取参数集合44。该参数集合44涉及参考画面V，其被假设为具有视图索引Vref。残差预测开关14从参数集44导出肯定可用于预测/重构参考画面V并且属于参考视图Vref的所有画面的集合48。也就是说，集合48包括在对画面V进行解码时肯定在视频解码核心12的解码画面缓冲器中的视图Vref的所有画面。图4在附图标记50处示出了解码画面缓冲器。例如，视频解码核心12逐个时间戳地(即，每次具有属于一个时间戳的解码画面)清空并且相应地重新填充解码画面缓冲器50。换句话说，视频解码核心12可以维持解码画面缓冲器50内的所有画面，直到对属于当前时间戳的画面的解码结束为止，使得在对视图Vcurr的当前画面进行解码时属于集合48的画面需要并且被确保也存在于解码画面缓冲器50中。作为附注，应当提及的是，集合48可以是相对于参考视图Vref的参考画面的集合的超集合，其可以实际上由CU中的相应索引或者画面V的预测单元参考。在HEVC注释中，集合48将是RefPicSetLtCurr、RefPicSetStCurrBefore、RefPicSetStCurrAfter的并集。参考画面V的不属于参考视图Vref的参考画面的集合在HEVC注释中将是RefPicSetInterLayer1和RefPicSetInterLayer0的并集。参考画面的子集(因此实际上通过画面V中的CU的运动补偿和视差补偿预测块的参考索引参考的RefPicSetLtCurr、RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetInterLayer1和RefPicSetInterLayer0的并集中的画面的子集)将是RefPicList(如果当前画面是多假设预测画面，则针对每一个假设)，并且是使用切片首部的参数根据并集导出的。当对参考画面V进行预测时，作为RefPicList的参考画面的子集中的画面实际上可以由参考画面V的预测单元参考。
如上所述，关于3D-HEVC，由残差预测开关14检验的参数集合44例如可以跨数据流18的不同“范围”的部分(例如，当前画面的视频画面集合VPS和切片首部)散布在数据流18中。集合48可以是RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr的并集。这些集合包含可以用于当前画面和按解码顺序在当前画面之后的一个或多个画面的帧间预测的所有参考画面。如上所述，多视图视频解码器10可以被配置为从数据流18读取也与参考画面V相关的另一参数集合56，以便根据该另一参数集合56导出参考视图Vref的参考画面的另一集合58。然而，后一集合58是参考画面的兼性集合。仅在多视图视频解码器当前包括这些画面中的任何一个(即，用于预测参考视图的按解码顺序在参考画面V之后的画面)的情况下，才将它们维持在解码画面缓冲器50中。换句话说，集合58由不用于画面V的帧间预测但是可以用于视图Vref的按解码顺序在画面V之后的一个或多个画面的帧间预测的所有参考画面组成。因此，集合48和58是不同的，即不重叠或没有任何共同的画面。由残差预测开关14执行以启用52或禁用54残差预测的关于集合48是否包括画面VA(即，参考视图Vref的与参考画面A的时间戳Pref一致的画面)的检查53与集合58无关。检查53也与第三参考画面的VA在解码画面缓冲器50中的实际存在无关，从而避免了对残差预测开关14检查这种存在的需要，如上所述，这种检查将遭受不能区分由于传输丢失而导致参考画面VA的不存在以及由于已经产生了比特流18的视频编码器的意图而引起的参考画面VA的不存在的影响。
如上所述，为了获得Pref，多视图视频解码器可以即可以通过针对当前画面P检验(即读取和导出)数据流18中的相应参数集合来识别参考画面A，其中确定当前画面P的相应参考画面的集合中的与当前画面P在时间上最近的画面为参考画面A，即，参考画面的集合中的肯定可用于预测/重构当前画面P并且与画面P属于相同的视图且属于与画面P的时间戳最近的时间戳的画面。
在图8中示出了视频解码核心12对残差预测开关14的响应的示例。图8示出了这样的示例：除了上述依赖性之外，关于是否将残差预测应用于特定编码单元的决定还还依赖于数据流18中的通常启用或禁用或者打开或关闭残差预测的标志60。标志60的范围可以是例如整个视频、访问单元(即，属于一个时间戳的画面)或当前画面。图8所示的标志60和相应检查62是可选的。也就是说，多视图视频解码器10将基于标志60检查62是否在任何情况下都启用残差预测。应当注意的是，针对下一个循环“0到num_ref_idx_lX_active_minus1的范围”的上述示例清楚地表明：启用/禁用可以备选地由语法元素(例如，用信号通知在任何情况下针对当前画面P的任何时间参考画面的不可用性的语法元素)用信号通知。
多视图视频解码器10还将检查64残差预测开关14是否在图7的步骤52/54中启用或禁用了残差预测。两个检查62和64仅仅确认残差预测的启用，多视图视频解码器10或视频解码核心12从数据流18读取针对当前编码单元的信号化67，该信号化67专门针对当前编码单元信号化是否针对当前编码单元应用残差预测。在读取66之后，视频解码核心12检查在步骤66中读取的信号化67(即在步骤68中)，以便在信号化确认应用残差预测的情况下在70中使用残差预测对当前编码单元进行解码，并且在步骤66中读取的信号化用信号通知虽然启用残差预测但是不应用残差预测的情况下在步骤72中在不进行残差预测的情况下对当前编码单元进行解码。在步骤70中使用残差预测对当前编码单元的解码可以如上文参考图5和6来执行，其中根据步骤72的解码(即在不进行残差预测的情况下)可以与该过程一致，除了不确定差分信号30使得第一级预测信号38成为最终预测信号36这样的事实。
如果检查62、64和68中的任一个导致残差预测未被启用或不被应用于当前编码单元，则在不进行残差预测的情况下对当前编码单元进行编码。在不启用是检查62和64中的任何一个的结果的情况下，甚至不读取信号化，即，跳过读取。
应当注意的是，由于集合48收集合不得不存在于解码器10的解码画面缓冲器50中的所有画面这样的事实，因此如果画面VA包括在该集合48中但是不存在于解码画面缓冲器50中，则多视图视频解码器10检测到参考画面VA丢失。如果检测到这种情况，则多视图视频解码器可以例如发起或进入差错恢复模式。例如，多视图视频解码器可以从下一个帧内编码的画面开始继续对比特流进行解码，或者可以使用替代画面作为参考画面VA的替代。
因此，换句话说，上述描述揭示了多视图视频解码器，包括视频解码核心(例如，3D-HEVC核心)12，其被配置为以画面的编码单元为单位对来自数据流18的多个视图Vi进行解码，视频解码核心12支持基于当前视图的第一参考画面A、参考视图的与当前视图的当前画面的时间戳一致的第二参考画面V和参考视图的与第一参考画面A的时间戳一致的第三参考画面VA对当前画面的预定的运动或多视图补偿预测编码单元的运动或视差补偿残差预测。例如，使用视差矢量v根据第二参考画面对当前画面的CU的视差补偿预测后接通过将与v相对应的视差矢量应用于第一参考画面的(与CU)并列的部分来预测该预测的残差以便根据第三参考画面进行视差补偿预测来预测该预测的残差；针对CU仅可以将剩余残差熵编码到数据流中。或者使用运动矢量v根据第一参考画面对当前画面的CU的运动补偿预测后接通过将与v相对应的运动矢量应用于第二参考画面的(与CU)并列的部分来预测该预测的残差以便根据第三参考画面进行运动补偿预测来预测该预测的残差；针对CU仅可以将剩余残差熵编码到数据流中。
此外，多视图视频解码器可以包括视差补偿残差预测开关，其被配置为从数据流读取与第二参考画面相关的参数集合，例如，切片首部，并且根据该参数集合导出可以用于预测第二参考画面并且属于参考视图的所有参考画面的集合，其中，该集合是例如HEVC中的RefCicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetLtCurr的并集，即在对第二参考画面进行解码时需要存在的第二画面的层的画面的并集。因此，当对第二参考画面进行解码时，该集合需要存在(于DPB中)，并且在对当前画面进行解码时，当第二参考画面和当前画面属于相同的时间戳或AU并且逐个AU地并且按编码/解码顺序(在按编码/解码顺序进行到下一个时间戳之前首先遍历一个时间戳的视图)将DPB清空时，该集合也存在。视差补偿残差预测开关还可以被配置为检查第三参考画面是否包括在参考画面的集合中；根据检查，如果第三参考画面包括在参考画面的集合中，则启用针对当前编码单元的视差补偿残差预测；根据检查，如果第三参考画面未包括在参考画面的集合中，则禁用针对当前编码单元的视差补偿残差预测。
视频解码核心被配置为对视差补偿残差预测开关进行响应，以便基于第三参考画面对当前编码单元应用或不应用视差补偿残差预测。应当注意的是：在另一列表中，CU可以使用另一备选的“参考画面”，使得残差预测实际上可以用于当前CU。(在另一列表中，CU仍然可以使用备选的“参考画面”，因此，对于当前CU使用残差预测)。
通过将第一画面或第二画面的采样值与第三画面的采样值进行组合来预测残差。
根据上述内容，残差预测可以附加地由其他标志禁用。
可以处理两个参考画面列表。这里，对于第一列表和第二列表，第一参考画面的时间戳可以不同。
应当注意的是，由标志指示为可用的第三个参考画面需要存在于DPB中。
当残差预测被启用时，通过将第一画面或第二画面的采样值与第三画面的采样值进行组合来预测残差。
当残差预测被禁用时，只能应用时间预测或层间预测。
如果这样的话，则可以通过其他标志或解码过程中的条件来另外禁用残差预测。
图9a和图9b示出了3D-HEVC的CU语法和SPS语法的可能扩展如何表现以形成上面关于图4至图8描述的实施例的增强的示例，其中图4至图8中使用的附图标记和对附图标记的示意被添加到图9a和图9b中以显示图9a和图9b中所示的语法元素与图4至图8中所示的语法元素和参数集合之间的一致性并且示出了信号化67可以依赖于启用/禁用的可能性，但是如上所述，该依赖性也可能由于例如解析鲁棒性的原因而被中断，以便例如根据同样可选的标志60而仅依赖性地存在于数据流中。
为了完整起见，图10示出了可以适应图4的多视频解码器的多视图视频编码器100，这是因为图10的视频编码器100能够生成可由图4的解码器10解码的数据流18。图10的多视图编码器100包括视频编码核心112和可以或可以不包括在视频编码核心112内的残差预测开关114。多视图视频编码器100和元件112和114的功能基本上反映了多视图视频解码器10及其内部元件的功能。也就是说，视频编码核心112被配置为：以支持基于参考画面A、V和VA对运动或视差补偿预测编码单元的残差预测的方式将多个视图Vi编码到数据流18中。残差预测开关114被配置为：将参数集合44插入数据流18中，并且根据参考画面VA被包括在集合48中启用或禁用针对当前编码单元的残差预测。视频编码核心基于参考画面VA或者至少关于参考画面VA根据残差预测开关114对当前编码单元应用或不应用残差预测。
残差预测开关可以被配置为：根据检查以与第三参考存在或不存在于多视图视频编码器的解码画面缓冲器中无关的方式来执行启用和禁用。
视频编码核心可以被配置为：根据预定的运动或视差补偿预测编码单元是运动补偿预测编码单元或视差补偿预测编码单元来确定第一参考画面、第二参考画面和第三参考画面中的参考画面的子集，并且如果残差预测开关启用预定的运动或视差补偿预测编码单元的残差预测，则使用所确定的参考画面的子集来对预定的运动或视差补偿预测编码单元执行残差预测。
视频编码核心可以被配置为：如果残差预测开关启用预定的运动或视差补偿预测编码单元的残差预测，那么如果预定的运动或视差补偿预测编码单元是运动补偿预测编码单元，则使用第二参考画面和第三参考画面来对预定的运动或视差补偿预测编码单元执行残差预测，以及如果预定的运动或视差补偿预测编码单元是视差补偿预测编码单元，则使用第一参考画面和第三参考画面来对预定的运动或视差补偿预测编码单元执行残差预测。
视频编码核心还可以被配置为：如果预定的运动或视差补偿预测编码单元是运动补偿预测编码单元，则使用第一参考画面来预测预定的运动或视差补偿预测编码单元，以及如果预定的运动或视差补偿预测编码单元是视差补偿预测编码单元，则使用第二参考画面来预测预定的运动或视差补偿预测编码单元，以及如果残差预测开关启用预定的运动或视差补偿预测编码单元的残差预测，则向预测的预测残差应用预定的运动或视差补偿预测编码单元的残差预测。
视频编码核心可以被配置为：如果残差预测开关启用预定的运动或视差补偿预测编码单元的残差预测，则将信号化插入数据流中，信号化用信号通知是否将残差预测应用于预定的运动或视差补偿预测编码单元，如果残差预测开关禁用预定的运动或视差补偿预测编码单元的残差预测，则跳过将信号化插入数据流中，以及如果残差预测开关启用预定的运动或视差补偿预测编码单元的残差预测并且信号化用信号通知将残差预测应用于预定的运动或视差补偿预测编码单元，则将残差预测应用于预定的运动或视差补偿预测编码单元。
多视图视频编码器还可以被配置为：不管残差预测开关如何，都响应于数据流中的标志来禁用当前视图的当前画面的预定的运动或视差补偿预测编码单元的残差预测。
残差预测开关可以被配置为：根据检查关于第一参考画面、第二参考画面和第三参考画面来启用和禁用残差预测，使得根据所述检查，非预测地或预测地将预定的运动或视差补偿预测编码单元的第一级运动或视差补偿预测的预测残差编码到数据流中。
残差预测开关器被配置为：如果当前画面是多假设预测画面，则针对每个假设执行插入、检查、启用和禁用。
图4至图10的描述与上面当说明3D-HEVC的当前设计中涉及的问题和克服该问题的可能方式时提到的第一方面有关。以下实施例涉及上述第二方面，根据上述第二方面，为了向解码器用信号通知潜在的“第三参考画面”针对所有潜在的“V画面”的可用性和不可用性，使用附加的标志。
根据第二方面，多视图视频解码器大体上与上面关于图4至图6提出的描述一致。这适用于多视图视频编码器。然而，如图11所示，至少就第三参考画面VA而言，针对当前画面的预定编码单元区别地确定残差预测的启用/禁用。这里，多视图视频编码器将与当前画面P相关的第一参数集合150编码到数据流中。例如，可以检验VPS和切片首部以收集合第一参数集合。多视图视频解码器或残差预测开关14基于该参数集合150导出包括在与当前视图不同的视图中并且潜在地用作当前画面的编码单元的第二参考画面V的参考画面的集合152，即相对于当前画面P的层的参考层的画面集合152。第一参数集合150还允许据此导出当前画面P的参考画面A的时间戳。对于集合152中的所有这些画面，多视图视频编码器将标志156插入数据流18中并且多视图视频解码器从数据流中读出标志156，其中标志156指示与参考画面A属于相同的时间戳的相应画面的层是否可用作用于残差预测的第三参考画面VA。这些标志由第二参数集合154组成或一起形成第二参数集合154。该参数集合可以包括在当前画面的切片的切片首部中。因此，在解码侧由残差预测开关14仅基于标志156确定相应画面158的画面的“可用性”，从而降低了解码侧所需的计算量。多视图编码器或其残差预测开关器确定如数据流18中的标志156所指示的集合158中的画面的可用性，使得由标志156针对集合158中的画面指示的可用性仅在或确切在该画面属于集合152中的相同层/视图的相应画面的潜在时间参考画面集合的情况下被确定，其中该集合已经关于视图/层Vref的一个特定V参考画面被表示为48。也就是说，根据图11，在编码侧针对集合158中的在时间上与参考画面A对准并且与集合152的相应画面视图对准的每一个潜在的VA参考画面来检查可用性，其结果在数据流中使用标志156用信号通知。
因此，多视图视频解码器的残差预测开关14只需要检验包括标志156的数据流18中的第二参数集合154，以便针对当前画面P的每个编码单元确定针对相应的编码单元启用还是禁用残差预测。在由此确定了检查64中的启用/禁用之后，多视图视频解码器及其核心12和开关14的其余功能将与图8所示的相同。也就是说，应用/不应用信号化可以在数据流中由多视图视频解码器的开关用信号通知并且由多视图视频解码器的开关14根据该启用/禁用来读取，并且也可以使用一般的启用/禁用信号化60。
因此，换言之，已经关于图11描述了多视图视频解码器10，该多视图视频解码器10包括视频解码核心(例如，3D-HEVC)12，其被配置为以画面的编码单元为单位对来自数据流18的多个视图进行解码，视频解码核心12支持基于当前视图的第一参考画面A、参考视图的与当前视图的当前画面P的时间戳一致的第二参考画面V、以及参考视图的与第一参考画面的时间戳一致的第三参考画面VA对当前画面P的预定的运动或视差补偿预测编码单元220的残差预测。利用视差矢量v根据第二参考画面对当前画面的CU的视差补偿预测后接通过将与v相对应的视差矢量应用于——考虑使用运动矢量的运动补偿——第一参考画面的(与CU)并列的部分来预测该预测的残差以便根据第三参考画面进行视差补偿预测来预测该预测的残差；针对CU仅可以将剩余残差熵编码到数据流中。
解码器10还包括视差补偿残差预测开关16，其被配置为从数据流读取与当前画面相关的(例如，至少部分地包括在切片首部中的)参数集合150，并根据该参数集合导出包括在与当前视图不同的视图中并且潜在地用作当前画面的编码单元的第二参考画面的参考画面的第一集合152和潜在地用作当前画面的编码单元的第一参考画面的参考画面的参考时间戳；对于针对第一集合中的每一个参考画面包括与参考画面的第一集合中的相应参考画面的视图一致并且属于参考时间戳的一个画面的画面的第二集合158中的每一个画面，在数据流中从例如切片首部中的画面范围或更精细的范围参数集合154中读取标志，其中画面范围或更精细的范围参数集合与当前画面的一部分(例如，切片)有关，该标志指示画面的第二集合中的相应画面是否可用作用于运动或视差补偿残差预测的第三画面。应当注意的是，两个一致性不一定针对整个集合都有效：仅属于与当前画面的时间戳最近的时间戳的最大可能集合的那些画面可以包括在第二集合中。该标志可以是ref_rp_ref_avail_flag。
视频解码核心被配置为对与画面的第二集合中的相应画面相关的标志进行响应，以便使用画面的第二集合中的相应画面对该部分包括的当前编码单元应用或不应用运动或视差补偿残差预测。假定当前CU关于第二参考画面使用视差补偿预测：如果第三参考画面被指示为可用的，则视差补偿残差预测可以用于残差预测
可以处理两个参考画面列表。这里，对于第一列表和第二列表，第一参考画面的时间戳可以不同。
应当注意的是，由标志指示为可用的第三个参考画面需要存在于DPB中。
当残差预测被启用时，通过将第一画面或第二画面的采样值与第三画面的采样值进行组合来预测残差。
当残差预测被禁用时，只能应用时间预测或层间预测。
如果这样的话，则可以通过其他标志或解码过程中的条件来另外禁用残差预测。
应当注意的是，每当针对编码器或解码器之一描述预测过程时，在另一侧(解码器或编码器)相应地处理相同的过程，以便确保所使用的预测在编码器和解码器侧是相同的，使得涉及关于解码器和编码器之一的这些过程的描述或权利要求将同时被解释为另一侧的相应基础。
虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。可以由(或使用)硬件装置(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。
本发明的编码数据流或信号可以存储在数字存储介质上，或者可以在诸如无线传输介质或有线传输介质(例如，互联网)等的传输介质上传输。已经描述了将某些信息插入或编码到数据流中，同时将该描述理解为以下公开：所得到的数据流包括相应信息、标志的语法元素等。
取决于某些实现要求，可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现，该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该电子可读控制信号能够与可编程计算机系统协作从而执行本文所述的方法之一。
通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。
换言之，本发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
因此，本发明方法的另一实施例是包括其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。
因此，本发明方法的另一实施例是表示计算机程序的数据流或信号序列，所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。
另一实施例包括处理装置，例如，配置为或适用于执行本文所述的方法之一的计算机或可编程逻辑器件。
另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。
根据本发明的另一实施例包括被配置为向接收机(例如，以电子方式或以光学方式)传输计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收机可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收机传送计算机程序的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。
本文描述的装置可以使用硬件装置，或使用计算机，或者使用硬件装置和计算机的组合来实现。
本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件中实现。
本文描述的方法可以使用硬件装置，或使用计算机，或者使用硬件装置和计算机的组合来执行。
本文描述的方法或本文描述的装置的任何组件可以至少部分地由硬件和/或由软件执行。
上述实施例对于本发明的原理仅是说明性的。应当理解的是：本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。
参考文献
[1]L.Zhang,Y.Chen,X.Li,M.Karczewicz,"3D-CE4:Advanced residualprediction for multiview coding"；JCT3V-C0049
[2]L.Zhang,Y.Chen,X.Li,M.Karczewicz；“CE4:Advanced residual predictionfor multiview coding",JCT3V-D0177
[3]T.Ikai；“CE4-related:ARP reference picture selection and itsavailability check"；JCT3V-F0105
[4]J.-L.Lin,Y.-W.Chen,Y.-L.Chang,Y.-W.Huang,S.Lei；“3D-HEVC HLS:On ARPreference picture signalling",JCT3V-G0053
[5]G.Tech,K.Wegner,Y.Chen,S.Yea,"3D-HEVC Draft Text 6",JCT3V-J1001.

Claims (26)

1. 一种多视图视频解码器，包括：
视频解码核心（12），被配置为从数据流（18）解码多个视图（V1…V3），所述视频解码核心支持基于当前视图的第一参考画面（A）、参考视图的与当前画面的时间戳一致的第二参考画面（V）以及所述参考视图的与所述第一参考画面（A）的时间戳一致的第三参考画面（VA），对所述当前视图的当前画面的预定的运动或视差补偿预测编码单元的残差预测，以及
残差预测开关（14），被配置为：
从所述数据流读取与所述第二参考画面相关的参数集合（44），并从所述参数集合（44）中导出在对所述第二参考画面（V）进行解码时肯定在所述视频解码核心（12）的解码画面缓冲器中的所述参考视图的所有参考画面的集合（48）；
检查所述第三参考画面（VA）是否包括在所述参考画面的集合（48）中；
根据所述检查，如果所述第三参考画面（VA）包括在所述参考画面的集合（48）中，则至少关于所述第三参考画面启用所述预定的运动或视差补偿预测编码单元的残差预测；以及
根据所述检查，如果所述第三参考画面未包括在所述参考画面的集合中，则至少关于所述第三参考画面禁用所述预定的运动或视差补偿预测编码单元的残差预测，
其中，所述视频解码核心（12）被配置为根据所述残差预测开关针对所述预定的运动或视差补偿预测编码单元应用或不应用基于所述第三参考画面的残差预测，
其中，所述多视图视频解码器被配置为使用切片首部的参数从所述参考画面的集合（48）中导出由编码单元中的相应索引或所述第二参考画面中的预测单元参考的参考视图的参考画面的另一集合。
2.根据权利要求1所述的多视图视频解码器，其中，所述残差预测开关被配置为：根据所述检查以与所述第三参考画面存在于或不存在于所述多视图视频解码器的解码画面缓冲器（50）中无关的方式执行所述启用和所述禁用。
3.根据权利要求1所述的多视图视频解码器，其中，所述视频解码核心（12）被配置为根据所述预定的运动或视差补偿预测编码单元（22）是运动补偿预测编码单元还是视差补偿预测编码单元来从所述第一参考画面、所述第二参考画面和所述第三参考画面中确定出参考画面子集，并且如果所述残差预测开关启用所述预定的运动或视差补偿预测编码单元的残差预测，则使用所确定的参考画面子集来执行所述预定的运动或视差补偿预测编码单元的残差预测。
4.根据权利要求1所述的多视图视频解码器，其中，所述视频解码核心（12）被配置为：如果所述残差预测开关（14）启用所述预定的运动或视差补偿预测编码单元（22）的残差预测，则预测所述预定的运动或视差补偿预测编码单元的预测残差，
其中，如果所述预定的运动或视差补偿预测编码单元（22）是运动补偿预测编码单元，则使用所述第二参考画面和所述第三参考画面（V、VA）来预测所述预定的运动或视差补偿预测编码单元的预测残差，以及
如果所述预定的运动或视差补偿预测编码单元（22）是视差补偿预测编码单元，则使用所述第一参考画面和所述第三参考画面（A、VA）来预测所述预定的运动或视差补偿预测编码单元的预测残差。
5.根据权利要求1所述的多视图视频解码器，其中，所述视频解码核心（12）被配置为：
预测（38）所述预定的运动或视差补偿预测编码单元（22），
其中，如果所述预定的运动或视差补偿预测编码单元（22）是运动补偿预测编码单元，则使用包括所述第一参考画面（A）的时间参考画面的集合中的一个参考画面来预测（38）所述预定的运动或视差补偿预测编码单元（22），以及
如果所述预定的运动或视差补偿预测编码单元（22）是视差补偿预测编码单元，则使用第二参考画面来预测（38）所述预定的运动或视差补偿预测编码单元（22）；以及
如果所述残差预测开关（14）启用所述预定的运动或视差补偿预测编码单元（22）的残差预测，则预测所述预测（38）的预测残差。
6.根据权利要求1所述的多视图视频解码器，其中，所述视频解码核心（12）被配置为：
如果所述残差预测开关启用所述预定的运动或视差补偿预测编码单元的残差预测，则
从所述数据流读取信号化（67），其中所述信号化用信号通知是否将所述残差预测应用于所述预定的运动或视差补偿预测编码单元，
如果所述残差预测开关禁用所述预定的运动或视差补偿预测编码单元的残差预测，则
跳过从所述数据流读取所述信号化（67），以及
在以下条件下将所述残差预测应用于所述预定的运动或视差补偿预测编码单元：
所述残差预测开关启用所述预定的运动或视差补偿预测编码单元的残差预测，并且
所述信号化用信号通知所述残差预测将应用于所述预定的运动或视差补偿预测编码单元。
7.根据权利要求1所述的多视图视频解码器，其中，所述视频解码核心（12）被配置为：
从所述数据流读取信号化（67），其中所述信号化用信号通知是否将所述残差预测应用于所述预定的运动或视差补偿预测编码单元，
在以下条件下将所述残差预测应用于所述预定的运动或视差补偿预测编码单元：
所述残差预测开关启用所述预定的运动或视差补偿预测编码单元的残差预测，并且
所述信号化用信号通知将所述残差预测应用于所述预定的运动或视差补偿预测编码单元。
8.根据权利要求1所述的多视图视频解码器，还被配置为：不管所述残差预测开关如何，都响应于所述数据流中的标志（60）或语法元素来禁用所述当前视图的当前画面的所述预定的运动或视差补偿预测编码单元的残差预测。
9.根据权利要求1所述的多视图视频解码器，其中，所述残差预测开关被配置为：根据检查来关于所述第一参考画面、所述第二参考画面和所述第三参考画面启用和禁用所述残差预测，使得根据所述检查，非预测地（72）或预测地（70）从所述数据流解码所述预定的运动或视差补偿预测编码单元的第一级运动或视差补偿预测（38）的预测残差。
10.根据权利要求1所述的多视图视频解码器，其中，所述残差预测开关（14）被配置为：如果所述当前画面是多假设预测画面，则针对每个假设执行所述读取、所述检查、所述启用和所述禁用。
11.根据权利要求1所述的多视图视频解码器，被配置为：如果所述第三参考画面包括在所述参考画面的集合中但是不存在于所述多视图视频解码器的解码画面缓冲器（50）中，则检测到所述第三参考画面丢失。
12.根据权利要求1所述的多视图视频解码器，被配置为：如果所述第三参考画面包括在所述参考画面的集合中但是不存在于所述多视图视频解码器的解码画面缓冲器中，则检测到所述第三参考画面丢失并且发起差错恢复模式。
13.根据权利要求1所述的多视图视频解码器，还被配置为：
从所述数据流（18）读取与第二参考画面有关的另一参数集合（56），并且根据所述另一参数集合导出所述参考视图的参考画面的兼性集合（58），所述兼性集合（58）将保持在所述多视图视频解码器的解码画面缓冲器中，以潜在地用于预测所述参考视图的在所述第二参考画面之后的画面，以及
通过使得当前在所述解码画面缓冲器中缓冲并且包括在参考画面的兼性集合中的画面保持在所述解码画面缓冲器中的方式，将所述多视图视频解码器的所述解码画面缓冲器清空，
其中，所述残差预测开关被配置为以与所述参考视图的所述参考画面的兼性集合无关的方式导出能够用于预测所述第二参考画面并且属于所述参考视图的所有参考画面的集合。
14.一种多视图视频编码器，包括：
视频编码核心，被配置为将多个视图编码到数据流中，所述视频编码核心支持基于当前视图的第一参考画面、参考视图的与当前画面的时间戳一致的第二参考画面以及所述参考视图的与所述第一参考画面的时间戳一致的第三参考画面，对所述当前视图的当前画面的预定的运动或视差补偿预测编码单元的残差预测，以及
残差预测开关，被配置为：
将参数集合插入所述数据流中，所述参数集合与所述第二参考画面相关并且允许导出在对所述第二参考画面（V）进行解码时肯定在视频解码核心（12）的解码画面缓冲器中的所述参考视图的所有参考画面的集合；
检查所述第三参考画面是否包括在参考画面的集合中；
根据所述检查，如果所述第三参考画面包括在所述参考画面的集合中，则至少关于第三参考画面启用当前预定的运动或视差补偿预测编码单元的残差预测；以及
根据所述检查，如果所述第三参考画面未包括在所述参考画面的集合中，则至少关于所述第三参考画面禁用所述当前预定的运动或视差补偿预测编码单元的残差预测，
其中，所述视频编码核心被配置为根据所述残差预测开关针对所述当前预定的运动或视差补偿预测编码单元应用或不应用基于所述第三参考画面的残差预测，
其中，多视图视频解码器被配置为使用切片首部的参数从所述参考画面的集合（48）中导出由编码单元中的相应索引或所述第二参考画面中的预测单元参考的参考视图的参考画面的另一集合。
15.根据权利要求14所述的多视图视频编码器，其中，所述残差预测开关被配置为：根据所述检查以与所述第三参考画面存在于或不存在于所述多视图视频编码器的解码画面缓冲器中无关的方式执行所述启用和所述禁用。
16.根据权利要求14所述的多视图视频编码器，其中，所述视频编码核心被配置为根据所述预定的运动或视差补偿预测编码单元是运动补偿预测编码单元还是视差补偿预测编码单元来从所述第一参考画面、所述第二参考画面和所述第三参考画面中确定出参考画面子集，并且如果所述残差预测开关启用所述预定的运动或视差补偿预测编码单元的残差预测，则使用所确定的参考画面子集来执行所述预定的运动或视差补偿预测编码单元的残差预测。
17.根据权利要求14所述的多视图视频编码器，其中，所述视频编码核心被配置为：如果所述残差预测开关启用所述预定的运动或视差补偿预测编码单元的残差预测，则执行所述预定的运动或视差补偿预测编码单元的残差预测，
其中，如果所述预定的运动或视差补偿预测编码单元是运动补偿预测编码单元，则使用所述第二参考画面和所述第三参考画面执行所述预定的运动或视差补偿预测编码单元的残差预测，以及
如果所述预定的运动或视差补偿预测编码单元是视差补偿预测编码单元，则使用所述第一参考画面和所述第三参考画面执行所述预定的运动或视差补偿预测编码单元的残差预测。
18.根据权利要求14所述的多视图视频编码器，其中，所述视频编码核心被配置为：
预测所述预定的运动或视差补偿预测编码单元，
其中，如果所述预定的运动或视差补偿预测编码单元是运动补偿预测编码单元，则使用所述第一参考画面预测所述预定的运动或视差补偿预测编码单元，以及
如果所述预定的运动或视差补偿预测编码单元是视差补偿预测编码单元，则使用所述第二参考画面预测所述预定的运动或视差补偿预测编码单元，以及
如果所述残差预测开关启用所述预定的运动或视差补偿预测编码单元的残差预测，则向所述预测的预测残差应用所述预定的运动或视差补偿预测编码单元的残差预测。
19.根据权利要求14所述的多视图视频编码器，其中，所述视频编码核心被配置为：
如果所述残差预测开关启用所述预定的运动或视差补偿预测编码单元的残差预测，则
将信号化插入所述数据流中，所述信号化用信号通知是否将所述残差预测应用于所述预定的运动或视差补偿预测编码单元，
如果所述残差预测开关禁用所述预定的运动或视差补偿预测编码单元的残差预测，则
跳过将所述信号化插入所述数据流，以及
在以下条件下将所述残差预测应用于所述预定的运动或视差补偿预测编码单元：
所述残差预测开关启用所述预定的运动或视差补偿预测编码单元的残差预测，并且
所述信号化用信号通知将所述残差预测应用于所述预定的运动或视差补偿预测编码单元。
20.根据权利要求14所述的多视图视频编码器，其中，所述视频编码核心被配置为：
将信号化插入所述数据流中，所述信号化用信号通知是否将所述残差预测应用于所述预定的运动或视差补偿预测编码单元，
在以下条件下将所述残差预测应用于所述预定的运动或视差补偿预测编码单元：
所述残差预测开关启用所述预定的运动或视差补偿预测编码单元的残差预测，并且
所述信号化用信号通知将所述残差预测应用于所述预定的运动或视差补偿预测编码单元。
21.根据权利要求14所述的多视图视频编码器，还被配置为：不管所述残差预测开关如何，都响应于所述数据流中的标志或语法元素来禁用所述预定的运动或视差补偿预测编码单元对所述当前视图的当前画面的残差预测。
22.根据权利要求14所述的多视图视频编码器，其中，所述残差预测开关被配置为：根据所述检查，关于所述第一参考画面、所述第二参考画面和所述第三参考画面启用和禁用所述残差预测，使得根据所述检查，非预测地或预测地将所述预定的运动或视差补偿预测编码单元的第一级运动或视差补偿预测的预测残差编码到所述数据流中。
23.根据权利要求14所述的多视图视频编码器，其中，所述残差预测开关被配置为：如果所述当前画面是多假设预测画面，则针对每个假设执行所述插入、所述检查、所述启用和所述禁用。
24.一种用于多视图视频解码的方法，包括：
由视频解码核心从数据流解码多个视图，所述视频解码核心支持基于当前视图的第一参考画面、参考视图的与当前画面的时间戳一致的第二参考画面、以及所述参考视图的与所述第一参考画面的时间戳一致的第三参考画面，对所述当前画面的预定的运动或视差补偿预测编码单元的残差预测；
从所述数据流读取与所述第二参考画面相关的参数集合，并从所述参数集合中导出在对所述第二参考画面（V）进行解码时肯定在视频解码核心（12）的解码画面缓冲器中的所述参考视图的所有参考画面的集合；
检查所述第三参考画面是否包括在参考画面的集合中；
根据所述检查，如果所述第三参考画面包括在所述参考画面的集合中，则至少关于所述第三参考画面启用当前编码单元的残差预测；以及
根据所述检查，如果所述第三参考画面未包括在所述参考画面的集合中，则至少关于所述第三参考画面禁用所述当前编码单元的残差预测，
从而，根据所述检查，所述视频解码核心针对所述当前编码单元应用或不应用基于所述第三参考画面的残差预测，
其中，多视图视频解码器被配置为使用切片首部的参数从所述参考画面的集合（48）中导出由编码单元中的相应索引或所述第二参考画面中的预测单元参考的参考视图的参考画面的另一集合。
25.一种用于多视图视频编码的方法，包括：
由视频编码核心将多个视图编码到数据流中，所述视频编码核心支持基于当前视图的第一参考画面、参考视图的与当前画面的时间戳一致的第二参考画面、以及所述参考视图的与所述第一参考画面的时间戳一致的第三参考画面，对所述当前画面的预定的运动或视差补偿预测编码单元的残差预测，以及
将参数集合插入所述数据流中，所述参数集合与所述第二参考画面相关并且允许导出在对所述第二参考画面（V）进行解码时肯定在视频解码核心（12）的解码画面缓冲器中的所述参考视图的所有参考画面的集合；
检查所述第三参考画面是否包括在参考画面的集合中；
根据所述检查，如果所述第三参考画面包括在所述参考画面的集合中，则至少关于所述第三参考画面启用当前编码单元的残差预测；以及
根据所述检查，如果所述第三参考画面未包括在所述参考画面的集合中，则至少关于所述第三参考画面禁用所述当前编码单元的残差预测，
从而，所述视频编码核心根据所述视差补偿残差预测开关针对所述当前编码单元应用或不应用基于所述第三参考画面的视差补偿残差预测，
其中，多视图视频解码器被配置为使用切片首部的参数从所述参考画面的集合（48）中导出由编码单元中的相应索引或所述第二参考画面中的预测单元参考的参考视图的参考画面的另一集合。
26.一种计算机可读存储介质，存储有具有程序代码的计算机程序，所述程序代码用于当在计算机上运行时执行根据权利要求24或25所述的方法。
CN201680020923.0A 2015-02-05 2016-02-04 支持残差预测的多视图视频编解码器 Active CN107439015B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15153896.4 2015-02-05
EP15153896 2015-02-05
PCT/EP2016/052428 WO2016124710A1 (en) 2015-02-05 2016-02-04 Multi-view video codec supporting residual prediction

Publications (2)

Publication Number Publication Date
CN107439015A CN107439015A (zh) 2017-12-05
CN107439015B true CN107439015B (zh) 2020-08-14

Family

ID=52462171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680020923.0A Active CN107439015B (zh) 2015-02-05 2016-02-04 支持残差预测的多视图视频编解码器

Country Status (4)

Country Link
US (1) US10334274B2 (zh)
EP (1) EP3254465A1 (zh)
CN (1) CN107439015B (zh)
WO (1) WO2016124710A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10097836B2 (en) * 2015-09-28 2018-10-09 Samsung Electronics Co., Ltd. Method and device to mark a reference picture for video coding
GB2558277A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Image data encoding and decoding
US11356698B2 (en) 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream
EP4107957A4 (en) 2020-03-21 2023-08-23 Beijing Bytedance Network Technology Co., Ltd. RESAMPLING REFERENCE IMAGE
CN115428464A (zh) * 2020-04-19 2022-12-02 抖音视界有限公司 视频编解码的缩放窗口
CN115812304A (zh) 2020-06-20 2023-03-17 抖音视界有限公司 具有不同的编解码块大小的层间预测
CN117616755A (zh) * 2021-04-02 2024-02-27 抖音视界有限公司 自适应依赖量化

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170702A (zh) * 2007-11-23 2008-04-30 四川虹微技术有限公司 多视角视频编码方法
CN101627634A (zh) * 2006-10-16 2010-01-13 诺基亚公司 用于将可并行解码片用于多视点视频编码的系统和方法
CN103733622A (zh) * 2011-06-16 2014-04-16 弗劳恩霍夫应用研究促进协会 熵编码中的上下文初始化
WO2014089445A1 (en) * 2012-12-07 2014-06-12 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2013009122A (es) * 2011-02-17 2013-11-04 Panasonic Corp Dispositivo de codificacion de video, metodo de codificacion de video, programa de codificacion de video, dispositivo de reproduccion de video, metodo de reproduccion de video y programa de reproduccion de video.
US9445076B2 (en) * 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
KR101658192B1 (ko) * 2014-01-02 2016-09-20 인텔렉추얼디스커버리 주식회사 다시점 영상을 위한 움직임 벡터를 부호화/복호화하는 방법 및 그 장치
US10110925B2 (en) * 2014-01-03 2018-10-23 Hfi Innovation Inc. Method of reference picture selection and signaling in 3D and multi-view video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101627634A (zh) * 2006-10-16 2010-01-13 诺基亚公司 用于将可并行解码片用于多视点视频编码的系统和方法
CN101170702A (zh) * 2007-11-23 2008-04-30 四川虹微技术有限公司 多视角视频编码方法
CN103733622A (zh) * 2011-06-16 2014-04-16 弗劳恩霍夫应用研究促进协会 熵编码中的上下文初始化
WO2014089445A1 (en) * 2012-12-07 2014-06-12 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding

Also Published As

Publication number Publication date
US10334274B2 (en) 2019-06-25
CN107439015A (zh) 2017-12-05
EP3254465A1 (en) 2017-12-13
WO2016124710A1 (en) 2016-08-11
US20180063550A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
CN107439015B (zh) 支持残差预测的多视图视频编解码器
US20190116376A1 (en) Motion vector predictors using affine motion model in video coding
CN107534781B (zh) 支持分量间预测的3d视频编解码器
KR102106190B1 (ko) 비디오 코딩을 위한 디코딩된 화상 버퍼 오퍼레이션들
JP5108896B2 (ja) 多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置
US8982183B2 (en) Method and apparatus for processing a multiview video signal
US20140078251A1 (en) Selection of pictures for disparity vector derivation
JP2010516098A (ja) マルチ・ビュー符号化ビデオにおいて高レベル・シンタックス参照ビューを用いてエラー隠蔽を行う方法および装置
KR20090085581A (ko) 다중-뷰 비디오 코딩을 위한 화상 관리
AU2013285333A1 (en) Method and apparatus for video coding
CN101518086A (zh) 在多视图视频编码中用信号通知视图可分级性的方法和装置
KR102266046B1 (ko) 동영상 픽쳐오더카운트의 부호화, 복호화 방법 및 장치, 전자기기
US20100150248A1 (en) Method and apparatus for error concealment in multi-view coded video
KR20140057533A (ko) 랜덤 액세스 픽처를 청정하게 하기 위해 가장 낮은 계층 식별을 할당하기 위한 인코더 및 방법
US20150092837A1 (en) Inter-view dependency type in mv-hevc
CN101675667A (zh) 用于多视图编码的视频中的视频纠错的方法和装置
EP2984841B1 (en) Constructing inter-layer reference picture lists
TWI798714B (zh) 時間移動向量預測、層間參考及時間子層指示的視訊寫碼技術
CN111586419B (zh) 视频解码方法、视频编码方法及装置
JP5273816B2 (ja) 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置
EP3611923B1 (en) Method for processing video with temporal layers
WO2015008266A1 (en) Apparatus, method, and computer product for inter-layer reference picture list construction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant