CN105122792A - 三维视频编码中降低复杂性的视图间残差预测的方法 - Google Patents

三维视频编码中降低复杂性的视图间残差预测的方法 Download PDF

Info

Publication number
CN105122792A
CN105122792A CN201480017896.2A CN201480017896A CN105122792A CN 105122792 A CN105122792 A CN 105122792A CN 201480017896 A CN201480017896 A CN 201480017896A CN 105122792 A CN105122792 A CN 105122792A
Authority
CN
China
Prior art keywords
list
reference picture
residual
view
residual prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480017896.2A
Other languages
English (en)
Other versions
CN105122792B (zh
Inventor
陈渏纹
林建良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105122792A publication Critical patent/CN105122792A/zh
Application granted granted Critical
Publication of CN105122792B publication Critical patent/CN105122792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭露了用于高级残差预测中具有相同运动的快速双向预测的3D编码的方法以及装置。本发明的实施例使用一个或多个已校准操作包括在残差预测因子产生期间，与运动向量导出相关联的数据修剪以及参考图片选择。当ARP模式被启用，用于单向预测以及双向预测的残差预测处理器有效地执行相同的数据修剪过程以及相同的参考图片选择过程。单个修剪操作或两个修剪操作可以被执行以用于单向预测以及双向预测。

Description

三维视频编码中降低复杂性的视图间残差预测的方法
【相关申请的交叉引用】
本发明主张申请于2013年6月11日，序列号为61/833,747，标题为“ASchemeforInter-viewResidualPredictionSupportingIdenticalMotionCheckingfor3DVideoCoding”的美国临时专利申请，以及申请于2013年12月27日，序列号为61/921,147，标题为“ASchemeforInter-viewResidualPredictionfor3DVideoCoding”的美国临时专利申请的优先权。将以上美国临时专利申请以参考的方式并入本文中。
【技术领域】
本发明涉及三维以及多维视频编码。特别地，本发明涉及使用高级残差预测的视频编码。
【背景技术】
三维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体验(viewingexperience)。各种技术都被开发出来以使三维观看成为可能。其中，多视图视频(multi-viewvideo)是三维电视应用中的一个关键技术。现有的视频是二维(two-dimensional)介质，二维介质只能给观看者提供来自照相机视角的一个场景的单个视图。然而，多视图视频可以提供动态场景的任意视角，并为观看者提供真实的感觉。三维视频格式还可包括与对应纹理(texture)图片相关的深度图(depthmap)。深度图也必须被编码以呈现出三维视图或多维视图。
在本领域中，已经揭露了各种用于提高三维视频编码的编码效率的技术。也有一些开发活动对编码技术进行标准化。例如，国际标准化组织(InternationalOrganizationforStandardization，ISO)中的ISO/IECJTC1/SC29/WG11工作组开发了基于三维视频编码标准的高效视频编码(HighEfficiencyVideoCoding，HEVC)(命名为3D-HEVC)。于3D编码中，因为所有相机是从不同的视角来捕捉相同的场景，所以多视图视频包含了大量的视图间冗余。为了共享邻近视图的先前已编码残差信息，视图间图片中的当前块(PU)的残差信号可以通过对应块的残差信号来预测，其中，对应块是由视差向量(disparityvector，DV)来定位的。
图1所示为根据3D-HEVC(HTM-9.0)的当前设计的高级残差预测(advancedresidualprediction，ARP)的示例，其中，使用时间预测的当前视图中的残差信号是通过参考视图中的残差预测信号来预测。ARP的主要过程如下所述，用于当前预测单元(predictionunit，PU)使用时间预测(即，参考图片为时间参考图片)的情形：
1.当前视图Vc的参考图片140的时间参考块CurrRef142是通过使用运动向量(被称为mvLX，X＝0或1)的当前块Curr112的位置以及当前视图Vc的当前图片110中当前块的参考索引来定位。
2.对应于当前块Curr112的参考视图的参考图片120中的对应块Base122是通过使用当前块Curr112的已推导DV的当前块Curr112的位置来定位。
3.用于参考视图Vr中对应块Base122的时间参考块BaseRef152是通过重使用(re-using)当前块Curr112的时间运动信息(即，mvLX以及参考索引)来定位。
4.为了减少存储器存取的带宽，根据当前3D-HEVC(HTM-9.0)标准，当权重因子(weightingfactor)不为0时，于执行运动补偿之前，来自当前块的运动向量mvLX朝(toward)固定参考图片缩放。具体地，固定参考图片被定义为每个参考图片列表的第一时间参考图片。
5.当前PU/块的时间残差信号的残差预测因子可被计算以作为参考视图中这两个块之间的差值(即，Base–BaseRef)。换句话说，当前残差(Curr–CurrRef)是通过残差预测因子(Base–BaseRef)来预测。
图2所示为用于使用时间预测的PU/块编码的ARP推导的示例。
1.当前时间预测残差(图中标示为：当前残差)210形成于当前块Curr112以及对应时间参考块CurrRef142之间。
2.残差预测信号(图中标示为：基础残差)220形成于参考视图的对应信号Base122以及对应时间参考块BaseRef152之间。
3.最终残差(finalresidual)是从当前残差与残差预测信号之间的差值来推导。
在当前PU使用视图间预测(即，参考图片为视图间参考图片)，而不是使用时间预测时，ARP的主要过程可如图3所示来描述。
1.参考视图Vr中参考视图图片320的视图间参考块Base322是由当前视图Vc中当前图片310的当前块Curr312的视差运动向量330来定位。
2.参考视图中视图间参考块Base322的时间参考块BaseRef352是使用时间运动向量mvLX以及参考索引来定位，其中，L0运动信息首先被使用；如果L0运动信息不可用，则使用L1运动信息。
3.当前视图中的对应参考块CurrRef342通过重新使用当前块312的视差运动向量330从参考视图中视图间参考块Base322的时间参考块BaseRef352的位置来定位。
4.为了减小存储器存取的带宽，于当前3D-HEVC(HTM-9.0)中，当权重因子不为0时，于执行运动补偿之前，来自视图间参考块Base322的运动向量mvL0(或mvL1)朝固定参考图片缩放。固定图片被定义为每个参考图片列表的第一时间参考图片。然而，当来自Base的mvL0是无效的，则来自Base的mvL1将被使用。如果来自Base的的mvL0以及mvL1都是无效的，零向量将被使用，且参考图片将被设置为当前块的预测方向的第一时间参考图片(列表0(L0)或列表1(L1))。如果视图间参考块Base322没有L0MV，或用于视图间参考块Base322的列表0预测是视图间视差补偿预测，来自视图间参考块Base322的运动向量可能是无效的。
5.当前PU/块的视图间残差信号的残差预测因子可以计算为参考时间内，即，另一存取单元，这两个块之间的差值(CurrRef–BaseRef)。
图4所示为使用视图间预测用于PU/块的ARP推导的示例。
1.当前视图间预测残差(图中标示为：当前残差)410形成于当前块Curr312以及视图间参考块Base322之间。
2.残差预测信号(图中标示为：残差预测)420形成于当前视图的对应参考块CurrRef342以及参考视图中视图间参考块Base322的时间参考块BaseRef352之间。
3.最终残差是从当前残差以及残差预测信号之间的差值来推导。
图5示出了使用时间预测的用于PU/块ARP推导的图示示例。块510表示当前视图(即，视图1)的当前块，块520以及块530分别指于时间Tj的参考视图(视图0)中当前块510的表示，以及时间Ti的来自相同视图(视图1)的当前块510的时间预测。运动向量550是指相同视图中时间Ti时从当前块510到块530的运动。因为视图1的当前块510以及视图0的对应块520表示两个不同视图中相同对象的投影，这两个块会共享相同运动信息。因此，通过应用运动向量550(即，MV560＝MV550)的运动信息，时间Tj的视图0的对应块520的时间Ti的视图0的时间预测块540可以从视图0的对应块520来定位。接着，对应块520的残差(即，540)由一个权重因子相乘，且与对应块(即，520)一起使用以形成当前块(即，510)的预测因子。
图6所示为用于当前视图V1中当前图片610的当前块612的具有两个不同运动向量(L0MV640以及L1MV650)的ARP双向预测模式的示例。当前视图的当前图片的当前PU612的运动信息被应用于参考视图V0的参考图片660中的对应块662。接着，根据当前PU的L0以及L1运动信息通过执行运动补偿产生预测残差信号。第一残差产生于对应块662以及使用L0MV的参考视图V0中参考图片670的L0参考块672之间。第二残差产生于对应块662以及使用L1MV的参考视图V0中参考图片680的L0参考块682之间。于L0以及L1预测信号产生期间，只执行一个修剪操作(clippingoperation)。L0以及L1运动补偿预测信号分别通过内插过程产生，而不需要任何修剪操作。接着，将已内插的信号与通过ARP产生的预测残差信号相加。于最后的阶段，L0以及L1预测信号被相加后再执行一个修剪操作，并作为最终结果被输出。根据当前3D-HEVC(即，HTM-9.0)的ARP方案，在当前PU为单向预测(uni-prediction)PU时，于L0或列表预测信号产生期间，两个修剪操作被应用。L0或L1运动补偿预测信号首先通过内插过程并接着通过修剪操作(修剪为输入比特深度的有限范围)来产生。接着，将已修剪信号与通过ARP产生的预测残差信号相加，且接着进行第二修剪操作以作为最终结果被输出。
此外，于ARP中，如图6所示，参考视图(即，V0)中的每个参考列表的第一时间参考图片被选择为对应块的参考图片。接着，当前PU的运动向量朝参考视图的对应块的已选择的参考图片缩放，以通过执行运动补偿产生预测残差信号。图7所示为当前PU使用L0以及L1的相同的运动向量740进行双向预测的情形。由于用于L0以及L1的参考图片不同，因此产生不同的预测残差信号以用于L0以及L1。在此示例中，L1MV被缩放以在相反的方向指向参考图片780中的参考块782。当相同方向的参考图片是可用的，通过缩放指向相反方向的参考图片的MV可能会导致预测性能的恶化。
根据当前3D-HEVC(即，HTM-9.0)，如果用于双向预测模式的两个运动向量是相同的，双向预测模式不能被简化为单向预测模式，因为单向预测模式将不会产生与双向预测模式相同的结果。希望能开发出一种新的ARP过程，如果两个运动向量是相同的，其能利用单向预测来作为简化的双向预测。
【发明内容】
本发明揭露了一种于残差预测模式，例如：高级残差预测(advancedresidualprediction，ARP)模式中，用于三维或多视图视频编码以支持具有相同运动(identicalmotion)的快速双向预测模式的方法以及装置。本发明的实施例于残差预测因子产生过程中，使用与运动向量导出相关联的一个或多个校准(aligned)操作，包括数据修剪以及参考图片选择。当残差预测模式被启用，且当前块是使用单向预测来编码，系统仅根据列表0的参考数据或列表1的参考数据来产生用于当前块的残差信号，且根据第一残差产生过程仅使用列表0的参考数据或列表1的参考数据来产生残差预测因子。当残差预测模式被启用，且当前块是使用双向预测来编码，系统根据列表0的参考数据以及列表1的参考数据来产生用于当前块的残差信号。接着，系统从列表0的残差预测因子以及列表1的残差预测因子中产生残差预测因子，其中，列表0的残差预测因子是根据第二残差产生过程使用当前块的列表0的参考数据来产生，且列表1的残差预测因子是根据第三残差产生过程使用当前块的列表1的参考数据来产生。于单向预测以及双向预测的情形下，残差预测因子产生后，系统接着使用残差预测因子，通过将残差预测应用于当前块的残差信号来编码或解码当前块。为了支持残差预测模式中具有相同运动的快速双向预测模式，第一残差产生过程、第二残差产生过程以及第三残差产生过程都包括相同的数据修剪过程以及相同的参考图片选择过程中的至少一个。例如，所有残差产生过程可以使用一个数据修剪或两个数据修剪。在另一实施例中，于当前块的列表0的运动信息以及列表1的运动信息相同时，第二残差产生过程以及第三残差产生过程可以选择相同的参考图片以产生残差信号。
当用于当前块的残差信号对应于当前块以及当前块的当前时间参考块之间的时间残差信号时，当前时间参考块是根据当前块的位置使用从当前块的运动向量中导出的第一已缩放运动向量被定位。在此情况下，残差预测因子是根据参考视图中的对应块以及参考视图中对应块的时间参考块来产生。参考视图的对应块是根据当前块位置以及已推导视差向量(disparityvector，DV)来定位，且对应块的时间参考块是根据对应块的位置使用从当前块的运动向量中导出的第一已缩放运动向量被定位。当用于当前块的残差信号对应于当前块以及当前块的当前视图间参考块之间的视图间残差信号时，当前视图间参考块是根据当前块位置以及当前块的DV来定位。在此情况下，残差预测因子是根据参考视图中当前视图间参考块的时间参考块以及当前视图间参考块的时间参考块的对应参考块来产生。当前视图间参考块的时间参考块是根据当前视图间参考块位置使用从当前视图间参考块的运动向量中导出的第二已缩放运动向量被定位，且当前视图间参考块的时间参考块的对应参考块是根据第一位置使用从当前视图间参考块的运动向量中导出的第二已缩放运动向量被定位。
本发明的一个方面在于提供不同的方式(means)来选择目标参考图片。
【附图说明】
图1所示为使用时间预测的用于块编码的高级残差预测(advancedresidualprediction，ARP)的示例，其中，时间残差信号是通过参考视图的对应残差信号来预测。
图2所示为用于时间残差信号的ARP的预测过程。
图3所示为使用视图间预测的用于块编码的ARP的示例，其中，视图间残差信号是通过另一存取单元(或另一参考时间)中的对应残差信号。
图4所示为用于视图间残差信号的ARP的预测过程。
图5所示为用于时间残差信号的ARP的预测过程的图示。
图6所示为重用双向预测的的运动信息的示例，其中，列表0以及列表1的运动向量指向不同的参考图片。
图7所示为重用双向预测的的运动信息的示例，其中，列表0以及列表1的运动向量是相同的，然而，两个不同的目标参考图片是根据现有的方式来选择。
图8所示为重用双向预测的的运动信息的示例，其中，列表0以及列表1的运动向量是相同的，且两个相同的目标参考图片是根据本发明的实施例来选择。
图9所示为根据本发明一实施例的于ARP模式中结合校准的单向预测以及双向预测过程以支持具有相同运动的快速双向预测模式的3D编码系统的示范性流程图。
【具体实施方式】
将容易理解本发明的元件，如通常所描述且于本申请附图中所示出的，可被安排并设计成多种不同的结构。因此，以下对本发明的方法以及系统的实施例的详细描述，如在附图中所表示的，并非旨在限制本发明的范围，如要求保护的，而仅表示本发明所选择的实施例。
参考遍及本说明书“一个实施例”、“一实施例”、或类似语言表示描述于实施例中的特定特征、结构、或特性，其可被包括于至少本发明的一个实施例。因此，出现在本说明书各处的短语“在一个实施例中”或“在一实施例中”不一定全是指相同实施例。
此外，于一个或多个实施例中，所描述的特征、结构、或特性可以任何合适的方式被组合。然而，本领域相关技术人员将认识到，本发明在没有一个或多个特定细节，或具有其他方法、元件等情况下也能被实施。于其它实例中，公知的结构或操作未被示出或进行详细描述以避免模糊本发明的各方面。
通过参考附图，本发明所示的实施例将会被最好的理解，其中，相同的部分始终由相同的数字来指代。下文的描述仅以示例的方式来表示，并简单地示出与本发明要求保护的内容相一致的装置及方法的某些所选择的实施例。
于用于3D-HEVC(即，HTM-9.0)的当前参考软件中，当用于双向预测的两组运动信息是指相同的参考块时，其提供从双向预测到单向预测的改变帧间预测方向的选项。通过这样做，其可以减少冗余运动补偿的计算的复杂性。因为在单向预测模式，相同的参考数据仅会被存取一次，其也能减少系统存储器带宽要求。此特性被称作相同运动检查(identicalmotionchecking)或快速双向预测。然而，于当前3D-HEVC中，由于单向预测以及双向预测之间不相等的修剪操作，高级残差预测(advancedresidualprediction，ARP)不能利用这个优点降低复杂性。
另外，当执行如以上所描述的ARP时，当前PU的运动向量被缩放以指向每个参考图片列表的第一参考图片。通过这样做，如图7所描述的，由于不同预测信号是被产生以用于不同列表，相同运动检查也可能导致不同的预测结果。
在本发明中，揭露了多种实施例以支持相同运动检查的特性。在一个实施例中，相同运动检查过程被禁用于已启用ARP的的编码单元(codingunit，CU)或预测单元(predictionunit，PU)。然而，相同运动检查仍然能被用于那些非ARP启用的CU/PU，以节省存储器存取带宽。
在另一实施例中，当ARP被启用后，通过校准单向预测以及双向预测之间的操作，可获得能支持已启用ARP的CU或PU的相同运动检查。由双向预测模式以及单向预测模式导出的残差预测因子将是相同的。因此，相同运动检查的特性能被支持以用于已启用ARP的CU/PU。
为了校准用于双向预测模式以及单向预测模式的过程，用于两个预测模式的修剪过程被统一。以下将揭露结合统一的修剪过程的不同实施例的示例。
第一实施例：两个修剪途径。单向预测以及双向预测均被相等地应用于两个修剪操作。由内插滤波器输出的内插像素以及残差信号被应用于第一修剪操作。接着，已修剪像素以及残差信号被加到一起，且接着被应用到另一修剪操作，以形成残差预测因子。对于双向预测，用于L0以及L1的预测因子被平均。第三修剪操作可以被应用以确保平均的预测因子在有效范围内。然而，在本实施例中，用于双向预测的第三修剪操作可被跳过，而不会影响结果。
第二实施例：一个修剪途径。单向预测以及双向预测均被相等地应用于一个修剪操作。由内插滤波器输出的内插像素以及残差信号被直接地相加，其中，该操作可以通过使用更高的比特深度来执行以具有更高的精确度。对于单向预测，将运动补偿信号以及残差信号相加到一起的最终预测因子被应用到修剪操作。对于双向预测，用于每个列表(L0以及L1)的最终预测因子被平均，且接着被应用于修剪操作。
如上所述，除了双向预测以及单向预测之间的不同的修剪过程，在当前块的运动向量都相同的情况下，被选择用于双向预测以及单向预测的参考图片也可能不同。双向预测以及单向预测之间不同参考图片导出的问题将由以下的实施例来解决。
第三实施例：于时间预测ARP模式中，用于L0以及L1的基础视图中的单个参考图片。当时间预测被当前PU使用，当前块的L0MV以及L1MV都被缩放至相同的目标参考图片。根据本实施例的单个参考图片的某些示例如下所示：
1.当前视图中当前图片的L0参考图片列表中的第一参考图片，
2.当前视图中当前图片的L1参考图片列表中的第一参考图片，
3.参考视图中当前图片的L0参考图片列表中的第一参考图片，
4.参考视图的当前图片的L1参考图片列表中的第一参考图片，
5.当前视图或参考视图的参考图片列表中的任何其它参考图片。
第四实施例：基础视图中的参考图片是根据用于时间预测ARP模式的最小图片顺序计数(pictureordercount，POC)距离来选择。当时间预测由当前PU使用以导出L0预测残差信号，当前块的L0MV被缩放到目标参考图片，目标参考图片位于用于残差预测的这组时间参考图片中，且与当前块的L0参考图片相比具有最小POC距离。当多于一个参考图片具有最小POC距离，则于L0中的一个(或作为当前块的相同列表中的一个)首先被使用。接着，残差预测因子被计算以作为目标参考图片中的块Base以及块BaseRef之间的差值。
为了导出L1预测残差信号，当前块的L1MV被缩放到参考图片，参考图片位于用于残差预测的这组时间参考图片中，且与当前块的L1参考图片相比具有最小POC距离。当多于一个参考图片具有最小POC距离，则于列表0中的一个(或作为当前块的相同列表中的一个)首先被使用。接着，残差预测因子被计算以作为目标参考图片中的块Base以及块BaseRef之间的差值。
用于残差预测的这组时间参考图片包括被允许以产生预测残差信号的参考图片。在一个示例中，L0以及L1中的第一时间参考图片被包括在这组时间参考图片中。
图8所示为第四实施例的示例，当前PU612的L0以及L1运动向量740是相等的，且L0的第一时间参考图片以及L1的第一时间参考图片都位于用于残差预测的这组时间参考图片中。因为L0的参考图片分别与当前PU的L0以及L1参考图片相比具有最小POC距离，L0以及L1预测残差信号都是通过缩放L0MV以及L1MV到L0中的第一时间参考图片670来产生。因此，由双向预测产生的参考图片以及由单向预测产生的参考图片将是相同的。
第五实施例：视图间预测ARP模式中L0以及L1的基础视图中的单个参考图片。当视图间预测被当前PU使用，当前块的L0MV以及L1MV被缩放至相同目标参考图片。根据本实施例的单个参考图片的某些示例如下所示：
1.当前视图中当前图片的L0参考图片列表中的第一参考图片，
2.当前视图中当前图片的L1参考图片列表的第一参考图片，
3.参考视图中当前图片的L0参考图片列表中的第一参考图片，
4.参考视图的当前图片的L1参考图片列表中的第一参考图片，
5.当前视图或参考视图的参考图片列表中的任何其它参考图片。
第六实施例：根据视图间预测ARP模式的L0以及L1中第一时间参考图片来选择的基础视图中的参考图片。当视图间预测被当前PU使用，以导出L0预测残差信号，块Base的L0MV被缩放到当前块的L0中的第一时间参考图片。如果L0运动信息不可用，则L1运动信息被使用(块Base的L1MV被缩放到当前块的L1的第一时间参考图片)。如果来自Base的mvL0以及mvL1都是无效的，零向量将被使用且参考图片将被设置为L0的第一时间参考图片。
为了导出L1预测残差信号，块Base的L0MV被缩放到当前块的L0中的第一时间参考图片。如果L0运动信息不可用，则L1运动信息被使用(块Base的L1MV被缩放到当前块的L1中的第一时间参考图片)。如果来自Base的mvL0以及mvL1都是无效的，零向量将被使用，且参考图片将被设置为L0的第一时间参考图片。
第七实施例：除了在来自Base的mvL0以及mvL1都是无效的情形下的处理不同，其余均类似于第六实施例。当视图间预测被当前PU使用，L0预测残差信号的导出如下所述。块Base的L0MV被缩放到当前块的L0中的第一时间参考图片。如果L0运动信息不可用，则L1运动信息被使用。如果来自Base的mvL0以及mvL1都是无效的，零向量将被使用且参考图片将被设置为与来自一组时间参考图片的当前块的L0参考图片相比较具有最小POC距离的参考图片。当多于一个参考图片具有最小POC距离时，L0中的参考图片(或当前块的相同列表中的一个)首先被使用。
为了导出L1预测残差信号，块Base的L0MV被缩放到当前块的L0中的第一时间参考图片(如果L0运动信息不可用，则L1运动信息被使用)。如果来自Base的mvL0以及mvL1都是无效的，零向量将被使用且参考图片将被设置为与来自用于残差预测的一组时间参考图片的当前块的L1参考图片相比较具有最小POC距离的参考图片。当多于一个参考图片具有最小POC距离时，列表X(X可以为0或1)中的一个，或相同列表中的一个，首先被使用。旗标(flag)也可以于序列、视图、图片、条带、编码树单元(CodingTreeUnit，CTU)、CU、PU等级传送以指示X。
第八实施例：除了与缩放块Base的L0MV以及L1MV相关联的参考图片选择，其余也类似于第六实施例。在当前PU使用视图间预测时，L0预测残差信号的产生如下所述。块Base的L0MV被缩放至参考图片，所述参考图片位于用于残差预测的这组时间参考图片中，且与当前块的L0参考图片相比较具有最小POC距离。如果L0运动信息不可用，则L1运动信息被使用。在此情况下，块Base的L1MV被缩放至参考图片，所述参考图片位于用于残差预测的这组时间参考图片中，且与当前块的L1参考图片相比较具有最小POC距离。如果来自Base的mvL0以及mvL1都是无效的，零向量将被设置到与来自用于残差预测的一组时间参考图片的当前块的L0参考图片相比较具有最小POC距离的参考图片。当多于一个参考图片具有最小POC距离时，列表X(X可以为0或1)中的参考图片，或相同列表中的参考图片，首先被使用。旗标也可以于序列、视图、图片、条带、CTU、CU、PU等级传送以指示X。
为了导出L1预测残差信号，块Base的L0MV被缩放至参考图片，所述参考图片位于用于残差预测的这组时间参考图片中，且与当前块的L0参考图片相比较具有最小POC距离。如果L0运动信息不可用，则L1运动信息被使用。在此情况下，块Base的L1MV被缩放至参考图片，所述参考图片位于用于残差预测的这组时间参考图片中，且与当前块的L1参考图片相比较具有最小POC距离。如果来自Base的mvL0以及mvL1都是无效的，零向量将被使用，且参考图片将被设置为与来自用于残差预测的一组时间参考图片的当前块的L1参考图片相比较具有最小POC距离的参考图片。当多于一个参考图片具有最小POC距离时，列表X(X可以为0或1)中的一个，或当前块的相同列表中的一个首先被使用。旗标也可以于序列、视图、图片、条带、CTU、CU、PU等级传送以指示X。
第九实施例：除了当L0MV或L1MV不可用时最小POC距离的确定，其余均类似于第八实施例。当视图间预测被当前PU使用，L0预测残差信号的产生如下所述。块Base的L0MV被缩放至参考图片，所述参考图片位于用于残差预测的这组时间参考图片中，且与当前图片相比较具有最小POC距离。如果L0运动信息不可用，则L1运动信息被使用。在此情况下，块Base的L1MV被缩放至参考图片，所述参考图片位于用于残差预测的这组时间参考图片中，且与当前图片相比较具有最小POC距离。如果来自Base的mvL0以及mvL1都是无效的，零向量将被使用，且参考图片将被选择以作为位于用于残差预测的这组时间参考图片中，且与当前图片相比较具有最小POC距离的参考图片。当多于一个参考图片具有最小POC距离时，列表X(X可以为0或1)中的一个，或相同列表中的一个首先被使用。旗标也可以于序列、视图、图片、条带、CTU、CU、PU等级传送以指示X。
L1预测残差信号可以由如下所述来导出。块Base的L1MV被缩放至参考图片，所述参考图片位于用于残差预测的这组时间参考图片中，且与当前图片相比较具有最小POC距离。如果L1运动信息不可用，则L0运动信息被使用。在此情况下，块Base的L0MV被缩放至参考图片，所述参考图片位于用于残差预测的这组时间参考图片中，且与当前图片相比较具有最小POC距离的参考图片。如果来自Base的mvL0以及mvL1都是无效的，零向量将被使用，且参考图片将被选择以作为位于用于残差预测的这组时间参考图片中，且与当前图片相比较具有最小POC距离的参考图片。当多于一个参考图片具有最小POC距离时，列表X(X可以为0或1)中的一个，或相同列表中的一个首先被使用。旗标也可以于序列、视图、图片、条带、CTU、CU、PU等级传送以指示X。
对于上述方法，用于残差预测的这组时间参考图片包含被允许以产生预测残差信号的参考图片。在一个示例中，只有L0以及L1的第一时间参考图片被包括在这组时间参考图片中。于另一示例中，只有L0中具有最小量化参数(QuantizationParameter，QP)的一个时间参考图片以及L1中具有最小QP的一个时间参考图片被包括在这组时间参考图片中。对于以上方法，当列表X(X可以为0或1)中的第一时间参考图片不可用，可以用其它的列表(1-X)中的第一时间参考来替代。
结合本发明的实施例的3D或多视图视频编码系统的性能与基于HTM-10.0的现有的系统的性能的比较如表1到表3所示。表1对应于ARP中只对单向预测以及双向预测使用统一的修剪的系统的结果。表2对应于仅使用参考图片选择过程的系统的结果。对应于表1以及表2的系统仅结合了本发明的部分特征。表3对应于根据本发明的一个实施例使用统一的修剪以及已校准参考图片选择过程的系统的结果。表4的系统相同于用于表3的系统，不同的地方是该系统与使用统一的修剪以及已校准参考图片选择过程的锚系统(anchorsystem)相比，其中该锚系统于解码器禁用快速双向预测。BD率的负值代表着新的系统比锚系统具有更好的性能。在所有的情况下，用于视图1(视频1)、视图2(视频2)的纹理图片BD率差值，仅纹理视频(视频/视频比特率)，用于纹理视频(视频/总比特率)的总比特率(纹理比特率以及深度比特率)以及用于编码及合成视频的总比特率(合成/总比特率)都较小。根据本发明的实施例，由于统一的修剪以及已校准参考图片选择，表3所示的BD率差值不会恶化(degradation)。关于编码时间，解码时间以及渲染时间的运行时间是相同的。因此，根据本发明的实施例(表3)通过允许快速双向预测，可以减少系统带宽而不会有性能损耗的恶化。
表1
表2
表3
表4
图9所示为根据本发明实施例的三维或多视图视频编码系统的示范性流程图。于步骤910中，系统接收与当前从属视图的当前图片的当前块相关联的输入数据。输入数据可对应于当前块的纹理数据或已编码纹理数据。输入数据可以从存储器(例如：计算机存储器，缓冲器(RAM或DRAM))或其它媒体中取回。输入数据还可从处理器(例如：控制器，中央处理单元，数字信号处理器或导出输入数据的电子电路)中接收。于步骤920中，执行关于是否残差预测模式被启用以及当前块使用单向预测被编码的测试。如果结果是肯定的，执行步骤930、940以及980。否则，于步骤950执行进一步的测试。于步骤930中，用于当前块的残差信号仅根据列表0的参考数据或列表1的参考数据来产生。于步骤940中，根据第一残差产生过程，仅使用列表0的参考数据或列表1的参考数据来产生残差预测因子。于步骤980中，通过将残差预测应用于使用残差预测因子的当前块的残差信号来编码或解码当前块。于步骤950中，执行关于是否ARP模式被启用以及当前块使用双向预测被编码的测试。如果结果是肯定的，执行步骤960、970以及980。否则，此过程结束。于步骤960中，用于当前块的残差信号是根据列表0的参考数据以及列表1的参考数据来产生。于步骤970中，残差预测因子从列表0的残差预测因子以及列表1的残差预测因子产生，其中，列表0的残差预测因子是根据第二残差产生过程使用当前块的列表0的参考数据来产生，且列表1的残差预测因子是根据第三残差产生过程使用当前块的列表1的参考数据来产生。第一残差产生过程，第二残差产生过程以及第三残差产生过程都包括至少一个相同的数据修剪过程以及相同的参考图片选择过程。
以上所示的流程图旨在示出结合本发明实施例的三维或多视图视频编码系统的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分割步骤，或合并步骤来实施本发明。
以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。
以上所述的伪残差预测以及DV或运动向量估计方法可使用于视频编码器以及视频解码器。如上所述，根据本发明实施例的伪残差预测方法可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。
在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (20)

1.一种三维或多视图编码系统中残差预测的方法，所述方法包含：
接收与当前从属视图中当前图片的当前块相关联的输入数据；
当残差预测模式被启用以及所述当前块使用单向预测被编码时，
仅根据列表0的参考数据或列表1的参考数据来产生用于所述当前块的残差信号；以及
根据第一残差产生过程，仅使用所述列表0的参考数据或所述列表1的参考数据产生残差预测因子；以及
当所述残差预测模式被启用以及所述当前块使用双向预测被编码时，
根据所述列表0的参考数据以及列表1的参考数据产生用于所述当前块的所述残差信号；以及
从列表0的残差预测因子以及列表1的残差预测因子产生所述残差预测因子，其中，所述列表0的残差预测因子是根据第二残差产生过程，使用所述当前块的所述列表0的参考数据来产生，以及所述列表1的残差预测因子是根据第三残差产生过程，使用所述当前块的所述列表1的参考数据来产生；
通过将使用所述残差预测因子的所述残差预测应用到所述当前块的所述残差信号来编码或解码所述当前块；以及
其中，所述第一残差产生过程、所述第二残差产生过程以及所述第三残差产生过程都包括相同数据修剪过程以及相同参考图片选择过程中的至少一个。
2.如权利要求1所述的三维或多视图编码系统中残差预测的方法，其特征在于：所述第一残差产生过程、所述第二残差产生过程以及所述第三残差产生过程都使用一个数据修剪操作或两个数据修剪操作。
3.如权利要求1所述的三维或多视图编码系统中残差预测的方法，其特征在于：当所述当前块的列表0运动信息以及列表1运动信息相同时，所述第二残差产生过程以及所述第三残差产生过程选择相同参考图片以产生所述残差信号。
4.如权利要求1所述的三维或多视图编码系统中残差预测的方法，其特征在于：
用于所述当前块的所述残差信号对应于所述当前块与所述当前块的当前时间参考块之间的时间残差信号，其中，所述当前时间参考块是根据当前块位置并使用所述当前块的运动向量来定位；以及
用于所述当前块的所述残差信号对应于所述当前块与所述当前块的当前视图间参考块之间的视图间残差信号，其中，所述当前视图间参考块是根据所述当前块位置以及所述当前块的视差向量来定位。
5.如权利要求4所述的三维或多视图编码系统中残差预测的方法，其特征在于：
用于所述时间残差信号的所述残差预测因子是根据所述参考视图中的对应块以及所述参考视图中所述对应块的所述时间参考块来产生；以及
所述视图间残差信号的所述残差预测因子是根据所述参考视图中所述当前视图间参考块的所述时间参考块以及所述当前视图间参考块的所述时间参考块的对应参考块来产生。
6.如权利要求5所述的三维或多视图编码系统中残差预测的方法，其特征在于，所述参考视图中的所述对应块是根据所述当前块位置以及已推导视差向量来定位，所述对应块的所述时间参考块是使用由所述当前块的所述运动向量导出的第一已缩放运动向量根据对应块位置来定位；以及
其中，所述当前视图间参考块的所述时间参考块是使用从所述当前视图间参考块的所述运动向量导出的第二已缩放运动向量根据当前视图间参考块位置来定位，以及所述当前视图间参考块的所述时间参考块的所述对应参考块是使用所述当前块的所述视差向量根据所述当前视图间块的所述时间参考块的第一位置来定位。
7.如权利要求6所述的三维或多视图编码系统中残差预测的方法，其特征在于，由从所述当前块的所述运动向量中导出的所述第一已缩放运动向量或从所述当前视图间参考块中导出的所述第二已缩放运动向量来指向的目标参考图片是由以下群组中进行选择，
所述当前从属视图中所述当前图片的列表0参考图片列表中的第一参考图片；
所述当前从属视图中所述当前图片的列表1参考图片列表中的所述第一参考图片；
所述参考视图中所述当前图片的所述列表0参考图片列表中的所述第一参考图片；
所述参考视图中所述当前图片的所述列表1参考图片列表中的所述第一参考图片；以及
所述当前从属视图或所述参考视图中所述列表0参考图片列表或所述列表1参考图片列表中的任何其它参考图片。
8.如权利要求5所述的三维或多视图编码系统中残差预测的方法，其特征在于，于导出所述时间残差信号的所述残差预测因子期间，所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前块的列表0运动向量或列表1运动向量分别缩放至一组时间参考图片中已选择的参考图片来导出以用于推导所述残差预测，其中，所述已选择的参考图片分别与所述当前块的列表0或列表1参考图片相比具有最小图片顺序计数距离，以及其中，如果多于一个已选择的参考图片具有所述最小图片顺序计数距离，则列表0或所述当前块相同列表中的所述已选择的参考图片被首先使用。
9.如权利要求8所述的三维或多视图编码系统中残差预测的方法，其特征在于，所述列表0以及列表1的一组时间参考图片仅分别包含所述列表0或所述列表1中第一张时间参考图片，或仅分别包含所述列表0或所述列表1中具有最小量化参数的时间参考图片。
10.如权利要求8所述的三维或多视图编码系统中残差预测的方法，其特征在于，当多于一个已选择的参考图片具有所述最小图片顺序计数距离，于所述列表0、所述列表1或所述当前块的相同列表中的所述已选择的参考图片首先被使用，以及其中，旗标于序列、视图、图片、条带、编码树单元、编码单元、或预测单元等级被传送以指示列表选择。
11.如权利要求8所述的三维或多视图编码系统中残差预测的方法，其特征在于，当所述列表0或所述列表1中第一张时间参考图片不可用时，则另一列表中所述第一张时间参考图片被使用。
12.如权利要求5所述的三维或多视图编码系统中残差预测的方法，其特征在于，于导出所述视图间残差信号的所述残差预测因子期间，所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前视图间参考的列表0运动向量缩放至所述参考视图中所述当前图片的列表0参考图片列表中的第一时间参考图片来导出，其中，如果所述当前视图间参考的所述列表0运动向量是无效的，则所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前视图间参考的列表1运动向量缩放至所述参考视图中所述当前图片的列表1参考图片列表中的第一时间参考图片来导出，其中，如果所述列表0运动向量以及所述列表1运动向量都是无效的，则零运动向量被使用，所述参考视图中所述当前图片的列表0参考图片列表中所述第一时间参考图片被选择以作为所述参考图片。
13.如权利要求5所述的三维或多视图编码系统中残差预测的方法，其特征在于，于导出所述视图间残差信号的所述残差预测因子期间，所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前视图间参考的列表0运动向量缩放至所述参考视图中所述当前图片的列表0参考图片列表中的第一时间参考图片来导出，其中，如果所述当前视图间参考的所述列表0运动向量是无效的，则所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前视图间参考的列表1运动向量缩放至所述参考视图中所述当前图片的列表1参考图片列表的第一张时间参考图片来导出，其中，如果所述列表0运动向量以及所述列表1运动向量都是无效的，则零运动向量被使用，确定已选择的参考图片，且所述已选择的参考图片是有效的，且分别与所述当前块的列表0参考图片或列表1参考图片相比较具有最小图片顺序计数距离，以及其中，如果多于一个已选择的参考图片具有所述最小图片顺序计数距离，则列表0或所述当前块的相同列表中所述已选择的参考图片首先被使用。
14.如权利要求5所述的三维或多视图编码系统中残差预测的方法，其特征在于，于导出所述视图间残差信号的所述残差预测因子期间，所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前视图间参考块的列表0运动向量缩放至用于导出所述残差预测的一组时间参考图片中已选择的参考图片来导出，其中，所述已选择的参考图片与所述当前块的列表0参考图片相比较具有最小图片顺序计数距离，其中，如果所述列表0运动向量是无效的，则所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前视图间参考块的列表1运动向量缩放至所述已选择的参考图片来导出，其中，如果所述列表0运动向量以及所述列表1运动向量都是无效的，则零运动向量被使用，所述已选择的参考图片被确定，且所述已选择的参考图片是有效的，且分别与所述当前块的列表0参考图片或列表1参考图片相比较具有所述最小图片顺序计数距离，以及其中，如果多于一个已选择的参考图片具有所述最小图片顺序计数距离，则列表0或所述当前块的相同列表中的所述已选择的参考图片首先被使用。
15.如权利要求5所述的三维或多视图编码系统中残差预测的方法，其特征在于，于导出所述视图间残差信号的所述残差预测因子期间，所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前视图间参考块的列表0运动向量缩放至用以导出所述残差预测的一组时间参考图片中已选择的参考图片来导出，其中，所述已选择的参考图片与所述当前图片相比较具有最小图片顺序计数距离，其中，如果所述列表0运动向量是无效的，则所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前视图间参考块的列表1运动向量缩放至所述已选择的参考图片来导出，其中，如果所述列表0运动向量以及所述列表1运动向量都是无效的，则零运动向量被使用，所述已选择的参考图片被确定，且所述已选择的参考图片是有效的且与所述当前图片相比较具有所述最小图片顺序计数距离，以及其中，如果多于一个已选择的参考图片具有所述最小图片顺序计数距离，则所述当前块的相同列表中的所述已选择的参考图片首先被使用。
16.一种三维或多视图编码系统中残差预测的装置，所述装置包括一个或多个电子电路被配置如下：
接收与当前从属视图中当前图片的当前块相关联的输入数据；
当残差预测模式被启用以及所述当前块使用单向预测被编码时，
仅根据列表0的参考数据或列表1的参考数据来产生用于所述当前块的残差信号；以及
根据第一残差产生过程，仅使用所述列表0的参考数据或所述列表1的参考数据产生残差预测因子；以及
当所述残差预测模式被启用以及所述当前块使用双向预测被编码时，
根据所述列表0的参考数据以及列表1的参考数据产生用于所述当前块的所述残差信号；以及
从列表0的残差预测因子以及列表1的残差预测因子产生所述残差预测因子，其中，所述列表0的残差预测因子是根据第二残差产生过程，使用所述当前块的所述列表0的参考数据来产生，以及所述列表1的残差预测因子是根据第三残差产生过程，使用所述当前块的所述列表1的参考数据来产生；
通过将使用所述残差预测因子的所述残差预测应用到所述当前块的所述残差信号来编码或解码所述当前块；以及
其中，所述第一残差产生过程、所述第二残差产生过程以及所述第三残差产生过程都包括相同数据修剪过程以及相同参考图片选择过程中的至少一个。
17.如权利要求16所述的三维或多视图编码系统中残差预测的装置，其特征在于，所述第一残差产生过程，所述第二残差产生过程以及所述第三残差产生过程都使用一个数据修剪操作或两个数据修剪操作。
18.如权利要求16所述的三维或多视图编码系统中残差预测的装置，其特征在于，当所述当前块的列表0运动信息以及列表1运动信息相同时，所述第二残差产生过程以及所述第三残差产生过程选择相同参考图片以产生所述残差信号。
19.如权利要求16所述的三维或多视图编码系统中残差预测的装置，其特征在于：
用于所述当前块的所述残差信号对应于所述当前块与所述当前块的当前时间参考块之间的时间残差信号，其中，所述当前时间参考块是根据当前块位置并使用所述当前块的运动向量来定位；以及
用于所述当前块的所述残差信号对应于所述当前块与所述当前块的当前视图间参考块之间的视图间残差信号，其中，所述当前视图间参考块是根据所述当前块位置以及所述当前块的视差向量来定位。
20.一种三维或多视图编码系统中残差预测的方法，所述方法包括：
接收与当前从属视图中当前图片的当前块相关联的输入数据；
当残差预测模式被启用以及所述当前块使用单向预测被编码时，
仅根据列表0的参考数据或列表1的参考数据来产生用于所述当前块的残差信号；以及
仅使用所述列表0的参考数据或所述列表1的参考数据产生残差预测因子；以及
当所述残差预测模式被启用以及所述当前块使用双向预测被编码时，
根据所述列表0的参考数据以及列表1的参考数据产生用于所述当前块的所述残差信号；以及
从列表0的残差预测因子以及列表1的残差预测因子产生所述残差预测因子，其中，所述列表0的残差预测因子是使用所述当前块的所述列表0的参考数据来产生，以及所述列表1的残差预测因子是使用所述当前块的所述列表1的参考数据来产生；
通过将使用所述残差预测因子的所述残差预测应用到所述当前块的所述残差信号来编码或解码所述当前块；以及
其中，当所述残差预测模式被启用时，用于所述当前块的相同运动检查过程被禁用，以及所述相同运动检查过程仅对禁用所述残差预测模式的块执行。
CN201480017896.2A 2013-06-11 2014-06-11 三维或多视图编码系统中残差预测的方法及其装置 Active CN105122792B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361833747P 2013-06-11 2013-06-11
US61/833,747 2013-06-11
US201361921147P 2013-12-27 2013-12-27
US61/921,147 2013-12-27
PCT/CN2014/079683 WO2014198222A1 (en) 2013-06-11 2014-06-11 Method of inter-view residual prediction with reduced complexity in three-dimensional video coding

Publications (2)

Publication Number Publication Date
CN105122792A true CN105122792A (zh) 2015-12-02
CN105122792B CN105122792B (zh) 2017-03-15

Family

ID=52021664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480017896.2A Active CN105122792B (zh) 2013-06-11 2014-06-11 三维或多视图编码系统中残差预测的方法及其装置

Country Status (5)

Country Link
US (1) US9883205B2 (zh)
EP (1) EP2932712A4 (zh)
KR (1) KR101706314B1 (zh)
CN (1) CN105122792B (zh)
WO (1) WO2014198222A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018177418A1 (en) * 2017-03-30 2018-10-04 Mediatek Inc. Sub-prediction unittemporal motion vector prediction (sub-pu tmvp) for video coding
CN113011577A (zh) * 2019-12-20 2021-06-22 阿里巴巴集团控股有限公司 处理单元、处理器核、神经网络训练机及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2014000159A (es) * 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222639A (zh) * 2007-01-09 2008-07-16 华为技术有限公司 多视点视频技术中的视间预测方法、编码器和解码器
EP1972141A1 (en) * 2006-01-07 2008-09-24 Electronics and Telecommunications Research Institute Method and apparatus for inter-viewing reference in multi-viewpoint video coding
CN101960854A (zh) * 2008-03-10 2011-01-26 汤姆森许可贸易公司 支持增强效率和主观质量的预测帧选择的方法和设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100779875B1 (ko) * 2005-01-14 2007-11-27 주식회사 휴맥스 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
JP4752631B2 (ja) 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
CN101222638B (zh) * 2007-01-08 2011-12-07 华为技术有限公司 多视视频编解码方法及装置
US9357212B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1972141A1 (en) * 2006-01-07 2008-09-24 Electronics and Telecommunications Research Institute Method and apparatus for inter-viewing reference in multi-viewpoint video coding
CN101222639A (zh) * 2007-01-09 2008-07-16 华为技术有限公司 多视点视频技术中的视间预测方法、编码器和解码器
CN101960854A (zh) * 2008-03-10 2011-01-26 汤姆森许可贸易公司 支持增强效率和主观质量的预测帧选择的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI ZHANG: "《CE4: Advanced residual prediction for multiview coding》（URL：Http://phenix.int-evry.fr/jct2/，no.jct3v-D0177）", 《JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018177418A1 (en) * 2017-03-30 2018-10-04 Mediatek Inc. Sub-prediction unittemporal motion vector prediction (sub-pu tmvp) for video coding
CN113011577A (zh) * 2019-12-20 2021-06-22 阿里巴巴集团控股有限公司 处理单元、处理器核、神经网络训练机及方法
CN113011577B (zh) * 2019-12-20 2024-01-05 阿里巴巴集团控股有限公司 处理单元、处理器核、神经网络训练机及方法

Also Published As

Publication number Publication date
WO2014198222A1 (en) 2014-12-18
US9883205B2 (en) 2018-01-30
EP2932712A1 (en) 2015-10-21
EP2932712A4 (en) 2016-11-30
KR20150112008A (ko) 2015-10-06
CN105122792B (zh) 2017-03-15
US20150382020A1 (en) 2015-12-31
KR101706314B1 (ko) 2017-02-14

Similar Documents

Publication Publication Date Title
US10791336B2 (en) Moving picture coding device, moving picture coding method, moving picture coding program, moving picture decoding device, moving picture decoding method, and moving picture decoding program
TW202005383A (zh) 部分成本計算
CN104768017B (zh) 视频编码方法及视频编码装置
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
US10110923B2 (en) Method of reference view selection for 3D video coding
CN112866720B (zh) 一种运动矢量预测方法、装置与编解码器
US11445184B2 (en) Image decoding method and device for deriving weight index information for generation of prediction sample
US20220182606A1 (en) Video encoding/decoding method and device for deriving weight index for bidirectional prediction of merge candidate, and method for transmitting bitstream
CA2909561C (en) Method and apparatus for advanced temporal residual prediction in three-dimensional video coding
CN105122792A (zh) 三维视频编码中降低复杂性的视图间残差预测的方法
KR102639614B1 (ko) 움직임 벡터 예측 기반 영상/비디오 코딩 방법 및 장치
US11876960B2 (en) Video or image coding for inducing weight index information for bi-prediction
CN104782128B (zh) 用于三维或多维视图视频编码的方法及其装置
US11539941B2 (en) Image decoding method for deriving predicted sample by using merge candidate and device therefor
CN105122808A (zh) 用于三维及多视图视频编码的视差向量推导的方法及装置
CN105359529B (zh) 用于三维或多视图视频编码的方法及装置
CN105247858A (zh) 三维视频编码中子预测单元的视图间运动预测的方法
US20220191535A1 (en) Image encoding/decoding method and apparatus for performing bi-directional prediction, and method for transmitting bitstream
US20240146953A1 (en) Motion information prediction method and apparatus for distortion due to projection formation conversion
CN105432084A (zh) 用于三维视频编码的参考视图选择的方法
CN105144714A (zh) 三维视频编码的视差向量推导的方法及装置
CN118044201A (zh) 基于mdmvr的图像编译方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160909

Address after: Chinese Taiwan jhubei City, Hsinchu County Taiwan Yuan Street No. five 3 floor 7

Applicant after: Atlas Limited by Share Ltd

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing Road No. 1

Applicant before: MediaTek.Inc

C14 Grant of patent or utility model
GR01 Patent grant