CN104471941A - 3d视频编码中的视图间子分割预测的方法和装置 - Google Patents

3d视频编码中的视图间子分割预测的方法和装置 Download PDF

Info

Publication number
CN104471941A
CN104471941A CN201380036813.XA CN201380036813A CN104471941A CN 104471941 A CN104471941 A CN 104471941A CN 201380036813 A CN201380036813 A CN 201380036813A CN 104471941 A CN104471941 A CN 104471941A
Authority
CN
China
Prior art keywords
block
sub
decoding
view
difference vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380036813.XA
Other languages
English (en)
Other versions
CN104471941B (zh
Inventor
吴其玲
张毓麟
蔡玉宝
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104471941A publication Critical patent/CN104471941A/zh
Application granted granted Critical
Publication of CN104471941B publication Critical patent/CN104471941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明揭示一种用于基于子块的视图间预测的三维视频编码或解码的装置和方法。方法将材质块分割为材质子块，并确定材质子块的差异向量。视图间参考数据是基于不同视图中的材质子块和参考材质帧的差异向量来派生的。于编码或解码时，视图间参考数据然后用作当前块的预测。本发明的一个方面提出分割当前材质块。本发明的另一方面提出用于当前材质子块的差异向量的派生。

Description

3D视频编码中的视图间子分割预测的方法和装置
相关申请的交叉应用
本发明要求2012年7月9日提交的序列号为61/669,364名称为“3D视频编码中具有子分割的视图间预测”(Inter-view prediction with sub-partition scheme in 3D video coding)的美国临时专利申请，以及2012年10月12日提交的序列号为61/712,926名称为“在3D视频编码中与运动补偿模块整合的视图间子分割预测”(Inter-view sub-partition prediction integrated withthe motion compensation module in 3D video coding)的美国临时专利申请的优先权。美国临时专利申请通过参考并入与此。
技术领域
本发明涉及三维(Three-dimensional，3D)视频编码。特别地，本发明涉及3D视频编码中的视图间子分割预测。
背景技术
3D电视近年来已经是一种技术趋势，其想要带给观看者非常好的观赏体验。已经开发了各种技术以使能3D观看。其中，多视图视频是3D电视应用的关键技术。现有的视频是二维(Two-dimensional，2D)介质，其仅仅为观看者提供来自相机视角的场景的单个视图。然而，多视图视频能够提供动态场景的任意视图以及为观看者提供真实的感觉。
多视图视频一般通过同时使用多个相机俘获场景来创建，其中多个相机合适地定位，以便每个相机从一个视角俘获场景。因此，多个相机将俘获对应于多个视图的多个视频序列。为了提供更多的视图，已经使用更多的相机，以生成具有与视图关联的大量视频序列的多视图视频。因此，多视图视频将要求用于储存的较大存储空间和/或用于传送的高带宽。因此，多视图视频编码技术已经在领域中发展以减少所要求的存储空间或传送带宽。
一种简单明确的方法可以是简单地将现有的视频编码技术独立地应用到每个单视图视频序列，并忽略不同视图中的任何相关。这样的编码系统将会是非常低效率的。为了改进多视图视频编码的效率，典型的多视图视频编码利用视图间冗余。因此，大多数3D视频编码(3DVC)系统考虑与多个视图和深度图关联的视频数据的相关。标准发展实体，ITU-T的视频编码专家组的联合视频组(Joint Viedo Team of the ITU-T Video Coding ExpertsGroup，VCEG)和ISO/IEC运动图像专家组(ISO/IEC Moving Picture Experts Group，MPEG)将H.264/MPEG-4AVC扩展到多视图视频编码(Multi-view coding，MVC)用于立体和多视图视频。
MVC采用时间和空间预测以改进压缩效率。在MVC的发展过程中，提出一些宏模块级的编码工具，包含照度补偿(illumination compensation)、自适应参考滤波、运动跳跃模式以及视图合成预测。提出这些编码工具以利用多个视图之间的冗余。照度补偿意在补偿不同视图之间的照度变化。自适应参考滤波意在减少由于相机之间的聚焦不匹配导致的变化。运动跳跃模式允许当前视图中的运动向量从其他视图推断。应用视图合成预测以从其他视图预测当前视图。
然而，在MVC中，深度图和相机参数不会被编码。在新一代3D视频编码(3DVC)的近来标准化发展中，材质数据、深度数据和相机参数均被编码。例如，图1图示了用于3D视频编码的一般预测结构，其中符合标准的视频编码器用于基本视图视频。进来的3D视频数据包含对应于多个视图的图像(110-0、110-1、110-2，…)。聚集用于每个视图的图像形成用于对应视图的图像序列。通常，对应于基础视图(也称为独立视图)的图像序列110-0由符合视频编码标准(例如，H.264/AVC或高效视频编码(High Efficiency Video Coding，HEVC))的视频编码器130-0独立地编码。用于与从属视图(即，视图1、2…)关联的图像序列的视频编码器(130-1、130-2，…)除时间预测以外还利用视图间预测。视图间预测由图1中的短虚线指示。
为了支持交互式应用，在相应视图与场景关联的深度图(120-0、120-1、120-2，…)也包含于视频比特流中。如图1所示，为了减少与深度图关联的数据，深度图使用深度图编码器(140-0、140-1、140-2，…)压缩，压缩后的深度图数据包含于比特流中。复用器150用于将来自图像编码器和深度图编码器的压缩后的数据结合。深度信息可用于在所选择的中间视角合成虚拟视图。对应于所选视图的图像可以使用基于对应于另一视图的图像的视图间预测来编码。在此情况下，用于所选视图的图像称为从属视图。
由于深度数据和相机参数在新一代3DVC中也编码，材质图像和深度图之间的关系可以用于进一步改进压缩效率。深度图和材质图像具有较高相关，因为他们对应于相同物理场景的不同方面。可以利用相关以改进压缩效率或减少要求的计算负担。此外，深度图可用于表示两个材质图像之间的对应。因此，深度图可以用于视图间预测方法。
发明内容
揭示一种用于基于子块的视图间预测的三维视频编码或解码的装置和方法。根据本发明的实施例的基于子块的视图间预测的方法包含接收与当前视图中的当前帧的当前块关联的第一数据；将当前块分割为当前子块；确定当前子块的差异向量；派生视图间参考数据并基于视图间参考数据将视图间预测编码或解码应用于第一数据。视图间参考数据是基于当前子块的差异向量从参考帧派生的，其中参考帧和当前帧具有相同的时间戳并对应于不同视图。对于编码，第一数据对应于与当前块关联的像素数据或深度数据。对于解码，第一数据对应于材质块的剩余数据或当前块的深度。如果省略运动信息和剩余数据，视图间跳跃模式为当前块提示，以及如果省略运动信息且剩余数据已经传送，则视图间直接模式为当前材质块提示。
本发明的一个方面提出分割当前块。当前块可以分割为相等大小的矩形或方形子块，或任意的形状的子块。当前块可以分割为对应于4×4子块或8×8子块的相等大小的方形子块，且4×4子块或8×8子块的指示可以在比特流中的序列参数组(SPS)提示。相等大小的方形子块可对应于n×n子块，且在比特流的序列级、切片级或编码单元(CU)级中提示。
本发明的另一方面提出用于当前子块的差异向量的派生。在一个实施例中，当前块的视图间参考数据是从参考帧的对应子块获得，且对应子块是基于当前子块的差异向量来确定的。当前子块的差异向量可以基于对应于当前块的深度图中的并列子块的深度值来确定。当前子块的差异向量还可以从与在视图间模式中编码的当前块的相邻子块关联的相邻差异向量获得。
附图说明
图1图示用于三维视频编码系统的预测结构的示例。
图2图示三维(3D)视频编码中的基于空间相邻块、时间并列块以及视图间并列块的预测的示例。
图3图示了根据本发明的实施例的基于子块的视图间预测的示例，其中当前材质块分割为4×4方形子块。
图4图示了根据本发明的实施例的基于子块的视图间预测的另一示例，其中当前材质块分割为4×4方形子块。
图5图示了根据本发明的实施例的基于子块的视图间预测的示例，其中当前材质块根据关联的深度图分割为任意的形状的子块。
图6图示了基于相邻块的相邻差异向量的用于当前材质子块的差异向量的派生的示例。
图7图示了根据本发明的实施例的并入基于子块的视图间预测的系统的示范性流程图。
具体实施方式
图2图示了示例，其中当前块的预测来源于空间相邻的块、并列图片中的时间并列的块以及视图间平列图片中视图间并列的块。图片210、211和212对应于分别在时间实例t0、t1和t2来自视图V0的图片。类似地，图片220、221和222对应于分别在时间实例t0、t1和t2来自视图V1的图片，以及图片230、231和232对应于分别在时间实例t0、t1和t2来自视图V2的图片。显示于图2中的图片可以是彩色图像或深度图像。对于当前图片，内/间(Intra/Inter)预测可以基于相同视图中的图片来应用。例如，当前图片221中的当前块224的预测可以基于图片221的围绕块(即，内预测)。当前块224的预测可使用来自其它图片的信息，例如，相同视图中的图片220和222(即，间预测)。此外，当前块224的预测还可使用来自其他视图的并列图片的信息，例如，图片211和231(即，视图间预测)。
在并入本发明的实施例的系统中，具有子分割方案的视图间预测方法用于节省计算时间并减少复杂性而不牺牲编码效率。在一个实施例中，当前块首先分割为子块，分割后的子块的对应是从另一视图获得以作为参考。来自另一视图的对应子块然后用作预测因子用于当前子块，以生成剩余误差，且剩余误差被编码/解码。在本公开中，当前块参考相同时间戳但来自不同视图的参考帧的编码模式，称为视图间(inter-view)模式。此外，将块分割为子块且使用来自其它视图的参考图片中的对应子块来编码子块的视图间模式，称作子块视图间模式。此外，可以包含子块视图间跳跃/直接模式，其中，当没有剩余误差要编码/解码时，使用子块视图间跳跃模式，以及，当没有运动信息需要编码/解码时，使用子块视图间直接模式。在这些模式中，子块的差异向量(disparity)可以从编码器中的已编码的深度、解码器中已解码的深度或编码器和解码器中估计的深度图获得。
图3图示了根据本发明的一个实施例的具有四个方形子块的子块视图间模式的一个示例。当视图1(即，T1)的材质帧中的当前块被编码或解码时，假设视图1的深度图(即，D1)已经编码/解码或估计。因此，来自D1的深度信息可用于T1的材质信息的编码或解码。当前材质块310分割为子块，且子块根据差异向量在对应于视图0(即，T0)中的参考帧找到对应子块321到324。参考帧中对应子块321到324用作视图间参考数据以编码或解码当前块310。有多个方法为当前块派生差异向量。例如，对应子块321到324可以基于T0中的并列块320和D1中的深度信息来确定。派生后的差异向量在图3中显示为粗箭头线。生成并编码T0中的当前块和对应子块之间的剩余误差。当不需要编码剩余误差和关联的运动信息时，视图间模式变为视图间跳跃模式。在运动信息可以推测且仅仅剩余误差需要传送的情况下，视图间模式变成视图间直接模式。
根据本发明的分割方法可对应于将当前块分割为常规形状，例如，矩形或方形，或分割为任意的形状。例如，当前块可以分割为4×4或8×8的方形，且分割信息可以在序列级句法中提示(signaled)，例如，3D视频编码中的序列参数集(Sequence Parameter Set，SPS)。本公开中的4×4方形指的是以方形中的4行和方形中的4列来分割。类似地，本公开中的8×8方形指的是以方形中的8行和方形中的8列来分割。尽管4×4和8×8分割在以上提及，当前块可以分割为n×n子块，其中n是整数且分割信息可以在比特流中提示。再次，本公开中的n×n分割指的是以方形中的n行和方形中的n列来分割。子块分割参数，即，n可以在序列级(SPS)或切片级中提示。子块的大小可以等于在系统中指定的运动补偿块的最小大小。将块分割为如4×4子块的示例显示于图4，其中子块410位于当前视图(即，视图1)的T1中，以及子块420是视图0的T0中的并列(collocated)子块。有各种方法派生对应子块。例如，T0中的对应子块422可以基于并列子块420和与视图1关联的对应深度信息D1来派生。一个子块的差异向量显示为粗箭头线。T0中的对应子块用作预测因子用于T1中的子块410用于编码或解码。
图5图示了将当前块分割为任意形状的示例。当前块可以根据所选择的准则分割为任意的形状。例如，当前块510可以根据如图5所示的深度图中的边缘沿着目标边界分割为两个部分512和514，有各种方法确定与任意形状的子块关联的差异向量。例如，两个对应子块522和524可以基于T0中并列块520和D1中并列深度块530来派生。两个子块的差异向量由粗箭头线指示。如上所述，当材质帧T1中的当前块被编码或解码时，假设深度图D1中的并列深度块已经被编码或解码，或可以由已知方法来估计。
子块视图间模式的以上示例还可以应用于深度图编码。在一实施例中，当前视图(即，T1)的深度帧中的当前深度块分割为子块，且子块在对应于另一视图(即，T0)的参考深度帧中找到对应子块。参考深度帧中的对应子块用作视图间参考数据以编码或解码当前深度块。
在当前块分割为多个子块后，子块的对应部分可以根据本发明的另一实施例从深度图或编码的/解码的相邻块的差异向量来获得。在3D视频编码中，用于当前块的深度图总是存在，且深度图已经编码/解码或可估计。当子块的对应部分从深度图获得时，子块的差异向量可以从深度图中的并列子块中的所有深度样本或局部深度样本的最大、最小、中值或平均派生。当子块的对应部分从编码或解码的相邻块获得差异向量时，子块的差异向量可以从在视图间模式中编码或解码的相邻块推测。
图6图示了为四个方形子块从编码的邻居派生差异向量的示例。当前块610分割为四个子块，即，S1、S2、S3和S4。相邻块根据他们的位置分割为多个区域(即，区域A至区域E)。例如，块A1、…、An属于区域A和块B1、…、Bn属于区域B等。假设每个区域中的至少一个块在视图间模式编码。因此，子块S1、S2和S3邻近于相邻块，其中至少一个相邻块在视图间模式中编码或解码。对于子块S1，差异向量可以从在区域A、C和E以视图间模式编码的块派生。类似地，子块S2和S3的差异向量可以分别从在区域B和D中以视图间模式编码的相邻块派生。当有多个候选时，子块的差异向量派生可以基于在视图间模式中编码的所有和一些相邻块的差异向量的最大、最小、平均或中值。
因为子块S4不邻近于任何视图间相邻块，子块S4的差异可以隐含地从子块S1、S2和S3派生。根据本发明的实施例，有若干方式获得子块S4的差异向量。此外，明确的信号可用于指示选择哪个派生方法。在第一实施例中，如果子块S1的差异向量接近于子块S2的差异向量，子块S4的差异向量设置为子块S3的差异向量。否则，子块S4的差异向量设置为子块S2的差异向量。两个差异向量之间的相似度可以基于对应于映射到笛卡尔坐标系统中两个差异向量的两个点之间的距离来测量。其它距离测量也可使用。在第二实施例中，子块S4的差异向量是与子块S1、S2和S3关联的差异向量的加权总和。权重反比于距离。在第三实施例中，根据选择信号，子块S4的差异向量设置为子块S1、S2或S3的差异向量。在第四实施例中，如果并列块具有差异值，子块S4的差异向量等于先前编码的帧中的并列块的差异向量。在第五实施例中，子块S4的差异向量等于从先前编码的帧中的并列块中的深度信息派生的差异向量。在第六实施例中，子块S4的差异向量可以基于空间邻居或由信号指示的时间并列块来派生。在第六实施例中，子块S4的差异向量派生于编码的/解码的或估计的深度值。
此外，在本发明的一个实施例中，旗标用于指示是否使能子块视图间模式。旗标可以并入比特流的序列级(例如，SPS)中，其中序列中的所有帧共享相同的旗标。旗标可以并入切片级，其中切片中的所有编码块共享相同的旗标。旗标还可以为每个编码块提示。此外，旗标可根据当前块周围的邻近块的模式信息适应性地并入。如果大多数邻近块使用视图间模式，则旗标位于比非交互(interview)模式更高的优先位置。
当前块的视图间参考数据的派生可以使用用于运动补偿(即，运动补偿模块)的现存的处理模块来执行。在本领域中已知运动补偿模块提供运动补偿的数据用于间预测。运动补偿模块的输入包含参考图片和运动向量。在一些系统中，参考索引可用于选择一组参考图片。在本发明的一个实施例中，运动补偿模块接收一个或多个差异向量，并将它们作为运动向量。视图间参考帧由运动补偿模块用作参考图片。可选地，视图间参考索引可由运动补偿模块使用以选择该组参考图片。运动补偿模块将基于对应当前块的参考帧的子块输出视图间参考数据。视图间参考数据然后用作当前块编码或解码的预测。在获得视图间参考数据后，运动信息不再需要且可以清除。在运动补偿模块中，运动信息可以通过将运动信息设置为非可用的来清除。类似地，运动向量可以通过将运动向量设置为零运动来清除，以及参考索引和图片可以通过将它们设置为非可用的来清除。
具有子分割方案的视图间模式可以应用到不同的分割块大小，且每个分割使用一个旗标以指示是否使能视图间模式。如上所揭示的基于子块的视图间编码和解码可用于视图合成预测。相同的技术还可应用于分割3D视频编码中的编码单元(Coding Unit，CU)，其中CU是用于如正发展的高效视频编码(HEVC)标准定义的帧的编码和解码的单元。在此情况下，CU变成即将分割以基于不同视图中参考帧中的对应子块生成视图间参考数据的块。分割的CU的差异向量的派生与以上所揭示的当前材质或深度块的差异向量的派生相同。在一个实施例中，用于n×n子块的旗标可以根据扫描线顺序或Z形(zigzag)顺序来提示。当所有其它的子块指示使能视图间模式时，最后分割的旗标可忽略。
图7图示了根据本发明的实施例并入子块视图间模式的三维编码或解码系统的示范性流程图。在步骤710，系统接收第一数据，第一数据与对应于当前视图的当前帧的当前块关联。对于编码，与当前块关联的第一数据对应于即将编码的原始像素数据或深度数据。第一数据还可对应于即将视图间预测的剩余像素数据。在后面的情况中，剩余像素数据还使用视图间预测，以生成剩余像素数据的另一剩余数据。为了简便，原始像素数据和剩余像素数据在本公开中均被称作像素数据。剩余数据指的是来自视图间预测的剩余数据。因此，本公开中的剩余数据可对应于剩余像素数据或剩余像素数据的另一剩余数据。对于解码，第一数据对应于用于重建当前块的像素数据或深度数据的剩余数据。第一数据可从存储器获取，例如，计算机存储器、缓冲器(RAM或DRAM)或其它媒体。第一数据还可从处理器接收，例如，控制器、中央处理单元、数字信号处理器或产生第一数据的电子电路。在步骤720中，当前块分割为当前子块，在步骤730中，确定当前子块的差异向量。在步骤740中，基于当前子块的差异向量从参考帧派生视图间参考数据，其中参考帧和当前帧对应于不同视图和相同图片时间戳。在步骤750中，基于视图间参考数据将视图间预测的编码或解码应用于第一数据。
以上显示的流程图意在图示基于子块分割的视图间预测的示例。本领域的技术人员可修改每个步骤、重新排布步骤、分裂步骤或结合步骤以在不背离本发明的精神下实践本发明。
呈现以上描述以使能本领域的普通技术人员以按照特定应用和其要求的上下文中所提供的来实践本发明。对所描述的实施例的各种修改对本领域的技术人员是明显的，且本文定义的一般原理可以应用到其它实施例。因此，本发明不是意在限制于所显示和描述的特定实施例，而是符合包含本文揭示的原理和新颖特征的最广范围。在以上详细描述中，说明各种具体细节以便提供本发明的完整的理解。不过，本领域技术人员应理解本发明可以实践。
如上所述的本发明的实施例可以以各种硬件、软件代码或其组合来实施。例如，本发明的实施例可以是集成于视频压缩芯片的电路或集成于视频压缩软件的程序代码以执行本文描述的处理。本发明的实施例还可是执行于数字信号处理器(DSP)的程序代码以执行本文描述的处理。本发明还可涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)处理的多个功能。这些处理器可用于根据本发明，通过执行机器-可读软件代码或定义由本发明实施的特定方法的固件代码，来执行特定任务。软件代码或固件代码可以用不同的编程语言和不同的格式或风格来开发。软件代码还可以兼容不同的目标平台。然而，软件代码的不同的代码格式、风格和语言和根据本发明配置代码以执行任务的其它装备将不背离本发明的精神和范围。
本发明可以以不背离其精神或本质特性的其他具体形式来实施。所描述的示例在所有方面考虑为仅仅是说明性的并不是限制性的。因此，本发明的范围由所附的权利要求指示而不是由上文的描述来指示。落入权利要求的均等的意义和范围的所有改变包含于他们的范围。

Claims (34)

1.一种三维视频编码或解码的方法，其特征在于，所述方法包含：
接收与对应于当前视图的当前帧的当前块关联的第一数据；
将所述当前块分割为当前子块；
确定所述当前子块的差异向量；
基于所述当前子块的所述差异向量，从参考帧派生视图间参考数据，其中所述参考帧和所述当前帧对应于不同视图，以及所述参考帧和所述当前帧具有相同图片时间戳；以及
基于所述视图间参考数据将视图间预测编码或解码应用于所述第一数据。
2.如权利要求1所述的三维视频编码或解码的方法，其特征在于，所述第一数据对应于与用于三维视频解码的当前块关联的剩余数据或旗标，且所述第一数据对应于用于三维视频编码的当前块的像素数据或深度数据。
3.如权利要求2所述的三维视频编码或解码的方法，其特征在于，所述应用视图间预测解码包含重建来自所述视图间参考数据的当前块，以及所述应用视图间预测编码包含生成所述剩余数据或与所述当前块关联的所述旗标。
4.如权利要求3所述的三维视频编码或解码的方法，其特征在于，如果省略运动信息和所述剩余数据，则视图间跳跃模式为所述当前块提示。
5.如权利要求3所述的三维视频编码或解码的方法，其特征在于，如果省略运动信息并传送所述剩余数据，则视图间直接模式为所述当前块提示。
6.如权利要求1所述的三维视频编码或解码的方法，其特征在于，所述分割所述当前块将所述当前块分割为具有相同的第一大小的矩形的子块、具有相同的第二大小的方形的子块或任意形状的子块。
7.如权利要求6所述的三维视频编码或解码的方法，其特征在于，所述方形的子块对应于4×4子块或8×8子块，以及所述4×4子块或所述8×8子块的指示在与所述三维视频编码或解码关联的比特流的序列参数组中提示。
8.如权利要求6所述的三维视频编码或解码的方法，其特征在于，所述方形的子块对应于n×n子块，且n在与所述三维视频编码或解码关联的比特流的序列级、切片级或编码单元级中提示，其中n是整数。
9.如权利要求6所述的三维视频编码或解码的方法，其特征在于，子块大小等于运动补偿块规定的最小大小。
10.如权利要求1所述的三维视频编码或解码的方法，其特征在于，所述分割所述当前块是基于与所述当前帧关联的深度图的目标边界。
11.如权利要求10所述的三维视频编码或解码的方法，其特征在于，所述分割所述当前块是基于对应于所述当前块的所述深度图中的并列块的目标边界。
12.如权利要求1所述的三维视频编码或解码的方法，其特征在于，用于所述当前块的所述视图间参考数据是从所述参考帧的对应子块获得，且所述对应子块是基于所述当前子块的所述差异向量来确定的。
13.如权利要求12所述的三维视频编码或解码的方法，其特征在于，所述当前子块的所述差异向量是基于对应于所述当前块的深度值中的并列子块的深度值来确定的。
14.如权利要求13所述的三维视频编码或解码的方法，其特征在于，所述深度值从在编码器侧编码的、在解码器侧解码的或在所述编码器和所述解码器侧估计的所述深度图所获得。
15.如权利要求13所述的三维视频编码或解码的方法，其特征在于，所述当前子块的所述差异向量是分别基于所述深度图中的所述并列子块中的所有深度值或局部深度值的平均、最大、最小或中值来确定。
16.如权利要求12所述的三维视频编码或解码的方法，其特征在于，所述当前子块的所述差异向量是从与在视图间模式中编码的所述当前块的相邻子块关联的相邻差异向量获得。
17.如权利要求16所述的三维视频编码或解码的方法，其特征在于，邻近于在所述视图间模式中编码的至少一个相邻块的第一当前子块的第一差异向量从所述至少一个相邻子块的差异向量派生。
18.如权利要求17所述的三维视频编码或解码的方法，其特征在于，所述第一当前子块的所述第一差异向量从所述至少一个相邻子块的所述相邻差异向量的最大、最小、平均或中值派生。
19.如权利要求16所述的三维视频编码或解码的方法，其特征在于，不邻近于任何在所述视图间模式中编码的相邻子块的第一当前子块的第一差异向量是从一个或多个邻近当前子块派生，其中所述一个或多个邻近当前子块的差异向量已经派生。
20.如权利要求19所述的三维视频编码或解码的方法，其特征在于，如果所述第一当前子块的左上子块的第二差异向量比所述第一当前子块的左子块的第四差异向量更类似于所述第一当前子块的上子块的第三差异向量，所述第一差异向量设置为所述第四差异向量；以及否则所述第一差异向量设置于所述第三差异向量。
21.如权利要求20所述的三维视频编码或解码的方法，其特征在于，信号用于识别是否选择所述第四差异向量或所述第三差异向量作为所述第一差异向量。
22.如权利要求16所述的三维视频编码或解码的方法，其特征在于，不邻近于任何在所述视图间模式中编码的相邻块的第一当前子块的第一差异向量是从先前帧中的并列块派生的。
23.如权利要求22所述的三维视频编码或解码的方法，其特征在于，如果所述并列块使用所述视图间模式，则所述第一差异向量设置为所述并列块的第二差异向量。
24.如权利要求22所述的三维视频编码或解码的方法，其特征在于，所述第一差异向量从所述并列块的深度值派生。
25.如权利要求16所述的三维视频编码或解码的方法，其特征在于，不邻近于所述视图间模式中任何相邻块的第一当前子块的第一差异向量从先前帧的并列块或从一个或多个邻近当前子块派生，其中所述一个或多个邻近当前子块的差异向量已经派生，且发送信号以指示所述并列块或所述一个或多个邻近当前子块是否用于派生所述第一差异向量。
26.如权利要求12所述的三维视频编码或解码的方法，其特征在于，所述当前子块的差异向量是从在视图间模式中编码的所述参考帧的并列块的第一相邻子块派生，或从在所述视图间模式中编码的一个参考帧的并列深度块的第二相邻子块派生。
27.如权利要求1所述的三维视频编码或解码的方法，其特征在于，用于所述当前块的旗标并入与所述三维视频编码或解码关联的比特流，且所述旗标用于指示子块视图间模式是否使能。
28.如权利要求27所述的三维视频编码或解码的方法，其特征在于，所述旗标在所述比特流的序列级、切片级或编码单元级中提示。
29.如权利要求27所述的三维视频编码或解码的方法，其特征在于，所述旗标根据所述当前块的邻近块的模式信息相对于另一旗标适应性地放置，其中如果所述邻近块使用所述视图间模式的数量为大多数时，所述旗标比所述另一旗标位于更高优先位置。
30.如权利要求27所述的三维视频编码或解码的方法，其特征在于，第二旗标用于每个当前子块以指示所述视图间预测编码或解码是否应用于所述当前子块，且用于所述当前子块的所述第二旗标以线扫描顺序或跨过所述当前子块的Z形顺序提示。
31.如权利要求30所述的三维视频编码或解码的方法，其特征在于，如果所有其他当前子块使用所述视图间编码或解码，则忽略用于最后当前子块的所述第二旗标。
32.如权利要求1所述的三维视频编码或解码的方法，其特征在于，所述当前块对应于编码单元。
33.一种用于三维视频编码或解码的装置，其特征在于，所述装置包含：
用于接收与对应于当前视图的当前帧的当前块关联的第一数据的装置；
用于将所述当前块分割为当前子块的装置；
用于确定所述当前子块的差异向量的装置；
用于基于所述当前子块的所述差异向量，从参考帧派生视图间参考数据的装置，其中所述参考帧和所述当前帧对应于不同视图，以及所述参考帧和所述当前帧具有相同图片时间戳；以及
用于基于所述视图间参考数据将视图间预测编码或解码应用于所述第一数据的装置。
34.如权利要求33所述的用于三维视频编码或解码的装置，其特征在于，还包括用于执行运动补偿的装置，其中用于执行运动补偿的所述装置用于基于所述当前子块的所述差异向量从所述参考帧派生所述视图间参考数据，所述参考帧用作参考图片，且所述当前子块的所述差异向量用作用于所述装置的运动向量用于执行运动补偿。
CN201380036813.XA 2012-07-09 2013-06-28 3d视频编码中的视图间子分割预测的方法和装置 Active CN104471941B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261669364P 2012-07-09 2012-07-09
US61/669,364 2012-07-09
US201261712926P 2012-10-12 2012-10-12
US61/712,926 2012-10-12
PCT/CN2013/078391 WO2014008817A1 (en) 2012-07-09 2013-06-28 Method and apparatus of inter-view sub-partition prediction in 3d video coding

Publications (2)

Publication Number Publication Date
CN104471941A true CN104471941A (zh) 2015-03-25
CN104471941B CN104471941B (zh) 2017-09-19

Family

ID=49915391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380036813.XA Active CN104471941B (zh) 2012-07-09 2013-06-28 3d视频编码中的视图间子分割预测的方法和装置

Country Status (5)

Country Link
US (1) US20150172714A1 (zh)
EP (1) EP2839664A4 (zh)
CN (1) CN104471941B (zh)
IN (1) IN2015MN00073A (zh)
WO (1) WO2014008817A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110710209A (zh) * 2018-04-02 2020-01-17 北京大学 运动补偿的方法、装置和计算机系统
WO2024077611A1 (zh) * 2022-10-14 2024-04-18 Oppo广东移动通信有限公司 解码方法、编码方法、解码器以及编码器

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015523030A (ja) * 2012-07-13 2015-08-06 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． ３次元ビデオを表すビットストリームを符号化する装置
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
US9521425B2 (en) 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
US9426465B2 (en) 2013-08-20 2016-08-23 Qualcomm Incorporated Sub-PU level advanced residual prediction
EP3059966B1 (en) * 2013-10-18 2021-01-13 LG Electronics Inc. Video decoding apparatus and method for decoding multi-view video
WO2015137723A1 (ko) * 2014-03-11 2015-09-17 삼성전자 주식회사 인터 레이어 비디오 부호화를 위한 디스패리티 벡터 예측 방법 및 장치와 인터 레이어 비디오 복호화를 위한 디스패리티 벡터 예측 방법 및 장치
US9955187B2 (en) * 2014-03-28 2018-04-24 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
KR102071581B1 (ko) * 2014-03-31 2020-04-01 삼성전자주식회사 서브블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치
US10623767B2 (en) * 2015-10-19 2020-04-14 Lg Electronics Inc. Method for encoding/decoding image and device therefor
KR101780444B1 (ko) * 2015-10-29 2017-09-21 삼성에스디에스 주식회사 영상 신호의 노이즈 제거 방법
US10446071B2 (en) 2016-03-31 2019-10-15 Samsung Electronics Co., Ltd. Device and method of using slice update map
KR102531386B1 (ko) * 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
CN108595620B (zh) * 2018-04-23 2022-04-26 百度在线网络技术（北京）有限公司 转义识别方法、装置、计算机设备及存储介质
US11818395B2 (en) * 2021-04-22 2023-11-14 Electronics And Telecommunications Research Institute Immersive video decoding method and immersive video encoding method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080198924A1 (en) * 2007-02-06 2008-08-21 Gwangju Institute Of Science And Technology Method of computing disparity, method of synthesizing interpolation view, method of encoding and decoding multi-view video using the same, and encoder and decoder using the same
CN101647281A (zh) * 2007-03-28 2010-02-10 三星电子株式会社 视频编码和解码的方法和设备
CN101785317A (zh) * 2007-08-15 2010-07-21 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
CN102325254A (zh) * 2011-08-25 2012-01-18 深圳超多维光电子有限公司 一种立体视频的编、解码方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100517517B1 (ko) * 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
CN101895749B (zh) * 2010-06-29 2012-06-27 宁波大学 一种快速视差估计和运动估计方法
CN101917619B (zh) * 2010-08-20 2012-05-09 浙江大学 一种多视点视频编码快速运动估计方法
AU2012323631B2 (en) * 2011-10-11 2015-09-17 Mediatek Inc. Method and apparatus of motion and disparity vector derivation for 3D video coding and HEVC
US20130176390A1 (en) * 2012-01-06 2013-07-11 Qualcomm Incorporated Multi-hypothesis disparity vector construction in 3d video coding with depth
US9525861B2 (en) * 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080198924A1 (en) * 2007-02-06 2008-08-21 Gwangju Institute Of Science And Technology Method of computing disparity, method of synthesizing interpolation view, method of encoding and decoding multi-view video using the same, and encoder and decoder using the same
CN101647281A (zh) * 2007-03-28 2010-02-10 三星电子株式会社 视频编码和解码的方法和设备
CN101785317A (zh) * 2007-08-15 2010-07-21 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
CN102325254A (zh) * 2011-08-25 2012-01-18 深圳超多维光电子有限公司 一种立体视频的编、解码方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110710209A (zh) * 2018-04-02 2020-01-17 北京大学 运动补偿的方法、装置和计算机系统
WO2024077611A1 (zh) * 2022-10-14 2024-04-18 Oppo广东移动通信有限公司 解码方法、编码方法、解码器以及编码器

Also Published As

Publication number Publication date
US20150172714A1 (en) 2015-06-18
IN2015MN00073A (zh) 2015-10-16
EP2839664A1 (en) 2015-02-25
CN104471941B (zh) 2017-09-19
EP2839664A4 (en) 2016-04-06
WO2014008817A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
CN104471941B (zh) 3d视频编码中的视图间子分割预测的方法和装置
JP6472877B2 (ja) 視点合成予測を含む３ｄまたは多視点映像符号化の方法
KR101638752B1 (ko) 3ｄ 비디오 코딩에서 변이 벡터 도출을 제한하는 방법
CN105594211B (zh) 用于图片的包括帧内区块复制模式的编码模式的发送方法
CN105324996B (zh) 三维视频编码的视图间候选推导的方法及其装置
CN104412597B (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN104412587B (zh) 用于三维视频编码或解码系统的方法和设备
KR101753171B1 (ko) 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법
AU2013284038B2 (en) Method and apparatus of disparity vector derivation in 3D video coding
JP6267287B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像符号化方法及びプログラム
TW201340724A (zh) 視訊寫碼中之像差向量預測
US11818396B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
CN103621093A (zh) 在三维视频编码系统中的纹理图像压缩方法及装置
CN103907346A (zh) 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置
JP6042556B2 (ja) ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
CN104904206B (zh) 空间运动矢量预测推导方法和装置
CN104718760A (zh) 运动矢量推导三维视频编码的方法和装置
JP2016513925A (ja) ３ｄビデオ符号化におけるビュー合成予測の方法と装置
CN104704819A (zh) 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置
WO2015057037A1 (ko) 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 장치 및 방법
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置
CN105474640A (zh) 三维视频编码的摄像机参数发信的方法和装置
JP2015177547A (ja) 簡易化した深度ベースのブロック分割の方法
CN104350748B (zh) 使用低分辨率深度图的视图合成
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant