CN104662910B - 3d视频编码中的虚拟深度值的方法和装置 - Google Patents

3d视频编码中的虚拟深度值的方法和装置 Download PDF

Info

Publication number
CN104662910B
CN104662910B CN201380049206.7A CN201380049206A CN104662910B CN 104662910 B CN104662910 B CN 104662910B CN 201380049206 A CN201380049206 A CN 201380049206A CN 104662910 B CN104662910 B CN 104662910B
Authority
CN
China
Prior art keywords
block
disparity vector
view
depth
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380049206.7A
Other languages
English (en)
Other versions
CN104662910A (zh
Inventor
张毓麟
蔡玉宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of CN104662910A publication Critical patent/CN104662910A/zh
Application granted granted Critical
Publication of CN104662910B publication Critical patent/CN104662910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明揭露了一种使用虚拟深度信息用于三维视频编码或解码的方法和装置。对于从属视图中的当前纹理块，并入本发明的方法首先派生所估计的视差向量以定位编码后的视图中的对应纹理块。与编码后的视图中的对应纹理块同等位置的编码后的视图中的同等位置的深度块识别并用于派生虚拟深度信息。本发明的一个方面陈述所估计的视差向量的派生过程。本发明的另一方面陈述所派生的虚拟深度信息的使用。

Description

3D视频编码中的虚拟深度值的方法和装置
相关申请的交叉参考
本发明要求2012年9月21日申请的的序列号为61/703,901、名称为“Method toRetrieve Depth Values for 3D Video Coding”的美国临时专利申请的优先权，以及2012年10月9日申请的的序列号为61/711,314、名称为“Method to Predict Motion Vectorfor 3D Video Coding”的美国临时专利申请的优先权。上述美国临时专利申请通过参考并入于此。
技术领域
本发明涉及三维视频编码。特别地，本发明涉及用于3D视频编码的虚拟深度值的派生。
背景技术
近年来，三维(3D)电视已经成为一种带给观看者精彩的观看体验的技术趋势。已经开发出各种技术以使能3D观看。在这些技术中，多视图视频是这些技术中的用于3DTV的关键技术。现有的视频是二维(2D)媒体，其仅仅从相机的角度给观看者提供场景的单个视图。然而，多视图视频能够提供动态场景的任意的视点，以及给观看者提供生动的感觉。
一般通过同时使用多个相机俘获场景来创建多视图视频，其中合适地放置多个相机，以便每个照相机从一个视点俘获场景。因此，多个相机将俘获对应于多个视图的多个视频序列。为了提供更多的视图，使用更多的相机以生成具有与视图关联的大量视频序列的多视图视频。因此，多视图视频将要求较大的存储空间以储存和/或高的带宽以发送。因此，多视图视频编码技术在此邻域中已经发展以减少所要求的存储空间或传送带宽。
一种明确的方法可以是简单地将现有的视频编码技术独立地应用到每个单个视图视频序列并忽视不同视图间的任何相关。这样的编码系统将是非常低效率的。为了改进多视图视频编码(multi-view video coding，MVC)的效率，典型的多视图视频编码利用视图间冗余。因此，大多数3D视频编码(3DVC)系统考虑与多个视图和深度图关联的视频数据的相关。MVC采用时间和空间预测以改进压缩效率。在MVC发展的过程中，提出一些宏模块级别的编码工具，包含照度补偿、自适应参考滤波、运动跳过模式以及视图合成预测。提出这些编码工具以利用多个视图之间的冗余。照度补偿用于补偿不同视图之间的照度变化。自适应参考滤波用于减少由于相机之间聚焦不匹配的变化。运动跳过模式允许当前视图中的运动向量从其他视图推断。应用视图合成预测以从其他视图预测一幅当前视图。
在MVC，然而，深度图和相机参数不编码。在新一代3D视频编码(3DVC)的近来标准化发展中，纹理数据、深度数据和相机参数都编码。由于深度数据和相机参数在新一代3D视频编码(3DVC)技术中的存在，需要研究纹理图像和深度图之间的关系以进一步改进压缩能力。深度图和纹理图像具有高的相关，因为他们都对应于相同的几何形状。纹理数据和深度数据之间的冗余可以经由对应相关来利用。例如，深度图可用更高编码增益或者更低编码时间来帮助纹理图像压缩。此外，深度图可以转换以呈现纹理图像中的对应对，这将有益于视图间(inter-view)预测过程。
在3D视频编码中，因为纹理和深度之间的冗余，纹理数据和深度数据的编码顺序总是个问题。在3D视频编码的早期标准发展过程中，对于基于AVC的3D视频编码(3D-AVC)的编码顺序选择为在编码从属视图中的纹理数据之前编码深度数据。然而，对于基于HEVC的3D视频编码(3D-HEVC)的编码顺序选择为在编码从属视图中的深度数据之前编码纹理数据。在文献中揭示了允许灵活编码顺序的技术，其改变用于3D-HEVC的编码顺序。用于纹理的编码效率可通过参考深度信息来改善。深度信息有助于以很多方式来改进编码效率。3D-AVC中的基于深度的运动向量预测(Depth-based motion vector prediction，DMVP)使用编码后的深度，以改进运动向量预测的精确度。深度图有助于识别用于运动参数预测的视图间候选(inter-view candidate)。视图合成预测(View Synthesis Prediction，VSP)是流行的主题，其从其他视图变形的帧识别视图间参考。在视图合成预测中，第一视图的纹理数据和深度数据首先编码/解码。第二视图可以通过将第一视图变形到第二视图位置来预测。深度图有助于纹理图片变形到正确位置。
编码工具，例如，运动向量传承和视图间运动参数预测还利用深度信息，以改进当前块的预测。在3DVC标准的近来发展过程中，已经揭示预测的深度图(PDM)算法以为当前纹理图像提供深度信息。预测的深度图从编码后的视差向量派生或从编码后的视图的深度图变形。当前块可以由从预测的深度图派生的运动参数来编码。相邻块视差向量(neighboring block disparity vector，NBDV)已经在文献中揭示。NBDV使用来自相邻块中的视图间预测的视差向量(disparity vector，DV)，以改进运动向量预测。尽管NBDV替代早期的基于PDM的方法，然而，仍然证明了深度信息在3D-AVC中是有用的。因为深度信息在改进编码效率上是有用的，获取当前块的深度信息的方法变得重要。需要开发一种方法以生成用于三维视频编码的虚拟深度信息。
发明内容
本发明揭露了一种使用虚拟深度信息用于三维视频编码或解码的方法和装置。对于从属视图中的当前纹理块，并入本发明的方法首先派生所估计的视差向量以定位编码后的视图中的对应纹理块。与编码后的视图中的对应纹理块同等位置的编码后的视图中的同等位置的深度块识别并用于派生虚拟深度信息。本发明的一个方面陈述所估计的视差向量的派生过程。所估计的视差向量可基于从属视图中的当前纹理块的视差向量候选来派生。视差向量候选可以从从属视图中的当前纹理块的空间或时间相邻块来派生，或从对应于当前纹理块的时间并列纹理块的一个或多个空间或时间相邻块，其中空间或时间相邻块是视差补偿预测的(DCP)块，或视差向量运动补偿预测的(DV-MCP)块。例如，视差向量候选可对应于一个或多个空间或时间相邻块中的所有视差向量或部分视差向量的平均、最大、最小或中值。视差向量候选可以从从属视图中的编码后的全局几何模型中派生。
所估计的视差向量可以根据搜寻顺序从视差向量候选确定。在另一实施例中，用于所估计的视差向量的派生过程包含从视差向量候选选择初始视差向量，以获取编码后的视图中的深度参考块；从深度参考块提取第二视差向量，其中第二视差向量从编码后的视图中的对应纹理块指向从属视图中的第一位置；确定初始视差向量和第二视差向量之间的一致性误差；以及从视差向量候选中选出导致最小一致性误差的一个视差向量候选作为所估计的视差向量。在又一实施例中，用于所估计的视差向量的派生过程包含获取对应于一个视差向量候选的编码后的视图中的深度参考块；从深度参考块提取转换后的视差向量；确定转换后的视差向量和一个视差向量候选之间的一致性误差；以及选择具有最小一致性误差的一个转换后的视差向量作为所估计的视差向量。
本发明的另一方面陈述所派生的虚拟深度信息的使用。在一个应用中，所派生的虚拟深度信息用于视图合成预测，以派生子块视差向量以用于从当前纹理块分区获得的子块。在另一应用中，运动向量预测子或视差向量预测子是从虚拟深度信息派生，并用于编码或解码编码于合并模式或跳过模式中的当前纹理或深度块。当前纹理或深度块的分区可以继承或从虚拟深度信息派生。在又一应用中，虚拟深度信息可用于派生参考块，用于使用视图间运动补偿编码当前纹理或深度块。虚拟深度信息还可用于派生视差向量，用于当前纹理或深度块的视图间运动补偿。视图间视差向量可以从虚拟深度信息获取，用于与当前纹理或深度块关联的残余数据的视图间残值预测(residual prediction)。
附图说明
图1图示根据本发明的实施例的虚拟深度信息派生的示例。
图2图示用于确定视差向量候选的与当前块关联的相邻块的示例。
图3图示所估计的视差向量派生的示例，其中所估计的视差向量根据搜寻顺序从视差向量候选确定。
图4图示所估计的视差向量派生的示例，其中所估计的视差向量是从具有最小一致性误差的视差向量候选确定的。
图5图示所估计的视差向量派生的示例，其中所估计的视差向量是基于从具有最小一致性误差的视差向量候选派生的所提取的视差向量确定的。
图6图示视图合成预测中的虚拟深度信息的示范性使用，其中子块的子块视差向量是从派生的虚拟深度信息派生的。
图7图示视图间运动预测中的派生后的虚拟深度信息的示范性使用，其中视差向量预测子是从派生的虚拟深度信息派生的。
图8图示纹理分区中的派生的虚拟深度信息的示范性使用，其中纹理块的分区是基于派生的虚拟深度信息来继承或派生的。
图9图示时序图像间/视图间预测中的派生的虚拟深度信息的示范性使用，其中参考块是使用派生的虚拟深度信息来定位的。
图10图示深度视图内预测或深度分区中的派生的虚拟深度信息的示范性使用，其中虚拟深度块用作预测子用于深度视图内预测或深度分区。
图11图示根据本发明并入虚拟深度信息的用于编码系统的流程图。
具体实施方式
在本发明中，虚拟深度获取方法以消除与当前纹理图片关联的实际深度图的使用。相反，深度值是使用基于以前编码的深度数据的预测来派生的。派生后的深度值在本公开被称作虚拟深度值。虚拟深度获取方法包含以下步骤：
1.使用估计的视差向量以定位对应于当前块(CB)的编码后的视图中的纹理块，以及
2.使用编码后的视图的同等位置的深度(collocated depth)作为当前块的虚拟深度。
根据本发明的虚拟深度派生过程显示于图1。视图0中的编码后的纹理图片和编码后的深度图分别由T0和D0指代。即将被编码于视图1中的纹理由T1指代。即将被编码的当前块(CB)由T1中的块110指代。估计的视差向量120用于在编码后的纹理T0中定位对应块(110A)。T0中的虚线块对应于块110的位置。T0中的块110A然后用于定位编码后的视图D0中的深度块110B。与深度块110B关联的深度数据然后派生用于当前纹理图片T1的虚拟深度块110C。派生后的虚拟深度块110C还可用于当前深度图D1。
有各种过程以派生估计的视差向量。例如，估计的视差向量可以从视差向量候选中派生，其中视差向量候选可以从空间/时间相邻块获得，其中相邻块是视差补偿预测(disparity compensation predicted，DCP)块、空间/时间相邻视差向量运动补偿预测(DV-MCP)块或一组编码后的视差向量或描述当前视图的场景的粗略几何形状的全局模型。全局几何形状模型可对应于编码后的视差或深度向量。全局几何形状模型还可对应于编码后的粗略网孔模型(rough mesh model)。当与相邻块关联的视差向量候选不可用时，默认视差向量可使用。当前块的相邻块的示例显示于图2，其中块210对应于当前块，块220对应于当前块的上侧的相邻块，以及块230对应于当前块左侧的相邻块。相邻块还可包含时间同等位置的相邻块。此外，相邻块还可包含时间同等位置的块的相邻块。视差向量可以基于视差向量候选的所有或部分的平均、最大、最小或中值来派生。
在确定了视差向量候选之后，相似性检查过程可以在视差向量候选上执行。此过程是检查所选择的视差向量候选是否类似于当前块的上侧或当前块的左侧的块的相邻视差向量候选。在相邻块中具有最高相似性的视差向量候选可用作估计的视差向量。例如，如果左上相邻块的视差向量候选比左相邻块的视差向量候选更类似于上相邻块的视差向量候选，则选择上相邻块的视差向量候选作为估计的视差向量；否则，选择左相邻块的视差向量候选作为估计的视差向量。
一旦确定了视差向量候选，用于获取虚拟深度的最终的视差向量将从视差向量候选派生。有许多方式派生最终估计的视差向量。估计的视差向量的三个示范性派生过程揭示如下。
估计的视差向量的派生的第一示例显示于图3，其中估计的视差向量(310)根据搜寻顺序从与当前块(340)的相邻块(320和330)关联的视差向量候选来确定。视差向量候选根据搜寻顺序来检查，且第一现存的视差向量候选将被选择作为估计的视差向量。搜寻顺序可以是预定义的。对应于当前块(340)的编码后的纹理T0中的纹理块(340A)可以使用估计的视差向量(310)来定位。编码后的深度D0中的同等位置的深度块(340B)可以定位，且同等位置的深度块(340B)用于派生用于当前纹理T1中的当前纹理块的虚拟深度数据(350)。编码后的深度D0中的同等位置的深度块(340B)可由当前从属视图直接使用作为虚拟深度。备选地，编码后的深度D0中的同等位置的深度块(340B)可以变形或变换，以获得虚拟深度信息。例如，仿射变换(affine transform)可用于将同等位置的深度块变换为虚拟深度信息。编码后的T0和D0中的虚线框对应于当前块的位置。尽管示范性的相邻块组(320和330)显示于图3，相邻块还可包含一个或多个时间并列相邻块。其它空间相邻块配置也可使用。
在第二示例中，如图4所示，估计的视差向量的派生从视差向量候选选择初始视差向量vi(410)，以获取深度参考块(410B)。初始视差向量410指向编码后的纹理T0中对应于深度参考块410B的对应块(410A)。指向当前视图的第二视差向量vs(420)然后从深度参考块410B提取。第二DV可以从深度参考中的所有深度值或部分深度值平均、最大、最小或中值来提取。编码后的T0和D0中的虚线框对应于当前块的位置。当前纹理T1中的点线框(410C)对应于T0中的对应块(410A)的位置。一致性检查可以在第二视差向量上执行。一致性误差可对应于初始视差向量和第二视差向量之间的差值。备选地，一致性误差可对应于当前块(440)的中心(430A)与由第二视差向量(420)所指的当前视图中的对应位置(430B)之间的距离。导致最小一致性误差的视差向量候选可以选择作为估计的视差向量。其它类型的一致性检查还可用于选择估计的视差向量。
在第三示例中，估计的视差向量的派生基于视差向量候选获取多个深度参考块，如图5所示。两个深度参考块(510A和510B)显示在图5的示例中，其中两个深度参考块是基于两个对应视差向量候选(未示出于图5)来确定的。当前纹理T1中的点线框(510C和510D)对应于D0中的对应块(510A和510B)的位置。视差向量然后可从深度参考块提取。视差向量可基于深度参考块中的所有深度值或部分深度值的平均、最大、最小或中值来提取。图5图示了一个视差向量(520)从深度参考块中提取。可为每个所提取的视差向量进行一致性检查。类似于第二示例中的一致性检查，一致性误差可对应于所提取的视差向量和对应视差向量候选之间的差别。备选地，一致性误差可对应于当前块(540)的中心(530A)与由所提取的视差向量(520)指向的当前视图的对应位置(530B)之间的距离。选择具有最小一致性误差的所提取的视差向量作为所估计的视差向量。
在获取了虚拟深度信息后，虚拟深度信息可由各种编码工具或编码程序来使用。三维编码系统中虚拟深度信息的使用可以根据指示适应性地使能或禁能。例如，旗标可用于指示虚拟深度信息的使用是否使能，本文中的旗标可以统称为语法元素。纹理块或深度块可对应于图片区域、任意的形状或像素。一些虚拟深度的示范性使用显示于下文。
应用1-虚拟视图合成预测
在视图合成预测中，纹理和深度信息均要求用于视图合成预测。派生的虚拟深度可用作视图合成的深度信息。深度信息可以由前述派生方法来获取。反向映射视图合成根据获取的深度信息定位编码后的T0中的纹理信息。例如，在图6中，获取的深度信息(610)由当前纹理块620用作虚拟深度参考(610A)以定位纹理信息(如由在编码后的纹理T0中的阴影框显示的)。当前纹理块可以分区为多个子块。子块视差向量(显示为编码后的纹理T0的箭头)可以从对应虚拟深度子块(610A)派生。反向映射视图合成可以通过虚拟深度和指示的纹理信息来实施。合成后的块可用作预测的参考。定位后的纹理信息(如由在编码后的纹理T0中的阴影框显示的)对应于合成后的块。此外，虚拟深度可用于限制参考区域进行前向映射。前向和反向映射可以从虚拟深度受益。子块视差向量可以基于虚拟深度图中的并列子块的所有深度值或部分深度值的平均、最大、最小或中值来确定。
应用2-视图间运动向量预测
在现存的基于HEVC的3D视频编码中，运动预测将视差补偿处理为视图间运动补偿，视图间运动补偿将视图间参考图片放在参考列表中，并使用视差向量为运动向量。根据本发明的实施例基于虚拟深度数据派生视差向量为运动向量。图7图示使用虚拟深度以派生视差向量预测子用于视图间运动向量预测的示例。运动向量预测子还可通过使用从虚拟深度提取的视差向量来获取以参考编码后的视图中的运动向量。视差向量预测子(DVP)或所提取的视差向量可以是从虚拟深度转换的最大视差、平均视差或局部最大视差。在一些视频编码系统中，保持运动向量预测子候选列表，且最终运动向量预测子选自此列表。在此情况下，所提取的MVP或DVP可用作候选。例如，所获取的深度信息(710)由当前块(720)用作虚拟深度参考(710A)以定位DVP(730)。
应用3-分区继承
如图8所示，当前块的分区可参考虚拟深度，以确定是否需要进一步拆分。如果虚拟深度块可指示深度块需要分区，则进一步的拆分应用于当前纹理块。例如，如果图8中的虚拟深度块(810)指示需要对虚拟深度块进行分区，则当前纹理块(820)也进行分区。在另一情况中，如果已知虚拟深度的分区，当前块的分区可以从虚拟深度的分区继承。旗标可用于指示分区的继承是否使用。
应用4-深度编码预测
如图9所示，虚拟深度块(910)可以根据同等位置的纹理块(920)的视差向量来找到。虚拟深度块(910)然后可用作从属深度D1中的深度块(930)的时序图像间/视图间预测(Inter/inter-view prediction)。
应用5-深度内部预测
如图10所示，虚拟深度块(1010)可以根据并列纹理块(1020)的视差向量来找到。虚拟深度块(1010)然后可用作从属深度D1中的深度内部预测或深度块(1030)的深度块分区的预测子。
应用6-合并/跳过模式
虚拟深度的子集可用于派生视差向量以用于合并/跳过模式中的时间视图间运动向量合并候选。编码于合并/跳过模式的纹理或深度块可参考虚拟深度，以确定用于合并/跳过模式的视差向量预测子。
应用7-视图间残值预测
在3D-HEVC中，使用视图间残值预测，其中当前视图中的残余信息根据视图间视差向量使用编码后的视图中的参考数据视差向量来预测。视图间视差向量可从虚拟深度获取。视图间视差向量可以是虚拟深度的最大视差、平均视差或局部最大视差。在获取了视图间视差向量后，残余信息可以由编码后的视图中的参考数据根据派生后的视差向量来预测。
图11图示根据本发明的实施例的并入虚拟深度信息的使用的三维编码或解码的示范性流程图。如显示于步骤1110，系统接收与从属视图中的当前纹理块关联的输入数据。对于编码，与当前纹理或深度块关联的输入数据对应于即将编码的原始像素数据或深度数据。在视图间残值预测的情况下，与当前纹理块关联的输入数据可对应于即将进行视图间预测的残余像素数据或深度数据，或编码后的视图中的重建后的像素数据用于计算残值。对于解码，输入数据对应于与当前纹理或深度块关联的编码后的数据。输入数据可以从存储器，例如，计算机存储器、缓冲器(RAM或DRAM)或其它媒体来获取。输入数据还可从处理器，例如，控制器、中央处理单元、数字信号处理器或产生第一数据的电子电路来接收。如显示于步骤1120，派生估计的视差向量以定位编码后的视图中的对应纹理块。在步骤1130，识别与编码后的视图中的对应纹理块同等位置的编码后的视图中同等位置的深度块。如在步骤1140中显示的，与从属视图关联的虚拟深度信息是基于编码后的视图中的同等位置的深度块来派生的。如在步骤1150中显示的，将使用虚拟深度信息的编码方法然后应用到输入数据。
以上显示的流程图意在图示基于从关联的深度块派生的视差向量的视图间预测的示例。本领域的技术人员在不背离本发明的精神下，可修改每个步骤、重新设置步骤、拆分步骤或结合步骤，来实践本发明。
呈现以上描述以使本领域的普通技术人员能按特定应用和要求的上下文所提供的来实施本发明。对所描述实施例的各种修改将对本领域的技术人员来说是明显的，且本文定义的一般原理可以应用于其它实施例。因此，本发明不意于限制为所显示以及描述的特定实施例，而是要符合与本文所揭示的原理和新颖特征一致的最广的范围。在以上详细描述中，图示各种具体细节以便提供本发明的全面的理解。然而，本领域技术人员应理解本发明可以实施。
如上所述，本发明实施例可以以各种硬件、软件代码或两者组合来实施。例如，本发明的实施例可以是集成到视频压缩芯片的电路或集成到视频压缩软件的程序代码，以执行本文描述的处理。本发明的实施例还可是执行于数字信号处理器(DSP)上的程序代码，以执行本文描述的处理。本发明还可涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的多个功能。根据本发明，通过执行定义本发明实施的特定方法的机器可读软件代码或固件代码，这些处理器可用于执行特定任务。软件代码或固件代码可以用不同的编程语言以及不同的格式或风格来开发。软件代码还可编译用于不同的目标平台。然而，软件代码的不同的代码格式、风格和语言和配置代码以根据本发明执行任务的其它方式将不背离本发明的精神和范围。
本发明可以在不背离其精神或实质特性的情况下以其它具体形式来实施。所描述的示例在所有方面都认为是仅仅说明性的，而非限制。因此，本发明的范围，由所附的权利要求来指示，而不是由上文的描述来指示。在权利要求的意思和等同范围内的所有改变包含于其范围中。

Claims (23)

1.一种用于三维或多视图视频编码或解码从属视图中的纹理数据的方法，其特征在于，所述方法包含：
接收与所述从属视图中的当前纹理块关联的输入数据；
派生估计的视差向量以定位编码后的视图中的对应纹理块；
识别与所述编码后的视图中的对应纹理块同等位置的所述编码后的视图中同等位置的深度块；
基于所述编码后的视图中的所述同等位置的深度块，派生虚拟深度信息用于所述从属视图；以及
将使用所述虚拟深度信息的编码方法应用于所述输入数据。
2.如权利要求1所述的方法，其特征在于，所述派生估计的视差向量是基于所述从属视图中的所述当前纹理块的视差向量候选。
3.如权利要求2所述的方法，其特征在于，所述视差向量候选是从所述从属视图中的所述当前纹理块的一个或多个空间或时间相邻块，或对应于所述当前纹理块的时间同等位置的纹理块的一个或多个空间或时间相邻块来派生的，其中所述空间或时间相邻块是视差补偿预测块，或视差向量运动补偿预测块。
4.如权利要求3所述的方法，其特征在于，所述视差向量候选对应于所述一个或多个空间或时间相邻块中的所有视差向量或部分视差向量的平均、最大、最小或中值。
5.如权利要求2所述的方法，其特征在于，所述视差向量候选是从所述从属视图的编码后的全局几何形状模型派生的。
6.如权利要求2所述的方法，其特征在于，所述估计的视差向量是根据所述视差向量候选的优先级或相似性从所述视差向量候选确定的。
7.如权利要求2所述的方法，其特征在于，如果与左上相邻块关联的第一视差向量候选比与左相邻块关联的第三视差向量候选更类似于与上相邻块关联的第二视差向量候选，则选择所述第二视差向量候选作为所述估计的视差向量；否则，选择所述第三视差向量候选作为所述估计的视差向量。
8.如权利要求2所述的方法，其特征在于，所述估计的视差向量是根据搜寻顺序从所述视差向量候选确定。
9.如权利要求2所述的方法，其特征在于，所述估计的视差向量的派生步骤包含：
从所述视差向量候选选择初始视差向量，以获取所述编码后的视图中的深度参考块；
从所述深度参考块提取第二视差向量，其中所述第二视差向量从所述编码后的视图中的对应纹理块指向所述从属视图中的第一位置；
确定所述初始视差向量与所述第二视差向量之间的一致性误差；以及
从所述视差向量候选中选择导致最小一致性误差的一个视差向量候选作为所述估计的视差向量。
10.如权利要求9所述的方法，其特征在于，所述一致性误差对应于所述初始视差向量与所述第二视差向量之间的差值或所述第一位置与所述当前纹理块的中心位置之间的距离。
11.如权利要求2所述的方法，其特征在于，所述估计的视差向量的派生步骤包含：
获取对应于一个视差向量候选的所述编码后的视图中的深度参考块；
提取从所述深度参考块转换的视差向量；
确定所述转换后的视差向量与所述一个视差向量候选之间的一致性误差；以及
选择具有最小一致性误差的一个转换后的视差向量作为所述估计的视差向量。
12.如权利要求1所述的方法，其特征在于，提示了语法元素来表示所述从属视图中的所述纹理数据关联的虚拟深度信息是否使用。
13.如权利要求1所述的方法，其特征在于，还包含：
将当前块分区为多个子块；
从所述虚拟深度为每个子块派生子块视差向量；
根据所述子块视差向量为每个所述子块获得视图间参考子块；以及
使用对应视图间参考子块，将视图间预测编码应用到每个所述子块。
14.如权利要求13所述的方法，其特征在于，所述子块视差向量是从对应子块的虚拟深度值转换的。
15.如权利要求14所述的方法，其特征在于，所述子块视差向量对应于对应子块的所有或部分虚拟深度值的平均、最大、最小或中值。
16.如权利要求1所述的方法，其特征在于，从所述虚拟深度信息派生的运动向量预测子或视差向量预测子，用于编码或解码于合并模式或跳过模式的当前纹理块。
17.如权利要求1所述的方法，其特征在于，从所述虚拟深度信息派生的一个视差向量，用于生成时间视图间运动向量合并候选，以用于编码于合并模式或跳过模式的当前纹理块。
18.如权利要求1所述的方法，其特征在于，所述当前纹理块或当前深度块的第一分区是基于所述虚拟深度信息继承或派生。
19.如权利要求1所述的方法，其特征在于，所述虚拟深度信息用于派生参考块，用于使用视图间运动补偿编码所述当前纹理块或当前深度块。
20.如权利要求1所述的方法，其特征在于，所述虚拟深度信息用于派生一个视差向量用于所述当前纹理块或当前深度块的视图间运动预测。
21.如权利要求20所述的方法，其特征在于，运动向量预测子是使用从所述虚拟深度信息派生的视差向量来获取，以参考所述编码后的视图中的运动向量。
22.如权利要求1所述的方法，其特征在于，视图间视差向量是从所述虚拟深度信息获取以用于与所述当前纹理块或当前深度块关联的残余数据的视图间残值预测。
23.一种用于三维或多视图视频编码或从属视图中的纹理数据的解码的装置，所述装置包含：
一个或多个电子电路，其中所述一个或多个电子电路用于：
接收与所述从属视图中的当前纹理块关联的输入数据；
派生估计的视差向量以定位编码后的视图中的对应纹理块；
识别与所述编码后的视图中的所述对应纹理块同等位置的所述编码后的视图中的并列深度块；
基于所述编码后的视图中的所述同等位置的深度块，派生用于所述从属视图的虚拟深度信息；以及
将使用所述虚拟深度信息的编码方法应用于所述输入数据。
CN201380049206.7A 2012-09-21 2013-09-17 3d视频编码中的虚拟深度值的方法和装置 Active CN104662910B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261703901P 2012-09-21 2012-09-21
US61/703,901 2012-09-21
US201261711314P 2012-10-09 2012-10-09
US61/711,314 2012-10-09
PCT/CN2013/083659 WO2014044168A1 (en) 2012-09-21 2013-09-17 Method and apparatus of virtual depth values in 3d video coding

Publications (2)

Publication Number Publication Date
CN104662910A CN104662910A (zh) 2015-05-27
CN104662910B true CN104662910B (zh) 2018-04-10

Family

ID=50340582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380049206.7A Active CN104662910B (zh) 2012-09-21 2013-09-17 3d视频编码中的虚拟深度值的方法和装置

Country Status (5)

Country Link
US (1) US10085039B2 (zh)
EP (1) EP2898688B1 (zh)
JP (1) JP6000463B2 (zh)
CN (1) CN104662910B (zh)
WO (1) WO2014044168A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253486B2 (en) * 2012-09-28 2016-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion field backward warping using neighboring blocks in videos
KR20150106413A (ko) 2013-01-08 2015-09-21 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
FR3002716A1 (fr) 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
US9521425B2 (en) * 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
EP2986002B1 (en) * 2013-04-11 2021-06-09 LG Electronics Inc. Video signal processing method and device
US10009621B2 (en) * 2013-05-31 2018-06-26 Qualcomm Incorporated Advanced depth inter coding based on disparity of depth blocks
US10045014B2 (en) * 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
KR102378087B1 (ko) * 2014-04-02 2022-03-24 한국전자통신연구원 변이 벡터를 사용한 병합 움직임 후보 유도 장치 및 방법
JP6310340B2 (ja) * 2014-06-25 2018-04-11 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
CN109417635B (zh) 2016-06-17 2021-03-30 华为技术有限公司 3d视频编码设备和方法
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
US11272207B2 (en) 2017-06-12 2022-03-08 Futurewei Technologies, Inc. Selection and signaling of motion vector (MV) precisions
CN118632013A (zh) * 2017-09-19 2024-09-10 三星电子株式会社 对运动信息进行编码和解码的方法以及设备
US20200014931A1 (en) * 2018-07-06 2020-01-09 Mediatek Inc. Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
WO2020056095A1 (en) * 2018-09-13 2020-03-19 Interdigital Vc Holdings, Inc. Improved virtual temporal affine candidates

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124742A (zh) * 2008-08-20 2011-07-13 汤姆逊许可公司 精制深度图

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
US6691275B1 (en) * 2000-12-14 2004-02-10 Lsi Logic Corporation Encoder with vector-calculated disparity logic
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
EP2269378A2 (en) 2008-04-25 2011-01-05 Thomson Licensing Multi-view video coding with disparity estimation based on depth information
US9973739B2 (en) 2008-10-17 2018-05-15 Nokia Technologies Oy Sharing of motion vector in 3D video coding
EP2348732A4 (en) 2008-11-10 2012-05-09 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BY INTER-VIEW PREDICTION
KR101660312B1 (ko) 2009-09-22 2016-09-27 삼성전자주식회사 3차원 비디오의 움직임 탐색 장치 및 방법
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
JP4938884B2 (ja) 2010-09-30 2012-05-23 シャープ株式会社 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム
CN102510500B (zh) 2011-10-14 2013-12-18 北京航空航天大学 一种基于深度信息的多视点立体视频错误隐藏方法
KR102492490B1 (ko) * 2011-11-11 2023-01-30 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US20130329007A1 (en) 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US9961369B2 (en) 2012-06-28 2018-05-01 Hfi Innovation Inc. Method and apparatus of disparity vector derivation in 3D video coding
US20140071235A1 (en) 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
US9319657B2 (en) * 2012-09-19 2016-04-19 Qualcomm Incorporated Selection of pictures for disparity vector derivation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124742A (zh) * 2008-08-20 2011-07-13 汤姆逊许可公司 精制深度图

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3D-HEVC Test Model 1;Gerhard Tech, Krzysztof Wegner, Ying Chen, Sehoon Yea;《Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20120920;附图3、10，第2.2.3.1节 *

Also Published As

Publication number Publication date
CN104662910A (zh) 2015-05-27
EP2898688A1 (en) 2015-07-29
US10085039B2 (en) 2018-09-25
US20150249838A1 (en) 2015-09-03
JP6000463B2 (ja) 2016-09-28
EP2898688A4 (en) 2016-04-27
EP2898688B1 (en) 2018-05-30
JP2015533038A (ja) 2015-11-16
WO2014044168A1 (en) 2014-03-27

Similar Documents

Publication Publication Date Title
CN104662910B (zh) 3d视频编码中的虚拟深度值的方法和装置
CN104412597B (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN104718760B (zh) 用于三维和多视图视频编码的方法和装置
CA2909550C (en) Method of disparity derived depth coding in 3d video coding
US20150382011A1 (en) Motion vector list constructing method and system for video coding
CN104704819B (zh) 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置
CN105474640B (zh) 三维视频编码的摄像机参数发信的方法和装置
Stefanoski et al. Automatic view synthesis by image-domain-warping
CN104798375B (zh) 用于多视点视频编码或解码的方法及装置
EP2944087A1 (en) Method and apparatus of disparity vector derivation in three-dimensional video coding
CN105453561A (zh) 三维以及多视图视频编码中导出默认视差向量的方法
WO2015007238A1 (en) Method of simplified view synthesis prediction in 3d video coding
JP2015533038A5 (zh)
CN106210740A (zh) 使用视图间运动预测编码深度数据的方法及其装置
CN104768015B (zh) 视频编码方法及装置
Jin et al. Pixel-level view synthesis distortion estimation for 3D video coding
US20130287289A1 (en) Synthetic Reference Picture Generation
US20140184739A1 (en) Foreground extraction method for stereo video
Iyer et al. Multiview video coding using depth based 3D warping
EP4262210A1 (en) Decoding method, inter-view prediction method, decoder, and encoder
CN107135393A (zh) 一种光场图像的压缩方法
CN103533361B (zh) 多视点视差矢量的确定方法、编码设备及解码设备
EP2966867A1 (en) Methods and devices for encoding and decoding a sequence of frames representing a 3D scene, and corresponding computer program products and computer-readable medium
CN106803963B (zh) 一种局部视差矢量的导出方法
EP2786344B1 (en) Hybrid recursive analysis of spatio-temporal objects

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160829

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: Hsinchu Science Park, Taiwan, China

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant