CN103621093A - 在三维视频编码系统中的纹理图像压缩方法及装置 - Google Patents

在三维视频编码系统中的纹理图像压缩方法及装置 Download PDF

Info

Publication number
CN103621093A
CN103621093A CN201280028942.XA CN201280028942A CN103621093A CN 103621093 A CN103621093 A CN 103621093A CN 201280028942 A CN201280028942 A CN 201280028942A CN 103621093 A CN103621093 A CN 103621093A
Authority
CN
China
Prior art keywords
texture image
texture
depth
video encoding
encoding system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280028942.XA
Other languages
English (en)
Other versions
CN103621093B (zh
Inventor
张毓麟
向时达
吴其玲
傅智铭
陈嘉平
蔡玉宝
黄毓文
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN103621093A publication Critical patent/CN103621093A/zh
Application granted granted Critical
Publication of CN103621093B publication Critical patent/CN103621093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Abstract

本发明提供一种在三维视频编码系统中的纹理图像压缩方法。该在三维视频编码系统中的纹理图像压缩方法包括，取得关于深度图的深度信息，其中深度图与纹理图像有关；以及然后基于取得的深度信息处理纹理图像。本发明可以应用于编码器和解码器。用于深度图和纹理图像的编码和解码顺序是基于块式交织或图片式交织的。本发明的一方面与基于深度图的深度信息分割纹理图像有关。本发明的另一方面与基于深度信息的运动向量或运动向量预测值处理有关。

Description

在三维视频编码系统中的纹理图像压缩方法及装置
交叉引用
本申请享有2011年6月15日提出的申请号为61/497,441、标题为“Methodof compressing texture images using depth maps in3D video coding”的美国临时申请的优先权。上述申请的全文作为本申请的引用基础。
技术领域
本发明有关于视频编码，特别有关于在三维视频编码系统中纹理图像的压缩。
背景技术
三维(3D)电视以带给观看者绝妙的观看体验为目的，并于近年来成为技术发展的趋势。目前已开发各种技术以使观看3D电视成为可能。在这些技术中，多视点视频与的其他应用一样是三维电视应用的关键技术。传统的视频是仅提供单一视点的场景的二维(2D)媒体，其中场景的单一视点来自摄影机的透镜。然而，多视点视频能够提供任意视点（viewpoint）的动态场景并提供观看者真实的感受。
通常通过同时使用多个摄影机捕获场景来产生多视点视频，其中适当放置多个摄影机以使得每一个摄影机从一个视点来捕获场景。相应地，多个摄影机可以捕获对应于多个视点的多个视频片段（video sequence）。为了提供更多视点，可以使用更多摄影机以产生具有与视点有关的很多视频片段的多视点视频。相应地，多视点视频将要求用于存储的大的存储空间及/或用于传送的高带宽。因此，已经在应用领域中开发多视点视频编码技术来降低需要的存储空间或传送的带宽。一个简单的途径是仅仅独立地应用传统的视频编码技术至每一个单一的视点视频片段并忽视不同视点之间的任何相关性。为了改善多视点视频编码效率，典型的多视点视频编码通常利用视点间（inter-view）冗余（redundancy）。
在视点间的关联用于在3D视频编码中改善纹理图像(texture image)的编码效率时，在纹理图像和深度图(depth map)之间的关联也很重要。利用纹理图像和深度图之间的关联有益于进一步改善纹理图像压缩的编码效率。此外，在现有的高效效率编码标准（例如，H.264/AVC）或新兴的（emerging）高效率视频编码(High Efficiency Video Coding,HEVC)系统的基础上，需要开发改善编码效率的纹理图像压缩方案。
发明内容
本发明提出一种在三维视频编码系统中的纹理图像压缩方法及装置。根据本发明的实施方式，首先取得关于深度图的深度信息，其中深度图与纹理图像相对应；以及然后基于取得的深度信息处理纹理图像。本发明可以应用于编码器和解码器。深度信息可以包括深度数据和分割信息。可以自包括当前的视点的第一压缩深度图的第一比特流解码而取得深度图；或自包括其他视点的第二压缩深度图的第二比特流解码而取得深度图；或自解码的纹理图像取得深度图。深度图和纹理图像的编码顺序或解码顺序是基于块式交织或图片式交织的。根据在比特流中与纹理图像有关的标志选择块式交织或图片式交织。进一步地，标志包含于片段级、图片级、切片级、或块级中。
本发明的一方面与基于深度图的深度信息分割纹理图像有关。其中纹理图像被分割为多个纹理块，以及其中基于深度图的深度信息分割纹理图像的当前的纹理块。纹理块为任意形状或长方形。基于深度图的对应的块的深度信息确定是否分割纹理图像的当前的纹理块为多个子块。基于深度图的对应的块的深度信息确定多个子块的形状。使用标志指示深度图的对应的块的深度信息是否用于分割纹理图像的当前的纹理块为子块。基于深度图的深度信息确定是否将纹理图像的当前的纹理块与纹理图像的另一个纹理块合并。
依据本发明另一实施方式，纹理图像被分割为多个纹理块，以及纹理图像的纹理块的运动信息自另一个视点中的对应的纹理块的运动信息而取得。基于在当前的视点中的深度图取得对应的纹理块的位置。运动信息包括运动向量、参考图片索引、区域分割、预测方向、和预测模式。依据本发明另一实施方式，基于深度信息分类纹理图像有关的多个运动向量，以确定纹理图像的预测模式。对于通过深度信息指示的在纹理图像中对应于近处的物体的区域更适合选择空间运动向量预测值，以及通过深度信息指示的在纹理图像中对应于远处的物体的区域更适合选择时间或视点间预测的运动向量预测值。
本发明的另一方面与运动向量或运动向量预测值处理有关。依据本发明一实施方式，基于深度信息分类冗余去除纹理图像的多个运动向量预测值。从运动向量预测值候选清单中移除一个或多个多余的候选运动向量预测值；以及在运动向量预测值候选清单中，移除由深度信息指示的、与纹理图像中对应于远处的物体的区域对应的具有大的运动的候选运动向量预测值；或在运动向量预测值候选清单中，将由深度信息指示的，与纹理图像中对应于远处的物体的区域对应的具有大的运动的候选运动向量预测值指定较低的优先权。确定运动模型以取得纹理图像的运动向量，其中运动模型是依据深度图来确定。在纹理图像中对应于远处的物体的区域根据平移模型取得运动向量，以及在纹理图像中对应于近处的物体的区域根据透视模型取得运动向量。依据本发明另一实施方式，基于另一个视点中的对应的纹理图像的对应的区域的模式确定纹理图像的当前的区域的模式。对应的区域的位置是自当前的区域的位置、以及与纹理图像相关的深度图与在另一视点中与对应的纹理图像相关的深度图之间的位置对应关系而取得。模式包括分割、帧间预测/帧内预测模式、以及跳跃模式。
附图说明
图1为根据本发明实施方式的利用深度信息压缩纹理图像的示意图。
图2为将纹理图像和深度图分割为块的示意图，其中处理顺序为图片式或块式。
图3为取得深度信息以用于纹理图像压缩的方法的示意图。
图4为根据深度图的区域分割取得对应纹理图像的区域分割的示意图。
图5为利用两个深度图之间的对应关系来对纹理图像编码的运动向量预测过程的示意图。
具体实施方式
本发明的实施方式提供一种在3D视频编码系统（3D video coding system）中编码和解码纹理图像的方法和装置。根据本发明的实施方式，编码和解码纹理图像利用对应的深度图的信息。使用纹理图像和深度图之间的相关性来改善纹理图像压缩的编码效率。
根据本发明的一个实施方式，在处理各自的纹理图像之前编码深度图。因此，纹理图像压缩可以利用与深度图有关的深度信息(depth information)。深度信息可以包括深度数据(depth data)和分割信息(partition information)。由于典型的编码系统常将深度图分割为多个块(block)或多个区域(region)并以块或区域为基础应用编码进程（encoding process），因此，分割信息通常产生于深度图的编码进程中。深度图和纹理的编码顺序可以为图片式（picture-wise）或块式（block-wise）。图1为利用深度图的深度信息压缩纹理图像的示意图。在纹理图像110中的当前块112的压缩可以利用来自对应的深度图120的信息。在深度图120中对应于当前块112的块122可以被识别。由于在处理纹理图像110中的当前块112之前可获得（available）对应的块122的信息，对应的块122的深度信息可以用于当前块112的压缩以改善编码效率。虽然图1的实施方式说明深度图中一个对应的块用于当前块112的压缩，但是只要在处理当前块之前已知深度图中对应的多个块的深度信息，则深度图中该对应的多个块也可以用于纹理图像的当前块的压缩。此外，若在处理当前块之前已知多个深度图中多个块的深度信息的话，本发明也可以利用该多个深度图的多个块来实现。
为了使用深度图的深度信息来压缩纹理图像中的块，在压缩当前块之前，用于压缩纹理图像中的块的来自深度图的必要信息需要处于可用状态(available)。如图2所示，在典型的视频压缩或处理系统中，通常逐块处理纹理图像和深度图，其中纹理图像被分割为纹理块T1，纹理块T2，纹理块T3，...，和纹理块Tn，以及深度图被分割为深度块D1，深度块D2，深度块D3，...，和深度块Dn，其中n为纹理图像或深度图中的块数目。纹理图像和深度图的处理顺序可以为图片式（picture-wise），即在处理纹理图像之前处理整个深度图。进一步，也可以在处理纹理图像之前处理多个深度图以使得纹理块的压缩可以利用来自多个深度图的信息。处理顺序也可以为块式（block-wise），即纹理块和深度块以交织方式（interleaved manner）处理。举例来说，处理顺序可以为深度块D1，纹理块T1，深度块D2，纹理块T2，深度块D3，纹理块T3，...，深度块Dn和纹理块Tn。进一步，可以交织多个块，其中该交织方式是以每N个块为基础的。举例来说，若N为4，块式（block-wise）交织处理顺序可以为深度块D1，深度块D2，深度块D3，深度块D4，纹理块T1，纹理块T2，纹理块T3，纹理块T4，深度块D5，深度块D6，深度块D7，深度块D8，纹理块T5，纹理块T6，纹理块T7，纹理块T8，等等。其他块式（block-wise）交织方式也可以被使用。此外，与对应的深度块有关的纹理块的处理可以被延迟。举例来说，当前的纹理块的处理可以利用与当前的纹理块位置相同（co-located）的深度块周围的深度块有关的深度信息。如果这样的话，必须等到需要的深度块变成可用状态时才可处理当前的纹理块。图2所示的块仅作为范例而使用以说明将纹理图像210或深度图220分割为多个块。块可以为不同的尺寸。举例来说，块可以为正方形（例如4x4，8x8，16x16，32x32或64x64像素的块）、长方形、或延图片的宽的方向延伸的条形（stripe）。块也可以为任意形状。
如前所述，本发明的实施方式利用可获得的深度信息以用于压缩纹理块。如图3所示，有各种方式取得深度块及相关信息。根据本发明的实施方式，可以自与当前视点有关的深度比特流(depth bitstream)取得深度块及相关信息。深度比特流可以与纹理图像比特流（texture-image bitstream）分离。深度比特流也可以与纹理图像比特流组合形成单一的比特流。如块310所示，可以使用深度解码器解码深度比特流以恢复深度块和相关信息。此外，可以自其他视点的深度图取得深度块和相关信息。如果这样的话，如块320所示，可以使用深度解码器解码比特流以恢复与其他视点的深度块有关的深度信息。即可以自其他视点的深度图取得对应于当前视点的深度图。根据本发明的其他实施方式，可以使用如块330所示的深度图产生（depth map generation）器而自已解码的纹理图像取得深度块及相关信息。如果这样的话，可以自与当前视点或其他视点有关的已解码的纹理图像取得对应于当前的视点的深度图。取得的深度图可以存储于深度图参考缓冲器340；以及与深度图相关的信息被使用以用于如块350所示的当前视点的纹理图像的编码或解码。根据图3所示的实施方式的取得的深度图可以分别地或共同地用于当前的视点的纹理图像的解码或编码。
根据本发明的一个实施方式，纹理图像的区域分割可以自深度图的区域分割而取得或推断。图4为根据深度图的区域分割取得对应纹理图像的区域分割的示意图。根据深度图的区域分割，纹理图像的块可以划分为具有任意形状或长方形的子块。举例来说，当前的纹理块410的划分可以由对应的深度块410a决定。根据深度块410a是否与它邻近的块420a，块430a和块440a中的一个合并，当前的纹理块410确定是否与它邻近的块420，块430和块440中的一个合并。可以使用一个标志(flag)来指示纹理图像的区域分割是否自深度图取得。此外，若子块和它邻近的已编码的块具有相似的深度数据，可以合并子块和它邻近的已编码的块，以使得邻近的块的运动信息可以被当前块共享。用于与选择的空间上或时间（temporal）上的邻近的块的合并共享运动信息的方法与高效视频编码测试模型版本3.0(High Efficiency Video Coding Test Model Version3.0,HM3.0)中的合并模式相似。可以使用另一个标志指示上述合并是否使能。
当前视点的运动信息可以在如图5所示的运动向量预测过程中从另一个视点来预测，其中纹理图像510为当前的纹理图像，深度图520为当前视点的深度图，纹理图像510a为在另一个视点中对应的纹理图像，以及深度图520a为另一个视点对应的深度图。若可以确定当前视点中深度图520的深度块522和另一个视点中深度图520a的对应的深度块522a之间相对应（correspondence），则可以取得在另一个视点中的、与当前的纹理图像510的当前块512对应的纹理块512a，则对应的块512a的运动信息（例如运动向量）可以被应用于当前视点中的当前块512。运动信息包括参考（reference）图片索引（index），区域分割，预测方向，和预测模式。相似地，对应的块512a的运动向量(motion vector,MV)可以作为当前块512的运动向量预测值(motion vector predictor,MVP)而使用。
深度图也可以用于自适应运动处理。可以利用在纹理图像中近处的物体运动较快的假设而根据深度图将运动向量分类。由于运动视差，近处的物体通常的运动较大，而远处的物体通常运动较小。在包括较大运动的区域中，由于各种原因，空间预测比时间或视点间预测表现（perform）更好。因此，若真实的深度小，即暗示由于物体在近处，运动可能大，并且空间相关性可能较高此时空间运动向量预测值具有较高的优先权。另一方面，若真实的深度大，即暗示由于物体在远处，运动可能小，并且时间或视点间预测（temporal or inter-viewprediction）相关性可能较高，此时时间或视点间预测的运动向量预测值具有较高的优先权。因此，深度图被用于空间和时间/视点间预测的运动向量预测值的自适应选择可作为深度图的深度信息作用于运动过程的一个举例。
基于深度信息的运动向量分类可以应用于运动向量预测值冗余去除（pruning）过程。对于包括远处的物体的纹理块来说，在候选清单中小的运动向量候选具有较高优先权。换句话说，在包括远处的物体的区域中，大的运动向量候选具有较低优先权，或从清单中移除大的运动向量候选。如前所述，由于运动视差，和近处的物体具有相同位移的远处的物体导致较小的运动向量。因此，在包括远处的物体的区域中，不太可能具有较大的运动向量。对于近的物体，小的运动向量(包括0值运动向量)和大的运动向量均可能出现。这些大的运动向量或小的运动向量，可以反映近的物体的真实位移。因此，包括近的物体的区域不优先处理（prioritize）自适应运动分类的候选运动向量预测值。
根据本发明的另一实施方式，在运动向量预测过程中运动模型可以依据深度图。近的物体的纹理图像适合于透视模型（perspective models）。另一方面，远的物体的纹理图像适合于平移模型（translational models）。如前所述，由于运动视差，和近处的物体具有相同位移的远处的物体导致较小的运动向量。通常，对于较小运动，简单的平移运动模型工作得更好；对于较大运动，可以使用相对复杂的透视模型。
根据本发明的另一实施方式，当前视点的预测模式可以自另一个视点或其他多个视点的模式来取得。在另一个视点中对应的纹理块可以通过使用深度信息来获得。然后，对应的纹理块的模式（例如，预测类型、块尺寸、参考图片索引、预测方向、和分割）可以应用于当前的纹理块。预测类型可以包括帧间预测/帧内预测（Inter/Intra），跳跃（Skip），合并和直接模式。
由于依据特定应用及其要求的内容，以上描述的内容可以使得本领域技术人员实现本发明。本领域技术人员能够明白描述的上述实施方式的各种修饰，以及本发明的基本原理可以应用于其他实施方式。因此，本发明并不限于上述描述的特定实施方式，而应与上述描述的基本原理和新的特征相一致的最大范围对应。为深入理解本发明，在上述实施方式中，说明了各种具体细节。因而，本领域技术人员可以理解本发明如何实现。
依据以上描述的本发明的内容，在3D视频编码系统中利用深度图编码和解码纹理图像的实施方式可以实现于各种硬件、软件及其组合中。举例来说，本发明的实施方式可以是在视频压缩芯片中的集成电路或在视频压缩软件中执行上述功能的程序代码。本发明的实施方式也可以是在数字信号处理器中执行上述功能的程序代码。本发明也可以包括由计算机处理器、数字信号处理器、微处理器、或现场可编程门阵列执行的一些功能。依据本发明的实施方式，通过执行定义的本发明体现的特定方法的机器可读软件代码或固件代码，这些处理器可以依据本发明被配置为执行特定工作。这些软件代码或固件代码可以采用不同的编程语言和不同格式或样式。这些软件代码也可以被编译以用于不同的目标平台。然而，依据本发明实施方式执行工作的软件代码的不同的代码格式、样式、和语言以及配置编码的其他方式不会脱离本发明的精神和范围。
本发明可以在不脱离其精神和本质特征的情况下以其他特殊形式来实现。以上描述的实施方式仅用于解释本发明，而并非限制本发明。本发明的保护范围应以权利要求界定的范围为准，而不以上述描述的实施方式为限。在与权利要求相等的含义和范围内的所有变化均包括于本发明的保护范围。

Claims (36)

1.一种在三维视频编码系统中的纹理图像压缩方法，其特征在于，包括：
取得关于深度图的深度信息的步骤，其中该深度图与纹理图像相对应；以及
基于取得的该深度信息编码或解码该纹理图像的步骤。
2.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该深度信息包括深度数据和分割信息。
3.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，对于解码器这边，
自包括当前的视点的第一压缩深度图的第一比特流解码而取得该深度图的步骤；或
自包括其他视点的第二压缩深度图的第二比特流解码而取得该深度图的步骤；或
自解码的纹理图像取得该深度图的步骤。
4.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，
该深度图和该纹理图像的编码顺序或解码顺序是基于块式交织或图片式交织的。
5.根据权利要求4所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，根据在比特流中与该纹理图像有关的标志选择该块式交织或该图片式交织。
6.根据权利要求5所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该标志包含于片段级、图片级、切片级、或块级中。
7.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该纹理图像被分割为多个纹理块，其中基于该深度图的该深度信息分割该纹理图像的当前纹理块。
8.根据权利要求7所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该多个纹理块为任意形状或长方形。
9.根据权利要求7所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，
基于该深度图的对应的当前块的该深度信息确定是否分割该纹理图像的该当前的纹理块为多个子块。
10.根据权利要求9所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，
基于该深度图的对应的当前块的该深度信息确定该多个子块的形状。
11.根据权利要求9所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，
使用标志指示该深度图的对应的当前块的该深度信息是否用于分割该纹理图像的该当前的纹理块为该多个子块。
12.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，
该纹理图像被分割为多个纹理块，以及
基于该深度图的该深度信息确定是否将该纹理图像的当前的纹理块与该纹理图像的另一个纹理块合并。
13.根据权利要求12所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，使用标志来指示是否使能合并模式。
14.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，
该纹理图像被分割为多个纹理块，以及
该纹理图像的纹理块的运动信息自另一个视点中的对应的纹理块的运动信息而取得，或自该深度图的对应的深度块的运动信息而取得。
15.根据权利要求14所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，基于在当前的视点中的该深度图取得该对应的纹理块的位置。
16.根据权利要求14所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该运动信息包括运动向量、参考图片索引、区域分割、预测方向、和预测模式。
17.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该编码或解码该纹理图像的步骤包括：
基于该深度信息分类该纹理图像有关的多个运动向量，以确定该纹理图像的预测模式。
18.根据权利要求17所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，
对于通过该深度信息指示的在该纹理图像中对应于近处的物体的第一区域更适合选择空间运动向量预测值，以及
对于通过该深度信息指示的在该纹理图像中对应于远处的物体的第二区域更适合选择时间或视点间预测的运动向量预测值。
19.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该编码或解码该纹理图像的步骤包括：
基于该深度信息分类冗余去除该纹理图像的多个运动向量预测值。
20.根据权利要求19所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，
从运动向量预测值候选清单中移除一个或多个多余的候选运动向量预测值；
以及
在该运动向量预测值候选清单中，移除由该深度信息指示的、与该纹理图像中对应于远处的物体的区域对应的具有大的运动的候选运动向量预测值；或在该运动向量预测值候选清单中，将由该深度信息指示的、与该纹理图像中对应于远处的物体的区域对应的该具有大的运动的候选运动向量预测值指定较低的优先权。
21.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该编码或解码该纹理图像的步骤包括：
确定运动模型以取得该纹理图像的运动向量，其中该运动模型是依据该深度图来确定。
22.根据权利要求21所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，
在该纹理图像中对应于远处的物体的第一区域根据平移模型取得该运动向量，以及
在该纹理图像中对应于近处的物体的第二区域根据透视模型取得该运动向量。
23.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该编码或解码该纹理图像的步骤包括：
基于另一个视点中的对应的纹理图像的对应的区域的模式确定该纹理图像的当前的区域的模式的步骤。
24.根据权利要求23所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，
对应的纹理块的位置是依据当前视点的该深度图来产生，对应的纹理图像的对应的区域的位置是自该当前区域的位置、以及与该纹理图像相关的该深度图与在该另一视点中与该对应的纹理图像相关的深度图之间的位置对应关系而取得。
25.根据权利要求23所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，
该模式包括预测类型、块尺寸、参考图片索引、预测方向、和分割。
26.一种在三维视频编码系统中的纹理图像压缩装置，其特征在于，包括：
取得关于深度图的深度信息的装置，其中该深度图与纹理图像相对应；以及
基于取得的该深度信息编码或解码该纹理图像的装置。
27.根据权利要求26所述的在三维视频编码系统中的纹理图像压缩装置，其特征在于，该深度信息包括深度数据和分割信息。
28.根据权利要求26所述的在三维视频编码系统中的纹理图像压缩装置，其特征在于，对于解码器这边，
自包括当前的视点的第一压缩深度图的第一比特流解码而取得该深度图的装置；或
自包括其他视点的第二压缩深度图的第二比特流解码而取得该深度图的装置；或
自解码的纹理图像取得该深度图的装置。
29.根据权利要求26所述的在三维视频编码系统中的纹理图像压缩装置，其特征在于，
该深度图和该纹理图像的编码顺序或解码顺序是基于块式交织或图片式交织的。
30.根据权利要求26所述的在三维视频编码系统中的纹理图像压缩装置，其特征在于，
该纹理图像被分割为多个纹理块，其中基于该深度图的该深度信息分割该纹理图像的当前纹理块。
31.根据权利要求26所述的在三维视频编码系统中的纹理图像压缩装置，其特征在于，
该纹理图像被分割为多个纹理块，以及
基于该深度图的该深度信息确定是否将该纹理图像的当前的纹理块与该纹理图像的另一个纹理块合并。
32.根据权利要求26所述的在三维视频编码系统中的纹理图像压缩装置，其特征在于，
该纹理图像被分割为纹理块，以及
该纹理图像的纹理块的运动信息自另一个视点中的对应的纹理块的运动信息而取得。
33.根据权利要求26所述的在三维视频编码系统中的纹理图像压缩装置，其特征在于，该编码或解码该纹理图像的装置包括：
基于该深度信息分类该纹理图像有关的多个运动向量，以确定该纹理图像的预测模式。
34.根据权利要求26所述的在三维视频编码系统中的纹理图像压缩装置，其特征在于，该编码或解码该纹理图像的装置：
基于该深度信息分类冗余去除该纹理图像的多个运动向量预测值。
35.根据权利要求26所述的在三维视频编码系统中的纹理图像压缩装置，其特征在于，该编码或解码该纹理图像的装置包括：
确定运动模型以取得该纹理图像的运动向量，其中该运动模型是依据该深度图来确定。
36.根据权利要求26所述的在三维视频编码系统中的纹理图像压缩装置，其特征在于，该编码或解码该纹理图像的装置包括：
基于另一个视点中的对应的纹理图像的对应的区域的模式确定该纹理图像的当前的区域的模式的装置。
CN201280028942.XA 2011-06-15 2012-06-15 在三维视频编码系统中的纹理图像处理方法及装置 Active CN103621093B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161497441P 2011-06-15 2011-06-15
US61/497,441 2011-06-15
PCT/CN2012/076975 WO2012171477A1 (en) 2011-06-15 2012-06-15 Method and apparatus of texture image compression in 3d video coding

Publications (2)

Publication Number Publication Date
CN103621093A true CN103621093A (zh) 2014-03-05
CN103621093B CN103621093B (zh) 2018-07-03

Family

ID=47356549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280028942.XA Active CN103621093B (zh) 2011-06-15 2012-06-15 在三维视频编码系统中的纹理图像处理方法及装置

Country Status (7)

Country Link
US (1) US9918068B2 (zh)
EP (1) EP2721823B1 (zh)
JP (1) JP5872676B2 (zh)
KR (2) KR20140004209A (zh)
CN (1) CN103621093B (zh)
CA (1) CA2833032C (zh)
WO (1) WO2012171477A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284195A (zh) * 2014-10-11 2015-01-14 华为技术有限公司 三维视频中的深度图预测方法、装置、编码器和解码器
WO2015135137A1 (en) * 2014-03-11 2015-09-17 Mediatek Singapore Pte. Ltd. A method of motion information sharing in multi-view and 3d video coding
WO2015192371A1 (en) * 2014-06-20 2015-12-23 Mediatek Singapore Pte. Ltd. Texture based depth coding method
WO2015196424A1 (en) * 2014-06-26 2015-12-30 Mediatek Inc. Methods for the transmission of flags related to dbbp
CN106134198A (zh) * 2014-03-28 2016-11-16 庆熙大学校产学协力团 利用深度信息的视频编码装置及其方法
CN106464906A (zh) * 2014-03-18 2017-02-22 寰发股份有限公司 基于高效率视频编码标准的3d视频编码中深度查找表发讯方法
CN107431827A (zh) * 2015-03-18 2017-12-01 寰发股份有限公司 视频和图像压缩中的索引图编码的方法和装置
CN108632629A (zh) * 2014-03-19 2018-10-09 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109714601A (zh) * 2014-03-28 2019-05-03 庆熙大学校产学协力团 利用深度信息的视频编码装置及其方法
CN111615715A (zh) * 2017-11-23 2020-09-01 交互数字Vc控股公司 编码/解码体积视频的方法、装置和流
CN111971969A (zh) * 2018-04-11 2020-11-20 交互数字Vc控股公司 用于对点云的几何形状进行编码的方法和装置
CN113014930A (zh) * 2016-01-13 2021-06-22 索尼公司 信息处理设备、信息处理方法和计算机可读记录介质
CN113014930B (zh) * 2016-01-13 2024-04-26 索尼公司 信息处理设备、信息处理方法和计算机可读记录介质

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2717572B1 (en) * 2011-06-24 2018-08-08 LG Electronics Inc. Encoding/decoding method and apparatus using a skip mode
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
US11496760B2 (en) * 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US20130336405A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding
JP2015523030A (ja) * 2012-07-13 2015-08-06 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． ３次元ビデオを表すビットストリームを符号化する装置
EP2932472B1 (en) * 2012-12-14 2018-07-18 Qualcomm Incorporated Inside view motion prediction among texture and depth view components with asymmetric spatial resolution
AU2014205860B2 (en) * 2013-01-08 2016-06-16 Lg Electronics Inc. Method and apparatus for processing video signal
US20140267616A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Variable resolution depth representation
US9521425B2 (en) * 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
CN105103543B (zh) * 2013-04-12 2017-10-27 寰发股份有限公司 兼容的深度依赖编码方法
CN105230014B (zh) * 2013-07-01 2018-02-02 寰发股份有限公司 用于三维视频编码系统的深度图编码的方法及其装置
WO2015000108A1 (en) * 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
WO2015006924A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. An additional texture merging candidate
EP3022908B1 (en) * 2013-07-19 2017-11-01 Huawei Technologies Co., Ltd. Method and apparatus for encoding and decoding a texture block using depth based block partitioning
KR20150012206A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 3차원 콘텐츠의 부호화 방법 및 장치
WO2015062002A1 (en) 2013-10-31 2015-05-07 Mediatek Singapore Pte. Ltd. Methods for sub-pu level prediction
US9432685B2 (en) 2013-12-06 2016-08-30 Qualcomm Incorporated Scalable implementation for parallel motion estimation regions
KR20160138129A (ko) * 2014-03-14 2016-12-02 삼성전자주식회사 뎁스 블록을 이용한 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법.
US10187657B2 (en) 2014-03-14 2019-01-22 Samsung Electronics Co., Ltd. Method and device for configuring merge candidate list for decoding and encoding of interlayer video
US9769481B2 (en) * 2014-03-28 2017-09-19 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
US9955187B2 (en) 2014-03-28 2018-04-24 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
WO2015192314A1 (en) * 2014-06-17 2015-12-23 Mediatek Singapore Pte. Ltd. A simplified method for depth based block partitioning
KR20170019361A (ko) * 2014-06-18 2017-02-21 삼성전자주식회사 깊이 블록을 이용하는 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법
WO2016006913A1 (ko) * 2014-07-08 2016-01-14 엘지전자 주식회사 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
EP3349182A1 (en) * 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
US20200288098A1 (en) 2019-03-07 2020-09-10 Alibaba Group Holding Limited Method, apparatus, medium, terminal, and device for multi-angle free-perspective interaction
RU2753591C1 (ru) * 2020-10-23 2021-08-18 Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий» Способ сжатия и хранения трехмерных данных (варианты)
WO2023118254A1 (en) * 2021-12-21 2023-06-29 Idac Holdings, Inc. Delineation map signaling

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
CN101911700A (zh) * 2008-01-11 2010-12-08 汤姆逊许可证公司 视频和深度编码
CN101978697A (zh) * 2008-01-25 2011-02-16 惠普开发有限公司 针对基于块的编码的编码模式选择
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI355205B (en) * 2007-01-24 2011-12-21 Lg Electronics Inc A method and an apparatus for processing a video s
US20100278232A1 (en) * 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
KR101452859B1 (ko) * 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
EP2499829B1 (en) 2009-10-14 2019-04-17 Dolby International AB Methods and devices for depth map processing
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
WO2012097378A1 (en) * 2011-01-14 2012-07-19 General Instrument Corporation Temporal block merge mode
US9319716B2 (en) * 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
US20120236934A1 (en) * 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure
US9536312B2 (en) * 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
US9479743B2 (en) * 2011-06-01 2016-10-25 Gvbb Holdings S.A.R.L. Single lens 3-D camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
CN101911700A (zh) * 2008-01-11 2010-12-08 汤姆逊许可证公司 视频和深度编码
CN101978697A (zh) * 2008-01-25 2011-02-16 惠普开发有限公司 针对基于块的编码的编码模式选择
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015135137A1 (en) * 2014-03-11 2015-09-17 Mediatek Singapore Pte. Ltd. A method of motion information sharing in multi-view and 3d video coding
CN106464906A (zh) * 2014-03-18 2017-02-22 寰发股份有限公司 基于高效率视频编码标准的3d视频编码中深度查找表发讯方法
CN106464906B (zh) * 2014-03-18 2019-08-09 寰发股份有限公司 基于高效率视频编码标准的3d视频编码中深度查找表发讯方法
CN108683922B (zh) * 2014-03-19 2021-05-04 株式会社Kt 对多视图视频信号进行解码的方法和装置
CN108989815B (zh) * 2014-03-19 2021-05-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CN108632629B9 (zh) * 2014-03-19 2021-06-15 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CN108989815B9 (zh) * 2014-03-19 2021-06-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CN108632629A (zh) * 2014-03-19 2018-10-09 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CN108683922A (zh) * 2014-03-19 2018-10-19 株式会社Kt 对多视图视频信号进行解码的方法和装置
CN108965888A (zh) * 2014-03-19 2018-12-07 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CN108989815A (zh) * 2014-03-19 2018-12-11 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CN108965888B (zh) * 2014-03-19 2021-05-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CN108632629B (zh) * 2014-03-19 2021-05-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CN109714601A (zh) * 2014-03-28 2019-05-03 庆熙大学校产学协力团 利用深度信息的视频编码装置及其方法
CN109714601B (zh) * 2014-03-28 2022-11-15 庆熙大学校产学协力团 利用深度信息的视频编码装置及其方法
CN106134198B (zh) * 2014-03-28 2019-03-12 庆熙大学校产学协力团 利用深度信息的视频编码装置及其方法
CN106134198A (zh) * 2014-03-28 2016-11-16 庆熙大学校产学协力团 利用深度信息的视频编码装置及其方法
WO2015192371A1 (en) * 2014-06-20 2015-12-23 Mediatek Singapore Pte. Ltd. Texture based depth coding method
WO2015196424A1 (en) * 2014-06-26 2015-12-30 Mediatek Inc. Methods for the transmission of flags related to dbbp
CN104284195A (zh) * 2014-10-11 2015-01-14 华为技术有限公司 三维视频中的深度图预测方法、装置、编码器和解码器
CN104284195B (zh) * 2014-10-11 2018-12-25 华为技术有限公司 三维视频中的深度图预测方法、装置、编码器和解码器
CN107431827A (zh) * 2015-03-18 2017-12-01 寰发股份有限公司 视频和图像压缩中的索引图编码的方法和装置
US10904566B2 (en) 2015-03-18 2021-01-26 Hfi Innovation Inc. Method and apparatus for index map coding in video and image compression
CN107431827B (zh) * 2015-03-18 2020-02-28 寰发股份有限公司 使用调色板编码模式的视频和图像编解码的方法和装置
CN113014930A (zh) * 2016-01-13 2021-06-22 索尼公司 信息处理设备、信息处理方法和计算机可读记录介质
CN113014930B (zh) * 2016-01-13 2024-04-26 索尼公司 信息处理设备、信息处理方法和计算机可读记录介质
CN111615715A (zh) * 2017-11-23 2020-09-01 交互数字Vc控股公司 编码/解码体积视频的方法、装置和流
CN111971969A (zh) * 2018-04-11 2020-11-20 交互数字Vc控股公司 用于对点云的几何形状进行编码的方法和装置
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109255831B (zh) * 2018-09-21 2020-06-12 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法

Also Published As

Publication number Publication date
EP2721823A1 (en) 2014-04-23
KR20140004209A (ko) 2014-01-10
CA2833032A1 (en) 2012-12-20
JP2014517563A (ja) 2014-07-17
CN103621093B (zh) 2018-07-03
US9918068B2 (en) 2018-03-13
KR20160003334A (ko) 2016-01-08
EP2721823B1 (en) 2018-06-06
JP5872676B2 (ja) 2016-03-01
US20140085416A1 (en) 2014-03-27
CA2833032C (en) 2016-08-30
EP2721823A4 (en) 2014-11-26
WO2012171477A1 (en) 2012-12-20

Similar Documents

Publication Publication Date Title
CN103621093A (zh) 在三维视频编码系统中的纹理图像压缩方法及装置
KR100823287B1 (ko) 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
KR101846762B1 (ko) 3d 비디오 코딩에서의 서브-ｐｕ 움직임 정보 상속 방법
CN105324996B (zh) 三维视频编码的视图间候选推导的方法及其装置
KR102576194B1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN103503460A (zh) 视频译码中的运动向量预测
US20150172714A1 (en) METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING
CN105519116A (zh) 产生用于增强层中的运动预测的经调适运动向量候选者列表的可缩放hevc装置和方法
CN104412587A (zh) 三维视频编码中视图间候选获取的方法和设备
KR102500091B1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置
US20150264356A1 (en) Method of Simplified Depth Based Block Partitioning
CN105122808B (zh) 三维或多视图视频编码或解码的方法及装置
CN105247858A (zh) 三维视频编码中子预测单元的视图间运动预测的方法
CA2921759A1 (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN105247862A (zh) 三维视频编码中的视点合成预测的方法及装置
KR102658929B1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
RU2784475C1 (ru) Способ декодирования изображения, способ кодирования изображения и машиночитаемый носитель информации
CN104412238B (zh) 获取图片中块的视图间候选运动矢量的方法和装置
KR20240055149A (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20180117095A (ko) 비디오 글로벌 디스패리티 벡터에 대한 부호화 방법, 복호화 방법, 및 장치.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant