CN105103545A - 用于多视图自动立体显示器的深度图传送格式 - Google Patents

用于多视图自动立体显示器的深度图传送格式 Download PDF

Info

Publication number
CN105103545A
CN105103545A CN201480019111.5A CN201480019111A CN105103545A CN 105103545 A CN105103545 A CN 105103545A CN 201480019111 A CN201480019111 A CN 201480019111A CN 105103545 A CN105103545 A CN 105103545A
Authority
CN
China
Prior art keywords
depth map
view
section
data section
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480019111.5A
Other languages
English (en)
Other versions
CN105103545B (zh
Inventor
W·H·布拉斯
K·H·朔伊尔
P·克拉策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Dolby International AB
Original Assignee
Koninklijke Philips NV
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Dolby International AB filed Critical Koninklijke Philips NV
Publication of CN105103545A publication Critical patent/CN105103545A/zh
Application granted granted Critical
Publication of CN105103545B publication Critical patent/CN105103545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

使用多路复用的非对称图像帧来编码用于多视图自动立体显示器的立体视频数据和对应的深度图数据，该非对称图像帧组合了图像数据区段和深度图数据区段，其中图像数据区段的尺寸与深度图数据区段的尺寸不同。图像数据区段包括输入视图中的一个或更多个，而深度图区段包括相对于多路复用的输出图像帧中的图像数据的取向旋转的深度图数据的至少一部分。图5用于公开。

Description

用于多视图自动立体显示器的深度图传送格式
对相关申请的交叉引用
本申请要求2013年4月4日提交的美国临时申请No.61/808422的优先权，其全部内容通过引用并入本文。
技术领域
本发明一般地涉及图像。更特别地，本发明的实施例涉及用于多视图自动立体显示器的深度图的传送的格式。
背景技术
不管是在电影院还是在家中，三维(3D)视频系统在增强用户体验方面都广受关注。这些系统使用立体或自动立体的表现方法，包括：立体影片、线偏振、圆偏振、快门眼镜和光谱分离。
当今市场上可获得的大多数3D显示器是立体电视(TV)，需要用户佩戴快门3D眼镜从而体验3D效果。将3D内容传送到这些显示器需要输送两个分离的视图：左视图和右视图。即将出现自动立体(无眼镜)显示器的大规模使用。这些显示器提供一定量的运动视差(parallax)；观看者可以轻微四处移动他/她的头以从极其不同的角度观看对象。
传统的立体显示器提供单一的3D视图；然而自动立体显示器(也被称为多视图显示器)基于该显示器的设计来提供多个视图，诸如5个视图、9个视图、28个视图等。当常规立体内容被提供至自动立体显示器时，该显示器提取深度图并基于该深度图来创建或呈现多个视图。如本文所使用的，术语“深度图”表示包含与从视点到场景物体的表面的距离相关的信息的图像或者其他比特流。如以下更详细解释的，深度图可以被容易地转换为视差图(disparitymap)，并且在本文的上下文中，术语深度图和视差图相同并且可互换。
深度图信息还可以被用于定制用于具有不同分辨率和显示器尺寸(例如1080p显示器或4K显示器)的不同显示器类型的3D体验。已有多个研究表明针对3D电影院设计的深度的量不适于较小的移动设备，并且反之亦然。深度图可以被用于重新呈现视图以改变感知的深度并且做出额外的调整。如本文中发明人所理解的，期待用于与内容一起传送深度图的改进的技术以改进使用自动立体和立体显示器的用户体验。进一步被理解的，这些改进的技术优选地与现有的单一视图(2D)和3D系统反向可兼容。
本节中描述的方法是可以被寻求的方法，但不一定是以前设想过或寻求过的方法。因此，除非另外指出，否则不应当仅仅因为本节描述的任何方法被包括在本节中就假定它们是现有技术。类似地，除非另外指出，否则不应该基于本节假设任何现有技术中已经认识到相对于一个或多个方法确定的问题。
附图说明
在附图中的图中通过示例的方式而不是限制的方式来描述本发明的实施例，并且附图中相同的附图标记表示类似的元件，其中：
图1示出了根据本发明的实施例的用于传送3D视频和相关联深度数据的示例系统；
图2示出了非对称单一层深度图传送格式的示例。
图3示出了根据本发明的实施例的使用旋转深度图的非对称深度图传送格式的示例。
图4A和图4B示出了根据本发明的实施例的深度图传送格式的示例。
图5示出了根据本发明的实施例的用于使用深度图旋转和深度图段两者来生成图像数据和深度图数据区段的示例过程。
具体实施方式
本文描述了用于立体和自动立体(多视图)显示器的深度图的传送格式。这些格式支持多种视频传送情景，包括传统的线缆、卫星或空中(overtheair)广播和过顶(overthetop)传送。在以下描述中，出于解释的目的，解释多个具体的细节从而提供对本发明的透彻的理解。然而清楚的是，即使没有这些具体的细节，本发明也可以被实现。在其它实例中，公知的结构和设备未被无遗漏地描述以避免不必要地模糊本发明。
概述
此处描述的示例实施例涉及用于多视图显示器的深度图信息的传送格式。给定3D输入图片和对应的输入深度图数据，可以创建组合图像数据区段和深度图数据区段的多路复用的非对称的输出图像帧，其中该图像数据区段具有与深度图数据区段不同的尺寸。该图像数据区段包含3D输入的输入视图中的一个或多个，而深度图区段至少包含相对于多路复用的输出图像帧中的图像数据的取向而旋转的输入深度图数据的一部分。
在一些实施例中，深度图数据还可以被分段为一个或多个深度图段，所述一个或多个深度图段可以在被多路复用为输出图像帧的深度图部分之前被重新布置。
针对3D的示例传送格式
图1示出了根据本发明的实施例的用于编码和解码3D数据和相关联深度数据的示例系统。如图1中所示，根据将在本文中描述的方法，输入立体信号(105)和相关联深度数据Z(107)的左视图和右视图(105-1,105-2)被图像数据和深度格式化器(110)首先格式化并且多路复用为3D+Z信号(112)。
在本发明的一个实施例中，深度数据(107)表示左视图和右视图之间的视差。如本文所使用的，术语“视差”表示立体图像的左视图和右视图中对象的位置之间横向距离的差异。在立体视频成像中，视差通常表示一个视图(例如左图像)中的图像特征当在另一视图(例如右图像)中被观看时的(例如向左或者向右的)水平位移。例如，在左图像中位于水平位置hL并且在右图像中位于水平位置hR的点可被表示为具有hL-hR像素的视差。虽然可以使用替代的表示，但是视差数据还可以被表示为深度或“输入Z”数据，通常被表示为[0,255]范围中的8比特灰度数据。
依赖于编码格式，3D+Z信号(112)可以包含一个或多个层，诸如基层和一个或多个增强层。3D+Z信号(112)由编码器(120)编码以生成编码的比特流(122)。编码器(120)可以是已知视频编码器中的任一个，诸如由ISO/IECMPEG-2、MPEG-4part2、MPEG-4、part10(H.264/AVC)或HEVC标准规定的那些编码器或其他编码器(诸如VP8、VC-1)等。在存储或传输之前，编码的比特流(122)可以与额外的辅助数据或元数据(未示出)一起被多路复用，以辅助合适的解码器从而解码并解复用立体图像数据和它们对应的深度数据。
在诸如机顶盒、电视等之类的接收器中，解码器(130)(例如，MPEG-2或H.264解码器)可以解码由编码器(120)编码的比特流并且生成解码的3D+Z信号，针对有损压缩，该信号是传输的3D+Z信号(112)的较接近的近似。解复用器(140)提取深度图数据(147)和一个或多个图像视图(142)，并且可以将它们传递至随后的处理，诸如与显示器管理和显示器有关的处理。老式接收器可以忽略深度数据和第二视图，从而仅显示单一视图作为传统2D图像；然而其他解码器可以使用所有可获得的信息来重新生成3D信号(105)的一个或多个视图。
图2示出了单一层3D+Z信号传送格式(200)的示例。格式化的3D+Z信号(212)包含辉度或亮度分量(212-Y)和对应的色度分量(212-UV)。例如，在某些实施例中，信号(212)可以被以4:2:0YUV格式编码。在某些其他实施例中，信号(212)可以被以4:2:0YCbCr格式编码。如图2所示，信号(212)的色度分量可以具有比亮度分量低的像素分辨率；然而，本文描述的所有方法适用于其中色度可能与亮度分量具有相同分辨率(例如，4:4:4YCbCr或4:4:4YUV)的颜色格式。
传送格式(200)可以使用非对称的空间多路复用；即，在组合图像数据(212-Y1)(例如左视图(L)105-1)和相关联的深度数据(212-YZ)(例如Z107)的多路复用的图片中，图像数据(例如左视图(L))的分辨率与其相关联的深度图(例如ZL)的分辨率不同。
在一个实施例中，给定具有像素分辨率h×w(例如h＝1080以及w＝1920)的多路复用的输入帧(例如112)，子采样的左视图(L)可以被分配比其相关联的深度图多的像素。因此，给定比例a，其中1>a≥1/2，原始左视图图片可以被缩放(例如子采样)为尺寸h×aw，而深度图可以被缩放为尺寸h×(1-a)w。该方法可以导致比对称的左视图图片和右视图图片(例如，当a＝1/2)锐利的3D图片。
可选地，额外的深度数据(例如ZL’和ZL”)还可以被嵌入到编码帧的对应的色度分量(例如212-UV)中。
在备选实施例中，包含图像和深度图区段(例如212-Y)的图片帧的尺寸可以比输入图像的视图的活跃图像尺寸大；因此，可能不需要缩放图像数据以适配到图像区段内。例如，给定1080×1920图像数据(例如L)，(212-Y)的宽度w可以大于1920并且高度h可以大于1080。传送帧还可以由虚拟数据填补从而与由编码器(120)使用的编码的单元(例如宏块)的尺寸实现一致。例如，在示例实施例中，可以向1080的高位加入8个像素线从而使得线的总数1088是16的倍数。
在备选实施例中，多路复用的图像帧(例如112)可以在垂直方向被划分。因此，图像数据区段(212-YI)可以具有ha×w的分辨率而深度图数据区段(212-YZ)可以具有h(1-a)×w的分辨率。
在一些实施例中，图像数据区段可以被多路复用至深度图数据区段的右部。
在一些实施例中，图像数据区段可以被多路复用至深度图数据区段的底部。
在实施例中，类似于AVC/H.264或HEVC视频编码标准中定义地，可以通过在编码比特流中使用剪切矩形和长宽比语法参数(aspectratiosyntaxparameter)来定义图片的活跃区域(例如h×aw)，从而实现反向兼容性。在这种实现中，老式2D接收器可以提取、解码并显示仅由这些参数定义的图片区域(例如L)并且忽略深度图信息(例如ZL)。具有3D能力的接收器可以解码整个图片、使用剪切参数来确定图片区域和深度图区域并随后使用该深度图信息来呈现多个视图。3D接收器可以使用接收的剪切和长宽比参数来按需要缩放2D图片和深度。还可以传输包含关于基于每幅图片的图片布局的信息的辅助数据(或元数据)。
在示例实施例中，如果a＝2/3，给定1080×1920的输入信号，则图像数据(例如L)可以使用1080×1280像素的分辨率被在水平维度上按比例缩小并且被编码，而深度分量(例如ZL)可以使用1080×640分辨率被缩放并且被编码。在一些实施例中，深度分量可以以备选分辨率被在水平和垂直分辨率两者上被按比例缩小并且被编码，所述备选分辨率比深度图区段中可获得区域的分辨率小，例如540×640或360×640。在这种实现中，不与任何深度值对应的辉度或色度分量的像素值可以被设置为固定的填充值(例如128)以改进编码效率。可以通过允许图像和深度数据的更平衡的分配来改进该非对称格式的性能，如图3所示。
图3示出了根据本发明的实施例的深度图传送格式的示例。为了简化起见，仅示出了信号(112)的亮度分量；然而，还可以对色度分量执行类似的像素分配。如图3所示，图像(212-Y)包括图像视图中的一个或多个(例如L214)的亮度分量的缩放表示和感兴趣的深度图(例如ZL218)的旋转且缩放表示。作为示例，在一个实施例中，针对1080×1920的输入，图像视图的辉度可以被缩放为1080×1280的分辨率(对应于水平方向上2/3的缩放)，而初始深度图可以被缩放为540×960的分辨率(对应于在水平和垂直方向上的对半缩放)。如图3所示，深度图旋转90度允许传送比图2中示出的传统格式高的水平分辨率的深度图，这导致接收器处整体更好且更准确的3D图片质量。
如图3所示，由于缩放和旋转，图像帧(212-Y)的某些像素区域可能未被使用。该区域(例如216)可以被设置为固定的填充值(例如128)，或者该图像和深度数据区域可以被适当地缩放从而使得它们的和填充整个区域。例如，在实施例中，图像区域可以具有1080×1380的像素分辨率，而深度图数据区域可以具有540×960的像素分辨率。在优选的实施例中，为了改进编码效率，图像的维度和深度图视图尺寸可以被选择为由编码器(120)使用的编码单元尺寸(例如16×16)的倍数。作为替代地，可以通过添加虚拟数据来调整传送格式(212-Y)的帧尺寸从而实现与由编码器(120)使用的编码的单元(例如宏块)的尺寸的一致。例如，在示例实施例中，可以向1080的高位添加8个像素线从而使得线的总数1088是16的倍数。
如图4A和4B中的示例实施例所示，旋转的深度图可以被用于多种其他深度数据传送格式。除了图像部分(410)包括在水平方向上子采样并且并排堆叠的左视图(L)和右视图(R)两者以外，图4A中示出的格式与图3中所示的格式类似。在示例实施例中，使用1080×1920的帧，可以使用1080×720的分辨率来存储每个视图，而480×960的深度图(例如ZL)被旋转存储在1080×480的深度图数据区段(418)中。
如图4B所示，在另一个实施例中，图像部分(412)包括在垂直和水平方向上子采样并且上下堆叠的左视图(L)和右视图(R)两者。在示例实施例中，使用1080×1920的帧，可以使用540×1440的分辨率来存储每个视图，而480×960的深度图(例如ZL)被旋转存储在1080×480的深度图数据区段(418)中。
在图5中，深度图数据传送格式(520)示出了根据实施例的3D+Z数据传送的另一个示例。该格式组合了深度图数据的旋转和可选择的段。作为示例，考虑1080×1920的分辨率的初始图像数据(I)(510)和深度数据(Z)(512)将被多路复用为单一的1080×1920的输出帧(520)。与之前类似，为了简化起见，仅示出了用于辉度分量的多路复用；然而，还可以对色度分量执行相似的操作。
使用非对称空间缩放的原理，图像数据和深度数据两者可以被缩放以产生缩放的图像数据IS(514)和缩放的深度图数据ZS(516)。例如，图像I可以被在水平方向上以3/4缩放以产生1080×1440的图像IS(514)，而深度数据Z(512)可以被因数2在两个方向上缩放以产生540×960的缩放的深度图ZS(516)。为了使ZS适合深度图区段(520-Z)，(例如，1080×(1920-1440)＝1080×480)，缩放的深度图ZS(516)可以被分为两个或更多个段(例如，480×960ZA和60×480ZB和ZC)。随后，输出的多路复用图像(520)的深度图区段(520-Z)可以包括：堆叠在ZB和ZC深度图段的顶部上的旋转的ZA深度图段。
深度数据Z(512)的缩放可以考虑分配的深度图区段(520-Z)的尺寸和深度图段的任何后续旋转和分段。
在一些实施例中，输出的多路复用图片(520)的图像部分区段(520-I)的尺寸可以等于或大于活跃输入图像数据I(510)的尺寸，因此图像数据(510)的缩放可以被跳过。
在一些实施例中，图像数据区段和深度数据区段可以通过一个在另一个顶部上地垂直地堆叠而被多路复用。
可以使用辅助数据或元数据从编码器向解码器通知输出图像(520)中深度图段的位置、尺寸和取向。在接收器中，在解码并解复用图像数据和深度数据区域之后，接收器可以使用该元数据以解复用深度数据段(518)并重新构建统一的深度图区域(516)，可以按需要缩放深度图区域以观看图像数据(510)。
示例计算机系统实现
可以使用计算机系统、被配置为电子电路和组件的系统、诸如微控制器、现场可编程门阵列(FPGA)或另一个可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)的集成电路(IC)设备和/或包括一个或多个这种系统、设备或组件的装置来实现本发明的实施例。该计算机和/或IC可以执行、控制或运行与编码和解码深度图传送格式相关的指令，诸如本文中描述的那些格式。该计算机和/或IC可以计算与编码和解码如本文中描述的深度图传送格式相关的各种参数或值中的任何参数和值。图像和视频动态范围扩大实施例可以被实现为硬件、软件、固件和它们的各种组合。
本发明的某些实现包括执行软件指令的计算机处理器，所述软件指令使该处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过运行该处理器可访问的程序存储器中的软件指令来实现用于编码和解码如上所述的深度图传送格式的方法。还可以以程序产品的形式提供本发明。该程序产品可以包括承载一组包括指令的计算机可读信号的任何介质，当所述指令被数据处理器运行时，所述指令使该数据处理器执行本发明的方法。根据本发明的程序产品可以是多种非暂态形式中的任何一种。该程序产品可以包括例如诸如磁性数据存储介质(包括软盘、硬盘驱动器)的物理介质，包括CDROM、DVD的光学数据存储介质，包括ROM、闪存RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
当以上涉及组件(例如软件模块、处理器、组件、设备、电路等)时，除非另有说明，否则对所述组件的引用(包括对“装置”的引用)应当被解释为包括该组件的等同物和执行所描述组件的功能(例如功能等同)的任何组件，包括与执行本发明示出的示例实施例中的功能的公开的结构结构上不等价的组件。
等同物、延伸、备选和其他
如此描述了与编码和解码深度图传送格式相关的示例实施例。在以上的说明书中，已经参考许多具体细节描述了本发明的实施例，这些具体细节可以根据实现而改变。因此，根据本申请授权而记载的权利要求书(包括任何随后的修正)是本发明是什么以及申请人对本发明的预期的唯一的且排它的指示。本文中清楚阐述的包含在这些权利要求中的术语的任何定义应决定权利要求中使用的这些术语的含义。因此，权利要求中未清楚地记载的限制、元素、特性、特征、优点或属性不应以任何方式限制这些权利要求的范围。因此，应当以说明的方式而不是限制的方式看待本说明书和附图。

Claims (20)

1.一种用于传送3D深度数据的方法，所述方法包括：
访问输入立体图片和输入深度数据；
响应于输入立体图片而在第一取向上产生图像数据区段；
产生深度图数据区段，其中所述深度图数据区段具有与图像数据区段不同的尺寸并且包括响应于所述输入深度数据而产生的一个或多个深度图段；
多路复用所述图像数据区段和所述深度图区段以形成多路复用的输出图片，其中所述深度图区段包括相对于第一取向旋转的至少一个深度图段；以及
使用编码器编码多路复用的输出图片以产生编码的比特流。
2.如权利要求1所述的方法，其中所述图像数据区段包括基于所述输入立体图片的第一视图或者所述输入立体图片的第二视图的像素数据。
3.如权利要求1所述的方法，其中所述图像数据区段包括基于所述输入立体图片的第一视图和所述输入立体图片的第二视图两者的像素数据。
4.如权利要求2所述的方法，其中通过在水平方向或垂直方向上下采样所述输入立体图片的第一视图或者第二视图来产生所述图像数据区段。
5.如权利要求2所述的方法，其中通过在垂直方向和水平方向上下采样所述输入立体图片的第一视图或者第二视图来产生所述图像数据区段。
6.如权利要求3所述的方法，其中通过在水平方向或垂直方向上下采样图像视图中的至少一个来产生所述图像数据区段。
7.如权利要求3所述的方法，其中通过在水平方向和垂直方向上下采样图像视图中的至少一个来产生所述图像数据区段。
8.如前述权利要求中的任一个所述的方法，其中第一取向是水平取向。
9.如前述权利要求中的任一个所述的方法，其中所述至少一个深度图段旋转90度。
10.如前述权利要求中的任一个所述的方法，其中所述图像数据区段和所述深度图数据区段被多路复用为并排图片。
11.如权利要求1-9中任一个所述的方法，其中所述图像数据区段和所述深度图数据区段被多路复用为上下图片。
12.如权利要求3所述的方法，其中产生所述图像数据区段还包括：
下采样第一视图以创建下采样的第一视图；
下采样第二视图以创建下采样的第二视图；以及
通过以并排格式或者以上下格式堆叠下采样的第一视图和下采样的第二视图来多路复用下采样的第一视图和下采样的第二视图，从而产生所述图像数据区段。
13.如前述权利要求中任一个所述的方法，其中产生所述深度图数据区段包括：
下采样所述输入深度数据以产生缩放的深度图；
对所述缩放的深度图进行分段以产生两个或更多个深度图段；
旋转深度图段中的至少一个以产生旋转的深度图段；以及
多路复用旋转的深度图段和剩余的深度图段中的一个或更多个剩余的深度图段以形成深度图数据区段。
14.如权利要求13所述的方法，其中所述缩放的深度图在水平方向上或垂直方向上被分段。
15.如权利要求13或14所述的方法，其中多路复用旋转的深度图段和剩余的深度图段中的一个或更多个剩余的深度图段以形成深度图数据区段包括垂直地或水平地堆叠所述旋转的深度图段和另一个深度图段。
16.一种用于解码3D深度图数据的方法，所述方法包括：
解码编码的比特流以产生第一取向的图像数据区段和深度图数据区段，其中所述深度图数据区段包括相对于第一取向旋转的深度图段；
旋转所述深度图段以产生具有与第一取向匹配的取向的第二深度图段；以及
至少响应于所述图像数据区段和第二深度图段来产生解码的输出信号。
17.如权利要求16所述的方法，其中所述图像数据区段包括传输的3D信号的第一视图或第二视图的缩放的表示。
18.如权利要求16所述的方法，其中所述图像数据区段包括传输的3D信号的第一视图和第二视图两者的缩放的表示。
19.一种包括处理器的装置，所述装置被配置为执行前述权利要求中任一个所述的方法中的任一个。
20.一种非暂态性计算机可读存储介质，其上存储有用于执行根据前述权利要求中任一个所述的方法的计算机可执行指令。
CN201480019111.5A 2013-04-04 2014-04-04 用于多视图自动立体显示器的深度图传送格式 Active CN105103545B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361808422P 2013-04-04 2013-04-04
US61/808,422 2013-04-04
PCT/EP2014/056847 WO2014161989A1 (en) 2013-04-04 2014-04-04 Depth map delivery formats for multi-view auto-stereoscopic displays

Publications (2)

Publication Number Publication Date
CN105103545A true CN105103545A (zh) 2015-11-25
CN105103545B CN105103545B (zh) 2016-12-14

Family

ID=50478382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480019111.5A Active CN105103545B (zh) 2013-04-04 2014-04-04 用于多视图自动立体显示器的深度图传送格式

Country Status (6)

Country Link
US (1) US10015465B2 (zh)
EP (1) EP2995081B1 (zh)
CN (1) CN105103545B (zh)
HK (1) HK1211764A1 (zh)
TW (1) TWI558166B (zh)
WO (1) WO2014161989A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872519A (zh) * 2016-04-13 2016-08-17 李应樵 一种基于rgb压缩的2d加深度3d图像横向存储方法
CN105898274A (zh) * 2016-04-13 2016-08-24 李应樵 一种基于rgb压缩的2d加深度3d图像纵向存储方法
CN107046637A (zh) * 2017-01-05 2017-08-15 北京大学深圳研究生院 一种针对三维图像的非对称拼接方法
CN108399596A (zh) * 2018-02-07 2018-08-14 深圳奥比中光科技有限公司 深度图像引擎及深度图像计算方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI521940B (zh) * 2012-06-14 2016-02-11 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
CN104104934B (zh) * 2012-10-04 2019-02-19 陈笛 无眼镜多观众三维显示的组件与方法
US20180213216A1 (en) * 2015-06-16 2018-07-26 Lg Electronics Inc. Media data transmission device, media data reception device, media data transmission method, and media data rececption method
EP3345410B1 (en) * 2015-09-04 2019-05-22 Koninklijke Philips N.V. Method and apparatus for processing an audio signal associated with a video image
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
US11315321B2 (en) * 2018-09-07 2022-04-26 Intel Corporation View dependent 3D reconstruction mechanism

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1024672A1 (en) * 1997-03-07 2000-08-02 Sanyo Electric Co., Ltd. Digital broadcast receiver and display
WO2012014171A1 (en) * 2010-07-28 2012-02-02 Sisvel Technology S.R.L. Method for combining images relating to a three-dimensional content
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002952873A0 (en) 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd Image encoding system
JP4481275B2 (ja) 2006-06-19 2010-06-16 日本電信電話株式会社 ３次元映像情報の伝送方法
TR201809177T4 (tr) 2007-04-12 2018-07-23 Dolby Int Ab Video kodlama ve kod çözmede döşeme.
IT1402995B1 (it) 2010-11-12 2013-09-27 Sisvel Technology Srl Metodo di elaborazione di un contenuto video tridimensionale e relativo apparato
DE112011103496T5 (de) 2010-11-15 2013-08-29 Lg Electronics Inc. Verfahren zum Umwandeln eines Einzelbildformats und Vorrichtung zur Benutzung dieses Verfahrens
WO2014025294A1 (en) * 2012-08-08 2014-02-13 Telefonaktiebolaget L M Ericsson (Publ) Processing of texture and depth images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1024672A1 (en) * 1997-03-07 2000-08-02 Sanyo Electric Co., Ltd. Digital broadcast receiver and display
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装
WO2012014171A1 (en) * 2010-07-28 2012-02-02 Sisvel Technology S.R.L. Method for combining images relating to a three-dimensional content

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872519A (zh) * 2016-04-13 2016-08-17 李应樵 一种基于rgb压缩的2d加深度3d图像横向存储方法
CN105898274A (zh) * 2016-04-13 2016-08-24 李应樵 一种基于rgb压缩的2d加深度3d图像纵向存储方法
CN105898274B (zh) * 2016-04-13 2018-01-12 万云数码媒体有限公司 一种基于rgb压缩的2d加深度3d图像纵向存储方法
CN105872519B (zh) * 2016-04-13 2018-03-27 万云数码媒体有限公司 一种基于rgb压缩的2d加深度3d图像横向存储方法
CN107046637A (zh) * 2017-01-05 2017-08-15 北京大学深圳研究生院 一种针对三维图像的非对称拼接方法
CN108399596A (zh) * 2018-02-07 2018-08-14 深圳奥比中光科技有限公司 深度图像引擎及深度图像计算方法
CN108399596B (zh) * 2018-02-07 2020-12-18 深圳奥比中光科技有限公司 深度图像引擎及深度图像计算方法
US11769266B2 (en) 2018-02-07 2023-09-26 Orbbec Inc. Depth image engine and depth image calculation method

Also Published As

Publication number Publication date
EP2995081B1 (en) 2019-06-12
US20160050404A1 (en) 2016-02-18
US10015465B2 (en) 2018-07-03
WO2014161989A1 (en) 2014-10-09
EP2995081A1 (en) 2016-03-16
TW201503662A (zh) 2015-01-16
HK1211764A1 (zh) 2016-05-27
TWI558166B (zh) 2016-11-11
CN105103545B (zh) 2016-12-14

Similar Documents

Publication Publication Date Title
CN105103545B (zh) 用于多视图自动立体显示器的深度图传送格式
TWI630815B (zh) 用於立體及自動立體顯示器之深度圖傳遞格式
EP2537347B1 (en) Apparatus and method for processing video content
JP5235035B2 (ja) チェッカーボード多重化したイメージデータのエンコーディング構造及びデコーディング構造
US20100309287A1 (en) 3D Data Representation, Conveyance, and Use
JP5837606B2 (ja) フレームフォーマット変換方法及びその方法を使用する装置
WO2006008613A1 (en) System and method for transferring video information
KR20080108941A (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
US9980013B2 (en) Method and apparatus for transmitting and receiving broadcast signal for 3D broadcasting service
RU2632404C2 (ru) Данные сигнализации глубины
Conti et al. 3D holoscopic video representation and coding technology
Faria et al. 3D Video Representation and Coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1211764

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1211764

Country of ref document: HK