CN102160387B - 棋盘式多路复用图像数据的编码和解码架构 - Google Patents

棋盘式多路复用图像数据的编码和解码架构 Download PDF

Info

Publication number
CN102160387B
CN102160387B CN200980137255.XA CN200980137255A CN102160387B CN 102160387 B CN102160387 B CN 102160387B CN 200980137255 A CN200980137255 A CN 200980137255A CN 102160387 B CN102160387 B CN 102160387B
Authority
CN
China
Prior art keywords
data
checkerboard type
multiplexing
block
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980137255.XA
Other languages
English (en)
Other versions
CN102160387A (zh
Inventor
亚历山德罗斯·图拉皮斯
阿萨纳西奥斯·莱昂塔里斯
佩沙拉·V·帕哈拉瓦达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN102160387A publication Critical patent/CN102160387A/zh
Application granted granted Critical
Publication of CN102160387B publication Critical patent/CN102160387B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

一种包括以下编码器或编解码器的装置，该编码器或编解码器被配置用于利用菱形块进行运动估计和/或运动补偿并且对残余数据采用方形或正交变换来用于交织的图像数据。在各实施例中，其中，解码器可被配置为在菱形块的边缘上执行去块以及/或者在图像数据的边界处执行数据填充。另外，提出了一种修改应用于解复用的数据的变换和量化处理中的至少之一的方法。一种应用是将以棋盘方式交织的左立体图像和右立体图形组合。

Description

棋盘式多路复用图像数据的编码和解码架构
相关申请的交叉参考
本申请要求于2008年9月23日提交的美国专利临时申请第61/099,542号和于2009年1月29日提交的美国专利临时申请第61/148,051号的优先权，在此通过引用将其全文合并于此。
技术领域
本发明涉及图像数据解码。
背景技术
近年来，内容提供商越来越关注将立体(3D)内容传递到家庭。不仅3D资料的日益流行和制作推动了该关注，而且消费者已可获得的几种立体装置的出现也推动了该关注。已针对将立体资料传递到家庭提出了几种系统，其主要将特定的视频视图“布置”格式与现有的视频压缩技术(诸如，ISOMPEG-2、MEPG-4AVC/ITU-TH.264、和VC-1)相结合。在显示之前还需要对内容进行解码以供用户观看。
发明内容
本发明人已实现了以下方案以确保在用户当中迅速地采用3D技术：该方案应该是可以通过对现有的诸如机顶盒、DVD和蓝光碟播放器的回放装置以及现有的能够进行3D的显示器进行最少改变或不做改变来实施的方案。一种用于在无需改变回放装置的情况下传递3D内容的可行方案是：通过使用棋盘式布置对两幅视图进行复用来创建、编码并传递视频内容信息(参见图1)。可使用MPEG-4AVC/H.264视频编码标准或其他标准(例如，微软的VC1)来实施这种系统。然而，标准化的编解码器不考虑编码后的3D视频信号的性质，从而导致未达最佳标准的编码性能。
本发明还可被配置为对基于MPEG-4AVC的当前杜比消费者级别3D视频编码系统的扩展。类似的扩展、添加、调整、修改等可应用于其他系统。在这样的实施例等中，本发明扩展MPEG-4AVC标准，以更适当地考虑编码后的信号的特征，从而改善编码效率和性能。例如，不仅在编码器处而且在解码器处都实施本发明。可对其他编码/解码标准、方法、装置、和/或系统进行类似扩展。例如，应用包括蓝光视频碟，并且还可包括具有更多带宽约束(其中)的广播和下载方案。本发明还可用在可以将当前杜比消费者级别3D视频编码系统(或者其他3D和/或多视图系统)改善或增强至全分辨率的可升级方案中。
各种实施例中的本发明主要旨在用于杜比(或其他)立体(3D)格式视频编码器和解码器中，但也可用在其他的杜比和/或非杜比专用设备中。应用包括例如蓝光碟、广播、卫星和IPTV系统等。
在一个实施例中，本发明提供了一种方法，包括以下步骤：修改要应用于解复用数据的变换处理和量化处理，以改善交织内容的视频编码效率。可替换地或者与此结合地，解复用数据可包括例如棋盘式格式化的解复用数据。例如，变换处理和量化处理修改可以仅是影响标准化方法的视频编码效率的修改。可使用例如不考虑重叠块的、基于块的方法来执行运动估计和运动补偿。
运动估计和运动补偿可包括例如帧内预测。视频编码和解码包括基于场内容的数据，并且该方法包括Z字形扫描顺序，以及除变换之外，还可以以考虑内容的特征的方式修改运动估计和运动补偿。在多个实施例中，可将参考数据和源数据这两者都重新布置成多个集合，每个集合根据视图和奇偶性分离数据，并且可将源数据与参考数据进行匹配以进行预测(其可以包括例如帧间预测和帧内预测)。
在其他实施例中，本发明提供了一种用于对交织图像数据进行解码的方法，该方法包括以下步骤：利用菱形块来进行运动估计和/或运动补偿，并且对残余数据利用方形变换或正交变换。可替换地或者与此结合地，可在菱形块的边缘上执行去块以及/或者可在图像数据的边界处执行数据填充。
在其他实施例中，可将本发明具体化为包括以下编解码器的装置：该编解码器被配置用于将菱形块用于运动估计和/或运动补偿并且对残余数据利用方形变换或正交变换来用于交织的图像数据。
在各种实施例中，其中，解码器可被配置为对菱形块的边缘执行去块以及/或者在图像数据的边界处执行数据填充。
可在通用计算机或网络计算机上进行编程时方便地实施该装置和方法这两部分，并且可在连接至通用计算机、网络计算机中的任意一个的输出装置上显示结果，或者将结果发送至远程装置以输出或显示。另外，可将以计算机程序、数据序列、和/或控制信号表示的本发明任何部件在任何介质(包括但不限于无线广播、以及经由铜线、光纤线缆和同轴线缆等)中具体化为任何频率的电子信号广播(或者发送)。
附图说明
因为本发明及其附带的许多优点在结合附图考虑时通过参考以下详细描述变得更好理解，所以将容易地获得对本发明及其附带的许多优点的更全面了解，在附图中：
图1是用于传递立体资料的示例性棋盘式交织布置；
图2是基于在帧模式下对棋盘式数据进行解复用的示例性变换；
图3是基于在场模式下对棋盘式数据进行解复用的示例性变换；
图4是根据本发明实施例的无需考虑重叠的块运动补偿的示例；
图5是根据本发明实施例的基于在帧模式下对棋盘式数据进行多路解复用的示例性变换；
图6是根据本发明实施例的示例性视频编码器；
图7是根据本发明实施例的示例性视频解码器；以及
图8是完全考虑内容的性质的利用菱形块来代替利用方形块进行处理的示例。
具体实施方式
本发明人已实现了以下方案以确保在用户当中迅速地采用3D技术：该方案应该是可以通过对现有的诸如机顶盒、DVD、和蓝光碟播放器的回放装置以及现有的3D能力显示器进行最少改变或不做改变来实施的方案。现在参照附图(其中，相同的附图标记表示相同或对应部分)并且更具体地参考其中的图1，示出了一种用于在无需改变回放装置的情况下传递3D内容的可行方案(系统100)，其例如包括通过使用棋盘式布置对两幅视图进行多路复用来创建、编码并传递视频内容信息。
可使用MPEG-4AVC/H.264视频编码标准或其他标准(例如，微软的VC1)来实现这种系统。然而，标准化的编解码器不考虑编码后的3D视频信号的性质，从而导致未达最佳标准的编码性能。具体地，这些编解码器已被设计为并且包括仅记住有逐行或者行交织(隔行)视频内容的工具。这些工具包括诸如运动估计、运动补偿、变换、和量化的工具。然而，棋盘式交织数据可以具有明显不同于逐行或隔行内容的特征。在本发明中，我们扩展这些工具以适当地考虑棋盘式内容的该特性，并且因此，提高了棋盘式内容的编码效率。
在第一实施例中，可以通过仅修改要应用于棋盘式解复用数据的变换和量化处理来实现棋盘式交织内容的视频编码效率。具体地，如还可以从图2中所看到，其是基于在帧模式下对棋盘式数据进行解复用的示例性变换。如图2所示，参考棋盘式(CB)块210和源CB块220产生残余CB块230，该残余CB块被变换多路分解器240多路分解成变换块250。在这种情况下，使用不考虑重叠块的、基于传统块的方法来执行运动估计和补偿(例如参见图4，其是在无需考虑重叠的情况下的块运动补偿的示例)。在图4中，在410处示出使用不同块大小的非重叠预测。该处理可以通过通常棋盘式多路复用数据以相似运动为特征的论据来论证。
图3是基于在场模式下对棋盘式数据进行解复用的示例性变换。如图3所示，参考块310和源块320产生残余块330，残余块330被变换多路分解器340多路分解成变换块350。
然而，在执行运动补偿或帧内预测后，在变换和量化前对残余数据进行棋盘式解复用。假定在现有编解码器中所采用的普通变换方法是方形或正交的，则在这种情况下进行解复用不仅根据不同视图而发生，而且还根据行而发生。这会导致产生4个必须被变换的块，例如，使用4×4或8×8整数DCT或其他变换、量化、Z字型扫描并被编码。在另一实施例中，对于隔行(即，场)画面，由于数据已处于适合对这样的操作进行操作的布置，因此，仅需要执行垂直解复用。可以以序列、画面、切片(slice)、宏块、或块级别用信号通知该处理。还可以适当地设计量化系数的扫描顺序，以考虑横轴与纵轴的频率差。具体地，对于场内容，考虑水平频率与垂直频率之间的差，一般在垂直方向上变换系数的扫描顺序存在偏差。然而，考虑我们引入的新的编码布置，则不需要这种修改，并且仍可以使用正常(即，Z字型)扫描顺序。
在可选实施例中，除了变换外，以与考虑内容的特征相类似的方式修改运动估计和运动补偿处理。更具体地，将参考数据和源数据这两者重新布置成多个集合，每个集合根据视图和奇偶性分离数据。这基本上会导致产生四(4)个不同布置(例如，偶/上或奇/下的左视图和右视图)。这可以在图5中看出，图5是基于在帧模式下对棋盘式数据进行解复用的示例性变换，并且示出了参考图像510/源图像520的解交织522A/522B、以及包括参考缓存器525、视差估计器530和视差补偿540的部件。如图5所示，参考图像解交织结果以左上框开始顺时针方向地包括：从左视图画面(或CBLT(左上角))的偶数行起的“x”集合、从左视图(或CBLB(左下角))的奇数行起的“x”集合、从右视图画面(或CBRT(右上角))的偶数行起的“o”集合、和从右视图画面(或CBRB(右下角))的奇数行起的“o”集合。针对源图像示出了匹配格式的解交织。
可以将来自源的每个布置与参考数据的任意布置匹配，以进行预测，其中，该预测可以包括帧内预测和帧间预测这两者。在预测源数据之后，还以相同布置对残余数据进行变换、量化并编码。可以将该处理看成很类似于如何执行隔行编码，其中，将数据布置成奇数和偶数场/行数据。然而，在本发明中，也进一步将数据布置成奇数和偶数列。类似于我们的变换方法(其可以被单独使用或者与其他技术结合使用)，可以以序列、画面、切片、宏块或块级别用信号通知该方法的使用。
例如，可以将画面级别方法看成对4幅不同画面CBLT、CBLB、CBRT和CBRB执行编码。这四幅画面可以参考任意先前编码后、可在缓存器中得到的画面。出于显而易见的原因，默认参考列表排序根据这些画面的拓扑而存在偏差，即，CBLT画面会将较高优先级赋予先前的CBLT画面，CBLB画面会将较高优先级赋予先前CBLB画面等。可以利用现有的编码工具(即，AVC)对每幅这样的画面进行编码。当对全部画面进行解码时，于是在帧缓存器中将它们重新组合成棋盘式图像，以进一步处理。如果失效，则利用现有(例如，逐行或隔行)编码方法，诸如已在MPEG-4AVC或VC1中利用的编码方法。应该注意，类似于MPEG-4AVC中已存在的用于隔行编码的方法，各种信号通知方法使得能够以画面、切片、宏块、或/和块级别将传统方法与我们的方法结合。
在另一实施例中，仅对同一集合的像素应用使用这种方法对像素数据的去块。在图6和图7中分别可以看到采用这种方法的编码器600和解码器700。
在其他实施例中，考虑内容的特征，我们可以考虑菱形块，来替代利用方形或正交块进行预测、变换和量化。图8是系统800的示例，该系统利用充分地考虑内容的性质的菱形块替代利用方形块来进行处理。在图8中，示出了示例性右视图画面为变暗的竖条纹状“o”像素成分(菱形)、以及示例性左视图画面为在每个变暗的竖条纹状“o”像素成分正下面的变暗的横条纹状“x”像素成分(也是菱形)。即，对大小N×M的菱形块采用运动估计和补偿，同时通过使用首先使残余部分旋转适当角度(例如，45度)的方形或正交变换，可以执行对残余数据的变换。在这种情况下，在菱形块数据的边缘上执行去块。此外，通过适当地填充数据来处理图像边界。该方法可以再次在序列、画面、切片、宏块或块级别处实现，并且可以与先前描述的方法中任意一种结合。然而，主要由于复杂性和性能原因，优选地主要在序列或画面级别考虑该方法。
在又一实施例中，可利用上述方法中的任意一种，来不仅对棋盘式交织图像而且还对来自棋盘式交织图像的残余数据进行编码，或者对使用周期性方形平铺方法交织的四个图像的组合进行编码。
显然地，根据上述教导可以对本发明进行多种变形和改变。因此，应该理解，除了如本文中所具体描述的那样外，还可在随后提交的实用专利申请中所包括的权利要求的范围内实现本发明。
在描述附图中示出的本发明的优选实施例时，为了清楚而采用特定术语。然而，本发明并不旨在被限于所选特定术语，并且应该理解，每个特定元件均包括以类似方式操作的全部技术等同物。例如，当描述本发明的一部分或处理时，不管本文中是否列出，可以用任何其他等同装置、或者具有等同功能或能力的其他装置替代。此外，发明人认识到还可用现在未知的新开发的技术替代所描述的部分，并且仍然不背离本发明的范围。还应该根据任何以及全部可用等同物考虑所描述的所有其他项目，其他项目包括但不限于参考缓存器、解复用器、估计器、补偿装置/机构、编解码器、格式、模式等。
对于计算机领域的技术人员明显的是，可使用传统的通用或专用数字计算机、或者根据本公开内容的教导编程的微处理器，方便地实施本发明的各部分。
对于软件领域的技术人员明显的是，有技能的编程员可以基于本公开内容的教导容易地准备适当的软件编码。基于本公开内容，对于本领域的技术人员容易明显的是，本发明还可通过制备专用集成电路或者通过将传统组件电路的适当网络互连来实施。
本发明包括计算机程序产品，该计算机程序产品是在其上或其中存储有可以用于控制或使计算机执行本发明的任意处理的指令的存储介质。存储介质可以包括但不限于任意类型的盘(包括软盘、迷你盘(MD)、光碟、DVD、HD-DVD、蓝光、CD-ROM、CD或DVDRW+/-、微驱动器、以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存装置(包括闪存卡、存储条)、磁卡或光卡、SIM卡、MEMS、纳系统(包括分子存储器IC)、RAID装置、远程数据储存器/大容量外存储器/仓储)，或者适合于存储指令和/或数据的任何类型的介质或装置。
本发明包括存储在任意一个计算机可读介质上的软件，该软件不仅用于控制通用/专用计算机或微处理器，而且用于使得计算机或微型处理器与利用本发明的结果的个人用户或其他机构交互。这种软件可包括但不限于装置驱动器、操作系统和用户应用。基本上，这种计算机可读介质还包括用于执行本发明的软件，如上所述。
在通用/专用计算机或微处理器的编程(软件)中包括用于实现本发明的教导的软件模块，其包括但不限于运动估计块、运动补偿块、颜色校正块、预测块、变换块、交织/解交织块、识别块，并且在包括但不限于序列、画面、切片、块和宏块级别的任意级别执行，并且根据本发明的处理显示、存储或通信结果。
本发明可适当地包含、包括、或者基本上包括本文中所述的任意元件(本发明的各部分或特征)及其等同物。另外，不管本文中是否具体公开，都可在没有任意元件的情况下实现本文中作为例证公开的本发明。显然地，根据上述教导可以对本发明进行多种变形和变化。因此，应该理解，在所附权利要求的范围内，可与本文中所具体公开的不同地实现本发明。

Claims (12)

1.一种用于对3D视频数据进行编码的方法，所述3D视频数据包括棋盘式复用图像数据(220)，所述棋盘式复用图像数据(220)包括以棋盘式布置来复用的左视图画面数据和右视图画面数据，所述方法包括：
从所述棋盘式复用图像数据(220)以及从棋盘式复用参考数据(210)根据视频编码标准来生成棋盘式复用残余数据(230)，所述棋盘式复用参考数据(210)来自运动估计和补偿回路，所述棋盘式复用残余数据(230)包括左视图残余数据和右视图残余数据，
对所述棋盘式复用残余数据(230)进行解复用以生成多个解复用残余数据集合(250)，所述多个解复用残余数据集合(250)包括偶数行左视图残余数据集合、奇数行左视图残余数据集合、偶数行右视图残余数据集合和奇数行右视图残余数据集合，以及
对所述多个解复用残余数据集合中的每个解复用残余数据集合执行相应的变换和量化处理。
2.根据权利要求1所述的方法，其中，利用不考虑重叠块的、基于块的方法来执行运动估计和补偿。
3.根据权利要求1所述的方法，还包括帧内预测。
4.根据权利要求1所述的方法，其中，以Z字形扫描顺序扫描得自所述变换和量化处理的系数。
5.一种用于对3D视频数据进行编码的方法，所述3D视频数据包括棋盘式复用图像数据(520)，所述棋盘式复用图像数据(520)包括以棋盘式布置复用的左视图画面数据和右视图画面数据，所述方法包括：
将所述棋盘式复用图像数据(520)解交织(522B)为多个解交织图像数据集合，其中所述解交织图像数据集合包括偶数行左视图图像数据集合、奇数行左视图图像数据集合、偶数行右视图图像数据集合和奇数行右视图图像数据集合，以及
基于所述解交织图像数据集合和来自参考缓存器(525)的解交织参考数据集合执行运动估计(530)和补偿(540)，其中所述解交织参考数据集合包括偶数行左视图参考数据集合、奇数行左视图参考数据集合、偶数行右视图参考数据集合和奇数行右视图参考数据集合。
6.一种对通过根据权利要求1至5中的任一项所述的用于对3D视频数据进行编码的方法编码了的棋盘式编码视频数据进行解码的方法，包括以下步骤：利用菱形块来进行运动估计和/或运动补偿并对残余数据利用方形变换或正交变换。
7.根据权利要求6所述的方法，其中在所述菱形块的边缘上执行去块。
8.根据权利要求6所述的方法，其中在所述视频数据的边界处执行数据填充。
9.根据权利要求6所述的方法，其中：
所述方法被具体化为存储在计算机可读介质上的一组计算机指令；
所述计算机指令在被加载到计算机中时使所述计算机执行所述方法的步骤。
10.根据权利要求9所述的方法，其中，所述计算机指令是作为可执行程序存储在所述计算机可读介质上的被编译的计算机指令。
11.一种编解码器，所述编解码器被配置用于通过根据权利要求1至5中的任一项所述的用于对3D视频数据进行编码的方法编码了的棋盘式编码视频数据，所述编解码器利用菱形块进行运动估计和/或运动补偿并且对残余数据利用方形变换或正交变换。
12.根据权利要求11所述的编解码器，其中，所述编解码器被进一步配置为执行在所述菱形块的边缘上执行的去块以及在所述视频数据的边界处执行的数据填充中的至少之一。
CN200980137255.XA 2008-09-23 2009-09-15 棋盘式多路复用图像数据的编码和解码架构 Expired - Fee Related CN102160387B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US9954208P 2008-09-23 2008-09-23
US61/099,542 2008-09-23
US14805109P 2009-01-29 2009-01-29
US61/148,051 2009-01-29
PCT/US2009/056940 WO2010039417A1 (en) 2008-09-23 2009-09-15 Encoding and decoding architecture of checkerboard multiplexed image data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610051185.8A Division CN105721877A (zh) 2008-09-23 2009-09-15 对交织的图像数据进行解码的方法和包括编解码器的装置

Publications (2)

Publication Number Publication Date
CN102160387A CN102160387A (zh) 2011-08-17
CN102160387B true CN102160387B (zh) 2016-03-02

Family

ID=41278144

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610051185.8A Pending CN105721877A (zh) 2008-09-23 2009-09-15 对交织的图像数据进行解码的方法和包括编解码器的装置
CN200980137255.XA Expired - Fee Related CN102160387B (zh) 2008-09-23 2009-09-15 棋盘式多路复用图像数据的编码和解码架构

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610051185.8A Pending CN105721877A (zh) 2008-09-23 2009-09-15 对交织的图像数据进行解码的方法和包括编解码器的装置

Country Status (5)

Country Link
US (2) US9237327B2 (zh)
EP (1) EP2327226B1 (zh)
JP (1) JP5235035B2 (zh)
CN (2) CN105721877A (zh)
WO (1) WO2010039417A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2327226B1 (en) 2008-09-23 2016-08-10 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
KR101273232B1 (ko) * 2008-12-25 2013-06-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 업―샘플링을 위한 뷰들 간의 불일치에 기초하여 적응형 보간을 이용하는, 디―인터리브된 뷰들의 재구성
CN105376549B (zh) 2009-01-29 2017-08-11 杜比实验室特许公司 视频编码方法及解码视频信号的方法
WO2010123909A1 (en) 2009-04-20 2010-10-28 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
WO2010151555A1 (en) 2009-06-24 2010-12-29 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
JP5722349B2 (ja) * 2010-01-29 2015-05-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ブロックに基づくインターリーブ
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
FR2962291B1 (fr) * 2010-07-01 2012-08-24 St Microelectronics Grenoble 2 Procede de traitement d'images 3d, et systeme correspondant
US9467689B2 (en) 2010-07-08 2016-10-11 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered image and video delivery using reference processing signals
US9438881B2 (en) 2010-07-19 2016-09-06 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
HUE055506T2 (hu) * 2010-07-21 2021-11-29 Dolby Laboratories Licensing Corp Rendszerek és eljárások többrétegû keret-kompatibilis videó továbbítására
EP2622857A1 (en) 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
EP2697975A1 (en) 2011-04-15 2014-02-19 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
CN102215405B (zh) * 2011-06-01 2013-10-23 深圳创维－Rgb电子有限公司 3d视频信号压缩编解码方法、装置及系统
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
KR20150056811A (ko) * 2012-11-13 2015-05-27 인텔 코포레이션 차세대 비디오를 위한 콘텐츠 적응적 변환 코딩
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
US9713982B2 (en) * 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
EP3251351B1 (en) * 2015-01-27 2021-07-14 Dolby International AB Predictive image encoding and decoding with pixel group based quantization
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US9875156B2 (en) 2015-10-01 2018-01-23 Sandisk Technologies Llc Data storage device with a memory die that includes an interleaver

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19619598A1 (de) * 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
CN1367611A (zh) * 2001-01-21 2002-09-04 爱尔得资讯股份有限公司 三维视频图像数字编码方法
US20030223499A1 (en) * 2002-04-09 2003-12-04 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
CN1492687A (zh) * 2003-09-04 2004-04-28 上海大学 多种块模式的快速整像素运动估计方法
CN201066898Y (zh) * 2007-07-17 2008-05-28 西安理工大学 一种实现菱形搜索算法的硬件结构

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL83752A (en) 1987-09-02 1992-03-29 Ibm Israel Method and apparatus for transmitting and receiving 3-dimensional video images
DE68910848T2 (de) 1988-02-23 1994-05-19 Philips Nv Einrichtung zur raumzeitlichen Unterabtastung von digitalen Videosignalen, die eine Folge verschachtelter oder sequentieller Bilder darstellen, Übertragungssystem von Fernsehbildern mit hoher Auflösung mit einer solchen Einrichtung und Stufen zum Senden und Empfangen in einem solchen System.
JPH04183186A (ja) 1990-11-19 1992-06-30 Toshiba Corp 画像記録再生装置
JPH0622290A (ja) 1992-07-03 1994-01-28 Sony Corp 画像信号符号化装置及び復号化装置
JPH0686260A (ja) 1992-08-31 1994-03-25 Victor Co Of Japan Ltd 直交変換符号化方法及び直交変換復号化方法
US5650860A (en) * 1995-12-26 1997-07-22 C-Cube Microsystems, Inc. Adaptive quantization
US6134269A (en) * 1996-09-25 2000-10-17 At&T Corp Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
KR100238136B1 (ko) * 1996-11-28 2000-01-15 윤종용 디지털 비디오 재생장치
JP3454675B2 (ja) 1997-06-20 2003-10-06 三洋電機株式会社 立体映像伝送方法及び装置
US6125201A (en) * 1997-06-25 2000-09-26 Andrew Michael Zador Method, apparatus and system for compressing data
EP1040200A4 (en) * 1997-11-25 2005-04-20 Gen Hospital Corp NUCLEIC ACIDS ASSOCIATED WITH VIRULENCE AND USE THEREOF
EP1269761A1 (en) * 2000-03-31 2003-01-02 Koninklijke Philips Electronics N.V. Encoding of two correlated sequences of data
US6944242B2 (en) * 2001-01-04 2005-09-13 Comsys Communication & Signal Processing Ltd. Apparatus for and method of converting soft symbol information to soft bit information
KR100454194B1 (ko) 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
US20040218269A1 (en) * 2002-01-14 2004-11-04 Divelbiss Adam W. General purpose stereoscopic 3D format conversion system and method
US20050018771A1 (en) * 2002-01-22 2005-01-27 Arnaud Bourge Drift-free video encoding and decoding method and corresponding devices
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
JP4154569B2 (ja) * 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
KR100523052B1 (ko) * 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
JP4406914B2 (ja) 2003-04-30 2010-02-03 日本電気株式会社 立体画像圧縮装置及び立体画像伸長装置
US7480416B2 (en) * 2003-05-09 2009-01-20 Telecommunications Research Laboratories Implementation of discrete wavelet transform using lifting steps
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
DE602004022789D1 (de) * 2004-07-02 2009-10-08 Mitsubishi Electric Inf Tech Intra-Bildprädiktion für zeitlich Hochpass gefilterte Bilder in Wavelet-Videokodierung
WO2006080739A1 (en) * 2004-10-12 2006-08-03 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
US20060282855A1 (en) * 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
EP1897056B1 (en) 2005-06-23 2016-08-10 Koninklijke Philips N.V. Combined exchange of image and related data
SI3920538T1 (sl) 2007-04-12 2023-08-31 Dolby International Ab Razpostavljanje pri kodiranju in dekodiranju videa
US8749615B2 (en) * 2007-06-07 2014-06-10 Reald Inc. Demultiplexing for stereoplexed film and video applications
US8116381B2 (en) * 2007-10-22 2012-02-14 Lg Electronics Inc. Digital broadcasting system and data processing method in digital broadcasting system
US20090174704A1 (en) * 2008-01-08 2009-07-09 Graham Sellers Graphics Interface And Method For Rasterizing Graphics Data For A Stereoscopic Display
CN106507117B (zh) 2008-07-20 2020-01-21 杜比实验室特许公司 立体视频传送系统的编码器优化的方法和设备
EP2327226B1 (en) 2008-09-23 2016-08-10 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
CN105376549B (zh) 2009-01-29 2017-08-11 杜比实验室特许公司 视频编码方法及解码视频信号的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19619598A1 (de) * 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
CN1367611A (zh) * 2001-01-21 2002-09-04 爱尔得资讯股份有限公司 三维视频图像数字编码方法
US20030223499A1 (en) * 2002-04-09 2003-12-04 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
CN1492687A (zh) * 2003-09-04 2004-04-28 上海大学 多种块模式的快速整像素运动估计方法
CN201066898Y (zh) * 2007-07-17 2008-05-28 西安理工大学 一种实现菱形搜索算法的硬件结构

Also Published As

Publication number Publication date
CN102160387A (zh) 2011-08-17
US9877045B2 (en) 2018-01-23
EP2327226A1 (en) 2011-06-01
US9237327B2 (en) 2016-01-12
JP2012503941A (ja) 2012-02-09
JP5235035B2 (ja) 2013-07-10
US20160080772A1 (en) 2016-03-17
WO2010039417A1 (en) 2010-04-08
US20110170792A1 (en) 2011-07-14
CN105721877A (zh) 2016-06-29
EP2327226B1 (en) 2016-08-10

Similar Documents

Publication Publication Date Title
CN102160387B (zh) 棋盘式多路复用图像数据的编码和解码架构
US11284110B2 (en) Coding and decoding of interleaved image data
CN102124742B (zh) 精制深度图
CN102365869B (zh) 用于视频编码的帧打包
CN101099390B (zh) 为多视图编码排序基准帧
CN102100074B (zh) 兼容立体视频递送
CN105981386A (zh) 图像解码装置、图像编码装置及编码数据变换装置
CN102474645A (zh) 图像处理设备和图像处理方法
TW201041402A (en) Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program
US20130271571A1 (en) Method and Arrangement for Processing of Encoded Video
CN103814572A (zh) 帧兼容的全分辨率立体3d压缩和解压缩
KR20120030138A (ko) 신호의 스케일러블 비트스트림으로의 인코딩 및 그러한 비트스트림의 디코딩
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
US20120050465A1 (en) Image processing apparatus and method using 3D image format
KR20090116989A (ko) 영상 부호화 방법, 복호화 방법, 영상 표시 장치 및 그기록 매체
CN101917616A (zh) 用于数字编码3d立体视频图像的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160302

Termination date: 20180915