CN105721877A - 对交织的图像数据进行解码的方法和包括编解码器的装置 - Google Patents

对交织的图像数据进行解码的方法和包括编解码器的装置 Download PDF

Info

Publication number
CN105721877A
CN105721877A CN201610051185.8A CN201610051185A CN105721877A CN 105721877 A CN105721877 A CN 105721877A CN 201610051185 A CN201610051185 A CN 201610051185A CN 105721877 A CN105721877 A CN 105721877A
Authority
CN
China
Prior art keywords
data
codec
intertexture
video
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610051185.8A
Other languages
English (en)
Inventor
亚历山德罗斯·图拉皮斯
阿萨纳西奥斯·莱昂塔里斯
佩沙拉·V·帕哈拉瓦达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN105721877A publication Critical patent/CN105721877A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明提供了一种对交织的图像数据进行解码的方法，该方法包括以下步骤：利用菱形块来进行运动估计和/或运动补偿，以及对残余数据利用方形或正交变换。本发明还提供了一种包括编解码器的装置，该编解码器被配置用于交织的图像数据，该编解码器利用菱形块来进行运动估计和/或运动补偿并且对残余数据利用方形或正交变换。

Description

对交织的图像数据进行解码的方法和包括编解码器的装置
本专利申请是国际申请日为2009年9月15日、国家申请号为200980137255.X、发明名称为“棋盘式多路复用图像数据的编码和解码架构”的专利申请的分案申请。
对相关申请的交叉参考
本申请要求于2008年9月23日提交的美国专利临时申请第61/099,542号和于2009年1月29日提交的美国专利临时申请第61/148,051号的优先权，在此通过引用将其全文合并于此。
技术领域
本发明涉及图像数据解码。
背景技术
近年来，内容提供商越来越关注将立体(3D)内容传递到家庭。不仅3D资料的日益流行和制作推动了该关注，而且消费者已可获得的几种立体装置的出现也推动了该关注。已针对将立体资料传递到家庭提出了几种系统，其主要将特定的视频视图“布置”格式与现有的视频压缩技术(诸如，ISOMPEG-2、MEPG-4AVC/ITU-TH.264、和VC-1)相结合。在显示之前还需要对内容进行解码以供用户观看。
发明内容
本发明人已实现了以下方案以确保在用户当中迅速地采用3D技术：该方案应该是可以通过对现有的诸如机顶盒、DVD和蓝光碟播放器的回放装置以及现有的能够进行3D的显示器进行最少改变或不做改变来实施的方案。一种用于在无需改变回放装置的情况下传递3D内容的可行方案是：通过使用棋盘式布置对两幅视图进行复用来创建、编码并传递视频内容信息(参见图1)。可使用MPEG-4AVC/H.264视频编码标准或其他标准(例如，微软的VC1)来实施这种系统。然而，标准化的编解码器不考虑编码后的3D视频信号的性质，从而导致未达最佳标准的编码性能。
本发明还可被配置为对基于MPEG-4AVC的当前杜比消费者级别3D视频编码系统的扩展。类似的扩展、添加、调整、修改等可应用于其他系统。在这样的实施例等中，本发明扩展MPEG-4AVC标准，以更适当地考虑编码后的信号的特征，从而改善编码效率和性能。例如，不仅在编码器处而且在解码器处都实施本发明。可对其他编码/解码标准、方法、装置、和/或系统进行类似扩展。例如，应用包括蓝光视频碟，并且还可包括具有更多带宽约束(其中)的广播和下载方案。本发明还可用在可以将当前杜比消费者级别3D视频编码系统(或者其他3D和/或多视图系统)改善或增强至全分辨率的可扩缩的方案中。
各种实施例中的本发明主要旨在用于杜比(或其他)立体(3D)格式视频编码器和解码器中，但也可用在其他的杜比和/或非杜比专用设备中。应用包括例如蓝光碟、广播、卫星和IPTV系统等。
在一个实施例中，本发明提供了一种方法，包括以下步骤：修改要应用于解复用数据的变换处理和量化处理，以改善交织内容的视频编码效率。可替换地或者与此结合地，解复用数据可包括例如棋盘式格式化的解复用数据。例如，变换处理和量化处理修改可以仅是影响标准化方法的视频编码效率的修改。可使用例如不考虑重叠块的、基于块的方法来执行运动估计和运动补偿。
运动估计和运动补偿可包括例如帧内预测。视频编码和解码包括基于场内容的数据，并且该方法包括Z字形扫描顺序，以及除变换之外，还可以以考虑内容的特征的方式修改运动估计和运动补偿。在多个实施例中，可将参考数据和源数据这两者都重新布置成多个集合，每个集合根据视图和奇偶性分离数据，并且可将源数据与参考数据进行匹配以进行预测(其可以包括例如帧间预测和帧内预测)。
在其他实施例中，本发明提供了一种对交织图像数据进行解码的方法，该方法包括以下步骤：利用菱形块来进行运动估计和/或运动补偿，以及对残余数据利用方形或正交变换。可替换地或者与此结合地，可在菱形块的边缘上执行去块以及/或者可在图像数据的边界处执行数据填充。
在其他实施例中，可将本发明具体化为包括编解码器的装置，所述编解码器被配置用于交织的图像数据，所述编解码器利用菱形块来进行运动估计和/或运动补偿并且对残余数据利用方形或正交变换。
在各种实施例中，其中，解码器可被配置为对菱形块的边缘执行去块以及/或者在图像数据的边界处执行数据填充。
可在通用计算机或网络计算机上进行编程时方便地实施该装置和方法这两部分，并且可在连接至通用计算机、网络计算机中的任意一个的输出装置上显示结果，或者将结果发送至远程装置以输出或显示。另外，可将以计算机程序、数据序列、和/或控制信号表示的本发明任何部件在任何介质(包括但不限于无线广播、以及经由铜线、光纤线缆和同轴线缆等)中具体化为任何频率的电子信号广播(或者发送)。
附图说明
因为本发明及其附带的许多优点在结合附图考虑时通过参考以下详细描述变得更好理解，所以将容易地获得对本发明及其附带的许多优点的更全面了解，在附图中：
图1是用于传递立体资料的示例性棋盘式交织布置；
图2是基于在帧模式下对棋盘式数据进行解复用的示例性变换；
图3是基于在场模式下对棋盘式数据进行解复用的示例性变换；
图4是根据本发明实施例的无需考虑重叠的块运动补偿的示例；
图5是根据本发明实施例的基于在帧模式下对棋盘式数据进行多路解复用的示例性变换；
图6是根据本发明实施例的示例性视频编码器；
图7是根据本发明实施例的示例性视频解码器；以及
图8是完全考虑内容的性质的利用菱形块来代替利用方形块进行处理的示例。
具体实施方式
本发明人已实现了以下方案以确保在用户当中迅速地采用3D技术：该方案应该是可以通过对现有的诸如机顶盒、DVD、和蓝光碟播放器的回放装置以及现有的3D能力显示器进行最少改变或不做改变来实施的方案。现在参照附图(其中，相同的附图标记表示相同或对应部分)并且更具体地参考其中的图1，示出了一种用于在无需改变回放装置的情况下传递3D内容的可行方案(系统100)，其例如包括通过使用棋盘式布置对两幅视图进行多路复用来创建、编码并传递视频内容信息。
可使用MPEG-4AVC/H.264视频编码标准或其他标准(例如，微软的VC1)来实现这种系统。然而，标准化的编解码器不考虑编码后的3D视频信号的性质，从而导致未达最佳标准的编码性能。具体地，这些编解码器已被设计为并且包括仅记住有逐行或者行交织(隔行)视频内容的工具。这些工具包括诸如运动估计、运动补偿、变换、和量化的工具。然而，棋盘式交织数据可以具有明显不同于逐行或隔行内容的特征。在本发明中，我们扩展这些工具以适当地考虑棋盘式内容的该特性，并且因此，提高了棋盘式内容的编码效率。
在第一实施例中，可以通过仅修改要应用于棋盘式解复用数据的变换和量化处理来实现棋盘式交织内容的视频编码效率。具体地，如还可以从图2中所看到，其是基于在帧模式下对棋盘式数据进行解复用的示例性变换。如图2所示，参考棋盘式(CB)块210和源CB块220产生残余CB块230，该残余CB块被变换多路分解器240多路分解成变换块250。在这种情况下，使用不考虑重叠块的、基于传统块的方法来执行运动估计和补偿(例如参见图4，其是在无需考虑重叠的情况下的块运动补偿的示例)。在图4中，在410处示出使用不同块大小的非重叠预测。该处理可以通过通常棋盘式多路复用数据以相似运动为特征的论据来论证。
图3是基于在场模式下对棋盘式数据进行解复用的示例性变换。如图3所示，参考块310和源块320产生残余块330，残余块330被变换多路分解器340多路分解成变换块350。
然而，在执行运动补偿或帧内预测后，在变换和量化前对残余数据进行棋盘式解复用。假定在现有编解码器中所采用的普通变换方法是方形或正交的，则在这种情况下进行解复用不仅根据不同视图而发生，而且还根据行而发生。这会导致产生4个必须被变换的块，例如，使用4×4或8×8整数DCT或其他变换、量化、Z字型扫描并被编码。在另一实施例中，对于隔行(即，场)画面，由于数据已处于适合对这样的操作进行操作的布置，因此，仅需要执行垂直解复用。可以以序列、画面、切片(slice)、宏块、或块级别用信号通知该处理。还可以适当地设计量化系数的扫描顺序，以考虑横轴与纵轴的频率差。具体地，对于场内容，考虑水平频率与垂直频率之间的差，一般在垂直方向上变换系数的扫描顺序存在偏差。然而，考虑我们引入的新的编码布置，则不需要这种修改，并且仍可以使用正常(即，Z字型)扫描顺序。
在可选实施例中，除了变换外，以与考虑内容的特征相类似的方式修改运动估计和运动补偿处理。更具体地，将参考数据和源数据这两者重新布置成多个集合，每个集合根据视图和奇偶性分离数据。这基本上会导致产生四(4)个不同布置(例如，偶/上或奇/下的左视图和右视图)。这可以在图5中看出，图5是基于在帧模式下对棋盘式数据进行解复用的示例性变换，并且示出了参考图像510/源图像520的解交织522A/522B、以及包括参考缓存器525、视差估计器530和视差补偿540的部件。如图5所示，参考图像解交织结果以左上框开始顺时针方向地包括：从左视图画面(或CBLT(左上角))的偶数行起的“x”集合、从左视图(或CBLB(左下角))的奇数行起的“x”集合、从右视图画面(或CBRT(右上角))的偶数行起的“o”集合、和从右视图画面(或CBRB(右下角))的奇数行起的“o”集合。针对源图像示出了匹配格式的解交织。
可以将来自源的每个布置与参考数据的任意布置匹配，以进行预测，其中，该预测可以包括帧内预测和帧间预测这两者。在预测源数据之后，还以相同布置对残余数据进行变换、量化并编码。可以将该处理看成很类似于如何执行隔行编码，其中，将数据布置成奇数和偶数场/行数据。然而，在本发明中，也进一步将数据布置成奇数和偶数列。类似于我们的变换方法(其可以被单独使用或者与其他技术结合使用)，可以以序列、画面、切片、宏块或块级别用信号通知该方法的使用。
例如，可以将画面级别方法看成对4幅不同画面CBLT、CBLB、CBRT和CBRB执行编码。这四幅画面可以参考任意先前编码后、可在缓存器中得到的画面。出于显而易见的原因，默认参考列表排序根据这些画面的拓扑而存在偏差，即，CBLT画面会将较高优先级赋予先前的CBLT画面，CBLB画面会将较高优先级赋予先前CBLB画面等。可以利用现有的编码工具(即，AVC)对每幅这样的画面进行编码。当对全部画面进行解码时，于是在帧缓存器中将它们重新组合成棋盘式图像，以进一步处理。如果失效，则利用现有(例如，逐行或隔行)编码方法，诸如已在MPEG-4AVC或VC1中利用的编码方法。应该注意，类似于MPEG-4AVC中已存在的用于隔行编码的方法，各种信号通知方法使得能够以画面、切片、宏块、或/和块级别将传统方法与我们的方法结合。
在另一实施例中，仅对同一集合的像素应用使用这种方法对像素数据的去块。在图6和图7中分别可以看到采用这种方法的编码器600和解码器700。
在其他实施例中，考虑内容的特征，我们可以考虑菱形块，来替代利用方形或正交块进行预测、变换和量化。图8是系统800的示例，该系统利用充分地考虑内容的性质的菱形块替代利用方形块来进行处理。在图8中，示出了示例性右视图画面为变暗的竖条纹状“o”像素成分(菱形)、以及示例性左视图画面为在每个变暗的竖条纹状“o”像素成分正下面的变暗的横条纹状“x”像素成分(也是菱形)。即，对大小N×M的菱形块采用运动估计和补偿，同时通过使用首先使残余部分旋转适当角度(例如，45度)的方形或正交变换，可以执行对残余数据的变换。在这种情况下，在菱形块数据的边缘上执行去块。此外，通过适当地填充数据来处理图像边界。该方法可以再次在序列、画面、切片、宏块或块级别处实现，并且可以与先前描述的方法中任意一种结合。然而，主要由于复杂性和性能原因，优选地主要在序列或画面级别考虑该方法。
在又一实施例中，可利用上述方法中的任意一种，来不仅对棋盘式交织图像而且还对来自棋盘式交织图像的残余数据进行编码，或者对使用周期性方形平铺方法交织的四个图像的组合进行编码。
显然地，根据上述教导可以对本发明进行多种变形和改变。因此，应该理解，除了如本文中所具体描述的那样外，还可在随后提交的实用专利申请中所包括的权利要求的范围内实现本发明。
在描述附图中示出的本发明的优选实施例时，为了清楚而采用特定术语。然而，本发明并不旨在被限于所选特定术语，并且应该理解，每个特定元件均包括以类似方式操作的全部技术等同物。例如，当描述本发明的一部分或处理时，不管本文中是否列出，可以用任何其他等同装置、或者具有等同功能或能力的其他装置替代。此外，发明人认识到还可用现在未知的新开发的技术替代所描述的部分，并且仍然不背离本发明的范围。还应该根据任何以及全部可用等同物考虑所描述的所有其他项目，其他项目包括但不限于参考缓存器、解复用器、估计器、补偿装置/机构、编解码器、格式、模式等。
对于计算机领域的技术人员明显的是，可使用传统的通用或专用数字计算机、或者根据本公开内容的教导编程的微处理器，方便地实施本发明的各部分。
对于软件领域的技术人员明显的是，有技能的编程员可以基于本公开内容的教导容易地准备适当的软件编码。基于本公开内容，对于本领域的技术人员容易明显的是，本发明还可通过制备专用集成电路或者通过将传统组件电路的适当网络互连来实施。
本发明包括计算机程序产品，该计算机程序产品是在其上或其中存储有可以用于控制或使计算机执行本发明的任意处理的指令的存储介质。存储介质可以包括但不限于任意类型的盘(包括软盘、迷你盘(MD)、光碟、DVD、HD-DVD、蓝光、CD-ROM、CD或DVDRW+/-、微驱动器、以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存装置(包括闪存卡、存储条)、磁卡或光卡、SIM卡、MEMS、纳系统(包括分子存储器IC)、RAID装置、远程数据储存器/大容量外存储器/仓储)，或者适合于存储指令和/或数据的任何类型的介质或装置。
本发明包括存储在任意一个计算机可读介质上的软件，该软件不仅用于控制通用/专用计算机或微处理器，而且用于使得计算机或微型处理器与利用本发明的结果的个人用户或其他机构交互。这种软件可包括但不限于装置驱动器、操作系统和用户应用。基本上，这种计算机可读介质还包括用于执行本发明的软件，如上所述。
在通用/专用计算机或微处理器的编程(软件)中包括用于实现本发明的教导的软件模块，其包括但不限于运动估计块、运动补偿块、颜色校正块、预测块、变换块、交织/解交织块、识别块，并且在包括但不限于序列、画面、切片、块和宏块级别的任意级别执行，并且根据本发明的处理显示、存储或通信结果。
本发明可适当地包含、包括、或者基本上包括本文中所述的任意元件(本发明的各部分或特征)及其等同物。另外，不管本文中是否具体公开，都可在没有任意元件的情况下实现本文中作为例证公开的本发明。显然地，根据上述教导可以对本发明进行多种变形和变化。因此，应该理解，在所附权利要求的范围内，可与本文中所具体公开的不同地实现本发明。
发明构思
本发明提供了以下发明构思：
1.一种方法，包括以下步骤：修改要应用于解复用数据的变换处理和量化处理中的至少之一，以改善交织内容的视频效率。
2.根据发明构思1所述的方法，其中，所述解复用数据包括棋盘式格式化的解复用数据。
3.根据发明构思1所述的方法，其中，变换处理和量化处理中的至少之一的修改仅是影响标准化方法的视频编码效率的修改。
4.根据发明构思1所述的方法，还包括运动估计和运动补偿中的至少之一的步骤，其中，使用不考虑重叠块的、基于块的方法执行所述运动估计和运动补偿中的至少之一。
5.根据发明构思4所述的方法，其中，所述运动估计和运动补偿包括帧内预测。
6.根据发明构思1所述的方法，其中，所述数据包括基于场内容的数据，并且所述方法包括Z字形扫描顺序。
7.根据发明构思4所述的方法，其中，除了所述变换外，以考虑所述内容的特征的方式对所述运动估计和运动补偿进行修改。
8.根据发明构思7所述的方法，其中，将参考数据和源数据这两者都重新布置成多个集合，每个集合根据视图和奇偶性分离数据。
9.根据发明构思8所述的方法，其中，将所述源数据与参考数据进行匹配以进行预测。
10.根据发明构思9所述的方法，其中，所述预测包括帧间预测和帧内预测。
11.一种用于对交织的图像数据进行解码的方法，包括以下步骤：利用菱形块来进行运动估计和/或运动补偿，并且对残余数据利用方形变换或正交变换。
12.根据发明构思11所述的方法，其中，在所述菱形块的边缘上执行去块。
13.根据发明构思11所述的方法，其中，在所述图像数据的边界处执行数据填充。
14.根据发明构思11所述的方法，其中：
所述方法被具体化为存储在计算机可读介质上的一组计算机指令；
所述计算机指令在被加载到计算机中时使所述计算机执行所述方法的步骤。
15.根据发明构思14所述的方法，其中，所述计算机指令是作为可执行程序存储在所述计算机可读介质上的被编译的计算机指令。
16.一种装置，包括：编解码器，所述编解码器被配置为利用菱形块进行运动估计和/或运动补偿，并且对残余数据利用方形变换或正交变换来用于交织的图像数据。
17.根据发明构思16所述的装置，其中，所述编解码器被进一步配置为执行在所述菱形块的边缘上执行的去块以及在所述图像数据的边界处的数据填充中的至少之一。

Claims (21)

1.一种对交织的图像数据进行解码的方法，包括以下步骤：利用菱形块来进行运动估计和/或运动补偿，以及对残余数据利用方形或正交变换。
2.根据权利要求1所述的方法，其中，在所述菱形块的边缘上执行去块。
3.根据权利要求1所述的方法，其中，在所述交织的图像数据的边界处执行数据填充。
4.根据权利要求1所述的方法，其中：
所述方法用存储在计算机可读介质上的一组计算机指令来实施；并且
所述计算机指令当被加载到计算机中时使得所述计算机执行所述方法的步骤。
5.根据权利要求4所述的方法，其中，所述计算机指令是作为可执行程序存储在所述计算机可读介质上的经编译的计算机指令。
6.根据权利要求1所述的方法，其中，所述方法由包括顶上装置、DVD播放器、蓝光播放器和显示器中的至少一个的装置来执行。
7.根据权利要求1所述的方法，其中，所述方法由回放装置来执行，并且所述交织的图像数据是3D编码视频的交织的左视图和右视图，所述交织的图像数据还用不考虑所述3D编码视频的性质的基于标准的编解码器来格式化。
8.根据权利要求7所述的方法，其中，所述基于标准的编解码器包括AVC/H.264视频编码标准。
9.根据权利要求7所述的方法，其中，所述基于标准的编解码器包括MPEG编码标准。
10.根据权利要求7所述的方法，其中，所述基于标准的编解码器包括基于MPEG-4AVC的消费者级别3D视频编码系统。
11.根据权利要求6所述的方法，其中，所述顶上装置是机顶盒。
12.一种包括编解码器的装置，所述编解码器被配置用于交织的图像数据，所述编解码器利用菱形块来进行运动估计和/或运动补偿并且对残余数据利用方形或正交变换。
13.根据权利要求12所述的装置，其中，所述编解码器还被配置成执行以下中的至少一个：在所述菱形块的边缘上执行的去块；以及在所述交织的图像数据的边界处的数据填充。
14.根据权利要求12所述的装置，其中，所述装置包括机顶盒、DVD播放器、蓝光播放器和3D能力显示器中的至少一个。
15.根据权利要求12所述的装置，其中，所述装置包括回放装置，并且所述交织的图像数据是3D编码视频的交织的左视图和右视图，所述交织的图像数据还用不考虑所述3D编码视频的性质的基于标准的编解码器来格式化。
16.根据权利要求15所述的装置，其中，所述基于标准的编解码器包括AVC/H.264视频编码标准。
17.根据权利要求15所述的装置，其中，所述基于标准的编解码器包括MPEG编码标准。
18.根据权利要求12所述的装置，其中，所述装置是被连接的下载或广播视频方案的一部分。
19.根据权利要求12所述的装置，其中，所述装置提供改善或增强多视图编码系统从而将其上转换至全分辨率的可扩缩的方案。
20.根据权利要求12所述的装置，其中，所述装置被建构到机顶盒、包括蓝光的视频播放器和显示器中的至少一个中。
21.根据权利要求20所述的装置，其中，所述装置是广播、卫星和IPTV系统中的至少一个的一部分。
CN201610051185.8A 2008-09-23 2009-09-15 对交织的图像数据进行解码的方法和包括编解码器的装置 Pending CN105721877A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US9954208P 2008-09-23 2008-09-23
US61/099,542 2008-09-23
US14805109P 2009-01-29 2009-01-29
US61/148,051 2009-01-29

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200980137255.XA Division CN102160387B (zh) 2008-09-23 2009-09-15 棋盘式多路复用图像数据的编码和解码架构

Publications (1)

Publication Number Publication Date
CN105721877A true CN105721877A (zh) 2016-06-29

Family

ID=41278144

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200980137255.XA Expired - Fee Related CN102160387B (zh) 2008-09-23 2009-09-15 棋盘式多路复用图像数据的编码和解码架构
CN201610051185.8A Pending CN105721877A (zh) 2008-09-23 2009-09-15 对交织的图像数据进行解码的方法和包括编解码器的装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN200980137255.XA Expired - Fee Related CN102160387B (zh) 2008-09-23 2009-09-15 棋盘式多路复用图像数据的编码和解码架构

Country Status (5)

Country Link
US (2) US9237327B2 (zh)
EP (1) EP2327226B1 (zh)
JP (1) JP5235035B2 (zh)
CN (2) CN102160387B (zh)
WO (1) WO2010039417A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237327B2 (en) 2008-09-23 2016-01-12 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
WO2010075346A1 (en) * 2008-12-25 2010-07-01 Dolby Laboratories Licensing Corporation Reconstruction of de-interleaved views, using adaptive interpolation based on disparity between the views for up-sampling
US9025670B2 (en) 2009-01-29 2015-05-05 Dolby Laboratories Licensing Corporation Methods and devices for sub-sampling and interleaving multiple images, EG stereoscopic
JP5562408B2 (ja) 2009-04-20 2014-07-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 指揮された補間およびデータの後処理
WO2012044487A1 (en) 2010-10-01 2012-04-05 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
EP2446636A1 (en) 2009-06-24 2012-05-02 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
US9215445B2 (en) * 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
US9426441B2 (en) * 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
FR2962291B1 (fr) * 2010-07-01 2012-08-24 St Microelectronics Grenoble 2 Procede de traitement d'images 3d, et systeme correspondant
JP5693716B2 (ja) * 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
EP2596635B1 (en) 2010-07-19 2020-05-20 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
PL2596637T3 (pl) * 2010-07-21 2021-12-13 Dolby Laboratories Licensing Corporation Systemy i sposoby dostarczania wielowarstwowego wideo zgodnego z ramką
WO2012145191A1 (en) 2011-04-15 2012-10-26 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
CN102215405B (zh) * 2011-06-01 2013-10-23 深圳创维－Rgb电子有限公司 3d视频信号压缩编解码方法、装置及系统
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
CN104704827B (zh) * 2012-11-13 2019-04-12 英特尔公司 用于下一代视频的内容自适应变换译码
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) * 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
EP3251351B1 (en) * 2015-01-27 2021-07-14 Dolby International AB Predictive image encoding and decoding with pixel group based quantization
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US9875156B2 (en) 2015-10-01 2018-01-23 Sandisk Technologies Llc Data storage device with a memory die that includes an interleaver

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19619598A1 (de) * 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
CN1367611A (zh) * 2001-01-21 2002-09-04 爱尔得资讯股份有限公司 三维视频图像数字编码方法
US20030022349A1 (en) * 1997-11-25 2003-01-30 Ausubel Frederick M. Virulence-associated nucleic acid sequences and uses thereof
CN1492687A (zh) * 2003-09-04 2004-04-28 上海大学 多种块模式的快速整像素运动估计方法
CN201066898Y (zh) * 2007-07-17 2008-05-28 西安理工大学 一种实现菱形搜索算法的硬件结构

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL83752A (en) * 1987-09-02 1992-03-29 Ibm Israel Method and apparatus for transmitting and receiving 3-dimensional video images
FI89546C (fi) 1988-02-23 1993-10-11 Philips Nv Anordning foer spatialtemporal undersampling av digitala videosignaler representerade en foeljd av successiva bilder och anordning foer transmission av hdtv-bilder
JPH04183186A (ja) 1990-11-19 1992-06-30 Toshiba Corp 画像記録再生装置
JPH0622290A (ja) * 1992-07-03 1994-01-28 Sony Corp 画像信号符号化装置及び復号化装置
JPH0686260A (ja) * 1992-08-31 1994-03-25 Victor Co Of Japan Ltd 直交変換符号化方法及び直交変換復号化方法
US5650860A (en) * 1995-12-26 1997-07-22 C-Cube Microsystems, Inc. Adaptive quantization
US6134269A (en) * 1996-09-25 2000-10-17 At&T Corp Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
KR100238136B1 (ko) * 1996-11-28 2000-01-15 윤종용 디지털 비디오 재생장치
JP3454675B2 (ja) 1997-06-20 2003-10-06 三洋電機株式会社 立体映像伝送方法及び装置
US6125201A (en) * 1997-06-25 2000-09-26 Andrew Michael Zador Method, apparatus and system for compressing data
EP1269761A1 (en) * 2000-03-31 2003-01-02 Koninklijke Philips Electronics N.V. Encoding of two correlated sequences of data
US6944242B2 (en) * 2001-01-04 2005-09-13 Comsys Communication & Signal Processing Ltd. Apparatus for and method of converting soft symbol information to soft bit information
KR100454194B1 (ko) 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
US20040218269A1 (en) * 2002-01-14 2004-11-04 Divelbiss Adam W. General purpose stereoscopic 3D format conversion system and method
CN1620815A (zh) * 2002-01-22 2005-05-25 皇家飞利浦电子股份有限公司 无漂移的视频编码和解码方法以及相应的设备
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
JP4154569B2 (ja) * 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
KR100523052B1 (ko) * 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
JP4406914B2 (ja) 2003-04-30 2010-02-03 日本電気株式会社 立体画像圧縮装置及び立体画像伸長装置
US7480416B2 (en) * 2003-05-09 2009-01-20 Telecommunications Research Laboratories Implementation of discrete wavelet transform using lifting steps
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
EP1613091B1 (en) * 2004-07-02 2009-08-26 Mitsubishi Electric Information Technology Centre Europe B.V. Intra-frame prediction for high-pass temporal-filtered frames in wavelet video coding
WO2006080739A1 (en) * 2004-10-12 2006-08-03 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
US20060282855A1 (en) * 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
JP5431726B2 (ja) 2005-06-23 2014-03-05 コーニンクレッカ フィリップス エヌ ヴェ 画像および関連データの組み合わされた交換
BRPI0823512A2 (pt) 2007-04-12 2013-11-26 Thomson Licensing Ladrilhamento em codificação e decodificação de vídeo
US8749615B2 (en) * 2007-06-07 2014-06-10 Reald Inc. Demultiplexing for stereoplexed film and video applications
US8116381B2 (en) * 2007-10-22 2012-02-14 Lg Electronics Inc. Digital broadcasting system and data processing method in digital broadcasting system
US20090174704A1 (en) * 2008-01-08 2009-07-09 Graham Sellers Graphics Interface And Method For Rasterizing Graphics Data For A Stereoscopic Display
CN106507117B (zh) 2008-07-20 2020-01-21 杜比实验室特许公司 立体视频传送系统的编码器优化的方法和设备
US9237327B2 (en) 2008-09-23 2016-01-12 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
US9025670B2 (en) 2009-01-29 2015-05-05 Dolby Laboratories Licensing Corporation Methods and devices for sub-sampling and interleaving multiple images, EG stereoscopic

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19619598A1 (de) * 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
US20030022349A1 (en) * 1997-11-25 2003-01-30 Ausubel Frederick M. Virulence-associated nucleic acid sequences and uses thereof
CN1367611A (zh) * 2001-01-21 2002-09-04 爱尔得资讯股份有限公司 三维视频图像数字编码方法
CN1492687A (zh) * 2003-09-04 2004-04-28 上海大学 多种块模式的快速整像素运动估计方法
CN201066898Y (zh) * 2007-07-17 2008-05-28 西安理工大学 一种实现菱形搜索算法的硬件结构

Also Published As

Publication number Publication date
US20160080772A1 (en) 2016-03-17
EP2327226B1 (en) 2016-08-10
JP2012503941A (ja) 2012-02-09
US9237327B2 (en) 2016-01-12
US20110170792A1 (en) 2011-07-14
WO2010039417A1 (en) 2010-04-08
EP2327226A1 (en) 2011-06-01
CN102160387B (zh) 2016-03-02
JP5235035B2 (ja) 2013-07-10
CN102160387A (zh) 2011-08-17
US9877045B2 (en) 2018-01-23

Similar Documents

Publication Publication Date Title
CN102160387B (zh) 棋盘式多路复用图像数据的编码和解码架构
CN102301715B (zh) 视频编码方法、视频装置和编码系统
CN102365869B (zh) 用于视频编码的帧打包
CN102124742B (zh) 精制深度图
CN105981386B (zh) 图像解码装置、图像编码装置及编码数据变换装置
CN101099390B (zh) 为多视图编码排序基准帧
US20130271571A1 (en) Method and Arrangement for Processing of Encoded Video
CN101204094A (zh) 可缩放地编码和解码视频信号的方法
CN102577375A (zh) 用于三维视频的层间依赖性信息
TW201041402A (en) Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program
CN101917616A (zh) 用于数字编码3d立体视频图像的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160629