CN102804785A - 编码、解码和发布增强分辨率的立体视频 - Google Patents

编码、解码和发布增强分辨率的立体视频 Download PDF

Info

Publication number
CN102804785A
CN102804785A CN201080026073.8A CN201080026073A CN102804785A CN 102804785 A CN102804785 A CN 102804785A CN 201080026073 A CN201080026073 A CN 201080026073A CN 102804785 A CN102804785 A CN 102804785A
Authority
CN
China
Prior art keywords
dimensional
image
video
basic layer
layer video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201080026073.8A
Other languages
English (en)
Inventor
M·考恩
D·J·麦克奈特
B·W·沃克
M·珀金斯
M·G·鲁宾逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RealD Inc
Original Assignee
RealD Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RealD Inc filed Critical RealD Inc
Publication of CN102804785A publication Critical patent/CN102804785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本公开内容总地涉及立体图像和立体视频信号，并且更具体地，涉及在无需附加系统功能的情况下编码、发布和解码用在以下内容中的立体图像和立体视频信号：电视和高清晰度电视系统、电话会议、电视电话、计算机视频传输、数码照相机以及包括以与现有的基础设施兼容的形式通过任何合适的介质存储和/或传输静止或运动立体图像或者运动和静止立体图像组合的其他应用，同时提供使得可在保持与现有基础设施兼容的同时允许发布更高分辨率图像的手段。本公开的技术可以被用于例如使用目前的基础设施通过光盘、卫星、广播、电缆或互联网将立体3D电影发布给消费者。

Description

编码、解码和发布增强分辨率的立体视频
相关申请的交叉引用：本申请要求2009年4月13日递交、标题为“System and methodfor delivering full resolution stereoscopic images(用于传递全分辨率立体图像的系统和方法)”的美国临时专利申请序号No.61/168,925的优先权，为所有目的通过引用将该美国临时专利申请并入本文。
技术领域
本公开内容总地涉及立体图像和立体视频，并且更具体地，涉及通过常规2D传递基础设施使用帧兼容技术来编码、发布(distributing)和解码立体图像和立体视频。
发明内容
本公开内容提供这样的方法和系统，所述方法和系统使用现有2D发布方法(诸如光盘、电缆、卫星、广播或互联网协议)将全分辨率立体3D内容传递到消费者。该方法包括通过将增强层包括在由消费者接收的图像流中来提供增强图像分辨率特性的能力。该增强层与目前流行的将图像输送到消费者的方法兼容。在家里接收3D图像的设备(比如，盘播放器、机顶盒、电视机等)可以包含使用增强层的功能。也可以在无需升级消费者的硬件的情况下接收高质量3D图像。在一些情况下，不使用增强层。消费者可以通过获取支持附加功能的硬件和/或软件来选择升级他的系统和接收改进的图像质量。在一个方面，公开了由用户的显示设备支持的：从全分辨率数据提取基本层数据和增强层数据的装置和技术；压缩基本层数据和增强层数据的装置和技术；在标准MPEG结构内输送基本层数据和增强层数据的装置和技术；将基本层和增强层重新组装(re-assemble)为全分辨率数据的装置和技术；以及将全分辨率数据转换为优选格式的装置和技术。常规MPEG或VC1压缩技术可以被用于压缩基本层和增强层这二者。在一个方面，公开了仅从基本层重构高质量图像，而不使用增强层数据。
根据一方面，一种用于对立体图像进行编码的方法包括：接收立体视频序列；以及从立体视频序列产生立体基本层视频和立体增强层视频。该方法还可以包括：将立体基本层视频压缩到压缩立体基本层，以及将立体增强层视频压缩到压缩立体增强层。立体基本层视频可以包括低通基本层和高通增强层。
根据另一方面，一种用于对立体信号进行编码的方法包括：接收立体视频序列；以及从立体视频序列产生立体基本层视频。该方法还包括：将立体基本层视频压缩到压缩立体基本层；从立体视频序列与立体基本层视频之间的差别(difference)产生立体增强层视频，以及将立体增强层视频压缩到压缩立体增强层。
根据又一方面，一种用于选择性地将立体内容解码为标准分辨率立体视频或增强分辨率立体视频的装置包括提取模块及第一解压缩模块和第二解压缩模块。提取模块可操作来：接收输入比特流并且从输入比特流提取压缩立体基本层视频和压缩立体增强层视频。第一解压缩模块可操作来将压缩立体基本层视频解压缩为立体基本层视频。第二解压缩模块可操作来将压缩立体增强层视频信号解压缩为立体增强层视频。
通过阅读具体实施方式、查看附图和阅读所附权利要求，其他特征和方面将会是清楚的。
附图说明
图1是根据本公开内容的用于对立体视频进行编码的装置的示意性框图；
图2是根据本公开内容的用于对立体视频进行解码的装置的示意性框图；
图3是根据本公开内容的用于对立体视频进行编码的另一个装置的示意性框图；
图4是根据本公开内容的用于对立体视频进行解码的另一个装置的示意性框图；
图5A示出根据本公开内容的基本采样网格(cardinal sampling grid)，并且图5B示出根据本公开内容的它的相关联的空间频率响应；
图6示出根据本公开内容的各向同性成像系统的空间频率响应；
图7A示出根据本公开内容的五点形采样网格，并且图7B示出根据本公开内容的它的相关联的空间频率响应；
图8示出根据本公开内容的人类视觉系统频率响应的逼近；
图9A示出根据本公开内容的具有降低的水平分辨率的基本采样网格，并且图9B示出根据本公开内容的它的相关联的空间频率响应；
图10A示出根据本公开内容的具有降低的垂直分辨率的基本采样网格，图10B显示根据本公开内容的它的相关联的空间频率响应；
图11是示出根据本公开内容的奇数和偶数五点形采样图案的定义的示意图；
图12是图示说明根据本公开内容的水平挤压五点形二次采样图像的处理的示意图；
图13是图示说明根据本公开内容的使用五点形二次采样基本层和增强层及2D菱形卷积滤波器的立体图像处理编码技术的示意图；
图14是图示说明根据本公开内容的使用五点形二次采样基本层和增强层及2D菱形卷积滤波器的立体图像处理解码技术的示意图；
图15是图示说明根据本公开内容的使用五点形二次采样基本层和增强层及2D菱形提升(lifting)离散小波变换滤波器的立体图像处理编码技术的示意图；
图16是图示说明根据本公开内容的使用五点形二次采样基本层和增强层及2D菱形提升离散小波变换滤波器的立体图像处理编码技术的示意图；
图17是图示说明根据本公开内容的使用列二次采样基本层和增强层及1D水平卷积滤波器的立体图像处理编码技术的示意图；
图18是图示说明根据本公开内容的使用列二次采样基本层和增强层及1D水平卷积滤波器的立体图像处理解码技术的示意图；
图19是图示说明根据本公开内容的使用列二次采样基本层和增强层及1D垂直卷积滤波器的立体图像处理编码技术的示意图；
图20是图示说明根据本公开内容的使用列二次采样基本层和增强层及1D垂直卷积滤波器的立体图像处理解码技术的示意图；
图21是示出根据本公开内容的实现2D菱形形状低通滤波器的9×9卷积核的系数的实施例的表；
图22示出根据本公开内容的2带完全重构滤波器的频率响应的1D实施例；
图23示出根据本公开内容的2带完全重构滤波器的频率响应的1D实施例，该频率响应被修改以改进图像质量；
图24是根据本公开内容的2D非可分提升滤波器和系数的示意性框图；
图25是图示说明根据本公开内容的从菱形低通滤波左图像和右图像到行交织格式的立体图像处理转换技术的示意图；
图26是图示说明根据本公开内容的从菱形低通滤波左图像和右图像到列交织格式的立体图像处理转换技术的示意图；
图27是图示说明根据本公开内容的从菱形低通滤波左图像和右图像到帧交织格式的立体图像处理转换技术的示意图；
图28是图示说明根据本公开内容的从全带宽左图像和右图像到行交织格式的立体图像处理转换技术的示意图；
图29是图示说明根据本公开内容的从全带宽左图像和右图像到列交织格式的立体图像处理转换技术的示意图；
图30是图示说明根据本公开内容的从全带宽左图像和右图像到帧交织格式的立体图像处理转换技术的示意图；
图31是图示说明根据本公开内容的从菱形低通滤波左图像和右图像到DLP菱形格式的立体图像处理转换技术的示意图；
图32是图示说明根据本公开内容的从全带宽左图像和右图像到DLP菱形格式的立体图像处理转换技术的示意图；
图33是图示说明根据本公开内容的从并排(side-by-side)菱形滤波左图像和右图像到DLP菱形格式的立体图像处理转换技术的示意图；
图34是常规ATSC广播系统的示意性框图；以及
图35是图示说明根据本公开内容的用于视频基本流(ES)的传输流(TS)打包处理的示意性框图。
术语词汇表
术语   意义
2D     二维
3D     三维或立体
ATSC   先进电视系统委员会
AVC    先进视频编码
BD     蓝光盘
CMF    共轭镜像滤波器
DBS    直接广播系统
DCT    离散余弦变换
DFT    离散傅立叶变换
DLP    数字光投影
DVD    数字多功能盘
ES     基本流
HD     高清晰度
HVS    人类视觉系统
IDWT   逆离散小波变换
MPEG   运动图像专家组
MVC    多视图视频编码
PAT    程序关联表
PES    打包基本流
PID    包ID
PMT    程序映射表(program mat table)
PR     完全重构
PSI    程序特定信息
PTS    呈现时间戳
PUSI   有效载荷单元开始指示符
QMF    正交镜像滤波器
SEI    补充增强信息
SVC    可分级视频编码
TS     传输流
VCI    SMPTE 421M视频编解码器标准
具体实施方式
通过显示分离的左眼图像和右眼图像来创建立体(有时通称为平面-立体)3D图像。可以以许多方式将这些图像传递到显示器，所述方式包括作为分离流或者作为单个复用流。为了作为分离流传递，可以在硬件水平和软件水平这二者上对现有广播和消费电子基础设施进行修改。
用于传递2D图像的重要基础设施已经在全世界安置到位，所述基础设施包括，但不限于，利用光盘(DVD、蓝光盘和HD DVD)、卫星、广播、电缆和互联网的系统。这些系统能够处理特定的压缩类型，诸如MPEG-2、MPEG-4/AVC或VC1。这些系统的目标为2D影像。如Lipton等人的美国专利No.5,193,000中所公开的，目前的复用系统将立体图像对作为简单的2D图像放置到可以被发布系统处理的2D图像中，该美国专利通过引用被并入本文。在显示器处，可以对复用的2D图像进行解复用，以提供分离的左图像和右图像。
如Lipton等人的美国专利No.5,572,250中所公开的，现有信令系统可以指示时间复用的(帧或场交织的)立体图像流中的给定帧是左图像、右图像，还是2D(单(mono))图像，该美国专利通过引用被并入本文。这些信令系统被描述为“带内(in-band)”，“带内”意味着它们使用图像的活动查看区(active viewing area)中的像素来携带信号，从而用该信号替换图像视觉数据。这可以导致高达一线或更多线(一行或更多行)图像数据的损失。
存在将立体对放入单个图像帧中的几种复用方法。一种方法是对左帧和右帧中的每个进行二次采样，并且将每个打包到2D帧中可用的一半物理像素中。该二次采样可以在水平、垂直或对角线方向上进行。在垂直或水平二次采样的情况下，所得图像分辨率不保持相等的水平和垂直分辨率，从而导致感知图像质量损失。
目前电视的习惯做法使用像素被布置在水平行和垂直列中的基本(或笛卡尔)采样，这些像素通常具有类似的水平和垂直间隔(比如，“正方像素”)。图5A示出基本采样网格及其相关联的空间频率响应。基本采样生成并非各向同性的空间频率响应——如图5B所示，它的对角线分辨率大于水平或垂直分辨率，为水平或垂直分辨率的
Figure BDA0000118935150000051
倍或者大约1.41倍。然而，人类视觉对水平和垂直细节更敏感。图8示出人类视觉系统(HVS)频率响应。图6示出真正的各向同性分辨率，该分辨率将导致圆形空间频率响应。图9A示出水平分辨率降低的基本采样网格及其相关联的空间频率响应，并且图10A示出垂直分辨率降低的基本采样网格及其相关联的空间频率响应。
一种可替换的方法是对图像进行对角线采样，该方法也被称为五点形采样。图7A示出五点形采样网格，并且图7B示出五点形采样频率响应。与基本采样相比，五点形采样使用一半数量的像素来表征图像。在该方法中，空间频率响应具有菱形的形状，其中垂直分辨率和水平分辨率等于基本采样情况。对角线分辨率降至水平分辨率和垂直分辨率的大约0.70。注意的是，水平分辨率和垂直分辨率与基本采样精确匹配；仅对角线分辨率被降低。
对角线采样利用这样的事实，即，相对于水平方向和垂直方向，基本采样图像在对角线方向上被过采样。另外，如图8所示，对角线方向上的人类视敏度(visual acuity)明显小于垂直和水平方向上的人类视敏度。如通过引用被并入本文中的Dhein等人在美国专利No.5,159,453和Dhein等人于1990年10月在第132届SMPTE技术会议的“Using the 2-DSpectrum to Compress Television Bandwidth(使用2-D谱来压缩电视带宽)”中所公开的，对笛卡尔采样图像进行二次采样并且去除对角线方向上的像素导致接近视觉无损失(visually lossless)的影像。
就某些不平常图像(比如，单像素棋盘测试图案)而言，对角线采样会降低视觉图像质量，从而导致重获损失的质量的期望。该问题已通过几种可替换方法来解决。MPEG-2多视图(ITU-R Report BT.2017)和更近一些的多视图视频编码(MVC，ISO/IEC14496-10：2008Amendment 1)在H.222.0/MPEG-2/Systems transport stream(系统传输流)中已经解决了携带多个图像流。
通过以正常方式压缩主流(principal steam)并且对主流与一个附加流或多个附加流之间的差别进行编码，可以通过利用图像之间的冗余来实现更好的压缩。这两种方法限制了对现有2D发布基础设施的适用性。主图像流将被作为2D流携带和显示，而创建附加流的附加信息将被忽略。为了支持附加图像流，盘播放器、机顶盒或电视机中的解码器功能应该支持多视图功能。这在目前安装的基础中不被支持。为了成功地采用任何新系统，应该与现有基础设施兼容达到一定程度，从而消费者不会被迫购买完全新的硬件。所论述的压缩系统包括：
1.MPEG-2/System：正式地，ISO/IEC 13818-1和ITU-T Rec.H.222.0
2.MPEG-2/Video：正式地，ISO/IEC 13818-2和ITU-T Rec.H.262
3.MPEG-2Stereoscopic Television/Multi-view Profile：正式地，Report ITU-R BT.2017
4.MPEG-4/AVC：正式地，ISO/IEC 14496-10和ITU-T Rec.H.264
5.MPEG-4Multiview Video Coding(MVC，ISO/IEC 14496-10：2008Amendment 1)
6.VC1：正式地，SMPTE 421M视频编解码器
在2008年7月，MPEG官方批准关于多视图视频编码的ITU-T Rec.H.264和ISO/IEC14496-10先进视频编码(AVC)标准的修改(amendment)。
MPEG委员会到目前为止已经定义了三套标准：MPEG-1、MPEG-2和MPEG-4。每个标准包括处理独立问题的几个部分，所述独立问题诸如音频压缩、视频压缩、文件格式化和打包。
关于存储和传输的重要MPEG标准是以下标准：
7.MPEG-2Part1：Systems
8.MPEG-2Part2：Video
9.MPEG-4Part10：Video，包括AVC、SVC和MVC扩展
10.Stereoscopic Television MPEG-2Multiview Profile(立体电视MPEG-2多视图配置文件)
SMPTE和微软定义了VC1，VC1也被通称为SMPTE 421M。其他团体将这些基本MPEG和VC1标准用作定义与视频存储和传输相关的应用特定标准的构建块，所述应用特定标准包括：
11.The Blue Ray Disc Association(蓝光盘协会)(BDA)(www.blu-raydisc.com)
12.The Advanced Television Systems Committee(先进电视系统委员会)(ATSC)(www.atsc.org)
13.The Digital Video Broadcasting Project(数字视频广播工程)(DVB)(www.dvb.org)
14.DVD和HD-DVD
MPEG-2标准、ISO 13818包含关于传输压缩多媒体信号的三个主要部分：音频(13818-3)、视频(13818-2)和系统(13818-1)。该标准的音频和视频部分指定如何产生音频基本流和视频基本流(ES)。总地来讲，ES是打包或格式化以用于传输或存储之前视频编码器和音频编码器的输出。ES是MPEG标准中的最低级别的流。
MPEG-2视频ES具有层级结构，在每个结构级别具有头(header)。最高级别的头是序列头，序列头携带诸如流中的图片的水平和垂直大小、编码视频的帧率和比特率的信息。每个压缩帧的前面是图片头，图片头的最重要的一条信息是图片类型：I帧、B帧或P帧。I帧可以不参照任何其他帧被解码，P帧取决于时间上在前的帧，而B帧取决于时间上在前的帧和时间上在后的帧这二者。在MPEG-4/AVC中，B帧可以取决于多个时间上在前的帧和时间上在后的帧。
为了运动补偿预测的目的，帧被划分为大小为16×16像素的宏块。在P帧的情况下，可以对每个宏块发送作为其编码表征的一部分的运动矢量。运动矢量将指向前帧中的逼近块。编码过程获取当前块与逼近块之间的差别，并且对结果进行编码以用于传输。
差别信号可以通过下述方式被编码，即，计算8×8像素块的离散余弦变换(DCT)，以低频为重点对系数进行量化，并且然后对量化值进行无损编码。
MPEG-2标准的系统部分(第1部分)指定如何将音频ES和视频ES组合在一起。通过系统层解决的两个重要问题是视频编码器与视频解码器之间的时钟同步和程序中ES之间的呈现同步。
编码器/解码器同步可以防止帧重复或遗漏，并且ES同步可以帮助保持对嘴同步(lipsync)。这两种功能都通过插入时间戳(timestamp)来实现。可以使用两种类型的时间戳：系统时钟时间戳和呈现时间戳。对被锁定为视频源的帧率的系统时钟进行采样，以创建系统时钟采样，同时以呈现时间戳标记各个音频帧和视频帧，所述呈现时间戳指示相对于系统时钟帧应该何时被呈现。
MPEG-2第1部分(Part 1)指定创建流的两种不同方法，一种方法针对存储设备进行了优化，而另一种方法针对通过噪声信道传输进行了优化。第一类型的系统流被称为程序流，并且被用在DVD中。第二系统流被称为传输流。MPEG-2传输流(TS)是在这两个中更为重要的。传输流是用于有线传输、ATSC地面广播、卫星DBS系统和蓝光盘(BD)的数字标准的基础。
图34是常规ATSC广播系统的示意性框图。由于就流开销而言程序流更有效率一点并且它们使用于解析流的处理能力最小，所以DVD使用程序流。然而，BD的设计目标之一是要使数字传输TV信号的实时直接到盘的记录成为可能。TS的使用消除了BD记录器(recorder)在记录的同时对系统格式进行实时译码的需要。
当将音频ES和视频ES打包到MPEG-2传输流中时，首先将ES数据封装在打包基本流包(PES包)中。PES包可以是可变长度。PES包以短头开始，并且其后是ES数据。可论证地，PES头所携带的最重要的一条信息是呈现时间戳(PTS)。PTS告诉解码器相对于程序时钟何时呈现音频帧或视频帧。ATSC标准中要求的一种普通打包方法是将每个视频帧封装在分离的PES包中。
然后将PES包分割为更小的组块(chunk)，并且将它们映射到TS包的有效载荷部分中。TS包的长度为188个字节，其中每个包的最大有效载荷为184个字节。许多TS包通常被用于运送单个PES包。四字节TS包头以同步字节开始，并且还包含包ID(PID)字段和“payload_unit_start_indicator”(PUSI)位。PUSI位被用于标示TS包中的PES包的开始。来自给定ES的所有数据被携带在同一个PID的包中。当PES包头出现在TS包中时，设置PUSI位，并且PES头在有效载荷的第一个字节中开始。解码器可以除去TS包头和PES头，以恢复原始的ES。
最后，TS包偶尔在四字节TS头紧后包含适配字段——额外的字节字段，该适配字段的存在用TS头中的位标示。可论证地，该适配字段中所包含的最重要的一条信息是系统时钟的采样。可以每秒至少10次插入这些采样。解码器可以使用这些采样将其本地时钟锁定为编码器的时钟。
许多不同的ES可以通过携带它们的TS包的时分复用而被复用在一起。在解码器处，可以通过仅抓取具有携带期望ES的PID的包来对包进行解复用。由于TS头的第一个字节通常是0x47，所以固定长度的TS包易于同步。
图35图示说明用于视频基本流(ES)的传输流(TS)打包过程。对于ATSC流，每个图片3510被封装在单个PES包3530中。PES头3532开始之后，图片头3512将出现，并且PES头3516将携带用于该图片的PTS。然后，一次以184个字节将PES头3530映射到TS包3550的有效载荷部分3554中。假设已选择携带用于程序的系统时钟采样的视频流，则所选择的视频包的TP头3552将被扩增几个额外的字节，以携带这些采样。
解码器应该能够分析输入的TS并切确定什么程序存在于流中。最后，解码器应该能够确定哪些PID携带构成程序的ES。为了实现这个，MPEG TS携带程序特定信息(PSI)。PSI包括两个主要的表——程序关联表(PAT)和程序映射表(PMT)。TS通常仅具有一个出现在PID 0上的PAT。PID 0因此是应该被用于携带该表的预留PID。解码器可以通过查找PID 0来开始分析包复用。一旦从PID 0包接收和解析PAT，PAT就告诉解码器有多少程序被TS携带。每个程序由PMT进一步定义。PAT还告诉解码器下述包的PID，所述包携带用于复用中的每个程序的PMT。
一旦期望的程序已经被选择，解码器就解析出用于所选择的程序的PMT。用于给定程序的PMT告诉解码器：(1)有多少ES是该程序的一部分；(2)哪些PID携带这些ES；(3)每个ES是什么类型的流(音频、视频等)；以及(4)哪些PID携带用于该程序的系统时间时钟采样。通过该信息，解码器可以解析出携带用于所选择的程序的流的所有包，并且将流数据路由到合适的ES解码器。
在实施方案中，立体对的左图片和右图片被并排地携带在单个视频帧中；五点形采样可以被用于维持水平分辨率和垂直分辨率。例如，假设正使用1920×1080个HD帧。首先，对原始左图片数据和右图片数据进行滤波和五点形采样，以生成分辨率为960×1080的新图像。然后，对每个帧的采样进行“挤压”，以创建矩形采样格式，并且将左图像和右图像并排放置在单个帧中。图12图示说明水平挤压五点形二次采样图像的处理。在组合之后，立体对的左图片将占据帧的左半，并且右图片将占据帧的右半。
所得帧具有更易于压缩的空间相关性和时间相关性这二者。事实上，可以使用标准MPEG-2、H.264或VC1视频编码器对流进行压缩。由于五点形采样，像素之间的垂直相关性和水平相关性与针对传统矩形采样将会存在的垂直相关性和水平相关性稍微不同。针对MPEG和VC1系统中所包括的交织视频的标准工具可以被用于有效率地处理由五点形采样引起的差别。在实施方案中，可以以与将被用于对全分辨率2D视频流进行编码的比特率大致相同的比特率对并排立体对进行编码。
并排视频流可以被携带在所有现有的基于MPEG-TS的系统上，而所用带宽并没有可观地增加。然而，将会有用的是，定义新流类型，该新流类型在PSI中用于向解码器指示压缩流携带立体TV信息，而不是2D TV。
基本层/增强层流
在实施方案中，对并排3D视频“基本层”进行编码。对于大多数应用，该基本层将提供可接受的3D质量。当使用全分辨率时，可以将附加的增强层作为分离编码的流添加到基本层。当与基本层适当组合时，获得全分辨率左图片和右图片。用于为并排图片创建基本层/增强层流的多种方法是可行的。
存在携带MPEG标准内的增强流的许多可行方式。一种方式是在分离的传输包PID流中插入数据。回想，程序映射表告诉解码器在每个程序中有多少流、流的类型是什么和可以在哪些PID上找到它们。一种添加增强流的方法是将分离的PID流添加到复用中，并且通过PMT指示该PID流是合适程序的一部分。在PSI表中，8位代码可以被用于指示流类型。值0x0F-0x7F是“被预留的”，这意味着标准体可以选择将这些之一分配用于特定类型的增强信息。另一种可能是，使用“用户私有”数据类型0x80-0xFF之一，并且使用行业采用的权重来将特定用户私有数据类型代码建立为事实上的标准。为了与ATSC规范兼容，由于ATSC标准仅允许用于私有程序元素的这些值，所以应该选择大于0xC4的值(参见ATSC Digital Television Standard(数字电视标准)A/53，第3部分，第6.6.2章节)。
MPEG-2和H.264这二者都具有关于携带立体TV的标准化规定。最初的MPEG-2标准提供对时间和空间可分级性这二者的支持。支持时间可分级性的构思是将视频编码为两个层——基本层和增强层。基本层以减小的帧率提供视频帧，并且增强层通过提供时间上位于基本层的帧之间的附加帧来提高帧率。不参照增强层中的帧对基本层进行编码，所以它可以被不具有对增强层进行解码的能力的解码器解码。增强层的帧可以从基本层中的帧或增强层自身中的帧被预测。
基本层帧和增强层帧的编码表征都被包含在同一个视频ES中。换句话讲，层复用被构建到ES标准中，而可以不必使用系统级别结构来组合基本层帧和增强层帧。然而，由于增强层将不在分离的PID流中，所以这会将处理和带宽损失强加于解码器上。
H.264标准对作为交变场或交变帧的立体编码提供明确的支持。为了实现这一点，参见H.264标准第D.2.22章节，可选的头(更精确地，补充增强信息或SEI消息)可以被插入在图片参数集之后，以向解码器指示编码的序列是立体序列。SEI消息还可以指示立体信息的场或帧交织是否已被利用并且给定帧是左眼视图还是右眼视图。H.264支持一组丰富的运动补偿预测技术，所以支持从左帧或右帧自适应地预测给定帧。然而，如在MPEG-2中那样，由于增强层不在分离的PID流中，所以这会将处理和带宽损失强加于所有解码器上。
MPEG-2和MPEG-4立体和多视图通常针对两个视频流之一支持偏置的质量(通常，左眼视图质量更高)。
在实施方案中，基本层和增强层被编码为两个分离的ES，每个具有其自己的PID。将基本层和增强层编码为两个ES并且在传输层将它们复用在一起是有成本和效率优势的。使用现有的传输包设备(诸如复用器和解复用器)来处理这样的流是可行的。例如，假设通过卫星将具有基本层和增强层这二者的立体信号发布到整个美国的有线系统。对于其系统不是优选要全分辨率的发布者，可以在头端通过下述方式容易地丢掉增强层，即，丢弃具有携带它的PID的包。需要并具有支持增强层的足够带宽的系统将通过整个复用信号。现有的传输流操纵基础设施可以被用于按需求添加和删减增强层。这使服务提供商获取新设备和工具的需要最小化。
图1是用于对立体视频进行编码的装置100的示意性框图。在该实施方案中，装置100包括如所示那样布置的编码器模块102、压缩器模块104和复用器模块106。
在操作中，编码器模块102可以接收立体视频序列112。输入处的立体视频序列112可以是两个视频序列——左眼序列和右眼序列。这两个视频序列可以被减少为具有图片左半中的左眼图像和图片右半中的右眼图像的单个视频序列。编码器模块102可操作来从立体视频序列产生立体基本层视频114和立体增强层视频116。立体增强层视频116包含不在立体基本层视频114中的残余左图像数据和右图像数据。立体基本层视频包括低通基本层，并且立体增强层视频116包括高通增强层。
在压缩器模块104处，立体基本层视频114可以被压缩为压缩基本层视频118，并且立体增强层视频116可以被压缩为压缩增强层视频120。复用器模块106可以通过复用压缩基本层视频118、压缩增强层视频120、音频数据122和其他数据124来产生输出比特流130。其他数据124可以包括解码处理中用于帮助创建附加视图或者改进图像质量的左和右图像深度信息、3D副标题、菜单指令以及其他3D相关数据内容和功能。输出立体比特流130然后可以被储存、发布和/或传输。
包含可分级立体图像信息和深度这二者的组合增强层是可以供未来的3D可视化平台使用的多面性质感和形式的更常见发布的向后兼容实施方案。
可以使用这样的算法，在该算法中，在与基本层并排序列大致相同的时间创建增强(残余)序列。此外，还可以基本上没有信息损失地将残余序列组合到单个并排视频序列中。满足这种约束的方法据说是临界采样的。这意味着创建并排基本层立体对和残余序列的过程导致用于表征原始序列的采样(即，像素或实数)的数量基本上不增大。像离散傅里叶变换(DFT)那样，输入N个采样，并且输出不同形式的N个采样。
该过程最终将产生两个并排立体对图像，一个本质上是低通的，而一个本质上是高通的，这两个并排图像都将具有与原始的两个输入图像相同的分辨率。在没有压缩伪像时，可以重新组合图像，以从立体对基本上完美地重新产生原始的两个输入图像。
即使曾经引入了压缩误差，基本层和增强层在合成之后可能不再混叠抵消(aliascancel)，也可以彼此无关地压缩它们。当存在压缩伪像时，优选的是混叠抵消属性仍奏效。
图2是用于对立体视频比特流230(比如，图1的输出立体比特流130)进行解码的装置200的示意性框图。在该实施方案中，装置200包括如所示那样布置的提取模块202、解压缩器模块204和组合模块206。
在操作中，可以从传输过程、发布过程或数据储存器(比如，电缆、卫星、蓝光盘等)接收立体视频比特流230。在一些实施方案中，可以通过缓冲器(未示出)接收立体视频比特流230，其实现对于本领域的普通技术人员应该是清楚的。
提取模块202可以是解复用器，并且可操作来接收输入比特流230以及从输入比特流230提取压缩立体基本层视频218和压缩立体增强层视频220。提取模块202还可以可操作来从输入比特流提取音频数据222以及诸如深度信息等的其他数据224。提取模块还可以可操作来从输入比特流230提取内容信息标签；或者可替换地，可以从立体基本层视频214提取内容信息标签。
解压缩器模块204可以包括第一解压缩模块234，第一解压缩模块234可操作来将压缩立体基本层视频218解压缩为立体基本层视频214。解压缩器模块204还可以包括第二解压缩模块236，第二解压缩模块236可操作来将压缩立体增强层视频信号220解压缩为立体增强层视频216。
组合模块206可以在第一模式下操作来从立体基本层视频214，而不是立体增强层视频216，产生立体对视频序列212。在第二模式下，组合模块206可以可操作来从立体基本层视频214和立体增强层视频216这二者产生立体对视频序列212。在一些实施方案中，组合模块206可以添加内容信息标签，诸如在2009年8月1日递交、标题为“Method andapparatus to encode and decode stereoscopic video data(对立体视频数据进行编码和解码的方法和装置)”的申请序号No.12/534,126中所公开的内容信息标签，该申请通过引用被并入本文。
图3是用于对立体视频进行编码的装置300的示意性框图。在该实施方案中，装置300可以包括如所示那样布置的闭环编码器314、压缩器316和复用器318。
图4是用于对立体视频进行解码的装置400的示意性框图。在该实施方案中，装置400可以包括如所示那样布置的提取模块402、解压缩器模块404和组合模块406。
如图3和图4所示，可以通过闭合围绕基本编码器314和基本压缩器316的误差回路来实现对基本层压缩伪像的校正。编码的压缩基本信号与全分辨率源之间的差别被用作增强层压缩器320的输入。在实施方案中，这导致增强层数据大小相对于参照图1所述的前述开环实施方案增大了1倍。
仅访问基本层比特流的解码器可以对高质量立体TV信号进行解码，而访问基本层和增强层比特流的解码器可以对全分辨率立体TV信号进行解码。
附加增强层信息还可以包括在解码过程中用于帮助创建附加视图或者改进图像质量的、被编码为视频数据的左和右图像深度信息。类似的视频压缩技术可以被用于压缩该附加图像信息。
图5A示出基本采样网格502，图5B示出其相关联的空间频率响应504。如图5B所示，基本采样不是各向同性的。它的对角线分辨率大于垂直分辨率或水平分辨率，为垂直分辨率或水平分辨率的倍(或者大约1.41倍)。
图11是示出奇数和偶数五点形采样图案的定义的示意图。如图11所示，基本采样图像可以被划分为偶数五点形(或者棋盘)像素1102和奇数五点形像素1104。如果像素在垂直方向和水平方向上都从零开始编号，则偶数五点形像素1102是它们的X坐标和Y坐标之和是偶数的那些像素。类似地，奇数五点形像素1104是它们的X坐标和Y坐标之和是奇数的那些像素。例如，基本采样图像中的左上像素具有X＝0且Y＝0，并且是偶数五点形像素。
图8示出人类视觉系统频率响应800的逼近。如频率响应800所示，人类视觉系统(HVS)不是各向同性的。它对基本方向(垂直和水平)上的细节比对对角线方向上的细节更敏感。这通常称为倾斜效应。尽管该效应随着观看状况和图像对比度而改变，但是该效应引起HVS对角线分辨率比基本方向小大约80％。当与基本采样的各向异性组合时，对角线信息被过采样大约1倍。
如通过比较图7B和图8可见，五点形采样具有与HVS的空间频率响应紧密匹配的菱形形状的谱。五点形采样使用如基本采样那么多采样的一半来表征图像，但是垂直和水平分辨率不变。对角线分辨率的略微损失对感知到的分辨率具有极其小的影响。
可以使用具有菱形形状通带的滤波器将基本采样图像转换为五点形采样，其后(以棋盘方式)丢弃额外的采样。所得图像将具有像素的一半那么多，但是具有全水平分辨率和垂直分辨率。
当丢弃额外的像素时，可以丢弃奇数或偶数棋盘像素。可以期望的是，对于一个眼睛丢弃奇数像素，而对于另一个眼睛丢弃偶数像素。这可以保留在Z＝0平面处的3D立体场景中的文本和其他对象的全对角线分辨率。另外，左图像和右图像中的任何混叠分量可以是异相的，并且可以抵消。该模式也与固有地使用五点形显示设备的基于DLP的显示器很好地匹配。
另一种可替换方案是，为了简化和一致性，对于左图像和右图像使用相同的棋盘相位。
对于复用立体3D应用，两个五点形采样图像可以刚好放入一个基本采样图像的空间中。这使得从制作到发布、广播和接收，可使用标准2D设备。可以如交织棋盘或者任何其他期望图案那样并排地由上至下地对两个图像进行打包，只要总像素数量在打包过程中不变。左图像和右图像可以是不同分辨率，并且分辨率可以随帧中的位置而改变。在实施方案中，打包是并排的，并且用于在打包格式与未打包格式之间转换的存储器被最小化。以下将使用并排打包，但是要理解的是，本文所述的实施方案仅仅举例说明本公开内容的原理的应用，并且可以使用其他打包技术，诸如顶/底、五点形等。本文对举例说明的实施方案的细节的论述并非意图限制权利要求书的范围，权利要求书本身列举了被认为对本公开内容是必要的那些特征。
图13是图示说明使用五点形二次采样基本层和增强层以及2D菱形卷积滤波器的立体图像处理编码技术的示意图。该技术在1302通过接收全分辨率左图像和右图像来开始。
在创建基本层时，在1304对全分辨率左图像和右图像进行低通滤波，然后在1306对它们进行五点形抽取。然后，在步骤1308，丢弃从步骤1306的五点形滤波抽取的像素，并且水平滑动这些像素。然后，在1310，可以将所得的五点形左图像和右图像加在一起，以提供并排低通滤波的左图像和右图像帧。
在创建增强层时，在1312对全分辨率左和右图像进行高通滤波，然后在1314对它们进行五点形抽取。然后，在步骤1316，丢弃从步骤1314的五点形滤波抽取的像素，并且水平滑动这些像素。然后，在1318，可以将所得的五点形左图像和右图像加在一起，以提供并排高通滤波的左图像和右图像帧。
图14是图示说明用于使用五点形二次采样基本层和增强层以及2D菱形卷积滤波器的解码器的立体图像处理解码技术的示意图。
在操作中，在步骤1404，通过并排低通滤波提取来自基本层1402的左图像和右图像。在1406分离左图像和右图像，然后在步骤1408根据五点形方案对它们进行零填充(zero-stuff)。然后，在步骤1410，对五点形零填充的低通滤波左图像和右图像进行菱形低通滤波。类似地，在步骤1414，通过并排高通滤波提取来自增强层1412的左图像和右图像。在1416分离左图像和右图像，然后在步骤1418根据五点形方案对它们进行零填充。然后，在步骤1420，对五点形零填充的高通滤波左图像和右图像进行菱形高通滤波。然后，在步骤1422将低通和高通菱形滤波的立体图像加在一起，以在步骤1424创建全分辨率左图像和右图像。
如图13和图14所示，实施方案使用具有菱形形状的低通特性和高通特性的2D滤波器。低通滤波器和高通滤波器可以通过任何合适的技术来实现。例如，可编程的滤波器核阵列可以被用于获得期望的滤波器特性。图21是图示说明可以被用于实现2D菱形低通滤波器阵列的9×9滤波器核系数的示例的表格。2D菱形高通滤波器可以被独立地设计，或者可以使用诸如正交镜像滤波器技术或者共轭镜像滤波器技术的技术从2D菱形低通滤波器产生。这样的技术被Vaidyanathan在“Multirate Systems and Filter Banks(多速率系统和滤波器组)”，PTR Prentice-Hall(1993)；Vetterli和Kovacevic在“Wavelets and SubbandCoding(小波和子带编码)”，PTR Prentice-Hall(1995)；以及Akansu和Haddad在“Multiresolution Signal Decomposition：Transforms-Subbands-Wavelets(多分辨率信号分解：变换-子带-小波)”，Academic Press(1992)中公开，这些文献通过引用被并入本文。
图15和图16图示说明使用非可分2D提升离散小波变换滤波器的编码器/解码器对的另一个实施方案。另一个实施方案使用公知的以2D非可分五点形4步骤提升形式使用的Cohen-Daubechies-Feauveau(9，7)双正交样条滤波器。图21示出提升结构和用于每个提升步骤的系数。
根据图15的编码过程，在操作中，在1502，接收全分辨率图像。在1504对全分辨率左图像执行非可分菱形提升逆离散小波变换，并且然后在1506执行并排低通和高通滤波处理。类似地，在1512接收全分辨率右图像。还在1514对全分辨率右图像执行非可分菱形提升逆离散小波变换(IDWT)，并且然后，在1516执行并排低通和高通滤波处理。如图15所示，可以以并排布置将左侧图像1532与图像1522组合，图像1522占据帧1536的左侧，并且图像1532占据帧1538的右侧(步骤1518)。类似地，可以以并排布置将右侧图像1534与图像1524组合，图像1524占据帧1526的左侧，并且图像1534占据帧1528的右侧(步骤1508)。因此，帧1536/1538提供基本层，而帧1526/1528提供增强层。
可以根据图16中所图示说明的序列执行基本层和增强层的解码。这里，基本层1620和增强层1630分别被转换为并排低通和高通滤波右图像1604、1614，基本层1620和增强层1630分别由并排低通和高通滤波的左图像和右图像1602、1612构成。在步骤1606、1616执行非可分菱形提升IDWT，从而得到输出全分辨率右图像1608和全分辨率左图像1618。
提升在JPEG2000中是优选实现的，但是通常用在如由Acharya和Tsai在“JPEG200Standard for Image Compression(用于图像压缩的JPEG200标准)”，Wiley Interscience(2005)中所公开的可分矩形双程(two-pass)方法中，该文献通过引用被并入本文。
正交镜像滤波器(QMF)、共轭镜像滤波器(CMF)和提升离散小波变换滤波器是完全重构(PR)滤波器。完全重构滤波器可以给予与输入相同的输出，而不使用额外的带宽。这被称为临界采样或者最大抽取滤波。由于实用滤波器的频率截止不能无限陡峭，所以如果要传送所有的信号信息，则低通滤波器和高通滤波器的通带应该重叠。图24示出1D实施例。每个子带应该包括来自相邻子带(一个或更多个)的混叠信号(aliased signal)。尽管每个子带将具有它自己的混叠，但是当重新组合时，混叠抵消，并且输出将与输入相同。这是完全重构滤波器组的定义，并且对于信号处理领域的技术人员将是公知的。注意的是，如果任何子带由于系统中的其他元素(比如，压缩伪像)而失真(distort)，则输出不再等于输入，并且混叠抵消可能失败，从而可能在其他子带中引起伪像。
小波的提升(Sweldens)实现得到基本上完全重构滤波器。双正交2带(2-band)滤波器组使用四个滤波器系数集：分析低通、分析高通、合成低通和合成高通。正交2带滤波器组使用两个滤波器系数集(即，低通和高通)，用于分析和合成的系数相同。另一个实施方案使用完全重构形式或者非完全重构形式的1D滤波器组。这些滤波器中的任何一个适合用于产生基本层和增强层，并且适合用于组合基本层和增强层。
这种实施方案使用具有菱形形状通带的非可分2D提升小波滤波器。另一个实施方案使用2D菱形卷积滤波器，根据设计，2D菱形卷积滤波器可以是完全重构滤波器，也可以不是完全重构滤波器。
可以使用2D卷积滤波器将两个基本采样源图像的立体对转换为并排图像对。并排图像对的第一个称为基本(Base)，包含低通滤波左图像和右图像。并排图像对的第二个称为增强(Enhancement)，包含高通滤波左图像和右图像。如图13所示，为了产生基本，对每个基本采样图像进行2D菱形低通滤波，其后对该图像进行五点形抽取。这将每个图像中的像素数量减少一半，即，临界采样。在该实施例中，将两个缩减图像并排打包在基本图像中，基本图像具有与源图像中的任何一个相同的尺寸。除了使用高通滤波器之外，增强以类似的方式产生。
在另一个实施方案中，可以使用2D提升离散小波变换滤波器将两个基本采样源图像的立体对转换为并排图像对。提升离散小波变换的特征是，在适当的地方产生低通和高通抽取图像，而无需单独的抽取步骤。这显著地减少数值计算，但是所得图像可以如图15所示那样被重新布置，以使得两个高通滤波图像变为增强，而两个低通图像变为基本。
在另一个实施方案中，可以使用1D水平卷积滤波器将两个基本采样源图像的立体对转换为并排图像对。并排图像对的第一个称为基本，包含低通滤波左图像和右图像。并排图像对的第二个称为增强，包含高通滤波左图像和右图像。图17是使用列二次采样基本层和增强层以及1D水平卷积滤波器的编码器的示意图。在1702接收全分辨率左图像和右图像。如图17所示，为了产生基本，在1704对每个基本采样图像进行1D水平低通滤波，其后在1706对该图像进行列抽取。在1708，丢弃抽取像素，并且水平滑动这些抽取像素。这可以将每个图像中的像素数量减少一半，即，临界采样。在该实施例中，在1710将两个缩减图像并排打包在基本图像中，基本图像具有与源图像中的任何一个相同的尺寸。在步骤1714、1716、1718、1720中，除了使用高通滤波器之外，以类似的方式产生增强。
在另一个实施方案中，可以使用1D垂直卷积滤波器将两个基本采样源图像的立体对转换为上下图像对。上下图像对的第一个称为基本，包含低通滤波左图像和右图像。上下图像对的第二个称为增强，包含高通滤波左图像和右图像。
图19是使用列二次采样基本层和增强层以及1D垂直卷积滤波器的编码器的框图。在1902接收全分辨率左图像和右图像。如图19所示，为了产生基本，在1912对每个基本采样图像进行1D垂直低通滤波，其后在1914对该图像进行行抽取。这可以将每个图像中的像素数量减少一半，即，临界采样。在该实施例中，在1916将两个缩减图像由上至下打包在基本图像中，基本图像具有与源图像中的任何一个相同的尺寸。在步骤1922、1924、1926中，除了使用高通滤波器之外，以类似的方式产生增强。
无论用于创建基本图像和增强图像的特定实施方案如何，都可以使用常规的2D设备和基础设施来独立地压缩、记录、传输、发布、接收和显示它们。
实施方案仅使用基本层，而丢弃增强层。在另一个实施方案中，使用基本层和增强层这二者，但是增强层数据为空或者实际上为空，并且可以被忽略。当仅使用基本层进行显示时，可以按现况使用解码的基本层图像，或者可以将它们转换为如正使用的特定显示技术所使用的不同采样几何形状。如果使用2D菱形滤波产生基本层，则这提供菱形形状的分辨率，与原始基本采样图像相比，水平方向和垂直方向上是全菱形分辨率，但是对角线分辨率降低。如果使用1D滤波产生基本层，则水平分辨率或垂直分辨率将近似为原始基本采样图像的一半。
在实施方案中，可以通过使用合适的滤波器重新组合基本图像和增强图像来恢复源图像的全基本分辨率。如图14和图16所示，为了从基本重构基本采样的左图像和右图像，对基本中所包含的左图像和右图像进行五点形零填充，其后使用卷积滤波、2D小波滤波或者任何其他合适的2D滤波器对这些图像进行菱形低通滤波。这可以将每个图像中的像素数量增多1倍，每个与原始源图像大小匹配。所得的基本采样左图像和右图像仍将具有如图7B所示的菱形形状空间分辨率。
除了使用高通滤波器之外，以类似的方式重构增强。通过将重构的基本图像和增强图像相加，所得的左图像和右图像将具有如图5所示的全分辨率。
如果如图17所示那样使用1D水平滤波产生基本层和增强层，则仍可以恢复全分辨率。图18是使用列二次采样基本层和增强层以及1D水平卷积滤波器的解码器的示意性框图。如图18所示，可以通过菱形2D实施方案以类似的方式恢复全分辨率。在1804、1814，分离各个基本层1802和增强层1812中的左图像和右图像。然后，在1806、1816，对它们进行列零填充，其后分别在1808、1818，对它们进行低通和高通滤波。通过在1820将重构的基本图像和增强图像相加，所得的左图像和右图像具有如图5所示的全分辨率。
图19是使用列二次采样基本层和增强层以及1D垂直卷积滤波器的编码器的实施方案的框图。如果如图19所示那样使用1D垂直滤波产生基本层和增强层，则可以以与如图20所示的菱形2D实施方案类似的方式恢复全分辨率。
图20是图示说明使用列二次采样基本层和增强层以及1D垂直卷积滤波器的立体图像处理解码技术的示意图。在操作中，在2004、2014，拆分(unstack)基本层2002和增强层2012，并且对它们进行行零填充，其后分别在2006、2016，对它们进行低通和高通滤波。通过在2020将重构的基本图像和增强图像相加，所得的左图像和右图像具有如图5所示的全分辨率。
图22示出2带完全重构滤波器的频率响应的1D实施例。在任一实施方案中，为了与目前惯例和基础设施兼容，或者为了减少带宽参数，可以优选的是仅从基本图像或者低通滤波图像重构输出左图像和右图像。还可以期望的是，仅产生基本层图像，因此，不发布增强层。
图23示出2带完全重构滤波器的频率响应的1D实施例，该滤波器被修改以用于改进图像质量。在使用基本层而不使用增强层的情况下，可以对合成滤波器的特性(互补的低通和高通)进行优化，以改进图像质量。这还可以导致对匹配分析滤波器的修改。在实施方案中，大约一倍频程(octave)(比如，两倍)的混叠被故意引入到合成低通滤波器中。这可以通过下述方式来实现，即，如图23所示，将高通滤波器和低通滤波器的截止频率设置为全分辨率通带的中心的大约0.7和1.5。这样的技术已在以下文献中进行了论述：Glenn，“Visual Perception Studies to Improve the Perceived Sharpness of Television Images(改进电视图像的感知清晰度的视觉感知研究)”，Journal of Electronic Imaging(电子成像杂志)13(3)，第597-601页(2004年7月)和“Digital Image Compression Based onVisual Perception(基于视觉感知的数字图像压缩)”，Digital Images and Human Vision(数字图像和人类视觉)，Andrew B.Watson，Ed.，MIT Press，Cambridge(麻省理工学院出版社，剑桥)(1993)，这些文献通过引用被并入本文。
压缩和发布系统通常被用于使用减小的带宽，从而导致图像失真。这可能是由于储存或传输限制，或者是由于实时网络或系统带宽需要或限制。与MPEG-4/AVC/MVC/SVC或者MPEG-2/MVC相反，使用复用立体图像的优点是压缩和发布系统总是以类似的方式处理复用图像。这可以导致匹配图像质量的左图像和右图像。相反，MVC系统可以引起不一致的左图像和右图像的失真，从而导致图像质量受损。
对于诸如MPEG-2和VC1的压缩系统中的非复用立体的缺点是这些系统仅使用两个帧进行预测编码(一个在正被预测的帧之前，并且一个在正被预测的帧之后)。就帧交织系统(比如，MVC)而言，这意味着左图像仅可以从右图像预测，并且相对地，右图像仅可以从左图像预测。预测器无法获悉同一个眼睛的下一个/最后一个帧，从而导致压缩效率差。
尽管MPEG-4/AVC/MVC/SVC可以使用多个帧进行预测，但是它是标准MPEG-4/AVC的扩展，并且在目前的基础设施中是不可用的。就复用的立体图像而言，MPEG-4/AVC不需要MVC或SVC来得到良好的压缩率。
就复用的立体图像而言，每一个图像包含可以被用于预测编码的左信息和右信息这二者，这可以导致，对于给定的压缩数据率，图像质量更高，或者对于给定的图像质量，压缩数据率更低。
如果所使用的压缩系统(诸如MPEG和VC1)具有被设计来改进交织视频性能的工具或特征，则由于图像中固有的每条线的有效半像素偏移，而导致这些工具和/或特征可以改进当与挤压的五点形抽取的复用图像一起使用时的压缩效率。
在解码器处，可以通过指示解码器仅显示并排复用的立体图像的左半或右半来将MPEG或VC1Pan/Scan信息用于为2D显示器提供向后兼容性。为了优选的图像质量，解码器可以使用与立体3D解码器相同类型的滤波，但是由于简化和成本原因，解码器可以使用简单的水平大小重调(resize)来将所选择的半宽图像转换为全大小(full size)。
当使用具有菱形形状像素的基于DLP的
Figure BDA0000118935150000191
显示器时，由于显示器像素的菱形形状将对信号进行光学滤波以移除对角线混叠，所以可以使用简单的水平大小重调。为了改进图像质量，或者对于具有非菱形形状像素的显示器，可以优选的是使用更复杂的电子滤波，诸如本文已经描述的非可分滤波器。
在基本层和增强层已被解码并且全分辨率基本采样图像已被重构之后，可以如图25-图33所示那样将它转换为几种显示器无关格式中的任何一种，包括DLP棋盘、行交织、翻页(也被称为帧交织或场交织)和列交织。
图25是图示说明从菱形低通滤波左图像和右图像到行交织格式的立体图像处理转换技术的示意图。这里，在2504，可选地，对菱形低通滤波左图像和右图像2502进行垂直低通滤波，然后在2506对这些图像进行行抽取。然后，可以在2508组合左图像和右图像的交替行，以产生行交织左图像和右图像2510。
图26是图示说明从菱形低通滤波左图像和右图像到列交织格式的立体图像处理转换技术的示意图。这里，在2604，可选地，对菱形低通滤波左图像和右图像2602进行水平低通滤波，然后在2606对这些图像进行列抽取。然后，在2608可以组合左图像和右图像的交替列，以产生列交织左图像和右图像2610。
图27是图示说明从菱形低通滤波左图像和右图像到帧交织格式的立体图像处理转换技术的示意图。在该实施方案中，菱形低通滤波左图像和右图像2702在两个图像流(左和右)中，每个为一倍帧率。左图像和右图像2702是在2704被帧储存存储器和控制器转换和交织的帧率。这导致设在单个图像流中的帧交织左图像和右图像2706(双倍帧率的帧交织左图像和右图像)。
图28是图示说明从全带宽左图像和右图像到行交织格式的立体图像处理转换技术的示意图。根据该实施方案，在2804，可选地，对全分辨率左图像和右图像2802进行垂直低通滤波，然后在2806，对这些图像进行行抽取。然后，可以在2808组合左图像和右图像的交替行，以产生行交织左图像和右图像2810。
图29是图示说明从全带宽左图像和右图像到列交织格式的立体图像处理转换技术的示意图。这里，在2904，可选地，对全分辨率左图像和右图像2902进行水平低通滤波，然后在2906对这些图像进行列抽取。然后，可以在2908组合左图像和右图像的交替行，以产生列交织左图像和右图像2910。
图30是图示说明从全带宽左图像和右图像到帧交织格式的立体图像处理转换技术的示意图。在该实施方案中，全分辨率左图像和右图像3002在两个图像流(左和右)中，每个为一倍帧率。左图像和右图像3002是在3004被帧储存存储器和控制器转换和交织的帧率。这导致设在单个图像流中的帧交织左图像和右图像3006(双倍帧率的帧交织左图像和右图像)。
图31是图示说明从菱形低通滤波左图像和右图像到DLP菱形格式的立体图像处理转换技术的示意图。在操作中，在3104，对菱形低通滤波左图像和右图像3102进行五点形抽取，然后(在3106)通过五点形技术组合这些图像，以提供五点形交织左图像和右图像3108。
图32是图示说明从全带宽左图像和右图像到DLP菱形格式的立体图像处理转换技术的示意图。这里，在操作中，在3204，可选地，对全分辨率左图像和右图像3202进行菱形低通滤波，然后在3206对这些图像进行五点形抽取，然后(在3208)通过五点形技术组合这些图像，以提供五点形交织左图像和右图像3210。
图33是图示说明从并排菱形滤波左图像和右图像到DLP菱形格式的立体图像处理转换技术的示意图。在该实施方案中，在3304，对并排低通滤波左图像和右图像3302进行解缩(unsqueeze)(将并排低通滤波左图像和右图像3302水平滑动到五点形中)，以产生五点形交织左图像和右图像3306。
当使用光盘格式(诸如蓝光盘、HD-DVD或DVD)储存本文所述的格式时，一个实施方案是将基本层作为正常视频流携带，并且将增强层数据作为交替视图视频流携带。在当前设备中，播放器将忽略该增强数据，从而使得可以在使用基本层提供高质量图像的同时与当前系统向后兼容。未来的播放器和系统可以使用增强层数据来基本上恢复全基本采样分辨率图像。
如Lipton等人在美国专利No.5,572,250中所公开的，当前信令系统可以指示时间复用的(帧或场交织的)立体图像流中的给定帧是左图像、右图像，还是2D(单一)图像，该专利通过引用被并入本文。这些信令系统被描述为“带内”，“带内”意味着它们使用图像的活动查看区中的像素来携带信号，从而用该信号替换图像视觉数据。这可以导致高达一线或更多线(一行或更多行)图像数据的损失。本文所述的实施方案包括携带信令系统中损失的图像像素数据的附加增强层，从而提供全分辨率图片以及信令能力。
用于携带左/右和立体/单一信令的可替换实施方案是使用元数据(比如，包含关于如何解释图像数据的信息或指令的附加数据流)和使图像数据基本上无损。该元数据流还可以被用于携带诸如3D副标题、菜单指令和其他3D相关数据要素和功能的信息。
将意识到的是，在不脱离本发明的精神或基本特征的情况下，可以以其他特定形式实施本发明。可以将任一公开的实施方案与示出和/或描述的其他实施方案中的一个或几个组合。对于实施方案的一个或更多个特征，这也是可行的。本文所述的且要求保护的步骤不需要按给定顺序来执行。至少在一定程度上，所述步骤可以按任何其他顺序来执行。
如本领域的普通技术人员将意识到的是，如本文可用的术语“可操作地耦合”和“可通信地耦合”包括直接耦合和通过另一个组件、元件、电路或模块的间接耦合，其中，对于间接耦合，介于中间的组件、元件、电路或模块不改变信号信息，而是可以调整其电流水平、电压水平和/或功率水平。
此外，将意识到的是，在各方面都认为当前公开的实施方案是示例性的，而不是限制性的。本发明的范围由所附的权利要求书指示，而不是由前述描述来指示，并且在本发明的等同形式的意义和范围内的所有变化都意图被包含在本文中。
另外，按照一致性，或者换句话讲，为了提供组织上的提示，提供本文的章节标题。这些标题不应该限制或表征可以从本公开内容发表的任何权利要求中陈述的本发明。具体地讲或者作为示例，虽然标题指的是“技术领域”，但是权利要求不应该被在该标题下选择的语言限于描述所谓的技术领域。此外，“背景技术”中的技术的描述不被理解为是承认技术是本公开内容中的任何发明的现有技术。“发明内容”也不被认为是在本文找到的权利要求中陈述的本发明的表征。此外，本公开内容中对于“本发明”的任何单数形式的论述不应该被用于表明在本公开内容中仅存在要求保护的单个新颖点。可以根据与本公开内容相关联的多个权利要求的限制来阐述多个发明，并且权利要求因此限定由此保护的本发明及其等同形式。在一切情况下，应该按照说明书根据权利要求自身的优点来考虑权利要求的范围，但是权利要求的范围不应该被本文阐述的标题限制。
权利要求书(按照条约第19条的修改)
1.一种用于对立体图像进行编码的方法，所述方法包括：
接收立体视频序列；
从所述立体视频序列产生立体基本层视频，其中产生立体基本层视频的步骤包括对所述立体视频序列进行低通滤波；以及
从所述立体视频序列产生立体增强层视频，其中产生立体增强层视频的步骤包括对所述立体视频序列进行高通滤波。
2.(删除)
3.如权利要求1所述的方法，还包括：
将所述立体基本层视频压缩到压缩立体基本层，并且将所述立体增强层视频压缩到压缩立体增强层。
4.如权利要求3所述的方法，还包括：
产生输出比特流，所述输出比特流包括所述立体基本层和所述压缩立体增强层。
5.如权利要求4所述的方法，还包括：
产生所述输出比特流，所述输出比特流还包括下列内容中的至少一个：音频数据，以及左和右图像深度信息。
6.如权利要求1所述的方法，其中产生立体增强层视频的步骤包括确定所述立体视频序列与所述立体基本层视频之间的差别。
7.如权利要求5所述的方法，还包括通过选自包括下述内容的组的发布媒介发布所述输出比特流：
只读存储盘、地面广播、卫星广播、有线广播、互联网流媒体以及互联网文件传输。
8.一种用于对立体信号进行编码的方法，所述方法包括：
接收立体视频序列；
从所述立体视频序列产生立体基本层视频，其中产生立体基本层视频的步骤包括对所述立体视频序列进行低通滤波；
将所述立体基本层视频压缩到压缩立体基本层；
从所述立体视频序列与所述立体基本层视频之间的差别产生立体增强层视频，其中产生立体增强层视频的步骤包括对所述立体视频序列进行高通滤波；以及
将所述立体增强层视频压缩到压缩立体增强层。
9.(删除)
10.如权利要求8所述的方法，还包括：
从所述压缩立体基本层和所述压缩立体增强层产生输出比特流。
11.如权利要求8所述的方法，还包括：
从以下产生输出比特流：
所述压缩立体基本层和所述压缩立体增强层，以及
下列内容中的至少一个：音频数据，以及左和右图像深度信息。
12.如权利要求11所述的方法，还包括通过选自包括下述内容的组的发布媒介发布所述输出比特流：
只读存储盘、电子物理存储器储存介质、地面广播、卫星广播、有线广播、互联网流媒体以及互联网文件传输。
13.一种用于选择性地对立体信号进行解码的装置，所述立体信号具有立体基本层视频分量和立体增强层视频分量，所述装置包括：
提取模块，所述提取模块可操作来接收输入比特流，并且从所述输入比特流提取压缩立体基本层视频和压缩立体增强层视频；
第一解压缩模块，所述第一解压缩模块可操作来将所述压缩立体基本层视频解压缩为立体基本层视频；以及
第二解压缩模块，所述第二解压缩模块可操作来将所述压缩立体增强层视频信号解压缩为立体增强层视频。
14.如权利要求13所述的装置，还包括：
组合模块，
所述组合模块在第一模式下可操作来从所述立体基本层视频，而不是所述立体增强层视频，产生立体视频序列，以及
所述组合模块在第二模式下可操作来从所述立体基本层视频和所述立体增强层视频这二者产生立体视频序列。
15.如权利要求14所述的装置，其中，所述提取模块还可操作来从所述输入比特流提取音频数据。
16.如权利要求14所述的装置，其中，所述提取模块还可操作来从所述输入比特流提取内容信息标签。
17.如权利要求14所述的装置，还包括模式选择模块，所述模式选择模块可操作来检测可通信地耦合的立体视听设备何时与所述第一模式和所述第二模式之一兼容。
18.如权利要求17所述的装置，其中所述模式检测模块基于可通信地耦合的立体设备的用户定义设置来确定所述第一模式和所述第二模式下的操作。
19.如权利要求17所述的装置，其中所述模式检测模块基于可通信地耦合的立体设备的检测来确定所述第一模式和所述第二模式下的操作。
20.如权利要求13所述的装置，还包括接收器，所述接收器用于从选自包括下述内容的组的发布媒介接收所述输入比特流：
只读存储盘、电子物理存储器储存介质、地面广播、卫星广播、有线广播、互联网流媒体以及互联网文件传输。
说明或声明(按照条约第19条的修改)
根据PCT第19条(1)款的声明
针对2010年6月21日寄出的国际检索报告，申请人如在此说明的那样对本申请进行了修改。递交这些修改的时限期满于国际局不对公众开放以处理公务的日子，并且按照PCT细则第80条，这些修改被提交于第80条的四种情况均不存在的随后的一个日子，时限被顺延至2010年8月23日。因此，本次修改为及时递交。
权利要求1-20为在本国际申请中原始递交的。通过根据第19条的本次修改，权利要求1和8已经被修改并以具有相同编号的权利要求进行替换。权利要求2和9已经被删除。所有其他权利要求保持为未改变的。
申请人恭敬地提交阐明根据本次修改的所有待决权利要求1、2-8以及10-20的替换页40-43。还包括替换页40-43的标注修改的副本来反映对权利要求所作的本次修改。申请人恭敬地要求以在所附的替换页中所阐明的方式对待决的权利要求进行的修改。如果审查员对本次修改存在任何疑问或疑虑，则诚邀审查员利用下面给出的联系信息联系在下面签名的律师。

Claims (20)

1.一种用于对立体图像进行编码的方法，所述方法包括：
接收立体视频序列；
从所述立体视频序列产生立体基本层视频；以及
从所述立体视频序列产生立体增强层视频。
2.如权利要求1所述的方法，
其中产生立体基本层视频的步骤包括对所述立体视频序列进行低通滤波，并且
其中产生立体增强层视频的步骤包括对所述立体视频序列进行高通滤波。
3.如权利要求1所述的方法，还包括：
将所述立体基本层视频压缩到压缩立体基本层，并且将所述立体增强层视频压缩到压缩立体增强层。
4.如权利要求3所述的方法，还包括：
产生输出比特流，所述输出比特流包括所述立体基本层和所述压缩立体增强层。
5.如权利要求4所述的方法，还包括：
产生所述输出比特流，所述输出比特流还包括下列内容中的至少一个：音频数据，以及左和右图像深度信息。
6.如权利要求1所述的方法，其中产生立体增强层视频的步骤包括确定所述立体视频序列与所述立体基本层视频之间的差别。
7.如权利要求5所述的方法，还包括通过选自包括下述内容的组的发布媒介发布所述输出比特流：
只读存储盘、地面广播、卫星广播、有线广播、互联网流媒体以及互联网文件传输。
8.一种用于对立体信号进行编码的方法，所述方法包括：
接收立体视频序列；
从所述立体视频序列产生立体基本层视频；
将所述立体基本层视频压缩到压缩立体基本层；
从所述立体视频序列与所述立体基本层视频之间的差别产生立体增强层视频；以及
将所述立体增强层视频压缩到压缩立体增强层。
9.如权利要求8所述的方法，
其中产生立体基本层视频的步骤包括对所述立体视频序列进行低通滤波，并且
其中产生立体增强层视频的步骤包括对所述立体视频序列进行高通滤波。
10.如权利要求8所述的方法，还包括：
从所述压缩立体基本层和所述压缩立体增强层产生输出比特流。
11.如权利要求8所述的方法，还包括：
从以下产生输出比特流：
所述压缩立体基本层和所述压缩立体增强层，以及
下列内容中的至少一个：音频数据，以及左和右图像深度信息。
12.如权利要求11所述的方法，还包括通过选自包括下述内容的组的发布媒介发布所述输出比特流：
只读存储盘、电子物理存储器储存介质、地面广播、卫星广播、有线广播、互联网流媒体以及互联网文件传输。
13.一种用于选择性地对立体信号进行解码的装置，所述立体信号具有立体基本层视频分量和立体增强层视频分量，所述装置包括：
提取模块，所述提取模块可操作来接收输入比特流，并且从所述输入比特流提取压缩立体基本层视频和压缩立体增强层视频；
第一解压缩模块，所述第一解压缩模块可操作来将所述压缩立体基本层视频解压缩为立体基本层视频；以及
第二解压缩模块，所述第二解压缩模块可操作来将所述压缩立体增强层视频信号解压缩为立体增强层视频。
14.如权利要求13所述的装置，还包括：
组合模块，
所述组合模块在第一模式下可操作来从所述立体基本层视频，而不是所述立体增强层视频，产生立体视频序列，以及
所述组合模块在第二模式下可操作来从所述立体基本层视频和所述立体增强层视频这二者产生立体视频序列。
15.如权利要求14所述的装置，其中，所述提取模块还可操作来从所述输入比特流提取音频数据。
16.如权利要求14所述的装置，其中，所述提取模块还可操作来从所述输入比特流提取内容信息标签。
17.如权利要求14所述的装置，还包括模式选择模块，所述模式选择模块可操作来检测可通信地耦合的立体视听设备何时与所述第一模式和所述第二模式之一兼容。
18.如权利要求17所述的装置，其中所述模式检测模块基于可通信地耦合的立体设备的用户定义设置来确定所述第一模式和所述第二模式下的操作。
19.如权利要求17所述的装置，其中所述模式检测模块基于可通信地耦合的立体设备的检测来确定所述第一模式和所述第二模式下的操作。
20.如权利要求13所述的装置，还包括接收器，所述接收器用于从选自包括下述内容的组的发布媒介接收所述输入比特流：
只读存储盘、电子物理存储器储存介质、地面广播、卫星广播、有线广播、互联网流媒体以及互联网文件传输。
CN201080026073.8A 2009-04-13 2010-04-13 编码、解码和发布增强分辨率的立体视频 Pending CN102804785A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16892509P 2009-04-13 2009-04-13
US61/168,925 2009-04-13
PCT/US2010/030923 WO2010120804A1 (en) 2009-04-13 2010-04-13 Encoding, decoding, and distributing enhanced resolution stereoscopic video

Publications (1)

Publication Number Publication Date
CN102804785A true CN102804785A (zh) 2012-11-28

Family

ID=42934387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080026073.8A Pending CN102804785A (zh) 2009-04-13 2010-04-13 编码、解码和发布增强分辨率的立体视频

Country Status (6)

Country Link
US (1) US20100260268A1 (zh)
EP (1) EP2420068A4 (zh)
JP (1) JP2012523804A (zh)
KR (1) KR20120015443A (zh)
CN (1) CN102804785A (zh)
WO (1) WO2010120804A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376831A (zh) * 2013-08-13 2015-02-25 联发科技股份有限公司 数据处理装置以及相关数据处理方法

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2348640B1 (en) 2002-10-05 2020-07-15 QUALCOMM Incorporated Systematic encoding of chain reaction codes
KR101170629B1 (ko) 2003-10-06 2012-08-02 디지털 파운튼, 인크. 단일 송신기 또는 다중 송신기를 갖는 통신 시스템의 에러 정정 다중-스테이지 코드 생성기 및 디코더
EP1743431A4 (en) 2004-05-07 2007-05-02 Digital Fountain Inc SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US20100208795A1 (en) * 2009-02-19 2010-08-19 Motorola, Inc. Reducing aliasing in spatial scalable video coding
CN102484729B (zh) * 2009-04-07 2016-08-24 Lg电子株式会社 广播发送器、广播接收器及其3d视频数据处理方法
US20120033040A1 (en) * 2009-04-20 2012-02-09 Dolby Laboratories Licensing Corporation Filter Selection for Video Pre-Processing in Video Applications
US9729899B2 (en) 2009-04-20 2017-08-08 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
WO2010126227A2 (en) * 2009-04-27 2010-11-04 Lg Electronics Inc. Broadcast receiver and 3d video data processing method thereof
JP2011030184A (ja) * 2009-07-01 2011-02-10 Sony Corp 画像処理装置、及び、画像処理方法
WO2011005624A1 (en) 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US8665968B2 (en) * 2009-09-30 2014-03-04 Broadcom Corporation Method and system for 3D video coding using SVC spatial scalability
US9014276B2 (en) * 2009-12-04 2015-04-21 Broadcom Corporation Method and system for 3D video coding using SVC temporal and spatial scalabilities
KR20110064161A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
JP2011155640A (ja) * 2009-12-28 2011-08-11 Panasonic Corp 立体映像再生装置
JP2011142585A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
WO2011091301A1 (en) * 2010-01-21 2011-07-28 General Instrument Corporation Full resolution stereoscopic video with 2d backward compatible signal
WO2011123509A1 (en) * 2010-03-31 2011-10-06 Design & Test Technology, Inc. 3d video processing unit
US10448083B2 (en) 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
JP2011248323A (ja) * 2010-04-30 2011-12-08 Canon Inc 画像処理装置及びその制御方法
CA2797619C (en) * 2010-04-30 2015-11-24 Lg Electronics Inc. An apparatus of processing an image and a method of processing thereof
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
FR2962291B1 (fr) * 2010-07-01 2012-08-24 St Microelectronics Grenoble 2 Procede de traitement d'images 3d, et systeme correspondant
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
CN105847780B (zh) * 2010-07-21 2018-01-09 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
KR101645465B1 (ko) * 2010-07-23 2016-08-04 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
WO2012020358A1 (en) * 2010-08-09 2012-02-16 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
EP2424251A3 (en) * 2010-08-23 2012-12-26 Lg Electronics Inc. Method for providing 3d video data in a 3dtv
US20120062698A1 (en) * 2010-09-08 2012-03-15 Electronics And Telecommunications Research Institute Apparatus and method for transmitting/receiving data in communication system
KR20120058700A (ko) 2010-11-27 2012-06-08 전자부품연구원 디지털 방송의 전송 모드 제공 및 인지 방법
KR20120058702A (ko) 2010-11-27 2012-06-08 전자부품연구원 디지털 방송에서 서비스 호환 방식 전송 방법
CN103262549B (zh) * 2010-12-08 2017-02-22 Lg电子株式会社 用于接收数字广播信号的设备和方法
US9204123B2 (en) * 2011-01-14 2015-12-01 Comcast Cable Communications, Llc Video content generation
CA2824708C (en) * 2011-01-14 2018-08-21 Comcast Cable Communications, Llc Video content generation
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
US20120206568A1 (en) * 2011-02-10 2012-08-16 Google Inc. Computing device having multiple image capture devices and image modes
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US20120229460A1 (en) * 2011-03-12 2012-09-13 Sensio Technologies Inc. Method and System for Optimizing Resource Usage in a Graphics Pipeline
US20120236115A1 (en) * 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding
KR20120118779A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 전처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 부호화 방법 및 그 장치, 후처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 복호화 방법 및 그 장치
US8762797B2 (en) 2011-04-29 2014-06-24 Google Inc. Method and apparatus for detecting memory access faults
US8787454B1 (en) 2011-07-13 2014-07-22 Google Inc. Method and apparatus for data compression using content-based features
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
EP2756681A1 (en) 2011-09-16 2014-07-23 Dolby Laboratories Licensing Corporation Frame-compatible full resolution stereoscopic 3d compression and decompression
TWI595770B (zh) * 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
EP2761877B8 (en) 2011-09-29 2016-07-13 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
KR101662918B1 (ko) 2011-11-11 2016-10-05 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP3657796A1 (en) 2011-11-11 2020-05-27 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
EP2781091B1 (en) 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
US8872981B1 (en) 2011-12-15 2014-10-28 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
US9418625B2 (en) * 2011-12-16 2016-08-16 Intel Corporation Resolution loss mitigation for 3D displays
EP2792146A4 (en) * 2011-12-17 2015-12-09 Dolby Lab Licensing Corp ENHANCED RESOLUTION VIDEO DISTRIBUTION COMPATIBLE WITH A FRAME, INTERLACED, MULTILAYER
WO2013099289A1 (ja) * 2011-12-28 2013-07-04 パナソニック株式会社 再生装置、送信装置、再生方法及び送信方法
US9848217B2 (en) * 2012-01-20 2017-12-19 Korea Electronics Technology Institute Method for transmitting and receiving program configuration information for scalable ultra high definition video service in hybrid transmission environment, and method and apparatus for effectively transmitting scalar layer information
US20130222422A1 (en) * 2012-02-29 2013-08-29 Mediatek Inc. Data buffering apparatus capable of alternately transmitting stored partial data of input images merged in one merged image to image/video processing device and related data buffering method
CN104160705B (zh) * 2012-03-12 2018-11-16 杜比实验室特许公司 三维视觉动态范围编码
JP2013201557A (ja) * 2012-03-23 2013-10-03 Toshiba Corp 画像処理装置、画像処理方法および画像処理システム
WO2013149655A1 (en) * 2012-04-04 2013-10-10 Naxos Finance Sa System for generating and receiving a stereoscopic-2d backward compatible video stream, and method thereof
US9113164B1 (en) 2012-05-15 2015-08-18 Google Inc. Constant bit rate control using implicit quantization values
CN102710950B (zh) * 2012-05-31 2014-02-12 哈尔滨工业大学 一种单路电视信号传输3d视频的系统和方法
US20140002598A1 (en) * 2012-06-29 2014-01-02 Electronics And Telecommunications Research Institute Transport system and client system for hybrid 3d content service
US9510019B2 (en) 2012-08-09 2016-11-29 Google Inc. Two-step quantization and coding method and apparatus
US9743064B2 (en) * 2012-09-11 2017-08-22 The Directv Group, Inc. System and method for distributing high-quality 3D video in a 2D format
US9253483B2 (en) 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
CN108401157B (zh) * 2012-10-01 2022-06-24 Ge视频压缩有限责任公司 可伸缩视频解码器、编码器及可伸缩视频解码、编码方法
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US9185437B2 (en) 2012-11-01 2015-11-10 Microsoft Technology Licensing, Llc Video data
CN102932660A (zh) * 2012-11-22 2013-02-13 上海文广互动电视有限公司 3d视频的合成与分解方法
US10349069B2 (en) * 2012-12-11 2019-07-09 Sony Interactive Entertainment Inc. Software hardware hybrid video encoder
WO2015055111A1 (en) * 2013-10-14 2015-04-23 Mediatek Inc. Method of lossless mode signaling for video system with lossless and lossy coding
KR102318257B1 (ko) 2014-02-25 2021-10-28 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 신호 멀티플렉싱 장치 및 신호 멀티플렉싱 방법
US10034002B2 (en) 2014-05-21 2018-07-24 Arris Enterprises Llc Signaling and selection for the enhancement of layers in scalable video
MX360655B (es) 2014-05-21 2018-11-12 Arris Entpr Llc Gestión individual de memorias intermedias en transporte de video escalable.
PT3179729T (pt) * 2014-08-07 2021-09-21 Sony Group Corp Dispositivo de transmissão, método de transmissão e dispositivo de receção
US10390047B2 (en) * 2015-01-09 2019-08-20 Sony Corporation Image processing apparatus and image processing method for controlling the granularity in trick play
CN107431562B (zh) 2015-04-06 2021-06-18 Lg电子株式会社 用于发送和接收广播信号的设备和方法
CN105657395A (zh) * 2015-08-17 2016-06-08 乐视致新电子科技（天津）有限公司 一种3d视频的字幕播放方法及装置
US10462490B2 (en) * 2015-11-06 2019-10-29 Raytheon Company Efficient video data representation and content based video retrieval framework
GB2547442B (en) * 2016-02-17 2022-01-12 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
US10154288B2 (en) 2016-03-02 2018-12-11 MatrixView, Inc. Apparatus and method to improve image or video quality or encoding performance by enhancing discrete cosine transform coefficients
US10750217B2 (en) * 2016-03-21 2020-08-18 Lg Electronics Inc. Broadcast signal transmitting/receiving device and method
EP3608876A1 (en) * 2016-09-13 2020-02-12 Dassault Systèmes Compressing a signal that represents a physical attribute
FR3070566B1 (fr) * 2017-08-30 2020-09-04 Sagemcom Broadband Sas Procede de recuperation d'un fichier cible d'un logiciel d'exploitation et dispositif d'utilisation
US11606528B2 (en) * 2018-01-03 2023-03-14 Saturn Licensing Llc Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
US10966001B2 (en) 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11463747B2 (en) * 2018-04-05 2022-10-04 Tvu Networks Corporation Systems and methods for real time control of a remote video production with multiple streams
CN110536137B (zh) * 2019-08-30 2021-12-10 无锡北邮感知技术产业研究院有限公司 一种3d视频中的左视角视频流量预测方法及装置
GB2598701B (en) * 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
CN113709510A (zh) * 2021-08-06 2021-11-26 联想(北京)有限公司 高速率数据实时传输方法及装置、设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196902A1 (en) * 2001-08-30 2004-10-07 Faroudja Yves C. Multi-layer video compression system with synthetic high frequencies
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
CN1802858A (zh) * 2003-04-17 2006-07-12 韩国电子通信研究院 基于运动图像专家组－4的立体视频因特网广播系统和方法
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
US20080056352A1 (en) * 2006-08-31 2008-03-06 Samsung Electronics Co., Ltd. Video encoding apparatus and method and video decoding apparatus and method
WO2008051041A1 (en) * 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5159453A (en) * 1990-09-07 1992-10-27 New York Institute Of Technology Video processing method and apparatus
US5193000A (en) * 1991-08-28 1993-03-09 Stereographics Corporation Multiplexing technique for stereoscopic video system
US5572250A (en) 1994-10-20 1996-11-05 Stereographics Corporation Universal electronic stereoscopic display
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
DK2835976T3 (en) * 2008-04-16 2016-12-05 Ge Video Compression Llc Bit depth scalability
US20100026783A1 (en) * 2008-08-01 2010-02-04 Real D Method and apparatus to encode and decode stereoscopic video data
EP2392144A1 (en) * 2009-01-29 2011-12-07 Dolby Laboratories Licensing Corporation Methods and devices for sub-sampling and interleaving multiple images, eg stereoscopic

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196902A1 (en) * 2001-08-30 2004-10-07 Faroudja Yves C. Multi-layer video compression system with synthetic high frequencies
CN1802858A (zh) * 2003-04-17 2006-07-12 韩国电子通信研究院 基于运动图像专家组－4的立体视频因特网广播系统和方法
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
US20080056352A1 (en) * 2006-08-31 2008-03-06 Samsung Electronics Co., Ltd. Video encoding apparatus and method and video decoding apparatus and method
WO2008051041A1 (en) * 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376831A (zh) * 2013-08-13 2015-02-25 联发科技股份有限公司 数据处理装置以及相关数据处理方法
US9875723B2 (en) 2013-08-13 2018-01-23 Mediatek Inc. Data processing apparatus for transmitting/receiving randomly accessible compressed pixel data groups over display interface and related data processing method

Also Published As

Publication number Publication date
EP2420068A1 (en) 2012-02-22
US20100260268A1 (en) 2010-10-14
JP2012523804A (ja) 2012-10-04
EP2420068A4 (en) 2012-08-08
WO2010120804A1 (en) 2010-10-21
KR20120015443A (ko) 2012-02-21

Similar Documents

Publication Publication Date Title
CN102804785A (zh) 编码、解码和发布增强分辨率的立体视频
US11622130B2 (en) Coding and decoding of interleaved image data
KR101564461B1 (ko) 비디오 데이터 신호, 인코딩된 비디오 데이터 신호를 인코딩하는 방법 및 시스템, 및 비디오 데이터 신호 디코딩 방법 및 시스템
KR101694821B1 (ko) 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
KR100523052B1 (ko) 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
WO2012169204A1 (ja) 送信装置、受信装置、送信方法及び受信方法
CA2882283C (en) Method and apparatus for integrally encoding/decoding different multilayer video codecs
TW201242373A (en) Data creation device and playback device for video picture in video stream
Lu et al. Orthogonal Muxing Frame Compatible Full Resolution technology for multi-resolution frame-compatible stereo coding
AU2008303276B2 (en) Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
Lu et al. Practical operating points of multi-resolution frame compatible (MFC) stereo coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121128