CN103155559A - 用于帧兼容视频传输的联合层优化 - Google Patents

用于帧兼容视频传输的联合层优化 Download PDF

Info

Publication number
CN103155559A
CN103155559A CN2011800495526A CN201180049552A CN103155559A CN 103155559 A CN103155559 A CN 103155559A CN 2011800495526 A CN2011800495526 A CN 2011800495526A CN 201180049552 A CN201180049552 A CN 201180049552A CN 103155559 A CN103155559 A CN 103155559A
Authority
CN
China
Prior art keywords
layer
rpu
distortion
dependent layer
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800495526A
Other languages
English (en)
Other versions
CN103155559B (zh
Inventor
阿萨纳西奥斯·莱昂塔里斯
亚历山德罗斯·图拉皮斯
佩沙拉·V·帕哈拉瓦达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN103155559A publication Critical patent/CN103155559A/zh
Application granted granted Critical
Publication of CN103155559B publication Critical patent/CN103155559B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用于帧兼容视频传输的联合层优化。更具体地，描述了用于多层编解码器中的高效模式决策、运动估计、以及通用编码参数选择的方法，该多层编解码器采用参考处理单元（RPU）以利用层间相关性来改进编码效率。

Description

用于帧兼容视频传输的联合层优化
相关申请的交叉引用
本申请要求于2010年10月12日提交的美国临时专利申请61/392,458号的优先权。本申请可能与于2010年7月19日提交的美国临时申请61/365,743号、于2009年7月4日提交的美国临时申请61/223,027号以及于2009年4月20日提交的美国临时申请61/170,995号有关，其全部内容通过引用合并到本文中。
技术领域
本发明涉及图像或视频优化。更具体地，本发明的实施例涉及用于帧兼容视频传输的联合层优化。
背景技术
近来，在业界中已经存在对立体（3D）视频传输的相当大的兴趣和关注。以3D呈现的高卖座电影已经使3D立体视频成为主流，同时大型体育赛事当前也以3D来制作和广播。特别地，动画电影正日益以立体格式生产并呈现。虽然已经存在足够大的基数的支持3D的电影屏幕，但是消费型3D应用却并非如此。在该空间的努力仍然处于起步阶段，但是若干行业组织正在将相当大的努力投入到支持消费型3D的显示的开发和市场营销中（见参考文献[1]）。
附图说明
合并到本说明书中并构成本说明书的一部分的附图，示出了本公开的一个或更多个实施例，并且与示例性实施例的描述一起用于解释公开的原理和实现。
图1示出用于立体素材的传输的水平采样/并排布置。
图2示出用于立体素材的传输的垂直采样/上下布置。
图3示出具有用于层间预测的参考处理单元的可伸缩（scalable）视频编码系统。
图4示出具有用于层间预测的参考处理的帧兼容3D立体可伸缩视频编码系统。
图5示出具有用于层间预测的参考处理的帧兼容3D立体可伸缩视频解码系统。
图6示出用于编码决策的率失真优化框架。
图7示出用于编码决策的失真的快速计算。
图8示出用于多层帧兼容全分辨率视频传输系统中的率失真优化的增强。计算了增强层（EL）中的失真的附加估计（D’和D’’）。计算了EL中率使用（rate usage）的附加估计（R’）。
图9示出用于考虑到对增强层的影响的编码决策的失真的快速计算。
图10示出示出多阶段编码决策处理的流程图。
图11示出用于多层帧兼容全分辨率视频传输系统中的率失真优化的增强。基本层（BL）RPU使用由RPU优化模块所估计的参数，该RPU优化模式使用原始的BL输入和EL输入。或者，BL输入可以通过模拟编码处理并添加编码伪像（artifact）的模块。
图12示出用于编码决策的失真的快速计算，所述编码决策考虑对增强层的影响并使用原始输入图片或轻微修改的输入来执行RPU参数优化以模拟编码伪像。
图13示出用于多层帧兼容全分辨率视频传输系统中的率失真优化的增强。编码决策对增强层的影响通过考虑EL中的运动估计和运动补偿来测量。
图14示出本地方法的一个实施例中的RPU参数优化处理中的步骤。
图15示出本地方法的另一实施例中的RPU参数优化处理中的步骤。
图16示出帧级方法中的RPU参数优化处理中的步骤。
图17示出用于考虑到对增强层的影响的编码决策的失真的快速计算。附加的运动估计步骤也考虑EL中的运动估计的影响。
图18示出考虑到允许使用非因果信息的依赖层，用于改进运动补偿的处理的第一实施例。
图19示出考虑到针对先前层和依赖层两者执行编码，用于改进运动补偿的处理的第二实施例。
图20示出考虑到针对先前层执行优化的编码决策并且考虑非因果信息的依赖层，用于改进运动补偿的第三实施例。
图21示出采用BL和EL的输出作为输入并且产生每个视点的全分辨率重构的模块。
图22示出针对编码决策的失真的快速计算，所述编码决策使用EL和BL的样本来考虑对全分辨率重构的影响。
图23示出针对编码决策的失真的快速计算，所述编码决策考虑来自前一层的失真信息和样本。
具体实施方式
根据本公开的第一实施例，提供一种用于对多层的层帧兼容图像或视频传输系统中的编码决策进行优化的方法，该系统包括一个或更多个独立层以及一个或更多个依赖层，该系统提供多个数据结构的帧兼容表示，该系统还包括在第一层与一个或更多个依赖层中的至少之一之间的至少一个参考处理单元（RPU），第一层为独立层或依赖层，该方法包括：提供第一层估计失真；以及提供一个或更多个依赖层估计失真。
根据本公开的第二实施例，提供一种联合层帧兼容编码决策优化系统，包括：第一层；第一层估计失真单元；一个或更多依赖层；在第一层与一个或更多依赖层中至少之一之间的至少一个参考处理单元（RPU）；以及在第一层与一个或更多依赖层中至少之一之间的一个或更多依赖层估计失真单元。
虽然立体显示技术和立体内容创建是必须被适当地处理以确保足够高质量的体验的问题，但是3D内容的传输同样关键。内容传输包括若干部分。一个特别重要的方面是压缩的部分，其形成本公开的范围。立体传输具有挑战性，部分原因在于必须通信的信息量的加倍。另外，用于对这种内容进行解码的计算需求和存储器吞吐量需求也显著增加。
通常，存在可以通过其将立体内容传输至消费者的两种主要分发途径：固定媒体，如蓝光盘；以及数字分发网络，诸如线缆和卫星广播以及因特网，其中因特网包括将内容传输至各种装置（诸如机顶盒、PC、具有适当视频解码器装置的显示器）以及其它平台（诸如游戏装置和移动装置）的下载和流解决方案。当前已部署的蓝光播放器和机顶盒的大多数均支持基本的编解码器，诸如基于ITU-T Rec.H.264/ISO/IEC14496-10（见参考文献[2]）现有技术视频编码标准（也称为高级视频编码标准-AVC）的附录A以及SMPTE VC-1标准（见参考文献[3]）的框架的那些基本编解码器。
传输立体内容最普遍的方式是传输两个视点（通常为左视点和右视点）的信息。传输这样的两个视点的一种方式是将它们编码为独立的视频序列，该处理也称为联播。然而，这种方法存在多种缺陷。例如，由于左视点序列和右视点序列不能利用视点间相关性，所以压缩效率劣化并且利用带宽的大幅增加来维持可接受的质量水平。然而，可以联合优化它们的编码处理，却仍然针对每个视点独立地产生可解码的比特流。尽管如此，需要提高立体视频的压缩效率同时保持向后兼容性。兼容性可以用支持多个层的编解码器来实现。
多层或可伸缩比特流由以预定义的依赖关系所表征的多个层组成。一个或更多个那些层被称为基本层（BL），基本层（BL）需要在其它任何层之前被解码并且它们彼此之间能够独立解码。剩余的层通常被称为增强层（EL），原因是它们的功能被设置为在仅一个基本层或多个基本层被解析并被解码时用于改进内容（分辨率或质量/保真度）或增强内容（特征的添加，诸如添加新的视点）。增强层也被称为依赖层，原因在于它们全部依赖于基本层。
在一些情况下，一个或更多个增强层可以依赖于其它更高优先级的增强层的解码，原因是增强层可以采用来自基本层之一或先前编码（较高优先级）的增强层之一的层间预测。因此，解码也可以终止于中层间之一。多层或可伸缩的比特流使得在质量/信噪比（SNR）、空间分辨率和/或时间分辨率、和/或附加视点的可用性方面的可伸缩性是可能的。
例如，使用基于H.264/MPEG-4Part10的附录A框架的编解码器或使用VC-1或VP8编解码器，可以产生时间上可伸缩的比特流。第一基本层（如果被解码）可以提供每秒15帧（fps）的图像序列的版本，而第二增强层（如果被解码）可以联合已解码的基本层来提供30fps的相同图像序列。例如，当采用H.264/MPEG-4Part10的附录G的AVC视频编码标准时，SNR可伸缩性以及时间可伸缩性和空间可伸缩性的进一步扩展是可能的。在这种情况下，基本层生成图像序列的第一质量或分辨率版本，而一个或更多增强层可以在视觉质量或分辨率方面提供另外的改进。类似地，基本层可以提供图像序列的低分辨率版本。分辨率可以通过对附加的增强层进行解码来改进。然而，可伸缩或多层的比特流对于提供多视点可伸缩性也是有用的。
H.264/AVC的多视点编码（MVC）扩展（附录H）的立体高框架（profile）最近已完成，并且已被采用为用于以立体内容为特征的下一代蓝光盘（蓝光3D）的视频编解码器。该编码方法试图在一定程度上解决立体视频流的高比特率需求。该立体高框架利用与H.264/AVC的附录A的高框架兼容并且对视点中被称为基本视点的一个视点进行压缩的基本层。然后，增强层对被称为依赖视点的其它视点进行压缩。虽然基本层本身是有效的H.264/AVC比特流并且能够独立于增强层解码，但可能且通常对于增强层却不是这样。这是由于下述事实：增强层能够利用来自基本层的解码图片作为运动补偿的预测参考。结果，依赖视点（增强层）可以受益于视点间预测。例如，针对具有高视点间相关性（低立体视差）的场景，压缩可以显著地改进。因此，MVC扩展方法试图通过采用立体视差来解决增加的带宽的问题。
然而，这样做会以与现有部署的机顶盒和蓝光播放器的基础架构的兼容性为代价。即使现有的H.264解码器可能能够解码并显示基本视点，但是其将简单地丢弃并忽略依赖视点。结果，现有的解码器将仅能够观看2D内容。因此，虽然MVC保留了2D兼容性，但是没有考虑传统装置中的3D内容的传输。向后兼容性的缺失是趋于快速采用消费型3D立体视频的另外障碍。
消费型3D的部署可以通过利用机顶盒、蓝光播放器和高清晰度电视机的安装基础而加速。大多数显示器生产商当前均提供支持3D立体显示的高清晰度电视机。这些包括主要的显示技术，诸如LCD（液晶显示器）、等离子以及DLP（数字光处理器）（参考文献[1]）。关键在于：在仍然利用现有的且已部署的编解码器诸如VC-1和H.264/AVC的同时，向显示器提供具有包含两个视点但仍在单个帧的范围内的内容。这种对立体内容进行格式化使得其符合单个图片或帧内的方法被称为帧兼容。请注意：帧兼容表示的大小不需要与原始视点帧的大小相同。
类似于H.264的MVC扩展，申请人的立体3D消费型传输系统（美国临时申请61/223,027号，其全部内容通过引用合并到本文中）以基本层和增强层为特征。与MVC方法形成对照，视点可以被复用到两层中，以便将基本层和增强层提供给消费者，该基本层通过携带两个视点的二次采样版本而帧兼容，该增强层在与基本层组合时导致两个视点的全分辨率重构。帧兼容格式包括并排、上下以及五点梅花形/棋盘交错。在图1至图2中示出了一些指示性示例。
另外，附加的处理阶段可以呈现为：在使用基本层的解码帧作为用于预测增强层的运动补偿的参考之前对基本层的解码帧进行处理。分别可以在图4和图5中看到针对在美国临时申请61/223,027号（其全部内容通过引用合并到本文中）中提出的系统的编码器和解码器的图。应该注意：甚至非帧兼容的编码布置诸如MVC的布置也可以利用附加的处理步骤又称为参考处理单元（RPU）来进行增强，该参考处理单元（RPU）在从基本视点所取的参考被用作用于预测依赖视点的参考之前对其进行处理。这也在美国临时申请61/223,027号中描述的，其全部内容通过引用合并到本文中，并且在图3中被示出。
美国临时申请61/223,027号（其全部内容通过引用合并到本文中）的帧兼容技术确保帧兼容基本层，并且通过使用预处理器/RPU元件而成功地减少用于实现立体视点的全分辨率重构的总成本。在图5的左手侧示出针对用于帧兼容全分辨率立体传输的两层系统的全分辨率重构的处理的示例。基于增强层的可用性，对于最终的重构视点存在两个选项。它们可以从基本层VFC,BL,out的帧兼容输出被插入并且任选地被后处理以产生V0,BL,out和V1,BL,out（如果例如增强层不可用或者我们正在权衡复杂度），或者它们可以与增强层的合适样本复用以产生每个视点的较高的表示重构V0,FR,out和V1,FR,out。请注意：在两种情况下所产生的重构视点可以具有相同的分辨率。然而，与一种代码信息用于所有样本的后者情况（针对一些实现，样本中的一半在基本层中而其余的在增强层中，尽管比例可以不同）相反，在前一种情况下，用于样本中的一半样本的信息是可用的而其余的使用智能算法来插入，如在参考文献[3]和美国临时申请61/170,995号中所讨论和引用的，其全部内容通过引用合并到本文中。
现代视频编解码器采用大量编码工具。这些工具包括帧间预测和帧内预测。在帧间预测中，使用来自存储在参考图片缓冲器中的参考图片的运动补偿预测来预测当前图片中的块或区域，以产生预测块或区域。帧间预测的一种类型是单一预测运动补偿，其中预测块从单个参考图片获取。现代编解码器也应用双预测运动补偿，其中最终的预测块是两个预测“假设”块的加权线性（或者甚至是非线性）组合的结果，预测“假设”块可以从单个参考图片或两个不同的参考图片获取。具有三个或更多个组合块的多假设方案也已经被提出。
请注意：在本公开中区域和块可互换使用。区域可以为包括多个块或甚至单个像素的矩形，但也可以包括简单地连接但未构成矩形的多个块。也可能存在区域可以不是矩形的实现。在这种情况下，区域可以为像素的无形状的组（未必连接），或可以由不限制大小的六角形或三角形（如在网格编码中）组成。另外，多于一种类型的块可以被用于相同的图片，并且块不需要为相同大小的块。块或通常的构造区域更易于描述并处理，但是已经存在利用非块概念的编解码器。在帧内预测中，使用相同的图片的编码（因果）样本（例如，来自已经被编码的相邻宏块的样本）来预测当前图片中的块或区域。
在帧间预测或帧内预测之后，从原始的源块中减去预测块以获得预测残差。首先对预测残差进行变换，并且对在变换中使用的变换系数进行量化。通常通过使用控制量化步骤的量化参数来控制量化。然而，也可以通过使用控制量化是否趋于零或远离零的量化偏移、系数阈值和基于格架（trellis）的决策等来影响量化。使用产生压缩比特流的熵编码器来对量化的变换系数与其它信息（诸如编码模式、运动、块大小等）一起进行编码。
用于获得最终的重构块的操作反映（mirror）了解码器的操作：量化的变换系数（解码器仍然需要从比特流对它们进行解码）被逆量化和逆变换（以该顺序）以产生重构的残差块。在可选的环路滤波阶段（通常出于去块和去伪像（artifact）的目的）之后，重构的残差块然后被添加到帧间或帧内预测块以产生随后存储在参考图像缓冲器中的最终重构块。在图3、图4和图5中示出了上述处理。在图6中，选择编码模式（例如，帧间或帧内、块大小、针对运动补偿的运动向量、量化等）的处理被描述为“视差估计0”，而在给定视差估计模块中的选择的情况下生成预测样本的处理被称为“视差补偿0”。
视差估计包括运动估计和照明估计以及编码决策，而视差补偿包括运动补偿和照明补偿以及生成帧内预测样本等。运动和照明估计以及编码决策对于视频编码器的压缩效率是关键的。在现代编解码器中，可以存在多个帧内预测模式（例如从垂直或水平的相邻者来预测）以及多个帧间预测模式（例如不同的块大小、参考指数或针对多假设预测的每个块的运动向量的不同数目）。现代编解码器主要使用平移运动模型。然而，已经提出更全面的运动模型（诸如仿射、透视以及抛物线运动模型等）以用于可以处理更复杂的运动类型（例如相机变焦、旋转等）的视频编解码器。
在本公开中，术语“编码决策（coding decision）”指的是除了视频编码系统的自由度之外，模式的选择（例如帧间4×4与帧内16×16）以及运动补偿参数或照明补偿参数、参考指数、去块滤波器参数、块大小、运动向量、量化矩阵和偏移、量化策略（包括基于格架）、阈值的选择。另外，编码决策也可以包括控制对每个层进行处理的预处理器的参数的选择。因此，运动估计也可以被视为编码决策的特殊情况。
另外，帧间预测利用运动和照明补偿，因此通常需要好的运动向量和照明参数。请注意：这里提出的术语“运动估计”也将包括照明参数估计的处理。对于术语“视差估计”，同样成立。同时，术语“运动补偿”和“视差补偿”将被假定为包括照明补偿。假定大量的编码参数是可用的，诸如使用不同的预测方法、变换、量化参数以及熵编码方法等，可以实现各种编码权衡（在不同速率下的不同的失真水平和/或复杂度水平）。就复杂度而言，对以下中任一个或全部做出参考：实现复杂度、存储复杂度以及计算复杂度。某些编码决策可以例如减少率成本（rate cost）和失真同时却以显著更高的计算复杂度为代价。
由于解码器的规格对于相应的编码器的实现者是已知的，因此编码工具对复杂度的影响可能预先估计。虽然解码器的具体实现可能变化，但是具体实现中的每种实现必须遵循解码器规格。对于许多操作，仅存在少数可能的实现方法，因此可以对这些实现方法执行复杂度分析以估计计算（加法、除法以及乘法等）以及存储操作（复制和加载操作等）的数目。除了存储操作之外，存储复杂度也依赖于包括在某些编码工具中的存储器的（附加的）量。另外，计算复杂度和存储复杂度两者均影响执行时间和功率使用。因此，在复杂度估计中，通常使用近似于每个特定操作对执行时间和/或功率使用的影响的因子来对这些操作进行加权。
通过创建编码测试模式并且对软件或硬件解码器进行测试以建立复杂度估计模型，可以获得复杂度的较好估计。然而，这些模型经常可以依赖于用于建立模型的系统，其通常难以一般化。实现复杂度例如可以指多少晶体管以及何种类型的晶体管被用于实现特定的编码工具，其可能影响基于计算复杂度和存储复杂度所生成的功率使用的估计。
失真是一种对源参考块或区域与某一重构的块或区域之间的不同或差异的衡量。这种衡量包括全参考度量（诸如广泛使用的差值平方和（SSD）、其等价的峰值信噪比（PSNR）或绝对差值总和（SAD））、绝对变换（例如阿达玛，hadamard）差值总和、结构相似性度量（SSIM）或者减少/无参考度量，其中减少/无参考度量完全不考虑源但试图去估计重构的区域或块自身的主观/感知质量。全参考度量或无参考度量也可以利用人类视觉系统（HVS）考虑（诸如亮度和对比度灵敏度、对比度和空间屏蔽等）来增强，以便于更好地考虑感知影响。另外，编码决策处理可以被定义为其也可以以串行或并行的方式组合一个或更多个度量（例如，如果第一失真度量满足某一规则就计算第二失真度量，或者可以以并行或联合考虑的方式计算两个失真度量）。
虽然较旧的系统的编码决策基本上基于质量性能（失真的最小化），但是更多的现代系统使用联合考虑两种测量（比特率和质量/失真）的更复杂的方法来确定适当的编码模式。另外，针对所选的编码模式，可以考虑涉及复杂度（实现复杂度、计算复杂度和/或存储复杂度）的估计的第三测量。
该处理被称为率失真优化处理（RDO），并且在参考文献[4]、参考文献[5]以及参考文献[8]中已将其成功地应用于解决编码决策和运动估计的问题。代替仅对作为某个运动向量或编码模式选择的结果的失真D或率成本R进行最小化，可以对联合的拉格朗日成本J＝D+λR进行最小化，其中λ被称为拉格朗日拉姆达参数。其它算法（诸如模拟退火、遗传算法、博弈论等）可以被用于优化编码决策和运动估计。当还考虑复杂度时，处理被称为率复杂度失真优化（RCDO）。在这些情况下，可以通过考虑附加项和附加的拉格朗日拉姆达参数来扩展拉格朗日最小化，如下所示：J＝D+λ2C+λ1R。
图6示出了使用率失真优化的编码决策处理的图。针对每种编码模式，在使用拉格朗日优化计算拉格朗日成本J的情况下，必须获取失真和率成本。“视差估计0”模块使用如下量作为输入：（a）源输入块或区域，其针对帧兼容压缩可以包括交错的立体帧对的情况；（b）“因果信息”，其包括来自已经被编码的区域/块的运动向量和像素样本；以及（c）参考图片，其来自参考图片缓冲器（在那种情况下基本层的参考图片缓冲器）。然后，该模块选择参数（待使用的帧内或帧间预测模式、参考指数、照明参数以及运动向量等）并将其发送到“视差补偿0”模块，“视差补偿0”模块仅使用因果信息以及来自参考图片缓冲器的信息产生预测块或区域rpred。从源块或区域减去预测块或区域rpred，然后对所产生的预测残差然后进行变换和量化。然后，所变换并量化的残差经历可变长度的熵编码（VLC）以便于估计率使用。
率使用（rate usage）包括用于发送特定编码模式（比其它编码模式的发送成本更大的一些模式），运动向量、参考指数（用于选择参考图片）、照明补偿参数以及所变换并量化的系数等的位。针对给定的编码模式和参数，为了获取失真估计，所变换并量化的残差经历逆量化以及逆变换，并且最终被加至预测块或区域以产生重构的块或区域。然后，该重构的块在与原始的源块一起被馈送到“失真计算0”模块中之前可以可选地经历循环滤波（以更好地反映解码器的操作）以产生rrec。因此，获取了失真估计D。
图7中示出了针对避免了全编码和全重构的快速方案的相似的图。可以观察到主要的差别在于：失真计算利用视差补偿模块的直接输出，即预测块或区域rpred；以及率失真使用通常仅考虑编码模式和运动参数（包括照明补偿参数和参考指数的编码）的影响。通常，诸如这些方案由于低的计算开销而基本上用于运动估计；然而，也可以将方案应用于一般的编码决策。类似地，也可以使用图6的复杂方案执行运动估计。
以上的优化策略已经被广泛地部署，并且可以针对单层编解码器产生非常好的编码效果。然而，在多层帧兼容全分辨率方案如本公开中所参考的方案中，层并非彼此独立，如美国临时专利申请61/223,027号所示出的，其全部内容通过引用合并到本文中。
图3和图4示出了增强层已经访问到附加的参考图片，例如通过对来自基本层参考图片缓冲器的基本层图片进行处理所生成的经RPU处理的图片。从而，基本层中的编码选择可能对增强层的性能具有不利影响。可以存在下述情况：某个运动向量、某个编码模式、所选择的去块滤波器参数、量化矩阵和偏移量的选择以及甚至自适应量化或系数阈值的使用可以针对基本层产生好的编码效果，但是也可能损害增强层处的压缩效率和感知质量。图6和图7的编码决策方案没有解决该相关性。
之前已经针对多层编码器的编码决策和运动估计进行过研究。可以在参考文献[7]中发现应用到H.26L-PFGS SNR可伸缩视频编码器的通用方法，其中率失真优化的传统观念被扩展为同样考虑在一层中编码决策对其依赖层的失真和率使用的影响。在参考文献[6]中示出相似的方法，但其目标为ITU-T/ISO/IEC H.264/14496-10视频编码标准的附录G（可伸缩视频编码）。在那个参考文献中，拉格朗日成本计算被扩展为包括来自依赖层的失真项和率使用项。除运动估计和编码决策的优化之外，参考文献还示出了针对考虑到对依赖层的影响的量化的率失真最优的基于网格的方案。
本公开描述了对传统的运动估计、帧内预测以及编码决策技术进行改进和扩展的方法，以解决在帧兼容（可选地，全分辨率）多层编码系统中的层间依赖，该系统采用一个或更多个RPU处理单元以用于对给定有另一层的存储参考图片的层的表示进行预测。当从另一个视点预测一个视点时，RPU处理元素可以执行滤波、丢失的样本的插值、扩充采样、缩减采样以及运动或立体视差补偿等。RPU可以在区域的基础上处理来自前一层的参考图片，将不同的参数应用到每个区域。这些区域可以为任意形状和大小（也参见针对帧间和帧内预测的区域的定义）。控制RPU处理器的操作的参数此后将被称为RPU参数。
如之前所描述，术语“编码决策”指的是一个或更多个模式（例如帧间4×4和帧内16×16）、运动或照明补偿参数、参考指数、去块滤波器参数、块大小、运动向量、量化矩阵和偏移、量化策略（包括基于网格）和阈值以及用在视频编码系统中的各种其它参数的选择。另外，编码决策也可以涉及控制对每个层进行处理的预处理器的参数的选择。
以下是将在下面段落中描述的实施例的简要说明：
（a）考虑RPU的影响的第一实施例（参见示例1）。
（b）根据第一实施例建立的并且执行附加的操作以仿效依赖层的编码处理的第二实施例（参见示例2）。这进而会导致更精确的失真估计和率使用估计。
（c）通过对滤波器、插值和运动/立体视差补偿、由RUP使用的参数（RPU参数）的选择进行优化，根据以上两个实施例中的任一个实施例建立的第三实施例（参见示例3）。
（d）通过考虑依赖层中的运动估计和编码决策的影响，根据以上三个实施例中的任一个实施例建立的第四实施例（参见示例4）。
（e）针对仅基本层或基本层和层的子集两者或者针对联合的所有层，还考虑每个视点的全分辨率重构的图片中的失真的第五实施例（参见示例5）。
贯穿本公开还将示出另外的实施例。以上实施例中的每个实施例将表示不同的性能-复杂度权衡。
示例1
在本公开中，术语“依赖（dependent）”和“增强”可以互换使用。随后可以通过参考依赖层所依赖的层来指明术语。“依赖层”是针对其解码依赖于先前层（其也可以是另外的依赖层）的层。独立于任何其它层的层被称为基本层。这不排除包括多于一个基本层的实现。术语“先前层”可以指基本层或增强层。当图涉及仅具有两个层——基本层（第一）和增强层（相关）——的实施例时，这也不应该将本公开限制于两层实施例。例如，与许多图中所示的相反，第一层可以为另外的增强（依赖）层而不是基本层。本公开的实施例可以应用于具有两个或更多个层的任意多层系统。
如图3和图4所示，第一示例考虑RPU（100）对增强层或依赖层的影响。依赖层可以通过将RPU（100）应用到先前层的重构参考图片然后将经处理的图片存储在依赖层的参考图片缓冲器中来考虑附加的参考图片。在实施例中，RPU的基于区域或块的实现被直接应用到由先前层处的R-D优化所产生的可选的循环滤波重构样本rrec。
如图8中，在帧兼容输入包括来自立体帧对的样本的情况下，RPU产生经处理的样本rRPU（1100），该经处理的样本rRPU（1100）包括依赖层中共同定位（co-located）的块或区域的预测。RPU可以使用一些预定义的RPU参数以便于执行EL样本的插值/预测。这些固定的RPU参数可以通过用户输入的先验值而是固定的，或者可以依赖于因果过去。也可以使用在之前帧的相同层的RPU处理期间以编码顺序所选择的RPU参数。出于从之前帧选择RPU参数的目的，选择最相关的帧是理想的，最相关的帧通常是时间上最接近的帧。也可以考虑用于相同层的已经处理的、可能邻近块或区域的RPU参数。另外的实施例可以联合考虑固定的RPU参数以及来自因果过去的参数。编码决策可以考虑两者，并且选择满足选择规则的一个（例如，针对拉格朗日最小化的情况，其涉及将拉格朗日成本最小化）。
图8示出了执行编码决策的实施例。在先前层处的重构样本rrec（1101）被传递到在增强层中对并置样本rRPU（1100）进行插值/估计的RPU。然后，这些可以与依赖层的原始的输入样本（1105）一起被传递到失真计算器1（1102）以针对在先前层处的编码决策对依赖层的影响来产生失真估计D'（1103）。
图9示出了针对编码决策的失真和率使用的快速计算的实施例。与图8的复杂实现相比，不同之处在于代替先前层的重构样本，先前层的预测区域或块rpred（1500）被用作RPU（100）的输入。图8和图9的实现表示在复杂度和性能方面不同权衡。
另一实施例是多阶段处理。可以使用图9（仅预测残差，而非全分辨率）的较简单的方法来在4×4帧内预测模式之间进行确定，或在针对8×8帧间模式的分区大小之间进行确定，并且使用图8的具有残差的全重构的高复杂度方法来在8×8帧间或4×4帧内之间执行最终的确定。本领域的技术人员将理解的是，利用本公开的教示可以使用任何类型的多阶段确定方法。在这些实施例中的熵编码器可以为相对低复杂度的实现，其仅估计熵编码器将会使用的位。
图10示出了图示多阶段编码决策处理的流程图。初始步骤涉及将编码参数分成（S1001）A组和B组。提供（S1002）B组参数的第一设置（S1002）。针对B组参数的第一设置，考虑到对一个或多个依赖层的影响以低复杂度来测试（S1003）A组参数的设置。执行测试（S1003）直到针对B组参数的第一设置对A组参数的所有设置进行过测试为止。基于B组参数的第一设置来确定（S1005）A组参数的最优设置A*，并且考虑到对一个或多个依赖层的影响以高复杂度来对A*进行测试（S1006）。针对B组参数中的每个设置执行步骤（S1003，S1004，S1005，S1006）中的每个步骤。一旦已经针对B组参数中的每个参数对所有A组参数进行过测试，则可以确定参数（A*，B*）的最优设置。请注意：多阶段编码决策处理可以将编码参数分成多于两个组。
附加的失真估计D'（1103）可以不必代替来自先前层的失真计算器0（1117）的失真估计D（1104）。可以在拉格朗日成本J中使用适当的加权联合考虑D和D’，如：J＝w0×D+w1×D'+λ×R。在一个实施例中，权重w0和权重w1可以总计为1。在另外的实施例中，权重w0和权重w1可以根据使用场景而调整使得权重可以是每个层的相对重要性的函数。权重可以依赖于目标解码器/装置，编码流的客户端的容量。作为非限制性示例，如果客户中的一半可以解码至先前层并且其余客户已经访问至并且包括依赖层，那么权重可分别设置为二分之一和二分之一。
除传统的编码决策和运动估计之外，根据本公开的实施例还可以应用于之前已经在本公开中定义过的编码决策的一般定义，该编码决策的一般定义也包括针对每层的输入内容的预处理器的参数选择。后者可以通过考虑预处理器参数（如滤波器）选择对一个或更多个依赖层的影响而在先前层处优化预处理器。
在再一的实施例中，出于加速目的，针对先前层的预测或重构样本的获取以及涉及RPU的后续处理和失真计算等可以仅考虑亮度样本。当复杂度不是问题时，解码器可以针对编码决策来考虑亮度和色度两者。
在另一的实施例中，先前层处的“视差估计0”模块可以考虑原始的先前层样本来代替来自参考图片缓冲器的参考图片的使用。类似的实施例也可以在所有后续方法中应用于所有的视差估计模块。
示例2
如图8的底部所示，通过设置附加的失真估计和率使用估计以及仿效在依赖层处的编码处理，根据第一实例建立了第二示例。虽然第一示例比较RPU的影响，但是其避免了最终的依赖层重构样本rRPU,rec的大成本推导。最终重构样本的推导可以改进失真估计的保真度，从而因此改进率失真优化处理的性能。从依赖层源（1105）块或区域减去RPU的输出rRPU（1100）以产生作为失真的测量的预测残差。然后，该残差被变换（1106）并量化（1107）（使用依赖层的量化参数）。然后，所变换并量化的残差被馈送到产生依赖层率使用R’的估计的熵编码器（1108）。
接下来，所变换并量化的残差经历逆量化（1109）和逆变换（1110），并且结果被加到RPU的输出（1100）以产生依赖层重构。然后，依赖层重构可以可选地由环路滤波器（1112）进行滤波以产生rRPU,rec（1111），并且rRPU,rec最终被送往失真计算器2（1113），失真计算器2（1113）也考虑源输入依赖层（1105）的块或区域并且产生附加的失真估计D’’（1115）。可以在图8的底部看见针对两层的该方案的实施例。在基本层或依赖层处的熵编码器（1116和1108）可以为低复杂度的实现，其仅估计熵编码器将会使用的位的数目。在一个实施例中，可以用较低复杂度的方法（如通用的可变长编码（指数哥伦布编码））来取代复杂方法（如算数编码）。在另一实施例中，可以用查找表来取代算数或可变长编码法，查找表提供在编码期间将使用的位的数目的估计。
类似于第一示例，可以与预先估计（如果可用）联合考虑附加的失真估计和率成本估计。使用适当加权的拉格朗日成本J可以被修改为：J＝w0×D+w1×D'+w2×D''+λ0×R+λ1×R'。在另一实施例中，用于率估计的拉姆达值以及失真估计的增益因子可以依赖于在先前层和依赖层中使用的量化参数。
示例3
如图11和图12所示，通过针对RPU优化参数选择，根据示例1和示例2建立了第三示例。在如图3所示的帧兼容全分辨率传输系统的实际实现中，编码器首先对先前层进行编码。当重构图片被插入到参考图片缓冲器中时，由RPU对重构图片进行处理以获取RPU参数。然后，使用重构图片作为输入，这些参数被用于引导依赖层图片的预测。一旦依赖层图片预测完成，新的图片就被插入依赖层的参考图片缓冲器中。这种事件序列具有意想不到的结果：在先前层中用于编码决策的本地RPU不知道最终的RPU处理将如何解决。
在另一实施例中，可以选择默认RPU参数。这些可以不可知地设置。但是在一些情况下，当处理之前的区域或图片时，可以根据可用的因果数据（如预先编码样本、运动向量、照明补偿参数、编码模式以及块大小）、RPU参数选择等来设置它们。然而，通过考虑当前的依赖层输入（1202），更好的性能是可能的。
为了针对先前层（例如，BL或其它前增强层）中的每个编码决策来完全地考虑RPU的影响，RPU处理模块也可以使用预测的或重构的块以及源依赖层（例如，EL）块作为输入来执行RPU参数优化。然而，这种方法是复杂的，原因是RPU优化处理针对先前层处的每个经比较的编码模式（或运动向量）进行重复。
为了减少计算复杂度，如图11所示，包括有在基于区域/块的RPU（处理模块）之前进行操作的RPU参数优化（1200）模块。RPU参数优化（1200）的目的为：当处理用于依赖层参考图片缓冲器中的依赖层参考时对最终的RPU（100）将使用的参数进行估计。区域可以与帧一样大并且可以与像素的块一样小。然后，这些参数被传递到本地RPU以控制其操作。
在另一实施例中，RPU参数优化模块（1200）可以被本地实现为先前层编码决策的一部分，并且被用于每个区域或块。在本地方法的本实施例中，先前层中的每个运动块被编码，并且针对每个编码模式或运动向量，生成经预测或重构的块并且使其通过针对相应的块产生预测的RPU处理器。RPU利用参数如滤波器系数来预测当前层中的块。如之前所讨论的，这些RPU参数可以是预定义的或者通过使用因果信息来获取。因此，当在前层中对块进行编码时，获得优化模块。
特别地，图16示出了图示针对本地方法的本实施例的RPU优化处理的流程图。处理以针对先前层的编码参数的第一设置（包括例如编码模式和/或运动向量）的测试（S1601）开始，其导致重构或预测的区域。在测试阶段（S1601）之后，可以基于作为所测试的编码参数设置的结果的重构或预测区域来生成（S1602）优化RPU参数的第一设置。可选地，RPU参数选择阶段也可以考虑原始的或预处理的先前层区域值。然后，基于本公开的教示和所确定的RPU参数来获取失真估计和率估计。测试了另外的编码参数设置。一旦已经测试完编码参数设置中的每个编码参数设置，则选择出最优的编码参数设置，并且使用最优的编码参数设置对先前层的块或区域进行编码（S1604）。重复（S1605）之前的步骤（S1601，S1602，S1603，S1604）直到所有块已经被编码为止。
在本地方法的另一实施例中，可以在对先前层的区域进行编码之前实现RPU参数优化模块（1200）。图15示出了图示出本地方法的本实施例中RPU优化处理的流程图。特别地，基于原始的或经处理的原始图片针对每个块或区域执行一次RPU参数优化（S1501），并且从优化（S1501）所获得的相同RPU参数被用于每个经测试的编码参数设置（包括例如编码模式或运动向量等）（S1502）。在考虑参数设置对一个或多个依赖层的影响的情况下，一旦某个先前层编码参数设置已经被测试（S1502），则另一参数设置被类似地测试（S1503）直到全部编码参数设置已经被测试为止。与图16相反，参数设置的测试（S1502）不影响在初始步骤（S1501）中获得的优化RPU参数。继全部参数设置（S1503）的测试之后，选择出最优参数设置并且对块或区域进行编码（S1504）。重复（S1505）之前的步骤（S1501，S1502，S1503，S1504）直到所有块已经被编码为止。
在基于帧的实施例中，该前置预测器可以使用源依赖层输入（1202）和源先前层输入（1201）作为输入。另外的实施例被定义为：其中代替原始先前层输入，执行低复杂度编码操作，该低复杂度编码操作使用与实际编码处理的量化类似的量化并且产生较接近于RPU实际使用的先前层“参考”。
图14示出了图示基于帧的实施例中的RPU优化处理的流程图。在帧级方法中，由于RPU优化在先前层的编码之前发生，因此仅原始图片或经处理的原始图片可用。特别地，仅基于原始图片或经处理的原始图片对RPU参数进行优化（S1401）。继RPU参数优化（S1401）之后，在考虑参数设置对一个或更多个依赖层的影响的情况下对编码参数设置进行测试（S1402）。类似地对另外的编码参数设置进行测试（S1403）直到所有参数设置已经被测试为止。针对所有经测试的编码参数设置，在S1401中所估计的同一固定RPU参数被用于对依赖层RPU的影响进行建模。类似于图15并与图16相反，参数设置的测试（S1602）不影响在初始优化步骤（S1601）中获得的优化RPU参数。继所有参数设置的测试（S1403）之后，选择出最优编码参数并且对块进行编码（S1404）。重复（S1405）之前的步骤（S1401，S1402，S1403，S1404）直到所有块已经被编码为止。
相对于图16所示的针对形成编码参数设置的每个编码模式或运动向量来生成优化参数的本地方法，图15的实施例降低了复杂度。具体实施例的选择可以是并行化和实现需求（例如，针对本地化版本的存储需求将会降低，同时基于帧的版本将会容易转换成不同的处理线程并在例如以编码顺序对之前帧进行编码时运行；后者对于第二本地级实施方法也是成立的）的问题。另外，在实现本地法的实施例中，RPU优化模块可以使用重构样本rrec或预测样本rpred作为RPU处理器的输入，RPU处理器生成依赖层输入的预测。然而，存在有其中基于帧的方法可以在压缩性能方面理想的情况，原因是编码器的区域大小和RPU的区域大小可以不相同。例如，RPU可以使用显著更大的大小。在这种情况下，基于帧的RPU优化模块做出的选择可以较接近于最终结果。具有基于切片的RPU优化模块的实施例将更倾向于使用例如多线程的并行化。
应用到低复杂度本地级方法以及帧级方法两者的实施例可以使用帧内编码器（1203），其中帧内预测模式用于在先前层的输入被用作RPU优化模块的输入之前对先前层的输入进行处理。其它实施例可以使用先前层编码器的超低复杂度实现来模拟类似效果。在图11和图12中分别示出了基于帧的实现的复杂实施例和快速实施例。
对于以上实施例中的一些实施例，在针对先前层的编码决策期间所获得的估计RPU参数可以与在最终的RPU优化和处理期间实际使用的RPU参数不同。通常，在先前层已经被编码之后发生最终的RPU优化。最终的RPU优化通常考虑整个图片。在实施例中，从与这些差异有关的过去编码图片收集信息（空间和时间坐标），并且将信息与RPU优化模块的当前参数估计结合使用以便于对由RPU用于创建新的参考的最终参数进行估计，并且在编码决策处理期间使用这些校正参数。
在其中开始对先前层中的每个块的进行编码之前，RPU优化步骤考虑整个图片（如图14的帧级实施例中）的另一实施例中，可以收集有关先前层的在其编码之后的重构像素的值以及用于驱动RPU处理的像素的值，该像素值可以是原始值或被处理为加有量化噪声的值（压缩伪像）。然后，该信息可以用在后续图片中以便于修改量化噪声处理，使得在RPU优化期间所使用的样本更接近类似编码样本。
示例4
如图13所示，通过考虑依赖层中的运动估计和编码决策的影响，根据三个之前示例中的任一个建立第四示例。图3示出了由RPU（100）所产生的参考图片被添加到依赖层参考图片缓冲器（700）。然而，这仅是存储在参考图片缓冲器中的参考图片中的一个，参考图片缓冲器也可以包含属于之前帧的依赖层重构图片（以编码顺序）。通常，在双向预测或多假设运动估计的情况下的这种一个或多个参考（称为“时间”参考）可以被选择为代替（在单向预测运动估计/补偿中）“层间”参考或与“层间”参考（由RPU生成的参考）组合（在多假设/双向预测运动估计/补偿中）。针对双向预测运动估计，可以从层间参考中选择一个块，而从“时间”参考中选择另一个块。考虑到例如视频中的场景改变，在该情况下时间参考将与当前依赖层重构图片具有低（或无）时间相关性，而层间相关性通常会为高。在该情况下，将选择RPU参考。考虑针对完全静态场景的情况，在该情况下，时间参考将与当前依赖层重构图片具有高的时间相关性；特别地，时间相关性可以高于层间RPU预测的时间相关性。因此，利用“时间”参考代替“层间”参考或与“层间”参考组合的这种选择，通常会致使之前所估计的D’和D’’失真不可靠。因此，在示例4中，提出通过考虑依赖层处的参考图片选择和编码决策（由于也可以考虑帧内预测）来增强先前层处的编码决策的技术。
另一实施例可以在依赖层处的两个失真估计之间进行确定。失真估计的第一种类型是示例1至3中所估计的一种失真估计。其对应于层间参考。
先前层处的另一类型失真对应于如图13所示的时间参考。对该失真进行估计使得运动估计模块2（1301）采用下述量作为输入并且在给定层间和时间参考的情况下确定最好地预测源块的运动参数，上述量包括：来自依赖层参考图片缓冲器（1302）的时间参考；RPU处理器的经处理的输出rRPU；可以包括来自当前块或区域的相邻者的经RPU处理的样本和编码参数（如运动向量，原因是它们提高率估计）的因果信息；以及源依赖层输入块。因果信息可以用来执行运动估计。针对单向预测运动补偿的情况，不需要层间块rRPU和因果信息。然而，针对双向预测或多假设预测，还必须联合考虑层间块rRPU和因果信息以产生最可能的预测块。然后，运动参数以及时间参考、层间块以及因果信息被传递到运动补偿模块2（1303），运动补偿模块2（1303）产生预测区域或块rRPB,MCP（1320）。然后，使用所预测的块或区域rRPB,MCP（1320）和源输入依赖层块或区域来计算与时间参考有关的失真。然后，对应于时间的失真计算块（1310）和层间失真计算块（1305）的失真被传递到选择器（1304），选择器（1304）是使用与依赖层编码器的规则类似的规则来对块（和失真）进行选择的比较模块。这些规则也可以包括拉格朗日优化，其中例如针对依赖层参考的运动向量的成本也被考虑进去。
在较简单的实施例中，选择器模块（1304）将选择两个失真中的最小者。然后，该新的失真值可以被用为代替原始的层间失真值（如利用示例1至3所确定的）。在图13的底部示出了该实施例的图示。
另一实施例可以使用与来自先前层编码器的相同帧对应的运动向量。运动向量可以被照原样使用，或者可选地，它们可以被用于初始化并且因此运动估计模块中加速运动搜索。运动向量也指的是照明补偿参数、去块参数、量化偏移以及量化矩阵等。其它实施例可以围绕由先前层编码器所提供的运动向量来进行小型细化搜索。
另外的实施例通过使用运动估计和运动补偿而增强了层间失真的精确度。至此一直假定RPU处理器的输出rRPU被照原样使用以预测依赖层输入块或区域。然而，由于由RPU处理器所产生的参考被置于参考图片缓冲器中，所以其将被用作运动补偿参考图片。因此，除全零（0,0）之外的运动向量可以被用于获取针对依赖层的预测块。
虽然运动向量（MV）大多数时间针对两个方向将接近零，但是非零情况也是可能的。为了考虑这些运动向量，添加了视差估计模块1（1313），视差估计模块1（1313）将RPU的输出rRPU、输入依赖层块或区域、以及因果信息作为输入，该因果信息可以包括来自当前块或区域的相邻者的RPU处理的样本和编码参数（如运动向量，原因是它们增强了率估计）。因果信息可以用于执行运动估计。
如图13所示，使用预测的块rRPU以及来自其已经编码的周围因果区域的经RPU处理的块作为运动补偿参考来对依赖层输入块进行估计。然后，所估计的运动向量（1307）与因果相邻样本（1308）以及经预测的块或区域（1309）一起被传递到最终的视差补偿模块1（1314）以产生最终的预测块rRPB,MCP（1306）。然后，该块在失真计算器（1305）中与依赖层输入块或区域进行比较以产生层间失真。图17中示出了针对增强先前层处的编码决策的快速计算的另一实施例的图示。
在另一实施例中，由于总是存在帧内预测可以在率失真性能方面比帧间预测或层间预测执行地更好的情况，所以运动估计模块1（1301）和运动补偿模块1（1303）也可以是同样使用因果信息来执行帧内预测的一般视差估计和补偿模块。
图18示出了图示如下实施例的流程图，该实施例允许通过先前层的多个编码通道来使用来自图13的运动估计（1313,1301）的模块1和模块2的非因果信息以及图13的运动补偿（1314,1303）。在不考虑对依赖层的影响的情况下可能地执行第一编码通道（S1801）。然后，经编码的样本由RPU进行处理以形成针对其依赖层（S1802）的初步RPU参考。在下一编码通道中，在考虑到对一个或更多个依赖层的影响的情况下对先前层进行编码（S1803）。考虑到对一个或更多个依赖层的影响，可以进行另外的编码通道（S1804）以产生改进的运动补偿。在先前层的编码处理期间，运动估计模块1（1313）和运动补偿模块1（1314）以及运动估计模块2（1301）和运动补偿模块2（1303）现在可以使用初步RPU参考作为非因果信息。
图19示出了图示另一实施例的流程图，其中迭代法针对先前层与可选的依赖层两者执行多个编码通道。在可选的初始步骤（S1901）中，基于原始的或经处理的原始参数可以获得优化的RPU参数的设置。更具体地，编码器可以使用固定的RPU参数设置或可以使用原始的先前层样本或预量化的样本对RPU进行优化。在第一编码通道中（S1902），通过可能地考虑对依赖层的影响来对先前层进行编码。然后，先前层的编码图片由RPU进行处理（S1903）并产生依赖层参考图片和RPU参数。可选地，初步RPU参考也可以在步骤S1903中获取。然后，可以对实际依赖层进行完全编码（S1904）。在下一迭代中（S1905），通过考虑RPU的影响对前层进行重编码，其中原始的固定RPU参数现在由在依赖层的前编码通道中获取的RPU参数代替。同时，由于使用时间或帧内预测将影响依赖层的样本的失真，所以可以考虑在之前迭代的依赖层处的编码模式选择。另外的迭代（S1906）是可能的。在执行一定数目的迭代之后或一旦实现某个规则（例如但非限制性的，针对层中的每个层的编码结果和/或RPU参数改变很小或收敛），可以终止迭代。
在另一实施例中，运动估计模块1（1313）和运动补偿模块1（1314）以及运动估计模块2（1301）和运动补偿模块2（1303）不必仅考虑围绕经RPU处理的块的因果信息。一种选项是通过简单地使用原始的先前层样本并且执行RPU处理以获取相邻的经RPU处理的块来代替该因果信息的。另一选项是用具有类似于示例2的压缩伪像的预量化块来代替原始块。因此，在运动估计和运动补偿处理期间，甚至可以使用非因果的块。在光栅扫描编码顺序中，当前块的在右边和底部的块可以用作参考。
通过采用在区域级（regional level）上具有多次迭代的方法，另一实施例针对前层对编码决策进行优化，并且还解决了非因果信息的不可用的问题。图20示出了图示这种实施例的流程图。图片首先被分割成块或宏块的组（S2001），该组包含空间相邻的至少两个块或宏块。这些组也可以彼此交叠。多次迭代被应用于这些组中的每个组。在可选的步骤（S2002）中，使用原始参数或经处理的原始参数可以获取优化的RPU参数的设置。更具体地，编码器可以使用固定的RPU参数设置或可以使用原始的先前层样本或预量化样本对RPU进行优化。在第一迭代中（S2003），通过考虑对依赖层块的影响来对先前层的块的组进行编码，针对依赖层块有足够的相邻块信息可用。然后，先前层的经编码的组由RPU进行处理（S2004）并且产生RPU参数。在下一迭代中，通过考虑RPU的影响然后对先前层进行重编码，其中原始的固定参数现在由在依赖层的之前编码通道中获取的参数代替。另外的迭代（S2006）是可能的。在执行一定数目的迭代之后或一旦实现某一规则（例如但非限制性的，针对层中的每个层的编码结果和/或RPU参数改变很少或收敛），可以终止迭代。
在当前组的编码终止之后，编码器以编码顺序使用下一组来重复（S2007）以上处理（S2003，S2004，S2005，S2006）直到整个先前层图片已经被编码为止。每次对组进行编码时，对该组中的所有块进行编码。这意味着针对交叠组将再次对交叠块进行重编码。优点在于不具有非因果信息的边界块在一个组中被编码时可以访问后续交叠组中的非因果信息。
应该重申的是，这些组也可以彼此交叠。例如，考虑区域的每个交叠组包含两个水平相邻的宏块或区域的情况。假设区域1包含宏块1，2和3，而区域2包含宏块2，3和4。还考虑以下布置：宏块2被定位为朝向宏块1的右边，宏块3被定位为朝向2的右边，以及宏块4被定位为朝向宏块3的右边。所有的四个宏块沿着相同的水平轴布置。
在对区域1进行编码的第一迭代期间，对宏块1，2和3进行编码（可选地，在考虑依赖层影响的情况下）。估计运动补偿对经RPU处理的参考区域的影响。然而，针对非因果区域，仅经RPU处理的样本可以用在估计中，其中经RPU处理的样本将原始的先前层样本或预处理的/预压缩的样本作为输入。然后，由RPU对区域进行处理，其产生用于预测依赖层的经处理的样本。然后，对这些经处理的样本进行缓存。
在对区域1进行重编码的附加迭代期间，具体地在宏块1的编码期间，由于来自宏块2的缓存的经RPU处理的区域可以用于估计运动补偿的影响，所以依赖层影响考虑更加精确。类似地，重编码宏块2受益于来自宏块3的缓存的经RPU处理的样本。另外，在区域2的第一迭代期间，具体地在宏块2的编码期间，可以使用来自之前编码的宏块3（在区域1中）的信息（包括RPU参数）。
示例5
在以上所描述的示例1至4中，关于先前层或依赖层源提出了失真计算。然而，例如在每个层对立体帧图像对进行打包的情况下，特别是对于感知质量而言，针对最终的扩展采样全分辨率图片（例如左视点和右视点）来计算失真可以更加有利。图21和图22示出了针对帧兼容的全分辨率视频传输创建的全分辨率重构（1915）的示例模块。即使仅先前层可用，全分辨率重构也是可能的，并且全分辨率重构涉及丢失样本的插值以及滤波和可选地运动或立体视差补偿。在所有层均可用的情况下，来自所有层的样本被组合并且重处理以产生全分辨率重构视点。所述处理可能需要运动或视差补偿、滤波以及插值等操作。这种模块也可以基于区域或块进行操作。因此，如下的另外的实施例是可能的：其中代替计算（例如但非限制性的）关于依赖层输入的RPU输出rRPU的失真，首先可以使用区域或块rRPU,rec或rRPU/RPUB,MCP或rRPU作为依赖层输入并且使用区域或块rrec或rpred作为先前层输入插入全分辨率图片如视点。然后，视点的全分辨率块或区域可以与视点的原始源块或区域（在它们被滤波、处理、缩减采样以及复用以创建每个层的输入之前）进行比较。
图23所示的实施例可以仅涉及来自先前层（2300）的失真和样本。具体地，预测块或区域rpred（2320）被馈送到RPU（2305）和先前层重构器（2310）中。RPU（2305）输出被馈送到当前层重构器（2315）中的rRPU（2325）。当前层重构器（2315）生成属于第一视点V0（2301）和第二视点V1（2302）的信息V0,FR,RPU（2327）和V1,FR,RPU（2329）。请注意：虽然使用了术语“视点”，但是视点指的是可以用一个或更多个另外的数据结构进行处理以产生重构图像的任何数据结构。
请注意：虽然在图23中使用了预测块或区域rpred（2320），但是代替地，重构块或区域rrec可以用在任一层中。重构的块或区域rrec考虑了正变换和正量化（以及对应的逆变换和逆量化）以及任何（通常为可选的）循环滤波（用于去块和去伪像的目的）的影响。
返回参照图23，第一失真计算模块（2330）基于在先前层重构器（2310）的输出与第一视点V0（2301）之间的比较来计算失真，其中先前层重构器（2310）的输出包括来自先前层的信息。第二失真计算模块（2332）基于在先前层重构器（2310）的输出与第二视点V1（2302）之间的比较来计算失真。第一失真估计D（2350）是来自第一和第二失真计算模块（2330,2332）的失真计算的函数。
类似地，第三和第四失真计算模块（2334,2336）分别基于RPU输出rRPU（2325）以及第一视点V0（2301）和第二视点V1（2302）来生成失真计算。第二失真估计D’（2352）是来自第三和第四失真计算模块（2334，2336）的失真计算的函数。
通过仅考虑先前层来计算关于全分辨率图片的失真仍然不能解释对依赖层的影响。然而，其在扩充采样全分辨率域中的基本层质量为重要的应用中将是有益的。一个这种场景包括在没有增强层的情况下帧兼容立体图像对的广播。当基于像素的度量（如SSD和PSNR）不受影响时，如果先前层在质量测量之前被扩充采样至全分辨率，则感知度量会受益。
如果使用先前层（针对本示例为BL）和先前层所依赖的所有层的样本将失真插值/扩充采样到全分辨率，则使DBL,FR表示全分辨率视点的失真。如果使用先前层和用于对依赖层EL进行解码所有层的样本将失真插值/扩充采样到全分辨率，则使DEL,FR表示全分辨率视点的失真。多个依赖层可以是可能的。这些失真关于它们的原始全分辨率视点而不是各个层输入源进行计算。特别地，如果预处理被用于生成层输入源，则处理可以可选地被应用于原始全分辨率视点。
在之前的示例1至4中的每个示例中所描述的实施例的失真计算模块可以通过丢失样本的插值而采用全分辨率失真度量。对于示例4中的选择器模块（1304）同样成立。选择器（1304）可以针对给定增强层考虑全分辨率重构，或者可以联合考虑先前层全分辨率失真和增强层全分辨率失真两者。
在拉格朗日最小化的情况下，度量可以被修改为：J＝w0×DBL,FR+w1×DEL,FR+λ×R。如之前实施例所描述的，针对每个失真项的权重的值可以依赖于每个操作点的感知以及金融或商业意义，如仅使用先前层样本的全分辨率重构或考虑到用于对EL增强层进行解码的所有层的全分辨率重构。每个层的失真可以使用高复杂度重构块或使用预测块以加速计算。
在具有多个层的情况下，期望针对与不同依赖层对应的多个操作点来优化联合编码决策。如果一个层被表示为EL1并且第二层被表示为EL2，那么编码决策规则被修改为同样考虑两个层。在拉格朗日最小化的情况下，可以用等式：J＝w0×DBL,FR+w1×DEL1,FR+w2×DEL2,FR+λ×R来评估所有操作点。
在另一实施例中，可以评估针对每个层的不同失真度量。这通过适当地调整度量使得它们仍然可以联合用在选择规则（如拉格朗日最小化函数）中而是可能的。例如，一个层可以使用SSD度量，而另一层可以使用SSIM度量和SSD度量的某种组合。因此，针对被认为是较重要的层可以使用较高性能和较大成本的度量。
另外，不具有全分辨率评估的度量和具有全分辨率评估的度量可以用于相同层。这可能是期望的，例如，在帧兼容并排布置中，关于显示的内部扩充采样至全分辨率处理方面没有控制和获知可用的情况下。然而，由于在一些两层系统中所有样本均可用而不用插值，所以可以利用针对依赖层的全分辨率考虑。具体地，D和D’度量两者可以与DBL,FR和DEL,FR度量组合使用。可以执行失真度量中的每个失真度量的联合优化。
图22示出了在针对相关（例如增强）层计算失真（1901&1903）期间的全分辨率评估的实现，使得可以获取全分辨率失真。针对每个视点（1907&1909）的失真度量可以不同，并且失真组合器（1905）产生最终的失真估计（1913）。失真组合器可以是线性的或者可以是最大或最小操作。
另外的实施例可以使用同样来自一个或更多个先前层的预测或重构样本以及由RPU处理器所生成的经估计的依赖层样本来执行全分辨率重构。代替表示依赖层的失真的D’，可以通过考虑全分辨率重构和全分辨率源视点来计算失真D’。本实施例也应用于示例1至示例4。
具体地，针对目标层（例如，依赖层）提供全分辨率重构的重构器还可能需要来自较高优先级的层（如先前层）的另外的输入。在第一示例中，考虑到基本层对帧兼容表示进行编码。第一增强层经由RPU使用来自基本层的层间预测，并对全分辨率左视点进行编码。第二增强层经由另一RPU使用来自基本层的层间预测，并对全分辨率右视点进行编码。重构器采用来自两个增强层中的每个增强层的输出作为输入。
在另一示例中，考虑到基本层对包括有偶数列左视点和奇数列右视点的帧兼容表示进行编码。增强层经由RPU使用来自基本层的层间预测，并且对包括奇数列左视点和偶数列右视点的帧兼容表示进行编码。来自基本层和增强层中的每个层的输出被馈送到重构器中以提供视点的全分辨率重构。
请注意：用于重构内容（例如视点）的全分辨率重构可以不与原始输入视点一致。与被打包到一个或更多个帧兼容基本层中的样本相比，全分辨率重构可以为较低分辨率或较高分辨率。
总之，根据若干实施例，本公开考虑下述实施例：其可以实现为针对可伸缩全分辨率3D立体编码和通用多层视频编码中的用途而开发的产品。应用包括BD视频编码器、播放器以及以适当格式创建的视频光盘，或者甚至包括目标为其它应用（如广播、卫星和IPTV系统等）的内容和系统。
本公开中所描述的方法和系统可以以硬件、软件、固件或它们的组合来实现。被描述为块、模块或部件的特征可以一起（例如，在逻辑器件如集成逻辑器件中）或独立地（例如，作为独立连接的逻辑器件）实现。本公开的方法的软件部分可以包括具有指令的计算机可读介质，该指令在被执行时至少部分地执行所描述的方法。计算机可读介质可以包括例如随机存取存储器（RAM）和/或只读存储器（ROM）。可以通过处理器（例如，数字信号处理器（DSP））、专用集成电路（ASIC）或现场可编程逻辑阵列（FPGA）来执行指令。
如本文所描述的，本发明的实施例因此可以涉及以下表1中所列举的一个或更多个示例性实施例。因此，本发明可以以本文所描述的形式中的任何一种形式实施，包括但不限于以下所列举的示例性实施例（EEE），其描述了本发明的一些部分的结构、特征和功能性。
表1
列举的示例性实施例
EEE1.一种用于对多层的层帧兼容图像或视频传输系统中的编码决策进行优化的方法，所述系统包括一个或更多个独立层以及一个或更多个依赖层，所述系统提供多个数据结构的帧兼容表示，所述系统还包括在第一层与所述一个或更多个依赖层中的至少一个依赖层之间的至少一个参考处理单元（RPU），所述第一层是独立层或依赖层，
所述方法包括：
提供第一层估计失真；以及
提供一个或更多个依赖层估计失真。
EEE2.根据列举的示例性实施例1所述的方法，其中，所述图像或视频传输系统提供所述多个数据结构的全分辨率表示。
EEE3.根据权利要求1至2中任一项所述的方法，其中，所述RPU适于接收所述第一层的重构区域或块信息。
EEE4.根据权利要求1至2中任一项所述的方法，其中，所述RPU适于接收所述第一层的预测区域或块信息。
EEE5.根据列举的示例性实施例3所述的方法，其中，输入到所述RPU的所述重构区域或块信息是正和逆变换和量化的函数。
EEE6.根据前述权利要求的任一项所述的方法，其中，所述RPU使用预定义RPU参数来针对依赖层预测样本。
EEE7.根据列举的示例性实施例6所述的方法，其中，所述RPU参数是固定的。
EEE8.根据列举的示例性实施例6所述的方法，其中，所述RPU参数依赖于因果过去。
EEE9.根据列举的示例性实施例6所述的方法，其中，所述RPU参数是从相同层中的之前帧中选择的RPU参数的函数。
EEE10.根据列举的示例性实施例6所述的方法，其中，所述RPU参数是针对相同层中的相邻块或区域所选择的RPU参数的函数。
EEE11.根据列举的示例性实施例6所述的方法，其中，所述RPU参数是自适应地在固定的RPU参数与依赖于因果过去的RPU参数之间进行选择。
EEE12.根据权利要求1至11中任一项所述的方法，其中，所述编码决策考虑亮度样本。
EEE13.根据权利要求1至11中任一项所述的方法，其中，所述编码决策考虑亮度样本和色度样本。
EEE14.根据权利要求1至13中任一项所述的方法，其中，所述一个或更多个依赖层估计失真对在所述RPU的输出与所述一个或更多个依赖层中的至少一个依赖层的输入之间的失真进行估计。
EEE15.根据列举的示例性实施例14所述的方法，其中，通过一系列的正和逆变换和量化操作来对来自所述一个或更多个依赖层中的所述RPU的区域或块信息进一步进行处理，以考虑所述失真估计。
EEE16.根据列举的示例性实施例15所述的方法，其中，对经过变换和量化处理的所述区域或块信息进行熵编码。
EEE17.根据列举的示例性实施例16所述的方法，其中，所述熵编码是通用可变长编码。
EEE18.根据列举的示例性实施例16所述的方法，其中，所述熵编码是用查找表的可变长编码方法，所述查找表提供编码时要使用的位的估计数目。
EEE19.根据权利要求1至18中任一项所述的方法，其中，所述估计的失真选自由差值平方和、峰值信噪比、绝对差值总和、绝对变换差值总和以及结构相似度量组成的组。
EEE20.根据前述权利要求中任一项所述的方法，其中，针对联合层优化，联合考虑所述第一层估计失真以及所述一个或更多个依赖层估计失真。
EEE21.根据列举的示例性实施例20所述的方法，其中，在拉格朗日等式中使用权重因子来执行所述第一层估计失真和所述一个或更多个依赖层估计失真的联合考虑。
EEE22.根据列举的示例性实施例21所述的方法，其中，所述权重因子的总和等于一。
EEE23.根据权利要求21和22中任一项所述的方法，其中，分配到层的权重因子的值是所述层相对于其它层的相对重要性的函数。
EEE24.根据权利要求1至23中任一项所述的方法，还包括：在考虑所述依赖层对针对第一层区域的编码决策的影响期间，针对所述RPU选择优化RPU参数以用于所述RPU的操作。
EEE25.根据列举的示例性实施例24所述的方法，其中，所述优化RPU参数是所述第一层的输入和所述一个或更多个依赖层的输入的函数。
EEE26.根据列举的示例性实施例24或25所述的方法，其中，所述优化RPU参数被设置为之前的第一层模式确定的一部分。
EEE27.根据列举的示例性实施例24或25所述的方法，其中，在开始第一层的编码之前提供所述优化RPU参数。
EEE28.根据权利要求24至27中任一项所述的方法，其中，所述第一层的输入是经编码的输入。
EEE29.根据权利要求24至28中任一项所述的方法，其中，所述经编码的输入是被量化的。
EEE30.根据列举的示例性实施例29所述的方法，其中，所述经编码的输入是帧内编码器的结果。
EEE31.根据权利要求24至30中任一项所述的方法，其中，所选择的RPU参数在区域的基础上改变，并且针对每个区域中的编码决策可以考虑多个设置。
EEE32.根据权利要求24至30中任一项所述的方法，其中，所选择的RPU参数在区域的基础上改变，并且针对每个区域中的编码决策可以考虑单个设置。
EEE33.根据列举的示例性实施例32所述的方法，其中，所述优化RPU参数的步骤还包括：
（a）针对当前区域来选择RPU参数设置；
（b）使用所选择的固定RPU参数设置来测试编码参数设置；
（c）针对每个编码参数设置重复步骤（b）；
（d）通过满足预定规则来选择所测试的编码参数中的一个编码参数；
（e）使用所选择的编码参数设置来对所述第一层的区域进行编码；以及
（f）针对每个区域重复步骤（a）至（e）。
EEE34.根据示例性实施例31所述的方法，其中，所述提供RPU参数的步骤还包括：
（a）应用编码参数设置；
（b）基于作为步骤（a）的所述编码参数设置的结果的所重构或预测的区域来选择RPU参数；
（c）将所述RPU参数提供至所述RPU；
（d）使用步骤（b）的所选择的RPU参数设置来测试编码参数设置；
（e）针对每个编码参数设置重复步骤（a）至（d）。
（f）通过满足预定规则来选择所测试的编码参数的一个编码参数；以及
（g）针对每个区域来重复步骤（a）至（f）。
EEE35.根据前述权利要求中任一项所述的方法，其中，所述一个或更多个依赖层估计失真中的至少一个依赖层估计失真是时间失真，其中所述时间失真是考虑到来自之前被编码的帧的重构依赖层图片的失真。
EEE36.根据前述权利要求中任一项所述的方法，其中，所述一个或更多个依赖层中的所述时间失真是在时间参考的输出与所述一个或更多个依赖层中的至少一个依赖层的输入之间的估计失真，其中所述时间参考是来自依赖层参考图片缓冲器的依赖层参考图片。
EEE37.根据列举的示例性实施例36所述的方法，其中，所述时间参考是来自所述一个或更多个依赖层参考图片缓冲器的区域或块信息的运动估计和运动补偿以及因果信息的函数。
EEE38.根据权利要求35至37中任一项所述的方法，其中，所述一个或更多个依赖层估计失真中的至少一个依赖层估计失真是层间估计失真。
EEE39.根据权利要求36至38中任一项所述的方法，还包括：针对所述一个或更多个依赖层中的每个依赖层，在所述层间估计失真与所述时间失真之间选择估计失真。
EEE40.根据权利要求36至39中任一项所述的方法，其中，所述层间估计失真是所述一个或更多个依赖层中的视差估计和视差补偿的函数。
EEE41.根据权利要求35至40中任一项所述的方法，其中，所述估计失真是所述层间估计失真和所述时间失真中的最小者。
EEE42.根据权利要求35至41中任一项所述的方法，其中，所述一个或更多个依赖层估计失真中的至少一个依赖层估计失真基于来自所述第一层的相应帧。
EEE43.根据列举的示例性实施例42所述的方法，其中，来自所述第一层的所述相应帧针对依赖层失真估计提供信息，所述信息包括运动向量、照明补偿参数、去块参数以及量化偏移和矩阵中的至少一个。
EEE44.根据列举的示例性实施例43所述的方法，还包括：基于所述运动向量进行细化搜索。
EEE45.根据权利要求35至44中任一项所述的方法，还包括迭代方法，所述步骤包括：
（a）初始化RPU参数设置；
（b）通过考虑所选择的RPU参数对所述第一层进行编码；
（c）获取经RPU处理的参考图片；
（d）使用所获取的RPU参考对所述第一层进行编码以考虑针对所述经RPU处理的参考图片的运动补偿；以及
（e）重复步骤（b）至（d）直到满足性能或最大迭代规则为止。
EEE46.根据权利要求35至44中任一项所述的方法，还包括迭代方法，所述步骤包括：
（a）选择RPU参数设置；
（b）通过考虑所选择的RPU参数来对所述第一层进行编码；
（c）获取新的RPU参数设置并且可选地获取经RPU处理的参考图片；以及
（d）可选地对当前帧的依赖层进行编码；
（e）使用所获取的RPU参数设置对所述第一层进行编码，并且可选地考虑所述经RPU处理的参考以针对经RPU处理的参考图片的运动补偿进行建模，并且可选地考虑来自步骤（d）的所述依赖层处的编码决策；以及
（f）重复步骤（c）至（e）直到满足性能或最大迭代规则为止。
EEE47.根据权利要求35至44中任一项所述的方法，还包括：
（a）将帧分割成区域的组，其中组包括空间上相邻的至少两个区域，初始化RPU参数设置；
（b）可选地选择所述RPU参数设置；
（c）通过考虑所述一个或更多个依赖层中的至少一个依赖层同时考虑可用情况下的非因果区域，对所述第一层的区域的所述组进行编码；
（d）选择新的RPU参数设置；
（e）通过使用所述新的RPU参数设置同时考虑可用情况下的非因果区域，对区域的所述组进行编码；
（f）重复步骤（d）至（e）直到满足性能或最大迭代规则为止；以及
（g）重复步骤（c）至（f）直到所述区域的所有组已经被编码为止。
EEE48.根据权利要求47所述的方法，其中，所述组交叠。
EEE49.根据前述权利要求中任一项所述的方法，其中，所述一个或更多个估计失真包括一个或更多个失真计算的组合。
EEE50.根据列举的示例性实施例49所述的方法，其中，第一一个或更多个失真计算是第一数据结构，并且第二一个或更多个失真计算是第二数据结构。
EEE51.根据列举的示例性实施例50所述的方法，其中，针对所述第一数据结构的所述失真计算和针对所述第二数据结构的所述失真计算是所述第一层和所述一个或更多个依赖层的完全重构样本的函数。
EEE52.根据权利要求49至51中任一项所述的方法，其中，针对联合层优化，联合考虑所述第一层估计失真和所述一个或更多个依赖层估计失真。
EEE53.根据列举的示例性实施例52所述的方法，其中，考虑所述第一层估计失真和所述一个或更多个依赖层估计失真两者。
EEE54.根据列举的示例性实施例52所述的方法，其中，在拉格朗日等式中使用权重因子来执行所述第一层估计失真和所述一个或更多个依赖层估计失真的联合优化。
EEE55.根据前述权利要求中任一项所述的方法，其中，所述第一层是基本层或增强层，并且所述一个或更多个依赖层分别是一个或更多个增强层。
EEE56.一种联合层帧兼容编码决策优化系统，所述系统包括：
第一层；
第一层估计失真单元；
一个或更多个依赖层；
在所述第一层与所述一个或更多个依赖层中的至少一个依赖层之间的至少一个参考处理单元（RPU）；以及
在所述第一层与所述一个或更多个依赖层中的至少一个依赖层之间的一个或更多个依赖层估计失真单元。
EEE57.根据列举的示例性实施例56所述的系统，其中，所述一个或更多个依赖层估计失真单元中的至少一个依赖层估计失真单元适于对在所述RPU的重构输出与所述一个或更多个依赖层中的至少一个依赖层的输入之间的失真进行估计。
EEE58.根据列举的示例性实施例56所述的系统，其中，所述一个或更多个依赖层估计失真单元中的至少一个依赖层估计失真单元适于对在所述RPU的预测输出与所述一个或更多个依赖层中的至少一个依赖层的输入之间的失真进行估计。
EEE59.根据列举的示例性实施例56所述的系统，其中，所述RPU适于接收所述第一层的重构样本作为输入。
EEE60.根据列举的示例性实施例58所述的系统，其中，所述RPU适于接收所述第一层的预测区域或块信息作为输入。
EEE61.根据列举的示例性实施例57或58所述的系统，其中，所述RPU适于接收所述第一层的重构样本或所述一层的预测区域或块信息作为输入。
EEE62.根据权利要求56至61中任一项所述的系统，其中，所述估计失真选自由差值平方和、峰值信噪比、绝对差值总和、绝对变换差值总和以及结构相似度量组成的所述组。
EEE63.根据权利要求56至61中任一项所述的系统，其中，针对联合层优化，适合联合考虑来自所述第一层估计失真单元的输出和来自所述一个或更多个依赖层估计失真单元的输出。
EEE64.根据列举的示例性实施例56所述的系统，其中，所述依赖层估计失真单元适于对在所述一个或更多个依赖层的经处理的输入与未经处理的输入之间的失真进行估计。
EEE65.根据列举的示例性实施例64所述的系统，其中，所述经处理的输入是所述一个或更多个依赖层的重构样本。
EEE66.根据列举的示例性实施例64或65所述的系统，其中，所述经处理的输入是正变换和正量化以及逆变换和逆量化的函数。
EEE67.根据权利要求56至66中任一项所述的系统，其中，针对联合层优化，联合考虑来自所述第一层估计失真单元以及来自所述一个或更多个依赖层估计失真单元的输出。
EEE68.根据权利要求56至67中任一项所述的系统，还包括参数优化单元，所述参数优化单元适于针对所述RPU的操作向所述RPU提供优化参数。
EEE69.根据列举的示例性实施例68所述的系统，其中，所述优化参数是所述第一层的输入和所述一个或更多个依赖层的输入的函数。
EEE70.根据列举的示例性实施例69所述的系统，还包括：编码器，所述编码器适于对所述第一层的输入进行编码并将所编码的输入提供至所述参数优化单元。
EEE71.根据列举的示例性实施例56所述的系统，其中，所述依赖层估计失真单元适于对层间失真和/或时间失真进行估计。
EEE72.根据列举的示例性实施例56所述的系统，还包括：选择器，所述选择器适于针对所述一个或更多个依赖层中的每个依赖层而在层间估计失真和时间失真之间进行选择。
EEE73.根据列举的示例性实施例71或72所述的系统，其中，在所述一个或更多个依赖层中，层间估计失真单元直接或间接地连接到视差估计单元和视差补偿单元，并且时间估计失真单元直接或间接地连接到运动估计单元和运动补偿单元。
EEE74.根据列举的示例性实施例72所述的系统，其中，所述选择器适于选择所述层间估计失真和所述时间失真中的较小者。
EEE75.根据列举的示例性实施例71所述的系统，其中，所述依赖层估计失真单元适于估计所述层间失真，并且/或者所述时间失真基于来自先前层的相应帧。
EEE76.根据列举的示例性实施例75所述的系统，其中，来自所述先前层的所述相应帧提供包括运动向量、照明补偿参数、去块参数以及量化偏移和矩阵中的至少一个的信息。
EEE77.根据列举的示例性实施例76所述的系统，还包括：基于所述运动向量进行细化搜索。
EEE78.根据列举的示例性实施例56所述的系统，还包括：失真组合器，所述失真组合器适于将来自第一数据结构估计失真单元的估计与来自第二数据结构估计失真单元的估计组合以提供所述层间估计失真。
EEE79.根据列举的示例性实施例78所述的系统，其中，所述第一数据结构失真计算单元和所述第二数据结构失真计算单元适于对所述第一层和所述一个或更多个依赖层的完全重构样本进行估计。
EEE80.根据权利要求56至79中任一项所述的系统，其中，针对联合层优化，联合考虑来自所述第一层估计失真单元和来自所述依赖层估计失真单元的输出。
EEE81.根据列举的示例性实施例56所述的系统，其中，所述第一层是基本层或增强层，并且所述一个或更多个依赖层分别是一个或更多个增强层。
EEE82.根据权利要求1至55中任一项所述的方法，所述方法还包括提供估计率失真。
EEE83.根据权利要求1至55以及82中任一项所述的方法，所述方法还包括提供复杂度的估计。
EEE84.根据列举的示例性实施例83所述的方法，其中，所述复杂度的估计基于实现复杂度、计算复杂度以及存储复杂度中的至少一个。
EEE85.根据权利要求83或84中任一项所述的方法，其中，所述估计率失真和/或复杂度被考虑为附加的拉姆达参数。
EEE86.一种用于根据权利要求1至55或82至85中任一项所述的方法对视频信号进行编码的编码器。
EEE87.一种用于对视频信号进行编码的编码器，所述编码器包括权利要求56至81中任一项所述的系统。
EEE88.一种用于根据权利要求1至55或82至85中任一项所述的方法对视频信号进行编码的设备。
EEE89.一种用于对视频信号进行编码的设备，所述设备包括权利要求56至81中任一项所述的系统。
EEE90.一种用于根据权利要求1至55或82至85中任一项所述的方法对视频信号进行编码的系统。
EEE91.一种包含指令集的计算机可读介质，所述指令集使计算机执行权利要求1至55或82至85中任一项所述的方法。
EEE92.用于对视频信号进行编码的权利要求1至55或82至85中任一项所述的方法的用途。
另外，说明书中所提到的所有专利和公开可以指明本公开所属领域中的技术人员的水平。本公开中所引用的所有参数文献通过引用。本公开中所引用的所有参考文献通过引用而被合并的程度如同每个参考文献的全部内容已经分别通过引用而被合并的程度一样。
提供以上所提出的示例,以将如何制造并使用本公开的用于帧兼容的视频传输的联合层优化的实施例的完整公开和描述给本领域的普通技术人员，而并非意在限制发明人所认为的他们的公开的范围。用于实施本公开的上述模式的修改可以由本领域中的技术人员使用，并且该修改意在所附权利要求的范围之内。说明书中所提到的所有专利和公开可以指明本公开所属领域中的技术人员的水平。本公开中所引用的所有参考文献通过引用而被合并的程度如同每个参考文献的全部内容已经分别通过引用而被合并的程度一样。
应该理解，本公开不限于特定的方法或系统，当然，其可以改变。还应该理解，本文中所使用的术语仅出于描述具体实施例的目的，而并非意在限制。如本说明书以及所附权利要求书中使用的，除非内容以其它方式明确指出，否则单数形式“一”、“一个”以及“该”包括复数对象。除非内容以其它方式明确指出，否则术语“多个”包括两个或更多个对象。除非另外定义，否则本文中所使用的所有技术和科学术语具有与本公开所属领域中的技术人员通常理解的意义相同的意义。
已经描述了本公开的许多实施例。然而，应该理解，可以在不背离本公开的精神和范围的情况下做出各种修改。因此，其它实施例也在所附权利要求的范围之内。
参考文献列表
[01]D.C.Hutchison,"Introducing DLP3-D TV",
http://www.dlp.com/downloads/Introducing DLP3D HDTV Whitepaper.pdf
[02]Advanced video coding for generic audiovisual services,http://www.itu.int/rec/recommendation.asp?type=folders&lang=e&parent=T-REC-H.264,March2010.
[03]SMPTE421M,"VC-1Compressed Video Bitstream Format and Decoding Process",April2006.
[04]G.J.Sullivan and T.Wiegand,"Rate-Distortion Optimization for Video compression",IEEE Signal Processing Magazine,pp.74-90,Nov.1998.
[05]A.Ortega and K.Ramchandran,"Rate-Distortion Methods for Image and Videocompression",IEEE Signal Processing Magazine,pp.23-50,Nov.1998.
[06]H.Schwarz and T.Wiegand,"R-D optimized multi-layer encoder control for SVC,"Proceedings IEEE Int.Conf.on Image Proc.,San Antonio,Texas,Sep.2007.
[07]Z.Yang,F.Wu,and S.Li,"Rate distortion optimized mode decision in the scalablevideo coding",Proc.IEEE International Conference on Image Processing(ICIP),vo1.3,pp.781-784,Spain,September2003.
[08]D.T.Hoang,P.M.Long,and J.Vitter,"Rate-Distortion Optimizations for MotionEstimation in Low-Bitrate Video Coding",IEEE Transactions on Circuits and Systems forVideo Technology,vol.8,no.4,August1998,pp.488-500.

Claims (20)

1.一种用于对多层层帧兼容图像或视频传输系统中的编码决策进行优化的方法，所述系统包括一个或更多个独立层以及一个或更多个依赖层，所述系统提供多个数据构造的帧兼容表示，所述系统还包括在第一层与所述一个或更多个依赖层中的至少一个依赖层之间的至少一个参考处理单元，所述第一层是独立层或依赖层，
所述方法包括：
提供第一层估计失真；以及
提供一个或更多个依赖层估计失真。
2.根据权利要求1所述的方法，其中，所述图像或视频传输系统提供所述多个数据构造的全分辨率表示。
3.根据权利要求1和2中任一项所述的方法，其中，所述参考处理单元适于接收所述第一层的重构区域或块信息。
4.根据权利要求1和2中任一项所述的方法，其中，所述参考处理单元适于接收所述第一层的预测区域或块信息。
5.根据权利要求3所述的方法，其中，输入到所述参考处理单元的所述重构区域或块信息是正和逆变换和量化的函数。
6.根据前述权利要求中任一项所述的方法，其中，所述参考处理单元使用预定义的参考处理单元参数来预测用于所述依赖层的样本。
7.根据权利要求6所述的方法，其中，所述参考处理单元参数是固定的。
8.根据权利要求6所述的方法，其中，所述参考处理单元参数依赖于因果过去。
9.根据权利要求6所述的方法，其中，所述参考处理单元参数是从相同层中的之前帧中选择的参考处理单元参数的函数。
10.根据权利要求6所述的方法，其中，所述参考处理单元参数是针对相同层中的邻近块或区域而选择的参考处理单元参数的函数。
11.根据权利要求6所述的方法，其中，自适应地在固定的参考处理单元参数与依赖于因果过去的参考处理单元参数之间选择所述参考处理单元参数。
12.根据权利要求1至11中任一项所述的方法，其中，所述编码决策考虑亮度样本。
13.根据权利要求1至11中任一项所述的方法，其中，所述编码决策考虑亮度样本和色度样本。
14.根据权利要求1至13中任一项所述的方法，其中，所述一个或更多个依赖层估计失真对所述参考处理单元的输出与针对所述一个或更多个依赖层中的至少一个依赖层的输入之间的失真进行估计。
15.根据权利要求14所述的方法，其中，通过一系列的正和逆变换和量化操作来对来自所述参考处理单元、所述一个或更多个依赖层中的所述区域或块信息进一步进行处理，以考虑所述失真估计。
16.根据权利要求15所述的方法，其中，对经过变换和量化处理的所述区域或块信息进行熵编码。
17.一种联合层帧兼容编码决策优化系统，包括：
第一层；
第一层估计失真单元；
一个或更多个依赖层；
在所述第一层与所述一个或更多个依赖层中的至少一个依赖层之间的至少一个参考处理单元；以及
在所述第一层与所述一个或更多个依赖层中的至少一个依赖层之间的一个或更多个依赖层估计失真单元。
18.一种系统，所述系统包括用于执行根据权利要求1至16中的一项或更多项所述的方法的装置。
19.一种包括指令的计算机可读存储介质，所述指令在被处理器执行时使得、控制、程序指示或配置所述处理器以执行根据权利要求1至15中的一项或更多项所述的方法。
20.一种设备，包括：
处理器；以及
包括指令的计算机可读存储介质，所述指令在被处理器执行时使得、控制、程序指示或配置所述处理器执行根据权利要求1至15中的一项或更多项所述的方法。
CN201180049552.6A 2010-10-12 2011-09-20 用于帧兼容视频传输的联合层优化 Expired - Fee Related CN103155559B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US39245810P 2010-10-12 2010-10-12
US61/392,458 2010-10-12
PCT/US2011/052306 WO2012050758A1 (en) 2010-10-12 2011-09-20 Joint layer optimization for a frame-compatible video delivery

Publications (2)

Publication Number Publication Date
CN103155559A true CN103155559A (zh) 2013-06-12
CN103155559B CN103155559B (zh) 2016-01-06

Family

ID=44786092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180049552.6A Expired - Fee Related CN103155559B (zh) 2010-10-12 2011-09-20 用于帧兼容视频传输的联合层优化

Country Status (4)

Country Link
US (1) US20130194386A1 (zh)
EP (1) EP2628298A1 (zh)
CN (1) CN103155559B (zh)
WO (1) WO2012050758A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338354A (zh) * 2015-09-29 2016-02-17 北京奇艺世纪科技有限公司 一种运动向量估计方法和装置
CN106416258A (zh) * 2014-06-06 2017-02-15 高通股份有限公司 用于位流分区的符合性参数

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120169845A1 (en) * 2010-12-30 2012-07-05 General Instrument Corporation Method and apparatus for adaptive sampling video content
WO2012122421A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Joint rate distortion optimization for bitdepth color format scalable video coding
CN108391135B (zh) 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
US8767824B2 (en) 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
EP2803190B1 (en) 2012-01-09 2017-10-25 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for multiple layered video coding systems
US9659372B2 (en) * 2012-05-17 2017-05-23 The Regents Of The University Of California Video disparity estimate space-time refinement method and codec
EP2670151A1 (en) * 2012-05-28 2013-12-04 Tektronix Inc. Heuristic method for drop frame detection in digital baseband video
US9219916B2 (en) * 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
US9635356B2 (en) 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
US10136143B2 (en) 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US11438609B2 (en) 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
CN105103543B (zh) * 2013-04-12 2017-10-27 寰发股份有限公司 兼容的深度依赖编码方法
US10523895B2 (en) 2016-09-26 2019-12-31 Samsung Display Co., Ltd. System and method for electronic data communication
US10616383B2 (en) 2016-09-26 2020-04-07 Samsung Display Co., Ltd. System and method for electronic data communication
CN109716763A (zh) * 2016-09-26 2019-05-03 索尼公司 编码设备、编码方法、解码设备、解码方法、发送设备和接收设备
US10075671B2 (en) 2016-09-26 2018-09-11 Samsung Display Co., Ltd. System and method for electronic data communication
US10469857B2 (en) 2016-09-26 2019-11-05 Samsung Display Co., Ltd. System and method for electronic data communication
US10798387B2 (en) * 2016-12-12 2020-10-06 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
US11496747B2 (en) 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
WO2019143093A1 (ko) * 2018-01-16 2019-07-25 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US12063376B2 (en) * 2018-09-19 2024-08-13 Interdigital Vc Holdings, Inc. Local illumination compensation for video encoding and decoding using stored parameters
EP3854098A1 (en) 2018-09-19 2021-07-28 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding
BR112021004858A2 (pt) * 2018-09-19 2021-06-01 Interdigital Vc Holdings, Inc. compensação de iluminação local para codificação e decodificação de vídeo usando parâmetros armazenados
EP4090027A4 (en) * 2020-01-06 2024-01-17 Hyundai Motor Company IMAGE ENCODING AND DECODING BASED ON A REFERENCE IMAGE OF DIFFERENT RESOLUTION

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101518086A (zh) * 2006-07-20 2009-08-26 汤姆森特许公司 在多视图视频编码中用信号通知视图可分级性的方法和装置
WO2009155398A1 (en) * 2008-06-20 2009-12-23 Dolby Laboratories Licensing Corporation Video compression under multiple distortion constraints
WO2010011557A2 (en) * 2008-07-20 2010-01-28 Dolby Laboratories Licensing Corporation Encoder optimization of stereoscopic video delivery systems
WO2010033565A1 (en) * 2008-09-16 2010-03-25 Dolby Laboratories Licensing Corporation Adaptive video encoder control
CN101711483A (zh) * 2007-06-07 2010-05-19 升级芯片技术公司 用于立体图像编码数据文件的格式

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6731811B1 (en) * 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
US6873655B2 (en) * 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
US20040141555A1 (en) * 2003-01-16 2004-07-22 Rault Patrick M. Method of motion vector prediction and system thereof
WO2005034517A1 (en) * 2003-09-17 2005-04-14 Thomson Licensing S.A. Adaptive reference picture generation
WO2006005182A1 (en) * 2004-07-14 2006-01-19 Slipstream Data Inc. Method, system and computer program product for optimization of data compression
KR100627329B1 (ko) * 2004-08-19 2006-09-25 전자부품연구원 Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
BRPI0519454A2 (pt) * 2004-12-28 2009-01-27 Matsushita Electric Ind Co Ltd aparelho de codificaÇço reescalonÁvel e mÉtodo de codificaÇço reescalonÁvel
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
KR20080020994A (ko) * 2005-06-03 2008-03-06 테크노 폴리머 가부시키가이샤 열가소성 수지 및 그의 제조 방법 및 성형품
ZA200800261B (en) * 2005-07-11 2009-08-26 Thomson Licensing Method and apparatus for macroblock adaptive inter-layer intra texture prediction
US8094716B1 (en) * 2005-08-25 2012-01-10 Maxim Integrated Products, Inc. Method and apparatus of adaptive lambda estimation in Lagrangian rate-distortion optimization for video coding
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
JP2007174634A (ja) * 2005-11-28 2007-07-05 Victor Co Of Japan Ltd 階層符号化装置、階層復号化装置、階層符号化方法、階層復号方法、階層符号化プログラム及び階層復号プログラム
JP2009522971A (ja) * 2006-01-10 2009-06-11 ノキア コーポレイション 拡張可能ビデオ符号化のための切換型フィルタアップサンプリング機構
US7864219B2 (en) * 2006-06-15 2011-01-04 Victor Company Of Japan, Ltd. Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
EP2241111A1 (en) * 2008-01-07 2010-10-20 Thomson Licensing Methods and apparatus for video encoding and decoding using parametric filtering
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
KR101210578B1 (ko) * 2008-12-23 2012-12-11 한국전자통신연구원 스케일러블 비디오 코딩에서의 비트율-왜곡값을 이용한 상위 계층의 빠른 부호화 방법 및 그 부호화 장치
US9270871B2 (en) * 2009-04-20 2016-02-23 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
CN102656885B (zh) * 2009-12-14 2016-01-27 汤姆森特许公司 合并编码比特流
US8929440B2 (en) * 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101518086A (zh) * 2006-07-20 2009-08-26 汤姆森特许公司 在多视图视频编码中用信号通知视图可分级性的方法和装置
CN101711483A (zh) * 2007-06-07 2010-05-19 升级芯片技术公司 用于立体图像编码数据文件的格式
WO2009155398A1 (en) * 2008-06-20 2009-12-23 Dolby Laboratories Licensing Corporation Video compression under multiple distortion constraints
WO2010011557A2 (en) * 2008-07-20 2010-01-28 Dolby Laboratories Licensing Corporation Encoder optimization of stereoscopic video delivery systems
WO2010033565A1 (en) * 2008-09-16 2010-03-25 Dolby Laboratories Licensing Corporation Adaptive video encoder control

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106416258A (zh) * 2014-06-06 2017-02-15 高通股份有限公司 用于位流分区的符合性参数
CN106416258B (zh) * 2014-06-06 2019-07-09 高通股份有限公司 视频编码器、视频解码器及其可操作的方法
CN105338354A (zh) * 2015-09-29 2016-02-17 北京奇艺世纪科技有限公司 一种运动向量估计方法和装置
CN105338354B (zh) * 2015-09-29 2019-04-05 北京奇艺世纪科技有限公司 一种运动向量估计方法和装置

Also Published As

Publication number Publication date
US20130194386A1 (en) 2013-08-01
EP2628298A1 (en) 2013-08-21
WO2012050758A1 (en) 2012-04-19
CN103155559B (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
CN103155559B (zh) 用于帧兼容视频传输的联合层优化
CN103026706B (zh) 用于多层帧兼容视频传输的系统及方法
US10334258B2 (en) Scalable video coding method and apparatus using inter prediction mode
US9078008B2 (en) Adaptive inter-layer interpolation filters for multi-layered video delivery
US9712816B2 (en) Inter-layer prediction between layers of different dynamic sample value range
US8553769B2 (en) Method and device for improved multi-layer data compression
US20080240245A1 (en) Image encoding/decoding method and apparatus
US8902976B2 (en) Hybrid encoding and decoding methods for single and multiple layered video coding systems
US20060120450A1 (en) Method and apparatus for multi-layered video encoding and decoding
CN104054338A (zh) 位深和颜色可伸缩视频编码
KR102616143B1 (ko) 인트라 예측 모드 스케일러블 코딩 방법 및 장치
US20120170646A1 (en) Method and apparatus for spacial scalability for hevc
EP3298779A1 (en) Video encoding using hierarchical algorithms
US9992503B2 (en) Scalable video coding with enhanced base layer
EP2479994B1 (en) Method and device for improved multi-layer data compression
KR20130054413A (ko) 특징 기반 비디오 코딩 방법 및 장치
CN103141099A (zh) 用于参考图片处理的优化的滤波器的选择
US20070071087A1 (en) Apparatus and method for video encoding and decoding and recording medium having recorded theron program for the method
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
Maugey et al. Side information estimation and new symmetric schemes for multi-view distributed video coding
Díaz-Honrubia et al. HEVC: a review, trends and challenges
WO2019110560A1 (en) Devices and methods for video reconstruction from multiple source videos
KR20110087871A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
Li et al. Hybrid bit-stream rewriting from scalable video coding to H. 264/AVC
Biatek Efficient rate control strategies for scalable video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160106

Termination date: 20180920

CF01 Termination of patent right due to non-payment of annual fee