CN103248887A - 频域取样自适应偏移（sao） - Google Patents

Abstract

本发明涉及频域取样自适应偏移（SAO）。第一信号的视频处理适于生成第二视频信号，以复制所述第一视频信号的视频信息的第一部分的至少一个特征生成视频信息的第二部分，使得视频信息的第一部分和视频信息的第二部分进行组合生成第二视频信号。使用第一视频信号可以涉及复制并缩放第一视频信息以生成视频信息的第二部分。视频信息的第一部分的一个可能的特征可以对应于随频率变化的能量分布图。第一视频信号的一个或多个部分可以用于生成第二信号的各个不同部分。这样的视频处理操作可以逐块执行。

Description

频域取样自适应偏移(SAO)

相关申请的交叉引用

本申请要求于2012年2月10日提交的序列号为61/597,683题目为“Frequency domain sample adaptive offset”的未决美国临时专利申请、于2012年2月24日提交的序列号为61/603,190题目为“Frequency domainsample adaptive offset(SAO)”的未决美国临时专利申请和于2012年9月20日提交的序列号为13/623,765的美国专利申请的优先权，其全部内容结合于此作为参考。

通过引用并入

以下标准/草案标准在此通过引用全部并入本文并构成本专利申请的一部分，用于所有目的：

1.“High efficiency video coding(HEVC)text specification draft6,”Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3andISO/IEC JTC1/SC29/WG11,7th Meeting:Geneva,CH,21–30November,2011,Document:JCTVC-H1003,259pages.

2.International Telecommunication Union,ITU-T，TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU,H.264(03/2010),SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Infrastructure of audiovisual services-Coding of moving video,Advancedvideo coding for generic audiovisual services,Recommendation ITU-T H.264（或称为International Telecomm ISO/IEC14496-10-MPEG-4的第10部分，AVC（高级视频编码），H.264/MPEG-4的第10部分或AVC（高级视频编码），ITU H.264/MPEG4-AVC或等效文献）。

技术领域

本发明总体涉及数字视频处理；更具体地，涉及根据该数字视频处理的处理及操作。

背景技术

操作用于传输数字媒体（例如，图像、视频、数据等）的通信系统已经持续开发了多年。对采用某种形式的视频数据的通信系统而言，以一定的帧速率（例如，每秒帧数）输出或显示多个数字图像以实现适用于产量和消费量的视频信号。在利用视频数据进行操作的多个这样的通信系统中，在生产量（例如，可以从第一位置传输至第二位置的图像帧的数量）以及最终要输出或显示的信号的视频和/或图像质量之间存在一个平衡。本技术无法充分地或可接受地提供一种可以根据提供充足的或可接受的视频和/或图像质量将视频数据从第一位置传输至第二位置，从而保证与通信相关联的相对少量的开销，以及各自通信链路端的通信设备的相对较低的复杂度等的装置。

发明内容

根据本发明的各个方面提供了以下装置及通信设备的操作方法。

（1）一种装置，包括：

视频处理器，用于：

选择第一视频信号的视频信息的至少第一部分；

复制并缩放视频信息的所述至少第一部分以生成比视频信息的所述至少第一部分相对高的频率范围内的视频信息的至少第二部分；以及

根据所述第一视频信号的处理，对视频信息的所述至少第一部分和视频信息的所述至少第二部分进行组合，生成第二视频信号。

（2）根据（1）所述的装置，其中：

所述视频处理器采用视频信息的所述至少第一部分的第一子集生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集；并且

所述视频处理器采用视频信息的所述至少第一部分的第二子集生成比视频信息的所述至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

（3）根据（1）所述的装置，其中：

所述视频处理器采用视频信息的所述至少第一部分生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集，以及比视频信息的所述至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

（4）根据1所述的装置，其中：所述装置是视频解码器。

（5）根据（1）所述的装置，其中：

所述装置是在卫星通信系统、无线通信系统、有线通信系统、光纤通信系统以及移动通信系统中的至少一个中操作的通信设备。

（6）一种装置，包括：

视频处理器，用于：

选择第一视频信号的视频信息的至少第一部分；

复制视频信息的所述至少第一部分的至少一个特征以生成比视频信息的所述至少第一部分相对高的频率范围内的视频信息的至少第二部分；以及

对视频信息的所述至少第一部分和视频信息的所述至少第二部分进行组合，生成第二视频信号。

（7）根据（6）所述的装置，其中：

所述视频处理器复制并缩放视频信息的所述至少第一部分以生成视频信息的所述至少第二部分。

（8）根据（6）所述的装置，其中：

视频信息的所述至少第一部分的所述至少一个特征对应于随频率变化的能量分布图。

（9）根据（6）所述的装置，其中：

所述视频处理器采用视频信息的所述至少第一部分的第一子集生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集；并且

所述视频处理器采用视频信息的所述至少第一部分的第二子集生成比视频信息的所述至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

（10）根据（6）所述的装置，其中：

所述视频处理器采用视频信息的所述至少第一部分生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集，以及比视频信息的所述至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

（11）根据（6）所述的装置，其中：

所述视频处理器根据第一视频信号的处理逐块进行操作以生成所述第二视频信号。

（12）根据（6）所述的装置，其中：所述装置是视频解码器。

（13）根据（6）所述的装置，其中：

所述装置是在卫星通信系统、无线通信系统、有线通信系统、光纤通信系统以及移动通信系统中的至少一个中操作的通信设备。

（14）一种通信设备的操作方法，所述方法包括：

选择第一视频信号的视频信息的至少第一部分；

复制视频信息的至少第一部分的至少一个特征以生成比视频信息的所述至少第一部分相对高的频率范围内的视频信息的至少第二部分；

对视频信息的所述至少第一部分和视频信息的所述至少第二部分进行组合生成第二视频信号；以及

经由所述通信设备的输出端，输出所述第二视频信号或对应于所述第二视频信号的信号。

（15）根据（14）所述的方法，进一步包括：

复制并缩放视频信息的所述至少第一部分以生成视频信息的所述至少第二部分。

（16）根据（14）所述的方法，其中：

视频信息的所述至少第一部分的所述至少一个特征对应于随频率变化的能量分布图。

（17）根据（14）所述的方法，包括：

采用视频信息的所述至少第一部分的第一子集生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集；并且

采用视频信息的所述至少第一部分的第二子集生成比视频信息的所述至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

（18）根据（14）所述的方法，进一步包括：

采用视频信息的所述至少第一部分，生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集，以及比视频信息的至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

（19）根据（14）所述的方法，其中：

根据所述第二视频信号的生成逐块处理所述第一视频信号。

（20）根据（14）所述的方法，其中：

所述通信设备在卫星通信系统、无线通信系统、有线通信系统、光纤通信系统以及移动通信系统的至少一个中操作。

附图说明

图1和图2示出了通信系统的各个实施方式。

图3A示出了计算机的实施方式。

图3B示出了膝上型计算机的实施方式。

图3C示出了高清（HD）电视的实施方式。

图3D示出了标准清晰度（SD）电视的实施方式。

图3E示出了手持媒体单元的实施方式。

图3F示出了机顶盒（STB）的实施方式。

图3G示出了数字视频光盘（DVD）播放器的实施方式。

图3H示出了通用数字图像和/或视频处理设备的实施方式。

图4、图5和图6是示出了视频编码架构的各个实施方式的图。

图7是示出了帧内预测处理的实施方式的图。

图8是示出了帧间预测处理的实施方式的图。

图9和图10是示出了视频解码架构的各个实施方式的图。

图11示出了视频编码架构的实施方式（在去块处理之后实现取样自适应偏移（SAO））。

图12示出了视频编码架构的实施方式（在反量化之后实现频域取样自适应偏移（FSAO））。

图13示出了频带复制（SBR）—转置（a）及重建（b）的原理的实施例。

图14、图15、图16和图17示出了频带复制（SBR）的各个实施方式。

图18、图19、图20A和图20B示出了执行视频处理（例如，在一个或多个设备中）的方法的各个实施方式。

具体实施方式

在使用诸如数字视频的数字媒体的多个设备中，利用像素表示本性数字化的各自的图像。在某些通信系统中，数字媒体可以从第一位置传输至可以输出或显示此类媒体的第二位置。包括操作用于传输数字视频的通信系统的数字通信系统的目的在于无误差地或以可接受的低误码率将数字数据从一个位置或子系统传输至另一个位置。如图1所示，数据可以通过各种方式在各种通信系统中的各个通信信道上进行传输：磁性媒体、有线、无线、光纤、铜和/或其他类型的媒体。

图1和图2分别示出了通信系统100和200的各个实施方式。

参照图1，通信系统100的该实施方式是通信信道199，该通信信道将位于通信信道199一端的一个通信设备110（包括具有编码器114的发射器112并包括具有解码器118的接收器116）通信耦接至位于通信信道199另一端的另一个通信设备120（包括具有编码器128的发射器126并包括具有解码器124的接收器122）。在某些实施方式中，通信设备110和120中只有一个包括发射器或接收器。具有几种不同类型的媒体，通信信道199可以通过这些媒体来实现（例如，使用卫星天线132和134的卫星通信信道130、使用塔楼142和144和/或本地天线152和154的无线通信信道140、有线通信信道150和/或使用电光（E/O）接口162和光电（O/E）接口164的光纤通信信道160）。另外，可以实现多于一种类型的媒体，并可以交接在一起，从而形成通信信道199。

要注意的是，在不背离本发明的范围和精神的情况下，这样的通信设备110和/或120可以是静止设备或移动设备。例如，通信设备110和120之一或两者可以在固定位置被实现或可以是具有与一个以上的网络接入点（例如，在包括一个或多个无线局域网（WLAN）的移动通信系统环境中的各自不同的接入点（AP）、在包括一个或多个卫星的移动通信系统环境中的各自不同的卫星或通常在包括一个或多个网络接入点的移动通信系统环境中的各自不同的网络接入点，可以通过这些网络节点利用通信设备110和/或120来实现通信）相关联和/或进行通信的能力的移动通信设备。

通常采用误差校正和信道编码方案来降低通信系统中不可避免而导致的传输误差。一般情况下，这些误差校正和信道编码方案涉及使用通信信道199发射器端的编码器以及通信信道199接收器端的解码器。

在任何这样的期望通信系统（例如，包括针对图1描述的那些变化）、任何信息存储设备（例如，硬盘驱动器（HDD）、网络信息存储设备和/或服务器等）或需要对信息进行编码和/或解码的任何应用中可以采用所描述的任一种不同类型的ECC代码。

一般来说，当考虑视频数据从一个位置或子系统传输至另一个位置的通信系统时，一般可以认为视频数据编码在通信信道199的传输端进行，一般可以认为视频数据解码在通信信道199的接收端进行。

同样地，尽管该图的实施方式示出了通信设备110和120之间能够双向通信，当然要注意的是，在某些实施方式中，通信设备110可以只包括视频数据编码能力，通信设备120可以只包括视频数据解码能力，反之亦然（例如，根据视频广播实施方式的单向通信系统）。

参照图2的通信系统200，在通信信道299的发射端，向发射器297提供信息位201（例如，尤其对应于一个实施方式中的视频数据），该发射器可操作用于利用编码器和符号映射器220进行这些信息位201的解码（可以认为功能模块222和224之间分别不同），从而生成离散值调制符号序列203，将该离散值调制符号序列提供给发射驱动器230，该发送驱动器使用数模转换器（DAC）232来生成连续时间传输信号204并利用发射滤波器234来生成大致与通信信道299相称的经过滤的连续时间传输信号205。在通信信道299的接收端，将连续时间接收信号206提供给模拟前端（AFE）260，该模拟前端包括接收滤波器262（生成经过滤的连续时间接收信号207）以及模数转换器（ADC）264（生成离散时间接收信号208）。度量生成器270计算解码器280用来对离散值调制符号和其中210编码的信息位进行充分估算的度量值209（例如，基于符号和/或位）。

在发射器297和接收器298的每一个中，可以实现将各个组件、块、功能块、电路等任何所需的集成在其中。例如，该图示出处理模块280a包括编码器和符号映射器220以及其中所有相关联的对应部件，示出处理模块280b包括度量生成器270和解码器280以及其中所有相关联的对应部件。这样的处理模块280a和280b可以是各自的集成电路。当然，在不背离本发明的范围和精神的情况下，可以可选地进行其他边界和分组。例如，第一处理模块或集成电路中可以包括有发射器297中的所有部件，第二处理模块或集成电路中可以包括有接收器298中的所有部件。可选地，在其他实施方式中可以任意组合发射器297和接收器298的每一个中的部件。

与前述实施例一样，这样的通信系统200可以用于传输从一个位置或子系统传输至另一个位置（例如，通过通信信道299从发射器297至接收器298）的视频数据。

可以通过下文图3A-3H所示的各个设备中的任何一个来实现数字图像和/或数字图像和/或媒体（包括数字视频信号中的各个图像）的视频处理以允许用户查看数字图像和/或视频。这些不同的设备不包括详尽的设备清单，其中可以实现本文描述的图像和/或视频处理，要注意的是，在不背离本发明的范围和精神的情况下，可以实现任何通用数字图像和/或视频处理设备以便进行本文所述的处理。

图3A示出了计算机301的实施方式。该计算机301可以是台式计算机，或主机的企业存储设备，比如服务器，该存储设备连接至诸如独立磁盘（RAID）阵列的残差阵列的存储阵列、存储路由器、边缘路由器、存储开关和/或存储导向器。用户能够利用计算机301来查看静态数字图像和/或视频（例如，数字图像序列）。计算机301上时常包括有各个图像和/或视频查看程序和/或媒体播放器程序以允许用户查看这些图像（包括视频）。

图3B示出了膝上型计算机302的实施方式。在多种情形中的任何一种情形下可以发现并使用这样的膝上型计算机302。近年，随着膝上型计算机的处理能力和功能的不断增长，在使用以前高端且更有能力的膝上型计算机的许多情况下采样这些膝上型计算机。与计算机301一样，膝上型计算机302可以包括各个图像查看程序和/或媒体播放器程序以便允许用户查看这些图像（包括视频）。

图3C示出了高清（HD）电视303的实施方式。许多HD电视303包括允许在其上接收、处理并解码媒体内容（例如，电视广播信号）的集成调谐器。可选地，有时，HD电视303从另一个接收、处理并解码电缆和/或卫星电视广播信号的诸如数字视频光盘（DVD）播放器、机顶盒（STB）的源接收媒体内容。不管特定实现如何，HD电视303可以被实现来进行如本文所描述的图像和/或视频处理。一般来说，HD电视303具有显示HD媒体内容的能力并时常被实现为具有16:9宽屏宽高比。

图3D示出了标准清晰度（SD）电视304的实施方式。当然，SD电视304在某种程度上类似于HD电视303，至少一个不同之处在于SD电视304不包括显示HD媒体内容的能力，且SD电视304时常被实现为具有4:3的全屏宽高比。尽管如此，甚至是SD电视304也可以被实施为执行如本文所描述的图像和/或视频处理。

图3E示出了手持媒体单元305的实施方式。手持媒体单元305适于提供通用存储器或提供用于诸如联合摄影专家组（JPEG）文件、标记图像文件格式（TIFF）、位图、运动图像专家组（MPEG）文件、Windows媒体（WMA/WMV）文件的图像/视频内容信息、诸如MPEG4文件等用于为用户回放的其他类型的视频文件和/或可以以数字格式存储的其他类型信息的存储器。从历史观点上说，这样的手持媒体单元主要用于存储并播放音频媒体；然而，这样的手持媒体单元305可以用于存储并播放任何虚拟媒体（例如，音频媒体、视频媒体、摄影媒体等）。而且，这样的手持媒体单元305还可以包括诸如有线和无线通信的集成通信电路的其他功能。这样的手持媒体单元305可以被实实施为执行如本文所描述的图像和/或视频处理。

图3F示出了机顶盒（STB）306的实施方式。如上所述，STB306有时可以被实施为接收、处理并解码要提供给诸如SD电视304和/或HD电视303的任何合适的显示可用设备的电缆和/或卫星电视广播信号。这样的STB306可以独立地或协同地与显示可用设备一起操作以便进行如本文所描述的图像和/或视频处理。

图3G示出了数字视频光盘（DVD）播放器307的实施方式。在不背离本发明的范围和精神的情况下，这样的DVD播放器可以是蓝光DVD播放机、HD可用DVD播放器、SD可用DVD播放器、上采样可用DVD播放器（例如，从SD至HD等）。DVD播放器可以向诸如SD电视304和/或HD电视303的任何合适的显示可用设备提供信号。DVD播放器305可以被实施为执行如本文所描述的图像和/或视频处理。

图3H示出了通用数字图像和/或视频处理设备308的实施方式。另外，如上所述，上述这些各种设备不包括详尽的设备清单，其中可以实现本文描述的图像和/或视频处理，要注意的是，在不背离本发明的范围和精神的情况下，可以实现任何通用数字图像和/或视频处理设备308以便进行本文所述的图像和/或视频处理。

图4、图5和图6分别是示出了视频编码架构的各个实施方式400、500和600的图。

参照图4的实施方式400，针对该图可以是看出，通过视频编码器接收输入视频信号。在某些实施方式中，输入视频信号由编码单元（CU）或宏块（MB）构成。编码单元或宏块的大小可以改变并可以包括通常设置成正方形的多个像素。在一个实施方式中，编码单元或宏块的大小为16×16像素。然而，通常要注意的是，宏块可以具有任何所需的大小，比如N×N像素，其中N为整数。当然，虽然优选实施方式中采用了方形编码单元或宏块，但某些实现可以包括非方形编码单元或宏块。

输入视频信号通常可以被称为对应于原始帧（或图片）图像数据。例如，原始帧（或图片）图像数据可以进行处理以生成亮度和色度样本。在某些实施方式中，宏块中的这组亮度样本属于特定布置（例如，16×16），这组色度样本属于不同的特定布置（例如，8x8）。根据本文所描述的实施方式，视频编码器在逐块的基础上对这些样本进行处理。

输入视频信号然后进行模式选择，输入视频信号通过这个模式可选择地进行帧内和/或帧间预测处理。一般来说，输入视频信号沿压缩通路进行压缩。当无反馈地进行操作时（例如，不根据帧间预测，也不根据帧内预测）输入视频信号通过压缩通路设置来进行变换操作（例如，根据离散余弦变换（DCT））。当然，在可选实施方式中可以采用其他变换。在这种操作模式下，输入视频信号本身就是经压缩的信号。压缩通路可以利用人眼缺乏高频率灵敏度来进行压缩。

然而，通过可选择地使用帧内或帧间预测视频编码，可以采用沿压缩通路进行反馈。根据反馈或预测操作模式，压缩通路对由从当前宏块减去当前宏块预测值而导致的（相对较低能量）残差（例如，差值）进行操作。根据在指定实例中采用哪种预测形式，生成至少基于相同帧（或图片）的一部分或至少基于至少一个其他帧（或图片）的一部分的当前宏块和宏块预测值之间的残差或差值。

由此产生的修改视频信号然后沿压缩通路进行变换操作。在一个实施方式中，离散余弦变换（DCT）对一组视频样本（例如，亮度、色度、残差等）进行操作以计算预定数量的基模式中的每一个的系数值。例如，一个实施方式包括64个基函数（例如，对8x8样本而言）。一般来说，不同实施方式可以采用不同数量的基函数（例如，不同变换）。包括合适的选择性加权的这些基函数的任意组合可以用于表示给定的一组视频样本。与进行变换操作的各个方式相关的额外详情在与包括通过引用并入的如上所述的那些标准/草案标准的视频编码相关联的技术文献中进行描述。变换处理的输出包括各自的系数值。将该输出提供给量化器。

一般情况下，大多数图像块通常会产生系数（例如，根据离散余弦变换（DCT）操作的实施方式中的DCT系数），使得大多数相关DCT系数的频率较低。由于这个原因以及人眼对高频视觉效果的灵敏度相对较差，量化器可以操作用于将大部分不大相关的系数转换为零值。也就是说，可以根据量化过程来消除相对贡献率低于某个预定值（例如，某个阈值）的那些系数。量化器还可以操作用于将重要系数转换为比变换过程产生的值可以更加有效地进行编码的值。例如，量化过程可以通过各自的系数乘以整数值并丢弃任意余数来进行操作。当对典型的编码单元或宏块进行操作时，这个过程通常会产生相对少量的非零系数，这些非零系数然后被传输至熵编码器进行无损编码并根据可以根据视频编码选择帧内和/或帧间预测处理的反馈路径进行使用。

熵编码器根据无损压缩编码过程进行操作。相比之下，量化操作通常是有损失的。熵编码过程对量化过程提供的系数进行操作。那些系数可以表示各个特征（例如，亮度、色度、残差等）。熵编码器可以采用各种类型的编码。例如，熵编码器可以进行上下文自适应二进制算术编码（CABAC）和/或上下文自适应可变长编码（CAVLC）。例如，根据熵编码方案的至少一部分，将数据转换为（运行，级别）对（例如，将数据14，3，0，4，0，0，-3转换为各自的（运行，级别）对（0，14），（0，3），（1，4），（2，-3））。事先，编制将变长码分配至值对的表，以便将相对较短长度编码分配给相对常见的值对，并将相对较长长度编码分配给相对少见的值对。

如读者理解的一样，反量化反变换的操作分别对应于量化变换的操作。例如，在DCT用于变换操作的实施方式中，反DCT（IDCT）是反变换操作中所采用的变换。

图片缓冲器（或者称为数字图片缓冲器或DPB）从IDCT模块接收信号；图片缓冲器适于存储当前帧（或图片）和/或一个或多个其他帧（或图片），比如根据帧内预测和/或帧间预测操作使用的帧（或图片），帧内预测和/或帧间预测操作可以根据视频编码进行。要注意的是，根据帧内预测，相对少量的存储就足够了，因为也许没有必要将当前帧（或图片）或任何其他帧（或图片）存储在帧（或图片）序列中。在根据视频编码进行帧间预测的情况下，所存储的信息可以用来进行运动补偿和/或运动估计。

在一个可能的实施方式中，用于运动估计，将来自当前帧（或图片）的相应组的亮度样本（例如，16×16）与帧（或图片）序列（例如根据帧间预测）中其他帧（或图片）中的各个缓冲配对物进行比较。在一个可能的实施中，定位最匹配区域（例如，预测参考）并产生矢量偏移（例如，运动矢量）。在单个帧（或图片）中，可以找到多个运动矢量，但不是所有的运动矢量都必须指向相同的方向。根据运动估计进行的一种或多种操作适于生成一个或多个运动矢量。

运动补偿适于采用可以根据运动估计生成的一个或多个运动矢量。识别并交付预测参考组的样本以便从原始输入视频信号中删除，试图希望产生相对（例如，理想的多个）较低的能量残差。如果此类操作不会导致产生较低的能量残差，就不一定要进行运动补偿，变换操作可以仅对原始输入视频信号进行操作，而不对残差进行操作（例如，根据将输入视频信号直接提供给变换操作，以便不进行帧内预测，也不进行帧间预测的操作模式），或可以使用帧内预测并对帧内预测产生的残差进行变换操作。同样地，如果运动估计和/或运动补偿操作成功，运动矢量还可以与相应的残差系数一起发送至熵编码器，用于进行无损熵编码。

整个视频编码操作的输出是输出位流。要注意的是，输出位流当然可以根据生成连续时间信号来进行一定处理，该连续时间信号可以通过通信信道传输。例如，某些实施方式在无线通信系统中操作。在这种情况下，输出位流可以在无线通信设备中进行适当的数模转换、频率变换、缩放、过滤、调制、符号映射和/或任何其他操作，用于生成能够通过通信信道传输的连续时间信号等。

参照图5的实施方式500，针对该图可以是看出，通过视频编码器接收输入视频信号。在某些实施方式中，输入视频信号由编码单元或宏块构成（和/或可以划分为编码单元（CU））。编码单元或宏块的大小可以改变并可以包括通常设置成正方形的多个像素。在一个实施方式中，编码单元或宏块的大小为16×16像素。然而，通常要注意的是，宏块可以具有任何所需的大小，比如N×N像素，其中N为整数。当然，虽然优选实施方式中采用了方形编码单元或宏块，但某些实现可以包括非方形编码单元或宏块。

输入视频信号通常可以被称为对应于原始帧（或图片）图像数据。例如，原始帧（或图片）图像数据可以进行处理以生成亮度和色度样本。在某些实施方式中，宏块中的这组亮度样本属于一个特定布置（例如，16×16），这组色度样本属于不同的特定布置（例如，8×8）。根据本文所描述的实施方式，视频编码器在逐块的基础上对这些样本进行处理。

输入视频信号然后进行模式选择，输入视频信号通过这个模式可选择地进行帧内和/或帧间预测处理。一般来说，输入视频信号沿压缩通路进行压缩。当无反馈地进行操作时（例如，不根据帧间预测，也不根据帧内预测）输入视频信号通过压缩通路设置来进行变换操作（例如，根据离散余弦变换（DCT））。当然，在可选实施方式中可以采用其他变换。在这种操作模式下，输入视频信号本身就是经压缩的信号。压缩通路可以利用人眼缺乏高频率灵敏度来进行压缩。

然而，通过可选择地使用帧内或帧间预测视频编码，可以沿压缩通路进行反馈。根据反馈或预测操作模式，压缩通路对由从当前宏块减去当前宏块预测值而导致的（相对较低能量）残差（例如，差值）进行操作。根据在指定实例中采用哪种预测形式，生成至少基于相同帧（或图片）的一部分或至少基于至少一个其他帧（或图片）的一部分的当前宏块和宏块预测值之间的残差或差值。

由此产生的修改视频信号然后沿压缩通路进行变换操作。在一个实施方式中，离散余弦变换（DCT）对一组视频样本（例如，亮度、色度、残差等）进行操作以计算预定数量的基模式中的每一个的系数值。例如，一个实施方式包括64个基函数（例如，对8x8样本而言）。一般来说，不同实施方式可以采用不同数量的基函数（例如，不同变换）。包括合适的选择性加权的这些基函数的任意组合可以用于表示给定的一组视频样本。与进行变换操作的各个方式相关的额外详情在与包括通过引用并入的如上所述的那些标准/草案标准的视频编码相关联的技术文献中进行描述。变换处理的输出包括各自的系数值。将该输出提供给量化器。

一般情况下，大多数图像块通常会产生系数（例如，根据离散余弦变换（DCT）操作的实施方式中的DCT系数），使得大多数相关DCT系数的频率较低。由于这个原因以及人眼对高频视觉效果的灵敏度相对较差，量化器可适于将大部分不大相关的系数转换为零值。也就是说，可以根据量化过程来消除相对贡献率低于某个预定值（例如，某个阈值）的那些系数。量化器还可以适于将重要系数转换为比变换过程产生的值可以更加有效地进行编码的值。例如，量化过程可以通过各自的系数乘以整数值并丢弃任意余数来进行操作。当对典型的编码单元或宏块进行操作时，这个过程通常会产生相对少量的非零系数，这些非零系数然后被传输至熵编码器进行无损编码并根据可以根据视频编码选择帧内和/或帧间预测处理的反馈路径进行使用。

熵编码器根据无损压缩编码过程进行操作。相比之下，量化操作通常是有损失的。熵编码过程对量化过程提供的系数进行操作。那些系数可以表示各个特征（例如，亮度、色度、残差等）。熵编码器可以采用各种类型的编码。例如，熵编码器可以进行上下文自适应二进制算术编码（CABAC）和/或上下文自适应可变长编码（CAVLC）。例如，根据熵编码方案的至少一部分，将数据转换为（运行，级别）对（例如，将数据14，3，0，4，0，0，-3转换为各自的（运行，级别）对（0，14），（0，3），（1，4），（2，-3））。事先，编制将变长码分配至值对的表，以便将相对较短长度编码分配给相对常见的值对，并将相对较长长度编码分配给相对少见的值对。

如读者理解的一样，反量化反变换的操作分别对应于量化变换的操作。例如，在DCT用于变换操作的实施方式中，反DCT（IDCT）是反变换操作中所采用的变换。

自适应回路滤波器（ALF）被实施为处理来自反变换块的输出。在存储在图片缓冲器（有时称为DPB、数字图片缓冲器）之前，自适应回路滤波器（ALF）适用于解码图片。自适应回路滤波器（ALF）被实施为降低解码图像的编码噪声，可以一片一片地可选择地分别对亮度和色度进行过滤，不管自适应回路滤波器（ALF）是否在片级别或在块级别上使用。在自适应回路滤波器（ALF）的应用中可以使用二维2-D有限脉冲响应（FIR）过滤。滤波器的系数可以在编码器中一片一片地进行设计，然后将此信息传递给解码器（例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备）。

一个实施方式根据维纳滤波设计操作生成系数。另外，不管是否进行滤波处理并是否根据四叉树结构将该决定传递给解码器（例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备），都可以在编码器中一块一块地应用，其中块大小根据率失真优化来决定。要注意的是，利用2D滤波的实现可以根据编码和解码引入复杂度。例如，通过根据自适应回路滤波器（ALF）的实现来使用2D滤波，在编码器（在发射器通信设备中实施）和解码器（在接收器通信设备中实施）中可能存在一定的增加的复杂性。

在某些任选实施方式中，将来自去块效应滤波器的输出提供给被实施为处理来自反变换块的输出的一个或多个其他环内滤波器（例如，根据自适应回路滤波器（ALF）、取样自适应偏移（SAO）滤波器和/或任何其他滤波器类型实现）。例如，在存储在图片缓冲器（有时称为DPB、数字图片缓冲器）之前，ALF适用于解码图片。ALF被实现来降低解码图像的编码噪声，可以一片一片地可选择地分别对亮度和色度进行过滤，不管ALF是否在片级别或在块级别上使用。在ALF的应用中可以使用二维2-D有限脉冲响应（FIR）过滤。滤波器的系数可以在编码器中一片一片地进行设计，然后将此信息传递给解码器（例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备）。

一个实施方式适于根据维纳滤波设计生成系数。另外，不管是否进行滤波处理并是否根据四叉树结构将该决定传递给解码器（例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备），都可以在编码器中一块一块地应用，其中块大小根据率失真优化来决定。要注意的是，利用2D滤波的实现可以根据编码和解码引入复杂度。例如，通过根据自适应回路滤波器（ALF）的实现来使用2D滤波，在编码器（在发射器通信设备中实施）和解码器（在接收器通信设备中实施）中可能存在一定的增加的复杂性。

如针对其他实施方式所述，使用ALF可以提供根据此视频处理的一系列改进之一，包括通过进行随机量化去噪导致的峰值信号噪声比（PSNR）改进客观质量测量。另外，随后编码的视频信号的主观质量可以通过照明补偿来实现，根据ALF处理，照明补偿可以根据进行偏移处理和缩放处理（例如，根据应用增益）来引入。

对一种类型的环内滤波器而言，使用自适应回路滤波器（ALF）可以提供根据此视频处理的一系列改进之一，包括通过进行随机量化去噪导致的峰值信号噪声比（PSNR）改进客观质量测量。另外，随后编码的视频信号的主观质量可以通过照明补偿来实现，根据自适应回路滤波器（ALF）处理，照明补偿可以根据进行偏移处理和缩放处理（例如，根据应用增益）来引入。

图片缓冲器（或者称为数字图片缓冲器或DPB）接收从ALF输出的信号；图片缓冲器适于存储当前帧（或图片）和/或一个或多个其他帧（或图片），比如根据帧内预测和/或帧间预测操作使用的帧（或图片），帧内预测和/或帧间预测操作可以根据视频编码进行。要注意的是，根据帧内预测，相对少量的存储就足够了，因为也许没有必要将当前帧（或图片）或任何其他帧（或图片）存储在帧（或图片）序列中。在根据视频编码进行帧间预测的情况下，所存储的信息可以用来进行运动补偿和/或运动估计。

在一个可能的实施方式中，用于运动估计，将来自当前帧（或图片）的相应组的亮度样本（例如，16×16）与帧（或图片）序列（例如，根据帧间预测）中其他帧（或图片）中的各个缓冲配对物进行比较。在一个可能的实施中，定位最匹配区域（例如，预测参考）并产生矢量偏移（例如，运动矢量）。在单个帧（或图片）中，可以找到多个运动矢量，但不是所有的运动矢量都必须指向相同的方向。根据运动估计进行的一种或多种操作适于生成一个或多个运动矢量。

运动补偿适于采用可以根据运动估计生成的一个或多个运动矢量。识别并交付预测参考组的样本以便从原始输入视频信号中删除，试图希望产生相对（例如，理想的多个）较低的能量残差。如果此类操作不会导致产生较低的能量残差，就并一定要进行运动补偿，变换操作可以仅对原始输入视频信号进行操作，而不对残差进行操作（例如，根据将输入视频信号直接提供给变换操作，以便不进行帧内预测，也不进行帧间预测的操作模式），或可以使用帧内预测并对帧内预测产生的残差进行变换操作。同样地，如果运动估计和/或运动补偿操作成功，运动矢量还可以与相应的残差系数一起发送至熵编码器，用于进行无损熵编码。

来自整个视频编码操作的输出是输出位流。要注意的是，输出位流当然可以根据生成连续时间信号来进行一定处理，该连续时间信号可以通过通信信道传输。例如，某些实施方式在无线通信系统中操作。在这种情况下，输出位流可以在无线通信设备中进行适当的数模转换、频率变换、缩放、过滤、调制、符号映射和/或任何其他操作，用于生成能够通过通信信道传输的连续时间信号等。

参照图6的实施方式600，针对该图描述了一种视频编码器的可选实施方式，该视频编码器进行预测、变化以及编码处理以便产生压缩的输出位流。这种视频编码器可以根据一个或多个视频编码协议、标准和/或推荐作法比如ISO/IEC14496-10-MPEG-4的第10部分，AVC（高级视频编码）（或者称为H.264/MPEG-4的第10部分或AVC（高级视频编码），ITUH.264/MPEG4-AVC）进行操作并与之兼容。

要注意的是，对应视频解码器，比如位于通信信道另一端的设备内的视频解码器，适于进行解码、反变换及重建的互补过程，以便生产各自的解码视频序列，该序列（理想的）表示输入视频信号。

如针对该图可以看出，可选布置及架构可以用来实施视频编码。一般来说，编码器处理输入视频信号（例如，通常由呈正方形并且其中包括NxN像素的编码单元或宏块组成）。视频编码基于事先编码的数据确定当前宏块的预测。事先编码的数据可以来自当前帧（或图片）本身（例如，根据帧内预测）或来自已经编码（例如，根据帧间预测）的一个或多个其他帧（或图片）。视频编码器减去当前宏块的预测以形成残差。

一般来说，帧内预测适于采用一个或多个特定大小（例如，16×16，8×8或4×4）的块大小，以根据相同帧（或图片）内的周围的事先编码的像素预测当前宏块。一般来说，帧间预测适于采用一系列的块大小（例如，16×16下至4×4）来预测选自一个或多个事先编码帧（或图片）的区域的当前帧（或图片）中的像素。

对变换和量化操作而言，一块残差样品可以利用特定的变换（例如，4×4或8×8）来进行转换。此变换的一个可能的实施方式根据离散余弦变换（DCT）进行操作。变换操作输出一组系数，使得每个系数对应于与变换相关联的一个或多个基函数的加权值。在进行变换之后，对一块变换系数进行量化（例如，每个系数可以除以整数值并丢弃任何相关联的余数，或可以乘以整数值）。量化过程通常内在存在损失，可能会根据量化参数（QP）降低变换系数的精度。通常，与指定宏块相关的多个系数为零，仅保留一部分非零系数。一般情况下，相对较高的QP设置适于产生更大比例的零值系数以及更小的非零系数，从而在相对较差解码图像质量的情况下产生相对较高的补偿（例如，相对较低的编码位速率）；相对较低的QP设置适于允许在量化非零系数之和保留更多非零系数以及更大的非零系数，从而以相对良好的解码图像质量产生相对较低的补偿（例如，相对较高的编码位速率）。

视频编码过程产生多个值，这些值编码来形成压缩位流。这些值的实例包括量化变换系数、解码器用于重建适当预测的信息、有关压缩数据的结构和编码过程中所采用的压缩工具的信息、有关完整视频序列的信息等。这些值和/或参数（例如，语法元素）可以在根据CABAC、CAVLC或某项其他熵编码方案进行操作的熵编码器中进行编码，以产生可以存储、传输的输出位流（例如，在进行适当处理以生成符合通信信道的连续时间信号之后），等等。

在使用反馈路径进行操作的实施方式中，变换及量化输出进行反量化和反变换。可以根据视频编码来进行帧内预测和帧间预测之一或两者。同样，可以根据此类视频编码来进行运动补偿和/或运动估计。

同样将提供给帧内预测块的来自反量化和反变换（例如，IDCT）块的信号路径输出提供给去块效应滤波器。将来自去块效应滤波器的输出提供给被实现为处理来自反变换块的输出的一个或多个其他环内滤波器（例如，根据自适应回路滤波器（ALF）、取样自适应偏移（SAO）滤波器和/或任何其他滤波器类型实现）。例如，在一个可能的实施方式中，在存储在图片缓冲器（有时称为DPB、数字图片缓冲器）之前，ALF适用于解码图片。ALF被实施为降低解码图像的编码噪声，可以一片一片地可选择地分别对亮度和色度进行过滤，不管ALF是否在片级别或在块级别上使用。在ALF的应用中可以使用二维2-D有限脉冲响应（FIR）过滤。滤波器的系数可以在编码器中一片一片地进行设计，然后将此信息传递给解码器（例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备）。

一个实施方式根据维纳滤波设计生成系数。另外，不管是否进行滤波处理并是否根据四叉树结构将该决定传递给解码器（例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备），都可以在编码器中一块一块地应用，其中块大小根据率失真优化来决定。要注意的是，利用2D滤波的实现可以根据编码和解码引入复杂度。例如，通过根据自适应回路滤波器（ALF）的实施来使用2D滤波，在编码器（在发射器通信设备中实施）和解码器（在接收器通信设备中实施）中可能存在一定的增加的复杂性。

如针对其他实施方式所述，使用ALF可以提供根据此视频处理的多项改进之一，包括通过进行随机量化去噪导致的峰值信号噪声比（PSNR）改进客观质量测量。另外，随后编码的视频信号的主观质量可以通过照明补偿来实现，根据ALF处理，照明补偿可以根据进行偏移处理和缩放处理（例如，根据应用增益）来引入。

就被实施为生成输出位流的任何视频编码器架构而言，要注意的是，这类架构可以在多种通信设备中的任何一个中实现。输出位流可以进行额外的处理，包括误差校正码（ECC）、前向纠错（FEC）等，从而生成其中具有额外的残差交易的修改输出位流。同样，如根据此数字信号可以理解，可以根据生成适用于或适于通过通信信道进行传输的连续时间信号进行任何适当的处理。也就是说，这样的视频编码器架构可以在用于通过一个或多个通信信道传输一个或多个信号的通信设备中实现。可以对由这种视频编码器架构生成的输出位流进行额外的处理，从而生成可以发射到通信信道中的连续时间信号。

图7是示出了帧内预测处理的实施方式700的图。针对该图可以看出，视频数据的当前块（例如，通常呈正方形并且通常包括N×N像素）进行处理以便对其中的各个像素进行估计。根据帧内预测采用位于当前块的上方及左边的事先编码像素。从某种角度来说，帧内预测方向可以被视为对应于从当前像素扩展至位于当前像素的上方或左边的参考像素的矢量。根据H.264/AVC应用于帧内预测的详情在上文通过引用并入的对应标准内进行了规定（例如，International Telecommunication Union,ITU-T，TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU,H.264(03/2010),SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Infrastructure of audiovisual services–Coding of moving video,A dvancedvideo coding for generic audiovisual services,Recommendation ITU-T H.264（或称为International Telecomm ISO/IEC14496-10MPEG-4的第10部分，AVC（高级视频编码），H.264/MPEG-4的第10部分或AVC（高级视频编码），ITU H.264/MPEG4-AVC或等效文献）。

残差（其是当前像素和参考或预测像素之间的差值）为经过编码的残差。针对该图可以看出，帧内预测利用常见帧（或图片）内的像素进行操作。当然要注意的是，给定像素可以具有与其相关联的各自不同的分量，且每个分量可能存在各自不同组的样本。

图8是示出了帧间预测处理的实施方式800的图。与帧内预测不同，帧间预测适于基于当前帧（或图片）内的当前组的像素以及位于帧（或图片）序列内的一个或多个其他帧（或图片）内的一组或多组参考或预测像素来识别运动矢量（例如，帧间预测方向）。可以看出，运动矢量从帧（或图片）序列内的当前帧（或图片）扩展至另一个帧（或图片）。帧内预测可以使用子像素插值，使得预测像素值对应于参考帧或图片中的多个像素的功能。

尽管这样的残差不同于根据帧内预测处理计算的残差，但可以根据帧间预测处理来计算残差。根据帧间预测处理，每个像素的残差再次对应于当前像素和预测像素值之间的差。然而，根据帧间预测处理，当前像素和参考或预测像素不位于相同帧（或图片）内。尽管该图示出了一个或多个先前的帧或图片所采用的帧间预测，但同样要注意的是，可选实施方式可以利用对应于当前帧之前和/或之后的帧进行操作。例如，根据适当的缓冲和/或内存管理，可以对多个帧进行存储。当对给定的帧进行操作时，可以由在给定帧之前和/或之后的其他帧来生成参考值。

结合CU，基本单元可以用于预测划分模式（即，预测单元或PU）。同样要注意的是，仅为最后深度的CU限定PU，且各自的大小局限于CU的大小。

图9和图10分别是示出了视频解码架构的各个实施方式900和1000的图，其中，图9示出的视频解码架构具有其他环内滤波器（例如，ALF、SAO和/或任何其他滤波器类型）。

一般来说，这种视频解码架构对输入位流进行操作。当然要注意的是，这种输入位流可以由通信设备从通信信道接收的信号来生成。可以对从通信信道接收的连续时间信号进行各种操作，包括数字采样、解调、缩放、滤波等，比如各种操作可以适当根据生成输入位流。而且，可以实现一种或多种误差校正码（ECC）、前向纠错（FEC）等的某些实施方式可以根据ECC、FEC等进行适当的解码，从而生成输入位流。也就是说，在已经根据生成对应输出位流（例如，可以从发射器通信设备或收发器通信设备的发射器部分进行发射的输出位流）进行额外的残差的某些实施方式中，可以根据生成输入位流来进行适当的处理。总体来说，这样的视频解码架构遗憾的是要处理输入位流，从而尽可能紧密地并完全在理想情况下生成对应于原始输入视频信号的输出视频信号，用于输出至一个或多个视频显示可用设备。

参照图9的实施方式900，一般来说，诸如熵解码器的解码器（例如，其可以根据CABAC、CAVLC等实施）根据进行编码（如在视频编码器架构中进行的）的互补过程来处理输入位流。输入位流可以被视为由视频编码器架构生成的压缩输出位流（尽可能紧密地并理想地在理想情况下）。当然，在实际应用中，在通过一个或多个通信链路传输的信号中可能已经导致了一些误差。熵解码器对输入位流进行处理并提取适当的系数，比如DCT系数（例如，表示色度、亮度等信息），并将该系数提供给反量化反变换块。如果采用DCT变换，那么反量化反变换块就可以被实施为进行反DCT（IDCT）操作。随后，A/D阻塞滤波器被实施为生成对应于输出视频信号的各个帧和/或图片。可以将这些帧和/或图片提供给图片缓冲器或数字图片缓冲器（DPB），以便用来进行包括运动补偿的其他操作。一般来说，这样的运动补偿操作可以被视为对应于与视频编码相关联的帧间预测。同样，还可以对从反量化反变换块输出的信号进行帧内预测。类似于视频编码，这种视频解码器架构可以被实现来进行模式选择，根据对输入位流进行解码，不通过帧内预测或帧间预测进行，通过帧间预测进行或通过帧内预测进行，从而生成输出视频信号。

参照图10的实施方式1000，在某些任选实施方式中，一个或多个环内滤波器（例如，根据自适应回路滤波器（ALF）、取样自适应偏移（SAO）滤波器和/或任何其他滤波器类型实施）比如可以根据用于生成输出位流的视频编码来实施，对应的一个或多个环内滤波器可以在视频解码器架构中实施。在一个实施方式中，在去块效应滤波器之后适当实施一个或多个环内滤波器。

图11示出了视频编码架构的实施方式1100（在去块处理之后实现取样自适应偏移（SAO））。可以采用取样自适应偏移（SAO）（例如，根据HEVC中的当前采用）减少原始图片和重建图片之间因量化导致的任何存在的失真。然而，根据SAO的建议，在反量化反变换（例如，根据图11）之后执行此等SAO操作，其这不是非常有效的实施。

图12示出了视频编码架构的实施方式1200（在反量化之后实现频域取样自适应偏移（FSAO））。在本文中，提出一种新颖的实施，频域SAO（FSAO）由此实施且在反量化之后可以立即执行（例如，根据图12）。频域实现的SAO（FSAO）相对更精确，因为避免了由反变换导致的任何可能分布。

如从该图可以看出，在视频编码器架构的可选实施方式中，在反量化之后且反变换之前实现频域实现的取样自适应偏移（FSAO）。

对于实现此等频域操作来说，可以对接收信号的视频信息执行频带复制（SBR）。例如，对于接收输入位流（比如，视频信号）来说，接收输入位流中包括的大部分能量或信息可以在一频率以下。例如，根据视频编码的执行，特别是对于至少部分在根据输入视频信号（例如，其可以表示为CU、MB等）生成输出位流使执行的变换量化操作来说，特定频率之上的任何能量或信息一般根据压缩处理丢失。也就是说，输入视频信号中包括的相对高的频率的能量或信息一般根据视频压缩（例如，根据时域至频域的变换）丢失。

正因如此，输出位流（比如视频编码器生成的输出位流），通常不包括一定频率（例如，截止频率f_c，其对应于一个频率，能量或信息根据压缩处理在该频率之上丢失）之上的大量能量或信息。正因如此，输出位流可以不包括其中所有高频能量或信息。正因如此，在视频解码器接收的输入位流中，当重建或生成输出视频信号时，不会获得此高频能量或信息。例如，当将视频信号从发射器设备传输至接收器设备时（例如，其可以包括任何合适的处理以便生成符合通信信道的信号，将通信信道符合信号从发射器设备传输至接收器设备，并在接收器设备从通信信道接收传输的信号，等），此接收器设备不会获得原始或先前视频信号中可能包含的所有高频能量或信息。

然而，根据视频解码的执行，可以实现此设备以便基于接收的视频信号和/或与此对应或由此产生的输入位流中包括的信息重建此高频能量或信息。

例如，根据视频解码处理的执行，信号中的所有能量或信息可以被识别为在一频率（例如，截止频率f_c，对应于一个频率，根据压缩处理能量或信息在该频率之上丢失）以下。根据视频信号中相对较高频率的信息的重建，频带复制（SBR）可以用于提高此视频信号的编码效率。尽管本文针对视频编码应用描述了多个示例性实施方式，但同样要注意的是，在不背离本发明的范围和精神的情况下，此SBR还可以用于音频信号和/或其他类型的信号。

例如，SBR可以看作是基于并使用与信号相关联的能量或信息的频域中的谐波残差。同样，在视频编码的情形下，大部分或所有能量或信息将在一频率（例如，截止频率f_c，对应于一个频率，根据压缩处理能量或信息在该频率之上丢失）以下。此外，在视频编码的情形下，同样要注意的是，可以使此SBR的用途以人眼和人脑的感知能力试图对较高频率的信息进行精确性相对较低的分析为依据。类似地，对于视频编码来说，人脑的心理声学部分同样试图对较高频率的音频信息进行精确性相对较低的分析。正因如此，谐波现象或与此SBR处理相关联的现象只需要在基于人类感知能力的感知意义内是准确的，不需要在技术方面或数学方面精确（因为人类感知无法高精度地识别此高频信息）。

图13示出了频带复制（SBR）—转置（a）及重建（b）的原理的实施方式1300。针对该图，从图的左边可以看出，能量或信息的频率相对较低的部分可以对频谱的频率相对较高的部分进行转置或复制。从图的右边可以看出，复制的能量或信息也可以进行适当缩放（例如，在该实施方式中显示为向下缩放或衰减）以便在进行了转置复制的原始能量或信息和复制并缩放的能量或信息之间实现相对平稳的过渡。从某些角度看，与视频信号的至少一部分对应的能量分布图（例如，随频率变化的能量分布图）进行复制（或复制缩放）以便生成视频信号的另一部分（例如，在不同频谱部分中）。本文描述的多个实施方式包括从相对较低频率的部分复制到相对较高频率的部分。当然，在任何可选实施方式中，可以可选地从相对较高频率的部分至相对较低频率的部分执行此复制（或复制缩放）。

一般来说，多个信号通常以较高的频率展示出相对较少的能量或信息。例如，对于视频信号来说，以相对较低的频率包括有大部分能量或信息。这与音频信号类似，其中以相对较低的频率包括有大部分能量或信息。此外，考虑到人眼、年龄和/或大脑的感知限制，通常不需要相对较高频率的大量信息不会对感知质量提供明显改善。在该图及其他图中，能量或信息的量（随频率变化）一般随频率增加而单调递减。然而，可以看出，可能存在一般的单调递减趋势中存在波动的一些情况。

一般来说，图像（例如，视频信号的图像）内侧可能具有大量边缘信息（例如，相对高频的信息），如果在频域中分析，则对应的频谱范围为DC至相对高的频率。通常情况下，DC和相对低频的分量的大小比信号的能量或信息的总量中的高频分量更大。

如果除去或大量量化高频分量（例如，根据如根据视频编码执行的变换和量化），且如果只采用信号的相对低频和/或中频部分（例如，在信号中从发射器设备传输至接收器设备），那么锐化边缘信息将会不幸被清除。

根据视频解码可以采用SBR以便通过转置来自接收信号（例如，其包括信号的相对低频和/或中频部分）的谐波复制除去的高频分量。正因如此，可以根据视频解码重建该相对较高的频率信息。在不背离本发明的精神和范围的情况下，可以在包括CU基础、MB基础等的多种基础中的任意基础上执行SBR相关的处理。

图14、图15、图16和图17示出了频带复制（SBR）的各个实施方式。

参照图14的实施方式1400，针对该图可以看出，将在一频率（例如，截止频率f_c，对应于一个频率，能量或信息根据符合视频处理的压缩处理在该频率之上丢失）以下的全部能量或信息复制到较高的频率。另外，对复制版本的能量或信息进行缩放（例如，在该实施方式中示为向下缩放或衰减）以便在进行了转置复制的原始能量或信息和复制并缩放的能量或信息之间实现相对平稳的过渡。

参照图15的实施方式1500，针对该图可以看出，将在一频率（例如，截止频率f_c，对应于一个频率，能量或信息根据符合视频处理的压缩处理在该频率之上丢失）以下的全部能量或信息复制到若干较高的频带，正如怀疑是构建能量或信息1，构建能量或信息2等，尽可能多地在特定实施方式中进行描述。

参照图16的实施方式1600，针对该图可以看出，将一定频带（例如，大于第一频率f₁且小于第二频率f₂）内的一部分或子部分能量或信息复制到若干（例如，其可以是一个或多个）较高的频带。也就是说，在一个或多个较高频的频带中只可以复制这部分或子部分能量或信息的一次重建。若需要，在多个较高频的频带中可以复制这部分或子部分能量或信息的多次重建。

参照图17的实施方式1700，针对该图可以看出，将一个或多个频带（例如，对应于能量或信息的大于第一频率f₁且小于第二频率f₂的第一频带，以及对应于能量或信息的大于第一频率f₂且小于诸如f_c等第三频率的第二频带等）内的超过一部分或一子部分能量或信息复制到若干（例如，其可以是一个或多个）较高的频带。也就是说，在一个或多个较高频的频带中只可以复制每个部分或子部分能量或信息中的一次重建。若需要，在多个较高频的频带中可以复制这些部分或子部分能量或信息的多次重建。

如果高频分量大量量化，但没有全部除去（是指一部分高频分量在量化之后仍然保留，但具有很大程度的量化失真），则在SBR过程中可以用作先导。也就是说，复制的高频频带必须与剩余的高频分量的规模和标志一致。

一般来说，要注意的是，根据SBR处理可以使用一个或多个频带中的若干不同部分或子部分能量或信息中任何能量或信息。例如，根据视频解码，根据SBR处理的执行可以采用一个或多个频带中的多个部分或子部分能量或信息，从而生成一个或多个较高频频带中的较高频能量或信息。

在可选实施方式中，要注意的是，可以在发射器设备和接收器设备之间完成协调，使得发射器设备将信息提供给接收器设备（例如，独立控制信道中，或嵌入到包括视频信息或视频信号等的传输信号中），从而将某些信息提供给接收器设备以指导接收器设备的操作。例如，接收器设备可以配置或实施为独立执行并识别若干操作中的任意操作，而无需与发射器设备协同（例如，或许不包括由此接收视频信号）。可供选择地，接收器设备可以配置或实施为从收发器设备接收特定信息或指示，以便指导接收器设备应该对接收视频信号执行解码及其他视频处理的方式。此信息可以包括与变换和量化操作相关联的截止频率，这些变换和量化操作符合与视频信号相关联的视频编码，该视频信号从发射器设备传输给接收器设备。另外，可以将其他指令从发射器设备提供至接收器设备，包括视频信号的一个或多个部分或子部分应该复制或缩放的若干次数、应该复制或缩放的视频信号的一个或多个部分或子部分（如果适用的话，包括，与任意子部分相关联的上频限和下频限）、要用于视频信号的一个或多个部分或子部分的缩放的一个或多个数量或类型、视频信号的一个或多个部分或子部分应该复制和/或缩放的若干次数等。与可以理解的一样，若干不同类型的信息中的任何类型的信息包括控制信息（例如，如可以用于缩放的大小、重建高频频谱包络的频率范围，等等），可以从发射器设备提供至接收器设备以指导接收器设备的操作。

图18、图19、图20A和图20B示出了执行视频处理（例如，在一个或多个设备中）的方法的各种实施方式。

参照图18的方法1800，该方法1800以选择来自第一视频信号的视频信息的至少第一部分开始，如方框1810所示。

该方法1800继续复制视频信息的至少第一部分的至少一个特征以便生成比视频信息的至少第一部分相对高的频率范围内的视频信息的至少第二部分，如方框1820所示。此特征可以对应于第一视频信号的至少一部分的能量分布图，例如，随频率变化的能量，比如根据图13-17，及在与其他图相关联的书面描述中引用的此描述。

该方法1800然后对视频信息的至少第一部分和视频信息的至少第二部分进行组合生成第二视频信号，如方框1830所示。本文描述的视频处理操作可以在包括逐块的各种基础中的任意基础上（或通过一个或多个视频信号的任何其他划分）执行。

在某些实施方式中，该方法1800还可以继续经由通信设备的输出端输出第二视频信号或对应于第二视频信号的信号，如方框1840所示。

参照图19的方法1900，该方法1900首先选择第一视频信号的视频信息的至少第一部分，如方框1910所示。

该方法1900继续复制并缩放视频信息的至少第一部分，以便生成比视频信息的至少第一部分相对高的频率范围内的视频信息的至少第二部分，如方框1920所示。

该方法1900然后对视频信息的至少第一部分和视频信息的至少第二部分进行组合生成第二视频信号，如方框1930所示。本文描述的视频处理操作可以在包括逐块的各种基础中的任意基础上（或通过一个或多个视频信号的任何其他划分）执行。

在某些实施方式中，该方法1900还可以继续经由通信设备的输出端输出第二视频信号或对应于第二视频信号的信号，如方框1940所示。

参照图20A的方法2000，该方法2000首先根据第二视频信号的生成，采用第一视频信号的视频信息的至少第一部分的第一子集，以生成比视频信息的至少第一部分相对高的第一频率范围内的视频信息的至少第二部分的第一子集，如方框2010所示。

该方法2000继续根据第二视频信号的生成采用第一视频信号的视频信息的至少第一部分的第二子集生成比视频信息的至少第一部分相对高的第二频率范围内的视频信息的至少第二部分的第二子集，如方框2020所示。

参照图20B的方法2001，该方法2001首先根据第二视频信号的生成，采用第一视频信号的视频信息的至少第一部分，以生成比视频信息的至少第一部分相对高的第一频率范围内的视频信息的至少第二部分的第一子集，如方框2011所示。

该方法2001继续根据第二视频信号的生成，采用第一视频信号的视频信息的至少第一部分生成比视频信息的至少第一部分相对高的第二频率范围内的视频信息的至少第二部分的第二子集，如方框2021所示。

还要注意的是，比如利用其中实现的基带处理模块和/或处理模块和/或其中的其他部件，可以在通信设备中进行文中针对各个方法所述的各个操作和功能。

如本文所使用的术语“基本上”和“近似地”为其对应术语提供行业接收的容差和/或物品间的相关性。行业接收的容差的范围小于1%至50%并对应于（但不限于）分量值、集成电路工艺变量、温度变量、上升和下降时间和/或热噪声。物品之间的相关性的差别为几个百分点至数量级。如本文同样所使用的术语“可操作地耦接至”、“耦接至”和/或“耦接”包括物品之间耦接和/或物品之间通过干扰物品间接耦接（例如，物品包括（但不限于）部件、元件、电路和/或模块），其中，对间接耦接而言，干扰物品不修改信号信息但可以调节其电流电平、电压电平和/或功率电平。如本文进一步所使用的推测耦接（即，当一个元件通过推断与另一个元件耦接）包括以与“耦接至”相同的方式在两个物品之间直接和间接耦接。如本文更进一步所使用的术语“适于”或“适于耦接至”表明物品包括一种或多种电源连接、输入、输出等以便在激活时执行一个或多个对应功能且可以进一步包括与一个或多个其他物品的推测耦接。如本文更进一步所使用的术语“与…相关联”包括另一物品中嵌入的独立物品和/或一个物品的直接和/或间接耦接。如本文所使用的术语“有利地比较”表明两个或两个以上物品、信号等之间的比较提供期望的关系。例如，当所述关系为信号1比信号2的数量级大时，当信号1的数量级比信号2的数量级大时或当信号2的数量级比信号1的数量级小时，可以实现有利的比较。

如本文同样所使用的术语“处理模块”、“模块”、“处理电路”和/或“处理单元”（例如，包括可以操作、实现和/或用于编码、解码、基带处理的各种模块和/或电路等）可以是单个处理设备或多个处理设备。这种处理设备可以是微处理器、微控制器、数字信号处理器、微计算机、中央处理器、现场可编程门阵列、可编程逻辑设备、状态机、逻辑电路、模拟电路、数字电路和/或基于电路的硬编码和/或操作指令操作信号（模拟和/或数字）的任何设备。处理模块、模块、处理电路和/或处理单元可以具有相关联的存储器和/或集成存储元件，该存储器和/或集成存储元件可以是单个存储设备、多个存储设备和/或处理模块的嵌入电路、模块、处理电路和/或处理单元。这种存储设备可以是只读存储器（ROM）、随机存取存储器（RAM）、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪存、高速缓冲存储器和/或存储数字信息的任意设备。要注意的是，如果处理模块、模块、处理电路和/或处理单元包括一个以上的处理设备，那么处理设备就可以中心定位（例如，通过有线和/或无线总线结构直接耦接在一起）或可以分布式定位（例如，通过局域网和/或广域网进行的间接耦接云计算）。进一步要注意的是，如果处理模块、模块、处理电路和/或处理单元通过状态机、模拟电路、数字电路和/或逻辑电路实现一种或多种功能，可以将存储有相应操作指令的存储器和/或存储器元件嵌在包括状态机、模拟电路、数字电路和/或逻辑电路的电路内或外部。进一步要注意的是，存储器元件可以存储，处理模块、模块、处理电路和/或处理单元执行对应于一个或多个图中示出的至少一部分步骤和/或功能的硬编码和/或操作指令。制品中可以包括有这种存储器设备或存储器元件。

上文在示出了指定函数的性能及其关系的方法步骤的帮助下已对本发明进行了描述。为了便于描述，本文任意限定了这些功能构建块和方法步骤的界限和顺序。只要适当执行指定功能和关系，就可以限定替代界限和顺序。任何替代界限和顺序都在要求保护的本发明的范围和精神范围内。此外，为了便于描述，任意限定了这些功能构建块的界限。只要适当执行某些重要功能，就可以限定替代界限。类似地，本文也任意限定了流程框图以便示出某些重要功能。从所用的程度来看，另外规定了流程框图界限和顺序，并仍然执行某些重要功能。功能构建块和流程图块和顺序的替代定义在要求保护的本发明的范围和精神范围内。本领域的普通技术人员还将明白，本文中的功能构建块及其他说明性块、模块和部件可以被实现为利用离散部件、专用集成电路、执行适当软件等的处理器或其任意组合来示出。

可能已经至少部分地针对一个或多个实施例对本发明进行了描述。本发明的实施例在本文中用来说明本发明，其一方面、其特点、其概念和/或其实例。体现本发明的装置、制品、机器和/或工艺的物理实施例可以包括参照文中所讨论的一个或多个实施例描述的一个或多个方面、特点、概念、实例等。此外，从图到图，实施例可以并入可以使用相同或不同参考编号的相同或类似命名的功能、步骤、模块等，正因如此，所述功能、步骤、模块等可以是相同或类似的功能、步骤、模块等或可以是不同的功能、步骤、模块等。

除非从反面特别说明，传递给本文中所显示的任何一个图中的元件的信号、来自该元件的信号和/或元件之间的信号可以是模拟信号或数字信号、连续时间信号或离散时间信号以及单端信号或差分信号。例如，如果信号路径被显示为单端路径，则还表示差分信号路径。类似地，如果信号路径被显示为差分路径，则还表示单端信号路径。尽管本文对一个或多个特定架构进行了描述，但同样可以实现其他架构，其他架构使用如本领域的普通技术人员认可的一个或多个数据总线（未明确示出）、元件之间的直接连接和/或其他元件之间的间接耦接。

术语“模块”用于对本发明的各个实施例进行描述。模块包括经由硬件实现以便执行一个或多个模块功能，比如处理一个或多个输入信号以产生一个或多个输出信号的功能块。实现模块的硬件本身可以结合软件和/或固件进行操作。如本文所使用的模块可以包含一个或多个子模块，每个子模块本身就是模块。

尽管本文明确描述了本发明的各个功能和特点的特定组合，但这些特点和功能的其他组合同样是可能的。本发明不受本文所公开的特定实例的限制并明确结合其他组合。

Claims (10)

1.一种装置，包括：

视频处理器，用于：

选择第一视频信号的视频信息的至少第一部分；

复制并缩放视频信息的所述至少第一部分以生成比视频信息的所述至少第一部分相对高的频率范围内的视频信息的至少第二部分；以及

根据所述第一视频信号的处理，对视频信息的所述至少第一部分和视频信息的所述至少第二部分进行组合，生成第二视频信号。

2.根据权利要求1所述的装置，其中：

所述视频处理器采用视频信息的所述至少第一部分的第一子集生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集；并且

所述视频处理器采用视频信息的所述至少第一部分的第二子集生成比视频信息的所述至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

3.根据权利要求1所述的装置，其中：

所述视频处理器采用视频信息的所述至少第一部分生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集，以及比视频信息的所述至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

4.一种装置，包括：

视频处理器，用于：

选择第一视频信号的视频信息的至少第一部分；

复制视频信息的所述至少第一部分的至少一个特征以生成比视频信息的所述至少第一部分相对高的频率范围内的视频信息的至少第二部分；以及

对视频信息的所述至少第一部分和视频信息的所述至少第二部分进行组合，生成第二视频信号。

5.根据权利要求4所述的装置，其中：

所述视频处理器复制并缩放视频信息的所述至少第一部分以生成视频信息的所述至少第二部分。

6.根据权利要求4所述的装置，其中：

所述视频处理器采用视频信息的所述至少第一部分的第一子集生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集；并且

所述视频处理器采用视频信息的所述至少第一部分的第二子集生成比视频信息的所述至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

7.根据权利要求4所述的装置，其中：

所述视频处理器采用视频信息的所述至少第一部分生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集，以及比视频信息的所述至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

8.一种通信设备的操作方法，所述方法包括：

选择第一视频信号的视频信息的至少第一部分；

复制视频信息的至少第一部分的至少一个特征以生成比视频信息的所述至少第一部分相对高的频率范围内的视频信息的至少第二部分；

对视频信息的所述至少第一部分和视频信息的所述至少第二部分进行组合生成第二视频信号；以及

经由所述通信设备的输出端，输出所述第二视频信号或对应于所述第二视频信号的信号。

9.根据权利要求8所述的方法，包括：

采用视频信息的所述至少第一部分的第一子集生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集；并且

采用视频信息的所述至少第一部分的第二子集生成比视频信息的所述至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

10.根据权利要求8所述的方法，进一步包括：

采用视频信息的所述至少第一部分，生成比视频信息的所述至少第一部分相对高的第一频率范围内的视频信息的所述至少第二部分的第一子集，以及比视频信息的至少第一部分相对高的第二频率范围内的视频信息的所述至少第二部分的第二子集。

Images