CN101371589B - 用以提高视频编码器性能的自适应滤波方法及系统 - Google Patents

Abstract

本发明说明用以改善例如视频或静态图像等被捕获图像的质量的自适应滤波技术。特定来说，本发明说明依据一组包围像素对每一像素进行滤波的自适应滤波技术。自适应图像滤波器可例如通过计算与所关心像素相关联的图像信息与一组包围像素中的每一者之间的差来将与所述所关心像素相关联的图像信息和与所述组包围像素相关联的图像信息进行比较。可以多种方式使用所计算的差以对所述所关心像素的图像信息进行滤波。举例来说，在某些实施例中，所述自适应图像滤波器可包括依据所计算的差而调整的低通组件及高通组件两者。

Description

用以提高视频编码器性能的自适应滤波方法及系统

相关申请交叉参考案

本申请案请求对2006年1月26日提出申请且标题为“视频系统、视频前端系统(VIDEO SYSTEMS，VFE SYSTEMS)”的第60/763,148号临时美国申请案及2006年3月16日提出申请且标题为“用以提高视频位速率控制性能的自适应滤波(ADAPTIVE  FILTERING TO ENHANCE VIDEO BIT-RATE CONTROL PERFORMANCE)”的第11/378,567号美国申请案的权益，且两者均受让与本申请案的受让人且其全部内容出于所有目的以引用的方式并入本文中。 

技术领域

本发明涉及图像处理，且更特定来说涉及视频编码。 

背景技术

多种视频编码标准通过以压缩方式将数据编码来支持视频序列的经改善记录或传输效率。举例来说，运动图像专家组(MPEG)已开发多个标准，包括MPEG-1、MPEG-2及MPEG-4。其它实例包括国际电信联盟(ITU)H.263标准及新兴的ITU H.264标准。这些视频编码标准通常通过以压缩方式将数据编码来支持视频序列的经改善记录及传输效率。 

压缩会减少有效地再现视频帧所需要记录或传输的数据的总量。为提高效率，视频编码器可依附于规定应分配到视频序列中的每一帧的编码位的数量的目标位速率。举例来说，由于视频帧中过度运动或纹理所导致的高度复杂性，视频编码器可针对某些帧而超过所述目标位速率。在此情况下，视频编码器可跳过某些帧的编码以为序列中的其它帧保留编码位。过度跳帧可在经编码的视频中导致不需要的伪影，例如跳动。 

发明内容

本发明说明用以提高视频编码器性能的自适应滤波技术。自适应滤波器可实施于视频记录系统的视频前端(VFE)中。所述VFE从传感器所捕获的光产生视频，且将所述视频传递到视频后端(VBE)。所述VBE在所述视频被传送到存储及/或传输媒体之前将所述视频编码。 

控制单元基于来自所述VBE中的视频编码器的性能反馈自适应地配置所述VFE 中的自适应预滤波器。以此方式，所述视频记录系统决定所述自适应预滤波器的适当配置以提高所述VBE的性能。所述自适应预滤波器可以是亮度滤波器。在某些实施例中，所述预滤波器可以是亮度滤波器、色度滤波器或组合亮度-色度滤波器。 

所述自适应预滤波器可经配置以滤波出来自视频的信息以降低视频复杂性，且从而通过降低位速率溢出或下溢来提高视频编码器性能。另一选择为，所述自适应预滤波器可经配置以提高所述系统所记录的经编码器视频的主观视觉质量。而且，在某些实施例中，所述自适应预滤波器可经配置以既降低位速率溢出/下溢又提高所述经编码视频的视觉质量。在每一种情况下，使用来自VBE的性能反馈来调节VFE中的预滤波器的特性。可在连续或周期的基础上调节所述预滤波器的特性以维持所需要的VBE性能水平。 

在一个实施例中，本发明提供一种包含以下操作的方法：将滤波器应用于视频帧；应用使用量化参数(QP)信息的视频编码器以将所述经滤波的视频帧编码；接收与所述视频编码器相关的性能信息；及基于所述性能信息调整所述QP信息及所述滤波器。 

在另一实施例中，本发明提供包含以下装置的系统：获得视频帧的视频传感器；对所述视频帧滤波的滤波器；使用量化参数(QP)信息将所述经滤波视频帧编码的视频编码器；及接收与所述视频编码器相关的性能信息且基于所述性能信息调整所述QP信息及所述滤波器的控制单元。 

在额外实施例中，本发明提供包含用于致使处理器进行以下操作的指令的计算机可读媒体：将滤波器应用于视频帧；应用使用量化参数(QP)信息的视频编码器以将所述经滤波的视频帧编码；接收与所述视频编码器相关的性能信息；及基于所述性能信息调整所述QP信息及所述滤波器。 

在附图及以下说明中论述本发明的一个或一个以上实施例的细节。根据本说明及图式且根据权利要求书将明了本发明的其它特征、目的及优点。 

附图说明

图1是图解说明包括视频前端(VFE)的视频记录系统的方块图，所述视频前端具有基于来自视频后端(VBE)的反馈加以调整的预滤波器。 

图2是图解说明图1的视频记录系统的实例性操作的流程图。 

图3是图解说明具有滤波器的视频记录系统的方块图，响应于视频编码器性能信息及记录信息对所述滤波器加以调整以降低位速率溢出及/或下溢。 

图4是图解说明图3的视频记录系统的实例性操作的流程图。 

图5是图解说明具有滤波器的视频记录系统的方块图，响应于视频编码器性能信息及记录信息对所述滤波器加以调整以提高主观视觉质量。 

图6是图解说明图5的视频记录系统的实例性操作的流程图。 

图7是图解说明具有滤波器的视频记录系统的方块图，响应于视频编码器性能信 息及记录信息对所述滤波器加以调整以提高主观视觉质量并降低位速率溢出及/或下溢。 

图8是图解说明图7的视频记录系统的实例性操作的流程图。 

具体实施方式

图1是图解说明包括视频前端(VFE)12及视频后端(VBE)14的视频记录系统10的方块图。VFE 12包括滤波器16及视频传感器18。VBE 14包括视频编码器20及视频记录/传输装置22。系统10进一步包括记录设定单元34，其指示针对记录视频序列所选择的设定。视频传感器18获得视频帧且将所述帧传递到滤波器16。滤波器16可以是可被用来对与所述视频帧中的像素相关联的亮度值滤波的数字亮度滤波器。在某些实施例中，滤波器16可以是色度滤波器，包括亮度滤波器及色度滤波器两者，或可以是组合亮度/色度滤波器。视频编码器20根据多种编码技术中的任一者将所述经滤波的视频帧编码。出于例示的目的，将在本文中说明亮度滤波器。视频记录/传输装置22可存储用于随后恢复或传输的经编码视频，或(例如)经由直接连接或网络连接将所述经编码的视频传输到另一装置。所述传输媒体可以是有线或无线媒体。 

大体来说，系统10提供VFE 12中的自适应预滤波器16，可基于来自VBE 14的反馈配置所述预滤波器以决定所述滤波器的适当配置。控制单元23接收指示视频编码器性能信息的VBE反馈，以及来自记录设定单元34的记录信息。所述记录信息可包括视频帧大小、视频编码位速率及以帧/秒(fps)为单位的帧速率。所述VBE反馈可包括编码器性能信息，例如帧变化及位速率控制信息。控制单元23基于所述VBE性能信息、所述记录信息或两者产生滤波器控制信息以调整亮度滤波器16的特性。 

VFE 12从传感器18所捕获的光产生视频帧且然后将所述视频帧传递到VBE 14上供编码。然而，图1的视频记录系统10进一步并入有滤波器16，其作为可至少部分基于VBE反馈加以配置的自适应预滤波器来进行操作。使用可包括多种性能信息的VBE反馈，控制单元23决定亮度滤波器16的适当配置以促进视频编码器18的提高性能。如图1中所示，控制单元23还可响应于记录设定单元34所提供的视频记录系统10内的记录信息。 

可在某些实施例中使用控制单元23及自适应亮度滤波器16以通过在编码之前降低引入视频的视频复杂性来提高视频编码性能。在视频复杂性降低的情况下，视频帧在视频编码器18中可需要更少的编码位。因此，自适应亮度滤波器16可降低视频编码器18中位速率溢出及/或下溢的量。在其它实施例中，可使用控制单元23及自适应亮度滤波器16以提高经视频编码器18编码的视频的主观视觉质量。在其它实施例中，可使用控制单元23及自适应亮度滤波器16以支持位速率溢出及/或下溢的降低及主观视觉质量的提高两者。在每一种情况下，使用VBE反馈及记录信息，控制单元23基于VBE 14内的状况及记录设定来调整VFE 12的操作。 

可通过硬件、固件及/或软件组件的任何适当组合来实现图1中所图解说明的特征。此外，记录设定单元34、VFE 12及VBE 14可包括图1中未显示的多个额外组件。为便于图解说明，图1显示根据本发明的用于将视频帧编码的具有降低的位速率溢出及/或下溢及/或提高的主观视觉质量的特定组件。将图1中的不同特征描述为单元旨在突出图像记录系统10的不同功能性方面，而未必暗示所述单元必须由分离的硬件、固件及/或软件组件来实现。而是，在某些实施例中，可将与一个或一个以上单元相关联的功能性整合于共用硬件、固件及/或软件组件中。 

视频记录系统10可以是数码相机，例如数字视频摄像机。此外，视频记录系统10可以是独立的装置(例如，独立的摄像机)或整合于另一装置(例如，无线通信装置)中。作为实例，在某些实施例中，可将视频记录系统10整合于移动电话中以形成所谓的摄像电话或视频电话。优选地，视频记录系统10经装备以捕获彩色图像、黑白图像或两者。在其它实施例中，可将视频记录系统10整合于视频摄像放像机中。 

视频传感器18获取所关心的场景的视频信息并产生视频帧。举例来说，视频传感器18可包含固态传感器元件阵列，例如互补金属氧化物半导体(CMOS)传感器元件、电荷耦合装置(CCD)传感器元件或类似元件。此外，视频传感器18可包括色彩滤波器以将视频信息分离为色彩分量。视频传感器18所获得的每一像素具有亮度值(即，强度水平)以及色度值。每一像素的视频信息可由YCbCr(亮度，蓝色色度、红色色度)值表示，或由其它与装置无关或与装置有关的色彩空间值表示。亮度滤波器16经装备以对与像素数据相关联的亮度值滤波(例如)以对视频帧进行平滑或锐化。可响应于来自VBE 14的反馈来调整亮度滤波器16的特性。 

VBE 14接收来自VFE 12的所述经滤波视频帧并对所述经滤波视频帧执行任何必要的视频处理。举例来说，VBE 14可包括经配置以对视频传感器20所捕获的视频信息执行修剪、去马赛克、压缩、图像增强或其它处理的视频处理模块。VFE 12及VBE14的各个组件可由一个或一个以上处理器实现，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASTC)、现场可编程门阵列(FPGA)或任何其它等效离散或集成逻辑电路。 

形成VBE 14的部分的视频编码器20可形成编码器-解码器(CODEC)的部分，所述编码器-解码器根据特定的编码技术或格式(例如，MPEG-2、MPEG-4、ITU H.263、ITU H.264或类似物)将从VFE 12获得的经滤波视频帧编码。视频编码器20将所述视频帧编码并压缩供经由视频记录/传输装置22进行存储或传输。视频记录/传输装置22可包括用于存储所述视频的数据存储媒体，例如磁盘或磁带、光盘或光带或固态存储器。另一选择为或另外，视频记录/传输装置22可包括有线或无线传输媒体。在任一种情况下，视频记录/传输装置包括适当的电子及/或软件组件以支持数据存储及/或传输。所存储或所传输的视频信息也可伴随有音频信息。 

视频编码器18通常具有指示分配到帧序列中的每一视频帧的位的数量的目标位速率。控制单元23可将所述目标位速率作为视频编码速率控制机制的部分来设定。可 针对整个视频序列或在逐帧的基础上规定所述目标位速率。在任一种情况下，对于某些记录，视频记录系统10针对视频帧所产生的位的数量可超过所述目标位速率一多于被视为可接受的量。如果视频记录系统10包括跳帧机制，那么可在视频编码器20大致超过所述目标位速率时跳过某些视频帧的编码以保留编码位。 

过度的位速率溢出量可导致视频编码器20跳过多个帧的编码。遗憾的是，过度跳帧可导致所记录视频中的跳动或其它伪影，而降低视频质量。通过应用滤波器16来降低视频信息的复杂性可能在降低位速率溢出的量及相关联的跳帧方面有效。特定来说，可使用滤波器16来在视频编码器20的编码之前对视频预滤波以降低视频复杂性。通过亮度预滤波，视频编码器20接收复杂性降低的视频帧，例如在低通滤波的情况下具有平滑的边缘。如果存在显著的位速率下溢(即，编码器20需要比可应用位速率所准许的更少的编码位)，那么可调整滤波器16以提供高通滤波器，其提供较清晰的图像。在位速率下溢的情况下，编码器20可提供用于所述经锐化图像的更大数量的编码位。 

图2是图解说明图1的视频记录装置的操作的流程图。如图2中所示，VFE 12经由视频传感器18获得视频帧(24)。控制单元23从VBE 14接收性能反馈(26)，从记录设定单元34接收记录信息，且基于所述VBE反馈及所述记录信息配置亮度滤波器16(28)。然后，VFE 12应用亮度滤波器16以对所述视频帧预滤波(30)，且将所述经预滤波的视频帧传递到VBE 14(例如)以由视频编码器20编码。如上文所说明，控制单元23可经配置以基于VBE性能反馈调整亮度滤波器16以通过降低视频编码器18中的位速率溢出及/或下溢的量、提高所述经编码视频的主观视觉质量或两者来提高视频编码性能。 

图3是图解说明具有滤波器16的视频记录系统32的方块图，响应于视频编码器性能信息及记录信息两者来对滤波器16加以调整以降低位速率溢出及/或下溢。视频记录系统32实质上符合图1的视频记录系统10，但其经更特定地配置以降低视频编码器20中的位速率溢出及/或下溢。为方便起见，将相同的参考编号用于图3的视频记录系统32及图1的视频记录系统10内的相同组件。为降低位速率溢出及/或下溢的量，视频记录系统32包括可配置或固定的亮度滤波器16，可响应于编码器性能信息及记录信息选择性地对滤波器16加以调整及/或选择性地应用滤波器16。 

如图3中所示，视频记录系统32包括VFE 12、VBE 14、控制单元23及记录设定单元34。如在图1的实例中，记录设定单元34指示针对记录视频序列所选择的设定，包括视频帧大小、视频编码位速率及以帧/秒(fps)为单位的帧速率。控制单元23从记录设定单元34接收所述记录设定，且从VBE 14获得VBE反馈。所述VBE反馈包括编码器性能信息，例如帧变化及位速率控制统计。所述帧变化信息指示由视频编码器20编码的一个或一个以上帧中空间复杂性内容的量。所述位速率控制统计指示编码器20针对先前编码的帧应用的超过位速率阈值(即，超过记录设定单元34所规定的视频编码位速率)的编码位的数量。可将提供到控制单元23的帧变化及位速率 控制信息表达为绝对值或索引值。 

将亮度滤波器16配置为数字滤波器。控制单元23可通过调整滤波器系数来调整滤波器16的特性。在其它实施例中，控制单元23可通过从滤波器库中选择一个或一个以上不同的滤波器来调整滤波器16的特性。在此情况下，所述滤波器库中的每一滤波器具有不同的特性，例如从高通到穿通到低通滤波器。控制单元23可在逐帧的基础上(即，针对滤波器16所处置的每一视频帧)来调整亮度滤波器16。对于每一视频帧，控制单元23可决定亮度滤波器16将要使用的滤波器系数以及是否将所述滤波器应用于下一视频帧的亮度分量两者。是否应用滤波器16的决策可由控制单元23产生的决策旗标来表示。在其它实施例中，滤波器16的特性可固定，即，不调整。因此，在各种实施例中，可选择性地调整滤波器16及将其应用于所有视频帧，选择性地调整滤波器16及选择性地将其应用于仅某些帧，或使滤波器16固定及选择性地将其应用于某些帧。此外，如果可应用，那么可通过调整滤波器的系数或从具有不同特性的滤波器库中选择滤波器来完成选择性调整。 

滤波器特性及/或是否将所述滤波器应用于既定帧的决定是基于记录设定信息及指示编码器性能信息的VBE反馈的。如果记录设定及编码器性能有利，那么控制单元23可决定根本不针对既定视频帧或视频帧组应用滤波器16。在此情况下，记录设定及编码器性能指示存在相对少量的位速率溢出及跳帧，及所得的经编码视频不产生过度的跳动或其它伪影。 

如果记录设定、编码器性能或两者均不有利，那么控制单元23可决定应将滤波器16应用于下一视频帧或视频帧组。在此情况下，记录设定或编码器性能指示因过度的位速率过冲及所得的跳帧(其可产生损害所述视频的质量的伪影)而应用所述滤波器的需要。可应用具有固定特性的滤波器16。另一选择为，控制单元23可调整滤波器16的滤波器系数，或从滤波器库中选择具有特定特性的滤波器。在任一种情况下，滤波器16(例如)通过对视频内容进行低通滤波来降低视频帧的复杂性，以降低视频编码器20中的位速率溢出。 

在一个实施例中，将亮度滤波器16固定为低通滤波器且仅使是否对视频帧的亮度分量进行滤波的决策可配置。作为例示，亮度滤波器16可使用以下固定滤波器系数： 

([111101111]*a+[-1-1-1-18-1-1-1-1]*b)/(8*a)，其中a＝8且b＝5。 

以上系数导致形成具有固定特性的低通滤波器的3×3空间滤波器核。给定所述记录设定及编码器性能信息，仅由控制单元23做出的决策是是否应用滤波器16。在其它实施例中，举例来说，可在逐帧的基础上或每一帧内(I)周期一次地配置应用滤波器16的决策及所述滤波器的系数两者，如下文所说明。 

控制单元23部分地依靠视频记录系统32的记录设定单元34所规定的记录设定来决定是否应应用自适应亮度滤波器16。记录设定单元34可规定可由系统32的用户或在系统32上运行的应用程序调整的记录设定。举例来说，用户或应用程序可选择高质量、中等质量或最低质量的记录。如果将记录设定设定为高质量记录(例如，如大 的帧大小、高编码位速率、高帧/秒(fps)设定或其组合所指示)，那么可优选地完全脱离自适应亮度滤波器16以避免丢失需要的视频信息。将输入帧的亮度分量低通滤波可降低视频复杂性但引起伪影(例如，模糊)，其在高质量的记录中变得更加明显，尤其在视频编码器20不引起许多其自身的可见伪影的情况下。 

对于中等或较低质量的记录设定，可基于需要压缩的视频序列的量来做出接通或关断自适应亮度滤波器16的初始决策。根据一个实施例，在做出应用或不应用滤波器16的初始决策之后，可对整个帧内(T)周期的所有帧滤波或不根据所述初始决策。I周期是指两个连续帧内(I)编码帧之间的间隔，其包含中间(P或B)编码的帧。因此，可针对视频序列中的每一帧在逐帧的基础上做出应用滤波器16的决策，或在此实施例中，在逐I周期的基础上做出所述决策，使得既定I周期中的每一帧具有针对其做出的相同滤波器决策。 

VBE 14可在每一帧内周期期间收集供控制单元23用来决定是否将亮度滤波器16应用于下一帧内周期中的视频帧的两组统计。作为第一组统计，视频编码器20产生位速率控制统计，其指示视频编码器20使用的位的量对每一目标位速率所需要的位的量。作为第二组统计，视频编码器20产生指示所述帧内周期中的视频帧的空间复杂性的帧变化统计。控制单元23依靠所述帧变化及位速率控制统计结合记录设定来决定是否应用滤波器16，及视情况动态地调整滤波器16的特性。 

所述帧变化统计形成视觉屏蔽技术的基础。根据所述视觉屏蔽技术，视频帧中的高空间复杂性内容可屏蔽视频编码伪影。帧的某些区域(或整个帧)可包括大量的高空间复杂性内容，例如具有许多边缘及脊的对象。在具有高空间复杂性内容的区域或帧中，人类眼睛可完全错过或观看者不易察觉有损耗量化过程所引起的一定量的伪影(例如，块状及模糊)。因此，应用滤波器16来消除此种类型的大体不可见或几乎不可察觉的信息对视觉质量危害极小或无危害，但作用是降低复杂性且从而降低视频编码器20中的位速率溢出。控制单元23用来指示帧中高空间复杂性内容的量的统计是帧变化。 

假设记录信息不指示高质量记录设定，而导致自适应预滤波器的停用，那么控制单元23基于VBE反馈来决定是否应用所述滤波器。在帧内周期的末尾，在将下一I帧编码之前，(举例来说)控制单元23使用位速率控制统计及帧变化统计来决定是否应使下一帧内周期的帧穿过自适应亮度滤波器16。在此实例中，控制单元23简单地决定所述位速率控制统计是否大于预定的阈值，及所述帧变化统计是否大于另一预定的阈值。如果所述两个阈值均被超过，那么使所述下一帧内周期的帧穿过亮度滤波器16以降低视频编码器20中的位速率溢出。特定来说，亮度滤波器16作为低通滤波器操作以降低所述视频帧的复杂性，且从而减少视频编码器20所需要的编码位的数量。位速率溢出及变化的特定阈值水平可依系统32的设计者进行的变更及选择而定。 

如果未超过所述阈值中的一者或两者，那么视频编码器20可在不通过亮度滤波器16进行任何预滤波的情况下直接将下一帧内周期中的帧编码。换句话说，如果位速 率溢出不大于预定的阈值，那么控制单元23针对下一帧内周期停用亮度滤波器16。因此，当有必要降低编码器20中的过度位速率溢出时，且特定来说当变化统计表明滤波将对质量不具有有害影响时，在自适应的基础上应用亮度滤波器16。如上所述，除决定是否应用滤波器16之外，滤波器16的特性可固定或可变。通过将所述决策定时以与下一I帧一致来降低控制单元23对视频编码器20的编码效率的影响。因为所述I帧不依赖所述视频序列中的任何其它帧(不同于帧内编码的P帧或B帧)，因此避免因当前帧的亮度分量从先前帧的可能改变(由于滤波器16进行的滤波)而产生的编码影响。 

图4是图解说明图3的视频记录系统32的操作的流程图。如图4中所示，VFE 12获得视频帧(36)。控制单元23决定所述视频帧是否是当前帧内周期的部分或新的帧内周期的开始(38)。如果所述帧不是所述下一帧内周期的部分，那么控制单元23不改变亮度滤波器16的状态。相反，维持亮度滤波器16的当时当前状态(启用或停用)，且视频编码器20将所得的帧编码(40)。针对所述当前帧内周期中的每一帧维持亮度滤波器16的当前状态。 

如果所述帧将被作为I帧编码，意味着下一帧内周期的开始，那么控制单元23决定是否应用亮度滤波器16。在图4的实例中，控制单元23获得记录设定，例如帧大小、位速率及帧速率(40)，其指示记录的相对质量水平。举例来说，大的帧大小、高位速率或高帧速率可指示用户或应用程序已选择高质量的视频记录。如果所述记录设定指示已选择高质量的记录(42)，那么控制单元23针对下一I周期停用亮度滤波器16(43)且继续进行以将所述视频帧编码(40)。在此情况下，在由视频编码器16进行编码之前，所述下一I周期中的所有帧不由被停用的亮度滤波器16预滤波。在将所述帧编码之后，视频记录系统32继续进行以在VFE 12处获得下一视频帧(36)。 

如果未选择指示高质量记录的记录设定(42)，那么控制单元23可准许应用滤波器16，此依对帧变化及位速率溢出的分析而定。为此，控制单元23分析来自视频编码器20的帧变化统计(44)及位速率控制统计(45)。如果所述帧变化及位速率控制统计超过可应用的阈值(46)，那么控制单元23针对下一帧内周期启用亮度滤波器16(47)。位速率控制统计超过所述可应用的阈值指示位速率溢出及应用滤波器16的需要。帧变化统计超过所述可应用的阈值指示存在可由滤波器16消除而不有害地影响视觉质量的高空间频率分量。在某些实施例中，应用滤波器16的决策可基于分离的阈值比较或基于将位速率控制统计与帧变化统计组合的加权函数。 

如果帧变化及位速率控制统计两者均超过可应用阈值，且未选择高质量记录，那么控制单元23将滤波器16应用于下一帧。另一选择为，如果选择高质量记录或无一阈值被超过，那么不将滤波器16应用于下一帧。如果未选择高质量记录，且仅所述阈值中的一者被超过，那么在某些实施例中，控制单元23可经配置以在所述一个阈值被超出一较大的量时应用滤波器16。 

在其它实施例中，如上所述，所述滤波器决策可基于帧变化与位速率控制统计的 加权函数。在视频帧经滤波器16预滤波之后，视频编码器20继续进行以将所述经滤波的帧编码(40)。在将所述帧编码之后，视频记录系统32继续进行以在VFE 12处获得下一视频帧(36)。在此实例中，亮度滤波器16针对新的帧内周期中的所有视频帧保持为启用。在其它实施例中，可在逐帧的基础上而非每一帧内周期一次地决定是否应用亮度滤波器16。在检测到每一新的帧内周期(38)之后，重复决定是否针对所述帧内周期中的帧应用滤波器16的过程。 

如本文所说明，在应用自适应亮度预滤波器16的情况下，可显著降低位速率溢出而极度复杂的视频序列的跳帧的量稍微减少或不变且普通视频序列的跳帧的量稍微增加。位速率溢出降低对于具有大量运动及高空间复杂性内容且较低位速率的视频序列可更大。可将位速率过冲定义为所记录的视频剪辑超过基于可应用的记录设定及视频剪辑长度的理想视频剪辑大小的百分数。为通过应用滤波器16来实现位速率溢出的降低，某些帧的峰值信噪比(PSNR)可存在稍微损失。然而，位速率溢出降低对编码器性能的影响通常超过所述PSNR损失。 

图5是图解说明具有滤波器16的视频记录系统50的方块图，可响应于视频编码器20的性能对滤波器16加以调整以提高主观视觉质量。视频记录系统50实质上符合图1的视频记录系统10，但其经具体地配置以提高经视频编码器20编码的视频的主观视觉质量。为方便起见，将相同的参考编号用于图5的视频记录系统50及图1的视频记录系统10内的相同组件。为提高主观视觉质量，视频记录系统32包括亮度滤波器16，可响应于编码器性能信息对滤波器16选择性地加以调整以提高主观视觉质量。 

由于视频序列中运动变化及动态场景改变的存在，因此视频编码器20需要从帧到帧地调整量化参数(QP)信息，以维持大致不变的位速率。所述QP信息可包括帧级或宏块(MB)级速率控制的一个或一个以上QP值。举例来说，可将一个或一个以上QP值用于MB级速率控制。在MPEG-4中，所述QP值的范围是从1到31。在ITUH.264中，所述QP范围是从0到51。在每一种情况下，所述QP范围覆盖从低编码损失(低量化误差)延伸到高编码损失(高量化误差)的范围。当视频编码器20使用高QP值时，离散余弦变换(DCT)系数的较大量化误差可在高空间频率分量处引起振荡伪影且在块边界处引起块伪影。为改善主观视频质量，可应用滤波器16以通过在编码之前进行低通滤波来使视频帧内的边缘平滑。 

滤波器16所提供的低通预滤波减少视频帧的高空间频率分量。因此，编码器20可降低所述帧的QP信息(例如，一个或一个以上QP值)，从而导致较少的编码伪影。另一方面，如果觉察不到编码伪影，那么需要锐化的视频帧。换句话说，在其中视频编码器使用低QP值的情况下，到视频编码器20的输入可是被高通滤波增强的边缘。视频记录系统50将自适应亮度预滤波器16作为VFE 12的部分并入以调整视频帧的特性以符合视频编码器20的要求，以提高所述视频编码器的性能。 

滤波器16的应用相对简单地实施于软件中且可容易地适合现有的VFE硬件设计，而可能不需要任何硬件改变。此外，可将自适应亮度滤波器16的控制与视频编码 器20所应用的速率控制整合在一起以提供稳定且强健的性能。亮度滤波器16还可降低高运动或高纹理视频序列的位速率溢出。特定来说，当将由编码器20进行编码的帧中存在高运动或高纹理时，控制单元23可为滤波器16选择低通滤波器(LPF)设定以减少帧位或帧QP。 

在图5的实例中，通过使用控制单元23所产生的滤波器索引值从滤波器库中选择的滤波器来调整滤波器16。所述滤波器库中的滤波器包括一个端处的低通滤波器及另一端处的高通滤波器，且可根据所述滤波器索引值加以选择。控制单元23控制视频编码器20应用的QP信息及用于调整滤波器16的滤波器索引。所述QP信息可以是一个或一个以上QP值，例如整个帧的单个QP值或整个帧或帧内的视频块(例如宏块(MB))的多个QP值。控制单元23基于从VBE 14接收的与经视频编码器20编码的位流相关的信息产生所述QP信息及滤波器索引值。特定来说，控制单元23基于与先前编码的帧或帧组相关的来自记录设定单元34的记录信息及来自VBE 14的性能反馈产生将被编码的下一视频帧的QP信息及滤波器索引值。 

控制单元23从记录设定单元34接收记录设定。所述设定可包括视频帧大小、视频编码位速率及以帧/秒(fps)为单位的帧速率。如在图1及3的实例中，如果帧大小、位速率或帧速率指示高质量记录，那么控制单元23可停止将滤波器16应用于下一帧或帧组。否则，可应用具有控制单元23所决定的特性的滤波器16。控制单元23还可接收指示将每一帧编码所使用的位的数量的VBE反馈信息、用于先前编码的帧的QP值或值、定时信息及运动活动性。基于此信息，控制单元23为将被编码的下一帧选择QP值或值，且将所述QP信息映射到将要用于将被编码的下一帧的滤波器索引值。 

作为一个实例，控制单元23可为所述下一帧选择QP值且将所述QP值映射到所述下一帧的滤波器索引值。所述定时信息指示在当前帧与先前帧的编码之间已流逝的时间量。如果连续帧之间的时间相对较短，那么运动控制单元23可应用平滑滤波器以降低将被编码的帧的复杂性。所述运动活动性信息指示先前帧与当前帧之间的运动。大体来说，帧的运动活动性越大，那么预测所述帧的难度越大。因此，当连续的帧之间存在大量运动时，控制单元23可偏爱帧平滑滤波器而非帧锐化滤波器。 

使用来自先前编码的帧的此信息，控制单元23为将被编码的下一帧选择QP值及滤波器索引值。举例来说，使用先前帧的位速率控制统计、QP值、定时信息及运动活动性，控制单元为所述下一帧选择QP值。在较低的运动活动性及较低的位速率溢出的情况下，需要较低的QP值。所述QP值通常随着增加的运动活动性及位速率溢出而增大。同样，如果帧之间的定时间隔较小，那么所述QP值将倾于较大。举例来说，如果使用两个不同的帧速率(例如，30fps及15fps)记录同一场景，那么较高的帧速率将导致帧之间的较短时间间隔，且通常需要较高的QP值。此外，如果因例如可变的传感器捕获速率或跳帧(以避免位速率溢出)等因素而剪辑中存在不同的时间间隔，那么所述定时信息将改变，从而导致不同的QP值。 

使用根据先前编码的帧的可应用的位速率控制统计、QP值、定时信息及运动活 动性决定的QP值，控制单元23为将被编码的下一帧选择滤波器索引值。特定来说，对于每一帧大小，控制单元23存取可应用的QP到滤波器索引映射表。换句话说，对于既定的帧大小，所述QP到滤波器索引映射表将QP值映射到滤波器索引值。使用所述滤波器索引值，控制单元23选择滤波器且应用其以对将由视频编码器20编码的下一视频帧进行预滤波。 

对于使用低QP值的高质量视频，需要获得锐化的视频帧，即使增强的高频率分量可稍微增大用于所述视频剪辑的总QP值。然而，当视频编码器20使用高QP值时，可产生有害的伪影。平滑的图像可降低QP或减轻不连续伪影的出现。因此，VFE 12并入有可调整滤波器16，其包括滤波器库。如上所述，所述滤波器库中的滤波器覆盖包括高通滤波器(HPF)、低通滤波器(LPF)及穿通滤波器(其不改变信号)的滤波器范围以分别支持对输入视频帧的边缘增强、纹理平滑及穿通的效果。 

为降低滤波器库中两个相邻滤波器的滤波器频率响应差，可在所述滤波器库中提供相对大量的滤波器组。在一个实例中，所述滤波器库可包括十四个滤波器组，且每一滤波器可具有形成3×3空间滤波器核的九个滤波器系数。所述十四个滤波器组准许从帧到帧的逐渐改变。可如下式表示14个滤波器的VFE滤波器库的实例： 

([111101111]*a+[-1-1-1-18-1-1-1-1]*b)/(8*a)，其中(a，b)取值{(16，3)，(8，2)，(8，3)，(2，1)，(8，5)，(4，3)，(16，13)，(8，7)，(2，2)，(4，5)，(8，11)，(2，3)，(4，7)或(1，2)}。 

限制两个相邻滤波器索引的频率响应差以减少因从帧到帧的滤波器索引改变而引起的图像残余。控制单元23使用QP到滤波器索引映射表基于QP值及图像大小决定滤波器索引。作为例示，用于四分之一视频图形阵列(QVGA)及四分之一通用中间格式(QCIF)大小视频的MPEG-4编码的实例性映射表提供于下文中： 

1.QVGA映射 

  映射4_qp__t_vfe_fiolter_qvga size[32]＝ 

  { 

        13，13，13，12，12， 

        12，12，11，11，11， 

        11，11，10，10，10， 

        9，9，9，8，8， 

        8，8，8，7，6， 

        5，4，3，2，1， 

        0，0 

   }； 

2.QCIF映射 

  映射4_qp_to_vfe_filter_qci_size[32]＝ 

  { 

        13，13，12，11，11， 

        10，10，9，9，9， 

        9，8，8，8，8， 

        7，7，7，7，6， 

        6，6，5，5，4， 

        4，3，3，2，1， 

        0，0 

  }； 

可针对TTU H.264及其它视频编码技术以及针对不同的图像大小(例如VGA)构造及设计不同的映射。 

QP到滤波器索引映射的目的是当在低QP下察觉不到编码伪影时通过高通滤波器增强边缘且当编码伪影在高QP下支配噪声时通过低通滤波减少高空间频率分量。换句话说，可基于QP及编码状况来调节滤波器16以通过高通滤波锐化视频帧以在低QP情况下增大所述QP，且通过低通滤波平滑所述视频帧以在高QP的情况下减小所述QP。由于滤波器系数适于QP的值，因此系统40可能够针对多种视频内容实现更好且更强健的性能。此外，可通过应用自适应滤波器控制来降低帧QP偏离。为避免位速率溢出超过目标速率，可针对高纹理视频将滤波器索引值设定为低通滤波器类型。举例来说，通过滤波器16对亮度进行低通预滤波可减少所需要帧编码位的数量及/或帧QP值。 

通过存取映射表及滤波器库，控制单元23可应用如以下伪码所表示的基于帧的自适应滤波器控制： 

如果(vfe_filter_idx＞mpg4_qp_to_vfe_filter[encoder_qp])// 

      { 

       //如果滤波器索引大于针对当前MPEG-4QP值所规定的索引值，那么提 

  高平滑性程度 

       vfe_filter_idx-- 

      } 

       另外如果(vfc filtcr_idx＜mpg4_qp_to_vfc_filtcr[cncodcr_qp]) 

      { 

      //如果滤波器索引值小于针对当前MPEG-4QP值所规定的索引值，那么 

 提高清晰程度 

      vfe_filter_idx++； 

     } 

上文所说明的滤波器选择方案确保连续帧的滤波器索引值之间的最大差小于或等于一个索引值以减少因滤波器改变而引起的相邻帧残余。可容易地将此滤波器选择方案实施于软件中而不显著增加处理开销。 

对于具有低运动及低纹理及指示连续帧之间的较长间隙的定时的帧来说，控制单元23选择高的高通滤波器索引值以增强所述帧内的边缘。而且，如果存在显著的位速率下溢(即，编码器20需要比可用编码位数量少的位)，那么可选择高通滤波器索引值以提供较清晰的图像。以此方式，编码器20接收更复杂的图像，且将消耗更多的编码位来接近可应用位速率预算且产生更高质量的视频。当帧运动或纹理高且定时指示连续帧之间的较短间隙时，控制单元23可增大QP值，此可导致可察觉伪影的产生。为维持视觉图像质量，控制单元23跨越一系列帧改变滤波器索引值以逐渐将滤波器变为低通滤波器类型。随着滤波器类型变为低通，滤波器16逐渐使视频帧中的图像平滑并导致较低的帧QP值。在通过滤波器16进行自适应预滤波的情况下，可降低帧QP偏离以提供更一致的图像质量。 

对于中等运动及高纹理，其中连续帧之间具有中等定时间隙，那么平均帧QP倾于为高，从而导致低编码位速率下的大编码伪影。在此情况下，控制单元23针对所述视频序列将低通滤波器索引值应用于滤波器16，从而准许较低的QP值，以便可降低块状及编码伪影。此外，自适应滤波器16的应用可降低编码器20中的位速率溢出。随着数据速率提高，控制单元23可针对某些帧为滤波器16选择高通滤波器索引值以提高主观视觉图像质量。大体来说，如当时-当前视频编码状况(例如，图像大小、帧位及运动信息)所决定，滤波器16可跨域若干帧的过程逐渐从高通到穿通到低通而改变。同样，视频编码器20所使用的QP值可依据滤波器索引值及所述编码状况而跨越若干帧改变。 

图6是图解说明图5的视频记录系统50的实例性操作的流程图。如图6中所示，VFE 12经由视频传感器18获得输入视频帧(52)。控制单元23获得包括帧大小、目标位速率及帧速率(fps)的记录设定(54)。控制单元23还获得来自VBE 14的视频编码器20针对先前帧所使用的编码位的数量、用于所述先前编码的帧的QP值、指示所述先前帧与当前帧之间流逝的时间量的定时信息及指示所述先前帧与当前帧之间的运动活动性的运动信息(56)。基于此信息，控制单元23调整编码器20用来将所述下一视频帧编码的QP值(58)。此外，控制单元23将所述QP值映射到滤波器索引值以从滤波器库中选择用作亮度预滤波器16的滤波器(60)。因此，所述QP值与滤波器索引值是相互依赖的，其中所述滤波器索引值依据所述QP值来决定。所述滤波器索引值又影响下一帧的所述QP值。在替代实施例中，控制单元23可首先选择所述滤波器索引值且将所述滤波器索引值映射到QP值。 

如上文所说明，在某些实施例中，控制单元23可通过每一帧不多于一个步骤来调整滤波器索引值以提供逐渐的滤波器调节，且减少相邻帧之间的帧残余。在选择所述滤波器索引值之后，应用滤波器16以在经由视频编码器20编码之前将当前视频帧 预滤波(62)。根据状况，控制单元23可通过根据滤波器索引值从滤波器库选择滤波器而跨越一系列帧来逐渐地调整滤波器16，所述滤波器索引值产生高通、穿通及低通不同等级的滤波器。在应用滤波器16(62)之后，VFE 12获得下一输入视频帧(52)，且视频记录系统50的操作在重复的基础上继续。跨越视频序列的过程，控制单元23基于来自VBE 14的反馈自适应地调整所述QP值及VFE 12中滤波器16的特性以提高或维持经视频编码器20编码的视频帧的主观视觉质量。 

图7是图解说明具有滤波器16的视频记录系统64的方块图，响应于视频编码器性能信息及记录信息对滤波器16加以调整以提高主观视觉质量并降低位速率溢出。在图3的实例中，系统32经配置以应用视频信息的自适应预滤波以降低视频编码器20中的位速率溢出的量。在图5的实例中，系统50经配置以应用视频信息的自适应预滤波以提高或维持经视频编码器20编码的视频帧的主观视频质量。在图7的实例中，视频记录系统64经配置以既降低位速率溢出又提高或维持主观视觉质量，从而利用系统32及系统50两者应用的自适应预滤波技术。 

如图7中所示，控制单元23从记录设定单元34接收记录设定。所述记录设定可包括帧大小、目标编码位速率及以帧/秒(fps)为单位的帧速率。此外，控制单元23从VBE 14接收作为性能反馈的帧变化统计、位速率控制统计、帧位、定时信息、QP信息及运动活动性信息。使用所述记录信息及VBE性能反馈，控制单元23调整滤波器16且调整视频编码器20用于将被编码的下一视频帧的QP值。如在图5的实例中，控制单元23可通过产生系数值或滤波器索引值来调整滤波器16。在前一种情况下，所述系数值将滤波器16重新配置为低通、高通或穿通滤波器。在后一种情况下，使用所述滤波器索引值来从经预配置滤波器库中选择低通、高通或穿通滤波器。在每一种情况下，所述结果是对亮度预滤波器16的特性的调整。 

图3的系统32与图5的系统50的操作之间存在多个差异。在图3的系统32中，每一帧内周期做出一次是否使用滤波器16将引入视频帧的亮度分量进行预滤波的决策。然而，在图5的系统50中，在逐帧的基础上做出调整滤波器16的决策。在系统50中，用以产生穿通滤波器的对滤波器16的调整通常对应于不将所述滤波器应用于当前帧的决策。另一显著差异是用于做出是否对帧进行滤波的决策的统计的性质。系统32及50两者均将记录设定用作控制单元23的输入信息。然而，其它输入是极不相同的。举例来说，为降低位速率溢出，系统32利用来自VBE 14的帧变化(即，视觉屏蔽)及位速率控制统计。另一方面，为提高或维持主观视觉质量，系统50使用来自VBE 14的用于先前帧的位的数量，所述先前帧的QP值、所述先前帧与当前帧之间的定时信息及所述先前帧与当前帧之间的运动信息以产生将被编码的所述下一帧的量化参数(QP)值及滤波器索引值。 

图7的视频记录系统64中的经组合自适应亮度预滤波器整合三种不同特征以实现位速率溢出的降低及主观视觉质量的提高或维持。具体来说，系统65可包括亮度滤波器库或可调整滤波器用于选择不同的滤波器以调整亮度滤波器16的特性。此外，控 制单元23可经配置以在逐帧的基础上或每一帧内周期一次地做出所述滤波器决策。控制单元23进一步利用包括记录设定、帧变化及位速率控制统计及帧位、QP值、定时信息及运动信息的经组合组输入。系统64的操作可由以下伪码表示： 

如果(vfe_filter_idx＞mpg4_qp_to_vfe_filter[encoder_qp]OR encoder overflow) 

{ 

//如果所述滤波器索引值大于针对当前MPEG-4QP值所规定的索引值或视 

频编码器中存在位溢出，那么提高平滑性程度 

vfe_filter_idx--； 

} 

另外如果(vfe_filter idx＜mpg4_qp to vfe__filter[encoder_qp]) 

{ 

"如果滤波器索引值小于针对当前MPEG-4QP值所规定的索引值，那么提高 

清晰程度 

vfe filter_idx++； 

} 

图8是图解说明图7的视频记录系统的实例性操作的流程图。如图8中所示，VFE12经由视频传感器12获得视频帧。如果所述视频帧将被帧内编码，意味着下一帧内周期的开始(68)，那么控制单元23调整滤波器16的特性。特定来说，控制单元23从VBE 14中的视频编码器20获得帧变化统计(70)及位速率控制统计(72)。此外，控制单元23从视频编码器20获得先前编码的帧的帧位、QP信息、定时信息及运动信息(74)，且从记录设定单元34获得记录设定，例如帧大小、位速率及帧速率(fps)(76)。使用信息的此收集，控制单元23调整视频编码器20将用来编码下一帧的QP值(78)并调整滤波器索引值以从滤波器库中选择滤波器(80)以作为滤波器16应用于下一帧内周期上的帧。然后，将滤波器16应用于将被编码的当前帧(82)以提供亮度预滤波。在现有帧内周期期间(68)，所述滤波器索引值可固定。 

控制单元23可基于来自VBE 14的帧位、大小及运动信息来选择QP值。然后，控制单元23将所述QP值及帧变化及位速率控制统计应用于滤波器索引值。如以上伪码所指示，如果当前滤波器索引值小于所述QP到滤波器索引值映射所产生的所规定索引值或所述位速率控制统计指示此是视频编码器20中的位速率溢出，那么控制单元23向着滤波器库的低通滤波器端调整所述滤波器索引值以提高所述视频帧的平滑性。以此方式，可降低所述输入视频帧的复杂性以降低视频编码器20中的位速率溢出。然而，如果所述当前滤波器索引值小于所述QP到滤波器索引值映射所规定的索引值，控制单元23向着所述滤波器库的高通滤波器端调整所述滤波器索引值以在由视频编码器20编码之前提高所述视频帧的清晰程度。 

本文所说明的技术可实施于硬件、软件、固件或其任一组合中。如果实施于软件中，那么所述技术可涉及包含程序码的计算机可读媒体，所述程序码提供当执行于捕 获图像的装置中时执行本文所说明的一种或一种以上技术的机器可执行指令。在所述情况下，所述计算机可读媒体可包含随机存取存储器(RAM)，例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦可编程只读存储器(EEPROM)、快闪存储器及类似存储器。 

所述程序码可以计算机可读指令的形式存储在存储器上。在所述情况下，处理器(例如微处理器或数字信号处理器(DSP))可执行存储在存储器中的指令，以执行本文所说明的一种或多种技术。在某些情况下，所述技术可由调用各种硬件组件的DSP执行。在其它情况下，本发明中所说明的技术可由微处理器、一个或一个以上专用集成电路(ASIC)、一个或一个以上现场可编程门阵列(FPGA)或某些其它硬件-软件组合来实施。 

出于例示的目的已说明各种实施例。虽然已说明亮度预滤波器的使用，但其它实施例可涵盖亮度及/或色度预滤波器的单独使用或彼此的组合使用。这些及其它实施例归属于以下权利要求书的范围内。 

Claims (14)

1.一种自适应滤波方法，其包含：

将滤波器应用于视频帧；

应用使用量化参数QP信息的视频编码器对经滤波的视频帧进行编码；

接收与所述视频编码器相关的性能信息；及

基于所述性能信息调整所述QP信息及所述滤波器，

其中所述方法进一步包含从记录设定单元获得指示视频帧大小、编码位速率及帧速率的视频帧记录信息，其中调整所述QP信息及所述滤波器包括基于所述性能信息及所述记录信息两者来选择性地应用所述滤波器及调整所述QP信息及所述滤波器，

其中所述性能信息包括指示所述帧中空间复杂性内容的量的帧变化信息，及指示所述编码器所应用的超过位速率阈值的编码位数量的位速率控制信息。

2.如权利要求1所述的方法，其进一步包含：

接收不同视频帧；

将经调整的滤波器应用于所述不同视频帧；及

将经调整的QP信息应用于所述视频编码器以对所述不同视频帧进行编码。

3.如权利要求1所述的方法，其进一步包含依据所述QP信息来调整所述滤波器。

4.如权利要求1所述的方法，其中所述滤波器包括亮度滤波器。

5.如权利要求1所述的方法，其中调整所述滤波器包括调整所述滤波器的系数。

6.如权利要求1的方法，其中调整所述滤波器包括选择多个不同滤波器中的一者。

7.如权利要求1所述的方法，其中所述性能信息包括帧位速率信息、帧大小信息、所述QP信息及帧运动信息。

8.一种自适应滤波系统，其包含：

视频传感器，其获得视频帧；

滤波器，其对所述视频帧进行滤波；

视频编码器，其使用量化参数QP信息对经滤波的视频帧进行编码；及

控制单元，其接收与所述视频编码器相关的性能信息且基于所述性能信息调整所述QP信息及所述滤波器，

其中所述系统进一步包含记录设定单元，所述控制单元从所述记录设定单元获得指示视频帧大小、编码位速率及帧速率的视频帧记录信息，且基于所述性能信息及所述记录信息两者来选择性地应用所述滤波器及调整所述QP信息及所述滤波器，

其中所述性能信息包括指示所述帧中空间复杂性内容的量的帧变化信息，及指示所述编码器所应用的超过位速率阈值的编码位数量的位速率控制信息。

9.如权利要求8所述的系统，其中所述视频传感器接收不同视频帧，且所述控制单元将经调整的滤波器应用于所述不同视频帧且将经调整的QP信息应用于所述视频编码器以对所述不同视频帧进行编码。

10.如权利要求8所述的系统，其中所述控制单元依据所述QP信息来调整所述滤波器。

11.如权利要求8所述的系统，其中所述滤波器包括亮度滤波器。

12.如权利要求8所述的系统，其中所述控制单元调整所述滤波器的系数以调整所述滤波器。

13.如权利要求8所述的系统，其中调整所述滤波器包括选择多个不同滤波器中的一者。

14.如权利要求8所述的系统，其中所述性能信息包括帧位速率信息、帧大小信息及帧运动信息。

Images