CN101087364A

CN101087364A - 视频增强系统和方法

Info

Publication number: CN101087364A
Application number: CNA2007101088541A
Authority: CN
Inventors: 斯坦利·福克
Original assignee: Gennum Corp
Current assignee: Gennum Corp
Priority date: 2006-06-06
Filing date: 2007-06-05
Publication date: 2007-12-12
Also published as: US20070279530A1; GB0709997D0; US7907215B2; KR20070116753A; KR100877174B1; TW200816826A; JP2007329927A; GB2438946A; GB2438946B

Abstract

根据这里描述的教益，提供了用于增强视频图像品质的系统和方法。可以使用一个或更多个滤波器对接收到的视频信号进行滤波，以产生垂直已滤波输出、水平已滤波输出和对角已滤波输出。可以使用一个或更多个放大组件分别向垂直、水平和对角已滤波输出应用增益，以产生垂直增强信号、水平增强信号和对角增强信号。可以使用一个或更多个求和组件把垂直、水平和对角增强信号与视频信号进行组合，以产生增强的视频信号。

Description

视频增强系统和方法

技术领域

本专利文献中描述的技术大体上涉及图像处理、视频和图形领域。更具体地，本专利文献描述了视频增强系统和方法。

背景技术

许多视频源的图像品质较低且主观上并不锐化。这是多种因素的结果，例如较差的初始记录、视频压缩低通滤波和/或其它后处理。

发明内容

附图说明

图1是示例视频增强系统的框图。

图2是具有红、绿、蓝通道的示例视频增强系统的框图。

图3是具有增强增益控制元件的示例视频增强系统的框图。

图4是示例增强增益控制元件的框图。

图5是具有过冲(overshoot)控制元件的示例视频增强系统的框图。

图6是具有可选RGB或灰度(Y)处理的示例视频增强系统的框图。

图7是另一个示例视频增强系统的框图。

图8是示例高通滤波器和噪声阈值组件的框图。

图9是示例增强增益控制组件的框图。

具体实施方式

图1是示例视频增强系统10的框图。系统10包括一个或更多个滤波器12、一个或更多个放大组件14以及一个或更多个求和组件16。滤波器12接收视频信号18并对该视频信号进行滤波，以产生垂直已滤波输出(HPF_V)、水平已滤波输出(HPF_H)和对角已滤波输出(HPF_D)。例如，滤波器12可以包括一组定向高通滤波器。放大组件14分别向垂直、水平和对角已滤波输出中的每一个输出应用增益(kV、kH和kD)，以分别产生垂直增强信号、水平增强信号和对角增强信号。可以根据一个或更多个用户输入来确定垂直、水平和对角增益(kV、kH和kD)，并控制应用到已滤波输出(HPF_V、HPF_H和HPF_D)的放大/增强量。然后，一个或更多个求和组件16把垂直、水平和对角增强信号与视频信号18进行组合，以产生增强的视频信号20。

图2是示例视频增强系统30的框图，该系统具有分别接收视频信号中的红(R)38、绿(G)40和蓝(B)42分量的红(R)、绿(G)、蓝(B)通道32、34、36。每一个通道(R、G和B)32、34、36对接收到的分量信号(R、G或B)进行滤波，以产生垂直、水平和对角已滤波输出(HPF_V、HPF_H和HPF_D)，并分别向垂直、水平和对角已滤波输出中的每一个输出应用增益(kV、kH和kD)。如所示，所有的三个通道(R、G和B)可以接收基于一个或更多个用户输入而产生的相同的垂直、水平和对角增益控制信号(kV、kH和kD)。把每一个通道的增强的垂直、水平和对角信号与各个R、G和B分量信号38、40、42进行组合，以产生增强的R通道视频信号(DER)44、增强的G通道视频信号(DEG)46和增强的B通道视频信号(DEB)48。

图3是具有增强增益控制元件52的示例视频增强系统50的框图。增强增益控制元件52根据R、G和B视频分量54以及边缘增强和纹理增强等级输入56、58而产生增益控制信号(kV、kH和kD)。增强增益控制元件52执行对比度计算，以便把视频图像54中的部分(例如像素)分类为边缘部分或纹理部分。例如，具有高对比度的像素可以被分类为边缘像素，而具有低对比度的像素可以被分类为纹理像素。边缘增强等级56和纹理增强等级58这两个输入使用户能够独立地指定应用到视频图像54的边缘部分的增益量和应用到视频图像54的纹理部分的增益量。

为了简便，图3中仅示出了R通道60。然而应当理解的是，增强增益控制元件52所产生的增益控制信号(kV、kH和kD)也可以被输入例如图2中所示的G和B通道。

图4是示例增强增益控制(EGC)元件70的框图。EGC元件70包括RGB至灰度(Y)转换器72、平均绝对测量(MAM)计算元件74、边缘查找表(LUT)76和纹理查找表(LUT)78。此外还包括两个放大组件76和78以及求和组件84。RGB至Y转换器72把RGB视频输入86转换为简化后的灰度信号，该信号被输入MAM计算元件74。MAM计算元件74针对灰度信号中的每一个像素计算对比度测量，而边缘LUT 76和纹理LUT 78用于根据MAM计算而把像素分类为边缘像素或纹理像素。例如，边缘LUT 76可以指定具有大于预定值的MAM计算测量的像素为边缘像素，而纹理LUT 78可以指定具有小于预定值的MAM测量的像素为纹理像素。例如，LUT 76、78所使用的参数可以通过实验来确定并存储在存储设备中，而且可以由用户编程，或者既存储在存储器中又可以进行编程。

边缘增强放大组件80接收三个边缘增强增益设置：垂直设置、水平设置和对角设置。边缘增强增益设置被应用于边缘像素，以产生垂直、水平和对角边缘增强的信号88。类似地，纹理增强放大组件82接收垂直、水平和对角纹理增强增益设置，这些设置被应用于纹理像素，以产生垂直、水平和对角纹理增强的信号90。把边缘和纹理增强的信号88、90与求和组件84进行组合，以产生垂直、水平和对角增益控制信号(kV、kH和kD)。

图5是具有过冲控制元件102的示例视频增强系统100的框图。为了简便，图5中仅示出了R通道。在这个示例中，把增强的视频信号104输入到过冲控制元件102，冲控制元件102基于边缘、纹理和边缘/纹理参数106、108和110来控制允许的过冲或下冲的量。过冲控制用于根据边缘、纹理和/或边缘/纹理参数设置106、108、110对已计算的增强的视频信号中超过阈值的任意部分进行滤波。作为示例，图5包括系统中5个点处的信号路线112-116，用于说明过冲控制元件102如何工作。

图6是具有可选的RGB或Y处理的示例视频增强系统130的框图。为了简便，图6中仅示出了R通道。在这个示例中，通道处理器132接收灰度(Y)信号134和R、G、B分量信号136作为输入。例如，Y信号可以由图4所示的增强增益控制元件来提供。期望存在对进行处理的灰度图像(Y)进行选择的选项，这是因为对RGB的细节增强可能导致特定类型图像上的颜色移位(shift)。

在操作中，使用由用户输入140控制的多路复用器138选择Y信号134或R、G、B分量信号136之一进行处理。利用一个或更多个高通滤波器142对所选择的Y或RGB信号进行滤波，以产生垂直、水平和对角已滤波输出(HPF_V、HPF_H和HPF_D)，并由一个或更多个放大元件144把增益(kV、kH和kD)分别应用到垂直、水平和对角已滤波输出中的每一个输出。一个或更多个求和组件146把增强的垂直、水平和对角信号与R、G、B分量信号136进行组合，以产生增强的通道视频信号(DE_R)148。

图7是另一个示例视频增强系统的框图。该系统包括三个RGB通道处理器210和增强增益控制元件220。为了简便，图7中仅示出了单一的RGB通道处理器210。然而，增强增益控制元件220还可以与两个额外的RGB通道处理器相连。

三个通道处理器210中的每一个接收R、G、B视频分量222之一，所接收的分量被输入到高通滤波器和噪声阈值元件224。高通滤波器和噪声阈值元件224还从增强增益控制元件220接收灰度(Y)图像226，并接收噪声阈值228和RGB或Y选择230输入。RGB或Y选择230输入选择视频分量输入222或灰度(Y)226之一进行处理。所选择的图像(RGB或Y)经过高通滤波和用于抵抗噪声的阈值限制(threshold)，以产生垂直、水平和对角已滤波输出(HPF_V、HPF_H和HPF_D)。下文参考图8对示例高通滤波器和噪声阈值元件224的更为详细的示意图进行描述。

一个或更多个放大组件232根据从增强增益控制元件220接收到的增益控制信号(kV、kH和kD)分别向垂直、水平和对角已滤波输出(HPF_V、HPF_H和HPF_D)中的每一个输出应用增益。增强增益控制元件220根据垂直、水平和对角边缘和纹理增强输入234、236而产生增益控制信号(kV、kH和kD)。下文参考图9对示例增强增益控制元件220的更为详细的示意图进行描述。

垂直、水平和对角增强信号经过比特移位(238)，并由第一求和元件240进行组合。对组合的增强信号进行剪切(clip)(242)以限制其比特宽度，并通过第二求和元件244与R、G、B分量视频信号222进行组合。增强的视频信号(InEnh)输入过冲控制元件246，过冲控制元件246根据边缘、纹理和边缘/纹理参数来控制允许的过冲或下冲量，以产生增强的分量视频信号(DEOut)。

过冲控制元件246接收边缘过冲248和纹理过冲250用户设置，并接收纹理v.边缘参数252，它们用于规定与局部最大值和局部最小值相比所允许的过冲/下冲量。另外，针对R、G、B分量信号222中的每一个像素计算局部最大值和局部最小值。根据这个数据，可以确定最大和最小过冲/下冲，例如使用如下算法。

If(MAM＞＝TextureOrEdgeThres)

{

maxvalue＝min(1023，max(local_window)+EdgeOSLevel)

minvalue＝max(0，min(local_window)-EdgeOSLevel)

}

else

{

maxvalue＝min(1023，max(local_window)+TextureOSLevel)

minvalue＝max(0，min(local_window)-TextureOSLevel)

}

在上面的算法中，“TextureOrEdgeThres”是纹理v.边缘阈值参数252，“EdgeOSLevel”是边缘过冲输入248，“TextureOSLevel”是纹理过冲输入250，max(local_window)是局部最大值且min(local_window)是局部最小值。可以通过对增强的视频信号(InEnh)在使用上面的算法而计算出的“maxvalue”和“minvalue”参数之间进行剪切来产生增强的分量视频信号(DEOut)。

例如，纹理v.边缘阈值参数252可以具有缺省值20，但为了灵活性可以进行编程。过冲控制元件246还可以用于通过把边缘和纹理过冲输入248、250设置为接近0而对LTI/CTI进行仿真。

图8是示例高通滤波器和噪声阈值组件224的框图。组件224包括2：1多路复用器260、4个3×3定向高通滤波器(HPF)262-265和4个噪声滤波器266-269。如上所述，多路复用器262选择灰度(Y)或RGB分量信号进行处理。4个3×3定向HPF从所选择的RGB或Y信号中提取出水平(0°)、垂直(90°)和对角(45°和135°)细节信息。下面提出了针对水平(h₀)、垂直(h₉₀)和对角(h₄₅和h₁₃₅)滤波器的示例滤波器矩阵。

h_{0} = [\begin{matrix} 0 & - 1 & 0 \\ 0 & 2 & 0 \\ 0 & - 1 & 0 \end{matrix}] / 2

h_{90} = [\begin{matrix} 0 & 0 & 0 \\ - 1 & 2 & - 1 \\ 0 & 0 & 0 \end{matrix}] / 2

h_{45} = [\begin{matrix} - 1 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & - 1 \end{matrix}] / 2

h_{135} = [\begin{matrix} 0 & 0 & - 1 \\ 0 & 2 & 0 \\ - 1 & 0 & 0 \end{matrix}] / 2

上面的矩阵中的所有HPF系数是2的幂，所以能够利用简单的比特移位来实现相乘。另外，所有的滤波器被设计用于在一个方向上为高通且在对角方向上为全通。然而应当理解的是，还可以使用其它的滤波器设计。

噪声阈值组件266-269对HPF的输出进行滤波以抵制噪声。噪声抵制阈值操作把具有小于用户定义的噪声阈值270的任意HPF输出设置为零。如果HPF的输出大于噪声阈值270，则保持HPF的大小不变。

在阈值限制后，把定向HPF除以4(例如移动2位)以产生水平、垂直和对角已滤波输出(HPFOutH、HPFOutV和HPFOutD)。另外，把输出剪切为31至-31之间，以减小下游组件的实现尺寸。

图9是示例增强增益控制组件220的框图。增强增益控制组件220产生用于执行HFP输出的放大/增强的增益(kV、kH和kD)。所有的三个R、G、B通道使用相同的k值进行增强，因而针对所有的三个RGB通道仅需把增强增益控制组件220实现一次。增强增益控制组件220所执行的图像增强功能是一种自适应方案，它取决于6个用户增强增益设置(3个边缘增强设置和3个纹理增强设置)和平均绝对测量(MAM)计算。

在操作中，增强增益控制组件220接收三个RGB分量视频信号，并使用RGB至Y转换器280把分量图像转换为灰度(Y)图像。例如，可以按照如下方式来计算Y图像。

Y = \frac{5 G + B + 2 R}{8}

把灰度图像(Y)进行移位并输入平均绝对测量(MAM)组件282，平均绝对测量(MAM)组件282执行如下计算。

MAM = \underset{i, j &Element; [1,3]}{Σ} | Y (i, j) - \overset{&OverBar;}{Y} |

在上面的等式中，

是当前Y输入窗口的加权平均。使用与纯平均相反的加权平均来减小实施复杂性。可以使用权重掩码来计算加权平均

W = [\begin{matrix} 1 & 2 & 1 \\ 2 & 4 & 2 \\ 1 & 2 & 1 \end{matrix}] / 16

对所计算的MAM值进行移位和剪切以限制比特宽度，并且被输入边缘查找表(LUT)284和纹理查找表(LUT)286，这两个查找表对边缘像素和纹理像素进行区分。例如，可以通过主CPU对边缘LUT 284和纹理LUT 286进行编程，而且这两个LUT可以包括经过实验而获得的数值，从而实现了可接受的细节增强等级。边缘LUT 284和纹理LUT 286的示例缺省值如下。

相乘组件288、290把LUT 284和286的输出分别与边缘和纹理增强增益设置相乘。对相乘组件288、290的输出进行移位，并由一个或更多个求和组件292进行组合以产生增强增益值(kV、kH、kD)。

所写描述使用示例而公开了本发明，包括最佳方式，而且还使本领域的技术人员能够制造并使用本发明。本发明的专利范围可以包括本领域的技术人员所想到的其它示例。

Claims

1.一种视频增强系统，包括：

一个或更多个滤波器，接收视频信号并对该视频信号进行滤波，以产生垂直已滤波输出、水平已滤波输出和对角已滤波输出；

一个或更多个放大组件，向所述垂直、水平和对角已滤波输出中的每一个输出分别应用增益，以产生垂直增强信号、水平增强信号和对角增强信号；以及

一个或更多个求和组件，把所述垂直、水平和对角增强信号与所述视频信号进行组合，以产生增强的视频信号。

2.根据权利要求1所述的系统，还包括：

第一求和组件，把所述垂直、水平和对角增强信号进行组合，以产生组合的增强信号；以及

第二求和组件，把所述组合的增强信号与所述视频信号进行组合，以产生增强的视频信号。

3.根据权利要求1所述的系统，其中，所述一个或更多个滤波器是高通滤波器。

4.根据权利要求1所述的系统，其中，所述一个或更多个放大组件向所述垂直已滤波输出应用垂直增益，向所述水平已滤波输出应用水平增益，并向所述对角已滤波输出应用对角增益。

5.根据权利要求4所述的系统，其中，根据一个或更多个增强等级输入来产生所述垂直、水平和对角增益。

6.根据权利要求1所述的系统，还包括：

增强增益控制元件，根据一个或更多个边缘增强等级输入和一个或更多个纹理增强等级输入来产生所述垂直、水平和对角增益。

7.根据权利要求6所述的系统，其中，所述增强增益控制元件接收视频图像输入，并对该视频图像输入中的边缘部分和纹理部分进行区分，所述增强增益控制元件根据一个或更多个边缘增强等级输入和一个或更多个纹理增强等级输入来分别向所述边缘部分和所述纹理部分应用增益。

8.根据权利要求7所述的系统，其中，所述增强增益控制元件使用对比度测量来区分边缘部分和纹理部分。

9.根据权利要求8所述的系统，其中，所述增强增益控制元件把接收到的视频图像输入转换为灰度信号，并对所述灰度信号执行对比度测量，以区分边缘部分和纹理部分。

10.根据权利要求8所述的系统，其中，所述对比度测量是平均绝对测量。

11.根据权利要求8所述的系统，其中，所述增强增益控制元件把所述对比度测量与一个或更多个查找表中的数值进行比较，以区分边缘部分和纹理部分。

12.根据权利要求2所述的系统，其中，所述视频信号是视频图像的R(红色)分量，所述系统还包括：

一个或更多个G(绿色)通道滤波器，接收所述视频图像的G分量并对该G分量进行滤波，以产生G通道垂直已滤波输出、G通道水平已滤波输出和G通道对角已滤波输出；

一个或多个G通道放大组件，分别向G通道垂直、G通道水平和G通道对角已滤波输出应用增益，以产生G通道垂直增强信号、G通道水平增强信号和G通道对角增强信号；

第一G通道求和组件，把G通道垂直、水平和对角增强信号进行组合，以产生组合的G通道增强信号；

第二G通道求和组件，把G通道组合的增强信号与G分量进行组合，以产生增强的G通道视频信号；

一个或更多个B(蓝色)通道滤波器，接收所述视频图像的B分量并对该B分量进行滤波，以产生B通道垂直已滤波输出、B通道水平已滤波输出和B通道对角已滤波输出；

一个或多个B通道放大组件，分别向B通道垂直、B通道水平和B通道对角已滤波输出应用增益，以产生B通道垂直增强信号、B通道水平增强信号和B通道对角增强信号；

第一B通道求和组件，把B通道垂直、水平和对角增强信号进行组合，以产生组合的B通道增强信号；

第二B通道求和组件，把B通道组合的增强信号与B分量进行组合，以产生增强的B通道视频信号。

13.根据权利要求12所述的系统，其中，一个或更多个放大组件、一个或更多个G通道放大组件和一个或更多个B通道放大组件应用相同的增益。

14.根据权利要求1所述的系统，还包括过冲控制元件，根据一个或更多个过冲或下冲阈值对增强的视频信号进行滤波。

15.根据权利要求14所述的系统，其中，一个或更多个过冲或下冲阈值包括边缘过冲阈值和纹理过冲阈值。

16.根据权利要求1所述的系统，其中，根据用户输入从灰度信号或RGB分量视频信号中选择视频信号。

17.一种用于增强视频信号的方法，包括：

对所述视频信号进行滤波，以产生垂直已滤波信号、水平已滤波信号和对角已滤波信号；

向所述垂直、水平和对角已滤波信号中的每一个信号分别应用增益；以及

对所述垂直已滤波信号、水平已滤波信号和对角已滤波信号与所述视频信号进行求和，以产生增强的视频信号。

18.根据权利要求17所述的方法，还包括：

接收一个或更多个增强等级输入；以及

根据所述增强等级输入产生各个增益。

19.根据权利要求18所述的方法，其中，所述一个或更多个增强等级输入包括一个或更多个边缘增强等级输入和一个或更多个纹理增强等级输入。

20.根据权利要求19所述的方法，还包括：

对所述视频信号中的边缘部分和纹理部分进行区分；

根据所述一个或更多个边缘增强等级输入对所述边缘部分进行放大；以及

根据所述一个或更多个纹理增强等级输入对所述纹理部分进行放大。

21.根据权利要求20所述的方法，还包括：

把所述视频信号转换为灰度信号；

其中，对所述灰度信号中的边缘部分与纹理部分进行区分。

22.根据权利要求20所述的方法，其中，使用对比度测量来区分边缘部分和纹理部分。

23.根据权利要求17所述的方法，还包括：

根据一个或更多个过冲或下冲阈值对增强的视频信号进行滤波。

24.根据权利要求17所述的方法，还包括：

接收分量视频信号和灰度信号；以及

选择所述分量视频信号或所述灰度信号作为视频信号。

25.一种视频增强系统，包括：

用于对视频信号进行滤波，以产生垂直已滤波信号、水平已滤波信号和对角已滤波信号滤波装置，；

用于分别向所述垂直已滤波信号、水平已滤波信号和对角已滤波信号中的每一个信号应用增益的装置；

把所述垂直已滤波信号、水平已滤波信号和对角已滤波信号与所述视频信号求和，以产生增强的视频信号的装置。

26.根据权利要求25所述的系统，还包括：

用于接收一个或更多个增强等级输入的装置；以及

用于根据所述增强等级输入而产生各个增益的装置。

27.根据权利要求26所述的系统，其中，所述一个或更多个增强等级输入包括一个或更多个边缘增强等级输入和一个或更多个纹理增强等级输入。

28.根据权利要求27所述的系统，还包括：

用于对视频信号中的边缘部分和纹理部分进行区分的装置；

用于根据一个或更多个边缘增强等级输入对边缘部分进行放大的装置；以及

用于根据一个或更多个纹理增强等级输入对纹理部分进行放大的装置。

29.根据权利要求25所述的系统，还包括：

用于根据一个或更多个过冲或下冲阈值对增强的视频信号进行滤波的装置。