CN101340510B - 一种视频增强的方法及其装置 - Google Patents

Abstract

一种视频增强的方法及其装置，该方法包括：设置一非线性拉伸曲线映射表；对每一帧图像，根据其亮度数据计算得到该帧图像的直方图均衡映射表，然后至少对该帧图像像素点的亮度值集合中的每一亮度值，将该亮度值在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，并用一亮度映射表记录各亮度值与加权平均后的映射值之间的对应关系；然后根据亮度映射表，将该帧图像像素点的亮度值更新为该亮度值对应的加权平均后的映射值。该装置包括亮度增强模块，该模块进一步包括非线性曲线拉伸表存储单元、直方图均衡映射表计算单元、亮度映射表计算单元和图像亮度增强映射单元。本发明可以改善低照度和正常照度条件下视频图像的视觉效果。

Description

一种视频增强的方法及其装置

技术领域

本发明属于多媒体信息传输和处理领域，具体涉及一种视频增强的方法及其装置。

背景技术

视频增强是视频前后处理的一种基本手段，在一般情况下，由于手机终端成本和能耗的限制，在影院或电视中能正常播放的视频，在一些便携式设备如手机播放时会有两个缺点：

1)在黑夜或昏暗场景下的视频，在手机上显示会更暗，以至于在室内外正常或过亮环境下看不清画面；

2)正常光照条件下的视频在影院或电视中细节等能显示的很好，但在手机上显示时，由于屏幕分辨率和颜色分辨率的限制，场景会有些模糊，丢失了部分细节，特别是经过压缩解压后的视频，这种现象会更严重；

在第一种情况下，要么是增加显示屏的亮度，要么通过图像处理的方法进行增强，前者会快速增大手机的能耗，以至于有时候一部视频都不能播放完，所以在本发明中采用图像处理的方法，能使得暗场景视频既能显示清楚，又不至于使手机功耗过大。在第二种情况下，本发明采用一种基于改进的部分直方图方法增强图像的细节和饱和度，处理解压后缓冲区的数据，能够增强视频图像的细节，改善视频图像在手机上的显示效果。

发明内容

本发明所要解决的技术问题是提供一种视频增强的方法及其装置，以改善低照度和正常照度条件下视频图像的视觉效果。

为了解决上述技术问题，本发明提供了一种视频增强的方法，包括：

设置一非线性拉伸曲线映射表；

进行视频增强时，对待处理的每一帧图像，根据其亮度数据计算得到该帧图像的直方图均衡映射表，然后至少对该帧图像像素点的亮度值集合中的每一亮度值，将该亮度值在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，并用一亮度映射表记录各亮度值与加权平均后的映射值之间的对应关系；然后根据所述亮度映射表，将该帧图像像素点的亮度值更新为该亮度值对应的加权平均后的映射值，完成亮度增强。

进一步地，上述方法还可具有以下特点：

按下式将亮度值k在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，0≤k≤255：

MapTablAvg[k]＝(Im gClass×MapTabEq[k]+(M-Im gClass)×MapTabGm[k])/M式中：

M为设定的图像的亮暗程度等级的数目；

MapTablAvg[k]为亮度值k在所述亮度映射表中对应的映射值，根据上式计算出来的MapTablAvg[k]构成了所述亮度映射表；

Im gClass为对该帧图像进行亮度检测后得到的图像的亮暗程度等级；

MapTabEq[k]为亮度值k在所述直方图均衡映射表中对应的映射值；

MapTabGm[k]为亮度值k在所述非线性拉伸曲线映射表中对应的映射值。

进一步地，上述方法还可具有以下特点，所述直方图均衡映射表是通过以下步骤得到的：

步骤一，对待处理的一帧图像，先计算该帧图像的亮度直方图，得到每一个亮度值k的直方图数值即具有该亮度值的像素点数，k＝0，1，2，...255；

步骤二，计算分割得到的每一个直方图区间的中间点β_n，然后根据下式计算直方图区间的动态分割点c_n：

其中：a_n，b_n分别为一个直方图区间的首端点和末端点；α为预先设定的直方图均衡程度的控制参数，0≤α≤1；

表示向下取整，

表示向上取整，0＜C_n＜255；

步骤三，重复执行步骤二，通过8次迭代地调用，将整个直方图分成256个区间，并按各区间包含的首个亮度值从小到大的顺序从0开始依次对各区间编号直到255，然后将每个区间包含的所有亮度值均对应到等于该区间编号的映射值，将区间[0，255]上的每一亮度值替换为对应的映射值后，即得到所述直方图均衡映射表。

进一步地，上述方法还可具有以下特点，所述直方图均衡程度的控制参数α的取值范围是0.4～0.6。

进一步地，上述方法还可具有以下特点：

所述步骤三中将整个直方图分成的256个区间存在相同区间时，对相同区间中的每一个区间分别编号且相同区间的编号连续；相同区间中的亮度值对应多个编号，在映射时按约定将其中的亮度值映射到其中的一个编号。

进一步地，上述方法还可具有以下特点，还通过以下处理对该帧图像进行饱和度增强：

设定图像的亮暗程度等级并为每一个亮暗程度等级对应设置一个饱和度系数；对该帧图像进行饱和度增强时，先检测出该帧图像的亮暗程度等级，然后使用对应的饱和度系数对该帧图像中像素点的色度值进行调整。

进一步地，上述方法还可具有以下特点，所述图像的亮暗程度等级根据以下方式确定：

将图像的亮暗程度分成M个等级，将亮度值的整个取值范围划分为与该M个等级一一对应的M个区间，亮度值最低的区间对应的亮暗程度等级为0，亮度值次低的区间对应的亮暗程度等级为1，以此类推，且将等于和大于设定的正常亮度值门限的所有亮度值归入一个区间，该归入的区间对应的亮暗程度等级为M-1；

对该帧图像进行检测后得到该帧图像的亮度值，该亮度值所属区间对应的亮暗程度等级即为该帧图像的亮暗程度等级Im gClass。

进一步地，上述方法还可具有以下特点：

设定的图像的亮暗程度等级为0，1，...M-1，每一个亮暗程度等级对应的饱和度系数记录在数组Su中，m＝0，1，...M-1，且亮暗程度等级为M-1时，其饱和度系数为1；

对于YUV格式的图像，按以下公式进行饱和度增强：

Uout(x，y)＝Su[m]×(Uin(x，y)-128)+128

Vout(x，y)＝Su[m]×(Vin(x，y)-128)+128

其中，Uin(x，y)和Vin(x，y)是进行饱和度增强之前像素点U分量和V分量的值，Uout(x，y)和Vout(x，y)是进行饱和度增强之后像素点U分量和V分量的值，Su[m]为数组Su中与亮暗程度等级对应的饱和度系数。

本发明提供的视频增强装置包括一亮度增强模块，该亮度增强模块进一步包括非线性曲线拉伸表存储单元、直方图均衡映射表计算单元、亮度映射表计算单元和图像亮度增强映射单元，其中：

非线性曲线拉伸表存储单元，用于保存要使用的非线性拉伸曲线映射表；

直方图均衡映射表计算单元，用于根据输入的源图像亮度数据计算得到相应的直方图均衡映射表；

亮度映射表计算单元，用于至少对该输入的源帧图像像素点的亮度值集合中的每一亮度值，将该亮度值在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，并用一亮度映射表记录各亮度值与加权平均后的映射值之间的对应关系；

图像亮度增强映射单元，用于根据所述亮度映射表，将输入的源图像中像素点的亮度值更新为该亮度值对应的加权平均后的映射值。

进一步地，上述视频增强装置还可具有以下特点，还包括一图像亮度检测模块，该图像亮度检测模块进一步包括：

配置信息保存单元，用于保存亮暗等级的配置信息，包括亮暗程度等级及每一等级对应的亮度值区间，其中，将图像的亮暗程度分成M个等级，亮度值的整个取值范围划分为与该M个等级一一对应的M个区间，亮度值最低的区间对应的亮暗程度等级为0，亮度值次低的区间对应的亮暗程度等级为1，以此类推，且将等于和大于设定的正常亮度值门限的所有亮度值归入一个区间，该归入的区间对应的亮暗程度等级为M-1；

亮暗等级计算单元，用于根据接收到的源图像的亮度数据计算出源图像的亮度值，根据所述配置信息判断出该亮度值所属区间对应的亮暗程度等级，将该亮暗程度等级作为源图像的亮暗程度等级输出到所述亮度增强模块中的亮度映射表计算单元。

进一步地，上述视频增强装置还可具有以下特点：

所述亮度映射表计算单元按下式将亮度值k在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，0≤k≤255：

MapTablAvg[k]＝(Im gClass×MapTabEq[k]+(M-Im gClass)×MapTabGm[k])/M式中：

M为设定的图像的亮暗程度等级的数目；

MapTablAvg[k]为亮度值k在所述亮度映射表中对应的映射值，根据上式计算出来的MapTablAvg[k]构成了所述亮度映射表；

Im gClass为对该帧图像进行亮度检测后得到的图像的亮暗程度等级；

MapTabEq[k]为亮度值k在所述直方图均衡映射表中对应的映射值；

MapTabGm[k]为亮度值k在所述非线性拉伸曲线映射表中对应的映射值。

进一步地，上述视频增强装置还可具有以下特点：

所述直方图均衡映射表计算单元进一步包括亮度直方图计算单元、中间点计算单元、动态分割点计算单元、控制单元和映射表生成单元，其中：

亮度直方图计算单元，用于计算出源图像的亮度直方图，得到每一个亮度值k的直方图数值即具有该亮度值的像素点数，输出到中间点计算单元，k＝0，1，2，...255；

中间点计算单元，用于根据每一个亮度值k的直方图数值，计算分割得到的每一个直方图区间的中间点β_n，输出到动态分割点计算单元；

动态分割点计算单元，用于根据下式计算直方图区间的动态分割点c_n：

或

其中：a_n，b_n分别为一个直方图区间的首端点和末端点；α为预先设定的直方图均衡程度的控制参数，0≤α≤1；

表示向下取整，

表示向上取整，0＜C_n＜255；

控制单元，用于控制所述中间点计算单元和动态分割点计算单元进行运算，通过8次迭代地调用，将整个直方图分成256个区间，并将生成的256个区间及其包含的亮度值输出到映射表生成单元；

映射表生成单元，用于按各区间包含的首个亮度值从小到大的顺序从0开始依次对各区间编号直到255，将每个区间包含的所有亮度值均对应到等于该区间编号的映射值，将区间[0，255]上的每一亮度值替换为对应的映射值后，即得到所述直方图均衡映射表。

进一步地，上述视频增强装置还可具有以下特点，还包括一饱和度增强模块，该饱和度增强模块进一步包括：

配置信息保存单元，用于保存设定的图像的亮暗程度等级，以及为每一个亮暗程度等级对应设置的饱和度系数；

饱和度增强计算单元，用于对源图像进行饱和度增强时，根据接收到的源图像的亮暗程度等级，使用对应的饱和度系数对源图像中像素点的色度值进行调整；

所述图像亮度检测模块中的亮暗等级计算单元还将源图像的亮暗程度等级输出到所述饱和度增强模块中的饱和度增强计算单元。

采用本发明的方法，通过对不同光照条件图像进行检测、并根据检测结果对低照度图像和正常照度下的视频或图像进行增强，在适当扩展像素取值的动态范围的同时尽量避免灰度级被过多地合并，解决传统直方图均衡化方法带来的图像失真问题，明显地改善了图像的视觉效果，得到较高品质的输出图像。使得处理后的视频图像在低照度下比源图像更清晰，在正常照度下比源图像细节突出，效果更好，符合人眼的视觉。

该方法计算量小，可以满足实时性的需求，具有较强的实用价值。本发明的方法不但可以用于ATM、无线环境，而且也可用于Internet视频通信中视频解码图像的处理。尤其适用于手机电视的视频增强。

附图说明

图1是本发明实施例视频增强装置在系统中的位置的示意图；

图2是图1中视频增强装置的模块图；

图3是图2中亮度增强模块的单元结构图；

图4是图2中色度增强模块的单元结构图；

图5是图3中直方图均衡映射表计算单元的算法流程图；

图6是本发明实施例所用的拉伸曲线的示意图。

具体实施方式

以下以手机电视的视频增强为例，结合附图对本发明的具体实施方式进行说明。不过本发明的视频增强方法并不局限于手机电视的视频增强，同样可以应用地其他需要进行视频增强的场合。

图1示出了整个视频增强装置在系统中的位置，该视频增强单元104对输入数据缓冲102输出的源图像数据进行视频增强处理，然后将处理后的目标图像数据输出到输出数据缓冲106。本实施例的源图像YUV格式的图像，不过本发明也可以对RGB格式的图像进行处理。

图2示出了图1中视频增强装置104的模块图，包括图像亮度检测模块202、亮度增强模块204和饱和度增强模块206。源图像数据的亮度数据(如Y分量的值)输入到图像亮度检测模块202和亮度增强模块204，源图像色度数据(如U、V分量的值)输入到色度增强模块206。图像亮度检测模块202将检测出的图像的亮暗程度等级输出到亮度增强模块204和饱和度增强模块206，亮度增强模块204根据该亮暗程度等级对图像中像素点的亮度值进行增强并输出增强后的亮度值，色度增强模块206根据该亮暗程度等级对图像中像素点的色度值进行增强并输出增强后的色度值。

图像亮度检测模块进一步包括：

配置信息保存单元，用于保存亮暗等级的配置信息，包括亮暗程度等级及每一等级对应的亮度值区间，本实施例是将图像的亮暗程度分成M个等级，亮度值的整个取值范围划分为与该M个等级一一对应的M个区间，亮度值最低的区间对应的亮暗程度等级为0，亮度值次低的区间对应的亮暗程度等级为1，以此类推，且将等于和大于设定的正常亮度值门限的所有亮度值归入一个区间，该归入的区间对应的亮暗程度等级为M-1；

亮暗等级计算单元，用于根据接收到的源图像的亮度数据计算出源图像的亮度值，根据所述配置信息判断出该亮度值所属区间对应的亮暗程度等级，将该亮暗程度等级作为源图像的亮暗程度等级输出到亮度增强模块中的亮度映射表计算单元，以及饱和度增强模块中的饱和度增强计算单元。

饱和度增强模块进一步包括：

配置信息保存单元，用于保存设定的图像的亮暗程度等级，以及为每一个亮暗程度等级对应设置的饱和度系数；

饱和度增强计算单元，用于对源图像进行饱和度增强时，根据接收到的源图像的亮暗程度等级，使用对应的饱和度系数对源图像中像素点的色度值进行调整。

图3是图2中亮度增强模块204的单元结构图，包括非线性曲线拉伸表存储单元302、直方图均衡映射表计算单元304、亮度映射表计算单元306和图像亮度增强映射单元308，其中：

非线性曲线拉伸表存储单元，用于保存要使用的非线性拉伸曲线映射表。

直方图均衡映射表计算单元，用于根据输入的源图像亮度数据计算得到相应的直方图均衡映射表，具体方法将在下文中描述。

亮度映射表计算单元，用于至少对该帧图像像素点的亮度值集合中的每一亮度值，将该亮度值在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，并用一亮度映射表记录各亮度值与加权平均后的映射值之间的对应关系。具体的计算公式参见下文。

图像亮度增强映射单元，用于根据所述亮度映射表，将输入的源图像中像素点的亮度值更新为该亮度值对应的加权平均后的映射值。

图4是图2中饱和度增强模块206的单元结构图，包括色度映射表存储单元402和色度映射计算单元404，其中：

色度映射表存储单元，用于保存图像的亮暗程度等级、源图像像素点的色度值与进行饱和度增强后的目标图像像素点的色度值的对应关系。

色度映射计算单元，用于根据输入的源图像色度数据即像素点的色度值以及检测到的图像的亮暗程度等级，查找色度映射表，得到饱和度增强后的目标图像像素点的色度值。

所述直方图均衡映射表计算单元进一步包括亮度直方图计算单元、中间点计算单元、动态分割点计算单元、控制单元和映射表生成单元(图略)，其中：

亮度直方图计算单元，用于计算出源图像的亮度直方图，得到每一个亮度值k的直方图数值即具有该亮度值的像素点数，输出到中间点计算单元，k＝0，1，2，...255；

中间点计算单元，用于根据每一个亮度值k的直方图数值，计算分割得到的每一个直方图区间的中间点β_n，输出到动态分割点计算单元；

动态分割点计算单元，用于根据下式计算直方图区间的动态分割点c_n：

其中：a_n，b_n分别为一个直方图区间的首端点和末端点；α为预先设定的直方图均衡程度的控制参数，0≤α≤1；

表示向下取整，

表示向上取整，0＜C_n＜255；

控制单元，用于控制所述中间点计算单元和动态分割点计算单元进行运算，通过8次迭代地调用，将整个直方图分成256个区间，并将生成的256个区间及其包含的亮度值输出到映射表生成单元；

映射表生成单元，用于按各区间包含的首个亮度值从小到大的顺序从0开始依次对各区间编号直到255，将每个区间包含的所有亮度值均对应到等于该区间编号的映射值，将区间[0，255]上的每一亮度值替换为对应的映射值后，即得到所述直方图均衡映射表。

图5中给出直方图均衡映射表计算单元的处理流程，包括以下步骤：

步骤10，计算图像亮度直方图；

步骤20，初始化直方图区间的首末端点a₀＝0，b₀＝255；

步骤30，计算当前分割得到的每一个直方图区间的中间点；

步骤40，计算每一个直方图区间的动态分割点；

步骤50，判断是否已进行8次分割，如是，执行步骤70，否则，执行步骤60；

步骤60，重设分割后区间的首端点和末端点；

步骤70，按分割后得到的256个直方图区间设置直方图均衡映射表。

上述中间点、动态分割点的计算，以及根据直方图区间设置直方图均衡映射表的具体方法在下文中有详细的公开，这里不再赘述。

基于以上装置，本实施例方法包括以下步骤：

第一步，首先确定要使用的非线性拉伸曲线映射表；

该非线性拉伸曲线(或者是分段线性)的特征是在低照度下每点的斜率要大于1。如图6中的曲线就是该类曲线的一个示例。gamma系数小于1的伽马曲线也是类似的曲线。利用非线性拉伸曲线映射表MapTabGm可以用来提高低照度图像的亮度。根据该映射表可以把一个[0，255]区间的每个离散亮度值映射到另一个[0，255]区间的亮度值，最终生成一个256点的一维映射表。该非线性拉伸曲线映射表可以采用已有的映射表，也可以通过对足够数量的图像进行处理后根据实际的效果来选择。

第二步，对待处理的一帧图像，先计算该帧图像的亮度直方图，得到每一个亮度值k的直方图数值即具有该亮度值的像素点数，k＝0，1，2，...255；

第三步，计算分割得到的每一个直方图区间的中间点；

直方图区间的中间点即使得下式成立的β_n，0＜β_n＜255：

$\underset{k=a_n}{\overset{k={\mathrm{\β}}_n}{\mathrm{\Σ}}}h\left[k\right]=\underset{k={\mathrm{\β}}_n}{\overset{k=b_n}{\mathrm{\Σ}}}h\left[k\right]$ 成立

其中：h[k]为亮度值k的直方图数值即具有该亮度值的像素点数；a_n，b_n分别为一个直方图区间的首端点和末端点，n表示第n次迭代计算，在第一次迭代计算时，直方图区间的首端点和末端点分别为0和255。

由于在该区间的直方图中像素的个数为离散的，在编写函数时，先计算该区间总的像素点数，然后再从首端点累加像素点数，如果累加的像素点数大于或等于总像素点数的一半，即为找到的直方图中点β_n。

第四步，根据下式计算直方图区间的动态分割点c_n：

其中：a_n，b_n分别为一个直方图区间的首端点和末端点；β_n为第二步计算出的直方图区间中间点；α为预先设定的直方图均衡程度的控制参数，α取值为0～1，较佳为0.40～0.6，α值可以根据经验值来选择，并可根据帧图像不同的亮度值来设定不同的α取值；

表示向下取整()，且0＜C_n＜255。公式中的向下取整也可以改为用向上取整。

动态分割点c_n将首、末端为a_n，b_n的直方图区间分为两个区间，分割时c_n可以归属于该两个区间其中的一个。由于这里的区间包含的是离散的亮度值，划分后的区间首末端点可能是相同即只包含一个亮度值，对该区间再次划分时，得到的是相同的包含该亮度值的两个区间。

第五步，重复第三步和第四步，通过8次迭代地调用，可以将整个直方图分成256个区间；

划分成的256个区间有些可能包括多个亮度值，也可能存在首末端点相同的区间。

第六步，把划分出来的256个区间，按其包含的首个亮度值从小到大的顺序从0开始依次编号到255，然后将每个区间包含的所有亮度值均对应到等于该区间编号的映射值，将区间[0，255]上的每一亮度值替换为对应的映射值后，即得到直方图均衡映射表MapTabEq。

因为编号是256个，因此对相同区间中的每一个区间要分别编号且相同区间的编号是连续的。在映射时，相同区间中的亮度值对应有多个编号，可以按约定映射到其中的一个编号，具体是哪个编号不作限定。如可以相同区间中第一个区间或最后一个区间的编号，或对第一个区间和最后一个区间编号取均值后再取整得到的编号等等。直方图均衡映射表MapTabEq也是一个一维的在区间[0，255]的映射表。

可以看出，当α取值为1时，第四步中的公式就是普通的对直方图均衡化时求取动态分割点的方法。相应地得到的直方图均衡映射表也与已知方法得到的相同。而本实施例加入了控制参数参数α，得到的直方图均衡映射表可以在适当扩展像素取值的动态范围的同时，可以尽量避免灰度级被过多地合并。

第七步，对该帧图像的亮暗程度进行检测，确定检测到的亮度值属于预先设置的哪一个亮暗程度等级；

可以将图像的亮暗程度分成M个等级，将亮度值的整个取值范围划分为与该M个等级一一对应的M个区间。亮度值最低的区间即图像最暗时，对应的亮暗程度等级为0，亮度值次低的区间，对应的亮暗程度等级为1，以此类推，图像亮度值正常或以上的区间，对应的亮暗程度等级为M-1。可以设置一个正常亮度门限(可以在110～135之间取值)，将大于等于该正常亮度门限的亮度值都归入亮暗程度等级为M-1时对应的亮度值区间。

对该帧图像进行检测后得到该帧图像的亮度值，该亮度值所属区间对应的亮暗程度等级即为该帧图像的亮暗程度等级。

第八步，根据确定的亮暗程度等级以及生成的非线性拉伸曲线映射表MapTabGm和直方图均衡映射表MapTabEq，根据下式生成一个综合的亮度映射表MapTablAvg，该映射表仍是一维的，区间为[0，255]：

MapTablAvg[k]＝(Im gClass×MapTabEq[k]+(M-Im gClass)×MapTabGm[k])/M式中：

MapTablAvg[k]为亮度值k在亮度映射表MapTablAvg中对应的映射值，根据上式计算出来的MapTablAvg[k]组成了MapTablAvg。

Im gClass为检测出来的该帧图像的亮暗程度等级。

MapTabEq[k]为亮度值k在直方图均衡映射表MapTabEq中对应的映射值。

MapTabGm[k]为亮度值k在非线性拉伸曲线映射表MapTabGm中对应的映射值。

上述亮度值k可以是[0，255]中的每一个亮度值，也可以先检测一下图像中像素点的亮度值集合，只对该亮度值集合中的亮度值进行上述计算。这样可以减少运算量。

这里实际上是对直方图均衡映射和非线性拉伸曲线映射这两种方式进行了一下加权平均，其中的权值根据图像的亮暗程度来自适应地调整，当然采用的权值并不局限于上式的算法，也可以直接定义与亮暗程度等级对应的一组权值来进行计算。因为非线性拉伸曲线映射可以提高低照度图像的亮度。但不能增强图像的细节，因此本实施例综合采用这两种方式并根据检测到的图像的亮暗程度采用不同的权值，可以达到优化的亮度增强的效果。即使采用的是用已知方法得到的直方图均衡映射表，也是优于现有的图像增强处理的效果的。

第九步，根据生成的亮度映射表对该帧图像像素点的亮度值进行映射，以实现亮度增强的效果；

第十步，根据预先设置的饱和度系数对该帧图像进行饱和度增强。

在亮度调整以后，特别是低照度下，通过亮度增强后，整个图像会变得发白，图像的饱和度下降，这就有必要进行饱和度的增强。在YUV色彩空间中，Y表示亮度分量，用上述第一步到第九步的方法进行增强，(U-128)/(V-128)表示色调，

表示饱和度，调节饱和度的原则就是要保持(U-128)/(V-128)不变，增大图像的饱和度，

应当说明的是，亮度增强和饱和度增强可以同时进行。

在饱和度增强时，可以先定义一个饱和度系数数组Su，Su[m]为该数据中的元素即每一亮暗程度等级对应的饱和度系数，如Su＝{1.5，1.48，1.46，1.44，1.42，1.40，1.38，1.36，1.34，1.32，1.30，1}；其中m为设定的图像的亮暗程度等级，m＝0，1，...M-1，M为设定的图像的亮暗程度等级的数目。数组中的系数为不同亮暗程度等级下的饱和度系数，该值可以根据试验进行选择和调节，上面给出的一组系数仅为一种示例。亮暗程度等级为M-1时，即正常光照或以上的情况下，不进行饱和度增强，所以其系数为1。

饱和度增强可以利用事先计算出来表格用查表的方法来求解，能加快计算速度；也可以在增强的时候再进行计算，计算的公式为：

Uout(x，y)＝Su[m]×(Uin(x，y)-128)+128

Vout(x，y)＝Su[m]×(Vin(x，y)-128)+128

Uin(x，y)和Vin(x，y)是进行饱和度增强之前像素点U分量和V分量的值，Uout(x，y)和Vout(x，y)是进行饱和度增强之后像素点U分量和V分量的值。

应当说明的是，本发明图像的上述亮度和色度值也可以使用RGB空间的亮度值和色度值，至于RGB空间中图像和像素点的亮度值和色度值如何确定，在现有技术中多有论述，这里不再进行说明。

Claims (13)

1.一种视频增强的方法，包括：

设置一非线性拉伸曲线映射表；

进行视频增强时，对待处理的每一帧图像，根据其亮度数据计算得到该帧图像的直方图均衡映射表，然后至少对该帧图像像素点的亮度值集合中的每一亮度值，将该亮度值在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，并用一亮度映射表记录各亮度值与加权平均后的映射值之间的对应关系；然后根据所述亮度映射表，将该帧图像像素点的亮度值更新为该亮度值对应的加权平均后的映射值，完成亮度增强。

2.如权利要求1所述的方法，其特征在于：

按下式将亮度值k在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，0≤k≤255：

MapTablAvg[k]＝(Im gClass×MapTabEq[k]+(M-Im gClass)×MapTabGm[k])/M式中：

M为设定的图像的亮暗程度等级的数目；

脚MapTablAvg[k]为亮度值k在所述亮度映射表中对应的映射值，根据上式计算出来的MapTablAvg[k]构成了所述亮度映射表；

Im gClass为对该帧图像进行亮度检测后得到的图像的亮暗程度等级；

MapTabEq[k]为亮度值k在所述直方图均衡映射表中对应的映射值；

MapTabGm[k]为亮度值k在所述非线性拉伸曲线映射表中对应的映射值。

3.如权利要求1或2所述的方法，其特征在于，所述直方图均衡映射表是通过以下步骤得到的：

步骤一，对待处理的一帧图像，先计算该帧图像的亮度直方图，得到每一个亮度值k的直方图数值即具有该亮度值的像素点数，k＝0，1，2，..255；

步骤二，计算分割得到的每一个直方图区间的中间点β_n，然后根据下式计算直方图区间的动态分割点c_n：

或

其中：a_n，b_n分别为一个直方图区间的首端点和末端点；α为预先设定的直方图均衡程度的控制参数，0≤α≤1；表示向下取整，表示向上取整，0＜C_n＜255；

步骤三，重复执行步骤二，通过8次迭代地调用，将整个直方图分成256个区间，并按各区间包含的首个亮度值从小到大的顺序从0开始依次对各区间编号直到255，然后将每个区间包含的所有亮度值均对应到等于该区间编号的映射值，将区间[0，255]上的每一亮度值替换为对应的映射值后，即得到所述直方图均衡映射表。

4.如权利要求3所述的方法，其特征在于，所述直方图均衡程度的控制参数α的取值范围是0.4～0.6。

5.如权利要求3所述的方法，其特征在于：

所述步骤三中将整个直方图分成的256个区间存在相同区间时，对相同区间中的每一个区间分别编号且相同区间的编号连续；相同区间中的亮度值对应多个编号，在映射时按约定将其中的亮度值映射到其中的一个编号。

6.如权利要求1所述的方法，其特征在于，还通过以下处理对该帧图像进行饱和度增强：

设定图像的亮暗程度等级并为每一个亮暗程度等级对应设置一个饱和度系数；对该帧图像进行饱和度增强时，先检测出该帧图像的亮暗程度等级，然后使用对应的饱和度系数对该帧图像中像素点的色度值进行调整。

7.如权利要求2或6所述的方法，其特征在于，所述图像的亮暗程度等级根据以下方式确定：

将图像的亮暗程度分成M个等级，将亮度值的整个取值范围划分为与该M个等级一一对应的M个区间，亮度值最低的区间对应的亮暗程度等级为0，亮度值次低的区间对应的亮暗程度等级为1，以此类推，且将等于和大于设定的正常亮度值门限的所有亮度值归入一个区间，该归入的区间对应的亮暗程度等级为M-1；

对该帧图像进行检测后得到该帧图像的亮度值，该亮度值所属区间对应的亮暗程度等级即为该帧图像的亮暗程度等级Im gClass。

8.如权利要求7所述的方法，其特征在于：

设定的图像的亮暗程度等级为0，1，...M-1，每一个亮暗程度等级对应的饱和度系数记录在数组Su中，m＝0，1，...M-1，且亮暗程度等级为M-1时，其饱和度系数为1；

对于YUV格式的图像，按以下公式进行饱和度增强：

Uout(x，y)＝Su[m]×(Uin(x，y)-128)+128

Vout(x，y)＝Su[m]×(Vin(x，y)-128)+128

其中，Uin(x，y)和Vin(x，y)是进行饱和度增强之前像素点U分量和V分量的值，Uout(x，y)和Vout(x，y)是进行饱和度增强之后像素点U分量和V分量的值，Su[m]为数组Su中与亮暗程度等级对应的饱和度系数。

9.一种视频增强装置，其特征在于，包括一亮度增强模块，该亮度增强模块进一步包括非线性曲线拉伸表存储单元、直方图均衡映射表计算单元、亮度映射表计算单元和图像亮度增强映射单元，其中：

非线性曲线拉伸表存储单元，用于保存要使用的非线性拉伸曲线映射表；

直方图均衡映射表计算单元，用于根据输入的源图像亮度数据计算得到相应的直方图均衡映射表；

亮度映射表计算单元，用于至少对该输入的源帧图像像素点的亮度值集合中的每一亮度值，将该亮度值在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，并用一亮度映射表记录各亮度值与加权平均后的映射值之间的对应关系；

图像亮度增强映射单元，用于根据所述亮度映射表，将输入的源图像中像素点的亮度值更新为该亮度值对应的加权平均后的映射值。

10.如权利要求9所述的视频增强装置，其特征在于：

还包括一图像亮度检测模块，该图像亮度检测模块进一步包括：

配置信息保存单元，用于保存亮暗等级的配置信息，包括亮暗程度等级及每一等级对应的亮度值区间，其中，将图像的亮暗程度分成M个等级，亮度值的整个取值范围划分为与该M个等级一一对应的M个区间，亮度值最低的区间对应的亮暗程度等级为0，亮度值次低的区间对应的亮暗程度等级为1，以此类推，且将等于和大于设定的正常亮度值门限的所有亮度值归入一个区间，该归入的区间对应的亮暗程度等级为M-1；

亮暗等级计算单元，用于根据接收到的源图像的亮度数据计算出源图像的亮度值，根据所述配置信息判断出该亮度值所属区间对应的亮暗程度等级，将该亮暗程度等级作为源图像的亮暗程度等级输出到所述亮度增强模块中的亮度映射表计算单元。

11.如权利要求10所述的视频增强装置，其特征在于：

所述亮度映射表计算单元按下式将亮度值k在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，0≤k≤255：

MapTablAvg[k]＝(Im gClass×MapTabEq[k]+(M-Im gClass)×MapTabGm[k])/M式中：

M为设定的图像的亮暗程度等级的数目；

MapTablAvg[k]为亮度值k在所述亮度映射表中对应的映射值，根据上式计算出来的MapTablAvg[k]构成了所述亮度映射表；

Im gClass为对该帧图像进行亮度检测后得到的图像的亮暗程度等级；

MapTabEq[k]为亮度值k在所述直方图均衡映射表中对应的映射值；

MapTabGm[k]为亮度值k在所述非线性拉伸曲线映射表中对应的映射值。

12.如权利要求9、10或11所述的视频增强装置，其特征在于，所述直方图均衡映射表计算单元进一步包括亮度直方图计算单元、中间点计算单元、动态分割点计算单元、控制单元和映射表生成单元，其中：

亮度直方图计算单元，用于计算出源图像的亮度直方图，得到每一个亮度值k的直方图数值即具有该亮度值的像素点数，输出到中间点计算单元，k＝0，1，2，...255；

中间点计算单元，用于根据每一个亮度值k的直方图数值，计算分割得到的每一个直方图区间的中间点β_n，输出到动态分割点计算单元；

动态分割点计算单元，用于根据下式计算直方图区间的动态分割点c_n：

或

其中：a_n，b_n分别为一个直方图区间的首端点和末端点；α为预先设定的直方图均衡程度的控制参数，0≤α≤1；

表示向下取整，

表示向上取整，0＜C_n＜255；

控制单元，用于控制所述中间点计算单元和动态分割点计算单元进行运算，通过8次迭代地调用，将整个直方图分成256个区间，并将生成的256个区间及其包含的亮度值输出到映射表生成单元；

映射表生成单元，用于按各区间包含的首个亮度值从小到大的顺序从0开始依次对各区间编号直到255，将每个区间包含的所有亮度值均对应到等于该区间编号的映射值，将区间[0，255]上的每一亮度值替换为对应的映射值后，即得到所述直方图均衡映射表。

13.如权利要求10所述的视频增强装置，其特征在于：

还包括一饱和度增强模块，该饱和度增强模块进一步包括：

配置信息保存单元，用于保存设定的图像的亮暗程度等级，以及为每一个亮暗程度等级对应设置的饱和度系数；

饱和度增强计算单元，用于对源图像进行饱和度增强时，根据接收到的源图像的亮暗程度等级，使用对应的饱和度系数对源图像中像素点的色度值进行调整；

所述图像亮度检测模块中的亮暗等级计算单元还将源图像的亮暗程度等级输出到所述饱和度增强模块中的饱和度增强计算单元。

Images