CN101127835B - 一种提高数字摄像设备视频图像质量的前处理方法和装置 - Google Patents

Abstract

本发明公开了一种提高数字摄像设备视频图像质量的前处理方法及装置，在摄像头系统和视频编码器之间设置前处理软件，该软件包括摄像头参数调节模块、视频图像质量检测模块、图像质量增强程度控制模块、图像质量增强模块；在视频拍摄模式，视频质量检测模块周期性对摄像头系统输出的视频图像信号质量进行检测评价；根据检测评价结果，由摄像头参数调节模块调节该图像质量的一个或多个属性的摄像头参数；如果调节后图像质量的一个或多个属性仍需增强，由图像质量增强程度控制模块确定图像质量属性的增强程度，在图像质量增强模块中进行增强处理，然后将视频图像信号输出到编码器。本发明适应性强且具有简单易行的可扩展性。

Description

一种提高数字摄像设备视频图像质量的前处理方法和装置 

技术领域

本发明涉及数字信号处理领域中的一种方法和装置，尤其涉及便携式数字摄像设备视频图像质量的处理方法和装置，具体说是一种提高数字摄像设备视频图像质量的前处理方法和装置。 

背景技术

便携式数字摄像设备，诸如移动通讯中的手机等手持轻便设备上的摄像机，所拍摄的图像，由于摄像头的能力有限和所拍摄条件的复杂多变性，使视频图像本身常常噪声较大，或者模糊昏暗不清，色彩层次感不强，视频图像的质量不好。但是视频图像质量是个很敏感和重要的问题，随着3G、IPTV、数字广播、互联网等流媒体应用的不断发展，移动视频应用中，对其视频质量的需求也越来越突出。可拍照手机也常可能被用于光线条件较差的地方，如KTV、酒吧、音乐会或体育比赛现场，所以使其在各种复杂恶劣的环境下尽量展现出色彩丰富、清晰的图像是很重要的。 

数字成像的摄像机，是一种把景物光像变为电信号的装置。其结构大致可分为以下几部分：光学系统(主要指镜头)，光电转换系统(主要指摄像管或固体摄像器件)，以及电路系统(主要指视频处理电路)。其中电路系统，即视频处理电路是用来增强视频信号质量的软件处理通道，它拥有摄像机自动曝光控制、自动白平衡、自动聚焦控制等策略，但由于环境、控制策略和摄像头能力等的限制，还需要前处理增强技术的配合，来提高摄像头采集视频图像的质量。 

数字视频增强处理的方法在数字平板电视显示系统中已经得到普遍的研究和应用，包括水晶画面、自然调色、鲜明对比、亮彩修正、颜色细节处理、3:2电影模式处理等等，几种功能同时作用，将细节部分的清晰度更加完善，呈现出更加完美、生动的效果。 

在数字视频采集系统方面，有的技术是将图像传感器阵列与图像信号处理器内嵌在一起，通过对特定摄像头内部电路的改进，使其能在各种光线条件下获得高质量图像。但是这种对摄像机本身的改进技术并不具有普遍适用性和简单易行的可扩展性。本发明不但对提高移动通讯系统中多媒体业务的服务质量以及提高产品的竞争力和长足发展都具有重要的作用；而且还具有良好的可移植性。 

发明内容

本发明要解决的技术问题，在于克服现有技术存在的缺陷，提供一种适应性强且具有简单易行的可扩展性的提高数字摄像设备视频图像质量的前处理方法，以提高便携式数字摄像设备的自适应控制调节能力，增强视频图像的质量。 

为了解决上述问题，本发明提供了一种提高数字摄像设备视频图像质量的前处理方法，在摄像头系统和视频编码器之间设置前处理软件，该软件包括摄像头参数调节模块、视频图像质量检测模块、图像质量增强程度控制模块、图像质量增强模块；当数字摄像设备设在视频拍摄模式时，按照下述步骤对图像进行前处理： 

第一步：每隔设定时间周期性地触发视频质量检测模块，对摄像头系统输出的视频图像信号质量进行检测评价； 

第二步：根据检测评价结果，由摄像头参数调节模块调节该图像质量的一个或多个属性的摄像头参数，控制提高摄像头在相应属性的采集能力；若摄像头属性参数经调节达到了稳态平衡，则视频图像信号输出到编码器；如果调节后图像质量的一个或多个属性仍需增强，则进入下一步骤； 

第三步视频图像信号进入图像质量增强程度控制模块，确定需增强的图像质量属性的增强程度； 

第四步根据图像质量增强程度控制模块确定的增强程度，在图像质量增强模块中对需增强的图像质量属性进行增强，然后将视频图像信号输出到编码器。 

所述图像质量的属性，包括：曝光度、噪声属性、图像清晰度、色彩饱和度。     

所述视频图像质量检测模块对视频图像信号质量的一个或多个属性分通道进行检测分析：视频图像的质量分解为多个属性，在检测模块中分别对应着不同的分析检测算法，这样对曝光度、噪声、清晰度、色彩饱和度等可以同时并行分析；不同的属性，所采用的算法不同，预处理提取的特征也不同。例如，提取边缘的能量，用于检测分析清晰度；提取图像的亮度信息，用于检测分析曝光度等等，这里都可以采用现有的图像处理技术。 

所述视频图像质量检测模块对视频图像信号曝光度检测，分为两个子功能：一个检测每帧图像整体曝光程度(即曝光不足或是曝光过度)，用于反馈摄像头参数调节模块，以调节摄像头的曝光度；另一个检测每帧图像曝光不均匀的程度，作为图像质量增强程度控制模块和图像质量增强模块曝光度增强调节时确定增强程度的根据。 

所述视频图像质量检测模块检测每帧图像整体曝光程度(即曝光不足或是曝光过度)的具体方法是： 

在该模块中首先计算图像Y分量的直方图，然后根据直方图计算图像偏暗或偏亮的像素数值，并与相应的阈值进行比较，以判断图像是否整体曝光不足或者是整体曝光过度。 

所述摄像头参数调节模块调节曝光程度属性参数的具体步骤是：摄像头参数控制模块得到视频图像质量检测模块反馈回来的曝光程度判断，如果曝光正常，该模块不进行任何操作；如果曝光过度，则根据当前摄像机参数默认值，提供一个反向调节的步长(如-5)写入控制寄存器，下一次摄像机就读入并通过控制寄存器的值进行曝光控制；反之，如果检测曝光不足，则提供正向调节步长(如+5)，写入控制寄存器。 

所述视频图像质量检测模块检测每帧图像曝光不均匀的程度从而确定曝光度是否增强的具体方法： 

在该方法中首先是把目标区域Y分量分割成n×n的子块。第二步对每个 子块提取平均亮度、平均对比度、X方向边缘检测值、Y方向边缘检测值四个特征量。第三步是根据特征量计算子块的特征相似三角矩阵。第四步是根据阈值取得特征相似矩阵的截集矩阵，并统计满足截集矩阵中元素为1，且相应两个子块平均亮度大于给定阈值的块的个数；最后根据第四步得到的统计数字的大小来判断曝光不均匀的程度。具体处理过程参见图5和图6。 

所述图像质量增强程度控制模块和图像质量增强模块曝光度增强调节的方法： 

在图像质量增强程度控制模块，由视频图像质量检测模块传过来的图像曝光不均匀程度归一化到[-1，+1]，-1表示曝光严重不足，0表示曝光度正常，+1表示曝光度非常过度；根据程度的大小，图像质量增强模块调节曝光增强属性的参数值大小；图像质量增强模块对视频图像曝光度增强的算法采用基于非线性掩模的局部校正算法，如下式： 

$\mathrm{Output}=255*{\left(\frac{\mathrm{Input}}{255}\right)}^{\left({\mathrm{\α}}^{\left(\frac{128-\mathrm{Mast}}{128}\right)}\right)}$

其中，Input是原始图像像素值；Mask是经过逆运算之后得到掩模图像、又经过对掩模图像进行高斯运算或模糊运算而得到掩模模板；图像质量增强程度控制模块传递过来的控制参数控制底数α的大小从1.0～2.2变化，从而控制饱和度的增强程度。 

其他的图像属性，如清晰度增强：是先判断检测图像的清晰度；如果图像清晰度不好，就首先通过控制调解摄像头的自动聚焦参数，使图像清晰度增强；如果调解仍不能达到要求，就通过清晰度增强模块进行视频图像的增强。这里，清晰度的检测判断和增强都是使用通用的图像处理算法。 

提高数字摄像设备视频图像质量的前处理软件的视频图像质量检测模块对输入的视频图像信号进行多通道属性分解并进行多通道检测评价；视频图像质量检测模块将各属性的检测评价结果反馈至摄像头参数调节模块，摄像头参数调节模块调节各属性的摄像头参数，控制提高摄像头各属性的采集能力；摄像头参数经调节达到了稳态平衡，则视频图像质量检测模块将视频图像信号输出到编码器，如果调节后视频图像属性仍需增强，则输入到图像质量增强程度控制模块；图像质量增强程度控制模块判断图像质量增强程度，根据增强程度控制图像质量增强模块进行增强，然后将视频图像信号输出到编码器。 

一种提高数字摄像设备视频图像质量的数字摄像装置，包括摄像头系统和视频编码器，其特征在于：在摄像头系统和视频编码器之间设置前处理软件，该软件包括摄像头参数调节模块、视频图像质量检测模块、图像质量增强程度控制模块、图像质量增强模块，当数字摄像设备在视频拍摄模式时： 

所述视频图像质量检测模块设置成每隔设定时间周期性地被触发，以对摄像头系统输出的视频图像信号质量进行检测评价； 

所述摄像头参数调节模块设置成根据所述视频图像质量检测模块的检测评价结果，来调节该图像质量的一个或多个属性的摄像头参数，控制提高摄像头在相应属性的采集能力；并且在摄像头属性参数经调节达到稳态平衡时，将视频图像信号输出到编码器；； 

所述图像质量增强程度控制模块设置成：在所述摄像头参数调节模块调节所述摄像头参数后图像质量的一个或多个属性仍需增强时，确定需增强的图像质量属性的增强程度；以及 

所述图像质量增强模块设置成根据图像质量增强程度控制模块确定的增强程度，对需增强的图像质量属性进行增强，然后将视频图像信号输出到编码器。 

所述摄像头参数调解模块通过摄像头底层驱动的接口来实现其功能，现有的摄像头的电路结构不需要有任何改变，只要能够提供应用层参数控制接口的系统都可以实现该功能。 

所述视频图像质量检测模块：对于一个给定的视频图像，检测分析各个质量属性可同时并行进行；不同的属性有不同的检测判别模型，所依赖的特征也是不同的，分别经过各自属性的特征提取和特征分析过程，得到不同图像质量属性的判定结果。这里都可以采用现有的判别方法和硬件。 

所述图像质量增强程度控制模块：不同的视频图像所具有的图像质量属性的好坏程度是不同的，这样需要增强的程度也不一样。该模块可以通过相应的参数大小的传递，来控制图像质量增强的程度。例如在曝光增强模型中，有控制图像亮度的参数，根据目前相关图像的亮度，确定增强后需要达到的程度。不同的质量属性，参数是不同的。 

所述图像质量增强模块：图像质量的增强模块对不同的质量属性，采用不同的方法。既可以是通用的算法也可以是自己设计的方法或模型。曝光度增强可以采用Retinex增强模型；噪声的去除可以采用中值滤波去噪算法等。 

本发明方法，适应性强且具有简单易行的可扩展性，可以提高便携式数字摄像设备的自适应控制调节能力，有效增强视频图像的质量。尤其适用于移动通讯领域的手机等便携式通讯设备的视频摄像功能。 

附图说明

图1、是本发明方法工作流程示意图，同时也是前处理软件的结构框图； 

图2、是本发明中的视频质量属性多通道分解检测示意框图； 

图3、是本发明中的摄像头参数调节流程框图； 

图4、是本发明中的图像质量增强程度控制模块工作流程图； 

图5、是本发明中的摄像系统的增强处理流程图 

图6、是本发明中的视频图像质量检测模块对曝光不均匀检测的流程框图； 

图7、是本发明中的视频图像质量检测模块判断曝光不均匀的程度的流程框图。 

具体实施方式

下面结合附图和实施例，对本发明作进一步详细说明。 

实施例、以移动通讯手机为例，本发明提高数字摄像设备视频图像质量的前处理软件安装在摄像头驱动软件和视频编码器之间。 

该软件由摄像头参数调节模块、视频图像质量检测模块、图像质量增强程度控制模块、图像质量增强模块构成；视频图像质量检测模块对输入的视 频图像信号进行多通道属性分解并进行多通道检测评价；视频图像质量检测模块将各属性的检测评价结果反馈至摄像头参数调节模块，摄像头参数调节模块调节各属性的摄像头参数，控制提高摄像头各属性的采集能力；摄像头参数经调节达到了稳态平衡，则视频图像质量检测模块将视频图像信号输出到编码器，如果调节后视频图像属性仍需增强，则输入到图像质量增强程度控制模块；图像质量增强程度控制模块判断图像质量增强程度，根据增强程度控制图像质量增强模块进行增强，然后将视频图像信号输出到编码器。 

提高数字摄像设备视频图像质量的具体过程如下： 

当手机设在视频拍摄模式时，摄像机的前处理装置每隔一分钟周期性的触发视频质量检测模块100。 

视频质量检测模块100启动检测视频图像的其中一个图像属性：曝光度。视频图像曝光检测分为两个子功能：一个用于检测每帧图像的整体曝光不足或是曝光过度，主要用于反馈调节摄像头的曝光度；另一个用于检测每帧图像曝光不均匀的程度，主要用于视频增强模块作为曝光增强程度的根据。 

具体而言，其中曝光不均的检测原理是根据同一物体的不同区域曝光度的差异来计算的；同一物体可根据相同性质的区域来判定；相同性质的区域可以通过计算图像块的相似度的方法确定。其程序流程分为四个步骤，如图6所示： 

1、计算目标区域每个块的特征矢量； 

2、计算目标区域所有块的相似上或下三角矩阵，然后做相似三角矩阵的截集； 

3、统计目标区域特征相似且与图像平均对比度差异比较大的块的个数； 

4、最后根据该统计量对该帧的曝光不均匀程度进行判别。 

摄像头参数控制模块200得到检测模块反馈回来的曝光度判断，如果曝 光度正常，该模块不进行任何操作；如果曝光过度，则根据当前摄像机参数默认值，提供一个反向调节的步长(如-5)写入控制寄存器，下一次摄像机就读入并通过控制寄存器的值进行曝光控制；反之，如果检测曝光不足，则提供正向调节步长(如+5)，写入控制寄存器。这样调节3次后，则停止摄像头的参数调节。 

在程度控制模块300，由质量检测模块100传过来的曝光度程度归一化到[-1，+1]，-1表示曝光严重不足，0表示曝光度正常，+1表示曝光度非常过度。根据程度的大小，调节质量增强模块400种的曝光增强属性的参数值大小。 

质量增强模块400中对视频曝光度增强的算法采用基于非线性掩模的局部校正算法。如下式： 

$\mathrm{Output}=255*{\left(\frac{\mathrm{Input}}{255}\right)}^{\left({\mathrm{\α}}^{\left(\frac{128-\mathrm{Mast}}{128}\right)}\right)}$

在算法中，input是原始图像像素值；Mask是经过逆运算之后得到掩模图像、又经过对掩模图像进行高斯运算或模糊运算而得到掩模模板；程度控制模块传递过来的控制参数控制底数α的大小从1.0~2.2变化，从而控制饱和度的增强程度。 

实际上除了移动通讯设备，在其他视频采集设备中也可以使用本发明方法和装置，来提高数字摄像设备视频图像质量。 

Claims (8)

1.一种提高数字摄像设备视频图像质量的前处理方法，在摄像头系统和视频编码器之间设置前处理软件，该软件包括摄像头参数调节模块(200)、视频图像质量检测模块(100)、图像质量增强程度控制模块(300)、图像质量增强模块(400)；当数字摄像设备设在视频拍摄模式时，按照下述步骤对图像进行前处理：

第一步：每隔设定时间周期性地触发视频质量检测模块，对摄像头系统(500)输出的视频图像信号质量进行检测评价；

第二步：根据检测评价结果，由摄像头参数调节模块调节该图像质量的一个或多个属性的摄像头参数，控制提高摄像头在相应属性的采集能力，所述图像质量的属性包括曝光度；若摄像头属性参数经调节达到了稳态平衡，则视频图像信号输出到编码器；如果调节后图像质量的一个或多个属性仍需增强，则进入下一步骤；

第三步视频图像信号进入图像质量增强程度控制模块，确定需增强的图像质量属性的增强程度；

第四步根据图像质量增强程度控制模块确定的增强程度，在图像质量增强模块中对需增强的图像质量属性进行增强，然后将视频图像信号输出到编码器；

其中，所述图像质量属性为曝光度时，所述视频图像质量检测模块对视频图像信号曝光度检测，分为两个子功能：

一个检测每帧图像整体曝光程度，用于反馈摄像头参数调节模块，以调节摄像头的曝光度；

另一个检测每帧图像曝光不均匀的程度，作为图像质量增强程度控制模块和图像质量增强模块曝光度增强调节时确定增强程度的根据。

2.根据权利要求1所述提高数字摄像设备视频图像质量的前处理方法，其特征在于：所述图像质量的属性，还包括：噪声属性、图像清晰度、色彩饱和度。

3.根据权利要求1或2所述提高数字摄像设备视频图像质量的前处理 方法，其特征在于：所述视频图像质量检测模块对视频图像信号质量的一个或多个属性分通道进行同时并行检测分析。

4.根据权利要求1或2所述提高数字摄像设备视频图像质量的前处理方法，其特征是：所述图像质量属性为曝光度时，所述视频图像质量检测模块检测每帧图像整体曝光程度的具体方法是：

在该模块中首先计算图像Y分量的直方图，然后根据直方图计算图像偏暗或偏亮的像素数值，并与相应的阈值进行比较，以判断图像是否整体曝光不足或者是整体曝光过度。

5.根据权利要求1或2所述提高数字摄像设备视频图像质量的前处理方法，其特征是：所述图像质量属性为曝光度时，所述摄像头参数调节模块调节曝光程度属性参数的具体步骤是：摄像头参数控制模块得到视频图像质量检测模块反馈回来的曝光程度判断，如果曝光正常，该模块不进行任何操作；如果曝光过度，则根据当前摄像机参数默认值，提供一个反向调节的步长写入控制寄存器，下一次摄像机就读入并通过控制寄存器的值进行曝光控制；反之，如果检测曝光不足，则提供正向调节步长，写入控制寄存器。

6.根据权利要求1或2所述提高数字摄像设备视频图像质量的前处理方法，其特征是：所述图像质量属性为曝光度时，所述视频图像质量检测模块检测每帧图像曝光不均匀的程度从而确定曝光度是否增强的具体方法：

在该方法中首先是把目标区域Y分量分割成n×n的子块；第二步对每个子块提取平均亮度、平均对比度、X方向边缘检测值、Y方向边缘检测值四个特征量；第三步是根据特征量计算子块的特征相似三角矩阵；第四步是根据阈值取得特征相似矩阵的截集矩阵，并统计满足截集矩阵中元素为1，且相应两个子块平均亮度大于给定阈值的块的个数；最后根据第四步得到的统计数字的大小来判断曝光不均匀的程度。

7.根据权利要求1或2所述提高数字摄像设备视频图像质量的前处理方法，其特征是：所述图像质量属性为曝光度时，所述图像质量增强程度控制模块和图像质量增强模块曝光度增强调节的方法：

在图像质量增强程度控制模块，由视频图像质量检测模块传过来的图像曝光不均匀程度归一化到[-1，+1]；根据程度的大小，图像质量增强模块调节曝光增强属性的参数值大小；图像质量增强模块对视频图像曝光度增强的算法采用基于非线性掩模的局部校正算法。

8.一种提高数字摄像设备视频图像质量的前处理系统，其特征在于：所述前处理系统包括摄像头参数调节模块(200)、视频图像质量检测模块(100)、图像质量增强程度控制模块(300)、图像质量增强模块(400)，当数字摄像设备在视频拍摄模式时：

所述视频图像质量检测模块(100)设置成每隔设定时间周期性地被触发，以对视频图像信号质量进行检测评价；

所述摄像头参数调节模块(200)设置成根据所述视频图像质量检测模块(100)的检测评价结果，来调节该图像质量的一个或多个属性的摄像头参数，控制提高摄像头在相应属性的采集能力；并且在摄像头属性参数经调节达到稳态平衡时，将视频图像信号输出；

所述图像质量增强程度控制模块(300)设置成：在所述摄像头参数调节模块(200)调节所述摄像头参数后图像质量的一个或多个属性仍需增强时，确定需增强的图像质量属性的增强程度；以及

所述图像质量增强模块(400)设置成根据图像质量增强程度控制模块确定的增强程度，对需增强的图像质量属性进行增强，然后将视频图像信号输出。 

Images