CN1753506A - Cmos图像实时增强预处理实现方法 - Google Patents

Abstract

本发明公开了一种CMOS图像实时增强预处理实现方法，该方法包括以下步骤：(1)获取CMOS传感器的图像阵列的信息；(2)图像阵列信息进行色彩插值，获得RGB三元色图像帧；(3)图像帧进行伽马校正处理；(4)图像帧进行色彩变换和空间插座，获得YCrCb空间图像帧信息；(5)图像帧进行图像增强处理；(6)图像帧进行自动白平衡、自动增益控制和自动曝光处理。本发明的显著优点是有效地解决了图像传感器的输出图像时引入的噪声和畸变失真问题，改善了图像的质量，有利于后续过程的图像处理。

Description

CMOS图像实时增强预处理实现方法

一、技术领域

本发明涉及一种图像处理方法，具体是提出了一种完整的实时图像增强预处理实现方法，它包括伽马校正、色彩插值、色彩校正、图像增强、增益控制、自动白平衡以及自动曝光控制等。

三、背景技术

自从电荷耦合器件CCD(电荷耦合器件)问世以来，凭借高解析度、低噪声、动态范围大等优点，在图像传感、信号处理等方面得到了广泛应用，但其缺点也逐步显露：生产工艺复杂、功耗大、价格高、不能单片系统集成和有光晕等不足。

与此同时，随着超大规模集成电路技术的发展，CMOS(互补型金属氧化物半导体)图像传感器以其高集成度、低功耗、低成本获得了越来越广的应用，占据了中低端产品的市场。CMOS图像传感器具有高集成度，可在单芯片内集成A/D转换、信号处理、自动增益控制、精密放大和存储等功能，大大减小了系统复杂性，降低了成本，因而显示出强劲的发展势头。此外，它还具有低功耗、单电源、低工作电压(3V～5V)、成品率高，可对局部像元随机访问等突出优点。因此，CMOS图像传感器成为研究、开发的热点，发展极其迅猛，其CMOS传感器的某些参数特性已经达到或超过CCD。

不管是高端的CCD还是中低端的CMOS，在实现将实际景物转换为图像信号时，总会引入各种噪声和畸变失真，不利于后续环节的图像编解码和传输。这就往往需要多功能的自适应图像增强预处理来改善图像传感器输出的图像质量，对于解析度不如CCD的CMOS传感器而言，图像增强预处理的方法显得尤为重要。

四、发明内容

1、发明目的：本发明的目的是提出了一套完整的实时图像增强预处理实现方法，该方法包括色彩插值、伽马校正、色彩校正、图像增强、增益控制、自动白平衡以及自动曝光控制等。该方法针对CMOS传感器的性能特点，解决了图像传感器输出的图像中引入的噪声和畸变失真问题，改善了图像的质量，有利于后续过程的图像处理。

2、技术方案：本发明的目的通过以下技术方案来实现。

实时图像增强预处理方法主要包括以下步骤：色彩插值、伽马校正、色彩校正、色彩空间变化、图像增强、增益控制、自动白平衡以及自动曝光。其方法的设计是模块化和易移植的。

其中，图像传感器输出首先需要进行色彩插值、伽马校正和色彩校正，彩色图像传感器常见的输出图像是Bayer格式，色彩插值对Bayer格式的图像进行内插获得RGB(红色、绿色、蓝色)空间的像素数值；伽马校正在于使输入图像信号与显示光强度相适应；色彩校正使传感器的输出更符合实际景物的特点。RGB空间三色是独立的，在进行图像增强、增益控制和自动曝光等功能时，往往更需要对色彩的亮度和色度进行处理，因此方法中包含了RGB空间与YCrCb空间的转换处理。图像增强和增益控制改进图像的质量；自动白平衡对图像进行白平衡处理，而自动曝光这可提供给图像传感器一个信号。下面分别就这些功能模块分别进行描述。

(1)伽马校正。事实上，大多数的显示设备的输入电压并不是与显示的彩色强度成线性关系，而是一种非线性的幂指数关系：I＝P^γ，这就是“伽马效应”。对于CRT显示器，典型的γ是2.2-2.5。为了显示真实图像值，必须对显示设备进行伽马校正。

为了在显示器上显示的图像效果和真实图像相符，有必要在摄像机获取图像后进行伽马校正，使得上述这种非线性校正为线性关系，公式如下：

$P_{\mathrm{new}}={\left(P_{\mathrm{old}}\right)}^{\frac{1}{\mathrm{\γ}}}$

其中，P_new是进行了校正处理的对图像的像素值；P_old是校正前的像素值；伽马值γ影响着校正的程度，γ＝1时，不进行校正，γ越大，像素值的校正量越大。

伽马校正的具体实现方法是多种多样的，在模拟电视中，伽马校正可采用分段折线与渐变式两种。对于分段式是通过选择二极管的配置电路，确定不同的分段导通特性来实现校正处理。数字电路技术的发展，高度灵活的数字化伽马校正得到了广泛应用，可以采用数字电路的硬件实现折线式的伽马校正电路，也可采用软件实现渐变式伽马校正电路。如图2所示，软件实现的伽马校正的步骤分为两步；1)建立伽马校正数据表；2)根据输入的像素值进行查表获取伽马校正后的数据。其中，伽马校正数据表可以通过各种公式的修正公式计算获得，也可预先设定。

(2)色彩插值。不论是CCD还是CMOS图像传感器，但为了简化工艺和降低成本，一个像素点往往只能给出记录从纯白到纯黑的系列色调，因而只能给出单色的色调值，不能同时给出RGB三元数据。因此，对于彩色的图像值的获取，这就需要借助色彩滤镜阵列CFA，即图像传感器的像素表面覆盖一个多色的滤镜阵列。通过应用不同的色彩滤镜阵列，可以获得不同的图像输出阵列，其中，最常见的一种滤镜阵列的图像传感器获得的是一幅如图3(a)所示的马赛克的图像阵。显然，在这种图像阵列中，每个像素值只有一个颜色的色调值，另外两个颜色的色调必须利用相邻像素之间的相关性，通过数据计算获得如图3(b)所示的RGB图像，这些方法通常被称为色彩插值。

(3)色彩校正和空间变化。通过插值可以得到了三元色齐全的RGB图像，但传感器响应的图像与真实场景之间仍存在差异。这存在多方面的原因，涉及图像传感器中光学器件(棱镜)的光谱特性、场景的光源光照条件(诸如白光、荧光或者钨光)以及色彩滤镜的光谱特性等。

为了补偿这种差异，必须对图像的像素值(R、G、B)进行3×3矩阵运算处理：

$\left[\begin{array}{c}{R}^1\\ G^1\\ B^{\′}\end{array}\right]=\left[\begin{array}{ccc}{b}_{11}& b_{12}& b_{13}\\ b_{21}& b_{22}& b_{23}\\ b_{31}& b_{32}& b_{33}\end{array}\right]\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

其中，系数b_ij是由传感器的光谱特性、光源光照条件和滤镜的光谱特性所决定，依据性能指标和测试结果综合给出。

对于实时图像增强预处理来说，RGB空间三色之间是独立的。在进行图像的增强、增益控制以及自动曝光时往往更需要对色彩的亮度和色度进行处理，因此，方法中包含RGB空间向YCrCb空间的转换处理。

(4)图像增强。很显然，实际应用中图像传感器的输出图像经过上述的处理并不是完美的，图像质量获得的改进也是有限的，加之噪声、光照等原因，需要进一步处理，丢弃无用的信息，保留感兴趣的重要信息。

图像增强主要包括直方图均衡、平滑滤波、中值滤波、锐化以及对比度调整等内容。一般情况下，图像增强既可以在空间域实现，也可以在频域内实现。这里为满足不同平台的移植，主要在空间域内对图像进行点运算，它是一种既简单又重要的图像处理技术，它能让用户改变图像上像素值，这样通过点运算处理将产生一幅新图像。总之，图像增强后，有利于视觉的效果和后续的处理，消除了相关性和高频噪声，有利于图像的压缩和处理，节省带宽。

(5)自动白平衡。在摄影、摄像时，不同色温光源下拍摄物体，获得的图像不可避免会出现色彩上的偏差。色温越高，蓝色成分就越多；色温越低，红色成分就越多。为了很获得现实际世界中各种色彩的图像，必须消除环境中光源色温的影响，即进行白平衡处理。传统的白平衡方法，首先在色温环境中拍摄一纯白色物体，分析所拍摄的图像数据，对白色物体的数据进行平均，得出三原色的平均值(R_mean、G_mean、B_mean)，根据白色的定义R＝G＝B，通过改变R、B感应通道的增益可以实现图像的白平衡，这种白平衡方法需要有白色参照物，使用不便。因此，实际应用中产生了一些自动白平衡的算法。

(6)增益控制和自动曝光。图像不同区域的亮度往往是不均衡的，这有两种情况，一是自身的细节信息，二是区域的曝光不均造成，对于后者需要通过调节不同区域的像素的亮度，即增益控制，实现图像整体效果的改善。

图像的亮度随着曝光时间成正比例增长，为了获得亮度恰当的图像，就需借助自动曝光方法处理。其基本原理和自动增益控制类似，就是估算整幅图像亮度的加权值，通过和预定的阈值进行比较，如果小于阈值，则增大曝光时间；反之，则减小曝光时间。

3、有益效果：本发明与现有技术相比，其显著优点是有效地解决了图像传感器的输出图像时引入的噪声和畸变失真问题，改善了图像的质量，有利于后续过程的图像处理。

四、附图说明

图1是实时图像增强预处理方法的功能模块框图。

图2是伽马校正示意图。

图3是色彩插值示意图。其中a为Bayer图像阵列，b为RGB图像。

五、具体实施方法

结合实时性、可移植性以及硬件性能的要求，下面着重描述实时增强预处理实现方法的步骤。

本发明所述CMOS图像实时增强预处理实现方法包括以下基本步骤：

(1)获取CMOS传感器的图像阵列的信息；

(2)图像阵列信息进行色彩插值，获得RGB三元色图像帧；

(3)图像帧进行伽马校正处理；

(4)图像帧进行色彩变换和空间插座，获得YCrCb空间图像帧信息；

(5)图像帧进行图像增强处理；

(6)图像帧进行自动白平衡、自动增益控制和自动曝光处理。

具体是：

(1)伽马校正。伽马校正的具体实现方法是多种多样的，在模拟电视中，伽马校正可采用分段折线与渐变式两种。对于分段式是通过选择二极管的配置电路，确定不同的分段导通特性来实现校正处理。数字电路技术的发展，高度灵活的数字化伽马校正得到了广泛应用，可以采用数字电路的硬件实现折线式的伽马校正电路，也可采用软件实现渐变式伽马校正电路。

软件实现的伽马校正的步骤分为两步；

A、建立伽马校正数据表；

$P_{\mathrm{gc}}=\left\{\begin{array}{cc}4.5\&times;P_{\mathrm{RGB}}& \frac{P_{\mathrm{RGB}}}{256}<0.018\\ 256\&times;(1.099{\left(\frac{P_{\mathrm{RGB}}}{256}\right)}^{1/r}-0.099)& 0.018<\frac{P_{\mathrm{RGB}}}{256}\end{array}\right.$

其中，P_RGB是指图像的像素值，这里需要对RGB三色分量分别进行伽马校正；γ值取2.2。

B、根据输入的像素值进行查表确定伽马校正数据表的区间。

C、获取伽马校正区间数据后，进行线形插值，获得校正的像素值。

(2)色彩插值。不同的色彩滤镜阵列，可以获得不同的图像输出阵列，其中，Bayer图像阵最为常用。

实际存在多种色彩插值方法，例如，相邻像素复制法、双线性插值算法以及双三次多项式插值等。

本发明采用双线性插值算法，对Bayer图像阵列进行内插获得RGB图像。Bayer模型中绿色分量是红蓝分量的两倍，因此绿色分量的处理就与红蓝分量有所区别，具体如下：

A、绿色分量。红色/蓝色点处的像素绿色分量的插值等于其相邻的四个像素点的绿色分量平均值：

G8＝(G3+G7+G9+G13)/4；

G12＝(G7+G11+G13+G17)/4；

B、红色/蓝色分量。分两种情况：一是在绿色点处的像素，存在相邻的红色/蓝色分量，所以就取相邻分量的均值：

B7＝(B6+B8)/2；

R7＝(R2+R12)/2；

另一种情况是，在蓝色/红色点处的像素，其周围没有相邻的红色/蓝色分量，所以就取对角线方形的四角像素点处红色/蓝色分量的均值：

R8＝(R2+R4+R12+R14)/4；

B12＝(B6+B8+B16+B18)/4；

(3)色彩校正和空间变化。实验中采用了biomorphic公司的CMOS图像传感器，其给出的色彩校正矩阵如下所示：

$\left[\begin{array}{c}{R}^{\&prime;}\\ G^{\&prime;}\\ B^{\&prime;}\end{array}\right]=\left[\begin{array}{ccc}1.8& -0.7& -0.1\\ -0.3& 1.8& -0.125\\ -0.3& -0.8& 2.1\end{array}\right]\&times;\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

算法根据情况在RGB或YCrCb色彩空间进行，RGB和YCrCb之间的关系是：

$\left[\begin{array}{c}Y\\ C_b\\ C_r\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.1678& -0.3313& -0.5\\ -0.5& -0.4187& -0.0813\end{array}\right]\&times;\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}1& 0& 1.402\\ 1& -0.34414& -0.71414\\ 1& 1.1772& 0\end{array}\right]\&times;\left[\begin{array}{c}Y\\ C_b\\ C_r\end{array}\right]$

(4)图像增强。图像增强实质上就是对图像的亮度或色度进行调整，上面提到的增强方法按具体实现方法，可分为两类。一种是采用操作模板的运算方式，图像平衡、图像锐化、图像去噪声属于这种方式；另一种则是依据像素值的概率分布特性，对像素值进行调节，自动对比度条件就采用了这样方法。

操作模板的方式有利于简化算法的软硬件实现，本文中的算法采用了3×3矩阵模板，图像平滑、锐化和去噪声的操作模板分别为：

$\left[\begin{array}{ccc}7& 7& 7\\ 7& 8& 7\\ 7& 7& 7\end{array}\right],\left[\begin{array}{ccc}-8& -8& -8\\ -8& 120& -8\\ -8& -8& -8\end{array}\right],\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$

通常，图像传感器获得的图像显示时，其对比度小于场景的对比度，为了增强图像的对比度，就需要对把感兴趣的颜色范围拉开，使得范围内的像素，亮的越亮，暗的越暗。

本发明提出了一种自适应的对比度调整算法，通过统计像素的亮度分量的概率分布，确定调节量，进行对比度调整，具体实现步骤如下：

A、计亮度分量值在区间[64，192]的像素点数目；

B、统计亮度分量值不在区间[64，192]的像素点数目；

C、该对比度调整算法是在YCrCb空间对亮度分量进行处理。对比度变化公式为：

$Y_{\mathrm{aca}}=255\&times;{\left(\frac{Y}{255}\right)}^{(1+\frac{A-B}{A+B})}$

(5)自动白平衡。自动白平衡方法实现过程如下：

A、首先在YCrCb色彩空间进行；

B、整幅图像划分为3×3的区域，进行加权平均，中间区域的权重为4，其余区域为1，获得色度分量的加权值 Cr和 Cb；

C、将YCrCb分量(0， Cr， Cb)转变到RGB空间的数据(I_R，I_G，I_B)；

D、这三个分量分别就是图像RGB三元分量的调整量。

(6)增益控制和自动曝光。增益控制和曝光都是在图像的YCrCb色彩空间进行的。其具体步骤如下：

A、首先把图像划分为9个区域；

B、分别进行加权平均，与自动白平衡不同的是，这里是针对亮度分量进行的计算，获得了亮度分量的加权值Y；

C、自动曝光只需将这个加权值和曝光阈值进行比较，从而确定曝光操作；

D、自动增益控制，根据各区域间亮度的最大值和最小值之比是否在某个范围内，进行自动增益调整，调整量为加权值与128的差值。

(7)硬件实现的优化。此外，众所周知，移位操作在硬件设计中容易实现。因此，为方便硬件设计，图像增强预处理方法的各种参量在进行硬件设计时，须进行适当调整。例如，色彩校正矩阵中的参量：1.8、-0.7和0.3分别调整为1.796875、0.6953125和-0.296875。

1.796875＝1+0.5+0.25+0.03125+0.015625                  (a)

0.6953125＝0.5+0.125+0.0625+0.0078125                  (b)

0.296875＝0.25+0.03125+0.015625                        (c)

Claims (8)

1、一种CMOS图像实时增强预处理实现方法，其特征在于该方法包括以下步骤：

(1)获取CMOS传感器的图像阵列的信息；

(2)图像阵列信息进行色彩插值，获得RGB三元色图像帧；

(3)图像帧进行伽马校正处理；

(4)图像帧进行色彩变换和空间插座，获得YCrCb空间图像帧信息；

(5)图像帧进行图像增强处理；

(6)图像帧进行自动白平衡、自动增益控制和自动曝光处理。

2、根据权利要求1所述的CMOS图像实时增强预处理实现方法，其特征在于在步骤(2)中，色彩插值方法是相邻像素复制法、双线性插值算法或双三次多项式插值法。

3、根据权利要求1所述的CMOS图像实时增强预处理实现方法，其特征在于在步骤(3)中，所述伽马校正，包括以下步骤；

(1)建立伽马校正数据表；

$P_{\mathrm{gc}}=\left\{\begin{array}{cc}4.5\&times;P_{\mathrm{RGB}}& \frac{P_{\mathrm{RGB}}}{256}<0.018\\ 256\&times;(1.099{\left(\frac{P_{\mathrm{RGB}}}{256}\right)}^{1/\mathrm{\&gamma;}}-0.099)& 0.018<\frac{P_{\mathrm{RGB}}}{256}\end{array}\right.$

式中，P_RGB是指图像的像素值，γ＝2.2-2.5；

(2)根据输入的像素值进行查表确定伽马校正数据表的区间；

(3)获取伽马校正区间数据后，进行线性插值，获得校正的像素值。

4、根据权利要求1所述的CMOS图像实时增强预处理实现方法，其特征在于在步骤(4)中，色彩变换和空间插座中采用biomorphic公司的CMOS图像传感器。

5、根据权利要求1所述的CMOS图像实时增强预处理实现方法，其特征在于在步骤(5)中，图像增强采用操作模板方式、或依据像素值的概率分布特性，对像素值进行调节的方法。

6、根据权利要求5所述的CMOS图像实时增强预处理实现方法，其特征在于所述依据像素值的概率分布特性，对像素值进行调节的方法包括以下步骤：

(1)计亮度分量值在区间[64，192]的像素点数目；

(2)统计亮度分量值不在区间[64，192]的像素点数目；

(3)该对比度调整方法是在YCrCb空间对亮度分量进行处理，对比度变化公式为：

$Y_{\mathrm{aca}}=255\&times;{\left(\frac{Y}{255}\right)}^{(1+\frac{A-B}{A+B})}.$

7、根据权利要求1所述的CMOS图像实时增强预处理实现方法，其特征在于在步骤(6)中，自动白平衡方法包括以下步骤：

(1)在YCrCb色彩空间中，将整幅图像划分为3×3的区域，进行加权平均，中间区域的权重为4，其余区域为1，获得色度分量的加权值Cr和Cb；

(2)将YCrCb分量(0，Cr，Cb)转变到RGB空间的数据(I_R，I_G，I_B)；

(3)这三个分量分别就是图像RGB三元分量的调整量。

8、根据权利要求1所述的CMOS图像实时增强预处理实现方法，其特征在于在步骤(6)中，自动增益控制和自动曝光处理方法包括以下步骤：

(1)首先把图像划分为9个区域；

(2)分别进行加权平均，获得了亮度分量的加权值Y；

(3)自动曝光只需将这个加权值和曝光阈值进行比较，从而确定曝光操作；

(4)自动增益控制，根据各区域间亮度的最大值和最小值之比是否在某个范围内，进行自动增益调整，调整量为加权值与128的差值。

Images