CN101102398A - 全自动的实时数字图像处理增强系统 - Google Patents

Abstract

本发明是一种数字图像技术领域的全自动的实时数字图像处理增强系统，其中：输入模块负责采集数字图像作为系统输入，所获得的数字图像输入到图像分解模块，图像分解模块将输入图像分解为光照图像L和反射图像R，分别输入光照图像处理模块和反射图像处理模块，光照图像处理模块对输入图像的光照成分L进行非线性校正输出校正后的光照成分L’，反射图像处理模块则对与输入图像过暗区域相对应的反射成分R进行局部去噪滤波处理，输出去噪后的反射成分R’，合并输出模块则将前两个模块中输出的L’和R’重新合并到输出图像并显示到输出设备上。本发明能实时地改善输入图像的光照效果，并有效去除图像噪声，保留物体细节特征，视觉效果自然。

Description

全自动的实时数字图像处理增强系统

技术领域

本发明涉及的是一种数字图像技术领域的图像处理系统，具体地说，是一种全自动的实时数字图像处理增强系统。

背景技术

随着数码相机的普及，数字图像在生产和生活中占有了越来越重要的地位。特别是在生产自动化中，数字图像在目标识别和目标跟踪等方面起到了重要作用。然而由于成像技术本身的缺陷，影响了数字图像的质量，使数字图像的应用受到了限制。

现实生活中的亮度动态范围非常大，主要受环境光照的影响，阳光直射下和阴影中的亮度往往相差几个数量级。相比之下数码相机的动态范围则小得多，最长用的8位图像深度只能表示256个亮度阶数。在不同光照条件下，人类的视觉系统可以通过调整瞳孔大小以及视网膜与大脑皮层的处理消除光照的影响，以正确识别物体。而照相机不具备这种自我调节的功能，因此在光照条件不佳的情况下(过暗或过亮)，感兴趣的物体在图像上难以识别，图像的质量也就下降了很多。

针对这个问题一般的处理方法往往是灰度均衡化或者伽马校正，然而这两种处理方法都是一种全局的处理方法，而忽视了局部的信息，因此用上述方法增强图像后虽然光照得到了改善，局部图像的细节却可能丢失。相比之下，本发明基于Retinex模型，通过将图像分解为光照图像和反射图像，将光照的影响从输入图像中剥离，在改善输出图像中光照效果的同时较好地保护了输入图像中局部的图像细节。

经对现有技术的文献检索发现，Ron.Kimmel，Michael Elad等在《International Journal of Computer Vision》(计算机视觉国际期刊，2003年第52期第1卷第7～23页)一文“A Variational Framework for Retinex”(Retinex的一种变分架构)，该文中提出一种基于Retinex模型的图像增强系统，具体的结构为：首先采集一张输入图像，然后将输入图像分解为光照图像和反射图像。这个图像分解的方法是通过以下方式完成的：根据Retinex模型，任何图像可以分解为光照图像和反射图像的乘积，图像分解的核心为光照图像的估计，即对环境光照的预测。环境光照的预测基于Retinex变分模型中提到的3个约束：光照图像在空间域平滑、光照图像的像素值大于输入图像的像素值、以及光照图像和输入图像足够接近，对环境光照成分加以估算，得到一幅很平滑的图像作为光照图像的预测，然后由输入图像与光照图像、反射图像的关系推得反射图像。将图像分解为光照图像和反射图像以后，对输入图像的光照成分进行单独处理，通过对光照图像的像素值根据应用的要求做非线性映射校正改善原图中光照不佳区域的可见度，如图1所示的“Retinex的一种变分架构”中的图像增强系统示意框图。

上述系统的不足在于：该系统虽然可以改善输入图像的光照效果，但是在图像细节内容得到了增强的同时输入图像中的噪声也被增强了，因此对含原本包含较多噪声的输入图像，输出图像的质量有可能比输入图像还要差。不能解决在增强图像细节的同时，避免噪声对输出图像质量的影响。

发明内容

本发明的目的在于克服现有技术中对于环境光照条件对数字图像的影响的技术存在不足，提供一种全自动的实时数字图像处理增强系统，使其根据输入图像自动估计环境光照条件并根据光照对图像进行自动调节以改善输出图像中的光照效果并增强局部图像细节，可以应用于提高数码相机的成像质量以及基于数字图像的工业自动化的图像预处理阶段。

本发明是通过以下技术方案实现的，本发明包括五个模块：输入模块，图像分解模块，光照图像处理模块，反射图像处理模块，合并和输出模块。输入模块负责采集数字图像作为系统输入，所获得的数字图像输入到图像分解模块；图像分解模块将输入图像分解为光照图像L和反射图像R，分别输入光照图像处理模块和反射图像处理模块；光照图像处理模块对输入图像的光照成分L进行非线性校正后输出经过校正的光照成分L’；反射图像处理模块则对反射图像R中与输入图像过暗区域相对应的像素进行去噪处理，输出去噪后的反射成分R’，输入图像的过暗区域可由光照图像信息来确定；合并输出模块则将前两个模块中输出的L’和R’重新合并到输出图像并显示到输出设备上。

所述的输入模块，是指：负责采集数字图像，所述的数字图像是数码相机和数字扫描仪所能获取的图像以及数码摄像机所提供序列图像中的一帧。

所述的图像分解模块，是指：对输入图像实时分解，提供两个输出，分别为对应于输入图像光照成分的光照图像和对应于输入图像反射成分的反射图像。所述的输入图像实时分解是对Retinex模型的实现，根据Retinex模型，任何图像可以分解为光照图像和反射图像的乘积，图像分解的核心为光照图像的估计，即对环境光照的预测。环境光照的预测基于Retinex变分模型中提到的3个约束：光照图像在空间域平滑、光照图像的像素值大于输入图像的像素值、以及光照图像和输入图像足够接近，对环境光照成分加以估计，应用多解析度技术，即在每个解析度层应用高斯平滑得到图像的低频信息，应用拉普拉斯锐化得到图像的高频信息，通过不断地去除图像中的高频信息，保留低频信息，得到一幅很平滑的图像作为光照图像的估计，然后由输入图像与光照图像、反射图像的关系推得反射图像。

所述的光照图像处理模块，是指：对输入图像的光照成分进行单独处理。光照不佳的输入图像往往光照图像的灰度分布集中在图像动态范围的某一小部分，对光照图像的处理是采用一种非线性的映射关系来提高处于动态范围低端和高端的像素的对比度，从而使这一部分的细节能够显现出来。该非线性的映射关系可以根据具体的应用要求来确定。

所述的反射图像处理模块，是指：从光照图像中识别出输入图像的过暗区域，对输入图像的反射图像相应的区域做去噪处理。反射图像中包含的是图像的高频信息，图像的噪声大部分在经过图像分解后大部分集中到了反射图像中，光照图像中基本不包含噪声，因此对输入图像的反射成分进行去噪滤波。所述的去噪滤波，是指：反射图像中包含的是图像的高频信息，图像的噪声大部分在经过图像分解后大部分集中到了反射图像中，光照图像基本不包含噪声，因此对输入图像的反射成分进行去噪处理，通过对光照图像的灰度分析识别输入图像的过暗区域，在反射图像上对这些区域进行滤波。所述的识别输入图像的过暗区域，是指：根据实验选取一个效果最佳的阈值，针对光照图像的像素灰度做二值化处理，灰度小于阈值的标1，灰度大于阈值的标0，这样标1的区域即是需要做去噪处理的过暗区域。

本发明在去噪处理中，采用局部滤波的方法。实验分析可以确定输出图像的绝大部分噪声对应于输入图像的过暗区域，因此通过对光照图像的灰度分析可以识别这些区域，在反射图像上对这些区域进行去噪滤波，可以在仅增加少量处理时间的条件下，有效去除大部分的噪声以满足实时处理的要求。

所述的合并和输出模块将单独经过处理的光照成分和反射成分重新根据已知关系合并到同一张输出图像中。输出图像可以经过照片打印机输出为图片或直接在电脑显示器等其他显示设备上显示。

本发明输入模块负责采集数字图像作为系统输入，所获得的数字图像输入到图像分解模块；图像分解模块将输入图像分解，得到两个输出：光照图像L和反射图像R，将这两个输出分别输入光照图像处理模块和反射图像处理模块；光照图像处理模块对输入图像的光照成分L进行非线性校正得到校正后的光照成分L’；反射图像处理模块则首先根据光照图像来确定去噪区域，然后对反射图像去噪区域内的像素进行去噪处理，输出去噪后的反射成分R’；合并输出模块则将前两个模块中输出的L’和R’重新合并到输出图像并显示到输出设备上。

本发明不仅能够改善在光照不佳的环境下拍摄图像的质量，调整输入图像中的光照效果，提高输入图像内容的可见度，而且能够满足实时处理的要求。与一般的全局图像增强方法如伽马校正和灰度均衡化方法相比，能够更好地保留局部的图像细节，增加图像中有效的特征点个数，使其在日常生活和生产中都有广泛的应用前景。并且本发明在基于Retinex模型的图像增强系统的基础上加入了对反射图像噪声集中区域的去噪操作，在不影响系统实时性的条件下大大改善了Retinex算法在图像增强过程中造成噪声量提高的问题。

附图说明

图1现有技术中的“Retinex的一种变分架构”图像增强系统示意框图

图2本发明系统示意框图

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例。

如图2所示，本实施例包含五个模块：输入模块、图像分解模块、光照图像处理模块、反射图像处理模块、合并输出模块。这五个模块是由一个输入设备(数码相机)、一个计算机软件处理程序和一个输出设备(照片打印机或计算机显示器等)实现的。输入模块采集数字图像，输入模块的输出与图像分解模块的输入相连；图像分解模块的两个输出：光照图像和反射图像分别是另外两个模块：光照图像处理模块和反射图像处理模块的输入；光照图像处理模块和反射图像处理模块的输出是合并输出模块的两个输入。

输入模块可以由一般的数码照相机、数码摄像机或者扫描仪等输入设备实现，输入模块的输出是一幅通用格式的数字图像(如bmp、jpeg等)。

图像分解模块将输入模块获取的数字图像分解为两幅图像：光照图像和反射图像。根据Retinex模型，任何图像可以分解为光照图像和反射图像的乘积，对输入图像进行分解的核心问题在于光照图像的估计。本发明中对光照图像的估计是基于Retinex模型，用多解析度技术，在各个解析度层，保留图像的高斯模糊结果，去除图像的拉普拉斯锐化结果，经过若干次迭代，得到一幅非常平滑的图像，作为输入图像的光照图像的估计。反射图像由输入图像除以光照图像获得。

光照图像处理模块主要是对输入图像的光照条件进行调节，以达到改善输出图像光照效果的目的。对光照图像的处理本发明采用的是用非线性映射曲线拉升输入图像中过暗区域和过亮区域的对比度，提高这两部分光照不佳区域的光照效果和可见度。

反射图像处理模块主要是对反射图像的局部区域进行去噪处理。去噪处理根据Retinex处理图像的噪声主要集中在输入图像中的过暗区域，首先根据实验经验选择一个最佳的阈值，对输入图像的光照图像进行二值化处理，灰度小于阈值的标1，灰度大于阈值的标0，这样标1的区域即是需要做去噪处理的过暗区域。然后根据2值图像对反射图像每个像素判断是否在过暗区域内，如果在则进行滤波以去除噪声。此方法与一般的全局滤波相比可以节省大量的时间。

合并输出模块根据输入图像是光照图像和反射图像的乘积的关系，将经过光照图像处理模块和反射图像处理模块分别处理后的光照图像和反射图像相乘合并得到输出图像，然后将输出图像输出到输出设备上。输出设备可以是数码照片的打印机、计算机的显示器等设备。

本实施例与现有技术图像增强系统(如图1所示)相比，增加了应用局部滤波对反射图像的去噪处理，有效抑制了噪声在图像增强过程中对输出图像质量的不良影响，同时由于局部滤波技术的采用，节省了大量处理时间，使本实施例能够满足实时处理的要求。

Claims (10)

1、一种全自动的实时数字图像处理增强系统，其特征在于，包括五个模块：输入模块，图像分解模块，光照图像处理模块，反射图像处理模块，合并和输出模块，其中：输入模块负责采集数字图像作为系统输入，所获得的数字图像输入到图像分解模块，图像分解模块将输入图像分解为光照图像L和反射图像R，分别输入光照图像处理模块和反射图像处理模块，光照图像处理模块对输入图像的光照成分L进行非线性校正后输出经过校正的光照成分L’，反射图像处理模块则对反射图像R中与输入图像过暗区域相对应的像素进行去噪处理，输出去噪后的反射成分R’，输入图像的过暗区域可由光照图像信息来确定，合并输出模块则将前两个模块中输出的L’和R’重新合并到输出图像并显示到输出设备上。

2、根据权利要求1所述的全自动的实时数字图像处理增强系统，其特征是，所述的输入模块，是指：负责采集数字图像，所述的数字图像是数码相机和数字扫描仪所能获取的图像以及数码摄像机所提供序列图像中的一帧。

3、根据权利要求1所述的全自动的实时数字图像处理增强系统，其特征是，所述的图像分解模块，是指：对输入图像实时分解，提供两个输出，分别为对应于输入图像光照成分的光照图像和对应于输入图像反射成分的反射图像。

4、根据权利要求3所述的全自动的实时数字图像处理增强系统，其特征是，所述输入图像实时分解，是指：环境光照的预测基于Retinex变分模型的3个约束：光照图像在空间域平滑、光照图像的像素值大于输入图像、以及光照图像和输入图像足够接近对输入图像的光照成分加以估计，应用多解析度技术，在每个解析度层，保留高斯平滑结果，去除拉普拉斯锐化结果，得到一幅平滑的图像作为光照图像的估计，然后由输入图像与光照图像、反射图像的关系推得反射图像。

5、根据权利要求1所述的全自动的实时数字图像处理增强系统，其特征是，所述的光照图像处理模块，是指：对输入图像的光照成分进行单独处理。光照不佳的输入图像往往光照图像的灰度分布集中在图像动态范围的某一小部分，对光照图像的处理是采用一种非线性的映射关系来提高处于动态范围低端和高端的像素的对比度，从而使这一部分的细节能够显现出来。

6、根据权利要求5所述的全自动的实时数字图像处理增强系统，其特征是，所述的非线性的映射关系，根据具体的应用要求来确定。

7、根据权利要求1所述的全自动的实时数字图像处理增强系统，其特征是，所述的反射图像处理模块，是指从光照图像中识别出输入图像的过暗区域，对输入图像的反射图像相应的区域进行局部去噪滤波。

8、根据权利要求7所述的全自动的实时数字图像处理增强系统，其特征是，所述的去噪滤波，是指：反射图像中包含的是图像的高频信息，图像的噪声大部分在经过图像分解后大部分集中到了反射图像中，光照图像基本不包含噪声，因此对输入图像的反射成分进行去噪处理，通过对光照图像的灰度分析识别输入图像的过暗区域，在反射图像上对这些区域进行滤波。

9、根据权利要求1或者8所述的全自动的实时数字图像处理增强系统，其特征是，所述的识别输入图像的过暗区域，是指：根据实验选取一个效果最佳的阈值，针对光照图像的像素灰度做二值化处理，灰度小于阈值的标1，灰度大于阈值的标0，这样标1的区域即是需要做去噪处理的过暗区域。

10、根据权利要求1所述的全自动的实时数字图像处理增强系统，其特征是，所述的合并和输出模块，是指：将单独经过处理的光照成分和反射成分重新根据已知关系合并到同一张输出图像中。

Images