CN101452575B - 一种基于神经网络的图像自适应增强方法 - Google Patents

Abstract

本发明属于图像处理技术领域，将提供一种基于神经网络的图像自适应增强方法。本发明利用神经网络建立图像均值和标准偏差与原始图像的增强系数和图像高频分量的增强系数之间的非线性映射模型。图像自适应增强的具体步骤为：计算图像的均值和标准偏差，通过建立的非线性映射模型获取增强系数；对图像进行均值滤波，获取图像的低频分量；通过原始图像与低频分量的差值获取图像的高频分量；将高频分量与原始图像分别乘以各自的增强系数进行叠加，实现图像的自适应增强。本发明所提出的图像自适应增强方法，计算量小，实时性强，根据图像本身的均值与标准偏差自动获取增强系数，实现了图像的亮度和对比度的自适应增强，显著改善了低对比度和低亮度图像的视觉效果，为图像识别奠定了基础。

Description

一种基于神经网络的图像自适应增强方法

技术领域

本发明属于图像处理技术领域，涉及一种基于神经网络的图像自适应增强方法。

背景技术

随着数字图像处理的发展，基于图像的在线动态检测系统已经广泛应用于科研、医学、工业及生物遗传工程等领域。基于图像的动态检测系统通过图像采集系统对高速运动的物体进行拍摄，获得运动物体的瞬态信息，再对动态图像进行分析完成故障的识别和检测。因此高质量、高对比度的图像对于故障的检测和识别具有十分重要的作用，然而在实际情况中，快门速度和照明光源无法满足要求，获取的图像的对比度低、亮度偏暗，因此需要对图像进行亮度和对比度进行同时增强处理，此外，动态检测系统要求较高的图像增强处理速度，以满足动态检测的实时性要求。

图像增强技术可以分为频域法和空域法两大类。频域法是对原图像进行某种变换，在变换域中进行处理以达到增强的目的，通常用于生物学或医学上图像中的特定边缘及细节信息进行增强，算法较为复杂，计算量大，处理速度慢，不适用于动态检测系统中的图像增强。

空域法则是直接对原始图像像素进行处理，这类方法多用于前期处理，如在线检测的图像预处理。主要算法包括直方图均衡化、自适应滤波及反锐化掩模。直方图均衡化是一种快速图像增强方法，但是由于灰度级合并容易造成图像细节信息的丢失以及图像过增强，对于低亮度和低对比度的图像增强效果较差。Andrea Polesel在文章“Image enhancement via adaptive unsharp masking”(IEEE Transactions on Image Processing，2000，9(3)：505～515)中陈述了一种自适应的反锐化掩模图像增强方法，根据像素邻域的灰度值选择对图像中的高频分量进行增强，对于对比度不同的区域实现不同程度的增强。该方法通过高斯牛顿算法递归确定增强系数，算法较为复杂，初始值的选取对收敛速度有很大影响，且对于高对比度及低对比度区域的划分等仍需人工界定。

发明内容

本发明所要解决的技术问题是：提供一种基于神经网络的图像自适应增强方法，利用神经网络建立图像均值和标准偏差与原始图像的增强系数和图像高频分量的增强系数之间的非线性映射模型，将高频分量与原始图像分别乘以各自的增强系数进行叠加，实现图像的自适应增强。

本发明的技术解决方案是：一种基于神经网络的图像自适应增强方法，其特征在于，图像的自适应增强分为建立增强系数映射模型阶段和图像增强处理阶段，进行一次增强系数映射关系模型建立后可以连续进行图像增强处理，具体步骤如下：

1、用f_u表示原始图像，f_o表示增强处理后的输出图像，f_l表示f_u的低频分量，f_h表示f_u的高频分量，f_h＝f_u-f_l；f_u的灰度级均值用m表示，标准偏差用σ表示；用A表示f_u的增强系数，用B表示f_h的增强系数；

2、建立增强系数映射模型阶段：

2.1、选取样本图像f_u，对f_u进行手动增强处理，获得f_u的m和σ以及对应的A和B，具体步骤为：

第一步，计算f_u的m和σ；

第二步，采用3×3的模板对f_u进行均值滤波，得到f_l，计算f_u-f_l得到f_h；

第三步，通过计算f_o＝Af_u+Bf_h对f_u进行增强处理；改变A对图像的亮度增强，改变B对图像的对比度增强，f_o达到最佳视觉效果时，记录m、σ、A和B；

第四步，选择另一幅样本图像，重复进行步骤2.1中的第一步到第三步，获取至少50幅以上样本图像的m、σ以及对应的A和B；

2.2、以步骤2.1中的样本图像的m、σ作为神经网络的输入，训练BP神经网络，以步骤2.1中获取的A和B作为神经网络的期望输出，建立增强系数的神经网络映射模型，具体步骤如下：

第一步，建立增强系数的三层前馈神经网络映射模型，该网络包含一个输入层、一个隐层和一个输出层；输入层和输出层各包含两个神经元，隐层的神经元数目为 $N=\sqrt{n+k}+a,$ n和k为输入及输出层神经元的个数，a为1～10之间的常数；

第二步，以步骤2.1中获取的样本图像的m、σ作为学习样本的输入，A和B作为学习样本的输出；对步骤2.2中的第一步建立的增强系数的神经网络映射模型进行训练，对各组学习样本，采用BP算法和Levenberg-Marquardt算法相结合训练得到增强系数的神经网络映射模型的最优模型参数及其权值；

3、图像增强处理阶段：

3.1、计算待增强图像f_u的m和σ，将m和σ作为步骤2中建立的增强系数的神经网络映射模型的输入，获取增强系数A和B；

3.2、采用3×3的模板对f_u进行均值滤波，得到f_l，计算f_u-f_l得到f_h；

3.3、通过计算f_o＝Af_u+B(f_u-f_l)对f_u实现增强。

本发明的优点是：

第一、本发明提出的方法实现了图像的亮度和对比度的同时增强，显著改善了图像的视觉效果；

第二、本发明提出的利用神经网络建立增强系数的映射模型，依据表征图像亮度和对比度的均值和标准偏差，自动确定增强系数，实现图像的完全自适应增强；

第三、增强系数的映射模型只需离线建立，在图像增强的过程中，根据映射模型直接可以获得增强系数，因此，本发明提出的方法，计算量小、处理速度快，满足动态检测系统的对速度的要求。

附图说明

图1是本发明提出的基于神经网络的自适应增强方法的流程图。

图2是本发明采用的BP神经网络示意图。

图3是实验图像。图3(a)是原始图像，图3(b)是原始图像的直方图，图3(c)是增强图像，图3(d)是增强图像的直方图。

具体实施方式

本发明基于神经网络的图像自适应增强方法主要流程如图1所示，本发明提出的图像的自适应增强分为建立增强系数映射模型阶段和图像增强处理阶段，进行一次增强系数映射关系模型建立后可以连续进行图像增强处理，具体步骤如下：

1、用f_u表示原始图像，f_o表示增强处理后的输出图像，f_l表示f_u的低频分量，f_h表示f_u的高频分量，f_h＝f_u-f_l。f_u的灰度级均值用m表示，标准偏差用σ表示。用A表示f_u的增强系数，用B表示f_h的增强系数。

2、建立增强系数映射模型阶段：

2.1、选取样本图像f_u，对f_u进行手动增强处理，获得f_u的m和σ以及对应的A和B，具体步骤为：

第一步，计算f_u的m和σ。

图像的灰度值平均值的计算方法： $m={\mathrm{\Σ}}_{i=0}^{L-1}{r}_{i}p\left(r_i\right),$ r_i为图像的第i级灰度，p(r_i)为r_i的归一化直方图。

标准偏差的计算方法： $\mathrm{\σ}=\sqrt{{\mathrm{\Σ}}_{i=0}^{(L-1)}{(r_i-m)}^{2}p\left(r_i\right)}.$

第二步，采用3×3的模板对f_u进行均值滤波，得到f_l，计算f_u-f_l得到f_h。

第三步，通过计算f_o＝Af_u+Bf_h对f_u进行增强处理；改变A对图像的亮度增强，改变B对图像的对比度增强，f_o达到最佳视觉效果时，记录m、σ、A和B。

第四步，选择另一幅样本图像，重复进行步骤2.1中的第一步到第三步，获取至少50幅以上样本图像的m、σ以及对应的A和B。

2.2、以步骤2.1中的样本图像的m、σ作为神经网络的输入，A和B作为神经网络的期望输出，训练BP神经网络，建立增强系数的神经网络映射模型，具体步骤如下：

第一步，建立增强系数的三层前馈神经网络映射模型，如图2所示，该网络包含一个输入层、一个隐层和一个输出层。

输入层：输入层包含两个神经元，其输入分别表示图像的灰度均值和标准偏差。输入单元的输出值等于其输入值。

隐层：隐层的神经元数目往往根据设计者的经验和多次实验来确定。隐层神经元数目过多会导致神经网络的过度泛化，过少则容易导致神经网络的学习能力较差。通常通过式[1]来确定隐层的神经元数目。

$N=\sqrt{n+k}+a---\left[1\right]$

其中，N为隐层神经元的数目，n和k为输入及输出层神经元的个数，a为1-10之间的常数。

隐层的S形激活函数为：

$f\left(x\right)=\frac{2}{1+e^{-2x}}-1---\left[2\right]$

输出层：输出层包含两个神经元，其输出分别为高频加强所需的两个增强系数A和B。输出层的S形激活函数为：

$f\left(x\right)=\frac{1}{1+e^{-x}}---\left[3\right]$

第二步，以步骤2.1中获取的样本图像的m、σ作为学习样本的输入，A和B作为学习样本的输出。

对步骤2.2中的第一步建立的增强系数的神经网络映射模型进行训练，对各组学习样本，采用BP算法和Levenberg-Marquardt算法相结合训练得到增强系数的神经网络映射模型的最优模型参数及其权值。训练方法具体参见Martin和Mohammad的文章“Training Feedforward Networks with the Marquardt Algorithm(IEEE Transactions on Neural Networks，1994，5(6)：989～993)。

3、图像增强处理阶段：

3.1、计算待增强图像f_u的m和σ，将m和σ作为步骤2中建立的增强系数的神经网络映射模型的输入，获取增强系数A和B。

3.2、采用3×3的模板对f_u进行均值滤波，得到f_l，计算f_u-f_l得到f_h。

3.3、通过计算f_o＝Af_u+B(f_u-f_l)对f_u实现增强。

实施例

本发明提出的图像自适应增强算法流程如图1所示。以货车故障动态图像检测系统(以下简称TFDS系统)所采集的图像为例，进行了实验验证。TFDS系统工作在全天候环境下，摄像机直接拍摄的动态图像的对比度低、细节不清晰、亮度偏暗，必须经过增强后才能进行进一步处理。因此将基于神经网络的图像自适应增强方法应用于TFDS系统以验证该算法有有效性。

首先选取100张由TFDS系统采集的图像，计算其灰度均值和标准偏差并将其进行归一化后作为神经网络训练的输入向量，再对图像进行手动增强，通过多次实验确定增强系数A、B的大小，将其归一化后作为神经网络训练的目标向量。表1为部分实验数据。

首先建立一个三层前馈的神经网络，如图2所示。采用式[1]中计算的输入向量和目标向量作为神经网络的输入和输出，对神经网络进行了训练。根据式[1]和多次训练结果，确定单隐层神经元数为10时网络误差最小，因此采用隐层神经元数为10时训练的神经网络建立图像的灰度均值及其标准差与增强系数A、B之间的关系。

另选10幅TFDS系统采集的图像对神经网络的映射关系进行验证，实验结果详见表2。其中，p₁和p₂为图像增强前后的熵，t为神经网络的运行时间，单位为ms。图像熵作为图像信息量的度量，可以较好的评价图像的对比度和清晰度。从表2可以看出，增强后图像的信息量都有了很大的提高，且该算法的实时性强，可用于在线检测系统的预处理。

图3为其中一次实验，(a)为原图像，其均值及标准偏差分别为20.25和19.76，图像熵为3.53。(b)为原图的直方图，直方图的组成成分集中在灰度级低的一侧且直方图较窄。从图像本身和其直方图不难看出原图像的亮度和对比度都较低。利用神经网络进行仿真得到增强系数A、B分别为4.99和2.95，运算时间为46.9ms。增强后图像的熵为4.81，(c)和(d)分别为高频增强后的图像及其直方图。其直方图的灰度分布较为均匀，范围更广。从增强后图像及其直方图上均可看出增强后的图像在亮度和对比度上都有显著提高。

表1部分实验数据

表2实验结果

从实验结果可以看出，本发明提出的图像自适应增强算法，计算量小，实时性强，解决了传统高频增强算法中增强系数需根据经验或多次实验进行选择，效率低的问题，实现了图像的自适应增强。

Claims (1)

1.一种基于神经网络的图像自适应增强方法，其特征在于，图像的自适应增强分为建立增强系数映射模型阶段和图像增强处理阶段，进行一次增强系数映射关系模型建立后可以连续进行图像增强处理，具体步骤如下：

1.1、用f_u表示原始图像，f_o表示增强处理后的输出图像，f_l表示f_u的低频分量，f_h表示f_u的高频分量，f_h＝f_u-f_l；f_u的灰度级均值用m表示，标准偏差用σ表示；用A表示f_u的增强系数，用B表示f_h的增强系数；

1.2、建立增强系数映射模型阶段：

1.2.1、选取样本图像f_u，对f_u进行手动增强处理，获得f_u的m和σ以及对应的A和B，具体步骤为：

第一步，计算f_u的m和σ；

第二步，采用3×3的模板对f_u进行均值滤波，得到f_l，计算f_u-f_l得到f_h；

第三步，通过计算f_o＝Af_u+Bf_h对f_u进行增强处理；改变A对图像的亮度增强，改变B对图像的对比度增强，f_o达到最佳视觉效果时，记录m、σ、A和B；

第四步，选择另一幅样本图像，重复进行步骤1.2.1中的第一步到第三步，获取50幅以上样本图像的m、σ以及对应的A和B；

1.2.2、以步骤1.2.1中的样本图像的m、σ作为神经网络的输入，A和B作为神经网络的期望输出，训练BP神经网络，建立增强系数的神经网络映射模型，具体步骤如下：

第一步，建立增强系数的三层前馈神经网络映射模型，该网络包含一个输入层、一个隐层和一个输出层；输入层和输出层各包含两个神经元，隐层的神经元数目为

n和k为输入及输出层神经元的个数，a为1～10之间的常数；

第二步，以步骤1.2.1中获取的样本图像的m、σ作为学习样本的输入，A和B作为学习样本的输出；对步骤1.2.2中的第一步建立的增强系数的神经网络映射模型进行训练，对各组学习样本，采用BP算法和Levenberg-Marquardt算法相结合训练得到增强系数的神经网络映射模型的最优模型参数及其权值；

1.3、图像增强处理阶段：

1.3.1、计算待增强图像f_u的m和σ，将m和σ作为步骤1.2中建立的增强系数的神经网络映射模型的输入，获取增强系数A和B；

1.3.2、采用3×3的模板对f_u进行均值滤波，得到f_l，计算f_u-f_l得到f_h；

1.3.3、通过计算f_o＝Af_u+B(f_u-f_l)对f_u实现增强。

Images