CN103310429B - 基于方向波域的隐马尔可夫树模型的图像增强方法 - Google Patents

Abstract

本发明公开了一种基于方向波域的隐马尔可夫树模型的图像增强方法，主要解决传统图像增强算法会引起边缘处失真，细节增强不明显的问题。其实现步骤为：(1)对图像进行方向波变换，获得三组高低频系数；(2)对高频系数建立HMT模型，得到模型参数集；(3)利用EM算法对参数集进行训练得到它的估计值，并计算高频系数的后验概率；(4)对三组高频系数进行非线性匹配的增强处理；(5)对三组低频系数和增强后高频系数进行方向波逆变换，获得三个增强后的图像；(6)将三个增强图像进行加权平均，获得最终的增强图像。本发明具有方向选择性好，细节增强效果明显，对比度高的优点，可用于遥感图像、低对比度的图像增强处理。

Description

基于方向波域的隐马尔可夫树模型的图像增强方法

技术领域

本发明属于图像处理技术领域，涉及对图像的增强方法，可用于开展航空航天影像、天文学影像、军事等领域的数字图像预处理。

背景技术

图像在传输过程中，不可避免地会受到诸如传感器灵敏度不足、成像光源散射、模数转换问题以及随机噪声等各种因素的干扰，这就导致了最终获得的图像不能达到令人满意的视觉效果。为了更有利于对图像中信息的跟踪、理解，对原始图像要进行改善处理，即图像增强。图像增强是指根据特定的需要突出图像的某些信息，同时抑制其他信息。以质量评价的角度来看，其主要目的是提高图像的可懂度。

近年来，随着计算机技术的发展，图像增强的方法法大量涌现。图像增强方法可分为空间域方法和变换域方法两大类。其中，空间域方法，是指直接对图像的像素进行各种处理，从而得到图像增强的效果。主要有直方图均衡化方法，锐化处理、灰度变换等方法，这些方法虽然复杂度低，对本身质量较好的图像有良好的增强效果。但是，对于退化严重的图像，这些简单方法的增强效果却并不十分明显。目前，也有一些研究人员对这些经典的方法进行了进一步改进，包括改进的直方图方法、改进的锐化处理方法，取得了较好的研究效果。这也说明了经典的图像增强方法，还是有其借鉴和研究的意义。而变换域方法，是指将图像从空间域变换至某种变换域，进行系数处理，然后再变换回空间域，从而得到图像增强的效果。变换域包括很多种，如频域、小波域、以及最近几年兴起的图像经过多尺度几何工具分析得到的变换域：如轮廓波域、方向波域等。

传统的图像增强算法虽然在一定程度上取得了较好的增强效果，但是对于具有低对比度，低分辨率的遥感图像，增强效果并不好。小波方法能较好地提高对比度、抑制噪声。

为了充分利用小波系数的簇性和持续性，一些学者将小波理论和隐马尔可夫树(HMT)模型结合起来，提出了小波域的隐马尔可夫树模型。Xia Chang等人将小波域HMT模型应用到图像增强中，取得了很好的效果。但是小波变换的基是各向同性的，很难准确表达图像中方向性的边缘信息。

发明内容

本发明的目的在于针对上述现有技术中的不足，提出一种基于方向波域的隐马尔可夫树模型的图像增强方法，以有效提高图像的对比度，更好地捕捉图像的方向性边缘信息和细节纹理信息。

本发明目的的技术方案是：通过对图像进行方向波变换，息获取高频子带系数和低频子代系数；对高频子带系数进行HMT建模，得到模型参数集，并获得高频子带系数的各个状态的后验概率；对高频子带系数通过非线性匹配的增强处理；将所得高频子带系数与低频子代系数进行方向波逆变换获得增强后的图像。具体步骤包括如下：

(1)输入一幅图像，对它分别进行45度、90度及135度三个方向的方向波变换，得到高频子带系数H和低频子带系数L；

(2)对高频子带系数H建立HMT模型，得到HMT模型的参数集

$\mathrm{\θ}=\{P_{S_j}\left(m\right),{\mathrm{\μ}}_{j,m},{\mathrm{\σ}}_{j,m}^2,{\mathrm{\ϵ}}_{j,\mathrm{\ρ}\left(j\right)}^{\mathrm{mn}}\},$

其中，表示节点j的状态S_j取值为m时的概率，

μ_j,m表示节点j的状态值为m时高斯模型的均值，

表示节点j的状态值为m时高斯模型的方差，

表示节点j的状态S_j取值为m时，它的父节点ρ(j)的状态S_ρ(j)取值

为n的转移概率，

m为节点j的状态值，取值为1，2或3，

n为节点j的父节点ρ(j)的状态值，取值为1，2或3；

(3)利用期望最大算法即EM算法对参数集θ进行训练得到它的估计值根据估计值计算高频子带系数H状态值为m的后验概率：p(m|H,θ^l)，

其中，H表示高频子带系数，l表示迭代次数，θ^l表示对参数集θ迭代l次所得的参数集；

(4)对高频子带系数H进行非线性匹配的增强处理，得到增强后的高频子带H'；

(5)将(1)中获得的低频子带系数L和(4)中获得的高频子带系数H'进行方向波逆变换，分别得到45度、90度及135度增强的图像；

(6)将三个增强图像进行加权平均，获得最终的增强图像。

本发明与现有的技术相比具有以下优点：

1．根据方向波系数具有的持续性和簇性，构建HMT模型，并采用三状态高斯混合模型将方向波系数分为平滑背景系数及强弱边缘系数。在保持平滑背景系数，增强细节特征系数，同时利用HMT模型方差估计去除噪声对遥感图像进行增强。

2．本发明利用HMT模型对图像的方向波高频子带系数建模，与传统的基于小波变换的方法相比，能充分挖掘数据之间的相关性，达到更好的融合效果。

3．本发明采用方向波变换进行高低频信息提取，由于方向波变换能沿着任意两个方向进行，克服了现有技术由于滤波方向的限制奇异性信息提取不正确的缺点，通过多个滤波方向组合能有效提取图像的奇异性几何信息。

本发明对三幅图像进行了增强测试，分别从视觉效果和客观评价指标方面对增强结果进行评价，表明了本发明的方法是有效的、可行的。

附图说明

图1为本发明的总流程图；

图2为本发明中对图像进行陪集变换，产生对应陪集的子流程图；

图3为本发明中对方向波域的高频子带系数的HMT模型参数训练的子流程图；

图4为用本发明与其他方法对县城图的增强实验结果对比图；

图5为用本发明与其他方法对公路图的增强实验结果对比图；

图6为用本发明与其他方法对山区图的增强实验结果对比图。

具体实施方式

下面结合附图1对本发明的步骤作进一步的详细描述。

步骤1，输入原始图像，并对其构造三个变换矩阵，再图像进行方向波变换，获得三组低频信息和高频信息：

(1a)输入原始图像，选定图像的变换方向和队列方向，构造变换矩阵M_Λ：

$M_{\mathrm{\Λ}}=\left[\begin{array}{cc}{a}_1& b_1\\ a_2& b_2\end{array}\right]=\left[\begin{array}{c}{d}_1\\ d_2\end{array}\right],a_1,a_2,b_1,b_2\⋐Z$

其中，a₁,a₂,b₁,b₂是构成变换矩阵矩阵M_Λ的四个整数元素值；向量d₁＝[a₁,b₁]，其方向为变换方向，斜率为b₁/a₁；向量d₂＝[a₂,b₂]，其方向为队列方向，斜率为b₂/a₂；Λ为整数格；Z为整数域；

(1b)从变换矩阵式M_Λ中选取三个变换矩阵为： $\left[\begin{array}{cc}1& 0\\ -1& 1\end{array}\right],\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],\left[\begin{array}{cc}1& 0\\ 1& 1\end{array}\right],$ 分别对应45度、90度和135度三个方向；

(1c)通过三个变换矩阵对图像进行陪集变换，产生三个对应的陪集P(x,y)，利用变换矩阵对图像的陪集变换过程如图2所示，步骤如下：

(1c1)通过变换矩阵 $\left[\begin{array}{cc}1& 0\\ -1& 1\end{array}\right]$ 对图像I(x,y)进行陪集变换，得到陪集为P(x,y)₁，如图2(a)所示；

(1c2)通过变换矩阵 $\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$ 对图像I(x,y)进行陪集变换，得到陪集为P(x,y)₂，如图2(b)所示；

(1c3)通过变换矩阵 $\left[\begin{array}{cc}1& 0\\ 1& 1\end{array}\right]$ 对图像I(x,y)进行陪集变换，得到陪集为P(x,y)₃，如图2(c)所示；

(1d)对陪集P(x,y)进行水平两次一维小波变换和垂直一次一维小波变换，得到高频子带系数H和低频子带系数L，步骤如下：

(1d1)对陪集P(x,y)₁进行水平两次一维小波变换和垂直一次一维小波变换，得到高频子带系数H₁和低频子带系数L₁；

(1d2)对陪集P(x,y)₂进行水平两次一维小波变换和垂直一次一维小波变换，得到高频子带系数H₂和低频子带系数L₂；

(1d3)对陪集P(x,y)₃进行水平两次一维小波变换和垂直一次一维小波变换，得到高频子带系数H₃和低频子带系数L₃。

步骤2，对高频子带系数H建立HMT模型，分别得到模型的参数集θ。

(2a)对高频子带系数H建立三个状态的高斯混合模型，分别得到其高斯混合模型的参数μ_j,m，及

其中，μ_j,m表示节点j的状态变量S_j取值为m时高斯模型的均值，

表示节点j的状态变量S_j取值为m时高斯模型的方差，

表示节点j的状态变量S_j取值为m时的概率，

m为状态数，取值为1，2，3；

(2b)利用方向波同一方向尺度系数状态间的依赖性，引入状态转移概率 表示序号为j的节点的状态S_j为m时它的父节点状态S_ρ(j)为n的转移概率，m和n为状态数，取值均为1或2或3；

(2c)利用上述所得参数组成HMT模型的参数集θ，即

步骤3，利用期望最大算法即EM算法对参数集θ进行训练，得到它的估计值

由于HMT模型是一种不完全数据的统计模型，因此本发明采用由Dempster等人在文献“Maximum likelihood from incomplete data via the EM algorithm”中提出的EM算法对HMT模型的参数进行训练。参照图3，本步骤的具体实现如下：

(3a)选择一个初始模型估计θ⁰，设置迭代计数器l＝0；

(3b)计算高频子带系数H的状态值为m的后验概率：p(m|H,θ^l)，并计算高频子带系数H的状态值为m的后验概率的期望值：E[lnp(H,m|θ^l)|H,θ^l]，其中E期望函数，ln(·)为取对数，H为高频子带系数，θ^l为θ⁰迭代l次后的值；

(3c)更新参数θ^l+1＝argmax_θE[lnp(H,m|θ^l)|H,θ^l]，其中argmax(值函数；

(3d)判断|θ^l+1-θ^l|＜δ是否满足，如果满足则循环终止，得到否则迭代计数器l＝l+1，θ^l＝θ^l+1，返回步骤(3b)继续循环，其中δ为收敛条件，本实例中δ＝1×10^-4。

步骤4，对高频子带系数进行非线性匹配的增强处理：

(4a)通过如下增益函数的高频子带信息H进行非线性增强处理：

$H^{\′}=\frac{\mathrm{sigm}\left(\mathrm{cH}\right)-\mathrm{sigm}(-\mathrm{cH})}{\mathrm{sigm}\left(c\right)-\mathrm{sigm}(-c)}$

其中，H'为高频信息的增强图像，H为高频子带信息，c为控制增强强度的参数，取值为0＜c＜1，sigm函数定义为：x为函数sigm的输入值；

(4b)增强后的高频子带信息H'的条件期望为：

$E\left(H^{\′}\right|H,\mathrm{\θ})=\underset{m=1}{\overset{3}{\mathrm{\Σ}}}P(S_j=m|H,\mathrm{\θ})\frac{{\left({\mathrm{\σ}}_{j,m}^{\′}\right)}^2}{{\left({\mathrm{\σ}}_{j,m}^{\′}\right)}^2+{\mathrm{\σ}}^2}{h}_{m}H,$

其中，E(H'|H,θ)是增强后的高频子带系数的条件期望，θ为HMT模型的参数集，P(S_j＝m|H,θ)表示节点j的状态值为m的后验概率，为中间变量，是对高频子带系数H进行去噪的公式，(σ'_j,m)²为中间变量，它的值为为节点j的状态值为m时高斯模型的方差，(·)₊表示对输入值取正值，σ²为高频子带系数H的方差，由中值滤波器计算得到，即 median(·)表示中值函数，abs(·)表示绝对值函数，h_m为增强因子。

步骤5，将步骤1中低频子代系数和增强后高频子带信息H'进行45度、90度、135度三个方向的逆变换，分别得到45度增强的图像IH(x,y)₁、90度增强的图像IH(x,y)₂和135度增强的图像IH(x,y)₃。

步骤6，将上述三个增强图像进行加权平均，获得最终的增强图像IH(x,y)。

$\mathrm{IH}(x,y)=\frac{\mathrm{IH}{(x,y)}_1+\mathrm{IH}{(x,y)}_2+\mathrm{IH}{(x,y)}_3}{3},$

其中，IH(x,y)₁是45度的增强图像，IH(x,y)₂是90度的增强图像，IH(x,y)₃是135度的增强图像。

本发明的效果通过以下仿真进一步说明。

1.仿真条件

本实验的硬件测试平台是：Intel Core2CPU,主频1.86GHz,内存1.97GB,软件平台为：Windows7操作系统和Matlab R2009a。实验中选用的遥感图像为512地震后台湾福卫二号卫星FORMOSAT-2拍摄茂县震区遥感图片中的三幅子图像，解析度为2米，大小均为512×512。为了验证本发明的有效性，还采用了小波变换的方法和基于小波域HMT模型的图像增强方法进行对比，实验中采用db4小波，小波和方向波变换均进行4层分解。

2.仿真内容与结果

仿真1，利用本发明方法与其他现有图像增强方法对茂县县城图进行增强，结果如图4所示，其中：

图4(a)为待增强处理的茂县县城图；

图4(b)为用小波变换的方法对图4(a)增强的结果图；

图4(c)为用小波域HMT模型的方法对图4(a)增强的结果图；

图4(d)为本发明的方法对图4(a)增强的结果图。

仿真2，利用本发明方法与其他现有图像增强方法对茂县公路图进行增强，结果如图5所示，其中：

图5(a)为待增强处理的茂县公路图；

图5(b)为用小波变换的方法对图5(a)增强的结果图；

图5(c)为用小波域HMT模型的方法对图5(a)增强的结果图；

图5(d)为本发明的方法对图5(a)增强的结果图。

仿真3，利用本发明方法与其他现有图像增强方法对茂县山区图进行增强，结果如图6所示，其中：

图6(a)为待增强处理的茂县山区图；

图6(b)为用小波变换的方法对图6(a)增强的结果图；

图6(c)为用小波域HMT模型的方法对图6(a)增强的结果图；

图6(d)为本发明的方法对图6(a)增强的结果图。

3.仿真结果分析

(3a)从视觉效果上对图4，图5，图6中各方法的增强结果进行主观评价。

如图4(b)，5(b)，6(b)所示，小波变换的增强方法，遥感图像对比度有所提高。在对山脉、平地背景区域纹理进行保持的基础上，对具有结构特征的人工建筑有一定的细节增强。

如图4(c)，5(c)，6(c)所示，小波域HMT图像增强方法，该方法增强后的图像细节纹理更明显，提高了图像的清晰度，更适合人的视觉感官系统。

如图4(d)，5(d)，6(d)所示，方向波域HMT图像增强方法，能更好地捕抓图像方向性特征，对方向波系数进行HMT建模，能更全面有效地表征图像。而且在增强阶段，分为平滑背景，弱边缘，强边缘三状态分别进行不同的增强规则。本方法得到比之前各方法，更好的细节增强效果，在得到清晰的山脉平地背景区域的同时，也得到了更为突出的人工建筑目标。

(3b)从客观评价指标上对图4，图5，图6中各方法的增强结果进行主观评价。

目前，如何用客观评价方法判定增强效果好坏并没有统一的标准，相对来说，本发明的侧重点在图像细节的增强上，所以选择BV-DV值和清晰度作为客观评价的指标对增强图像进行评价，所得客观评价指标的数值结果，如表1，表2，表3所示。其中，BV-DV值：把图像的像素分成背景像素和前景像素，所有背景像素邻域方差的平均值就是BV值，所有前景像素邻域方差的平均值就是DV值；好的图像增强方法会使增强之后的图像和原图像相比，DV值增大很多，说明图像细节获得较大增强，而BV值相差不大，说明图像背景信息变化不大；清晰度(DEF)：反映图像非常微小的细节反差以及纹理变换的特征，清晰度越大，说明图像越清晰。

表1.对图4中各方法的增强结果的客观评价指标的数值结果

茂县城县城图	DV	BV	DV/BV	DEF*e-4
					原始图像	21.3354	1.6804	12.6963	138
Wavelet	24.1584	1.7411	13.8756	257
					Wavelet HMT	24.7907	1.6513	15.0125	261
本发明方法	26.8316	1.6560	16.2022	272

表2.对图5中各方法的增强结果的客观评价指标的数值结果

茂县城县城图	DV	BV	DV/BV	DEF*e-4
					原始图像	18.2968	1.5838	11.5525	19
Wavelet	20.8376	1.7249	12.0805	32
					Wavelet HMT	22.1893	1.6330	13.5877	39

本发明方法

23.9008

1.7098

13.9788

55

表3.对图6中各方法的增强结果的客观评价指标的数值结果

茂县城县城图	DV	BV	DV/BV	DEF*e-4
					原始图像	18.2968	1.5838	11.5525	19
Wavelet	20.8376	1.7249	12.0805	32
					Wavelet HMT	22.1893	1.6330	13.5877	39
本发明方法	23.9008	1.7098	13.9788	55

综上，本发明采用方向波变换能有效捕获图像各向异性的方向信息，在消除伪吉布斯效应的同时，增加了多方向细节信息，且在保持清晰背景信息的同时，能更好地增强图像细节信息，更适合人的视觉感官系统。

Claims (4)

1.一种基于方向波域的隐马尔可夫树模型的图像增强方法，包括如下步骤：

(1)输入一幅图像，对它分别进行45度、90度及135度三个方向的方向波变换，得到高频子带系数H和低频子带系数L；

(2)对高频子带系数H建立HMT模型，得到HMT模型的参数集 $\mathrm{\θ}=\{P_{S_j}\left(m\right),{\mathrm{\μ}}_{j,m},{\mathrm{\σ}}_{j,m}^2,{\mathrm{\ϵ}}_{j,\mathrm{\ρ}\left(j\right)}^{\mathrm{mn}}\},$

其中，表示节点j的状态S_j取值为m时的概率，

μ_j,m表示节点j的状态值为m时高斯模型的均值，

表示节点j的状态值为m时高斯模型的方差，

表示节点j的状态S_j取值为m时，它的父节点ρ(j)的状态S_ρ(j)取值

为n的转移概率，

m为节点j的状态值，取值为1，2或3，

n为节点j的父节点ρ(j)的状态值，取值为1，2或3；

(3)利用期望最大算法即EM算法对参数集θ进行训练得到它的估计值根据估计值计算高频子带系数H状态值为m的后验概率：p(m|H,θ^l)，

其中，H表示高频子带系数，l表示迭代次数，θ^l表示对参数集θ迭代l次所得的参数集；

(4)对高频子带系数H进行非线性匹配的增强处理，得到增强后的高频子带H'；

(5)将(1)中获得的低频子带系数L和(4)中获得的高频子带系数H'进行方向波逆变换，分别得到45度、90度及135度增强的图像；

(6)将三个增强图像进行加权平均，获得最终的增强图像。

2.根据权利要求1所述的基于方向波域的隐马尔可夫树模型的图像增强方法，其中步骤(1)所述的对图像进行方向波变换，获得高频子带系数H和低频子带系数L，按如下步骤进行：

(2a)输入原始图像，选定图像的变换方向和队列方向，构造变换矩阵M_Λ：

$\begin{array}{cc}{M}_{\mathrm{\Λ}}=\left[\begin{array}{cc}{a}_1& b_1\\ a_2& b_2\end{array}\right]=\left[\begin{array}{c}{d}_1\\ d_2\end{array}\right]& a_1,a_2,b_1,b_2\⋐Z\end{array}$

其中，a₁,a₂,b₁,b₂是构成变换矩阵矩阵M_Λ的四个整数元素值；向量d₁＝[a₁,b₁]，其方向为变换方向，斜率为b₁/a₁；向量d₂＝[a₂,b₂]，其方向为队列方向，斜率为b₂/a₂；Λ为整数格；Z为整数域；

(2b)选取45度、90度、135度变换方向，其对应的变换矩阵为： $\left[\begin{array}{cc}1& 0\\ -1& 1\end{array}\right],$ $\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],\left[\begin{array}{cc}1& 0\\ 1& 1\end{array}\right];$

(2c)通过三个变换矩阵对输入图像进行陪集变换，得到三个对应的陪集；

(2d)对陪集沿水平和垂直方向分别进行两次一维小波变换和一次一维小波变换，得到高频子带系数H和低频子带系数L。

3.根据权利要求1所述的基于方向波域的隐马尔可夫树模型的图像增强方法，其中步骤(2)所述的对高频子带系数建立HMT模型，得到模型的参数集θ，按如下步骤进行：

(3a)对高频子带系数H建立三个状态的高斯混合模型，得到其高斯混合模型的参数分别为μ_j,m，及

其中，μ_j,m表示节点j的状态S_j取值为m时高斯模型的均值，

表示节点j的状态S_j取值为m时高斯模型的方差，

表示节点j的状态S_j取值为m时的概率，

m为状态数，取值为1，2或3；

(3b)利用方向波同一方向尺度系数状态间的依赖性，引入状态转移概率其中，表示序号为j的节点的状态S_j为m时它的父节点状态S_ρ(j)为n的转移概率，n为父节点ρ(j)的状态数，取值为1，2或3；

(3c)利用上述所得参数组成HMT模型的参数集θ，即

4.根据权利要求1所述的基于方向波域的隐马尔可夫树模型的图像增强方法，其中步骤(4)所述的对高频子带系数H进行非线性匹配的增强处理，按如下步骤进行：

(4a)通过如下增益函数的高频子带系数H进行非线性增强处理：

$H^{\′}=\frac{\mathrm{sigm}\left(\mathrm{cH}\right)-\mathrm{sigm}(-\mathrm{cH})}{\mathrm{sigm}\left(c\right)-\mathrm{sigm}(-c)}$

其中，H'为高频信息的增强图像，H为高频子带系数，c为控制增强强度的参数，取值为0<c<1，sigm函数定义为：x为函数sigm的输入值；

(4b)增强后的高频子带信息H'的条件期望为：

$E\left(H^{\&prime;}\right|H,\mathrm{\&theta;})=\underset{m=1}{\overset{3}{\mathrm{\&Sigma;}}}P(S_j=m|H,\mathrm{\&theta;})\frac{{\left({\mathrm{\&sigma;}}_{j,m}^{\&prime;}\right)}^2}{{\left({\mathrm{\&sigma;}}_{j,m}^{\&prime;}\right)}^2+{\mathrm{\&sigma;}}^2}{h}_{m}H,$

其中，E(H'|H,θ)是增强后的高频子带系数的条件期望，θ为HMT模型的参数集，P(S_j＝m|H,θ)表示节点j的状态值为m的后验概率，为中间变量，是对高频子带系数H进行去噪的公式，(σ'_j,m)²为中间变量，它的值为为节点j的状态值为m时高斯模型的方差，σ²为高频子带系数H的方差，由中值滤波器计算得到，即median(·)表示中值函数，abs(·)表示绝对值函数，h_m为增强因子。