CN112819716B - 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法 - Google Patents

Abstract

基于高斯‑拉普拉斯金字塔的无监督学习X光图像增强方法，该方法首先使用高斯‑拉普拉斯金字塔算法生成高对比度高噪声图像X_GL；然后，将原始图像X_ori输入至X光图像增强网络中，得到网络输出图像X_net；在整个过程中，使用对比度相似度损失函数计算图像X_net与图像X_GL之间的对比度相似度值，使用结构相似度损失函数计算图像X_net与原始图像X_ori之间的结构相似度值，将两者乘以相应的系数后相加得到总相似度值，不断迭代优化使之收敛至最小。最终完成优化，满足要求的生成图像X_net即为最终的输出图像X_output。与现有X光图像增强方法相比，本发明处理后的图像对比度增强幅度合适、图像局部和整体的语义信息完整，同时处理后的图像结构平滑，噪声少，整体图像质量高。

Description

基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法。

背景技术

X光图像增强技术是图像处理领域一个备受关注的研究问题，通过放大X光图像中感兴趣区域结构的显示对比度，显著提高图像的视觉质量及可理解性，对于医学临床诊断和工业探伤等应用中的各类人工与自主感知设备具有重要意义。特别地，随着基于深度学习的计算机视觉技术的迅速发展，图像增强作为计算机视觉的应用热点之一，其算法效果也得到了显著的提升。

基于深度学习的图像增强算法通常分为有监督学习算法和无监督学习算法。有监督学习算法多适用于有对应基准图像的处理任务；无监督学习算法则适用于没有对应基准图像但有先验知识、物理模型的处理任务。X光图像因其成像特点，难以获得对应的基准图像，无法通过有监督学习构建算法，因此需要基于无监督学习来设计X光图像增强算法。高斯-拉普拉斯金字塔是一种传统的图像增强算法，尽管处理后会使得图像噪声放大，但该算法也显著提升X光图像的对比度，所以常用于工业和医学X光图像的增强任务。因此，将高斯-拉普拉斯金字塔算法作为先验知识，通过设计一个基于先验知识的无监督学习X光图像增强算法，有望进一步提高X光图像增强效果。

发明内容

本发明的目的在于提供一种基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法，以高质量地增强X光图像的对比度。

为达到上述目的，本发明采用如下技术方案来实现：

基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法，该方法首先使用高斯-拉普拉斯金字塔算法生成高对比度高噪声图像X_GL；然后，将原始图像X_ori输入至X光图像增强网络中，得到网络输出图像X_net；在整个过程中，使用对比度相似度损失函数计算图像X_net与图像X_GL之间的对比度相似度值，使用结构相似度损失函数计算图像X_net与原始图像X_ori之间的结构相似度值，将两者乘以相应的系数后相加得到总相似度值，不断迭代优化使之收敛至最小以优化图像X_net；最终，完成优化，满足高对比度低噪声需求的图像X_net即为最终的输出图像X_output。

本发明进一步的改进在于，该方法具体包括如下实现步骤：

1)先验知识图像的生成

首先使用高斯金子塔生成每次下采样的结果，使用拉普拉斯金字塔生成每次下采样丢失的残差信息；然后使用伽马变换对拉普拉斯金字塔中每层的图像做增强处理；最后使用高斯金字塔中的图像和增强后的拉普拉斯金字塔中的图像做上采样重建，即可得到高对比度高噪声的图像X_GL；

2)增强图像获取

X光图像增强网络采用编解码结构，其编码器和解码器各有4层；首先，将原始X光图像X_ori输入至该神经网络中，通过编码器不断下采样来多尺度地提取图像的特征信息，其中在编码器每层的卷积操作中使用膨胀卷积层替代标准卷积层；然后，使用跳层连接将每层提取的特征信息连接至解码器对应层以进行图像重建，最终的重建图像即为该神经网络的生成图像X_net；

3)增强效果优化

使用对比度相似度损失函数Loss_constract计算生成图像X_net与原图X_GL之间的对比度相似度值，使用结构相似度损失函数Loss_structure计算生成图像X_net与原图X_ori之间的结构相似度值，将两者乘以相应的系数后相加，即可得到总相似度值，不断迭代优化使之收敛至最小，最终完成优化，满足要求的生成图像X_net即为最终的输出图像X_output。

本发明进一步的改进在于，步骤1)中，根据X光图像分辨率大小将金字塔设置为K层，K满足{K|2K-1<H≤2K，2K-1<W≤2K}，其中H为X光图像高，W为X光图像宽；对比度增强阶段分为下采样分解和上采样重建两个阶段；

下采样分解阶段：1)将原始X光图像X_ori赋值给图像X_Input；2)对分辨率大小为H_Input×W_Input的图像X_Input进行高斯滤波，并使用最近邻插值法下采样得到大小为H_Input/2×W_Input/2的图像X_Gauss，将图像X_Gauss从下至上存入高斯金子塔中；3)对图像X_Gauss进行高斯滤波，并使用最近邻插值法上采样得到大小为H_Input×W_Input的图像X_E；4)用图像X_Gauss逐像素减去图像X_E得到图像X_Laplace，将图像X_Laplace从下至上存入拉普拉斯金字塔中；5)将图像X_Gauss赋值给图像X_Input；重复2)～5)过程直至高斯金字塔每层都被占据，即完成了分离阶段；其中，H_Input为输入图像的高，W_Input为输入图像的宽，高斯滤波器核大小为5×5；

上采样重建阶段：1)从高斯金字塔顶取出图像X_Gauss并赋值给图像X_R，其分辨率大小为H_R×W_R；2)对X_R进行高斯滤波并使用最近邻插值法上采样得到分辨率大小为2H_R×2W_R的图像X_F；3)取出拉普拉斯金字塔第K层的图像X_Laplace并使用伽马变换对图像X_Laplace做增强得到图像X_Enhance；4)将图像X_F和图像X_Enhance逐像素相加得到图像X_Rec；5)将图像X_Rec赋值给图像X_R，将K-1赋值给K；重复2)～5)直至取到拉普拉斯金字塔的第一层，即完成融合重建阶段；

完成上述两阶段后，即可得到高对比度高噪声的X光图像。

本发明进一步的改进在于，步骤2)中，编解码结构X光图像增强网络由一个下采样编码器和一个上采样解码器组成，其编码器和解码器各有4层；首先，将分辨率调整至512×512×1大小的原图用两个重复的标准卷积单元扩充维度至512×512×64；然后依次进行下采样编码和上采样解码；在下采样编码中，每层编码器的网络结构一样，均由一个步长为2的2×2最大池化操作、一个膨胀率为4的膨胀卷积单元、一个膨胀率为2的膨胀卷积单元、一个膨胀率为1的膨胀卷积单元组成；每经过一层编码器，图像特征的分辨率缩小一倍，通道数量增加一倍；在上采样解码中，每层解码器的网络结构一样，均由一个双线性插值上采样操作和两个相同的标准卷积单元组成；每层解码器都从编码器中接受相应的图像特征用于图像重建，即跳层连接；每经过一层解码器，分辨率放大一倍，特征通道数量减少一倍；在解码器最后一层即顶层，在将图像上采样至512×512×64后，利用1×1的标准卷积核进行卷积运算生成一张512×512×1的输出图像，该图像即为输出图像；其中，上述提到的标准卷积单元，包含一个3×3的标准卷积层，一个批标准化层，一个修正线性单元激活函数；上述提到的膨胀卷积单元结构，包含一个膨胀卷积层，一个批标准化层，一个修正线性单元激活函数，其中根据膨胀率的不同分为不同的膨胀卷积单元。

本发明进一步的改进在于，高对比度高噪声的图像X_GL的表达式为：

X_GL＝f_GL(X_ori)

其中，f_GL表示高斯-拉普拉斯金字塔算法，X_ori表示原始X光图像。

本发明进一步的改进在于，输出图像X_output的表达式为：

X_output＝f_net(X_GL,X_ori)

其中，f_net表示X光图像增强网络。

本发明进一步的改进在于，步骤3)中，Loss_constract和Loss_structure表达式为：

其中，μ_net是图像X_net的均值，μ_GL是图像X_GL的均值；σ_net是图像X_net的方差，σ_ori是图像X_ori的方差，σ_total是图像X_net和图像X_ori的协方差；c₁、c₂为常数，避免分母和分子中有0值，c₁、c₂在这里均取9×10^-4；

将对比度相似度损失函数和结构相似度损失函数乘以相应的系数后相加，即得到总相似度损失函数Loss_total：

Loss_total＝λ_constract×Loss_constract+λ_structure×Loss_structure

其中，λ_constract为对比度相似度损失函数的系数，在这里取1000；λ_structure为结构相似度损失函数的系数，在这里取1。

与现有技术相比，本发明至少具有如下有益的技术效果：

本发明提供的基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法，通过使用深度神经网络融合高对比度高噪声图像的对比度信息及原始图像的结构信息，有效解决现有算法引起的对比度增强不足和噪声放大问题。X光图像因其成像原理而无法获取对应的基准图像，故无法使用有监督学习设计算法架构，因此在整体算法架构设计中，使用高斯-拉普拉斯金字塔算法作为先验知识，采用无监督学习的算法架构，针对X光的图像特点设计了专门的神经网络结构和损失函数，使得算法无需基准图像，也可有效地增强X光图像的对比度。

进一步，因X光图像成像机理与可见光图像不同，导致了针对可见光图像设计的先验知识、物理模型无法适用于X光图像中。本发明采用高斯-拉普拉斯金字塔算法作为先验知识，该算法能够多尺度地增强X光图像的对比度，得到的增强图像局部和整体对比度增强效果好、语义信息完整。

本发明提出的编解码结构X光图像增强网络使用编码器提取不同分辨率下的图像特征，然后将每层特征信息跳层连接至解码器对应层进行图像重建，其中，在编码器每层的卷积操作中使用膨胀卷积替代标准卷积。因此，本发明提出的编解码结构能够多尺度地提取图像的高层特征和底层特征；同时，由于使用膨胀卷积替换编码器中的标准卷积，扩大了神经网络的感受野，使得编码器提取的特征更加完整、丰富。最终，融合重建得到的图像结构清晰，语义信息完整。

本发明提出对比度相似度损失函数Loss_constract和结构相似度损失函数Loss_structure作为神经网络的损失函数，避免了逐像素计算图像之间的差异，使得输出图像即拥有高对比度高噪声图像X_GL的高对比度和原始图像X_ori的平滑的纹理，又避免了输出图像拥有高对比度高噪声图像X_GL的噪声，同时边界不像原始图像X_ori一样过度的模糊。

附图说明

图1为本发明基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法的整体框架；

图2为本发明所使用的编解码结构X光图像增强网络示意图；

图3为本发明高斯-拉普拉斯金字塔算法示意图；

图4为本发明三种膨胀率的膨胀卷积示意图，其中图4(a)中的膨胀率＝1，图4(b)中的膨胀率＝2，图4(c)中的膨胀率＝4。

具体实施方式

以下结合附图和实施例对本发明作进一步的详细说明。

参考图1-4，本发明提供的基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法，包括以下步骤：

1)先验知识图像的生成：首先使用高斯金子塔生成每次下采样的结果，使用拉普拉斯金字塔生成每次下采样丢失的残差信息；然后使用伽马变换对拉普拉斯金字塔中每层的图像做增强处理；最后使用高斯金字塔中的图像和增强后的拉普拉斯金字塔中的图像做上采样重建，即可得到高对比度高噪声的图像X_GL；

2)增强图像获取：采用编解码结构(Encoder-Decoder)神经网络作为X光图像增强网络，其编码器和解码器各有4层，首先，将原始X光图像X_ori输入至该神经网络中，通过编码器(Encoder)不断下采样来多尺度地提取图像的特征信息，其中在编码器每层的卷积操作中使用膨胀卷积层替代标准卷积层；然后，使用跳层连接(Skip-Connection)将每层提取的特征信息连接至解码器(Decoder)对应层以进行图像重建，最终的重建图像即为该神经网络的生成图像X_net；

3)增强效果优化：使用对比度相似度损失函数Loss_constract计算生成图像X_net与原图X_GL之间的对比度相似度值，使用结构相似度损失函数Loss_structure计算生成图像X_net与原图X_ori之间的结构相似度值，将两者乘以相应的系数后相加得到总相似度值，不断迭代优化使之收敛至最小。最终完成优化，满足要求的生成图像X_net即为最终的输出图像X_output。

本发明在对原始X光图像数据集进行打乱、调整大小等常规数据预处理操作后，本发明提出的基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法主要包括先验知识图像的生成、增强图像获取和增强效果优化三个步骤：

1)图1是本发明的整体框架示意图。具体地，首先将原始X光图像X_ori输入至高斯-拉普拉斯金字塔中得到图像X_GL，即：

X_GL＝f_GL(X_ori)

其中，f_GL表示高斯-拉普拉斯金字塔算法。

然后将原始X光图像X_ori输入至X光图像增强网络中，使用总相似度损失函数Loss_total计算相似度值，并不断迭代优化使之收敛至最小，即可得到最终的输出图像X_output，即：

X_output＝f_net(X_GL,X_ori)

其中，f_net表示本发明所使用的X光图像增强网络。

2)先验知识图像的生成。本发明使用高斯-拉普拉斯金字塔算法作为先验知识生成高对比度高噪声图像，图3是高斯-拉普拉斯金字塔算法的流程图。具体的，根据X光图像分辨率大小将金字塔设置为K层，K满足{K|2K-1<H≤2K，2K-1<W≤2K}，其中H为X光图像高，W为X光图像宽。对比度增强阶段可分为下采样分解和上采样重建两个阶段。

下采样分解阶段：1)将原始X光图像X_ori赋值给图像X_Input；2)对分辨率大小为H_Input×W_Input的图像X_Input进行高斯滤波，并使用最近邻插值法下采样得到大小为H_Input/2×W_Input/2的图像X_Gauss，将图像X_Gauss从下至上存入高斯金子塔中；3)对图像X_Gauss进行高斯滤波，并使用最近邻插值法上采样得到大小为H_Input×W_Input的图像X_E；4)用图像X_Gauss逐像素减去图像X_E得到图像X_Laplace，将图像X_Laplace从下至上存入拉普拉斯金字塔中；5)将图像X_Gauss赋值给图像X_Input；重复2)～5)过程直至高斯金字塔每层都被占据，即完成了分离阶段；其中，H_Input为输入图像的高，W_Input为输入图像的宽，高斯滤波器核大小为5×5。

上采样重建阶段：1)从高斯金字塔顶取出图像X_Gauss并赋值给图像X_R，其分辨率大小为H_R×W_R；2)对X_R进行高斯滤波并使用最近邻插值法上采样得到分辨率大小为2H_R×2W_R的图像X_F；3)取出拉普拉斯金字塔第K层的图像X_Laplace并使用伽马变换对图像X_Laplace做增强得到图像X_Enhance；4)将图像X_F和图像X_Enhance逐像素相加得到图像X_Rec。5)将图像X_Rec赋值给图像X_R，将K-1赋值给K；重复2)～5)直至取到拉普拉斯金字塔的第一层，即完成融合重建阶段。

完成上述两阶段后，即可得到高对比度高噪声的X光图像。

3)增强图像获取。本发明采用编解码结构神经网络作为X光图像增强网络，图2是本发明所使用的神经网络结构示意图。该网络由一个下采样编码器(左边)和一个上采样解码器(右边)组成。然后依次进行下采样编码和上采样解码。在下采样编码中，每层编码器的网络结构一样，均由一个步长为2的2×2最大池化操作、一个膨胀率为4的膨胀卷积单元、一个膨胀率为2的膨胀卷积单元、一个膨胀率为1的膨胀卷积单元组成。每经过一层编码器，图像特征的分辨率缩小一倍，通道数量增加一倍。在上采样解码中，每层解码器的网络结构一样，均由一个双线性插值上采样操作和两个相同的标准卷积单元组成。每层解码器都从编码器中接受相应的图像特征用于图像重建，即跳层连接。每经过一层解码器，分辨率放大一倍，特征通道数量减少一倍。在解码器最后一层(顶层)，在将图像上采样至512×512×64后，利用1×1的标准卷积核进行卷积运算生成一张512×512×1的输出图像，该图像即为输出图像。其中，上述提到的标准卷积单元，包含一个3×3的标准卷积层，一个批标准化层(Batch Normalization)，一个修正线性单元(Rectified Linear Unit，ReLU)激活函数；上述提到的膨胀卷积单元结构，包含一个膨胀卷积层(见图4)，一个批标准化层，一个修正线性单元激活函数，其中根据膨胀率的不同分为不同的膨胀卷积单元。

4)增强效果优化。在使用神经网络获得生成图像X_net后，使用总相似度损失函数Loss_total计算生成图像X_net与高对比度高噪声图像X_GL、原始图像X_ori之间的相似度值，不断迭代优化使之收敛至最小。完成优化，满足需求的生成图像X_net即为最终输出图像X_output。

为了提升学习收敛速度，防止陷入局部最优点，本发明选择Adam优化器对模型参数进行更新。本发明选取NIH Chest X-rays数据集的一部分做训练，得到最终的模型。至此，模型训练完成，可进行线上推理任务。

Claims (7)

1.基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法，其特征在于，该方法首先使用高斯-拉普拉斯金字塔算法生成高对比度高噪声图像X_GL；然后，将原始图像X_ori输入至X光图像增强网络中，得到网络输出图像X_net；在整个过程中，使用对比度相似度损失函数计算图像X_net与高对比度高噪声图像X_GL之间的对比度相似度值，使用结构相似度损失函数计算图像X_net与原始图像X_ori之间的结构相似度值，将两者乘以相应的系数后相加得到总相似度值，不断迭代优化使之收敛至最小以优化图像X_net；最终，完成优化，满足高对比度低噪声需求的图像X_net即为最终的输出图像X_output。

2.根据权利要求1所述的基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法，其特征在于，该方法具体包括如下实现步骤：

1)先验知识图像的生成

首先使用高斯金子塔生成每次下采样的结果，使用拉普拉斯金字塔生成每次下采样丢失的残差信息；然后使用伽马变换对拉普拉斯金字塔中每层的图像做增强处理；最后使用高斯金字塔中的图像和增强后的拉普拉斯金字塔中的图像做上采样重建，即可得到高对比度高噪声图像X_GL；

2)增强图像获取

X光图像增强网络采用编解码结构，其编码器和解码器各有4层；首先，将原始X光图像X_ori输入至该神经网络中，通过编码器不断下采样来多尺度地提取图像的特征信息，其中在编码器每层的卷积操作中使用膨胀卷积层替代标准卷积层；然后，使用跳层连接将每层提取的特征信息连接至解码器对应层以进行图像重建，最终的重建图像即为该神经网络的生成图像X_net；

3)增强效果优化

使用对比度相似度损失函数Loss_constract计算生成图像X_net与高对比度高噪声图像X_GL之间的对比度相似度值，使用结构相似度损失函数Loss_structure计算生成图像X_net与原图X_ori之间的结构相似度值，将两者乘以相应的系数后相加，即可得到总相似度值，不断迭代优化使之收敛至最小，最终完成优化，满足要求的生成图像X_net即为最终的输出图像X_output。

3.根据权利要求2所述的基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法，其特征在于，步骤1)中，根据X光图像分辨率大小将金字塔设置为K层，K满足{K|2K-1<H≤2K，2K-1<W≤2K}，其中H为X光图像高，W为X光图像宽；对比度增强阶段分为下采样分解和上采样重建两个阶段；

下采样分解阶段：1)将原始X光图像X_ori赋值给图像X_Input；2)对分辨率大小为H_Input×W_Input的图像X_Input进行高斯滤波，并使用最近邻插值法下采样得到大小为H_Input/2×W_Input/2的图像X_Gauss，将图像X_Gauss从下至上存入高斯金子塔中；3)对图像X_Gauss进行高斯滤波，并使用最近邻插值法上采样得到大小为H_Input×W_Input的图像X_E；4)用图像X_Gauss逐像素减去图像X_E得到图像X_Laplace，将图像X_Laplace从下至上存入拉普拉斯金字塔中；5)将图像X_Gauss赋值给图像X_Input；重复下采样分解阶段步骤2)～5)过程直至高斯金字塔每层都被占据，即完成了分离阶段；其中，H_Input为输入图像的高，W_Input为输入图像的宽，高斯滤波器核大小为5×5；

上采样重建阶段：1)从高斯金字塔顶取出图像X_Gauss并赋值给图像X_R，其分辨率大小为H_R×W_R；2)对X_R进行高斯滤波并使用最近邻插值法上采样得到分辨率大小为2H_R×2W_R的图像X_F；3)取出拉普拉斯金字塔第K层的图像X_Laplace并使用伽马变换对图像X_Laplace做增强得到图像X_Enhance；4)将图像X_F和图像X_Enhance逐像素相加得到图像X_Rec；5)将图像X_Rec赋值给图像X_R，将K-1赋值给K；重复上采样重建阶段的步骤2)～5)直至取到拉普拉斯金字塔的第一层，即完成融合重建阶段；

完成上述两阶段后，即可得到高对比度高噪声的X光图像。

4.根据权利要求2所述的基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法，其特征在于，步骤2)中，编解码结构X光图像增强网络由一个下采样编码器和一个上采样解码器组成，其编码器和解码器各有4层；首先，将分辨率调整至512×512×1大小的原图用两个重复的标准卷积单元扩充维度至512×512×64；然后依次进行下采样编码和上采样解码；在下采样编码中，每层编码器的网络结构一样，均由一个步长为2的2×2最大池化操作、一个膨胀率为4的膨胀卷积单元、一个膨胀率为2的膨胀卷积单元、一个膨胀率为1的膨胀卷积单元组成；每经过一层编码器，图像特征的分辨率缩小一倍，通道数量增加一倍；在上采样解码中，每层解码器的网络结构一样，均由一个双线性插值上采样操作和两个相同的标准卷积单元组成；每层解码器都从编码器中接受相应的图像特征用于图像重建，即跳层连接；每经过一层解码器，分辨率放大一倍，特征通道数量减少一倍；在解码器最后一层即顶层，在将图像上采样至512×512×64后，利用1×1的标准卷积核进行卷积运算生成一张512×512×1的输出图像，该图像即为输出图像；其中，上述提到的标准卷积单元，包含一个3×3的标准卷积层，一个批标准化层，一个修正线性单元激活函数；上述提到的膨胀卷积单元结构，包含一个膨胀卷积层，一个批标准化层，一个修正线性单元激活函数，其中根据膨胀率的不同分为不同的膨胀卷积单元。

5.根据权利要求3所述的基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法，其特征在于，高对比度高噪声图像X_GL的表达式为：

X_GL＝f_GL(X_ori)

其中，f_GL表示高斯-拉普拉斯金字塔算法，X_ori表示原始X光图像。

6.根据权利要求4所述的基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法，其特征在于，输出图像X_output的表达式为：

X_output＝f_net(X_GL,X_ori)

其中，f_net表示X光图像增强网络。

7.根据权利要求2所述的基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法，其特征在于，步骤3)中，Loss_constract和Loss_structure表达式为：

其中，μ_net是图像X_net的均值，μ_GL是高对比度高噪声图像X_GL的均值；σ_net是图像X_net的方差，σ_ori是图像X_ori的方差，σ_total是图像X_net和图像X_ori的协方差；c₁、c₂为常数，避免分母和分子中有0值，c₁、c₂在这里均取9×10^-4；

将对比度相似度损失函数和结构相似度损失函数乘以相应的系数后相加，即得到总相似度损失函数Loss_total：

Loss_total＝λ_constract×Loss_constract+λ_structure×Loss_structure

其中，λ_constract为对比度相似度损失函数的系数，在这里取1000；λ_structure为结构相似度损失函数的系数，在这里取1。

Images