CN116993625B - 一种气管镜图像增强方法及系统 - Google Patents

Abstract

本发明提出了一种气管镜图像增强方法及系统,涉及图像增强技术领域。获取气管镜图像的二值化图像，对二值化图像进行边界重构；利用代表图像方向信息的灰度差距值对边界重构后的图像进行方向性调整；将方向性调整后的图像实施伪标记去除变换，计算得到修改的去伪图像；将修改的去伪图像进行对数域处理及图像增强，消除了图像中过多的区域极值和噪声,减小了区域轮廓的位置偏移，对不同类型图像的鲁棒性表现更好，实时性也能满足实际应用要求。

Description

一种气管镜图像增强方法及系统

技术领域

本发明涉及图像增强技术领域，具体涉及一种气管镜图像增强方法及系统。

背景技术

随着人们健康意识的提高，外周小结节检出率逐年升高，而对于肺小结节的进一步确诊，支气管镜检查是获取病理学标本方法之一，常规气管镜检查难以准确获取病变组织，阳性率低，远远不能满足临床要求，超细纤维支气管镜检查得到了广泛的应用。但临床中超细纤维支气管镜图像受到光纤传输和镜头质量的限制，图像分辨率较低，细节不够清晰，同时图像在生成和传输过程中受各种不利因素的影响，均可引起质量退化，同时噪声对图像质量也将产生严重影响，因此对气管镜图像必须通过图像增强突出图像中的细节部分，让图像更加清晰，更好的观察病灶。近年来，基于尺度空间和偏微分方程的图像处理方法在图像去噪领域得到了广泛的重视 ，因为它在平滑噪声的同时可以使边缘得到保持，并可通过与振动滤波相结合达到在去噪的过程中完成图像增强。

在现有的方法中，图像增强和去噪模型通过振动滤波与非线性扩散模型相结合，但两个模型相对孤立，且主要是通过使用不同的扩散模型以及对两种模型根据图像信息分配不同的权重达到增强和去噪效果，以至产生处理时间较长，且振动滤波效果不明显等问题。

发明内容

为了解决上述技术问题，本发明提出了一种气管镜图像增强方法，包括如下步骤：

S1、获取气管镜图像的二值化图像，对二值化图像进行边界重构；

所述边界重构过程首先是对二值化图像的边界点进行扩充，消除物体边界点，通过下式对所述二值化图像的边界点进行扩充：

；

式中，X为所述二值化图像的二值化像素x的集合，B为扩充元素b的集合，p为扩充后的像素点，为扩充后的图像的二值化像素集合；

其次通过下式对扩充后的图像的边界点进行微缩：

；

式中，Y为扩充后的图像的边界点像素集合，D为微缩元素集合，为微缩后的边界点像素，/>为微缩后的边界点像素集合；

S2、利用代表图像方向信息的灰度差距值对边界重构后的图像进行方向性调整；

设当前像素点的坐标为(i,j)，其邻域窗口为R，R的坐标为（m,n）：

R ={(m，n) |m-i| ≤ L；|n-j| ≤ L}，

L是邻域窗口长度的一半，l_a是过邻域窗口中心点且角度为a的一条直线并且将所述邻域窗口分成两个区域sa1和sa2，

；

；

；

其中：x_ij表示坐标为(i,j)的像素点的灰度值；

邻域窗口的方向性图像信息灰度差距值M_ij的定义为：

；

；

；

d_amax和d_amin分别为d_a的最大值和最小值，d_a为每个邻域窗口的两个区域的灰度和f_sa1、f_sa2之差的绝对值；

调整后的方向信息灰度差距值M’_i,j为:

M’_i,j=E’(i,j)×M_i,j；i=1,2,…,M；j=1, 2,…,N；

M×N为邻域窗口内图像的像素大小，E’(i,j)为每个邻域窗口n内的两个区域的灰度和之差的绝对值的平均值投影至区间[0,1]后的平均值；

S3、将方向性调整后的图像实施伪标记去除变换，计算得到修改的去伪图像；

S4、将修改的去伪图像进行对数域处理及图像增强。

进一步地，每个邻域窗口n内的两个区域的灰度和之差d_an的绝对值的平均值E(i,j)为：

；

其中，K为邻域窗口的方向个数，对E(i,j)进行归一化,将E(i,j)投影至区间[0,1],则投影后的平均值为：

；

表示取E(i,j)最小值，/>表示取E(i,j)最大值。

进一步地，步骤S3中，设I(x,y)为原图像,I_gf(x,y)为初始前景标记,对I_gf(x,y)进行如下修改，得到修改后的前景标记：

；

式中：I_R(x,y)、I_G(x,y)、I_B(x,y)分别表示原图像I(x,y)中像素点(x,y)处的RGB标记；

将所述修改后的前景标记进行欧氏距离变换，然后对欧氏距离变换结果进行分割，得到的分割线作为背景标记/>；

利用极小值标定技术，把前景标记和背景标记/>作为图像的局部极小值，得到修改的去伪图像I_gmark(x,y)。

进一步地，步骤S4中，分析输入梯度图像I_gmark(x,y),将其分解为I_{gmark R}(x,y)、I_{gmark B}(x,y)、I_{gmark G}(x,y)三幅RGB分量梯度图像；

将三幅RGB分量梯度图像放在对数域中处理，即：

；

；

；

将对数域处理后的三幅灰度图像、/>、/>合成增强后的结果图像/>。

本发明还提出了一种气管镜图像增强系统，用于实现气管镜图像增强方法，包括：二值化图像处理模块、边界重构单元、方向性调整单元、梯度图像计算单元、图像增强单元；

所述二值化图像处理模块，用于获取气管镜图像的二值化图像；

所述边界重构单元，用于对二值化图像进行边界重构；

所述方向性调整单元，用于利用代表图像方向信息的灰度差距值对边界重构后的图像进行方向性调整；

所述梯度图像计算单元，用于将方向性调整后的图像实施伪标记去除变换，计算得到修改的去伪图像；

所述图像增强单元，用于将修改的去伪图像进行对数域处理及图像增强。

相比于现有技术，本发明具有如下有益技术效果：

获取支气管镜摄像装置拍摄的二值化图像，对二值化图像进行边界重构；利用代表图像方向信息的灰度差距值对边界重构后的图像进行方向性调整；将方向性调整后的图像实施伪标记去除变换，计算得到修改的去伪图像；将修改的去伪图像进行对数域处理及图像增强，消除了图像中过多的区域极值和噪声,减小了区域轮廓的位置偏移，对不同类型图像的鲁棒性表现更好，实时性也能满足实际应用要求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的气管镜图像增强方法流程图；

图2为本发明的图像方向信息灰度差距值示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本发明的具体实施例附图中，为了更好、更清楚的描述系统中的各元件的工作原理，表现所述装置中各部分的连接关系，只是明显区分了各元件之间的相对位置关系，并不能构成对元件或结构内的信号传输方向、连接顺序及各部分结构大小、尺寸、形状的限定。

如图1所示，为本发明的一种气管镜图像增强方法流程图，包括如下步骤：

步骤1，获取支气管镜摄像装置拍摄的二值化图像，对二值化图像进行边界重构。

边界重构过程首先是对二值化图像的边界点进行扩充，消除物体边界点。

通过下式对二值化图像的边界点进行扩充：

；

式中，X为原始图像的二值化像素集合，B为扩充元素，p为扩充后的像素点，为扩充后的图像的二值化像素集合。

通过下式对扩充后的图像的边界点进行微缩：

；

式中，Y为扩充后的图像的边界点像素集合，D为微缩元素集合，为微缩后的边界点像素，/>为微缩后的边界点像素集合。

在优选实施例中，还可以在重构滤波前，对原始图像进行平滑处理，以除去原始图像中的噪声。计算原始图像的空气体素的平均梯度值，确定噪声级数，然后利用基于各向异性扩散滤波进行除噪，图像滤波次数取决于噪声级数。

步骤2，利用代表图像方向信息的灰度差距值对边界重构后的图像进行方向性调整。

如图2所示，代表图像方向信息的灰度差距值定义如下: 设当前像素点的坐标为(i,j)，其邻域窗口为R，R的坐标为（m,n）：

R ={(m，n) |m-i| ≤ L；|n-j| ≤ L}，L是邻域窗口长度的一半，l_a是过窗口中心点且角度为a的一条直线并且将该邻域窗口分成两个区域sa1和sa2，则邻域窗口的方向性图像信息灰度差距值M_ij的定义为：

；

；

；

；

；

；

其中：x_ij表示坐标为(i,j)的像素点的灰度值，d_a为每个邻域窗口的两个区域的灰度和f_sa1、f_sa2之差的绝对值，d_amax和d_amin分别为d_a的最大值和最小值。

每个邻域窗口n内的两个区域的灰度和之差的绝对值d_an的平均值E(i,j)为：

；

其中，K为邻域窗口的方向个数，M×N为邻域窗口内图像的像素大小，下一步对E(i,j)进行归一化,将E(i,j)投影至区间[0,1],则：

表示取E(i,j)最小值，/>表示取E(i,j)最大值；

调整后的方向信息灰度差距值M’_i,j为:

M’_i,j=E’(i,j)×M_i,j；(i=1,2,…,M;j=1, 2,…,N)。

若当前点的邻域内存在过中心点的边缘，由于边缘点具有方向性，因此当l_a的方向沿边缘轨迹方向时，两个方向上的两个区域的灰度和f_sa1、f_sa2之差的绝对值da取得极大值damax，而当l_a的方向沿垂直于边缘轨迹方向时，da取得极小值damin。由于边缘两边像素的灰度值存在显著差异，因此M_ij的值较大。

若当前点的邻域属于平滑区，无论l_a取什么方向，da的值都比较小。由于平滑区内像素的灰度值都基本相同，因此da的值都比较接近，从而M_ij的值较小。

若当前点的邻域属于纹理区，当观察尺度较小时，当前邻域还不足以反映纹理在灰度变化上的规律性，纹理表现的更具有边缘性，因此M_ij的值较大；当观察尺度较大时，也就是说，当前邻域能够包含足够多的纹理结构时，无论l_a取什么方向，两边的纹理结构都比较类似，因此da的值都比较接近，从而M_ij的值较小，表现得更具有平滑特性。

本步骤利用代表图像方向信息的灰度差距值对边界重构后的图像进行方向性调整，消除了初始图像中过多的区域极值和噪声,减小了区域轮廓的位置偏移。

步骤S3，将方向性调整后的图像实施伪标记去除变换，计算得到修改的去伪图像。

为了更好地抑制过分割,须要在过滤后的图像上进行标记控制,使局部极小值只在标记出现的地方产生，标记方法的选取直接影响最终的分割结果。

标记分为前景标记和背景标记,前景标记是基于目标对象,背景标记为目标对象以外的图像。

前景标记提取由于在图像中病灶和部分背景对比不明显,使传统标记算法得到的结果中包含部分伪标记。考虑到病灶和正常部位之间存在较大的颜色差异,因此可以根据色彩差异对伪标记进行过滤。和其他彩色模型相比,RGB彩色模型能更准确识别正常部位和病灶部位。在RGB彩色模型中，病灶和正常部位的最大颜色差异在于红色分量所占比例不同，病灶部位红色分量的比例最大,采用如下方法进行伪标记的滤除：

设I(x,y)为原图像，I_gf(x,y)为初始前景标记,对I_gf(x,y)进行如下修改，得到修改后的前景标记：

；

式中：I_R(x,y)、I_G(x，y)、I_B(x，y)分别表示原图 I(x，y) 中像素点(x，y)处的RGB标记。通过变换该式，为最终的前景标记图像，伪标记得到有效去除。

背景标记即除去目标对象的部分，采用局部极小值法对背景进行标记。

将上述修改后的前景标记进行欧氏距离变换，然后对欧氏距离变换结果进行分割，得到的分割线作为背景标记/>；

在得到前景标记和背景标记之后，利用极小值标定技术，把前景标记和背景标记/>作为图像的局部极小值，得到修改的去伪图像I_gmark。

步骤S4，将修改的去伪图像进行对数域处理及图像增强。

分析输入梯度图像I_gmark(x,y),将其分解为I_{gmark R}(x,y)、I_{gmark B}(x,y)、I_{gmark G}(x,y)三幅RGB分量梯度图像。

将三幅RGB分量梯度图像放在对数域中处理，即：

；

；

；

将对数域处理后的三幅灰度图像、/>、/>合成增强后的结果图像/>。

在优选实施例中，将增强后的结果图像I’（i,j）中的像素点的灰度值都初始化为constant,即:

R’(i,j)=constant；

S44、水平方向上，令h=widh/2，计算S'(i,j)与S'(i+h,j)之间的相对明暗关系Relation(i,j)，

通过该明暗关系对原始图像中的每个像素点的灰度值进行校正,则校正后结果图像中的像素点的灰度值为：

r[i][j]=constant-Relation[i][j]；

r[i+h][j]=constant+Relation[i][j]；

通过上式对R’(i,j)进行修正。

S45、垂直方向上,令l= height/2,计算S'(i,j)与S(i,j+l)之间的相对明暗关系Relation(i,j),通过该明暗关系对原始图像中的每个像素点的灰度值进行校正,则校正后结果图像中的像素点的灰度值为：

r[i][j]=constant-Relation[i][j]；

r[i][j+l]=constant+Relation[i][j]；

通过上式对R’(i,j)进行修正。

S46、令h=h/2,l=l/2,重复步骤4和步骤5,直到h=1且l=1。

S47、对增强后的图像R’’(i,j)进行线性拉伸,

对于8位的灰度图像,最亮的部分用255表示,最暗的部分用0表示,采用如下公式对像素点灰度值校正后的图像进行线性拉伸：

；

其中,min表示增强后图像中所有像素点灰度值中的最小值,而max表示增强后图像中所有像素点灰度值中的最大值，L[i][j]表示图像中的原像素点的灰度值经线性拉伸后的灰度值。

本发明还提出了一种气管镜图像增强系统，用于实现气管镜图像增强方法，包括：二值化图像处理模块、边界重构单元、方向性调整单元、梯度图像计算单元、图像增强单元。

二值化图像处理模块，用于获取支气管镜摄像装置拍摄的二值化图像。

边界重构单元，用于对二值化图像进行边界重构。

方向性调整单元，用于利用代表图像方向信息的灰度差距值对边界重构后的图像进行方向性调整。

梯度图像计算单元，用于将方向性调整后的图像实施伪标记去除变换，计算得到修改的去伪图像。

图像增强单元，用于将修改的去伪图像进行对数域处理及图像增强。

上述图像增强系统作为一个软件实施例设置在计算机设备中，用于通过软件接口接收支气管镜摄像装置拍摄输入的气管镜图像数据，并进行处理以得到高质量的增强图像后输出。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种气管镜图像增强方法，其特征在于，包括如下步骤：

S1、获取气管镜图像的二值化图像，对二值化图像进行边界重构；

所述边界重构过程首先是对二值化图像的边界点进行扩充，消除物体边界点，通过下式对所述二值化图像的边界点进行扩充：

；

式中，X为所述二值化图像的二值化像素x的集合，B为扩充元素b的集合，p为扩充后的像素点，为扩充后的图像的二值化像素集合；

其次通过下式对扩充后的图像的边界点进行微缩：

；

式中，Y为扩充后的图像的边界点像素集合，D为微缩元素集合，为微缩后的边界点像素，/>为微缩后的边界点像素集合；

S2、利用代表图像方向信息的灰度差距值对边界重构后的图像进行方向性调整；

设当前像素点的坐标为(i,j)，其邻域窗口为R，R的坐标为（m,n）：

R ={(m，n) |m-i| ≤ L；|n-j| ≤ L}，

L是邻域窗口长度的一半，l_a是过邻域窗口中心点且角度为a的一条直线并且将所述邻域窗口分成两个区域sa1和sa2，

；

；

；

其中：x_ij表示坐标为(i,j)的像素点的灰度值；

邻域窗口的方向性图像信息灰度差距值M_ij的定义为：

；

；

；

d_amax和d_amin分别为d_a的最大值和最小值，d_a为每个邻域窗口的两个区域的灰度和f_sa1、f_sa2之差的绝对值；

调整后的方向信息灰度差距值M＇_i,j为:

M＇_i,j =E＇(i,j)×M_i,j；i=1,2,…,M；j=1, 2,…,N；

M×N为邻域窗口内图像的像素大小，E’(i,j)为每个邻域窗口n内的两个区域的灰度和之差的绝对值的平均值投影至区间[0,1]后的平均值；

S3、将方向性调整后的图像实施伪标记去除变换，计算得到修改的去伪图像；

S4、将修改的去伪图像进行对数域处理及图像增强。

2.根据权利要求1所述的气管镜图像增强方法，其特征在于，

每个邻域窗口n内的两个区域的灰度和之差d_an的绝对值的平均值E(i,j)为：

；

其中，K为邻域窗口的方向个数，对E(i,j)进行归一化,将E(i,j)投影至区间[0,1],则投影后的平均值为：

；

表示取E(i,j)最小值，/>表示取E(i,j)最大值。

3.根据权利要求1所述的气管镜图像增强方法，其特征在于，步骤S3中，设I(x,y)为原图像,I_gf(x,y)为初始前景标记,对I_gf(x,y)进行如下修改，得到修改后的前景标记：

；

式中：I_R(x,y)、I_G(x,y)、I_B(x,y)分别表示原图像I(x,y)中像素点(x,y)处的RGB标记；

将所述修改后的前景标记进行欧氏距离变换，然后对欧氏距离变换结果进行分割，得到的分割线作为背景标记/>；

利用极小值标定技术，把前景标记和背景标记/>作为图像的局部极小值，得到修改的去伪图像I_gmark(x,y)。

4.根据权利要求1所述的气管镜图像增强方法，其特征在于，步骤S4中，分析输入梯度图像I_gmark(x,y),将其分解为I_{gmark R}(x,y)、I_{gmark B}(x,y)、I_{gmark G}(x,y)三幅RGB分量梯度图像；

将三幅RGB分量梯度图像放在对数域中处理，即：

；

；

；

将对数域处理后的三幅灰度图像、/>、/>合成增强后的结果图像/>。

5.一种气管镜图像增强系统，用于实现所述权利要求1-4任意一项所述的气管镜图像增强方法，其特征在于，包括：二值化图像处理模块、边界重构单元、方向性调整单元、梯度图像计算单元、图像增强单元；

所述二值化图像处理模块，用于获取气管镜图像的二值化图像；

所述边界重构单元，用于对二值化图像进行边界重构；

所述方向性调整单元，用于利用代表图像方向信息的灰度差距值对边界重构后的图像进行方向性调整；

所述梯度图像计算单元，用于将方向性调整后的图像实施伪标记去除变换，计算得到修改的去伪图像；

所述图像增强单元，用于将修改的去伪图像进行对数域处理及图像增强。