CN114022397B - 一种内窥镜图像去雾方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种内窥镜图像去雾方法、装置、电子设备及存储介质，涉及图像处理技术领域，其技术方案要点是：包括：获取内窥镜采集的原始图像；计算所述原始图像每个通道像素对应的大气亮度值；根据所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理。本申请提供的一种内窥镜图像去雾方法、装置、电子设备及存储介质具有去雾效果好的优点。

Description

一种内窥镜图像去雾方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种内窥镜图像去雾方法、装置、电子设备及存储介质。

背景技术

目前常用的去雾方法有暗通道先验去雾方法、CLAHE方法、多尺度Retinex图像方法等，其中暗通道先验去雾方法根据大气散射模型，利用暗通道先验的方式得到图像传输函数，并完成去雾，在多种场景下均能得到很好的去雾效果。

然而在内窥镜的图像处理中，烟雾场景较多，但用于内窥镜图像的去雾方法较少，实际运用中，仅有同态滤波或中值滤波相关方法，去雾效果有限。暗通道先验去雾方法对于自然图像有比较好的处理效果，却对内窥图像的处理效果不佳，这是由于光源与目标距离较近，图像亮度不均匀等问题，暗通道先验在一定程度上并不成立，因此将暗通道先验去雾方法直接用于内窥图像，会出现图像过饱和、对比度降低、图像偏色、偏暗等诸多问题。

针对上述问题，申请人提出了一种新的解决方案。

发明内容

本申请的目的在于提供一种内窥镜图像去雾方法、装置、电子设备及存储介质，具有去雾效果好的优点。

第一方面，本申请提供了一种内窥镜图像去雾方法，技术方案如下：

包括：

获取内窥镜采集的原始图像；

计算所述原始图像每个通道像素对应的大气亮度值；

根据所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理。

通过计算每个通道像素对应的大气亮度值，利用每个通道像素对应的大气亮度值进行去雾处理，可以解决内窥图像亮度不均的问题。

进一步地，在本申请中，所述计算所述原始图像每个通道像素对应的大气亮度值的步骤包括：

对所述原始图像进行高斯滤波得到每个通道像素的灰度值；

设置所述原始图像每个通道像素的大气亮度值权重；

根据所述每个通道像素的灰度值以及所述原始图像每个通道像素的大气亮度值权重计算所述原始图像每个通道像素对应的大气亮度值。

根据上述方案，可以解决内窥图像红外线散射较多，红色通道亮度偏高，三个通道用同一个传输函数时会出现比较明显的色差等问题。

进一步地，在本申请中，所述设置所述原始图像每个通道像素的大气亮度值权重的步骤包括：

获取所述原始图像的均值以及方差；

根据所述原始图像的均值以及方差计算得出所述原始图像每个通道像素的大气亮度值权重。

根据上述方案，通过计算得出所述原始图像每个通道像素的大气亮度值权重，然后利用每个通道像素的大气亮度值权重得出每个通道像素的大气亮度值，利用每个通道像素对应的大气亮度值进行去雾处理，可以解决内窥图像亮度不均的问题。

进一步地，在本申请中，所述根据所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理的步骤还包括：

根据所述原始图像每个通道像素对应的大气亮度值得到每个通道像素对应的传输函数；

根据所述每个通道像素对应的传输函数、所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理。

进一步地，在本申请中，所述根据所述每个通道像素对应的传输函数、所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理的步骤还包括：

通过导向滤波细化所述每个通道像素对应的传输函数；

根据细化后的所述每个通道像素对应的传输函数、所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理。

进一步地，在本申请中，所述根据所述每个通道像素的灰度值以及所述原始图像每个通道像素的大气亮度值权重计算所述原始图像每个通道像素对应的大气亮度值的公式为：

；

其中，

为第c个通道像素对应的大气亮度值、

为第c个通道像素的大气亮度值权重、

为高斯滤波后第c个通道像素的灰度值。

进一步地，在本申请中，所述根据所述原始图像的均值以及方差计算得出所述原始图像每个通道像素的大气亮度值权重的公式为：

；

其中，

为第c个通道像素的大气亮度值权重、

为自然常数、

为所述原始图像的均值、

为所述原始图像的方差。

第二方面，本申请还提供一种内窥镜图像去雾装置，包括：

获取模块，用于获取内窥镜采集的原始图像；

计算模块，用于计算所述原始图像每个通道像素对应的大气亮度值；

处理模块，用于根据所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理；

所述计算所述原始图像每个通道像素对应的大气亮度值包括：

对所述原始图像进行高斯滤波得到每个通道像素的灰度值；

设置所述原始图像每个通道像素的大气亮度值权重；

根据所述每个通道像素的灰度值以及所述原始图像每个通道像素的大气亮度值权重计算所述原始图像每个通道像素对应的大气亮度值。

第三方面，本申请还提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上任一项所述方法中的步骤。

第四方面，本申请还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，运行如上任一项所述方法中的步骤。

由上可知，本申请提供的一种内窥镜图像去雾方法、装置、电子设备及存储介质，通过计算内窥镜采集的原始图像的每个通道像素对应的大气亮度值，根据原始图像以及原始图像中每个通道像素对应的大气亮度值进行去雾处理，有效解决了传统的暗通道先验去雾方法无法适应内窥图像的问题，通过计算每个通道像素对应的大气亮度值，可以解决内窥图像亮度不均红外线散射较多，红色通道亮度偏高，三个通道用同一个传输函数时会出现比较明显的色差等问题，因此具有去雾效果好的有益效果。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为本申请提供的一种内窥镜图像去雾方法流程图。

图2为本申请提供的一种内窥镜图像去雾装置结构示意图。

图3为本申请提供的一种电子设备示意图。

图4为采用本申请提出的内窥镜图像去雾方法的内窥镜图像的前后对比图。

图5为采用本申请提出的内窥镜图像去雾方法的内窥镜图像的前后对比图。

图中：210、获取模块；220、计算模块；230、处理模块；300、电子设备；310、处理器；320、存储器。

具体实施方式

下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

暗通道先验方法是通过一个大气散射模型，然后利用大气亮度值对带雾的原始图像进行处理，从而求出无雾图像，具体的，通常其大气散射模型为：

；

其中，

为原始图像、

为无雾图像、

为传输函数、

为大气亮度值，其中的

表示的是范围内的任意一像素。

如果某个RGB图像无雾，则该RGB图像的每个像素的RGB三个通道的最小值必定为0，RGB三个通道之间的最小值称为暗通道，使用公式则可以描述为：

；

其中，c表示通道、

表示以

为中心的局部区域、

表示暗通道,

表示以

为中心的局部区域内的任意一点，

表示无雾图像的第c个通道内像素y的值；

暗通道先验指的是无雾图像的暗通道为0，即：

；

同时推导得到传输函数为：

；

；

；

由上述可知：

；

因此有：

；

其中，大气亮度值A代表照射整个场景的亮度值，一般情况下，设置为图像暗通道图像亮度前1%像素对应原图的像素最高亮度值，

表示原始有雾图像的第c个通道内像素y的值。

在完成

和A的计算后，可以通过

求出

，即无雾图像，其中，

是为了避免

为0的情况，通常

设为0.1。

暗通道先验去雾方法基于纯色图像暗通道为0的先验，一般用于处理自然图像，在处理自然图像时，其入射光为平行光，光照均匀，因此可以取得很好的去雾效果。

然而，对于内窥镜图像而言，内窥镜用于探视生物内部组织的图像，光源距离目标很近，导致图像不同区域的光照差异大，图像亮度不均匀。对此，申请人提出了一种全新的去雾方法。

请参照图1，一种内窥镜图像去雾方法，其技术方案具体包括：

S110、获取内窥镜采集的原始图像；

S120、计算原始图像每个通道像素对应的大气亮度值；

S130、根据原始图像以及原始图像每个通道像素对应的大气亮度值进行去雾处理。

通过上述技术方案，在获取内窥镜采集的原始图像后，通过计算原始图像中每个通道像素对应的大气亮度值，然后利用每个通道像素对应的大气亮度值进行去雾处理，可以解决内窥图像亮度不均的问题。

进一步地，在其中一些实施例中，计算原始图像每个通道像素对应的大气亮度值的步骤包括：

对原始图像进行高斯滤波得到每个通道像素的灰度值；

设置原始图像每个通道像素的大气亮度值权重；

根据每个通道像素的灰度值以及原始图像每个通道像素的大气亮度值权重计算原始图像每个通道像素对应的大气亮度值。

通过上述技术方案，首先对原始图像进行高斯滤波处理，高斯滤波是一种线性平滑滤波，用于消除高斯噪声，具体而言，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其它像素值经过加权平均后得到；在进行高斯滤波处理后设置原始图像每个通道像素的大气亮度值权重，更新每个通道像素的大气亮度值，使最终获得的每个通道像素对应的大气亮度值更加准确。

具体的，在一些实施方式中，根据每个通道像素的灰度值以及原始图像每个通道像素的大气亮度值权重计算原始图像每个通道像素对应的大气亮度值的公式为：

；

其中，

为第c个通道像素对应的大气亮度值、

为第c个通道像素的大气亮度值权重、

为高斯滤波后第c个通道像素的灰度值、常数255是代表最大亮度值。

在传统的暗通道先验方法中，大气亮度值会是255或者接近255的固定值，但是针对内窥镜的图像处理则不能这样算，因为内窥镜离光源近，生物体的内部组织复杂，因此获取的原始图像的亮度不均匀，对此增加设计了原始图像每个通道像素的大气亮度值权重，进一步更新每个通道像素的大气亮度值，使每个通道像素的大气亮度值更加准确。

具体的，通过设置高斯滤波核对原始图像进行高斯滤波，其窗值

，

，高斯滤波核可以描述为：

；

其中，

和

是高斯滤波核中每个位置与高斯滤波核中心的距离，

是x轴的距离，

是y轴的距离，

是高斯滤波核的边长、

是自然常数、

为求暗通道时所用的最小值滤波窗值。

进一步地，在其中一些实施例中，设置原始图像每个通道像素的大气亮度值权重的步骤包括：

获取原始图像的均值以及方差；

根据原始图像的均值以及方差计算得出原始图像每个通道像素的大气亮度值权重。

具体的，在一些实施方式中，根据原始图像的均值以及方差计算得出原始图像每个通道像素的大气亮度值权重的公式为：

；

其中，

为第c个通道像素的大气亮度值权重、

为自然常数、

为所述原始图像的均值、

为所述原始图像的方差；

通过上述技术方案，根据原始图像的均值以及方差获得原始图像每个通道像素的大气亮度值权重，然后根据原始图像每个通道像素的大气亮度值权重以及高斯滤波后每个通道像素的灰度值求出每个通道像素对应的大气亮度值，然后通过每个通道像素对应的大气亮度值进行去雾处理，最终求得无雾图像。

进一步地，在其中一些实施例中，根据原始图像以及原始图像每个通道像素对应的大气亮度值进行去雾处理的步骤还包括：

根据原始图像每个通道像素对应的大气亮度值得到每个通道像素对应的传输函数；

根据每个通道像素对应的传输函数、原始图像以及原始图像每个通道像素对应的大气亮度值进行去雾处理。

通过上述技术方案，由于每个通道像素都对应一个大气亮度值，因此每个通道像素都将有一个传输函数与之对应。

具体的，根据原始图像每个通道像素对应的大气亮度值得到每个通道像素对应的传输函数为：

；

其中，

为每个通道像素对应的传输函数、

为去雾强度，可以自定义进行设置、

为每个通道像素对应的大气亮度值、

为暗通道。

进一步地，在其中一些实施例中，根据每个通道像素对应的传输函数、原始图像以及原始图像每个通道像素对应的大气亮度值进行去雾处理的步骤还包括：

通过导向滤波细化每个通道像素对应的传输函数；

根据细化后的每个通道像素对应的传输函数、原始图像以及原始图像每个通道像素对应的大气亮度值进行去雾处理。

通过上述技术方案，在计算完三个通道的传输函数后，通过导向滤波来细化传输函数，从而提高传输函数的精确率，避免去雾后出现光晕。

具体的，在一些实施方式中，导向滤波的公式为：

；

最终，根据原始图像以及原始图像每个通道像素对应的大气亮度值进行去雾处理可以表示为：

；

其中，

为求出的无雾图像、

为内窥镜获取的原始图像、

为第c个通道像素对应的大气亮度值、

为经过导向滤波后的第c个通道像素对应的传输函数，

为常数，通常将

设为0.1。

本申请利用了暗通道先验去雾方法的优势，通过大气散射模型来完成图像去雾，图像去雾完成后处理效果自然，在手术中使用时不会产生明显不适感。通过详细研究了内窥镜图像的特点和暗通道先验去雾在内窥镜图像中使用存在的问题，提出通过每个通道像素的大气亮度值来进行去雾处理，解决了暗通道先验去雾方法存在的过饱和，图像偏暗问题，使得该方法可适用于内窥镜图像。弥补了现有内窥镜图像去雾方法处理方式较为简单、去雾效果不够自然的问题，从大气亮度值估计的角度，结合暗通道去雾先验方法提出了解决内窥镜图像去雾、除烟问题的新路径。

具体可参照图4以及图5，图4的上下两幅图像分别为内窥镜获取的原始图像以及经过本申请提供的方法处理过以后的无雾图像，图5的上下两幅图像同样分别为内窥镜获取的原始图像以及经过本申请提供的方法处理过以后的无雾图像，可以明显看出，经过本申请提供的方法处理后的无雾图像其画面更加清晰锐利，不会被烟雾遮挡，对于信息的获取以及手术的执行均能够带来显著的帮助。

第二方面，如图2所示，本申请还提供一种内窥镜图像去雾装置，包括：

获取模块210，用于获取内窥镜采集的原始图像；

计算模块220，用于计算原始图像每个通道像素对应的大气亮度值；

处理模块230，用于根据原始图像以及原始图像每个通道像素对应的大气亮度值进行去雾处理。

通过上述技术方案，利用获取模块210获取内窥镜采集的原始图像，然后通过计算模块220计算原始图像中每个通道像素对应的大气亮度值，最后利用处理模块230根据原始图像以及原始图像每个通道像素对应的大气亮度值进行去雾处理，可以有效解决内窥图像亮度不均的问题。

在一些优选的实施方式中，采用该内窥镜图像去雾装置执行上述第一方面提供的内窥镜图像去雾方法。

第三方面，如图3所示，本申请还提供一种电子设备300，包括处理器310以及存储器320，存储器320存储有计算机可读取指令，当计算机可读取指令由处理器310执行时，运行上述方法中的步骤。

通过上述技术方案，处理器310和存储器320通过通信总线和/或其他形式的连接机构（未标出）互连并相互通讯，存储器320存储有处理器可执行的计算机程序，当计算设备运行时，处理器310执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取内窥镜采集的原始图像；计算原始图像每个通道像素对应的大气亮度值；根据原始图像以及原始图像每个通道像素对应的大气亮度值进行去雾处理。

第四方面，本申请还提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，运行上述方法中的步骤。

通过上述技术方案，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取内窥镜采集的原始图像；计算原始图像每个通道像素对应的大气亮度值；根据原始图像以及原始图像每个通道像素对应的大气亮度值进行去雾处理。

其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种内窥镜图像去雾方法，其特征在于，包括：

获取内窥镜采集的原始图像；

计算所述原始图像每个通道像素对应的大气亮度值；

根据所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理；

所述计算所述原始图像每个通道像素对应的大气亮度值包括：

对所述原始图像进行高斯滤波得到每个通道像素的灰度值；

设置所述原始图像每个通道像素的大气亮度值权重；

根据所述每个通道像素的灰度值以及所述原始图像每个通道像素的大气亮度值权重计算所述原始图像每个通道像素对应的大气亮度值。

2.根据权利要求1所述的一种内窥镜图像去雾方法，其特征在于，所述设置所述原始图像每个通道像素的大气亮度值权重的步骤包括：

获取所述原始图像的均值以及方差；

根据所述原始图像的均值以及方差计算得出所述原始图像每个通道像素的大气亮度值权重。

3.根据权利要求1所述的一种内窥镜图像去雾方法，其特征在于，所述根据所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理的步骤还包括：

根据所述原始图像每个通道像素对应的大气亮度值得到每个通道像素对应的传输函数；

根据所述每个通道像素对应的传输函数、所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理。

4.根据权利要求3所述的一种内窥镜图像去雾方法，其特征在于，所述根据所述每个通道像素对应的传输函数、所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理的步骤还包括：

通过导向滤波细化所述每个通道像素对应的传输函数；

根据细化后的所述每个通道像素对应的传输函数、所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理。

5.根据权利要求1所述的一种内窥镜图像去雾方法，其特征在于，所述根据所述每个通道像素的灰度值以及所述原始图像每个通道像素的大气亮度值权重计算所述原始图像每个通道像素对应的大气亮度值的公式为：

；

其中，

为第c个通道像素对应的大气亮度值、

为第c个通道像素的大气亮度值权重、

为高斯滤波后第c个通道像素的灰度值。

6.根据权利要求2所述的一种内窥镜图像去雾方法，其特征在于，所述根据所述原始图像的均值以及方差计算得出所述原始图像每个通道像素的大气亮度值权重的公式为：

；

其中，

为第c个通道像素的大气亮度值权重、

为自然常数、

为所述原始图像的均值、

为所述原始图像的方差。

7.一种内窥镜图像去雾装置，其特征在于，包括：

获取模块，用于获取内窥镜采集的原始图像；

计算模块，用于计算所述原始图像每个通道像素对应的大气亮度值；

处理模块，用于根据所述原始图像以及所述原始图像每个通道像素对应的大气亮度值进行去雾处理；

所述计算所述原始图像每个通道像素对应的大气亮度值包括：

对所述原始图像进行高斯滤波得到每个通道像素的灰度值；

设置所述原始图像每个通道像素的大气亮度值权重；

根据所述每个通道像素的灰度值以及所述原始图像每个通道像素的大气亮度值权重计算所述原始图像每个通道像素对应的大气亮度值。

8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-6任一项所述方法中的步骤。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，运行如权利要求1-6任一项所述方法中的步骤。

Images