CN114066780A - 4k内窥镜图像去雾方法、装置、电子设备及存储介质 - Google Patents
4k内窥镜图像去雾方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114066780A CN114066780A CN202210047357.XA CN202210047357A CN114066780A CN 114066780 A CN114066780 A CN 114066780A CN 202210047357 A CN202210047357 A CN 202210047357A CN 114066780 A CN114066780 A CN 114066780A
- Authority
- CN
- China
- Prior art keywords
- image
- histogram
- brightness value
- preprocessed
- defogging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 82
- 238000005070 sampling Methods 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims description 38
- 238000013507 mapping Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 18
- 230000006870 function Effects 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 11
- 239000000126 substance Substances 0.000 description 10
- 238000012546 transfer Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000002324 minimally invasive surgery Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 101150050759 outI gene Proteins 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种4k内窥镜图像去雾方法、装置、电子设备及存储介质,涉及图像处理技术领域,其技术方案要点是:包括:获取内窥镜采集的原始图像;对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;计算所述预处理图像中每个通道像素对应的大气亮度值;根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像。本申请提供的一种4k内窥镜图像去雾方法、装置、电子设备及存储介质具有延时小、去雾效果好的优点。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种4k内窥镜图像去雾方法、装置、电子设备及存储介质。
背景技术
目前腹部微创手术十分普及,尤其是肝胆外科,微创手术具有出血少,组织创面小,恢复时间短等优点,因此大部分手术采用微创方式进行。在微创手术中,内窥镜图像质量直接影响手术效果,因此高质量的内窥图像,对于微创手术十分重要。
在微创手术中,烟雾场景十分常见,在超声刀切割组织时,会不断生成或大或小的白雾,如果在组织切割的场景中能够对内窥图像实时去雾,能够较大提升内窥镜的成像质量。由于去雾方法较为复杂,在目前的内窥镜系统,尤其是4K内窥镜系统,很少集成图像去雾方法模块,且现有集成的图像去雾方法模块,可能受资源限制,去雾效果并不显著。
目前4K图像的去雾方法较少,且大部分是基于直方图优化的简单方法,存在去雾效果不明显等问题。
针对上述问题,申请人提出了一种新的解决方案。
发明内容
本申请的目的在于提供一种4k内窥镜图像去雾方法、装置、电子设备及存储介质,具有延时小、去雾效果好的优点。
第一方面,本申请提供了一种4k内窥镜图像去雾方法,技术方案如下:
包括:
获取内窥镜采集的原始图像;
对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
计算所述预处理图像中每个通道像素对应的大气亮度值;
根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像。
通过对原始图像进行降采样处理,降低图像处理的计算量,然后对降采样后的图像进行过曝噪声去除处理得到预处理图像,防止降低分辨率后噪声过大对后续去雾产生过大的负面影响,然后计算预处理图像的每个通道像素对应的大气亮度值,根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理,有效解决了传统的暗通道先验去雾方法无法适应内窥图像的问题,通过计算每个通道像素对应的大气亮度值,可以解决内窥图像亮度不均红外线散射较多,红色通道亮度偏高,三个通道用同一个传输函数时会出现比较明显的色差等问题,因此具有延时小、去雾效果好的有益效果。
进一步地,在本申请中,所述对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像的步骤包括:
对所述原始图像进行降采样处理,得到第一图像;
根据所述第一图像计算得到最大梯度图;
对所述最大梯度图进行二值化处理,并对二值化处理的图像进行膨胀运算,将膨胀运算的结果作为滤波模板;
根据所述滤波模板对所述第一图像进行滤波计算得到所述预处理图像。
进一步地,在本申请中,所述根据所述滤波模板对所述第一图像进行滤波计算得到所述预处理图像的步骤包括:
将处于所述滤波模板背景区域的像素直接输出所述第一图像的像素;
将处于所述滤波模板前景区域的像素输出滤波后的结果。
进一步地,在本申请中,所述计算所述预处理图像中每个通道像素对应的大气亮度值的步骤包括:
设置所述预处理图像每个通道像素的大气亮度值权重;
根据所述预处理图像以及所述预处理图像每个通道像素的大气亮度值权重计算所述预处理图像每个通道像素对应的大气亮度值。
进一步地,在本申请中,所述设置所述预处理图像每个通道像素的大气亮度值权重的步骤包括:
获取所述预处理图像的均值以及方差;
根据所述预处理图像的均值以及方差计算得出所述预处理图像每个通道像素的大气亮度值权重。
进一步地,在本申请中,所述根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像之后还包括以下步骤:
计算所述无雾图像的直方图;
根据所述直方图优化所述无雾图像的对比度。
进一步地,在本申请中,所述根据所述直方图优化所述无雾图像的对比度的步骤包括:
切割所述直方图中超出第一预设值的像素;
将切割的所述像素均匀加入所述直方图中得到均衡化直方图;
对所述均衡化直方图进行迭代,当所述均衡化直方图满足预设条件时输出直方图映射表。
进一步地,在本申请中,所述当所述均衡化直方图满足预设条件时输出直方图映射表的步骤包括:
当所述直方图的方差与所述均衡化直方图的方差的差值大于第二预设值时输出所述直方图映射表;
或,当所述直方图的方差大于第三预设值时输出所述直方图映射表;
或,迭代次数超过第四预设值时输出所述直方图映射表。
第二方面,本申请还提供一种4k内窥镜图像去雾装置,包括:
获取模块,获取内窥镜采集的原始图像;
第一处理模块,用于对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
第二处理模块,用于计算所述预处理图像中每个通道像素对应的大气亮度值;
第三处理模块,用于根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像。
第三方面,本申请还提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上任一项所述方法中的步骤。
第四方面,本申请还提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,运行如上任一项所述方法中的步骤。
由上可知,本申请提供的一种4k内窥镜图像去雾方法、装置、电子设备及存储介质,通过对原始图像进行降采样处理,降低图像处理的计算量,然后对降采样后的图像进行过曝噪声去除处理得到预处理图像,防止降低分辨率后噪声过大对后续去雾产生过大的负面影响,然后计算预处理图像的每个通道像素对应的大气亮度值,根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理,有效解决了传统的暗通道先验去雾方法无法适应内窥图像的问题,通过计算每个通道像素对应的大气亮度值,可以解决内窥图像亮度不均红外线散射较多,红色通道亮度偏高,三个通道用同一个传输函数时会出现比较明显的色差等问题,因此具有延时小、去雾效果好的有益效果。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请提供的一种4k内窥镜图像去雾方法示意图。
图2为本申请提供的一种4k内窥镜图像去雾装置结构示意图。
图3为本申请提供的一种电子设备示意图。
图中:210、获取模块;220、第一处理模块;230、第二处理模块;240、第三处理模块;300、电子设备;310、处理器;320、存储器。
具体实施方式
下面将结合本申请中附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
暗通道先验方法是通过一个大气散射模型,然后利用大气亮度值对带雾的原始图像进行处理,从而求出无雾图像,具体的,通常其大气散射模型为:
如果某个RGB图像无雾,则该RGB图像的每个像素的RGB三个通道的最小值必定为0,RGB三个通道之间的最小值称为暗通道,使用公式则可以描述为:
暗通道先验指的是无雾图像的暗通道为0,即:
同时推导得到传输函数为:
由上述可知:
因此有:
暗通道先验去雾方法基于纯色图像暗通道为0的先验,一般用于处理自然图像,在处理自然图像时,其入射光为平行光,光照均匀,因此可以取得很好的去雾效果。
在内窥图像中,图像分辨率对手术的进行十分重要,图像的分辨率越高,则图像越清晰,图像的信息也越丰富,所以,目前的内窥镜图像已经逐渐使用上了4k的分辨率,然而,4k图像的数据量大,如果直接采用暗通道去雾方法,则会导致较高的延时,并且目前针对4K图像的去雾方法较少,且大部分是基于直方图优化的简单方法,存在去雾效果不明显等问题。
对此,申请人提出了一种基于暗通道先验并且针对4k高分辨率的内窥镜图像去雾方法。
第一方面,参照图1,本申请提供了一种4k内窥镜图像去雾方法,技术方案具体包括:
S110、获取内窥镜采集的原始图像;
S120、对原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
S130、计算预处理图像中每个通道像素对应的大气亮度值;
S140、根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理得到无雾图像。
其中原始图像可以是4k分辨率的图像,也可以是其它高分辨率的图像,例如2k分辨率、8k分辨率等。
通过上述技术方案,通过对原始图像进行降采样处理,降低图像处理的计算量,然后对降采样后的图像进行过曝噪声去除处理得到预处理图像,防止降低分辨率后噪声过大对后续去雾产生过大的负面影响,然后计算预处理图像的每个通道像素对应的大气亮度值,根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理,有效解决了传统的暗通道先验去雾方法无法适应内窥图像的问题,通过计算每个通道像素对应的大气亮度值,可以解决内窥图像亮度不均、红外线散射较多,红色通道亮度偏高,三个通道用同一个传输函数时会出现比较明显的色差等问题,因此具有延时小、去雾效果好的有益效果。
在内窥图像中,由于血液或组织光滑面反射光过强的影响,部分像素点会出现过曝的情况,在这种情况下,最亮点位置会伴随极暗点噪声,出现明显的梯度反差,并且降采样以后的图像的任意一个像素会对应原始图像的多个像素范围,例如采样率为0.1,则降采样后的图像的一个像素会对应原始图像的10个像素范围,且暗通道图像以区域极小值来计算某个区域的暗通道,因此内窥图像的过曝点噪声会明显影响图像的去雾效果,尤其是影响视频图像的去雾连续性。
因此,进一步地,在其中一些实施例中,对原始图像进行降采样处理和过曝噪声去除处理得到预处理图像的步骤包括:
对原始图像进行降采样处理,得到第一图像;
根据第一图像计算得到最大梯度图;
设定阈值对最大梯度图进行二值化处理,并对二值化处理的图像进行膨胀运算,将膨胀运算的结果作为滤波模板;
根据滤波模板对第一图像进行滤波计算得到预处理图像。
通过上述技术方案,对原始图像进行降采样处理可以使计算量显著减少,并且通过过曝噪声去除处理减少第一图像的噪声。
具体的,可以通过双线性差值方法将原始图像以0.1的采样率进行降采样,例如,将分辨率为3840*2160的原始图像降采样为384*216的第一图像,可以使计算量显著减少。
接着,在过曝噪声去除处理中,主要包括了滤波模板计算以及滤波两个部分,其中,首先是计算得到滤波模板,滤波模板可以通过第一图像的最大梯度图求得,第一图像的最大梯度图可以通过通道像素的灰度值以及八邻域求得,其公式表示为:
在计算了出第一图像的最大梯度图后,可以以阈值为30对最大梯度图进行二值化,得到二值化处理的图像,并且可以使用3*3的结构算子对二值化处理的图像进行膨胀运算,扩大前景区域,并将膨胀后的结果作为滤波模板。
通过膨胀运算可以对二值化处理的图像的边界点进行扩充,使边界可以向外扩张,可以有效填补空洞以及消除小颗粒噪声。
在得到滤波模板后,对第一图像进行中值滤波,具体的,将处于滤波模板背景区域的像素直接输出第一图像的像素,将处于滤波模板前景区域的像素输出中值滤波后的结果,用公式可以表达为:
该公式表示对第一图像进行处理,其中,表示的是输出的预处理图像,表示输入的第一图像,表示的是滤波模板,i表示的是第一图像任意位置的像
素,c表示通道;如果,则表示该点不需要进行滤波,每个通道输出对应的值;
如果,则表示该点需要进行滤波,每个通道的赋值为滤波后的值。
通过上述方案,可以有效降低第一图像的过曝噪声,防止过曝噪声对去雾造成负面影响。
计算第一图像的最大梯度图,然后将最大梯度图进行二值化处理,将经过二值化处理的图像进行膨胀运算进而得到滤波模板,通过滤波模板进行滤波,这样的好处在于不需要对第一图像的全图进行处理,因为受到血液或组织光滑面反射光过强的影响,只会有部分像素点会出现过曝的情况,过曝噪声实际上并不会特别多,因此不需要对全图进行滤波处理,而如果对全图进行滤波处理,会导致暗通道偏高,进而导致传输函数偏低,最终图像去雾后会存在过饱和的情况,而本方案则是通过第一图像的最大梯度来筛选出过曝位置,并通过膨胀运算来扩大选取,只有在滤波模板内的像素才会进行中值滤波,而不在模板内的像素则直接输出第一图像的像素,这样可以避免整体图像的处理,也就避免了后续图像存在过饱和的问题。
进一步地,在其中一些实施例中,计算预处理图像中每个通道像素对应的大气亮度值的步骤包括:
设置预处理图像每个通道像素的大气亮度值权重;
根据预处理图像以及预处理图像每个通道像素的大气亮度值权重计算预处理图像每个通道像素对应的大气亮度值。
通过上述技术方案,根据每个通道像素的大气亮度值权重来针对性的计算出每个通道像素的大气亮度值,然后由每个通道像素的大气亮度值进行去雾,进而解决内窥图像亮度不均的问题。
具体的,每个通道像素的大气亮度值计算公式可以表达为:
在传统的暗通道先验方法中,大气亮度值会是255或者接近255的固定值,但是针对内窥镜的图像处理则不能这样算,因为内窥镜离光源近,生物体的内部组织复杂,因此获取的原始图像的亮度不均匀,对此增加设计了预处理图像每个通道像素的大气亮度值权重,进一步更新每个通道像素的大气亮度值,使每个通道像素的大气亮度值更加准确。
进一步地,在其中一些实施例中,设置预处理图像每个通道像素的大气亮度值权重的步骤包括:
获取预处理图像的均值以及方差;
根据预处理图像的均值以及方差计算得出预处理图像每个通道像素的大气亮度值权重。
具体的,在一些实施方式中,根据预处理图像的均值以及方差计算得出预处理图像每个像素的大气亮度值权重的公式为:
通过上述技术方案,根据预处理图像的均值以及方差获得预处理图像每个通道像素的大气亮度值权重,然后根据预处理图像每个通道像素的大气亮度值权重以及预处理图像求出每个通道像素对应的大气亮度值,然后通过每个通道像素对应的大气亮度值进行去雾处理,最终求得无雾图像。
进一步地,在其中一些实施例中,根据预处理图像每个通道像素对应的大气亮度值以及原始图像进行去雾处理的步骤包括:
根据预处理图像每个通道像素对应的大气亮度值得到每个通道像素对应的传输函数;
根据每个通道像素对应的传输函数、原始图像以及预处理图像每个通道像素对应的大气亮度值进行去雾处理。
通过上述技术方案,由于每个通道像素都对应一个大气亮度值,因此每个通道像素都将有一个传输函数与之对应。
具体的,根据预处理图像每个通道像素对应的大气亮度值得到每个通道像素对应的传输函数为:
进一步地,在其中一些实施例中,根据每个通道像素对应的传输函数、原始图像以及预处理图像每个通道像素对应的大气亮度值进行去雾处理的步骤还包括:
通过导向滤波细化每个通道像素对应的传输函数;
根据细化后的每个通道像素对应的传输函数、原始图像以及预处理图像每个通道像素对应的大气亮度值进行去雾处理。
通过上述技术方案,在计算完三个通道像素的传输函数后,通过导向滤波来细化传输函数,从而提高传输函数的精确率,避免去雾后出现光晕。
具体的,在一些实施方式中,导向滤波的公式为:
最终,根据预处理图像每个通道像素对应的大气亮度值以及原始图像进行去雾处理可以表示为:
通过本申请上述的改进暗通道先验去雾方法在大部分情况下都能很好完成图像的去雾,但是针对图像偏色严重,或者是图像分辨率不高的区域,去雾后图像效果并不自然,并且还存在一定的偏色,因此在此基础上采用对比度直方图均衡化的方法自适应提高低分辨率区域的图像对比度,从而提升去雾效果。
因此,进一步地,在其中一些实施例中,根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理得到无雾图像之后还包括以下步骤:
计算无雾图像的直方图;
根据直方图优化无雾图像的对比度。
通过上述技术方案,利用直方图对无雾图像进行进一步优化,可以采用将直方图均衡化的方法用于增强对比度使去雾效果更好。
进一步地,在其中一些实施例中,根据直方图优化无雾图像的对比度的步骤包括:
切割直方图中超出第一预设值的像素;
将切割的像素均匀加入直方图中得到均衡化直方图;
对均衡化直方图进行迭代,当均衡化直方图满足预设条件时输出直方图映射表。
通过上述技术方案,本申请采用的是在现有直方图优化对比度的基础上做出的改进,可以使优化的效果更加理想,在计算直方图的时候,通过设置第一预设值,将大于第一预设值的数据重新分配到每个灰度级上,从而限制直方图优化后的图像对比度,使去雾的效果更加自然。
具体的,可以通过公式表达为:
接着将切割的像素均匀加入至直方图中得到均衡化直方图,用公式可以表达为:
进一步地,在其中一些实施例中,当均衡化直方图满足预设条件时输出直方图映射表的步骤包括:
当直方图的方差与均衡化直方图的方差的差值大于第二预设值时输出直方图映射表;
或,当直方图的方差大于第三预设值时输出直方图映射表;
或,迭代次数超过第四预设值时输出直方图映射表。
其中,直方图映射表,是指进行直方图在均衡化计算后,会得到一个直方图的映射表,表示原来的像素灰度到新的像素灰度之间的映射,例如原始灰度是1,通过映射表计算后新灰度是3,从灰度0-255,均有对应的映射值,256级映射值形成一个映射表。
具体的,在一些具体实施方式中,第二预设值可以设为0.15,输出直方图映射表的条件可以表达为:
具体的,在一些实施方式中,第三预设值可以设为40,输出直方图映射表的条件可以表达为:
具体的,在一些实施方式中,最大迭代次数可以设为100,即,当均衡化次数超过100次以后则输出直方图映射表。
第二方面,参照图2,本申请还提供一种4k内窥镜图像去雾装置,包括:
获取模块210,获取内窥镜采集的原始图像;
第一处理模块220,用于对原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
第二处理模块230,用于计算预处理图像中每个通道像素对应的大气亮度值;
第三处理模块240,用于根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理得到无雾图像。
通过上述技术方案,获取模块210用于获取内窥镜采集的原始图像,然后通过第一处理模块220通过对原始图像进行降采样处理,降低图像处理的计算量,然后再对降采样后的图像进行过曝噪声去除处理得到预处理图像,防止降低分辨率后噪声过大对后续去雾产生过大的负面影响,接着由第二处理模块230计算预处理图像的每个通道像素对应的大气亮度值,最后由第三处理模块240根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理,有效解决了传统的暗通道先验去雾方法无法适应内窥图像的问题,通过计算每个通道像素对应的大气亮度值,可以解决内窥图像亮度不均、红外线散射较多,红色通道亮度偏高,三个通道用同一个传输函数时会出现比较明显的色差等问题,因此具有延时小、去雾效果好的有益效果。
在其它一些优选的实施例中,采用该装置执行上述的一种4k内窥镜图像去雾方法。
第三方面,参照图3,本申请还提供一种电子设备300,包括处理器310以及存储器320,存储器320存储有计算机可读取指令,当计算机可读取指令由处理器310执行时,运行上述方法中的步骤。
通过上述技术方案,处理器310和存储器320通过通信总线和/或其他形式的连接机构(未标出)互连并相互通讯,存储器320存储有处理器310可执行的计算机程序,当计算设备运行时,处理器310执行该计算机程序,以执行时执行上述实施例的任一可选的实现方式中的方法,以实现以下功能:获取内窥镜采集的原始图像;对原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;计算预处理图像中每个通道像素对应的大气亮度值;根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理得到无雾图像。
第四方面,本申请还提供一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时,运行上述方法中的步骤。
通过上述技术方案,计算机程序被处理器执行时,执行上述实施例的任一可选的实现方式中的方法,以实现以下功能:获取内窥镜采集的原始图像;对原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;计算预处理图像中每个通道像素对应的大气亮度值;根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理得到无雾图像。
其中,存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory, 简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory, 简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory, 简称EPROM),可编程只读存储器(Programmable Red-Only Memory, 简称PROM),只读存储器(Read-OnlyMemory, 简称ROM),磁存储器,快闪存储器,磁盘或光盘。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种4k内窥镜图像去雾方法,其特征在于,包括:
获取内窥镜采集的原始图像;
对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
计算所述预处理图像中每个通道像素对应的大气亮度值;
根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像。
2.根据权利要求1所述的一种4k内窥镜图像去雾方法,其特征在于,所述对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像的步骤包括:
对所述原始图像进行降采样处理,得到第一图像;
根据所述第一图像计算得到最大梯度图;
对所述最大梯度图进行二值化处理,并对二值化处理的图像进行膨胀运算,将膨胀运算的结果作为滤波模板;
根据所述滤波模板对所述第一图像进行滤波计算得到所述预处理图像。
3.根据权利要求2所述的一种4k内窥镜图像去雾方法,其特征在于,所述根据所述滤波模板对所述第一图像进行滤波计算得到所述预处理图像的步骤包括:
将处于所述滤波模板背景区域的像素直接输出所述第一图像的像素;
将处于所述滤波模板前景区域的像素输出滤波后的结果。
4.根据权利要求1所述的一种4k内窥镜图像去雾方法,其特征在于,所述计算所述预处理图像中每个通道像素对应的大气亮度值的步骤包括:
设置所述预处理图像每个通道像素的大气亮度值权重;
根据所述预处理图像以及所述预处理图像每个通道像素的大气亮度值权重计算所述预处理图像每个通道像素对应的大气亮度值;
所述设置所述预处理图像每个通道像素的大气亮度值权重的步骤包括:
获取所述预处理图像的均值以及方差;
根据所述预处理图像的均值以及方差计算得出所述预处理图像每个通道像素的大气亮度值权重。
5.根据权利要求1所述的一种4k内窥镜图像去雾方法,其特征在于,所述根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像之后还包括以下步骤:
计算所述无雾图像的直方图;
根据所述直方图优化所述无雾图像的对比度。
6.根据权利要求5所述的一种4k内窥镜图像去雾方法,其特征在于,所述根据所述直方图优化所述无雾图像的对比度的步骤包括:
切割所述直方图中超出第一预设值的像素;
将切割的所述像素均匀加入所述直方图中得到均衡化直方图;
对所述均衡化直方图进行迭代,当所述均衡化直方图满足预设条件时输出直方图映射表。
7.根据权利要求6所述的一种4k内窥镜图像去雾方法,其特征在于,所述当所述均衡化直方图满足预设条件时输出直方图映射表的步骤包括:
当所述直方图的方差与所述均衡化直方图的方差的差值大于第二预设值时输出所述直方图映射表;
或,当所述直方图的方差大于第三预设值时输出所述直方图映射表;
或,迭代次数超过第四预设值时输出所述直方图映射表。
8.一种4k内窥镜图像去雾装置,其特征在于,包括:
获取模块,获取内窥镜采集的原始图像;
第一处理模块,用于对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
第二处理模块,用于计算所述预处理图像中每个通道像素对应的大气亮度值;
第三处理模块,用于根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-7任一项所述方法中的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,运行如权利要求1-7任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210047357.XA CN114066780B (zh) | 2022-01-17 | 2022-01-17 | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210047357.XA CN114066780B (zh) | 2022-01-17 | 2022-01-17 | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114066780A true CN114066780A (zh) | 2022-02-18 |
CN114066780B CN114066780B (zh) | 2022-06-03 |
Family
ID=80231141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210047357.XA Active CN114066780B (zh) | 2022-01-17 | 2022-01-17 | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114066780B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114881896A (zh) * | 2022-07-12 | 2022-08-09 | 广东欧谱曼迪科技有限公司 | 内窥镜图像实时去雾方法、装置、电子设备、存储介质 |
WO2023130547A1 (zh) * | 2022-01-06 | 2023-07-13 | 广东欧谱曼迪科技有限公司 | 一种内窥镜图像去雾方法、装置、电子设备及存储介质 |
CN117649363A (zh) * | 2024-01-29 | 2024-03-05 | 江苏无右微创医疗科技有限公司 | 一种实时的内窥镜图像去烟雾方法 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009273691A (ja) * | 2008-05-15 | 2009-11-26 | Fujifilm Corp | 内視鏡画像処理装置および方法 |
US20110028790A1 (en) * | 2004-09-24 | 2011-02-03 | Vivid Medical, Inc. | Disposable endoscopic access device and portable display |
US20150071563A1 (en) * | 2012-05-15 | 2015-03-12 | Sk Telecom Co., Ltd. | Image-processing apparatus for removing haze contained in video, and method therefof |
US20150371373A1 (en) * | 2014-06-20 | 2015-12-24 | Hyundai Motor Company | Apparatus and method for removing fog in image |
JP2016202628A (ja) * | 2015-04-23 | 2016-12-08 | 富士フイルム株式会社 | 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体 |
CN106251296A (zh) * | 2016-07-06 | 2016-12-21 | 北京元心科技有限公司 | 一种图像去雾方法和系统 |
CN107403421A (zh) * | 2017-08-10 | 2017-11-28 | 杭州联吉技术有限公司 | 一种图像去雾方法、存储介质及终端设备 |
CN107610058A (zh) * | 2017-08-28 | 2018-01-19 | 浙江工业大学 | 基于下采样的高分辨率图像去雾方法 |
US20180122051A1 (en) * | 2015-03-30 | 2018-05-03 | Agency For Science, Technology And Research | Method and device for image haze removal |
US20190114747A1 (en) * | 2016-04-07 | 2019-04-18 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
CN110766713A (zh) * | 2019-10-30 | 2020-02-07 | 上海微创医疗器械(集团)有限公司 | 肺部图像分割方法、装置和肺部病变区域识别设备 |
CN112419162A (zh) * | 2019-08-20 | 2021-02-26 | 浙江宇视科技有限公司 | 图像去雾方法、装置、电子设备及可读存储介质 |
CN112508797A (zh) * | 2019-09-16 | 2021-03-16 | 柯惠有限合伙公司 | 用于图像中实时去雾的系统和方法 |
CN112580447A (zh) * | 2020-12-04 | 2021-03-30 | 国网福建省电力有限公司泉州供电公司 | 一种基于边缘二阶统计与融合的电力线检测方法 |
US20210255456A1 (en) * | 2020-02-17 | 2021-08-19 | Qingdao O-Mec Medical Technology Co., Ltd. | Device of anti-fogging endoscope system |
WO2021244270A1 (zh) * | 2020-06-03 | 2021-12-09 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
-
2022
- 2022-01-17 CN CN202210047357.XA patent/CN114066780B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110028790A1 (en) * | 2004-09-24 | 2011-02-03 | Vivid Medical, Inc. | Disposable endoscopic access device and portable display |
JP2009273691A (ja) * | 2008-05-15 | 2009-11-26 | Fujifilm Corp | 内視鏡画像処理装置および方法 |
US20150071563A1 (en) * | 2012-05-15 | 2015-03-12 | Sk Telecom Co., Ltd. | Image-processing apparatus for removing haze contained in video, and method therefof |
US20150371373A1 (en) * | 2014-06-20 | 2015-12-24 | Hyundai Motor Company | Apparatus and method for removing fog in image |
US20180122051A1 (en) * | 2015-03-30 | 2018-05-03 | Agency For Science, Technology And Research | Method and device for image haze removal |
JP2016202628A (ja) * | 2015-04-23 | 2016-12-08 | 富士フイルム株式会社 | 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体 |
US20190114747A1 (en) * | 2016-04-07 | 2019-04-18 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
CN106251296A (zh) * | 2016-07-06 | 2016-12-21 | 北京元心科技有限公司 | 一种图像去雾方法和系统 |
CN107403421A (zh) * | 2017-08-10 | 2017-11-28 | 杭州联吉技术有限公司 | 一种图像去雾方法、存储介质及终端设备 |
CN107610058A (zh) * | 2017-08-28 | 2018-01-19 | 浙江工业大学 | 基于下采样的高分辨率图像去雾方法 |
CN112419162A (zh) * | 2019-08-20 | 2021-02-26 | 浙江宇视科技有限公司 | 图像去雾方法、装置、电子设备及可读存储介质 |
CN112508797A (zh) * | 2019-09-16 | 2021-03-16 | 柯惠有限合伙公司 | 用于图像中实时去雾的系统和方法 |
CN110766713A (zh) * | 2019-10-30 | 2020-02-07 | 上海微创医疗器械(集团)有限公司 | 肺部图像分割方法、装置和肺部病变区域识别设备 |
US20210255456A1 (en) * | 2020-02-17 | 2021-08-19 | Qingdao O-Mec Medical Technology Co., Ltd. | Device of anti-fogging endoscope system |
WO2021244270A1 (zh) * | 2020-06-03 | 2021-12-09 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
CN112580447A (zh) * | 2020-12-04 | 2021-03-30 | 国网福建省电力有限公司泉州供电公司 | 一种基于边缘二阶统计与融合的电力线检测方法 |
Non-Patent Citations (1)
Title |
---|
张宝山等: "结合直方图均衡化和暗通道先验的去雾算法", 《传感器与微系统》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023130547A1 (zh) * | 2022-01-06 | 2023-07-13 | 广东欧谱曼迪科技有限公司 | 一种内窥镜图像去雾方法、装置、电子设备及存储介质 |
CN114881896A (zh) * | 2022-07-12 | 2022-08-09 | 广东欧谱曼迪科技有限公司 | 内窥镜图像实时去雾方法、装置、电子设备、存储介质 |
CN114881896B (zh) * | 2022-07-12 | 2022-10-04 | 广东欧谱曼迪科技有限公司 | 内窥镜图像实时去雾方法、装置、电子设备、存储介质 |
CN117649363A (zh) * | 2024-01-29 | 2024-03-05 | 江苏无右微创医疗科技有限公司 | 一种实时的内窥镜图像去烟雾方法 |
CN117649363B (zh) * | 2024-01-29 | 2024-04-12 | 江苏无右微创医疗科技有限公司 | 一种实时的内窥镜图像去烟雾方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114066780B (zh) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114066780B (zh) | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 | |
CN104268843B (zh) | 基于直方图修正的图像自适应增强方法 | |
CN110570360B (zh) | 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法 | |
CN110619593A (zh) | 一种基于动态场景的双曝光视频成像系统 | |
CN108961206B (zh) | 一种去雾效果的无参考客观评价方法 | |
Pei et al. | Effective image haze removal using dark channel prior and post-processing | |
US20220012915A1 (en) | Apparatuses, systems, and methods for managing auto-exposure of image frames depicting signal content against a darkened background | |
CN114022397B (zh) | 一种内窥镜图像去雾方法、装置、电子设备及存储介质 | |
CN114529475A (zh) | 基于二维伽马校正和色调映射的图像增强方法及系统 | |
CN108898561B (zh) | 一种含天空区域雾天图像的去雾方法、服务器及系统 | |
CN115861147A (zh) | 一种内窥镜暗区域增强方法、装置、电子设备及存储介质 | |
CN117314872A (zh) | 一种视网膜图像的智能分割方法及装置 | |
WO2021051239A1 (en) | Systems and methods for real-time de-hazing in images | |
CN114584675B (zh) | 一种自适应视频增强方法和装置 | |
CN115965603A (zh) | 内窥镜图像的图像处理方法、装置、终端及可读存储介质 | |
CN114331896A (zh) | 一种基于图像分解和光谱变换的图像增强方法、系统 | |
CN115239601B (zh) | 一种图像细节增强方法、装置、电子设备及存储介质 | |
CN117455780B (zh) | 内镜暗场图像的增强方法、装置、电子设备及存储介质 | |
CN114298206B (zh) | 一种眼底图像域转换方法及系统 | |
Abel et al. | Automatic glare removal in endoscopic imaging | |
US20230162325A1 (en) | Blended gray image enhancement | |
CN114494084B (zh) | 一种图像颜色均化方法、装置、电子设备及存储介质 | |
Lim et al. | Shallow water image enhancement using predominant colour scheme | |
Peicheng et al. | Backlit image enhancement based on illumination-reflection imaging model | |
CN118096546A (zh) | 内窥镜图像的处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: 528253 Room 503, Floor 5, Building A, Jingu Zhichuang Industrial Community, No. 2, Yong'an North Road, Dawu Community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration) Patentee after: Guangdong Oupu Mandi Technology Co.,Ltd. Address before: Room B, room 504-2, floor 5, block a, Jingu photoelectric community, No. 1, Yongan North Road, Pingzhou, Guicheng Street, Nanhai District, Foshan City, Guangdong Province, 528251 Patentee before: GUANGDONG OPTOMEDIC TECHNOLOGY CO.,LTD. |