CN114066780A - 4k内窥镜图像去雾方法、装置、电子设备及存储介质 - Google Patents

4k内窥镜图像去雾方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114066780A
CN114066780A CN202210047357.XA CN202210047357A CN114066780A CN 114066780 A CN114066780 A CN 114066780A CN 202210047357 A CN202210047357 A CN 202210047357A CN 114066780 A CN114066780 A CN 114066780A
Authority
CN
China
Prior art keywords
image
histogram
brightness value
preprocessed
defogging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210047357.XA
Other languages
English (en)
Other versions
CN114066780B (zh
Inventor
郭志飞
张仲亮
梁江荣
安昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oupu Mandi Technology Co ltd
Original Assignee
Guangdong Optomedic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Optomedic Technology Co Ltd filed Critical Guangdong Optomedic Technology Co Ltd
Priority to CN202210047357.XA priority Critical patent/CN114066780B/zh
Publication of CN114066780A publication Critical patent/CN114066780A/zh
Application granted granted Critical
Publication of CN114066780B publication Critical patent/CN114066780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种4k内窥镜图像去雾方法、装置、电子设备及存储介质,涉及图像处理技术领域,其技术方案要点是:包括:获取内窥镜采集的原始图像;对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;计算所述预处理图像中每个通道像素对应的大气亮度值;根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像。本申请提供的一种4k内窥镜图像去雾方法、装置、电子设备及存储介质具有延时小、去雾效果好的优点。

Description

4k内窥镜图像去雾方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种4k内窥镜图像去雾方法、装置、电子设备及存储介质。
背景技术
目前腹部微创手术十分普及,尤其是肝胆外科,微创手术具有出血少,组织创面小,恢复时间短等优点,因此大部分手术采用微创方式进行。在微创手术中,内窥镜图像质量直接影响手术效果,因此高质量的内窥图像,对于微创手术十分重要。
在微创手术中,烟雾场景十分常见,在超声刀切割组织时,会不断生成或大或小的白雾,如果在组织切割的场景中能够对内窥图像实时去雾,能够较大提升内窥镜的成像质量。由于去雾方法较为复杂,在目前的内窥镜系统,尤其是4K内窥镜系统,很少集成图像去雾方法模块,且现有集成的图像去雾方法模块,可能受资源限制,去雾效果并不显著。
目前4K图像的去雾方法较少,且大部分是基于直方图优化的简单方法,存在去雾效果不明显等问题。
针对上述问题,申请人提出了一种新的解决方案。
发明内容
本申请的目的在于提供一种4k内窥镜图像去雾方法、装置、电子设备及存储介质,具有延时小、去雾效果好的优点。
第一方面,本申请提供了一种4k内窥镜图像去雾方法,技术方案如下:
包括:
获取内窥镜采集的原始图像;
对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
计算所述预处理图像中每个通道像素对应的大气亮度值;
根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像。
通过对原始图像进行降采样处理,降低图像处理的计算量,然后对降采样后的图像进行过曝噪声去除处理得到预处理图像,防止降低分辨率后噪声过大对后续去雾产生过大的负面影响,然后计算预处理图像的每个通道像素对应的大气亮度值,根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理,有效解决了传统的暗通道先验去雾方法无法适应内窥图像的问题,通过计算每个通道像素对应的大气亮度值,可以解决内窥图像亮度不均红外线散射较多,红色通道亮度偏高,三个通道用同一个传输函数时会出现比较明显的色差等问题,因此具有延时小、去雾效果好的有益效果。
进一步地,在本申请中,所述对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像的步骤包括:
对所述原始图像进行降采样处理,得到第一图像;
根据所述第一图像计算得到最大梯度图;
对所述最大梯度图进行二值化处理,并对二值化处理的图像进行膨胀运算,将膨胀运算的结果作为滤波模板;
根据所述滤波模板对所述第一图像进行滤波计算得到所述预处理图像。
进一步地,在本申请中,所述根据所述滤波模板对所述第一图像进行滤波计算得到所述预处理图像的步骤包括:
将处于所述滤波模板背景区域的像素直接输出所述第一图像的像素;
将处于所述滤波模板前景区域的像素输出滤波后的结果。
进一步地,在本申请中,所述计算所述预处理图像中每个通道像素对应的大气亮度值的步骤包括:
设置所述预处理图像每个通道像素的大气亮度值权重;
根据所述预处理图像以及所述预处理图像每个通道像素的大气亮度值权重计算所述预处理图像每个通道像素对应的大气亮度值。
进一步地,在本申请中,所述设置所述预处理图像每个通道像素的大气亮度值权重的步骤包括:
获取所述预处理图像的均值以及方差;
根据所述预处理图像的均值以及方差计算得出所述预处理图像每个通道像素的大气亮度值权重。
进一步地,在本申请中,所述根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像之后还包括以下步骤:
计算所述无雾图像的直方图;
根据所述直方图优化所述无雾图像的对比度。
进一步地,在本申请中,所述根据所述直方图优化所述无雾图像的对比度的步骤包括:
切割所述直方图中超出第一预设值的像素;
将切割的所述像素均匀加入所述直方图中得到均衡化直方图;
对所述均衡化直方图进行迭代,当所述均衡化直方图满足预设条件时输出直方图映射表。
进一步地,在本申请中,所述当所述均衡化直方图满足预设条件时输出直方图映射表的步骤包括:
当所述直方图的方差与所述均衡化直方图的方差的差值大于第二预设值时输出所述直方图映射表;
或,当所述直方图的方差大于第三预设值时输出所述直方图映射表;
或,迭代次数超过第四预设值时输出所述直方图映射表。
第二方面,本申请还提供一种4k内窥镜图像去雾装置,包括:
获取模块,获取内窥镜采集的原始图像;
第一处理模块,用于对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
第二处理模块,用于计算所述预处理图像中每个通道像素对应的大气亮度值;
第三处理模块,用于根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像。
第三方面,本申请还提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上任一项所述方法中的步骤。
第四方面,本申请还提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,运行如上任一项所述方法中的步骤。
由上可知,本申请提供的一种4k内窥镜图像去雾方法、装置、电子设备及存储介质,通过对原始图像进行降采样处理,降低图像处理的计算量,然后对降采样后的图像进行过曝噪声去除处理得到预处理图像,防止降低分辨率后噪声过大对后续去雾产生过大的负面影响,然后计算预处理图像的每个通道像素对应的大气亮度值,根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理,有效解决了传统的暗通道先验去雾方法无法适应内窥图像的问题,通过计算每个通道像素对应的大气亮度值,可以解决内窥图像亮度不均红外线散射较多,红色通道亮度偏高,三个通道用同一个传输函数时会出现比较明显的色差等问题,因此具有延时小、去雾效果好的有益效果。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请提供的一种4k内窥镜图像去雾方法示意图。
图2为本申请提供的一种4k内窥镜图像去雾装置结构示意图。
图3为本申请提供的一种电子设备示意图。
图中:210、获取模块;220、第一处理模块;230、第二处理模块;240、第三处理模块;300、电子设备;310、处理器;320、存储器。
具体实施方式
下面将结合本申请中附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
暗通道先验方法是通过一个大气散射模型,然后利用大气亮度值对带雾的原始图像进行处理,从而求出无雾图像,具体的,通常其大气散射模型为:
Figure 411892DEST_PATH_IMAGE001
;
其中,
Figure 735557DEST_PATH_IMAGE002
为原始图像、
Figure 46453DEST_PATH_IMAGE003
为无雾图像、
Figure 582608DEST_PATH_IMAGE004
为传输函数、
Figure 662559DEST_PATH_IMAGE005
为大气亮度值,其中的
Figure 16180DEST_PATH_IMAGE006
表示的是图像范围内的任意一像素。
如果某个RGB图像无雾,则该RGB图像的每个像素的RGB三个通道的最小值必定为0,RGB三个通道之间的最小值称为暗通道,使用公式则可以描述为:
Figure 424159DEST_PATH_IMAGE007
其中,
Figure 154217DEST_PATH_IMAGE008
表示通道、
Figure 88675DEST_PATH_IMAGE009
表示以
Figure 485634DEST_PATH_IMAGE010
为中心的局部区域、
Figure 505543DEST_PATH_IMAGE011
表示暗通道,
Figure 649079DEST_PATH_IMAGE012
表示以
Figure 438044DEST_PATH_IMAGE010
为中心的局部区域内的任意一点,
Figure 133467DEST_PATH_IMAGE013
表示无雾图像的第c个通道内 像素y的值;
暗通道先验指的是无雾图像的暗通道为0,即:
Figure 781617DEST_PATH_IMAGE014
同时推导得到传输函数为:
Figure 322320DEST_PATH_IMAGE015
Figure 496949DEST_PATH_IMAGE016
Figure 973061DEST_PATH_IMAGE017
由上述可知:
Figure 233141DEST_PATH_IMAGE018
因此有:
Figure 577535DEST_PATH_IMAGE019
其中,大气亮度值A代表照射整个场景的亮度值,一般情况下,设置为图像暗通道 图像亮度前1%像素对应原图的像素最高亮度值,
Figure 482037DEST_PATH_IMAGE020
表示原始有雾图像的第c个通道内像 素y的值。
在完成
Figure 519263DEST_PATH_IMAGE021
和A的计算后,可以通过
Figure 876426DEST_PATH_IMAGE022
求出
Figure 290090DEST_PATH_IMAGE023
,即无雾 图像,其中,
Figure 908153DEST_PATH_IMAGE024
是为了避免
Figure 257226DEST_PATH_IMAGE025
为0的情况,通常
Figure 960740DEST_PATH_IMAGE024
设为0.1。
暗通道先验去雾方法基于纯色图像暗通道为0的先验,一般用于处理自然图像,在处理自然图像时,其入射光为平行光,光照均匀,因此可以取得很好的去雾效果。
在内窥图像中,图像分辨率对手术的进行十分重要,图像的分辨率越高,则图像越清晰,图像的信息也越丰富,所以,目前的内窥镜图像已经逐渐使用上了4k的分辨率,然而,4k图像的数据量大,如果直接采用暗通道去雾方法,则会导致较高的延时,并且目前针对4K图像的去雾方法较少,且大部分是基于直方图优化的简单方法,存在去雾效果不明显等问题。
对此,申请人提出了一种基于暗通道先验并且针对4k高分辨率的内窥镜图像去雾方法。
第一方面,参照图1,本申请提供了一种4k内窥镜图像去雾方法,技术方案具体包括:
S110、获取内窥镜采集的原始图像;
S120、对原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
S130、计算预处理图像中每个通道像素对应的大气亮度值;
S140、根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理得到无雾图像。
其中原始图像可以是4k分辨率的图像,也可以是其它高分辨率的图像,例如2k分辨率、8k分辨率等。
通过上述技术方案,通过对原始图像进行降采样处理,降低图像处理的计算量,然后对降采样后的图像进行过曝噪声去除处理得到预处理图像,防止降低分辨率后噪声过大对后续去雾产生过大的负面影响,然后计算预处理图像的每个通道像素对应的大气亮度值,根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理,有效解决了传统的暗通道先验去雾方法无法适应内窥图像的问题,通过计算每个通道像素对应的大气亮度值,可以解决内窥图像亮度不均、红外线散射较多,红色通道亮度偏高,三个通道用同一个传输函数时会出现比较明显的色差等问题,因此具有延时小、去雾效果好的有益效果。
在内窥图像中,由于血液或组织光滑面反射光过强的影响,部分像素点会出现过曝的情况,在这种情况下,最亮点位置会伴随极暗点噪声,出现明显的梯度反差,并且降采样以后的图像的任意一个像素会对应原始图像的多个像素范围,例如采样率为0.1,则降采样后的图像的一个像素会对应原始图像的10个像素范围,且暗通道图像以区域极小值来计算某个区域的暗通道,因此内窥图像的过曝点噪声会明显影响图像的去雾效果,尤其是影响视频图像的去雾连续性。
因此,进一步地,在其中一些实施例中,对原始图像进行降采样处理和过曝噪声去除处理得到预处理图像的步骤包括:
对原始图像进行降采样处理,得到第一图像;
根据第一图像计算得到最大梯度图;
设定阈值对最大梯度图进行二值化处理,并对二值化处理的图像进行膨胀运算,将膨胀运算的结果作为滤波模板;
根据滤波模板对第一图像进行滤波计算得到预处理图像。
通过上述技术方案,对原始图像进行降采样处理可以使计算量显著减少,并且通过过曝噪声去除处理减少第一图像的噪声。
具体的,可以通过双线性差值方法将原始图像以0.1的采样率进行降采样,例如,将分辨率为3840*2160的原始图像降采样为384*216的第一图像,可以使计算量显著减少。
接着,在过曝噪声去除处理中,主要包括了滤波模板计算以及滤波两个部分,其中,首先是计算得到滤波模板,滤波模板可以通过第一图像的最大梯度图求得,第一图像的最大梯度图可以通过通道像素的灰度值以及八邻域求得,其公式表示为:
Figure 787882DEST_PATH_IMAGE026
其中,
Figure 526030DEST_PATH_IMAGE027
为像素
Figure 170638DEST_PATH_IMAGE028
的梯度,
Figure 233885DEST_PATH_IMAGE029
Figure 989351DEST_PATH_IMAGE030
分别为像素
Figure 316427DEST_PATH_IMAGE028
Figure 7303DEST_PATH_IMAGE031
的灰度值,
Figure 685409DEST_PATH_IMAGE032
为像素
Figure 978987DEST_PATH_IMAGE028
的八 邻域。
在计算了出第一图像的最大梯度图后,可以以阈值为30对最大梯度图进行二值化,得到二值化处理的图像,并且可以使用3*3的结构算子对二值化处理的图像进行膨胀运算,扩大前景区域,并将膨胀后的结果作为滤波模板。
通过膨胀运算可以对二值化处理的图像的边界点进行扩充,使边界可以向外扩张,可以有效填补空洞以及消除小颗粒噪声。
在得到滤波模板后,对第一图像进行中值滤波,具体的,将处于滤波模板背景区域的像素直接输出第一图像的像素,将处于滤波模板前景区域的像素输出中值滤波后的结果,用公式可以表达为:
Figure 567094DEST_PATH_IMAGE033
该公式表示对第一图像进行处理,其中,
Figure 22346DEST_PATH_IMAGE034
表示的是输出的预处理图像,
Figure 328694DEST_PATH_IMAGE035
表示输入的第一图像,
Figure 160384DEST_PATH_IMAGE036
表示的是滤波模板,i表示的是第一图像任意位置的像 素,c表示通道;如果
Figure 993210DEST_PATH_IMAGE037
,则表示该点不需要进行滤波,每个通道输出
Figure 494730DEST_PATH_IMAGE034
对应的值; 如果
Figure 413008DEST_PATH_IMAGE038
,则表示该点需要进行滤波,每个通道的赋值为滤波后的值。
通过上述方案,可以有效降低第一图像的过曝噪声,防止过曝噪声对去雾造成负面影响。
计算第一图像的最大梯度图,然后将最大梯度图进行二值化处理,将经过二值化处理的图像进行膨胀运算进而得到滤波模板,通过滤波模板进行滤波,这样的好处在于不需要对第一图像的全图进行处理,因为受到血液或组织光滑面反射光过强的影响,只会有部分像素点会出现过曝的情况,过曝噪声实际上并不会特别多,因此不需要对全图进行滤波处理,而如果对全图进行滤波处理,会导致暗通道偏高,进而导致传输函数偏低,最终图像去雾后会存在过饱和的情况,而本方案则是通过第一图像的最大梯度来筛选出过曝位置,并通过膨胀运算来扩大选取,只有在滤波模板内的像素才会进行中值滤波,而不在模板内的像素则直接输出第一图像的像素,这样可以避免整体图像的处理,也就避免了后续图像存在过饱和的问题。
进一步地,在其中一些实施例中,计算预处理图像中每个通道像素对应的大气亮度值的步骤包括:
设置预处理图像每个通道像素的大气亮度值权重;
根据预处理图像以及预处理图像每个通道像素的大气亮度值权重计算预处理图像每个通道像素对应的大气亮度值。
通过上述技术方案,根据每个通道像素的大气亮度值权重来针对性的计算出每个通道像素的大气亮度值,然后由每个通道像素的大气亮度值进行去雾,进而解决内窥图像亮度不均的问题。
具体的,每个通道像素的大气亮度值计算公式可以表达为:
Figure 48388DEST_PATH_IMAGE039
其中,
Figure 79929DEST_PATH_IMAGE040
为第c个通道像素对应的大气亮度值、
Figure 408142DEST_PATH_IMAGE041
为第c个通道像素的大气亮 度值权重、
Figure 282558DEST_PATH_IMAGE042
为预处理图像,常数255是代表最大亮度值。
在传统的暗通道先验方法中,大气亮度值会是255或者接近255的固定值,但是针对内窥镜的图像处理则不能这样算,因为内窥镜离光源近,生物体的内部组织复杂,因此获取的原始图像的亮度不均匀,对此增加设计了预处理图像每个通道像素的大气亮度值权重,进一步更新每个通道像素的大气亮度值,使每个通道像素的大气亮度值更加准确。
进一步地,在其中一些实施例中,设置预处理图像每个通道像素的大气亮度值权重的步骤包括:
获取预处理图像的均值以及方差;
根据预处理图像的均值以及方差计算得出预处理图像每个通道像素的大气亮度值权重。
具体的,在一些实施方式中,根据预处理图像的均值以及方差计算得出预处理图像每个像素的大气亮度值权重的公式为:
Figure 862575DEST_PATH_IMAGE043
其中,
Figure 138835DEST_PATH_IMAGE041
为第c个通道像素的权重、
Figure 513316DEST_PATH_IMAGE044
为自然常数、
Figure 875027DEST_PATH_IMAGE045
为预处理图像的均值、
Figure 117790DEST_PATH_IMAGE046
为预处理图像的方差;
通过上述技术方案,根据预处理图像的均值以及方差获得预处理图像每个通道像素的大气亮度值权重,然后根据预处理图像每个通道像素的大气亮度值权重以及预处理图像求出每个通道像素对应的大气亮度值,然后通过每个通道像素对应的大气亮度值进行去雾处理,最终求得无雾图像。
进一步地,在其中一些实施例中,根据预处理图像每个通道像素对应的大气亮度值以及原始图像进行去雾处理的步骤包括:
根据预处理图像每个通道像素对应的大气亮度值得到每个通道像素对应的传输函数;
根据每个通道像素对应的传输函数、原始图像以及预处理图像每个通道像素对应的大气亮度值进行去雾处理。
通过上述技术方案,由于每个通道像素都对应一个大气亮度值,因此每个通道像素都将有一个传输函数与之对应。
具体的,根据预处理图像每个通道像素对应的大气亮度值得到每个通道像素对应的传输函数为:
Figure 120993DEST_PATH_IMAGE047
其中,
Figure 791009DEST_PATH_IMAGE048
为第c个通道像素对应的传输函数、
Figure 640016DEST_PATH_IMAGE049
为去雾强度,可以自定义进行 设置、
Figure 30677DEST_PATH_IMAGE050
为第c个通道像素对应的大气亮度值、
Figure 547109DEST_PATH_IMAGE051
为暗通道。
进一步地,在其中一些实施例中,根据每个通道像素对应的传输函数、原始图像以及预处理图像每个通道像素对应的大气亮度值进行去雾处理的步骤还包括:
通过导向滤波细化每个通道像素对应的传输函数;
根据细化后的每个通道像素对应的传输函数、原始图像以及预处理图像每个通道像素对应的大气亮度值进行去雾处理。
通过上述技术方案,在计算完三个通道像素的传输函数后,通过导向滤波来细化传输函数,从而提高传输函数的精确率,避免去雾后出现光晕。
具体的,在一些实施方式中,导向滤波的公式为:
Figure 599696DEST_PATH_IMAGE053
最终,根据预处理图像每个通道像素对应的大气亮度值以及原始图像进行去雾处理可以表示为:
Figure 918682DEST_PATH_IMAGE054
其中,
Figure 164987DEST_PATH_IMAGE055
为求出的无雾图像、
Figure 911226DEST_PATH_IMAGE056
为内窥镜获取的原始图像、
Figure 734825DEST_PATH_IMAGE057
为第c个 通道像素对应的大气亮度值、
Figure 732868DEST_PATH_IMAGE058
为经过导向滤波后的第c个通道像素对应的传输函数,
Figure 958313DEST_PATH_IMAGE024
为常数,通常将
Figure 954082DEST_PATH_IMAGE024
设为0.1。
通过本申请上述的改进暗通道先验去雾方法在大部分情况下都能很好完成图像的去雾,但是针对图像偏色严重,或者是图像分辨率不高的区域,去雾后图像效果并不自然,并且还存在一定的偏色,因此在此基础上采用对比度直方图均衡化的方法自适应提高低分辨率区域的图像对比度,从而提升去雾效果。
因此,进一步地,在其中一些实施例中,根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理得到无雾图像之后还包括以下步骤:
计算无雾图像的直方图;
根据直方图优化无雾图像的对比度。
通过上述技术方案,利用直方图对无雾图像进行进一步优化,可以采用将直方图均衡化的方法用于增强对比度使去雾效果更好。
进一步地,在其中一些实施例中,根据直方图优化无雾图像的对比度的步骤包括:
切割直方图中超出第一预设值的像素;
将切割的像素均匀加入直方图中得到均衡化直方图;
对均衡化直方图进行迭代,当均衡化直方图满足预设条件时输出直方图映射表。
通过上述技术方案,本申请采用的是在现有直方图优化对比度的基础上做出的改进,可以使优化的效果更加理想,在计算直方图的时候,通过设置第一预设值,将大于第一预设值的数据重新分配到每个灰度级上,从而限制直方图优化后的图像对比度,使去雾的效果更加自然。
具体的,可以通过公式表达为:
Figure 530557DEST_PATH_IMAGE059
其中,
Figure 191345DEST_PATH_IMAGE060
为第一预设值、
Figure 146663DEST_PATH_IMAGE061
为无雾图像的直方图、
Figure 500284DEST_PATH_IMAGE062
为均衡化直方图。
接着将切割的像素均匀加入至直方图中得到均衡化直方图,用公式可以表达为:
Figure 170912DEST_PATH_IMAGE063
其中,
Figure 635392DEST_PATH_IMAGE064
为无雾图像像素的数量,
Figure 569850DEST_PATH_IMAGE065
为超出第一预设值的像素数 量。
进一步地,在其中一些实施例中,当均衡化直方图满足预设条件时输出直方图映射表的步骤包括:
当直方图的方差与均衡化直方图的方差的差值大于第二预设值时输出直方图映射表;
或,当直方图的方差大于第三预设值时输出直方图映射表;
或,迭代次数超过第四预设值时输出直方图映射表。
其中,直方图映射表,是指进行直方图在均衡化计算后,会得到一个直方图的映射表,表示原来的像素灰度到新的像素灰度之间的映射,例如原始灰度是1,通过映射表计算后新灰度是3,从灰度0-255,均有对应的映射值,256级映射值形成一个映射表。
具体的,在一些具体实施方式中,第二预设值可以设为0.15,输出直方图映射表的条件可以表达为:
Figure 969738DEST_PATH_IMAGE066
具体的,在一些实施方式中,第三预设值可以设为40,输出直方图映射表的条件可以表达为:
Figure 255226DEST_PATH_IMAGE067
其中,
Figure 257817DEST_PATH_IMAGE068
表示直方图均衡化前的图像方差,
Figure 922148DEST_PATH_IMAGE069
表示直方图均衡化后的图像方 差。
具体的,在一些实施方式中,最大迭代次数可以设为100,即,当均衡化次数超过100次以后则输出直方图映射表。
第二方面,参照图2,本申请还提供一种4k内窥镜图像去雾装置,包括:
获取模块210,获取内窥镜采集的原始图像;
第一处理模块220,用于对原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
第二处理模块230,用于计算预处理图像中每个通道像素对应的大气亮度值;
第三处理模块240,用于根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理得到无雾图像。
通过上述技术方案,获取模块210用于获取内窥镜采集的原始图像,然后通过第一处理模块220通过对原始图像进行降采样处理,降低图像处理的计算量,然后再对降采样后的图像进行过曝噪声去除处理得到预处理图像,防止降低分辨率后噪声过大对后续去雾产生过大的负面影响,接着由第二处理模块230计算预处理图像的每个通道像素对应的大气亮度值,最后由第三处理模块240根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理,有效解决了传统的暗通道先验去雾方法无法适应内窥图像的问题,通过计算每个通道像素对应的大气亮度值,可以解决内窥图像亮度不均、红外线散射较多,红色通道亮度偏高,三个通道用同一个传输函数时会出现比较明显的色差等问题,因此具有延时小、去雾效果好的有益效果。
在其它一些优选的实施例中,采用该装置执行上述的一种4k内窥镜图像去雾方法。
第三方面,参照图3,本申请还提供一种电子设备300,包括处理器310以及存储器320,存储器320存储有计算机可读取指令,当计算机可读取指令由处理器310执行时,运行上述方法中的步骤。
通过上述技术方案,处理器310和存储器320通过通信总线和/或其他形式的连接机构(未标出)互连并相互通讯,存储器320存储有处理器310可执行的计算机程序,当计算设备运行时,处理器310执行该计算机程序,以执行时执行上述实施例的任一可选的实现方式中的方法,以实现以下功能:获取内窥镜采集的原始图像;对原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;计算预处理图像中每个通道像素对应的大气亮度值;根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理得到无雾图像。
第四方面,本申请还提供一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时,运行上述方法中的步骤。
通过上述技术方案,计算机程序被处理器执行时,执行上述实施例的任一可选的实现方式中的方法,以实现以下功能:获取内窥镜采集的原始图像;对原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;计算预处理图像中每个通道像素对应的大气亮度值;根据预处理图像中每个通道像素对应的大气亮度值以及原始图像进行去雾处理得到无雾图像。
其中,存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory, 简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory, 简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory, 简称EPROM),可编程只读存储器(Programmable Red-Only Memory, 简称PROM),只读存储器(Read-OnlyMemory, 简称ROM),磁存储器,快闪存储器,磁盘或光盘。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种4k内窥镜图像去雾方法,其特征在于,包括:
获取内窥镜采集的原始图像;
对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
计算所述预处理图像中每个通道像素对应的大气亮度值;
根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像。
2.根据权利要求1所述的一种4k内窥镜图像去雾方法,其特征在于,所述对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像的步骤包括:
对所述原始图像进行降采样处理,得到第一图像;
根据所述第一图像计算得到最大梯度图;
对所述最大梯度图进行二值化处理,并对二值化处理的图像进行膨胀运算,将膨胀运算的结果作为滤波模板;
根据所述滤波模板对所述第一图像进行滤波计算得到所述预处理图像。
3.根据权利要求2所述的一种4k内窥镜图像去雾方法,其特征在于,所述根据所述滤波模板对所述第一图像进行滤波计算得到所述预处理图像的步骤包括:
将处于所述滤波模板背景区域的像素直接输出所述第一图像的像素;
将处于所述滤波模板前景区域的像素输出滤波后的结果。
4.根据权利要求1所述的一种4k内窥镜图像去雾方法,其特征在于,所述计算所述预处理图像中每个通道像素对应的大气亮度值的步骤包括:
设置所述预处理图像每个通道像素的大气亮度值权重;
根据所述预处理图像以及所述预处理图像每个通道像素的大气亮度值权重计算所述预处理图像每个通道像素对应的大气亮度值;
所述设置所述预处理图像每个通道像素的大气亮度值权重的步骤包括:
获取所述预处理图像的均值以及方差;
根据所述预处理图像的均值以及方差计算得出所述预处理图像每个通道像素的大气亮度值权重。
5.根据权利要求1所述的一种4k内窥镜图像去雾方法,其特征在于,所述根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像之后还包括以下步骤:
计算所述无雾图像的直方图;
根据所述直方图优化所述无雾图像的对比度。
6.根据权利要求5所述的一种4k内窥镜图像去雾方法,其特征在于,所述根据所述直方图优化所述无雾图像的对比度的步骤包括:
切割所述直方图中超出第一预设值的像素;
将切割的所述像素均匀加入所述直方图中得到均衡化直方图;
对所述均衡化直方图进行迭代,当所述均衡化直方图满足预设条件时输出直方图映射表。
7.根据权利要求6所述的一种4k内窥镜图像去雾方法,其特征在于,所述当所述均衡化直方图满足预设条件时输出直方图映射表的步骤包括:
当所述直方图的方差与所述均衡化直方图的方差的差值大于第二预设值时输出所述直方图映射表;
或,当所述直方图的方差大于第三预设值时输出所述直方图映射表;
或,迭代次数超过第四预设值时输出所述直方图映射表。
8.一种4k内窥镜图像去雾装置,其特征在于,包括:
获取模块,获取内窥镜采集的原始图像;
第一处理模块,用于对所述原始图像进行降采样处理和过曝噪声去除处理得到预处理图像;
第二处理模块,用于计算所述预处理图像中每个通道像素对应的大气亮度值;
第三处理模块,用于根据所述预处理图像中每个通道像素对应的大气亮度值以及所述原始图像进行去雾处理得到无雾图像。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-7任一项所述方法中的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,运行如权利要求1-7任一项所述方法中的步骤。
CN202210047357.XA 2022-01-17 2022-01-17 4k内窥镜图像去雾方法、装置、电子设备及存储介质 Active CN114066780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210047357.XA CN114066780B (zh) 2022-01-17 2022-01-17 4k内窥镜图像去雾方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210047357.XA CN114066780B (zh) 2022-01-17 2022-01-17 4k内窥镜图像去雾方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114066780A true CN114066780A (zh) 2022-02-18
CN114066780B CN114066780B (zh) 2022-06-03

Family

ID=80231141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210047357.XA Active CN114066780B (zh) 2022-01-17 2022-01-17 4k内窥镜图像去雾方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114066780B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881896A (zh) * 2022-07-12 2022-08-09 广东欧谱曼迪科技有限公司 内窥镜图像实时去雾方法、装置、电子设备、存储介质
WO2023130547A1 (zh) * 2022-01-06 2023-07-13 广东欧谱曼迪科技有限公司 一种内窥镜图像去雾方法、装置、电子设备及存储介质
CN117649363A (zh) * 2024-01-29 2024-03-05 江苏无右微创医疗科技有限公司 一种实时的内窥镜图像去烟雾方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009273691A (ja) * 2008-05-15 2009-11-26 Fujifilm Corp 内視鏡画像処理装置および方法
US20110028790A1 (en) * 2004-09-24 2011-02-03 Vivid Medical, Inc. Disposable endoscopic access device and portable display
US20150071563A1 (en) * 2012-05-15 2015-03-12 Sk Telecom Co., Ltd. Image-processing apparatus for removing haze contained in video, and method therefof
US20150371373A1 (en) * 2014-06-20 2015-12-24 Hyundai Motor Company Apparatus and method for removing fog in image
JP2016202628A (ja) * 2015-04-23 2016-12-08 富士フイルム株式会社 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体
CN106251296A (zh) * 2016-07-06 2016-12-21 北京元心科技有限公司 一种图像去雾方法和系统
CN107403421A (zh) * 2017-08-10 2017-11-28 杭州联吉技术有限公司 一种图像去雾方法、存储介质及终端设备
CN107610058A (zh) * 2017-08-28 2018-01-19 浙江工业大学 基于下采样的高分辨率图像去雾方法
US20180122051A1 (en) * 2015-03-30 2018-05-03 Agency For Science, Technology And Research Method and device for image haze removal
US20190114747A1 (en) * 2016-04-07 2019-04-18 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
CN110766713A (zh) * 2019-10-30 2020-02-07 上海微创医疗器械(集团)有限公司 肺部图像分割方法、装置和肺部病变区域识别设备
CN112419162A (zh) * 2019-08-20 2021-02-26 浙江宇视科技有限公司 图像去雾方法、装置、电子设备及可读存储介质
CN112508797A (zh) * 2019-09-16 2021-03-16 柯惠有限合伙公司 用于图像中实时去雾的系统和方法
CN112580447A (zh) * 2020-12-04 2021-03-30 国网福建省电力有限公司泉州供电公司 一种基于边缘二阶统计与融合的电力线检测方法
US20210255456A1 (en) * 2020-02-17 2021-08-19 Qingdao O-Mec Medical Technology Co., Ltd. Device of anti-fogging endoscope system
WO2021244270A1 (zh) * 2020-06-03 2021-12-09 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及计算机可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110028790A1 (en) * 2004-09-24 2011-02-03 Vivid Medical, Inc. Disposable endoscopic access device and portable display
JP2009273691A (ja) * 2008-05-15 2009-11-26 Fujifilm Corp 内視鏡画像処理装置および方法
US20150071563A1 (en) * 2012-05-15 2015-03-12 Sk Telecom Co., Ltd. Image-processing apparatus for removing haze contained in video, and method therefof
US20150371373A1 (en) * 2014-06-20 2015-12-24 Hyundai Motor Company Apparatus and method for removing fog in image
US20180122051A1 (en) * 2015-03-30 2018-05-03 Agency For Science, Technology And Research Method and device for image haze removal
JP2016202628A (ja) * 2015-04-23 2016-12-08 富士フイルム株式会社 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体
US20190114747A1 (en) * 2016-04-07 2019-04-18 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
CN106251296A (zh) * 2016-07-06 2016-12-21 北京元心科技有限公司 一种图像去雾方法和系统
CN107403421A (zh) * 2017-08-10 2017-11-28 杭州联吉技术有限公司 一种图像去雾方法、存储介质及终端设备
CN107610058A (zh) * 2017-08-28 2018-01-19 浙江工业大学 基于下采样的高分辨率图像去雾方法
CN112419162A (zh) * 2019-08-20 2021-02-26 浙江宇视科技有限公司 图像去雾方法、装置、电子设备及可读存储介质
CN112508797A (zh) * 2019-09-16 2021-03-16 柯惠有限合伙公司 用于图像中实时去雾的系统和方法
CN110766713A (zh) * 2019-10-30 2020-02-07 上海微创医疗器械(集团)有限公司 肺部图像分割方法、装置和肺部病变区域识别设备
US20210255456A1 (en) * 2020-02-17 2021-08-19 Qingdao O-Mec Medical Technology Co., Ltd. Device of anti-fogging endoscope system
WO2021244270A1 (zh) * 2020-06-03 2021-12-09 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN112580447A (zh) * 2020-12-04 2021-03-30 国网福建省电力有限公司泉州供电公司 一种基于边缘二阶统计与融合的电力线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张宝山等: "结合直方图均衡化和暗通道先验的去雾算法", 《传感器与微系统》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023130547A1 (zh) * 2022-01-06 2023-07-13 广东欧谱曼迪科技有限公司 一种内窥镜图像去雾方法、装置、电子设备及存储介质
CN114881896A (zh) * 2022-07-12 2022-08-09 广东欧谱曼迪科技有限公司 内窥镜图像实时去雾方法、装置、电子设备、存储介质
CN114881896B (zh) * 2022-07-12 2022-10-04 广东欧谱曼迪科技有限公司 内窥镜图像实时去雾方法、装置、电子设备、存储介质
CN117649363A (zh) * 2024-01-29 2024-03-05 江苏无右微创医疗科技有限公司 一种实时的内窥镜图像去烟雾方法
CN117649363B (zh) * 2024-01-29 2024-04-12 江苏无右微创医疗科技有限公司 一种实时的内窥镜图像去烟雾方法

Also Published As

Publication number Publication date
CN114066780B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN114066780B (zh) 4k内窥镜图像去雾方法、装置、电子设备及存储介质
CN104268843B (zh) 基于直方图修正的图像自适应增强方法
CN110570360B (zh) 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法
CN110619593A (zh) 一种基于动态场景的双曝光视频成像系统
CN108961206B (zh) 一种去雾效果的无参考客观评价方法
Pei et al. Effective image haze removal using dark channel prior and post-processing
US20220012915A1 (en) Apparatuses, systems, and methods for managing auto-exposure of image frames depicting signal content against a darkened background
CN114022397B (zh) 一种内窥镜图像去雾方法、装置、电子设备及存储介质
CN114529475A (zh) 基于二维伽马校正和色调映射的图像增强方法及系统
CN108898561B (zh) 一种含天空区域雾天图像的去雾方法、服务器及系统
CN115861147A (zh) 一种内窥镜暗区域增强方法、装置、电子设备及存储介质
CN117314872A (zh) 一种视网膜图像的智能分割方法及装置
WO2021051239A1 (en) Systems and methods for real-time de-hazing in images
CN114584675B (zh) 一种自适应视频增强方法和装置
CN115965603A (zh) 内窥镜图像的图像处理方法、装置、终端及可读存储介质
CN114331896A (zh) 一种基于图像分解和光谱变换的图像增强方法、系统
CN115239601B (zh) 一种图像细节增强方法、装置、电子设备及存储介质
CN117455780B (zh) 内镜暗场图像的增强方法、装置、电子设备及存储介质
CN114298206B (zh) 一种眼底图像域转换方法及系统
Abel et al. Automatic glare removal in endoscopic imaging
US20230162325A1 (en) Blended gray image enhancement
CN114494084B (zh) 一种图像颜色均化方法、装置、电子设备及存储介质
Lim et al. Shallow water image enhancement using predominant colour scheme
Peicheng et al. Backlit image enhancement based on illumination-reflection imaging model
CN118096546A (zh) 内窥镜图像的处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 528253 Room 503, Floor 5, Building A, Jingu Zhichuang Industrial Community, No. 2, Yong'an North Road, Dawu Community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration)

Patentee after: Guangdong Oupu Mandi Technology Co.,Ltd.

Address before: Room B, room 504-2, floor 5, block a, Jingu photoelectric community, No. 1, Yongan North Road, Pingzhou, Guicheng Street, Nanhai District, Foshan City, Guangdong Province, 528251

Patentee before: GUANGDONG OPTOMEDIC TECHNOLOGY CO.,LTD.