CN116109533A - 内窥镜图像增强方法、装置、设备及介质 - Google Patents
内窥镜图像增强方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116109533A CN116109533A CN202211530793.9A CN202211530793A CN116109533A CN 116109533 A CN116109533 A CN 116109533A CN 202211530793 A CN202211530793 A CN 202211530793A CN 116109533 A CN116109533 A CN 116109533A
- Authority
- CN
- China
- Prior art keywords
- image
- layer image
- base layer
- original
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000001914 filtration Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 238000012937 correction Methods 0.000 claims abstract description 33
- 238000005286 illumination Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000003745 diagnosis Methods 0.000 description 12
- 230000003902 lesion Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 101100134303 Mus musculus Nucb1 gene Proteins 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000003238 esophagus Anatomy 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请公开了一种内窥镜图像增强方法、装置、设备及介质，涉及内窥镜技术领域，包括：对内窥镜返回的原始图像进行引导滤波，以得到原始图像的原始基础层图像，并对原始图像和原始基础层图像进行图像相减处理，以得到原始图像的原始细节层图像；对原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对滤波后细节层图像进行增益控制，以得到目标细节层图像；利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对原始基础层图像进行处理，以得到目标基础层图像；将目标细节层图像和目标基础层图像进行图像融合，以得到原始图像的增强后目标图像。能够对内窥镜图像进行合理的图像增强处理，以提高图像质量。
Description
技术领域
本发明涉及内窥镜技术领域，特别涉及内窥镜图像增强方法、装置、设备及介质。
背景技术
随着社会经济的发展和医学技术的进步，微创和无创诊疗仪器在临床医学领域的作用越来越显著。医用电子内窥镜系统集成了光学与计算机等高新技术，能够让医生直接观察到人体内部的组织器官，方便了医生的诊断过程，提高了诊断准确率，因而得到了非常广泛的应用；同时，医用电子内窥镜也广泛应用于微创手术，使用电子内窥镜进行手术降低了感染风险，减少了术后痛楚以及对病人身体和精神上的损伤。
目前电子内窥镜最主要的诊断方式是通过操作医生的人眼直观判断，对于早期病变以及手术病变早期再生病灶，医生的诊断对电子内窥镜提出了更高的对比度和更强的构造细节、边缘细节等要求。限制于成像器件传感器的灵敏度和动态范围，光源的最大光通量等因素，医用电子内窥镜图像的物理对比度、细节和构造表现不能达到医生对早期病变诊断的要求，因此，有必要对医用电子内窥镜图像进行先进的图像处理，以达到提高诊断率的效果。
综上可见，如何对内窥镜图像进行合理的图像增强处理，以提高图像质量是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种内窥镜图像增强方法、装置、设备及介质，能够对内窥镜图像进行合理的图像增强处理，以提高图像质量。其具体方案如下：
第一方面，本申请公开了一种内窥镜图像增强方法，包括：
对内窥镜返回的原始图像进行引导滤波，以得到所述原始图像的原始基础层图像，并对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像；
对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像；
利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对所述原始基础层图像进行处理，以得到目标基础层图像；
将所述目标细节层图像和所述目标基础层图像进行图像融合，以得到所述原始图像的增强后目标图像。
可选的，所述对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像，包括：
对所述原始图像的RGB通道和所述原始基础层图像的RGB通道进行相应的图像相减处理，以得到所述原始图像的原始细节层图像；
相应的，所述对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像，包括：
对所述原始细节层图像的RGB通道分别进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像的RGB通道分别进行增益控制，以得到目标细节层图像。
可选的，所述利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对所述原始基础层图像进行处理，以得到目标基础层图像，包括：
利用限制对比度自适应直方图均衡算法对所述原始基础层图像进行处理，以得到第一基础层图像；
对所述原始基础层图像进行光照不均匀校正，以得到第二基础层图像；
对所述第一基础层图像和所述第二基础层图像进行线性加权融合，以得到目标基础层图像。
可选的，所述利用限制对比度自适应直方图均衡算法对所述原始基础层图像进行处理，以得到第一基础层图像，包括：
对所述原始基础层图像进行图像格式转换，以得到图像格式为YUV格式图像的转换后基础层图像，并利用限制对比度自适应直方图均衡算法对所述转换后基础层图像进行处理，以得到处理后基础层图像；
对所述处理后基础层图像再次进行图像转换，以得到图像格式为RGB格式的第一基础层图像。
可选的，所述利用限制对比度自适应直方图均衡算法对所述转换后基础层图像进行处理，以得到处理后基础层图像，包括：
利用限制对比度自适应直方图均衡算法对所述转换后基础层图像的Y分量进行处理，以得到处理后基础层图像。
可选的，所述对所述原始基础层图像进行光照不均匀校正，以得到第二基础层图像，包括：
分别确定所述原始基础层图像中每一个像素的RGB通道灰度值，以便确定每一个像素的灰度最大值；
基于所述每一个像素的灰度最大值确定所述原始基础层图像的灰度最大值，以便利用所述每一个像素的灰度最大值和所述原始基础层图像的灰度最大值获取所述原始基础层图像的亮度校正图像；
利用所述亮度校正图像、所述每一个像素的灰度最大值、所述每一个像素的RGB通道灰度值，获取第二基础层图像。
可选的，所述对所述第一基础层图像和所述第二基础层图像进行线性加权融合，以得到目标基础层图像，包括：
确定第一加权系数和第二加权系数；
获取所述第一加权系数与第一基础层图像的第一乘积，并所述获取第二加权系数与第二基础层图像的第二乘积；
确定所述第一乘积和所述第二乘积的和，以得到目标基础层图像。
第二方面，本申请公开了一种内窥镜图像增强装置，包括：
图像分层模块，用于对内窥镜返回的原始图像进行引导滤波，以得到所述原始图像的原始基础层图像，并对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像；
目标细节层图像获取模块，用于对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像；
目标基础层图像获取模块，用于利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对所述原始基础层图像进行处理，以得到目标基础层图像；
增强后目标图像获取模块，用于将所述目标细节层图像和所述目标基础层图像进行图像融合，以得到所述原始图像的增强后目标图像。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的内窥镜图像增强方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的内窥镜图像增强方法的步骤。
可见，本申请对内窥镜返回的原始图像进行引导滤波，以得到所述原始图像的原始基础层图像，并对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像；对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像；利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对所述原始基础层图像进行处理，以得到目标基础层图像；将所述目标细节层图像和所述目标基础层图像进行图像融合，以得到所述原始图像的增强后目标图像。由此可见，本申请对内窥镜返回的原始图像进行引导滤波，能在保持细节的前提下滤除原始图像中的随机噪声；对原始细节层图像使用非局部均值滤波后进行增益控制，既可以放大图像细节信息，又滤除细节层的高频噪声；利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对原始基础层图像进行处理后，得到的目标基础层图像与原始基础层图像相比，其动态范围和暗区亮度均有所提升，以实现提高显示动态范围和空间对比度的目的；因此将目标基础层图像和目标细节层图像融合后，既可以有效提高原始图像的显示动态范围和空间对比度，又在一定程度上提升增强后目标图像的信噪比，实现提升图像质量的目的。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种内窥镜图像增强方法流程图；
图2为本申请公开的一种具体的舌底原始图像；
图3为本申请公开的一种具体的舌底增强后目标图像；
图4为本申请公开的一种具体的内窥镜图像增强方法流程图；
图5为本申请公开的一种具体的食管原始图像；
图6为本申请公开的一种具体的食管增强后目标图像；
图7为本申请公开的一种内窥镜图像增强装置结构示意图；
图8为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着社会经济的发展和医学技术的进步，微创和无创诊疗仪器在临床医学领域的作用越来越显著。医用电子内窥镜系统集成了光学与计算机等高新技术，能够让医生直接观察到人体内部的组织器官，方便了医生的诊断过程，提高了诊断准确率，因而得到了非常广泛的应用；同时，医用电子内窥镜也广泛应用于微创手术，使用电子内窥镜进行手术降低了感染风险，减少了术后痛楚以及对病人身体和精神上的损伤。
目前电子内窥镜最主要的诊断方式是通过操作医生的人眼直观判断，对于早期病变以及手术病变早期再生病灶，医生的诊断对电子内窥镜提出了更高的对比度和更强的构造细节、边缘细节等要求。限制于成像器件传感器的灵敏度和动态范围，光源的最大光通量等因素，医用电子内窥镜图像的物理对比度、细节和构造表现不能达到医生对早期病变诊断的要求，因此，有必要对医用电子内窥镜图像进行先进的图像处理，以达到提高诊断率的效果。
为此本申请相应的提供了一种内窥镜图像增强方案，对内窥镜图像进行合理的图像增强处理，以提高图像质量。
参见图1所示，本申请实施例公开了一种内窥镜图像增强方法，包括：
步骤S11：对内窥镜返回的原始图像进行引导滤波，以得到所述原始图像的原始基础层图像，并对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像。
采用USM(Un-sharpening Mask，即反掩膜锐化)框架，使用引导滤波将图像分为基础层和细节层，输入标准RGB(Red Green Blue)图像，即原始图像sRGB，其中在输入原始图像之前，可以将原始数据经过解马赛克、白平衡校正、颜色校正等ISP处理(Image SignalProcessing，即图像信号处理)后，得到原始图像。原始图像sRGB经过引导滤波后得到的图像为原始基础层图像Ibase，对原始图像的RGB通道分别进行引导滤波，得到原始基础层图像Ibase。
本实施例中，可以理解的是，所述对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像，包括：对所述原始图像的RGB通道和所述原始基础层图像的RGB通道进行相应的图像相减处理，以得到所述原始图像的原始细节层图像。
步骤S12：对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像。
本实施例中，所述对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像，包括：对所述原始细节层图像的RGB通道分别进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像的RGB通道分别进行增益控制，以得到目标细节层图像。对原始细节层图像的RGB通道分别进行非局部均值滤波，得到滤波后细节层图像Dfilter，并对所述滤波后细节层图像的RGB通道分别进行增益控制，以得到目标细节层图像Dfinal。
本实施例中，对滤波后细节层图像Dfilter进行增益控制，增益控制具体为设定系数k，目标细节层图像Dfinal的最大值Dmax和最小值Dmin，例如系数k为2，最大值Dmax为511，最小值Dmin为-512，其中，目标细节层图像Dfinal的计算公式如下所示：
步骤S13：利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对所述原始基础层图像进行处理，以得到目标基础层图像。
本实施例中，利用限制对比度自适应直方图均衡算法(CLAHE)对原始基础层图像进行处理，以得到第一基础层图像；对原始基础层图像进行光照不均匀校正，以得到第二基础层图像；对第一基础层图像和第二基础层图像进行线性加权融合，以得到目标基础层图像Ienhance。其中在利用限制对比度自适应直方图均衡算法对原始基础层图像进行处理之前，需要将原始基础层图像的图像格式由RGB转换为YUV，以便利用限制对比度自适应直方图均衡算法对Y分量进行处理，然后再从YUV转换为RGB，以得到第一基础层图像。
步骤S14：将所述目标细节层图像和所述目标基础层图像进行图像融合，以得到所述原始图像的增强后目标图像。
本实施例中，将目标细节层图像Dfinal和目标基础层图像Ienhance进行图像融合以得到原始图像的增强后目标图像Iout，图像融合公式如下所示：
Iout＝Dfinal+Ienhance。
例如图2所示的一种具体的舌底原始图像，经过上述步骤处理后，得到图3所示的一种具体的舌底增强后目标图像，从中可以看出，舌底部的毛细血管等细节得到了增强，同时增强后目标图像上没有增加明显的噪声。
可见，本申请对内窥镜返回的原始图像进行引导滤波，以得到所述原始图像的原始基础层图像，并对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像；对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像；利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对所述原始基础层图像进行处理，以得到目标基础层图像；将所述目标细节层图像和所述目标基础层图像进行图像融合，以得到所述原始图像的增强后目标图像。由此可见，本申请对内窥镜返回的原始图像进行引导滤波，能在保持细节的前提下滤除原始图像中的随机噪声；对原始细节层图像使用非局部均值滤波后进行增益控制，既可以放大图像细节信息，又滤除细节层的高频噪声；利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对原始基础层图像进行处理后，得到的目标基础层图像与原始基础层图像相比，其动态范围和暗区亮度均有所提升，以实现提高显示动态范围和空间对比度的目的；因此将目标基础层图像和目标细节层图像融合后，既可以有效提高原始图像的显示动态范围和空间对比度，又在一定程度上提升增强后目标图像的信噪比，实现提升图像质量的目的。
参见图4所示，本申请实施例公开了一种具体的内窥镜图像增强方法，包括：
步骤S21：对内窥镜返回的原始图像进行引导滤波，以得到所述原始图像的原始基础层图像，并对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像。
步骤S22：对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像。
步骤S23：利用限制对比度自适应直方图均衡算法对所述原始基础层图像进行处理，以得到第一基础层图像；对所述原始基础层图像进行光照不均匀校正，以得到第二基础层图像；对所述第一基础层图像和所述第二基础层图像进行线性加权融合，以得到目标基础层图像。
本实施例中，所述利用限制对比度自适应直方图均衡算法对所述原始基础层图像进行处理，以得到第一基础层图像，包括：对所述原始基础层图像进行图像格式转换，以得到图像格式为YUV格式图像的转换后基础层图像，并利用限制对比度自适应直方图均衡算法对所述转换后基础层图像进行处理，以得到处理后基础层图像；对所述处理后基础层图像再次进行图像转换，以得到图像格式为RGB格式的第一基础层图像。对处理后基础层图像再次进行图像转换，以得到图像格式为RGB格式的第一基础层图像，即动态范围增强的第一基础层图像Idynamic。
本实施例中，所述利用限制对比度自适应直方图均衡算法对所述转换后基础层图像进行处理，以得到处理后基础层图像，包括：利用限制对比度自适应直方图均衡算法对所述转换后基础层图像的Y分量进行处理，以得到处理后基础层图像。可以理解的是，对Y分量进行限制对比度自适应直方图均衡算法，U分量、V分量保持不变。
本实施例中，所述对所述原始基础层图像进行光照不均匀校正，以得到第二基础层图像，包括：分别确定所述原始基础层图像中每一个像素的RGB通道灰度值，以便确定每一个像素的灰度最大值；基于所述每一个像素的灰度最大值确定所述原始基础层图像的灰度最大值，以便利用所述每一个像素的灰度最大值和所述原始基础层图像的灰度最大值获取所述原始基础层图像的亮度校正图像；利用所述亮度校正图像、所述每一个像素的灰度最大值、所述每一个像素的RGB通道灰度值，获取第二基础层图像。其中(x,y)表示像素坐标，Ibaser(x,y)、Ibaseg(x,y)、Ibaseb(x,y)分别表示该像素的R、G、B通道的灰度值，确定每一个像素的灰度最大值Bmax(x,y)的公式如下所示：
Bmax(x,y)＝max(Ibaser(x,y),Ibaseg(x,y),Ibaseb(x,y))；
基于每一个像素的灰度最大值Bmax(x,y)确定出原始基础层图像的灰度最大值Gmax，设定阈值T，γ表示校正系数，例如
γ＝2.0获取原始基础层图像的亮度校正图像Ibrightness(x,y)的公式如下所示：
定义光照不均匀性校正矩阵M(x,y)＝Ibrightness(x,y)/Bmax(x,y)，获取光照不均匀校正后的图像的三原色分量，即获取第二基础层图像的R分量INUCr、G分量INUCg、B分量INUCb，获取R分量INUCr、G分量INUCg、B分量INUCb的公式如下所示：
INUCr＝M*Ibaser；
INUCg＝M*Ibaseg；
INUCb＝M*Ibaseb；
因此，第二基础层图像INUC即为INUC＝{INUCr,INUCg,INUCb}。
本实施例中，所述对所述第一基础层图像和所述第二基础层图像进行线性加权融合，以得到目标基础层图像，包括：确定第一加权系数和第二加权系数；获取所述第一加权系数与第一基础层图像的第一乘积，并所述获取第二加权系数与第二基础层图像的第二乘积；确定所述第一乘积和所述第二乘积的和，以得到目标基础层图像。确定第一加权系数
第二加权系数为
例如第一加权系数
因此线性加权融合的公式具体如下所示：
其中，Ienhance表示目标基础层图像。
步骤S24：将所述目标细节层图像和所述目标基础层图像进行图像融合，以得到所述原始图像的增强后目标图像。
例如图5所示的一种具体的食管原始图像，经过上述步骤处理后，得到图6所示的一种具体的食管增强后目标图像，从中可以看出，食管粘膜的毛细血管的细节和空间对比度都得到了增强，同时，食管底部由于光照不均匀和图像动态限制引起的图像过暗、显示不清晰得到了较好的提升。
由此可见，本申请内窥镜图像增强算法在不改变成像传感器等硬件条件下改善电子内窥镜的光照不均匀性，增加图像的对比度和增强图像的细节，为医生提供信息更丰富的图像，便于医生对早期病灶的诊断。
参见图7所示，本申请实施例公开了一种内窥镜图像增强装置，包括：
图像分层模块11，用于对内窥镜返回的原始图像进行引导滤波，以得到所述原始图像的原始基础层图像，并对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像；
目标细节层图像获取模块12，用于对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像；
目标基础层图像获取模块13，用于利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对所述原始基础层图像进行处理，以得到目标基础层图像；
增强后目标图像获取模块14，用于将所述目标细节层图像和所述目标基础层图像进行图像融合，以得到所述原始图像的增强后目标图像。
可见，本申请对内窥镜返回的原始图像进行引导滤波，以得到所述原始图像的原始基础层图像，并对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像；对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像；利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对所述原始基础层图像进行处理，以得到目标基础层图像；将所述目标细节层图像和所述目标基础层图像进行图像融合，以得到所述原始图像的增强后目标图像。由此可见，本申请对内窥镜返回的原始图像进行引导滤波，能在保持细节的前提下滤除原始图像中的随机噪声；对原始细节层图像使用非局部均值滤波后进行增益控制，既可以放大图像细节信息，又滤除细节层的高频噪声；利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对原始基础层图像进行处理后，得到的目标基础层图像与原始基础层图像相比，其动态范围和暗区亮度均有所提升，以实现提高显示动态范围和空间对比度的目的；因此将目标基础层图像和目标细节层图像融合后，既可以有效提高原始图像的显示动态范围和空间对比度，又在一定程度上提升增强后目标图像的信噪比，实现提升图像质量的目的。
进一步的，本申请实施例还提供了一种电子设备。图8是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图8为本申请实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的内窥镜图像增强方法中的相关步骤。
本实施例中，电源23用于为电子设备上的各硬件设备提供工作电压；通信接口24能够为电子设备创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备执行的内窥镜图像增强方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由内窥镜图像增强过程中执行的方法步骤。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种内窥镜图像增强方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种内窥镜图像增强方法，其特征在于，包括：
对内窥镜返回的原始图像进行引导滤波，以得到所述原始图像的原始基础层图像，并对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像；
对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像；
利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对所述原始基础层图像进行处理，以得到目标基础层图像；
将所述目标细节层图像和所述目标基础层图像进行图像融合，以得到所述原始图像的增强后目标图像。
2.根据权利要求1所述内窥镜图像增强方法，其特征在于，所述对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像，包括：
对所述原始图像的RGB通道和所述原始基础层图像的RGB通道进行相应的图像相减处理，以得到所述原始图像的原始细节层图像；
相应的，所述对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像，包括：
对所述原始细节层图像的RGB通道分别进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像的RGB通道分别进行增益控制，以得到目标细节层图像。
3.根据权利要求1所述内窥镜图像增强方法，其特征在于，所述利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对所述原始基础层图像进行处理，以得到目标基础层图像，包括：
利用限制对比度自适应直方图均衡算法对所述原始基础层图像进行处理，以得到第一基础层图像；
对所述原始基础层图像进行光照不均匀校正，以得到第二基础层图像；
对所述第一基础层图像和所述第二基础层图像进行线性加权融合，以得到目标基础层图像。
4.根据权利要求3所述内窥镜图像增强方法，其特征在于，所述利用限制对比度自适应直方图均衡算法对所述原始基础层图像进行处理，以得到第一基础层图像，包括：
对所述原始基础层图像进行图像格式转换，以得到图像格式为YUV格式图像的转换后基础层图像，并利用限制对比度自适应直方图均衡算法对所述转换后基础层图像进行处理，以得到处理后基础层图像；
对所述处理后基础层图像再次进行图像转换，以得到图像格式为RGB格式的第一基础层图像。
5.根据权利要求4所述内窥镜图像增强方法，其特征在于，所述利用限制对比度自适应直方图均衡算法对所述转换后基础层图像进行处理，以得到处理后基础层图像，包括：
利用限制对比度自适应直方图均衡算法对所述转换后基础层图像的Y分量进行处理，以得到处理后基础层图像。
6.根据权利要求3所述内窥镜图像增强方法，其特征在于，所述对所述原始基础层图像进行光照不均匀校正，以得到第二基础层图像，包括：
分别确定所述原始基础层图像中每一个像素的RGB通道灰度值，以便确定每一个像素的灰度最大值；
基于所述每一个像素的灰度最大值确定所述原始基础层图像的灰度最大值，以便利用所述每一个像素的灰度最大值和所述原始基础层图像的灰度最大值获取所述原始基础层图像的亮度校正图像；
利用所述亮度校正图像、所述每一个像素的灰度最大值、所述每一个像素的RGB通道灰度值，获取第二基础层图像。
7.根据权利要求3所述内窥镜图像增强方法，其特征在于，所述对所述第一基础层图像和所述第二基础层图像进行线性加权融合，以得到目标基础层图像，包括：
确定第一加权系数和第二加权系数；
获取所述第一加权系数与第一基础层图像的第一乘积，并所述获取第二加权系数与第二基础层图像的第二乘积；
确定所述第一乘积和所述第二乘积的和，以得到目标基础层图像。
8.一种内窥镜图像增强装置，其特征在于，包括：
图像分层模块，用于对内窥镜返回的原始图像进行引导滤波，以得到所述原始图像的原始基础层图像，并对所述原始图像和所述原始基础层图像进行图像相减处理，以得到所述原始图像的原始细节层图像；
目标细节层图像获取模块，用于对所述原始细节层图像进行非局部均值滤波，得到滤波后细节层图像，并对所述滤波后细节层图像进行增益控制，以得到目标细节层图像；
目标基础层图像获取模块，用于利用限制对比度自适应直方图均衡算法、光照不均匀校正算法以及线性加权融合算法对所述原始基础层图像进行处理，以得到目标基础层图像；
增强后目标图像获取模块，用于将所述目标细节层图像和所述目标基础层图像进行图像融合，以得到所述原始图像的增强后目标图像。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的内窥镜图像增强方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的内窥镜图像增强方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211530793.9A CN116109533A (zh) | 2022-12-01 | 2022-12-01 | 内窥镜图像增强方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211530793.9A CN116109533A (zh) | 2022-12-01 | 2022-12-01 | 内窥镜图像增强方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116109533A true CN116109533A (zh) | 2023-05-12 |
Family
ID=86266439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211530793.9A Pending CN116109533A (zh) | 2022-12-01 | 2022-12-01 | 内窥镜图像增强方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116109533A (zh) |
-
2022
- 2022-12-01 CN CN202211530793.9A patent/CN116109533A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110505459B (zh) | 适用于内窥镜的图像颜色校正方法、装置和存储介质 | |
| US20220012915A1 (en) | Apparatuses, systems, and methods for managing auto-exposure of image frames depicting signal content against a darkened background | |
| CN111915523B (zh) | Dr图像亮度自适应调整方法及系统 | |
| CN114417037B (zh) | 图像处理方法、装置、终端及可读存储介质 | |
| US20230255443A1 (en) | Apparatuses, systems, and methods for discounting an object while managing auto-exposure of image frames depicting the object | |
| CN114663293A (zh) | 一种图像增强方法、装置、电子设备及内窥镜系统 | |
| CN116271386A (zh) | 一种具有成像增强功能的可视双腔气管插管及其成像增强方法 | |
| CN116109533A (zh) | 内窥镜图像增强方法、装置、设备及介质 | |
| JP7162744B2 (ja) | 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法 | |
| CN115239601B (zh) | 一种图像细节增强方法、装置、电子设备及存储介质 | |
| CN114298956B (zh) | 双荧光内窥镜图像融合方法、电子设备及装置 | |
| US20190122344A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
| CN115719415B (zh) | 一种视野可调双视频融合成像方法及系统 | |
| Zhu et al. | Research on Endoscopic Image Enhancement Algorithm Based on Contrast Fusion | |
| CN116681788B (zh) | 图像电子染色方法、装置、介质和计算设备 | |
| CN115880208A (zh) | 图像处理方法、图像处理装置及医疗设备 | |
| CN117455780B (zh) | 内镜暗场图像的增强方法、装置、电子设备及存储介质 | |
| CN113256502A (zh) | 超声图像的调整方法、终端设备、可读存储介质 | |
| CN118096546B (zh) | 内窥镜图像的处理方法、装置及电子设备 | |
| CN117218036A (zh) | 一种内窥镜图像的血管增强方法 | |
| CN118864272A (zh) | 一种多层融合的内窥镜图像增强方法 | |
| US20240259696A1 (en) | Depth-based auto-exposure management | |
| US20230143451A1 (en) | Method and Apparatus of Image Adjustment for Gastrointestinal Tract Images | |
| CN115587942A (zh) | 内窥镜图像的去雾方法及装置 | |
| CN116977214A (zh) | 图像优化方法、装置、介质和计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |