CN111626962A - 一种cmos内窥镜图像增强方法 - Google Patents
一种cmos内窥镜图像增强方法 Download PDFInfo
- Publication number
- CN111626962A CN111626962A CN202010481805.8A CN202010481805A CN111626962A CN 111626962 A CN111626962 A CN 111626962A CN 202010481805 A CN202010481805 A CN 202010481805A CN 111626962 A CN111626962 A CN 111626962A
- Authority
- CN
- China
- Prior art keywords
- image
- window
- rgb
- endoscopic
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 31
- 210000004204 blood vessel Anatomy 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 5
- 239000013307 optical fiber Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种CMOS内窥镜图像增强方法,属于机器视觉领域,包括以下步骤:S1:将内窥镜视频的每一帧转变成图像并保存;S2:检测内窥镜图像的高光区域,并修复高光区域;S3:将修复高光区域后的图像通过基于改进的导向滤波算法进行处理,并进行细节增强;S4:将增强后的内窥镜图像的每一帧合成为内窥镜视频。本发明最终实现了医用内窥镜图像检测与修复和细节增强的功能,并提升了DV‑BV值。
Description
技术领域
本发明属于机器视觉领域,涉及一种CMOS内窥镜图像增强方法。
背景技术
医用内窥镜是目前一种常用的临床诊断工具,在医学界应用非常广泛。内窥镜从诞生至今经历了硬管式内窥镜,光学纤维内窥镜,电子内窥镜三个阶段。硬管式内窥镜诞生于19世纪中期,此时内窥镜大多为金属材质。使用时将内窥镜导入检查器官,医生借助蜡烛等外部照明进行观察。硬管式内窥镜材质很硬,内窥镜完全不能弯曲,使用时给病者带来较大痛苦。20世纪30年代德国医生辛德勤发明了软性胃镜,其特点是前端可在一定范围内弯曲、管内配有透镜,外部使用小灯泡照明。光纤维内窥镜的产生得益于20世纪60年代出现的“玻璃纤维”,即光纤。光纤利用光的全反射传导光信号,其材质的柔软性使得内窥镜可以灵活地弯曲。1983年,美国Welch Allyn公司研制成功了电子内窥镜。与硬管式和光学纤维内窥镜相比,使用电子内窥镜不仅使病人不适感大大降低而且获得的图像质量更高。尤其是微型CCD技术应用于内窥镜以后,获得的内窥镜图像更加清晰。
内窥镜图像在获取过程中可能由于各种原因引起图像降质活失真,图像处理主要关注决解此类问题,首先分析内窥镜图像的不足点:
(1)内窥镜图像在获取过程中可能由各种的原因导致图像降质,并且内窥镜图像中存在丰富的细节信息如血管,因而需要图像增强技术来提高图像清晰度,增强图像细节信息。
(2)内窥镜图像中有不少亮度很高的白色区域,这是由于体腔内壁的粘液或由充水孔进去的水珠粘附于内壁上造成反光引起的。由于高光区域具有特殊的色调和亮度特征,不论是在空间域还是在频率域,都会影响图像的统计特征,进而影响图像处理效果。
发明内容
有鉴于此,本发明的目的在于克服已有内窥镜图像增强技术的不足之处,改进导向滤波器,并基于导向滤波算法提供可以满足临床使用的图像增强系统,提高对内窥镜图像细节和清晰度的增强,并提升图像的局部亮度。
为达到上述目的,本发明提供如下技术方案:
一种CMOS内窥镜图像增强方法,包括以下步骤:
S1:将内窥镜视频的每一帧转变成图像并保存;
S2:检测内窥镜图像的高光区域,并修复高光区域;
S3:将修复高光区域后的图像通过基于改进的导向滤波算法进行处理,并进行细节增强;
S4:将增强后的内窥镜图像的每一帧合成为内窥镜视频。
进一步,步骤S1中把视觉效果不佳的内窥镜视频的每一帧转变成图像并保存下来。
进一步,步骤S2中具体包括以下步骤:
通过基于色彩平衡的自适应算法检测内窥镜图像中高光较强与较弱的区域,再对填充过后的反光区域进行中值滤波,接着再次填充反光区域,并对填充过后的图像进行高斯模糊,最后把原始图像与高斯模糊后的图像加权相加得到最后修复后的图像。
进一步,步骤S2中所述检测并修复高光区域,具体包括以下步骤:
S21:分别提取出原始图像的RGB三个通道CE、CG、CB,接着分别把三个通道乘以系数0.3、0.6、0.12并相加得到CE,再分别取CE、CG、CB数值的95%,得到P_CE、P_CG、P_CB,再令P_CG/P_CE为RGE,P_CB/P_CE为RBE;取阈值T1为200,若CG>RGE*T1,CB>RBE*T1,CE>T1,则判断此点为明显的高光点;取一阈值T2为180,从而检测出不太明显的高光区域;
S22:利用高光区域周围一圈的像素平均值对其进行填充,得到填充后的图像;
S23:对反光区域进行中值滤波,把中值滤波后的图像称为平滑非反光区域颜色图像;
S24:对图像进行高斯模糊,再接着计算原始图像和高斯模糊后的两张图片的权重,给予一个2*2的窗口进行中值滤波,然后再将结果与检测出的高光区域相加,得到一个权值a,最后修复的图像为a与高斯滤波后的相乘和(1-a)与原始图像相乘的和。
进一步,所述步骤S3包括:
将高光区域修复后的图像分为RGB三个通道,再分别通过改进后的导向滤波算法处理,得到基础层图像,将其作差得到细节层图像,再分别对基础层图像和细节层图像给与一个系数α和β,接着相加得到处理后的RGB三个分量的图像,最后将其合成为增强后的图像。
进一步,所述步骤S3具体包括以下步骤:
S31:将高光区域修复后的图像分为RGB三个分量;
S32:通过使用改进的导向滤波分别对其RGB三个分量进行滤波,称为基础层:
引入一个局部线性模型,输出图像由输入图像和导向图共同决定,导向滤波器作为一个保持边缘平滑算子使用;
为了满足第一个目标,使输入P和输出Q尽可能相似,要求最小化平方差:
Min(Q-P)2 (1)
为了满足第二个目标,使输出图像的纹理和引导图G的纹理相似有目标:
积分得到:
Q=aG+b (3)
考虑一个小窗口Wk,在Wk内认为a,b保持不变,设为ak,bk,Wk内的像素满足:
qi=akgi+bk (4)
把上式带入第一个目标,时窗口内的像素同时满足上面两个条件
其中ε是一个惩罚大的ak的正则化参数,使公式(5)最小,满足
将上述公式展开化简得:
其中|W|是窗口Wk的像素总数,解得:
其中Cov(pk,gk)是引导图G和输入图P在Wk的协方差;
计算出ak,bk后,根据式(1)计算窗口Wk的输出像素,对于一个像素i,当所有像素覆盖的窗口Wk不同,输出值qi也不同;平均所有可能的qi值;计算所有覆盖i的窗口Wk的ak,bk,所有覆盖像素i的窗口Wk的个数|W|,则有:
展开公式得到:
当引导图G和输入图P相同的时候,导向滤波出现边缘保持平滑性;
bk=uk(1-ak) (15)
当ε=0时,ak=1,bk=0,即输出和输入相同;如果ε>0,考虑两种情况:
2)如果整个图像都如窗口Wk平缓,则ak≈0,bk≈uk,qi≈uk;在平坦区域中,它的输出值变成周围窗口像素的平均值,高方差和平坦的标准是由参数ε控制;如果窗口的方差比ε少得多,则被平滑,那么方差大得多则被保留;而窗口的大小决定了参考周围多大范围的像素来计算方差和均值;
经改进导向滤波的边权重计算因子,提出以下可能改进的能量函数,引入一个一阶约束项ηp:
S33:将原始RGB分量分别减去亮度层,得到RGB分量的细节层;
S34:获取RGB基础层分量增益β:
对于每个通道的β分量参数的确定,定义如下色调距离最大目标:
max(||Ben,Ven||/||Bori,Bori||) (18)
其中Ben和Ven是增强后图像中背景和血管区域,Bori和Vori是图像背景区域和血管区域;
S35:获取细节层分量增益α;
细节层图像r为导向图G减去基础层图像:
r=I-q (26)
对细节层进行增强,得到增强后的细节层图像r'
r'=α·r=α·(I-q) (27)
输出图像f为:
f=q+r' (28)
带入式(3)到式(25)中得到:
r'=α·(G-aG-b)=α·(1-a)G-αb (29)
基于式(27),细节层的梯度为:
基于式(3),基础层的梯度为:
式(30)满足:
在式(30)中带入式(28)和式(29);
得到:
β值定义为:
由此求得αR,αG,αB;
S36:分别将RGB基础层图像与基础层增益βR,βG,βB相乘,再将RGB细节层图像与细节层增益αR,αG,αB相乘,最后将增益放大后的基础层图像和细节层图像相加,得到增强后的RGB分量图像,最后合成得到增强后的内窥镜图像。
进一步,步骤S4中将增强后的每一帧的内窥镜图像合并为内窥镜视频。
本发明的有益效果在于:本发明最终实现了医用内窥镜图像检测与修复和细节增强的功能,并提升了DV-BV值(前景-背景方差均值)。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明所述CMOS内窥镜图像增强方法流程示意图;
图2为本发明所述高光区域检测与修复流程图;
图3为本发明所述细节增强流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
如图1所示,本发明提出的内窥镜图像处理的研究方法所用的系统模型主要包括以下几个步骤:
步骤S1,利用matlab将内窥镜视频的每一帧转变成图像并保存;
步骤S1中把视觉效果不佳的内窥镜视频的每一帧转变成图像并保存下来。
步骤S2,通过基于色彩平衡的自适应算法检测内窥镜图像中高光较强与较弱的区域,再对填充过后的反光区域进行中值滤波,接下来再次填充反光区域,并对填充过后的图像进行高斯模糊,最后把原始图像与高斯模糊后的图像加权相加得到最后修复后的图像;
步骤S3,将高光区域修复后的图像分为RGB三个通道,再分别通过改进后的导向滤波算法处理,得到基础层图像,将其作差得到细节层图像,再分别对基础层图像和细节层图像给与一个系数α和β,接着相加得到处理后的RGB三个分量的图像,最后将其合成为增强后的图像;
步骤S4,将增强后的每一帧的内窥镜图像合并为内窥镜视频;
本发明最终实现了医用内窥镜图像检测与修复和细节增强的功能,并提升了DV-BV值(前景-背景方差均值)。
如附图2所示的实施例,内窥镜图像高光区域的检测和修复:
(1)分别提取出原始图像的RGB三个通道CE、CG、CB,接着分别把三个通道乘以系数0.3、0.6、0.12并相加得到CE,再分别取CE、CG、CB数值的95%,得到P_CE、P_CG、P_CB,再令P_CG/P_CE为RGE,P_CB/P_CE为RBE。取阈值T1为200,若CG>RGE*T1,CB>RBE*T1,CE>T1,则可判断此点为明显的高光点。同理取一阈值T2为180,可以检测出不太明显的高光区域。
(2)利用高光区域周围一圈的像素平均值对其进行填充,得到填充后的图像。
(3)对反光区域进行中值滤波,把中值滤波后的图像称为平滑非反光区域颜色图像。
(4)对图像进行高斯模糊,再接着计算原始图像和高斯模糊后的两张图片的权重,给与一个2*2的窗口进行中值滤波,然后再将结果与检测出的高光区域相加,得到一个权值a,最后修复的图像为a与高斯滤波后的相乘和(1-a)与原始图像相乘的和。
如附图3所示的实施例,内窥镜图像的细节增强:
(1)将高光区域修复后的图像分为RGB三个分量。
(2)通过使用改进的导向滤波分别对其RGB三个分量进行滤波,这部分称为基础层:
导向滤波器是何凯明提出来的一种新的滤波器。该算法引入了一个局部线性模型,输出图像由输入图像和导向图共同决定。导向滤波器可以像双边滤波器那样,作为一个保持边缘平滑算子使用,但是它对图像边缘的处理效果更好。导向滤波的输出图像整体上和输入图像大体相似,而纹理边缘和导向图相同,因此可以用来对图像进行细节增强、图像平滑、HDR压缩、细节羽化、去雾、风格化。
此外,导向滤波器的时间复杂度为O(N),其中N为输入图像像素点的总数,是目前最快的边缘保持滤波器之一。为了满足第一个目标,使输入P和输出Q尽可能相似,要求最小化平方差:
Min(Q-P)2 (1)
为了满足第二个目标,使输出图像的纹理和引导图G的纹理相似有目标:
积分得到:
Q=aG+b (3)
考虑一个小窗口Wk,在Wk内认为a,b保持不变,设为ak,bk。Wk内的像素满足:
qi=akgi+bk (4)
把上式带入第一个目标,使窗口内的像素同时满足上面两个条件。
其中ε是一个惩罚大的ak的正则化参数。使公式(5)最小,满足
将上述公式展开化简得:
其中|W|是窗口Wk的像素总数。解得:
其中Cov(pk,gk)是引导图G和输入图P在Wk的协方差。
计算出ak,bk后,就可以根据(1)来计算窗口Wk的输出像素,对于一个像素i,输出值qi和所有像素覆盖的窗口Wk有关。所以当Wk不同,qi的值也不同。一个简单的策略就是平均所有可能的qi值。计算了所有覆盖i的窗口Wk的ak,bk,所有覆盖像素i的窗口Wk的个数|W|,那么:
展开公式得到:
特别的,当引导图G和输入图P相同的时候,导向滤波出现边缘保持平滑性。
bk=uk(1-ak) (15)
当ε=0时,ak=1,bk=0。即输出和输入相同。如果ε>0,考虑两种情况:
2)如果整个图像都如窗口Wk平缓,则ak≈0,bk≈uk,qi≈uk。在平坦区域中,它的输出值变成周围窗口像素的平均值。具体的,高方差和平坦的标准是由参数ε控制。如果窗口的方差比ε少得多,则被平滑,那么方差大得多则被保留。而窗口的大小决定了参考周围多大范围的像素来计算方差和均值。
3)经改进导向滤波的边权重计算因子。因为它利用滤波窗口内的像素方差来衡量像素的重要性,而不是整个图像的像素,提高了边保持的准确性,从而增强内窥镜图像的细节。提出以下可能改进的能量函数,引入一个一阶约束项ηp:
(3)将原始RGB分量分别减去亮度层,得到RGB分量的细节层。
(4)获取RGB基础层分量增益β:
对于每个通道的β分量参数的确定,定义如下色调距离最大目标:
max(||Ben,Ven||/||Bori,Bori||) (18)
其中Ben和Ven是增强后图像中背景和血管区域,Bori和Vori是图像背景区域和血管区域。
该模型参数的训练方法为:选取m=20幅图像和n=100组参数(βR∈[0.6,0.85],βG∈[1.05,1.3],βB∈[1.05,1.3],步长均为0.05)参数进行训练,训练过程的具体步骤如下:
步骤S1:输入第i幅图,若i大于m结束训练跳到S8,否则执行S2。
步骤S2:输入第j组参数,若j大于n则跳到S7,否则执行S3。
步骤S3:对输入图像视同对比度增强算法进行处理。
步骤S4:选取原始图像和增强后的图像的血管区域和背景区域。
步骤S5:将原训练图像和处理图像从RGB空间转换到CIE空间,转换公式如下:
X=2.7690R+1.7518G+1.1300B (19)
Y=1.0000R+4.5907G+0.0601B (20)
Z=0.0000R+0.0565G+5.5943B (21)
步骤S6:分别计算原始图像与处理图像背景与血管区域之间的距离||Ben,Ven||和||Bori,Bori||然后将值||Ben,Ven||/||Bori,Bori||保存于数组VeDis中。并跳回S2。
式中(Vori(x),Vori(y))和(Ven(x),Ven(y))是图像血管区域的质心,(Bori(x),Bori(y))和(Ben(x),Ben(y))是图像背景区域的质心。
步骤S7:根据最大化目标,可以得到第i幅图像的一组最优参数βR,βG,βB分别将其保存于VecR,VecG,VecB,并跳回S1。
步骤S8:对VecR,VecG,VecB分别取均值,得到一组最优参数βRbest,βGbest,βBbest并结束计算。
通过计算得到参数βR=0.85,βG=1.05,βB=1.05。
(5)获取细节层分量增益α。
细节层图像r为导向图G减去基础层图像:
r=I-q (26)
对细节层进行增强,得到增强后的细节层图像r'。
r'=α·r=α·(I-q) (27)
输出图像f为:
f=q+r' (28)
带入式(3)到式(25)中得到:
r'=α·(G-aG-b)=α·(1-a)G-αb (29)
基于(27),细节层的梯度为:
基于式(3),基础层的梯度为:
一般情况下,增强之后的细节层的梯度不应大于基础层的梯度,否则,细节层的噪声有可能被放大,出现在最后的输出图像中,因此式(30)成立:
在式(30)中带入式(28)和式(29);
可以得到:
同时,细节层的增益不能太小,否则,尽管可以抑制噪声,但是可能无法对细节进行有效的增强,因此,综合考虑之后,β值可以定义为:
由此方法可以求得αR,αG,αB。
(6)分别将RGB基础层图像与基础层增益βR,βG,βB相乘,再将RGB细节层图像与细节层增益αR,αG,αB相乘,最后将增益放大后的基础层图像和细节层图像相加,得到增强后的RGB分量图像,最后合成得到增强后的内窥镜图像。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种CMOS内窥镜图像增强方法,其特征在于:包括以下步骤:
S1:将内窥镜视频的每一帧转变成图像并保存;
S2:检测内窥镜图像的高光区域,并修复高光区域;
S3:将修复高光区域后的图像通过基于改进的导向滤波算法进行处理,并进行细节增强;
S4:将增强后的内窥镜图像的每一帧合成为内窥镜视频。
2.根据权利要求1所述的CMOS内窥镜图像增强方法,其特征在于:步骤S1中把视觉效果不佳的内窥镜视频的每一帧转变成图像并保存下来。
3.根据权利要求1所述的CMOS内窥镜图像增强方法,其特征在于:步骤S2中具体包括以下步骤:
通过基于色彩平衡的自适应算法检测内窥镜图像中高光较强与较弱的区域,再对填充过后的反光区域进行中值滤波,接着再次填充反光区域,并对填充过后的图像进行高斯模糊,最后把原始图像与高斯模糊后的图像加权相加得到最后修复后的图像。
4.根据权利要求3所述的CMOS内窥镜图像增强方法,其特征在于:步骤S2中所述检测并修复高光区域,具体包括以下步骤:
S21:分别提取出原始图像的RGB三个通道CE、CG、CB,接着分别把三个通道乘以系数0.3、0.6、0.12并相加得到CE,再分别取CE、CG、CB数值的95%,得到P_CE、P_CG、P_CB,再令P_CG/P_CE为RGE,P_CB/P_CE为RBE;取阈值T1为200,若CG>RGE*T1,CB>RBE*T1,CE>T1,则判断此点为明显的高光点;取一阈值T2为180,从而检测出不太明显的高光区域;
S22:利用高光区域周围一圈的像素平均值对其进行填充,得到填充后的图像;
S23:对反光区域进行中值滤波,把中值滤波后的图像称为平滑非反光区域颜色图像;
S24:对图像进行高斯模糊,再接着计算原始图像和高斯模糊后的两张图片的权重,给予一个2*2的窗口进行中值滤波,然后再将结果与检测出的高光区域相加,得到一个权值a,最后修复的图像为a与高斯滤波后的相乘和(1-a)与原始图像相乘的和。
5.根据权利要求1所述的CMOS内窥镜图像增强方法,其特征在于:所述步骤S3包括:
将高光区域修复后的图像分为RGB三个通道,再分别通过改进后的导向滤波算法处理,得到基础层图像,将其作差得到细节层图像,再分别对基础层图像和细节层图像给与一个系数α和β,接着相加得到处理后的RGB三个分量的图像,最后将其合成为增强后的图像。
6.根据权利要求5所述的CMOS内窥镜图像增强方法,其特征在于:所述步骤S3具体包括以下步骤:
S31:将高光区域修复后的图像分为RGB三个分量;
S32:通过使用改进的导向滤波分别对其RGB三个分量进行滤波,称为基础层:
引入一个局部线性模型,输出图像由输入图像和导向图共同决定,导向滤波器作为一个保持边缘平滑算子使用;
为了满足第一个目标,使输入P和输出Q尽可能相似,要求最小化平方差:
Min(Q-P)2 (1)
为了满足第二个目标,使输出图像的纹理和引导图G的纹理相似有目标:
积分得到:
Q=aG+b (3)
考虑一个小窗口Wk,在Wk内认为a,b保持不变,设为ak,bk,Wk内的像素满足:
qi=akgi+bk (4)
把上式带入第一个目标,时窗口内的像素同时满足上面两个条件
其中ε是一个惩罚大的ak的正则化参数,使公式(5)最小,满足
将上述公式展开化简得:
其中|W|是窗口Wk的像素总数,解得:
其中Cov(pk,gk)是引导图G和输入图P在Wk的协方差;
计算出ak,bk后,根据式(1)计算窗口Wk的输出像素,对于一个像素i,当所有像素覆盖的窗口Wk不同,输出值qi也不同;平均所有可能的qi值;计算所有覆盖i的窗口Wk的ak,bk,所有覆盖像素i的窗口Wk的个数|W|,则有:
展开公式得到:
当引导图G和输入图P相同的时候,导向滤波出现边缘保持平滑性;
bk=uk(1-ak) (15)
当ε=0时,ak=1,bk=0,即输出和输入相同;如果ε>0,考虑两种情况:
2)如果整个图像都如窗口Wk平缓,则ak≈0,bk≈uk,qi≈uk;在平坦区域中,它的输出值变成周围窗口像素的平均值,高方差和平坦的标准是由参数ε控制;如果窗口的方差比ε少得多,则被平滑,那么方差大得多则被保留;而窗口的大小决定了参考周围多大范围的像素来计算方差和均值;
经改进导向滤波的边权重计算因子,提出以下可能改进的能量函数,引入一个一阶约束项ηp:
S33:将原始RGB分量分别减去亮度层,得到RGB分量的细节层;
S34:获取RGB基础层分量增益β:
对于每个通道的β分量参数的确定,定义如下色调距离最大目标:
max(||Ben,Ven||/||Bori,Bori||) (18)
其中Ben和Ven是增强后图像中背景和血管区域,Bori和Vori是图像背景区域和血管区域;
S35:获取细节层分量增益α;
细节层图像r为导向图G减去基础层图像:
r=I-q (26)
对细节层进行增强,得到增强后的细节层图像r'
r'=α·r=α·(I-q) (27)
输出图像f为:
f=q+r' (28)
带入式(3)到式(25)中得到:
r'=α·(G-aG-b)=α·(1-a)G-αb (29)
基于式(27),细节层的梯度为:
基于式(3),基础层的梯度为:
式(30)满足:
在式(30)中带入式(28)和式(29);
得到:
β值定义为:
由此求得αR,αG,αB;
S36:分别将RGB基础层图像与基础层增益βR,βG,βB相乘,再将RGB细节层图像与细节层增益αR,αG,αB相乘,最后将增益放大后的基础层图像和细节层图像相加,得到增强后的RGB分量图像,最后合成得到增强后的内窥镜图像。
7.根据权利要求1所述的CMOS内窥镜图像增强方法,其特征在于:步骤S4中将增强后的每一帧的内窥镜图像合并为内窥镜视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010481805.8A CN111626962A (zh) | 2020-05-27 | 2020-05-27 | 一种cmos内窥镜图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010481805.8A CN111626962A (zh) | 2020-05-27 | 2020-05-27 | 一种cmos内窥镜图像增强方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111626962A true CN111626962A (zh) | 2020-09-04 |
Family
ID=72260752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010481805.8A Pending CN111626962A (zh) | 2020-05-27 | 2020-05-27 | 一种cmos内窥镜图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111626962A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112488945A (zh) * | 2020-12-04 | 2021-03-12 | 珠海普生医疗科技有限公司 | 一种基于局部收敛的内窥镜图像增强方法 |
CN113469996A (zh) * | 2021-07-16 | 2021-10-01 | 四川大学华西医院 | 一种内窥镜黏膜图像反光区域检测与修复系统 |
CN114125471A (zh) * | 2021-11-27 | 2022-03-01 | 北京工业大学 | 一种视频编码前置滤波方法 |
CN116128845A (zh) * | 2023-02-10 | 2023-05-16 | 甘肃省科学院生物研究所 | 一种基于随机漫步的菌落自动计数方法及菌落计数器 |
CN116258644A (zh) * | 2023-01-13 | 2023-06-13 | 格兰菲智能科技有限公司 | 图像增强方法、装置、计算机设备、存储介质 |
WO2023130547A1 (zh) * | 2022-01-06 | 2023-07-13 | 广东欧谱曼迪科技有限公司 | 一种内窥镜图像去雾方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180078123A1 (en) * | 2015-06-03 | 2018-03-22 | Olympus Corporation | Image processing device, endoscope device, and image processing method |
WO2019069414A1 (ja) * | 2017-10-04 | 2019-04-11 | オリンパス株式会社 | 内視鏡装置、画像処理方法およびプログラム |
CN109767395A (zh) * | 2018-12-29 | 2019-05-17 | 深圳市资福医疗技术有限公司 | 一种胶囊内窥镜图像处理方法及装置 |
CN110533612A (zh) * | 2019-08-27 | 2019-12-03 | 中山大学 | 内窥镜图像的成像方法、装置、设备及介质 |
CN110910319A (zh) * | 2019-10-30 | 2020-03-24 | 中国医学科学院北京协和医院 | 一种基于大气散射模型的手术视频实时去雾增强方法 |
-
2020
- 2020-05-27 CN CN202010481805.8A patent/CN111626962A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180078123A1 (en) * | 2015-06-03 | 2018-03-22 | Olympus Corporation | Image processing device, endoscope device, and image processing method |
WO2019069414A1 (ja) * | 2017-10-04 | 2019-04-11 | オリンパス株式会社 | 内視鏡装置、画像処理方法およびプログラム |
CN109767395A (zh) * | 2018-12-29 | 2019-05-17 | 深圳市资福医疗技术有限公司 | 一种胶囊内窥镜图像处理方法及装置 |
CN110533612A (zh) * | 2019-08-27 | 2019-12-03 | 中山大学 | 内窥镜图像的成像方法、装置、设备及介质 |
CN110910319A (zh) * | 2019-10-30 | 2020-03-24 | 中国医学科学院北京协和医院 | 一种基于大气散射模型的手术视频实时去雾增强方法 |
Non-Patent Citations (8)
Title |
---|
MIRKO ARNOLD 等: "Automatic Segmentation and Inpainting of Specular Highlights for Endoscopic Imaging" * |
ZHENGGUO LI 等: "Weighted Guided Image Filtering" * |
姜鸿鹏 等: "一种血管内窥镜图像增强算法" * |
杨光: "基于医用内窥镜的图像增强技术研究" * |
林金朝 等: "二次改进加权导向滤波的内窥镜图像增强算法" * |
王强 等: "多颜色空间的内窥镜图像血管增强方法" * |
章科建: "高清电子医用内窥镜图像增强技术研究" * |
龙邦媛 等: "基于改进导向滤波算法的低剂量CT图像处理" * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112488945A (zh) * | 2020-12-04 | 2021-03-12 | 珠海普生医疗科技有限公司 | 一种基于局部收敛的内窥镜图像增强方法 |
CN112488945B (zh) * | 2020-12-04 | 2024-04-26 | 珠海普生医疗科技有限公司 | 一种基于局部收敛的内窥镜图像增强方法 |
CN113469996A (zh) * | 2021-07-16 | 2021-10-01 | 四川大学华西医院 | 一种内窥镜黏膜图像反光区域检测与修复系统 |
CN113469996B (zh) * | 2021-07-16 | 2023-06-20 | 四川大学华西医院 | 一种内窥镜黏膜图像反光区域检测与修复系统 |
CN114125471A (zh) * | 2021-11-27 | 2022-03-01 | 北京工业大学 | 一种视频编码前置滤波方法 |
WO2023130547A1 (zh) * | 2022-01-06 | 2023-07-13 | 广东欧谱曼迪科技有限公司 | 一种内窥镜图像去雾方法、装置、电子设备及存储介质 |
CN116258644A (zh) * | 2023-01-13 | 2023-06-13 | 格兰菲智能科技有限公司 | 图像增强方法、装置、计算机设备、存储介质 |
CN116128845A (zh) * | 2023-02-10 | 2023-05-16 | 甘肃省科学院生物研究所 | 一种基于随机漫步的菌落自动计数方法及菌落计数器 |
CN116128845B (zh) * | 2023-02-10 | 2024-05-07 | 甘肃省科学院生物研究所 | 一种基于随机漫步的菌落自动计数方法及菌落计数器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111626962A (zh) | 一种cmos内窥镜图像增强方法 | |
US7599533B2 (en) | Image processing system and image processing method | |
CN107252299B (zh) | 内窥镜装置以及内窥镜装置的工作方法 | |
US8000776B2 (en) | Imaging apparatus | |
CN113068015A (zh) | 一种基于光纤探头的内窥镜图像畸变校正系统 | |
JP2011194111A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN116703798B (zh) | 基于自适应干扰抑制的食管多模态内镜图像增强融合方法 | |
CN117012344B (zh) | 一种4cmos相机采集的图像分析方法 | |
CN115775210A (zh) | 一种广域眼底相机图像融合方法、系统及存储介质 | |
CN112507930A (zh) | 一种利用光照均衡法改善人脸视频心率检测的方法 | |
US20120071718A1 (en) | Endoscope apparatus and method of controlling endoscope apparatus | |
CN103654688A (zh) | 内窥镜系统以及内窥镜图像的取得方法 | |
CN115908190B (zh) | 一种用于视频图像画质增强的方法及系统 | |
JP5940604B2 (ja) | 画像処理装置、画像処理装置の作動方法及びプログラム | |
Zhu et al. | Research on Endoscopic Image Enhancement Algorithm Based on Contrast Fusion | |
CN114022879B (zh) | 一种基于光纤显微内镜图像的鳞状细胞结构增强方法 | |
JP6931425B2 (ja) | 医用画像学習装置、医用画像学習方法、及びプログラム | |
CN113808057A (zh) | 基于无监督学习的内窥镜图像增强方法 | |
Zhang et al. | Research on Tissue Structure Enhancement Method of Medical Endoscope Images | |
JP3126996B2 (ja) | 内視鏡画像の処理方法 | |
CN114387191B (zh) | 一种内窥镜图像增强方法及内窥镜装置 | |
CN110084769B (zh) | 一种基于直方图统计的oct视频图像自适应增强方法 | |
CN111667426B (zh) | 一种基于频域变分的医学图像增强方法 | |
Obukhova et al. | The Endoscopic Images Visualization in Clinical Decision Support Systems | |
CN116167949B (zh) | 一种基于医疗影像大数据的临床辅助决策系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200904 |