CN116205814A - 医用内窥镜图像增强方法、系统及计算机设备 - Google Patents
医用内窥镜图像增强方法、系统及计算机设备 Download PDFInfo
- Publication number
- CN116205814A CN116205814A CN202310146323.0A CN202310146323A CN116205814A CN 116205814 A CN116205814 A CN 116205814A CN 202310146323 A CN202310146323 A CN 202310146323A CN 116205814 A CN116205814 A CN 116205814A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- specular reflection
- enhanced
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000000877 morphologic effect Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 abstract description 7
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 210000001519 tissue Anatomy 0.000 description 7
- 208000037062 Polyps Diseases 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 208000025865 Ulcer Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 231100000397 ulcer Toxicity 0.000 description 2
- 208000023514 Barrett esophagus Diseases 0.000 description 1
- 208000023665 Barrett oesophagus Diseases 0.000 description 1
- 208000005016 Intestinal Neoplasms Diseases 0.000 description 1
- 208000032177 Intestinal Polyps Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000002390 hyperplastic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 201000009019 intestinal benign neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
Images
Classifications
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
Description
技术领域
本发明涉及医学图像处理领域,特别涉及一种医用内窥镜图像增强方法、系统及计算机设备。
背景技术
近年来,随着人民生活水平的不断提高,我国消化道肿瘤发病和死亡人数均快速增长。在目前的各类检查方式中,消化道内窥镜检查是发现肠息肉和肿瘤的金标准。内窥镜不仅能让医师直接观察息肉的组织学特征,还能采集息肉的样本用于活检,又或是直接切除较小的息肉。然而,现有内窥镜采集的消化道图像普遍存在光照、对比度不足的问题,使医生难以仔细观察血管、息肉纹理和边缘等图像细节,存在漏诊的风险。
内窥镜图像增强技术可以有效地提高图像中血管、溃疡、息肉等组织的辨识度,使其更容易被医生观察到。目前常用的方法是为内窥镜增加额外辅助设备。如奥林巴斯的窄带成像技术(NBI)采用窄带滤光器滤掉宽带红绿蓝光波,仅保留能较好显示血管与粘膜的窄带光波。自体荧光成像技术(AFI)通过专门的荧光内窥镜激发自体荧光团,使鳞状上皮、巴雷特食管、增生组织呈现不同的颜色。以上方法均存在一定的缺陷。NBI和AFI均需要特定设备的辅助才能工作,不仅不便推广,而且图像的增强模式是固定的,灵活度不足。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种医用内窥镜图像增强方法、系统及计算机设备。
为解决上述技术问题,本发明采用的技术方案是:一种医用内窥镜图像增强方法,包括以下步骤:
S1、消除图像镜面反射:
S1-1、灰度化处理:将医用内窥镜RGB图像I转换为单通道灰度图像G;
S1-2、对图像G进行二值化处理,分割出镜面反射区域,得到二值图像;
S1-3、对二值图像B1进行形态学膨胀处理,得到图像B′1;
S1-4、根据图像B′1确定各镜面反射区域在原始图像I中的位置,并在图像I中将这些位置的像素值置为0,得到图像I';
S1-5、对图像I'中像素值为0的区域进行填充,得到无镜面反射图像I1;
优选的是,所述步骤S1具体包括:
S1-1、灰度化处理:将医用内窥镜RGB图像I转换为单通道灰度图像G;
S1-2、采用阈值分割方法对图像G进行二值化处理,分割出镜面反射区域,得到二值图像B1,阈值设为0.8235;二值图像B1中镜面反射区域的灰度值为1,背景区域的灰度值为0;
S1-3、对二值图像B1进行形态学膨胀处理,膨胀度为9,得到图像B′1;
S1-4、根据图像B′1确定各镜面反射区域在原始图像I中的位置,并在图像I中将这些位置的像素值置为0,得到图像I';
S1-5、采用基于Navier-Stokes方程的图像修复算法对图像I'中像素值为0的区域进行填充,得到无镜面反射图像I1。
优选的是,所述步骤S2具体包括:
S2-1、对无镜面反射图像I1阈值分割处理,生成二值图像B2,二值图像B2中:像素值为1的区域代表边框区域,即I1中的四个角处的4个三角形边框,像素值为0的区域代表彩色区域;
然后对二值图像B2中的非零区域进行形态学膨胀处理,得到B′2
S2-2、使用多尺度匹配滤波器K处理I1,得到感兴趣部位的轮廓F;
其中,Fmin和Fmax分别为F的极大值和极小值;
优选的是,所述步骤S2-1中,膨胀幅度为10。
优选的是,所述多尺度匹配滤波器K由N个卷积核k构成,每个卷积核的权重都由σ、l、θ三个参数控制,分别对应不同的感兴趣部位轮廓的长度、宽度以及角度,假设卷积核ki中某点的位置为(x,y),i=1,2...,N,则该点的权重可由下式计算所得:
其中σ=[1,3],l=12,N=24,
θ=[0,30,60,90,120,150,180,210,240,270,300,330]。
优选的是,所述步骤S3具体包括:
3-1、将I1中R通道I1~r乘以权重系数γr,得到I1~r′,I1~r′=γr×I1~r;
其中,γg和γb均为融合系数;
3-3、将I1~r′,I1~g′,I1~b′合并成RGB图像I′1,并转换成uint8格式输出,得到感兴趣部位轮廓被增强的增强图像。
优选的是,其中,γr=0.7,γg和γb均为50。
本发明还提供一种医用内窥镜图像增强系统,其采用如上所述的方法对医用内窥镜图像进行增强处理,该系统包括:
图像镜面反射消除模块,其用于消除医用内窥镜图像中的镜面反射;
本发明还提供一种存储介质,其上存储有计算机程序,其特征在于,该程序被执行时用于实现如上所述的方法。
本发明还提供一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上所述的方法。
本发明的有益效果是:
本发明利用算法可有效消除内窥镜图像的中的镜面反射,完成消化道内窥镜图像的增强,能提高辨识度,且不需要增加额外的硬件设备;本发明能准确检测内窥镜图像中各消化道组织的轮廓,以增强图像细节和对比度,降低漏诊风险。
附图说明
图1为本发明的医用内窥镜图像增强系统的原理结构示意图;
图2为本发明的医用内窥镜图像增强方法的处理效果示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
一种医用内窥镜图像增强方法,参照图1,包括以下步骤:
S1、消除图像镜面反射:
S1-1、灰度化处理:将原始医用内窥镜RGB图像I,如图2(a),转换为单通道灰度图像G;
S1-2、采用阈值分割方法对图像G进行二值化处理,分割出镜面反射区域,得到二值图像B1,由于镜面反射区域的灰度值普遍分布在210-255之间,因此阈值设为0.8235,即210/255;二值图像B1中镜面反射区域的灰度值为1,背景区域的灰度值为0;分割结果结果见图2(b);
S1-3、对二值图像B1进行形态学膨胀处理,膨胀度为9,得到图像B1′;由于镜面反射会向四周扩散,虽未完全遮挡图像内容,但是会破坏图像的颜色分布,因此对B1中的镜面反射区域进行形态学膨胀处理;
S1-4、根据图像B′1确定各镜面反射区域在原始图像I中的位置,并在图像I中将这些位置的像素值置为0,得到图像I';
S1-5、采用基于Navier-Stokes方程的图像修复算法对图像I'中像素值为0的区域进行填充,完成镜面反射的消除,得到无镜面反射图像I1,修复效果见图2(c)。
S2-1、对无镜面反射图像I1阈值分割处理,生成二值图像B2,二值图像B2中:像素值为1的区域代表边框区域,即I1中的四个角处的4个黑色的三角形边框,像素值为0的区域代表彩色区域;
然后对二值图像B2中的非零区域进行形态学膨胀处理,膨胀幅度为10,得到B′2
S2-2、使用多尺度匹配滤波器K处理I1,得到感兴趣部位的轮廓F,处理结果见图2(d);
多尺度匹配滤波器K由N个卷积核k构成,每个卷积核的权重都由σ、l、θ三个参数控制,分别对应不同的感兴趣部位轮廓的长度、宽度以及角度,假设卷积核ki中某点的位置为(x,y),i=1,2...,N,则该点的权重可由下式计算所得:
其中σ=[1,3],l=12,N=24,
θ=[0,30,60,90,120,150,180,210,240,270,300,330]。如若内窥镜的参数发生改变,可对上述参数进行调整,以达到最好的图像增强效果。S2-3、按照下式对F进行归一化,将像素值压缩至[0,1]得到图像
其中,Fmin和Fmax分别为F的极大值和极小值;
3-1、将I1中R通道I1~r乘以权重系数γr,得到I1~r′,I1~r′=γr×I1~r,以降低红色分量,提高图像的对比度,本实施例中,γr=0.7;
其中,γg和γb均为融合系数,本实施例中,γg和γb均为50;
3-3、将I1~r′,I1~g′,I1~b′合并成RGB图像I′1,并转换成uint8格式输出,得到感兴趣部位轮廓被增强的增强图像,增强效果见图2(e)。
实施例2
一种医用内窥镜图像增强系统,其采用实施例1的方法对医用内窥镜图像进行增强处理,继续参照图1,该系统包括:
图像镜面反射消除模块,其用于消除医用内窥镜图像中的镜面反射,避免对后续处理产生干扰;
本实施例还提供一种存储介质,其上存储有计算机程序,其特征在于,该程序被执行时用于实现实施例1的方法。
本实施例还提供一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,处理器执行计算机程序时实现实施例1的方法。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节。
Claims (10)
1.一种医用内窥镜图像增强方法,其特征在于,包括以下步骤:
S1、消除图像镜面反射:
S1-1、灰度化处理:将医用内窥镜RGB图像I转换为单通道灰度图像G;
S1-2、对图像G进行二值化处理,分割出镜面反射区域,得到二值图像B1;
S1-3、对二值图像B1进行形态学膨胀处理,得到图像B′1;
S1-4、根据图像B′1确定各镜面反射区域在原始图像I中的位置,并在图像I中将这些位置的像素值置为0,得到图像I';
S1-5、对图像I'中像素值为0的区域进行填充,得到无镜面反射图像I1;
2.根据权利要求1所述的医用内窥镜图像增强方法,其特征在于,所述步骤S1具体包括:
S1-1、灰度化处理:将医用内窥镜RGB图像I转换为单通道灰度图像G;
S1-2、采用阈值分割方法对图像G进行二值化处理,分割出镜面反射区域,得到二值图像B1,阈值设为0.8235;二值图像B1中镜面反射区域的灰度值为1,背景区域的灰度值为0;
S1-3、对二值图像B1进行形态学膨胀处理,膨胀度为9,得到图像B′1;
S1-4、根据图像B′1确定各镜面反射区域在原始图像I中的位置,并在图像I中将这些位置的像素值置为0,得到图像I';
S1-5、采用基于Navier-Stokes方程的图像修复算法对图像I'中像素值为0的区域进行填充,得到无镜面反射图像I1。
3.根据权利要求2所述的医用内窥镜图像增强方法,其特征在于,所述步骤S2具体包括:
S2-1、对无镜面反射图像I1阈值分割处理,生成二值图像B2,二值图像B2中:像素值为1的区域代表边框区域,即I1中的四个角处的4个三角形边框,像素值为0的区域代表彩色区域;
然后对二值图像B2中的非零区域进行形态学膨胀处理,得到B′2
S2-2、使用多尺度匹配滤波器K处理I1,得到感兴趣部位的轮廓F;
其中,Fmin和Fmax分别为F的极大值和极小值;
4.根据权利要求3所述的医用内窥镜图像增强方法,其特征在于,所述步骤S2-1中,膨胀幅度为10。
7.根据权利要求6所述的医用内窥镜图像增强方法,其特征在于,其中,γr=0.7,γg和γb均为50。
9.一种存储介质,其上存储有计算机程序,其特征在于,该程序被执行时用于实现如权利要求1-7中任意一项所述的方法。
10.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310146323.0A CN116205814A (zh) | 2023-02-21 | 2023-02-21 | 医用内窥镜图像增强方法、系统及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310146323.0A CN116205814A (zh) | 2023-02-21 | 2023-02-21 | 医用内窥镜图像增强方法、系统及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116205814A true CN116205814A (zh) | 2023-06-02 |
Family
ID=86516869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310146323.0A Pending CN116205814A (zh) | 2023-02-21 | 2023-02-21 | 医用内窥镜图像增强方法、系统及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116205814A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117689762A (zh) * | 2024-02-04 | 2024-03-12 | 江苏无右微创医疗科技有限公司 | 一种内窥镜图像染色方法及系统 |
-
2023
- 2023-02-21 CN CN202310146323.0A patent/CN116205814A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117689762A (zh) * | 2024-02-04 | 2024-03-12 | 江苏无右微创医疗科技有限公司 | 一种内窥镜图像染色方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8811698B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP4855868B2 (ja) | 医療用画像処理装置 | |
EP1568307B1 (en) | Image processing device and image processing method | |
JP5242381B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP6176978B2 (ja) | 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム | |
CN107252299B (zh) | 内窥镜装置以及内窥镜装置的工作方法 | |
WO2012114600A1 (ja) | 医用画像処理装置及び医用画像処理方法 | |
JP5622461B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
Barbalata et al. | Laryngeal tumor detection and classification in endoscopic video | |
CN107451963B (zh) | 多光谱鼻腔内窥镜实时图像增强方法及内窥镜成像系统 | |
JP2003153082A (ja) | 画像の位置合わせ装置および画像処理装置 | |
WO2020162275A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 | |
WO2020031851A1 (ja) | 画像処理方法及び画像処理装置 | |
JP2016019665A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
TWI738367B (zh) | 以卷積神經網路檢測物件影像之方法 | |
Maghsoudi et al. | A computer aided method to detect bleeding, tumor, and disease regions in Wireless Capsule Endoscopy | |
CN116205814A (zh) | 医用内窥镜图像增强方法、系统及计算机设备 | |
CN110969603B (zh) | 病变位置的相对定位方法、装置及终端设备 | |
Liedlgruber et al. | A summary of research targeted at computer-aided decision support in endoscopy of the gastrointestinal tract | |
Lange et al. | Computer-aided-diagnosis (CAD) for colposcopy | |
WO2019088008A1 (ja) | 画像処理装置、画像処理方法、プログラム、及び内視鏡システム | |
Liedlgruber et al. | Endoscopic image processing-an overview | |
Ye et al. | Segmentation and feature extraction of endoscopic images for making diagnosis of acute appendicitis | |
WO2022065301A1 (ja) | 医療画像装置及びその作動方法 | |
Zhu et al. | Research on Endoscopic Image Enhancement Algorithm Based on Contrast Fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |