CN116188340A - 一种基于图像融合的肠道内窥镜图像增强方法 - Google Patents
一种基于图像融合的肠道内窥镜图像增强方法 Download PDFInfo
- Publication number
- CN116188340A CN116188340A CN202211649623.2A CN202211649623A CN116188340A CN 116188340 A CN116188340 A CN 116188340A CN 202211649623 A CN202211649623 A CN 202211649623A CN 116188340 A CN116188340 A CN 116188340A
- Authority
- CN
- China
- Prior art keywords
- image
- attention
- enhancement
- polyp
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000968 intestinal effect Effects 0.000 title claims abstract description 31
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 208000037062 Polyps Diseases 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 27
- 230000003902 lesion Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 208000032177 Intestinal Polyps Diseases 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 3
- 230000002496 gastric effect Effects 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 7
- 238000003759 clinical diagnosis Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 208000030399 gastrointestinal polyp Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000035984 Colonic Polyps Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于图像融合的肠道内窥镜图像增强方法，该方法针对内窥镜图像照度不均、对比度偏低、纹理细节信息缺失设计了一种增强方法，它包括四个步骤：(1)创建数据集；(2)将图像输入编码器‑解码器多注意力U‑Net网络，进行深度网络模型训练以获取全局增强图像；(3)将图像输入分割网络HarDNet‑MSEG，进行深度网络模型训练以获取息肉分割mask图像；(4)判断是否含有息肉，若含有，进行图像融合，否则输出全局增强图像；(5)将编码器‑解码器多注意U‑Net网络获取的全局增强图像和HarDNet‑MSEG获取的mask图像融合输出最终局部增强图像。本发明提出的基于图像融合的肠道内窥镜图像增强方法相对其他图像增强算法更能引起人们对病变区域的关注，具有可应用于临床诊断的医学价值。
Description
技术领域
本发明涉及医学图像增强及计算机网络技术领域，特别涉及一种基于图像融合的肠道内窥镜图像增强方法。
背景技术
肠息肉是导致癌症的主要原因之一。内窥镜检查是一种标准的用于检测结肠息肉的目视诊断程序。然而，由内窥镜直接获得的肠道图像容易出现照明不均匀。对比度低和纹理细节缺失等问题，导致人工检查的准确率下降。从而影响医生对疾病分析和诊断的准确度。肠道图像增强可以为临床分析提供详细的边缘和纹理信息。因此，肠道图像增强的研究对帮助结肠镜医师降低误诊率和漏诊率十分重要。
研究人员已经提出了一些经典的图像增强方法，将它们应用于低对比度非均匀照明的肠道内窥镜图像容易出现局部背景区域过度增强、病变区域增强不足等问题。近年来，深度学习的方法在自然图像增强领域表现很好。然而，由于没有公开的肠道图像增强配对数据集，影响了深度学习在肠道内窥镜图像增强上的发展。无监督神经网络框架应用于肠道内窥镜图像增强任务上通常难以得到高质量的图像增强结果。另外，基于深度学习图像增强方法旨在实现全局增强，由于体内环境的特殊性，自然图像的增强算法并不完全适用于肠道内窥镜图像。
发明内容
本发明的目的在于针对数据集的缺失，构集首个可用于图像增强和图像分割的数据集，针对已有技术的不足，提供一种基于图像融合的肠道内窥镜图像增强方法，是一种基于Python语言和Pytorch框架的用于对肠道图像进行增强的方法，该方法可实现全局增强和局部增强两个不同的任务。提出的EDMAU可为非息肉图像保留更多的图像细节并调整全局图像照度。将基于深度学习的息肉分割技术和图像增强技术结合可以大幅度的提高图像信息有效率，使得息肉图像中的病变区域细节信息更丰富。
为达到上述目的，本发明采用如下的技术方案：
一种基于图像融合的肠道内窥镜图像增强方法，其步骤如下：
步骤1：创建可用于肠道内窥镜增强和息肉分割的数据集；
步骤2：将数据集中的低质/高质图像对输入编码器-解码器多注意U-Net网络，进行深度网络模型训练和预测以获取全局增强图像；
步骤3：将数据集中的低质/mask图像对输入分割网络HarDNet-MSEG，进行深度网络模型训练和预测以获取息肉分割mask图像；
步骤4：判断是否含有息肉，若含有，进行图像融合，否则输出全局增强图像；
步骤5：将编码器-解码器多注意U-Net网络获取的全局增强图像和HarDNet-MSEG获取的mask图像融合输出最终局部增强图像。
优选地，所述步骤1的数据集创建包括如下操作：
1-1：从一些公开的胃肠道息肉相关的医学影像开源数据集收集真实肠道图像和这些图像对应的息肉分割mask；
1-2：调整收集的图像的分辨率为256×256像素；
1-3：使用Adobe Lightroom来调整真实肠道图像以获取低质图像和高质量的参考图像；
1-4：邀请志愿者对1-3获取的图像进行主观评价，以获取最佳图像输出。
1-5：将得到的数据集按2:1的比例划分训练集和测试集。
优选地，所述步骤2的编码器-解码器多注意U-Net网络模型训练和预测包括如下操作：
2-1：编码器-解码器多注意U-Net网络(EDMAU)是一种图像增强网络，它由三个部分组成，分别是输入、编码注意力、解码注意力和输出；多注意力指的是细节注意力图和亮度注意力图；将数据集中的低质图像和高质量的参考图像输入EDMAU进行训练；
2-2：目标函数采用绝对误差损失、均方误差损失、结构相似度损失以及感知损失四个损失函数组合；
2-3：网络模型采用学习率为0.0002的优化算法，总共训练200个epochs，经过训练后，得到对应的全局增强网络模型训练参数。
2-4：将测试集输入训练好的全局增强网络模型，得到模型预测的全局增强图像Ieg。
优选地，所述步骤3的HarDNet-MSEG网络模型训练和预测包括如下操作：
3-1：分割网络HarDNet-MSEG是一种肠道息肉分割网络，将数据集中的低质图像和相对应的息肉分割的mask输入EDMAU进行训练；
3-2：网络模型采用学习率为0.0001的优化算法，总共训练100个epochs，经过训练后，得到对应的息肉分割网络模型训练参数。
3-3：将测试集输入训练好的HarDNet-MSEG网络模型，得到模型预测的息肉位置精确分割mask图Imask。
优选地，所述步骤4的判断是否含有息肉是根据mask图像判断图像中有无息肉，来区分图像进行全局增强还是进一步的局部增强；若图像中不含有息肉，最终得到全局增强图Ieg，若含有息肉，则执行步骤5将Imask和Ieg融合获取最终的局部增强图像Iel。
所述步骤5的图像融合包括如下操作：
5-1：对于Imask提取的Ieg的病变区域保留EDMAU增强效果；
5-2：对于Imask提取的Ieg的非病变区域使用伽马校正处理以实现息肉图像的局部增强效果Iel。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
1.构建了第一个合成的成对低光/正常光和低光/对应mask肠道内窥镜图像数据集。
2.提出了一种新颖的端到端全局图像增强网络架构EDMAU来解决低光非均匀照明图像增强问题。其中，提出了一种细节注意图，将其添加到网络的解码器中以突出纹理细节特征，并将亮度注意图引入到网络的编码器中以改善全局图像照明。
3.提出一种新的图像融合策略，通过弱化背景区域，来突出感兴趣区域的细节信息。
4.与多个现有方法相比，本发明取得了先进的结果，EDMAU可有效消除非均匀照明效果、提高图像纹理细节信息。局部增强图像可以帮助医生快速清晰地观察区域纹理细节信息，具有一定的临床实用性。
附图说明
图1为本发明方法的程序框图。
图2为本发明方法的整体流程图。
图3为本发明全局图像增强网络EDMAU架构。
图4为本发明方法训练的EDMAU网络模型对构建数据集的预测得到增强结果图与多个现有方法的结果对比图。
图5为本发明方法经过提出的融合方法所得到的最终局部增强图像与未增强的原始输入图像显著性的改变对比图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细的说明。
实施例一：
参见图1，一种基于图像融合的肠道内窥镜图像增强方法，包含以下操作步骤：
步骤1：创建可用于肠道内窥镜图像增强和息肉分割的数据集；
步骤2：将数据集中的低质图像和高质量的参考图像对输入编码器-解码器多注意U-Net网络，进行深度网络模型训练和预测以获取全局增强图像；
步骤3：将数据集中的低质图像和相对应的息肉分割的mask图像对输入分割网络HarDNet-MSEG，进行深度网络模型训练和预测以获取息肉分割mask图像。
步骤4：判断是否含有息肉，若含有，进行图像融合，否则输出全局增强图像；
步骤5：将编码器-解码器多注意U-Net网络获取的全局增强图像和HarDNet-MSEG获取的mask图像融合输出最终局部增强图像。
本实施例方法能利用构建的数据集进行网络模型的训练和测试，准确增强医生所感兴趣区域细节信息。
实施例二：
本实施例与实施例一基本相同，特别之处如下：
所述步骤1的数据集创建包括如下操作：
1-1：从一些公开的胃肠道息肉相关的医学影像开源数据集Kvasir-SEG dataset，ETIS-Larib Polyp DB以及CVC-EndoSceneStill收集2108幅真实肠道图像和这些图像对应的息肉分割mask；
1-2：调整收集的图像的分辨率为256×256像素；
1-3：将部分照明良好的图像通过Lightroom降低原始图像的质量获得低照度非均匀照明的低质图像。对全部收集的图像通过Lightroom进行手工润色来调整真实肠道内窥镜图像以获取高质量的参考图像；
1-4：邀请志愿者对1-3获取的图像进行主观评价以产生满意输出，对于没有产生满意输出的序列将要求重新修饰图像来为每个序列选择最佳输出。
1-5：将得到的数据集按2:1的比例划分训练集和测试集。
所述步骤2的多注意力图的获取和编码器-解码器多注意U-Net网络模型训练和预测包括如下操作：
2-1：多注意力图分别指的是细节注意力图和亮度注意力图，本发明提出一种新的细节注意力图并加入到U-Net网络的解编码阶段，以突出细节特征从而减少图像增强过程中部分信息的丢失。其次，在U-Net网络的编码阶段引入亮度注意力图来改善全局图像的照度。
所述细节注意力图的计算公式如下：
其中，Ilow表示原始低质量图像。fcanny表示使用Canny算子处理图像。fMp表示对边缘图像使用Max-pooling。D1，…，D8构成细节注意力图。
所述亮度注意力图是我们将原始RGB颜色空间的低质量图像Ilow转换为单通道灰度图像Ig，将其规格化为[0,1]。然后计算1-Ig作为我们的亮度注意力图。
2-2：编码器-解码器多注意U-Net网络(EDMAU)是一种图像增强网络，它由三个部分组成，分别是输入、编码注意力、解码注意力和输出。将构建的数据集的训练集中的低质图像和高质量的参考图像输入EDMAU进行训练，得到全局增强图像Ieg，完整的网络结构如图3；
下面根据图3进行详细的解释：
本发明提出的EDMAU网络模型采用U-Net网络作为特征提取的基础网络，主要由输入、编码注意力、解码注意力和输出4部分组成。
输入模块输入的是将3通道的RGB低质量彩色图像及单通道的亮度注意力图进行拼接得到的通道数为4、大小为256×256的特征图。
编码注意力模块包含了8个下采样层，在编码阶段，8个下采样卷积层使用4×4的卷积核和Leaky LeRU激活函数对输入图像进行多尺度特征提取。输出层数分别为64、128、256、512、512、512、512和512。亮度注意力图与下采样过程中的特征图输出相乘，对亮度注意力图使用Max-pooling，以改变亮度注意力图尺寸与相应卷积层特征图尺寸一致。
解码注意力模块包含了8个上采样层，在解码阶段，前7个上采样卷积层使用4×4的卷积核和Leaky LeRU激活函数。最后一次反卷积层使用Tanh激活函数以产生最终得到细节保存更完整的全局增强图像。输出层数分别为512、512、512、512、512、256、128、64和3。细节注意力图与上采样过程中的特征图输出相拼接，对细节注意力图使用Max-pooling，以改变细节注意力图尺寸与相应卷积层特征图尺寸一致。
2-3：目标函数采用绝对误差损失、均方误差损失、结构相似度损失以及感知损失四个损失函数组合，总损失函数可表示为：
式中，L1表示绝对误差损失，L2表示均方误差损失、LStructure表示结构相似度损失，LPerceptual代表感知损失。λ1、λ2、λ3、λ4表示常数，设置为1，1000，1，1。Ieg和Igt分别是EDMAU输出的增强图像和对应的GroundTruth。l为亮度信息，c为对比度信息，s为结构相似性，i为像素坐标，m为像素总数，α、β、θ为调整三个分量l、c和s重要性的参数。C,W,H分别为特征图的通道、高度和宽度。Φ(x)为VGG-16生成的特征图。
2-4：网络模型采用学习率为0.0002的优化算法，总共训练200个epochs，经过200个epochs的训练后，得到对应的全局增强网络模型训练参数。
2-5：将构建数据集的测试集输入训练好的全局增强网络模型，得到模型预测的全局增强图Ieg。
所述步骤3的分割网络HarDNet-MSEG模型训练和预测包括如下操作：
3-1：分割网络HarDNet-MSEG是一种肠道息肉分割网络，将构建数据集的训练集中的低质图像和相对应的息肉分割的mask输入EDMAU进行训练；
3-2：网络模型采用学习率为0.0001的优化算法，总共训练100个epochs，经过100个epochs的训练后，得到对应的息肉分割网络模型训练参数。
3-3：将构建数据集的测试集输入训练好的HarDNet-MSEG网络模型，得到模型预测的息肉位置精确分割mask图Imask。
所述步骤4的判断是否含有息肉是根据mask图像判断图像中有无息肉，若mask图像无白色区域说明图像不含有息肉，最终得到全局增强图Ieg，若mask图像含有白色区域说明图像含有息肉，则执行步骤5将Imask和Ieg融合获取最终的局部增强图像Iel。
所述步骤5的图像融合包括如下操作：
5-1：对于Imask提取的Ieg的病变区域保留EDMAU增强效果；
5-2：对于Imask提取的Ieg的非病变区域使用伽马校正处理以实现息肉图像的局部增强效果Iel。
图像融合策略的具体表达式为：
式中，fgamma(Ieg)为对Ieg进行伽马校正生成的图像。
本实施例方法从本发明构建的肠息肉图像数据集LHI进行定性和定量分析，本发明方法可同时实现两个不同的任务：全局细节增强和局部细节增强。
采用本发明方法EDMAU对肠道内窥镜图像进行全局增强处理，并与限制对比度自适应直方图均衡(CLAHE)、基于Rubost Retinex分解模型的Structure-revealing弱光增强方法(RRM)、自适应伽马校正加权分布(AGCWD)、Wang等人提出的一种内窥镜图像增强方法(EndpIMLE)这4种传统图像增强方法以及RetinexNet、KinD、DeepUPE、Zero-DCE++这4种基于深度学习的图像增强方法进行增强效果对比。图4是本发明方法EDMAU和现有方法的预测结果的细节图比较。由图4对比结果可以看出，本发明方法处理肠道内窥镜图像可以成功地从黑暗部分去除阴影，对原始图像中较亮的部分仍然保持了较为丰富的纹理细节，对比度也得到了提高，更加贴合于图像中所表现物体的原有色彩。
采用本发明方法对肠道息肉图像使用融合策略进行局部增强处理，并与未增强的原始输入图像进行显著性对比。图5是未增强的原始输入图像和使用本发明方法所得到的最终局部增强图像后图像显著性的改变比较。由图5对比结果可以看出，肠息肉图像经过我们提出的融合策略局部增强之后，人们把目光更加聚焦在病变区域上了。因此，本文所提出的图像增强方法有望辅助医生做精准诊断。
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。
Claims (6)
1.一种基于图像融合的肠道内窥镜图像增强方法，其特征在于，操作步骤如下：
步骤1：创建数据集；
步骤2：将数据集中的图像输入编码器-解码器多注意U-Net网络，进行深度网络模型训练和预测以获取全局增强图像；
步骤3：将数据集中的图像输入分割网络HarDNet-MSEG，进行深度网络模型训练和预测以获取息肉分割mask图像；
步骤4：判断是否含有息肉，若含有，进行图像融合，否则输出全局增强图像；
步骤5：将编码器-解码器多注意U-Net网络获取的全局增强图像和HarDNet-MSEG获取的mask图像融合输出最终局部增强图像。
2.根据权利要求1所述的一种基于图像融合的肠道内窥镜图像增强方法，其特征在于，所述步骤1的创建数据集包括如下具体操作步骤：
1-1：从一些公开的胃肠道相关的医学影像开源数据集收集真实肠道图像和对应的息肉分割mask；
1-2：调整收集的图像的分辨率为256×256像素；
1-3：使用Adobe Lightroom来调整真实肠息肉图像以获取低质图像和高质量的参考图像；
1-4：邀请志愿者对1-3获取的图像进行主观评价以获取最佳图像输出。
1-5：将得到的数据集按2:1的比例划分训练集和测试集。
3.根据权利要求1所述的一种基于图像融合的肠道内窥镜图像增强方法，其特征在于，所述步骤2的编码器-解码器多注意U-Net网络模型训练和预测包括如下具体操作步骤：
2-1：编码器-解码器多注意U-Net网络EDMAU是一种图像增强网络，它由三个部分组成，分别是输入、编码注意力、解码注意力和输出；多注意力指的是细节注意力图和亮度注意力图；将训练集中的低质图像和高质量的参考图像输入EDMAU进行训练；
2-2：目标函数采用绝对误差损失、均方误差损失、结构相似度损失以及感知损失四个损失函数组合；
2-3：网络模型采用学习率为0.0002的优化算法，总共训练200个epochs；
2-4：将测试集输入训练好的EDMAU网络模型，得到模型预测的全局增强图像。
4.根据权利要求1所述的一种基于图像融合的肠道内窥镜图像增强方法，其特征在于，所述步骤3的分割网络HarDNet-MSEG包括如下具体操作步骤：
3-1：分割网络HarDNet-MSEG是一种肠道息肉分割网络，将训练集中的低质图像和相对应的息肉分割的mask输入EDMAU进行训练；
3-2：网络模型采用学习率为0.0001的优化算法，总共训练100个epochs；
3-3：将测试集输入训练好的HarDNet-MSEG网络模型，得到模型预测的mask图像。
5.根据权利要求1所述的一种基于图像融合的肠道内窥镜图像增强方法，其特征在于，所述步骤4的判断是否含有息肉是根据HarDNet-MSEG预测的mask图像来区分图像进行全局增强还是进一步的局部增强；图像中有无息肉，若不含有息肉，得到最终的全局增强图，若含有息肉，则执行步骤5。
6.根据权利要求1所述的一种基于图像融合的肠道内窥镜图像增强方法，其特征在于，所述步骤5的图像融合包括如下具体操作步骤：
5-1：对于mask图像提取的EDMAU图像的病变区域保留EDMAU增强效果；
5-2：对于mask图像提取的EDMAU图像的非病变区域使用伽马校正处理以弱化背景实现息肉图像的局部增强效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211649623.2A CN116188340A (zh) | 2022-12-21 | 2022-12-21 | 一种基于图像融合的肠道内窥镜图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211649623.2A CN116188340A (zh) | 2022-12-21 | 2022-12-21 | 一种基于图像融合的肠道内窥镜图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116188340A true CN116188340A (zh) | 2023-05-30 |
Family
ID=86431815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211649623.2A Pending CN116188340A (zh) | 2022-12-21 | 2022-12-21 | 一种基于图像融合的肠道内窥镜图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188340A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461828A (zh) * | 2020-03-31 | 2020-07-28 | 深圳市三收健康管理科技有限公司 | 一种基于账单的健康数据处理方法、装置及系统 |
| CN116758069A (zh) * | 2023-08-17 | 2023-09-15 | 济南宝林信息技术有限公司 | 用于肠道内镜的医学图像增强方法 |
| CN116912602A (zh) * | 2023-09-11 | 2023-10-20 | 荣耀终端有限公司 | 图像处理模型的训练方法、图像处理方法及电子设备 |
| CN116957968A (zh) * | 2023-07-20 | 2023-10-27 | 深圳大学 | 一种消化道内窥镜图像增强方法、系统、设备及介质 |
| CN117710233A (zh) * | 2024-02-05 | 2024-03-15 | 之江实验室 | 一种内窥图像的景深扩展方法及装置 |
-
2022
- 2022-12-21 CN CN202211649623.2A patent/CN116188340A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461828A (zh) * | 2020-03-31 | 2020-07-28 | 深圳市三收健康管理科技有限公司 | 一种基于账单的健康数据处理方法、装置及系统 |
| CN116957968A (zh) * | 2023-07-20 | 2023-10-27 | 深圳大学 | 一种消化道内窥镜图像增强方法、系统、设备及介质 |
| CN116957968B (zh) * | 2023-07-20 | 2024-04-05 | 深圳大学 | 一种消化道内窥镜图像增强方法、系统、设备及介质 |
| CN116758069A (zh) * | 2023-08-17 | 2023-09-15 | 济南宝林信息技术有限公司 | 用于肠道内镜的医学图像增强方法 |
| CN116758069B (zh) * | 2023-08-17 | 2023-11-14 | 济南宝林信息技术有限公司 | 用于肠道内镜的医学图像增强方法 |
| CN116912602A (zh) * | 2023-09-11 | 2023-10-20 | 荣耀终端有限公司 | 图像处理模型的训练方法、图像处理方法及电子设备 |
| CN116912602B (zh) * | 2023-09-11 | 2023-12-15 | 荣耀终端有限公司 | 图像处理模型的训练方法、图像处理方法及电子设备 |
| CN117710233A (zh) * | 2024-02-05 | 2024-03-15 | 之江实验室 | 一种内窥图像的景深扩展方法及装置 |
| CN117710233B (zh) * | 2024-02-05 | 2024-05-24 | 之江实验室 | 一种内窥图像的景深扩展方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116188340A (zh) | 一种基于图像融合的肠道内窥镜图像增强方法 | |
| Ma et al. | Structure and illumination constrained GAN for medical image enhancement | |
| Wang et al. | A coarse-to-fine deep learning framework for optic disc segmentation in fundus images | |
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| Pang et al. | Tongue image analysis for appendicitis diagnosis | |
| Rabbani et al. | Fully automatic segmentation of fluorescein leakage in subjects with diabetic macular edema | |
| CN113256641B (zh) | 一种基于深度学习的皮肤病灶图像分割方法 | |
| Ma et al. | Cycle structure and illumination constrained GAN for medical image enhancement | |
| CN111488912B (zh) | 一种基于深度学习神经网络的喉部疾病诊断系统 | |
| CN115049666B (zh) | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 | |
| CN110974179A (zh) | 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统 | |
| CN113658201A (zh) | 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置 | |
| Appan K et al. | Retinal image synthesis for cad development | |
| Li et al. | Nui-go: Recursive non-local encoder-decoder network for retinal image non-uniform illumination removal | |
| Zhao et al. | Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| Jana et al. | Liver fibrosis and nas scoring from ct images using self-supervised learning and texture encoding | |
| Wang et al. | Low-light image enhancement by deep learning network for improved illumination map | |
| Chen et al. | Early glaucoma detection by using style transfer to predict retinal nerve fiber layer thickness distribution on the fundus photograph | |
| CN114926486B (zh) | 一种基于多层级改进的甲状腺超声图像智能分割方法 | |
| CN113298754B (zh) | 一种前列腺组织轮廓线控制点的检测方法 | |
| Huang et al. | Deep polyp image enhancement using region of interest with paired supervision | |
| Susan et al. | Comparison of various deep learning inpainting methods in smart colposcopy images | |
| CN113808057A (zh) | 基于无监督学习的内窥镜图像增强方法 | |
| Venugopal et al. | A deep learning-based illumination transform for devignetting photographs of dermatological lesions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |