CN117036905A - 一种基于hsv色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法 - Google Patents
一种基于hsv色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法 Download PDFInfo
- Publication number
- CN117036905A CN117036905A CN202311005108.5A CN202311005108A CN117036905A CN 117036905 A CN117036905 A CN 117036905A CN 202311005108 A CN202311005108 A CN 202311005108A CN 117036905 A CN117036905 A CN 117036905A
- Authority
- CN
- China
- Prior art keywords
- color
- attention
- focus
- capsule endoscope
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims description 34
- 238000011176 pooling Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 16
- 201000010099 disease Diseases 0.000 claims description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 11
- 230000003902 lesion Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 210000000813 small intestine Anatomy 0.000 abstract description 8
- 238000012360 testing method Methods 0.000 abstract description 8
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 12
- 210000001035 gastrointestinal tract Anatomy 0.000 description 11
- 238000004590 computer program Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 208000025865 Ulcer Diseases 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000010794 food waste Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 231100000397 ulcer Toxicity 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 208000021795 small intestine disease Diseases 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，以ResNet为骨干建立注意力基础网络后，加入基于HSV色彩空间颜色注意力模块形成最终模型；对胶囊内窥镜小肠数据集进行训练和测试，最终得到图像病灶识别和评估结果。本发明创新性设计了一种基于HSV色彩空间的颜色特征提取方法，并将其融入到神经网络中，根据颜色特征在空间位置上提供高效的病灶相关先验信息，将网络模型的注意力集中于病灶区域，从而提高病灶分类的精度。
Description
技术领域
本发明涉及图像分析领域，具体涉及一种基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法。
背景技术
小肠的长度通常超过4米，使用传统手持式胃肠镜检查无法实现小肠的完整检查，因此胶囊内窥镜成为消化道疾病尤其是小肠疾病诊断的有效方法。无线胶囊内窥镜(WCE)作为一种消化道疾病诊断工具能够以无创伤、无痛的方式直接检查患者完整的胃肠道。
然而，当采用无线胶囊内窥镜时，自患者吞下胶囊药丸进行检查的8-12小时内，胶囊内窥镜会拍摄约50000-100000帧视频图像，临床医生通常需要花费数小时才能将整个WCE视频检查完毕，并且在长时间疲劳检查的情况下容易出现误诊、漏诊的情况，因此亟需计算机辅助诊断算法辅助医生做出更为精准的诊断和处理。
近年来，神经网络注意力机制因其效果显著、计算简单，在医学图像识别中得到了广泛应用。然而，胶囊内窥镜所产生的原始医学图像存在着清晰度不高、拍摄环境复杂、胃肠道内残渣多的问题，病灶特征存在着类内差异大、类间差异小的问题导致病灶识别较为困难。胃肠道图像相较于自然图像而言有很大的不同，例如在颜色特征上胃肠道病灶红色居多，几乎不出现绿色。胃肠道图像病灶大小不一，现有基于深度学习的方法注意力难以聚焦，导致识别效果仍有提升空间。根据胃肠道图像特有的颜色特征，本文提出的基于HSV色彩空间颜色注意力能够更好的根据颜色特征在空间位置上提供高效的病灶相关先验信息，从而提高病灶分类的精度。
发明内容
本发明提供了一种基于HSV色彩空间颜色注意力的低复杂度胶囊内窥镜图像病灶识别方法，通过HSV色彩空间提取出颜色特征并将其输入到注意力网络中增加颜色特征在注意力机制中的权重，从而增加整体网络的精度。
本发明所采用的技术方案是，一种基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，所述方法以ResNet为主干网络建立注意力基础网络，在主干网络的瓶颈模块中加入基于HSV色彩空间的颜色注意力模块，提取出颜色特征并与空间特征融合加入到神经网络中。
一种基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，其特征在于，包括以下步骤：
S1：通过胶囊内窥镜获取图像，建立用于训练疾病分类的数据集；
S2：以ResNet为主干建立注意力基础网络；
S3：设计基于HSV色彩空间的颜色注意力提取机制，与空间特征融合得到融合后的颜色注意力机制，将融合后的颜色注意力机制加入到步骤S2的注意力基础网络，得到最终网络模型；
S4：以S1的数据集对S3的最终网络模型进行训练，得到图像预测模型；
S5：将胶囊内窥镜图像输入图像预测模型中进行图像病灶识别并评估。
步骤S1中，通过胶囊内窥镜获取图像，建立用于训练疾病分类的数据集，具体包括：
通过胶囊内窥镜采集到的图像进行数据预处理以及数据增强操作，得到无病灶和有病灶的二分类数据集，作为用于训练疾病分类的数据集。
步骤S2中，以ResNet为主干建立注意力基础网络，具体包括：
以ResNet为骨干网络，并在骨干网络的瓶颈模块中加入通道注意力机制。
步骤S3中，设计基于HSV色彩空间的颜色注意力提取机制，具体包括：
S31：设置颜色提取器，颜色提取器以HSV色彩空间的10个颜色大类为基础先提取出红、橙、黄3种颜色区域，随后再提取出剩余7种颜色区域中出现频率最少的颜色区域；将提取出的红、橙、黄3种颜色区域以及出现频率最少的颜色区域合并得到颜色特征图并对颜色特征图/>进行卷积和归一化处理得到降低暗部区域影响的特征图Fy∈RC×H×W，随后对Fy进行最大池化和平均池化得到两个特征图并进行拼接和卷积，最终得到颜色注意力图Mh(F)∈RH,W。
步骤S3中，与空间特征融合得到融合后的颜色注意力机制，将融合后的颜色注意力机制加入到步骤S2的注意力基础网络，得到最终网络模型，具体包括：
S32：通过平均池化和最大池化生成两个2D特征图：和随后将两个特征图进行拼接和卷积得到空间注意力特征图Ms(F)∈RH,W；
将空间注意力特征图Ms(F)和颜色注意力图Mh(F)融合，对结果做矩阵点乘得基于HSV色彩空间的颜色特征注意力图Fcs，即为融合后的颜色注意力机制，将Fcs输入到步骤S2的注意力基础网络，形成最终网络模型。
步骤S3中步骤S31，通过设置颜色提取器得到颜色注意力图，能够使网络对处理胶囊内窥镜图像病灶识别中，将识别区域集中于非暗部区域，弱化图像中食物残渣、杂质、图像模糊对识别准确率的影响，充分获取原始医学图像病灶区域的特征，更好地凸显病灶相关特征的重要性。
步骤S3中步骤S32，空间特征融合得到融合后的颜色注意力机制，将融合后的颜色注意力机制加入到步骤S2的注意力基础网络，得到最终网络模型。与空间特征的融合可以对颜色注意力机制进行空间位置特征的补充，使得注意力机制的特征更加全面，增强模型注意力机制的鲁棒性，提高胶囊内窥镜图像病灶识别的准确率。
胃肠道图像相较于自然图像而言有很大的不同，在颜色特征上胃肠道病灶红色居多，并且病灶大小不一，现有基于深度学习的方法注意力难以聚焦，导致识别效果仍有提升空间。为解决这些问题，本发明提出了一种基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，以ResNet为骨干建立注意力基础网络后，加入基于HSV色彩空间颜色注意力模块形成最终模型；对胶囊内窥镜小肠数据集进行训练和测试，最终得到图像病灶识别和评估结果。本发明创新性设计了一种基于HSV色彩空间的颜色特征提取方法，并将其融入到神经网络中，根据颜色特征在空间位置上提供高效的病灶相关先验信息，将网络模型的注意力集中于病灶区域，从而提高病灶分类的精度。
优选地，所述S1中，对从医院采集到的胶囊内窥镜数据集进行数据预处理以及数据增强操作，最终得到无病灶和有病灶的二分类数据集。所述数据集X＝{x1,x2,...,xn}，xi表示输入图像，i为1至n的整数。
优选地，所述S2构建ResNet作为基础的骨干网络，随后在主干网络的瓶颈模块加入通道注意力机制。通道注意力子模块的主要内容是对ResNet产生的多维特征图进行平均池化和最大池化，随后通过多层感知机网络产生通道注意力图。
优选地，所述S3包括以下步骤：
S31以HSV色彩空间的颜色分布为基础提取颜色特征生成注意力图。将病灶图像输入到颜色提取器(GRT)中得到颜色特征，GRT以HSV色彩空间的10个颜色大类为基础提取出红、橙、黄三种颜色区域，随后再提取出剩余7种颜色区域中出现频率最少的颜色区域；将上诉两种颜色区域合并得到颜色特征图并对其进行卷积和归一化处理得到降低暗部区域影响的特征图Fy∈RC×H×W，随后对Fy进行最大池化和平均池化得到两个特征图并进行拼接和卷积，最终得到颜色注意力图Mh(F)∈RH,W；
S32利用特征的空间关系来生成空间注意力图。通过平均池化和最大池化生成两个2D特征图：和/>随后将两个特征图进行拼接和卷积得到空间注意力特征图Ms(F)∈RH,W；
S33为了增强模型注意力机制的鲁棒性，本方法将空间注意力图Ms(F)和颜色注意力图Mh(F)融合。对得到的两个结果做矩阵点乘得基于HSV色彩空间的颜色特征注意力图Fcs，将Fcs输入到网络的下一层，形成最终网络模型。
颜色特征提取包括以下步骤：
S311提取黄、橙、红区域。本方法基于HSV色彩空间，通过设置H(色调)、S(饱和度)、V(明度)三个值的范围提取到所需区域的二值图像掩膜Rmask，HSV的阈值范围为[0,43,46]～[34(180),255,255]包括了红、橙、黄三种颜色范围；
S312提取低频颜色特征。HSV颜色体系中共有10种颜色范围，可将各个像素点的颜色归为10类中去，本方法旨在提取剩余七种颜色范围中占比最少的像素点，得到低频掩膜公式如式(3)所示:
其中，N＝224×224为总像素点数，Ni为第i个类别范围中的像素点个数，σ为根据像素点位置数组生成掩膜函数。
S313生成颜色特征图。将两个掩膜相加并与原图进行按位与操作得到具有颜色特征的图像对/>进行卷积、归一化、ReLu操作得到特征图Fy。
优选地，所述S4基于S1的训练数据集，对S3中的最终模型进行训练，得到图像预测模型。
优选地，所述S5对胶囊内窥镜的数据集进行训练和测试，完成病灶识别，将胶囊内窥镜的测试数据集输入所述图像预测模型中进行图像病灶识别并由准确率Accuracy、F1-score、精确率Precision评估。
本发明涉及一种基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，所述方法以ResNet为基础网络，首先在基础网络上加入通道注意力模块；其次以HSV色彩空间的颜色分布为基础提取颜色特征生成注意力图，并与空间注意力相融合，建立HSV色彩空间颜色注意力机制，形成最终模型；以数据集对最终模型进行训练，得到图像预测模型；将胶囊内窥镜的测试数据集输入所述图像预测模型中进行图像病灶识别并评估，以满足预设条件的图像预测模型对胶囊内窥镜图像进行病灶识别。
本发明的有益效果在于：
(1)提出了基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，将注意力集中于非暗部区域，与传统的基于空间或者通道注意力方法相比，可以减弱暗部区域对识别准确率的影响，充分获取原始医学图像病灶区域的特征，更好地凸显病灶相关特征的重要性；
(2)提出一种全新的颜色提取算法，基于HSV色彩空间根据胃肠道病灶图像特有的颜色特征，确定病灶大致区域，通过颜色的概率分布使注意力更加集中，进一步提高网络性能；
(3)由于没有对网络结构进行破坏，保留原始网络的基本结构和参数量需求，通过使用颜色信息更好地获取图像病灶特征，同时加速网络的收敛从而获得了更好的性能。
附图说明
图1是本发明的整体流程图；
图2是色彩空间颜色注意力机制结构图；
图3是颜色特征提取流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
如图1所示，本发明涉及一种基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，包括以下步骤：
S1、通过胶囊内窥镜获取图像，建立用于训练疾病分类的数据集。
本方法所使用的数据集共包含了来自浙江省丽水市人民医院297例患者的小肠胶囊内窥镜图像，其中40例患者有完整的胶囊内镜视频，257例患者有检查报告和部分病变图片。采集到的小肠数据病灶类间不平衡，其中以糜烂、溃疡两种病灶数量最多，经过平移、翻转、改变亮度、高斯噪声等数据增强操作后得到有病灶、无病灶两类图像各1200张，其中有病灶数据集中包含了糜烂、溃疡2类疾病，按照3:1:1的比例将每一类别图像随机划分为训练集、验证集和测试集。
所述S1中，对从医院采集到的胶囊内窥镜数据集进行数据预处理以及数据增强操作，最终得到无病灶和有病灶的二分类数据集。所述数据集X＝{x1,x2,...,xn}，xi表示输入图像，i为1至n的整数。
定义算法目标为：获取数据集的分类结果，判断图像为有病灶或者无病灶。
S2、以ResNet为主干建立注意力基础网络。
主干网络基于一个嵌有非局部块的ResNet基线模型，由50层组成，包括卷积层、池化层、全连接层和快捷连接。随后本方法在基础网络的池化层操作之前增加通道注意力模块，该模块通过对多维特征图分别进行平均池化和最大池化，随后将得到的两个上下文信息输入到多层感知机(Muhi-Layer Perception，MLP)网络中产生最终的通道注意力图Mc∈RC×H×W，其中，R为特征图，C为通道数，H、W分别为特征图的高度和宽度。最后使用元素级求和合并两个输出的特征向量，如式(1)所示。
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
其中，AvgPool为平均池化，MaxPool为最大池化，σ为激活函数。
S3、设计基于HSV色彩空间的颜色注意力提取机制，其中H、S、V分别代表色相(Hue)、饱和度(Saturation)、明度(Value)，与空间特征融合得到融合后的颜色注意力机制，将融合后的颜色注意力机制加入到步骤S2的注意力基础网络，得到最终网络模型。如图2所示，本发明实施例的步骤S3是在S2通道注意力模块(Previous Conv Blocks)之后增加HSV色彩空间颜色注意力模块，其中，图2中的Original feature F1是原始图像，Channel-refind feature F2是通道注意力模块输出的特征图，具体过程如下：
S31、以HSV色彩空间的颜色分布为基础提取颜色特征生成注意力图。如图2所示，将病灶图像输入到颜色提取器(GRT)得到降低暗部区域影响的特征图Fy∈RC×H×W，其中，R为特征图，C为通道数，H、W分别为特征图的高度和宽度。随后对Fy进行最大池化和平均池化得到两个特征图并进行拼接，在拼接后的特征图上使用卷积操作来生成最终的颜色注意力特征图：Mh(F)∈RH,W，其中，R为特征图，H、W分别为特征图的高度和宽度，公式(2)所示：
Mh(F)＝f7×7([AvgPool(F)；MaxPool(F)]) (2)
其中，AvgPool为平均池化，MaxPool为最大池化，f7×7为7×7的卷积。
其中，颜色特征提取器(GRT)的主要作用是将小肠内窥镜图像中干净的胃肠道区域进行提取。小肠肠壁颜色偏向于黄色和红色，且采集到的图像由于拍摄角度问题会存在食物残渣、浑浊、暗部等区域，这些区域会影响到神经网络对病灶识别的准确性。因此，本发明通过基于HSV色彩空间的算法将输入病灶图像的红色和黄色区域凸显出来，并且考虑到有病灶的位置区域占图像的总体面积较少，可以使用颜色频率的方式找到占总体面积较少的区域，对红色和黄色区域进行补充，从而产生最终的特征区域范围。
GRT以HSV色彩空间的10个颜色大类为基础提取出红、橙、黄三种颜色区域，随后再提取出剩余7种颜色区域中出现频率最少的颜色区域，将两种颜色区域合并得到颜色特征图并对其进行卷积和归一化处理得到降低暗部区域影响的特征图Fy∈RC×H×W，其中，R为特征图，C为通道数，H、W分别为特征图的高度和宽度。总体流程如图3所示，具体过程如下。
(1)提取黄、橙、红区域。本方法基于HSV色彩空间，通过设置H(色调)、S(饱和度)、V(明度)三个值的范围提取到所需区域的二值图像掩膜Rmask，HSV的阈值范围为[0,43,46]～[34(180),255,255]包括了红、橙、黄三种颜色范围；
(2)提取低频颜色特征。HSV颜色体系中共有10种颜色范围，可将各个像素点的颜色归为10类中去，本方法旨在提取剩余七种颜色范围中占比最少的像素点，得到低频掩膜公式如式(3)所示:
其中，N＝224×224为总像素点数，Ni为第i个类别范围中的像素点个数，α为根据像素点位置数组生成掩膜函数。
(3)生成颜色特征图。将两个掩膜相加并与原图进行按位与操作得到具有颜色特征的图像其中，bitwise_and是按位与操作函数，对/>进行卷积、归一化、ReLu(激活函数)操作得到特征图Fy。
S32、利用特征的空间关系来生成空间注意力图。通过平均池化和最大池化生成两个2D特征图：和/>其中，R为特征图，H、W分别为特征图的高度和宽度。随后将两个特征图进行拼接，然后在拼接后的特征图上使用卷积操作来生成最终的空间注意力特征图：Ms(F)∈RH,W。最后空间注意力的公式如式(4)所示：
Ms(F)＝f7×7([AvgPool(F)；MaxPool(F)]) (4)
S33、为了增强模型注意力机制的鲁棒性，本方法将空间注意力图Ms(F)和颜色注意力图Mh(F)融合。对得到的两个注意力图做矩阵点乘得到颜色和空间特征融合注意力图Fcs，将Sigmod(Fcs)输入到网络的下一层，形成最终网络模型，其中Sigmod为激活函数。
S4、以S1的数据集对S3的最终模型进行训练，得到图像预测模型。
基于S1中的胶囊内窥镜疾病分类的数据集，代入S3中的最终模型进行训练，得到图像识别的预测模型。
S5、将胶囊内窥镜的测试数据集输入所述图像预测模型中进行图像病灶识别并评估。在得到S4步骤中的预测模型后，再输入测试集图像对预测模型进行预测，使用准确率Accuracy、F1-score、精确率Precision三个指标来评估模型的性能，得到胶囊内窥镜图像分类预测结果。
本发明的效果可通过以下仿真实验进一步说明。
(1)仿真条件
实验采用一台配置Intel(R)Xeon(R)Gold 6161CPU@2.20GHz
2.39GHz(2处理器)，64GB内存，CentOS Linux操作系统和2块NVIDIA GeForce RTX2080SUPER显卡的工作站，Cuda版本为11.7，模型基于PyTorch深度学习框架实现，PyTorch版本为1.6.0，，Python版本为3.7。训练过程的Batch-size设为8，使用Adam算法来优化总体参数，学习率设置为0.001，并使用StepLR机制调整学习率，训练100epoch后模型收敛。
(2)仿真结果
本发明将提出的方法与多种分类网络在相同的数据集上进行了对比实验。使用图像分类中常用的准确率Accuracy，F1-score，精确率Precision指标来对模型进行评估，得到表1；
表1
从表1中可以看出，本发明方法相对于其他分类网络具有更优的效果，有效提升了分类的性能，能够更好地应用在无线胶囊内窥镜图像病灶识别辅助诊断上，具有巨大的实际工程应用价值。
为了实现上述内容，本发明还涉及一种计算机可读存储介质，其上存储有基于病灶特征重要性的胶囊内窥镜图像病灶识别程序，该程序被处理器执行时实现上述基于病灶特征重要性的胶囊内窥镜图像病灶识别方法。
为了实现上述内容，本发明还涉及一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述基于病灶特征重要性的胶囊内窥镜图像病灶识别方法。
通过所述计算机可读存储介质及所述计算机设备在介质，通过向设备输入待识别内窥镜图像，通过强调病灶相关特征实现更好的病灶识别能力，利用特征图的通道信息及衡量通道重要性的系数，提出了基于该系数的加权函数，通过赋予相应通道不同的权重来凸显病灶相关特征的重要性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，其特征在于，包括以下步骤：
S1：通过胶囊内窥镜获取图像，建立用于训练疾病分类的数据集；
S2：以ResNet为主干建立注意力基础网络；
S3：设计基于HSV色彩空间的颜色注意力提取机制，与空间特征融合得到融合后的颜色注意力机制，将融合后的颜色注意力机制加入到步骤S2的注意力基础网络，得到最终网络模型；
S4：以S1的数据集对S3的最终网络模型进行训练，得到图像预测模型；
S5：将胶囊内窥镜图像输入图像预测模型中进行图像病灶识别并评估。
2.根据权利要求1所述的基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，其特征在于，步骤S1中，通过胶囊内窥镜获取图像，建立用于训练疾病分类的数据集，具体包括：
通过胶囊内窥镜采集到的图像进行数据预处理以及数据增强操作，得到无病灶和有病灶的二分类数据集，作为用于训练疾病分类的数据集。
3.根据权利要求1所述的基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，其特征在于，步骤S2中，以ResNet为主干建立注意力基础网络，具体包括：
以ResNet为骨干网络，并在骨干网络的瓶颈模块中加入通道注意力机制。
4.根据权利要求1所述的基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，其特征在于，步骤S3中，设计基于HSV色彩空间的颜色注意力提取机制，具体包括：
S31：设置颜色提取器，颜色提取器以HSV色彩空间的10个颜色大类为基础先提取出红、橙、黄3种颜色区域，随后再提取出剩余7种颜色区域中出现频率最少的颜色区域；将提取出的红、橙、黄3种颜色区域以及出现频率最少的颜色区域合并得到颜色特征图并对颜色特征图/>进行卷积和归一化处理得到降低暗部区域影响的特征图Fy∈RC×H×W，随后对Fy进行最大池化和平均池化得到两个特征图并进行拼接和卷积，最终得到颜色注意力图Mh(F)∈RH,W。
5.根据权利要求1所述的基于HSV色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法，其特征在于，步骤S3中，与空间特征融合得到融合后的颜色注意力机制，将融合后的颜色注意力机制加入到步骤S2的注意力基础网络，得到最终网络模型，具体包括：
S32：通过平均池化和最大池化生成两个2D特征图：和随后将两个特征图进行拼接和卷积得到空间注意力特征图Ms(F)∈RH,W；
将空间注意力特征图Ms(F)和颜色注意力图Mh(F)融合，对结果做矩阵点乘得基于HSV色彩空间的颜色特征注意力图Fcs，即为融合后的颜色注意力机制，将Fcs输入到步骤S2的注意力基础网络，形成最终网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311005108.5A CN117036905A (zh) | 2023-08-10 | 2023-08-10 | 一种基于hsv色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311005108.5A CN117036905A (zh) | 2023-08-10 | 2023-08-10 | 一种基于hsv色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117036905A true CN117036905A (zh) | 2023-11-10 |
Family
ID=88634853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311005108.5A Pending CN117036905A (zh) | 2023-08-10 | 2023-08-10 | 一种基于hsv色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036905A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788418A (zh) * | 2023-12-27 | 2024-03-29 | 国网山东省电力公司潍坊供电公司 | 一种电气设备热状态实时检测与诊断方法及装置 |
| CN118334456A (zh) * | 2024-06-17 | 2024-07-12 | 山东师范大学 | 基于多特征融合和弱监督定位的胃肠化生图像分类系统 |
-
2023
- 2023-08-10 CN CN202311005108.5A patent/CN117036905A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788418A (zh) * | 2023-12-27 | 2024-03-29 | 国网山东省电力公司潍坊供电公司 | 一种电气设备热状态实时检测与诊断方法及装置 |
| CN118334456A (zh) * | 2024-06-17 | 2024-07-12 | 山东师范大学 | 基于多特征融合和弱监督定位的胃肠化生图像分类系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110600122B (zh) | 一种消化道影像的处理方法、装置、以及医疗系统 | |
| Ribeiro et al. | Colonic polyp classification with convolutional neural networks | |
| Pogorelov et al. | Deep learning and hand-crafted feature based approaches for polyp detection in medical videos | |
| Chan et al. | Texture-map-based branch-collaborative network for oral cancer detection | |
| Soomro et al. | Boosting sensitivity of a retinal vessel segmentation algorithm with convolutional neural network | |
| Kalouche et al. | Vision-based classification of skin cancer using deep learning | |
| CN110197493A (zh) | 眼底图像血管分割方法 | |
| CN117036905A (zh) | 一种基于hsv色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法 | |
| TWI696145B (zh) | 大腸鏡影像電腦輔助辨識系統及方法 | |
| CN105657580B (zh) | 一种胶囊内镜视频摘要生成方法 | |
| Bourbakis | Detecting abnormal patterns in WCE images | |
| CN113129287A (zh) | 一种针对上消化道内镜影像的病灶自动留图方法 | |
| Yamanakkanavar et al. | MF2-Net: A multipath feature fusion network for medical image segmentation | |
| CN111784686A (zh) | 一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质 | |
| Junjun et al. | Diabetic retinopathy detection based on deep convolutional neural networks for localization of discriminative regions | |
| Maghsoudi et al. | A computer aided method to detect bleeding, tumor, and disease regions in Wireless Capsule Endoscopy | |
| Guo et al. | EMFN: enhanced multi-feature fusion network for hard exudate detection in fundus images | |
| CN112101424A (zh) | 一种视网膜病变识别模型的生成方法、识别装置及设备 | |
| CN112102332A (zh) | 基于局部分类神经网络的癌症wsi的分割方法 | |
| Souaidi et al. | A fully automated ulcer detection system for wireless capsule endoscopy images | |
| Ghosh et al. | An automatic bleeding detection technique in wireless capsule endoscopy from region of interest | |
| Alam et al. | Rat-capsnet: A deep learning network utilizing attention and regional information for abnormality detection in wireless capsule endoscopy | |
| CN117975170B (zh) | 基于大数据的医疗信息处理方法及系统 | |
| Fondón et al. | Automatic optic cup segmentation algorithm for retinal fundus images based on random forest classifier | |
| Suman et al. | Detection and classification of bleeding using statistical color features for wireless capsule endoscopy images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |