CN115223193B - 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法 - Google Patents

一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法 Download PDF

Info

Publication number
CN115223193B
CN115223193B CN202210693997.8A CN202210693997A CN115223193B CN 115223193 B CN115223193 B CN 115223193B CN 202210693997 A CN202210693997 A CN 202210693997A CN 115223193 B CN115223193 B CN 115223193B
Authority
CN
China
Prior art keywords
channel
focus
importance
attention
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210693997.8A
Other languages
English (en)
Other versions
CN115223193A (zh
Inventor
马悦
朱芳芳
郭桂宝
古梦婷
杨衍荣
李胜
何熊熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Ada Technology Co ltd
Original Assignee
Zhejiang Ada Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Ada Technology Co ltd filed Critical Zhejiang Ada Technology Co ltd
Priority to CN202210693997.8A priority Critical patent/CN115223193B/zh
Publication of CN115223193A publication Critical patent/CN115223193A/zh
Application granted granted Critical
Publication of CN115223193B publication Critical patent/CN115223193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，以ResNeSt为主干网络建立注意力基础网络，在主干网络的瓶颈模块中加入基于病灶特征重要性的通道注意力模块，提取特征图的通道信息及衡量通道重要性的系数，设置加权函数，对特征设置对应的权重，得到用于识别图像病灶的最终的神经网络；获取训练胶囊内窥镜疾病分类的数据集对神经网络进行训练和测试；以测试后满足预设条件的神经网络用于胶囊内窥镜图像病灶识别。本发明通过对通道注意力中提取的特征赋予不同权重，更好地凸显病灶相关特征的重要性；根据衡量通道重要性的系数，动态调整加权系数，进一步提升网络性能；可以与任何前馈网络模型以端到端方式进行训练。

Description

一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法
技术领域
本发明涉及图像分析，特别涉及一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法。
背景技术
小肠的长度通常超过4米，使用传统手持式胃肠镜检查无法实现小肠的完整检查，因此胶囊内窥镜成为消化道疾病尤其是小肠疾病诊断的有效方法。无线胶囊内窥镜(WCE)作为一种消化道疾病诊断工具，能够以无创伤、无痛的方式直接检查患者完整的胃肠道。
然而，当采用无线胶囊内窥镜时，自患者吞下胶囊药丸进行检查的8-12小时内，胶囊内窥镜会拍摄约50000帧视频图像，临床医生通常需要花费数小时才能将整个WCE视频检查完毕，并且在长时间疲劳检查的情况下容易出现误诊、漏诊的情况，因此，设计计算机辅助系统协助医生阅片具有非常大的意义。
近年来，神经网络注意力机制因其效果显著、计算简单，在胶囊内窥镜图像病灶识别中得到了广泛应用。然而，胃肠道内的病灶种类繁多、拍摄环境复杂，病灶特征在颜色、纹理等方面的表现可能与正常组织存在较高的相似性进而难以被识别。例如胃肠道中存在的糜烂、红斑等病灶，在某些情况下与周围正常组织十分相似，导致一般神经网络难以识别。
发明内容
本发明解决了现有技术中存在的问题，提供了一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，通过强调病灶相关特征实现更好的病灶识别能力，利用特征图的通道信息及衡量通道重要性的系数，提出基于该系数的加权函数，通过赋予相应通道不同的权重来凸显病灶相关特征的重要性。
本发明所采用的技术方案是，一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，所述方法以ResNeSt为主干网络建立注意力基础网络，在主干网络的瓶颈模块中加入基于病灶特征重要性的通道注意力模块，提取特征图的通道信息及衡量通道重要性的系数，基于此系数设置加权函数，对特征设置对应的权重，得到用于识别图像病灶的最终的神经网络；
获取用于训练胶囊内窥镜疾病分类的数据集，对所述神经网络进行训练和测试；
以测试后满足预设条件的神经网络用于胶囊内窥镜图像病灶识。
优选地，建立所述注意力基础网络时，以ResNeSt作为主干网络，在ResNeSt基础上加入基于病灶特征重要性的通道注意力，其中，xi∈R3×H×W表示输入图像三个通道像素值构成的特征向量，H、W分别为特征图的高度和宽度，带标签的样本i表示为(xi,yi)，以yi为样本类别标签，其值为0表示有病灶，其值为1表示无病灶。
优选地，通过瓶颈模块提取输入图像的高维特征；
所述瓶颈模块通过至少两个卷积核对输入图像进行卷积，得到至少两个分支，通过元素求和对所有的分支的输出进行融合，得到融合结果；
所述融合结果通过全局平均池化层处理，生成通道统计信息，再通过两个全连接层和Softmax函数，得到通道权重；
将通道与所述通道权重融合，得到融合后的cardinal组；
各个所述融合后的cardinal组沿通道方向串联，得到结果T，令输入瓶颈模块的特征为快捷链接Q，Q与T按元素相加输出，提取高维特征F。
优选地，基于病灶特征重要性的通道注意力包括顺次设置的通道注意子模块和批量归一化层；
所述通道注意子模块先对F全局池化，然后再使用一个多层感知机MLP得到注意力图Fc；对注意力图Fc进行批量归一化操作，得到结果FBN。
优选地，所述批量归一化层引入参数γ和β，γ为缩放因子向量，β为平移因子。
优选地，令某一层的输出通道个数为k，则通道对应的γ系数可以表示为γ1,γ2,...,γk，则输入每个通道的γ系数对应的每个通道的加权系数Wi＝f(γi)，其中，i∈[1,k]。
优选地，在训练的过程中γ系数的值不断更新，不同γ的数值分布对应不同的加权函数。
优选地，对FBN进行加权操作，并且进一步融合注意力图Fc作为输出Fout，
Figure BDA0003701751620000031
优选地，满足预设条件的神经网络由准确率Accuracy、F1-score、精确率Precision评估。
本发明涉及一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，所述方法以ResNeSt为主干网络建立注意力基础网络，在主干网络的瓶颈模块中加入基于病灶特征重要性的通道注意力模块，提取特征图的通道信息及衡量通道重要性的系数，基于此系数设置加权函数，对特征设置对应的权重，得到用于识别图像病灶的最终的神经网络；获取用于训练胶囊内窥镜疾病分类的数据集，对所述神经网络进行训练和测试；以测试后满足预设条件的神经网络用于胶囊内窥镜图像病灶识别。
本发明的有益效果在于：
(1)引入基于病灶特征重要性的注意力机制，与传统的基于空间或者通道注意力方法相比，本发明的方法通过对通道注意力中提取的特征赋予不同的权重，更好地凸显病灶相关特征的重要性；
(2)设计了一种全新的加权函数，根据衡量通道重要性的系数，动态的调整加权系数，进一步提升了网络性能；
(3)构建了一个具有多个参数的基于病灶特征重要性的通道注意力，可以与任何前馈网络模型以端到端方式进行训练。
附图说明
图1是本发明的整体流程框图；
图2是本发明中瓶颈模块提取高维特征的流程图；
图3是本发明中基于病灶特征重要性的注意力图。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，从Kvasir-Capsule公开数据集上选取部分图片来制作肠道疾病分类的数据集，此数据集包含有病灶、无病灶两类图像各1118张，其中有病灶数据集中包含了9类疾病(血管扩张、出血、血色素、糜烂、红斑、异物、淋巴样增生、息肉、溃疡)；按照3:1:1的比例将每一类别图像随机划分为训练集、验证集和测试集，得到1340张图像的训练集、448张图像的验证集和448张图像的测试集；图像大小被调整到256×256像素，为了增强模型的鲁棒性和稳定性，将训练集和验证集的图像随机裁剪成分辨率为224×224的图像，并进行随机水平翻转以及随机角度变换操作，将测试集的图像中心裁剪成分辨率为224×224的图像。
过程中包括以下步骤：
S1、获取用于训练胶囊内窥镜疾病分类的数据集。
在本发明实施例的步骤S1中，用于病灶识别的数据集设为X＝{x1,x2,...,xn}，其中，X矩阵表示数据集，n表示总的样本数量，xi表示输入图像。
定义算法目标为：获取数据集的分类结果，判断图像为有病灶或者无病灶。
S2、采用ResNeSt主干网络建立注意力基础网络。
在本发明实施例的步骤S2中，具体过程如下：
S21、采用ResNeSt作为主干网络构建注意力基础网络；
S22、在ResNeSt基础上加入基于病灶特征重要性的通道注意力，其中，xi∈R3×H×W表示输入图像三个通道像素值构成的特征向量，H、W分别为特征图的高度和宽度。(xi,yi)表示带标签的样本i，yi表示样本类别标签，其值为0表示有病灶，其值为1表示无病灶，从而可以判断图像中是否存在病灶。
S3、在S2模型中通过瓶颈模块提取S1所述数据集的高维特征；
在本发明实施例的步骤S3中，其中高维特征是指经多个卷积操作后得到的特征。参照图2，具体过程如下：
S31、(1)通过至少两个卷积核对所述数据集图像进行卷积，得到至少两个分支；
(2)通过元素求和对至少两个所述分支进行融合，得到融合结果；
(3)对所述融合结果进行全局平均池化处理，生成通道统计信息；
(4)通过两个全连接层和Softmax函数，得到通道权重；
(5)将通道与所述通道权重融合，得到融合后的cardinal组；
(6)各个所述融合后的cardinal组沿通道方向串联；
(7)各个所述融合后的cardinal组沿通道方向串联，得到结果T，令输入瓶颈模块的特征为快捷链接Q，Q与T按元素相加输出，提取高维特征F。
具体地，ResNeSt作为一个单独的计算网络，主要包含特征图组和注意力分散操作：
特征组中，每一张输入的已标注训练集图像都可以被划分为多个特征组，数量取决于定义的超参数cardinality K，因此也可称之为cardinal组；在每一个cardinal组之中，又被再次分成R个Split单元，因此总的特征组数量为G＝KR，后续对于每一个组进行一系列的变换运算，Split的方法是使用多个卷积核对输入进行卷积，以形成多个分支；
cardinal组中的注意力分散中，首先通过元素求和的方式，从多个分支中融合出结果，再通过使用全局平均池化来嵌入全局信息，从而生成信道统计信息。
经过全局平均池化操作后，网络仅仅得到的是一个全局描述，这个描述并不能作为该通道的权重。基于此，通过两个全连接层，包括样本正则化、激励函数ReLU和Softmax函数，得到全面的通道级别的依赖，接着，在cardinal组内，将各个Split单元结合权重进行融合，采用的是乘积相加的形式。经过融合后的cardinal组，沿通道方向进行串联：
T＝Concat(T1,T2,…TK)
最终ResNeSt中瓶颈模块的输出Y是由串联的结果T和一个快捷链接Q叠加得到，Y＝T+Q。
本发明中，得到融合后的cardinal组后，沿着通道方向串联后输出的结果是ResNeSt中split-Attention这一个小块得到的输出，为结果T，再加上输入瓶颈模块的特征快捷链接Q，确切地说，Q与T按元素相加，得到最后的输出为高维特征F，是一个完整的高维卷积提取的过程。
S32、由S31得到的结果进一步卷积和归一化操作，完成瓶颈模块中提取高维特征的过程，输出特征为F。
S4、在S3的基础上建立基于病灶特征重要性的通道注意力，形成最终模型；
在本发明实施例的步骤S4中，具体过程如下：
S41、首先输入通道注意子模块中推断出注意力图，如式(1)所示。先对F全局池化，得到一个FAvg∈RC×H×W的通道向量，然后再使用一个多层感知机(Muhi-Layer Perception，MLP)，得到注意力图Fc。
Figure BDA0003701751620000061
如图3中所示，使用一个多层感知机(MLP)，目的是为了从通道向量Fc估计跨通道的注意力，为了节省开销，将隐藏激活大小设置为
Figure BDA0003701751620000071
其中r是缩减率。
S42、由通道注意子模块得到的输出Fc，首先经过批量归一化(BN)。具体过程如下：
考虑一个大小为m的小批量数据集B，由于归一化被单独地应用于每一个激活值上，所以让我们集中在一个特定的激活值x(k)，为了清楚起见省略k。那么由m个数据可以获得m个激活，即B＝{x1,...,xm}。μB是这m个激活的均值，
Figure BDA0003701751620000072
是这m个激活的方差，如式(2)所示。
Figure BDA0003701751620000073
设归一化的值为
Figure BDA0003701751620000074
则有/>
Figure BDA0003701751620000075
其中ε是一个常数，用来避免方差过小时导致的计算问题。
每一层网络的输入数据经过归一化后，其分布将变得稳定，但却导致了数据表达能力的缺失。批量归一化(BN)又引入了两个可学习的参数γ和β，γ为缩放因子向量，β为平移因子向量。这两个参数的引入是为了恢复数据本身的表达能力，对归一化后的数据进行线性变换，并且参数在训练过程中不断学习更新。
那么对于每一个激活值，上述过程可表达为式(3)，其中
Figure BDA0003701751620000076
依据步骤S42中的具体过程，对步骤S41中得到注意力图Fc做所述批量归一化(BN)操作，得到结果FBN。
S43、设某一层的输出通道个数为k，则通道对应的γ系数可以表示为γ1,γ2,...,γk。本专利设计了一种全新的加权函数，如(4)中的公式。输入每个通道的γ系数的能够得到每个通道的加权系数，
Wi＝f(γi) (2)
其中i∈[1,k]。
在训练的过程中γ系数的值不断更新，不同γ的数值分布对应不同的加权函数。
由于γ系数的值在训练的过程中不断的更新，f(γi)函数的设计需要考虑不同γ的数值分布情况。当不同通道的系数值分布密集时，可以选用方案一中的加权函数。当系数值分布稀疏的时候，可以选用方案二中的加权函数，如下表1所示；
表1
Figure BDA0003701751620000081
方案一中，加权函数的幅度变化较大。当γ系数值差异较小时，其分布较为密集，表中幅度变化较大的函数能让通道的加权系数W呈现较大的差异，以此凸显更加重要的通道信息；方案二中，加权函数的幅度变化较为缓和。当γ系数值差异较大时，其分布也相对稀疏，则设计幅度较为缓和的加权函数来进一步强调特征的重要性。
S44、依据步骤S43，对步骤S42中得到的结果FBN进行加权操作，并且进一步融合所述步骤S41中获得的注意力图Fc，如式(5)所示，
Figure BDA0003701751620000082
得到最终的输出Fout。
S45、将输出结果Fout送入网络的下一层，以此建立基于病灶特征重要性的注意力神经网络，形成最终模型。
S5、基于S1的训练数据集，对S4中的最终模型进行训练，得到图像预测模型。
在本发明实施例的步骤S5中，具体过程如下：
基于S1中的胶囊内窥镜疾病分类的数据集，代入S4中的最终模型进行训练，得到图像识别的预测模型。
S6、针对S1中的测试数据集，将其输入所述图像预测模型中进行图像分类。
在本发明实施例的步骤S6中，具体过程如下：
在得到S5步骤中的预测模型后，再输入测试集图像对预测模型进行预测，使用准确率Accuracy、F1-score、精确率Precision三个指标来评估模型的性能，得到胶囊内窥镜图像分类预测结果。
本发明的效果可通过以下仿真实验进一步说明。
(1)仿真条件
实验采用一台配置Intel(R)Xeon(R)Silver 4210R CPU@2.40GHz
2.39GHz(2处理器)，64GB内存，Windows10操作系统和3块NVIDIA GeForce RTX2080SUPER显卡的工作站，Cuda版本为10.0，模型基于PyTorch深度学习框架实现，PyTorch版本为1.6.0+cu101，Python版本为3.7。训练过程的Batch-size设为32，使用Adam算法来优化总体参数，学习率设置为0.0001，并使用StepLR机制调整学习率，训练100epoch后模型收敛。
(2)仿真结果
本发明将提出的方法与多种分类网络在相同的数据集上进行了对比实验。使用图像分类中常用的准确率Accuracy、F1-score、精确率Precision指标来对模型进行评估；
如表2所示，为不同的神经网络的指标；
表2
Figure BDA0003701751620000091
Figure BDA0003701751620000101
从表2中可以看出，本发明方法相对于其他分类网络具有更优的效果，有效提升了分类的性能，能够更好地应用在无线胶囊内窥镜图像病灶识别辅助诊断上，具有巨大的实际工程应用价值。
为了实现上述内容，本发明还涉及一种计算机可读存储介质，其上存储有基于病灶特征重要性的胶囊内窥镜图像病灶识别程序，该程序被处理器执行时实现上述基于病灶特征重要性的胶囊内窥镜图像病灶识别方法。
为了实现上述内容，本发明还涉及一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述基于病灶特征重要性的胶囊内窥镜图像病灶识别方法。
通过所述计算机可读存储介质及所述计算机设备在介质，通过向设备输入待识别内窥镜图像，通过强调病灶相关特征实现更好的病灶识别能力，利用特征图的通道信息及衡量通道重要性的系数，提出了基于该系数的加权函数，通过赋予相应通道不同的权重来凸显病灶相关特征的重要性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，其特征在于：所述方法以ResNeSt为主干网络建立注意力基础网络，在主干网络的瓶颈模块中加入基于病灶特征重要性的通道注意力模块，提取特征图的通道信息及衡量通道重要性的系数，基于此系数设置加权函数，对特征设置对应的权重，得到用于识别图像病灶的最终的神经网络；所述基于病灶特征重要性的通道注意力包括顺次设置的通道注意子模块和批量归一化层；通道注意子模块先对高维特征F全局池化，然后再使用一个多层感知机MLP得到注意力图Fc；对注意力图Fc进行批量归一化操作，得到结果FBN；批量归一化层引入参数γ和β，γ为缩放因子向量，β为平移因子，在训练的过程中γ系数的值不断更新，不同γ的数值分布对应不同的加权函数；
获取用于训练胶囊内窥镜疾病分类的数据集，对所述神经网络进行训练和测试；
以测试后满足预设条件的神经网络用于胶囊内窥镜图像病灶识。
2.根据权利要求1所述的一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，其特征在于：建立所述注意力基础网络时，以ResNeSt作为主干网络，在ResNeSt基础上加入基于病灶特征重要性的通道注意力，其中，xi∈R3×H×W表示输入图像三个通道像素值构成的特征向量，H、W分别为特征图的高度和宽度，带标签的样本i表示为(xi,yi)，以yi为样本类别标签，其值为0表示有病灶，其值为1表示无病灶。
3.根据权利要求2所述的一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，其特征在于：通过瓶颈模块提取输入图像的高维特征；
所述瓶颈模块通过至少两个卷积核对输入图像进行卷积，得到至少两个分支，通过元素求和对所有的分支的输出进行融合，得到融合结果；
所述融合结果通过全局平均池化层处理，生成通道统计信息，再通过两个全连接层和Softmax函数，得到通道权重；
将通道与所述通道权重融合，得到融合后的cardinal组；
各个所述融合后的cardinal组沿通道方向串联，得到结果T，令输入瓶颈模块的特征为快捷链接Q，Q与T按元素相加输出，提取高维特征F。
4.根据权利要求1所述的一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，其特征在于：令某一层的输出通道个数为k，则通道对应的γ系数可以表示为γ1,γ2,...,γk，则输入每个通道的γ系数对应的每个通道的加权系数Wi＝f(γi)，其中，i∈[1,k]。
5.根据权利要求1所述的一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，其特征在于：对FBN进行加权操作，并且进一步融合注意力图Fc作为输出Fout，
Figure FDA0004204383960000021
6.根据权利要求1所述的一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，其特征在于：满足预设条件的神经网络由准确率Accuracy、F1-score、精确率Precision评估。
CN202210693997.8A 2022-06-19 2022-06-19 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法 Active CN115223193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210693997.8A CN115223193B (zh) 2022-06-19 2022-06-19 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210693997.8A CN115223193B (zh) 2022-06-19 2022-06-19 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法

Publications (2)

Publication Number Publication Date
CN115223193A CN115223193A (zh) 2022-10-21
CN115223193B true CN115223193B (zh) 2023-07-04

Family

ID=83607701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210693997.8A Active CN115223193B (zh) 2022-06-19 2022-06-19 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法

Country Status (1)

Country Link
CN (1) CN115223193B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359066B (zh) * 2022-10-24 2022-12-27 岱川医疗(深圳)有限责任公司 用于内窥镜的病灶检测方法、装置、电子设备及存储介质
CN115937649B (zh) * 2022-11-21 2023-08-01 元化智能科技(深圳)有限公司 胶囊内窥镜图像的处理方法、装置及处理设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738113A (zh) * 2020-06-10 2020-10-02 杭州电子科技大学 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法
CN113283407A (zh) * 2021-07-22 2021-08-20 南昌工程学院 一种基于通道与空间注意力机制的孪生网络目标跟踪方法
CN114066871A (zh) * 2021-11-19 2022-02-18 江苏科技大学 一种新冠肺炎病灶区域分割模型训练的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801275B (zh) * 2021-02-08 2024-02-13 华南理工大学 一种加强通道重排和融合的卷积神经网络模块的实现方法
CN113361464B (zh) * 2021-06-30 2022-07-12 重庆交通大学 一种基于多粒度特征分割的车辆重识别方法
CN113989623A (zh) * 2021-12-03 2022-01-28 浙江中医药大学 一种中药饮片图像的自动识别方法
CN114140668A (zh) * 2021-12-09 2022-03-04 深圳市资福医疗技术有限公司 胃部部位识别模型训练方法、部位识别方法及装置
CN114639124A (zh) * 2022-03-29 2022-06-17 辽宁工程技术大学 一种基于加权特征融合的行人重识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738113A (zh) * 2020-06-10 2020-10-02 杭州电子科技大学 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法
CN113283407A (zh) * 2021-07-22 2021-08-20 南昌工程学院 一种基于通道与空间注意力机制的孪生网络目标跟踪方法
CN114066871A (zh) * 2021-11-19 2022-02-18 江苏科技大学 一种新冠肺炎病灶区域分割模型训练的方法

Also Published As

Publication number Publication date
CN115223193A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
US20210406591A1 (en) Medical image processing method and apparatus, and medical image recognition method and apparatus
Gridach PyDiNet: Pyramid dilated network for medical image segmentation
CN115223193B (zh) 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法
CN110335241B (zh) 肠镜检查后对肠道准备自动进行评分的方法
CN111932550A (zh) 一种基于深度学习的3d心室核磁共振视频分割系统
CN114581662A (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN114266786A (zh) 基于生成对抗网络的胃病变分割方法及系统
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN114266898A (zh) 一种基于改进EfficientNet的肝癌识别方法
CN113781489A (zh) 一种息肉影像语义分割方法及装置
Garbaz et al. Bleeding classification in wireless capsule endoscopy images based on inception-resnet-v2 and cnns
CN116051411A (zh) 基于深度卷积网络的显微图像模糊核提取与离焦复原方法
CN114187296A (zh) 胶囊内窥镜图像病灶分割方法、服务器及系统
CN114399465A (zh) 良恶性溃疡识别方法及系统
CN117252852A (zh) 基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法及系统
Marin-Santos et al. Automatic detection of crohn disease in wireless capsule endoscopic images using a deep convolutional neural network
CN112489062B (zh) 基于边界及邻域引导的医学图像分割方法及系统
CN116935051B (zh) 一种息肉分割网络方法、系统、电子设备及存储介质
Xu et al. MCPA: multi-scale cross perceptron attention network for 2D medical image segmentation
Sharmila et al. Detection and classification of GI-tract anomalies from endoscopic images using deep learning
CN116958535A (zh) 一种基于多尺度残差推理的息肉分割系统及方法
Gangrade et al. Colonoscopy polyp segmentation using deep residual u-net with bottleneck attention module
CN116128801A (zh) 一种基于多任务学习的图像清洁度评估方法及相关装置
Gatoula et al. Enhanced CNN-based gaze estimation on wireless capsule endoscopy images
Garbaz et al. MLFA-UNet: A multi-level feature assembly UNet for medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant