CN116452865B - 基于模糊逻辑的跳跃式注意力肺部病理图像分类方法 - Google Patents
基于模糊逻辑的跳跃式注意力肺部病理图像分类方法 Download PDFInfo
- Publication number
- CN116452865B CN116452865B CN202310345231.5A CN202310345231A CN116452865B CN 116452865 B CN116452865 B CN 116452865B CN 202310345231 A CN202310345231 A CN 202310345231A CN 116452865 B CN116452865 B CN 116452865B
- Authority
- CN
- China
- Prior art keywords
- membership
- lung
- image
- attention
- lung pathology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 134
- 230000001575 pathological effect Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000009191 jumping Effects 0.000 title claims abstract description 13
- 230000007170 pathology Effects 0.000 claims abstract description 100
- 230000009286 beneficial effect Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 80
- 238000004364 calculation method Methods 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 230000002685 pulmonary effect Effects 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 3
- 208000019693 Lung disease Diseases 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009169 immunotherapy Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000002626 targeted therapy Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
本发明提供了一种基于模糊逻辑的跳跃式注意力肺部病理图像分类方法，属于肺部组织病理图像分类技术领域，解决了相似形态和结构下复杂肺部病理组织图像分类准确率低的技术问题。其技术方案为：先从肺部病理图像数据集中连续读取RGB病理图像，构建基于模糊逻辑的隶属函数和非隶属函数，对肺部病理图像数据进行模糊处理；再次构建跳跃式多头自注意力算法，通过将前半部分的特征按规则连接到后半部分的特征中，提取肺部病理图像特征；根据模糊规则去模糊化得到的数据，并输入多层感知机，得到每种分类的概率分布，取概率最高的作为最终分类结果。本发明的有益效果为：为肺部组织病理图像的分类提供决策支持，提升病理医生工作效率。
Description
技术领域
本发明涉及医学图像智能诊断技术领域，尤其涉及基于模糊逻辑的跳跃式注意力肺部病理图像分类方法。
背景技术
肺癌是发病率和死亡率增长最快，对人群健康和生命威胁最大的恶性肿瘤之一。传统的肺癌诊断，主要还是依靠专科医生，根据临床症状、体征、影像学检查和组织病理学检查来做出判断。如今，针对肺部疾病，出现了新兴的靶向治疗和免疫治疗，而这些治疗方法需要基于明确的疾病类型，迫切需要能够将肺部疾病类型准确分类的方法。肺部病理图像数据集提供了大量清晰的诊断图像，相比于普通模糊逻辑，引入了犹豫程度的模糊逻辑更好的贴合了病理图像模糊的特点，运用模糊化的方法解决复杂且耗时的不确定性问题。跳跃式多头自注意力能够通过关注全局上下文来提升判断的准确性，通过连续的跳跃连接，进一步提取出隶属度更高的特征。
目前，在医院病理科的检验中，需要病理医生完全人工的判断病理图像，耗时耗力，还会有图像边缘模糊难以判别甚至判断错误的情况出现，造成不必要的医疗事故。在病理图像分析领域中，通常使用CNN，病理图像中包含大量的细胞和组织结构，这些结构之间的关系往往是非局部的，因此，无法捕捉到全局的结构信息，且病理图像分类任务需要处理的像素数量通常非常大，因此传统模型需要大量的卷积层和池化层来处理输入数据，从而导致模型参数非常多，甚至有些图像的分辨率非常低，传统模型无法处理这种长序列的输入，同时，在图像分类中，图像可能受到噪声、变形、遮挡等因素的影响，使得分类结果产生误差，普通的模型无法很好解决该类问题。因此，如何在上述情况下帮助医生做出正确的诊断，是一个亟待解决的问题。
发明内容
本发明的目的在于提供一种基于模糊逻辑的跳跃式注意力肺部病理图像分类方法，解决了现有的肺部病理图像分类准确率，病理医生判别图像耗时过长等问题，并且提升了判断的准确率。
为了实现上述发明目的，本发明采用技术方案具体为：一种基于模糊逻辑的跳跃式注意力肺部病理图像分类方法，包括以下步骤：
S1：读取肺部病理图像数据集，对图像进行预处理，将RGB图像转化为肺部病理图像集合S＝(r1,r2,...,ri,...,rn)，其中ri＝(R1×256,G1×256,B1×256)表示肺部病理图像数据集像素点的非空有限集合，其中i＝1,2,...n，n表示样本总数，(R1×256,G1×256,B1×256)表示每个样本的R,G,B三个通道依次拼接成的一个768维张量，R、G、B分别表示图像的红、绿、蓝颜色通道；
S2：构造区间二型模糊隶属度函数，引入隶属度μik和非隶属度υik以及犹豫指数πvar,ik和πc,ik，其中var表示方差，c是前提参数，采用区间二型直觉隶属函数实现模糊化，对于第i个肺部病理图像输入矩阵和第k个规则，该直觉隶属函数的不确定性足迹用带有犹豫指数的上隶属函数和带有犹豫指数的下隶属函数μ μk的有界区间/>来描述肺部病理图像的模糊性，同理，非隶属函数的不确定性足迹用区间/>来描述肺部病理图像的模糊性；
S3：搭建跳跃式多头自注意力神经网络，该模型有12次循环，首先将输入的肺部病理图像张量模糊化之后的特征矩阵展开，表示为Xj，并且加入二维位置编码Epos，其中pos表示位置，j表示第j个模块，再将得到的肺部病理图像张量依次经过一个标准化层LN(Xj)，一个多头自注意力层MSA(LN(Xj))，在第一到第六次循环中，多头自注意力层采用了普通连接，表示为(Xj)′＝MSA(LN(Xj))+Xj，在第六到第十二次循环中，多头自注意力层采用了跳跃连接，表示为(Xj)′＝MSA(LN(Xj))+Xj-6，最后再经过一个标准化层LN((Xj)′)，一个多层感知机层MLP(LN((Xj)′))，得出结果表示为(Xj)″＝MLP(LN((Xj)′))+(Xj)′，经过12轮计算，最终提取出进行肺部病理图像分类的特征：肺部病理图像隶属度函数表示为肺部病理图像非隶属度函表示为/>其中μ表示隶属度，υ表示非隶属度；
S4：模糊推理系统使用加权取平均值的方法将肺部病理图像去模糊化，最终的系统输出结果为每条规则的结果的加权平均，其中权重为规则的归一化触发程度，也即计算期望，对于第j个输出肺部病理图像，计算得到的肺部病理图像隶属输出和非隶属度输出其中/>和/>是上隶属度函数循环节点/>下隶属度函数循环节点/>和上非隶属度函数循环节点/>下非隶属度函数循环节点/>的权重，M表示规则k的个数，计算公式如下：
S5：提取出去模糊化过后的特征矩阵和/>分别取出肺部病理图像矩阵中第一维度上的张量xclass，然后传入多层感知机中，其中的神经元采取了全连接方式，该MLP网络的输入为xclass的维度，输出为肺部病理图像分类的类别数Cnum，在输出时使用了SoftMax函数，该函数将数值向量转换为概率分布，最终得到每种类别的肺部病理图像的概率，取概率最高的为肺部病理图像分类结果。
作为本发明提供的一种基于模糊逻辑的跳跃式注意力肺部病理图像分类方法进一步优化方案，所述步骤S2的具体步骤如下：
步骤S2.1：将肺部病理图像集合S＝(r1,r2,...,rn)作为输入，每个节点采用高斯激活函数，引入隶属度μik和非隶属度υik以及犹豫指数πvar,ik和πc,ik，采用区间二型直觉隶属函数实现肺部病理图像模糊化，为了保持局部学习特性，采用局部循环连接模式，每个模糊规则产生的推理信息将被单独记忆，一个直觉模糊规则的学习过程不影响其他直觉模糊规则的稳定性，即增强了病理图像之间的独立性和抗干扰性。
步骤S2.2：采用基于近似密度中心递归计算的动态聚类方法选择模糊规则的中心，使得具有均值的不确定性更有利于规则的描述，对于第i个肺部病理图像输入特征和第k个规则，该直觉隶属函数的不确定性足迹用带有犹豫指数的上隶属函数和带有犹豫指数的下隶属函数μ ik的有界区间来描述肺部病理图像的模糊性，其中：/>表示上隶属函数中心的肺部病理图像犹豫程度，π c,ik表示下隶属函数中心的肺部病理图像犹豫程度，计算公式如下所示：
步骤S2.3：具有肺部病理图像犹豫指标的上下非隶属度函数表示如下所示，其中xi是输入的参数，πvar,ik和πc,ik分别表示方差和中心的肺部病理图像犹豫程度，表示上非隶属函数中心的肺部病理图像犹豫程度，π c,ik表示下非隶属函数中心的肺部病理图像犹豫程度，参数/>和/>是模糊规则的中心和方差，其中r表示中心，l表示方差，σik和c是前提参数；
步骤S2.4：第i个输入肺部病理图像特征的输出和第k条规则被表示成一个隶属度区间和一个非隶属度区间/>
步骤S2.5：将第i个输入肺部病理图像特征的隶属度区间拆分为上隶属度下隶属度μ i，同理得上非隶属度/>下非隶属度υ i，并分别将所有的n个肺部病理图像特征向量重新拼接为模糊化的肺部病理图像特征矩阵。
作为本发明提供的一种基于模糊逻辑的跳跃式注意力肺部病理图像分类方法进一步优化方案，所述步骤S3的具体步骤如下：
步骤S3.1：将肺部病理图像展开成D维，且在张量头部拼接上特殊字符xclass，该字符作为最后MLP层的输出，输出(N+1)×D维张量，同时加入一维的位置编码，得到肺部病理图像Xorig，计算公式如下：
其中N表示图块个数，xi表示每一个块所对应的一维张量，其中i＝1,...,N，E表示块的嵌入投影变换，Epos表示每一个块的一维位置编码，P表示图块的大小，C表示通道的个数，表示向量空间；
步骤S3.2：采用最大最小标准化对肺部病理图像Xorig进行处理,得到归一化后的数据LN(X)，采用计算公式(8)如下：
步骤S3.3：在第一到第六次循环中，多头自注意力层采用了普通连接，将归一化后的数据使用多头自注意力算法，计算方法采用公式(8)，在第七到第十二次循环中，多头自注意力层采用了跳跃连接,将归一化后的肺部病理图像矩阵使用跳跃式多头自注意力算法，再将之前的数据项Xj-6跳跃连接至当前MSA函数中，函数计算公式如(10)和(11)所示，j表示当前循环的次数，采用计算公式(9)如下，其中(Xj)′表示计算结果；
(Xj)′＝MSA(LN(Xj))+Xj,j＝1,2,...6 (8)
(Xj)′＝MSA(LN(Xj))+Xj-6,j＝7,8,...,12 (9)
步骤S3.4：计算多头自注意力，使用高斯分布随机初始化权重矩阵Q,K,V并用得到的权重矩阵计算输入的多个表示空间，使得输入中包含的不同的语义由不同的表征子空间来学习得出，所用公式如下：
其中是一组随机初始化的可学习的权重矩阵，被用来对输入序列中的每个位置进行线性变换，Concat()函数将多个head的输出连接起来，每个headi都从不同的角度去关注输入序列中的信息，其中i＝1,...,h，h表示注意力机制的个数，dmodel是超参数，代表了词嵌入空间的维数，dk代表了和输入序列中每个位置的注意力向量的维数，Attention()表示注意力计算结果，MultiHead()表示多头注意力计算结果；
步骤S3.5：构建MLP网络，该网络输入为(N+1)×D维肺部病理图像张量，放大倍率为4，隐藏层神经元个数为4D，最后再压缩回(N+1)×D维张量，同时再加上之前的数据项(Xj)′，(Xj)″表示计算结果，公式如下：
(Xj)″＝MLP(LN((Xj)′))+(Xj)′ (12)
步骤S3.6：分别对每一张肺部病理图像的上隶属度下隶属度μ i，上非隶属度/>下非隶属度υ i重复以上步骤，然后将上下隶属度和上下非隶属度合并，最终提取出进行肺部病理图像分类的特征：隶属度函数矩阵表示为/>非隶属度函矩阵表示为/>
与现有技术相比，本发明的有益效果为：
1.提高病理图像分类准确率：Transformer利用了自注意力机制，可以对整个图像中不同位置的像素进行全局性的关联，从而更好地捕捉到全局的结构信息。可以从大量数据中自动学习特征，可以更准确地识别肺部病理图像中的特征，从而提高分类准确率。同时，模糊集可以处理不确定性和模糊性信息，有助于减少分类误差，提高分类准确率。
2.提高病理图像分类的效率：采用模糊集和深度学习相结合的方法，模糊集理论可以将原始输入数据进行模糊化处理，将数据转化为一些模糊隶属度函数，这些函数可以表示输入数据与某个类别的相似程度。通过将这些模糊隶属度函数输入到深度学习模型，可以直接进行分类任务，避免了复杂的特征提取和转换过程。这种方法可以显著降低模型计算复杂度，加速模型的训练和推断过程。。
3.增强模型的泛化能力：模糊理论中模糊隶属度函数可以表示输入数据与不同类别之间的相似度，这种表示方式与传统的硬分类相比更加灵活，可以充分利用数据中的信息，从而增加模型的泛化能力。包括X射线、MRI、CT等，具有较强的通用性和适应性。
4.增强模型的鲁棒性：在医学图像分类中，图像可能受到噪声、变形、遮挡等因素的影响，使得分类结果产生误差。通过模糊逻辑理论，将可能影响分类结果的因素模糊化，可以更好地处理这些异常情况，从而增强模型的鲁棒性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，用于解释本发明，并不构成对本发明的限制。
图1为本发明的基于模糊逻辑的跳跃式注意力肺部病理图像分类方法的整体框架图；
图2为本发明的基于模糊逻辑的跳跃式注意力肺部病理图像分类方法的跳跃式多头自注意力模型；
图3为本发明的基于模糊逻辑的跳跃式注意力肺部病理图像分类方法的流程结构图；
图4为本发明的基于模糊逻辑的跳跃式注意力肺部病理图像分类方法的分类结果示例。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
参见图1至图4，本发明提供其技术方案为，一种用于基于模糊逻辑的跳跃式注意力肺部病理图像分类方法，以肺部病理图像数据集中第一张图片为例，从载入数据到得出分类结果，其中包括以下步骤：
S1：读取肺部病理图像数据集中第一张图像，并对图像进行预处理。公式(13)表示为第i张肺部病理图像，将RGB图像转化为肺部病理图像集合S＝(r1,r2,...,ri,...rn)，其中ri＝(R1×256,G1×256,B1×256)表示肺部病理图像数据集像素点的非空有限集合，其中i＝1,2,...n，如公式(14)所示，n表示样本总数，(R1×256,G1×256,B1×256)表示每个样本的R,G,B三个通道依次拼接成的一个768维张量，R,G,B分别表示图像的红，绿，蓝颜色通道；
S2：构造区间二型模糊隶属度函数，引入隶属度μik和非隶属度υik以及犹豫指数πvar,ik和πc,ik，其中var表示方差，c是前提参数，采用区间二型直觉隶属函数实现模糊化，对于第i个肺部病理图像输入矩阵和第k个规则，该直觉隶属函数的不确定性足迹用带有犹豫指数的上隶属函数和带有犹豫指数的下隶属函数μ ik的有界区间/>来描述肺部病理图像的模糊性，同理，非隶属函数的不确定性足迹用区间/>来描述肺部病理图像的模糊性；
S3：搭建跳跃式多头自注意力神经网络，该模型有12次循环，首先将输入的肺部病理图像张量模糊化之后的特征矩阵展开，表示为Xj，并且加入二维位置编码Epos，其中j表示第j个模块，再将得到的肺部病理图像张量依次经过一个标准化层LN(Xj)，一个多头自注意力层MSA(LN(Xj))，在第一到第六次循环中，多头自注意力层采用了普通连接，表示为(Xj)′＝MSA(LN(Xj))+Xj，其中j表示第j个模块，在第六到第十二次循环中，多头自注意力层采用了跳跃连接，表示为(Xj)′＝MSA(LN(Xj))+Xj-6，最后再经过一个标准化层LN((Xj)′)，一个多层感知机层MLP(LN((Xj)′))，得出结果表示为(Xj)″＝MLP(LN((Xj)′))+(Xj)′，经过12轮计算，最终提取出可以进行肺部病理图像分类的特征：肺部病理图像隶属度函数表示为肺部病理图像非隶属度函表示为/>
S4：模糊推理系统使用加权取平均值的方法将肺部病理图像去模糊化，最终的系统输出结果为每条规则的结果的加权平均，其中权重为规则的归一化触发程度，也即计算期望，对于第j个输出肺部病理图像，计算得到的肺部病理图像隶属输出和非隶属度输出其中/>和/>是上隶属度函数循环节点/>下隶属度函数循环节点/>和上非隶属度函数循环节点/>下非隶属度函数循环节点/>的权重，M表示规则k的个数，计算公式如下：
S5：提取出去模糊化过后的特征矩阵和/>分别取出肺部病理图像矩阵中第一维度上的张xclass，然后传入多层感知机中，其中的神经元采取了全连接方式，该MLP网络的输入为xclass的维度，输出为肺部病理图像分类的类别数Cnum，在输出时使用了SoftMax函数，该函数将数值向量转换为概率分布，最终得到每种类别的肺部病理图像的概率，取概率最高的为肺部病理图像分类结果。
具体地，所述步骤S2的具体步骤如下：
步骤S2.1：将肺部病理图像集合S＝(r1,r2,...,rn)作为输入，每个节点采用高斯激活函数，引入隶属度μik和非隶属度υik以及犹豫指数πvar,ik和πc,ik，采用区间二型直觉隶属函数实现肺部病理图像模糊化。为了保持局部学习特性，采用局部循环连接模式，每个模糊规则产生的推理信息将被单独记忆，一个直觉模糊规则的学习过程不影响其他直觉模糊规则的稳定性，即增强了病理图像之间的独立性和抗干扰性；
步骤S2.2：采用基于近似密度中心递归计算的动态聚类方法选择模糊规则的中心，使得具有均值的不确定性更有利于规则的描述。对于第i个肺部病理图像输入特征和第k个规则，该直觉隶属函数的不确定性足迹用带有犹豫指数的上隶属函数和带有犹豫指数的下隶属函数μ ik的有界区间来描述肺部病理图像的模糊性，计算公式如下所示：
其中表示上隶属函数中心的肺部病理图像犹豫程度，π c,ik表示下隶属函数中心的肺部病理图像犹豫程度，参数/>和/>是模糊规则的中心和方差，计算结果如公式(18)所示：
最终由公式(16)(17)得到上隶属度和下隶属度，计算结果如公式(19)和(20)所示：
步骤S2.3：同时，具有肺部病理图像犹豫指标的上下非隶属度函数可以表示如下所示，其中xi是输入的参数，πvar,ik和πc,ik分别表示方差和中心的肺部病理图像犹豫程度，表示上非隶属函数中心的肺部病理图像犹豫程度，π c,ik表示下非隶属函数中心的肺部病理图像犹豫程度，参数/>和/>是模糊规则的中心和方差，σik和c是前提参数；
其中πvar,ik和πc,ik分别表示方差和中心的肺部病理图像犹豫程度，初始化方式采用随机赋值，计算结果如下：
最终由公式(21)和(22)得到上非隶属度和下非隶属度，计算结果如公式(24)和(25)所示：
步骤S2.4：第i个输入肺部病理图像特征的输出和第k条规则可以被表示成一个隶属度区间和一个非隶属度区间/>计算分别得出隶属度区间如公式(26)所示，以及非隶属度区间如公式(27)所示；
步骤S2.5：将第i个输入肺部病理图像特征的隶属度区间拆分为上隶属度下隶属度μ i，同理可得上非隶属度/>下非隶属度υ i，并分别将所有的n个肺部病理图像特征向量重新拼接为模糊化的肺部病理图像特征矩阵。
具体地，所述步骤S3的具体步骤如下：
步骤S3.1：将肺部病理图像展开成D维，其中D＝768，且在张量头部拼接上特殊字符xclass＝[0,0,...,0]768×1，该字符作为最后MLP层的输出，输出197×768维张量，同时加入一维的位置编码，得到肺部病理图像Xorig，计算公式如下：
其中N＝196表示图块个数，xi(i＝1,...,N)表示每一个块所对应的一维张量，E表示块的嵌入投影变换，Epos1＝[1,0,...,0]表示第一个块的一维位置编码，P＝16表示图块的大小，C＝3表示通道的个数，计算得出Xorig的结果如公式(29)所示；
步骤S3.2：采用最大最小标准化对肺部病理图像Xorig进行处理,得到归一化后的数据LN(X)，采用计算公式(30)如下，计算结果如公式(31)所示：
步骤S3.3：在第一到第六次循环中，多头自注意力层采用了普通连接，将归一化后的数据使用多头自注意力算法，计算方法采用公式(32)，在第七到第十二次循环中，多头自注意力层采用了跳跃连接，将归一化后的肺部病理图像矩阵使用跳跃式多头自注意力算法，再将之前的数据项Xj-6跳跃连接至当前MSA函数中，函数计算公式如(34)和(35)所示j表示当前循环的次数，采用计算公式(33)如下，其中(Xj)′表示计算结果；
(Xj)′＝MSA(LN(Xj))+Xj,j＝1,2,...6 (32)
(Xj)′＝MSA(LN(Xj))+Xj-6,j＝7,8,...,12 (33)
步骤S3.4：计算多头自注意力，使用高斯分布随机初始化权重矩阵Q,K,V并用得到的权重矩阵计算输入的多个表示空间，使得输入中包含的不同的语义由不同的表征子空间来学习得出：
其中是一组随机初始化的可学习的权重矩阵，被用来对输入序列中的每个位置进行线性变换，Concat()函数将多个head的输出连接起来，每个headi(i＝1,...,h)都可以从不同的角度去关注输入序列中的信息，h＝10表示注意力机制的个数，dk是超参数，代表了输入序列中每个位置的注意力向量的维数，初始化权重矩阵Q,K,V如公式(36)所示，
再计算该图片的自注意力，计算结果如下所示：
/>
经过12次的循环，得到最终结果如公式(38)所示；
步骤S3.5：构建MLP网络，该网络输入为197×768维肺部病理图像张量，放大倍率为4，隐藏层神经元个数为4×768，最后再压缩回197×768维张量，同时再加上之前的数据项(Xj)′，公式如下：
(Xj)″＝MLP(LN((Xj)′))+(Xj)′ (39)
步骤S3.6：分别对每一张肺部病理图像的上隶属度下隶属度μ i，上非隶属度下非隶属度υ i重复以上步骤，然后将上下隶属度和上下非隶属度合并，最终提取出可以进行肺部病理图像分类的特征：隶属度函数矩阵表示为/>计算结果为公式(40)，非隶属度函矩阵表示为/>计算结果为公式(41)。
/>
Claims (3)
1.基于模糊逻辑的跳跃式注意力肺部病理图像分类方法，其特征在于，包括以下步骤：
S1：读取肺部病理图像数据集，对图像进行预处理，将RGB图像转化为肺部病理图像集合S＝(r1,r2,...,ri,...,rn)，其中ri＝(R1×256,G1×256,B1×256)表示肺部病理图像数据集像素点的非空有限集合，其中i＝1,2,...n，n表示样本总数，(R1×256,G1×256,B1×256)表示每个样本的R,G,B三个通道依次拼接成的一个768维张量，R、G、B分别表示图像的红、绿、蓝颜色通道；
S2：构造区间二型模糊隶属度函数，引入隶属度μik和非隶属度υik以及犹豫指数πvar,ik和πc,ik，其中var表示方差，c是前提参数，采用区间二型直觉隶属函数实现模糊化，对于第i个肺部病理图像输入矩阵和第k个规则，该直觉隶属函数的不确定性足迹用带有犹豫指数的上隶属函数和带有犹豫指数的下隶属函数μ ik的有界区间/>来描述肺部病理图像的模糊性，同理，非隶属函数的不确定性足迹用区间/>来描述肺部病理图像的模糊性；
S3：搭建跳跃式多头自注意力神经网络，跳跃式多头自注意力神经网络有12次循环，首先将输入的肺部病理图像张量模糊化之后的特征矩阵展开，表示为Xj，并且加入二维位置编码Epos，其中pos表示位置，j表示第j个模块，再将得到的肺部病理图像张量依次经过一个标准化层LN(Xj)，一个多头自注意力层MSA(LN(Xj))，在第一到第六次循环中，多头自注意力层采用了普通连接，表示为(Xj)′＝MSA(LN(Xj))+Xj，在第六到第十二次循环中，多头自注意力层采用了跳跃连接，表示为(Xj)′＝MSA(LN(Xj))+Xj-6，最后再经过一个标准化层LN((Xj)′)，一个多层感知机层得出结果表示为经过12轮计算，最终提取出进行肺部病理图像分类的特征：肺部病理图像隶属度函数表示为/>肺部病理图像非隶属度函表示为/>其中μ表示隶属度，υ表示非隶属度；
S4：模糊推理系统使用加权取平均值的方法将肺部病理图像去模糊化，最终的系统输出结果为每条规则的结果的加权平均，其中权重为规则的归一化触发程度，也即计算期望，对于第j个输出肺部病理图像，计算得到的肺部病理图像隶属输出和非隶属度输出/>其中/>和/>是上隶属度函数循环节点/>下隶属度函数循环节点/>和上非隶属度函数循环节点/>下非隶属度函数循环节点/>的权重，M表示规则k的个数，计算公式如下：
S5：提取出去模糊化过后的特征矩阵和/>分别取出肺部病理图像矩阵中第一维度上的张量xclass，然后传入多层感知机中，其中的神经元采取了全连接方式，该MLP网络的输入为xclass的维度，输出为肺部病理图像分类的类别数Cnum，在输出时使用了SoftMax函数，该函数将数值向量转换为概率分布，最终得到每种类别的肺部病理图像的概率，取概率最高的为肺部病理图像分类结果。
2.根据权利要求1所述的基于模糊逻辑的跳跃式注意力肺部病理图像分类方法，其特征在于，所述步骤S2的具体步骤如下：
步骤S2.1：将肺部病理图像集合S＝(r1,r2,...,rn)作为输入，每个节点采用高斯激活函数，引入隶属度μik和非隶属度υik以及犹豫指数πvar,ik和πc,ik，采用区间二型直觉隶属函数实现肺部病理图像模糊化；
步骤S2.2：采用基于近似密度中心递归计算的动态聚类方法选择模糊规则的中心，使得具有均值的不确定性更有利于规则的描述，对于第i个肺部病理图像输入特征和第k个规则，该直觉隶属函数的不确定性足迹用带有犹豫指数的上隶属函数和带有犹豫指数的下隶属函数μ ik的有界区间来描述肺部病理图像的模糊性，计算公式如下所示：
步骤S2.3：具有肺部病理图像犹豫指标的上下非隶属度函数表示如下所示，其中xi是输入的参数，πvar,ik和πc,ik分别表示方差和中心的肺部病理图像犹豫程度，参数和/>是模糊规则的中心和方差，其中，r表示中心，l表示方差，σik和c是前提参数；
步骤S2.4：第i个输入肺部病理图像特征的输出和第k条规则被表示成一个隶属度区间和一个非隶属度区间/>
步骤S2.5：将第i个输入肺部病理图像特征的隶属度区间拆分为上隶属度下隶属度μ i，同理得上非隶属度/>下非隶属度υ i，并分别将所有的n个肺部病理图像特征向量重新拼接为模糊化的肺部病理图像特征矩阵。
3.根据权利要求1所述的基于模糊逻辑的跳跃式注意力肺部病理图像分类方法，其特征在于，所述步骤S3的具体步骤如下：
步骤S3.1：将肺部病理图像展开成D维，且在张量头部拼接上特殊字符xclass，该字符作为最后MLP层的输出，输出(N+1)×D维张量，同时加入一维的位置编码，得到肺部病理图像Xorig，计算公式如下：
其中N表示图块个数，xi表示每一个块所对应的一维张量，其中i＝1,...,N，E表示块的嵌入投影变换，Epos表示每一个块的一维位置编码，P表示图块的大小，C表示通道的个数，表示向量空间；
步骤S3.2：采用最大最小标准化对肺部病理图像Xorig进行处理,得到归一化后的数据LN(X)，采用计算公式(8)如下：
步骤S3.3：在第一到第六次循环中，多头自注意力层采用了普通连接，将归一化后的数据使用多头自注意力算法，计算方法采用公式(8)，在第七到第十二次循环中，多头自注意力层采用了跳跃连接,将归一化后的肺部病理图像矩阵使用跳跃式多头自注意力算法，再将之前的数据项Xj-6跳跃连接至当前MSA函数中，函数计算公式如(10)和(11)所示，j表示当前循环的次数，采用计算公式(9)如下，其中(Xj)′表示计算结果；
(Xj)′＝MSA(LN(Xj))+Xj,j＝1,2,...6 (8)
(Xj)′＝MSA(LN(Xj))+Xj-6,j＝7,8,...,12 (9)
步骤S3.4：计算多头自注意力，使用高斯分布随机初始化权重矩阵Q,K,V并用得到的权重矩阵计算输入的多个表示空间，使得输入中包含的不同的语义由不同的表征子空间来学习得出，所用公式如下：
其中是一组随机初始化的可学习的权重矩阵，被用来对输入序列中的每个位置进行线性变换，Concat()函数将多个head的输出连接起来，每个headi都从不同的角度去关注输入序列中的信息，其中i＝1,...,h，h表示注意力机制的个数，dmodel是超参数，代表了词嵌入空间的维数，dk代表了和输入序列中每个位置的注意力向量的维数，Attention()表示注意力计算结果，MultiHead()表示多头注意力计算结果；
步骤S3.5：构建MLP网络，该网络输入为(N+1)×D维肺部病理图像张量，放大倍率为4，隐藏层神经元个数为4D，最后再压缩回(N+1)×D维张量，同时再加上之前的数据项(Xj)′，(Xj)″表示计算结果，公式如下：
(Xj)″＝MLP(LN((Xj)′))+(Xj)′ (12)
步骤S3.6：分别对每一张肺部病理图像的上隶属度下隶属度μ i，上非隶属度/>下非隶属度υ i重复以上步骤，然后将上下隶属度和上下非隶属度合并，最终提取出进行肺部病理图像分类的特征：隶属度函数矩阵表示为/>非隶属度函矩阵表示为/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310345231.5A CN116452865B (zh) | 2023-04-03 | 2023-04-03 | 基于模糊逻辑的跳跃式注意力肺部病理图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310345231.5A CN116452865B (zh) | 2023-04-03 | 2023-04-03 | 基于模糊逻辑的跳跃式注意力肺部病理图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116452865A CN116452865A (zh) | 2023-07-18 |
| CN116452865B true CN116452865B (zh) | 2023-11-07 |
Family
ID=87129583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310345231.5A Active CN116452865B (zh) | 2023-04-03 | 2023-04-03 | 基于模糊逻辑的跳跃式注意力肺部病理图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452865B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002086814A1 (en) * | 2001-04-23 | 2002-10-31 | Hrl Laboratories, Llc | An on-line method for self-organized learning and extraction of fuzzy rules |
| KR20080084132A (ko) * | 2007-03-15 | 2008-09-19 | 임준식 | 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열예측 모델의 추출방법 |
| US10149958B1 (en) * | 2015-07-17 | 2018-12-11 | Bao Tran | Systems and methods for computer assisted operation |
| AU2020103673A4 (en) * | 2020-11-25 | 2021-02-04 | @ Sankaran, K.Sakthidasan Dr | Intuitionistic fuzzy based deep learning model for visual interpretation of low dose x-ray image |
| CN112836718A (zh) * | 2020-12-08 | 2021-05-25 | 上海大学 | 一种基于模糊知识神经网络的图像情感识别方法 |
| CN113724842A (zh) * | 2021-09-08 | 2021-11-30 | 武汉兰丁智能医学股份有限公司 | 一种基于注意力机制的宫颈组织病理辅助诊断方法 |
| DE202022102752U1 (de) * | 2022-05-18 | 2022-06-07 | Sujit Kumar Das | Ein neuartiges System gestapelter paralleler Faltungsschichten mit einem Aufmerksamkeitsmodul zur Klassifizierung von Bildern diabetischer Fußgeschwüre und normaler Haut |
| WO2022127227A1 (zh) * | 2020-12-15 | 2022-06-23 | 西安交通大学 | 一种基于多视图半监督的淋巴结的分类方法、系统及设备 |
| CN115100467A (zh) * | 2022-06-22 | 2022-09-23 | 北京航空航天大学 | 一种基于核注意力网络的病理全切片图像分类方法 |
| WO2022257377A1 (zh) * | 2021-06-10 | 2022-12-15 | 一汽奔腾轿车有限公司 | 一种基于模糊神经网络的自动换挡控制方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10706533B2 (en) * | 2016-05-13 | 2020-07-07 | National Jewish Health | Systems and methods for automatic detection and quantification of pathology using dynamic feature classification |
| CN110083705B (zh) * | 2019-05-06 | 2021-11-02 | 电子科技大学 | 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端 |
| US20210312183A1 (en) * | 2020-04-03 | 2021-10-07 | Board Of Regents, The University Of Texas System | System and method for human action recognition and intensity indexing from video stream using fuzzy attention machine learning |
| CN111931816A (zh) * | 2020-07-09 | 2020-11-13 | 河南工业大学 | 一种视网膜图像平行处理方法及装置 |
| US11868730B2 (en) * | 2020-09-23 | 2024-01-09 | Jingdong Digits Technology Holding Co., Ltd. | Method and system for aspect-level sentiment classification by graph diffusion transformer |
-
2023
- 2023-04-03 CN CN202310345231.5A patent/CN116452865B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002086814A1 (en) * | 2001-04-23 | 2002-10-31 | Hrl Laboratories, Llc | An on-line method for self-organized learning and extraction of fuzzy rules |
| KR20080084132A (ko) * | 2007-03-15 | 2008-09-19 | 임준식 | 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열예측 모델의 추출방법 |
| US10149958B1 (en) * | 2015-07-17 | 2018-12-11 | Bao Tran | Systems and methods for computer assisted operation |
| AU2020103673A4 (en) * | 2020-11-25 | 2021-02-04 | @ Sankaran, K.Sakthidasan Dr | Intuitionistic fuzzy based deep learning model for visual interpretation of low dose x-ray image |
| CN112836718A (zh) * | 2020-12-08 | 2021-05-25 | 上海大学 | 一种基于模糊知识神经网络的图像情感识别方法 |
| WO2022127227A1 (zh) * | 2020-12-15 | 2022-06-23 | 西安交通大学 | 一种基于多视图半监督的淋巴结的分类方法、系统及设备 |
| WO2022257377A1 (zh) * | 2021-06-10 | 2022-12-15 | 一汽奔腾轿车有限公司 | 一种基于模糊神经网络的自动换挡控制方法 |
| CN113724842A (zh) * | 2021-09-08 | 2021-11-30 | 武汉兰丁智能医学股份有限公司 | 一种基于注意力机制的宫颈组织病理辅助诊断方法 |
| DE202022102752U1 (de) * | 2022-05-18 | 2022-06-07 | Sujit Kumar Das | Ein neuartiges System gestapelter paralleler Faltungsschichten mit einem Aufmerksamkeitsmodul zur Klassifizierung von Bildern diabetischer Fußgeschwüre und normaler Haut |
| CN115100467A (zh) * | 2022-06-22 | 2022-09-23 | 北京航空航天大学 | 一种基于核注意力网络的病理全切片图像分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| Fuzzy-based Cybersecurity Risk Analysis of the Human Factor from the Perspective of Classified Information Leakage;Daniel Vaczi;《IEEE Access》;全文 * |
| 一种面向中小规模数据集的模糊分类方法;周塔;邓赵红;蒋亦樟;王士同;;软件学报(第12期);全文 * |
| 基于模糊注意力机制的RGB-D图像处理方法及其抓取应用;王越;《中国优秀硕士论文电子期刊网》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116452865A (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Anthimopoulos et al. | Semantic segmentation of pathological lung tissue with dilated fully convolutional networks | |
| Dong et al. | Evaluations of deep convolutional neural networks for automatic identification of malaria infected cells | |
| Al-Areqi et al. | Effectiveness evaluation of different feature extraction methods for classification of covid-19 from computed tomography images: A high accuracy classification study | |
| Rajesh et al. | An evolutionary block based network for medical image denoising using Differential Evolution | |
| CN112348800A (zh) | 融合多尺度特征的密集神经网络肺部肿瘤图像识别方法 | |
| Kumar et al. | Brain tumor detection using convolutional neural network | |
| Ramprasad et al. | A deep probabilistic sensing and learning model for brain tumor classification with fusion-net and HFCMIK segmentation | |
| Vipin et al. | Detection of melanoma using deep learning techniques: A review | |
| Herzog et al. | Convolutional neural networks-based framework for early identification of dementia using MRI of brain asymmetry | |
| SJ et al. | A Features Fusion Approach for Neonatal and Pediatrics Brain Tumor Image Analysis Using Genetic and Deep Learning Techniques. | |
| CN116452865B (zh) | 基于模糊逻辑的跳跃式注意力肺部病理图像分类方法 | |
| Wei et al. | Genetic U-Net: automatically designing lightweight U-shaped CNN architectures using the genetic algorithm for retinal vessel segmentation | |
| Karsaz | A modified convolutional neural network architecture for diabetic retinopathy screening using SVDD | |
| Kanawade et al. | A Deep Learning Approach for Pneumonia Detection from X− ray Images | |
| CN113889235A (zh) | 一种三维医学影像无监督特征抽取系统 | |
| Shekerbek et al. | APPLICATION OF MATHEMATICAL METHODS AND MACHINE LEARNING ALGORITHMS FOR CLASSIFICATION OF X-RAY IMAGES. | |
| CN113642596A (zh) | 一种基于社区检测和双路自编码的脑网络分类方法 | |
| Dabass et al. | FuzzyDeepNets based feature extraction for classification of mammograms | |
| Wang et al. | Effect of data augmentation of renal lesion image by nine-layer convolutional neural network in kidney CT | |
| Tajammal et al. | Deep Learning-Based Ensembling Technique to Classify Alzheimer's Disease Stages Using Functional MRI | |
| Torabipour et al. | A Deep Learning Approach for Diagnosis Chest Diseases | |
| Uribe et al. | Part 1: introduction to machine learning in the nuclear medicine context | |
| Nayagi et al. | An enhanced method of feature fusion techniques to diagnosis neonatal hyperbilirubinemia | |
| Gaikwad et al. | Comparative Study of Machine Learning Techniques in the Medical Field | |
| Ara et al. | Novel approach of brain tumor segmentation using convolutional neural network hybridized with water cycle algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |