CN111667489B - 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 - Google Patents

基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 Download PDF

Info

Publication number
CN111667489B
CN111667489B CN202010367647.3A CN202010367647A CN111667489B CN 111667489 B CN111667489 B CN 111667489B CN 202010367647 A CN202010367647 A CN 202010367647A CN 111667489 B CN111667489 B CN 111667489B
Authority
CN
China
Prior art keywords
channel
hyperspectral image
cancer
attention
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010367647.3A
Other languages
English (en)
Other versions
CN111667489A (zh
Inventor
邱崧
惠思远
李庆利
周梅
胡孟晗
徐伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202010367647.3A priority Critical patent/CN111667489B/zh
Publication of CN111667489A publication Critical patent/CN111667489A/zh
Application granted granted Critical
Publication of CN111667489B publication Critical patent/CN111667489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双分支注意力深度学习的癌症高光谱图像分割方法，所述方法首先对癌症高光谱图像进行预处理操作，并将数据集划分为训练集和测试集；然后构建一个双分支的基于注意力机制的深度卷积神经网络，通过划分出的训练集对网络进行训练；然后利用训练好的神经网络对测试集进行测试，最终达到分割癌症高光谱图像的目的。本发明依据癌症高光谱图像的特点，构建双分支结构，分别提取高光谱图像的空间信息和光谱信息并加以融合，最终得到预测结果。本发明还公开了一种基于双分支注意力深度学习的癌症高光谱图像分割系统。

Description

基于双分支注意力深度学习的癌症高光谱图像分割方法及 系统
技术领域
本发明涉及高光谱图像处理、医学影像处理技术领域，尤其涉及一种基于双分支注意力深度学习的癌症高光谱图像分割方法及系统。
背景技术
癌是指起源于上皮组织的恶性肿瘤，是恶性肿瘤中最常见的一类。大多数种类的癌症早期缺乏典型的临床表现及诊断方法，当患者出现典型症状时，基本已进入中晚期，失去根治性手术机会。癌症的诊断方法有许多种，主要有临床诊断、理化诊断、手术诊断、细胞病理学诊断、组织病理学诊断五种。组织病理学诊断可了解肿块良、恶性质，判断癌肿预后好坏，对进行癌症分类、分级、分期及命名提供直接帮助，为临床治疗提供依据。因此组织病理学诊断对癌症病人来说，是最重要的诊断内容。组织病理学诊断通过活检获取患者体内的病变组织，然后将病变组织制成病理切片，用显微镜进一步检查病变。
高光谱图像在记录空间信息的同时也记录了丰富的光谱信息。高光谱图像具有数据量大、光谱数量多且连续等特点，因此高光谱图像也有较多的光谱信息冗余。
显微高光谱成像仪，是基于显微镜平台，结合高光谱成像仪的高光谱分析系统，适用于生物医学领域的显微高光谱成像。使用显微高光谱成像仪可以采集到组织切片的显微高光谱图像。
癌症高光谱图像的分割任务是指通过算法将图像细分为患癌区域和无癌区域两个子区域。医生可以通过分割结果获取病变信息，进而做出相应的诊断。
现有的高光谱图像处理方法虽然能够实现高光谱图像的分割，但是在处理流程中仍然存在三方面的不足：一是现有方法在高光谱特征提取时，不能在多尺度上提取高光谱图像的空间注意力信息和通道注意力信息。常用的注意力机制往往只对单一尺度上的特征进行提取操作，而对于具有不同尺度特征的高光谱图像没有相应的策略。二是现有网络结构不能提取较大空间尺度上的图像特征。现有网络的设计往往针对空间特征尺度较小的高光谱遥感图像，将图像块作为网络的输入。然而癌症高光谱图像由于组织或细胞的结构、形态等因素，具有较大尺度的形态学特征，因此将图像块作为网络输入的方法不适用。三是在使用传统机器学习方法的情况下，处理流程往往不是端到端的模型，造成结果准确率损失，且处理步骤繁杂。SVM是常用的机器学习方法，然而在处理高光谱图像时，往往首先需要通过PCA方法对数据进行降维操作，但由于该模型并非端到端的结构，PCA的降维策略和分割高光谱图像的目标有差异，因此在降维过程中可能丢失了一部分有助于分割的重要信息，无法使整个模型达到最优。这三个不足会导致在实际高光谱图像分割问题中出现鲁棒性较差和效率较低的问题。
发明内容
本发明提供了一种基于双分支注意力深度学习的癌症高光谱图像分割方法，本发明将高光谱图像的空间信息和光谱信息进行深度融合，对癌症高光谱图像进行分割，最终将图像划分为患癌区域和无癌区域两部分，主要包括以下步骤：
步骤1：获取癌症病理组织切片，在高光谱显微镜下完成高光谱图像采集；记所述高光谱图像的维度为RH×W×C；其中，H、W、C分别表示高光谱图像的高、宽和通道数；
步骤2：将高光谱图像数据集划分为训练集和测试集，并将所述训练集高光谱图像进行标注，划分为患癌区域和无癌区域；
步骤3：将所述高光谱图像进行去噪处理，并完成归一化操作；
步骤4：根据去噪及归一化后的高光谱图像，构建基于双分支注意力机制的深度卷积神经网络；所述神经网络包括下采样阶段和上采样阶段；其中，
所述神经网络对高光谱图像先下采样，后上采样的过程中进行多次特征提取操作，每次提取不同空间尺度下的特征信息，并将上采样之后的特征和对应尺度下的下采样特征进行自适应特征融合操作；
具体地，在下采样阶段利用空间-通道注意力模块提取所述高光谱图像数据的空间信息和光谱信息特征；在上采样阶段利用卷积层提取特征；
所述神经网络下采样阶段对所述空间信息和光谱信息特征经过多次先下采样再特征提取的操作，在此基础上开始上采样阶段，即对下采样阶段得到的特征进行相同次数的“先上采样，再进行自适应比例特征融合，然后特征提取”的操作；在先下采样后上采样过程中，提取不同空间尺度下的特征信息；上采样阶段中自适应比例特征融合过程会将上采样的特征和对应空间尺度的下采样特征进行自适应比例特征融合操作；
在上采样阶段最后得到的特征维度为RH×W×C，通过1×1的卷积层和softmax函数降低通道维度，输出两个通道的预测图，即患癌和无癌两类分割结果；
步骤5：将训练集送入神经网络中，并通过学习算法，通过神经网络损失函数和优化方法进行多次循环迭代完成网络的训练；将测试集送入训练后的网络中，实现高光谱图像的分割。
进一步地，所述步骤3中，去噪处理为将高光谱图像通过中值滤波器进行处理，滤除椒盐噪声，公式为：
Figure BDA0002477136490000031
其中，g(s,t)表示叠加了噪声的单波段的子图像，(s,t)表示滤波前的一组坐标点；
Figure BDA0002477136490000032
表示经过中值滤波器处理后的图像，(x,y)表示中值滤波器的输出坐标点，x∈[0,W-1],y∈[0,H-1]，x和y均为整数；median为二维中值滤波函数；Sxy表示中心在点(x,y)处、大小为5×5的子图像窗口的一组坐标点，当中心处于高光谱图像的边缘时该组坐标点只包含子图像窗口落在图像中的有效像素坐标点。
进一步地，所述步骤3中，经过中值滤波后，针对高光谱图像中的每个通道进行归一化处理，公式为：
Figure BDA0002477136490000033
其中，D为输入像素值，E为输出像素值；MinValue为该通道像素点中的最小值，MaxValue为该通道像素点中的最大值。
所述空间-通道注意力模块将高光谱图像或特征图经过5×5卷积层和ReLU函数，再经过一层5×5卷积层提取特征，输出经过特征提取后的特征图，所述经过特征提取后的特征图的维度与所述空间-通道注意力模块的输入数据的维度保持一致；随后神经网络分为两条分支，用来提取不同维度上的注意力信息。
所述空间-通道注意力模块中的一条分支用于提取空间特征信息。记所述空间-通道注意力模块输入数据的维度为RH1×W1×C(C为16的整数倍)，该分支将数据在通道维度上进行分组，然后对每组数据在通道维度上进行最大值池化操作，再将池化后的每组数据在通道维度上进行拼接，最后输出特征图。该分支通过构建4种不同的分组数量，输出4个通道数不同的特征图，其通道数分别为
Figure BDA0002477136490000034
Figure BDA0002477136490000041
目的在于获取不同通道尺度下的空间信息。将四个特征图在通道维度上进行拼接，其输出通道数为
Figure BDA0002477136490000042
将拼接后的特征通过1×1卷积层和softmax函数使得特征值被归一化到0～1区间，得到维度为RH1×W1×1的空间注意力信息；将所述空间注意力信息和提取空间注意力前的特征图相乘，即空间注意力信息在通道维度上进行复制C个，并和该分支的输入数据完成元素乘操作，得到融合了空间注意力信息的特征图，该特征图维度为RH1×W1×C；
所述空间-通道注意力模块中的另一条分支用于提取通道特征信息。首先将输入数据在空间维度上进行最大值池化和平均值池化，得到维度均为R1×1×C的最大值池化特征和平均值池化特征，然后将两种特征分别并行通过尺度为3、5、7的三个一维卷积；将三个一维卷积的卷积结果通过元素加的方式进行融合，得到最大值池化和平均值池化两种多尺度融合特征，它们的维度均为R1×1×C；最后将得到的这两种多尺度融合特征再次通过元素加的方式进行融合，并经过softmax函数，得到维度为R1×1×C的通道注意力信息；将所述通道注意力信息同提取通道注意力前的特征图相乘，即通道注意力信息在空间维度上进行复制H1×W1个，并和该分支的输入数据完成元素乘的操作，得到融合了通道注意力信息的特征图，维度为RH1×W1×C；
然后将两条分支提取出的特征采用元素加的方式进行特征融合，最后经过ReLU函数。
进一步地，所述步骤4中，每次上采样之后都进行一次自适应比例特征融合操作，上采样特征图和下采样特征图经过1×1共享卷积层和ReLU函数，将通道数降为1；随后将二维特征图按行展开为一维向量，然后经过两层共享全连接层，得到标量αUP和αDN。将这两个标量经过softmax函数进行归一化处理，得到两个融合比例系数，公式如下：
Figure BDA0002477136490000043
Figure BDA0002477136490000044
其中，ρUP和ρDN分别表示上采样特征图和下采样特征图的融合系数，αUP和αDN为共享全连接层的输出结果；将上采样特征图和下采样特征图和对应的融合比例系数相乘，并在通道维度上完成通道拼接操作，公式如下：
comb＝[ρUPfUP；ρDNfDN]
其中，comb表示拼接后的特征图，fUP和fDN分别表示上采样特征图和下采样特征图，；表示在通道维度上的特征拼接操作。
进一步地，所述步骤5中，所述神经网络损失函数为：
Figure BDA0002477136490000051
其中，ai为所有标注图像的像素点；bi为所有预测图像的对应像素点；n为所有标注图像中像素点的总个数；A为所有标注图像中所有像素值组成的矩阵；B为所有预测图像中所有对应像素值组成的矩阵；|A∩B|表示所有标注图像和所有预测图像对应像素的点乘，并将点乘的结果相加；|A|表示所有标注图像中所有像素值的累加和；|B|表示所有预测图像中所有像素值的累加和；λ∈[0.01,0.1]为超参数。
进一步地，采用Lookahead优化方法优化神经网络的参数以提高分割准确率。
基于以上方法，本发明还提出了一种基于双分支注意力深度学习的癌症高光谱图像分割系统，包括：
采集模块，用于采集高光谱图像；
标注模块，用于划分高光谱图像；
预处理模块，用于对高光谱图像进行去噪处理及归一化；
构建模块，用于构建基于双分支注意力机制的深度卷积神经网络；
训练测试模块，用于神经网络训练与测试。
进一步地，所述训练测试模块包括训练单元和测试单元：
所述训练单元用于训练构建好的神经网络并对网络进行参数调优，确定神经网络中的参数；
所述测试单元用于对测试集进行测试操作，得到所需要的分割结果。
本发明与现有的技术相比具有以下优点：
1、本发明采用了空间注意力和通道注意力两种机制的双分支结构，且在注意力机制中采用了多尺度的注意力信息提取方法。癌症高光谱图像信息量较大，且在空间和光谱维度都具有多尺度的信息，由此设计的两种机制可以很好地提取数据中的深层特征，相对于不使用此种注意力机制的网络提取的特征，这种特征更加具有鲁棒性。
2、本发明采用了将整幅图像作为网络输入的网络结构。癌症高光谱图像中包含患癌或无癌组织等大尺度空间特征。该网络结构能够在整幅图的层面上提取高光谱图像特征，避免了大尺度空间特征的遗漏，且通过下采样、上采样方式提取多尺度的空间特征。
3、本发明采用了端到端的深度卷积神经网络图像分割算法处理高光谱图像。相比先采用PCA或其他降维方法后再进行图像分割的方法，端到端的深度卷积神经网络方法大大简化了任务流程。而且由于本发明提出的空间和通道注意力两种机制的双分支结构是一种基于分割目标驱动的策略，可以保留更多有助于分割的信息，提高了分割准确率。
4、本发明在上采样阶段的特征融合中，设置了自适应比例融合系数，并由网络在训练中自行调节，增加了网络对于特征选择的灵活度，有利于进一步提高分割准确率。
附图说明
图1是本发明基于双分支注意力深度学习的癌症高光谱图像分割方法的流程图；
图2是深度卷积神经网络结构示意图；
图3是胆管癌单波段图像；
图4是图3对应的高光谱图像的标注二值图像；
图5是空间-通道注意力模块示意图；
图6是空间注意力模块示意图；
图7是通道注意力模块示意图；
图8是上采样阶段特征融合示意图；
图9是对图3对应的高光谱图像使用所述方法并经过二值化处理后的分割结果图像。
具体实施方式
结合以下具体实施例和附图，对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
本发明提供了一种基于双分支注意力深度学习的癌症高光谱图像分割方法，本，包括以下步骤：
步骤1：获取癌症病理组织切片，在高光谱显微镜下完成数据采集；记采集到的高光谱图像的维度为RH×W×C；其中H、W、C分别表示高光谱图像的高、宽和通道数；
步骤2：将高光谱图像数据集划分为训练集和测试集，并将所述训练集高光谱图像进行标注，划分为患癌区域和无癌区域；
步骤3：将所述癌症高光谱图像进行去噪处理，并完成归一化操作；
步骤4：根据去噪及归一化后的高光谱图像，构建基于双分支注意力机制的深度卷积神经网络；所述神经网络包括下采样阶段和上采样阶段；其中，
在下采样阶段利用空间-通道注意力模块提取所述高光谱图像数据的空间信息和光谱信息特征；在上采样阶段利用卷积层提取特征；
所述神经网络下采样阶段对所述空间信息和光谱信息特征经过多次先下采样再特征提取的操作，在此基础上开始上采样阶段，即对下采样阶段得到的特征进行相同次数的“先上采样，再进行自适应比例特征融合，然后特征提取”的操作；在先下采样后上采样过程中，提取不同空间尺度下的特征信息；上采样阶段中自适应比例特征融合过程会将上采样的特征和对应空间尺度的下采样特征进行自适应比例特征融合操作；
在上采样阶段最后得到的特征维度为RH×W×C，通过1×1的卷积层和softmax函数降低通道维度，输出两个通道的预测图，即患癌和无癌两类分割结果；
步骤5：将训练集送入神经网络中，并通过学习算法，通过神经网络损失函数和优化方法进行多次循环迭代完成网络的训练；将测试集送入训练后的网络中，实现癌症高光谱图像的分割。
进一步地，步骤3中，所述去噪处理和归一化操作具体为：
将设备采集到的高光谱癌症图像通过中值滤波器进行处理，滤除椒盐噪声。
公式为：
Figure BDA0002477136490000071
其中，g(s,t)表示叠加了噪声的单波段的子图像，(s,t)表示滤波前的一组坐标点；
Figure BDA0002477136490000081
表示经过中值滤波器处理后的图像，(x,y)表示中值滤波器的输出坐标点，x∈[0,W-1],y∈[0,H-1]，x和y均为整数；median为二维中值滤波函数；Sxy表示中心在点(x,y)处、大小为5×5的子图像窗口的一组坐标点，当中心处于高光谱图像的边缘时该组坐标点只包含子图像窗口落在图像中的有效像素坐标点。
经过中值滤波后，针对高光谱图像中的每个通道进行归一化处理，公式为：
Figure BDA0002477136490000082
其中，D为输入像素值，E为输出像素值；MinValue为该通道像素点中的最小值，MaxValue为该通道像素点中的最大值。
进一步地，在步骤4中，所述空间-通道注意力模块具体为：
该模块将高光谱图像或特征图经过5×5卷积层和ReLU函数，再经过一层5×5卷积层提取特征，输出经过特征提取后的特征图，所述经过特征提取后的特征图的维度与所述空间-通道注意力模块的输入数据的维度保持一致；随后网络分为两条分支，用来提取不同维度上的注意力信息。
所述空间-通道注意力模块中的一条分支用于提取空间特征信息。记所述空间-通道注意力模块输入数据的维度为RH1×W1×C(C为16的整数倍)，该分支将数据在通道维度上进行分组，然后对每组数据在通道维度上进行最大值池化操作，再将池化后的每组数据在通道维度上进行拼接，最后输出特征图。该分支通过构建4种不同的分组数量，输出4个通道数不同的特征图，其通道数分别为
Figure BDA0002477136490000083
Figure BDA0002477136490000084
目的在于获取不同通道尺度下的空间信息。将四个特征图在通道维度上进行拼接，其输出通道数为
Figure BDA0002477136490000085
将拼接后的特征通过1×1卷积层和softmax函数使得特征值被归一化到0～1区间，得到维度为RH1×W1×1的空间注意力信息；将所述空间注意力信息和提取空间注意力前的特征图相乘，即空间注意力信息在通道维度上进行复制C个，并和该分支的输入对应通道维度上的数据完成元素乘的操作，得到融合了空间注意力信息的特征图，该特征图维度为RH1×W1×C；
所述空间-通道注意力模块中的另一条分支用于提取通道特征信息。首先将输入数据在空间维度上进行最大值池化和平均值池化，得到维度均为R1×1×C的最大值池化特征和平均值池化特征，然后将两种特征分别并行通过尺度为3、5、7的三个一维卷积；将一维卷积的卷积结果进行融合，得到最大值池化和平均值池化两种多尺度融合特征，它们的维度均为R1×1×C；最后将得到的这两种多尺度融合特征再次进行融合，并经过softmax函数，得到维度为R1×1×C的通道注意力信息；将所述通道注意力信息同提取通道注意力前的特征图相乘，即通道注意力信息在空间维度上进行复制H1×W1，并和该分支的输入数据完成元素乘操作，得到融合了通道注意力信息的特征图，维度为RH1×W1×C；
然后将两条分支提取出的特征采用元素加的方式进行特征融合，最后经过ReLU函数。
进一步地，在步骤4中，每次上采样之后都进行一次自适应比例特征融合操作，上采样特征图和下采样特征图经过1×1共享卷积层和ReLU函数，将通道数降为1；随后将二维特征图按行展开为一维向量，然后经过两层共享全连接层，得到标量αUP和αDN。将这两个标量经过softmax函数进行归一化处理，得到两个融合比例系数，公式如下：
Figure BDA0002477136490000091
Figure BDA0002477136490000092
其中，αUP和αDN为共享全连接层的输出结果，ρUP和ρDN分别表示上采样特征图和下采样特征图的融合系数；在神经网络训练过程中通过自变量αUP和αDN的改变，实现ρUP和ρDN融合系数自适应改变的技术效果；将上采样特征图和下采样特征图和对应的融合比例系数相乘，并在通道维度上完成通道拼接操作，公式如下：
comb＝[ρUPfUP；ρDNfDN]
其中，comb表示拼接后的特征图，fUP和fDN分别表示上采样特征图和下采样特征图，；表示在通道维度上的特征拼接操作。
进一步地，在步骤5中，所述神经网络损失函数为：
Figure BDA0002477136490000093
其中，ai为所有标注图像的像素点；bi为所有预测图像的对应像素点；n为所有标注图像中像素点的总个数；A为所有标注图像中所有像素值组成的矩阵；B为所有预测图像中所有对应像素值组成的矩阵；|A∩B|表示所有标注图像和所有预测图像对应像素的点乘，并将点乘的结果相加；|A|表示所有标注图像中所有像素值的累加和；|B|表示所有预测图像中所有像素值的累加和；λ∈[0.01,0.1]为超参数。为了提高分割准确率，采用Lookahead优化方法优化神经网络的参数。
基于以上方法，本发明还提出了一种基于双分支注意力深度学习的癌症高光谱图像分割系统，包括：
采集模块，用于采集高光谱图像；
标注模块，用于划分高光谱图像；
预处理模块，用于对高光谱图像进行去噪处理及归一化；
构建模块，用于构建基于双分支注意力机制的深度卷积神经网络；
训练测试模块，用于神经网络训练与测试。
其中，所述训练测试模块包括训练单元和测试单元：
所述训练单元用于训练构建好的神经网络并对网络进行参数调优，确定神经网络中的参数；
所述测试单元用于对测试集进行测试操作，得到所需要的分割结果。
实施例
本实施例以胆管癌为例阐述本发明实施的条件、过程、步骤、原理、结果。参考图1和图2，图1是使用基于双分支注意力深度学习的癌症高光谱图像分割方法的流程图，图2是该分割方法的网络结构。
获取高光谱图像并进行标注和预处理。高光谱图像可由高光谱显微镜采集获得，但由于采集设备的原因，将会不可避免地引入噪声，而且在特定的光谱波段下图像的对比度需要进行调整。因此在预处理阶段分别引入中值滤波器和图像归一化方法对获取的高光谱图像进行处理。图3为经过预处理后的胆管癌单波段图像，图4为对应的标注二值图像。
由于高光谱图像光谱数量较多，不同波段之间的差异性和信息量不尽相同。因此需要从众多波段中提取对分割结果有帮助的信息，并抑制对分割结果没有帮助或者冗余的信息。
在另一层面，为了取得较好的分割结果，同样需要关注患癌区域的形态学特征。患癌组织和无癌组织在形态结构上有一定的差异性，因此需要合理提取高光谱图像中的空间信息作为最终判断的参照依据。
在网络构建方面，对输入的高光谱图像进行一系列下采样和上采样操作，并在同一尺度进行特征图的融合。然后将获得的特征图通过通道数为2的1×1卷积层，获得最终的分割结果。
其中，下采样采用窗口大小为2×2的最大值池化，上采样采用反卷积形式，其作用维度都在空间维度。
在下采样前后，使用空间-通道注意力模块进行基于双分支注意力机制的特征提取。
请参考图5，在空间-通道注意力模块中，首先采用5×5卷积层和ReLU函数，再经过一层5×5卷积层提取特征，其中两层卷积操作的填充方式均为对称填充，以保证卷积前后特征图的尺寸不变。随后分成双分支，分别利用空间注意力模块提取特征图的空间信息，通道注意力模块提取特征图的通道信息。记经过双分支之前的特征为U∈RH×W×C，由于两条分支不改变特征的维度，只是加入了注意力机制信息，因此两条分支的输出特征分别为V∈RH ×W×C，Z∈RH×W×C，然后将加入注意力信息的特征进行融合，融合公式为：
Figure BDA0002477136490000111
其中，
Figure BDA0002477136490000112
为元素加符号，Q∈RH×W×C为融合后的特征。
参考图6，图中为空间注意力机制模块。该模块关注输入数据的空间信息。
记输入数据的通道数量为C(C为16的整数倍)，首先将输入数据通过多尺度最大值池化模块，该模块将数据在通道维度上进行分组，然后对每组数据在通道维度上进行最大值池化操作，再将池化后的每组数据在通道维度上进行拼接，最后输出特征图。该模块通过构建4种不同的分组数量，输出4个通道数不同的特征图，其通道数分别为
Figure BDA0002477136490000113
目的在于获取不同通道尺度下的空间信息。将四个特征图在通道维度上进行拼接，其输出通道数为
Figure BDA0002477136490000114
使用1×1卷积层进行降维，将通道数降为1。使用softmax函数将该特征归一化到0～1区间，其公式为：
Figure BDA0002477136490000115
其中，zj表示softmax函数的输入值，K表示输入特征的数量。
归一化操作后即得到空间注意力信息。将归一化的注意力信息与该模块输入数据相乘，即得到融合了空间注意力的特征图。相乘操作的公式如下：
Figure BDA0002477136490000121
其中，
Figure BDA0002477136490000122
为元素乘符号，表示空间注意力特征向量在通道维度上进行复制，并和空间注意力模块的输入数据完成元素乘操作。G∈RH×W×C表示空间注意力模块的输入数据，ATTEN_S∈RH×W×1表示空间注意力特征向量。M∈RH×W×C表示融合了空间注意力的特征图，即空间注意力模块的输出特征图。
参考图7，图中为通道注意力机制模块。该模块关注输入数据的通道信息。
记输入数据的维度为RH×W×C，将输入数据分别在空间维度上做最大值池化和平均值池化，池化后的维度均为R1×1×C。由于在本分支中只关注通道特征，因此对空间维度通过两种池化方式进行了压缩，保留关键信息。
将压缩后的两种通道信息分别通过一维的卷积模块，完成通道维度的特征提取操作。该一维卷积模块使用了三种不同尺度的卷积核，尺度分别为3、5、7，用于在不同的感受野下提取通道间的特征。一维卷积核在一维的通道特征向量上进行滑动窗口操作，以保持所抽取特征的空间不变性。尺度为3的卷积核主要关注滑动窗口中心通道和周围两个通道的关联性；尺度为7的卷积核则关注当前通道和周围六个通道的关联性；而尺度为5的卷积核介于两者之间，关注当前通道和周围四个通道的关联性。由此，通过三种尺度的卷积核，提取在不同感受野下通道特征向量的特征，并且通过滑动窗口来保持特征的空间不变性。
需要注意的是，通道特征向量经过一维卷积后保持尺寸不变。因此，卷积时需要进行补零和设置步长。输入尺寸和输出尺寸的关系如下式：
Figure BDA0002477136490000123
其中，O表示输出特征尺寸，I表示输入特征尺寸，P为每侧补零的数目，F为卷积核的尺寸，S为滑动步长。
针对尺度为3的卷积核，设置补零数为1，滑动步长为1。
针对尺度为5的卷积核，设置补零数为2，滑动步长为1。
针对尺度为7的卷积核，设置补零数为3，滑动步长为1。
将在不同尺度下卷积后的三种特征通过元素加的方式进行融合。在最大值池化和最小值池化两条分支上都进行此种操作。
在两条分支末端各提取出一种特征，将这两种特征通过元素加的方式进行特征融合，再通过softmax函数归一化到0～1区间，由此得到通道注意力信息。
将获得的通道注意力信息和通道注意力模块的输入数据进行相乘操作，得到融合了通道注意力信息的特征图。相乘操作的公式如下：
Figure BDA0002477136490000131
其中，
Figure BDA0002477136490000132
为元素乘符号，表示通道注意力特征向量在空间维度上进行复制，并和通道注意力模块的输入数据完成元素乘操作。J∈RH×W×C表示通道注意力模块的输入数据，ATTEN_C∈R1×1×C表示通道注意力特征。N∈RH×W×C表示融合了通道注意力的特征图，即通道注意力模块的输出特征图。
在上采样阶段，每次上采样之后都经过一次特征融合操作，将上采样过程中的特征和下采样对应尺度的特征进行融合。
参考图8，上采样特征图和下采样特征图分别经过1×1共享卷积层和ReLU函数，将通道数降为1。随后将二维特征图按行展开为一维向量，然后经过两层共享全连接层，得到标量αUP和αDN。将这两个标量经过softmax函数进行归一化处理，得到两个融合比例系数，公式如下：
Figure BDA0002477136490000133
Figure BDA0002477136490000134
其中，ρUP和ρDN分别表示上采样特征图和下采样特征图的融合系数，αUP和αDN为共享全连接层的输出结果。将上采样特征图和下采样特征图和对应的融合比例系数相乘，并在通道维度上完成通道拼接操作，公式如下：
comb＝[ρUPfUP；ρDNfDN]
其中comb表示拼接后的特征图，fUP和fDN分别表示上采样特征图和下采样特征图，；表示在通道维度上的特征拼接操作。
拼接后的特征经过两层3×3卷积层进行特征提取，并在每层卷积层后通过ReLU函数，其中两层卷积操作的填充方式均为对称填充，以保证卷积前后特征图的尺寸不变。
将经过多次上采样和卷积操作的特征通过1×1的卷积层进行降维操作，再通过softmax函数，输出预测图。
将神经网络的参数进行随机初始化，并采用Lookahead优化方法进行优化，最终输出分割结果，并经过二值化处理后，如图9所示。
本发明公开的基于双分支注意力深度学习的癌症图像分割方法及系统，首先对癌症高光谱图像进行预处理操作，并将数据集划分为训练集和测试集；然后构建一个双分支的基于注意力机制的深度卷积神经网络，通过划分出的训练集对网络进行训练；然后利用训练好的神经网络对测试集进行测试，最终达到分割癌症高光谱图像的目的。本发明依据癌症高光谱图像的特点，构建双分支结构，分别提取高光谱图像的空间信息和光谱信息并加以融合，最终得到预测结果。
参考文献
[1]Huang T S.A fast two-dimensional median filtering algorithm[J].IEEE Trans.on Acoustic.Speech.and Signal Processing,1979,27(1):13-18.
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (10)

1.一种基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，包括以下步骤：
步骤1：获取癌症病理组织切片，在高光谱显微镜下完成高光谱图像采集；记所述高光谱图像的维度为RH×W×C；其中，H、W、C分别表示高光谱图像的高、宽和通道数；
步骤2：将高光谱图像数据集划分为训练集和测试集，并将所述训练集高光谱图像进行标注，划分为患癌区域和无癌区域；
步骤3：将所述高光谱图像进行去噪处理，并完成归一化操作；
步骤4：根据去噪及归一化后的高光谱图像，构建基于双分支注意力机制的深度卷积神经网络；所述神经网络包括下采样阶段和上采样阶段；其中，
在下采样阶段利用空间-通道注意力模块提取所述高光谱图像数据的空间信息和光谱信息特征；在上采样阶段利用卷积层提取特征；
所述神经网络对高光谱图像先下采样，后上采样的过程中进行多次特征提取操作，每次提取不同空间尺度下的特征信息，并将上采样之后的特征和对应尺度下的下采样特征进行自适应比例特征融合操作；
每次上采样之后都进行一次自适应比例特征融合操作，即：上采样特征图和下采样特征图经过1×1共享卷积层和ReLU函数，将通道数降为1，得到两个二维特征图；随后将两个二维特征图按行展开为一维向量，然后经过两层共享全连接层，得到标量αUP和αDN；将这两个标量经过softmax函数进行归一化处理，得到两个融合比例系数，公式如下：
Figure FDA0003495541880000011
Figure FDA0003495541880000012
其中，ρUP和ρDN分别表示上采样特征图和下采样特征图的融合系数，αUP和αDN为共享全连接层的输出结果；
将上采样特征图和下采样特征图和对应的融合比例系数相乘，并在通道维度上完成通道拼接操作，公式如下：
comb＝[ρUPfUP；ρDNfDN]
其中，comb表示拼接后的特征图，fUP和fDN分别表示上采样特征图和下采样特征图，；表示在通道维度上的特征拼接操作；
在上采样阶段最后得到的特征维度为RH×W×C，通过1×1的卷积层和softmax函数降低通道维度，输出两个通道的预测图，即患癌和无癌两类分割结果；
步骤5：将训练集送入神经网络中，并通过学习算法，通过神经网络损失函数和优化方法进行多次循环迭代完成网络的训练；将测试集送入训练后的网络中，实现高光谱图像的分割。
2.根据权利要求1所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述步骤3中，去噪处理为将高光谱图像通过中值滤波器进行处理，滤除椒盐噪声，公式为：
Figure FDA0003495541880000021
其中，g(s,t)表示叠加了噪声的单波段的子图像，(s,t)表示滤波前的一组坐标点；表示经过中值滤波器处理后的图像，(x,y)表示中值滤波器的输出坐标点，x∈[0,W-1],y∈[0,H-1]，x和y均为整数；median为二维中值滤波函数；Sxy表示中心在点(x,y)处、大小为5×5的子图像窗口的一组坐标点；当中心处于高光谱图像的边缘时该组坐标点只包含子图像窗口落在图像中的有效像素坐标点。
3.根据权利要求2所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述步骤3中，经过中值滤波后，针对高光谱图像中的每个通道进行归一化处理，公式为：
Figure FDA0003495541880000022
其中，D为输入像素值，E为输出像素值；MinValue为该通道像素点中的最小值，MaxValue为该通道像素点中的最大值。
4.根据权利要求1所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述神经网络下采样阶段对所述空间信息和光谱信息特征经过多次先下采样再特征提取的操作；在此基础上开始上采样阶段，即对下采样阶段得到的特征执行相同次数的先上采样，再自适应比例特征融合，然后特征提取的操作；在先下采样后上采样过程中，提取不同空间尺度下的特征信息；上采样阶段中自适应比例特征融合过程将上采样的特征和对应空间尺度的下采样特征进行自适应比例特征融合操作。
5.根据权利要求1所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述空间-通道注意力模块将高光谱图像或特征图经过5×5卷积层和ReLU函数，再经过一层5×5卷积层提取特征，输出经过特征提取后的特征图，所述经过特征提取后的特征图的维度与所述空间-通道注意力模块的输入数据的维度保持一致；随后神经网络分为两条分支，用来提取不同维度上的注意力信息。
6.根据权利要求5所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述空间-通道注意力模块中的一条分支用于提取空间特征信息；记所述空间-通道注意力模块输入数据的维度为RH1×W1×C，C为16的整数倍，该分支将数据在通道维度上进行分组，然后对每组数据在通道维度上进行最大值池化操作，再将池化后的每组数据在通道维度上进行拼接，最后输出特征图；该分支通过构建4种不同的分组数量，输出4个通道数不同的特征图，其通道数分别为
Figure FDA0003495541880000031
目的在于获取不同通道尺度下的空间信息；将四个特征图在通道维度上进行拼接，其输出通道数为
Figure FDA0003495541880000032
将拼接后的特征通过1×1卷积层和softmax函数使得特征值被归一化到0～1区间，得到维度为RH1×W1×1的空间注意力信息；将所述空间注意力信息和提取空间注意力前的特征图相乘，即空间注意力信息在通道维度上进行复制C个，并和该分支的输入数据完成元素乘操作，得到融合了空间注意力信息的特征图，该特征图维度为RH1×W1×C；
所述空间-通道注意力模块中的另一条分支用于提取通道特征信息；首先将输入数据在空间维度上进行最大值池化和平均值池化，得到维度均为R1×1×C的最大值池化特征和平均值池化特征，然后将两种特征分别并行通过尺度为3、5、7的三个一维卷积；将三个一维卷积的卷积结果通过元素加的方式进行融合，得到最大值池化和平均值池化两种多尺度融合特征，它们的维度均为R1×1×C；最后将得到的这两种多尺度融合特征再次通过元素加的方式进行融合，并经过softmax函数，得到维度为R1×1×C的通道注意力信息；
将所述通道注意力信息同提取通道注意力前的特征图相乘，即通道注意力信息在空间维度上进行复制H1×W1个，并和该分支的输入数据完成元素乘的操作，得到融合了通道注意力信息的特征图，维度为R H1×W1×C；
然后将两条分支提取出的特征采用元素加的方式进行特征融合，最后经过ReLU函数。
7.根据权利要求1所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述神经网络损失函数为：
Figure FDA0003495541880000033
其中，ai为所有标注图像的像素点；bi为所有预测图像的对应像素点；n为所有标注图像中像素点的总个数；A为所有标注图像中所有像素值组成的矩阵；B为所有预测图像中所有对应像素值组成的矩阵；|A∩B|表示所有标注图像和所有预测图像对应像素的点乘，并将点乘的结果相加；|A|表示所有标注图像中所有像素值的累加和；|B|表示所有预测图像中所有像素值的累加和；λ∈[0.01,0.1]为超参数；
所述神经网络的参数采用Lookahead优化方法优化，以提高分割准确率。
8.根据权利要求1所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述癌症为胆管癌。
9.一种基于双分支注意力深度学习的癌症高光谱图像分割系统，其特征在于，采用如权利要求1-8之任一项所述的癌症高光谱图像分割方法，所述系统包括：
采集模块，用于采集高光谱图像；
标注模块，用于划分高光谱图像；
预处理模块，用于对高光谱图像进行去噪处理及归一化；
构建模块，用于构建基于双分支注意力机制的深度卷积神经网络；
训练测试模块，用于神经网络训练与测试。
10.根据权利要求9所述的基于双分支注意力深度学习的癌症高光谱图像分割系统，其特征在于，所述训练测试模块包括训练单元和测试单元：
所述训练单元用于训练构建好的神经网络并对网络进行参数调优，确定神经网络中的参数；
所述测试单元用于对测试集进行测试操作，得到所需要的分割结果。
CN202010367647.3A 2020-04-30 2020-04-30 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 Active CN111667489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010367647.3A CN111667489B (zh) 2020-04-30 2020-04-30 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367647.3A CN111667489B (zh) 2020-04-30 2020-04-30 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN111667489A CN111667489A (zh) 2020-09-15
CN111667489B true CN111667489B (zh) 2022-04-05

Family

ID=72383183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367647.3A Active CN111667489B (zh) 2020-04-30 2020-04-30 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN111667489B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200090B (zh) * 2020-10-12 2022-07-01 桂林电子科技大学 基于交叉分组空谱特征增强网络的高光谱图像分类方法
CN112347908B (zh) * 2020-11-04 2022-10-18 大连理工大学 一种基于空间分组注意力模型的外科手术器械图像识别方法
CN112686837A (zh) * 2020-11-27 2021-04-20 北京工业大学 一种黑色素癌图像的分割方法及网络
CN112446383B (zh) * 2020-11-30 2022-09-02 展讯通信（上海）有限公司 车牌识别方法及装置、存储介质、终端
CN112434663B (zh) * 2020-12-09 2023-04-07 国网湖南省电力有限公司 基于深度学习的输电线路山火检测方法、系统及介质
CN112507888A (zh) * 2020-12-11 2021-03-16 北京建筑大学 建筑物识别方法及装置
CN112733659B (zh) * 2020-12-30 2022-09-20 华东师范大学 一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法
CN112699822B (zh) * 2021-01-05 2023-05-30 浪潮云信息技术股份公司 一种基于深度卷积神经网络的餐厅菜品识别方法
CN112767416B (zh) * 2021-01-19 2023-03-24 中国科学技术大学 一种基于空间和通道双重注意力机制的眼底血管分割方法
CN113156420A (zh) * 2021-03-12 2021-07-23 中国石油大学(华东) 溢油检测系统以及方法
CN112990333A (zh) * 2021-03-27 2021-06-18 上海工程技术大学 一种基于深度学习的天气多分类识别方法
CN113269783A (zh) * 2021-04-30 2021-08-17 北京小白世纪网络科技有限公司 一种基于三维注意力机制的肺结节分割方法及装置
CN113327304A (zh) * 2021-05-28 2021-08-31 北京理工大学重庆创新中心 一种基于端到端神经网络的高光谱图像显著图生成方法
CN113469962B (zh) * 2021-06-24 2024-05-14 江苏大学 一种面向癌症病变检测的特征提取和图文融合方法及系统
CN113362350B (zh) * 2021-07-26 2024-04-02 海南大学 癌症病历图像的分割方法、装置、终端设备和存储介质
CN113762251B (zh) * 2021-08-17 2024-05-10 慧影医疗科技(北京)股份有限公司 一种基于注意力机制的目标分类方法及系统
CN113743258A (zh) * 2021-08-20 2021-12-03 科大讯飞股份有限公司 目标识别方法、装置、电子设备以及计算机可读存储介质
CN113887645B (zh) * 2021-10-13 2024-02-13 西北工业大学 一种基于联合注意力孪生网络的遥感图像融合分类方法
CN114252423B (zh) * 2021-12-24 2024-02-02 汉姆德(宁波)智能医疗科技有限公司 超分辨显微镜完全采样图像的生成方法、装置
CN114332462A (zh) * 2021-12-31 2022-04-12 福州大学 一种针对大脑病变融入注意力机制的mri分割方法
CN114549962A (zh) * 2022-03-07 2022-05-27 重庆锐云科技有限公司 一种园林植物叶病分类方法
CN115272776B (zh) * 2022-09-26 2023-01-20 山东锋士信息技术有限公司 基于双路卷积与双注意的高光谱图像分类方法及存储介质
CN115578360B (zh) * 2022-10-24 2023-12-26 电子科技大学 一种针对超声心动图像的多目标语义分割方法
CN115393596B (zh) * 2022-10-28 2023-02-21 武汉纺织大学 一种基于人工智能的服装图像分割方法
CN116188774B (zh) * 2022-12-13 2024-03-22 湖南大学 高光谱图像实例分割方法及建筑实例分割方法
CN116189021B (zh) * 2023-02-27 2024-04-09 中国人民解放军国防科技大学 多分支互交叉注意力增强的无人机多光谱目标检测方法
CN116310459B (zh) * 2023-03-28 2024-01-19 中国地质大学（武汉） 基于多视图空谱联合的高光谱图像子空间聚类方法
CN116402780B (zh) * 2023-03-31 2024-04-02 北京长木谷医疗科技股份有限公司 基于双自注意力和深度学习的胸椎图像分割方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110532955A (zh) * 2019-08-30 2019-12-03 中国科学院宁波材料技术与工程研究所 基于特征注意力和子上采样的实例分割方法和装置
CN110533045A (zh) * 2019-07-31 2019-12-03 中国民航大学 一种结合注意力机制的行李x光违禁品图像语义分割方法
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110533045A (zh) * 2019-07-31 2019-12-03 中国民航大学 一种结合注意力机制的行李x光违禁品图像语义分割方法
CN110532955A (zh) * 2019-08-30 2019-12-03 中国科学院宁波材料技术与工程研究所 基于特征注意力和子上采样的实例分割方法和装置
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于双注意力编码－解码器架构的视网膜血管分割;李天培 等;《计算机科学》;20191225;全文 *
基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割;徐宏伟 等;《计算机应用研究》;20190709;全文 *

Also Published As

Publication number Publication date
CN111667489A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111667489B (zh) 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
Shorfuzzaman An explainable stacked ensemble of deep learning models for improved melanoma skin cancer detection
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
CN111915596A (zh) 一种肺结节良恶性预测方法及装置
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
US20090154792A1 (en) Linear Feature Detection Method and Apparatus
CN110852396A (zh) 一种宫颈图像的样本数据处理方法
JP2010512173A (ja) 内視鏡からの映像を用いるコンピュータ支援解析
Elmannai et al. Deep learning models combining for breast cancer histopathology image classification
CN113239755B (zh) 一种基于空谱融合深度学习的医学高光谱图像分类方法
CN114266786A (zh) 基于生成对抗网络的胃病变分割方法及系统
CN113781489B (zh) 一种息肉影像语义分割方法及装置
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
CN115063592B (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN113450305B (zh) 医疗图像的处理方法、系统、设备及可读存储介质
CN112927243A (zh) 一种基于卷积神经网络的微出血病灶分割方法
Noor et al. GastroNet: A robust attention‐based deep learning and cosine similarity feature selection framework for gastrointestinal disease classification from endoscopic images
Eltoukhy et al. Classification of multiclass histopathological breast images using residual deep learning
CN113538435B (zh) 一种基于深度学习的胰腺癌病理图像分类方法及系统
Sivaprakasam et al. Segmentation and classification of cervical cytology images using morphological and statistical operations
Jagadeesh et al. Brain Tumour Classification using CNN Algorithm
CN115457061A (zh) 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法
CN113222009A (zh) 一种基于甲状腺超声视频估算结节纵横比的方法
Venkata et al. A Convolution Neural Network based MRI breast mass diagnosis using Zernike moments
Aggarwal et al. Deep Learning based Breast Cancer Classification on Thermogram

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant