CN113962990A - 胸部ct图像识别方法、装置、计算机设备和存储介质 - Google Patents

胸部ct图像识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113962990A
CN113962990A CN202111536612.9A CN202111536612A CN113962990A CN 113962990 A CN113962990 A CN 113962990A CN 202111536612 A CN202111536612 A CN 202111536612A CN 113962990 A CN113962990 A CN 113962990A
Authority
CN
China
Prior art keywords
convolution
module
layer
features
chest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111536612.9A
Other languages
English (en)
Other versions
CN113962990B (zh
Inventor
王威
黄文迪
王新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202111536612.9A priority Critical patent/CN113962990B/zh
Publication of CN113962990A publication Critical patent/CN113962990A/zh
Application granted granted Critical
Publication of CN113962990B publication Critical patent/CN113962990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种胸部CT图像识别方法、装置、计算机设备和存储介质。所述方法针对CT图像特点，设计轻量级的胸部CT图像识别网络更快速准确地识别出胸部CT图像。引入X‑DMFF模块，提升模型性能且降低计算成本。在DMS模块中引入Swin‑Transformer与残差学习，提取更多尺度的空间特征信息并对特征信息不断重用，提升模型分类效果。

Description

胸部CT图像识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像识别技术领域，特别是涉及一种胸部CT图像识别方法、装置、计算机设备和存储介质。
背景技术
目前诊断新型冠状病毒感染的肺炎的主要医学手段有胸部计算机断层扫描(胸部CT)、胸部X射线图像检测、磁共振成像(MRI)等。但是对于放射科医生来说，通过人工阅片来检阅肺部CT图像中的病灶信息是一项极具挑战性的工作。该工作需要耗费医生大量的时间，而且可能由于视觉疲劳等原因导致误诊、漏诊的情况。因此，计算机辅助诊断(CAD)系统应运而生，并且被广泛应用于医学图像处理领域，能够解决医学图像领域中复杂的计算机视觉问题。
基于深度学习技术识别胸部CT图像的技术已经有较多的研究，也取得了一定的研究成果。但是现有的识别方法网络结构复杂、参数量较大、计算量较大、准确率不高。
发明内容
基于此，有必要针对上述技术问题，提供一种胸部CT图像识别方法、装置、计算机设备和存储介质。
一种胸部CT图像识别方法，所述方法包括：
获取胸部CT图像，并对所述胸部CT图像进行标注，得到训练样本。
构建胸部CT图像识别网络；所述胸部CT图像识别网络包括输入网络、特征提取网络以及分类网络；所述输入网络用于通过空洞卷积方式提取所述训练样本的空洞卷积特征；所述特征提取网络包括X-DMFF模块、DMS模块以及自适应池化层；所述特征提取网络用于采用X-DMFF模块提取空洞卷积特征中包含精准坐标信息、纹理信息的局部特征，并将局部特征经过DMS模块得到多尺度的空间特征；所述X-DMFF模块是通道数可调的卷积模块，用于将输入的特征切分为通道相同的两路并对切分结果进行卷积，将得到的卷积结果进行通道拼接和通道混洗，得到局部信息特征；所述DMS模块包括两条分别以自注意力模块、卷积模块为主干的支路，用于将输入的特征切分为通道相同的两路，并将两路特征分别输入到两条支路中进行特征提取后进行通道拼接和通道混洗操作，得到多尺度的空间特征；所述分类网络用于根据所述多尺度的空间特征对训练样本进行分类，得到样本预测分类结果。
根据所述训练样本的标注和将所述训练样本输入到所述胸部CT图像识别网络得到的样本预测分类结果，对所述胸部CT图像识别网络进行训练，得到训练好的胸部CT图像识别网络。
获取待测胸部CT图像，并将所述待测胸部CT图像输入到训练好的胸部CT图像识别网络中，得到胸部CT图像的类别。
一种胸部CT图像识别装置，所述装置包括：
训练样本获取模块，用于获取胸部CT图像，并对所述胸部CT图像进行标注，得到训练样本。
胸部CT图像识别网络构建模块，用于构建胸部CT图像识别网络；所述胸部CT图像识别网络包括输入网络、特征提取网络以及分类网络；所述输入网络用于通过空洞卷积方式提取所述训练样本的空洞卷积特征；所述特征提取网络包括X-DMFF模块、DMS模块以及自适应池化层；所述特征提取网络用于采用X-DMFF模块提取空洞卷积特征中包含精准坐标信息、纹理信息的局部特征，并将局部特征经过DMS模块得到多尺度的空间特征；所述X-DMFF模块是通道数可调的卷积模块，用于将输入的特征切分为通道相同的两路并对切分结果进行卷积，将得到的卷积结果进行通道拼接和通道混洗，得到局部信息特征；所述DMS模块包括两条分别以自注意力模块、卷积模块为主干的支路，用于将输入的特征切分为通道相同的两路，并将两路特征分别输入到两条支路中进行特征提取后进行通道拼接和通道混洗操作，得到多尺度的空间特征；所述分类网络用于根据所述多尺度的空间特征对训练样本进行分类，得到样本预测分类结果。
胸部CT图像识别网络训练模块，用于根据所述训练样本的标注和将所述训练样本输入到所述胸部CT图像识别网络得到的样本预测分类结果，对所述胸部CT图像识别网络进行训练，得到训练好的胸部CT图像识别网络。
胸部CT图像的类别确定模块，用于获取待测胸部CT图像，并将所述待测胸部CT图像输入到训练好的胸部CT图像识别网络中，得到胸部CT图像的类别。
上述胸部CT图像识别方法、装置、计算机设备和存储介质，针对CT图像特点，设计轻量级的胸部CT图像识别网络更快速准确地识别出胸部CT图像。引入X-DMFF模块，提升模型性能且降低计算成本。在DMS模块中引入Swin-Transformer与残差学习，提取更多尺度的空间特征信息并对特征信息不断重用，提升模型分类效果。
附图说明
图1为一个实施例中胸部CT图像识别方法的流程示意图；
图2为一个实施例中胸部CT图像识别网络的结构示意图；
图3为一个实施例中DMFF模块的结构示意图；
图4为另一个实施例中X-DMFF模块的结构示意图；
图5为另一个实施例中DMS模块的结构示意图；
图6为另一个实施例中Swin-Transformer模块的内部结构图，其中（a）为一个Swin-Transformer模块，（b）为两个连续的Swin-Transformer模块；
图7为另一个实施例中K-DMFF模块的结构示意图；
图8为另一个实施例中KD-DMFF模块的结构示意图；
图9为一个实施例中胸部CT图像识别装置的结构框图；
图10为一个实施例中计算机设备的内部结构图；
图11为一个实施例中实验数据集的部分示例，其中（a）为COVID-19胸部CT图像，（b）为普通肺炎CT图像，（c）为正常胸部CT图像。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
DS-CTNet网络为胸部CT图像识别网络。
在一个实施例中，如图1所示，提供了一种胸部CT图像识别方法，该方法包括以下步骤：
步骤100：获取胸部CT图像，并对胸部CT图像进行标注，得到训练样本；
步骤102：构建胸部CT图像识别网络。
胸部CT图像识别网络包括输入网络、特征提取网络以及分类网络。
输入网络用于通过空洞卷积方式提取训练样本的空洞卷积特征。
特征提取网络包括X-DMFF模块、DMS模块以及自适应池化层；特征提取网络用于采用X-DMFF模块提取空洞卷积特征中包含精准坐标信息、纹理信息的局部特征，并将局部特征经过DMS模块得到多尺度的空间特征。
分类网络用于根据多尺度的空间特征对训练样本进行分类，得到样本预测分类结果。
X-DMFF模块是通道数可调的卷积模块，用于将输入的特征切分为通道相同的两路并对切分结果进行卷积，将得到的卷积结果进行通道拼接和通道混洗，得到局部信息特征。
DMS模块包括两条分别以自注意力模块、卷积模块为主干的支路，用于将输入的特征切分为通道相同的两路，并将两路特征分别输入到两条支路中进行特征提取后进行通道拼接和通道混洗操作，得到多尺度的空间特征。
胸部CT图像识别网络（DS-CTNet网络）的第一层为膨胀率为2的
Figure 340206DEST_PATH_IMAGE001
空洞卷积，增加局部感受野；经过2个X-DMFF模块，获取包含精准坐标信息、纹理信息，提升通道维度等；经过3个连续的DMS模块；经过一层PyTorch提供的窗口大小为
Figure 460609DEST_PATH_IMAGE002
的自适应池化层，压缩空间特征，然后展平。经过2层全连接层，整合类间区分信息，最后利用分类器输出分类标签。DS-CTNet网络的结构如图2所示。
步骤104：根据训练样本的标注和将训练样本输入到胸部CT图像识别网络得到的样本预测分类结果，对胸部CT图像识别网络进行训练，得到训练好的胸部CT图像识别网络。
步骤106：获取待测胸部CT图像，并将待测胸部CT图像输入到训练好的胸部CT图像识别网络中，得到胸部CT图像的类别。
上述胸部CT图像识别方法中，针对CT图像特点，设计轻量级的胸部CT图像识别网络更快速准确地识别出胸部CT图像。引入X-DMFF模块，提升模型性能且降低计算成本。在DMS模块中引入Swin-Transformer与残差学习，提取更多尺度的空间特征信息并对特征信息不断重用，提升模型分类效果。
在其中一个实施例中，输入网络包括1层空洞卷积层；特征提取网络由2个X-DMFF模块、3个连续的DMS模块、1层自适应池化层组成；3个连续的DMS模块连接关系是前一个DMS模块的输出作为下一个DMS模块的输入；步骤104包括如下步骤：
步骤200：将训练样本输入到输入网络的空洞卷积层中，得到空洞卷积特征。
步骤202：将空洞卷积特征输入到特征提取网络的第一个X-DMFF模块中，得到第一局部信息特征。
步骤204：将第一局部信息特征输入到特征提取网络的第二个X-DMFF模块中，得到局部信息特征。
步骤206：将局部信息特征输入到3个连续的DMS模块中，得到多尺度的空间特征。
步骤208：将多尺度的空间特征输入到分类网络中，得到样本分类预测结果，并根据样本分类预测结果和训练样本的标注进行反向训练，得到训练好的胸部CT图像识别网络。
在其中一个实施例中，X-DMFF模块包括：两条支路，第一条支路由1层点卷积层、1层深度空洞卷积层和1层点卷积层组成；第二条支路由1层点卷积层、1层深度卷积层和1层点卷积层组成；两条支路中的卷积层的通道数可调；点卷积层包括卷积核个数为
Figure 709188DEST_PATH_IMAGE003
、步长为1的点卷积；深度空洞卷积层包括卷积核个数为
Figure 369976DEST_PATH_IMAGE004
、卷积核为
Figure 653190DEST_PATH_IMAGE005
、步长为1、空洞率为2的空洞深度卷积；深度卷积层包括卷积核个数为
Figure 678915DEST_PATH_IMAGE006
、卷积核为
Figure 414790DEST_PATH_IMAGE007
、步长为1的深度卷积；其中c为特征通道数，x为可调整的通道数，x为大于1的整数；步骤202包括：将空洞卷积特征切分为通道相同的两路特征；将第一路特征输入到第一个X-DMFF模块的第一条支路中，先后通过点卷积层、空洞深度卷积层以及点卷积层进行特征提取，得到空洞卷积特征；将将第二路特征输入到第一个X-DMFF模块的第二条支路中，先后通过点卷积层、深度卷积层以及点卷积层进行特征提取，得到深度卷积特征；将空洞卷积特征和深度卷积特征进行通道拼接，将得到的拼接特征进行通道混洗操作，得到第一局部信息特征。
具体的，K-DMFF、KD-DMFF、X-DMFF是DMFF的变体。
DMFF模块是一种高效的卷积模块，它具有较强的局部信息提取能力。该模块的结构如图3所示。DMFF模块先将输入图像在通道域上切分成两组通道数相同的特征图，然后把这两组特征图分别送入到模块中的两条支路中。每个支路以相似的模式提取图像特征：先使用一层点卷积层，提高特征图的通道维度；然后使用一层卷积核大小为
Figure 82531DEST_PATH_IMAGE007
，步长为2的深度卷积层或空洞卷积层提取图像中的特征信息；最后再使用一层点卷积层，进一步调整所提取到的信息。在两个支路完成对特征图信息的提取之后，再把这两组经过处理的特征图进行通道上的拼接，最后得到一组空间维度减半、更多通道的特征图。最后，在模块的输出之前对特征图进行通道混洗。
X-DMFF模块的结构如图4所示。对于规模更大的数据集，我们通常需要更宽、更深的卷积神经网络来提取更多更深层的特征。因此，我们对DMFF模块进行了改进，在DMFF模块中引入一个新的参数x，使得支路中的提升的通道数可调节，而不局限于8。在网络设计的过程中，与DMFF模块相比，X-DMFF模块可以更灵活地调节网络的通道变化幅度。
在其中一个实施例中，DMS模块中以自注意力模块为主干的支路包括：若干个连续的Swin-Transformer模块、1个点卷积层、1层平均池化层；DMS模块中以卷积模块为主干的支路包括：两个连续的K-DMFF模块、1个KD-DMFF模块；步骤206包括：将局部信息特征输入到第一个DMS模块中，对局部信息特征在通道域上按一定比例进行切分，得到两组通道数不同、空间维度相同的切分局部信息特征；将第一组切分局部信息特征输入到第一个DMS模块的第一条支路中，经过若干个连续的Swin-Transformer模块，利用Swin-Transformer模块中的自注意力机制进行特征提取，并将提取得到的特征经过一个点卷积层，对所学习到的特征进行调整，并将得到的特征经过一个平均池化层，得到注意力特征；将第二组切分局部信息特征输入到第一个DMS模块的第二条支路的第一个K-DMFF模块中，得到第一卷积特征；将第二组切分局部信息特征于第一卷积特征相加，得到第一融合特征；将第一融合特征输入到第一个DMS模块的第二条支路的第二个K-DMFF模块中，得到第二卷积特征；将第二卷积特征与第一融合特征相加，并将得到的融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块中，得到卷积特征；将注意力特征和卷积特征进行通道拼接，并将拼接结果进行通道混洗操作，得到第一多尺度的空间特征；将第一多尺度的空间特征输入到第二个DMS模块中，并将得到的第二多尺度的空间特征输入到第三个DMS模块中，得到多尺度的空间特征。
具体的，DMS模块的结构如图5所示。DMS模块的两条支路分别以自注意力模块、卷积层为主干。给定一组形状为(h,w,c)的特征图作为该模块的输入，其中h，w分别代表输入特征图的高、宽，c代表输入特征图的通道数。最初，DMS模块会把输入的特征图在通道域上按一定比例进行切分，切分后得到两组通道数不同、空间维度相同的特征图。通往支路1的特征图的形状为(h,w,a)，它会先经过若干个连续的Swin-Transformer模块，利用该模块中的自注意力机制实现特征提取；然后经过一个点卷积层，进一步调整所学习到的特征，并提升通道数以丰富特征；在支路1的最后，特征图将经过一个池化核大小为2、步长为2的平均池化层，减小特征图的空间尺寸，压缩空间特征。通往支路2的特征图的形状为(h,w,c-a)，它会经过两个连续的K-DMFF模块，并且每次经过K-DMFF模块都会进行残差学习，即：将该K-DMFF模块的输出特征图和它的输入特征图进行元素相加,相加得到的特征图作为下一个模块的输入；然后经过一个KD-DMFF模块,在进一步提取特征的同时,使特征图的空间维度减半，从而实现压缩空间信息,同时保持其通道数不变。切分得到的两组特征图分别经过支路1，支路2处理之后，将两条支路所得到的特征图进行通道域的拼接，得到形状为(h/2,w/2,c+16)的特征图。最后，在DMS模块的输出之前，对特征图进行通道混洗，保持特征图之间的信息交流。
Swin-Transformer模块的内部结构如图6，其中（a）为一个Swin-Transformer模块，（b）为两个连续的Swin-Transformer模块。对于单个Swin-Transfomer模块，假设输入图像的形状为(b,c,h,w)，其中b代表图片批量的大小，c代表输入图像的通道数，h，w分别代表输入图像的高和宽。输入图像经过编码处理之后，形状将变成(b,l,d)，其中L等于输入图像的高h与宽w的乘积，d是编码处理后得到的每个嵌入向量的维度。经过层归一化后的嵌入向量将输入到窗口多头自注意力机制（W-MSA）中。与经典的多头自注意力（MSA）相同，该机制所输出的张量维度仍为(b,l,d)。然后通过跳跃连接，将层归一化前的嵌入向量与窗口多头自注意力机制的输出进行相加(元素相加)。接着，与经典的ViT模块相似，嵌入向量经过再一次的层归一化处理后被输入到多层感知机中。多层感知机由若干个融入了Dropout机制的全连接层堆叠而成。通过跳跃连接，把模块中第二次层归一化的输入与多层感知机的输出进行相加(元素相加)，得到一个形状为(b,l,d)的向量组。由于l=h*w，因此该向量组可以重新排列成形状为(b,d,h,w)的张量,即Swin-Transformer模块的输出图像。而当两个SwinTransformer模块以串联的方式连接起来时，第二个Swin-Transformer模块中的自注意力机制将改成滑动窗口多头自注意力机制（SW-MSA）。
与经典的多头自注意力机制MSA相比，W-MSA和SW-MSA更专注于提取局部区域的信息。而且，由于不同窗口中的图像块不再计算关联度，因此W-MSA、S-MSA的产生的参数量和计算量会比MSA少。
在其中一个实施例中，K-DMFF模块包括两条特征提取支路，第一条特征提取支路包括1层点卷积层，1层卷积核大小为
Figure 718787DEST_PATH_IMAGE008
、步长为1、空洞率为2的空洞深度卷积层和1层点卷积层；第二条特征提取支路包括1层点卷积层，1层卷积核大小为
Figure 977730DEST_PATH_IMAGE008
、步长为1的深度卷积层和1层点卷积层；步骤206还包括：将第二组切分局部信息特征输入到第一个DMS模块的第二条支路的第一个K-DMFF模块中，在通道域上进行通道切分，得到两组通道数相同的特征图；将第一组特征图输入到第一个DMS模块的第二条支路的第一个K-DMFF模块的第一特征提取支路中，通过1层点卷积层，1层卷积核大小为
Figure 935322DEST_PATH_IMAGE008
、步长为1、空洞率为2的空洞深度卷积层和1层点卷积层进行特征提取，得到第一组局部卷积特征；将第二组特征图输入到第一个DMS模块的第二条支路的第一个K-DMFF模块的第一特征提取支路中，通过1层点卷积层，1层卷积核大小为
Figure 141175DEST_PATH_IMAGE008
、步长为1的深度卷积层和1层点卷积层进行特征提取，得到第二组局部卷积特征；将第一组局部卷积特征和第二组局部卷积特征进行通道拼接，并将拼接结果进行通道混洗操作，得到第一卷积特征。
如图7所示K-DMFF模块的结构可知，K-DMFF模块与DMFF模块的主要区别是：(1)两条支路中的空洞深度卷积以及深度卷积的步长为1；(2)对特征图进行卷积处理时，不改变特征图的通道数。因此，当K-DMFF的输入特征图尺寸与输出特征图尺寸完全相同，这意味着该模块的输入特征图与输出特征图可以直接进行元素相加。这种特性使得K-DMFF模块更适合于残差学习。
K-DMFF用于将输入图像在通道域上切分成两组通道数相同的特征图，然后把这两组特征图分别送入到模块中的两条支路中；每个支路以相似的模式提取图像特征，再把这两组经过处理的特征图进行通道上的拼接，得到一组空间维度减半、更多通道的特征图，最后在模块的输出之前对特征图进行通道混洗。
在其中一个实施例中，KD-DMFF模块包括两条特征提取支路，第一条特征提取支路包括1层点卷积层，1层卷积核大小为
Figure 930139DEST_PATH_IMAGE008
、步长为2、空洞率为2的空洞深度卷积层和1层点卷积层；第二条特征提取支路包括1层点卷积层，1层卷积核大小为
Figure 828825DEST_PATH_IMAGE009
、步长为2的深度卷积层和1层点卷积层；步骤206还包括：将第二卷积特征与第一融合特征相加，得到第二融合特征；将第二融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块中，在通道域上进行通道切分，得到通道数相同的两组切分融合特征；将第二组切分融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块的第一条特征提取支路中，通过1层点卷积层，1层卷积核大小为
Figure 273713DEST_PATH_IMAGE010
、步长为2、空洞率为2的空洞深度卷积层和1层点卷积层进行特征提取，得到第一组融合卷积特征；将第二组切分融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块的第二条特征提取支路中，通过1层点卷积层，1层卷积核大小为
Figure 17678DEST_PATH_IMAGE011
、步长为2的深度卷积层和1层点卷积层进行特征提取，得到第二组融合卷积特征；将第一组融合卷积特征和第二组融合卷积特征进行通道拼接，并将拼接结果进行通道混洗操作，得到卷积特征。
如图8所示KD-DMFF模块的结构可知，KD-DMFF模块保留了DMFF模块中步长为2的深度卷积层和空洞深度卷积层，但在对特征图进行卷积处理时，不改变特征图的通道数。输入特征图的空间维度是输出特征图的两倍，且通道数相同。因此，只需对输入特征图进行简单的池化操作，使得它的空间维度减半，就可以使得它的维度与输出特征图的维度相同。KD-DMFF模块同样比DMFF模块更易于应用到残差学习中。
在其中一个实施例中，分类网络包括：两层全连接层；步骤208包括：将多尺度的空间特征输入到分类网络中通过两层全连接层中，整合类间区分特征，得到全连接特征；根据全连接特征，采用分类器，得到样本分类预测结果；根据样本分类预测结果和训练样本的标注进行反向训练，得到训练好的胸部CT图像识别网络。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种胸部CT图像识别装置，该装置包括训练样本获取模块、胸部CT图像识别网络构建模块、胸部CT图像识别网络训练模块以及胸部CT图像的类别确定模块，其中：
训练样本获取模块，用于获取胸部CT图像，并对胸部CT图像进行标注，得到训练样本。
胸部CT图像识别网络构建模块，用于构建胸部CT图像识别网络；胸部CT图像识别网络包括输入网络、特征提取网络以及分类网络；输入网络用于通过空洞卷积方式提取训练样本的空洞卷积特征；特征提取网络包括X-DMFF模块、DMS模块以及自适应池化层；特征提取网络用于采用X-DMFF模块提取空洞卷积特征中包含精准坐标信息、纹理信息的局部特征，并将局部特征经过DMS模块得到多尺度的空间特征；X-DMFF模块是通道数可调的卷积模块，用于将输入的特征切分为通道相同的两路并对切分结果进行卷积，将得到的卷积结果进行通道拼接和通道混洗，得到局部信息特征；DMS模块包括两条分别以自注意力模块、卷积模块为主干的支路，用于将输入的特征切分为通道相同的两路，并将两路特征分别输入到两条支路中进行特征提取后进行通道拼接和通道混洗操作，得到多尺度的空间特征；分类网络用于根据多尺度的空间特征对训练样本进行分类，得到样本预测分类结果。
胸部CT图像识别网络训练模块，用于根据训练样本的标注和将训练样本输入到胸部CT图像识别网络得到的样本预测分类结果，对胸部CT图像识别网络进行训练，得到训练好的胸部CT图像识别网络。
胸部CT图像的类别确定模块，用于获取待测胸部CT图像，并将待测胸部CT图像输入到训练好的胸部CT图像识别网络中，得到胸部CT图像的类别。
在其中一个实施例中，输入网络包括1层空洞卷积层；特征提取网络由2个X-DMFF模块、3个连续的DMS模块、1层自适应池化层组成；3个连续的DMS模块连接关系是前一个DMS模块的输出作为下一个DMS模块的输入；胸部CT图像识别网络训练模块，还用于将训练样本输入到输入网络的空洞卷积层中，得到空洞卷积特征；将空洞卷积特征输入到特征提取网络的第一个X-DMFF模块中，得到第一局部信息特征；将第一局部信息特征输入到特征提取网络的第二个X-DMFF模块中，得到局部信息特征；将局部信息特征输入到3个连续的DMS模块中，得到多尺度的空间特征；将多尺度的空间特征输入到分类网络中，得到样本分类预测结果，并根据样本分类预测结果和训练样本的标注进行反向训练，得到训练好的胸部CT图像识别网络。
在其中一个实施例中，X-DMFF模块包括：两条支路，第一条支路由1层点卷积层、1层深度空洞卷积层和1层点卷积层组成；第二条支路由1层点卷积层、1层深度卷积层和1层点卷积层组成；两条支路中的卷积层的通道数可调；点卷积层包括卷积核个数为
Figure 129991DEST_PATH_IMAGE012
、步长为1的点卷积；深度空洞卷积层包括卷积核个数为
Figure 730736DEST_PATH_IMAGE013
、卷积核为
Figure 928500DEST_PATH_IMAGE007
、步长为1、空洞率为2的空洞深度卷积；深度卷积层包括卷积核个数为
Figure 177953DEST_PATH_IMAGE014
、卷积核为
Figure 144772DEST_PATH_IMAGE007
、步长为1的深度卷积；其中c为特征通道数，x为可调整的通道数，x为大于1的整数；胸部CT图像识别网络训练模块，还用于将空洞卷积特征切分为通道相同的两路特征；将第一路特征输入到第一个X-DMFF模块的第一条支路中，先后通过点卷积层、空洞深度卷积层以及点卷积层进行特征提取，得到空洞卷积特征；将将第二路特征输入到第一个X-DMFF模块的第二条支路中，先后通过点卷积层、深度卷积层以及点卷积层进行特征提取，得到深度卷积特征；将空洞卷积特征和深度卷积特征进行通道拼接，将得到的拼接特征进行通道混洗操作，得到第一局部信息特征。
在其中一个实施例中，DMS模块中以自注意力模块为主干的支路包括：若干个连续的Swin-Transformer模块、1个点卷积层、1层平均池化层；DMS模块中以卷积模块为主干的支路包括：两个连续的K-DMFF模块、1个KD-DMFF模块；胸部CT图像识别网络训练模块，还用于将局部信息特征输入到第一个DMS模块中，对局部信息特征在通道域上按一定比例进行切分，得到两组通道数不同、空间维度相同的切分局部信息特征；将第一组切分局部信息特征输入到第一个DMS模块的第一条支路中，经过若干个连续的Swin-Transformer模块，利用Swin-Transformer模块中的自注意力机制进行特征提取，并将提取得到的特征经过一个点卷积层，对所学习到的特征进行调整，并将得到的特征经过一个平均池化层，得到注意力特征；将第二组切分局部信息特征输入到第一个DMS模块的第二条支路的第一个K-DMFF模块中，得到第一卷积特征；将第二组切分局部信息特征于第一卷积特征相加，得到第一融合特征；将第一融合特征输入到第一个DMS模块的第二条支路的第二个K-DMFF模块中，得到第二卷积特征；将第二卷积特征与第一融合特征相加，并将得到的融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块中，得到卷积特征；将注意力特征和卷积特征进行通道拼接，并将拼接结果进行通道混洗操作，得到第一多尺度的空间特征；将第一多尺度的空间特征输入到第二个DMS模块中，并将得到的第二多尺度的空间特征输入到第三个DMS模块中，得到多尺度的空间特征。
在其中一个实施例中，K-DMFF模块包括两条特征提取支路，第一条特征提取支路包括1层点卷积层，1层卷积核大小为
Figure 181998DEST_PATH_IMAGE015
、步长为1、空洞率为2的空洞深度卷积层和1层点卷积层；第二条特征提取支路包括1层点卷积层，1层卷积核大小为
Figure 601478DEST_PATH_IMAGE015
、步长为1的深度卷积层和1层点卷积层；胸部CT图像识别网络训练模块，还用于将第二组切分局部信息特征输入到第一个DMS模块的第二条支路的第一个K-DMFF模块中，在通道域上进行通道切分，得到两组通道数相同的特征图；将第一组特征图输入到第一个DMS模块的第二条支路的第一个K-DMFF模块的第一特征提取支路中，通过1层点卷积层，1层卷积核大小为
Figure 687246DEST_PATH_IMAGE015
、步长为1、空洞率为2的空洞深度卷积层和1层点卷积层进行特征提取，得到第一组局部卷积特征；将第二组特征图输入到第一个DMS模块的第二条支路的第一个K-DMFF模块的第一特征提取支路中，通过1层点卷积层，1层卷积核大小为
Figure 508571DEST_PATH_IMAGE015
、步长为1的深度卷积层和1层点卷积层进行特征提取，得到第二组局部卷积特征；将第一组局部卷积特征和第二局部卷积特征进行通道拼接，并将拼接结果进行通道混洗操作，得到第一卷积特征。
在其中一个实施例中，KD-DMFF模块包括两条特征提取支路，第一条特征提取支路包括1层点卷积层，1层卷积核大小为
Figure 919961DEST_PATH_IMAGE015
、步长为2、空洞率为2的空洞深度卷积层和1层点卷积层；第二条特征提取支路包括1层点卷积层，1层卷积核大小为
Figure 826737DEST_PATH_IMAGE015
、步长为2的深度卷积层和1层点卷积层；胸部CT图像识别网络训练模块，还用于将第二卷积特征与第一融合特征相加，得到第二融合特征；将第二融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块中，在通道域上进行通道切分，得到通道数相同的两组切分融合特征；将第二组切分融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块的第一条特征提取支路中，通过1层点卷积层，1层卷积核大小为
Figure 512933DEST_PATH_IMAGE015
、步长为2、空洞率为2的空洞深度卷积层和1层点卷积层进行特征提取，得到第一组融合卷积特征；将第二组切分融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块的第二条特征提取支路中，通过1层点卷积层，1层卷积核大小为
Figure 952880DEST_PATH_IMAGE015
、步长为2的深度卷积层和1层点卷积层进行特征提取，得到第二组融合卷积特征；将第一组融合卷积特征和第二组融合卷积特征进行通道拼接，并将拼接结果进行通道混洗操作，得到卷积特征。
在其中一个实施例中，分类网络包括：两层全连接层；胸部CT图像识别网络训练模块，还用于将多尺度的空间特征输入到分类网络中通过两层全连接层中，整合类间区分特征，得到全连接特征；根据全连接特征，采用分类器，得到样本分类预测结果；根据样本分类预测结果和训练样本的标注进行反向训练，得到训练好的胸部CT图像识别网络。
关于胸部CT图像识别装置的具体限定可以参见上文中对于胸部CT图像识别方法的限定，在此不再赘述。上述胸部CT图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种胸部CT图像识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
在一个验证性实施例中，实验数据选自HaydenGunraj等构建的开源数据集COVIDx-CT，其素材源于medRxiv2和bioRxiv3网址。从COVID-CT数据集随机选取531幅COVID-19阳性的CT图像、1147幅普通肺炎的CT图像、2212幅正常的CT图像作为训练集。再另外选取107幅COVID-19阳性的CT图像、245幅普通肺炎的CT图像和416幅正常的CT图像为作为测试集。实验数据集的部分示例如图11所示，其中（a）为COVID-19胸部CT图像，（b）为普通肺炎CT图像，（c）为正常胸部CT图像。
（1）模型复杂度和有效性
W-MSA模块和SW-MSA模块的参数量与计算量低于标准的多头自注意力机制。DMFF模块比普通卷积层所产生的参数量、计算量更少。表1呈现ResNet50、DenseNet121、ShuffleNetV2、MobileNetV2等网络模型与DS-CTNet网络模型的计算量与参数量。从表1可以看出，DS-CTNet网络模型的参数量最少。可见，DS-CTNet的结构设计具有高效性。
表1模型计算量与参数量
Figure 535171DEST_PATH_IMAGE016
为了体现DS-CTNet模型在COVIDx-CT数据集上的识别效果，使用ResNet50、DenseNet121、ShuffleNetV2、MobileNetV2四个网络模型进行对比实验。表2ResNet50网络模型、DenseNet121、MobileNetV2网络模型、ShuffleNetV2与DS-CTNet网络模型在测试集上的准确率。
表2多种网络模型的准确率
Figure 663664DEST_PATH_IMAGE017
由表2看出DS-CTNet网络模型的分类准确率比ResNet50等网络模型高出的分类准确率5.3%左右，比DenseNet121低大约0.9%，比MobileNetV2大约高5.5%，比ShuffleNetV2网络模型高出5.1%左右。虽然在实验中DenseNet121准确率最高，但是值得注意的是DenseNet121的计算量大约是DS-CTNet的8倍，参数量大约s是DS-CTNet的44倍。因此，从综合的角度来看，DS-CTNet的性能更优。相比其他方法，DS-CTNet网络模型能更快速地对CT图像进行识别并输出判别结果，能帮助提升人工阅片的准确率，节省影像科医生的精力。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种胸部CT图像识别方法，其特征在于，所述方法包括：
获取胸部CT图像，并对所述胸部CT图像进行标注，得到训练样本；
构建胸部CT图像识别网络；所述胸部CT图像识别网络包括输入网络、特征提取网络和分类网络；所述输入网络用于通过空洞卷积方式提取所述训练样本的空洞卷积特征；所述特征提取网络包括X-DMFF模块、DMS模块和自适应池化层；所述特征提取网络用于采用X-DMFF模块提取空洞卷积特征中包含精准坐标信息、纹理信息的局部特征，并将局部特征经过DMS模块得到多尺度的空间特征；所述X-DMFF模块是通道数可调的卷积模块，用于将输入的特征切分为通道相同的两路并对切分结果进行卷积，将得到的卷积结果进行通道拼接和通道混洗，得到局部信息特征；所述DMS模块包括两条分别以自注意力模块、卷积模块为主干的支路，用于将输入的特征切分为通道相同的两路，并将两路特征分别输入到两条支路中进行特征提取后进行通道拼接和通道混洗，得到多尺度的空间特征；所述分类网络用于根据所述多尺度的空间特征对训练样本进行分类，得到样本预测分类结果；
根据所述训练样本的标注和将所述训练样本输入到所述胸部CT图像识别网络得到的样本预测分类结果，对所述胸部CT图像识别网络进行训练，得到训练好的胸部CT图像识别网络；
获取待测胸部CT图像，并将所述待测胸部CT图像输入到训练好的胸部CT图像识别网络中，得到胸部CT图像的类别。
2.根据权利要求1所述的方法，其特征在于，所述输入网络包括1层空洞卷积层；所述特征提取网络由2个X-DMFF模块、3个连续的DMS模块、1层自适应池化层组成；3个连续的DMS模块连接关系是前一个DMS模块的输出作为下一个DMS模块的输入；
根据所述训练样本的标注和将所述训练样本输入到所述胸部CT图像识别网络得到的样本预测分类结果，对所述胸部CT图像识别网络进行训练，得到训练好的胸部CT图像识别网络，包括：
将所述训练样本输入到所述输入网络的空洞卷积层中，得到空洞卷积特征；
将所述空洞卷积特征输入到所述特征提取网络的第一个X-DMFF模块中，得到第一局部信息特征；
将所述第一局部信息特征输入到所述特征提取网络的第二个X-DMFF模块中，得到局部信息特征；
将所述局部信息特征输入到3个连续的DMS模块中，得到多尺度的空间特征；
将所述多尺度的空间特征输入到所述分类网络中，得到样本分类预测结果，并根据所述样本分类预测结果和所述训练样本的标注进行反向训练，得到训练好的胸部CT图像识别网络。
3.根据权利要求2所述的方法，其特征在于，所述X-DMFF模块包括：两条支路，第一条支路由1层点卷积层、1层深度空洞卷积层和1层点卷积层组成；第二条支路由1层点卷积层、1层深度卷积层和1层点卷积层组成；两条支路中的卷积层的通道数可调；所述点卷积层包括卷积核个数为c/2+x、步长为1的点卷积；深度空洞卷积层包括卷积核个数为c/2+x、卷积核为3×3、步长为1、空洞率为2的空洞深度卷积；深度卷积层包括卷积核个数为c/2+x、卷积核为3×3、步长为1的深度卷积；其中c为特征通道数，x为可调整的通道数，x为大于1的整数；
将所述空洞卷积特征输入到所述特征提取网络的第一个X-DMFF模块中，得到第一局部信息特征，包括：
将所述空洞卷积特征切分为通道相同的两路特征；
将第一路特征输入到第一个X-DMFF模块的第一条支路中，先后通过点卷积层、空洞深度卷积层以及点卷积层进行特征提取，得到空洞卷积特征；
将第二路特征输入到第一个X-DMFF模块的第二条支路中，先后通过点卷积层、深度卷积层以及点卷积层进行特征提取，得到深度卷积特征；
将所述空洞卷积特征和深度卷积特征进行通道拼接，将得到的拼接特征进行通道混洗操作，得到第一局部信息特征。
4.根据权利要求2所述的方法，其特征在于，所述DMS模块中以自注意力模块为主干的支路包括：若干个连续的Swin-Transformer模块、1个点卷积层、1层平均池化层；
所述DMS模块中以卷积模块为主干的支路包括：两个连续的K-DMFF模块、1个KD-DMFF模块；
将所述局部信息特征输入到3个连续的DMS模块中，得到多尺度的空间特征，包括：
将所述局部信息特征输入到第一个DMS模块中，对所述局部信息特征在通道域上按一定比例进行切分，得到两组通道数不同、空间维度相同的切分局部信息特征；
将第一组切分局部信息特征输入到第一个DMS模块的第一条支路中，经过若干个连续的Swin-Transformer模块，利用Swin-Transformer模块中的自注意力机制进行特征提取，并将提取得到的特征经过一个点卷积层，对所学习到的特征进行调整，并将得到的特征经过一个平均池化层，得到注意力特征；
将第二组切分局部信息特征输入到第一个DMS模块的第二条支路的第一个K-DMFF模块中，得到第一卷积特征；
将第二组切分局部信息特征于所述第一卷积特征相加，得到第一融合特征；
将所述第一融合特征输入到第一个DMS模块的第二条支路的第二个K-DMFF模块中，得到第二卷积特征；
将所述第二卷积特征与所述第一融合特征相加，并将得到的融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块中，得到卷积特征；
将所述注意力特征和所述卷积特征进行通道拼接，并将拼接结果进行通道混洗操作，得到第一多尺度的空间特征；
将所述第一多尺度的空间特征输入到第二个DMS模块中，并将得到的第二多尺度的空间特征输入到第三个DMS模块中，得到多尺度的空间特征。
5.根据权利要求4所述的方法，其特征在于，所述K-DMFF模块包括两条特征提取支路，第一条特征提取支路包括1层点卷积层，1层卷积核大小为3×3、步长为1、空洞率为2的空洞深度卷积层和1层点卷积层；第二条特征提取支路包括1层点卷积层，1层卷积核大小为3×3、步长为1的深度卷积层和1层点卷积层；
将第二组切分局部信息特征输入到第一个DMS模块的第二条支路的第一个K-DMFF模块中，得到第一卷积特征，包括：
将第二组切分局部信息特征输入到第一个DMS模块的第二条支路的第一个K-DMFF模块中，在通道域上进行通道切分，得到两组通道数相同的特征图；
将第一组特征图输入到第一个DMS模块的第二条支路的第一个K-DMFF模块的第一特征提取支路中，通过1层点卷积层，1层卷积核大小为3×3、步长为1、空洞率为2的空洞深度卷积层和1层点卷积层进行特征提取，得到第一组局部卷积特征；
将第二组特征图输入到第一个DMS模块的第二条支路的第一个K-DMFF模块的第一特征提取支路中，通过1层点卷积层，1层卷积核大小为3×3、步长为1的深度卷积层和1层点卷积层进行特征提取，得到第二组局部卷积特征；
将所述第一组局部卷积特征和所述第二组局部卷积特征进行通道拼接，并将拼接结果进行通道混洗操作，得到第一卷积特征。
6.根据权利要求4所述的方法，其特征在于，所述KD-DMFF模块包括两条特征提取支路，第一条特征提取支路包括1层点卷积层，1层卷积核大小为3×3、步长为2、空洞率为2的空洞深度卷积层和1层点卷积层；第二条特征提取支路包括1层点卷积层，1层卷积核大小为3×3、步长为2的深度卷积层和1层点卷积层；
将所述第二卷积特征与所述第一融合特征相加，并将得到的融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块中，得到卷积特征，包括：
将所述第二卷积特征与所述第一融合特征相加，得到第二融合特征；
将所述第二融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块中，在通道域上进行通道切分，得到通道数相同的两组切分融合特征；
将第二组切分融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块的第一条特征提取支路中，通过1层点卷积层，1层卷积核大小为3×3、步长为2、空洞率为2的空洞深度卷积层和1层点卷积层进行特征提取，得到第一组融合卷积特征；
将第二组切分融合特征输入到第一个DMS模块的第二条支路的KD-DMFF模块的第二条特征提取支路中，通过1层点卷积层，1层卷积核大小为3×3、步长为2的深度卷积层和1层点卷积层进行特征提取，得到第二组融合卷积特征；
将所述第一组融合卷积特征和所述第二组融合卷积特征进行通道拼接，并将拼接结果进行通道混洗操作，得到卷积特征。
7.根据权利要求2所述的方法，其特征在于，所述分类网络包括：两层全连接层；
将所述多尺度的空间特征输入到所述分类网络中，得到样本分类预测结果，并根据所述样本分类预测结果和所述训练样本的标注进行反向训练，得到训练好的胸部CT图像识别网络，包括：
将所述多尺度的空间特征输入到所述分类网络中通过两层全连接层中，整合类间区分特征，得到全连接特征；
根据所述全连接特征，采用分类器，得到样本分类预测结果；
根据所述样本分类预测结果和所述训练样本的标注进行反向训练，得到训练好的胸部CT图像识别网络。
8.一种胸部CT图像识别装置，其特征在于，所述装置包括：
训练样本获取模块，用于获取胸部CT图像，并对所述胸部CT图像进行标注，得到训练样本；
胸部CT图像识别网络构建模块，用于构建胸部CT图像识别网络；所述胸部CT图像识别网络包括输入网络、特征提取网络以及分类网络；所述输入网络用于通过空洞卷积方式提取所述训练样本的空洞卷积特征；所述特征提取网络包括X-DMFF模块、DMS模块以及自适应池化层；所述特征提取网络用于采用X-DMFF模块提取空洞卷积特征中包含精准坐标信息、纹理信息的局部特征，并将局部特征经过DMS模块得到多尺度的空间特征；所述X-DMFF模块是通道数可调的卷积模块，用于将输入的特征切分为通道相同的两路并对切分结果进行卷积，将得到的卷积结果进行通道拼接和通道混洗，得到局部信息特征；所述DMS模块包括两条分别以自注意力模块、卷积模块为主干的支路，用于将输入的特征切分为通道相同的两路，并将两路特征分别输入到两条支路中进行特征提取后进行通道拼接和通道混洗操作，得到多尺度的空间特征；所述分类网络用于根据所述多尺度的空间特征对训练样本进行分类，得到样本预测分类结果；
胸部CT图像识别网络训练模块，用于根据所述训练样本的标注和将所述训练样本输入到所述胸部CT图像识别网络得到的样本预测分类结果，对所述胸部CT图像识别网络进行训练，得到训练好的胸部CT图像识别网络；
胸部CT图像的类别确定模块，用于获取待测胸部CT图像，并将所述待测胸部CT图像输入到训练好的胸部CT图像识别网络中，得到胸部CT图像的类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储器，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202111536612.9A 2021-12-16 2021-12-16 胸部ct图像识别方法、装置、计算机设备和存储介质 Active CN113962990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111536612.9A CN113962990B (zh) 2021-12-16 2021-12-16 胸部ct图像识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111536612.9A CN113962990B (zh) 2021-12-16 2021-12-16 胸部ct图像识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113962990A true CN113962990A (zh) 2022-01-21
CN113962990B CN113962990B (zh) 2022-02-25

Family

ID=79473282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111536612.9A Active CN113962990B (zh) 2021-12-16 2021-12-16 胸部ct图像识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113962990B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958703A (zh) * 2023-08-02 2023-10-27 德智鸿(上海)机器人有限责任公司 一种基于髋臼骨折的识别方法、装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN112419321A (zh) * 2021-01-25 2021-02-26 长沙理工大学 X射线图像识别方法、装置、计算机设备及存储介质
CN112784856A (zh) * 2021-01-29 2021-05-11 长沙理工大学 胸部x射线图像的通道注意力特征提取方法和识别方法
CN113284149A (zh) * 2021-07-26 2021-08-20 长沙理工大学 Covid-19胸部ct图像识别方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN112419321A (zh) * 2021-01-25 2021-02-26 长沙理工大学 X射线图像识别方法、装置、计算机设备及存储介质
CN112784856A (zh) * 2021-01-29 2021-05-11 长沙理工大学 胸部x射线图像的通道注意力特征提取方法和识别方法
CN113284149A (zh) * 2021-07-26 2021-08-20 长沙理工大学 Covid-19胸部ct图像识别方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王培森: ""基于注意力机制的图像分类深度学习方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郝晓宇等: "融合双注意力机制3D U-Net的肺肿瘤分割", 《中国图象图形学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958703A (zh) * 2023-08-02 2023-10-27 德智鸿(上海)机器人有限责任公司 一种基于髋臼骨折的识别方法、装置

Also Published As

Publication number Publication date
CN113962990B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN109754361A (zh) 3d各向异性的混合网络：将来自2d图像的卷积特征传递到3d各向异性体积
US9687199B2 (en) Medical imaging system providing disease prognosis
CN111260055A (zh) 基于三维图像识别的模型训练方法、存储介质和设备
Štern et al. Automated age estimation from hand MRI volumes using deep learning
CN110310256A (zh) 冠脉狭窄检测方法、装置、计算机设备和存储介质
CN111429460A (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN110210519B (zh) 分类方法、计算机设备和存储介质
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN113850753B (zh) 医学图像信息计算方法、装置、边缘计算设备和存储介质
WO2021164280A1 (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN110473172A (zh) 医学图像解剖中线确定方法、计算机设备和存储介质
CN109410189B (zh) 图像分割方法以及图像的相似度计算方法、装置
Sokooti et al. Hierarchical prediction of registration misalignment using a convolutional LSTM: Application to chest CT scans
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
CN113962990B (zh) 胸部ct图像识别方法、装置、计算机设备和存储介质
CN114549462A (zh) 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质
Li et al. S 3 egANet: 3D spinal structures segmentation via adversarial nets
Khademi et al. Spatio-temporal hybrid fusion of cae and swin transformers for lung cancer malignancy prediction
Ada Using some data mining techniques to predict the survival year of lung cancer patient
Hasenstab et al. Feature Interpretation Using Generative Adversarial Networks (FIGAN): A framework for visualizing a CNN’s learned features
CN112884721A (zh) 一种异常检测方法、系统及计算机可读存储介质
CN116433586A (zh) 一种乳腺超声断层图像分割模型建立方法及分割方法
Barhoumi et al. Efficient scopeformer: Towards scalable and rich feature extraction for intracranial hemorrhage detection
Wu et al. Human identification with dental panoramic images based on deep learning
Wu et al. Automatic liver tumor segmentation used the cascade multi-scale attention architecture method based on 3D U-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant