CN111739075B - 一种结合多尺度注意力的深层网络肺部纹理识别方法 - Google Patents

一种结合多尺度注意力的深层网络肺部纹理识别方法 Download PDF

Info

Publication number
CN111739075B
CN111739075B CN202010541939.4A CN202010541939A CN111739075B CN 111739075 B CN111739075 B CN 111739075B CN 202010541939 A CN202010541939 A CN 202010541939A CN 111739075 B CN111739075 B CN 111739075B
Authority
CN
China
Prior art keywords
convolution
module
scale
network
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010541939.4A
Other languages
English (en)
Other versions
CN111739075A (zh
Inventor
徐睿
叶昕辰
丛臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010541939.4A priority Critical patent/CN111739075B/zh
Publication of CN111739075A publication Critical patent/CN111739075A/zh
Priority to US17/112,367 priority patent/US11551029B2/en
Application granted granted Critical
Publication of CN111739075B publication Critical patent/CN111739075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种结合多尺度注意力的深层网络肺部纹理识别方法，属于图像处理和计算机视觉领域。为了能准确识别肺部计算机断层扫描(Computed Tomography，CT)图像中弥漫性肺疾患的典型纹理，通过设计独特的注意力机制模块和多尺度特征融合模块，构建了一种结合多尺度和注意力的深层卷积神经网络，实现了弥漫性肺疾患典型纹理的高精度自动识别。此外，所提出的网络结构清晰，容易构建，易于实现。

Description

一种结合多尺度注意力的深层网络肺部纹理识别方法
技术领域
本发明属于医学图像处理和计算机视觉领域，具体涉及到一种结合多尺度注意力的深层网络肺部纹理识别方法。
背景技术
弥漫性肺疾患是指肺部区域内由于炎症或损伤等因素造成的肺间质异常纹理的总称。CT图像因为能够清晰呈现肺组织状态，常被用于该类疾病的检测。然而由于采集图像数量庞大、肺部纹理复杂等因素，即使对于经验丰富的放射线科专家，也很难准确识别不同类型的肺部纹理，造成漏诊、误诊等问题。因此，需要建立一种计算机辅助诊断(ComputerAided Diagnosis，CAD)系统，协助放射线科专家对CT图像中的肺部纹理进行准确且高效的自动诊断。建立这种CAD系统的一项关键技术，是对CT图像肺部区域中任意感兴趣区域包含的肺部纹理进行准确且高效的自动识别。
传统CT图像肺部纹理识别方法通常基于两步式，即首先人工设计能表征肺部纹理特性的特征量，随后训练能够有效区分这些特征量的分类器。因训练分类器技术相对成熟，研究人员更关注于如何设计更有表征能力的特征量，如一种基于特征袋的肺部纹理识别方法(R.Xu,Y.Hirano,R.Tachibana,and S.Kido,“Classification of diffuse lungdisease patterns on high-resolution computed tomography by a bag of wordsapproach,”in International Conference on Medical Image Computing&Computer-assisted Intervention(MICCAI),2011,p.183.)。然而，人工设计特征量有限的表征能力使得这些识别方法识别精度与CAD系统需求差距较大。
近几年，深度神经网络在图像处理领域带来了革命性影响，该技术同样被应用于肺部纹理识别中，如一种基于卷积神经网络(Convolutional Neural Network，CNN)对肺部纹理进行分类的方法(M.Anthimopoulos,S.Christodoulidis,and et.al.,“Lung patternclassification for interstitial lung diseases using a deep convolutionalneural network,”IEEE Transactions on Medical Imaging,vol.35,no.5,pp.1207–1216,2016)。这些方法大多采用常规堆叠式CNN结构或使用原本用于其他图像处理任务(如自然图像识别)的CNN结构进行迁移学习，尚未充分且直接发挥CNN在肺部纹理识别任务上的性能。虽然基于深度神经网络的方法的识别精度相比于传统方法有所提升，但是仍与CAD系统需求精度存在差距。
上述方法存在以下两个问题。第一，CT图像中肺部纹理呈现灰度和尺度信息两种放射学特征，目前用于肺部纹理识别的CNN多数仅使用灰度特征信息，尚未关注于学习肺部纹理中包含的尺度特征信息，因此需要设计并使用一种机制使CNN能够学习肺部纹理多尺度特征信息。第二，目前用于肺部纹理识别的CNN参数规模普遍较大，CNN中卷积层学习的特征图存在冗余信息，影响最终识别精度，需要设计并使用一种机制自动筛选对识别任务有益的特征图，同时自动抑制与识别任务关系较弱的特征图以降低特征图中冗余信息的影响并提升最终识别精度。
发明内容
本发明旨在克服现有技术的不足，提供了一种结合多尺度注意力的深层网络肺部纹理识别方法。该方法使用卷积模块构建基础网络，使用多尺度特征融合模块学习肺部纹理的多尺度特征信息，使用注意力机制模块自动筛选对识别任务有益的特征同时抑制与识别关系较弱的特征，实现肺部纹理的高精度自动识别。
本发明的具体技术方案为，一种结合多尺度注意力的深层网络肺部纹理识别方法，包括下列步骤：
1)初始数据准备：初始数据包括用于训练和测试的肺部纹理CT图像块和对应类别标签。
2)识别网络构建：使用卷积和残差模块构建基础网络，使用多尺度特征融合模块学习肺部纹理的多尺度特征信息，使用注意力机制模块自动筛选特征图，最终提升识别精度。
3)识别网络训练：基于步骤(2)得到的识别网络进行训练。
4)利用测试数据评估网络的性能。
识别网络构建，具体包括以下步骤：
2-1)识别网络由基础网络、注意力机制模块和多尺度特征融合模块构成。基础网络从不同尺度下从输入CT肺部纹理图像块学习特征信息；每个尺度学习的特征信息通过注意力机制模块自动筛选对识别任务有益的特征信息，同时自动抑制与识别任务关系较弱的特征信息；不同尺度学习的特征信息最终通过多尺度特征融合模块进行融合，并给出识别结果；
2-2)网络包含若干卷积模块，每个卷积模块由深层神经网络的通用单元，即卷积层、批标准化层和整流线性单元层组成；卷积模块通过跳跃连接相连共构成若干残差模块，通过引入残差学习机制，提升特征学习效率；
2-3)网络包含若干注意力机制模块，用于从卷积模块或残差模块学习的特征信息中自动筛选出对识别任务有益的特征信息，同时自动抑制与识别任务关系较弱的特征信息；
2-4)网络在不同尺度学习的特征信息通过多尺度特征融合模块进行有效融合，并给出识别结果；
识别网络训练，具体包括以下步骤：
3-1)对参与训练的CT图像块进行在线数据扩增，具体形式包括随机翻转与随机平移。
3-2)识别网络以小批量方式，使用分类交叉熵损失函数进行训练，损失函数公式如下：
式中，L(·)表示分类交叉熵损失函数值，n表示单次批量中参与训练的CT图像块数，x表示单次批量中参与训练的CT图像块数据矩阵，∑为求和运算符，y′表示与x相对应的类别标签矩阵，log(·)表示对数运算，y表示经识别网络识别得到的x的类别标签矩阵。
3-3)通过随机梯度下降算法，使用步骤(3-2)中的损失函数优化识别网络。
本发明的有益效果是：
本发明是一种结合多尺度注意力的深层网络肺部纹理识别方法，使用卷积和残差模块构建基础网络，在三个不同的尺度下从输入CT肺部纹理图像块学习多尺度特征信息。使用注意力机制模块自动筛选出对识别任务有益的特征信息，同时抑制与识别任务关系较弱的特征信息。使用多尺度特征融合模块融合三个尺度的特征信息，并给出较高正确识别率的识别结果。该系统具有以下特点：
1、系统容易构建，识别网络只需CT肺部纹理图像块为输入即可得到较高识别准确率的识别结果；
2、程序简单，易于实现；
3、注意力机制模块能够自动筛选对识别任务有益的特征信息，同时自动抑制与识别任务关系较弱的特征信息，提升识别准确率；
4、多尺度特征融合模块能够有效融合识别网络各尺度学习的多尺度特征信息，综合给出较高识别准确率的识别结果。
附图说明
图1为具体实施流程图。
图2为7类CT肺部纹理图像块样例图，其中，(a)固定型；(b)蜂窝状；(c)结节状；(d)肺气肿；(e)毛玻璃状；(f)带线条的毛玻璃状；(g)正常。
图3为识别网络结构图。
图4为注意力机制模块结构图。
图5为多尺度特征融合模块结构图。
具体实施方式
本发明提出了一种结合多尺度注意力的深层网络肺部纹理识别方法，结合附图及实施例详细说明如下：
本发明构建了一个识别网络，使用卷积和残差模块构建基础网络，使用多尺度特征融合模块学习肺部纹理中包含的多尺度特征信息，使用注意力机制模块自动筛选对识别任务有益的特征信息，同时自动抑制与识别任务关系较弱的特征信息。使用CT肺部纹理图像块进行训练，在测试中达到了较高的识别准确率，具体实施流程如图1所示，所述方法包括下列步骤；
1)初始数据准备：初始数据包括用于训练和测试的肺部纹理CT图像块和对应类别标签。
1-1)收集带有7中典型肺部纹理的CT图像若干例，这7种肺部纹理为固定型、蜂窝状、结节状、肺气肿、毛玻璃状、带线条的毛玻璃状和正常肺部纹理。
1-2)邀请放射线科专家，在收集的CT图像上对7种典型纹理进行人工标注，即在CT图像中挑选包含典型纹理的管状断层，并在这些断层中手动勾勒出包含7种纹理的典型区域。
1-3)对1-2)标注的区域内，使用32×32大小的正方形框，随机截取CT图像小块，并结合专家的标注信息，最终生成若干大小为32×32并带有标签(纹理类别)的CT图像小块。图2是对标注的各类纹理截取的32×32的CT小块的样例图。这些若干个带标签的CT图像小块，将用于本发明方法的训练和测试。
2)识别网络的构建：用卷积和残差模块构建基本网络，使用多尺度特征融合模块学习肺部纹理的多尺度特征信息，使用注意力机制模块筛选对识别有益的特征同时抑制与识别无关的特征，最终提升识别精度。图3是识别网络结构图。
2-1)识别网络由基础网络、注意力机制模块和多尺度特征融合模块构成。基础网络由9个卷积模块构成，在三个不同尺度下从输入CT肺部纹理图像块学习特征信息。每个尺度学习的特征信息通过注意力机制模块自动筛选对识别任务有益的特征信息，同时自动抑制与识别任务关系较弱的特征信息。三个尺度学习的特征信息最终通过多尺度特征融合模块进行融合，并给出识别结果；
2-2)每个卷积模块由深层神经网络的通用单元，即卷积层、批标准化层和整流线性单元层组成。所有卷积层卷积核设置为3。第1-3个卷积模块卷积通道数设置为128，第4-7个卷积模块卷积通道数设置为256，第8-9个卷积模块卷积通道数设置为512；
2-3)除第1个卷积模块外，其余8个卷积模块每两个模块为一组通过跳跃连接相连共构成4个残差模块。对于一个残差模块(Kaiming He,Xiangyu Zhang,and et.al.,“Deepresidual learning for image recognition,”in Computer Vision and PatternRecognition,2016,pp.770–778.)，其输入通过内部卷积模块学习新的特征信息，跳跃连接将残差模块的输入与内部第二个卷积模块学习的特征图相连，构成残差学习机制。通过引入残差学习机制，避免神经网络训练时易出现的梯度消失、梯度爆炸问题，提升网络学习效率。当残差模块的输入和内部第二个卷积模块输出数据矩阵大小相同时，跳跃连接为恒等映射，即将两者直接相加。否则，跳跃连接为卷积层，卷积核大小设置为1，卷积步长设置为2，调整残差模块的输入特征图，使其与内部第二个卷积模块输出数据矩阵大小相同；
2-4)4个残差模块按照1:2:1的比例，在三个不同的尺度下从输入CT肺部纹理图像块中学习多尺度特征信息。第二个和第三个尺度中的第一个残差模块的第一个卷积模块的卷积层卷积步长设置为2，实现对输入特征图的2倍降采样处理，降低输入特征图分辨率，扩大卷积模块局部感受野以增大尺度。其余卷积层卷积步长均设置为1，保持输入特征图与输出特征图分辨率一致以保持尺度；
2-5)网络起始的卷积模块及3个尺度中最后1个残差模块后均连接1个注意力机制模块，用于从卷积模块或残差模块学习的特征信息中自动筛选出对识别任务有益的特征信息，同时自动抑制与识别任务关系较弱的特征信息。图4是注意力机制模块结构图。输入特征图首先通过全局平均池化(Global Average Pooling，GAP)层以通道为单位计算特征图平均值，得到的向量连接2个全连接层，其中第1个全连接层神经元数为输入向量元素数的0.5倍，第2个全连接层神经元数与输入向量元素数相同，随后通过Sigmoid激活函数得到激活向量。该激活向量与输入特征图按通道对应相乘得到加权特征图，加权特征图随后与输入特征图相加构成残差学习机制，提升注意力机制模块学习效率，结果作为注意力机制模块的输出。这里用到的全局平均池化和Sigmoid激活函数是深层网络中的通用模块；
2-6)多尺度特征融合模块用于融合三个尺度学习的特征信息，并给出识别结果。图5多尺度特征融合模块结构图。该模块包含3条支路，以对应尺度学习的特征信息为输入，通过GAP层以通道为单位计算特征图平均值，随后连接1个包含7个神经元的全连接层，神经元数为7的原因是本发明用于识别7种弥漫性肺疾患典型纹理。三条支路全连接层生成的向量对应相加并通过Softmax激活函数得到识别结果。这里的Softmax激活函数是深层网络中的通用模块。
3)基于步骤(2)得到的识别网络进行训练。
3-1)识别网络以小批量方式，使用交叉熵损失函数进行训练，损失函数公式如下：
式中，L(·)表示交叉熵损失函数值，n表示单次批量中参与训练的CT图像块数，本发明中n为128，x表示单次批量中参与训练的CT图像块数据矩阵，∑为求和运算符，y′表示与x相对应的类别标签矩阵，log(·)表示对数运算，y表示经识别网络识别得到的x的类别标签矩阵。
3-3)通过随机梯度下降算法，使用步骤(3-2)中的损失函数优化识别网络。学习率初始值设置为0.01，每周期更新为前一周期的0.97倍。网络优化过程在验证集识别准确率最高时终止。
4)利用测试数据评估网络的性能。在性能评估时，针对测试结果计算了识别实验中常用的两个指标，即正确识别率和F值。这里不但测试了本发明方法的性能，同时也与其他六种肺部纹理识别方法进行了比较。具体结果如表1所示，
表1本发明方法的性能评估以及与其他方法的比较
其中(a)深层卷积神经网络(VGG-16)(K.Simonyan and A.Zisserman,“Very deepconvolutional networks for large-scale image recognition”,Computer Science,2014.)的正确识别率及F值；(b)残差网络(ResNet-50)(K.He and et al.,“Identitymappings in deep residual networks,”in European Conference on ComputerVision,2016,pp.630-645.)的正确识别率及F值；(c)LeNet-5(Y.Lecun,L.Bottou,Y.Bengio,and P.Haffner,“Gradient-based learning applied to documentrecognition,”Proceedings of the IEEE,vol.86,no.11,pp.2278–2324,1998.)的正确识别率及F值；(d)5层卷积神经网络(CNN-5)(M.Anthimopoulos,S.Christodoulidis,andet.al.,“Lung pattern classification for interstitial lung diseases using adeep convolutional neural network,”IEEE Transactions on Medical Imaging,vol.35,no.5,pp.1207–1216,2016.)的正确识别率及F值；(e)特征袋(Bag-of-Feature)(R.Xu,Y.Hirano,R.Tachibana,and S.Kido,“Classification of diffuse lung diseasepatterns on high-resolution computed tomography by a bag of words approach,”in International Conference on Medical Image Computing&Computer-assistedIntervention(MICCAI),2011,p.183.)的正确识别率及F值；(f)双路残差网络(DB-ResNet)(R.Xu and et al.,“Pulmonary textures classification using a deep neuralnetwork with appearance and geometry cues,”in IEEE International Conferenceon Acoustics,Speech and Signal Processing(ICASSP),2018.)的正确识别率及F值；(g)本发明方法(MSAN)的正确识别率及F值。

Claims (2)

1.一种结合多尺度注意力的深层网络肺部纹理识别方法，其特征在于，包括下列步骤：
1)初始数据准备：初始数据包括用于训练和测试的肺部纹理CT图像块和对应类别标签；
2)识别网络构建：使用卷积和残差模块构建基础网络，使用多尺度特征融合模块学习肺部纹理的多尺度特征信息，使用注意力机制模块自动筛选特征图，最终提升识别精度；构建的识别网络的结构，具体包括以下步骤：
2-1)识别网络由基础网络、注意力机制模块和多尺度特征融合模块构成；基础网络由9个卷积模块构成，在三个不同尺度下从输入CT肺部纹理图像块学习特征信息；每个尺度学习的特征信息通过注意力机制模块自动筛选对识别任务有益的特征信息，同时自动抑制与识别任务关系较弱的特征信息；三个尺度学习的特征信息最终通过多尺度特征融合模块进行融合，并给出识别结果；
2-2)每个卷积模块由深层神经网络的通用单元，即卷积层、批标准化层和整流线性单元层组成；所有卷积层卷积核设置为3；第1-3个卷积模块卷积通道数设置为128，第4-7个卷积模块卷积通道数设置为256，第8-9个卷积模块卷积通道数设置为512；
2-3)除第1个卷积模块外，其余8个卷积模块每两个模块为一组通过跳跃连接相连共构成4个残差模块；对于一个残差模块，其输入通过内部卷积模块学习新的特征信息，跳跃连接将残差模块的输入与内部第二个卷积模块学习的特征图相连，构成残差学习机制；当残差模块的输入和内部第二个卷积模块输出数据矩阵大小相同时，跳跃连接为恒等映射，即将两者直接相加；否则，跳跃连接为卷积层，卷积核大小设置为1，卷积步长设置为2，调整残差模块的输入特征图，使其与内部第二个卷积模块输出数据矩阵大小相同；
2-4)4个残差模块按照1:2:1的比例，在三个不同的尺度下从输入CT肺部纹理图像块中学习多尺度特征信息；第二个和第三个尺度中的第一个残差模块的第一个卷积模块的卷积层卷积步长设置为2，实现对输入特征图的2倍降采样处理，降低输入特征图分辨率，扩大卷积模块局部感受野以增大尺度；其余卷积层卷积步长均设置为1，保持输入特征图与输出特征图分辨率一致以保持尺度；
2-5)网络起始的卷积模块及3个尺度中最后1个残差模块后均连接1个注意力机制模块，用于从卷积模块或残差模块学习的特征信息中自动筛选出对识别任务有益的特征信息，同时自动抑制与识别任务关系较弱的特征信息；输入特征图首先通过全局平均池化层以通道为单位计算特征图平均值，得到的向量连接2个全连接层，其中第1个全连接层神经元数为输入向量元素数的0.5倍，第2个全连接层神经元数与输入向量元素数相同，随后通过Sigmoid激活函数得到激活向量；该激活向量与输入特征图按通道对应相乘得到加权特征图，加权特征图随后与输入特征图相加构成残差学习机制，提升注意力机制模块学习效率，结果作为注意力机制模块的输出；
2-6)多尺度特征融合模块用于融合三个尺度学习的特征信息，并给出识别结果；该模块包含3条支路，以对应尺度学习的特征信息为输入，通过GAP层以通道为单位计算特征图平均值，随后连接1个包含7个神经元的全连接层，三条支路全连接层生成的向量对应相加并通过Softmax激活函数得到识别结果；
3)识别网络训练：基于步骤(2)得到的识别网络进行训练；
4)利用测试数据评估网络的性能。
2.根据权利要求1所述的一种结合多尺度注意力的深层网络肺部纹理识别方法，其特征在于，步骤2)中构建的识别网络的结构，具体包括以下步骤：
2-1)基础网络从不同尺度下从输入CT肺部纹理图像块学习特征信息；每个尺度学习的特征信息通过注意力机制模块自动筛选对识别任务有益的特征信息，同时自动抑制与识别任务关系较弱的特征信息；不同尺度学习的特征信息最终通过多尺度特征融合模块进行融合，并给出识别结果；
2-2)网络包含若干卷积模块，每个卷积模块由深层神经网络的通用单元，即卷积层、批标准化层和整流线性单元层组成；卷积模块通过跳跃连接相连共构成若干残差模块，通过引入残差学习机制，提升特征学习效率；
2-3)网络包含若干注意力机制模块，用于从卷积模块或残差模块学习的特征信息中自动筛选出对识别任务有益的特征信息，同时自动抑制与识别任务关系较弱的特征信息；
2-4)网络在不同尺度学习的特征信息通过多尺度特征融合模块进行有效融合，并给出识别结果。
CN202010541939.4A 2020-06-15 2020-06-15 一种结合多尺度注意力的深层网络肺部纹理识别方法 Active CN111739075B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010541939.4A CN111739075B (zh) 2020-06-15 2020-06-15 一种结合多尺度注意力的深层网络肺部纹理识别方法
US17/112,367 US11551029B2 (en) 2020-06-15 2020-12-04 Deep network lung texture recogniton method combined with multi-scale attention

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010541939.4A CN111739075B (zh) 2020-06-15 2020-06-15 一种结合多尺度注意力的深层网络肺部纹理识别方法

Publications (2)

Publication Number Publication Date
CN111739075A CN111739075A (zh) 2020-10-02
CN111739075B true CN111739075B (zh) 2024-02-06

Family

ID=72649159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010541939.4A Active CN111739075B (zh) 2020-06-15 2020-06-15 一种结合多尺度注意力的深层网络肺部纹理识别方法

Country Status (2)

Country Link
US (1) US11551029B2 (zh)
CN (1) CN111739075B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395442B (zh) * 2020-10-12 2022-06-14 杭州电子科技大学 移动互联网上的低俗图片自动识别与内容过滤方法
CN112465830B (zh) * 2020-11-11 2024-04-26 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
CN112418329B (zh) * 2020-11-25 2022-08-05 武汉大学 一种基于多尺度纹理特征融合宫颈oct图像分类方法及系统
CN112488234B (zh) * 2020-12-10 2022-04-29 武汉大学 一种基于注意力池化的端到端组织病理图像分类方法
CN113191390B (zh) * 2021-04-01 2022-06-14 华中科技大学 一种图像分类模型的构建方法、图像分类方法及存储介质
CN113537279A (zh) * 2021-05-18 2021-10-22 齐鲁工业大学 基于类残差卷积和lstm的covid-19识别系统
CN113409300A (zh) * 2021-07-12 2021-09-17 上海市第一人民医院 基于人工智能技术的新冠肺炎数据处理系统
CN114332697A (zh) * 2021-12-19 2022-04-12 西安科技大学 输电线路中多类目标故障检测方法、系统、设备及介质
CN114359644B (zh) * 2021-12-22 2024-04-16 华南农业大学 基于改进vgg-16网络的农作物病虫害识别方法
CN114299018A (zh) * 2021-12-29 2022-04-08 福州大学 基于中心线拓扑连通和多视角信息的ct图像血管分割方法
CN114299542A (zh) * 2021-12-29 2022-04-08 北京航空航天大学 一种基于多尺度特征融合的视频行人重识别方法
CN114418999B (zh) * 2022-01-20 2022-09-23 哈尔滨工业大学 基于病变关注金字塔卷积神经网络的视网膜病变检测系统
CN114445426B (zh) * 2022-01-28 2022-08-26 深圳大学 内窥镜图像中息肉区域的分割方法、装置及相关组件
CN114550014A (zh) * 2022-02-24 2022-05-27 中国电建集团中南勘测设计研究院有限公司 道路分割方法及计算机装置
CN114757830B (zh) * 2022-05-06 2023-09-08 西安电子科技大学 基于通道-扩散双分支网络的图像超分辨率重建方法
CN114842029A (zh) * 2022-05-09 2022-08-02 江苏科技大学 一种融合通道和空间注意力的卷积神经网络息肉分割方法
CN114639156B (zh) * 2022-05-17 2022-07-22 武汉大学 基于轴向注意力权重分配网络的俯角人脸识别方法及系统
CN114863179B (zh) * 2022-05-18 2022-12-13 合肥工业大学 基于多尺度特征嵌入和交叉注意力的内窥镜图像分类方法
CN115205614B (zh) * 2022-05-20 2023-12-22 深圳市沃锐图像技术有限公司 一种用于智能制造的矿石x光图像识别方法
CN115310486B (zh) * 2022-08-09 2023-09-26 重庆大学 焊接质量智能检测方法
CN115063592B (zh) * 2022-08-16 2022-12-06 之江实验室 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN115457611B (zh) * 2022-10-21 2023-04-21 中国矿业大学 一种基于特征解耦网络的静脉识别方法
CN116503635A (zh) * 2022-10-26 2023-07-28 湖南省中医药研究院 一种基于机器学习的肺炎ct图像分类识别方法
CN116012367B (zh) * 2023-02-14 2023-09-12 山东省人工智能研究院 一种基于深度学习的胃部胃黏膜特征及位置识别方法
CN116502117B (zh) * 2023-04-13 2023-12-15 厦门市帕兰提尔科技有限公司 一种基于ResNet的危险化学品识别方法、装置以及设备
CN116416479B (zh) * 2023-06-06 2023-08-29 江西理工大学南昌校区 基于深度卷积融合多尺度图像特征的矿物分类方法
CN116434039B (zh) * 2023-06-12 2023-10-13 济南大学 一种基于多尺度拆分注意力机制的目标检测方法
CN116665019B (zh) * 2023-07-31 2023-09-29 山东交通学院 一种用于车辆重识别的多轴交互多维度注意力网络
CN117540202B (zh) * 2023-09-13 2024-05-14 南京林业大学 基于多信息融合深度集成网络的故障诊断方法和系统
CN117036439A (zh) * 2023-10-09 2023-11-10 广州市大湾区虚拟现实研究院 一种基于多尺度残差网络的单幅图像深度估计方法和系统
CN117078692B (zh) * 2023-10-13 2024-02-06 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN117132606B (zh) * 2023-10-24 2024-01-09 四川大学 用于肺部病变图像的分割方法
CN117115573B (zh) * 2023-10-25 2024-01-05 华侨大学 一种有毒生物图像分类识别方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108428229A (zh) * 2018-03-14 2018-08-21 大连理工大学 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093042A1 (en) * 2018-11-02 2020-05-07 Deep Lens, Inc. Neural networks for biomedical image analysis
CN110570431A (zh) * 2019-09-18 2019-12-13 东北大学 一种基于改进的卷积神经网络的医学图像分割方法
CN110674866B (zh) * 2019-09-23 2021-05-07 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108428229A (zh) * 2018-03-14 2018-08-21 大连理工大学 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Three-dimensional coherent X-ray diffractive imaging of whole frozen-hydrated cells";Rodriguez Jose A. 等;《IUCrJ》;全文 *
"基于卷积神经网络的多尺度目标检测方法研究";王佳琪;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;全文 *
"改进的卷积神经网络在肺部图像上的分割应用";钱宝鑫 等;《计算机科学与探索》;全文 *
"肺部结节病影像学诊断中64排螺旋CT的价值";曹卫星 等;《影响研究》;第4卷(第3期);全文 *

Also Published As

Publication number Publication date
CN111739075A (zh) 2020-10-02
US11551029B2 (en) 2023-01-10
US20210390338A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
CN111739075B (zh) 一种结合多尺度注意力的深层网络肺部纹理识别方法
CN111598881B (zh) 基于变分自编码器的图像异常检测方法
CN108428229B (zh) 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN110060237A (zh) 一种故障检测方法、装置、设备及系统
CN108171707A (zh) 一种基于深度学习的Mura缺陷等级评判方法及装置
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN112508953B (zh) 基于深度神经网络的脑膜瘤快速分割定性方法
CN112819821B (zh) 一种细胞核图像检测方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN116843650A (zh) 融合aoi检测与深度学习的smt焊接缺陷检测方法及系统
CN111222545B (zh) 基于线性规划增量学习的图像分类方法
CN114676776A (zh) 一种基于Transformer的细粒度图像分类方法
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
CN113971764B (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
Khavalko et al. Classification and Recognition of Medical Images Based on the SGTM Neuroparadigm.
Zhao et al. Recognition and Classification of Concrete Cracks under Strong Interference Based on Convolutional Neural Network.
CN115880277A (zh) 基于Swin Transformer和弱监督的胃癌病理全切片T分期类别预测方法
CN115423802A (zh) 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法
CN111507393A (zh) 一种基于拉普拉斯特征映射学习的显卡接口机器测试方法
CN115810016B (zh) 肺部感染cxr图像自动识别方法、系统、存储介质及终端
CN110705570A (zh) 一种图像特征识别方法
CN116778482B (zh) 胚胎图像卵裂球目标检测方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant