CN112494063A - 一种基于注意力机制神经网络的腹部淋巴结分区方法 - Google Patents
一种基于注意力机制神经网络的腹部淋巴结分区方法 Download PDFInfo
- Publication number
- CN112494063A CN112494063A CN202110170258.6A CN202110170258A CN112494063A CN 112494063 A CN112494063 A CN 112494063A CN 202110170258 A CN202110170258 A CN 202110170258A CN 112494063 A CN112494063 A CN 112494063A
- Authority
- CN
- China
- Prior art keywords
- mask
- strategy
- attention mechanism
- lymph node
- abdominal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001165 lymph node Anatomy 0.000 title claims abstract description 109
- 230000007246 mechanism Effects 0.000 title claims abstract description 71
- 230000003187 abdominal effect Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 20
- 238000000638 solvent extraction Methods 0.000 title description 5
- 238000005192 partition Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 36
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 14
- 238000000137 annealing Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000013526 transfer learning Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 210000000056 organ Anatomy 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002224 dissection Methods 0.000 claims 1
- 238000002372 labelling Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 206010009944 Colon cancer Diseases 0.000 description 5
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 206010027476 Metastases Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 208000015634 Rectal Neoplasms Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 210000003090 iliac artery Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 206010038038 rectal cancer Diseases 0.000 description 1
- 201000001275 rectum cancer Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Pulmonology (AREA)
- Software Systems (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及腹部淋巴结分区技术领域，具体是一种基于注意力机制神经网络的腹部淋巴结分区方法，用于解决现有技术中医生对同一例腹部CT医学图像的读片结果差异较大，对腹部淋巴结分区预测不准确的问题。本发明包括以下步骤：步骤1：数据准备；步骤2：掩模生成，对数据进行预处理；步骤3：构建注意力机制残差网络模型；步骤4：重复步骤3，构建并训练淋巴结相对位置分区的模型；步骤5：使用步骤3、步骤4训练好的模型对检测任务自动检测出的腹部淋巴结节进行分类。本发明中通过利用原始CT图像与掩模叠加作为输入，并引入注意力机制到深度残差神经网络，从而可以对CT图像中的腹部淋巴结节进行准确分区。
Description
技术领域
本发明涉及腹部淋巴结分区技术领域，更具体的是涉及一种基于注意力机制神经网络的腹部淋巴结分区方法。
背景技术
现有技术中盆腔侧方淋巴结转移是结直肠癌临床常见的转移复发形式之一，对于腹膜反折以下的T3及T4期的低位直肠癌需进行盆腔侧方淋巴结的常规清扫，全腹部增强CT扫描则是临床常用判断结直肠癌侧方淋巴结定位定性的重要影像学方法，是临床医师用于甄别侧方淋巴结是否发生转移的主要途径之一，由于显影剂等手段的运用，淋巴结检测已不再是困难的任务，但是由于腹部脏器分布复杂，腹部淋巴结分区难以界定，无法准确对淋巴结进行分区就无法完成精准清扫，这是当今临床上的难题。
当人工判读腹部增强CT影像学资料时，由于腹部淋巴结细小，腹部脏器结构复杂，淋巴结分区任务难度大，且误诊情况频发，极大延误结直肠癌患者诊治的黄金时限，严重影响患者的预后结果及生存质量，而且全人工判读腹部增强CT，人力成本投入大，极大程度上受限于临床放射科医生的读片经验、有效专注时间、平均读片时长等多种因素的差异和影响，CT影像学淋巴结分区结果准确性不一，报告及时性较差，对于需要及时准确检测和报告淋巴结分区的临床工作形成了较大的局限性，继而延误后续相关诊疗活动的开展，降低预后结局。
总的来说，结直肠癌高发，通过腹部医学图像对识别侧方淋巴结并进行定性对于结直肠癌的诊断和治疗极具临床意义，但是人工读片成本大，且医生的读片经验需要通过长期的临床实践积累，不同的医生尤其是新手医生对同一例腹部CT医学图像的读片结果差异较大，因此构建新的神经网络模型，对腹部淋巴结分区预测更准确的方法亟待需要。本发明旨在完成了一种利用原始CT图像与掩模叠加作为输入，并引入注意力机制到深度残差神经网络对CT图像中的腹部淋巴结节进行准确分区的方法。
发明内容
基于以上问题，本发明提供了一种基于注意力机制神经网络的腹部淋巴结分区方法，用于解决现有技术中医生对同一例腹部CT医学图像的读片结果差异较大，对腹部淋巴结分区预测不准确的问题。本发明中通过利用原始CT图像与掩模叠加作为输入，并引入注意力机制到深度残差神经网络，从而可以对CT图像中的腹部淋巴结节进行准确分区。
本发明为了实现上述目的具体采用以下技术方案：
一种基于注意力机制神经网络的腹部淋巴结分区方法，包括以下步骤：
步骤1：数据准备，完成数据从数据系统导入以及对待分类的腹部淋巴结节进行标定；
步骤2：掩模生成，对数据进行预处理，主要包括原始CT图像的预处理与使用不同策略生成淋巴结区域的掩模；
步骤3：构建注意力机制残差网络模型，并使用采集的数据和标定的结果对模型进行训练；
步骤4：重复步骤3，构建并训练腹部淋巴结相对位置分区的模型；
步骤5：使用步骤3、步骤4训练好的模型对检测任务自动检测出的腹部淋巴结节进行分类，输出模型预测的腹部淋巴结节相对位置特征的信息。
其中，步骤1中的数据为腹部CT图像，采取半自动和多级标注的方法对腹部淋巴结节进行标定，使每一例CT图像都包含着腹部淋巴结节的位置以及标定的分区特征信息。
步骤2中掩模生成包括以下步骤：
步骤2.1：数据预处理，通过样条插值、数值归一化的手段预处理CT图像；
步骤2.2：淋巴结分区空间先验知识，将CT图像中的结节映射为图像掩模，采用图像掩模作为淋巴结分区模型的先验知识，图像掩模是一组由0或1组成的二维矩阵，其矩阵元素与原始图像的像素点一一映射；
步骤2.3：淋巴结掩模生成策略。
其中，步骤2.3中淋巴结掩模生成策略包括掩模策略Ⅰ或掩模策略Ⅱ或掩模策略Ⅲ或掩模策略Ⅳ；
所述掩模策略Ⅰ由原始CT图像映射而来，淋巴结标注框内被设置为1（图3（a）中的白色部分），其余位置均被设置为0（图3（a）中的黑色部分）；
所述掩模策略Ⅱ在掩模策略Ⅰ的基础上增加了淋巴结的形态学特征，即淋巴结标注框内的像素值与淋巴结在CT图像中相应位置的像素值相同，其他区域依然被设置为0（图3（b）中的黑色部分）；
所述掩模策略Ⅲ在掩模策略Ⅰ的基础上引入了腹部脏器轮廓的空间信息，使掩模策略Ⅲ与掩模策略Ⅰ、掩模策略Ⅱ相比增加了腹部轮廓的位置特征，掩模策略Ⅲ对CT图像进行边缘检测，检出下腹外轮廓后将轮廓外的像素值设置为0（图3（c）中的黑色部分），将下腹轮廓内非结节区域设置为1（图3（c）中的白色部分），最后将结节标注框内区域设置为0（图3（c）中的黑色部分）；
所述掩模策略Ⅳ在掩模策略Ⅲ的基础上增加了淋巴结的形态学特征，即在淋巴结所在区域内保留了原始CT图像中的淋巴结图像信息。
具体的，步骤3中构建注意力机制残差网络模型包括以下步骤：
步骤3.1：淋巴结分区网络模型结构，使用的深度神经网络基础模型是ResNet34，ResNet34包含多个残差块，每一个残差块均将进行残差映射，使残差块的输出等于残差映射和直接映射之和；
步骤3.2：基于迁移学习的参数初始化，采用迁移学习的策略；
步骤3.3：注意力机制模块，步骤3.1中每个残差块之后引入注意力机制模块，注意力机制模块包括通道注意力机制模块和空间注意力机制模块，通道注意力机制模块将特征图在空间维度上进行压缩，得到一个一维矢量后再进行操作，空间注意力机制模块以通道注意力机制模块的输出结果作为输入。
所述通道注意力机制模块的公式为：
其中，
为sigmoid操作，MLP为多层感知机计算，AvgPool是平均池化操作，MaxPool是最大池化操作，
代表通道注意力机制中平均池化操作后的特征，
代表通道注意力机制中最大池化操作后的特征，F表示输入特征，W1和W0代表MLP操作的权重，其中W0后面需要接激活函数（激活函数通常采用RELU函数）激活，进而生成通道注意力机制模块的输出特征即空间注意力机制模块需要的输入特征Mc(F)；
空间注意力机制的公式为：
其中，
为sigmoid操作，
表示卷积核的大小，
代表使用
卷积核的卷积操作，AvgPool是平均池化操作，MaxPool是最大池化操作，
代表空间注意力机制中平均池化操作后的特征，
代表空间注意力机制中最大池化操作后的特征，F表示输入特征，[AvgPool（F）；MaxPool（F）]表示对输入特征F同时进行平均池化和最大池化的操作处理过程，
表示将平均池化处理后的结果和最大池化处理后的结果拼接到一起。
具体的，步骤4中网格的训练包括以下步骤：
步骤4.1：基于热启动的学习策略，将学习率从0开始随迭代次数线性增加，直到训练过程稳定；
步骤4.2：加权学习误差函数，卷积权值使用在ImageNet数据集上预训练的ResNet34模型进行初始化。
步骤4.1中在热启动的学习策略下，第i次迭代的学习率lri为：
其中，LRinitial为设置的初始学习率，I为热启动阶段的总迭代次数，i为当前迭代次数，lri为第i次迭代学习率。
在热启动的学习策略下采用余弦退火策略进行学习率衰减，余弦退火策略以余弦函数的曲线对学习率进行调整，在第t时刻，经余弦退火策略调整的学习率lr为：
其中，LR为衰减前学习率，T为总衰减周期，lr为余弦退火策略调整的学习率，t为当前时刻，π为圆周率。
损失函数采用加权学习误差函数，原始学习误差函数loss(x,class)的数学形式为：
其中，log为对数函数，exp为指数函数，class为当前类标签，x为网络的输出，j为求和计算时的类别数目，x[class]是类别为class时的值，x[j]是当类别为j时的值，
为x[j]的指数和；
加权学习误差函数lossweight(x,class)的数学形式为:
其中，weight[class]为类别是class时的权重，log为对数函数，exp为指数函数，class为当前类标签，x为网络的输出，j为求和计算时的类别数目，x[class]是类别为class时的值，x[j]是当类别为j时的值，
为x[j]的指数和。
本发明的有益效果如下：
（1）本发明中通过利用原始CT图像与掩模叠加作为输入，并引入注意力机制到深度残差神经网络，从而可以对CT图像中的腹部淋巴结节进行准确分区。
（2）本发明中使用迁移学习思路，引入对应结节的掩模信息，并与原始CT图像叠加输入，这一改进使得提出的分区方法更为全面可靠，既能充分利用结节的相对位置信息，又能保留原始CT影像中的结节图像细节，从而为腹部淋巴结分区带来有益效果。
（3）本发明在Resnet34基础上引入了注意力机制，这一改进使得提出的模型充分利用数据的通道信息和空间信息，使得模型可以从更丰富的信息中提取深层次特征，进而提升淋巴结分区效果，从而提升改进模型的预测效果。
（4）本发明对于已经完成训练的模型，可以快速检测，实现批量CT检测，可以实现无人值守批量操作，且速度快速，速度可随设备扩展提升，节省了初级筛查的人力物力，解放医生工作，并可无人值守对未完全分析的挤压性数据进行自动处理。
附图说明
图1为本发明的流程图；
图2为本发明淋巴掩模可视化的示意图；
图3为本发明四种掩模生成策略示意图；
图4为本发明基于原始CT与对应结节掩模通道叠加输入的注意力残差神经网络模型示意图；
图5为本发明注意力机制模块接在残差块之后的示意图；
图6为本发明通道注意力机制模块的示意图；
图7为本发明空间注意力机制模块的示意图。
具体实施方式
为了本技术领域的人员更好的理解本发明，下面结合附图和以下实施例对本发明作进一步详细描述。
实施例：
如图1所示，一种基于注意力机制神经网络的腹部淋巴结分区方法，包括以下步骤：
步骤1：数据准备，完成数据从数据系统导入以及对待分类的腹部淋巴结节进行标定；
步骤2：掩模生成，对数据进行预处理，主要包括原始CT图像的预处理与使用不同策略生成淋巴结区域的掩模；
步骤3：构建注意力机制残差网络模型，并使用采集的数据和标定的结果对模型进行训练；
步骤4：重复步骤3，构建并训练腹部淋巴结相对位置分区的模型；这里的“相对位置”指腹部淋巴结在腹部构造中，相对于脏器、血管等繁复组织的位置，“分区”由淋巴结在腹部构造中的相对位置决定；
步骤5：使用步骤3、步骤4训练好的模型对检测任务自动检测出的腹部淋巴结节进行分类，输出模型预测的腹部淋巴结节相对位置特征的信息。
其中，步骤1中的数据为腹部CT图像，深度神经网络方法需要大量的数据用于训练，因此首先需要准备好数据用于模型的训练，涉及到七种腹部淋巴结节的相对位置特征，其中侧方淋巴结包括：闭孔头淋巴结、闭孔尾淋巴结、髂内近端淋巴结、髂内远端淋巴结、髂外/髂总淋巴结、髂总动脉分差血管淋巴结；非侧方淋巴结包括：结直肠系膜淋巴结，因此对于每类数据都需要各采集数据，本发明使用的方法是一种有监督的学习方法，因此在数据准备阶段需要对训练数据进行标定，对结节的标注工作采取半自动、多级标注的方法，这里所称的半自动标注即将整例数据利用神经网络方法处理，初步检测出该例病例中包含的淋巴结，所称的多级标注即将半自动标注后的结果交付于两位初级医师进行人为标注的修订和分区标签的完善，将两人修订后的结果合并，将合并后的结果交付于高级医师审核修订，并进一步完善分区标签，高级医师修订后的结构为试验中使用的训练数据，即对于每一例CT图像，首先用检测模型对腹部淋巴结进行一次自动检测，取得模型预测的结节位置，然后每一例CT都会由专家对模型检测的腹部淋巴结位置进行审核，然后对结节分区特征进行交叉标定，不采用有争议的结节及标签，以确保数据的准确性，最后每一例CT图像都包含着腹部淋巴结节的位置以及标定的分区特征信息。
如图2所示，步骤2中掩模生成包括以下步骤：
步骤2.1：数据预处理，通过样条插值、数值归一化的手段预处理CT图像；不同仪器不同环境采集得到的CT图像在像素间隔，图像对比度方面有很大的不同，本步骤通过样条插值、数值归一化的手段预处理CT图像，来得到各方面一致的CT数据，这使得后续分类步骤中的CT图像的位置信息和强度信息保持一致，并保证了后续机器学习步骤能提取到有用的特征，获得更好的效果。
步骤2.2：淋巴结分区空间先验知识，将CT图像中的结节映射为图像掩模，采用图像掩模作为淋巴结分区模型的先验知识，图像掩模是一组由0或1组成的二维矩阵，其矩阵元素与原始图像的像素点一一映射；相较于CT图像中的其他信息，淋巴结分区任务更加关注淋巴结的空间信息以及淋巴结与下腹轮廓的相对位置信息，本发明采用图像掩模作为淋巴结分区模型的先验知识，一般将感兴趣或待保留区域置为1，而将其他所有无关区域置0，在深度学习领域，掩模用于突出特定区域的位置信息，促使网络学习到指定区域的空间特征，而屏蔽其他区域的空间信息也能避免网络学习到噪声，即为神经网络提供先验知识，提升训练效果，在本发明中，将原始的CT图像中的结节映射为图像掩模，主要有两个目的，其一是可以将原始数据中淋巴结的位置坐标进行可视化，其二是利用掩模保留淋巴结区域分类所需要的CT图像特征，基于此目的，本发明提出了四种不同的掩模策略，每一种掩模都包含了不同的语义信息，四种掩模策略如图3所示。
步骤2.3：淋巴结掩模生成策略。
其中，步骤2.3中淋巴结掩模生成策略包括掩模策略Ⅰ或掩模策略Ⅱ或掩模策略Ⅲ或掩模策略Ⅳ；
如图3（a）所示，所述掩模策略Ⅰ由原始CT图像映射而来，淋巴结标注框内被设置为1（图3（a）中的白色部分），其余位置均被设置为0（图3（a）中的黑色部分），在该策略下，只保留结节的位置特征；
如图3（b）所示，所述掩模策略Ⅱ在掩模策略Ⅰ的基础上增加了淋巴结的形态学特征，即淋巴结标注框内的像素值与淋巴结在CT图像中相应位置的像素值相同，其他区域依然被设置为0（图3（b）中的黑色部分），为了得到该掩模，只需将策略Ⅰ的掩模与原图相乘或做逻辑与运算即可；
如图3（c）所示，所述掩模策略Ⅲ在掩模策略Ⅰ的基础上引入了腹部脏器轮廓的空间信息，使掩模策略Ⅲ与掩模策略Ⅰ、掩模策略Ⅱ相比增加了腹部轮廓的位置特征，掩模策略Ⅲ对CT图像进行边缘检测，检出下腹外轮廓后将轮廓外的像素值设置为0（图3（c）中的黑色部分），将下腹轮廓内非结节区域设置为1（图3（c）中的白色部分），最后将结节标注框内区域设置为0（图3（c）中的黑色部分）；
如图3（d）所示，所述掩模策略Ⅳ在掩模策略Ⅲ的基础上增加了淋巴结的形态学特征，即在淋巴结所在区域内保留了原始CT图像中的淋巴结图像信息，该掩模相较于前三种掩模包含的空间信息最多，在输入网络模型后能学到的特征也最多，我们将设计实验验证这些特征是否都有助于淋巴结分区任务。
本发明的数据处理方法不同于一般分类模型的数据处理方法，采用迁移学习的理念，根据原始CT图像和对应结节的位置信息、腹部脏器轮廓信息等多种信息，采取多种掩模策略，并通过试验选择了效果最佳的掩模方法作为数据处理方法。
如图4所示，图中0、1、2、3、4、5、6代表分类结果，卷积操作、残差块、全连接层、softmax均为现有方法，具体的步骤3中构建注意力机制残差网络模型包括以下步骤：
步骤3.1：淋巴结分区网络模型结构，使用的深度神经网络基础模型是ResNet34，ResNet34包含多个残差块，每一个残差块均将进行残差映射，使残差块的输出等于残差映射和直接映射之和；通过引入多个残差块，使得残差网络在优化层数较多的深度神经网络时具有非常大的优势，尤其避免了卷积神经网络层数过多而导致的梯度消失的问题，本发明采用的模型对标准34层残差网络即ResNet34进行修改，在输入阶段，由于本发明的CT数据在前期数据处理阶段引入了掩模，输入网络的数据为原始CT图像和掩模的叠加。
步骤3.2：基于迁移学习的参数初始化，采用迁移学习的策略；迁移学习（transferlearning）是指把已经训练好的解决模型利用在其他不同但相关的问题上，不同于传统方法使用随机数对网络进行初始化，迁移学习利用在某些大型数据库（如ImageNet）上训练好的网络参数来初始化自己的网络模型，从而提高训练速度，迁移学习主要用于解决训练数据规模较小的问题，对于本发明提出的模型，可供训练的数据较少，因此将在ImageNet上训练好的残差网络参数用于本项目网络模型的初始化可以加快训练速度，避免过拟合。
如图5-7所示，步骤3.3：注意力机制模块，步骤3.1中每个残差块之后引入注意力机制模块，注意力机制模块包括通道注意力机制模块和空间注意力机制模块，通道注意力机制模块将特征图在空间维度上进行压缩，得到一个一维矢量后再进行操作，空间注意力机制模块以通道注意力机制模块的输出结果作为输入。
通道注意力机制模块在空间维度上进行压缩时，不仅考虑到了平均值池化（Average Pooling）还考虑了最大值池化（Max Pooling），平均池化和最大池化可用来聚合特征映射的空间信息，送到一个共享网络，压缩输入特征图的空间维数，逐元素求和合并，以产生通道注意力图，单就一张图来说，通道注意力关注的是这张图上哪些内容是有重要作用的，平均值池化对特征图上的每一个像素点都有反馈，而最大值池化在进行梯度反向传播计算时，只有特征图中响应最大的地方有梯度的反馈。
以上使用步骤2处理后的数据作为训练数据，在ResNet34的基础上引入新的机制，完成对发明中提到模型的训练。
所述通道注意力机制模块的公式为：
其中，
为sigmoid操作，MLP为多层感知机计算，AvgPool是平均池化操作，MaxPool是最大池化操作，
代表通道注意力机制中平均池化操作后的特征，
代表通道注意力机制中最大池化操作后的特征，W1和W0代表MLP操作的权重，F为输入特征，c代表通道层面，整体代表通道注意力机制处理后的特征，其中W0后面需要接激活函数（激活函数通常采用RELU函数）激活，进而生成通道注意力机制模块的输出特征即空间注意力机制模块需要的输入特征Mc(F)；
空间注意力机制的公式为：
其中，
为sigmoid操作，
表示卷积核的大小，
代表使用
卷积核的卷积操作，AvgPool是平均池化操作，MaxPool是最大池化操作，
代表空间注意力机制中平均池化操作后的特征，
代表空间注意力机制中最大池化操作后的特征，[AvgPool（F）；MaxPool（F）]表示对输入特征F同时进行平均池化和最大池化的操作处理过程，
表示将平均池化处理后的结果和最大池化处理后的结果拼接到一起，F为输入特征，s代表空间层面，整体代表空间注意力机制处理后的特征。
具体的，步骤4中网格的训练包括以下步骤：
步骤4.1：基于热启动的学习策略，将学习率从0开始随迭代次数线性增加，直到训练过程稳定；在训练阶段，一次训练批次设置为24，学习迭代次数为50，网络设置学习率为0.001，在网络前期训练阶段，由于所有的参数都是随机初始化的且网络未收敛，此时使用较大的学习率进行训练会造成数值的不稳定，因此采用热启动策略，将学习率从0开始随迭代次数线性增加，直到训练过程稳定。
步骤4.1中在热启动的学习策略下，第i次迭代的学习率lri为：
其中，LRinitial为设置的初始学习率，I为热启动阶段的总迭代次数，i为当前迭代次数，lri为第i次迭代学习率，本发明设置热启动学习的迭代次数为10，在第十次迭代时学习率增加至初始设置的0.001，而在后续训练过程中，为了更快的收敛到全局最优，本发明进一步采用余弦退火策略进行学习率衰减。
在热启动的学习策略下采用余弦退火策略进行学习率衰减，余弦退火策略以余弦函数的曲线对学习率进行调整，在第t时刻，经余弦退火策略调整的学习率lr为：
其中，LR为衰减前学习率，T为总衰减周期，lr为余弦退火策略调整的学习率，t为当前时刻，π为圆周率，本发明设置总衰减周期为40次迭代，衰减前学习率为初始化学习率0.001。
步骤4.2：加权学习误差函数，卷积权值使用在ImageNet数据集上预训练的ResNet34模型进行初始化。卷积权值使用在ImageNet数据集上预训练的ResNet34模型进行初始化，相较于高斯分布的随机数初始化，使用预训练模型进行初始化并微调可以让模型更好的收敛，找到局部最优点并有助于解决数据集规模较小的问题，提高模型的泛化能力，由于数据分布不均衡，损失函数采用加权学习误差函数，原始学习误差函数loss(x,class)的数学形式为：
其中，log为对数函数，exp为指数函数，class为当前类标签，x为网络的输出，j为求和计算时的类别数目，x[class]是类别为class时的值，x[j]是当类别为j时的值，
为x[j]的指数和；
加权学习误差函数lossweight(x,class)的数学形式为:
其中，weight[class]为类别是class时的权重，log为对数函数，exp为指数函数，class为当前类标签，x为网络的输出，j为求和计算时的类别数目，x[class]是类别为class时的值，x[j]是当类别为j时的值，
为x[j]的指数和。本发明通过利用原始CT图像与掩模叠加作为输入，并引入注意力机制到深度残差神经网络，从而可以对CT图像中的腹部淋巴结节进行准确分区。
如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准。
Claims (10)
1.一种基于注意力机制神经网络的腹部淋巴结分区方法，其特征在于：包括以下步骤：
步骤1：数据准备，从系统导入数据以及对待分类的腹部淋巴结节进行标定；
步骤2：掩模生成，对数据进行预处理，并使用不同策略生成淋巴结区域的掩模；
步骤3：构建注意力机制残差网络模型，并使用预处理后的数据和标定的结果对注意力机制残差网络模型进行训练；
步骤4：构建腹部淋巴结相对位置分区的模型，并使用预处理后的数据和标定的结果对腹部淋巴结相对位置分区的模型进行训练；
步骤5：使用步骤3、步骤4训练好的模型对检测任务自动检测出的腹部淋巴结节进行处理，输出预测的腹部淋巴结节相对位置特征的信息。
2.根据权利要求1所述的一种基于注意力机制神经网络的腹部淋巴结分区方法，其特征在于：步骤1中的数据为腹部CT图像，采取半自动和多级标注的方法对腹部淋巴结节进行标定，使每一例CT图像都包含着腹部淋巴结节的位置以及标定的分区特征信息。
3.根据权利要求1所述的一种基于注意力机制神经网络的腹部淋巴结分区方法，其特征在于：步骤2中掩模生成包括以下步骤：
步骤2.1：数据预处理，通过样条插值、数值归一化的手段预处理CT图像；
步骤2.2：淋巴结分区空间先验知识，将CT图像中的结节映射为图像掩模，采用图像掩模作为淋巴结分区模型的先验知识，图像掩模是一组由0或1组成的二维矩阵，其矩阵元素与原始图像的像素点一一映射；
步骤2.3：淋巴结掩模生成策略。
4.根据权利要求3所述的一种基于注意力机制神经网络的腹部淋巴结分区方法，其特征在于：步骤2.3中淋巴结掩模生成策略包括掩模策略Ⅰ或掩模策略Ⅱ或掩模策略Ⅲ或掩模策略Ⅳ；
所述掩模策略Ⅰ由原始CT图像映射而来，淋巴结标注框内被设置为1，其余位置均被设置为0；
所述掩模策略Ⅱ在掩模策略Ⅰ的基础上增加了淋巴结的形态学特征，即淋巴结标注框内的像素值与淋巴结在CT图像中相应位置的像素值相同，其他区域依然被设置为0；
所述掩模策略Ⅲ在掩模策略Ⅰ的基础上引入了腹部脏器轮廓的空间信息，使掩模策略Ⅲ与掩模策略Ⅰ、掩模策略Ⅱ相比增加了腹部轮廓的位置特征，掩模策略Ⅲ对CT图像进行边缘检测，检出下腹外轮廓后将轮廓外的像素值设置为0，将下腹轮廓内非结节区域设置为1，最后将结节标注框内区域设置为0；
所述掩模策略Ⅳ在掩模策略Ⅲ的基础上增加了淋巴结的形态学特征，即在淋巴结所在区域内保留了原始CT图像中的淋巴结图像信息。
5.根据权利要求1所述的一种基于注意力机制神经网络的腹部淋巴结分区方法，其特征在于：步骤3中构建注意力机制残差网络模型包括以下步骤：
步骤3.1：淋巴结分区网络模型结构，使用的深度神经网络基础模型是ResNet34，ResNet34包含多个残差块，每一个残差块均将进行残差映射，使残差块的输出等于残差映射和直接映射之和；
步骤3.2：基于迁移学习的参数初始化，采用迁移学习的策略；
步骤3.3：注意力机制模块，步骤3.1中每个残差块之后引入注意力机制模块，注意力机制模块包括通道注意力机制模块和空间注意力机制模块，通道注意力机制模块将特征图在空间维度上进行压缩，得到一个一维矢量后再进行操作，空间注意力机制模块以通道注意力机制模块的输出结果作为输入。
6.根据权利要求5所述的一种基于注意力机制神经网络的腹部淋巴结分区方法，其特征在于：所述通道注意力机制模块的公式为：
其中，
为sigmoid操作，MLP为多层感知机计算，AvgPool是平均池化操作，MaxPool是最大池化操作，
代表通道注意力机制中平均池化操作后的特征，
代表通道注意力机制中最大池化操作后的特征，W1和W0代表MLP操作的权重, F表示输入特征；
空间注意力机制的公式为：
其中，
为sigmoid操作，
表示卷积核的大小，
代表使用
卷积核的卷积操作，AvgPool是平均池化操作，MaxPool是最大池化操作，
代表空间注意力机制中平均池化操作后的特征，
代表空间注意力机制中最大池化操作后的特征，F表示输入特征，[AvgPool（F）；MaxPool（F）]表示对输入特征F同时进行平均池化和最大池化的操作处理过程，
表示将平均池化处理后的结果和最大池化处理后的结果拼接到一起。
7.根据权利要求6所述的一种基于注意力机制神经网络的腹部淋巴结分区方法，其特征在于：步骤4中网格的训练包括以下步骤：
步骤4.1：基于热启动的学习策略，将学习率从0开始随迭代次数线性增加，直到训练过程稳定；
步骤4.2：加权学习误差函数，卷积权值使用在ImageNet数据集上预训练的ResNet34模型进行初始化。
8.根据权利要求7所述的一种基于注意力机制神经网络的腹部淋巴结分区方法，其特征在于：步骤4.1中在热启动的学习策略下，第i次迭代的学习率lri为：
其中，LRinitial为设置的初始学习率，I为热启动阶段的总迭代次数，i为当前迭代次数，lri为第i次迭代学习率。
9.根据权利要求8所述的一种基于注意力机制神经网络的腹部淋巴结分区方法，其特征在于：在热启动的学习策略下采用余弦退火策略进行学习率衰减，余弦退火策略以余弦函数的曲线对学习率进行调整，在第t时刻，经余弦退火策略调整的学习率lr为：
其中，LR为衰减前学习率，T为总衰减周期，lr为余弦退火策略调整的学习率，t为当前时刻，π为圆周率。
10.根据权利要求7所述的一种基于注意力机制神经网络的腹部淋巴结分区方法，其特征在于：损失函数采用加权学习误差函数，原始学习误差函数loss(x,class)的数学形式为：
其中，log为对数函数，exp为指数函数，class为当前类标签，x为网络的输出，j为求和计算时的类别数目，x[class]是类别为class时的值，x[j]是当类别为j时的值，
为x[j]的指数和；
加权学习误差函数lossweight(x,class)的数学形式为:
其中，weight[class]为类别是class时的权重，log为对数函数，exp为指数函数，class为当前类标签，x为网络的输出，j为求和计算时的类别数目，x[class]是类别为class时的值，x[j]是当类别为j时的值，
为x[j]的指数和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110170258.6A CN112494063B (zh) | 2021-02-08 | 2021-02-08 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110170258.6A CN112494063B (zh) | 2021-02-08 | 2021-02-08 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112494063A true CN112494063A (zh) | 2021-03-16 |
| CN112494063B CN112494063B (zh) | 2021-06-01 |
Family
ID=74952819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110170258.6A Active CN112494063B (zh) | 2021-02-08 | 2021-02-08 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112494063B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657128A (zh) * | 2021-08-25 | 2021-11-16 | 四川大学 | 基于重要性度量和低资源迁移学习翻译系统及存储介质 |
| CN113723505A (zh) * | 2021-08-30 | 2021-11-30 | 上海大学 | 一种基于细胞骨架图像定量分析的细胞图像分类方法及其分类器 |
Citations (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110032648A (zh) * | 2019-03-19 | 2019-07-19 | 微医云(杭州)控股有限公司 | 一种基于医学领域实体的病历结构化解析方法 |
| WO2019232346A1 (en) * | 2018-05-31 | 2019-12-05 | Mayo Foundation For Medical Education And Research | Systems and media for automatically diagnosing thyroid nodules |
| CN110598582A (zh) * | 2019-08-26 | 2019-12-20 | 深圳大学 | 一种眼图像处理模型构建方法和装置 |
| CN110889852A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肝脏分割方法 |
| CN110889853A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肿瘤分割方法 |
| CN110991633A (zh) * | 2019-12-04 | 2020-04-10 | 电子科技大学 | 一种基于忆阻网络的残差神经网络模型及其应用方法 |
| WO2020140422A1 (en) * | 2019-01-02 | 2020-07-09 | Boe Technology Group Co., Ltd. | Neural network for automatically tagging input image, computer-implemented method for automatically tagging input image, apparatus for automatically tagging input image, and computer-program product |
| CN111415342A (zh) * | 2020-03-18 | 2020-07-14 | 北京工业大学 | 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法 |
| CN111429447A (zh) * | 2020-04-03 | 2020-07-17 | 深圳前海微众银行股份有限公司 | 病灶区域检测方法、装置、设备及存储介质 |
| CN111539343A (zh) * | 2020-04-26 | 2020-08-14 | 安徽皖仪科技股份有限公司 | 一种基于卷积注意力网络的黑烟车检测方法 |
| CN111598876A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动识别模型构建方法、系统及设备 |
| CN111611924A (zh) * | 2020-05-21 | 2020-09-01 | 东北林业大学 | 一种基于深度迁移学习模型的蘑菇识别方法 |
| US20200302612A1 (en) * | 2019-03-22 | 2020-09-24 | Nvidia Corporation | Shape fusion for image analysis |
| CN111723829A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种基于注意力掩模融合的全卷积目标检测方法 |
| CN111754465A (zh) * | 2020-06-04 | 2020-10-09 | 四川大学 | 一种绝缘子定位与掉串检测方法 |
| CN111862071A (zh) * | 2020-07-29 | 2020-10-30 | 南通大学 | 一种基于ct图像测量腰1椎体ct值的方法 |
| CN111951218A (zh) * | 2020-07-09 | 2020-11-17 | 黄鹏 | 一种混合深度学习模型的口红质检系统 |
| CN111951207A (zh) * | 2020-08-25 | 2020-11-17 | 福州大学 | 基于深度增强学习和语义损失的图像质量增强方法 |
| CN112116546A (zh) * | 2019-06-19 | 2020-12-22 | 西门子医疗有限公司 | 类别感知的对抗肺结节合成 |
| CN112132917A (zh) * | 2020-08-27 | 2020-12-25 | 盐城工学院 | 一种直肠癌淋巴结转移的智能诊断方法 |
| CN112164073A (zh) * | 2020-09-22 | 2021-01-01 | 江南大学 | 一种基于深度神经网络的影像三维组织分割与测定方法 |
| CN112233135A (zh) * | 2020-11-11 | 2021-01-15 | 清华大学深圳国际研究生院 | 眼底图像中视网膜血管分割方法及计算机可读存储介质 |
| CN112292691A (zh) * | 2018-06-18 | 2021-01-29 | 谷歌有限责任公司 | 用于使用深度学习提高癌症检测的方法与系统 |
| CN112330681A (zh) * | 2020-11-06 | 2021-02-05 | 北京工业大学 | 一种基于注意力机制的轻量级网络实时语义分割方法 |
| CN112396103A (zh) * | 2020-11-16 | 2021-02-23 | 平安科技（深圳）有限公司 | 图像分类方法、装置及存储介质 |
-
2021
- 2021-02-08 CN CN202110170258.6A patent/CN112494063B/zh active Active
Patent Citations (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019232346A1 (en) * | 2018-05-31 | 2019-12-05 | Mayo Foundation For Medical Education And Research | Systems and media for automatically diagnosing thyroid nodules |
| CN112292691A (zh) * | 2018-06-18 | 2021-01-29 | 谷歌有限责任公司 | 用于使用深度学习提高癌症检测的方法与系统 |
| CN110889852A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肝脏分割方法 |
| CN110889853A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肿瘤分割方法 |
| WO2020140422A1 (en) * | 2019-01-02 | 2020-07-09 | Boe Technology Group Co., Ltd. | Neural network for automatically tagging input image, computer-implemented method for automatically tagging input image, apparatus for automatically tagging input image, and computer-program product |
| CN111723829A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种基于注意力掩模融合的全卷积目标检测方法 |
| CN110032648A (zh) * | 2019-03-19 | 2019-07-19 | 微医云(杭州)控股有限公司 | 一种基于医学领域实体的病历结构化解析方法 |
| US20200302612A1 (en) * | 2019-03-22 | 2020-09-24 | Nvidia Corporation | Shape fusion for image analysis |
| CN112116546A (zh) * | 2019-06-19 | 2020-12-22 | 西门子医疗有限公司 | 类别感知的对抗肺结节合成 |
| CN110598582A (zh) * | 2019-08-26 | 2019-12-20 | 深圳大学 | 一种眼图像处理模型构建方法和装置 |
| CN110991633A (zh) * | 2019-12-04 | 2020-04-10 | 电子科技大学 | 一种基于忆阻网络的残差神经网络模型及其应用方法 |
| CN111415342A (zh) * | 2020-03-18 | 2020-07-14 | 北京工业大学 | 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法 |
| CN111429447A (zh) * | 2020-04-03 | 2020-07-17 | 深圳前海微众银行股份有限公司 | 病灶区域检测方法、装置、设备及存储介质 |
| CN111539343A (zh) * | 2020-04-26 | 2020-08-14 | 安徽皖仪科技股份有限公司 | 一种基于卷积注意力网络的黑烟车检测方法 |
| CN111598876A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动识别模型构建方法、系统及设备 |
| CN111611924A (zh) * | 2020-05-21 | 2020-09-01 | 东北林业大学 | 一种基于深度迁移学习模型的蘑菇识别方法 |
| CN111754465A (zh) * | 2020-06-04 | 2020-10-09 | 四川大学 | 一种绝缘子定位与掉串检测方法 |
| CN111951218A (zh) * | 2020-07-09 | 2020-11-17 | 黄鹏 | 一种混合深度学习模型的口红质检系统 |
| CN111862071A (zh) * | 2020-07-29 | 2020-10-30 | 南通大学 | 一种基于ct图像测量腰1椎体ct值的方法 |
| CN111951207A (zh) * | 2020-08-25 | 2020-11-17 | 福州大学 | 基于深度增强学习和语义损失的图像质量增强方法 |
| CN112132917A (zh) * | 2020-08-27 | 2020-12-25 | 盐城工学院 | 一种直肠癌淋巴结转移的智能诊断方法 |
| CN112164073A (zh) * | 2020-09-22 | 2021-01-01 | 江南大学 | 一种基于深度神经网络的影像三维组织分割与测定方法 |
| CN112330681A (zh) * | 2020-11-06 | 2021-02-05 | 北京工业大学 | 一种基于注意力机制的轻量级网络实时语义分割方法 |
| CN112233135A (zh) * | 2020-11-11 | 2021-01-15 | 清华大学深圳国际研究生院 | 眼底图像中视网膜血管分割方法及计算机可读存储介质 |
| CN112396103A (zh) * | 2020-11-16 | 2021-02-23 | 平安科技（深圳）有限公司 | 图像分类方法、装置及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| HONG LIU等: ""A cascaded dual-pathway residual network for lung nodule segmentation in CT images"", 《PHYSICA MEDICA》 * |
| QINGJI GUAN 等: ""Diagnose like a Radiologist: Attention Guided Convolutional Neural Network for Thorax Disease Classification"", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
| QINGJI GUAN等: ""Thorax disease classification with attention guided convolutional neural network"", 《PATTERN RECOGNITION LETTERS》 * |
| 王成第 等: ""利用深度学习技术辅助肺结节的人工智能检测"", 《医学进展》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657128A (zh) * | 2021-08-25 | 2021-11-16 | 四川大学 | 基于重要性度量和低资源迁移学习翻译系统及存储介质 |
| CN113657128B (zh) * | 2021-08-25 | 2023-04-07 | 四川大学 | 基于重要性度量和低资源迁移学习翻译系统及存储介质 |
| CN113723505A (zh) * | 2021-08-30 | 2021-11-30 | 上海大学 | 一种基于细胞骨架图像定量分析的细胞图像分类方法及其分类器 |
| CN113723505B (zh) * | 2021-08-30 | 2024-04-23 | 上海大学 | 一种基于细胞骨架图像定量分析的细胞图像分类方法及其分类器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112494063B (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Do et al. | Basics of deep learning: a radiologist's guide to understanding published radiology articles on deep learning | |
| Lo et al. | Artificial convolution neural network techniques and applications for lung nodule detection | |
| Sori et al. | Multi-path convolutional neural network for lung cancer detection | |
| US9092852B2 (en) | Generating an anatomical model using a rule-based segmentation and classification process | |
| US8775451B2 (en) | Object based image retrieval | |
| Ionescu et al. | Prediction of reader estimates of mammographic density using convolutional neural networks | |
| CN107464250A (zh) | 基于三维mri图像的乳腺肿瘤自动分割方法 | |
| US20090082637A1 (en) | Multi-modality fusion classifier with integrated non-imaging factors | |
| CN112494063B (zh) | 一种基于注意力机制神经网络的腹部淋巴结分区方法 | |
| CN113205537B (zh) | 基于深度学习的血管图像分割方法、装置、设备及介质 | |
| Li et al. | Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images | |
| CN112614133B (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
| US11263744B2 (en) | Saliency mapping by feature reduction and perturbation modeling in medical imaging | |
| US20230230241A1 (en) | System and method for detecting lung abnormalities | |
| Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
| CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| CN117094980A (zh) | 基于深度学习的超声乳腺结节图像可解释性方法 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN116759076A (zh) | 一种基于医疗影像的无监督疾病诊断方法及系统 | |
| CN116129185A (zh) | 一种基于数据和模型协同更新的中医舌象腐腻特征模糊分类方法 | |
| US20230260106A1 (en) | Detecting robustness of machine learning models in clinical workflows | |
| US20220293247A1 (en) | Machine learning for automatic detection of intracranial hemorrhages with uncertainty measures from ct images | |
| Hernández-Rodríguez et al. | Convolutional Neural Networks for Multi-scale Lung Nodule Classification in CT: Influence of Hyperparameter Tuning on Performance. | |
| Shiny | Brain tumor segmentation and classification using optimized U-Net |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |