CN110335261B - 一种基于时空循环注意力机制的ct淋巴结检测系统 - Google Patents

一种基于时空循环注意力机制的ct淋巴结检测系统 Download PDF

Info

Publication number
CN110335261B
CN110335261B CN201910570878.1A CN201910570878A CN110335261B CN 110335261 B CN110335261 B CN 110335261B CN 201910570878 A CN201910570878 A CN 201910570878A CN 110335261 B CN110335261 B CN 110335261B
Authority
CN
China
Prior art keywords
attention
lymph node
network
time
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910570878.1A
Other languages
English (en)
Other versions
CN110335261A (zh
Inventor
彭海欣
马英然
王元红
彭延军
卢新明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN201910570878.1A priority Critical patent/CN110335261B/zh
Publication of CN110335261A publication Critical patent/CN110335261A/zh
Priority to US16/957,305 priority patent/US11158048B2/en
Priority to PCT/CN2019/112219 priority patent/WO2020258611A1/zh
Application granted granted Critical
Publication of CN110335261B publication Critical patent/CN110335261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时空循环注意力机制的CT淋巴结检测系统，具体涉及医学图像分析技术领域。本发明基于深度卷积神经网络和循环注意力机制，能够在淋巴结CT序列的切片向和空间域内构造出自适应病灶尺寸的注意力特征图谱。首先，利用一预训练卷积网络提取出淋巴结CT图像对应的高层空间特征；其次在空间邻域内，以淋巴结中心切片为基准，构造一种基于高斯核函数的循环注意力机制；在此基础上，实施基于高斯混合模型的时间(切片方向)注意力机制；此外，根据淋巴结在CT切片序列内位置分布的先验信息，对预测的注意力位置进行约束；最后，循环神经网络综合该两种注意力方法提取到的高层特征进行分类，得到淋巴结检测结果。

Description

一种基于时空循环注意力机制的CT淋巴结检测系统
技术领域
本发明涉及医学图像分析技术领域，具体涉及一种基于时空循环注意力机制的CT淋巴结检测系统。
背景技术
在将深度学习模型应用到医学图像分析领域时，鉴于医学图像特殊的成像特点，模型往往受到医学分析目标的不同大小、形状、尺度、成像质量、背景组织器官等情况的影响，分析准确性有待提高。
视觉注意力机制可以模仿人眼对视觉信息特有的关注机制，能够对感兴趣区域进行准确定位，进一步克服无关信息对模型的影响。有鉴于此，本发明将传统的面向自然图像的深度视觉注意力模型应用到淋巴结CT序列图像中，对淋巴结进行真假阳性分类，以提高深度学习方法在病灶检测方面的准确度。
发明内容
本发明的目的是针对上述不足，提出了一种基于循环注意力机制，根据CT图像呈现序列化特点，基于高斯核函数和混合密度网络，融合空间向、切片向两个维度的视觉注意力过程的CT淋巴结检测系统。
本发明具体采用如下技术方案：
一种基于时空循环注意力机制的CT淋巴结检测系统，包括训练样本提取模块、深层特征提取网络、特征嵌入网络和时空循环注意力目标检测模块，检测过程包括以下步骤：
步骤一：利用训练样本提取模块对获取到的淋巴结dcm格式文件及对应的淋巴结标注位置坐标信息，采用python中的pydicom模块对每个淋巴结抽取出长度为L，宽为W、高为H的CT切片图像块序列Ii(i＝1,2,...,L)，
Figure GDA0002381931370000011
步骤二：基于深层特征提取网络，利用由自然图像预训练好的VGG-16模型对每一淋巴结的CT切片图像块序列提取出其对应的高层空间特征图谱序列，记为{X0,...,XL}；
步骤三：构建特征嵌入网络，对输入的高层特征图谱序列进行降维，输出特征图谱Ai；
步骤四：构建时空循环注意力框架，基于循环神经网络和高斯核函数，执行空间注意力机制，获得空间注意力结果
Figure GDA0002381931370000012
步骤五：对步骤四获得的空间注意力结果
Figure GDA0002381931370000013
实施时间注意力机制，得到时空注意力特征
Figure GDA0002381931370000021
步骤六：综合步骤五得到的时空注意力特征
Figure GDA0002381931370000022
利用步骤四已构建的循环神经网络预测出此循环注意力迭代步的淋巴结阳性得分
Figure GDA0002381931370000023
步骤七：构建模型的损失函数，重复T次步骤四至步骤六，利用梯度反向传播算法，对模型进行有监督训练；
步骤八：重复步骤三至七，对模型进行迭代训练，直至训练结束，得到训练好的模型；
步骤九：输入待检测的淋巴结CT序列，进行模型推理过程，将最后一次循环注意力输出的阳性得分
Figure GDA0002381931370000024
作为CT淋巴结检测结果。
优选地，所述步骤四具体包括以下步骤：
步骤4.1：构建两层长短时循环记忆网络；
步骤4.2：构造特征图谱的编码过程，对长短时循环记忆网络的状态进行初始化；
步骤4.3：利用一发射网络，预测出在特征图谱范围内的空间注意力位置；
步骤4.4：基于二维高斯核函数，构造出注意力矩阵l(t)；
步骤4.5：l(t)与Ai逐元素相乘，并求和，获得空间注意力结果特征
Figure GDA0002381931370000025
优选地，在步骤4.1中，循环神经网络是基于两层结构的长短时循环记忆网络构建，隐藏层表达式由如式(1)所示，
Figure GDA0002381931370000026
其中：
Figure GDA0002381931370000027
对应的Rrecur(·)展开为式(2)：
Figure GDA0002381931370000028
其中，it，ft，ot分别代表输入门，遗忘门和输出门；ct，ht分别表示细胞状态和隐藏层状态；
Figure GDA0002381931370000029
表示第t步注意力机制输入到长短时循环记忆网络的特征向量；
Figure GDA00023819313700000210
为一个由可训练参数构成的仿射变换，a＝d+E，b＝4d；d为it,ft,ot,gt,ct和ht对应的相同向量维数，E为输入特征降维后的维数，将上述Rrecur(·)中的
Figure GDA00023819313700000211
替换成
Figure GDA00023819313700000212
后得到
Figure GDA00023819313700000213
对应的Rrecur(·)。
优选地，所述步骤4.2具体包括如下步骤：
步骤4.2.1：构造与(1)式相同结构的一新的双层长短时循环记忆网络；
步骤4.2.2：将步骤3中每个淋巴结CT切片序列正中心位置处对应的特征图谱Amid，按照空间邻域进行划分；具体将8×8×200按相邻四个位置为一组，总共分成16个2×2×200个子特征块；
步骤4.2.3:对将该16个子特征块按照从外向内顺时针顺序依次输入到新的双层长短时循环记忆网络中，经过16次循环，获取最后时刻LSTM第二层对应的细胞状态
Figure GDA0002381931370000031
用来初始化步骤4.1中的长短时循环记忆网络第二层细胞状态
Figure GDA0002381931370000032
优选地，所述步骤4.3具体包括如下步骤：
步骤4.3.1：将长短时循环记忆网络的第一层隐藏层输出特征向量
Figure GDA0002381931370000033
和循环注意力迭代步中切片序列中心对应的特征结果
Figure GDA0002381931370000034
进行串联，得到
Figure GDA0002381931370000035
步骤4.3.2：将
Figure GDA0002381931370000036
输入到由一层全连接层构成的发射网络，对下一循环迭代步空间注意力位置进行回归，由式(3)所示：
Figure GDA0002381931370000037
其中：
Figure GDA0002381931370000038
表示为t+1时刻预测的注意力位置坐标，此处将高斯核函数方差
Figure GDA0002381931370000039
设为固定值0.1，故
Figure GDA00023819313700000310
只对应两个输出结点。
优选地，所述步骤4.4中，在得到注意力位置坐标
Figure GDA00023819313700000311
之后，利用二维高斯核函数和softmax构建注意力模板矩阵，具体为式(4)所示，
Figure GDA00023819313700000312
其中，
Figure GDA00023819313700000313
为Ai范围内归一化到区间[0,1]的离散的等间隔位置坐标；C为高斯归一化常数，为固定值10。
优选地，所述步骤五具体包括以下步骤：
步骤5.1：构建混合密度网络，根据预测切片方向的注意力位置
Figure GDA00023819313700000314
步骤5.2：基于高斯混合分布，获得注意力权重向量l′(t)；
步骤5.3：将l′(t)与输入特征
Figure GDA0002381931370000041
逐元素相乘并相加，获得时间注意力结果特征
Figure GDA0002381931370000042
优选地，所述步骤5.1中，具体包括以下步骤：
步骤5.1.1：将每个淋巴结对应的序列特征
Figure GDA0002381931370000043
等分成左、右两半部分，即
Figure GDA0002381931370000044
步骤5.1.2：由一层全连接隐藏层构成混合密度网络，用以回归时间注意力位置坐标及混合高斯函数参数，采用式(5)表示：
Figure GDA0002381931370000045
其中，
Figure GDA0002381931370000046
表示
Figure GDA0002381931370000047
的左半部或右半部；
Figure GDA0002381931370000048
表示混合密度网络的训练参数，C表示序列左半部和右半部对应的高斯混合模型的分量数，σ为sigmoid函数；
步骤5.1.3：对左半部和右半部各自回归系数
Figure GDA0002381931370000049
均按
Figure GDA00023819313700000410
的规则分配该系数到混合高斯模型中；
步骤5.1.4：采用式(6)将μLeft限制在[0,0.5)，将μRight限制在(0.5,1]内。
μLeft←μLeft×0.5,μRight←0.5×(1+μRight) (6)
优选地，所述步骤5.2中，具体包括以下步骤：
步骤5.2.1：利用softmax，归一化各高斯分量的系数
Figure GDA00023819313700000411
即
Figure GDA00023819313700000412
并将所有高斯分量的方差
Figure GDA00023819313700000413
固定为0.1；
步骤5.2.2：综合左、右半部切片特征向量导出的混合高斯模型参数
Figure GDA00023819313700000414
依照式(7)获得对应的时间注意力权重向量
Figure GDA00023819313700000415
Figure GDA00023819313700000416
其中，Ν为高斯混合密度函数：
Figure GDA00023819313700000417
Figure GDA00023819313700000418
优选地，在步骤七中，模型有监督训练的目标函数经过以下步骤获得：
步骤7.1：构建分类损失函数；考察所有循环注意力迭代步对应的交叉熵损失函数，由式(9)给出：
Figure GDA0002381931370000051
其中：yi，
Figure GDA0002381931370000052
分别为真实和预测的淋巴结阳性得分，为总的循环注意力迭代次数；
步骤7.2：构建空间注意力机制预测位置的惩罚项，具体包括如下两步：
步骤7.2.1：构建位置“集中”约束项，依照淋巴结位于切片中心位置处这一先验信息，基于Batch Normalization，将预测的空间注意力位置约束到特征图谱中心周围，由式(10)给出：
Figure GDA0002381931370000053
其中，
Figure GDA0002381931370000054
Figure GDA0002381931370000055
其中，β，γ为Batch Normalization引入的可训练参数；d为发射网络的输出维数；m为批样本容量；
步骤7.2.2：构建位置“发散”约束项；通过整个循环注意力过程中预测的各个位置对均匀分布的交叉熵损失函数进行构造，具体如式(11)所示：
Figure GDA0002381931370000056
其中，pUnif～Uniform(0,K2)表示分布在特征图谱空间范围内的均匀分布；常量Const置为1；
步骤7.3：构建时间注意力机制预测位置的惩罚项；对预测位置施加“集中”约束项，对混合密度网络同样引入Batch Normalization层，并最小化式(10)，使得切片方向左、右半部关注位置
Figure GDA0002381931370000057
步骤7.4：构建模型最终的整体损失函数，如式(12)所示：
Figure GDA0002381931370000058
本发明具有如下有益效果：
本发明采用循环注意力机制，对淋巴结CT图像高层空间特征进行加权提取，能够自适应处理3D病灶体素信息，无需引入而外的位置标签信息。发明是基于高斯核函数，模型规模较小，整体可导，方便利用反向传播算法训练。对淋巴结检测结果较为理想，具有很好的技术价值和应用前景。
附图说明
图1为本发明方法的流程图；
图2为本发明各部分结构图；
图3为特征图谱编码序列示意图；
图4为对称的混合密度网络MDN结构图；
图5为循环神经网络在训练阶段时的正向，反向传播示意图；
图6为实施空间注意力机制实例图；
图7为实施时间注意力机制实例图；
图8为本发明与基准模型的FROCs和AUC对比图；
图9为本发明与其他模型的性能对比图。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：
为克服不同淋巴结病灶区域及复杂背景对检测结果的影响，该系统采用循环注意力机制，根据CT图像呈现序列化特点，基于高斯核函数和混合密度网络，模型融合空间向、切片向两个维度的视觉注意力过程。此外，利用病灶区域位置的先验分布，对预测的时空注意力位置进行了约束。
结合附图，一种基于时空循环注意力机制的CT淋巴结检测系统，包括训练样本提取模块、深层特征提取网络、特征嵌入网络和时空循环注意力目标检测模块，检测过程包括以下步骤：
步骤一：利用训练样本提取模块对获取到的淋巴结dcm格式文件及对应的淋巴结标注位置坐标信息，采用python中的pydicom模块对每个淋巴结抽取出长度为L，宽为W、高为H的CT切片图像块序列Ii(i＝1,2,...,L)，
Figure GDA0002381931370000061
采用的数据集为TCIA(The Cancer Imaging Archive)提供的CT淋巴结数据集，其中包含有90个病人的389个纵膈淋巴结以及与之对应的3208例假阳性样本，86个病人的595个腹腔淋巴结以及与其对应的3484例假阳性样本。根据CT淋巴结的先验统计信息，抽取的每个淋巴结对应的CT切片序列长度L＝9，即以每个淋巴结中心为对称轴，前向和后向分别抽取四个相邻切片组成序列。且此处固定W＝H＝32，在空间域中，图像块的中心即对应于CT淋巴结标注的位置坐标。
步骤二：基于深层特征提取网络，利用由自然图像预训练好的VGG-16模型对每一淋巴结的CT切片图像块序列提取出其对应的高层空间特征图谱序列，记为{X0,...,XL}；
预训练CNN模型选用基于ImageNet数据集训练的Inception-V3模型。且高层特征选取其倒数第二层卷积层，提取到的特征维数为8×8×1280。
步骤三：构建特征嵌入网络，对输入的高层特征图谱序列进行降维，输出特征图谱Ai；
构建的特征嵌入网络由一层全连接层构成，即1×1卷积，且输出维度置为200。单个特征图谱的降维过程由(13)式表示。
Ai＝tanh(WEmXi+b) (13)
其中：
Figure GDA0002381931370000071
为训练参数。
Figure GDA0002381931370000072
为降维后的特征图谱，E＝200，K＝8。
步骤四：构建时空循环注意力框架，基于循环神经网络和高斯核函数，执行空间注意力机制，获得空间注意力结果
Figure GDA0002381931370000073
步骤四具体包括以下步骤：
步骤4.1：构建两层长短时循环记忆网络(Long Short-Term Memory,LSTM)；
在步骤4.1中，循环神经网络是基于两层结构的长短时循环记忆网络构建，隐藏层表达式由如式(1)所示，
Figure GDA0002381931370000074
其中：
Figure GDA0002381931370000075
对应的Rrecur(·)展开为式(2)：
Figure GDA0002381931370000076
其中，it，ft，ot分别代表输入门，遗忘门和输出门；ct，ht分别表示细胞状态和隐藏层状态；
Figure GDA0002381931370000077
表示第t步注意力机制输入到长短时循环记忆网络的特征向量；
Figure GDA0002381931370000078
为一个由可训练参数构成的仿射变换，a＝d+E，b＝4d；d为it,ft,ot,gt,ct和ht对应的相同向量维数，E为输入特征降维后的维数，将上述Rrecur(·)中的
Figure GDA0002381931370000079
替换成
Figure GDA00023819313700000710
后得到
Figure GDA00023819313700000711
对应的Rrecur(·)
步骤4.2：构造特征图谱的编码过程，对长短时循环记忆网络的状态进行初始化；
步骤4.2具体包括如下步骤：
步骤4.2.1：构造与(1)式相同结构的一新的双层长短时循环记忆网络；
步骤4.2.2：将步骤3中每个淋巴结CT切片序列正中心位置处对应的特征图谱Amid，按照空间邻域进行划分；具体将8×8×200按相邻四个位置为一组，总共分成16个2×2×200个子特征块；
步骤4.2.3:对将该16个子特征块按照从外向内顺时针顺序依次输入到新的双层长短时循环记忆网络中，经过16次循环，获取最后时刻LSTM第二层对应的细胞状态
Figure GDA0002381931370000081
用来初始化步骤4.1中的长短时循环记忆网络第二层细胞状态
Figure GDA0002381931370000082
步骤4.3：利用一发射网络，预测出在特征图谱范围内的空间注意力位置；
步骤4.3具体包括如下步骤：
步骤4.3.1：将长短时循环记忆网络的第一层隐藏层输出特征向量
Figure GDA0002381931370000083
和循环注意力迭代步中切片序列中心对应的特征结果
Figure GDA0002381931370000084
进行串联，得到
Figure GDA0002381931370000085
此处，令
Figure GDA0002381931370000086
步骤4.3.2：将
Figure GDA0002381931370000087
输入到由一层全连接层构成的发射网络，对下一循环迭代步空间注意力位置进行回归，由式(3)所示：
Figure GDA0002381931370000088
其中：
Figure GDA0002381931370000089
表示为t+1时刻预测的注意力位置坐标，此处将高斯核函数方差
Figure GDA00023819313700000810
设为固定值0.1，故
Figure GDA00023819313700000811
只对应两个输出结点。
步骤4.4：基于二维高斯核函数，构造出注意力矩阵l(t)；
步骤4.4中，在得到注意力位置坐标
Figure GDA00023819313700000812
之后，利用二维高斯核函数和softmax构建注意力模板矩阵，具体为式(4)所示，
Figure GDA00023819313700000813
其中，
Figure GDA00023819313700000814
为Ai范围内归一化到区间[0,1]的离散的等间隔位置坐标；C为高斯归一化常数，为固定值10。
步骤4.5：l(t)与Ai逐元素相乘，并求和，获得空间注意力结果特征
Figure GDA0002381931370000091
步骤五：对步骤四获得的空间注意力结果
Figure GDA0002381931370000092
实施时间注意力机制，得到时空注意力特征
Figure GDA0002381931370000093
步骤五具体包括以下步骤：
步骤5.1：构建混合密度网络，根据预测切片方向的注意力位置
Figure GDA0002381931370000094
步骤5.1中，具体包括以下步骤：
步骤5.1.1：将每个淋巴结对应的序列特征
Figure GDA0002381931370000095
等分成左、右两半部分，即
Figure GDA0002381931370000096
步骤5.1.2：由一层全连接隐藏层构成混合密度网络(Mixture DensityNetworks,MDN)，用以回归时间注意力位置坐标及混合高斯函数参数，采用式(5)表示：
Figure GDA0002381931370000097
其中，
Figure GDA0002381931370000098
表示
Figure GDA0002381931370000099
的左半部或右半部；
Figure GDA00023819313700000910
表示混合密度网络的训练参数，C表示序列左半部和右半部对应的高斯混合模型的分量数，σ为sigmoid函数；
步骤5.1.3：对左半部和右半部各自回归系数
Figure GDA00023819313700000911
均按
Figure GDA00023819313700000912
的规则分配该系数到混合高斯模型中；
步骤5.1.4：采用式(6)将μLeft限制在[0,0.5)，将μRight限制在(0.5,1]内。
μLeft←μLeft×0.5,μRight←0.5×(1+μRight) (6)
步骤5.2：基于高斯混合分布，获得注意力权重向量l′(t)；
步骤5.2中，具体包括以下步骤：
步骤5.2.1：利用softmax，归一化各高斯分量的系数
Figure GDA00023819313700000913
即
Figure GDA00023819313700000914
并将所有高斯分量的方差
Figure GDA00023819313700000915
固定为0.1；
步骤5.2.2：综合左、右半部切片特征向量导出的混合高斯模型参数
Figure GDA00023819313700000916
依照式(7)获得对应的时间注意力权重向量
Figure GDA00023819313700000917
Figure GDA0002381931370000101
其中，Ν为高斯混合密度函数：
Figure GDA0002381931370000102
Figure GDA0002381931370000103
步骤5.3：将l′(t)与输入特征
Figure GDA0002381931370000104
逐元素相乘并相加，获得时间注意力结果特征
Figure GDA0002381931370000105
步骤六：综合步骤五得到的时空注意力特征
Figure GDA0002381931370000106
利用步骤四已构建的循环神经网络预测出此循环注意力迭代步的淋巴结阳性得分
Figure GDA0002381931370000107
步骤七：构建模型的损失函数，重复T次步骤四至步骤六，利用梯度反向传播算法，对模型进行有监督训练；
在步骤七中，模型有监督训练的目标函数经过以下步骤获得：
步骤7.1：构建分类损失函数；考察所有循环注意力迭代步对应的交叉熵损失函数，由式(9)给出：
Figure GDA0002381931370000108
其中：yi，
Figure GDA0002381931370000109
分别为真实和预测的淋巴结阳性得分，为总的循环注意力迭代次数；
步骤7.2：构建空间注意力机制预测位置的惩罚项，具体包括如下两步：
步骤7.2.1：构建位置“集中”约束项，依照淋巴结位于切片中心位置处这一先验信息，基于Batch Normalization，将预测的空间注意力位置约束到特征图谱中心周围，由式(10)给出：
Figure GDA00023819313700001010
其中，
Figure GDA00023819313700001011
Figure GDA00023819313700001012
其中，β，γ为Batch Normalization引入的可训练参数；d为发射网络的输出维数；m为批样本容量；
步骤7.2.2：构建位置“发散”约束项；通过整个循环注意力过程中预测的各个位置对均匀分布的交叉熵损失函数进行构造，具体如式(11)所示：
Figure GDA0002381931370000111
其中，pUnif～Uniform(0,K2)表示分布在特征图谱空间范围内的均匀分布；常量Const置为1；
步骤7.3：构建时间注意力机制预测位置的惩罚项；对预测位置施加“集中”约束项，对混合密度网络同样引入Batch Normalization层，并最小化式(10)，使得切片方向左、右半部关注位置
Figure GDA0002381931370000112
步骤7.4：构建模型最终的整体损失函数，如式(12)所示：
Figure GDA0002381931370000113
步骤八：重复步骤三至七，对模型进行迭代训练，直至训练结束，得到训练好的模型；
训练数据由真假阳性样本按等比例构成，模型在测试时采用3次交叉验证。模型的各超参数按如下数值进行设置：①式(12)中，λ1＝1，λ2＝0.5；②循环注意力机制每次循环次数T＝8。③式(5)中的序列左半部和右半部对应的高斯混合模型的分量数C＝1，即总的分量数为3，分别对应序列左、中、右三个子部分。④训练批样本容量为20，初始学习率置为0.1，每25次周期降低0.1，总共200次训练周期。
步骤九：输入待检测的淋巴结CT序列，进行模型推理过程，将最后一次循环注意力输出的阳性得分
Figure GDA0002381931370000114
作为CT淋巴结检测结果。
图6为实施空间注意力机制实例图。可以看出，在空间注意力位置约束项及其合理的超参数设置下，注意力位置较为准确的落入到淋巴结边界附近。
图7为实施时间注意力机制实例图。图中：前两例对应真阳性结节，后两例为假阳性。底部条形图为模型对序列中各切片预测的自适应权值。在时间注意力位置约束项的作用下，模型能够较为准确地自适应定位到不同结节大小对应的切片边界。从而提取出与淋巴结相关的上下文特征信息。
图8为本发明与基准模型的FROCs和AUC对比图。此处基准模型为未采用循环注意力机制的双层LSTM模型。为公平对比，其结构与步骤4.1中的LSTM一致。Sequence＝1代表基准模型只抽取淋巴结中心切片，循环次数T＝1模型从而退化成经典的CNN结构。Sequence＝1即代表基准模型循环九次。从图中可以看出，本发明对应的FROCs和AUC表现均为最佳。
图9为本发明与其他模型的性能对比图。表中：带有“*-H”的符号表示输入图像尺寸对应为高分辨率(256×256)；“*-L”代表低分辨率(64×64)；“*-RI”表示模型从头开始训练；“*-TL”为模型参数从ImageNet数据集中迁移而来。从表格中可以看出，按照AUC和TPR/3FP为性能度量标准，本发明对胸腔及腹腔淋巴结的分类准确率均为最高。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (10)

1.一种基于时空循环注意力机制的CT淋巴结检测系统，其特征在于，包括训练样本提取模块、深层特征提取网络、特征嵌入网络和时空循环注意力目标检测模块，检测过程包括以下步骤：
步骤一：利用训练样本提取模块对获取到的淋巴结dcm格式文件及对应的淋巴结标注位置坐标信息，采用python中的pydicom模块对每个淋巴结抽取出长度为L，宽为W、高为H的CT切片图像块序列Ii(i＝1,2,...,L)，
Figure FDA0002381931360000011
步骤二：基于深层特征提取网络，利用由自然图像预训练好的VGG-16模型对每一淋巴结的CT切片图像块序列提取出其对应的高层空间特征图谱序列，记为{X0,...,XL}；
步骤三：构建特征嵌入网络，对输入的高层特征图谱序列进行降维，输出特征图谱Ai；
步骤四：构建时空循环注意力框架，基于循环神经网络和高斯核函数，执行空间注意力机制，获得空间注意力结果
Figure FDA0002381931360000012
步骤五：对步骤四获得的空间注意力结果
Figure FDA0002381931360000013
实施时间注意力机制，得到时空注意力特征
Figure FDA0002381931360000014
步骤六：综合步骤五得到的时空注意力特征
Figure FDA0002381931360000015
利用步骤四已构建的循环神经网络预测出此循环注意力迭代步的淋巴结阳性得分
Figure FDA0002381931360000016
步骤七：构建模型的损失函数，重复T次步骤四至步骤六，利用梯度反向传播算法，对模型进行有监督训练；
步骤八：重复步骤三至七，对模型进行迭代训练，直至训练结束，得到训练好的模型；
步骤九：输入待检测的淋巴结CT序列，进行模型推理过程，将最后一次循环注意力输出的阳性得分
Figure FDA0002381931360000017
作为CT淋巴结检测结果。
2.如权利要求1所述的基于时空循环注意力机制的CT淋巴结检测系统，其特征在于，所述步骤四具体包括以下步骤：
步骤4.1：构建两层长短时循环记忆网络；
步骤4.2：构造特征图谱的编码过程，对长短时循环记忆网络的状态进行初始化；
步骤4.3：利用一发射网络，预测出在特征图谱范围内的空间注意力位置；
步骤4.4：基于二维高斯核函数，构造出注意力矩阵l(t)；
步骤4.5：l(t)与Ai逐元素相乘，并求和，获得空间注意力结果特征
Figure FDA0002381931360000018
3.如权利要求2所述的基于时空循环注意力机制的CT淋巴结检测系统，其特征在于，在步骤4.1中，循环神经网络是基于两层结构的长短时循环记忆网络构建，隐藏层表达式由如式(1)所示，
Figure FDA0002381931360000021
其中：
Figure FDA0002381931360000022
对应的Rrecur(·)展开为式(2)：
Figure FDA0002381931360000023
其中，it，ft，ot分别代表输入门，遗忘门和输出门；ct，ht分别表示细胞状态和隐藏层状态；
Figure FDA0002381931360000024
表示第t步注意力机制输入到长短时循环记忆网络的特征向量；
Figure FDA0002381931360000025
为一个由可训练参数构成的仿射变换，a＝d+E，b＝4d；d为it,ft,ot,gt,ct和ht对应的相同向量维数，E为输入特征降维后的维数，将上述Rrecur(·)中的
Figure FDA0002381931360000026
替换成
Figure FDA0002381931360000027
后得到
Figure FDA0002381931360000028
对应的Rrecur(·)。
4.如权利要求2所述的基于时空循环注意力机制的CT淋巴结检测系统，其特征在于，所述步骤4.2具体包括如下步骤：
步骤4.2.1：构造与(1)式相同结构的一新的双层长短时循环记忆网络；
步骤4.2.2：将步骤3中每个淋巴结CT切片序列正中心位置处对应的特征图谱Amid，按照空间邻域进行划分；具体将8×8×200按相邻四个位置为一组，总共分成16个2×2×200个子特征块；
步骤4.2.3:对将该16个子特征块按照从外向内顺时针顺序依次输入到新的双层长短时循环记忆网络中，经过16次循环，获取最后时刻LSTM第二层对应的细胞状态
Figure FDA0002381931360000029
用来初始化步骤4.1中的长短时循环记忆网络第二层细胞状态
Figure FDA00023819313600000210
5.如权利要求2所述的基于时空循环注意力机制的CT淋巴结检测系统，其特征在于，所述步骤4.3具体包括如下步骤：
步骤4.3.1：将长短时循环记忆网络的第一层隐藏层输出特征向量
Figure FDA00023819313600000211
和循环注意力迭代步中切片序列中心对应的特征结果
Figure FDA00023819313600000212
进行串联，得到
Figure FDA00023819313600000213
步骤4.3.2：将
Figure FDA0002381931360000031
输入到由一层全连接层构成的发射网络，对下一循环迭代步空间注意力位置进行回归，由式(3)所示：
Figure FDA0002381931360000032
其中：
Figure FDA0002381931360000033
表示为t+1时刻预测的注意力位置坐标，此处将高斯核函数方差
Figure FDA0002381931360000034
设为固定值0.1，故
Figure FDA0002381931360000035
Figure FDA0002381931360000036
只对应两个输出结点。
6.如权利要求2所述的基于时空循环注意力机制的CT淋巴结检测系统，其特征在于，所述步骤4.4中，在得到注意力位置坐标
Figure FDA0002381931360000037
之后，利用二维高斯核函数和softmax构建注意力模板矩阵，具体为式(4)所示，
Figure FDA0002381931360000038
其中，
Figure FDA0002381931360000039
Figure FDA00023819313600000310
为Ai范围内归一化到区间[0,1]的离散的等间隔位置坐标；C为高斯归一化常数，为固定值10。
7.如权利要求1所述的基于时空循环注意力机制的CT淋巴结检测系统，其特征在于，所述步骤五具体包括以下步骤：
步骤5.1：构建混合密度网络，根据预测切片方向的注意力位置
Figure FDA00023819313600000311
步骤5.2：基于高斯混合分布，获得注意力权重向量l′(t)；
步骤5.3：将l′(t)与输入特征
Figure FDA00023819313600000312
逐元素相乘并相加，获得时间注意力结果特征
Figure FDA00023819313600000313
8.如权利要求7所述的基于时空循环注意力机制的CT淋巴结检测系统，其特征在于，所述步骤5.1中，具体包括以下步骤：
步骤5.1.1：将每个淋巴结对应的序列特征
Figure FDA00023819313600000314
等分成左、右两半部分，即
Figure FDA00023819313600000315
步骤5.1.2：由一层全连接隐藏层构成混合密度网络，用以回归时间注意力位置坐标及混合高斯函数参数，采用式(5)表示：
Figure FDA00023819313600000316
其中，
Figure FDA00023819313600000317
表示
Figure FDA00023819313600000318
的左半部或右半部；
Figure FDA00023819313600000319
表示混合密度网络的训练参数，C表示序列左半部和右半部对应的高斯混合模型的分量数，σ为sigmoid函数；
步骤5.1.3：对左半部和右半部各自回归系数
Figure FDA0002381931360000041
均按
Figure FDA0002381931360000042
的规则分配该系数到混合高斯模型中；
步骤5.1.4：采用式(6)将μLeft限制在[0,0.5)，将μRight限制在(0.5,1]内；
μLeft←μLeft×0.5,μRight←0.5×(1+μRight) (6) 。
9.如权利要求7所述的基于时空循环注意力机制的CT淋巴结检测系统，其特征在于，所述步骤5.2中，具体包括以下步骤：
步骤5.2.1：利用softmax，归一化各高斯分量的系数
Figure FDA0002381931360000043
即
Figure FDA0002381931360000044
并将所有高斯分量的方差
Figure FDA0002381931360000045
固定为0.1；
步骤5.2.2：综合左、右半部切片特征向量导出的混合高斯模型参数
Figure FDA0002381931360000046
依照式(7)获得对应的时间注意力权重向量
Figure FDA0002381931360000047
Figure FDA0002381931360000048
其中，Ν为高斯混合密度函数：
Figure FDA0002381931360000049
Figure FDA00023819313600000410
10.如权利要求1所述的基于时空循环注意力机制的CT淋巴结检测系统，其特征在于，在步骤七中，模型有监督训练的目标函数经过以下步骤获得：
步骤7.1：构建分类损失函数；考察所有循环注意力迭代步对应的交叉熵损失函数，由式(9)给出：
Figure FDA00023819313600000411
其中：yi，
Figure FDA00023819313600000412
分别为真实和预测的淋巴结阳性得分，为总的循环注意力迭代次数；
步骤7.2：构建空间注意力机制预测位置的惩罚项，具体包括如下两步：
步骤7.2.1：构建位置“集中”约束项，依照淋巴结位于切片中心位置处这一先验信息，基于Batch Normalization，将预测的空间注意力位置约束到特征图谱中心周围，由式(10)给出：
Figure FDA0002381931360000051
其中，
Figure FDA0002381931360000052
Figure FDA0002381931360000053
其中，β，γ为Batch Normalization引入的可训练参数；d为发射网络的输出维数；m为批样本容量；
步骤7.2.2：构建位置“发散”约束项；通过整个循环注意力过程中预测的各个位置对均匀分布的交叉熵损失函数进行构造，具体如式(11)所示：
Figure FDA0002381931360000054
其中，pUnif～Uniform(0,K2)表示分布在特征图谱空间范围内的均匀分布；常量Const置为1；
步骤7.3：构建时间注意力机制预测位置的惩罚项；对预测位置施加“集中”约束项，对混合密度网络同样引入Batch Normalization层，并最小化式(10)，使得切片方向左、右半部关注位置
Figure FDA0002381931360000055
步骤7.4：构建模型最终的整体损失函数，如式(12)所示：
Figure FDA0002381931360000056
CN201910570878.1A 2019-06-28 2019-06-28 一种基于时空循环注意力机制的ct淋巴结检测系统 Active CN110335261B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910570878.1A CN110335261B (zh) 2019-06-28 2019-06-28 一种基于时空循环注意力机制的ct淋巴结检测系统
US16/957,305 US11158048B2 (en) 2019-06-28 2019-10-21 CT lymph node detection system based on spatial-temporal recurrent attention mechanism
PCT/CN2019/112219 WO2020258611A1 (zh) 2019-06-28 2019-10-21 一种基于时空循环注意力机制的ct淋巴结检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910570878.1A CN110335261B (zh) 2019-06-28 2019-06-28 一种基于时空循环注意力机制的ct淋巴结检测系统

Publications (2)

Publication Number Publication Date
CN110335261A CN110335261A (zh) 2019-10-15
CN110335261B true CN110335261B (zh) 2020-04-17

Family

ID=68143548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910570878.1A Active CN110335261B (zh) 2019-06-28 2019-06-28 一种基于时空循环注意力机制的ct淋巴结检测系统

Country Status (2)

Country Link
CN (1) CN110335261B (zh)
WO (1) WO2020258611A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158048B2 (en) 2019-06-28 2021-10-26 Shandong University Of Science And Technology CT lymph node detection system based on spatial-temporal recurrent attention mechanism
CN110335261B (zh) * 2019-06-28 2020-04-17 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统
CN110795522B (zh) * 2019-11-06 2023-01-06 中国人民解放军战略支援部队信息工程大学 一种移动用户轨迹位置的预测方法及装置
CN115049602A (zh) * 2019-11-28 2022-09-13 深圳硅基智控科技有限公司 人工神经网络模块的优化方法
CN111178500A (zh) * 2019-12-10 2020-05-19 上海电机学院 一种基于组合深度学习网络的风功率预测系统
CN111096767A (zh) * 2020-01-08 2020-05-05 南京市第一医院 基于深度学习的纵膈淋巴结超声弹性图像分割分类方法
CN111210907A (zh) * 2020-01-14 2020-05-29 西北工业大学 一种基于空时注意力机制的疼痛强度估计方法
CN112446419B (zh) * 2020-10-29 2023-07-11 中山大学 基于注意力机制的时空神经网络雷达回波外推预报方法
CN112632315B (zh) * 2020-12-30 2022-03-29 珠海大横琴科技发展有限公司 一种遥感图像检索的方法和装置
CN112651577B (zh) * 2021-01-08 2022-03-22 重庆邮电大学 一种基于融合时空数据的隧道形变预测方法
CN112733725B (zh) * 2021-01-12 2023-09-22 西安电子科技大学 基于多级循环卷积自编码网络的高光谱图像变化检测方法
CN113065576A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种特征提取的方法以及装置
CN113139930B (zh) * 2021-03-17 2022-07-15 杭州迪英加科技有限公司 甲状腺切片图像分类方法、装置、计算机设备和存储介质
CN113642379B (zh) * 2021-05-18 2024-03-01 北京航空航天大学 基于注意力机制融合多流图的人体姿态预测方法及系统
CN113313199A (zh) * 2021-06-21 2021-08-27 北京工业大学 一种于基于弱监督注意力的脑ct医学报告自动生成方法
CN113657582B (zh) * 2021-08-20 2024-04-09 西安科技大学 一种基于时空数据的时空图神经网络瓦斯浓度预测方法
CN114187467B (zh) * 2021-11-11 2023-04-28 电子科技大学 基于cnn模型的肺结节良恶性分类方法及装置
CN114177747A (zh) * 2021-12-02 2022-03-15 昆岳互联环境技术(江苏)有限公司 一种基于机器学习算法的烟气脱硫二氧化硫浓度预测方法
CN114266278B (zh) * 2021-12-29 2024-02-20 合肥工业大学 一种基于双重注意力网络的设备剩余使用寿命预测方法
CN115035019B (zh) * 2022-03-24 2024-08-02 什维新智医疗科技(上海)有限公司 一种基于卷积神经网络的颈部淋巴结分析装置
CN114862906B (zh) * 2022-04-11 2024-05-07 中山大学 一种基于双向循环卷积神经网络的可见光定位跟踪方法
CN114638823B (zh) * 2022-05-07 2022-08-12 赛维森(广州)医疗科技服务有限公司 基于注意力机制序列模型的全切片图像分类方法及装置
CN117849907B (zh) * 2024-03-07 2024-05-24 江苏省气象台 基于多源数据的气象灾害靶向预警方法及系统
CN117969553B (zh) * 2024-03-28 2024-08-02 杭州映图智能科技有限公司 一种tpv针织复合管外观在线视觉检测系统
CN118038561B (zh) * 2024-04-15 2024-06-21 南京邮电大学 一种基于时空循环架构的3d人体姿态估计方法
CN118094343B (zh) * 2024-04-23 2024-07-16 安徽大学 一种基于注意力机制的lstm机器剩余使用寿命预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066973A (zh) * 2017-04-17 2017-08-18 杭州电子科技大学 一种利用时空注意力模型的视频内容描述方法
CN109101896A (zh) * 2018-07-19 2018-12-28 电子科技大学 一种基于时空融合特征和注意力机制的视频行为识别方法
CN109934804A (zh) * 2019-02-28 2019-06-25 北京科技大学 基于卷积神经网络的阿尔茨海默病变区域的检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105405140B (zh) * 2015-11-12 2018-07-06 西安电子科技大学 基于初始素描图的胃部ct图像淋巴结检测系统和方法
US9830709B2 (en) * 2016-03-11 2017-11-28 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks
CN108388348B (zh) * 2018-03-19 2020-11-24 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN109711463B (zh) * 2018-12-25 2023-04-07 广东顺德西安交通大学研究院 基于注意力的重要对象检测方法
CN109754404B (zh) * 2019-01-02 2020-09-01 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN109886967A (zh) * 2019-01-16 2019-06-14 成都蓝景信息技术有限公司 基于深度学习技术的肺部解剖学位置定位算法
CN110335261B (zh) * 2019-06-28 2020-04-17 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066973A (zh) * 2017-04-17 2017-08-18 杭州电子科技大学 一种利用时空注意力模型的视频内容描述方法
CN109101896A (zh) * 2018-07-19 2018-12-28 电子科技大学 一种基于时空融合特征和注意力机制的视频行为识别方法
CN109934804A (zh) * 2019-02-28 2019-06-25 北京科技大学 基于卷积神经网络的阿尔茨海默病变区域的检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Spatio-Temporal Attention based Recurrent Neural Network for Next Location Prediction;Basmah Altaf et al.;《 IEEE Xplore》;20190124;全文 *
融合时空网络与注意力机制的人体行为识别研究;孟乐乐;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115;全文 *

Also Published As

Publication number Publication date
WO2020258611A1 (zh) 2020-12-30
CN110335261A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110335261B (zh) 一种基于时空循环注意力机制的ct淋巴结检测系统
Yang et al. Two-stage selective ensemble of CNN via deep tree training for medical image classification
US9633306B2 (en) Method and system for approximating deep neural networks for anatomical object detection
CN113421652B (zh) 对医疗数据进行分析的方法、训练模型的方法及分析仪
Birenbaum et al. Longitudinal multiple sclerosis lesion segmentation using multi-view convolutional neural networks
Biffi et al. Explainable anatomical shape analysis through deep hierarchical generative models
US11158048B2 (en) CT lymph node detection system based on spatial-temporal recurrent attention mechanism
US8799202B2 (en) Predicting states of subjects
US20160174902A1 (en) Method and System for Anatomical Object Detection Using Marginal Space Deep Neural Networks
CN109192298B (zh) 基于脑网络的深度脑疾病诊断算法
CN109389171B (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN111090764B (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN110533683B (zh) 一种融合传统特征与深度特征的影像组学分析方法
CN111738363A (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN112085714A (zh) 一种肺结节检测方法、模型训练方法、装置、设备及介质
Hsu et al. Capturing implicit hierarchical structure in 3d biomedical images with self-supervised hyperbolic representations
Jiang et al. Multi-learner based deep meta-learning for few-shot medical image classification
Li et al. Segmentation of pulmonary nodules using a GMM fuzzy C-means algorithm
CN115359074A (zh) 基于超体素聚类及原型优化的图像分割、训练方法及装置
Qin Transfer learning with edge attention for prostate MRI segmentation
Zheng et al. A dual‐attention V‐network for pulmonary lobe segmentation in CT scans
Liu et al. AHU-MultiNet: Adaptive loss balancing based on homoscedastic uncertainty in multi-task medical image segmentation network
US20220036136A1 (en) Computer-implemented method for parametrizing a function for evaluating a medical image dataset
CN117953208A (zh) 一种基于图的边缘注意力门医学影像分割方法及装置
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Peng Haixin

Inventor before: Peng Haixin

Inventor before: Ma Yingran

Inventor before: Wang Yuanhong

Inventor before: Peng Yanjun

Inventor before: Lu Xinming

CB03 Change of inventor or designer information