CN117766134A - 一种基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统 - Google Patents
一种基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统 Download PDFInfo
- Publication number
- CN117766134A CN117766134A CN202410059973.6A CN202410059973A CN117766134A CN 117766134 A CN117766134 A CN 117766134A CN 202410059973 A CN202410059973 A CN 202410059973A CN 117766134 A CN117766134 A CN 117766134A
- Authority
- CN
- China
- Prior art keywords
- module
- layer
- cross
- input
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000007433 Lymphatic Metastasis Diseases 0.000 title claims abstract description 48
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 28
- 201000002510 thyroid cancer Diseases 0.000 title claims abstract description 18
- 208000009453 Thyroid Nodule Diseases 0.000 claims abstract description 24
- 210000001685 thyroid gland Anatomy 0.000 claims abstract description 10
- 230000002776 aggregation Effects 0.000 claims description 23
- 238000004220 aggregation Methods 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 210000001165 lymph node Anatomy 0.000 claims description 11
- 238000002604 ultrasonography Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 206010027476 Metastases Diseases 0.000 claims description 4
- 230000009401 metastasis Effects 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 208000004434 Calcinosis Diseases 0.000 description 4
- 230000002308 calcification Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013188 needle biopsy Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000002592 echocardiography Methods 0.000 description 2
- 238000010197 meta-analysis Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 208000000038 Hypoparathyroidism Diseases 0.000 description 1
- 208000028389 Nerve injury Diseases 0.000 description 1
- 238000013103 analytical ultracentrifugation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008764 nerve damage Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000000069 prophylactic effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 210000002416 recurrent laryngeal nerve Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 208000013076 thyroid tumor Diseases 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统，包括图像编码器、结节掩码解码器、结节边界解码器以及淋巴结转移状态预测器；所述图像编码器用于输入甲状腺超声图像并对甲状腺超声图像进行编码。本发明构建并训练了一个深度学习模型，设计了跨层引导模块，使模型能够准确地定位到甲状腺结节的内部和边界区域，设计了多层特征融合模块，在保持大结节预测准确性的同时提升模型对小结节的预测性能。
Description
技术领域
本发明涉及软件领域，特别是涉及一种基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统。
背景技术
近30年来，甲状腺癌的发病率急剧上升，仅2020年，甲状腺癌的新发病例数已超过586000例，且这些新发病例中约50％的患者容易发生颈部中央区淋巴结转移。颈部中央区淋巴结转移状态是确定患者手术方案的重要参考，对于存在淋巴结转移的患者，应当进行治疗性的中央区淋巴结清扫，对于中央区淋巴结未受累的患者，是否进行预防性的淋巴结清扫存在较大的争议。更保守的手术方案可能会导致疾病的复发和二次手术风险，而更激进的手术方案可能会因为引发喉返神经损伤或者甲状旁腺功能减退而降低患者的生活质量。
超声检查具有操作简便、无辐射、局部分辨率高等优势，是甲状腺首选的影像学检查方法。然而，由于中央区淋巴结位置较深，超声容易受到空气、骨骼等的遮蔽作用，难以直接观察到患者中央区淋巴结，因此，超声检查难以准确诊断患者的中央区淋巴结转移状态。荟萃分析表明，超声对中央区淋巴结转移诊断的敏感性仅为0.33。CT扫描对评价甲状腺肿瘤的范围、结节与周围重要结构如气管、食管、颈动脉的关系及有无淋巴结转移有重要价值，然而，CT的分辨率较低，也难以准确诊断患者的中央区淋巴结转移状态。荟萃分析表明，CT对淋巴结转移的敏感性为0.43。虽然临床指南推荐利用超声引导的细针穿刺活检确认患者的中央区淋巴结转移状态，然而，细针穿刺活检需要有经验的放射学专家和细胞学专家，且细针穿刺活检是有创操作，患者的接受度不高，因此，细针穿刺活检在临床上的普及性较低。鉴于颈部中央区淋巴结转移在甲状腺癌患者中的发生率较高，且临床上缺乏准确诊断患者淋巴结转移状态的方法，因此，预防性的中央区淋巴结清扫在临床上的使用程度很高，这导致了广泛的过度治疗。
虽然利用超声检查难以观察到颈部中央区淋巴结，但甲状腺结节位于皮肤浅表，超声能够很好地反映结节的回声、囊实性、钙化、大小、形状、纵横比、边界规整度等信息，因此，近年来，一些学者开始利用甲状腺结节的超声图像预测患者的颈部中央区淋巴结转移状态，目前主要包含两类方法。第一类为非放射组学的方法，在这类方法中，研究者们纳入年龄、性别、甲状腺结节大小、位置、直径、多灶性、腺外侵犯情况等因素，并构建机器学习模型预测中央区淋巴结转移状态，得到的AUC在0.70到0.772之间。第二类为放射组学的方法，这这类方法中，研究者们从超声图像中提取高维放射组学特征，涵盖结节大小、形状、边缘、方向、位置、回声模式、钙化特点等方面，对提取的特征进行选择，并随后利用支持向量机、随机森林等分类器完成淋巴结转移状态的预测，得到的AUC在0.78到0.90之间。
虽然上述方法取得了一定的效果，但仍有不足。首先，非放射组学的方法需要人为选择纳入模型的特征，而放射组学的方法也需要人为定义高维特征，这两种方法都具有较大的主观性，容易丢失与颈部淋巴结转移状态相关的特征，并进而导致预测性能的降低；其次，这些方法都需要医生提前勾画超声图像中结节的边界，增加了医生的工作负担，降低了临床上的应用便捷性；最后，上述方法中，大部分方法的AUC不高，预测效果不理想。
发明内容
为解决上述技术问题，本发明提出了一种基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统。
本发明的目的通过以下技术方案实现：
一种基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统，包括图像编码器、结节掩码解码器、结节边界解码器以及淋巴结转移状态预测器；所述图像编码器用于输入甲状腺超声图像并对甲状腺超声图像进行编码；
所述结节掩码解码器用于分割甲状腺结节，并引导图像编码器在超声图像中定位到甲状腺结节，提取甲状腺结节的内部结构特征，结节边界解码器用于分割甲状腺结节的边界，并引导图像编码器在超声图像中定位到甲状腺结节的边界，提取甲状腺结节的边界特征，淋巴结转移状态预测器用于根据甲状腺超声图像预测是否存在甲状腺癌细胞向淋巴结转移的情况；图像编码器通过跨层引导模块分别连接结节掩码解码器和结节边界解码器；跨层引导模块用于辅助结节掩码解码器定位到甲状腺超声图像中的甲状腺结节的内部区域并辅助结节边界解码器定位到甲状腺超声图像中的甲状腺结节边界区域。
进一步的改进，所述图像编码器为ResNet34网络。
进一步的改进，所述图像编码器包括沿数据处理方向依次设置的卷积模块和池化层1、第一残差模块2、第二残差模块3、第三残差模块5和第四残差模块7；
所述淋巴结转移状态预测器沿数据处理方向依次设置多层特征聚合模块和全连接层；第四残差模块7的输出为多层特征聚合模块的第三个输入层的输入；
其中，所述多层特征聚合模块的第一个输入层4的输入为第一跨层引导模块16的输出、第二跨层引导模块17的输出和第二残差模块3的输出之和；
所述多层特征聚合模块的第二个输入层6的输入为第三跨层引导模块18的输出、第四跨层引导模块19的输出和第三残差模块5的输出之和；多层特征聚合模块的第一个输入层4的输入同时作为第三残差模块5的输入，多层特征聚合模块的第二个输入层6的输入同时作为第四残差模块7的输入；
所述结节掩码解码器和结节边界解码器结构相同，沿数据处理方向均包括第一上采样模块8、第一特征拼接模块9、第二上采样模块10、第二特征拼接模块11、第三上采样模块12、第三特征拼接模块13、第四上采样模块14和1×1卷积模块15；
跨层引导模块包括第一跨层引导模块16、第二跨层引导模块17、第三跨层引导模块18和第四跨层引导模块19；
所述第一残差模块2的输出分别作为第一卷积归一化激活模块20、第二卷积归一化激活模块21和第二残差模块3的输入；
第一卷积归一化激活模块20的输出分别作为第一跨层引导模块16和结节掩码解码器的第三特征拼接模块的输入；第一跨层引导模块16的输出作为结节掩码解码器的第二特征拼接模块和第三跨层引导模块18的输入；
第二卷积归一化激活模块21的输出分别作为第二跨层引导模块17和结节边界解码器的第三特征拼接模块的输入；第二跨层引导模块17的输出作为结节边界解码器的第二特征拼接模块和第四跨层引导模块19的输入；
第一跨层引导模块16的输出作为结节掩码解码器的第二特征拼接模块的输入；
第二跨层引导模块17的输出作为结节边界解码器的第二特征拼接模块的输入；
第三跨层引导模块18的输出作为结节掩码解码器的第一特征拼接模块的输入；
第四跨层引导模块19的输出作为结节边界解码器的第一特征拼接模块的输入。
进一步的改进，所述卷积模块和池化层1沿数据处理方向依次包括卷积层、归一化层、Relu激活层和池化层；第一卷积归一化激活模块20和第二卷积归一化激活模块21沿数据处理方向均依次包括卷积层、归一化层和Relu激活层；
第一上采样模块8、第二上采样模块10、第二特征拼接模块11、第三上采样模块12和第四上采样模块14沿数据处理方向均依次包括一个上采样层、一个卷积层以及一个dropout层。
进一步的改进，跨层引导模块的数据处理方法如下：
利用上一层跨层引导模块的输出特征x'0指导图像编码器的残差模块的输出特征x1中的结节掩码响应：
5.1首先从x'0中计算结节掩码的查询元向量Q：
其中，Adapooling()表示自适应池化，Conv()表示卷积，表示结节掩码的查询元向量；
5.2从当前残差模块的输出特征x1计算键向量K：
K＝conv(x1) (2)
查询元向量Q与键向量K之间的注意力向量A为：
其中，dk为键向量K的维度；T为矩阵转置，softmax为softmax激活函数；
5.3跨层引导模块包括两个输出，其中第一个输出y1用于输入图像编码器的多层特征聚合模块，用于增强图像编码器中结节内部区域的响应，计算方式为：
y1＝α·A·V (4)
其中，α为可训练参数，V为Value矩阵，计算方式为：
V＝Relu(BN(Conv(x1))) (5)
Relu为激活函数，BN为批归一化层；
第二个输出x'1被传递到结节掩码解码器或结节边界解码器的特征拼接模块中；x1'的计算方式为：
x′1＝Relu(BN(Conv(A·V))) (6)。
进一步的改进，所述多层特征聚合模块的第一个输入层4、第二个输入层6和第三个输入层22的输入分别为f3、f4、f5；f3、f4、f5首先经过卷积操作，得到各自的键张量
并进一步地将三个键张量串接，得到聚合多层特征的键张量
concat表示张量串接；
分别得到f3、f4、f5对应的Value张量
表示聚合多层特征的Value张量；
其中，f5距离淋巴结转移状态标签最近，能够获得最直接的监督信号，多层特征聚合模块进一步对f5进行全局平均池化，得到关于淋巴结转移状态的查询元向量
Adapooling表示自适应池化层
查询元向量和键向量/>之间的注意力向量AH为：
最后，得到聚合后的特征fAgg为：
聚合特征fAgg随后被进一步送入淋巴结转移状态预测器的全连接层，完成淋巴结转移的预测
本发明的有益效果在于：
本发明构建并训练了一个深度学习模型，设计了跨层引导模块，使模型能够准确地定位到甲状腺结节的内部和边界区域，设计了多层特征融合模块，在保持大结节预测准确性的同时提升模型对小结节的预测性能。
附图说明
利用附图对本发明做进一步说明，但附图中的内容不构成对本发明的任何限制。
图1为本发明的整体结构示意图；
图2为跨层引导模块的结构示意图；
图3为多层特征聚合模块的结构示意图。
具体实施方式
为了使发明的目的、技术方案及优点更加清楚明白，以下结合附图及实例，对本发明进行进一步的详细说明。
临床医生在诊断甲状腺结节时主要关注结节的回声、钙化、囊实性、大小、形状、边界等信息，其中，结节的回声、钙化、囊实性等信息主要分布于结节的内部，而结节的大小、形状、边界等信息主要分布于结节的边界区域。根据这种先验知识，如图1所示本发明设计了一个多任务模型ThyLymNet，该模型利用结节掩码分割任务引导模型关注结节的内部特征，利用结节边界分割任务引导模型关注结节的边界特征，并整合两种特征完成最终的淋巴结转移预测。具体而言，如附图1所示，本发明所设计的模型包含四个支路，分别为图像编码器(Image Encoder)、结节掩码解码器(MaskDecoder)、结节边界解码器(BoundaryDecoder)以及淋巴结转移状态预测器(Predictor)。鉴于ResNet在计算机视觉任务中的良好表现，本发明采用ResNet34作为图像编码器。结节掩码解码器和结节边界解码器的结构相同，均包含四个上采样模块，每个上采样模块包含一个上采样层、一个卷积层以及一个dropout层。淋巴结转移状态预测器由跨层特征融合模块、全连接层、激活层组成，其中激活函数为Sigmoid函数。
跨层引导模块
为了更好地定位到超声图像中的甲状腺结节的内部和边界区域，本发明设计了跨层引导模块。由于本发明中所使用的四个跨层引导模块具有相同的结构，因此，本节以连接图像编码器支路与结节掩码解码器支路的跨层引导模块为例，对跨层引导模块进行介绍。
跨层引导模块的结构如附图2所示，该模块的输入包含上一层跨层引导模块的输出特征x'0(对于第一个跨层引导模块，这个输入为上一层Conv-BN-Relu组件的输出)以及当前层残差模块的输出特征x1。x'0来源于较浅的网络层，包含更细粒度的结节掩码位置信息，因此，本发明利用x'0指导x1中的结节掩码响应。首先从x'0中计算结节掩码的查询(Query)元向量：
其中，Adapooling(·)表示自适应池化，Conv(·)表示卷积。之后，从当前层特征x1计算键(Key)向量：
K＝conv(x1)#(2)
查询元向量与键向量之间的注意力向量为：
其中，dk为键向量的维度。
跨层引导模块包括两个输出，其中，第一个输出y1用于增强图像编码器中结节内部区域的响应，其计算方式为：
y1＝α·A·V#(4)
其中，α为可训练参数，V为Value矩阵，计算方式为：
V＝Relu(BN(Conv(x1)))#(5)
第二个输出x'1被进一步传递到掩码解码器中，进行下游的掩码分割任务，并进一步传递到下一层的跨层解码模块中，用于指导下一个网络层中结节掩码的定位。x1'的计算方式为：
x′1＝Relu(BN(Conv(A·V)))#(6)
普通注意力计算复杂度为O(N2)，其中N为Query和Key中的像素数(一般情况下，Query和Key的像素数相等)。而跨层引导模块中注意力的计算复杂度仅为O(N)，只有普通注意力的跨层引导模块计算复杂度低，因而可以被多次应用在多个相邻网络层之间以及结节掩码和边界分割等多个任务上，从而使模型更准确地关注到超声图像中结节的内部和边界区域。
多层特征聚合模块
为了在保持大结节的预测性能的同时提升小结节的预测准确率，本发明提出了多层特征聚合模块，该模块能够根据结节的尺寸自适应地聚合不同网络层的特征，具体结构如附图3所示。在本发明中，多层特征聚合模块自适应地聚合来自第3、4、5残差模块的输出特征，对应地，分别表示为f3、f4、f5。在多层特征聚合模块内部，f3、f4、f5首先经过卷积操作，得到各自的键(Key)张量：
并进一步地将三层的键张量串接，得到聚合多层特征的键张量：
类似地，f3、f4、f5进一步得到Value张量：
因为f5距离淋巴结转移状态标签最近，能够获得最直接的监督信号，因此，本发明进一步对f5进行了全局平均池化，得到关于淋巴结转移状态的查询(Query)元向量：
相应地，查询元向量和键向量之间的注意力向量为：
最后，得到聚合后的特征为：
聚合特征随后被进一步送入下游的全连接层，完成淋巴结转移的预测。
实现细节
本发明中，模型训练的基础学习率为1×10-4，并按余弦衰减进行调整。批大小设置为30，优化器为Adam，权重衰减被设置为1×10-5，用于缓解模型的过拟合风险。对于分类任务，本发明使用二元交叉熵损失函数，对于分割任务，本发明使用二元交叉熵损失和交并比损失函数的组合。模型总共训练300个epoch，其中前100个epoch仅进行分割任务训练，之后的200个epoch同时进行分割和淋巴结转移预测任务训练。
预测效果
本发明利用准确率、AUC(area under the curve)、敏感性、特异性、精确度、F1-score等指标评估模型的预测性能。为了证明本发明所提模型的效果，本发明将本模型的预测结果与现有的通用分类模型进行了对比，结果如表1所示。其中，最优的指标用加粗字体表示。如表1所示，相比于现有的通用分类模型，本发明提出的ThyLymNet在多个指标上都取得了最优的性能，这充分证明了本发明的有效性。
表1.ThyLymNet与现有通用分类模型的预测效果对比
最后应当说明的是，以上实施例仅用于说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当了解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (6)
1.一种基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统，其特征在于，包括图像编码器、结节掩码解码器、结节边界解码器以及淋巴结转移状态预测器；所述图像编码器用于输入甲状腺超声图像并对甲状腺超声图像进行编码；
所述结节掩码解码器用于分割甲状腺结节，并引导图像编码器在超声图像中定位到甲状腺结节，提取甲状腺结节的内部结构特征，结节边界解码器用于分割甲状腺结节的边界，并引导图像编码器在超声图像中定位到甲状腺结节的边界，提取甲状腺结节的边界特征，淋巴结转移状态预测器用于根据甲状腺超声图像预测是否存在甲状腺癌细胞向淋巴结转移的情况；图像编码器通过跨层引导模块分别连接结节掩码解码器和结节边界解码器；跨层引导模块用于辅助结节掩码解码器定位到甲状腺超声图像中的甲状腺结节的内部区域并辅助结节边界解码器定位到甲状腺超声图像中的甲状腺结节边界区域。
2.如权利要求1所述的基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统，其特征在于，所述图像编码器为ResNet34网络。
3.如权利要求2所述的基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统，其特征在于，所述图像编码器包括沿数据处理方向依次设置的卷积模块和池化层(1)、第一残差模块(2)、第二残差模块(3)、第三残差模块(5)和第四残差模块(7)；
所述淋巴结转移状态预测器沿数据处理方向依次设置多层特征聚合模块和全连接层；第四残差模块(7)的输出为多层特征聚合模块的第三个输入层的输入；
其中，所述多层特征聚合模块的第一个输入层(4)的输入为第一跨层引导模块(16)的输出、第二跨层引导模块(17)的输出和第二残差模块(3)的输出之和；
所述多层特征聚合模块的第二个输入层(6)的输入为第三跨层引导模块(18)的输出、第四跨层引导模块(19)的输出和第三残差模块(5)的输出之和；多层特征聚合模块的第一个输入层(4)的输入同时作为第三残差模块(5)的输入，多层特征聚合模块的第二个输入层(6)的输入同时作为第四残差模块(7)的输入；
所述结节掩码解码器和结节边界解码器结构相同，沿数据处理方向均包括第一上采样模块(8)、第一特征拼接模块(9)、第二上采样模块(10)、第二特征拼接模块(11)、第三上采样模块(12)、第三特征拼接模块(13)、第四上采样模块(14)和1×1卷积模块(15)；
跨层引导模块包括第一跨层引导模块(16)、第二跨层引导模块(17)、第三跨层引导模块(18)和第四跨层引导模块(19)；
所述第一残差模块(2)的输出分别作为第一卷积归一化激活模块(20)、第二卷积归一化激活模块(21)和第二残差模块(3)的输入；
第一卷积归一化激活模块(20)的输出分别作为第一跨层引导模块(16)和结节掩码解码器的第三特征拼接模块的输入；第一跨层引导模块(16)的输出作为结节掩码解码器的第二特征拼接模块和第三跨层引导模块(18)的输入；
第二卷积归一化激活模块(21)的输出分别作为第二跨层引导模块(17)和结节边界解码器的第三特征拼接模块的输入；第二跨层引导模块(17)的输出作为结节边界解码器的第二特征拼接模块和第四跨层引导模块(19)的输入；
第一跨层引导模块(16)的输出作为结节掩码解码器的第二特征拼接模块的输入；
第二跨层引导模块(17)的输出作为结节边界解码器的第二特征拼接模块的输入；
第三跨层引导模块(18)的输出作为结节掩码解码器的第一特征拼接模块的输入；
第四跨层引导模块(19)的输出作为结节边界解码器的第一特征拼接模块的输入。
4.如权利要求3所述的基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统，其特征在于，所述卷积模块和池化层(1)沿数据处理方向依次包括卷积层、归一化层、Relu激活层和池化层；第一卷积归一化激活模块(20)和第二卷积归一化激活模块(21)沿数据处理方向均依次包括卷积层、归一化层和Relu激活层；
第一上采样模块(8)、第二上采样模块(10)、第二特征拼接模块(11)、第三上采样模块(12)和第四上采样模块(14)沿数据处理方向均依次包括一个上采样层、一个卷积层以及一个dropout层。
5.如权利要求3所述的基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统，其特征在于，跨层引导模块的数据处理方法如下：
利用上一层跨层引导模块的输出特征x'0指导图像编码器的残差模块的输出特征x1中的结节掩码响应：
5.1首先从x'0中计算结节掩码的查询元向量Q：
其中，Adapooling()表示自适应池化，Conv()表示卷积，表示结节掩码的查询元向量；
5.2从当前残差模块的输出特征x1计算键向量K：
K＝conv(x1) (2)
查询元向量Q与键向量K之间的注意力向量A为：
其中，dk为键向量K的维度；T为矩阵转置，softmax()为softmax激活函数；
5.3跨层引导模块包括两个输出，其中第一个输出y1用于输入图像编码器的多层特征聚合模块，用于增强图像编码器中结节内部区域的响应，计算方式为：
y1＝α·A·V (4)
其中，α为可训练参数，V为Value矩阵，计算方式为：
V＝Relu(BN(Conv(x1))) (5)
Relu()为激活函数，BN()为批归一化层；
第二个输出x'1被传递到结节掩码解码器或结节边界解码器的特征拼接模块中；x1'的计算方式为：
x′1＝Relu(BN(Conv(A·V))) (6)。
6.如权利要求3所述的基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统，其特征在于，所述多层特征聚合模块的第一个输入层(4)、第二个输入层(6)和第三个输入层(22)的输入分别为f3、f4、f5；f3、f4、f5首先经过卷积操作，得到各自的键张量
并进一步地将三个键张量串接，得到聚合多层特征的键张量
concat()表示张量串接；
分别得到f3、f4、f5对应的Value张量
表示聚合多层特征的Value张量；
其中，f5距离淋巴结转移状态标签最近，能够获得最直接的监督信号，多层特征聚合模块进一步对f5进行全局平均池化，得到关于淋巴结转移状态的查询元向量
Adapooling()表示自适应池化层
查询元向量和键向量/>之间的注意力向量AH为：
最后，得到聚合后的特征fAgg为：
聚合特征fAgg随后被进一步送入淋巴结转移状态预测器的全连接层，完成淋巴结转移的预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410059973.6A CN117766134A (zh) | 2024-01-16 | 2024-01-16 | 一种基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410059973.6A CN117766134A (zh) | 2024-01-16 | 2024-01-16 | 一种基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117766134A true CN117766134A (zh) | 2024-03-26 |
Family
ID=90325716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410059973.6A Pending CN117766134A (zh) | 2024-01-16 | 2024-01-16 | 一种基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117766134A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200087427A (ko) * | 2019-01-11 | 2020-07-21 | 경북대학교 산학협력단 | 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 방법 |
| CN111612752A (zh) * | 2020-05-15 | 2020-09-01 | 江苏省人民医院（南京医科大学第一附属医院） | 基于Faster-RCNN的超声图像甲状腺结节智能检测系统 |
| CN111626413A (zh) * | 2018-03-14 | 2020-09-04 | 上海寒武纪信息科技有限公司 | 一种计算装置及方法 |
| US20210374954A1 (en) * | 2020-06-02 | 2021-12-02 | Memorial Sloan Kettering Cancer Center | Machine learning model for analyzing pathology data from metastatic sites |
| CN113920137A (zh) * | 2021-10-14 | 2022-01-11 | 平安科技（深圳）有限公司 | 淋巴结转移预测方法、装置、设备及存储介质 |
-
2024
- 2024-01-16 CN CN202410059973.6A patent/CN117766134A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626413A (zh) * | 2018-03-14 | 2020-09-04 | 上海寒武纪信息科技有限公司 | 一种计算装置及方法 |
| KR20200087427A (ko) * | 2019-01-11 | 2020-07-21 | 경북대학교 산학협력단 | 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 방법 |
| CN111612752A (zh) * | 2020-05-15 | 2020-09-01 | 江苏省人民医院（南京医科大学第一附属医院） | 基于Faster-RCNN的超声图像甲状腺结节智能检测系统 |
| US20210374954A1 (en) * | 2020-06-02 | 2021-12-02 | Memorial Sloan Kettering Cancer Center | Machine learning model for analyzing pathology data from metastatic sites |
| CN113920137A (zh) * | 2021-10-14 | 2022-01-11 | 平安科技（深圳）有限公司 | 淋巴结转移预测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Murtaza et al. | Deep learning-based breast cancer classification through medical imaging modalities: state of the art and research challenges | |
| CN106682435B (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| Moussa et al. | Thyroid nodules classification and diagnosis in ultrasound images using fine‐tuning deep convolutional neural network | |
| Ding et al. | FTransCNN: Fusing Transformer and a CNN based on fuzzy logic for uncertain medical image segmentation | |
| Zhao et al. | An attentive and adaptive 3D CNN for automatic pulmonary nodule detection in CT image | |
| Sun et al. | Classification for thyroid nodule using ViT with contrastive learning in ultrasound images | |
| CN111260639A (zh) | 多视角信息协作的乳腺良恶性肿瘤分类方法 | |
| Xuan et al. | Prenatal prediction and typing of placental invasion using MRI deep and radiomic features | |
| Chen et al. | Breast tumor classification in ultrasound images by fusion of deep convolutional neural network and shallow LBP feature | |
| Guo et al. | Recognition of thyroid ultrasound standard plane images based on residual network | |
| Lu et al. | PKRT-Net: prior knowledge-based relation transformer network for optic cup and disc segmentation | |
| Lu et al. | Multitask deep neural network for the fully automatic measurement of the angle of progression | |
| Gao et al. | Clinical knowledge embedded method based on multi-task learning for thyroid nodule classification with ultrasound images | |
| Chen et al. | A YOLO-based AI system for classifying calcifications on spot magnification mammograms | |
| Shao et al. | FCG-Net: an innovative full-scale connected network for thyroid nodule segmentation in ultrasound images | |
| Yang et al. | Lesion classification of wireless capsule endoscopy images | |
| CN116228690A (zh) | 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法 | |
| Lan et al. | Deep learning-based artificial intelligence improves accuracy of error-prone lung nodules | |
| Wu et al. | A knowledge-interpretable multi-task learning framework for automated thyroid nodule diagnosis in ultrasound videos | |
| Wang et al. | Multi-scale boundary neural network for gastric tumor segmentation | |
| CN116051905A (zh) | 基于超声和红外多模态图像的甲状腺结节图像分类方法 | |
| CN117274147A (zh) | 一种基于混合Swin Transformer U-Net的肺部CT图像分割方法 | |
| Ayoub et al. | HViT: Hybrid vision inspired transformer for the assessment of carotid artery plaque by addressing the cross-modality domain adaptation problem in MRI | |
| CN117766134A (zh) | 一种基于超声图像的甲状腺癌颈部中央区淋巴结转移预测系统 | |
| Sadeghi et al. | Deep learning in ovarian cancer diagnosis: a comprehensive review of various imaging modalities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |