CN114708236A - 一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法 - Google Patents

一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法 Download PDF

Info

Publication number
CN114708236A
CN114708236A CN202210386468.3A CN202210386468A CN114708236A CN 114708236 A CN114708236 A CN 114708236A CN 202210386468 A CN202210386468 A CN 202210386468A CN 114708236 A CN114708236 A CN 114708236A
Authority
CN
China
Prior art keywords
nodule
tsn
ssn
network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210386468.3A
Other languages
English (en)
Other versions
CN114708236B (zh
Inventor
唐璐
杨行
惠雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Medical University
Original Assignee
Xuzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Medical University filed Critical Xuzhou Medical University
Priority to CN202210386468.3A priority Critical patent/CN114708236B/zh
Publication of CN114708236A publication Critical patent/CN114708236A/zh
Application granted granted Critical
Publication of CN114708236B publication Critical patent/CN114708236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，包括如下步骤：收集甲状腺结节的超声图像和病理结果，生成甲状腺结节的轮廓掩膜图像；建立纹理聚焦流网络TSN；建立轮廓检测CD模块引导的形状聚焦流网络SSN；将TSN和SSN的输出拼接在一起进行结节分类；采用CAM注意力网络来引导TSN和SSN，使得决策注意力集中在结节区域；将决策注意图限制在轮廓掩膜的范围内，获取最终甲状腺结节性质的分类。本发明设计的TSN和SSN可以很好地互补，能够捕捉更加丰富的结节特征信息，能够明显提高TSN和SSN双流网络的性能。本发明性能稳定，准确率高，为临床提供客观参考。

Description

一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类 方法
技术领域
本发明属于图像处理和人工智能辅助检测疾病领域，具体涉及一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法。
背景技术
甲状腺是成年人最大的内分泌腺之一，位于颈部甲状软骨下方，气管两旁，其生成的甲状腺激素和降钙素可以调节人体生长发育和钙磷平衡，因此拥有一个功能完备的腺体是拥有健康身体的前提。目前甲状腺病症在临床中较为常见，其中甲状腺结节是甲状腺的常见疾病之一，它发病原因复杂，病患基础大，性质为恶性的甲状腺结节也是严重威胁人类健康的恶性肿瘤之一。因此，在精准医疗和医疗管理系统中，能否准确诊断甲状腺结节对患者的管理和治疗非常重要。根据甲状腺超声图像特征，美国放射学会在2017年发布了在目前仍被认为是甲状腺超声评价指南的甲状腺成像报告和数据系统(Thyroid ImagingReport And Data System，TI-RADS)。其包括了五大类对甲状腺结节诊断具有重要作用的超声特征：成分，回声性质，形状，边缘和回声灶。该指南作为一个积分系统，是目前放射科医生解释甲状腺结节所遵循的标准。但是，超声成像固有缺陷使其易受到回声的干扰和噪声影响，成像好坏以及评价准确性都依赖于放射科医生的临床经验。而由于甲状腺成像报告和数据系统描述的甲状腺纹理特征(如囊性、海绵状和回声性质)和形状特征(如边缘、分叶状和纵横比)的复杂变化，以及良、恶性结节在超声图像上的视觉相似性，使得即使是有经验的放射科医生对超声特征的准确识别和一致性解释仍存在挑战，不同医生之间的诊断结果也会出现可变性和不一致性。最后，放射科医生评估结节也是一项费时费力的工作，病患基数较大的情况之下，其工作流程不能快速有效地评估结节，尤其是在间歇性被打扰和长时间工作的情况下。
发明内容
本发明所要解决的技术问题是，提供一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，以ResNet34卷积神经网络作为主干网络，提取甲状腺结节超声图像的纹理特征，在建立纹理聚焦流网络TSN的基础上，建立轮廓检测CD模块引导的形状聚焦流网络SSN，进而获取决策注意图，使得决策注意力集中在结节区域，得出甲状腺结节性质分类，为临床提供客观参考。
为解决上述技术问题，本发明采用的技术方案为：
一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，
一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，包括如下步骤：
步骤1：收集甲状腺结节的超声图像，和超声图像对应的病理结果，基于超声图像生成甲状腺结节的轮廓掩膜图像；
步骤2：以ResNet34卷积神经网络作为主干网络，提取甲状腺结节的纹理特征，建立纹理聚焦流网络TSN；
步骤3：基于ResNet34卷积神经网络，提取甲状腺结节的形状特征，建立受轮廓检测CD模块引导的形状聚焦流网络SSN；
步骤4：将纹理聚焦流网络TSN和形状聚焦流网络SSN的输出拼接在一起进行结节分类；
步骤5：采用CAM注意力网络来引导纹理聚焦流网络TSN和形状聚焦流网络SSN，获取决策注意图，使得决策注意力集中在结节区域；
步骤6：将决策注意图限制在轮廓掩膜的范围内，获取最终甲状腺结节性质的分类。
进一步的，在步骤1中对甲状腺结节的超声图像进行预处理操作，使得良性和恶性的结节病理结果在数量上相等，以克服数据不平衡带来的问题，且为模型的训练和调优提供充足的图像数据；具体采取了方式①、方式②和方式③：①通过在水平或左右方向翻转超声图像，以此生成腺体另一侧的结节图像，弥补超声结果仅包含甲状腺组织的一侧；②通过加入高斯噪声的算法操作来提高网络鲁棒性，消除不同设备生成的超声图像表现不同；③通过采用不同角度的旋转操作生成新的超声图像，进一步调整超声图像的数量。
优选的，对步骤1中的甲状腺结节掩膜图像分别进行膨胀和腐蚀操作后，采用高斯滤波函数进行优化，使获得的甲状腺结节轮廓掩膜图像更加柔和与平滑。
优选的，步骤2包括如下步骤：
步骤2.1：优化ResNet34卷积神经网络，将ResNet34卷积神经网络第1层至第15层作为一个独立部分，命名为T-Block1，第16层至第27层作为另一个独立部分，命名为T-Block2，剔除ResNet34卷积神经网络的剩余部分，克服甲状腺结节的形状特征提取过程冗余的问题，在实现过程中，冻结T-Block1和T-Block2的预训练参数，并在T-Block2后与拼接操作连接；
步骤2.2：在T-Block1和T-Block2的每一个卷积层后添加批归一化BN层，以有效地加快网络训练速度，缓解过拟合问题；
步骤2.3：为了使网络更加符合生物神经元的特性，针对T-BIock1，在第1层和剩余部分的偶数层，均在BN算法操作后添加整流线性单元ReLU作为各卷积层的激活函数；针对T-Block2，在所有偶数卷积层的BN算法操作后也添加整流线性单元ReLU作为各卷积层的激活函数；
步骤2.4：建立基于聚焦纹理特征的纹理聚焦流TSN。
进一步的，步骤3包括如下步骤：
步骤3.1：另外使用一个ResNet34卷积神经网络进行优化，将其第1层至第15层和第16层至第27层分别作为一个独立部分，称为S-Block1和S-Block2，剔除对提取结节形状特征来说是冗余的剩余部分，并将网络从零开始训练以提取更丰富的形状特征；
步骤3.2：在S-Block2后加入自关注SA模块，用于探索甲状腺结节的显著特征，并将从自关注SA模块输出的最终形状特征图谱输入到两个通道，第一个通道是拼接结构，第二个通道是轮廓检测CD模块，输入目的是为轮廓检测添加形状特征偏置；
步骤3.3：建立基于聚焦形状特征的形状聚焦流网络SSN。
进一步的，步骤3.3包括如下步骤：
步骤3.3.1：将自关注SA模块输出的最终形状特征图谱输入轮廓检测CD模块，通过连接3个卷积层以完成特征提取，第1、3层的卷积核为1×1，第2卷积层的卷积核为3×3，所有卷积层的步长均为1；
步骤3.3.2：进行转置卷积运算，转置卷积运算的卷积核为24×24，步长为16；
步骤3.3.3：在转置卷积层后增加一个卷积核为3×3，步长为1的卷积层，以缓解棋盘效应带来的问题，其输出为轮廓特征图谱；
步骤3.3.4：为了使输入图像与输出结果为非线性映射，采用了激活函数Sigmoid进行计算，使用均方误差MSE作为轮廓预测的损失函数。
优选的，步骤4包括如下步骤：
步骤4.1：通过拼接的方式将纹理聚焦流网络TSN和形状聚焦流网络SSN输出的纹理特征图谱和形状特征图谱进行拼接，形成拼接后的拼接特征图谱；
步骤4.2：将拼接特征图谱输入三个卷积层，每个卷积层后附加归一化BN层，在第2和第3个归一化BN层后添加ReLU作为激活函数；
步骤4.3：通过最后一个卷积层输出的特征图谱命名为分类特征图谱，并将其输入全局平均池化GAP层，以构建一个顺序网络来捕获更丰富的特征；
步骤4.4：在全局平均池化GAP层的末端增加一个全连接FC层，从而将提取到的结节特征综合起来；
优选的，步骤4.4中通过Dropout解决过拟合问题。
进一步的，步骤5包括如下步骤：
步骤5.1：将步骤4.3中分类特征图谱表示为Fmap，将步骤4.4的FC层权重矩阵表示为wf，将wf作为卷积层的核，大小为1×1，并在该卷积层后增加ReLU非线性激活函数，输出结果为注意力特征图谱Amap；
步骤5.2：将注意力特征图谱Amap扩展到输入超声图像的大小，然后对其扩展后的Amap进行归一化操作，得到归一化后Amap的范围值为[0，1]；
步骤5.3：使用Sigmoid算法，获取在线CAM注意力机制所生成的注意力图T(Amap)；
步骤5.4：利用Dice损失函数计算注意力图T(Amap)和结节掩膜“金标准”的相似度；
步骤5.5：通过交叉熵CE损失函数更新ResNet34卷积神经网络的参数本发明与现有技术相比，具有如下有益效果：
本发明综合了放射科医生对病灶区域标记的信息和超声特征，信息利用充分，可靠性高。具体地说，在纹理聚焦流中，利用在ImageNet完成预训练的ResNet34来引导网络识别与结节纹理相关的属性。同时，在形状聚焦流中，使用未经过预训练的ResNet34卷积神经网络作为骨干网络，联合轮廓检测CD模块，从零开始学习，增强形状特征的提取。将上述双流网络进行拼接以捕捉更丰富、更复杂的特征。本发明进一步利用在线类激活映射CAM机制来辅助双流网络生成局部热图，在整个图像中获得对结节的更多可视化关注。并在分类器进行决策时，监督其与预测性能密切相关的结节区域关注度，从而避免结节分割和分类任务的单独训练。最后，在整体模式下与在线CAM联合学习双流网络，从而产生良好的分类预测。
附图说明
图1是本发明基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法的步骤流程图；
图2是本发明基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法的一种具体模型的框架图；
图3是本发明的轮廓掩膜和轮廓预测的可视化结果图；
图4是本发明在甲状腺结节具体案例上所生成的注意力图。
具体实施方式
下面结合附图对本发明作更进一步地说明。
本文提出的TSN和SSN双流网络框架是专为甲状腺结节分类而设计，它由双流注意力网络组成，如图1和图2所示。下面介绍了该双流网络，即纹理聚焦流网络(Texturefocused Stream Network，TSN)和形状聚焦流网络(Shape focused Stream Network，SSN)。在此基础上，本发明提出将上述两种网络进行合理拼接的方法，构建TSN和SSN双流网络，命名为纹理和形状双聚焦注意力神经网络(Texture and Shape focused Dual-StreamAttention Neural Network，TS-DSANN)。采用CAM注意力网络来引导双流网络，以在线CAM注意力机制中使用结节掩膜和轮廓掩膜作为约束来监督结节分类器的注意力。总体框架的详细信息将在以下各中说明。
步骤一、收集甲状腺结节的超声图像数据和与之对应的病理结果，并完成图像预处理工作。
步骤1：本发明采用两中心超声数据来评估TSN和SSN双流网络在甲状腺结节性质分类中的性能。
1.1本发明收集了数据集1，共收集了7376张病理证实的甲状腺结节超声图像，其中恶性5129例，良性2247例。所有图像都贴上了标签，由资深的放射科医生完成结节掩膜的勾画。
1.2本发明还收集了数据集2。数据集2包含了3644幅超声图像，良性和恶性的案例分别为1641例和2003例，该数据集也包含相应的结节掩膜，掩膜勾画同样由经验丰富的医生标记完成。
步骤2：甲状腺结节超声图像预处理工作，具体为：
2.1甲状腺结节是一个蝴蝶状的腺体组织，超声结果只包含甲状腺组织的横截面或垂直界面图。本发明通过在水平或左右方向旋转超声图像，以此来生成腺体的另一侧结节图像。
2.2由于使用了不同设备生成的超声图像(如飞利浦-CX50、西门子Acusons 2000和东芝Aplio300等)，超声图像显示出不同的表现，包括噪声、对比度和回声强度。为解决此问题，本发明引入了优化后的高斯噪声，其内置σ设置为5，提高网络的鲁棒性。
2.3考虑到良恶性病例数量存在不平衡，本发明采用了不同角度的旋转操作，具体地来说，随机采用90、180和270度的旋转角度操作，进一步调整超声图像的数量。
以上的数据增强技术不仅克服了数据不平衡的问题，而且为模型的训练和调优提供了充足的训练图像。
步骤3：生成轮廓检测“金标准”的轮廓掩膜，称为ContourGT，具体为：
3.1对结节掩膜图像分别进行膨胀和腐蚀操作，命名为D和E。两个的操作的核大小指定为15，迭代次数为3。
3.2使用D所产生的结果减去E所产生的结果。为使输出结果更具有柔和与平滑效果，进一步采用高斯滤波函数对输出进行优化。所采用的高斯滤波器σ参数被设置为5。如下所示：
Figure BDA0003590133120000072
其中
Figure BDA0003590133120000071
代表高斯滤波函数。到目前为止，本发明可以获得结节的轮廓掩膜作为预测值的“金标准”。
由两路优化后的ResNet34卷积神经网络，双流拼接和分类网络组成本发明所提出的TSN和SSN双流网络框架。具体为：
步骤二、以ResNet34作为主干网络，建立TSN，其中第1层卷积层的卷积核为7×7，其余各层的卷积核为3×3，第1、9、16层卷积层的步长为2，其余层为1；下采样层的卷积核大小为1×1，步长均是2。具体方法为：
步骤1：优化ResNet34卷积神经网络，将ResNet34卷积神经网络第1层至第15层作为一个独立部分，命名为T-Block1，第16层至第27层作为另一个独立部分，命名为T-Block2。剔除ResNet34卷积神经网络的剩余部分，克服甲状腺结节的形状特征提取过程冗余的问题。在实现过程中，冻结T-Block1和T-Block2的预训练参数，并在T-Block2后与拼接操作连接。
步骤2：在T-Block1和T-Block2的每一个卷积层后添加批归一化BN层，以有效地加快网络训练速度，缓解过拟合问题。
步骤3：针对T-Block1，在第1层和剩余部分的偶数层，都在批归一化BN操作后添加整流线性单元ReLU作为各卷积层的激活函数。针对T-Block2，在所有偶数卷积层的归一化BN操作后也添加整流线性单元ReLU作为各卷积层的激活函数。如下所示：
Figure BDA0003590133120000081
其中ReLU又称为修正线性单元，是深度学习中常用的激活函数，其更加符合生物神经元的特性。conv即卷积层，Ml表示激活函数的输出，Ml-1和W分别是卷积层l的前一层的特征图谱和卷积核大小。公式的后半部分是更具体的表示方法。
Figure BDA0003590133120000082
是特征图谱Ml-1的第k位通道，共有n位通道，最后B表示l-1层的卷积运算偏置，符号⊙表示卷积运算。
步骤4：除T-Block1和T-Block2的ResNet34卷积神经网络包含了TSN不必要的平均池化层和全连接(Fully-Connected，FC)层，因此，本发明剔除了ResNet34卷积神经网络中除T-Block1和T-Block2的剩余部分，但在与SSN完成拼接操作后添加了分类模块。
步骤三、为全面学习对分类有重要意义的形状特征，设计出一个轮廓检测(Contour Detected，CD)模块引导的SSN。额外使用ResNet34作为形状聚焦流网络的主干，建立SSN，其中第1层卷积层的卷积核为7×7，其余各层的卷积核为3×3，下采样层的卷积核大小为1×1，步长均是2；第1、9、16层卷积层的步长为2，其余层为1。具体方法为：
步骤1：另外使用一个ResNet34卷积神经网络进行优化，将其第1层至第15层和第16层至第27层分别作为一个独立部分，称为S-Block1和S-Block2。剔除ResNet34卷积神经网络的剩余部分，将网络从零开始训练以提取更丰富的形状特征。
步骤2：自关注(Self-Attention，SA)机制是自注意力机制的变体，本发明所使用的自关注SA模块可以粗略地估计甲状腺结节的所在位置，找出有利于进行精准结节搜索的显著特征(如：灰度变化和纹理不连续性等)。同时，它还可以减少在特征提取过程中对结节以外的信息依赖，以更好地捕捉结节特征的内部相关性。本发明在S-Block2后加入SA模块，并将SA模块输出的最终形状特征图谱输入到两个通道。第一个通道是拼接结构，这将在下一节中介绍。第二个通道是轮廓检测CD模块，为轮廓检测添加形状特征偏置。
步骤3：值得注意的是，甲状腺结节的轮廓和边界通常是良恶性鉴别的关键因素。本发明所设计的CD模块可以很好地增强模型对形状特征的提取和识别。基于轮廓检测的优势，设计出了一个聚焦于形状信息(如边缘、分叶和纵横比)的SSN用于结节识别。具体为：
3.1在SA模块的形状特征图谱输出后，本发明依次连接三个卷积层进一步完成特征提取。其中，第1、3层的卷积核为1×1，第2卷积层的卷积核为3×3，所有卷积层的步长均为1。
3.2再应用转置卷积运算，这是一种用于扩展输入特征图谱大小的常用操作，同时也是一种很好的上采样的方式，其中网络权重是可学习的，但不足之处是上采样过程可能会发生棋盘效应，导致产生伪影。转置卷积运算的卷积核为24×24，步长为16。
3.3为缓解棋盘状伪影问题，本发明在转置卷积层后增加一个卷积核为3×3，步长为1的卷积层，并将该卷积层的输出命名为Fvec：
Mshape＝conv(Fvec，W) (3)
其中Mshape是224×224的特征图谱，conv代表卷积层，W指该卷积层的卷积核大小，即3×3。
3.5 Sigmoid函数是深度学习中常用的激活函数之一，其作用是将变量映射到[0，1]之间。使用Sigmoid作为激活函数于软掩膜，对应轮廓预测公式如下：
Figure BDA0003590133120000101
其中ρ和σ是超参数，在本发明的实验中分别设置为100和0.4，从而可以获得分辨率为224×224的轮廓预测，T(*)指Sigmoid激活函数。
3.6本发明引入均方误差(Mean Square Error，MSE)作为轮廓预测损失函数，定义如下：
Figure BDA0003590133120000102
其中Lcontour是MSE函数计算出的结果；n是轮廓预测的总数，i代表第i个预测结果.而T(Mshape)和ContourGT可以通过公式(4)和(1)得出结果。
步骤四、基于TSN和SSN分别的优势，本发明将双流的输出拼接在一起进行结节分类。具体地：
步骤1：通过拼接的方式将TSN和SSN输出的纹理特征图谱和形状特征图谱进行拼接，拼接后的拼接特征图谱大小为14×1414×14。
步骤2：再将拼接特征图谱输入三个卷积层，每个卷积层后附加BN层，在第2和第3个BN层后添加ReLU作为激活函数。第一个卷积层的卷积核大小为1×1，步长为2，第2和第3层的卷积核大小为3×3，步长为1。
步骤3：将通过最后一个卷积层输出的分类特征图谱命名为Mcat，并输入全局平均池化层(Global Average Pooling，GAP)，以构建一个顺序网络来捕获更丰富的特征。GAP公式如下：
Figure BDA0003590133120000111
其中Gcat指经过GAP运算的池化结果，pixelt指Mcat中的第t个像素值，W和H分别是Mcat的宽度和高度。
步骤4：在GAP层的末端增加一个FC层，FC层通常包括很多可学参数，且FC操作容易导致网络模型出现过拟合。为此，采用Dropout技术来解决这种过拟合的问题，通过指定概率参数，在训练过程中随机丢弃神经网络单元。实现过程中，Dropout的概率参数设置为0.5，FC层命名为Lfc，将池化结果Gcat作为输入，产生全连接特征图谱Mfc：
Mfc＝Wfc⊙Gcat+Bfc， (7)
其中Wfc是Lfc的内核大小，Bfc指Lfc的偏移。Mfc是有FC层生成的二进制向量，它表示两类概率：
Figure BDA0003590133120000121
Figure BDA0003590133120000122
和
Figure BDA0003590133120000123
分别指恶性和良性的预测结果，[*]T指矩阵转置运算，M和B分别代表恶性和良性。
除此之外，本发明进一步引入CAM注意力机制，引导网络聚焦于结节，监督分类器对结节区域的决策注意力分布。这种特殊的算法——在线CAM注意机制，将在步骤五中详细介绍。
步骤五、为了从超声图像中全面学习结节区域的所有关键特征，并获得结节注意力图，本发明采用了一个在线CAM注意力机制。它可以使注意力更多地集中在结节区域，缓解卷积神经网络“黑箱”模型的不可解释性。在对双流网络进行联合学习训练后，本发明的模型从双流网络中获得决策注意图。CAM通过将FC层的权重映射到最后的卷积特征图谱来生成特定类别区域的注意力图。具体地：
步骤1：将步骤四中步骤1的最后一层卷积结果表示为分类特征图谱Fmap，同样地，将步骤四中步骤4的FC层权重矩阵表示为wf。将wf作为卷积层的核，大小为1×1，并在卷积层后增加非线性激活函数(公式(2))，输出结果为注意力特征图谱Amap。其中Amap是输入超声图像大小的1/16。
步骤2：在给定Amap的情况下，本发明执行上采样操作，将Amap扩展到输入超声图像的大小，然后对其进行归一化操作，得到的范围值为[0，1]。
步骤3：为了获取软掩膜，本发明使用了Sigmoid算法。基于公式(4)，获得在线CAM所生成的注意力图：T(Amap)。
步骤4：给定T(Amap)和相应的结节掩膜Mgt“金标准”，使用Dice作为注意力的损失函数Lattention，Dice是一种集合相似度量的函数，用于计算两个计算T(Amap)和Mgt之间的相似度，如下所示：
Lattention＝Dice(T(Amap)，Mgt)， (8)
步骤5：在训练神经网络时，卷积层大小为1×1的参数被FC层复制，对于甲状腺结节的良恶性分类，通过交叉熵(Cross Entropy，CE)损失函数来更新，记为Lclassification，如下：
Figure BDA0003590133120000131
其中ygt表示分类标签向量，如前所述，有两个选项值
Figure BDA0003590133120000132
分别代表甲状腺结节恶性和良性的预测结果，[*]T指矩阵转置运算，M和B分别代表恶性和良性。
步骤六、如图1所示，总体学习目标包括甲状腺结节性质的分类、注意力机制和轮廓检测。在分类模块中，本发明使用了CE作为损失函数；在注意力机制训练过程中使用Dice损失函数；而在SSN的轮廓检测模块中使用了MSE作为损失函数。为此，本发明的全部损失函数如下：
Ltotal＝Lclassification+αLattention+βLcontour， (10)
其中Lclassification是分类任务中使用的CE损失函数，如公式(9)所示，Lattention是Dice损失函数，如公式(8)所示，最后的Lcontour是轮廓检测的损失函数，本发明使用的是MSE，如公式(5)。α和β分别是注意力机制和轮廓检测的权重因子。通过大量的对比实验，本发明在实验中设置了α＝2.25，β＝2500，可以使所提出的模型达到最优。
为了证实本发明的有效性，与其他先进模型的性能进行了对比，这些方法包括ThyNet、Hybrid FC、CH-UNet。对于本发明的方法，本发明将上述三种方法分别含有CD模块和不含有CD模块的两种模型进行了比较，分别命名为TS-DSANN w/CD和TS-DSANN w/o CD。结果列于表1：
表1本发明所提出的模型与其他模型的结果进行比较
Figure BDA0003590133120000141
结论：从表1的上半部分可以很容易发现，本发明提出的方法在数据集1上得到了最优的性能，显著优于其他三种先进模型。在没有CD模块指导的情况下，本发明的双流网络性能也优于其他模型。具体地说，与这三种模型相比，TS-DSANN w/CD方法的准确率、灵敏性、特异性、AUC和F1分值平均分别提高2.27％、2.24％、2.31％、2.27％和1.68％。与没有CD模块指导的方法(TS-DSANN w/o CD)相比，该模型的准确率、灵敏性、特异性、AUC和F1分值平均分别提高了1.5％、1.17％、2.23％、1.69％和1.07％。
同时，表1下半部分显示本发明的模型在数据集2上也获得了几乎最好的评估结果，在准确率、AUC和F1分值上都得到了第一名。本发明还发现，本发明的网络的灵敏性和特异性略低于最佳得分，这可能是由于数据集2较小，缺乏足够的训练数据，不能满足SSN从零开始训练，提取更丰富的形状特征，从而在很大程度上影响灵敏性和特异性指标。综上所述，本发明的方法具有相当稳定的性能，优于其他模型。
为了进一步验证轮廓检测能够提高分类和注意力的定位性能，本发明从测试集中，按较小、中等和较大结节随机选取了6个案例，分别从左到右显示。对于每种案例，本发明展示了其相应的原始超声图像、结节掩膜、轮廓掩膜以及轮廓预测结果的可视化结果，如图3所示。
首先，通过观察膨胀和侵蚀操作得到的轮廓掩膜，本发明可以看出生成的轮廓掩膜与结节区域重叠良好，甚至与结节的真实形状一致。将预测结果与轮廓掩膜进行比较，如图3最后两行所示，可以容易地发现它们非常相似。这可能是通过引入轮廓检测CD模块生成了完美的轮廓预测，证明CD模块所引导的SSN有效地捕捉了轮廓和边缘特征。进一步与结节掩膜进行比较，预测结果在结节定位和形态可信度方面有较好的表现。更具体地说，注意力集中在结节轮廓周围，在解剖学上看起来是可理解的，且明显接近于结节分割效果。
最后，对比图3最后一行的结果可以看出，无论结节的大小如何，CD引导的形状聚焦网络都能更好地学习形状特征，在精确定位和形态上都有优异表现。实验结果表明，该方法在处理不同大小的结节时也具有相当稳定的性能。另外，本发明观察到轮廓的宽度呈现不均匀的灰度分布，这可能是由于轮廓中不同的内部成分(如边缘模糊和轮廓成分性质的突变)在很大程度上影响到了轮廓的聚焦区域。如，图3(a)中的指标1，结节的边缘是比较模糊的，其相应的轮廓预测也被缩窄。再如图3(e)中的指标2所示，随着轮廓内部成分性质的不断变化，轮廓预测结果也会出现相应的宽度变化。因此，本发明推测这种不均匀的分布意味着模型可以引导网络聚焦于与决策密切相关的重要轮廓区域。
进一步的，利用本发明的方法在8个甲状腺结节案例上应用，生成注意力图，如图4所示。
(1)对于较小的结节(图4(a))，可以发现这个例子检测出轮廓是比较困难的，这是由于结节的回声几乎与甲状腺腺体组织的回声相同，因此可能会被缺乏经验的放射科医生漏诊。然而，本发明提出的TSN和SSN双流网络模型可以很好地识别结节轮廓，如图4(a)中的指标1所示。首先，Baseline的注意力图聚焦到了几乎整个甲状腺腺体，而在CD的指导下，注意力集中在了结节的轮廓。然后，通过添加CAM进行注意引导，本发明可以看到注意结果有了明显的改善。当加入SA模块后，其注意力图的结果集中在了与结节掩膜更一致的区域。最终，结节区域被很好地检测出来。事实证明，TSN和SSN双流网络的注意力能够聚焦在有意义的结节区域，甚至是对于很难识别结节也是如此。
(2)对于成分混合的囊实性结节(图4(b)(e))，根据TI-RADS指南，这将会积分1分，在放射科医生的最终诊断决策中会作为考虑因素之一。相比之下，本发明的注意力模型成功地注意到了整个结节区域。重要的是，在SA的指导下，本发明的模型可以纠正对气管周围的关注，不在是集中在连接结节周围的气管(图4(b)中的指标2)，而是集中在边缘的异常成分(即，钙化，图4(b)中的指标3)。这表明本发明的模型可以引导网络更多地关注与决策密切相关的重要特征(如，图4(b)的钙化和回声病灶)。
(3)对于内部回声均匀的实性结节(图4(c))或低回声的囊性结节(图4(d))，本发明的模型将注意力更多地集中到轮廓和边缘区域。除此之外，该网络还可以区分边缘不规则的恶性实性结节(图4(f))和良性低回声的实性结节(图4(c))。
(4)临床中，突破甲状腺纤维包膜生长的结节是高度考虑恶性的标志之一，其边界通常表现为模糊(如，图4(f)(g))。本发明提出的模型可以限制并分散它的注意力。具体地说，本发明的方法可以集中注意力在结节穿过腺体的区域，即使它的边缘是模糊的(图4(g)中的指标4)。
(5)此外，本发明还可以观察到，注意力图也仅局限于结节区域，其注意力的权重被分散到结节内的异常区域(图4(h)中的指标5)。这表明，TSN和SSN联合学习捕获的特征图谱为TSN和SSN双流网络的分类效果提供了很大的帮助，也就是说，TSN在很大程度上有助于从结节超声图像中提取纹理特征，而SSN则主要集中在形状特征的捕获上。
综上所述，TSN和SSN可以很好地互补，能够明显提高TSN和SSN双流网络的性能。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，其特征在于，包括如下步骤：
步骤1：收集甲状腺结节的超声图像，和超声图像对应的病理结果，基于超声图像生成甲状腺结节的轮廓掩膜图像；
步骤2：以ResNet34卷积神经网络作为主干网络，提取甲状腺结节的纹理特征，建立纹理聚焦流网络TSN；
步骤3：基于ResNet34卷积神经网络，提取甲状腺结节的形状特征，建立受轮廓检测CD模块引导的形状聚焦流网络SSN；
步骤4：将纹理聚焦流网络TSN和形状聚焦流网络SSN的输出拼接在一起进行结节分类；
步骤5：采用CAM注意力网络来引导纹理聚焦流网络TSN和形状聚焦流网络SSN，获取决策注意图，使得决策注意力集中在结节区域；
步骤6：将决策注意图限制在轮廓掩膜的范围内，获取最终甲状腺结节性质的分类。
2.根据权利要求1所述的一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，其特征在于：在步骤1中对甲状腺结节的超声图像进行预处理操作，使得良性和恶性的结节病理结果在数量上相等，以克服数据不平衡带来的问题，且为模型的训练和调优提供充足的图像数据；具体采取了方式①、方式②和方式③：①通过在水平或左右方向翻转超声图像，以此生成腺体另一侧的结节图像，弥补超声结果仅包含甲状腺组织的一侧；②通过加入高斯噪声的算法操作来提高网络鲁棒性，消除不同设备生成的超声图像表现不同；③通过采用不同角度的旋转操作生成新的超声图像，进一步调整超声图像的数量。
3.根据权利要求1所述的一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，其特征在于：对步骤1中的甲状腺结节掩膜图像分别进行膨胀和腐蚀操作后，采用高斯滤波函数进行优化，使获得的甲状腺结节轮廓掩膜图像更加柔和与平滑。
4.根据权利要求1所述的一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，其特征在于，步骤2包括如下步骤：
步骤2.1：优化ResNet34卷积神经网络，将ResNet34卷积神经网络第1层至第15层作为一个独立部分，命名为T-Block1，第16层至第27层作为另一个独立部分，命名为T-Block2，剔除ResNet34卷积神经网络的剩余部分，克服甲状腺结节的形状特征提取过程网络冗余的问题，在实现过程中，冻结T-Block1和T-Block2的预训练参数，并在T-Block2后与拼接操作连接；
步骤2.2：在T-Block1和T-Block2的每一个卷积层后添加批归一化BN层，以有效地加快网络训练速度，缓解过拟合问题；
步骤2.3：为了使网络更加符合生物神经元的特性，针对T-Block1，在第1层和剩余部分的偶数层，均在BN算法操作后添加整流线性单元ReLU作为各卷积层的激活函数；针对T-Block2，在所有偶数卷积层的BN算法操作后也添加整流线性单元ReLU作为各卷积层的激活函数；
步骤2.4：建立基于聚焦纹理特征的纹理聚焦流TSN。
5.根据权利要求4所述的一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，其特征在于，步骤3包括如下步骤：
步骤3.1：另外使用一个ResNet34卷积神经网络进行优化，将其第1层至第15层和第16层至第27层分别作为一个独立部分，称为S-Block1和S-Block2，剔除对提取结节形状特征来说是冗余的剩余部分，并将网络从零开始训练以提取更丰富的形状特征；
步骤3.2：在S-Block2后加入自关注SA模块，用于探索甲状腺结节的显著特征，并将从自关注SA模块输出的最终形状特征图谱输入到两个通道，第一个通道是拼接结构，第二个通道是轮廓检测CD模块，输入目的是为轮廓检测添加形状特征偏置；
步骤3.3：建立基于聚焦形状特征的形状聚焦流网络SSN。
6.根据权利要求5所述的一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，其特征在于，步骤3.3包括如下步骤：
步骤3.3.1:将自关注SA模块输出的最终形状特征图谱输入轮廓检测CD模块，通过连接3个卷积层以完成特征提取，第1、3层的卷积核为1×1，第2卷积层的卷积核为3×3，所有卷积层的步长均为1；
步骤3.3.2：进行转置卷积运算，转置卷积运算的卷积核为24×24，步长为16；
步骤3.3.3：在转置卷积层后增加一个卷积核为3×3，步长为1的卷积层，以缓解棋盘效应带来的问题，其输出为轮廓特征图谱；
步骤3.3.4：为了使输入图像与输出结果为非线性映射，采用了激活函数Sigmoid进行计算，使用均方误差MSE作为轮廓预测的损失函数。
7.根据权利要求6所述的一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，其特征在于，步骤4包括如下步骤：
步骤4.1：通过拼接的方式将纹理聚焦流网络TSN和形状聚焦流网络SSN输出的纹理特征图谱和形状特征图谱进行拼接，形成拼接后的拼接特征图谱；
步骤4.2：将拼接特征图谱输入三个卷积层，每个卷积层后附加归一化BN层，在第2和第3个归一化BN层后添加ReLU作为激活函数；
步骤4.3：通过最后一个卷积层输出的特征图谱命名为分类特征图谱，并将其输入全局平均池化GAP层，以构建一个顺序网络来捕获更丰富的特征；
步骤4.4：在全局平均池化GAP层的末端增加一个全连接FC层，从而将提取到的结节特征综合起来。
8.根据权利要求7所述的一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，其特征在于：
步骤4.4中通过Dropout解决过拟合问题。
9.根据权利要求7所述的一种基于TSN和SSN在超声图像中的甲状腺结节良恶性分类方法，其特征在于，步骤5包括如下步骤：
步骤5.1：将步骤4.3中分类特征图谱表示为Fmap，将步骤4.4的FC层权重矩阵表示为wf，将wf作为卷积层的核，大小为1×1，并在该卷积层后增加ReLU非线性激活函数，输出结果为注意力特征图谱Amap；
步骤5.2：将注意力特征图谱Amap扩展到输入超声图像的大小，然后对其扩展后的Amap进行归一化操作，得到归一化后Amap的范围值为[0,1]；
步骤5.3：使用Sigmoid算法，获取在线CAM注意力机制所生成的注意力图T(Amap)；
步骤5.4：利用Dice损失函数计算注意力图T(Amap)和结节掩膜“金标准”的相似度；
步骤5.5：通过交叉熵CE损失函数更新ResNet34卷积神经网络的参数。
CN202210386468.3A 2022-04-11 2022-04-11 一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法 Active CN114708236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210386468.3A CN114708236B (zh) 2022-04-11 2022-04-11 一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210386468.3A CN114708236B (zh) 2022-04-11 2022-04-11 一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法

Publications (2)

Publication Number Publication Date
CN114708236A true CN114708236A (zh) 2022-07-05
CN114708236B CN114708236B (zh) 2023-04-07

Family

ID=82173735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210386468.3A Active CN114708236B (zh) 2022-04-11 2022-04-11 一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法

Country Status (1)

Country Link
CN (1) CN114708236B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150006444A1 (en) * 2013-06-28 2015-01-01 Denso Corporation Method and system for obtaining improved structure of a target neural network
CN106056595A (zh) * 2015-11-30 2016-10-26 浙江德尚韵兴图像科技有限公司 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法
CN107516316A (zh) * 2017-07-19 2017-12-26 郑州禅图智能科技有限公司 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法
CN108428229A (zh) * 2018-03-14 2018-08-21 大连理工大学 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN110163275A (zh) * 2019-05-16 2019-08-23 西安电子科技大学 基于深度卷积神经网络的sar图像目标分类方法
US20200226421A1 (en) * 2019-01-15 2020-07-16 Naver Corporation Training and using a convolutional neural network for person re-identification
CN112419307A (zh) * 2020-12-11 2021-02-26 长春工业大学 一种基于注意力机制的肺结节良恶性识别方法
CN112529894A (zh) * 2020-12-22 2021-03-19 徐州医科大学 一种基于深度学习网络的甲状腺结节的诊断方法
CN112557034A (zh) * 2020-12-25 2021-03-26 南京理工大学 一种基于pca_cnns的轴承故障诊断方法
CN112927217A (zh) * 2021-03-23 2021-06-08 内蒙古大学 一种基于目标检测的甲状腺结节侵袭性预测方法
CN113963182A (zh) * 2021-10-22 2022-01-21 河海大学 基于多尺度空洞卷积注意力网络的高光谱影像分类方法
CN114241003A (zh) * 2021-12-14 2022-03-25 成都阿普奇科技股份有限公司 一种全天候轻量化高实时性海面船只检测与跟踪方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150006444A1 (en) * 2013-06-28 2015-01-01 Denso Corporation Method and system for obtaining improved structure of a target neural network
CN106056595A (zh) * 2015-11-30 2016-10-26 浙江德尚韵兴图像科技有限公司 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法
CN107516316A (zh) * 2017-07-19 2017-12-26 郑州禅图智能科技有限公司 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法
CN108428229A (zh) * 2018-03-14 2018-08-21 大连理工大学 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
US20200226421A1 (en) * 2019-01-15 2020-07-16 Naver Corporation Training and using a convolutional neural network for person re-identification
CN110163275A (zh) * 2019-05-16 2019-08-23 西安电子科技大学 基于深度卷积神经网络的sar图像目标分类方法
CN112419307A (zh) * 2020-12-11 2021-02-26 长春工业大学 一种基于注意力机制的肺结节良恶性识别方法
CN112529894A (zh) * 2020-12-22 2021-03-19 徐州医科大学 一种基于深度学习网络的甲状腺结节的诊断方法
CN112557034A (zh) * 2020-12-25 2021-03-26 南京理工大学 一种基于pca_cnns的轴承故障诊断方法
CN112927217A (zh) * 2021-03-23 2021-06-08 内蒙古大学 一种基于目标检测的甲状腺结节侵袭性预测方法
CN113963182A (zh) * 2021-10-22 2022-01-21 河海大学 基于多尺度空洞卷积注意力网络的高光谱影像分类方法
CN114241003A (zh) * 2021-12-14 2022-03-25 成都阿普奇科技股份有限公司 一种全天候轻量化高实时性海面船只检测与跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YING WANG等: "TS-Net: Texture and Shape Stream Network for Retinal Vessel Segmentation", 《27TH INTERNATIONAL CONFERENCE ON MECHATRONICS AND MACHINE VISION IN PRACTICE (M2VIP)》 *
YUWEI ZHANG等: "Texture and Shape biased Two-Stream Networks for Clothing Classification and Attribute Recognition", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)）》 *
暴雨轩等: "基于iResNet34模型和数据增强的深度伪造视频检测方法", 《计算机科学》 *

Also Published As

Publication number Publication date
CN114708236B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Qi et al. Automated diagnosis of breast ultrasonography images using deep neural networks
Özyurt et al. A novel liver image classification method using perceptual hash-based convolutional neural network
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
Song et al. Mammographic classification based on XGBoost and DCNN with multi features
US20170249739A1 (en) Computer analysis of mammograms
CN111767952B (zh) 一种可解释的肺结节良恶性分类方法
Saranyaraj et al. A deep convolutional neural network for the early detection of breast carcinoma with respect to hyper-parameter tuning
Luo et al. Retinal image classification by self-supervised fuzzy clustering network
CN111340770B (zh) 结合全局加权lbp和纹理分析的癌症预后模型构建方法
CN113610118B (zh) 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
Yang et al. RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation
CN115661029A (zh) 基于YOLOv5的肺结节检测与识别系统
Liu et al. Automated classification of cervical Lymph-Node-Level from ultrasound using depthwise separable convolutional swin transformer
Antony et al. Feature learning to automatically assess radiographic knee osteoarthritis severity
Malik et al. Lung cancer detection at initial stage by using image processing and classification techniques
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
Mandal et al. Usage of particle swarm optimization in digital images selection for monkeypox virus prediction and diagnosis
CN114708236B (zh) 一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法
Sünkel et al. Hybrid quantum machine learning assisted classification of COVID-19 from computed tomography scans
Somasundaram et al. An efficient detection of kidney stone based on hdvs deep learning approach
Chen et al. A new classification method in ultrasound images of benign and malignant thyroid nodules based on transfer learning and deep convolutional neural network
Subramanian et al. Design and Evaluation of a Deep Learning Aided Approach for Kidney Stone Detection in CT scan Images
Yin et al. Hybrid regional feature cutting network for thyroid ultrasound images classification
LAGHMATI et al. Segmentation of Breast Cancer on Ultrasound Images using Attention U-Net Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant