CN116433970A - 甲状腺结节分类方法、系统、智能终端及存储介质 - Google Patents

甲状腺结节分类方法、系统、智能终端及存储介质 Download PDF

Info

Publication number
CN116433970A
CN116433970A CN202310308191.7A CN202310308191A CN116433970A CN 116433970 A CN116433970 A CN 116433970A CN 202310308191 A CN202310308191 A CN 202310308191A CN 116433970 A CN116433970 A CN 116433970A
Authority
CN
China
Prior art keywords
branch
thyroid nodule
module
thyroid
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310308191.7A
Other languages
English (en)
Inventor
汪天富
白玛娜姆
雷柏英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202310308191.7A priority Critical patent/CN116433970A/zh
Publication of CN116433970A publication Critical patent/CN116433970A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种甲状腺结节分类方法、系统、智能终端及存储介质，通过预处理模块对甲状腺超声图像进行预处理，获得目标图像，通过多分支空洞卷积模块从多个尺度、多个方向提取目标图像的特征，通过特征交互模块进行特征交互并采用密集连接充分利用全局特征和局部特征，通过多分支非局部自注意力融合模块进行自注意力操作和融合操作以对特征进行增强，最后通过分类模块进行分类，获得甲状腺结节的类别。与现有技术相比，能够充分地提取特征，准确地对甲状腺结节进行分类。

Description

甲状腺结节分类方法、系统、智能终端及存储介质
技术领域
本发明涉及医学图像识别技术领域，尤其涉及的是一种甲状腺结节分类方法、系统、智能终端及存储介质。
背景技术
超声是一种快速、安全且廉价的成像技术，可以实现甲状腺结节的可视化观测。基于超声图像对甲状腺结节进行准确区分，需要依赖于特征提取的精度。
虽然已使用深度学习模型对甲状腺结节的超声图像进行分类，但是目前的深度学习模型仅能很好地提取特定区域的局部特征、忽略了全局特征，特征提取不够充分，甲状腺结节分类不够准确。
因此，现有技术有待改进和提高。
发明内容
本发明的主要目的在于提供一种甲状腺结节分类方法、系统、智能终端及计算机可读存储介质，旨在解决特征提取不够充分、甲状腺结节分类不够准确的问题。
为了实现上述目的，本发明提供了一种甲状腺结节分类系统，所述系统包括：
预处理模块，用于对甲状腺超声图像进行预处理，获得目标图像；
多分支空洞卷积模块，用于从多尺度和多方向提取所述目标图像的特征，所述多分支空洞卷积模块的每个分支均设有空洞卷积，所有空洞卷积的扩张率互不相同；
特征交互模块，用于对所述多分支空洞卷积模块提取的特征进行特征交互，包括若干双密集Transformer块，所述双密集Transformer块包括交替设置的若干第一Transformer模型、第二Transformer模型，所述第一Transformer模型采用基于窗口的多头自注意力机制，所述第二Transformer模型采用基于移位窗口的多头自注意力机制，所述双密集Transformer块中的Transformer模型之间的连接为密集连接；
多分支非局部自注意力融合模块，用于对所述特征交互模块交互后的特征进行增强，包括查询矩阵分支、关键词矩阵分支和值矩阵分支，还设有融合单元，用于将查询矩阵分支的特征与所述关键词矩阵分支的特征相乘后与所述值矩阵分支的特征相加，获得融合后特征；
分类模块，用于对融合后特征进行分类，获得甲状腺结节的类别。
可选的，所述查询矩阵分支和所述值矩阵分支上设有逐点卷积，所述关键词矩阵分支上设有平均池化分支和最大池化分支，所述平均池化分支上和所述最大池化分支上均设有不同尺度的池化层。
可选的，所述特征交互模块还包括位置压缩和激励模块，所述位置压缩和激励模块用于对所述双密集Transformer块输出的特征进行压缩和激励操作。
可选的，所述位置压缩和激励模块包括采用残差连接的逐点卷积模块、并行的平均池化分支和最大池化分支，所述逐点卷积模块用于对根据所述双密集Transformer块输出的特征获得的查询矩阵、关键词矩阵、值矩阵进行卷积；所述平均池化分支和最大池化分支用于对所述逐点卷积模块输出的特征进行池化操作，所述平均池化分支和最大池化分支上均设有全连接网络。
可选的，还包括概率分类模块，用于对同一甲状腺结节的不同超声图像获得的分类结果进行概率平均，获得概率平均后的甲状腺结节分类结果。
为了实现上述目的，本发明还提供了一种甲状腺结节分类方法，所述分类方法包括：
对甲状腺超声图像进行预处理，获得目标图像；
在多个分支上采用空洞卷积对所述目标图像进行特征提取，获得特征图；
采用若干双密集Transformer块对所述特征图进行特征交互，获得交互后特征，所述双密集Transformer块包括交替设置的若干第一Transformer模型、第二Transformer模型，所述第一Transformer模型采用基于窗口的多头自注意力机制，所述第二Transformer模型采用基于移位窗口的多头自注意力机制，所述双密集Transformer块中的Transformer模型之间的连接为密集连接；
对所述交互后特征进行基于自注意力的融合操作，获得融合后特征；
对所述融合后特征进行分类，获得甲状腺结节所属类别的概率。
可选的，基于联邦学习方法进行模型训练，设有若干客户端和一个服务端，所述客户端上部署有个性化模型和本地模型，所述个性化模型上设有基本层和个性化层，训练步骤包括：
将甲状腺超声图像样本输入所述本地模型和所述个性化模型，根据所述本地模型、所述个性化模型的概率分布之间的差异进行模型优化；
将所述基本层的模型参数上传至所述服务端进行聚合，从所述服务端获取聚合后的模型参数并更新所述基本层的模型参数。
可选的，还对所述双密集Transformer块输出的特征进行压缩和激励操作，压缩和激励操作包括：
将所述双密集Transformer块输出的特征进行采用残差连接的逐点卷积，获得卷积特征；
将所述卷积特征分别进行平均池化和最大池化；
将平均池化输出的特征和最大池化输出的特征进行融合，获得压缩和激励后特征。
为了实现上述目的，本发明还提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的甲状腺结节分类程序，上述甲状腺结节分类程序被上述处理器执行时实现任意一项上述甲状腺结节分类方法的步骤。
为了实现上述目的，本发明还提供了一种计算机可读存储介质，上述计算机可读存储介质上存储有甲状腺结节分类程序，上述甲状腺结节分类程序被处理器执行时实现任意一项上述甲状腺结节分类方法的步骤。
由上述可见，本发明通过预处理模块对甲状腺超声图像进行预处理，获得目标图像，通过多个分支的空洞卷积模块从多个尺度、多个方向提取目标图像的特征，通过特征交互模块进行特征交互并采用密集连接有效地融合全局特征和局部特征，通过多分支非局部自注意力融合模块进行基于自注意力的融合操作以对特征进行增强，最后通过分类模块进行分类，获得甲状腺结节的类别。与现有技术相比，能够充分地提取特征，准确地对甲状腺结节进行分类。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的甲状腺结节分类系统的架构示意图；
图2是图1实施例中多分支空洞卷积模块的架构示意图；
图3是图1实施例中Dswin块架构示意图；
图4是图1实施例中位置压缩和激励模块架构示意图；
图5是图1实施例中逐点卷积模块架构示意图；
图6是图1实施例中多分支非局部自注意力融合模块架构示意图；
图7是图1实施例中概率分类模块架构示意图；
图8是本发明实施例提供的甲状腺结节分类方法的结构示意图；
图9是本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
由于甲状腺各种病变组织的外观差别不大，且与周围肌肉组织相比对比度太低，很难正确地区分甲状腺病变组织。采用传统的卷积神经网络只能很好地提取特定区域的特征，忽略了特定区域之外的全局特征，特征信息提取不充分，导致甲状腺结节分类不准确。
针对上述问题，本发明提供了一种甲状腺结节分类系统，从多个尺度、多个方向采用空洞卷积提取甲状腺超声图像中特定区域的特征，使用若干个交替设置的基于窗口的多头自注意力机制的Transformer模型、基于移位窗口的多头自注意力机制的Transformer模型进行特征交互，并且在Transformer模型之间采用密集连接，有效地融合全局特征和局部特征；对交互后的特征进行自注意力操作和融合操作以对特征进行增强，然后再进行分类。能够充分地提取特征，准确地对甲状腺结节进行分类。
示例性系统
本发明实施例提供了一种甲状腺结节分类系统，分类系统的网络架构如图1所示，也可称为基于多分支特征融合的密集Transformer模型。部署在移动终端、电脑、笔记本和服务器等电子设备上，用来对甲状腺结节进行二分类，如囊性类别和实性类别。也可以对甲状腺结节进行多分类，还可以用于对其他图像进行分类。
分类系统主要包括：预处理模块、多分支空洞卷积模块、特征交互模块、多分支非局部自注意力融合模块以及分类模块。预处理模块主要用来根据结节区域裁剪超声图像，获得目标图像；多分支空洞卷积模块用来从多尺度和多方向提取目标图像的特征，构建不同大小的特征图；特征交互模块用来融合特征图的全局特征和局部特征；多分支非局部自注意力融合模块用来对特征交互模块输出的特征进行自注意力操作和融合操作以对特征进行增强；分类模块用来对增强后的特征进行分类，获得甲状腺结节的类别。
具体地，预处理模块对甲状腺超声图像进行裁剪时，可以通过医生将超声图像中的甲状腺结节区域用矩形框标注出来，然后按照该矩形框进行裁剪，获得目标图像；也可以对甲状腺超声图像进行边缘检测，裁剪出甲状腺结节区域所在的矩形框区域，获得目标图像。通过在超声图像中裁剪出目标图像，能够使后续的特征提取和交互更加有效，提取到更加准确的特征。
为了能够生成更多的图像样本进行训练，预处理模块中还包括数据增强单元，用来对目标图像进行数据增强。在数据增强单元中可以使用翻转、旋转、镜像等各种操作来扩展图像样本。
预处理模块获得目标图像后输入多分支空洞卷积模块。多分支空洞卷积模块中并行地设有多个分支，每个分支中均使用了空洞卷积，且所有空洞卷积的扩张率互不相同，即每个分支的空洞卷积大小不同，不同的扩张率能够捕获更多的上下文信息。
本实施例的多分支空洞卷积模块(Multi-branch Atrous Convolution:MAC)架构如图2所示，设有三个分支，每个分支先进行1×1卷积，再通过空洞卷积提取目标图像的特征，三个分支的空洞卷积的扩张率分别为2、3、4，然后进行1×1卷积，实现多尺度和多方向的特征提取，再将各个分支提取的特征进行融合，进行平均池化的操作。通过在每个分支中使用不同大小的空洞卷积，能够补充感受野。并且，由于在特征交互模块中采用了密集连接，使得模型计算量会很大，通过多分支空洞卷积将卷积核拆分成多个较小的卷积核，然后将它们应用于不同的输入通道，能够减少网络参数，减少模型的计算量。
然后将多分支空洞卷积模块输出的特征图输入特征交互模块。特征交互模块包括若干个双密集Transformer块，每个双密集Transformer块包括交替设置的第一Transformer模型和第二Transformer模型，第一Transformer模型和第二Transformer模型的具体个数不限，在第一Transformer模型中采用基于窗口的多头自注意力机制(W-MSA)，在第二Transformer模型中采用基于移位窗口的多头自注意力机制(SW-MSA)。使用W-MSA可以将特征图划分为一个窗口，然后分别执行每个窗口的内部计算。由于仅在每个窗口中执行自我关注计算，能够有效地减少了计算量。然而不同窗口之间的信息也存在一定的关联，如果仅使用W-MSA模块，窗口与窗口之间无法进行信息传递，大量特征信息将会独立的存在。通过引入移位的W-MSA(SW-MSA)能够使得不同窗口之间可以进行信息交流。
在双密集Transformer块中，每个Transformer模型输出的特征都输入至之后的Transformer模型中，形成密集连接，可以增强特征的传递，并更有效地利用特征信息。可选的，每个Transformer模型输出的特征也可跳跃输入至之后的Transformer模型中。
在标准卷积网络中，只提取最高级别的特征用于最终输出。而在密集连接中，模型能够使用不同级别的特征，会提供更平滑的决策边界和更准确的结果。
本实施例以Swin Transformer(Swin-T)为主干，双密集Transformer块也称为Dswin块，其架构如图3所示，Swin块为第一Transformer模型，Shift-Swin块为第二Transformer模型，各个块的计算方法为：
Xn＝Swin_B(Xn-1)，
Xn+1＝Shift_Swin_B(Xn)+Xn，
Xn+5＝D(Xn-1,Xn,…,Xn+4)。
其中，Xn和Xn+1是Swin块和Shift-Swin块的输出特征，Swin_B和Shift_Swin_B分别使用W-MSA和SW-MSA，D表示基于密集连接的计算。
本实施例由Dswin块组成的特征交互模块如图1所示，设有4个阶段，每个阶段均包括一个Dswin块进行特征交互。阶段1中还包括线性嵌入层，用于对多分支空洞卷积模块的特征图进行映射，阶段2-4中还包括切片层，通过切片层进行二次采样。在阶段1至阶段3中构建了三个不同大小的特征图；阶段4输出结果再通过线性嵌入层对每个像素的通道数据做线性变换。
虽然在Dswin块中使用密集连接将多层特征进行了拼接，但是在SwinTransformer中引用的滑动窗口设计还是将特征之间的联系给割裂了。因此，在阶段1至阶段3中，进一步地，在Dswin块之后还设置了位置压缩和激励模块(Position Squeeze andExcitation:PSE)，用来解决特征间的对齐错误和特征缺失等问题，进一步强化关键领域信息、弱化背景信息。位置压缩和激励模块可以采用通用的压缩和激励网络模型。
本实施例的位置压缩和激励模块架构如图4所示，首先将查询矩阵、关键词矩阵、值矩阵分别输入到采用残差连接的逐点卷积模块中以弥补通道之间的信息关系。接着分别输入两个分支：平均池化分支和最大池化分支，在这两个分支上分别用一个两层的全连接网络来融合每个通道的信息，使得网络就可以加强所有通道之间的连接，最后进行特征融合。其中，逐点卷积模块的架构如图5所示。
特征交互模块交互后的特征输入至多分支非局部自注意力融合模块(Multi-point non-local self-attention fusion module：MNLF)中后，首先进行自注意力操作，然后融合查询矩阵分支的特征、关键词矩阵分支的特征和值矩阵分支的特征，输出融合后特征。即分别得到基于全局的注意力和基于最大池化以及平均池化的注意力后进行重组以得到增强的特征图。
本实施例的多分支非局部自注意力融合模块架构如图6所示，对于查询矩阵分支(Query分支)，使用一个1×1的逐点卷积来完成全局注意力操作，然后进行泰勒展开；对于关键词矩阵分支(Key分支)，使用1×1卷积后，分别通过平均池化分支以及最大池化分支，每个分支上设有不同尺度的池化层，得到包含不同尺度信息的特征向量，并将各层的特征向量进行拼接，然后将两个分支得到的结果进行融合，最后通过泰勒展开将其扩展为与查询矩阵分支特征相同的形状，接着将查询矩阵的特征与关键词矩阵的特征相乘，获得基于全局的注意力和基于最大池化、平均池化的注意力，展平后再与值矩阵(Value矩阵)进行相加，获得融合后特征。
将融合后特征输入分类模块，输出每种分类的概率，就可以获得甲状腺结节的类别。
考虑到不同超声图像之间可能相差较大，并且不同医生标注操作的差异较大，可能会对最终预测造成影响。因此，如图7所示，在对特征进行分类时，本实施例没有采用传统的分类预测方式，还构建了概率分类模块(Probabilistic Classification Module:PCM)，将多个数据的预测概率进行平均，使得获得的分类结果更加准确。即首先分别对同一病例的不同的超声图像样本进行预测，得到多个预测结果，然后再将其进行概率平均。
参考图1，本实施例对甲状腺结节进行二分类的具体过程为：将预处理后的超声图像输入切片模块，将图像分割为若干个4×4的区块，输入多分支空洞卷积模块提取全局信息，通过线性嵌入层对每个像素的通道数据做线性变换。通过Dswin块进行特征交互，构建三个不同大小的特征图，并在阶段2-4中通过切片层进行了二次采样，再通过线性嵌入层对每个像素的通道数据做线性变换。最后将获得的结果输入多分支局部注意力模块，对局部特征以及全局特征进行重组和融合，提取到甲状腺结节图像的特征，输入概率分类模块，获得甲状腺图像的分类结果。
综上所述，本实施例的甲状腺结节分类系统以Swin Transformer(简称为Swin-T)为主干，增加了多分支空洞卷积模块，在保持参数量不变的情况下，捕获更多的上下文信息，并修改了Transformer模块的数量和连接模式，从而可以多次交换特定区域的相关信息。最后再使用一个多分支非局部自注意力融合模块，可以再次有效地融合全局特征以及局部特征。能够充分地提取特征信息，获得准确的分类结果。
示例性方法
如图8所示，本发明实施例还提供一种甲状腺结节分类方法，具体的，上述分类方法包括如下步骤：
步骤S100：对甲状腺超声图像进行预处理，获得目标图像；
步骤S200：在多个分支上采用空洞卷积对所述目标图像进行特征提取，获得特征图；
步骤S300：采用若干双密集Transformer块对特征图进行特征交互，获得交互后特征，上述双密集Transformer块包括交替设置的若干第一Transformer模型、第二Transformer模型，第一Transformer模型采用基于窗口的多头自注意力机制，第二Transformer模型采用基于移位窗口的多头自注意力机制，双密集Transformer块中的Transformer模型之间的连接为密集连接；
步骤S400：对交互后特征进行基于自注意力的融合操作，获得融合后特征；
步骤S500：对融合后特征进行分类，获得甲状腺结节所属类别的概率并输出。
可选的，还对密集Transformer块输出的特征进行压缩和激励操作，压缩和激励操作包括：将密集Transformer块输出的特征进行采用残差连接的逐点卷积，获得卷积特征；将卷积特征分别进行平均池化和最大池化；将平均池化输出的特征和最大池化输出的特征进行融合，获得压缩和激励后特征。
本实施例中，上述甲状腺结节分类方法可以参照上述甲状腺结节分类系统中的对应描述，在此不再赘述。
本实施例的甲状腺结节分类方法通过使用密集连接的双密集Transformer块，可以充分利用全局特征和局部特征，并充分利用每一层来获得更好的分类结果；通过采用不同扩展率的多分支空洞卷积能够捕获更多的上下文信息；通过对交互后的特征进行基于自注意力的融合操作，分别得到基于全局的注意力和基于最大池化以及平均池化的注意力，然后进行重组和融合，特征信息提取充分，分类效果好。
在甲状腺结节分类方法使用之前，需要先进行模型训练。虽然随着医疗技术的发展和数字化的进程，越来越多的医疗数据被生成并积累，包括医学图像、病历记录、基因数据等等，这些数据包含了非常宝贵的医学信息。然而由于涉及隐私和数据安全等问题，这些数据无法直接共享和交换。
本实施例根据联邦学习方法对模型进行训练，包括若干客户端和一个聚合服务器，本地客户端包括个性化模型和本地模型，个性化模型上设有基本层和个性化层。首先聚合服务器给每个客户端分配一个初始参数值，客户端根据甲状腺超声图像样本进行本地模型的训练，然后客户端将本地模型的参数上传聚合服务器进行聚合。第一轮聚合后能得到一个新的模型参数，第一轮之后客户端的本地模型就不参与更新，只有个性化模型进行模型覆盖。个性化模型训练时，客户端的图像样本首先经过基本层，然后再经过个性化层，最后得到输出，训练完毕后只将基本层的参数传回聚合服务器进行聚合。聚合服务器获得新的模型参数，将新的模型参数传输至客户端后更新个性化模型中基本层的模型参数。
在模型训练过程中，采用了Wasserstein距离(最优传输距离，用来度量两个概率分布之间的差异)来度量本地模型与个性化层模型的概率分布之间的距离，让两个模型之间可以进行信息交互。Wasserstein距离公式如下：
Figure BDA0004147567920000121
由上所述，数据只是在本地客户端进行训练并不需要上传到聚合服务器，不需要收集到用户的隐私数据，保障了每个客户端的隐私。每个客户端所包含的数据还含有包含各个地区特征的病人数据，以及含有各个地区特征的个性化模型，可以在保护病人隐私以及本地特色模型的同时，将多个地区客户端上传的模型参数进行聚合，得到一个可以适用于全国的聚合模型，相较于传统的模型训练，可以利用不同地区医院的数据来训练一个更普适的模型，从而提高模型的预测准确性和可靠性。
本实施例训练时，使用的数据来自不同地区的17家医院，其中包含1395例甲状腺结节患者的超声图像。每个病人都有横向和纵向图像。通过预处理来增强数据，最终总共有45439张图像。训练时使用了5折交叉验证，选择AdamW作为优化器，学习率设置为0.05，训练的epoch设置为70，计算交叉熵损失。本实施例与现有各种模型在各种分类指标之间的比对如下表：
Figure BDA0004147567920000122
Figure BDA0004147567920000131
从上表可以看出，本实施例在Acc(Accuracy：准确率)、Sen(Sensitivity：灵敏度)、Spe(Specificity：特异度)、Prec(Precision：精确率)、F1(F1-score)、Bac(BalancedAccuracy：平衡准确率)以及Auc(Area under the Curve：ROC曲线下方的面积大小)等指标上都有所提高。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图9所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和甲状腺结节分类程序。该内存储器为非易失性存储介质中的操作系统和甲状腺结节分类程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该甲状腺结节分类程序被处理器执行时实现上述任意一种甲状腺结节分类方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图9中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有甲状腺结节分类程序，上述甲状腺结节分类程序被处理器执行时实现本发明实施例提供的任意一种甲状腺结节分类方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.甲状腺结节分类系统，其特征在于，所述系统包括：
预处理模块，用于对甲状腺超声图像进行预处理，获得目标图像；
多分支空洞卷积模块，用于从多尺度和多方向提取所述目标图像的特征，所述多分支空洞卷积模块的每个分支均设有空洞卷积，所有空洞卷积的扩张率互不相同；
特征交互模块，用于对所述多分支空洞卷积模块提取的特征进行特征交互，包括若干双密集Transformer块，所述双密集Transformer块包括交替设置的若干第一Transformer模型、第二Transformer模型，所述第一Transformer模型采用基于窗口的多头自注意力机制，所述第二Transformer模型采用基于移位窗口的多头自注意力机制，所述双密集Transformer块中的Transformer模型之间的连接为密集连接；
多分支非局部自注意力融合模块，用于对所述特征交互模块交互后的特征进行增强，包括查询矩阵分支、关键词矩阵分支和值矩阵分支，还设有融合单元，用于将查询矩阵分支的特征与所述关键词矩阵分支的特征相乘后与所述值矩阵分支的特征相加，获得融合后特征；
分类模块，用于对融合后特征进行分类，获得甲状腺结节的类别。
2.如权利要求1所述的甲状腺结节分类系统，其特征在于，所述查询矩阵分支和所述值矩阵分支上设有逐点卷积，所述关键词矩阵分支上设有平均池化分支和最大池化分支，所述平均池化分支上和所述最大池化分支上均设有不同尺度的池化层。
3.如权利要求1所述的甲状腺结节分类系统，其特征在于，所述特征交互模块还包括位置压缩和激励模块，所述位置压缩和激励模块用于对所述双密集Transformer块输出的特征进行压缩和激励操作。
4.如权利要求3所述的甲状腺结节分类系统，其特征在于，所述位置压缩和激励模块包括采用残差连接的逐点卷积模块、并行的平均池化分支和最大池化分支，所述逐点卷积模块用于对根据所述双密集Transformer块输出的特征获得的查询矩阵、关键词矩阵、值矩阵进行卷积；所述平均池化分支和最大池化分支用于对所述逐点卷积模块输出的特征进行池化操作，所述平均池化分支和最大池化分支上均设有全连接网络。
5.如权利要求1所述的甲状腺结节分类系统，其特征在于，还包括概率分类模块，用于对同一甲状腺结节的不同超声图像获得的分类结果进行概率平均，获得概率平均后的甲状腺结节分类结果。
6.甲状腺结节分类方法，其特征在于，包括：
对甲状腺超声图像进行预处理，获得目标图像；
在多个分支上采用空洞卷积对所述目标图像进行特征提取，获得特征图；
采用若干双密集Transformer块对所述特征图进行特征交互，获得交互后特征，所述双密集Transformer块包括交替设置的若干第一Transformer模型、第二Transformer模型，所述第一Transformer模型采用基于窗口的多头自注意力机制，所述第二Transformer模型采用基于移位窗口的多头自注意力机制，所述双密集Transformer块中的Transformer模型之间的连接为密集连接；
对所述交互后特征进行基于自注意力的融合操作，获得融合后特征；
对所述融合后特征进行分类，获得甲状腺结节所属类别的概率并输出。
7.如权利要求6所述的甲状腺结节分类方法，其特征在于，基于联邦学习方法进行模型训练，设有若干客户端和一个服务端，所述客户端上部署有个性化模型和本地模型，所述个性化模型上设有基本层和个性化层，训练步骤包括：
将甲状腺超声图像样本输入所述本地模型和所述个性化模型，根据所述本地模型、所述个性化模型的概率分布之间的差异进行模型优化；
将所述基本层的模型参数上传至所述服务端进行聚合，从所述服务端获取聚合后的模型参数并更新所述基本层的模型参数。
8.如权利要求6所述的甲状腺结节分类方法，其特征在于，还对所述双密集Transformer块输出的特征进行压缩和激励操作，压缩和激励操作包括：
将所述双密集Transformer块输出的特征进行采用残差连接的逐点卷积，获得卷积特征；
将所述卷积特征分别进行平均池化和最大池化；
将平均池化输出的特征和最大池化输出的特征进行融合，获得压缩和激励后特征。
9.智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的甲状腺结节分类程序，所述甲状腺结节分类程序被所述处理器执行时实现如权利要求6-8任意一项所述甲状腺结节分类方法的步骤。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有甲状腺结节分类程序，所述甲状腺结节分类程序被处理器执行时实现如权利要求6-8任意一项所述甲状腺结节分类方法的步骤。
CN202310308191.7A 2023-03-27 2023-03-27 甲状腺结节分类方法、系统、智能终端及存储介质 Pending CN116433970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310308191.7A CN116433970A (zh) 2023-03-27 2023-03-27 甲状腺结节分类方法、系统、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310308191.7A CN116433970A (zh) 2023-03-27 2023-03-27 甲状腺结节分类方法、系统、智能终端及存储介质

Publications (1)

Publication Number Publication Date
CN116433970A true CN116433970A (zh) 2023-07-14

Family

ID=87082584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310308191.7A Pending CN116433970A (zh) 2023-03-27 2023-03-27 甲状腺结节分类方法、系统、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN116433970A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036788A (zh) * 2023-07-21 2023-11-10 阿里巴巴达摩院(杭州)科技有限公司 图像分类方法、训练图像分类模型的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036788A (zh) * 2023-07-21 2023-11-10 阿里巴巴达摩院(杭州)科技有限公司 图像分类方法、训练图像分类模型的方法及装置
CN117036788B (zh) * 2023-07-21 2024-04-02 阿里巴巴达摩院(杭州)科技有限公司 图像分类方法、训练图像分类模型的方法及装置

Similar Documents

Publication Publication Date Title
CN110807788B (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN113781397B (zh) 基于联邦学习的医疗影像病灶检测建模方法、装置及系统
CN111932529B (zh) 一种图像分类分割方法、装置及系统
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
US20240005211A1 (en) Data processing method and apparatus
CN111226258A (zh) 信号转换系统和信号转换方法
CN115440346B (zh) 基于半监督学习的痤疮分级方法、系统、设备及存储介质
CN111028940B (zh) 肺结节多尺度检测方法、装置、设备及介质
CN116433970A (zh) 甲状腺结节分类方法、系统、智能终端及存储介质
CN113781488A (zh) 舌象图像的分割方法、装置及介质
CN116797554A (zh) 图像处理方法以及装置
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN111275103A (zh) 多视角信息协作的肾脏良恶性肿瘤分类方法
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN114093507A (zh) 边缘计算网络中基于对比学习的皮肤病智能分类方法
CN116721772B (zh) 肿瘤治疗预后预测方法、装置、电子设备及存储介质
WO2023207531A1 (zh) 一种图像处理方法及相关设备
CN111755131A (zh) 一种基于注意力引导的covid-19早筛和严重程度评估方法和系统
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
CN114649092A (zh) 基于半监督学习和多尺度特征融合的辅助诊断方法及装置
WO2021114626A1 (zh) 一种病历数据的质量检测方法和相关装置
CN117256033A (zh) 用于学习判断乳腺癌病变区域的人工神经网络的学习方法及执行其的计算系统
CN110570417B (zh) 肺结节分类装置及图像处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination