CN116739992B - 一种甲状腺被膜侵犯智能辅助判读方法 - Google Patents
一种甲状腺被膜侵犯智能辅助判读方法 Download PDFInfo
- Publication number
- CN116739992B CN116739992B CN202310554269.3A CN202310554269A CN116739992B CN 116739992 B CN116739992 B CN 116739992B CN 202310554269 A CN202310554269 A CN 202310554269A CN 116739992 B CN116739992 B CN 116739992B
- Authority
- CN
- China
- Prior art keywords
- features
- thyroid
- transducer
- encoder
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 210000001685 thyroid gland Anatomy 0.000 title claims abstract description 28
- 230000009545 invasion Effects 0.000 title claims abstract description 26
- 239000002775 capsule Substances 0.000 title claims abstract description 14
- 208000024770 Thyroid neoplasm Diseases 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 208000009453 Thyroid Nodule Diseases 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004393 prognosis Methods 0.000 abstract description 7
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000011160 research Methods 0.000 abstract description 5
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 230000008092 positive effect Effects 0.000 abstract description 3
- 201000002510 thyroid cancer Diseases 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000004231 tunica media Anatomy 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 201000010198 papillary carcinoma Diseases 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 201000009030 Carcinoma Diseases 0.000 description 1
- 208000007054 Medullary Carcinoma Diseases 0.000 description 1
- 208000024799 Thyroid disease Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 208000013409 limited attention Diseases 0.000 description 1
- 208000023356 medullary thyroid gland carcinoma Diseases 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000004797 therapeutic response Effects 0.000 description 1
- 208000030901 thyroid gland follicular carcinoma Diseases 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 208000010576 undifferentiated carcinoma Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种甲状腺被膜侵犯智能辅助判读方法。该方法主要采用本研究自行提出的一种提供高效的局部‑全局融合与Transformer和CNN并行网络的生物医学图像分割方法。本研究提出的模型使用方便，输入一张甲状腺超声图片，即可输出一张有着疑似甲状腺结节的定位和分割图片，自动化的得到甲状腺结节初步判读结果，能够大大的减轻医生的阅片时间和诊断难度，提升医生的工作效率，为判断甲状腺结节患者的预后及治疗手段的改善提到积极的作用，具有非常重要的意义和广阔的前景。
Description
技术领域
本发明涉及一种甲状腺被膜侵犯智能辅助判读方法。
背景技术
甲状腺癌是一种较为常见的恶性肿瘤，通常发生在人体颈部的甲状腺中。其全球范围内的发病率呈现增长趋势，尤其在女性和年轻群体中的患病率更高。据统计，全球每年确诊甲状腺癌约有300,000例。甲状腺癌可分为四种类型，包括乳头状癌、滤泡状癌、未分化癌和髓样癌，其中乳头状癌是最常见的类型。目前，甲状腺癌的诊断主要依赖于影像学检查和细胞学检查，包括超声、CT、MRI等影像学检查，以及细针穿刺活检和甲状腺切片检查。
甲状腺癌的被膜侵犯是其恶性程度的重要指标之一，对患者的治疗和预后具有重要的临床意义。目前，对于甲状腺癌被膜侵犯的研究主要集中在医学影像分析和机器学习技术方面。在医学影像分析方面，常用的方法包括CT、MRI、超声等成像技术，通过对图像特征的提取和分析来判断甲状腺癌的被膜侵犯情况。在机器学习技术方面，随着深度学习技术的发展，基于神经网络的方法在甲状腺癌被膜侵犯分割领域也得到了广泛应用。
在机器学习的应用过程中，精确的生物医学图像分割是优秀的计算机辅助诊断（CAD）系统的先决条件。一系列的研究表明，卷积神经网络（CNNs）在分割任务方面取得了令人印象深刻的进展。然而，基于CNN的算法由于接受域有限，过于关注局部区域特征，而不是全局背景。虽然Transform架构可以通过自注意机制来编码全局依赖信息，但这种机制通常会忽略每个分割块中的局部像素级结构信息。因此，如何有效地将CNN架构与Transformer架构集成，还需要一个更好的解决方案。因此，本发明提出了采用一种提供高效的局部-全局融合与Transform和CNN并行网络的生物医学图像分割方法来进行甲状腺被膜侵犯智能辅助判读。
发明内容
本发明的目的在于克服现有需要专业人员用肉眼去寻找甲状腺超声图片中结节位置并判断是否发生被膜侵犯，耗时耗力的问题，因此提供一种甲状腺被膜侵犯智能辅助判读方法，该方法主要采用本研究自行提出的一种提供高效的局部-全局融合与Transformer和CNN并行网络的生物医学图像分割方法。本研究提出的模型使用方便，输入一张甲状腺超声图片，即可输出一张有着疑似甲状腺结节的定位和分割图片，自动化的得到甲状腺结节初步判读结果，能够大大的减轻医生的阅片时间和诊断难度，提升医生的工作效率，为判断甲状腺结节患者的预后及治疗手段的改善提到积极的作用，具有非常重要的意义和广阔的前景。
为实现上述目的，本发明的技术方案是：一种甲状腺被膜侵犯智能辅助判读方法，将划分好的训练集分别输入Transformer编码器和EfficietNet编码器中，得到的部分中间特征和最终编码特征分别通过CSE模块进行特征融合，且最终编码特征通过CSE模块进行特征融合的输出导入一个残差结构中进行上下文语义特征提取，各级特征以残差形式输入解码器中，得到最终解码输出；同时，上下文语义提取后可通过一个全局平均池化和一个全连接层得到一个初步判别结果。
在本发明一实施例中，所述Transformer编码器为基于Swin Transformer的编码器，其采用多个Swin Transformer的编码器。
在本发明一实施例中，所述EfficietNet编码器为基于EfficientNe-b7的编码器。
在本发明一实施例中，所述CSE模块用于实现特征融合，其具体实现如下：
首先，对Transformer编码器和EfficietNet编码器两个编码分支中提取出来的特征进行平均池化处理，并通过多层感知机处理后进行通道拼接；接着，将拼接后的特征矩阵与Transformer编码器的编码输出做点乘处理得到浅层融合特征；对EfficietNet编码器提取出的特征进行最大池化和平均池化处理后进行卷积和sigmoid平滑处理后得到的特征和浅层融合特征进行通道拼接得到深层融合特征；最后，对深层融合特征进行残差处理得到最终交互特征。
在本发明一实施例中，所述上下文语义提取通过上下文语义特征提取模块实现，该模块由多个含有不同数量空洞卷积块的分支组成，其中，每个分支中的多个空洞卷积块具有不同的膨胀率，使得该模块能够提取不同层次的上下文语义信息。
相较于现有技术，本发明具有以下有益效果：本发明一种甲状腺被膜侵犯智能辅助判读方法。该方法结合了甲状腺区域分割的算法，采用全局-局部信息交互的设计思路，旨在有效辅助医生对超声片进行诊断以及对预后计划和分析。该方法已经在相关数据集上进行了测试，证明了其在现有的甲状腺结节被膜侵犯的分割效果中具有极其强大的效果。由于分割的高准确率能够为医生进行病情诊断和干预治疗提供有效的指导，因此本发明具有重要的实际应用价值。此外，本发明提出的对有效信息多种合理利用的思路为后续研究奠定了理论基础。
用途：
被膜侵犯的判读对于甲状腺病症的判断至关重要。为了能够减轻医生在甲状腺结节被膜侵犯的判读过程中所花费的大量精力和时间，本发明提出了一种基于多种信息交互的甲状腺被膜侵犯智能辅助判读方法。该方法通过对甲状腺区域分割的算法和全局-局部信息交互的设计思路相结合，有效地辅助医生对超声片的诊断以及对预后的计划和分析。实验结果表明，该方法在现有的甲状腺结节被膜侵犯的分割效果中具有极其强大的效果。其高准确率的分割结果能够为医生进行病情诊断和干预治疗提供有效的指导，特别是对于医生资源匮乏的地方医院，该方法可以加速医生判读速度，快速找到被膜侵犯区域，大大缩短医生在甲状腺超声图像上判断是否发生被膜侵犯的时间和精力。同时，本发明对有效信息进行多种合理利用的思路也为后续相关医学工作奠定了理论基础。此外，该方法在甲状腺癌的诊断、对靶向药物治疗反应的预后以及对超声科和肿瘤科医生的培训等领域具有广泛的应用价值。
附图说明
图1为本发明方法流程架构图。
图2为本发明方案可视化框架。
图3为全局-局部信息交互部分。
图4为上下文语义残差语义提取部分。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
在现有的临床应用中，需要专业人员用肉眼去寻找甲状腺超声图片中结节位置并判断是否发生被膜侵犯，这个过程耗时耗力。因此，本发明首次提出一种甲状腺被膜侵犯的辅助判读方法来辅助医生进行判读，该方法主要采用本研究自行提出的一种提供高效的局部-全局融合与Transformer和CNN并行网络的生物医学图像分割方法。本发明提出的模型使用方便，输入一张甲状腺超声图片，即可输出一张有着疑似甲状腺结节的定位和分割图片，自动化的得到甲状腺结节初步判读结果，能够大大的减轻医生的阅片时间和诊断难度，提升医生的工作效率，为判断甲状腺结节患者的预后及治疗手段的改善提到积极的作用，具有非常重要的意义和广阔的前景。流程架构如图1所示。
为了实现上述目的，本发明分为以下几个部分：我们先将划分好的训练集分别输入Transformer和EfficietNet网络中，将其得到的部分中间特征和最终编码特征分别通过CSE模块进行特征融合。需要注意的是，最终特征输出需要将其导入一个残差结构中进行上下文语义特征提取。最后将得到的三种不同特征以残差形式输入解码器中，得到最终解码输出。同时，上下文语义提取模块后可通过一个全局平均池化和一个全连接层得到一个初步判别结果。可视化框架如图2所示。
1、基于Swin Transformer的部分编码器结构
由于传统的卷积神经网络（CNN）模型只能在局部信息上进行卷积和池化操作，其难以充分捕捉输入序列中的长程依赖关系。而Transformers模型采用的全局自注意力机制可以在整个输入序列上进行全局信息交互，因此更能有效捕捉序列中的长程依赖关系。此外，Transformers模型中的自注意力机制可以自适应地关注不同位置的信息，因此对于输入数据的噪声、缺失等情况具有一定的鲁棒性。因此，为了有效利用模型的全局信息并降低模型对噪声的敏感度，本研究的两个编码器之一采用多个Swin Transformer模型。
2、基于EfficientNe-b7的部分编码器结构
如前所述，Transformers模型能够有效提取图片的全局信息，但对于局部信息的关注则有限。在本研究中，我们提出了一种新的编码器结构，旨在通过全局信息和局部信息的交互实现对有效信息的最大化利用。我们选择了CNN架构作为另一个编码器。在我们的调研和实验中，发现EfficientNet采用了一种自动化网络架构设计算法，该算法基于网络深度、宽度和分辨率等超参数，能够自动调整网络架构，以达到最优的性能。因此，我们采用EfficientNet系列的卷积网络作为我们的另一个主干。
在EfficientNet的八个常见版本中，本研究特别注意到EfficientNet-b7采用了一种深度和宽度均衡的策略，具有更好的泛化能力，可以在不同的数据集上表现出色，因此具有更好的适应性。由于医学样本大多存在样本分布不均衡的问题，因此泛化性的提高对模型的性能也有着举足轻重的作用。综上所述，我们选择EfficientNet-b7作为我们的另一个编码器结构。
3、全局-局部信息交互部分
本研究旨在解决如何将Swin Transformer和EfficientNet-b7所提取的全局信息和语义信息进行有效利用的问题。针对该问题，本研究提出了一个新的模块CSE，用于实现特征交互。具体实现过程如下：首先，对Swin Transformer和EfficientNet-b7两个编码分支中提取出来的特征进行平均池化处理，并通过多层感知机处理后进行通道拼接。接着，将拼接后的特征矩阵与Swin Transformer的编码输出做点乘处理得到浅层融合特征。对EfficientNet-b7提取出的特征进行最大池化和平均池化处理后进行卷积和sigmoid平滑处理。再将得到的特征和提取出的浅层融合特征进行通道拼接得到深层融合特征。最后，本研究对深层融合特征进行残差处理得到Swin Transformer和EfficientNet-b7的最终交互特征。该过程如图3所示。通过CSE模块的特征交互，能够更加充分地利用Swin Transformer和EfficientNet-b7所提取的信息，从而获得更优秀的特征表示。
4、上下文语义残差语义提取部分
在深度学习领域中，空洞卷积（dilated convolution）能够在增加感受野大小的同时不会增加模型参数数量。这种特殊的卷积操作可以更好地捕捉图像中的细节信息和全局上下文信息，从而能够提高模型的精度和泛化能力。因此，在本研究中，我们基于空洞卷积的优势，结合残差结构的设计原理，提出了一个新的上下文语义特征提取模块。该模块由多个含有不同数量空洞卷积块的分支组成，其中，每个分支中的多个空洞卷积块具有不同的膨胀率，这种设计方式使得该模块能够提取不同层次的上下文语义信息，从而极大地提高样本信息的利用率。具体的设计方案如图4所示。
本发明方法使用过程或方式如下：
（1）通过医院超声科的专业超声成像设备，得到甲状腺超声图像。整合患者信息，构建甲状腺超声图像数据库。
（2）对获得的甲状腺超声图像进行图像预处理，对图像进行归一化、几何变换、图像增强，增强有关信息的可检测性。
（3）基于由Swin Transformer和EfficientnNet-B7作为编码器的提取疑似甲状腺结节区域部分的特征。
（4）将提取出的全局特征和局部特征进行特征交互，实现模型更好的性能。
（5）在最底层的交互模块后添加上下文语义提取模块来进一步提取图片中的高级语义信息。
（6）将最终得到的各级特征逐层输入解码器中进行特征整合得到最终预测输出，同时，将最底层的信息经过全局平均池化和全卷积层得到初步辅助判别结论用于辅助识别。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (4)
1.一种甲状腺被膜侵犯智能辅助判读方法，其特征在于，将划分好的训练集分别输入Transformer编码器和EfficietNet编码器中，得到的部分中间特征和最终编码特征分别通过CSE模块进行特征融合，且最终编码特征通过CSE模块进行特征融合的输出导入一个残差结构中进行上下文语义特征提取，各级特征以残差形式输入解码器中，得到最终解码输出；同时，上下文语义提取后可通过一个全局平均池化和一个全连接层得到一个初步判别结果，所述训练集为输入的甲状腺超声图片集合，所述初步判别结果为疑似甲状腺结节定位和分割的图片；
所述CSE模块用于实现特征融合，其具体实现如下：
首先，对Transformer编码器和EfficietNet编码器两个编码分支中提取出来的特征进行平均池化处理，并通过多层感知机处理后进行通道拼接；接着，将拼接后的特征矩阵与Transformer编码器的编码输出做点乘处理得到浅层融合特征；对EfficietNet编码器提取出的特征进行最大池化和平均池化处理后进行卷积和sigmoid平滑处理后得到的特征和浅层融合特征进行通道拼接得到深层融合特征；最后，对深层融合特征进行残差处理得到最终交互特征。
2.根据权利要求1所述的一种甲状腺被膜侵犯智能辅助判读方法，其特征在于，所述Transformer编码器为基于Swin Transformer的编码器，其采用多个Swin Transformer的编码器。
3.根据权利要求1所述的一种甲状腺被膜侵犯智能辅助判读方法，其特征在于，所述EfficietNet编码器为基于EfficientNe-b7的编码器。
4.根据权利要求1所述的一种甲状腺被膜侵犯智能辅助判读方法，其特征在于，所述上下文语义提取通过上下文语义特征提取模块实现，该模块由多个含有不同数量空洞卷积块的分支组成，其中，每个分支中的多个空洞卷积块具有不同的膨胀率，使得该模块能够提取不同层次的上下文语义信息。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310554269.3A CN116739992B (zh) | 2023-05-17 | 2023-05-17 | 一种甲状腺被膜侵犯智能辅助判读方法 |
| ZA2023/06466A ZA202306466B (en) | 2023-05-17 | 2023-06-22 | A method for intelligent assisted interpretation of thyroid capsule invasion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310554269.3A CN116739992B (zh) | 2023-05-17 | 2023-05-17 | 一种甲状腺被膜侵犯智能辅助判读方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116739992A CN116739992A (zh) | 2023-09-12 |
| CN116739992B true CN116739992B (zh) | 2023-12-22 |
Family
ID=87902045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310554269.3A Active CN116739992B (zh) | 2023-05-17 | 2023-05-17 | 一种甲状腺被膜侵犯智能辅助判读方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116739992B (zh) |
| ZA (1) | ZA202306466B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218127B (zh) * | 2023-11-09 | 2024-01-26 | 吉林大学 | 超声内镜辅助监测系统及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2609214A1 (en) * | 2005-05-20 | 2006-11-30 | Veridex, Llc | Thyroid fine needle aspiration molecular assay |
| CN112529894A (zh) * | 2020-12-22 | 2021-03-19 | 徐州医科大学 | 一种基于深度学习网络的甲状腺结节的诊断方法 |
| CN113679426A (zh) * | 2021-09-14 | 2021-11-23 | 上海市第六人民医院 | 超声图处理系统 |
| CN114283080A (zh) * | 2021-12-15 | 2022-04-05 | 复旦大学 | 一种多模态特征融合的文本指导图像压缩噪声去除方法 |
| CN114494701A (zh) * | 2022-02-14 | 2022-05-13 | 浙江大学 | 一种基于图结构神经网络的语义分割方法及装置 |
| CN114782440A (zh) * | 2022-06-21 | 2022-07-22 | 杭州三坛医疗科技有限公司 | 医学图像分割方法及电子设备 |
| CN114998296A (zh) * | 2022-06-24 | 2022-09-02 | 常州大学 | 一种基于改进Unet网络的甲状腺结节分割方法 |
| CN115482241A (zh) * | 2022-10-21 | 2022-12-16 | 上海师范大学 | 一种跨模态双分支互补融合的图像分割方法及装置 |
| CN115965633A (zh) * | 2023-01-19 | 2023-04-14 | 重庆理工大学 | 一种结合Transformer和U-Net的医学图像肝脏分割方法及系统 |
| CN116051905A (zh) * | 2023-02-16 | 2023-05-02 | 武汉大学 | 基于超声和红外多模态图像的甲状腺结节图像分类方法 |
| CN116051945A (zh) * | 2023-01-13 | 2023-05-02 | 常州大学 | 一种基于CNN-Transformer并行融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11830187B2 (en) * | 2021-05-26 | 2023-11-28 | International Business Machines Corporation | Automatic condition diagnosis using a segmentation-guided framework |
-
2023
- 2023-05-17 CN CN202310554269.3A patent/CN116739992B/zh active Active
- 2023-06-22 ZA ZA2023/06466A patent/ZA202306466B/en unknown
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2609214A1 (en) * | 2005-05-20 | 2006-11-30 | Veridex, Llc | Thyroid fine needle aspiration molecular assay |
| CN112529894A (zh) * | 2020-12-22 | 2021-03-19 | 徐州医科大学 | 一种基于深度学习网络的甲状腺结节的诊断方法 |
| CN113679426A (zh) * | 2021-09-14 | 2021-11-23 | 上海市第六人民医院 | 超声图处理系统 |
| CN114283080A (zh) * | 2021-12-15 | 2022-04-05 | 复旦大学 | 一种多模态特征融合的文本指导图像压缩噪声去除方法 |
| CN114494701A (zh) * | 2022-02-14 | 2022-05-13 | 浙江大学 | 一种基于图结构神经网络的语义分割方法及装置 |
| CN114782440A (zh) * | 2022-06-21 | 2022-07-22 | 杭州三坛医疗科技有限公司 | 医学图像分割方法及电子设备 |
| CN114998296A (zh) * | 2022-06-24 | 2022-09-02 | 常州大学 | 一种基于改进Unet网络的甲状腺结节分割方法 |
| CN115482241A (zh) * | 2022-10-21 | 2022-12-16 | 上海师范大学 | 一种跨模态双分支互补融合的图像分割方法及装置 |
| CN116051945A (zh) * | 2023-01-13 | 2023-05-02 | 常州大学 | 一种基于CNN-Transformer并行融合方法 |
| CN115965633A (zh) * | 2023-01-19 | 2023-04-14 | 重庆理工大学 | 一种结合Transformer和U-Net的医学图像肝脏分割方法及系统 |
| CN116051905A (zh) * | 2023-02-16 | 2023-05-02 | 武汉大学 | 基于超声和红外多模态图像的甲状腺结节图像分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| Combining EfficientNet and Vision Transformers for Video Deepfake Detection;Davide Coccomini;<arXiv>;全文 * |
| 基于 Swin Transformer 的嵌入式零样本学习算法;郜佳琪;《小型微型计算机系统》;全文 * |
| 基于超声影像的甲状腺结节智能分割算法;曹玉珍;《天津大学学报（自然科学与工程技术版）》;第55卷(第7期);第2-4页的1-2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116739992A (zh) | 2023-09-12 |
| ZA202306466B (en) | 2024-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qi et al. | Automated diagnosis of breast ultrasonography images using deep neural networks | |
| Chen et al. | Transattunet: Multi-level attention-guided u-net with transformer for medical image segmentation | |
| Avola et al. | Multimodal feature fusion and knowledge-driven learning via experts consult for thyroid nodule classification | |
| Cong et al. | BCS-Net: Boundary, context, and semantic for automatic COVID-19 lung infection segmentation from CT images | |
| CN116739992B (zh) | 一种甲状腺被膜侵犯智能辅助判读方法 | |
| Zhang et al. | CU-Net: a U-Net architecture for efficient brain-tumor segmentation on BraTS 2019 dataset | |
| Tian et al. | Intelligent Medical Detection and Diagnosis Assisted by Deep Learning | |
| CN116596890A (zh) | 基于图卷积网络的动态图像甲状腺癌危险分层预测方法 | |
| CN118314394A (zh) | 一种基于多视图的直肠癌手术难度评估方法 | |
| Dou et al. | Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography | |
| Ji et al. | ResDSda_U-Net: A novel U-Net based residual network for segmentation of pulmonary nodules in lung CT images | |
| Khalifa et al. | Deep learning for image segmentation: a focus on medical imaging | |
| Kalaiselvi et al. | Liver Tumor Prediction with Advanced Attention Mechanisms Integrated into a Depth-Based Variant Search Algorithm | |
| CN113469962B (zh) | 一种面向癌症病变检测的特征提取和图文融合方法及系统 | |
| Su et al. | Roi-bmc-dnnet: An efficient automatic analysis model of whole-slide scanned bone marrow aspirate images for the diagnosis of hematological disorders | |
| Atiyah et al. | Segmentation of human brain gliomas tumour images using u-net architecture with transfer learning | |
| Ajilisa et al. | Segmentation of thyroid nodules from ultrasound images using convolutional neural network architectures | |
| CN116092643A (zh) | 一种基于医疗影像的交互式半自动标注方法 | |
| Hu et al. | Slimmable transformer with hybrid axial-attention for medical image segmentation | |
| Wang et al. | Deep-learning-based sampling position selection on color Doppler sonography images during renal artery ultrasound scanning | |
| Shyni et al. | PulmonU-Net: a semantic lung disease segmentation model leveraging the benefit of multiscale feature concatenation and leaky ReLU | |
| Li et al. | SG-MIAN: Self-guided multiple information aggregation network for image-level weakly supervised skin lesion segmentation | |
| Cao et al. | Automatic lung segmentation algorithm on chest X-ray images based on fusion variational auto-encoder and three-terminal attention mechanism. Symmetry 2021; 13 (5): 814 | |
| CN113658151B (zh) | 一种乳腺病变磁共振图像分类方法、设备及可读存储介质 | |
| CN117636099B (zh) | 一种医学图像和医学报告配对训练模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |