CN116542988A - 结节分割方法、装置、电子设备及存储介质 - Google Patents

结节分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116542988A
CN116542988A CN202310435294.XA CN202310435294A CN116542988A CN 116542988 A CN116542988 A CN 116542988A CN 202310435294 A CN202310435294 A CN 202310435294A CN 116542988 A CN116542988 A CN 116542988A
Authority
CN
China
Prior art keywords
thyroid
feature
nodule
segmentation
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310435294.XA
Other languages
English (en)
Inventor
王金桥
邓兰青
王雨禾
沈圣智
郭子江
赵朝阳
朱贵波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Jiechuang Intelligent Technology Co ltd
Nexwise Intelligence China Ltd
Original Assignee
Guangdong Jiechuang Intelligent Technology Co ltd
Nexwise Intelligence China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Jiechuang Intelligent Technology Co ltd, Nexwise Intelligence China Ltd filed Critical Guangdong Jiechuang Intelligent Technology Co ltd
Priority to CN202310435294.XA priority Critical patent/CN116542988A/zh
Publication of CN116542988A publication Critical patent/CN116542988A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像数据处理技术领域，提供一种结节分割方法、装置、电子设备及存储介质，所述方法包括：获取甲状腺超声图像；将所述甲状腺超声图像输入至目标结节分割模型，得到所述目标结节分割模型输出的甲状腺结节分割图像。本申请通过大量易得的具有分类标注的甲状腺超声样本图像，对预先构建的分类模型进行训练得到结节分类模型；进一步通过小样本的具有分割标注的甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练，由此通过小样本的具有分割标注的甲状腺超声样本图像，即可以得到具有较高精度的结节分割模型。因此，可以提高通过小样本的甲状腺结节分割数据集进行训练得到的结节分割模型的结节分割准确度。

Description

结节分割方法、装置、电子设备及存储介质
技术领域
本申请涉及图像数据处理技术领域，具体涉及一种结节分割方法、装置、电子设备及存储介质。
背景技术
当前，深度学习的有效训练依赖于完备数据集，但医疗影像数据具有特殊性，如涉及患者隐私、人工标注要求具备丰富的医学知识等，这导致公开、完备的甲状腺结节分割数据集较少，因此，导致当前通过小样本的甲状腺结节分割数据集进行训练得到的结节分割模型的结节分割准确度低下。
发明内容
本申请实施例提供一种结节分割方法、装置、电子设备及存储介质，用以提高通过小样本的甲状腺结节分割数据集进行训练得到的结节分割模型的结节分割准确度。
第一方面，本申请实施例提供一种结节分割方法，包括：
获取甲状腺超声图像；
将所述甲状腺超声图像输入至目标结节分割模型，得到所述目标结节分割模型输出的甲状腺结节分割图像；
其中，所述目标结节分割模型是采用具有分割标注的第二甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练得到的；所述结节分类模型是采用具有分类标注的第一甲状腺超声样本图像，对预先构建的分类模型进行训练得到的。
在一个实施例中，所述结节分类模型是基于如下步骤确定的：
获取第一甲状腺超声样本图像；
对所述第一甲状腺超声样本图像进行多级特征提取，得到多级第一甲状腺特征；
基于多级第一甲状腺特征与所述第一甲状腺超声样本图像的分类标注，对预先构建的分类模型进行训练，得到结节分类模型。
在一个实施例中，所述目标结节分割模型是基于如下步骤确定的：
获取第二甲状腺超声样本图像；
对所述第二甲状腺超声样本图像进行图像裁剪，得到甲状腺结节图像；
对所述第二甲状腺超声样本图像进行多级特征提取，得到多级第二甲状腺特征；
对所述甲状腺结节图像进行特征提取，得到甲状腺结节特征；
基于多级第二甲状腺特征与所述甲状腺结节特征进行特征对齐，得到目标特征；
根据所述目标特征、多级第二甲状腺特征与所述第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型。
在一个实施例中，所述根据所述目标特征、多级第二甲状腺特征与所述第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型，包括：
根据所述目标特征与多级第二甲状腺特征进行多通道特征提取，得到多通道特征；
对所述多通道特征、所述目标特征与多级第二甲状腺特征进行特征融合，得到融合特征；
根据所述融合特征与所述第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型。
在一个实施例中，所述基于多级第二甲状腺特征与所述甲状腺结节特征进行特征对齐，得到目标特征，包括：
对多级第二甲状腺特征中的目标甲状腺特征与所述甲状腺结节特征进行特征融合，得到第一特征；所述目标甲状腺特征为多级第二甲状腺特征中，与所述甲状腺结节特征具有相同尺寸的第二甲状腺特征；
基于所述第一特征、所述目标甲状腺特征与所述甲状腺结节特征进行特征融合，得到第二特征；
对所述第二特征进行卷积，得到目标特征。
在一个实施例中，所述基于所述第一特征、所述目标甲状腺特征与所述甲状腺结节特征进行特征融合，得到第二特征，包括：
对所述第一特征进行可变形卷积，得到第一卷积特征；
对所述甲状腺结节特征进行可变形卷积，得到第二卷积特征；
对所述第一卷积特征、所述第二卷积特征与所述目标甲状腺特征进行特征融合，得到第二特征。
在一个实施例中，所述初始结节分割模型的损失函数是通过如下步骤确定的：
获取focal loss损失函数、预设函数权重与所述结节分类模型对应的损失函数；
将所述focal loss损失函数与所述预设函数权重进行乘积，并将乘积结果与所述结节分类模型对应的损失函数进行加和，得到初始结节分割模型的损失函数。
第二方面，本申请实施例提供一种结节分割装置，包括：
获取模块，用于获取甲状腺超声图像；
分割模块，用于将所述甲状腺超声图像输入至目标结节分割模型，得到所述目标结节分割模型输出的甲状腺结节分割图像；其中，所述目标结节分割模型是采用具有分割标注的第二甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练得到的；所述结节分类模型是采用具有分类标注的第一甲状腺超声样本图像，对预先构建的分类模型进行训练得到的。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的结节分割方法。
第四方面，本申请实施例提供一种存储介质，所述存储介质为计算机可读存储介质，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的结节分割方法。
本申请实施例提供的结节分割方法、装置、电子设备及存储介质，通过大量易得的具有分类标注的甲状腺超声样本图像，对预先构建的分类模型进行训练得到结节分类模型；进一步通过小样本的具有分割标注的甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练，由此通过小样本的具有分割标注的甲状腺超声样本图像，即可以得到具有较高精度的结节分割模型。因此，可以提高通过小样本的甲状腺结节分割数据集进行训练得到的结节分割模型的结节分割准确度。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的结节分割方法的流程示意图；
图2是本申请实施例提供的结节分割方法中多任务小样本分割模型的示意图；
图3是本申请实施例提供的结节分割方法中双分支模块的示意图；
图4是本申请实施例提供的结节分割方法中结节分类模型的确定流程示意图；
图5是本申请实施例提供的结节分割方法中目标结节分割模型的确定流程示意图；
图6是本申请实施例提供的结节分割方法中特征对齐译码模块的处理流程示意图；
图7是本申请结节分割装置实施例的功能模块示意图；
图8是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合实施例对本申请提供的结节分割方法、装置、电子设备及存储介质进行详细描述。
图1为本申请实施例提供的结节分割方法的流程示意图。参照图1，本申请实施例提供一种结节分割方法，该方法可以包括：
步骤100，获取甲状腺超声图像；
需要说明的是，本申请实施例提供的结节分割方法的执行主体可以是计算机设备，例如手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等。
本申请中的总体架构可以采用U-Net3+模型。U-Net3+模型可以分为三部分：编码器(Down-sampling)、解码器(Up-sampling)和全尺寸跳跃连接(Full-Scale SkipConnection)。
本申请在U-Net3+模型的基础上添加双分支模块、特征对齐译码器模块，分类子任务模块。本申请中最终的整体模型可以定义为多任务小样本分割模型。
图2为本申请实施例提供的结节分割方法中多任务小样本分割模型的示意图。参照图2，多任务小样本分割模型中可以包括编码器、解码器(Decoder Part)、全尺寸跳跃连接(图中未示出)、特征对齐译码模块(feature-aligned module)与全局平均池化层(GAP)。并且，编码器中包括双分支模块。
为实现对裁剪后的结节与周围组织和完整甲状腺结节超声图像同时进行高效特征提取，构建双分支模块。
针对裁剪后的结节与周围组织图像希望提取图像中蕴含的丰富细节语义信息，因此网络结构无需过深，以免造成细节语义信息的损失。
针对原始完整甲状腺结节超声图像希望提取图像中丰富的上下文信息和高维语义信息，因此使用MobileNet V3网络架构。
双分支模块主要由原始图像支路与裁剪图支路组合而成。
裁剪图支路包括两级编码模块(Encode Module)，其中第一级编码模块可接入裁剪图像(Cropped Image)，第二级编码模块与特征对齐译码模块连接。
原始图像支路包括四级编码模块(Encode Module)，其中第一级编码模块可接入原始图像(Original Image)，第三级编码模块的输出与特征对齐译码模块的输出一同输入至第四级编码模块。
原始图像支路各级编码模块的输出分别经过形态转换(Shape Change)后可以输出至解码器的多通道空洞空间金字塔池化模块(Multi-channel atrous spatial pyramidpooding，MCASPP)、各级解码模块(Decode Module)以及连接模块(Concatenate)。
经过形态转换后的特征与MCASPP的输出经过特征融合后，分别输入至GAP与解码器的第三级解码模块。GAP可以根据融合特征进行分类信息输出。
第三级解码模块与解码器的第二级解码模块连接。
第二级解码模块与连接模块连接。
连接模块的输出经过两级Conv 3×3ReLU后输出至解码器的第一级解码模块，第一级解码模块处理后可以进行分割图像输出。
其中，Conv 3×3ReLU代表该位置存在一个以ReLU函数激活的、卷积核为3×3的卷积层。
图3为本申请实施例提供的结节分割方法中双分支模块的示意图。参照图3，原始图支路由四层MobileNet V3块(block)堆叠而成，输入图像的尺寸为448×448，原始超声图像经过多层特征提取后生成尺寸为56×56的特征图。在该支路中，模型通过多次卷积实现对甲状腺结节超声图像中的高维语义信息和结节的空间位置信息进行提取，然而经过多层多步长卷积会造成超声图像中的细节信息丢失。
在裁剪图支路中，对原始超声图像中裁剪下来的结节与周围组织(裁剪图像)进行特征提取。由于裁剪后的超声图像分辨率多为200×200左右，为防止图像尺寸变换引入噪声并尽量保留超声图像的细节信息，因此裁剪图支路的输入尺寸为224×224。
为防止网络层数过深引起特征细节丢失，因此裁剪图支路仅经过两层MobileNetV3块(block)，输出尺寸为56×56的特征图。最后将裁剪支路的特征图与原始图支路的同尺寸特征图进行融合，最后共同经过MobileNet V3 block对融合后的特征进行特征提取，输出尺寸为28×28的融合特征。实现了模型对甲状腺结节超声图像中高维语义信息和空间位置信息的提取，同时融合了裁剪图中甲状腺结节和周围组织的细节信息，从而提升模型的分割准确率。
本申请裁剪图支路中至少包括两个编码模块，原始图支路中至少包括四个编码模块。
解码器由解码基础单元堆叠而成，其中Conv 3×3ReLU代表该位置存在一个以ReLU函数激活的、卷积核为3×3的卷积层，向上的箭头代表上采样，通过上采样实现图像尺寸的复原，GAP代表全局平均池化层，MCASPP代表多通道空洞空间金字塔池化结构。
本申请多任务小样本分割模型训练时的输入包括分割标注、分类标注与相应的甲状腺超声样本图像。在应用时的输入为甲状腺超声图像，输出可以包括甲状腺超声图像中结节的类型以及结节分割图像。
本申请中模型构建的整体思路分为两部分，首先是通过分类数据对模型进行预训练，通过针对甲状腺图像的分类任务，应用迁移学习思想，将预训练权重作为初始参数，然后将分类数据的类别标签作为分割模型训练的弱标注，将完备的小样本分割数据精确标注作为强监督信号，并且将截取后的图像作为分割辅助信息，从而实现小样本分割数据与分类数据配合的多任务学习。
可以理解地，本申请在进行分类模型的训练时，不启用双分支模块与特征对齐译码模块。而在进行初始结节分割模型的训练时启用双分支模块与特征对齐译码模块。分类子任务模块在两次训练过程均启用。
其中，裁剪图支路用于对裁剪后的图像进行特征提取，原始图支路用于对原始的图像进行特征提取。本申请中的原始图可以为后续经过分辨率调整的图像。
其中，U-Net3+模型中可以由MobileNetV3构成编码器。MobileNetV3是谷歌在2019年3月21日提出的网络架构。
本申请中甲状腺超声图像可以为通过彩色多普勒超声得到的图像。
其中，彩色多普勒超声又称彩超，是一种医用设备，适用于全身各部位脏器超声检查。
因此，本申请中可以通过彩色多普勒超声获取甲状腺超声图像。
步骤200，将甲状腺超声图像输入至目标结节分割模型，得到目标结节分割模型输出的甲状腺结节分割图像。
在获取到甲状腺超声图像后，本申请可以将甲状腺超声图像输入至目标结节分割模型中，并在目标结节分割模型根据输入的甲状腺超声图像完成分割后，得到目标结节分割模型输出的甲状腺结节分割图像。
其中，目标结节分割模型是采用具有分割标注的第二甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练得到的。
结节分类模型是采用具有分类标注的第一甲状腺超声样本图像，对预先构建的分类模型进行训练得到的。
本申请中可以将训练数据集分为两部分，其中一部分为第一甲状腺超声样本图像，另一部分为第二甲状腺超声样本图像。
其中，第一甲状腺超声样本图像的数量远大于第二甲状腺超声样本图像。
第一甲状腺超声样本图像是具有分类标注的甲状腺超声图像，分类标注具体可以为良性结节或恶性结节等信息。
第二甲状腺超声样本图像是具有分割标注的甲状腺超声图像，分割标注可以为人工对甲状腺超声图像中的结节进行标注后的图像。
初始结节分割模型中融合了结节分类模型的模型信息，具体可以为融合了结节分类模型的损失函数信息。
初始结节分割模型用于通过甲状腺超声图像进行结节分割，得到相应的甲状腺结节分割图像。
本申请中预先构建的分类模型为用于进行甲状腺结节分类的模型。
本申请中上述分类模型可以选取交叉熵作为损失函数。
交叉熵能够衡量同一随机变量中两个不同概率分布的差异，可以度量真实值与预测值之间的差距，交叉熵的值越小，模型的预测效果越好。
本申请中分类模型的损失函数可以如下式所示：
其中，H(p，q)代表交叉熵，p(xi)代表真值分布的第i种情况，log(q(xi))代表预测值分布的第i种情况的信息量，n为分布的情况总量。
在该阶段的损失函数可以表示为如下公式：
Lossstage-C＝Lcls；
其中，Lcls代表分类模型的损失函数。
本申请还可以包括图像显示模块，使得可以在得到甲状腺结节分割图像后，可以将甲状腺结节分割图像与甲状腺超声图像进行并列展示，或将甲状腺结节分割图像与甲状腺超声图像进行叠加显示，将甲状腺超声图像置于图层顶层，调整透明度为0.8，底层放置甲状腺结节分割图像，合并后展示。
本申请中还可以将甲状腺超声图像输入至结节分类模型，得到结节分类模型输出的结节类型，结节类型为恶性结节或良性结节。
本申请实施例提供的结节分割方法，通过大量易得的具有分类标注的甲状腺超声样本图像，对预先构建的分类模型进行训练得到结节分类模型；进一步通过小样本的具有分割标注的甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练，由此通过小样本的具有分割标注的甲状腺超声样本图像，即可以得到具有较高精度的结节分割模型。因此，可以提高通过小样本的甲状腺结节分割数据集进行训练得到的结节分割模型的结节分割准确度。
图4为本申请实施例提供的结节分割方法中结节分类模型的确定流程示意图。参照图4，在一个实施例中，结节分类模型是基于如下步骤确定的：
步骤11，获取第一甲状腺超声样本图像；
本申请中可以获取具有分类标注的甲状腺超声图像作为第一甲状腺超声样本图像。本申请中第一甲状腺超声样本图像的数量可以为预先根据实际需求设置的数值。
可以理解地，由于收集到的图像数据分辨率并不统一，大多数图像分辨率超过448×448。又由于分割网络的输入是固定大小，所有图像在输入前都会被调整为相同的大小，由此导致结节面积占比较小的结节，会被进一步压缩，导致细节信息丢失，模型难以识别与分割。
因此，本申请中可以对第一甲状腺超声样本图像进行分辨率调整，具体可以将第一甲状腺超声样本图像的分辨率调整至448×448。
步骤12，对第一甲状腺超声样本图像进行多级特征提取，得到多级第一甲状腺特征；
本申请中可以通过编码器中双分支模块的一个分支对第一甲状腺超声样本图像进行多级特征提取，得到多级第一甲状腺特征。
在一些实施例中，在通过编码器对第一甲状腺超声样本图像进行多级特征提取时，可以对第一甲状腺超声样本图像进行编码，得到一级第一甲状腺特征；进一步对一级第一甲状腺特征进行编码，得到二级第一甲状腺特征；进一步地，对二级第一甲状腺特征进行编码，得到三级第一甲状腺特征；进一步地，对三级第一甲状腺特征进行编码，得到四级第一甲状腺特征，由此得到上述多级第一甲状腺特征。
步骤13，基于多级第一甲状腺特征与第一甲状腺超声样本图像的分类标注，对预先构建的分类模型进行训练，得到结节分类模型。
在得到多级第一甲状腺特征后，可以通过多通道空洞空间金字塔池化结构对多级第一甲状腺特征进行多通道特征提取，得到对应的多通道特征。
进一步地，将多通道特征输入至全局平均池化层，通过全局平均池化层对多通道特征进行全局平均池化，得到对各特征的所有特征值求平均的特征值。
基于上述得到的特征值，可以通过预先构建的分类模型进行预测，得到相应第一甲状腺超声样本图像的分类预测结果。
进一步地，可以通过各分类预测结果与各第一甲状腺超声样本图像的分类标注，对分类模型的损失函数进行迭代调整，并在迭代完成后得到结节分类模型。
需要说明的是，在现有的分类网络构建中，模型的末端往往是将特征图展平成一维向量然后送入全连接层与ReLU激活函数，最后再使用Softmax进行分类作为判别器模块。然而全连接层的拟合能力是通过大量全连接节点来实现，造成整个神经网络模型参数量大部分被全连接层所占据，导致训练成本增加，同时易引起模型过拟合问题。神经元节点增多就需要更多数据激活，特别是针对小样本情形，小量数据难以实现对大量节点的激活，难以实现小样本数据下的甲状腺结节分割。
为了在降低模型参数量的同时保障模型拟合性能，本申请通过全局平均池化模块来代替全连接层，减少模型参数，提高数据使用效率。全局平均池化得到的特征值就是对整张特征图的所有特征值求平均。
本实施例可以通过大量易得的具有分类标注的甲状腺超声样本图像，对预先构建的分类模型进行训练得到结节分类模型，使得后续可以通过小样本的具有分割标注的甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练，由此通过小样本的具有分割标注的甲状腺超声样本图像，即可以得到具有较高精度的结节分割模型。因此，可以提高通过小样本的甲状腺结节分割数据集进行训练得到的结节分割模型的结节分割准确度。
图5为本申请实施例提供的结节分割方法中目标结节分割模型的确定流程示意图。参照图5，在一个实施例中，目标结节分割模型是基于如下步骤确定的：
步骤21，获取第二甲状腺超声样本图像；
本申请中可以获取具有分割标注的甲状腺超声图像作为第二甲状腺超声样本图像。本申请中第二甲状腺超声样本图像的数量可以为预先根据实际需求设置的数值。本申请中第二甲状腺超声样本图像的数量远小于第一甲状腺超声样本图像的数量。
并且，本申请中可以对第二甲状腺超声样本图像进行分辨率调整，具体可以将第二甲状腺超声样本图像的分辨率调整至448×448。
步骤22，对第二甲状腺超声样本图像进行图像裁剪，得到甲状腺结节图像；
本申请中还需要对第二甲状腺超声样本图像进行图像裁剪，将结节与结节周围有限范围内组织进行裁剪，作为辅助数据输入网络。
针对各第二甲状腺超声样本图像，可以先对相应第二甲状腺超声样本图像的分割标注进行膨胀，具体可以通过进行差值操作实现，并将膨胀的结果作为需要裁剪的参考区域，并对第二甲状腺超声样本图像中与参考区域对应的区域进行裁剪，得到甲状腺结节图像。
需要说明的是，本申请中在对图像进行裁剪后，仍可以获取到原图像。
步骤23，对第二甲状腺超声样本图像进行多级特征提取，得到多级第二甲状腺特征；
本申请中可以通过编码器对第二甲状腺超声样本图像进行多级特征提取，得到多级第二甲状腺特征。
在一些实施例中，在通过编码器对第二甲状腺超声样本图像进行多级特征提取时，可以对第二甲状腺超声样本图像进行编码，得到一级第二甲状腺特征；进一步对一级第二甲状腺特征进行编码，得到二级第二甲状腺特征；进一步地，对二级第二甲状腺特征进行编码，得到三级第二甲状腺特征；进一步地，对三级第二甲状腺特征进行编码，得到四级第二甲状腺特征，由此得到多级第二甲状腺特征。
步骤24，对甲状腺结节图像进行特征提取，得到甲状腺结节特征；
本申请中可以通过双分支模块中的裁剪图支路，对甲状腺结节图像进行特征提取，得到甲状腺结节特征。
具体地，可以通过编码模块对甲状腺结节图像进行编码，得到中间特征，进一步通过编码模块对中间特征进行编码，完成甲状腺结节图像的特征提取，得到甲状腺结节特征。
步骤25，基于多级第二甲状腺特征与甲状腺结节特征进行特征对齐，得到目标特征；
由于原始超声图像和裁剪后超声图像尺寸不同，结节在图中所在空间位置不同，直接进行特征融合可能会引起噪声，导致模型的分割效果下降。因此提出特征对齐译码模块，通过可变形卷积实现对结节特征的不同空间位置进行对齐。
因此，在得到多级第二甲状腺特征以及甲状腺结节特征后，本申请可以通过特征对齐译码模块，对多级第二甲状腺特征与甲状腺结节特征进行特征对齐，在完成对齐后得到目标特征。
步骤26，根据目标特征、多级第二甲状腺特征与第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型。
进一步地，本申请可以根据目标特征与多级第二甲状腺特征进行多通道特征提取，得到多通道特征。并对多通道特征、目标特征与多级第二甲状腺特征进行特征融合，得到融合特征。进一步根据融合特征与第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型。
进一步地，基于多级第二甲状腺特征与甲状腺结节特征进行特征对齐，得到目标特征，包括：
步骤251，对多级第二甲状腺特征中的目标甲状腺特征与甲状腺结节特征进行特征融合，得到第一特征；
在得到多级第二甲状腺特征后，可以将多级第二甲状腺特征中，与甲状腺结节特征具有相同尺寸的第二甲状腺特征，确定为目标甲状腺特征。
进一步地，对多级第二甲状腺特征中的目标甲状腺特征与甲状腺结节特征进行特征融合，具体可以为对多级第二甲状腺特征中的目标甲状腺特征与甲状腺结节特征进行特征拼接(concate)，在完成拼接后将得到的特征确定为第一特征。
步骤252，基于第一特征、目标甲状腺特征与甲状腺结节特征进行特征融合，得到第二特征；
在得到第一特征后，可以通过可变形卷积层对第一特征与甲状腺结节特征分别进行处理，并将处理得到的各特征与目标甲状腺特征进行特征融合，将融合得到的特征确定为第二特征。
步骤253，对第二特征进行卷积，得到目标特征。
在得到第二特征后，对第二特征进行卷积操作，并将卷积后的特征确定为目标特征。
进一步地，基于第一特征、目标甲状腺特征与甲状腺结节特征进行特征融合，得到第二特征，包括：
步骤2521，对第一特征进行可变形卷积，得到第一卷积特征；
本申请可以通过可变形卷积层对第一特征进行可变形卷积，在完成可变形卷积后得到第一卷积特征。
其中，可变形卷积可被表示为如下公式：
其中，T表示可变形卷积的卷积核中卷积算子的个数，wt表示卷积核的权重，lt表示各个算子对应的位置，Δlt是对应位置的偏移量，Δmt是对应位置的学习权重，当该区域不是网络所需的感兴趣区域则该权重将变小，防止引入噪声。针对一个卷积核大小为3×3的卷积核，T是9，lt∈[(-1，-1)，(-1，0)，...，(1，1)]。X表示输入的特征。l0表示输入特征的像素点。
步骤2522，对甲状腺结节特征进行可变形卷积，得到第二卷积特征；
进一步地，本申请中可以通过上述可变形卷积对应的公式，对甲状腺结节特征进行可变形卷积，在完成可变形卷积后得到第二卷积特征。
步骤2523，对第一卷积特征、第二卷积特征与目标甲状腺特征进行特征融合，得到第二特征。
在得到第一卷积特征与第二卷积特征后，可以对第一卷积特征、第二卷积特征与目标甲状腺特征进行特征融合，具体可以为对第一卷积特征、第二卷积特征与目标甲状腺特征进行特征拼接，在完成拼接后得到第二特征。
图6为本申请实施例提供的结节分割方法中特征对齐译码模块的处理流程示意图。参照图6，本申请中可以对裁剪图支路特征(即甲状腺结节特征)与原始图支路特征(即多级第二甲状腺特征中的目标甲状腺特征)进行特征融合。进一步通过可变形卷积层分别对上述融合特征与裁剪图支路特征进行可变形卷积，将可变形卷积的结果与原始图支路特征进行特征融合后通过卷积层进行卷积，完成特征融合输出融合特征。
进一步地，根据目标特征、多级第二甲状腺特征与第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型，包括：
步骤261，根据目标特征与多级第二甲状腺特征进行多通道特征提取，得到多通道特征；
在得到目标特征与多级第二甲状腺特征后，本申请可以先对目标特征与多级第二甲状腺特征进行形态变换(shape change)，再进行多通道特征提取，在完成特征提取后得到多通道特征。
多通道特征提取所需的结构主要由空洞卷积和空间金字塔池化构成。空洞卷积的主要作用是为了增大模型的感受野，同时又不会损失过多特征信息。因为语义分割不但需要对关键特征做出识别，同时还需要根据关键特征之间的空间关系将目标与背景做出区分，所以语义分割任务需要更大的感受野来提取关键特征的上下文信息。
在空洞卷积出现之前，主要通过增加池化层或增加卷积步长来增大感受野，但这会造成精度下降。
而空洞卷积在增大感受野的同时还保持了特征图尺寸，有效缓解了特征损失问题。空洞卷积与普通卷积不同，空洞卷积引入了一个超参数用来控制卷积核的感受野，称为“扩张率”或“膨胀系数”。
除了扩大卷积核的感受野之外，多尺寸的上下文信息对于语义分割的准确率也有着极大的影响。多尺度信息允许模型针对目标构建不同尺度视角下的空间位置关系，可帮助模型更好地定位关键特征，有利于帮助模型进行更全面的判断与识别，因此，学者们提出空间金字塔池化。空间金字塔池化结构首次出现是为了解决深度学习模型需要固定尺寸的问题。空间金字塔池化通过将图像按照固定比例分割区域进行池化，从而可以将各种尺寸的图像统一转换为固定大小的矩阵，方便后续数据处理。
通过将空洞卷积与金字塔池化结构相结合，在扩大感受野的同时保障了模型能获取多尺度空间信息，帮助模型理解更全面的语义信息，提升分割精度。综上，多通道空洞空间金字塔池化结构的存在主要有两个作用：(1)在保留细节信息的前提下扩大感受野；(2)通过设定不同膨胀系数实现针对特征图的不同尺度特征信息的提取，完成多尺度信息的融合。
本申请进行多通道特征提取的模块称为多通道空洞空间金字塔池化模块(Multi-channel atrous spatial pyramid pooding，MCASPP)。该模块首先将输入的通道数调整至预设数量，然后调整输入数据的形状，将所有通道的信息集合至一个通道内，再使用空洞卷积对全部通道内的数据进行特征提取，对提取后的特征调整数据形状，使特征图的通道数、尺寸等与输入一致，方便模型后续运算与训练。在多通道特征提取部分，空洞卷积不单用来增加卷积核在单一特征图上的感受野。由于特殊设计的大尺寸特征图中，包含了全部通道信息，不同膨胀系数的卷积核在图上进行卷积，就实现了针对某像素点在不同通道之间的特征提取。在通道层面上扩展了卷积核的感受野。
尽管与传统卷积相比，空洞卷积增加了模型训练时间，但是空洞卷积可以通过设置不同的膨胀系数为模型提供新的视角，有利于提取通道间的特征表达。由于大特征图集合了网络中所有通道的特征图，因此只需要一张大特征图就可以提取通道间的联系，传统卷积在大特征图上只能提取相邻通道之间的关系，各个通道之间的联系被忽视。因此，在构建MCASPP的过程中，本申请选择空洞卷积作为基础结构，实现针对某通道单个像素与其他多个通道像素之间关系的提取。
本申请中空洞卷积可以通过如下公式表示：
其中，对第l层卷积层，第l-1层的输入特征映射为X(l-1，d)∈RM×N×D，通过卷积计算得到第l层的特征映射净输出为Z(l)∈RM×N×D。式中W(l，p，d)和b(l，p)为卷积核以及偏置，第l层中共有P×D个卷积核和P个偏置。C为l-1层的通道数。
本申请的卷积结构在同一层内就可以对上层全部通道的特征进行特征提取，可以充分利用不同通道卷积核提取到的特征。综合不同通道的特征提升网络的识别、特征提取能力，充分高效的利用算力。
在特征提取网络中，提取得到的特征图形状为(32,32,1024)，通过数据处理将输入的形状转换为(1024,1024,1)，然后进行多维并行空洞卷积，对该层实现跨通道卷积运算。随后将提取到的特征还原为输入尺寸，即(32,32,1024)。
步骤262，对多通道特征、目标特征与多级第二甲状腺特征进行特征融合，得到融合特征；
进一步地，本申请中可以将多通道特征输入至解码器的解码模块中进行解码，并将该解码结果与目标特征及多级第二甲状腺特征中相同尺寸的特征(四级第二甲状腺特征)进行特征融合。
进一步地，将上述特征融合得到的融合特征输入至下一级解码模块进行解码，并将该解码结果与目标特征及多级第二甲状腺特征中相同尺寸的特征(三级第二甲状腺特征)进行特征融合。
进一步地，将上述特征融合得到的融合特征，与目标特征及多级第二甲状腺特征中相同尺寸的特征(二级第二甲状腺特征)进行特征融合。具体可以通过concatenate函数实现。
进一步地，将融合特征通过两个以ReLU函数激活的、卷积核为3×3的卷积层进行上采样，并将上采样结果输入至下一级解码模块中进行解码，将解码结果与目标特征及多级第二甲状腺特征中相同尺寸的特征(一级第二甲状腺特征)进行特征融合，得到最终的融合特征。
步骤263，根据融合特征与第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型。
在得到融合特征后，可以将融合特征与第二甲状腺超声样本图像的分割标注一同输入至初始结节分割模型中，对初始结节分割模型进行训练，并在初始结节分割模型训练完成后得到目标结节分割模型。本申请不对具体的训练过程进行限定。
其中，初始结节分割模型的损失函数是基于focal loss损失函数与结节分类模型对应的损失函数确定的。
具体地，初始结节分割模型的损失函数是通过如下步骤确定的：
获取focal loss损失函数、预设函数权重与结节分类模型对应的损失函数；
将focal loss损失函数与预设函数权重进行乘积，并将乘积结果与结节分类模型对应的损失函数进行加和，得到初始结节分割模型的损失函数。
本申请中可以结节分类模型对应的损失函数。
结节分类模型对应的损失函数为上述的交叉熵损失函数。
本申请中针对训练流程中的分割任务选用以focal loss为主、交叉熵为辅的损失函数。focal loss是一种常用于医疗影像处理的损失函数，由于医疗影像的正样本与负样本经常分布不均匀，如甲状腺超声影像中结节像素占比往往不超过30％甚至更小。这种情况下常规损失函数计算负样本的分数会远远大于正样本的分数，造成模型无法正确判断现在的训练成果，不利于目标收敛。
因此，可以获取focal loss损失函数，同时获取针对结节分类模型的损失函数预先设置的函数权重。
focal loss的实质是减小大量负样本对最终结果的影响，提升小量正样本对最终结果的影响程度。可以调整不同样本对最终结果贡献值的函数，简单来讲就是对易分类样本赋予低权值，使易分类样本对最终结果影响更小，从而使得模型更加关注难分类样本，使模型训练更加充分。
进一步地，将focal loss损失函数与预设函数权重进行乘积，并将乘积结果与结节分类模型对应的损失函数进行加和，得到初始结节分割模型的损失函数。
具体地，分割训练中的整体损失函数可用如下公式表示：
Lossstage＝Lseg+αLcls；
其中，Lseg代表分割常用的focal loss函数，α代表为分类损失函数对应的权重。为了在训练分割性能的同时兼顾分类训练，赋予分类损失一个小权重α。Lcls代表分类模型的损失函数。
本实施例在通过大量易得的具有分类标注的甲状腺超声样本图像，对预先构建的分类模型进行训练得到结节分类模型的基础上，通过小样本的具有分割标注的甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练，由此通过小样本的具有分割标注的甲状腺超声样本图像，即可以得到具有较高精度的结节分割模型。因此，可以提高通过小样本的甲状腺结节分割数据集进行训练得到的结节分割模型的结节分割准确度。
进一步地，本申请还提供一种结节分割装置。
参照图7，图7为本申请结节分割装置实施例的功能模块示意图。
所述结节分割装置包括：
获取模块710，用于获取甲状腺超声图像；
分割模块720，用于将所述甲状腺超声图像输入至目标结节分割模型，得到所述目标结节分割模型输出的甲状腺结节分割图像；其中，所述目标结节分割模型是采用具有分割标注的第二甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练得到的；所述结节分类模型是采用具有分类标注的第一甲状腺超声样本图像，对预先构建的分类模型进行训练得到的。
本申请实施例提供的结节分割装置，通过大量易得的具有分类标注的甲状腺超声样本图像，对预先构建的分类模型进行训练得到结节分类模型；进一步通过小样本的具有分割标注的甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练，由此通过小样本的具有分割标注的甲状腺超声样本图像，即可以得到具有较高精度的结节分割模型。因此，可以提高通过小样本的甲状腺结节分割数据集进行训练得到的结节分割模型的结节分割准确度。
在一个实施例中，分割模块720用于：
获取第一甲状腺超声样本图像；
对所述第一甲状腺超声样本图像进行多级特征提取，得到多级第一甲状腺特征；
基于多级第一甲状腺特征与所述第一甲状腺超声样本图像的分类标注，对预先构建的分类模型进行训练，得到结节分类模型。
在一个实施例中，分割模块720还用于：
获取第二甲状腺超声样本图像；
对所述第二甲状腺超声样本图像进行图像裁剪，得到甲状腺结节图像；
对所述第二甲状腺超声样本图像进行多级特征提取，得到多级第二甲状腺特征；
对所述甲状腺结节图像进行特征提取，得到甲状腺结节特征；
基于多级第二甲状腺特征与所述甲状腺结节特征进行特征对齐，得到目标特征；
根据所述目标特征、多级第二甲状腺特征与所述第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型。
在一个实施例中，分割模块720还包括训练单元，所述训练单元用于：
根据所述目标特征与多级第二甲状腺特征进行多通道特征提取，得到多通道特征；
对所述多通道特征、所述目标特征与多级第二甲状腺特征进行特征融合，得到融合特征；
根据所述融合特征与所述第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型。
在一个实施例中，分割模块720还包括对齐单元，所述对齐单元用于：
对多级第二甲状腺特征中的目标甲状腺特征与所述甲状腺结节特征进行特征融合，得到第一特征；所述目标甲状腺特征为多级第二甲状腺特征中，与所述甲状腺结节特征具有相同尺寸的第二甲状腺特征；
基于所述第一特征、所述目标甲状腺特征与所述甲状腺结节特征进行特征融合，得到第二特征；
对所述第二特征进行卷积，得到目标特征。
在一个实施例中，对齐单元还包括融合单元，所述融合单元用于：
对所述第一特征进行可变形卷积，得到第一卷积特征；
对所述甲状腺结节特征进行可变形卷积，得到第二卷积特征；
对所述第一卷积特征、所述第二卷积特征与所述目标甲状腺特征进行特征融合，得到第二特征。
在一个实施例中，分割模块720还用于：
获取focal loss损失函数、预设函数权重与所述结节分类模型对应的损失函数；
将所述focal loss损失函数与所述预设函数权重进行乘积，并将乘积结果与所述结节分类模型对应的损失函数进行加和，得到初始结节分割模型的损失函数。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communication Interface)820、存储器(memory)830和通信总线440，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的计算机程序，以执行结节分割方法的步骤，例如包括：
获取甲状腺超声图像；
将所述甲状腺超声图像输入至目标结节分割模型，得到所述目标结节分割模型输出的甲状腺结节分割图像；
其中，所述目标结节分割模型是采用具有分割标注的第二甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练得到的；所述结节分类模型是采用具有分类标注的第一甲状腺超声样本图像，对预先构建的分类模型进行训练得到的。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请实施例还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的方法的步骤，例如包括：
获取甲状腺超声图像；
将所述甲状腺超声图像输入至目标结节分割模型，得到所述目标结节分割模型输出的甲状腺结节分割图像；
其中，所述目标结节分割模型是采用具有分割标注的第二甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练得到的；所述结节分类模型是采用具有分类标注的第一甲状腺超声样本图像，对预先构建的分类模型进行训练得到的。
所述计算机可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种结节分割方法，其特征在于，包括：
获取甲状腺超声图像；
将所述甲状腺超声图像输入至目标结节分割模型，得到所述目标结节分割模型输出的甲状腺结节分割图像；
其中，所述目标结节分割模型是采用具有分割标注的第二甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练得到的；所述结节分类模型是采用具有分类标注的第一甲状腺超声样本图像，对预先构建的分类模型进行训练得到的。
2.根据权利要求1所述的结节分割方法，其特征在于，所述结节分类模型是基于如下步骤确定的：
获取第一甲状腺超声样本图像；
对所述第一甲状腺超声样本图像进行多级特征提取，得到多级第一甲状腺特征；
基于多级第一甲状腺特征与所述第一甲状腺超声样本图像的分类标注，对预先构建的分类模型进行训练，得到结节分类模型。
3.根据权利要求1所述的结节分割方法，其特征在于，所述目标结节分割模型是基于如下步骤确定的：
获取第二甲状腺超声样本图像；
对所述第二甲状腺超声样本图像进行图像裁剪，得到甲状腺结节图像；
对所述第二甲状腺超声样本图像进行多级特征提取，得到多级第二甲状腺特征；
对所述甲状腺结节图像进行特征提取，得到甲状腺结节特征；
基于多级第二甲状腺特征与所述甲状腺结节特征进行特征对齐，得到目标特征；
根据所述目标特征、多级第二甲状腺特征与所述第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型。
4.根据权利要求3所述的结节分割方法，其特征在于，所述根据所述目标特征、多级第二甲状腺特征与所述第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型，包括：
根据所述目标特征与多级第二甲状腺特征进行多通道特征提取，得到多通道特征；
对所述多通道特征、所述目标特征与多级第二甲状腺特征进行特征融合，得到融合特征；
根据所述融合特征与所述第二甲状腺超声样本图像的分割标注，对初始结节分割模型进行训练，得到目标结节分割模型。
5.根据权利要求3所述的结节分割方法，其特征在于，所述基于多级第二甲状腺特征与所述甲状腺结节特征进行特征对齐，得到目标特征，包括：
对多级第二甲状腺特征中的目标甲状腺特征与所述甲状腺结节特征进行特征融合，得到第一特征；所述目标甲状腺特征为多级第二甲状腺特征中，与所述甲状腺结节特征具有相同尺寸的第二甲状腺特征；
基于所述第一特征、所述目标甲状腺特征与所述甲状腺结节特征进行特征融合，得到第二特征；
对所述第二特征进行卷积，得到目标特征。
6.根据权利要求5所述的结节分割方法，其特征在于，所述基于所述第一特征、所述目标甲状腺特征与所述甲状腺结节特征进行特征融合，得到第二特征，包括：
对所述第一特征进行可变形卷积，得到第一卷积特征；
对所述甲状腺结节特征进行可变形卷积，得到第二卷积特征；
对所述第一卷积特征、所述第二卷积特征与所述目标甲状腺特征进行特征融合，得到第二特征。
7.根据权利要求1所述的结节分割方法，其特征在于，所述初始结节分割模型的损失函数是通过如下步骤确定的：
获取focal loss损失函数、预设函数权重与所述结节分类模型对应的损失函数；
将所述focal loss损失函数与所述预设函数权重进行乘积，并将乘积结果与所述结节分类模型对应的损失函数进行加和，得到初始结节分割模型的损失函数。
8.一种结节分割装置，其特征在于，包括：
获取模块，用于获取甲状腺超声图像；
分割模块，用于将所述甲状腺超声图像输入至目标结节分割模型，得到所述目标结节分割模型输出的甲状腺结节分割图像；其中，所述目标结节分割模型是采用具有分割标注的第二甲状腺超声样本图像，对融合了结节分类模型的初始结节分割模型进行训练得到的；所述结节分类模型是采用具有分类标注的第一甲状腺超声样本图像，对预先构建的分类模型进行训练得到的。
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的结节分割方法。
10.一种存储介质，所述存储介质为计算机可读存储介质，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的结节分割方法。
CN202310435294.XA 2023-04-21 2023-04-21 结节分割方法、装置、电子设备及存储介质 Pending CN116542988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310435294.XA CN116542988A (zh) 2023-04-21 2023-04-21 结节分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310435294.XA CN116542988A (zh) 2023-04-21 2023-04-21 结节分割方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116542988A true CN116542988A (zh) 2023-08-04

Family

ID=87449786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310435294.XA Pending CN116542988A (zh) 2023-04-21 2023-04-21 结节分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116542988A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934738A (zh) * 2023-08-14 2023-10-24 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934738A (zh) * 2023-08-14 2023-10-24 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统
CN116934738B (zh) * 2023-08-14 2024-03-22 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统

Similar Documents

Publication Publication Date Title
CN111210443B (zh) 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN110580704A (zh) 基于卷积神经网络的et细胞图像自动分割方法及系统
CN114283164B (zh) 基于UNet3+的乳腺癌病理切片图像分割预测系统
CN111860233B (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
CN113468996B (zh) 一种基于边缘细化的伪装物体检测方法
CN112446892A (zh) 一种基于注意力学习的细胞核分割方法
CN112258526A (zh) 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN113807361B (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN112767417A (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN110969632B (zh) 一种深度学习模型的训练方法、图像处理方法及装置
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN115393584A (zh) 基于多任务超声甲状腺结节分割与分类模型的建立方法、分割与分类方法和计算机设备
CN111951281A (zh) 图像分割方法、装置、设备及存储介质
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN114332133A (zh) 基于改进CE-Net的新冠肺炎CT图像感染区分割方法及系统
CN112529908B (zh) 一种基于级联卷积网络的数字病理图像分割方法及其模型
CN110866938A (zh) 一种全自动视频运动目标分割方法
CN116542988A (zh) 结节分割方法、装置、电子设备及存储介质
CN111192320B (zh) 一种位置信息确定方法、装置、设备和存储介质
CN117197462A (zh) 基于多尺度特征融合和对齐的轻量地基云分割方法及系统
CN115471718A (zh) 基于多尺度学习的轻量级显著性目标检测模型的构建和检测方法
CN117392153B (zh) 一种基于局部补偿和多尺度自适应变形的胰腺分割方法
CN113256662B (zh) 病理切片图像分割方法、装置、计算机设备和存储介质
CN117876679A (zh) 一种基于卷积神经网络的遥感图像场景分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination