CN116934738B - 基于超声图像的器官与结节联合分割方法及系统 - Google Patents
基于超声图像的器官与结节联合分割方法及系统 Download PDFInfo
- Publication number
- CN116934738B CN116934738B CN202311016028.XA CN202311016028A CN116934738B CN 116934738 B CN116934738 B CN 116934738B CN 202311016028 A CN202311016028 A CN 202311016028A CN 116934738 B CN116934738 B CN 116934738B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- organ
- nodule
- joint
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 359
- 210000000056 organ Anatomy 0.000 title claims abstract description 179
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005457 optimization Methods 0.000 claims abstract description 30
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000002604 ultrasonography Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 10
- 210000001685 thyroid gland Anatomy 0.000 description 16
- 206010054107 Nodule Diseases 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 208000009453 Thyroid Nodule Diseases 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 206010006272 Breast mass Diseases 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及一种基于超声图像的器官与结节联合分割方法及系统，方法包括将从数据库获取到的超声图像分别输入至器官分割模型和结节分割模型中，得到器官分割结果和结节分割结果；对器官分割结果和结节分割结果进行联合处理，包括筛选得到与器官分割区域相交的结节分割区域，并将筛选得到的结节分割区域与器官分割区域进行联合，得到器官与结节联合分割结果；使用三维空间信息对器官与结节联合分割结果进行分割优化，得到优化后的分割结果。本发明能够实现超声图像中器官与结节的联合分割，对提升医生的诊断准确率和速率具有重要的意义。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其是指一种基于超声图像的器官与结节联合分割方法及系统。
背景技术
结节是指一类不同于正常组织的异常成团的身体组织，形状有圆形、椭圆形和不规则形，并且结节在各类器官中的发病率进一步上升，例如甲状腺、肺部、乳腺、肝、肾等器官。超声成像技术由于其无创、安全和便携的因素，已经广泛的应用于各类器官和病变的成像和诊断中，例如已经成为甲状腺结节的最佳诊断工具。但是超声图像诊断具有对医生经验依赖性强和出具报告耗时等缺点，因此基于超声图像实现器官和结节的自动分割对提升医生的诊断准确率和效率具有重要的意义。
传统的医学图像分割算法主要有基于水平集的方法、基于分水岭的方法、基于聚类的方法和基于区域生长的方法。但是由于超声图像具有分辨率不高和对比度低等缺点以及结节病灶区域具有边界模糊和形状变化大的特点，因此传统的图像分割算法很难获得准确的分割结果。随着深度学习的发展，卷积神经网络由于其分割准确率高和抗干扰能力强，广泛应用于医学图像分割领域。例如Sun等人采用DeepLabV3+为基干的双路径卷积神经网络实现甲状腺结节的分割，双路径为区域路径和形状路径。Hoang等人提出了利用乳腺器官的多尺度超声图像金字塔和卷积语义分割网络实现乳腺结节的分割。公告号为CN112529894A的发明专利公开了一种基于深度学习网络的甲状腺结节的诊断方法，其使用Deeplab V3+实现甲状腺和结节的整体分割。Li等人提出一种具有边界注意力机制的Transformer网络实现超声图像中甲状腺结节的分割。但是以上分割方法对于器官和结节分割整体结合不足，并且未利用到三维空间分布信息，因此整体的分割效果不太理想。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中存在的技术缺陷，而提出一种基于超声图像的器官与结节联合分割方法及系统，其能够实现超声图像中器官与结节的联合分割，对提升医生的诊断准确率和速率具有重要的意义。
为解决上述技术问题，本发明提供了一种基于超声图像的器官与结节联合分割方法，包括：
将从数据库获取到的超声图像分别输入至器官分割模型和结节分割模型中，得到器官分割结果和结节分割结果；
对所述器官分割结果和所述结节分割结果进行联合处理，包括筛选得到与器官分割区域相交的结节分割区域，并将筛选得到的结节分割区域与器官分割区域进行联合，得到器官与结节联合分割结果；
使用三维空间信息对所述器官与结节联合分割结果进行分割优化，得到优化后的分割结果。
在本发明的一个实施例中，所述器官分割模型和结节分割模型在模型训练阶段时，在将所述超声图像输入至器官分割模型和结节分割模型之前，对所述超声图像进行数据增强处理。
在本发明的一个实施例中，所述器官分割模型和所述结节分割模型均包括生成器和鉴别器，所述生成器包括分割网络和深监督部分，所述分割网络采用预先训练好的Resnet作为编码器，所述编码器使用两个步长为1的3x3卷积代替Resnet中步长为2的7x7卷积。
在本发明的一个实施例中，所述器官分割模型的分割网络采用Resnet18作为编码器，所述结节分割模型的分割网络采用Resnet34作为编码器，解码器采用跳跃连接融合编码器部分的特征信息，所述深监督部分包括3x3卷积上采样子模块，所述解码器每层的后端均连接有所述3x3卷积上采样子模块，使用所述3x3卷积上采样子模块融合每层特征并输出其分割结果，采用上采样的方式将分割结果上采样到输入图像大小。
在本发明的一个实施例中，所述器官分割模型和所述结节分割模型的损失函数为：
其中，G表示生成器，D表示鉴别器，x和y分别表示输入图像对和对应的金标准。
在本发明的一个实施例中，对所述器官分割结果和所述结节分割结果进行联合处理的方法，包括：
对器官分割区域进行空洞填充，并选取器官分割区域的最大连通域，以及对结节分割区域进行空洞填充，并标记结节，获取单个结节分割区域；
判断所述单个结节分割区域是否与器官分割区域相交；
若否，则剔除所述结节分割区域，若是，则将结节分割区域与器官分割区域进行联合；
判断是否遍历完最后一个结节分割区域；
若否，则返回获取单个结节分割区域的步骤，若是，则输出器官与结节联合分割结果。
在本发明的一个实施例中，使用三维空间信息对所述器官与结节联合分割结果进行分割优化的方法，包括：
根据超声扫查过程中的空间连续相邻图像中的器官与结节联合分割结果以及器官和结节的相对位置关系，对该截面图像中的器官或结节的位置与边界进行预测，得到预测结果，并将所述预测结果与该截面图像中的器官与结节联合分割结果相结合进行分割优化。
此外，本发明还提供了一种基于超声图像的器官与结节联合分割系统，包括：
分割模块，其用于将从数据库获取到的超声图像分别输入至器官分割模型和结节分割模型中，得到器官分割结果和结节分割结果；
联合分割模块，其用于对所述器官分割结果和所述结节分割结果进行联合处理，包括筛选得到与器官分割区域相交的结节分割区域，并将筛选得到的结节分割区域与器官分割区域进行联合，得到器官与结节联合分割结果；
分割优化模块，其用于使用三维空间信息对所述器官与结节联合分割结果进行分割优化，得到优化后的分割结果。
在本发明的一个实施例中，所述联合分割模块对所述器官分割结果和所述结节分割结果进行联合处理，包括：
对器官分割区域进行空洞填充，并选取器官分割区域的最大连通域，以及对结节分割区域进行空洞填充，并标记结节，获取单个结节分割区域；
判断所述单个结节分割区域是否与器官分割区域相交；
若否，则剔除所述结节分割区域，若是，则将结节分割区域与器官分割区域进行联合；
判断是否遍历完最后一个结节分割区域；
若否，则返回获取单个结节分割区域的步骤，若是，则输出器官与结节联合分割结果。
在本发明的一个实施例中，所述分割优化模块使用三维空间信息对所述器官与结节联合分割结果进行分割优化，包括：
根据超声扫查过程中的空间连续相邻图像中的器官与结节联合分割结果以及器官和结节的相对位置关系，对该截面图像中的器官或结节的位置与边界进行预测，得到预测结果，并将所述预测结果与该截面图像中的器官与结节联合分割结果相结合进行分割优化。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的一种基于超声图像的器官与结节联合分割方法及系统，其主要包括器官分割、结节分割、器官与结节联合分割以及分割优化部分，结合器官和结节的先验知识联合处理器官与结节的分割结果，从而进一步提升其分割准确率，并结合三维空间信息过滤掉联合分割结果中的噪声来提升分割准确率，能够实现超声图像中器官与结节的联合分割，对提升医生的诊断准确率和速率具有重要的意义。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明提出的一种基于超声图像的器官与结节联合分割方法的流程示意图。
图2是本发明提出的器官分割模型和结节分割模型的整体网络框架示意图。
图3是本发明提出的对所述器官分割结果和所述结节分割结果进行联合处理的方法流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
请参照图1所示，本发明实施例提供一种基于超声图像的器官与结节联合分割方法，包括以下步骤：
步骤S1：将从数据库获取到的超声图像分别输入至器官分割模型和结节分割模型中，得到器官分割结果和结节分割结果；
步骤S2：对所述器官分割结果和所述结节分割结果进行联合处理，包括筛选得到与器官分割区域相交的结节分割区域，并将筛选得到的结节分割区域与器官分割区域进行联合，得到器官与结节联合分割结果；
步骤S3：使用三维空间信息对所述器官与结节联合分割结果进行分割优化，得到优化后的分割结果。
本发明所述的一种基于超声图像的器官与结节联合分割方法，其主要包括器官分割、结节分割、器官与结节联合分割以及分割优化部分，结合器官和结节的先验知识联合处理器官与结节的分割结果，从而进一步提升其分割准确率，并结合三维空间信息过滤掉联合分割结果中的噪声来提升分割准确率，能够实现超声图像中器官与结节的联合分割，对提升医生的诊断准确率和速率具有重要的意义。
其中，在步骤S1中，本实施例使用的超声图像数据一部分来自于公开的器官(本实施例优选甲状腺)和结节的超声数据集，一部分来自于中国医学科学院肿瘤医院开立超声机采集的数据，中国医学科学院肿瘤医院采集的数据是在资深医生的监督下手工标注甲状腺和结节区域，同一患者的甲状腺和结节超声图像中仅出现在同一分组中。由于训练速度和推理速度的限制，将超声和分割掩膜的图像大小重采样为256x256像素。为了提升分割模型的抗干扰能力，本实施例所述器官分割模型和结节分割模型在模型训练阶段时，在将所述超声图像输入至器官分割模型和结节分割模型之前，对所述超声图像进行数据增强处理，，数据增强的方式包括但不限于：左右翻转、上下翻转、图像旋转、图像裁剪、高斯模糊和对比度变换。
进一步地，图2展示了器官分割模型和结节分割模型的整体网络框架，其采用竞争学习的思想，包括一个生成器和一个鉴别器，生成器用于实现目标区域的分割，鉴别器鉴别输入的图像对中的分割掩膜是手动标注的还是生成器生成的，从而迫使生成器生成的分割结果更为接近手工标注的分割掩膜。其中生成器包括一个U型分割网络和深监督部分，分割网络采用预先训练好的Resnet作为编码器。为了减少编码器开始时过度下采样造成的细节信息丢失，本实施例使用两个步长为1的3x3卷积来代替Resnet中步长为2的7x7卷积。
作为优选地，本实施例器官分割模型可以为甲状腺分割模型，甲状腺分割模型采用Resnet18做编码器，由于结节分割任务比甲状腺分割更为复杂，所以结节分割模型采用具有更强特征提取能力的Resnet34做编码器，解码器部分采用跳跃连接融合编码器部分的特征信息。深监督部分加在解码器中，来加权融合多尺度的分割结果并提升模型的训练速度。
请继续参照图2所示，在解码器每层的后端采用3x3卷积融合该层特征并输出其分割结果，然后采用上采样的方式将分割结果上采样到输入图像大小。分割网络深层的特征感受野较大更加注重大目标的分割，浅层的特征更加精细，更加注重较小目标的分割。因此通过可学习的加权系数加权融合解码器不同层的分割从而融合多尺度的分割结果。由于深层的监督可以缓解模型优化过程中带来梯度衰减的问题，从而能够提升模型的训练速度。
模型二类分割任务就是对每个像素进行二分类，所以分割损失函数采用二元交叉熵损失函数，计算如下所示：
其中，N代表图像总像素个数，tn代表输入图像中第n个像素的真实标签，pn代表分割网络预测的输入图像中第n个像素的概率。
为了缓解类别不平衡和分割目标小的问题，在分割损失函数中增加Dice损失函数，公式如下：
其中，N代表图像总像素个数，tn代表输入图像中第n个像素的真实标签，pn代表分割网络预测的输入图像中第n个像素的概率。
竞争学习的生成器是最小化目标函数，而鉴别器是最大化目标函数，所以竞争学习的损失函数公式为：
其中，G表示生成器，D表示鉴别器，x和y分别表示输入图像对和对应的金标准。
因此，模型训练总的损失函数的公式如下：
上述甲状腺分割模型和结节分割模型分开训练，模型的训练是端到端的方式，两个分割模型的训练都采用随机梯度下降法，并且采用poly的学习率设置方式，学习率的计算如下：
其中，baselr表示基础学习率设置为0.01，power设置为0.9，iter表示当前迭代次数，total_iter表示总的迭代次数。该模型基于公开平台PyTorch和具有24GB内存的GeForce RTX3090 GPU。
训练时，生成器和鉴别器是交替迭代训练的。测试时，只采用生成器分别实现甲状腺和结节的分割。
为了评估分割算法在超声图像中甲状腺和结节的分割结果，使用了四个评估指标：Dice系数、交并比(Intersection over Union，IoU)、敏感性(Sensitivity，Sen)和特异性(specificity，Spe)。四个评估指标的公式分别为：
其中，TP、TN、FP和FN分别是分割的真阳性、真阴性、假阳性和假阴性。
表1和表2分别是甲状腺分割和结节分割的消融实验结果：
表1
表2
如表1和表2所示，本发明采用的竞争学习思想在甲状腺分割和结节分割中的准确率相比于基础网络均有提升，并且在生成器中加入深监督部分进一步提升了甲状腺和结节的分割准确率。从表2中可以看出本实施例采用Resnet34的分割算法的准确率高于采用Resnet18的分割算法。
本发明方法和现有技术不同分割算法的分割性能如表3所示：
表3
如表3所示，与现有技术分割算法相比，本发明方法在甲状腺分割和结节分割任务中都取得了最好的结果。甲状腺和结节分割的Dice系数分别达到了91.38％和85.79％。
其中，请参照图3所示，在步骤S2中，本发明结合器官和结节的先验知识对器官和结节分割结果进行联合处理，首先对器官分割区域进行空洞填充来去除假阴性，由于器官分割结果中只有一个器官区域，所以选取最大连通域来去除假阳性。结节分割区域同样进行空洞填充来去除假阴性，然后标记结节来获取单个结节分割区域。由于结节是嵌入在器官中的，所以通过先验知识判断单个结节分割区域是否与器官分割区域相交，若否，则剔除所述结节分割区域，若是，则将结节分割区域与器官分割区域进行联合；接着判断是否遍历完最后一个结节分割区域；若否，则返回获取单个结节分割区域的步骤，若是，则输出器官与结节联合分割结果。
其中，在步骤S3中，使用三维空间信息对器官与结节联合分割结果进行分割优化的方法包括：
其中，在步骤S1中，本实施例可以利用三维空间中图像的上下文信息对分割结果进行优化，具体包括根据连续相邻截面图像中的器官与结节联合分割结果以及器官和结节的相对位置关系，对该截面图像中的器官或结节的位置与边界进行预测，得到预测结果，并将所述预测结果与该截面图像中的器官与结节联合分割结果相结合进行分割优化。
本发明主要由器官分割模型、结节分割模型、器官与结节联合分割以及分割优化部分组成，器官与结节联合分割部分结合器官和结节的先验知识来优化器官和结节的分割结果，并且分割优化部分是通过三维空间中的上下文信息来过滤原有分割中的噪声来提升分割准确率。分割模型采用竞争学习的思想来提升分割的准确率。并且在生成器的解码部分采用深监督来融合多尺度的分割结果并提升模型的训练速度。
相应于上述方法的实施例，本发明实施例还提供了一种基于超声图像的器官与结节联合分割系统，包括：
分割模块，其用于将从数据库获取到的超声图像分别输入至器官分割模型和结节分割模型中，得到器官分割结果和结节分割结果；
联合分割模块，其用于对所述器官分割结果和所述结节分割结果进行联合处理，包括筛选得到与器官分割区域相交的结节分割区域，并将筛选得到的结节分割区域与器官分割区域进行联合，得到器官与结节联合分割结果；
分割优化模块，其用于使用三维空间信息对所述器官与结节联合分割结果进行分割优化，得到优化后的分割结果。
在本发明的一个实施例中，所述联合分割模块对所述器官分割结果和所述结节分割结果进行联合处理，包括：
对器官分割区域进行空洞填充，并选取器官分割区域的最大连通域，以及对结节分割区域进行空洞填充，并标记结节，获取单个结节分割区域；
判断所述单个结节分割区域是否与器官分割区域相交；
若否，则剔除所述结节分割区域，若是，则将结节分割区域与器官分割区域进行联合；
判断是否遍历完最后一个结节分割区域；
若否，则返回获取单个结节分割区域的步骤，若是，则输出器官与结节联合分割结果。
在本发明的一个实施例中，所述分割优化模块使用三维空间信息对所述器官与结节联合分割结果进行分割优化，包括：
根据连续相邻截面图像中的器官与结节联合分割结果以及器官和结节的相对位置关系，对该截面图像中的器官或结节的位置与边界进行预测，得到预测结果，并将所述预测结果与该截面图像中的器官与结节联合分割结果相结合进行分割优化。
本实施例的基于超声图像的器官与结节联合分割系统用于实现前述的基于超声图像的器官与结节联合分割方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的基于超声图像的器官与结节联合分割系统用于实现前述的基于超声图像的器官与结节联合分割方法，因此其作用与上述方法的作用相对应，这里不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (8)
1.一种基于超声图像的器官与结节联合分割方法，其特征在于：包括：
将从数据库获取到的超声图像分别输入至器官分割模型和结节分割模型中，得到器官分割结果和结节分割结果；
对所述器官分割结果和所述结节分割结果进行联合处理，包括筛选得到与器官分割区域相交的结节分割区域，并将筛选得到的结节分割区域与器官分割区域进行联合，得到器官与结节联合分割结果；
使用三维空间信息对所述器官与结节联合分割结果进行分割优化，得到优化后的分割结果；
使用三维空间信息对所述器官与结节联合分割结果进行分割优化的方法，包括：
根据超声扫查过程中的空间连续相邻截面图像中的器官与结节联合分割结果以及器官和结节的相对位置关系，对该截面图像中的器官或结节的位置与边界进行预测，得到预测结果，并将所述预测结果与该截面图像中的器官与结节联合分割结果相结合进行分割优化。
2.根据权利要求1所述的基于超声图像的器官与结节联合分割方法，其特征在于：所述器官分割模型和结节分割模型在模型训练阶段时，在将所述超声图像输入至器官分割模型和结节分割模型之前，对所述超声图像进行数据增强处理。
3.根据权利要求1或2所述的基于超声图像的器官与结节联合分割方法，其特征在于：所述器官分割模型和所述结节分割模型均包括生成器和鉴别器，所述生成器包括分割网络和深监督部分，所述分割网络采用预先训练好的Resnet作为编码器，所述编码器使用两个步长为1的3x3卷积代替Resnet中步长为2的7x7卷积。
4.根据权利要求3所述的基于超声图像的器官与结节联合分割方法，其特征在于：所述器官分割模型的分割网络采用Resnet18作为编码器，所述结节分割模型的分割网络采用Resnet34作为编码器，解码器采用跳跃连接融合编码器部分的特征信息，所述深监督部分包括3x3卷积上采样子模块，所述解码器每层的后端均连接有所述3x3卷积上采样子模块，使用所述3x3卷积上采样子模块融合每层特征并输出其分割结果，采用上采样的方式将分割结果上采样到输入图像大小。
5.根据权利要求3所述的基于超声图像的器官与结节联合分割方法，其特征在于：所述器官分割模型和所述结节分割模型的损失函数为：
LGAN(G,D)＝Ex,y～pdata(x,y)log(D(x,y))+Ex～pdata(x)log(1-D(x,G(x)))，
其中，G表示生成器，D表示鉴别器，x和y分别表示输入图像对和对应的金标准。
6.根据权利要求3所述的基于超声图像的器官与结节联合分割方法，其特征在于：对所述器官分割结果和所述结节分割结果进行联合处理的方法，包括：
对器官分割区域进行空洞填充，并选取器官分割区域的最大连通域，以及对结节分割区域进行空洞填充，并标记结节，获取单个结节分割区域；
判断所述单个结节分割区域是否与器官分割区域相交；
若否，则剔除所述结节分割区域，若是，则将结节分割区域与器官分割区域进行联合；
判断是否遍历完最后一个结节分割区域；
若否，则返回获取单个结节分割区域的步骤，若是，则输出器官与结节联合分割结果。
7.一种基于超声图像的器官与结节联合分割系统，其特征在于：包括：
分割模块，其用于将从数据库获取到的超声图像分别输入至器官分割模型和结节分割模型中，得到器官分割结果和结节分割结果；
联合分割模块，其用于对所述器官分割结果和所述结节分割结果进行联合处理，包括筛选得到与器官分割区域相交的结节分割区域，并将筛选得到的结节分割区域与器官分割区域进行联合，得到器官与结节联合分割结果；
分割优化模块，其用于使用三维空间信息对所述器官与结节联合分割结果进行分割优化，得到优化后的分割结果；
所述分割优化模块使用三维空间信息对所述器官与结节联合分割结果进行分割优化，包括：
根据超声扫查过程中的空间连续相邻截面图像中的器官与结节联合分割结果以及器官和结节的相对位置关系，对该截面图像中的器官或结节的位置与边界进行预测，得到预测结果，并将所述预测结果与该截面图像中的器官与结节联合分割结果相结合进行分割优化。
8.根据权利要求7所述的基于超声图像的器官与结节联合分割系统，其特征在于：所述联合分割模块对所述器官分割结果和所述结节分割结果进行联合处理，包括：
对器官分割区域进行空洞填充，并选取器官分割区域的最大连通域，以及对结节分割区域进行空洞填充，并标记结节，获取单个结节分割区域；
判断所述单个结节分割区域是否与器官分割区域相交；
若否，则剔除所述结节分割区域，若是，则将结节分割区域与器官分割区域进行联合；
判断是否遍历完最后一个结节分割区域；
若否，则返回获取单个结节分割区域的步骤，若是，则输出器官与结节联合分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311016028.XA CN116934738B (zh) | 2023-08-14 | 2023-08-14 | 基于超声图像的器官与结节联合分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311016028.XA CN116934738B (zh) | 2023-08-14 | 2023-08-14 | 基于超声图像的器官与结节联合分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116934738A CN116934738A (zh) | 2023-10-24 |
| CN116934738B true CN116934738B (zh) | 2024-03-22 |
Family
ID=88379096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311016028.XA Active CN116934738B (zh) | 2023-08-14 | 2023-08-14 | 基于超声图像的器官与结节联合分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116934738B (zh) |
Citations (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN110060774A (zh) * | 2019-04-29 | 2019-07-26 | 赵蕾 | 一种基于生成式对抗网络的甲状腺结节识别方法 |
| CN110910404A (zh) * | 2019-11-18 | 2020-03-24 | 西南交通大学 | 一种抗噪声数据的乳腺超声结节分割方法 |
| CN112200815A (zh) * | 2020-10-12 | 2021-01-08 | 徐州医科大学附属医院 | 基于语义分割网络PSPNet的甲状腺结节超声图像的分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112529894A (zh) * | 2020-12-22 | 2021-03-19 | 徐州医科大学 | 一种基于深度学习网络的甲状腺结节的诊断方法 |
| CN112651929A (zh) * | 2020-12-09 | 2021-04-13 | 浙江明峰智能医疗科技有限公司 | 基于三维全卷积神经网络及区域生长的医学影像器官分割方法及系统 |
| CN113223005A (zh) * | 2021-05-11 | 2021-08-06 | 天津大学 | 一种甲状腺结节自动分割及分级的智能系统 |
| CN113610859A (zh) * | 2021-06-07 | 2021-11-05 | 东北大学 | 一种基于超声图像的甲状腺结节自动分割方法 |
| CN113610842A (zh) * | 2021-08-27 | 2021-11-05 | 苏州大学 | 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法 |
| CN113781497A (zh) * | 2021-08-10 | 2021-12-10 | 东莞市人民医院 | 一种甲状腺结节的分割方法、装置、存储介质及终端设备 |
| CN113793304A (zh) * | 2021-08-23 | 2021-12-14 | 天津大学 | 一种面向肺癌靶区及危及器官智能分割方法 |
| CN113808146A (zh) * | 2021-10-18 | 2021-12-17 | 山东大学 | 一种医学图像多器官分割方法及系统 |
| CN113990488A (zh) * | 2021-10-29 | 2022-01-28 | 上海交通大学医学院附属瑞金医院 | 甲状腺结节与颈部淋巴结联合诊断系统、介质及电子设备 |
| CN114092465A (zh) * | 2021-11-30 | 2022-02-25 | 刘韬 | 一种基于深度学习的肺癌辅助诊疗系统及方法 |
| CN114119474A (zh) * | 2021-10-22 | 2022-03-01 | 上海吾魅科技有限公司 | 深度学习自动分割超声图像中人体组织的方法 |
| CN114140369A (zh) * | 2020-08-13 | 2022-03-04 | 武汉联影智融医疗科技有限公司 | 器官的分割方法、装置、计算机设备和存储介质 |
| CN114219943A (zh) * | 2021-11-24 | 2022-03-22 | 华南理工大学 | 一种基于深度学习的ct图像危及器官分割系统 |
| CN114511552A (zh) * | 2022-02-24 | 2022-05-17 | 中南大学湘雅医院 | 一种基于元学习的面向甲状腺超声结节模糊边界的分割方法 |
| CN114869337A (zh) * | 2022-04-11 | 2022-08-09 | 安徽理工大学第一附属医院(淮南市第一人民医院) | 一体化仓式甲状腺超声ai自动诊断仪 |
| CN114998307A (zh) * | 2022-07-06 | 2022-09-02 | 重庆大学 | 基于双分辨率网络的两阶段全3d腹部器官分割方法及系统 |
| CN114998296A (zh) * | 2022-06-24 | 2022-09-02 | 常州大学 | 一种基于改进Unet网络的甲状腺结节分割方法 |
| CN115222748A (zh) * | 2022-07-11 | 2022-10-21 | 北京航空航天大学 | 一种基于并联深度u形网络和概率密度图的多器官分割方法 |
| CN115300100A (zh) * | 2022-08-11 | 2022-11-08 | 威朋（苏州）医疗器械有限公司 | 手术引导与监测方法、装置、计算机设备 |
| CN115393584A (zh) * | 2022-08-02 | 2022-11-25 | 哈尔滨理工大学 | 基于多任务超声甲状腺结节分割与分类模型的建立方法、分割与分类方法和计算机设备 |
| CN115578559A (zh) * | 2022-09-26 | 2023-01-06 | 大连大学 | 基于多尺度和跨空间融合的超声乳腺结节端到端分割方法 |
| CN116416221A (zh) * | 2023-03-15 | 2023-07-11 | 延边大学 | 一种超声图像分析方法 |
| CN116485812A (zh) * | 2023-04-13 | 2023-07-25 | 中国矿业大学 | 基于改进U-Net网络的甲状腺腺体和结节分割方法 |
| CN116542988A (zh) * | 2023-04-21 | 2023-08-04 | 杰创智能科技股份有限公司 | 结节分割方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11580646B2 (en) * | 2021-03-26 | 2023-02-14 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on U-Net |
-
2023
- 2023-08-14 CN CN202311016028.XA patent/CN116934738B/zh active Active
Patent Citations (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN110060774A (zh) * | 2019-04-29 | 2019-07-26 | 赵蕾 | 一种基于生成式对抗网络的甲状腺结节识别方法 |
| CN110910404A (zh) * | 2019-11-18 | 2020-03-24 | 西南交通大学 | 一种抗噪声数据的乳腺超声结节分割方法 |
| CN114140369A (zh) * | 2020-08-13 | 2022-03-04 | 武汉联影智融医疗科技有限公司 | 器官的分割方法、装置、计算机设备和存储介质 |
| CN112200815A (zh) * | 2020-10-12 | 2021-01-08 | 徐州医科大学附属医院 | 基于语义分割网络PSPNet的甲状腺结节超声图像的分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112651929A (zh) * | 2020-12-09 | 2021-04-13 | 浙江明峰智能医疗科技有限公司 | 基于三维全卷积神经网络及区域生长的医学影像器官分割方法及系统 |
| CN112529894A (zh) * | 2020-12-22 | 2021-03-19 | 徐州医科大学 | 一种基于深度学习网络的甲状腺结节的诊断方法 |
| CN113223005A (zh) * | 2021-05-11 | 2021-08-06 | 天津大学 | 一种甲状腺结节自动分割及分级的智能系统 |
| CN113610859A (zh) * | 2021-06-07 | 2021-11-05 | 东北大学 | 一种基于超声图像的甲状腺结节自动分割方法 |
| CN113781497A (zh) * | 2021-08-10 | 2021-12-10 | 东莞市人民医院 | 一种甲状腺结节的分割方法、装置、存储介质及终端设备 |
| CN113793304A (zh) * | 2021-08-23 | 2021-12-14 | 天津大学 | 一种面向肺癌靶区及危及器官智能分割方法 |
| CN113610842A (zh) * | 2021-08-27 | 2021-11-05 | 苏州大学 | 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法 |
| CN113808146A (zh) * | 2021-10-18 | 2021-12-17 | 山东大学 | 一种医学图像多器官分割方法及系统 |
| CN114119474A (zh) * | 2021-10-22 | 2022-03-01 | 上海吾魅科技有限公司 | 深度学习自动分割超声图像中人体组织的方法 |
| CN113990488A (zh) * | 2021-10-29 | 2022-01-28 | 上海交通大学医学院附属瑞金医院 | 甲状腺结节与颈部淋巴结联合诊断系统、介质及电子设备 |
| CN114219943A (zh) * | 2021-11-24 | 2022-03-22 | 华南理工大学 | 一种基于深度学习的ct图像危及器官分割系统 |
| CN114092465A (zh) * | 2021-11-30 | 2022-02-25 | 刘韬 | 一种基于深度学习的肺癌辅助诊疗系统及方法 |
| CN114511552A (zh) * | 2022-02-24 | 2022-05-17 | 中南大学湘雅医院 | 一种基于元学习的面向甲状腺超声结节模糊边界的分割方法 |
| CN114869337A (zh) * | 2022-04-11 | 2022-08-09 | 安徽理工大学第一附属医院(淮南市第一人民医院) | 一体化仓式甲状腺超声ai自动诊断仪 |
| CN114998296A (zh) * | 2022-06-24 | 2022-09-02 | 常州大学 | 一种基于改进Unet网络的甲状腺结节分割方法 |
| CN114998307A (zh) * | 2022-07-06 | 2022-09-02 | 重庆大学 | 基于双分辨率网络的两阶段全3d腹部器官分割方法及系统 |
| CN115222748A (zh) * | 2022-07-11 | 2022-10-21 | 北京航空航天大学 | 一种基于并联深度u形网络和概率密度图的多器官分割方法 |
| CN115393584A (zh) * | 2022-08-02 | 2022-11-25 | 哈尔滨理工大学 | 基于多任务超声甲状腺结节分割与分类模型的建立方法、分割与分类方法和计算机设备 |
| CN115300100A (zh) * | 2022-08-11 | 2022-11-08 | 威朋（苏州）医疗器械有限公司 | 手术引导与监测方法、装置、计算机设备 |
| CN115578559A (zh) * | 2022-09-26 | 2023-01-06 | 大连大学 | 基于多尺度和跨空间融合的超声乳腺结节端到端分割方法 |
| CN116416221A (zh) * | 2023-03-15 | 2023-07-11 | 延边大学 | 一种超声图像分析方法 |
| CN116485812A (zh) * | 2023-04-13 | 2023-07-25 | 中国矿业大学 | 基于改进U-Net网络的甲状腺腺体和结节分割方法 |
| CN116542988A (zh) * | 2023-04-21 | 2023-08-04 | 杰创智能科技股份有限公司 | 结节分割方法、装置、电子设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| 基于战略坐标和共现网络的肝脏分割研究可视化分析;姚山虎;冯智超;李娜;容鹏飞;罗爱静;;中华医学图书情报杂志(04);全文 * |
| 改进LIC 模型的甲状腺结节超声图像分割算法;王昕 等;《吉林大学学报( 信息科学版)》;第35卷(第1期);全文 * |
| 联合超声甲状腺结节分割与分类的多任务方法研究;刘侠 等;《智能系统学报》;第18卷(第4期);全文 * |
| 超声影像组学联合Ｃ－ＴＩＲＡＤＳ在甲状腺结节良恶性诊断中的价值;曹婧芳 等;《中华实用诊断与治疗杂志》;第37卷(第7期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116934738A (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yan et al. | Attention-guided deep neural network with multi-scale feature fusion for liver vessel segmentation | |
| CN106682435B (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| KR20230059799A (ko) | 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델 | |
| JP2007537811A (ja) | 結節の検出方法 | |
| CN113554665A (zh) | 一种血管分割方法及装置 | |
| CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
| WO2018049598A1 (zh) | 一种眼底图像增强方法及系统 | |
| CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
| CN113298830B (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
| Yamanakkanavar et al. | MF2-Net: A multipath feature fusion network for medical image segmentation | |
| Wang et al. | Automatic real-time CNN-based neonatal brain ventricles segmentation | |
| Cui et al. | DsUnet: a new network structure for detection and segmentation of ultrasound breast lesions | |
| CN116934738B (zh) | 基于超声图像的器官与结节联合分割方法及系统 | |
| CN116823853A (zh) | 基于改进UNet网络的冠状动脉钙化斑块图像分割系统 | |
| CN116542924A (zh) | 一种前列腺病灶区域检测方法、装置及存储介质 | |
| Dutta et al. | Full-scale deeply supervised attention network for segmenting COVID-19 lesions | |
| CN111598870B (zh) | 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法 | |
| Yin et al. | Subsequent boundary distance regression and pixelwise classification networks for automatic kidney segmentation in ultrasound images | |
| CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| Morís et al. | Generation of novel synthetic portable chest x-ray images for automatic covid-19 screening | |
| Feng et al. | MDIFNet: Multiscale distant information fusion network for thyroid segmentation in 3D ultrasound image | |
| CN113409326B (zh) | 图像分割方法及系统 | |
| CN117078695A (zh) | 一种基于深度学习的颈动脉斑块超声图像识别分割方法 | |
| Khaledyan et al. | Developing an enhanced UNet-based architecture for breast tumor segmentation in ultrasound images | |
| Dhar et al. | Connected ResU-Net: A Deep Learning Model for Segmentation of Breast Cancer Ultrasound Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Xia Yan Inventor after: Yang Changqing Inventor after: Lu Xiaojuan Inventor after: Jin Xunyuan Inventor before: Yang Changqing Inventor before: Xia Yan Inventor before: Lu Xiaojuan Inventor before: Jin Xunyuan |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |