CN116797612B - 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 - Google Patents
基于弱监督深度活动轮廓模型的超声图像分割方法及装置 Download PDFInfo
- Publication number
- CN116797612B CN116797612B CN202311069133.XA CN202311069133A CN116797612B CN 116797612 B CN116797612 B CN 116797612B CN 202311069133 A CN202311069133 A CN 202311069133A CN 116797612 B CN116797612 B CN 116797612B
- Authority
- CN
- China
- Prior art keywords
- image
- ultrasonic image
- roi
- network
- ultrasonic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003709 image segmentation Methods 0.000 title claims abstract description 40
- 230000000694 effects Effects 0.000 title claims description 7
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000003902 lesion Effects 0.000 claims abstract description 28
- 238000002372 labelling Methods 0.000 claims abstract description 24
- 238000002604 ultrasonography Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 10
- 230000008485 antagonism Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 28
- 230000011218 segmentation Effects 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000003042 antagnostic effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供基于弱监督深度活动轮廓模型的超声图像分割方法及装置，涉及超声图像处理的技术领域，所述方法包括：获取原始超声图像；对所述原始超声图像进行虚拟标注，获取标注后的超声图像；提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI；将所述标注后的超声图像和所述ROI输入训练好的弱监督深度活动轮廓模型，输出所述原始超声图像的分割图像。本发明通过自动进行虚拟标注，合理的设置训练步骤和损失函数，得到弱监督深度活动轮廓模型，实现图像自动分割，解决了人工标注效率低下且成本高的问题，提高了图像分割的效率和准确率。
Description
技术领域
本发明涉及超声图像处理的技术领域，尤其涉及基于弱监督深度活动轮廓模型的超声图像分割方法及装置。
背景技术
随着医学成像设备的快速发展和普及，成像技术在临床中得到了广泛应用，成为了开展疾病诊断、手术计划制定、预后评估、随访不可或缺的辅助手段。医学图像分割能够从特定组织图像中提取关键信息，是实现医学图像可视化关键步骤。
实现高精度分割性能的一种常见方法是使用人工标注的标签来训练深度神经网络模型(DNN)，人工标注效率低下且成本高，并且由于所设计的深度神经网络存在一些缺陷，如yolo系列识别速度快，但是准确率低；RCNN系列虽然识别准确率高，但训练速度慢，因此，如何低成本高效标注图像数据集，如何设计训练速度快且准确率高的深度神经网络成为目前制约图像分割发展的因素。
发明内容
本发明提供基于弱监督深度活动轮廓模型的超声图像分割方法及装置，通过对抗网络的弱监督自动生成可靠的分割结果，减少了模型训练和识别的成本，提高了效率。
第一方面，本发明提供基于弱监督深度活动轮廓模型的超声图像分割方法，包括如下步骤：
步骤S0，获取原始超声图像；
步骤S1，对所述原始超声图像进行虚拟标注，获取标注后的超声图像；
步骤S2，提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI；
步骤S3，将所述标注后的超声图像和所述ROI输入训练好的弱监督深度活动轮廓模型，输出所述原始超声图像的分割图像。
进一步的，所述进行虚拟标注为：基于所述原始超声图像的凝视数据与切片数据，对所述病变区域进行标注；
所述提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI为：基于所述标注后的超声图像的凝视数据，对所述病变区域进行标注，以获得所述病变区域周围的感兴趣区域ROI；
其中，所述凝视数据为用户观看超声图像时所凝视的位置，所述切片数据为切片器对超声图像进行切片处理得到的数据。
进一步的，所述步骤S3中，弱监督深度活动轮廓模型训练步骤如下：
步骤S31，获取历史超声图像；
步骤S32，对所述历史超声图像进行虚拟标注，获取标注后的超声图像；
步骤S33，提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI；
步骤S34，将所述标注后的超声图像和所述ROI输入所述弱监督深度活动轮廓模型，得到生成器网络输出的伪图像；
步骤S35，通过所述伪图像和所述标注后的超声图像对所述弱监督深度活动轮廓模型的鉴别器网络进行训练，当所述鉴别器网络判定所述伪图像为真时，训练结束。
进一步的，所述步骤S34包括：
步骤S341，根据所述标注后的超声图像和所述ROI，采用生成器网络中的双线性算子，对所述超声图像进行下采样，得到低分辨率的伪图像；
步骤S342，通过所述生成器网络中的上采样模块，对所述低分辨率的伪图像进行上采样，得到高分辨率的伪图像。
进一步的，所述步骤S35包括：
步骤S351，将所述伪图像和所述标注后的超声图像输入所述鉴别器网络，得到所述鉴别器网络输出当前图像为真的概率值；其中，所述概率值的范围为[0,1]，当所述概率小于0.5，则鉴别器网络判定当前图像为假，否则为真；
步骤S352，当所述鉴别器判定所述伪图像为真时，训练结束。
进一步的，所述生成器网络的对抗性损失函数如下：
lG=lMSE+σlD
其中，lG是生成器网络的对抗性损失函数，lMSE是所述生成器网络和所述鉴别器网络内容标准损失函数，而lD是所述鉴别器网络的对抗性损失函数，σ是10-3。
进一步的，所述鉴别器网络的对抗性损失函数如下：
其中，N是训练的迭代次数，l是原始图像样本，G(l)是根据原始图像样本生成的伪图像，D(G(l))是判定所述生成器网络生成的伪图像为真的概率。
进一步的，所述鉴别器网络的内容标准损失函数如下：
其中，W为所述低分辨率的伪图像和高分辨率的伪图像的宽度，H为所述低分辨率的伪图像和高分辨率的伪图像的高度，r是比例，指的是高分辨率的伪图像，/>指的是低分辨率的伪图像，G是生成器网络。
基于弱监督深度活动轮廓模型的超声图像分割装置，使用如上任一项所述的基于弱监督深度活动轮廓模型的超声图像分割方法，包括如下模块：
图像获取模块：用于获取原始超声图像；
标注模块：与所述图像获取模块连接，对所述原始超声图像进行虚拟标注，生成标注后的超声图像；
ROI获取模块：与所述标注模块连接，用于提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI；
超声图像分割模块：与所述ROI获取模块连接，用于将所述标注后的超声图像和所述ROI输入训练好的弱监督深度活动轮廓模型，输出所述原始超声图像的分割图像。
本发明的一实施例中，所述生成器训练模块，包括：
下采样单元，用于根据所述标注后的超声图像和所述ROI，采用生成器网络中的双线性算子，对所述超声图像进行下采样，得到低分辨率的伪图像；
上采样单元，通过所述生成器网络中的上采样模块，对所述低分辨率的伪图像进行上采样，得到高分辨率的伪图像。
与现有技术相比，本发明的有益效果如下：
1、本发明通过合理的设置训练步骤，得到弱监督深度活动轮廓模型，实现图像自动分割，提高了图像分割的效率和准确率；
2、本发明根据凝视数据和切片数据，自动进行虚拟标注，解决了人工标注效率低下且成本高的问题；
3、为使得对抗性损失在检索生成图像的高频尖锐边缘内容方面更有效，本发明在对抗性损失函数的基础上，又加入了内容标准损失函数，通过内容标准损失函数的设计，可以降低预测结果和实际标签之间的误差，并提高所训练网络的分割准确率，也使本发明获得了高度准确和鲁棒的性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于弱监督深度活动轮廓模型的超声图像分割方法的流程图；
图2为本发明实施例提供的基于弱监督深度活动轮廓模型的超声图像分割装置的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
随着医学成像设备的快速发展和普及，成像技术在临床中得到了广泛应用，成为了开展疾病诊断、手术计划制定、预后评估、随访不可或缺的辅助手段。医学图像往往在诊断和治疗过程中起着至关重要的作用。因此，医学图像成为了是临床分析和医疗干预的最重要的证据来源之一。
医学图像分割能够从特定组织图像中提取关键信息，是实现医学图像可视化关键步骤。分割后的图像被提供给医生用于组织体积的定量分析、诊断、病理改变组织的定位、解剖结构的描绘、治疗计划等不同任务。医学图像信息量巨大，临床上手工勾画医学图像目标区域是一件费时费力的工作，给临床医生的日常工作增加了很大负担。因此，临床上的医学图像分割仍然是一个难题。
利用超声图像进行分割能够获得人体器官参数，对评价人体器官功能具有重要意义。但超声图像具有散斑噪声大、区域模糊、弱边界、难以定位感兴趣区域（ROI）等问题，导致目前自动分割技术无法保证分割精度，而仅仅依靠人工对目标区域进行手动分割工作量巨大，且主观因素较强。
作为一种提供特征图像的实时无创诊断，超声技术成为癌症与病情诊断和随访的一种广泛应用的成像方法。早期发现的身体内部病变一般都是可治愈的疾病，因此高性能的分割方法对于提高身体内部病变诊断的准确性和为医生提供可靠的参考意见具有重要意义。最近，深度神经网络（DNN）被广泛研究来解决语义分割问题。
实现高精度分割性能的一种常见方法是使用实况标签来训练DNN，然而，DNN的数据饥饿特性限制了其在现实环境中的语义分割应用。全监督方法的优异性能通常与全标注的实况标签有关，这是非常耗费人力和耗时的。例如，标记像素级分割标注的成本大约是标记边界框的15倍，是图像级标记的60倍。此外，标记医学图像可能需要专家知识，并且高度依赖放射科医生的经验，由于难以绘制像素级精确区域掩模，放射科医生很容易出错。
鉴于上述诸多原因，真实世界的生物医学图像分割任务可能需要多个领域专家提供数千小时的标注时间。因此，迫切需要创新的方法来帮助人类标注员用更少的工时来完成这个问题。
弱监督学习仅依赖于图像级、框级或点级上的附加标注，是一个很有前途的方向，可以减轻手动生成训练标签的负担，同时获得令人满意的分割结果；与完全监督的方法相比，尽管弱监督标签减少了标注负担，但它们只能为训练提供有限的信息。值得注意的是，在医学成像领域，具有高度可变性的对象实例、复杂的组织和器官，可能会导致不理想的结果。
目前医学工作者已经进行了许多通过弱或半监督学习方法来降低医学图像的标注成本的尝试。
有学者提出一种用于弱监督病变定位的自迁移学习框架，该方法同时优化了相关的分类和定位网络参数，并在胸部X光和乳房X光应用中展示了定位性能。也有其他学者提出了一种多模态卷积神经网络（CNN），用图像级标签在MRI图像中同时定位和分类前列腺癌症，该方法在不预先知道病变位置的情况下表现出令人印象深刻的性能。
在图像分割方面，将改进的Mask R-CNN应用于半监督分割的体素数据，对所有实例使用边界框，对一小部分实例使用像素级标签，通过完全注释的框和少量像素掩码，实现了与细胞核的完全监督方法类似的性能水平。最近，提出了一种称为伪边缘网的弱监督核分割方法，它采用了辅助网络来帮助分割网络仅通过点注释来识别核边界。还有学者通过使用从极值点导出的置信度图作为线索来训练深度神经网络，提出了一种用于CT图像中器官分割的弱监督方法，其结果与完全监督U-Net方法的结果相当。
在上述弱监督方法中，需要相对准确的掩码作为初始标签集，然后用相对准确的注释来训练相应的网络。
本发明实施例提供基于弱监督深度活动轮廓模型的超声图像分割方法，用于解决超声图像的分割问题。
具体地，生成对抗网络（GAN）是由Ian Good fellow表示的框架。通过训练生成器G和鉴别器D的深度神经网络来解决无监督学习的问题，两个网络竞争并合作使用对抗性方法来估计生成模型。GAN模型的基本概念是零和博弈，GAN训练网络通过学习对手来实现纳什均衡，以实现估计数据潜在分布和产生新数据样本的目标。
本发明实施例提供基于弱监督深度活动轮廓模型的超声图像分割方法，首先对所有样本采用虚拟标注的方式，对采集到的超声图像进行图像标注，然后确定并提取数据集中所有输入图像的超声图像病变区域周围的感兴趣区域（ROI），然后使用双线性插值方法对其进行下采样，接着下采样图像被输入到生成器网络以开始训练过程，生成器网络的输出图像将是超分辨率图像，生成的图像然后被馈送到鉴别器网络，鉴别器网络区分生成的图像和真实的图像，最后网络经过训练后，输出的超分辨率图像被传递到图像分割框架，该框架在最后阶段使用Yolov5来识别超声图像中的病变区域。
如上所述，本发明实施例提供基于弱监督深度活动轮廓模型的超声图像分割方法，采用虚拟标注的方式，对采集到的超声图像进行图像标注。此外，通过对深度对抗网络的生成器G、鉴别器D和损失函数进行改进，从而通过对抗网络的弱监督自动生成可靠的分割结果，减少整个模型训练和识别的成本，提高了效率。图1为本发明实施例提供的基于弱监督深度活动轮廓模型的超声图像分割方法的流程图。
本发明实施例针对现有技术的如上技术问题，提供了基于弱监督深度活动轮廓模型的超声图像分割方法，该方法具体步骤可以如下：
步骤S0，获取原始超声图像；
步骤S1，对所述原始超声图像进行虚拟标注，获取标注后的超声图像；
步骤S2，提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI；
所述进行虚拟标注为：基于所述原始超声图像的凝视数据与切片数据，对所述病变区域进行标注；
所述提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI为：基于所述标注后的超声图像的凝视数据，对所述病变区域进行标注，以获得所述病变区域周围的感兴趣区域ROI；
其中，所述凝视数据为用户观看超声图像时所凝视的位置，所述切片数据为切片器对超声图像进行切片处理得到的数据。
具体地，可以使用眼动仪和超声图像3D切片器的定制开发模块对每次扫描的超声图像进行标注，眼睛跟踪器以60Hz的频率生成数据，该数据对应于放射科医生凝视的监视器上的位置，该模块将这些凝视位置以及切片位置（在0.75s间隔上平均）转换为成像体积内的三维坐标，在成像体积内的凝视位置处描绘感兴趣区域（ROI），其直径通过旋转编码旋钮调节。
对于每次扫描的超声图像，记录一系列的片段，直到覆盖整个超声图像为止，然后通过几何模型将一系列片段转换为体积片段和直径图。对于每个体素，识别最近的片段，如果距离在片段直径的一半以内，则体素值被设置为相应的标签，否则为零。直径图的定义类似，只是体素值设置为最近线段的直径，在3D切片器中，切片被显示为叠加在CT扫描上，并在记录每个切片后进行更新以获得实时反馈。
步骤S3，将所述标注后的超声图像和所述ROI输入训练好的弱监督深度活动轮廓模型，输出所述原始超声图像的分割结果。
所述弱监督深度活动轮廓模型训练步骤如下：
步骤S31，获取历史超声图像；
步骤S32，对所述历史超声图像进行虚拟标注，获取标注后的超声图像；
步骤S33，提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI；
步骤S34，将所述标注后的超声图像和所述ROI输入所述弱监督深度活动轮廓模型，得到所述生成器网络输出的伪图像；
步骤S341，根据所述标注后的超声图像和所述ROI，采用生成器网络中的双线性算子，对所述超声图像进行下采样，得到低分辨率的下采样图像；
步骤S342，通过所述生成器网络中的上采样模块，对所述低分辨率的下采样图像进行上采样，得到高分辨率的伪图像。
步骤S35，通过所述伪图像和所述标注后的超声图像对所述弱监督深度活动轮廓模型的鉴别器网络进行训练，当所述鉴别器网络判定所述伪图像为真时，训练结束。
步骤S351，将所述伪图像和所述标注后的超声图像输入所述鉴别器网络，得到所述鉴别器网络输出当前图像为真的概率值；其中，所述概率值的范围为[0,1]，当所述概率小于0.5，则鉴别器网络判定当前图像为假，否则为真；
步骤S352，当所述鉴别器判定所述伪图像为真时，训练结束。
具体地，深度GAN网络使用两个独立的子神经网络，分别称为“生成器G”和“鉴别器D”。在训练过程中，这两个子网络执行最小值和最大值机制。由网络输出的初始分割预测图被输入到鉴别器网络。
本发明的超声图像分割方法的生成器G与传统的深度卷积网络不同，本发明的生成器G架构采用残差网络，这是因为残差网络易于训练，而且深度更深，可以获得更好的结果。
在生成器G的输入层设置一个卷积层，大小为9×9卷积核（kernel），步长为1×1，填充为4；然后，对于16个残差块（ResNet），每个残差块中有两个卷积层，每个卷积层中有3×3个小内核，在输入层有1×1的步长，填充为1，然后是64个特征图，然后是一层批量归一化；上采样块使用具有64个特征图的3×3滤波器内核执行，步长为2。
在每个小批量中，从预处理的超声图像（384×384）中随机选择288×288，然后使用比例因子4下采样以获得大小为72×72的超声图像，从而训练生成器网络生成大小为288×288的超声图像子图像；所有的卷积层都使用Swish激活函数。
在实际的生成器G训练过程中，可以使用双线性算子将超声图像下采样为超声图像子图像，使新的分辨率等于72×72。然后，生成器G架构可以使用288×288的相同高分辨率图像大小将图像从低分辨率上采样为伪超分辨率图像。最后，伪超分辨率图像被馈送到鉴别器D，鉴别器D区分伪超分辨率图像和高分辨率图像，并计算对抗性损失和内容标准损失，然后将其反向传播到生成器网络架构中。
本发明实施例提供的通过所述伪图像和所述超声图像对所述弱监督深度活动轮廓模型的鉴别器网络进行训练的具体步骤可以如下：
将所述伪图像和所述超声图像输入所述鉴别器网络，得到所述鉴别器网络输出的概率值；其中，所述概率值的范围为[0,1]；
在所述概率值为0的情况下，确定所述鉴别器网络对所输入的图像的识别结果为伪图像，在所述概率值为1的情况下，确定所述鉴别器网络对所输入的图像的识别结果为超声图像；
根据所述识别结果与所输入的图像是否一致，得到对所述鉴别器网络和所述生成器网络的训练结果。
具体地，本发明的超声图像分割的鉴别器D网络可以包含一个输入卷积层和七个具有3×3滤波器核的隐藏层；对于每个卷积层，特征图从64扩展到512；当特征图的数量增加2倍时，应用2×2的步长来降低分辨率；最后一个卷积层应用1×1滤波器内核、1×1步长和512特征图，所有的卷积层都可以使用Swish激活函数。
在鉴别器D出现的0到1的概率范围揭示了所提供的图像的真实程度，在0的情况下，鉴别器D将输入图像识别为生成的图像，生成器G网络更新参数，如果在0-1之间出现了更高的概率意味着鉴别器D已经将输入图像识别为真实图像，并且鉴别器网络的参数已经进行了相应地改变。
损失函数是影响本发明所述的基于弱监督深度活动轮廓模型的超声图像分割方法的效率的一个极其关键的因素。采用生成对抗网络GAN模型生成的图像，比之前基于传统卷积神经网络CNN的技术更逼真、更清晰，生成器G训练的概念结合了ResNet中的MSE损失和对抗性损失。
本发明实施例提供的所述生成器网络具有对抗性损失函数，通过以下公式表示：
lG=lMSE+σlD
其中，lG是生成器网络的对抗性损失函数，lMSE是所述生成器网络和所述鉴别器网络内容标准损失函数，而lD是所述鉴别器网络的对抗性损失函数，σ是10-3，乘以所述对抗性损失，以获得更好的梯度性能。
本发明实施例提供的所述鉴别器网络的对抗性损失函数如下：
其中，N是训练的迭代次数，l是原始图像样本，G(l)是根据原始图像样本生成的伪图像，D(G(l))是判定所述生成器网络生成的伪图像为真的概率。
本发明实施例提供的所述鉴别器网络的内容标准损失函数通过以下公式表示：
其中，W为所述低分辨率的伪图像和高分辨率的伪图像的宽度，H为所述低分辨率的伪图像和高分辨率的伪图像的高度，r是比例，指的是高分辨率的伪图像，/>指的是低分辨率的伪图像，G是生成器网络。
MSE损失无法处理重建图像中的高频信息，导致图像极其平滑，所以需要鉴别器D网络的损失来一起改进修正。
对抗性损失是一种损失函数，它通过使用经过训练的鉴别器网络来区分普通图像和超像素图像，使生成器网络生成更类似于高分辨率图像的图像。为使得对抗性损失在检索生成图像的高频尖锐边缘内容方面更有效，本发明在对抗性损失函数的基础上，又加入了内容标准损失函数，通过内容标准损失函数的设计，可以降低预测结果和实际标签之间的误差，并提高所训练网络的分割准确率。
如上所述，本发明实施例提供基于弱监督深度活动轮廓模型的超声图像分割方法，采用虚拟标注的方式，对采集到的超声图像进行图像标注。此外，通过加入内容标准损失函数损失函数，实现对损失函数的改进，从而通过对抗网络的弱监督自动生成可靠的分割结果，减少整个模型训练和识别的成本，提高了效率。
本发明还提出一种基于弱监督深度活动轮廓模型的超声图像分割装置，如图2所示，包括如下模块：
图像获取模块：用于获取原始超声图像；
标注模块：与所述图像获取模块连接，对所述原始超声图像进行虚拟标注，生成标注后的超声图像；
ROI获取模块：与所述标注模块连接，用于提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI；
超声图像分割模块：与所述ROI获取模块连接，用于将所述标注后的超声图像和所述ROI输入训练好的弱监督深度活动轮廓模型，输出所述原始超声图像的分割图像。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.基于弱监督深度活动轮廓模型的超声图像分割方法，其特征在于，包括如下步骤：
步骤S0，获取原始超声图像；
步骤S1，对所述原始超声图像进行虚拟标注，获取标注后的超声图像；
所述进行虚拟标注为：基于所述原始超声图像的凝视数据与切片数据，对病变区域进行标注；
提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI为：基于所述标注后的超声图像的凝视数据，对所述病变区域进行标注，以获得所述病变区域周围的感兴趣区域ROI；
其中，所述凝视数据为用户观看超声图像时所凝视的位置，所述切片数据为切片器对超声图像进行切片处理得到的数据；
步骤S2，提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI；
步骤S3，将所述标注后的超声图像和所述ROI输入训练好的弱监督深度活动轮廓模型，输出所述原始超声图像的分割图像；
弱监督深度活动轮廓模型训练步骤如下：
步骤S31，获取历史超声图像；
步骤S32，对所述历史超声图像进行虚拟标注，获取标注后的超声图像；
步骤S33，提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI；
步骤S34，将所述标注后的超声图像和所述ROI输入所述弱监督深度活动轮廓模型，得到生成器网络输出的伪图像；
步骤S35，通过所述伪图像和所述标注后的超声图像对所述弱监督深度活动轮廓模型的鉴别器网络进行训练，当所述鉴别器网络判定所述伪图像为真时，训练结束；
所述生成器网络的对抗性损失函数如下：
lG=lMSE+σlD
其中，lG是生成器网络的对抗性损失函数，lMSE是所述生成器网络和所述鉴别器网络内容标准损失函数，而lD是所述鉴别器网络的对抗性损失函数， 是10-3；
所述鉴别器网络的对抗性损失函数如下：
；其中，N是训练的迭代次数，l是原始图像样本，G(l)是根据原始图像样本生成的伪图像，D(G(l))是判定所述生成器网络生成的伪图像为真的概率；
所述鉴别器网络的内容标准损失函数如下：
；其中，W为低分辨率的伪图像和高分辨率的伪图像的宽度，H为所述低分辨率的伪图像和高分辨率的伪图像的高度，r是比例，指的是高分辨率的伪图像，/>指的是低分辨率的伪图像，G是生成器网络。
2.根据权利要求1所述的基于弱监督深度活动轮廓模型的超声图像分割方法，其特征在于，所述步骤S34包括：
步骤S341，根据所述标注后的超声图像和所述ROI，采用生成器网络中的双线性算子，对所述超声图像进行下采样，得到低分辨率的伪图像；
步骤S342，通过所述生成器网络中的上采样模块，对所述低分辨率的伪图像进行上采样，得到高分辨率的伪图像。
3.根据权利要求1所述的基于弱监督深度活动轮廓模型的超声图像分割方法，其特征在于，所述步骤S35包括：
步骤S351，将所述伪图像和所述标注后的超声图像输入所述鉴别器网络，得到所述鉴别器网络输出当前图像为真的概率值；其中，所述概率值的范围为[0,1]，当所述概率小于0.5，则鉴别器网络判定当前图像为假，否则为真；
步骤S352，当所述鉴别器网络判定所述伪图像为真时，训练结束。
4.基于弱监督深度活动轮廓模型的超声图像分割装置，使用如权利要求1-3任一项所述的基于弱监督深度活动轮廓模型的超声图像分割方法，其特征在于，包括如下模块：
图像获取模块：用于获取原始超声图像；
标注模块：与所述图像获取模块连接，对所述原始超声图像进行虚拟标注，生成标注后的超声图像；
ROI获取模块：与所述标注模块连接，用于提取所述标注后的超声图像中病变区域周围的感兴趣区域ROI；
超声图像分割模块：与所述ROI获取模块连接，用于将所述标注后的超声图像和所述ROI输入训练好的弱监督深度活动轮廓模型，输出所述原始超声图像的分割图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311069133.XA CN116797612B (zh) | 2023-08-24 | 2023-08-24 | 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311069133.XA CN116797612B (zh) | 2023-08-24 | 2023-08-24 | 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116797612A CN116797612A (zh) | 2023-09-22 |
| CN116797612B true CN116797612B (zh) | 2024-03-29 |
Family
ID=88048385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311069133.XA Active CN116797612B (zh) | 2023-08-24 | 2023-08-24 | 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797612B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576492B (zh) * | 2024-01-18 | 2024-03-29 | 天津医科大学第二医院 | 胃间质瘤在胃超声内镜下的病灶自动标注识别装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102968072A (zh) * | 2012-11-09 | 2013-03-13 | 上海大学 | 基于校正/训练的眼电控制系统和方法 |
| CN110556178A (zh) * | 2018-05-30 | 2019-12-10 | 西门子医疗有限公司 | 用于医学疗法规划的决策支持系统 |
| CN112641457A (zh) * | 2019-10-09 | 2021-04-13 | 西门子医疗有限公司 | 医学成像中的根据表面数据的合成参数化计算机断层扫描 |
| CN113299372A (zh) * | 2021-05-14 | 2021-08-24 | 深圳大学 | 一种光声病理影像的处理方法、存储介质及终端设备 |
| CN113313012A (zh) * | 2021-05-26 | 2021-08-27 | 北京航空航天大学 | 一种基于卷积生成对抗网络的危险驾驶行为识别方法 |
| CN115116039A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 一种车辆座舱外视线追踪方法、装置、车辆和存储介质 |
| CN115116117A (zh) * | 2022-07-19 | 2022-09-27 | 华中师范大学 | 一种基于多模态融合网络的学习投入度数据的获取方法 |
| CN115601824A (zh) * | 2022-10-19 | 2023-01-13 | 华中科技大学（Cn） | 一种二维图像中人眼凝视方向的标注装置、系统和方法 |
-
2023
- 2023-08-24 CN CN202311069133.XA patent/CN116797612B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102968072A (zh) * | 2012-11-09 | 2013-03-13 | 上海大学 | 基于校正/训练的眼电控制系统和方法 |
| CN110556178A (zh) * | 2018-05-30 | 2019-12-10 | 西门子医疗有限公司 | 用于医学疗法规划的决策支持系统 |
| CN112641457A (zh) * | 2019-10-09 | 2021-04-13 | 西门子医疗有限公司 | 医学成像中的根据表面数据的合成参数化计算机断层扫描 |
| CN113299372A (zh) * | 2021-05-14 | 2021-08-24 | 深圳大学 | 一种光声病理影像的处理方法、存储介质及终端设备 |
| CN113313012A (zh) * | 2021-05-26 | 2021-08-27 | 北京航空航天大学 | 一种基于卷积生成对抗网络的危险驾驶行为识别方法 |
| CN115116039A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 一种车辆座舱外视线追踪方法、装置、车辆和存储介质 |
| CN115116117A (zh) * | 2022-07-19 | 2022-09-27 | 华中师范大学 | 一种基于多模态融合网络的学习投入度数据的获取方法 |
| CN115601824A (zh) * | 2022-10-19 | 2023-01-13 | 华中科技大学（Cn） | 一种二维图像中人眼凝视方向的标注装置、系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116797612A (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111008984B (zh) | 医学影像中正常器官的轮廓线自动勾画方法 | |
| US9959486B2 (en) | Voxel-level machine learning with or without cloud-based support in medical imaging | |
| EP2693951B1 (en) | Image analysis for specific objects | |
| CN109754394B (zh) | 三维医学图像处理装置及方法 | |
| US8335359B2 (en) | Systems, apparatus and processes for automated medical image segmentation | |
| CN110310281A (zh) | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 | |
| CN112885453A (zh) | 用于标识后续医学图像中的病理变化的方法和系统 | |
| CN112529834A (zh) | 病理图像模式在3d图像数据中的空间分布 | |
| WO2022213654A1 (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
| Rubin et al. | Biomedical imaging informatics | |
| CN109934829B (zh) | 一种基于三维图割算法的肝脏分割方法 | |
| CN116797612B (zh) | 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 | |
| WO2020085336A1 (ja) | 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器 | |
| CN111445575A (zh) | 威利斯环的图像重建方法、装置、电子设备、存储介质 | |
| Fontanella et al. | Diffusion models for counterfactual generation and anomaly detection in brain images | |
| CN116309647B (zh) | 颅脑病灶图像分割模型构建方法、图像分割方法及设备 | |
| Albarqouni et al. | Single-view X-ray depth recovery: toward a novel concept for image-guided interventions | |
| CN111127636B (zh) | 一种智能的复杂关节内骨折桌面级三维诊断系统 | |
| US20220076421A1 (en) | Method for identifying bone images | |
| CN112884759B (zh) | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 | |
| US20230222748A1 (en) | Method for visualizing at least a zone of an object in at least one interface | |
| JP7346553B2 (ja) | 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定 | |
| Pandey et al. | A Framework for Mathematical Methods in Medical Image Processing | |
| Liu et al. | Study and application of medical image visualization technology | |
| Lankton | Localized statistical models in computer vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |