CN115063388A - 肿瘤超声图像的分割方法、系统、设备及介质 - Google Patents

肿瘤超声图像的分割方法、系统、设备及介质 Download PDF

Info

Publication number
CN115063388A
CN115063388A CN202210772086.4A CN202210772086A CN115063388A CN 115063388 A CN115063388 A CN 115063388A CN 202210772086 A CN202210772086 A CN 202210772086A CN 115063388 A CN115063388 A CN 115063388A
Authority
CN
China
Prior art keywords
tumor
image
image data
original
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210772086.4A
Other languages
English (en)
Inventor
郭翌
刘程诚
汪源源
李小康
薛旦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zongguan Intelligent Technology Co ltd
Fudan University
Original Assignee
Shanghai Zongguan Intelligent Technology Co ltd
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zongguan Intelligent Technology Co ltd, Fudan University filed Critical Shanghai Zongguan Intelligent Technology Co ltd
Priority to CN202210772086.4A priority Critical patent/CN115063388A/zh
Publication of CN115063388A publication Critical patent/CN115063388A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种肿瘤超声图像的分割方法、系统、设备及介质，方法包括：接收图像数据集；所述图像数据集包括源于多个机构的图像数据；每一图像数据包括原始肿瘤超声图像及与之对应的分割标签；从图像数据集中随机选取另一原始肿瘤超声图像，基于另一原始肿瘤超声图像对图像数据集中的每一原始肿瘤超声图像进行增强，形成原始肿瘤超声图像的增强图像数据；从增强图像数据中提取出肿瘤区域初始特征和肿瘤边缘初始特征，将肿瘤区域初始特征和肿瘤边缘初始特征交织融合，以优化所述肿瘤区域初始特征和所述肿瘤边缘初始特征。本发明通过深度学习提取图像中肿瘤等病变区域的显著特征，并输出最终的分割结果，且能很好地适用于多中心小数据集的分割任务。

Description

肿瘤超声图像的分割方法、系统、设备及介质
技术领域
本发明属于医学图像处理技术领域，涉及一种分割方法和系统，特别是涉及一种肿瘤超 声图像的分割方法、系统、设备及介质。
背景技术
由于超声成像的固有属性，消化道肿瘤超声图像往往受散斑噪声干扰的影响，对比度较 低，且病变区域的边界往往较为模糊，难以和背景区域区分开来，因而被认为是非常难以分 割的一种医学图像模态。现有超声图像分割方法在病变区域边缘的分割效果欠佳，且无法很 好地适用于多中心小数据集的分割任务。
因此，如何提供一种肿瘤超声图像的分割方法、系统、设备及介质，以解决现有技术在 病变区域边缘的分割效果欠佳，且无法很好地适用于多中心小数据集的分割任务等缺陷，实 已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种肿瘤超声图像的分割方法、 系统、设备及介质，用于解决现有技术在病变区域边缘的分割效果欠佳，且无法很好地适用 于多中心小数据集的分割任务的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种肿瘤超声图像的分割方法，包 括：接收图像数据集；所述图像数据集包括源于多个机构的图像数据；每一图像数据包括原 始肿瘤超声图像及与之对应的分割标签；从图像数据集中随机选取另一原始肿瘤超声图像， 基于另一原始肿瘤超声图像对所述图像数据集中的每一原始肿瘤超声图像进行增强，形成所 述原始肿瘤超声图像的增强图像数据；从所述增强图像数据中提取出肿瘤区域初始特征和肿 瘤边缘初始特征，将所述肿瘤区域初始特征和所述肿瘤边缘初始特征交织融合，以优化所述 肿瘤区域初始特征和所述肿瘤边缘初始特征。
于本发明的一实施例中，从图像数据集中随机选取另一原始肿瘤超声图像，基于另一原 始肿瘤超声图像对所述图像数据集中的每一原始肿瘤超声图像进行增强，形成所述原始肿瘤 超声图像的增强图像数据的步骤包括：对所述原始肿瘤超声图像分解出包含图像低层级信息 的第一图像数据和包含图像高级语义信息的第二图像数据；利用所述另一原始肿瘤超声图像， 对该原始肿瘤超声图像的第一图像数据进行风格改变，以获取新的第一图像数据；将新的第 一图像数据与所第二图像数据相结合，形成所述原始肿瘤超声图像的增强图像数据。
于本发明的一实施例中，对所述原始肿瘤超声图像分解为包含图像低层级信息的第一图 像数据和包含图像高级语义信息的第二图像数据的步骤包括通过对所述原始肿瘤超声图像进 行时频变换，以得到所述原始肿瘤超声图像的频谱，将所述原始肿瘤超声图像的频谱分解为 所述原始肿瘤超声图像的幅度谱和所述原始肿瘤超声图像的相位谱；其中，所述原始肿瘤超 声图像的幅度谱为所述第一图像数据；所述原始肿瘤超声图像的相位谱为所述第二图像数据。
于本发明的一实施例中，对该原始肿瘤超声图像的第一图像数据进行风格改变，以获取 新的第一图像数据；将新的第一图像数据与所第二图像数据相结合，形成所述原始肿瘤超声 图像的增强图像数据的步骤包括：利用所述另一原始肿瘤超声图像的第一图像数据对该原始 肿瘤超声图像的第一图像数据进行连续线性插值，得到该原始肿瘤超声图像新的第一图像数 据；将该原始肿瘤超声图像新的第一图像数据和第二图像数据结合后，进行视频逆变换，以 形成所述增强图像数据。
于本发明的一实施例中，从所述增强图像数据中提取出肿瘤区域初始特征和肿瘤边缘初 始特征，将所述肿瘤区域初始特征和所述肿瘤边缘初始特征交织融合，以优化所述肿瘤区域 初始特征和所述肿瘤边缘初始特征的步骤包括：从所述肿瘤区域初始特征中提取用于补充肿 瘤边缘的边缘补充特征，并从所述肿瘤边缘初始特征中提取用于补充肿瘤区域的区域补充特 征；将所述边缘补充特征与所述肿瘤区域初始特征交织，以便所述边缘补充特征补充所述肿 瘤区域初始特征；同时，将所述区域补充特征与所述肿瘤边缘初始特征交织，以便所述区域 补充特征补充所述肿瘤边缘初始特征。
于本发明的一实施例中，当交织融合的次数为若干次时，从所述增强图像数据中提取出 肿瘤区域初始特征和肿瘤边缘初始特征，将所述肿瘤区域初始特征和所述肿瘤边缘初始特征 交织融合，以优化所述肿瘤区域初始特征和所述肿瘤边缘初始特征的步骤包括：从上一次交 织融合中获取的肿瘤区域特征和肿瘤边缘特征中分别提取当前交织融合中的边缘补充特征和 区域补充特征；将上一次交织融合中获取的肿瘤区域特征与当前交织融合中的区域补充特征 相加，获取当前交织融合中的肿瘤区域特征，将上一次交织融合中获取的肿瘤边缘特征与当 前交织融合中边缘补充特征相加，获取当前融合中的肿瘤边缘特征；当前交织融合中的肿瘤 区域特征和肿瘤边缘特征用作下一次交织融合，直至循环结束。
于本发明的一实施例中，优化所述肿瘤区域初始特征和所述肿瘤边缘初始特征之后，所 述肿瘤超声图像的分割方法还包括：结合区域形状约束，对优化后的肿瘤区域初始特征与标 准肿瘤区域进行损失评估；及对优化后的肿瘤边缘初始特征与标准肿瘤边缘进行损失评估； 获取总的损失评估。
本发明另一方面提供一种肿瘤超声图像的分割系统，包括：数据接收模块，用于接收图 像数据集；所述图像数据集包括源于多个机构的图像数据；每一图像数据包括原始肿瘤超声 图像及与之对应的分割标签；图像增强模块，用于从图像数据集中随机选取另一原始肿瘤超 声图像，基于另一原始肿瘤超声图像对所述图像数据集中的每一原始肿瘤超声图像进行增强， 形成所述原始肿瘤超声图像的增强图像数据；优化模块，用于从所述增强图像数据中提取出 肿瘤区域初始特征和肿瘤边缘初始特征，将所述肿瘤区域初始特征和所述肿瘤边缘初始特征 交织融合，以优化所述肿瘤区域初始特征和所述肿瘤边缘初始特征。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理 器执行时实现所述肿瘤超声图像的分割方法。
本发明最后一方面提供一种肿瘤超声图像的分割设备，包括：处理器及存储器；所述存 储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述肿 瘤超声图像的分割设备执行所述肿瘤超声图像的分割方法。
如上所述，本发明所述的肿瘤超声图像的分割方法、系统、设备及介质，具有以下有益 效果：
本发明所述肿瘤超声图像的分割方法、系统、设备及介质针对医学超声图像存在的多中 心数据分布偏差、信噪比低、伪影干扰严重、病变区域边界模糊、数据集小等特点，通过深 度学习提取图像中肿瘤等病变区域的显著特征，并输出最终的分割结果，过程全自动化，在 无需人工成本的情况下实现超声图像的自动分割，为医学分析工作提供帮助。且能很好地适 用于多中心小数据集的分割任务。
附图说明
图1显示为本发明的肿瘤超声图像的分割方法于一实施例中的流程示意图。
图2显示为本发明的肿瘤超声图像的分割方法中S12的流程示意图。
图3显示为本发明的频域数据增强的效果示例图。
图4显示为本发明的频域数据增强方法与传统ColorJitter增强方法扩增三倍后的训练集 投影到二维平面的散点图。
图5显示为本发明的肿瘤超声图像的分割方法中S13的处理框架示意图。
图6显示为本发明的肿瘤超声图像的分割方法中S13的流程示意图。
图7显示为本发明的不同网络结构下分割结果的四个示例图。
图8显示为本发明的肿瘤超声图像的分割系统于一实施例中的原理结构示意图。
元件标号说明
1 肿瘤超声图像的分割系统
11 数据接收模块
12 图像增强模块
13 优化模块
14 损失评估模块
S11～S14 步骤
S121～S122 步骤
S131～S132 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图 式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实 际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复 杂。
本发明所述肿瘤超声图像的分割方法、系统、设备及介质的技术原理如下：
本发明通过频域数据增强模块对不同中心图像之间的频谱融合来实现对输入图像风格的 随机转换，进而扩充训练数据集，同时提高特征空间连续性；双分支交互通信网络模块具有 由共享编码器和两个独立解码器组成的双分支结构，同时输出肿瘤区域及肿瘤边缘的分割结 果，编码器和解码器的基本组成单元为多尺度下(上)采样卷积块，两条解码路径之间通过 若干个交互通信模块进行信息耦合，以实现区域特征和边缘特征之间的互补优化；包含形状 正则化约束的损失函数模块用于训练整个双分支网络：对于边缘分支，采用由Dice损失和交 叉熵损失组成的分割损失函数进行训练，而对于区域分支，在分割损失函数的基础上加入形 状正则化项，进一步对分割结果的形状紧凑性进行约束。
实施例一
本实施例提供一种肿瘤超声图像的分割方法，包括：
接收图像数据集；所述图像数据集包括源于多个机构的图像数据；每一图像数据包括原 始肿瘤超声图像及与之对应的分割标签；
从图像数据集中随机选取另一原始肿瘤超声图像，基于另一原始肿瘤超声图像对所述图 像数据集中的每一原始肿瘤超声图像进行增强，形成所述原始肿瘤超声图像的增强图像数据；
从所述增强图像数据中提取出肿瘤区域初始特征和肿瘤边缘初始特征，将所述肿瘤区域 初始特征和所述肿瘤边缘初始特征交织融合，以优化所述肿瘤区域初始特征和所述肿瘤边缘 初始特征。
以下将结合图示对本实施例所提供的肿瘤超声图像的分割方法进行详细描述。请参阅图 1，显示为肿瘤超声图像的分割方法于一实施例中的流程示意图。如图1所示，所述肿瘤超声 图像的分割方法具体包括以下步骤：
S11，接收图像数据集。在本实施例中，所述图像数据集包括源于多个机构的图像数据， 例如，图像数据集记为D，包括K个机构的图像数据的图像数据集D表示为 D＝{D1，D2，…，DK}。每一图像数据包括原始肿瘤超声图像x及与之对应的分割标签y，例 如，图像数据
Figure BDA0003724577730000051
其中，Np为第p个机构的样本数量，i表示第 i幅原始肿瘤图像。对于第p个机构的某一原始肿瘤图像
Figure BDA0003724577730000052
分割标签为图像分割的 金标准(包括标准肿瘤区域与标准肿瘤边缘)，具体为二值图像，其中，白色表示前景肿瘤区 域，黑色表示背景区域。
S12，从图像数据集中随机选取另一原始肿瘤超声图像，基于另一原始肿瘤超声图像对所 述图像数据集中的每一原始肿瘤超声图像进行增强，形成所述原始肿瘤超声图像的增强图像 数据。在本实施例中，另一原始肿瘤超声图像与该原始肿瘤超声图像源于不同机构，通过融 合改变不同机构的肿瘤图像的幅度谱，同时保证相位谱不变，能够在保持图像内容不发生改 变的前提下，完成图像风格的迁移，得到数据增强后的新图像。
请参阅图2，显示为S12的流程示意图。如图2所示，所述S12具体包括以下步骤：
S121，对所述原始肿瘤超声图像分解出包含图像低层级信息的第一图像数据和包含图像 高级语义信息的第二图像数据。
在本实施例中，所述S121包括通过对所述原始肿瘤超声图像进行时频变换，以得到所述 原始肿瘤超声图像的频谱，将所述原始肿瘤超声图像的频谱分解为所述原始肿瘤超声图像的 幅度谱和所述原始肿瘤超声图像的相位谱；其中，所述原始肿瘤超声图像的幅度谱为所述第 一图像数据；所述原始肿瘤超声图像的相位谱为所述第二图像数据。
在本实施例中，采用二维傅里叶变换对所述原始肿瘤超声图像进行时频变换，得到所述 原始肿瘤超声图像的频谱为
Figure BDA0003724577730000061
所述原始肿瘤超声图 像的频谱
Figure BDA0003724577730000062
可以进一步分解为原始肿瘤超声图像的幅度谱
Figure BDA0003724577730000063
和相位谱 Pi p∈RH×W，幅度谱表征原始肿瘤图像的风格等低层级信息，而相位谱则包含原始肿瘤图像包 含更高层级的语义信息。因此，通过所述S12提取不同机构的肿瘤超声图像频谱的幅度谱， 就能够获得不同机构图像的风格表征。
S122，利用所述另一原始肿瘤超声图像，对该原始肿瘤超声图像
Figure BDA0003724577730000064
的第一图像数据进行 风格改变，以获取新的第一图像数据；将新的第一图像数据与所第二图像数据相结合，形成 所述原始肿瘤超声图像的增强图像数据。
具体地，所述S122包括：
S1221，利用所述另一原始肿瘤超声图像
Figure BDA0003724577730000065
的第一图像数据，即幅度谱
Figure BDA0003724577730000066
对该原始肿瘤 超声图像
Figure BDA0003724577730000067
的第一图像数据
Figure BDA0003724577730000068
进行连续线性插值，得到该原始肿瘤超声图像新的第一图像 数据。
具体地，插值得到的原始肿瘤超声图像新的第一图像数据记为
Figure BDA0003724577730000069
Figure BDA00037245777300000610
其中，λ为插值系数，用于控制融合的比例，以确定图像风格改变的程度；M＝1(h,w)∈[-αH:αH,-αW:αW]是一个二值化的掩膜，在幅度谱中央区域即图像低频 部分取值为1，其余地方取值为0，通过系数α控制时频变换的幅度谱区域大小，确保图像不 会失真。请参阅图3，图中给出了某中心的同一幅原始图像在选取不同中心图像作为目标图 像、选取不同插值系数λ的情况下的变换结果。
S1222，将该原始肿瘤超声图像新的第一图像数据和第二图像数据结合后，进行视频逆变 换，以形成所述增强图像数据。
例如，在得到变换后的新频谱
Figure BDA00037245777300000611
后，将第二图像数据Pi p结合，通过傅里叶逆变换回 源域，获取所述原始肿瘤超声图像的增强图像数据
Figure BDA00037245777300000612
增强图像数据
Figure BDA00037245777300000613
与原始肿瘤超声图像
Figure BDA00037245777300000614
的数据内容相同，风格不同，对应的分割标签也相同。
为了证明频域数据增强模块的有效性，首先对比了不使用任何数据增强方法、仅使用随 机旋转和翻转增强方法和进一步添加频域数据增强方法的性能，实验结果如表1所示。从表 中可以看出，在不使用任何数据增强策略的情况下，分割结果的Dice系数不到0.85，使用简 单的随机旋转、随机翻转策略后，Dice系数提升了约3个百分点，而进一步加入所提出的频 域数据增强之后，Dice系数升高至0.89以上，HD95和ASD指标也均有相应提升。这一方面 说明在深度网络训练过程中合理使用数据增强策略的必要性，另一方面也证明了所提出的频 域数据增强方法在多中心小数据集上的有效性。
表1使用不同数据增强方法的实验结果
Figure BDA0003724577730000071
考虑到频域数据增强本质上是对图像风格的改变，而随机改变图像亮度、对比度和饱和 度的传统CorlorJitter增强方法也能够在一定程度上改变图像的风格，因此进一步将这两种增 强方法进行了深入比较。分别使用这两种方法将训练集图像扩增三倍，用归一化互信息 (Normalized Mutual Information,NMI)来衡量图像增强前和增强后的相似度。图像A和图像B 之间的NMI定义为：NMI(A,B)＝H(A)+H(B)-H(A,B)，其中，H(A)和H(B)分别为图像 A和图像B的信息熵，H(A,B)为两幅图像之间的互信息熵，NMI值越小，代表增强效果越好。 此外，将采用不同数据增强方法增强后的训练集投影可视化为二维平面的散点，并计算点集 的分散程度S：
Figure BDA0003724577730000072
cx和cy分别是所有参与计 算的点(xi，yi)的横纵坐标的均值。计算点集的分散程度S用于衡量二维平面上点的离散 程度，其值越大，点集越分散，代表数据增强的效果越好。
请参阅图4，显示为分别使用频域数据增强方法与传统ColorJitter增强方法扩增三倍后的 训练集投影到二维平面的散点图。表2给出了所有增强后图像与对应原始图像间NMI值的平 均值以及散点的分散程度S。使用频域数据增强方法时，增强后的图像与原始图像之间的NMI 值比使用ColorJitter增强方法小了0.762，相似度更低，更为有效。图4中则更直观地展现了 这一点。图中的每一个点都代表降维前的一幅训练集图像，使用频域数据增强方法后，增强 图像对应的数据散点更为分散(图中的红色散点)，训练集数据点的分散程度S值也更高，能 够提供给深度网络的信息量也更大。
表2：ColorJitter增强与频域数据增强的效果对比
Figure BDA0003724577730000081
S13，从所述增强图像数据中提取出肿瘤区域初始特征和肿瘤边缘初始特征，将所述肿瘤 区域初始特征和所述肿瘤边缘初始特征交织融合，以优化所述肿瘤区域初始特征和所述肿瘤 边缘初始特征。请参阅图5，显示为S13的处理框架示意图。如图5所示，本实施例通过共 享编码器ε(θ)和肿瘤区域分支解码器
Figure BDA0003724577730000082
和肿瘤边缘分支解码器DE(γ)(θ，
Figure BDA0003724577730000083
γ为网络 参数)同时从增强图像数据中分割出肿瘤区域与肿瘤边缘。于实际应用中，共享编码器ε(θ) 和肿瘤区域分支解码器
Figure BDA0003724577730000084
和肿瘤边缘分支解码器DE(γ)均由五个下(上)采样块组成。通 过添加肿瘤边缘分割这一辅助任务，能够强化网络，尤其是编码器部分对于输入超声图像中 肿瘤边缘的感知能力。
请参阅图6，显示为S13的流程图。如图6所示，所述S13包括：
S131，从所述肿瘤区域初始特征中提取用于补充肿瘤边缘的边缘补充特征，并从所述肿 瘤边缘初始特征中提取用于补充肿瘤区域的区域补充特征。
S132，将所述边缘补充特征与所述肿瘤区域初始特征交织，以便所述边缘补充特征补充 所述肿瘤区域初始特征；同时，将所述区域补充特征与所述肿瘤边缘初始特征交织，以便所 述区域补充特征补充所述肿瘤边缘初始特征。
在本实施例中，将所述边缘补充特征与所述肿瘤区域初始特征交织为将所述边缘补充特 征与所述肿瘤区域初始特征卷积。
将所述区域补充特征与所述肿瘤边缘初始特征交织为将所述区域补充特征与所述肿瘤边 缘初始特征卷积。
由于在本实施例中，边缘补充特征与肿瘤区域初始特征的交织/区域补充特征与肿瘤边缘 初始特征交织需要交织若干次(交织的次数由解码器的采样块的数量确定)，即通过肿瘤区 域分支解码器
Figure BDA0003724577730000085
和肿瘤边缘分支解码器DE(γ)的下(上)采样块中使用多尺度卷积，以抓 取多尺度的图像特征，帮助网络更好地理解输入，提高信息传播效率。
在实际应用中，肿瘤区域分支解码器
Figure BDA0003724577730000086
和肿瘤边缘分支解码器DE(γ)均由五个下(上) 采样块组成，那么边缘补充特征与肿瘤区域初始特征的交织/区域补充特征与肿瘤边缘初始特 征交织需要5次。
当交织融合的次数为5次时，所述S13具体地包括：
从上一次交织融合中获取的肿瘤区域特征
Figure BDA0003724577730000091
和肿瘤边缘特征
Figure BDA0003724577730000092
中分别提取当前交织融 合中的边缘补充特征
Figure BDA0003724577730000093
和区域补充特征
Figure BDA0003724577730000094
将上一次交织融合中获取的肿瘤区域特征
Figure BDA0003724577730000095
与当前交织融合中的区域补充特征
Figure BDA0003724577730000096
相加 (具体为卷积)，获取当前交织融合中的肿瘤区域特征
Figure BDA0003724577730000097
将上一次交织融合中获取的肿瘤 边缘特征
Figure BDA0003724577730000098
与当前交织融合中边缘补充特征
Figure BDA0003724577730000099
相加(具体为卷积)，获取当前融合中的肿 瘤边缘特征
Figure BDA00037245777300000910
具体地，
Figure BDA00037245777300000911
当前交织融合中的肿瘤区域特征和肿瘤边缘特征用作下一次交织融合，直至循环结束。
本实施例为了证明双分支交互通信网络结构的优越性，将其与单分支网络结构(仅分割肿 瘤区域)、双分支无交互通信网络结构(同时分割肿瘤区域和肿瘤边界，但解码器间不通过交 互通信模块进行特征通信)进行比较，实验结果如表3所示。从表3可见，仅使用单分支网络 直接分割肿瘤区域时，分割结果的Dice系数、HD95和ASD分别为0.877、13.575和4.680， 增加分割肿瘤边缘这一辅助任务之后组成的两个双分支网络的性能在三个评价指标上都有明 显提升。而两个分支之间的信息交互则进一步优化了网络性能，HD95值和ASD值相比无交 互通信时分别下降了约0.8和0.6，Dice系数也有一定升高。
表3：使用不同网络结构的实验结果
Figure BDA00037245777300000912
请参阅图7，图7中给出了不同网络结构下分割结果的四个示例。从图7中可以清晰地 观察到，对于示例一和示例二，使用单分支网络和双分支无交互通信网络也能够大致分割肿 瘤区域，而双分支有交互通信网络则在此基础上进一步强调了肿瘤边缘轮廓分割的准确性； 对于示例三，前两个网络均不能得到完整准确的分割结果，而双分支有交互通信网络则能够 成功定位和分割出肿瘤区域；对于示例四这种有一定难度的样本，虽然双分支有交互通信网 络的分割结果仍不足够完美，但相比于其他两个网络，它也能够从原始图像中正确地定位肿 瘤区域并分割出大致轮廓。
表3和图7中的结果均表明，在本实施例中，双分支交互通信网络通过添加肿瘤边缘分 割这一辅助任务帮助网络强化了对肿瘤区域的识别能力和对肿瘤边缘的感知能力，而两个分 支之间的信息耦合则在此基础上允许它们在训练过程中互相交流、补充、修正和完善特征， 从而进一步提升了网络性能。
S14，结合区域形状约束，对优化后的肿瘤区域初始特征与标准肿瘤区域进行损失评估及 对优化后的肿瘤区域初始特征与标准肿瘤边缘进行损失评估，并获取总的损失评估。
在本实施例中，考虑到肿瘤一般具有形状上的紧凑性，为了获得更合理的分割结果，通 过对肿瘤区域初始特征与标准肿瘤区域进行损失评估中添加区域形状约束对肿瘤区域的分割 形状进行约束。形状紧凑性可以使用等周系数(Iso-Perimetric Quotient，IPQ)来量化，定义为：
Figure BDA0003724577730000101
[0032]其中，A和p分别为区域的面积与周长。等周系数越大，形状紧凑性越 好。在本实施例中，区域形状约束用正则化项表示，正则化项可使用等周系数的倒数，对于 输出的优化后的肿瘤区域初始特征可表示为：
Figure BDA0003724577730000102
其中，Ω为所有像素的集合，
Figure BDA0003724577730000103
分别为第i个像素点在水平和垂直方向上的概率梯度。 超参数∈＝1e-6，其用于保证计算稳定性。当分割结果形状不完整时，区域面积A相对较小而 周长p相对较大，Lshape(p)随之变大。因此，通过在损失函数中添加这一形状正则化约束项 能够更好地帮助网络输出形状紧凑的分割结果。
总的评估之和等于肿瘤区域的损失评估与肿瘤边缘的损失评估，具体表示为：
Figure BDA0003724577730000104
Figure BDA0003724577730000105
Figure BDA0003724577730000106
其中，β为超参数，用于控制形状正则化约束项的权重。为了全面客观地评价所述的基于频 域数据增强和双分支交互通信网络的超声图像分割系统的性能，在多中心消化道肿瘤超声图 像数据集上进行实验，通过计算分割结果与金标准之间的Dice相似系数(Dice similarity coefficient,DSC)、95％Hausdorff距离(95％Hausdorff distance,HD95)和对称位置平均表面距离 (Average symmetric surface distance,ASD)来定量评估系统性能。
本实施例通过以下实验比较损失函数模块中的形状正则化约束项对于网络性能的改善效 果，在其他实验条件保持不变的前提下，损失函数中添加或不添加形状正则化约束项的实验 结果如表4所示。从表4中可以看到，添加形状正则化约束项之后，两个表面距离评价指标 均有下降(HD95从12.641下降至12.051，ASD从4.387下降至4.107)，Dice系数也有约1个 百分点的提升。这表明形状正则化约束项能够有效地对肿瘤边缘形状进行监督，引导网络输 出形状更紧凑、边缘更精确的分割结果。
表4：损失函数中添加或不添加形状正则化约束项的实验结果
Figure BDA0003724577730000111
此外，本实施例开展进一步实验将本系统性能与现有方法进行比较。用于对比实验的网 络同时包含了经典的基于U-Net的分割网络Attention U-Net、DC-UNet和最新的结合 Transformer的分割网络TransUNet。表5中给出了实验结果。从表5中可以发现，虽然TransUNet结合了目前较为流行的Transformer结构，并在一些医学图像分割任务中取得了不 错的结果，但其并不太适用于本实施例中的消化道肿瘤分割任务，分割结果的Dice系数仅为 0.834，HD95更是大于24。而Attention U-Net和DC-UNet作为建立在U-Net基础上的主流医 学图像分割网络，在本实施例中的表现接近，Dice系数均为0.87左右。相比之下，所述系统 的各项指标均是最优的，分割效果得到了显著改善。
表5：不同分割方法的实验结果
Figure BDA0003724577730000112
本实施例所述肿瘤超声图像的分割方法针对医学超声图像存在的多中心数据分布偏差、 信噪比低、伪影干扰严重、病变区域边界模糊、数据集小等特点，通过深度学习提取图像中 肿瘤等病变区域的显著特征，并输出最终的分割结果，过程全自动化，在无需人工成本的情 况下实现超声图像的自动分割，为医学分析工作提供帮助。且能很好地适用于多中心小数据 集的分割任务。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执 行时实现如图1所述的肿瘤超声图像的分割方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算 机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的 计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计 算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存 储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子 (非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、 可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只 读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有 指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存 储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其 他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或 者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。 网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/ 或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序 指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介 质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器 指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或 多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言 —诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机 可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立 的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服 务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域 网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特 网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信 息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵 列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
实施例二
本实施例提供一种肿瘤超声图像的分割系统，包括：
数据接收模块，用于接收图像数据集；所述图像数据集包括源于多个机构的图像数据； 每一图像数据包括原始肿瘤超声图像及与之对应的分割标签；
图像增强模块，用于从图像数据集中随机选取另一原始肿瘤超声图像，基于另一原始肿 瘤超声图像对所述图像数据集中的每一原始肿瘤超声图像进行增强，形成所述原始肿瘤超声 图像的增强图像数据；
优化模块，用于从所述增强图像数据中提取出肿瘤区域初始特征和肿瘤边缘初始特征， 将所述肿瘤区域初始特征和所述肿瘤边缘初始特征交织融合，以优化所述肿瘤区域初始特征 和所述肿瘤边缘初始特征。
以下将结合图示对本实施例所提供的肿瘤超声图像的分割系统进行详细描述。请参阅图 8，显示为肿瘤超声图像的分割系统于一实施例中的原理结构示意图。如图8所示，所述肿瘤 超声图像的分割系统1包括数据接收模块11、图像增强模块12、优化模块13及损失评估模 块14。
所述数据接收模块11用于接收图像数据集。在本实施例中，所述图像数据集包括源于多 个机构的图像数据，例如，图像数据集记为D，包括K个机构的图像数据的图像数据集D表 示为D＝{D1，D2，…，DK}。每一图像数据包括原始肿瘤超声图像x及与之对应的分割标签y， 例如，图像数据
Figure BDA0003724577730000131
其中，Np为第p个机构的样本数量，i表示 第i幅原始肿瘤图像。对于第p个机构的某一原始肿瘤图像
Figure BDA0003724577730000132
分割标签为图像分割 的金标准(包括标准肿瘤区域与标准肿瘤边缘)，具体为二值图像，其中，白色表示前景肿瘤 区域，黑色表示背景区域。
所述图像增强模块12用于从图像数据集中随机选取另一原始肿瘤超声图像，基于另一原 始肿瘤超声图像对所述图像数据集中的每一原始肿瘤超声图像进行增强，形成所述原始肿瘤 超声图像的增强图像数据。在本实施例中，另一原始肿瘤超声图像与该原始肿瘤超声图像源 于不同机构，通过融合改变不同机构的肿瘤图像的幅度谱，同时保证相位谱不变，能够在保 持图像内容不发生改变的前提下，完成图像风格的迁移，得到数据增强后的新图像。
在本实施例中，所述图像增强模块12对所述原始肿瘤超声图像分解出包含图像低层级信 息的第一图像数据和包含图像高级语义信息的第二图像数据。
在本实施例中，所述图像增强模块12通过对所述原始肿瘤超声图像进行时频变换，以得 到所述原始肿瘤超声图像的频谱，将所述原始肿瘤超声图像的频谱分解为所述原始肿瘤超声 图像的幅度谱和所述原始肿瘤超声图像的相位谱；其中，所述原始肿瘤超声图像的幅度谱为 所述第一图像数据；所述原始肿瘤超声图像的相位谱为所述第二图像数据。并利用所述另一 原始肿瘤超声图像，对该原始肿瘤超声图像xi p的第一图像数据进行风格改变，以获取新的第 一图像数据；将新的第一图像数据与所第二图像数据相结合，形成所述原始肿瘤超声图像的 增强图像数据。
在本实施例中，所述图像增强模块12采用二维傅里叶变换对所述原始肿瘤超声图像进行 时频变换，得到所述原始肿瘤超声图像的频谱为
Figure BDA0003724577730000141
所述原始肿瘤超声图像的频谱
Figure BDA0003724577730000142
可以进一步分解为原始肿瘤超声图像的幅度谱
Figure BDA0003724577730000143
和相位谱Pi p∈RH×W，幅度谱表征原始肿瘤图像的风格等低层级信息，而相位谱则包含原始肿瘤图像包含更高层级的语义信息。因此，通过所述S12提取不同机构的肿瘤超声图像频谱的幅度谱，就能够获得不同机构图像的风格表征。
所述图像增强模块12形成所述原始肿瘤超声图像的增强图像数据的过程包括：
首先，所述图像增强模块12利用所述另一原始肿瘤超声图像
Figure BDA0003724577730000144
的第一图像数据，即幅 度谱
Figure BDA0003724577730000145
对该原始肿瘤超声图像
Figure BDA0003724577730000146
的第一图像数据
Figure BDA0003724577730000147
进行连续线性插值，得到该原始肿瘤超 声图像新的第一图像数据。
具体地，插值得到的原始肿瘤超声图像新的第一图像数据记为
Figure BDA0003724577730000148
Figure BDA0003724577730000149
其中，λ为插值系数，用于控制融合的比例，以确定图像风格改变的程度；M＝1(h,w)∈[-αH:αH,-αW:αW]是一个二值化的掩膜，在幅度谱中央区域即图像低频 部分取值为1，其余地方取值为0，通过系数α控制时频变换的幅度谱区域大小，确保图像不 会失真。
接着，所述图像增强模块12将该原始肿瘤超声图像新的第一图像数据和第二图像数据结 合后，进行视频逆变换，以形成所述增强图像数据。
所述优化模块13用于从所述增强图像数据中提取出肿瘤区域初始特征和肿瘤边缘初始 特征，将所述肿瘤区域初始特征和所述肿瘤边缘初始特征交织融合，以优化所述肿瘤区域初 始特征和所述肿瘤边缘初始特征。本实施例所述优化模块13通过共享编码器ε(θ)和肿瘤区 域解码器
Figure BDA00037245777300001410
和肿瘤边缘解码器DE(γ)(θ，
Figure BDA00037245777300001411
γ为网络参数)同时从增强图像数据中分 割出肿瘤区域与肿瘤边缘。于实际应用中，共享编码器ε(θ)和肿瘤区域解码器
Figure BDA00037245777300001412
和肿瘤 边缘解码器DE(γ)均由五个下(上)采样块组成。通过添加肿瘤边缘分割这一辅助任务，能够 强化网络，尤其是编码器部分对于输入超声图像中肿瘤边缘的感知能力。
具体地，所述优化模块13从所述肿瘤区域初始特征中提取用于补充肿瘤边缘的边缘补充 特征，并从所述肿瘤边缘初始特征中提取用于补充肿瘤区域的区域补充特征。将所述边缘补 充特征与所述肿瘤区域初始特征交织，以便所述边缘补充特征补充所述肿瘤区域初始特征； 同时，将所述区域补充特征与所述肿瘤边缘初始特征交织，以便所述区域补充特征补充所述 肿瘤边缘初始特征。
在本实施例中，将所述边缘补充特征与所述肿瘤区域初始特征交织为将所述边缘补充特 征与所述肿瘤区域初始特征卷积。将所述区域补充特征与所述肿瘤边缘初始特征交织为将所 述区域补充特征与所述肿瘤边缘初始特征卷积。
由于在本实施例中，边缘补充特征与肿瘤区域初始特征的交织/区域补充特征与肿瘤边缘 初始特征交织需要交织若干次(交织的次数由解码器的采样块的数量确定)，即通过肿瘤区 域解码器
Figure BDA0003724577730000151
和肿瘤边缘解码器DE(γ)的下(上)采样块中使用多尺度卷积，以抓取多尺度 的图像特征，帮助网络更好地理解输入，提高信息传播效率。
在实际应用中，肿瘤区域解码器
Figure BDA0003724577730000152
和肿瘤边缘解码器DE(γ)均由五个下(上)采样块 组成，那么边缘补充特征与肿瘤区域初始特征的交织/区域补充特征与肿瘤边缘初始特征交织 需要5次。
当交织融合的次数为5次时，所述优化模块13更具体地从上一次交织融合中获取的肿 瘤区域特征
Figure BDA0003724577730000153
和肿瘤边缘特征
Figure BDA0003724577730000154
中分别提取当前交织融合中的边缘补充特征
Figure BDA0003724577730000155
和区域补充 特征
Figure BDA0003724577730000156
将上一次交织融合中获取的肿瘤区域特征
Figure BDA0003724577730000157
与当前交织融合中的区域补充特征
Figure BDA0003724577730000158
相加(具体为卷积)，获取当前交织融合中的肿瘤区域特征
Figure BDA0003724577730000159
将上一次交织融合中获取的 肿瘤边缘特征
Figure BDA00037245777300001510
与当前交织融合中边缘补充特征
Figure BDA00037245777300001511
相加(具体为卷积)，获取当前融合中 的肿瘤边缘特征
Figure BDA00037245777300001512
当前交织融合中的肿瘤区域特征和肿瘤边缘特征用作下一次交织融合， 直至循环结束。
所述损失评估模块14用于结合区域形状约束，对优化后的肿瘤区域初始特征与标准肿瘤 区域进行损失评估；及对优化后的肿瘤边缘初始特征与标准肿瘤边缘进行损失评估；获取总 的损失评估。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实 现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软 件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理 元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的 处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的 形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功 能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这 里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的 各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完 成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个 特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器 (Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该 处理元件可以是通用处理器，如中央处理器(Central Processing Unit，简称CPU)或其它可 以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称 SOC)的形式实现。
实施例三
本实施例提供一种肿瘤超声图像的分割设备，所述设备包括处理器、存储器、收发器、 通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互 间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发 器用于运行计算机程序，使肿瘤超声图像的分割设备执行如上肿瘤超声图像的分割方法的各 个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称 PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。 该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表 示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他 设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至 少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、 网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、 现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、 分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的肿瘤超声图像的分割方法的保护范围不限于本实施例列举的步骤执行顺 序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本 发明的保护范围内。
本发明还提供一种肿瘤超声图像的分割系统，所述肿瘤超声图像的分割系统可以实现本 发明所述的肿瘤超声图像的分割方法，但本发明所述的肿瘤超声图像的分割方法的实现装置 包括但不限于本实施例列举的肿瘤超声图像的分割系统的结构，凡是根据本发明的原理所做 的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所述肿瘤超声图像的分割方法、系统、设备及介质针对医学超声图像 存在的多中心数据分布偏差、信噪比低、伪影干扰严重、病变区域边界模糊、数据集小等特 点，通过深度学习提取图像中肿瘤等病变区域的显著特征，并输出最终的分割结果，过程全 自动化，在无需人工成本的情况下实现超声图像的自动分割，为医学分析工作提供帮助。且 能很好地适用于多中心小数据集的分割任务。因此，本发明有效克服了现有技术中的种种缺 点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技 术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种肿瘤超声图像的分割方法，其特征在于，包括：
接收图像数据集；所述图像数据集包括源于多个机构的图像数据；每一图像数据包括原始肿瘤超声图像及与之对应的分割标签；
从图像数据集中随机选取另一原始肿瘤超声图像，基于另一原始肿瘤超声图像对所述图像数据集中的每一原始肿瘤超声图像进行增强，形成所述原始肿瘤超声图像的增强图像数据；
从所述增强图像数据中提取出肿瘤区域初始特征和肿瘤边缘初始特征，将所述肿瘤区域初始特征和所述肿瘤边缘初始特征交织融合，以优化所述肿瘤区域初始特征和所述肿瘤边缘初始特征。
2.根据权利要求1所述的肿瘤超声图像的分割方法，其特征在于，从图像数据集中随机选取另一原始肿瘤超声图像，基于另一原始肿瘤超声图像对所述图像数据集中的每一原始肿瘤超声图像进行增强，形成所述原始肿瘤超声图像的增强图像数据的步骤包括：
对所述原始肿瘤超声图像分解出包含图像低层级信息的第一图像数据和包含图像高级语义信息的第二图像数据；
利用所述另一原始肿瘤超声图像，对该原始肿瘤超声图像的第一图像数据进行风格改变，以获取新的第一图像数据；将新的第一图像数据与所第二图像数据相结合，形成所述原始肿瘤超声图像的增强图像数据。
3.根据权利要求2所述的肿瘤超声图像的分割方法，其特征在于，
对所述原始肿瘤超声图像分解为包含图像低层级信息的第一图像数据和包含图像高级语义信息的第二图像数据的步骤包括通过对所述原始肿瘤超声图像进行时频变换，以得到所述原始肿瘤超声图像的频谱，将所述原始肿瘤超声图像的频谱分解为所述原始肿瘤超声图像的幅度谱和所述原始肿瘤超声图像的相位谱；其中，所述原始肿瘤超声图像的幅度谱为所述第一图像数据；所述原始肿瘤超声图像的相位谱为所述第二图像数据。
4.根据权利要求3所述的肿瘤超声图像的分割方法，其特征在于，对该原始肿瘤超声图像的第一图像数据进行风格改变，以获取新的第一图像数据；将新的第一图像数据与所第二图像数据相结合，形成所述原始肿瘤超声图像的增强图像数据的步骤包括：
利用所述另一原始肿瘤超声图像的第一图像数据对该原始肿瘤超声图像的第一图像数据进行连续线性插值，得到该原始肿瘤超声图像新的第一图像数据；
将该原始肿瘤超声图像新的第一图像数据和第二图像数据结合后，进行视频逆变换，以形成所述增强图像数据。
5.根据权利要求2所述的肿瘤超声图像的分割方法，其特征在于，从所述增强图像数据中提取出肿瘤区域初始特征和肿瘤边缘初始特征，将所述肿瘤区域初始特征和所述肿瘤边缘初始特征交织融合，以优化所述肿瘤区域初始特征和所述肿瘤边缘初始特征的步骤包括：
从所述肿瘤区域初始特征中提取用于补充肿瘤边缘的边缘补充特征，并从所述肿瘤边缘初始特征中提取用于补充肿瘤区域的区域补充特征；
将所述边缘补充特征与所述肿瘤区域初始特征交织，以便所述边缘补充特征补充所述肿瘤区域初始特征；同时，将所述区域补充特征与所述肿瘤边缘初始特征交织，以便所述区域补充特征补充所述肿瘤边缘初始特征。
6.根据权利要求5所述的肿瘤超声图像的分割方法，其特征在于，当交织融合的次数为若干次时，从所述增强图像数据中提取出肿瘤区域初始特征和肿瘤边缘初始特征，将所述肿瘤区域初始特征和所述肿瘤边缘初始特征交织融合，以优化所述肿瘤区域初始特征和所述肿瘤边缘初始特征的步骤包括：
从上一次交织融合中获取的肿瘤区域特征和肿瘤边缘特征中分别提取当前交织融合中的边缘补充特征和区域补充特征；
将上一次交织融合中获取的肿瘤区域特征与当前交织融合中的区域补充特征相加，获取当前交织融合中的肿瘤区域特征，将上一次交织融合中获取的肿瘤边缘特征与当前交织融合中边缘补充特征相加，获取当前融合中的肿瘤边缘特征；
当前交织融合中的肿瘤区域特征和肿瘤边缘特征用作下一次交织融合，直至循环结束。
7.根据权利要求1所述的肿瘤超声图像的分割方法，其特征在于，优化所述肿瘤区域初始特征和所述肿瘤边缘初始特征之后，所述肿瘤超声图像的分割方法还包括：
结合区域形状约束，对优化后的肿瘤区域初始特征与标准肿瘤区域进行损失评估；及
对优化后的肿瘤边缘初始特征与标准肿瘤边缘进行损失评估；
获取总的损失评估。
8.一种肿瘤超声图像的分割系统，其特征在于，包括：
数据接收模块，用于接收图像数据集；所述图像数据集包括源于多个机构的图像数据；每一图像数据包括原始肿瘤超声图像及与之对应的分割标签；
图像增强模块，用于从图像数据集中随机选取另一原始肿瘤超声图像，基于另一原始肿瘤超声图像对所述图像数据集中的每一原始肿瘤超声图像进行增强，形成所述原始肿瘤超声图像的增强图像数据；
优化模块，用于从所述增强图像数据中提取出肿瘤区域初始特征和肿瘤边缘初始特征，将所述肿瘤区域初始特征和所述肿瘤边缘初始特征交织融合，以优化所述肿瘤区域初始特征和所述肿瘤边缘初始特征。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述肿瘤超声图像的分割方法。
10.一种肿瘤超声图像的分割设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述肿瘤超声图像的分割设备执行如权利要求1至7中任一项所述肿瘤超声图像的分割方法。
CN202210772086.4A 2022-06-30 2022-06-30 肿瘤超声图像的分割方法、系统、设备及介质 Pending CN115063388A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210772086.4A CN115063388A (zh) 2022-06-30 2022-06-30 肿瘤超声图像的分割方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210772086.4A CN115063388A (zh) 2022-06-30 2022-06-30 肿瘤超声图像的分割方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN115063388A true CN115063388A (zh) 2022-09-16

Family

ID=83203554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210772086.4A Pending CN115063388A (zh) 2022-06-30 2022-06-30 肿瘤超声图像的分割方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115063388A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197156A (zh) * 2022-10-21 2023-12-08 南华大学 基于双解码器UNet和Transformer的病变分割方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197156A (zh) * 2022-10-21 2023-12-08 南华大学 基于双解码器UNet和Transformer的病变分割方法及系统
CN117197156B (zh) * 2022-10-21 2024-04-02 南华大学 基于双解码器UNet和Transformer的病变分割方法及系统

Similar Documents

Publication Publication Date Title
Possa et al. A multi-resolution FPGA-based architecture for real-time edge and corner detection
CN111028242A (zh) 一种肿瘤自动分割系统、方法及电子设备
You et al. Bootstrapping semi-supervised medical image segmentation with anatomical-aware contrastive distillation
CN111507909A (zh) 一种有雾图像清晰化的方法、装置及存储介质
Yu et al. PCANet based nonlocal means method for speckle noise removal in ultrasound images
CN107688783B (zh) 3d图像检测方法、装置、电子设备及计算机可读介质
Toda et al. Lung cancer CT image generation from a free-form sketch using style-based pix2pix for data augmentation
CN111091524A (zh) 基于深度卷积神经网络的前列腺经直肠超声图像分割方法
CN111882565B (zh) 一种图像二值化方法、装置、设备及存储介质
CN116596846A (zh) 图像分割方法、图像分割模型构建方法、装置及介质
Liao et al. DeepWSD: Projecting degradations in perceptual space to wasserstein distance in deep feature space
CN115063388A (zh) 肿瘤超声图像的分割方法、系统、设备及介质
Chi et al. CT image super-resolution reconstruction based on global hybrid attention
CN111612075A (zh) 基于联合特征重组和特征混合的兴趣点、描述符提取方法
Sahu et al. An application of deep dual convolutional neural network for enhanced medical image denoising
Sun et al. MCnet: Multiscale visible image and infrared image fusion network
Singh et al. SEAM-an improved environmental adaptation method with real parameter coding for salient object detection
CN116563189B (zh) 一种基于深度学习的医学图像跨对比度合成方法及系统
Tumakov et al. Elimination of defects in mammograms caused by a malfunction of the device matrix
El-Shafai et al. Single image super-resolution approaches in medical images based-deep learning: a survey
Byra et al. Exploring the performance of implicit neural representations for brain image registration
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
Cui et al. SCU-Net++: A Nested U-Net Based on Sharpening Filter and Channel Attention Mechanism
Wu et al. Non‐uniform image blind deblurring by two‐stage fully convolution network
CN111445406B (zh) 一种低剂量ct图片质量改善方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination