CN114758137A - 超声图像分割方法、装置及计算机可读存储介质 - Google Patents

超声图像分割方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN114758137A
CN114758137A CN202210671517.8A CN202210671517A CN114758137A CN 114758137 A CN114758137 A CN 114758137A CN 202210671517 A CN202210671517 A CN 202210671517A CN 114758137 A CN114758137 A CN 114758137A
Authority
CN
China
Prior art keywords
feature map
level semantic
semantic feature
information
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210671517.8A
Other languages
English (en)
Other versions
CN114758137B (zh
Inventor
谈继勇
王旭东
李元伟
杨洪光
刘根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwei Taizhou Intelligent Medical Technology Co ltd
Original Assignee
Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hanwei Intelligent Medical Technology Co ltd filed Critical Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority to CN202210671517.8A priority Critical patent/CN114758137B/zh
Publication of CN114758137A publication Critical patent/CN114758137A/zh
Application granted granted Critical
Publication of CN114758137B publication Critical patent/CN114758137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种超声图像分割方法、装置及计算机可读存储介质，属于图像处理技术领域。本申请通过采用获取待分割的超声图像，并确定所述待分割的超声图像对应的高级语义特征图和低级语义特征图；根据所述高级语义特征图确定病灶的语义信息和位置信息；获取不同尺寸的扩展卷积对所述低级语义特征图的模糊辨别处理结果，并根据所述处理结果确定所述病灶的边缘信息；聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息；根据聚合结果确定分割预测结果的技术方案，解决采用超声图像进行病灶分割的精度低的问题，通过本申请的技术方案对超声图像进行处理并提高了病灶的分割精度。

Description

超声图像分割方法、装置及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种超声图像分割方法、装置及计算机可读存储介质。
背景技术
当前，乳腺癌是女性最常发现的癌症之一，它严重威胁到女性的健康和生命。因此，早期对其准确的筛查与诊断对乳腺癌的治疗具有重要的作用。相关技术中，随着深度学习的快速发展，深度学习采用卷积神经网络实现超声图像的分割等任务，极大的缓解了医生繁重的劳动，减轻了医生的工作量。但是，由于超声图像具有高噪声、边缘模糊、灰度不均、病灶难辨别等问题，导致基于超声图像进行病灶分割的精度降低。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种超声图像分割方法、装置及计算机可读存储介质，旨在解决采用超声图像进行病灶分割的精度低的技术问题。
为实现上述目的，本申请提供一种超声图像分割方法，所述超声图像分割方法包括：
获取待分割的超声图像，并确定所述待分割的超声图像对应的高级语义特征图和低级语义特征图；
根据所述高级语义特征图确定病灶的语义信息和位置信息；
获取不同尺寸的扩展卷积对所述低级语义特征图的模糊辨别处理结果，并根据所述处理结果确定所述病灶的边缘信息；
聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息，得到分割预测结果。
在一实施例中，所述获取不同尺寸的扩展卷积对所述低级语义特征图的模糊辨别处理结果，并根据所述处理结果确定所述病灶的边缘信息的步骤包括：
采用各个尺寸的扩展卷积从所述低级语义特征图中提取病灶特征；
对各个所述扩展卷积提取的所述病灶特征分别进行通道注意力机制处理，得到通道注意力权重；
对各个所述扩展卷积提取的所述病灶特征分别进行空间注意力机制处理，得到空间注意力权重；
根据所述通道注意力权重、所述空间注意力权重以及所述低级语义特征图得到所述病灶的边缘信息。
在一实施例中，所述对各个所述扩展卷积提取的所述病灶特征分别进行通道注意力机制处理，得到通道注意力权重的步骤包括：
对各个所述扩展卷积提取的所述病灶特征在通道上分别进行池化操作，以获得各个所述扩展卷积提取的所述病灶特征对应的第一池化特征图；
对所述第一池化特征图进行卷积操作，以获得各个所述扩展卷积提取的所述病灶特征对应的通道注意力权重；
获取各个所述通道注意力权重中权重占比最大的通道注意力权重。
所述对各个所述扩展卷积提取的所述病灶特征分别进行空间注意力机制处理，得到空间注意力权重的步骤包括：
对各个所述扩展卷积提取的所述病灶特征在空间上分别进行池化操作，以获得各个所述扩展卷积提取的所述病灶特征对应的第二池化特征图；
对所述第二池化特征图进行卷积操作，以获得各个所述扩展卷积提取的所述病灶特征对应的空间注意力权重。
在一实施例中，所述根据所述通道注意力权重、所述空间注意力权重以及所述低级语义特征图得到所述病灶的边缘信息的步骤包括：
将所述通道注意力权重与所述低级语义特征图进行相乘，得到通道注意力特征图，并将所述空间注意力权重与所述低级语义特征图进行相乘，得到空间注意力特征图；
将所述通道注意力特征图以及所述空间注意力特征图进行级联融合，得到注意力特征融合图，以根据所述注意力特征融合图得到所述病灶的边缘信息。
在一实施例中，所述高级语义特征图包括第一高级语义特征图、第二高级语义特征图以及第三高级语义特征图，且所述第一高级语义特征图、所述第二高级语义特征图以及所述第三高级语义特征图的分辨率依次增大；所述根据所述高级语义特征图确定病灶的语义信息和位置信息的步骤包括：
将所述第一高级语义特征图上采样至与所述第二高级语义特征图相同的尺寸，得到上采样后的所述第一高级语义特征图；
对上采样后的所述第一高级语义特征图进行卷积操作，得到第一子高级语义特征图以及第二子高级语义特征图；
将所述第一子高级语义特征图与所述第二高级语义特征图相乘，得到第一高级语义融合特征图；
将所述第一高级语义融合特征图与所述第二子高级语义特征图进行连接，得到第二高级语义融合特征图；
对所述第二高级语义融合特征图进行卷积操作，得到第三高级语义融合特征图；
将所述第三高级语义融合特征图与第四高级语义融合特征图进行连接并进行卷积操作，得到高级语义融合特征图，以根据所述高级语义融合特征图得到所述病灶的语义信息和位置信息；其中，所述第四高级语义融合特征图根据所述第一高级语义特征图、所述第二高级语义特征图以及所述第三高级语义特征融合得到的。
在一实施例中，所述聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息的步骤包括：
将所述病灶的语义信息、位置信息以及所述病灶的边缘信息进行聚合，得到所述待分割的超声图像的目标特征图；
将所述待分割的超声图像的目标特征图与预设卷积单元进行卷积操作，得到所述待分割的超声图像的分割预测结果；
在一实施例中，所述聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息，得到分割预测结果的步骤之后，还包括：
将所述待分割的超声图像的分割预测结果以及所述低级语义特征图对应的注意力特征融合图输入卷积神经网络模型进行训练，得到训练权重；
判断所述训练权重是否为最优模型权重；
若否，判断训练次数是否达到预设次数；
当所述训练次数达到预设次数时，生成所述卷积神经网络模型的迭代训练暂停指令；
当所述训练次数未达到预设次数时，返回执行所述获取待分割的超声图像，并确定所述待分割的超声图像对应的高级语义特征图和低级语义特征图的步骤。
在一实施例中，所述将所述待分割的超声图像的目标特征图以及所述低级语义特征图对应的注意力特征融合图输入卷积神经网络模型进行训练，得到训练权重的步骤包括：
将所述待分割的超声图像的分割预测结果、所述低级语义特征图对应的注意力特征融合图以及带有标签的超声图像输入卷积神经网络模型；
基于主要损失函数、辅助损失函数对所述卷积神经网络模型进行训练，得到训练权重。
此外，为实现上述目的，本申请还提供一种图像处理装置，所述图像处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声图像分割程序，所述超声图像分割程序被所述处理器执行时实现如上所述的超声图像分割方法的步骤。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有超声图像分割程序，所述超声图像分割程序被处理器执行时实现如上所述的超声图像分割方法的步骤。
本申请实施例中提供的一种超声图像分割方法、装置及计算机可读存储介质的技术方案，本申请通过采用金字塔视觉转换器确定待分割的超声图像对应的高级语义特征图和低级语义特征图，进而克服噪声干扰并提取更丰富和鲁棒的特征；应用级联融合模块从高级特征中收集病灶的语义信息和位置信息；同时，采用模糊病灶识别模块捕获低级特征中病灶的边缘特征信息；最后，利用相似聚合模块聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息，进而得到分割预测结果的技术方案，从而解决超声图像进行病灶分割的精度低的问题。通过本申请的技术方案提高了病灶的分割精度。
附图说明
图1为本申请超声图像分割方法第一实施例的流程示意图；
图2为本申请超声图像分割方法第一实施例步骤S120的细化流程示意图；
图3为本申请超声图像分割方法第一实施例步骤S130的细化流程示意图；
图4为本申请超声图像分割方法第一实施例步骤S132的细化流程示意图；
图5为本申请超声图像分割方法第一实施例步骤S134的细化流程示意图；
图6为本申请超声图像分割方法第一实施例步骤S140的细化流程示意图；
图7为本申请超声图像分割方法第二实施例的流程示意图；
图8为本申请图像处理装置的结构示意图；
图9为本申请超声图像分割方法一实施例的流程示意图；
图10为本申请超声图像分割方法中所采用的卷积神经网络模型示意图；
图11为本申请模糊辨别处理的流程示意图；
图12为本申请聚合处理的流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明，上述附图只是一个实施例图，而不是发明的全部。
具体实施方式
为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
以下将以实施例的方式对本申请技术方案展开描述：
如图1所示，在本申请的第一实施例中，本申请的超声图像分割方法，包括以下步骤：
步骤S110，获取待分割的超声图像，并确定所述待分割的超声图像对应的高级语义特征图和低级语义特征图。
在本实施例中，相关技术在采用超声图像训练得到深度神经网络模型的过程中，由于该超声图像具有高噪声、边缘模糊、灰度不均，病灶难辨别等问题，若不对超声图像进行预处理而直接采用该超声图像训练得到深度神经网络模型，将会导致该深度神经网络模型精度降低，进而在将待分割的超声图像输入训练好的深度神经网络模型时，导致病灶的分割精度降低。基于此，本申请提出了一种超声图像分割方法，本申请通过采用金字塔视觉转换器确定待分割的超声图像对应的高级语义特征图和低级语义特征图，进而克服噪声干扰并提取更丰富和鲁棒的特征；应用级联融合模块从高级特征中收集病灶的语义信息和位置信息；同时，采用模糊病灶识别模块捕获低级特征中病灶的边缘特征信息；最后，利用相似聚合模块聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息，进而根据聚合结果确定分割预测结果的技术方案，从而解决超声图像进行病灶分割的精度低的问题。通过本申请的技术方案提高了病灶的分割精度。
在本实施例中，本申请待分割的超声图像可以是身体各部位对应的超声图像。例如，待分割的超声图像可以是乳腺超声图像、膀胱超声图像、胃部超声图像等。本申请以待分割的超声图像为乳腺超声图像为例。所述乳腺超声图像可以采用医疗超声检测设备检测得到，也可以从医院数据库或者网站中选择公开的历史超声图像作为待分割的乳腺超声图像。超声图像包含了许多临床诊断信息，可辅助医生进行医疗诊断。可将待分割的超声图像输入初始网络模型中进行训练，得到训练好的深度神经网络模型。在一实施例中，可以获取多张待分割的乳腺超声图像，对各所述待分割的乳腺超声图像进行预处理，并将预处理后的待分割的乳腺超声图像输入初始网络模型中进行训练，得到训练好的深度神经网络模型。
在本实施例中，本申请的卷积神经网络模型用于对乳腺超声图像进行自动分割，通过该卷积神经网络模型可以将乳腺超声图像中的病灶分割出来并绘制轮廓。参照图10，该卷积神经网络模型包括四个模块：分别为金字塔视觉转换器PVTv2 作为网络的特征提取模块、级联融合模块CFM、模糊辨别模块CBIM和相似度聚合模块SAM。通过这四个模块对乳腺超声图像进行分割。
具体的，参照图10，金字塔视觉转换器PVTv2模块作为网络的编码器，该模块采用较CNNs有着更好的性能和抗干扰能力的PVT(pyramid vision Transform，可以输出高分辨率特征图，也可以使用渐进式收缩金字塔来减少计算)作为主干网络，为更适应乳腺超声图像病灶的分割任务，本模型去除了最后一个分类层，并在由不同阶段生成的四个多尺度特征图(即X1、X2、X3和X4)。其中，在这些特征图中，各个高级语义特征图的分辨率不同。例如，待分割的乳腺超声图像的分辨率为H*W*3。X1的分辨率为H/4*W/4*64，X2的分辨率为H/8*W/8*128，X3的分辨率为H/16*W/16*320，X4的分辨率为H/32*W/32*512。X1为低级语义特征图，X1给出了乳腺病灶的详细形状特征。X2、X3和X4为高级语义特征图，其提供了高级语义特征，为乳腺超声图像病灶分割提供更加丰富的特征。通过对待分割的超声图像的分辨率进行转换，从而得到高级语义特征图以及低级语义特征图。
步骤S120，根据所述高级语义特征图确定病灶的语义信息和位置信息。
在本实施例中，在得到高级语义特征图以及低级语义特征图之后，进一步将所述高级语义特征图输入级联融合模块从而得到病灶的语义信息和位置信息。参照图10，级联融合模块CFM是一个由3×3卷积层、批量归一化和ReLU 组成的卷积单元。级联融合模块主要由两个级联部分组成，在第一部分中，将最高级别的特征图X4上采样到与X3相同的大小，然后将结果通过两个卷积单元生成X4_1和X4_2。然后，将X4_1和X3相乘，并将结果与X4_2连接起来。最后，我们使用卷积单元来平滑连接的特征，产生融合的特征图，第二部分遵循与第一部分相似的过程。因此，级联融合模块可从高级语义特征图（X2、X3和X4）中收集病灶的语义信息和位置信息。
具体的，在一实施例中，参照图2，图2为步骤S120的细化流程示意图，图2中包括以下步骤：
步骤S121，将所述第一高级语义特征图上采样至与所述第二高级语义特征图相同的尺寸，得到上采样后的所述第一高级语义特征图；
步骤S122，对上采样后的所述第一高级语义特征图进行卷积操作，得到第一子高级语义特征图以及第二子高级语义特征图；
步骤S123，将所述第一子高级语义特征图与所述第二高级语义特征图相乘，得到第一高级语义融合特征图；
步骤S124，将所述第一高级语义融合特征图与所述第二子高级语义特征图进行连接，得到第二高级语义融合特征图；
步骤S125，对所述第二高级语义融合特征图进行卷积操作，得到第三高级语义融合特征图；
步骤S126，将所述第三高级语义融合特征图与第四高级语义融合特征图进行连接并进行卷积操作，得到高级语义融合特征图，以根据所述高级语义融合特征图得到所述病灶的语义信息和位置信息；其中，所述第四高级语义融合特征图根据所述第一高级语义特征图、所述第二高级语义特征图以及所述第三高级语义特征融合得到的。
在本实施例中，所述高级语义特征图包括第一高级语义特征图、第二高级语义特征图以及第三高级语义特征图，且所述第一高级语义特征图、所述第二高级语义特征图以及所述第三高级语义特征图的分辨率依次增大。参照图10，第一高级语义特征图为X4，第二高级语义特征图为X3，第三高级语义特征图为X2。第一子高级语义特征图为X4_1。第二子高级语义特征图为X4_2。具体的，进行级联融合处理的过程可分为以下两部分。
第一部分、可将X4上采样至与所述X3相同的尺寸，得到上采样后的所述第一高级语义特征图，对上采样后的所述第一高级语义特征图经过两个卷积单元进行卷积操作，得到第一子高级语义特征图以及第二子高级语义特征图；将所述第一子高级语义特征图与所述第二高级语义特征图相乘，得到第一高级语义融合特征图；将所述第一高级语义融合特征图与所述第二子高级语义特征图进行相乘，得到第二高级语义融合特征图；对所述第二高级语义融合特征图使用卷积单元进行卷积操作，得到第三高级语义融合特征图，所述第三高级语义融合特征图为X34。
第二部分、可将所述第三高级语义融合特征图与第四高级语义融合特征图进行连接并进行卷积操作，得到高级语义融合特征图，以根据所述高级语义融合特征图得到所述病灶的语义信息和位置信息；其中，所述第四高级语义融合特征图根据所述第一高级语义特征图、所述第二高级语义特征图以及所述第三高级语义特征融合得到的。具体的，将X4、X3以及X34上采样至与X2相同的尺寸，得到上采样后的所述第三高级语义特征图；对上采样后的所述第三高级语义特征图进行卷积操作，得到第三子高级语义特征图。将所述第三子高级语义特征图与所述第三高级语义融合特征图相乘后经过两个相同的卷积单元进行卷积操作，从而得到高级语义融合特征图。从经过级联融合处理后的所述高级语义融合特征图中，可确定病灶的语义信息和位置信息。
在本实施例的技术方案中，通过对高级语义特征图进行级联融合处理，进而确定病灶的语义信息和位置信息。
步骤S130，获取不同尺寸的扩展卷积对所述低级语义特征图的模糊辨别处理结果，并根据所述处理结果确定所述病灶的边缘信息。
在本实施例中，模糊辨别模块CBIM 被应用于捕获低级语义特征X1中模糊的病灶的边缘信息，使用扩张率为3，5，7的扩展卷积进行特征提取，并与空间-通道注意机制来更多地关注潜在的多尺度的病灶，减少了低级语义特征中的不正确信息或噪声。
具体的，在一实施例中，参照图3，图3为步骤S130的细化流程示意图，图3中包括以下步骤：
步骤S131，采用各个尺寸的扩展卷积从所述低级语义特征图中提取病灶特征；
步骤S132，对各个所述扩展卷积提取的所述病灶特征分别进行通道注意力机制处理，得到通道注意力权重。
在本实施例中，参照图11，特征的每一个通道都代表着一个专门的检测器，因此，通道注意力是关注什么样的特征是有意义的。为了汇总空间特征，采用了全局平均池化和最大池化两种方式来分别利用不同的信息。输入是一个 H/4×W/4×64 的低级语义特征X1，先分别采用不同尺寸的扩展卷积，例如，分别采用扩张率为3，5，7的扩展卷积从所述低级语义特征图中提取病灶特征。进而，对各个所述扩展卷积提取的所述病灶特征分别进行通道注意力机制处理，得到通道注意力权重。在这个过程中，不同尺度的特性提取后，通过通道注意力机制处理，使得重要的特性所占权重更大，从而提升细节。
具体的，在一实施例中，参照图4，图4为步骤S132的细化流程示意图，图4中包括以下步骤：
步骤S1321，对各个所述扩展卷积提取的所述病灶特征在通道上分别进行池化操作，以获得各个所述扩展卷积提取的所述病灶特征对应的第一池化特征图；
步骤S1322，对所述第一池化特征图进行卷积操作，以获得各个所述扩展卷积提取的所述病灶特征对应的通道注意力权重；
步骤S1323，获取各个所述通道注意力权重中权重占比最大的通道注意力权重。
在本实施例中，由于待分割的超声图像中不同信息的重要程度存在区别，在对待分割的超声图像进行通道注意力操作，就是使待分割的超声图像中重要信息分配更大的权重，使得待分割的超声图像重要信息被凸显，使得待分割的超声图像的不同区域中重要的特征信息被关注。进行通道注意力机制处理就是使得待分割的超声图像中权重大的特征信息被凸显，即得到通道注意力权重。
在本实施例的技术方案中，通过对各个所述扩展卷积提取的病灶特征在通道上分别进行池化操作以及卷积操作，使得重要的特性所占权重更大，从而提升细节。
步骤S133，对各个所述扩展卷积提取的所述病灶特征分别进行空间注意力机制处理，得到空间注意力权重；
在本实施例中，由于同一待分割的超声图像中不同区域的贡献程度不同，对待分割的超声图像进行空间注意力操作，使得同一待分割的超声图像中有贡献的区域被关注，获得空间注意力权重，使得与目标对象相关的感兴趣区域被关注。进行空间注意力机制处理就是使得多个待分割的超声图像中每一个待分割的超声图像中的重要区域的特征信息被凸显，即得到空间注意力权重。
具体的，在一实施例中，步骤S133具体包括以下步骤：
步骤S1331，对各个所述扩展卷积提取的所述病灶特征在空间上分别进行池化操作，以获得各个所述扩展卷积提取的所述病灶特征对应的第二池化特征图；
步骤S1332，对所述第二池化特征图进行卷积操作，以获得各个所述扩展卷积提取的所述病灶特征对应的空间注意力权重。
在本实施例的技术方案中，通过对病灶特征在空间上进行池化操作以及卷积操作，使得多个待分割的超声图像中每一个待分割的超声图像中的重要区域的特征信息被凸显。
步骤S134，根据所述通道注意力权重、所述空间注意力权重以及所述低级语义特征图得到所述病灶的边缘信息。
在本实施例中，在得到通道注意力权重、空间注意力权重之后，将所述空间注意力权重与低级语义特征图进行相乘，使得病灶所在区域的信息相对背景信息更突出，从而得到病灶的边缘信息。
具体的，在一实施例中，参照图5，图5为步骤S134的细化流程示意图，图5中包括以下步骤：
步骤S1341，将所述通道注意力权重与所述低级语义特征图进行相乘，得到通道注意力特征图，并将所述空间注意力权重与所述低级语义特征图进行相乘，得到空间注意力特征图；
步骤S1342，将所述通道注意力特征图以及所述空间注意力特征图进行级联融合，得到注意力特征融合图，以根据所述注意力特征融合图得到所述病灶的边缘信息。
在本实施例中，对通道注意力特征图与空间注意力特征图进行特征融合，获得注意力特征融合图，同时结合通道和空间两种注意力性能，突出局部感兴趣区域的信息。例如，在上述在乳腺超声图像检测中，关键纹理和关键边界轮廓被关注。由于注意力特征融合图和待分割的超声图像上每个点是对应的，注意力特征融合图反应待分割的超声图像上每个特征值的权重，通过基于注意力特征融合图和待分割的超声图像的连接，增强有用的特征，抑制无用的特征。
在本实施例的技术方案中，通过采用不同尺寸的扩展卷积从低级语义特征图中提取病灶特征，再进行通道注意力机制处理得到通道注意力权重，进行空间注意力机制处理，得到空间注意力权重，进而根据所述通道注意力权重、所述空间注意力权重以及所述低级语义特征图得到所述病灶的边缘信息，通过不同尺度特征与空间-通道注意力机制提取低级特征中病灶的形状轮廓信息，减少了低级语义特征中的不正确信息或噪声。
步骤S140，聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息，得到分割预测结果。
在本实施例中，在得到病灶的语义信息、位置信息以及边缘信息之后，将得到的上述信息输入相似聚合模块中进行聚合，从而得到分割预测结果。
具体的，在一实施例中，参照图6，图6为步骤S140的细化流程示意图，图6中包括以下步骤：
步骤S141，将所述病灶的语义信息、位置信息以及所述病灶的边缘信息进行聚合，得到所述待分割的超声图像的目标特征图；
步骤S142，将所述待分割的超声图像的目标特征图与预设卷积单元进行卷积操作，得到所述待分割的超声图像的分割预测结果。
在本实施例中，参照图12，利用相似聚合模块SAM由图卷积域下的非局部运算实现，其中，Wθ和WΦ为线性映射函数（核大小为1的卷积），以降低T1的维数并获得特征映射，T1为经过级联融合处理后的带有病灶的语义信息、位置信息的特征图。T2为经过模糊辨别处理后的带有病灶的边缘信息的特征图。AP(.)代表池化和裁剪，GCN(.)为图卷积，Wg和Wz为卷积核为1的卷积，其中，f为相关注意图，F(.)将单位卷积降维后的特征图插值到与T1相同大小，然后在通道维度上应用softmax函数，选择第二个通道为特征图。通过GCN和非局部将高级语义位置信息与病灶区域的像素特征扩展到整个像素区域。以从乳腺病灶区域，即级联融合模块提取的高级特征和模糊辨别模块提取的边缘信息)挖掘局部像素和全局语义信息，得到所述待分割的超声图像的目标特征图。最后，将所述待分割的超声图像的目标特征图与预设卷积单元进行卷积操作，即通过一个预设卷积单元1*1的卷积输出，作为分割预测的结果。
在本实施例的技术方案中，本申请通过采用金字塔视觉转换器确定待分割的超声图像对应的高级语义特征图和低级语义特征图，进而克服噪声干扰并提取更丰富和鲁棒的特征；通过应用级联融合模块从高级特征中收集病灶的语义信息和位置信息；同时，采用模糊病灶识别模块捕获低级特征中病灶的边缘特征信息；最后，利用相似聚合模块聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息，从而得到分割预测结果的技术方案，从而解决超声图像进行病灶分割的精度低的问题。通过本申请的技术方案提高了病灶的分割精度。
参照图7，图7为本申请第二实施例的流程示意图，本申请第二实施例包括以下步骤：
步骤S110，获取待分割的超声图像，并确定所述待分割的超声图像对应的高级语义特征图和低级语义特征图；
步骤S120，根据所述高级语义特征图确定病灶的语义信息和位置信息；
步骤S130，获取不同尺寸的扩展卷积对所述低级语义特征图的模糊辨别处理结果，并根据所述处理结果确定所述病灶的边缘信息；
步骤S140，聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息，得到分割预测结果；
步骤S210，将所述待分割的超声图像的分割预测结果以及所述低级语义特征图对应的注意力特征融合图输入卷积神经网络模型进行训练，得到训练权重；
在本实施例中，在得到分割预测结果之后，将所述待分割的超声图像的分割预测结果以及所述低级语义特征图对应的注意力特征融合图输入卷积神经网络模型进行训练。其中，网络所需的训练样本为带标签的乳腺超声图像，数据可分为训练集(用于网络模型的训练过程)、验证集(用于从训练优化过程中根据模型在验证集上的性能表现，选择出最优的模型)和测试集(用于测试模型最终的分割效果)，其中训练集1616张，验证集457张，测试集339张。根据带有标签的乳腺超声图像集获取其均值和标准差。设计分割模型的损失函数。采用基于深度学习的乳腺超声图像病灶自动分割算法对训练数据进行训练，以得到所述的卷积神经网络模型的训练权重。
具体的，获取所述乳腺超声图像训练样本，并对乳腺超声图像集中的各乳腺超声图像进行标准化；通过所述标准后的乳腺超声图像集对所述的卷积神经网络进行训练，通过反向传播算法更新所述的卷积神经网络参数，以得到所述的网络权重。
在一实施例中，步骤S210具体包括以下步骤：
步骤S211，将所述待分割的超声图像的分割预测结果、所述低级语义特征图对应的注意力特征融合图以及带有标签的超声图像输入卷积神经网络模型；
步骤S212，基于主要损失函数、主要损失函数对所述卷积神经网络模型进行训练，得到训练权重。
在本实施例中，参照图9，所述根据带有标签的乳腺超声图像集获取其均值和标准差具体包括：获取所述的乳腺超声图像集，并对乳腺超声图像集计算其均值和方法差。所述卷积神经网络模型的损失函数为：
Lmian loss=Lw IOU(P2,G)+Lw BCE(P2,G)
Laxu loss=Lw IOU(P1,G)+Lw BCE(P1,G)
Lloss=Lmian loss+Laxu loss
其中，Lmian loss和Laxu loss为主要损失函数和辅助损失函数，P2为待分割的超声图像的分割预测结果，P1为低级语义特征图对应的注意力特征融合图，G为标签，Lw IOU和Lw BCE是联合上的加权交集(IOU)损失和加权二进制交叉熵(BCE)损失，它们从全局结构(对象级)和局部细节(像素级)的角度限制了预测图。
步骤S220，判断所述训练权重是否为最优模型权重；
若是，执行步骤S230，保存所述最优模型权重；
若否，执行步骤S240，判断训练次数是否达到预设次数；
当所述训练次数达到预设次数时，执行步骤S250，生成所述卷积神经网络模型的迭代训练暂停指令；
当所述训练次数未达到预设次数时，返回执行步骤S110，获取待分割的超声图像，并确定所述待分割的超声图像对应的高级语义特征图和低级语义特征图。
在本实施例中，通过反向传播算法更新所述网络参数，并判断所述网络参数的更新次数是否达到预设次数；当所述更新次数达到预设次数时，根据所述网络参数确定网络权重；当所述更新次数未达到预设次数时，重复将乳腺超声图像集输入卷积神经网络的操作。
网络模型迭代次数设置为100，在本次实施例中，初始神经网络所需超参数分别为：设置小批次处理的容量为4，学习率设置为0.0001，输入图像大小Resize为352*352，采用AdamW作为优化算法，以每50次迭代衰减学习率，其中衰减率为0.1。模型在进行保存时，保存最优的模型权重文件，依次迭代。
如上所述，已完成模型构建和基于深度学习的乳腺超声图像自动分割算法的训练，将原始待分割的乳腺超声图像数据，按照上述数据标准化预处理操作（对未标注的乳腺超声图像做归一化处理）后，输入到已经训练好的网络模型中，即可自动获得预测分割掩码图，实现乳腺超声图像病灶自动分割。
所述分割模型在构建时需要对原始输入乳腺超声图像进行标注，对标注后的乳腺超声图像进行训练优化得到优化后的基于深度学习的乳腺超声图像病灶自动分割网络，直接用于分割任务。
本实例以病灶为单位完成对乳腺超声图像进行病灶自动分割的任务，分割的效果优于原始U-Net分割模型的Dice指标0.87，本实例分割Dice指标为0.94，分割性能显著提升。
本申请实施例提供了超声图像分割方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图8所示，图8为图像处理装置的硬件运行环境的结构示意图。
如图8所示，该图像处理装置可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图8中示出的图像处理装置结构并不构成对图像处理装置限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图8所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及超声图像分割程序。其中，操作系统是管理和控制图像处理装置硬件和软件资源的程序，超声图像分割程序以及其它软件或程序的运行。
在图8所示的图像处理装置中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的超声图像分割程序。
处理器1001调用存储器1005中存储的超声图像分割程序时，执行以下操作：
获取待分割的超声图像，并确定所述待分割的超声图像对应的高级语义特征图和低级语义特征图；
根据所述高级语义特征图确定病灶的语义信息和位置信息；
获取不同尺寸的扩展卷积对所述低级语义特征图的模糊辨别处理结果，并根据所述处理结果确定所述病灶的边缘信息；
聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息，得到分割预测结果。
处理器1001调用存储器1005中存储的超声图像分割程序时，执行以下操作：
采用各个尺寸的扩展卷积从所述低级语义特征图中提取病灶特征；
对各个所述扩展卷积提取的所述病灶特征分别进行通道注意力机制处理，得到通道注意力权重；
对各个所述扩展卷积提取的所述病灶特征分别进行空间注意力机制处理，得到空间注意力权重；
根据所述通道注意力权重、所述空间注意力权重以及所述低级语义特征图得到所述病灶的边缘信息。
处理器1001调用存储器1005中存储的超声图像分割程序时，执行以下操作：
对各个所述扩展卷积提取的所述病灶特征在通道上分别进行池化操作，以获得各个所述扩展卷积提取的所述病灶特征对应的第一池化特征图；
对所述第一池化特征图进行卷积操作，以获得各个所述扩展卷积提取的所述病灶特征对应的通道注意力权重；
获取各个所述通道注意力权重中权重占比最大的通道注意力权重；
所述对各个所述扩展卷积提取的所述病灶特征分别进行空间注意力机制处理，得到空间注意力权重的步骤包括：
对各个所述扩展卷积提取的所述病灶特征在空间上分别进行池化操作，以获得各个所述扩展卷积提取的所述病灶特征对应的第二池化特征图；
对所述第二池化特征图进行卷积操作，以获得各个所述扩展卷积提取的所述病灶特征对应的空间注意力权重。
处理器1001调用存储器1005中存储的超声图像分割程序时，执行以下操作：
将所述通道注意力权重与所述低级语义特征图进行相乘，得到通道注意力特征图，并将所述空间注意力权重与所述低级语义特征图进行相乘，得到空间注意力特征图；
将所述通道注意力特征图以及所述空间注意力特征图进行级联融合，得到注意力特征融合图，以根据所述注意力特征融合图得到所述病灶的边缘信息。
处理器1001调用存储器1005中存储的超声图像分割程序时，执行以下操作：
所述高级语义特征图包括第一高级语义特征图、第二高级语义特征图以及第三高级语义特征图，且所述第一高级语义特征图、所述第二高级语义特征图以及所述第三高级语义特征图的分辨率依次增大；
将所述第一高级语义特征图上采样至与所述第二高级语义特征图相同的尺寸，得到上采样后的所述第一高级语义特征图；
对上采样后的所述第一高级语义特征图进行卷积操作，得到第一子高级语义特征图以及第二子高级语义特征图；
将所述第一子高级语义特征图与所述第二高级语义特征图相乘，得到第一高级语义融合特征图；
将所述第一高级语义融合特征图与所述第二子高级语义特征图进行连接，得到第二高级语义融合特征图；
对所述第二高级语义融合特征图进行卷积操作，得到第三高级语义融合特征图；
将所述第三高级语义融合特征图与第四高级语义融合特征图进行连接并进行卷积操作，得到高级语义融合特征图，以根据所述高级语义融合特征图得到所述病灶的语义信息和位置信息；其中，所述第四高级语义融合特征图根据所述第一高级语义特征图、所述第二高级语义特征图以及所述第三高级语义特征融合得到的。
处理器1001调用存储器1005中存储的超声图像分割程序时，执行以下操作：
将所述病灶的语义信息、位置信息以及所述病灶的边缘信息进行聚合，得到所述待分割的超声图像的目标特征图；
将所述待分割的超声图像的目标特征图与预设卷积单元进行卷积操作，得到所述待分割的超声图像的分割预测结果。
处理器1001调用存储器1005中存储的超声图像分割程序时，执行以下操作：
将所述待分割的超声图像的分割预测结果以及所述低级语义特征图对应的注意力特征融合图输入卷积神经网络模型进行训练，得到训练权重；
判断所述训练权重是否为最优模型权重；
若否，判断训练次数是否达到预设次数；
当所述训练次数达到预设次数时，生成所述卷积神经网络模型的迭代训练暂停指令；
当所述训练次数未达到预设次数时，返回执行所述获取待分割的超声图像，并确定所述待分割的超声图像对应的高级语义特征图和低级语义特征图的步骤。
处理器1001调用存储器1005中存储的超声图像分割程序时，执行以下操作：
将所述待分割的超声图像的分割预测结果、所述低级语义特征图对应的注意力特征融合图以及带有标签的超声图像输入卷积神经网络模型；
基于主要损失函数、辅助损失函数对所述卷积神经网络模型进行训练，得到训练权重。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有超声图像分割程序，所述超声图像分割程序被处理器执行时实现如上所述的超声图像分割的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
由于本申请实施例提供的计算机可读存储介质，为实施本申请实施例的方法所采用的计算机可读存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的计算机可读存储介质都属于本申请所欲保护的范围。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种超声图像分割方法，其特征在于，所述超声图像分割方法包括：
获取待分割的超声图像，并确定所述待分割的超声图像对应的高级语义特征图和低级语义特征图；
根据所述高级语义特征图确定病灶的语义信息和位置信息；
获取不同尺寸的扩展卷积对所述低级语义特征图的模糊辨别处理结果，并根据所述处理结果确定所述病灶的边缘信息；
聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息，得到分割预测结果。
2.如权利要求1所述的超声图像分割方法，其特征在于，所述获取不同尺寸的扩展卷积对所述低级语义特征图的模糊辨别处理结果，并根据所述处理结果确定所述病灶的边缘信息的步骤包括：
采用各个尺寸的扩展卷积从所述低级语义特征图中提取病灶特征；
对各个所述扩展卷积提取的所述病灶特征分别进行通道注意力机制处理，得到通道注意力权重；
对各个所述扩展卷积提取的所述病灶特征分别进行空间注意力机制处理，得到空间注意力权重；
根据所述通道注意力权重、所述空间注意力权重以及所述低级语义特征图得到所述病灶的边缘信息。
3.如权利要求2所述的超声图像分割方法，其特征在于，所述对各个所述扩展卷积提取的所述病灶特征分别进行通道注意力机制处理，得到通道注意力权重的步骤包括：
对各个所述扩展卷积提取的所述病灶特征在通道上分别进行池化操作，以获得各个所述扩展卷积提取的所述病灶特征对应的第一池化特征图；
对所述第一池化特征图进行卷积操作，以获得各个所述扩展卷积提取的所述病灶特征对应的通道注意力权重；
获取各个所述通道注意力权重中权重占比最大的通道注意力权重；
所述对各个所述扩展卷积提取的所述病灶特征分别进行空间注意力机制处理，得到空间注意力权重的步骤包括：
对各个所述扩展卷积提取的所述病灶特征在空间上分别进行池化操作，以获得各个所述扩展卷积提取的所述病灶特征对应的第二池化特征图；
对所述第二池化特征图进行卷积操作，以获得各个所述扩展卷积提取的所述病灶特征对应的空间注意力权重。
4.如权利要求2所述的超声图像分割方法，其特征在于，所述根据所述通道注意力权重、所述空间注意力权重以及所述低级语义特征图得到所述病灶的边缘信息的步骤包括：
将所述通道注意力权重与所述低级语义特征图进行相乘，得到通道注意力特征图，并将所述空间注意力权重与所述低级语义特征图进行相乘，得到空间注意力特征图；
将所述通道注意力特征图以及所述空间注意力特征图进行级联融合，得到注意力特征融合图，以根据所述注意力特征融合图得到所述病灶的边缘信息。
5.如权利要求1所述的超声图像分割方法，其特征在于，所述高级语义特征图包括第一高级语义特征图、第二高级语义特征图以及第三高级语义特征图，且所述第一高级语义特征图、所述第二高级语义特征图以及所述第三高级语义特征图的分辨率依次增大；所述根据所述高级语义特征图确定病灶的语义信息和位置信息的步骤包括：
将所述第一高级语义特征图上采样至与所述第二高级语义特征图相同的尺寸，得到上采样后的所述第一高级语义特征图；
对上采样后的所述第一高级语义特征图进行卷积操作，得到第一子高级语义特征图以及第二子高级语义特征图；
将所述第一子高级语义特征图与所述第二高级语义特征图相乘，得到第一高级语义融合特征图；
将所述第一高级语义融合特征图与所述第二子高级语义特征图进行连接，得到第二高级语义融合特征图；
对所述第二高级语义融合特征图进行卷积操作，得到第三高级语义融合特征图；
将所述第三高级语义融合特征图与第四高级语义融合特征图进行连接并进行卷积操作，得到高级语义融合特征图，以根据所述高级语义融合特征图得到所述病灶的语义信息和位置信息；其中，所述第四高级语义融合特征图根据所述第一高级语义特征图、所述第二高级语义特征图以及所述第三高级语义特征融合得到的。
6.如权利要求1所述的超声图像分割方法，其特征在于，所述聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息的步骤包括：
将所述病灶的语义信息、位置信息以及所述病灶的边缘信息进行聚合，得到所述待分割的超声图像的目标特征图；
将所述待分割的超声图像的目标特征图与预设卷积单元进行卷积操作，得到所述待分割的超声图像的分割预测结果。
7.如权利要求1所述的超声图像分割方法，其特征在于，所述聚合所述病灶的语义信息、位置信息以及所述病灶的边缘信息，得到分割预测结果的步骤之后，还包括：
将所述待分割的超声图像的分割预测结果以及所述低级语义特征图对应的注意力特征融合图输入卷积神经网络模型进行训练，得到训练权重；
判断所述训练权重是否为最优模型权重；
若否，判断训练次数是否达到预设次数；
当所述训练次数达到预设次数时，生成所述卷积神经网络模型的迭代训练暂停指令；
当所述训练次数未达到预设次数时，返回执行所述获取待分割的超声图像，并确定所述待分割的超声图像对应的高级语义特征图和低级语义特征图的步骤。
8.如权利要求7所述的超声图像分割方法，其特征在于，所述将所述待分割的超声图像的目标特征图以及所述低级语义特征图对应的注意力特征融合图输入卷积神经网络模型进行训练，得到训练权重的步骤包括：
将所述待分割的超声图像的分割预测结果、所述低级语义特征图对应的注意力特征融合图以及带有标签的超声图像输入卷积神经网络模型；
基于主要损失函数、辅助损失函数对所述卷积神经网络模型进行训练，得到训练权重。
9.一种图像处理装置，其特征在于，所述图像处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声图像分割程序，所述超声图像分割程序被所述处理器执行时实现如权利要求1-8中任一项所述的超声图像分割方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有超声图像分割程序，所述超声图像分割程序被处理器执行时实现权利要求1-8中任一项所述的超声图像分割方法的步骤。
CN202210671517.8A 2022-06-15 2022-06-15 超声图像分割方法、装置及计算机可读存储介质 Active CN114758137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210671517.8A CN114758137B (zh) 2022-06-15 2022-06-15 超声图像分割方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210671517.8A CN114758137B (zh) 2022-06-15 2022-06-15 超声图像分割方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114758137A true CN114758137A (zh) 2022-07-15
CN114758137B CN114758137B (zh) 2022-11-01

Family

ID=82336925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210671517.8A Active CN114758137B (zh) 2022-06-15 2022-06-15 超声图像分割方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114758137B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543221A (zh) * 2023-05-12 2023-08-04 北京长木谷医疗科技股份有限公司 关节病变智能检测方法、装置、设备及可读存储介质
CN116824307A (zh) * 2023-08-29 2023-09-29 深圳市万物云科技有限公司 基于sam模型的图像标注方法、装置及相关介质
CN117094976A (zh) * 2023-08-23 2023-11-21 脉得智能科技(无锡)有限公司 病灶漏检判断方法、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767810A (zh) * 2020-06-18 2020-10-13 哈尔滨工程大学 一种基于D-LinkNet的遥感图像道路提取方法
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
WO2021031066A1 (zh) * 2019-08-19 2021-02-25 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN113506310A (zh) * 2021-07-16 2021-10-15 首都医科大学附属北京天坛医院 医学图像的处理方法、装置、电子设备和存储介质
CN114119635A (zh) * 2021-11-23 2022-03-01 电子科技大学成都学院 一种基于空洞卷积的脂肪肝ct图像分割方法
CN114119638A (zh) * 2021-12-02 2022-03-01 上海理工大学 一种融合多尺度特征和注意力机制的医学图像分割方法
CN114419020A (zh) * 2022-01-26 2022-04-29 深圳大学 医学图像分割方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
WO2021031066A1 (zh) * 2019-08-19 2021-02-25 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN111767810A (zh) * 2020-06-18 2020-10-13 哈尔滨工程大学 一种基于D-LinkNet的遥感图像道路提取方法
CN113506310A (zh) * 2021-07-16 2021-10-15 首都医科大学附属北京天坛医院 医学图像的处理方法、装置、电子设备和存储介质
CN114119635A (zh) * 2021-11-23 2022-03-01 电子科技大学成都学院 一种基于空洞卷积的脂肪肝ct图像分割方法
CN114119638A (zh) * 2021-12-02 2022-03-01 上海理工大学 一种融合多尺度特征和注意力机制的医学图像分割方法
CN114419020A (zh) * 2022-01-26 2022-04-29 深圳大学 医学图像分割方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI WANG ET AL.: "Deep Attentional Features for Prostate Segmentation in Ultrasound", 《MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION-MICCAI2018》 *
黄峥 等: "基于超声图像语义分割的HIFU 治疗目标区域提取方法", 《计算机辅助设计与图形学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543221A (zh) * 2023-05-12 2023-08-04 北京长木谷医疗科技股份有限公司 关节病变智能检测方法、装置、设备及可读存储介质
CN116543221B (zh) * 2023-05-12 2024-03-19 北京长木谷医疗科技股份有限公司 关节病变智能检测方法、装置、设备及可读存储介质
CN117094976A (zh) * 2023-08-23 2023-11-21 脉得智能科技(无锡)有限公司 病灶漏检判断方法、装置和电子设备
CN117094976B (zh) * 2023-08-23 2024-03-01 脉得智能科技(无锡)有限公司 病灶漏检判断方法、装置和电子设备
CN116824307A (zh) * 2023-08-29 2023-09-29 深圳市万物云科技有限公司 基于sam模型的图像标注方法、装置及相关介质
CN116824307B (zh) * 2023-08-29 2024-01-02 深圳市万物云科技有限公司 基于sam模型的图像标注方法、装置及相关介质

Also Published As

Publication number Publication date
CN114758137B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN109003267B (zh) 从3d图像自动检测目标对象的计算机实现方法和系统
CN110969632B (zh) 一种深度学习模型的训练方法、图像处理方法及装置
CN105809175B (zh) 一种基于支持向量机算法的脑水肿分割方法及系统
CN112446378A (zh) 目标检测方法及装置、存储介质、终端
CN113421240B (zh) 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
CN112365973A (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN114332133A (zh) 基于改进CE-Net的新冠肺炎CT图像感染区分割方法及系统
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN114742848B (zh) 基于残差双重注意力的息肉图像分割方法、装置、设备及介质
CN114494215A (zh) 基于Transformer的甲状腺结节检测方法
CN112017161A (zh) 一种基于中心点回归的肺结节检测方法和检测装置
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN103169506A (zh) 一种自动识别肝癌的超声诊断装置和方法
CN111275126A (zh) 样本数据集生成方法、装置、设备及存储介质
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN114004813A (zh) 一种应用于宫颈癌放疗临床靶区识别方法及装置
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
Thiruvenkadam et al. Fully automatic brain tumor extraction and tissue segmentation from multimodal MRI brain images
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Ultrasonic image segmentation method, device and computer readable storage medium

Effective date of registration: 20221213

Granted publication date: 20221101

Pledgee: Wenling Yigang Life Health Technology Co.,Ltd.

Pledgor: SHENZHEN HANWEI INTELLIGENT MEDICAL TECHNOLOGY Co.,Ltd.

Registration number: Y2022980026941

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230718

Address after: 318000 Floor 5, No. 2 Plant, No.139 Huitou, Caishiqiao Village, Xinhe Town, Wenling City, Taizhou City, Zhejiang Province

Patentee after: Hanwei (Taizhou) Intelligent Medical Technology Co.,Ltd.

Address before: 518000 804a, 8th floor, Cuilin building, No.10, Kaifeng Road, Maling community, Meilin street, Futian District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN HANWEI INTELLIGENT MEDICAL TECHNOLOGY Co.,Ltd.