CN116152504A - 图像分割方法、装置、电子设备及存储介质 - Google Patents

图像分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116152504A
CN116152504A CN202310424188.1A CN202310424188A CN116152504A CN 116152504 A CN116152504 A CN 116152504A CN 202310424188 A CN202310424188 A CN 202310424188A CN 116152504 A CN116152504 A CN 116152504A
Authority
CN
China
Prior art keywords
feature
feature extraction
image
target
extraction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310424188.1A
Other languages
English (en)
Other versions
CN116152504B (zh
Inventor
王金桥
邓兰青
王雨禾
沈圣智
郭子江
赵朝阳
朱贵波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Jiechuang Intelligent Technology Co ltd
Nexwise Intelligence China Ltd
Original Assignee
Guangdong Jiechuang Intelligent Technology Co ltd
Nexwise Intelligence China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Jiechuang Intelligent Technology Co ltd, Nexwise Intelligence China Ltd filed Critical Guangdong Jiechuang Intelligent Technology Co ltd
Priority to CN202310424188.1A priority Critical patent/CN116152504B/zh
Publication of CN116152504A publication Critical patent/CN116152504A/zh
Application granted granted Critical
Publication of CN116152504B publication Critical patent/CN116152504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供图像分割方法、装置、电子设备及存储介质，涉及图像数据处理技术领域，方法包括：将包含检测目标的超声图像输入至初步特征提取模型，得到多个特征图，每一特征图是由初步特征提取模型的不同通道输出的；将多个特征图融合为目标特征图；将目标特征图输入至多通道特征提取模型，得到特征提取结果；其中，多通道特征提取模型对目标特征图位于不同通道的同一位置点进行像素特征提取；基于特征提取结果，得到包括检测目标的分割图像。本发明提出在数据处理过程中将多个通道的特征图融合至一张目标特征图上，实现对不同通道间同一位置像素的特征提取，增强了特征提取结果，使得最后得到分割图像更为精确，处理速度更快。

Description

图像分割方法、装置、电子设备及存储介质
技术领域
本发明涉及图像数据处理技术领域，尤其涉及一种图像分割方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展，人们可以利用计算机强大的数据处理性能来提取图像中蕴含的丰富信息，数字图像处理技术也得到了广泛研究。基础研究主要包括：目标检测、图像分割、图像分类等，为实现复杂任务，如个体识别、图像内容理解、自动驾驶等任务奠定了基础。
人们也开始尝试通过图像处理技术解决医学影像中结节智能诊断问题。例如，甲状腺是人体最大的内分泌腺体，其主要功能与人体新陈代谢、生长发育、心脏与脑的正常运行息息相关。甲状腺疾病大多数表现为增生或甲状腺肿物。超声检查在甲状腺疾病诊断中应用最为广泛，通常医生主要根据病人的超声图像对甲状腺结节做出初步的良恶性判断，但由于超声图像成像质量不佳，具有对比度低、灰度分布不均匀、含噪等缺点，所以具有丰富临床经验的医生才能对结节做出准确的判断。由于结节存在癌化可能，不准确的诊断结果可能导致过度医疗或延误治疗时机等。因此如何帮助医生快速准确地定位识别结节成为了研究的重点。
在研究初期，传统图像处理技术被用来对结节进行分类、定位、分割等操作，其中，传统的分割技术经过发展已有了很多成熟范式，如基于阈值的分割、基于区域的分割等。这些技术主要通过计算目标局部的相似性来完成分割，但该类算法针对复杂目标时，需要将目标分割成多个部分，很难将目标完整提取出来。因此，传统分割算法局限性较大，针对噪声少、结构简单、对比度明显、形状清晰的目标能完成有效、完整的分割。
深度学习技术的出现与发展，为结节超声图像分割提供了一条新的路径。有别于传统图像处理技术对图像质量、人员专业知识的严苛要求，以数据驱动的深度学习技术通过对大量标注数据进行学习，有效解决了传统图像处理技术中所遇到的诸多难题。
在研究初期，人们利用卷积神经网络识别出图像中蕴含的特征，并通过支持向量机对提取到的特征进行分类，最终得到每个特征所属的类别。综合整个特征的所属类别得到最终的分割结果。然而，卷积神经网络需要提取的特征较多，导致了运算复杂，输出结果较慢；或者减少了特征提取的数量，又会导致分割图像出现偏差。
发明内容
本发明提供一种图像分割方法、装置、电子设备及存储介质，用以解决现有技术中特征提取运算复杂、分割图像不精确的缺陷。
本发明提供一种图像分割方法，包括：将包含检测目标的超声图像输入至初步特征提取模型，得到初步特征提取模型输出的多个特征图，每一特征图是由初步特征提取模型的不同通道输出的；将多个特征图融合为目标特征图；将目标特征图输入至多通道特征提取模型，得到多通道特征提取模型输出的特征提取结果；其中，多通道特征提取模型对目标特征图位于不同通道的同一位置点进行像素特征提取；基于特征提取结果，得到包括检测目标的分割图像。
根据本发明提供的一种图像分割方法，将多个特征图融合为目标特征图，包括：对多个特征图进行融合处理，得到融合矩阵；按照第一预设比例，扩大融合矩阵的像素尺寸，得到目标特征图。
根据本发明提供的一种图像分割方法，对多个特征图进行融合处理，得到融合矩阵，包括：将每一特征图进行张量处理，得到多个特征张量；对多个特征张量进行矩阵计算，得到融合矩阵。
根据本发明提供的一种图像分割方法，将多个特征图融合为目标特征图，包括：对多个特征图进行特征叠加处理，得到初始特征图；按照第二预设比例，扩大初始特征图的像素尺寸，得到目标特征图。
根据本发明提供的一种图像分割方法，基于特征提取结果，得到包括检测目标的分割图像，包括：将特征提取结果输入至初步特征提取模型，得到初步特征提取模型输出的多个特征结果图，每一特征结果图是由初步特征提取模型的不同通道输出的；基于多个特征结果图，得到分割图像。
根据本发明提供的一种图像分割方法，将目标特征图输入至多通道特征提取模型之前，包括：调取初始多通道特征提取模型，初始多通道特征提取模型包括金字塔池化结构；确定金字塔池化结构中每一层的初始感受野；基于空洞卷积算法，对金字塔池化结构中每一层的初始感受野进行转换，获取金字塔池化结构中每一层的目标感受野；调整金字塔池化结构中每一层的初始感受野至对应的目标感受野，以构建多通道特征提取模型；其中，对金字塔池化结构中每一层的初始感受野进行转换的转换系数是基于空洞卷积算法的膨胀系数确定的。
根据本发明提供的一种图像分割方法，基于特征提取结果，得到包括检测目标的分割图像之后，还包括：将超声图像和分割图像在显示屏幕上进行并列显示；或者，将超声图像和分割图像在显示屏幕上进行叠加显示。
本发明还提供一种图像分割装置，包括：特征图模块，用于将包含检测目标的超声图像输入至初步特征提取模型，得到初步特征提取模型输出的多个特征图，每一特征图是由初步特征提取模型的不同通道输出的；目标特征图模块，用于将多个特征图融合为目标特征图；特征提取结果模块，用于将目标特征图输入至多通道特征提取模型，得到多通道特征提取模型输出的特征提取结果；其中，多通道特征提取模型对目标特征图位于不同通道的同一位置点进行像素特征提取；分割图像模块，用于基于特征提取结果，得到包括检测目标的分割图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种图像分割方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种图像分割方法。
本发明提供的图像分割方法、装置、电子设备及存储介质，通过将包含检测目标的超声图像输入至初步特征提取模型，得到多个特征图，每一特征图是由初步特征提取模型的不同通道输出的；将多个特征图融合为目标特征图；将目标特征图输入至多通道特征提取模型，得到特征提取结果；多通道特征提取模型对目标特征图位于不同通道的同一位置点进行像素特征提取；基于特征提取结果得到包括检测目标的分割图像。本发明提出在数据处理过程中将多个通道的特征图融合至一张目标特征图上，实现对不同通道间同一位置像素的特征提取，增强了特征提取结果，使得最后得到分割图像更为精确，处理速度更快。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明图像分割方法一实施例的流程示意图；
图2是本发明多通道特征提取模型中的改进模块一实施例的示意图；
图3是本发明多通道特征提取模型中的改进模块另一实施例的示意图；
图4是空洞卷积和普通卷积的感受野对比示意图；
图5是本发明多通道特征提取模型中一实施例的示意图；
图6本发明图像分割装置一实施例的结构示意图；
图7是本发明电子设备一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种图像分割方法，请参阅图1，图1是本发明图像分割方法一实施例的流程示意图，在本实施例中，图像分割方法具体包括S110~S140，各步骤具体如下：
S110：将包含检测目标的超声图像输入至初步特征提取模型，得到初步特征提取模型输出的多个特征图。
其中，每一特征图是由初步特征提取模型的不同通道输出的。初步特征提取模型为神经网络。
还可以对获取的超声图像进行预处理，变成初步特征提取模型能够处理的数据。预处理的内容可以包括图像尺寸调整和滤波降噪处理等。例如，将输入的图像调整至规定大小即512×512，并进行高斯滤波降噪。
超声图像可以包括检测目标。本实施例的图像分割方法可用于医学影像中的结节检测。因此检测目标可以为结节。当超声图像为甲状腺超声图像时，检测目标可以为甲状腺结节。
S120：将多个特征图融合为目标特征图。
可选地，将多个特征图融合为目标特征图的步骤，具体包括：对多个特征图进行融合处理，得到融合矩阵；按照第一预设比例，扩大融合矩阵的像素尺寸，得到目标特征图。
可选地，对多个特征图进行融合处理，得到融合矩阵的步骤，具体包括：将每一特征图进行张量处理，得到多个特征张量；对多个特征张量进行矩阵计算，得到融合矩阵。
可选地，将多个特征图融合为目标特征图的步骤，具体包括：对多个特征图进行特征叠加处理，得到初始特征图；按照第二预设比例，扩大初始特征图的像素尺寸，得到目标特征图。
可选地，初始特征图的像素尺寸大于超声图像的像素尺寸，初始特征图的像素尺寸小于目标特征图的像素尺寸。
S130：将目标特征图输入至多通道特征提取模型，得到多通道特征提取模型输出的特征提取结果。
其中，多通道特征提取模型对目标特征图位于不同通道的同一位置点进行像素特征提取；基于特征提取结果，得到包括检测目标的分割图像。
多通道特征提取模型采用全卷积网络，该网络模型的架构是端到端，即输入为原始图像，输出直接为模型预测的分割结果。全卷积网络舍去全连接层，直接将提取到的特征图输入Softmax函数，通过运算获得图片上每个位置的概率值，该位置所属类别是通过Softmax函数进行判断，且综合整张特征图的预测结果得到最终的分割结果。
可选地，将目标特征图输入至多通道特征提取模型之前的步骤，具体包括：调取初始多通道特征提取模型，初始多通道特征提取模型包括金字塔池化结构；确定金字塔池化结构中每一层的初始感受野；基于空洞卷积算法，对金字塔池化结构中每一层的初始感受野进行转换，获取金字塔池化结构中每一层的目标感受野；调整金字塔池化结构中每一层的初始感受野至对应的目标感受野，以构建多通道特征提取模型；其中，对金字塔池化结构中每一层的初始感受野进行转换的转换系数是基于空洞卷积算法的膨胀系数确定的。
S140：基于特征提取结果，得到包括检测目标的分割图像。
其中，分割图像包括检测目标。
可选地，基于特征提取结果，得到包括检测目标的分割图像的步骤，具体包括：将特征提取结果输入至初步特征提取模型，得到初步特征提取模型输出的多个特征结果图，每一特征结果图是由初步特征提取模型的不同通道输出的；基于多个特征结果图，得到分割图像。
可选地，基于特征提取结果，得到检测目标的分割图像之后的步骤，还包括：将超声图像和分割图像在显示屏幕上进行并列显示；或者，将超声图像和分割图像在显示屏幕上进行叠加显示。
可选地，当将超声图像和分割图像在显示屏幕上进行叠加显示时，可以将超声图像置于图层顶层，调整透明度为0.8，底层放置分割图像；随后合并展示。
综上，本实施例提供一种图像分割方法，通过将包含检测目标的超声图像输入至初步特征提取模型，得到多个特征图，每一特征图是由初步特征提取模型的不同通道输出的；将多个特征图融合为目标特征图；将目标特征图输入至多通道特征提取模型，得到特征提取结果；多通道特征提取模型对目标特征图位于不同通道的同一位置点进行像素特征提取；基于特征提取结果得到包括检测目标的分割图像。本发明提出在数据处理过程中将多个通道的特征图融合至一张目标特征图上，实现对不同通道间同一位置像素的特征提取，增强了特征提取结果，使得最后得到分割图像更为精确，处理速度更快。
本实施例中采用深度卷积神经网络（Dynamic Convolution Neural Network，DCNN）作为初步特征提取模型对超声图像进行特征提取。由于不同卷积核所关注的特征不同，造成同一位置像素点可能表征不同特征。同一位置的不同特征可以理解为从多个角度对目标进行高维度语义理解，帮助模型实现特征的全面提取。深度可分离卷积实现通道与卷积核的一一对应，为融合某位置像素在不同通道上的特征提供了数据基础。本实施例借鉴SE（Squeeze-and-Excitation）模块设计思路，SE模块的使用灵活,可以在已有网络上添加而不打乱网络原有的主体结构。
基于以上思路，本实施例设计了特征信息利用率高且具有全局视野的深度神经网络模块，对每一个像素在通道层面进行加权，为模型提供像素级的多角度高维度语义描述。
请参阅图2-3，图2是本发明多通道特征提取模型中的改进模块一实施例的示意图，图3是本发明多通道特征提取模型中的改进模块另一实施例的示意图。
将通过超声图像中获取与多个通道一一对应的多个特征图作为数据输入，并进行数据处理，数据处理1是将多个特征图融合为目标特征图。接着进行多通道特征提取。多通道特征提取之后，进行数据处理，数据处理2是对进行特征提取结果进行还原处理，得到与多个通道一一对应的多个特征结果图，将多个特征结果图作为结果输出。
由于需要对不同通道的每个像素点进行处理，本实施例提出在数据处理过程中将全部通道的特征图融合至一张特征图上，通过扩大特征图尺寸的方式保留全部通道不同特征图的所有特征信息，通过基于空洞卷积算法金字塔池化结构构成的多通道特征提取功能块，对这张大尺寸特征图进行特征提取，实现对不同通道间同一位置像素的特征提取，同时实现特征图与对应特征的加权融合，将融合后的特征还原回原本输入的形状，继续参与模型的其他运算。下面详细介绍各部分原理与细节。
（1）数据处理
为高效使用不同通道间蕴含的特征信息，需要对输入的数据进行变形以适应后续数据处理要求，而在完成通道特征信息提取后仍需对数据进行变形，保持其与输入尺寸一致，便于整个网络进行统一运算与训练。该部分主要通过张量变换的形式实现数据尺寸调整。张量是一种机器学习中常用的数据格式，是一种多维数组。
在深度学习应用中，张量可以作为数据容器，通过张量可以实现不同数据源的统一表达，多种数据都可以放在张量中，将不同数据转换成大小不同、维度不同的张量。
例如，大小为3×3的灰度图片可以形成3×3的矩阵，大小为3×3的RGB彩色图片可以形成3×3×3的矩阵。
张量可以通过各种代数运算进行矩阵计算。例如应用以下几种矩阵乘法：
Kronecker乘积（张量积）被定义为如下矩阵（IK）×（JL）的矩阵，即将A中的每一个元素乘以矩阵B，用符号
Figure SMS_1
表示。
Hadamard乘积是对大小相同的矩阵进行计算，即两个矩阵相同位置的元素相乘，用符号*表示。
Khatri-Rao乘积是列对列的乘积，相乘的两个矩阵要保持相同的列数，用符号⊙表示。
由于在数据层面上可以将张量转化为矩阵，因此数据结构的变换便有了理论依据，同时张量也支持多种数据变换方法。为数据处理操作提供了理论支持。
进行数据操作的时候经常需要改变数据的形状以满足对数据的不同操作，如展平或多个数据拼接等，张量的存在使得对数据的操作更加便捷，只要将不同数据转换为张量就可以进行统一操作，将张量的每一维看作一个矩阵，就可以使用矩阵变换理论实现对张量的变化。
（2）多通道特征提取部分
特征提取部分的结构主要由空洞卷积和金字塔池化结构构成。空洞卷积的主要作用是为了增大模型的感受野，同时又不会损失过多特征信息。因为语义分割不但需要对关键特征做出识别，同时还需要根据关键特征之间的空间关系将目标与背景做出区分，所以语义分割任务需要更大的感受野来提取关键特征的上下文信息。
在一些实施例中，也可以通过增加池化层或增加卷积步长来增大感受野，但这会造成精度下降。而空洞卷积在增大感受野的同时还保持了特征图尺寸，有效缓解了特征损失问题。空洞卷积与普通卷积不同，空洞卷积引入了一个超参数用来控制卷积核的感受野，称为“扩张率”或“膨胀系数”。当膨胀系数为1时，可以等价为普通卷积。
膨胀系数越大，卷积核的感受野越大，然而不同膨胀系数并不影响输出特征图的尺寸，也就是说特征图的尺寸和膨胀系数无关，使得可以通过这种不改变特征图尺寸大小和信息损失较少的方式来增大感受野。
除了扩大卷积核的感受野之外，多尺寸的上下文信息对于语义分割的准确率也有着极大的影响。多尺度信息允许模型针对目标构建不同尺度视角下的空间位置关系，可帮助模型更好地定位关键特征，有利于帮助模型进行更全面的判断与识别，因此，本实施例还结合金字塔池化结构。
空间金字塔池化通过将图像按照固定比例分割区域进行池化，从而可以将各种尺寸的图像统一转换为固定大小的矩阵，方便后续数据处理。
通过将空洞卷积与金字塔池化结构相结合，在扩大感受野的同时保障了模型能获取多尺度空间信息，帮助模型理解更全面的语义信息，提升分割精度。总结上述，空洞卷积与金字塔池化结构相结合的存在主要有两个作用：（1）在保留细节信息的前提下扩大感受野；（2）通过设定不同膨胀系数实现针对特征图的不同尺度特征信息的提取，完成多尺度信息的融合。
本文所构建的模块称为多通道空洞空间金字塔池化模块（Multi-Channel AtrousSpatial Pyramid Pooding，MCASPP），如图3所示，该模块首先将输入的通道数调整至预设数量，然后调整输入数据的形状，将所有通道的信息集合至一个通道内，再使用空洞卷积对全部通道内的数据进行特征提取，对提取后的特征调整数据形状，使特征图的通道数、尺寸等与输入一致，方便模型后续运算与训练。在多通道特征提取部分，空洞卷积不单用来增加卷积核在单一特征图上的感受野。由于特殊设计的大尺寸特征图中，包含了全部通道信息，不同膨胀系数的卷积核在图上进行卷积，就实现了针对某像素点在不同通道之间的特征提取。在通道层面上扩展了卷积核的感受野。
请参阅图3。在图3中进一步介绍数据处理1、多通道特征提取和数据处理2的过程。
继续参阅图3中，H和W表示图像的高度像素和宽度像素，C表示神经网络中的通道，“Rate”表示膨胀系数。
“4 Conv 1×1”表示4个1×1普通卷积的特征图。
“4 Conv 3×3 Rate：6”表示4个3×3，膨胀系数为6的空洞卷积的特征图。
“4 Conv 3×3 Rate：12”表示4个3×3，膨胀系数为12的空洞卷积的特征图。
“4 Conv 3×3 Rate：18”表示4个3×3，膨胀系数为18的空洞卷积的特征图。
“4 Image Pooling”表示4个底图。
“Conv 1×1”表示一张融合多个特征图的结果。
请参阅图4，图4是空洞卷积和普通卷积的感受野对比示意图。图4中（a）是在目标特征图上进行的空洞卷积。目标特征图的每一行都是由上一层特征图进行形状调整得到的，同样的操作在每个特征图上进行。最后，所有特征图被拼接到目标特征图中。
图4中（b）显示了目标特征图上的常规卷积。经过对比可以得出，空洞卷积可以通过设置不同的膨胀系数为模型提供新的视角，有利于提取通道间的特征表达。
由于目标特征图集合了网络中所有通道的特征图，因此只需要一张目标特征图就可以提取通道间的联系，传统卷积在目标特征图上只能提取相邻通道之间的关系，各个通道之间的联系被忽视。因此，在构建MCASPP的过程中，本实施例选择空洞卷积作为基础结构，实现针对某通道单个像素与其他多个通道像素之间关系的提取。
对普通卷积层结构进行数学描述，如公式（1）所示。
Figure SMS_2
；（1）
对本实施例设计的空洞卷积层进行数学描述，如公式（2）所示。
Figure SMS_3
；（2）
公式（1）、（2）中，对第l层卷积层，第l–1层的输入特征映射为X (l–1)∈RM×N×D，通过卷积计算得到第l层的特征映射净输出为Z (l)∈RM×N×D。Z (l, p)为第l层的第p（1≤p≤P）个特征映射净输出。
式中W (l, p, d)和b (l, p)为卷积核以及偏置，第l层中共有P×D个卷积核和P个偏置。C为l–1层的通道数。
R为特征图的集合，神经层为三维结构，上述的卷积层的大小为高度M×宽度N×深度D，可以看作由D个M×N大小的特征映射构成的。
X (l–1)∈RM×N×D为输入特征映射组，是三维张量，其中每个切片矩阵X d∈RM×N为一个输入特征映射，1≤d≤D。
Figure SMS_4
为第l-1层的第d个通道的特征。
本实施例设计的卷积结构在同一层内就可以对上层全部通道的特征进行特征提取，可以充分利用不同通道卷积核提取到的特征。综合不同通道的特征提升网络的识别、特征提取能力，充分高效的利用算力。
经过实验证明，如果输入的原始尺寸过大如（512，512）、（256，256）等，进行如上运算会生成大尺寸特征图，大小分别为（262144，262144）、（65536，65536）。这样庞大的特征图会大幅度增加模型运算的时间，因此选取模块输入的原始大小就至关重要。在特征提取网络中，提取得到的特征图形状为（32，32，1024），通过数据处理将输入的形状转换为（1024，1024，1），然后进行多维并行空洞卷积，对该层实现跨通道卷积运算。随后将提取到的特征还原为输入尺寸，即（32，32，1024）。
在一些实施例中，可以选用DeepLab V3+作为基础模型，通过基础模型与所提出的模块相结合的方式实现对检测目标的高精度分割。请参阅图5，图5是本发明多通道特征提取模型中一实施例的示意图。
多通道特征提取模型中采用了多比例空洞卷积来捕获多尺度的特征信息，多通道特征提取模型在此基础上引入了编码器-解码器的网络框架，使网络可以对任意分辨率图像进行特征提取，并通过使用空洞卷积平衡精度和耗时。
在编码器中，使用不同DCNN对原始数据进行特征提取。通过使用ASPP（AtrousSpatial Pyramid Pooding，空洞空间卷积池化金字塔）模块和MCASPP模块对DCNN提取到的特征图以不同的膨胀系数进行卷积，提取特征图在不同感受野下的特征信息，并将处理后不同维度的特征图作为编码的输入。在编码器中将不同维度的特征图调整大小，进行融合。最终通过多维度、多尺度融合的特征图得到最后的分割结果。
可选地，在编码器中，DCNN为Xception特征提取网络。在解码器中，主要对前面提取到的特征进行卷积拼接以及上采样，最终得到分割结果。增加了MCASPP模块即多通道空洞空间金字塔池化模块，用于进一步结合各个通道进行特征提取，增强模型对细微特征的提取能力。
下面对本发明提供的图像分割装置进行描述，下文描述的图像分割装置与上文描述的图像分割方法可相互对应参照。
请参阅图6，图6本发明图像分割装置一实施例的结构示意图，在本实施例中，图像分割装置可以包括特征图模块610、目标特征图模块620、多通道特征提取模型模块630和分割图像模块640。
特征图模块610，用于将包含检测目标的超声图像输入至初步特征提取模型，得到初步特征提取模型输出的多个特征图，每一特征图是由初步特征提取模型的不同通道输出的。
目标特征图模块620，用于将多个特征图融合为目标特征图。
特征提取结果模块630，用于将目标特征图输入至多通道特征提取模型，得到多通道特征提取模型输出的特征提取结果；其中，多通道特征提取模型对目标特征图位于不同通道的同一位置点进行像素特征提取。
分割图像模块640，用于基于特征提取结果，得到包括检测目标的分割图像。
可选地，目标特征图模块620用于：对多个特征图进行融合处理，得到融合矩阵；按照第一预设比例，扩大融合矩阵的像素尺寸，得到目标特征图。
可选地，目标特征图模块620用于：将每一特征图进行张量处理，得到多个特征张量；对多个特征张量进行矩阵计算，得到融合矩阵。
可选地，目标特征图模块620用于：对多个特征图进行特征叠加处理，得到初始特征图；按照第二预设比例，扩大初始特征图的像素尺寸，得到目标特征图。
可选地，分割图像模块640用于：将特征提取结果输入至初步特征提取模型，得到初步特征提取模型输出的多个特征结果图，每一特征结果图是由初步特征提取模型的不同通道输出的；基于多个特征结果图，得到分割图像。
可选地，图像分割模型还包括多通道特征提取模型建立模块，多通道特征提取模型建立模块用于：调取初始多通道特征提取模型，初始多通道特征提取模型包括金字塔池化结构；确定金字塔池化结构中每一层的初始感受野；基于空洞卷积算法，对金字塔池化结构中每一层的初始感受野进行转换，获取金字塔池化结构中每一层的目标感受野；调整金字塔池化结构中每一层的初始感受野至对应的目标感受野，以构建多通道特征提取模型；其中，对金字塔池化结构中每一层的初始感受野进行转换的转换系数是基于空洞卷积算法的膨胀系数确定的。
可选地，图像分割装置还包括显示模块，显示模块用于：将超声图像和分割图像在显示屏幕上进行并列显示；或者，将超声图像和分割图像在显示屏幕上进行叠加显示。
本发明还提供一种电子设备，请参阅图7，图7是本发明电子设备一实施例的结构示意图。在本实施例中，电子设备可以包括存储器(memory)720、处理器(processor)710及存储在存储器720上并可在处理器710上运行的计算机程序。处理器710执行程序时实现上述各方法所提供的图像分割方法。
可选地，电子设备还可以包括通信总线730和通信接口(CommunicationsInterface)740，其中，处理器710，通信接口740，存储器720通过通信总线730完成相互间的通信。处理器710可以调用存储器720中的逻辑指令，以执行图像分割方法，该方法包括：
将包含检测目标的超声图像输入至初步特征提取模型，得到初步特征提取模型输出的多个特征图，每一特征图是由初步特征提取模型的不同通道输出的；将多个特征图融合为目标特征图；将目标特征图输入至多通道特征提取模型，得到多通道特征提取模型输出的特征提取结果；其中，多通道特征提取模型对目标特征图位于不同通道的同一位置点进行像素特征提取；基于特征提取结果，得到包括检测目标的分割图像。
此外，上述的存储器720中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像分割方法，其步骤和原理在上述方法已详细介绍，在此不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像分割方法，其特征在于，包括：
将包含检测目标的超声图像输入至初步特征提取模型，得到所述初步特征提取模型输出的多个特征图，每一所述特征图是由所述初步特征提取模型的不同通道输出的；
将所述多个特征图融合为目标特征图；
将所述目标特征图输入至多通道特征提取模型，得到所述多通道特征提取模型输出的特征提取结果；其中，所述多通道特征提取模型对所述目标特征图位于不同通道的同一位置点进行像素特征提取；
基于所述特征提取结果，得到包括所述检测目标的分割图像。
2.根据权利要求1所述的图像分割方法，其特征在于，所述将所述多个特征图融合为目标特征图，包括：
对所述多个特征图进行融合处理，得到融合矩阵；
按照第一预设比例，扩大所述融合矩阵的像素尺寸，得到所述目标特征图。
3.根据权利要求2所述的图像分割方法，其特征在于，所述对所述多个特征图进行融合处理，得到融合矩阵，包括：
将每一特征图进行张量处理，得到多个特征张量；
对所述多个特征张量进行矩阵计算，得到所述融合矩阵。
4.根据权利要求1所述的图像分割方法，其特征在于，所述将所述多个特征图融合为目标特征图，包括：
对所述多个特征图进行特征叠加处理，得到初始特征图；
按照第二预设比例，扩大所述初始特征图的像素尺寸，得到所述目标特征图。
5.根据权利要求1所述的图像分割方法，其特征在于，所述基于所述特征提取结果，得到包括所述检测目标的分割图像，包括：
将所述特征提取结果输入至所述初步特征提取模型，得到所述初步特征提取模型输出的多个特征结果图，每一所述特征结果图是由所述初步特征提取模型的不同通道输出的；
基于所述多个特征结果图，得到所述分割图像。
6.根据权利要求1所述的图像分割方法，其特征在于，所述将所述目标特征图输入至多通道特征提取模型之前，包括：
调取初始多通道特征提取模型，所述初始多通道特征提取模型包括金字塔池化结构；
确定所述金字塔池化结构中每一层的初始感受野；
基于空洞卷积算法，对所述金字塔池化结构中每一层的初始感受野进行转换，获取所述金字塔池化结构中每一层的目标感受野；
调整所述金字塔池化结构中每一层的初始感受野至对应的目标感受野，以构建所述多通道特征提取模型；
其中，对所述金字塔池化结构中每一层的初始感受野进行转换的转换系数是基于所述空洞卷积算法的膨胀系数确定的。
7.根据权利要求1所述的图像分割方法，其特征在于，所述基于所述特征提取结果，得到包括所述检测目标的分割图像之后，还包括：
将所述超声图像和所述分割图像在显示屏幕上进行并列显示；或者，将所述超声图像和所述分割图像在显示屏幕上进行叠加显示。
8.一种图像分割装置，其特征在于，包括：
特征图模块，用于将包含检测目标的超声图像输入至初步特征提取模型，得到所述初步特征提取模型输出的多个特征图，每一所述特征图是由所述初步特征提取模型的不同通道输出的；
目标特征图模块，用于将所述多个特征图融合为目标特征图；
特征提取结果模块，用于将所述目标特征图输入至多通道特征提取模型，得到所述多通道特征提取模型输出的特征提取结果；其中，所述多通道特征提取模型对所述目标特征图位于不同通道的同一位置点进行像素特征提取；
分割图像模块，用于基于所述特征提取结果，得到包括所述检测目标的分割图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的图像分割方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像分割方法。
CN202310424188.1A 2023-04-20 2023-04-20 图像分割方法、装置、电子设备及存储介质 Active CN116152504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310424188.1A CN116152504B (zh) 2023-04-20 2023-04-20 图像分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310424188.1A CN116152504B (zh) 2023-04-20 2023-04-20 图像分割方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116152504A true CN116152504A (zh) 2023-05-23
CN116152504B CN116152504B (zh) 2024-04-09

Family

ID=86373980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310424188.1A Active CN116152504B (zh) 2023-04-20 2023-04-20 图像分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116152504B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN114004795A (zh) * 2021-10-25 2022-02-01 深圳大学 一种乳腺结节的分割方法及相关装置
CN114998583A (zh) * 2022-05-11 2022-09-02 平安科技（深圳）有限公司 图像处理方法、图像处理装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN114004795A (zh) * 2021-10-25 2022-02-01 深圳大学 一种乳腺结节的分割方法及相关装置
CN114998583A (zh) * 2022-05-11 2022-09-02 平安科技（深圳）有限公司 图像处理方法、图像处理装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪梓艺等: "一种改进DeeplabV3网络的烟雾分割算法", 《西安电子科技大学学报》, no. 06, 31 December 2019 (2019-12-31), pages 58 - 65 *

Also Published As

Publication number Publication date
CN116152504B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
US20220189142A1 (en) Ai-based object classification method and apparatus, and medical imaging device and storage medium
CN111145170B (zh) 一种基于深度学习的医学影像分割方法
CN108198184B (zh) 造影图像中血管分割的方法和系统
CN110969124B (zh) 基于轻量级多分支网络的二维人体姿态估计方法及系统
CN107818554B (zh) 信息处理设备和信息处理方法
WO2020133636A1 (zh) 前列腺手术中外包膜智能检测和预警方法及系统
CN111932550B (zh) 一种基于深度学习的3d心室核磁共振视频分割系统
CN110930416A (zh) 一种基于u型网络的mri图像前列腺分割方法
TW202014984A (zh) 一種圖像處理方法、電子設備及存儲介質
CN107958453A (zh) 乳腺图像病变区域的检测方法、装置及计算机存储介质
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN111951288A (zh) 一种基于深度学习的皮肤癌病变分割方法
AU2019430369B2 (en) VRDS 4D medical image-based vein Ai endoscopic analysis method and product
CN111161271A (zh) 一种超声图像分割方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN112785603A (zh) 一种基于Unet和超像素的脑组织分割方法
CN112365505A (zh) 一种基于编码解码结构的轻量级舌体分割方法
CN108986107A (zh) 基于光谱分析和骨架涂鸦的序列化可视人体切片图像自动分割方法
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN116152504B (zh) 图像分割方法、装置、电子设备及存储介质
CN110827309B (zh) 一种基于超像素的偏光片外观缺陷分割方法
CN114783039A (zh) 一种3d人体模型驱动的运动迁移方法
CN110706209B (zh) 一种网格网络的大脑磁共振图像肿瘤定位方法
CN111932486A (zh) 一种基于3d卷积神经网络的脑胶质瘤分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant