CN114943670A - 医学图像的识别方法、装置、电子设备及存储介质 - Google Patents

医学图像的识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114943670A
CN114943670A CN202110178610.0A CN202110178610A CN114943670A CN 114943670 A CN114943670 A CN 114943670A CN 202110178610 A CN202110178610 A CN 202110178610A CN 114943670 A CN114943670 A CN 114943670A
Authority
CN
China
Prior art keywords
layer
medical image
residual error
features
segmentation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110178610.0A
Other languages
English (en)
Inventor
何滨
金顺楠
周迪斌
徐琦
杨斌
蒋雨枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Santan Medical Technology Co Ltd
Original Assignee
Hangzhou Santan Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Santan Medical Technology Co Ltd filed Critical Hangzhou Santan Medical Technology Co Ltd
Priority to CN202110178610.0A priority Critical patent/CN114943670A/zh
Publication of CN114943670A publication Critical patent/CN114943670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种医学图像的识别方法、装置、电子设备及存储介质。其中，医学图像的识别方法，包括：将医学影像图片输入分割模型中，得到医学影像图片中目标的识别结果的特征图，分割模型包括下采样层、通道注意力模块，下采样层包括多层残差单元，每层残差单元对医学影像图片卷积输出后的特征均分，并逐层进行卷积和残差融合，将分层进行特征融合后的融合特征输入通道注意力模块，并将医学影像图片的原特征与卷积输出后的特征进行跨层连接，通道注意力模块用于调整权重系数，并根据原特征与权重系数得到分割模型输出的特征图。本发明的实施例，可以有效提升医学图像的目标分割准确性。

Description

医学图像的识别方法、装置、电子设备及存储介质
技术领域
本发明涉及图像分割技术领域，尤其涉及一种医学图像的识别方法、装置、电子设备及存储介质。
背景技术
随着计算机视觉技术和医学影像设备的飞速发展，医学图像分割技术在影像医学中所发挥的作用越来越大，在临床诊断、病理分析及治疗等方面均具有重要意义。由于医学图像的多样性、复杂性及其采集的困难性，并且在分割过程中需要解决不均匀个体差异等问题，一般的图像分割方法难以直接应用于医学图像分割，医学图像分割面临着更多的课题和挑战。
现有实现方案包括基于先验知识和图像信息的传统分割算法；利用图像梯度、亮度或纹理信息从图像中获得信息进而对图像进行分割，主要有阈值法、聚类法、区域生长、水平集、图像分割等算法；基于深度学习的医学图像分割方法，其卷积神经网络强大的非线性特征提取能力在一系列图像处理任务中取得了突出的表现，随之出现了许多可用于分割任务的深度神经网络。
传统分割算法耗时长、精确度受图像质量影响大。传统分割方法中存在的过多依赖医学领域的先验知识和人为评估错误，且处理过程较为繁琐，不能做到完全意义上的自动分割。医学图像分割通常需要极高的精度，但由于医学图像的个体化差异，传统的图像分割方法在分割精度上并不满足要求。
深度网络训练过程易发生过拟合，影响模型泛化能力。医学图像通常具有较大的数据量，体素/像素的标注耗时长、专业要求高，导致可用于训练的已标注样本数量有限，深层神经网络的训练需要大量的数据，数据集的量影响着模型的性能。
深度网络梯度消失。深层次的网络具有更好地性能，然而随着网络的加深，梯度消失愈发严重，导致损失不能有效地反向传播到浅层，最终会降低模型的性能。
模型的分割精度差。医学图像目标器官形态(大小、位置、形状)差异及图像质量差异均可能影响模型的分割精度。
发明内容
针对现有技术中的问题，本发明实施例提供一种医学图像的识别方法、装置、电子设备及存储介质。
具体地，本发明实施例提供了以下技术方案：
第一方面，本发明实施例提供了一种医学图像的识别方法，包括：
获取待识别的医学影像图片；
将所述医学影像图片输入分割模型中，得到所述分割模型输出的所述医学影像图片中目标的识别结果的特征图，
其中，所述分割模型包括输入层、下采样层、池化层、通道注意力模块、上采样层和输出层，所述下采样层包括多层结构的多层残差单元，其中，每层残差单元对所述医学影像图片卷积输出后的特征均分，并逐层进行卷积和残差融合，以及将分层进行特征融合后的融合特征输入所述通道注意力模块，并将所述医学影像图片的原特征与卷积输出后的特征进行跨层连接，所述通道注意力模块用于调整权重系数，并根据所述原特征与权重系数得到所述分割模型输出的所述特征图，
其中，所述分割模型是根据医学影像图片序列样本及每个样本对应的标注二值图像预先训练完成。
进一步地，所述多层残差单元具体用于对卷积输出后的特征按通道数进行均分，并使用滤波器逐层进行卷积和残差融合。
进一步地，所述多层残差单元共5层，且由上至下依次为第一残差单元至第五残差单元，其中，第五残差单元上采样，与将第四残差单元的输出结果连接，得到特征后输入第四残差单元；
所述第四残差单元上采样，与将第三残差单元的输出结果连接，得到特征后输入第三残差单元；
所述第三残差单元上采样，与将第二残差单元的输出结果连接，得到特征后输入第二残差单元；
所述第二残差单元上采样，与将第一残差单元的输出结果连接，得到特征图输入第一残差单元。
进一步地，所述通道注意力模块具体用于在通道维度上使用全局最大池化和全局平均池化对特征进行降维，得到2个不同的信道描述符，按对应的通道维度将2个不同的信道描述符合并送入神经网络感知机，通过所述神经网络感知机将得到的2个特征逐点相加，并经过Sigmoid激活函数得到所述权重系数，以及将原特征与权重系数对应元素逐个相乘得到所述特征图。
进一步地，还包括：
获取医学影像图片序列样本及每个样本对应的标注二值图像；
基于所述医学影像图片序列样本及每个样本对应的标注二值图像，对所述分割模型进行训练。
进一步地，所述基于所述医学影像图片序列样本及每个样本对应的标注二值图像，对所述分割模型进行训练，包括：通过分割模型逐层计算后，将得到输出值进行反向传播，计算每个输出值与对应的医学影像图片序列样本的标注二值图像的误差，根据最小误差准则，修正分割模型中每层的参数，逐渐使分割模型收敛时，训练完成所述分割模型。
第二方面，本发明实施例还提供了一种医学图像的识别装置，包括：
获取模块，用于获取待识别的医学影像图片；
识别模块，用于将所述医学影像图片输入分割模型中，得到所述分割模型输出的所述医学影像图片中目标的识别结果的特征图，
其中，所述分割模型包括输入层、下采样层、池化层、通道注意力模块、上采样层和输出层，所述下采样层包括多层结构的多层残差单元，其中，每层残差单元对所述医学影像图片卷积输出后的特征均分，并逐层进行卷积和残差融合，以及将分层进行特征融合后的融合特征输入所述通道注意力模块，并将所述医学影像图片的原特征与卷积输出后的特征进行跨层连接，所述通道注意力模块用于调整权重系数，并根据所述原特征与权重系数得到所述分割模型输出的所述特征图，
其中，所述分割模型是根据医学影像图片序列样本及每个样本对应的标注二值图像预先训练完成。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的医学图像的识别方法的步骤。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的医学图像的识别方法的步骤。
第五方面，本发明实施例还提供了一种计算机程序产品，所计算机程序产品包括有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的医学图像的识别方法的步骤。
由上面技术方案可知，本发明实施例提供的医学图像的识别方法、装置、电子设备及存储介质，适用于医学图像的分割，由于医学图像因其数据量较少、图像复杂高等特点，在模型设计中需克服过拟合、梯度消失等问题。采用U型卷积-反卷积的网络结构能融合低分辨率和高分辨率的特征信息，低分辨率信息用以目标定位，高分辨率信息用以细化分割信息。通过不同尺度下特征的融合，增加信息量，提高预测结果的精确度。此外，提高了深度网络提取特征的表达能力以及网络分割精度。即：考虑到对图像的反复降维操作，会一定程度上损失图像的细节信息，引入改进的残差模块替代基础的卷积结构来解决深层网络梯度消失和爆炸问题。改进残差模块结构，采用先拆分后融合的策略，在控制参数量的同时增加每个网络层的感受野范围，既不增加网络的计算负载，还能从多个尺度上表示特征，多尺度的融合有助于提取出更多细节信息。相关技术中，通道分层卷积的残差结构虽然可得到多尺度的特征表示，但结构中各个特征图的通道并不存在依赖性。不同的通道包含的特征信息存在差异且重要性不同。而本发明的实施例中，引入了通道注意力机制对特征各通道的依赖性进行建模，可将上层特征中不相关的信息以及噪声的激活响应抑制，只凸显相关信息的激活值，一方面可以滤除背景噪声对梯度更新的影响，另一方面可以减少上采样的边缘模糊问题，能带来显著的模型敏感度和准确率的提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的医学图像的识别方法的流程图；
图2为本发明一实施例提供的医学图像的识别方法中模型训练和测试的流程示意图；
图3为本发明一实施例提供的医学图像的识别方法中分割模型的结构示意图；
图4为本发明一实施例提供的医学图像的识别方法的下采样层的残差单元的结构示意图；
图5为本发明一实施例提供的医学图像的识别方法的通道注意力模块的结构示意图；
图6为本发明一实施例提供的医学图像的识别装置的结构框图；
图7为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的医学图像的识别方法的流程图。如图1所示，本发明实施例提供的医学图像的识别方法，包括如下步骤：
步骤101：获取待识别的医学影像图片。
步骤102：将医学影像图片输入分割模型中，得到分割模型输出的医学影像图片中目标的识别结果的特征图，其中，分割模型包括输入层、下采样层、池化层、通道注意力模块、上采样层和输出层，下采样层包括多层结构的多层残差单元，其中，每层残差单元对医学影像图片卷积输出后的特征均分，并逐层进行卷积和残差融合，以及将分层进行特征融合后的融合特征输入通道注意力模块，并将医学影像图片的原特征与卷积输出后的特征进行跨层连接，通道注意力模块用于调整权重系数，并根据原特征与权重系数得到分割模型输出的特征图，所述分割模型是根据医学影像图片序列样本及每个样本对应的标注二值图像预先训练完成。
在具体示例中，多层残差单元具体用于对卷积输出后的特征按通道数进行均分，并使用滤波器逐层进行卷积和残差融合。
在本发明的一个实施例中，多层残差单元共5层，且由上至下依次为第一残差单元至第五残差单元，其中，第五残差单元上采样，与将第四残差单元的输出结果连接，得到特征后输入第四残差单元；所述第四残差单元上采样，与将第三残差单元的输出结果连接，得到特征后输入第三残差单元；所述第三残差单元上采样，与将第二残差单元的输出结果连接，得到特征后输入第二残差单元；所述第二残差单元上采样，与将第一残差单元的输出结果连接，得到特征图输入第一残差单元。
在具体应用中，通道注意力模块具体用于在通道维度上使用全局最大池化和全局平均池化对特征进行降维，得到2个不同的信道描述符，按对应的通道维度将2个不同的信道描述符合并送入神经网络感知机，通过所述神经网络感知机将得到的2个特征逐点相加，并经过Sigmoid激活函数得到所述权重系数，以及将原特征与权重系数对应元素逐个相乘得到所述特征图。
可以理解的是，上述分割模型采用的是一种改进的U-Net卷积神经网络实现的，该分割模型需要预先训练完成，具体来说，可以获取医学影像图片序列样本及每个样本对应的标注二值图像；并基于所述医学影像图片序列样本及每个样本对应的标注二值图像，对所述分割模型进行训练。
该示例中，基于所述医学影像图片序列样本及每个样本对应的标注二值图像，对所述分割模型进行训练，包括：通过分割模型逐层计算后，将得到输出值进行反向传播，计算每个输出值与对应的医学影像图片序列样本的标注二值图像的误差，根据最小误差准则，修正分割模型中每层的参数，逐渐使分割模型收敛时，训练完成所述分割模型。
本发明实施例的医学图像的识别方法，是一种基于改进的深度卷积神经网络实现的，可以有效提高医学图像的分割效率和精确度。具体来说，本发明的实施例可以克服基于传统分割算法在医学图像分割任务中实时性、精确度的不足，针对当前U-Net网络模型以及相关卷积网络在医学图像分割中分割边缘精度低，对目标的识别率低等问题，通过改进的分割模型。使用能基于少量图像数据进行训练的U型卷积-反卷积结构为主框架的网络模型，为了提高深度网络提取特征的表达能力以及网络分割精度，使用多尺度特征融合的残差结构为基础模块，并引入通道注意力机制对特征各通道的依赖性进行建模，自适应地对特征进行逐通道调整，增加分割准确度、缩短训练时间。
结合图2至图5所示，训练数据为CT序列集(即：医学影像图片序列样本)及其对应的标注二值图像。训练时超参数可采用如下设置：batch_size(批数量)设定为16；初始学习率为10-3，优化器选用Adam，在训练时自适应地调节学习率，直至损失函数收敛。考虑到计算资源有限，故预处理将医学影像图片序列样本统一缩放为256×256像素后送入分割模型进行训练和测试。如图2所示，为对分割模型进行训练和测试的流程，分割模型的整体网络架构如图3所示，下采样层包括的多层残差单元如图4所示，通道注意力模块的结构如图5所示。
如图3所示，分割模型采用的改进的U-Net网络包括输入层、下采样层、池化层、注意力模块、上采样层、以及输出层。
其中，如图4所示，残差单元的作用为对1×1卷积输出后的特征图按通道数均分为4部分，使用3×3(通道数＝上层通道数/4)的滤波器逐层进行卷积和残差融合，其中，xi为分块特征子集，yi为特征子集的输出。将分层特征进行融合后输入通道注意力模块，并将原特征与卷积输出结果进行跨层连接。
如图5所示，通道注意力模块的具体作用为：
(1)在通道维度上使用全局最大池化和全局平均池化对特征进行降维，得到2个不同的信道描述符；
(2)按其通道维度将这两个不同空间背景的信道描述符合并送入一个两层的神经网络感知机；
(3)将得到的两个特征图逐点相加，并经过Sigmoid激活函数得到权重系数；
(4)将原特征与权重系数对应元素逐个相乘得到特征图。
输入层是：conv(通道数16，卷积核3×3)、正则化，Relu激活、最大池化。
下采样层包括的多层残差单元分为5层，分别如下：
第一残差单元(如图4所示结构，通道16)、池化；
第二残差单元(如图4所示结构，通道32)、池化；
第三残差单元(如图4所示结构，通道64)、池化；
第四残差单元(如图4所示结构，通道128)、池化；
第五残差单元(如图4所示结构，通道256)。
跨层连接与上采样的具体说明如下：
A：第五残差单上采样，与将第四残差单元结果连接，得到特征图后输入残差单元。
B：将A结果上采样后，与将第三残差单结果连接，得到特征图后输入残差单元。
C：将B结果上采样后，与将第二残差单元结果连接，得到特征图后输入残差单元。
D：将C结果上采样后，与将第一残差单元结果连接，得到特征图后输入残差单元。
输出层为：conv(通道数16，卷积核3×3)、正则化，Relu激活、最大池化，conv(通道数1，卷积核3X3)得到结果图。
网络的输入层例如为固定256*256像素矩阵，输入3×3卷积、正则化、激活后引入下采样网络。经过残差单元进行特征提取及通道注意力调整特征权重后进行逐层下采样，将每层输出与上采样特征融合，最终引入输出层经过一层卷积、正则化激活后输出结果。
根据网络算法逐层计算后，将得到输出值进行反向传播，计算每个输出值与对应图片标签的误差，根据最小误差准则，修正网络每层的参数，将误差最小化，逐渐使训练的网络收敛，得到训练模型。然后，引入测试图像进行模型测试。训练完成之后，进行医学图像的分割。
需要说明的是，由于医学图像的多样性、复杂性，现有技术中的分割模型的分割性能通常不高。而本发明的实施例，从多个维度提出了适用于医学图像分割的深度神经网络改进策略。为了提高深度网络提取特征的表达能力以及网络分割精度，引入残差模块来对通用模型进行强化。常规残差模块由2个3×3的卷积层堆叠而成，随着网络深度的加深，这种残差模块在实践中并不十分有效。本发明的实施例，使用拥有多尺度特征表示能力深度残差网络结构，该模块通过对瓶颈残差结构进行改进，用一组更小的滤波器组替换全通道的3×3卷积核，并将分组的滤波器以类残差的层次化方式连接，增加输出特征所能代表的尺度的数量。经过分块卷积和残差融合，可得到不同感受野大小的特征输出。卷积输出与原特征图的跨层连接，能缩短前后层之间的距离，进一步提高特征的学习能力。
多尺度残差融合特征后引入通道注意力机制对特征各通道的依赖性进行建模。自适应地对特征进行逐通道调整，网络就可以通过学习全局信息来有选择性地加强包含有用信息的特征，使得下一层卷积能充分利用这些特征，并对无用特征进行抑制，从而提高网络的表示能力。
本发明实施例的医学图像的识别方法，适用于医学图像的分割，由于医学图像因其数据量较少、图像复杂高等特点，在模型设计中需克服过拟合、梯度消失等问题。采用U型卷积-反卷积的网络结构能融合低分辨率和高分辨率的特征信息，低分辨率信息用以目标定位，高分辨率信息用以细化分割信息。通过不同尺度下特征的融合，增加信息量，提高预测结果的精确度。此外，提高了深度网络提取特征的表达能力以及网络分割精度。即：考虑到对图像的反复降维操作，会一定程度上损失图像的细节信息，引入改进的残差模块替代基础的卷积结构来解决深层网络梯度消失和爆炸问题。改进残差模块结构，采用先拆分后融合的策略，在控制参数量的同时增加每个网络层的感受野范围，既不增加网络的计算负载，还能从多个尺度上表示特征，多尺度的融合有助于提取出更多细节信息。相关技术中，通道分层卷积的残差结构虽然可得到多尺度的特征表示，但结构中各个特征图的通道并不存在依赖性。不同的通道包含的特征信息存在差异且重要性不同。而本发明的实施例中，引入了通道注意力机制对特征各通道的依赖性进行建模，可将上层特征中不相关的信息以及噪声的激活响应抑制，只凸显相关信息的激活值，一方面可以滤除背景噪声对梯度更新的影响，另一方面可以减少上采样的边缘模糊问题，能带来显著的模型敏感度和准确率的提高。
根据本发明实施例的医学图像的识别方法，可以有效提升医学图像的目标分割准确性。
图6示出了本发明实施例提供的医学图像的识别装置的结构示意图。如图6所示，本实施例提供的医学图像的识别装置，包括：获取模块610和识别模块620，其中：
获取模块610，用于获取待识别的医学影像图片；
识别模块620，用于将所述医学影像图片输入分割模型中，得到所述分割模型输出的所述医学影像图片中目标的识别结果的特征图，
其中，所述分割模型包括输入层、下采样层、池化层、通道注意力模块、上采样层和输出层，所述下采样层包括多层结构的多层残差单元，其中，每层残差单元对所述医学影像图片卷积输出后的特征均分，并逐层进行卷积和残差融合，以及将分层进行特征融合后的融合特征输入所述通道注意力模块，并将所述医学影像图片的原特征与卷积输出后的特征进行跨层连接，所述通道注意力模块用于调整权重系数，并根据所述原特征与权重系数得到所述分割模型输出的所述特征图，
其中，所述分割模型是根据医学影像图片序列样本及每个样本对应的标注二值图像预先训练完成。
根据本发明实施例的医学图像的识别装置，可以有效提升医学图像的目标分割准确性。
由于本发明实施例提供的医学图像的识别装置，可以用于执行上述实施例所述的医学图像的识别方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
在本实施例中，需要说明的是，本发明实施例的装置中的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图7，所述电子设备具体包括如下内容：处理器401、存储器402、通信接口403和通信总线404；
其中，所述处理器401、存储器402、通信接口403通过所述通信总线404完成相互间的通信；
所述处理器401用于调用所述存储器402中的计算机程序，所述处理器执行所述计算机程序时实现上述医学图像的识别方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：获取待识别的医学影像图片；将所述医学影像图片输入分割模型中，得到所述分割模型输出的所述医学影像图片中目标的识别结果的特征图，其中，所述分割模型包括输入层、下采样层、池化层、通道注意力模块、上采样层和输出层，所述下采样层包括多层结构的多层残差单元，其中，每层残差单元对所述医学影像图片卷积输出后的特征均分，并逐层进行卷积和残差融合，以及将分层进行特征融合后的融合特征输入所述通道注意力模块，并将所述医学影像图片的原特征与卷积输出后的特征进行跨层连接，所述通道注意力模块用于调整权重系数，并根据所述原特征与权重系数得到所述分割模型输出的所述特征图，其中，所述分割模型是根据医学影像图片序列样本及每个样本对应的标注二值图像预先训练完成。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述医学图像的识别方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：获取待识别的医学影像图片；将所述医学影像图片输入分割模型中，得到所述分割模型输出的所述医学影像图片中目标的识别结果的特征图，其中，所述分割模型包括输入层、下采样层、池化层、通道注意力模块、上采样层和输出层，所述下采样层包括多层结构的多层残差单元，其中，每层残差单元对所述医学影像图片卷积输出后的特征均分，并逐层进行卷积和残差融合，以及将分层进行特征融合后的融合特征输入所述通道注意力模块，并将所述医学影像图片的原特征与卷积输出后的特征进行跨层连接，所述通道注意力模块用于调整权重系数，并根据所述原特征与权重系数得到所述分割模型输出的所述特征图，其中，所述分割模型是根据医学影像图片序列样本及每个样本对应的标注二值图像预先训练完成。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
基于相同的发明构思，本发明又一实施例提供了一种计算机程序产品，所计算机程序产品包括有计算机程序，该计算机程序被处理器执行时实现上述医学图像的识别方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：获取待识别的医学影像图片；将所述医学影像图片输入分割模型中，得到所述分割模型输出的所述医学影像图片中目标的识别结果的特征图，其中，所述分割模型包括输入层、下采样层、池化层、通道注意力模块、上采样层和输出层，所述下采样层包括多层结构的多层残差单元，其中，每层残差单元对所述医学影像图片卷积输出后的特征均分，并逐层进行卷积和残差融合，以及将分层进行特征融合后的融合特征输入所述通道注意力模块，并将所述医学影像图片的原特征与卷积输出后的特征进行跨层连接，所述通道注意力模块用于调整权重系数，并根据所述原特征与权重系数得到所述分割模型输出的所述特征图，其中，所述分割模型是根据医学影像图片序列样本及每个样本对应的标注二值图像预先训练完成。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的流量审计方法。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本发明中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种医学图像的识别方法，其特征在于，包括：
获取待识别的医学影像图片；
将所述医学影像图片输入分割模型中，得到所述分割模型输出的所述医学影像图片中目标的识别结果的特征图，
其中，所述分割模型包括输入层、下采样层、池化层、通道注意力模块、上采样层和输出层，所述下采样层包括多层结构的多层残差单元，其中，每层残差单元对所述医学影像图片卷积输出后的特征均分，并逐层进行卷积和残差融合，以及将分层进行特征融合后的融合特征输入所述通道注意力模块，并将所述医学影像图片的原特征与卷积输出后的特征进行跨层连接，所述通道注意力模块用于调整权重系数，并根据所述原特征与权重系数得到所述分割模型输出的所述特征图，
其中，所述分割模型是根据医学影像图片序列样本及每个样本对应的标注二值图像预先训练完成。
2.根据权利要求1所述的医学图像的识别方法，其特征在于，所述多层残差单元具体用于对卷积输出后的特征按通道数进行均分，并使用滤波器逐层进行卷积和残差融合。
3.根据权利要求1或2所述的医学图像的识别方法，其特征在于，所述多层残差单元共5层，且由上至下依次为第一残差单元至第五残差单元，其中，第五残差单元上采样，与将第四残差单元的输出结果连接，得到特征后输入第四残差单元；
所述第四残差单元上采样，与将第三残差单元的输出结果连接，得到特征后输入第三残差单元；
所述第三残差单元上采样，与将第二残差单元的输出结果连接，得到特征后输入第二残差单元；
所述第二残差单元上采样，与将第一残差单元的输出结果连接，得到特征图输入第一残差单元。
4.根据权利要求1所述的医学图像的识别方法，其特征在于，所述通道注意力模块具体用于在通道维度上使用全局最大池化和全局平均池化对特征进行降维，得到2个不同的信道描述符，按对应的通道维度将2个不同的信道描述符合并送入神经网络感知机，通过所述神经网络感知机将得到的2个特征逐点相加，并经过Sigmoid激活函数得到所述权重系数，以及将原特征与权重系数对应元素逐个相乘得到所述特征图。
5.根据权利要求1所述的医学图像的识别方法，其特征在于，还包括：
获取医学影像图片序列样本及每个样本对应的标注二值图像；
基于所述医学影像图片序列样本及每个样本对应的标注二值图像，对所述分割模型进行训练。
6.根据权利要求5所述的医学图像的识别方法，其特征在于，所述基于所述医学影像图片序列样本及每个样本对应的标注二值图像，对所述分割模型进行训练，包括：通过分割模型逐层计算后，将得到输出值进行反向传播，计算每个输出值与对应的医学影像图片序列样本的标注二值图像的误差，根据最小误差准则，修正分割模型中每层的参数，逐渐使分割模型收敛时，训练完成所述分割模型。
7.一种医学图像的识别装置，其特征在于，包括：
获取模块，用于获取待识别的医学影像图片；
识别模块，用于将所述医学影像图片输入分割模型中，得到所述分割模型输出的所述医学影像图片中目标的识别结果的特征图，
其中，所述分割模型包括输入层、下采样层、池化层、通道注意力模块、上采样层和输出层，所述下采样层包括多层结构的多层残差单元，其中，每层残差单元对所述医学影像图片卷积输出后的特征均分，并逐层进行卷积和残差融合，以及将分层进行特征融合后的融合特征输入所述通道注意力模块，并将所述医学影像图片的原特征与卷积输出后的特征进行跨层连接，所述通道注意力模块用于调整权重系数，并根据所述原特征与权重系数得到所述分割模型输出的所述特征图，
其中，所述分割模型是根据医学影像图片序列样本及每个样本对应的标注二值图像预先训练完成。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现根据权利要求1～6任一项所述的医学图像的识别方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1～6任一项所述的医学图像的识别方法的步骤。
10.一种计算机程序产品，所计算机程序产品包括有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1～6任一项所述的医学图像的识别方法的步骤。
CN202110178610.0A 2021-02-09 2021-02-09 医学图像的识别方法、装置、电子设备及存储介质 Pending CN114943670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110178610.0A CN114943670A (zh) 2021-02-09 2021-02-09 医学图像的识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110178610.0A CN114943670A (zh) 2021-02-09 2021-02-09 医学图像的识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114943670A true CN114943670A (zh) 2022-08-26

Family

ID=82905942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110178610.0A Pending CN114943670A (zh) 2021-02-09 2021-02-09 医学图像的识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114943670A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808143A (zh) * 2021-09-06 2021-12-17 沈阳东软智能医疗科技研究院有限公司 图像分割方法、装置、可读存储介质及电子设备
CN115272086A (zh) * 2022-09-29 2022-11-01 杭州太美星程医药科技有限公司 医学图像缝合方法和装置、电子设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808143A (zh) * 2021-09-06 2021-12-17 沈阳东软智能医疗科技研究院有限公司 图像分割方法、装置、可读存储介质及电子设备
CN113808143B (zh) * 2021-09-06 2024-05-17 沈阳东软智能医疗科技研究院有限公司 图像分割方法、装置、可读存储介质及电子设备
CN115272086A (zh) * 2022-09-29 2022-11-01 杭州太美星程医药科技有限公司 医学图像缝合方法和装置、电子设备和存储介质
CN115272086B (zh) * 2022-09-29 2022-12-27 杭州太美星程医药科技有限公司 医学图像缝合方法和装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US11295178B2 (en) Image classification method, server, and computer-readable storage medium
Mahapatra et al. Image super-resolution using progressive generative adversarial networks for medical image analysis
Shin et al. Deep vessel segmentation by learning graphical connectivity
Mahapatra et al. Image super resolution using generative adversarial networks and local saliency maps for retinal image analysis
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN112651978A (zh) 舌下微循环图像分割方法和装置、电子设备、存储介质
CN109146891B (zh) 一种应用于mri的海马体分割方法、装置及电子设备
CN112330684B (zh) 对象分割方法、装置、计算机设备及存储介质
CN109615614B (zh) 基于多特征融合的眼底图像中血管的提取方法与电子设备
CN112150476A (zh) 基于时空判别性特征学习的冠状动脉序列血管分割方法
CN113298780B (zh) 一种基于深度学习的儿童骨龄评估方法及系统
CN114943670A (zh) 医学图像的识别方法、装置、电子设备及存储介质
CN114565620B (zh) 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN113205537A (zh) 基于深度学习的血管图像分割方法、装置、设备及介质
CN111680755A (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN112489029A (zh) 一种基于卷积神经网络的医学图像分割方法及装置
Li et al. Robust blood cell image segmentation method based on neural ordinary differential equations
CN117274662A (zh) 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法
WO2020219968A1 (en) Detecting avascular and signal reduction areas in retinas using neural networks
Wang et al. SERR‐U‐Net: Squeeze‐and‐Excitation Residual and Recurrent Block‐Based U‐Net for Automatic Vessel Segmentation in Retinal Image
CN116704206B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113284122A (zh) 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质
CN110634119B (zh) 分割磁敏感加权图像中静脉血管的方法、装置和计算设备
CN114663421B (zh) 基于信息迁移和有序分类的视网膜图像分析系统及方法
Bricman et al. CocoNet: A deep neural network for mapping pixel coordinates to color values

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination