CN112489029A - 一种基于卷积神经网络的医学图像分割方法及装置 - Google Patents

一种基于卷积神经网络的医学图像分割方法及装置 Download PDF

Info

Publication number
CN112489029A
CN112489029A CN202011455188.0A CN202011455188A CN112489029A CN 112489029 A CN112489029 A CN 112489029A CN 202011455188 A CN202011455188 A CN 202011455188A CN 112489029 A CN112489029 A CN 112489029A
Authority
CN
China
Prior art keywords
image
convolutional neural
neural network
edge
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011455188.0A
Other languages
English (en)
Inventor
张娜
郑海荣
刘新
申帅
胡战利
梁栋
李烨
邹超
贾森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011455188.0A priority Critical patent/CN112489029A/zh
Publication of CN112489029A publication Critical patent/CN112489029A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开一种基于卷积神经网络的医学图像分割数据增强方法及装置，该方法包括：对获取的原始图像进行边缘增强处理，获得边缘增强的原始图像；将原始图像和边缘增强的原始图像合并生成多通道图像数据；将获得的多通道图像数据作为输入数据输入卷积神经网络模型，将原始图像的标注数据作为卷积神经网络模型拟合的目标，对卷积神经网络模型进行训练，获得卷积神经网络模型参数，以实现对待测图像按照所述标注数据的类型进行分割。用于解决相关技术中由于训练样本数量不足导致的网络泛化性能降低，从而导致网络模型测试误差较大甚至失真的问题。

Description

一种基于卷积神经网络的医学图像分割方法及装置
技术领域
本发明涉及医学图像分割技术领域，具体是一种基于卷积神经网络的医学图像分割方法及装置。
背景技术
卷积神经网络（Convolutional Neural Networks）是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析图像数据。卷积神经网络主使用由卷积层和池化层进行特征提取和图像大小的压缩。下面以U－net网络为例对卷积神经网络在医学图像分割过程中的应用进行说明：
是一种卷积神经网络；是在全卷积神经网络（FCN）的基础上发展出来的；能够有效分割目标图像要素的网络。U－net网络在拟合的过程中，需要计算出每一个神经元的权重（weight）和偏置（bias）两个参数。
为了拟合这些参数，需要大量的样本进行网络的训练。其中每一组样本均包含了输入的原始图像和网络要拟合的标注数据。神经网络的模型具有两种模式：训练模式(Train)和评估模式(Eval)。在训练模式中，将数据一组一组的放入网络模型进行训练，模型中的参数随着训练能越来越好的反映出输入到输出的变化过程。在样本量足够的情况下，网络模型的评价函数(Loss)逐渐收敛时，通常代表网络获得了稳定的训练结果。这时模型的训练就完成了。在评估模式中，模型的参数不再变动。输入未经标注的图像数据，经过训练完成的模型的计算可以得到拟合的结果。
卷积神经网络的训练依赖于大量的图像数据和标注数据，而在数据量不足的情况下，网络的泛化性能会受到影响。
发明内容
本申请提供一种基于卷积神经网络的医学图像分割方法及装置，用于克服现有技术中在训练样本数据量不足的情况下，导致网络的泛化性能会受到影响；实现在样本量较少的情况下提升模型的准确率并缓解过拟合的产生。
为实现上述目的，第一方面，本申请提供一种基于卷积神经网络的医学图像分割数据增强方法，包括：
对获取的原始图像进行边缘增强处理，获得边缘增强的原始图像；
将原始图像和边缘增强的原始图像合并生成多通道图像数据；
将获得的多通道图像数据作为训练样本输入卷积神经网络模型，将原始图像的标注数据作为卷积神经网络模型拟合的目标，对卷积神经网络模型进行训练，获得训练的卷积神经网络；
通过训练的卷积神经网络对待测图像进行测试以实现对待测图像按照所述标注数据的类型进行分割。
通过采用上述的技术方案，在能作为训练样本的数据量较少、训练样本中能被网络模型提取的有效特征信息不足的情况下，通过在训练样本中增加一部分人工特征及边缘信息可以增加每一个数据样本的特征信息，进而提升网络的泛化性能，实现降低网络拟合需要的样本量的技术效果。
优选的，上述方法还包括：
将待测图像进行边缘增强处理，获得边缘增强的待测图像；
将待测图像和边缘增强的待测图像合并生成多通道图像数据；
将获得的多通道图像数据输入训练获得的卷积神经网络中进行拟合，获得分割图像。
通过采用上述的技术方案，基于要保持出入数据和网络训练时的一致性，将待测图像（未标注，通过训练模型自动生成标注图像）同样进行边缘增强处理，并与待测图像合并生成多通道图像数据输入上一步骤中训练完成的卷积神经网络中进行轮廓拟合，由于卷积神经网络模型的各参数均通过上述训练步骤训练获得，由此可直接按照上述训练过程中标注的类型对待测图像进行分割并输出分割完成的图像；相对于相关技术，由于训练过程中提高了网络模型的泛化性能，对于待测图像的识别性能更高，输出的分割图像与标注图像之间的误差大大减小；此外相对单独将待测图像输入训练的模型中进行轮廓拟合，由于增加了多通道边缘增强图像，有利于模型拟合过程中提取边缘信息，从而能提升测试的拟合速度和准确性。
优选的，所述对获取的原始图像进行边缘增强处理，获得边缘增强图像的步骤包括：
分别采用Laplacian、Scharr和/或Canny边缘增强算法对获取的原始图像进行边缘增强处理，获得多个边缘增强的原始图像；
所述将待测图像进行边缘增强处理，获得边缘增强的待测图像的步骤包括：
分别采用Laplacian、Scharr和/或Canny边缘增强算法对获取的待测图像进行边缘增强处理，获得多个边缘增强的待测图像。
通过采用上述的技术方案，分别对原始图像或待测图像进行边缘增强处理，能够高效、快速地获得图像清晰的边缘信息，有利于提升图像分割的速度和有效信息特征的输入。
优选的，所述原始图像及待测图像均为脑血管图像或均为心血管图像。
通过采用上述的技术方案，通过实验模拟获得的网络模型泛化性能更为优异，对不同输入数据的稳定性能较佳。
优选的，所述卷积神经网络模型为多输入通道的U－net网络分割模型。
通过采用上述的技术方案，主使用由卷积层和池化层进行特征提取和图像大小的压缩，实现了对医学图像分割的卓越性能，有效分割目标图像要素。
优选的，所述将原始图像和边缘增强的原始图像合并生成多通道图像数据的步骤包括：
获取n个尺寸和形状均相同的原始图像样本xi，n个原始图像样本xi构成的原始训练集V1train表示如下：
V1 train＝{x1,x2,x3 ,…,xn }
xi为一个大小为r×r的图像样本，原始训练集的样本个数为n；i∈[1,n]，n为正整数；r为像素值；
对任一原始图像样本xi进行第j次边缘增强获得边缘增强的原始图像样本xij，对n个原始图像样本xi分别进行m次边缘增强获得的m×n个边缘增强的原始图像样本xij，m×n个边缘增强的原始图像样本xij构成的增强训练集/测试集V2train表示如下：
V2 train＝{xi1, …,xim }
xij为一个大小为r×r的边缘增强的原始图像样本，增强训练集的样本个数为n×m；i∈[1,n]，j∈[1,m]，m为正整数；
原始训练集V1 train与增强训练集V2 train合并形成的训练集Vtrain表示如下：
Vtrain =V1train +V2train
={x1,x2,x3 ,…,xn }+{x1,x2,x3 ,…,xn }1+…+{x1,x2,x3 ,…,xn }m
={(x1, x11, x12, …, x1m), (x2, x21, x22, …, x2m), (x3, x31, x32, …, x3m),…, (xn, xn1, xn2, …, xnm) }
(xi ,xi1, xi2…,xim )形成一个m+1通道图像样本，训练集Vtraint的样本个数为n；训练集Vtrain生成m+1通道图像数据；
所述将待测图像和边缘增强的待测图像合并生成多通道图像数据的步骤包括：
获取n个尺寸和形状均相同的待测图像样本yi，n个待测图像样本yi构成的原始测试集V1test表示如下：
V1 test＝{y1,y2,y3 ,…,yw }
yi为一个大小为r×r的图像样本，原始测试集的样本个数为w；i∈[1,w]，w为正整数；
对任一待测样本yi进行第j次边缘增强获得边缘增强的待测图像样本yij，对w个待测样本yi分别进行m次边缘增强获得的m×n个边缘增强的待测图像样本yij，m×n个边缘增强的待测图像样本yij构成的增强测试集V2test表示如下：
V2 test＝{yi1, …,yim }
yij为一个大小为r×r的边缘增强的待测图像样本，增强测试集的样本个数为n×m；i∈[1,n]，j∈[1,m]，m为正整数；r为像素值；
原始测试集V1 test与增强测试集V2 test合并形成的测试集Vtest表示如下：
Vtest =V1test +V2test
={y1,y2,y3 ,…,yn }+{y1,y2,y3 ,…,yn }1+…+{y1,y2,y3 ,…,yn }m
={(y1, y11, y12, …, y1m), (y2, y21, y22, …, y2m), (y3, y31, y32, …, y3m),…, (yn, yn1, yn2, …, ynm) }
(yi ,yi1, yi2…,yim )形成一个m+1通道图像样本，测试集Vtest的样本个数为n；训练集/测试集Vtest生成m+1通道图像数据。
通过采用上述的技术方案，训练过程中分别将n个多通道数据(xi ,xi1, xi2…,xim) 各自经不同的通道输入网络模型，并以原始图像样本xi的标注数据为目标对网络模型进行训练，直到损失函数收敛，最终获得网络模型参数，进而获得训练模型；测试过程中分别将w个多通道数据(xi ,xi1, xi2…,xim )各自经不同的通道输入训练模型进行拟合，最终获得分类结果；通过多种边缘增强算法对原始训练集中的每幅原始图像进行处理获得多个边缘增强的原始图像，能够获得样本数量是原始训练集样本数量多倍的增强训练集，将增强训练集与原始训练集中所有样本的总和形成的多通道图像数据作为训练集对卷积神经网络模型进行训练，相对于仅采用原始训练集的样本作为训练集对卷积神经网络模型进行训练，基于每个原始图像样本增加了多个通道的图像边缘特征信息，从而克服在原始训练样本数量不足导致难于抓取到足够的特征信息的缺陷，提升了网络的拟合效率，进而实现使用更少的图像数据快速获得收敛、稳定的网络模型。
优选的，在所述将获得的多通道图像数据作为输入数据输入卷积神经网络模型，将原始图像的标注数据作为卷积神经网络模型拟合的目标，对卷积神经网络模型进行训练，获得卷积神经网络模型参数，以实现对待测图像按照所述标注数据的类型进行分割的步骤之前包括：
构建多输入通道U－net网络分割模型；所述网络分割模型结构包括3个降采样层和3个上采样层以及3个跳链接层，该网络的输入通道数为m+1；其中，网络开始为两个3×3卷积层；每个降采样层包括：1个MaxPooling层和两个3×3卷积层；每个上采样层包括：1个上采样层和两个3×3卷积层，上采样层为双线性插值；跳链接将下采样过程中的特征图与上采样同分辨率的特征图在通道维度拼接。
通过采用上述的技术方案，通过跳链接，将上采样和下采样的同分辨率图像在通道维度拼接，得到了更好的上采样结构，即分割或重构图像，并通过增加分类任务来同时完成细胞、血管等分类问题。
优选的，在所述将获得的多通道图像数据作为输入数据输入卷积神经网络模型，将原始图像的标注数据作为卷积神经网络模型拟合的目标，对卷积神经网络模型进行训练，获得卷积神经网络训练模型的步骤包括：
在训练集中按照原始图像及其边缘增强的原始图像为一组多通道图像数据输入多输入通道U－net网络分割模型，以该原始图像的标注数据作为多输入通道U－net网络分割模型拟合的目标对多输入通道U－net网络分割模型进行训练，获得多输入通道U－net网络分割模型参数；
根据构建的所述多输入通道U－net网络分割模型和多输入通道U－net网络分割模型参数获得多输入通道U－net网络分割训练模型。
通过采用上述的技术方案，可减少训练样板的人工标定，并且能够在训练样本较少的情况下降低其对网络模型泛化性能的影响，并提升网络模型训练过程中的拟合效率。
优选的，所述将获得的多通道图像数据输入获得卷积神经网络训练模型中进行拟合，获得分割图像的步骤包括：
在测试集中按照每个测试图像及其边缘增强图像做为一组多通道数据输入多输入通道U－net网络分割训练模型进行拟合获得分割图像。
通过采用上述的技术方案，由于将边缘增强图像与待测图像均输入网络训练模型进行测试，有利于训练模型提取更多的特征信息，从而能够提升训练模型拟合拟合的准确性。
为实现上述目的，第二方面，本申请还提供一种基于卷积神经网络的医学图像分割数据增强装置，包括处理器和存储器，所述存储器存储有基于卷积神经网络的医学图像分割数据增强程序；所述处理器在运行所述基于卷积神经网络的医学图像分割数据增强程序时执行上述方法的步骤。
通过采用上述的技术方案，将上述医学图像分割数据增强方法以计算机可读代码的形式呈现并存储于存储器内，基于卷积神经网络的医学图像分割数据增强装置在安装上述计算机程序后，处理器在系统内运行存储器内的计算机可读代码时，执行上述基于卷积神经网络的医学图像分割数据增强的步骤获得提升网络泛化性能的技术效果。
本申请提供的传输方法、采集卡及数据传输系统具有如下综合技术效果：
在医学图像分割过程中，训练样本数量较少，不足以提取更多的特征信息进行网络模型训练时，通过本方案的数据增强方法能获得多通道数据，以弥补上述不足，实现提高网络模型的泛化性能。
通过本方案的数据增强方法，能够降低训练样本的数量，从而也降低了标注数据，一方面降低了人工标注工作量，另一方面大大提高了数据分割技术对训练样本数量的适用性。
通过本方案的数据增强方法，尤其在心脑血管图像的分割中，泛化性能提升显著，训练误差和测试误差降低到5%以下。
增加边缘信息可以提升拟合速度，减少模型收敛的时间，从而使用更少的数据训练出模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本申请基于卷积神经网络的医学图像分割数据增强方法的硬件运行环境框架图；
图2为本申请一实施例提供的卷积神经网络的医学图像分割数据增强方法的流程图；
图3为本申请一实施例提供的卷积神经网络的医学图像分割数据增强方法中采用的网络模型结构示意图；
图4为相关技术采用的卷积神经网络模型结构示意图；
图5为相关技术中卷积神经网络的医学图像分割方法进行网络模型训练时输入的一组原始图像和标注图像；
图6为向图5训练好的网络模型中输入的待测图像及经其拟合后的输出图像；
图7为本申请一实施例的卷积神经网络的医学图像分割数据增强方法进行网络模型训练时输入的一组多通道数据和标注数据；
图8为向图7训练好的网络模型中输入的待测图像及经其拟合后的输出图像；
图9为相关技术与本申请的方法训练和拟合过程的误差对比图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
实施例一
如图1所示，本申请提供一种卷积神经网络的医学图像分割数据增强装置100包括采集器101、存储器102和处理器103，采集器1用于采集医学图像，存储器存储2有卷积神经网络的医学图像分割数据增强程序，处理器3在执行该程序时执行以下卷积神经网络的医学图像分割数据增强方法的步骤，下面结合上述装置对该方法方案即实施例二的方案的实施进行详细说明。
实施例二
如图2所示，本申请提供一种卷积神经网络的医学图像分割数据增强方法，具体包括以下步骤：
S100，训练步骤，包括：
S110，对获取的原始图像进行边缘增强处理，获得边缘增强的原始图像；
通过装置中的采集器101获取输入数据，本方案中输入数据为医学图像，例如：CT或B超等医学影像仪器对人体器官进行投影获得的医学图像，为了从医学图像中获取更为清楚和有效的人体组织或器官的信息，以协助医生判断病灶，通常需要安装在计算机内部的数学模型对图像进行复杂的计算和处理，以获得有效信息，本方案中采集器101以设定的频率对输入数据进行采集并传输给处理器103，采集的医学图像在没有进行处理前为原始图像，处理器103对t1时刻采集的原始图像x1通过一具体的图像处理算法进行边缘增强处理，获得边缘增强的原始图像x11，对t2时刻采集的原始图像x2通过同一具体的图像处理算法进行边缘增强处理，获得边缘增强的原始图像x21，重复上述边缘增强处理，对tn时刻采集的原始图像xn通过同一具体的图像处理算法进行边缘增强处理，获得边缘增强的原始图像xn1。在本方案的其他实施例中，可通过多种具体的图像处理算法对采集的原始图像进行边缘增强处理，从而针对任一原始图像xi获得多个边缘增强的原始图像xi1，xi2，…，xim，其中i为采集时刻的序号，m，n分别为正整数，其中m＜n。上述图像处理算法为任意可实现边缘增强的图像处理算法。需要说明的是，这里的原始图像及增强图像均为按照网络模型需求裁剪为统一形状（例如正方形、圆形、长方形等）和尺寸的图像。
S120，将原始图像和边缘增强的原始图像合并生成多通道图像数据；
将上述原始图像的集合{x1,x2,x3 ,…,xn }与边缘增强的原始图像的集合﹛{x1,x2,x3 ,…,xn }1，{x1,x2,x3 ,…,xn }2，…，{x1,x2,x3 ,…,xn }m﹜合并，作为训练集输入卷积神经网络模型，(xi ,xi1, xi2…,xim )形成一个m+1通道图像样本经过m+1个输入通道卷积神经网络模型。
S130，将获得的多通道图像数据作为训练样本输入卷积神经网络模型，将原始图像的标注数据作为卷积神经网络模型拟合的目标，对卷积神经网络模型进行训练，获得卷积神经网络训练模型；
预先对原始图像集合中每个图像中需要分割的组织或器官进行人工标定形成标注图像，每个标注图像与其参照的原始图像之间建立有对应关系，其中基于原始图像进行边缘增强获得边缘增强图像与该原始图像之间也具有对应关系，边缘增强图像的标注图像与其处理前参照的原始图像的标注图像相同，所有原始图像的标注图像形成标注数据；处理器103将上述m+1通道图像数据作为训练样本输入卷积神经网络模型，基于上述对应关系将原始图像的标注数据作为卷积神经网络模型拟合的目标，对卷积神经网络模型进行训练，在网络模型的损失函数收敛时获得卷积神经网络模型参数神经元的权重（weight）和偏置（bias），将网络参数代入卷积神经网络模型进而获得训练模型。
S200，测试步骤，包括：通过卷积神经网络训练模型对待测图像进行测试以实现对待测图像按照所述标注数据的类型进行分割。
将没有标定的待测图像输入上述训练模型，经训练模型测试，以实现对待测图像中的分割目标轮廓进行拟合，输出标定图像即分割图像。
上述方案中，通过处理器102对原始图像进行边缘增强处理获得比原始图像数量多数倍的样本，获得充足数量的训练样本集，将上述数据以原始图像及其标注图像为单位、以边缘增强图像及其标注图像为单位一组一组的输入网络模型进行训练，模型中的参数随着训练能越来越好的反应出输入到输出的变化过程，能够有效促进网络模型的评价函数收敛，并快速获得稳定的训练结果；并且在评估模式中，按照训练过程确定的参数形成的训练模型对待测图像进行测试，经其计算可以拟合获得与标注相似的结果。
作为实施例二的一个优选方式，S200包括：
S210，将待测图像进行边缘增强处理，获得边缘增强的待测图像；
与上述S110相似，需要说明的是，这里的待测图像的规格包括形状和尺寸等参数与原始图像相同。
S220，将待测图像和边缘增强的待测图像合并生成多通道图像数据；
与上述S120相似，需要说明的是，这里对待测图像进行边缘增强处理的算法与对原始图像进行边缘增强处理的算法相同。
S230，将获得的多通道图像数据输入卷积神经网络训练模型中进行拟合，获得分割图像。
与上述S120相似，基于待测图像及其多个边缘增强图像形成的m+1通道数据输入训练模型中进行拟合，获得分割图像。
作为实施例二的另一个优选方式，训练步骤中边缘增强图像生成的步骤S110包括：
S111，采用Laplacian边缘增强算法对获取的原始图像进行边缘增强处理，获得第一边缘增强的原始图像；
S112，采用Scharr边缘增强算法对获取的原始图像进行边缘增强处理，获得第二边缘增强的原始图像；
S113，采用Canny边缘增强算法对获取的原始图像进行边缘增强处理，获得第三边缘增强的原始图像。
上述可将训练样本的图像特征扩充至原来的四倍，此外还可以采用其他公知的边缘增强算法对原始图像进行边缘增强处理，获得边缘增强图像，在训练过程中可提取更多的边缘特征作为特征信息，通过增加增强边缘信息的通道，提升了在样本数据量不足时网络模型的泛化性能。
作为实施例二的又一个优选方式，S100中的卷积神经网络模型为U－net网络分割模型，在步骤S100之前包括S010，构建多输入通道多输出通道U－net网络分割模型；参见图3，所述网络分割模型结构包括3个降采样层和3个上采样层以及3个跳链接层，该网络的输入通道数为N；其中，网络开始为两个3×3卷积层；每个降采样层包括：1个MaxPooling层和两个3×3卷积层；每个上采样层包括：1个上采样层和两个3×3卷积层，上采样层为双线性插值；跳链接将下采样过程中的特征图与上采样同分辨率的特征图在通道维度拼接。
作为实施例二的再一个优选方式，训练步骤中生成多通道图像数据的步骤S120包括：
S121，生成原始训练集：获取n个尺寸和形状均相同的原始图像样本xi，n个原始图像样本xi构成的原始训练集V1train表示如下：
V1 train＝{x1,x2,x3 ,…,xn }
xi为一个大小为r×r的图像样本，原始训练集的样本个数为n；i∈[1,n]，n为正整数；r为像素值；
S122，生成增强训练集：对任一原始图像样本xi进行第j次边缘增强后获得的边缘增强的原始图像样本xij，对n个原始图像样本xi对分别进行m次边缘增强后获得的m×n个边缘增强的原始图像样本xij，m×n个边缘增强的原始图像样本xij构成的增强训练集V2train表示如下：
V2 train＝{xi1, …,xim }
xij为一个大小为r×r的边缘增强的原始图像样本，增强训练集的样本个数为n×m；i∈[1,n]，j∈[1,m]，m为正整数；
S123，生成多通道图像数据：原始训练集V1 train与增强训练集V2 train合并形成的训练集Vtrain表示如下：
Vtrain =V1train +V2train
={x1,x2,x3 ,…,xn }+{x1,x2,x3 ,…,xn }1+…+{x1,x2,x3 ,…,xn }m
={(x1, x11, x12, …, x1m), (x2, x21, x22, …, x2m), (x3, x31, x32, …, x3m),…, (xn, xn1, xn2, …, xnm) }
(xi ,xi1, xi2…,xim )形成一个m+1通道图像样本，训练集Vtraint的样本个数为n；训练集Vtrain生成m+1通道图像数据。
上述方案相对于相关技术的训练集的样本数量没有改变，但是基于原始训练集的每个原始图像生成多个增强图像，实现了多通道图像数据的输入，以弥补原始图像数量不足导致不能获取足够的图像信息的技术缺陷。
作为实施例二的再一个优选方式，S130包括：
S131，在训练集中按照原始图像及其边缘增强的原始图像为一组多通道图像数据输入多输入通道U－net网络分割模型，以该原始图像的标注数据作为多输入通道U－net网络分割模型拟合的目标对多输入通道U－net网络分割模型进行训练，获得多输入通道U－net网络分割模型参数；
卷积神经网络模型参数包括神经元的权重（weight）和偏置（bias），为了拟合这些参数，需要大量的样本信息进行网络的训练。
S132，根据构建的所述多输入通道U－net网络分割模型和多输入通道U－net网络分割模型参数获得多输入通道U－net网络分割训练模型。
上述方案中通过多个边缘增强的样本对卷积神经网络模型进行训练，在下采样过程及上采样过程中，边缘特征信息可以为模型对图像进行分类时提供有效信息从而提升拟合速度
类似的测试步骤中边缘增强图像生成的步骤S210包括：
S211，采用Laplacian边缘增强算法对获取的测试图像进行边缘增强处理，获得第一边缘增强的测试图像；
S212，采用Scharr边缘增强算法对获取的测试图像进行边缘增强处理，获得第二边缘增强的测试图像；
S213，采用Canny边缘增强算法对获取的测试图像进行边缘增强处理，获得第三边缘增强的测试图像。
作为实施例二的再一个优选方式，测试步骤中生成多通道图像数据的步骤S220包括：
S221，生成原始测试集：获取n个尺寸和形状均相同的待测图像样本yi，n个待测图像样本yi构成的原始测试集V1test表示如下：
V1 test＝{y1,y2,y3 ,…,yw }
yi为一个大小为r×r的图像样本，原始测试集的样本个数为w；i∈[1,w]，w为正整数；；
S222，生成增强测试集：对任一待测样本yi进行第j次边缘增强后获得的边缘增强的待测图像样本yij，对w个待测样本yi对分别进行m次边缘增强后获得的m×n个边缘增强的待测图像样本yij，m×n个边缘增强的待测图像样本yij构成的增强测试集V2test表示如下：
V2 test＝{yi1, …,yim }
yij为一个大小为r×r的边缘增强的待测图像样本，增强测试集的样本个数为n×m；i∈[1,n]，j∈[1,m]，m为正整数；r为像素值；；
S223，生成多通道图像数据：原始测试集V1 test与增强测试集V2 test合并形成的测试集Vtest表示如下：
Vtest =V1test +V2test
={y1,y2,y3 ,…,yn }+{y1,y2,y3 ,…,yn }1+…+{y1,y2,y3 ,…,yn }m
={(y1, y11, y12, …, y1m), (y2, y21, y22, …, y2m), (y3, y31, y32, …, y3m),…, (yn, yn1, yn2, …, ynm) }
(yi ,yi1, yi2…,yim )形成一个m+1通道图像样本，测试集Vtest的样本个数为n；训练集/测试集Vtest生成m+1通道图像数据。
基于要保持出入数据和网络训练时的一致性，因此测试图像也采用上述边缘增强算法生成同等数量的通道图像数据，以实现通过上述训练模型进行拟合获得分割图像。
作为实施例二的再一实施方式，步骤S230包括：
S231，在测试集中按照每个测试图像及其边缘增强图像做为一组多通道数据输入多输入通道U－net网络分割训练模型进行拟合获得分割图像。
参见图4为构架的单输入通道脑血管分割U－net网络模型，参见图5为原始训练集其中一组样本，包含了输入的原始图像和网络要拟合的标注图像，为脑血管分割的U－net网络样本数据中的一组：其中左侧为512×512像素的原始图像，右侧为对左图中的血管进行人工标定后形成的512×512像素的标注图像，仅通过原始训练集对图4的网络模型进行训练获得训练模型，参见图6，四组图像中，将左侧512×512像素的图像作为测试图像输入上述训练模型对进行拟合获得的分割图像参见图6右侧的512×512像素的图像，中间为测试图像的标注图像。
构架图3所示的四输入通道脑血管分割U－net网络模型，需要说明的是图3所示的网络模型与图4所示的网络模型的区别仅在于：图3的网络模型为四输入通道，图4的网络模型为单输入通道。参见图7，为训练集其中一组样本，从左到右依次为图5中512×512像素的原始图像、以及分别采用Laplacian、Scharr、Canny边缘增强算法对图5中原始图像进行边缘增强处理获得三幅512×512像素的边缘增强图像及原始图像的标注图像；通过本方案的方法将原始训练集及边缘增强训练集的总和作为训练集形成四通道图像数据对图3网络模型进行训练获得训练模型，参见图8，四组测试图像中，将左侧图像作为测试图像输入上述训练模型对进行拟合获得的分割图像参见图8右侧512×512像素的图像，中间为测试图像的标注图像。
参见图9，自左至右分别为训练误差拟合速度仿真图、测试误差拟合速度仿真图、训练误差-测试误差拟合速度仿真图，其中虚线为采用原始训练集和原始测试集分别对图4的网络模型训练进行训练和测试的拟合曲线，实线为采用原始训练集与增强训练集合并的多通道图像数据和原始测试集与增强测试集合并的多通道图像数据分别对图4的网络模型进行训练和测试的拟合曲线，由训练误差仿真图可以看出两个网络在训练时损失函数下降速度没有明显区别；由测试误差拟合速度仿真图可以看出进行边缘增强的网络拟合速度更快；由训练误差-测试误差拟合速度仿真图可以看出边缘增强的网络更加稳定，泛化性能更好，边缘增强信息可减少模型收敛的时间，从而使用更少的数据训练出网络模型；并且后者相对前者在整体上的拟合误差更小。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种基于卷积神经网络的医学图像分割数据增强方法，其特征在于，包括：
对获取的原始图像进行边缘增强处理，获得边缘增强的原始图像；
将原始图像和边缘增强的原始图像合并生成多通道图像数据；
将获得的多通道图像数据作为训练样本输入卷积神经网络模型，将原始图像的标注数据作为卷积神经网络模型拟合的目标，对卷积神经网络模型进行训练，获得卷积神经网络训练模型；
通过卷积神经网络训练模型对待测图像进行测试以实现对待测图像按照所述标注数据的类型进行分割。
2.根据权利要求1所述的基于卷积神经网络的医学图像分割数据增强方法，其特征在于，所述通过卷积神经网络训练模型对待测图像进行测试以实现对待测图像按照所述标注数据的类型进行分割的步骤包括：
将待测图像进行边缘增强处理，获得边缘增强的待测图像；
将待测图像和边缘增强的待测图像合并生成多通道图像数据；
将获得的多通道图像数据输入卷积神经网络训练模型中进行拟合，获得分割图像。
3.根据权利要求2所述的基于卷积神经网络的医学图像分割数据增强方法，其特征在于，所述对获取的原始图像进行边缘增强处理，获得边缘增强图像的步骤包括：
分别采用Laplacian、Scharr和/或Canny边缘增强算法对获取的原始图像进行边缘增强处理，获得多个边缘增强的原始图像；
所述将待测图像进行边缘增强处理，获得边缘增强的待测图像的步骤包括：
分别采用Laplacian、Scharr和/或Canny边缘增强算法对获取的待测图像进行边缘增强处理，获得多个边缘增强的待测图像。
4.根据权利要求2所述的基于卷积神经网络的医学图像分割数据增强方法，其特征在于，所述原始图像及待测图像均为脑血管图像或均为心血管图像。
5.根据权利要求2所述的基于卷积神经网络的医学图像分割数据增强方法，其特征在于，所述卷积神经网络模型为多输入通道的U－net网络分割模型。
6.根据权利要求5所述的基于卷积神经网络的医学图像分割数据增强方法，其特征在于，所述将原始图像待测图像和边缘增强原始图像合并生成多通道图像数据的步骤包括：
获取n个尺寸和形状均相同的原始图像样本xi，n个原始图像样本xi构成的原始训练集V1train表示如下：
V1 train＝{x1,x2,x3 ,…,xn }
xi为一个大小为r×r的图像样本，原始训练集的样本个数为n；i∈[1,n]，n为正整数；r为像素值；
对任一原始图像样本xi进行第j次边缘增强获得边缘增强的原始图像样本xij，对n个原始图像样本xi分别进行m次边缘增强获得m×n个边缘增强的原始图像样本xij，m×n个边缘增强的原始图像样本xij构成的增强训练集V2train表示如下：
V2 train＝{xi1, …,xim }
xij为一个大小为r×r的边缘增强的原始图像样本，增强训练集的样本个数为n×m；i∈[1,n]，j∈[1,m]，m为正整数；
原始训练集V1 train与增强训练集V2 train合并形成的训练集Vtrain表示如下：
Vtrain =V1train +V2train
={x1,x2,x3 ,…,xn }+{x1,x2,x3 ,…,xn }1+…+{x1,x2,x3 ,…,xn }m
={(x1, x11, x12, …, x1m), (x2, x21, x22, …, x2m), (x3, x31, x32, …, x3m) ,…,(xn, xn1, xn2, …, xnm) }
(xi ,xi1, xi2…,xim )形成一个m+1通道图像样本，训练集Vtraint的样本个数为n；训练集Vtrain生成m+1通道图像数据；
所述将待测图像和边缘增强的待测图像合并生成多通道图像数据的步骤包括：
获取n个尺寸和形状均相同的待测图像样本yi，n个待测图像样本yi构成的原始测试集V1test表示如下：
V1 test＝{y1,y2,y3 ,…,yw }
yi为一个大小为r×r的图像样本，原始测试集的样本个数为w；i∈[1,w]，w为正整数；
对任一待测样本yi进行第j次边缘增强获得的边缘增强的待测图像样本yij，对w个待测样本yi分别进行m次边缘增强获得m×n个边缘增强的待测图像样本yij，m×n个边缘增强的待测图像样本yij构成的增强测试集V2test表示如下：
V2 test＝{yi1, …,yim }
yij为一个大小为r×r的边缘增强的待测图像样本，增强测试集的样本个数为n×m；i∈[1,n]，j∈[1,m]，m为正整数；r为像素值；
原始测试集V1 test与增强测试集V2 test合并形成的测试集Vtest表示如下：
Vtest =V1test +V2test
={y1,y2,y3 ,…,yn }+{y1,y2,y3 ,…,yn }1+…+{y1,y2,y3 ,…,yn }m
={(y1, y11, y12, …, y1m), (y2, y21, y22, …, y2m), (y3, y31, y32, …, y3m) ,…,(yn, yn1, yn2, …, ynm) }
(yi ,yi1, yi2…,yim )形成一个m+1通道图像样本，测试集Vtest的样本个数为n；训练集/测试集Vtest生成m+1通道图像数据。
7.根据权利要求6所述的基于卷积神经网络的医学图像分割数据增强方法，其特征在于，在所述将获得的多通道图像数据作为输入数据输入卷积神经网络模型，将原始图像的标注数据作为卷积神经网络模型拟合的目标，对卷积神经网络模型进行训练，获得卷积神经网络训练模型的步骤之前包括：
构建多输入通道U－net网络分割模型；所述网络分割模型结构包括3个降采样层和3个上采样层以及3个跳链接层，该网络的输入通道数为m+1；其中，网络开始为两个3×3卷积层；每个降采样层包括：1个MaxPooling层和两个3×3卷积层；每个上采样层包括：1个上采样层和两个3×3卷积层，上采样层为双线性插值；跳链接将下采样过程中的特征图与上采样同分辨率的特征图在通道维度拼接。
8.根据权利要求7所述的基于卷积神经网络的医学图像分割数据增强方法，其特征在于，在所述将获得的多通道图像数据作为输入数据输入卷积神经网络模型，将原始图像的标注数据作为卷积神经网络模型拟合的目标，对卷积神经网络模型进行训练，获得卷积神经网络训练模型的步骤包括：
在训练集中按照原始图像及其边缘增强的原始图像为一组多通道图像数据输入多输入通道U－net网络分割模型，以该原始图像的标注数据作为多输入通道U－net网络分割模型拟合的目标对多输入通道U－net网络分割模型进行训练，获得多输入通道U－net网络分割模型参数；
根据构建的所述多输入通道U－net网络分割模型和多输入通道U－net网络分割模型参数获得多输入通道U－net网络分割训练模型。
9.根据权利要求8所述的基于卷积神经网络的医学图像分割数据增强方法，其特征在于，所述将获得的多通道图像数据输入获得卷积神经网络训练模型中进行拟合，获得分割图像的步骤包括：
在测试集中按照每个测试图像及其边缘增强图像做为一组多通道数据输入多输入通道U－net网络分割训练模型进行拟合获得分割图像。
10.一种基于卷积神经网络的医学图像分割数据增强装置，其特征在于，包括：
存储器，存储有基于卷积神经网络的医学图像分割数据增强程序；
处理器，在运行所述基于卷积神经网络的医学图像分割数据增强程序时执行权利要求1~9任一项所述方法的步骤。
CN202011455188.0A 2020-12-10 2020-12-10 一种基于卷积神经网络的医学图像分割方法及装置 Pending CN112489029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011455188.0A CN112489029A (zh) 2020-12-10 2020-12-10 一种基于卷积神经网络的医学图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011455188.0A CN112489029A (zh) 2020-12-10 2020-12-10 一种基于卷积神经网络的医学图像分割方法及装置

Publications (1)

Publication Number Publication Date
CN112489029A true CN112489029A (zh) 2021-03-12

Family

ID=74917585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011455188.0A Pending CN112489029A (zh) 2020-12-10 2020-12-10 一种基于卷积神经网络的医学图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN112489029A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420770A (zh) * 2021-06-21 2021-09-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN116704473A (zh) * 2023-05-24 2023-09-05 禾多科技（北京）有限公司 障碍物信息检测方法、装置、电子设备和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109285128A (zh) * 2018-09-06 2019-01-29 中国石油大学(华东) 一种基于深度学习的胆石病ct医疗图像数据增强方法
CN109544585A (zh) * 2018-12-19 2019-03-29 中国石油大学(华东) 一种基于轻量化卷积神经网络的胆石病ct医疗图像数据增强方法
CN109840913A (zh) * 2019-01-21 2019-06-04 中南民族大学 一种乳腺x线图像中肿块分割的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109285128A (zh) * 2018-09-06 2019-01-29 中国石油大学(华东) 一种基于深度学习的胆石病ct医疗图像数据增强方法
CN109544585A (zh) * 2018-12-19 2019-03-29 中国石油大学(华东) 一种基于轻量化卷积神经网络的胆石病ct医疗图像数据增强方法
CN109840913A (zh) * 2019-01-21 2019-06-04 中南民族大学 一种乳腺x线图像中肿块分割的方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420770A (zh) * 2021-06-21 2021-09-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN116704473A (zh) * 2023-05-24 2023-09-05 禾多科技（北京）有限公司 障碍物信息检测方法、装置、电子设备和计算机可读介质
CN116704473B (zh) * 2023-05-24 2024-03-08 禾多科技（北京）有限公司 障碍物信息检测方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN111369563B (zh) 一种基于金字塔空洞卷积网络的语义分割方法
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN111407245B (zh) 一种基于摄像头的非接触式心率、体温测量方法
CN113888412B (zh) 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN113298780B (zh) 一种基于深度学习的儿童骨龄评估方法及系统
CN112489029A (zh) 一种基于卷积神经网络的医学图像分割方法及装置
CN114862838A (zh) 基于无监督学习的缺陷检测方法及设备
CN110731773A (zh) 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法
CN113424222A (zh) 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
CN112949654A (zh) 图像检测方法及相关装置、设备
CN114387317B (zh) Ct图像和mri三维图像的配准方法、装置
CN110570375B (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Srinivasarao et al. Cloud-Based LeNet-5 CNN for MRI Brain Tumor Diagnosis and Recognition.
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN106971392A (zh) 一种结合dt‑cwt和mrf的遥感图像变化检测方法与装置
CN116703850A (zh) 基于领域自适应的医学图像分割方法
CN115239655A (zh) 一种甲状腺超声影像肿瘤分割分类方法及装置
WO2022120739A1 (zh) 一种基于卷积神经网络的医学图像分割方法及装置
CN115761358A (zh) 一种基于残差胶囊网络对心肌纤维化进行分类的方法
CN115131361A (zh) 目标分割模型的训练、病灶分割方法及装置
CN115035339A (zh) 一种基于人工智能的膀胱镜图像分类方法
CN114649092A (zh) 基于半监督学习和多尺度特征融合的辅助诊断方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination