CN111476802A - 一种基于稠密卷积模型的医学图像分割与肿瘤检测方法，设备及可读存储介质 - Google Patents

Abstract

本发明提供一种基于稠密卷积模型的医学图像分割与肿瘤检测方法，设备及可读存储介质，本发明对稠密卷积网络进行了改进,提出了一种面向肿瘤分割和检测的稠密卷积模型来进行医学图像分割与肿瘤检测。本发明采用相似块分组技术对图像进行特征提取,然后使用SELU激活函数替换ReLU优化负数部分特征,利用稠密块结构学习不同层特征映射并将其串联起来,同时加入最大池化进行二次提取特征。最后采用相似度聚合方法进行特征重构,充分挖掘图像像素级的空间结构关系。最后,采用聚合方法进行区域融合。采用多个评价指标:均交并比、均像素精度、平均精度等,并均表现出一定的优势。在医学图像优化上具有良好的鲁棒性。

Description

一种基于稠密卷积模型的医学图像分割与肿瘤检测方法，设 备及可读存储介质

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种基于稠密卷积模型的医学图像分割与肿瘤检测方法，设备及可读存储介质。

背景技术

医学图像处理是通过图像处理设备，对患者进行拍照，形成图像信息并进行诊断。临床广泛使用的医学成像种类主要有超声波成像、核磁共振成像、核医学成像和X-射线成像。

在目前的影像医疗诊断中，主要是通过观察一组二维切片图像去发现病变体，这往往需要借助医生的经验来判定。利用计算机图象处理技术对二维切片图像进行分析和处理，实现对人体器官、软组织和病变体的分割提取、三维重建和三维显示，可以辅助医生对病变体区域进行定性，或定量的分析，提高医疗诊断的准确性和可靠性。

目前，医学图像处理主要应用在病变检测、图像分割、图像配准及图像融合等。从医学图像处理的总体目标而言,所有后期应用几乎都与人体组织和病灶的分割质量密切相关,因此,针对医学图像的高效而鲁棒的分割算法至关重要。

目前在肿瘤图像检测过程，容易造成不可逆初始肿瘤特征丢失现象。在稠密块处理与分类标记过程中,无法实现对检测目标的分割。即使进行分割，也会使得肿瘤分割的准确度大大降低，进而影响临床诊断。

发明内容

为了克服上述现有技术中的不足，本发明提供有效减少不可逆初始肿瘤特征丢失现象,实现了并行语义分割与目标检测,并提升肿瘤分割与检测准确度的基于稠密卷积模型的医学图像分割与肿瘤检测方法，方法包括：

步骤一，将肿瘤图像进行相似块标记处理；

步骤二，对肿瘤图像进行特征重构处理；

步骤三，将特征重构的肿瘤图像执行稠密块优化；

步骤四，对优化后的肿瘤图像进行特征融合。

进一步需要说明的是，步骤一还包括：

1)在原始图像Z^2D中查找相似块Y^2D

在原始图像Z^2D中选择t个k×k大小的参照块X^2D；

采用步长s确定X^2D,并在X^2D的周围选择大小为n×n的区域搜索相似块Y^2D,将相似度大于阈值λ^2D的Y^2D与X^2D整合为相似块集合Z^3D；.

通过如下方式，对X^2D与Y^2D采用标准化硬阈值二维线性变换进行计算,并根据欧氏距离判定就可以找到Z^3D,

Z^3D＝{x∈Z^2D:d(Y^2D,X^2D)≤τ}, (2)

其中Ω是二维线性变换的硬阈值操作,阈值设为σ^2D,Λ是归一化后的二维线性变换,阈值设为λ^2D,d(Y^2D,X^2D)为二次计算后的距离,x表示像素点,τ是超参数,它能确定块与块之间是否相似。

进一步需要说明的是，步骤一还包括：

对相似块集合Z^3D域转换的方式进行改良特征提取,并采用标准化硬阈值三维线性变换；

处理后的相似块集合R^3D为:

R^3D＝Δ^-1(Υ(Δ(Z^3D))), (3)

其中Δ为归一化三维线性变换,Δ^-1是Δ的反变换,Υ是三维线性变换硬阈值操作,阈值设为λ^3D。

进一步需要说明的是，步骤二还包括：

对域转换处理后的相似块集合R^3D按照规则

丢弃j个相似块Y^2D；

被丢弃的j个相似块Y^2D称为R_j；

丢弃规则

定义为:随机取[0,τ)内的l个数,将其按照从小到大的顺序排列,记为(a₁,a₂,a₃,…,a_l),其中τ即为相似块标记模块的超参数τ,选取R^3D中所有与其参照块X^2D相似度满足区间((a₁,a₂),(a₃,a₄),…,(a_l-1,a_l))的相似块Y^2D(记作R_j),最后将R_j丢弃。

进一步需要说明的是，对相似块集合R^3D按照规则ξ随机增加i个相似块Y^2D,增加像素信息；

增加的i个相似块Y^2D被称为R_i；

随机取[0,τ)内的m个数并从小到大排列,记为(b₁,b₂,b₃,…,b_m),选取增加相似块的过程与规则

类似,表示为ξ；

随机丢弃与快速标标记，得到了新处理块集合:

对相似块集合Q按照规则ζ随机增加h个图像块R_h。

进一步需要说明的是，规则ζ定义为：

将原始图像Z^2D裁减掉

大小的边框,记作Z’；

随机取范围在Z’内的f个像素点坐标点后按照从小到大的顺序排列,配置为坐标集合记为(C₁,C₂,C₃,…,C_f-1,C_f),随后分别以所述坐标集合内的所有元素作为中心像素点选取大小为n×n的图像块,将图像块集合记为R_h,对Q增加R_h；

通过标签标记对肿瘤图像进行标记，并由筛选函数定义肿瘤图像数目；筛选函数为：

其中y是所有CT肿瘤图像数目,φ(y)为选取的CT肿瘤图像数目,κ与ψ是常数；

标签标记方式如公式(6)所示：

其中W是该模块输入到下一模块的最终结果。

进一步需要说明的是，步骤三还包括：

稠密块优化采用全连接结构对特征进行判定,由低维特征直接连接高维特征,将传入的W进行特征深度挖掘,以求学习出有效的肿瘤特征；

将稠密块激活函数ReLU修改为SELU,并为每个稠密块增添最大池化层,利用稠密块特征重用与连接机制,抽象提取深层肿瘤特征；

设W_g是稠密块第g(g＞1)层的输出,包含传入的多个维度的肿瘤特征；

稠密块以层与层之间连接，迭代连接出所有特征,第g层输出W_g的公式为:

W_g＝H_g([W_g-1,W_g-2,…,W₀]), (7)

其中[…]表示连接操作,对输出连接进行特征重用；

H_g定义为:一个批量标准化层,后接SELU激活函数再加卷积层与池化层；

SELU的公式为：

SELU激活函数在特定参数υ和α下,其能自动归一化到0均值和单位方差。

进一步需要说明的是，步骤四还包括：

将经过相似块标记处理以及稠密块优化处理的肿瘤图像传入分类标记器中,进行特征重建时,利用相似块标记采集的大特征、稠密块中提取的肿瘤特征以及其他特征等进行数据重建；

分类标记器进行CT图像像素级重建,并进行特征融合；

特征融合方法包括：

在像素级对应块上进行加权平均,权重取决于置0的数目；

将对应块加权平均后整合到初始位置,得到最终标记图像；

计算公式如下:

其中w是权重,

是x_u∈W_g,x_v∈Z^2D时x初始位置,

是对于Z二维与三维之间x对应定位关系,权重w计算公式为:

其中N_v是公式(1)硬阈值操作后非0系数个数；

经过分类标记器与特征融合过程后,最终输出肿瘤标记图像。

基于上述方法，本发明还提供一种实现基于稠密卷积模型的医学图像分割与肿瘤检测方法的设备，包括：

存储器，用于存储计算机程序及基于稠密卷积模型的医学图像分割与肿瘤检测方法；

处理器，用于执行所述计算机程序及基于稠密卷积模型的医学图像分割与肿瘤检测方法，以实现基于稠密卷积模型的医学图像分割与肿瘤检测方法的步骤。

本发明还提供一种具有基于稠密卷积模型的医学图像分割与肿瘤检测方法的可读存储介质，可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现基于稠密卷积模型的医学图像分割与肿瘤检测方法的步骤。

从以上技术方案可以看出，本发明具有以下优点：

本发明涉及的基于稠密卷积模型的医学图像分割与肿瘤检测方法采用相似块分组技术重用图像肿瘤特征；在模型末端图像重构时,采用相似度聚合方法拟合肿瘤特征信息。方法采用缩放指数线性单元SELU替换ReLU激活网络,以充分利用肿瘤细节特征。

本发明建立了同时用于语义分割和目标检测的肿瘤图像数据集。

本发明提出了面向肿瘤分割和检测的稠密卷积模型。

本发明验证了该模型可以在该肿瘤数据集上实现高效率性能及其架构有效性。

本发明对稠密卷积网络进行了改进,提出了一种面向肿瘤分割和检测的稠密卷积模型来进行医学图像分割与肿瘤检测。本发明采用相似块分组技术对CT图像进行特征提取,然后使用SELU激活函数替换ReLU优化负数部分特征,利用稠密块结构学习不同层特征映射并将其串联起来,同时加入最大池化进行二次提取特征。最后采用相似度聚合方法进行特征重构,充分挖掘图像像素级的空间结构关系。最后,采用聚合方法进行区域融合。本发明网络采用多个评价指标:均交并比、均像素精度、平均精度等,并均表现出一定的优势。实验结果表明,本发明网络架构无论是在语义分割方面还是目标检测方面都有很好的效果,在医学图像优化上具有良好的鲁棒性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明涉及的方法与语义分割、目标检测、实例分割检测结果的目标差异对比图；

图2为基于稠密卷积模型的医学图像分割与肿瘤检测方法流程图；

图3为以输入的CT肿瘤图像序列中单幅图像为例的相似块标记结构图；

图4为稠密块结构图；

图5为面向肿瘤分割和检测的稠密卷积模型的分割与检测结果图。

具体实施方式

本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本发明提供的基于稠密卷积模型的医学图像分割与肿瘤检测方法是基于计算机辅助诊断技术，但是现有技术中受图像固有的不可预知性,分割区域的连通性,以及边界曲线的不规则性等问题的影响,给医学图像成像技术带来了极大的挑战。而本发明通过对成像图像后处理,不仅使图像更加清晰,同时能够获取更加有针对性的数据分析结果,有效提高了辅助诊断的效率、准确率和客观性。

其中,本发明涉及的语义分割和目标检测是图像处理的重要组成部分。本发明以CT图像肿瘤检测为例,语义分割技术是对输入图像中每个像素进行分类,其结果是只能确定该像素属于的类别,但不能确定到底有多少个肿瘤、结节等；而目标检测技术是每当在CT图像中出现其中一类对象时,围绕该对象划定一个区域并预测其从属的类别,它无法预估每张输入图像含有多少个对象,但常常因为候选框的选择不当出现最终结果欠佳或测试时间过高的问题。

因此,两者各有优劣,语义分割方法能够准确定位肿瘤对象,但是不能确定肿瘤的真实数目；目标检测方法能够确定肿瘤的数目及其区域位置,但是不能准确勾勒肿瘤的具体轮廓。

本发明则是既能完整地保存语义分割精确到像素级别的分割结果,又能获得目标检测准确识别肿瘤数目的能力,从而精准地标识CT图像中肿瘤的数目与具体位置,图1面向肿瘤分割和检测的稠密卷积模型与语义分割、目标检测、实例分割检测结果的目标差异对比。(a)是原始图像；(b)是语义分割结果,其方法是按照语义将肿瘤图像对每个像素分割,最终获得各部分的轮廓；(c)是目标检测结果,其方法是确定肿瘤位置,并用方框将其圈出来；(d)是实例分割结果,是先从肿瘤图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记；而本发明研究目标则是同时进行语义分割与目标检测并获得(b)、(c)及二者融合结果(e)。

如图1第2行所示。本发明与传统的仅获得语义分割(图1b)、目标检测(图1c)或实例分割(图1d)的方式目标存在不同。

本发明将DenseNet稠密块结构应用于肿瘤分割与检测任务,建立了一个面向肿瘤分割和检测的稠密卷积模型。为了在减少梯度消失影响的同时充分挖掘肿瘤像素点的空间信息关联性,本发明模型主体部分采用了DenseNet稠密块结构,同时,在每层稠密块末端进行下采样,深化抽象肿瘤特征信息,使检测效果更为准确。

本发明是面向肿瘤分割和检测的稠密卷积模型进行医学图像分割与肿瘤检测方法。鉴于DenseNet在图像分类中具有较高性能,将DenseNet迁移到肿瘤分割与检测任务中。本发明可以通过对特征高效利用得到更少的参数,直接将所有层彼此连接,每层都使用前面所有层的输出,对之前的特征映射执行迭代求和。这种方式解决了随网络深度日益增加,输入信息或梯度信息传递数层后接近无穷小,并最终在网络末端丢失的问题。

本发明涉及的方法包括：如图2所示，将肿瘤图像进行相似块标记处理；

具体的，为了在图像特征提取过程中,缓解由于原始CT图像分辨率不高造成的特征模糊等问题,本发明设计了有针对性的相似块标记模型。相似块标记提取输入图像相应的二维/三维信息后,完成对原始图像的空间信息特征分类,得到高质量相互关联的图像块。

具体而言,相似块标记过程如下(以输入的CT肿瘤图像序列中单幅图像为例):

1)在原始图像Z^2D中选择t个k×k大小的参照块X^2D；

首先在原始图像Z^2D中选择t个k×k大小(k为像素个数)的参照块X^2D.为了尽量避免结节类似物对于肿瘤特征提取的影响,模型中采用步长s(本文实验中s＝8)确定X^2D,并在X^2D的周围选择大小为n×n的区域搜索相似块Y^2D,目的是尽可能减少人体组织结构标记为肿瘤的误判现象.最后,将相似度大于阈值λ^2D的Y^2D与X^2D整合为相似块集合Z^3D(3D代表三维).

为了有效降低复杂度,减少实际应用医学图像肿瘤筛选时的时间损耗,在使用欧氏距离^[21]判定Y^2D时,先对X^2D与Y^2D采用标准化硬阈值二维线性变换进行二次计算,然后,根据欧氏距离判定就可以找到Z^3D,具体公式如下:

Z^3D＝{x∈Z^2D:d(Y^2D,X^2D)≤τ}, (2)

其中Ω是二维线性变换的硬阈值操作,阈值设为σ^2D,Λ是归一化后的二维线性变换,阈值设为λ^2D,d(Y^2D,X^2D)为二次计算后的距离,x表示像素点,τ是超参数,它能确定块与块之间是否相似。

2)为了特征提取时判定更为明确,减少同一像素点归属于多个特征的现象,同时压缩CT图像每个特征存储的信息量,在欧氏距离判定后,采取对相似块集合Z^3D域转换的方式进行改良特征提取,具体方式为采用标准化硬阈值三维线性变换。处理后的相似块集合R^3D为:

R^3D＝Δ^-1(γ(Δ(Z^3D))), (3)

其中Δ为归一化三维线性变换,Δ^-1是Δ的反变换,γ是三维线性变换硬阈值操作,阈值设为λ^3D。

经过相似块标记模块后,图像特征被多次加工提取,得到的相似块集合拥有新的数据存取模式,通过高维链接方式有效加强了CT肿瘤图像不同空间位置的关联性，具体流程如图3所示。

在本发明涉及的步骤二中，对肿瘤图像进行特征重构处理；

具体的，相似块标记虽然能提取特征并增强块与块之间的相关性,但其本身存在过度重用特征的问题。仅使用相似块标记提取特征,最终测试时发现实验结果并不理想。一方面，部分过大或过小的肿瘤被漏检；另一方面,部分狭小腔体结构甚至结节被误检为肿瘤。因此,模型中增添了随机丢弃与快速标记来消减相似块标记带来的特征重用问题。本发明通过随机对部分CT图像进行标签标记来解决此问题。

本发明中定义了如下随机丢弃、快速标记以及标签标记过程：

1)对域转换处理后的相似块集合R^3D按照规则

丢弃j个相似块Y^2D，以增加模型抗拟合性和鲁棒性,消减部分由狭小像素集合提取特征过度重用的问题,减少肿瘤被误归为小腔体从而被漏检的情况发生。被丢弃的j个相似块Y^2D称为R_j。

丢弃规则

定义为:首先随机取[0,τ)内的l个数,而后将其按照从小到大的顺序排列,记为(a₁,a₂,a₃,…,a_l),其中τ即为相似块标记模块的超参数τ,其次选取R^3D中所有与其参照块X^2D相似度满足区间((a₁,a₂),(a₃,a₄),…,(a_l-1,a_l))的相似块Y^2D(记作R_j),最后将R_j丢弃。

2)对相似块集合R^3D按照规则ξ随机增加i个相似块Y^2D,增加像素信息,防止随机丢弃过程主要空间信息丢失,减少随机丢弃后肿瘤被归为噪声、结节等从而被漏检的情况出现。增加的i个相似块Y^2D被称为R_i。同样，随机取[0,τ)内的m个数并从小到大排列,记为(b₁,b₂,b₃,…,b_m),选取增加相似块的过程与规则

类似,表示为ξ。

随机丢弃与快速标记对于像素信息一减一增的过程消减了其他像素集合特征的提取,增强了肿瘤像素集合特征的提取,得到了新处理块集合:

3)对相似块集合Q按照规则ζ随机增加h个图像块R_h,增添初始信息点以增加肿瘤特征的正确提取,减少肿瘤特征经过随机丢弃与快速标记后过度遗失现象。

规则ζ定义为:首先将原始CT肿瘤图像Z^2D裁减掉

大小的边框,记作Z’,其次随机取范围在Z’内的f个像素点坐标点后按照从小到大的顺序排列,将其坐标集合记为(C₁,C₂,C₃,....,C_f-1,C_f),随后分别以该集合内的所有元素作为中心像素点选取大小为n×n的图像块,将图像块集合记为R_h,最后对Q增加R_h。

不同于随机丢弃与快速标记,标签标记并不是作用于所有CT图像,其处理CT图像的数量随数据集大小不同而改变,被如下筛选函数所定义:

其中y是所有CT肿瘤图像数目,φ(y)为选取的CT肿瘤图像数目,κ与ψ是常数。

以本发明数据集为例,在训练数据集为1150张时,使用筛选函数判定后,标签标记共随机选取115张CT肿瘤图像。该模块能够消减狭小像素集合特征过度重用的现象,让肿瘤特征的提取更为准确。

另外,假若在该模块将处理的相似块集合Q换为参照块X^2D,标签标记就能能实现提速功能。提速关键是存在可以直接略过快速标记的通道,从而既能够快速高效地产生直观的实验结果,观察肿瘤检测是否准确；又可以作为预训练预迭代,有助于快速提取肿瘤特征。

标签标记具体计算如公式(6)所示:

其中W是该模块输入到下一模块的最终结果。

随机丢弃、快速标记与标签标记的消融实验验证可知,随机丢弃、快速标记与标签标记的使用较好地缓解了狭小像素集合特征过度重用,肿瘤特征不明显的现象。

本发明中的步骤三，将特征重构的肿瘤图像执行稠密块优化；

稠密块优化模块采用全连接结构对特征进行判定,由低维特征直接连接高维特征,将传入的W进行特征深度挖掘,以求学习出有效的肿瘤特征。本模块架构为:将稠密块激活函数ReLU修改为SELU,并为每个稠密块增添最大池化层,充分利用稠密块特征重用与连接机制,进一步抽象提取深层肿瘤特征。

采用稠密块的优点是利用高维特征来加深肿瘤特征的学习,解决退化问题,提高特征利用率,使稠密块中的所有层都可以直接接收到控制信息,方便对肿瘤特征快速学习。

稠密块结构如图4所示,其中W₀是上一模块传递的W并作为该模块前端的输入,而H₁的输入是W₀；H₂的输入是W₀与W₁,其中W₁是H₁的输出；H₃的输入是W₀、W₁及W₂,其中W₂是H₂的输出；以此类推。该结构在面对小特征区域如肿瘤特征区域时效果优异,存在较好地提取狭小特征点的能力。

设W_g是稠密块第g(g＞1)层的输出,包含此前传入的多个维度的肿瘤特征。稠密块使用一个更加密集的连接模式,它以一种层与层之间直接连接的方式迭代连接所有特征,因此,第g层输出W_g的公式为:

W_g＝H_g([W_g-1,W_g-2,…,W₀]), (7)

其中[…]表示连接操作,对输出连接进行特征重用。H_g定义为:一个批量标准化层(Batch Normalization,BN),后接SELU激活函数再加卷积层与池化层。这种连接模式的优势是能够进行特征重用,有利于肿瘤特征检测提取。

在本步骤中,当上一层最终数据输入时,会对该输入进行BN操作、SELU函数激活、卷积与池化操作提取特征。其中SELU的公式为:

SELU激活函数在特定参数υ和α下,其分布能自动归一化到0均值和单位方差。

由于存在稠密结构,稠密块浅层提取出的肿瘤特征仍可能被较深层直接使用,即使是在稠密块之外过渡层中也会使用到之前稠密块中所有层的特征。针对于CT图像中的肿瘤特征,这种稠密连接结构能对肿瘤特征进行多维度提取,而使用SELU使得该模块中肿瘤特征利用率大幅度提升,避免负数肿瘤特征点遗失。

在本发明的步骤四，对优化后的肿瘤图像进行特征融合。

相似块标记与稠密块优化能够有效地提取图像中的肿瘤特征,但由于其高维映射低维的特点,在定位肿瘤信息时,并不能与原CT图像一一对应。此时便需要分类标记器和特征融合模块。

分类标记器中包含相似块标记以及稠密块优化模块传入的特征,在进行特征重建时,利用相似块标记采集的大特征、稠密块中提取的肿瘤特征以及其他特征等进行数据重建。

特征融合解决的问题与分类标记器略有不同,分类标记器进行CT图像像素级重建,而特征融合是对特征降维,将肿瘤特征与其他关键点特征融入原始CT图像。

特征融合是在像素级对应块上进行加权平均,权重取决于置0的数目。该模块将对应块加权平均后整合到初始位置,得到最终标记图像。计算公式如下:

其中w是权重,

是x_u∈W_g,x_v∈Z^2D时x初始位置,

是对于Z二维与三维之间x对应定位关系,权重w计算公式为:

其中N_v是公式(1)硬阈值操作后非0系数个数。

经过分类标记器与特征融合过程后,最终输出肿瘤标记图像。该模块产生的时间消耗相对于其他模块来说相对较少。采用此模块的肿瘤图像重建过程,有效提高了肿瘤分割与检测的效率。

基于本发明涉及的基于稠密卷积模型的医学图像分割与肿瘤检测方法进行实验结果并进行分析。

本发明实验选用含肿瘤或结节的肺部、脑部等器官CT图像,。图像标签标注由人工完成,共计1150幅,其中用于训练集800幅,用于测试集200幅,用于验证集150幅,具体情况如表1所示。实验中网络结构采用TensorFlow框架实现。硬件配置为Intel(R)Xeon(R)E5-2643 v4@3。40GHz CPU,NVIDIA GeForce GTX 1080M GPU,256GB内存,操作系统是ubuntu14。04。

表1实验数据数量(其中肺部图像以及其他部位图像大小为512×512,脑部图像大小为128×128)

本发明实验目的是完成CT图像肿瘤的分割与检测,并提高其精度。实验中选取与训练图像不同的100幅大小为512×512的CT肿瘤图像和100幅大小为128×128的CT肿瘤图像作测试集,与训练图像和标记图像皆不相同的100幅大小为512×512的CT肿瘤图像和50幅大小为128×128的CT肿瘤图像作为验证集。迭代次数(万次)设为150。实验结果通过均交并比、均像素精度与平均精度等来观测结果。

本发明涉及的评价指标：

1.1均交并比

交并比(IoU)是计算初始CT肿瘤图像与最终输出标记肿瘤图像之间的交集和并集之比。均交并比(Mean Intersection over Union,MIoU)是计算每个肿瘤类上IoU后平均。

假设共有ι+1个类,P_εθ表示本属于类ε但被预测为类θ的像素数量。即，P_εε表示真正的数量,P_εθ和P_θε分别表示为假正和假负。

其中,MSE是原CT肿瘤图像与处理图像之间的均方误差。在本发明中,PSNR应用于消融实验研究。

1.2平均精度

平均精度均值(mAP)是预测肿瘤位置以及类别的性能度量标准,mAP对于评估目标定位模型、目标检测模型非常有用。mAP的大小在[0,1]区间。

其中D是准确率,E是召回率。

由于不同系统环境中模型的最佳配置可能存在差异,因此在本发明中,对模型进行消融实验,以此获得最佳的用于分割和检测肿瘤的稠密卷积模型。

消融实验原理上类似于控制变量法,通过控制模块是否存在对于网络起到的作用大小。本发明中,消融实验对比模块是：相似块标记、随机丢弃、快速标记与标签标记。例如,下发明表2提到的b只存在相似块标记与随机丢弃模块，g只存在相似块标记以及标签标记。

在关于相似块标记、随机丢弃、快速标记与标签标记研究中,分别以在迭代次数(万次)为1至500(每隔5个迭代测试一次)情况下进行测试检测肿瘤的实际效果(选取时间消耗与最终效果均最佳、迭代次数等于125的实验为例作说明),对其分别在允许情况下进行开闭操作(若标记状态为T表示存在,标记状态F表示不存在,0表示不可能发生,记相似块标记取值为T、随机丢弃取值为T、快速标记取值为T与标签标记取值为T为原始状态a),具体参数如表2中所示。

表2消融实验(类似于控制变量法)

进行相似块标记、随机丢弃、快速标记与标签标记的消融实验时,使用特征融合重建过程中的融合图像进行测试。由于随机丢弃、快速标记与标签标记均为对R^3D进行操作,为了简化计算,将其进行归一化后,分别对各个模块进行区间在(0,1)、取值每隔0。02个单位进行测试。经过大量测试实验后,本发明选取此参数区间测试最优区间:

随机丢弃模块：0.716-0.720；

快速标记模块:0.734-0.738；

标签标记模块:0.774-0.778和0.832-0.836两个区间。

因此,实验选取最优结果如下所示:若随机丢弃模块存在，则其取值为0.718；若快速标记模块存在,其取值为0.736；若标签标记模块存在,以0.776为测试值。统一模块数据有利于统一标准进行消融实验,观察b-h与a的峰值信噪比,具体结果如表3所示。

表3 b-h与a的PSNR对比(全部1150幅图像)

表3的实验结果可以看出,一方面,b、c、d与a的PSNR结果相对较高,e、f、g、h与a的PSNR结果相对较低。这证实随机丢弃模块存在的必要性；另一方面,h与a的PSNR明显低于其他六者与a的PSNR,可以看出相似块标记模块架构是本发明网络的重要支撑点。另外,c与a的PSNR要大于b、d与a的PSNR,这说明特征重用存在过拟合问题,导致训练结果略有下降。同样的,f与a的PSNR要大于e、g与a的PSNR,也证实了这个问题。

消融实验结果表明,在本发明硬件环境中,在随机丢弃模块于(0.716,0.720)、快速标记模块于(0.734,0.738)、标签标记模块于(0.774,0.778)和(0.832,0.836)两个区间的条件下,选择c状态可以得到最佳CT图像肿瘤检测与分割模型。

本发明进行语义分割实验。将基于稠密卷积模型的医学图像分割与肿瘤检测方法与当前的SegNet方式、DeconvNet方式、空洞卷积方式、RefineNet方式、PSPNet方式和DeepLabv3方式的肿瘤图像处理结果进行对比,实验结果通过计算相应MIoU与MPA来直观体现。

在本发明肿瘤数据集(训练图像800、验证图像150、测试图像200)下,该方法与此6种网络对比计算MIoU与MPA的结果如表4所示。

表4不同算法语义分割图像的MIoU及MPA比较,DeepLab v3的MIoU与MPA值相对最高,其后是PSPNet、RefineNet、Dilated Convolutions、SegNet和DeconvNet。

除对比全部肿瘤数据集的实验结果外,本发明还分别对比了肺部、脑部以及其他部位的MIoU和MPA。在图像大小为512×512的肺部肿瘤数据集(训练图像500幅；测试图像75幅,验证图像75幅)、图像大小为128×128的脑部肿瘤数据集(训练图像200幅；测试图像100幅,验证图像50幅)和图像大小为512×512的其他部位肿瘤数据集(训练图像100幅；测试图像25幅,验证图像25幅)的MIoU和MPA对比结果如表4所示。

如表4所示,使用不同算法进行语义分割获得的MIoU与MPA如图所示,可以看出,本发明方法除其他部位图像的MPA差DeepLab v3方法0.409％之外,其余全部肿瘤图像、肺部肿瘤图像、脑部肿瘤图像的MIoU和MPA包括其他部位肿瘤图像的MIoU在内，本发明方法均占据优势。

在对图像进行语义分割时,可以看出,本发明方法无论是对于肺部图像的肿瘤识别还是脑部图像的肿瘤识别都具有较大的优势,其他部位图像的分割结果也和DeepLab v3在伯仲之间。再看全部图像的肿瘤识别,本发明方法比其他六种先进算法都取得优势,无论是RefineNet、PSPNet还是DeepLab v3在语义分割的核心指标MIoU上都略低于本发明方法。

比较本发明方法,在本发明使用的医学图像数据集上,无论是MIoU结果还是MPA结果,本发明方法都是最优的。其中MIoU比DeepLab v3多了0.914个百分点,MPA多了0.508个百分点。

对本发明涉及的方法进行有效性分析。本发明将面向肿瘤分割和检测的稠密卷积模型与几种先进的语义分割网络和目标检测网络分别进行了比较,并进一步验证了本模型应用稠密结构的有效性,另外还以牺牲部分内存与时间性能的代价完成了语义分割和目标检测同步测量。

1.与语义分割、目标检测和实例分割的异同点

语义分割是按照语义将肿瘤图像对每个像素进行分割最终获得各部分的轮廓；目标检测是确定目标位置,并用方框将其圈出来；实例分割是从肿瘤图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记；而本发明模型则是在网络架构不变的基础上,同时进行语义分割与目标检测并获得二者融合的结果。图5是该模型分割与检测结果。

2.与部分最先进网络的比较

为了比较本发明模型在语义分割方面的性能,如表5所示,分别比较了本发明模型与SegNet、DeconvNet、空洞卷积、RefineNet、PSPNet和DeepLab v3几种网络的MIoU与MPA,可以看出,本发明方法比此六种网络指标最高者DeepLab v3高出0.914％的MIoU和0.508％的MPA,比第二RefineNet高出2.379％的MIoU和2.072％的MPA。

表5 7种语义分割网络图像MIoU与MPA比较

表6 6种目标检测网络图像mAP与MIoU比较

为了比较本发明模型在目标检测方面的性能,如表6所示,我们分别比较了本发明模型、R-CNN、Fast R-CNN、Faster R-CNN、SSD和YOLO v3 5种网络的MIoU与MPA,可以看出,相对于5种网络mAP与MIoU指标最高的两种,本发明模型比YOLO v3高出0.558％的mAP和0.283％的MIoU,比Faster R-CNN高出1.161％的mAP和0.759％的MIoU。

由于相似块分组与稠密块的相互限制,尺度需要适中。另外,相似块分组追求小量的块参数,因此本发明在每个训练批次中,采用单位为8的拼接块作为输入进行训练。而稠密块优化在提取特征方面尺度需求较小块尺寸,但过小图像块难以进行特征学习,所以此部分将图像块的大小设定为32×32,既能较为完整地获取图像特征,又能够保证数据安全性。

由于不同系统环境中模型的最佳配置可能存在差异,因此在上发明所述系统中,对模型进行消融实验(类似于控制变量法),以此获得最佳的CT图像肿瘤检测与分割模型。

本发明将稠密块结构应用于肿瘤检测与分割任务,建立了一个面向肿瘤分割和检测的稠密卷积模型。不仅如此,还在其中增添了相似块技术提取特征。当然,相似块技术特征提取能力是有限的,本发明中的稠密连接结构进行的特征重用是肿瘤数据特征再分类过程中的核心。

激活功能。在实验过程中,该模型替换了架构中的激活函数,发现使用SELU激活函数的效果比使用ReLU激活函数的效果更好。相比于ReLU激活函数,模型的整体性能提高了1.471％。

重建架构。该模型在每层稠密块末端进行池化操作,采用相似度聚合方法进行特征重构,充分挖掘图像像素级的空间结构关联性。

模型适用性。由于语义分割与目标检测存在一定差别,某些网络不能同时在两个方面均获得很好的效果,但该模型能够很好地适用于语义分割与目标检测任务,同时在mAP、MIOU、MPA等指标上获得较好的结果。

本发明对稠密卷积网络进行了改进,提出了一种面向肿瘤分割和检测的稠密卷积模型来进行医学图像分割与肿瘤检测。本发明模型首先采用相似块分组技术对CT图像进行特征提取,然后使用SELU激活函数替换ReLU优化负数部分特征,利用稠密块结构学习不同层特征映射并将其串联起来,同时加入最大池化进行二次提取特征。最后采用相似度聚合方法进行特征重构,充分挖掘图像像素级的空间结构关系。最后,采用聚合方法进行区域融合。本发明网络采用多个评价指标:均交并比、均像素精度、平均精度等,并均表现出一定的优势。实验结果表明,本发明网络架构无论是在语义分割方面还是目标检测方面都有很好的效果,在医学图像优化上具有良好的鲁棒性。

基于上述方法本发明还提供一种实现基于稠密卷积模型的医学图像分割与肿瘤检测方法的设备，包括：

存储器，用于存储计算机程序及基于稠密卷积模型的医学图像分割与肿瘤检测方法；

处理器，用于执行所述计算机程序及基于稠密卷积模型的医学图像分割与肿瘤检测方法，以实现基于稠密卷积模型的医学图像分割与肿瘤检测方法的步骤。

基于上述方法本发明还提供一种具有基于稠密卷积模型的医学图像分割与肿瘤检测方法的可读存储介质，可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现基于稠密卷积模型的医学图像分割与肿瘤检测方法的步骤。

实现基于稠密卷积模型的医学图像分割与肿瘤检测方法的设备是结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的实现基于稠密卷积模型的医学图像分割与肿瘤检测方法的设备可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据实现基于稠密卷积模型的医学图像分割与肿瘤检测方法的设备公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的索引方法。

在实现基于稠密卷积模型的医学图像分割与肿瘤检测方法的设备的存储介质中，可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于稠密卷积模型的医学图像分割与肿瘤检测方法，其特征在于，方法包括：

步骤一，将肿瘤图像进行相似块标记处理；

步骤二，对肿瘤图像进行特征重构处理；

步骤三，将特征重构的肿瘤图像执行稠密块优化；

步骤四，对优化后的肿瘤图像进行特征融合。

2.根据权利要求1所述的检测方法，其特征在于，

步骤一还包括：

1)在原始图像Z^2D中查找相似块Y^2D

在原始图像Z^2D中选择t个k×k大小的参照块X^2D；

采用步长s确定X^2D,并在X^2D的周围选择大小为n×n的区域搜索相似块Y^2D,将相似度大于阈值λ^2D的Y^2D与X^2D整合为相似块集合Z^3D；.

通过如下方式，对X^2D与Y^2D采用标准化硬阈值二维线性变换进行计算,并根据欧氏距离判定就可以找到Z^3D,

Z^3D＝{x∈Z^2D:d(Y^2D,X^2D)≤τ}, (2)

其中Ω是二维线性变换的硬阈值操作,阈值设为σ^2D,Λ是归一化后的二维线性变换,阈值设为λ^2D,d(Y^2D,X^2D)为二次计算后的距离,x表示像素点,τ是超参数,它能确定块与块之间是否相似。

3.根据权利要求2所述的检测方法，其特征在于，

步骤一还包括：

对相似块集合Z^3D域转换的方式进行改良特征提取,并采用标准化硬阈值三维线性变换；

处理后的相似块集合R^3D为:

R^3D＝Δ^-1(Υ(Δ(Z^3D))), (3)

其中Δ为归一化三维线性变换,Δ^-1是Δ的反变换,Υ是三维线性变换硬阈值操作,阈值设为λ^3D。

4.根据权利要求2所述的检测方法，其特征在于，

步骤二还包括：

对域转换处理后的相似块集合R^3D按照规则ζ丢弃j个相似块Y^2D；

被丢弃的j个相似块Y^2D称为R_j；

丢弃规则ζ定义为:随机取[0,τ)内的l个数,将其按照从小到大的顺序排列,记为(a₁,a₂,a₃,…,a_l),其中τ即为相似块标记模块的超参数τ,选取R^3D中所有与其参照块X^2D相似度满足区间((a₁,a₂),(a₃,a₄),…,(a_l-1,a_l))的相似块Y^2D(记作R_j),最后将R_j丢弃。

5.根据权利要求4所述的检测方法，其特征在于，

对相似块集合R^3D按照规则ξ随机增加i个相似块Y^2D,增加像素信息；

增加的i个相似块Y^2D被称为R_i；

随机取[0,τ)内的m个数并从小到大排列,记为(b₁,b₂,b₃,…,b_m),选取增加相似块的过程与规则

类似,表示为ξ；

随机丢弃与快速标标记，得到了新处理块集合:

对相似块集合Q按照规则ζ随机增加h个图像块R_h。

6.根据权利要求5所述的检测方法，其特征在于，

规则ζ定义为：

将原始图像Z^2D裁减掉

大小的边框,记作Z’；

随机取范围在Z’内的f个像素点坐标点后按照从小到大的顺序排列,配置为坐标集合记为(C₁,C₂,C₃,…,C_f-1,C_f),随后分别以所述坐标集合内的所有元素作为中心像素点选取大小为n×n的图像块,将图像块集合记为R_h,对Q增加R_h；

通过标签标记对肿瘤图像进行标记，并由筛选函数定义肿瘤图像数目；筛选函数为：

其中y是所有CT肿瘤图像数目,φ(y)为选取的CT肿瘤图像数目,κ与ψ是常数；

标签标记方式如公式(6)所示：

其中W是该模块输入到下一模块的最终结果。

7.根据权利要求1或2所述的检测方法，其特征在于，

稠密块优化采用全连接结构对特征进行判定,由低维特征直接连接高维特征,将传入的W进行特征深度挖掘,以求学习出有效的肿瘤特征；

将稠密块激活函数ReLU修改为SELU,并为每个稠密块增添最大池化层,利用稠密块特征重用与连接机制,抽象提取深层肿瘤特征；

设W_g是稠密块第g(g＞1)层的输出,包含传入的多个维度的肿瘤特征；

稠密块以层与层之间连接，迭代连接出所有特征,第g层输出W_g的公式为:

W_g＝H_g([W_g-1,W_g-2,…,W₀]), (7)

其中[…]表示连接操作,对输出连接进行特征重用；

H_g定义为:一个批量标准化层,后接SELU激活函数再加卷积层与池化层；

SELU的公式为：

SELU激活函数在特定参数υ和α下,其能自动归一化到0均值和单位方差。

8.根据权利要求1或2所述的检测方法，其特征在于，

步骤四还包括：

将经过相似块标记处理以及稠密块优化处理的肿瘤图像传入分类标记器中,进行特征重建时,利用相似块标记采集的大特征、稠密块中提取的肿瘤特征以及其他特征等进行数据重建；

分类标记器进行CT图像像素级重建,并进行特征融合；

特征融合方法包括：

在像素级对应块上进行加权平均,权重取决于置0的数目；

将对应块加权平均后整合到初始位置,得到最终标记图像；

计算公式如下:

其中w是权重,

是x_u∈W_g,x_v∈Z^2D时x初始位置,

是对于Z二维与三维之间x对应定位关系,权重w计算公式为:

其中N_v是公式(1)硬阈值操作后非0系数个数；

经过分类标记器与特征融合过程后,最终输出肿瘤标记图像。

9.一种实现基于稠密卷积模型的医学图像分割与肿瘤检测方法的设备，其特征在于，包括：

存储器，用于存储计算机程序及基于稠密卷积模型的医学图像分割与肿瘤检测方法；

处理器，用于执行所述计算机程序及基于稠密卷积模型的医学图像分割与肿瘤检测方法，以实现如权利要求1至8任意一项所述基于稠密卷积模型的医学图像分割与肿瘤检测方法的步骤。

10.一种具有基于稠密卷积模型的医学图像分割与肿瘤检测方法的可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至8任意一项所述基于稠密卷积模型的医学图像分割与肿瘤检测方法的步骤。

Images