CN106203432B - 一种基于卷积神经网显著性图谱的感兴趣区域的定位系统 - Google Patents

Abstract

本发明公开了一种基于卷积神经网显著性图谱的感兴趣区域的定位系统，包括标注样本模块、用于提取显著性图谱的深度卷积神经网络、显著性图谱提取模块、定位图谱生成模块、病灶定位模块。该发明系统采用定性级标定样本、收敛的深度卷积神经网络模型和显著性图谱的结合，能实现基于医疗影像大数据情况下的智能学习分析，来定位医学影像中具有特定属性的感兴趣区域。该发明系统降低了标定样本工作量及成本，并且能高效精准的定位病灶位置，来协助医生作出医学影像的诊疗评估。

Description

一种基于卷积神经网显著性图谱的感兴趣区域的定位系统

技术领域

本发明属于医学影像智能分析领域，主要涉及一种基于卷积神经网显著性图谱的感兴趣区域的定位系统。

背景技术

随着医学成像技术和计算机技术的飞速发展，越来越多的人体生理、结构、功能等信息被以医学影像的方式呈现给医生，帮助医生进行疾病的分析和诊断。将日益增长的医学影像数据加以合理的利用，并结合最尖端的人工智能技术，为医生提供更快速，精准的计算机辅助诊断，是现阶段需要实现的首要目标。

现有计算机辅助诊断中的智能算法，依赖于传统的机器学习分类模型以及用于数据降维而巧妙设计的特征提取工程。然而在日益增长的大数据面前以及实际的应用场景下，传统的算法，愈发无法满足实际的诊断需求。

最近，以深度学习为代表的一类人工智能算法，在计算机视觉任务上，取得了突破性的进展。深度卷积神经网络模型(CNN)，作为深度学习最为成功的模型之一，其集特征提取与分类模型为一体，在有监督的机器学习任务上，具有良好的表现。

然而，在已有的监督学习框架下，训练一个感兴趣区域(ROI)的检测器，用于ROI的定位，是需要大量定位级的人工标定样本，这样的标定工作耗时，费力，成本巨大。

因此，本发明方法提出了基于卷积神经网显著性图谱的感兴趣区域的定位系统来定位医学影像中具有特定属性的感兴趣区域。该属性包含但不限于受试者的疾病，生理部位，自我感官上的语言描述，以及影像上的纹理、形状、分布、区域等。该方法能实现基于医疗影像大数据情况下的智能学习分析，并提供具有特定属性的感兴趣区域的精准定性和定位预测；同时，该方法不需要提供定位级的样本标定，降低成本，可以更快地协助医生定位感兴趣区域，对医学影像做出诊疗评估。

发明内容

本发明提供一种基于卷积神经网显著性图谱的感兴趣区域的定位系统，旨在解决传统的ROI定位级标定样本的工作量大、成本高、定位病灶精确度低的问题。

本发明仅通过ROI定性级标定的样本库，训练可用于ROI定性分类的卷积神经网络模型，根据网络模型中训练出来的权重参数，提取视觉显著性图谱，进而用于ROI的定位。该发明方法标定样本工作耗时少、成本低、能够高效精准的寻找病灶位置。

本发明通过以下技术方案实施：一种基于卷积神经网显著性图谱的感兴趣区域的定位系统，包括以下内容：

包括：标注样本模块、用于提取显著性图谱的深度卷积神经网络、显著性图谱提取模块、定位图谱生成模块、病灶定位模块；

所述标注样本模块对医学影像按其感兴趣区域ROI所代表的的属性进行分类标注，得到病灶属性类别训练集；

所述用于提取显著性图谱的深度卷积神经网络采用Y＝F(x)＝F_(n)°F_(n-1)°…°F₍₁₎(X)的深度卷积神经网络为初始模型，将样本数据输入初始模型，得到输出值，然后将输出值通过损失函数计算误差、反传计算梯度、更新权重的训练，通过对样本数据的反复迭代训练，寻求全局最小误差，得到最终的收敛的模型y＝f(x)；

所述显著性图谱提取模块用于将受试者样本(x0，y0)，输入到训练完毕的CNN模型y＝f(x)中，前传得到每个类的预测值，再将预测值经过保留最大值，其他值赋予零Max-left处理后，反传计算得到梯度图，然后根据梯度图在每个通道上的最大绝对值，提取视觉显著性图谱；所述定位图谱生成模块通过选择阈值，对显著性图谱二值化，得到病灶的定位图谱；

所述病灶定位模块根据定位图谱与原始图像，定位医学影像中病灶所在位置。

所述ROI所代表的属性包括但不限于影像上的纹理、形状、分布、区域，受试者的疾病、受试者的生命体征、受试者的生理部位。

所述深度卷积神经网络Y＝F(x)＝F_(n)°F_(n-1)°…°F₍₁₎(X)的模型，其中的F₍₁₎,F₍₂₎,...,F_(n)是对应多层神经网络模型中第n层网络的变换函数，而网络的第k层的变换函数可以属于如下之一：卷积层，激活层，池化层，归一化层，全连层和输出层。

上文所述卷积层、激活层、池化层、归一化层、全连层、输出层的表达式可以根据具体视觉任务进行筛选组合，架构合适的网络模型，各层表达式分别为：

A、卷积层的表达式：

y＝f_ReLU(x)＝max(x,0)

y＝f_softplus(x)＝log(1+e^x)

式中，x和y分别是输入和输出数据；

B、池化层的表达式：

式中，

是第i个输出图像上，第m行第n列上的神经元，它是由第i个输入图像

上大小为S×S的区域池化而成；

C、归一化层的表达式：

式中，

w_α,β是高斯核且∑_α,βw_α,β＝1，和

分别是第i个输入和输出图像上，第m行第n列上的神经元；

式中,

和

分别是第i个输入和输出图像上，第m行第n列上的神经元，L是输入图像的总数量，常数k，l，α和β是用验证集优化后的超参数；

D、全连层的表达式：

式中，xⁱ是输入向量中的第i个神经元，y^j是一个输出向量中的第j个神经元，w是一个全连层中的权重参数，b是偏置参数；

E、输出层的表达式：

式中，xⁱ是输入的第i个神经元，K是总类数，pⁱ是第i类的输出得分。

所述的损失函数计算误差的表达式为：Y_loss＝L(Y)，其中的L(Y)有三种方案进行选择，如下(a)、(b)、(c)三个公式所示：

式中，Y^j和分别是实际输出和真实标签的第j个神经元的值，K是输出神经元的总个数(分类的类数)；

式中，Y^j和

分别是实际输出和真实标签的第j个神经元的值，K是输出神经元的总个数(分类的类数)；

式中，Y^j和分别是实际输出和真实标签的第j个神经元的值，K是输出神经元的总个数(分类的类数)。

所述的反传计算梯度是指利用BP算法和链式法则，将误差反向传播，在CNN模型中逐层求导，即在k层时，输出y_k对于输入y_k-1的梯度

所述的更新权重的训练方法包括但不限于随机梯度下降法、最速梯度下降法、牛顿法、拟牛顿法、共轭梯度法、动量法、自适应梯度法等。

所述的反传计算得到梯度图的表达式为：

所述梯度图函数在卷积层、激活层、最大值池化层中较为特殊，其表达式为：当第k层为卷积层时，其表达式：

其中,K_n为第k层的卷积核，K'_n为K_n沿水平翻转一次后，再沿垂直翻转一次的结果，

为卷积操作；

当第k层f_(k)为激活层时，其表达式：

当第k层f_(k)为最大值池化层时，其表达式：g_s(k)＝f(k)＝max_t∈φs g_t(k-1)，其中，g_s(k)为g(k)的第s个元素，g_t(k-1)为g(k-1)中第t个元素，φs为s在池化前所对应的空间的相邻元素的位置集，h为g_t∈φs(k-1)中最大值在φs空间中的位置，那么

所述的梯度图在每个通道上的最大绝对值的表达式为：M₀＝Max|w₀|。

与现有技术相比，本发明具有以下有益效果：

1、在不需要ROI定位级标定的样本库的情况下，只用ROI定性级标定的样本库，训练可用于ROI定性分类的卷积神经网络模型，根据网络模型中训练出来的权重参数，提取视觉显著性图谱，进而用于ROI的定位；

2、本发明方法采用ROI定性级标定样本，能够降低标定样本的工作量；收敛的深度卷积神经网络模型和显著性图谱的结合，能够扩大寻找感兴趣区域的范围，实现了在实际应用场景下的大规模数据分析、快速准确的寻找医学影像的病灶，更好更快的协助医生做出医学诊断。

附图说明

图1本发明方法的流程图。

图2为本发明方法的体统整体流程图。

图3为本发明方法的实施例图：其中，3a.气胸切片；3b.图2a所对应的显著性图谱；3c.显著性图谱二值化后用于ROI分割；3d.ROI的边界图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照详细附图，对本发明进一步详细说明。但所描述的实施例子仅旨在便于对本发明的理解，而对其不起任何限定作用。

以下以肺部CT图像上低密度灶的自动定位作为实施例，本实施例的基于卷积神经网显著性图谱的感兴趣区域的定位系统，包括：

标注样本模块：对尺寸为512*512的低剂量肺部CT图像进行筛选，分为有低密度灶和无低密度灶的图像，分别建立样本库。

用于提取显著性图谱的深度神经网络：训练一个深度卷积神经网络模型直至收敛，方法如下：

(1)构建一个深度卷积神经网络模型，对两个样本库分别进行训练。

模型的参数选择如下表所示：

(2)深度卷积神经网络模型的训练。

为寻求全局最小误差，得到一个最优的深度卷积神经网络模型，本实施例的深度卷积神经网络模型的训练网络选用交叉熵误差作为损失函数，并使用梯度下降法。将两个肺部CT图像样本库在本实施例的模型中进行迭代训练。

学习速率初始化为0.001,若连续两次发生验证集错误率上升的情况，则把模型参数还原到2个循环之前，并把学习速度除以2，然后继续训练。当学习速率下降7次之后，停止训练。

显著性图谱提取模块：对于一个测试样本，输入到网络中，最后网络会给出2个输出值，如果第一个输出值大于第二个输出值，则该样本为有低密度灶；反之，则该样本无低密度灶。

如图3所示，这是一张气胸病人的CT切片(3a)，上面有明显的大片区域的低密度灶，输入神经网络之后，输出层给出的输出分别为0.9992和0.0008。把输出层前一层，即全连层最后一层的输出[7.37,0.08]，取最大值留下，其他则赋零，即为[7.37,0]。把这个组值作为误差，利用误差反向传播算法回传，则输入层的梯度图即是输入图像所对应的显著性图谱(3b)。

定位图谱生成模块，包括：定位病灶：取梯度图中最大值的0.8倍作为阈值，把梯度图二值化，就得到ROI区域的分割图(3c)，最后根据分割图，把原图中的ROI的边界画出来(3d)。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于卷积神经网显著性图谱的感兴趣区域的定位系统，其特征在于，包括：标注样本模块、用于提取显著性图谱的深度卷积神经网络、显著性图谱提取模块、定位图谱生成模块、病灶定位模块；

所述标注样本模块对医学影像按其感兴趣区域ROI所代表的的属性进行分类标注，得到病灶属性类别训练集；

所述用于提取显著性图谱的深度卷积神经网络采用Y＝F(x)＝F_(n)°F_(n-1)°…°F₍₁₎(X)的深度卷积神经网络为初始模型，其中的F₍₁₎,F₍₂₎,...,F_(n)是对应多层神经网络模型中第n层网络的变换函数，将样本数据输入模型，得到输出值，然后将输出值通过损失函数计算误差、反传计算梯度、更新权重的训练，通过对样本数据的反复迭代训练，寻求全局最小误差，得到最终的收敛的模型y＝f(x)；

所述反传计算梯度是指利用BP算法和链式法则，将误差反向传播，在CNN模型中逐层求导，即在k层时，输出y_k对于输入y_k-1的梯度

所述反传计算得到梯度图的表达式为：

所述梯度图函数在卷积层、激活层、最大值池化层中，其表达式为：

当第k层为卷积层时，其表达式：

其中K_n为第k层的卷积核，K'_n为K_n沿水平翻转一次后，再沿垂直翻转一次的结果，

为卷积操作；当第k层f_(k)为激活层时，其表达式：

当第k层f_(k)为最大值池化层时，其表达式：g_s(k)＝f(k)＝max_t∈φsg_t(k-1)，式中，g_s(k)为g(k)中第s个元素，g_t(k-1)为g(k-1)中第t个元素，φs为s在池化前所对应的空间的相邻元素的位置集，h为g_t∈φs(k-1)中最大值在φs空间中的位置，那么

所述梯度图在每个通道上的最大绝对值的表达式为：M₀＝Max|w₀|；

所述显著性图谱提取模块用于将受试者样本(x0,y0)，输入到训练完毕的CNN模型y＝f(x)中，前传得到每个类的预测值，再将预测值经过保留最大值，其他值赋予零Max-left处理后，反传计算得到梯度图，然后根据梯度图在每个通道上的最大绝对值，提取视觉显著性图谱；

所述定位图谱生成模块通过选择阈值，对显著性图谱二值化，得到病灶的定位图谱；

所述病灶定位模块根据定位图谱与原始图像，定位医学影像中病灶所在位置。

2.根据权利要求1所述的一种基于卷积神经网显著性图谱的感兴趣区域的定位系统，其特征在于，所述ROI所代表的属性包括但不限于影像上的纹理、形状、分布、区域，受试者的疾病、受试者的生命体征、受试者的生理部位。

3.根据权利要求1所述的一种基于卷积神经网显著性图谱的感兴趣区域的定位系统，其特征在于，所述深度卷积神经网络Y＝F(x)＝F_(n)°F_(n-1)°…°F₍₁₎(X)的初始模型，网络的第k层的变换函数可以属于如下之一：卷积层，激活层，池化层，归一化层，全连层和输出层。

4.根据权利要求3所述的一种基于卷积神经网显著性图谱的感兴趣区域的定位系统，其特征在于，所述卷积层、激活层、池化层、归一化层、全连层、输出层的表达式可以根据具体视觉任务进行筛选组合，架构合适的网络模型，各层表达式分别为：

卷积层的表达式：

y＝f_ReLU(x)＝max(x,0)

y＝f_softplus(x)＝log(1+e^x)

式中，x和y分别是输入和输出数据；

B、池化层的表达式：

式中，

是第i个输出图像上，第m行第n列上的神经元，它是由第i个输入图像

上大小为S×S的区域池化而成；

C、归一化层的表达式：

式中，

w_α,β是高斯核且∑_α,βw_α,β＝1，

和

分别是第i个输入和输出图像上，第m行第n列上的神经元；

式中,

和

分别是第i个输入和输出图像上，第m行第n列上的神经元，L是输入图像的总数量，常数k，l，α和β是用验证集优化后的超参数；

D、全连层的表达式：

式中，xⁱ是输入向量中的第i个神经元，y^j是一个输出向量中的第j个神经元，w是一个全连层中的权重参数，b是偏置参数；

E、输出层的表达式：

式中，xⁱ是输入的第i个神经元，K是总类数，pⁱ是第i类的输出得分。

5.根据权利要求1所述的一种基于卷积神经网显著性图谱的感兴趣区域的定位系统，其特征在于，所述损失函数计算误差的表达式为：Y_loss＝L(Y)，其中的L(Y)有三种方案进行选择，如下(a)、(b)、(c)三个公式所示：

(a)

式中，Y^j和

分别是实际输出和真实标签的第j个神经元的值，K是输出神经元分类的类数的总个数；

(b)

式中，Y^j和分别是实际输出和真实标签的第j个神经元的值，K是输出神经元分类的类数的总个数；

(c)

式中，Y^j和

分别是实际输出和真实标签的第j个神经元的值，K是输出神经元分类的类数的总个数。

6.根据权利要求1所述的一种基于卷积神经网显著性图谱的感兴趣区域的定位系统，其特征在于，所述更新权重的训练系统包括随机梯度下降法、最速下降法、牛顿法、拟牛顿法、共轭梯度法、动量法、自适应梯度法。

Images