CN106097355A - 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 - Google Patents

Abstract

本发明公开了基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，包括以下步骤：对获得的胃肠道组织高光谱训练图像的光谱维进行降维去噪；构造卷积神经网络结构；采用分批处理方法，将得到的高光谱数据主成分，即若干个二维灰度图像作为输入图像输入构造好的卷积神经网络结构，相当于若干张输入层的特征图，采用交叉熵函数作为损失函数，利用误差反向传播算法，根据该训练批次内的平均损失函数训练卷积神经网络中的参数以及逻辑回归层参数至网络收敛。本发明利用主成分分析法对高光谱图像进行降维，既保留了足够的光谱信息和空间纹理信息，又大大降低了算法的复杂性，提高了算法的效率。

Description

基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法

技术领域

本发明涉及医学高光谱图像处理领域，具体涉及基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法。

背景技术

肿瘤是指机体在各种致瘤因子作用下，局部组织细胞增生所形成的新生物，因为这种新生物多呈占位性块状突起，也称赘生物。胃肠肿瘤是消化道常见的肿瘤，胃肠道良性肿瘤切除后不易复发，对机体危害较小；而胃肠道恶性肿瘤，即癌，是世界范围内发病率较高、较常见的恶性肿瘤之一，且近年发病率明显上升。

目前，对胃肠道肿瘤进行病理学检查时，需要对活体取材组织进行显微观察与化验。大量的医学图像需要医生通过视觉观察进行判断，一方面造成了医生工作量的繁重；另一方面视觉观察主观性较强，难以进行定量分析。

高光谱成像基于多光谱成像，从紫外到近红外的光谱范围内，采用成像光谱仪，在光谱覆盖范围的数十或数百个光谱波段上对目标物体连续成像，同时获取目标物体的空间信息和光谱信息。近年来高光谱成像技术因其光谱范围广、波段多、分辨率高和图谱合一的特点越来越多地被应用于医学领域。

在此背景下，医学图像处理与分析技术的作用就凸显了出来。医学图像处理与分析技术就是根据临床的特定需要利用数学的方法对医学图像进行加工与处理，为临床提供更多的诊断信息和数据。

发明内容

为解决现有技术存在的不足，本发明公开了基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，本发明能够自动提取图像深层特征，有效完成胃肠道组织高光谱图像的分类，识别率较高。

为实现上述目的，本发明的具体方案如下：

基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，包括以下步骤：

对获得的胃肠道组织高光谱训练图像的光谱维进行降维去噪，仅保留高光谱数据的主成分；

构造卷积神经网络结构；

采用分批处理方法，将每个批次内的训练样本输入构造好的卷积神经网络，每个训练样本数据为高光谱数据主成分即若干个二维灰度图像，若干个二维灰度图像相当于若干张输入层的特征图，采用交叉熵函数作为损失函数，利用误差反向传播算法，根据该训练批次内的平均损失函数训练卷积神经网络中的参数以及逻辑回归层参数直至网络收敛；

将待测试图像输入训练好的卷积神经网络得到该图像为胃肠处肿瘤组织图像的概率。

进一步的，对获得的胃肠道组织高光谱训练图像的光谱维进行降维去噪，仅保留高光谱数据的主成分的具体方式为：

将三维高光谱图像转换成二维高光谱特征向量；

计算二维高光谱特征向量中所有像素光谱维的均值向量，并对所有像素点的光谱信息进行中心化，即减去所有像素点光谱信息的均值；

计算中心化后的二维高光谱特征向量的协方差矩阵；

对得到的协方差矩阵进行特征值分解，得到一组降序排列的特征值及其对应的特征向量，选择数据主成分，得到主成分映射矩阵。

进一步的，选择数据主成分后，根据得到的主成分映射矩阵，对二维高光谱特征向量进行主成分映射，得到主成分分析后的二维高光谱特征向量；

将得到的二维高光谱特征向量恢复为三维高光谱图像，这样就得到了保留高光谱数据的主成分的图像。

进一步的，构造卷积神经网络结构为：依次为输入层、卷积层C1、下采样层S2、卷积层C3、下采样层S4、卷积层C5、下采样层S6、卷积层C7、下采样层S8、卷积层C9、下采样层C10、卷积层C11、逻辑回归层及输出层。

进一步的，输入层为灰度图像块，卷积层C1设置6个特征图，下采样层S2设置6个特征图，卷积层C3、C5及C7设置10个特征图，下采样层S4、S6及S8设置10个特征图，卷积层C9设置16个特征图，下采样层C10设置16个特征图，卷积层C11设置100个特征图，逻辑回归层有100个节点，输出层有一个节点，其中卷积层C9层的特征图与采样层S8层的特征图采用部分连接方式。

进一步的，卷积神经网络训练时，具体为：

对卷积神经网络中待训练参数进行随机初始化；

分批输入两类训练数据，图像为胃肠处肿瘤组织图像时设定输出节点为1，图像为正常胃肠组织图像设定输出节点为0；

根据该批次内平均损失函数利用误差反向传播算法对卷积神经网络及逻辑回归分类参数进行训练至收敛。

进一步的，损失函数为交叉熵函数。

进一步的，将待测试图像输入训练好的卷积神经网络得到该图像为胃肠处肿瘤组织图像的概率具体包括：

采用主成分分析法对胃肠道组织高光谱测试图像的光谱维进行降维去噪，抽取高光谱数据的a个主成分，得到主成分分析后的灰度图像块及其标签；

将得到的灰度图像块输入训练好的卷积神经网络中，得出最终输出，输出节点即为该图像为胃肠处肿瘤组织图像的概率。

进一步的，损失函数为交叉熵函数，公式如下：

$E=\frac{1}{m}\underset{n=1}{\overset{m}{\Σ}}\underset{k=1}{\overset{d}{\Σ}}\[x_n^{k}log\left(z_n^k\right)+(1-x_n^k)log(1-z_n^k)\]---\left(13\right)$

其中，m为分批处理一个批次内样本的个数，d为输出层节点个数，该训练批次内为该训练批次内第n个样本输出层第k个节点的实际输出值，为该训练批次内第n个样本输出层第k个节点的理论值。

进一步的，卷积层损失函数对待训练参数的梯度公式为：

$\frac{\∂E}{\∂b_j^l}=\underset{u,v}{\Σ}{\left({\mathrm{\δ}}_j^l\right)}_{uv}---\left(14\right)$

$\frac{\∂E}{\∂k_{ij}^l}=\underset{u,v}{\Σ}{\left({\mathrm{\δ}}_j^l\right)}_{uv}{\left(p_i^{l-1}\right)}_{uv}---\left(15\right)$

其中，为第l层第j个特征图对应的偏置,是与第l层第i个特征图对应第l-1层第j个特征图的参数矩阵，是第l-1层第i个特征图卷积窗口的第u行第v列像素点的值。为第l层第j个特征图对应的灵敏度矩阵，它的公式为：

上式中，为第l+1下采样层第j个特征图对应的权值，为激励函数在第l层第j个特征图上的导数矩阵，up(·)为上采样函数，为第l层第j个特征图对应的灵敏度矩阵。

进一步的，下采样层损失函数对待训练参数的梯度公式为：

$\frac{\∂E}{\∂b_j^l}=\underset{u,v}{\Σ}{\left({\mathrm{\δ}}_j^l\right)}_{uv}---\left(17\right)$

其中，为第l层第j个特征图的偏置，为第l层第j个特征图的权值，为第l-1层第j个特征图的下采样，为第l层第j个特征图对应的灵敏度矩阵，它的公式为：

上式中，为激励函数在第l层第j个特征图上的导数矩阵，为第l+1层第j个特征图旋转180度的特征图矩阵，conv2(·,·)为卷积计算函数，'full'表示卷积方式为全卷积，即对缺省部分补0。

本发明的有益效果：

(1)本发明通过胃肠组织高光谱图像进行肿瘤检测，高光谱图像中富含的信息量大大高于正常医学图像，使分类精度得到了较大提高。且利用主成分分析法对高光谱图像进行降维，既保留了足够的光谱信息和空间纹理信息，又大大降低了算法的复杂性，提高了算法的效率。

(2)本发明将深度学习中的卷积神经网络引入胃肠肿瘤的病理学检测，卷积神经网络具有强大的特征提取功能，能够自动提取图像深层纹理信息，摒除干扰，对胃肠处肿瘤组织高光谱图像和正常组织高光谱图像做出较为准确的判断，本申请并不能作为疾病的诊断，仅仅作为辅助信息辅助医生进行判断，提高了诊断准确性，降低了工作量。

(3)卷积神经网络中采用交叉熵函数作为损失函数，且利用分批处理方式对权值进行更新，加快了收敛速度，提高了算法的效率。

附图说明

图1本发明的网络结构图；

图2本发明卷积层C9和下采样层S8特征图连接图；

图3本发明的训练流程图；

图4本发明的测试流程图。

具体实施方式：

下面结合附图对本发明进行详细说明：

基于卷积神经网络的胃肠道肿瘤显微高光谱图像检测中的网络训练方法包括以下步骤：

(1)：采用主成分分析法对胃肠道组织高光谱训练图像的光谱维进行降维去噪，抽取高光谱数据的a个主成分，得到主成分分析后的图像及其标签；

(2)：构造十三层卷积神经网络，如图1所示，包括六个卷积层、五个亚采样层一个逻辑回归层、一个输出层。其中，输入的是400*400*a的灰度图像块，卷积层C1设置6个特征图，亚采样层S2设置6个特征图，卷积层C3、C5及C7设置10个特征图，亚采样层S4、S6及S8设置10个特征图，卷积层C9设置16个特征图，亚采样层C10设置16个特征图，卷积层C11设置100个特征图，逻辑回归层有100个节点，输出层有一个节点其中卷积层C9层的特征图与S8层的特征图采用部分连接方式，如图2所示。

其中，卷积层节点对应的输入输出表达式为：

$x_j^l=f({\Σ}_{i\∈M_j}{x}_i^{l-1}\×k_{ij}^l+b_j^l)$

亚采样层节点对应的输入输出表达式为：

$x_j^l=f({\Σ}_{i\∈1,2,3,4}{W}_j^l\×x_i^{l-1}\×1+b_j^l)$

逻辑回归层对应的表达式为：

$h_{\mathrm{\θ}}\left(X\right)=g({\mathrm{\θ}}^T\×X)=\frac{1}{1+e^{-{\mathrm{\θ}}^{T}X}}$

(3)：采用分批处理方法分批输入训练图像对卷积神经网络进行训练。将一个训练批次内的两种的灰度图像块输入卷积神经网络，采用交叉熵函数作为损失函数，利用反向传播算法，根据该训练批次内的平均损失函数训练卷积神经网络中的参数以及逻辑回归层参数至网络收敛；

其中，步骤(1)抽取高光谱图像光谱维主成分的具体步骤为：

步骤(1.1)：将三维高光谱图像转换成二维高光谱特征向量，公式如下：

$X_{M\×N\×K}\stackrel{L=M\×N}{\⇒}{X}_{1_{L\×K}}---\left(1\right)$

其中，X是三维高光谱图像，M为图像行数，N为图像列数，K为光谱波段数，X₁是转化后的二维特征矩阵；

步骤(1.2)：求步骤(1.1)中得到的二维高光谱特征向量中每个像素对应光谱维的均值，并对所有像素点的光谱信息进行中心化，即减去所有像素点光谱信息的均值，均值计算公式如下：

$\stackrel{\‾}{x}=\frac{1}{L}\underset{i=1}{\overset{L}{\Σ}}{x}_i---\left(2\right)$

其中，是所有像素光谱维的均值，i＝1…L是像素数,L是像素点的个数,x_i是二维高光谱特征向量中第i个像素点的光谱信息；

步骤(1.3)：计算步骤(1.2)中得到的中心化后的二维高光谱特征向量的协方差矩阵，公式如下：

Σ＝X₂ ^T×X₂ (3)

其中，X₂是中心化后的二维高光谱特征向量，X₂ ^T是其转置向量；

步骤(1.4)：对步骤(1.3)中得到的协方差矩阵进行特征值分解，得到一组降序排列的特征值及其对应的特征向量，选择数据主成分，特征值分解公式为：

|Σ-λE|＝0 (4)

(Σ-λE)y＝0 (5)

其中，Σ为步骤(1.3)中得出的协方差矩阵，E为单位矩阵,λ为协方差矩阵Σ的特征值,y为特征值λ对应的特征向量；

主成分选择方法为：

$\frac{\underset{i=1}{\overset{a}{\Σ}}{\mathrm{\λ}}_i}{\underset{j=1}{\overset{m}{\Σ}}{\mathrm{\λ}}_j}\≥0.995---\left(6\right)$

U＝[w₁,w₂,…,w_a]^T (7)

其中，λ_i,i＝1…m为m个特征值，w_i为对应的特征向量，a为保留的主成分的个数，且满足a＜＜m，0.995的意义是所保留的主成分包含原来m个特征的99.5％的信息量，U为主成分映射矩阵；

步骤(1.5)：根据步骤(1.4)中得到的主成分映射矩阵，对二维高光谱特征向量进行主成分映射，得到主成分分析后的二维高光谱特征向量；

主成分映射公式为：

X₃＝U*X₂ (8)

其中，X₃是主成分映射后的数据，U为主成分映射矩阵，X₂是步骤(1.2)中得到的中心化后的二维高光谱特征向量；

步骤(1.6)：将步骤(1.5)中得到的二维高光谱特征向量恢复为三维高光谱图像，这样就得到了大小为M×N×a的高光谱图像数据，变换公式为：

$X_{3_{L\×a}}\stackrel{L=M\×N}{\⇒}{X}_{4_{M\×N\×a}}---\left(9\right)$

其中，X₃是步骤(1.5)中得到的主成分映射后的二维高光谱特征向量，M为图像行数，N为图像列数，a为主成分数量。

步骤(2)中构造卷积神经网络的具体做法为：

其中，卷积层对应的输入输出表达式为：

$x_j^l=f({\Σ}_{i\∈M_j}{x}_i^{l-1}\×k_{ij}^l+b_j^l)---\left(10\right)$

下采样层节点对应的输入输出表达式为：

$x_j^l=f({\Σ}_{i\∈1,2,3,4}{W}_j^l\×down(x_i^{l-1})+b_j^l)---\left(11\right)$

上式中，l为网络层数，j为l层的第j个特征图数，为第l层第j个特征图上的输出矩阵，表示第l-1层第i个特征图矩阵，这里作为输入矩阵，是与第l-1层第i个特征图对应的第l层第j个特征图的参数矩阵，表示第l个采样层第j个特征图对应的权值，down(·)表示一个下采样函数，表示第l层第j个特征图对应的偏置，f个对应sigmoid函数。

逻辑回归层对应的表达式为：

$h_{\mathrm{\θ}}\left(X\right)=g({\mathrm{\θ}}^T\×X)=\frac{1}{1+e^{-{\mathrm{\θ}}^{T}X}}---\left(12\right)$

上式中，X为逻辑回归层输入节点的值，θ为逻辑回归层待训练参数，h_θ(X)为逻辑回归层的输出，含义为输出节点取1的概率。

如图3所示，步骤(3)卷积神经网络训练过程的具体步骤为：

步骤(3.1)：对卷积神经网络中待训练参数进行随机初始化；

步骤(3.2)：分批输入两类训练数据，图像为胃肠处肿瘤组织图像时设定输出节点为1，图像为正常胃肠组织图像设定输出节点为0。根据该批次内平均损失函数利用误差反向传播算法对卷积神经网络及逻辑回归分类参数进行训练至收敛，损失函数为交叉熵函数，

如图4所示，在测试时：

(1)：采用主成分分析法对胃肠道组织高光谱测试图像的光谱维进行降维去噪，抽取高光谱数据的a个主成分，得到主成分分析后的图像及其标签；

(2)：将步骤得到的400*400*a的灰度图像块输入中训练好的卷积神经网络中，得出最终输出。输出节点即为该图像胃肠处肿瘤组织图像的概率，若输出值大于0.5，则判为肿瘤组织图像，若输出值小于0.5，则判为正常组织图像。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，其特征是，包括以下步骤：

对获得的胃肠道组织高光谱训练图像的光谱维进行降维去噪，仅保留高光谱数据的主成分；

构造卷积神经网络结构；

采用分批处理方法，将每个批次内的训练样本输入构造好的卷积神经网络，每个训练样本数据为高光谱数据主成分即若干个二维灰度图像，若干个二维灰度图像相当于若干张输入层的特征图，采用交叉熵函数作为损失函数，利用误差反向传播算法，根据该训练批次内的平均损失函数训练卷积神经网络中的参数以及逻辑回归层参数直至网络收敛；

将待测试图像输入训练好的卷积神经网络得到该图像为胃肠处肿瘤组织图像的概率。

2.如权利要求1所述的基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，其特征是，对获得的胃肠道组织高光谱训练图像的光谱维进行降维去噪，仅保留高光谱数据的主成分的具体方式为：

将三维高光谱图像转换成二维高光谱特征向量；

计算得到的二维高光谱特征向量中所有像素光谱维的均值向量，并对所有像素点的光谱信息进行中心化，即减去所有像素点光谱信息的均值；

计算中心化后的二维高光谱特征向量的协方差矩阵；

对得到的协方差矩阵进行特征值分解，得到一组降序排列的特征值及其对应的特征向量，选择数据主成分，得到主成分映射矩阵。

3.如权利要求2所述的基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，其特征是，选择数据主成分后，根据得到的主成分映射矩阵，对二维高光谱特征向量进行主成分映射，得到主成分分析后的二维高光谱特征向量；

将得到的二维高光谱特征向量恢复为三维高光谱图像，这样就得到了保留高光谱数据的主成分的图像。

4.如权利要求1所述的基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，其特征是，构造卷积神经网络结构为：依次为输入层、卷积层C1、下采样层S2、卷积层C3、下采样层S4、卷积层C5、下采样层S6、卷积层C7、下采样层S8、卷积层C9、下采样层C10、卷积层C11、逻辑回归层及输出层。

5.如权利要求4所述的基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，其特征是，输入层为灰度图像块，卷积层C1设置6个特征图，下采样层S2设置6个特征图，卷积层C3、C5及C7设置10个特征图，下采样层S4、S6及S8设置10个特征图，卷积层C9设置16个特征图，下采样层C10设置16个特征图，卷积层C11设置100个特征图，逻辑回归层有100个节点，输出层有一个节点，其中卷积层C9层的特征图与采样层S8层的特征图采用部分连接方式。

6.如权利要求1所述的基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，其特征是，卷积神经网络训练时，具体为：

对卷积神经网络中待训练参数进行随机初始化；

分批输入两类训练数据，图像为胃肠处肿瘤组织图像时设定输出节点为1，图像为正常胃肠组织图像设定输出节点为0；

根据该批次内平均损失函数利用误差反向传播算法对卷积神经网络及逻辑回归分类参数进行训练至收敛。

7.如权利要求6所述的基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，其特征是，损失函数为交叉熵函数。

8.如权利要求1所述的基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，其特征是，将待测试图像输入训练好的卷积神经网络得到该图像为胃肠处肿瘤组织图像的概率具体包括：

采用主成分分析法对胃肠道组织高光谱测试图像的光谱维进行降维去噪，抽取高光谱数据的a个主成分，得到主成分分析后的灰度图像块及其标签；

将得到的灰度图像块输入训练好的卷积神经网络中，得出最终输出，输出节点即为该图像为胃肠处肿瘤组织图像的概率。

9.如权利要求1所述的基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，其特征是，损失函数为交叉熵函数，公式如下：

$E=\frac{1}{m}\underset{n=1}{\overset{m}{\Σ}}\underset{k=1}{\overset{d}{\Σ}}\[x_n^{k}log\left(z_n^k\right)+(1-x_n^k)log(1-z_n^k)\]---\left(13\right)$

其中，m为分批处理一个批次内样本的个数，d为输出层节点个数，为该训练批次内第n个样本输出层第k个节点的实际输出值，为该训练批次内第n个样本输出层第k个节点的理论值。

10.如权利要求1所述的基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法，其特征是，卷积层损失函数对待训练参数的梯度公式为：

$\frac{\∂E}{\∂b_j^l}=\underset{u,v}{\Σ}{\left({\mathrm{\δ}}_j^l\right)}_{uv}---\left(14\right)$

$\frac{\∂E}{\∂k_{ij}^l}=\underset{u,v}{\Σ}{\left({\mathrm{\δ}}_j^l\right)}_{uv}{\left(p_i^{l-1}\right)}_{uv}---\left(15\right)$

其中，为第l层第j个特征图对应的偏置,是与第l层第i个特征图对应第l-1层第j个特征图的参数矩阵，是第l-1层第i个特征图卷积窗口的第u行第v列像素点的值，为第l层第j个特征图对应的灵敏度矩阵。