CN109102515A - 一种基于多列深浅卷积神经网络的细胞计数方法 - Google Patents

Abstract

本发明公开了一种基于多列深浅卷积神经网络的细胞计数方法。本发明实现步骤如下：步骤(1)训练多列深浅卷积神经网络；步骤(2)将细胞图像输入训练好的深度神经网络，输出对应图像的密度图；步骤(3)对模型输出的细胞密度图积分，统计出细胞数量输出；本发明利用多列深浅卷积神经网络计数对细胞图像进行分析，通过非人工干预的手段识别不同呈现形式的细胞图像，并输出细胞密度图，再进行积分求出细胞个数，这种方法具有更好的鲁棒性和自适应能力。

Description

一种基于多列深浅卷积神经网络的细胞计数方法

技术领域

本发明属于细胞图像处理技术领域,涉及图像计数方法，具体来讲是一种基于多列深浅卷积神经网络的细胞计数方法。

背景技术

通过显微镜，利用目视方法定性的分析细胞图像，给出细胞数量，细胞浓度，细胞密度等被广泛的应用在临床应用中。该方法耗时长并有一定主观性，且图像模糊，噪声污染，细胞之间边界不清，相互遮挡，相互粘连等都有可能影响分析和判断。针对这种情况，目前主要的细胞计数的处理方法主要有基于边缘检测，阀值分割，区域分割等方法然后进行细胞计数工作。但是这些方法难免出现分割效果不佳，特征提取困难等。所以较好的处理方法是建立端对端的处理方法，通过深度学习建立从输入到输出，让模型自动学习细胞图像特征，从而给出准确的计数。

发明内容

本发明针对细胞图像计数过程中对图像中细胞数量计数不准确的问题，公开一种基于多列深浅卷积神经网络的细胞计数方法。一种能够自行识别处理细胞图像的深度学习的细胞图像计数方法。

为实现以上的技术目的，本发明将采取以下的技术方案：

步骤(1)训练多列深浅卷积神经网络；

步骤(2)将细胞图像输入训练好的深度神经网络，输出对应图像的密度图；

步骤(3)对模型输出的细胞密度图积分，统计出细胞数量输出；

步骤(1)所述的训练多列深浅卷积神经网络，具体实现如下：

1-1.对采集到的每张细胞图像进行二值化和数据增强等图像预处理；

1-2.构建多列深浅卷积神经网络框架，确定网络框架的列数、层数、训练方式；

1-3.特征提取，将步骤1-1处理的细胞图像送入多列深浅卷积神经网络中卷积池化提取图像特征；

1-4.神经网络模型建立，利用步骤1-3提取的图像特征，训练出深度神经网络模型。

进一步的，步骤1-1具体为：

从显微镜设备中随机采样M张细胞图像，其中M≧1000；将细胞图像集中的每一张细胞图像，随机提取成n*n像素的小块，选取小块中的原则是小块包含类别的特征；提取好的小块图片，用matlab图像处理的方式进行细胞中心位置和像素值标注，标注好的小块图片按照初始整张细胞图像为单位，进行归类存储；

进一步的，步骤1-2中：

所述多列深浅卷积神经网络模型列数设置为三列，采用不同深浅的层次进行训练，三列网络训练过程的层次分别为3层、4层、5层，三类均采用改进的VGG16网络架构，迭代次数为10000次；

进一步的，步骤1-4中：

将处理好的细胞图像随机抽取90％的作为训练集；剩余10％的细胞图像作为测试集；将训练集送入多列深浅卷积神经网络的三列神经网络进行计算提取训练集中细胞图像的特征数据，通过提取的特征数据建立深度神经网络模型。

进一步的，步骤(3)所述的对模型输出的密度图积分，统计出细胞数量并输出，具体实现如下：

对多列深浅卷积神经网络输出的细胞密度图，进行数学积分来得到最终细胞数量；其中用来积分的细胞密度图，可用公式表示为：

其中，x_i表示细胞在细胞密度图中的像素位置，δ(x-x_i)表示细胞密度图中细胞位置的冲击函数，N为图像中的细胞总数，为归一化的高斯函数，为距离x_i细胞最近m个细胞与细胞之间的平均距离，β为归一化高斯函数计算参数。

进一步的，改进的VGG16网络架构是通过基于多列深浅卷积神经网络模型由VGG16网络改进，包括采用对样本带有标签的监督方式进行训练，即由训练资料中学到或建立一个模型，并依此模型推测新的实例。

改进的VGG16网络模型，其过程是一个反向传播的迭代过程，定义每一层计算过程为：

(1)计算最后一层神经网络产生的误差为：

(2)由后往前，计算每一层神经网络产生的误差为：

δ^L＝((((W^(l+1))^T)*δ^L+1)⊙σ’(z^l)

(3)计算权重的梯度

(4)计算偏置的梯度

以上公式中，其中L为第L层，a为对下层的输入值，C为损失函数，⊙表示Hadamard乘积，用于矩阵或向量之间点对点的乘法运算，w_jk，b_j分别代表系数权重和偏移量，δ^L为逐层向后传播得到的每一层节点的损失。和为通过每一个节点的损失来求解该节点的权重梯度和偏执梯度。α_k^(l+1)和δ^l分别为每层权重梯度和偏执梯度结果值。

进一步的，所述的多列深浅卷积神经网络的调优，包括：

采用自顶向下的监督学习方式进行调优，即使用提前进行标注标签的样本数据进行神经网络的卷积池化训练，

对自顶向下的监督学习方式进行调优，包括：根据目标标签数据和模型算出数据的误差函数，利用反向传播(BP)算法调整网络的参数，最终得到全局最优解的过程。目标标签数据和模型算出数据的误差函数为：

其中，θ是待优化的网络参数，N是训练细胞图片的数目，Xi表示输入图像，F_i表示X_i对应密度图的目标值，F(X_i；θ)表示由多列卷积神经网络生成的密度图，对误差函数求权重的偏导，可以更新网络权重。

本发明由于采取以上技术方案，具有如下优点：

本发明利用多列卷积神经网络计数对细胞图像进行分析，通过非人工干预的手段识别不同呈现形式的细胞图像，并输出密度图，再进行积分求出细胞个数，这种方法具有更好的鲁棒性和自适应能力。

附图说明

图1是本发明的整体实施方案流程图；

图2是本发明的训练模型示意图；

图3是本发明工艺实施方案的具体流程图；

具体实施方式

附图非限制性的公开了本发明所涉及优选实施例的流程示意图；以下将结合附图详细的说明本发明的技术方案。

一种基于多列深浅卷积神经网络的细胞计数方法，其基本步骤如下：训练多列深浅卷积神经网络。

读取细胞图像数据；

将图像数据输入训练好的深度神经网络，输出对应图像的密度图；

对模型输出的密度图积分，统计出细胞数量输出；

其中训练深度神经网络的步骤如下：

从显微镜设备采集m张不同的细胞图片，可以是不同位置，不同条件下获得的图像。把当前图像分成两部分，一部分作为训练集，一部分作为测试集。

将图像集中的每一张图片随机提取成n*n像素的小块，选取小块中的原则是小块包含类别的特征；提取好的小块图片，用matlab图像处理的方式进行细胞中心位置和像素值标注，标注好的小块图片按照初始整张图片为单位进行归类存储。

将训练样本的图像送入单列VGG16网络模型进行预处理，将得到的权值初始化BP神经网络参数，训练出多列卷积神经网络模型。

本发明详细流程如图1和图3。其中具体发明的多列深浅卷积神经网络模型如图2。

实施例：

从显微镜设备获取细胞图片，输入训练好的网络的到密度图，对密度图卷积计数。

获得m张不同的显微镜图像(本实验选取2000张细胞图像)的方法是扫描不同位置或者不同粘连，不同遮挡程度，不同条件下的。

所有图像分成至n*n像素的小块，选取小块的原则是小块包含细胞复杂计数的特征，但是也不能太大影响计数的准确性。

对所有小块做好标记，其标记记为细胞总数，细胞中心位置，细胞像素分布。

如图1，将训练样本的图像送入VGG16网络进行预处理，将得到的权值初始化BP神经网络参数，训练出多列卷积深度神经网络模型，并用训练好的多列卷积神经网络模型对特征提取的结果进行图像处理的具体步骤包括：

将n*n小块图像的像素矩阵X＝{X0，X1...Xn}送入VGG16网络进行数据预处理，实验选用改进了的VGG16，取该网络的前四层结构，迭代次数为1000次；

将预处理后的数据加入反向BP算法神经网络进行学习，实验迭代次数为10000次，选用网络的期望输出是可积分的细胞密度图像；

通过学习建立深度神经网络系统模型，并利用所述深度神经网络系统进行细胞图像的分析计数。

如附图3，从显微镜设备中获取细胞图像数据，将其输入训练好的深度神经网络，进行图像的分析识别，根据识别结果进行处理，本实验中测试图像将整张图片整体输入网络，最后整幅图片的密度图输出，进行积分计数。

Claims (6)

1.一种基于多列深浅卷积神经网络的细胞计数方法，其特征在于包括如下步骤：

步骤(1)训练多列深浅卷积神经网络；

步骤(2)将细胞图像输入训练好的深度神经网络，输出对应图像的密度图；

步骤(3)对模型输出的细胞密度图积分，统计出细胞数量输出；

步骤(1)所述的训练多列深浅卷积神经网络，具体实现如下：

1-1.对采集到的每张细胞图像进行二值化和数据增强等图像预处理；

1-2.构建多列深浅卷积神经网络框架，确定网络框架的列数、层数、训练方式；

1-3.特征提取，将步骤1-1处理的细胞图像送入多列深浅卷积神经网络中卷积池化提取图像特征；

1-4.神经网络模型建立，利用步骤1-3提取的图像特征，训练出深度神经网络模型；

步骤(3)所述的对模型输出的密度图积分，统计出细胞数量并输出，具体实现如下：

对多列深浅卷积神经网络输出的细胞密度图，进行数学积分来得到最终细胞数量；其中用来积分的细胞密度图，可用公式表示为：

其中，x_i表示细胞在细胞密度图中的像素位置，δ(x-x_i)表示细胞密度图中细胞位置的冲击函数，N为图像中的细胞总数，为归一化的高斯函数，为距离x_i细胞最近m个细胞与细胞之间的平均距离，β为归一化高斯函数计算参数。

2.根据权利要求1所述的一种基于多列深浅卷积神经网络的细胞计数方法，其特征在于步骤1-1具体实现如下：

从显微镜设备中随机采样M张细胞图像，其中M≧1000；将细胞图像集中的每一张细胞图像，随机提取成n*n像素的小块，选取小块中的原则是小块包含类别的特征；提取好的小块图片，用matlab图像处理的方式进行细胞中心位置和像素值标注，标注好的小块图片按照初始整张细胞图像为单位，进行归类存储。

3.根据权利要求2所述的一种基于多列深浅卷积神经网络的细胞计数方法，其特征在于步骤1-2具体实现如下：

所述多列深浅卷积神经网络模型列数设置为三列，采用不同深浅的层次进行训练，三列网络训练过程的层次分别为3层、4层、5层，三类均采用改进的VGG16网络架构，迭代次数为10000次。

4.根据权利要求3所述的一种基于多列深浅卷积神经网络的细胞计数方法，其特征在于步骤1-4具体实现如下：

将处理好的细胞图像随机抽取90％的作为训练集；剩余10％的细胞图像作为测试集；将训练集送入多列深浅卷积神经网络的三列神经网络进行计算提取训练集中细胞图像的特征数据，通过提取的特征数据建立深度神经网络模型。

5.根据权利要求4所述的一种基于多列深浅卷积神经网络的细胞计数方法，其特征在于所述的改进的VGG16网络架构是通过基于多列深浅卷积神经网络模型由VGG16网络改进，包括采用对样本带有标签的监督方式进行训练，改进的VGG16网络模型，其过程是一个反向传播的迭代过程，定义每一层计算过程为：

(1)计算最后一层神经网络产生的误差为：

(2)由后往前，计算每一层神经网络产生的误差为：

δ^L＝((((W^(l+1))^T)*δ^L+1)⊙σ’(Z^L)

(3)计算权重的梯度

(4)计算偏置的梯度

以上公式中，其中L为第L层，a为对下层的输入值，C为损失函数，⊙表示Hadamard乘积，用于矩阵或向量之间点对点的乘法运算，w_jk，b_j分别代表系数权重和偏移量，δ^L为逐层向后传播得到的每一层节点的损失；和为通过每一个节点的损失来求解该节点的权重梯度和偏执梯度；α_k^(L+1)和δ^l分别为每层权重梯度和偏执梯度结果值。

6.根据权利要求5所述的一种基于多列深浅卷积神经网络的细胞计数方法，其特征在所述的多列深浅卷积神经网络进一步调节优化方式如下：

采用自顶向下的监督学习方式进行调优，即使用提前进行标注标签的样本数据进行神经网络的卷积池化训练，

对自顶向下的监督学习方式进行调优，包括：根据目标标签数据和模型算出数据的误差函数，利用反向传播算法调整网络的参数，最终得到全局最优解的过程；目标标签数据和模型算出数据的误差函数为：

其中，θ是待优化的网络参数，N是训练细胞图片的数目，Xi表示输入图像，F_i表示X_i对应密度图的目标值，F(X_i；θ)表示由多列卷积神经网络生成的密度图，对误差函数求权重的偏导，可以更新网络权重。