CN108960284B - 基于显微图像和深度学习的微球单一性识别和定位的方法 - Google Patents

Abstract

本发明涉及一种基于显微图像和深度学习的微球单一性识别和定位的方法，包括下列步骤：获得多幅显微图像；提取显微图像中微球区域，得到由微球区域组城的图像集X2，将X2作为卷积神经网络的训练集；搭建并训练卷积神经网络，对图像进行特征提取，最终输出用于表示分类结果的唯一编码，其中，(1,0,0)表示无球，(0,1,0)表示单球，(0,0,1)表示多球，得到训练好的卷积神经网络用C表示；定位算法。

Description

基于显微图像和深度学习的微球单一性识别和定位的方法

技术领域

本发明涉及一种基于显微图像和深度学习的微球单一性识别和定位的方法。特别涉及在光镊和磁镊系统中的狭小视场与低景深成像下的微球单一性识别、定位的方法。本发明相对于光镊和磁镊系统中的人工识别和定位的方法，能够极大的提高微球的识别、定位的速度及准确率，对于在光镊和磁镊系统下的测量、测试具有重要意义。

背景技术

光镊和磁镊系统能够捕获及操控微米及纳米级的微粒，并对所施加的力进行测量，具有非接触、无损伤、高精度的特点，被广泛用于生物单分子、细胞等测量领域中，极大的促进了定量生物学的发展。被捕获的微粒通常为直径为1μm、2μm、5μm的微球，通过CMOS相机拍摄的显微图像可以看到微球的成像。单一的不同直径的微球、相同直径但多微球重叠的成像虽然整体都是圆形，但成像特征略有不同。实验时，只有捕获了微球，且只捕获了一个微球的时候，才能满足实验要求。另外，当确定捕获了单一的微球时，还需定位微球的位置，即微球的圆心的像素坐标(以相机的整副输入图片为背景，左上角的像素坐标为(1,1))。

传统的微球单一性识别的方法是人工识别，依靠的是实验人员的经验，当发现重复捕获微球时，释放微球然后再次重新执行捕获操作。另外，虽然在相机的输入图像中实验人员可以粗略定位到每个微球的位置，但是却无法有效的将位置处微球圆心的像素坐标反馈给计算机。深度学习中关于图像识别的算法是CNN(卷积神经网络)，但是CNN不具备定位的能力。而在CNN的基础上改进的识别+定位的算法如R-CNN、FastR-CNN、FasterR-CNN、R-FCN、SSD等，其定位是指生成一个框将检测到的微球包围起来，但是本质上没有解决微球圆心的像素坐标定位的问题。

在上述系统中，显微图像中的微球不具备缩放性，对于确定的微球(无论是单球还是多球)来说，无论出现在什么地方，无论出现在什么时候，其大小是固定且极其相似的，形态特征也是类似的。然而，上述深度学习中识别+定位的算法，最适用的情况的是要检测的目标具有缩放性。其要训练的特征有两个，一个是微球的图像的特征，一个是将微球恰好包围起来的框的大小。虽然上述算法对于无缩放性的情况也适用，但是却不是在无缩放性的情况下的最好选择。

据此，本发明提出一种基于显微图像和深度学习的微球单一性识别和定位的方法。

发明内容

本发明的目的是，对CMOS相机拍摄的显微图像，识别出图像中微球的形态情况，包括存在性和单一性，且对每一个识别出的微球，定位其圆心的像素坐标；技术方案如下：

一种基于显微图像和深度学习的微球单一性识别和定位的方法，包括下列步骤：

步骤1：在光镊或磁镊系统下进行实验，获得多幅显微图像，显微图像集用X1表示；

步骤2：人工提取显微图像中微球区域，得到由微球区域组城的图像集X2，将X2作为卷积神经网络的训练集；

步骤3：搭建并训练卷积神经网络；卷积神经网络结构为：卷积层-卷积层-池化层-卷积层-卷积层-池化层-全连接层-输出层，其中，全连接层和输出层中间采用dropout来避免过拟合，每个卷积层的卷积核均为5*5，池化层采用最大值池化，把步骤2中的训练集图像输入到深度卷积神经网络中对其训练，对图像进行特征提取，最终输出用于表示分类结果的唯一编码，其中，(1,0,0)表示无球，(0,1,0)表示单球，(0,0,1)表示多球，得到训练好的卷积神经网络用C表示；

步骤4：定位算法

①：对于需要微球单一性识别和定位的显微图像，设显微图像的行数为a，列数为b，深度为d；方框边长为n；生成一个二维矩阵，其行数为(a-n+1)(b-n+1)，列数为n*n*d；

②：以方框为基准，依次遍历整个显微图像；

③：每一步对应的显微图像的区域，都重塑为一行，依次替换掉二维矩阵中的行；

④:把二维矩阵的所有行作为一个批次的数据集，送至卷积神经网络C进行并行计算，每一

行得到一个判断结果，分别是该行对应的方框在显微图像的位置处无球、一个球、多个

球的概率，把所有行的判断结果依次从上至下排列，得到判断结果矩阵，该矩阵的行数

与二维矩阵的行数相等，每一行都对应二维矩阵的相应行，也即方框在显微图像的对应

位置，判断结果矩阵的列数为3，设第一列对应的数据是无球的概率，第二列对应的数

据是有球的概率，第三列对应的数据是多个球的概率；

⑤:根据判断结果矩阵，对于某行来说，若其第一列的数据最小，即说明该行有微球的可能

性很大，若第二列的数据最大，说明有一个微球，否则，有多个微球，由该行的行数信

息，定位至方框在显微图像的相应区域，方框的中心即为微球圆心像素坐标。

附图说明

图1是所提方法的流程图。

图2是显微图像。

图3是图像集X2的三类特征，左边表示无球(背景)，中间表示一个球，右边表示多个球。

图4是所用卷积神经网络的流程图。

图5是微球定位的矩阵拉伸转换算法的原理演示。

具体实施方式

下面结合实施例和附图对本发明的基于显微图像和深度学习的微球单一性识别和定位方法做出详细说明。

本发明利用COMS相机采集微球的8位灰度显微图像，对显微图像做一定的处理，最终达到识别出微球的形态并且输出其圆心处像素坐标的目的。整体步骤如附图1所示，详细步骤如下：

1，用光镊和磁镊对直径为1μm、2μm、5μm的微球做若干次捕获实验，并用CMOS相机收集实验时的显微图像数据，如附图2所示。

2，针对不同直径的微球，设置不同大小的方框，方框边长的大小可以恰好为或略大于多微球重叠时的直径大小。以方框(假设边长为n)为基准，采集不同情况下微球的特征(如附图3所示)，并作为训练集，。

3，搭建如附图4所示的卷积神经网络。本发明选用的卷积神经网络结构依次为卷积层-卷积层-池化层-卷积层-卷积层-池化层-全连接层-输出层，其中，全连接层和输出层中间采用dropout来避免过拟合，每个卷积层的卷积核均为5*5，池化层采用最大值池化。

该网络的最终目的是可以准确识别出微球的特征，其他合理结构的卷积神经网络亦可复现相同效果。

4，制定矩阵转换算法，目的是将行数为a，列数为b，深度为d的显微图像矩阵P，转换成行数为(a-n+1)(b-n+1)，列数为n*n*d的二维矩阵W。该算法的原理演示如附图5所示。具体做法为：

第一步：对于P的第一层，将1～n行与1～n列对应的区域Z1，转换至W的第1行，1～n*n列的R1。其中，Z1的第1行对应R1的前n列，Z1的第2行对应R1的第n+1到第2n列，…，Z1的第n行对应R1的第(n-1)*n到n*n列(即后n列)。

第二步：对于P的第一层，将1～n行与2～(n+1)列对应的区域Z2，转换至W的第2行,1～n*n列的R2。R2中元素的排列方式与R1相同。第三步：方框每次右移一个像素的距离，若方框移动至最右端，则返回最左端，同时下移一个像素的距离，然后继续重复该过程。方框每次移动，都会将方框内的区域Z，转换至W对应的行R。

第四步：方框遍历P的第一层后，生成了一个行数为(a-n+1)(b-n+1)，列数为n*n的二维矩阵。对于P的第二层、第三层以至第d层，重复第一步至第三步的过程，可以生成一系列的二维矩阵。将这些二维矩阵如附图5的方式首尾相接，最后得到矩阵转换后的二维矩阵W。W中的每一行，都对应方框的每一步。

5，制定微球定位算法，目的是对于输入的二维矩阵W，计算出显微图像中微球的单一性判断结果以及微球圆心对应的像素坐标。具体做法为：

第一步：用步骤3中的卷积神经网络并行的计算W的每一行，得到每一行(也即方框的每一步)的微球单一性的判断结果矩阵A。A的行数与W相同，为(a-n+1)(b-n+1)，列数为3。A的每一行均对应W相应行的微球单一性判断结果。A的第一列中的数据表示无球(背景)的概率，第二列的数据表示单个球的概率，第三列的数据表示多个球的概率。

第二步：若显微图像中存在微球，则A中的某些行会得到微球存在的判定(这些行的第一列的数据最小)，这些行又可追溯至方框在显微图像的对应位置。由于方框在显微图像不同位置滑过同一微球时均会得到微球存在的结果，因此需要去掉重复的判定结果——在一定区域的有球判定结果中，选取微球存在概率最大的地方作为输出。当概率值相等或极其接近的情况时，随机选取其中某个值对应的方框位置作为最终输出。方框的中心视为微球圆心。因此，该方法的微球圆心像素坐标的定位精度有一定误差，误差约为几个像素。

6，将训练后的卷积神经网络及定位算法封装到一起。实验时，输入相机的显微图像，若显微图像中没有微球，则输出无微球的判断。若显微图像中有微球，则输出微球的单一性判断及微球圆心的像素坐标值。

Claims (1)

1.一种基于显微图像和深度学习的微球单一性识别和定位的方法，包括下列步骤：

步骤1：在光镊或磁镊系统下进行实验，获得多幅显微图像，显微图像集用X1表示；

步骤2：人工提取显微图像中微球区域，得到由微球区域组成的图像集X2，将X2作为卷积神经网络的训练集；

步骤3：搭建并训练卷积神经网络；卷积神经网络结构为：卷积层-卷积层-池化层-卷积层-卷积层-池化层-全连接层-输出层，其中，全连接层和输出层中间采用dropout来避免过拟合，每个卷积层的卷积核均为5*5，池化层采用最大值池化，把步骤2中的训练集图像输入到深度卷积神经网络中对其训练，对图像进行特征提取，最终输出用于表示分类结果的唯一编码，其中，（1,0,0）表示无球，（0,1,0）表示单球，（0,0,1）表示多球，得到训练好的卷积神经网络用C表示；

步骤4：定位算法 ①：对于需要微球单一性识别和定位的显微图像，设显微图像的行数为a，列数为b，深度为d；方框边长为n；生成一个二维矩阵，其行数为(a-n+1)(b-n+1)，列数为n*n*d； ②：以方框为基准，依次遍历整个显微图像；

③：每一步对应的显微图像的区域，都重塑为一行，依次替换掉二维矩阵中的行；

④: 把二维矩阵的所有行作为一个批次的数据集，送至卷积神经网络C进行并行计算，每一行得到一个判断结果，分别是该行对应的方框在显微图像的位置处无球、一个球、多个球的概率，把所有行的判断结果依次从上至下排列，得到判断结果矩阵，该矩阵的行数与二维矩阵的行数相等，每一行都对应二维矩阵的相应行，也即方框在显微图像的对应位置，判断结果矩阵的列数为3，设第一列对应的数据是无球的概率，第二列对应的数据是有球的概率，第三列对应的数据是多个球的概率；

⑤: 根据判断结果矩阵，对于某行来说，若其第一列的数据最小，即说明该行有微球的可能性；若第二列的数据最大，说明有一个微球的可能性最大，否则，有多个微球的可能性最大，由该行的行数信息，定位至方框在显微图像的相应区域，方框的中心即为微球圆心像素坐标。

Images