CN110516584B

CN110516584B - 一种显微镜用的基于动态学习的细胞自动计数方法

Info

Publication number: CN110516584B
Application number: CN201910778957.1A
Authority: CN
Inventors: 余飞鸿; 蒋妮; 朱晨辉; 周海洋
Original assignee: Hangzhou Touptek Photoelectric Technology Co ltd
Current assignee: Hangzhou Touptek Photoelectric Technology Co ltd
Priority date: 2019-08-22
Filing date: 2019-08-22
Publication date: 2021-10-08
Anticipated expiration: 2039-08-22
Also published as: CN110516584A

Abstract

本发明公开了一种显微镜用的基于动态学习的细胞自动计数方法，通过学习细胞的像素级特征和分布函数之间的映射关系，得到新的细胞图像在像素级上的分布结果。本发明首先分别对待识别图像的细胞和背景进行人工标注，每个细胞用一个点表示，得到以该点为中心点的标记区域。然后构建一个密度函数，作用在每个细胞的标记区域上，以标记点为中心得到对应的密度矩阵。密度矩阵中每个元素值的大小代表细胞以像素为单位的密度分布，对整个矩阵的元素求和，即得到细胞总数量。通过建立模型，学习原图像中每个像素点的特征向量和密度矩阵中对应元素值的关系，可以确定特征到密度的映射，因此，可由此映射关系，得到细胞数量的估计结果。

Description

一种显微镜用的基于动态学习的细胞自动计数方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种显微镜用的基于动态学习的细胞自动计数方法。

背景技术

目前世界的科研技术日趋发达，对微生物的研究与利用逐渐变得可行与重要。在微生物的研究中，经常需要对细胞的数量进行统计工作，仅仅凭借肉眼识别细胞并且统计数量成为一项耗时费力的工作，大大降低研究效率。

传统的细胞计数方法大多都是依赖于细胞检测的手段，对单个细胞进行定位，然后计数。另外，也有采用工业相机来代替传统显微镜目镜，来对培养皿内的细胞进行放大、成像，然后利用图像处理的方式，来计算成像区域内的细胞个数。

事实上，细胞检测的方法还有许多待解决的问题，比如杂质的干扰、背景的复杂性、灰度阈值法中阈值的选取、区域生长法中种子点的选取等等。除此之外，还有一个很重要的问题——粘连细胞的分割。至今为止，尚未有一种方法能很好的将粘连在一起的细胞进行分割计数，因此，基于细胞形态检测的计数方法还存在一定的缺陷。

目前，新兴一种基于估计像素级数量分布的细胞计数方法，通过学习图像特征到细胞数量的映射关系，对新的图像进行估计，得到每个像素所表示的细胞个数，进而对密度矩阵目标区域的元素值求和，统计出细胞数量。

上述学习估计的方法虽然避免了粘连细胞的计数问题，但仍存在以下问题：

(1)这种方法的学习的效果很大程度上取决于供其学习特征提供的样本的好坏，样本特征的质量决定了学习效果的上限。在对数据了解不全面的情况下，一般很难直接选出重要的特征。若特征数量太少，则学习会欠拟合；若特征数量太多，会将一些无关的特征也添加进学习范围，易导致过拟合，反而降低模型的学习效果，且计算速度减慢。

(2)在对图像的像素反复进行标记、修改时，每次都需要重新训练样本，过多的特征计算会导致程序运行十分缓慢，且不能实现实时的动态学习。

(3)在估计密度时，若细胞由于成像条件或染色等原因导致边缘较模糊，容易将边缘估计为背景密度，导致区域的密度值之和变小，出现细胞漏计的情况。

发明内容

针对本领域存在的不足之处，本发明提供了一种显微镜用的基于动态学习的细胞自动计数方法，用于估计细胞在像素级上的数量分布，能在保证计数精度的同时，大幅提高效率，且可根据估计的密度矩阵得到细胞的数量。

一种显微镜用的基于动态学习的细胞自动计数方法，包括步骤：

(1)标记训练图像中的待计数细胞和背景像素点，作为训练样本，定义真实密度函数，具体为：

(1-A)所述待计数细胞的标记点集合P＝{P₁，P₂，…，P_n}，其中n为标记点个数；通过size参数控制以标记点P_i为中心的标记区域A_i大小与待计数细胞大小一致，i＝1，2，…，n；所述标记区域A_i内的像素点集合p_i＝{p_i1，p_i2，…，p_im}，其中m为标记区域A_i内像素点个数；

(1-B)按式(I)定义以标记点P_i为中心的标记区域A_i的真实密度函数：

其中，p_ij表示所述标记区域A_i内的像素点的坐标位置，Normalize()为归一化函数，F在标记区域A_i内的积分即为该标记区域内的真实细胞总数；

(2)筛选特征子集，具体包括步骤：

(2-A)计算训练样本在训练图像进行不同程度的高斯平滑后的特征；

(2-B)将所有特征中与密度的相关度最高的特征作为初始特征子集；

(2-C)遍历计算剩余特征与密度的相关度和当前特征子集的冗余度，并按式(II)或(III)依次将对应组合值最大的特征添加到当前特征子集，直到特征子集维度达到预设值；

max(relevance-redundancy) (II)，

其中，relevance为待计算特征与密度的相关度，redundancy为待计算特征与当前特征子集的冗余度；

(3)利用当前特征子集对选择的模型进行训练学习，输出细胞密度分布图，并用交叉验证集数据反复验证、调参，得到训练好的模型；

(4)将待测图像输入训练好的模型中，得到对应的细胞密度分布图，完成细胞自动计数。

本发明首先分别对待识别图像的细胞和背景进行人工标注，每个细胞用一个点表示，得到以该点为中心点的标记区域。然后构建一个密度函数，作用在每个细胞的标记区域上，以标记点为中心得到对应的密度矩阵。密度矩阵中每个元素值的大小代表细胞以像素为单位的密度分布，对整个矩阵的元素求和，即得到细胞总数量。通过建立模型，学习原图像中每个像素点的特征向量和密度矩阵中对应元素值的关系，可以确定特征到密度的映射，因此，可由此映射关系，得到细胞数量的估计结果。该方法实现原理简单，能有效解决粘连的计数问题。

作为优选，步骤(1)中，所述的标记区域与待计数细胞的真实区域重合。

作为优选，步骤(1)中，对待标记的连通域内所有待计数细胞进行标记，即若对单个细胞的连通域进行标记，标记该细胞即可，若对粘连细胞的连通域进行标记，则需标记出该连通域内的所有细胞。

步骤(1)中，所述背景像素点的密度为0。

作为优选，步骤(2-A)中，所述特征的类别包括高斯平滑后的像素、高斯-拉普拉斯算子、高斯梯度幅值、高斯差分算子、结构张量、Hessian矩阵特征值、傅里叶变换和小波变换。

作为优选，步骤(2-A)中，以训练样本中的像素点为中心，根据待计数细胞大小确定邻域范围，将邻域范围内的像素点的特征也作为中心像素点的特征。邻域特征的加入，使得每个训练样本中都添加了局部信息，特征更丰富。

本发明步骤(2)采用最大相关-最小冗余(mRMR)算法进行特征子集的筛选。

作为优选，步骤(2)中，所述特征与密度的相关度用互信息表示。

作为优选，步骤(2)中，所述特征和当前特征子集的冗余度用互信息表示。

作为优选，步骤(3)中，所述选择支持向量机或随机森林模型进行训练学习。

作为优选，步骤(4)中，在得到的细胞密度分布图中放置选框，在框内显示实时更新的细胞数量。

本发明与现有技术相比，主要优点包括：本发明通过学习细胞的像素级特征和分布函数之间的映射关系，得到新的细胞图像在像素级上的分布结果。本发明用于估计细胞在像素级上的数量分布，能在保证计数精度的同时，大幅提高效率，且可根据估计的密度矩阵得到细胞分布情况。

附图说明

图1为本发明的显微镜用的基于动态学习的细胞自动计数方法的建模流程示意图；

图2为用户手动标记的前景与背景的示意图，其中10、11、12、13、14、15、16是用户标记的待计数细胞，用热度表示待计数细胞的密度分布，20、21、22是用户标记的背景像素；

图3为待选择特征列表，图中所示的勾选标志为用户所选的特征；

图4为用户选择的特征类别(a)和待选择特征列表中所有特征经过筛选后的特征(b)，其中设置待选择特征类别的数量为7；

图5是用户所选特征学习后的预测结果图，其中30、31、32、33是待计数细胞密度的预测结果；

图6是所有特征经过筛选后学习的预测结果图，其中40、41、42、43是待计数细胞密度的预测结果；

图7是用户所选特征学习后的计数结果图，放置的矩形框显示被框定区域待计数细胞个数，其中50、51、52、53是矩形框内待计数细胞的计数结果；

图8是界面所有特征经过筛选后学习的计数结果图，放置的矩形框显示被框定区域待计数细胞个数，其中60、61、62、63是矩形框内待计数细胞的计数结果。

具体实施方式

下面结合附图及具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。下列实施例中未注明具体条件的操作方法，通常按照常规条件，或按照厂商所建议的条件。

本实施例的显微镜用的基于动态学习的细胞自动计数方法的建模流程如图1所示，具体包括步骤：

(1)如图2所示，用户手动标记训练图像(原图)中的待计数细胞(前景)和背景像素点(背景)，作为训练样本，定义真实密度函数，具体为：

(1-A)所述待计数细胞的标记点集合P＝{P₁，P₂，…，P_n}，其中n为标记点个数；通过size参数控制以标记点P_i为中心的标记区域A_i大小与待计数细胞大小一致，i＝1，2，…，n；所述的标记区域A_i与待计数细胞的真实区域重合；所述标记区域A_i内的像素点集合p_i＝{p_i1，p_i2，…，p_im}，其中m为标记区域A_i内像素点个数；对待标记的连通域内所有待计数细胞进行标记，即若对单个细胞的连通域进行标记，标记该细胞即可，若对粘连细胞的连通域进行标记，则需标记出该连通域内的所有细胞。

其中，p_ij表示所述标记区域A_i内的像素点的坐标位置，Normalize()为归一化函数，F在标记区域A_i内的积分即为该标记区域内的真实细胞总数。

(1-C)所述背景像素点的密度为0。

图2中，10、11、12、13、14、15、16为放置在标记细胞中心的密度函数，以热图形式表示密度的相对大小，20、21、22是标记的背景像素。

(2)采用最大相关-最小冗余(mRMR)算法进行特征子集的筛选，具体包括步骤：

(2-A)计算训练样本在训练图像进行不同程度的高斯平滑后的特征；如图3所示，所述特征的类别包括高斯平滑后的像素、高斯-拉普拉斯算子、高斯梯度幅值、高斯差分算子、结构张量、Hessian矩阵特征值、傅里叶变换和小波变换，sigma大小表示对图像做不同程度的高斯模糊。此外，以训练样本中的像素点为中心，根据待计数细胞大小确定邻域范围，将邻域范围内的像素点的特征也作为中心像素点的特征。

(2-B)将所有特征中与密度的相关度最高的特征作为初始特征子集；所述特征与密度的相关度用互信息表示。

(2-C)遍历计算剩余特征与密度的相关度和当前特征子集的冗余度，所述特征和当前特征子集的冗余度用互信息表示，并按式(II)或(III)依次将对应组合值最大的特征添加到当前特征子集，直到特征子集维度达到预设值；

max(relevance-redundancy) (II)，

其中，relevance为待计算特征与密度的相关度，redundancy为待计算特征与当前特征子集的冗余度。

用户选择的特征类别和本实施例提供的所有特征经过筛选后的特征分别如图4a、4b所示。

(3)利用当前特征子集，选择支持向量机或随机森林模型进行训练学习，输出细胞密度分布图，并用交叉验证集数据反复验证、调参，得到训练好的模型。

使用如图4a所示的用户选择的特征训练学习后的细胞密度分布预测如图5所示，其中30、31、32、33是待计数细胞密度的预测结果。

使用如图4b所示的筛选后的特征训练学习后的细胞密度分布预测如图6所示，其中40、41、42、43是待计数细胞密度的预测结果。

本实施例还添加实时更新按钮，进入实时更新模式，触发后将会实时显示细胞密度分布预测结果图与预测的细胞总数量，具体体现为当放置新的标签或更改参数，可进行新一轮的学习，并更新预测结果图。

本实施例中，还可在得到的细胞密度分布图中放置选框，在框内显示所选择区域的实时更新的细胞数量，具体为：

(A)通过选择“添加框”按钮并在图像上绘制矩形区域，可以放置矩形框，框内会显示区域内的对象计数，当预测结果更新时，框内对象计数也会改变；

(B)选中并删除框：用鼠标经过一个特定框，该框将会处于被选中状态并突出显示，按下键盘“delete”键可删除。

针对特定选框区域，使用如图4a所示的用户选择的特征训练学习后的细胞密度分布预测如图7所示，其中50、51、52、53是矩形选框内待计数细胞密度的预测结果。

针对特定选框区域，使用如图4b所示的用户选择的特征训练学习后的细胞密度分布预测如图8所示，其中60、61、62、63是矩形选框内待计数细胞密度的预测结果。

(4)将待测图像输入上述训练好的模型中，即可得到对应的细胞密度分布图，完成细胞自动计数。

此外应理解，在阅读了本发明的上述描述内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims

1.一种显微镜用的基于动态学习的细胞自动计数方法，其特征在于，包括步骤：

(1-A)所述待计数细胞的标记点集合P＝{P₁,P₂,…,P_n}，其中n为标记点个数；通过size参数控制以标记点P_i为中心的标记区域A_i大小与待计数细胞大小一致，i＝1,2,…,n；所述标记区域A_i内的像素点集合p_i＝{p_i1,p_i2,…,p_im}，其中m为标记区域A_i内像素点个数；

(2)筛选特征子集，具体包括步骤：

max(relevance-redundancy) (II)，

2.根据权利要求1所述的显微镜用的基于动态学习的细胞自动计数方法，其特征在于，步骤(1)中，所述的标记区域与待计数细胞的真实区域重合；

对待标记的连通域内所有待计数细胞进行标记；

所述背景像素点的密度为0。

3.根据权利要求1所述的显微镜用的基于动态学习的细胞自动计数方法，其特征在于，步骤(2-A)中，所述特征的类别包括高斯平滑后的像素、高斯-拉普拉斯算子、高斯梯度幅值、高斯差分算子、结构张量、Hessian矩阵特征值、傅里叶变换和小波变换。

4.根据权利要求1或3所述的显微镜用的基于动态学习的细胞自动计数方法，其特征在于，步骤(2-A)中，以训练样本中的像素点为中心，根据待计数细胞大小确定邻域范围，将邻域范围内的像素点的特征也作为中心像素点的特征。

5.根据权利要求1所述的显微镜用的基于动态学习的细胞自动计数方法，其特征在于，步骤(2)中，所述特征与密度的相关度用互信息表示。

6.根据权利要求1或5所述的显微镜用的基于动态学习的细胞自动计数方法，其特征在于，步骤(2)中，所述特征与当前特征子集的冗余度用互信息表示。

7.根据权利要求1所述的显微镜用的基于动态学习的细胞自动计数方法，其特征在于，步骤(3)中，选择支持向量机或随机森林模型进行训练学习。

8.根据权利要求1所述的显微镜用的基于动态学习的细胞自动计数方法，其特征在于，步骤(4)中，在得到的细胞密度分布图中放置选框，在框内显示实时更新的细胞数量。