CN113889233A - 基于流形回归网络的细胞定位与计数方法及应用 - Google Patents

Abstract

本发明属于医学图像处理技术领域，具体涉及一种基于端到端流形回归网络的细胞计数与定位方法。本发明主要步骤包括：根据点标签自动生成细胞图像的密度图；设计回归网络并引入流形正则项对网络进行约束，实现对密度图的监督学习；对估计密度图进行后处理，获取细胞数量与定位坐标。本发明仅采用点标签就能有效地实现细胞定位与计数，节省了标注工作的人力和时间成本，并且充分利用了细胞图像的空间形态结构，所提出的基于子图的流形正则项能准确描述图像的复杂非线性特征，从而能提升网络的泛化能力，并降低过度拟合的风险。在基于生物医学数字图像的细胞检测和疾病诊断方面具有重要的应用价值。

Description

基于流形回归网络的细胞定位与计数方法及应用

技术领域

本发明涉及一种基于流形回归网络的细胞定位与计数方法，属于医学图像处理技术领域。

背景技术

细胞计数在疾病诊断和生物医学研究中起着重要的作用。对于癌症的诊断和治疗，肿瘤比例评分(Tumor Proportion Score，TPS)是一个重要的指标。为了估计TPS，病理医生要在组织病理学切片中对阳性和阴性癌细胞进行近似计数。此外，病理医生还可能需要标记一些典型的癌细胞来增加诊断的可靠性，而这些任务通常是耗时和乏味的。随着数字生物医学图像处理和以深度学习为代表的强大机器学习工具的出现，计数和定位已逐步可通过计算机实现，并达到较高的准确性。

生物医学图像分析中细胞计数和定位存在两个主要问题。首先，细胞的分布可能过于拥挤，给细胞的识别和计数造成困难。其次，不同组织的细胞，特别是肿瘤细胞表现出多种颜色和形态结构。在染色肿瘤切片中，有的癌细胞呈圆形或椭圆形，有的则呈细长状，肿瘤细胞还会由于呈阴性或阳性而显出的染色程度。

为了解决这些问题，传统的细胞计数和定位大多基于较成熟的数值回归和目标检测方法，并根据特定的任务和不同类型的生物医学数据集对模型进行改进。这些细胞定位与计数算法可分为两类：基于检测的方法和基于回归的方法。这些算法虽然能取得不错的结果，但存在以下局限性：(1)对于拥挤和不规则的细胞计数，没有任何人类专家指导的无监督方法表现不佳；(2)有监督检测方法的性能依赖于标签的数量和精度，对标注者的病理知识和临床经验都有一定要求，抬高了标注工作的人力和时间成本；(3)基于细胞数量回归的方法无法定位细胞，需要额外的定位模型，模型设计和计算的代价较大；(4)监督检测和回归方法通常依赖于大规模的网络，容易出现过拟合。

发明内容

本发明的目的是：提供一种基于流形正则化的回归网络模型，仅采用细胞核点标签就能有效地对形态复杂的细胞进行定位与计数，节省了标注工作的人力和时间成本，同时保证了定位与计数的精度，提升模型的泛化性，避免过拟合。

为了达到上述目的，本发明的一个技术方案是提供了一种基于流形回归网络的细胞定位与计数方法，其特征在于，包括以下步骤：

步骤1、根据细胞图像X_i∈R^B×J的点标签Y_i∈R^2×Ji计算密度图m_i∈R^J，其中，R表示实数集，R的上标表示实数集内向量的维度，N、B、J和J_i分别为细胞图像的数量、维度数、像素数量以及细胞图像中的点标签数量，i表示细胞图像X_i、点标签Y_i或密度图m_i的编号，i＝1,2,…,N；对于点标签

代表Y_i中第j个点的二维坐标，则密度图m_i构造为：

式(1)中，

为密度图m_i的元素，j＝1,2,…,J，

为均值为

的归一化二维高斯核，σ为各向同性协方差矩阵，1_2×2为单位矩阵；

步骤2、构建回归网络，包含卷积层、池化层、上采样层以及跳跃连接层，共A层；

令

为回归网络中某一层的输出特征，其中，a＝1,2,…,A是网络的层数，D为当前层特征的通道数，E是每张特征图的像素数量，

为第a层特征图中的第d个通道上的第e个像素，d＝1,2,…,D，e＝1,2,…,E，则回归网络的构造包括以下步骤：

步骤2.1、构造用于特征提取的卷积层，其输出特征Z_a计算为：

式(2)中，

为第a-1层的输出特征值，U和V分别为滤波器的长和宽，f_active(·)为激活函数，激活函数采用线性整流函数：

步骤2.2、构造用于减少数据空间大小的降采样层，其输出特征Z_a为：

式(4)中，f_pool(·)为最大池化操作；

步骤2.3、构造用于恢复图像大小的上采样层，其输出特征Z_a为：

式(5)中，f_upsample(·)为上采样操作；

步骤2.4、构造补充高分辨率信息的残差连接层，其输出特征Z_a为：

Z_a＝f_skip(f_upsample(Z_a-1),Z_a-n) (6)

式(6)中，Z_a-n为池化层输入，其长、宽和维度数与Z_a-1相同，f_skip(·)为将Z_a-n与Z_a-1在空间维上的合并操作，即Z_a∈R^2B×J；

步骤2.5、构造目标函数：

式(7)中，m_i为回归网络对细胞图像X_i预测的密度图；

步骤3、向式(7)中引入流形正则项Ω(·)，包括以下步骤：

步骤3.1、将密度图m_i与预测密度图m_i划分成子图，操作如下：

式(8)中，

为取子图像操作，hⁱ _p与

分别为从密度图m_i与预测密度图m_i上选取的子图，满足

且

同时

和

其中，p＝1,2,…,P，P为密度图顶点的数量；

步骤3.2、构造图G_i＝{V_i,E_i,W_i}，其中V_i、E_i和

分别定义为图G_i的顶点集、边集与权重集；

表示权重，q＝1,2,…,P；计算子图

与密度图的其他子图的欧氏距离，并由小到大排序，则顶点集由前k个与子图

相邻的自密度图组成；权重

的计算方式如下：

步骤3.3、构造流形正则项Ω(H_i)：

记归一化的图拉普拉斯矩阵为L_i＝D_i ^-1/2(D_i-W_i)D_i ^-1/2，其中D_i是对角矩阵，其对角线上的值为权重集W_i中每一列或每一行的元素之和，将式(10)等价为：

步骤3.4、由式(7)与式(11)，重新构造目标函数为：

式(12)中，λ为预先设定的常数，用于控制流形正则项

对原损失函数

的惩罚强度；

步骤3.5、利用自适应矩估计优化器对回归网络的网络参数进行反向更新；

步骤4、密度图后处理，包括以下步骤：

步骤4.1、计算第i张细胞图像X_i的预测细胞数量C_i：

步骤4.2、将密度图转化为伪彩色图像，对红、绿、蓝三个通道设置一组阈值r，提取阈值限定区域内的像素，将其划分为若干个8连通区域，得到每个连通区域的中心点坐标

即为该细胞的预测定位坐标。

本发明的另一个技术方案是提供了一种上述的基于流形回归网络的细胞定位与计数方法的应用，其特征在于，包括以下步骤：

a)输入细胞图像X_i∈R^B×J，点标签

超参预设值σ、A、D、U、V、k、λ、r，以及迭代次数t；

b)由式(1)计算密度图m_i；

c)若t≠0，则将细胞图像X_i输入网络，由式(2)至式(7)，得到m_i；否则，转至步骤g)；

d)由式(8)获取子图

与

e)由式(12)计算目标函数，并用Adam优化器反向更新网络参数；

f)令t＝t+1，转至步骤c)；

g)由式(13)计算C_i，并计算细胞坐标

输出结果。

本发明的特点在于：

1)本发明提出了一个用于细胞计数和定位的流形正则化回归模型，融合了深度学习和流形学习的优点，利用U-Net作为回归网络的主体，使用点标签生成的密度图m_i作为监督信息。本发明还引入了基于图拉普拉斯矩阵的流形正则项Ω(·)，来提高模型的泛化能力，同时避免过拟合。

2)所述回归网络选取U-Net作为基础结构，其收缩层与扩张层之间的残差连接融合了不同尺度的特征，为上采样层的输出特征补充遗漏信息，保证定位和回归的准确性。

3)所述密度图m_i可以准确描述生物医学图像中复杂的细胞位置以及其空间分布。因此，它只需细胞核的点标签就能对细胞进行计数和定位，而不依赖于精准的人工标注(例如细胞核/膜轮廓)，也不需要额外的检测或分割方法。

4)所述流形正则项Ω(·)用于表示细胞的固有特征，表达细胞的非线性结构。它使本发明具备良好的特征表达能力，对细胞形状和颜色的多样性和复杂性具有鲁棒性，提高了回归精度，增强了网络的泛化能力。

5)得益于流形正则项Ω(·)对损失函数的约束，本发明具有良好的收敛性。

由于采用了上述技术方案，本发明和现有技术相比，具有以下的优点和积极效果：

1)本发明以端到端方式同时进行计数和定位，所使用的密度图能够同时表达细胞的数量与空间分布两种信息。所构造的回归U-Net网络能够结合密度图，通过残差连接将收缩与扩张两个阶段相连接，实现计数和定位的同步。

2)本发明融合了深度学习和流形学习的优点，通过深度学习对图像的多尺度特征进行学习，利用流形正则项描述细胞的局部非线性结构，因此提升模型的鲁棒性，能够有效识别复杂多变的细胞形状和颜色，提高了定位和计数精度，增强了网络的泛化能力。

3)本发明是针对生物或医疗细胞图像计数和定位问题的一个实际解决办法。仅用细胞点标签即能实现计数和定位，不依赖于精准人工标签，有效节省标注成本。在广泛使用的仿真荧光染色细菌图片集以及真实肺鳞状细胞癌切片上进行定位和计数实验，可以验证该模型的可行性、有效性以及收敛性。

附图说明

图1为本发明的流程图；

图2为主干回归网络的结构图；

图3(a)为仿真显微荧光染色细菌图像；图3(b)为真实密度图；图3(c)为本发明MRNet生成的估计密度图；图3(d)为对比算法的估计密度图，该对比算法为使用均方误差(Mean Square Error，MSE)作为损失函数的U-Net，简称为U-Net(MSE)的估计密度图；

图4为本发明MRNet的收敛曲线；

图5(a)为本发明MRNet、对比算法U-Net(MSE)和使用最大子序列差距(Maximum-Excess-over-SubArrays，MESA)作为损失函数的U-Net(MESA)在真实PD-L1染色肺鳞癌病理切片上的细胞计数平均绝对误差(Mean absolute Error，MAE)箱线图；图5(b)为三种算法的MSE箱线图；

图6为本发明MRNet在PD-L1染色肺鳞癌病理切片上的细胞定位结果。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明公开了一种基于流形回归网络的细胞定位和计数方法，包括以下步骤：根据生物医学图像的细胞点标签计算密度图；根据细胞计数和定位任务构造回归网络；基于密度图与估计密度图的子图形态特征构造流形正则项；使用Adam优化器对网络进行优化，直至网络达到稳定收敛。对无标签细胞图像进行预测，根据网络的估计密度图计算细胞数量，获取位置坐标。

本发明具体包括以下步骤：

步骤1、根据细胞图像X_i∈R^B×J的点标签

计算密度图m_i∈R^J，其中，R表示实数集，R的上标表示实数集内向量的维度，N、B、J和J_i分别为细胞图像的数量、维度数、像素数量以及细胞图像中的点标签数量，i表示细胞图像X_i、点标签Y_i或密度图m_i的编号，i＝1,2,…,N。细胞图像X_i一般为真彩图像，故有B＝3。对于点标签

其中

代表Y_i中第j个点的二维坐标。则密度图m_i构造为：

式(1)中，

为密度图m_i的元素，j＝1,2,…,J，

为均值为

的归一化二维高斯核，σ为各向同性协方差矩阵，1_2×2为单位矩阵。

步骤2、构建回归网络，包含卷积层、池化层、上采样层以及跳跃连接层，共A层。令

为回归网络中某一层的输出特征，其中，a＝1,2,…,A是网络的层数，D为当前层特征的通道数，E是每张特征图的像素数量，

为第a层特征图中的第d个通道上的第e个像素，d＝1,2,…,D，e＝1,2,…,E。

回归网络的构造包括以下步骤：

步骤2.1、构造用于特征提取的卷积层，其输出特征Z_a计算为：

式(2)中，

为第a-1层的输出特征值，U和V分别为滤波器的长和宽，f_active(·)为激活函数，这里采用线性整流函数(Rectified Linear Unit，ReLU)：

步骤2.2、构造用于减少数据空间大小的降采样层，其输出特征Z_a为：

式(4)中，f_pool(·)为最大池化操作；

步骤2.3、构造用于恢复图像大小的上采样层，其输出特征Z_a为：

式(5)中，f_upsample(·)为上采样操作；

步骤2.4、构造补充高分辨率信息的残差连接层，其输出特征Z_a为：

Z_a＝f_skip(f_upsample(Z_a-1),Z_a-n) (6)

式(6)中，Z_a-n为池化层输入，其长、宽和维度数与Z_a-1相同，f_skip(·)为将Z_a-n与Z_a-1在空间维上的合并操作，即Z_a∈R^2B×J；

步骤2.5、构造目标函数：

式(7)中，m_i为回归网络对细胞图像X_i预测的密度图。

步骤3、向式(7)中引入流形正则项Ω(·)，包括以下步骤：

步骤3.1、将密度图m_i与预测密度图m_i划分成子图，操作如下：

式(8)中，

为取子图像操作，hⁱ _p与

分别为从密度图m_i与预测密度图m_i上选取的子图，满足

且

同时

和

其中，p＝1,2,…,P，P为密度图顶点的数量；

步骤3.2、构造图G_i＝{V_i,E_i,W_i}，其中V_i、E_i和

分别定义为图G_i的顶点集、边集与权重集；

表示权重，q＝1,2,…,P。计算子图

与密度图的其他子图的欧氏距离，并由小到大排序，则顶点集由前k个与子图

相邻的自密度图组成。权重

的计算方式如下：

步骤3.3、构造流形正则项Ω(H_i)：

记归一化的图拉普拉斯矩阵为L_i＝D_i ^-1/2(D_i-W_i)D_i ^-1/2，其中D_i是对角矩阵，其对角线上的值为权重集W_i中每一列或每一行的元素之和。将式(10)等价为：

步骤3.4、由式(7)与式(11)，重新构造目标函数为：

式(12)中，λ为预先设定的常数，用于控制流形正则项

对原损失函数

的惩罚强度；

步骤3.5、利用自适应矩估计(Adaptive Moment Estimation，Adam)优化器对回归网络的网络参数进行反向更新。

步骤4、密度图后处理，包括以下步骤：

步骤4.1、计算第i张细胞图像X_i的预测细胞数量C_i：

步骤4.2、将密度图转化为伪彩色图像，对红、绿、蓝三个通道设置一组阈值r，提取阈值限定区域内的像素，将其划分为若干个8连通区域，得到每个连通区域的中心点坐标

即为该细胞的预测定位坐标。

综上，将本发明所实现的算法记为流形回归网络(Manifold-ConstrainedRegression Network，MRNet)，其具体步骤归纳如下：

a)输入细胞图像X_i∈R^B×J，点标签

超参预设值σ、A、D、U、V、k、λ、r，以及迭代次数t；

b)由式(1)计算密度图m_i；

c)若t≠0，则将细胞图像X_i输入网络，由式(2)至式(7)，得到m_i；否则，转至步骤g)；

d)由式(8)获取子图

与

e)由式(12)计算目标函数，并用Adam优化器反向更新网络参数；

f)令t＝t+1，转至步骤c)；

g)由式(13)计算C_i，并计算细胞坐标

输出结果。

仿真荧光染色细菌图像实验

仿真荧光染色细菌图像由使用MATLAB环境下的SIMCEP软件包生成。每张图像的大小为256×256，包含171±64个细胞，其中171为细胞数量的平均值，64为方差。从前100张图像中随机选取若干图像作为训练集，将剩余的样本作为验证集，最后100张图像作为测试集。图3(a)中为仿真荧光染色细菌图像示例。

本发明MRNet使用的主干回归网络结构由图2描述，主要参数设置如下：σ＝3，k＝8，λ＝0.1，迭代次数t＝100。所有算法运行的硬件环境为Intel(R)Xeon(R)E3 CPU 3.00GHz(四核)32GB内存，软件平台为Windows 7，MATLAB R2016b，Spyder3.2.4，采用Pytorch编程实现。

实验1细胞定位与计数效果的验证

算法效果的评价主要包括以下两种方式：(a)计算真实密度图与估计密度图的MAE；(b)直观比较真实密度图与估计密度图的可视化结果。

利用图3(a)的仿真显微荧光染色细胞图像，改变训练样本数量(N)，在每种训练条件下进行多次独立实验，分别考察本发明MRNet以及先进的对比算法U-Net(MSE)、基于密度图与MESA损失的Dens+MESA算法、基于流形假设的M-VOC算法、基于径向基函数(RadialBasis Function，RBF)的KM-VOC(RBF)算法的平均绝对误差，如表1所示。可知，本发明MRNet在大多数情况下能够超越现有的先进算法，其计数标准差较小，说明MRNet具备良好的稳定性。

然后，分别通过实验考察真实密度图、使用均方误差作为损失函数的回归U-Net算法U-Net(MSE)的估计密度图，以及本发明MRNet的估计密度图。图3(c)中绘制了MRNet的估计密度图，其中显示出更清晰的目标密度轮廓，而U-Net(MSE)的估计密度面积通常大于真实密度图。

表1各算法在仿真荧光染色细菌图像的计数指标(平均绝对误差及标准差)

实验2算法收敛性的验证

图4展示本发明MRNet具有良好的收敛速度。该网络在第40次迭代时开始收敛，在第70次迭代时趋于稳定。

PD-L1染色肺鳞癌病理切片实验

本实验所用PD-L1染色肺鳞癌病理图片大小为1000×1000，共114张，从20张全切片上裁剪下来，扫描仪为KF-PRO-120，分辨率为0.2481μm/pixel，放大倍率为40倍。每张图片包含23-647个肿瘤细胞。图6给出了4例样本。实验选取80％的图片为训练样本，将其余图片做为测试样本。在生成密度图过程中，取σ＝4，本实验其余设置同荧光染色细菌图像实 验。

实验1细胞计数效果的验证

算法效果的评价主要包括以下三种方式：(a)计算真实密度图与估计密度图之间的MAE；(b)计算真实密度图与估计密度图之间的MRE；(c)直观比较真实细胞定位结果与预测细胞定位结果。

图5(a)考查了U-Net(MSE)、U-Net(MESA)以及本发明MRNet的平均绝对误差。图5(b)考查了这三种算法的平均相对误差。结果表明，引入了基于子图的拉普拉斯流形正则项的MRNet算法能够获得较高的计数精度，优于使用MSE与MESA作为损失函数的UNet算法。

实验2细胞定位效果的验证

图6考查了本发明的MRNet方法在PD-L1染色肺鳞癌病理切片上的定位结果，并证实本发明在进行计数的同时能够提供较为精确的定位信息，是一种实用且高效的方法。

Claims (2)

1.一种基于流形回归网络的细胞定位与计数方法，其特征在于，包括以下步骤：

步骤1、根据细胞图像X_i∈R^B×J的点标签

计算密度图m_i∈R^J，其中，R表示实数集，R的上标表示实数集内向量的维度，N、B、J和J_i分别为细胞图像的数量、维度数、像素数量以及细胞图像中的点标签数量，i表示细胞图像X_i、点标签Y_i或密度图m_i的编号，

对于点标签

代表Y_i中第j个点的二维坐标，则密度图m_i构造为：

式(1)中，

为密度图m_i的元素，j＝1,2,…,J，

为均值为

的归一化二维高斯核，σ为各向同性协方差矩阵，1_2×2为单位矩阵；

步骤2、构建回归网络，包含卷积层、池化层、上采样层以及跳跃连接层，共A层；

令

为回归网络中某一层的输出特征，其中，a＝1,2,…,A是网络的层数，D为当前层特征的通道数，E是每张特征图的像素数量，

为第a层特征图中的第d个通道上的第e个像素，d＝1,2,…,D，e＝1,2,…,E，则回归网络的构造包括以下步骤：

步骤2.1、构造用于特征提取的卷积层，其输出特征Z_a计算为：

式(2)中，

为第a-1层的输出特征值，U和V分别为滤波器的长和宽，f_active(·)为激活函数，激活函数采用线性整流函数：

步骤2.2、构造用于减少数据空间大小的降采样层，其输出特征Z_a为：

式(4)中，f_pool(·)为最大池化操作；

步骤2.3、构造用于恢复图像大小的上采样层，其输出特征Z_a为：

式(5)中，f_upsample(·)为上采样操作；

步骤2.4、构造补充高分辨率信息的残差连接层，其输出特征Z_a为：

Z_a＝f_skip(f_upsample(Z_a-1),Z_a-n) (6)

式(6)中，Z_a-n为池化层输入，其长、宽和维度数与Z_a-1相同，f_skip(·)为将Z_a-n与Z_a-1在空间维上的合并操作，即Z_a∈R^2B×J；

步骤2.5、构造目标函数：

式(7)中，m_i为回归网络对细胞图像X_i预测的密度图；

步骤3、向式(7)中引入流形正则项Ω(·)，包括以下步骤：

步骤3.1、将密度图m_i与预测密度图m_i划分成子图，操作如下：

式(8)中，

为取子图像操作，

与

分别为从密度图m_i与预测密度图m_i上选取的子图，满足

且

同时

和

其中，p＝1,2,…,P，P为密度图顶点的数量；

步骤3.2、构造图G_i＝{V_i,E_i,W_i}，其中V_i、E_i和

分别定义为图G_i的顶点集、边集与权重集；

表示权重，q＝1,2,…,P；计算子图

与密度图的其他子图的欧氏距离，并由小到大排序，则顶点集由前k个与子图

相邻的自密度图组成；权重

的计算方式如下：

步骤3.3、构造流形正则项Ω(H_i)：

记归一化的图拉普拉斯矩阵为L_i＝D_i ^-1/2(D_i-W_i)D_i ^-1/2，其中D_i是对角矩阵，其对角线上的值为权重集W_i中每一列或每一行的元素之和，将式(10)等价为：

步骤3.4、由式(7)与式(11)，重新构造目标函数为：

式(12)中，λ为预先设定的常数，用于控制流形正则项

对原损失函数

的惩罚强度；

步骤3.5、利用自适应矩估计优化器对回归网络的网络参数进行反向更新；

步骤4、密度图后处理，包括以下步骤：

步骤4.1、计算第i张细胞图像X_i的预测细胞数量C_i：

步骤4.2、将密度图转化为伪彩色图像，对红、绿、蓝三个通道设置一组阈值r，提取阈值限定区域内的像素，将其划分为若干个8连通区域，得到每个连通区域的中心点坐标

即为该细胞的预测定位坐标。

2.一种如权利要求1所述的基于流形回归网络的细胞定位与计数方法的应用，其特征在于，包括以下步骤：

a)输入细胞图像X_i∈R^B×J，点标签

超参预设值σ、A、D、U、V、k、λ、r，以及迭代次数t；

b)由式(1)计算密度图m_i；

c)若t≠0，则将细胞图像X_i输入网络，由式(2)至式(7)，得到m_i；否则，转至步骤g)；

d)由式(8)获取子图

与

e)由式(12)计算目标函数，并用Adam优化器反向更新网络参数；

f)令t＝t+1，转至步骤c)；

g)由式(13)计算C_i，并计算细胞坐标

输出结果。

Images