CN113610760B - 一种基于u型残差神经网络的细胞图像分割示踪方法 - Google Patents
一种基于u型残差神经网络的细胞图像分割示踪方法 Download PDFInfo
- Publication number
- CN113610760B CN113610760B CN202110757699.6A CN202110757699A CN113610760B CN 113610760 B CN113610760 B CN 113610760B CN 202110757699 A CN202110757699 A CN 202110757699A CN 113610760 B CN113610760 B CN 113610760B
- Authority
- CN
- China
- Prior art keywords
- cell
- image
- segmentation
- vector
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 34
- 238000003709 image segmentation Methods 0.000 title claims abstract description 18
- 210000004027 cell Anatomy 0.000 claims abstract description 191
- 239000013598 vector Substances 0.000 claims abstract description 96
- 230000011218 segmentation Effects 0.000 claims abstract description 44
- 230000033001 locomotion Effects 0.000 claims abstract description 29
- 210000003855 cell nucleus Anatomy 0.000 claims abstract description 16
- 230000032823 cell division Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012805 post-processing Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 19
- 230000009087 cell motility Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 10
- 230000001413 cellular effect Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 230000007935 neutral effect Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000002372 labelling Methods 0.000 abstract description 2
- 230000024245 cell differentiation Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 230000000877 morphologic effect Effects 0.000 description 10
- 238000005457 optimization Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000012098 association analyses Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 4
- 238000005260 corrosion Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005530 etching Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001007 puffing effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006740 morphological transformation Effects 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明公开了一种基于U型残差神经网络的细胞图像分割示踪方法，该方法包括以下步骤：细胞图像的预处理，根据细胞数据集记录细胞核位置；移动位置向量生成，标记细胞图像中的细胞核位置与时序性变化趋势；细胞图像分割与移动位置向量预测，对细胞图像与移动位置向量同时进行特征提取与预测；移动位置向量的后处理，减少过预测位置，为未检测到位置插值；细胞寻迹分割结果，对分割结果与预测位置使用分水岭算法，得到最终结果。本发明的细胞图像示踪方法，提供了一种高效易用的分割方式，实现了对细胞图像在时间序列上的精确寻迹，同时提高了细胞分割的能力，缩减了对连续帧细胞手工标注的时间，有助于生物学中对细胞分裂分化过程中的整体观测。
Description
技术领域
本发明属于图像处理和计算机视觉技术领域，具体为一种基于U型残差神经网络的细胞图像分割示踪方法。
背景技术
随着显微细胞图像识别在医学图像处理领域的不断发展，医学细胞图像处理方法的研究能够有效找出病理原因，便于对症下药以及研发特效药。与此同时细胞图像分割作为医学细胞图像分析和处理的关键技术，也是机器视觉的重要一环。
随着图片处理技术与计算机视觉技术的提高，细胞分割精确度不断提高，在识别出细胞轮廓并分割的基础之上，科学研究中对于多细胞场景下的识别定位提出了新的要求。细胞位置在显微镜内观察会不断变化而难以界定并标注，因此根据细胞位置在图像上的变化可以捕捉并定位到具体细胞，这在生物医学的研究中有着重要意义。
现有技术中，主要的细胞图像分割示踪方法将细胞示踪分为细胞分割、谱系分析和掩膜示踪三个步骤。细胞的分割主要是基于分水岭分割、阈值分析以及模糊理论来进行区域划分；谱系分析主要有基于距离的分析方法、基于连通分量的分析方法和基于K近邻的方法；掩膜示踪主要是在细胞分割的基础上进行的方法，主要有基于分水岭算法的掩膜示踪、基于边缘检测的掩膜示踪和基于神经网络的掩膜示踪。然而对于细胞存在重叠和粘连的情况时，用基于阈值分析的分割方法很容易导致混乱的细胞分割结果；并且对于细胞的谱系分析过程，对于细胞图像要求很高，难以做到普适性的分析过程，而且要求细胞定位精确，否则将最终示踪结果不理想。
因此，与现有技术相比，本发明的细胞图像分割示踪虽然同样使用了基于U型残差神经网络的算法，但在此基础上还进行形态学处理，再结合基于细胞核位置的估计算法；并且，与传统细胞分割示踪步骤不同的是，本发明同时进行了细胞的示踪与分割过程，并根据细胞核估计点位置对细胞图像进行了分割优化；最后，本发明对细胞掩膜分割同样用了卷积神经网络U-Net++，意在提取掩膜特征，并结合与之同步生成的位置距离图并结合时序算法对细胞图像进行分割与寻迹。
发明内容
发明目的：为了克服现有技术存在的缺点与不足，本发明提供一种基于U型残差神经网络的细胞分割示踪方法。本发明解决了细胞重叠与粘连情况下分割准确率低的问题，也对细胞分裂、细胞消失出现事件进行了高精度追踪，同时提高了细胞示踪的计算效率，本发明对细胞图像移动的位置向量进行滤波并分析，从而避免了人工标注的不确定性，同时对多种细胞分割示踪有很高的准确率。
技术方案：为实现本发明的目的，本发明采用的技术方案是：一种基于U型残差神经网络的细胞分割示踪方法，包括以下步骤：
步骤1：对获取的细胞图像进行预处理，降低噪声干扰；
步骤2：根据细胞图像与给定的对应人工注释，生成细胞移动位置向量，然后进行图像增强，并联系连续两帧细胞图像，对后一帧细胞中心位置使用高斯滤波对标记点进行扩散处理；
步骤3：细胞分割与向量预测，首先将连续两帧原图像进行拼接，作为U型卷积神经网络的输入，输出的结果作为细胞分割的结果，并在步骤2所述的移动位置向量的基础上继续使用U型卷积神经网络提取特征并输出移动位置向量的结果，通过加入残差层以保留在特征提取与分离过程中的图像细节；
步骤4：细胞分割示踪后处理，在步骤3的基础上对预测的移动位置向量进行处理，将分割结果进行去噪处理并二值化，以移动位置向量的各个峰值作为实际细胞位置标签，执行分水岭算法生成最终的示踪细胞图像。
进一步，步骤1中细胞图像预处理是首先将获取的细胞图像通过形态变换统一尺寸，之后对变换后的图片灰度化处理，即灰度变换与灰度拉伸。
原图像的像素参差不齐，对于图像分割而言，像素过高往往会一定程度上影响图像处理速度，而尺寸不统一的情况下在进行U型神经网络预测过程时可能导致意外错误的发生。因此，首先要对图像的尺寸进行统一，提高系统响应的速度，使系统的实时性更好。
进一步，步骤2中对移动位置向量的生成，具体步骤如下：
S1:使用高斯滤波器对人工标注点的位置进行模糊化处理，再将相关联的前后两帧的对应点以移动向量的方式进行表示；
S2:对S1所述细胞移动位置向量进行标准化处理，消除因距离尺度不同而导致的向量长度不一问题；
S3:将上述S2的移动位置向量集合中取与上一帧位置点目标函数值最大的点作为最终该位置点的移动向量的值。
进一步，所述步骤S1中细胞核位置模糊化处理，原理如下所示：
其中表示在第t帧图像上的第i个细胞核的中心位置，σ为一个超参数，表示高斯分布的标准差，用于控制峰值点向周围的扩散程度。
进一步，所述步骤S2中细胞移动向量的标准化处理，原理如下所示：
其中即细胞i在时间窗口t-1到t时刻的移动向量，除以移动向量的二范式可以得到标准化向量，在此基础上乘以步骤S1所述的高斯分布处理过后的细胞核位置似然图，得到移动位置的估计向量。
进一步，所述步骤S3中移动向量的取值，原理如下所示：
其中表示为标准化后长度最大的移动向量所表示的点，在该点处所表示的由第t-1帧到第t帧图像中的移动位置向量。
进一步，步骤2中对细胞图像的拼接与图像增强处理，具体步骤如下：
S21:使用高斯滤波器对细胞图像中存在的图像噪声进行去除，平滑细胞图像；
S22:将上述S21的细胞图像进行形态学处理；
S23:对S22所述图像进行拼接操作。
其中有一个重要的基本概念叫做结构元素，结构元素在变换中相当于是信号处理中的“滤波窗口”。用代表结构元素对工作区间E中的每一点x，腐蚀和膨胀的定义为：
腐蚀：
用B(x)对E进行腐蚀，结果就是把结构元素B平移，使B包含于E的所有点构成的集合。
膨胀：
用B(x)对E进行膨胀，结果就是把结构元素B平移，使B与E的交集中非空的点构成的集合。
本发明的形态化操作就是形态学处理的开运算，即先腐蚀(断开明显粘连位置)后膨化。将原有图像中存在的细微噪声进行去除，并在一定程度上平滑边界，对明显非单个细胞区域进行断开处理。
进一步，步骤3中的细胞分割与向量预测，具体步骤如下：
S31:使用U型残差神经网络提取连续两帧图像的特征，并给出细胞分割结果；
S32:将S31所述的细胞分割掩膜作为U型神经网络的输入，提取其中对特征进行训练并给出预测的移动位置向量结果。
进一步，所述步骤S31中，使用U型残差神经网络输出分割结果，具体如下：
本发明在U型神经网络的基础上进行了改进，为了使图像分割结果更加精细，突出原始图像的细节信息，在此使用了残差函数用于拟合网络中的恒等映射函数，引入残差后的特征映射对网络的输出变化更加敏感，保留编码部分中不同网络层因卷积操作所丢失的信息，在重新学习补充的信息时也并无新增参数与操作，性能较之U型神经网络有很大提升。所述网络结构由8层构成，主要包含卷积层和池化层，所述残差跳跃连接结构分别位于各层网络在降采样过程中，与对应上采样层进行连接。在降采样过程中D1层特征拼接至U1层，增加了64个特征平面；D2层特征拼接至U2层，增加了128个特征平面；D3层特征拼接至U3层，增加了256个特征平面；D4层特征拼接至U4层，增加了512个特征平面。
进一步，所述步骤S31中利用U型残差网络提取连续图像帧特征，方法如下：
首先进行前向计算，每个神经元中能够得出相应的输出值，之后计算每个神经元输出值与实际给定值的误差项，通过计算误差来构造出神经网络的损失函数，从而确定优化目标函数。根据损失函数的梯度下降规则更新网络的权值参数。重复上诉步骤直至网络误差小于给定值或达到预设的网络训练次数。
进一步，所述步骤S32中，使用细胞分割结果进行移动位置向量预测，具体方法为：
作为U型网络结构，在移动位置向量预测的过程中需要对已获得的连续两帧细胞分割掩码进行拼接处理，将拼接后的图像作为移动位置向量预测网络的输入，通过神经网络对距离图向量进行计算并作出关联分析预测。由于移动位置向量是在一个未指定范围内的高斯分布函数，在很大程度上避免了模型过分依赖原始训练集中人为标定细胞图像中心点的问题，一定程度上增强了细胞示踪技术的鲁棒性。
进一步，所述步骤S32中，对于移动位置向量预测误差使用了均方误差(MeanSquared Error,MSE)计算方法，输入的连续两帧图像作为双通道输入，移动位置向量作为三通道输出，误差计算公式如下所示：
其中是c与/>向量间的平方误差，/>是c与/>间的数值平方误差，本发明使用如此误差计算公式，旨在提升神经网络训练的收敛速度与训练模型的稳定性。
进一步，步骤4中对细胞追踪的后处理，具体步骤如下:
S41：通过移动位置向量进行解码还原为细胞图像具体位置；
S42:对S41所述的细胞关联标记进行处理；
S43:对S42所述分类后的细胞图像事件，设置规则策略优化关联分析。
进一步，所述步骤S41中，通过预测的移动位置向量对细胞图像进行关联标记，具体如下：
对预测出的移动位置向量，其形式为一张与原细胞图像大小相同的数字矩阵。对移动位置向量进行点迹还原获得细胞移动的轨迹点，通过设置恰当的阈值，筛选出符合预测结果的细胞轨迹点，在第t帧图像上的第i号细胞位置为
在时的预测移动位置向量为/>因此，移动向量点迹还原用公式表达如下所示：
通过上述公式(7)所得的细胞估计位置，计算该细胞位置在一定范围内与实际位置中距离最小的细胞，则将两个细胞位置进行关联。
进一步，所述步骤S42中，对细胞关联标记进行处理，具体如下：
在上述步骤S41中，为了完整的对细胞生命周期进行示踪，需要对细胞可能存在的分裂事件进行检测，因此得到的细胞位置估计是从后向前的，其中可能存在多个细胞位置与前一帧中的某个相同位置进行关联。对于得到的细胞关联标记事件，将存在多个关联标记的细胞记录并标记为细胞分裂事件，将连续两帧中前一帧不出现细胞位置向量的位置列为细胞出现事件，将连续两帧中后一帧不出现的细胞位置向量列为细胞消失事件。
进一步，所述步骤S43中，设置规则策略优化关联分析，具体如下：
细胞移动位置向量产生的过程中存在部分向量丢失的问题，对最终的细胞事件生成有较大影响，严重影响到示踪结果。对此本发明使用了基于时间窗口的事件检测矫正方法，在预设的一段事件窗口内，相近位置的细胞产生不同情况的事件时进行校验并完成插值补全。例如，在第t帧检测到细胞产生了分裂事件，第t+1帧仅存在一个细胞，但在t+2帧时再次出现两个细胞，激活多次细胞分裂事件而导致误跟踪，此时会对第t+1帧细胞图像进行双线性插值补全其中的点迹。双线性插值的公式表达如下所示：
其中，R1＝(x,y1)，R2＝(x,y2)，Q11，Q12，Q21，Q22分别为检测到的细胞在帧间的位置。
有益效果：与现有技术相比，本发明的细胞图像分割示踪技术方案具有以下有益技术效果：
(1)本发明采用的细胞分割示踪方法，尽管同样使用了分水岭算法，但在网络输入前后对图像进行了形态学处理，并结合细胞生命周期中的分裂理论，有效地提高了细胞分割与细胞示踪的准确率。
(2)本发明对细胞进行示踪过程加入了对移动位置向量的编码过程，将细胞移动的整个过程以向量图的形式作为特征输入，便于对模型的训练，也在很大程度上提升了模型的准确性与鲁棒性。
(3)本发明在对细胞图像的分割与示踪过程中是同步且统一的，无需分为先分割后示踪两个步骤，减少了分步运算过程中的不协同问题。
(4)本发明对细胞分割过程虽然同样使用了U型神经网络，但增加了残差模块，增强了所提取图像特征的边缘特征，并结合后处理过程对细胞图像运动轨迹的补充识别，确保细胞分割与示踪的高准确率。
附图说明
图1是本发明实施例的算法流程图。
图2是本发明实施例涉及的细胞分割过程流程示意图。
图3是本发明实施例涉及的细胞示踪流程示意图。
图4是本发明实施例涉及的细胞示踪后处理示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于U型残差神经网络的细胞图像分割示踪方法，如图1所示，包括以下步骤：
101、对获取的细胞图像进行预处理，降低噪声干扰；
102、根据细胞核在帧间移动位置生成移动位置向量，再使用边缘检测以及形态学处理进行细胞图像增强；
103、将步骤102所述的细胞图像作为U型神经网络输入，提取细胞掩膜特征并根据掩膜特征对移动位置向量进行预测；
104、使用细胞移动位置向量的预测结果对细胞位置进行定位，参考细胞移动位置对细胞变化事件进行分类；
105、根据细胞分类事件提升细胞寻迹效果，结合细胞掩膜特征执行分水岭分割算法实现细胞有标识地分割。
步骤101中细胞图像预处理方法如下：
首先将获取的细胞图像变换成统一尺寸128*128，并对变换后的图片灰度化处理，即灰度变换与灰度拉伸。
步骤102中所述移动位置向量生成与图像增强，具体步骤如下：
201、使用高斯滤波器对人工标注点的位置进行模糊化处理，再将相关联的前后两帧的对应点以移动向量的方式进行表示；
202、使上述201所述细胞移动位置向量进行标准化处理，消除因距离尺度不同而导致的向量长度不一问题；
203、对201所述细胞图像区域进行形态学处理。
步骤201中细胞核位置模糊化处理计算公式如下所示：
其中表示在第t帧图像上的第i个细胞核的中心位置，σ为一个超参数，表示高斯分布的标准差，用于控制峰值点向周围的扩散程度。
步骤202中细胞移动位置向量的标准化处理，具体公式如下所示：
其中即细胞i在时间窗口t-1到t时刻的移动向量，除以移动向量的二范式可以得到标准化向量，在此基础上乘以步骤S1所述的高斯分布处理过后的细胞核位置似然图，得到移动位置的估计向量。可由上述得到的移动位置估计向量计算出置信度最高的移动位置向量，具体公式如下所示：
其中表示为标准化后长度最大的移动向量所表示的点，在该点处所表示的由第t-1帧到第t帧图像中的移动位置向量。
步骤203中对细胞图像进行形态学处理具体方法如下：
用代表结构元素对工作区间E中的每一点x，腐蚀和膨胀的定义如下：
腐蚀：
用B(x)对E进行腐蚀，结果就是把结构元素B平移，使B包含于E的所有点构成的集合。
膨胀：
用B(x)对E进行膨胀，结果就是把结构元素B平移，使B与E的交集中非空的点构成的集合。
本发明的形态化操作就是形态学处理的开运算，即先腐蚀(断开明显粘连位置)后膨化。将原有图像中存在的细微噪声进行去除，并在一定程度上平滑边界，对明显非单个细胞区域进行断开处理。
步骤103所述的细胞分割与向量预测，具体步骤如下：
301、使用U型残差神经网络提取连续两帧图像的特征，并给出细胞分割结果；
302、将步骤301所述的细胞分割掩膜作为U型神经网络的输入，提取其中对特征进行训练并给出预测的移动位置向量结果；
303、设置均方误差训练网络，通过最小化误差对网络参数特征进行拟合。
步骤301所述使用U型残差神经网络输出结果，具体特征如下：
对U型神经网络的基础上进行了改进，为了使图像分割结果更加精细，突出原始图像的细节信息，在此使用了残差函数用于拟合网络中的恒等映射函数，引入残差后的特征映射对网络的输出变化更加敏感，保留编码部分中不同网络层因卷积操作所丢失的信息，在重新学习补充的信息时也并无新增参数与操作，性能较之U型神经网络有很大提升。所述网络结构由8层构成，主要包含卷积层和池化层，所述残差跳跃连接结构分别位于各层网络在降采样过程中，与对应上采样层进行连接。在降采样过程中D1层特征拼接至U1层，增加了64个特征平面；D2层特征拼接至U2层，增加了128个特征平面；D3层特征拼接至U3层，增加了256个特征平面；D4层特征拼接至U4层，增加了512个特征平面。
步骤302所述移动位置向量预测，具体方法如下：
在移动位置向量预测的过程中需要对已获得的连续两帧细胞分割掩码进行拼接处理，将拼接后的图像作为移动位置向量预测网络的输入，通过神经网络对距离图向量进行计算并作出关联分析预测。
步骤303所述误差计算使用了均方误差(Mean Squared Error,MSE)计算方法，输入的连续两帧图像作为双通道输入，移动位置向量作为三通道输出，具体公式如下所示：
其中是c与/>向量间的平方误差，/>是c与/>间的数值平方误差，本发明使用如此误差计算公式，旨在提升神经网络训练的收敛速度与训练模型的稳定性。
步骤104所述对细胞追踪的后处理，具体步骤如下:
401、通过移动位置向量进行解码还原为细胞图像具体位置；
402、对步骤401所述细胞图像位置进行关联标记，并对关联标记进行事件分类；
403、对步骤402所述细胞图像事件，设置规则策略优化关联分析。
步骤401中，对预测的移动位置向量进行解码，具体如下：
对预测出的移动位置向量，其形式为一张与原细胞图像大小相同的数字矩阵。对移动位置向量进行点迹还原获得细胞移动的轨迹点，通过设置恰当的阈值，筛选出符合预测结果的细胞轨迹点，在第t帧图像上的第i号细胞位置为
在时的预测移动位置向量为/>因此，移动向量点迹还原用公式表达如下所示：
通过上述公式(7)所得的细胞估计位置，计算该细胞位置在一定范围内与实际位置中距离最小的细胞，则将两个细胞位置进行关联。
步骤402中对细胞关联标记进行处理分类，方法如下：
对细胞可能存在的分裂事件进行检测，因此得到的细胞位置估计是从后向前的，其中可能存在多个细胞位置与前一帧中的某个相同位置进行关联。对于得到的细胞关联标记事件，将存在多个关联标记的细胞记录并标记为细胞分裂事件，将连续两帧中前一帧不出现细胞位置向量的位置列为细胞出现事件，将连续两帧中后一帧不出现的细胞位置向量列为细胞消失事件。
步骤403中对细胞事件设置规则策略优化关联分析，具体如下：
细胞移动位置向量产生的过程中存在部分向量丢失的问题，对最终的细胞事件生成有较大影响，严重影响到示踪结果。对此本发明使用了基于时间窗口的事件检测矫正方法，在预设的一段事件窗口内，相近位置的细胞产生不同情况的事件时进行校验并完成插值补全。例如，在第t帧检测到细胞产生了分裂事件，第t+1帧仅存在一个细胞，但在t+2帧时再次出现两个细胞，激活多次细胞分裂事件而导致误跟踪，此时会对第t+1帧细胞图像进行双线性插值补全其中的点迹。双线性插值的公式表达如下所示：
其中，R1＝(x,y1)，R2＝(x,y2)，Q11，Q12，Q21，Q22分别为检测到的细胞在帧间的位置。
显然，所述的实施例仅仅是本发明一部分的实施例，而不是全部的实施列。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实例，都属于本发明的保护的范围。
Claims (5)
1.一种基于U型残差神经网络的细胞图像分割示踪方法，其特征在于：该方法包括以下步骤：
步骤1：对获取的细胞切片图像进行预处理，获取各个细胞核在细胞图像中的位置；
步骤2：根据步骤1所得到的细胞图像以及细胞核位置生成移动位置向量，将向量与连续两帧的细胞图像对应并进行图像增强；
步骤3：将步骤2所述的细胞图像作为网络的输入，使用U型残差神经网络对移动位置特征向量与细胞分割掩膜进行提取；
步骤4：在步骤3的基础上，对预测的移动位置向量进行后处理，去除过量的新位置点并插值未预测到的位置点；
步骤5：根据步骤4得到的细胞预测轨迹，结合分割掩膜，执行分水岭算法能够得到细胞寻迹分割结果；
所述步骤2为移动位置向量生成，包括：
S1:将细胞图像连续两帧中细胞核的位置点一一对应，将人工标注的细胞核位置作为中心点逐沿递减；
S2:根据细胞核估计位置与细胞移动的位置标量得到细胞运动的估计向量，并由此得到最终的细胞移动位置向量；
步骤S1所述的细胞核位置点处理，使用了基于高斯分布的逐沿递减方法，使接近中心点位置的数值高，远离中心点位置的数值低，所述高斯分布如下公式所示：
上式中pt表示在时间窗口为t时所有细胞的细胞核位置，σ为高斯分布的一个超参数，用来控制中心点峰值向两边的扩展，表示在时间窗口为t时第i个细胞的细胞核位置；
步骤S2所述的细胞运动的估计向量，如下公式所示：
上式中即细胞i在时间窗口t-1到t时刻的移动向量，通过乘以高斯分布处理过后的细胞核位置似然图，得到移动位置的估计向量；
步骤5利用细胞核轨迹与细胞掩膜进行分割，方法如下：
使用分水岭算法，细胞核轨迹生成的点迹作为算法中的分类标记，掩膜作为算法中的分割背景，结合细胞原图像进行分割，最终得到完整的寻迹结果并生成细胞图像一一对应的分割结果。
2.根据权利要求1所述的一种基于U型残差神经网络的细胞图像分割示踪方法，其特征在于，所述步骤1对获取的细胞切片图像预处理，包括：
将获取的细胞切片图像变换成统一尺寸，对变换后的图片灰度化处理，即灰度变换与灰度拉伸。
3.根据权利要求1所述的一种基于U型残差神经网络的细胞图像分割示踪方法，其特征在于，所述步骤3为对细胞图像分割以及移动位置向量的预测，具体内容如下：
首先利用深度卷积神经网络提取细胞连续两帧图像的特征，对特征的提取采用了经典的U-Net网络，U-Net网络采用了U型对称结构，由4个卷积层和4个上采样层组合，每层都包含训练参数，为了更全面地提取到图像特征，每个卷积层提取到的特征将与对应上采样层所获得的特征进行拼接；其次对特征序列化，利用U型残差神经网络对输入序列进行深度特征提取编码并解码，输出细胞掩膜分割图像与预测出的细胞移动位置向量。
4.根据权利要求1所述的一种基于U型残差神经网络的细胞图像分割示踪方法，其特征在于：所述步骤4为移动位置向量后处理，具体内容如下：
后处理过程针对于在进行移动位置向量预测过程中存在的部分预测失误结果而设置，在细胞寻迹过程中需要注意细胞分裂事件，分裂出的两个细胞与上一帧图像中的同一细胞相关联，此时需要对这两个细胞进行重新编号并记录其父细胞的位置状态；对于新进入图像中的细胞，一方面为之前图层未拍摄到的细胞，直接作为新编号细胞，另一方面由于前几帧图像中的移动位置向量预测结果未超过自定义阈值而导致的未捕获细胞，此时需要与前多帧图片进行返回查找确认是否存在中途缺失的情况。
5.根据权利要求3所述的一种基于U型残差神经网络的细胞图像分割示踪方法，其特征在于：利用U型残差神经网络将提取特征序列化，方法如下：
首先前向计算每个神经元的输出值；之后计算每个神经元的误差项值，借此构造出损失函数，从而确定优化目标函数；根据损失函数的梯度指引更新网络权值参数；重复上述步骤直至网络误差小于给定值；
误差通过反向传播生成，包括两个层面：一个是空间上层面的，将误差项向网络的上一层传播；另一个是时间层面上的，沿时间方向传播，即从当前t时刻开始，计算每个时刻的误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110757699.6A CN113610760B (zh) | 2021-07-05 | 2021-07-05 | 一种基于u型残差神经网络的细胞图像分割示踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110757699.6A CN113610760B (zh) | 2021-07-05 | 2021-07-05 | 一种基于u型残差神经网络的细胞图像分割示踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610760A CN113610760A (zh) | 2021-11-05 |
| CN113610760B true CN113610760B (zh) | 2024-03-12 |
Family
ID=78337291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110757699.6A Active CN113610760B (zh) | 2021-07-05 | 2021-07-05 | 一种基于u型残差神经网络的细胞图像分割示踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610760B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862877B (zh) * | 2022-05-27 | 2024-03-22 | 四川大学华西医院 | 基于置信度评分的细胞粘连分割方法和装置 |
| CN116402775B (zh) * | 2023-03-29 | 2023-12-22 | 浙江大学 | 一种基于多任务感知网络的细胞形变控制方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559724A (zh) * | 2013-10-31 | 2014-02-05 | 苏州相城常理工技术转移中心有限公司 | 一种高粘连度细胞环境下的多细胞同步跟踪方法 |
| CN106202997A (zh) * | 2016-06-29 | 2016-12-07 | 四川大学 | 一种基于深度学习的细胞分裂检测方法 |
| CN107527028A (zh) * | 2017-08-18 | 2017-12-29 | 深圳乐普智能医疗器械有限公司 | 目标细胞识别方法、装置及终端 |
| CN109472784A (zh) * | 2018-10-31 | 2019-03-15 | 安徽医学高等专科学校 | 基于级联全卷积网络病理图像有丝分裂细胞的识别方法 |
| CN111223523A (zh) * | 2020-01-06 | 2020-06-02 | 中南大学 | 基于多时滞因果熵的基因调控网络构建方法及系统 |
| CN111640128A (zh) * | 2020-05-29 | 2020-09-08 | 哈尔滨理工大学 | 一种基于U-Net网络的细胞图像分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282589B2 (en) * | 2017-08-29 | 2019-05-07 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for detection and classification of cells using convolutional neural networks |
-
2021
- 2021-07-05 CN CN202110757699.6A patent/CN113610760B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559724A (zh) * | 2013-10-31 | 2014-02-05 | 苏州相城常理工技术转移中心有限公司 | 一种高粘连度细胞环境下的多细胞同步跟踪方法 |
| CN106202997A (zh) * | 2016-06-29 | 2016-12-07 | 四川大学 | 一种基于深度学习的细胞分裂检测方法 |
| CN107527028A (zh) * | 2017-08-18 | 2017-12-29 | 深圳乐普智能医疗器械有限公司 | 目标细胞识别方法、装置及终端 |
| CN109472784A (zh) * | 2018-10-31 | 2019-03-15 | 安徽医学高等专科学校 | 基于级联全卷积网络病理图像有丝分裂细胞的识别方法 |
| CN111223523A (zh) * | 2020-01-06 | 2020-06-02 | 中南大学 | 基于多时滞因果熵的基因调控网络构建方法及系统 |
| CN111640128A (zh) * | 2020-05-29 | 2020-09-08 | 哈尔滨理工大学 | 一种基于U-Net网络的细胞图像分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| Cell segmentation and tracking using CNNbased distance predictions and a graph-based matching strategy;Tim Scherr 等;《PLOS ONE》;20201208;第1-22页 * |
| 基于残差块和注意力机制的细胞图像分割方法;张文秀 等;《光学学报》;20200930;第40卷(第17期);第1-8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113610760A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840471B (zh) | 一种基于改进Unet网络模型的可行道路分割方法 | |
| CN113610760B (zh) | 一种基于u型残差神经网络的细胞图像分割示踪方法 | |
| CN110276264B (zh) | 一种基于前景分割图的人群密度估计方法 | |
| CN111798462A (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN110826389B (zh) | 基于注意力3d频率卷积神经网络的步态识别方法 | |
| CN111462191B (zh) | 一种基于深度学习的非局部滤波器无监督光流估计方法 | |
| CN113240691A (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
| CN109740537B (zh) | 人群视频图像中行人图像属性的精确标注方法及系统 | |
| CN111462140B (zh) | 一种基于区块拼接的实时图像实例分割方法 | |
| CN113763427B (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
| CN111091101A (zh) | 基于一步法的高精度行人检测方法、系统、装置 | |
| CN104243916A (zh) | 一种基于压缩传感的运动目标检测和跟踪方法 | |
| CN111462027A (zh) | 基于多尺度梯度和抠图的多聚焦图像融合方法 | |
| CN106529441A (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN113255429B (zh) | 一种视频中人体姿态估计与跟踪方法及系统 | |
| CN107895162A (zh) | 基于物体先验的图像显著性目标检测算法 | |
| CN102201060B (zh) | 一种基于形状语义的非参数轮廓跟踪评价方法 | |
| CN116895007A (zh) | 一种基于改进YOLOv8n的小目标检测方法 | |
| CN112200831B (zh) | 一种基于动态模板的密集连接孪生神经网络目标跟踪方法 | |
| CN112509014B (zh) | 金字塔遮挡检测块匹配的鲁棒插值光流计算方法 | |
| Rajeswari et al. | Automatic road extraction based on normalized cuts and level set methods | |
| CN109636818A (zh) | 一种拉普拉斯正则约束下低秩稀疏优化的目标分割方法 | |
| CN115311456A (zh) | 基于改进DeepLabv3+的风口焦炭分割方法 | |
| CN112632601B (zh) | 面向地铁车厢场景的人群计数方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |