CN111753835B - 基于局部图匹配和卷积神经网络的细胞追踪方法 - Google Patents

基于局部图匹配和卷积神经网络的细胞追踪方法 Download PDF

Info

Publication number
CN111753835B
CN111753835B CN201910762367.XA CN201910762367A CN111753835B CN 111753835 B CN111753835 B CN 111753835B CN 201910762367 A CN201910762367 A CN 201910762367A CN 111753835 B CN111753835 B CN 111753835B
Authority
CN
China
Prior art keywords
cell
matched
similarity
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910762367.XA
Other languages
English (en)
Other versions
CN111753835A (zh
Inventor
刘敏
刘诗慧
刘雅兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN201910762367.XA priority Critical patent/CN111753835B/zh
Publication of CN111753835A publication Critical patent/CN111753835A/zh
Application granted granted Critical
Publication of CN111753835B publication Critical patent/CN111753835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于局部图匹配和卷积神经网络的细胞追踪方法，所述方法包括：S1、采用分水岭方法对细胞图像进行分割；S2、搭建并训练卷积神经网络，利用训练好的卷积神经网络提取待匹配细胞对的深度相似度；S3、在细胞分割图像中提取待匹配细胞对的局部三角图相似度；S4、结合提取待匹配细胞对的深度相似度和局部三角图相似度，建立相似度矩阵，并取相似度矩阵取最大值时对应的细胞对作为种子细胞；S5、从所获取的种子细胞开始，采用邻域细胞扩散方法依次匹配其相邻细胞对直至所有细胞匹配完成。本发明引入了卷积神经网络提取待匹配细胞对的深度相似度，并通过结合深度相似度和局部三角图相似度追踪细胞，具有适用范围广和追踪准确率高的特点。

Description

基于局部图匹配和卷积神经网络的细胞追踪方法
技术领域
本发明涉及到图像处理技术领域，尤其涉及一种基于局部图匹配和卷积神经网络的细胞追踪方法。
背景技术
在生物医学的研究中，对于蜂窝状紧密排列的细胞(如植物分生组织细胞，口腔上皮细胞)的追踪有着至关重要的作用。目前，许多细胞追踪方法使用局部图匹配模型检测种子细胞，然后从种子细胞开始进行邻域细胞扩散增长。
现有的细胞追踪方法对细胞进行自动追踪的步骤如下：
a、细胞图像分割：利用分水岭方法分割细胞边界；
b、局部图特征：在包括中心细胞和相邻细胞的对应局部图中，提取夹角特征，面积特征，和距离特征组成局部图特征；
c、多组种子细胞：利用提取的局部图特征构建距离函数矩阵，计算出相邻两幅细胞图像的距离函数矩阵，将距离函数矩阵中最小的k个值对应的细胞对作为k组种子细胞；
d、动态局部图匹配模型：对于每一对种子细胞，动态地进行邻域细胞扩散增长，得出一个细胞追踪结果。k对种子细胞，分别对应得到k个细胞追踪结果，然后采用多数投票方式确定最终细胞追踪结果。
上述现有的细胞追踪方法的准确性有所欠缺。首先，上述方法手动提取的局部图特征的辨别力不足，不适用于大时间间隔的图像序列；其次，上述方法提取的多组种子细胞的准确性不足，进而影响追踪准确率。
鉴于此，研究一种适用范围广且追踪准确率高的细胞追踪方法是本技术领域人员亟待解决的技术问题。
发明内容
本发明的目的是提供一种基于局部图匹配和卷积神经网络的细胞追踪方法，所述方法通过在现有细胞追踪方法基础上引入了卷积神经网络提取待匹配细胞对的深度相似度，并通过结合深度相似度和局部三角图相似度追踪细胞，具有适用范围广和追踪准确率高的特点。
为解决上述技术问题，本发明提供一种基于局部图匹配和卷积神经网络的细胞追踪方法，所述方法包括以下步骤：
S1、输入细胞图像并利用分水岭方法对细胞图像进行分割，得到细胞分割图像；
S2、截取并处理细胞分割图像中的所有细胞图片，然后搭建和训练卷积神经网络，利用训练好的卷积神经网络提取待匹配细胞对的深度相似度；
S3、从所述步骤S1得到的细胞分割图像中提取待匹配细胞的局部三角图特征并计算待匹配细胞对的局部三角图相似度；
S4、结合所述步骤S2提取的深度相似度和所述步骤S3提取的局部三角图相似度构建待匹配细胞对的相似度矩阵，取不同时刻两帧细胞图像并将两帧细胞图像中相似度矩阵最大值所对应的细胞对作为种子细胞；
S5、从所述步骤S4中的种子细胞开始，采用邻域细胞扩散方法依次匹配相邻细胞对，直至完成所有细胞对的匹配，得到最终的细胞追踪结果。
作为上述技术方案的进一步优化，所述步骤S1的具体实现方式为：输入细胞图像，将细胞图像中的低强度像素区域设为山谷，高强度像素区域设为山峰，并输出高强度像素区域为细胞边界，即完成细胞图像的分割。
作为上述技术方案的进一步优化，所述步骤S2的具体实现方式为：
S21、截取细胞分割图像中的所有细胞图片；
S22、将所述步骤S21中截取的细胞图片进行归一化处理，然后选择并判断两张细胞图片是否为匹配细胞对，若为匹配细胞对，则将两张细胞图片进行像素相减并把像素相减后的细胞图片设为正样本；若为不匹配细胞对，则将两张细胞图片进行像素相减并把像素相减后的细胞图片设为负样本；
S23、搭建卷积神经网络并将所述步骤S22中得到的正样本和负样本输入卷积神经网络中进行训练，得到训练好的卷积神经网络；
S24、将待匹配细胞对的细胞图片进行归一化处理，然后进行像素相减并将像素相减后的细胞图片输入所述步骤S23中训练好的卷积神经网络中，得到待匹配细胞对的匹配概率，即待匹配细胞对的深度相似度。
作为上述技术方案的进一步优化，所述步骤S22中所截取的细胞图片归一化至50×50像素大小。
作为上述技术方案的进一步优化，所述步骤S24中待匹配细胞对的深度相似度可用公式表示：
Figure BDA0002170771370000031
式(1)中，F(i,u)∈[0,1]，F(i,u)表示待匹配细胞i和待匹配细胞u之间的匹配概率，z1表示待匹配细胞i和待匹配细胞u之间的相似度，z2表示待匹配细胞i和待匹配细胞u之间的不相似度，且z1和z2表示卷积神经网络中第二个全连接层的两个输出。
作为上述技术方案的进一步优化，所述步骤S3中的待匹配细胞的局部三角图特征由边缘夹角、边长比和细胞面积比组成，可用公式表示：
Figure BDA0002170771370000032
式(2)中，i表示t1时刻细胞图片中的待匹配细胞，j1,j2表示待匹配细胞i的相邻细胞，
Figure BDA0002170771370000033
表示t1时刻待匹配细胞i和相邻细胞j1、j2形成的边缘夹角，
Figure BDA0002170771370000034
和
Figure BDA0002170771370000035
分别表示t1时刻的细胞图片中待匹配细胞i与相邻细胞j1和相邻细胞j2之间的长度，
Figure BDA0002170771370000036
和
Figure BDA0002170771370000037
分别表示相邻细胞j1和相邻细胞j2的面积。
作为上述技术方案的进一步优化，所述步骤S3中待匹配细胞对的局部三角图相似度可用公式表示：
Figure BDA0002170771370000038
式(3)中，j1≠j2，v1≠v2，u表示t2时刻细胞图片中的待匹配细胞，v1,v2表示待匹配细胞u的相邻细胞。
作为上述技术方案的进一步优化，所述步骤S4中待匹配细胞对的相似度矩阵可用公式表示：
S(i,u)＝w1V(i,u)+w2F(i,u) (4)
式(4)中，w1为待匹配细胞对局部三角图相似度的归一化参数，w2表示待匹配细胞对深度相似度的归一化参数。
作为上述技术方案的进一步优化，所述步骤S4中取不同时刻两帧细胞图像中相似度矩阵最大值所对应的细胞对作为种子细胞，所述种子细胞可用公式表示：
Figure BDA0002170771370000041
式(5)中，i∈[1,…,M]，M表示t1时刻细胞分割图像
Figure BDA0002170771370000042
中的细胞数量，u∈[1,…,N]，N表示t2时刻细胞分割图像
Figure BDA0002170771370000043
中的细胞数量。
作为上述技术方案的进一步优化，所述步骤S5的具体实现方式为：从所述步骤S4中得到的种子细胞开始，分别判断邻域细胞对之间的相似度矩阵函数值S(i,u)，当相似度矩阵函数值S(i,u)大于给定的阈值T1时，则判断为匹配的细胞对；若当相似度矩阵函数值S(i,u)不大于给定的阈值T1时，则判断为不匹配的细胞对，并以此类推，直至完成所有细胞对的匹配，得到最终的细胞追踪结果。
与现有技术比较，本发明在现有细胞追踪方法上引入了卷积神经网络提取待匹配细胞对的深度相似度，并通过提取的待匹配细胞对深度相似度与待匹配细胞对的局部三角图相似度结合构建相似度矩阵，进而由所述相似度矩阵计算出不同时刻两帧图像中的种子细胞，最后以所计算出来的种子细胞为基点并利用邻域细胞扩散方法得到最终的细胞追踪结果，有效解决了连续的显微镜细胞图片序列中细胞追踪的问题，具有适用范围广和追踪准确率高的特点。
附图说明
图1是本发明基于局部图匹配和卷积神经网络的细胞追踪方法的流程图，
图2是本发明中的采用分水岭方法分割细胞图像的示例图，
图3是本发明基于局部图匹配和卷积神经网络的细胞追踪方法中通过卷积神经网络提取待匹配细胞对深度相似度的流程图，
图4是本发明中对截取的细胞图片进行处理的流程框架图，
图5是本发明中卷积神经网络的框架示意图，
图6是本发明中局部三角图相似度和深度相似度示意图，
图7是本发明中邻域细胞扩散方法增长过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
如图1所示，一种基于局部图匹配和卷积神经网络的细胞追踪方法，所述方法包括以下步骤：
S1、输入细胞图像并利用分水岭方法对细胞图像进行分割，得到细胞分割图像；
S2、截取并处理细胞分割图像中的所有细胞图片，然后搭建和训练卷积神经网络，利用训练好的卷积神经网络提取待匹配细胞对的深度相似度；
S3、从所述步骤S1得到的细胞分割图像中提取待匹配细胞的局部三角图特征并计算待匹配细胞对的局部三角图相似度；
S4、结合所述步骤S2提取的深度相似度和所述步骤S3提取的局部三角图相似度构建待匹配细胞对的相似度矩阵，取不同时刻两帧细胞图像并将两帧细胞图像中相似度矩阵最大值所对应的细胞对作为种子细胞；
S5、从所述步骤S4中的种子细胞开始，采用邻域细胞扩散方法依次匹配相邻细胞，直至完成所有细胞对的匹配，得到最终的细胞追踪结果。
本实施例中，首先利用分水岭方法对细胞图像进行分割，并通过截取细胞分割图像中的细胞图片数据搭建和训练卷积神经网络，然后提取待匹配细胞对的深度相似度和局部三角图相似度，并利用所提取的深度相似度和局部三角图相似度构建相似度矩阵并找到不同时刻两帧细胞图像中的种子细胞，最后利用邻域细胞扩散方法完成所有细胞对的匹配，得到最终的细胞追踪结果。通过在现有细胞追踪方法上引入卷积神经网络来提取待匹配细胞对的深度相似度，并结合深度相似度和局部三角图相似度构建相似度矩阵来追踪细胞，有效解决了现有细胞追踪方法中适用性和准确性的问题，具有适用范围广和追踪准确率高的特点。本实施例中，不同时刻的两帧图像为不同时刻的两帧细胞分割图像，在其他实施例中，也可以是时间间隔较大的两帧图像。
如图2所示，所述步骤S1的具体实现方式为：输入细胞图像，将细胞图像中的低强度像素区域设为山谷，高强度像素区域设为山峰，并输出高强度像素区域为细胞边界，即完成细胞图像的分割。本实施例中，图2中左图是输入的细胞图像原图，图2中右图是通过分水岭方法对细胞图像边界进行分割后得到的细胞分割图像。
如图3、图4、图5、图6所示，所述步骤S2的具体实现方式为：
S21、截取细胞分割图像中的所有细胞图片；
S22、将所述步骤S21中裁剪出的细胞图片进行归一化处理，然后选择并判断两张细胞图片是否为匹配细胞对，若为匹配细胞对，则将两张细胞图片进行像素相减并把像素相减后的细胞图片设为正样本；若为不匹配细胞对，则将两张细胞图片进行像素相减并把像素相减后的细胞图片设为负样本；
S23、搭建卷积神经网络并将所述步骤S22中得到的正样本和负样本输入卷积神经网络中进行训练，得到训练好的卷积神经网络；
S24、将待匹配细胞对的细胞图片进行归一化处理，然后进行像素相减并将像素相减后的细胞图片输入所述步骤S23中训练好的卷积神经网络中，得到待匹配细胞对的匹配概率，即待匹配细胞对的深度相似度。
如图3所示，所述步骤S22中所截取的细胞图像归一化至50×50像素大小。
本实施例中，首先截取所述细胞分割图像中的所有细胞图片，任意选择两张细胞图片进行归一化处理并通过ground truth(金标准)来判断是否为匹配细胞对，然后对归一化处理之后的细胞图片进行像素相减，得到像素相减后的细胞图片，最后将匹配细胞对像素相减后的细胞图片作为正样本，正样本标签为[1,0]，不匹配细胞对像素相减后的细胞图片作为负样本，负样本标签为[0,1]，且正样本和负样本的数量相同，同时将正样本和负样本输入搭建的卷积神经网络中进行训练，最后将待匹配细胞对进行归一化处理之后再像素相减，并将像素相减后的细胞图片输入训练好的卷积神经网络中获取待匹配细胞对的匹配概率，即得到待匹配细胞对的深度相似度。本实施例中，所截取的细胞图片归一化至50×50像素大小，如图4所示，卷积神经网络的基本结构为：网络输入(样本及标签)，4×4大小的卷积层，2×2大小的最大池化层，4×4大小的卷积层，2×2大小的最大池化层，神经元数为64的全连接层，dropout ratio(dropout率)为0.2的dropout层，神经元数为2的全连接层，Softmax层，网络输出(匹配概率和不匹配概率)。
本实施例中，图6上部分表示待匹配细胞对的局部三角图相似度，图6下半部分表示待匹配细胞对的深度相似度。
如图3、图6所示，所述步骤S24中待匹配细胞对的深度相似度可用公式表示：
Figure BDA0002170771370000061
式(1)中，F(i,u)∈[0,1]，F(i,u)表示待匹配细胞i和待匹配细胞u之间的匹配概率，z1表示待匹配细胞i和待匹配细胞u之间的相似度，z2表示待匹配细胞i和待匹配细胞u之间的不相似度，且z1和z2表示卷积神经网络中第二个全连接层的两个输出。
本实施例中，通过计算不同时刻两帧细胞分割图像中待匹配细胞i和待匹配细胞u之间的匹配概率F(i,u)，从而得到待匹配细胞对的深度相似度。
如图6所示，所述步骤S3中的待匹配细胞的局部三角图特征由边缘夹角、边长比和细胞面积比组成，可用公式表示：
Figure BDA0002170771370000071
式(2)中，i表示t1时刻细胞图片中的待匹配细胞，j1,j2表示待匹配细胞i的相邻细胞，
Figure BDA0002170771370000072
表示t1时刻待匹配细胞i和相邻细胞j1、j2形成的边缘夹角，
Figure BDA0002170771370000073
和
Figure BDA0002170771370000074
分别示t1时刻的细胞图片中待匹配细胞i与相邻细胞j1和相邻细胞j2之间的长度，
Figure BDA0002170771370000075
和
Figure BDA0002170771370000076
分别表示t1时刻待匹配细胞i的相邻细胞j1和相邻细胞j2的面积。
如图6所示，所述步骤S3中待匹配细胞对的局部三角图相似度可用公式表示：
Figure BDA0002170771370000077
式(3)中，exp表示取自然对数，j1≠j2，v1≠v2，u表示t2时刻细胞图片中的待匹配细胞，v1,v2表示待匹配细胞u的相邻细胞。
本实施例中，t1时刻待匹配细胞i的相邻细胞集合表示为Ni＝{j1,j2,…,j8}，t2时刻待匹配细胞u的相邻细胞集合表示为Nu＝{v1,v2,…,v8}，由式(2)可知，待匹配细胞u的局部三角图特征
Figure BDA0002170771370000078
其中
Figure BDA0002170771370000079
表示待匹配细胞u和相邻细胞v1、v2形成的边缘夹角；
Figure BDA00021707713700000710
和
Figure BDA00021707713700000711
分别表示t2时刻细胞图片中待匹配细胞u与相邻细胞v1和相邻细胞v2之间的长度；
Figure BDA00021707713700000712
和
Figure BDA00021707713700000713
分别表示待匹配细胞i的相邻细胞v1和相邻细胞v2的面积，从而由t1时刻细胞图片中待匹配细胞i的局部三角图相似度
Figure BDA00021707713700000714
和t2时刻细胞图片中待匹配细胞u的局部三角图相似度
Figure BDA00021707713700000715
可以计算出待匹配细胞对的局部三角图相似度V(i,u)。
如图1、图6所示，所述步骤S4中待匹配细胞对的相似度矩阵可用公式表示：
S(i,u)＝w1V(i,u)+w2F(i,u) (4)
式(4)中，w1为待匹配细胞对局部三角图相似度的归一化参数，w2表示待匹配细胞对深度相似度的归一化参数。
如图1所示，所述步骤S4中取不同时刻两帧细胞图像中相似度矩阵最大值所对应的细胞对作为种子细胞，所述种子细胞可用公式表示：
Figure BDA0002170771370000081
式(5)中，i∈[1,…,M]，M表示t1时刻细胞分割图像
Figure BDA0002170771370000082
中的细胞数量，u∈[1,…,N]，N表示t2时刻细胞分割图像
Figure BDA0002170771370000083
中的细胞数量。
本实施例中，通过待匹配细胞对的深度相似度F(i,u)和局部三角图相似度V(i,u)结合构建相似度矩阵S(i,u)，然后利用所构建的待匹配细胞对相似度矩阵找出种子细胞，有效避免了现有细胞追踪方法中手动提取局部图相似度辨别力不足以及提取的种子细胞准确性不足的问题。本实施例中，归一化参数w1和w2可由一个小数据集学习得到。
如图7所示，所述步骤S5的具体实现方式为：从所述步骤S4中得到的种子细胞开始，分别判断邻域细胞对之间的相似度矩阵函数值S(i,u)，当相似度矩阵函数值S(i,u)大于给定的阈值T1时，则判断为匹配的细胞对；若当相似度矩阵函数值S(i,u)不大于给定的阈值T1时，则判断为不匹配的细胞对，并以此类推，直至完成所有细胞对的匹配，得到最终的细胞追踪结果。
本实施例中，通过比较待匹配细胞对的相似度矩阵函数值S(i,u)和给定的阈值T1之间的大小来判断是否为匹配的细胞对，从而完成细胞图像中所有细胞对的匹配，实现细胞的追踪。本实施例中，给定的阈值T1可以人为进行调整，根据待匹配细胞对和相似度矩阵函数值的实际情况选取一个效果佳的值。
以上对本发明所提供的一种基于局部图匹配和卷积神经网络的细胞追踪方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.基于局部图匹配和卷积神经网络的细胞追踪方法，其特征在于，所述方法包括以下步骤：
S1、输入细胞图像并利用分水岭方法对细胞图像进行分割，得到细胞分割图像；
S2、截取并处理细胞分割图像中的所有细胞图片，然后搭建和训练卷积神经网络，利用训练好的卷积神经网络提取待匹配细胞对的深度相似度；
S3、从所述步骤S1得到的细胞分割图像中提取待匹配细胞的局部三角图特征并计算待匹配细胞对的局部三角图相似度，其中：
所述待匹配细胞的局部三角图特征由边缘夹角、边长比和细胞面积比组成，用公式表示：
Figure FDA0003159772850000011
式(2)中，i表示t1时刻细胞图片中的待匹配细胞，j1,j2表示待匹配细胞i的相邻细胞，
Figure FDA0003159772850000012
表示t1时刻待匹配细胞i和相邻细胞j1、j2形成的边缘夹角，
Figure FDA0003159772850000013
和
Figure FDA0003159772850000014
分别表示t1时刻的细胞图片中待匹配细胞i与相邻细胞j1和相邻细胞j2之间的长度，
Figure FDA0003159772850000016
和
Figure FDA0003159772850000017
分别表示相邻细胞j1和相邻细胞j2的面积；
所述待匹配细胞对的局部三角图相似度用公式表示：
Figure FDA0003159772850000015
式(3)中，j1≠j2，v1≠v2，u表示t2时刻细胞图片中的待匹配细胞，v1,v2表示待匹配细胞u的相邻细胞；
S4、结合所述步骤S2提取的深度相似度和所述步骤S3提取的局部三角图相似度构建待匹配细胞对的相似度矩阵，取不同时刻两帧细胞图像并将两帧细胞图像中相似度矩阵最大值所对应的细胞对作为种子细胞；
S5、从所述步骤S4中的种子细胞开始，采用邻域细胞扩散方法依次匹配相邻细胞对直至完成所有细胞对的匹配，得到最终的细胞追踪结果。
2.如权利要求1所述的基于局部图匹配和卷积神经网络的细胞追踪方法，其特征在于，所述步骤S1的具体实现方式为：输入细胞图像，将细胞图像中的低强度像素区域设为山谷，高强度像素区域设为山峰，并输出高强度像素区域为细胞边界，即完成细胞图像的分割。
3.如权利要求2所述的基于局部图匹配和卷积神经网络的细胞追踪方法，其特征在于，所述步骤S2的具体实现方式为：
S21、截取细胞分割图像中的所有细胞图片；
S22、将所述步骤S21中截取的细胞图片进行归一化处理，然后选择并判断两张细胞图片是否为匹配细胞对，若为匹配细胞对，则将两张细胞图片进行像素相减并把像素相减后的细胞图片设为正样本；若为不匹配细胞对，则将两张细胞图片进行像素相减并把像素相减后的细胞图片设为负样本；
S23、搭建卷积神经网络并将所述步骤S22中得到的正样本和负样本输入卷积神经网络中进行训练，得到训练好的卷积神经网络；
S24、将待匹配细胞对的细胞图片进行归一化处理，然后进行像素相减并将像素相减后的细胞图片输入所述步骤S23中训练好的卷积神经网络中，得到待匹配细胞对的匹配概率，即待匹配细胞对的深度相似度。
4.如权利要求3所述的基于局部图匹配和卷积神经网络的细胞追踪方法，其特征在于，所述步骤S22中所截取的细胞图片归一化至50×50像素大小。
5.如权利要求4所述的基于局部图匹配和卷积神经网络的细胞追踪方法，其特征在于，所述步骤S24中待匹配细胞对的深度相似度用公式表示：
Figure FDA0003159772850000021
式(1)中，F(i,u)∈[0,1]，F(i,u)表示待匹配细胞i和待匹配细胞u之间的匹配概率，z1表示待匹配细胞i和待匹配细胞u之间的相似度，z2表示待匹配细胞i和待匹配细胞u之间的不相似度，且z1和z2表示卷积神经网络中第二个全连接层的两个输出。
6.如权利要求5所述的基于局部图匹配和卷积神经网络的细胞追踪方法，其特征在于，所述步骤S4中待匹配细胞对的相似度矩阵用公式表示：
S(i,u)＝w1V(i,u)+w2F(i,u) (4)
式(4)中，w1为待匹配细胞对局部三角图相似度的归一化参数，w2表示待匹配细胞对深度相似度的归一化参数。
7.如权利要求6所述的基于局部图匹配和卷积神经网络的细胞追踪方法，其特征在于，所述步骤S4中取不同时刻两帧细胞图像中相似度矩阵最大值所对应的细胞对作为种子细胞，所述种子细胞用公式表示：
Figure FDA0003159772850000031
式(5)中，i∈[1,…,M]，M表示t1时刻细胞分割图像It1中的细胞数量，u∈[1,…,N]，N表示t2时刻细胞分割图像It2中的细胞数量。
8.如权利要求7所述的基于局部图匹配和卷积神经网络的细胞追踪方法，其特征在于，所述步骤S5的具体实现方式为：从所述步骤S4中得到的种子细胞开始，分别判断邻域细胞对之间的相似度矩阵函数值S(i,u)，当相似度矩阵函数值S(i,u)大于给定的阈值T1时，则判断为匹配的细胞对；若当相似度矩阵函数值S(i,u)不大于给定的阈值T1时，则判断为不匹配的细胞对，并以此类推，直至完成所有细胞对的匹配，得到最终的细胞追踪结果。
CN201910762367.XA 2019-08-19 2019-08-19 基于局部图匹配和卷积神经网络的细胞追踪方法 Active CN111753835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910762367.XA CN111753835B (zh) 2019-08-19 2019-08-19 基于局部图匹配和卷积神经网络的细胞追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910762367.XA CN111753835B (zh) 2019-08-19 2019-08-19 基于局部图匹配和卷积神经网络的细胞追踪方法

Publications (2)

Publication Number Publication Date
CN111753835A CN111753835A (zh) 2020-10-09
CN111753835B true CN111753835B (zh) 2021-08-31

Family

ID=72672775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910762367.XA Active CN111753835B (zh) 2019-08-19 2019-08-19 基于局部图匹配和卷积神经网络的细胞追踪方法

Country Status (1)

Country Link
CN (1) CN111753835B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344963B (zh) * 2021-05-27 2022-10-25 绍兴市北大信息技术科创中心 一种基于图像分割的种子点自适应目标跟踪系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204642A (zh) * 2016-06-29 2016-12-07 四川大学 一种基于深度神经网络的细胞追踪方法
CN106248559A (zh) * 2016-07-14 2016-12-21 中国计量大学 一种基于深度学习的白细胞五分类方法
CN107066916A (zh) * 2016-10-26 2017-08-18 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN108256408A (zh) * 2017-10-25 2018-07-06 四川大学 一种基于深度学习的干细胞追踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204642A (zh) * 2016-06-29 2016-12-07 四川大学 一种基于深度神经网络的细胞追踪方法
CN106248559A (zh) * 2016-07-14 2016-12-21 中国计量大学 一种基于深度学习的白细胞五分类方法
CN107066916A (zh) * 2016-10-26 2017-08-18 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN108256408A (zh) * 2017-10-25 2018-07-06 四川大学 一种基于深度学习的干细胞追踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Convolutional Features-Based CRF Graph Matching for Tracking of Densely Packed Cells;Weili Qian等;《2018 24th International Conference on Pattern Recognition (ICPR)》;20180824;第1797-1802页 *

Also Published As

Publication number Publication date
CN111753835A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN112017191B (zh) 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN109493346B (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN108229550B (zh) 一种基于多粒度级联森林网络的云图分类方法
CN113516012A (zh) 一种基于多层级特征融合的行人重识别方法及系统
CN109117703B (zh) 一种基于细粒度识别的混杂细胞种类鉴定方法
CN112862849B (zh) 一种基于图像分割和全卷积神经网络的田间稻穗计数方法
CN109903282B (zh) 一种细胞计数方法、系统、装置和存储介质
CN111598175B (zh) 一种基于在线难例挖掘方式的检测器训练优化方法
CN111160356A (zh) 一种图像分割分类方法和装置
CN110866490A (zh) 一种基于多任务学习的人脸检测方法及装置
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN111753835B (zh) 基于局部图匹配和卷积神经网络的细胞追踪方法
CN116052105A (zh) 路面裂缝识别分类及面积计算方法、系统、设备及终端
CN114841961A (zh) 基于图像增强和改进YOLOv5的小麦赤霉病检测方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN114782714A (zh) 一种基于上下文信息融合的图像匹配方法及装置
CN114359167A (zh) 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法
CN113989296A (zh) 基于改进U-net网络的无人机麦田遥感图像分割方法
CN110874843B (zh) 一种器官图像分割方法和装置
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN116563205A (zh) 基于小目标检测和改进YOLOv5的麦穗计数检测方法
CN107133634B (zh) 一种植株水分亏缺程度获取方法及装置
CN114862763A (zh) 一种基于EfficientNet的胃癌病理切片图像分割预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant