CN108256408A - 一种基于深度学习的干细胞追踪方法 - Google Patents
一种基于深度学习的干细胞追踪方法 Download PDFInfo
- Publication number
- CN108256408A CN108256408A CN201711004860.2A CN201711004860A CN108256408A CN 108256408 A CN108256408 A CN 108256408A CN 201711004860 A CN201711004860 A CN 201711004860A CN 108256408 A CN108256408 A CN 108256408A
- Authority
- CN
- China
- Prior art keywords
- cell
- stem cell
- image
- network
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习技术的干细胞追踪方法及系统，该方法/系统包括：1：提出了一个基于深度学习技术的细胞追踪算法；2：提出了一个基于深度学习技术的细胞分裂检测算法；3：建立了一套干细胞实时追踪及分裂检测系统。本发明涉及深度学习、细胞追踪、分裂检测、神经网络等领域。该方法针对干细胞显微图像输入，基于首帧标定的待观察干细胞能够利用基于深度学习的图像分析技术实现干细胞运动的自动追踪及运动过程中的分裂时间检测，进而为干细胞研究工作提供良好的分析工具。本发明实现了干细胞运动的实时自动追踪方法，具有较好的泛化能力和追踪精确度，亦能够经过适当调整应用于其他类细胞追踪任务。
Description
技术领域
本发明属于显微图像处理、计算机、深度学习领域交叉学科领域。
背景技术
随着医学技术的发展，利用干细胞修复损伤、疾病组织已经成为可能，针对干细胞的科学研究已经成为可再生医学研究领域的重要方向。其中，利用细胞追踪技术基于干细胞显微图像对干细胞的运动、变换、分裂等生命活动进行实时追踪，能够帮助研究者了解细胞行为，分析细胞形态学特征，进而更好的理解各种生命现象，对生物医学以及细胞生物学的研究发展具有重要意义。
现有的干细胞追踪方法大多需要繁复的人工干预处理过程，如输入数据预处理、算法人工调参、输出后处理等，且多无法进行实时干细胞追踪，其应用价值受到限制。其中主要方法包括：
基于图像分割的追踪方法。其首先通过分割算法逐帧对干细胞进行细胞分割，常用分割算法包括：梯度特征法，概率密度法、水平集法及小波分解等。随后，其通过时空相关性或一致性等特征对相邻帧间已分割细胞进行配对关联以获取待测干细胞在每帧图像中的轨迹序列，进而实现细胞追踪的目的。
基于参数模型的追踪方法。其通过优化一个参数模型来模拟、检测某个细胞的运动，进而实现对该细胞追踪的目的。
以上方法通常需要较复杂的图像预处理过程以实现较高的细胞分割精度；需要较好的特征学习方法用于优化参数模型；需要交复杂的人工参数设定及调整以适应细胞运动的多样性，较难应用于实际细胞追踪场景以实现实时干细胞追踪。因此，设计并实现适合实际应用场景的实时干细胞运动追踪方法十分必要。
近年来，随着深度学习技术的发展，其在视觉追踪领域已经得到成功应用，其强大的特征学习能力为实现干细胞追踪提供了条件，为本发明设计基于深度学习技术的干细胞追踪方法和系统提供了有力支撑。
发明内容
本发明所要解决的技术问题是实际一个用于实时追踪显微图像中标定干细胞运动的方法/系统，其采用深度学习方法进行识别，具有实时追踪、识别准确率高的特点。
一种基于深度学习的干细胞追踪方法的发明技术解决方案包括如下步骤：
准备工作：细胞显微图像以图像序列的方式输入。对于待检测干细胞于起始帧中标定其位置（采用矩形方框标定，细胞位于标定框中央位置）；
步骤1:对标定干细胞进行图像采样并用于训练深度网络识别模型；
步骤2:基于当前细胞位置，采用粒子滤波算法建立运动模型对其后续位置进行预估；
步骤3:采用步骤1获得的识别模型对步骤2预估位置图像进行识别确认，获得其概率值；
步骤4:基于步骤3结果：若概率值高表明该位置为待追踪细胞，确定并更细其位置；若概率值低则进行重采样，基于步骤2重新预估其位置，重复步骤2和步骤3；
步骤5:基于步骤4结果获取待追踪细胞当前位置，并基于当前位置对细胞图像进行图像采样用与更新深度网络识别模型，重复步骤1至步骤4。
具体实施方式
下面对本发明实施例中的技术方案进行详细、完整的描述，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1：
一种基于深度学习技术的干细胞追踪方法及系统，包括如下步骤：
准备步骤:数据准备阶段，其包括：
待追踪干细胞显微图像序列输入；
待追踪干细胞位置标定，采用矩形标定框标定目标干细胞，使其位于标定框中心位置，矩形框宽、高取合适值使其能够覆盖目标干细胞。
步骤1:细胞图像采样及识别模型训练，其包括：
基于当前目标细胞标定框位置对目标细胞进行图像采样，其分为正采样及负采样两部分，如图3，细胞图像采样示意图所示，其中：
正采样以原始细胞图像标定框中心点位置为中心，3*3区域范围进行正采样。采用与原始标定框相同大小尺寸获取8张采样细胞图像，与原始细胞图像共9张细胞图像作为正样本。对原始正样本图像进行180度翻转及90度旋转操作以进行样本扩充，最终获得9*8即72张正样本图像；
负采样以细胞图像标定框中心点为圆心，分别以R及1.5R为半径的环形区域内进行（如图3所示黄色环形区域间）。以环形区域内随机点为中心，采用原始标定框同大小尺寸进行采样100次，最终获得100张负样本图像。其中(h,l)为标定框高、宽值。
识别模型训练采用多层卷积深度网络，其网络结构如图4，细胞识别/分裂检测深度网络结构图所示，网络采用多层卷积+池化结构对输入图像进行特征提取，之后经过全连接层进行特征映射及分类，网络采用4层卷积池化+3层全连接网络结构。对所有输入图像进行resize操作至32*32尺寸输入网络。网络采用有监督学习方式通过反向传播算法进行参数更细，对应正样本及负样本图像进行2分类任务训练，直至收敛或达到最大迭代次数（本方法根据实际测试效果取最大迭代次数为5epoch）。网络优化代价函数采用均方误差函数（MSE），其计算方式如下：
其中表示网络权值参数集合，对应输入图像样本i，为对应标签（正样本=1，负样本=0），m为每批训练数据包含样本个数。
网络最初4层特征提取卷次层网络权值采用预先训练+微调方式训练，即采用人脸、物体识别等大规模数据集训练网络以获取较好的特征提取层网络参数，并以其作为网络初始值在干细胞采样图像数据上进行网络微调以提升网络性能。
最终识别模型接收细胞图像作为输出，输出其置信度概率值。
其中粒子滤波算法基于目标先前t-1时刻观测值对其t时刻状态进行预测，其中代表t时刻细胞潜在位置，代表t时刻实际观测结果：
其中s对观测y的后验概率可通过贝叶斯公式计算：
步骤3：基于步骤2计算并获取最大概率位置。
步骤4：若识别过程中细胞识别网络对采样样本最大输出概率值小于阈值M（根据实验结果，本方法取M=0.85），基于当前位置进行重采样，利用重采样细胞图像对网络进行再次训练，即重复步骤1以及时调整模型。重复步骤2及步骤3。
步骤5：基于步骤4结果获取待追踪细胞当前位置，重复步骤1至步骤4 实现对细胞的实时逐帧跟踪，其中：若连续N帧识别模型未进行参数更新，基于当前位置细胞进行重采样，利用重采样细胞图像对网络进行再次训练。
附图说明
图1为本发明中干细胞追踪方法流程图；
图2为本发明中干细胞追踪方法模型图；
图3为本发明中图像采样示意图；
图4为本发明中细胞识别和分裂检测的网络结构图 。
Claims (2)
1.本发明公开了一种基于显微图像的干细胞追踪方法用于追踪标定干细胞的运动及检测其运动过程中的分裂事件，该方法包括：S1:对于给定干细胞显微图像序列，在初始帧图像中标定待追踪干细胞位置，干细胞位于标准矩形框内；S2：基于标定干细胞进行图像采样并用于训练深度网络识别模型；S3:基于粒子滤波算法设计运动模型用于预测下帧图像中待追踪干细胞位置；S4:基于S2中识别模型对S3运动模型筛选出候选位置进行识别确认，检测干细胞于下帧图像出现位置；S5:若S4追踪结果准确，则更新当前追踪干细胞位置并重复S2至S5过程；若追踪结果存在偏差，则进行重采样并更新训练识别模型用于后续追踪；S6：基于干细胞分裂检测模型检测运动过程中的细胞分裂事件；本发明基于深度学习及视觉追踪技术对干细胞运动及分裂活动进行追踪、检测，从而为干细胞研究及医学工作提供良好技术手段工具，具有较高的科研价值和应用价值；
一种基于深度学习的干细胞追踪方法，其包括如下步骤：
准备工作：细胞显微图像以图像序列的方式输入；对于待检测干细胞于起始帧中标定其位置(采用矩形方框标定，细胞位于标定框中央位置)；
步骤1:对标定干细胞进行图像采样并用于训练深度网络识别模型；
步骤2:基于当前细胞位置，采用粒子滤波算法建立运动模型对其后续位置进行预估；
步骤3:采用步骤1获得的识别模型对步骤2预估位置图像进行识别确认，获得其概率值；
步骤4:基于步骤3结果：若概率值高表明该位置为待追踪细胞，确定并更细其位置；若概率值低则进行重采样，基于步骤2重新预估其位置，重复步骤2和步骤3；
步骤5:基于步骤4结果获取待追踪细胞当前位置，并基于当前位置对细胞图像进行图像采样用与更新深度网络识别模型，重复步骤1至步骤4；
其模型如图2，基于深度网络的干细胞追踪方法模型图所示。
2.根据权利要求1所述的一种基于深度学习的干细胞追踪方法，其特征在于：
在步骤1中，对标定干细胞进行图像采样并用于训练深度网络识别模型，其采样过程如图3，细胞图像采样示意图所示；
首先，以原始细胞图像标定框中心点位置为中心，3*3区域范围进行正采样；采用与原始标定框相同大小尺寸获取8张采样细胞图像，与原始细胞图像共9张细胞图像作为正样本；对原始正样本图像进行180度翻转及90度旋转操作以进行样本扩充，最终获得9*8即72张正样本图像；
负样本采样在以细胞图像标定框中心点为圆心，分别以R及1.5R为半径的环形区域内进行(如图3所示黄色环形区域间)；以环形区域内随机点为中心，采用原始标定框同大小尺寸进行采样100次，最终获得100张负样本图像；
在步骤1中，基于采样图像训练深度网络识别模型，其网络模型如图4，细胞识别/分裂检测深度网络结构图所示；
网络采用多层卷积+池化结构对输入图像进行特征提取，之后经过全连接层进行特征映射及分类，其具体结构如图所示，采用4层卷积池化+3层全连接网络结构；对所有输入图像进行resize操作至32*32尺寸输入网络；网络采用有监督学习方式通过反向传播算法进行参数更细，对应正样本及负样本图像进行2分类任务训练，直至收敛或达到最大迭代次数(本方法根据实际测试效果取最大迭代次数为5epoch)；网络优化代价函数采用均方误差函数(MSE)，其计算方式如下：
其中θ表示网络权值参数集合，xi对应输入图像样本i，yi为xi对应标签(正样本＝1，负样本＝0)，m为每批训练数据包含样本个数；
其中，网络4层特征提取卷次层网络权值可采用预先训练+微调方式训练，即采用人脸、物体识别等大规模数据集训练网络以获取较好的特征提取层网络参数，并以其作为网络初始值在干细胞采样图像数据上进行网络微调以提升网络性能；
最终识别模型接收细胞图像作为输出，输出其置信度概率值；
在步骤2中，基于当前细胞位置，采用粒子滤波算法建立运动模型对其后续位置进行预估，其过程如下：对当前标定干细胞记录其位置信息Z(x,y,h,l),其中(x,y)表示其标定框中心点位置坐标，(h,l)分表表示其标定框高和宽；采用基于正态分布的粒子滤波对Z进行采样n次，获取n个候选坐标位置集合{Z1,Z2,…,Zn},分别获取对应位置Zi(i∈[1，n])图像；
在步骤3及步骤4中，基于步骤3结果对待检测细胞进行逐帧追踪及模型更新；其具体过程如下：基于步骤2获取图像利用步骤1网络进行识别并确认最终位置，其算法过程如下：
若识别过程中细胞识别网络对采样样本最大输出概率值小于阈值M(根据实验结果，本方法取M＝0.85)，基于当前位置进行重采样，利用重采样细胞图像对网络进行再次训练，即重复步骤1以及时调整模型；重复步骤2及步骤3；
在步骤5中，基于步骤4结果获取待追踪细胞当前位置，重复步骤1至步骤4实现对细胞的实时逐帧跟踪，其中：若连续N帧识别模型未进行参数更新，基于当前位置细胞进行重采样，利用重采样细胞图像对网络进行再次训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711004860.2A CN108256408A (zh) | 2017-10-25 | 2017-10-25 | 一种基于深度学习的干细胞追踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711004860.2A CN108256408A (zh) | 2017-10-25 | 2017-10-25 | 一种基于深度学习的干细胞追踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108256408A true CN108256408A (zh) | 2018-07-06 |
Family
ID=62721509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711004860.2A Pending CN108256408A (zh) | 2017-10-25 | 2017-10-25 | 一种基于深度学习的干细胞追踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108256408A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753835A (zh) * | 2019-08-19 | 2020-10-09 | 湖南大学 | 基于局部图匹配和卷积神经网络的细胞追踪方法 |
| CN112686898A (zh) * | 2021-03-15 | 2021-04-20 | 四川大学 | 一种基于自监督学习的放疗靶区自动分割方法 |
| CN113222887A (zh) * | 2021-03-03 | 2021-08-06 | 复旦大学附属华山医院 | 基于深度学习的纳米铁标记神经干细胞示踪的方法 |
| CN113460558A (zh) * | 2021-06-29 | 2021-10-01 | 上海芭熹机器人有限责任公司 | 一种室外可移动货物搬运机器人 |
| CN113740235A (zh) * | 2021-09-02 | 2021-12-03 | 清华大学 | 神经形态计算驱动的图像流式细胞仪 |
| WO2023019559A1 (zh) * | 2021-08-20 | 2023-02-23 | 深圳先进技术研究院 | 一种自动化干细胞检测方法、系统、终端以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070021947A1 (en) * | 2005-07-22 | 2007-01-25 | Honeywell International Inc. | Model tuning system |
| CN106204642A (zh) * | 2016-06-29 | 2016-12-07 | 四川大学 | 一种基于深度神经网络的细胞追踪方法 |
| CN106991666A (zh) * | 2017-02-24 | 2017-07-28 | 中国科学院合肥物质科学研究院 | 一种适用于多尺寸图片信息的病害图像识别方法 |
| CN107169998A (zh) * | 2017-06-09 | 2017-09-15 | 西南交通大学 | 一种基于肝脏超声造影图像的实时跟踪及定量分析方法 |
-
2017
- 2017-10-25 CN CN201711004860.2A patent/CN108256408A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070021947A1 (en) * | 2005-07-22 | 2007-01-25 | Honeywell International Inc. | Model tuning system |
| CN106204642A (zh) * | 2016-06-29 | 2016-12-07 | 四川大学 | 一种基于深度神经网络的细胞追踪方法 |
| CN106991666A (zh) * | 2017-02-24 | 2017-07-28 | 中国科学院合肥物质科学研究院 | 一种适用于多尺寸图片信息的病害图像识别方法 |
| CN107169998A (zh) * | 2017-06-09 | 2017-09-15 | 西南交通大学 | 一种基于肝脏超声造影图像的实时跟踪及定量分析方法 |
Non-Patent Citations (5)
| Title |
|---|
| CHAORAN LI 等: "Implement Tracking Algorithm Using CNNs", 《2016 35TH CHINESE CONTROL CONFERENCE》 * |
| TAO HE 等: "Cell Tracking Using Deep Neural Networks with Multi-task Learning", 《IMAGE AND VISION COMPUTING》 * |
| 周志华 等: "基于神经网络集成的肺癌早期诊断", 《计算机研究与发展》 * |
| 聂静: "复杂环境下的快速人头检测系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 高君宇 等: "基于深度学习的鲁棒性视觉跟踪方法", 《计算机学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753835A (zh) * | 2019-08-19 | 2020-10-09 | 湖南大学 | 基于局部图匹配和卷积神经网络的细胞追踪方法 |
| CN111753835B (zh) * | 2019-08-19 | 2021-08-31 | 湖南大学 | 基于局部图匹配和卷积神经网络的细胞追踪方法 |
| CN113222887A (zh) * | 2021-03-03 | 2021-08-06 | 复旦大学附属华山医院 | 基于深度学习的纳米铁标记神经干细胞示踪的方法 |
| CN112686898A (zh) * | 2021-03-15 | 2021-04-20 | 四川大学 | 一种基于自监督学习的放疗靶区自动分割方法 |
| CN112686898B (zh) * | 2021-03-15 | 2021-08-13 | 四川大学 | 一种基于自监督学习的放疗靶区自动分割方法 |
| CN113460558A (zh) * | 2021-06-29 | 2021-10-01 | 上海芭熹机器人有限责任公司 | 一种室外可移动货物搬运机器人 |
| WO2023019559A1 (zh) * | 2021-08-20 | 2023-02-23 | 深圳先进技术研究院 | 一种自动化干细胞检测方法、系统、终端以及存储介质 |
| CN113740235A (zh) * | 2021-09-02 | 2021-12-03 | 清华大学 | 神经形态计算驱动的图像流式细胞仪 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108256408A (zh) | 一种基于深度学习的干细胞追踪方法 | |
| CN110210551B (zh) | 一种基于自适应主体敏感的视觉目标跟踪方法 | |
| CN108986140B (zh) | 基于相关滤波和颜色检测的目标尺度自适应跟踪方法 | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| CN107862694A (zh) | 一种基于深度学习的手足口病检测系统 | |
| CN110443827A (zh) | 一种基于改进孪生网络的无人机视频单目标长期跟踪方法 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN102663409B (zh) | 一种基于hog-lbp描述的行人跟踪方法 | |
| Li et al. | Robust visual tracking based on convolutional features with illumination and occlusion handing | |
| CN102722714B (zh) | 基于目标跟踪的人工神经网络扩张式学习方法 | |
| CN110097075A (zh) | 基于深度学习的海洋中尺度涡分类识别方法 | |
| CN108073888A (zh) | 一种教学辅助方法及采用该方法的教学辅助系统 | |
| CN109241830B (zh) | 基于光照生成对抗网络的课堂听课异常检测方法 | |
| CN106408592A (zh) | 一种基于目标模板更新的目标跟踪方法 | |
| CN111376273B (zh) | 一种类脑启发的机器人认知地图构建方法 | |
| CN107146237A (zh) | 一种基于在线状态学习与估计的目标跟踪方法 | |
| Li et al. | Pitaya detection in orchards using the MobileNet-YOLO model | |
| CN101777184B (zh) | 基于局部距离学习和排序队列的视觉目标跟踪方法 | |
| CN108682022A (zh) | 基于对抗迁移网络的视觉跟踪方法及系统 | |
| CN103985143A (zh) | 基于字典学习的视频中判别性在线目标跟踪方法 | |
| CN106355204B (zh) | 基于贝叶斯学习和增量子空间学习的目标跟踪方法 | |
| CN112949517B (zh) | 基于深度迁移学习的植物气孔密度和开度识别方法及系统 | |
| CN112084871B (zh) | 一种基于弱监督学习的高分遥感目标边界提取方法 | |
| CN107351080A (zh) | 一种基于相机单元阵列的混合智能研究系统及控制方法 | |
| CN105894008A (zh) | 结合特征点匹配及深度神经网络检测的目标运动跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180706 |