CN112017208A - 一种基于深度学习的多细胞球识别与分类方法 - Google Patents
一种基于深度学习的多细胞球识别与分类方法 Download PDFInfo
- Publication number
- CN112017208A CN112017208A CN202011152120.5A CN202011152120A CN112017208A CN 112017208 A CN112017208 A CN 112017208A CN 202011152120 A CN202011152120 A CN 202011152120A CN 112017208 A CN112017208 A CN 112017208A
- Authority
- CN
- China
- Prior art keywords
- image
- multicellular
- cell
- classification
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的多细胞球识别与分类方法,首先对多细胞球培养显微图像转化成灰度图像;然后通过人工标注的训练集对RCNN算法模型进行训练得到最优RCNN检测模型;训练好的最优检测模型对图像中目标多细胞球进行识别和定位,提取图像中多细胞球的子图像;多:采用基于直方图分割阈值的算法,对细胞球分割,并提取分割后的多细胞图像,再通过人工分类后的大样本多细胞子图像进行训练,得到最优细胞分类模型;利用训练好的最优细胞分类模型对细胞显微图像进行细胞分类。本发明能显著增强细胞识别检测和泛化性能和鲁棒性,大幅降低外界环境和人工操作对检测结果的影响,提高了检测分析的准确率,同时提高了检测效率。
Description
技术领域
本发明主要涉及基于人工智能的精子形态学分析相关的临床应用和科研。
背景技术
随着现代细胞和分子生物学技术的发展,人类对于各类疾病的发病及转归机理的研究取得了巨大的进展,并基于此发展出了各种新型治疗方法,从而极大程度地改善了各类疾病的诊断、治疗以及患者预后。癌症的诊断和治疗以及细胞靶向药物的研制过程都需要对细胞进行培养,从而进行体外细胞试验,进而为动物试验甚至人体临床试验提供前期基础研究。而目前传统的细胞培养需要频繁的人工干预和操作并进行细胞的确定及分类,因此存在因为人工经验、评价分类方法及操作习惯的差异,这种方法耗时且效率低下;检验结果受检验人员的主观成分影响较重,不同检验人员的分类结果差异较大,导致细胞的识别和分类的判断出现误差,影响最终的体外细胞试验结果。
随着人工智能的快速发展,通过计算机图像处理和分析的辅助手段得到快速广泛应用,如果细胞计数、染色体分析、细胞识别和分类的自动处理,大大降低了细胞培养与检测的工作强度,并提高了检测和分析的准确性,有助于细胞培养和病理试验的准确小。而对于多细胞球有限团聚培养的的复杂性和特殊性,尤其是针对细胞团聚形态的识别和分类,现有显微图像算法的准确率还有待提高。
发明内容
针对现有技术存在的问题,本发明提供了一种基基于深度学习的多细胞球识别与分类方法,在确保检测准确度的同时提高了检测速度。
为解决上述技术问题,本发明采用了以下技术方案:一种基于深度学习的多细胞球识别与分类方法,包括以下步骤:
S1:通过激光扫描共聚焦显微镜获取大样本的多细胞球培养显微图像,并转化成灰度图像;
S2,对灰度图像中多细胞球进行人工标注,然后通过深度学习目标算法对RCNN算法模型进行训练得到最优RCNN检测模型;
S3,通过训练好的最优RCNN检测模型对灰度图像中的目标多细胞球进行识别和定位,提取图像中多细胞球的子图像;
S4,多细胞球的分割:采用基于直方图分割阈值的算法,从图像背景中对目标细胞进行分离:
首先,将多细胞球的子图像的最大灰度和最小灰度的中值作为初始阈值,遍历灰度图像中所有像素点并根据阈值划分为两个区域U1和U2;
最后,并根据最优的分割阈值对多细胞球的子图像进行二值化分割标定,并进行存储;
S5,提取分割后的多细胞图像经过人工分类,利用卷积神经网络算法搭建细胞分类模型,并通过人工分类后的大样本多细胞子图像进行训练,得到最优细胞分类模型。
S6,利用训练好的最优细胞分类模型对步骤S4得到的二值化图像进行细胞分类。
进一步的,所述最相近的若干个非空邻居帧的数量为3或5。
进一步的,对所述RCNN算法模型和细胞分类模型进行训练时,均采用图像增强处理;所述数据增强处理包括对图片的空间变化处理、比例缩放处理、图片的亮度或色彩调整处理。
进一步的,步骤S5中所述细胞分类模型的卷积神经网络包括图像预处理层、多个卷积层、全连接层和SOFTMAX层,其中:
图像预处理层,对输入神经网络的图像进行归一化处理;
卷积层,对经过归一化处理的图像进行卷积和下采样操作,并逐级提取图像中的目标特征;
全连接层,将神经网络末端卷积层提取的目标特征进行分类;
SOFTMAX层,将全连接层的分类信息转化成每个分类的概率分数
有益效果:与现有技术相比,本发明具有以下优点:
(1)本发明采用人工标注和识别的大样本数据对多细胞检测模型和分类模型进行训练并进行图像预处理,显著增强细胞识别检测和泛化性能和鲁棒性,大幅降低外界环境和人工操作对检测结果的影响,提高了检测分析的准确率。
(2)本发明通过对显微图像的二值化分割处理,有效降低了环境、拍摄亮度、涂片人为操作及培养液杂质等干扰因素的影响;通过缺省填补在确保识别准确度的同时通过相邻帧加权数值补充处理,能快速提高分割阈值的收敛确定,提高了检测速度。
(3)本发明细胞分类模型采用卷积神经网络算法,通过不同尺寸卷积核减少计算量,从而提高模型的运算效率。
附图说明
图1为本发明所述基于深度学习的多细胞球识别与分类方法的流程示意图;
图2为本发明实施例中经过二值化分割处理前后的细胞显微图像;
图3为本发明所述基于深度学习的多细胞球识别与分类模型的卷积层模型结构示意图。
具体实施方式
下面结合附图并以具体实施例,进一步阐明本发明。应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示,本发明基于深度学习的多细胞球识别与分类方法的流程主要包括算法模型训练和检测:
一、图像分割及模型训练:
1、通过显微镜进行细胞显微图像采集,并进行灰度转化;
2、基于RCNN算法搭建细胞检测模型,并通过灰度图像进行人工标注的样本,对细胞检测模型进行训练得到最优RCNN检测模型;
4、通过最优RCNN检测模型对灰度图像进行多细胞球定位识别,并提取灰度图像中细胞子图像;
5、采用基于直方图分割阈值算法对细胞子图像进行二值化分割,并提取经过二值化分割的多细胞图像,并进行人工分类;
6、基于卷积神经网络算法搭建细胞分类模型,通过人工分类的多细胞图像样本进行训练,得到最优细胞分类模型;
二、细胞图像的检测与分类
1、加载训练好的最优RCNN检测模型;
2、输入待检测细胞显微图像,并进行灰度转化,同时对灰度图像的缺省值进行填充处理;
3、利用最优RCNN检测模型对图像进行细胞检测识别,并提取灰度图像中细胞子图像;
4、基于直方图分割阈值的算法对细胞子图像进行二值化分割,然后利用最优细胞分类模型对二值化图像完成细胞分类。
本发明采用的激光扫描共聚焦显微镜相对荧光显微镜的优势:能个在数字图像中捕获被荧光标记的组织样本细节,且数字图像几秒即可生成,生成速度快。
在对灰度图像搭建RCNN检测模型的实时过程中,考虑到存在细胞在该是极端无法
被分割和定位的情形,导致这些细胞所在帧的特征值缺省,因此需要对其进行缺值填充,以
形成前后相邻帧的相同特征值数量。缺省值处理按照与该数据最相近的若干个非空邻居帧
的加权平均值进行设置,缺省数据的加权平均值通过式(1)计算:
选择三时间阶段的分别为10帧和19帧进行试验:阶段1长度为19帧时间段25h50min~27h30min(TP1),阶段2长度为19的时间段18h10min~21h20min(TP2),阶段3长度为19真的时间段42h00min~45h10min(TP3);阶段1长度为10帧时间段19h30min~21h10min(TP1),阶段2长度为10的时间段24h50min~43h30min(TP2),阶段3长度为10帧的时间段26h00min~29h10min(TP3),随着阶段时长越大,视野细胞数量增大,但计算量急速增大,通过输入细胞图像灰度数据集进行交叉验证,计算结果根据不同缺省帧数目和填充进行比较,模型平均精度值约为0.632,比缺省无处理≤2的情形下精度高4.2%。
目前,通用的目标检测算法有很多,如Yolo、RCNN、Faster-RCNN等,本发明优选采用RCNN检测模型作为多细胞球识别模型算法,由于其多尺度检测框方法能更好适应不同细胞大小、单细胞或团聚细胞形态,具有更高的收敛和检测精度,其检测速度在百毫秒级别,能够满足细胞培养及临床检测科研的需求。采用RCNN模型,通过人工标注的样本进行对其训练得到最优检测模型,进而提取图像中细胞子图像。
在进行细胞显微图像采集时由于样本的背景的复杂和显示的非一致性,容易产生
细胞显微图像的背景杂质干扰因素。因此作为优选方案,本发明对图像进行空间变化、比例
缩放,及亮度和色彩的调整,从而能最大化忽略背景杂质,进而增强特征值提高目标细胞的
检测精度。提取的细胞子图像采用直方图分割阈值的算法进行二值化分割,二值化分割的
关键在于分割阈值的确认,本发明采用直方图分割阈值算法。首先,将多细胞球的子图像的
最大灰度和最小灰度的中值作为初始阈值,遍历灰度图像中所有像素点并根据阈值划分为
两个区域U1和U2;然后,计算两个区域U1和U2的区域弧度平均值TU1和TU2,以TU1和TU2的平
均值T1更新原阈值,并重复上述步骤直到,为误差系数,一般取值0.02~
0.10,并最终得到最优的分割阈值。
将结直肠癌细胞LOVO以0.2X106的密度接种在经过灭菌处理的凝胶培养基表面,在37℃和5%二氧化碳的环境下培养,每两天更换一次培养液培养7天,并采集细胞培养显微图像,按照上述方法进行直方图阈值计算,经过6.2s计算时间得到阈值为132(真实参考阈值103),相对otsu算法本发明准确度更高,相对于最大熵阈值算法(耗时5322.5s)具有更高的计算速度,并经过二值化分割,得到二值化分割前后的细胞显微图像对比,如图2(a)和(b)所示。
提取分割后的细胞图像并进行人工分类,采用卷积神经网络算法搭建细胞分类模型,并通过人工分类后的大样本多细胞子图像进行训练,得到最优细胞分类模型。对分割后的细胞图像并进行人工分类时,不局限于细胞形态、大小、聚集程度,仅以能被人为识别区分为准。分类方式可以是按照细胞聚集程度、细胞大小、细胞形状或按照细胞聚集数量多寡分为游离单细胞、中数量细胞团聚和多细胞团聚等,用以满足各种场景使用需要。所述基于卷积神经网络算法可采用GoogLeNet模型的Inception模块,搭建细胞分类模型的网络结构包括图像预处理层、多个卷积层、全连接层和SOFTMAX层,其中:图像预处理层,对输入神经网络的图像进行归一化处理,并进行降噪和缺省补充等预处理;卷积层,对经过归一化处理的图像进行卷积和下采样操作,并逐级提取图像中的目标特征,本发明包括3x3和1x1两种尺寸的卷积核,以代替初始5x5卷积核尺寸,大幅减少计算量,提高模型运行速率;全连接层,将神经网络末端卷积层提取的目标特征进行分类;SOFTMAX层,将全连接层的分类信息转化成每个分类的概率分数,通常情况下,可以选择概率得分最高的n个类别,作为分类的最终结果,即Top-n方法。
Claims (6)
1.一种基于深度学习的多细胞球识别与分类方法,其特征在于包括以下步骤:
S1:通过激光扫描共聚焦显微镜获取大样本的多细胞球培养显微图像,并转化成灰度图像;
S2,对灰度图像中多细胞球进行人工标注形成训练数据集,然后通过深度学习目标算法对RCNN算法模型进行训练得到最优RCNN检测模型;
S3,通过训练好的最优RCNN检测模型对灰度图像中的目标多细胞球进行识别和定位,提取图像中多细胞球的子图像;
S4,多细胞球的分割:采用基于直方图分割阈值的算法,从图像背景中对目标细胞进行分离:
首先,将多细胞球的子图像的最大灰度和最小灰度的中值作为初始阈值,遍历灰度图像中所有像素点并根据阈值划分为两个区域U1和U2;
S5,提取分割后的多细胞图像经过人工分类,利用卷积神经网络算法搭建细胞分类模型,并通过人工分类后的大样本多细胞子图像进行训练,得到最优细胞分类模型;
S6,利用训练好的最优细胞分类模型对步骤S4得到的二值化图像进行细胞分类。
3.根据权利要求2所述基于深度学习的多细胞球识别与分类方法,其特征在于:所述最相近的若干个非空邻居帧的数量为3或5。
4.根据权利要求1所述基于深度学习的多细胞球识别与分类方法,其特征在于:对所述RCNN算法模型和细胞分类模型进行训练时,均采用图像增强处理;所述数据增强处理包括对图片的空间变化处理、比例缩放处理、图片的亮度或色彩调整处理。
5.根据权利要求1所述基于深度学习的多细胞球识别与分类方法,其特征在于:步骤S5中所述细胞分类模型的卷积神经网络包括图像预处理层、多个卷积层、全连接层和SOFTMAX层,其中:
图像预处理层,对输入神经网络的图像进行归一化处理;
卷积层,对经过归一化处理的图像进行卷积和下采样操作,并逐级提取图像中的目标特征;
全连接层,将神经网络末端卷积层提取的目标特征进行分类;
SOFTMAX层,将全连接层的分类信息转化成每个分类的概率分数。
6.根据权利要求5所述基于深度学习的多细胞球识别与分类方法,其特征在于:所述卷积层包含3x3和1x1两种尺寸的卷积核,通过对上一层卷积层传入的二值化图像数据进行特征提取计算,得到的结果进行叠加形成总结果,并经过线性整流单元ReLU激活处理,并作为下一层卷积层输入值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011152120.5A CN112017208A (zh) | 2020-10-26 | 2020-10-26 | 一种基于深度学习的多细胞球识别与分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011152120.5A CN112017208A (zh) | 2020-10-26 | 2020-10-26 | 一种基于深度学习的多细胞球识别与分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112017208A true CN112017208A (zh) | 2020-12-01 |
Family
ID=73527658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011152120.5A Pending CN112017208A (zh) | 2020-10-26 | 2020-10-26 | 一种基于深度学习的多细胞球识别与分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112017208A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112798504A (zh) * | 2020-12-07 | 2021-05-14 | 西安电子科技大学 | 大视场高通量流式细胞分析系统及分析方法 |
CN116386038A (zh) * | 2023-04-11 | 2023-07-04 | 沃森克里克(北京)生物科技有限公司 | 一种dc细胞检测方法及系统 |
WO2024183382A1 (zh) * | 2023-03-09 | 2024-09-12 | 中国科学院深圳先进技术研究院 | 光学传感图像的信号检测方法、装置、设备及存储介质 |
-
2020
- 2020-10-26 CN CN202011152120.5A patent/CN112017208A/zh active Pending
Non-Patent Citations (3)
Title |
---|
刘坤平等: "《仪器分析教程》", 31 March 2019, 华中科技大学出版社 * |
杜军平等: "《跨尺度运动图像的插值、增强与重建》", 30 April 2019, 北京邮电大学出版社 * |
陈慧岩等: "《智能车辆理论与应用》", 31 July 2018, 北京理工大学出版社 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112798504A (zh) * | 2020-12-07 | 2021-05-14 | 西安电子科技大学 | 大视场高通量流式细胞分析系统及分析方法 |
WO2024183382A1 (zh) * | 2023-03-09 | 2024-09-12 | 中国科学院深圳先进技术研究院 | 光学传感图像的信号检测方法、装置、设备及存储介质 |
CN116386038A (zh) * | 2023-04-11 | 2023-07-04 | 沃森克里克(北京)生物科技有限公司 | 一种dc细胞检测方法及系统 |
CN116386038B (zh) * | 2023-04-11 | 2023-10-24 | 沃森克里克(北京)生物科技有限公司 | 一种dc细胞检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhu et al. | Lesion detection of endoscopy images based on convolutional neural network features | |
CN110223281B (zh) | 一种数据集中含有不确定数据时的肺结节图像分类方法 | |
CN109800824B (zh) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 | |
CN109345527B (zh) | 一种基于MaskRcnn的膀胱肿瘤检测方法 | |
CN107610087B (zh) | 一种基于深度学习的舌苔自动分割方法 | |
CN112017208A (zh) | 一种基于深度学习的多细胞球识别与分类方法 | |
CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
CN112614128B (zh) | 一种基于机器学习的内镜下辅助活检的系统及方法 | |
CN110472676A (zh) | 基于深度神经网络的胃早癌组织学图像分类系统 | |
CN113723573B (zh) | 基于自适应比例学习的肿瘤组织病理分类系统及方法 | |
CN114494195B (zh) | 用于眼底图像分类的小样本注意力机制并行孪生方法 | |
CN114266786B (zh) | 基于生成对抗网络的胃病变分割方法及系统 | |
CN109670489B (zh) | 基于多实例学习的弱监督式早期老年性黄斑病变分类方法 | |
CN112001895B (zh) | 一种甲状腺钙化检测装置 | |
CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
CN112991280B (zh) | 视觉检测方法、系统及电子设备 | |
CN116188786B (zh) | 一种肝胆管及胆道结石的图像分割系统 | |
CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
CN115984202A (zh) | 一种斑马鱼心血管功能智能识别与评价方法 | |
CN115471701A (zh) | 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法 | |
CN118115783B (zh) | 基于深度学习的角膜染色分析方法及相关训练方法和系统 | |
CN112991281B (zh) | 视觉检测方法、系统、电子设备及介质 | |
Ali et al. | Deep learning-based classification of viruses using transmission electron microscopy images | |
CN109948706B (zh) | 结合深度学习与特征多尺度融合的微钙化簇检测方法 | |
CN116434920A (zh) | 一种胃肠上皮化生进展风险预测方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201201 |
|
RJ01 | Rejection of invention patent application after publication |