CN109447185A - 基于深度学习的显微荧光图像分类方法 - Google Patents

基于深度学习的显微荧光图像分类方法 Download PDF

Info

Publication number
CN109447185A
CN109447185A CN201811441094.0A CN201811441094A CN109447185A CN 109447185 A CN109447185 A CN 109447185A CN 201811441094 A CN201811441094 A CN 201811441094A CN 109447185 A CN109447185 A CN 109447185A
Authority
CN
China
Prior art keywords
fluorescence image
microscopic fluorescence
microscopic
deep learning
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811441094.0A
Other languages
English (en)
Inventor
田捷
孟慧
王坤
高源�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201811441094.0A priority Critical patent/CN109447185A/zh
Publication of CN109447185A publication Critical patent/CN109447185A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的显微荧光图像分类方法,该方法包括如下步骤:利用不同肿瘤细胞系构建生物体肿瘤模型;对生物体肿瘤模型静脉注射吲哚菁绿,切除肿瘤做冰冻切片;利用荧光显微镜采集冰冻切片的显微荧光图像;预处理显微荧光图像;搭建卷积神经网络;利用卷积神经网络实现显微荧光图像的分类。本发明提出的基于深度学习的肝癌显微荧光图像分类方法,无需对冰冻切片做复杂的染色操作,因此可以减免染色过程带来的时间和金钱成本。

Description

基于深度学习的显微荧光图像分类方法
技术领域
本发明涉及光学分子影像领域,尤其涉及一种基于深度学习的显微荧光图像分类方法。
背景技术
光学分子影像技术作为一种新兴的分子影像技术,可以灵敏地检测生物组织的生理和病理信息。与其他分子影像技术相比,光学分子影像技术具有探针种类多、灵敏度高、可动态成像的特性。
显微荧光成像是基于激发荧光成像技术的高分辨率成像技术。该成像技术可以实现荧光探针在生物组织中的微观成像,进一步促进了荧光成像在肿瘤疗效评估、病理分析等预临床方面的应用。
目前显微荧光成像技术已广泛用于血液动力学和神经系统的研究。其中,用于血液动力学研究的显微荧光成像旨在实时动态观测药代动力学,用于神经系统研究的显微荧光成像旨在观测小鼠的不同应激反应。为了实现显微荧光成像在肿瘤分类方面的应用,特别是具有不同转移潜能的肝癌的分类,需要训练合适的分类器处理显微荧光图像,从而达到不同肝癌的准确分类。考虑到显微荧光图像的分辨率高,数据量大的特点,可以利用卷积神经网络自动提取显微荧光图像中的标志性特征,进而基于提取的特征实现不同肝癌显微荧光图像的分类。考虑到肝癌对吲哚菁绿具有特异性摄取功能,而具有不同转移潜能的肝癌对吲哚菁绿的摄取情况不同,基于此,可以利用深度学习构建肝癌显微荧光图像的分类器,实现不同转移潜能的肝癌的分类。
发明内容
基于上述技术问题,本发明的目的在于提供一种基于深度学习的显微荧光图像分类方法,从而实现具有不同转移潜能的肝癌图像的分类,便于后续肿瘤异质性和药物评估的研究。
为了实现上述目的,根据本发明的一个方面,本发明提供了一种基于深度学习的显微荧光图像分类方法,其包括如下步骤:
利用不同肿瘤细胞系构建生物体肿瘤模型;
对生物体肿瘤模型静脉注射吲哚菁绿,手术切除肿瘤做冰冻切片;
利用荧光显微镜采集冰冻切片的显微荧光图像;
预处理显微荧光图像;
搭建并训练卷积神经网络;
利用卷积神经网络实现显微荧光图像的分类。
进一步的,肿瘤细胞系为具有不同转移潜能的人源肿瘤细胞。
进一步的,对生物体肿瘤模型静脉注射吲哚菁绿,手术切除肿瘤做冰冻切片包括:
对不同的生物体肿瘤模型静脉注射吲哚菁绿,生物体麻醉后,手术切除肿瘤,包埋后做冰冻切片。
进一步的,利用荧光显微镜采集冰冻切片的显微荧光图像包括:
利用倒置荧光显微镜和近红外荧光相机采集冰冻切片的显微荧光图像。
进一步的,显微荧光图像的预处理,包括裁切和均值拉伸。
进一步的,预处理中均值拉伸基于以下公式实施:
其中,图像尺寸为N*N,vi,j表示图像中第i行,第j列的像素,vk,l为图像中第k行,第1列的像素。
进一步的,搭建并训练卷积神经网络包括:
搭建卷积神经网络;
将不同肿瘤细胞系的显微荧光图像随机分为训练集和验证集;
利用训练集中的显微荧光图像数据训练搭建的卷积神经网络,利用验证集中的显微荧光图像数据验证卷积神经网络的适用性和鲁棒性。
进一步的,利用卷积神经网络实现显微荧光图像的分类包括:
卷积神经网络依据深度学习方法自动提取适合显微荧光图像分类的特征,然后进行分类处理。
基于上述实现方法,本发明还提供了一种基于深度学习的显微荧光图像分类装置,包括:
采集模块,利用不同肿瘤细胞系构建生物体肿瘤模型,对生物体肿瘤模型静脉注射吲哚菁绿,手术切除肿瘤做冰冻切片,在此基础上利用荧光显微镜采集冰冻切片的显微荧光图像;
预处理模块,对采集模块采集到的显微荧光图像进行预处理,包括裁切和均值拉伸;
分类模块,搭建并训练卷积神经网络,利用该卷积神经网络实现预处理后的显微荧光图像的分类。
与现有技术相比,本发明至少具有如下优点:提出了一种基于深度学习的肝癌显微荧光图像分类方法,无需对冰冻切片做复杂的染色操作,因此可以减免染色过程带来的时间和金钱成本。该方法实现了具有不同转移潜能的肝癌显微荧光图像的分类,为病理学家的肿瘤诊断工作提供了辅助性工具,可以促进显微荧光成像在肿瘤诊疗方面的应用。
附图说明
通过下文中参照附图对本发明所作的描述,本发明的其它目的和优点将显而易见,并可帮助对本发明有全面的理解。
图1是根据本发明实施例的基于深度学习的肝癌显微荧光图像分类方法的流程图;
图2是本发明实施例用于肝癌显微荧光图像分类的神经网络框架图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
下面结合附图对本发明的基于深度学习的显微荧光图像分类方法进行详细描述。
本发明一实施例提供了一种基于深度学习的肝癌显微荧光图像分类方法,请参照图1,为实现该方法的流程图,包括:
步骤1,利用不同肿瘤细胞系构建生物体肿瘤模型;
一些实施例中,肿瘤细胞系为具有不同转移潜能的人源肿瘤细胞。
步骤2,对生物体肿瘤模型静脉注射吲哚菁绿,手术切除肿瘤做冰冻切片;
一些实施例中,该步骤包括:
对不同的生物体肿瘤模型静脉注射吲哚菁绿,生物体麻醉后,手术切除肿瘤,包埋后做冰冻切片。
步骤3,利用荧光显微镜采集冰冻切片的显微荧光图像;
一些实施例中,该步骤包括:
利用倒置荧光显微镜和近红外荧光相机采集冰冻切片的显微荧光图像。
步骤4,预处理显微荧光图像;
根据优选的实施例,显微荧光图像的预处理,包括裁切和均值拉伸。
一些实施例中,均值拉伸基于以下公式实施:
其中,图像尺寸为N*N,vi,j表示图像中第i行,第j列的像素,vk,l为图像中第k行,第1列的像素。
步骤5,搭建并训练卷积神经网络;
根据优选的实施例,该步骤包括:
搭建卷积神经网络;
本实施例中,请参照图2,搭建的卷积神经网络包括:一个输入层、五个卷积层和池化层,一个全连接层以及一个输出层。
将不同肿瘤细胞系的显微荧光图像随机分为训练集和验证集;
利用训练集中的显微荧光图像数据训练搭建的卷积神经网络,利用验证集中的显微荧光图像数据验证卷积神经网络的适用性和鲁棒性。
步骤6,利用卷积神经网络实现显微荧光图像的分类;
一些实施例中,该步骤包括:
卷积神经网络依据深度学习方法自动提取适合显微荧光图像分类的特征,然后进行分类处理。
基于上述实现方法,本发明另一实施例还提供了一种基于深度学习的显微荧光图像分类装置,包括:
采集模块,利用不同肿瘤细胞系构建生物体肿瘤模型,对生物体肿瘤模型静脉注射吲哚菁绿,手术切除肿瘤做冰冻切片,在此基础上利用荧光显微镜采集冰冻切片的显微荧光图像;
预处理模块,对采集模块采集到的显微荧光图像进行预处理,包括裁切和均值拉伸;
分类模块,搭建并训练卷积神经网络,利用该卷积神经网络实现预处理后的显微荧光图像的分类。
本发明提供的实施例中,生物体可以是动物或人,肿瘤模型可以是肝癌、脑胶质瘤以及乳腺癌。
本发明是一种基于深度学习的显微荧光图像分类方法。基于深度学习的肝癌显微荧光图像分类方法有别于传统的显微图像处理方法,该方法处理的显微图像为显微荧光图像,其不需要进行复杂的染色处理,数据的获取方便快捷,可以节省时间和金钱成本。由于显微荧光图像的分辨率高,数据量大,基于深度学习的肝癌显微荧光图像分类可以实现高精度的图像分类效果,这有利于辅助病理学家诊断肿瘤的类型,对肿瘤异质性的研究具有极大的意义。
此外,肝癌显微荧光图像的分类基于卷积神经网络实现。该方法不需要人工设定图像特征,网络自动提取显微图像中的特征,因此采用深度学习的方法有助于提取适合图像分类的更高级的图像特征。基于上述策略,基于深度学习的肝癌显微图像分类方法克服了传统的病理染色问题,提高了具有不同潜能的肝癌显微图像的分类准确度。
最后应说明的是:以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的肝癌显微荧光图像分类方法,其特征在于,包括:
利用不同肿瘤细胞系构建生物体肿瘤模型;
对生物体肿瘤模型静脉注射吲哚菁绿,手术切除肿瘤做冰冻切片;
利用荧光显微镜采集冰冻切片的显微荧光图像;
预处理所述显微荧光图像;
搭建并训练卷积神经网络;
利用所述卷积神经网络实现显微荧光图像的分类。
2.根据权利要求1所述的基于深度学习的肝癌显微荧光图像分类方法,其特征在于,所述肿瘤细胞系为具有不同转移潜能的人源肿瘤细胞。
3.根据权利要求1所述的基于深度学习的肝癌显微荧光图像分类方法,其特征在于,所述对生物体肿瘤模型静脉注射吲哚菁绿,手术切除肿瘤做冰冻切片包括:
对不同的生物体肿瘤模型静脉注射吲哚菁绿,生物体麻醉后,手术切除肿瘤,包埋后做冰冻切片。
4.根据权利要求1所述的基于深度学习的肝癌显微荧光图像分类方法,其特征在于,所述利用荧光显微镜采集冰冻切片的显微荧光图像包括:
利用倒置荧光显微镜和近红外荧光相机采集冰冻切片的显微荧光图像。
5.根据权利要求1所述的基于深度学习的肝癌显微荧光图像分类方法,其特征在于,所述显微荧光图像的预处理,包括裁切和均值拉伸。
6.根据权利要求1或5任一所述的基于深度学习的肝癌显微荧光图像分类方法,其特征在于,所述预处理中均值拉伸基于以下公式实施:
其中,图像尺寸为N*N,υi,j表示图像中第i行,第j列的像素,vk,l为图像中第k行,第1列的像素。
7.根据权利要求1所述的基于深度学习的肝癌显微荧光图像分类方法,其特征在于,所述搭建并训练卷积神经网络包括:
搭建卷积神经网络;
将不同肿瘤细胞系的显微荧光图像随机分为训练集和验证集;
利用训练集中的显微荧光图像数据训练搭建的卷积神经网络,利用验证集中的显微荧光图像数据验证卷积神经网络的适用性和鲁棒性。
8.根据权利要求1所述的基于深度学习的肝癌显微荧光图像分类方法,其特征在于,所述利用卷积神经网络实现显微荧光图像的分类包括:
卷积神经网络依据深度学习方法自动提取适合显微荧光图像分类的特征,然后进行分类处理。
9.一种基于深度学习的显微荧光图像分类装置,其特征在于,包括:
采集模块,利用不同肿瘤细胞系构建生物体肿瘤模型,对生物体肿瘤模型静脉注射吲哚菁绿,手术切除肿瘤做冰冻切片,在此基础上利用荧光显微镜采集冰冻切片的显微荧光图像;
预处理模块,对采集模块采集到的显微荧光图像进行预处理,包括裁切和均值拉伸;
分类模块,搭建并训练卷积神经网络,利用该卷积神经网络实现预处理后的显微荧光图像的分类。
CN201811441094.0A 2018-11-28 2018-11-28 基于深度学习的显微荧光图像分类方法 Pending CN109447185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811441094.0A CN109447185A (zh) 2018-11-28 2018-11-28 基于深度学习的显微荧光图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811441094.0A CN109447185A (zh) 2018-11-28 2018-11-28 基于深度学习的显微荧光图像分类方法

Publications (1)

Publication Number Publication Date
CN109447185A true CN109447185A (zh) 2019-03-08

Family

ID=65556475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811441094.0A Pending CN109447185A (zh) 2018-11-28 2018-11-28 基于深度学习的显微荧光图像分类方法

Country Status (1)

Country Link
CN (1) CN109447185A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894025A (zh) * 2016-03-30 2016-08-24 中国科学院自动化研究所 基于多任务深度学习的自然图像美感质量评估方法
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
CN107392895A (zh) * 2017-07-14 2017-11-24 深圳市唯特视科技有限公司 一种基于卷积循环网络的3d血管结构提取方法
CN107851176A (zh) * 2015-02-06 2018-03-27 阿克伦大学 光学成像系统及其方法
CN108230335A (zh) * 2017-12-29 2018-06-29 北京数字精准医疗科技有限公司 多光谱荧光分割方法及装置
CN108520206A (zh) * 2018-03-22 2018-09-11 南京大学 一种基于全卷积神经网络的真菌显微图像识别方法
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851176A (zh) * 2015-02-06 2018-03-27 阿克伦大学 光学成像系统及其方法
CN105894025A (zh) * 2016-03-30 2016-08-24 中国科学院自动化研究所 基于多任务深度学习的自然图像美感质量评估方法
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
CN107392895A (zh) * 2017-07-14 2017-11-24 深圳市唯特视科技有限公司 一种基于卷积循环网络的3d血管结构提取方法
CN108230335A (zh) * 2017-12-29 2018-06-29 北京数字精准医疗科技有限公司 多光谱荧光分割方法及装置
CN108520206A (zh) * 2018-03-22 2018-09-11 南京大学 一种基于全卷积神经网络的真菌显微图像识别方法
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
中华医学会数字医学分会: "计算机辅助联合吲哚菁绿分子荧光影像技术在", 《中国实用外科杂志》 *
何攀等: "《肝脏肿瘤术中吲哚氰绿荧光显像的临床应用进展》", 《中国普外基础与临床杂志》 *

Similar Documents

Publication Publication Date Title
CN109858540B (zh) 一种基于多模态融合的医学图像识别系统及方法
CN106780448B (zh) 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类系统
CN109670510B (zh) 一种基于深度学习的胃镜活检病理数据筛查系统
Hao et al. Fusing multiple deep models for in vivo human brain hyperspectral image classification to identify glioblastoma tumor
CN107368670A (zh) 基于大数据深度学习的胃癌病理诊断支持系统和方法
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN108694718A (zh) 直肠癌术前同期新辅助放化疗疗效评估系统和方法
CN107369151A (zh) 基于大数据深度学习的胃肠间质瘤病理诊断支持系统和方法
CN107007278A (zh) 基于多参数特征融合的自动睡眠分期方法
CN106204532B (zh) 基于特征数据挖掘及神经网络的肿瘤的分类方法
CN106874687A (zh) 病理切片图像智能分类方法及装置
CN105286768B (zh) 基于手机平台下的人体健康状态的舌苔诊断装置
CN113610859B (zh) 一种基于超声图像的甲状腺结节自动分割方法
CN109886346A (zh) 一种心肌mri图像分类系统
CN108922602A (zh) 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法
CN109215040A (zh) 一种基于多尺度加权学习的乳腺肿瘤分割方法
CN108877923A (zh) 一种基于深度学习的舌苔生成中药处方的方法
CN110334566A (zh) 一种基于三维全卷积神经网络的oct内外指纹提取方法
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
CN114360718B (zh) 一种基于特征拟合的pet/ct自动肺癌诊断分类系统及构建方法
Tong et al. Improving classification of breast cancer by utilizing the image pyramids of whole-slide imaging and multi-scale convolutional neural networks
CN106340096A (zh) 一种基于指纹指静脉识别智能锁具的识别装置和方法
Lihacova et al. Multi-class CNN for classification of multispectral and autofluorescence skin lesion clinical images
Song et al. Red blood cell classification based on attention residual feature pyramid network
CN109003659A (zh) 胃幽门螺旋杆菌感染病理诊断支持系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308

RJ01 Rejection of invention patent application after publication