CN110097552A - 一种小鼠前额叶神经元双光子荧光图像的自动分割方法 - Google Patents

一种小鼠前额叶神经元双光子荧光图像的自动分割方法 Download PDF

Info

Publication number
CN110097552A
CN110097552A CN201810642767.2A CN201810642767A CN110097552A CN 110097552 A CN110097552 A CN 110097552A CN 201810642767 A CN201810642767 A CN 201810642767A CN 110097552 A CN110097552 A CN 110097552A
Authority
CN
China
Prior art keywords
neuron
image
prefrontal lobe
photon fluorescence
mouse prefrontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810642767.2A
Other languages
English (en)
Inventor
陆洋
周专
周博
李明立
王伦
王庆龙
陈国庆
孙立媛
孙素华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201810642767.2A priority Critical patent/CN110097552A/zh
Publication of CN110097552A publication Critical patent/CN110097552A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Abstract

本发明涉及一种小鼠前额叶神经元双光子荧光图像的自动分割方法，包含了采集神经元双光子图像数据部分、图像数据增强并采用带模糊边界的实例标注方法得到若干子图及标注集合部分、通过带残差网络微结构的多尺度特征融合框架实现神经元自动分割部分以及通过形态学后处理得到输出分割结果部分。本发明能够实时分割由双光子荧光显微镜采集的小鼠前额叶神经元活动的成像数据，对神经生物学研究的数据分析具有潜在价值。

Description

一种小鼠前额叶神经元双光子荧光图像的自动分割方法
技术领域
本发明涉及一种小鼠前额叶神经元双光子荧光图像的自动分割方法，属于图像处理技术领域。
背景技术
双光子荧光成像技术由于具有分辨率高、可以用于活体实验等优点，被广泛的应用于神经生物学领域。同时，科研人员的实验需求已不再局限于对实验对象的可视化观察等单一领域，在许多场合需要对采集的实验数据进行更高层次的定量分析。而双光子荧光图像中自动分割神经元细胞是各种定量分析应用中的关键任务，但对于自动神经元细胞图像分割任务来说，依然存在三大挑战：(1)神经元细胞黏连严重，形成致密的簇状结构，细胞边界非常不明显。即使对生物学家来说，使得难以正确识别所有的单独细胞。(2)荧光染料常由于扩散不均匀，导致荧光图像有一些位置对比度低，轮廓模糊难以辨认。(3)像素精度级别的标记样本数据很难获得，数据集的规模十分有限。对于上述挑战，传统的基于区域或小波变换的分割方法准确率低，同时鲁棒性也较差，难以应用于实际的数据分析中去。因此，亟需一种小鼠前额叶神经元双光子荧光图像的自动分割方法。
发明内容
为了能够解决神经生物学领域科研人员对小鼠前额叶神经元双光子荧光图像的定量分析的中，传统的基于区域或小波变换的分割方法准确率低，同时鲁棒性也较差，难以应用于实际的数据分析中的不足，本发明的目的在于提供一种小鼠前额叶神经元双光子荧光图像的自动分割方法。
为了实现上诉目的，本发明的技术方案如下：
一种小鼠前额叶神经元双光子荧光图像的自动分割方法，由以下步骤组成：
1)采集使用钙离子指示剂染色的小鼠前额叶神经元双光子图像数据；优选的，所述的小鼠前额叶神经元实验样本在采集前使用钙离子指示剂以及显色剂标记；优选的，所述的采集图像数据时采用的双光子荧光扫描序列为2D点扫描序列；优选的，所述的图像数据使用过8-16赫兹扫描频率采样获得。
2)将采集到的图像数据进行图像增强处理；优选的，所述的图像增强方法包括：水平翻转、垂直翻转、随机旋转(1到180度之间)一定角度，每个操作以50％的概率随机应用于训练样本中。
3)将图像增强处理后的数据使用带模糊边界的实例标注方法得到L个子图及标注集合；优选的，所述的带模糊边界的实例标注方法首先采用保守的标注方案提取可靠的标注样本，然后对于细胞边界的模糊像素，设置一个间隙区域，用于区别于细胞和背景。
4)将L个子图及标注集合训练图像分割网络模型M；优选的，所述的图像分割网络模型M是经过有监督学习得到的非线性映射，通过把残差网络微结构嵌入U-Net为模板的多尺度特征融合框架里，构建全卷积神经网络。
5)将新采集的小鼠前额叶神经元双光子图像通过训练好的网络模型M进行自动分割；
6)将网络模型M的分割结果通过形态学后处理得到最终分割结果。
综上所述，一种小鼠前额叶神经元双光子荧光图像的自动分割方法，主要创新之处在于：通过把残差网络微结构嵌入U-Net为模板的多尺度特征融合框架里，构建全卷积神经网络；同时采用带模糊边界的实例标注方法来训练全卷积神经网络，得到了输入输出图像数据之间的非线性映射，进而通过该网络，实现在小鼠前额叶神经元双光子荧光图像的自动分割。
附图说明
图1为本发明的整体流程图
图2为本发明的一个分割结果图
具体实施方式
下面通过具体实施例对本发明进行说明，但本发明并不局限于此。
如图1所示，本发明的一种小鼠前额叶神经元双光子荧光图像的自动分割方法，首先采集使用钙离子指示剂染色的小鼠前额叶神经元双光子图像数据；然后将采集到的图像数据进行图像增强处理；并将图像增强处理后的数据使用带模糊边界的实例标注方法得到L个子图及标注集合；进而将L个子图及标注集合训练图像分割网络模型M；接着将新采集的小鼠前额叶神经元双光子图像通过训练好的网络模型M进行自动分割；最终将网络模型M的分割结果通过形态学后处理得到最终分割结果输出。
本实施例中小鼠前额叶神经元实验样本在采集前使用钙离子指示剂以及显色剂标记，采集图像数据时采用的双光子荧光扫描序列为2D点扫描序列，并使用过8赫兹扫描频率采样获得。
本实施例中图像增强方法包括：水平翻转、垂直翻转、随机旋转(1到180度之间)一定角度，每个操作以50％的概率随机应用于训练样本中。
本实施例中图像分割网络模型M是经过有监督学习得到的非线性映射，通过把残差网络微结构嵌入U-Net为模板的多尺度特征融合框架里，构建全卷积神经网络。具体来说，该网络包括转换模块、编码器模块、解码器模块以及预测模块。其中转换模块使用7x7的卷积操作和ReLU操作使输入数据(双光子图像数据)在一个更加丰富的特征空间表达。编解码器主要由4个不同的尺度构成，在尺度k中(k＝1,…,4)，编码器模块k主要负责抽取细节信息，解码器模块k负责整合本尺度抽取的抽象概念，也就是神经元细胞的位置信息。预测模块采用1x1的卷积操作和SoftMax方法，输出表示每个像素属于神经元的概率。
图2显示为采用本发明得到的神经元的自动分割结果；图像给出三例典型的小鼠前额叶神经元的双光子荧光成像的结果图，(a)列为双光子显微镜采集的原始图像，(b)列为本发明的自动分割结果，(c)列为人工标注结果。结果表明本方法能够较好的自动分割小鼠前额叶神经元双光子荧光图像，可以有效区分开细胞黏连的情况，并且在信噪比较低的区域也具有较精确的分割结果。

Claims (5)

1.一种小鼠前额叶神经元双光子荧光图像的自动分割方法，其特征在于，由以下步骤组成：
1)采集使用钙离子指示剂染色的小鼠前额叶神经元双光子图像数据；
2)将采集到的图像数据进行图像增强处理；
3)将图像增强处理后的数据使用带模糊边界的实例标注方法得到L个子图及标注集合；
4)训练L个子图及标注集合得到图像分割网络模型M；
5)将新采集得到小鼠前额叶神经元双光子图像通过训练好的网络模型M进行自动分割；
6)将网络模型M的分割结果通过形态学后处理得到最终分割结果。
2.如权利要求1所述的一种小鼠前额叶神经元双光子荧光图像的自动分割方法，其特征在于，所述步骤1)中的小鼠前额叶神经元实验样本在采集前使用钙离子指示剂以及显色剂标记；所述的采集图像数据时采用的双光子荧光扫描序列为2D点扫描序列；所述的图像数据通过8-16赫兹扫描频率采样获得。
3.如权利要求1所述的一种小鼠前额叶神经元双光子荧光图像的自动分割方法，其特征在于，所述步骤2)中的图像增强方法包括：水平翻转、垂直翻转、随机旋转(1到180度之间)，每个操作以50％的概率随机应用于训练样本中。
4.如权利要求1所述的一种小鼠前额叶神经元双光子荧光图像的自动分割方法，其特征在于，所述步骤3)中的带模糊边界的实例标注方法首先采用保守的标注方案提取可靠的标注样本，然后对于细胞边界的模糊像素，设置一个间隙区域，用于区别于细胞和背景。
5.如权利要求1所述的一种小鼠前额叶神经元双光子荧光图像的自动分割方法，其特征在于，所述步骤4)中的图像分割网络模型M是经过有监督学习得到的非线性映射，通过把残差网络微结构嵌入U-Net为模板的多尺度特征融合框架里，构建全卷积神经网络。
CN201810642767.2A 2018-06-21 2018-06-21 一种小鼠前额叶神经元双光子荧光图像的自动分割方法 Pending CN110097552A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810642767.2A CN110097552A (zh) 2018-06-21 2018-06-21 一种小鼠前额叶神经元双光子荧光图像的自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810642767.2A CN110097552A (zh) 2018-06-21 2018-06-21 一种小鼠前额叶神经元双光子荧光图像的自动分割方法

Publications (1)

Publication Number Publication Date
CN110097552A true CN110097552A (zh) 2019-08-06

Family

ID=67443507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810642767.2A Pending CN110097552A (zh) 2018-06-21 2018-06-21 一种小鼠前额叶神经元双光子荧光图像的自动分割方法

Country Status (1)

Country Link
CN (1) CN110097552A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967530A (zh) * 2020-08-28 2020-11-20 南京诺源医疗器械有限公司 一种医学荧光成像系统的荧光区域识别方法
CN112070722A (zh) * 2020-08-14 2020-12-11 厦门骁科码生物科技有限公司 一种荧光原位杂交细胞核分割方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366180A (zh) * 2013-06-14 2013-10-23 山东大学 一种基于自动特征学习的细胞图像分割方法
CN106296712A (zh) * 2016-08-23 2017-01-04 四川木牛流马智能科技有限公司 全自动神经嵴细胞显微图像分割系统及方法
CN106952275A (zh) * 2017-03-16 2017-07-14 南京师范大学 一种基于粒子群神经网络的细胞图像分割方法
CN107424159A (zh) * 2017-07-28 2017-12-01 西安电子科技大学 基于超像素边缘和全卷积网络的图像语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366180A (zh) * 2013-06-14 2013-10-23 山东大学 一种基于自动特征学习的细胞图像分割方法
CN106296712A (zh) * 2016-08-23 2017-01-04 四川木牛流马智能科技有限公司 全自动神经嵴细胞显微图像分割系统及方法
CN106952275A (zh) * 2017-03-16 2017-07-14 南京师范大学 一种基于粒子群神经网络的细胞图像分割方法
CN107424159A (zh) * 2017-07-28 2017-12-01 西安电子科技大学 基于超像素边缘和全卷积网络的图像语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAN C. CIRES¸AN: """Deep Neural Networks Segment Neuronal Membranes in Electron Microscopy Images""", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS》 *
MD ZAHANGIR ALOM1: ""Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation"", 《ARXIV》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070722A (zh) * 2020-08-14 2020-12-11 厦门骁科码生物科技有限公司 一种荧光原位杂交细胞核分割方法及系统
CN111967530A (zh) * 2020-08-28 2020-11-20 南京诺源医疗器械有限公司 一种医学荧光成像系统的荧光区域识别方法

Similar Documents

Publication Publication Date Title
US20240153272A1 (en) Method for detecting urine formed elements based on deep learning and context relation
CN109903284B (zh) 一种her2免疫组化图像自动判别方法及系统
CN108288506A (zh) 一种基于人工智能技术的癌症病理辅助诊断方法
CN108596046A (zh) 一种基于深度学习的细胞检测计数方法及系统
CN111462076B (zh) 一种全切片数字病理图像模糊区域检测方法及系统
CN109784326A (zh) 一种基于深度学习的车辆底盘检测方法
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN110032985A (zh) 一种血细胞自动检测识别方法
CN108596038B (zh) 一种结合形态学分割和神经网络的粪便中红细胞识别方法
CN105122308A (zh) 用于使用连续染色组织上的单细胞划分的多路生物标志定量的系统和方法
CN108846828A (zh) 一种基于深度学习的病理图像目标区域定位方法及系统
CN106023224A (zh) 一种中药材显微图像的pcnn自动分割方法
CN107818321A (zh) 一种用于车辆年检的水印日期识别方法
CN102214290B (zh) 车牌定位方法及车牌定位模板训练方法
US11488401B2 (en) Prostate cancer tissue image classification with deep learning
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN110796661B (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
CN110020658A (zh) 一种基于多任务深度学习的显著目标检测方法
CN110097552A (zh) 一种小鼠前额叶神经元双光子荧光图像的自动分割方法
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN103295238B (zh) 安卓平台上基于roi运动检测的视频实时定位方法
CN110751138A (zh) 一种基于yolov3和CNN的盘头标识识别方法
CN113077438B (zh) 针对多细胞核彩色图像的细胞核区域提取方法及成像方法
CN110390322A (zh) 一种用于深度学习的籽棉地膜高光谱可视化标签算法
CN114235539A (zh) 基于深度学习的pd-l1病理切片自动判读方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190806