CN113034429A - 一种脑切片标记神经细胞检测方法及装置 - Google Patents

一种脑切片标记神经细胞检测方法及装置 Download PDF

Info

Publication number
CN113034429A
CN113034429A CN202011388114.XA CN202011388114A CN113034429A CN 113034429 A CN113034429 A CN 113034429A CN 202011388114 A CN202011388114 A CN 202011388114A CN 113034429 A CN113034429 A CN 113034429A
Authority
CN
China
Prior art keywords
brain slice
labeled
data set
target detection
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011388114.XA
Other languages
English (en)
Inventor
王松伟
牛克
王宇航
李倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202011388114.XA priority Critical patent/CN113034429A/zh
Publication of CN113034429A publication Critical patent/CN113034429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及一种脑切片标记神经细胞检测方法及装置，属于目标检测技术领域。其中方法包括：通过手术处理、病毒标记、免疫组化和共聚焦成像等步骤获取荧光标记脑切片；将荧光标记脑切片进行神经细胞标注，得到目标检测网络模型训练的数据集，该数据集包括训练数据集、验证数据集和测试数据集；将数据集输入目标检测网络中进行训练，得到目标检测模型的最优参数；将得到的最优参数应用于所要检测的荧光标记脑切片，完成脑切片标记神经细胞的检测。本发明实现脑切片中标记神经细胞的自动检测，操作简捷方便，可以非常精确的检测出标记神经细胞。

Description

一种脑切片标记神经细胞检测方法及装置
技术领域
本发明涉及一种脑切片标记神经细胞检测方法及装置，属于目标检测技术领域。
背景技术
大脑作为动物神经系统最高级的部分，其由数量庞大、形态及功能不同的神经细胞组成，并通过不同的神经网络主导动物的生理、心理活动。大脑的研究对治疗脑神经疾病、优化人工智能具有重要意义。随着神经信息处理手段和神经成像技术的不断发展，对大脑的研究逐渐由认识大脑的功能和结构转向更为深入的神经功能研究。随着神经环路标记和神经染色技术的发展以及磁共振成像技术的应用，需要对脑切片中的神经细胞数目、荧光信号强度和分子表达水平进行量化分析，进而对脑神经网络的组成以及神经细胞分布特性进行研究。
脑切片标记神经细胞检测属于目标检测技术领域，目标检测是计算机视觉和数字图像处理中的重要技术，主要任务是在图像中定位预定义目标的类别并进行判断。传统的目标检测方法可以分为区域选择、特征提取和分类器三个部分。区域选择的目的是对目标的位置进行定位，由于目标的大小以及在图像中出现的位置不能确定，需要采用滑动窗口的方法遍历整个图像以确定候选区域。特征提取是对确定的候选区域进行特征提取，传统目标检测中常用的特征提取方法有SIFT和HOG等。分类器的作用是对检测到的目标进行分类，常用的分类器有SVM和Adaboost等。但由于传统目标检测方法大多采用的是人工设计的特征，因此其对目标的多样性变化没有很好的鲁棒性。并且传统的目标检测方法采用滑动窗口的区域选择没有针对性，存在时间复杂度高和窗口冗余等缺陷，导致分类错误率较高。由于荧光标记脑切片中存在特殊形态的标记神经细胞，并且存在污染的染色试剂点，采用传统的目标检测方法容易发生漏检和误检的现象。
发明内容
本发明的目的在于提供一种脑切片标记神经细胞检测方法，用以解决现有目标检测方法存在的漏检和误检问题；同时还提供一种脑切片标记神经细胞检测装置，用以解决现有目标检测装置存在的漏检和误检问题。
为实现上述目的，本发明提出一种脑切片标记神经细胞检测方法，包括以下步骤：
通过对动物进行手术处理、病毒标记、免疫组化和共聚焦成像等步骤获取荧光标记脑切片；
将荧光标记脑切片进行神经细胞标注，得到目标检测网络模型训练的数据集，该数据集包括训练数据集、验证数据集和测试数据集；
将数据集输入目标检测网络中进行训练，得到目标检测模型的最优参数；
将得到的最优参数应用于所要检测的荧光标记脑切片，完成脑切片标记神经细胞的检测。
另外，本发明还提出一种脑切片标记神经细胞检测装置，包括存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现上述脑切片标记神经细胞检测方法。
有益效果是：本发明对获取的荧光标记脑切片中神经细胞标注后得到的数据集进行目标检测网络的训练，得到目标检测模型的最优参数，之后将得到的最优参数作用于所要检测的荧光标记脑切片，实现脑切片标记神经细胞的检测，本发明实现脑切片中标记神经细胞的自动检测，操作简捷方便，可以非常精确的检测出标记神经细胞。
进一步的，上述脑切片标记神经细胞检测方法及装置中，为了获取荧光标记脑切片，对动物进行嗜神经工具病毒注射、取材及样本制备、免疫组化及共聚焦成像。
进一步的，上述脑切片标记神经细胞检测方法及装置中，为了使目标检测网络得到更好的训练，使用标注工具软件对荧光标记脑切片中的神经细胞进行标注，得到训练所需的数据集。
进一步的，上述脑切片标记神经细胞检测方法及装置中，所述目标检测网络为IRNFaster R-CNN深度学习网络。
进一步的，上述脑切片标记神经细胞检测方法及装置中，所述的IRN Faster R-CNN深度学习网络包括Inception-Res-Net特征提取网络、RPN网络、ROI Pooling和全连接网络。
附图说明
图1为本发明脑切片标记神经细胞检测方法的流程图；
图2-1为本发明荧光标记脑切片；
图2-2为本发明标记神经细胞；
图3为本发明目标区域扣取过程；
图4为本发明LabelImg标注工具标注过程；
图5为本发明IRN Faster R-CNN目标检测网络模型；
图6为本发明候选区域网络RPN原理图；
图7为本发明脑切片标记神经细胞检测结果；
具体实施方式
脑切片标记神经细胞检测方法实施例：
本实施例提出的脑切片标记神经细胞检测方法，如图1所示，包括以下步骤：
1)获取荧光标记脑切片。
该步骤的目的是获取神经细胞被荧光标记的脑切片，使得脑切片标记神经细胞的检测结果更准确。
荧光标记脑切片的获取主要包括嗜神经工具病毒注射、取材及样本制备、免疫组化及共聚焦成像三个步骤。选取适龄动物进行手术处理，按照大脑结构功能图谱在目标脑区进行嗜神经工具病毒注射，待病毒表达固定时间后取出脑组织进行切片处理，使用共聚焦显微镜对处理好的目标脑切片进行红绿蓝三通道显微成像，对导出的图片进行裁剪缩放处理统一分辨率，即可得到荧光标记脑切片。
2)制作数据集。
该步骤的目的是为目标检测网络模型的训练提供数据集，保证目标检测模型得到很好的训练。
将步骤1)中获取的荧光标记脑切片图像进行无关背景去除以及目标区域扣取等处理，统一所有图像的尺寸。使用标注工具软件对统一尺寸后的图像进行标记神经细胞的标注，标注框应包含整个标记神经细胞，所有图像标注完成后导出xml文件，即可获得训练目标检测网络的数据集。将数据集按照一定的比例分为训练集，验证集和测试集。
3)训练检测网络。
该步骤的目的是获得目标检测网络模型的最优参数，确保脑切片标记神经细胞检测的准确性。
将步骤2)获得的训练集数据输入到IRN Faster R-CNN目标检测网络中，IRNFaster R-CNN目标检测网络包括Inception-Res-Net特征提取网络、RPN网络、ROI Pooling和全连接网络。训练是基于以Tensorflow为后端的Keras实现，采用Adam优化策略，使用Swish激活函数，当损失函数没有显著降低时，停止训练，得到目标检测模型的参数。
使用步骤2)获得的验证集数据对目标检测模型的参数进行验证，对模型的超参数进行调整，当验证集的误差不会出现显著降低时，停止训练，保存最优的目标检测模型参数作为测试模型。
使用步骤2)获得的测试集数据对训练好的目标检测模型进行准确率和泛化性能的评估。
4)脑切片标记神经细胞检测。
将待检测的荧光标记脑切片进行分块处理，将图像块分别输入步骤3)中训练好的目标检测模型中，输出检测完成的图像块。将检测完成的图像块按分块处理前的方位重新拼接，得到脑切片标记神经细胞的最终检测结果。
本实施例中，以小鼠荧光标记脑切片为例对本发明的脑切片标记神经细胞检测方法进行详细说明。
以下利用本发明的方法对小鼠的荧光标记脑切片进行神经细胞检测：
选取8周龄成年小鼠，对其进行水合氯醛麻醉和酒精消毒。对小鼠进行手术处理，将可以表达荧光蛋白的日本脑炎病毒(Japanese Encephalitis Virus，JEV)注入小鼠大脑目标区域。待JEV在小鼠体内表达7.5天后，对小鼠进行水合氯醛过量麻醉，并进行心脏灌流手术。然后使用多聚甲醛固定液固定小鼠脑组织，使用震荡切片机对小鼠脑组织进行切片处理，并将其保存在磷酸盐缓冲液中。最后使用抗JEV病毒和10％羊血清对切片进行免疫组化处理，并用共聚焦显微镜对切片进行红绿蓝三通道荧光成像，导出Tiff图像格式。由于导出的图像分辨率不统一，需要对图像进行裁剪缩放处理，将图像分辨率统一为11400×8000，即可得到小鼠荧光标记脑切片。小鼠荧光标记脑切片如图2-1所示，标记的神经细胞如图2-2所示。
由于获取的荧光标记脑切片中的标记神经细胞比较集中，占据图像空间较小，为降低模型的运算量，需要将无关背景去除，扣取出目标区域，扣取过程如图3所示。将扣取的目标区域图像统一为500×500的尺寸大小，使用LabelImg标注工具对图像进行标注，以标记神经细胞的中心作为矩形标注框的中心，标注框需要包含整个神经细胞以及神经细胞的树突和轴突，标注过程如图4所示。所有图片标注完成后，导出xml文件，从而获得数据集。数据集包含2000张标记神经细胞图像，按照7:1:2的比例将数据集分为训练数据集1400张，验证数据集200张，测试数据集400张。
目标检测网络模型的训练是基于以Tensorflow为后端的Keras实现，使用Swish激活函数，采用Adam优化策略优化损失函数，使用COCO数据集的预训练模型参数作为初始化权重。将训练集数据输入到如图5所示的IRN Faster R-CNN目标检测网络中，首先Inception-Res-Net特征提取网络利用连续的卷积池化操作对输入的训练集数据进行图像特征提取；接着RPN网络确定目标候选区域，候选区域网络RPN原理如图6所示；ROI Pooling根据确定的目标候选区域，从特征提取网络中获取的特征图中扣取出需要分类的区域，通过池化变换成固定长度；最后全连接网络对扣取的特征图区域分类得分预测和边框回归，得到最终的类别得分和边框定位。当目标检测网络模型的损失函数没有显著降低时，停止训练，得到目标检测模型的参数。使用验证集数据对目标检测模型的参数进行验证，对模型的超参数进行调整，当验证集的误差不会出现显著降低时，停止训练，保存最优的目标检测模型参数作为测试模型。使用测试集数据对训练好的目标检测模型进行准确率和泛化性能的评估。
由于获取的荧光标记脑切片分辨率为11400×8000，无法直接输入到训练好的目标检测网络模型中进行标记神经细胞的检测，需要对荧光标记脑切片进行分块处理。将各个图像块输入到已经训练好的目标检测网络模型中，并输出检测完成的图像块，将检测完成后的图像块按照原来的方位拼接，最终得到检测完成的荧光标记脑切片。脑切片标记神经细胞检测的结果如图7所示。
将本发明的神经细胞检测方法与现有的神经细胞检测方法进行比对，本发明的神经细胞检测方法和现有的神经细胞检测方法的主要区别在于目标检测网络的组成不同。选择以VGG16为特征提取网络的Faster R-CNN目标检测网络模型和以ResNet-101为特征提取网络的Faster R-CNN目标检测网络模型作为对照组，本发明的IRN Faster R-CNN目标检测网络模型作为实验组。分别使用ReLU和Swish作为三种目标检测网络模型的激活函数以评估三种目标检测网络模型算法的性能。使用平均准确率均值(mean average precision，mAP)作为三种目标检测网络模型对标记神经细胞检测的评价指标，mAP值越大，标记神经细胞检测结果越准确。三种目标检测网络模型对标记神经细胞检测的mAP值如表一所示。
表一本发明的方法与现有技术的方法的神经细胞检测的mAP指标比较
Figure BDA0002810367980000061
通过上述表格发现，本发明提出的IRN Faster R-CNN目标检测网络模型对脑切片标记神经细胞检测的mAP最大，检测结果最准确，可实现批量化脑切片标记神经细胞检测。
脑切片标记神经细胞检测装置实施例：
本实施例提出的脑切片标记神经细胞检测装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器在执行计算机程序时实现脑切片标记神经细胞检测方法。
脑切片标记神经细胞检测方法的具体实施过程在上述脑切片标记神经细胞检测方法实施例中已经介绍，这里不做赘述。

Claims (6)

1.一种脑切片标记神经细胞检测方法，其特征在于，包括以下步骤：
通过对动物进行手术处理、病毒标记、免疫组化和共聚焦成像等步骤获取荧光标记脑切片；
将荧光标记脑切片进行神经细胞标注，得到目标检测网络模型训练的数据集，该数据集包括训练数据集、验证数据集和测试数据集；
将数据集输入目标检测网络中进行训练，得到目标检测模型的最优参数；
将得到的最优参数应用于所要检测的荧光标记脑切片，完成脑切片标记神经细胞的检测。
2.根据权利要求1所述的脑切片标记神经细胞检测方法，其特征在于，通过对动物进行嗜神经工具病毒注射、取材及样本制备、免疫组化及共聚焦成像三个步骤获取荧光标记脑切片。
3.根据权利要求1所述的脑切片标记神经细胞检测方法，其特征在于，通过标注工具软件对荧光标记脑切片中的神经细胞进行标注。
4.根据权利要求1所述的脑切片标记神经细胞检测方法，其特征在于，采用IRN FasterR-CNN深度学习网络作为目标检测网络对数据集进行训练。
5.根据权利要求4所述的脑切片标记神经细胞检测方法，其特征在于，IRN Faster R-CNN目标检测网络包括Inception-Res-Net特征提取网络、RPN网络、ROI Pooling和全连接网络。
6.一种脑切片标记神经细胞检测装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时实现如权利要求1-5中任意一项所述的脑切片标记神经细胞检测方法。
CN202011388114.XA 2020-12-01 2020-12-01 一种脑切片标记神经细胞检测方法及装置 Pending CN113034429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011388114.XA CN113034429A (zh) 2020-12-01 2020-12-01 一种脑切片标记神经细胞检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011388114.XA CN113034429A (zh) 2020-12-01 2020-12-01 一种脑切片标记神经细胞检测方法及装置

Publications (1)

Publication Number Publication Date
CN113034429A true CN113034429A (zh) 2021-06-25

Family

ID=76460528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011388114.XA Pending CN113034429A (zh) 2020-12-01 2020-12-01 一种脑切片标记神经细胞检测方法及装置

Country Status (1)

Country Link
CN (1) CN113034429A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11978270B2 (en) 2021-11-18 2024-05-07 V5Med Inc. AI-assisted automatic labeling system and method
CN118311016A (zh) * 2024-06-07 2024-07-09 浙江大学 高分辨完整神经元树突棘位置及形态的检测方法及系统
CN118516311A (zh) * 2024-07-25 2024-08-20 浙江大学 一种人脑单细胞树突棘的标记方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11978270B2 (en) 2021-11-18 2024-05-07 V5Med Inc. AI-assisted automatic labeling system and method
CN118311016A (zh) * 2024-06-07 2024-07-09 浙江大学 高分辨完整神经元树突棘位置及形态的检测方法及系统
CN118516311A (zh) * 2024-07-25 2024-08-20 浙江大学 一种人脑单细胞树突棘的标记方法

Similar Documents

Publication Publication Date Title
CN113034429A (zh) 一种脑切片标记神经细胞检测方法及装置
US20230127698A1 (en) Automated stereology for determining tissue characteristics
Kothari et al. Automatic batch-invariant color segmentation of histological cancer images
CN113454733A (zh) 用于预后组织模式识别的多实例学习器
CN110032985A (zh) 一种血细胞自动检测识别方法
JP7422235B2 (ja) 腫瘍検出および分析を支援するための非腫瘍セグメンテーション
JP2023512560A (ja) 機械学習アルゴリズムを訓練し、患者のプライバシーを維持するための連合学習システム
WO2022036086A1 (en) Machine learning models for cell localization and classification learned using repel coding
Nurzynska et al. CAS: Cell annotation software–research on neuronal tissue has never been so transparent
CN110473167A (zh) 一种基于深度学习的尿沉渣图像识别系统及方法
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
US20220383629A1 (en) Label-free cell classification and screening system based on hybrid transfer learning
US20240320562A1 (en) Adversarial robustness of deep learning models in digital pathology
CN114235539A (zh) 基于深度学习的pd-l1病理切片自动判读方法及系统
Narayanan et al. DeepSDCS: Dissecting cancer proliferation heterogeneity in Ki67 digital whole slide images
CN114782372A (zh) Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统
CN113222944B (zh) 细胞核分割方法及基于病理图像的癌症辅助分析系统、装置
US20240046473A1 (en) Transformation of histochemically stained images into synthetic immunohistochemistry (ihc) images
CN112767349B (zh) 一种网织红细胞识别方法和系统
CN114757906A (zh) 基于detr模型的显微图像中白细胞检测方法
WO2018122056A1 (en) Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen
CN114529554A (zh) 一种胃癌her2数字病理切片智能辅助判读方法
CN113222061A (zh) 一种基于双路小样本学习的mri图像分类方法
Fetter et al. StomataCounter: a deep learning method applied to automatic stomatal identification and counting
CN112950550B (zh) 一种基于深度学习的2型糖尿病肾脏病变图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination