CN112330616A - 一种脑脊液细胞图像自动化识别和计数的方法 - Google Patents
一种脑脊液细胞图像自动化识别和计数的方法 Download PDFInfo
- Publication number
- CN112330616A CN112330616A CN202011168485.7A CN202011168485A CN112330616A CN 112330616 A CN112330616 A CN 112330616A CN 202011168485 A CN202011168485 A CN 202011168485A CN 112330616 A CN112330616 A CN 112330616A
- Authority
- CN
- China
- Prior art keywords
- cerebrospinal fluid
- cell
- segmentation
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001175 cerebrospinal fluid Anatomy 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 36
- 210000004027 cell Anatomy 0.000 claims abstract description 75
- 230000011218 segmentation Effects 0.000 claims abstract description 48
- 238000012360 testing method Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012795 verification Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 210000004698 lymphocyte Anatomy 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 210000001616 monocyte Anatomy 0.000 claims description 4
- 210000005170 neoplastic cell Anatomy 0.000 claims description 4
- 210000004180 plasmocyte Anatomy 0.000 claims description 4
- AUNGANRZJHBGPY-SCRDCRAPSA-N Riboflavin Chemical compound OC[C@@H](O)[C@@H](O)[C@@H](O)CN1C=2C=C(C)C(C)=CC=2N=C2C1=NC(=O)NC2=O AUNGANRZJHBGPY-SCRDCRAPSA-N 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 210000003651 basophil Anatomy 0.000 claims description 2
- 210000003979 eosinophil Anatomy 0.000 claims description 2
- 210000003743 erythrocyte Anatomy 0.000 claims description 2
- 238000009432 framing Methods 0.000 claims description 2
- 210000000440 neutrophil Anatomy 0.000 claims description 2
- 210000001539 phagocyte Anatomy 0.000 claims description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims 2
- 229910052742 iron Inorganic materials 0.000 claims 1
- 238000011176 pooling Methods 0.000 description 5
- 201000009906 Meningitis Diseases 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000002490 cerebral effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 206010027236 Meningitis fungal Diseases 0.000 description 2
- 206010027260 Meningitis viral Diseases 0.000 description 2
- 208000022971 Tuberculous meningitis Diseases 0.000 description 2
- 210000000576 arachnoid Anatomy 0.000 description 2
- 210000003169 central nervous system Anatomy 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010056 fungal meningitis Diseases 0.000 description 2
- 210000002418 meninge Anatomy 0.000 description 2
- 208000001223 meningeal tuberculosis Diseases 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 201000010044 viral meningitis Diseases 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 208000035143 Bacterial infection Diseases 0.000 description 1
- 208000004020 Brain Abscess Diseases 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- AUNGANRZJHBGPY-UHFFFAOYSA-N D-Lyxoflavin Natural products OCC(O)C(O)C(O)CN1C=2C=C(C)C(C)=CC=2N=C2C1=NC(=O)NC2=O AUNGANRZJHBGPY-UHFFFAOYSA-N 0.000 description 1
- 206010014096 Echinococciasis Diseases 0.000 description 1
- 208000009366 Echinococcosis Diseases 0.000 description 1
- 206010014612 Encephalitis viral Diseases 0.000 description 1
- 206010014950 Eosinophilia Diseases 0.000 description 1
- 206010018985 Haemorrhage intracranial Diseases 0.000 description 1
- 208000008574 Intracranial Hemorrhages Diseases 0.000 description 1
- 206010027202 Meningitis bacterial Diseases 0.000 description 1
- 206010027259 Meningitis tuberculous Diseases 0.000 description 1
- 208000032851 Subarachnoid Hemorrhage Diseases 0.000 description 1
- 208000002667 Subdural Hematoma Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 206010000269 abscess Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000022362 bacterial infectious disease Diseases 0.000 description 1
- 201000009904 bacterial meningitis Diseases 0.000 description 1
- 210000002469 basement membrane Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 208000015114 central nervous system disease Diseases 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 210000004289 cerebral ventricle Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000002987 choroid plexus Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000002889 endothelial cell Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 210000003714 granulocyte Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 208000006750 hematuria Diseases 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000009593 lumbar puncture Methods 0.000 description 1
- 210000004324 lymphatic system Anatomy 0.000 description 1
- 230000002025 microglial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005087 mononuclear cell Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003448 neutrophilic effect Effects 0.000 description 1
- 206010033794 paragonimiasis Diseases 0.000 description 1
- 244000045947 parasite Species 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 239000002504 physiological saline solution Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 229960002477 riboflavin Drugs 0.000 description 1
- 235000019192 riboflavin Nutrition 0.000 description 1
- 239000002151 riboflavin Substances 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 210000002330 subarachnoid space Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000006379 syphilis Diseases 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 201000002498 viral encephalitis Diseases 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
一种脑脊液细胞图像自动化识别和计数的方法，1:对脑脊液细胞原始图像进行预处理并保存为原始图像集；2:将步骤1中得到的脑脊液细胞原始图像集按标注结果切割单个细胞图像并按细胞类型保存为切分图像集；3:将步骤1中得到的脑脊液细胞原始图像集和步骤2中得到的脑脊液细胞切分图像集对应划分为训练集、验证集和测试集；4:使用Pytorch深度学习框架构建卷积神经网络；5:使用Pytorch深度学习框架构建卷积神经网络；6:将步骤4得到的分割测试集输入步骤5得到的分类网络；7:按单张脑脊液细胞原始图像统计步骤5得到已分割测试集中的细胞位置和分割、分类和计数结果。本发明的方法能在样本数目少的情况下提高细胞识别的准确率，并自动识别和计数。
Description
技术领域
本发明属于脑脊液细胞学检测技术领域，具体地说，涉及一种脑脊液细胞图像自动化识别和计数的方法。
背景技术
脑脊液是一种无色透明的粘稠液体，位于脑膜的蛛网膜和脑膜之间以及脊髓中。它由脑室脉络膜丛中的特异室管膜细胞产生，并被蛛网膜颗粒吸收。每个人体内大约有125mL的脑脊液，每天大约会产生500mL。它是一种含有微神经胶细胞的纯生理盐水，主要用作对大脑皮质的机械性缓冲，为头骨内部的大脑提供基本的机械和免疫保护，在大脑自动调节脑血流量重也起着至关重要的作用。脑脊液占据了蛛网膜下腔以及大脑和脊髓周围和内部的心室系统。因此医学上可以通过腰椎穿刺获取脑脊液样本，并对样本进行分析得到相关的诊断结果。脑脊液中的细胞主要为淋巴细胞，还包含其它单核细胞等种类，通过对这些细胞的检测和技术可以用于诊断中枢神经系统、脑血管和淋巴系统相关的疾病。
在临床意义上，脑脊液检查结果对中枢神经系统疾病的诊断具有非常重要的意义。其检查对细菌性脑膜炎、结核性脑膜炎和真菌性脑膜炎检查有高灵敏度和高度特异性，对病毒性脑膜炎、蛛网膜下腔出血、多发性硬化症、神经梅毒、椎旁脓肿等检查有灵敏度和中等特异性，对脑膜恶性肿瘤检查有中等灵敏度和高特异性，对颅内出血、病毒性脑炎、硬膜下血肿有中等灵敏度和中等特异性的提示作用。脑脊液中检出病原体对具有直接诊断的意义，对脑脊液成分的检测可为治疗效果评估、预后判断提供参考。中枢神经系统病变的脑脊液，细胞数目增多且增多程度及细胞类型与病变性质有关。化脓性脑膜炎、流行性脑脊髓膜炎、基底膜脑膜炎、脑脓肿等细菌性感染主要表现为白细胞增多以中性粒细胞为主；病毒性、结核性和真菌性脑膜炎则主要表现为淋巴细胞增高；脑囊虫病、包虫病、脑型肺吸虫病、脑血吸虫病等则表现为嗜酸性粒细胞增多；浆液性脑膜炎则会出现内皮细胞增多的情形。故脑脊液细胞的分析在判断脑部疾病属于细菌性、病毒性还是寄生虫等提供了重要的临床数据参考意义。
从细胞分类学来看，脑脊液细胞数量少、种类多、形态各异、变化较大，有些细胞与血细胞相似但又不完全相同，因此准确辨认各类脑脊液细胞的形态和数量，是临床脑脊液细胞学检查的关键内容，对临床诊断与治疗判断起着至关重要的作用。但在医院的临床检查实践中，由于脑脊液细胞的形态多样性和复杂性，对检验人员的数量和各项素质方面要求较高。
现有的脑脊液细胞识别和计数方法大多使用人工的方式。采用自动化脑脊液细胞识别的方法只对细胞进行了做了边框切割，这种方法会使识别结果受到细胞背景和周围细胞的影响，当细胞密集时更容易出错。受到脑脊液细胞样本的影响，某些类型细胞数量非常少，对这些细胞的识别准确率往往较低。
发明内容
本发明的目的是针对现有脑细胞识别和计数方法存在的不足，提供一种脑脊液细胞图像自动化识别和计数的方法。
本发明的具体技术方案为：
一种脑脊液细胞图像自动化识别和计数的方法，具体步骤为：
步骤1:对脑脊液细胞原始图像进行预处理并保存为脑脊液细胞原始图像集；
步骤2:将步骤1中得到的脑脊液细胞原始图像集按标注结果切割单个细胞图像并按细胞类型保存为脑脊液细胞切分图像集；
步骤3:将步骤1中得到的脑脊液细胞原始图像集和步骤2中得到的脑脊液细胞切分图像集对应划分为训练集、验证集和测试集，脑脊液细胞原始图像集的划分结果保存为原图训练集、原图验证集和原图测试集，脑脊液细胞切分图像集的划分结果保存为切分训练集、切分验证集和切分测试集；
步骤4: 使用Pytorch深度学习框架构建卷积神经网络，采用监督学习的方法，将步骤3得到的原图训练集、原图验证集和原图测试集输入分割网络进行学习，将结果保存为分割网络，将原图测试集输入分割网络后得到的分割结果进行单个细胞切割并保存为已分割测试集；
步骤5: 使用Pytorch深度学习框架构建卷积神经网络，采用监督学习的方法，将步骤3得到的切分训练集、切分验证集和切分测试集输入分类网络进行学习，将结果保存为分类网络；
步骤6:将步骤4得到的分割测试集输入步骤5得到的分类网络，得到细胞分类结果保存为已分类测试集；
步骤7:按单张脑脊液细胞原始图像统计步骤5得到的已分割测试集中的细胞位置和步骤6得到的已分类测试集中的细胞类型，得到脑脊液细胞原始图像的分割、分类和计数结果。
优选的，步骤1所述的对脑脊液细胞原始图像进行预处理的具体步骤包含：将脑脊液细胞原始图像中每个细胞的边界框定出来，并标注该细胞的细胞类型，将结果按图像以json格式保存；
优选的，步骤1所述的保存的具体步骤包含：将标注的结果转化为神经网络中常用的COCO数据集格式；
优选的，步骤2所述的脑脊液细胞原始图像集按标注结果切割单个细胞图像的具体步骤为：按单个细胞边界进行像素级切割并屏蔽背景影响；
优选的，步骤2所述的脑脊液细胞原始图像集切割后按细胞类型保存，其中的细胞类型包含淋巴细胞，红细胞，中性粒细胞，单核细胞，嗜碱性粒细胞，嗜酸性粒细胞，浆细胞，双核细胞，激活单核细胞，吞噬细胞，吞噬含铁黄素吞噬细胞，瘤样细胞，激活淋巴细胞，双核浆细胞，瘤细胞共15类细胞；
优选的，步骤4中的分割网络具体操作为：
输入目标图像并将其进行预处理为固定大小图像，将结果输入Resnet101-FPN网络得到特征图；将特征图中的每一点设定指定个感兴趣区域，获得多个感兴趣区域；将感兴趣区域输入感兴趣区域选择网络对区域进行二分类以及区域位置回归，以区分前景和背景；将得到的前景区域候选框按置信度分数进行降序排列，得到一个降序的候选框集合，从该候选框集合中置信度最高的候选框开始，计算该候选框A与列表集合中其他候选框,比如B的交并比，如果交并比大于一定阈值门限，则对候选框B的置信度乘以一个系数进行线性加权，最终保留候选框A，从候选框集合中取出；对剩余的候选框，重复之前步骤中的迭代操作，直至候选框集合中所有的候选框都完成筛选。筛选后候选框进行感兴趣区域对齐操作，最后对操作后结果采用级联型网络进行多次边框回归和细胞像素块生成。
优选的，步骤5中的训练分类网络具体操作为：输入目标图像并将其预处理为固定大小图像，将结果输入ResNet-SENet基本网络架构得到特征图，并采用以下改进损失函数方式训练网络：
其中
表示不同的细胞类型，表示细胞真实类型标签，
表示网络预测分类结果。
和
是可调节超参数。
本发明中分为以下四个图像模块：
（1）图像处理模块，将脑脊液细胞原始图像进行类型标注和细胞边界分割并转化为所需数据集格式，并将数据集分为训练集、验证集和测试集；
（2）图像分割模块，使用监督学习的方法，输入数据集训练图像分割网络，分割网络用于将单个细胞从脑脊液细胞原始图像中按像素进行分割；
（3）图像分类模块，使用监督学习的方法，输入数据集训练图像分类网络，分类网络用于分类单个细胞的细胞类型；
（4）图像计数模块，按单张脑脊液细胞原始图像统计通过图像分割模块和图像分类模块后的细胞分割和分类结果，得到样本的各类细胞计数结果。
本发明与现有技术相比，有益效果如下：
本发明克服了现有技术缺陷，提供了一种脑脊液细胞图像自动化识别和计数的方法。通过自动化地对脑脊液细胞图像进行特征提取，然后对其中的脑脊液细胞进行较为准确的像素级别的分割，接着对分割后的脑脊液细胞进行较准确的分类并且对整张脑脊液细胞图像的细胞进行计数。对于小样本数据集，相比于以往的方法，本发明的方法能在样本数目少的情况下提高细胞识别的准确率，在自动识别和计数方面获得良好的效果。
附图说明
图1为本发明实施脑脊液细胞自动化识别和计数方法的整个流程示意图。
图2 为本发明脑脊液细胞自动化分割和分类结果示意图。
图3为本发明脑脊液细胞进行分割的整个网络结构示意图。
图4为本发明脑脊液细胞进行分类的网络基本模块示意图。
具体实施方式
为了更好的展示本发明，本发明的具体实施方式通过实施例详细描述。
实施例一
一种脑脊液细胞图像自动化识别和计数的方法，具体步骤为：
步骤1：对脑脊液细胞原始图像作预处理，对每一张脑脊液细胞原始图像作标注，按密集点连接描绘出每一个细胞的边缘轮廓线，并标注该细胞类型，保存每个密集点的坐标及细胞类型为json格式；
步骤2：随机将脑脊液细胞原始图像按4:1:1分为训练集、验证集和测试集三部分；
步骤3：按照细胞的标注结果，切割边缘轮廓线分割出每一个细胞，并根据细胞类型保存为切分数据集，记录对应的原始图像和所属的训练集、验证集和测试集部分。
步骤4：将脑脊液细胞原始图像数据集按训练集、验证集和测试集分别转化为COCO格式保存；
步骤5：使用Pytorch深度学习框架构建卷积神经网络。采用ResNet101-FPN作为基础神经网络模型，网络结构如图3所示。采用监督学习的方法，将原图训练集、原图验证集和原图测试集输入该神经网络模型得到特征图。将特征图中的每一点设定指定个感兴趣区域，获得多个感兴趣区域。将感兴趣区域输入感兴趣区域选择网络对区域进行二分类以及区域位置回归，以区分前景和背景。将得到的前景区域候选框按置信度分数进行降序排列，得到一个降序的候选框集合，从该候选框集合中置信度最高的候选框开始，计算该候选框A与列表集合中其他候选框,比如B的交并比，如果交并比大于一定阈值门限，则对候选框B的置信度乘以一个系数进行线性加权，最终保留候选框A，从候选框集合中取出。对剩余的候选框，重复之前步骤中的迭代操作，直至候选框集合中所有的候选框都完成筛选。筛选后候选框进行感兴趣区域对齐操作，最后对操作后结果采用级联型网络进行多次边框回归和细胞像素块生成。整个网络采用端到端的方式，采用交叉熵损失函数迭代训练12次。分割网络训练完成后，保存该网络参数。
步骤6：将原图测试集输入训练后的分割网络，得到像素级的分割结果并保存为已分割测试集。
步骤7：使用Pytorch深度学习框架构建卷积神经网络。采用SENet的ResNet101作为基础的神经网络模型，其中的基础模块如图4所示。采用监督学习的方法，将切分训练集、切分验证集和切分测试集输入该神经网络模型得到特征图，使用前文提到的改进损失函数对网络迭代训练150次。改变损失函数的
和
，使其得到最好的分类效果。经多次训练和验证，在
和
时分类网络效果表现最佳。分类网络训练完成后，保存该网络参数。
步骤8：将已分割测试集输入分类网络，得到的结果保存为已分类测试集。
步骤9：以单张脑脊液原始图像，统计测试集中的分割和分类结果，并进行计数，最终得到单张脑脊液原始图像对应的细胞分割、分类和计数结果。
图1为脑脊液细胞自动化识别和计数方法的主要流程示意图。
图2为显微镜下脑脊液细胞自动化分割和分类结果示意图。
如图3所示，该图示模块首先将图像输入ResNet101-FPN网络（金字塔101残差网络），该网络以残差网络ResNet101架构为基础，提取多个维度的图像特征，然后将上述多个维度的特征图输入RPN网络（区域候选网络），该网络作用是提供高质量的目标候选框，它首先在特征图上均匀平铺生成多个感兴趣区域，判断该区域属于前景还是背景，并通过回归的方式计算该区域的位置，根据位置和分类数据选取高质量的目标候选框。然后将高质量目标候选框输入区域特征聚集模块。该模块可以筛选出后续训练样本，并提取相应的特征，用于组建后续训练网络。具体做法为首先在高质量目标候选框中选取规定比例正负样本，根据样本大小选取合适的特征层对其进行裁剪和池化，使用浮点数和双线性插值法得到固定大小的特征图用于后续步骤。后续的卷积层采用多个过滤器提取单个感兴趣区域特征。最大池化层是在卷积后的特征图中选取某个通道上最大的数据作为代表，生成新的特征图。后续采取了三级叠加的方式处理每一个候选区域，重复三遍回归和像素点分类过程，使用上一级的结果作为下一级的输入。边界框0是在训练的时候是输入的原始候选框数据，用于和回归后的候选框数据计算损失函数。边界框1，2，3是每一级分别回归产生的候选框数据，用于输入下一层或作为最终框定结果。网络头1，2，3是相同结构不共享参数的卷积神经网络，用于提取特征并用于后续产生像素点分类的结果。像素分支1，2，3是相同结构不共享参数的网络结构，采取二值交叉熵损失函数计算像素点分类结果。
如图4所示，该图形模块名为SENet（收缩——激活网络）。SENet的上半条分支首先经过残差模块（即ResNet101，层数为101层的残差网络）提取特征得到特征图，之后经过全局池化层（对特征图做池化操作，如一张特征图所有元素取平均值得到池化后的结果）、一个全连接层（全连接层的每张特征图都由上一层的所有特征图计算得到，用来把前边提取到的特征综合起来）、线性整流层（特征经过ReLU——Rectified Linear Unit线性整流函数）、另一个全连接层、激活函数（sigmoid函数，将变量映射到0和1之间的函数）、通道加权（将之前激活函数得到的值作为权重，残差模块提取出的特征图乘以该权重，实现对原始特征的重标定）。最后，将原始输入与经过上半条分支得到的特征加和，作为SENet的输出，用该输出的特征实现分类。
以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。
Claims (7)
1.一种脑脊液细胞图像自动化识别和计数的方法，其特征在于，具体步骤为：
步骤1:对脑脊液细胞原始图像进行预处理并保存为脑脊液细胞原始图像集；
步骤2:将步骤1中得到的脑脊液细胞原始图像集按标注结果切割单个细胞图像并按细胞类型保存为脑脊液细胞切分图像集；
步骤3:将步骤1中得到的脑脊液细胞原始图像集和步骤2中得到的脑脊液细胞切分图像集对应划分为训练集、验证集和测试集，脑脊液细胞原始图像集的划分结果保存为原图训练集、原图验证集和原图测试集，脑脊液细胞切分图像集的划分结果保存为切分训练集、切分验证集和切分测试集；
步骤4: 使用Pytorch深度学习框架构建卷积神经网络，采用监督学习的方法，将步骤3得到的原图训练集、原图验证集和原图测试集输入分割网络进行学习，将结果保存为分割网络，将原图测试集输入分割网络后得到的分割结果进行单个细胞切割并保存为已分割测试集；
步骤5: 使用Pytorch深度学习框架构建卷积神经网络，采用监督学习的方法，将步骤3得到的切分训练集、切分验证集和切分测试集输入分类网络进行学习，将结果保存为分类网络；
步骤6:将步骤4得到的分割测试集输入步骤5得到的分类网络，得到细胞分类结果保存为已分类测试集；
步骤7:按单张脑脊液细胞原始图像统计步骤5得到的已分割测试集中的细胞位置和步骤6得到的已分类测试集中的细胞类型，得到脑脊液细胞原始图像的分割、分类和计数结果。
2.根据权利要求1所述的脑脊液细胞图像自动化识别和计数的方法，其特征在于，优选的，步骤1所述的对脑脊液细胞原始图像进行预处理的具体步骤包含：将脑脊液细胞原始图像中每个细胞的边界框定出来，并标注该细胞的细胞类型，将结果按图像以json格式保存。
3.根据权利要求1所述的脑脊液细胞图像自动化识别和计数的方法，其特征在于，优选的，步骤1所述的保存的具体步骤包含：将标注的结果转化为神经网络中常用的COCO数据集格式。
4.根据权利要求1所述的脑脊液细胞图像自动化识别和计数的方法，其特征在于，优选的，步骤2所述的脑脊液细胞原始图像集按标注结果切割单个细胞图像的具体步骤为：按单个细胞边界进行像素级切割并屏蔽背景影响。
5.根据权利要求1所述脑脊液细胞图像自动化识别和计数的方法，其特征在于，优选的，步骤2所述的脑脊液细胞原始图像集切割后按细胞类型保存，其中的细胞类型包含淋巴细胞，红细胞，中性粒细胞，单核细胞，嗜碱性粒细胞，嗜酸性粒细胞，浆细胞，双核细胞，激活单核细胞，吞噬细胞，吞噬含铁黄素吞噬细胞，瘤样细胞，激活淋巴细胞，双核浆细胞，瘤细胞共15类细胞。
6.根据权利要求1所述脑脊液细胞图像自动化识别和计数的方法，其特征在于，优选的，步骤4中的分割网络具体操作为：
输入目标图像并将其进行预处理为固定大小图像，将结果输入Resnet101-FPN网络得到特征图；将特征图中的每一点设定指定个感兴趣区域，获得多个感兴趣区域；将感兴趣区域输入感兴趣区域选择网络对区域进行二分类以及区域位置回归，以区分前景和背景；将得到的前景区域候选框按置信度分数进行降序排列，得到一个降序的候选框集合，从该候选框集合中置信度最高的候选框开始，计算该候选框A与列表集合中其他候选框,比如B的交并比，如果交并比大于一定阈值门限，则对候选框B的置信度乘以一个系数进行线性加权，最终保留候选框A，从候选框集合中取出；对剩余的候选框，重复之前步骤中的迭代操作，直至候选框集合中所有的候选框都完成筛选。筛选后候选框进行感兴趣区域对齐操作，最后对操作后结果采用级联型网络进行多次边框回归和细胞像素块生成。
7.根据权利要求1所述脑脊液细胞图像自动化识别和计数的方法，其特征在于，优选的，步骤5中的训练分类网络具体操作为：输入目标图像并将其预处理为固定大小图像，将结果输入ResNet-SENet基本网络架构得到特征图，并采用以下改进损失函数方式训练网络：
其中
表示不同的细胞类型，表示细胞真实类型标签，
表示网络预测分类结果。
和
是可调节超参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011168485.7A CN112330616A (zh) | 2020-10-28 | 2020-10-28 | 一种脑脊液细胞图像自动化识别和计数的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011168485.7A CN112330616A (zh) | 2020-10-28 | 2020-10-28 | 一种脑脊液细胞图像自动化识别和计数的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112330616A true CN112330616A (zh) | 2021-02-05 |
Family
ID=74297298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011168485.7A Pending CN112330616A (zh) | 2020-10-28 | 2020-10-28 | 一种脑脊液细胞图像自动化识别和计数的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330616A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177927A (zh) * | 2021-05-17 | 2021-07-27 | 西安交通大学 | 基于多特征和多分类器的骨髓细胞分类识别方法及系统 |
| CN113192022A (zh) * | 2021-04-27 | 2021-07-30 | 长治学院 | 基于深度学习的病原孢子识别计数方法和装置 |
| CN113379672A (zh) * | 2021-04-27 | 2021-09-10 | 杭州电子科技大学 | 一种基于深度学习的细胞图像分割方法 |
| CN114565761A (zh) * | 2022-02-25 | 2022-05-31 | 无锡市第二人民医院 | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 |
| CN114612738A (zh) * | 2022-02-16 | 2022-06-10 | 中国科学院生物物理研究所 | 细胞电镜图像分割模型的训练方法和细胞器互作分析方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600577A (zh) * | 2016-11-10 | 2017-04-26 | 华南理工大学 | 一种基于深度反卷积神经网络的细胞计数方法 |
| CN109166100A (zh) * | 2018-07-24 | 2019-01-08 | 中南大学 | 基于卷积神经网络的多任务学习细胞计数方法 |
| CN109544507A (zh) * | 2018-10-18 | 2019-03-29 | 清影医疗科技（深圳）有限公司 | 一种病理图像处理方法及系统、设备、存储介质 |
| CN110060244A (zh) * | 2019-04-15 | 2019-07-26 | 深圳市麦迪普科技有限公司 | 基于深度学习神经网络的细胞检测与分割的系统和方法 |
| CN110120040A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 切片图像处理方法、装置、计算机设备和存储介质 |
| CN110633676A (zh) * | 2019-09-18 | 2019-12-31 | 东北大学 | 一种自动识别脑脊液细胞图像信息方法 |
| CN111105422A (zh) * | 2019-12-10 | 2020-05-05 | 北京小蝇科技有限责任公司 | 一种网织红细胞分类计数模型构建方法及应用 |
| CN111260638A (zh) * | 2020-01-19 | 2020-06-09 | 陕西未来健康科技有限公司 | 基于卷积神经网络的脑脊液细胞和病原体的自动检测计数方法及系统 |
| CN111489327A (zh) * | 2020-03-06 | 2020-08-04 | 浙江工业大学 | 一种基于Mask R-CNN算法的癌细胞图像检测与分割方法 |
| CN111524137A (zh) * | 2020-06-19 | 2020-08-11 | 平安科技（深圳）有限公司 | 基于图像识别的细胞识别计数方法、装置和计算机设备 |
-
2020
- 2020-10-28 CN CN202011168485.7A patent/CN112330616A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600577A (zh) * | 2016-11-10 | 2017-04-26 | 华南理工大学 | 一种基于深度反卷积神经网络的细胞计数方法 |
| CN109166100A (zh) * | 2018-07-24 | 2019-01-08 | 中南大学 | 基于卷积神经网络的多任务学习细胞计数方法 |
| CN109544507A (zh) * | 2018-10-18 | 2019-03-29 | 清影医疗科技（深圳）有限公司 | 一种病理图像处理方法及系统、设备、存储介质 |
| CN110060244A (zh) * | 2019-04-15 | 2019-07-26 | 深圳市麦迪普科技有限公司 | 基于深度学习神经网络的细胞检测与分割的系统和方法 |
| CN110120040A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 切片图像处理方法、装置、计算机设备和存储介质 |
| CN110633676A (zh) * | 2019-09-18 | 2019-12-31 | 东北大学 | 一种自动识别脑脊液细胞图像信息方法 |
| CN111105422A (zh) * | 2019-12-10 | 2020-05-05 | 北京小蝇科技有限责任公司 | 一种网织红细胞分类计数模型构建方法及应用 |
| CN111260638A (zh) * | 2020-01-19 | 2020-06-09 | 陕西未来健康科技有限公司 | 基于卷积神经网络的脑脊液细胞和病原体的自动检测计数方法及系统 |
| CN111489327A (zh) * | 2020-03-06 | 2020-08-04 | 浙江工业大学 | 一种基于Mask R-CNN算法的癌细胞图像检测与分割方法 |
| CN111524137A (zh) * | 2020-06-19 | 2020-08-11 | 平安科技（深圳）有限公司 | 基于图像识别的细胞识别计数方法、装置和计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| JIE HU,ET AL.: "Squeeze-and-Excitation Networks", 《ARXIV》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192022A (zh) * | 2021-04-27 | 2021-07-30 | 长治学院 | 基于深度学习的病原孢子识别计数方法和装置 |
| CN113379672A (zh) * | 2021-04-27 | 2021-09-10 | 杭州电子科技大学 | 一种基于深度学习的细胞图像分割方法 |
| CN113379672B (zh) * | 2021-04-27 | 2024-02-02 | 杭州电子科技大学 | 一种基于深度学习的细胞图像分割方法 |
| CN113177927A (zh) * | 2021-05-17 | 2021-07-27 | 西安交通大学 | 基于多特征和多分类器的骨髓细胞分类识别方法及系统 |
| CN114612738A (zh) * | 2022-02-16 | 2022-06-10 | 中国科学院生物物理研究所 | 细胞电镜图像分割模型的训练方法和细胞器互作分析方法 |
| CN114612738B (zh) * | 2022-02-16 | 2022-11-11 | 中国科学院生物物理研究所 | 细胞电镜图像分割模型的训练方法和细胞器互作分析方法 |
| CN114565761A (zh) * | 2022-02-25 | 2022-05-31 | 无锡市第二人民医院 | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 |
| CN114565761B (zh) * | 2022-02-25 | 2023-01-17 | 无锡市第二人民医院 | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112330616A (zh) | 一种脑脊液细胞图像自动化识别和计数的方法 | |
| CN112070772B (zh) | 基于UNet++和ResNet的血液白细胞图像分割方法 | |
| CN109671094B (zh) | 一种基于频域分级的眼底图像血管分割方法 | |
| Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
| CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
| CN111400536B (zh) | 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法 | |
| US20220215548A1 (en) | Method and device for identifying abnormal cell in to-be-detected sample, and storage medium | |
| EP1686494A1 (en) | Similar pattern searching apparatus, method of similar pattern searching, program for similar pattern searching, and fractionation apparatus | |
| CN112561863B (zh) | 一种基于改进ResNet的医学图像多分类识别系统 | |
| CN109544564A (zh) | 一种医疗图像分割方法 | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN108257124A (zh) | 一种基于图像的白细胞计数方法和系统 | |
| CN113177927B (zh) | 基于多特征和多分类器的骨髓细胞分类识别方法及系统 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| CN112784767A (zh) | 基于白细胞显微图像的细胞实例分割算法 | |
| CN115965602A (zh) | 一种基于改进的YOLOv7和Swin-Unet的异常细胞检测方法 | |
| CN114550169A (zh) | 细胞分类模型的训练方法、装置、设备及介质 | |
| CN113902669A (zh) | 一种尿脱落细胞液基涂片的阅片方法及系统 | |
| Mohapatra et al. | Unsupervised leukocyte image segmentation using rough fuzzy clustering | |
| Zhang et al. | Research on application of classification model based on stack generalization in staging of cervical tissue pathological images | |
| CN114332572B (zh) | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 | |
| CN115909006A (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
| CN115206495A (zh) | 基于CoAtNet深度学习的肾癌病理图像分析方法、系统及智能显微装置 | |
| CN109147932B (zh) | 癌细胞her2基因扩增分析方法及系统 | |
| CN114358279A (zh) | 图像识别网络模型剪枝方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |