CN110647876B - 一种血涂片全视野智能分析方法 - Google Patents

一种血涂片全视野智能分析方法 Download PDF

Info

Publication number
CN110647876B
CN110647876B CN201911186889.6A CN201911186889A CN110647876B CN 110647876 B CN110647876 B CN 110647876B CN 201911186889 A CN201911186889 A CN 201911186889A CN 110647876 B CN110647876 B CN 110647876B
Authority
CN
China
Prior art keywords
convolution
image
convolutional
layer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911186889.6A
Other languages
English (en)
Other versions
CN110647876A (zh
Inventor
李柏蕤
连荷清
方喆君
吕东琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaofei Technology Co ltd
Original Assignee
Beijing Xiaofei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaofei Technology Co ltd filed Critical Beijing Xiaofei Technology Co ltd
Priority to CN201911186889.6A priority Critical patent/CN110647876B/zh
Publication of CN110647876A publication Critical patent/CN110647876A/zh
Application granted granted Critical
Publication of CN110647876B publication Critical patent/CN110647876B/zh
Priority to US17/762,780 priority patent/US20220343623A1/en
Priority to PCT/CN2020/132018 priority patent/WO2021104410A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Abstract

一种血涂片全视野智能分析方法,采集多幅原始血涂片单视野图像,建立原始血涂片单视野图像组,并基于所述多幅原始血涂片单视野图像建立血涂片全视野图像;基于所述第一训练集和第一验证集构建图像复原模型;基于第二训练集和第二验证集构建图像分割模型,基于所述多幅分割后的单个血细胞图像,获得第三训练集和第三验证集,构建图像识别模型;最终得到血细胞分类结果。本发明基于人工智能算法对全视野血细胞进行分析,极大降低了人为因素的干扰,提高检验结果的客观性,对血细胞分析分类准确度高;对符合要求的图片输入均可实现识别分析,算法鲁棒性和准确性比传统图像识别算法高,颠覆了现有医学检验流程,整体时间大大缩短。

Description

一种血涂片全视野智能分析方法
技术领域
本发明涉及血细胞检验技术领域,具体涉及一种血涂片全视野智能分析方法。
背景技术
当前血细胞检验技术中,血细胞的识别率低、人为干扰因素大,现有的仪器设备未能对血涂片全视野进行分析,检验结果的准确性不高。目前医院血液检验流程是:血液样品——血液分析仪——推染片机——人工镜检,整个流程耗时60分钟。对患者进行人工抽血得到血液样品;通过血液分析仪得到各种血细胞计数、白细胞分类和血红蛋白含量;通过推染片机进行染色标记,得到用于人工镜检的血涂片;最终由专业医生进行人工镜检后得到人工分析的血细胞形态分析结果,包括异常血细胞计数、异常血细胞分类等。现有的血液分析仪(血球仪、血球计数仪等)技术实现主要基于电阻抗、激光测定以及综合方法(流式细胞术、细胞化学染色、特殊细胞质往除法等)等三类。
电阻抗法属于物理方法,血液按一定比例稀释后经负压吸引通过仪器的一个微孔小管,由于血细胞与稀释液相比是不良导体,当每个血细胞通过微孔时均取代等体积的稀释液在电路上形成一短暂的电阻而导致电压的变化,产生相应的脉冲信号并经放大、甄别后累加记录。采用此种原理的分析设备经常会不同程度的出现微孔小管堵塞的情况,造成血细胞分类计数结果波动较大。激光测定法是血液按一定比例稀释后形成一个极细的液流穿过激光束,每个血细胞被激光照射后产生光散射并被光电倍增管接收。细胞的前向角散射与细胞的体积大小有关、侧向角(或高角)散射与细胞的内部结构、颗粒性质等有关,细胞数量则与细胞通过激光束时光散射的脉冲次数相同。各种检测信号被放大、甄别后经计算机处理可得到各种血细胞的数量和体积大小的平均数、变异系数、占全血体积的百分比及体积大小分布直方图等。激光型虽然比电阻型仪器稳定,但激光管寿命有限,而且测定白细胞种类有限。综合方法:此类仪器是多种先进的细胞分析技术的高度综合应用,对血细胞的分析参数更多,但其检验结果的客观性不足且识别精度不高,且无法完全取代人工镜检。
在现有技术中,人工复检效率太低,识别过程主观因素太大,从而导致极易受主观经验和人为因素干扰。一是未实现血涂片全视野范围内血细胞的分析和计数,数据样本量不够,导致结果片面性大,不够全面和准确;二是计数和分类算法比较传统,形态分析效果较差,识别准确度不高;三是人工镜检医师主观性无法控制,复检率高;四是时间较长,效率低。
发明内容
为解决上述问题,本发明提供了一种血涂片全视野智能分析方法,用于血常规检验领域的血细胞形态识别和定量分析。通过使用血涂片扫描仪或显微照相系统对多个血涂片进行全视野摄影,得到多个血涂片图像,从而建立血涂片图像组。从血涂片图像组中分别为图像复原、图像分割和图像识别三部分工作准备训练数据集和验证数据集,其中图像识别数据集还需要图像分割模型的支持。使用人工智能技术(深度学习和卷积神经网络)进行模型训练,并通过不断地参数调优和误差分析优化模型,最终得到成熟的图像复原模型、图像分割模型和图像识别模型,并进行部署。在系统应用过程中,待检测血涂片也同样需要经过血涂片扫描仪或者显微照相系统进行全视野摄影,建立血涂片扫描图像,再通过图像复原模型处理后获得复原后的清晰血涂片扫描图像,再经过图像分割处理后可以得到单张血细胞图像,最后经过血细胞图像识别获得细胞分类结果并输出报告。通过对血涂片全视野扫描分析,结果识别率高、准确度高。
本发明采用如下的技术方案实现:
一种血涂片全视野智能分析方法,包括如下步骤:采集多幅原始血涂片单视野图像,建立原始血涂片单视野图像组,并基于所述多幅原始血涂片单视野图像建立血涂片全视野图像;
基于所述多幅原始血涂片单视野图像,获得第一训练集和第一验证集,基于所述第一训练集和第一验证集构建图像复原模型;
在多幅所述原始血涂片单视野图像中选取存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像,获得第二训练集和第二验证集,基于所述第二训练集和第二验证集构建图像分割模型,所述多幅存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像经过图像分割模型处理,得到多幅分割后的单个血细胞图像;
基于所述多幅分割后的单个血细胞图像,获得第三训练集和第三验证集,基于所述第三训练集和第三验证集构建图像识别模型;
所述血涂片全视野图像经过图像复原模型进行复原,得到复原后的全视野图像,所述复原后的全视野图像经过图像分割模型处理,得到多幅单个血细胞图像,所述多幅单个血细胞图像经过图像识别模型处理,得到血细胞分类结果。
进一步的,所述在多幅所述原始血涂片单视野图像中选取存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像,获得第二训练集和第二验证集,基于所述第二训练集和第二验证集构建图像分割模型,所述多幅存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像经过图像分割模型处理,得到多幅分割后的单个血细胞图像的步骤包括:
步骤S310,第二卷积神经网络的输入层输出第二训练集中的某一个原始血涂片单视野图像数据到第二卷积神经网络的卷积块;
步骤S320,设置所述第二卷积神经网络的编码结构的卷积块的数量、每个卷积块的卷积层的数量、每个卷积块的池化层的数量、每个卷积层的卷积核的数量及大小、每个池化层的卷积核的数量及大小,提取第一关键特征;
步骤S330,设定与编码结构卷积块的数量相同的解码结构卷积块数量,所述解码结构的每个卷积块的卷积层的卷积核的数量及大小、每个卷积块的池化层的数量、每个池化层的卷积核的数量均与编码结构中相对应的卷积块一致,基于所述第一关键特征得到解码后的数据;
步骤S340,对所述解码后的数据再进行卷积运算,所述卷积运算的卷积核大小为1、卷积核数量设置为需要分割的类别数;
步骤S350,第二卷积神经网络的每个卷积块的全连接层将所述再进行卷积运算的解码后数据和第二卷积神经网络的输出层的多个神经元进行全连接,所述第二卷积神经网络的输出层输出预测分割结果;
步骤S360,重复步骤S310至S350,使用第二训练集进行训练,通过迭代调参得到图像分割模型。
进一步的,所述基于所述多幅分割后的单个血细胞图像,获得第三训练集和第三验证集,基于所述第三训练集和第三验证集构建图像识别模型的步骤包括:
步骤S410,第三卷积神经网络的输入层输出第三训练集中的某一分割后的单个血细胞图像数据到第三卷积神经网络的卷积块;
步骤S420,设置所述第三卷积神经网络的卷积块的数量、每个卷积块的卷积层的数量、每个卷积块的池化层的数量、每个卷积层的卷积核的数量及大小、每个池化层的卷积核的数量和大小,提取第二关键特征;
步骤S430,第三神经网络的每个卷积块的全连接层将所述第二关键特征和第三卷积神经网络的输出层的多个神经元进行全连接,所述第三卷积神经网络的输出层输出预测识别结果;
步骤S440, 重复步骤S410至S430, 使用第三训练集进行训练,通过迭代调参得到图像识别模型。
进一步的,所述第二卷积神经网络的编码结构的各个卷积层中的卷积核大小相同,编码结构的下一个卷积块的每个卷积层的卷积核数量均为上一个卷积块的每个卷积层的卷积核数量的2倍,编码结构的各个卷积块的池化层的数量均相同、各个池化层的卷积核的数量和大小相同。
进一步的,所述第二卷积神经网络的解码结构的各个卷积层中的卷积核大小相同,解码结构的下一个卷积块的每个卷积层的卷积核数量均为上一个卷积块的每个卷积层的卷积核数量的1/2,解码结构的各个卷积块的池化层的数量均相同、各个池化层的卷积核的数量和大小相同。
综上所述,本发明提供了一种血涂片全视野智能分析方法,采集多幅原始血涂片单视野图像,建立原始血涂片单视野图像组,并基于所述多幅原始血涂片单视野图像建立血涂片全视野图像;基于所述第一训练集和第一验证集构建图像复原模型;基于第二训练集和第二验证集构建图像分割模型,基于所述多幅分割后的单个血细胞图像,获得第三训练集和第三验证集,构建图像识别模型;最终得到血细胞分类结果。
与现有技术相比,本发明有如下有益的技术效果:
根据不同应用领域,可以实现人工智能算法的选择和开放更新;基于人工智能算法对全视野血细胞进行分析,极大降低了人为因素的干扰,提高检验结果的客观性,对血细胞分析分类准确度高;对于符合要求的图片输入均可实现识别分析,算法鲁棒性和准确性都比传统图像识别算法要高,颠覆了现有医学检验流程,整体时间大大缩短。
附图说明
图1是本发明的血涂片全视野智能分析方法的流程图;
图2是本发明的血涂片全视野智能分析方法的示意图;
图3是本发明的图像分割方法中的血细胞标注的示意图;
图4是本发明的图像分割模型的示意图;
图5是本发明的图像识别模型的示意图;
图6是本发明的图像识别结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
本发明提供了一种血涂片全视野智能分析方法,包括如下步骤,如图1和图2所示:
步骤S100,采集多幅原始血涂片单视野图像,建立原始血涂片单视野图像组,并基于所述多幅原始血涂片单视野图像建立血涂片全视野图像。
首先采集血液样本,制作成血涂片,利用基于自动化技术的血涂片扫描仪或者基于手工调节的显微照相系统,拍摄全视野血涂片照片。在全视野成像过程中,一是基于特征比对的图像拼接方法,一是基于模糊自适应的运动拍摄方法。
基于特征比对的图像拼接方法是为了将多张单视野图像合成为全视野图像。在这个过程中,需要利用特征比对和模式匹配来识别机械误差和拍照误差,将相邻单视野图像配准并拼接。
基于模糊自适应的运动拍摄方法放弃了传统的先对焦后拍照的显微摄影方案,而是在焦距方向的匀速运动过程中多次拍照,再应用基于运动补偿的加权合成算法将拍摄得到的多张单视野图像合成为一张清晰的全视野图像。
步骤S200,基于所述多幅原始血涂片单视野图像,获得第一训练集和第一验证集,基于所述第一训练集和第一验证集构建图像复原模型。
具体的,由于设备本身的机械运动抖动和光学部件差异会导致血涂片扫描仪或基于手工调节的显微照相系统拍摄的血涂片图像质量变坏,最终导致图像与实际不符。为了能有效的消除低质量图像带来的不利影响,构建了基于深度卷积神经网络的图像复原模型。该模型的输入为低质量图像(以下称退化图像),输出为经过去噪、去模糊、锐化后的高质量图像。先建立退化模型,根据该退化模型进行训练得到具体退化参数,然后通过去除噪声等建立复原模型,从而恢复图像。
具体的,复原模型建立过程如下:
将多幅血涂片单视野图像分成A和B两个集合,A集合中是该多幅血涂片单视野图像的所有低质量图像(下称退化图像),B集合中是该多幅血涂片单视野图像的所有高清图像,且A集合中的退化图像和B集合中的高清图像是多对一的关系,即B集合中的一个高清图像对应A集合中的多个退化图像。在获得A集合和B集合之后,随机抽取A集合中的1/10数量的退化图像和B集合中的1/10数量的与A集合中抽取出来的退化图像相对应的高清图像作为第一验证集,其余的图像作为第一训练集。
具体的,方式一:用先验知识进行重建。
建立退化模型,根据该退化模型进行图像复原;通过去除噪声建立复原模型,从而恢复图像。
假设退化函数是一个线性时不变的过程,则
Figure 340603DEST_PATH_IMAGE001
,式中的“*”表示卷积;其频率域的表示为:
Figure 24788DEST_PATH_IMAGE002
。退化函数通过观察、经验、建模等方式进行估计。相机的噪声主要来自于图像的获取过程和传输过程,因此从噪声的空域和频域构造退化函数。一些重要的噪声如高斯噪声、瑞利噪声、Gamma噪声等,采取的复原方式如均值滤波器、统计顺序滤波器、自适应滤波器、带阻滤波器、带通滤波器、陷波滤波器、陷波带通滤波器、最优陷波滤波器、反向滤波、维纳滤波等。
具体的,方式二:采用第一卷积神经网络进行超分辨率图像重建。
基于所述第一训练集、第一验证集构建基于第一卷积神经网络的图像复原模型,基于图像复原模型进行图像重建,得到重建后的血涂片全视野图像。
学习方式由正向传播和反向误差传播组成。退化图像先进入输入层,再经由输入层进入中间隐含层,然后至输出层。如果输出层与预期无法匹配,则根据输出层与预期的差值进行逆向传播,在这个过程中,调整隐含层的各个权重,从而使得反馈的误差变小。以上过程进行反复迭代,直至输出层与预期的差值小于设定的阈值,生成最终图像复原模型。
对完成的模型进行打包并部署。
步骤S300,在多幅所述原始血涂片单视野图像中选取存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像,获得第二训练集和第二验证集,基于所述第二训练集和第二验证集构建图像分割模型,所述多幅存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像经过图像分割模型处理,得到多幅分割后的单个血细胞图像。
图像分割模型的输入为整张血涂片单视野图像,输出是单个血细胞图像。
具体的,选取存在白细胞以及白细胞和红细胞完全不重叠的血涂片单视野图像,标注出图像中的白细胞和红细胞的位置和轮廓(如图3所示,为整张血涂片单视野图,其中方框部分是血细胞小图),当标注量达到训练要求(5000-15000个)后,随机抽取其中的1/10数量的标注后的图像作为第二验证集,其余作为第二训练集
基于所述第二验证集、第二训练集构建图像分割模型。
第二卷积神经网络包括多个卷积块,每个卷积块包括多个卷积层、1个池化层、1个激活层和1个全连接层,每个卷积层包含多个卷积核。
具体的,包括如下步骤:
步骤S310,第二卷积神经网络的输入层输出第二训练集中的某一个原始血涂片单视野图像数据到第二卷积神经网络的卷积块;
步骤S320,设置所述第二卷积神经网络的编码结构的卷积块的数量、每个卷积块的卷积层的数量、每个卷积块的池化层的数量、每个卷积层的卷积核的数量及大小、每个池化层的卷积核的数量及大小,提取第一关键特征;
具体的,所述第二卷积神经网络的编码结构的各个卷积层中的卷积核大小相同,下一个卷积块的每个卷积层的卷积核数量均为上一个卷积块的每个卷积层的卷积核数量的2倍;每个卷积块的池化层的数量均相同、各个池化层的卷积核的数量和大小相同。
具体的,设置所述第二卷积神经网络的卷积块的数量为5,每个卷积块的卷积层的数量为3,每个卷积层的每个卷积核的大小均为3,第1个卷积块的每个卷积层的卷积核的数量为60,第2个卷积块的每个卷积层的卷积核的数量为120,第3个卷积块的每个卷积层的卷积核的数量为240,第4个卷积块的每个卷积层的卷积核的数量为480,第5个卷积块的每个卷积层的卷积核的数量为960,每个卷积块的池化层的数量为1,每个池化层的卷积核的大小为2。
步骤S330,设定与编码结构卷积块的数量相同的解码结构卷积块数量,所述解码结构的每个卷积块的卷积层的卷积核的数量及大小、每个卷积块的池化层的数量、每个池化层的卷积核的数量与编码结构相对应的卷积块一致,基于所述第一关键特征得到解码后的数据;
步骤S340,对所述解码后的数据再进行最后卷积运算,所述最后卷积运算的卷积核大小为1、卷积核数量设置为要分割的类别数;
步骤S350,第二卷积神经网络的每个卷积块的全连接层将所述再进行卷积运算的解码后数据和第二卷积神经网络的输出层的多个神经元进行全连接,所述第二卷积神经网络的输出层输出预测分割结果;
步骤S360,重复步骤S310至S350,通过迭代调参得到图像分割模型。
对完成的模型进行打包并部署。
具体的,可以为,如图4所示,输入层的血涂片单视野图像大小为512×512像素,第二卷积神经网络编码结构共5个卷积块,每个卷积块的池化层的数量为1。每个卷积块的卷积层均为3个,每个卷积层中的每个卷积核的大小均为3,第一个卷积块中的每个卷积层的卷积核的数量为60,进行3次卷积核大小为3的卷积运算,充分提取浅层特征A,然后进行1次卷积核大小为2的最大池化运算,提取出关键特征A’;再将第二个卷积块中的每个卷积层的卷积核数量设置为120,进行3次卷积核大小为3的卷积运算,充分提取浅层特征B, 然后进行卷积核大小为2的最大池化运算,提取出关键特征B’; 再将第三个卷积块中的每个卷积层的卷积核数量设置为240,进行3次卷积核大小为3的卷积运算,充分提取浅层特征C, 然后进行1次卷积核大小为2的最大池化运算,提取出关键特征C’; 再将第四个卷积块中的每个卷积层的卷积核数量设置为480,进行3次卷积核大小为3的卷积运算,充分提取浅层特征D, 然后进行1次卷积核大小为2的最大池化运算,提取出关键特征D’; 再将第五个卷积块中的每个卷积层的卷积核数量设置为960,进行3次卷积核大小为3的卷积运算,充分提取浅层特征E, 然后进行1次卷积核大小为2的最大池化运算,从而提取最终关键特征;
随后进行解码运算,解码结构共5个卷积块,解码结构的第一个卷积块是编码结构的第五个卷积块,解码结构的每个卷积块的卷积层均为2个,每个卷积块的池化层的数量为1,每个卷积层中的每个卷积核的大小均为3,首先基于上述最终关键特征进行一次卷积核大小为2的上卷积运算进行上采样,得到特征a,然后设置第二个卷积块的每个卷积层的卷积核数量为480,进行2次卷积核大小为3的卷积运算,得到特征a’; 再进行一次卷积核大小为2的上卷积运算进行上采样,得到特征b,然后设置第三个卷积块的每个卷积层的卷积核数量为240,进行2次卷积核大小为3的卷积运算,得到特征b’; 再进行一次卷积核大小为2的上卷积运算进行上采样,得到特征c,然后设置第四个卷积块的卷积核数量为120,进行2次卷积核大小为3的卷积运算,得到特征c’; 再进行一次卷积核大小为2的上卷积运算进行上采样,得到特征d,然后设置第五个卷积块的卷积核数量为60,进行2次卷积核大小为3的卷积运算,得到特征d’,最后进行1*1的卷积运算,卷积核数量设置为要分割的类别数,得到分割结果。
重复上述步骤,使用第二训练集对图像分割模型进行训练,通过迭代调参得到完成的图像分割模型;这之后,对完成的模型进行打包并部署。
步骤S400,基于所述多幅分割后的单个血细胞图像,获得第三训练集和第三验证集,基于所述第三训练集和第三验证集构建图像识别模型。
图像识别模型的输入为分割后的单个血细胞图像,输出是该细胞属于某些类别的概率值。
具体的,通过图像分割模型将原始单视野血涂片图像分割为一个个白细胞、红细胞、血小板图。对这些白细胞、红细胞、血小板图进行标注,标注出该细胞所属的类别。当标注量达到训练要求(每一个类别中的图的数量大于10000)后,随机抽取其中1/10作为第三验证集,其余作为第三训练集。
具体的,构建图像识别模型,包括如下步骤:
步骤S410,第三卷积神经网络的输入层输出第三训练集中的某一分割后的单个血细胞图像数据到第三卷积神经网络的卷积块;
步骤S420,设置所述第三卷积神经网络的卷积块的数量、每个卷积块的卷积层的数量、每个卷积块的池化层的数量、每个卷积层的卷积核的数量及大小、每个池化层的卷积核的数量和大小,提取第二关键特征;
具体的,卷积神经网络可以设定为:包括多个卷积块,每个卷积块包括多个卷积层、1个池化层、1个激活层,1个全连接层,每个卷积层包含多个卷积核。
步骤S430,第三卷积神经网络的全连接层将所述第二关键特征和第三卷积神经网络的输出层的多个神经元进行全连接,所述第三卷积神经网络的输出层输出预测识别结果;
步骤S440, 重复步骤S410至S430, 使用第三训练集进行训练,通过迭代调参得到完成的图像识别模型。
对完成的模型进行打包并部署。
具体的,如图5所示,输入的图像大小为224*224*3,图像大小为224*224像素,3为RGB图像。第三卷积神经网络的卷积块为4个,每个卷积块包含多个卷积层、1层池化层和1层激活层。第1个卷积块内部包含96个卷积层,每个卷积层的卷积核大小为11*11*3,每个卷积层的卷积核数量为27*27*96;第2个卷积块内部包含256个卷积层,每个卷积层的卷积核大小为5*5*48,每个卷积层的卷积核数量为27*27*128;第3个卷积块内部包含384个卷积层,每个卷积层的卷积核大小为3*3*256,每个卷积层的卷积核数量为13*13*192;第4个卷积块内部包含384个卷积层,每个卷积层的卷积核大小为3*3*192,每个卷积层的卷积核数量为13*13*256。全连接层将第4个卷积块的输出和最后输出层的100个神经元进行全连接,输出预测识别结果。
使用第三训练集对图像识别模型进行训练,通过迭代调参得到完成的图像识别模型;这之后,对完成的图像识别模型进行打包并部署。
步骤S500,所述血涂片全视野图像经过图像复原模型进行复原,得到复原后的全视野图像,所述复原后的全视野图像经过图像分割模型处理,得到多幅单个血细胞图像,所述多幅单个血细胞图像经过图像识别模型处理,得到血细胞分类结果。
具体的,在系统应用过程中,待检测血液血涂片也同样需要经过血涂片扫描仪或者显微照相系统进行全视野摄影,建立血涂片扫描图像,再通过图像复原模型处理后获得复原后的清晰血涂片扫描图像,经过图像分割处理后可以得到单张血细胞图像,最后经过血细胞图像识别获得细胞分类结果并输出报告。
具体的,如图6所示,为图像识别结果。
整体时间缩短三分之二以上,原型系统在20万张白细胞图片的测试集上,精确度高于95%,漏报率低于1.6%。
综上所述,本发明提供了一种血涂片全视野智能分析方法,采集多幅原始血涂片单视野图像,建立原始血涂片单视野图像组,并基于所述多幅原始血涂片单视野图像建立血涂片全视野图像;基于所述第一训练集和第一验证集构建图像复原模型;基于第二训练集和第二验证集构建图像分割模型,基于所述多幅分割后的单个血细胞图像,获得第三训练集和第三验证集,构建图像识别模型;最终得到血细胞分类结果。本发明基于人工智能算法对全视野血细胞进行分析,极大降低了人为因素的干扰,提高检验结果的客观性,对血细胞分析分类准确度高;对符合要求的图片输入均可实现识别分析,算法鲁棒性和准确性比传统图像识别算法高,颠覆了现有医学检验流程,整体时间大大缩短。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种血涂片全视野智能分析方法,其特征在于,包括如下步骤:采集多幅原始血涂片单视野图像,建立原始血涂片单视野图像组,并基于多幅所述原始血涂片单视野图像建立血涂片全视野图像;
基于多幅所述原始血涂片单视野图像,获得第一训练集和第一验证集,基于所述第一训练集和第一验证集构建图像复原模型;
在多幅所述原始血涂片单视野图像中选取存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像,获得第二训练集和第二验证集,基于所述第二训练集和第二验证集构建图像分割模型,多幅所述存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像经过图像分割模型处理,得到多幅分割后的单个血细胞图像:具体包括步骤S310,第二卷积神经网络的输入层输出第二训练集中的某一个原始血涂片单视野图像数据到第二卷积神经网络的卷积块;步骤S320,设置所述第二卷积神经网络的编码结构的卷积块的数量、每个卷积块的卷积层的数量、每个卷积块的池化层的数量、每个卷积层的卷积核的数量及大小、每个池化层的卷积核的数量及大小,提取第一关键特征;步骤S330,设定与编码结构卷积块的数量相同的解码结构卷积块数量,所述解码结构的每个卷积块的卷积层的卷积核的数量及大小、每个卷积块的池化层的数量、每个池化层的卷积核的数量均与编码结构中相对应的卷积块一致,基于所述第一关键特征得到解码后的数据;步骤S340,对所述解码后的数据再进行卷积运算,所述卷积运算的卷积核大小为1、卷积核数量设置为需要分割的类别数;步骤S350,第二卷积神经网络的每个卷积块的全连接层将所述再进行卷积运算的解码后数据和第二卷积神经网络的输出层的多个神经元进行全连接,所述第二卷积神经网络的输出层输出预测分割结果;步骤S360,重复步骤S310至S350,使用第二训练集进行训练,通过迭代调参得到图像分割模型;
基于多幅所述分割后的单个血细胞图像,获得第三训练集和第三验证集,基于所述第三训练集和第三验证集构建图像识别模型;
所述血涂片全视野图像经过图像复原模型进行复原,得到复原后的全视野图像,所述复原后的全视野图像经过图像分割模型处理,得到多幅单个血细胞图像,多幅所述单个血细胞图像经过图像识别模型处理,得到血细胞分类结果。
2.根据权利要求1所述的方法,其特征在于,所述基于多幅所述分割后的单个血细胞图像,获得第三训练集和第三验证集,基于所述第三训练集和第三验证集构建图像识别模型的步骤包括:
步骤S410,第三卷积神经网络的输入层输出第三训练集中的某一分割后的单个血细胞图像数据到第三卷积神经网络的卷积块;
步骤S420,设置所述第三卷积神经网络的卷积块的数量、每个卷积块的卷积层的数量、每个卷积块的池化层的数量、每个卷积层的卷积核的数量及大小、每个池化层的卷积核的数量和大小,提取第二关键特征;
步骤S430,第三神经网络的每个卷积块的全连接层将所述第二关键特征和第三卷积神经网络的输出层的多个神经元进行全连接,所述第三卷积神经网络的输出层输出预测识别结果;
步骤S440,重复步骤S410至S430,使用第三训练集进行训练,通过迭代调参得到图像识别模型。
3.根据权利要求2所述的方法,其特征在于,所述第二卷积神经网络的编码结构的各个卷积层中的卷积核大小相同,编码结构的下一个卷积块的每个卷积层的卷积核数量均为上一个卷积块的每个卷积层的卷积核数量的2倍,编码结构的各个卷积块的池化层的数量均相同、各个池化层的卷积核的数量和大小相同。
4.根据权利要求3所述的方法,其特征在于,所述第二卷积神经网络的解码结构的各个卷积层中的卷积核大小相同,解码结构的下一个卷积块的每个卷积层的卷积核数量均为上一个卷积块的每个卷积层的卷积核数量的1/2,解码结构的各个卷积块的池化层的数量均相同、各个池化层的卷积核的数量和大小相同。
CN201911186889.6A 2019-11-28 2019-11-28 一种血涂片全视野智能分析方法 Active CN110647876B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911186889.6A CN110647876B (zh) 2019-11-28 2019-11-28 一种血涂片全视野智能分析方法
US17/762,780 US20220343623A1 (en) 2019-11-28 2020-11-27 Blood smear full-view intelligent analysis method, and blood cell segmentation model and recognition model construction method
PCT/CN2020/132018 WO2021104410A1 (zh) 2019-11-28 2020-11-27 血涂片全视野智能分析方法血细胞分割模型及识别模型的构造方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911186889.6A CN110647876B (zh) 2019-11-28 2019-11-28 一种血涂片全视野智能分析方法

Publications (2)

Publication Number Publication Date
CN110647876A CN110647876A (zh) 2020-01-03
CN110647876B true CN110647876B (zh) 2020-06-26

Family

ID=69014677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911186889.6A Active CN110647876B (zh) 2019-11-28 2019-11-28 一种血涂片全视野智能分析方法

Country Status (1)

Country Link
CN (1) CN110647876B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021104410A1 (zh) * 2019-11-28 2021-06-03 北京小蝇科技有限责任公司 血涂片全视野智能分析方法血细胞分割模型及识别模型的构造方法
CN114419401B (zh) * 2022-03-29 2022-07-22 北京小蝇科技有限责任公司 白细胞检测识别方法、装置、计算机存储介质及电子设备
CN114419619B (zh) * 2022-03-29 2022-06-10 北京小蝇科技有限责任公司 红细胞检测分类方法、装置、计算机存储介质及电子设备
CN116630294B (zh) * 2023-06-08 2023-12-05 南方医科大学南方医院 一种基于深度学习的全血样本检测方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169556A (zh) * 2017-05-15 2017-09-15 电子科技大学 基于深度学习的干细胞自动计数方法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN110032985A (zh) * 2019-04-22 2019-07-19 清华大学深圳研究生院 一种血细胞自动检测识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013032938B1 (pt) * 2011-09-16 2021-06-29 Ave Science & Technology Co., Ltd Dispositivo e métodos para realizar análise morfológica para eritrócitos
CN110135271A (zh) * 2019-04-19 2019-08-16 上海依智医疗技术有限公司 一种细胞分类方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169556A (zh) * 2017-05-15 2017-09-15 电子科技大学 基于深度学习的干细胞自动计数方法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN110032985A (zh) * 2019-04-22 2019-07-19 清华大学深圳研究生院 一种血细胞自动检测识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于深度学习的白细胞分类计数的研究";贾洪飞;《中国优秀硕士学位论文全文数据库(电子期刊)》;20170715;第13页第2段至第48页最后一段 *
贾洪飞."基于深度学习的白细胞分类计数的研究".《中国优秀硕士学位论文全文数据库(电子期刊)》.2017, *

Also Published As

Publication number Publication date
CN110647876A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110647876B (zh) 一种血涂片全视野智能分析方法
WO2021104410A1 (zh) 血涂片全视野智能分析方法血细胞分割模型及识别模型的构造方法
CN107133948B (zh) 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN110647874B (zh) 一种端到端的血细胞识别模型构造方法及应用
JPWO2017073737A1 (ja) 分析装置
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN109815945B (zh) 一种基于图像识别的呼吸道检查结果判读系统和方法
Amirgholipour et al. A-CCNN: adaptive CCNN for density estimation and crowd counting
WO2008133951A2 (en) Method and apparatus for image processing
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN109903282B (zh) 一种细胞计数方法、系统、装置和存储介质
CN110992292B (zh) 一种增强型低秩稀疏分解模型医学ct图像去噪方法
CN105894483B (zh) 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法
CN110533623B (zh) 一种基于监督学习的全卷积神经网络多聚焦图像融合方法
CN113537182B (zh) 染色体中期分裂相显微图像的自动识别方法与系统
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
CN109685097A (zh) 一种基于gan的图像检测方法及装置
CN111079620A (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
Harun et al. Unsupervised segmentation technique for acute leukemia cells using clustering algorithms
CN112733929A (zh) 一种改进Yolo水下图像小目标和遮挡目标的检测方法
CN105631890B (zh) 基于图像梯度和相位一致性的失焦图片质量评价方法
Boltaevich Estimation affects of formats and resizing process to the accuracy of convolutional neural network
El-Tokhy et al. Classification of welding flaws in gamma radiography images based on multi-scale wavelet packet feature extraction using support vector machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant