CN115359264A - 一种密集型分布的粘连细胞深度学习识别方法 - Google Patents

一种密集型分布的粘连细胞深度学习识别方法 Download PDF

Info

Publication number
CN115359264A
CN115359264A CN202210961993.3A CN202210961993A CN115359264A CN 115359264 A CN115359264 A CN 115359264A CN 202210961993 A CN202210961993 A CN 202210961993A CN 115359264 A CN115359264 A CN 115359264A
Authority
CN
China
Prior art keywords
sample
network
data set
training
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210961993.3A
Other languages
English (en)
Inventor
刘芸
刘雨萌
吴晓强
焦明星
邢俊红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202210961993.3A priority Critical patent/CN115359264A/zh
Publication of CN115359264A publication Critical patent/CN115359264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种密集型分布的粘连细胞深度学习识别方法,包括以下步骤:S1,收集红细胞医学图像数据集并进行预处理;S2,对数据集进行样本扩增;S3,对数据集进行样本标注;S4,对红细胞图像进行特征提取;S5,对预处理后的样本经过平衡金字塔BFP进行特征提取;S6,搭建金字塔拆分注意力机制EPSA,再送入区域生成网络RPN;S7,用感兴趣区域校准ROI Al ign获得更准确的定位信息;S8,搭建Fast R‑CNN网络;S9,对S1采集到的测试数据进行S2、S3操作;S10,将经过S9处理的样本送入S4至S8构建的模型中求得测试结果,再经过Fast R‑CNN输出分类与回归的结果。深度学习方法同时识别单个细胞和粘连细胞,并给出两类细胞的判别结果,有效地提高了细胞的平均识别精度。

Description

一种密集型分布的粘连细胞深度学习识别方法
技术领域
本发明属于红细胞图片目标检测技术领域,具体涉及密集型分布的粘连细胞深度学习识别方法。
背景技术
在现代医学领域,红细胞的识别与检测已经成为重要的临床检测技术之一,可以通过获取其形态、数量等重要信息,辅助各种疾病的诊断。其中,计算机技术在医学图像处理分析和自动识别中发挥了极其重要的作用。
在对医学图像进行分析时,专业人员通过显微镜同时对多个红细胞的形态、数目等进行检测,是目前诊断疾病的主要方法之一,但人工检测效率低,易受主观因素的影响。此外,一些自动化仪器,如价格昂贵的流式细胞分析仪,也易受到血液中白细胞等其它物质的干扰,准确率较低。
传统的红细胞目标检测多集中于分水岭分割、阈值分割和边缘检测等方法,但这些依据算子进行图像处理的方法应用场景单一,都只适用于简单、稀疏的细胞分布场景,无法对密集型分布的多个红细胞进行准确高效地识别。而现阶段深度学习网络识别细胞的算法,比如 ssd、RetinaNet等一阶段网络,对于复杂场景下密集的粘连细胞也不能准确地分辨,使得图像特征提取不充分,识别率降低。
随着深度学习和医学领域的日益结合,基于深度学习的细胞检测方法得到了广泛的应用,通过深层神经网络提取更高语义细胞特征,可以在细胞图像中获取更多的有用信息,提高细胞识别准确率,因此,拥有强大特征提取能力的深度学习算法有效弥补了传统算法的不足。在实际医学场景中,红细胞目标存在以下几个特性:(1)待识别细胞目标数量多,分布密集;(2)细胞粘连重叠,目标尺寸不一;(3) 细胞自身变化或相互粘连挤压,形态变化不规则,且部分图中存在白细胞或污点。这些特征反应了红细胞分布的真实环境,给细胞识别精度和准确率带来了影响。
发明内容
针对以上存在的技术问题,本发明提供了一种密集型分布的粘连细胞深度学习识别方法,该方法首先对数据集进行预处理,提高了模型的泛化能力;然后将数据输入特征提取网络提取特征;为了对数量多、分布密集的红细胞进行检测,将搭建的特征金字塔FPN与非局部注意力机制non-local融合,集成平衡金字塔BFP,对图像中空间位置差异大的目标进行校正;对单个细胞和粘连细胞目标尺寸不一的问题,引入了金字塔拆分注意力机制EPSA,通过对通道切分,提取各通道特征图上的多尺度空间信息,获得了更多细胞细节特征;针对粘连细胞挤压形变产生的目标形态多样性问题,采用了可变形卷积DCN 重塑骨干特征提取网络的C3、C4层,弥补了常规卷积难以学习多姿态特征的不足;利用感兴趣区域校准ROI Align代替感兴趣区域池化 ROI pooling,避免了池化过程中两次量化误差导致的区域不匹配问题;最后将预测框送入Fast R-CNN网络,对候选区域中目标类别进行分类,并对目标坐标进行回归处理。该方法有效增强了密集型分布粘连细胞的网络特征提取能力,提高了网络识别准确率。
为实现上述目的,本发明提供如下技术方案:一种密集型分布的粘连细胞深度学习识别方法,包括以下步骤:
S1,收集红细胞医学图像数据集,并对红细胞样本进行预处理,形成数据集样本;
S2,对经过S1所提取的数据集样本进行数据扩增;
S3,对经过S2所处理的数据集进行样本标注;
S4,对红细胞图像进行特征提取,添加可变形卷积DCN结构;
S5,对预处理后的数据集样本经过平衡金字塔BFP网络进行特征提取;
S6,搭建金字塔拆分注意力机制EPSA,再送入区域生成网络RPN 网络;
S7,用感兴趣区域校准ROI Align获得更准确的细胞定位信息;
S8,搭建Fast R-CNN网络;
S9,对由S1采集到的测试数据进行训练阶段的步骤S2、S3预处理操作;
S10,将经过S9处理的样本送入S4、S5、S6、S7和S8构建的模型中求得测试结果,即最后经过Fast R-CNN输出分类与回归的结果。
优选的,所述步骤S1具体包括:从伊斯法罕医学图像和信号处理MISP数据集收集含有红细胞目标的单个独立细胞和粘连细胞的医学细胞图片,作为训练图像;将训练图像剪裁为779×519大小的图片,并去除剪裁后训练集中的负样本,形成数据集样本。
优选的,所述步骤S2具体包括:对图片进行水平翻转、旋转、缩放、平移处理,将原有数据集扩增到260张,形成完整的数据集。
优选的,所述步骤S3具体包括:
S301,对于医学图像进行处理,对医学图像中的红细胞进行标注,从而构成训练Faster R-CNN神经网络模型所需的带有标注的数据集,标注训练图像中所有细胞目标的类别和位置坐标,得到样本目标;
S302,将标注好的数据集分为训练集、验证集、测试集三个部分。其中训练集用于模型拟合的数据样本,在训练过程中对训练误差进行梯度下降和权重参数的训练;验证集用于调整模型的超参数和初步评估模型能力;测试集用来评估模最终模型的泛化能力。
优选的,所述步骤S4具体包括:首先替换VGG16为ResNet50残差网络,选择其最后4个残差模块最后一层的特征图构建自下而上的网络;然后通过横向连接和自上而下的上采样得到4层特征图,定为 C2、C3、C4、C5,形成自上而下的网络;在C3、C4层引入了DCN模块,即在传统卷积的基础上,增加了调整卷积核的方向向量。
优选的,所述步骤S5具体包括:在步骤4的基础上,给C5层后建立横向连接和自上而下生成的新特征层P2、P3、P4、P5,对于自上而下的网络,输入自下而上网络对应层的特征图,输出1×1卷积和相邻上层上采样结果,经过C5层建立的横向连接,最终由P2、P3、 P4、P5四层的结果同时作为特征提取网络的输出;
特征金字塔FPN与非局部注意力机制non-local发挥各自优势,将不同层级的特征图通过自适应最大池化或者降采样的方法统一到 C4层,分别使用插值和最大池化处理,对于小尺寸的特征图可以进行池化处理,而对于大尺度的特征图可以进行双线性插值处理;得到的L个特征层逐元素相加并除以L,即平衡语义特征为:
Figure BDA0003793683060000041
式(1)中:Cl为预测特征层为l的层级、L为预测特征层总层级数、lmax为最高层级,lmin为低层级。
优选的,所述步骤S6具体包括:
S601,搭建金字塔拆分注意力机制EPSA,利用其中SPC(split and concat)模块对通道进行切分;首先设置输入特征图X,先将其拆分为S部分[X0,X1,...,XS-1],然后对不同部分提取不同尺度特征,最后将所提取的多尺度特征进行拼接,其过程为:
[X0,X1,......,XS-1]=Split(X);
Fi=Conv(Ki×Ki,Gi)(Xi),i=0,1,.....,S-1;
F=Cat([F0,F1,......,FS-1]);
S602,在S601基础上,再对不同部分特征提取注意力权值,如下所示:
Zi=SEWeight(Fi),i=0,1,......,S-1
S603,为更好地实现注意力信息交互并融合跨纬度信息,将上述注意力向量进行拼接,即
Figure BDA0003793683060000051
然后对所得注意力权值进行归一化:
att=Softmax(Z)
S604,得到校正后的特征:Y=F⊙att;
S605,对重新校正的权重和相应的特征图按元素进行点乘操作,输出一个多尺度特征信息注意力加权之后的特征图,每个特征图的每个特征点将生成的锚点送入区域生成网络RPN,生成区域候选框。
优选的,所述步骤S7具体包括:选择用ROI Align代替感兴趣区域池化ROIPooling,其原理是取消量化操作,使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值,从而将整个特征聚集过程转化为一个连续的操作,当特征信息输入到金字塔中预测输出时,采用后4层数据输入到ROI Align层,从而增加了网络特征提取能力。
优选的,所述步骤S8具体包括:
S801,对每个候选区域的特征图,拉平成为一维向量,经过线性整流函数ReLU后,分别经过两个全连接层,一个经过归一化指数函数Softmax对候选区域进行分类,另一个进行检测框坐标的更精确的回归;
S802,初始化上述模型中所有待训练的权重及偏置,设置训练参数、学习率、批大小batch_size、RPN和Fast R-CNN网络各自正负样本的阈值,开启模型训练。
优选的,所述步骤S10具体包括:计算红细胞目标的召回率、精准率、平均精度;
S1001,红细胞测试样本的召回率recall计算为:
Figure BDA0003793683060000061
式(2)中:TP是红细胞的正样本被正确识别为正样本,细胞的图片被正确的识别成了细胞,FN是假的负样本,即红细胞正样本被错误识别为负样本,图片中背景没有被识别出来,系统错误地认为没有被识别出来的图片是背景;
S1002,红细胞测试样本的精准率Precision可计算为:
Figure BDA0003793683060000062
式(3)中:FP是假的正样本,即负样本被错误识别为正样本,图片中白细胞或污点被错误地识别成了细胞图片;
S1003,平均精度是在各种交并比IoU阈值(0.5,0.55,...,0.95) 下由每个类别分别计算的,把各个结果按照置信度排序,通过在11 个等距水平轴上召回率的平均内插精度,估算插值的Precision-recall Curve包含的面积,平均精度APt c可计算为:
Figure BDA0003793683060000071
式(4)中:c是给定的类别的数目,对于二分类检测c为2,t 是IoU的阈值,另外,mAP可计算为:
Figure BDA0003793683060000072
式(5)中:APi表示第i类的AP值。
与现有技术相比,本发明的有益效果是:
(1)在实际医学场景中,密集分布的细胞之间会存在粘连情况,使得细胞轮廓边缘发生重叠遮挡,传统算法和常规网络模型难以解决细胞粘连特征提取问题,导致无法区分粘连细胞和单细胞,降低了目标识别率。本发明实施与传统算法和常规网络模型不同,针对密集型细胞分布情况,可以解决粘连细胞和单细胞二分类目标识别问题,能够更有效地提取细胞多尺度特征,便于后续计数等处理;
(2)本发明的每一步网络改进均是基于实际医学场景下细胞样本的特征所设计,在Faster R-CNN网络框架基础上,分别添加了平衡金字塔结构、金字塔拆分注意力机制和可变形卷积结构,弥补了常规网络模型在细胞分布密集、细胞间粘连、细胞受挤压后形变等情况下无法识别的不足。此外,本网络还添加了感兴区域校准代替网络原有的感兴趣区域池,避免量化误差产生的区域不匹配问题,从而能够获得更加准确的候选特征区域。因此,考虑的处理策略具有更好的特征提取能力及泛化性,最大化地提升了网络识别率,降低了硬件设备的负担。
附图说明
图1为本发明实施例的一种密集型分布的粘连细胞深度学习识别方法的网络模型结构图;
图2为本发明实施例的红细胞样本识别图,其中RBC为识别的单细胞,RBC_RBC为识别的粘连细胞;
图3为本发明实施例的最佳测试结果,即mAP结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
参照图1,为本发明公开了一种密集型分布的粘连细胞深度学习识别方法,具体实施步骤如下:
S1,在伊斯法罕医学图像和信号处理MISP数据集收集含有红细胞目标的单个独立细胞和粘连细胞的医学细胞图片,将每张图片裁剪到为779×519大小的图片,从而改善模型读入大图片困难的问题;并去除剪裁后训练集中的负样本,删除没有目标细胞或模糊的图片。
S2,为了提高模型的泛化能力,对数据集水平翻转、旋转、缩放、平移变换进行数据扩增,形成完整的数据集;在训练集和测试集的选取过程中,保证所选取的训练集样本和测试集样本涵盖各类细胞图片。
参照图2,本发明步骤S3包括:
S3,数据集中包括白细胞、单个红细胞、粘连红细胞,用labelme 软件对单个红细胞和粘连红细胞两类细胞进行矩形框标注,白细胞体积形态和红细胞相比差异较大,本发明不做标识。编码格式采用 utf-8,标注后的细胞标签为json格式,再将图像标签格式统一转换为xml格式;并将图像数据按照3:3:20的比例随机划分测试集、验证集、训练集。
S4,本发明提出的细胞检测模型的特征提取网络是ResNet50,选取ResNet50的最后四个卷积层作为特征金字塔自下而上的网络,定为C2、C3、C4、C5,在C5层后建立了横向连接和自上而下生成的新的特征层,并在骨干网络backbone的C3、C4层搭建可变形卷积,使得卷积核在输入特征图上的采样点发生偏移,从而使卷积模块集中在特征更明显的区域,可以更精准地提取目标特征。可变形卷积是在传统卷积的基础上,增加了调整卷积核的方向向量,使得卷积核的形态更贴近特征物,如3×3卷积,卷积膨胀dilation=1默认为对卷积不扩充的9个位置为:
R={(-1,-1),(-1,0),...,(0,1),(1,1)}
对输出特征图上的每个位置p0,有:
Figure BDA0003793683060000091
其中:R定义了感受野的尺寸,w(pn)为对应的卷积核权重系数, pn是采样网格中第n个点;
在可变形卷积中引入偏移量Δpn,使得采样位置不规则,公式变为:
Figure BDA0003793683060000092
S5,本发明提出的细胞检测模型的特征提取网络是ResNet50,选取ResNet50的最后四个卷积层作为特征金字塔自下而上的网络,定为C2、C3、C4、C5,在C5层后建立了横向连接和自上而下生成的新的特征层,每一层的输出都是独立的,使得各层特征图具有更多的信息,最终输出用于后序预测的分类和回归参数。这种特征提取网络融合了多层特征信息,可以获得更加鲁棒的高层语义特征。将特征金字塔进一步与非局部注意力机制融合形成平衡金字塔,从而平衡信息流,区别出不同的特征。将不同层级的特征图通过自适应最大池化或者降采样的方法统一到C4层,分别使用插值和最大池化处理,对于小尺寸的特征图可以进行池化处理,而对于大尺度的特征图可以进行双线性插值处理。处理后的特征层通过平均获得平衡语义特征,表示为:
Figure BDA0003793683060000101
式(1)中:Cl为预测特征层为l的层级、L为预测特征层总层级数、lmax为最高层级,lmin为低层级。
对获得的特征进行重新缩放,以增强原始特征。在重新缩放之前,对平衡的语义特征进一步提炼(Refine),使用嵌入的非局部注意力机制non-local作为提炼步骤,输入输出维度相同,整合了全局信息。利用特征金字塔FPN和非局部注意力机制non-local的优势,平衡金字塔这种特征整合方式能够利用更丰富的细节,获得更好的多尺度密集细胞识别效果。
S6,本发明提出的细胞检测模型采用金字塔拆分注意力机制EPSA 替换ResNet网络沙漏型结构Bottleneck中的3×3卷积,得到新的模块EPSA;
S601,针对输入特征图X,首先将特征图X切分为S个部分,用 [X0,X1,...,XS-1]来表示,每个分割的部分的通道数都为
Figure BDA0003793683060000111
同时,针对每个通道特征图,利用多尺度卷积核分组卷积的方式,来提取不同尺度特征图的空间信息,其主要作用是降低参数量。最终得到的多尺度融合特征图为:[X0,X1,......,XS-1]=Split(X);
其过程为:
Fi=Conv(Ki×Ki,Gi)(Xi),i=0,1,.....,S-1;
F=Cat([F0,F1,......,FS-1]);
S602,在上述特征基础上,再对不同部分特征提取注意力权值,公式如下:
Zi=SEWeight(Fi),i=0,1,......,S-1
S603,为更好地实现注意力信息交互并融合跨纬度信息,将上述注意力向量进行拼接,即
Figure BDA0003793683060000112
并对所得注意力权值进行归一化:
att=Softmax(Z)
S604,得到校正后的特征:Y=F⊙att;
S605,对重新校正的权重和相应的特征图按元素进行点乘操作,输出一个多尺度特征信息注意力加权之后的特征图,每个特征图的每个特征点将生成的锚点送入区域生成网络RPN,生成区域候选框。
S7,本发明提出的细胞检测模型采用ROI Align代替ROI Pooling 进行最大池化操作。具体为取消量化操作,使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值,从而将整个特征聚集过程转化为一个连续的操作,当特征信息输入到金字塔中预测输出时,采用后4层数据输入到ROI Align层,从而增加了网络特征提取能力。
具体应用实例中,所述S7进一步包括:
S701,遍历每一个候选区域,保持浮点数边界不做量化;
S702,将候选区域分割成K×K个单元,每个单元的边界也不做量化;
S703,在每个单元中计算固定四个坐标位置,用双线性插值的方法计算出这四个位置的坐标值,进行最大池化操作。
S8,搭建Fast R-CNN网络,最后输出通过Softmax处理的分类结果和回归的坐标参数结果。
具体应用实例中,所述步骤S8进一步包括:
S801,对每个候选区域的特征图,拉平成为一维向量,分别经过线性整流函数ReLU和两个全连接层,其中两个全连接层一个是归一化指数函数Softmax对候选区域进行分类,另一个是回归检测更精确的坐标;
S802,所述红细胞目标检测网络的损失函数表达式为:
Figure BDA0003793683060000121
其中,目标检测网络的损失函数分别由分类损失函数Lcls和边界框回归损失函数Lreg组成;pi表示由Softmax计算的各种类别的概率分布;pi *当为正样本时为1,当为负样本时为0;ti表示预测的边界框回归参数;ti *表示与预测区域对应的真值检测框的坐标;N表示类别的个数,本方法有单个和粘连两类细胞数据,即Ncls=Nreg=2;超参数λ控制两个损失之间的平衡,本方法均使用λ=1。Lreg可以表示为:
Figure 4
Figure 3
ti=[tx,ty,tw,th]
Figure BDA0003793683060000133
参照图3,本发明步骤S10包括:计算红细胞目标的召回率、精准率、平均精度。对所述Faster R-CNN模型进行评估,计算目标检测量化评价指标交并比IoU,同时通过精准率和召回率评估模型假阴性指标。
具体应用实例中,所述步骤S10进一步包括:
S1001,红细胞测试样本的召回率recall计算为:
Figure BDA0003793683060000134
式(2)中:TP是红细胞的正样本被正确识别为正样本,细胞的图片被正确的识别成了细胞,FN是假的负样本,即红细胞正样本被错误识别为负样本,图片中背景没有被识别出来,系统错误地认为没有被识别出来的图片是背景;
S1002,红细胞测试样本的精准率Precision可计算为:
Figure BDA0003793683060000135
式(3)中:FP是假的正样本,即负样本被错误识别为正样本,图片中白细胞或污点被错误地识别成了细胞图片;
S1003,使用不同比例的测试集进行验证,平均精度AP代表实际模型的综合指标,表示图像精准率和召回率的综合数值,即Precisi on-recall Curve包含的面积。
平均精度是在各种交并比IoU阈值(0.5,0.55,...,0.95)下由每个类别分别计算的,把各个结果按照置信度排序,通过在11个等距水平轴上召回率的平均内插精度,估算插值的Precision-recall Curve包含的面积,平均精度APt c可计算为:
Figure BDA0003793683060000141
式(4)中:c是给定的类别的数目,对于本发明二分类检测c 为2,t是IoU的阈值,另外,mAP可计算为:
Figure BDA0003793683060000142
式(5)中:APi表示第i类的AP值。
经过上述10个步骤,即可得到本发明所提出的一种密集型分布的粘连细胞深度学习识别方法目标检测模型。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求所述的保护范围为准。

Claims (10)

1.一种密集型分布的粘连细胞深度学习识别方法,其特征在于,包括以下步骤:
S1,收集红细胞医学图像数据集,并对红细胞样本进行预处理,形成数据集样本;
S2,对经过S1所提取的数据集样本进行数据扩增;
S3,对经过S2所处理的数据集进行样本标注;
S4,对红细胞图像进行特征提取,添加可变形卷积DCN结构;
S5,对预处理后的数据集样本经过平衡金字塔BFP网络进行特征提取;
S6,搭建金字塔拆分注意力机制EPSA,再送入区域生成网络RPN网络;
S7,用感兴趣区域校准ROI Align获得更准确的细胞定位信息;
S8,搭建Fast R-CNN网络;
S9,对由S1采集到的测试数据进行训练阶段的步骤S2、S3预处理操作;
S10,将经过S9处理的样本送入S4、S5、S6、S7和S8构建的模型中求得测试结果,即最后经过Fast R-CNN输出分类与回归的结果。
2.根据权利要求1所述的一种密集型分布的粘连细胞深度学习识别方法,其特征在于,所述步骤S1具体包括:从伊斯法罕医学图像和信号处理MISP数据集收集含有红细胞目标的单个独立细胞和粘连细胞的医学细胞图片,作为训练图像;将训练图像剪裁为779×519大小的图片,并去除剪裁后训练集中的负样本,形成数据集样本。
3.根据权利要求1所述的一种密集型分布的粘连细胞深度学习识别方法,其特征在于,所述步骤S2具体包括:对图片进行水平翻转、旋转、缩放、平移处理,将原有数据集扩增到260张,形成完整的数据集。
4.根据权利要求1所述的一种密集型分布的粘连细胞深度学习识别方法,其特征在于,所述步骤S3具体包括:
S301,对于医学图像进行处理,对医学图像中的红细胞进行标注,从而构成训练FasterR-CNN神经网络模型所需的带有标注的数据集,标注训练图像中所有细胞目标的类别和位置坐标,得到样本目标;
S302,将标注好的数据集分为训练集、验证集、测试集三个部分。其中训练集用于模型拟合的数据样本,在训练过程中对训练误差进行梯度下降和权重参数的训练;验证集用于调整模型的超参数和初步评估模型能力;测试集用来评估模最终模型的泛化能力。
5.根据权利要求1所述的一种密集型分布的粘连细胞深度学习识别方法,其特征在于,所述步骤S4具体包括:首先替换VGG16为ResNet50残差网络,选择其最后4个残差模块最后一层的特征图构建自下而上的网络;然后通过横向连接和自上而下的上采样得到4层特征图,定为C2、C3、C4、C5,形成自上而下的网络;在C3、C4层引入了DCN模块,即在传统卷积的基础上,增加了调整卷积核的方向向量。
6.根据权利要求1所述的一种密集型分布的粘连细胞深度学习识别方法,其特征在于,所述步骤S5具体包括:在步骤4的基础上,给C5层后建立横向连接和自上而下生成的新特征层P2、P3、P4、P5,对于自上而下的网络,输入自下而上网络对应层的特征图,输出1×1卷积和相邻上层上采样结果,经过C5层建立的横向连接,最终由P2、P3、P4、P5四层的结果同时作为特征提取网络的输出;
特征金字塔FPN与非局部注意力机制non-local发挥各自优势,将不同层级的特征图通过自适应最大池化或者降采样的方法统一到C4层,分别使用插值和最大池化处理,对于小尺寸的特征图可以进行池化处理,而对于大尺度的特征图可以进行双线性插值处理;得到的L个特征层逐元素相加并除以L,即平衡语义特征为:
Figure FDA0003793683050000031
式(1)中:Cl为预测特征层为l的层级、L为预测特征层总层级数、lmax为最高层级,lmin为低层级。
7.根据权利要求1所述的一种密集型分布的粘连细胞深度学习识别方法,其特征在于,所述步骤S6具体包括:
S601,搭建金字塔拆分注意力机制EPSA,利用其中SPC模块对通道进行切分;首先设置输入特征图X,先将其拆分为S部分
[X0,X1,...,XS-1],然后对不同部分提取不同尺度特征,最后将所提取的多尺度特征进行拼接,其过程为:
[X0,X1,......,XS-1]=Split(X);
Fi=Conv(Ki×Ki,Gi)(Xi),i=0,1,.....,S-1;
F=Cat([F0,F1,......,FS-1]);
S602,在S601基础上,再对不同部分特征提取注意力权值,如下所示:
Zi=SEWeight(Fi),i=0,1,......,S-1
S603,为更好地实现注意力信息交互并融合跨纬度信息,将上述注意力向量进行拼接,即
Figure FDA0003793683050000041
然后对所得注意力权值进行归一化:
att=Softmax(Z)
S604,得到校正后的特征:Y=F⊙att;
S605,对重新校正的权重和相应的特征图按元素进行点乘操作,输出一个多尺度特征信息注意力加权之后的特征图,每个特征图的每个特征点将生成的锚点后续送入区域生成网络RPN,生成区域候选框。
8.根据权利要求1所述的一种密集型分布的粘连细胞深度学习识别方法,其特征在于,所述步骤S7具体包括:选择用ROI Align代替感兴趣区域池化ROI Pooling,其原理是取消量化操作,使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值,从而将整个特征聚集过程转化为一个连续的操作,当特征信息输入到金字塔中预测输出时,采用后4层数据输入到ROI Align层,从而增加了网络特征提取能力。
9.根据权利要求1所述的一种密集型分布的粘连细胞深度学习识别方法,其特征在于,所述步骤S8具体包括:
S801,对每个候选区域的特征图,拉平成为一维向量,经过线性整流函数ReLU后,分别经过两个全连接层,一个经过归一化指数函数Softmax对候选区域进行分类,另一个进行检测框坐标的更精确的回归;
S802,初始化上述模型中所有待训练的权重及偏置,设置训练参数、学习率、批大小batch_size、RPN和Fast R-CNN网络各自正负样本的阈值,开启模型训练。
10.根据权利要求1所述的一种密集型分布的粘连细胞深度学习识别方法,其特征在于,所述步骤S10具体包括:计算红细胞目标的召回率、精准率、平均精度;
S1001,红细胞测试样本的召回率recall计算为:
Figure FDA0003793683050000051
式(2)中:TP是红细胞的正样本被正确识别为正样本,细胞的图片被正确的识别成了细胞,FN是假的负样本,即红细胞正样本被错误识别为负样本,图片中背景没有被识别出来,系统错误地认为没有被识别出来的图片是背景;
S1002,红细胞测试样本的精准率Precision可计算为:
Figure FDA0003793683050000052
式(3)中:FP是假的正样本,即负样本被错误识别为正样本,图片中白细胞或污点被错误地识别成了细胞图片;
S1003,平均精度是在各种交并比IoU阈值(0.5,0.55,...,0.95)下由每个类别分别计算的,把各个结果按照置信度排序,通过在11个等距水平轴上召回率的平均内插精度,估算插值的Precision-recall Curve包含的面积,平均精度APt c可计算为:
Figure FDA0003793683050000053
式(4)中:c是给定的类别的数目,对于二分类检测c为2,t是IoU的阈值,另外,mAP可计算为:
Figure FDA0003793683050000054
式(5)中:APi表示第i类的AP值。
CN202210961993.3A 2022-08-11 2022-08-11 一种密集型分布的粘连细胞深度学习识别方法 Pending CN115359264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210961993.3A CN115359264A (zh) 2022-08-11 2022-08-11 一种密集型分布的粘连细胞深度学习识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210961993.3A CN115359264A (zh) 2022-08-11 2022-08-11 一种密集型分布的粘连细胞深度学习识别方法

Publications (1)

Publication Number Publication Date
CN115359264A true CN115359264A (zh) 2022-11-18

Family

ID=84033624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210961993.3A Pending CN115359264A (zh) 2022-08-11 2022-08-11 一种密集型分布的粘连细胞深度学习识别方法

Country Status (1)

Country Link
CN (1) CN115359264A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363440A (zh) * 2023-05-05 2023-06-30 北京建工环境修复股份有限公司 基于深度学习的土壤中有色微塑料的识别检测方法及系统
CN116401555A (zh) * 2023-06-07 2023-07-07 广州华银医学检验中心有限公司 双胞识别模型的构建方法、系统及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363440A (zh) * 2023-05-05 2023-06-30 北京建工环境修复股份有限公司 基于深度学习的土壤中有色微塑料的识别检测方法及系统
CN116363440B (zh) * 2023-05-05 2023-12-19 北京建工环境修复股份有限公司 基于深度学习的土壤中有色微塑料的识别检测方法及系统
CN116401555A (zh) * 2023-06-07 2023-07-07 广州华银医学检验中心有限公司 双胞识别模型的构建方法、系统及存储介质

Similar Documents

Publication Publication Date Title
US20210407076A1 (en) Multi-sample Whole Slide Image Processing in Digital Pathology via Multi-resolution Registration and Machine Learning
US8379961B2 (en) Mitotic figure detector and counter system and method for detecting and counting mitotic figures
CN112288706A (zh) 一种自动化的染色体核型分析以及异常检测方法
CN109952614A (zh) 生物粒子的分类系统和方法
CN115359264A (zh) 一种密集型分布的粘连细胞深度学习识别方法
CN109492706B (zh) 一种基于循环神经网络的染色体分类预测装置
CN113393443B (zh) 一种he病理图像细胞核分割方法及系统
CN112819821B (zh) 一种细胞核图像检测方法
Li et al. A review of deep learning methods for pixel-level crack detection
WO2024066035A1 (zh) 基于电池表面图像的缺陷检测方法、系统及相关设备
CN113658174A (zh) 基于深度学习和图像处理算法的微核组学图像检测方法
CN115641345A (zh) 一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法
CN116468935A (zh) 一种基于多核卷积网络的交通标志阶梯式分类识别方法
CN114037868B (zh) 图像识别模型的生成方法及装置
CN110889418A (zh) 一种气体轮廓识别方法
US10146042B2 (en) Image processing apparatus, storage medium, and image processing method
CN118072115B (zh) 一种医学细胞检测方法及系统
CN115631530B (zh) 一种基于人脸动作单元的公平人脸表情识别方法
Bhavana et al. Identification of Blood group and Blood cells through Image Processing
CN115359346B (zh) 基于街景图片的小微空间识别方法、装置及电子设备
CN116188879B (zh) 图像分类、图像分类模型训练方法、装置、设备及介质
CN114219752B (zh) 一种针对血清蛋白电泳的异常区域检测方法
CN112990145B (zh) 一种基于组稀疏年龄估计方法及电子设备
CN118072115A (zh) 一种医学细胞检测方法及系统
CN117912677A (zh) 基于动态增强mri的垂体微腺瘤智能辅助诊疗系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination