CN111524137B - 基于图像识别的细胞识别计数方法、装置和计算机设备 - Google Patents

基于图像识别的细胞识别计数方法、装置和计算机设备 Download PDF

Info

Publication number
CN111524137B
CN111524137B CN202010566837.8A CN202010566837A CN111524137B CN 111524137 B CN111524137 B CN 111524137B CN 202010566837 A CN202010566837 A CN 202010566837A CN 111524137 B CN111524137 B CN 111524137B
Authority
CN
China
Prior art keywords
image
cell
counting
cell identification
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010566837.8A
Other languages
English (en)
Other versions
CN111524137A (zh
Inventor
郭冰雪
吕传峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010566837.8A priority Critical patent/CN111524137B/zh
Publication of CN111524137A publication Critical patent/CN111524137A/zh
Priority to PCT/CN2020/118534 priority patent/WO2021139258A1/zh
Application granted granted Critical
Publication of CN111524137B publication Critical patent/CN111524137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Abstract

本申请涉及人工智能技术领域,提供一种基于图像识别的细胞识别计数方法、装置和计算机设备。所述方法包括:获取全局数字化细胞图像,选取全局数字化细胞图像中的区域图像,区域图像为待识别计数的局部图像,对区域图像进行非线性颜色变换处理,得到目标图像,将目标图像输入基于包含非常规细胞的历史全局数字化细胞图像训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果。通过非线性颜色变换处理使得图像的颜色更接近真实图像,使用已训练的细胞识别计数网络,能够快速准确地对目标图像中的非常规细胞进行识别计数,提高细胞识别计数的效率。

Description

基于图像识别的细胞识别计数方法、装置和计算机设备
技术领域
本申请涉及人工智能技术领域,特别是涉及一种基于图像识别的细胞识别计数方法、装置、计算机设备和存储介质。
背景技术
通过观察数字化病理切片图像来判断相应组织器官是否有病变异常的检查手段是较为常见检查手段之一。目前,与血液有关的癌症等疾病的诊断主要还是依靠医生人工在显微镜下对图像进行辨别,基于此,医生的诊断任务也越来越多,工作强度也随之增大。因此,涌现出了通过对血液细胞数字化影像的自动分析,细胞自动识别计数等处理,辅助医生进行临床诊断的技术。
目前,现有的细胞图像的细胞识别计数方法是基于显微镜下拍摄的单视野图像,进行局部的图像处理,一般也都是结合传统的图像处理算法进行处理,该方式处理步骤多,速度慢,而且无法快速做到全局图像(玻片)信息分析,影响细胞识别计数的效率。
因此,现有的细胞图像的识别计数方法存在识别计数效率不高的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高细胞识别计数效率的基于图像识别的细胞识别计数方法、装置、计算机设备和存储介质。
一种基于图像识别的细胞识别计数方法,所述方法包括:
获取全局数字化细胞图像;
选取全局数字化细胞图像中的区域图像,其中,区域图像为待识别计数的局部图像;
对区域图像进行非线性颜色变换处理,得到目标图像;
将目标图像输入已训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果;
其中,已训练的细胞识别计数神经网络基于包含非常规细胞的历史目标图像训练得到。
在其中一个实施例中,将目标图像输入已训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数包括:
通过细胞识别计数神经网络的卷积层,提取输入的目标图像的特征数据、并对特征数据进行卷积运算,得到对应的特征图;
将特征图输入至细胞识别计数神经网络中的预设分类网络,结合预设拟合权重,识别出非常规细胞、并对识别出的非常规细胞进行计数;
其中,预设拟合权重是在细胞识别计数神经网络的训练过程中,根据损失函数的回传和权重梯度运算得到。
在其中一个实施例中,将特征图输入至细胞识别计数神经网络中的预设分类网络,结合预设拟合权重,识别出非常规细胞、并对识别出的非常规细胞进行计数包括:
将特征图输入至带有全连接层的RPN(region proposal network,区域选取网络)网络,根据预设拟合权重和预设softmax函数进行分类预测,得到RPN网络提取的预测框的坐标信息和各预测框对应的类别置信度;
采用交并比算法对各预测框进行筛选,确定目标预测框;
根据目标预测框的坐标信息和目标预测框对应的类别置信度,识别出非常规细胞、并对识别出的非常规细胞进行计数。
在其中一个实施例中,采用交并比算法对各预测框进行筛选,确定目标预测框包括:
基于交并比算法,选取三个预设阈值对各预测框进行三级筛选,确定目标预测框。
在其中一个实施例中,选取全局数字化细胞图像中的区域图像包括:
获取全局数字化细胞图像的细胞密度指标;
基于细胞密度指标,选取全局数字化细胞图像的区域图像。
在其中一个实施例中,对区域图像进行非线性颜色变换处理,得到目标图像包括:
采用伽马矫正非线性颜色变换算法,对区域图像进行非线性颜色变化处理,得到目标图像。
在其中一个实施例中,将目标图像输入已训练的细胞识别计数神经网络之前,还包括:
采用自适应阈值分割算法和膨胀腐蚀算法对目标图像进行图像处理。
一种基于图像识别的细胞识别计数装置,所述装置包括:
图像获取模块,用于获取全局数字化细胞图像;
图像选取模块,用于选取全局数字化细胞图像中的区域图像,其中,区域图像为待识别计数的局部图像;
颜色变换处理模块,用于对区域图像进行非线性颜色变换处理,得到目标图像;
细胞识别计数模块,用于将目标图像输入已训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果;
其中,已训练的细胞识别计数神经网络基于包含非常规细胞的历史目标图像训练得到。
在其中一个实施例中,装置还包括图像处理模块,用于采用自适应阈值分割算法和膨胀腐蚀算法对目标图像进行图像处理。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取全局数字化细胞图像;
选取全局数字化细胞图像中的区域图像,其中,区域图像为待识别计数的局部图像;
对区域图像进行非线性颜色变换处理,得到目标图像;
将目标图像输入已训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果;
其中,已训练的细胞识别计数神经网络基于包含非常规细胞的历史目标图像训练得到。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取全局数字化细胞图像;
选取全局数字化细胞图像中的区域图像,其中,区域图像为待识别计数的局部图像;
对区域图像进行非线性颜色变换处理,得到目标图像;
将目标图像输入已训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果;
其中,已训练的细胞识别计数神经网络基于包含非常规细胞的历史目标图像训练得到。
上述基于图像识别的细胞识别计数方法、装置、计算机设备和存储介质,从全局角度综合分析,通过非线性颜色变换处理使得图像的颜色更接近真实图像,便于图像识别,通过使用已训练的细胞识别计数网络对目标图像中的细胞进行分析处理,能够快速准确地识别出目标图像中的非常规细胞,并对非常规细胞进行计数,提高细胞识别计数的效率,同时,能够大量减少人工筛查病理切片中非常规细胞的工作量,节省人力。
附图说明
图1为一个实施例中基于图像识别的细胞识别计数方法的应用环境图;
图2为一个实施例中基于图像识别的细胞识别计数方法的流程示意图;
图3为另一个实施例中基于图像识别的细胞识别计数方法的详细流程示意图;
图4为一个实施例中基于细胞识别计数神经网络对目标图像的非常规细胞进行识别计数步骤的流程示意图;
图5为一个实施例中基于图像识别的细胞识别计数装置的结构框图;
图6为另一个实施例中基于图像识别的细胞识别计数装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的基于图像识别的细胞识别计数方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。可以是用户将血液涂片在电子扫描仪得到的全局数字化细胞图像通过终端102上传至服务器104,服务器104获取全局数字化细胞图像,选取全局数字化细胞图像中的区域图像,区域图像为待识别计数的局部图像,对区域图像进行非线性颜色变换处理,得到目标图像,将目标图像输入已训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果,其中,已训练的细胞识别计数神经网络基于包含非常规细胞的历史目标图像训练得到。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种基于图像识别的细胞识别计数方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取全局数字化细胞图像。
全局数字化细胞图像即为全视野的包含细胞特征的数字病理切片图像。数字病理切片图像即为全视野的数字病理切片(Whole Slide Image,简称WSI),该病理切片图像是利用数字显微镜或放大系统在低倍物镜下对玻璃切片进行逐幅扫描采集成像,显微扫描平台自动按照切片XY轴方向扫描移动,并在Z轴方向自动聚焦。然后,由扫描控制软件在光学放大装置有效放大的基础上利用程控扫描方式采集高分辨数字图像,图像压缩与存储软件将图像自动进行无缝拼接处理,制作生成的整张全视野的数字化切片。具体实施时,全局数字化细胞图像以全局数字化血液细胞图像为例,可以是采用电子扫描仪对血液细胞载玻片进行扫描,生成包含多个级别分辨率的全局数字化影像。
步骤204,选取全局数字化细胞图像中的区域图像,区域图像为待识别计数的局部图像。
由于全局数字化细胞图像包含的信息复杂,且包括一些空白区域。因此,为提高图像识别的效率,可对全局数字化细胞进行区域的有效判别,选取出包含足量待识别计数细胞的图像块。具体的,区域图像可以是多张。
如图3所示,在其中一个实施例中,选取全局数字化细胞图像中的区域图像包括:步骤224,获取全局数字化细胞图像的细胞密度指标,基于细胞密度指标,选取全局数字化细胞图像的区域图像。
具体实施时,区域图像的选取可以是获取全局数字化细胞图像的细胞密度,基于细胞密度,采用算法自动选取出区域图像。在其他实施例中,也可以是由医生凭借专业知识和丰富的临床经验选取出区域图像。
步骤206,对区域图像进行非线性颜色变换处理,得到目标图像。
为提高后续神经网络对细胞识别技术的准确率,在得到区域图像后,可以使用颜色变换算法对区域图像进行非线性颜色处理。以使得区域图像的颜色更接近真实显示的图像的颜色,便于定位非常规细胞。
如图3所示,在其中一个实施例中,对区域图像进行非线性颜色变换处理,得到目标图像包括:步骤226,采用伽马矫正非线性颜色变换算法,对区域图像进行非线性颜色变化处理,得到目标图像。
具体实施时,可以是采用伽马矫正非线性颜色变换算法处理,得到目标图像。算法具体如下:
Vout=Vin γ,V:R,G,B
其中,V:R,G,B为所述伽马矫正所需处理的三个颜色通道,所述三个颜色通道分别为R,G,B,Vin是所述细胞集内每个像素值,Vout是所述训练集每个像素值,γ为小于1的伽马矫正系数。采用伽马矫正非线性颜色矫正处理,能够矫正区域图像的颜色显示,使得目标图像的颜色更接近真实显示图像的颜色,便于非常规细胞的定位识别。
步骤208,将目标图像输入已训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果。
其中,已训练的细胞识别计数神经网络基于包含非常规细胞的历史目标图像训练得到。已训练的细胞识别计数网络为全卷积网络。在网络训练阶段,将包含非常规细胞的图像输入初始细胞识别计数网络(全卷积网络)进行预训练,再使用全连接层代替全卷积网络头部微调网络,使全卷积网络具有提取非常规细胞特征的能力,得到细胞识别计数神经网络。
上述基于图像识别的细胞识别计数方法中,从全局角度综合分析,通过非线性颜色变换处理使得图像的颜色更接近真实图像,便于图像识别,通过使用已训练的细胞识别计数网络对目标图像中的细胞进行分析处理,能够快速准确地识别出目标图像中的非常规细胞,并对非常规细胞进行计数,提高细胞识别计数的效率,同时,能够大量减少人工筛查病理切片中非常规细胞的工作量,节省人力。
在其中一个实施例中,将目标图像输入已训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数包括:
步骤220,通过细胞识别计数神经网络的卷积层,提取输入的目标图像的特征数据、并对特征数据进行卷积运算,得到对应的特征图;
步骤240,将特征图输入至细胞识别计数神经网络中的预设分类网络,结合预设拟合权重,识别出非常规细胞、并对识别出的非常规细胞进行计数。
本实施例中,细胞识别计数神经网络(全卷积网络)的每一层卷积包括卷积核、bn层和激活函数,可以是通过卷积核来提取输入的目标图像的特征数据,通过bn层对特征数据进行特征归一化处理,再使用激活函数将整个网络从线性转变成非线性。具体地,使用全卷积网络去掉一般网络最后的全连接层,使得网络输出带有细胞位置的二维的特征图,进而将特征图输入至预设分类网络,根据预设分类网络、特征图和细胞识别计数网络训练过程确定的拟合权重,进行分类预测,得到细胞的位置信息和存在非常规细胞的概率,识别出非常规细胞、并对识别出的非常规细胞计数。其中,拟合权重的确定是根据训练过程中loss函数的回传,然后进行梯度运算得到。具体实施时,可以是将目标图像输入至输入resnet网络特征初步提取器,具体可以使用基本的网络resnet进行特征提取,得到特征数据,再对特征数据进行卷积运算得到1024个对应的特征图。特征图为每一层卷积层运算得到的二维数组。本实施例中,通过训练好的细胞识别计数神经网络,能够快速且准确地识别出目标图像中的非常规细胞。
如图4所示,在其中一个实施例中,步骤240包括:
步骤242,将特征图输入至带有全连接层的RPN网络,根据预设拟合权重和预设softmax函数进行分类预测,得到RPN网络提取的预测框的坐标信息和各预测框对应的类别置信度;
步骤244,采用交并比算法对各预测框进行筛选,确定目标预测框;
步骤246,根据目标预测框的坐标信息和目标预测框对应的类别置信度,识别出非常规细胞、并对识别出的非常规细胞进行计数。
类别置信度即为细胞的所属类别置信度,置信度也称为可靠度,或置信水平、置信系数、置信区间等,其展现的是这个参数的真实值有一定概率落在测量结果的周围的程度,也就是给出的是被测量参数的测量值的可信程度。本实施例中,则为对细胞进行分类预测得到的类别置信度(如非常规细胞的概率)。具体实施时,可以是:将得到的特征图输入对应的RPN网络进行运算,RPN网络包括n*4和n*1的全连接层,其中n是根据前一层网络的维度确定的,根据细胞识别计数网络确定拟合的权重,采用softmax函数分别计算RPN网络提取出的预测框的四个点的坐标信息和对应的类别置信度(即存在非常规细胞的概率),其中,x为前一全连接层运算得到的一列数组值,θT是网络需要训练的权重参数。然后,通过交并比阈值(IOU)对上述得到的预测框进行筛选,具体可以是选取三个阈值(0.5,0.6,0.7)对预测框进行三级筛选,筛选出目标预测框,得到最终预测结果,包括目标预选框的坐标信息、目标预测框对应的类别置信度,包括存在非常规细胞的概率。具体的,可以是将输出概率值在0.5以上的非常规细胞作为识别结果。其中,θ为网络训练中要优化的参数,x为前一全连接层运算得到的一列数组值,θT为网络需训练的权重参数。本实施例中,通过细胞识别计数网络对目标图像进行分析处理,能够快速确定非常规细胞位置,更加有效地对有效判别区域进行分类;通过结合多个普通分类网络的预测结果投票,输出更加稳定的分类结果进而进行计数,得到详细的分析结果,能够节约医生辨认细胞并计数的时间,减轻医生负担。
在其中一个实施例中,将目标图像输入已训练的细胞识别计数神经网络之前,还包括:采用自适应阈值分割算法和膨胀腐蚀算法对目标图像进行图像处理。
阈值分割法是一种基于区域的图像分割技术,原理是把图像象素点分为若干类。图像阈值化的目的是要按照灰度级,对像素集合进行一个划分,得到的每个子集形成一个与现实景物相对应的区域,各个区域内部具有一致的属性,而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。在图像阈值化操作中,主要是从二值化的目标图像中分离出目标区域(细胞区域)和背景区域,但是仅仅通过设定固定阈值进行分割很难达到理想的分割效果。因此,可采用自适应阈值分割算法进行分割,具体的是根据像素的邻域块的像素值分布来确定该像素位置上的二值化阈值。具体实施时,通过预设的伽马阈值对区域图像进行伽马矫正得到目标图像后,可以采用自适应阈值分割算法对图像中的细胞和背景进行区分,根据图像不同区域的亮度分布,计算其局部阈值,进行阈值分割,实现对于图像不同区域,自适应计算不同阈值,再通过形态学的膨胀腐蚀算法过滤阈值分割时出现的小杂质,使得目标图像更为规范清晰。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中,如图5所示,提供了一种基于图像识别的细胞识别计数装置,包括:图像获取模块510、图像选取模块520、颜色变换处理模块530和细胞识别计数模块540,其中:
图像获取模块510,用于获取全局数字化细胞图像。
图像选取模块520,用于选取全局数字化细胞图像中的区域图像,区域图像为待识别计数的局部图像。
颜色变换处理模块530,用于对区域图像进行非线性颜色变换处理,得到目标图像。
细胞识别计数模块540,用于将目标图像输入已训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果,其中,已训练的细胞识别计数神经网络基于包含非常规细胞的历史目标图像训练得到。
在其中一个实施例中,细胞识别计数模块540还用于通过细胞识别计数神经网络的卷积层,提取输入的目标图像的特征数据、并对特征数据进行卷积运算,得到对应的特征图,将特征图输入至细胞识别计数神经网络中的预设分类网络,结合预设拟合权重,识别出非常规细胞、并对识别出的非常规细胞进行计数,其中,预设拟合权重是在细胞识别计数神经网络的训练过程中,根据损失函数的回传和权重梯度运算得到。
在其中一个实施例中,细胞识别计数模块540还用于将特征图输入至带有全连接层的RPN网络,根据预设拟合权重和预设softmax函数进行分类预测,得到RPN网络提取的预测框的坐标信息和各预测框对应的类别置信度,采用交并比算法对各预测框进行筛选,确定目标预测框,根据目标预测框的坐标信息和目标预测框对应的类别置信度,识别出非常规细胞、并对识别出的非常规细胞进行计数。
在其中一个实施例中,细胞识别计数模块540还用于基于交并比算法,选取三个预设阈值对各预测框进行三级筛选,确定目标预测框。
在其中一个实施例中,图像选取模块520还用于获取全局数字化细胞图像的细胞密度指标,基于细胞密度指标,选取全局数字化细胞图像的区域图像。
在其中一个实施例中,颜色变换处理模块530还用于采用伽马矫正非线性颜色变换算法,对区域图像进行非线性颜色变化处理,得到目标图像。
如图6所示,在其中一个实施例中,装置还包括图像处理模块550,还用于采用自适应阈值分割算法和膨胀腐蚀算法对目标图像进行图像处理。
关于基于图像识别的细胞识别计数装置的具体限定可以参见上文中对于基于图像识别的细胞识别计数方法的限定,在此不再赘述。上述基于图像识别的细胞识别计数装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储全局数字化细胞图像、细胞识别计数神经网络等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于图像识别的细胞识别计数方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在其中一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取全局数字化细胞图像,选取全局数字化细胞图像中的区域图像,区域图像为待识别计数的局部图像,对区域图像进行非线性颜色变换处理,得到目标图像,将目标图像输入已训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果,其中,已训练的细胞识别计数神经网络基于包含非常规细胞的历史目标图像训练得到。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:通过细胞识别计数神经网络的卷积层,提取输入的目标图像的特征数据、并对特征数据进行卷积运算,得到对应的特征图,将特征图输入至细胞识别计数神经网络中的预设分类网络,结合预设拟合权重,识别出非常规细胞、并对识别出的非常规细胞进行计数,其中,预设拟合权重是在细胞识别计数神经网络的训练过程中,根据损失函数的回传和权重梯度运算得到。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:将特征图输入至带有全连接层的RPN网络,根据预设拟合权重和预设softmax函数进行分类预测,得到RPN网络提取的预测框的坐标信息和各预测框对应的类别置信度,采用交并比算法对各预测框进行筛选,确定目标预测框,根据目标预测框的坐标信息和目标预测框对应的类别置信度,识别出非常规细胞、并对识别出的非常规细胞进行计数。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:基于交并比算法,选取三个预设阈值对各预测框进行三级筛选,确定目标预测框。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:获取全局数字化细胞图像的细胞密度指标,基于细胞密度指标,选取全局数字化细胞图像的区域图像。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:采用伽马矫正非线性颜色变换算法,对区域图像进行非线性颜色变化处理,得到目标图像。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:采用自适应阈值分割算法和膨胀腐蚀算法对目标图像进行图像处理。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取全局数字化细胞图像,选取全局数字化细胞图像中的区域图像,区域图像为待识别计数的局部图像,对区域图像进行非线性颜色变换处理,得到目标图像,将目标图像输入已训练的细胞识别计数神经网络,识别目标图像中的非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果,其中,已训练的细胞识别计数神经网络基于包含非常规细胞的历史目标图像训练得到。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过细胞识别计数神经网络的卷积层,提取输入的目标图像的特征数据、并对特征数据进行卷积运算,得到对应的特征图,将特征图输入至细胞识别计数神经网络中的预设分类网络,结合预设拟合权重,识别出非常规细胞、并对识别出的非常规细胞进行计数,其中,预设拟合权重是在细胞识别计数神经网络的训练过程中,根据损失函数的回传和权重梯度运算得到。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:将特征图输入至带有全连接层的RPN网络,根据预设拟合权重和预设softmax函数进行分类预测,得到RPN网络提取的预测框的坐标信息和各预测框对应的类别置信度,采用交并比算法对各预测框进行筛选,确定目标预测框,根据目标预测框的坐标信息和目标预测框对应的类别置信度,识别出非常规细胞、并对识别出的非常规细胞进行计数。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:基于交并比算法,选取三个预设阈值对各预测框进行三级筛选,确定目标预测框。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取全局数字化细胞图像的细胞密度指标,基于细胞密度指标,选取全局数字化细胞图像的区域图像。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:采用伽马矫正非线性颜色变换算法,对区域图像进行非线性颜色变化处理,得到目标图像。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:采用自适应阈值分割算法和膨胀腐蚀算法对目标图像进行图像处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于图像识别的细胞识别计数方法,其特征在于,所述方法包括:
获取全局数字化细胞图像;
获取所述全局数字化图像的细胞密度指标,基于所述细胞密度指标,选取所述全局数字化细胞图像的区域图像,其中,所述区域图像为待识别计数的局部图像;
对所述区域图像进行非线性颜色变换处理,得到目标图像;
将所述目标图像输入至已训练的细胞识别计数神经网络,通过所述细胞识别计数神经网络的卷积层,提取所述目标图像的特征数据、并对所述特征数据进行卷积运算,得到对应的特征图,将所述特征图输入带有全连接层的RPN网络,根据预设拟合权重和预设softmax函数进行分类预测,得到所述RPN网络提取的预测框的坐标信息和各预测框对应的类别置信度,采用交并比算法对各预测框进行筛选,确定目标预测框,根据所述目标预测框的坐标信息和所述目标预测框对应的类别置信度,识别出非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果;
其中,所述预设拟合权重是在所述细胞识别计数神经网络的训练过程中,根据损失函数的回传和权重梯度运算得到,所述已训练的细胞识别计数神经网络基于包含非常规细胞的历史目标图像训练得到,所述细胞识别计数神经网络为全卷积网络,每一层卷积包括卷积核、bn层和激活函数,卷积核用于提取输入的所述目标图像的特征数据,bn层用于对所述特征数据进行特征归一化处理,激活函数用于对归一化处理后的特征数据进行非线性变换。
2.根据权利要求1所述的方法,其特征在于,所述采用交并比算法对各预测框进行筛选,确定目标预测框包括:
基于所述交并比算法,选取三个预设阈值对各预测框进行三级筛选,确定目标预测框。
3.根据权利要求1至2任一项所述的方法,其特征在于,所述对所述区域图像进行非线性颜色变换处理,得到目标图像包括:
采用伽马矫正非线性颜色变换算法,对所述区域图像进行非线性颜色变化处理,得到目标图像。
4.根据权利要求1至2任一项所述的方法,其特征在于,所述将所述目标图像输入已训练的细胞识别计数神经网络之前,还包括:
采用自适应阈值分割算法和膨胀腐蚀算法对所述目标图像进行图像处理。
5.一种基于图像识别的细胞识别计数装置,其特征在于,所述装置包括:
图像获取模块,用于获取全局数字化细胞图像;
图像选取模块,用于获取所述全局数字化图像的细胞密度指标,基于所述细胞密度指标,选取所述全局数字化细胞图像的区域图像,其中,所述区域图像为待识别计数的局部图像;
颜色变换处理模块,用于对所述区域图像进行非线性颜色变换处理,得到目标图像;
细胞识别计数模块,用于将所述目标图像输入至已训练的细胞识别计数神经网络,通过所述细胞识别计数神经网络的卷积层,提取所述目标图像的特征数据、并对所述特征数据进行卷积运算,得到对应的特征图,将所述特征图输入带有全连接层的RPN网络,根据预设拟合权重和预设softmax函数进行分类预测,得到所述RPN网络提取的预测框的坐标信息和各预测框对应的类别置信度,采用交并比算法对各预测框进行筛选,确定目标预测框,根据所述目标预测框的坐标信息和所述目标预测框对应的类别置信度,识别出非常规细胞、并对识别出的非常规细胞进行计数,得到细胞识别计数结果;
其中,所述预设拟合权重是在所述细胞识别计数神经网络的训练过程中,根据损失函数的回传和权重梯度运算得到,所述已训练的细胞识别计数神经网络基于包含非常规细胞的历史目标图像训练得到,所述细胞识别计数神经网络为全卷积网络,每一层卷积包括卷积核、bn层和激活函数,卷积核用于提取输入的所述目标图像的特征数据 ,bn层用于对所述特征数据进行特征归一化处理,激活函数用于对归一化处理后的特征数据进行非线性变换。
6.根据权利要求5所述的装置,其特征在于,所述细胞识别计数模块,还用于基于所述交并比算法,选取三个预设阈值对各预测框进行三级筛选,确定目标预测框。
7.根据权利要求5至6任意一项所述的装置,其特征在于,所述图像选取模块,还用于采用伽马矫正非线性颜色变换算法,对所述区域图像进行非线性颜色变化处理,得到目标图像。
8.根据权利要求5至6任意一项所述的装置,其特征在于,所述装置还包括图像处理模块,用于采用自适应阈值分割算法和膨胀腐蚀算法对所述目标图像进行图像处理。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202010566837.8A 2020-06-19 2020-06-19 基于图像识别的细胞识别计数方法、装置和计算机设备 Active CN111524137B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010566837.8A CN111524137B (zh) 2020-06-19 2020-06-19 基于图像识别的细胞识别计数方法、装置和计算机设备
PCT/CN2020/118534 WO2021139258A1 (zh) 2020-06-19 2020-09-28 基于图像识别的细胞识别计数方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010566837.8A CN111524137B (zh) 2020-06-19 2020-06-19 基于图像识别的细胞识别计数方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN111524137A CN111524137A (zh) 2020-08-11
CN111524137B true CN111524137B (zh) 2024-04-05

Family

ID=71909931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010566837.8A Active CN111524137B (zh) 2020-06-19 2020-06-19 基于图像识别的细胞识别计数方法、装置和计算机设备

Country Status (2)

Country Link
CN (1) CN111524137B (zh)
WO (1) WO2021139258A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524137B (zh) * 2020-06-19 2024-04-05 平安科技(深圳)有限公司 基于图像识别的细胞识别计数方法、装置和计算机设备
CN112330616A (zh) * 2020-10-28 2021-02-05 上海交通大学 一种脑脊液细胞图像自动化识别和计数的方法
CN113705318B (zh) * 2021-04-22 2023-04-18 腾讯医疗健康(深圳)有限公司 基于图像的识别方法、装置、设备及可读存储介质
CN113763315B (zh) * 2021-05-18 2023-04-07 腾讯医疗健康(深圳)有限公司 玻片图像的信息获取方法、装置、设备及介质
CN114066818B (zh) * 2021-10-23 2023-04-07 广州市艾贝泰生物科技有限公司 细胞检测分析方法、装置、计算机设备和存储介质
CN114418995B (zh) * 2022-01-19 2023-02-03 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 一种基于显微镜图像的级联藻类细胞统计方法
CN114529724A (zh) * 2022-02-15 2022-05-24 推想医疗科技股份有限公司 图像目标的识别方法、装置、电子设备及存储介质
CN115861275B (zh) * 2022-12-26 2024-02-06 中南大学 细胞计数方法、装置、终端设备及介质
CN115994874B (zh) * 2023-03-22 2023-06-02 赛维森(广州)医疗科技服务有限公司 玻片图像处理方法、装置、玻片、计算机设备和存储介质
CN116758072B (zh) * 2023-08-17 2023-12-22 苏州熠品质量技术服务有限公司 一种基于Faster-RCNN的细胞识别计数方法、装置及计算机存储介质
CN117094966B (zh) * 2023-08-21 2024-04-05 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN109903282A (zh) * 2019-02-28 2019-06-18 安徽省农业科学院畜牧兽医研究所 一种细胞计数方法、系统、装置和存储介质
CN110705583A (zh) * 2019-08-15 2020-01-17 平安科技(深圳)有限公司 细胞检测模型训练方法、装置、计算机设备及存储介质
CN111079620A (zh) * 2019-12-10 2020-04-28 北京小蝇科技有限责任公司 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN111222530A (zh) * 2019-10-14 2020-06-02 广州极汇信息科技有限公司 一种细粒度图像分类方法、系统、装置和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135271A (zh) * 2019-04-19 2019-08-16 上海依智医疗技术有限公司 一种细胞分类方法及装置
CN110120040B (zh) * 2019-05-13 2021-09-14 广州锟元方青医疗科技有限公司 切片图像处理方法、装置、计算机设备和存储介质
CN110415212A (zh) * 2019-06-18 2019-11-05 平安科技(深圳)有限公司 异常细胞检测方法、装置及计算机可读存储介质
CN110765855B (zh) * 2019-09-12 2023-04-18 杭州迪英加科技有限公司 一种病理图像处理方法及系统
CN111524137B (zh) * 2020-06-19 2024-04-05 平安科技(深圳)有限公司 基于图像识别的细胞识别计数方法、装置和计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN109903282A (zh) * 2019-02-28 2019-06-18 安徽省农业科学院畜牧兽医研究所 一种细胞计数方法、系统、装置和存储介质
CN110705583A (zh) * 2019-08-15 2020-01-17 平安科技(深圳)有限公司 细胞检测模型训练方法、装置、计算机设备及存储介质
CN111222530A (zh) * 2019-10-14 2020-06-02 广州极汇信息科技有限公司 一种细粒度图像分类方法、系统、装置和存储介质
CN111079620A (zh) * 2019-12-10 2020-04-28 北京小蝇科技有限责任公司 基于迁移学习的白细胞图像检测识别模型构建方法及应用

Also Published As

Publication number Publication date
WO2021139258A1 (zh) 2021-07-15
CN111524137A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
US11681418B2 (en) Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
CN110120040B (zh) 切片图像处理方法、装置、计算机设备和存储介质
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
CN111310841B (zh) 医学图像分类方法、装置、设备、计算机设备和存储介质
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
CN110853022B (zh) 病理切片图像的处理方法、装置、系统及存储介质
CN110021425B (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
Zhang et al. Automated semantic segmentation of red blood cells for sickle cell disease
CN108830149B (zh) 一种目标细菌的检测方法及终端设备
CN111402267B (zh) 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端
CN109903282B (zh) 一种细胞计数方法、系统、装置和存储介质
CN112884782B (zh) 生物对象分割方法、装置、计算机设备和存储介质
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Kanwal et al. Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN112464802B (zh) 一种玻片样本信息的自动识别方法、装置和计算机设备
CN111339899B (zh) 导管特征获取方法、装置、设备、介质和智能显微镜
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
CN115880245A (zh) 一种基于自监督的乳腺癌疾病分类方法
Alzu'bi et al. A new approach for detecting eosinophils in the gastrointestinal tract and diagnosing eosinophilic colitis.
JP6329651B1 (ja) 画像処理装置及び画像処理方法
Jule et al. Micrarray Image Segmentation Using Protracted K-Means Net Algorithm in Enhancement of Accuracy and Robustness
CN111862003B (zh) 医疗影像目标信息获取方法、装置、设备和存储介质
JP2018125019A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant