CN110189293A - 细胞图像处理方法、装置、存储介质及计算机设备 - Google Patents
细胞图像处理方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN110189293A CN110189293A CN201910298096.7A CN201910298096A CN110189293A CN 110189293 A CN110189293 A CN 110189293A CN 201910298096 A CN201910298096 A CN 201910298096A CN 110189293 A CN110189293 A CN 110189293A
- Authority
- CN
- China
- Prior art keywords
- cell
- interest
- subgraph
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种细胞图像处理方法、装置、存储介质及计算机设备,获取待处理的细胞图像;根据细胞图像确定感兴趣区域,并确定感兴趣区域对应的不同分辨率的细胞子图像;根据不同分辨率的细胞子图像,对感兴趣区域中的细胞进行病变细胞识别处理,并根据处理结果确定感兴趣区域中的细胞的阴阳性。在获取细胞图像后,结合不同分辨率的细胞图像进行病变细胞识别处理,从而可以提高识别处理准确性;另外,相比于人工查找的方式,查找效率更高,从而可以大大减少医生的工作量,提高工作效率。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种细胞图像处理方法、装置、存储介质及计算机设备。
背景技术
临床病理检验是临床病理医生用以检查机体器官、组织或细胞中的病理改变的病理形态学方法,是对病变细胞产生的原因、发病机理、病变的发生发展过程进行观察及判断的过程。
在临床病理检验的实施过程中,病理医生是根据高倍显微镜采集到的病理标本图像,从图像中各种不同种类的细胞里进行查找,以便查找到发生病变的异常细胞。然后根据形态学的方法,对此类细胞种类以及病变程度做出判断,从而得出诊断结果。然而,现有技术中,通常是医生通过人工观察的方法查找病变细胞,医生工作量大,并且查找效率较低。
发明内容
基于此,有必要针对现有技术存在的问题,提供一种效率以及准确性更高的细胞图像处理方法、装置、存储介质及计算机设备。
一种细胞图像处理方法,包括:
获取待处理的细胞图像;
根据所述细胞图像确定感兴趣区域,并确定所述感兴趣区域对应的不同分辨率的细胞子图像;
根据所述不同分辨率的细胞子图像,对所述感兴趣区域中的细胞进行病变细胞识别处理,并根据处理结果确定所述感兴趣区域中的细胞的阴阳性。
在其中一个实施例中,获取待处理的细胞图像之后,根据所述细胞图像确定感兴趣区域之前,还包括:
对获取的所述细胞图像进行预处理。
在其中一个实施例中,所述感兴趣区域对应的不同分辨率的细胞子图像至少包括第一子图像以及第二子图像,所述第一子图像的分辨率与所述第二子图像的分辨率不同。
在其中一个实施例中,根据所述不同分辨率的细胞子图像,对所述感兴趣区域中的细胞进行病变细胞识别处理,包括:
通过神经网络模型,分别对所述不同分辨率的细胞子图像进行病变细胞识别处理,确定所述感兴趣区域中的病变细胞。
在其中一个实施例中,所述神经网络模型为卷积神经网络模型。
在其中一个实施例中,通过神经网络模型,分别对所述不同分辨率的细胞子图像进行病变细胞识别处理,确定所述感兴趣区域中的病变细胞,包括:
通过所述神经网络模型,提取所述细胞子图像中的细胞的特征信息,所述特征信息包括形态特征信息以及颜色特征信息中的至少一项;
根据所述细胞的特征信息,通过所述神经网络模型识别所述细胞中的病变细胞。
在其中一个实施例中,根据处理结果确定所述感兴趣区域中的细胞的阴阳性之后,还包括:
确定阳性细胞的病变类型。
在其中一个实施例中,确定阳性细胞的病变类型,包括:
根据所述阳性细胞的细胞图像进行特征提取,得到所述阳性细胞的特征信息,所述特征信息包括形态特征信息以及颜色特征信息中的至少一项;
根据所述阳性细胞的特征信息,确定所述阳性细胞的病变类型。
在其中一个实施例中,根据所述阳性细胞的细胞图像进行特征提取,得到所述阳性细胞的特征信息,包括:
通过至少两种神经网络特征提取器对所述阳性细胞的细胞图像进行特征提取,并将不同的神经网络特征提取器提取的特征信息进行组合,得到所述阳性细胞的多维特征信息。
在其中一个实施例中,根据所述阳性细胞的特征信息,确定所述阳性细胞的病变类型,包括:
根据所述阳性细胞的多维特征信息,通过神经网络分类器确定所述阳性细胞的病变类型。
一种细胞图像处理装置,包括:
图像获取模块,用于获取待处理的细胞图像;
图像处理模块,用于根据所述细胞图像确定感兴趣区域,并确定所述感兴趣区域对应的不同分辨率的细胞子图像;根据所述不同分辨率的细胞子图像,对所述感兴趣区域中的细胞进行病变细胞识别处理,并根据处理结果确定所述感兴趣区域中的细胞的阴阳性。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
上述细胞图像处理方法、装置、存储介质及计算机设备,获取待处理的细胞图像;根据细胞图像确定感兴趣区域,并确定感兴趣区域对应的不同分辨率的细胞子图像;根据不同分辨率的细胞子图像,对感兴趣区域中的细胞进行病变细胞识别处理,并根据处理结果确定感兴趣区域中的细胞的阴阳性。在获取细胞图像后,结合不同分辨率的细胞图像进行病变细胞识别处理,从而可以提高识别处理准确性;另外,相比于人工查找的方式,查找效率更高,从而可以大大减少医生的工作量,提高工作效率。
附图说明
图1为一个实施例中细胞图像处理方法的流程示意图;
图2为另一个实施例中细胞图像处理方法的流程示意图;
图3为一个实施例中多分辨率病变细胞分类卷积神经网络结构的示意图;
图4为一个实施例中典型的卷积神经网络的示意图;
图5为一个实施例中病变细胞逐像素标注的示意图;
图6为再一个实施例中细胞图像处理方法的流程示意图;
图7为一个实施例中宫颈液基细胞图片阳性分类的示意图;
图8为一个实施例中阳性细胞的特征提取和融合的示意图;
图9为一个实施例中细胞图像处理最终的结构示意图;
图10为一个实施例中为对宫颈液基细胞学涂片进行细胞图像处理的实例图;
图11为一个实施例中为对胸腹水细胞学涂片(胸腔积液)进行细胞图像处理的实例图;
图12为一个实施例中对组织学切片(结直肠)进行细胞图像处理的实例图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在进行临床医疗诊断的过程中,临床病理检验是临床医生对患者决定下一步治疗方案及估计预后的基础,也是医疗诊断过程中不可缺少的一个重要环节。在实际处理过程中,高倍显微镜采集到的模拟图像经过数码相机的转化后,会转换成电子信号,然后,再通过计算机的微处理器完成对数字信号的压缩并转换为特定的图像模式,这样高倍显微镜所提供的图像,每一张大图所蕴含的细胞总数可以达到几万甚至十几万个,临床医生需要在海量的细胞中去寻找几个或者几十个病变细胞,这是非常困难和费时间的。据统计:一个经验丰富的临床病理医生一天对送检标本的总检验量大约在50--80例左右,也就是完成一个标本的检验时间大约在10至15分钟左右,而在这一过程中病理医生用于查找病变细胞的时间就占整个时间的95%左右,真正用于诊断的时间只用5%时间。所以,在海量细胞中去寻找几个或者几十个病变细胞就成了临床病理医生在临床检验和诊断中最困难的一项工作。
本申请提出一种细胞图像处理方法,相比于现有技术,可以提高病变细胞查找效率以及准确度。
在一个实施例中,如图1所示,提供一种细胞图像处理方法,以该方法应用于可以执行细胞图像处理的处理器为例进行解释说明,该方法包括以下步骤:
步骤S100,获取待处理的细胞图像;
处理器在进行细胞图像处理时,首先获取待处理的细胞图像。处理器在获取细胞图像时,可以是直接获取通过高倍显微镜实时采集得到的细胞图像,也可以是间接获取细胞图像,例如,通过网络访问获取保存于服务器中的细胞图像,或者,通过读取操作获取存储于存储器等存储结构中的细胞图像。
细胞图像具体可以是清晰完整且染色较好的病理切片或者病理涂片对应的图像,获取图像的方式可以是通过扫描仪对病理切片或者病理涂片进行数字扫描得到。
步骤S300,根据细胞图像确定感兴趣区域,并确定感兴趣区域对应的不同分辨率的细胞子图像;
感兴趣区域,是指有可能包含有病变细胞的区域。处理器在获取细胞图像之后,根据细胞图像确定可能包含有病变细胞的感兴趣区域。感兴趣区域的数量可以是一个,也可以是多个。处理器在确定感兴趣区域之后,根据感兴趣区域在整个细胞图像中对应的图像,确定感兴趣区域对应的不同分辨率的细胞子图像。
步骤S400,根据不同分辨率的细胞子图像,对感兴趣区域中的细胞进行病变细胞识别处理,并根据处理结果确定感兴趣区域中的细胞的阴阳性。
处理器在确定感兴趣区域对应的不同分辨率的细胞子图像之后,根据不同分辨率的细胞子图像,对感兴趣区域中的细胞进行病变细胞识别处理,从而确定感兴趣区域中的细胞属于正常细胞还是病变细胞。
细胞的阴阳性,可以是用于表示细胞属于正常细胞还是病变细胞,具体地,阳性表示细胞属于病变细胞,阴性表示细胞属于正常细胞。也就是说,当处理器确定感兴趣区域中的某一细胞属于正常细胞时,处理器即确定该细胞属于阴性细胞;当处理器确定感兴趣区域中的某一细胞属于病变细胞时,处理器即确定该细胞属于阳性细胞。
在进行病变细胞识别处理的过程中,处理器根据同一感兴趣区域对应的不同分辨率的细胞子图像进行识别处理,不同分辨率的图像对应的感受野不同,具体地,最小分辨率的图像对应的感受野最大,最大分辨率的图像对应的感受野最小,从而可以根据细胞的形态尺寸特征选择对应的分辨率以保证最好的识别精度。另外,通过结合同一感兴趣区域对应的不同分辨率的图像,可以得到同一感兴趣区域对应的多个识别处理结果,进而通过结合多个识别处理结果确定该感兴趣区域对应的最终的识别处理结果,可以提高识别处理的准确度。
本实施例提供一种细胞图像处理方法,在获取细胞图像后,结合不同分辨率的细胞图像进行病变细胞识别处理,从而可以提高识别处理准确性;另外,相比于人工查找的方式,查找效率更高,从而可以大大减少医生的工作量,提高工作效率。
在一个实施例中,如图2所示,获取待处理的细胞图像之后,根据细胞图像确定感兴趣区域之前,本申请中的细胞图像处理方法还包括:步骤S200,对获取的细胞图像进行预处理。
预处理是指对细胞图像进行特征抽取、分割和匹配前所进行的处理。通过进行图像预处理,可以消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而改进特征抽取、图像分割、匹配和识别的可靠性。
在本申请的技术方案中,对细胞图像有一定的质量要求,而原始的病理切片或者病理涂片的图像中,存在噪声影响以及亮度不均衡等问题,为了减少以上问题对处理过程的影响,需要对细胞图像进行预处理。例如,可以综合利用色彩平衡算法、几何仿射变换算法等图形图像方面的算法,设计图像预处理流程,完成图像的预处理工作。
在一个实施例中,感兴趣区域对应的不同分辨率的细胞子图像至少包括第一子图像以及第二子图像,第一子图像的分辨率与第二子图像的分辨率不同。
具体地,对于同一感兴趣区域来说,其对应的不同分辨率的细胞子图像至少为两张,即至少包括第一子图像以及第二子图像,其中,可以是第一子图像的分辨率高于第二子图像的分辨率,也可以是第二子图像的分辨率高于第一子图像的分辨率,只要第一子图像的分辨率与第二子图像的分辨率不同即可,从而保证处理器可以根据不同分辨率的细胞子图像,对感兴趣区域中的细胞进行病变细胞识别处理。
在一个实施例中,根据不同分辨率的细胞子图像,对感兴趣区域中的细胞进行病变细胞识别处理,包括:通过神经网络模型,分别对不同分辨率的细胞子图像进行病变细胞识别处理,确定感兴趣区域中的病变细胞。
本实施例通过神经网络模型实现病变细胞的识别处理,根据病理切片或涂片图像的特点,神经网络模型不仅可以解决病理数字大图输入的问题,而且易于训练,可以输出高精度的病变细胞识别处理结果。
按照先后关系,神经网络模型的构建主要分为以下3个阶段:①神经网络模型设计;②神经网络模型的训练与参数学习;③神经网络模型的验证。当神经网络模型训练并验证完成,在具体应用过程中,就可以准确识别出细胞图像中的病变细胞。
在一个实施例中,神经网络模型为卷积神经网络模型。本实施例中,对于神经网络模型,除了一些传统的参数设置和网络搭建思路,提出了一种多分辨率病变细胞分类卷积神经网络结构,如图3所示。该结构针对病理切片或涂片图像中不同病变、不同分化阶段、以及不同年龄层次患者细胞的大小和形态各异的特点,将输入数据分为了低分辨率图像和高分辨率图像,并且分别在两个分辨率下进行卷积操作,抽取图像特征,并在全连接层之前将两个分辨率下的特征进行融合,最终根据融合后的特征识别病变细胞,确定细胞的阴阳性。
可以理解,在实际处理过程中,输入数据并不仅仅局限于两种分辨率的图像,分辨率的不同类型也可以是大于两种。
卷积神经网络是构建用于数字病理切片分析的计算机视觉模型的基础,一般情况下,典型的深度学习网络模型为监督学习模型。通过确定网络的拓扑结构,各层之间的链接关系,每一层的参数个数及计算方法等,并设置这些超参数,完成建模的过程。同时,定义网络的最优化方法,训练参数以及梯度生成方式,使网络能够进行训练。典型的卷积神经网络如图4所示。
卷积过程是卷积核与图像或特征图像之间的运算过程。给出一个图像输入卷积核卷积过程的计算公式可以表示为公式(1):
经过卷积计算过后所得到的特征图像由公式(2)表示:
经过多层卷积操作之后,可以得到整个神经网络的目标函数(3),本实施例中,采用交叉熵函数来完成最终的图像分类目的:
其中,J为定义的目标函数;为被限定在0和1之间的S型逻辑函数,并且由参数W和b组成。为防止网络参数“爆炸”而导致过拟合出现的惩罚函数;λ为平衡系数。
在定义目标函数之后,采用梯度下降方法来优化整个网络参数。关键问题为计算输出单元的误差。为了更新参数W和b,采用前向传播方法计算出输出层的误差,然后采用反向传递计算出中间各层的误差,整个迭代过程可以用公式(4)和(5)来表示:
在整个网络的训练过程中,各个卷积层和全连接层采用ReLU作为非线性激活函数。
本实施例通过采用多分辨率病变细胞分类卷积神经网络结构,可以大大提高神经网络阴阳性判别的准确率,极大地降低假阴性概率。
在一个实施例中,在对卷积神经网络模型进行训练时,可以是通过足够数量的、已经标注出病变细胞的细胞图像对卷积神经网络模型进行训练。在训练过程中,根据临床病理学病变细胞分类诊断标准,采用人工或半监督自动标注出对应的病变细胞类型。人工数据标注部分摒弃传统的外接圆或外接矩形等标注方式,采用逐像素的多边形标注,如图5所示,使标注范围更加贴切实际情况,减少背景及其它细胞误入,有利于提升模型的训练精度。
在一个实施例中,通过神经网络模型,分别对不同分辨率的细胞子图像进行病变细胞识别处理,确定感兴趣区域中的病变细胞,包括:通过神经网络模型,提取细胞子图像中的细胞的特征信息,特征信息包括形态特征信息以及颜色特征信息中的至少一项;根据细胞的特征信息,通过神经网络模型识别细胞中的病变细胞。
具体地,通过神经网络模型(具体可以是卷积神经网络模型),分别对不同分辨率的细胞子图像进行卷积操作,提取细胞子图像中的细胞的特征信息,例如,细胞形态特征、细胞颜色特征等。然后将根据不同分辨率的细胞子图像提取的不同的特征信息进行融合,得到融合后的特征信息。最后根据融合后的特征信息,通过神经网络模型识别细胞中的病变细胞。
在一个实施例中,如图6所示,在根据处理结果确定感兴趣区域中的细胞的阴阳性之后,细胞图像处理方法还包括:步骤S500,确定阳性细胞的病变类型。
处理器在确定细胞为阳性细胞(病变细胞)后,进一步地,还包括对该阳性细胞的病变类型的识别过程,即确定该细胞发生了何种类型的病变。通过自动对阳性细胞的病变类型进行识别确定,可以有助于提高医生的诊断效率以及准确度。
在一个实施例中,确定阳性细胞的病变类型,包括:根据阳性细胞的细胞图像进行特征提取,得到阳性细胞的特征信息,特征信息包括形态特征信息以及颜色特征信息中的至少一项;根据阳性细胞的特征信息,确定阳性细胞的病变类型。
具体地,对于不同病变类型的阳性细胞来说,其对应的细胞特征不同。例如,如图7所示,为宫颈液基细胞图片阳性分类,可以看出,不同的阳性类别对应的细胞形态特征以及细胞颜色特征均存在较大差别,因此,可以进行阳性细胞特征提取,然后阳性细胞的细胞特征,确定其对应的病变类型。
在一个实施例中,根据阳性细胞的细胞图像进行特征提取,得到阳性细胞的特征信息,包括:通过至少两种神经网络特征提取器对阳性细胞的细胞图像进行特征提取,并将不同的神经网络特征提取器提取的特征信息进行组合,得到阳性细胞的多维特征信息。
在一个实施例中,根据阳性细胞的特征信息,确定阳性细胞的病变类型,包括:根据阳性细胞的多维特征信息,通过神经网络分类器确定阳性细胞的病变类型。
如图8所示,在确定阳性细胞的病变类型的过程中,本申请采用经典手工设计的语义特征和神经网络特征提取器以及神经网络分类器相结合的方法,根据阳性细胞的细胞图像,通过多个神经网络特征提取器抽取特征向量,并将所有的特征向量进行组合,形成一个高维的特征向量,最终通过神经网络分类器在高维的特征向量上对阳性细胞的病变类型进行分类,得到分类结果。图8中,LCT、HOG、Garbor为不同类型的神经网络特征提取器,ASCUS、LSIL、ASC-H/HSIL、SCC、HSV为病变类型。
在一个实施例中,根据处理结果确定感兴趣区域中的细胞的阴阳性之后,细胞图像处理方法还包括:对确定的阳性细胞进行标注。
处理器在确定病变细胞(阳性细胞)之后,对确定的病变细胞进行标注处理,从而方便临床医生进行观察诊断。具体地,在进行细胞标注时,可以是针对单个病变细胞进行标注,标注框具体可以是三变形、四边形、五边形等多边形形状,也可以是曲线框;另外,当病变细胞位置为相邻位置,或者某一区域内包含较多的病变细胞时,也可以是针对某一区域进行标注,同样,可以是通过多边形标注框或者曲线标注框进行标注。
在合理条件下应当理解,虽然前文各实施例涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图9所示,提供一种细胞图像处理装置,该装置包括:图像获取模块100以及图像处理模块200。
图像获取模块100用于获取待处理的细胞图像;
图像处理模块200用于根据细胞图像确定感兴趣区域,并确定感兴趣区域对应的不同分辨率的细胞子图像;根据不同分辨率的细胞子图像,对感兴趣区域中的细胞进行病变细胞识别处理,并根据处理结果确定感兴趣区域中的细胞的阴阳性。
在一个实施例中,图像处理模块200还用于:对获取的细胞图像进行预处理。
在一个实施例中,图像处理模块200还用于:通过神经网络模型,分别对不同分辨率的细胞子图像进行病变细胞识别处理,确定感兴趣区域中的病变细胞。
在一个实施例中,图像处理模块200还用于:通过神经网络模型,提取细胞子图像中的细胞的特征信息,特征信息包括形态特征信息以及颜色特征信息中的至少一项;根据细胞的特征信息,通过神经网络模型识别细胞中的病变细胞。
在一个实施例中,图像处理模块200还用于:确定阳性细胞的病变类型。
在一个实施例中,图像处理模块200还用于:根据阳性细胞的细胞图像进行特征提取,得到阳性细胞的特征信息,特征信息包括形态特征信息以及颜色特征信息中的至少一项;根据阳性细胞的特征信息,确定阳性细胞的病变类型。
在一个实施例中,图像处理模块200还用于:通过至少两种神经网络特征提取器对阳性细胞的细胞图像进行特征提取,并将不同的神经网络特征提取器提取的特征信息进行组合,得到阳性细胞的多维特征信息。
在一个实施例中,图像处理模块200还用于:根据阳性细胞的多维特征信息,通过神经网络分类器确定阳性细胞的病变类型。
关于细胞图像处理装置的具体限定可以参见上文中对于细胞图像处理方法的限定,在此不再赘述。上述细胞图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供本申请的细胞图像处理方法的应用实例。
如图10所示,为对宫颈液基细胞学涂片进行细胞图像处理的实例图,图10(a)为正常细胞的示意图,图10(b)为病变细胞的示意图,图10(c)为通过本申请的方法标注出来的病变细胞的示意图,可以看出,对于宫颈液基细胞学涂片的细胞图像,本申请的方法能够有效对病变细胞进行识别标注。
如图11所示,为对胸腹水细胞学涂片(胸腔积液)进行细胞图像处理的实例图,图11(a)为正常细胞的示意图,图11(b)为病变细胞的示意图,图11(c)为通过本申请的方法标注出来的病变细胞的示意图,可以看出,对于胸腹水细胞学涂片(胸腔积液)的细胞图像,本申请的方法能够有效对病变细胞进行识别标注。
如图12所示,为对组织学切片(结直肠)进行细胞图像处理的实例图,图12(a)为正常细胞的示意图,图12(b)为病变细胞的示意图,图12(c)为通过本申请的方法标注出来的病变细胞的示意图,可以看出,对于组织学切片(结直肠)的细胞图像,本申请的方法能够有效对病变细胞进行识别标注。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取待处理的细胞图像;根据细胞图像确定感兴趣区域,并确定感兴趣区域对应的不同分辨率的细胞子图像;根据不同分辨率的细胞子图像,对感兴趣区域中的细胞进行病变细胞识别处理,并根据处理结果确定感兴趣区域中的细胞的阴阳性。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对获取的细胞图像进行预处理。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:通过神经网络模型,分别对不同分辨率的细胞子图像进行病变细胞识别处理,确定感兴趣区域中的病变细胞。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:通过神经网络模型,提取细胞子图像中的细胞的特征信息,特征信息包括形态特征信息以及颜色特征信息中的至少一项;根据细胞的特征信息,通过神经网络模型识别细胞中的病变细胞。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定阳性细胞的病变类型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据阳性细胞的细胞图像进行特征提取,得到阳性细胞的特征信息,特征信息包括形态特征信息以及颜色特征信息中的至少一项;根据阳性细胞的特征信息,确定阳性细胞的病变类型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:通过至少两种神经网络特征提取器对阳性细胞的细胞图像进行特征提取,并将不同的神经网络特征提取器提取的特征信息进行组合,得到阳性细胞的多维特征信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据阳性细胞的多维特征信息,通过神经网络分类器确定阳性细胞的病变类型。
图13示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端(或服务器)。如图13所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现视频码率控制方法以及视频转码方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行视频码率控制方法以及视频转码方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取待处理的细胞图像;根据细胞图像确定感兴趣区域,并确定感兴趣区域对应的不同分辨率的细胞子图像;根据不同分辨率的细胞子图像,对感兴趣区域中的细胞进行病变细胞识别处理,并根据处理结果确定感兴趣区域中的细胞的阴阳性。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对获取的细胞图像进行预处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过神经网络模型,分别对不同分辨率的细胞子图像进行病变细胞识别处理,确定感兴趣区域中的病变细胞。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过神经网络模型,提取细胞子图像中的细胞的特征信息,特征信息包括形态特征信息以及颜色特征信息中的至少一项;根据细胞的特征信息,通过神经网络模型识别细胞中的病变细胞。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定阳性细胞的病变类型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据阳性细胞的细胞图像进行特征提取,得到阳性细胞的特征信息,特征信息包括形态特征信息以及颜色特征信息中的至少一项;根据阳性细胞的特征信息,确定阳性细胞的病变类型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过至少两种神经网络特征提取器对阳性细胞的细胞图像进行特征提取,并将不同的神经网络特征提取器提取的特征信息进行组合,得到阳性细胞的多维特征信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据阳性细胞的多维特征信息,通过神经网络分类器确定阳性细胞的病变类型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (13)
1.一种细胞图像处理方法,其特征在于,包括:
获取待处理的细胞图像;
根据所述细胞图像确定感兴趣区域,并确定所述感兴趣区域对应的不同分辨率的细胞子图像;
根据所述不同分辨率的细胞子图像,对所述感兴趣区域中的细胞进行病变细胞识别处理,并根据处理结果确定所述感兴趣区域中的细胞的阴阳性。
2.根据权利要求1所述的细胞图像处理方法,其特征在于,获取待处理的细胞图像之后,根据所述细胞图像确定感兴趣区域之前,还包括:
对获取的所述细胞图像进行预处理。
3.根据权利要求1所述的细胞图像处理方法,其特征在于,所述感兴趣区域对应的不同分辨率的细胞子图像至少包括第一子图像以及第二子图像,所述第一子图像的分辨率与所述第二子图像的分辨率不同。
4.根据权利要求1所述的细胞图像处理方法,其特征在于,根据所述不同分辨率的细胞子图像,对所述感兴趣区域中的细胞进行病变细胞识别处理,包括:
通过神经网络模型,分别对所述不同分辨率的细胞子图像进行病变细胞识别处理,确定所述感兴趣区域中的病变细胞。
5.根据权利要求4所述的细胞图像处理方法,其特征在于,所述神经网络模型为卷积神经网络模型。
6.根据权利要求4所述的细胞图像处理方法,其特征在于,通过神经网络模型,分别对所述不同分辨率的细胞子图像进行病变细胞识别处理,确定所述感兴趣区域中的病变细胞,包括:
通过所述神经网络模型,提取所述细胞子图像中的细胞的特征信息,所述特征信息包括形态特征信息以及颜色特征信息中的至少一项;
根据所述细胞的特征信息,通过所述神经网络模型识别所述细胞中的病变细胞。
7.根据权利要求1所述的细胞图像处理方法,其特征在于,根据处理结果确定所述感兴趣区域中的细胞的阴阳性之后,还包括:
确定阳性细胞的病变类型。
8.根据权利要求7所述的细胞图像处理方法,其特征在于,确定阳性细胞的病变类型,包括:
根据所述阳性细胞的细胞图像进行特征提取,得到所述阳性细胞的特征信息,所述特征信息包括形态特征信息以及颜色特征信息中的至少一项;
根据所述阳性细胞的特征信息,确定所述阳性细胞的病变类型。
9.根据权利要求8所述的细胞图像处理方法,其特征在于,根据所述阳性细胞的细胞图像进行特征提取,得到所述阳性细胞的特征信息,包括:
通过至少两种神经网络特征提取器对所述阳性细胞的细胞图像进行特征提取,并将不同的神经网络特征提取器提取的特征信息进行组合,得到所述阳性细胞的多维特征信息。
10.根据权利要求9所述的细胞图像处理方法,其特征在于,根据所述阳性细胞的特征信息,确定所述阳性细胞的病变类型,包括:
根据所述阳性细胞的多维特征信息,通过神经网络分类器确定所述阳性细胞的病变类型。
11.一种细胞图像处理装置,其特征在于,包括:
图像获取模块,用于获取待处理的细胞图像;
图像处理模块,用于根据所述细胞图像确定感兴趣区域,并确定所述感兴趣区域对应的不同分辨率的细胞子图像;根据所述不同分辨率的细胞子图像,对所述感兴趣区域中的细胞进行病变细胞识别处理,并根据处理结果确定所述感兴趣区域中的细胞的阴阳性。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910298096.7A CN110189293A (zh) | 2019-04-15 | 2019-04-15 | 细胞图像处理方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910298096.7A CN110189293A (zh) | 2019-04-15 | 2019-04-15 | 细胞图像处理方法、装置、存储介质及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110189293A true CN110189293A (zh) | 2019-08-30 |
Family
ID=67714516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910298096.7A Pending CN110189293A (zh) | 2019-04-15 | 2019-04-15 | 细胞图像处理方法、装置、存储介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110189293A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110572579A (zh) * | 2019-09-30 | 2019-12-13 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
CN111048183A (zh) * | 2019-11-15 | 2020-04-21 | 广州金域医学检验中心有限公司 | 数字病理图像均一化的方法、装置、设备及存储介质 |
CN111161369A (zh) * | 2019-12-20 | 2020-05-15 | 上海联影智能医疗科技有限公司 | 图像重建存储方法、装置、计算机设备和存储介质 |
CN111223110A (zh) * | 2020-01-06 | 2020-06-02 | 陈根生 | 一种显微图像增强方法、装置及计算机设备 |
CN112481346A (zh) * | 2020-12-03 | 2021-03-12 | 中国人民解放军陆军军医大学第二附属医院 | 外周血细胞形态学检出异常细胞的自动预警系统及其方法 |
CN113237881A (zh) * | 2021-05-10 | 2021-08-10 | 博奥生物集团有限公司 | 一种特定细胞的检测方法、装置和病理切片检测系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103106387A (zh) * | 2011-11-15 | 2013-05-15 | 中国科学院深圳先进技术研究院 | 图像识别方法和装置 |
WO2015177268A1 (en) * | 2014-05-23 | 2015-11-26 | Ventana Medical Systems, Inc. | Systems and methods for detection of biological structures and/or patterns in images |
CN106096654A (zh) * | 2016-06-13 | 2016-11-09 | 南京信息工程大学 | 一种基于深度学习和结合策略的细胞异型性自动分级方法 |
CN108921225A (zh) * | 2018-07-10 | 2018-11-30 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、计算机设备和存储介质 |
CN109034208A (zh) * | 2018-07-03 | 2018-12-18 | 怀光智能科技(武汉)有限公司 | 一种高低分辨率组合的宫颈细胞病理切片分类方法 |
CN109034221A (zh) * | 2018-07-13 | 2018-12-18 | 马丁 | 一种宫颈细胞学图像特征的处理方法及其装置 |
CN109145941A (zh) * | 2018-07-03 | 2019-01-04 | 怀光智能科技(武汉)有限公司 | 一种非规则宫颈细胞团图像分类方法及系统 |
-
2019
- 2019-04-15 CN CN201910298096.7A patent/CN110189293A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103106387A (zh) * | 2011-11-15 | 2013-05-15 | 中国科学院深圳先进技术研究院 | 图像识别方法和装置 |
WO2015177268A1 (en) * | 2014-05-23 | 2015-11-26 | Ventana Medical Systems, Inc. | Systems and methods for detection of biological structures and/or patterns in images |
CN106096654A (zh) * | 2016-06-13 | 2016-11-09 | 南京信息工程大学 | 一种基于深度学习和结合策略的细胞异型性自动分级方法 |
CN109034208A (zh) * | 2018-07-03 | 2018-12-18 | 怀光智能科技(武汉)有限公司 | 一种高低分辨率组合的宫颈细胞病理切片分类方法 |
CN109145941A (zh) * | 2018-07-03 | 2019-01-04 | 怀光智能科技(武汉)有限公司 | 一种非规则宫颈细胞团图像分类方法及系统 |
CN108921225A (zh) * | 2018-07-10 | 2018-11-30 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、计算机设备和存储介质 |
CN109034221A (zh) * | 2018-07-13 | 2018-12-18 | 马丁 | 一种宫颈细胞学图像特征的处理方法及其装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110572579A (zh) * | 2019-09-30 | 2019-12-13 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
CN111048183A (zh) * | 2019-11-15 | 2020-04-21 | 广州金域医学检验中心有限公司 | 数字病理图像均一化的方法、装置、设备及存储介质 |
CN111048183B (zh) * | 2019-11-15 | 2024-01-30 | 广州金域医学检验中心有限公司 | 数字病理图像均一化的方法、装置、设备及存储介质 |
CN111161369A (zh) * | 2019-12-20 | 2020-05-15 | 上海联影智能医疗科技有限公司 | 图像重建存储方法、装置、计算机设备和存储介质 |
CN111161369B (zh) * | 2019-12-20 | 2024-04-23 | 上海联影智能医疗科技有限公司 | 图像重建存储方法、装置、计算机设备和存储介质 |
CN111223110A (zh) * | 2020-01-06 | 2020-06-02 | 陈根生 | 一种显微图像增强方法、装置及计算机设备 |
CN111223110B (zh) * | 2020-01-06 | 2023-07-18 | 陈根生 | 一种显微图像增强方法、装置及计算机设备 |
CN112481346A (zh) * | 2020-12-03 | 2021-03-12 | 中国人民解放军陆军军医大学第二附属医院 | 外周血细胞形态学检出异常细胞的自动预警系统及其方法 |
CN113237881A (zh) * | 2021-05-10 | 2021-08-10 | 博奥生物集团有限公司 | 一种特定细胞的检测方法、装置和病理切片检测系统 |
CN113237881B (zh) * | 2021-05-10 | 2023-09-12 | 博奥生物集团有限公司 | 一种特定细胞的检测方法、装置和病理切片检测系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11614610B2 (en) | Systems, devices, and methods for image processing to generate an image having predictive tagging | |
KR102108050B1 (ko) | 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치 | |
CN110189293A (zh) | 细胞图像处理方法、装置、存储介质及计算机设备 | |
CN111310841B (zh) | 医学图像分类方法、装置、设备、计算机设备和存储介质 | |
US7027627B2 (en) | Medical decision support system and method | |
CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
CN109670510A (zh) | 一种基于深度学习的胃镜活检病理数据筛查系统和方法 | |
CN112101451A (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
CN112396621B (zh) | 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法 | |
CN110969204B (zh) | 基于磁共振图像与数字病理图像融合的样本分类系统 | |
CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
CN112215807A (zh) | 基于深度学习的细胞图像自动分类方法及系统 | |
CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
CN113724842B (zh) | 一种基于注意力机制的宫颈组织病理辅助诊断方法 | |
Nair et al. | Mitotic nuclei detection in breast histopathology images using YOLOv4 | |
Kanwal et al. | Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images | |
CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
CN110838094B (zh) | 病理切片染色风格转换方法和电子设备 | |
Liu et al. | Bone image segmentation | |
Alzubaidi et al. | Multi-class breast cancer classification by a novel two-branch deep convolutional neural network architecture | |
Do et al. | Supporting thyroid cancer diagnosis based on cell classification over microscopic images | |
Ouyang et al. | Automatic No-Reference kidney tissue whole slide image quality assessment based on composite fusion models | |
Tan et al. | Automated Classification Map Generation of Prostate Cancer using Deep Learning | |
Abinaya et al. | A systematic review: Intellectual detection and prediction of cancer using dl techniques | |
Quinones et al. | Impact of Patch Extraction Variables on Histopathological Imagery Classification Using Convolution Neural Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190830 |
|
RJ01 | Rejection of invention patent application after publication |