CN110120040B - 切片图像处理方法、装置、计算机设备和存储介质 - Google Patents
切片图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110120040B CN110120040B CN201910393560.0A CN201910393560A CN110120040B CN 110120040 B CN110120040 B CN 110120040B CN 201910393560 A CN201910393560 A CN 201910393560A CN 110120040 B CN110120040 B CN 110120040B
- Authority
- CN
- China
- Prior art keywords
- image
- data
- cell
- classification
- slice image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
本申请涉及一种切片图像处理方法、装置、计算机设备和存储介质。方法包括:根据获取的图像分割参数将切片图像分割为多个细胞图像,并将细胞图像输入训练好的卷积神经网络模型,得到分类概率数据,根据分类概率数据,确定细胞图像对应的分类类别,然后统计切片图像中异常类别的细胞图像数量,并计算统计的细胞图像数量占总细胞图像数量的比例数据,当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像。一方面,通过分割切片图像进行细化分析,利于提高切片图像的整体分析准确性,另一方面,通过采用的人工智能的卷积神经网络,提高了单个细胞图像的分类准确率,进而提高了对切片图像的分析准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种切片图像处理方法、装置、计算机设备和存储介质。
背景技术
随着医疗技术的发展,对于病理切片图像中各类细胞的识别在医疗方面起着重要的作用,近些年,国内外许多医学研究团队开始致力于研究腹腔积液中的各类细胞识别,通过对病理切片图像中的各类细胞进行甄别,能够及时发现病变细胞,从而为病理切片分级提供辅助支持。传统的病理切片分级方式采用的是人工分级的方式,由病理医生通过对病理切片进行移动,进而通过肉眼扫描整个病理切片,对病理切片中的各个细胞的类别进行识别,进而根据识别结果对病理切片图像进行分类。
然而,由于每一张病理切片图像都存在大量的病变细胞,各种细胞类型繁多、细胞结构复杂、细胞形态多样,异常细胞的识别与分类依赖于医生的专业技能,医生的主观判断性强,容易出现误判,进而导致分析切片图像是否为异常切片图像的过程中存在准确率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高切片图像分析准确性的切片图像处理方法、装置、计算机设备和存储介质。
一种切片图像处理方法,所述方法包括:
获取切片图像与图像分割参数,根据所述图像分割参数将所述切片图像分割为多个细胞图像;
将所述细胞图像输入预先训练的卷积神经网络模型进行分类分析,得到所述细胞图像中目标细胞的分类概率数据,所述卷积神经网络模型通过标注有分类类别的样本细胞图像训练得到,所述分类类别包括正常类别和多个异常类别;
根据所述细胞图像中目标细胞的分类概率数据,确定所述细胞图像对应的分类类别;
统计所述切片图像中异常类别的细胞图像数量,并计算异常类别的所述细胞图像数量占分割得到的总细胞图像数量的比例数据;
当所述比例数据大于预设比例阈值时,将所述切片图像标记为异常切片图像。
在其中一个实施例中,所述根据所述细胞图像中目标细胞的分类概率数据,确定所述细胞图像对应的分类类别包括:
对所述目标细胞的分类概率数据进行排序,并筛选数据值最大的分类概率数据;
当所述数据值最大的分类概率数据对应的分类类别为正常类别时,确定所述细胞图像对应的分类类别为正常类别;
当所述数据值最大的分类概率数据对应的分类类别为异常类别时,确定所述细胞图像对应的分类类别为异常类别。
在其中一个实施例中,所述当所述比例数据大于预设比例阈值时,将所述切片图像标记为异常切片图像包括:
当所述比例数据大于预设比例阈值时,分别统计携带有相同分类标记的细胞图像数量;
根据携带有相同分类标记的细胞图像数量的统计结果,得到携带有分类统计数据的切片图像,并将所述携带有分类统计数据的切片图像标记为异常切片图像。
在其中一个实施例中,所述卷积神经网络模型中包括依次连接的输入层、卷积层、全连接层和输出层,其中,所述卷积层包括旁路连接层级和深度可分离卷积层级;
所述旁路连接层级将上一层级的输出数据与当前层级的输出数据同时输入下一层级,通过卷积处理得到所述细胞图像对应的M个特征图,并将所述特征图输入至所述深度可分离卷积层级;
所述深度可分离卷积层级通过M个3*3卷积核一对一卷积所述M个特征图,生成M个初始卷积结果,并用N个1*1的卷积核卷积所述M个初始卷积结果,生成N个二次卷积结果,并将所述N个二次卷积结果输入与所述深度可分离卷积层级连接的下一层级。
在其中一个实施例中,所述获取切片图像与图像分割参数,根据所述图像分割将所述切片图像分割为多个细胞图像包括:
获取切片图像,根据预设的数据标准,分别对所述切片图像携带的图像通道数据、像素数据以及图像层级数据进行数据标准化处理,得到标准化切片图像;
对所述标准化切片图像进行图像去噪和图像增强处理,得到所述优化切片图像;
获取图像分割参数,根据所述图像分割参数将所述优化切片图像分割为多个细胞图像。
在其中一个实施例中,所述获取切片图像,根据预设的数据标准,分别对所述切片图像携带的图像通道数据、像素数据以及图像层级数据进行数据标准化处理,得到标准化切片图像包括:
获取切片图像并提取所述切片图像的图像通道数据、像素数据以及图像层级数据;
将图像通道数据转换为通道形式以RGB排列的目标图像通道数据;
将所述像素数据转换为预设数据类型的目标像素数据;
将所述图像层级数据转换为相邻层级倍率转换为相同倍数的目标图像层级数据;
根据所述目标图像通道数据、所述目标像素数据以及所述目标图像层级数据,对所述切片图像进行数据更新,得到标准化切片图像。
在其中一个实施例中,所述对所述标准化切片图像进行图像去噪和图像增强处理,得到所述优化切片图像包括:
基于高斯低通滤波器,对所述标准化切片图像进行二维低通高斯去噪处理,得到去噪图像;
基于对数Log变换,对所述去噪图像进行的图像增强处理,得到所述优化切片图像。
一种切片图像处理装置,所述装置包括:
图像分割模块,用于获取切片图像与图像分割参数,根据所述图像分割参数将所述切片图像分割为多个细胞图像;
分类处理模块,用于将所述细胞图像输入预先训练的卷积神经网络模型进行分类分析,得到所述细胞图像中目标细胞的分类概率数据,所述卷积神经网络模型通过标注有分类类别的样本细胞图像训练得到,所述分类类别包括正常类别和多个异常类别;
分类类别确定模块,用于根据所述细胞图像中目标细胞的分类概率数据,确定所述细胞图像对应的分类类别;
数量统计与计算模块,用于统计所述切片图像中异常类别的细胞图像数量,并计算异常类别的所述细胞图像数量占分割得到的总细胞图像数量的比例数据;
图像标记模块,用于当所述比例数据大于预设比例阈值时,将所述切片图像标记为异常切片图像。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现以下步骤:
获取切片图像与图像分割参数,根据所述图像分割参数将所述切片图像分割为多个细胞图像;
将所述细胞图像输入预先训练的卷积神经网络模型进行分类分析,得到所述细胞图像中目标细胞的分类概率数据,所述卷积神经网络模型通过标注有分类类别的样本细胞图像训练得到,所述分类类别包括正常类别和多个异常类别;
根据所述细胞图像中目标细胞的分类概率数据,确定所述细胞图像对应的分类类别;
统计所述切片图像中异常类别的细胞图像数量,并计算异常类别的所述细胞图像数量占分割得到的总细胞图像数量的比例数据;
当所述比例数据大于预设比例阈值时,将所述切片图像标记为异常切片图像。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取切片图像与图像分割参数,根据所述图像分割参数将所述切片图像分割为多个细胞图像;
将所述细胞图像输入预先训练的卷积神经网络模型进行分类分析,得到所述细胞图像中目标细胞的分类概率数据,所述卷积神经网络模型通过标注有分类类别的样本细胞图像训练得到,所述分类类别包括正常类别和多个异常类别;
根据所述细胞图像中目标细胞的分类概率数据,确定所述细胞图像对应的分类类别;
统计所述切片图像中异常类别的细胞图像数量,并计算异常类别的所述细胞图像数量占分割得到的总细胞图像数量的比例数据;
当所述比例数据大于预设比例阈值时,将所述切片图像标记为异常切片图像。
上述切片图像处理方法、装置、计算机设备和存储介质,通过将切片图像分割为多个细胞图像,采用预先训练好的卷积神经网络模型对细胞图像中的目标细胞进行分类分析,得到细胞图像中目标细胞的分类概率数据,进而根据目标细胞的分类概率确定该细胞图像对应的分类类别,通过统计切片图像中异常类别的细胞图像数量,进而根据异常类别的细胞图像数量占分割得到的总细胞图像数量的比例数据,当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像,整个过程中,一方面,通过对切片图像的分割进行图像细化分析,并结合细化得到的细胞图像的分类结果来确定切片图像是否为异常切片图像,利于提高切片图像的整体分析准确性,另一方面,通过采用的人工智能的卷积神经网络进行细胞分类,提高了单个细胞图像的分类准确率,两方面相结合,进一步提高了对切片图像的分析准确性。
附图说明
图1为一个实施例中切片图像处理方法的应用场景图;
图2为一个实施例中切片图像处理方法的流程示意图;
图3为另一个实施例中切片图像处理方法的流程示意图;
图4为又一个实施例中切片图像处理方法的流程示意图;
图5为再一个实施例中切片图像处理方法的流程示意图;
图6为一个实施例中切片图像处理装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的切片图像处理方法,可以应用于如图1所示的应用环境中。其中,终端102与服务器104通过网络进行通信。服务器104获取切片图像与图像分割参数,根据图像分割参数将切片图像分割为多个细胞图像,然后将细胞图像输入预先训练的卷积神经网络模型进行分类分析,得到细胞图像中目标细胞的分类概率数据,再根据细胞图像中目标细胞的分类概率数据,确定细胞图像对应的分类类别,最后统计切片图像中异常类别的细胞图像数量,并计算异常类别的细胞图像数量占分割得到的总细胞图像数量的比例数据;当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像并将携带有标记结果的切片图像反馈至终端102。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
以切片图像处理方法对腹腔积液的病理切片图像进行分析为例,在临床医疗诊断过程中,腹腔积液属于人体浆膜腔积液的一部分,简称“腹水”。人体正常生理情况下,腹腔内应存在一定量的液体,主要起到对人体各脏器的润滑作用,有利于脏器间的运动。正常成人的腹腔积液应该在50ml以下,腹腔内的积液如果超过这个值,可能被诊断为腹腔积液。虽然,腹腔积液发病原因较多,但总统归纳起来分为两大类:一类由炎症引起的病变,如:由病毒、真菌、细菌、等感染腹膜引起炎症,导致腹膜间皮细胞脱落和炎症细胞及液体渗出(腹腔积液)。或由于肺栓塞、胰腺炎以及结缔组织疾病等非感染性疾病引起的腹腔积液,腹腔积液中包括渗出的液体,各种炎症细胞,间皮细胞及各种病原体,这一类细胞及病原体均被称为非恶性病变细胞。另一类为肿瘤细胞侵犯腹膜导致的腹膜渗出,如腹膜间皮瘤、肺癌、乳腺癌、食道癌、胃癌等引起的腹腔积液,此类积液中含有各具特征的肿瘤细胞,渗出的各种炎症细胞、红细胞和间皮细胞。腹腔积液切片图像中各类细胞的识别与分类依赖于医生的专业技能,医生的主观判断性强,容易出现误判,进而导致识别切片图像是否为异常切片图像的过程中存在准确率低的问题。
在一个实施例中,如图2所示,提供了一种切片图像处理方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤S200,获取切片图像与图像分割参数,根据图像分割参数将切片图像分割为多个细胞图像。
切片图像是指需要通过对图像进行细胞识别和分类的图像,判断是否为异常切片图像的分析对象,其中,切片图像在进行分割之前还可以进行图像预处理实现切片图像的标准化和质量优化,图像预处理过程包括图像通道数据、像素数据以及图像层级数据的数据标准化,以及图像的去噪与增强处理。图像分割参数可以包括滑动窗口的步长参数和图像缩放参数,通过滑动窗口将大图分割为多个细胞小图,并按模型的图像输入要求对细胞小图进行缩放,得到多个细胞图像,便于采用预先训练好的卷积神经网络模型对细胞图像进行进一步分析。
在实施例中,将切片图像底层的大图(40倍)切分成设定大小的小图(如1216*1216),根据预想训练好的卷积神经网络模型的图像输入要求(如412*412),对切分后的小图进行适当的缩放。在切分病理大图时,采用了不同步长但固定大小的滑动窗口。步长设置为200,300,412。通过这样的方法对大图进行分割,不仅丰富了数据量,在一定程度上避免了一个完整细胞被分到两张小图中的情况。
步骤S300,将细胞图像输入预先训练的卷积神经网络模型进行分类分析,得到细胞图像中目标细胞的分类概率数据,卷积神经网络模型通过标注有分类类别的样本细胞图像训练得到,分类类别包括正常类别和多个异常类别。
卷积神经网络模型是指根据标注有分类信息的样本细胞图像训练得到的,用于对输入的细胞图像进行目标细胞识别与分类概率计算分析的模型。在实施例中,在存储器内存储有从不同格式的病理扫描仪产生的切片样本,数据格式包括tif、svs、ndpi、vms、kfb等,根据切片样本携带的数据格式信息,查找与数据格式对应的预设数据接口,通过不同的数据接口,读入不同格式的切片样本图像,通过对切片样本图像进行标准化、去噪和增强等图像处理,得到高质量的切片图像,通过对处理得到的高质量图像进行异常类别细胞的分类信息标记,在实施例中,异常类别的各类细胞可以包括间皮瘤细胞、腺癌细胞、印戒状癌细胞、淋巴瘤细胞以及卵巢乳头状癌细胞等。其中,当图像中包含多个细胞时,需要对异常细胞进行位置信息标注,从而得到样本细胞图像。将标注有分类信息的样本细胞图像输入初始卷积神经网络模型进行训练,得到用于对切片图像进行分析的卷积神经网络模型。
其中,在卷积神经网络模型进行大量的样本训练之前,可以通过设置多个初始卷积神经网络模型,采用交叉验证法选择具有优选参数的模型,具体包括:
获取划分为K份数据的样本细胞图像集合和K个初始卷积神经网络模型,依次选取K份数据中的其中N份数据作为测试集,K-N份数据作为训练集进行数据组合,得到不同组合的K组数据集合,K组数据集合与K个初始卷积神经网络模型相对应,根据数据集合中的训练集,训练与数据集合对应的初始卷积神经网络模型,根据同一样本图像数据中的测试集,计算训练完成的初始卷积神经网络模型的模型评估指标,计算K组模型评估指标的平均值,并将平均值作为目标评估指标,筛选K组模型评估指标中与目标评估指标误差最小的模型评估指标,其中,误差最小的模型评估指标对应的初始卷积神经网络模型即为具有优选参数的卷积神经网络模型。优化参数的卷积神经网络模型通过大量的样本训练,即可得到上述预先训练的卷积神经网络模型。
步骤S400,根据细胞图像中目标细胞的分类概率数据,确定细胞图像对应的分类类别。
根据预先训练的卷积神经网络模型的分析处理,得到细胞图像中目标细胞的分类概率数据,通过按数据值的大小顺序对概率数据进行排序,筛选得到概率数据值最大的分类类别,将该分类别类标记为细胞图像的分类信息,根据目标细胞的分类数据对各个细胞图像进行正常类别或异常类别的分类标记,可以初步得到各个细胞图像的分类结果,为切片图像的分析提供依据。
步骤S500,统计切片图像中异常类别的细胞图像数量,并计算异常类别的细胞图像数量占分割得到的总细胞图像数量的比例数据。
在实施例中,异常类别可以为多个类别,统计切片图像中异常类别的细胞图像数量包括统计切片图像中各个类别的异常类别的总细胞图像数量,例如,异常类别包括A类和B类,A类异常类别的细胞图像数量为15,B类异常类别的细胞图像数量为20,则统计得到异常类别的细胞图像数量为35。分割得到的总细胞图像数量的比例数据包括正常类别的细胞图像与异常类别的细胞图像的总和,分割得到的总细胞图像数量可以根据图像分割参数在分割时的计数数据得到,也可以根据累计正常类别的细胞图像与异常类别的细胞图像的总和得到。
步骤S600,当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像。
预设的比例阈值是指通过大量实验数据获得的超参,具体可以通过多次试验的回归计算处理得到,在对切片图像进行切分时,切分得到的各个细胞图像携带有坐标信息,根据坐标信息,在各个细胞图像进行分类标注后,通过坐标转换,得到携带有分类标记的细胞图像拼接而来的拼接切片图像,其中,在细胞图像标注时,若卷积神经网络模型没有从细胞图像中识别到预设类别的目标细胞,或是目标细胞的分类概率数据值太小,则将细胞图像标记为正常类别,即该细胞图像中不包含异常类别的细胞,统计拼接切片图像中异常类别的细胞图像数量,并计算细胞图像数量占分割得到的总细胞图像数量的比例数据,当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像。
上述切片图像处理方法,通过将切片图像分割为多个细胞图像,采用预先训练好的卷积神经网络模型对细胞图像中的目标细胞进行分类分析,得到细胞图像中目标细胞的分类概率数据,进而根据目标细胞的分类概率确定该细胞图像对应的分类类别,通过统计切片图像中异常类别的细胞图像数量,进而根据异常类别的细胞图像数量占分割得到的总细胞图像数量的比例数据,当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像,整个过程中,一方面,通过对切片图像的分割进行图像细化分析,并结合细化得到的细胞图像的分类结果来确定切片图像是否为异常切片图像,利于提高切片图像的整体分析准确性,另一方面,通过采用的人工智能的卷积神经网络进行细胞分类,提高了单个细胞图像的分类准确率,两方面相结合,进一步提高了对切片图像的分析准确性。
在其中一个实施例中,如图3所示,步骤S400,根据细胞图像中目标细胞的分类概率数据,确定细胞图像对应的分类类别包括:
步骤S420,对目标细胞的分类概率数据进行排序,并筛选数据值最大的分类概率数据。
步骤S440,当数据值最大的分类概率数据对应的分类类别为正常类别时,确定细胞图像对应的分类类别为正常类别;
步骤S460,当数据值最大的分类概率数据对应的分类类别为异常类别时,确定细胞图像对应的分类类别为异常类别。
卷积神经网络模型输出细胞图像中目标细胞属于每一个分类类别的分类概率数据,采用winner-take-all策略,将分类概率数据最大数据值对应的分类类别作为细胞图像的分类结果。其中,winner-take-all策略是指只保留最大的,其他的直接被抑制掉的数据处理方式。
在其他实施例中,还可以预设概率阈值,当数据值最大的分类概率数据大于预设概率阈值时,根据数据值最大的分类概率数据对应的分类类别,对细胞图像将细胞图像标记为异常类别,当数据值最大的分类概率数据小于预设概率阈值时,将细胞图像标记为正常类别。
在其中一个实施例中,如图4所示,步骤S600,当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像包括:
步骤S620,当比例数据大于预设比例阈值时,分别统计携带有相同分类标记的细胞图像数量。
步骤S640,根据携带有相同分类标记的细胞图像数量的统计结果,得到携带有分类统计数据的切片图像,并将携带有分类统计数据的切片图像标记为异常切片图像。
当比例数据大于预设比例阈值时,分别统计携带有相同分类标记的细胞图像数量,以获得各个预设分类分别的细胞图像的分类统计数据,通过将分类统计数据标记为切片图像的标注数据,,得到携带有分类统计数据的切片图像,并,得到携带有分类统计数据的切片图像标记为异常切片图像,在确定切片图像为异常切片图像的同时还可以获得切片图像的整体分析结果。
在其中一个实施例中,卷积神经网络模型中包括依次连接的输入层、卷积层、全连接层和输出层,其中,卷积层包括旁路连接层级和深度可分离卷积层级。
旁路连接层级将上一层级的输出数据与当前层级的输出数据同时输入下一层级,通过卷积处理得到细胞图像对应的M个特征图,并将特征图输入至深度可分离卷积层级。
深度可分离卷积层级通过M个3*3卷积核一对一卷积M个特征图,生成M个初始卷积结果,并用N个1*1的卷积核卷积M个初始卷积结果,生成N个二次卷积结果,并将N个二次卷积结果输入与深度可分离卷积层级连接的下一层级。
在实施例中,卷积神经网络模型采用1个输入层,16个卷积层,2个全连接层,1个输出层的架构方式。其中输入图像为按照RGB排列的三通道彩色图像,分辨率412*412。为了获得更大的视野,提高网络的整体分辨能力,输入层采用7*7的卷积核进行处理。卷积层的3-8层加入了旁路连接层级,可以将上一层级的输出数据与当前层级的输出数据同时输入下一层级,通过卷积处理得到细胞图像对应的M个特征图,并将特征图输入至深度可分离卷积层级。9-14为深度可分离卷积层级,采用了*ception的设计思想,将传统的卷积层分成两步:用M个3*3卷积核一对一的卷积输入的M个特征图,求和生成M个结果,然后用N个1*1的卷积核正常卷积前面得到的M个结果来代替原来的3*3的卷积层。其余的卷积层为普通的卷积模块,包括池化层和激活层。在卷积层,统一采用3*3的卷积核进行处理,不仅兼顾图像特征的提取与整合能力,而且提高了网络的处理效率。卷积操作方式如下:
其中C(s,t)表示在位置(s,t)的输出像素值,A为卷积掩膜,B为输入像素,Mr和Mc分别为掩膜的行数和列数。全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来。推导公式为:
a1=W11*x1+W12*x2+W13*x3+b1
a2=W21*x1+W22*x2+W23*x3+b2
a3=W31*x1+W32*x2+W33*x3+b3
其中,x1、x2、x3为全连接层的输入,a1、a2、a3为输出,在实施例中,输出层是一个N分类系统,含有N个神经元。N为与预先训练时设置的分类类别相同的数量。为了保证输出层输出的所有类别概率和为1,输出层的激活函数采用Softmax函数,公式如下:
在其中一个实施例中,如图5所示,步骤S200,获取切片图像与图像分割参数,根据图像分割将切片图像分割为多个细胞图像,细胞图像携带有坐标数据包括:
步骤S220,获取切片图像,根据预设的数据标准,分别对切片图像携带的图像通道数据、像素数据以及图像层级数据进行数据标准化处理,得到标准化切片图像。
步骤S240,对标准化切片图像进行图像去噪和图像增强处理,得到优化切片图像;
步骤S260,获取图像分割参数,根据图像分割参数将优化切片图像分割为多个细胞图像。
数据标准化是指将切片图像的数据格式进行统一的数据处理过程,特别是在样本采集阶段,将样本细胞图像进行数据格式的统一,对优化模型的训练过程具有重要的作用,数据标准化过程包括图像通道数据、像素数据以及图像层级数据的标准化,图像去噪和图像增强处理用于提高图像质量。利于模型提取细胞的特征数据,使得模型的分类分析更为精准。
在其中一个实施例中,步骤S220,获取切片图像,根据预设的数据标准,分别对切片图像携带的图像通道数据、像素数据以及图像层级数据进行数据标准化处理,得到标准化切片图像包括:
获取切片图像并提取切片图像的图像通道数据、像素数据以及图像层级数据。
将图像通道数据转换为通道形式以RGB排列的目标图像通道数据。
将像素数据转换为预设数据类型的目标像素数据。
将图像层级数据转换为相邻层级倍率转换为相同倍数的目标图像层级数据。
根据目标图像通道数据、目标像素数据以及目标图像层级数据,对切片图像进行数据更新,得到标准化切片图像。
目标图像通道数据是指将图像的通道数统一变为按照R(红)、G(绿)、B(蓝)排列的三通道形式。预设数据类型的目标像素数据是指将像素的数值统一存为[0,1]之间的32位浮点型,目标图像层级数据是指对图像的金字塔层级做了标准化。切片图像一般是金字塔状的多层级存储形式,但是不同来源的图像的层级数和层级间分辨率的倍率不同,具体可以时设置相邻层级之间的倍率为2倍,且总的层级为7层。
在其中一个实施例中,步骤S240,对标准化切片图像进行图像去噪和图像增强处理,得到优化切片图像包括:
基于高斯低通滤波器,对标准化切片图像进行二维低通高斯去噪处理,得到去噪图像。
基于对数Log变换,对去噪图像进行的图像增强处理,得到优化切片图像。
在实施例中,采用二维低通高斯去噪算法进行图像去噪处理。高斯低通滤波器是一类传递函数为高斯函数的线性平滑滤波器。由于高斯函数是正态分布的密度函数,所以高斯低通滤波器对于去除服从正态分布的噪声非常有效。二维高斯函数(高斯低通滤波器的传递函数)的表达形式如下:
公式中,σ为标准差,由于图像通常是二维信号,因此图像去噪通常使用二维高斯函数作为传递函数,而高斯函数具有可分离的特性,因此可以先对行进行高斯滤波,再对列进行高斯滤波,这样二维高斯函数就可以降为一维高斯滤波。为了突出图像的局部病理特性,将原来不清晰的图像变得清晰,扩大图像中不同病变细胞特征之间的差别,抑制不感兴趣的特征,通过图像增强策略,改善图像质量、丰富信息量,加强图像判读和识别效果。,在实施例中,采用对数Log变换的图像增强算法进行图像增强处理。对数变换可以将图像的低灰度值部分扩展,显示出低灰度部分更多的细节,将其高灰度值部分压缩,减少高灰度值部分的细节,从而达到强调图像低灰度部分的目的。变换方法为:
s=c·log(1+v·r)r∈[0,1]
其中c为常数,v为输入像素的亮度值,s为输出像素的亮度值。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种切片图像处理装置,包括:
图像分割模块200,用于获取切片图像与图像分割参数,根据图像分割参数将切片图像分割为多个细胞图像;
分类处理模块300,用于将细胞图像输入预先训练的卷积神经网络模型进行分类分析,得到细胞图像中目标细胞的分类概率数据,卷积神经网络模型通过标注有分类类别的样本细胞图像训练得到,分类类别包括正常类别和多个异常类别;
分类类别确定模块400,用于根据细胞图像中目标细胞的分类概率数据,确定细胞图像对应的分类类别;
数量统计与计算模块500,用于统计切片图像中异常类别的细胞图像数量,并计算异常类别的细胞图像数量占分割得到的总细胞图像数量的比例数据
图像标记模块600,用于当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像。
在其中一个实施例中,分类类别确定模块400,还用于对目标细胞的分类概率数据进行排序,并筛选数据值最大的分类概率数据,当数据值最大的分类概率数据对应的分类类别为正常类别时,确定细胞图像对应的分类类别为正常类别;当数据值最大的分类概率数据对应的分类类别为异常类别时,确定细胞图像对应的分类类别为异常类别。
在其中一个实施例中,图像标记模块600,还用于当比例数据大于预设比例阈值时,分别统计携带有相同分类标记的细胞图像数量,根据携带有相同分类标记的细胞图像数量的统计结果,得到携带有分类统计数据的切片图像,并将携带有分类统计数据的切片图像标记为异常切片图像。
在其中一个实施例中,分类处理模块为卷积神经网络模型,卷积神经网络模型中包括依次连接的输入层、卷积层、全连接层和输出层,其中,卷积层包括旁路连接层级和深度可分离卷积层级。旁路连接层级将上一层级的输出数据与当前层级的输出数据同时输入下一层级,通过卷积处理得到细胞图像对应的M个特征图,并将特征图输入至深度可分离卷积层级,深度可分离卷积层级通过M个3*3卷积核一对一卷积M个特征图,生成M个初始卷积结果,并用N个1*1的卷积核卷积M个初始卷积结果,生成N个二次卷积结果,并将N个二次卷积结果输入与深度可分离卷积层级连接的下一层级。
在其中一个实施例中,图像分割模块200还用于获取切片图像,根据预设的数据标准,分别对切片图像携带的图像通道数据、像素数据以及图像层级数据进行数据标准化处理,得到标准化切片图像,对标准化切片图像进行图像去噪和图像增强处理,得到优化切片图像,获取图像分割参数,根据图像分割参数将优化切片图像分割为多个细胞图像。
在其中一个实施例中,图像分割模块200还用于获取切片图像并提取切片图像的图像通道数据、像素数据以及图像层级数据,将图像通道数据转换为通道形式以RGB排列的目标图像通道数据,将像素数据转换为预设数据类型的目标像素数据,将图像层级数据转换为相邻层级倍率转换为相同倍数的目标图像层级数据,根据目标图像通道数据、目标像素数据以及目标图像层级数据,对切片图像进行数据更新,得到标准化切片图像。
在其中一个实施例中,图像分割模块200还用于基于高斯低通滤波器,对标准化切片图像进行二维低通高斯去噪处理,得到去噪图像,基于对数Log变换,对去噪图像进行的图像增强处理,得到优化切片图像。
上述切片图像处理装置,通过将切片图像分割为多个细胞图像,采用预先训练好的卷积神经网络模型对细胞图像中的目标细胞进行分类分析,得到细胞图像中目标细胞的分类概率数据,进而根据目标细胞的分类概率确定该细胞图像对应的分类类别,通过统计切片图像中异常类别的细胞图像数量,进而根据异常类别的细胞图像数量占分割得到的总细胞图像数量的比例数据,当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像,整个过程中,一方面,通过对切片图像的分割进行图像细化分析,并结合细化得到的细胞图像的分类结果来确定切片图像是否为异常切片图像,利于提高切片图像的整体分析准确性,另一方面,通过采用的人工智能的卷积神经网络进行细胞分类,提高了单个细胞图像的分类准确率,两方面相结合,进一步提高了对切片图像的分析准确性。
关于切片图像处理装置的具体限定可以参见上文中对于切片图像处理方法的限定,在此不再赘述。上述切片图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储切片图像处理方法的处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种切片图像处理方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取切片图像与图像分割参数,根据图像分割参数将切片图像分割为多个细胞图像;
将细胞图像输入预先训练的卷积神经网络模型进行分类分析,得到细胞图像中目标细胞的分类概率数据,卷积神经网络模型通过标注有分类类别的样本细胞图像训练得到,分类类别包括正常类别和多个异常类别;
根据细胞图像中目标细胞的分类概率数据,确定细胞图像对应的分类类别;
统计切片图像中异常类别的细胞图像数量,并计算异常类别的细胞图像数量占分割得到的总细胞图像数量的比例数据;
当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对目标细胞的分类概率数据进行排序,并筛选数据值最大的分类概率数据;
当数据值最大的分类概率数据对应的分类类别为正常类别时,确定细胞图像对应的分类类别为正常类别;
当数据值最大的分类概率数据对应的分类类别为异常类别时,确定细胞图像对应的分类类别为异常类别。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
当比例数据大于预设比例阈值时,分别统计携带有相同分类标记的细胞图像数量;
根据携带有相同分类标记的细胞图像数量的统计结果,得到携带有分类统计数据的切片图像,并将携带有分类统计数据的切片图像标记为异常切片图像。
在一个实施例中,处理器中设置有卷积神经网络模型,卷积神经网络模型中包括依次连接的输入层、卷积层、全连接层和输出层,其中,卷积层包括旁路连接层级和深度可分离卷积层级;
旁路连接层级将上一层级的输出数据与当前层级的输出数据同时输入下一层级,通过卷积处理得到细胞图像对应的M个特征图,并将特征图输入至深度可分离卷积层级;
深度可分离卷积层级通过M个3*3卷积核一对一卷积M个特征图,生成M个初始卷积结果,并用N个1*1的卷积核卷积M个初始卷积结果,生成N个二次卷积结果,并将N个二次卷积结果输入与深度可分离卷积层级连接的下一层级。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取切片图像,根据预设的数据标准,分别对切片图像携带的图像通道数据、像素数据以及图像层级数据进行数据标准化处理,得到标准化切片图像;
对标准化切片图像进行图像去噪和图像增强处理,得到优化切片图像;
获取图像分割参数,根据图像分割参数将优化切片图像分割为多个细胞图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取切片图像并提取切片图像的图像通道数据、像素数据以及图像层级数据;
将图像通道数据转换为通道形式以RGB排列的目标图像通道数据;
将像素数据转换为预设数据类型的目标像素数据;
将图像层级数据转换为相邻层级倍率转换为相同倍数的目标图像层级数据;
根据目标图像通道数据、目标像素数据以及目标图像层级数据,对切片图像进行数据更新,得到标准化切片图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
基于高斯低通滤波器,对标准化切片图像进行二维低通高斯去噪处理,得到去噪图像;
基于对数Log变换,对去噪图像进行的图像增强处理,得到优化切片图像。
上述用于实现切片图像处理方法的计算机设备,通过将切片图像分割为多个细胞图像,采用预先训练好的卷积神经网络模型对细胞图像中的目标细胞进行分类分析,得到细胞图像中目标细胞的分类概率数据,进而根据目标细胞的分类概率确定该细胞图像对应的分类类别,通过统计切片图像中异常类别的细胞图像数量,进而根据异常类别的细胞图像数量占分割得到的总细胞图像数量的比例数据,当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像,整个过程中,一方面,通过对切片图像的分割进行图像细化分析,并结合细化得到的细胞图像的分类结果来确定切片图像是否为异常切片图像,利于提高切片图像的整体分析准确性,另一方面,通过采用的人工智能的卷积神经网络进行细胞分类,提高了单个细胞图像的分类准确率,两方面相结合,进一步提高了对切片图像的分析准确性。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取切片图像与图像分割参数,根据图像分割参数将切片图像分割为多个细胞图像;
将细胞图像输入预先训练的卷积神经网络模型进行分类分析,得到细胞图像中目标细胞的分类概率数据,卷积神经网络模型通过标注有分类类别的样本细胞图像训练得到,分类类别包括正常类别和多个异常类别;
根据细胞图像中目标细胞的分类概率数据,确定细胞图像对应的分类类别;
统计切片图像中异常类别的细胞图像数量,并计算异常类别的细胞图像数量占分割得到的总细胞图像数量的比例数据;
当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对目标细胞的分类概率数据进行排序,并筛选数据值最大的分类概率数据;
当数据值最大的分类概率数据对应的分类类别为正常类别时,确定细胞图像对应的分类类别为正常类别;
当数据值最大的分类概率数据对应的分类类别为异常类别时,确定细胞图像对应的分类类别为异常类别。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
当比例数据大于预设比例阈值时,分别统计携带有相同分类标记的细胞图像数量;
根据携带有相同分类标记的细胞图像数量的统计结果,得到携带有分类统计数据的切片图像,并将携带有分类统计数据的切片图像标记为异常切片图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取切片图像,根据预设的数据标准,分别对切片图像携带的图像通道数据、像素数据以及图像层级数据进行数据标准化处理,得到标准化切片图像;
对标准化切片图像进行图像去噪和图像增强处理,得到优化切片图像;
获取图像分割参数,根据图像分割参数将优化切片图像分割为多个细胞图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取切片图像并提取切片图像的图像通道数据、像素数据以及图像层级数据;
将图像通道数据转换为通道形式以RGB排列的目标图像通道数据;
将像素数据转换为预设数据类型的目标像素数据;
将图像层级数据转换为相邻层级倍率转换为相同倍数的目标图像层级数据;
根据目标图像通道数据、目标像素数据以及目标图像层级数据,对切片图像进行数据更新,得到标准化切片图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于高斯低通滤波器,对标准化切片图像进行二维低通高斯去噪处理,得到去噪图像;
基于对数Log变换,对去噪图像进行的图像增强处理,得到优化切片图像。
上述用于实现切片图像处理方法的计算机可读存储介质,通过将切片图像分割为多个细胞图像,采用预先训练好的卷积神经网络模型对细胞图像中的目标细胞进行分类分析,得到细胞图像中目标细胞的分类概率数据,进而根据目标细胞的分类概率确定该细胞图像对应的分类类别,通过统计切片图像中异常类别的细胞图像数量,进而根据异常类别的细胞图像数量占分割得到的总细胞图像数量的比例数据,当比例数据大于预设比例阈值时,将切片图像标记为异常切片图像,整个过程中,一方面,通过对切片图像的分割进行图像细化分析,并结合细化得到的细胞图像的分类结果来确定切片图像是否为异常切片图像,利于提高切片图像的整体分析准确性,另一方面,通过采用的人工智能的卷积神经网络进行细胞分类,提高了单个细胞图像的分类准确率,两方面相结合,进一步提高了对切片图像的分析准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种切片图像处理方法,所述方法包括:
获取切片图像与图像分割参数,根据所述图像分割参数将所述切片图像分割为多个细胞图像;
将所述细胞图像输入预先训练的卷积神经网络模型进行分类分析,得到所述细胞图像中目标细胞的分类概率数据,所述卷积神经网络模型通过标注有分类类别的样本细胞图像训练得到,所述分类类别包括正常类别和多个异常类别;
根据所述细胞图像中目标细胞的分类概率数据,确定所述细胞图像对应的分类类别;
统计所述切片图像中异常类别的细胞图像数量,并计算异常类别的所述细胞图像数量占分割得到的总细胞图像数量的比例数据;
当所述比例数据大于预设比例阈值时,将所述切片图像标记为异常切片图像;
其中,所述图像分割参数包括滑动窗口的步长参数和图像缩放参数,所述步长参数包括数值大小不同的多个步长;
所述根据所述图像分割参数将所述切片图像分割为多个细胞图像包括:
按所述步长参数通过滑动窗口将切片图像分割为多个细胞小图,并按模型的图像输入要求对应的图像缩放参数对细胞小图进行缩放,得到多个细胞图像;
在对切片图像进行分割时,分割得到的各个细胞图像携带有坐标信息,根据坐标信息,在各个细胞图像进行分类标记后,通过坐标转换,得到由携带有分类标记的细胞图像拼接而来的拼接切片图像;
所述统计所述切片图像中异常类别的细胞图像数量包括:统计所述拼接切片图像中异常类别的细胞图像数量;
所述卷积神经网络模型中包括依次连接的输入层、卷积层、全连接层和输出层,其中,所述卷积层包括旁路连接层级和深度可分离卷积层级;
所述旁路连接层级将上一层级的输出数据与当前层级的输出数据同时输入下一层级,通过卷积处理得到所述细胞图像对应的M个特征图,并将所述特征图输入至所述深度可分离卷积层级;
所述深度可分离卷积层级通过M个3*3卷积核一对一卷积所述M个特征图,生成M个初始卷积结果,并用N个1*1的卷积核卷积所述M个初始卷积结果,生成N个二次卷积结果,并将所述N个二次卷积结果输入与所述深度可分离卷积层级连接的下一层级。
2.根据权利要求1所述的方法,其特征在于,所述根据所述细胞图像中目标细胞的分类概率数据,确定所述细胞图像对应的分类类别包括:
对所述目标细胞的分类概率数据进行排序,并筛选数据值最大的分类概率数据;
当所述数据值最大的分类概率数据对应的分类类别为正常类别时,确定所述细胞图像对应的分类类别为正常类别;
当所述数据值最大的分类概率数据对应的分类类别为异常类别时,确定所述细胞图像对应的分类类别为异常类别。
3.根据权利要求1所述的方法,其特征在于,所述当所述比例数据大于预设比例阈值时,将所述切片图像标记为异常切片图像包括:
当所述比例数据大于预设比例阈值时,分别统计携带有相同分类标记的细胞图像数量;
根据携带有相同分类标记的细胞图像数量的统计结果,得到携带有分类统计数据的切片图像,并将所述携带有分类统计数据的切片图像标记为异常切片图像。
4.根据权利要求1所述的方法,其特征在于,所述获取切片图像与图像分割参数,根据所述图像分割将所述切片图像分割为多个细胞图像包括:
获取切片图像,根据预设的数据标准,分别对所述切片图像携带的图像通道数据、像素数据以及图像层级数据进行数据标准化处理,得到标准化切片图像;
对所述标准化切片图像进行图像去噪和图像增强处理,得到优化切片图像;
获取图像分割参数,根据所述图像分割参数将所述优化切片图像分割为多个细胞图像。
5.根据权利要求4所述的方法,其特征在于,所述获取切片图像,根据预设的数据标准,分别对所述切片图像携带的图像通道数据、像素数据以及图像层级数据进行数据标准化处理,得到标准化切片图像包括:
获取切片图像并提取所述切片图像的图像通道数据、像素数据以及图像层级数据;
将图像通道数据转换为通道形式以RGB排列的目标图像通道数据;
将所述像素数据转换为预设数据类型的目标像素数据;
将所述图像层级数据转换为相邻层级倍率转换为相同倍数的目标图像层级数据;
根据所述目标图像通道数据、所述目标像素数据以及所述目标图像层级数据,对所述切片图像进行数据更新,得到标准化切片图像。
6.根据权利要求4所述的方法,其特征在于,所述对所述标准化切片图像进行图像去噪和图像增强处理,得到所述优化切片图像包括:
基于高斯低通滤波器,对所述标准化切片图像进行二维低通高斯去噪处理,得到去噪图像;
基于对数Log变换,对所述去噪图像进行的图像增强处理,得到所述优化切片图像。
7.一种切片图像处理装置,其特征在于,所述装置包括:
图像分割模块,用于获取切片图像与图像分割参数,根据所述图像分割参数将所述切片图像分割为多个细胞图像;
分类处理模块,用于将所述细胞图像输入预先训练的卷积神经网络模型进行分类分析,得到所述细胞图像中目标细胞的分类概率数据,所述卷积神经网络模型通过标注有分类类别的样本细胞图像训练得到,所述分类类别包括正常类别和多个异常类别;
分类类别确定模块,用于根据所述细胞图像中目标细胞的分类概率数据,确定所述细胞图像对应的分类类别;
数量统计与计算模块,用于统计所述切片图像中异常类别的细胞图像数量,并计算异常类别的所述细胞图像数量占分割得到的总细胞图像数量的比例数据;
图像标记模块,用于当所述比例数据大于预设比例阈值时,将所述切片图像标记为异常切片图像;
所述图像分割参数包括滑动窗口的步长参数和图像缩放参数,所述步长参数包括数值大小不同的多个步长;所述图像分割模块,还用于按所述步长参数通过滑动窗口将切片图像分割为多个细胞小图,并按模型的图像输入要求对应的图像缩放参数对细胞小图进行缩放,得到多个细胞图像;
所述装置还用于在对切片图像进行分割时,分割得到的各个细胞图像携带有坐标信息,根据坐标信息,在各个细胞图像进行分类标记后,通过坐标转换,得到由携带有分类标记的细胞图像拼接而来的拼接切片图像;
所述数量统计与计算模块,还用于统计所述拼接切片图像中异常类别的细胞图像数量;
所述卷积神经网络模型中包括依次连接的输入层、卷积层、全连接层和输出层,其中,所述卷积层包括旁路连接层级和深度可分离卷积层级;
所述旁路连接层级将上一层级的输出数据与当前层级的输出数据同时输入下一层级,通过卷积处理得到所述细胞图像对应的M个特征图,并将所述特征图输入至所述深度可分离卷积层级;
所述深度可分离卷积层级通过M个3*3卷积核一对一卷积所述M个特征图,生成M个初始卷积结果,并用N个1*1的卷积核卷积所述M个初始卷积结果,生成N个二次卷积结果,并将所述N个二次卷积结果输入与所述深度可分离卷积层级连接的下一层级。
8.根据权利要求7所述的装置,其特征在于,所述分类类别确定模块,还用于对所述目标细胞的分类概率数据进行排序,并筛选数据值最大的分类概率数据;当所述数据值最大的分类概率数据对应的分类类别为正常类别时,确定所述细胞图像对应的分类类别为正常类别;当所述数据值最大的分类概率数据对应的分类类别为异常类别时,确定所述细胞图像对应的分类类别为异常类别。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910393560.0A CN110120040B (zh) | 2019-05-13 | 2019-05-13 | 切片图像处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910393560.0A CN110120040B (zh) | 2019-05-13 | 2019-05-13 | 切片图像处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110120040A CN110120040A (zh) | 2019-08-13 |
CN110120040B true CN110120040B (zh) | 2021-09-14 |
Family
ID=67522240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910393560.0A Active CN110120040B (zh) | 2019-05-13 | 2019-05-13 | 切片图像处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110120040B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110632069B (zh) * | 2019-08-20 | 2022-07-26 | 西人马大周(深圳)医疗科技有限公司 | 循环肿瘤细胞检测方法、装置、设备及介质 |
CN110376198B (zh) * | 2019-08-29 | 2021-08-10 | 广州锟元方青医疗科技有限公司 | 一种宫颈液基细胞切片质量检测系统 |
SE545381C2 (en) * | 2019-09-05 | 2023-07-25 | Beescanning Global Ab | Method for calculating the deviation relation of a population registered on image for calculating pest infestation on a bee population |
CN110765855B (zh) * | 2019-09-12 | 2023-04-18 | 杭州迪英加科技有限公司 | 一种病理图像处理方法及系统 |
CN110992303B (zh) * | 2019-10-29 | 2023-12-22 | 平安科技(深圳)有限公司 | 一种异常细胞筛选方法、装置、电子设备和存储介质 |
CN111008953B (zh) * | 2019-10-29 | 2023-10-31 | 平安科技(深圳)有限公司 | 一种数字病理图像质控的方法及装置 |
CN110990384B (zh) * | 2019-11-04 | 2023-08-22 | 武汉中卫慧通科技有限公司 | 一种大数据平台bi分析方法 |
CN110910586B (zh) * | 2019-11-28 | 2022-03-04 | 中国银行股份有限公司 | 一种防盗刷卡的方法及系统 |
CN110987448B (zh) * | 2019-12-05 | 2021-12-21 | 潍柴动力股份有限公司 | 发动机进气状态监测方法、装置及设备 |
CN111680553A (zh) * | 2020-04-29 | 2020-09-18 | 北京联合大学 | 一种基于深度可分离卷积的病理图像识别方法及系统 |
CN111584044B (zh) * | 2020-05-14 | 2023-07-14 | 上海深至信息科技有限公司 | 一种标准超声图像训练集的生成方法及系统 |
CN111754537A (zh) * | 2020-06-15 | 2020-10-09 | 玖壹叁陆零医学科技南京有限公司 | 一种病理组织图像的处理方法、装置及存储介质 |
CN111524137B (zh) * | 2020-06-19 | 2024-04-05 | 平安科技(深圳)有限公司 | 基于图像识别的细胞识别计数方法、装置和计算机设备 |
CN111899252B (zh) * | 2020-08-06 | 2023-10-27 | 腾讯科技(深圳)有限公司 | 基于人工智能的病理图像处理方法和装置 |
CN112200793B (zh) * | 2020-10-21 | 2022-06-14 | 湖南国科智瞳科技有限公司 | 数字病理切片质量的实时监控方法及系统、计算机设备 |
CN112330610B (zh) * | 2020-10-21 | 2024-03-29 | 郑州诚优成电子科技有限公司 | 一种基于微血管位置角膜内皮细胞计数采集精确定位方法 |
CN112330616A (zh) * | 2020-10-28 | 2021-02-05 | 上海交通大学 | 一种脑脊液细胞图像自动化识别和计数的方法 |
CN112595655A (zh) * | 2020-10-28 | 2021-04-02 | 宁夏医科大学总医院 | 基于人工智能的脑脊液细胞自动分析系统 |
CN112446427B (zh) * | 2020-11-27 | 2021-07-27 | 王伟佳 | 一种髓系血细胞识别方法、装置、存储介质和电子设备 |
CN113177955B (zh) * | 2021-05-10 | 2022-08-05 | 电子科技大学成都学院 | 一种基于改进图像分割算法的肺癌影像病变区域划分方法 |
CN113295692A (zh) * | 2021-05-25 | 2021-08-24 | 郑州中普医疗器械有限公司 | 基于细胞核dna和tbs双分析法的细胞分析方法、计算机设备、存储介质 |
CN113420170B (zh) * | 2021-07-15 | 2023-04-14 | 宜宾中星技术智能系统有限公司 | 大数据图像的多线程存储方法、装置、设备和介质 |
CN115578598B (zh) * | 2022-10-26 | 2023-09-05 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于卷积神经网络的骨髓细胞识别方法及其系统 |
CN115564776B (zh) * | 2022-12-05 | 2023-03-10 | 珠海圣美生物诊断技术有限公司 | 基于机器学习的异常细胞样本检测方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
CN109544507A (zh) * | 2018-10-18 | 2019-03-29 | 清影医疗科技(深圳)有限公司 | 一种病理图像处理方法及系统、设备、存储介质 |
CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10303979B2 (en) * | 2016-11-16 | 2019-05-28 | Phenomic Ai Inc. | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
US10282589B2 (en) * | 2017-08-29 | 2019-05-07 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for detection and classification of cells using convolutional neural networks |
-
2019
- 2019-05-13 CN CN201910393560.0A patent/CN110120040B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
CN109544507A (zh) * | 2018-10-18 | 2019-03-29 | 清影医疗科技(深圳)有限公司 | 一种病理图像处理方法及系统、设备、存储介质 |
CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110120040A (zh) | 2019-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110120040B (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
Agarwal et al. | A new Conv2D model with modified ReLU activation function for identification of disease type and severity in cucumber plant | |
WO2020253629A1 (zh) | 检测模型训练方法、装置、计算机设备和存储介质 | |
Das et al. | Leaf disease detection using support vector machine | |
Dharmawan et al. | A new hybrid algorithm for retinal vessels segmentation on fundus images | |
dos Santos Ferreira et al. | Convolutional neural network and texture descriptor-based automatic detection and diagnosis of glaucoma | |
CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN111985536B (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
US20170249739A1 (en) | Computer analysis of mammograms | |
Liu et al. | A framework of wound segmentation based on deep convolutional networks | |
CN113728335A (zh) | 用于3d图像的分类和可视化的方法和系统 | |
US20220036140A1 (en) | Classification device, classification method, program, and information recording medium | |
CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
CN115601602A (zh) | 癌症组织病理图像分类方法、系统、介质、设备及终端 | |
Sulam et al. | Maximizing AUC with Deep Learning for Classification of Imbalanced Mammogram Datasets. | |
CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
Nagamani et al. | Tomato leaf disease detection using deep learning techniques | |
CN113450305A (zh) | 医疗图像的处理方法、系统、设备及可读存储介质 | |
CN117274278B (zh) | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 | |
CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
Mulmule et al. | Classification of overlapping cells in microscopic cervical images: a transfer learning approach | |
Rozendo et al. | Classification of non-Hodgkin lymphomas based on sample entropy signatures | |
Bellary | The MRI knee pain classification using CNN algorithm and segmentation using clustering algorithm | |
CN112990339A (zh) | 胃病理切片图像分类方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |