CN111882551B - 病理图像细胞计数方法、系统及装置 - Google Patents

病理图像细胞计数方法、系统及装置 Download PDF

Info

Publication number
CN111882551B
CN111882551B CN202010760209.3A CN202010760209A CN111882551B CN 111882551 B CN111882551 B CN 111882551B CN 202010760209 A CN202010760209 A CN 202010760209A CN 111882551 B CN111882551 B CN 111882551B
Authority
CN
China
Prior art keywords
model
gcnet
image
pathological image
cell counting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010760209.3A
Other languages
English (en)
Other versions
CN111882551A (zh
Inventor
杜强
赵卫双
彭穗
肖晗
郭雨晨
张兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiao Bai Century Network Technology Co ltd
Original Assignee
Beijing Xiao Bai Century Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiao Bai Century Network Technology Co ltd filed Critical Beijing Xiao Bai Century Network Technology Co ltd
Priority to CN202010760209.3A priority Critical patent/CN111882551B/zh
Publication of CN111882551A publication Critical patent/CN111882551A/zh
Application granted granted Critical
Publication of CN111882551B publication Critical patent/CN111882551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种病理图像细胞计数方法、系统及装置，所述方法包括：对待检测的病理图像进行增强处理；将处理后的病理图像输入到预先使用两个损失函数训练好的GCnet细胞计数模型中，通过所述GCnet细胞计数模型输出所述病理图像的细胞计数，其中，所述GCnet细胞计数模型中设置有GCbolck对输入的病理图像的各个通道分配不同的权重。本发明能够提高细胞计数准确性，提高了细胞计数精度。

Description

病理图像细胞计数方法、系统及装置
技术领域
本发明涉及人工智能技术领域，尤其是涉及一种病理图像细胞计数方法、系统及装置。
背景技术
在拥挤的图像或视频中对对象进行计数是许多现实应用中遇到的极其繁琐且耗时的任务，包括生物学，遥感，监视等。特别是显微镜下的细胞计数，生物学和医学上的许多过程都需要对细胞进行计数，例如：从红细胞和白细胞的数量可以推断出患者的健康状况；在临床病理学中，图像中的细胞计数可用于研究有关发育或病理过程的假设；细胞浓度在分子生物学中很重要，在分子生物学中它可以用于调整实验中要使用的化学物质的量。
在过去的二十年中，研究人员已经进行了大量的研究来从病理图像中进行细胞计数，并取得了一定的成果，这些方法在实现计数精度方面与训练后的人类标注人员的计数结果相当。尽管如此，由于细胞结构的复杂性质带来的各种挑战的存在，原来的方法仍然有改进的余地，这些挑战包括细胞间存在重叠，细胞边界不清晰以及细胞特征不明显。
目前基于深度学习的自动细胞计数方法主要有两个方向，一个是基于检测的计数，需要事先检测或分割。它涉及到首先训练一个物体探测器，然后将探测器应用于使用滑动窗口或其他分割技术识别整个对象并进行估计对象的数量。已经提出了许多检测器，并在不同的研究中对其进行了评估，但是这些检测器的性能仍有改进的空间，尤其是当图像分辨率很低，并且图像中的某些对象重叠。通过回归计数是通过回归研究进行的计数，首先采用预处理步骤来提取低级特征，例如大小，面积，直方图和纹理，和高级功能，例如对象前景分割图，点密度代表图等，以及然后将这些特征回归到对象计数。可以手动或自动执行预处理步骤。为了自动提取强大的功能，已经做了很多努力。但是，在病理图像细胞计数中，仍然存在模型计数精度不够高的问题。
发明内容
本发明的目的在于提供一种病理图像细胞计数方法、系统及装置，旨在解决现有技术中的上述问题。
本发明提供一种病理图像细胞计数方法，包括：
对待检测的病理图像进行增强处理；
将处理后的病理图像输入到预先使用两个损失函数训练好的GCnet细胞计数模型中，通过所述GCnet细胞计数模型输出所述病理图像的细胞计数，其中，所述GCnet细胞计数模型中设置有GCbolck对输入的病理图像的各个通道分配不同的权重。
本发明提供一种病理图像细胞计数系统，包括：
预处理模块，用于对待检测的病理图像进行增强处理；
神经网络模块，用于将处理后的病理图像输入到预先使用两个损失函数训练好的GCnet细胞计数模型中，通过所述GCnet细胞计数模型输出所述病理图像的细胞计数，其中，所述GCnet细胞计数模型中设置有GCbolck对输入的病理图像的各个通道分配不同的权重。
本发明实施例还提供一种病理图像细胞计数装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述病理图像细胞计数方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述病理图像细胞计数方法的步骤。
采用本发明实施例，能够提高细胞计数准确性，提高了细胞计数精度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的病理图像细胞计数方法的原理框图；
图2是本发明实施例的病理图像细胞计数方法的流程图；
图3是本发明实施例的GCblock结构示意图；
图4是本发明实施例的病理图像细胞计数系统的示意图；
图5是本发明实施例的病理图像细胞计数装置的示意图。
具体实施方式
本发明实施例提出一种有效的病理图像细胞计数的方法，将GCnet应用到细胞计数中，使模型在预测时注意到全局上下文信息，同时增加QWK损失函数，从而保证在计数过程中，细胞计数模型能够考虑到细胞个数所属的类别，提高计数准确率。
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
方法实施例
根据本发明实施例，提供了一种病理图像细胞计数方法，将GCnet应用到细胞计数中，使模型在预测时注意到全局上下文信息，同时增加QWK损失函数，从而保证在计数过程中，细胞计数模型能够考虑到细胞个数所属的类别，提高计数准确率。
本发明实施例的基于全局注意力多模型融合的病理图像细胞计数方法，其原理框图如图1所示，分为训练和测试两个阶段，在训练阶段，用训练数据和标签训练两个GCnet,得到训练好的细胞计数模型；测试阶段，将测试数据输入到训练好的两个GCnet模型,计数结果进行融合得到最终的计数结果。具体来说，使用MSE(均方根误差)损失函数和QWK(二次加权kappa)损失函数训练两个backbone为ResNet50的GCnet的模型，普通的ResNet50模型在预测时无法考虑全局信息，而GCnet的GCbolck使用了全局注意力，使模型考虑了全局上下文信息，将细胞个数分为几个类别，并使用QWK损失函数使模型在预测时考虑细胞个数所属的类别，避免出现大的误差，实现训练多个模型，对模型进行求平均融合，提升细胞计数准确性。其中，带标签的数据表示由专家标注细胞计数结果的数据。该方法的各个步骤可以总结为：第一，利用MSE损失函数和QWK损失函数、训练数据和标签数据来训练GCnet模型1。第二，利用MSE损失函数和QWK损失函数、训练数据和标签数据来训练GCnet模型2。第三，利用前两步得到的两个训练好的模型和待计数数据分别得到两个计数结果。第四，将两个不同的计数结果进行融合，融合方式为输出的个数求平均。
下面首先对GCnet模型的训练处理进行详细说明。
在执行本发明实施例如图2所示的下述步骤之前，需要预先对GCnet模型进行训练，具体的训练步骤如下：
步骤1，对训练病理图像进行增强处理，获取训练数据和标签数据；具体地，
获取训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理，R(I，angle)表示对病理图像Image进行旋转操作，random(n)表示范围为[0，n]的随机数，FLIP(I，p)表示对对病理图像Image以概率P进行随机翻转操作；
根据公式1对训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)进行取值变换。
步骤2，利用均方根误差MSE损失函数和二次加权kappa QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第一GCnet细胞计数模型子模型；
步骤3，利用MSE损失函数和QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第二GCnet细胞计数模型子模型；
步骤4，将第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型组合形成GCnet细胞计数模型。
图2是本发明实施例的病理图像细胞计数方法的流程图，如图2所示，根据本发明实施例的病理图像细胞计数方法具体包括：
步骤201，对待检测的病理图像进行增强处理；在步骤201中，具体包括如下处理：
获取待检测图像CLAHE(Image)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理；
根据公式1对待检测图像CLAHE(Image)进行取值变换：
步骤202，将处理后的病理图像输入到预先使用两个损失函数训练好的GCnet细胞计数模型中，通过GCnet细胞计数模型输出病理图像的细胞计数，其中，GCnet细胞计数模型中设置有GCbolck对输入的病理图像的各个通道分配不同的权重。
步骤202具体包括如下处理：
将处理后的病理图像分别输入到第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型，通过第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型分别输出两个细胞计数结果；
对两个细胞计数结果进行融合，最终得到病理图像的细胞计数。
从上述的描述可以看出，本发明实施例将GCnet模型应用到细胞计数上同时结合QWK损失函数以及结果融合的方式得到最终的计数结果，GCnet的GCblock和QWK损失函数都有助于提高细胞计数精度，从实验的结果来看，本发明实施例所提出的基于全局注意力和多分割模型计数结果融合方法具有计数精度高、适用范围广等优点，具有较强的实际应用前景。
以下对本发明实施例的上述技术方案进行详细说明。
本发明实施例的基于全局注意力以及多模型融合的病理图像计数方法，其具体实施方式如下：
一、病理图像增强。
对于病理细胞计数图像，为了更好地让图像中细胞像素与其他的像素对比度更高，需要将图像进行增强预处理，在本发明实施例中使用CLAHE进行预处理，同时在训练时，需要对病理图像进行旋转，翻转，颜色抖动等操作，用于对训练数据的扩充。具体操作如下，首先，记病理图像为I，记旋转操作为R(I，angle)，记范围为[0，n]的随机数为rand(n)，限制对比度自适应直方图均衡(Contrast Limited Adaptive Histogram Equalization，简称为CLAHE)操作为CLAHE(I)，I为一张病理图像，随机翻转为FLIP(I，p)它表示对图像I进行以概率p的随机翻转。那么用于模型训练的训练图像可以表示为FLIP(R(CLAHE((Image)，random(360))，0.5)，用于模型测试的测试图像可以表示为CLAHE(Image)。本发明实施例在训练的过程中，这样的增强方式能够保证有效的扩充数据，但由于本发明实施例旋转所用的方式为三次样条插值法，会导致值为pixel∈{0，1}的像素值会轻微的改变，即可能出现小于1和大于0的情况，因此不应该使用向下或向上取整的方式，来将插值旋转后的像素重新分配到pixel∈{0，1}的取值空间，因此本发明实施例中，被旋转后的图像将做一次取值变换，变换函数为
二、计算全局注意力的GCblock。
为了提高神经网络对病理图像细胞计数的准确性，需要使神经网络对图片的全局有较多的注意力，因此需要在训练过程中给不同的通道以不同的权重，GCnet模型的GCblock就是用来构建这样的一个权重。如图3所示，具体来说，GC block可以分成两部分Context Modeling和Transform，特征图首先经过Context Modeling，然后经过Transform，计算得到每个通道的权重，即每个通道的注意力
三、使用两种损失函数训练GCnet模型
本发明实施例使用两种不同的损失函数训练GCnet模型，并将两个模型的测试结果进行融合，这样做的前提是基于两个模型分别会对图片进行预测得到计数结果，计数结果会有差异，基于这一假设，本发明实施例应用两个backbone为ResNet50的GCnet，相同的损失函数训练得到两个不同的模型，其具体步骤如下，首先使用MSE损失函数和上文提到的QWK计数损失训练backbone为ResNet50的GCnet模型，得到训练后的模型Mθ1，其中θ1是模型的参数，然后，使用MSE损失函数和上文提到的QWK计数损失训练backbone为ResNet50的GCnet模型，最后，通过SGD算法进行模型的优化得到模型Mθ2，其中θ2为模型参数。
四、QWK损失函数
为了进一步提高计数准确性，本发明十四例在训练过程中除了使用MSE损失函数还增加了QWK损失函数，QWK就是二次加权kappa，具体来说，当分类类别代表等级分类，例如对疾病严重程度给出诊断，分为最轻到最重的五个等级。通常会认为，对同一个诊断的分级差异越大则造成的结果越严重，不一致性越强。例如将一个疾病最重的人判别为最轻和将一个疾病较轻的人判断为最轻带来的惩罚应该是不一样的。加权kappa便是基于这个思想。应用到细胞计数上也是同理，如果模型给出的类别和真实类别差别较大就会给一个较大的损失，反之亦然。具体计算公式如下所示：
其中/>
其中，Oi，j代表将第i类判别为第j类的个数，Ei，j代表将两个分类直方图向量(预测和“真实值”)之间的外部乘积归一化，以使E和O具有相同的和，N为类别总数。
五、多模型的测试结果融合
在得到上述训练后的两个模型Mθ1和Mθ2后，本发明实施例利用两个模型对测试集分别生成不同的细胞结果R1和R2，将得到预测的细胞个数C1和C2最后得到
综上所述，借助于本发明实施例的技术方案，将基于全局注意力的GCnet应用于病理图像细胞计数中，使得在细胞计数模型的训练过程中模型对特征图的通道具有一定的注意力，通过多模型融合的方式，使得相同的损失函数训练出来的模型生成的结果能够相互融合，起到提高计数准确性的作用。通过利用QWK损失函数来指导模型训练，使模型的预测结果不会出现大的偏差，使得模型融合之前能够将对细胞计数更加精准，提高细胞计数准确性。
系统实施例
根据本发明实施例，提供了一种病理图像细胞计数系统，图4是本发明实施例的病理图像细胞计数系统的示意图，如图4所示，根据本发明实施例的病理图像细胞计数系统具体包括：
预处理模块40，用于对待检测的病理图像进行增强处理；预处理模块40具体用于：
获取待检测图像CLAHE(Image)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理；
根据公式1对待检测图像CLAHE(Image)进行取值变换：
神经网络模块42，用于将处理后的病理图像输入到预先使用两个损失函数训练好的GCnet细胞计数模型中，通过GCnet细胞计数模型输出病理图像的细胞计数，其中，GCnet细胞计数模型中设置有GCbolck对输入的病理图像的各个通道分配不同的权重。神经网络模块42具体用于：
将处理后的病理图像分别输入到第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型，通过第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型分别输出两个细胞计数结果；
对两个细胞计数结果进行融合，最终得到病理图像的细胞计数。
在本发明实施例中，上述系统进一步包括：
训练模块，用于对GCnet模型进行训练；训练模块具体用于：
对训练病理图像进行增强处理，获取训练数据和标签数据；具体地：
获取训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理，R(I，angle)表示对病理图像Image进行旋转操作，random(n)表示范围为[0，n]的随机数，FLIP(I，p)表示对对病理图像Image以概率P进行随机翻转操作；根据公式1对训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)进行取值变换。
利用均方根误差MSE损失函数和二次加权kappa QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第一GCnet细胞计数模型子模型；
利用MSE损失函数和QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第二GCnet细胞计数模型子模型；
将第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型组合形成GCnet细胞计数模型。
本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
装置实施例一
本发明实施例提供一种病理图像细胞计数装置，如图5所示，包括：存储器50、处理器52及存储在所述存储器50上并可在所述处理器52上运行的计算机程序，所述计算机程序被所述处理器52执行时实现如下方法步骤：
本发明实施例将GCnet应用到细胞计数中，使模型在预测时注意到全局上下文信息，同时增加QWK损失函数，从而保证在计数过程中，细胞计数模型能够考虑到细胞个数所属的类别，提高计数准确率。
本发明实施例的基于全局注意力多模型融合的病理图像细胞计数方法，其原理框图如图1所示，分为训练和测试两个阶段，在训练阶段，用训练数据和标签训练两个GCnet,得到训练好的细胞计数模型；测试阶段，将测试数据输入到训练好的两个GCnet模型,计数结果进行融合得到最终的计数结果。具体来说，使用MSE(均方根误差)损失函数和QWK(二次加权kappa)损失函数训练两个backbone为ResNet50的GCnet的模型，普通的ResNet50模型在预测时无法考虑全局信息，而GCnet的GCbolck使用了全局注意力，使模型考虑了全局上下文信息，将细胞个数分为几个类别，并使用QWK损失函数使模型在预测时考虑细胞个数所属的类别，避免出现大的误差，实现训练多个模型，对模型进行求平均融合，提升细胞计数准确性。其中，带标签的数据表示由专家标注细胞计数结果的数据。该方法的各个步骤可以总结为：第一，利用MSE损失函数和QWK损失函数、训练数据和标签数据来训练GCnet模型1。第二，利用MSE损失函数和QWK损失函数、训练数据和标签数据来训练GCnet模型2。第三，利用前两步得到的两个训练好的模型和待计数数据分别得到两个计数结果。第四，将两个不同的计数结果进行融合，融合方式为输出的个数求平均。
下面首先对GCnet模型的训练处理进行详细说明。
在执行本发明实施例如图2所示的下述步骤之前，需要预先对GCnet模型进行训练，具体的训练步骤如下：
步骤1，对训练病理图像进行增强处理，获取训练数据和标签数据；具体地，
获取训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理，R(I，angle)表示对病理图像Image进行旋转操作，random(n)表示范围为[0，n]的随机数，FLIP(I，p)表示对对病理图像Image以概率P进行随机翻转操作；
根据公式1对训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)进行取值变换。
步骤2，利用均方根误差MSE损失函数和二次加权kappa QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第一GCnet细胞计数模型子模型；
步骤3，利用MSE损失函数和QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第二GCnet细胞计数模型子模型；
步骤4，将第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型组合形成GCnet细胞计数模型。
如图2所示，根据本发明实施例的病理图像细胞计数方法具体包括：
步骤201，对待检测的病理图像进行增强处理；在步骤201中，具体包括如下处理：
获取待检测图像CLAHE(Image)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理；
根据公式1对待检测图像CLAHE(Image)进行取值变换：
步骤102，将处理后的病理图像输入到预先使用两个损失函数训练好的GCnet细胞计数模型中，通过GCnet细胞计数模型输出病理图像的细胞计数，其中，GCnet细胞计数模型中设置有GCbolck对输入的病理图像的各个通道分配不同的权重。
步骤202具体包括如下处理：
将处理后的病理图像分别输入到第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型，通过第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型分别输出两个细胞计数结果；
对两个细胞计数结果进行融合，最终得到病理图像的细胞计数。
从上述的描述可以看出，本发明实施例将GCnet模型应用到细胞计数上同时结合QWK损失函数以及结果融合的方式得到最终的计数结果，GCnet的GCblock和QWK损失函数都有助于提高细胞计数精度，从实验的结果来看，本发明实施例所提出的基于全局注意力和多分割模型计数结果融合方法具有计数精度高、适用范围广等优点，具有较强的实际应用前景。
装置实施例二
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器52执行时实现如下方法步骤：
本发明实施例将GCnet应用到细胞计数中，使模型在预测时注意到全局上下文信息，同时增加QWK损失函数，从而保证在计数过程中，细胞计数模型能够考虑到细胞个数所属的类别，提高计数准确率。
本发明实施例的基于全局注意力多模型融合的病理图像细胞计数方法，其原理框图如图1所示，分为训练和测试两个阶段，在训练阶段，用训练数据和标签训练两个GCnet,得到训练好的细胞计数模型；测试阶段，将测试数据输入到训练好的两个GCnet模型,计数结果进行融合得到最终的计数结果。具体来说，使用MSE(均方根误差)损失函数和QWK(二次加权kappa)损失函数训练两个backbone为ResNet50的GCnet的模型，普通的ResNet50模型在预测时无法考虑全局信息，而GCnet的GCbolck使用了全局注意力，使模型考虑了全局上下文信息，将细胞个数分为几个类别，并使用QWK损失函数使模型在预测时考虑细胞个数所属的类别，避免出现大的误差，实现训练多个模型，对模型进行求平均融合，提升细胞计数准确性。其中，带标签的数据表示由专家标注细胞计数结果的数据。该方法的各个步骤可以总结为：第一，利用MSE损失函数和QWK损失函数、训练数据和标签数据来训练GCnet模型1。第二，利用MSE损失函数和QWK损失函数、训练数据和标签数据来训练GCnet模型2。第三，利用前两步得到的两个训练好的模型和待计数数据分别得到两个计数结果。第四，将两个不同的计数结果进行融合，融合方式为输出的个数求平均。
下面首先对GCnet模型的训练处理进行详细说明。
在执行本发明实施例如图2所示的下述步骤之前，需要预先对GCnet模型进行训练，具体的训练步骤如下：
步骤1，对训练病理图像进行增强处理，获取训练数据和标签数据；具体地，
获取训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理，R(I，angle)表示对病理图像Image进行旋转操作，random(n)表示范围为[0，n]的随机数，FLIP(I，p)表示对对病理图像Image以概率P进行随机翻转操作；
根据公式1对训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)进行取值变换。
步骤2，利用均方根误差MSE损失函数和二次加权kappa QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第一GCnet细胞计数模型子模型；
步骤3，利用MSE损失函数和QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第二GCnet细胞计数模型子模型；
步骤4，将第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型组合形成GCnet细胞计数模型。
如图2所示，根据本发明实施例的病理图像细胞计数方法具体包括：
步骤201，对待检测的病理图像进行增强处理；在步骤201中，具体包括如下处理：
获取待检测图像CLAHE(Image)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理；
根据公式1对待检测图像CLAHE(Image)进行取值变换：
步骤202，将处理后的病理图像输入到预先使用两个损失函数训练好的GCnet细胞计数模型中，通过GCnet细胞计数模型输出病理图像的细胞计数，其中，GCnet细胞计数模型中设置有GCbolck对输入的病理图像的各个通道分配不同的权重。
步骤202具体包括如下处理：
将处理后的病理图像分别输入到第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型，通过第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型分别输出两个细胞计数结果；
对两个细胞计数结果进行融合，最终得到病理图像的细胞计数。
从上述的描述可以看出，本发明实施例将GCnet模型应用到细胞计数上同时结合QWK损失函数以及结果融合的方式得到最终的计数结果，GCnet的GCblock和QWK损失函数都有助于提高细胞计数精度，从实验的结果来看，本发明实施例所提出的基于全局注意力和多分割模型计数结果融合方法具有计数精度高、适用范围广等优点，具有较强的实际应用前景。
综上所述，借助于本发明实施例的技术方案，将基于全局注意力的GCnet应用于病理图像细胞计数中，使得在细胞计数模型的训练过程中模型对特征图的通道具有一定的注意力，通过多模型融合的方式，使得相同的损失函数训练出来的模型生成的结果能够相互融合，起到提高计数准确性的作用。通过利用QWK损失函数来指导模型训练，使模型的预测结果不会出现大的偏差，使得模型融合之前能够将对细胞计数更加精准，提高细胞计数准确性。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种病理图像细胞计数方法，其特征在于，包括：
对待检测的病理图像进行增强处理，具体包括：
获取待检测图像CLAHE(Image)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理；
根据公式1对待检测图像CLAHE(Image)进行取值变换：
将处理后的病理图像输入到预先使用两个损失函数训练好的GCnet细胞计数模型中，通过所述GCnet细胞计数模型输出所述病理图像的细胞计数，其中，所述GCnet细胞计数模型中设置有GCbolck对输入的病理图像的各个通道分配不同的权重；
所述方法进一步包括：
对GCnet模型进行训练，具体地：
对训练病理图像进行增强处理，获取训练数据和标签数据，具体包括：
获取训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理，R(I，angle)表示对病理图像Image进行旋转操作，random(n)表示范围为[0，n]的随机数，FLIP(I，p)表示对对病理图像Image以概率P进行随机翻转操作；
根据公式1对训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)进行取值变换；
利用均方根误差MSE损失函数和二次加权kappa QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第一GCnet细胞计数模型子模型；
利用MSE损失函数和QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第二GCnet细胞计数模型子模型；
将所述第一GCnet细胞计数模型子模型和所述第二GCnet细胞计数模型子模型组合形成所述GCnet细胞计数模型；
所述将处理后的病理图像输入到预先使用两个损失函数训练好的GCnet细胞计数模型中，通过所述GCnet细胞计数模型输出所述病理图像的细胞计数具体包括：
将处理后的病理图像分别输入到第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型，通过所述第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型分别输出两个细胞计数结果；
对所述两个细胞计数结果进行融合，最终得到所述病理图像的细胞计数。
2.一种病理图像细胞计数系统，其特征在于，包括：
预处理模块，用于对待检测的病理图像进行增强处理，具体用于：
获取待检测图像CLAHE(Image)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理；
根据公式1对待检测图像CLAHE(Image)进行取值变换：
神经网络模块，用于将处理后的病理图像输入到预先使用两个损失函数训练好的GCnet细胞计数模型中，通过所述GCnet细胞计数模型输出所述病理图像的细胞计数，其中，所述GCnet细胞计数模型中设置有GCbolck对输入的病理图像的各个通道分配不同的权重，
所述系统进一步包括：
训练模块，用于对GCnet模型进行训练，
所述训练模块具体用于：
对训练病理图像进行增强处理，获取训练数据和标签数据，具体包括：
获取训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)，其中，Image为待检测的病理图像，CLAHE(I)表示采用限制对比度自适应直方图均衡CLAHE算法对待检测的病理图像Image进行处理，R(I，angle)表示对病理图像Image进行旋转操作，random(n)表示范围为[0，n]的随机数，FLIP(I，p)表示对对病理图像Image以概率P进行随机翻转操作；
根据公式1对训练数据和标签数据FLIP(R(CLAHE((Image)，random(360))，0.5)进行取值变换；
利用均方根误差MSE损失函数和二次加权kappa QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第一GCnet细胞计数模型子模型；
利用MSE损失函数和QWK损失函数、训练数据和标签数据训练骨干网络为ResNet50的第二GCnet细胞计数模型子模型；
将所述第一GCnet细胞计数模型子模型和所述第二GCnet细胞计数模型子模型组合形成所述GCnet细胞计数模型；
所述神经网络模块具体用于：
将处理后的病理图像分别输入到第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型，通过所述第一GCnet细胞计数模型子模型和第二GCnet细胞计数模型子模型分别输出两个细胞计数结果；
对所述两个细胞计数结果进行融合，最终得到所述病理图像的细胞计数。
3.一种病理图像细胞计数装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1中所述的病理图像细胞计数方法的步骤。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1中所述的病理图像细胞计数方法的步骤。
CN202010760209.3A 2020-07-31 2020-07-31 病理图像细胞计数方法、系统及装置 Active CN111882551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010760209.3A CN111882551B (zh) 2020-07-31 2020-07-31 病理图像细胞计数方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010760209.3A CN111882551B (zh) 2020-07-31 2020-07-31 病理图像细胞计数方法、系统及装置

Publications (2)

Publication Number Publication Date
CN111882551A CN111882551A (zh) 2020-11-03
CN111882551B true CN111882551B (zh) 2024-04-05

Family

ID=73205948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010760209.3A Active CN111882551B (zh) 2020-07-31 2020-07-31 病理图像细胞计数方法、系统及装置

Country Status (1)

Country Link
CN (1) CN111882551B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511636B (zh) * 2022-04-20 2022-07-12 科大天工智能装备技术（天津）有限公司 一种基于双滤注意力模块的果实计数方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578089A (zh) * 2017-09-13 2018-01-12 中国水稻研究所 一种农作物灯诱测报害虫的自动识别与计数方法
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN109145979A (zh) * 2018-08-15 2019-01-04 上海嵩恒网络科技股份有限公司 敏感图像鉴定方法及终端系统
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN110033440A (zh) * 2019-03-21 2019-07-19 中南大学 基于卷积神经网络与特征融合的生物细胞计数方法
CN110136149A (zh) * 2019-05-21 2019-08-16 闽江学院 基于深度神经网络的白细胞定位与分割方法
US10453197B1 (en) * 2019-02-18 2019-10-22 Inception Institute of Artificial Intelligence, Ltd. Object counting and instance segmentation using neural network architectures with image-level supervision
CN111161265A (zh) * 2019-11-13 2020-05-15 北京海益同展信息科技有限公司 一种动物计数、图像处理方法和装置
CN111429448A (zh) * 2020-04-09 2020-07-17 常州奥创医疗科技有限公司 一种基于弱分割信息的生物荧光目标计数方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578089A (zh) * 2017-09-13 2018-01-12 中国水稻研究所 一种农作物灯诱测报害虫的自动识别与计数方法
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN109145979A (zh) * 2018-08-15 2019-01-04 上海嵩恒网络科技股份有限公司 敏感图像鉴定方法及终端系统
US10453197B1 (en) * 2019-02-18 2019-10-22 Inception Institute of Artificial Intelligence, Ltd. Object counting and instance segmentation using neural network architectures with image-level supervision
CN110033440A (zh) * 2019-03-21 2019-07-19 中南大学 基于卷积神经网络与特征融合的生物细胞计数方法
CN110136149A (zh) * 2019-05-21 2019-08-16 闽江学院 基于深度神经网络的白细胞定位与分割方法
CN111161265A (zh) * 2019-11-13 2020-05-15 北京海益同展信息科技有限公司 一种动物计数、图像处理方法和装置
CN111429448A (zh) * 2020-04-09 2020-07-17 常州奥创医疗科技有限公司 一种基于弱分割信息的生物荧光目标计数方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GCNet: Non-Local Networks Meet Squeeze-Excitation Networks and Beyond;Y. Cao 等;《2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)》;1971-1980，第1975-1796页第4.3节，图4 *
基于改进型SSD算法的空瓶表面缺陷检测;吴华运 等;《计算机与现代化》(第04期);121-126 *
红外传感器与机器视觉融合的果树害虫识别及计数方法;田冉 等;《农业工程学报》(第20期);195-201 *

Also Published As

Publication number Publication date
CN111882551A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
EP3933693B1 (en) Object recognition method and device
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN111291809B (zh) 一种处理装置、方法及存储介质
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN111539480B (zh) 多类别医学图像识别方法及设备
CN111524106A (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN111612017A (zh) 一种基于信息增强的目标检测方法
CN113592060A (zh) 一种神经网络优化方法以及装置
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN114842238A (zh) 一种嵌入式乳腺超声影像的识别方法
CN114897782B (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
WO2022194069A1 (zh) 一种生成显著图的方法、异常对象检测的方法以及装置
CN111626379A (zh) 肺炎x光图像检测方法
CN111882551B (zh) 病理图像细胞计数方法、系统及装置
CN113177554B (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
CN113128564B (zh) 一种基于深度学习的复杂背景下典型目标检测方法及系统
CN114511733A (zh) 基于弱监督学习的细粒度图像识别方法、装置及可读介质
CN111726621B (zh) 一种视频转换方法及装置
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN116206227B (zh) 5g富媒体信息的图片审查系统、方法、电子设备及介质
CN114445618A (zh) 一种跨模态交互rgb-d图像显著区域检测方法
CN114387489A (zh) 电力设备识别方法、装置和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant