CN112750106A - 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 - Google Patents

一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 Download PDF

Info

Publication number
CN112750106A
CN112750106A CN202011641839.5A CN202011641839A CN112750106A CN 112750106 A CN112750106 A CN 112750106A CN 202011641839 A CN202011641839 A CN 202011641839A CN 112750106 A CN112750106 A CN 112750106A
Authority
CN
China
Prior art keywords
image
cells
cell
positive
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011641839.5A
Other languages
English (en)
Other versions
CN112750106B (zh
Inventor
付树军
廖胜海
张欣欣
孙青�
陈晓蔺
王建行
李玉亮
齐泽荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202011641839.5A priority Critical patent/CN112750106B/zh
Publication of CN112750106A publication Critical patent/CN112750106A/zh
Application granted granted Critical
Publication of CN112750106B publication Critical patent/CN112750106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质，包括：(1)制作标注数据：加载病理图像到标注软件，获取所有的子图像与阳性细胞的子掩码图像数据对；(2)训练模型：训练卷积神经网络模型，分别得到训练好的阳性细胞卷积神经网络模型、训练好的阴性细胞卷积神经网络模型；(3)推理阶段：将待检测的病理图像分别输入训练好的卷积神经网络模型，得到真实掩码图像；(4)后处理阶段：计算阳性细胞和阴性细胞数量，并计算得到阳性细胞占全部细胞的比例p。本发明无需额外参数，通用性高，大幅减少人工调节，有效提高了识别的准确性和鲁棒性。本发明在数据标记上更快、更准、更有效。

Description

一种基于非完备标记的深度学习的核染色细胞计数方法、计 算机设备、存储介质
技术领域
本发明涉及一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质，属于深度学习技术领域。
背景技术
目前，癌症已经是全球第一大致死因素。除了提高癌症治疗技术，癌症的早期诊断和筛查也是提高癌症患者存活率的重要一方面。病理切片辅助诊断是根据患者的ER、PR和Ki-67的阳性状态进行免疫组化分型，并根据不同分型确定不同的诊疗方案。这依赖于计算病理切片中阴性细胞和阳性细胞占全部细胞的比例进行判断。通常，医生进行阳性状态判断时，需要对显微镜放大切片中的不同视野观察，根据经验得到大致的估计。这种方式不仅费时费力，容易造成视觉疲劳，在准确性方面也存在主观性风险。
当前，国内外专家学者提出的细胞计数方法，大都建立在图像分割的基础上，即试图尽可能完整地在病理图像中分割出全部细胞个体。
传统的图像分割方法依赖于颜色、纹理等特征在同一目标中的相似性，根据相似性先验对图像进行区域划分。常用的方法包括阈值分割、边缘检测以及基于区域的分割方法，基于变分模型的方法，基于聚类和超像素的方法。这些方法在细胞计数方面存在的问题主要是，依赖于手工设定的特征和参数，无法自适应应对复杂多变的细胞图像，无法解决细胞粘连性问题。
基于人工智能或深度学习的细胞分割和计数方法是当前研究最热的方法，依赖于大量准确完整的标注数据。然而，完整的细胞标注数据是难以获取的，一方面是细胞大小、形态各异，另一方面逐像素标记费时费力，导致公开的数据集往往是数量较少且只针对特定类型的细胞。
综上，现有技术中存在以下问题：
(1)传统的基于阈值分割、颜色通道分离等方法的细胞计数，存在准确度低、无法通用、参数在不同类型细胞下需要手动调整等缺点。
(2)基于深度学习的细胞计数方法依赖于准确的标注数据，但医生手工逐像素的标注费时费力，难以形成大规模的有效训练数据。于计数而言，逐像素的识别结果需要更多的后处理步骤，例如使用分水岭算法进一步分割。
(3)细胞形态复杂，逐像素的完整标记很难完成智能化学习，也难以扩展，容易让深度学习模型陷入只能识别单一形态和单一颜色细胞的状态。
发明内容
针对现有技术的不足，本发明提出了一种非完备标记方案，即细胞个体的全部像素点并未被全部标记，而只是以矩形标注了其中心。这种方式不仅高效，更对后续的统计计数是极其有利的，因此增强了本发明的易用性和扩展性，提高了准确度。
本发明基于深度神经网络的细胞计数方法，输入任意尺寸的病理图像，自动快速准确地计算出阴性细胞和阳性细胞的数量及比例，辅助医生的工作。
本发明还提出了一种计算机设备和存储介质。
术语解释：
1、标注软件，在本发明实践中采用MATLAB R2019b的工具箱Image Labeler。
2、S型函数sigmoid，该函数定义为
Figure BDA0002880775430000021
将任意实数x映射到区间(0,1)，常用来表示属于所研究类别的概率。
3、基于标记的分水岭算法，参考文献(文献[1]Meyer,Fernand,"Topographicdistance and watershed lines,”Signal Processing,Vol.38,July 1994,pp.113-125.)。首先对所得二值掩码图像M(1代表前景即细胞，0代表背景)进行距离变换，也就是对任意点p,计算点p到所有背景点q的最小欧式距离
Figure BDA0002880775430000022
这样我们就得到一个距离变换图D，大小与掩码图像相同。D中不为0的点代表了前景点也就是细胞点。对D进行最大最小归一化，设d0为D的最小值，d1为最大值，则归一化为
Figure BDA0002880775430000023
然后以0.8为阈值，将E中小于0.8的元素置为零，大于或等于置为1，得到二值图像E2，那么E2中的所有非零点都是细胞点。以E2作为标记，应用分水岭算法对原二值掩码图像M进行切割。
4、聚类，采用的是kmeans聚类算法，参考文献(文献[2]Arthur,David,andSergiVassilvitskii.“K-means++:The Advantages of Careful Seeding.”SODA‘07:Proceedings of the Eighteenth Annual ACM-SIAM Symposium on DiscreteAlgorithms.2007,pp.1027–1035.。)
5、强阳、中阳、弱阳，强阳细胞：颜色表现为深棕色或黑色，颜色较深；中阳：颜色较强阳细胞更浅，表现为浅棕，或混杂深黑色；弱阳细胞：阳性最弱，颜色最淡，表现为更浅的棕色，亮度值在阳性细胞中最大。
本发明的技术方案为：
一种基于非完备标记的深度学习的核染色细胞计数方法，包括步骤如下：
(1)制作标注数据
针对当前细胞计数存在的问题，本发明基于深度学习的人工智能细胞计数方案，并结合计数的特点，有针对性地提出一种高效、鲁棒、易于应用的细胞标注方式。
加载病理图像到标注软件，获取所有的子图像与阳性细胞的子掩码图像数据对；
(2)训练模型
通过步骤(1)获取所有的子图像与阳性细胞的子掩码图像数据对为阳性细胞训练集；通过步骤(1)获取所有的子图像与阴性细胞的子掩码图像数据对为阴性细胞训练集；
分别通过阳性细胞训练集、阴性细胞训练集训练同样架构的卷积神经网络模型，分别得到训练好的阳性细胞卷积神经网络模型、训练好的阴性细胞卷积神经网络模型；
(3)推理阶段
将待检测的病理图像分别输入训练好的阳性细胞卷积神经网络模型、训练好的阴性细胞卷积神经网络模型，分别得到阳性细胞的真实掩码图像及阴性细胞的真实掩码图像；
(4)后处理阶段
计算阳性细胞和阴性细胞数量，并计算得到阳性细胞占全部细胞的比例p。
本发明设计了一种新颖的细胞标注方式来解决标记难的问题，并构建了深度神经网络模型利用新标注方式下的细胞图像进行训练学习，在一定程度上解决了人工估计阴性细胞和阳性细胞数量及比例费时费力的困难。
根据本发明优选的，步骤(1)中，制作标注数据，包括步骤如下：
a、加载病理图像到标注软件；通常不必整个病理切片图像进行标注，只需取某个视野下，尺寸700左右的图像即可。
b、建立阳性细胞标签，并点击病理图像内全部阳性细胞个体中心点，以各阳性细胞个体中心点为矩形中心标记矩形块，形成阳性细胞的真实掩码图像；
c、建立阴性细胞标签，并点击病理图像内全部阴性细胞个体中心点，以各阴性细胞个体中心点为矩形中心标记矩形块，形成阴性细胞的真实掩码图像；
d、辅助标注：在新细胞类型上标注时，先利用训练好的模型对整幅病理图像进行分割，再人工矫正自动分割不满意的细胞个体；利用本发明训练好的模型进行初步分割，然后人工矫正分割，就完成了对新细胞类型的标注，这些得到的标注是为了对模型继续训练使得模型能够识别与分割这种新细胞，这样能够更好的节省时间和增强模型在新数据类型上的性能。新细胞类型指的是本发明训练网络模型时没有见过的细胞。比如本发明只训练了乳腺癌细胞的分类计数模型，若要继续在其他细胞类型比如骨髓细胞上进行训练前的标注，可先用本发明已经训练好的模型对骨髓细胞进行分割，这样其实是一种辅助性的标注；训练好的模型是指本发明提出的深度神经网络在已有数据比如乳腺癌细胞上训练得到的模型。
e、对步骤b及步骤c分别得到的阳性细胞的真实掩码图像和阴性细胞的真实掩码图像进行数据细分：当前细胞图像标注完成后，为了充分利用标注数据，增大数据集，用滑动窗口的形式以一定步长从病理图像中截取固定大小的子图像，并从其对应的真实掩码图像的对应位置截取相同大小的子掩码图像，如此，一张尺寸700左右的图像就可以形成一系列的子图像与子掩码图像数据对。这些数据对将用于模型的训练。
根据本发明优选的，步骤e中，水平方向以步长W、垂直方向以步长H进行截取，W、H分别是指水平、垂直方向的滑动步长；水平方向每隔W个像素截取一个256×256的图像，垂直方向则每隔H个像素截取。
进一步优选的，固定大小为256×256。
根据本发明优选的，所述卷积神经网络模型包括依次连接的编码模块、两个上下文解析模块、三个解码模块；编码模块包括一层卷积池化层、三个残差模块；
训练过程中，采用ADAM优化器(参考文献Kingma D P,Ba J.Adam:A method forstochastic optimization[J].arXiv preprint arXiv:1412.6980,2014.)，学习率设置为0.0002，批大小(batch)设置为64.总训练轮数(epoch)设置为300。
进一步优选的，所述卷积神经网络模型中，设输入图像为
Figure BDA0002880775430000041
激活函数f定义为S型函数(sigmoid)，则所述卷积神经网络模型的输出y如式(Ⅰ)所示：
Figure BDA0002880775430000042
式(Ⅰ)中，函数h,g分别是编码模块学习到的映射(从输入x到特征图F)和解码模块学习到的映射(从F到概率图y)；m,n的含义从
Figure BDA0002880775430000043
看出，x是输入图像，m是图像的高，n是图像的宽；编码模块先将输入图像x映射到特征图F；特征图是卷积神经网络里的术语，意即某一层的输出，这里F指的是编码部分的输出。接着，解码模块对特征图F进行一系列的卷积运算，得到解码部分的输出g(F)，最后通过sigmoid函数f作用于g(F)得到概率图y即卷积神经网络模型的输出。y就是本发明所创网络的最终输出。后续的计数计算等基于二值化y得到的掩码图像。
进一步优选的，所述卷积神经网络模型中，为了让网络DCP-Net学习更新权重等参数，损失函数定义如式(Ⅱ)所示：
Figure BDA0002880775430000044
式(Ⅱ)中，二元算子⊙是对应元素相乘的哈达玛运算符，6um(·)表示对矩阵的所有元素计算累加和，
Figure BDA0002880775430000045
是指真实的掩码图像，是在步骤(1)制作标注数据过程中所得掩码图像。
根据本发明优选的，推理阶段，包括步骤如下：
本发明提供的DCP-Net可以输入任意尺寸的图像，然而当输入图像过大时，一次性输入容易造成计算资源不足的问题。将完整的细胞图像输入网络进行自动智能化的细胞识别，或当计算资源不足时以分块的方式逐个输入识别检测。
A、将待检测的病理图像划分为相等大小的若干个子图像；
B、对步骤A处理后得到的子图像的下边界和右边界进行镜像填充，使得镜像填充后的子图像尺寸是预设子图像大小的倍数；这样边界部分也能划分到相同大小的子图像。
C、将步骤B处理后的子图像依次或批量(当资源充足时)分别输入训练好的阳性细胞卷积神经网络模型、训练好的阴性细胞卷积神经网络模型：
计算得到各自的概率图，将全部的概率图组合到同一个矩阵中获得最终的概率图y，概率图组合到该矩阵的位置对应各子图像原先在整幅待检测的病理图像上的位置；
为了生成二值掩码图像，将概率图y中概率值小于0.5的判定为目标(阳性细胞或阴性细胞)，因此，生成的二值掩码图像
Figure BDA0002880775430000051
如式(Ⅲ)所示：
Figure BDA0002880775430000052
式(Ⅲ)中，">"表示逐元素逻辑比较。
根据本发明优选的，后处理阶段，包括步骤如下：
根据本发明提出的数据标注方式的特点，采取基于像素占比的方式识别可能存在的少许粘连细胞，并进行进一步分割或增大计数，提高了准确性。
由于本发明所采取的独特数据标注方式，在推理阶段生成的二值掩码图像
Figure BDA0002880775430000053
从视觉效果上看，由很多互相分离的近似矩形区域构成，每个矩形区域代表了一个细胞。
D、为了进一步增强细胞检测性能，对二值掩码图像
Figure BDA0002880775430000054
中连通区域面积小于预设阈值T0的个体进行过滤清除；
E、虽然在
Figure BDA0002880775430000055
中大量的矩形是相互分离的，但仍可能存在相对极少量的连通区域由两个轻微粘连的矩形构成，为了提升准确度，本发明对过滤后的全部连通区域进行如下处理。对每个连通区域，计算其外接矩形，若其目标点数量占外接矩形全部点数量的比值小于阈值τ，则基于最小值标记的分水岭算法对该连通区域进一步分割；事实上，进一步分割不是必须的，将该连通区域对应的细胞数量统计为2依然能获得准确的估计结果。由于这样的粘连区域是极少量的，所以此估计数量方法不会影响造成准确率降低。
F、设定步骤E得到的阳性细胞掩码图像和阴性细胞掩码图像分别设定为
Figure BDA0002880775430000056
统计
Figure BDA0002880775430000057
中的连通区域数量即得到对应的阳性细胞和阴性细胞数量，因此，计算得到阳性细胞占全部细胞的比例p如式(Ⅳ)所示：
Figure BDA0002880775430000061
式(Ⅳ)中，
Figure BDA0002880775430000062
表示掩码图像
Figure BDA0002880775430000063
中的连通区域数量，
Figure BDA0002880775430000064
表示掩码图像
Figure BDA0002880775430000065
中的连通区域数量。
进一步优选的，τ＝0.8。
进一步优选的，T0的取值范围为0-20。
根据本发明优选的，步骤(4)之后极性阳性细胞分级统计：
两种阳性细胞分级方案，第一种是自动分级方法，第二种是结合医生交互信息分级的方法。其中自动分级是指如下处理步骤。
G、根据阳性细胞掩码图像
Figure BDA0002880775430000066
对每个阳性细胞个体，在输入图像即待检测的病理图像上找到其对应区域，计算该区域的特征，该区域的特征是指均值特征向量v＝(Rm,Gm,Bm)，Rm、Gm、Bm表示该阳性细胞个体对应区域在R、G、B三颜色通道上的均值；
H、根据阳性细胞掩码图像
Figure BDA0002880775430000067
计算出全部阳性细胞个体的均值特征向量
Figure BDA0002880775430000068
Figure BDA0002880775430000069
I、对计算得到的全部均值特征向量进行聚类，类别数设定为3；
J、完成聚类后，对聚类中心(也是三维颜色向量)按颜色深浅分为强阳、中阳、弱阳；
K、分属于各聚类中心的均值特征向量对应的阳性细胞个体则自动被归类到强阳、中阳、弱阳。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于非完备标记的深度学习的核染色细胞计数方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于非完备标记的深度学习的核染色细胞计数方法的步骤。
本发明的有益效果为：
1、本发明提出一种基于卷积神经网络的智能化细胞计数方案，在智能推理阶段无需额外参数，通用性高，大幅减少人工调节，有效提高了识别的准确性和鲁棒性。
2、本发明设计了一种基于细胞中心矩形块标注的非完备标记方式，在数据标记上更快、更准、更有效。另一方面，使用中心矩形标注方式，在识别结果上，细胞个体分离更明显，更有利于计数，有效减少所需的后处理步骤。
3、结合本发明提出的深度学习模型和数据标记方法，在遇到新型细胞类型而导致模型性能降低时，可快速通过非完备数据标记或医生辅助矫正，完成模型的在线学习，将模型扩展到新型细胞的计数。
4、本发明少量标记数据即可完成模型的训练，此外，模型还具有持续学习的能力，很容易扩展到更多的细胞类型。
附图说明
图1为本发明卷积神经网络模型的架构示意图；
图2为本发明推理阶段的流程示意图；
图3为本发明制作标注数据的流程示意图；
图4为输入的病理图像示例1的示意图；
图5为将图4输入训练好的阳性细胞卷积神经网络模型得到的阳性细胞的真实掩码图像的示意图；
图6为将图4输入训练好的阴性细胞卷积神经网络模型得到的阴性细胞的真实掩码图像的示意图；
图7为对图6应用分水岭算法切割粘连区域后得到的示意图；
图8为输入的不规则的病理图像示例2的示意图；
图9为将图8输入训练好的阳性细胞卷积神经网络模型及阴性细胞卷积神经网络模型得到的阳性细胞的真实掩码图像及阴性细胞的真实掩码图像的示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于非完备标记的深度学习的核染色细胞计数方法，包括步骤如下：
(1)制作标注数据
针对当前细胞计数存在的问题，本发明基于深度学习的人工智能细胞计数方案，并结合计数的特点，有针对性地提出一种高效、鲁棒、易于应用的细胞标注方式。
加载病理图像到标注软件，获取所有的子图像与阳性细胞的子掩码图像数据对；
(2)训练模型
通过步骤(1)获取所有的子图像与阳性细胞的子掩码图像数据对为阳性细胞训练集；通过步骤(1)获取所有的子图像与阴性细胞的子掩码图像数据对为阴性细胞训练集；
分别通过阳性细胞训练集、阴性细胞训练集训练同样架构的卷积神经网络模型，分别得到训练好的阳性细胞卷积神经网络模型、训练好的阴性细胞卷积神经网络模型；
(3)推理阶段
将待检测的病理图像分别输入训练好的阳性细胞卷积神经网络模型、训练好的阴性细胞卷积神经网络模型，分别得到阳性细胞的真实掩码图像及阴性细胞的真实掩码图像；
(4)后处理阶段
计算阳性细胞和阴性细胞数量，并计算得到阳性细胞占全部细胞的比例p。
本发明设计了一种新颖的细胞标注方式来解决标记难的问题，并构建了深度神经网络模型利用新标注方式下的细胞图像进行训练学习，在一定程度上解决了人工估计阴性细胞和阳性细胞数量及比例费时费力的困难。
实施例2
根据实施例1所述的一种基于非完备标记的深度学习的核染色细胞计数方法，其区别在于：
步骤(1)中，制作标注数据，如图3所示，包括步骤如下：
a、加载病理图像到标注软件；通常不必整个病理切片图像进行标注，只需取某个视野下，尺寸700左右的图像即可。
b、建立阳性细胞标签，并点击病理图像内全部阳性细胞个体中心点，以各阳性细胞个体中心点为矩形中心标记矩形块，形成阳性细胞的真实掩码图像；
c、建立阴性细胞标签，并点击病理图像内全部阴性细胞个体中心点，以各阴性细胞个体中心点为矩形中心标记矩形块，形成阴性细胞的真实掩码图像；
d、辅助标注：在新细胞类型上标注时，先利用训练好的模型对整幅病理图像进行分割，再人工矫正自动分割不满意的细胞个体；利用本发明训练好的模型进行初步分割，然后人工矫正分割，就完成了对新细胞类型的标注，这些得到的标注是为了对模型继续训练使得模型能够识别与分割这种新细胞，这样能够更好的节省时间和增强模型在新数据类型上的性能。新细胞类型指的是本发明训练网络模型时没有见过的细胞。比如本发明只训练了乳腺癌细胞的分类计数模型，若要继续在其他细胞类型比如骨髓细胞上进行训练前的标注，可先用本发明已经训练好的模型对骨髓细胞进行分割，这样其实是一种辅助性的标注；训练好的模型是指本发明提出的深度神经网络在已有数据比如乳腺癌细胞上训练得到的模型。
e、对步骤b及步骤c分别得到的阳性细胞的真实掩码图像和阴性细胞的真实掩码图像进行数据细分：当前细胞图像标注完成后，为了充分利用标注数据，增大数据集，用滑动窗口的形式以一定步长从病理图像中截取固定大小的子图像，并从其对应的真实掩码图像的对应位置截取相同大小的子掩码图像，如此，一张尺寸700左右的图像就可以形成一系列的子图像与子掩码图像数据对。这些数据对将用于模型的训练。
步骤e中，水平方向以步长W、垂直方向以步长H进行截取，W是指矩形块平均宽度，H是指矩形块平均高度。固定大小为256×256。
步骤e中，水平方向以步长W、垂直方向以步长H进行截取，截取的图像块固定大小为256×256。
卷积神经网络模型包括依次连接的编码模块、两个上下文解析模块、三个解码模块；编码模块包括一层卷积池化层、三个残差模块；
训练过程中，采用ADAM优化器(参考文献Kingma D P,Ba J.Adam:A method forstochastic optimization[J].arXiv preprint arXiv:1412.6980,2014.)，学习率设置为0.0002，批大小(batch)设置为64.总训练轮数(epoch)设置为300。
卷积神经网络模型为深度上下文自解析网络(Deep Context Self-Parsing Net，DCP-Net)，属于端到端全卷积神经网络，借鉴于文献[1]提出的FCN方法，即以任意尺寸图像为输入，经过模型计算直接得到相应的具有与输入图像相同大小的掩码图像。为了增强模型学习能力，本发明使用编码→解码的神经网络架构，并在编码阶段，用文献[2]提出的Resnet-18进行特征提取，但去除全连接层和最后的池化层。以256×256×3的彩色RGB细胞图像输入为例，本发明的提供的DCP-Net在编码部分将该细胞图像进行特征提取为8×8×512的特征图F，即空间维数从196608降低到了32768维，获得了更加抽象的语义信息。本发明提供的DCP-Net在解码部分则将编码部分得到的特征图进行自动解码，通过梯度后向传播算法学习卷积核权重，智能地将编码特征图变换成与输入图像大小一样的概率图。
参照图1，本发明所提网络名称叫DCP-Net，由编码部分、解码部分、自解析模块组成。以256大小的输入图像为例，图1中每个框代表一个计算单元，每个框内的符号例如322×128表示该单元的输出大小为32，通道数为128。
图1中的第2个框为卷积池化层，卷积池化层的卷积核大小为7，数量为64，采用最大池化核大小为3，卷积与池化的步长stride均为2，目的是降低分辨率，提高后面的运算速度，卷积层的输出分辨率
Figure BDA0002880775430000091
接着是三个残差模块，第一个残差模块步长stride为1，其余为2，因此输出分辨率分别为
Figure BDA0002880775430000092
这里h指输入图像的大小，例如256。
卷积池化层的输出以及3个残差模块的输出汇聚到上下文解析模块，汇聚的方式为先下采样再通过1x1卷积，然后应用relu激活函数(Relu(x)＝max(0,x))。例如卷积池化层与上下文解析模块的连接系数8表示需要先将该卷积层的输出进行
Figure BDA0002880775430000093
下采样，下采样方式为最大池化，核大小5，stride为8，边缘补零大小padding为2。第一个残差模块与第二个残差模块相应的下采样方式为，第一个残差模块(核大小3，stride＝4，padding＝1)，第二个残差模块(核大小2，stride＝2，padding＝0)。而第三个残差模块由于分辨率与上下文解析模块所需分辨率一致，所以不需要下采样，只需要1x1卷积并使用relu激活。采用不同的核大小(5，3，2)，其目的在于用不同感受野大小提取上下文信息，能够自适应不同大小的细胞，因此，提高网络对不同大小细胞的识别与分割的准确性。因此，本发明称汇聚这些信息的模块为上下文解析模块，汇聚的方式为在通道上并联(concatenate)，所以卷积池化层64通道加上三个残差模块的通道数64、128、256，总共得到通道数为512。
上下文解析模块的输出大小为
Figure BDA0002880775430000101
其输出特征图继续输入到1x1卷积模块，然后经过三个解码模块(第二行)，每个解码模块的输出将与对称位置的编码模块的输出进行相加，并把相加的结果输入到下一个解码模块。最后经过两次上采样(使用deconvolution)，大小变为与输入图像大小相同。每个解码模块由卷积、反卷积、卷积三步构成。两个卷积步骤的卷积核大小皆为1.反卷积(deconvolution)的核大小为3，stride＝2，padding＝1，反卷积结果再在4个边界填补1行1列0。
注：stride，卷积神经网络里的卷积运算需要移动卷积核，移动的步长叫stride。Padding：进行卷积或池化前，先在输入图像或特征图4周填补0，填补0的长度叫padding。
卷积神经网络模型中，设输入图像为
Figure BDA0002880775430000102
激活函数f定义为S型函数(sigmoid)，则卷积神经网络模型的输出y如式(Ⅰ)所示：
Figure BDA0002880775430000103
式(Ⅰ)中，函数h,g分别是编码模块学习到的映射(从输入x到特征图F)和解码模块学习到的映射(从F到概率图y)；m,n的含义从
Figure BDA0002880775430000104
看出，x是输入图像，m是图像的高，n是图像的宽；编码模块先将输入图像x映射到特征图F；特征图是卷积神经网络里的术语，意即某一层的输出，这里F指的是编码部分的输出。接着，解码模块对特征图F进行一系列的卷积运算，得到解码部分的输出g(F)，最后通过sigmoid函数f作用于g(F)得到概率图y即卷积神经网络模型的输出。y就是本发明所创网络的最终输出。后续的计数计算等基于二值化y得到的掩码图像。
卷积神经网络模型中，为了让网络DCP-Net学习更新权重等参数，损失函数定义如式(Ⅱ)所示：
Figure BDA0002880775430000105
式(Ⅱ)中，二元算子⊙是对应元素相乘的哈达玛运算符，6um(·)表示对矩阵的所有元素计算累加和，
Figure BDA0002880775430000106
是指真实的掩码图像，是在步骤(1)制作标注数据过程中所得掩码图像。
实施例3
根据实施例2所述的一种基于非完备标记的深度学习的核染色细胞计数方法，其区别在于：
如图2所示，推理阶段，包括步骤如下：
本发明提供的DCP-Net可以输入任意尺寸的图像，然而当输入图像过大时，一次性输入容易造成计算资源不足的问题。将完整的细胞图像输入网络进行自动智能化的细胞识别，或当计算资源不足时以分块的方式逐个输入识别检测。
A、将待检测的病理图像划分为相等大小的若干个子图像；
B、对步骤A处理后得到的子图像的下边界和右边界进行镜像填充，使得镜像填充后的子图像尺寸是预设子图像大小的倍数；这样边界部分也能划分到相同大小的子图像。
C、将步骤B处理后的子图像依次或批量(当资源充足时)分别输入训练好的阳性细胞卷积神经网络模型、训练好的阴性细胞卷积神经网络模型：
计算得到各自的概率图，将全部的概率图组合到同一个矩阵中获得最终的概率图y，概率图组合到该矩阵的位置对应各子图像原先在整幅待检测的病理图像上的位置；
为了生成二值掩码图像，将概率图y中概率值小于0.5的判定为目标(阳性细胞或阴性细胞)，因此，生成的二值掩码图像
Figure BDA0002880775430000111
如式(Ⅲ)所示：
Figure BDA0002880775430000112
式(Ⅲ)中，">"表示逐元素逻辑比较。
后处理阶段，包括步骤如下：
根据本发明提出的数据标注方式的特点，采取基于像素占比的方式识别可能存在的少许粘连细胞，并进行进一步分割或增大计数，提高了准确性。
由于本发明所采取的独特数据标注方式，在推理阶段生成的二值掩码图像
Figure BDA0002880775430000113
从视觉效果上看，由很多互相分离的近似矩形区域构成，每个矩形区域代表了一个细胞。
D、为了进一步增强细胞检测性能，对二值掩码图像
Figure BDA0002880775430000114
中连通区域面积小于预设阈值T0的个体进行过滤清除；
E、虽然在
Figure BDA0002880775430000115
中大量的矩形是相互分离的，但仍可能存在相对极少量的连通区域由两个轻微粘连的矩形构成，为了提升准确度，本发明对过滤后的全部连通区域进行如下处理。对每个连通区域，计算其外接矩形，若其目标点数量占外接矩形全部点数量的比值小于阈值τ，则基于最小值标记的分水岭算法对该连通区域进一步分割；事实上，进一步分割不是必须的，将该连通区域对应的细胞数量统计为2依然能获得准确的估计结果。由于这样的粘连区域是极少量的，所以此估计数量方法不会影响造成准确率降低。
F、设定步骤E得到的阳性细胞掩码图像和阴性细胞掩码图像分别设定为
Figure BDA0002880775430000121
统计
Figure BDA0002880775430000122
中的连通区域数量即得到对应的阳性细胞和阴性细胞数量，因此，计算得到阳性细胞占全部细胞的比例p如式(Ⅳ)所示：
Figure BDA0002880775430000123
式(Ⅳ)中，
Figure BDA0002880775430000124
表示掩码图像
Figure BDA0002880775430000125
中的连通区域数量，
Figure BDA0002880775430000126
表示掩码图像
Figure BDA0002880775430000127
中的连通区域数量。
τ＝0.8。
T0的取值范围为0-20。
步骤(4)之后极性阳性细胞分级统计：
两种阳性细胞分级方案，第一种是自动分级方法，第二种是结合医生交互信息分级的方法。其中自动分级是指如下处理步骤。
G、根据阳性细胞掩码图像
Figure BDA00028807754300001211
对每个阳性细胞个体，在输入图像即待检测的病理图像上找到其对应区域，计算该区域的特征，该区域的特征是指均值特征向量v＝(Rm,Gm,Bm)，Rm、Gm、Bm表示该阳性细胞个体对应区域在R、G、B三颜色通道上的均值；
H、根据阳性细胞掩码图像
Figure BDA0002880775430000128
计算出全部阳性细胞个体的均值特征向量
Figure BDA0002880775430000129
Figure BDA00028807754300001210
I、对计算得到的全部均值特征向量进行聚类，类别数设定为3；
J、完成聚类后，对聚类中心(也是三维颜色向量)按颜色深浅分为强阳、中阳、弱阳；
K、分属于各聚类中心的均值特征向量对应的阳性细胞个体则自动被归类到强阳、中阳、弱阳。
图4为输入的病理图像示例1的示意图；图5为将图4输入训练好的阳性细胞卷积神经网络模型得到的阳性细胞的真实掩码图像的示意图；图6为将图4输入训练好的阴性细胞卷积神经网络模型得到的阴性细胞的真实掩码图像的示意图；图7为对图6应用分水岭算法切割粘连区域后得到的示意图，实现更精准的分割。
图8为输入的不规则的病理图像示例2的示意图；图9为将图8输入训练好的阳性细胞卷积神经网络模型及阴性细胞卷积神经网络模型得到的阳性细胞的真实掩码图像及阴性细胞的真实掩码图像的示意图。白色圈是指识别的阳性细胞，黑色圈是指识别的阴性细胞。
实施例4
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，所述处理器执行所述计算机程序时实现实施例1-3任一所述基于非完备标记的深度学习的核染色细胞计数方法的步骤。
实施例5
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1-3任一所述基于非完备标记的深度学习的核染色细胞计数方法的步骤。

Claims (10)

1.一种基于非完备标记的深度学习的核染色细胞计数方法，其特征在于，包括步骤如下：
(1)制作标注数据
加载病理图像到标注软件，获取所有的子图像与阳性细胞的子掩码图像数据对；
(2)训练模型
通过步骤(1)获取所有的子图像与阳性细胞的子掩码图像数据对为阳性细胞训练集；通过步骤(1)获取所有的子图像与阴性细胞的子掩码图像数据对为阴性细胞训练集；
分别通过阳性细胞训练集、阴性细胞训练集训练同样架构的卷积神经网络模型，分别得到训练好的阳性细胞卷积神经网络模型、训练好的阴性细胞卷积神经网络模型；
(3)推理阶段
将待检测的病理图像分别输入训练好的阳性细胞卷积神经网络模型、训练好的阴性细胞卷积神经网络模型，分别得到阳性细胞的真实掩码图像及阴性细胞的真实掩码图像；
(4)后处理阶段
计算阳性细胞和阴性细胞数量，并计算得到阳性细胞占全部细胞的比例p。
2.根据权利要求1所述的一种基于非完备标记的深度学习的核染色细胞计数方法，其特征在于，步骤(1)中，制作标注数据，包括步骤如下：
a、加载病理图像到标注软件；
b、建立阳性细胞标签，并点击病理图像内全部阳性细胞个体中心点，以各阳性细胞个体中心点为矩形中心标记矩形块，形成阳性细胞的真实掩码图像；
c、建立阴性细胞标签，并点击病理图像内全部阴性细胞个体中心点，以各阴性细胞个体中心点为矩形中心标记矩形块，形成阴性细胞的真实掩码图像；
d、辅助标注：在新细胞类型上标注时，先利用训练好的模型对整幅病理图像进行分割，再人工矫正自动分割不满意的细胞个体；
e、对步骤b及步骤c分别得到的阳性细胞的真实掩码图像和阴性细胞的真实掩码图像进行数据细分：用滑动窗口的形式以一定步长从病理图像中截取固定大小的子图像，并从其对应的真实掩码图像的对应位置截取相同大小的子掩码图像，形成一系列的子图像与子掩码图像数据对。
3.根据权利要求1所述的一种基于非完备标记的深度学习的核染色细胞计数方法，其特征在于，步骤e中，水平方向以步长W、垂直方向以步长H进行截取；
进一步优选的，截取的子图像的固定大小为256×256。
4.根据权利要求1所述的一种基于非完备标记的深度学习的核染色细胞计数方法，其特征在于，所述卷积神经网络模型包括依次连接的编码模块、两个上下文解析模块、三个解码模块；编码模块包括一层卷积池化层、三个残差模块；
训练过程中，采用ADAM优化器，学习率设置为0.0002，批大小设置为64.总训练轮数设置为300。
5.根据权利要求4所述的一种基于非完备标记的深度学习的核染色细胞计数方法，其特征在于，所述卷积神经网络模型中，设输入图像为
Figure FDA0002880775420000021
激活函数f定义为S型函数，则所述卷积神经网络模型的输出y如式(Ⅰ)所示：
Figure FDA0002880775420000022
式(Ⅰ)中，函数h,g分别是编码模块学习到的映射即从输入x到特征图F和解码模块学习到的映射即从特征图F到概率图y；x是输入图像，m是图像的高，n是图像的宽；编码模块先将输入图像x映射到特征图F；接着，解码模块对特征图F进行一系列的卷积运算，得到解码部分的输出g(F)，最后通过sigmoid函数f作用于g(F)得到概率图y即卷积神经网络模型的输出；
所述卷积神经网络模型中，损失函数定义如式(Ⅱ)所示：
Figure FDA0002880775420000023
式(Ⅱ)中，二元算子⊙是对应元素相乘的哈达玛运算符，sum(·)表示对矩阵的所有元素计算累加和，
Figure FDA0002880775420000024
是指真实的掩码图像，是在步骤(1)制作标注数据过程中所得掩码图像。
6.根据权利要求1所述的一种基于非完备标记的深度学习的核染色细胞计数方法，其特征在于，推理阶段，包括步骤如下：
A、将待检测的病理图像划分为相等大小的若干个子图像；
B、对步骤A处理后得到的子图像的下边界和右边界进行镜像填充，使得镜像填充后的子图像尺寸是预设子图像大小的倍数；
C、将步骤B处理后的子图像依次或批量分别输入训练好的阳性细胞卷积神经网络模型、训练好的阴性细胞卷积神经网络模型：
计算得到各自的概率图，将全部的概率图组合到同一个矩阵中获得最终的概率图y，概率图组合到该矩阵的位置对应各子图像原先在整幅待检测的病理图像上的位置；
将概率图y中概率值小于0.5的判定为目标，因此，生成的二值掩码图像
Figure FDA0002880775420000025
如式(Ⅲ)所示：
Figure FDA0002880775420000026
式(Ⅲ)中，">"表示逐元素逻辑比较。
7.根据权利要求1所述的一种基于非完备标记的深度学习的核染色细胞计数方法，其特征在于，后处理阶段，包括步骤如下：
D、对二值掩码图像
Figure FDA0002880775420000031
中连通区域面积小于预设阈值)0的个体进行过滤清除；
E、对每个连通区域，计算其外接矩形，若其目标点数量占外接矩形全部点数量的比值小于阈值τ，则基于最小值标记的分水岭算法对该连通区域进一步分割；
F、设定步骤E得到的阳性细胞掩码图像和阴性细胞掩码图像分别设定为
Figure FDA0002880775420000032
统计
Figure FDA0002880775420000033
中的连通区域数量即得到对应的阳性细胞和阴性细胞数量，因此，计算得到阳性细胞占全部细胞的比例p如式(Ⅳ)所示：
Figure FDA0002880775420000034
式(Ⅳ)中，
Figure FDA0002880775420000035
表示掩码图像
Figure FDA0002880775420000036
中的连通区域数量，
Figure FDA0002880775420000037
表示掩码图像
Figure FDA0002880775420000038
中的连通区域数量；
进一步优选的，τ＝0.8；
进一步优选的，)0的取值范围为0-20。
8.根据权利要求1-7任一所述的一种基于非完备标记的深度学习的核染色细胞计数方法，其特征在于，步骤(4)之后极性阳性细胞分级统计：
G、根据阳性细胞掩码图像
Figure FDA0002880775420000039
对每个阳性细胞个体，在输入图像即待检测的病理图像上找到其对应区域，计算该区域的特征，该区域的特征是指均值特征向量v＝(Rm,Gm,Bm)，Rm、Gm、Bm表示该阳性细胞个体对应区域在R、G、B三颜色通道上的均值；
H、根据阳性细胞掩码图像
Figure FDA00028807754200000310
计算出全部阳性细胞个体的均值特征向量v(1),v(＝),...,v(N),
Figure FDA00028807754200000311
Figure FDA00028807754200000312
I、对计算得到的全部均值特征向量进行聚类，类别数设定为3；
J、完成聚类后，对聚类中心按颜色深浅分为强阳、中阳、弱阳；
K、分属于各聚类中心的均值特征向量对应的阳性细胞个体则自动被归类到强阳、中阳、弱阳。
9.一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，步所述处理器执行所述计算机程序时实现权利要求1-8任一所述基于非完备标记的深度学习的核染色细胞计数方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一所述基于非完备标记的深度学习的核染色细胞计数方法的步骤。
CN202011641839.5A 2020-12-31 2020-12-31 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 Active CN112750106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011641839.5A CN112750106B (zh) 2020-12-31 2020-12-31 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011641839.5A CN112750106B (zh) 2020-12-31 2020-12-31 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质

Publications (2)

Publication Number Publication Date
CN112750106A true CN112750106A (zh) 2021-05-04
CN112750106B CN112750106B (zh) 2022-11-04

Family

ID=75649477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011641839.5A Active CN112750106B (zh) 2020-12-31 2020-12-31 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN112750106B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192047A (zh) * 2021-05-14 2021-07-30 杭州迪英加科技有限公司 一种基于深度学习的自动判读ki67病理切片的方法
CN113237881A (zh) * 2021-05-10 2021-08-10 博奥生物集团有限公司 一种特定细胞的检测方法、装置和病理切片检测系统
CN113592783A (zh) * 2021-07-08 2021-11-02 北京大学第三医院（北京大学第三临床医学院） 角膜共聚焦图像中细胞基础指标的精准量化方法及装置
CN113903030A (zh) * 2021-10-12 2022-01-07 杭州迪英加科技有限公司 一种基于弱监督学习的液基细胞病理图像生成方法
CN114387264A (zh) * 2022-01-18 2022-04-22 桂林电子科技大学 一种he染色病理图像数据扩充与增强的方法
CN114943729A (zh) * 2022-06-29 2022-08-26 南京九川科学技术有限公司 一种高分辨率细胞图像的细胞计数方法及系统
CN114972222A (zh) * 2022-05-13 2022-08-30 徕卡显微系统科技(苏州)有限公司 细胞信息统计方法、装置、设备及计算机可读存储介质
CN115406815A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于多源数据融合的肿瘤细胞检测设备及其方法
CN115908363A (zh) * 2022-12-07 2023-04-04 赛维森(广州)医疗科技服务有限公司 肿瘤细胞统计方法、装置、设备和存储介质
WO2024125053A1 (zh) * 2022-12-12 2024-06-20 常州微亿智造科技有限公司 基于自监督网络的工业缺陷检测方法和系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111396A1 (en) * 2008-11-06 2010-05-06 Los Alamos National Security Object and spatial level quantitative image analysis
WO2018140596A2 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统
CN110648332A (zh) * 2019-09-12 2020-01-03 电子科技大学 基于多分支卷积神经网络特征正交的图像可判别区域提取方法
CN110659718A (zh) * 2019-09-12 2020-01-07 中南大学 基于深度卷积神经网络的小卷积核细胞计数方法及系统
CN110736748A (zh) * 2019-09-12 2020-01-31 杭州迪英加科技有限公司 免疫组化核浆染色切片诊断方法及系统
CN111369615A (zh) * 2020-02-21 2020-07-03 苏州优纳医疗器械有限公司 一种基于多任务卷积神经网络的细胞核中心点检测方法
CN111583186A (zh) * 2020-04-14 2020-08-25 山东省千佛山医院 面向临床应用的病理er/pr细胞核计数方法及系统
WO2020172460A1 (en) * 2019-02-20 2020-08-27 Bluerock Therapeutics Lp Detecting cells of interest in large image datasets using artificial intelligence
CN111696094A (zh) * 2020-06-12 2020-09-22 杭州迪英加科技有限公司 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
WO2020198380A1 (en) * 2019-03-26 2020-10-01 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CN112070772A (zh) * 2020-08-27 2020-12-11 闽江学院 基于UNet++和ResNet的血液白细胞图像分割方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111396A1 (en) * 2008-11-06 2010-05-06 Los Alamos National Security Object and spatial level quantitative image analysis
WO2018140596A2 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统
WO2020172460A1 (en) * 2019-02-20 2020-08-27 Bluerock Therapeutics Lp Detecting cells of interest in large image datasets using artificial intelligence
WO2020198380A1 (en) * 2019-03-26 2020-10-01 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CN110648332A (zh) * 2019-09-12 2020-01-03 电子科技大学 基于多分支卷积神经网络特征正交的图像可判别区域提取方法
CN110659718A (zh) * 2019-09-12 2020-01-07 中南大学 基于深度卷积神经网络的小卷积核细胞计数方法及系统
CN110736748A (zh) * 2019-09-12 2020-01-31 杭州迪英加科技有限公司 免疫组化核浆染色切片诊断方法及系统
CN111369615A (zh) * 2020-02-21 2020-07-03 苏州优纳医疗器械有限公司 一种基于多任务卷积神经网络的细胞核中心点检测方法
CN111583186A (zh) * 2020-04-14 2020-08-25 山东省千佛山医院 面向临床应用的病理er/pr细胞核计数方法及系统
CN111696094A (zh) * 2020-06-12 2020-09-22 杭州迪英加科技有限公司 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN112070772A (zh) * 2020-08-27 2020-12-11 闽江学院 基于UNet++和ResNet的血液白细胞图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱续涛 等: "一种简易的脑片图像的半自动区域划分及细胞计数方法", 《波谱学杂志》 *
胡威: "基于卷积神经网络的细胞图像分割与类型判别", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113237881B (zh) * 2021-05-10 2023-09-12 博奥生物集团有限公司 一种特定细胞的检测方法、装置和病理切片检测系统
CN113237881A (zh) * 2021-05-10 2021-08-10 博奥生物集团有限公司 一种特定细胞的检测方法、装置和病理切片检测系统
CN113192047A (zh) * 2021-05-14 2021-07-30 杭州迪英加科技有限公司 一种基于深度学习的自动判读ki67病理切片的方法
CN113592783A (zh) * 2021-07-08 2021-11-02 北京大学第三医院（北京大学第三临床医学院） 角膜共聚焦图像中细胞基础指标的精准量化方法及装置
CN113592783B (zh) * 2021-07-08 2024-01-19 北京大学第三医院（北京大学第三临床医学院） 角膜共聚焦图像中细胞基础指标的精准量化方法及装置
CN113903030A (zh) * 2021-10-12 2022-01-07 杭州迪英加科技有限公司 一种基于弱监督学习的液基细胞病理图像生成方法
CN114387264A (zh) * 2022-01-18 2022-04-22 桂林电子科技大学 一种he染色病理图像数据扩充与增强的方法
CN114972222A (zh) * 2022-05-13 2022-08-30 徕卡显微系统科技(苏州)有限公司 细胞信息统计方法、装置、设备及计算机可读存储介质
CN114943729A (zh) * 2022-06-29 2022-08-26 南京九川科学技术有限公司 一种高分辨率细胞图像的细胞计数方法及系统
CN115406815A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于多源数据融合的肿瘤细胞检测设备及其方法
CN115908363A (zh) * 2022-12-07 2023-04-04 赛维森(广州)医疗科技服务有限公司 肿瘤细胞统计方法、装置、设备和存储介质
CN115908363B (zh) * 2022-12-07 2023-09-22 赛维森(广州)医疗科技服务有限公司 肿瘤细胞统计方法、装置、设备和存储介质
WO2024125053A1 (zh) * 2022-12-12 2024-06-20 常州微亿智造科技有限公司 基于自监督网络的工业缺陷检测方法和系统

Also Published As

Publication number Publication date
CN112750106B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN112750106B (zh) 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN109872285B (zh) 一种基于变分约束的Retinex低照度彩色图像增强方法
CN111340824B (zh) 一种基于数据挖掘的图像特征分割方法
EP3819859B1 (en) Sky filter method for panoramic images and portable terminal
CN110705425B (zh) 一种基于图卷积网络的舌象多标签分类方法
CN108537239B (zh) 一种图像显著性目标检测的方法
CN105740945B (zh) 一种基于视频分析的人群计数方法
WO2022012110A1 (zh) 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN108573276A (zh) 一种基于高分辨率遥感影像的变化检测方法
CN102651128B (zh) 一种基于采样的图像集分割方法
CN110163069B (zh) 用于辅助驾驶的车道线检测方法
CN106169081A (zh) 一种基于不同照度的图像分类及处理方法
CN109117703B (zh) 一种基于细粒度识别的混杂细胞种类鉴定方法
CN109993173B (zh) 一种基于种子生长及边界约束的弱监督图像语义分割方法
CN107133929A (zh) 基于背景估计和能量最小化的低质量文档图像二值化方法
CN104616308A (zh) 一种基于核模糊聚类的多尺度水平集图像分割方法
CN108230330B (zh) 一种快速的高速公路路面分割和摄像机定位的方法
CN112862792A (zh) 一种用于小样本图像数据集的小麦白粉病孢子分割方法
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN106815843A (zh) 一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法
CN113128308A (zh) 一种港口场景下的行人检测方法、装置、设备及介质
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
CN112446417B (zh) 基于多层超像素分割的纺锤形果实图像分割方法及系统
CN117253184B (zh) 一种雾先验频域注意表征引导的雾天图像人群计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant