CN110765855B - 一种病理图像处理方法及系统 - Google Patents
一种病理图像处理方法及系统 Download PDFInfo
- Publication number
- CN110765855B CN110765855B CN201910863393.1A CN201910863393A CN110765855B CN 110765855 B CN110765855 B CN 110765855B CN 201910863393 A CN201910863393 A CN 201910863393A CN 110765855 B CN110765855 B CN 110765855B
- Authority
- CN
- China
- Prior art keywords
- pathological image
- cell
- microscope
- confidence coefficient
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种病理图像处理系统，包括：显微镜、显微镜摄像头、采集开关、处理器以及显示器。显微镜用于观察细胞涂片；显微镜摄像头与所述显微镜镜头连接，用于采集显微镜下细胞涂片的病理图像。处理器与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理图像，对所述病理图像进行预处理，对处理后的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞所在位置、细胞类型及对应的置信度，输出经过标注的病理图像；显示器与所述处理器连接，接收并显示所述经过标注的病理图像。采集开关安装在所述显微镜摄像头上，控制显微镜摄像头的运行。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种病理图像处理方法及系统。
背景技术
细胞病理学cell pathology (cytopathology)以组织病理学为基础，通过细致地观察细胞形态结构、细胞排列形式及细胞间相互关系来阐明疾病本质的一门学科，是病理学的重要组成部分。细胞样本经取样、固定、制备、染色等过程制作成细胞涂片，细胞病理医生在显微镜下观察细胞涂片中的细胞成分进行诊断，先在低倍物镜下整体浏览，发现目标细胞时转到高倍物镜下仔细观察目标细胞。
目前所采用的计算机辅助阅片系统有：ThinPrep Imaging System（TIS）和BDFocalPoint 阅片仪，都是基于显微镜的玻片扫描分析系统，在一定程度上提高了判读的准确性以及降低了阅片时间，但存在价格昂贵、准确率不高，仍然依赖病理医师来判读的问题。随着数字病理和人工智能技术的发展，基于数字病理图像的计算机分析系统正在蓬勃发展。人工智能技术相比与传统的图像处理技术，准确性进一步提高同时自动化程度更高，但新兴的人工智能辅助诊断系统的设计思路是基于全场扫描的数字病理图像进行分析；不管是传统计算机辅助阅片系统还是新型人工智能全场扫描数字病理图像分析系统都存在价格昂贵、扫描成本高、扫描耗时的问题，医生仍然习惯在显微镜下进行人工阅片。考虑到我国的现状是大量医院对病理科投入资金少，医生工资低，昂贵的计算机辅助诊断系统大大影响产品的推广普及，扫描的时间和成本问题都限制了计算机辅助诊断系统的临床实用性。
发明内容
本发明的一个目的在于解决现有技术中存在的需要将细胞涂片在高倍镜下扫描成全场图，再上传至诊断工具中才能进行分析的问题，本发明提供了一种病理图像处理方法及系统。
本发明通过以下技术方案来实现上述目的：一种病理图像处理方法，适用于病理图像处理系统，所述系统包括显微镜、显微镜摄像头、采集开关、处理器以及显示器，所述显微镜摄像头安装在显微镜上，与处理器通讯连接，处理器与显示器连接，采集开关安装在显微镜摄像头上，所述病理图像处理方法包括：S10，采集开关打开时，显微镜摄像头采集位于显微镜下的细胞涂片病理图像并发送至处理器；S20，处理器对来自显微镜摄像头的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞所在位置、细胞类型及对应的置信度，输出经过标注的病理图像；S30，显示器接收并显示来自处理器的经过标注的病理图像。
进一步地，所述S20，具体包括：S21，确定所述病理图像的MPP值；S22，调节所述病理图像的MPP值，使得病理图像的MPP值与设定的MPP值m1一致；S23，将所述病理图像切分为若干大小的图片；S24，将所述图片进行标准化处理；S25，将所述图片输入用于目标检测的人工神经网络，检测出所述图片上目标细胞所在位置、细胞类型及对应的置信度，所述用于目标检测的人工神经网络训练样本的MPP值为m1；S36，在所述病理图像上标注目标细胞所在位置、细胞类型及对应的置信度，并输出经过标注的病理图像。
进一步地，所述S25，用于目标检测的人工神经网络采用FPN+Faster RCNN结构，检测过程具体包括：S251，将所述图片输入预训练的特征网络，构建自底向上网络；S252，使用轻量高效特征融合模块对自底向上网络特征进行融合，即通过多尺度特征层堆叠后，用步长为2的卷积操作完成特征提取和下采样，连续进行三次，得到三个不同大小的特征图fm1、fm2、fm3；然后对最小的特征图进行两次上采样操作，将fm1、fm2、fm3通过1*1卷积进行降维处理后再与上采样得到的对应卷积层进行元素相加操作，得到特征图fm4，fm5、fm6；S353，在特征图fm4，fm5、fm6上面分别进行RPN操作，获得可能包含目标区域的矩形候选区域；S254，将所述候选区域分别输入到特征图fm4，fm5、fm6上进行ROI Pool操作；S255，在上一步的基础上连接两个全连接网络层，分两个支路连接对应的分类层和回归层；S256，分类层输出每个候选区域的概率矢量，回归层输出目标细胞所在位置。
进一步地，所述S25，用于目标检测的人工神经网络的训练过程采用稀疏标记损失策略进行参数更新，所述稀疏标记损失策略是指：当网络训练未达到设定的训练步数时，统计置信度大于设定值n1的预测结果数量，若某个细胞类型的所述预测结果数量大于设定值M，则停止该细胞类别的损失计算，继续进行网络训练，直到达到设定的训练步数。
进一步地，所述S25与S26之间还包括：弹性非极大值抑制步骤，具体包括：筛选出区域置信度最高的回归框，计算同一区域的其他回归框与所述置信度最高的回归框的交并比，每个回归框的置信度即为预测置信度与 1-交并比 的乘积，输出置信度大于设定值n1的回归框所对应的目标细胞所在位置、细胞类型及对应的置信度。
进一步地，所述S30，显示器与显微镜摄像头同步显示所述甲状腺冰冻切片同一部位的病理图像。
本申请还提供了一种病理图像处理系统，包括：显微镜，用于观察细胞涂片；显微镜摄像头，与所述显微镜镜头连接，用于采集显微镜下细胞涂片的病理图像；处理器，与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理图像，对所述病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞所在位置、细胞类型及对应的置信度，输出经过标注的病理图像；显示器，与所述处理器连接，接收并显示所述经过标注的病理图像。
进一步地，还包括采集开关，采集开关安装在所述显微镜摄像头上，控制显微镜摄像头的运行，当采集开关打开时，显微镜摄像头采集显微镜视野下的图像；当采集开关关闭时，显微镜摄像头停止采集显微镜视野下的图像。
申请还提供了一种计算机可读存储介质，存储有与显示器结合使用的计算机程序，所述计算机程序可被处理器执行以完成以下步骤：
S50，接收采集的细胞涂片的病理图像；
S51，对所述病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞所在位置、细胞类型及对应的置信度，输出经过标注的病理图像至显示器。
进一步地，所述S51具体包括：
确定所述病理图像的MPP值；
调节所述病理图像的MPP值，使得病理图像的MPP值与设定的MPP值m1一致；
将所述图片进行标准化处理；
将所述图片输入用于目标检测的人工神经网络，检测出所述图片上目标细胞所在位置、细胞类型及对应的置信度，所述用于目标检测的人工神经网络训练样本的MPP值为m1；
在所述病理图像上标注目标细胞所在位置、细胞类型及对应的置信度，并输出经过标注的病理图像。
与现有技术相比，本发明的实质效果如下：采用本发明提出的病理图像处理方法及系统，病理科医生只需将细胞涂片放置于显微镜下，随机移动切片，在打开采集开关的情况下，停留在显微镜摄像头下的任意感兴趣区域都会同步在显示屏上，并显示出感兴趣该区域的细胞所在位置、细胞类型及对应的置信度。医生从显示器上可直接获病理切片的病理情况，有助于辅助医生进行病理诊断，方便快捷。同时免去了现有技术中病理切片的扫描程序，在省去高额扫描仪经费的同时提高了检测的效率，为实现快速精准诊断带来了便利。
附图说明
图1是本发明病理图像处理系统示意图；
图2是本发明病理图像处理方法流程图；
图3是本发明处理器处理流程图；
图4是DenseNet网络结构图；
图5为深度可分离卷积原理图；
图6为目标细胞检测模型的训练过程；
图7为目标细胞检测模型的检测过程；
图8为处理器输出的病理图像信息。
具体实施方式
下面结合附图对本发明作进一步说明：
本实施例中所用的显微镜为直插式显微镜，包括1个目镜和4个物镜；目镜的放大倍数为10倍，物镜的放大倍数依次为4倍，10倍、20倍、40倍，显微镜摄像头采集到的图像的MPP值分别为1.5，0.6，0.3和0.15。
一种病理图像处理系统，如图1所示，包括：显微镜、显微镜摄像头、采集开关、处理器以及显示器。显微镜用于观察细胞涂片；显微镜摄像头与所述显微镜镜头连接，用于采集显微镜下细胞涂片的病理图像。显微镜摄像头所采集的病理图像可以是PNG、JPG、mrxs、svs、kfb、ndpi等，可以是视频数据，也可以是图片数据，如果是视频数据，由于视频中包含的图片太多，而且相邻图片之间重叠区域过大，如果将视频中包含的所有图片都送入模型中，花费的检测分析时间太多，且有很多的冗余计算，所以，处理器需将视频数据拆分为多个图片数据，选择合适的时间间隔，挑选出能完整展现视频数据所展示的切片内容，又刚好不重叠，或者重叠部分不超过设定范围的若干张图片，然后对这些图片进行检测。本实施例所述的病理图像以图片数据为例。处理器与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理图像，对所述病理图像进行预处理，对处理后的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞所在位置、细胞类型及对应的置信度，输出经过标注的病理图像；显示器与所述处理器连接，接收并显示所述经过标注的病理图像。采集开关安装在所述显微镜摄像头上，控制显微镜摄像头的运行，当采集开关打开时，显微镜摄像头采集显微镜视野下的图像；当采集开关关闭时，显微镜摄像头停止采集显微镜视野下的图像。
采用病理图像处理系统进行处理的方法，如图2所示，包括：
S10，当采集开关打开时，显微镜摄像头采集位于显微镜下的细胞涂片病理图像并发送至处理器；
S20，处理器对来自显微镜摄像头的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞所在位置、细胞类型及对应的置信度，输出经过标注的病理图像；
如图3所示，具体包括：
S21，确定所述病理图像的MPP值；
通过倍率识别模型确定病理图像的MPP值，倍率识别模型采用DenseNet网络，如图4所示，完整的DenseNet由若干个Dense Block 组成，每俩个Dense Block之间通过卷积和池化操作进行连接，而每个Dense Block中每一层都将之前所有层输出的特征图连结起来作为自己的输入，然后再把自己的输出层作为之后所有层的输入；最后一个Dense Block的输出连接一个全连接层，然后通过softmax分类的概率矢量，概率矢量的每个元素位置对应一个类别，每个元素的值代表输入图像属于对应元素位置类别的概率值，值最大的元素位置所对应的类别即为输入图像类别。DenseNet主要有两个个优点，首先，与其他分类网络结构相比，DenseNet在达到相同的精度时，所需的数据量少，具有更高的效率。更少的数据量，意味着算法具有更快的速度。其次，DenseNet具有很好的泛化性能，系统在实际使用的过程中，受光照和人为因素的影响，输入模型中的图片的亮度、对比度、饱和度可能会与训练数据中的图片存在差异，DenseNet较强的泛化性能就可以降低这些差异所带来的影响。
此外，考虑到倍率识别模型会与用于目标检测的人工神经网络（即目标细胞检测模型）配合使用，首先对显微摄像头采集到的病理图像进行倍率识别，对病理图像的倍率进行调节后，采用人工神经网络对病理图片进行目标检测。因为计算机的计算资源有限，如果倍率识别模型参数太多，运算量太大，不仅会挤占配合使用的算法模型的运算资源，还会导致分析时间过长的问题，所以考虑对现有的DenseNet网络进行改进，减少DenseNet网络的参数量，以达到使用更少的资源和更少的时间完成图像倍率识别的效果。
具体的实施方法是采用深度可分离卷积来代替DenseNet中常规的卷积操作。深度可分离卷积将标准卷积分解成深度卷积和逐点卷积，通过这样的方式，在损失精度不多的情况下，大幅降低参数量和计算量。假设输入特征的尺寸为（DF,DF,M），采用标准卷积K的尺寸为（DK,DK,M,N），如图5（a）所示，输出特征G的尺寸为（DG,DG,N）。输入的通道数为M，输出的通道数为N，对应的计算量为：。
将标准卷积（DK,DK,M,N）拆分成深度卷积和逐点卷积：深度卷积负责滤波作用，尺寸为（DK,DK,1,M），如图5（b）所示，输出特征为（DG,DG,M）。逐点卷积负责转化通道，尺寸为（1,1,M,N）,如图5（c）所示，得到最终的输出（DG,DG,N）。则深度可分离卷积大的计算量为：。相对于常规卷积来说，计算量减少的比例为：
S22，调节所述病理图像的MPP值，使得病理图像的MPP值与设定的MPP值m1一致；
S23，将所述病理图像切分为若干大小的图片；
S24，将所述图片进行标准化处理；
不同的细胞涂片病理图像可能存在染色程度不一的情况，为保证目标细胞检测模型在各种染色情况下都具有较高的鲁棒性，使用标准化方法（如PCA标准化，极大极小值标准化）对输入的病理图像进行预处理，保证输入图像的像素值落在符合正态分布的具有统计学意义的范围之内。
S25，将所述图片输入目标细胞检测模型，检测出所述图片上目标细胞所在位置、细胞类型及对应的置信度，所述目标细胞检测模型训练样本的MPP值为m1；
其中，如图6所示，目标细胞检测模型的训练过程采用稀疏标记损失策略进行参数更新，所述稀疏标记损失策略是指：当网络训练未达到设定的训练步数时，统计置信度大于设定值n1的预测结果数量，若某个细胞类型的所述预测结果数量大于设定值M，则停止该细胞类别的损失计算，继续进行网络训练，直到达到设定的训练步数。由于细胞涂片病理图像中，多种类型的阳性细胞可能是相当密集的，如一张训练图像中有上百个阳性细胞，因此让医生进行全精标注是不现实的。在实际中，医生通常进行少量标注，因此会有大量阳性细胞没有进行标记。如果采用传统的网络训练方式，即计算网络检出结果与实际标注之间交叉熵作为损失的话，会极大影响到网络的训练，这是由于稀疏标记的存在会惩罚网络本预测正确但没进行标记的结果，使得网络难以训练。因此针对这个客观问题，本发明提出稀疏标记损失策略。该策略的假设前提为，若训练图像中细胞是密集的，有很大的可能病理医师是没有进行全精标注的，且假设单张训练图像中有20个阳性细胞的情况下属于密集。那么可以在训练过程中，设定分类得分0.8的阈值，若得分0.8以上的区域大于20个，这代表网络已经置信度很高，训练良好，且本张训练样本极有可能是密集样本，因此不对本次训练的这类样本计算损失，保证不对网络进行干扰，最终网络的性能使用本策略能得到极大提升。
目标细胞检测模型采用FPN+Faster RCNN结构，使用FPN+Faster RCNN的结构，可以在进行预测的时候融合浅层特征的位置信息以及高层特征的语义信息，获得更丰富的特征，而不是像Faster RCNN一样在最高层的特征图上进行预测，忽略了大量的位置信息，导致小目标的检测效果不佳。FPN+Faster相较与Faster RCNN来说，检测的召回率和分类准确率都有很大的提升。
采用目标检测的人工神经网络，如图7所示，检测过程具体包括：
S251，将所述图片输入预训练的特征网络，构建自底向上网络；
S252，使用轻量高效特征融合模块对自底向上网络特征进行融合，即通过多尺度特征层堆叠后，用步长为2的卷积操作完成特征提取和下采样，连续进行三次，得到三个不同大小的特征图fm1、fm2、fm3；然后对最小的特征图进行两次上采样操作，将fm1、fm2、fm3通过1*1卷积进行降维处理后再与上采样得到的对应卷积层进行元素相加操作，得到特征图fm4，fm5、fm6；
之所以进行3次步长为2的卷积，是由于融合前特征图分辨率为原图的1/4，3次下采样后特征图分辨率为原图的1/32，使得用于预测的两个3×3的卷积操作的感受野（相当于5×5卷积操作的感受野）与最大的锚点的大小基本一致，所谓的锚点是在原图中探测物体位置的回归的基准。详细的说，比如原图分辨率为512×512，3次下采样后特征图分辨率为16×16，那么两个3×3卷积核的感受野对应到原图为160×160，而最大的锚点大小为128×128，因此在这个感受野下可指引基于锚点的回归，输出最终的物体检测框。
轻量高效特征融合模块取消了侧向连接，不进行特征图像素求和的方式进行融合，通过多尺度特征层堆叠后，仅用步长为2的卷积操作完成特征提取和下采样的任务，在保证准确性的前提下，加快了训练及检测的时间。
S253，在特征图fm4，fm5、fm6上面分别进行RPN操作，获得候选ROI；
S254，将所述候选ROI分别输入到特征图fm4，fm5、fm6上进行ROI Pool操作，通过该操作后，不同大小的候选区域会变成相同大小，以便输入全连接层；
S255，在上一步的基础上连接两个全连接网络层，分两个支路连接对应的分类层和回归层；
S256，分类层输出ROI的细胞类型，回归层输出目标细胞所在位置，具体地，分类层输出每个候选区域的概率矢量，概率矢量的每个元素位置对应一个类别，每个元素的值代表该候选区域属于对应元素位置类别的概率值，值最大的元素位置所对应的类别即为候选区域类别；回归层输出一个长度为4的矢量，四个位置分别对应候选区域中心点坐标的x值，y值，候选区域的长度以及ROI的宽度。
此外还包括弹性非极大值抑制步骤，具体包括：筛选出区域置信度最高的回归框，计算同一区域的其他回归框与所述置信度最高的回归框的交并比，每个回归框的置信度即为预测置信度与（1-交并比）的乘积，输出置信度大于设定值n1的回归框所对应的目标细胞所在位置、细胞类型及对应的置信度。非极大值抑制是在目标检测算法中必备的后处理步骤，目的是用来去除重复框，也就是降低假阳率。传统的非极大值抑制直接将和得分最大的检测框的交并比大于某个阈值的检测框的得分置零。这样的方式并不适合细胞涂片病理图像的检测，这是由于在细胞涂片病理图像中，多种类型的阳性细胞可能是相当密集的，细胞可能会紧邻在一起，采用这样传统的非极大值抑制方法会造成很大程度上的漏检。因此，本发明中提出使用弹性非极大值抑制方法。非极大值抑制方法同样基于一个简单的假设，即交并比越大，其含有更多的阳性细胞特征，越有可能是假阳，因此其总得分应该变为（1-交并比）*得分，即交并比越大，得分越低，使用这样的方式，避免了粗暴的直接置零，同时考虑到了得分与交并比的方式，使得假阳问题假阴问题都得到了减少。
以宫颈液基细胞为例，目标细胞检测模型处理的是一个目标检测的任务，模型需要输出表示细胞位置的边界框坐标数据，以及该边界框中的细胞的类型及对应的置信度，如图8所示。目标细胞检测模型是由若干个不同的卷积核构成的层级结构，卷积核的权重通过训练得到的。训练数据由图片和对应的标注数据构成，标注数据包括对应图片中细胞的边界框坐标值以及细胞的类型，细分类型包括：AGC-N、AGC-NOS、SCC、HSIL、LSIL、ASC-H、ASCUS、滴虫、念珠菌、线索细胞、放线菌、疱疹、巨细胞病毒、鳞状化生细胞、颈管细胞、子宫内膜等，细胞类型用one-hot编码的格式来表示，形如[0,1,0,0,0]这样的格式，向量中只包含一个值为1的元素，其他位置的元素都为0。向量长度等于细胞的类型数，元素“1”在不同的位置，代表不同的细胞类型。模型在输出结果时，会输出类似[0.05,0.8,0.03,0.05,0.07]这样的值，根据最大值所在的位置来判断细胞的类型。
S26，在所述病理图像上标注目标细胞所在位置、细胞类型及对应的置信度，并输出经过标注的病理图像。
S30，显示器接收并显示来自处理器的经过标注的病理图像，显示器与显微镜摄像头同步显示所述甲状腺冰冻切片同一部位的病理图像。这里的同步显示并不局限于时间上的完全一致，不应做限制性的解释，例如将显微镜端下看到的图像与显示器端看到的图像的时间差精确到多少秒或多少微秒，应用场景下人眼能够接受的时间差也属于本申请中同步的概念，显示器端即便产生几微秒或几秒的延时，也不影响病理图像处理系统的使用或运行，同样落入本发明的保护范围。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (7)
1.一种病理图像处理方法，适用于病理图像处理系统，所述系统包括显微镜、显微镜摄像头、采集开关、处理器以及显示器，所述显微镜摄像头安装在显微镜上，与处理器通讯连接，处理器与显示器连接，采集开关安装在显微镜摄像头上，其特征在于，所述病理图像处理方法包括：
S10，采集开关打开时，显微镜摄像头采集位于显微镜下的细胞涂片病理图像并发送至处理器；
S20，处理器对来自显微镜摄像头的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞所在位置、细胞类型及对应的置信度，输出经过标注的病理图像；
S30，显示器接收并显示来自处理器的经过标注的病理图像；
其中，所述S20，具体包括：
S21，确定所述病理图像的MPP值；
S22，调节所述病理图像的MPP值，使得病理图像的MPP值与设定的MPP值m1一致；
S23，将所述病理图像切分为若干大小的图片；
S24，将所述图片进行标准化处理；
S25，将所述图片输入用于目标检测的人工神经网络，检测出所述图片上目标细胞所在位置、细胞类型及对应的置信度，所述用于目标检测的人工神经网络训练样本的MPP值为m1；
S26，在所述病理图像上标注目标细胞所在位置、细胞类型及对应的置信度，并输出经过标注的病理图像；
所述S25，用于目标检测的人工神经网络的训练过程采用稀疏标记损失策略进行参数更新，所述稀疏标记损失策略是指：当网络训练未达到设定的训练步数时，统计置信度大于设定值n1的预测结果数量，若某个细胞类型的所述预测结果数量大于设定值M，则停止对本次训练的该细胞类别的损失计算，保证不对网络进行干扰；继续进行网络训练，直到达到设定的训练步数。
2.根据权利要求1所述的一种病理图像处理方法，其特征在于，所述S25，用于目标检测的人工神经网络采用FPN+FasterRCNN结构，检测过程具体包括：S251，将所述图片输入预训练的特征网络，构建自底向上网络；
S252，使用轻量高效特征融合模块对自底向上网络特征进行融合，即通过多尺度特征层堆叠后，用步长为2的卷积操作完成特征提取和下采样，连续进行三次，得到三个不同大小的特征图fm1、fm2、fm3；然后对最小的特征图进行两次上采样操作，将fm1、fm2、fm3通过1*1卷积进行降维处理后再与上采样得到的对应卷积层进行元素相加操作，得到特征图fm4，fm5、fm6；S353，在特征图fm4，fm5、fm6上面分别进行RPN操作，获得可能包含目标区域的矩形候选区域；
S254，将所述候选区域分别输入到特征图fm4，fm5、fm6上进行ROIPool操作；
S255，在上一步的基础上连接两个全连接网络层，分两个支路连接对应的分类层和回归层；
S256，分类层输出每个候选区域的概率矢量，回归层输出目标细胞所在位置。
3.根据权利要求1所述的一种病理图像处理方法，其特征在于，所述S25与S26之间还包括：弹性非极大值抑制步骤，具体包括：筛选出区域置信度最高的回归框，计算同一区域的其他回归框与所述置信度最高的回归框的交并比，每个回归框的置信度即为预测置信度与1-交并比的乘积，输出置信度大于设定值n1的回归框所对应的目标细胞所在位置、细胞类型及对应的置信度。
4.根据权利要求1所述的一种病理图像处理方法，其特征在于，所述S30，显示器与显微镜摄像头同步显示甲状腺冰冻切片同一部位的病理图像。
5.一种病理图像处理系统，其特征在于，包括：
显微镜，用于观察细胞涂片；
显微镜摄像头，与所述显微镜镜头连接，用于采集显微镜下细胞涂片的病理图像；
处理器，与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理图像，对所述病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞所在位置、细胞类型及对应的置信度，输出经过标注的病理图像；
显示器，与所述处理器连接，接收并显示所述经过标注的病理图像；
其中，所述处理器执行的步骤具体包括：
S21，确定所述病理图像的MPP值；
S22，调节所述病理图像的MPP值，使得病理图像的MPP值与设定的MPP值m1一致；
S23，将所述病理图像切分为若干大小的图片；
S24，将所述图片进行标准化处理；
S25，将所述图片输入用于目标检测的人工神经网络，检测出所述图片上目标细胞所在位置、细胞类型及对应的置信度，所述用于目标检测的人工神经网络训练样本的MPP值为m1；
S26，在所述病理图像上标注目标细胞所在位置、细胞类型及对应的置信度，并输出经过标注的病理图像；
其中，所述S25，用于目标检测的人工神经网络的训练过程采用稀疏标记损失策略进行参数更新，所述稀疏标记损失策略是指：当网络训练未达到设定的训练步数时，统计置信度大于设定值n1的预测结果数量，若某个细胞类型的所述预测结果数量大于设定值M，则停止对本次训练的该细胞类别的损失计算，保证不对网络进行干扰；继续进行网络训练，直到达到设定的训练步数。
6.根据权利要求5所述的一种病理图像处理系统，其特征在于，还包括采集开关，采集开关安装在所述显微镜摄像头上，控制显微镜摄像头的运行，当采集开关打开时，显微镜摄像头采集显微镜视野下的图像；当采集开关关闭时，显微镜摄像头停止采集显微镜视野下的图像。
7.一种计算机可读存储介质，存储有与显示器结合使用的计算机程序，其特征在于，所述计算机程序可被处理器执行以完成以下步骤：
S50，接收采集的细胞涂片的病理图像；
S51，对所述病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞所在位置、细胞类型及对应的置信度，输出经过标注的病理图像至显示器；
其中，所述S51具体包括：
确定所述病理图像的MPP值；
调节所述病理图像的MPP值，使得病理图像的MPP值与设定的MPP值m1一致；将所述病理图像切分为若干大小的图片；将所述图片进行标准化处理；
将所述图片输入用于目标检测的人工神经网络，检测出所述图片上目标细胞所在位置、细胞类型及对应的置信度，所述用于目标检测的人工神经网络训练样本的MPP值为m1；
在所述病理图像上标注目标细胞所在位置、细胞类型及对应的置信度，并输出经过标注的病理图像；
其中，将所述图片输入用于目标检测的人工神经网络，检测出所述图片上目标细胞所在位置、细胞类型及对应的置信度，所述用于目标检测的人工神经网络训练样本的MPP值为m1的步骤中还包括，用于目标检测的人工神经网络的训练过程采用稀疏标记损失策略进行参数更新，所述稀疏标记损失策略是指：当网络训练未达到设定的训练步数时，统计置信度大于设定值n1的预测结果数量，若某个细胞类型的所述预测结果数量大于设定值M，则停止对本次训练的该细胞类别的损失计算，保证不对网络进行干扰；继续进行网络训练，直到达到设定的训练步数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910863393.1A CN110765855B (zh) | 2019-09-12 | 2019-09-12 | 一种病理图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910863393.1A CN110765855B (zh) | 2019-09-12 | 2019-09-12 | 一种病理图像处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110765855A CN110765855A (zh) | 2020-02-07 |
| CN110765855B true CN110765855B (zh) | 2023-04-18 |
Family
ID=69329497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910863393.1A Active CN110765855B (zh) | 2019-09-12 | 2019-09-12 | 一种病理图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110765855B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368726B (zh) * | 2020-03-04 | 2023-11-10 | 西安咏圣达电子科技有限公司 | 建筑工地作业面人数统计方法、系统、存储介质及装置 |
| CN111462087B (zh) * | 2020-04-01 | 2022-07-26 | 腾讯医疗健康(深圳)有限公司 | 基于人工智能的图像检测方法、装置、系统及存储介质 |
| CN111597922B (zh) * | 2020-04-28 | 2024-05-28 | 腾讯医疗健康(深圳)有限公司 | 细胞图像的识别方法、系统、装置、设备及介质 |
| CN111598849B (zh) * | 2020-04-29 | 2023-11-28 | 北京小白世纪网络科技有限公司 | 一种基于目标检测的病理图像细胞计数方法、设备及介质 |
| CN111666839A (zh) * | 2020-05-25 | 2020-09-15 | 东华大学 | 一种基于改进Faster RCNN的道路行人检测系统 |
| CN111524137B (zh) * | 2020-06-19 | 2024-04-05 | 平安科技（深圳）有限公司 | 基于图像识别的细胞识别计数方法、装置和计算机设备 |
| CN111861916A (zh) * | 2020-07-09 | 2020-10-30 | 中南大学湘雅二医院 | 病理图片的处理方法 |
| CN112837261B (zh) * | 2020-07-22 | 2022-11-11 | 杭州思柏信息技术有限公司 | 融合扫描数据和光学图像显示的细胞数据标注方法、系统 |
| CN113241154B (zh) * | 2020-12-28 | 2024-05-24 | 中国人民解放军陆军军医大学第二附属医院 | 一种人工智能血液涂片细胞标注系统及方法 |
| CN113139485B (zh) * | 2021-04-29 | 2023-11-17 | 新乡医学院 | 一种基于深度学习的骨髓细胞分类识别方法、装置及系统 |
| CN113506287A (zh) * | 2021-07-27 | 2021-10-15 | 陕西师范大学 | 全视野病理切片图像分类方法、装置、设备及存储介质 |
| CN114280014B (zh) * | 2021-11-30 | 2024-06-18 | 杭州迪英加科技有限公司 | 一种用于ai判读单独计费试剂 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107644235A (zh) * | 2017-10-24 | 2018-01-30 | 广西师范大学 | 基于半监督学习的图像自动标注方法 |
| CN108074243A (zh) * | 2018-02-05 | 2018-05-25 | 志诺维思（北京）基因科技有限公司 | 一种细胞定位方法以及细胞分割方法 |
| CN108596046A (zh) * | 2018-04-02 | 2018-09-28 | 上海交通大学 | 一种基于深度学习的细胞检测计数方法及系统 |
| CN108764329A (zh) * | 2018-05-24 | 2018-11-06 | 复旦大学附属华山医院北院 | 一种肺癌病理图像数据集的构建方法 |
| CN109086785A (zh) * | 2017-06-14 | 2018-12-25 | 北京图森未来科技有限公司 | 一种图像标定模型的训练方法和装置 |
| CN109359569A (zh) * | 2018-09-30 | 2019-02-19 | 桂林优利特医疗电子有限公司 | 一种基于cnn的红细胞图像亚分类方法 |
| CN110059672A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法 |
| CN110120040A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 切片图像处理方法、装置、计算机设备和存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104850860A (zh) * | 2015-05-25 | 2015-08-19 | 广西师范大学 | 细胞图像识别方法及细胞图像识别装置 |
| CN107622238A (zh) * | 2017-09-19 | 2018-01-23 | 北京瑞格瑞特生物科技有限公司 | 一种免疫细胞状态图像采集监控装置、方法 |
| CN108615236A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种图像处理方法及电子设备 |
| CN109034208B (zh) * | 2018-07-03 | 2020-10-23 | 怀光智能科技（武汉）有限公司 | 一种高低分辨率组合的宫颈细胞切片图像分类系统 |
| CN109034221A (zh) * | 2018-07-13 | 2018-12-18 | 马丁 | 一种宫颈细胞学图像特征的处理方法及其装置 |
| CN110007455B (zh) * | 2018-08-21 | 2021-01-26 | 腾讯科技（深圳）有限公司 | 病理显微镜、显示模组、控制方法、装置及存储介质 |
| CN109190567A (zh) * | 2018-09-10 | 2019-01-11 | 哈尔滨理工大学 | 基于深度卷积神经网络的异常宫颈细胞自动检测方法 |
| CN109389557B (zh) * | 2018-10-20 | 2023-01-06 | 南京大学 | 一种基于图像先验的细胞图像超分辨方法及装置 |
| CN109598224A (zh) * | 2018-11-27 | 2019-04-09 | 微医云(杭州)控股有限公司 | 基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法 |
| CN110009050A (zh) * | 2019-04-10 | 2019-07-12 | 杭州智团信息技术有限公司 | 一种细胞的分类方法及装置 |
-
2019
- 2019-09-12 CN CN201910863393.1A patent/CN110765855B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086785A (zh) * | 2017-06-14 | 2018-12-25 | 北京图森未来科技有限公司 | 一种图像标定模型的训练方法和装置 |
| CN107644235A (zh) * | 2017-10-24 | 2018-01-30 | 广西师范大学 | 基于半监督学习的图像自动标注方法 |
| CN108074243A (zh) * | 2018-02-05 | 2018-05-25 | 志诺维思（北京）基因科技有限公司 | 一种细胞定位方法以及细胞分割方法 |
| CN108596046A (zh) * | 2018-04-02 | 2018-09-28 | 上海交通大学 | 一种基于深度学习的细胞检测计数方法及系统 |
| CN108764329A (zh) * | 2018-05-24 | 2018-11-06 | 复旦大学附属华山医院北院 | 一种肺癌病理图像数据集的构建方法 |
| CN109359569A (zh) * | 2018-09-30 | 2019-02-19 | 桂林优利特医疗电子有限公司 | 一种基于cnn的红细胞图像亚分类方法 |
| CN110059672A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法 |
| CN110120040A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 切片图像处理方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110765855A (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765855B (zh) | 一种病理图像处理方法及系统 | |
| CN109800824B (zh) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 | |
| JP7026826B2 (ja) | 画像処理方法、電子機器および記憶媒体 | |
| CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| US9934571B2 (en) | Image processing device, program, image processing method, computer-readable medium, and image processing system | |
| CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
| TW202014984A (zh) | 一種圖像處理方法、電子設備及存儲介質 | |
| CN108830149B (zh) | 一种目标细菌的检测方法及终端设备 | |
| CN110807384A (zh) | 低能见度下的小目标检测方法和系统 | |
| CN112132166A (zh) | 一种数字细胞病理图像智能分析方法、系统及装置 | |
| CN113326846B (zh) | 一种基于机器视觉的桥梁表观病害快速检测方法 | |
| Weidmann et al. | A closer look at seagrass meadows: Semantic segmentation for visual coverage estimation | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| CN115471838A (zh) | 基于深度自适应特征提取的宫颈鳞状病变细胞检测方法 | |
| CN115082776A (zh) | 一种基于图像识别的电能表自动检测系统及方法 | |
| RU2476932C1 (ru) | Автоматизированная система анализа биомедицинских микроизображений для обнаружения и характеризации информативных объектов заданных классов на неоднородном фоне | |
| CN113989799A (zh) | 一种宫颈异常细胞识别方法、装置和电子设备 | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
| CN116309333A (zh) | 一种基于深度学习的wsi图像弱监督病理分析方法及装置 | |
| Sertel et al. | Computer-aided prognosis of neuroblastoma: classification of stromal development on whole-slide images | |
| CN115775226A (zh) | 基于Transformer的医学图像分类方法 | |
| CN113192018B (zh) | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 | |
| CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
| CN112070041B (zh) | 一种基于cnn深度学习模型的活体人脸检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |