CN111583203A - 基于深度学习模型的病理图像标注方法及系统 - Google Patents

基于深度学习模型的病理图像标注方法及系统 Download PDF

Info

Publication number
CN111583203A
CN111583203A CN202010343399.9A CN202010343399A CN111583203A CN 111583203 A CN111583203 A CN 111583203A CN 202010343399 A CN202010343399 A CN 202010343399A CN 111583203 A CN111583203 A CN 111583203A
Authority
CN
China
Prior art keywords
pathological
image
sliding window
image block
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010343399.9A
Other languages
English (en)
Inventor
王磊
徐文龙
韩国堃
李娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202010343399.9A priority Critical patent/CN111583203A/zh
Publication of CN111583203A publication Critical patent/CN111583203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了基于深度学习模型的病理图像标注方法及系统，包括：获取待标注的病理图像；设定滑动窗口的尺寸，将滑动窗口在待标注病理图像进行之字形移动；基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；滑动窗口移动后，计算移动后的滑动窗口内图像块的病理类别；依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别。

Description

基于深度学习模型的病理图像标注方法及系统
技术领域
本公开涉及图像处理技术领域，特别是涉及基于深度学习模型的病理图像标注方法及系统。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
癌症诊断的金标准是“病理诊断”，它可以确定肿瘤的诊断、组织来源以及性质和范围等，为临床治疗提供重要的依据。人工智能技术发展迅速，应用于医学领域，逐渐成为智能辅助诊断的有效工具。
发明人发现，在人工智能算法的病理图像应用中，受制于人工标注图像的需要具备专业知识，且病理医生日常工作量大，时间费用等成本高昂等众多因素，标注好的训练样本数量成为技术应用发展瓶颈。
发明内容
为了解决现有技术的不足，本公开提供了基于深度学习模型的病理图像标注方法及系统；
第一方面，本公开提供了基于深度学习模型的病理图像标注方法；
基于深度学习模型的病理图像标注方法，包括：
获取待标注的病理图像；
设定滑动窗口的尺寸，将滑动窗口在待标注病理图像进行之字形移动；基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；
滑动窗口移动后，计算移动后的滑动窗口内图像块的病理类别；
依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别。
第二方面，本公开提供了基于深度学习模型的病理图像标注系统；
基于深度学习模型的病理图像标注系统，包括：
获取模块，其被配置为：获取待标注的病理图像；
第一计算模块，其被配置为：设定滑动窗口的尺寸，将滑动窗口在待标注病理图像进行之字形移动；基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；
第二计算模块，其被配置为：滑动窗口移动后，计算移动后的滑动窗口内图像块的病理类别；
输出模块，其被配置为：依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
第五方面，本公开还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项病理图像分类的方法。
与现有技术相比，本公开的有益效果是：
1、本公开利用分类精度无需多高的现有深度学习模型，进行自动化地批量智能标注，将结果提供给病理医生进行筛选确认，从而提高医生的标注效率，不断增大训练数据集，自迭代优化病理图像的分类识别的准确率。
2、本公开通过设定滑动窗口的尺寸，将滑动窗口在待标注病理图像进行之字形移动；基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；解决了医师人工筛选有遗漏的问题，取得了筛选更全面，更精细化的技术效果；
3、本公开通过依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别；解决了单独依靠某一个窗口内部图像块容易造成误判的问题，取得了误判率降低的技术效果。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为第一个实施例的方法流程图；
图2为第二个实施例的系统功能模块图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
不同于自然图片中物体有清晰地轮廓特征，病理切片图像是在显微镜下或电子扫描仪对微观级别的清晰成像，诊断需要依靠观察组织结构和细胞病变特征进行判别；且人工标注需要专业知识，成本昂贵。为了解决上述问题，本公开提出以下解决方案：
实施例一，本实施例提供了基于深度学习模型的病理图像标注方法；
如图1所示，基于深度学习模型的病理图像标注方法，包括：
S100：获取待标注的病理图像；
S200：设定滑动窗口的尺寸，将滑动窗口在待标注病理图像进行之字形移动；基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；
S300：滑动窗口移动后，计算移动后的滑动窗口内图像块的病理类别；
S400：依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别。
作为一个或多个实施例，所述方法输出移动前和移动后滑动窗口内图像块病理类别步骤之后，还包括：
S500：当滑动窗口之字形移动完毕后，将相同病理类别的图像块的面积区域进行统计，根据相同病理类别的图像块的面积区域与待标注病理图像面积的比值大小，标注当前待标注病理图像的图像类别。
应理解的，所述S200中，设定滑动窗口的尺寸，根据病理图像的大小，用户可以自定义设置，例如可以是m*n，m和n的单位为像素，这里对m和n的数值不做具体限定。
应理解的，所述S200中，将滑动窗口在待标注病理图像进行之字形移动；具体包括：将滑动窗口在待标注病理图像中进行从左到右，且从上到下的之字形移动，滑动窗口移动之后的区域与移动之前的区域存在设定面积比例的区域重合。
应理解的，所述设定面积比例的区域重合，用户可以根据自身需要来设定，例如可以选择40％、50％或60％，对于具体的设定比例，本公开不做具体限定。
应理解的，所述S200中，训练好的深度学习模型，其中深度学习模型可以是以下模型的任意一种：卷积神经网络、递归神经网络、条件对抗生成网络、LSTM网络。本实施例对模型的类型不做具体限定，本领域技术人员可以根据实际需要进行选择。
应理解的，所述S200中，训练好的深度学习模型，训练的过程包括：
构建训练集，所述训练集为已知病理类型的病理图像；
构建深度学习模型，所述深度学习模型假设为卷积神经网络；
将训练集输入到卷积神经网络中进行训练，当损失函数达到最小值，或者迭代次数大于等于设定阈值时，停止训练，得到训练好的深度学习模型。
作为一个或多个实施例，所述S200中，基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；具体步骤包括：
将移动前滑动窗口内的图像块，输入到训练好的深度学习模型中，深度学习模型输出图像块的所归属病理类别。
或者，
作为一个或多个实施例，所述S200中，基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；具体步骤包括：
将移动前滑动窗口内的第一图像块，输入到训练好的深度学习模型中，深度学习模型输出第一图像块的所归属第一病理类别；
在滑动窗口每次移动前，滑动窗口进行上下左右四个方向的滑动，分别将上下左右滑动后滑动窗口的图像块定义为第二图像块、第三图像块、第四图像块和第五图像块；
将第二图像块、第三图像块、第四图像块和第五图像块，分别输入到训练好的深度学习模型中，深度学习模型分别输出第二图像块、第三图像块、第四图像块和第五图像块各自所归属的第二病理类别、第三病理类别、第四病理类别和第五病理类别；
如果第一、第二、第三、第四和第五病理类别中，数量最多的病理类别即为第一图像块的病理类别。
具体的，滑动窗口进行上下左右四个方向的滑动，滑动后的区域与滑动前的区域存在设定面积比例的区域重合。其中，设定面积比例，例如可以是：5％、10％或15％，对于具体的比例值，本实施例不做任何限定，本领域技术人员可以根据实际需求进行选择。
具体的，如果第一、第二、第三、第四和第五病理类别中，数量最多的病理类别即为第一图像块的病理类别；具体例如：第一、第二、第三、第四和第五病理类别，有三个或三个以上类别为阳性，则第一图像块的病理类别为阳性；或者，第一、第二、第三、第四和第五病理类别，有三个或三个以上类别为阴性，则第一图像块的病理类别为阴性。
应理解的，本实施例通过分析将上下左右滑动后滑动窗口的图像块的图像类别和当前图像块图像类别的数量，来判断最终当前图像块图像类别的数量，解决了误判的问题，通过多个图像块的类别比例来得到准确无误的当前图像快的图像类别。
作为一个或多个实施例，所述S300中，图像块的病理类别计算方式与S200中的计算方式一致。
作为一个或多个实施例，所述S400中，依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别，包括：
如果移动前滑动窗口内图像块的病理类别，与移动后滑动窗口内图像块的病理类别一致，则将移动前和移动后滑动窗口内的图像块的病理类别均标注为当前病理类别。
作为一个或多个实施例，所述S400中，依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别，包括：
如果移动前滑动窗口内图像块的病理类别，与移动后滑动窗口内图像块的病理类别不一致，则将移动前和移动后滑动窗口内的图像块的交集区域不做任何标注，将移动前和移动后滑动窗口内的图像块的非交集区域分别标注为各自图像块对应的类别。
应理解的，如果移动前滑动窗口内图像块的病理类别，与移动后滑动窗口内图像块的病理类别不一致，则将移动前和移动后滑动窗口内的图像块的交集区域不做任何标注，可以提高判断的准确性，避免误判。
作为一个或多个实施例，所述S500中，当滑动窗口之字形移动完毕后，将相同病理类别的图像块的面积区域进行统计，根据相同病理类别的图像块的面积区域与待标注病理图像面积的比值大小，标注当前待标注病理图像的图像类别；具体包括：
相同病理类别的图像块的面积区域与待标注病理图像面积的比值大于等于设定阈值时，表示当前待标注病理图像的图像类别即为大于等于设定阈值的图像块所对应的病理类别。
假设现有的深度学习模型，输入为一幅M×N大小的病理图像；输出为1×S的一维向量，其每个元素代表深度学习模型将该输入图像判别为S个不同类别分别的概率p1,p2,……,ps，这样必然满足：
0<p1,p2,……,ps<1且p1+p2+……+ps＝1 (1)
只需要计算p1,p2,……,ps中的最大值pi＝max(p1,p2,……,ps)，即可判断该输入图像属于S个不同类别中的第i类。
通常来说，一张全扫描的病理切片图像有十几亿像素点，病理医生会根据经验挑重点可疑区域来观察，先以小倍率放大，找到可疑区域大体位置，再定位到该位置附近，以大倍率放大来进行组织学检查从而诊断疾病。通常情况下，满足疾病区域占整体切片面积的一定比例以上的条件，才出具最终诊断结果。
假设待标注的新的整张切片图像尺寸是M×N，已有的人工智能模型的输入图像分辨率是m×n，通常情况下，满足m,n<<M,N。
假设现有的人工智能模型，在训练集上训练优化参数后，其测试集的正确率是a，且满足0.5<a<1。
使用m×n大小的窗口在整张切片图像(M×N)上待诊断区域从左上角开始之字形重叠50％移动；
每移动一次前，将该m×n窗口的待标注新图像输入现有的人工智能模型，可得到该m×n窗口图像属于S个不同类别分别的概率p1,p2,……,ps。在p1,p2,……,ps中的最大值pi＝max(p1,p2,……,ps)，将满足0.5<pi<1，代表模型判断该m×n窗口图像属于第i类。pi的值越趋近于1，代表这个模型判断越准确。
一般情况下，病理图像中的组织结构和细胞特异性改变没有方向性。在窗口每移动一次前，将该m×n窗口进行上下左右四个方向的5％～15％比例的随机滑动。假设共滑动k次(k≧3且为正整数)，每滑动一次之前，都将该m×n窗口下的待标注新图像输入现有的人工智能模型，将得到一组最大值pi1,pi2,……,pik，代表着分别属于S个不同类别中的某个类，即i1,i2,……,ik∈类别集合{1,2,……,S}。如果满足集合{i1,i2,……,ik}中，元素取值相同(即属于同一个类别)的数量l，满足下面公式，其
Figure BDA0002469288410000091
是向上取整符号：
Figure BDA0002469288410000092
则将k次滑动窗口图像的交集区域，自动标注成该元素对应的类别。
对于医生观察诊断有方向性顺序的病理图像，比如鳞状细胞癌的癌前病变期，则上述步骤需要去掉对特异性有影响的方向进行随机滑动。
这样，窗口每移动一次，对随机滑动的交集区域做一次自动标注。假设移动前后的交集区域分别为are1与are2，如果are1和are2属于同一类别，则are1与are2并集区域都自动标注为该类别；若are1和are2属于不同类别，则将are1与are2交集区域抛弃掉，不做自动标注，剩余部分分别做不同类别的自动标注。
通过上述步骤后，可通过窗口的移动和随机滑动，实现切片图像的连续的自动标注，最后将机器的自动标注结果提供给病理医生进行筛选确认，从而提高医生的标注效率，不断增大训练数据集，自迭代优化病理图像的分类识别的准确率。
针对基于人工的病理数据标注费时费力效率低的现实情况，本公开在病理图像的分类方面，设计了一种基于深度学习模型的自迭代优化方法。根据病理图像的自身特点，利用分类精度不高的现有深度学习模型对新图像进行分类，作为下一轮机器标注，提供人工标注筛选范围，进行算法迭代优化，不断增大训练数据集，自迭代优化分类识别的准确率。
实施例二，本实施例提供了基于深度学习模型的病理图像标注系统；
如图2所示，基于深度学习模型的病理图像标注系统，包括：
基于深度学习模型的病理图像标注系统，包括：
获取模块，其被配置为：获取待标注的病理图像；
第一计算模块，其被配置为：设定滑动窗口的尺寸，将滑动窗口在待标注病理图像进行之字形移动；基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；
第二计算模块，其被配置为：滑动窗口移动后，计算移动后的滑动窗口内图像块的病理类别；
输出模块，其被配置为：依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别。
此处需要说明的是，上述获取模块、第一计算模块、第二计算模块和输出模块对应于实施例一中的步骤S100至S400，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
实施例五，本实施例还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项病理图像分类的方法。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.基于深度学习模型的病理图像标注方法，其特征是，包括：
获取待标注的病理图像；
设定滑动窗口的尺寸，将滑动窗口在待标注病理图像进行之字形移动；基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；
滑动窗口移动后，计算移动后的滑动窗口内图像块的病理类别；
依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别。
2.如权利要求1所述的方法，其特征是，所述方法输出移动前和移动后滑动窗口内图像块病理类别步骤之后，还包括：
当滑动窗口之字形移动完毕后，将相同病理类别的图像块的面积区域进行统计，根据相同病理类别的图像块的面积区域与待标注病理图像面积的比值大小，标注当前待标注病理图像的图像类别。
3.如权利要求1所述的方法，其特征是，基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；具体步骤包括：
将移动前滑动窗口内的图像块，输入到训练好的深度学习模型中，深度学习模型输出图像块的所归属病理类别。
4.如权利要求1所述的方法，其特征是，基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；具体步骤包括：
将移动前滑动窗口内的第一图像块，输入到训练好的深度学习模型中，深度学习模型输出第一图像块的所归属第一病理类别；
在滑动窗口每次移动前，滑动窗口进行上下左右四个方向的滑动，分别将上下左右滑动后滑动窗口的图像块定义为第二图像块、第三图像块、第四图像块和第五图像块；
将第二图像块、第三图像块、第四图像块和第五图像块，分别输入到训练好的深度学习模型中，深度学习模型分别输出第二图像块、第三图像块、第四图像块和第五图像块各自所归属的第二病理类别、第三病理类别、第四病理类别和第五病理类别；
如果第一、第二、第三、第四和第五病理类别中，数量最多的病理类别即为第一图像块的病理类别。
5.如权利要求1所述的方法，其特征是，依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别，包括：
如果移动前滑动窗口内图像块的病理类别，与移动后滑动窗口内图像块的病理类别一致，则将移动前和移动后滑动窗口内的图像块的病理类别均标注为当前病理类别。
6.如权利要求1所述的方法，其特征是，依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别，包括：
如果移动前滑动窗口内图像块的病理类别，与移动后滑动窗口内图像块的病理类别不一致，则将移动前和移动后滑动窗口内的图像块的交集区域不做任何标注，将移动前和移动后滑动窗口内的图像块的非交集区域分别标注为各自图像块对应的类别。
7.如权利要求2所述的方法，其特征是，当滑动窗口之字形移动完毕后，将相同病理类别的图像块的面积区域进行统计，根据相同病理类别的图像块的面积区域与待标注病理图像面积的比值大小，标注当前待标注病理图像的图像类别；具体包括：
相同病理类别的图像块的面积区域与待标注病理图像面积的比值大于等于设定阈值时，表示当前待标注病理图像的图像类别即为大于等于设定阈值的图像块所对应的病理类别。
8.基于深度学习模型的病理图像标注系统，其特征是，包括：
获取模块，其被配置为：获取待标注的病理图像；
第一计算模块，其被配置为：设定滑动窗口的尺寸，将滑动窗口在待标注病理图像进行之字形移动；基于训练好的深度学习模型，计算移动前的滑动窗口内图像块的病理类别；
第二计算模块，其被配置为：滑动窗口移动后，计算移动后的滑动窗口内图像块的病理类别；
输出模块，其被配置为：依据移动前和移动后滑动窗口内图像块病理类别的一致性，输出移动前和移动后滑动窗口内图像块病理类别。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
CN202010343399.9A 2020-04-27 2020-04-27 基于深度学习模型的病理图像标注方法及系统 Pending CN111583203A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010343399.9A CN111583203A (zh) 2020-04-27 2020-04-27 基于深度学习模型的病理图像标注方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010343399.9A CN111583203A (zh) 2020-04-27 2020-04-27 基于深度学习模型的病理图像标注方法及系统

Publications (1)

Publication Number Publication Date
CN111583203A true CN111583203A (zh) 2020-08-25

Family

ID=72122540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010343399.9A Pending CN111583203A (zh) 2020-04-27 2020-04-27 基于深度学习模型的病理图像标注方法及系统

Country Status (1)

Country Link
CN (1) CN111583203A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549603A (zh) * 2022-02-28 2022-05-27 赛维森(广州)医疗科技服务有限公司 细胞病理图像的标注坐标转换方法、系统、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103926999A (zh) * 2013-01-16 2014-07-16 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
CN107665492A (zh) * 2017-06-29 2018-02-06 南京信息工程大学 基于深度网络的结直肠全景数字病理图像组织分割方法
CN107784319A (zh) * 2017-09-26 2018-03-09 天津大学 一种基于增强卷积神经网络的病理图像分类方法
CN107909102A (zh) * 2017-11-10 2018-04-13 天津大学 一种组织病理图像的分类方法
CN109493343A (zh) * 2018-12-29 2019-03-19 上海鹰瞳医疗科技有限公司 医疗图像异常区域分割方法及设备
CN109583489A (zh) * 2018-11-22 2019-04-05 中国科学院自动化研究所 缺陷分类识别方法、装置、计算机设备和存储介质
CN110363199A (zh) * 2019-07-16 2019-10-22 济南浪潮高新科技投资发展有限公司 基于深度学习的证件图像文本识别方法及系统
CN110555344A (zh) * 2018-06-01 2019-12-10 北京深鉴智能科技有限公司 车道线识别方法、装置、电子设备、存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103926999A (zh) * 2013-01-16 2014-07-16 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
CN107665492A (zh) * 2017-06-29 2018-02-06 南京信息工程大学 基于深度网络的结直肠全景数字病理图像组织分割方法
CN107784319A (zh) * 2017-09-26 2018-03-09 天津大学 一种基于增强卷积神经网络的病理图像分类方法
CN107909102A (zh) * 2017-11-10 2018-04-13 天津大学 一种组织病理图像的分类方法
CN110555344A (zh) * 2018-06-01 2019-12-10 北京深鉴智能科技有限公司 车道线识别方法、装置、电子设备、存储介质
CN109583489A (zh) * 2018-11-22 2019-04-05 中国科学院自动化研究所 缺陷分类识别方法、装置、计算机设备和存储介质
CN109493343A (zh) * 2018-12-29 2019-03-19 上海鹰瞳医疗科技有限公司 医疗图像异常区域分割方法及设备
CN110363199A (zh) * 2019-07-16 2019-10-22 济南浪潮高新科技投资发展有限公司 基于深度学习的证件图像文本识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549603A (zh) * 2022-02-28 2022-05-27 赛维森(广州)医疗科技服务有限公司 细胞病理图像的标注坐标转换方法、系统、设备及介质
CN114549603B (zh) * 2022-02-28 2022-10-18 赛维森(广州)医疗科技服务有限公司 细胞病理图像的标注坐标转换方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN110120040B (zh) 切片图像处理方法、装置、计算机设备和存储介质
CN110659692B (zh) 基于强化学习和深度神经网络的病理图像自动标注方法
US11468693B2 (en) Digital image classification method for cervical fluid-based cells based on a deep learning detection model
Aresta et al. Bach: Grand challenge on breast cancer histology images
WO2020253629A1 (zh) 检测模型训练方法、装置、计算机设备和存储介质
CN109389129B (zh) 一种图像处理方法、电子设备及存储介质
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
TWI743544B (zh) 用於自動腫瘤偵測和分類的方法及系統
CN111986150B (zh) 一种数字病理图像的交互式标注精细化方法
CN112380900A (zh) 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
CN111488921A (zh) 一种全景数字病理图像智能分析系统及方法
CN111223084A (zh) 一种染色体切割数据的处理方法、系统和存储介质
CN112037180B (zh) 染色体分割方法及装置
CN113223614A (zh) 一种染色体核型分析方法、系统、终端设备和存储介质
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN112464802A (zh) 一种玻片样本信息的自动识别方法、装置和计算机设备
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN112837325A (zh) 医学影像图像处理方法、装置、电子设备及介质
CN111950544A (zh) 一种确定病理图像中感兴趣区域的方法及装置
Karthikeyan et al. Interpolative leishman-stained transformation invariant deep pattern classification for white blood cells
CN111583203A (zh) 基于深度学习模型的病理图像标注方法及系统
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
CN113160175A (zh) 一种基于级联网络的肿瘤淋巴管浸润检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination