CN110246579A - 一种病理诊断方法及装置 - Google Patents

一种病理诊断方法及装置 Download PDF

Info

Publication number
CN110246579A
CN110246579A CN201910513920.6A CN201910513920A CN110246579A CN 110246579 A CN110246579 A CN 110246579A CN 201910513920 A CN201910513920 A CN 201910513920A CN 110246579 A CN110246579 A CN 110246579A
Authority
CN
China
Prior art keywords
image
neural networks
pond layer
label
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910513920.6A
Other languages
English (en)
Other versions
CN110246579B (zh
Inventor
骞爱荣
田野
李郁
王威
张文娟
于观贞
罗晓庆
赵欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Huayi Biotechnology Co Ltd
Xi'an Nine Qing Biological Technology Co Ltd
Northwestern Polytechnical University
Original Assignee
Kunshan Huayi Biotechnology Co Ltd
Xi'an Nine Qing Biological Technology Co Ltd
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Huayi Biotechnology Co Ltd, Xi'an Nine Qing Biological Technology Co Ltd, Northwestern Polytechnical University filed Critical Kunshan Huayi Biotechnology Co Ltd
Priority to CN201910513920.6A priority Critical patent/CN110246579B/zh
Publication of CN110246579A publication Critical patent/CN110246579A/zh
Application granted granted Critical
Publication of CN110246579B publication Critical patent/CN110246579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种病理诊断方法及装置，涉及图像处理，用以解决病理图像标注费时费力，且特征提取效率不高的问题。该方法包括：标注病理图像中感兴趣区域的中点，以中点为中心提取补丁图像，将补丁图像切割成若干示例图像，形成训练数据；构造第一深度多示例神经网络，通过第一深度多示例神经网络的基于包的最大池化层融合训练数据，根据补丁图像的预测标签和补丁图像的标签，对参数进行迭代训练，得到第二深度多示例神经网络；将待测图像切割成多个待测示例，将多个待测示例输入到第二深度多示例神经网络的输入层，第二深度多示例神经网络的基于示例的最大池化层输出多个待测示例的预测结果。

Description

一种病理诊断方法及装置
技术领域
本发明涉及图像处理领域，更具体的涉及一种病理诊断方法及装置。
背景技术
深度学习是通过模拟人类大脑的工作原理，通过建立神经网络对数据进行自动化的特征提取，进而使得机器能够理解分析数据，并输出最终的结果。多示例学习是机器学习的一个分支，自从出现以来就广泛受到机器学习研究者的关注。在多示例学习的分类问题中，用于训练学习器的样本包含多个示例，而只有其中某些示例才会对样本的分类标签起决定性作用，而在样本中的其它示例对分类没有任何作用。
临床上对癌症的诊断主要依赖于病理组织学检测，病理组织学检测是疾病诊断的“金标准”。近期，采用深度学习和多示例学习技术对病理图像进行识别进而为病理医生提供辅助诊断已成为病理图像处理中的一个热点。文献“何雪英，韩忠义，魏本征.基于深度学习的乳腺癌病理图像自动分类【J】.计算机工程与应用，2018，v.54；No.907(12)：126-130.”报告了一种基于深度学习的病理图像分类方法，采用了一种改进的深度卷积神经网络；同时为了避免深度学习模型受样本量限制时易出现的过拟合问题，亦利用了数据增强和迁移学习的方法，该方法的识别率达到了91％。该方法的主要问题为(1)仅仅是病理图像的分类，并没有识别出病理图像中的癌症区域，不能够为病理医生提供有说服力的辅助诊断原因；(2)该方法采用基于监督学习，因此十分依赖于数据集中数据的特征和标签的质量，算法的泛化性较差，数据集中的微小误差会被放大啊，对学习器的正确率有较大的影响，不易于推广到其他癌症的自动分类中。文献“Campanella G，Silva V W K，Fuchs TJ.Terabyte-scale deep multiple instance learning for classification andlocalization in pathology【J】.arXiv preprint arXiv：1805.06983，2018.”在多示例学习的假设下训练了一个深度学习模型，在这种假设下，训练了只需要整体的病理图像诊断，避免了通常在监督学习方法下采用的所有昂贵的像素标注。该方法在前列腺癌的诊断分类中获得了0.98的AUC(曲线下面积)。然而该方法最大的局限性是使用病理图像中所有的补丁而不是病理医生感兴趣区域，每一个像素作为一个补丁的中心，都是一个潜在的实例，即使对于一个图像，也会有上百万个补丁被提取出来，这样就导致了病理图像特征提取效率不高，使得大部分计算力浪费。
综上所述，现有技术中存在病理图像标注费时费力，且病理图像特征提取效率不高的问题。
发明内容
本发明实施例提供一种病理诊断方法及装置，用以解决现有技术中存在病理图像标注费时费力，且病理图像特征提取效率不高的问题。
本发明实施例提供了一种病理诊断方法，包括：
标注病理图像中感兴趣区域的中点并确定所述中点的标签；以所述感兴趣区域的中点为中心提取M×M像素的补丁图像，将所述补丁图像切割成像素为N×N的若干示例图像，并将从同一所述补丁图像切割下的全部所述示例图像确定为一个示例包，所述示例包的标签和与所述示例包对应的所述补丁图像的标签一致，将多个所述示例包及所述示例包的标签确定为训练数据；
构造第一深度多示例神经网络，其中，所述第一深度多示例神经网络的最大池化层分为基于包的最大池化层和基于示例的最大池化层；
将所述训练数据输入到所述第一深度多示例神经网络的输入层，通过所述第一深度多示例神经网络的基于包的最大池化层融合所述训练数据中的多个所述示例图像，利用激活函数计算并输出所述训练数据的预测标签，根据所述补丁图像的预测标签和所述补丁图像所对应的所述示例包的标签，计算损失值；利用反向传播算法对所述第一深度多示例神经网络参数进行迭代训练，通过若干迭代次数之后得到第二深度多示例神经网络；
将待测图像切割成多个待测示例，将多个所述待测示例输入到所述第二深度多示例神经网络的输入层，所述第二深度多示例神经网络的基于示例的最大池化层输出多个所述待测示例的预测结果。
优选地，所述第二深度多示例神经网络的基于示例的最大池化层输出多个所述待测示例的预测结果之后，还包括：
根据多个所述待测示例的预测结果以及所述待测示例在待测图像中的位置，生成所述待测图像的热力图谱，根据所述热力图谱定位所述待测图像中的目标区域。
优选地，所述补丁图像的像素为894×894，所述示例图像的像素为224×224。
优选地，所述第一深度多示例神经网络包括的卷积层，非线性层和池化层组成一个整体重复执行多次；
所述第一深度多示例神经网络包括的位于池化层和最大池化层之间的全连接层，将所述池化层输出的数值做线性变换，把提取的特征投影到子空间中。
本发明实施例还提供了一种病理诊断装置，包括：
形成单元，用于标注病理图像中感兴趣区域的中点并确定所述中点的标签；以所述感兴趣区域的中点为中心提取M×M像素的补丁图像，将所述补丁图像切割成像素为N×N的若干示例图像，并将从同一所述补丁图像切割下的全部所述示例图像确定为一个示例包，所述示例包的标签和与所述示例包对应的所述补丁图像的标签一致，将多个所述示例包及所述示例包的标签确定为训练数据；
构造单元，用于构造第一深度多示例神经网络，其中，所述第一深度多示例神经网络的最大池化层分为基于包的最大池化层和基于示例的最大池化层；
训练单元，用于将所述训练数据输入到所述第一深度多示例神经网络的输入层，通过所述第一深度多示例神经网络的基于包的最大池化层融合所述训练数据中的多个所述示例图像，利用激活函数计算并输出所述训练数据的预测标签，根据所述补丁图像的预测标签和所述补丁图像所对应的所述示例包的标签，计算损失值；利用反向传播算法对所述第一深度多示例神经网络参数进行迭代训练，通过若干迭代次数之后得到第二深度多示例神经网络；
预测单元，用于将待测图像切割成多个待测示例，将多个所述待测示例输入到所述第二深度多示例神经网络的输入层，所述第二深度多示例神经网络的基于示例的最大池化层输出多个所述待测示例的预测结果。
优选地，所述预测单元还用于：
根据多个所述待测示例的预测结果以及所述待测示例在待测图像中的位置，生成所述待测图像的热力图谱，根据所述热力图谱定位所述待测图像中的目标区域。
优选地，所述感兴趣区域为一个点，所述补丁图像的像素为894×894，所述示例图像的像素为224×224。
优选地，所述第一深度多示例神经网络包括的卷积层，非线性层和池化层组成一个整体重复执行多次；
所述第一深度多示例神经网络包括的位于池化层和最大池化层之间的全连接层，将所述池化层输出的数值做线性变换，把提取的特征投影到子空间中。
本发明实施例提供了一种病理诊断方法及装置，该方法包括：标注病理图像中感兴趣区域的中点并确定所述中点的标签；以所述感兴趣区域的中点为中心提取M×M像素的补丁图像，将所述补丁图像切割成像素为N×N的若干示例图像，并将从同一所述补丁图像切割下的全部所述示例图像确定为一个示例包，所述示例包的标签和与所述示例包对应的所述补丁图像的标签一致，将多个所述示例包及所述示例包的标签确定为训练数据；构造第一深度多示例神经网络，其中，所述第一深度多示例神经网络的最大池化层分为基于包的最大池化层和基于示例的最大池化层；将所述训练数据输入到所述第一深度多示例神经网络的输入层，通过所述第一深度多示例神经网络的基于包的最大池化层融合所述训练数据中的多个所述示例图像，利用激活函数计算并输出所述训练数据的预测标签，根据所述补丁图像的预测标签和所述补丁图像所对应的所述示例包的标签，计算损失值；利用反向传播算法对所述第一深度多示例神经网络参数进行迭代训练，通过若干迭代次数之后得到第二深度多示例神经网络；将待测图像切割成多个待测示例，将多个所述待测示例输入到所述第二深度多示例神经网络的输入层，所述第二深度多示例神经网络的基于示例的最大池化层输出多个所述待测示例的预测结果。该方法采用多示例学习的方法，不需要像素级别的标注，极大的减轻了病理图像标注费力费时以及获取困难的问题，再者，通过该方法能够帮助医生在临床上快速的对病情做出诊断，提高了诊断效率，从而降低了医疗成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种病理诊断方法流程示意图；
图2为本发明实施例提供的深度多示例神经网络结构示意图；
图3为本发明实施例提供的基于深度多示例学习的病理图像识别方法的训练以及测试框架示意图；
图4为本发明实施例提供的一种病理诊断方法装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示例性的示出了本发明实施例提供的一种病理诊断方法流程示意图，如图1所示，该方法主要包括以下步骤：
步骤101，标注病理图像中感兴趣区域的中点并确定所述中点的标签；以所述感兴趣区域的中点为中心提取M×M像素的补丁图像，将所述补丁图像切割成像素为N×N的若干示例图像，并将从同一所述补丁图像切割下的全部所述示例图像确定为一个示例包，所述示例包的标签和与所述示例包对应的所述补丁图像的标签一致，将多个所述示例包及所述示例包的标签确定为训练数据；
步骤102，构造第一深度多示例神经网络，其中，所述第一深度多示例神经网络的最大池化层分为基于包的最大池化层和基于示例的最大池化层；
步骤103，将所述训练数据输入到所述第一深度多示例神经网络的输入层，通过所述第一深度多示例神经网络的基于包的最大池化层融合所述训练数据中的多个所述示例图像，利用激活函数计算并输出所述训练数据的预测标签，根据所述补丁图像的预测标签和所述补丁图像所对应的所述示例包的标签，计算损失值；利用反向传播算法对所述第一深度多示例神经网络参数进行迭代训练，通过若干迭代次数之后得到第二深度多示例神经网络；
步骤104，将待测图像切割成多个待测示例，将多个所述待测示例输入到所述第二深度多示例神经网络的输入层，所述第二深度多示例神经网络的基于示例的最大池化层输出多个所述待测示例的预测结果。
在步骤101中，病理专家利用现有的ASAP图像标注软件在病理图像中寻找有限感兴趣区域，标注感兴趣区域中点，并赋予中点一个标签，需要说明的是，在标注过程中，仅仅标注感兴趣区域中点；进一步地，以感兴趣区域的中点为中心提取补丁图像，在将提取到的补丁图像进行切割，均匀的切割成多个示例图像。在本发明实施例中，将每个示例图像称为一个示例，将从同一个补丁图像中切割下来的全部示例图像确定为一个示例包。需要说明的是，在实际应用中，示例包的标签和示例包所对应的补丁图像的标签一致。比如，当补丁图像为一个894×894时，若将该补丁图像进行切割，则可以形成包含16个224×224像素示例图像的的多示例包，其中每个224×224像素的示例图像为一个示例。
需要说明的是，在本发明实施例中，病理专家所寻找到的感兴趣区域可以是癌症区域，也可以是正常区域；在此的癌症区域只代表从病理图像中寻找到的感兴趣区域，不表示该病症区域所有区域均为癌症区域。而正常区域只包含正常的病理区域，不包含任意大小的癌症区域。
进一步地，可以根据感兴趣区域中点提取补丁图像，将每个补丁图像进行切割为多个示例图像。来自同一补丁图像的所有示例图像的组合称为一个多示例包，含有一个标签；每一个示例图像称为一个示例，不包含标签。从而可以形成训练数据，该训练数据包括多个示例包以及每个示例包所对应的标签。
需要说明的是，在本发明实施例中，上述步骤中形成的训练数据主要用于训练神经网络。
在步骤102中，首先按照卷积层、池化层和非线性层级联的方法来构造深度神经网络作为特征提取器。然后，在深度神经网络后面添加全连接层以及最大池化层，从而构建成深度多示例神经网络。
由于在该方法中会涉及到两个深度多示例神经网络，为了区分说明，将第一构建的深度多示例神经网络称为第一深度多示例神经网络，相应地，另外一个深度多示例神经网络称为第二深度多示例神经网络。
其中，第一深度多示例神经网络主要包括：输入层，卷积层，非线性层，池化层，全连接层和最大池化层。需要说明的是，在该第一深度多示例神经网络中，最大池化层分为基于包的最大池化层和基于示例的最大池化层。
图2为本发明实施例提供的深度多示例神经网络结构示意图，如图2所示，该深度多示例神经网络包括的A为输入层，B为卷积层，C为非线性层，D为池化层，E为全连接层，F为最大池化层。
具体地，输入层用于读取训练数据，该训练数据包括的示例图像来自于补丁图像，相应地，补丁图像依据病理图像中的感兴区域中点所提取。输入层包含图像缩放、图像归一化以及随机旋转翻转等一系列图像预处理操作。该输入层将经过预处理的示例图像输出到卷积层。
卷积层的输入是经过预处理的示例图像的特征，经过一个线性的变换得到新的特征，得到的新特征为非线性层的输入。
非线性层将卷积层获取的新特征通过非线性函数进行变换，使得其输出具有较强的表征能力。该层的输出为池化层的输入。
池化层是将多个数值映射为一个数值。该层主要包含最大池化层和平均池化层等。池化层能够进一步获取具有较强表达能力的特征信息，并缩进模型尺寸，简化深度多示例神经网络模型。池化层的输出可以接着作为卷积层的输入或全连接层的输入。
如图2所示，卷积层、非线性层和池化层可以作为一个小的整体重复多次或者一次。在该小整体，即卷积层、非线性层和池化层的多次组合，能够更好的表征图像。需要说明的是，在本发明实施例中，对卷积层、非线性层和池化层形成的小整体的重复次数不做限定。
全连接层对池化层的输出做一个线性的变换，把提取得到的特征投影到另外的子空间中以利于图像的分类预测。
最大池化层是池化层的一种。最大池化层层分为基于包的最大池化层和基于示例的最大池化层。
在步骤103中，将训练数据输入到第一深度多示例神经网络中，利用向后传播算法对该第一深度多示例神经网络进行参数不断地迭代调整更新，即对第一深度多示例神经网络进行训练。比如，将训练数据输入到第一深度多示例神经网络的输入层，由于第一深度多示例神经网络的最大池化层包括基于包的最大池化层和基于示例的最大池化层，而在本发明实施例中，通过基于包的最大池化层对训练数据的类别进行预测，得到该多示例包的预测标签，进而通过向后传播算法训练所述第一深度多示例神经网络得到第二深度多示例神经网络。
举例来说，当向第一深度多示例神经网络输入16个224×224的示例图像后，第一深度多示例神经网络的基于包的最大池化层可以输出一个关于包的预测标签，即得到了由上述16个224×224的示例图像组成的多示例包的预测标签，当该预测标签为0.1时，则可以认为第一深度多示例神经网络预测有0.1的可能为标签所对应的内容，相应地，则会有0.9的可能是非标签所对应的内容。在本发明实施例中，标签的内容一般为癌症，因此，若预测标签概率为0.1时，则可以确定该区域的癌症可能为0.1。
进一步地，当得到多示例包的标签和第一深度多示例网络预测的标签不一致时，则需要对第一深度多示例神经网络的参数进行迭代更新，需要说明的是，由于训练数据包括有多个多示例包数据，相应地，第一深度多示例神经网络的基于包的最大池化层输出的示例包的预测标签的病症概率会有多个，通过多个病症概率可以对第一深度多示例神经网络进行多次迭代，因此，经过多次迭代之后的第一深度多示例神经网络可以形成第二深度多示例神经网络。
在步骤104之前，需要确认多个待测图像，利用自适应阈值法去除测试病理图像的空白背景，只保留图像组织区域，通过该方法可以减少图像非必须的计算力。然后按照步骤101中处理补丁图像的方法，将待测图像切割成多个待测示例，将多个待测示例组成测试数据。需要说明的是，在实际应用中，测试数据包括的待测示例的像素和训练中示例图像的像素应当是一致的；而待测图像的像素是没有要求的。
进一步地，将确定的测试数据输入到第二深度多示例神经网络的输入层，第二深度多示例神经网络的基于示例的最大池化层依此输出每个待测示例的预测结果，比如，当预测结果为0时，表示该待测示例为正常图像，当预测结果为1时，表示该待测示例为癌症图像，当预测结果为0.7时，表示该待测示例0.7的概率为癌症图像。进一步地，根据每个待测示例的预测结果和其在待测图像中的位置，可以生成待测图像的热力图谱，根据该热力图谱确定待测图像中的目标区域。
需要说明的是，在本发明实施例中，目标区域表示通过本发明实施例所提供的病理诊断方法，从病理图像中定位癌症区域。
再者，本发明实施例中所陈述的补丁图像和待测图像均来自于病理图像，补丁图像的作用主要是用于训练第一深度多示例神经网络，而待测图像主要是用于通过第二深度多示例神经网络来预测该待测图像中目标区域位置。进一步地，示例图像和待测示例也是均来自于病理图像，其区别为示例图像用于训练第一深度多示例神经网络，相应地，待测示例用于通过第二深度多示例神经网络来预测待测示例标签。
为了能够更清楚的介绍本发明实施例提供的一种病理诊断方法，以下结合图3提供的基于深度多示例学习的病理图像识别方法的训练以及测试框架示意图，进一步详细介绍宫颈癌病理图像的识别方法，宫颈癌病理图像的识别方法主要包括以下4个步骤：
(1)收集病理图像
以病理科的资源库数据为数据来源，收集1000张病理图像，包括700张图像和300张正常图像。按照训练集：测试集＝7：3的数量比例随机分组。如表1所示：
表1.收集病理图像
(2)标注图像信息
利用现有的ASAP图像标注软件对步骤(1)所收集获得的训练集、校验集和测试集的组织病理切片图像寻找感兴趣区域，并对该区域进行标注，其中每块感兴趣区域面积为896×896像素，类型为0(正常)或者1(癌症)。共获得如下表2所示：
表2.标注图像信息
(3)、训练深度多示例神经网络
首先构造如附图2所示的深度多示例神经网络，其中基于包的池化层用于训练网络以及验证和测试网络模型对包的分类性能，而基于示例的池化层用于预测224×224像素示例图像类别，进而获取病理切片的热力图谱，对其宫颈癌病理图像进行识别。
使用步骤(2)构造的训练集训练多个神经网络模型，其中训练集中每张894×894像素的图像为包含16张224×224像素示例图像的一个包。使用校验集测试并选择性能较好的深度多示例网络模型。最后采用测试集测试网络模型的性能。
(4)病理图像癌区域识别
如附图3中测试流程。首先将待测宫颈组织病理切片图像分割为224×224像素的补丁作为训练后的深度多示例神经网络的输入图像。其次利用训练好的神经网络预测补丁为Tumor类别的概率P(Tumor|x)。最后得出概率图谱，达到宫颈癌辅助诊断的作用。
综上所述，本发明实施例提供了一种病理诊断方法，该方法中在病理图像中标注感兴趣区域中点，以所述感兴趣区域中点为中心提前补丁图像以及将补丁图像切割程多个示例图像，并将从同一补丁图像切割下的所有示例图像看作一个示例包，示例包标签和其对应的补丁图像标签一致，而示例图像没有分类标签，从而构成训练数据；将训练数据输入至基于多示例学习的第一深度多示例神经网络中，利用该网络中基于包的最大池化层输出每个多示例包的预测标签，进而利用向后传播算法对第一深度多示例神经网络进行参数迭代调整，从而得到可以进行预测的第二深度多示例神经网络，将待测图像切割成多个待测示例并输入至第二深度多示例神经网络，第二深度多示例神经网络包括的基于示例的最大池化层输出每个待测示例的预测结果。利用该预测结果和示例在待测病理图像中的位置生成热力图谱，进而定位癌症区域，达到病理辅助诊断的作用。该方法采用多示例学习的方法，极大的减轻了病理图像标注费力费时以及获取困难的问题，再者，通过该方法能够帮助医生在临床上快速的对病情做出诊断，提高了诊断效率，从而降低了医疗成本。
基于同一发明构思，本发明实施例提供了一种病理诊断装置，由于该装置解决技术问题的原理与一种病理诊断方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图4为本发明实施例提供的一种病理诊断方法装置结构示意图，如图4所示，该装置包括：形成单元201，构造单元202，训练单元203和预测单元204。
形成单元201，用于标注病理图像中感兴趣区域的中点并确定所述中点的标签；以所述感兴趣区域的中点为中心提取M×M像素的补丁图像，将所述补丁图像切割成像素为N×N的若干示例图像，并将从同一所述补丁图像切割下的全部所述示例图像确定为一个示例包，所述示例包的标签和与所述示例包对应的所述补丁图像的标签一致，将多个所述示例包及所述示例包的标签确定为训练数据；
构造单元202，用于构造第一深度多示例神经网络，其中，所述第一深度多示例神经网络的最大池化层分为基于包的最大池化层和基于示例的最大池化层；
训练单元203，用于将所述训练数据输入到所述第一深度多示例神经网络的输入层，通过所述第一深度多示例神经网络的基于包的最大池化层融合所述训练数据中的多个所述示例图像，利用激活函数计算并输出所述训练数据的预测标签，根据所述补丁图像的预测标签和所述补丁图像所对应的所述示例包的标签，计算损失值；利用反向传播算法对所述第一深度多示例神经网络参数进行迭代训练，通过若干迭代次数之后得到第二深度多示例神经网络；
预测单元204，用于将待测图像切割成多个待测示例，将多个所述待测示例输入到所述第二深度多示例神经网络的输入层，所述第二深度多示例神经网络的基于示例的最大池化层输出多个所述待测示例的预测结果。
优选地，所述预测单元204还用于：
根据多个所述待测示例的预测结果以及所述待测示例在待测图像中的位置，生成所述待测图像的热力图谱，根据所述热力图谱定位所述待测图像中的目标区域。
优选地，所述感兴趣区域为一个点，所述补丁图像的像素为894×894，所述示例图像的像素为224×224。
优选地，所述第一深度多示例神经网络包括的卷积层，非线性层和池化层组成一个整体重复执行多次；
所述第一深度多示例神经网络包括的位于池化层和最大池化层之间的全连接层，将所述池化层输出的数值做线性变换，把提取的特征投影到子空间中。
应当理解，以上一种病理诊断装置包括的单元仅为根据该设备装置实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种病理诊断装置所实现的功能与上述实施例提供的一种病理诊断方法一一对应，对于该装置所实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种病理诊断方法，其特征在于，包括：
标注病理图像中感兴趣区域的中点并确定所述中点的标签；以所述感兴趣区域的中点为中心提取M×M像素的补丁图像，将所述补丁图像切割成像素为N×N的若干示例图像，并将从同一所述补丁图像切割下的全部所述示例图像确定为一个示例包，所述示例包的标签和与所述示例包对应的所述补丁图像的标签一致，将多个所述示例包及所述示例包的标签确定为训练数据；
构造第一深度多示例神经网络，其中，所述第一深度多示例神经网络的最大池化层分为基于包的最大池化层和基于示例的最大池化层；
将所述训练数据输入到所述第一深度多示例神经网络的输入层，通过所述第一深度多示例神经网络的基于包的最大池化层融合所述训练数据中的多个所述示例图像，利用激活函数计算并输出所述训练数据的预测标签，根据所述补丁图像的预测标签和所述补丁图像所对应的所述示例包的标签，计算损失值；利用反向传播算法对所述第一深度多示例神经网络参数进行迭代训练，通过若干迭代次数之后得到第二深度多示例神经网络；
将待测图像切割成多个待测示例，将多个所述待测示例输入到所述第二深度多示例神经网络的输入层，所述第二深度多示例神经网络的基于示例的最大池化层输出多个所述待测示例的预测结果。
2.如权利要求1所述的方法，其特征在于，所述第二深度多示例神经网络的基于示例的最大池化层输出多个所述待测示例的预测结果之后，还包括：
根据多个所述待测示例的预测结果以及所述待测示例在待测图像中的位置，生成所述待测图像的热力图谱，根据所述热力图谱定位所述待测图像中的目标区域。
3.如权利要求1所述的方法，其特征在于，所述补丁图像的像素为894×894，所述示例图像的像素为224×224。
4.如权利要求1所述的方法，其特征在于，所述第一深度多示例神经网络包括的卷积层，非线性层和池化层组成一个整体重复执行多次；
所述第一深度多示例神经网络包括的位于池化层和最大池化层之间的全连接层，将所述池化层输出的数值做线性变换，把提取的特征投影到子空间中。
5.一种病理诊断装置，其特征在于，包括：
形成单元，用于标注病理图像中感兴趣区域的中点并确定所述中点的标签；以所述感兴趣区域的中点为中心提取M×M像素的补丁图像，将所述补丁图像切割成像素为N×N的若干示例图像，并将从同一所述补丁图像切割下的全部所述示例图像确定为一个示例包，所述示例包的标签和与所述示例包对应的所述补丁图像的标签一致，将多个所述示例包及所述示例包的标签确定为训练数据；
构造单元，用于构造第一深度多示例神经网络，其中，所述第一深度多示例神经网络的最大池化层分为基于包的最大池化层和基于示例的最大池化层；
训练单元，用于将所述训练数据输入到所述第一深度多示例神经网络的输入层，通过所述第一深度多示例神经网络的基于包的最大池化层融合所述训练数据中的多个所述示例图像，利用激活函数计算并输出所述训练数据的预测标签，根据所述补丁图像的预测标签和所述补丁图像所对应的所述示例包的标签，计算损失值；利用反向传播算法对所述第一深度多示例神经网络参数进行迭代训练，通过若干迭代次数之后得到第二深度多示例神经网络；
预测单元，用于将待测图像切割成多个待测示例，将多个所述待测示例输入到所述第二深度多示例神经网络的输入层，所述第二深度多示例神经网络的基于示例的最大池化层输出多个所述待测示例的预测结果。
6.如权利要求5所述的装置，其特征在于，所述预测单元还用于：
根据多个所述待测示例的预测结果以及所述待测示例在待测图像中的位置，生成所述待测图像的热力图谱，根据所述热力图谱定位所述待测图像中的目标区域。
7.如权利要求5所述的装置，其特征在于，所述感兴趣区域为一个点，所述补丁图像的像素为894×894，所述示例图像的像素为224×224。
8.如权利要求5所述的装置，其特征在于，所述第一深度多示例神经网络包括的卷积层，非线性层和池化层组成一个整体重复执行多次；
所述第一深度多示例神经网络包括的位于池化层和最大池化层之间的全连接层，将所述池化层输出的数值做线性变换，把提取的特征投影到子空间中。
CN201910513920.6A 2019-06-13 2019-06-13 一种病理诊断方法及装置 Active CN110246579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910513920.6A CN110246579B (zh) 2019-06-13 2019-06-13 一种病理诊断方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910513920.6A CN110246579B (zh) 2019-06-13 2019-06-13 一种病理诊断方法及装置

Publications (2)

Publication Number Publication Date
CN110246579A true CN110246579A (zh) 2019-09-17
CN110246579B CN110246579B (zh) 2023-06-09

Family

ID=67887081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910513920.6A Active CN110246579B (zh) 2019-06-13 2019-06-13 一种病理诊断方法及装置

Country Status (1)

Country Link
CN (1) CN110246579B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192678A (zh) * 2019-10-31 2020-05-22 上海杏脉信息科技有限公司 病理显微图像诊断、模型训练方法、装置、设备及介质
CN111354459A (zh) * 2020-02-25 2020-06-30 成都联客信息技术有限公司 一种针对中医推拿的辅助诊断专家系统
CN111680553A (zh) * 2020-04-29 2020-09-18 北京联合大学 一种基于深度可分离卷积的病理图像识别方法及系统
CN112036431A (zh) * 2020-06-23 2020-12-04 昆山华颐生物科技有限公司 一种骨折类型的分类方法以及骨折识别模型的构建方法
US20220261988A1 (en) * 2021-02-18 2022-08-18 Lunit Inc. Method and system for detecting region of interest in pathological slide image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324940A (zh) * 2013-05-02 2013-09-25 广东工业大学 基于多示例多标签学习的皮肤病理图片特征识别方法
CN107368671A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的良性胃炎病理诊断支持系统和方法
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
CN108281183A (zh) * 2018-01-30 2018-07-13 重庆大学 基于卷积神经网络和迁移学习的宫颈涂片图像诊断系统
WO2019108695A1 (en) * 2017-11-30 2019-06-06 Nantomics, Llc Detecting intratumor heterogeneity of molecular subtypes in pathology slide images using deep-learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324940A (zh) * 2013-05-02 2013-09-25 广东工业大学 基于多示例多标签学习的皮肤病理图片特征识别方法
CN107368671A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的良性胃炎病理诊断支持系统和方法
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
WO2019108695A1 (en) * 2017-11-30 2019-06-06 Nantomics, Llc Detecting intratumor heterogeneity of molecular subtypes in pathology slide images using deep-learning
CN108281183A (zh) * 2018-01-30 2018-07-13 重庆大学 基于卷积神经网络和迁移学习的宫颈涂片图像诊断系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192678A (zh) * 2019-10-31 2020-05-22 上海杏脉信息科技有限公司 病理显微图像诊断、模型训练方法、装置、设备及介质
CN111192678B (zh) * 2019-10-31 2023-06-02 上海杏脉信息科技有限公司 病理显微图像诊断、模型训练方法、装置、设备及介质
CN111354459A (zh) * 2020-02-25 2020-06-30 成都联客信息技术有限公司 一种针对中医推拿的辅助诊断专家系统
CN111680553A (zh) * 2020-04-29 2020-09-18 北京联合大学 一种基于深度可分离卷积的病理图像识别方法及系统
CN112036431A (zh) * 2020-06-23 2020-12-04 昆山华颐生物科技有限公司 一种骨折类型的分类方法以及骨折识别模型的构建方法
US20220261988A1 (en) * 2021-02-18 2022-08-18 Lunit Inc. Method and system for detecting region of interest in pathological slide image

Also Published As

Publication number Publication date
CN110246579B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
Hosseinpour et al. CMGFNet: A deep cross-modal gated fusion network for building extraction from very high-resolution remote sensing images
CN110246579A (zh) 一种病理诊断方法及装置
Raza et al. Micro-Net: A unified model for segmentation of various objects in microscopy images
Gecer et al. Detection and classification of cancer in whole slide breast histopathology images using deep convolutional networks
CN108830326B (zh) 一种mri图像的自动分割方法及装置
CN110263656B (zh) 一种癌细胞识别方法、装置和系统
Kaur et al. An improved salient object detection algorithm combining background and foreground connectivity for brain image analysis
CN107368787A (zh) 一种面向深度智驾应用的交通标志识别算法
CN109034210A (zh) 基于超特征融合与多尺度金字塔网络的目标检测方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
Sureka et al. Visualization for histopathology images using graph convolutional neural networks
Alom et al. MitosisNet: end-to-end mitotic cell detection by multi-task learning
Mesejo et al. Automatic hippocampus localization in histological images using differential evolution-based deformable models
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
Priyadharshini et al. A novel hybrid Extreme Learning Machine and Teaching–Learning-Based​ Optimization algorithm for skin cancer detection
CN109635811A (zh) 空间植物的图像分析方法
CN111667491A (zh) 基于深度对抗网络的带边界标注信息乳腺肿块图生成方法
CN102945553A (zh) 基于自动差分聚类算法的遥感图像分割方法
Xiao et al. Effective automated pipeline for 3D reconstruction of synapses based on deep learning
CN114387270A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统
Xiang et al. RamGAN: region attentive morphing GAN for region-level makeup transfer
CN111611919A (zh) 一种基于结构化学习的道路场景布局分析方法
Liu et al. Using simulated training data of voxel-level generative models to improve 3D neuron reconstruction
CN117911697A (zh) 基于大模型分割的高光谱目标跟踪方法、系统、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant