CN113239993A - 一种病理图像的分类方法、病理图像的分类系统、终端及计算机可读存储介质 - Google Patents

一种病理图像的分类方法、病理图像的分类系统、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN113239993A
CN113239993A CN202110472466.1A CN202110472466A CN113239993A CN 113239993 A CN113239993 A CN 113239993A CN 202110472466 A CN202110472466 A CN 202110472466A CN 113239993 A CN113239993 A CN 113239993A
Authority
CN
China
Prior art keywords
vector
pathological
image
model
micro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110472466.1A
Other languages
English (en)
Other versions
CN113239993B (zh
Inventor
胡和平
刘文迪
周华邦
谢巧华
邹珊珊
王芃
李晓燕
汪慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Affiliated Hospital Of Chinese People's Liberation Army Naval Medical University
Original Assignee
Third Affiliated Hospital Of Chinese People's Liberation Army Naval Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Affiliated Hospital Of Chinese People's Liberation Army Naval Medical University filed Critical Third Affiliated Hospital Of Chinese People's Liberation Army Naval Medical University
Priority to CN202110472466.1A priority Critical patent/CN113239993B/zh
Publication of CN113239993A publication Critical patent/CN113239993A/zh
Application granted granted Critical
Publication of CN113239993B publication Critical patent/CN113239993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开一种病理图像的分类方法、病理图像的分类系统、终端及计算机可读存储介质。首先从组织切片病理图像上随机选取m个大小为h×w的图像块，组成“微视野集”(bag‑of‑patches,BoP)；然后基于此“微视野集”训练疾病分类模型和/或预后估计模型；使用时，在待分类的组织切片病理图像上随机提取大小为h×w，数量满足m的整数倍的图像块，利用疾病分类模型进行疾病类型预测，和/或，利用预后估计模型进行预后预测。本申请的技术方案能够在无需人工标注的情况下即可进行疾病分类及预后估计，对所有病种的组织切片病理图像均适用，此方法高效、快速、准确，有效弥补了病理专业医生的缺口与不足。

Description

一种病理图像的分类方法、病理图像的分类系统、终端及计算 机可读存储介质
技术领域
本发明涉及计算机辅助诊断领域，尤其涉及一种病理图像的分类方法、病理图像的分类系统、终端及计算机可读存储介质。
背景技术
临床工作中，病理诊断是绝大多数疾病分类的重要方法，也是金标准，特别是癌症与非癌症的分类诊断至关重要。这不仅仅因为不同的癌症之间存在不同的病因、生物学行为，即便是同一类癌症的不同病理类型也存在着显著的临床差异，如肝细胞癌和肝内胆管癌均属原发性肝癌，但这两大类癌症在病因、流行病学、生物学行为、临床特征、治疗方法等多个方面均存在明显差异。因此有效进行癌症的分类诊断不仅仅是医生做出正确诊断，也是进行治疗方法选择与决策的重要依据，更是为患者做出预后判断的基石。显然，高效快速与准确的病理分类诊断十分重要。
现今的病理诊断模式是专业的病理医生通过对伊红染色的病理图像进行阅片，同时结合特别是免疫组织化学染色检查等综合分析后做出最终的病理诊断。但免疫组织化学染色费时长，成本高。在传统的病理诊断体系中仅靠伊红染色图像，做出及时、高效、准确的诊断是一项十分具有挑战的任务，其诊断准确性往往受到病理专科医生个人的经验和水平制约，同时较大的工作负担会使病理医生阅片疲劳，可能造成误诊与漏诊。且目前国内的病理专科医生缺口是十分巨大，同时存在专业水平差异大、不均衡的现状。因此，能否创造一种能够快速、高效、准确的分类诊断方法，同时弥补病理专业缺口和诊断中的缺陷，是一个巨大的挑战。
人工智能的进步与发展，为解决这一问题提供了基础和机会，它完全可能突破病理专科医生的局限，完全可能识别病理科医生能够识别的病理学特征，同时也完全可能识别病理科医生不能或难以设别的病理学特征，因此也为实现这一目标提供了可能。
实际上，基于深度学习发展的大量定量分析算法的产生，让人工智能在医疗领域的应用大放异彩，已有研究表明人工智能对全切片数字化病理图像进行学习以及定量分析，在对仅仅进行伊红染色，没有免疫组织化学染色的组织切片病理图像可自动化进行分类诊断、分级以及预后的判断，部分研究结果显示人工智能的诊断准确性可媲美专业的病理医生，而仅根据图像特征判断预后则是病理医生无法做到的，更加凸显人工智能独特的价值与优势。
当前在病理图像上开发的智能诊断模型均受到如下约束：1)病理图像需要专业的医生标注；2)可以采集到的病理图像总数通常在几百例，不利于训练深度学习模型；
3)一张病理图像可以具有数十亿个像素点，比自然图像要大1000倍以上，因此有效表示和计算一张病理图像变得非常有挑战。总体而言，目前已有的基于病理图像智能诊断和预后模型通常需要的医生资源和计算资源投入大，且预测时不够高效。
针对上述问题，中国专利CN111462042A公开了一种通用的癌症病理图像的分析方法，但是仅关注预后分析，而且还需要使用滑窗法进行检测，滑窗法的缺点是需要在整张图上进行大量的滑动判断，计算效率比较低，此外，滑窗的尺寸选择需要人为干预，长宽比的选择也和物体尺寸有关。其他的现有专利，例如CN108717554A和CN111274903A只限定用于某一种癌症且病理图像检测的方法路线也有很大不同。
综上，现有技术中缺少一种算法更加简洁、高效、准确、快速，且适用于所有病理图像特别是癌症病理图像的疾病分类及预后估计的技术方案。
发明内容
为了解决现有技术中缺少一种算法更加简单、高效、准确，且适用于通用癌症病理图像的疾病分类及预后估计的技术方案的问题，本申请的第一个方面提供一种病理图像的分类方法，包括以下步骤:
步骤S10：从组织切片病理图像上随机选取m个大小为h×w的图像块，组成一微视野集；
步骤S20：基于所述微视野集训练并得到疾病分类模型和/或预后估计模型；以及
步骤S30：在待分类的组织切片病理图像上随机提取大小为h×w，数量满足m的整数倍的图像块，利用疾病分类模型进行疾病类型预测，和/或，利用预后估计模型进行预后预测。
进一步地，在步骤S10中，选取数量为m、大小为h×w的图像块时，是基于组织切片病理图像的随机算法。
进一步地，步骤S20包括以下步骤：
步骤S21：将一微视野集赋予该病理图像所属病人的标签y，在疾病分类模型中，y为病人的疾病分类，所述疾病分类包括正常情况和疾病类型；在预后估计模型中，y为病人的预后信息，所述预后信息包括生存时间和生存状态；
步骤S22：设计一基于卷积神经网络的模型并使用所述基于卷积神经网络的模型提取微视野集中m个图像块的图像块特征并使用池化网络计算图像块特征得到特征编码，计算公式如下：
Eij＝f(Xij)，
其中，Eij代表第ij图像块的特征编码，f(X)为卷积神经网络模型的变换模型公式，输入的Xij为第i张病理图像微视野集中的第j个随机图像块，输出为特征编码Eij；
步骤S23：设计一特征集成模块并使用所述特征集成模块将一个微视野集中的所有图像块的特征编码转换为一个定长向量，即编码向量E，以此用来表示病理图像或病人层次的信息，具体包括以下步骤：
(1)获得L2归一化后的向量：所述特征集成模块学习K个不同的聚类中心，并将m个图像块的特征投影到这个K个聚类中心，并对每一维度上的特征值进行残差加权求和，获得编码矩阵V(j,k)，加权求和的计算公式为：
Figure BDA0003045878240000031
其中，V(j,k)表示编码矩阵(j,k)位置的值，wk,bk和ck表示集成模块中每个聚类中心的可学习参数，xi(j)和ck(j)分别表示第i个图像块与第k个聚类中心的特征在第j维上的值。
将编码矩阵V(j,k)进行逐列L2归一化的公式为:
Figure BDA0003045878240000032
其中
Figure BDA0003045878240000033
为V(j,k)中第i列归一化后的向量，
Figure BDA0003045878240000034
为V(j,k)中第i列原始向量，
Figure BDA0003045878240000035
表示向量
Figure BDA0003045878240000036
的第j个元素的平方；
(2)获得特征向量X：得到编码矩阵V(j,k)后，将编码矩阵V(j,k)列向量拼接到一起，形成一个长度为K×D的长向量，并按照本实施步骤(1)中的L2归一化公式将其进行归一化，然后将其输入一全连接层，并得到1×d维的特征向量X；
(3)获得编码向量E：在得到该特征向量X后，将特征向量X输入一层加权神经网络以对不同特征赋予不同的权重，计算公式为：
Figure BDA0003045878240000041
其中，W,b为可学习参数，σ(·)表示softmax函数，符号
Figure BDA00030458782400000410
表示向量对应位置相乘，E为最终输出的病理图像层次的编码向量；步骤S24：在训练时，使用批训练的方式，即输入n个来自不同病理图像的大小为m的微视野集(此处微视野集的大小是指微视野集里面包含的图像块的数量，因此“大小为m的微视野集”是指一个微视野集包含m个图像块。)，在获得每一张病理图像的编码向量E后，使用多层全连接的神经网络进行预测以获得预测值
Figure BDA0003045878240000042
以及
步骤S25：获得预测值
Figure BDA0003045878240000043
后，构建基于预测值
Figure BDA0003045878240000044
与真实值间距离的度量损失函数，然后利用梯度下降算法进行输入端到输出端的模型参数更新以更新疾病分类模型或预后估计模型中的参数；
其中，对于疾病分类，损失函数为
Figure BDA0003045878240000045
其中，n为病理图像数，c为类别总数，yij为第i张病理图像的真实类别，
Figure BDA0003045878240000046
为第i张病理图像在第j类上的预测值；
其中，对于预后估计，损失函数为
Figure BDA0003045878240000047
其中，Xi为第i个病人的输入特征，β为预测模型的权重，Ci＝i表示第i个病人为死亡病人，θj为第j个病人的风险值。
进一步地，在步骤S30中，利用疾病诊断疾病分类模型进行疾病类型预测，和/或，利用预后估计模型进行预后预测，包括步骤：利用疾病分类模型和/或预后估计模型进行预测并加权整合得到一输出值，计算公式如下：
Figure BDA0003045878240000048
其中Youtput为最终的输出值，M为m的正整数倍，
Figure BDA0003045878240000049
为第k个微视野集的网络输出值。
本申请的第二个方面提供一种病理图像的分类系统，包括：
微视野集模块，所述微视野集模块用于从组织切片病理图像上随机选取数量为m、大小为h×w的图像块，组成一个微视野集；
训练模块，所述训练模块用于基于所述微视野集训练疾病分类模型和/或预后估计模型；以及
预测模块，所述预测模块用于在待分类的组织切片病理图像上随机提取大小为h×w，数量满足m的整数倍的图像块，利用疾病分类模型进行疾病类型预测，和/或，利用预后估计模型进行预后预测。
进一步地，所述训练模块进一步包括：
标签模块，所述标签模块用于将一微视野集赋予该病理图像所属病人的标签y，在疾病分类模型中，y为病人的疾病分类，所述疾病分类包括正常情况和疾病类型；在预后估计模型中，y为病人的预后信息，所述预后信息包括生存时间和生存状态；
骨干网络模块，所述骨干网络模块用于设计一基于卷积神经网络的模型并使用所述基于卷积神经网络的模型提取微视野集中m个图像块的图像块特征并使用池化网络计算图像块特征得到特征编码，计算公式如下：
Eij＝f(Xij)，
其中，Eij代表第ij图像块的特征编码，f(X)为卷积神经网络模型的变换模型公式，输入的Xij为第i张病理图像微视野集中的第j个随机图像块，输出为特征编码Eij；
特征集成模块，所述特征集成模块用于将一个微视野集中的所有图像块的特征编码转换为一个定长向量，即编码向量E，以此用来表示病理图像或病人层次的信息，所述特征集成模块包括归一化模块、特征向量模块和编码向量模块：
(1)归一化模块，所述归一化模块用于获得L2归一化后的向量：所述特征集成模块学习K个不同的聚类中心，并将m个图像块的特征投影到这个K个聚类中心，并对每一维度上的特征值进行残差加权求和，获得编码矩阵V(j,k)，加权求和的计算公式为：
Figure BDA0003045878240000051
其中，V(j,k)表示编码矩阵(j,k)位置的值，wk,bk和ck表示集成模块中每个聚类中心的可学习参数，xi(j)和ck(j)分别表示第i个图像块与第k个聚类中心的特征在第j维上的值。
将编码矩阵V(j，k)进行逐列L2归一化的公式为:
Figure BDA0003045878240000061
其中
Figure BDA0003045878240000062
为V(j，k)中第i列归一化后的向量，
Figure BDA0003045878240000063
为V(j,k)中第i列原始向量，
Figure BDA0003045878240000064
表示向量
Figure BDA0003045878240000065
的第j个元素的平方；
(2)特征向量模块，所述特征向量模块用于获得特征向量X：得到编码矩阵V(j，k)后，将编码矩阵V(j，k)列向量拼接到一起，形成一个长度为K×D的长向量，并按照本实施步骤(1)中的L2归一化公式将其进行归一化，然后将其输入一个全连接层，并得到1×d维的特征向量X；以及
(3)编码向量模块，所述编码向量模块用于获得编码向量E：在得到该特征向量X后，将特征向量X输入一层加权神经网络以对不同特征赋予不同的权重，计算公式为：
Figure BDA0003045878240000066
其中，W,b为可学习参数，σ(·)表示softmax函数，符号
Figure BDA00030458782400000613
表示向量对应位置相乘，E为最终输出的病理图像层次的编码向量；
批训练模块，所述批训练模块用于在训练时，使用批训练的方式，即输入n个来自不同病理图像的大小为m的微视野集，在获得每一张病理图像的编码向量E后，使用多层全连接的神经网络进行预测以获得预测值
Figure BDA00030458782400000610
以及
更新模块，所述更新模块用于在获得预测值
Figure BDA00030458782400000612
后，构建基于预测值
Figure BDA00030458782400000611
与真实值间距离的度量损失函数，然后利用梯度下降算法进行输入端到输出端的模型参数更新以更新疾病分类模型或预后估计模型中的参数；
其中，对于疾病分类，损失函数为
Figure BDA0003045878240000067
其中，n为病理图像数，c为类别总数，yij为第i张病理图像的真实类别，
Figure BDA0003045878240000068
为第i张病理图像在第j类上的预测值；
其中，对于预后估计，损失函数为
Figure BDA0003045878240000069
其中，Xi为第i个病人的输入特征，β为预测模型的权重，Ci＝i表示第i个病人为死亡病人，θj为第j个病人的风险值。
进一步地，所述预测模块用于利用疾病诊断疾病分类模型进行疾病类型预测，和/或，利用预后估计模型进行预后预测并加权整合得到一个输出值，计算公式如下：
Figure BDA0003045878240000071
其中Youtput为最终的输出值，M为m的正整数倍，
Figure BDA0003045878240000072
为第k个微视野集的网络输出值。
本申请的第三个方面提供一种终端，包括输入设备和输出设备，进一步包括：
存储装置，所述存储装置用于存储程序；以及
处理器，所述处理器用于执行所述程序以执行上述病理图像的分类方法的步骤。
所述终端包括但不限于PC、便携计算机、移动终端等具有显示和处理功能的设备。
本申请的第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述病理图像的分类方法的步骤。所述计算机可读存储介质包括但不限于：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请中的“组织切片病理图像”是指在经过HE染色后的组织切片进行扫描后获得的全切片数字化病理图像中的组织所在的细胞染色区域，不包括全切片数字化病理图像中的空白区域(即背景区域)。
本发明基于微视野集，利用病理图像中疾病的分布特点以及深度神经网络的强表达能力，从而获取病理图像的特征表达，实用性较强，获取的病理图像表达较有区分度，并有良好的预测精度。本发明采集图像块形成微视野集的过程无需人工标注，将其输入训练好的深度神经即可获得病理图像的特征表达，有效的节省了人工成本。本发明通过加权整合的方式进行微视野集容量扩充，有利于改善病理图像表达的质量，例如在做预测的时候，预测模型可以接收比训练的时候更多的微视野集(图像)，比如训练时候是20个病理图像，在使用模型预测的时候，我们可以用200甚至更多个图像去做预测。这样的好处是能够进一步提升预测的准确率。使用的时候需要将200个图像块进行加权求和归一化等操作，这样才能保证最终预测的维度和训练时的维度一致。要不然我们会有10组不同的预测值(对于200个图像块)。而进行加权求和并归一化后，我们可以将这10组值整合成一组，如是肝癌的概率为0.95，非肝癌的概率为0.05。因此，本发明通过基于微视野集的病理图像特征表示方法，并借助卷积神经网络的强表达能力，学习到病理图像、病人层次的特征，从而进行无人工标注下的高效准确的疾病诊断及预后估计，实用性较强。
本申请的技术方案基于所述微视野集训练疾病分类模型或预后估计模型时仅需要随机选取少量(如20张)图片，没有复杂的预处理程序，且不需要滑窗法进行密集采样，也不需要人工标注，对所有病种的组织切片病理图像均适用，此方法高效、快速、准确，有效弥补了病理专业医生的缺口与不足。
附图说明
图1为本发明病理图像的分类方法的流程图；
图2为本发明病理图像的分类系统的模块结构示意图；
图3为本发明病理图像的分类系统的特征集成模块的模块结构示意图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在后续的描述中，使用用于表示元件的诸如“模块”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
实施例1
如图1-3所示，本发明的病理图像的分类方法包括：
步骤S10：微视野集模块首先从组织切片病理图像上(即组织伊红染色所在的图像区域，不包括空白区域)基于随机算法选取m个大小为h×w的图像块P，由m个图像块P组成一个“微视野集”；
步骤S20：训练模块基于所述“微视野集”训练疾病分类模型和/或预后估计模型，包括以下步骤：
步骤S21：标签模块将一个微视野集赋予该病理图像所属病人的标签y。在诊断模型中，y为病人的疾病类型(包括正常情况和各种疾病类型)；在预后估计模型中，y为病人的预后信息(包括生存时间和生存状态)。
步骤S22：骨干网络模块设计一个基于卷积神经网络(CNN)的模型，并使用基于卷积神经网络(CNN)的模型提取每个微视野集中m个图像块P的图像块特征并使用池化网络计算图像块特征得到特征编码，计算公式如下：
Eij＝f(Xij)，
其中，Eij代表第ij图像块的特征编码，f(X)为卷积神经网络模型的变换模型公式，输入的Xij为第i张病理图像微视野集中的第j个随机图像块，输出为特征编码Eij。
优选地，设计卷积神经网络时使用的是101层残差神经网络结构(ResNet101)。由于本申请的分类方法是通用的，因此，并不局限于某一种特定的CNN网络。
步骤S23：设计一个特征集成模块并使用所述特征集成模块将一个微视野集中的所有图像块的特征编码转换为一个定长向量(即编码向量E)，以此用来表示病理图像或病人层次的信息。特征集成模块能够实现以下步骤：
(1)归一化模块获得L2归一化后的向量
如图2所示，获得L2归一化后的向量包括以下步骤：计算聚类类别的权重；计算与类别中心的残差；将残差与类别权重加权求和；以及L2归一化。
特征集成模块示意图如图2所示。该模块会学习K个不同的聚类中心，并将m个图像块的特征投影到这个K个聚类中心，并对每一维度上的特征值进行残差加权求和，获得编码矩阵V，加权求和的计算公式为：
Figure BDA0003045878240000101
其中，V(j,k)表示编码矩阵(j,k)位置的值，wk，bk和ck表示集成模块中每个聚类中心的可学习参数，xi(j)和ck(j)分别表示第i个图像块与第k个聚类中心的特征在第j维上的值。
将编码矩阵V进行逐列L2归一化的公式为:
Figure BDA0003045878240000102
其中
Figure BDA0003045878240000103
为V中第i列归一化后的向量，
Figure BDA0003045878240000104
为V中第i列原始向量，
Figure BDA0003045878240000105
表示向量
Figure BDA0003045878240000106
的第j个元素的平方。
(2)特征向量模块获得特征向量X
得到编码矩阵V(j,k)后，将其列向量拼接到一起，形成一个长度为K×D的长向量，并按照本实施步骤(1)中的L2归一化公式将其进行归一化，然后将其输入一个全连接层，并得到1×d维的特征向量X。
(3)编码向量模块获得编码向量E
在得到该特征向量X后，我们进一步地将其输入一层加权神经网络，该层神经网络的主要作用是对不同特征(如癌细胞)赋予不同的权重，计算公式为：
Figure BDA0003045878240000107
其中，W,b为可学习参数，σ(·)表示softmax函数，符号
Figure BDA0003045878240000109
表示向量对应位置相乘，E为最终输出的病理图像层次的编码向量。
优选地，在本实施例中，K为64，D为1024，d为2048。
步骤S24：在获得病理图像或病人层次信息的编码向量E后，使用多层全连接的神经网络进行训练时的预测。优选地，对于分类问题，其结构为2048×1024×c,c为类别的数量。对于预后问题，其结构为2048×1024×1。
步骤S25：在训练时，批训练模块使用批训练的方式，即输入n个来自不同病人大小为m的微视野集，获得预测值
Figure BDA0003045878240000108
后，更新模块构建基于预测值与真实值间距离的度量损失函数，然后利用梯度下降算法进行输入端到输出端的模型参数更新。
对于分类问题，其损失函数为
Figure BDA0003045878240000111
其中n为病理图像数，c为类别总数，yij为第i张病理图像的真实类别，
Figure BDA0003045878240000112
为第i张病理图像在第j类上的预测值。
对于预后估计问题，其损失函数为
Figure BDA0003045878240000113
其中Xi为第i个病人的输入特征，β为预测模型的权重，ci＝i表示第i个病人为死亡病人，θj为第j个病人的风险值。
步骤S30：使用时，在新的组织切片病理图像上随机提取大小为h×w，数量满足m的整数倍的图像块，预测模块利用训练好的疾病分类模型和/或预后估计模型进行预测并加权整合以得到一个最终的输出值，计算公式如下：
Figure BDA0003045878240000114
其中Youtput为利用训练好的模型进行预测并加权整合后得到的最终的输出值，M为m的正整数倍，
Figure BDA0003045878240000115
为第k个微视野集的网络输出值(即，
Figure BDA0003045878240000116
为利用训练好的模型进行预测的结果)。需要说明的是对于疾病分类问题，
Figure BDA0003045878240000117
为进行softmax运算前的值；对于预后估计问题，则没有softmax运算。
优选地，在本实施例中训练疾病分类模型或预后估计模型时，从一张病理图像上选取一个图像块数量为20且图像块的大小为放大倍数20倍物镜下500像素×500像素的微视野集，选取的方法是基于组织切片病理图像随机选取。在采用上述疾病分类模型或预后估计模型进行实际预测时，对于疾病分类而言，结合速度和准确性，优选地，从一张病理图像上选取一个图像块数量为200且图像块的大小为20倍下500×500的微视野集，经过加权整合后，选取输出值最大的类别通道作为病人的诊断结果。对于预后估计而言，结合速度和准确性，优选的图像块数量为100且图像块的大小为20倍下500×500的微视野集，经过加权整合后，将输出的风险值与病人群体经过该系统得到的风险值进行比较，确定风险概率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
实施例2
本实施例是基于卷积神经网络对原发性肝癌病理图像进行诊断及预后估计：
首先，收集病理图像：收集肝细胞癌、肝内胆管癌以及其他肝脏良恶性占位性病变的组织病理图像，构建原发性肝癌的病理切片图像数据库。
原发性肝癌病理切片图像采集均来源于海军军医大学附属东方肝胆外科医院病理科。本发明中采集了2008-2017年的1692名肝细胞癌患者(1713张病理图像),1443名肝内胆管癌患者(2039张病理图像)以及766名其他肝脏病变病理图像(其中包括62例混合性肝癌、94例肝海绵状血管瘤、164例局灶性结节性增生、45例肝细胞腺瘤、4例原发性肝血管肉瘤、6例肝脏未分化性胚胎性肉瘤、15例原发性肝脏神经内分泌癌、155例结肠癌肝转移，134例直肠癌肝转移、62例正常肝组织、16例肝炎、9例脂肪肝，共计1096张病理图像)。采集的病理切片均由Aperio AT Turbo(德国徕卡公司)扫描仪进行扫描，获得格式为“.svs”的全切片数字化病理图像数据库。
对肝细胞癌以及肝内胆管癌患者进行预后随访，获得其生存状态以及生存时间的生存信息。
其次，通过病理图像的分析系统采用下述方法对病理图像进行疾病分类和/或预后估计：
步骤S10：微视野集模块从组织切片病理图像上(即组织伊红染色所在的图像区域，不包括空白区域)，随机选取图像的起始位置，在图像放大物镜20倍大小下选取长宽均为500像素的图像块P，每张病理图像随机选取m个(在疾病分类模型中m＝200，
在生存预测模型中m＝100)图像块P，并将其组成一个“微视野集”。
步骤S20：训练模块基于所述“微视野集”训练疾病分类模型和预后估计模型，包括以下步骤：
步骤S21：标签模块将一个微视野集赋予该病理图像所属病人的标签y。在诊断模型中，y为病人的疾病类型(例如，肝细胞癌HCC赋值1；肝内胆管癌ICC赋值2；其他种类赋值3。)，疾病类型中包含正常情况；在生存预测模型中，y为病人的预后信息(包含生存时间(单位：月)和生存状态(例如，死亡赋值1，存活赋值0)。
步骤S22：骨干网络模块设计一个基于卷积神经网络(CNN)的模型，并使用基于卷积神经网络(CNN)的模型提取每个微视野集中m个(在疾病分类模型中m＝200，在生存预测模型中m＝100)图像块P的图像块特征并使用池化网络计算图像块特征得到特征编码。
池化网络的计算模型如下：
Eij＝f(Xij)，
其中，Eij代表第ij图像块的特征编码，f(X)为卷积神经网络模型的变换模型公式，输入为Xij为第i张病理图像微视野集中的第j个随机图像块，输出为特征编码Eij。
在本实施例中，设计卷积神经网络时使用的是101层残差神经网络结构(ResNet101)。由于本申请的方法是通用的，并不局限于某一种特定的CNN网络。
步骤S23：在得到m个图像块P的特征编码以得到编码矩阵V后，设计一个特征集成模块，该特征集成模块的主要功能是将一个微视野集中的所有图像块的特征编码转换为一个定长向量，以此用来表示病理图像或病人层次的信息。特征集成模块将图像块的特征编码转换为定长向量包括以下步骤：
(1)获得L2归一化后的向量：计算聚类类别的权重，计算与类别中心的残差，将残差与类别权重加权求和，L2归一化；
特征集成模块示意图如图2所示。该模块会学习K个不同的聚类中心，并将m个图像块的特征投影到这个K个聚类中心，并对每一维度上的特征值进行残差加权求和，获得编码矩阵V，加权求和的计算公式为：
Figure BDA0003045878240000141
其中，V(j,k)表示编码矩阵(j,k)位置的值，wk,bk和ck表示集成模块中每个聚类中心的可学习参数，xi(j)和ck(j)分别表示第i个图像块与第k个聚类中心的特征在第j维上的值。
将编码矩阵V进行逐列L2归一化的公式为:
Figure BDA0003045878240000142
其中
Figure BDA0003045878240000143
为V中第i列归一化后的向量，
Figure BDA0003045878240000144
为V中第i列原始向量，
Figure BDA0003045878240000145
表示向量
Figure BDA0003045878240000146
的第j个元素的平方。
(2)获得特征向量X：
得到编码矩阵V(j,k)后，将其列向量拼接到一起，形成一个长度为K×D的长向量，并按照本实施步骤(1)中的L2归一化公式将其进行归一化，然后将其输入一个全连接层，并得到1×d维的特征向量X。
(3)获得编码向量E：
在得到该特征向量X后，我们进一步地将其输入一层加权神经网络，该层神经网络的主要作用是对不同特征(如癌细胞)赋予不同的权重，计算公式为：
Figure BDA0003045878240000147
其中，W,b为可学习参数，σ(·)表示softmax函数，符号
Figure BDA0003045878240000148
表示向量对应位置相乘，E为最终输出的病理图像层次的编码向量。在本实施例中，K为64，D为1024，d为2048。
步骤S24：在获得一张病理图像或一个病人的信息编码向量Ei后，使用多层全连接的神经网络进行预测。对于分类问题，其结构为2048×1024×c,c为类别的数量。对于预后预测问题，其结构为2048×1024×1。
步骤S25：在训练时，批训练模块使用批训练的方式，即输入n个来自不同病人大小为m的微视野集，在获得每一张病理图像的编码向量E后，使用多层全连接的神经网络进行预测以获得预测值
Figure BDA0003045878240000151
获得预测值
Figure BDA0003045878240000152
后，更新模块可以构建基于预测值与真实值间距离的度量损失函数L，然后利用梯度下降算法进行输入端到输出端的模型参数更新。
对于分类问题，其损失函数为
Figure BDA0003045878240000153
其中n为病理图像数，c为类别总数，yij为第i张病理图像的真实类别，
Figure BDA0003045878240000154
为第i张病理图像在第j类上的预测值。
对于预后预测问题，其损失函数为
Figure BDA0003045878240000155
其中Xi为第i个病人的输入特征，β为预测模型的权重，Ci＝i表示第i个病人为死亡病人，θj为第j个病人的风险值。
步骤S30：使用时，在新的病理图像上随机提取组织切片部分的大小为h×w，数量满足m的整数倍的图像块，预测模块利用训练好的模型进行预测并加权整合最后的结果，计算公式如下：
Figure BDA0003045878240000156
其中Youtput为利用训练好的模型进行预测并加权整合后得到的最终的输出值，M为m的正整数倍，
Figure BDA0003045878240000157
为第k个微视野集的网络输出值(即
Figure BDA0003045878240000158
为利用训练好的模型进行预测的结果)。需要说明的是，对于疾病分类问题，
Figure BDA0003045878240000159
为进行softmax运算前的值；对于预后估计问题，则没有softmax运算。
优选地，在本实施例中训练疾病分类模型或预后估计模型时，从一张病理图像上选取一个图像块数量为20且图像块的大小为放大倍数20倍物镜下500像素X500像素的微视野集，选取的方法是基于组织切片病理图像上随机选取。在采用上述疾病分类模型或预后估计模型进行实际预测时，对于疾病分类而言，结合速度和准确性，优选地，从一张病理图像上选取一个图像块数量为200且图像块的大小为20倍下500X500的微视野集，经过加权整合后，选取输出值最大的类别通道作为病人的疾病分类结果。对于预后估计而言，结合速度和准确性，优选的图像块数量为100且图像块的大小为20倍下500X500的微视野集，经过加权整合后，将输出的风险值与病人群体经过该系统得到的风险值进行比较，确定风险概率。
效果例：
试验方法：随机抽取300张病理图像，请综合性三级甲等医院的三名病理科专业医生(高级、中级、初级职称)对其进行人工阅片，在获得专科病理医生的诊断结论同时并记录其作出诊断所需时间，最后进行人工阅片的结果验证以及阅片所需每例图像所需平均耗时。以此为根据与本发明的准确性、高效性进行对比。
试验结果：在诊断准确性上，本发明方法的准确度为0.843，平均耗时为10秒(具体时间会因不同种类的软件和硬件而有所差异)。高级、中级、初级专科病理医生准确度分别为0.727、0.610、0.574；阅片所需平均时间为38.5秒、180秒、50.2秒。
在本申请所提供的上述实施方式中，应该理解到，所揭露的系统、终端和方法，可以通过其它的方式实现。例如，以上所描述的系统实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接等连接方式可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的系统既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种病理图像的分类方法，其特征在于，包括以下步骤：
步骤S10：从组织切片病理图像上随机选取m个大小为h×w的图像块，组成一微视野集；
步骤S20：基于所述微视野集训练并得到疾病分类模型和/或预后估计模型；以及
步骤S30：在待分类的组织切片病理图像上随机提取大小为h×w，数量满足m的整数倍的图像块，利用疾病分类模型进行疾病类型预测，和/或，利用预后估计模型进行预后预测。
2.如权利要求1所述的病理图像的分类方法，其特征在于，在步骤S10中，选取数量为m、大小为h×w的图像块时，是基于组织切片病理图像的随机算法。
3.如权利要求1所述的病理图像的分类方法，其特征在于，步骤S20包括以下步骤：
步骤S21：将一微视野集赋予该病理图像所属病人的标签y，在疾病分类模型中，y为病人的疾病分类，所述疾病分类包括正常情况和疾病类型；在预后估计模型中，y为病人的预后信息，所述预后信息包括生存时间和生存状态；
步骤S22：设计一基于卷积神经网络的模型并使用所述基于卷积神经网络的模型提取微视野集中m个图像块的图像块特征并使用池化网络计算图像块特征得到特征编码，计算公式如下：
Eij＝f(Xij)，
其中，Eij代表第ij图像块的特征编码，f(X)为卷积神经网络模型的变换模型公式，输入的Xij为第i张病理图像微视野集中的第j个随机图像块，输出为特征编码Eij；
步骤S23：设计一特征集成模块并使用所述特征集成模块将一个微视野集中的所有图像块的特征编码转换为一个定长向量，即编码向量E，以此用来表示病理图像或病人层次的信息，具体包括以下步骤：
(1)获得L2归一化后的向量：所述特征集成模块学习K个不同的聚类中心，并将m个图像块的特征投影到这个K个聚类中心，并对每一维度上的特征值进行残差加权求和，获得编码矩阵V(j，k)，加权求和的计算公式为：
Figure FDA0003045878230000021
其中，V(j，k)表示编码矩阵(j，k)位置的值，wk，bk和ck表示集成模块中每个聚类中心的可学习参数，xi(j)和ck(j)分别表示第i个图像块与第k个聚类中心的特征在第j维上的值。
将编码矩阵V(j，k)进行逐列L2归一化的公式为：
Figure FDA0003045878230000022
其中
Figure FDA0003045878230000023
为V(j，k)中第i列归一化后的向量，
Figure FDA0003045878230000024
为V(j，k)中第i列原始向量，
Figure FDA0003045878230000025
表示向量
Figure FDA0003045878230000026
的第j个元素的平方；
(2)获得特征向量X：得到编码矩阵V(j，k)后，将编码矩阵V(j，k)列向量拼接到一起，形成一个长度为K×D的长向量，并按照本实施步骤(1)中的L2归一化公式将其进行归一化，然后将其输入一全连接层，并得到1×d维的特征向量X；以及
(3)获得编码向量E：在得到该特征向量X后，将特征向量X输入一层加权神经网络以对不同特征赋予不同的权重，计算公式为：
Figure FDA0003045878230000027
其中，W，b为可学习参数，σ(·)表示softmax函数，符号
Figure FDA0003045878230000028
表示向量对应位置相乘，E为最终输出的病理图像层次的编码向量；
步骤S24：在训练时，使用批训练的方式，即输入n个来自不同病理图像的大小为m的微视野集，在获得每一张病理图像的编码向量E后，使用多层全连接的神经网络进行预测以获得预测值
Figure FDA0003045878230000029
以及
步骤S25：获得预测值
Figure FDA00030458782300000210
后，构建基于预测值
Figure FDA00030458782300000211
与真实值间距离的度量损失函数，然后利用梯度下降算法进行输入端到输出端的模型参数更新以更新疾病分类模型或预后估计模型中的参数；
其中，对于疾病分类，损失函数为
Figure FDA00030458782300000212
其中，n为病理图像数，c为类别总数，yij为第i张病理图像的真实类别，
Figure FDA00030458782300000213
为第i张病理图像在第j类上的预测值；
其中，对于预后估计，损失函数为
Figure FDA0003045878230000031
其中，Xi为第i个病人的输入特征，β为预测模型的权重，Ci＝i表示第i个病人为死亡病人，θj为第j个病人的风险值。
4.如权利要求3所述的病理图像的分类方法，其特征在于，在步骤S30中，利用疾病诊断疾病分类模型进行疾病类型预测，和/或，利用预后估计模型进行预后预测，包括步骤：利用疾病分类模型和/或预后估计模型进行预测并加权整合得到一输出值，计算公式如下：
Figure FDA0003045878230000032
其中Youtput为最终的输出值，M为m的正整数倍，
Figure FDA0003045878230000033
为第k个微视野集的网络输出值。
5.一种病理图像的分类系统，其特征在于，包括：
微视野集模块，所述微视野集模块用于从组织切片病理图像上随机选取数量为m个大小为h×w的图像块，组成一微视野集；
训练模块，所述训练模块用于基于所述微视野集训练疾病分类模型和/或预后估计模型：以及
预测模块，所述预测模块用于在待分类的组织切片病理图像上随机提取大小为h×w，数量满足m的整数倍的图像块，利用疾病分类模型进行疾病类型预测，和/或，利用预后估计模型进行预后预测。
6.如权利要求5所述的病理图像的分类系统，其特征在于，所述训练模块进一步包括：
标签模块，所述标签模块用于将一微视野集赋予该病理图像所属病人的标签y，在疾病分类模型中，y为病人的疾病分类，所述疾病分类包括正常情况和疾病类型；在预后估计模型中，y为病人的预后信息，所述预后信息包括生存时间和生存状态；
骨干网络模块，所述骨干网络模块用于设计一基于卷积神经网络的模型并使用所述基于卷积神经网络的模型提取微视野集中m个图像块的图像块特征并使用池化网络计算图像块特征得到特征编码，计算公式如下：
Eij＝f(Xij)，
其中，Eij代表第ij图像块的特征编码，f(X)为卷积神经网络模型的变换模型公式，输入的Xij为第i张病理图像微视野集中的第j个随机图像块，输出为特征编码Eij；
特征集成模块，所述特征集成模块用于将一个微视野集中的所有图像块的特征编码转换为一个定长向量，即编码向量E，以此用来表示病理图像或病人层次的信息，所述特征集成模块包括归一化模块、特征向量模块和编码向量模块：
(1)归一化模块，所述归一化模块用于获得L2归一化后的向量：所述特征集成模块学习K个不同的聚类中心，并将m个图像块的特征投影到这个K个聚类中心，并对每一维度上的特征值进行残差加权求和，获得编码矩阵V(j，k)，加权求和的计算公式为：
Figure FDA0003045878230000041
其中，V(j，k)表示编码矩阵(j，k)位置的值，wk，bk和ck表示集成模块中每个聚类中心的可学习参数，xi(j)和ck(j)分别表示第i个图像块与第k个聚类中心的特征在第j维上的值。
将编码矩阵V(j，k)进行逐列L2归一化的公式为：
Figure FDA0003045878230000042
其中
Figure FDA0003045878230000043
为V(j，k)中第i列归一化后的向量，
Figure FDA0003045878230000044
为V(j，k)中第i列原始向量，
Figure FDA0003045878230000045
表示向量
Figure FDA0003045878230000046
的第j个元素的平方；
(2)特征向量模块，所述特征向量模块用于获得特征向量X：得到编码矩阵V(j，k)后，将编码矩阵V(j，k)列向量拼接到一起，形成一个长度为K×D的长向量，并按照本实施步骤(1)中的L2归一化公式将其进行归一化，然后将其输入一个全连接层，并得到1×d维的特征向量X；以及
(3)编码向量模块，所述编码向量模块用于获得编码向量E：在得到该特征向量X后，将特征向量X输入一层加权神经网络以对不同特征赋予不同的权重，计算公式为：
Figure FDA0003045878230000047
其中，W，b为可学习参数，σ(·)表示softmax函数，符号
Figure FDA0003045878230000048
表示向量对应位置相乘，E为最终输出的病理图像层次的编码向量；
批训练模块，所述批训练模块用于在训练时，使用批训练的方式，即输入n个来自不同病理图像的大小为m的微视野集，在获得每一张病理图像的编码向量E后，使用多层全连接的神经网络进行预测以获得预测值
Figure FDA0003045878230000051
以及
更新模块，所述更新模块用于在获得预测值
Figure FDA0003045878230000052
后，构建基于预测值
Figure FDA0003045878230000053
与真实值间距离的度量损失函数，然后利用梯度下降算法进行输入端到输出端的模型参数更新以更新疾病分类模型或预后估计模型中的参数；
其中，对于疾病分类，损失函数为
Figure FDA0003045878230000054
其中，n为病理图像数，c为类别总数，yij为第i张病理图像的真实类别，
Figure FDA0003045878230000055
为第i张病理图像在第j类上的预测值；
其中，对于预后估计，损失函数为
Figure FDA0003045878230000056
其中，Xi为第i个病人的输入特征，β为预测模型的权重，Ci＝i表示第i个病人为死亡病人，θj为第j个病人的风险值。
7.如权利要求6所述的病理图像的分类系统，其特征在于，所述预测模块用于利用疾病诊断疾病分类模型进行疾病类型预测，和/或，利用预后估计模型进行预后预测并加权整合得到一个输出值，计算公式如下：
Figure FDA0003045878230000057
其中Youtput为最终的输出值，M为m的正整数倍，
Figure FDA0003045878230000058
为第k个微视野集的网络输出值。
8.一种终端，包括输入设备和输出设备，其特征在于，进一步包括：
存储装置，所述存储装置用于存储程序；以及
处理器，所述处理器用于执行所述程序以执行如权利要求1-4中任一所述病理图像的分类方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1-4中任一所述病理图像的分类方法的步骤。
CN202110472466.1A 2021-04-29 2021-04-29 一种病理图像的分类系统、终端及计算机可读存储介质 Active CN113239993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110472466.1A CN113239993B (zh) 2021-04-29 2021-04-29 一种病理图像的分类系统、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110472466.1A CN113239993B (zh) 2021-04-29 2021-04-29 一种病理图像的分类系统、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113239993A true CN113239993A (zh) 2021-08-10
CN113239993B CN113239993B (zh) 2022-12-16

Family

ID=77131464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110472466.1A Active CN113239993B (zh) 2021-04-29 2021-04-29 一种病理图像的分类系统、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113239993B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119359A (zh) * 2022-01-25 2022-03-01 北京鹰瞳科技发展股份有限公司 用于基于眼底图像的疾病演进的图像生成方法及其相关产品
CN114219807A (zh) * 2022-02-22 2022-03-22 成都爱迦飞诗特科技有限公司 乳腺超声检查图像分级方法、装置、设备和存储介质
CN116741347A (zh) * 2023-05-12 2023-09-12 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法
CN117036832A (zh) * 2023-10-09 2023-11-10 之江实验室 一种基于随机多尺度分块的图像分类方法、装置及介质
CN116741347B (zh) * 2023-05-12 2024-06-04 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270431A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Characterizing pathology images with statistical analysis of local neural network responses
US20180232883A1 (en) * 2017-02-13 2018-08-16 Amit Sethi Systems & Methods for Computational Pathology using Points-of-interest
CN109165639A (zh) * 2018-10-15 2019-01-08 广州广电运通金融电子股份有限公司 一种指静脉识别方法、装置及设备
CN111462042A (zh) * 2020-03-03 2020-07-28 西北工业大学 癌症预后分析方法及系统
CN111798464A (zh) * 2020-06-30 2020-10-20 天津深析智能科技有限公司 基于深度学习的淋巴瘤病理图像智能识别方法
CN112488234A (zh) * 2020-12-10 2021-03-12 武汉大学 一种基于注意力池化的端到端组织病理图像分类方法
CN112614119A (zh) * 2020-12-28 2021-04-06 上海市精神卫生中心（上海市心理咨询培训中心） 医学图像感兴趣区域可视化方法、装置、存储介质和设备
CN112614093A (zh) * 2020-12-10 2021-04-06 西北工业大学深圳研究院 基于多尺度空间注意力网络的乳腺病理图像分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270431A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Characterizing pathology images with statistical analysis of local neural network responses
US20180232883A1 (en) * 2017-02-13 2018-08-16 Amit Sethi Systems & Methods for Computational Pathology using Points-of-interest
CN109165639A (zh) * 2018-10-15 2019-01-08 广州广电运通金融电子股份有限公司 一种指静脉识别方法、装置及设备
CN111462042A (zh) * 2020-03-03 2020-07-28 西北工业大学 癌症预后分析方法及系统
CN111798464A (zh) * 2020-06-30 2020-10-20 天津深析智能科技有限公司 基于深度学习的淋巴瘤病理图像智能识别方法
CN112488234A (zh) * 2020-12-10 2021-03-12 武汉大学 一种基于注意力池化的端到端组织病理图像分类方法
CN112614093A (zh) * 2020-12-10 2021-04-06 西北工业大学深圳研究院 基于多尺度空间注意力网络的乳腺病理图像分类方法
CN112614119A (zh) * 2020-12-28 2021-04-06 上海市精神卫生中心（上海市心理咨询培训中心） 医学图像感兴趣区域可视化方法、装置、存储介质和设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ASHWIN RAJU 等: "《Graph Attention Multi-instance Learning for Accurate Colorectal Cancer Staging》", 《MICCAI 2020》 *
FAN HU 等: "《Unsupervised Feature Learning Via Spectral Clustering of Multidimensional Patches for Remotely Sensed Scene Classification》", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
ZHENLIANG LI 等: "《Deep Multi-Instance Learning with Induced Self-Attention for Medical Image Classification》", 《2020 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119359A (zh) * 2022-01-25 2022-03-01 北京鹰瞳科技发展股份有限公司 用于基于眼底图像的疾病演进的图像生成方法及其相关产品
CN114219807A (zh) * 2022-02-22 2022-03-22 成都爱迦飞诗特科技有限公司 乳腺超声检查图像分级方法、装置、设备和存储介质
CN114219807B (zh) * 2022-02-22 2022-07-12 成都爱迦飞诗特科技有限公司 乳腺超声检查图像分级方法、装置、设备和存储介质
CN116741347A (zh) * 2023-05-12 2023-09-12 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法
CN116741347B (zh) * 2023-05-12 2024-06-04 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法
CN117036832A (zh) * 2023-10-09 2023-11-10 之江实验室 一种基于随机多尺度分块的图像分类方法、装置及介质
CN117036832B (zh) * 2023-10-09 2024-01-05 之江实验室 一种基于随机多尺度分块的图像分类方法、装置及介质

Also Published As

Publication number Publication date
CN113239993B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN113239993B (zh) 一种病理图像的分类系统、终端及计算机可读存储介质
Landau et al. Artificial intelligence in cytopathology: a review of the literature and overview of commercial landscape
Silva-Rodríguez et al. Going deeper through the Gleason scoring scale: An automatic end-to-end system for histology prostate grading and cribriform pattern detection
US10733726B2 (en) Pathology case review, analysis and prediction
Kolachalama et al. Association of pathological fibrosis with renal survival using deep neural networks
EP3486836B1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
Wells et al. Artificial intelligence in dermatopathology: Diagnosis, education, and research
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
Raju et al. Graph attention multi-instance learning for accurate colorectal cancer staging
Binder et al. Multi-organ gland segmentation using deep learning
Durkee et al. Artificial intelligence and cellular segmentation in tissue microscopy images
Sun et al. Deep learning quantification of percent steatosis in donor liver biopsy frozen sections
CN112215807A (zh) 基于深度学习的细胞图像自动分类方法及系统
CN112543934A (zh) 一种确定异常程度的方法、相应的计算机可读介质和分布式癌症分析系统
CN112990214A (zh) 一种医学图像特征识别预测模型
BenTaieb et al. Deep learning models for digital pathology
Liu et al. Deep learning for survival analysis in breast cancer with whole slide image data
Wang et al. Prototype transfer generative adversarial network for unsupervised breast cancer histology image classification
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Van Buren et al. Artificial intelligence and deep learning to map immune cell types in inflamed human tissue
Sun et al. Detection of breast tumour tissue regions in histopathological images using convolutional neural networks
Krishna et al. An interpretable decision-support model for breast cancer diagnosis using histopathology images
CN115809988A (zh) 脑肿瘤患者生存分析方法及系统
CN115564997A (zh) 一种基于强化学习的病理切片扫描分析一体化方法及系统
CN112086174A (zh) 一种三维知识诊断模型构建方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant