CN113077440A - 病理图像的处理方法、装置、计算机设备和存储介质 - Google Patents

病理图像的处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113077440A
CN113077440A CN202110349189.5A CN202110349189A CN113077440A CN 113077440 A CN113077440 A CN 113077440A CN 202110349189 A CN202110349189 A CN 202110349189A CN 113077440 A CN113077440 A CN 113077440A
Authority
CN
China
Prior art keywords
pathological
pathology
image
category
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110349189.5A
Other languages
English (en)
Inventor
陈翔
李芳芳
张宇
谢佩珍
赵爽
陈明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangya Hospital of Central South University
Original Assignee
Xiangya Hospital of Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangya Hospital of Central South University filed Critical Xiangya Hospital of Central South University
Priority to CN202110349189.5A priority Critical patent/CN113077440A/zh
Publication of CN113077440A publication Critical patent/CN113077440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本申请涉及一种病理图像的处理方法、装置、计算机设备和存储介质。所述方法包括：获取待检测的病理图像；切割所述病理图像，获得大小相同的预定数目个病理子图像；分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，所述病理类别包括至少一种病理类型；基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的目标病理类别。从而通过上述方法可以有效提高病理图像的检测精度。

Description

病理图像的处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种病理图像的处理方法、装置、计算机设备和存储介质。
背景技术
随着图像处理技术的发展，深度学习，尤其是卷积神经网络，在医疗辅助诊断方面有很大的潜力，例如，在仅靠皮肤病理医生对皮肤疾病(如黑色素瘤、交界痣等)进行诊断已很难满足当前需求的情况下，通过采用卷积神经网络对皮肤病理类别进行分类，辅助医生完成皮肤疾病的诊断。
虽然采用卷积神经网络能够实现对皮肤疾病(如黑色素瘤、交界痣等)的分类，现有的使用卷积神经网络进行分类的研究中没有捕获临床样本的广泛差异，导致模型的适用性存在问题，且现有的研究成果中只给出了分类诊断结果，没有给出病理图像中的病灶区域，缺少了这些信息的模型极大地限制了其在临床上的实际应用。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高病理图像检测精度的病理图像的处理方法、装置、计算机设备和存储介质。
一种病理图像的处理方法，所述方法包括：
获取待检测的病理图像；
切割所述病理图像，获得大小相同的预定数目个病理子图像；
分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，所述病理类别包括至少一种病理类型；
基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的目标病理类别。
在其中一个实施例中，所述分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，包括：
获取预先训练的病理图像检测模型；
将各所述病理子图像依次输入所述病理图像检测模型，基于所述病理图像检测模型，分别对各所述病理子图像对应的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数。
在其中一个实施例中，所述基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的病理类别，包括：
根据各所述病理子图像对应的各病理类别的预测分数，得到各所述病理子图像对应的各病理类别的权重值；
对各病理类别，分别对各所述病理子图像对应于该病理类别的权重值进行求和，得到各所述病理类别对应的权重值；
对所述各所述病理子图像对应的各病理类别的权重值求和，得到总权重值；
基于所述总权重值以及各所述病理类别对应的权重值，确定所述病理图像的病理类别。
在其中一个实施例中，所述基于所述总权重值以及各所述病理类别对应的权重值，确定所述病理图像的病理类别，包括：
基于各所述病理类别对应的权重值占所述总权重值的占比值，确定各所述病理类别的概率；
基于各所述病理类别的概率，确定所述病理图像的病理类别。
在其中一个实施例中，所述确定所述病理图像的目标病理类别之后，包括：
基于所述病理图像的目标病理类别以及各所述病理子图像对应的目标病理类别的预测分数，在所述病理图像中定位所述目标病理类别的病灶区域。
在其中一个实施例中，所述基于所述病理图像的目标病理类别以及各所述病理子图像对应的目标病理类别的预测分数，在所述病理图像中定位所述目标病理类别的病灶区域，包括：
基于所述病理图像的目标病理类别以及各所述病理子图像对应的目标病理类别的预测分数，确定进行像素回填的待回填病理子图像；
根据待回填病理子图像对应于所述目标病理类别的预测分数，对所述病理图像中对应于待回填病理子图像的区域进行像素回填，定位所述目标病理类别的病灶区域。
在其中一个实施例中，根据待回填病理子图像对应于所述目标病理类别的预测分数，对所述病理图像中对应于待回填病理子图像的区域进行像素回填，定位所述目标病理类别的病灶区域，包括：
将待回填病理子图像对应于所述目标病理类别的预测分数与预设的像素值进行匹配，获得所述待回填病理子图像对应的像素值；
基于所述待回填病理子图像对应的像素值，对所述病理图像中对应于待回填病理子图像的区域进行像素回填，定位所述目标病理类别的病灶区域。
一种病理图像的处理装置，所述装置包括：
病理图像获取模块，用于获取待检测的病理图像；
病理图像处理模块，用于切割所述病理图像，获得大小相同的预定数目个病理子图像；
病理类别预测模块，用于分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，所述病理类别包括至少一种病理类型；
病理类别确定模块，用于基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的病理类别。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述病理图像的处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述病理图像的处理方法的步骤。
上述病理图像的处理方法、装置、计算机设备和存储介质，通过对获取的待检测的病理图像进行切割，获得大小相同的预定数目个病理子图像，再分别对病理子图像的病理类别进行预测，得到各病理子图像对应的各病理类别的预测分数，进而可以通过各病理子图像对应的各病理类别的预测分数，确定病理图像的目标病理类别，其中，病理类别包括至少一种病理类型。采用上述实施例方法，通过将病理图像切割成病理子图像，从而基于获得的病理子图像对应的各病理类别的预测分数，确定病理图像的目标病理类别。通过上述方法可以对皮肤病进行分类且能够有效提高病理图像的检测精度。
附图说明
图1为一个实施例中病理图像的处理方法的应用环境图；
图2为一个实施例中病理图像的处理方法的流程示意图；
图3为一个实施例中病理图像的处理方法的病理类别检测性能对比图；
图4为另一个实施例中病理图像的处理方法的病灶区域定位图；
图5为一个实施例中病理图像的处理方法的流程示意图；
图6为一个实施例中病理图像的处理装置的结构框图；
图7为一个实施例中计算机设备的内部结构图；
图8为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的病理图像的处理方法，可以应用于如图1所示的应用环境中，该应用环境可以仅涉及终端102，也可以仅涉及服务器104，也可以同时涉及终端102和服务器104的系统，其中，终端102通过网络与服务器104进行通信。具体的，终端102或者服务器104完成一种病理图像的处理方法，该方法包括获取待检测的病理图像；切割所述病理图像，获得大小相同的预定数目个病理子图像；终端102采用预先训练的病理检测模型分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，所述病理类别包括至少一种病理类型；基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的目标病理类别。
其中，在终端102完成该病理图像的处理方法时，终端102可以直接获取存储的待检测的病理图像，也可以从服务器104或者其他数据库或者服务器获得待检测的病理图像。预先训练的病理检测模型，可以由终端102训练获得，也可以是服务器104训练获得病理检测模型后，终端102从服务器104获得该病理检测模型。也可以是第三方设备训练获得该病理检测模型后，服务器104从第三方设备获得该病理检测模型。
其中，在服务器104完成该病理图像的处理方法时，服务器104可以从终端102或者其他数据库或者其他服务器获得待检测的病理图像。预先训练的病理检测模型，可以是服务器104自行训练获得，也可以是终端102训练获得该病理检测模型后，服务器104从终端102获得该病理检测模型。也可以是第三方设备训练获得该病理检测模型后，服务器104从第三方设备获得该病理检测模型。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种病理图像的处理方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤S202，获取待检测的病理图像。
其中，待检测的病理图像是需要进行病理检测的组织病理图像，组织病理图像称为病理图像。组织病理学是诊断局部可疑增生为良性或者恶性疾病及其亚型的金标准，可以通过对病理图像进行病理检测后得到疾病诊断结果。具体地，待检测的病理图像可以来源于与多个医院合作建立的多中心多种族的皮肤病理图像数据库，其中，皮肤病理图像数据库中可以包含多张各个年龄、多个身体部位的黑色素瘤、皮内痣、交界痣、复合痣的全视野数字病理切片，可以增强样本的差异性，提高模型的适用性。
步骤S204，切割所述病理图像，获得大小相同的预定数目个病理子图像。
其中，在获取待检测的病理图像之后，通过切割病理图像，获得大小相同的预定数目个病理子图像，其中，病理子图像的数目可以是预先限定的数目，也可以是结合病理图像的尺寸以及预先确定的病理子图像的尺寸，计算确定的数目。其中，病理子图像的尺寸，可以是预先设定的尺寸，例如224*224像素。一些实施例中，在采用病理图像检测模型对病理子图像进行预测的情形下，该先确定的病理子图像的尺寸，可以结合病理图像检测模型的需求确定。一些具体示例中，预定数目，可以是病理图像的尺寸以及预先确定的病理子图像的尺寸的比值。
在其中一个实施例中，病理图像的尺寸为100000*100000像素，可以选择将整张病理图像非重叠的切割成224*224像素大小的病理子图像，并使用Otsu’smethod(大津二值化算法)从切割的病理子图像中去除不是皮肤组织的空白区域的图像，从而可以降低每张病理图像的计算成本。
步骤S206，分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，所述病理类别包括至少一种病理类型。
其中，在获得病理子图像之后，分别对各病理子图像的病理类别进行预测，获得各病理子图像对应的各病理类别的预测分数，其中，病理类别至少包括一种病理类型，病理类型可以为黑色素瘤、皮内痣、复合痣、交界痣等。
步骤S208，基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的目标病理类别。
在其中一个实施例中，当获得各病理子图像对应的各病理类别的预测分数之后，则可以基于各病理子图像对应的各病理类别的预测分数，确定病理图像的目标病理类别。
上述病理图像的处理方法中，通过获取待检测的病理图像；切割所述病理图像，获得大小相同的预定数目个病理子图像；分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，所述病理类别包括至少一种病理类型；基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的病理类别。从而通过上述方法可以有效提高病理图像的检测精度。
在其中一个实施例中，所述分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，包括：
获取预先训练的病理图像检测模型；将各所述病理子图像依次输入所述病理图像检测模型，基于所述病理图像检测模型，分别对各所述病理子图像对应的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数。
其中，病理图像检测模型是预先训练好的，在使用时，通过将病理子图像依次输入预先训练的病理图像检测模型，基于病理图像检测模型对病理子图像进行预测，可以获得各病理子图像对应的各病理类别的预测分数。从而通过预先训练的病理图像检测模型可以得到病理子图像对应的各病理类别的预测分数。
在其中一个实施例中，选用原始神经网络模型为ResNet50，通过对原始神经网络模型进行训练，最后得到病理图像检测模型。其中，ResNet50神经网络模型的网络结构包含了3个卷积层和1个shortcut connection(快捷连接)的bottleneck building blocks(瓶颈构建块)、平均池化层、完全连接层和softmax输出层，3个卷积层的卷积核大小分别可以为1*1、3*3和1*1。其中，ResNet50从一个7*7的卷积过滤器结合一个3*3的最大池化层开始，经由16个栈的bottleneck building blocks以及4个平均池化层，最后经过一个完全连接层和softmax输出层实现分类。
在其中一个实施例中，对ResNet50神经网络模型进行训练的过程为：获取样本集，其中，样本集可以来自于单个或多个医院的预设数目张包含了各个年龄、多个身体部位的黑色素瘤、皮内痣、交界痣、复合痣的病理图像，例如，可以获取1488张病理图像，在获得病理图像之后，可以将整张病理图像非重叠的切割成224*224像素大小的病理子图像，并使用Otsu’s method(大津二值化算法)从病理子图像中去除不是皮肤组织的空白区域的图片，从而可以降低每张病理图像的计算成本。
选取在病理子图像中病灶组织面积占该病理子图像总面积的50％及以上的病理子图像作为样本集中的病理图像，以及从无病变的病理子图像中选取正常组织的病理子图像作为样本集中的正常的病理图像，具体可以包括1488张原始病理图像中的200,000张病理子图像。
将样本集中的病理图像分成训练集(70％)、验证集(15％)和测试集(15％)，同时，与给定患者相关的病理子图像只与其中一个集合相关联，以防止三个集合之间的重叠，例如，一个患者有3张病理子图像，这三张病理子图像必然分在同一个数据集中，不会出现一张病理子图像在训练集，另外的两张病理子图像在测试集中的情况。
其中，ResNet50神经网络模型在单个TITAN RTX GPU上训练，将损失函数定义为预测概率与真实标签之间的交叉熵，可以采用随机梯度下降(SGD)优化方法，学习速率为0.01，动量为0.9，权值衰减为0.0001，最终确定病理图像检测模型。
在其中一个实施例中，将病理子图像依次输入到病理图像检测模型中，病理图像检测模型为每个输入的病理子图像输出对应的病理类别的预测分数。预测分数越高，病理子图像就越有可能属于这一类，其中，在进行病理图像检测模型训练时，样本集中还包括了无病变的正常组织的病理子图像，因此，病理图像检测模型还会对应输出无病变类型的预测分数。
在其中一个实施例中，所述基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的病理类别，包括：
根据各所述病理子图像对应的各病理类别的预测分数，得到各所述病理子图像对应的各病理类别的权重值；
对各病理类别，分别对各所述病理子图像对应于该病理类别的权重值进行求和，得到各所述病理类别对应的权重值；
对所述各所述病理类别对应的权重值求和，得到总权重值；
基于所述总权重值以及所述各所述病理类别对应的权重值，确定所述病理图像的病理类别。
其中，通过根据各病理子图像的预测分数，可以得到各病理子图像对应的各病理类别的权重值，例如，得到各病理子图像对应的各病理类别的权重值的公式可以为：
Figure BDA0003001672130000081
其中，Wi是指各病理子图像对应的各病理类别的权重值，Pi是指各病理子图像对应的各病理类别的预测分数。
对各病理类别，分别对各病理子图像对应于该病理类别的权重值进行求和，得到各病理类别对应的权重值，其中，得到各病理类别对应的权重值的公式可以为：
Z1＝∑nwni*ε(pni)。
其中，Z1是指计算病理图像中，所有属于某一病理类别(如黑色素瘤)的病理子图像的权重之和，n是指病理子图像的张数，在实际计算过程中，公式中的ε(pni)的值通过ε(pi)的值确定，其中，ε(pi)是用来控制只给属于病理类别的病理子图像权重值，而检测结果正常和不属于病理类别的病理子图像的权重值为0，ε(pi)的计算公式为：
Figure BDA0003001672130000091
对各病理子图像对应的各病理类别的权重值求和，得到总权重值，其中，计算总权重值的公式可以为：
Z＝∑i∑nwni*ε(pni)。
其中，Z为总的权重之和，n是指病理子图像的张数，ε(pi)是用来控制只给属于病理类别的病理子图像权重值，而检测结果正常和不属于病理类别的病理子图像的权重值为0。基于总权重值以及各病理类别对应的权重值，确定病理图像的病理类别。
在其中一个实施例中，所述基于所述总权重值以及各所述病理类别对应的权重值，确定所述病理图像的病理类别，包括：
基于所述各所述病理类别对应的权重值占所述总权重值的占比值，确定各所述病理类别的概率；
基于各所述病理类别的概率，确定所述病理图像的病理类别。
其中，某一种病理类别(如黑色素瘤)的病理子图像的权重值之和，占所有病理类别的病理子图像的总权重的占比值，即为病理图像属于各病理类别的概率值，计算概率的公式可以为：
Figure BDA0003001672130000092
在其中一个实施例中，如图3(a)所示，为在病理图像检测模型的验证集上，对本实施例提供的方法确定病理图像的目标病理类别的性能进行验证之后，生成的第一接受者操作特征曲线，图3(b)为用户(如病理医生)在验证集上确定病理图像类别后生成的第二接受者操作特征曲线，图3(c)为在病理图像检测模型的验证集上，对本实施例提供的方法确定病理图像的目标病理类别的性能进行验证之后，生成的第一混淆矩阵，图3(d)为在病理图像检测模型的验证集上，对用户(如病理医生)确定病理图像的目标病理类别的诊断性能进行验证之后，生成的第二混淆矩阵，具体的，从第一接受者操作特征曲线中不同颜色的特征曲线可以看出，本实施例提供的方法(AUC(曲线下方面积)为0.986，CI(置信区间)为0.973～0.999)优于传统的计算方法(平均法-AUC为0.971，CI为0.952～0.990)、(计数法-AUC为0.963，CI为0.940～0.987)，本方法的灵敏度为0.938，特异性为0.947，可以与病理医生的诊断性能：灵敏度为0.861，特异性平均为0.686相媲美。从第一混淆矩阵和第二混淆矩阵可以看出，本实施例提供的方法和用户(如病理医生)都可以准确地识别不同的病理类别，且本实施例提供的方法将痣误识别为黑色素瘤的可能性是比较低的。从而可以证明本实施例提供的方法在确定病理图像的目标病理类别时的性能优于传统的计算方法，且最终的结果与皮肤病理医生的诊断结果相差不大。
在其中一个实施例中，所述确定所述病理图像的目标病理类别之后，包括：
基于所述病理图像的目标病理类别以及各所述病理子图像对应的目标病理类别的预测分数，在所述病理图像中定位所述目标病理类别的病灶区域。
其中，病灶区域是指在确定病理图像的目标病理类别之后，在原始病理图像中显示的目标病理类别发生病变的区域，通过病理图像的目标病理类别以及各病理子图像对应的目标病理类别的预测分数，在病理图像中定位目标病理类别的病灶区域，使得用户可以基于病理图像中显示的病灶区域，辅助诊断过程，从而减少工作量，提高工作效率。
在其中一个实施例中，所述基于所述病理图像的目标病理类别以及各所述病理子图像对应的目标病理类别的预测分数，在所述病理图像中定位所述目标病理类别的病灶区域，包括：
基于所述病理图像的目标病理类别以及各所述病理子图像对应的目标病理类别的预测分数，确定进行像素回填的待回填病理子图像；
根据待回填病理子图像对应于所述目标病理类别的预测分数，对所述病理图像中对应于待回填病理子图像的区域进行像素回填，定位所述目标病理类别的病灶区域。
其中，通过病理图像的目标病理类别以及病理子图像对应的目标病理类别的预测分数，确定进行像素回填的待回填病理子图像，例如，当最终确定的病理图像的目标病理类别为黑色素瘤，则表示要定位黑色素瘤的病灶区域，根据病理子图像对应的黑色素瘤的预测分数，确定进行像素回填的待回填病理子图像，具体的，可以基于病理子图像对应的黑色素瘤的预测分数，算出病理子图像对应的黑色素瘤的概率值，当计算出的黑色素瘤的概率值大于预设的概率阈值时，其中，概率阈值可以设置为百分之85，则将其确定为进行像素回填的待回填病理子图像。在确定进行像素回填的待回填病理子图像之后，根据待回填病理子图像对应于目标病理类别的预测分数，对病理图像中对应于待回填病理子图像的区域进行像素回填，定位目标病理类别的病灶区域。从而通过上述方法可以实现对目标病理类别的病灶区域的定位。
在其中一个实施例中，根据待回填病理子图像对应于所述目标病理类别的预测分数，对所述病理图像中对应于待回填病理子图像的区域进行像素回填，定位所述目标病理类别的病灶区域，包括：
将待回填病理子图像对应于所述目标病理类别的预测分数与预设的像素值进行匹配，获得所述待回填病理子图像对应的像素值；
基于所述待回填病理子图像对应的像素值，对所述病理图像中对应于待回填病理子图像的区域进行像素回填，定位所述目标病理类别的病灶区域。
在其中一个实施例中，如图4所示，为不同类型的病理类别的病灶区域示意图，其中，图4(a)为黑色素瘤的病灶区域，图4(b)为复合痣的病灶区域，图4(c)为皮内痣的病灶区域，图4(d)为交界痣的病灶区域，图4(a)中黑色素瘤病灶区域1为用户(如病理医生)标定的病灶区域，黑色素瘤病灶区域2为本方法标定的病灶区域，图4(b)中复合痣病灶区域1为用户(如病理医生)标定的病灶区域，复合痣病灶区域2为本方法标定的病灶区域、图4(c)中皮内痣病灶区域1为用户(如病理医生)标定的病灶区域，皮内痣病灶区域2为本方法标定的病灶区域，图4(d)中交界痣病灶区域1为用户(如病理医生)标定的病灶区域，交界痣病灶区域2为本方法标定的病灶区域。其中，通过将待回填病理子图像对应于目标病理类别的预测分数与预设的像素值进行匹配，基于待回填病理子图像对应的像素值，对病理图像中对应于待回填病理子图像的区域进行像素回填，定位目标病理类别的病灶区域。例如，若待回填病理子图像预测为黑色素瘤的得分为0.8，则与其对应的像素值可以为200*200，若待回填病理子图像预测为黑色素瘤得分为0.99，则与其对应的像素值可以为255*255，根据像素值，在对病理图像中对应于待回填病理子图像的区域进行像素回填时，可以设定200*200表示浅红色，255*255则可以表示更深一点的红色，从而实现对目标病理类别病灶区域的定位。
在其中一个实施例中，如图5所示，为一个具体实施例中病理图像的处理方法的流程示意图。
首先获取待检测的病理图像，其中，待检测的病理图像是指需要进行病理检测的组织病理图像，组织病理图像称为病理图像。组织病理学是诊断局部可疑增生为良性或者恶性疾病及其亚型的金标准，可以通过对病理图像进行病理检测后得到疾病诊断结果。具体地，待检测的病理图像可以来源于与多个医院合作建立的多中心多种族的皮肤病理图像数据库，其中，皮肤病理图像数据库中可以包含多张各个年龄、多个身体部位的黑色素瘤、皮内痣、交界痣、复合痣的全视野数字病理切片(Whole slide images，WSI)图像。
在获得病理图像之后，通过切割病理图像，获得大小相同的预定数目个病理子图像，其中，病理子图像的数目可以根据病理图像的尺寸确定。在其中一个实施例中，病理图像的尺寸为100000*100000像素，可以选择将整张病理图像非重叠的切割成224*224像素大小的病理子图像，并使用Otsu’s method(大津二值化算法)从切割的小病理子图像中去除不是皮肤组织的空白区域的图片，从而可以降低每张病理图像的计算成本。
在获得病理子图像之后，分别对各病理子图像的病理类别进行预测，获得各病理子图像对应的各病理类别的预测分数，其中，病理类别至少包括一种病理类型，病理类型可以为黑色素瘤、皮内痣、复合痣、交界痣等。
当获得各病理子图像对应的各病理类别的预测分数之后，则可以基于各病理子图像对应的各病理类别的预测分数，确定病理图像的目标病理类别，以及基于病理图像的目标病理类别以及各病理子图像对应的目标病理类别的预测分数，在病理图像中定位目标病理类别的病灶区域。在其中一个实施例中，MM指代黑色素瘤，IN指代皮内痣，JN指代交界痣，CN指代复合痣，Norm指正常图像。
应该理解的是，虽然图2、图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种病理图像的处理装置，包括：病理图像获取模块602、病理图像处理模块604、病理类别预测模块606和病理类别确定模块608，其中：
病理图像获取模块602，用于获取待检测的病理图像。
病理图像处理模块604，用于切割所述病理图像，获得大小相同的预定数目个病理子图像。
病理类别预测模块606，用于分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，所述病理类别包括至少一种病理类型。
病理类别确定模块608，用于基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的病理类别。
在其中一个实施例中，病理类别预测模块，用于获取预先训练的病理图像检测模型；将各所述病理子图像依次输入所述病理图像检测模型，基于所述病理图像检测模型，分别对各所述病理子图像对应的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数。
在其中一个实施例中，病理类别确定模块，用于根据各所述病理子图像对应的各病理类别的预测分数，得到各所述病理子图像对应的各病理类别的权重值；对各病理类别，分别对各所述病理子图像对应于该病理类别的权重值进行求和，得到各所述病理类别对应的权重值；对所述各所述病理类别对应的权重值求和，得到总权重值；基于所述总权重值以及所述各所述病理类别对应的权重值，确定所述病理图像的病理类别。
在其中一个实施例中，病理类别确定模块，用于基于各所述病理类别对应的权重值占所述总权重值的占比值，确定各所述病理类别的概率；基于各所述病理类别的概率，确定所述病理图像的病理类别。
在其中一个实施例中，所述装置还包括：
病灶区域定位模块，用于基于所述病理图像的目标病理类别以及各所述病理子图像对应的目标病理类别的预测分数，在所述病理图像中定位所述目标病理类别的病灶区域。
在其中一个实施例中，病灶区域定位模块，用于基于所述病理图像的目标病理类别以及各所述病理子图像对应的目标病理类别的预测分数，确定进行像素回填的待回填病理子图像；根据待回填病理子图像对应于所述目标病理类别的预测分数，对所述病理图像中对应于待回填病理子图像的区域进行像素回填，定位所述目标病理类别的病灶区域。
在其中一个实施例中，病灶区域定位模块，用于将待回填病理子图像对应于所述目标病理类别的预测分数与预设的像素值进行匹配，获得所述待回填病理子图像对应的像素值；基于所述待回填病理子图像对应的像素值，对所述病理图像中对应于待回填病理子图像的区域进行像素回填，定位所述目标病理类别的病灶区域。
在其中一个实施例中，所述装置还包括：
病理图像检测模型训练模块，用于获取样本集，所述样本集包括对各原始病理图像进行处理后得到的病理图像，根据所述样本集对神经网络模型进行训练，获得对应的神经网络模型。
关于病理图像的处理装置的具体限定可以参见上文中对于病理图像的处理方法的限定，在此不再赘述。上述病理图像的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待检测的病理图像。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种病理图像的处理方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种病理图像的处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7、图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时上述病理图像的处理方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述病理图像的处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种病理图像的处理方法，其特征在于，所述方法包括：
获取待检测的病理图像；
切割所述病理图像，获得大小相同的预定数目个病理子图像；
分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，所述病理类别包括至少一种病理类型；
基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的目标病理类别。
2.根据权利要求1所述的方法，其特征在于，所述分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，包括：
获取预先训练的病理图像检测模型；
将各所述病理子图像依次输入所述病理图像检测模型，基于所述病理图像检测模型，分别对各所述病理子图像对应的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数。
3.根据权利要求1所述的方法，其特征在于，所述基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的病理类别，包括：
根据各所述病理子图像对应的各病理类别的预测分数，得到各所述病理子图像对应的各病理类别的权重值；
对各病理类别，分别对各所述病理子图像对应于该病理类别的权重值进行求和，得到各所述病理类别对应的权重值；
对所述各所述病理类别对应的权重值求和，得到总权重值；
基于所述总权重值以及所述各所述病理类别对应的权重值，确定所述病理图像的病理类别。
4.根据权利要求3所述的方法，其特征在于，所述基于所述总权重值以及各所述病理类别对应的权重值，确定所述病理图像的病理类别，包括：
基于各所述病理类别对应的权重值占所述总权重值的占比值，确定各所述病理类别的概率；
基于各所述病理类别的概率，确定所述病理图像的病理类别。
5.根据权利要求1所述的方法，其特征在于，所述确定所述病理图像的目标病理类别之后，包括：
基于所述病理图像的目标病理类别以及各所述病理子图像对应的目标病理类别的预测分数，在所述病理图像中定位所述目标病理类别的病灶区域。
6.根据权利要求5所述的方法，其特征在于，所述基于所述病理图像的目标病理类别以及各所述病理子图像对应的目标病理类别的预测分数，在所述病理图像中定位所述目标病理类别的病灶区域，包括：
基于所述病理图像的目标病理类别以及各所述病理子图像对应的目标病理类别的预测分数，确定进行像素回填的待回填病理子图像；
根据待回填病理子图像对应于所述目标病理类别的预测分数，对所述病理图像中对应于待回填病理子图像的区域进行像素回填，定位所述目标病理类别的病灶区域。
7.根据权利要求6所述的方法，其特征在于，根据待回填病理子图像对应于所述目标病理类别的预测分数，对所述病理图像中对应于待回填病理子图像的区域进行像素回填，定位所述目标病理类别的病灶区域，包括：
将待回填病理子图像对应于所述目标病理类别的预测分数与预设的像素值进行匹配，获得所述待回填病理子图像对应的像素值；
基于所述待回填病理子图像对应的像素值，对所述病理图像中对应于待回填病理子图像的区域进行像素回填，定位所述目标病理类别的病灶区域。
8.一种病理图像的处理装置，其特征在于，所述装置包括：
病理图像获取模块，用于获取待检测的病理图像；
病理图像处理模块，用于切割所述病理图像，获得大小相同的预定数目个病理子图像；
病理类别预测模块，用于分别对各所述病理子图像的病理类别进行预测，获得各所述病理子图像对应的各病理类别的预测分数，所述病理类别包括至少一种病理类型；
病理类别确定模块，用于基于各所述病理子图像对应的各病理类别的预测分数，确定所述病理图像的病理类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110349189.5A 2021-03-31 2021-03-31 病理图像的处理方法、装置、计算机设备和存储介质 Pending CN113077440A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110349189.5A CN113077440A (zh) 2021-03-31 2021-03-31 病理图像的处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110349189.5A CN113077440A (zh) 2021-03-31 2021-03-31 病理图像的处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113077440A true CN113077440A (zh) 2021-07-06

Family

ID=76614142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110349189.5A Pending CN113077440A (zh) 2021-03-31 2021-03-31 病理图像的处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113077440A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822881A (zh) * 2021-11-22 2021-12-21 中南大学湘雅医院 一种用于瘢痕图片评分的方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160335478A1 (en) * 2014-01-28 2016-11-17 Ventana Medical Systems, Inc. Adaptive classification for whole slide tissue segmentation
US20190206056A1 (en) * 2017-12-29 2019-07-04 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
CN111192285A (zh) * 2018-07-25 2020-05-22 腾讯医疗健康(深圳)有限公司 图像分割方法、装置、存储介质和计算机设备
CN111310841A (zh) * 2020-02-24 2020-06-19 中南大学湘雅医院 医学图像分类方法、装置、设备、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160335478A1 (en) * 2014-01-28 2016-11-17 Ventana Medical Systems, Inc. Adaptive classification for whole slide tissue segmentation
US20190206056A1 (en) * 2017-12-29 2019-07-04 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
CN111192285A (zh) * 2018-07-25 2020-05-22 腾讯医疗健康(深圳)有限公司 图像分割方法、装置、存储介质和计算机设备
CN111310841A (zh) * 2020-02-24 2020-06-19 中南大学湘雅医院 医学图像分类方法、装置、设备、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822881A (zh) * 2021-11-22 2021-12-21 中南大学湘雅医院 一种用于瘢痕图片评分的方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN110504029B (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN111709485B (zh) 医学影像处理方法、装置和计算机设备
Fan et al. Effect of image noise on the classification of skin lesions using deep convolutional neural networks
US11424021B2 (en) Medical image analyzing system and method thereof
CN114820584B (zh) 肺部病灶定位装置
CN111325714A (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN114120030A (zh) 基于注意力机制的医学图像处理方法及相关设备
US20230097391A1 (en) Image processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
CN110717894A (zh) 癌症靶向治疗疗效评估方法及装置、设备、存储介质
US11481899B2 (en) Systems and methods for processing electronic images to determine testing for unstained specimens
CN113764101B (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN111951272A (zh) 脑部影像的分割方法、装置、计算机设备和可读存储介质
Gaur et al. Cloud driven framework for skin cancer detection using deep CNN
CN113077440A (zh) 病理图像的处理方法、装置、计算机设备和存储介质
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
Kahaki et al. Weakly supervised deep learning for predicting the response to hormonal treatment of women with atypical endometrial hyperplasia: a feasibility study
CN111489318A (zh) 医学图像增强方法和计算机可读存储介质
US20240087133A1 (en) Method of refining tissue specimen image, and computing system performing same
CN113362334B (zh) 一种舌照处理方法及装置
US20220148172A1 (en) System and method for detecting medical conditions
Zhu et al. A deep learning fusion network trained with clinical and high-frequency ultrasound images in the multi-classification of skin diseases in comparison with dermatologists: a prospective and multicenter study
TWI745940B (zh) 醫療影像分析系統及其方法
CN114724016A (zh) 图像分类方法、计算机设备和存储介质
CN112802012A (zh) 病理图像检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210706