CN112016634A - 医学图像识别方法、装置、设备以及存储介质 - Google Patents

医学图像识别方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN112016634A
CN112016634A CN202011060419.8A CN202011060419A CN112016634A CN 112016634 A CN112016634 A CN 112016634A CN 202011060419 A CN202011060419 A CN 202011060419A CN 112016634 A CN112016634 A CN 112016634A
Authority
CN
China
Prior art keywords
disease
category
network
confidence
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011060419.8A
Other languages
English (en)
Other versions
CN112016634B (zh
Inventor
尚方信
杨叶辉
王磊
许言午
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011060419.8A priority Critical patent/CN112016634B/zh
Publication of CN112016634A publication Critical patent/CN112016634A/zh
Application granted granted Critical
Publication of CN112016634B publication Critical patent/CN112016634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本公开提供一种医学图像识别方法、装置、设备以及存储介质，涉及计算机视觉、深度学习、智慧医疗等人工智能领域。医学图像识别方法包括：将医学图像输入疾病分级网络，获取疾病分级网络输出的类别激活图及其疾病类别和疾病置信度，类别激活图能够表征医学图像中指示相应疾病类别的相关区域，疾病类别的划分与一种或多种病灶相关；将医学图像输入病理体征识别网络，获取病理体征识别网络输出的一个或多个病灶概率图，其中，每一个病灶概率图的每一个像素指示医学图像中相应的一个子区域包括病灶的概率，并且在相应的疾病置信度大于预设置信度的情况下，类别激活图和相关的一个或多个病灶概率图中每一个病灶概率图之间的相似度均大于设定的阈值。

Description

医学图像识别方法、装置、设备以及存储介质
技术领域
本公开涉及计算机视觉、深度学习、智慧医疗等人工智能领域，更具体地，涉及一种医学图像识别方法、装置、设备以及存储介质。
背景技术
随着医学成像技术和计算机技术的不断发展和进步，医学图像分析已成为医学研究、临床疾病诊断和治疗中一个不可或缺的工具和技术手段，许多患者因医学影像分析和筛查技术，在疾病早期就获得了诊断和治疗。然而，由于专业影像科医生的匮乏，加之基层医疗卫生条件仍不够完善，仍有大量患者无法受益于医学影像筛查技术，而错过了疾病诊断和治疗的黄金时间。因此，如何利用计算机技术进行疾病诊断，受到了医疗、计算机科学、人工智能等领域的重视，具有重大的研究意义和实用价值。
发明内容
根据本公开的一方面，提供了一种医学图像识别方法，所述方法包括：将医学图像输入疾病分级网络，获取所述疾病分级网络输出的类别激活图及其疾病类别和疾病置信度，所述类别激活图能够表征所述医学图像中指示相应疾病类别的相关区域，所述疾病类别的划分与一种或多种病灶相关；将所述医学图像输入病理体征识别网络，获取所述病理体征识别网络输出的一个或多个病灶概率图，其中，每一个所述病灶概率图的每一个像素指示所述医学图像中相应的一个子区域包括病灶的概率，并且在相应的疾病置信度大于预设置信度的情况下，所述类别激活图和相关的一个或多个病灶概率图中每一个病灶概率图之间的相似度均大于设定的阈值。
根据本公开的另一方面，提供了一种神经网络的训练方法，所述方法包括：对所述病理体征识别网络进行训练；以及对所述病理体征识别网络和疾病分级网络进行端到端训练，其中，对所述病理体征识别网络进行训练包括：获取第一样本图像，并标记所述第一样本图像中的多个子区域中的每一个子区域所包括的病灶的真实类别及其真实类别置信度；将所述第一样本图像输入所述病理体征识别网络，输出预测病灶概率图，其中，所述预测病灶概率图的每一个像素指示所述第一样本图像中相应的一个子区域所包括的病灶的预测类别及其预测类别置信度；基于所述第一样本图像中的多个子区域中的每一个子区域所包括的病灶的真实类别及其真实类别置信度和所述预测类别及其预测类别置信度，计算第一损失函数；以及基于所述第一损失函数调整所述病理体征识别网络的参数；其中，对所述病理体征识别网络和疾病分级网络进行端到端训练包括：获取第二样本图像，并标记所述第二样本图像的第一真实疾病类别及其第一真实疾病置信度；将所述第二样本图像输入所述疾病分级网络，输出所述第二样本图像的第一预测类别激活图及其第一预测疾病类别和第一预测疾病置信度；基于所述第二样本图像的所述第一真实疾病类别及其第一真实疾病置信度和所述第一预测疾病类别及其第一预测疾病置信度，以及所述预测病灶概率图和所述第一预测类别激活图，计算第二损失函数；以及基于所述第二损失函数调整所述疾病分级网络的参数。
根据本公开的另一方面，还提供了一种医学图像识别装置，包括：疾病分级网络，被配置用于基于输入的医学图像，输出类别激活图和疾病类别及其疾病置信度，所述类别激活图能够表征所述医学图像中指示相应疾病类别的相关区域，所述疾病类别的划分与一种或多种病灶相关；病理体征识别网络，被配置用于基于输入的医学图像，输出一个或多个病灶概率图，其中，每一个所述病灶概率图的每一个像素指示所述医学图像中相应的一个子区域包括相应的病灶的概率，并且在相应的疾病置信度大于预设置信度的情况下，所述类别激活图和相关的一个或多个病灶概率图中每一个病灶概率图之间的相似度均大于设定的阈值。
根据本公开的另一方面，还提供了一种神经网络，所述神经网络包括：疾病分级网络，被配置用于基于输入的医学图像，输出类别激活图和疾病类别及其疾病置信度，所述类别激活图能够表征所述医学图像中指示相应疾病类别的相关区域，所述疾病类别的划分与一种或多种病灶相关；病理体征识别网络，被配置用于基于输入的医学图像，输出一个或多个病灶概率图，其中，每一个所述病灶概率图的每一个像素指示所述医学图像中相应的一个子区域包括相应的病灶的概率，并且在相应的疾病置信度大于预设置信度的情况下，所述类别激活图和相关的一个或多个病灶概率图中每一个病灶概率图之间的相似度均大于设定的阈值。
根据本公开的另一方面，还提供了一种电子设备，包括：处理器；以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据上述的医学图像识别方法和/或根据上述的训练方法。
根据本公开的另一方面，还提供了一种存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行根据上述的医学图像识别方法和/或根据上述的训练方法。
本公开的技术方案通过使用病理体征识别网络输出的病灶概率图约束疾病分级网络的类别激活图，使得疾病分级网络基于医学图像在进行疾病类别的判别过程中只关注与疾病类别相关的病灶区域。从而能够基于类别激活图来解释疾病分级结果的决策依据，解决了相关技术中无法理解神经网络模型决策依据的问题。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1是示出根据本公开示例性实施例的医学图像识别方法的流程图；
图2是示出根据本公开示例性实施例的病理体征识别网络的示意性结构图；
图3是示出根据本公开示例性实施例的神经网络的训练方法的流程图；
图4是示出根据本公开示例性实施例的病理体征识别网络的训练方法的流程图；
图5是示出根据本公开示例性实施例的病理体征识别网络和疾病分级网络的端到端训练方法的流程图；
图6是示出根据本公开示例性实施例的疾病分级网络的示意性结构图；
图7是示出根据本公开示例性实施例的疾病分级网络的预训练方法的流程图；
图8是示出根据本公开示例性实施例的医学图像识别装置的示意性组成框图；
图9是示出根据本公开示例性实施例的神经网络的示意性组成框图；以及
图10是能够应用于示例性实施例的示例性计算设备的结构框图。
具体实施方式
下面结合附图和实施例对本公开进行进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外，还需要说明的是，为了便于描述，附图中仅示出了与相关发明相关的部分。
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
在相关技术中，可以使用深度学习模型建立疾病分级模型。但是，无法理解深度学习模型给出判别结果的决策依据(即模型的可解释性弱)，从而使得基于深度学习模型进行疾病分级的算法研发与临床应用受到限制。
在相关技术中，类别激活图为神经网络中针对分类问题的一种有效的可视化方法。它以热力图的形式显示输入图像中神经网络做出分类决策时所依据的区域，以及在决策过程中起主要作用的区域。
本公开提供一种神经网络的训练方法和医学图像识别方法。所述训练方法将样本图像(为医学图像)输入病理体征识别网络和疾病分级网络，病理体征识别网络输出病灶概率图，疾病分级网络输出类别激活图和疾病类别，通过提升类别激活图与病灶概率图之间的相似度来约束疾病分级网络输出决策，能够使得疾病分级网络在对样本图像的学习过程中只关注与疾病类别直接相关的病灶区域，并基于相关的病灶区域给出疾病分级结果。由此，通过病灶概率图与类别激活图之间的相似度来约束疾病分级网络的训练，能够实现疾病分级网络基于医学图像在进行疾病类别的判别过程中只关注与疾病类别相关的病灶区域，并且能够基于类别激活图来解释疾病分级结果的与病灶相关的决策依据，实现与人类医生更为接近的决策逻辑，从而能够解决相关技术中无法理解神经网络模型的决策依据的问题。
本公开中，疾病类别可以包括疾病类型和疾病等级。
本公开中，病灶可以为由某种疾病类别引起的在机体上发生病变的部分，例如由糖尿病引起的视网膜上可能会出现的微血管瘤、硬性/软性渗出、新生血管等。
本公开中，疾病等级可以为某种疾病类别的不同严重程度等级，某种疾病类别与一种或多种病灶相关，某种疾病类别的一个疾病等级与一种或多种病灶相关。例如，糖尿病视网膜病变与微血管瘤、硬性/软性渗出和新生血管等病灶相关。糖尿病视网膜病变可以从轻微到严重分为DR0、DR1、DR2、DR3和DR4五个等级。例如，DR1表现为视网膜有微血管瘤，DR4表现为视网膜有硬性/软性渗出和新生血管等。特别地，“无疾病”或“极其轻微”作为一个疾病类别不与任何一种病灶相关，例如，DR0表现为无明显病灶。
本公开中，医学图像可以为人体或人体某部分的外部或内部影像，例如视网膜眼底图像。每一张医学图像与一个疾病类别相对应，并且可能包括与该疾病类别相关的一种或多种病灶。特别地，“无疾病”或“极其轻微”作为一个疾病类别，该疾病类别的医学图像不包括任何与该疾病相关的病灶。
以下将结合附图对本公开的医学图像识别方法进行进一步描述。
图1是示出根据本公开示例性实施例的医学图像识别方法的流程图。如图1所示，所述医学图像识别方法可以包括：步骤S101、将医学图像输入疾病分级网络，获取所述疾病分级网络输出的类别激活图和疾病类别及其疾病置信度，所述类别激活图能够表征所述医学图像中指示相应疾病类别的相关区域，所述疾病类别的划分与一种或多种病灶相关；步骤S102、将所述医学图像输入病理体征识别网络，获取所述病理体征识别网络输出的一个或多个病灶概率图。其中，每一个所述病灶概率图的每一个像素可以指示所述医学图像中相应的一个子区域包括病灶的概率，并且在相应的疾病置信度大于预设置信度的情况下，所述类别激活图和相关的一个或多个病灶概率图中每一个病灶概率图之间的相似度均大于设定的阈值。由此，通过疾病分级网络输出的疾病类别与相应的置信度，能够得到医学图像所属的疾病类别；并且通过疾病分级网络输出的类别激活图，能够得到疾病分级网络在进行疾病类别判别时所依据的与病灶相关的区域。同时，当疾病分级网络输出一个高疾病置信度的疾病类别时，相应的类别激活图与相关的一个或多个病灶概率图之间的相似度大于设定的阈值。从而能够实现疾病分级网络的决策依据即为医学图像上与该疾病类别相关的一种或多种病灶，实现神经网络以与人类医生更为接近的决策逻辑进行疾病分级，实现模型决策依据的可解释性，并且避免了漏检和过检对决策结果的直接影响。
所述设定的阈值可以根据实际需求和应用场景来设定，在此不作限定。在输入疾病分级网络之前，可以对医学图像进行预处理，以凸显疾病类别判别相关的生理和病理体征。所述预处理例如可以包括以下至少其中之一：Z-Score归一化、高斯滤波和中值滤波。
疾病分级网络可以为任意经典的卷积神经网络，例如Inception网络，ResNet残差网络，DenseNet网络等，也可以自行构造一个网络，在此不作限定。
根据一些实施例，疾病分级网络可以利用NMS算法输出疾病置信度最高的疾病类别，也可以输出疾病置信度大于阈值(例如可以为90％-95％)的一个或多个疾病类别及其疾病置信度，在此不作限定。
疾病的类别划分与一种或多种病灶相关可以是指在医学图像包括相关的一种或多种病灶的情况下，这些相关的一种或多种病灶指示一种疾病类别。
疾病分级网络输出的类别激活图能够表征医学图像中指示相应疾病类别的相关区域，即上述相关的一种或多种病灶所在的区域；同时，病理体征识别网络输出的病灶概率图能够指示医学图像中每个子区域包括病灶的概率，因此，病灶概率图能够表征可能包括病灶的区域。由此，基于病灶所在的区域能够建立起类别激活图和一个或多个病灶概率图之间的相似关系。例如，糖尿病视网膜病变的DR4级别表现为视网膜有硬性/软性渗出和新生血管。基于输入的DR4级别的眼底医学图像，疾病分级网络输出的类别激活图与硬性/软性渗出对应的病灶概率图、以及新生血管对应的病灶概率图之间的相似度均可以大于设定的阈值。
病理体征识别网络可以为一个人工设计的小型全卷积神经网络，包括卷积层、激活函数、池化层、归一化等。在图2示意的示例中，医学图像1000输入病理体征识别网络，经多个卷积层201逐层卷积后，特征图的分辨率逐渐减小。最终输出的病灶概率图2022的每一个像素点P可以分别对应于医学图像1000上的一个块状子区域，并且指示该块状子区域包括病灶的概率。例如，考虑有c种病灶类别，病理体征识别网络输出的特征图的宽、高分别表示为u，v，可以使用sigmoid函数激活特征图。假设病理体征识别网络的输入医学图像1000的宽、高分别表示为Hin，Win，输出的特征图即病灶概率图2022中的每一个病灶概率图的宽、高分别表示为Hout，Wout，则每一个病灶概率图的每一个像素对应输入医学图像1000中大小为
Figure BDA0002712166640000061
的块状子区域。
根据一些实施例，疾病分级网络输出的类别激活图可以包括多个子类别激活图，其中任意两个子类别激活图相应的疾病类别不同，每个子类别激活图能够表征医学图像中指示相应疾病类别的相关区域，从而能够实现每一个疾病类别的可解释性。
需要注意的是，在此并不限定步骤S101和步骤S102的执行顺序，均可以实现本公开的技术方案。
根据本公开的另一方面，还提供一种神经网络的训练方法。如图3所示，神经网络可以包括病理体征识别网络和疾病分级网络。所述训练方法可以包括：步骤S201、对病理体征识别网络进行训练；以及步骤S202、对病理体征识别网络和疾病分级网络进行端到端训练。
如图4所示，步骤S201可以包括：步骤S2011、获取第一样本图像，并标记所述第一样本图像中的多个子区域中的每一个子区域所包括的病灶的真实类别及其真实类别置信度；步骤S2012、将所述第一样本图像输入所述病理体征识别网络，输出预测病灶概率图，其中，所述预测病灶概率图的每一个像素指示所述第一样本图像中相应的一个子区域所包括的病灶的预测类别及其预测类别置信度；步骤S2013、基于所述第一样本图像中的多个子区域中的每一个子区域所包括的病灶的真实类别及其真实类别置信度和所述预测类别及其预测类别置信度，计算第一损失函数；以及步骤S2014、基于所述第一损失函数调整所述病理体征识别网络的参数。可以对上述训练过程进行迭代，直至第一损失函数满足预设的条件，完成病理体征识别网络的训练。由此，通过对病理体征识别网络的训练，使得病理体征识别网络能够输出准确的病灶概率图，进而能够在疾病分级网络的训练中实现对类别激活图的约束。
如图5所示，步骤S202可以包括：步骤S2021、获取第二样本图像，并标记所述第二样本图像的第一真实疾病类别及其第一真实疾病置信度；步骤S2022、将所述第二样本图像输入所述疾病分级网络，输出所述第二样本图像的第一预测类别激活图及其第一预测疾病类别和第一预测疾病置信度；步骤S2023、基于所述第二样本图像的所述第一真实疾病类别及其第一真实疾病置信度和所述第一预测疾病类别及其第一预测疾病置信度，以及所述预测病灶概率图和所述第一预测类别激活图，计算第二损失函数；以及步骤S2024、基于所述第二损失函数调整所述疾病分级网络的参数。可以对上述端到端训练进行迭代，直至第二损失函数满足预设的条件，完成病理体征识别网络和疾病分级网络的端到端训练。由此，通过结合病理体征识别网络对疾病分级网络进行端到端训练，使得训练完成的疾病分级网络能够输出准确的疾病类别及其疾病置信度，以及被病灶概率图约束的类别激活图，而类别激活图能够指示与疾病类别相关的病灶及其位置，从而能够实现模型可解释性。
上述技术方案通过对病理体征识别网络进行训练，使得病理体征识别网络能够输出医学图像中每个子区域包括每种病灶的概率，即病灶概率图；并且通过结合病理体征识别网络对疾病分级网络进行端到端训练，使得疾病分级网络能够在病灶概率图与类别激活图之间的相似度约束下输出疾病类别及其疾病置信度。从而能够实现训练完成的疾病分级网络基于医学图像判别疾病类别，并且能够依据类别激活图给出疾病类别的与病灶相关的决策依据。
根据一些实施例，步骤S201中第一样本图像例如可以为带有粗粒度病灶标注的医学影像数据。粗粒度病灶标注仅需要标注包括病灶的子区域，而不需要准确的标出病灶的位置、大小和/或范围。相比于精确标出病灶信息的医学影像数据，使用粗粒度病灶标注的医学影像数据可以降低标注成本，并且不会对模型的准确率产生显著影响。
在输入病理体征识别网络之前，可以对第一样本图像进行预处理，以凸显疾病类别判别相关的生理和病理体征。所述预处理例如可以包括以下至少其中之一：Z-Score归一化、高斯滤波和中值滤波。
根据一些实施例，病灶的真实类别置信度可以用二值来表示，即子区域包括某种病灶，则将该病灶类别的真实类别置信度标记为1；子区域不包括某种病灶，则将该病灶类别的真实类别置信度标记为0。病灶的真实置信度也可以用0至1之间的数表示，比如子区域中的某种病灶占子区域面积的50％，则可以将真实置类别信度标记为0.5。
根据一些实施例，第一损失函数可以用于约束病灶概率图的精度，使得模型可以给出更准确的病灶预测类别和相应的预测类别置信度。第一损失函数可以使用如下公式计算得出：
Figure BDA0002712166640000081
其中，cross_entropy为交叉熵函数，L为某一像素所对应的子区域所包括所有可能的病灶类别的预测类别置信度，p为病灶的真实类别及真实类别置信度(可为1)。病例识别体征网络未输出的预测类别的预测类别置信度按0处理。由此，第一损失函数L1表示为病灶概率图中的所有像素与相应子区域的病灶的真实类别计算交叉熵后进行求和。
步骤S2011-步骤S2014通过基于第一损失函数对病理体征识别网络进行调参，使得训练完成的病理体征识别网络可以输出准确的病灶概率图，能够指示医学图像中每一个子区域包括每一种病灶的概率，进而可以约束疾病分级网络输出的类别激活图，从而能够实现模型可解释性。
根据一些实施例，步骤S202中第二样本图像可以为带有疾病严重程度分级的医学影像数据。使用该影像数据对疾病分级网络进行训练，可以使得训练完成的疾病分级网络能够输出输入图像可能所属的疾病类别和相应的疾病置信度。
在输入病理体征识别网络之前，可以对第二样本图像进行预处理，以凸显疾病类别判别相关的生理和病理体征。所述预处理例如可以包括以下至少其中之一：Z-Score归一化、高斯滤波和中值滤波。
根据一些实施例，第二损失函数可以用于约束疾病分级网络的分类精度和决策依据，从而使得疾病分级网络能够实现疾病类别判别，并且以相关病灶作为疾病类别判别的决策依据。第二损失函数的具体计算方法会在后文中详细介绍。
根据一些实施例，在对所述病理体征识别网络和疾病分级网络进行端到端训练之前，所述病理体征识别网络可以为已经训练完成，从而能够保证病理体征识别网络和疾病分级网络的端到端训练过程中，病理体征识别网络的输出为准确的病灶概率图，仅需对疾病分级网络进行调参，提升模型的训练速度。
根据一些实施例，疾病类别的划分可以与一种或多种病灶相关，在这种情况下，病理体征识别网络可以输出一种或多种病灶各自相应的一或多个预测病灶概率图。每一个预测病灶概率图的每一个像素指示输入图像中相应的一个子区域所包括的与该预测病灶概率图相应的病灶的预测类别置信度。从而能够分别获取每一个病灶的病灶概率图，便于后续分别计算类别激活图与相关的一个或多个病灶概率图之间的相似度，以能够约束疾病分级网络的训练过程。
根据一些实施例，第一预测类别激活图可以包括多个第一预测疾病类别各自相应的多个子预测类别激活图，从而训练完成的疾病分级网络能够实现对每一个疾病类别的可解释性，为临床疾病诊断提供更加可靠的判别依据。
根据一些实施例，疾病分级网络可以包括多个卷积层301、全局池化层302和全连接层303，其中，全局池化层位于多个卷积层和全连接层之间。在这种情况下，参见图6所示，每一个子预测类别激活图可以通过执行以下步骤得到：基于输入的第二样本图像3000，获取多个卷积层301中最靠近全局池化层302的卷积层输出的多个特征图；从全连接层303中获取相应的第一预测疾病类别(如DR2等级)的权值向量；将所述多个特征图中的每一个特征图与所述权值向量中相应的权值相乘，得到多个权重特征图；以及将所述多个权重特征图进行求和运算，得到所述子预测类别激活图。由于权值向量的长度和特征图的数量一致，每一个权值向量的值对应一张特征图。因此，可以将每一个特征图与相应的权值向量中相应的权值相乘，再将结果进行求和，得到子预测类别激活图。
最靠近全局池化层302的卷积层输出的多个特征图可以为由疾病分级网络的输入图像经过多个卷积层301连续变换后生成。在逐层卷积的过程中，图像宽、高方向的分辨率逐渐减小，特征图的数量逐渐增加。
根据一些实施例，所述训练方法还可以包括：在对病理体征识别网络和疾病分级网络进行端到端训练之前，对疾病分级网络进行预训练。如图7所示，对疾病分级网络202进行预训练可以包括：步骤S301、获取第三样本图像，并标记所述第三样本图像的第二真实疾病类别及其第二真实疾病置信度；步骤S302、将所述第三样本图像输入所述疾病分级网络，输出所述第三样本图像的第二预测类别激活图及其第二预测疾病类别和第二预测疾病置信度；步骤S303、基于所述第三样本图像的所述第二真实疾病类别及其第二真实疾病置信度和所述第二预测疾病类别及其第二预测疾病置信度，计算第三损失函数；以及步骤S304、基于所述第三损失函数调整所述疾病分级网络的参数。可以对上述训练过程进行迭代，直至第三损失函数满足预设的条件。从而能够通过预训练使得疾病分级网络具有疾病类别判别功能，然后再结合病理体征识别网络进行端到端训练，从而能够以类似人类医生的判别逻辑给出疾病分级结果，实现模型输出结果的可解释性。此外，通过预训练和端到端训练两轮训练的方式可以提升模型的训练速度和性能。
需要说明的是，在对所述病理体征识别网络和疾病分级网络进行端到端训练之前，所述病理体征识别网络已经训练完成的情况下，不限定病理体征识别网络的训练和疾病分级网络的预训练之间的先后顺序。
根据一些实施例，第三样本图像可以为带有疾病严重程度分级的医学影像数据。第三样本图像和第二样本图像可以相同，也可以使用不同的医学影像数据，在此不做限定。
在输入病理体征识别网络之前，可以对第三样本图像进行预处理，以凸显疾病类别判别相关的生理和病理体征。所述预处理例如可以包括以下至少其中之一：Z-Score归一化、高斯滤波和中值滤波。
根据一些实施例，第三损失函数可以用于约束疾病分级网络的分级精度，以实现疾病分级网络的疾病分级功能。第三损失函数可以使用如下公式计算得出：
L3＝cross_entropy(P,label)
其中，cross_entropy为交叉熵函数，用于约束模型的分类精度，P为每一个疾病类别的第二预测疾病置信度，label为第二样本图像的第二真实疾病类别及其第二真实疾病置信度(可为1)。疾病分级网络未输出的疾病类别的第一预测疾病置信度按0处理。由此，第三损失函数L3表示为第二预测疾病置信度和第二真实疾病类别之间的交叉熵。
步骤S301-步骤S304通过对疾病分级网络进行预训练，使得端到端训练完成的疾病分级网络能够输出准确的疾病类别，从而实现模型的高准确率。
根据一些实施例，在病理体征识别网络和疾病分级网络的端到端训练过程中，可以采用以下方法计算第二损失函数，并基于第二损失函数对疾病分级网络进行调参。在示例中，步骤S2023、计算第二损失函数可以包括：基于所述第一真实疾病类别及其第一真实疾病置信度和所述第一预测疾病类别及其第一预测疾病置信度，计算第一子损失函数；基于相应的所述第一预测疾病类别与所述第一真实疾病类别相同的子预测类别激活图和相关的至少一个所述预测病灶概率图，计算第二子损失函数；以及基于所述第一子损失函数和所述第二子损失函数，计算所述第二损失函数。由此，通过第二损失函数，可以同时约束模型的分类精度和神经网络的决策依据，以实现疾病分级网络能够输出准确的疾病分级结果，同时由于其类别激活图与病灶概率图相似，能够指示疾病类别判别的与病灶区域相关的决策依据。
根据一些实施例，第一子损失函数可以用于约束疾病分级网络的分类精度，以实现疾病分级网络的疾病分级功能。第一子损失函数可以使用如下公式计算得出：
Lcls＝cross_entropy(P,label)
其中，cross_entropy为交叉熵函数，用于约束模型的分类精度，P为每一个疾病类别的第一预测疾病置信度，label为第二样本图像的第一真实疾病类别及其第一真实疾病置信度(可为1)。疾病分级网络未输出的疾病类别的第一预测疾病置信度按0处理。由此，第一子损失函数Lcls表示为第一预测疾病置信度和第一真实疾病类别之间的交叉熵。
根据一些实施例，计算第二子损失函数可以包括：对所述子预测类别激活图和所述相关的至少一个预测病灶概率图进行调整，得到所述子预测类别激活图相应的标准类别激活图和所述相关的至少一个预测病灶概率图各自相应的至少一个标准病灶概率图，其中，所述至少一个标准病灶概率图中的每一个和所述标准类别激活图的大小相同；基于所述至少一个标准病灶概率图和所述标准类别激活图，计算所述第二子损失函数。从而能够便于计算标准病灶概率图和标准类别激活图之间的相似度。
在一个示例性实施例中，计算第二子损失函数的过程可以为：
首先，设病理体征识别网络对形如H，W，C的输入图像I进行如下变换。其中，由于输入图像为彩色图像，因此通常C＝3；c为病理体征识别网络的输出通道数，即可识别的病灶类别数量；u，v分别为输出特征图的宽、高，则有：
Figure BDA0002712166640000111
其中，LesionMap为病灶概率图，LNet(·)为病理体征识别网络；
其次，设疾病分级网络中共输出D个疾病类别，输入末端全局池化层的特征图的宽、高为x，y，则可获得D个形如x,y的子类别激活图；
然后，考虑疾病分级与病灶的对应关系，取D个子类别激活图中的一个，命名为CAMd，取病灶概率图中的一个，命名为LesionMapc。取决于病理体征识别网络和疾病分级网络的网络结构设计，若x＝u，y＝v，则直接结束，否则执行：
CAMd＝resize(CAMd,max(x,u),max(y,v),′NEAREST′)
LesionMapc＝resize(LesionMapc,max(x,u),max(y,v),′NEAREST′)
其中，resize函数用于将输入的图像的宽和高分别调整为max(x,u)和max(y,v)，‘NEAREST’参数表示resize函数的插值方式。
通过上述步骤能够生成大小一致的标准类别激活图CAMd和标准病灶概率图LesionMapc。
根据一些实施例，第二子损失函数可以用于约束疾病分级网络进行疾病类别判别的决策依据，已实现一定程度的神经网络模型的可解释性。第二子损失函数可以使用如下公式计算得出：
Lsim＝diff(Vcam,Vlesion)＝1-sim(Vcam,Vlesion)
Figure BDA0002712166640000121
其中，diff为差异函数，例如可以为推土机距离、均方误差、K-L散度等距离函数；sim为相似函数，例如可以为cosine相似度；Vcam和Vlesion分别为展开为一维向量的标准类别激活图CAMd和标准病灶概率图LesionMapc。在一个示例性实施例中，可以使用cosine相似度作为相似函数进行计算。‖·‖表示为向量的模。由此，第二子损失函数Lsim表示为1减去标准类别激活图和标准病灶概率图的相似度。
根据一些实施例，第二损失函数可以使用如下公式计算得出：
L2＝Lcls+αLsim
其中，Lcls为用于约束模型的分类精度的第一子损失函数，Lsim为用于约束疾病分级网络进行疾病类别判别的决策依据的第二子损失函数，α为预设超参数，用于平衡两项的权重。由此，通过基于第二损失函数调整疾病分级网络的参数，使得训练完成的疾病分级网络能够输出准确的疾病类别及其疾病置信度，并且可以输出与病灶概率图相似的类别激活图，类别激活图能够指示与疾病类别相关的病灶及其位置，从而实现模型可解释性。
根据本公开的另一方面，还提供一种医学图像识别装置。如图8所示，医学图像识别装置100可以包括：疾病分级网络101，被配置用于基于输入的医学图像，输出类别激活图和疾病类别及其疾病置信度，所述类别激活图能够表征所述医学图像中指示相应疾病类别的相关区域，所述疾病类别的划分与一种或多种病灶相关；病理体征识别网络102，被配置用于基于输入的医学图像，输出一个或多个病灶概率图，其中，每一个所述病灶概率图的每一个像素指示所述医学图像中相应的一个子区域包括相应的病灶的概率，并且当相应的疾病置信度大于预设置信度时，所述类别激活图和相关的一个或多个病灶概率图中每一个病灶概率图之间的相似度均大于设定的阈值多个病灶概率图中每一个病灶概率图。
这里，医学图像识别装置100的网络101-102的操作分别与前面描述的步骤S101-S102的操作类似，在此不在赘述。
根据一些实施例，医学图像识别装置100还可以包括：摄像机103，被配置用于获取所述医学图像。摄像机103可以但不限于为眼底相机、X光机、CT机等医学图像获取设备。
根据本公开的另一方面，如图9所示，还提供一种神经网络200，采用上述的训练方法进行训练而得到。其中，神经网络模型200包括：疾病分级网络201，被配置用于基于输入的医学图像，输出类别激活图2011及其疾病类别和疾病置信度，所述类别激活图能够表征所述医学图像中指示相应疾病类别的相关区域，所述疾病类别的划分与一种或多种病灶相关；病理体征识别网络202，被配置用于基于输入的医学图像，输出一个或多个病灶概率图2022，其中，每一个所述病灶概率图2022的每一个像素指示所述医学图像中相应的一个子区域包括相应的病灶的概率，并且当相应的疾病置信度大于预设置信度时，所述类别激活图和相关的一个或多个病灶概率图中每一个病灶概率图之间的相似度均大于设定的阈值。
多个病灶概率图中每一个病灶概率图以糖尿病视网膜病变为例，疾病分级网络201输出的类别激活图可以包括DR0、DR1、DR2、DR3和DR4各自相应的子类别激活图。病理体征识别网络202可以输出微血管瘤MA的病灶概率图、硬性/软性渗出(HE/SE)的病灶概率图和新生血管(NVD/NVE)的病灶概率图。以疾病分级网络输出医学图像100的判别结果为DR2为例，该判别结果为基于DR2的子类别激活图为决策依据。其中，DR2的子类别激活图和HE/SE病灶概率图之间的相似度大于设定的阈值。
根据本公开的另一方面，还提供一种电子设备，可以包括：处理器；以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据上述的医学图像识别方法。
根据本公开的另一方面，还提供一种存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行根据上述的医学图像识别方法。
参见图10所示，现将描述计算设备2000，其是可以应用于本公开的各方面的硬件设备(电子设备)的示例。计算设备2000可以是被配置为执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、机器人、智能电话、车载计算机或其任何组合。上述医学图像识别方法可以全部或至少部分地由计算设备2000或类似设备或系统实现。
计算设备2000可以包括(可能经由一个或多个接口)与总线2002连接或与总线2002通信的元件。例如，计算设备2000可以包括总线2002、一个或多个处理器2004、一个或多个输入设备2006以及一个或多个输出设备2008。一个或多个处理器2004可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。输入设备2006可以是能向计算设备2000输入信息的任何类型的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备2008可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备2000还可以包括非暂时性存储设备2010或者与非暂时性存储设备2010连接，非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备，并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质，光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备2010可以从接口拆卸。非暂时性存储设备2010可以具有用于实现上述方法和步骤的数据/程序(包括指令)/代码。计算设备2000还可以包括通信设备2012。通信设备2012可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算设备2000还可以包括工作存储器2014，其可以是可以存储对处理器2004的工作有用的程序(包括指令)和/或数据的任何类型的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件要素(程序)可以位于工作存储器2014中，包括但不限于操作系统2016、一个或多个应用程序2018、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序2018中，并且上述医学图像识别方法可以通过由处理器2004读取和执行一个或多个应用程序2018的指令来实现。更具体地，上述医学图像识别方法中，步骤S101-步骤S102可以例如通过处理器2004执行具有步骤S101-步骤S102的指令的应用程序2018而实现。此外，上述医学图像识别方法中的其它步骤可以例如通过处理器2004执行具有执行相应步骤中的指令的应用程序2018而实现。软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如上述存储设备2010)中，并且在执行时可以被存入工作存储器2014中(可能被编译和/或安装)。软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。
还应该理解，可以根据具体要求而进行各种变型。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现特定元件。例如，所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如VERILOG，VHDL，C++)对硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。
还应该理解，前述方法可以通过服务器-客户端模式来实现。例如，客户端可以接收用户输入的数据并将所述数据发送到服务器。客户端也可以接收用户输入的数据，进行前述方法中的一部分处理，并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据，并且执行前述方法或前述方法中的另一部分，并将执行结果返回给客户端。客户端可以从服务器接收到方法的执行结果，并例如可以通过输出设备呈现给用户。
还应该理解，计算设备2000的组件可以分布在网络上。例如，可以使用一个处理器执行一些处理，而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算系统2000的其他组件也可以类似地分布。这样，计算设备2000可以被解释为在多个位置执行处理的分布式计算系统。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (15)

1.一种医学图像识别方法，包括：
将医学图像输入疾病分级网络，获取所述疾病分级网络输出的类别激活图及其疾病类别和疾病置信度，所述类别激活图能够表征所述医学图像中指示相应疾病类别的相关区域，所述疾病类别的划分与一种或多种病灶相关；
将所述医学图像输入病理体征识别网络，获取所述病理体征识别网络输出的一个或多个病灶概率图，其中，每一个所述病灶概率图的每一个像素指示所述医学图像中相应的一个子区域包括病灶的概率，并且在相应的疾病置信度大于预设置信度的情况下，所述类别激活图和相关的一个或多个病灶概率图中每一个病灶概率图之间的相似度均大于设定的阈值。
2.如权利要求1所述的医学图像识别方法，其中，所述类别激活图包括多个子类别激活图，所述多个子类别激活图中的任意两个子类别激活图相应的疾病类别不同，每一个所述子类别激活图能够表征所述医学图像中指示相应疾病类别的相关区域。
3.一种神经网络的训练方法，所述神经网络包括病理体征识别网络和疾病分级网络，所述训练方法包括：
对所述病理体征识别网络进行训练；以及
对所述病理体征识别网络和疾病分级网络进行端到端训练，
其中，对所述病理体征识别网络进行训练包括：
获取第一样本图像，并标记所述第一样本图像中的多个子区域中的每一个子区域所包括的病灶的真实类别及其真实类别置信度；
将所述第一样本图像输入所述病理体征识别网络，输出预测病灶概率图，其中，所述预测病灶概率图的每一个像素指示所述第一样本图像中相应的一个子区域所包括的病灶的预测类别及其预测类别置信度；
基于所述第一样本图像中的多个子区域中的每一个子区域所包括的病灶的真实类别及其真实类别置信度和所述预测类别及其预测类别置信度，计算第一损失函数；以及
基于所述第一损失函数调整所述病理体征识别网络的参数；
其中，对所述病理体征识别网络和疾病分级网络进行端到端训练包括：
获取第二样本图像，并标记所述第二样本图像的第一真实疾病类别及其第一真实疾病置信度；
将所述第二样本图像输入所述疾病分级网络，输出所述第二样本图像的第一预测类别激活图及其第一预测疾病类别和第一预测疾病置信度；
基于所述第二样本图像的所述第一真实疾病类别及其第一真实疾病置信度和所述第一预测疾病类别及其第一预测疾病置信度，以及所述预测病灶概率图和所述第一预测类别激活图，计算第二损失函数；以及
基于所述第二损失函数调整所述疾病分级网络的参数。
4.如权利要求3所述的训练方法，还包括：
在对所述病理体征识别网络和疾病分级网络进行端到端训练之前，对所述疾病分级网络进行预训练，
其中，对所述疾病分级网络进行预训练包括：
获取第三样本图像，并标记所述第三样本图像的第二真实疾病类别及其第二真实疾病置信度；
将所述第三样本图像输入所述疾病分级网络，输出所述第三样本图像的第二预测类别激活图及其第二预测疾病类别和第二预测疾病置信度；
基于所述第三样本图像的所述第二真实疾病类别及其第二真实疾病置信度和所述第二预测疾病类别及其第二预测疾病置信度，计算第三损失函数；以及
基于所述第三损失函数调整所述疾病分级网络的参数。
5.如权利要求3或4所述的训练方法，其中，在对所述病理体征识别网络和疾病分级网络进行端到端训练之前，所述病理体征识别网络已经训练完成。
6.如权利要求3或4所述的训练方法，其中，疾病类别的划分与一种或多种病灶相关，所述病理体征识别网络输出所述一种或多种病灶各自相应的一个或多个预测病灶概率图。
7.如权利要求6所述的训练方法，其中，所述第一预测类别激活图包括多个所述第一预测疾病类别各自相应的多个子预测类别激活图。
8.如权利要求7所述的训练方法，其中，计算所述第二损失函数包括：
基于所述第一真实疾病类别及其第一真实疾病置信度和所述第一预测疾病类别及其第一预测疾病置信度，计算第一子损失函数；
基于相应的所述第一预测疾病类别与所述第一真实疾病类别相同的子预测类别激活图和相关的至少一个所述预测病灶概率图，计算第二子损失函数；以及
基于所述第一子损失函数和所述第二子损失函数，计算所述第二损失函数。
9.如权利要求8所述的训练方法，其中，计算所述第二子损失函数包括：
对所述子预测类别激活图和所述相关的至少一个预测病灶概率图进行调整，得到所述子预测类别激活图相应的标准类别激活图和所述相关的至少一个预测病灶概率图各自相应的至少一个标准病灶概率图，其中，所述至少一个标准病灶概率图中的每一个和所述标准类别激活图的大小相同；
基于所述至少一个标准病灶概率图和所述标准类别激活图，计算所述第二子损失函数。
10.如权利要求7所述的训练方法，其中，所述疾病分级网络包括多个卷积层、全局池化层和全连接层，所述全局池化层位于所述多个卷积层和所述全连接层之间，
其中，每一个所述子预测类别激活图为通过执行以下步骤得到：
获取所述多个卷积层中最靠近所述全局池化层的卷积层输出的多个特征图；
从所述全连接层中获取相应的第一预测疾病类别的权值向量；
将所述多个特征图中的每一个特征图与所述权值向量中相应的权值相乘，得到多个权重特征图；以及
将所述多个权重特征图进行求和运算，得到所述子预测类别激活图。
11.一种医学图像识别装置，包括：
疾病分级网络，被配置用于基于输入的医学图像，输出类别激活图和疾病类别及其疾病置信度，所述类别激活图能够表征所述医学图像中指示相应疾病类别的相关区域，所述疾病类别的划分与一种或多种病灶相关；
病理体征识别网络，被配置用于基于输入的医学图像，输出一个或多个病灶概率图，其中，每一个所述病灶概率图的每一个像素指示所述医学图像中相应的一个子区域包括相应的病灶的概率，并且在相应的疾病置信度大于预设置信度的情况下，所述类别激活图和相关的一个或多个病灶概率图中每一个病灶概率图之间的相似度均大于设定的阈值。
12.如权利要求11所述的医学图像识别装置，还包括：
摄像机，被配置用于获取所述医学图像。
13.一种神经网络，包括：
疾病分级网络，被配置用于基于输入的医学图像，输出类别激活图和疾病类别及其疾病置信度，所述类别激活图能够表征所述医学图像中指示相应疾病类别的相关区域，所述疾病类别的划分与一种或多种病灶相关；
病理体征识别网络，被配置用于基于输入的医学图像，输出一个或多个病灶概率图，其中，每一个所述病灶概率图的每一个像素指示所述医学图像中相应的一个子区域包括相应的病灶的概率，并且在相应的疾病置信度大于预设置信度的情况下，所述类别激活图和相关的一个或多个病灶概率图中每一个病灶概率图之间的相似度均大于设定的阈值。
14.一种电子设备，包括：
处理器；以及
存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-2中任一项所述的医学图像识别方法和/或根据权利要求3-10中任一项所述的训练方法。
15.一种存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，指示所述电子设备执行根据权利要求1-2中任一项所述的医学图像识别方法和/或根据权利要求3-10中任一项所述的训练方法。
CN202011060419.8A 2020-09-30 2020-09-30 医学图像识别方法、装置、设备以及存储介质 Active CN112016634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011060419.8A CN112016634B (zh) 2020-09-30 2020-09-30 医学图像识别方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011060419.8A CN112016634B (zh) 2020-09-30 2020-09-30 医学图像识别方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112016634A true CN112016634A (zh) 2020-12-01
CN112016634B CN112016634B (zh) 2023-07-28

Family

ID=73528066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011060419.8A Active CN112016634B (zh) 2020-09-30 2020-09-30 医学图像识别方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112016634B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862089A (zh) * 2021-01-20 2021-05-28 清华大学深圳国际研究生院 一种具有可解释性的医学图像深度学习方法
CN113554124A (zh) * 2021-09-18 2021-10-26 浙江太美医疗科技股份有限公司 图像识别方法及装置、计算机可读存储介质及电子设备
CN114864093A (zh) * 2022-07-04 2022-08-05 北京鹰瞳科技发展股份有限公司 基于眼底图像进行疾病预测的装置、方法及存储介质
CN115393323A (zh) * 2022-08-26 2022-11-25 数坤(上海)医疗科技有限公司 一种目标区域获得方法、装置、设备和存储介质
CN115578385A (zh) * 2022-12-01 2023-01-06 武汉楚精灵医疗科技有限公司 肠镜下病灶信息获取方法、装置、电子设备及存储介质
WO2023131301A1 (zh) * 2022-01-07 2023-07-13 安翰科技(武汉)股份有限公司 消化系统病理图像识别方法、系统及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097559A (zh) * 2019-04-29 2019-08-06 南京星程智能科技有限公司 基于深度学习的眼底图像病灶区域标注方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110660480A (zh) * 2019-09-25 2020-01-07 上海交通大学 脊骨脱位辅助诊断方法及系统
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN111275121A (zh) * 2020-01-23 2020-06-12 北京百度网讯科技有限公司 一种医学影像处理方法、装置和电子设备
WO2020151307A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 病灶自动识别方法、装置及计算机可读存储介质
CN111696079A (zh) * 2020-05-15 2020-09-22 中山大学 一种基于多任务学习的表面缺陷检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020151307A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 病灶自动识别方法、装置及计算机可读存储介质
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110097559A (zh) * 2019-04-29 2019-08-06 南京星程智能科技有限公司 基于深度学习的眼底图像病灶区域标注方法
CN110660480A (zh) * 2019-09-25 2020-01-07 上海交通大学 脊骨脱位辅助诊断方法及系统
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN111275121A (zh) * 2020-01-23 2020-06-12 北京百度网讯科技有限公司 一种医学影像处理方法、装置和电子设备
CN111696079A (zh) * 2020-05-15 2020-09-22 中山大学 一种基于多任务学习的表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI ZHOU 等: "Collaborative Learning of Semi-Supervised Segmentation and Classification for Medical Images", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) *
张悦;庞睿奇;杜一帆;牟大鹏;李柳;徐迈;王宁利;刘含若;: "基于深度学习辅助诊断青光眼病灶检测算法及应用", 眼科, no. 01 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862089A (zh) * 2021-01-20 2021-05-28 清华大学深圳国际研究生院 一种具有可解释性的医学图像深度学习方法
CN112862089B (zh) * 2021-01-20 2023-05-23 清华大学深圳国际研究生院 一种具有可解释性的医学图像深度学习方法
CN113554124A (zh) * 2021-09-18 2021-10-26 浙江太美医疗科技股份有限公司 图像识别方法及装置、计算机可读存储介质及电子设备
CN113554124B (zh) * 2021-09-18 2021-12-28 浙江太美医疗科技股份有限公司 图像识别方法及装置、计算机可读存储介质及电子设备
WO2023131301A1 (zh) * 2022-01-07 2023-07-13 安翰科技(武汉)股份有限公司 消化系统病理图像识别方法、系统及计算机存储介质
CN114864093A (zh) * 2022-07-04 2022-08-05 北京鹰瞳科技发展股份有限公司 基于眼底图像进行疾病预测的装置、方法及存储介质
CN115393323A (zh) * 2022-08-26 2022-11-25 数坤(上海)医疗科技有限公司 一种目标区域获得方法、装置、设备和存储介质
CN115578385A (zh) * 2022-12-01 2023-01-06 武汉楚精灵医疗科技有限公司 肠镜下病灶信息获取方法、装置、电子设备及存储介质
CN115578385B (zh) * 2022-12-01 2023-03-14 武汉楚精灵医疗科技有限公司 肠镜下病灶信息获取方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112016634B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN112016634B (zh) 医学图像识别方法、装置、设备以及存储介质
Park et al. Comparison of machine and deep learning for the classification of cervical cancer based on cervicography images
US10496884B1 (en) Transformation of textbook information
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
US10499857B1 (en) Medical protocol change in real-time imaging
CN107464250B (zh) 基于三维mri图像的乳腺肿瘤自动分割方法
EP3674968A1 (en) Image classifying method, server and computer readable storage medium
KR20180025093A (ko) 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
US11263744B2 (en) Saliency mapping by feature reduction and perturbation modeling in medical imaging
KR102160390B1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
FR et al. Segmentation of mammography by applying extreme learning machine in tumor detection
CN113450320A (zh) 一种基于较深网络结构的超声结节分级与良恶性预测方法
CN114693971A (zh) 分类预测模型生成方法及分类预测方法、系统、平台
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
WO2021259604A1 (en) Domain aware medical image classifier interpretation by counterfactual impact analysis
Lafraxo et al. Computer-aided system for bleeding detection in wce images based on cnn-gru network
Khattar et al. Computer assisted diagnosis of skin cancer: a survey and future recommendations
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
More et al. Brain tumor detection using deep neural network
CN113302649A (zh) 用于自动诊断的方法、装置和系统
Remzan et al. Ensemble learning based-features extraction for brain mr images classification with machine learning classifiers
US11580390B2 (en) Data processing apparatus and method
Glory Precious et al. Deployment of a mobile application using a novel deep neural network and advanced pre-trained models for the identification of brain tumours
Hossain et al. Recognition of tuberculosis on medical X-ray images utilizing MobileNet transfer learning
CN114140381A (zh) 一种基于MDP-net的玻璃体混浊分级筛查方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant