CN110517771B - 一种医学图像处理方法、医学图像识别方法及装置 - Google Patents

一种医学图像处理方法、医学图像识别方法及装置 Download PDF

Info

Publication number
CN110517771B
CN110517771B CN201910810299.XA CN201910810299A CN110517771B CN 110517771 B CN110517771 B CN 110517771B CN 201910810299 A CN201910810299 A CN 201910810299A CN 110517771 B CN110517771 B CN 110517771B
Authority
CN
China
Prior art keywords
medical image
result
identified
diagram
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910810299.XA
Other languages
English (en)
Other versions
CN110517771A (zh
Inventor
罗莉舒
尚鸿
孙钟前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN201910810299.XA priority Critical patent/CN110517771B/zh
Publication of CN110517771A publication Critical patent/CN110517771A/zh
Application granted granted Critical
Publication of CN110517771B publication Critical patent/CN110517771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种基于人工智能的医学图像处理，包括：获取待识别医学图像；通过医学图像分类模型获取所述待识别医学图像所对应的医学图像内容识别结果；基于反向梯度传播算法，根据所述医学图像内容识别结果获取梯度传播结果；根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；根据所述物体轮廓图生成所述待识别医学图像所对应的图像识别结果。本申请还公开了一种医学图像识别方法、图像识别结果展示方法和装置。本申请不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力，提升了基于医学图像进行诊断的可靠性。

Description

一种医学图像处理方法、医学图像识别方法及装置
技术领域
本申请涉及人工智能领域，尤其涉及一种医学图像处理方法、医学图像识别方法及装置。
背景技术
随着计算机科学技术的发展，已有不少工作将深度学习方法应用到医疗图像的自动诊断中，能够一定程度缓解由于医生经验不足，或者由于医生过度疲劳而造成的漏诊以及误诊的现象。
目前，基于深度学习的医疗图像诊断方法，首先需要收集大量的图像资料，由专业的医生对其进行准确标注；接下来用这些准确标注的图像对深度学习模型进行训练，使其能够精确拟合输入图像和对应标签之间的映射关系。最后将没有标注的原始医疗图像输入至模型，便能够得到对应的病变类别。
然而，基于深度学习往往都是黑箱模型，只关注整体功能，输出的结果只有一个表示类别的向量，而并不知道模型做出该种分类所依据的判别区域，这对于医疗诊断而言是缺乏信服力的，降低了基于医学图像进行诊断的可靠性。
发明内容
本申请实施例提供了一种医学图像处理方法、医学图像识别方法及装置，不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力，提升了基于医学图像进行诊断的可靠性。
有鉴于此，本申请第一方面提供一种医学图像识别方法，包括：
获取待识别医学图像；
通过医学图像分类模型获取所述待识别医学图像所对应的医学图像内容识别结果；
基于反向梯度传播算法，根据所述医学图像内容识别结果获取梯度传播结果；
根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；
根据所述物体轮廓图生成所述待识别医学图像所对应的图像识别结果。
本申请第二方面提供一种医学图像识别方法，包括：
获取待识别医学图像；
通过医学图像分类模型获取所述待识别医学图像所对应的病灶分类结果；
基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；
根据所述物体轮廓图生成所述待识别医学图像所对应的病灶识别结果。
本申请第三方面提供一种图像识别结果展示的方法，包括：
获取待识别医学图像；
通过所述医学图像分类模型获取所述待识别医学图像所对应的特征图，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；
根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图以及所述物体轮廓图，生成所述待识别医学图像所对应的病灶识别结果；
展示所述待识别医学图像所对应的图像识别结果。
本申请第四方面提供一种图像识别装置，包括：
获取模块，用于获取待识别医学图像；
所述获取模块，还用于通过医学图像分类模型获取所述待识别医学图像所对应的医学图像内容识别结果；
所述获取模块，还用于基于反向梯度传播算法，根据所述医学图像内容识别结果获取梯度传播结果；
生成模块，用于根据所述获取模块获取的所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；
所述生成模块，还用于根据所述物体轮廓图生成所述待识别医学图像所对应的图像识别结果。
在一种可能的设计中，在本申请实施例的第四方面的第一种实现方式中，所述图像识别装置还包括处理模块；
所述处理模块，用于通过所述医学图像分类模型的卷积层对所述待识别医学图像进行处理，得到所述待识别医学图像所对应的特征图，其中，所述特征图具有N个通道，所述N为大于1的整数；
所述生成模块，还用于根据所述特征图以及权重参数集合，生成所述医学图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
所述生成模块，具体用于根据所述热力图以及所述物体轮廓图，生成所述待识别医学图像所对应的图像识别结果。
在一种可能的设计中，在本申请实施例的第四方面的第二种实现方式中，
所述获取模块，具体用于通过所述医学图像分类模型中的全局平均池化层，对所述特征图进行处理，得到特征向量；
根据所述特征向量与所述权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，所述C为大于或等于1的整数；
根据所述C个类别预测得分，从C个类别中确定所述医学图像内容识别结果。
在一种可能的设计中，在本申请实施例的第四方面的第三种实现方式中，
所述获取模块，具体用于基于导向反向传播算法，根据所述医学图像内容识别结果获取所述梯度传播结果，其中，所述导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
本申请第五方面提供一种图像识别装置，包括：
获取模块，用于获取待识别医学图像；
所述获取模块，还用于通过医学图像分类模型获取所述待识别医学图像所对应的病灶分类结果；
所述获取模块，还用于基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
生成模块，用于根据所述获取模块获取的所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；
所述生成模块，还用于根据所述物体轮廓图生成所述待识别医学图像所对应的病灶识别结果。
在一种可能的设计中，在本申请实施例的第五方面的第一种实现方式中，所述图像识别装置还包括处理模块；
所述处理模块，用于通过所述医学图像分类模型的卷积层对所述待识别医学图像进行处理，得到所述待识别医学图像所对应的特征图，其中，所述特征图具有N个通道，所述N为大于1的整数；
所述生成模块，还用于根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
所述生成模块，具体用于根据所述热力图以及所述物体轮廓图，生成所述待识别医学图像所对应的病灶识别结果。
在一种可能的设计中，在本申请实施例的第五方面的第二种实现方式中，
所述获取模块，具体用于通过所述医学图像分类模型的卷积层获取所述待识别医学图像所对应的特征图；
通过所述医学图像分类模型中的全局平均池化层，对所述特征图进行处理，得到特征向量；
根据所述特征向量与所述权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，所述C为大于或等于1的整数；
根据所述C个类别预测得分，从C个类别中确定所述病灶分类结果。
在一种可能的设计中，在本申请实施例的第五方面的第三种实现方式中，
所述获取模块，具体用于采用如下方式计算所述类别预测得分：
Figure 609844DEST_PATH_IMAGE001
；
其中，所述
Figure 556771DEST_PATH_IMAGE002
表示第c个类别所对应的类别预测得分，所述C表示所述类别的总 数，所述
Figure 260285DEST_PATH_IMAGE003
表示第n个通道的特征图，所述
Figure 8798DEST_PATH_IMAGE004
表示在所述特征图中的空间位置，所 述
Figure 481368DEST_PATH_IMAGE005
表示所述第n个通道的特征图对预测为第c个类别的权重参数。
在一种可能的设计中，在本申请实施例的第五方面的第四种实现方式中，
所述生成模块，具体用于采用如下方式生成所述热力图：
Figure 860397DEST_PATH_IMAGE006
；
其中，所述
Figure 988890DEST_PATH_IMAGE007
表示第c个类别所对应的热力图，所述热力图为经过上采样 后得到的，所述
Figure 213198DEST_PATH_IMAGE008
表示第n个通道的特征图，所述
Figure 540274DEST_PATH_IMAGE009
表示在所述特征图中的空 间位置，所述
Figure 401788DEST_PATH_IMAGE010
表示所述第n个通道的特征图对预测为所述第c个类别的权重参数，所述 第c个类别属于所述病灶分类结果。
在一种可能的设计中，在本申请实施例的第五方面的第五种实现方式中，
所述获取模块，具体用于基于导向反向传播算法，根据所述病灶分类结果获取所述梯度传播结果，其中，所述导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
在一种可能的设计中，在本申请实施例的第五方面的第六种实现方式中，
所述生成模块，具体用于采用如下方法生成所述病灶识别结果：
Figure 79894DEST_PATH_IMAGE011
⊙
Figure 107893DEST_PATH_IMAGE012
；
其中，所述
Figure 492738DEST_PATH_IMAGE013
表示第c个类别所对应的病灶识别结果，所述
Figure 947990DEST_PATH_IMAGE014
表 示所述第c个类别所对应的物体轮廓图，所述
Figure 847813DEST_PATH_IMAGE015
表示第c个类别所对应的热力图， 所述热力图为经过上采样后得到的，所述第c个类别属于所述病灶分类结果，⊙为表示逐点 相乘。
本申请第六方面提供一种图像识别结果展示装置，包括：
获取模块，用于获取待识别医学图像；
所述获取模块，还用于通过所述医学图像分类模型获取所述待识别医学图像所对应的特征图，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
所述获取模块，还用于基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
生成模块，用于根据所述获取模块获取的所述梯度传播结果，生成所述待识别医学图像所对应的物体轮廓图；
所述生成模块，还用于根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
所述生成模块，还用于根据所述热力图以及所述物体轮廓图，生成所述待识别医学图像所对应的病灶识别结果；
展示模块，用于展示所述生成模块生成的所述待识别医学图像所对应的病灶识别结果。
本申请第七方面提供一种终端设备，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待识别医学图像；
通过医学图像分类模型获取所述待识别医学图像所对应的医学图像内容识别结果；
基于反向梯度传播算法，根据所述医学图像内容识别结果获取梯度传播结果；
根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；
根据所述物体轮廓图生成所述待识别医学图像所对应的图像识别结果；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本申请第八方面提供一种终端设备，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待识别医学图像；
通过医学图像分类模型获取所述待识别医学图像所对应的病灶分类结果；
基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；
根据所述物体轮廓图生成所述待识别医学图像所对应的病灶识别结果；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本申请第九方面提供一种终端设备，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待识别医学图像；
通过所述医学图像分类模型获取所述待识别医学图像所对应的特征图，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；
根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图以及所述物体轮廓图，生成所述待识别医学图像所对应的病灶识别结果；
展示所述待识别医学图像所对应的病灶识别结果；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本申请第十方面提供一种医疗系统，包括：探头、电路、处理器以及显示器；
所述电路，用于激励所述探头获取待识别医学图像；
所述处理器，用于处理所述待识别医学图像；
所述显示器，用于显示所述图像识别结果；
其中，所述处理器还执行如下步骤：
通过医学图像分类模型获取所述待识别医学图像所对应的医学图像内容识别结果；
基于反向梯度传播算法，根据所述医学图像内容识别结果获取梯度传播结果；
根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；
根据所述物体轮廓图生成所述待识别医学图像所对应的图像识别结果。
本申请第十一方面提供一种医疗系统，包括：探头、电路、处理器以及显示器；
所述电路，用于激励所述探头获取待识别医学图像；
所述处理器，用于处理所述待识别医学图像；
所述显示器，用于显示所述病灶识别结果；
其中，所述处理器还执行如下步骤：
通过医学图像分类模型获取所述待识别医学图像所对应的病灶分类结果；
基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；
根据所述物体轮廓图生成所述待识别医学图像所对应的病灶识别结果；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本申请第十二方面提供一种医疗系统，包括：探头、电路、处理器以及显示器；
所述电路，用于激励所述探头获取待识别医学图像；
所述处理器，用于处理所述待识别医学图像；
所述显示器，用于显示所述病灶识别结果；
其中，所述处理器还执行如下步骤：
通过所述医学图像分类模型获取所述待识别医学图像所对应的特征图，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图；
根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图以及所述物体轮廓图，生成所述待识别医学图像所对应的病灶识别结果。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种医学图像识别方法，首先获取待识别医学图像，然后通过医学图像分类模型获取待识别医学图像所对应的病灶分类结果，基于反向梯度传播算法，根据病灶分类结果获取物体轮廓图，最后根据物体轮廓图生成待识别医学图像所对应的病灶识别结果。通过上述方式，在得到基于医学图像病灶分类结果的同时，还可以得到一个物体轮廓图，这个物体轮廓图是学习出了整个图像所有物体的一个轮廓特征。由于物体轮廓图是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更高分辨率且更清晰，与待识别医学图像结合能够得到清晰可视化的分类结果解释图。
附图说明
图1A为本申请实施例中病灶识别系统的一个架构示意图；
图1B为本申请实施例中生成病灶识别结果的一个整体结构示意图；
图2A为本申请实施例中基于病灶识别系统的一个处理流程示意图；
图2B为本申请实施例中基于病灶识别系统的一个产品示意图；
图3A为本申请实施例中医学图像处理方法一个实施例示意图；
图3B为本申请实施例中医学图像识别方法一个实施例示意图；
图4为本申请实施例中生成热力图的一个流程示意图；
图5为本申请实施例中基于病灶分类结果生成热力图的一个实施例示意图；
图6为本申请实施例中基于病灶分类结果生成物体轮廓图的一个实施例示意图；
图7为本申请实施例中基于病灶识别结果的一个分类结果解释图；
图8为本申请实施例中医学图像分类模型的一个结构示意图；
图9为本申请实施例中前向传播和反向传播的一个对比示意图；
图10为本申请实施例中四类传播算法的一个对比示意图；
图11为本申请实施例中医学图像识别方法另一个实施例示意图；
图12为本申请实施例中图像识别结果展示的方法一个实施例示意图；
图13为本申请实施例中展示病灶识别结果的一个界面示意图；
图14为本申请实施例中图像识别装置一个实施例示意图；
图15为本申请实施例中图像识别结果展示装置一个实施例示意图；
图16为本申请实施例中图像识别装置一个实施例示意图；
图17为本申请实施例中图像识别装置另一个实施例示意图；
图18为本申请实施例中终端设备的一个结构示意图；
图19为本申请实施例中医疗系统的一个结构示意图。
具体实施方式
本申请实施例提供了一种医学图像识别方法、图像识别结果展示的方法及装置，不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力，提升了基于医学图像进行诊断的可靠性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本申请提供的病灶识别方法以及病灶识别结果展示方法，应用于人工智能（Artificial Intelligence，AI）的医学领域，具体可以应用于基于计算机视觉技术（Computer Vision，CV）的医学图像识别领域。AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
CV计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别（Optical Character Recognition，OCR）、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着科技的快速发展，AI在医疗行业的应用也越来越广泛，在医学领域中最常见的医学图像包含但不仅限于内窥镜图像、血管摄影图像、心血管造影图像、电子计算机断层扫描（computerized tomography，CT）图像、B超图像以及病理图像。由于医学图像直接反映出组织内部所发生的病变，是医生进行疾病诊断的重要依据，甚至是进行某些疾病诊断的最终依据，例如在癌症诊断中，通过对病灶的放射影像学图像进行观察，包括观察是否有阴影、斑块或者血管扩张情况等。本申请主要是针对内窥镜图像进行病灶识别，然而这不应理解为对本申请的限定。
医学图像是医生对病人病情进行了解的重要信息入口，虽然目前高质量的医疗成像设备已经普及，但是对医学图像的准确解读往往需要医生具有专业的知识背景和长期的经验积累。考虑到人口数量大，医疗系统负荷重，有经验的医生数量不足，且主要集中在一线城市的大型三甲医院，从而导致医疗资源非常稀缺。本申请提供的方法能够在对内窥镜图像进行自动诊断的同时，还可以对其依据的区域进行可视化，也就是说在应用深度学习模型得到内窥镜病变类型的同时，还能够得到做出该种决策所依据的区域。该依据为医生指出了应该重点关注的区域，由此，使得模型有了更好的解释性，并且更容易被信服。
为了便于理解，本申请提出了一种医学图像识别方法，该方法应用于图1A 和图1B 所示的病灶识别系统，请参阅图1A，图1A为本申请实施例中病灶识别系统的一个架构示意图，如图所示，病灶识别系统可以包括医疗设备, 医疗设备具体可以是内窥镜设备或者电子显微镜等，医疗设备在采集到待识别的医学图像之后，先对该医学图像进行病灶分类，然后定位出病情分类所依据的区域，最后与原始的医学图像进行结合得到一个可视化的结果，给医生提供一个重点关注的区域。可选地，医疗设备在采集到待识别的医学图像之后，可以将该医学图像发送至终端设备，由终端设备对该医学图像进行病灶分类，然后定位出病情分类所依据的区域，最后与原始的医学图像进行结合得到一个可视化的结果，并展示在界面上。可选地，医疗设备在采集到待识别的医学图像之后，可以将该医学图像发送至服务器，由服务器对该医学图像进行病灶分类，然后定位出病情分类所依据的区域，最后与原始的医学图像进行结合得到一个可视化的结果，服务器将结果反馈给终端设备或者医疗设备，由终端设备或者医疗设备进行展示。
需要说明的是，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑（personal computer，PC），此处不做限定。
本申请提供了一种基于深度学习的内窥镜图像自动诊断方案，同时提供做出该诊断所依据的对应图像上的区域。为了便于理解，请参阅图1B，图1B为本申请实施例中生成病灶识别结果的一个整体结构示意图，如图所示，首先将待识别医学图像输入中医学图像分类模型，该医学图像分类模型是一种基于深度卷积神经网络的模型，主体由卷积层堆叠构成。为了对分类结果进行解释，这里添加两个分支，一个是基于最后一层卷积输出的特征图，将模型预测得分分解到待识别医学图像的各区域，即得到待识别医学图像上每个区域对最终预测为某个种类的贡献，假设由医学图像分类模型预测得到待识别医学图像属于病灶分类结果c，那么得到病灶分类结果c所对应的热力图，可以理解的是，该热力图是经过上采样得到的，从而使得热力图与待识别医学图像的尺寸一致。
另一个分支是采用反向传播算法（如反向导向传播算法）得到一个物体轮廓图，这个物体轮廓图是学习出了整个待识别医学图像中所有物体的一个轮廓特征，与特定类别没有关系，属于较低层的语义信息。由于它是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更高分辨率且更清晰。将热力图和物体轮廓图加权叠加在一起得到最后的分类结果解释图，该分类结果解释图属于病灶识别结果，病灶识别结果还可以包括病灶的名称、发展情况以及建议治疗方案等。
由此可见，在不改动原来医学图像分类模型的基础上，就能够得到分类结果解释图。因此，本申请提供的方法可以很容易地应用在多种分类模型中。
基于上述介绍，下面将以具体产品为例对本申请做进一步介绍，请参阅图2A，图2A为本申请实施例中基于病灶识别系统的一个处理流程示意图，如图所示，具体地：
步骤S1中，首先由医生使用内窥镜设备对病人进行内镜检查；
步骤S2中，接下来由部署好的硬件设备采集得到内窥镜检查的视频材料，该硬件设备可以是视频采集卡，视频材料具体可以是内镜视频；
步骤S3中，然后使用脚本将采集好的内镜视频划分为图片帧；
步骤S4中，再将内镜视频中的每一个图片帧传给后台的AI引擎；
步骤S5中，由AI引擎调用已经训练好的算法模型，输出该图片帧的分类结果（即对应的病变类型），以及得到该分类结果对应的依据部位（即输出一个热力图）。
本申请提供的技术方案不仅能输出对应的病变类型，同时还能够输出通过神经网络模型做出该分类所依据的区域，弥补神经网络黑箱、不可解释的弊端。给医生和患者一个可视化的结果，使分类产品更具有信服力。请参阅图2B，图2B为本申请实施例中基于病灶识别系统的一个产品示意图，如图所示，具体地，AI引擎返回的结果包括一个类别结果和一个热力图，热力图中深色部分（比如红色部分）就是对此分类结果贡献比较大的像素区域，也正是医生需要重点关注的区域。为了更好地将可视化图呈现给医生，可以将热力图叠加到原图，帮助医生快速定位值得关注的区域；还可以给热力图设置一个阈值，例如以127为阈值得到一个轮廓线，按照阈值在原图上画出轮廓线呈现给医生。可以理解的是，红绿蓝（redgreen blue，RGB）图像像素范围是0-255。
本申请所提供的产品能够辅助医生诊疗，医生只需要使用相应的内镜设备进行视频采集，系统能够自动对视频分帧并传送给后台的AI引擎，并返回每一帧图像对应的病变类别和分类依据区域。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。结合上述介绍，下本申请实施例提供的方案涉及人工智能的图像识别等技术，具体通过如下实施例进行说明，请参阅图3A，本申请实施例中医学图像处理方法一个实施例包括：
A1、获取待识别医学图像；
本实施例中，图像识别装置获取待识别医学图像，该图像识别装置可以部署于终端设备，或者服务器上，又或者医疗设备上，此处不做限定。待识别医学图像不同类型的医学图像，比如CT图像或者显微镜图像等。
A2、通过医学图像分类模型获取待识别医学图像所对应的医学图像内容识别结果；
本实施例中，图像识别装置将待识别医学图像输入至医学图像分类模型，由医学图像分类模型输出待识别医学图像所对应的医学图像内容识别结果，此外，在输出医学图像内容识别结果的过程中，经过多层级联的卷积层后可以输出特征图。可以理解的是，医学图像分类模型是一个基于深度卷积的神经网络，例如视觉几何组(Visual GeometryGroup，VGG)、残差网络（Residual Network，res-net）或者密集网络（dense-net），医学图像分类模型的主体是由卷积层堆叠而成的。
具体地，假设输入的待识别医学图像为一个红绿蓝（red green blue，RGB）图像， 该待识别医学图像的尺寸表示为H*W*3，例如224*224*3。经过多层级联的卷积层和池化层 之后，获取经过最后一个卷积层后输出的特征图。可以理解的是，通过卷积核提取出来的每 个特征图都蕴含了图像的部分空间特征，且越到后面的卷积层对应的感受野越大，也就能 够提取到更加全局化的语义特征。其中，特征图表示为
Figure 741820DEST_PATH_IMAGE016
，特征图
Figure 309067DEST_PATH_IMAGE017
中的n表 示第n个通道的特征图，即n=0,1,2,…,N-1，该特征图的尺寸表示为X*Y*N，假设尺寸为7*7* 1024，则N=1024，
Figure 669642DEST_PATH_IMAGE018
表示在特征图中的空间位置，即x=0,1,2,…,X-1，y=0,1,2,…,Y- 1。
特征图经过全局平均池化层，即对每一个通道的特征图求得其平均值，得到向量（其尺寸为1*N, 例如1*1024）,该向量再通过全连接层映射到每一个类别的预测得分（其尺寸为1xC，C为类别的个数）。从所有类别中取得分最高的类别作为对待识别医学图像的医学图像内容识别结果。
A3、基于反向梯度传播算法，根据医学图像内容识别结果获取梯度传播结果；
本实施例中，图像识别装置采用反向梯度传播算法，根据病灶分类结果获取梯度传播结果，具体地，这里的反向梯度传播算法可以是导向反向传播算法。
A4、根据梯度传播结果生成待识别医学图像所对应的物体轮廓图；
本实施例中，图像识别装置利用梯度传播结果生成待识别医学图像所对应的物体轮廓图，可以理解的是，图像识别装置生成物体轮廓图的方式可以参阅上述实施例，此处不做赘述。
A5、根据物体轮廓图生成待识别医学图像所对应的图像识别结果。
本实施例中，图像识别装置将步骤A4中生成的物体轮廓图与原图（即待识别医学图像）进行叠加，从而生成分类结果解释图。可以理解的是，病灶识别结果可以仅包括分类结果解释图，也可以既包括分类结果解释图，又包括与病灶分类结果相关的信息，比如，病灶分类结果的名称，病灶的发展情况，患者的相关资料等。
本申请实施例中，提供了一种医学图像识别方法，在得到基于医学图像病灶分类结果的同时，还可以得到一个物体轮廓图，这个物体轮廓图是学习出了整个图像所有物体的一个轮廓特征。由于物体轮廓图是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更高分辨率且更清晰，与待识别医学图像结合能够得到清晰可视化的分类结果解释图。
结合上述介绍，下本申请实施例提供的方案涉及人工智能的图像识别等技术，具体通过如下实施例进行说明，请参阅图3B，本申请实施例中医学图像识别方法一个实施例包括：
101、获取待识别医学图像；
本实施例中，图像识别装置获取待识别医学图像，该图像识别装置可以部署于终端设备，或者服务器上，又或者医疗设备上，此处不做限定。待识别医学图像具体是内窥镜图像，本申请涉及的内窥镜图像包含但不仅限于胃肠道的内窥镜图像、胰腺的内窥镜图像、胆道的内窥镜图像、呼吸道的内窥镜图像以及泌尿道的内窥镜图像。
102、通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果，其中，特征图为通过医学图像分类模型的卷积层对待识别医学图像进行卷积处理后得到的，特征图具有N个通道，N为大于1的整数；
本实施例中，图像识别装置将待识别医学图像输入至医学图像分类模型，由医学图像分类模型输出待识别医学图像所对应的病灶分类结果，此外，在输出病灶分类结果的过程中，经过多层级联的卷积层后可以输出特征图。可以理解的是，医学图像分类模型是一个基于深度卷积的神经网络，例如VGG、res-net或者dense-net，医学图像分类模型的主体是由卷积层堆叠而成的。
具体地，假设输入的待识别医学图像为一个RGB图像，该待识别医学图像的尺寸表 示为H*W*3，例如224*224*3。经过多层级联的卷积层和池化层之后，获取经过最后一个卷积 层后输出的特征图。可以理解的是，通过卷积核提取出来的每个特征图都蕴含了图像的部 分空间特征，且越到后面的卷积层对应的感受野越大，也就能够提取到更加全局化的语义 特征。其中，特征图表示为
Figure 260023DEST_PATH_IMAGE019
，特征图
Figure 895404DEST_PATH_IMAGE020
中的n表示第n个通道的特征图，即n =0,1,2,…,N-1，该特征图的尺寸表示为X*Y*N，假设尺寸为7*7*1024，则N=1024，
Figure 785999DEST_PATH_IMAGE021
表 示在特征图中的空间位置，即x=0,1,2,…,X-1，y=0,1,2,…,Y-1。
特征图经过全局平均池化层，即对每一个通道的特征图求得其平均值，得到向量（其尺寸为1*N, 例如1*1024）,该向量再通过全连接层映射到每一个类别的预测得分（其尺寸为1xC，C为类别的个数）。从所有类别中取得分最高的类别作为对待识别医学图像的病灶分类结果。
以小肠的类别为例，类别包含但不仅限于小肠肿瘤、平滑肌肿瘤、肉瘤、息肉、淋巴瘤以及炎症等。
103、根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
本实施例中，图像识别装置根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，即特征图中的每个通道对应一个权重参数，该权重参数可以是根据经验值预先设定好的，或者训练得到的，此处不做限定。
对于C个类别，每个类别都能够得到一张热力图，为了便于说明，请参阅图4，图4为本申请实施例中生成热力图的一个流程示意图，如图所示，以肠镜下类别为“息肉种类2”为例进行介绍，将待识别医学图像输入至多个卷积层，由最后一个卷积层输出特征图，通过最后一层特征图加权求和得到热力图，并将该热力图叠加到原图（即待识别医学图像）上，表示了待识别医学图像上哪个区域决定了最终预测的息肉种类2，热力图中高亮的区域与病灶（呈椭圆形凸起的息肉）吻合，表明模型不光预测正确，而且预测依据的区域也正确。
在实际应用中，对热力图进行上采样，然后得到与原图（即待识别医学图像）一样的尺寸，从而可以将热力图叠加到原图（即待识别医学图像）上去展示，便于肉眼观察。上采样的主要目的是放大图像，从而可以显示在更高分辨率的显示设备上。上采样的原理是在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。插值算法包括传统插值，基于边缘图像的插值，还有基于区域的图像插值。
为了便于介绍，请参阅图5，图5为本申请实施例中基于病灶分类结果生成热力图的一个实施例示意图，如图所示，图5中的（a）图为原图，即待识别医学图像，图5中的（b）图为待识别医学图像所对应的热力图，将（a）图和（b）图叠加后得到分类结果解释图。
104、根据热力图生成待识别医学图像所对应的病灶识别结果。
本实施例中，图像识别装置将步骤103中生成的热力图与原图（即待识别医学图像）进行叠加，从而生成分类结果解释图。可以理解的是，病灶识别结果可以仅包括分类结果解释图，也可以既包括分类结果解释图，又包括与病灶分类结果相关的信息，比如，病灶分类结果的名称，病灶的发展情况，患者的相关资料等。
本申请实施例中，提供了一种医学图像识别方法，首先获取待识别医学图像，然后通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果，该特征图为通过医学图像分类模型的卷积层对待识别医学图像进行卷积处理后得到的，特征图具有N个通道，再根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，权重参数集合包括N个权重参数，权重参数与通道具有对应关系，最后根据热力图生成待识别医学图像所对应的病灶识别结果。通过上述方式，在得到基于医学图像病灶分类结果的同时，还能够利用热力图对该病灶分类结果所对应的判别区域进行可视化处理，不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力。对医生和患者而言，也能够更放心的使用该医疗系统，提升了基于医学图像进行诊断的可靠性。
可选地，在上述图3B对应的实施例的基础上，本申请实施例提供的医学图像识别方法第一个可选实施例中，通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果之后，还可以包括：
基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
根据梯度传播结果生成待识别医学图像所对应的物体轮廓图；
根据热力图生成待识别医学图像所对应的病灶识别结果，可以包括：
根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果。
本实施例中，介绍了一种基于热力图以及物体轮廓图生成病灶识别结果的方法，采用步骤101至步骤104的方式，能够预测得到待识别医学图像在各个类别下所对应的热力图，热力图能够很好地区分不同类别的判断区域，但是热力图的分辨率相对较低，轮廓不够明显，为了能够得到更加高清的图像，本申请引入了另一个分支，即采用反向梯度传播算法生成待识别医学图像所对应的物体轮廓图，为了便于介绍，请参阅图6，图6为本申请实施例中基于病灶分类结果生成物体轮廓图的一个实施例示意图，如图所示，图6中的（a）图为原图，即待识别医学图像，图6中的（b）图为待识别医学图像所对应的物体轮廓图，将（a）图和（b）图叠加后得到分类结果解释图。进一步地，为了更好地体现物体轮廓图和热力图的融合过程，请参阅图7，图7为本申请实施例中基于病灶识别结果的一个分类结果解释图，如图所示，图7中的（a）图为待识别医学图像所对应的概率图，即物体轮廓图，图7中的（b）图为待识别医学图像所对应的热力图，图7中的（c）图为物体轮廓图的像素点与热力图的像素点进行逐点相乘后得到的分类结果解释图，由此，将高层次的语义信息（即热力图）与低层次的语义信息（即物体轮廓图）进行结合。
其次，本申请实施例中，提供了一种基于热力图以及物体轮廓图生成病灶识别结果的方法，即先基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果，然后根据梯度传播结果生成待识别医学图像所对应的物体轮廓图，最后基于热力图以及物体轮廓图生成病灶识别结果。通过上述方式，提出了另一个分支，即采用反向梯度传播算法得到一个物体轮廓图，这个物体轮廓图是学习出了整个图像所有物体的一个轮廓特征。由于物体轮廓图是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更高分辨率且更清晰，与热力图结合能够得到清晰可视化的分类结果解释图，从而有利于针对内窥镜图像进行更准确的诊断。
可选地，在上述图3B以及图3B对应的第一个实施例的基础上，本申请实施例提供的医学图像识别方法第二个可选实施例中，通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果，可以包括：
通过医学图像分类模型的卷积层获取待识别医学图像所对应的特征图；
通过医学图像分类模型中的全局平均池化层，对特征图进行处理，得到特征向量；
根据特征向量与权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，C为大于或等于1的整数；
根据C个类别预测得分，从C个类别中确定病灶分类结果。
本实施例中，介绍了一种确定病灶分类结果的方法，对于总共的C个类别，每个类别都能得到一张热力图，为了能够更准确地定位病灶，可以从C个类别中选择其中一个类别作为病灶分类结果。
具体地，假设待识别医学图像所对应的特征图为
Figure 661682DEST_PATH_IMAGE022
，特征图
Figure 536098DEST_PATH_IMAGE023
中的n 表示第n个通道的特征图，即n=0,1,2,…,N-1，该特征图的尺寸表示为X*Y*N，
Figure 709590DEST_PATH_IMAGE024
表示在 特征图中的空间位置，即x=0,1,2,…,X-1，y=0,1,2,…,Y-1。该特征图经过全局平均池化层 （Global Average Pooling，GAP），即对每一个通道的特征图求其平均值，得到特征向量，该 特征向量的尺寸为1*N。基于权重参数集合，将该特征向量通过全连接层映射到每一个类别 的预测得分，即得到C个类别预测得分，其尺寸为1*C，以医疗图像内窥镜图像为例，需要分 类出正常、炎症和癌症，因而C=3。其中，第c个类别预测得分表示为
Figure 923534DEST_PATH_IMAGE025
，c=0,1,…,C-1，最 后，从C个类别预测得分中获取分数最高的类别，作为对待识别医学图像预测的病灶分类结 果。
为了便于理解，请参阅图8，图8为本申请实施例中医学图像分类模型的一个结构示意图，如图所示，具体地，首先输入一个待识别医学图像，通过卷积层执行卷积操作，提取底层到高层的特征，发掘出待识别医学图像局部关联性质和空间不变性质。卷积层在医学图像分类模型中扮演着很重要的角色，即特征的抽象和提取。然后经过池化层执行降采样操作，从而可以过滤掉一些不重要的高频信息。池化操作用于卷积操作之后，其作用在于特征融合和降维。由于最后的全局平均池化层抹去了空间信息，从而将三维矩阵变成向量，为了对分类结果做出解释，将最终预测分解定位到待识别医学图像上的各区域，需要充分利用全局平均池化层之前的最后一个卷积层。
可以理解的是，图8中医学图像分类模型的结构仅为一个示意，本申请对该医学图像分类模型的网络结构、训练方法、优化器类型、数据增强方法、预处理方法以及正则化方法等不做限定。
其次，本申请实施例中，提供了一种确定病灶分类结果的方法，即先通过卷积层获取待识别医学图像所对应的特征图，然后通过池化层获取特征向量，根据特征向量与权重参数集合各个类别下的得分，最终选择得分最高的作为病灶分类结果。通过上述方式，可以确定待识别医学图像的病灶分类结果，从而准确地定位类别，由此提升方案的可靠性和准确度。
可选地，在上述图3B对应的第二个实施例的基础上，本申请实施例提供的医学图像识别方法第三个可选实施例中，根据特征向量与权重参数集合，计算得到C个类别预测得分，可以包括：
采用如下方式计算类别预测得分：
Figure 157069DEST_PATH_IMAGE026
；
其中，
Figure 253201DEST_PATH_IMAGE027
表示第c个类别所对应的类别预测得分，C表示类别的总数，
Figure 292701DEST_PATH_IMAGE028
表示 第n个通道的特征图，
Figure 423468DEST_PATH_IMAGE029
表示在特征图中的空间位置，
Figure 562325DEST_PATH_IMAGE030
表示第n个通道的特征图对 预测为第c个类别的权重参数。
本实施例中，介绍了一种计算类别预测得分的具体方式，最后输出的预测为第c个类别所对应的类别预测得分表示为：
Figure 349016DEST_PATH_IMAGE031
；
其中，利用全局平均池化层得到
Figure 864311DEST_PATH_IMAGE032
，再利用全连接层得到
Figure 849584DEST_PATH_IMAGE033
，全连接层的输入层到隐藏层的神经元是全部连接的，全连接层一个作用是去除空间信息 （通道数），是一种将三维矩阵变成向量的过程，即全卷积操作。
再次，本申请实施例中，提供了一种计算类别预测得分的具体方式，通过上述方式，为方案的实现提供了可行的依据，从而提升方案的可操作性。
可选地，在上述图3B对应的实施例的基础上，本申请实施例提供的医学图像识别方法第四个可选实施例中，根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，可以包括：
采用如下方式生成热力图：
Figure 736507DEST_PATH_IMAGE034
；
其中，
Figure 72810DEST_PATH_IMAGE035
表示第c个类别所对应的热力图，该热力图为经过上采样后得到 的，
Figure 126217DEST_PATH_IMAGE037
表示第n个通道的特征图，
Figure 169259DEST_PATH_IMAGE038
表示在特征图中的空间位置，
Figure 915498DEST_PATH_IMAGE039
表示第n个通 道的特征图对预测为第c个类别的权重参数，第c个类别属于病灶分类结果。
本实施例中，介绍了一种生成热力图的具体方式，基于上述类别预测得分的表达式，可以进行如下推导：
Figure 207939DEST_PATH_IMAGE040
；
即，
Figure 392933DEST_PATH_IMAGE041
；
Figure 352799DEST_PATH_IMAGE042
表示第n个通道的特征图对预测为第c个类别的权重参数，也就是第n个通道 的特征对预测为第c个种类的贡献，从上述式子可知，最终预测到第c个类别所对应的类别 预测得分
Figure 207622DEST_PATH_IMAGE043
可以分解到每个局部区域，换言之，
Figure 252939DEST_PATH_IMAGE044
上每个位置的值越大，表示待识 别医学图像上对应区域对分类预测的贡献越大，因此，可以看做分类预测的热力图。而
Figure 913727DEST_PATH_IMAGE045
可以通过最后一层卷积层输出的特征图
Figure 541149DEST_PATH_IMAGE046
和训练好的 权重参数
Figure 629190DEST_PATH_IMAGE047
加权求和得到，由此可见，热力图
Figure 161803DEST_PATH_IMAGE048
尺寸和最后一层特征图
Figure 563965DEST_PATH_IMAGE049
的尺寸相同。
其次，本申请实施例中，提供了一种生成热力图的具体方式，通过上述方式，为方案的实现提供了可行的依据，从而提升方案的可操作性。
可选地，在上述图3B对应的第一个实施例的基础上，本申请实施例提供的医学图像识别方法第五个可选实施例中，基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果，可以包括：
基于导向反向传播算法，根据病灶分类结果获取梯度传播结果，其中，导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
本实施例中，介绍利用导向反向传播算法生成梯度传播结果的方法。首先结合图 9，对前向传播和反向传播进行介绍，请参阅图9，图9为本申请实施例中前向传播和反向传 播的一个对比示意图，如图所示，深度学习网络通过前向传播从输入图像得到最后的标签， 通过反向传播思想和梯度下降方法训练网络以最小化网络预测标签和真实标签之间的差 距。在前向传播中，沿着神经网络输入到输出的方向，初始输入图像为
Figure 232844DEST_PATH_IMAGE050
，经过L层网络后 得到特征图
Figure 819683DEST_PATH_IMAGE051
。在反向传播中，沿着神经网络输出到输入的方向，特征图为
Figure 839592DEST_PATH_IMAGE052
，经过L层 网络后得到图像
Figure 779866DEST_PATH_IMAGE053
。反向传播算法可以方便的求出损失函数对每个参数的导数，其基本 原理是求导时的链式法则，得到的导数用于梯度下降方法来进行模型训练优化。
根据上述介绍，本申请可以采用普通反向传播算法、反卷积算法或者导向反向传播算法，得到梯度传播结果，其中，导向反向传播算法能得到比普通基于梯度的方法和转置卷积方法更鲜明的物体轮廓。为了便于说明，请参阅图10，图10为本申请实施例中四类传播算法的一个对比示意图，如图所示，在前向传播的过程中，是将输入值大于0所对应的梯度向前传播。在普通反向传播的过程中，将输入值大于0所对应的梯度进行回传。在反卷积的过程中，将梯度大于0所对应的梯度进行回传。在导向反向传播的过程中，将输入值和梯度均大于0所对应的梯度进行回传。
具体地，采用
Figure 303251DEST_PATH_IMAGE055
表示第l层的输出，经过池化函数后得到激活结果为
Figure 998675DEST_PATH_IMAGE056
。普通反向传播的算法是将输入大于零所对应的梯度传回 去，即
Figure 551885DEST_PATH_IMAGE057
，其中
Figure 92587DEST_PATH_IMAGE058
。而导向反向函数是将输入值和梯度都大 于0的位置所对应的梯度传递回去，即
Figure 1638DEST_PATH_IMAGE059
。导向反向传播后得到 的梯度传播结果是和原图（即待识别医学图像）具有一样尺寸，且与类别无法的物体轮廓图
Figure 540066DEST_PATH_IMAGE060
，该物体轮廓图
Figure 268988DEST_PATH_IMAGE061
蕴含了跟原图（即待识别医学图像）分辨率对齐的物体 信息。
可以理解的是，池化函数包含但不仅限于线性整流（Rectified Linear Unit，ReLU）函数、sigmoid函数以及双曲正切（tanh）函数。
再次，本申请实施例中，提供了一种基于基于导向反向传播算法获取梯度传播结果的方法，通过上述方式，基于导向反向传播算法，可以将输入和梯度都大于零的位置所对应的梯度传递回去。因此，导向反向传播算法回传的梯度更少，激活的是对类别更加敏感的那些像素点，从而使得最后的物体轮廓图也更加清晰鲜明。
可选地，在上述图3B对应的第一个实施例的基础上，本申请实施例提供的医学图像识别方法第六个可选实施例中，根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果，可以包括：
采用如下方法生成病灶识别结果：
Figure 613382DEST_PATH_IMAGE062
⊙
Figure 439255DEST_PATH_IMAGE063
；
其中，
Figure 945323DEST_PATH_IMAGE064
表示第c个类别所对应的病灶识别结果，
Figure 427120DEST_PATH_IMAGE065
表示第c个 类别所对应的物体轮廓图，
Figure 512887DEST_PATH_IMAGE066
表示第c个类别所对应的热力图，该热力图为经过上 采样后得到的，第c个类别属于病灶分类结果，⊙为表示逐点相乘。
本实施例中，介绍了一种生成病灶识别结果的具体方式。基于热力图可以得到不 同类别的粗略定位，基于反向导向传播算法可以得到高分辨率，且细粒度的可视化物体轮 廓图。本申请将上采样的热力图和反向导向传播得到的物体轮廓图逐点相乘便能够得到最 后的较为清晰的分类结果解释图，可以理解的是，当病灶识别结果即为分类结果解释图时， 则生成的
Figure 865371DEST_PATH_IMAGE067
表示病灶识别结果，如果病灶识别结果还包括其他信息，那么
Figure 73499DEST_PATH_IMAGE068
表示分类结果解释图。
这样就能够将具有判别力的高层次语义信息和低层次的图像信息相结合，得到同时兼具类别解释性和清晰度的可视化图。
再次，本申请实施例中，提供了一种生成病灶识别结果的具体方式，通过上述方式，为方案的实现提供了可行的依据，从而提升方案的可操作性。
结合上述介绍，下面将对本申请中医学图像识别方法进行介绍，请参阅图11，本申请实施例中医学图像识别方法一个实施例包括：
201、获取待识别医学图像；
本实施例中，图像识别装置获取待识别医学图像，该图像识别装置可以部署于终端设备，或者服务器上，又或者医疗设备上，此处不做限定。待识别医学图像具体是内窥镜图像，本申请涉及的内窥镜图像包含但不仅限于胃肠道的内窥镜图像、胰腺的内窥镜图像、胆道的内窥镜图像、呼吸道的内窥镜图像以及泌尿道的内窥镜图像。
202、通过医学图像分类模型获取待识别医学图像所对应的病灶分类结果；
本实施例中，图像识别装置将待识别医学图像输入至医学图像分类模型，由医学图像分类模型输出待识别医学图像所对应的病灶分类结果，此外，在输出病灶分类结果的过程中，经过多层级联的卷积层后可以输出特征图。可以理解的是，医学图像分类模型是一个基于深度卷积的神经网络，例如VGG、res-net或者dense-net，医学图像分类模型的主体是由卷积层堆叠而成的。
经过多层级联的卷积层和池化层之后，获取经过最后一个卷积层后输出的特征图，该特征图再经过全局平均池化层，即对每一个通道的特征图求得其平均值，得到向量（其尺寸为1*N）,该向量再通过全连接层映射到每一个类别的预测得分（其尺寸为1xC，C为类别的个数）。从所有类别中取得分最高的类别作为对待识别医学图像的病灶分类结果。
以小肠的类别为例，类别包含但不仅限于小肠肿瘤、平滑肌肿瘤、肉瘤、息肉、淋巴瘤以及炎症等。
203、基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
本实施例中，图像识别装置采用反向梯度传播算法，根据病灶分类结果获取梯度传播结果，具体地，这里的反向梯度传播算法可以是导向反向传播算法。
204、根据梯度传播结果生成待识别医学图像所对应的物体轮廓图；
本实施例中，图像识别装置利用梯度传播结果生成待识别医学图像所对应的物体轮廓图，可以理解的是，图像识别装置生成物体轮廓图的方式可以参阅上述实施例，此处不做赘述。
205、根据物体轮廓图生成待识别医学图像所对应的病灶识别结果。
本实施例中，图像识别装置将步骤204中生成的物体轮廓图与原图（即待识别医学图像）进行叠加，从而生成分类结果解释图。可以理解的是，病灶识别结果可以仅包括分类结果解释图，也可以既包括分类结果解释图，又包括与病灶分类结果相关的信息，比如，病灶分类结果的名称，病灶的发展情况，患者的相关资料等。
本申请实施例中，提供了一种医学图像识别方法，首先获取待识别医学图像，然后通过医学图像分类模型获取待识别医学图像所对应的病灶分类结果，基于反向梯度传播算法，根据病灶分类结果获取物体轮廓图，最后根据物体轮廓图生成待识别医学图像所对应的病灶识别结果。通过上述方式，在得到基于医学图像病灶分类结果的同时，还可以得到一个物体轮廓图，这个物体轮廓图是学习出了整个图像所有物体的一个轮廓特征。由于物体轮廓图是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更高分辨率且更清晰，与待识别医学图像结合能够得到清晰可视化的分类结果解释图。
可选地，在上述图11对应的实施例的基础上，本申请实施例提供的医学图像识别方法第一个可选实施例中，还可以包括：
通过医学图像分类模型获取待识别医学图像所对应的特征图，其中，特征图为通过医学图像分类模型的卷积层对待识别医学图像进行卷积处理后得到的，特征图具有N个通道，N为大于1的整数；
根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
根据物体轮廓图生成待识别医学图像所对应的病灶识别结果，可以包括：
根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果。
本实施例中，介绍了一种基于热力图以及物体轮廓图生成病灶识别结果的方法，采用步骤201至步骤205的方式，能够预测得到待识别医学图像所对应的物体轮廓图，物体轮廓图能够很好保留了高分辨率的图像轮廓信息，但是与特定的类别没有关系，为了能够很好地区分不同类别的判断区域，本申请引入了另一个分支，即根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图。
具体地，假设输入的待识别医学图像为一个RGB图像，该待识别医学图像的尺寸表 示为H*W*3，经过多层级联的卷积层和池化层之后，获取经过最后一个卷积层后输出的特征 图。其中，特征图表示为
Figure 590062DEST_PATH_IMAGE069
，特征图
Figure 10679DEST_PATH_IMAGE070
中的n表示第n个通道的特征图，即n= 0,1,2,…,N-1，该特征图的尺寸表示为X*Y*N，
Figure 748828DEST_PATH_IMAGE071
表示在特征图中的空间位置，即x=0, 1,2,…,X-1，y=0,1,2,…,Y-1。
图像识别装置根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，即特征图中的每个通道对应一个权重参数，该权重参数可以是根据经验值预先设定好的，或者训练得到的，此处不做限定。对于C个类别，每个类别都能够得到一张热力图，可以理解的是，热力图的生成流程可以参阅图4以及图4对应的相关描述，此处不做赘述。在实际应用中，还需要对热力图进行上采样，然后得到与原图（即待识别医学图像）一样的尺寸，从而可以将热力图叠加到原图（即待识别医学图像）上去展示。图像识别装置将热力图以及物体轮廓图进行，生成待识别医学图像所对应的病灶识别结果。具体地，可以将物体轮廓图的像素点与热力图的像素点进行逐点相乘后得到的分类结果解释图，基于分类结果解释图生成病灶识别结果。由此，将高层次的语义信息（即热力图）与低层次的语义信息（即物体轮廓图）进行结合。
其次，本申请实施例中，提供了一种基于热力图以及物体轮廓图生成病灶识别结果的方法，即通过医学图像分类模型的卷积层对待识别医学图像进行处理，得到待识别医学图像所对应的特征图，然后根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，最后根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果。通过上述方式，在得到基于医学图像病灶分类结果的同时，还能够利用热力图对该病灶分类结果所对应的判别区域进行可视化处理，不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力。对医生和患者而言，物体轮廓图与热力图的结合能够得到清晰可视化的分类结果解释图，从而有利于针对内窥镜图像进行更准确的诊断，提升了基于医学图像进行诊断的可靠性。
可选地，在上述图11对应的实施例的基础上，本申请实施例提供的医学图像识别方法第二个可选实施例中，通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果，可以包括：
通过医学图像分类模型的卷积层获取待识别医学图像所对应的特征图；
通过医学图像分类模型中的全局平均池化层，对特征图进行处理，得到特征向量；
根据特征向量与权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，C为大于或等于1的整数；
根据C个类别预测得分，从C个类别中确定病灶分类结果。
本实施例中，介绍了一种确定病灶分类结果的方法，对于总共的C个类别，每个类别都能得到一张热力图，为了能够更准确地定位病灶，可以从C个类别中选择其中一个类别作为病灶分类结果。
具体地，假设待识别医学图像所对应的特征图为
Figure 799960DEST_PATH_IMAGE072
，特征图
Figure 725191DEST_PATH_IMAGE073
中 的n表示第n个通道的特征图，即n=0,1,2,…,N-1，该特征图的尺寸表示为X*Y*N，
Figure 215078DEST_PATH_IMAGE074
表示 在特征图中的空间位置，即x=0,1,2,…,X-1，y=0,1,2,…,Y-1。该特征图经过GAP，即对每一 个通道的特征图求其平均值，得到特征向量，该特征向量的尺寸为1*N。基于权重参数集合， 将该特征向量通过全连接层映射到每一个类别的预测得分，即得到C个类别预测得分，其尺 寸为1*C，以医疗图像内窥镜图像为例，需要分类出正常、炎症和癌症，因而C=3。其中，第c个 类别预测得分表示为
Figure 870051DEST_PATH_IMAGE075
，c=0,1,…,C-1，最后，从C个类别预测得分中获取分数最高的类 别，作为对待识别医学图像预测的病灶分类结果。
为了便于理解，请参阅图8，图8为本申请实施例中医学图像分类模型的一个结构示意图，如图所示，具体地，首先输入一个待识别医学图像，通过卷积层执行卷积操作，提取底层到高层的特征，发掘出待识别医学图像局部关联性质和空间不变性质。卷积层在医学图像分类模型中扮演着很重要的角色，即特征的抽象和提取。然后经过池化层执行降采样操作，从而可以过滤掉一些不重要的高频信息。池化操作用于卷积操作之后，其作用在于特征融合和降维。由于最后的全局平均池化层抹去了空间信息，从而将三维矩阵变成向量，为了对分类结果做出解释，将最终预测分解定位到待识别医学图像上的各区域，需要充分利用全局平均池化层之前的最后一个卷积层。
可以理解的是，图8中医学图像分类模型的结构仅为一个示意，本申请对该医学图像分类模型的网络结构、训练方法、优化器类型、数据增强方法、预处理方法以及正则化方法等不做限定。
其次，本申请实施例中，提供了一种确定病灶分类结果的方法，即先通过卷积层获取待识别医学图像所对应的特征图，然后通过池化层获取特征向量，根据特征向量与权重参数集合各个类别下的得分，最终选择得分最高的作为病灶分类结果。通过上述方式，可以确定待识别医学图像的病灶分类结果，从而准确地定位类别，由此提升方案的可靠性和准确度。
可选地，在上述图11对应的实施例的基础上，本申请实施例提供的医学图像识别方法第三个可选实施例中，根据特征向量与权重参数集合，计算得到C个类别预测得分，可以包括：
采用如下方式计算类别预测得分：
Figure 154401DEST_PATH_IMAGE076
；
其中，
Figure 832507DEST_PATH_IMAGE077
表示第c个类别所对应的类别预测得分，C表示类别的总数，
Figure 798189DEST_PATH_IMAGE078
表 示第n个通道的特征图，
Figure 245351DEST_PATH_IMAGE079
表示在特征图中的空间位置，
Figure 700603DEST_PATH_IMAGE080
表示第n个通道的特征图 对预测为第c个类别的权重参数。
本实施例中，介绍了一种计算类别预测得分的具体方式，最后输出的预测为第c个类别所对应的类别预测得分表示为：
Figure 189309DEST_PATH_IMAGE081
；
其中，利用全局平均池化层得到
Figure 20998DEST_PATH_IMAGE082
，再利用全连接层得到
Figure 57088DEST_PATH_IMAGE083
，全连接层的输入层到隐藏层的神经元是全部连接的，全连接层一个 作用是去除空间信息（通道数），是一种将三维矩阵变成向量的过程，即全卷积操作。
再次，本申请实施例中，提供了一种计算类别预测得分的具体方式，通过上述方式，为方案的实现提供了可行的依据，从而提升方案的可操作性。
可选地，在上述图11对应的实施例的基础上，本申请实施例提供的医学图像识别方法第四个可选实施例中，根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，可以包括：
采用如下方式生成热力图：
Figure 886503DEST_PATH_IMAGE084
；
其中，
Figure 539202DEST_PATH_IMAGE085
表示第c个类别所对应的热力图，热力图为经过上采样后得到的，
Figure 643424DEST_PATH_IMAGE086
表示第n个通道的特征图，
Figure 127495DEST_PATH_IMAGE087
表示在特征图中的空间位置，
Figure 190129DEST_PATH_IMAGE088
表示第n个通道 的特征图对预测为第c个类别的权重参数，第c个类别属于病灶分类结果。
本实施例中，介绍了一种生成热力图的具体方式，基于上述类别预测得分的表达式，可以进行如下推导：
Figure 798965DEST_PATH_IMAGE089
；
即，
Figure 175719DEST_PATH_IMAGE091
；
Figure 451980DEST_PATH_IMAGE092
表示第n个通道的特征图对预测为第c个类别的权重参数，也就是第n个通道 的特征对预测为第c个种类的贡献，从上述式子可知，最终预测到第c个类别所对应的类别 预测得分
Figure 419936DEST_PATH_IMAGE093
可以分解到每个局部区域，换言之，
Figure 594696DEST_PATH_IMAGE094
上每个位置的值越大，表示待识 别医学图像上对应区域对分类预测的贡献越大，因此，可以看做分类预测的热力图。而
Figure 306300DEST_PATH_IMAGE095
可以通过最后一层卷积层输出的特征图
Figure 437067DEST_PATH_IMAGE096
和训练好的权 重参数
Figure 779187DEST_PATH_IMAGE097
加权求和得到，由此可见，热力图
Figure 628194DEST_PATH_IMAGE098
尺寸和最后一层特征图
Figure 205806DEST_PATH_IMAGE099
的尺寸相同。
其次，本申请实施例中，提供了一种生成热力图的具体方式，通过上述方式，为方案的实现提供了可行的依据，从而提升方案的可操作性。
可选地，在上述图11对应的实施例的基础上，本申请实施例提供的医学图像识别方法第五个可选实施例中，基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果，可以包括：
基于导向反向传播算法，根据病灶分类结果获取梯度传播结果，其中，导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
本实施例中，介绍利用导向反向传播算法生成梯度传播结果的方法。首先结合图 9，对前向传播和反向传播进行介绍，请参阅图9，图9为本申请实施例中前向传播和反向传 播的一个对比示意图，如图所示，深度学习网络通过前向传播从输入图像得到最后的标签， 通过反向传播思想和梯度下降方法训练网络以最小化网络预测标签和真实标签之间的差 距。在前向传播中，沿着神经网络输入到输出的方向，初始输入图像为
Figure 456659DEST_PATH_IMAGE101
，经过L层网络后 得到特征图
Figure 766418DEST_PATH_IMAGE102
。在反向传播中，沿着神经网络输出到输入的方向，特征图为
Figure 40404DEST_PATH_IMAGE103
，经过L层 网络后得到图像
Figure 359390DEST_PATH_IMAGE104
。反向传播算法可以方便的求出损失函数对每个参数的导数，其基本原 理是求导时的链式法则，得到的导数用于梯度下降方法来进行模型训练优化。
根据上述介绍，本申请可以采用普通反向传播算法、反卷积算法或者导向反向传播算法，得到梯度传播结果，其中，导向反向传播算法能得到比普通基于梯度的方法和转置卷积方法更鲜明的物体轮廓。为了便于说明，请参阅图10，图10为本申请实施例中四类传播算法的一个对比示意图，如图所示，在前向传播的过程中，是将输入值大于0所对应的梯度向前传播。在普通反向传播的过程中，将输入值大于0所对应的梯度进行回传。在反卷积的过程中，将梯度大于0所对应的梯度进行回传。在导向反向传播的过程中，将输入值和梯度均大于0所对应的梯度进行回传。
具体地，采用
Figure 199170DEST_PATH_IMAGE105
表示第l层的输出，经过池化函数后得到激活结果为
Figure 256994DEST_PATH_IMAGE107
。普通反向传播的算法是将输入大于零所对应的梯度传回去， 即
Figure 815014DEST_PATH_IMAGE108
，其中
Figure 672112DEST_PATH_IMAGE109
。而导向反向函数是将输入值和梯度都大于0的位 置所对应的梯度传递回去，即
Figure 569660DEST_PATH_IMAGE110
。导向反向传播后得到的梯度 传播结果是和原图（即待识别医学图像）具有一样尺寸，且与类别无法的物体轮廓图
Figure 486801DEST_PATH_IMAGE111
，该物体轮廓图
Figure 532117DEST_PATH_IMAGE112
蕴含了跟原图（即待识别医学图像）分辨率对齐的物体 信息。
可以理解的是，池化函数包含但不仅限于ReLU函数、sigmoid函数以及tanh函数。
再次，本申请实施例中，提供了一种基于基于导向反向传播算法获取梯度传播结果的方法，通过上述方式，基于导向反向传播算法，可以将输入和梯度都大于零的位置所对应的梯度传递回去。因此，导向反向传播算法回传的梯度更少，激活的是对类别更加敏感的那些像素点，从而使得最后的物体轮廓图也更加清晰鲜明。
可选地，在上述图11对应的实施例的基础上，本申请实施例提供的医学图像识别方法第六个可选实施例中，根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果，可以包括：
采用如下方法生成病灶识别结果：
Figure 255223DEST_PATH_IMAGE113
⊙
Figure 69595DEST_PATH_IMAGE114
；
其中，
Figure 157637DEST_PATH_IMAGE115
表示第c个类别所对应的病灶识别结果，
Figure 627932DEST_PATH_IMAGE116
表示第c个 类别所对应的物体轮廓图，
Figure 826832DEST_PATH_IMAGE117
表示第c个类别所对应的热力图，热力图为经过上采样 后得到的，第c个类别属于病灶分类结果，⊙为表示逐点相乘。
本实施例中，介绍了一种生成病灶识别结果的具体方式。基于热力图可以得到不 同类别的粗略定位，基于反向导向传播算法可以得到高分辨率，且细粒度的可视化物体轮 廓图。本申请将上采样的热力图和反向导向传播得到的物体轮廓图逐点相乘便能够得到最 后的较为清晰的分类结果解释图，可以理解的是，当病灶识别结果即为分类结果解释图时， 则生成的
Figure 574340DEST_PATH_IMAGE118
表示病灶识别结果，如果病灶识别结果还包括其他信息，那么
Figure 833283DEST_PATH_IMAGE119
表示分类结果解释图。
这样就能够将具有判别力的高层次语义信息和低层次的图像信息相结合，得到同时兼具类别解释性和清晰度的可视化图。
再次，本申请实施例中，提供了一种生成病灶识别结果的具体方式，通过上述方式，为方案的实现提供了可行的依据，从而提升方案的可操作性。
结合上述介绍，下面将对本申请中图像识别结果展示的方法进行介绍，请参阅图12，本申请实施例中图像识别结果展示的方法一个实施例包括：
301、获取待识别医学图像；
本实施例中，图像识别结果展示装置获取待识别医学图像，该图像识别结果展示装置可以部署于终端设备或者医疗设备上，此处不做限定。待识别医学图像具体是内窥镜图像，本申请涉及的内窥镜图像包含但不仅限于胃肠道的内窥镜图像、胰腺的内窥镜图像、胆道的内窥镜图像、呼吸道的内窥镜图像以及泌尿道的内窥镜图像。
302、通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果，其中，特征图为通过医学图像分类模型的卷积层对待识别医学图像进行卷积处理后得到的，特征图具有N个通道，N为大于1的整数；
图像识别结果展示装置将待识别医学图像输入至医学图像分类模型，由医学图像分类模型输出待识别医学图像所对应的病灶分类结果，此外，在输出病灶分类结果的过程中，经过多层级联的卷积层后可以输出特征图。可以理解的是，医学图像分类模型是一个基于深度卷积的神经网络，医学图像分类模型的主体是由卷积层堆叠而成的。
具体地，假设输入的待识别医学图像为一个RGB图像，该待识别医学图像的尺寸表 示为H*W*3。经过多层级联的卷积层和池化层之后，获取经过最后一个卷积层后输出的特征 图。其中，特征图表示为
Figure 587612DEST_PATH_IMAGE120
，特征图
Figure 793465DEST_PATH_IMAGE121
中的n表示第n个通道的特征图，即n= 0,1,2,…,N-1，该特征图的尺寸表示为X*Y*N，
Figure 316851DEST_PATH_IMAGE122
表示在特征图中的空间位置，即x=0,1, 2,…,X-1，y=0,1,2,…,Y-1。
特征图经过全局平均池化层，即对每一个通道的特征图求得其平均值，得到向量（其尺寸为1*N）,该向量再通过全连接层映射到每一个类别的预测得分（其尺寸为1xC，C为类别的个数）。从所有类别中取得分最高的类别作为对待识别医学图像的病灶分类结果。
以小肠的类别为例，类别包含但不仅限于小肠肿瘤、平滑肌肿瘤、肉瘤、息肉、淋巴瘤以及炎症等。
303、基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
本实施例中，图像识别结果展示装置采用反向梯度传播算法，根据病灶分类结果获取梯度传播结果，具体地，这里的反向梯度传播算法可以是导向反向传播算法。
304、根据梯度传播结果生成待识别医学图像所对应的物体轮廓图；
本实施例中，图像识别结果展示装置利用梯度传播结果生成待识别医学图像所对应的物体轮廓图，可以理解的是，图像识别结果展示装置生成物体轮廓图的方式可以参阅上述实施例，此处不做赘述。
305、根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
本实施例中，图像识别结果展示装置根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，权重参数集合包括N个权重参数，即特征图中的每个通道对应一个权重参数，该权重参数可以是根据经验值预先设定好的，或者训练得到的，此处不做限定。
对于C个类别，每个类别都能够得到一张热力图，可以理解的是，热力图的生成流程可以参阅图4以及图4对应的相关描述，此处不做赘述。在实际应用中，还需要对热力图进行上采样，然后得到与原图（即待识别医学图像）一样的尺寸，从而可以将热力图叠加到原图（即待识别医学图像）上去展示。
306、根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果；
本实施例中，图像识别结果展示装置可以将物体轮廓图的像素点与热力图的像素点进行逐点相乘后得到的分类结果解释图，基于分类结果解释图生成病灶识别结果。由此，将高层次的语义信息（即热力图）与低层次的语义信息（即物体轮廓图）进行结合。
307、展示待识别医学图像所对应的病灶识别结果。
本实施例中，图像识别结果展示装置展示待识别医学图像所对应的病灶识别结果。可以理解的是，病灶识别结果可以仅包括分类结果解释图，也可以既包括分类结果解释图，又包括与病灶分类结果相关的信息，比如，病灶分类结果的名称，病灶的发展情况，患者的相关资料等。
请参阅图13，图13为本申请实施例中展示病灶识别结果的一个界面示意图，如图所示，在医疗系统的界面上展示有分类结果解释图，同时，在该界面上还可以展示其他的相关信息，比如患者姓名为“甲”，患者年龄为“75”，分类结果解释图是针对胃镜图像进行分析后得到的，病灶分类结果是“炎症”。如果医生需要将界面上的信息打印下来，则可以触发界面上的“打印报告”模块，从而生成纸质报告。
本申请实施例中，提供了一种图像识别结果展示的方法，通过上述方式，在得到基于医学图像病灶分类结果的同时，不但能够利用热力图对该病灶分类结果所对应的判别区域进行可视化处理，而且还可以得到一个物体轮廓图，这个物体轮廓图是学习出了整个图像所有物体的一个轮廓特征。由于物体轮廓图是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更高分辨率且更清晰，物体轮廓图与热力图的结合能够得到清晰可视化的分类结果解释图，从而有利于针对内窥镜图像进行更准确的诊断，提升了基于医学图像进行诊断的可靠性。
下面对本申请中的图像识别装置进行详细描述，请参阅图14，图14为本申请实施例中图像识别装置一个实施例示意图，图像识别装置40包括：
获取模块401，用于获取待识别医学图像；
获取模块401，还用于通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果，其中，特征图为通过医学图像分类模型的卷积层对待识别医学图像进行卷积处理后得到的，特征图具有N个通道，N为大于1的整数；
生成模块402，用于根据获取模块401获取的特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
生成模块402，还用于根据热力图生成待识别医学图像所对应的病灶识别结果。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
获取模块401，还用于通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果之后，基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
生成模块402，还用于根据获取模块401获取的梯度传播结果生成待识别医学图像所对应的物体轮廓图；
生成模块402，具体用于根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
获取模块401，具体用于通过医学图像分类模型的卷积层获取待识别医学图像所对应的特征图；
通过医学图像分类模型中的全局平均池化层，对特征图进行处理，得到特征向量；
根据特征向量与权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，C为大于或等于1的整数；
根据C个类别预测得分，从C个类别中确定病灶分类结果。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
获取模块401，具体用于采用如下方式计算类别预测得分：
Figure 746695DEST_PATH_IMAGE124
；
其中，
Figure 316217DEST_PATH_IMAGE125
表示第c个类别所对应的类别预测得分，C表示类别的总数，
Figure 122499DEST_PATH_IMAGE126
表示第n个通道的特征图，
Figure 500390DEST_PATH_IMAGE127
表示在特征图中的空间位置，
Figure 304398DEST_PATH_IMAGE128
表示第n个通道的特征 图对预测为第c个类别的权重参数。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
生成模块402，具体用于采用如下方式生成热力图：
Figure 33320DEST_PATH_IMAGE129
；
其中，
Figure 377713DEST_PATH_IMAGE130
表示第c个类别所对应的热力图，热力图为经过上采样后得到的，
Figure 452855DEST_PATH_IMAGE131
表示第n个通道的特征图，
Figure 224501DEST_PATH_IMAGE132
表示在特征图中的空间位置，
Figure 440719DEST_PATH_IMAGE133
表示第n个通 道的特征图对预测为第c个类别的权重参数，第c个类别属于病灶分类结果。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
获取模块401，具体用于基于导向反向传播算法，根据病灶分类结果获取梯度传播结果，其中，导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
生成模块402，具体用于采用如下方法生成病灶识别结果：
Figure 526487DEST_PATH_IMAGE135
⊙
Figure 144550DEST_PATH_IMAGE136
；
其中，
Figure 821519DEST_PATH_IMAGE137
表示第c个类别所对应的病灶识别结果，
Figure 587350DEST_PATH_IMAGE138
表示第c个类 别所对应的物体轮廓图，
Figure 539125DEST_PATH_IMAGE139
表示第c个类别所对应的热力图，热力图为经过上采样后 得到的，第c个类别属于病灶分类结果，⊙为表示逐点相乘。
下面对本申请中的图像识别结果展示装置进行详细描述，请参阅图15，图15为本申请实施例中图像识别结果展示装置一个实施例示意图，图像识别结果展示装置50包括：
获取模块501，用于获取待识别医学图像；
获取模块501，还用于通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果，其中，特征图为通过医学图像分类模型的卷积层对待识别医学图像进行卷积处理后得到的，特征图具有N个通道，N为大于1的整数；
获取模块501，还用于基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
生成模块502，用于根据获取模块501获取的梯度传播结果，生成待识别医学图像所对应的物体轮廓图；
生成模块502，还用于根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
生成模块502，还用于根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果；
展示模块503，用于展示生成模块502生成的待识别医学图像所对应的病灶识别结果。
下面对本申请中的图像识别装置进行详细描述，请参阅图16，图16为本申请实施例中图像识别装置一个实施例示意图，图像识别装置60包括：
获取模块601，用于获取待识别医学图像；
获取模块601，还用于通过医学图像分类模型获取待识别医学图像所对应的病灶分类结果；
获取模块601，还用于基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
生成模块602，用于根据获取模块601获取的梯度传播结果，生成待识别医学图像所对应的物体轮廓图；
生成模块602，还用于根据物体轮廓图生成待识别医学图像所对应的病灶识别结果。
可选地，在上述图16所对应的实施例的基础上，请参阅图17，本申请实施例提供的图像识别装置60的另一实施例中，图像识别装置60还包括处理模块603；
处理模块603，用于通过医学图像分类模型获取待识别医学图像所对应的特征图，其中，特征图为通过医学图像分类模型的卷积层对待识别医学图像进行卷积处理后得到的，特征图具有N个通道，N为大于1的整数；
生成模块602，还用于根据处理模块603处理得到的特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
生成模块602，具体用于根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果。
可选地，在上述图16或图17所对应的实施例的基础上，本申请实施例提供的图像识别装置60的另一实施例中，
获取模块601，具体用于通过医学图像分类模型中的全局平均池化层，对特征图进行处理，得到特征向量；
根据特征向量与权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，C为大于或等于1的整数；
根据C个类别预测得分，从C个类别中确定病灶分类结果。
可选地，在上述图16或图17所对应的实施例的基础上，本申请实施例提供的图像识别装置60的另一实施例中，
获取模块601，具体用于采用如下方式计算类别预测得分：
Figure 746116DEST_PATH_IMAGE140
；
其中，
Figure 62827DEST_PATH_IMAGE141
表示第c个类别所对应的类别预测得分，C表示类别的总数，
Figure 253637DEST_PATH_IMAGE142
表 示第n个通道的特征图，
Figure 477945DEST_PATH_IMAGE144
表示在特征图中的空间位置，
Figure 883650DEST_PATH_IMAGE146
表示第n个通道的特征图 对预测为第c个类别的权重参数。
可选地，在上述图16或图17所对应的实施例的基础上，本申请实施例提供的图像识别装置60的另一实施例中，
生成模块602，具体用于采用如下方式生成热力图：
Figure 433580DEST_PATH_IMAGE147
；
其中，
Figure 580528DEST_PATH_IMAGE148
表示第c个类别所对应的热力图，热力图为经过上采样后得到 的，
Figure 811789DEST_PATH_IMAGE149
表示第n个通道的特征图，
Figure 258951DEST_PATH_IMAGE150
表示在特征图中的空间位置，
Figure 714203DEST_PATH_IMAGE151
表示第n个 通道的特征图对预测为第c个类别的权重参数，第c个类别属于病灶分类结果。
可选地，在上述图16或图17所对应的实施例的基础上，本申请实施例提供的图像识别装置60的另一实施例中，
获取模块601，具体用于基于导向反向传播算法，根据病灶分类结果获取梯度传播结果，其中，导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
可选地，在上述图16或图17所对应的实施例的基础上，本申请实施例提供的图像识别装置60的另一实施例中，
生成模块602，具体用于采用如下方法生成病灶识别结果：
Figure 941922DEST_PATH_IMAGE152
⊙
Figure 773612DEST_PATH_IMAGE154
；
其中，
Figure 809701DEST_PATH_IMAGE155
表示第c个类别所对应的病灶识别结果，
Figure 639116DEST_PATH_IMAGE156
表示第c个类 别所对应的物体轮廓图，
Figure 26235DEST_PATH_IMAGE157
表示第c个类别所对应的热力图，热力图为经过上采样后 得到的，第c个类别属于病灶分类结果，⊙为表示逐点相乘。
本申请实施例还提供了另一种图像识别装置以及图像识别结果展示装置，如图18所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理（personal digital assistant，PDA）、销售终端设备（point of sales，POS）、车载电脑等任意终端设备，以终端设备为手机为例：
图18示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图18，手机包括：射频（radio frequency，RF）电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760、无线保真（wireless fidelity，WiFi）模块770、处理器780、以及电源790等部件。本领域技术人员可以理解，图18中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图18对手机的各个构成部件进行具体的介绍：
RF电路710可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器780处理；另外，将设计上行的数据发送给基站。通常，RF电路710包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器（low noiseamplifier，LNA）、双工器等。此外，RF电路710还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（globalsystem of mobile communication，GSM）、通用分组无线服务（general packet radioservice，GPRS）、码分多址（code division multiple access，CDMA）、宽带码分多址（wideband code division multiple access, WCDMA）、长期演进（long term evolution，LTE）、电子邮件、短消息服务（short messaging service，SMS）等。
存储器720可用于存储软件程序以及模块，处理器780通过运行存储在存储器720的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元730可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元730可包括触控面板731以及其他输入设备732。触控面板731，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板731上或在触控面板731附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触控面板731可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器780，并能接收处理器780发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板731。除了触控面板731，输入单元730还可以包括其他输入设备732。具体地，其他输入设备732可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元740可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元740可包括显示面板741，可选的，可以采用液晶显示器（liquid crystaldisplay，LCD）、有机发光二极管（organic light-emitting diode，OLED）等形式来配置显示面板741。进一步的，触控面板731可覆盖显示面板741，当触控面板731检测到在其上或附近的触摸操作后，传送给处理器780以确定触摸事件的类型，随后处理器780根据触摸事件的类型在显示面板741上提供相应的视觉输出。虽然在图18中，触控面板731与显示面板741是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板731与显示面板741集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器750，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板741的亮度，接近传感器可在手机移动到耳边时，关闭显示面板741和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等; 至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路760、扬声器761，传声器762可提供用户与手机之间的音频接口。音频电路760可将接收到的音频数据转换后的电信号，传输到扬声器761，由扬声器761转换为声音信号输出；另一方面，传声器762将收集的声音信号转换为电信号，由音频电路760接收后转换为音频数据，再将音频数据输出处理器780处理后，经RF电路710以发送给比如另一手机，或者将音频数据输出至存储器720以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块770可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图18示出了WiFi模块770，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器780是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器720内的软件程序和/或模块，以及调用存储在存储器720内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器780可包括一个或多个处理单元；可选的，处理器780可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器780中。
手机还包括给各个部件供电的电源790（比如电池），可选的，电源可以通过电源管理系统与处理器780逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该终端设备所包括的处理器780还具有以下功能：
获取待识别医学图像；
通过医学图像分类模型获取待识别医学图像所对应的医学图像内容识别结果；
基于反向梯度传播算法，根据医学图像内容识别结果获取梯度传播结果；
根据梯度传播结果生成待识别医学图像所对应的物体轮廓图；
根据物体轮廓图生成待识别医学图像所对应的图像识别结果。
在本申请实施例中，该终端设备所包括的处理器780还具有以下功能：
获取待识别医学图像；
通过医学图像分类模型获取待识别医学图像所对应的病灶分类结果；
基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
根据梯度传播结果生成待识别医学图像所对应的物体轮廓图；
根据物体轮廓图生成待识别医学图像所对应的病灶识别结果。
在本申请实施例中，该终端设备所包括的处理器780还具有以下功能：
获取待识别医学图像；
通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果，其中，特征图为通过医学图像分类模型的卷积层对待识别医学图像进行卷积处理后得到的，特征图具有N个通道，N为大于1的整数；
基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
根据梯度传播结果生成待识别医学图像所对应的物体轮廓图；
根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果；
展示待识别医学图像所对应的病灶识别结果。
图19是示出本发明的实施方式的医疗系统80的结构的图。本实施方式的医疗系统80是用于支援内窥镜业务的系统。医疗系统80具有探头801、处理器802、显示器803、电路804以及接口805。医疗系统80能够与终端设备90协同工作。探头801具体可以是内窥镜探头，可以插入入食道、胃肠、支气管等，进行实时扫描成像。通过使用内窥镜探头，医生能清楚地鉴别肿瘤生长层次、浸润深度。此外，内窥镜探头还可应用于肠道附近的脏器成像，在胰腺、胆管、胆囊的病变诊断中发挥作用。
处理器802用于对探头801拍摄到的内窥镜图像进行识别，生成识别结果。显示器803根据处理器802输入的影像信号显示病灶识别结果，该病灶识别结果具体是影像结果，可实时显示由探头801进行摄像而得到的影像。电路804用于连接医疗系统80中的各个模块，并且提供电信号，以使医疗系统80内部能够正常工作，并且能够与终端设备90建立通信连接。
医疗系统80可以直接将采集到的内窥镜图像进行识别和处理，也可以通过接口805向终端设备90发送采集到的内窥镜图像，由终端设备90对内窥镜图像进行识别和处理。终端设备90能够基于医疗系统80发送的病灶识别结果，制作电子病历、药方或者直接打印出来等。在本申请实施例中，该医疗系统所包括的处理器802还具有以下功能：
获取待识别医学图像；
通过医学图像分类模型获取待识别医学图像所对应的医学图像内容识别结果；
基于反向梯度传播算法，根据医学图像内容识别结果获取梯度传播结果；
根据梯度传播结果生成待识别医学图像所对应的物体轮廓图；
根据物体轮廓图生成待识别医学图像所对应的图像识别结果。
在本申请实施例中，该医疗系统所包括的处理器802还具有以下功能：
获取待识别医学图像；
通过医学图像分类模型获取待识别医学图像所对应的病灶分类结果；
基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
根据梯度传播结果生成待识别医学图像所对应的物体轮廓图；
根据物体轮廓图生成待识别医学图像所对应的病灶识别结果。
在本申请实施例中，该医疗系统所包括的处理器802还具有以下功能：
通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果，其中，特征图为通过医学图像分类模型的卷积层对待识别医学图像进行卷积处理后得到的，特征图具有N个通道，N为大于1的整数；
基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
根据梯度传播结果生成待识别医学图像所对应的物体轮廓图；
根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果。
在本申请实施例中，该医疗系统所包括的处理器802还具有以下功能：
获取待识别医学图像；
通过医学图像分类模型获取待识别医学图像所对应的特征图以及病灶分类结果，其中，特征图为通过医学图像分类模型的卷积层对待识别医学图像进行卷积处理后得到的，特征图具有N个通道，N为大于1的整数；
基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
根据梯度传播结果生成待识别医学图像所对应的物体轮廓图；
根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
根据热力图以及物体轮廓图，生成待识别医学图像所对应的病灶识别结果；
展示待识别医学图像所对应的病灶识别结果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (17)

1.一种医学图像处理方法，其特征在于，包括：
获取待识别医学图像；
通过医学图像分类模型获取所述待识别医学图像所对应的医学图像内容识别结果以及特征图，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
基于反向梯度传播算法，根据所述医学图像内容识别结果获取梯度传播结果；
基于反向导向传播算法，根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图，所述物体轮廓图为学习出整个待识别医学图像中所有物体的轮廓图；
根据所述特征图以及权重参数集合，生成所述医学图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图以及所述物体轮廓图生成所述待识别医学图像所对应的图像识别结果，其中，所述图像识别结果包括分类结果解释图，所述分类结果解释图为所述物体轮廓图与所述热力图进行加权叠加从而生成的。
2.根据权利要求1所述的方法，其特征在于，所述通过医学图像分类模型获取所述待识别医学图像所对应的医学图像内容识别结果，包括：
通过所述医学图像分类模型的卷积层获取所述待识别医学图像所对应的特征图；
通过所述医学图像分类模型中的全局平均池化层，对所述特征图进行处理，得到特征向量；
根据所述特征向量与权重参数集合，计算得到 C个类别预测得分，其中，每个类别预测得分对应一个类别，所述C为大于或等于1的整数；
根据所述C个类别预测得分，从C个类别中确定所述医学图像内容识别结果。
3.根据权利要求1所述的方法，其特征在于，所述基于反向梯度传播算法，根据所述医学图像内容识别结果获取梯度传播结果，包括：
基于导向反向传播算法，根据所述医学图像内容识别结果获取所述梯度传播结果，其中，所述导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
4.一种医学图像识别方法，其特征在于，包括：
获取待识别医学图像；
通过医学图像分类模型获取所述待识别医学图像所对应的病灶分类结果以及特征图，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
基于反向导向传播算法，根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图，所述物体轮廓图为学习出整个待识别医学图像中所有物体的轮廓图；
根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图以及所述物体轮廓图生成所述待识别医学图像所对应的病灶识别结果，其中，所述病灶识别结果包括分类结果解释图，所述分类结果解释图为所述物体轮廓图与所述待识别医学图像进行叠加从而生成的。
5.根据权利要求4所述的方法，其特征在于，所述通过医学图像分类模型获取所述待识别医学图像所对应的病灶分类结果，包括：
通过所述医学图像分类模型的卷积层获取所述待识别医学图像所对应的特征图；
通过所述医学图像分类模型中的全局平均池化层，对所述特征图进行处理，得到特征向量；
根据所述特征向量与权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，所述C为大于或等于1的整数；
根据所述C个类别预测得分，从C个类别中确定所述病灶分类结果。
6.根据权利要求5所述的方法，其特征在于，所述根据所述特征向量与所述权重参数集合，计算得到C个类别预测得分，包括：
采用如下方式计算所述类别预测得分：
Figure 971024DEST_PATH_IMAGE001
；
其中，所述
Figure 697672DEST_PATH_IMAGE002
表示第c个类别所对应的类别预测得分，所述C表示所述类别的总数，所 述
Figure 393095DEST_PATH_IMAGE003
表示第n个通道的特征图，所述（x,y）表示在所述特征图中的空间位置，所述
Figure 634721DEST_PATH_IMAGE004
表示所述第n个通道的特征图对预测为第c个类别的权重参数。
7.根据权利要求4所述的方法，其特征在于，所述根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，包括：
采用如下方式生成所述热力图：
Figure 988473DEST_PATH_IMAGE005
；
其中，所述
Figure 897523DEST_PATH_IMAGE006
表示第c个类别所对应的热力图，所述热力图为经过上采样后得到 的，所述
Figure 232689DEST_PATH_IMAGE007
表示第n个通道的特征图，所述(x,y)表示在所述特征图中的空间位置， 所述
Figure 164873DEST_PATH_IMAGE008
表示所述第n个通道的特征图对预测为所述第c个类别的权重参数，所述第c个类 别属于所述病灶分类结果。
8.根据权利要求4所述的方法，其特征在于，所述基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果，包括：
基于导向反向传播算法，根据所述病灶分类结果获取所述梯度传播结果，其中，所述导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
9.根据权利要求4所述的方法，其特征在于，所述根据所述热力图以及所述物体轮廓图，生成所述待识别医学图像所对应的病灶识别结果，包括：
采用如下方法生成所述病灶识别结果：
Figure 509267DEST_PATH_IMAGE009
⊙
Figure 335141DEST_PATH_IMAGE010
；
其中，所述
Figure 106788DEST_PATH_IMAGE011
表示第c个类别所对应的病灶识别结果，所述
Figure 323005DEST_PATH_IMAGE012
表示所 述第c个类别所对应的物体轮廓图，所述
Figure 408773DEST_PATH_IMAGE013
表示第c个类别所对应的热力图，所述热 力图为经过上采样后得到的，所述第c个类别属于所述病灶分类结果，⊙为表示逐点相乘。
10.一种图像识别结果展示的方法，其特征在于，包括：
获取待识别医学图像；
通过所述医学图像分类模型获取所述待识别医学图像所对应的特征图以及病灶分类结果，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
基于反向导向传播算法，根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图，所述物体轮廓图为学习出整个待识别医学图像中所有物体的轮廓图；
根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图以及所述物体轮廓图，生成所述待识别医学图像所对应的病灶识别结果，其中，所述病灶识别结果包括分类结果解释图，所述分类结果解释图为所述物体轮廓图的像素点与所述热力图的像素点进行逐点相乘后得到的；
展示所述待识别医学图像所对应的病灶识别结果。
11.一种图像识别装置，其特征在于，包括：
获取模块，用于获取待识别医学图像；
所述获取模块，还用于通过医学图像分类模型获取所述待识别医学图像所对应的病灶分类结果以及特征图，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
所述获取模块，还用于基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
生成模块，用于基于反向导向传播算法，根据所述获取模块获取的所述梯度传播结果，生成所述待识别医学图像所对应的物体轮廓图，所述物体轮廓图为学习出整个待识别医学图像中所有物体的轮廓图；
所述生成模块，还用于根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
所述生成模块，还用于根据所述物体轮廓图生成所述待识别医学图像所对应的病灶识别结果，其中，所述图像识别结果包括分类结果解释图，所述分类结果解释图为所述物体轮廓图与所述待识别医学图像进行叠加从而生成的。
12.一种图像识别结果展示装置，其特征在于，包括：
获取模块，用于获取待识别医学图像；
所述获取模块，还用于通过所述医学图像分类模型获取所述待识别医学图像所对应的特征图以及病灶分类结果，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
所述获取模块，还用于基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
生成模块，用于基于反向导向传播算法，根据所述获取模块获取的所述梯度传播结果，生成所述待识别医学图像所对应的物体轮廓图，所述物体轮廓图为学习出整个待识别医学图像中所有物体的轮廓图；
所述生成模块，还用于根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
所述生成模块，还用于根据所述热力图以及所述物体轮廓图，生成所述待识别医学图像所对应的病灶识别结果，其中，所述病灶识别结果包括分类结果解释图，所述分类结果解释图为所述物体轮廓图的像素点与所述热力图的像素点进行逐点相乘后得到的；
展示模块，用于展示所述生成模块生成的所述待识别医学图像所对应的病灶识别结果。
13.一种终端设备，其特征在于，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待识别医学图像；
通过医学图像分类模型获取所述待识别医学图像所对应的医学图像内容识别结果以及特征图，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
基于反向梯度传播算法，根据所述医学图像内容识别结果获取梯度传播结果；
基于反向导向传播算法，根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图，所述物体轮廓图为学习出整个待识别医学图像中所有物体的轮廓图；
根据所述特征图以及权重参数集合，生成所述医学图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图以及所述物体轮廓图生成所述待识别医学图像所对应的图像识别结果，其中，所述图像识别结果包括分类结果解释图，所述分类结果解释图为所述物体轮廓图与所述热力图进行加权叠加从而生成的；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
14.一种终端设备，其特征在于，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待识别医学图像；
通过所述医学图像分类模型获取所述待识别医学图像所对应的特征图以及病灶分类结果，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
基于反向导向传播算法，根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图，所述物体轮廓图为学习出整个待识别医学图像中所有物体的轮廓图；
根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图以及所述物体轮廓图，生成所述待识别医学图像所对应的病灶识别结果，其中，所述病灶识别结果包括分类结果解释图，所述分类结果解释图为所述物体轮廓图的像素点与所述热力图的像素点进行逐点相乘后得到的；
展示所述待识别医学图像所对应的病灶识别结果；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
15.一种医疗系统，其特征在于，包括：探头、电路、处理器以及显示器；
所述电路，用于激励所述探头获取待识别医学图像；
所述处理器，用于处理所述待识别医学图像；
所述显示器，用于显示所述图像识别结果；
其中，所述处理器还执行如下步骤：
获取待识别医学图像；
通过医学图像分类模型获取所述待识别医学图像所对应的医学图像内容识别结果以及特征图，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
基于反向梯度传播算法，根据所述医学图像内容识别结果获取梯度传播结果；
基于反向导向传播算法，根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图，所述物体轮廓图为学习出整个待识别医学图像中所有物体的轮廓图；
根据所述特征图以及权重参数集合，生成所述医学图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图以及所述物体轮廓图生成所述待识别医学图像所对应的图像识别结果，其中，所述图像识别结果包括分类结果解释图，所述分类结果解释图为所述物体轮廓图与所述热力图进行加权叠加从而生成的。
16.一种医疗系统，其特征在于，包括：探头、电路、处理器以及显示器；
所述电路，用于激励所述探头获取待识别医学图像；
所述处理器，用于处理所述待识别医学图像；
所述显示器，用于显示病灶识别结果；
其中，所述处理器还执行如下步骤：
获取待识别医学图像；
通过医学图像分类模型获取所述待识别医学图像所对应的病灶分类结果以及特征图，其中，所述特征图为通过所述医学图像分类模型的卷积层对所述待识别医学图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
基于反向导向传播算法，根据所述梯度传播结果生成所述待识别医学图像所对应的物体轮廓图，所述物体轮廓图为学习出整个待识别医学图像中所有物体的轮廓图；
根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图以及所述物体轮廓图生成所述待识别医学图像所对应的病灶识别结果，其中，所述病灶识别结果包括分类结果解释图，所述分类结果解释图为所述物体轮廓图与所述热力图进行加权叠加从而生成的。
17.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至3中任一项所述的方法，或，执行如权利要求4至9中任一项所述的方法，或，执行如权利要求10所述的方法。
CN201910810299.XA 2019-08-29 2019-08-29 一种医学图像处理方法、医学图像识别方法及装置 Active CN110517771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910810299.XA CN110517771B (zh) 2019-08-29 2019-08-29 一种医学图像处理方法、医学图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910810299.XA CN110517771B (zh) 2019-08-29 2019-08-29 一种医学图像处理方法、医学图像识别方法及装置

Publications (2)

Publication Number Publication Date
CN110517771A CN110517771A (zh) 2019-11-29
CN110517771B true CN110517771B (zh) 2021-02-09

Family

ID=68629157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910810299.XA Active CN110517771B (zh) 2019-08-29 2019-08-29 一种医学图像处理方法、医学图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN110517771B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462115A (zh) * 2020-04-27 2020-07-28 上海联影医疗科技有限公司 医学图像显示方法、装置和计算机设备
CN112651407B (zh) * 2020-12-31 2023-10-20 中国人民解放军战略支援部队信息工程大学 一种基于区分性反卷积的cnn可视化方法
CN113057593A (zh) * 2021-03-18 2021-07-02 杭州睿胜软件有限公司 图像识别方法、可读存储介质及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858482B (zh) * 2019-01-16 2020-04-14 创新奇智(重庆)科技有限公司 一种图像关键区域检测方法及其系统、终端设备
CN110009679B (zh) * 2019-02-28 2022-01-04 江南大学 一种基于多尺度特征卷积神经网络的目标定位方法
CN110009052B (zh) * 2019-04-11 2022-11-18 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN110136103A (zh) * 2019-04-24 2019-08-16 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110517771A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN110504029B (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN110738263B (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN110458127B (zh) 图像处理方法、装置、设备以及系统
Yap et al. Deep learning in diabetic foot ulcers detection: A comprehensive evaluation
WO2021036695A1 (zh) 一种待标注图像确定的方法、模型训练的方法及装置
CN110163048B (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN110473186B (zh) 一种基于医学图像的检测方法、模型训练的方法及装置
CN110517771B (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN111462036A (zh) 基于深度学习的病理图像处理方法、模型训练方法及装置
JP2021513435A (ja) 胃腸腫瘍を診断するシステム及び方法
CN110414631B (zh) 基于医学图像的病灶检测方法、模型训练的方法及装置
CN110443794B (zh) 一种基于病理图像的图像状态确定方法、装置以及系统
CN112036331B (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN113470029B (zh) 训练方法及装置、图像处理方法、电子设备和存储介质
JP7286208B2 (ja) 生体顔検出方法、生体顔検出装置、電子機器、及びコンピュータプログラム
CN111091166A (zh) 图像处理模型训练方法、图像处理方法、设备及存储介质
CN110276408A (zh) 3d图像的分类方法、装置、设备及存储介质
CN113706441A (zh) 一种基于人工智能的图像预测方法、相关装置及存储介质
CN112288843A (zh) 一种病灶的三维构建方法、装置、终端设备及存储介质
CN113349810B (zh) 脑出血病灶识别及血肿扩大预测系统及装置
CN113947613B (zh) 目标区域检测方法、装置、设备及存储介质
CN111080630B (zh) 眼底图像检测设备、方法、装置及存储介质
CN113743186A (zh) 医学图像的处理方法、装置、设备及存储介质
CN114360695A (zh) 乳腺超声扫查分析辅助系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant