CN113888470B - 基于卷积神经网络和多模态医学影像的诊断方法和装置 - Google Patents

基于卷积神经网络和多模态医学影像的诊断方法和装置 Download PDF

Info

Publication number
CN113888470B
CN113888470B CN202111038996.1A CN202111038996A CN113888470B CN 113888470 B CN113888470 B CN 113888470B CN 202111038996 A CN202111038996 A CN 202111038996A CN 113888470 B CN113888470 B CN 113888470B
Authority
CN
China
Prior art keywords
convolutional neural
neural network
network
medical image
multiple modes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111038996.1A
Other languages
English (en)
Other versions
CN113888470A (zh
Inventor
徐枫
周展平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111038996.1A priority Critical patent/CN113888470B/zh
Publication of CN113888470A publication Critical patent/CN113888470A/zh
Application granted granted Critical
Publication of CN113888470B publication Critical patent/CN113888470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Epidemiology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)

Abstract

本申请提出了一种基于卷积神经网络和多模态医学影像的诊断方法，涉及计算机视觉、深度学习、医学影像处理技术领域，该方法包括：采集训练数据，训练数据包括多种模态的医学影像样本以及多种模态的医学影像样本对应的诊断标注信息；根据训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络；获取多种模态的医学影像，将多种模态的医学影像输入基于卷积神经网络的分类网络，以输出每种模态的医学影像对应疾病的预测概率，预测概率分别用于表征患有疾病的概率和不患有疾病的概率。采用上述方案的本申请综合多种模态的医学影像进行诊断，提高了对疾病诊断的准确性。

Description

基于卷积神经网络和多模态医学影像的诊断方法和装置
技术领域
本申请涉及计算机视觉、深度学习、医学影像处理技术领域，尤其涉及一种基于卷积神经网络和多模态医学影像的诊断方法和装置。
背景技术
在计算机视觉、自然语言处理等领域，综合利用多种模态的数据是一种常见的提高算法性能的方法。在实际中，医生常常利用多种模态数据进行诊断。卷积神经网络(CNN)作为优秀的图像处理方法，在医学影像处理领域也有广泛的应用。常见的医学影像类型包括CT、MRI、超声影像、病理学图像等等。已有的基于医学影像的计算机自动化诊断方法只利用了单一模态的图像。不同模态的医学影像能够从多个角度反映生理结构的信息，从而有助于提高诊断的准确率。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于卷积神经网络和多模态医学影像的诊断方法，解决了现有方法计算机自动化诊断方法只利用了单一模态图像的技术问题，实现了利用深度学习方法综合多模态的医学影像进行诊断的目的，提高了对疾病诊断的准确性。
本申请的第二个目的在于提出一种基于卷积神经网络和多模态医学影像的诊断装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种基于卷积神经网络和多模态医学影像的诊断方法，包括：采集训练数据，训练数据包括多种模态的医学影像样本以及多种模态的医学影像样本对应的诊断标注信息；根据训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络；获取多种模态的医学影像，将多种模态的医学影像输入基于卷积神经网络的分类网络，以输出每种模态的医学影像对应疾病的预测概率，预测概率分别用于表征患有疾病的概率和不患有疾病的概率。
可选地，在本申请的一个实施例中，基于卷积神经网络的分类网络包括多个基于卷积神经网络的特征提取网络和一个多层感知机，每个特征提取网络对应一个模态，根据训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络，包括：
将多种模态的医学影像样本中每种模态的医学影像样本输入到对应的特征提取网络中进行特征提取，其中，提取的特征为向量；
将所有模态的特征拼接成长向量，将长向量输入到多层感知机中，输出对应值，使用softmax计算对应值，得到每个类别的预测概率；
根据每个类别的预测概率获取预测概率的交叉熵损失函数，根据交叉熵损失函数优化卷积神经网络的网络参数。
为达上述目的，本发明第二方面实施例提出了一种基于卷积神经网络和多模态医学影像的诊断装置，包括：
获取模块，用于采集训练数据，训练数据包括多种模态的医学影像样本以及多种模态的医学影像样本对应的诊断标注信息；
优化模块，用于根据训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络；
分类模块，用于获取多种模态的医学影像，将多种模态的医学影像输入基于卷积神经网络的分类网络，以输出每种模态的医学影像对应疾病的预测概率，预测概率分别用于表征患有疾病的概率和不患有疾病的概率。
可选地，在本申请的一个实施例中，基于卷积神经网络的分类网络包括多个基于卷积神经网络的特征提取网络和一个多层感知机，每个特征提取网络对应一个模态，优化模块，具体用于：
将多种模态的医学影像样本中每种模态的医学影像样本输入到对应的特征提取网络中进行特征提取，其中，提取的特征为向量；
将所有模态的特征拼接成长向量，将长向量输入到多层感知机中，输出对应值，使用softmax计算对应值，得到每个类别的预测概率；
根据每个类别的预测概率获取预测概率的交叉熵损失函数，根据交叉熵损失函数优化卷积神经网络的网络参数。
为了实现上述目的，本发明第三方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，能够执行基于卷积神经网络和多模态医学影像的诊断方法。
本申请实施例的基于卷积神经网络和多模态医学影像的诊断方法、基于卷积神经网络和多模态医学影像的诊断装置和非临时性计算机可读存储介质，解决了现有方法计算机自动化诊断方法只利用了单一模态图像的技术问题，实现了利用深度学习方法综合多模态的医学影像进行诊断的目的，提高了对疾病诊断的准确性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种基于卷积神经网络和多模态医学影像的诊断方法的流程图；
图2为本申请实施例二所提供的一种基于卷积神经网络和多模态医学影像的诊断装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于卷积神经网络和多模态医学影像的诊断方法和装置。
图1为本申请实施例一所提供的一种基于卷积神经网络和多模态医学影像的诊断方法的流程图。
如图1所示，该基于卷积神经网络和多模态医学影像的诊断方法包括以下步骤：
步骤101，采集训练数据，训练数据包括多种模态的医学影像样本以及多种模态的医学影像样本对应的诊断标注信息；
步骤102，根据训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络；
步骤103，获取多种模态的医学影像，将多种模态的医学影像输入基于卷积神经网络的分类网络，以输出每种模态的医学影像对应疾病的预测概率，预测概率分别用于表征患有疾病的概率和不患有疾病的概率。
本申请实施例的基于卷积神经网络和多模态医学影像的诊断方法，通过采集训练数据，训练数据包括多种模态的医学影像样本以及多种模态的医学影像样本对应的诊断标注信息；根据训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络；获取多种模态的医学影像，将多种模态的医学影像输入基于卷积神经网络的分类网络，以输出每种模态的医学影像对应疾病的预测概率，预测概率分别用于表征患有疾病的概率和不患有疾病的概率。由此，能够解决现有方法计算机自动化诊断方法只利用了单一模态图像的技术问题，实现了利用深度学习方法综合多模态的医学影像进行诊断的目的，提高了对疾病诊断的准确性。
在获取了用于训练的多模态的医学影像和诊断标注后，将多模态的医学影像分别输入到不同的卷积神经网络中提取特征，然后将所有特征拼接成一个向量作为多模态综合特征，最后通过一个多层感知机对多模态综合特征进行分类。通过对网络进行训练优化其参数，以实现利用计算机对疾病进行自动诊断，主要包括：采集病人的多种模态的医学影像，以及诊断标注；使用基于卷积神经网络的分类网络利用数据进行训练，优化网络参数；使用时，获取病人的多种模态的医学影像，输入分类网络得到预测概率。
进一步地，在本申请实施例中，基于卷积神经网络的分类网络包括多个基于卷积神经网络的特征提取网络和一个多层感知机，每个特征提取网络对应一个模态，根据训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络，包括：
将多种模态的医学影像样本中每种模态的医学影像样本输入到对应的特征提取网络中进行特征提取，其中，提取的特征为向量；
将所有模态的特征拼接成长向量，将长向量输入到多层感知机中，输出对应值，使用softmax计算对应值，得到每个类别的预测概率；
根据每个类别的预测概率获取预测概率的交叉熵损失函数，根据交叉熵损失函数优化卷积神经网络的网络参数。
例如，对于诊断是否患有某种疾病的二分类问题，最终的输出是一个长度为2的向量，其中的值分别是患有该疾病的概率和不患该疾病的概率。
使用多种模态的医学影像对整个多模态超声影像分类网络进行端到端训练，以预测概率的交叉熵损失函数优化网络参数。
图2为本申请实施例二所提供的一种基于卷积神经网络和多模态医学影像的诊断装置的结构示意图。
如图2所示，该基于卷积神经网络和多模态医学影像的诊断装置，包括：
获取模块10，用于采集训练数据，训练数据包括多种模态的医学影像样本以及多种模态的医学影像样本对应的诊断标注信息；
优化模块20，用于根据训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络；
分类模块30，用于获取多种模态的医学影像，将多种模态的医学影像输入基于卷积神经网络的分类网络，以输出每种模态的医学影像对应疾病的预测概率，预测概率分别用于表征患有疾病的概率和不患有疾病的概率。
进一步地，在本申请实施例中，基于卷积神经网络的分类网络包括多个基于卷积神经网络的特征提取网络和一个多层感知机，每个特征提取网络对应一个模态，优化模块，具体用于：
将多种模态的医学影像样本中每种模态的医学影像样本输入到对应的特征提取网络中进行特征提取，其中，提取的特征为向量；
将所有模态的特征拼接成长向量，将长向量输入到多层感知机中，输出对应值，使用softmax计算对应值，得到每个类别的预测概率；
根据每个类别的预测概率获取预测概率的交叉熵损失函数，根据交叉熵损失函数优化卷积神经网络的网络参数。
本申请实施例的基于卷积神经网络和多模态医学影像的诊断装置，包括获取模块，用于采集训练数据，训练数据包括多种模态的医学影像样本以及多种模态的医学影像样本对应的诊断标注信息；优化模块，用于根据训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络；分类模块，用于获取多种模态的医学影像，将多种模态的医学影像输入基于卷积神经网络的分类网络，以输出每种模态的医学影像对应疾病的预测概率，预测概率分别用于表征患有疾病的概率和不患有疾病的概率。由此，能够解决现有方法计算机自动化诊断方法只利用了单一模态图像的技术问题，实现了利用深度学习方法综合多模态的医学影像进行诊断的目的，提高了对疾病诊断的准确性。
为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的基于卷积神经网络和多模态医学影像的诊断方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (3)

1.一种基于卷积神经网络和多模态医学影像的诊断方法，其特征在于，包括以下步骤：
采集训练数据，所述训练数据包括多种模态的医学影像样本以及所述多种模态的医学影像样本对应的诊断标注信息；
根据所述训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络；
获取多种模态的医学影像，将所述多种模态的医学影像输入所述基于卷积神经网络的分类网络，以输出每种模态的医学影像对应疾病的预测概率，所述预测概率分别用于表征患有所述疾病的概率和不患有所述疾病的概率；
其中，所述基于卷积神经网络的分类网络包括多个基于卷积神经网络的特征提取网络和一个多层感知机，每个所述特征提取网络对应一个模态，所述根据所述训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络，包括：
将所述多种模态的医学影像样本中每种模态的医学影像样本输入到对应的特征提取网络中进行特征提取，其中，提取的所述特征为向量；
将所有模态的特征拼接成长向量，将所述长向量输入到所述多层感知机中，输出对应值，使用softmax计算所述对应值，得到每个类别的预测概率；
根据每个类别的预测概率获取预测概率的交叉熵损失函数，根据所述交叉熵损失函数优化卷积神经网络的网络参数。
2.一种基于卷积神经网络和多模态医学影像的诊断装置，其特征在于，包括：
获取模块，用于采集训练数据，所述训练数据包括多种模态的医学影像样本以及所述多种模态的医学影像样本对应的诊断标注信息；
优化模块，用于根据所述训练数据对卷积神经网络的网络参数进行优化，得到优化后的基于卷积神经网络的分类网络；
分类模块，用于获取多种模态的医学影像，将所述多种模态的医学影像输入所述基于卷积神经网络的分类网络，以输出每种模态的医学影像对应疾病的预测概率，所述预测概率分别用于表征患有所述疾病的概率和不患有所述疾病的概率；
其中，所述基于卷积神经网络的分类网络包括多个基于卷积神经网络的特征提取网络和一个多层感知机，每个所述特征提取网络对应一个模态，所述优化模块，具体用于：
将所述多种模态的医学影像样本中每种模态的医学影像样本输入到对应的特征提取网络中进行特征提取，其中，提取的所述特征为向量；
将所有模态的特征拼接成长向量，将所述长向量输入到所述多层感知机中，输出对应值，使用softmax计算所述对应值，得到每个类别的预测概率；
根据每个类别的预测概率获取预测概率的交叉熵损失函数，根据所述交叉熵损失函数优化卷积神经网络的网络参数。
3.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1中所述的基于卷积神经网络和多模态医学影像的诊断方法。
CN202111038996.1A 2021-09-06 2021-09-06 基于卷积神经网络和多模态医学影像的诊断方法和装置 Active CN113888470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111038996.1A CN113888470B (zh) 2021-09-06 2021-09-06 基于卷积神经网络和多模态医学影像的诊断方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111038996.1A CN113888470B (zh) 2021-09-06 2021-09-06 基于卷积神经网络和多模态医学影像的诊断方法和装置

Publications (2)

Publication Number Publication Date
CN113888470A CN113888470A (zh) 2022-01-04
CN113888470B true CN113888470B (zh) 2024-07-05

Family

ID=79008279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111038996.1A Active CN113888470B (zh) 2021-09-06 2021-09-06 基于卷积神经网络和多模态医学影像的诊断方法和装置

Country Status (1)

Country Link
CN (1) CN113888470B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511513B (zh) * 2022-01-14 2024-06-28 清华大学 基于深度卷积神经网络的脑动脉瘤三维检测分割方法
CN115116594B (zh) * 2022-06-06 2024-05-31 中国科学院自动化研究所 医疗装置有效性的检测方法及装置
CN115018795B (zh) * 2022-06-09 2023-04-07 北京医准智能科技有限公司 医学影像中的病灶的匹配方法、装置、设备及存储介质
CN116452851A (zh) * 2023-03-17 2023-07-18 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 病症分类模型的训练方法、装置、终端及可读存储介质
CN116705252B (zh) * 2023-06-16 2024-05-31 脉得智能科技(无锡)有限公司 前列腺癌诊断模型的构建方法、图像分类方法、设备、介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558498A (zh) * 2018-11-07 2019-04-02 南京邮电大学 基于深度学习的多模态哈希方法
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361470B2 (en) * 2019-05-09 2022-06-14 Sri International Semantically-aware image-based visual localization
CN113158875B (zh) * 2021-04-16 2022-07-01 重庆邮电大学 基于多模态交互融合网络的图文情感分析方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558498A (zh) * 2018-11-07 2019-04-02 南京邮电大学 基于深度学习的多模态哈希方法
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类系统

Also Published As

Publication number Publication date
CN113888470A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN113888470B (zh) 基于卷积神经网络和多模态医学影像的诊断方法和装置
KR102125127B1 (ko) 딥러닝 기반 뇌 질환 진단 방법
US10902588B2 (en) Anatomical segmentation identifying modes and viewpoints with deep learning across modalities
KR102177568B1 (ko) 레이블 있는 데이터 및 레이블 없는 데이터를 병용하는 준지도 강화 학습 방법 및 이를 이용한 장치
US20230342918A1 (en) Image-driven brain atlas construction method, apparatus, device and storage medium
CN115830017B (zh) 基于图文多模态融合的肿瘤检测系统、方法、设备及介质
CN112037171B (zh) 基于多模态特征融合的多任务mri脑瘤图像分割方法
US11471096B2 (en) Automatic computerized joint segmentation and inflammation quantification in MRI
CN112741651B (zh) 一种内窥镜超声影像的处理方法及系统
CN112634255B (zh) 脑部病灶检测模型的建立方法、装置以及计算机设备
CN115359066B (zh) 用于内窥镜的病灶检测方法、装置、电子设备及存储介质
CN112766377A (zh) 左心室磁共振影像智能分类方法、装置、设备和介质
CN114511513B (zh) 基于深度卷积神经网络的脑动脉瘤三维检测分割方法
CN109147927A (zh) 一种人机交互方法、装置、设备及介质
CN115937192B (zh) 一种无监督视网膜血管分割方法、系统及电子设备
CN116883725A (zh) 三维医学影像疾病类别分类方法及装置
CN115089112B (zh) 卒中后认知障碍风险评估模型建立方法、装置及电子设备
KR102616961B1 (ko) 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법
CN112686912B (zh) 基于逐步学习和混合样本的急性脑卒中病变分割方法
CN114723710A (zh) 基于神经网络的超声视频关键帧的检测方法和装置
Salih et al. A Review of Evaluation Approaches for Explainable AI With Applications in Cardiology
CN110147830B (zh) 训练影像数据生成网络的方法、影像数据分类方法及装置
CN112258564A (zh) 生成融合特征集合的方法及装置
CN114399462B (zh) 基于深度表征网络的医学影像异常检测方法和装置
US11998318B2 (en) System and method of using visually-descriptive words to diagnose ear pathology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant