CN112802013B - 基于图神经网络与多任务学习的脑疾病检测方法和装置 - Google Patents

基于图神经网络与多任务学习的脑疾病检测方法和装置 Download PDF

Info

Publication number
CN112802013B
CN112802013B CN202110272407.XA CN202110272407A CN112802013B CN 112802013 B CN112802013 B CN 112802013B CN 202110272407 A CN202110272407 A CN 202110272407A CN 112802013 B CN112802013 B CN 112802013B
Authority
CN
China
Prior art keywords
image
brain
target
modal
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110272407.XA
Other languages
English (en)
Other versions
CN112802013A (zh
Inventor
徐枫
薄子豪
娄昕
郭雨晨
吕晋浩
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Chinese PLA General Hospital
Original Assignee
Tsinghua University
Chinese PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Chinese PLA General Hospital filed Critical Tsinghua University
Priority to CN202110272407.XA priority Critical patent/CN112802013B/zh
Publication of CN112802013A publication Critical patent/CN112802013A/zh
Application granted granted Critical
Publication of CN112802013B publication Critical patent/CN112802013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提出一种基于图神经网络与多任务学习的脑疾病检测方法和装置，其中，方法包括：获取脑部的初始模态图像，根据预设的模态图像模板对初始模态图像对齐获取目标模态图像，并确定目标模态图像的不同脑分区图像区域；将目标模态图像输入预先训练的图像特征提取器，识别与目标模态图像在预设空间的目标低维图像特征；对所有的脑分区图像区域的脑区节点特征进行图神经网络编码确定人脑的结构特征；将结构特征和目标模态图像输入预设的任务处理模型，通过任务处理模型的父分支提取基本图像特征，通过任务处理模型的子分支对基本图像特征处理获取疾病检测结果。由此，提高了脑部疾病的检测准确性。

Description

基于图神经网络与多任务学习的脑疾病检测方法和装置
技术领域
本发明涉及医疗影像处理技术领域，尤其涉及一种基于图神经网络与多任务学习的脑疾病检测方法和装置。
背景技术
大脑是人体最重要的器官之一，人的听说读写、思维、意识都在大脑里产生。因此，脑疾病对人的影响与威胁极大。脑疾病包括很多，例如肿瘤、卒中、动脉瘤、血管硬化、骨折等等。大多数脑疾病的诊断和治疗过程中都离不开各种各样的医学影像辅助，包括CT、MR等。而人脑的结构相对固定，很多疾病同人脑结构联系紧密。因此，如果能利用不同脑疾病之间的关联信息，开发基于多任务的脑疾病检测技术，则能为现代化人脑医学诊疗过程提供强有力的辅助。
近年来，深度学习技术飞速发展，并在各领域得到了广泛使用。其中图神经网络的对非结构化关系的表达能力尤其适合不同脑区特征关系的构建。人脑的结构化信息对各种脑疾病检测具有通用的指导意义。因此，亟需一种可以利用多任务学习的方式构建基于图神经网络的通用脑疾病检测模型。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于图神经网络与多任务学习的脑疾病检测方法，以实现可以利用多任务学习的方式构建基于图神经网络的通用脑疾病检测模型。
本发明的第二个目的在于提出一种基于图神经网络与多任务学习的脑疾病检测装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种基于图神经网络与多任务学习的脑疾病检测方法，包括：获取脑部的初始模态图像，根据预设的模态图像模板对所述初始模态图像对齐获取目标模态图像，并确定所述目标模态图像的不同脑分区图像区域；
将所述目标模态图像输入预先训练的图像特征提取器，以通过所述图像特征提取器中与所述目标模态图像的图像模态类型对应的编码器，识别与所述目标模态图像在预设空间的目标低维图像特征；
在所述低维图像特征中，确定与每个所述脑分区图像区域对应的体素特征，并将所述体素特征经由全局池化映射到统一维度的特征向量空间，获取每个脑区节点的脑区节点特征；
对所有的所述脑分区图像区域的脑区节点特征进行图神经网络编码确定人脑的结构特征；
将所述结构特征和所述目标模态图像输入预设的任务处理模型，通过所述任务处理模型的父分支提取基本图像特征，通过所述任务处理模型的子分支对所述基本图像特征处理获取疾病检测结果。
为达上述目的，本发明第二方面实施例提出了一种基于图神经网络与多任务学习的脑疾病检测装置，包括：第一确定模块，用于获取脑部的初始模态图像，根据预设的模态图像模板对所述初始模态图像对齐获取目标模态图像，并确定所述目标模态图像的不同脑分区图像区域；
识别模块，用于将所述目标模态图像输入预先训练的图像特征提取器，以通过所述图像特征提取器中与所述目标模态图像的图像模态类型对应的编码器，识别与所述目标模态图像在预设空间的目标低维图像特征；
获取模块，用于在所述低维图像特征中，确定与每个所述脑分区图像区域对应的体素特征，并将所述体素特征经由全局池化映射到统一维度的特征向量空间，获取每个脑区节点的脑区节点特征；
第二确定模块，用于对所有的所述脑分区图像区域的脑区节点特征进行图神经网络编码确定人脑的结构特征；
处理模块，用于将所述结构特征和所述目标模态图像输入预设的任务处理模型，通过所述任务处理模型的父分支提取基本图像特征，通过所述任务处理模型的子分支对所述基本图像特征处理获取疾病检测结果。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面实施例所述的基于图神经网络与多任务学习的脑疾病检测方法。
为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面实施例所述的基于图神经网络与多任务学习的脑疾病检测方法。
为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述第一方面实施例所述的基于图神经网络与多任务学习的脑疾病检测方法。
本发明的实施例，至少具有如下的技术效果：
通用脑疾病检测技术应用面广，不同任务之间可以起到相互促进的作用，能够提取并存储人脑结构的先验信息，模型可扩展能力强，利用到不同模态、不同任务的数据集，并使用自监督学习，能够极大扩充训练数据规模，提高模型鲁棒性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于图神经网络与多任务学习的脑疾病检测方法的流程示意图；以及
图2为本发明实施例所提供的一种基于图神经网络与多任务学习的脑疾病检测装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于图神经网络与多任务学习的脑疾病检测方法和装置。
大脑是人体最重要的器官之一，医学上人脑相关的疾病多而复杂，对诊断和治疗所需的专业知识要求高。本发明利用深度学习中的图神经网络和多任务学习策略，利用大量不同模态、不同疾病和不同目标的医疗影像数据，构建一个通用脑疾病检测模型，利用人脑结构先验、大规模影像数据和不同任务的互相促进，提高模型性能和鲁棒性。
图1为本发明实施例所提供的一种基于图神经网络与多任务学习的脑疾病检测方法的流程示意图。
如图1所示，该基于图神经网络与多任务学习的脑疾病检测方法包括以下步骤：
步骤101，获取脑部的初始模态图像，根据预设的模态图像模板对初始模态图像对齐获取目标模态图像，并确定目标模态图像的不同脑分区图像区域。
本实施例中，脑部的模态可以理解为脑部的影响类型，比如，CT、MR、CTA等。
在本实施例中，获取脑部的初始模态图像，根据预设的模态图像模板对初始模态图像对齐获取目标模态图像，并确定目标模态图像的不同脑分区图像区域。
在本实施例中，使用医学图像配准方法，将输入医学图像向模板对齐，从而获得不同脑区的分割结果。
在本发明的一个实施例中，根据预设的模态图像模板中的脑部图像的标准像素点，比如，脑部图像的左脑中心像素点、右脑中心像素点以及脑干中心像素点等，进而，识别所述目标模态图像中的参考像素点，进而，根据所述标准像素点和所述参考像素点，调整所述目标模态图像以实现对所述目标模态图像的对齐，使得参考像素点中的脑干像素点与模态图像模板中的脑干像素点重合等，实现两张图像的对齐，其中，预设的模态图像模板必然与目标模态图像的图像模态类型一致。
最后，根据模态图像模板中标注的脑分区信息确定配准后的所述目标模态图像的脑分区图像区域，比如，识别模态图像模板中标注的脑分区信息，确定每个分区对应的图像边缘像素点的像素特征，识别配准后的目标模态图像的图像边缘像素点，以实现对脑分区的确定等。
步骤102，将目标模态图像输入预先训练的图像特征提取器，以通过图像特征提取器中与目标模态图像的图像模态类型对应的编码器，识别与目标模态图像在预设空间的目标低维图像特征。
在本发明的一个实施例中，对所述图像特征提取器预训练，得到所述图像特征提取器，在本实施例中，根据预设的模板图像对无标的样本数据集中的所有样本图像配准，生成目标样本图像集，其中，所述目标样本图像集中包括N种图像模态的目标样本图像，其中，N为大于1的自然数，将所述目标样本图像集中的每个目标样本图像输入到于其图像模态的种类对应的编码器，获取与所述图像模态对应的样本低维图像特征，将所述样本低维图像特征输入对应的解码器，获取与所述样本低维图像特征对应的参考样本图像，进而，计算所述参考样本图像与对应的目标样本图像的损失值，根据所述损失值调整所述图像特征提取器的模型参数，直至所述损失值小于预设阈值，完成训练。
举例而言，当N为3时，所有数据集无标的图像数据经过配准后，用来训练自监督图像特征提取器。该部分包含编码器和解码器模块。其中编码器包含3路，分别对应3种不同的图像模态，将图像特征映射到同一空间中的低维图像特征；解码器将低维图像特征解码为原始图像(参考样本图像)。为了使得不同模态的医学影像(目标样本图像)映射到同一低维特征空间，使用对抗学习策略，设置一个判别器来判断低维特征属于哪一个模态，促使编码器编码不同模态图像到相同特征空间。
步骤103，在低维图像特征中，确定与每个脑分区图像区域对应的体素特征，并将体素特征经由全局池化映射到统一维度的特征向量空间，获取每个脑区节点的脑区节点特征。
步骤104，对所有的脑分区图像区域的脑区节点特征进行图神经网络编码确定人脑的结构特征。
在本实施例中，每一个脑区的所有体素特征经由全局池化映射到统一维度的特征向量空间，作为该脑区节点的特征。构建以不同脑区为节点的图神经网络，经过图神经网络编码得到人脑的结构特征。其中，每一个脑区的所有体素特征可以在低维图像特征中，确定与每个脑分区图像区域对应的特征得到。
步骤105，将结构特征和目标模态图像输入预设的任务处理模型，通过任务处理模型的父分支提取基本图像特征，通过任务处理模型的子分支对基本图像特征处理获取疾病检测结果。
在本实施例中，对不同的任务，设置不同的模型末端分支，均使用上述步骤中得到的人脑整体特征(结构特征)和原始图像(目标模态图像)作为输入。每种特定的脑疾病共用同一父分支，不同的任务目标使用不同的子分支。使用大量的子任务数据对模型进行训练，得到最终的多疾病检测模型。
在本发明的一个实施例中，确定与当前任务处理需求对应的疾病类型，确定与所述疾病类型对应的所述父分支，比如，可以查询预设的对应关系得到，进而，通过所述任务处理模型的父分支提取基本图像特征，比如当疾病类型为肿瘤时，则基本图像特征包括肿瘤位置特征、肿瘤大小特征等，对应的子分支可以为肿瘤大小的确定，或者是肿瘤的位置确定等。
其中，在实际应用中，认为可以包括分类、目标检测、分割等，疾病类型可以包括：肿瘤、出血、缺血、动脉瘤、动脉硬化等。
由此，本发明实施例的基于图神经网络与多任务学习的脑疾病检测方法，利用自监督学习方法，从大量不同模态的无标注医疗图像中学习通用的结构化信息，使用图神经网络构建人脑结构化特征模型，人的不同脑区作为图神经网络的节点，使用多任务学习方式，在不同模态、不同疾病、不同任务目标的人脑医疗影像数据集上学习通用脑疾病检测模型。
综上，本发明实施例的基于图神经网络与多任务学习的脑疾病检测方法，通用脑疾病检测技术应用面广，不同任务之间可以起到相互促进的作用，能够提取并存储人脑结构的先验信息，模型可扩展能力强，利用到不同模态、不同任务的数据集，并使用自监督学习，能够极大扩充训练数据规模，提高模型鲁棒性。
为了实现上述实施例，本发明还提出一种基于图神经网络与多任务学习的脑疾病检测装置。
图2为本发明实施例提供的一种基于图神经网络与多任务学习的脑疾病检测装置的结构示意图。
如图2所示，该基于图神经网络与多任务学习的脑疾病检测装置包括：第一确定模块210、识别模块220、获取模块230、第二确定模块240、处理模块250。
其中，第一确定模块210，用于获取脑部的初始模态图像，根据预设的模态图像模板对所述初始模态图像对齐获取目标模态图像，并确定所述目标模态图像的不同脑分区图像区域；
识别模块220，用于将所述目标模态图像输入预先训练的图像特征提取器，以通过所述图像特征提取器中与所述目标模态图像的图像模态类型对应的编码器，识别与所述目标模态图像在预设空间的目标低维图像特征；
获取模块230，用于在所述低维图像特征中，确定与每个所述脑分区图像区域对应的体素特征，并将所述体素特征经由全局池化映射到统一维度的特征向量空间，获取每个脑区节点的脑区节点特征；
第二确定模块240，用于对所有的所述脑分区图像区域的脑区节点特征进行图神经网络编码确定人脑的结构特征；
处理模块250，用于将所述结构特征和所述目标模态图像输入预设的任务处理模型，通过所述任务处理模型的父分支提取基本图像特征，通过所述任务处理模型的子分支对所述基本图像特征处理获取疾病检测结果。
需要说明的是，前述对基于图神经网络与多任务学习的脑疾病检测方法实施例的解释说明也适用于该实施例的基于图神经网络与多任务学习的脑疾病检测装置，此处不再赘述。
为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所描述的基于图神经网络与多任务学习的脑疾病检测方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所描述的基于图神经网络与多任务学习的脑疾病检测方法。
为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述实施例所描述的基于图神经网络与多任务学习的脑疾病检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种基于图神经网络与多任务学习的脑疾病检测装置，其特征在于，包括：
第一确定模块，用于获取脑部的初始模态图像，根据预设的模态图像模板对所述初始模态图像对齐获取目标模态图像，并确定所述目标模态图像的不同脑分区图像区域；
识别模块，用于将所述目标模态图像输入预先训练的图像特征提取器，以通过所述图像特征提取器中与所述目标模态图像的图像模态类型对应的编码器，识别与所述目标模态图像在预设空间的目标低维图像特征；
获取模块，用于在所述低维图像特征中，确定与每个所述脑分区图像区域对应的体素特征，并将所述体素特征经由全局池化映射到统一维度的特征向量空间，获取每个脑区节点的脑区节点特征；
第二确定模块，用于对所有的所述脑分区图像区域的脑区节点特征进行图神经网络编码确定人脑的结构特征；
处理模块，用于将所述结构特征和所述目标模态图像输入预设的任务处理模型，通过所述任务处理模型的父分支提取基本图像特征，通过所述任务处理模型的子分支对所述基本图像特征处理获取疾病检测结果。
2.如权利要求1所述的装置，其特征在于，还包括：
训练模块，用于将所述结构特征和所述目标模态图像输入预设的任务处理模型，通过所述任务处理模型的父分支提取基本图像特征，通过所述任务处理模型的子分支对所述基本图像特征处理获取疾病检测结果。
3.如权利要求2所述的装置，其特征在于，所述训练模块，还用于：
根据预设的模板图像对无标的样本数据集中的所有样本图像配准，生成目标样本图像集，其中，所述目标样本图像集中包括N种图像模态的目标样本图像，其中，N为大于1的自然数；
将所述目标样本图像集中的每个目标样本图像输入到与其图像模态的种类对应的编码器，获取与所述图像模态对应的样本低维图像特征；
将所述样本低维图像特征输入对应的解码器，获取与所述样本低维图像特征对应的参考样本图像；
计算所述参考样本图像与对应的目标样本图像的损失值，根据所述损失值调整所述图像特征提取器的模型参数，直至所述损失值小于预设阈值，完成训练。
4.如权利要求1所述的装置，其特征在于，所述第一确定模块，还用于：
根据预设的模态图像模板中的脑部图像的标准像素点；
识别所述目标模态图像中的参考像素点；
根据所述标准像素点和所述参考像素点，调整所述目标模态图像以实现对所述目标模态图像的对齐；
根据所述模态图像模板中标注的脑分区信息确定配准后的所述目标模态图像的脑分区图像区域。
5.如权利要求1所述的装置，其特征在于，所述处理模块，还用于：
确定与当前任务处理需求对应的疾病类型；
确定与所述疾病类型对应的所述父分支；
通过所述任务处理模型的父分支提取基本图像特征。
CN202110272407.XA 2021-03-12 2021-03-12 基于图神经网络与多任务学习的脑疾病检测方法和装置 Active CN112802013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110272407.XA CN112802013B (zh) 2021-03-12 2021-03-12 基于图神经网络与多任务学习的脑疾病检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110272407.XA CN112802013B (zh) 2021-03-12 2021-03-12 基于图神经网络与多任务学习的脑疾病检测方法和装置

Publications (2)

Publication Number Publication Date
CN112802013A CN112802013A (zh) 2021-05-14
CN112802013B true CN112802013B (zh) 2022-12-02

Family

ID=75817030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110272407.XA Active CN112802013B (zh) 2021-03-12 2021-03-12 基于图神经网络与多任务学习的脑疾病检测方法和装置

Country Status (1)

Country Link
CN (1) CN112802013B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257412B (zh) * 2021-06-16 2022-02-11 腾讯科技（深圳）有限公司 信息处理方法、装置、计算机设备及存储介质
US20230111306A1 (en) * 2021-10-13 2023-04-13 GE Precision Healthcare LLC Self-supervised representation learning paradigm for medical images
CN114240887B (zh) * 2021-12-17 2022-08-23 深圳市医未医疗科技有限公司 一种基于脑部多模态图像的处理方法与系统
CN115221976B (zh) * 2022-08-18 2024-05-24 抖音视界有限公司 一种基于图神经网络的模型训练方法及装置
WO2024119337A1 (zh) * 2022-12-05 2024-06-13 中国科学院深圳先进技术研究院 脑网络统一表征计算方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111325A (zh) * 2019-05-14 2019-08-09 深圳大学 神经影像分类方法、计算机终端及计算机可读存储介质
CN110544252A (zh) * 2019-09-05 2019-12-06 重庆邮电大学 基于多模态磁共振脑影像的帕金森病辅助诊断系统
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN111368943A (zh) * 2020-05-27 2020-07-03 腾讯科技（深圳）有限公司 图像中对象的识别方法和装置、存储介质及电子装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111325A (zh) * 2019-05-14 2019-08-09 深圳大学 神经影像分类方法、计算机终端及计算机可读存储介质
CN110544252A (zh) * 2019-09-05 2019-12-06 重庆邮电大学 基于多模态磁共振脑影像的帕金森病辅助诊断系统
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN111368943A (zh) * 2020-05-27 2020-07-03 腾讯科技（深圳）有限公司 图像中对象的识别方法和装置、存储介质及电子装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Effective and efficient multitask learning for brain tumor segmentation;Guohua Cheng等;《Journal of Real-Time Image Processing》;20200406;全文 *
Predicting Lymph Node Metastasis Using Histopathological Images Based on Multiple Instance Learning with Deep Graph Convolution;Yu Zhao等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200805;全文 *
基于图卷积网络和自编码器的半监督网络表示学习模型;王杰等;《模式识别与人工智能》;20190415(第04期);全文 *
通过细粒度的语义特征与Transformer丰富图像描述;王俊豪等;《华东师范大学学报(自然科学版)》;20200925(第05期);全文 *

Also Published As

Publication number Publication date
CN112802013A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112802013B (zh) 基于图神经网络与多任务学习的脑疾病检测方法和装置
Carass et al. Evaluating white matter lesion segmentations with refined Sørensen-Dice analysis
Jog et al. Random forest regression for magnetic resonance image synthesis
US11593943B2 (en) RECIST assessment of tumour progression
CN110807788A (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
CN109492668B (zh) 基于多通道卷积神经网络的mri不同期多模图像表征方法
WO1996026667A2 (en) Extraction of fuzzy object information in images
US10521906B2 (en) Method and image processor for evaluating a contrast agent-enhanced magnetic resonance slice image of a heart
Göçeri et al. Fully automated liver segmentation from SPIR image series
CN113888470A (zh) 基于卷积神经网络和多模态医学影像的诊断方法和装置
Jiang et al. miLBP: a robust and fast modality-independent 3D LBP for multimodal deformable registration
CN116824173A (zh) 医学图像的处理方法、设备及存储介质
CN108597589B (zh) 模型生成方法、目标检测方法及医学成像系统
CN111128349A (zh) 基于gan的医学影像病灶检测标记数据增强方法及装置
Michel et al. Image transport regression using mixture of experts and discrete Markov random fields
Han et al. Clustering and retrieval of video shots based on natural stimulus fMRI
Almakady et al. Volumetric texture analysis based on three-dimensional gaussian markov random fields for copd detection
Guennich et al. An improved model for semantic segmentation of brain lesions using CNN 3D
Parvathaneni et al. Improving human cortical sulcal curve labeling in large scale cross-sectional MRI using deep neural networks
CN113177953B (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN110147830B (zh) 训练影像数据生成网络的方法、影像数据分类方法及装置
Abd Hamid et al. Incorporating attention mechanism in enhancing classification of alzheimer’s disease
CN113850794A (zh) 一种图像处理方法及装置
Lee et al. Learning-based multi-atlas segmentation of the lungs and lobes in proton MR images
CN113379770A (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant