CN115578387A - 一种基于多模态的阿尔茨海默症医学图像分类方法及系统 - Google Patents

一种基于多模态的阿尔茨海默症医学图像分类方法及系统 Download PDF

Info

Publication number
CN115578387A
CN115578387A CN202211555313.4A CN202211555313A CN115578387A CN 115578387 A CN115578387 A CN 115578387A CN 202211555313 A CN202211555313 A CN 202211555313A CN 115578387 A CN115578387 A CN 115578387A
Authority
CN
China
Prior art keywords
image
imaging image
attention
magnetic resonance
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211555313.4A
Other languages
English (en)
Inventor
唐艳
熊星
张昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202211555313.4A priority Critical patent/CN115578387A/zh
Publication of CN115578387A publication Critical patent/CN115578387A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于多模态的阿尔茨海默症医学图像分类方法及系统，其方法包括：将结构性核磁共振成像图像输入第一3DCNN网络，得到结构性核磁共振成像图像的第一特征；将正电子发射断层扫描成像图像输入第二3DCNN网络，得到正电子发射断层扫描成像图像的第二特征；将第一特征和第二特征输入Transformer模型中的编码器模块，得到待分类大脑的融合特征；将融合特征输入多层感知机网络，得到待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像的阿尔兹海默症程度图像分类结果。本发明能够解决单模态医学图像信息不全面的问题，提高了神经网络对阿尔茨海默症医学图像的分类准确率。

Description

一种基于多模态的阿尔茨海默症医学图像分类方法及系统
技术领域
本发明涉及医学图像识别技术领域，尤其是涉及一种基于多模态的阿尔茨海默症医学图像分类方法及系统。
背景技术
三维医学图像包含丰富的医学信息，若直接采用预处理后图像的体素作为特征，这种特征的维度往往高达几万甚至几十万，以现有的计算机设备来看，处理这种高维度的数据是非常耗时的，从而影响了分类算法的效率。因此现有技术通常采用特征提取的方法以提取与病理相关的关键信息，进行数据降维。而现有特征提取方法存在一些缺陷，如：基于ALL模板的特征提取方法，它基于先验的模板进行特征提取，可能忽视了模板以外但与病理相关的信息；传统机器学习中基于主成分分析、图核等方法则需要大量的人工操作干预；而将三维医学图像处理成图像切片后利用2DCNN提取特征的方法则导致特征的空间特性丢失等。
因此，现有方法在提取医学图像特征后通常直接输入到分类器中进行分类，一般分类器并不考虑不同特征之间的相关性，而单一模态的医学图像仅从单个方面表现出患者的病理情况，单模态的医学图像数据很难揭示与阿尔茨海默症相关的不同方面的病理变化，无法准确进行医学图像的阿尔兹海默症程度分类。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于多模态的阿尔茨海默症医学图像分类方法及系统，能够解决传统特征提取方法复杂、低效等问题，并利用特征信息进行诊断时，以多角度考虑特征之间的相关性，解决单模态医学图像信息单一、不全面等问题，提高了神经网络对阿尔茨海默症医学图像的分类准确率。
第一方面，本发明的实施例提供了一种基于多模态的阿尔茨海默症医学图像分类方法，所述基于多模态的阿尔茨海默症医学图像分类方法包括：
获取待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像；
将所述结构性核磁共振成像图像输入第一3DCNN网络，得到所述结构性核磁共振成像图像的第一特征；
将所述正电子发射断层扫描成像图像输入第二3DCNN网络，得到所述正电子发射断层扫描成像图像的第二特征；
将所述第一特征和所述第二特征输入Transformer模型中的编码器模块，得到所述待分类大脑的融合特征；
将所述融合特征输入多层感知机网络，得到所述待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像的阿尔兹海默症程度图像分类结果。
根据本发明实施例的方法，至少具有如下有益效果：
通过两个3DCNN网络分别提取待分类大脑的结构性核磁共振成像图像的第一特征和正电子发射断层扫描成像图像的第二特征，保证了两个图像的提取不会互相干扰，同时兼顾了多模态的特征信息，解决了单模态医学图像信息单一、不全面等问题；然后通过将第一特征和第二特征输入Transformer模型中的编码器模块，能够从多角度、高效地求解全局特征之间的相关性，从而得到待分类大脑的融合特征；最后通过将融合特征输入多层感知机网络，得到分类结果，大大提高了医学图像的阿尔兹海默症程度分类的准确率。
根据本发明的一些实施例，在所述获取待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像之后，还包括：
将所述结构性核磁共振成像图像通过AC-PC校正、颅骨剥离、小脑切除以及灰质、白质和脑脊液的分割，得到所述结构性核磁共振成像图像的剩余灰质；
将所述结构性核磁共振成像图像的剩余灰质配准到标准脑模板并通过下采样，得到所述结构性核磁共振成像图像的灰质图像；
将所述结构性核磁共振成像图像的灰质图像进行平滑处理，得到预处理后的所述结构性核磁共振成像图像；
将所述正电子发射断层扫描成像图像通过头动校正和配准到所述标准脑模板，并通过下采样，得到所述正电子发射断层扫描成像图像的校准图像；
将所述正电子发射断层扫描成像图像的校准图像进行平滑处理，得到预处理后的所述正电子发射断层扫描成像图像。
根据本发明的一些实施例，所述第一3DCNN网络和所述第二3DCNN网络的网络结构相同但不共享网络权重。
根据本发明的一些实施例，所述编码器模块包括多头自注意力层和前馈神经网络层。
根据本发明的一些实施例，所述将所述第一特征和所述第二特征输入Transformer模型中的编码器模块得到所述待分类大脑的融合特征，包括：
将所述第一特征和所述第二特征输入至所述编码器模块中的所述多头自注意力层，得到多头注意力；
将所述多头注意力输入至所述编码器模块中的所述前馈神经网络层，得到注意力平均值和所述注意力平均值的高维度映射；
通过所述注意力平均值和所述注意力平均值的高维度映射将所述第一特征和所述第二特征进行多模态的信息融合，得到所述待分类大脑的融合特征。
根据本发明的一些实施例，所述将所述第一特征和所述第二特征输入至所述编码器模块中的所述多头自注意力层得到多头注意力的计算公式包括：
Figure DEST_PATH_IMAGE001
其中，
Figure 981014DEST_PATH_IMAGE002
表示query矩阵，
Figure DEST_PATH_IMAGE003
表示key矩阵，
Figure 757209DEST_PATH_IMAGE004
表示value矩阵，
Figure DEST_PATH_IMAGE005
表示提取的单头注意力，
Figure 192739DEST_PATH_IMAGE006
表示对矩阵求转置，
Figure DEST_PATH_IMAGE007
表示query矩阵和key矩阵的维度，
Figure 650265DEST_PATH_IMAGE008
表示归一化指数函数，
Figure DEST_PATH_IMAGE009
表示多头注意力，
Figure 529884DEST_PATH_IMAGE010
表示多头注意力中头的数量，
Figure DEST_PATH_IMAGE011
表示将多个单头注意力进行拼接并乘上对应的权重矩阵
Figure 680242DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE013
表示query矩阵的映射矩阵，
Figure 9593DEST_PATH_IMAGE014
表示key矩阵的映射矩阵，
Figure DEST_PATH_IMAGE015
表示value矩阵的映射矩阵，
Figure 411755DEST_PATH_IMAGE016
表示第
Figure DEST_PATH_IMAGE017
个单头注意力。
根据本发明的一些实施例，所述将所述多头注意力输入至所述编码器模块中的所述前馈神经网络层得到注意力平均值和所述注意力平均值的高维度映射的计算公式包括：
Figure 408530DEST_PATH_IMAGE018
其中，
Figure DEST_PATH_IMAGE019
表示前馈神经网络层的第一层权重，第一层权重将
Figure 729790DEST_PATH_IMAGE020
进行更高维度的映射，
Figure DEST_PATH_IMAGE021
表示前馈神经网络层的第二层权重，
Figure 812015DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE023
表示偏置项，
Figure 611344DEST_PATH_IMAGE024
表示输入的多头注意力，
Figure DEST_PATH_IMAGE025
表示对结果使用线性整流函数ReLu，把所有的负值都变为0，而正值不变，
Figure 337992DEST_PATH_IMAGE026
表示前馈神经网络层的输出。
第二方面，本发明的实施例提供了一种基于多模态的阿尔茨海默症医学图像分类系统，所述基于多模态的阿尔茨海默症医学图像分类系统包括：
图像获取模块，用于获取待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像；
第一3DCNN网络模块，用于将所述结构性核磁共振成像图像输入第一3DCNN网络，得到所述结构性核磁共振成像图像的第一特征；
第二3DCNN网络模块，用于将所述正电子发射断层扫描成像图像输入第二3DCNN网络，得到所述正电子发射断层扫描成像图像的第二特征；
特征融合模块，用于将所述第一特征和所述第二特征输入Transformer模型中的编码器模块，得到所述待分类大脑的融合特征；
多层感知机分类模块，用于将所述融合特征输入多层感知机网络，得到所述待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像的阿尔兹海默症程度图像分类结果。
第三方面，本发明的实施例提供了一种电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如第一方面所述的基于多模态的阿尔茨海默症医学图像分类方法。
第四方面，本发明的实施例提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的基于多模态的阿尔茨海默症医学图像分类方法。
需要注意的是，本发明的第二方面至第四方面与现有技术之间的有益效果与第一方面的基于多模态的阿尔茨海默症医学图像分类方法的有益效果相同，此处不再细述。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例提供的一种基于多模态的阿尔茨海默症医学图像分类方法的流程图；
图2是本发明一实施例提供的对结构性核磁共振成像图像和正电子发射断层扫描成像图像进行预处理的流程图；
图3是本发明一实施例提供的将第一特征和第二特征输入Transformer模型中的编码器模块得到待分类大脑的融合特征的流程图；
图4是本发明一实施例提供的一种基于多模态的阿尔茨海默症医学图像分类方法的流程示意图；
图5是本发明一实施例提供的一种基于多模态的阿尔茨海默症医学图像分类方法的示意图；
图6是本发明一实施例提供的第一3DCNN网络或第二3DCNN网络的结构示意图；
图7是本发明一实施例提供的编码器模块的结构示意图；
图8是本发明一实施例提供的一种基于多模态的阿尔茨海默症医学图像分类系统的结构图；
图9是本发明一实施例提供的一种电子设备的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，在本发明的一些实施例中，提供了一种基于多模态的阿尔茨海默症医学图像分类方法，包括：
步骤S100、获取待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像。
步骤S200、将结构性核磁共振成像图像输入第一3DCNN网络，得到结构性核磁共振成像图像的第一特征。
步骤S300、将正电子发射断层扫描成像图像输入第二3DCNN网络，得到正电子发射断层扫描成像图像的第二特征。
步骤S400、将第一特征和第二特征输入Transformer模型中的编码器模块，得到待分类大脑的融合特征。
步骤S500、将融合特征输入多层感知机网络，得到待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像的阿尔兹海默症程度图像分类结果。
根据本发明实施例提供的基于多模态的阿尔茨海默症医学图像分类方法，至少具有以下效果：
通过两个3DCNN网络分别提取待分类大脑的结构性核磁共振成像图像的第一特征和正电子发射断层扫描成像图像的第二特征，保证了两个图像的提取不会互相干扰，同时兼顾了多模态的特征信息，解决了单模态医学图像信息单一、不全面等问题；然后通过将第一特征和第二特征输入Transformer模型中的编码器模块，能够从多角度、高效地求解全局特征之间的相关性，从而得到待分类大脑的融合特征；最后通过将融合特征输入多层感知机网络，得到分类结果，大大提高了医学图像的阿尔兹海默症程度分类的准确率。
参照图2，在本发明的一些实施例中，在获取待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像之后，还包括：
步骤S101、将结构性核磁共振成像图像通过AC-PC校正、颅骨剥离、小脑切除以及灰质、白质和脑脊液的分割，得到结构性核磁共振成像图像的剩余灰质。
步骤S102、将结构性核磁共振成像图像的剩余灰质配准到标准脑模板并通过下采样，得到结构性核磁共振成像图像的灰质图像。
可选的是，标准脑模板采用MNI152，通过下采样得到体素大小为1mm*1mm*1mm、图像大小为64*64*64的结构性核磁共振成像图像的灰质图像。
步骤S103、将结构性核磁共振成像图像的灰质图像进行平滑处理，得到预处理后的结构性核磁共振成像图像。
可选的是，采用8mm的平滑核对结构性核磁共振成像图像进行平滑处理。
步骤S104、将正电子发射断层扫描成像图像通过头动校正和配准到标准脑模板，并通过下采样，得到正电子发射断层扫描成像图像的校准图像。
步骤S105、将正电子发射断层扫描成像图像的校准图像进行平滑处理，得到预处理后的正电子发射断层扫描成像图像。
可选的是，采用8mm的平滑核对正电子发射断层扫描成像图像进行平滑处理。
需要说明的是，结构磁共振成像图像就是传统医学上的核磁共振图像,是通过强外磁场内人体的氢原子在特定射频脉冲作用下产生的磁共振成像结构磁共振成像的图像数据分辨率高，对比度丰富，图像清晰；正电子发射计算机断层成像图像通过病人的代谢、功能等与正常人不同机制，提供病灶区域详细的代谢与功能的分子信息，从而反映出病人低代谢水平的特征。
在获取待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像之后，进行结构性核磁共振成像图像和正电子发射断层扫描成像图像的预处理能够保证特征信息提取的准确度，去除了许多冗余信息，降低待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像的特征信息的难度。
在本发明的一些实施例中，第一3DCNN网络和第二3DCNN网络的网络结构相同但不共享网络权重。
优选的是，第一3DCNN网络或第二3DCNN网络包含六层，每层包括卷积层、归一化层、激活层和最大池化层（最后一层无池化层），C15@3×3×3表示卷积层有15个过滤器，卷积核大小为3*3*3，p2×2×2表示池化核大小为2*2*2，输入预处理后的大小为64*64*64的结构性核磁共振成像图像或正电子发射断层扫描成像图像，经过6层卷积网络后，提取出200个2*2*2的特征。
第一3DCNN网络和第二3DCNN网络通过相同的网络结构提取特征信息，保证了不同模态医学图像的特征信息单独提取的公平性，但不共享网络权重，互不影响各自的特征信息的提取。
在本发明的一些实施例中，编码器模块包括多头自注意力层和前馈神经网络层。
需要说明的是，多头自注意力层主要通过计算特征之间的相关性来解决长距离依赖问题，它是Transformer编码器块的重要组成部分，它减少了对外部信息的依赖，并更好地捕获特征的内部相关性。同时，多自注意头允许模型学习不同特征的相互依赖关系，避免了单注意力头将注意力集中于自身的缺陷；前馈神经网络层用以取出注意力平均值并将它们转换为下一层更容易处理的形式。同时，多头自注意力层和前馈神经网络层前面都有一个归一化层用以进行平滑损失，这使得在使用大的学习率时很容易优化；后面有一个残差连接层用以减缓梯度消失、阻止网络输出退化。结构性核磁共振成像图像和正电子发射断层扫描成像图像的特征信息共享同一个Transformer编码器模块参数。
参照图3，在本发明的一些实施例中，将第一特征和第二特征输入Transformer模型中的编码器模块得到待分类大脑的融合特征，包括：
步骤S401、将第一特征和第二特征输入至编码器模块中的多头自注意力层，得到多头注意力。
步骤S402、将多头注意力输入至编码器模块中的前馈神经网络层，得到注意力平均值和注意力平均值的高维度映射。
步骤S403、通过注意力平均值和注意力平均值的高维度映射将第一特征和第二特征进行多模态的信息融合，得到待分类大脑的融合特征。
通过将第一特征和第二特征进行多头注意力的提取，并进行了高维度的映射，转换成了下一层更容易处理的形式，减少了算力资源的浪费，并提高了后续进行分类的效率。
在本发明的一些实施例中，将第一特征和第二特征输入至编码器模块中的多头自注意力层得到多头注意力的计算公式包括：
Figure 626891DEST_PATH_IMAGE001
其中，
Figure 337358DEST_PATH_IMAGE002
表示query矩阵，
Figure 197167DEST_PATH_IMAGE003
表示key矩阵，
Figure 575059DEST_PATH_IMAGE004
表示value矩阵，
Figure 379067DEST_PATH_IMAGE005
表示提取的单头注意力，
Figure 701464DEST_PATH_IMAGE006
表示对矩阵求转置，
Figure 514699DEST_PATH_IMAGE007
表示query矩阵和key矩阵的维度，
Figure 402890DEST_PATH_IMAGE008
表示归一化指数函数，
Figure 908957DEST_PATH_IMAGE009
表示多头注意力，
Figure 453071DEST_PATH_IMAGE010
表示多头注意力中头的数量，
Figure 69997DEST_PATH_IMAGE011
表示将多个单头注意力进行拼接并乘上对应的权重矩阵
Figure 891323DEST_PATH_IMAGE012
，
Figure 427346DEST_PATH_IMAGE013
表示query矩阵的映射矩阵，
Figure 599702DEST_PATH_IMAGE014
表示key矩阵的映射矩阵，
Figure 613794DEST_PATH_IMAGE015
表示value矩阵的映射矩阵，
Figure 555205DEST_PATH_IMAGE016
表示第
Figure 403076DEST_PATH_IMAGE017
个单头注意力。
通过编码器模块中的多头自注意力层从多模态方向进行高效求解全局特征之间的相关性，并且能并行求解，有效地进行了信息的互补，从而提高了后续阿尔茨海默症医学图像分类。
在本发明的一些实施例中，将多头注意力输入至编码器模块中的前馈神经网络层得到注意力平均值和注意力平均值的高维度映射的计算公式包括：
Figure 921782DEST_PATH_IMAGE018
其中，
Figure 880510DEST_PATH_IMAGE019
表示前馈神经网络层的第一层权重，第一层权重将
Figure 538412DEST_PATH_IMAGE020
进行更高维度的映射，
Figure 291605DEST_PATH_IMAGE021
表示前馈神经网络层的第二层权重，
Figure 438552DEST_PATH_IMAGE022
和
Figure 60026DEST_PATH_IMAGE023
表示偏置项，
Figure 710451DEST_PATH_IMAGE024
表示输入的多头注意力，
Figure 759178DEST_PATH_IMAGE025
表示对结果使用线性整流函数ReLu，把所有的负值都变为0，而正值不变，
Figure 127842DEST_PATH_IMAGE026
表示前馈神经网络层的输出。
通过将多头注意力输入至编码器模块中的前馈神经网络层得到注意力平均值，能够从多角度进行特征信息的互补，并将注意力平均值进行更高维度的映射，使多个单一模态在不同空间维度的不同特征信息能够通过注意力平均值和注意力平均值的高维度映射进行特征信息的融合，达到了多模态医学图像的信息互补的效果。
参照图4、图5、图6和图7，为了方便本领域技术人员理解，本发明的一个具体实施例，提供一种基于多模态的阿尔茨海默症医学图像分类方法,包括：
第一步、获取待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像，并进行待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像的预处理。
对原始的结构性核磁共振成像图像和正电子发射断层扫描成像图像进行预处理。结构性核磁共振成像图像需通过AC-PC（前连合-后联合）校正、颅骨剥离、小脑切除和三种重要组织（灰质、白质和脑脊液）分割，保留剩余的灰质并将其配准到标准脑模板MNI152上，最后通过下采样保留体素大小为1mm*1mm*1mm，图像大小为64*64*64的灰质图像。对于原始的正电子发射断层扫描成像图像，需要进行头动校正、配准到其对应的结构性核磁共振成像图像和配准到标准脑模板，下采样得到图像大小为64*64*64的正电子发射断层扫描成像图像。最后采用8mm的平滑核对两种模态图像进行平滑处理。预处理后的图像被用来作为网络模型的输入。
第二步、将预处理后的结构性核磁共振成像图像输入第一3DCNN网络，得到结构性核磁共振成像图像的第一特征；将预处理后的正电子发射断层扫描成像图像输入第二3DCNN网络，得到正电子发射断层扫描成像图像的第二特征。
第一3DCNN网络或第二3DCNN网络包含六层，每层包括卷积层、归一化层、激活层和最大池化层（最后一层无池化层），C15@3×3×3表示卷积层有15个过滤器，卷积核大小为3*3*3，p2×2×2表示池化核大小为2*2*2，输入预处理后的大小为64*64*64的结构性核磁共振成像图像或正电子发射断层扫描成像图像，经过6层卷积网络后，提取出200个2*2*2的特征；第一3DCNN网络和第二3DCNN网络通过相同的网络结构提取特征信息，保证了不同模态医学图像的特征信息单独提取的公平性，但不共享网络权重，互不影响各自的特征信息的提取。其中卷积网络的卷积计算如下：
Figure DEST_PATH_IMAGE027
其中
Figure 21849DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE029
和
Figure 651414DEST_PATH_IMAGE030
表示三维医学图像的体素位置，
Figure DEST_PATH_IMAGE031
表示第
Figure 215250DEST_PATH_IMAGE032
个3D卷积核的权重，该卷积核连接第
Figure DEST_PATH_IMAGE033
层的第
Figure 930265DEST_PATH_IMAGE034
个特征和第
Figure DEST_PATH_IMAGE035
层的第
Figure 627963DEST_PATH_IMAGE032
个特征，
Figure 987400DEST_PATH_IMAGE036
表示第
Figure 643509DEST_PATH_IMAGE033
层的第
Figure 721187DEST_PATH_IMAGE034
个特征，
Figure DEST_PATH_IMAGE037
，
Figure 225505DEST_PATH_IMAGE038
和
Figure DEST_PATH_IMAGE039
分别是对应于
Figure 564082DEST_PATH_IMAGE028
、
Figure 266459DEST_PATH_IMAGE029
和
Figure 831433DEST_PATH_IMAGE030
的卷积核大小；
Figure 402091DEST_PATH_IMAGE040
是第
Figure 736121DEST_PATH_IMAGE035
层的第
Figure 468453DEST_PATH_IMAGE032
特征图的偏差项；每层卷积后，采用
Figure DEST_PATH_IMAGE041
作为激活函数。
第三步、将第一特征和第二特征输入到Transformer的编码器模块中以求解特征之间的全局注意力并得到融合特征，编码器网络叠加两层且不同模态特征共用同一个编码器网络。
编码器模块由一个多头自注意力层和一个前馈神经网络层组成多头自注意力层主要通过计算特征之间的相关性来解决长距离依赖问题，它是Transformer编码器块的重要组成部分，它减少了对外部信息的依赖，并更好地捕获特征的内部相关性。同时，多自注意头允许模型学习不同特征的相互依赖关系，避免了单注意力头将注意力集中于自身的缺陷。多头注意力计算公式如下：
Figure 520723DEST_PATH_IMAGE001
其中，
Figure 363914DEST_PATH_IMAGE002
表示query矩阵，
Figure 83608DEST_PATH_IMAGE003
表示key矩阵，
Figure 862208DEST_PATH_IMAGE004
表示value矩阵，
Figure 791987DEST_PATH_IMAGE005
表示提取的单头注意力，
Figure 314235DEST_PATH_IMAGE006
表示对矩阵求转置，
Figure 747491DEST_PATH_IMAGE007
表示query矩阵和key矩阵的维度，
Figure 962572DEST_PATH_IMAGE008
表示归一化指数函数，
Figure 723854DEST_PATH_IMAGE009
表示多头注意力，
Figure 440006DEST_PATH_IMAGE010
表示多头注意力中头的数量，
Figure 868714DEST_PATH_IMAGE011
表示将多个单头注意力进行拼接并乘上对应的权重矩阵
Figure 989116DEST_PATH_IMAGE012
，
Figure 630838DEST_PATH_IMAGE013
表示query矩阵的映射矩阵，
Figure 760468DEST_PATH_IMAGE014
表示key矩阵的映射矩阵，
Figure 902736DEST_PATH_IMAGE015
表示value矩阵的映射矩阵，
Figure 725199DEST_PATH_IMAGE016
表示第
Figure 461073DEST_PATH_IMAGE017
个单头注意力。
前馈神经网络层用以取出注意力平均值并将它们转换为下一层更容易处理的形式。前馈神经网络层的计算公式如下：
Figure 519028DEST_PATH_IMAGE018
其中，
Figure 391169DEST_PATH_IMAGE019
表示前馈神经网络层的第一层权重，第一层权重将
Figure 384533DEST_PATH_IMAGE020
进行更高维度的映射，
Figure 732338DEST_PATH_IMAGE021
表示前馈神经网络层的第二层权重，
Figure 203770DEST_PATH_IMAGE022
和
Figure 320631DEST_PATH_IMAGE023
表示偏置项，
Figure 484896DEST_PATH_IMAGE024
表示输入的多头注意力，
Figure 929784DEST_PATH_IMAGE025
表示对结果使用线性整流函数ReLu，把所有的负值都变为0，而正值不变，
Figure 329541DEST_PATH_IMAGE026
表示前馈神经网络层的输出。
多头自注意力层和前馈神经网络层前面都有一个归一化层用以进行平滑损失，这使得在使用大的学习率时很容易优化；后面有一个残差连接层用以减缓梯度消失、阻止网络输出退化。编码器模块共堆叠四层。多头自注意力层和前馈神经网络层的特征共享同一个Transformer编码器模块参数。
第四步、将Transformer编码器模块输出的融合特征输入多层感知机网络进行待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像的阿尔兹海默症程度图像分类。
通过将融合特征输入多层感知机网络，进行阿尔兹海默症程度图像分类，能够进行多种类的图像分类，例如可能发展为阿尔兹海默症的医学图像、其他认知障碍疾病的医学图像、阿尔兹海默症轻度的医学图像、阿尔兹海默症中度的医学图像和阿尔兹海默症重度的医学图像；能够减轻工作人员的工作负担，并且避免出现工作人员的错误主观判断进行图像分类带来严重的后果。
参照图8，本发明的一个实施例，还提供了一种基于多模态的阿尔茨海默症医学图像分类系统，包括图像获取模块1001、第一3DCNN网络模块1002、第二3DCNN网络模块1003、特征融合模块1004和多层感知机分类模块1005，其中：
图像获取模块1001，用于获取待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像。
第一3DCNN网络模块1002，用于将结构性核磁共振成像图像输入第一3DCNN网络，得到结构性核磁共振成像图像的第一特征。
第二3DCNN网络模块1003，用于将正电子发射断层扫描成像图像输入第二3DCNN网络，得到正电子发射断层扫描成像图像的第二特征。
特征融合模块1004，用于将第一特征和第二特征输入Transformer模型中的编码器模块，得到待分类大脑的融合特征。
多层感知机分类模块1005，用于将融合特征输入多层感知机网络，得到待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像的阿尔兹海默症程度图像分类结果。
需要说明的是，由于本实施例中的一种基于多模态的阿尔茨海默症医学图像分类系统与上述的一种基于多模态的阿尔茨海默症医学图像分类方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。
参考图9，本发明的另一个实施例，还提供了一种电子设备，该电子设备6000可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。
具体的，电子设备6000包括：一个或多个控制处理器6001和存储器6002，图9中以一个控制处理器6001与一个存储器6002为例，控制处理器6001和存储器6002可以通过总线或者其他方式连接，图9中以通过总线连接为例。
存储器6002作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的一种电子设备对应的程序指令/模块；
控制处理器6001通过运行存储在存储器6002中的非暂态软件程序、指令以及模块，从而执行一种基于多模态的阿尔茨海默症医学图像分类方法的各种功能应用以及数据处理，即实现上述方法实施例的一种基于多模态的阿尔茨海默症医学图像分类方法。
存储器6002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储一种基于多模态的阿尔茨海默症医学图像分类方法的使用所创建的数据等。此外，存储器6002可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器6002可选包括相对于控制处理器6001远程设置的存储器，这些远程存储器可以通过网络连接至该电子设备6000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一个或者多个模块存储在存储器6002中，当被该一个或者多个控制处理器6001执行时，执行上述方法实施例中的一种基于多模态的阿尔茨海默症医学图像分类方法，例如执行以上描述的图1至图3的方法步骤。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
需要说明的是，由于本实施例中的一种电子设备与上述的一种基于多模态的阿尔茨海默症医学图像分类方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。
本发明的一个实施例，还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行：如上述实施例的基于多模态的阿尔茨海默症医学图像分类方法。
需要说明的是，由于本实施例中的一种计算机可读存储介质与上述的一种基于多模态的阿尔茨海默症医学图像分类方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储数据（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的数据并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何数据递送介质。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于多模态的阿尔茨海默症医学图像分类方法，其特征在于，所述基于多模态的阿尔茨海默症医学图像分类方法包括：
获取待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像；
将所述结构性核磁共振成像图像输入第一3DCNN网络，得到所述结构性核磁共振成像图像的第一特征；
将所述正电子发射断层扫描成像图像输入第二3DCNN网络，得到所述正电子发射断层扫描成像图像的第二特征；
将所述第一特征和所述第二特征输入Transformer模型中的编码器模块，得到所述待分类大脑的融合特征；
将所述融合特征输入多层感知机网络，得到所述待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像的阿尔兹海默症程度图像分类结果。
2.根据权利要求1所述的基于多模态的阿尔茨海默症医学图像分类方法，其特征在于，在所述获取待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像之后，还包括：
将所述结构性核磁共振成像图像通过AC-PC校正、颅骨剥离、小脑切除以及灰质、白质和脑脊液的分割，得到所述结构性核磁共振成像图像的剩余灰质；
将所述结构性核磁共振成像图像的剩余灰质配准到标准脑模板并通过下采样，得到所述结构性核磁共振成像图像的灰质图像；
将所述结构性核磁共振成像图像的灰质图像进行平滑处理，得到预处理后的所述结构性核磁共振成像图像；
将所述正电子发射断层扫描成像图像通过头动校正和配准到所述标准脑模板，并通过下采样，得到所述正电子发射断层扫描成像图像的校准图像；
将所述正电子发射断层扫描成像图像的校准图像进行平滑处理，得到预处理后的所述正电子发射断层扫描成像图像。
3.根据权利要求1所述的基于多模态的阿尔茨海默症医学图像分类方法，其特征在于，所述第一3DCNN网络和所述第二3DCNN网络的网络结构相同但不共享网络权重。
4.根据权利要求1所述的基于多模态的阿尔茨海默症医学图像分类方法，其特征在于，所述编码器模块包括多头自注意力层和前馈神经网络层。
5.根据权利要求4所述的基于多模态的阿尔茨海默症医学图像分类方法，其特征在于，所述将所述第一特征和所述第二特征输入Transformer模型中的编码器模块得到所述待分类大脑的融合特征，包括：
将所述第一特征和所述第二特征输入至所述编码器模块中的所述多头自注意力层，得到多头注意力；
将所述多头注意力输入至所述编码器模块中的所述前馈神经网络层，得到注意力平均值和所述注意力平均值的高维度映射；
通过所述注意力平均值和所述注意力平均值的高维度映射将所述第一特征和所述第二特征进行多模态的信息融合，得到所述待分类大脑的融合特征。
6.根据权利要求5所述的基于多模态的阿尔茨海默症医学图像分类方法，其特征在于，所述将所述第一特征和所述第二特征输入至所述编码器模块中的所述多头自注意力层得到多头注意力的计算公式包括：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
表示query矩阵，
Figure DEST_PATH_IMAGE006
表示key矩阵，
Figure DEST_PATH_IMAGE008
表示value矩阵，
Figure DEST_PATH_IMAGE010
表示提取的单头注意力，
Figure DEST_PATH_IMAGE012
表示对矩阵求转置，
Figure DEST_PATH_IMAGE014
表示query矩阵和key矩阵的维度，
Figure DEST_PATH_IMAGE016
表示归一化指数函数，
Figure DEST_PATH_IMAGE018
表示多头注意力，
Figure DEST_PATH_IMAGE020
表示多头注意力中头的数量，
Figure DEST_PATH_IMAGE022
表示将多个单头注意力进行拼接并乘上对应的权重矩阵
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE026
表示query矩阵的映射矩阵，
Figure DEST_PATH_IMAGE028
表示key矩阵的映射矩阵，
Figure DEST_PATH_IMAGE030
表示value矩阵的映射矩阵，
Figure DEST_PATH_IMAGE032
表示第
Figure DEST_PATH_IMAGE034
个单头注意力。
7.根据权利要求5所述的基于多模态的阿尔茨海默症医学图像分类方法，其特征在于，所述将所述多头注意力输入至所述编码器模块中的所述前馈神经网络层得到注意力平均值和所述注意力平均值的高维度映射的计算公式包括：
Figure DEST_PATH_IMAGE036
其中，
Figure DEST_PATH_IMAGE038
表示前馈神经网络层的第一层权重，第一层权重将
Figure DEST_PATH_IMAGE040
进行更高维度的映射，
Figure DEST_PATH_IMAGE042
表示前馈神经网络层的第二层权重，
Figure DEST_PATH_IMAGE044
和
Figure DEST_PATH_IMAGE046
表示偏置项，
Figure DEST_PATH_IMAGE048
表示输入的多头注意力，
Figure DEST_PATH_IMAGE050
表示对结果使用线性整流函数ReLu，把所有的负值都变为0，而正值不变，
Figure DEST_PATH_IMAGE052
表示前馈神经网络层的输出。
8.一种基于多模态的阿尔茨海默症医学图像分类系统，其特征在于，所述基于多模态的阿尔茨海默症医学图像分类系统包括：
图像获取模块，用于获取待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像；
第一3DCNN网络模块，用于将所述结构性核磁共振成像图像输入第一3DCNN网络，得到所述结构性核磁共振成像图像的第一特征；
第二3DCNN网络模块，用于将所述正电子发射断层扫描成像图像输入第二3DCNN网络，得到所述正电子发射断层扫描成像图像的第二特征；
特征融合模块，用于将所述第一特征和所述第二特征输入Transformer模型中的编码器模块，得到所述待分类大脑的融合特征；
多层感知机分类模块，用于将所述融合特征输入多层感知机网络，得到所述待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像的阿尔兹海默症程度图像分类结果。
9.一种电子设备，其特征在于：包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于多模态的阿尔茨海默症医学图像分类方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于多模态的阿尔茨海默症医学图像分类方法。
CN202211555313.4A 2022-12-06 2022-12-06 一种基于多模态的阿尔茨海默症医学图像分类方法及系统 Pending CN115578387A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211555313.4A CN115578387A (zh) 2022-12-06 2022-12-06 一种基于多模态的阿尔茨海默症医学图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211555313.4A CN115578387A (zh) 2022-12-06 2022-12-06 一种基于多模态的阿尔茨海默症医学图像分类方法及系统

Publications (1)

Publication Number Publication Date
CN115578387A true CN115578387A (zh) 2023-01-06

Family

ID=84590294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211555313.4A Pending CN115578387A (zh) 2022-12-06 2022-12-06 一种基于多模态的阿尔茨海默症医学图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN115578387A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030308A (zh) * 2023-02-17 2023-04-28 齐鲁工业大学(山东省科学院) 基于图卷积神经网络的多模态医学图像分类方法及系统
CN116246774A (zh) * 2023-03-15 2023-06-09 北京医准智能科技有限公司 一种基于信息融合的分类方法、装置及设备
CN117349714A (zh) * 2023-12-06 2024-01-05 中南大学 阿尔茨海默症医学图像的分类方法、系统、设备及介质
CN117392353A (zh) * 2023-12-11 2024-01-12 中南大学 一种增强现实光照估计方法、系统、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN108682009A (zh) * 2018-05-08 2018-10-19 深圳市铱硙医疗科技有限公司 一种阿尔茨海默症预测方法、装置、设备及介质
CN112353381A (zh) * 2020-11-24 2021-02-12 杭州冉曼智能科技有限公司 基于多模态大脑影像的阿尔茨海默症综合诊断系统
CN112633378A (zh) * 2020-12-24 2021-04-09 电子科技大学 一种多模态影像胎儿胼胝体智能检测方法及系统
CN112674720A (zh) * 2020-12-24 2021-04-20 四川大学 基于3d卷积神经网络的阿尔茨海默症的预诊断方法
US20210225511A1 (en) * 2018-06-18 2021-07-22 Google Llc Method and system for improving cancer detection using deep learning
CN113378973A (zh) * 2021-06-29 2021-09-10 沈阳雅译网络技术有限公司 一种基于自注意力机制的图像分类方法
WO2021229693A1 (ja) * 2020-05-12 2021-11-18 日本電信電話株式会社 学習装置、学習方法及び学習プログラム
CN113951834A (zh) * 2021-11-30 2022-01-21 湖南应超智能计算研究院有限责任公司 基于视觉Transformer算法的阿尔兹海默症分类预测方法
CN114627370A (zh) * 2022-02-17 2022-06-14 青岛理工大学 一种基于transformer特征融合的高光谱影像分类方法
US20220344051A1 (en) * 2020-12-09 2022-10-27 MS Technologies System and method for diagnostics and prognostics of mild cognitive impairment using deep learning

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN108682009A (zh) * 2018-05-08 2018-10-19 深圳市铱硙医疗科技有限公司 一种阿尔茨海默症预测方法、装置、设备及介质
US20210225511A1 (en) * 2018-06-18 2021-07-22 Google Llc Method and system for improving cancer detection using deep learning
WO2021229693A1 (ja) * 2020-05-12 2021-11-18 日本電信電話株式会社 学習装置、学習方法及び学習プログラム
CN112353381A (zh) * 2020-11-24 2021-02-12 杭州冉曼智能科技有限公司 基于多模态大脑影像的阿尔茨海默症综合诊断系统
US20220344051A1 (en) * 2020-12-09 2022-10-27 MS Technologies System and method for diagnostics and prognostics of mild cognitive impairment using deep learning
CN112633378A (zh) * 2020-12-24 2021-04-09 电子科技大学 一种多模态影像胎儿胼胝体智能检测方法及系统
CN112674720A (zh) * 2020-12-24 2021-04-20 四川大学 基于3d卷积神经网络的阿尔茨海默症的预诊断方法
CN113378973A (zh) * 2021-06-29 2021-09-10 沈阳雅译网络技术有限公司 一种基于自注意力机制的图像分类方法
CN113951834A (zh) * 2021-11-30 2022-01-21 湖南应超智能计算研究院有限责任公司 基于视觉Transformer算法的阿尔兹海默症分类预测方法
CN114627370A (zh) * 2022-02-17 2022-06-14 青岛理工大学 一种基于transformer特征融合的高光谱影像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LINFENG LIU ET AL.: "Cascaded Multi-Modal Mixing Transformers for Alzheimer’s Disease Classification with Incomplete Data", 《ARXIV:2210.00255V1 [EESS.IV]》 *
郁松等: "基于3D-ResNet的阿尔兹海默症分类算法研究", 《计算机工程与科学》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030308A (zh) * 2023-02-17 2023-04-28 齐鲁工业大学(山东省科学院) 基于图卷积神经网络的多模态医学图像分类方法及系统
CN116246774A (zh) * 2023-03-15 2023-06-09 北京医准智能科技有限公司 一种基于信息融合的分类方法、装置及设备
CN116246774B (zh) * 2023-03-15 2023-11-24 浙江医准智能科技有限公司 一种基于信息融合的分类方法、装置及设备
CN117349714A (zh) * 2023-12-06 2024-01-05 中南大学 阿尔茨海默症医学图像的分类方法、系统、设备及介质
CN117349714B (zh) * 2023-12-06 2024-02-13 中南大学 阿尔茨海默症医学图像的分类方法、系统、设备及介质
CN117392353A (zh) * 2023-12-11 2024-01-12 中南大学 一种增强现实光照估计方法、系统、设备及存储介质
CN117392353B (zh) * 2023-12-11 2024-03-12 中南大学 一种增强现实光照估计方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN115578387A (zh) 一种基于多模态的阿尔茨海默症医学图像分类方法及系统
US11961233B2 (en) Method and apparatus for training image segmentation model, computer device, and storage medium
WO2020215985A1 (zh) 医学影像分割方法、装置、电子设备和存储介质
Wang et al. A multi-view deep convolutional neural networks for lung nodule segmentation
WO2018120942A1 (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN107492071A (zh) 医学图像处理方法及设备
WO2020036734A2 (en) Image segmentation and object detection using fully convolutional neural network
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
WO2023137914A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN111402198B (zh) 基于解剖地标和残差网络的阿尔兹海默症分类方法及系统
Yuan et al. Brain CT image database building for computer-aided diagnosis using content-based image retrieval
CN113763314A (zh) 使用深度降低卷积神经网络进行图像分割和分类的系统和方法
Tarando et al. Increasing CAD system efficacy for lung texture analysis using a convolutional network
CN115908800A (zh) 医学图像分割方法
Zhi et al. Intelligent medical image feature extraction method based on improved deep learning
CN108830863A (zh) 医学成像的左心室分割方法、系统和计算机可读存储介质
Pan et al. Classification of urine sediment based on convolution neural network
US11494908B2 (en) Medical image analysis using navigation processing
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
Li et al. Developing an image-based deep learning framework for automatic scoring of the pentagon drawing test
CN110009641A (zh) 晶状体分割方法、装置及存储介质
Fu et al. Medical image retrieval and classification based on morphological shape feature
Jiang et al. Images denoising for COVID-19 chest X-ray based on multi-resolution parallel residual CNN
CN110176007A (zh) 晶状体分割方法、装置及存储介质
Chowdhury et al. Effective classification of radiographic medical images using LS-SVM and NSCT based retrieval system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230106