CN117349714B - 阿尔茨海默症医学图像的分类方法、系统、设备及介质 - Google Patents

阿尔茨海默症医学图像的分类方法、系统、设备及介质 Download PDF

Info

Publication number
CN117349714B
CN117349714B CN202311657452.2A CN202311657452A CN117349714B CN 117349714 B CN117349714 B CN 117349714B CN 202311657452 A CN202311657452 A CN 202311657452A CN 117349714 B CN117349714 B CN 117349714B
Authority
CN
China
Prior art keywords
virtual
data
gene snp
image
magnetic resonance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311657452.2A
Other languages
English (en)
Other versions
CN117349714A (zh
Inventor
唐艳
张运浩
张昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202311657452.2A priority Critical patent/CN117349714B/zh
Publication of CN117349714A publication Critical patent/CN117349714A/zh
Application granted granted Critical
Publication of CN117349714B publication Critical patent/CN117349714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
    • G16B20/20—Allele or variant detection, e.g. single nucleotide polymorphism [SNP] detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B30/00—ICT specially adapted for sequence analysis involving nucleotides or amino acids
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biotechnology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Genetics & Genomics (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种阿尔茨海默症医学图像的分类方法、系统、设备及介质，包括获取病人的结构向核磁共振图像和基因SNP序列数据；根据结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征；根据基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征；将结构向核磁共振图像特征和基因SNP序列特征进行融合，得到融合后特征；根据融合后特征通过MLP进行分类，得到分类结果，通过将病人的结构向核磁共振图像和基因SNP序列数据进行多模态融合，提高了分类结果的准确性和可靠性。

Description

阿尔茨海默症医学图像的分类方法、系统、设备及介质
技术领域
本发明涉及图像分类相关技术领域，尤其是涉及阿尔茨海默症医学图像的分类方法、系统、设备及介质。
背景技术
阿尔茨海默症是一种高度复杂的神经系统疾病，临床上以记忆障碍、失语、失用、失认、视空间技能损害、执行功能障碍以及人格和行为改变等全面性痴呆表现为特征，其表现在不同阶段患者之间可能会有很大的变化。认知障碍指大脑记忆、语言、推理、计算、情感、注意力、定向力、执行能力等方面出现的异常，并且部分认知障碍患者会在后期转变为阿尔茨海默症。
通过多模态数据对阿尔茨海默症不同阶段人群进行分类，有利于识别认知障碍患者中阿尔茨海默症早期人群，同时获取有效的基因信息，可以为阿尔茨海默症患者的诊断提供辅助。传统的阿尔茨海默症医学图像数据同基因数据多模态融合对不同阶段的阿尔茨海默症病人分类效果不佳且结果单一，主要体现在：目前对医学图像特征提取的方法对部分认知障碍患者的数据无法提取到有效的特征；目前针对人SNP（单核苷酸多态性）数据并没有一种效果很好的特征提取方法。因此，提高阿尔茨海默症患者图像数据以及基因数据的特征质量，进而提高其多模态融合效果，从而能对各阶段阿尔茨海默症患者有较为显著的识别与分类准确率，仍然是本领域技术人员亟待解决的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种阿尔茨海默症医学图像的分类方法、系统、设备及介质，能够提高分类结果的准确性和可靠性。
本发明的第一方面，提供了一种阿尔茨海默症医学图像的分类方法，包括如下步骤：
获取病人的结构向核磁共振图像和基因SNP序列数据；
根据所述结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征，其中，所述第一特征提取模型包括多头注意力机制的3DMHSA模型和Resnet网络模型；
根据所述基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征，其中，所述第二特征提取模型包括GCN网络模型和CNN网络模型；
将所述结构向核磁共振图像特征和所述基因SNP序列特征进行融合，得到融合后特征；
根据所述融合后特征通过MLP进行分类，得到分类结果。
根据本发明实施例的控制方法，至少具有如下有益效果：
本方法通过获取病人的结构向核磁共振图像和基因SNP序列数据；根据结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征；根据基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征；将结构向核磁共振图像特征和基因SNP序列特征进行融合，得到融合后特征；根据融合后特征通过MLP进行分类，得到分类结果，通过将病人的结构向核磁共振图像和基因SNP序列数据进行多模态融合，提高了分类结果的准确性和可靠性。
根据本发明的一些实施例，所述根据所述结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征，包括：
根据所述结构向核磁共振图像通过所述3DMHSA模型进行训练，得到3DMHSA模型输出值，其中，所述根据所述结构向核磁共振图像与所述3DMHSA模型进行训练，得到3DMHSA模型输出值的计算公式为：
)，
，
，
，
，
，
，
,
其中，为三维数据中的空间坐标，/>为3DMHSA模型的多头注意力的头数，为位置编码高，/>为位置编码宽，/>)为位置编码长，/>为按元素求和得到的大小为H×W×L×d的位置编码矩阵，/>为在位置/>处从输入数据中计算的查询向量，/>为在位置/>处从输入数据中计算的键向量，为在位置/>处从输入数据中计算的值向量，/>为在位置/>处的所有数值，Conv_q/k/v为卷积操作，/>为查询和注意力权重的点积，/>为查询和键的点积，/>为经过softmax操作的在位置/>处注意力权重，/>在位置/>处的3DMHSA模型输出值；
根据所述3DMHSA模型输出值通过所述Resnet网络模型进行特征提取，得到所述结构向核磁共振图像特征。
根据本发明的一些实施例，所述根据所述基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征，包括：
根据所述基因SNP序列数据和预设虚拟参数生成虚拟k-mer和k-mer；
根据所述虚拟k-mer和所述k-mer生成虚拟缺口模式图；
根据所述虚拟缺口模式图通过所述GCN网络模型进行嵌入向量转化，得到转化后嵌入向量，其中，所述根据所述虚拟缺口模式图通过所述GCN网络模型进行嵌入向量转化，得到转化后嵌入特征向量的计算公式为：
，
其中，为顶点v的特征，/>为虚拟缺口模式图中所有具有从顶点v出边的顶点集合，/>为计算输入特征的平均值，/>为需要学习的矩阵一，/>为需要学习的矩阵二；
将所述转化后嵌入向量通过所述CNN网络模型进行特征提取，得到所述基因SNP序列特征。
根据本发明的一些实施例，所述根据所述基因SNP序列数据和预设虚拟参数生成虚拟k-mer和k-mer，包括：
根据所述基因SNP序列数据和所述预设虚拟参数生成图节点的逻辑；
在所述基因SNP序列数据的相邻但不相同的基因SNP序列中插入预设符号，得到插入后基因SNP数据；
根据所述图节点的逻辑与所述插入后基因SNP数据中的预设符号生成虚拟k-mer和k-mer，其中，虚拟k-mer前面的一个k-mer为end-k-mer，虚拟k-mer后面的基因片段一个k-mer为start-k-mer，所述end-k-mer的碱基与所述start-k-mer的碱基在算法中不与所述预设符号连接形成k-mer。
根据本发明的一些实施例，所述根据所述虚拟k-mer和所述k-mer生成虚拟缺口模式图，还包括：
根据所述虚拟k-mer和所述k-mer生成虚拟缺口模式图的边，其中，所述根据所述虚拟k-mer和所述k-mer生成虚拟缺口模式图的边的计算公式为：
，
，
，
其中，为基因SNP序列中的k-mer及其对应的k-mer在基因SNP序列中的出现次数，/>为k-mer在基因SNP序列中的频数，V为由k-mer生成的点集的集合，/>为从vi到vj的边，/>为子字符串/>在基因SNP序列中出现的频数，/>为插入的虚拟节点周围的边；
根据所述虚拟k-mer、所述k-mer和所述虚拟缺口模式图的边生成所述虚拟缺口模式图。
根据本发明的一些实施例，所述获取病人的结构向核磁共振图像，包括：
获取所述病人的原始结构向核磁共振图像；
对所述原始结构向核磁共振图像进行平滑处理，得到平滑处理后图像；
对所述平滑处理后图像进行灰度归一化，得到灰度归一化后图像；
对所述灰度归一化后图像进行数据校正，得到数据校正后图像；
对所述数据校正后图像进行空间标准化，得到标准化后图像；
对所述标准化后图像进行去除头骨，得到去除头骨后图像；
对所述标准化后图像进行组织分割，得到分辨后灰质图像、分辨后白质图像、分辨后脑脑脊液图像和其他组织图像；
保留所述分辨后灰质图像，得到所述病人的结构向核磁共振图像。
根据本发明的一些实施例，所述获取病人的基因SNP序列数据，包括：
获取所述病人的原始基因SNP序列数据；
根据SNP数据的预设召回率值对所述病人的原始基因SNP序列数据进行筛选，得到召回率筛选后数据；
根据预设最小等位基因频率对所述召回率筛选后数据进行筛选，得到基因频率筛选后数据；
根据Hardy-Weinberg检验的预设P值和预设基因分型率对所述基因频率筛选后数据进行筛选，得到所述病人的基因SNP序列数据。
本发明的第二方面，提供一种阿尔茨海默症医学图像的分类系统，所述阿尔茨海默症医学图像的分类系统包括：
数据获取模块，用于获取病人的结构向核磁共振图像和基因SNP序列数据；
图像特征提取模块，用于根据所述结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征，其中，所述第一特征提取模型包括多头注意力机制的3DMHSA模型和Resnet网络模型；
序列特征提取模块，用于根据所述基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征，其中，所述第二特征提取模型包括GCN网络模型和CNN网络模型；
特征融合模块，用于将所述结构向核磁共振图像特征和所述基因SNP序列特征进行融合，得到融合后特征；
分类模块，用于根据所述融合后特征通过MLP进行分类，得到分类结果。
本系统通过获取病人的结构向核磁共振图像和基因SNP序列数据；根据结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征；根据基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征；将结构向核磁共振图像特征和基因SNP序列特征进行融合，得到融合后特征；根据融合后特征通过MLP进行分类，得到分类结果，通过将病人的结构向核磁共振图像和基因SNP序列数据进行多模态融合，提高了分类结果的准确性和可靠性。
本发明的第三方面，提供了一种阿尔茨海默症医学图像的分类电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行上述的阿尔茨海默症医学图像的分类方法。
本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的阿尔茨海默症医学图像的分类方法。
需要注意的是，本发明的第二方面至第四方面与现有技术之间的有益效果与上述的一种阿尔茨海默症医学图像的分类系统与现有技术之间的有益效果相同，此处不再细述。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例的一种阿尔茨海默症医学图像的分类方法的流程图；
图2是本发明实施例提供的一种阿尔茨海默症医学图像的分类方法的3DMHSA计算过程示意图；
图3是本发明实施例提供的一种阿尔茨海默症医学图像的分类方法的VGPG的构造流程示意图；
图4是本发明实施例提供的一种阿尔茨海默症医学图像的分类方法的对基因SNP序列数据进行特征提取的流程示意图；
图5是本发明实施例提供的一种阿尔茨海默症医学图像的分类方法的对两类特征向量进行融合并进行分类的流程示意图；
图6是本发明一实施例的一种阿尔茨海默症医学图像的分类系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
通过多模态数据对阿尔茨海默症不同阶段人群进行分类，有利于识别认知障碍患者中阿尔茨海默症早期人群，同时获取有效的基因信息，可以为阿尔茨海默症患者的诊断提供辅助。传统的阿尔茨海默症医学图像数据同基因数据多模态融合对不同阶段的阿尔茨海默症病人分类效果不佳且结果单一，主要体现在：目前对医学图像特征提取的方法对部分认知障碍患者的数据无法提取到有效的特征；目前针对人SNP（单核苷酸多态性）数据并没有一种效果很好的特征提取方法。因此，提高阿尔茨海默症患者图像数据以及基因数据的特征质量，进而提高其多模态融合效果，从而能对各阶段阿尔茨海默症患者有较为显著的识别与分类准确率，仍然是本领域技术人员亟待解决的技术问题。
在介绍本申请之前，先对MLP进行介绍：
MLP是多层感知器（Multilayer Perceptron）的缩写，是一种常见的人工神经网络模型。它由一个输入层、若干个隐层和一个输出层组成，每层包含若干个神经元，神经元之间通过权重连接。每个神经元计算其输入与权重的加权和，然后通过一个激活函数进行非线性变换，输出给下一层神经元。整个模型的学习过程通过反向传播算法实现。
MLP广泛应用于分类、回归、聚类等机器学习任务，具有较好的非线性建模能力和泛化能力，也是深度学习的基础组成部分之一。
为了解决上述技术缺陷，参照图1，本发明提供了一种阿尔茨海默症医学图像的分类方法，包括：
步骤S101、获取病人的结构向核磁共振图像和基因SNP序列数据；
步骤S102、根据结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征，其中，第一特征提取模型包括多头注意力机制的3DMHSA模型和Resnet网络模型；
步骤S103、根据基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征，其中，第二特征提取模型包括GCN网络模型和CNN网络模型；
步骤S104、将结构向核磁共振图像特征和基因SNP序列特征进行融合，得到融合后特征；
步骤S105、根据融合后特征通过MLP进行分类，得到分类结果。
本方法通过获取病人的结构向核磁共振图像和基因SNP序列数据；根据结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征；根据基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征；将结构向核磁共振图像特征和基因SNP序列特征进行融合，得到融合后特征；根据融合后特征通过MLP进行分类，得到分类结果，通过将病人的结构向核磁共振图像和基因SNP序列数据进行多模态融合，提高了分类结果的准确性和可靠性。
在一些实施例中，根据结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征，包括：
根据结构向核磁共振图像通过3DMHSA模型进行训练，得到3DMHSA模型输出值，其中，根据结构向核磁共振图像与3DMHSA模型进行训练，得到3DMHSA模型输出值的计算公式为：
)，
，
，
，
，
，
，
,
其中，为三维数据中的空间坐标，/>为3DMHSA模型的多头注意力的头数，为位置编码高，/>为位置编码宽，/>)为位置编码长，/>为按元素求和得到的大小为H×W×L×d的位置编码矩阵，/>为在位置/>处从输入数据中计算的查询向量，/>为在位置/>处从输入数据中计算的键向量，为在位置/>处从输入数据中计算的值向量，/>为在位置/>处的所有数值，Conv_q/k/v为卷积操作，/>为查询和注意力权重的点积，/>为查询和键的点积，为经过softmax操作的在位置/>处注意力权重，/>在位置/>处的3DMHSA模型输出值；
根据3DMHSA模型输出值通过Resnet网络模型进行特征提取，得到结构向核磁共振图像特征。
在一些实施例中，根据基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征，包括：
根据基因SNP序列数据和预设虚拟参数生成虚拟k-mer和k-mer；
根据虚拟k-mer和k-mer生成虚拟缺口模式图；
根据虚拟缺口模式图通过GCN网络模型进行嵌入向量转化，得到转化后嵌入向量，其中，根据虚拟缺口模式图通过GCN网络模型进行嵌入向量转化，得到转化后嵌入特征向量的计算公式为：
，
其中，为顶点v的特征，/>为虚拟缺口模式图中所有具有从顶点v出边的顶点集合，/>为计算输入特征的平均值，/>为需要学习的矩阵一，/>为需要学习的矩阵二；
将转化后嵌入向量通过CNN网络模型进行特征提取，得到基因SNP序列特征。
在一些实施例中，根据基因SNP序列数据和预设虚拟参数生成虚拟k-mer和k-mer，包括：
根据基因SNP序列数据和预设虚拟参数生成图节点的逻辑；
在基因SNP序列数据的相邻但不相同的基因SNP序列中插入预设符号，得到插入后基因SNP数据；
根据图节点的逻辑与插入后基因SNP数据中的预设符号生成虚拟k-mer和k-mer，其中，虚拟k-mer前面的一个k-mer为end-k-mer，虚拟k-mer后面的基因片段一个k-mer为start-k-mer，end-k-mer的碱基与start-k-mer的碱基在算法中不与预设符号连接形成k-mer。
在一些实施例中，根据虚拟k-mer和k-mer生成虚拟缺口模式图，还包括：
根据虚拟k-mer和k-mer生成虚拟缺口模式图的边，其中，根据虚拟k-mer和k-mer生成虚拟缺口模式图的边的计算公式为：
，
，
，
其中，为基因SNP序列中的k-mer及其对应的k-mer在基因SNP序列中的出现次数，/>为k-mer在基因SNP序列中的频数，V为由k-mer生成的点集的集合，/>为从vi到vj的边，/>为子字符串/>在基因SNP序列中出现的频数，/>为插入的虚拟节点周围的边；
根据虚拟k-mer、k-mer和虚拟缺口模式图的边生成虚拟缺口模式图。
在一些实施例中，获取病人的结构向核磁共振图像，包括：
获取病人的原始结构向核磁共振图像；
对原始结构向核磁共振图像进行平滑处理，得到平滑处理后图像；
对平滑处理后图像进行灰度归一化，得到灰度归一化后图像；
对灰度归一化后图像进行数据校正，得到数据校正后图像；
对数据校正后图像进行空间标准化，得到标准化后图像；
对标准化后图像进行去除头骨，得到去除头骨后图像；
对标准化后图像进行组织分割，得到分辨后灰质图像、分辨后白质图像、分辨后脑脑脊液图像和其他组织图像；
保留分辨后灰质图像，得到病人的结构向核磁共振图像。
在一些实施例中，获取病人的基因SNP序列数据，包括：
获取病人的原始基因SNP序列数据；
根据SNP数据的预设召回率值对病人的原始基因SNP序列数据进行筛选，得到召回率筛选后数据；
根据预设最小等位基因频率对召回率筛选后数据进行筛选，得到基因频率筛选后数据；
根据Hardy-Weinberg检验的预设P值和预设基因分型率对基因频率筛选后数据进行筛选，得到病人的基因SNP序列数据。
具体的，参照图2至图5，为了便于本领域技术人员理解，以下提供一组最佳实施例：
步骤1、构建阿尔茨海默症和认知障碍患者以及正常人的医学数据库，包括sMRI数据（核磁共振图像数据）和基因SNP数据；
步骤2、对sMRI数据用SPM12软件进行预处理，旨在规范化初始图像及降低噪声，便于后续特征提取的实现，包括：
对原始结构向核磁共振图像进行平滑处理，得到平滑处理后图像；
对平滑处理后图像进行灰度归一化，得到灰度归一化后图像；
对灰度归一化后图像进行数据校正，得到数据校正后图像；
对数据校正后图像进行空间标准化，得到标准化后图像；
对标准化后图像进行去除头骨，得到去除头骨后图像；
对标准化后图像进行组织分割，得到分辨后灰质图像、分辨后白质图像、分辨后脑脑脊液图像和其他组织图像；
保留分辨后灰质图像，得到病人的结构向核磁共振图像。
步骤3、参照图2，使用本发明提出的结合3DMHSA,与Resnet的方法对病人的结构向核磁共振图像进行特征提取。
采用的整体方法包含5个阶段，其中第一个阶段包含一个7*7*7卷积层和3*3*3的最大池化层；第二阶段包含3个残差块，其三个卷积核均为1*1*1、3*3*3、1*1*1；第三个阶段将空间卷积3*3*3替换成为了3DMHSA模块，同时含有4个残差块；第四个阶段同第二个阶段的残差块相同，但含有6个残差块；第五个阶段的残差块同第三阶段相同，但含3个残差块。
步骤4、对基因SNP数据用PLINK软件进行预处理，得到系列高质量的SNP数据，预先将SNP数据的召回率值设置为95%，最小等位基因频率（MAF）设置为0.03，Hardy-Weinberg检验的P值设置为0.00001，基因分型率设置为0.95。
步骤5、参照图3和图4，使用本发明提出的结合VGPG（虚拟缺口模式图）与GCN、CNN的方法对预处理后的基因SNP数据进行特征提取。
给定一个基因序列S和一个正整数k，其中，在本实例中k为3,则集合中包含一些长度为k的S中的所有子字符串k-mer.例如，在本实例中，k= 3，"ATGCA"的3-mer包括"ATG"、"TGC"、"GCA"等。
虚拟节点插入在处理后的基因SNP序列上。具体步骤包括插入"***"（可自行定义除“A、T、C、G”之外的任意符号，本实例定义为“*”）以在两个基因片段之间创建一个单独的虚拟k-mer。虚拟k-mer前面的一个k-mer将其作为end-k-mer，而虚拟节点后面的基因片段将其用作start-k-mer，且在算法中end-k-mer与start-k-mer中的碱基并不与虚拟符号连接形成k-mer。例如，在基因序列"ATCGAGCTCAC"中，"ATCGA"代表前一个基因，"GCTCAC"代表后一个基因，"***"代表插入的虚拟节点。在这种情况下，该段的3-mer包括"ATC"、"TCG"、"CGA"、"***"、"GCT"、"CTC"、"TCA"和"CAC"。
对于给定的序列S、参数k和最大允许的缺口长度d，是一个有向图，其中V是节点集合，E是边集合，d是最大缺口（本实例设置为2），G与节点特征和边特征矩阵/>相关，其中，/>表示S中的k-mer及其对应的k-mer在S中的出现频数，/>表示从vi到vj的边，如果vi、vj对应的两个k-mer中间间隔的碱基数目最大为d，那么这条边就存在。即，设/>是序列S的一个子串，x是vi到vj中间长度最多为d的字串。每条边也被分配一个长度为d+1的向量，其中第l+1个元素表示/>在S中的频数，其中，x是长度为l的字符串。显然，为虚拟节点指定的v’也添加到了节点集合中，除此之外，为虚拟节点周围的边指定了边e’。其中一条边从虚拟节点指向end-k-mer，另一条边从start-k-mer指向虚拟节点，这些边的特征设置为d=0的情况。
构建了VGPG（虚拟缺口模式图）后，使用GCN将每个VGPG转化为嵌入向量。在每个图卷积层中，计算以下函数：
,
其中，为顶点v的特征，/>为虚拟缺口模式图中所有具有从顶点v出边的顶点集合，/>为计算输入特征的平均值，/>为需要学习的矩阵一，/>为需要学习的矩阵二。
将生成的嵌入向量输入到一个有三层卷积和卷积核大小为8的CNN中，以从基因数据中提取特征。
步骤6、参照图5，融合两类特征向量并使用一个3层MLP对融合好的特征向量进行识别和分类，得到分类结果。
本申请通过利用自注意机制有效地建模体素之间的关系，减少模型参数的数量，提高训练和推理的效率。将该模块融入到Resnet的第3、5阶段，即替换Resnet原有的3*3*3卷积为3DMHSA模块，确保方法在增加训练和推理速度的同时关注到sMRI数据的局部与整体特征。
本申请通过利用虚拟节点将SNP中不同基因片段有效地区分开来。并将该建图方法同GCN、CNN结合起来，利用GCN将VGPG生成的图转为适合CNN输入的嵌入向量，再利用CNN对该嵌入向量进行特征提取。VGPG的加入使本方法更容易地识别基因片段之间的划分，增强边界信息，提高对基因片段边界的感知能力,从而提本申请对人基因相关病症的检测能力。
本申请通过将医学影像sMRI同基因数据SNP两种数据多模态融合，通过对多模态数据的解读，结合网络中间结果使得阿尔茨海默症和认知障碍的诊断更具准确性和可靠性，解决了现有阿尔茨海默症和认知障碍的医学诊断中图像与遗传数据融合效果不佳和基因方面病因的技术问题。
另外，参照图6，本发明的一个实施例，提供一种阿尔茨海默症医学图像的分类系统，包括数据获取模块1100、图像特征提取模块1200、序列特征提取模块1300、特征融合模块1400以及分类模块1500，其中：
数据获取模块1100用于获取病人的结构向核磁共振图像和基因SNP序列数据；
图像特征提取模块1200用于根据结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征，其中，第一特征提取模型包括多头注意力机制的3DMHSA模型和Resnet网络模型；
序列特征提取模块1300用于根据基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征，其中，第二特征提取模型包括GCN网络模型和CNN网络模型；
特征融合模块1400用于将结构向核磁共振图像特征和基因SNP序列特征进行融合，得到融合后特征；
分类模块1500用于根据融合后特征通过MLP进行分类，得到分类结果。
本系统通过获取病人的结构向核磁共振图像和基因SNP序列数据；根据结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征；根据基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征；将结构向核磁共振图像特征和基因SNP序列特征进行融合，得到融合后特征；根据融合后特征通过MLP进行分类，得到分类结果，通过将病人的结构向核磁共振图像和基因SNP序列数据进行多模态融合，提高了分类结果的准确性和可靠性。
需要注意的是，本系统实施例与上述的系统实施例是基于相同的发明构思，因此上述方法实施例的相关内容同样适用于本系统实施例，这里不再赘述。
本申请还提供一种阿尔茨海默症医学图像的分类电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现：如上述的阿尔茨海默症医学图像的分类方法。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的阿尔茨海默症医学图像的分类方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的阿尔茨海默症医学图像的分类方法，例如，执行以上描述的图1中的方法步骤S101至步骤S105。
本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行：如上述的阿尔茨海默症医学图像的分类方法。
该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述电子设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的阿尔茨海默症医学图像的分类方法，例如，执行以上描述的图1中的方法步骤S101至步骤S105。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序单元或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序单元或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种阿尔茨海默症医学图像的分类方法，其特征在于，所述阿尔茨海默症医学图像的分类方法包括：
获取病人的结构向核磁共振图像和基因SNP序列数据；
根据所述结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征，其中，所述第一特征提取模型包括多头注意力机制的3DMHSA模型和Resnet网络模型，具体为：
根据所述结构向核磁共振图像通过所述3DMHSA模型进行训练，得到3DMHSA模型输出值，其中，所述根据所述结构向核磁共振图像与所述3DMHSA模型进行训练，得到3DMHSA模型输出值的计算公式为：
)，
，
，
，
，
，
，
,
其中，为三维数据中的空间坐标，/>为3DMHSA模型的多头注意力的头数，为位置编码高，/>为位置编码宽，/>)为位置编码长，为按元素求和得到的大小为H×W×L×d的位置编码矩阵，/>为在位置/>处从输入数据中计算的查询向量，/>为在位置/>处从输入数据中计算的键向量，/>为在位置/>处从输入数据中计算的值向量，/>为在位置/>处的所有数值，Conv_q/k/v为卷积操作，/>为查询和注意力权重的点积，为查询和键的点积，/>为经过softmax操作的在位置/>处注意力权重，/>在位置/>处的3DMHSA模型输出值；
根据所述3DMHSA模型输出值通过所述Resnet网络模型进行特征提取，得到所述结构向核磁共振图像特征；
根据所述基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征，其中，所述第二特征提取模型包括GCN网络模型和CNN网络模型，具体为：
根据所述基因SNP序列数据和预设虚拟参数生成虚拟k-mer和k-mer；
根据所述虚拟k-mer和所述k-mer生成虚拟缺口模式图；
根据所述虚拟缺口模式图通过所述GCN网络模型进行嵌入向量转化，得到转化后嵌入向量，其中，所述根据所述虚拟缺口模式图通过所述GCN网络模型进行嵌入向量转化，得到转化后嵌入特征向量的计算公式为：
，
其中，为顶点v的特征，/>为虚拟缺口模式图中所有具有从顶点v出边的顶点集合，为计算输入特征的平均值，/>为需要学习的矩阵一，/>为需要学习的矩阵二；
将所述转化后嵌入向量通过所述CNN网络模型进行特征提取，得到所述基因SNP序列特征；
将所述结构向核磁共振图像特征和所述基因SNP序列特征进行融合，得到融合后特征；
根据所述融合后特征通过MLP进行分类，得到分类结果。
2.根据权利要求1所述的一种阿尔茨海默症医学图像的分类方法，其特征在于，所述根据所述基因SNP序列数据和预设虚拟参数生成虚拟k-mer和k-mer，包括：
根据所述基因SNP序列数据和所述预设虚拟参数生成图节点的逻辑；
在所述基因SNP序列数据的相邻但不相同的基因SNP序列中插入预设符号，得到插入后基因SNP数据；
根据所述图节点的逻辑与所述插入后基因SNP数据中的预设符号生成虚拟k-mer和k-mer，其中，虚拟k-mer前面的一个k-mer为end-k-mer，虚拟k-mer后面的基因片段一个k-mer为start-k-mer，所述end-k-mer的碱基与所述start-k-mer的碱基在算法中不与所述预设符号连接形成k-mer。
3.根据权利要求2所述的一种阿尔茨海默症医学图像的分类方法，其特征在于，所述根据所述虚拟k-mer和所述k-mer生成虚拟缺口模式图，还包括：
根据所述虚拟k-mer和所述k-mer生成虚拟缺口模式图的边，其中，所述根据所述虚拟k-mer和所述k-mer生成虚拟缺口模式图的边的计算公式为：
，
，
，
其中，为基因SNP序列中的k-mer及其对应的k-mer在基因SNP序列中的出现次数，/>为k-mer在基因SNP序列中的频数，V为由k-mer生成的点集的集合，为从vi到vj的边，/>为子字符串/>在基因SNP序列中出现的频数，/>为插入的虚拟节点周围的边；
根据所述虚拟k-mer、所述k-mer和所述虚拟缺口模式图的边生成所述虚拟缺口模式图。
4.根据权利要求1所述的一种阿尔茨海默症医学图像的分类方法，其特征在于，所述获取病人的结构向核磁共振图像，包括：
获取所述病人的原始结构向核磁共振图像；
对所述原始结构向核磁共振图像进行平滑处理，得到平滑处理后图像；
对所述平滑处理后图像进行灰度归一化，得到灰度归一化后图像；
对所述灰度归一化后图像进行数据校正，得到数据校正后图像；
对所述数据校正后图像进行空间标准化，得到标准化后图像；
对所述标准化后图像进行去除头骨，得到去除头骨后图像；
对所述标准化后图像进行组织分割，得到分辨后灰质图像、分辨后白质图像、分辨后脑脑脊液图像和其他组织图像；
保留所述分辨后灰质图像，得到所述病人的结构向核磁共振图像。
5.根据权利要求1所述的一种阿尔茨海默症医学图像的分类方法，其特征在于，所述获取病人的基因SNP序列数据，包括：
获取所述病人的原始基因SNP序列数据；
根据SNP数据的预设召回率值对所述病人的原始基因SNP序列数据进行筛选，得到召回率筛选后数据；
根据预设最小等位基因频率对所述召回率筛选后数据进行筛选，得到基因频率筛选后数据；
根据Hardy-Weinberg检验的预设P值和预设基因分型率对所述基因频率筛选后数据进行筛选，得到所述病人的基因SNP序列数据。
6.一种阿尔茨海默症医学图像的分类系统，其特征在于，所述阿尔茨海默症医学图像的分类系统包括：
数据获取模块，用于获取病人的结构向核磁共振图像和基因SNP序列数据；
图像特征提取模块，用于根据所述结构向核磁共振图像与第一特征提取模型进行特征提取，得到结构向核磁共振图像特征，其中，所述第一特征提取模型包括多头注意力机制的3DMHSA模型和Resnet网络模型，具体为：
根据所述结构向核磁共振图像通过所述3DMHSA模型进行训练，得到3DMHSA模型输出值，其中，所述根据所述结构向核磁共振图像与所述3DMHSA模型进行训练，得到3DMHSA模型输出值的计算公式为：
)，
，
，
，
，
，
，
,
其中，为三维数据中的空间坐标，/>为3DMHSA模型的多头注意力的头数，为位置编码高，/>为位置编码宽，/>)为位置编码长，为按元素求和得到的大小为H×W×L×d的位置编码矩阵，/>为在位置/>处从输入数据中计算的查询向量，/>为在位置/>处从输入数据中计算的键向量，/>为在位置/>处从输入数据中计算的值向量，/>为在位置/>处的所有数值，Conv_q/k/v为卷积操作，/>为查询和注意力权重的点积，为查询和键的点积，/>为经过softmax操作的在位置/>处注意力权重，/>在位置/>处的3DMHSA模型输出值；
根据所述3DMHSA模型输出值通过所述Resnet网络模型进行特征提取，得到所述结构向核磁共振图像特征；
序列特征提取模块，用于根据所述基因SNP序列数据与第二特征提取模型进行特征提取，得到基因SNP序列特征，其中，所述第二特征提取模型包括GCN网络模型和CNN网络模型，具体为：
根据所述基因SNP序列数据和预设虚拟参数生成虚拟k-mer和k-mer；
根据所述虚拟k-mer和所述k-mer生成虚拟缺口模式图；
根据所述虚拟缺口模式图通过所述GCN网络模型进行嵌入向量转化，得到转化后嵌入向量，其中，所述根据所述虚拟缺口模式图通过所述GCN网络模型进行嵌入向量转化，得到转化后嵌入特征向量的计算公式为：
，
其中，为顶点v的特征，/>为虚拟缺口模式图中所有具有从顶点v出边的顶点集合，为计算输入特征的平均值，/>为需要学习的矩阵一，/>为需要学习的矩阵二；
将所述转化后嵌入向量通过所述CNN网络模型进行特征提取，得到所述基因SNP序列特征；
特征融合模块，用于将所述结构向核磁共振图像特征和所述基因SNP序列特征进行融合，得到融合后特征；
分类模块，用于根据所述融合后特征通过MLP进行分类，得到分类结果。
7.一种阿尔茨海默症医学图像的分类设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至5任一项所述的一种阿尔茨海默症医学图像的分类方法。
8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的一种阿尔茨海默症医学图像的分类方法。
CN202311657452.2A 2023-12-06 2023-12-06 阿尔茨海默症医学图像的分类方法、系统、设备及介质 Active CN117349714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311657452.2A CN117349714B (zh) 2023-12-06 2023-12-06 阿尔茨海默症医学图像的分类方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311657452.2A CN117349714B (zh) 2023-12-06 2023-12-06 阿尔茨海默症医学图像的分类方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN117349714A CN117349714A (zh) 2024-01-05
CN117349714B true CN117349714B (zh) 2024-02-13

Family

ID=89367152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311657452.2A Active CN117349714B (zh) 2023-12-06 2023-12-06 阿尔茨海默症医学图像的分类方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN117349714B (zh)

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190112219A (ko) * 2018-03-13 2019-10-04 전남대학교산학협력단 알츠하이머 질병 검출 방법, 알츠하이머 질병 검출 시스템 및 알츠하이머 질병 검출 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
KR20200124827A (ko) * 2019-04-25 2020-11-04 인제대학교 산학협력단 다중 특성 융합을 기반으로 하는 알츠하이머병 분류 방법
CN112884754A (zh) * 2021-03-11 2021-06-01 广东工业大学 一种多模态阿尔兹海默症医学图像识别分类方法和系统
CN113130004A (zh) * 2021-04-27 2021-07-16 上海海事大学 一种识别阿尔茨海默症相关生物标志物的相关性分析方法
WO2022040874A1 (zh) * 2020-08-24 2022-03-03 中国科学院重庆绿色智能技术研究院 一种阿尔兹海默症进展预测的核磁共振图像特征提取方法
CN114267408A (zh) * 2021-12-22 2022-04-01 深圳大学 一种基于snp数据和mri数据的分类方法及终端设备
CN114298979A (zh) * 2021-12-09 2022-04-08 北京工业大学 一种局灶性病变征象描述指导的肝核磁影像序列生成方法
CN114332947A (zh) * 2021-12-31 2022-04-12 深圳市儿童医院 一种图像分类系统及终端设备
CN114743053A (zh) * 2022-04-14 2022-07-12 电子科技大学 基于图神经网络和自注意力的磁共振影像辅助处理系统
CN115423754A (zh) * 2022-08-08 2022-12-02 深圳大学 一种图像分类方法、装置、设备及存储介质
CN115578387A (zh) * 2022-12-06 2023-01-06 中南大学 一种基于多模态的阿尔茨海默症医学图像分类方法及系统
CN115587977A (zh) * 2022-09-29 2023-01-10 中南民族大学 一种阿尔兹海默症病理区域定位及分类预测方法
CN115830041A (zh) * 2022-12-01 2023-03-21 湖南中医药大学 一种基于交叉融合卷积与可变形注意力Transformer的3D医学图像分割方法
WO2023077603A1 (zh) * 2021-11-03 2023-05-11 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质
CN116168836A (zh) * 2023-02-15 2023-05-26 常州工学院 一种融合fMRI影像和基因组学数据的阿尔茨海默症预测方法
CN116259359A (zh) * 2023-03-14 2023-06-13 中国科学院深圳先进技术研究院 基于基因影像组的预测方法、装置、设备及存储介质
CN116386889A (zh) * 2023-02-22 2023-07-04 常州工学院 一种阿尔茨海默症发病机制的多模态数据融合分析方法
CN116452592A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 脑血管病ai认知功能评测模型的构建方法、装置及系统
CN116630289A (zh) * 2023-06-06 2023-08-22 重庆师范大学 一种基于多模态mri的脑胶质瘤cdkn2a/b基因状态分类预测方法
CN116798605A (zh) * 2023-06-27 2023-09-22 河南大学 一种基于核磁共振图像的阿尔兹海默症辅助诊断方法
CN116825332A (zh) * 2023-07-26 2023-09-29 重庆文理学院 基于深度学习的阿尔茨海默症的预测系统和方法
CN116863221A (zh) * 2023-07-05 2023-10-10 河南大学 一种基于cnn与注意力机制的阿尔兹海默症分类方法
CN116956138A (zh) * 2023-07-31 2023-10-27 中南大学 一种基于多模态学习的影像基因融合分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10964410B2 (en) * 2017-05-25 2021-03-30 Koninklijke Philips N.V. System and method for detecting gene fusion
US20230061998A1 (en) * 2021-08-27 2023-03-02 Nvidia Corporation Determining one or more neural networks for object classification

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190112219A (ko) * 2018-03-13 2019-10-04 전남대학교산학협력단 알츠하이머 질병 검출 방법, 알츠하이머 질병 검출 시스템 및 알츠하이머 질병 검출 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
KR20200124827A (ko) * 2019-04-25 2020-11-04 인제대학교 산학협력단 다중 특성 융합을 기반으로 하는 알츠하이머병 분류 방법
WO2022040874A1 (zh) * 2020-08-24 2022-03-03 中国科学院重庆绿色智能技术研究院 一种阿尔兹海默症进展预测的核磁共振图像特征提取方法
CN114402358A (zh) * 2020-08-24 2022-04-26 中国科学院重庆绿色智能技术研究院 一种阿尔兹海默症进展预测的核磁共振图像特征提取方法
CN112884754A (zh) * 2021-03-11 2021-06-01 广东工业大学 一种多模态阿尔兹海默症医学图像识别分类方法和系统
CN113130004A (zh) * 2021-04-27 2021-07-16 上海海事大学 一种识别阿尔茨海默症相关生物标志物的相关性分析方法
WO2023077603A1 (zh) * 2021-11-03 2023-05-11 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质
CN114298979A (zh) * 2021-12-09 2022-04-08 北京工业大学 一种局灶性病变征象描述指导的肝核磁影像序列生成方法
CN114267408A (zh) * 2021-12-22 2022-04-01 深圳大学 一种基于snp数据和mri数据的分类方法及终端设备
CN114332947A (zh) * 2021-12-31 2022-04-12 深圳市儿童医院 一种图像分类系统及终端设备
CN114743053A (zh) * 2022-04-14 2022-07-12 电子科技大学 基于图神经网络和自注意力的磁共振影像辅助处理系统
CN115423754A (zh) * 2022-08-08 2022-12-02 深圳大学 一种图像分类方法、装置、设备及存储介质
CN115587977A (zh) * 2022-09-29 2023-01-10 中南民族大学 一种阿尔兹海默症病理区域定位及分类预测方法
CN115830041A (zh) * 2022-12-01 2023-03-21 湖南中医药大学 一种基于交叉融合卷积与可变形注意力Transformer的3D医学图像分割方法
CN115578387A (zh) * 2022-12-06 2023-01-06 中南大学 一种基于多模态的阿尔茨海默症医学图像分类方法及系统
CN116168836A (zh) * 2023-02-15 2023-05-26 常州工学院 一种融合fMRI影像和基因组学数据的阿尔茨海默症预测方法
CN116386889A (zh) * 2023-02-22 2023-07-04 常州工学院 一种阿尔茨海默症发病机制的多模态数据融合分析方法
CN116259359A (zh) * 2023-03-14 2023-06-13 中国科学院深圳先进技术研究院 基于基因影像组的预测方法、装置、设备及存储介质
CN116630289A (zh) * 2023-06-06 2023-08-22 重庆师范大学 一种基于多模态mri的脑胶质瘤cdkn2a/b基因状态分类预测方法
CN116452592A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 脑血管病ai认知功能评测模型的构建方法、装置及系统
CN116798605A (zh) * 2023-06-27 2023-09-22 河南大学 一种基于核磁共振图像的阿尔兹海默症辅助诊断方法
CN116863221A (zh) * 2023-07-05 2023-10-10 河南大学 一种基于cnn与注意力机制的阿尔兹海默症分类方法
CN116825332A (zh) * 2023-07-26 2023-09-29 重庆文理学院 基于深度学习的阿尔茨海默症的预测系统和方法
CN116956138A (zh) * 2023-07-31 2023-10-27 中南大学 一种基于多模态学习的影像基因融合分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Identification of Methamphetamine Abstainers by Resting-State Functional Magnetic Resonance Imaging;Tingting Dong 等;《 Frontiers in Psychology》;1-10 *
基于卷积循环神经网络的阿尔茨海默症早期诊断;曾安;黄殷;潘丹;SONG Xiaowei;;生物医学工程研究;20200925(第03期);36-42 *
基于生成对抗网络的医学数据域适应研究;于胡飞;温景熙;辛江;唐艳;;大数据(第05期);51-60 *
基于边界增强损失的海马体分割算法;颜宇;陈帆;和红杰;;光电子・激光(第03期);75-85 *

Also Published As

Publication number Publication date
CN117349714A (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN110544239A (zh) 基于条件生成对抗网络的多模态mri转换方法、系统及介质
CN111967592B (zh) 基于分离正负扰动生成对抗图像机器识别的方法
Suganthe et al. Diagnosis of Alzheimer's disease from brain magnetic resonance imaging images using deep learning algorithms
CN112634246B (zh) 一种口腔图像识别方法及相关设备
CN112651998A (zh) 基于注意力机制和双流多域卷积神经网络的人体跟踪算法
CN107832721A (zh) 用于输出信息的方法和装置
CN116523840A (zh) 一种基于深度学习的肺部ct图像检测系统以及方法
CN111091560A (zh) 鼻咽癌原发肿瘤图像识别方法及系统
CN117349714B (zh) 阿尔茨海默症医学图像的分类方法、系统、设备及介质
CN109919098B (zh) 目标对象的识别方法和装置
CN116797817A (zh) 基于自监督图卷积模型的自闭症疾病预测技术
CN117197615A (zh) 模型训练方法、特征提取方法及装置
CN115910385A (zh) 一种病理程度预测方法、系统、介质、设备及终端
CN114519865A (zh) 一种融合集成注意力的2d人体姿态估计方法
CN117173075A (zh) 医学图像检测方法及相关设备
US11798265B2 (en) Teaching data correction method for training image, teaching data correction device and program
CN113095328A (zh) 一种基尼指数引导的基于自训练的语义分割方法
Natan et al. PLPP: a pseudo labeling post-processing strategy for unsupervised domain adaptation
CN116741372B (zh) 一种基于双分支表征一致性损失的辅助诊断系统及装置
CN113995379B (zh) 一种基于目标检测框架的睡眠呼吸暂停低通气综合症评估方法及装置
CN115063753B (zh) 一种安全带佩戴检测模型训练方法及安全带佩戴检测方法
CN112101279B (zh) 目标物异常检测方法、装置、电子设备及存储介质
WO2023053216A1 (ja) 機械学習プログラム、機械学習方法および機械学習装置
Jayachandran et al. Microaneurysm classification system in color fundus images using auto‐weight dilated convolutional network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant