CN114628034A - 阿尔兹海默症评估方法、系统、设备及存储介质 - Google Patents
阿尔兹海默症评估方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN114628034A CN114628034A CN202210259559.0A CN202210259559A CN114628034A CN 114628034 A CN114628034 A CN 114628034A CN 202210259559 A CN202210259559 A CN 202210259559A CN 114628034 A CN114628034 A CN 114628034A
- Authority
- CN
- China
- Prior art keywords
- disease
- modal
- data
- alzheimer
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Developmental Disabilities (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Neurology (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Artificial Intelligence (AREA)
- Hospice & Palliative Care (AREA)
- Surgery (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Educational Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Social Psychology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Neurosurgery (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physiology (AREA)
Abstract
本发明提出一种阿尔兹海默症评估方法、系统、设备及存储介质,该方法包括:获取目标对象的多模态病情描述数据;基于多模态注意力机制,获取多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征,并将所有融合特征进行拼接,得到多模态特征;将多模态特征输入到神经网络评估模型中,评估出目标对象是否处于阿尔兹海默症早期发病高风险阶段。本发明实施例通过提取目标对象不同方面的病情观测数据,通过多模态注意力机制来获取不同方面的病情观测数据之间的内部联系,提高该评估方法的准确度,并通过判别是否处于阿尔兹海默症早期发病高风险阶段,能提前对阿尔兹海默症高概率发病进行预警,无需人工筛查,降低人工成本,提高筛查效率。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种阿尔兹海默症评估方法、系统、设备及存储介质。
背景技术
阿尔兹海默症(Alzheimer Disease,简称AD)是一种以记忆功能和认知功能进行性退化为特征的临床综合征,多发于老年期,病因迄今未明。65岁以前发病者,称早老性痴呆;65岁以后发病者称老年性痴呆。AD的临床病因主要有家族史、躯体疾病诱发、头部外伤和免疫功能等其他因素;临床表现分为三个阶段,分别表现为轻度痴呆、记忆力减退,中度痴呆、记忆力严重减退,重度痴呆、严重记忆力丧失。
当前对阿尔兹海默症临床检查方法有:神经心理学测验,主要包括记忆力水平的简易精神量表(MMSE)、日常生活能力评估(ADL)、行为和精神状态评估(BPSD)量表等;血液和脑脊液检查,用以筛查器质性病因;神经影像学检查,用以筛查神经器质性病变和外伤;脑电图频谱检查;基因筛查等。当前检查方法存在的问题是,神经心理学量表测验是主观的问卷测试,其准确度和可信度较低;基因检查成本较高,且不易实施,对于携带易发病基因的人群,其也不必然形成AD早期的诊断因素,因此可能引导不必要的早期干预;神经心理学量表测验、血液和脑脊液检查、神经影像学检查、脑电图频谱检查这些检查方法主要的共同缺点在于,仅能应用在AD已发病阶段,即已经体现出临床症状时,用以确定发病程度,而无法做到早期筛查,并介导早期治疗。较晚的检查无法体现早期介入干预的筛查意义,使得病人错过了最优的早期干预期。
综上,上述已有方式中,无论是哪一种,均难以同时做到可靠的、易于实施的、更够在早期进行的筛查,需要人工来进行筛查,需要大量人力成本,费时长,效率低。因此如何降低人工成本,提高筛查效率是亟待解决的问题。
发明内容
本发明提供一种阿尔兹海默症评估方法、系统、设备及存储介质,其主要目的在于挖掘目标对象不同模态之间的数据关联关系,有效提高特征表达的准确性,提高对阿尔兹海默症的评估准确度。
第一方面,本发明实施例提供一种阿尔兹海默症评估方法,包括:
获取目标对象的多模态病情描述数据,所述多模态病情描述数据包括所述目标对象从不同方面的病情观测数据;
基于多模态注意力机制,获取所述多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征,并将所有融合特征进行拼接,得到多模态特征;
将所述多模态特征输入到神经网络评估模型中,评估出所述目标对象是否处于阿尔兹海默症早期发病高风险阶段。
优选地,所述获取所述多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征,包括:
获取其中一个方面的病情观测数据的第一表示向量,获取另一个方面的病情观测数据的第二表示向量;
获取所述第一表示向量对所述第二表示向量的第一感兴趣程度,获取所述第二表示向量对所述第一表示向量的第二感兴趣程度;
根据所述第一感兴趣程度和所述第二表示向量,获取第一跨模态特征,根据所述第二感兴趣程度和所述第一表示向量,获取第二跨模态特征;
根据所述第一跨模态特征和所述第二跨模态特征,获取其中一个方面的病情观测数据和另一个方面的病情观测数据之间的融合特征。
优选地,所述获取所述第一表示向量对所述第二表示向量的第一感兴趣程度,获取所述第二表示向量对所述第一表示向量的第二感兴趣程度,通过如下公式获得:
Sab=f(a,b);
Sba=f(b,a);
其中,Sab表示所述第一感兴趣程度,Sba表示所述第二感兴趣程度,a表示所述第一表示向量,b表示所述第二表示向量,f(a,b)表示a中每一元素对b中每一元素的感兴趣程度,f(b,a)表示b中每一元素对a中每一元素的感兴趣程度。
优选地,f表示相似度函数。
优选地,所述根据所述第一感兴趣程度和所述第二表示向量,获取第一跨模态特征,根据所述第二感兴趣程度和所述第一表示向量,获取第二跨模态特征,通过如下公式获得:
a′=Sab*b;
b′=Sba*a;
其中,a′表示所述第一跨模态特征,b′表示所述第二跨模态特征,Sab表示所述第一感兴趣程度,Sba表示所述第二感兴趣程度,a表示所述第一表示向量,b表示所述第二表示向量。
优选地,所述神经网络评估模型的表示公式如下:
优选地,所述多模态病情描述数据包括脑部影像数据、精神心理测评数据、语言数据和电子病历数据,所述获取目标对象的多模态病情描述数据之前还包括:
获取所述目标对象的脑部影像数据、精神心理测评数据、语言数据和电子病历数据;
对所述脑部影像数据、所述精神心理测评数据、所述语言数据和所述电子病历数据进行颗粒化处理,获取所述多模态病情描述数据。
第二方面,本发明实施例提供一种阿尔兹海默症评估系统,包括:
获取模块,用于获取目标对象的多模态病情描述数据,所述多模态病情描述数据包括所述目标对象从不同方面的病情观测数据;
融合模块,用于基于多模态注意力机制,获取所述多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征,并将所有融合特征进行拼接,得到多模态特征;
评估模块,用于将所述多模态特征输入到神经网络评估模型中,评估出所述目标对象是否处于阿尔兹海默症早期发病高风险阶段。
第三方面,本发明实施例提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述阿尔兹海默症评估方法的步骤。
第四方面,本发明实施例提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述阿尔兹海默症评估方法的步骤。
本发明实施例提出的一种阿尔兹海默症评估方法、系统、设备及存储介质,通过提取目标对象不同方面的病情观测数据,并通过多模态注意力机制来融合不同方面的病情观测数据之间的内部联系,由于不同方面的病情观测数据描述的是同一患者的病情,通过多模态注意力机制可以挖掘不同方面的病情观测数据之间的内在联系,从而突出其中某些重要特征,使得最终得到的多模态特征能更加准确、更加全面的表示目标对象的病情,并结合神经网络评估模型,提升模型的评估能力和准确度,使得最后评估出的目标对象是否处于阿尔兹海默症早期发病高风险阶段的结果更加准确。另外,通过判别是否处于阿尔兹海默症早期发病高风险阶段,从而实现对阿尔兹海默症早期征兆进行判别,能提前对阿尔兹海默症高概率发病进行预警,并有效介导早期干预,无需人工筛查,实现降低人工成本,提高筛查效率。
附图说明
图1为本发明实施例提供的一种阿尔兹海默症评估方法的场景示意图;
图2为本发明实施例提供的一种阿尔兹海默症评估方法的流程图;
图3为本发明实施例提供的一种融合特征获取方法的流程图;
图4为本发明实施例中的注意力机制的图解示意图;
图5为本发明实施例提供的一种阿尔兹海默症评估系统的结构示意图;
图6为本发明实施例中提供的一种计算机设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
AD是老年人中常见的一种神经性疾病,其主要影响老年人脑部的中枢神经,使其发生退行性变化,当患者出现明显的阿尔兹海默病临床症状时,往往已经到了晚期,在对AD疾病进行诊断的过程中,如果只使用单一模态的数据,那么不能全面的表示AD患者的特征,由于模态之间往往是高度相关的,但这种相关性在特征层和数据层提取难度都很大。传统的多模态特征融合仅仅考虑把不同类型的特征整合在一起,并没有更多的考虑模态之间的联系。注意力机制(Attention)的核心思想就是基于原有的数据找到其之间的关联性,然后突出其某些重要特征。因此本发明可以使用注意力机制来寻找多模态之间的关联性,从而更加全面的考虑模态之间的关系。
本发明实施例提出的一种基于多模态注意力机制的阿尔兹海默症评估方法,考虑到阿尔兹海默症疾病复杂的临床特点,使用多模态的数据会使得对阿尔兹海默症患者有更全面的特征刻画,因为更可能得到精度更高的评估模型。同一患者的不同模态数据之间往往存在着内部关联关系,为了让模型学习到这种内部关联关系,本发明实施例“基于多模态注意力机制,对脑部影像数据、精神心理测评数据、语言数据和电子病历数据中任意两者之间的融合特征,并将所有融合特征进行拼接,得到多模态特征”,使用交叉的注意力机制来获取这种内部联系,各模态会“观察”另一模态特征,发现感兴趣的部分(即权重),将这种信息保留下来。最后通过拼接多模态特征,得到患者的最终表示,将此表示作为后续评估模型的输入,从而得到阿尔兹海默症的概率。通过这样的方法,不仅考虑了阿尔兹海默症疾病的独特临床特点,也解决了多模态数据融合的难点。
图1为本发明实施例提供的一种阿尔兹海默症评估方法的场景示意图,如图1所示,首先用户在客户端输入该目标对象的多模态病情描述数据,客户端提取到目标对象的多模态病情描述数据后,将该多模态病情描述数据发送给服务端,服务端接收到该多模态病情描述数据后,执行该一种阿尔兹海默症评估方法,最后评估出目标对象患有阿尔兹海默症的概率。
需要说明的是,服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。客户端可为智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。客户端和服务端可以通过蓝牙、USB(Universal Serial Bus,通用串行总线)或者其他通讯连接方式进行连接,本发明实施例在此不做限制。
图2为本发明实施例提供的一种阿尔兹海默症评估方法的流程图,如图2所示,该方法包括:
S210,获取目标对象的多模态病情描述数据,所述多模态病情描述数据包括所述目标对象从不同方面的病情观测数据;
首先获取目标对象的多模态病情描述数据,该目标对象一般是指患者,多模态病情描述数据是包括从不同方面对该患者的病情观测诊断数据,比如患者的脑部影像数据、患者的精神心理测评数据、患者的日常语言数据、患者的电子病历数据和患者的相关指标数据等。
脑部影像数据是指患者的脑部CT影像数据,不同认知障碍阶段的患者脑部CT影像数据是不同的,获取到患者脑部CT影像数据后,先对该影像数据进行预处理,该预处理操作包括去头骨、配准、白质分割、灰度归一化等操作,配准是用Brainnetome脑区模板划分成多个区域,具体可以划分为246个区域,其中36个区域为皮下区域,在具体实施例中可以只选取皮上层指标,即选取210个区域用于研究。然后采用FreeSurfer软件计算每个脑区的多种指标特征,具体可以包括8种指标特征,包括表面面积、灰质体积、平均厚度、厚度标准差、积分矫正平均曲率、积分矫正高斯曲率、折叠指数和内在曲率指数等等,通过这些指标将患者脑部CT影像数据进行颗粒化,提取出患者脑部CT影像数据的关键指标,通过这些关键指标即为脑部CT影像方面的病情观测数据。
患者的精神心理测评数据是指利用相关国家或者国际公认的测评标准对患者进行测评,常用的诊断标准有中国精神疾病分类方案与诊断标准等,使得患者回答该诊断标准中的相关问题,并对每个问题进行量化,提取出相关量化数据,该量化数据即为心里测评方面该患者的病情观测数据。
患者的日常语言数据是指阿尔兹海默症患者一般存在不同程度的认知障碍、记忆障碍、受用障碍等,会存在失认、失语和失用等症状,不同程度的症状用不同的打分表示,将其打分作为患者的日常语言数据方面的病情观测数据。
患者的电子病历数据包换患者病史、患者家族病史、患者心理智力、对患者的常规检查、患者腰穿、患者核磁、患者PET和患者基因表达等等,具体包含内容可以根据实际情况进行确定,本发明实施例在此不做具体的限定。具体地,患者病史是指患者以前所患的病,尤其是包括一些严重的疾病;患者家族病史是指患者上下一代所患有的病,同样地,是指一些严重的疾病;患者心理智力是通过心理智力计算量表进行测评得到的;对患者的常规检查包括血常规、甲状腺功能、同型半胱氨酸等的检查;患者腰穿是指对患者进行腰部穿刺;患者核磁是指对患者进行核磁共振检查,要加做冠状位,看海马,颞叶内侧是否有萎缩;对患者查PET,了解脑代谢情况;对患者有必要进行查基因表达,看是否有与阿尔兹海默症相关的基因片段。
患者的相关指标数据是指采用一些指标来标志阿尔兹海默症的相关患病情况,比如生长因子指标、小胶质细胞炎症胶质物、星型胶质细胞损失标志物等等,具体指标数据情况可以根据实际情况进行确定,本发明实施例在此不做具体的限定。
S220,基于多模态注意力机制,获取所述多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征,并将所有融合特征进行拼接,得到多模态特征;
上一步中获取到多模态病情描述数据后,由于获取到的多模态病情描述数据包括各个方面对病情的观测数据,初始状态时,各个方面对病情的观测数据是相互独立的,无法得知不同方面观测数据之间的关联性,容易理解的是,由于各个方面对病情的观测数据是描述同一个患者的同一病情的,不同方面的观测数据之间必然存在某种必然的联系,而传统的阿尔兹海默症评估方法并没有考虑到不同方面的观测数据之间内在关联,从而使得后续的特征表达不全面,影响评估结果的准确性。
不同模态数据之间往往是高度相关的,但这种相关性在特征层和数据层提取难度都很大。传统的多模态特征融合仅仅考虑把不同类型的特征整合在一起,并没有更多的考虑模态之间的联系。注意力机制(Attention)的核心思想就是基于原有的数据找到其之间的关联性,然后突出其某些重要特征。因此我们可以使用注意力机制来寻找多模态之间的关联性,从而更加全面的考虑模态之间的关系。
本发明实施例中获取到多模态病情描述数据之后,采用多模态注意力机制,获取多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征,此处,多模态注意力机制是指挖掘多模态病情描述数据中不同方面的观测数据相互感兴趣的部分,举例地,本发明实施例中多模态病情描述数据包括患者的脑部影像数据、患者的精神心理测评数据、患者的日常语言数据、患者的电子病历数据和患者的相关指标数据等五个方面的数据,需要获取其中任意两个方面的观测数据之间的融合特征,以患者的脑部影像数据和患者的精神心理测评数据为例进行说明,患者的脑部影响数据对患者的精神心理测评数据的感兴趣部分称之为融合特征,而患者的精神心理测评数据对患者脑部影响数据的感兴趣部分也称之为融合特征,但是这两个融合特征的内容是不同的,按照这个方法获取到任意两个方面观测数据之间的融合特征,并对所有融合特征进行拼接,得到多模态特征。该多模态特征除了包含多模态病情描述数据中不同方面的病情观测数据外,还包括不同方面的病情观测数据之间的相互感兴趣部分,从而其特征表达更加准确和全面,能够提高对阿尔兹海默症的评估精确度和准确度。
本发明实施例通过多模态注意力机制,充分挖掘多种不同方面的病情观测数据之间的内在联系,并将这种联系考虑到阿尔兹海默症的评估中,获得对特征的更全面的表示,从而提升模型的评估能力。
S230,将所述多模态特征输入到神经网络评估模型中,评估出所述目标对象是否处于阿尔兹海默症早期发病高风险阶段。
最后将多模态特征输入到神经网络评估模型中,得到该目标对象患有阿尔兹海默症的概率。
本发明实施例中,神经网络评估模型是一种机器学习模型,在使用之前,需要先利用样本和标签对其进行训练,本发明实施例中,样本为其它患者按照相同方法获取的多模态特征,标签为该患者是否处于阿尔兹海默症早期发病高风险阶段,利用样本和标签对初始的神经网络评估模型进行训练,即可得到训练之后的神经网络评估模型。
其中,标签是通过如下方法获得:对阿尔兹海默症患者采用基因测序评估的方法,分为0~5级,分别表征阿尔兹海默症的发病概率0%、20%、40%、60%、80%和100%,其中,本发明实施例中60%、80%和100%被定义为发病高风险阶段,按照该定义对样本进行标注,看样本是否处于发病高风险阶段。
本发明实施例中的神经网络评估模型属于神经网络中的一种,在使用该神经网络评估模型前,也需要对其进行训练或者更新训练,通过取得的样本和标签,对神经网络评估模型进行训练。该神经网络评估模型的训练过程可以分为三个步骤:定义神经网络评估模型的结构和前向传播的输出结果;定义损失函数以及反向传播优化的算法;最后生成会话并在训练数据上反复运行反向传播优化算法。
其中,神经元是构成神经网络的最小单位,一个神经元可以有多个输入和一个输出,每个神经元的输入既可以是其它神经元的输出,也可以是整个神经网络的输入。该神经网络的输出即是所有神经元的输入加权和,不同输入的权重就是神经元参数,神经网络的优化过程就是优化神经元参数取值的过程。
神经网络的效果及优化的目标是通过损失函数来定义的,损失函数给出了神经网络的输出结果与真实标签之间差距的计算公式,监督学习为神经网络训练的一种方式,其思想就是在已知答案的标注数据集上,该神经网络给出的结果要尽量接近真实的答案(即标签)。通过调整神经网络中的参数对训练数据进行拟合,使得神经网络对未知的样本提供评估能力。
反向传播算法实现了一个迭代的过程,每次迭代开始的时候,先取一部分训练数据,通过前向传播算法得到神经网络的评估结果。因为训练数据都有正确的答案,所以可以计算出评估结果和正确答案之间的差距。基于这个差距,反向传播算法会相应的更新神经网络参数的取值,使得和真实答案更加接近。
通过上述方法完成训练过程后,即可利用完成训练后的神经网络评估模型进行应用。
本发明实施例提出的一种阿尔兹海默症评估方法,通过提取目标对象不同方面的病情观测数据,并通过多模态注意力机制来融合不同方面的病情观测数据之间的内部联系,由于不同方面的病情观测数据描述的是同一患者的病情,通过多模态注意力机制可以挖掘不同方面的病情观测数据之间的内在联系,从而突出其中某些重要特征,使得最终得到的多模态特征能更加准确、更加全面的表示目标对象的病情,并结合神经网络评估模型,提升模型的评估能力和准确度,使得最后评估出的目标对象是否处于阿尔兹海默症早期发病高风险阶段的结果更加准确。
通过这样的方法,不仅考虑了阿尔兹海默症疾病的独特临床特点,也解决了多模态数据融合的难点,并且多模态特征对患者的表示、刻画更加全面和准确,也进一步提升了多模态数据融合的特征表示准确性。
另外,通过判别是否处于阿尔兹海默症早期发病高风险阶段,从而实现对阿尔兹海默症早期征兆进行判别,能提前对阿尔兹海默症高概率发病进行预警,并有效介导早期干预,无需人工筛查,实现降低人工成本,提高筛查效率。
在上述实施例的基础上,优选地,所述获取所述多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征,包括:
获取其中一个方面的病情观测数据的第一表示向量,获取另一个方面的病情观测数据的第二表示向量;
获取所述第一表示向量对所述第二表示向量的第一感兴趣程度,获取所述第二表示向量对所述第一表示向量的第二感兴趣程度;
根据所述第一感兴趣程度和所述第二表示向量,获取第一跨模态特征,根据所述第二感兴趣程度和所述第一表示向量,获取第二跨模态特征;
根据所述第一跨模态特征和所述第二跨模态特征,获取其中一个方面的病情观测数据和另一个方面的病情观测数据之间的融合特征。
图3为本发明实施例提供的一种融合特征获取方法的流程图,如图3所示,多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征通过如下方式获取,以患者的脑部影像数据和患者的精神心理测评数据为例进行说明,患者的脑部影像数据和患者的精神心理测评数据代表从两个不同视角对患者的观测结果,因为都是同一患者的特征,因此这两种观测数据之间具有一定的关联关系。
刚开始患者的脑部影像数据和患者的精神心理测评数据只是一些离散的数据,因此需要将其表示为向量。
将患者的脑部影像数据经过一个表示层得到该模态的向量表示,即第一表示向量,用a表示,同理,将患者的精神心理测评数据经过一个表示层得到该模态的向量表示,即第二表示向量,用b表示。
注意力机制的本质思想即通过计算query和各个key的相似性或者相关性,得到每个key对应value的权重系数,然后对value进行加权求和,即得到了最终的Attention数值:
Attention=f(query,key)*value,
其中函数f(query,key)可以是相似度函数,或者其它可以表示query和key关系的函数。
其中,a′=Sab*b,b′=Sba*a。
最后将a′和b′两部分特征拼接在一起,作为患者的融合特征,该融合特征用x表示。
在上述实施例的基础上,优选地,所述获取所述第一表示向量对所述第二表示向量的第一感兴趣程度,获取所述第二表示向量对所述第一表示向量的第二感兴趣程度,通过如下公式获得:
Sab=f(a,b);
Sba=f(b,a);
其中,Sab表示所述第一感兴趣程度,Sba表示所述第二感兴趣程度,a表示所述第一表示向量,b表示所述第二表示向量,f(a,b)表示a中每一元素对b中每一元素的感兴趣程度,f(b,a)表示b中每一元素对a中每一元素的感兴趣程度。
在上述实施例的基础上,优选地,f表示相似度函数。
相应地,f(a,b)表示a中每一元素对b中每一元素的相似度,f(b,a)表示b中每一元素对a中每一元素的相似度。
在上述公式中,计算第一表示向量对第二表示向量的感兴趣部分时,是通过相似度函数进行计算的,常见的相似度函数有Jaccard相关系数、余弦相似度、皮尔森相关系数、欧几里德距离等等。
在上述实施例的基础上,优选地,所述根据所述第一感兴趣程度和所述第二表示向量,获取第一跨模态特征,根据所述第二感兴趣程度和所述第一表示向量,获取第二跨模态特征,通过如下公式获得:
a′=Sab*b;
b′=Sba*a;
其中,a′表示所述第一跨模态特征,b′表示所述第二跨模态特征,Sab表示所述第一感兴趣程度,Sba表示所述第二感兴趣程度,a表示所述第一表示向量,b表示所述第二表示向量。
在上述实施例的基础上,优选地,所述神经网络评估模型的表示公式如下:
在上述实施例的基础上,优选地,所述多模态病情描述数据包括脑部影像数据、精神心理测评数据、语言数据和电子病历数据,所述获取目标对象的多模态病情描述数据之前还包括:
获取所述目标对象的脑部影像数据、精神心理测评数据、语言数据和电子病历数据;
对所述脑部影像数据、所述精神心理测评数据、所述语言数据和所述电子病历数据进行颗粒化处理,获取所述多模态病情描述数据。
本发明实施例中获取到多模态病情描述数据后,由于获取的多模态病情描述数据包括各个方面的病情描述数据,还需要对这些数据进行颗粒化处理,选出最具有代表性的数据,用来描述该多模态病情描述数据。
本发明实施例提出的一种基于多模态注意力机制的阿尔兹海默症评估方法,考虑到阿尔兹海默症疾病复杂的临床特点,使用多模态的数据会使得对阿尔兹海默症患者有更全面的特征刻画,因为更可能得到精度更高的评估模型。同一患者的不同模态数据之间往往存在着内部关联关系,为了让模型学习到这种内部关联关系,本发明实施例“基于多模态注意力机制,对脑部影像数据、精神心理测评数据、语言数据和电子病历数据中任意两者之间的融合特征,并将所有融合特征进行拼接,得到多模态特征”,使用交叉的注意力机制来获取这种内部联系,各模态会“观察”另一模态特征,发现感兴趣的部分(即权重),将这种信息保留下来。最后通过拼接多模态特征,得到患者的最终表示,将此表示作为后续评估模型的输入,从而得到阿尔兹海默症的概率。通过这样的方法,不仅考虑了阿尔兹海默症疾病的独特临床特点,也解决了多模态数据融合的难点。
图5为本发明实施例提供的一种阿尔兹海默症评估系统的结构示意图,如图5所示,该系统包括获取模块510、融合模块520和评估模块530,其中:
获取模块510用于获取目标对象的多模态病情描述数据,所述多模态病情描述数据包括所述目标对象从不同方面的病情观测数据;
融合模块520用于基于多模态注意力机制,获取所述多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征,并将所有融合特征进行拼接,得到多模态特征;
评估模块530用于将所述多模态特征输入到神经网络评估模型中,评估出所述目标对象是否处于阿尔兹海默症早期发病高风险阶段。
本实施例为与上述方法实施例相对应的系统实施例,其具体实施过程与上述方法实施例相同,详情请参考上述方法实施例,本系统实施例在此不再赘述。
在上述实施例的基础上,优选地,所述融合模块包括表示单元、感兴趣单元、跨膜态单元和融合单元,其中:
所述表示单元用于获取其中一个方面的病情观测数据的第一表示向量,获取另一个方面的病情观测数据的第二表示向量;
所述感兴趣单元用于获取所述第一表示向量对所述第二表示向量的第一感兴趣程度,获取所述第二表示向量对所述第一表示向量的第二感兴趣程度;
所述跨膜态单元用于根据所述第一感兴趣程度和所述第二表示向量,获取第一跨模态特征,根据所述第二感兴趣程度和所述第一表示向量,获取第二跨模态特征;
所述融合单元用于根据所述第一跨模态特征和所述第二跨模态特征,获取其中一个方面的病情观测数据和另一个方面的病情观测数据之间的融合特征。
在上述实施例的基础上,优选地,所述感兴趣单元通过如下公式获得:
Sab=f(a,b);
Sba=f(b,a);
其中,Sab表示所述第一感兴趣程度,Sba表示所述第二感兴趣程度,a表示所述第一表示向量,b表示所述第二表示向量,f(a,b)表示a中每一元素对b中每一元素的感兴趣程度,f(b,a)表示b中每一元素对a中每一元素的感兴趣程度。
在上述实施例的基础上,优选地,f表示相似度函数。
在上述实施例的基础上,优选地,所述跨膜态单元通过如下公式获得:
a′=Sab*b;
b′=Sba*a;
其中,a′表示所述第一跨模态特征,b′表示所述第二跨模态特征,Sab表示所述第一感兴趣程度,Sba表示所述第二感兴趣程度,a表示所述第一表示向量,b表示所述第二表示向量。
在上述实施例的基础上,优选地,所述神经网络评估模型的表示公式如下:
在上述实施例的基础上,优选地,所述多模态病情描述数据包括脑部影像数据、精神心理测评数据、语言数据和电子病历数据,所述获取模块之前还包括获取单元和颗粒化单元,其中:
所述获取单元用于获取所述目标对象的脑部影像数据、精神心理测评数据、语言数据和电子病历数据;
所述颗粒化单元用于对所述脑部影像数据、所述精神心理测评数据、所述语言数据和所述电子病历数据进行颗粒化处理,获取所述多模态病情描述数据。
上述阿尔兹海默症评估系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图6为本发明实施例中提供的一种计算机设备的结构示意图,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作系统、计算机程序和数据库。该内存储器为计算机存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行阿尔兹海默症评估方法过程中生成或获取的数据,如多模态病情描述数据、多模态特征等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种阿尔兹海默症评估方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中的阿尔兹海默症评估方法的步骤。或者,处理器执行计算机程序时实现阿尔兹海默症评估系统这一实施例中的各模块/单元的功能。
在一实施例中,提供一计算机存储介质,该计算机存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中阿尔兹海默症评估方法的步骤。或者,该计算机程序被处理器执行时实现上述阿尔兹海默症评估系统这一实施例中的各模块/单元的功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种阿尔兹海默症评估方法,其特征在于,包括:
获取目标对象的多模态病情描述数据,所述多模态病情描述数据包括所述目标对象从不同方面的病情观测数据;
基于多模态注意力机制,获取所述多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征,并将所有融合特征进行拼接,得到多模态特征;
将所述多模态特征输入到神经网络评估模型中,评估出所述目标对象是否处于阿尔兹海默症早期发病高风险阶段。
2.根据权利要求1所述的阿尔兹海默症评估方法,其特征在于,所述获取所述多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征,包括:
获取其中一个方面的病情观测数据的第一表示向量,获取另一个方面的病情观测数据的第二表示向量;
获取所述第一表示向量对所述第二表示向量的第一感兴趣程度,获取所述第二表示向量对所述第一表示向量的第二感兴趣程度;
根据所述第一感兴趣程度和所述第二表示向量,获取第一跨模态特征,根据所述第二感兴趣程度和所述第一表示向量,获取第二跨模态特征;
根据所述第一跨模态特征和所述第二跨模态特征,获取其中一个方面的病情观测数据和另一个方面的病情观测数据之间的融合特征。
3.根据权利要求2所述的阿尔兹海默症评估方法,其特征在于,所述获取所述第一表示向量对所述第二表示向量的第一感兴趣程度,获取所述第二表示向量对所述第一表示向量的第二感兴趣程度,通过如下公式获得:
Sab=f(a,b);
Sba=f(b,a);
其中,Sab表示所述第一感兴趣程度,Sba表示所述第二感兴趣程度,a表示所述第一表示向量,b表示所述第二表示向量,f(a,b)表示a中每一元素对b中每一元素的感兴趣程度,f(b,a)表示b中每一元素对a中每一元素的感兴趣程度。
4.根据权利要求3所述的阿尔兹海默症评估方法,其特征在于,f表示相似度函数。
5.根据权利要求3所述的阿尔兹海默症评估方法,其特征在于,所述根据所述第一感兴趣程度和所述第二表示向量,获取第一跨模态特征,根据所述第二感兴趣程度和所述第一表示向量,获取第二跨模态特征,通过如下公式获得:
a′=Sab*b;
b′=Sba*a;
其中,a′表示所述第一跨模态特征,b′表示所述第二跨模态特征,Sab表示所述第一感兴趣程度,Sba表示所述第二感兴趣程度,a表示所述第一表示向量,b表示所述第二表示向量。
7.根据权利要求1至6任一所述的阿尔兹海默症评估方法,其特征在于,所述多模态病情描述数据包括脑部影像数据、精神心理测评数据、语言数据和电子病历数据,所述获取目标对象的多模态病情描述数据之前还包括:
获取所述目标对象的脑部影像数据、精神心理测评数据、语言数据和电子病历数据;
对所述脑部影像数据、所述精神心理测评数据、所述语言数据和所述电子病历数据进行颗粒化处理,获取所述多模态病情描述数据。
8.一种阿尔兹海默症评估系统,其特征在于,包括:
获取模块,用于获取目标对象的多模态病情描述数据,所述多模态病情描述数据包括所述目标对象从不同方面的病情观测数据;
融合模块,用于基于多模态注意力机制,获取所述多模态病情描述数据中任意两个方面的病情观测数据之间的融合特征,并将所有融合特征进行拼接,得到多模态特征;
评估模块,用于将所述多模态特征输入到神经网络评估模型中,评估出所述目标对象是否处于阿尔兹海默症早期发病高风险阶段。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述阿尔兹海默症评估方法的步骤。
10.一种计算机存储介质,所述计算机存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述阿尔兹海默症评估方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210259559.0A CN114628034A (zh) | 2022-03-16 | 2022-03-16 | 阿尔兹海默症评估方法、系统、设备及存储介质 |
PCT/CN2022/089556 WO2023173538A1 (zh) | 2022-03-16 | 2022-04-27 | 阿尔兹海默症评估方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210259559.0A CN114628034A (zh) | 2022-03-16 | 2022-03-16 | 阿尔兹海默症评估方法、系统、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114628034A true CN114628034A (zh) | 2022-06-14 |
Family
ID=81901647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210259559.0A Pending CN114628034A (zh) | 2022-03-16 | 2022-03-16 | 阿尔兹海默症评估方法、系统、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114628034A (zh) |
WO (1) | WO2023173538A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115830017A (zh) * | 2023-02-09 | 2023-03-21 | 智慧眼科技股份有限公司 | 基于图文多模态融合的肿瘤检测系统、方法、设备及介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110534189A (zh) * | 2018-05-25 | 2019-12-03 | 深圳市前海安测信息技术有限公司 | 阿尔兹海默病症分级评估模型创建方法及计算机装置 |
CN111916207B (zh) * | 2020-08-07 | 2023-08-08 | 杭州深睿博联科技有限公司 | 一种基于多模态融合的疾病识别方法及装置 |
CN112507947A (zh) * | 2020-12-18 | 2021-03-16 | 宜通世纪物联网研究院(广州)有限公司 | 基于多模态融合的手势识别方法、装置、设备及介质 |
CN112967713B (zh) * | 2021-01-23 | 2023-08-22 | 西安交通大学 | 一种基于多次模态融合的视听语音识别方法、装置、设备和存储介质 |
CN113317763B (zh) * | 2021-06-30 | 2024-03-19 | 平安科技(深圳)有限公司 | 基于多模态的帕金森病检测装置及计算机可读存储介质 |
-
2022
- 2022-03-16 CN CN202210259559.0A patent/CN114628034A/zh active Pending
- 2022-04-27 WO PCT/CN2022/089556 patent/WO2023173538A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115830017A (zh) * | 2023-02-09 | 2023-03-21 | 智慧眼科技股份有限公司 | 基于图文多模态融合的肿瘤检测系统、方法、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023173538A1 (zh) | 2023-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109447183B (zh) | 预测模型训练方法、装置、设备以及介质 | |
Wu et al. | A deep learning, image based approach for automated diagnosis for inflammatory skin diseases | |
Faviez et al. | Diagnosis support systems for rare diseases: a scoping review | |
Tong et al. | Automated identification of retinopathy of prematurity by image-based deep learning | |
Bharati et al. | A review on explainable artificial intelligence for healthcare: why, how, and when? | |
JP2008532104A (ja) | 複数の医療関連アウトカムの予測を行い、インターベンション計画の評価を行い、更に同時にバイオマーカー因果性検証を行うことのできる、予測モデルを生成して適用する方法、そのシステム、及びそのコンピュータ・プログラム製品 | |
EP3944185A1 (en) | Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images | |
CN114999629A (zh) | 一种基于多特征融合的ad早期预测方法、系统、装置 | |
Rahim et al. | Prediction of Alzheimer's progression based on multimodal deep-learning-based fusion and visual explainability of time-series data | |
Al-Adhaileh | Diagnosis and classification of Alzheimer's disease by using a convolution neural network algorithm | |
He et al. | An interpretable transformer network for the retinal disease classification using optical coherence tomography | |
WO2023059746A1 (en) | Estimating uncertainty in predictions generated by machine learning models | |
Bi et al. | Community graph convolution neural network for alzheimer’s disease classification and pathogenetic factors identification | |
CN114628034A (zh) | 阿尔兹海默症评估方法、系统、设备及存储介质 | |
Keles et al. | PARNet: Deep neural network for the diagnosis of parkinson's disease | |
Jun et al. | Medical data science in rhinology: Background and implications for clinicians | |
Leandro et al. | OCT-based deep-learning models for the identification of retinal key signs | |
US20230197271A1 (en) | Intelligent workflow analysis for treatments using exposable cloud-based registries | |
Alshayeji et al. | Two-stage framework for diabetic retinopathy diagnosis and disease stage screening with ensemble learning | |
Uppalapati et al. | Application of ANN combined with machine learning for early recognition of Parkinson’s disease | |
RS et al. | Intelligence model for Alzheimer’s disease detection with optimal trained deep hybrid model | |
Mohammadi et al. | A User-Friendly Approach for the Diagnosis of Diabetic Retinopathy Using ChatGPT and Automated Machine Learning | |
Sujatha et al. | Detection of Bipolar Disorder Using Machine Learning with MRI. | |
Singh et al. | Brain MRI Image Analysis for Alzheimer’s Disease (AD) Prediction Using Deep Learning Approaches | |
Thomas et al. | Eisoc with ifodpso and dcnn classifier for diabetic retinopathy recognition system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |