CN117643458A - 一种多模态数据驱动的术后谵妄评估系统 - Google Patents
一种多模态数据驱动的术后谵妄评估系统 Download PDFInfo
- Publication number
- CN117643458A CN117643458A CN202410121868.0A CN202410121868A CN117643458A CN 117643458 A CN117643458 A CN 117643458A CN 202410121868 A CN202410121868 A CN 202410121868A CN 117643458 A CN117643458 A CN 117643458A
- Authority
- CN
- China
- Prior art keywords
- data
- eye jump
- jump
- eye
- postoperative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002980 postoperative effect Effects 0.000 title claims abstract description 163
- 206010012218 Delirium Diseases 0.000 title claims abstract description 154
- 238000011156 evaluation Methods 0.000 claims abstract description 112
- 210000004556 brain Anatomy 0.000 claims abstract description 47
- 238000007781 pre-processing Methods 0.000 claims abstract description 32
- 230000001149 cognitive effect Effects 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 38
- 230000000284 resting effect Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 20
- 230000005611 electricity Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 16
- 230000002441 reversible effect Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000019771 cognition Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 208000020401 Depressive disease Diseases 0.000 claims description 3
- 241001112258 Moca Species 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 240
- 238000000605 extraction Methods 0.000 description 25
- 238000004458 analytical method Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 14
- 238000012360 testing method Methods 0.000 description 13
- 230000004927 fusion Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000003920 cognitive function Effects 0.000 description 8
- 230000001364 causal effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 208000010877 cognitive disease Diseases 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 210000001652 frontal lobe Anatomy 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 210000000869 occipital lobe Anatomy 0.000 description 4
- 206010012289 Dementia Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 210000001152 parietal lobe Anatomy 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000011540 hip replacement Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000013150 knee replacement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000004434 saccadic eye movement Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 206010058046 Post procedural complication Diseases 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000036995 brain health Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000006999 cognitive decline Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000001595 mastoid Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1101—Detecting tremor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Mathematical Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Evolutionary Computation (AREA)
- Veterinary Medicine (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Psychiatry (AREA)
- Neurology (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Neurosurgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Psychology (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种多模态数据驱动的术后谵妄评估系统：所述系统包括数据采集单元、数据预处理单元和术后谵妄评估单元；数据采集单元包括眼跳追踪仪及脑电采集系统，分别用于采集待评估患者术后的眼跳数据和脑电数据；眼跳数据和脑电数据用于结合术后谵妄评估量表数据、术后认知量表数据和人口学数据对患者进行术后谵妄评估；数据预处理单元用于对采集得到的数据进行数据预处理，得到待评估患者对应的术后谵妄评估数据；术后谵妄评估单元为预训练的神经网络模型，用于基于术后谵妄评估数据进行分类预测，得到待评估患者的术后谵妄评估结果。本发明解决了现有技术中的术后谵妄评估方法受评估者主观性影响较大，评估指标单一，评估准确度差的问题。
Description
技术领域
本发明属于人工智能目标检测技术领域，尤其涉及一种多模态数据驱动的术后谵妄评估系统。
背景技术
术后谵妄（postoperative delirium，POD）是指患者在经历外科手术后1周内出现的一种中枢神经系统功能异常，是老年人术后常见并发症。POD患者远期认知功能下降比率显著升高，且容易进展为慢性认知功能障碍乃至阿尔兹海默症，严重影响患者预后及转归。目前临床上针对POD 的诊断，主要依赖专科医师采用的神经精神量表，但量表评估受评估人员以及患者主观性影响较大，且评估人员需经过专业培训。眼跳任务作为一种可被精准观测的，与认知功能高度相关的行为范式，其事件相关电位（event related potential，ERP）的变化与认知功能关系密切，是探索大脑认知功能的客观、可靠、灵敏、快速且无创的评估手段，但目前在POD领域并未被深入研究。如何将评估量表结果与眼跳任务、ERP 等指标相结合，同时融合多模态数据，为POD提供更加科学、可行、有效的评估系统成为目前POD评估的一个重要研究方向。
发明内容
鉴于上述的分析，本发明旨在提供一种多模态数据驱动的术后谵妄评估系统，用于解决现有技术中的术后谵妄评估方法受评估者主观性影响较大，评估指标单一，评估准确度差的问题。
本发明的目的主要是通过以下技术方案实现的：
一方面，本发明提供了一种多模态数据驱动的术后谵妄评估系统，该系统包括数据采集单元、数据预处理单元和术后谵妄评估单元；
所述数据采集单元包括眼跳追踪仪及脑电采集系统，分别用于采集待评估患者术后的眼跳数据和脑电数据；所述眼跳数据和脑电数据用于结合术后谵妄评估量表数据、术后认知量表数据和人口学数据对患者进行术后谵妄评估；
所述数据预处理单元用于对所述眼跳数据、脑电数据、术后谵妄评估量表数据、术后认知量表数据和人口学数据进行数据预处理，得到所述待评估患者对应的术后谵妄评估数据；
所述术后谵妄评估单元为预训练的神经网络模型，用于基于所述术后谵妄评估数据进行分类预测，得到所述待评估患者的术后谵妄评估结果。
进一步的，所述脑电数据包括事件相关电位和静息态脑电数据；所述眼跳数据包括在术后采集的正向眼跳任务、反向眼跳任务和记忆诱导眼跳任务对应的眼跳数据的二维时序轨迹数据；
所述事件相关电位为执行眼跳任务的过程中采集得到；
对所述眼跳数据进行预处理，包括基于所述眼跳数据计算得到眼跳数据参数；对所述事件相关电位进行预处理包括基于所述事件相关电位进行关键事件信息对齐，并提取得到事件相关电位的256维、1000Hz高频时序序列数据和事件相关电位参数；对所述静息态脑电数据进行预处理包括计算得到静息态脑电数据功率谱数据；
所述术后谵妄评估数据中包括眼跳及脑电关联数据；所述眼跳及脑电关联数据包括所述二维时序轨迹数据、所述眼跳数据参数、所述高频时序序列数据和事件相关电位参数，以及静息态脑电数据功率谱数据。
进一步的，所述术后谵妄评估数据中还包括结构化数据；
所述结构化数据包括归一化后的人口学数据、术后谵妄评估量表数据和术后认知量表数据；通过对所述人口学数据、术后谵妄评估量表数据和术后认知量表数据进行归一化处理并进行数据整合得到。
进一步的，所述眼跳及脑电关联数据通过下述方法得到：
通过预设的自适应速度界值法对所述眼跳数据的起始点和终止点进行判定以去除噪声；
基于眼跳数据采集时注视点消失的时刻及眼跳数据的起始点对所述事件相关电位与对应的眼跳数据进行关键事件信息对齐；
对所述眼跳数据和关键事件信息对齐后的所述事件相关电位进行参数计算，得到所述眼跳数据参数和事件相关电位参数；
将所述眼跳数据、眼跳数据参数、经过关键事件对齐后的事件相关电位、事件相关电位参数及对应患者的静息态脑电数据进行数据拼接，得到所述眼跳及脑电关联数据。
进一步的，在对所述事件相关电位进行关键事件对齐后，还包括根据所述评估对象的反应时，对所述事件相关电位划分时间窗，包括：
对正向眼跳任务中采集的事件相关电位，将眼跳数据的起始点前200ms至前50ms划分为时间窗；
对反向眼跳任务和记忆诱导眼跳任务中采集的事件相关电位，将眼跳数据的起始点前300ms至前50ms划分为时间窗；
对所述时间窗内的数据进行时频分析，得到所述事件相关电位参数。
进一步的，所述通过预设的自适应速度界值法对眼跳数据的起始点和终止点进行判定，包括：
以15视角度每秒为眼跳初始速度界值，得到眼跳数据的第一起始点与第一终止点，并将眼跳轨迹划分为眼跳段及非眼跳段；
基于与眼跳数据的第一起始点相邻的非眼跳段的眼跳平均速度及各采样点的眼跳速度，计算得到眼跳起始速度阈值；
根据所述眼跳起始速度阈值，得到所述眼跳数据的起始点；
基于与眼跳数据的第一终止点相邻的非眼跳段的眼跳平均速度及各采样点的眼跳速度，计算得到眼跳终止速度阈值；
根据所述眼跳终止速度阈值，得到所述眼跳数据的终止点。
进一步的，在计算得到眼跳起始速度阈值和眼跳终止速度阈值后，还包括：若所述第一眼跳起始点和第一眼跳终止点之间不存在眼跳速度大于所述眼跳起始速度阈值的片段，则将该眼跳数据作为噪声进行删除。
进一步的，所述眼跳起始速度阈值和眼跳终止速度阈值通过下述公式得到：
；
其中，为采样点个数，/>为采样点/>的眼跳速度。
进一步的，所述术后谵妄评估单元利用训练样本集进行预训练得到；所述术后谵妄评估单元包括眼跳及脑电联合特征提取模块、结构化数据特征提取模块和特征融合评估模块；
所述眼跳及脑电联合特征提取模块基于Transformer模型训练得到，用于对所述眼跳及脑电关联数据进行特征提取，得到第一特征向量；
所述结构化数据特征提取模块基于多层感知机训练得到，用于对所述结构化数据进行特征提取，得到第二特征向量；
所述特征融合评估模块包括融合层和全连接层，用于对所述第一特征向量和第二特征向量进行向量拼接及分类预测，得到术后谵妄评估结果。
进一步的，所述术后谵妄评估量表数据包括：意识模糊评估量表CAM、ICU意识模糊评估量表CAM-ICU记忆谵妄评估量表MDAS；
术后认知量表数据包括：术后的MMSE评分；MoCA评分和CDR评分；
所述人口学数据包括：性别、年龄、教育年限、体重指数、ASA分级、ADL评分、FRAIL评分、并发症CCI评分、VAS评分、焦虑/抑郁筛查评分。
本技术方案的有益效果：
1. 本发明基于与大脑认知功能密切相关的眼跳数据、ERP及静息态脑电信号，构建得到眼跳及脑电关联数据，并结合术后谵妄评估量表数据、术后认知量表数据和人口学数据，建立多模态数据驱动的术后谵妄评估系统，避免了现有的术后谵妄评估方法受评估者主观性影响较大和评估指标单一的问题，提高了术后谵妄临床评估的准确性；
2.本发明基于眼跳任务执行过程中同时采集得到的眼跳数据和ERP数据，以及静息态脑电数据构建得到眼跳及脑电关联数据，将眼跳及对应的脑电关联特征应用于术后谵妄的评估，极大程度上提高了术后谵妄评估的准确性；
3.本发明在对眼跳数据进行信息提取的过程中，采用自适应速度界值法对眼跳数据的起始点和终止点进行判定，避免了将噪声误判为眼跳及对眼跳数据的起始点和终止点判断不准确的问题，进一步提高了眼跳数据的可用性。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件；
图1是本发明实施例的多模态数据驱动的术后谵妄评估系统示意图；
图2是本发明实施例的脑电数据采集装置电极及脑分区示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施案例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个实施例，提供了一种多模态数据驱动的术后谵妄评估系统，如图1所示，该系统包括：数据采集单元、数据预处理单元和术后谵妄评估单元；
所述数据采集单元包括眼跳追踪仪及脑电采集系统，分别用于采集待评估患者术后的眼跳数据和脑电数据；所述眼跳数据和脑电数据用于结合术后谵妄评估量表数据、术后认知量表数据和人口学数据对患者进行术后谵妄评估；
所述数据预处理单元用于对所述眼跳数据、脑电数据、术后谵妄评估量表数据、术后认知量表数据和人口学数据进行数据预处理，得到所述待评估患者对应的术后谵妄评估数据；
所述术后谵妄评估单元为预训练的神经网络模型，用于基于所述术后谵妄评估数据进行分类预测，得到所述待评估患者的术后谵妄评估结果。
具体的，眼跳（saccade）是眼球在两注视点间的快速跳动，是灵长类动物能做出的最快速的运动，其控制的神经环路相对清楚，且其感觉输入信号可以被精确的控制和巧妙的操控，其运动输出可被眼跳追踪装置精确的获取，故被称为“认知功能的窗口”和“脑的微缩宇宙模型”，眼跳是一种可被精准观测的行为范式，在其任务执行过程中对应的事件相关电位（ERP）的变化与认知功能关系密切，成为探索大脑认知功能的客观、可靠、灵敏、快速和无创的工具，但目前尚未应用于术后谵妄（POD）评估领域。鉴于上述问题，本发明采集了多例患者术后的眼跳数据及脑电数据，并根据术后谵妄评估量表的结果将患者分为术后谵妄组和术后非谵妄组，用于术后谵妄评估的研究；本实施例结合术后采集的眼跳数据及ERP脑电参数、静息态脑电参数，作为POD评估的客观指标，并结合术后认知量表数据、人口学数据和术后谵妄评估量表数据，利用深度学习方法建立多模态数据驱动的术后谵妄评估系统，实现了多模态数据驱动的术后谵妄精准评估体系，及对POD的发生和发展机制的深入探究，解决了现有技术中的术后谵妄评估方法受评估者主观性影响较大，评估指标单一，评估准确度差的问题。
更具体的，本实施例通过眼动追踪仪对眼跳数据进行数据采集，眼动追踪仪可以包括红外相机、近红外光源、电脑主机和显示器等，为眼跳数据的采集提供物理运行环境；并采用临床上通用脑电采集系统采集静息态脑电数据（EEG）和事件相关电位（ERP）；并结合术后谵妄评估量表数据、术后认知量表数据和人口学数据对患者进行术后谵妄评估。
本实施例中，对于眼跳数据的采集，以正向眼跳任务、反向眼跳任务及记忆诱导眼跳任务作为初始任务范式，通过眼动追踪仪精确记录被试者执行眼跳任务时的眼跳数据。
实际应用中，可在术后采集待评估患者的眼跳数据，包括：
正向眼跳任务：首先在屏幕中心出现注视点FP（fixation point），被试者眼睛需要注视在以注视点FP为圆心，视角为半径的监视窗口内800ms，当满足上述条件后，注视点FP消失，并在距离注视点/>视角的位置，随机在任一个方向出现1个目标点（target），被试者需要尽快注视在以目标点为圆心，/>视角为半径的监视窗口内300ms。当被试者正确的完成上述任务，会听到提醒声；
反向眼跳任务：首先在屏幕中心出现注视点FP，被试者眼睛需注视在以注视点FP为圆心，视角为半径的监视窗口内800ms，当满足上述条件后，注视点FP消失，随机在任意方向且距离注视点/>视角的位置出现1个目标点，被试者需要尽快完成朝向目标点反向且等距位置的眼跳；
记忆诱导眼跳任务：每个试次（trial）开始时，屏幕中心出现注视点FP，持续600ms后，随机在任一个方向且距离注视点视角的位置出现1个提示点（cue），持续500ms后消失。从提示点cue消失到注视点FP 消失为等待期（delay）阶段，等待期长度为1000ms。从试次开始到等待期结束，被试者眼睛需要注视在以FP为圆心，/>视角为半径的监视窗口内，直到提示点FP消失后，被试者需完成一步朝向提示点cue出现位置的眼跳；
在被试者（患者）执行眼跳任务的同时，通过眼动追踪仪进行眼跳数据采集，用于后续的预处理并进行术后谵妄评估。
进一步的，本实施例中的脑电数据包括事件相关电位和静息态脑电数据，其中，事件相关电位在执行眼跳任务时采集得到，静息态脑电图为脑自发活动产生的脑电图信号；
优选的，静息态脑电数据和事件相关电位（ERP）通过下述方法采集得到：
在患者采集眼跳任务数据时，使用临床上通用脑电采集系统采集静息态脑电数据（EEG）和和事件相关电位（ERP）；采集时，被试者佩戴脑电帽，并在安静的环境下闭目休息5-10分钟，同时记录静息状态下的脑电数据（静息态脑电数据）；然后依次执行正向眼跳任务、反向眼跳任务及记忆诱导眼跳任务，并在任务执行过程中采集被试者眼跳数据及事件相关电位。
进一步的，对于术后谵妄评估量表数据和术后认知量表数据，可在术后获取，并根据意识模糊评估量表（the confusion assessment method，CAM）及ICU意识模糊评估量表（the confusion assessment method for the Intensive Care Unit，CAM-ICU）评定是否发生谵妄，并根据记忆谵妄评估量表（memorial delirium assessment scale，MDAS）评价谵妄严重程度，统计患者谵妄发生率、发生程度及持续时间。
人口学数据可通过待评估患者的临床检查中获取；
其中，术后谵妄评估量表包括：意识模糊评估量表（the confusion assessmentmethod，CAM）及ICU意识模糊评估量表（the confusion assessment method for theIntensive Care Unit，CAM-ICU），术后谵妄严重程度的评估依赖记忆谵妄评估量表（memorial delirium assessment scale，MDAS）。
术后认知功能量表数据包括：简易智能状态MMSE评分；蒙特利尔认知评估MoCA评分；和临床痴呆量表CDR评分。
人口学数据包括：性别、年龄、教育年限、体重指数、ASA分级、ADL评分、FRAIL评分、并发症CCI评分、VAS评分、焦虑/抑郁筛查评分。
进一步的，在采集得到谵妄评估所需的数据后，还需要进行数据预处理，得到待评估患者对应的术后谵妄评估数据，以用于后续的特征提取及术后谵妄评估；
具体的，眼跳数据包括在术后采集的正向眼跳任务、反向眼跳任务和记忆诱导眼跳任务对应的眼跳数据的二维时序轨迹数据；对眼跳数据进行预处理，包括基于眼跳数据计算得到眼跳数据参数；对事件相关电位进行预处理包括基于事件相关电位进行关键事件信息对齐，并提取得到事件相关电位的256维、1000Hz高频时序序列数据和事件相关电位参数；对静息态脑电数据进行预处理包括计算得到静息态脑电数据功率谱数据；
术后谵妄评估数据中包括眼跳及脑电关联数据和结构化数据；其中，
眼跳及脑电关联数据包括二维时序轨迹数据、眼跳数据参数、高频时序序列数据和事件相关电位参数，以及静息态脑电数据功率谱数据；
结构化数据包括归一化后的人口学数据、术后谵妄评估量表数据和术后认知量表数据；通过对人口学数据、术后谵妄评估量表数据和术后认知量表数据进行归一化处理并进行数据整合得到。
眼跳及脑电关联数据通过下述方法得到：通过预设的自适应速度界值法对眼跳数据的起始点和终止点进行判定以去除噪声；基于眼跳数据采集时注视点消失的时刻及眼跳数据的起始点对事件相关电位与对应的眼跳数据进行关键事件信息对齐；对眼跳数据和关键事件信息对齐后的事件相关电位进行参数计算，得到眼跳数据参数和事件相关电位参数；将眼跳数据、眼跳数据参数、经过关键事件对齐后的事件相关电位、事件相关电位参数及对应患者的静息态脑电数据进行数据拼接，得到眼跳及脑电关联数据。
需要强调的是，在采集得到眼跳数据后，需要在眼跳轨迹中寻找眼跳数据的起始点和终止点，现有的眼跳数据起始点和终止点的确定方法为固定速度界值法。现有方法中，确定眼跳数据起始点和终止点的速度界值通常设置为30视角度每秒。若眼跳的速度高于该界值，则认为眼跳开始；当眼跳速度低于该界值，则认为眼跳结束。该方法虽简单易用，但存在有许多不足。例如，当眼位置信号噪声较大时，很容易将噪声误判为眼跳；且对于眼跳速度较慢的特殊人群，该方法判断的眼跳数据的起始点较晚而终止点较早。因此，本实施例采用了自适应速度界值法进行眼跳的判定，即：
以15视角度每秒为眼跳初始速度界值，得到第一眼跳起始点与第一眼跳终止点，并将眼跳轨迹划分为眼跳段及非眼跳段；基于与第一眼跳起始点相邻的非眼跳段的眼跳平均速度及各采样点的眼跳速度，计算得到眼跳起始速度阈值；根据所述眼跳起始速度阈值，得到最终眼跳起始点；基于与第一眼跳终止点相邻的非眼跳段的眼跳平均速度及各采样点的眼跳速度，计算得到眼跳终止速度阈值；根据所述眼跳终止速度阈值，得到最终眼跳终止点；
其中，眼跳起始速度阈值和眼跳终止速度阈值通过下述公式得到：
；
其中，为采样点个数，/>为采样点/>的眼跳速度。
在计算得到眼跳起始速度阈值和眼跳终止速度阈值后，还包括：若所述第一眼跳起始点和第一眼跳终止点之间不存在眼跳速度大于所述眼跳起始速度阈值的片段，则将该眼跳数据作为噪声进行删除。
作为一个具体的实施例，首先以15视角度每秒为初始速度界值找出可能的眼跳数据的起始点与终止点，并将眼跳轨迹划分为可能的眼跳段及非眼跳段；然后以紧邻每个眼跳数据起始点的非眼跳段各采样点的平均速度加上各采样点速度的2.58倍标准差作为新的速度阈值，重新寻找该眼跳的起始点，若原判定的起始点和终止点之间不存在速度稳定大于新速度阈值的片段，则删除该眼跳数据；对于未被删除的眼跳数据，以紧邻每个眼跳终止点的非眼跳段各采样点平均速度加上各采样点速度的2.58倍标准差为新的速度阈值，重新寻找该眼跳数据的终止点；
找到眼跳数据的起始点和终止点并去除噪声后，还需要基于眼跳数据进行参数计算，得到眼跳数据对应的反应时、空间误差、眼跳增益及正确率:
其中，反应时为眼跳数据采集任务中，从注视点FP消失到首次眼跳（primarysaccade）开始的时间间隔。首次眼跳为幅度大于1度（为了排除微眼跳）且方向位于朝向眼跳目标位置90度夹角内的第一步眼跳；
眼跳空间误差为首次眼跳落点距离目标点的直线距离；
眼跳增益为眼跳数据起始点到眼跳数据终止点的直线距离与眼跳起始点到目标点直线距离的比值。
进一步的，眼跳正确率为试次正确的眼跳数据与总试次次数的比值，试次错误的眼跳数据分为以下4类，需对其从采集得到的眼跳数据中进行排除：
1.放弃试次（trial about）：指受试者在注视点FP出现后1000 ms内未将眼睛移至注视点FP检测窗口的试次；
2.缺失试次（missing trial）：指受试者在注视点FP消失后2000 ms仍未出现眼跳的试次；
3.空间误差过大试次（spatial error trial）：指主眼跳落点到目标位置的距离大于非POD患者平均空间误差加上平均空间误差1.96倍标准差的试次；
4.未抑制的反射性眼跳试次（unsuppressed reflexive saccade trial）：指在MGS任务中，受试者在注视点FP消失之前，cue出现之中和cue消失之后未保持注视于FP的试次。
进一步的，对于采集得到的静息态脑电数据和事件相关电位，首先进行降噪滤波等初步预处理，包括：
去除坏道：通过EEGLAB绘制的所有通道的对数功率谱密度图（power spectraldensity map）除去坏道（bad channel）；
滤波：通过EEGLAB自带的FIR滤波器，进行0.1-49Hz的带通滤波；
重参考：线上采集脑电时，以左侧乳突为参考电极，线下分析时，将参考方式转换为全脑平均（whole brain average）；
人工剔除坏段 (remove bad data by eye)：通过EEGLAB将所有通道的数据画出，剔除明显是噪音的坏段;
伪迹去除（artifact removal）：通过EEGLAB自带的独立源成分分析（IndependentComponent Analysis，ICA）功能，去除眼跳、眨眼、肌电、心电等非脑电成分。
经过初步预处理后，基于眼跳数据采集时注视点消失（在正向眼跳任务和反向眼跳任务重也是目标点出现的时刻）的时刻及眼跳数据的起始点对事件相关电位进行关键事件信息对齐，并进一步进行事件相关频谱分析，包括：
在对事件相关电位进行关键事件对齐后，对事件相关电位划分时间窗，具体的，在PS（正向眼跳）任务中，依据受试者的反应时，将该事件前200ms至前50ms划分为一个时间窗并命名为反应期（response period），同理，在AS（反向眼跳）任务中，将该事件前300ms至前50ms划分为反应期，在记忆诱导眼跳任务重，将该事件前300ms至前50ms划分为反应期。然后，通过EEGLAB自带的Morlet小波函数，对时间窗内的数据进行时频分析（time-frequencyanalysis），将解析的波段设置为3-30Hz，得到P50、N2pc、P200成分的振幅数值和潜伏期数值。
进一步的，基于现有技术的研究可知，自主性和反射性眼跳的执行主要与额叶，后顶叶和枕叶的活动密切相关。具体的，反射性眼跳所依托的视觉-运动转化过程主要涉及枕叶和后顶叶；自主性眼跳除了需要视觉运动的转化外，还需要额叶眼跳区FEF及辅助眼跳区SEF的调控。因此脑区间的信息交流与功能连接在执行眼跳任务时应更加显著。因此，本实施例通过格兰杰因果分析探究待评估患者执行AS及PS任务时脑区功能连接对术后谵妄的影响，以进一步提高评估结果的准确性。
具体的，格兰杰因果关系是量化时间序列（timing sequence）数据之间因果关系的方法之一。其基于两个主要原则：1. 因先于果发生；2. 因使果发生显著变化。一般来说，对于一个时间序列Y（结果），另一个时间序列X被称为“格兰杰原因”，用表示。更具体地说，基于格兰杰因果分析，分别构建了两个模型：1. 由发生于结果t时刻前所有时刻的X预测Y值的模型；2. 由发生于结果t时刻前所有时刻的Y预测X值的模型。通过计算上述两个模型的预测方差后，即可计算得到由X到Y及由Y到X的格兰杰因果系数。
本实施例通过上述格兰杰因果分析方法，基于关键事件对齐后的事件相关电位，得到在执行AS及PS任务时额叶、后顶叶及枕叶间格兰杰因果系数，用于术后谵妄评估。为了降低部分导联噪声对分析的影响，在格兰杰因果分析时，本实施例采用每个脑区的脑电数据的多个导联的平均值进行分析。具体的，如图2所示，额叶的数据来自电极F3、FZ、F4、FC3、FCZ及FC4的平均值，后顶叶的数据来自电极CP3、CPZ、CP4的平均值，枕叶的数据来自电极O1、OZ、O2的平均值。通过格兰杰因果分析，得到额叶（F3、FZ、F4、FC3、FCZ及FC4）、后顶叶（CP3、CPZ、CP4）和枕叶（O1、OZ、O2）之间的信息传递情况，进一步提高了术后谵妄评估的准确性。
进一步的，静息态脑电数据经过初步预处理后，进行时频分析（time-frequencyanalysis），计算出不同频带的功率谱，用于后续的术后谵妄评估。
对眼跳数据、事件相关电位和静息态脑电数据进行初步预处理后，将眼跳数据的二维时序轨迹数据和对应的眼跳参数、进行关键事件信息对齐后的事件相关电位的256维、1000Hz高频时序序列数据和事件相关电位参数以及静息态脑电数据进行数据拼接，得到眼跳及脑电关联数据，用于后续通过术后谵妄评估单元进行特征提取和POD评估。
进一步的，对于人口学数据、术后谵妄评估量表数据和术后认知量表数据，在进行预处理时，首先基于缺失机制，通过缺失数据填补方法对缺失的数据进行数据补齐，对人口学数据、术后谵妄评估量表数据和术后认知量表数据整合到同一个列表中，并进行归一化处理，得到包括人口学数据、术后谵妄评估量表数据和术后认知量表数据的结构化数据。
进一步的，对数据进行预处理后得到眼跳及脑电关联数据和结构化数据，通过预训练的术后谵妄评估单元进行特征提取和谵妄评估；
具体的，术后谵妄评估单元利用训练样本集进行预训练得到；
术后谵妄评估单元包括眼跳及脑电联合特征提取模块、结构化数据特征提取模块和特征融合评估模块；
所述眼跳及脑电联合特征提取模块基于transformer模型训练得到，用于对所述眼跳及脑电关联数据进行特征提取，得到第一特征向量；
所述结构化数据特征提取模块基于多层感知机训练得到，用于对所述结构化数据进行特征提取，得到第二特征向量；
所述特征融合评估模块包括融合层和全连接层，用于对所述第一特征向量和第二特征向量进行向量拼接及分类预测，得到术后谵妄评估结果。
特殊的，术后谵妄评估单元的训练，包括：
获取多个评估对象的评估数据，并进行数据预处理，构建训练样本集；所述评估对象包括诊断为术后谵妄的评估对象和术后非谵妄的评估对象；所述训练样本集中包括每个评估对象的眼跳及脑电关联数据和结构化数据，以及每个评估数据对应的术后谵妄或术后非谵妄标签；
对所述眼跳及脑电联合特征提取模块、结构化数据特征提取模块和特征融合评估模块分别设置损失函数；
为每个模块的损失函数分配权重，得到总的损失函数；
利用所述训练样本集中的数据，基于总的所述损失函数，采用梯度下降法进行模型参数的迭代训练，得到收敛的术后谵妄评估单元。
作为一个具体的实施例，在构建训练样本集时，建立老年择期髋/膝关节置换手术患者的临床队列，以髋/膝关节置换的手术患者作为被试者，以正向眼跳任务、反向眼跳任务及记忆诱导眼跳任务作为初始任务范式，通过眼跳追踪仪精确记录被试任务执行时的眼跳数据；利用256道高密度脑电图全面地、高空间分辨率地记录被试者执行眼跳任务时的事件相关电位（ERP）及静息态脑电数据。并提供对应被试者的人口学数据、术后谵妄评估量表数据及术后认知量表数据，并通过前述的方法对采集到的数据进行预处理，构建得到每个患者的术后谵妄评估数据，采集多个被试者的术后谵妄评估数据，构建得到训练样本集。
需要强调的是，本实施例在构建数据样本集时，采集得到人口学资料后，还综合考虑量表评估及问诊结果，综合判断入组被试者认知功能情况，根据临床指南对于认知功能障碍的诊断要求，对被试者的认知功能障碍做出诊断，并移除诊断痴呆患者，以避免诊断痴呆患者对术后谵妄评估的影响；且在采集术后谵妄评估量表数据和术后认知量表数据时，由经过专业训练的专科医师完成，尽量减少评估人员以及患者主观性的影响；且对被试者在术前及术后均采集CAM量表、CAM-ICU量表以评定被试者是否发生谵妄，并根据MDAS量表评价谵妄严重程度，统计患者谵妄发生率、发生程度及持续时间，并在构建训练样本集时，排除术前发生谵妄的患者数据，以获取准确的被试者发生术后谵妄或术后非谵妄的评估结果，并以术后采集的术后谵妄评估量表数据的评估结果对每个被试者的评估数据标注为术后谵妄或术后非谵妄的标签，1代表术后谵妄患者，0代表术后非谵妄患者。本实施例利用筛选得到的准确的术后谵妄患者和术后非谵妄患者的评估数据，对术后谵妄评估单元进行训练，提高了术后谵妄评估的准确性，提高了评估效率，实现了临床术后谵妄的准确评估。
进一步的，本实施例中的眼跳及脑电联合特征提取模块采用Transformer模型训练得到，包括输入层、隐藏层和输出层；眼跳及脑电联合特征提取模块用于对眼跳及脑电联合数据进行特征提取，得到4维特征向量，用于后续的特征融合和术后谵妄评估；
优选的，眼跳及脑电联合特征提取模块的隐藏层包括6层隐藏模块，节点数分别为3、6、12、6、12、4，每层隐藏模块设置为一个卷积层、一个最大池化层和一个sigmoid激活层，采用Adam梯度下降法更新模型参数权重和学习率。其中，权重初始化为高斯分布N(0,1)上的随机值，学习率初始设置为0.001，迭代训练模型。
结构化数据特征提取模块为依次连接的两层MLP模型，输入通道维度为3，第一层神经元个数为8，第二层神经元个数4，激活函数均为ReLU，对输入的结构化数据依次进行特征提取，得到4维向量。
通过特征融合评估模块将眼跳及脑电联合特征提取模块和结构化数据特征提取模块输出的四维特征向量拼接在一起，形成特征融合评估模块的输入向量，特征融合评估模块包括两层全连接层，分别使用ReLU和Sigmoid激活函数，经过最后的全连接层处理，输出最终的术后谵妄评估结果；实现将眼跳数据、脑电数据、术后谵妄评估量表数据、术后认知量表数据和人口学数据相融合，输出代表“术后谵妄”或“术后非谵妄”的评估结果。
本实施例中，利用损失函数训练搭建好的术后谵妄评估单元，多次迭代进行参数训练更新，缩小评估数据标注标签与预测值之间的误差，本实施例采用如下损失函数：
；
其中，表示输入的样本数据，/>表示实际的标签（术后谵妄为1/术后非谵妄为0）,表示样本/>预测为正类的概率，/>表示样本总数量。
综上，本发明的实施例提供的一种多模态数据驱动的术后谵妄评估系统，利用眼跳追踪仪获取的眼跳数据，脑电信号采集系统获取的脑电数据，并结合术后谵妄评估量表数据、术后认知量表数据及人口学数据，建立了多模态数据驱动的术后谵妄综合评估系统，为临床上术后谵妄的早期筛查和诊断提供更精准、便捷的方法，使更多的术后谵妄患者能够得到及时的诊断和治疗，改善目前老龄化社会面临的脑健康问题，显著降低社会及家庭的负担，具有重要的临床意义和经济效益。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种多模态数据驱动的术后谵妄评估系统，其特征在于，包括数据采集单元、数据预处理单元和术后谵妄评估单元；
所述数据采集单元包括眼跳追踪仪及脑电采集系统，分别用于采集待评估患者术后的眼跳数据和脑电数据；所述眼跳数据和脑电数据用于结合术后谵妄评估量表数据、术后认知量表数据和人口学数据对患者进行术后谵妄评估；
所述数据预处理单元用于对所述眼跳数据、脑电数据、术后谵妄评估量表数据、术后认知量表数据和人口学数据进行数据预处理，得到所述待评估患者对应的术后谵妄评估数据；
所述术后谵妄评估单元为预训练的神经网络模型，用于基于所述术后谵妄评估数据进行分类预测，得到所述待评估患者的术后谵妄评估结果。
2.根据权利要求1所述的多模态数据驱动的术后谵妄评估系统，其特征在于，所述脑电数据包括事件相关电位和静息态脑电数据；所述眼跳数据包括在术后采集的正向眼跳任务、反向眼跳任务和记忆诱导眼跳任务对应的眼跳数据的二维时序轨迹数据；
对所述眼跳数据进行预处理，包括基于所述眼跳数据计算得到眼跳数据参数；对所述事件相关电位进行预处理包括基于所述事件相关电位进行关键事件信息对齐，并提取得到事件相关电位的256维、1000Hz高频时序序列数据和事件相关电位参数；对所述静息态脑电数据进行预处理包括计算得到静息态脑电数据功率谱数据；
所述术后谵妄评估数据中包括眼跳及脑电关联数据；所述眼跳及脑电关联数据包括所述二维时序轨迹数据、所述眼跳数据参数、所述高频时序序列数据和事件相关电位参数，以及静息态脑电数据功率谱数据。
3.根据权利要求2所述的多模态数据驱动的术后谵妄评估系统，其特征在于，所述术后谵妄评估数据中还包括结构化数据；
所述结构化数据包括归一化后的人口学数据、术后谵妄评估量表数据和术后认知量表数据；通过对所述人口学数据、术后谵妄评估量表数据和术后认知量表数据进行归一化处理并进行数据整合得到。
4.根据权利要求2所述的多模态数据驱动的术后谵妄评估系统，其特征在于，所述眼跳及脑电关联数据通过下述方法得到：
通过预设的自适应速度界值法对所述眼跳数据的起始点和终止点进行判定以去除噪声；
基于眼跳数据采集时注视点消失的时刻及眼跳数据的起始点对所述事件相关电位与对应的眼跳数据进行关键事件信息对齐；
对所述眼跳数据和关键事件信息对齐后的所述事件相关电位进行参数计算，得到所述眼跳数据参数和事件相关电位参数；
将所述眼跳数据、眼跳数据参数、经过关键事件对齐后的事件相关电位、事件相关电位参数及对应患者的静息态脑电数据进行数据拼接，得到所述眼跳及脑电关联数据。
5.根据权利要求2所述的多模态数据驱动的术后谵妄评估系统，其特征在于，所述事件相关电位为执行眼跳任务的过程中采集得到。
6.根据权利要求4所述的多模态数据驱动的术后谵妄评估系统，其特征在于，所述通过预设的自适应速度界值法对眼跳数据的起始点和终止点进行判定，包括：
以15视角度每秒为眼跳初始速度界值，得到眼跳数据的第一起始点与第一终止点，并将眼跳轨迹划分为眼跳段及非眼跳段；
基于与眼跳数据的第一起始点相邻的非眼跳段的眼跳平均速度及各采样点的眼跳速度，计算得到眼跳起始速度阈值；
根据所述眼跳起始速度阈值，得到所述眼跳数据的起始点；
基于与眼跳数据的第一终止点相邻的非眼跳段的眼跳平均速度及各采样点的眼跳速度，计算得到眼跳终止速度阈值；
根据所述眼跳终止速度阈值，得到所述眼跳数据的终止点。
7.根据权利要求6所述的多模态数据驱动的术后谵妄评估系统，其特征在于，在计算得到眼跳起始速度阈值和眼跳终止速度阈值后，还包括：若所述第一眼跳起始点和第一眼跳终止点之间不存在眼跳速度大于所述眼跳起始速度阈值的片段，则将该眼跳数据作为噪声进行删除。
8.根据权利要求6所述的多模态数据驱动的术后谵妄评估系统，其特征在于，所述眼跳起始速度阈值和眼跳终止速度阈值通过下述公式得到：
；
其中，为采样点个数，/>为采样点/>的眼跳速度。
9.根据权利要求1所述的多模态数据驱动的术后谵妄评估系统，其特征在于，所述术后谵妄评估单元利用预先构建的数据样本集，基于Transformer模型和多层感知机训练得到。
10.根据权利要求1所述的多模态数据驱动的术后谵妄评估系统，其特征在于，
所述术后谵妄评估量表数据包括：意识模糊评估量表CAM、ICU意识模糊评估量表CAM-ICU记忆谵妄评估量表MDAS；
所述术后认知量表数据包括：术后的MMSE评分；MoCA评分和CDR评分；
所述人口学数据包括：性别、年龄、教育年限、体重指数、ASA分级、ADL评分、FRAIL评分、并发症CCI评分、VAS评分、焦虑/抑郁筛查评分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410121868.0A CN117643458B (zh) | 2024-01-30 | 2024-01-30 | 一种多模态数据驱动的术后谵妄评估系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410121868.0A CN117643458B (zh) | 2024-01-30 | 2024-01-30 | 一种多模态数据驱动的术后谵妄评估系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117643458A true CN117643458A (zh) | 2024-03-05 |
| CN117643458B CN117643458B (zh) | 2024-04-09 |
Family
ID=90046382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410121868.0A Active CN117643458B (zh) | 2024-01-30 | 2024-01-30 | 一种多模态数据驱动的术后谵妄评估系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117643458B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118315072A (zh) * | 2024-06-11 | 2024-07-09 | 杭州虚之实科技有限公司 | 用于神经发育障碍功能评估的眼动数据分析方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200046946A (ko) * | 2018-10-26 | 2020-05-07 | 재단법인 아산사회복지재단 | 섬망 여부의 조기 판단 및 섬망의 중증도 판단 방법 및 프로그램 |
| KR20210039577A (ko) * | 2019-10-02 | 2021-04-12 | 계명대학교 산학협력단 | 요양병원 대상자를 위한 섬망 예방 시스템 및 그 방법 |
| US20210321928A1 (en) * | 2018-06-15 | 2021-10-21 | Covidien Lp | Methods and devices for providing a parameter that indicates a higher likelihood of a postoperative delirium occurring |
| WO2023112030A1 (en) * | 2021-12-15 | 2023-06-22 | Ramot At Tel-Aviv University Ltd. | Methods for detecting and preventing alzheimer's disease and mild cognitive impairment |
| CN116584939A (zh) * | 2020-05-15 | 2023-08-15 | 首都医科大学 | 一种谵妄风险监测装置及系统 |
-
2024
- 2024-01-30 CN CN202410121868.0A patent/CN117643458B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210321928A1 (en) * | 2018-06-15 | 2021-10-21 | Covidien Lp | Methods and devices for providing a parameter that indicates a higher likelihood of a postoperative delirium occurring |
| KR20200046946A (ko) * | 2018-10-26 | 2020-05-07 | 재단법인 아산사회복지재단 | 섬망 여부의 조기 판단 및 섬망의 중증도 판단 방법 및 프로그램 |
| KR20210039577A (ko) * | 2019-10-02 | 2021-04-12 | 계명대학교 산학협력단 | 요양병원 대상자를 위한 섬망 예방 시스템 및 그 방법 |
| CN116584939A (zh) * | 2020-05-15 | 2023-08-15 | 首都医科大学 | 一种谵妄风险监测装置及系统 |
| WO2023112030A1 (en) * | 2021-12-15 | 2023-06-22 | Ramot At Tel-Aviv University Ltd. | Methods for detecting and preventing alzheimer's disease and mild cognitive impairment |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118315072A (zh) * | 2024-06-11 | 2024-07-09 | 杭州虚之实科技有限公司 | 用于神经发育障碍功能评估的眼动数据分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117643458B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bano et al. | EEG-based brain computer interface for emotion recognition | |
| US20200337580A1 (en) | Time series data learning and analysis method using artificial intelligence | |
| US10694968B2 (en) | Classifying EEG signals in response to visual stimulus | |
| US8265743B2 (en) | Fixation-locked measurement of brain responses to stimuli | |
| CN111190484B (zh) | 一种多模态交互系统和方法 | |
| Cecotti et al. | Best practice for single-trial detection of event-related potentials: Application to brain-computer interfaces | |
| CN117643458B (zh) | 一种多模态数据驱动的术后谵妄评估系统 | |
| Raza et al. | Single-trial EEG classification with EEGNet and neural structured learning for improving BCI performance | |
| CN109976525B (zh) | 一种用户界面交互方法、装置及计算机设备 | |
| Rigas et al. | Current research in eye movement biometrics: An analysis based on BioEye 2015 competition | |
| IL300879A (en) | A method and system for quantifying attention | |
| Newman et al. | 1D convolutional neural networks for detecting nystagmus | |
| Newman et al. | Automatic nystagmus detection and quantification in long-term continuous eye-movement data | |
| Jeyarani et al. | Eye tracking biomarkers for autism spectrum disorder detection using machine learning and deep learning techniques | |
| Mirheidari et al. | Detecting Alzheimer's disease by estimating attention and elicitation path through the alignment of spoken picture descriptions with the picture prompt | |
| CN117224080B (zh) | 大数据的人体数据监测方法装置 | |
| Khok et al. | Deep multi-task learning for SSVEP detection and visual response mapping | |
| KR102388765B1 (ko) | 인공지능 기반의 정신과 질환 진단 시스템 | |
| CN118000665B (zh) | 基于术前检测指标的术后谵妄预测模型的训练方法及设备 | |
| Anju et al. | Recent survey on Parkinson disease diagnose using deep learning mechanism | |
| More et al. | Using motor imagery and deeping learning for brain-computer interface in video games | |
| Ekiz et al. | Long short-term memory network based unobtrusive workload monitoring with consumer grade smartwatches | |
| Mantri et al. | Real time multimodal depression analysis | |
| Punuganti | Automatic detection of nystagmus in bedside VOG recordings from patients with vertigo | |
| Aljazaeri et al. | Deep segmentation architecture with self attention for glaucoma detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |