CN116612860A - 一种基于tst深度学习的脑卒中训练方法及训练系统 - Google Patents

一种基于tst深度学习的脑卒中训练方法及训练系统 Download PDF

Info

Publication number
CN116612860A
CN116612860A CN202310600716.4A CN202310600716A CN116612860A CN 116612860 A CN116612860 A CN 116612860A CN 202310600716 A CN202310600716 A CN 202310600716A CN 116612860 A CN116612860 A CN 116612860A
Authority
CN
China
Prior art keywords
model
training
data
tst
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310600716.4A
Other languages
English (en)
Inventor
梁明
魏珍
徐奕鹏
迟杰骏
侯甜
马璟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Hospital of Xinjiang Uygur Autonomous Region
Original Assignee
Peoples Hospital of Xinjiang Uygur Autonomous Region
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Hospital of Xinjiang Uygur Autonomous Region filed Critical Peoples Hospital of Xinjiang Uygur Autonomous Region
Priority to CN202310600716.4A priority Critical patent/CN116612860A/zh
Publication of CN116612860A publication Critical patent/CN116612860A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1101—Detecting tremor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Pulmonology (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Urology & Nephrology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于TST深度学习的脑卒中训练方法及训练系统，基于深度学习的原理，对人体实时图像、生理参数采集结果进行深度学习，按时序特征进行提取和训练，得到最终输出结果，在此过程中，在通过目标函数进行测试的框架中，融入超参数寻优方式，并计算预测精度，保证模型的预测准确性和精度；通过参数寻优保证模型建模精度和预测精度，在不影响模型准确性的前提下大大降低了计算量，提高了计算效率，从而基于深度学习的提高预测效果，指导用户进行优化训练，最大程度降低脑卒意外导致瘫痪甚至死亡的概率。

Description

一种基于TST深度学习的脑卒中训练方法及训练系统
技术领域
本发明属于康复理疗技术领域，具体涉及一种基于TST深度学习的脑卒中训练方法及训练系统。
背景技术
脑卒中俗称脑溢血、中风，这类病症多为心脑血管疾病，卒中原因有多种：例如颅内血管粥样病变、颈动脉斑块、主动脉弓斑块、心源性血栓、穿透性粥样动脉硬化、房颤、癫痫等，脑卒中发病人群多为40岁以上的中老年人，若不及时救治则会出现生命危险。患者经过康复训练后，虽然肢体动作具有一定程度的改善，但是训练效果极为有限，据权威机构统计，接受康复训练的患者仍然有约60％～80％脑卒中患者遗留有明显的运动功能障碍，进而给家庭和医疗系统带来了沉重的负担，随着人工智能技术的飞速发展，基于人工智能的的康复训练，将提高脑卒康复理疗效率，并帮助患者独立生活起居、尽快恢复感官机能。
现有技术中，虽然也出现诸如设置虚拟游戏训练脑卒患者的方法，但是该类方法处于虚拟场景中进行训练，无法实施获取用户的生理状态参数，若用户在训练过程中由于生理状态参数发生变化，将很难被这类虚拟场景捕获到，因此，这类训练方法风险较大。
发明内容
为了解决上述背景技术中的技术难题，本发明提出了一种基于TST深度学习的脑卒中训练方法，所述训练方法包含如下步骤：
S1：数据输入：通过用户端预设前置参数，通过图像数据采集设备获得原始图像数据，通过生理参数采集设备获得原始生理数据；
其中，用户端输入预设的前置参数主要为用户通过可视化界面输入性别、年龄，病因等初始数据；图像数据采集主要通过房间内设置的摄像头或激光雷达等设备拍摄人体在房间内的实时图像数据，进而获取用户的面部表情、运动姿态；生理参数采集包括：通过可穿戴设备(例如医用智能手环、运动手环)实时监测用户的血压数据、血氧数据、心率数据和颤抖数据(这四个数据构成原始生理数据)。
S2：数据预处理：通过对原始图像数据和原始生理数据进行预处理，得到原始时序数据集，原始时序数据集包含由原始图像数据预处理得到的第一格式数据集和由原始生理数据预处理得到的第一格式数据集，步骤S2又具体包含如下细分步骤S21～S22：
S21：针对原始图像数据帧进行降噪、滤波，剔除背景，保留前景，在此处上针对前景图像进行像素分割得到像素级RGB图像，基于边缘搜索算法从RGB图像中提取得到人体轮廓RGB图像，针对人体轮廓RGB图像中每个像素赋予位置坐标，与RGB真色彩的数字结合形成第一格式数据集；
S22：针对原始生理数据进行归一化处理，得到无量纲的第二格式数据集；
S3：滑动窗口构建数据集：通过滑动窗口的方式，将原始时序数据集划分为具有多个具有时序片段的时序子数据集，在此基础上随机分配70％的时序子数据集作为训练集，剩余30％的时序子数据集作为测试集；
S4：训练步骤：将训练集导入TST模型中，通过TST模型计算，使训练集批量标准化，在此基础上采用CNN网络(卷积神经网络)进行训练；
S5：测试步骤：将测试集导入目标函数测试模型中进行测试，将Kd-tree聚类搜索融入目标函数测试模型中，求解目标函数，得到超参数，采用随机搜索算法进行超参数寻优，以得到最佳超参数组合；步骤S6还包括步骤S51：
S51：通过平均绝对误差(MAE)和相对误差(MAPE)指标评估模型的预测精度，在两者的精度均超过95％时，向步骤S5的TST模型进行反馈，停止计算，并从TST模型中导出包含最佳超参数组合的结果；
其中，超参数至少包含表征表情、血压、血氧、心率、颤抖和姿态相应的参数。
S6：结果输出与存储：将结果进行输出并反馈到用户端，同时，将输出的结果进行实施存储，以作为历史数据使用；
S7：最优训练策略：在最佳超参数组合的基础上，制定最优训练策略，并反馈至用户端，通过信息提示或语音播报指导用户当前的行为。
进一步地，提出了一种基于TST深度学习的脑卒中训练装置，所述训练装置包括MCU控制器、存储器、用户端、图像数据采集设备和生理数据采集设备，其中，所述MCU控制器的输入端与图像数据采集设备和生理数据采集设备连接，所述MCU控制器的通过另一输入端、输出端与用户端和存储器双向连接，连接网络可以为有线网络，也为无线通信网络(例如ZigBee网络、WIFI)，进一步地，所述MCU控制器至少包括计算单元和时钟单元。
其中，所述图像数据采集设备和生理数据采集设备均位于用户经常活动的室内。
通过所述图像数据采集设备采集原始图像数据，原始图像数据包括用户的面部表情、运动姿态，通过所述生理数据采集设备采集原始生理数据，原始生理参数数据包括血压、血氧、心率和颤抖频次。
综上所述，本发明的一种基于TST深度学习的脑卒中训练方法及训练系统，与现有技术相比，具有如下优点：
1)本发明基于深度学习的原理，对人体实时图像、生理参数采集结果进行深度学习，按时序特征进行提取和训练，得到最终输出结果，在此过程中，在通过目标函数进行测试的框架中，融入超参数寻优方式，并计算预测精度，保证模型的预测准确性和精度；
2)通过参数寻优，并在预设寻优次数后，从中选取模型性能评价指标值最高的模型作为输出，进而在减少了模型训练调整的难度的同时极大的保证了模型的准确度；
3)本发明通过对采集的人体图像参数、生理参数进行相关性分析，筛除了相关性较高的定量指标，在不影响模型准确性的前提下大大降低了计算量，提高了计算效率；
4)本发明在不损失大量预测精度的基础上，能够有效地降低现有技术中人工特征输入的维度，从而基于深度学习的提高预测效果，指导用户进行优化训练，最大程度降低脑卒意外导致瘫痪甚至死亡的概率。
附图说明
图1为本发明的一种基于TST深度学习的脑卒中训练方法逻辑框图；
图2为本发明的TST模型部分框架示意图；
图3为本发明的基于超参数寻优结果的相关性分析图。
实施例
下面将结合附图1-2，对本发明的技术方案进行进行详细说明，以使本领域技术人员能够充分理解本发明。
实施例1
一种基于TST深度学习的脑卒中训练方法，包含如下步骤：
S1：数据输入：通过用户端预设前置参数，通过图像数据采集设备获得原始图像数据，通过生理参数采集设备获得原始生理数据；
其中，用户端输入预设的前置参数主要为用户通过可视化界面输入性别、年龄，病因等初始数据；图像数据采集主要通过房间内设置的摄像头或激光雷达等设备拍摄人体在房间内的实时图像数据，进而获取用户的面部表情、运动姿态；生理参数采集包括：通过可穿戴设备(例如医用智能手环、运动手环)实时监测用户的血压数据、血氧数据、心率数据和颤抖数据(这四个数据构成原始生理数据)。
S2：数据预处理：通过对原始图像数据和原始生理数据进行预处理，得到原始时序数据集，原始时序数据集包含由原始图像数据预处理得到的第一格式数据集和由原始生理数据预处理得到的第一格式数据集，步骤S2又具体包含如下细分步骤S21～S22：
S21：针对原始图像数据帧进行降噪、滤波，剔除背景，保留前景，在此处上针对前景图像进行像素分割得到像素级RGB图像，基于边缘搜索算法从RGB图像中提取得到人体轮廓RGB图像，针对人体轮廓RGB图像中每个像素赋予位置坐标，与RGB真色彩的数字结合形成第一格式数据集；
S22：针对原始生理数据进行归一化处理，得到无量纲的第二格式数据集；
S3：滑动窗口构建数据集：通过滑动窗口的方式，将原始时序数据集划分为具有多个具有时序片段的时序子数据集，在此基础上随机分配70％的时序子数据集作为训练集，剩余30％的时序子数据集作为测试集；
S4：训练步骤：将训练集导入TST模型中，通过TST模型计算，使训练集批量标准化，在此基础上采用CNN网络(卷积神经网络)进行训练；
S5：测试步骤：将测试集导入目标函数测试模型中进行测试，将Kd-tree聚类搜索融入目标函数测试模型中，求解目标函数，得到超参数，采用随机搜索算法进行超参数寻优，以得到最佳超参数组合；步骤S5还包括步骤S51：
S51：通过平均绝对误差(MAE)和相对误差(MAPE)指标评估模型的预测精度，在两者的精度均超过95％时，向步骤S5的TST模型进行反馈，停止计算，并从TST模型中导出包含最佳超参数组合的结果；
其中，超参数至少包含表征表情、血压、血氧、心率、颤抖和姿态相应的参数。
S6：结果输出与存储：将结果进行输出并反馈到用户端，同时，将输出的结果进行实施存储，以作为历史数据使用；
S7：最优训练策略：在最佳超参数组合的基础上，制定最优训练策略，并反馈至用户端，通过信息提示或语音播报指导用户当前的行为。
上述最优训练策略，例如，当最佳超参数组合中，血压、血氧占比均偏高(血压高出正常水平阈值最大值，血氧浓度低于正常血氧浓度阈值的最低水平)，且用户为弯腰姿态时，用户端显示为“高风险”并报警，且高风险的类别显示“穿透性粥样动脉硬化”，通过用户端或可穿戴设备提醒用户及时服用降压药并进行休息，不要继续参与训练(例如通过游戏等虚拟现实的方法进行学习训练的过程)，进而实现最优的训练；而当最佳超参数组合中，血压偏高，而血氧处于正常水平，且用户用户表情为正常时，用户端仅显示为“低风险”，通过用户端或可穿戴设备提醒用户及时提醒用户降低训练强度，进而通过上述方法能够得到实现最优训练策略。
具体地，上述步骤S1～S6的详细方法如下：
传统的Transformer模型一般包含输入、输出、编码器和解码器四部分，其中，输入部分包含源数据嵌入层及其位置编码器、目标数据嵌入层及其位置编码器，输出部分包含线性层和Softmax层，编码器和解码器分别由多个子层连接结构组成，且编码器和解码器融入有多头注意力机制模型。
请考察图2，本实施例中所采用的基于注意力机制的时序Transformer(即TST模型)的核心在于编码器的堆叠，每个编码器层完成一次对输入数据的特征提取过程，TST模型去除以往经典Transformer模型的解码器部分，并对模型其他部分重新定义。TST模型主要包含数据集导入、位置编码和基于多头注意力机制的深度学习这三大环节。
(1)数据集导入：对每个训练样本时间序列长度为w，针对原始时序数据集构建特征向量序列采用Z-Score法对原始特征向量xt进行标准化处理，再通过高阶特征提取映射到d维空间，将原始特征向量xt与时间序列长度w加权计算后得到时序特征ut：
ut＝wpxt+bp (1)
上式中，均是模型可以学习的参数，/>是模型输入向量，将通过位置编码进入多头自注意力子层，由此可以看出，原始时序片段维度映射变成了d，也称其为隐特征。
(2)位置编码：为了使模型能够对时序信息建模，为输入向量 增加位置编码Wpos，即：
U′＝U+Wpos (2)
目前常用的位置编码分别是三角函数位置编码和学习型位置编码，后者打破了模型位置不变性，在已有数据集上表现效果更优，因此，本实施例采用学习型位置编码方式。
(3)基于多头注意力机制的深度学习：注意力机制数学表达式如下，其中分别表示注意力机制中的查询、键和值。
本实施例采用多头注意力机制来进行时序建模，其计算公式如下：
MultiHead(Q，K，V)＝Concat(h1，h2，…，hm)Wo (4)
其中，都是可学习的模型参数，m是多头注意力机制的头数。
每个时序片段可能长度不同，因此，在模型中采用最大序列长度w，短样本用任意值填充。在计算自注意力分布前，使用Softmax函数生成填充掩码，掩码对填充位置增加了一个大的负值，这使得模型忽略了填充位值，同时允许并行处理短序列片段数据。
NLP模型中，在多头自注意力子层和前馈全连接子层计算后，使用批标准化(BatchNormalization)，可以缓解梯度消失/爆炸、加速训练、以及达到正则化的效果。
在用户输入的基础上，通过图像采集设备以及生理数据采集设备，获取用户的在室内的原始时序数据，通过滑动窗口的方式，将原始时序数据划分为多个时序片段的集合；采用随机抽样的方式，选择其中70％的时序数据作为训练集，而将30％的时序数据作为测试集；对数据进行标准化处理后，运用构建好的TST模型和CNN网络对原始数据进行深度学习和训练，采用目标函数法对测试集进行测试，最后进行误差分析，在误差分析满足要求的前提下，从训练集中导出数据并保存该训练模型。
相应地，目标函数如下下述公式(6)所示：
式中：n表示导入Kd-tree的数据总量，等式右边第一项l(...)代表损失函数，衡量真实值yi和预测值之间的差异，第二项Ω(...)代表模型的复杂度，即一个从树的结构来衡量树模型复杂度的式子，Ω(...)具体公式如下所示：
Ω(fk)＝γT+λ||ω||2/2 (7)
式中：γ、λ表示模型复杂度的系数，T表示模型Kd-tree叶子节点个数。
在Kd-tree的树生长过程中，当前预测值由上一节点/>的迭代生成，两者的关系为：
为了求解目标函数，假定初始时刻的预测值等于真实值y1，将上式(7)、(8)代入上式(6)中，同时基于Taloy公式对上式(6)进行展开，结果如式(9)所示：
同时，为了简化上述公式，定义两个参量G和H，如下所示：
将公式(11)代入公式(10)中，得到Obj(t)的计算公式(12)：
在上述目标函数建立的基础上，采用随机搜索的方法进行超参数寻优，调节模型超参数取值，以提高模型性能是深度学习极为重要的一环，现有技术中人为调参伴随着超参数数量的增加，很难找到最佳的超参数组合，因此需要借助自动超参数寻优工具。在随机搜索过程中，当超参数个数大于3且搜索精度较高时，运行成本将呈显指数型提高，此时寻优效果与运行周期双重因素，将超参数的数量设置为6个(表情、血压、血氧、心率、颤抖和姿态)，如图3中所示。
本发明旨在构建适用于所有脑卒患者的高精度康复训练时序预测模型，因此在模型构建和超参调优上需要做较多的尝试。
采用Dropout函数进一步提高模型的泛化性能，运用学习率退火算法寻找模型收敛的最优学习率，选用GELU作为激活函数。通过超参调优与结果对比，最终可达到学习率参数值、批处理大小、迭代次数、滑动窗口大小和滑窗步长。
为评价验证已建立的预测模型的准确性，采用平均绝对误差(MAE)和相对误差(MAPE)指标评估模型的预测精度。其计算公式如下所示：
MAE可以直观反映真实值与预测值之间的偏差；MAPE是指误差占真实值的百分比，能反映预测的误差水平及可信程度。上式中，yi和分别是i时刻真实值和预测值，n为预测值的总数。
实施例2
一种基于TST深度学习的脑卒中训练系统，包括MCU控制器、存储器、用户端、图像数据采集设备和生理数据采集设备，其中，MCU控制器的输入端与图像数据采集设备和生理数据采集设备连接，MCU控制器的通过另一输入端、输出端与用户端和存储器双向连接，连接网络可以通过有线网络，也可以通过无线通信网络(例如ZigBee网络、WIFI)，进一步地，MCU控制器至少包括计算单元和时钟单元。
其中，图像数据采集设备和生理数据采集设备均位于中老年用户经常活动的室内，用户端可以为挂壁式触屏设备，也可以是手机甚至智能手环。
通过图像数据采集设备采集原始图像数据，原始图像数据包括用户的面部表情、运动姿态，通过生理数据采集设备采集原始生理数据，原始生理参数数据包括血压、血氧、心率和颤抖频次。
所述训练系统的具体原理为：用户通过用户端预设初始数据，通过图像数据采集设备和生理数据采集设备获取原始图像数据和原始生理数据，上述数据导入MCU控制器的计算单元，进行数据预处理，在此基础上滑动窗口构建数据集并将数据集划分为训练集和测试集，其中，将训练集导入TST模型中进行深度学习，并在CNN网络中进行训练，将测试集导入目标函数模型中进行测试，并进行超参数寻优，在预测精度满足要求时，终止CNN网络的训练，导出当前最优超参数组合下的训练输出结果，将该结果在存储器中进行存储，在此基础上反馈最优训练策略到用户端，指导用户进行优化训练，最大程度降低脑卒意外导致瘫痪甚至死亡的概率。
本领域普通技术人员应当理解：实施例1中的训练方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上实施例仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员来说，本发明可以有各种变形和优化方式。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于TST深度学习的脑卒中训练方法，其特征在于：所述训练方法包含如下步骤：
S1：数据输入：通过用户端预设前置参数，通过图像数据采集设备获得原始图像数据，通过生理参数采集设备获得原始生理数据；
S2：数据预处理：通过对原始图像数据和原始生理数据进行预处理，得到原始时序数据集，原始时序数据集包含由原始图像数据预处理得到的第一格式数据集和由原始生理数据预处理得到的第一格式数据集；
S3：滑动窗口构建数据集：通过滑动窗口的方式，将原始时序数据集划分为具有多个具有时序片段的时序子数据集，在此基础上随机分配70％的时序子数据集作为训练集，剩余30％的时序子数据集作为测试集；
S4：训练步骤：将训练集导入TST模型中，通过TST模型计算，使训练集批量标准化，在此基础上采用CNN网络进行训练；
S5：测试步骤：将测试集导入目标函数测试模型中进行测试，将Kd-tree聚类搜索融入目标函数测试模型中，求解目标函数，得到超参数，采用随机搜索算法进行超参数寻优，以得到最佳超参数组合；
S6：结果输出与存储：将结果进行输出并反馈到用户端，同时，将输出的结果进行实施存储，以作为历史数据使用；
S7：最优训练策略：在最佳超参数组合的基础上，制定最优训练策略，并反馈至用户端，通过信息提示或语音播报指导用户当前的行为。
2.根据权利要求1所述的一种基于TST深度学习的脑卒中训练方法，其特征在于：步骤S2又具体包含如下细分步骤S21～S22：
S21：针对原始图像数据帧进行降噪、滤波，剔除背景，保留前景，在此处上针对前景图像进行像素分割得到像素级RGB图像，基于边缘搜索算法从RGB图像中提取得到人体轮廓RGB图像，针对人体轮廓RGB图像中每个像素赋予位置坐标，与RGB真色彩的数字结合形成第一格式数据集；
S22：针对原始生理数据进行归一化处理，得到无量纲的第二格式数据集。
3.根据权利要求1所述的一种基于TST深度学习的脑卒中训练方法，其特征在于：步骤S5又具体包含如下细分步骤S51：
S51：通过平均绝对误差(MAE)和相对误差(MAPE)指标评估模型的预测精度，在两者的精度均超过95％时，向步骤S5的TST模型进行反馈，停止计算，并从TST模型中导出包含最佳超参数组合的结果；
其中，超参数至少包含表征表情、血压、血氧、心率、颤抖和姿态相应的参数。
4.根据权利要求1所述的一种基于TST深度学习的脑卒中训练方法，其特征在于：步骤S4所述TST模型具体包括：
(1)数据集导入：对每个训练样本时间序列长度为w，针对原始时序数据集构建特征向量序列采用Z-Score法对原始特征向量xt进行标准化处理，再通过高阶特征提取映射到d维空间，将原始特征向量xt与时间序列长度w加权计算后得到时序特征ut：
ut＝wpxt+bp (1)
上式中，均是模型可以学习的参数，/>是模型输入向量，将通过位置编码进入多头自注意力子层；
(2)位置编码：为了使模型能够对时序信息建模，为输入向量 增加位置编码Wpos，即：
(3)基于多头注意力机制的深度学习：注意力机制数学表达式如下，其中分别表示注意力机制中的查询、键和值。
本实施例采用多头注意力机制来进行时序建模，其计算公式如下：
MultiHead(Q,K,V)＝Concat(h1,h2,…,hm)Wo (4)
其中，都是可学习的模型参数，m是多头注意力机制的头数。
5.一种基于TST深度学习的脑卒中训练系统，其特征在于：所述训练系统包括MCU控制器、存储器、用户端、图像数据采集设备和生理数据采集设备，其中，MCU控制器的输入端与图像数据采集设备和生理数据采集设备连接，MCU控制器的通过另一输入端、输出端与用户端和存储器通过网络双向连接，MCU控制器至少包括计算单元和时钟单元。
CN202310600716.4A 2023-05-25 2023-05-25 一种基于tst深度学习的脑卒中训练方法及训练系统 Withdrawn CN116612860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310600716.4A CN116612860A (zh) 2023-05-25 2023-05-25 一种基于tst深度学习的脑卒中训练方法及训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310600716.4A CN116612860A (zh) 2023-05-25 2023-05-25 一种基于tst深度学习的脑卒中训练方法及训练系统

Publications (1)

Publication Number Publication Date
CN116612860A true CN116612860A (zh) 2023-08-18

Family

ID=87674330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310600716.4A Withdrawn CN116612860A (zh) 2023-05-25 2023-05-25 一种基于tst深度学习的脑卒中训练方法及训练系统

Country Status (1)

Country Link
CN (1) CN116612860A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117747051A (zh) * 2023-12-25 2024-03-22 上海利康精准医疗技术有限公司 一种基于ai技术的富氧康复训练方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117747051A (zh) * 2023-12-25 2024-03-22 上海利康精准医疗技术有限公司 一种基于ai技术的富氧康复训练方法及系统

Similar Documents

Publication Publication Date Title
CN112784798B (zh) 一种基于特征-时间注意力机制的多模态情感识别方法
US20220148191A1 (en) Image segmentation method and apparatus and storage medium
CN111297349A (zh) 一种基于机器学习的心律分类系统
CN112587153B (zh) 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法
CN113158861B (zh) 一种基于原型对比学习的运动分析方法
CN115238731A (zh) 基于卷积递归神经网络与多头自注意力的情感识别方法
CN109260566A (zh) 使用投影技术增强睡眠技术
CN116612860A (zh) 一种基于tst深度学习的脑卒中训练方法及训练系统
CN113781461B (zh) 一种病人智能监控排序方法
CN110321805A (zh) 一种基于时序关系推理的动态表情识别方法
CN116110597B (zh) 一种基于数字孪生的患者病症类别智能分析方法及装置
CN115969329B (zh) 一种睡眠分期方法、系统、装置及介质
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统
CN114209342A (zh) 一种基于时空特征的脑电信号运动想象分类方法
CN112712895B (zh) 针对2型糖尿病并发症的多模态大数据的数据分析方法
CN117874570A (zh) 基于混合注意力机制的脑电信号多分类方法、设备及介质
CN112259228B (zh) 一种动态注意力网络非负矩阵分解的抑郁症筛选方法
CN117609560A (zh) 一种基于超图神经网络的复杂动态脑网络表示方法
CN115019233B (zh) 一种基于姿态检测的精神发育迟滞判别方法
CN115565671A (zh) 基于跨模型相互教学半监督的房颤辅助分析方法
CN115171896A (zh) 一种重症患者长期死亡风险预测系统及方法
CN111767825B (zh) 一种人脸属性不变鲁棒性人脸识别方法及系统
CN111243697A (zh) 一种基于神经网络对目标对象数据进行判断的方法及系统
CN117671357B (zh) 基于金字塔算法的前列腺癌超声视频分类方法及系统
CN115050479B (zh) 多中心研究的数据质量评价方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20230818

WW01 Invention patent application withdrawn after publication