CN116705236A - 一种用于患者康复方案生成的方法、系统及设备 - Google Patents
一种用于患者康复方案生成的方法、系统及设备 Download PDFInfo
- Publication number
- CN116705236A CN116705236A CN202310659102.3A CN202310659102A CN116705236A CN 116705236 A CN116705236 A CN 116705236A CN 202310659102 A CN202310659102 A CN 202310659102A CN 116705236 A CN116705236 A CN 116705236A
- Authority
- CN
- China
- Prior art keywords
- data
- patient
- training
- rehabilitation
- feature data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 218
- 238000012545 processing Methods 0.000 claims abstract description 68
- 208000027418 Wounds and injury Diseases 0.000 claims abstract description 60
- 230000006378 damage Effects 0.000 claims abstract description 58
- 208000014674 injury Diseases 0.000 claims abstract description 58
- 238000011156 evaluation Methods 0.000 claims abstract description 57
- 238000013528 artificial neural network Methods 0.000 claims abstract description 56
- 230000008569 process Effects 0.000 claims abstract description 21
- 101100225683 Dictyostelium discoideum mmgt gene Proteins 0.000 claims abstract 13
- 230000009471 action Effects 0.000 claims description 98
- 238000012795 verification Methods 0.000 claims description 38
- 238000012360 testing method Methods 0.000 claims description 35
- 238000011084 recovery Methods 0.000 claims description 31
- 230000000007 visual effect Effects 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 16
- 230000003902 lesion Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000737 periodic effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 206010061225 Limb injury Diseases 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000003141 lower extremity Anatomy 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 210000001364 upper extremity Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004064 dysfunction Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010073713 Musculoskeletal injury Diseases 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Physical Education & Sports Medicine (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Rehabilitation Tools (AREA)
Abstract
本申请提供了一种用于患者康复方案生成的方法、装置及设备。其方法包括：获取患者数据，其中，所述患者数据至少包括患者的个人数据、病历数据、伤病评估数据和训练数据；对所述患者数据进行处理，得到多模态特征数据，其中，所述多模态特征数据至少包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据；将所述多模态特征数据输入基于MMGT神经网络训练得到的康复方案生成模型，获得所述患者的康复方案。通过该方法，可根据患者康复过程中的数据自动获得患者的康复方案，并可实现根据患者康复进度自动调整患者的康复方案，避免人为因素影响，可提升患者康复方案生成的效率和准确性。
Description
技术领域
本申请涉及患者康复技术领域，尤其涉及一种用于患者康复方案生成的技术。
背景技术
患者在肌骨损伤后的康复是一个长期漫长的过程，往往需要到医院、诊所、或康复中心等线下机构。患者做康复动作时的所有运动动作通常是通过康复治疗师肉眼观察，或者使用手工量角器等测量是否达标，进而由康复治疗师现场面对面指导患者做康复练习，以保证患者康复过程的有效性和安全性。而患者康复过程中的相关数据往往无法被详细记录，康复动作的精准度、康复效果也依赖于康复治疗师的水平与经验，无法根据患者的实际情况为患者维护定制的康复方案。此外，从患者角度，由于工作、时间、地点、金钱等原因，往往无法进行长期线下康复。
随着数据处理技术的发展，以及网络和智能终端设备的普及，医生或者康复治疗师可通过网络远程指导患者做康复练习，一般采用视频指导的方式。比如：专业康复机构锐博的远程康复系统-锐博云，仅可通过微信小程序等查看标准动作视频，无任何患者康复动作反馈，无法保证患者康复动作的正确性，无法直接监控患者练习情况；标准程度数字肌肉骨骼公司Hinge Health的远程康复系统虽然可通过患者佩戴的相关传感器，获取患者做康复练习动作时的姿态，通过观看智能终端设备上的专用APP中的动作姿态视觉反馈可调整康复练习动作，但在做一些不方便获取视觉反馈的康复练习动作时，无法得到反馈，另外，此类远程康复系统对一些不方便获取视觉反馈的特殊人群不友好。
而且远程康复系统只是用于远程指导患者做康复练习，其康复方案仍然需要依赖于医生或康复治疗师人工完成。
发明内容
本申请的目的是提供一种用于患者康复方案生成的方法、系统及设备，用以解决现有技术中患者康复方案需要依赖于医生或康复治疗师人工完成的技术问题。
根据本申请的一个方面，提供了一种用于患者康复方案生成的方法，其中，所述方法包括：
获取患者数据，其中，所述患者数据至少包括患者的个人数据、病历数据、伤病评估数据和训练数据；
对所述患者数据进行处理，得到多模态特征数据，其中，所述多模态特征数据至少包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据，其中，对所述个人数据进行处理，得到所述第一单变量特征数据，对所述病历数据进行处理，得到所述文本特征数据，对所述伤病评估数据进行处理，得到所述第二单变量特征数据，对所述训练数据进行处理，得到所述序列特征数据和所述网状拓扑结构特征数据；
将所述多模态特征数据输入基于MMGT神经网络训练得到的康复方案生成模型，获得所述患者的康复方案。
可选地，其中，所述对所述个人数据进行处理，得到所述第一单变量特征数据包括：
基于所述个人数据，构建一维数据数组，将所述一维数据数组作为所述第一单变量特征数据。
可选地，其中，所述对所述病历数据进行处理，得到所述文本特征数据包括：
对所述病历数据做图像文本识别，得到所述文本特征数据，其中，所述病历数据包括图像数据。
可选地，其中，所述对所述伤病评估数据进行处理，得到所述第二单变量特征数据包括：
基于所述伤病评估数据，构建一维数据数组，将所述一维数据数组作为所述第二单变量特征数据。
可选地，其中，所述训练数据至少包括：
患者做康复训练时的位姿数据和视觉数据，其中，对所述位姿数据进行处理，得到所述序列特征数据，对所述视觉数据进行处理，得到所述网状拓扑结构特征数据。
可选地，其中，所述位姿数据通过佩戴在患者若干个特定位置的多轴惯性传感器获得，其中，所述特定位置根据患者损伤类型确定。
可选地，其中，所述训练数据还包括：与位姿数据对应的患者训练动作的练习频次和/或时长。
可选地，其中，若与位姿数据对应的患者训练动作不符合标准，则向患者发出提示和动作纠正信息。
可选地，其中，所述提示和动作纠正信息至少包括以下一项：
基于视觉的提示和动作纠正信息；
基于听觉的提示和动作纠正信息；
基于触觉的提示和动作纠正信息。
可选地，其中，所述对所述位姿数据进行处理，得到所述序列特征数据包括：
对预设时间内连续位姿数据进行清洗后，得到所述序列特征数据。
可选地，其中，所述对所述视觉数据进行处理，得到所述网状拓扑结构特征数据包括：
基于所述视觉数据，得到对应位姿数据的人体骨骼姿态数据，作为所述网状拓扑结构特征数据。
可选地，其中，所述MMGT神经网络包括：
输入层、网络层和输出层，其中，
所述输入层包括令牌嵌入编码层、令牌嵌入解码层、DNN嵌入层、RNN嵌入层、图嵌入层、特征连接层和位置编码层；
所述网络层包括Transformer神经网络；
所述输出层包括线性层和归一化层。
可选地，其中，所述康复方案生成模型的获得包括：
获取若干份患者历史数据，以及采用GPT4模型，生成若干份第一GPT4数据，并将每份患者历史数据或者第一GPT4数据作为一个样本数据，其中，每个样本数据至少包括个人数据、病历数据、伤病评估数据和训练数据；
遍历每个样本数据，对每个样本数据进行处理后对应得到一组多模态特征数据，并进行真值标注，并将一组多模态特征数据及其对应的真值作为一个样本，构建训练集、验证集和测试集；
基于所述训练集，对预设参数的MMGT神经网络进行训练，并基于所述验证集对训练后的MMGT神经网络进行验证，当符合预设验证条件，基于所述测试机对验证通过的训练后的MMGT神经网络模型进行测试，当符合预设测试条件，获得康复方案生成模型。
可选地，所述一种用于患者康复方案生成方法还包括：
采用GPT4模型，生成若干份第二GPT4数据，其中，每份第二GPT4数据至少包括个人数据、病历数据、伤病评估数据和训练数据；
遍历每份第二GPT4数据，对每份第二GPT4数据进行处理，对应得到一组多模态特征数据；
将一组多模态特征数据输入所述康复方案生成模型，获得对应该组多模特特征数据的康复方案，并对所述康复方案进行专家修正，以及将经过专家修正的康复方案作为该组多模态特征数据的真值标注；
将一组多模态特征数据及其对应的真值作为一个样本，添加到所述训练集，以更新训练集；其中，
所述基于所述训练集，对预设参数的MMGT神经网络进行训练包括：
基于更新后的训练集，对预设参数的MMGT神经网络进行训练。
根据本申请的又一方面，提供了一种用于患者康复方案生成的系统，其中，所述系统包括：
数据获取模块，用于获取患者数据，其中，所述患者数据至少包括患者的个人数据、病历数据、伤病评估数据和训练数据；
数据处理模块，用于对所述患者数据进行处理，得到多模态特征数据，其中，所述多模态特征数据至少包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据，其中，对所述个人数据进行处理，得到所述第一单变量特征数据，对所述病历数据进行处理，得到所述文本特征数据，对所述伤病评估数据进行处理，得到所述第二单变量特征数据，对所述训练数据进行处理，得到所述序列特征数据和所述网状拓扑结构特征数据；
康复方案生成模块，用于将所述多模态特征数据输入基于MMGT神经网络训练得到的康复方案生成模型，获得所述患者的康复方案。
可选地，其中，所述一种用于患者康复方案生成的系统还包括：
模型生成模块，包括数据获取单元、数据处理单元、模型生成单元；其中，
所述数据获取单元，用于获取若干份患者历史数据，以及采用GPT4模型，生成若干份第一GPT4数据，并将每份患者历史数据或者第一GPT4数据作为一个样本数据，其中，每个样本数据至少包括个人数据、病历数据、伤病评估数据和训练数据；
所述数据处理单元，用于遍历每个样本数据，对每个样本数据进行处理后对应得到一组多模态特征数据，并进行真值标注，并将一组多模态特征数据及其对应的真值作为一个样本，构建训练集、验证集和测试集；
所述模型生成单元，用于基于所述训练集，对预设参数的MMGT神经网络进行训练，并基于所述验证集对训练后的MMGT神经网络进行验证，当符合预设验证条件，基于所述测试机对验证通过的训练后的MMGT神经网络模型进行测试，当符合预设测试条件，获得康复方案生成模型。
可选地，其中，所述数据获取单元还用于：
采用GPT4模型，生成若干份第二GPT4数据，其中，每份第二GPT4数据至少包括个人数据、病历数据、伤病评估数据和训练数据；其中，
所述数据处理单元还用于遍历每份第二GPT4数据，对每份第二GPT4数据进行处理，对应得到一组多模态特征数据，以及将经过专家修正的对应该组多模态特征数据的康复方案作为该组多模态特征数据的真值标注，并将该组多模态特征数据及其对应的真值作为一个样本，添加到所述训练集，以更新训练集，其中，对应该组多模态特征数据的康复方案是将该组多模态特征数据输入康复方案生成模块获得的；其中，
所述模型生成单元还用于基于更新后的训练集，对预设参数的MMGT神经网络进行训练。
根据本申请的另一个方面，提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可读指令，所述计算机可读指令被处理器执行以实施上述方法实施例和/或可选实施例中的方法。
根据本申请的还一个方面，提供了一种用于患者康复方案生成的设备，其中，所述设备包括：一个或多个处理器；以及存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行上述方法实施例和/或可选实施例中的方法的操作。
与现有技术相比，本申请提供了一种用于患者康复方案生成的方法、装置及设备。其方法包括：A获取患者数据，其中，所述患者数据至少包括患者的个人数据、病历数据、伤病评估数据和训练数据；B对所述患者数据进行处理，得到多模态特征数据，其中，所述多模态特征数据至少包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据，其中，对所述个人数据进行处理，得到所述第一单变量特征数据，对所述病历数据进行处理，得到所述文本特征数据，对所述伤病评估数据进行处理，得到所述第二单变量特征数据，对所述训练数据进行处理，得到所述序列特征数据和所述网状拓扑结构特征数据；C将所述多模态特征数据输入基于MMGT神经网络训练得到的康复方案生成模型，获得所述患者的康复方案。通过该方法，将患者数据的多模态特征数据输入基于MMGT神经网络训练得到的康复方案生成模型，可根据患者康复过程中的数据自动获得患者的康复方案，并可实现根据患者康复进度自动调整患者的康复方案，避免人为因素影响，可提升患者康复方案生成的效率和准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出本申请适用的患者远程康复系统的网络结构示意图；
图2示出根据本申请的一种用于患者康复方案生成的方法的流程示意图；
图3示出本申请一个示例的MMGT神经网络结构示意图；
图4示出本申请一个示例的患者康复方案的示意图；
图5示出根据本申请的又一个方面的一种用于患者康复方案生成的系统示意图；
图6示出根据本申请的又一个方面的一个可选实施例的一种用于患者康复方案生成的系统示意图；
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请的各实施例的一个典型的配置中，设备、系统各可信方和/或装置各模块均可包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或者任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本申请适用的一种患者远程康复系统的网络结构如图1所示，包括：佩戴在患者身上若干个特定位置的可穿戴式多轴惯性传感器、安装有远程康复app的智能终端设备、网络以及服务器。
其中，通过可穿戴式多轴惯性传感器，可采集患者做康复训练动作的多轴实时数据，得到患者做康复训练动作时的位姿数据。其中，特定位置可根据患者损伤类型确定，比如：上肢损伤的康复，可在患者腰部、大臂、小臂等部位佩戴可穿戴式多轴惯性传感器；下肢损伤的康复，可在患者腰部、大腿、小腿佩戴可穿戴式多轴惯性传感器。其中，多轴惯性传感器可以包括三轴陀螺仪、三轴加速度计和三轴磁力计，分别采集三轴角速度、三轴加速度、三轴地磁等数据，并进行融合计算(比如算法采用卡尔曼滤波、扩展卡尔曼滤波、互补滤波等，自此，不作限定)，可得到多轴惯性传感器相对于地球惯性系的空间位姿数据，通常是采用四元数的形式表示。再通过无线传输方式(比如蓝牙、WiFi、zigbee等)发送给智能终端设备app。
其中，通过智能终端设备app，一方面可通过无线传输方式从多轴惯性传感器得到患者做康复训练动作的位姿数据，并可通过四元数与欧拉角转换的相关算法，转换成二维数据，以视觉动画方式向患者显示，另一方面与从服务器获取并保存的对应该康复训练动作的标准位姿数据进行比对并视觉动画方式显示比对结果(比如，绿色，表示康复训练动作已到达标准位姿位置；红色，则表示康复训练动作还未到达标准位姿位置)，以对患者康复训练动作进行评估。当完成康复方案(可从服务器获取并保存在智能终端设备)中的一个康复训练动作后。在app端，当患者参照康复方案完成当前康复训练动作后，会自动跳转到康复方案下一个康复训练动作的标准位姿，依此类推，指导患者根据康复方案顺序完成全部康复训练动作。当患者的康复训练动作不达标时，通过app还可进行实时纠错，除了可基于视觉向患者发出提示和动作纠正信息外，还可基于听觉或触觉发出提示和动作纠正信息，比如，通过语音向患者提示动作错误及如何改正；若患者做的康复训练动作未达到标准位姿位置就结束时，通过传感器震动向患者提示。通过多维信息反馈，可覆盖的范围更广、更安全，并提高了患者康复训练效率。医生或康复治疗师也可通过app对患者进行远程视频问诊、诊断。
其中，通过网络实现智能终端设备与服务器之间的数据交互。
其中，服务器可根据获取的患者数据，生成患者的康复方案。并可结合实时获取的患者数据，对患者康复方案进行调整。医生或康复治疗师也可通过相关平台访问及审阅服务器中的患者康复方案，如必要，可远程记性康复方案的专家修正。
MMGT(Multi-Modal Generative Transformer，多模态生成型变换器)神经网络可提取不同数据类型的多模态特征数据，输出预测序列，可基于MMGT神经网络训练患者康复方案生成模型。
其中，所述智能终端设备包括安装有用于指导患者做康复训练的app、具有多媒体功能的智能设备，包括但不限于智能手机、Pad等。所述服务器包括但不限于个人计算机、笔记本电脑、工业计算机、网络主机、单个网络服务器、多个网络服务器集或云，其中，所述云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。
在此，所述智能终端设备、服务器和/或云仅为举例，其他现有的或者今后可能出现的设备和/或资源共享平台如适用于本申请也应包含在本申请的保护范围内，在此，以引用的方式包含于此。
为更进一步阐述本申请所采取的技术手段及取得的效果，下面结合附图及优选实施例，对本申请的技术方案，进行清楚和完整的描述。
图2示出根据本申请一个方面的一种用于患者康复方案生成的方法的流程示意图，其中，一个实施例的方法包括：
S201获取患者数据，其中，所述患者数据至少包括患者的个人数据、病历数据、伤病评估数据和训练数据；
S202对所述患者数据进行处理，得到多模态特征数据，其中，所述多模态特征数据至少包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据，其中，对所述个人数据进行处理，得到所述第一单变量特征数据，对所述病历数据进行处理，得到所述文本特征数据，对所述伤病评估数据进行处理，得到所述第二单变量特征数据，对所述训练数据进行处理，得到所述序列特征数据和所述网状拓扑结构特征数据；
S203将所述多模态特征数据输入基于MMGT神经网络训练得到的康复方案生成模型，获得所述患者的康复方案。
在该实施例中，在步骤S301中，获取患者数据，其中，所述患者数据至少包括患者的个人数据、病历数据、伤病评估数据和训练数据。
其中，患者的个人数据包括患者的个人基本信息，可以包括：性别、年龄、身高、体重等。
其中，患者的病历数据包括患者的病史信息，通常患者病历记录本上会记录患者每次就医时的病史信息，包括就医时的日期、病情、检查结果及医生的处方等，如果有住院，还可包括出院小结等。可将患者病历记录本上的每页记录和/或出院小结等患者的病历信息扫描成图像，得到患者的病历数据。
其中，患者的伤病评估数据包括患者的伤病首次评估和定期评估数据，通常是以每次让患者在智能终端设备app上填写评伤病评估问卷的方式获取到。伤病评估问卷的内容可包括一些基础信息，比如：手术部位、手术日期、伤口是否已愈合、是否有高血压等慢性基础疾病、是否有发热等，还可结合患者的损伤类型采用针对不同损伤类型的标准伤病评估量表，比如：针对下肢损伤的LEFS(Lower Extremity Functional Scale，下肢功能评定表)、针对上肢损伤的DASH(Disabilities of the Arm，Shoulder and Hand，上肢功能评定表)等。
其中，患者的训练数据可包括患者的康复训练动作程度、次数、时长等数据，还可包括使用app指导进行康复训练的训练行为数据等。
由于步骤S201获取患者数据的目的是为了得到与患者个体相关的特征数据。由于患者数据中，个人数据、病历数据、伤病评估数据以及训练数据的数据类型不同，需要结合数据类型分别处理。
继续在该实施例中，在步骤S202中，对所述患者数据进行处理，得到多模态特征数据，其中，所述多模态特征数据至少包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据，其中，对所述个人数据进行处理，得到所述第一单变量特征数据，对所述病历数据进行处理，得到所述文本特征数据，对所述伤病评估数据进行处理，得到所述第二单变量特征数据，对所述训练数据进行处理，得到所述序列特征数据和所述网状拓扑结构特征数据。
其中，患者的个人数据和伤病评估数据都是有限数量的单一变量数据，但个人数据和伤病评估数据的特点又不同，可分别处理，得到与患者个人数据对应的第一单变量特征数据，与患者伤病评估数据对应的第二单变量特征数据。患者的病历数据是图像类型数据，处理后可得到与患者病历数据对应的文本特征数据。
其中，可对患者的训练数据进行处理，得到包含每个康复训练动作完整过程的序列特征数据和网络拓扑结构特征数据。
可选地，其中，所述对所述个人数据进行处理，得到所述第一单变量特征数据包括：
基于所述个人数据，构建一维数据数组，将所述一维数据数组作为所述第一单变量特征数据。
其中，患者的个人数据通常是有限数量的单一变量数据(比如，性别要么是男，要么是女；年龄、身高、体重等都是单一数值)，可构建成具有有限个元素的一维数据数组，作为第一单变量特征数据。
可选地，其中，所述对所述病历数据进行处理，得到所述文本特征数据包括：
对所述病历数据做图像文本识别，得到所述文本特征数据，其中，所述病历数据包括图像数据。
其中，患者的病历数据是图像类型数据，可采用OCR(Optical CharacterRecognition，光学字符识别)技术识别图像中的文本，可得到与患者病历数据对应的文本特征数据。
可选地，其中，所述对所述伤病评估数据进行处理，得到所述第二单变量特征数据包括：
基于所述伤病评估数据，构建一维数据数组，将所述一维数据数组作为所述第二单变量特征数据。
其中，患者伤病评估问卷通常包括有限数量的单一变量数据(比如，是否符合问题描述，要么是，要么否；或者是功能障碍量表问卷评分，例如，DASH可分为两个部分：功能障碍/症状部分有30个项目，每个项目可能得分1-5分，可选的高性能运动/音乐或工作部分有4个项目，每个项目可能得分1-5分)，因此，可构建成具有有限个元素的一维数据数组，作为第二单变量特征数据。其中，除了首次对患者做伤病评估可得到患者伤病评估数据，为了及时掌握患者康复进展，还可对患者做定期伤病评估，得到患者的定期伤病评估数据，用于更新患者康复方案，以得到与患者当期康复状态匹配的康复方案，指导患者后续康复训练。
可选地，其中，所述训练数据至少包括：
患者做康复训练时的位姿数据和视觉数据，其中，对所述位姿数据进行处理，得到所述序列特征数据，对所述视觉数据进行处理，得到所述网状拓扑结构特征数据。
其中，可通过可佩戴式多轴惯性传感器获得患者做康复训练时的位姿数据，通过蓝牙等传输方式发送给智能终端设备，并可采用四元数与欧拉角转换的相关算法，将实时位姿数据转换成实时二维数据，以视觉动画方式通过智能终端设备app展示给患者，并展示对应的标准位姿，可让患者直观了解做的康复训练动作是否符合要求。
其中，针对一个康复训练动作的完整过程的实时位姿数据进行处理，可以得到该康复训练动作的序列特征数据。假设患者在做一个康复训练动作的ti时刻的位姿数据是(rxi,ryi,rzi)，则对应t1时刻开始、tN时刻结束的一个康复训练动作的完整过程，可得到该康复训练动作的序列特征数据{(rx1,ry1,rz1),(rx2,ry2,rz2),…,(rxN,ryN,rzN)}。也可以针对多个康复训练动作的完整过程的位姿数据或者一个康复训练动作的多次完整过程的位姿数据，获得对应的序列特征数据。
其中，还可通过智能终端设备中部署的app，结合智能终端设备的摄像头，获取患者在每次评估阶段做与损伤类型相关的特定康复训练动作时的视觉数据，对视觉数据进行处理，得到所述网状拓扑结构特征数据，并不需要获取一个完整康复方案所包括的所有康复动作的视觉数据，以减少数据处理量。
可选地，其中，所述位姿数据通过佩戴在患者若干个特定位置的多轴惯性传感器获得，其中，所述特定位置根据患者损伤类型确定。
其中，通过患者身上若干个特定位置佩戴的可穿戴式多轴惯性传感器，可采集到患者做康复训练动作的角度、加速度、地磁等多轴实时数据，从而得到患者做康复训练动作时的位姿数据，并可通过蓝牙等无线传输方式发送给智能终端设备，其中，特定位置可根据患者损伤类型确定。
其中，每个位置佩戴的可穿戴式多轴惯性传感器都可获得对应的位姿数据。针对不同位置佩戴的可穿戴式多轴惯性传感器获得的位姿数据，可对应得到多个位置的序列特征数据。
可选地，其中，所述训练数据还包括：与位姿数据对应的患者训练动作的练习频次和/或时长。
其中，根据患者的损伤类型及康复状况，对于同一康复训练动作，可能需要患者练习多次，或者练习时长需要满足要求。可根据获得的多次练习或练习时长满足要求的同一康复训练动作的位姿数据，得到对应的序列特征数据。
其中，在智能终端设备app端，当患者完成康复方案(可从服务器获取并保存在智能终端设备，患者的初始康复方案可以是医生或者康复治疗师结合患者的相关数据制定)中的当前康复训练动作后，会自动跳转到下一个康复训练动作，向患者展示下一个康复训练动作的标准位姿，从而指导患者根据康复方案完成康复训练动作。
可选地，其中，若与位姿数据对应的患者训练动作不符合标准，则向患者发出提示和动作纠正信息。
其中，通过智能终端设备app，将得到的位姿数据进行转换后，向患者展示患者做康复训练动作的视觉动画，并与从服务器获取并保存的对应该康复训练动作的标准位姿数据转换后的标准位姿进行比较，当患者的康复训练动作不达标时，可向患者发出提示和动作纠正信息。
可选地，其中，所述提示和动作纠正信息至少包括以下一项：
基于视觉的提示和动作纠正信息；
基于听觉的提示和动作纠正信息；
基于触觉的提示和动作纠正信息。
其中，可通过智能终端设备app，基于视觉向患者发出提示和动作纠正信息，比如，以视觉动画方式显示患者做的康复训练动作的位姿数据与标准位姿数据的比对结果(比如，绿色，表示康复训练动作已到达标准位姿位置；红色，则表示康复训练动作还未到达标准位姿位置)。还可通过智能终端设备app，基于听觉向患者发出提示和动作纠正信息，比如，通过app触发语音，向患者提示动作错误及如何改正。也可通过对应位置的可穿戴式多轴传感器中的振动器，基于触觉向患者发出提示和动作纠正信息。
可选地，其中，所述对所述位姿数据进行处理，得到所述序列特征数据包括：
对预设时间内连续位姿数据进行清洗后，得到所述序列特征数据。
其中，对于预设时间内连续位姿数据，如果其中存在异常数据或数据超范围，则为了避免影响后续对位姿数据的处理，应剔除，还可采取离散化、独热编码以及归一化等数据处理方式，以减少后续数据处理量，提升数据处理效率。
可选地，其中，所述对所述视觉数据进行处理，得到所述网状拓扑结构特征数据包括：
基于所述视觉数据，得到对应位姿数据的人体骨骼姿态数据，作为所述网状拓扑结构特征数据。
其中，人体骨骼姿态数据能很好地克服与动作行为无关的环境因素并在表达人体的动作行为方面具有潜在优势。从患者的视觉数据中，可以得到患者做康复训练动作时的人体骨骼姿态数据，比如，基于HRN(Higher Resolution Network，高分辨率网络)，对视觉数据进行识别，得到基于人体骨骼姿态数据的与患者康复训练动作对应的网状拓扑结构特征数据。
继续在该实施例中，在步骤S203中，将所述多模态特征数据输入基于MMGT神经网络训练得到的康复方案生成模型，获得所述患者的康复方案。
其中，预先基于构建的MMGT神经网络训练得到康复方案生成模型，将得到的包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据的患者的多模态特征数据输入该康复方案生成模型，获得该患者的康复方案。
可选地，其中，所述MMGT神经网络包括：
输入层、网络层和输出层，其中，
所述输入层包括令牌嵌入编码层、令牌嵌入解码层、DNN嵌入层、RNN嵌入层、图嵌入层、特征连接层和位置编码层；
所述网络层包括Transformer神经网络；
所述输出层包括线性层和归一化层。
一个示例的MMGT神经网络结构如图3所示，包括：输入层、网络层和输出层，其中，
输入层用于输入患者的多模态特征数据，包括：令牌嵌入编码层(Encoder TokenEmbedding)，用于对输入的文本特征数据(Text Features)进行编码，把文字信息编码成向量，比如文字信息“损伤”可编码为向量(0.8,0.5,0.56,0.97,0.23)。
其中，令牌嵌入解码层(Decoder Token Embedding)，用于将MMGT网络已预测输出的康复训练动作序列(outputs(actions)，包括当前预测的康复训练动作之前的若干个已预测的康复训练动作)作为输入(当预测首个康复训练动作时，该输入为空)，进行解码，并结合该康复训练动作序列中各个康复训练动作的位置编码，用于当前康复训练动作预测。
DNN(Deep Neural Network，深度神经网络)嵌入层(DNN Embedding)，用于对输入的第一单变量特征数据和第二单变量特征数据(Single Features)进行处理。
RNN(Recurrent Neural Network，循环神经网络)嵌入层(RNN Embedding)，用于对输入的序列特征数据(Sequential Features)进行处理。
图嵌入层(Graph Embedding)，用于对输入的网络拓扑结构特征数据(GraphFeatures)进行处理。
特征连接层(concat)，用于将上述令牌嵌入编码层、DNN嵌入层、RNN嵌入层和图嵌入层输出的特征图进行拼接，输出统一尺度特征图。
位置编码层(Positional Encoding)，用于对MMGT网络预测输出的康复训练动作序列中的上一康复训练动作在序列中的位置信息进行编码。
网络层，采用经典的变换器(Transformer)神经网络，包括Transformer Encoder和Transformer Decoder部分，其中，Transformer Decoder可以有多层，具体层数(Nx)可根据实际应用场景的数据规模等作设置及调整。每层Transformer Decoder部分包括多头注意力网络(Multi-Head Attention)、残差与批量归一化网络(Add&Norm)、前馈网络(FeedForward)，用于从Transformer Encoder部分输出的文本特征数据、单变量特征数据、序列特征数据、网络拓扑结构特征数据的统一尺度特征图提取用户特征，还包括隐式多头注意力网络(Masked Multi-Head Attention)和残差与批量归一化网络(Add&Norm)，用于对已预测输出的康复训练动作序列结合位置编码进行处理。
输出层，包括线性层(Linear)和归一化层(Softmax)，用于输出预测的当前康复训练动作的各候选康复训练动作及其相应概率(Output Probabilities)，选择其中最大概率的候选康复训练动作作为当前康复训练动作。之后将包含当前康复训练动作的已预测输出的康复训练动作序列并结合各康复训练动作在该序列中的位置的位置编码，输入Transformer Decoder部分，用于下一个康复训练动作预测。循环反复，直至完整生成患者康复方案。
可选地，其中，所述康复方案生成模型的获得包括：
获取若干份患者历史数据，以及采用GPT4模型，生成若干份第一GPT4数据，并将每份患者历史数据或者第一GPT4数据作为一个样本数据，其中，每个样本数据至少包括个人数据、病历数据、伤病评估数据和训练数据；
遍历每个样本数据，对每个样本数据进行处理后对应得到一组多模态特征数据，并进行真值标注，并将一组多模态特征数据及其对应的真值作为一个样本，构建训练集、验证集和测试集；
基于所述训练集，对预设参数的MMGT神经网络进行训练，并基于所述验证集对训练后的MMGT神经网络进行验证，当符合预设验证条件，基于所述测试机对验证通过的训练后的MMGT神经网络模型进行测试，当符合预设测试条件，获得康复方案生成模型。
其中，可先获取若干份已完成康复训练的患者康复训练动作的历史数据作为原始数据，用于生成MMGT神经网络的样本数据。为了样本多样性，还可以采用GPT(GenerativePre-trained Transformer，生成型预训练变换器)4模型，生成与患者历史数据结构相同的若干份第一GPT4数据，并将每份患者历史数据或者第一GPT4数据作为一个样本数据，其中，每个样本数据至少包括个人数据、病历数据、伤病评估数据和训练数据。
然后遍历每个样本数据，对每个样本数据进行处理，对应得到一组多模态特征数据，并对每组多模态特征数据进行真值标注后，将一组多模态特征数据及其对应的真值作为一个样本，构建训练集、验证集和测试集。其中，为了提高训练效率，还可以先对样本数据作清洗等处理，以消除异常样本数据的影响，比如，对于个人数据或伤病评估数据中的空值，应作填充处理，对于超范围数值，应删除，还可采取离散化、独热编码以及归一化等数据处理方式，以减少后续数据处理量，提升数据处理效率。
再基于所述训练集，对预设参数的MMGT神经网络进行训练，并基于所述验证集对训练后的MMGT神经网络进行验证，当符合预设验证条件，基于所述测试机对验证通过的训练后的MMGT神经网络模型进行测试，当符合预设测试条件，获得康复方案生成模型。其中，预设参数至少包括：学习率(learning rate)、向量空间维度(model dimension)、Transformer Decoder层数(Nx)等，这些预设参数可结合实际场景的数据规模、训练设备性能等进行设置及调整。其中，预设验证条件可以是：迭代训练过程中，训练集的损失函数值小于预设阈值，或者连续3个代(Epoch)大于等于验证集的损失函数值，或者训练集的损失函数值连续5个Epoch不再下降。预设测试条件可以是迭代测试过程中，测试集的损失函数值小于预设阈值。
可选地，其中，所述一种用于患者康复方案生成的方法还包括：
采用GPT4模型，生成若干份第二GPT4数据，其中，每份第二GPT4数据至少包括个人数据、病历数据、伤病评估数据和训练数据；
遍历每份第二GPT4数据，对每份第二GPT4数据进行处理，对应得到一组多模态特征数据；
将一组多模态特征数据输入所述康复方案生成模型，获得对应该组多模特特征数据的康复方案，并对所述康复方案进行专家修正，以及将经过专家修正的康复方案作为该组多模态特征数据的真值标注；
将一组多模态特征数据及其对应的真值作为一个样本，添加到所述训练集，以更新训练集；其中，
所述基于所述训练集，对预设参数的MMGT神经网络进行训练包括：
基于更新后的训练集，对预设参数的MMGT神经网络进行训练。
其中，还可以再采用GPT4模型，生成与前述样本数据结构相同的若干份第二GPT4数据，并遍历每份第二GPT4数据，对每份第二GPT4数据进行处理后，对应得到一组多模态特征数据，其中，每份第二GPT4数据至少包括个人数据、病历数据、伤病评估数据和训练数据。然后将每一组多模态特征数据输入上述康复方案生成模型，获得对应该组多模特特征数据的康复方案，为了提高真实准确性，可对所述康复方案进行专家修正，以及将经过专家修正的康复方案作为该组多模态特征数据的真值标注。再将每组多模态特征数据及其对应的真值作为一个样本，添加到上述训练集，以更新训练集。后续还可以基于更新后的训练集，对预设参数的MMGT神经网络进行训练，以更新患者康复方案生成模型，提高预测准确度。
在基于MMGT神经网络的康复方案生成模型生成为患者定制的康复方案前，患者可以按照康复训练师指导做一些标准康复训练动作。在得到患者康复方案生成模型后，可将基于当前患者数据的多模态特征数据输入该模型，得到患者当前康复方案。其中，患者的个人数据、病历数据通常不太会变化，在对患者做定期康复评估阶段，伤病评估数据和训练数据可能会更新，在对患者做定期康复评估时，可将获取的定期伤病评估数据、与损伤类型相关的特定康复训练动作的训练数据(位姿数据及视觉数据)，以及患者的个人数据、病历数据处理得到的多模态特征数据，输入患者康复方案生成模型，以更新患者康复模型，得到更符合患者当前康复状态的康复方案，提升患者康复训练效率和效果。另外，为了不断提高患者康复生成模型的预测准确度，可不断更新训练集，采用更新的训练集，训练上述MMGT神经网络，以得到准确度更高的患者康复方案生成模型。
一个示例的患者康复方案如图4所示。
图5示出根据本申请又一个方面的一种用于患者康复方案生成的系统示意图，其中，一个实施例的所述系统100包括：
数据获取模块510，用于获取患者数据，其中，所述患者数据至少包括患者的个人数据、病历数据、伤病评估数据和训练数据；
数据处理模块520，用于对所述患者数据进行处理，得到多模态特征数据，其中，所述多模态特征数据至少包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据，其中，对所述个人数据进行处理，得到所述第一单变量特征数据，对所述病历数据进行处理，得到所述文本特征数据，对所述伤病评估数据进行处理，得到所述第二单变量特征数据，对所述训练数据进行处理，得到所述序列特征数据和所述网状拓扑结构特征数据；
康复方案生成模块530，用于将所述多模态特征数据输入基于MMGT神经网络训练得到的康复方案生成模型，获得所述患者的康复方案。
在该实施例中，通过数据获取模块510，获取患者数据，其中，所述患者数据至少包括患者的个人数据、病历数据、伤病评估数据和训练数据。其中，获取患者数据的目的是为了得到与患者个体相关的特征数据。由于患者数据中，个人数据、病历数据、伤病评估数据以及训练数据的数据类型不同，需要结合数据类型分别处理。
继续在该实施例中，通过数据处理模块520，对所述患者数据进行处理，得到多模态特征数据，其中，所述多模态特征数据至少包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据，其中，对所述个人数据进行处理，得到所述第一单变量特征数据，对所述病历数据进行处理，得到所述文本特征数据，对所述伤病评估数据进行处理，得到所述第二单变量特征数据，对所述训练数据进行处理，得到所述序列特征数据和所述网状拓扑结构特征数据。其中，患者的个人数据和伤病评估数据都是有限数量的单一变量数据，但个人数据和伤病评估数据的特点又不同，可分别处理，得到与患者个人数据对应的第一单变量特征数据，与患者伤病评估数据对应的第二单变量特征数据。患者的病历数据是图像类型数据，处理后可得到与患者病历数据对应的文本特征数据。其中，可对患者的训练数据进行处理，得到包含每个康复训练动作完整过程的序列特征数据和网络拓扑结构特征数据。
继续在该实施例中，通过康复方案生成模块530，将所述多模态特征数据输入基于MMGT神经网络训练得到的康复方案生成模型，获得所述患者的康复方案。其中，预先基于构建的MMGT神经网络训练得到康复方案生成模型，将得到的包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据的患者的多模态特征数据输入该康复方案生成模型，获得该患者的康复方案。
一个可选实施例的所述一种用于患者康复方案生成的系统100如图6所示，其中，所述系统100还包括：
模型生成模块540，包括数据获取单元541、数据处理单元542、模型生成单元543；其中，
所述数据获取单元541，用于获取若干份患者历史数据，以及采用GPT4模型，生成若干份第一GPT4数据，并将每份患者历史数据或者第一GPT4数据作为一个样本数据，其中，每个样本数据至少包括个人数据、病历数据、伤病评估数据和训练数据；
所述数据处理单元542，用于遍历每个样本数据，对每个样本数据进行处理后对应得到一组多模态特征数据，并进行真值标注，并将一组多模态特征数据及其对应的真值作为一个样本，构建训练集、验证集和测试集；
所述模型生成单元543，用于基于所述训练集，对预设参数的MMGT神经网络进行训练，并基于所述验证集对训练后的MMGT神经网络进行验证，当符合预设验证条件，基于所述测试机对验证通过的训练后的MMGT神经网络模型进行测试，当符合预设测试条件，获得康复方案生成模型。
在该可选实施例中，通过所述数据获取单元541，获取若干份患者历史数据，以及采用GPT4模型，生成若干份第一GPT4数据，并将每份患者历史数据或者第一GPT4数据作为一个样本数据，其中，每个样本数据至少包括个人数据、病历数据、伤病评估数据和训练数据。其中，可先获取若干份已完成康复训练的患者康复训练动作的历史数据作为原始数据，用于生成MMGT神经网络的样本数据。为了样本多样性，还可以采用GPT4模型，生成与患者历史数据结构相同的若干份第一GPT4数据，并将每份患者历史数据或者第一GPT4数据作为一个样本数据，其中，每个样本数据至少包括个人数据、病历数据、伤病评估数据和训练数据。
继续在该可选实施例中，通过数据处理单元542，遍历每个样本数据，对每个样本数据进行处理，对应得到一组多模态特征数据，并对每组多模态特征数据进行真值标注后，将一组多模态特征数据及其对应的真值作为一个样本，构建训练集、验证集和测试集。其中，为了提高训练效率，还可以先对样本数据作清洗等处理，以删除异常样本数据的影响，比如，对于个人数据或伤病评估数据中的空值，应作填充处理，对于超范围数值，应删除，还可采取离散化、独热编码以及归一化等数据处理方式，以减少后续数据处理量，提升数据处理效率。
继续在该可选实施例中，通过模型生成单元543，基于所述训练集，对预设参数的MMGT神经网络进行训练，并基于所述验证集对训练后的MMGT神经网络进行验证，当符合预设验证条件，基于所述测试机对验证通过的训练后的MMGT神经网络模型进行测试，当符合预设测试条件，获得康复方案生成模型。
可选地，其中，所述数据获取单元541还用于：
采用GPT4模型，生成若干份第二GPT4数据，其中，每份第二GPT4数据至少包括个人数据、病历数据、伤病评估数据和训练数据；其中，
所述数据处理单元542还用于遍历每份第二GPT4数据，对每份第二GPT4数据进行处理，对应得到一组多模态特征数据，以及将经过专家修正的对应该组多模态特征数据的康复方案作为该组多模态特征数据的真值标注，并将该组多模态特征数据及其对应的真值作为一个样本，添加到所述训练集，以更新训练集，其中，对应该组多模态特征数据的康复方案是将该组多模态特征数据输入康复方案生成模块获得的；其中，
所述模型生成单元543还用于基于更新后的训练集，对预设参数的MMGT神经网络进行训练，以更新患者康复方案生成模型，提高预测准确度。
在此基础上，通过数据获取模块510，获得当前的患者数据，通过数据处理模块520，对当前的患者数据进行处理，得到对应的多模态特征数据，再通过康复方案生成模块530，将该多模态特征数据输入更新的患者康复方案生成模型，生成与当前患者康复状态匹配的康复方案，从而提升患者康复训练效率和效果。
上述系统的各个实施例和/或可选实施例中，各部分和/或各模块执行的方法步骤中未提及之处与前述各个相关的方法实施例中相同，在此不再赘述。
根据本申请的又一方面，还提供了一种计算机可读介质，所述计算机可读介质存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述各方法实施例。
需要注意的是，本申请中各方法实施例和/或可选实施例并不严格限定各步骤执行的顺序，只要各方法实施例和/或可选实施例能解决现有技术存在的缺陷，实现本申请的发明目的，获得有益效果。本申请中各方法实施例和/或可选实施例可在软件和/或软件与硬件的组合体中被实施。本申请中涉及的软件程序可以通过处理器执行以实现上述各实施例的步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中。
另外，本申请的一部分或者全部可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。
根据本申请的再一方面，还提供了一种用于患者康复方案生成的设备，该设备包括：存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备运行前述各实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件和/或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (19)
1.一种用于患者康复方案生成的方法，其特征在于，所述方法包括：
获取患者数据，其中，所述患者数据至少包括患者的个人数据、病历数据、伤病评估数据和训练数据；
对所述患者数据进行处理，得到多模态特征数据，其中，所述多模态特征数据至少包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据，其中，对所述个人数据进行处理，得到所述第一单变量特征数据，对所述病历数据进行处理，得到所述文本特征数据，对所述伤病评估数据进行处理，得到所述第二单变量特征数据，对所述训练数据进行处理，得到所述序列特征数据和所述网状拓扑结构特征数据；
将所述多模态特征数据输入基于MMGT神经网络训练得到的康复方案生成模型，获得所述患者的康复方案。
2.根据权利要求1所述的方法，其特征在于，所述对所述个人数据进行处理，得到所述第一单变量特征数据包括：
基于所述个人数据，构建一维数据数组，将所述一维数据数组作为所述第一单变量特征数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述病历数据进行处理，得到所述文本特征数据包括：
对所述病历数据做图像文本识别，得到所述文本特征数据，其中，所述病历数据包括图像数据。
4.根据权利要求1所述的方法，其特征在于，所述对所述伤病评估数据进行处理，得到所述第二单变量特征数据包括：
基于所述伤病评估数据，构建一维数据数组，将所述一维数据数组作为所述第二单变量特征数据。
5.根据权利要求1所述的方法，其特征在于，所述训练数据至少包括：
患者做康复训练时的位姿数据和视觉数据，其中，对所述位姿数据进行处理，得到所述序列特征数据，对所述视觉数据进行处理，得到所述网状拓扑结构特征数据。
6.根据权利要求5所述的方法，其特征在于，所述位姿数据通过佩戴在患者若干个特定位置的多轴惯性传感器获得，其中，所述特定位置根据患者损伤类型确定。
7.根据权利要求5所述的方法，其特征在于，所述训练数据还包括：与位姿数据对应的患者训练动作的练习频次和/或时长。
8.根据权利要求5所述的方法，其特征在于，若与位姿数据对应的患者训练动作不符合标准，则向患者发出提示和动作纠正信息。
9.根据权利要求8所述的方法，其特征在于，所述提示和动作纠正信息至少包括以下一项：
基于视觉的提示和动作纠正信息；
基于听觉的提示和动作纠正信息；
基于触觉的提示和动作纠正信息。
10.根据权利要求5所述的方法，其特征在于，所述对所述位姿数据进行处理，得到所述序列特征数据包括：
对预设时间内连续位姿数据进行清洗后，得到所述序列特征数据。
11.根据权利要求5所述的方法，其特征在于，所述对所述视觉数据进行处理，得到所述网状拓扑结构特征数据包括：
基于所述视觉数据，得到对应位姿数据的人体骨骼姿态数据，作为所述网状拓扑结构特征数据。
12.根据权利要求1所述的方法，其特征在于，所述MMGT神经网络包括：
输入层、网络层和输出层，其中，
所述输入层包括令牌嵌入编码层、令牌嵌入解码层、DNN嵌入层、RNN嵌入层、图嵌入层、特征连接层和位置编码层；
所述网络层包括Transformer神经网络；
所述输出层包括线性层和归一化层。
13.根据权利要求1所述的方法，其特征在于，所述康复方案生成模型的获得包括：
获取若干份患者历史数据，以及采用GPT4模型，生成若干份第一GPT4数据，并将每份患者历史数据或者第一GPT4数据作为一个样本数据，其中，每个样本数据至少包括个人数据、病历数据、伤病评估数据和训练数据；
遍历每个样本数据，对每个样本数据进行处理后对应得到一组多模态特征数据，并进行真值标注，并将一组多模态特征数据及其对应的真值作为一个样本，构建训练集、验证集和测试集；
基于所述训练集，对预设参数的MMGT神经网络进行训练，并基于所述验证集对训练后的MMGT神经网络进行验证，当符合预设验证条件，基于所述测试机对验证通过的训练后的MMGT神经网络模型进行测试，当符合预设测试条件，获得康复方案生成模型。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
采用GPT4模型，生成若干份第二GPT4数据，其中，每份第二GPT4数据至少包括个人数据、病历数据、伤病评估数据和训练数据；
遍历每份第二GPT4数据，对每份第二GPT4数据进行处理，对应得到一组多模态特征数据；
将一组多模态特征数据输入所述康复方案生成模型，获得对应该组多模特特征数据的康复方案，并对所述康复方案进行专家修正，以及将经过专家修正的康复方案作为该组多模态特征数据的真值标注；
将一组多模态特征数据及其对应的真值作为一个样本，添加到所述训练集，以更新训练集；其中，
所述基于所述训练集，对预设参数的MMGT神经网络进行训练包括：
基于更新后的训练集，对预设参数的MMGT神经网络进行训练。
15.一种用于患者康复方案生成的系统，其特征在于，所述系统包括：
数据获取模块，用于获取患者数据，其中，所述患者数据至少包括患者的个人数据、病历数据、伤病评估数据和训练数据；
数据处理模块，用于对所述患者数据进行处理，得到多模态特征数据，其中，所述多模态特征数据至少包括第一单变量特征数据、文本特征数据、第二单变量特征数据、序列特征数据和网状拓扑结构特征数据，其中，对所述个人数据进行处理，得到所述第一单变量特征数据，对所述病历数据进行处理，得到所述文本特征数据，对所述伤病评估数据进行处理，得到所述第二单变量特征数据，对所述训练数据进行处理，得到所述序列特征数据和所述网状拓扑结构特征数据；
康复方案生成模块，用于将所述多模态特征数据输入基于MMGT神经网络训练得到的康复方案生成模型，获得所述患者的康复方案。
16.根据权利要求15所述的系统，其特征在于，所述系统还包括：
模型生成模块，包括数据获取单元、数据处理单元、模型生成单元；其中，
所述数据获取单元，用于获取若干份患者历史数据，以及采用GPT4模型，生成若干份第一GPT4数据，并将每份患者历史数据或者第一GPT4数据作为一个样本数据，其中，每个样本数据至少包括个人数据、病历数据、伤病评估数据和训练数据；
所述数据处理单元，用于遍历每个样本数据，对每个样本数据进行处理后对应得到一组多模态特征数据，并进行真值标注，并将一组多模态特征数据及其对应的真值作为一个样本，构建训练集、验证集和测试集；
所述模型生成单元，用于基于所述训练集，对预设参数的MMGT神经网络进行训练，并基于所述验证集对训练后的MMGT神经网络进行验证，当符合预设验证条件，基于所述测试机对验证通过的训练后的MMGT神经网络模型进行测试，当符合预设测试条件，获得康复方案生成模型。
17.根据权利要求16所述的系统，其特征在于，所述数据获取单元还用于：
采用GPT4模型，生成若干份第二GPT4数据，其中，每份第二GPT4数据至少包括个人数据、病历数据、伤病评估数据和训练数据；其中，
所述数据处理单元还用于遍历每份第二GPT4数据，对每份第二GPT4数据进行处理，对应得到一组多模态特征数据，以及将经过专家修正的对应该组多模态特征数据的康复方案作为该组多模态特征数据的真值标注，并将该组多模态特征数据及其对应的真值作为一个样本，添加到所述训练集，以更新训练集，其中，对应该组多模态特征数据的康复方案是将该组多模态特征数据输入康复方案生成模块获得的；其中，
所述模型生成单元还用于基于更新后的训练集，对预设参数的MMGT神经网络进行训练。
18.一种计算机可读介质，其特征在于，
其上存储有计算机可读指令，所述计算机可读指令被处理器执行以实现如权利要求1至14中任一项所述的方法。
19.一种用于患者康复方案生成的设备，其特征在于，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至14中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310659102.3A CN116705236A (zh) | 2023-06-05 | 2023-06-05 | 一种用于患者康复方案生成的方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310659102.3A CN116705236A (zh) | 2023-06-05 | 2023-06-05 | 一种用于患者康复方案生成的方法、系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116705236A true CN116705236A (zh) | 2023-09-05 |
Family
ID=87835136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310659102.3A Pending CN116705236A (zh) | 2023-06-05 | 2023-06-05 | 一种用于患者康复方案生成的方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116705236A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117352169A (zh) * | 2023-09-08 | 2024-01-05 | 四川互慧软件有限公司 | 基于神经网络模型的蛇伤康复评价方法、装置及电子设备 |
-
2023
- 2023-06-05 CN CN202310659102.3A patent/CN116705236A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117352169A (zh) * | 2023-09-08 | 2024-01-05 | 四川互慧软件有限公司 | 基于神经网络模型的蛇伤康复评价方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liao et al. | A review of computational approaches for evaluation of rehabilitation exercises | |
| Hellsten et al. | The potential of computer vision-based marker-less human motion analysis for rehabilitation | |
| US11474593B2 (en) | Tracking user movements to control a skeleton model in a computer system | |
| Antón et al. | Exercise recognition for Kinect-based telerehabilitation | |
| US11759126B2 (en) | Scoring metric for physical activity performance and tracking | |
| US11482126B2 (en) | Augmented reality system for providing movement sequences and monitoring performance | |
| Dong et al. | Wearable sensing devices for upper limbs: A systematic review | |
| CN108498102B (zh) | 康复训练方法及装置、存储介质、电子设备 | |
| US11175729B2 (en) | Orientation determination based on both images and inertial measurement units | |
| Digo et al. | Collection and analysis of human upper limbs motion features for collaborative robotic applications | |
| Ruffaldi et al. | Sensor fusion for complex articulated body tracking applied in rowing | |
| CN116705236A (zh) | 一种用于患者康复方案生成的方法、系统及设备 | |
| US20190102951A1 (en) | Sensor-based object tracking and monitoring | |
| CN112741620A (zh) | 基于肢体动作的颈椎病评估装置 | |
| Santhalingam et al. | Synthetic smartwatch imu data generation from in-the-wild asl videos | |
| Trujillo-Guerrero et al. | Accuracy comparison of CNN, LSTM, and Transformer for activity recognition using IMU and visual markers | |
| Li et al. | Myoelectric human computer interaction using CNN-LSTM neural network for dynamic hand gesture recognition | |
| US11636777B2 (en) | System and method for improving exercise performance using a mobile device | |
| Abedi et al. | Rehabilitation exercise repetition segmentation and counting using skeletal body joints | |
| KR20220039440A (ko) | 디스플레이 장치 및 그의 제어 방법 | |
| Lun | Human activity tracking and recognition using Kinect sensor | |
| Gámez-Granados et al. | JKinect: A new Java Software for Designing and Assessing Gross Motor Activities in children with autism based on JFML | |
| Han et al. | Gravity control-based data augmentation technique for improving VR user activity recognition | |
| Lui et al. | A preliminary investigation into infrared sensors in wearables for upper extremity motion sensing | |
| Palma et al. | Hmm based evaluation of physical therapy movements using kinect tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |