CN116431004A - 康复机器人交互行为的控制方法及系统 - Google Patents
康复机器人交互行为的控制方法及系统 Download PDFInfo
- Publication number
- CN116431004A CN116431004A CN202310635568.XA CN202310635568A CN116431004A CN 116431004 A CN116431004 A CN 116431004A CN 202310635568 A CN202310635568 A CN 202310635568A CN 116431004 A CN116431004 A CN 116431004A
- Authority
- CN
- China
- Prior art keywords
- rehabilitation
- feature
- matrix
- classification
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 121
- 230000002452 interceptive effect Effects 0.000 title claims description 18
- 230000036387 respiratory rate Effects 0.000 claims abstract description 48
- 230000006399 behavior Effects 0.000 claims abstract description 43
- 230000003993 interaction Effects 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims description 177
- 239000013598 vector Substances 0.000 claims description 174
- 230000008569 process Effects 0.000 claims description 77
- 238000005457 optimization Methods 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 30
- 230000002776 aggregation Effects 0.000 claims description 27
- 238000004220 aggregation Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 16
- 239000003795 chemical substances by application Substances 0.000 claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 3
- 230000003183 myoelectrical effect Effects 0.000 abstract description 19
- 238000009826 distribution Methods 0.000 abstract description 16
- 238000001514 detection method Methods 0.000 abstract description 9
- 238000011156 evaluation Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000005021 gait Effects 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000004962 physiological condition Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Physiology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Veterinary Medicine (AREA)
- Evolutionary Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Cardiology (AREA)
- Mathematical Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Dermatology (AREA)
- Probability & Statistics with Applications (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Computing Systems (AREA)
- Epidemiology (AREA)
- Pulmonology (AREA)
Abstract
本申请涉及康复机器人技术领域,其具体地公开了一种康复机器人交互行为的控制方法及系统,其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值,以及,所述被监测患者的康复进程文本描述;然后,通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达,以此来准确地进行患者的康复状态检测评估,从而根据患者当前康复需求,选择合适的康复任务类型,实现更精准的康复机器人交互行为控制。
Description
技术领域
本申请涉及康复机器人技术领域,且更为具体地,涉及一种康复机器人交互行为的控制方法及系统。
背景技术
目前,康复机器人在实现患者康复过程中起到了重要作用,康复机器人的应用已经成为康复治疗中越来越重要的组成部分。但由于每个患者的身体状态和康复进程都是不同的,因此如何实现个性化的康复服务一直是一个挑战。传统的康复机器人控制方法通常是通过固定的康复任务模板,缺乏个性化的康复任务,难以满足患者的个性化康复训练需求。
因此,期望一种优化的康复机器人交互行为的控制方案。
发明内容
本申请提供一种康复机器人交互行为的控制方法及系统,其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值,以及,所述被监测患者的康复进程文本描述;然后,通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达,以此来准确地进行患者的康复状态检测评估,从而根据患者当前康复需求,选择合适的康复任务类型,实现更精准的康复机器人交互行为控制。
第一方面,提供了一种康复机器人交互行为的控制方法,所述方法包括:获取被监测患者在预定时间段的肌电信号,以及,在所述预定时间段内多个预定时间点的呼吸频率值和心率值;对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值;将所述多个预定时间点的呼吸频率值和心率值,以及,所述多个肌电频域统计特征值排列为参数聚合矩阵;将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量;获取所述被监测患者的康复进程文本描述;对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量;对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵;对分类特征矩阵进行特征优化以得到优化分类特征矩阵;以及,将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签。
第二方面,提供了一种康复机器人交互行为的控制系统,所述系统包括:数据获取模块,用于获取被监测患者在预定时间段的肌电信号,以及,在所述预定时间段内多个预定时间点的呼吸频率值和心率值;频域变换模块,用于对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值;排列矩阵模块,用于将所述多个预定时间点的呼吸频率值和心率值,以及,所述多个肌电频域统计特征值排列为参数聚合矩阵;卷积编码模块,用于将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量;文本获取模块,用于获取所述被监测患者的康复进程文本描述;语义编码模块,用于对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量;关联编码模块,用于对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵;特征优化模块,用于对分类特征矩阵进行特征优化以得到优化分类特征矩阵;以及,分类模块,用于将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签。
第三方面,提供了一种芯片,该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线,该至少一个存储器用于存储指令,该至少一个处理器用于调用该至少一个存储器中的指令,以执行第一方面中的方法。
第四方面,提供了一种计算机可读介质,用于存储计算机程序,所述计算机程序包括用于执行上述第一方面中的方法。
第五方面,提供了一种包括指令的计算机程序产品,当计算机运行所述计算机程序产品的所述指时,所述计算机执行上述第一方面中的方法。
本申请提供的一种康复机器人交互行为的控制方法及系统,其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值,以及,所述被监测患者的康复进程文本描述;然后,通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达,以此来准确地进行患者的康复状态检测评估,从而根据患者当前康复需求,选择合适的康复任务类型,实现更精准的康复机器人交互行为控制。
附图说明
图1是本申请实施例的康复机器人交互行为的控制方法的示意性流程图。
图2是本申请实施例的康复机器人交互行为的控制方法的模型架构的示意图。
图3是本申请实施例的康复机器人交互行为的控制方法中对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量的示意性流程图。
图4是本申请实施例的康复机器人交互行为的控制方法中将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签的示意性流程图。
图5是本申请实施例的康复机器人交互行为的控制系统的示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
这里由于涉及到基于深度学习的深度神经网络模型,下面先对本申请实施例可能涉及的深度神经网络模型的相关术语和概念进行介绍。
在深度神经网络模型中,隐藏层可以是卷积层和池化层。卷积层对应的一组权重值被称为滤波器,也被称为卷积核。滤波器和输入特征值都被表示为一个多维矩阵,对应地,表示成多维矩阵的滤波器也称为滤波器矩阵,表示成多维矩阵的输入特征值也称为输入特征矩阵,当然,除了可以输入特征矩阵,也可以输入特征图像,特征向量,这里只是以输入特征矩阵进行举例。卷积层的运算称为卷积运算,该卷积运算指的是,输入特征矩阵的一部分特征值与滤波器矩阵的权重值进行内积操作。
深度神经网络模型中每一个卷积层的运算过程可以被编成软件,然后通过在运算装置中运行该软件,得到每层网络的输出结果,即输出特征矩阵。例如,软件通过滑动窗口的方式,以每层网络的输入特征矩阵的左上角为起点,以滤波器大小为窗口,每次从特征值矩阵中提取一个窗口的数据与滤波器进行内积操作。当输入特征矩阵的右下角窗口的数据与滤波器完成内积操作后,便可得到每层网络的一个二维的输出特征矩阵。软件重复上述过程,直至产生每层网络的整个输出特征矩阵。
卷积层运算的过程为,将一个滤波器大小的窗口滑动过整个输入图像(即输入特征矩阵),在每个时刻对窗口内覆盖的输入特征值与该滤波器进行内积运算,其中,窗口滑动的步长为1。具体地,以输入特征矩阵的左上角为起点,以滤波器大小为窗口,窗口滑动的步长为1,每次从特征值矩阵中提取一个窗口的输入特征值与滤波器进行内积操作,当输入特征矩阵的右下角的数据与滤波器完成内积操作后,便可得到该输入特征矩阵的一个二维的输出特征矩阵。
由于常常需要减少训练参数的数量,因此卷积层之后常常需要周期性的引入池化层,在图像处理过程中,池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子,以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外,就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样,池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸,池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
由于实际在深度神经网络中需要模拟的函数往往是非线性的,而前面卷积和池化只能模拟线性函数,为了在深度神经网络模型中,引入非线性因素,以增加整个网络的表征能力,在池化层过后还会设置有激活层,激活层中设置有激活函数,常用的激励函数有sigmoid、tanh、ReLU函数等。
如上所述,康复机器人的应用已经成为康复治疗中越来越重要的组成部分。但由于每个患者的身体状态和康复进程都是不同的,因此如何实现个性化的康复服务一直是一个挑战。传统的康复机器人控制方法通常是通过固定的康复任务模板,缺乏个性化的康复任务,难以满足患者的个性化康复训练需求。因此,期望一种优化的康复机器人交互行为的控制方案。
相应地,考虑到在实际进行康复机器人的交互行为控制过程中,为了保证康复机器人提供的康复训练满足患者的个性化需求,机器人系统则需要基于患者当前的身体状态和康复进程,选择合适的康复任务和场景。因此,在本申请的技术方案中,期望基于患者的肌电信号,以及呼吸频率值和心率值来综合进行分析,并对患者的康复进程文本描述进行语义理解,以此来进行康复任务类型的推荐。应可以理解,这里,患者的肌电信号、呼吸频率值和心率值参数能够提供关于患者身体状态的有用信息,例如肌电信号可以反映患者肌肉的运动情况和运动强度等,而呼吸频率值和心率值则可反映患者的生理状况和身体健康情况,而患者的康复进程文本描述能够帮助识别和了解患者正在接受的康复项目,推测其需要进行的具体康复任务类型。但是,由于所述患者的肌电信号、以及呼吸频率值和心率值之间具有着时序的协同关联特征,并且其与患者的康复进程文本描述的语义理解特征之间具有着关联性的特征信息。因此,在此过程中,难点在于如何进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达,以此来准确地进行患者的康复状态检测评估,从而根据患者当前康复需求,选择合适的康复任务类型,实现更精准的康复机器人交互行为控制。
近年来,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息提供了新的解决思路和方案。
具体地,在本申请的技术方案中,首先,获取被监测患者在预定时间段的肌电信号,以及,在所述预定时间段内多个预定时间点的呼吸频率值和心率值。应可以理解,对于康复机器人交互行为的控制,需要考虑患者当前的身体状态和康复进程等因素,而所述肌电信号、所述呼吸频率值和所述心率值参数能够提供关于所述被监测患者的身体状态有用信息。具体来说,所述肌电信号可以反映患者肌肉的运动情况和运动强度等,而所述呼吸频率值和所述心率值则可反映患者的生理状况和身体健康情况。因此,获取所述被监测患者在预定时间段的肌电信号和呼吸频率值和心率值等参数,能够帮助康复机器人更好地了解患者当前的身体情况,并根据身体情况选择合适的康复任务和场景,从而实现针对性更强、效果更好的康复机器人交互行为控制。
接着,考虑到由于所述肌电信号为时域连续信号,其在采集的过程中极易受到噪声干扰,导致对于所述肌电信号的分析精度下降,影响后续的康复任务类型推荐。并且,还考虑到由于所述呼吸频率值和所述心率值为离散信号,为了能够更准确地捕捉这三者数据之间的时域协同关联特征信息,在本申请的技术方案中,进一步对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值,并将所述多个预定时间点的呼吸频率值和心率值,以及,所述多个肌电频域统计特征值排列为参数聚合矩阵,以此来整合所述患者的肌电信号、呼吸频率值和心率值在时序上的分布信息。
然后,使用在隐含关联特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来进行所述参数聚合矩阵的特征挖掘,以提取出所述患者的肌电信号、呼吸频率值和心率值在时间维度上的时序协同关联特征分布信息,从而得到参数关联特征向量。
进一步地,为了能够提高对于所述被监测患者的康复进程分析,需要获取所述被监测患者的康复进程文本描述,以更好地理解和分析患者当前状态下需要进行的康复任务类型。应可以理解,在进行康复机器人交互行为控制时,仅考虑所述患者的肌电信号、呼吸频率值和心率值等参数可能无法完全反映该患者当前的康复需求和实际情况。而通过获取所述被监测患者的康复进程文本描述,可以进一步识别和了解该患者正在接受的康复项目,推测其需要进行的具体康复任务类型,例如提高某个关节灵活性、改善特定运动能力和恢复步态等,从而根据患者当前康复需求,选择合适的康复任务和场景,并最终实现更精准的康复机器人交互行为控制。
接着,考虑到由于所述被监测患者的康复进程文本描述是由多个词组成的,并且各个词之间具有着上下文的语义关联关系,因此,为了能够进行所述被监测患者的康复进程文本描述的语义理解,以此来提高康复任务类型的推荐精准度,在本申请的技术方案中,需要进一步对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器中进行编码,以提取出所述被监测患者的康复进程文本描述中基于全局的上下文语义关联特征信息,从而得到康复进程语义理解特征向量。
然后,对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵,以此来表示所述患者的各参数时序协同关联特征和所述患者康复进程的语义理解特征之间的关联性特征分布信息,这样能够有利于进行患者当前康复状态的检测评估。进一步地,再将所述分类特征矩阵通过分类器中进行分类处理,以得到用于表示推荐的康复任务类型标签的分类结果。也就是,在本申请的技术方案中,所述分类器的标签为推荐的康复任务类型标签,因此,在得到所述分类结果后,可基于所述分类结果来进行康复任务的推荐。例如,如果患者正在恢复步态,机器人可以选择模拟步态运动并提供支持。
特别地,在本申请的技术方案中,对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码得到所述分类特征矩阵时,在逐位置关联编码的情况下,例如,所述分类特征矩阵的每个行向量可以看作为所述参数关联特征向量的每个特征值与所述康复进程语义理解特征向量整体的关联特征向量,或者,所述分类特征矩阵的每个列向量可以看作为参数关联特征向量整体与所述康复进程语义理解特征向量的每个特征值的关联特征向量。因此,以前一种情况为例,所述分类特征矩阵可以被看作为各个行特征向量拼接得到的特征矩阵,由此,在将所述分类特征矩阵作为整体通过分类器进行分类回归时,期望通过提高所述分类特征矩阵的特征分布的整体性来提升分类效果。
基于此,本申请的申请人对所述分类特征矩阵,例如记为Mc进行向量谱聚类代理学习融合优化,表示为:
其中,V1~Vn表示所述分类特征矩阵Mc的各个行特征向量,且D v 是相应的特征向量之间的距离组成的距离矩阵。
这里,在所述分类特征矩阵的各个行特征向量拼接后通过分类器进行分类回归时,由于各个行特征向量的内部类回归语义特征会与合成噪声特征发生混淆,从而导致有意义的类回归语义特征与噪声特征之间分界的模糊性,因此,所述向量谱聚类代理学习融合优化通过引入用于表示特征向量间的空间布局和语义相似性的谱聚类代理学习,来利用类回归语义特征和类回归场景之间的关联的概念化信息,对各个行特征向量间的潜在关联属性进行隐性监督传播,从而提高合成特征的整体分布依赖性,由此提升所述分类特征矩阵通过分类器进行分类回归的分类效果。这样,能够准确地进行患者的康复状态检测评估,从而根据患者当前康复需求,选择合适的康复任务类型,实现更精准的康复机器人交互行为控制。
以上在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
图1是本申请实施例的康复机器人交互行为的控制方法的示意性流程图。如图1所示,所述康复机器人交互行为的控制方法,包括:S110,获取被监测患者在预定时间段的肌电信号,以及,在所述预定时间段内多个预定时间点的呼吸频率值和心率值;S120,对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值;S130,将所述多个预定时间点的呼吸频率值和心率值,以及,所述多个肌电频域统计特征值排列为参数聚合矩阵;S140,将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量;S150,获取所述被监测患者的康复进程文本描述;S160,对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量;S170,对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵;S180,对分类特征矩阵进行特征优化以得到优化分类特征矩阵;以及,S190,将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签。
图2是本申请实施例的康复机器人交互行为的控制方法的模型架构的示意图。如图2所示,所述康复机器人交互行为的控制方法的模型架构的输入分别为被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值,以及,所述被监测患者的康复进程文本描述。首先,对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值。然后,将所述多个预定时间点的呼吸频率值和心率值,以及,所述多个肌电频域统计特征值排列为参数聚合矩阵。接着,将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量。同时,对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量。再然后,对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵,并对分类特征矩阵进行特征优化以得到优化分类特征矩阵。最后,将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签。
步骤S110,获取被监测患者在预定时间段的肌电信号,以及,在所述预定时间段内多个预定时间点的呼吸频率值和心率值。应理解,于康复机器人交互行为的控制,需要考虑患者当前的身体状态和康复进程等因素,而所述肌电信号、所述呼吸频率值和所述心率值参数能够提供关于所述被监测患者的身体状态有用信息。具体来说,所述肌电信号可以反映患者肌肉的运动情况和运动强度等,而所述呼吸频率值和所述心率值则可反映患者的生理状况和身体健康情况。因此,获取所述被监测患者在预定时间段的肌电信号和呼吸频率值和心率值等参数,能够帮助康复机器人更好地了解患者当前的身体情况,并根据身体情况选择合适的康复任务和场景,从而实现针对性更强、效果更好的康复机器人交互行为控制。
步骤S120,对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值。应理解,考虑到由于所述肌电信号为时域连续信号,其在采集的过程中极易受到噪声干扰,导致对于所述肌电信号的分析精度下降,影响后续的康复任务类型推荐,因此,对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值。
步骤S130,将所述多个预定时间点的呼吸频率值和心率值,以及,所述多个肌电频域统计特征值排列为参数聚合矩阵。应理解,考虑到由于所述呼吸频率值和所述心率值为离散信号,为了能够更准确地捕捉这三者数据之间的时域协同关联特征信息,在本申请的技术方案中,进一步将所述多个预定时间点的呼吸频率值和心率值,以及,所述多个肌电频域统计特征值排列为参数聚合矩阵,以此来整合所述患者的肌电信号、呼吸频率值和心率值在时序上的分布信息。
步骤S140,将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量。应理解,考虑到所述患者的肌电信号、呼吸频率值和心率值在时序上蕴含丰富的信息,而作为过滤器的卷积神经网络模型在隐含关联特征提取方面具有优异表现,因此,使用作为过滤器的卷积神经网络模型来进行所述参数聚合矩阵的特征挖掘,以提取出所述患者的肌电信号、呼吸频率值和心率值在时间维度上的时序协同关联特征分布信息,从而得到参数关联特征向量。
可选地,在本申请一实施例中,将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量,包括:使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:基于卷积核对所述输入数据进行卷积处理以生成卷积特征图;对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图;以及,对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图;其中,所述卷积神经网络模型的最后一层的输出为所述参数关联特征向量,所述卷积神经网络模型的第二层至最后一层的输入为上一层的输出,所述卷积神经网络模型的输入为所述参数聚合矩阵。
可选地,在本申请的另一实施例中,将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量,包括:使用所述作为特征提取器的卷积神经网络模型以如下公式对所述参数聚合矩阵进行处理以得到所述参数关联特征向量;
其中,所述公式为:
其中,fi-1为第i层卷积神经网络模型的输入,fi为第i层卷积神经网络模型的输出,Ni为第i层卷积神经网络模型的过滤器,且Bi为第i层卷积神经网络模型的偏置矩阵,Sigmoid表示非线性激活函数,且GAP表示对特征图的每个特征矩阵进行局部特征池化操作。
步骤S150,获取所述被监测患者的康复进程文本描述。应理解,为了能够提高对于所述被监测患者的康复进程分析,需要获取所述被监测患者的康复进程文本描述,以更好地理解和分析患者当前状态下需要进行的康复任务类型。应可以理解,在进行康复机器人交互行为控制时,仅考虑所述患者的肌电信号、呼吸频率值和心率值等参数可能无法完全反映该患者当前的康复需求和实际情况。而通过获取所述被监测患者的康复进程文本描述,可以进一步识别和了解该患者正在接受的康复项目,推测其需要进行的具体康复任务类型,例如提高某个关节灵活性、改善特定运动能力和恢复步态等,从而根据患者当前康复需求,选择合适的康复任务和场景,并最终实现更精准的康复机器人交互行为控制。
步骤S160,对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量。应理解,考虑到由于所述被监测患者的康复进程文本描述是由多个词组成的,并且各个词之间具有着上下文的语义关联关系,因此,为了能够进行所述被监测患者的康复进程文本描述的语义理解,以此来提高康复任务类型的推荐精准度,在本申请的技术方案中,需要进一步对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器中进行编码,以提取出所述被监测患者的康复进程文本描述中基于全局的上下文语义关联特征信息,从而得到康复进程语义理解特征向量。
图3是本申请实施例的康复机器人交互行为的控制方法中对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量的示意性流程图。可选地,在本申请一实施例中,对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量,包括:S210,对所述被监测患者的康复进程文本描述进行分词处理以得到康复词序列;S220,将所述康复词序列通过所述语义编码器的词嵌入层以得到康复词嵌入向量的序列;S230,将所述康复词嵌入向量的序列通过所述语义编码器的基于转换器的Bert模型以得到多个康复词语义特征向量;以及,S240,将所述多个康复词语义特征向量进行级联以得到所述康复进程语义理解特征向量。
步骤S170,对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵。应理解,对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵,以此来表示所述患者的各参数时序协同关联特征和所述患者康复进程的语义理解特征之间的关联性特征分布信息,这样能够有利于进行患者当前康复状态的检测评估,
可选地,在本申请一实施例中,对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵,包括:以如下关联编码公式对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到所述分类特征矩阵;其中,所述关联编码公式为:
步骤S180,对分类特征矩阵进行特征优化以得到优化分类特征矩阵。应理解,本申请的技术方案中,对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码得到所述分类特征矩阵时,在逐位置关联编码的情况下,例如,所述分类特征矩阵的每个行向量可以看作为所述参数关联特征向量的每个特征值与所述康复进程语义理解特征向量整体的关联特征向量,或者,所述分类特征矩阵的每个列向量可以看作为参数关联特征向量整体与所述康复进程语义理解特征向量的每个特征值的关联特征向量。因此,以前一种情况为例,所述分类特征矩阵可以被看作为各个行特征向量拼接得到的特征矩阵,由此,在将所述分类特征矩阵作为整体通过分类器进行分类回归时,期望通过提高所述分类特征矩阵的特征分布的整体性来提升分类效果。
可选地,在本申请一实施例中,对分类特征矩阵进行特征优化以得到优化分类特征矩阵,包括:以如下优化公式对所述分类特征矩阵进行向量谱聚类代理学习融合优化以得到所述优化分类特征矩阵;其中,所述优化公式为:
其中,Mc是所述分类特征矩阵,M'c是所述优化分类特征矩阵,V1~Vn表示所述分类特征矩阵的各个行特征向量,且D V 是所述分类特征矩阵的每两个相应行特征向量之间的距离组成的距离矩阵,exp(·)表示矩阵的指数运算,所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值,⊙和⊕分别表示按位置点乘和矩阵加法。
这里,在所述分类特征矩阵的各个行特征向量拼接后通过分类器进行分类回归时,由于各个行特征向量的内部类回归语义特征会与合成噪声特征发生混淆,从而导致有意义的类回归语义特征与噪声特征之间分界的模糊性,因此,所述向量谱聚类代理学习融合优化通过引入用于表示特征向量间的空间布局和语义相似性的谱聚类代理学习,来利用类回归语义特征和类回归场景之间的关联的概念化信息,对各个行特征向量间的潜在关联属性进行隐性监督传播,从而提高合成特征的整体分布依赖性,由此提升所述分类特征矩阵通过分类器进行分类回归的分类效果。这样,能够准确地进行患者的康复状态检测评估,从而根据患者当前康复需求,选择合适的康复任务类型,实现更精准的康复机器人交互行为控制。
步骤S190,将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签。应理解,在本申请的技术方案中,所述分类器的标签为推荐的康复任务类型标签,因此,在得到所述分类结果后,可基于所述分类结果来进行康复任务的推荐。例如,如果患者正在恢复步态,机器人可以选择模拟步态运动并提供支持。
图4是本申请实施例的康复机器人交互行为的控制方法中将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签的示意性流程图。可选地,在本申请一实施例中,将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签,包括:S310,将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量;S320,使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量;以及,S330,将所述全连接编码特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
可选地,在本申请另一实施例中,将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签,包括:将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量;以及,使用所述分类器以如下分类公式对所述分类特征向量进行处理以得到所述分类结果;
其中,所述分类公式为:
其中0为所述分类特征向量,Wi和bi分别为第i个分类对应的权重和偏置向量,exp(·)表示以向量中各个位置的特征值为幂的自然指数函数值,x所述分类特征向量。
综上,本申请提供的一种康复机器人交互行为的控制方法,其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值,以及,所述被监测患者的康复进程文本描述;然后,通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达,以此来准确地进行患者的康复状态检测评估,从而根据患者当前康复需求,选择合适的康复任务类型,实现更精准的康复机器人交互行为控制。
图5是本申请实施例的康复机器人交互行为的控制系统的示意性框图。如图5所示,所述康复机器人交互行为的控制系统100,包括:数据获取模块110,用于获取被监测患者在预定时间段的肌电信号,以及,在所述预定时间段内多个预定时间点的呼吸频率值和心率值;频域变换模块120,用于对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值;排列矩阵模块130,用于将所述多个预定时间点的呼吸频率值和心率值,以及,所述多个肌电频域统计特征值排列为参数聚合矩阵;卷积编码模块140,用于将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量;文本获取模块150,用于获取所述被监测患者的康复进程文本描述;语义编码模块160,用于对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量;关联编码模块170,用于对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵;特征优化模块180,用于对分类特征矩阵进行特征优化以得到优化分类特征矩阵;以及,分类模块190,用于将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签。
可选地,在本申请一实施例中,所述卷积编码模块140,用于:使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:基于卷积核对所述输入数据进行卷积处理以生成卷积特征图;对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图;以及对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图;其中,所述卷积神经网络模型的最后一层的输出为所述参数关联特征向量,所述卷积神经网络模型的第二层至最后一层的输入为上一层的输出,所述卷积神经网络模型的输入为所述参数聚合矩阵。
可选地,在本申请一实施例中,所述语义编码模块160,包括:分词处理单元,用于对所述被监测患者的康复进程文本描述进行分词处理以得到康复词序列;词嵌入单元,用于将所述康复词序列通过所述语义编码器的词嵌入层以得到康复词嵌入向量的序列;转换器编码单元,用于将所述康复词嵌入向量的序列通过所述语义编码器的基于转换器的Bert模型以得到多个康复词语义特征向量;以及,级联单元,用于将所述多个康复词语义特征向量进行级联以得到所述康复进程语义理解特征向量。
可选地,在本申请一实施例中,所述关联编码模块170,用于:以如下关联编码公式对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到所述分类特征矩阵;其中,所述关联编码公式为:
可选地,在本申请一实施例中,所述特征优化模块180,用于:以如下优化公式对所述分类特征矩阵进行向量谱聚类代理学习融合优化以得到所述优化分类特征矩阵;
其中,所述优化公式为:
其中,Mc是所述分类特征矩阵,M'c是所述优化分类特征矩阵,V1~Vn表示所述分类特征矩阵的各个行特征向量,且 D v 是所述分类特征矩阵的每两个相应行特征向量之间的距离组成的距离矩阵,exp(·)表示矩阵的指数运算,所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值,⊙和⊕分别表示按位置点乘和矩阵加法。
可选地,在本申请一实施例中,所述分类模块190,包括:分类特征向量获取单元,用于将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量;全连接编码单元,用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量;以及,分类结果获取单元,用于将所述全连接编码特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
这里,本领域技术人员可以理解,上述康复机器人交互行为的控制系统中的各个模块或单元的具体操作已经在上面参考图1到图4的康复机器人交互行为的控制方法的描述中得到了详细介绍,并因此,将省略其重复描述。
本发明实施例还提供一种芯片系统,芯片系统包括至少一个处理器,当程序指令在该至少一个处理器中执行时,使得本申请实施例提供的方法得以实现。
本发明实施例还提供一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得,该计算机执行上述方法实施例的方法。
本发明实施例还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
Claims (10)
1.一种康复机器人交互行为的控制方法,其特征在于,包括:
获取被监测患者在预定时间段的肌电信号,以及,在所述预定时间段内多个预定时间点的呼吸频率值和心率值;
对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值;
将所述多个预定时间点的呼吸频率值和心率值,以及,所述多个肌电频域统计特征值排列为参数聚合矩阵;
将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量;
获取所述被监测患者的康复进程文本描述;
对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量;
对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵;
对所述分类特征矩阵进行特征优化以得到优化分类特征矩阵;以及
将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签。
2.根据权利要求1所述的康复机器人交互行为的控制方法,其特征在于,将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量,包括:使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:
基于卷积核对所述输入数据进行卷积处理以生成卷积特征图;
对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图;以及
对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图;
其中,所述卷积神经网络模型的最后一层的输出为所述参数关联特征向量,所述卷积神经网络模型的第二层至最后一层的输入为上一层的输出,所述卷积神经网络模型的输入为所述参数聚合矩阵。
3.根据权利要求2所述的康复机器人交互行为的控制方法,其特征在于,对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量,包括:
对所述被监测患者的康复进程文本描述进行分词处理以得到康复词序列;
将所述康复词序列通过所述语义编码器的词嵌入层以得到康复词嵌入向量的序列;
将所述康复词嵌入向量的序列通过所述语义编码器的基于转换器的Bert模型以得到多个康复词语义特征向量;以及
将所述多个康复词语义特征向量进行级联以得到所述康复进程语义理解特征向量。
6.根据权利要求5所述的康复机器人交互行为的控制方法,其特征在于,将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签,包括:
将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量;
使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量;以及
将所述全连接编码特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
7.一种康复机器人交互行为的控制系统,其特征在于,包括:
数据获取模块,用于获取被监测患者在预定时间段的肌电信号,以及,在所述预定时间段内多个预定时间点的呼吸频率值和心率值;
频域变换模块,用于对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值;
排列矩阵模块,用于将所述多个预定时间点的呼吸频率值和心率值,以及,所述多个肌电频域统计特征值排列为参数聚合矩阵;
卷积编码模块,用于将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量;
文本获取模块,用于获取所述被监测患者的康复进程文本描述;
语义编码模块,用于对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量;
关联编码模块,用于对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵;
特征优化模块,用于对分类特征矩阵进行特征优化以得到优化分类特征矩阵;以及
分类模块,用于将所述优化分类特征矩阵通过分类器以得到分类结果,所述分类结果用于表示推荐的康复任务类型标签。
10.根据权利要求9所述的康复机器人交互行为的控制系统,其特征在于,所述分类模块,包括:
分类特征向量获取单元,用于将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量;
全连接编码单元,用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量;以及
分类结果获取单元,用于将所述全连接编码特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310635568.XA CN116431004B (zh) | 2023-06-01 | 2023-06-01 | 康复机器人交互行为的控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310635568.XA CN116431004B (zh) | 2023-06-01 | 2023-06-01 | 康复机器人交互行为的控制方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116431004A true CN116431004A (zh) | 2023-07-14 |
CN116431004B CN116431004B (zh) | 2023-08-29 |
Family
ID=87080007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310635568.XA Active CN116431004B (zh) | 2023-06-01 | 2023-06-01 | 康复机器人交互行为的控制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116431004B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117577270A (zh) * | 2024-01-15 | 2024-02-20 | 吉林大学 | 患者的智能化营养管理方法及系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140006013A1 (en) * | 2012-05-24 | 2014-01-02 | International Business Machines Corporation | Text mining for large medical text datasets and corresponding medical text classification using informative feature selection |
KR101507700B1 (ko) * | 2015-01-27 | 2015-04-07 | 박찬흠 | 손 동작 인식에 의한 컴퓨터 재활 치료 방법 |
CN105213153A (zh) * | 2015-09-14 | 2016-01-06 | 西安交通大学 | 基于脑肌信息变阻抗的下肢康复机器人控制方法 |
CN111931717A (zh) * | 2020-09-22 | 2020-11-13 | 平安科技(深圳)有限公司 | 基于语义和图像识别的心电信息提取方法及装置 |
CN115116592A (zh) * | 2022-07-28 | 2022-09-27 | 天津市天津医院 | 医院综合信息管理系统及其管理方法 |
CN115500843A (zh) * | 2022-09-14 | 2022-12-23 | 云南大学 | 基于零样本学习与对比学习的睡眠阶段分期方法 |
CN115564203A (zh) * | 2022-09-23 | 2023-01-03 | 杭州国辰智企科技有限公司 | 基于多维数据协同的设备实时性能评估系统及其方法 |
CN115624321A (zh) * | 2022-11-08 | 2023-01-20 | 深圳市鑫一代科技有限公司 | 一种台式健康监测仪 |
CN115660569A (zh) * | 2022-09-07 | 2023-01-31 | 杭州聚医智联科技有限公司 | 居家养老智慧管理平台及其方法 |
CN115830718A (zh) * | 2023-02-14 | 2023-03-21 | 福建中医药大学 | 基于步态识别预测康复训练效果的数据处理系统 |
CN115981470A (zh) * | 2022-12-29 | 2023-04-18 | 杭州叶蓁科技有限公司 | 基于特征联合编码的手势识别方法及其系统 |
CN116189865A (zh) * | 2023-03-30 | 2023-05-30 | 浙江大学 | 医院预约登记管理系统 |
-
2023
- 2023-06-01 CN CN202310635568.XA patent/CN116431004B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140006013A1 (en) * | 2012-05-24 | 2014-01-02 | International Business Machines Corporation | Text mining for large medical text datasets and corresponding medical text classification using informative feature selection |
KR101507700B1 (ko) * | 2015-01-27 | 2015-04-07 | 박찬흠 | 손 동작 인식에 의한 컴퓨터 재활 치료 방법 |
CN105213153A (zh) * | 2015-09-14 | 2016-01-06 | 西安交通大学 | 基于脑肌信息变阻抗的下肢康复机器人控制方法 |
CN111931717A (zh) * | 2020-09-22 | 2020-11-13 | 平安科技(深圳)有限公司 | 基于语义和图像识别的心电信息提取方法及装置 |
CN115116592A (zh) * | 2022-07-28 | 2022-09-27 | 天津市天津医院 | 医院综合信息管理系统及其管理方法 |
CN115660569A (zh) * | 2022-09-07 | 2023-01-31 | 杭州聚医智联科技有限公司 | 居家养老智慧管理平台及其方法 |
CN115500843A (zh) * | 2022-09-14 | 2022-12-23 | 云南大学 | 基于零样本学习与对比学习的睡眠阶段分期方法 |
CN115564203A (zh) * | 2022-09-23 | 2023-01-03 | 杭州国辰智企科技有限公司 | 基于多维数据协同的设备实时性能评估系统及其方法 |
CN115624321A (zh) * | 2022-11-08 | 2023-01-20 | 深圳市鑫一代科技有限公司 | 一种台式健康监测仪 |
CN115981470A (zh) * | 2022-12-29 | 2023-04-18 | 杭州叶蓁科技有限公司 | 基于特征联合编码的手势识别方法及其系统 |
CN115830718A (zh) * | 2023-02-14 | 2023-03-21 | 福建中医药大学 | 基于步态识别预测康复训练效果的数据处理系统 |
CN116189865A (zh) * | 2023-03-30 | 2023-05-30 | 浙江大学 | 医院预约登记管理系统 |
Non-Patent Citations (3)
Title |
---|
HOU F. ET AL.: "Deep feature pyramid network for EEG emotion recognition", 《万方数据库》 * |
仲美玉;赵逢达;窦燕;袁丽;贾冀状;舒世洋;王荣雪;: "YSU-Ⅱ下肢康复机器人智能交互系统的设计与实现", 高技术通讯, no. 09 * |
金玮: "基于词向量和深度学习模型的医疗数据分析方法研究", 《万方数据库》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117577270A (zh) * | 2024-01-15 | 2024-02-20 | 吉林大学 | 患者的智能化营养管理方法及系统 |
CN117577270B (zh) * | 2024-01-15 | 2024-04-26 | 吉林大学 | 患者的智能化营养管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116431004B (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Qin et al. | U2-Net: Going deeper with nested U-structure for salient object detection | |
Yger et al. | Riemannian approaches in brain-computer interfaces: a review | |
CN110929622A (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
CN113326835B (zh) | 一种动作检测方法、装置、终端设备和存储介质 | |
CN108288051B (zh) | 行人再识别模型训练方法及装置、电子设备和存储介质 | |
CN109508686B (zh) | 一种基于层次化特征子空间学习的人体行为识别方法 | |
Zhang et al. | Learning implicit class knowledge for RGB-D co-salient object detection with transformers | |
CN116431004B (zh) | 康复机器人交互行为的控制方法及系统 | |
Kong et al. | Spatial context-aware network for salient object detection | |
CN116563302B (zh) | 智慧医疗信息管理系统及其方法 | |
CN113592769B (zh) | 异常图像的检测、模型的训练方法、装置、设备及介质 | |
Sui et al. | ScanDMM: A deep markov model of scanpath prediction for 360deg images | |
CN112489129A (zh) | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 | |
CN111242068B (zh) | 基于视频的行为识别方法、装置、电子设备和存储介质 | |
Klemmer et al. | Spate-gan: Improved generative modeling of dynamic spatio-temporal patterns with an autoregressive embedding loss | |
Sun et al. | Higher order polynomial transformer for fine-grained freezing of gait detection | |
CN114996495A (zh) | 一种基于多原型和迭代增强的单样本图像分割方法及装置 | |
CN116631619A (zh) | 术后弯腿训练监控系统及其方法 | |
CN114120245B (zh) | 基于深度神经网络的人群图像分析方法、装置以及设备 | |
CN110942463A (zh) | 一种基于生成对抗网络的视频目标分割方法 | |
WO2023108418A1 (zh) | 脑图谱构建及神经环路检测的方法和相关产品 | |
CN115886833A (zh) | 心电信号分类方法及装置、计算机可读介质、电子设备 | |
Huang et al. | Progressive context-aware dynamic network for salient object detection in optical remote sensing images | |
Zhang et al. | MetaRLEC: Meta-Reinforcement Learning for Discovery of Brain Effective Connectivity | |
Wang et al. | Temporal sparse feature auto‐combination deep network for video action recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |