CN116617011B - 基于生理信号的轮椅操控方法、装置、终端及介质 - Google Patents

基于生理信号的轮椅操控方法、装置、终端及介质 Download PDF

Info

Publication number
CN116617011B
CN116617011B CN202310900953.2A CN202310900953A CN116617011B CN 116617011 B CN116617011 B CN 116617011B CN 202310900953 A CN202310900953 A CN 202310900953A CN 116617011 B CN116617011 B CN 116617011B
Authority
CN
China
Prior art keywords
wheelchair
environmental
environment
control
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310900953.2A
Other languages
English (en)
Other versions
CN116617011A (zh
Inventor
胡方扬
魏彦兆
唐海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaozhou Technology Co ltd
Original Assignee
Xiaozhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaozhou Technology Co ltd filed Critical Xiaozhou Technology Co ltd
Priority to CN202310900953.2A priority Critical patent/CN116617011B/zh
Publication of CN116617011A publication Critical patent/CN116617011A/zh
Application granted granted Critical
Publication of CN116617011B publication Critical patent/CN116617011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/72—Electric energy management in electromobility

Abstract

本发明公开了一种基于生理信号的轮椅操控方法、装置、终端及介质，通过根据传感器数据确定轮椅使用者的操控意图和轮椅的真实移动轨迹，提取轮椅移动轨迹所在环境空间的环境特征，计算环境阻碍因子，当环境阻碍因子小于预设阈值时，继续采用根据生理信号数据判断出的操作意图来操控轮椅，否则，评估环境风险，根据环境风险不同，采用不同的轮椅控制策略。实现了轮椅的精确操控，能够应对各种复杂环境，避免复杂环境下发生碰撞的情况。

Description

基于生理信号的轮椅操控方法、装置、终端及介质
技术领域
本发明涉及智能控制技术领域，尤其涉及的是一种基于生理信号的轮椅操控方法、装置、终端及介质。
背景技术
随着脑机接口技术的迅速发展，有些智能轮椅能够对脑电信号实时解码，获得人的意图并转换为轮椅的控制指令，相对于传统的手动控制方式，控制更加简单和灵活。
但是在一些环境中，例如医院的走廊和病房，环境空间复杂，人的视线和注意力会受到影响，产生误判；而且也存在电磁信号干扰到脑电信号的情况，因此，轮椅操控不够有效和精准，可能引起碰撞。
因此，现有技术有待改进和提高。
发明内容
本发明的主要目的在于提供一种基于生理信号的轮椅操控方法、装置、智能终端及计算机可读存储介质，解决环境空间复杂时轮椅操控不够有效和精准的问题。
为了实现上述目的，本发明第一方面提供一种基于生理信号的轮椅操控方法，包括：
采集轮椅使用者的生理信号数据，将所述生理信号数据输入已训练的意图判断模型，获得轮椅使用者的操控意图；
获取轮椅上配置的传感器的检测数据，将所述检测数据输入已训练的轮椅操控状态判断模型，获得轮椅操控状态；
根据所述检测数据和所述轮椅操控状态，获得轮椅移动轨迹；
获取所述轮椅移动轨迹所在环境空间的环境数据，根据所述环境数据，计算环境阻碍因子；
当所述环境阻碍因子小于预设阈值时，根据所述操控意图操控轮椅；
否则，根据所述环境空间中的障碍物和所述环境空间的连通性计算环境复杂度，基于所述环境阻碍因子和所述环境复杂度，获得环境风险评估结果，根据所述环境风险评估结果获得轮椅控制策略，根据所述轮椅控制策略操控轮椅。
可选的，所述根据所述环境数据，计算环境阻碍因子，包括：
提取所述环境数据的特征值；
根据所述轮椅移动轨迹所在环境空间确定环境影响因素，根据环境影响因素的特征值，判定环境阻碍因素，所述环境阻碍因素为影响到视线、注意力或脑电信号的因素；
基于所有的所述环境阻碍因素，计算环境阻碍因子。
可选的，所述根据所述检测数据和所述轮椅操控状态，获得轮椅移动轨迹，包括：
基于所述轮椅操控状态和所述检测数据，根据运动学模型获得轮椅的实时位置和姿态；
根据所述实时位置和所述姿态进行三维重建，获得所述轮椅移动轨迹。
可选的，所述根据所述实时位置和所述姿态进行三维重建，获得所述轮椅移动轨迹，包括：
根据所述实时位置和所述姿态，重建三维点云，获得第一轨迹；
将移动过程中捕获的深度图像转换为三维体素，生成第二轨迹；
根据所述第一轨迹和所述第二轨迹重建三维空间，将所述姿态映射到所述三维空间，获得所述轮椅移动轨迹。
可选的，所述根据所述环境风险评估结果获得轮椅控制策略，根据所述轮椅控制策略操控轮椅，包括：
当所述环境风险评估结果为低风险时，所述轮椅控制策略为用于实现轮椅减速前进的碰撞预测策略；
当所述环境风险评估结果为中风险时，所述轮椅控制策略为用于辅助控制轮椅运动以实现避障的碰撞避让策略；
当所述环境风险评估结果为高风险时，所述轮椅控制策略为用于停止轮椅运动的应急制动策略；
根据所述轮椅控制策略操控轮椅。
可选的，当所述轮椅控制策略为碰撞预测策略时，所述根据所述轮椅控制策略操控轮椅，包括：
根据所述生理信号数据中的脑电信号，获得轮椅使用者的注意力方向；
获取所述环境空间中静态障碍物的第一移动趋势和移动目标的第二移动趋势；
根据所述操控状态，获得轮椅的第三运动趋势；
将所述注意力方向、所述第一移动趋势、所述第二移动趋势、所述第三移动趋势和所述轮椅移动轨迹输入碰撞预测模型；
当所述碰撞预测模型的预测结果为会碰撞时，操控轮椅减速前进。
可选的，获得所述碰撞预测模型的预测结果后，当所述轮椅控制策略为碰撞避让策略时，所述根据所述轮椅控制策略操控轮椅，包括：
根据所述预测结果，获取所述环境空间中存在碰撞风险的障碍物；
根据所述碰撞预测模型输出的碰撞风险级别，获得辅助操控级别；
根据所述辅助操控级别进行路径规划并根据规划后的路径操控轮椅以避开所述障碍物，和/或，对轮椅进行速度调控。
本发明第二方面提供一种基于生理信号的轮椅操控装置，其中，上述装置包括：
操控意图模块，用于采集轮椅使用者的生理信号数据，将所述生理信号数据输入已训练的意图判断模型，获得轮椅使用者的操控意图；
操控状态模块，用于获取轮椅上配置的传感器的检测数据，将所述检测数据输入已训练的轮椅操控状态判断模型，获得轮椅操控状态；
移动轨迹模块，用于根据所述检测数据和所述操控状态，获得轮椅移动轨迹；
环境阻碍因子模块，用于获取所述轮椅移动轨迹所在环境空间的环境数据，根据所述环境数据，计算环境阻碍因子；
操控模块，用于当所述环境阻碍因子小于预设阈值时，根据所述操控意图操控轮椅；否则，根据所述环境空间中的障碍物和所述环境空间的连通性计算环境复杂度，基于所述环境阻碍因子和所述环境复杂度，获得环境风险评估结果，根据所述环境风险评估结果获得轮椅控制策略，根据所述轮椅控制策略操控轮椅。
本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于生理信号的轮椅操控程序，上述基于生理信号的轮椅操控程序被上述处理器执行时实现任意一项上述基于生理信号的轮椅操控方法的步骤。
本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于生理信号的轮椅操控程序，上述基于生理信号的轮椅操控程序被处理器执行时实现任意一项上述基于生理信号的轮椅操控方法的步骤。
由上可见，本发明通过根据传感器数据确定轮椅使用者的操控意图和轮椅的真实移动轨迹，提取轮椅移动轨迹所在环境空间的环境特征，计算环境阻碍因子，当环境阻碍因子小于预设阈值时，继续采用根据生理信号数据判断出的操作意图来操控轮椅，否则，评估环境风险，根据环境风险不同，采用不同的轮椅控制策略。实现了轮椅的精确操控，能够应对各种复杂环境，避免复杂环境下发生碰撞的情况。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的基于生理信号的轮椅操控方法流程示意图；
图2为计算环境阻碍因子的流程示意图；
图3为根据碰撞预测策略操控轮椅的流程示意图；
图4为根据碰撞避让策略操控轮椅的流程示意图；
图5是本发明实施例提供的基于生理信号的轮椅操控装置的结构示意图；
图6是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
近年来,随着脑机接口技术的迅速发展，利用脑电信号实时解码人的意图并转换为控制指令已成为可能。其中，稳态视觉诱发电位(SSVEP)是较为常用的一种检测方法。通过检测受试者观看不同方向光标或视觉刺激引起的稳态视觉诱发电位，可以判断视觉注意力的空间转移方向，将此作为设备的控制信号，实现意向驱动装置运动方向的自然控制。
然而，现有通过稳态视觉诱发电位实现脑控轮椅大多适用于简单环境，难以适应复杂场景。特别是在医院环境内，空间复杂、障碍物较多、室内定位不精准且脑电信号容易受到电磁信号的干扰。导致轮椅操控不够精准和有效，难以避免发生碰撞的情况。
本发明通过采集各种生理信号数据来判断轮椅使用者的操作意图，根据传感器数据确定轮椅的真实移动轨迹，提取当前环境的特征，评估环境复杂度风险，当环境复杂度风险不高时，继续通过操作意图操控轮椅，否则，采用相应的轮椅控制策略，如碰撞预测、避障规划和紧急制动。实现精确操控轮椅，适用于各种环境空间，也能避免复杂环境下发生碰撞。
方法实施例
本发明实施例提供了一种基于生理信号的轮椅操控方法，部署于轮椅的控制芯片上，用于实现医院环境中轮椅的智能操控。需要说明的是，虽然本实施例以医院环境为例进行说明，但并不仅限于此应用场合，还可以应用在任何复杂环境空间的场合。
如图1所示，本实施例具体包括如下步骤：
步骤S100：采集轮椅使用者的生理信号数据，将生理信号数据输入已训练的意图判断模型，获得轮椅使用者的操控意图；
生理信号数据包括脑电信号、视线方向、语音指令和面部表情等，但并不限于这些。具体地，使用脑电信号采集装置（如脑电头环）采集脑电信号，使用脑电头环内置的眼动追踪传感器或摄像头采集视线方向，使用脑电头环上的麦克风阵列采集语音指令，使用脑电头环上的摄像头捕获用户面部表情的图像。
首先对每个轮椅使用者进行标准化实验，收集其在进行不同思维活动时（如前进、转弯等）的上述生理信号数据，使用这些采集的数据训练意图判断模型。具体过程为：对采集到的生理信号数据进行数字信号处理，提取能够代表轮椅使用者意图的特征量，获得其在不同意图条件下对应的特征向量xi，构成最终用于训练意图判断模型的样本集。上述特征向量包括：脑电信号的功率谱密度、频率等，视线方向的变化率、注视持续时间等，语音指令的频谱特征、语义信息等，面部表情的眉毛形状、眼睛大小、嘴巴张合程度等。再根据上述样本集训练意图判断模型，获得已训练的意图判断模型。
其中，意图判断模型可以为现有的各种网络模型，用来判断轮椅使用者的操控意图，如前进、转左、转右等。
本实施例的意图判断模型为支持向量机（SVM），首先对上述采样到的生理信号数据进行处理，获得训练样本集，选择合适的核函数和正则化参数C，使用SVM学习算法求解最优分类超平面，即：/>。获得最终的模型参数为：/>，/>。其中，/>为拉格朗日乘子，SV为支持向量的索引。
意图判断模型训练好后，当根据采集的生理信号数据获得新样本时,将其带入分类函数，/>。选择合适的核函数/>计算/>。/>的值即为轮椅使用者的各种操控意图的类别（前进、转左、转右）的概率。
为了更加准确地识别操控意图，本实施例的意图判断模型为多种分类模型（视线方向模型、语音模型、面部表情模型和脑电信号模型）的融合。通过表决法或加权法将各个分类模型的判断结果进行综合考量，获得最终的操控意图。例如：假定视线方向模型为SVM1，语音指令模型为SVM2，脑电信号模型为SVM3。当获得新样本时，，/>，/>，然后使用投票或加权的方法得到最终结果，/>，/>即为各种操控意图的类别的概率。其中，/>为融合权重，可以通过交叉验证在训练样本上进行调优，得到最佳的融合权重。
步骤S200：获取轮椅上配置的传感器的检测数据，将检测数据输入已训练的轮椅操控状态判断模型，获得轮椅操控状态；
为获取丰富的状态信息，采用了多种传感器进行数据采集，包括：采用陀螺仪检测轮椅的角速度信息、判断转弯状态及转弯角度；采用编码器检测轮子转速信息、判断直行或后退状态及速度大小；采用深度相机采集环境图像信息，通过图像处理判断路面类型、障碍物等；采用闭环电流检测轮椅驱动电机的电流信息，判断加速或减速趋势，推断运动状态。这些传感器的检测数据被整合后输入已训练的轮椅操控状态判断模型，实现对复杂的轮椅操控状态的判断，如：直行、后退、拐弯、旋转、静止等。
本实施例的轮椅操控状态判断模型基于三维卷积神经网络(3D CNN)构建。3D CNN可有效处理三维数据(时空序列)，提取时域和空域的特征信息，3D CNN可充分利用时空特征信息，与二维CNN相比对序列数据的判断精度更高。然后通过卷积层和池化层实现特征提取，通过全连接层进行高级特征整合，然后采用Softmax分类器判断不同操控状态，实现多分类任务。需要说明的是，轮椅操控状态判断模型的网络结构可自定义，并可以根据样本复杂程度选择合适的层数和参数。
具体地，训练轮椅操控状态判断模型时，可采用GPU加速训练，以处理大规模数据集，获得高性能的已训练的轮椅操控状态判断模型。训练轮椅操控状态判断模型时，需要构建包含丰富标注样本的数据集。主要包括：用户控制数据，即用户利用脑电信号控制轮椅进行不同状态的运动，如直行、转弯、后退等；同步记录多源传感器的数据；环境仿真数据，在轮椅运动学仿真环境中模拟不同操控状态，记录相应的传感器数据；标注数据，对采集的数据集进行标注，判断每组数据对应的操控状态，将上述数据构建为训练数据集。以上采集的数据集包含丰富的状态变化信息，可用于训练出鲁棒性高的轮椅操控状态判断模型。然后将采集的数据集随机划分为训练数据集(80%)、验证数据集(10%)和测试数据集(10%)。设置3D CNN模型的层数、过滤器大小、激活函数、学习率、迭代轮数等超参数；用训练数据集训练3D CNN模型，对验证数据集评估误差，调整超参数以优化模型。3D CNN模型在训练过程中，不同卷积层可提取输入数据的低级特征到高级特征，形成特征层次系。通过全连接层和Softmax分类器，高级特征被推断到指定的轮椅操控状态上，建立特征到轮椅操控状态的映射。用测试数据集评估模型在未知数据上的判断精度，判断模型泛化能力并进行调优；通过添加正则化项、更大数据集、组件更替等方法提高模型泛化能力与判断精度，根据实际应用效果，对模型进行简单的微调，优化对特定环境下的数据的判断能力。
在一个示例中，获得已训练的意图判断模型后，训练轮椅操控状态判断模型时，还持续采集用户各种生理信号数据判断轮椅使用者的操控意图，同时检测用户的实际操控行为，通过对比两者以验证轮椅操控状态判断模型的有效性，并根据验证结果不断优化意图判断模型中的各个模型和融合机制，最大限度减少误差，提高轮椅使用者的操控意图判断的准确度。
步骤S300：根据检测数据和轮椅操控状态，获得轮椅移动轨迹；
轮椅移动轨迹为以当前时刻为起始时刻，后续一段时间的轮椅移动距离和方向。例如：后续30秒的轮椅移动距离和方向。根据轮椅上安装的传感器的实时检测数据和轮椅操控状态，就可以计算出轮椅移动距离和方向从而确定轮椅移动轨迹。
具体地，实时采集编码器、陀螺仪、深度相机等多源传感器的检测数据，将检测数据输入已训练的轮椅操控状态判断模型，推断出当前的轮椅操控状态后，如直行、转弯等。再根据判断出的轮椅操控状态和传感器的检测数据，采用运动学模型计算轮椅的实时位置和姿态。具体方法为：直行时，根据编码器数据计算移动距离，更新位置，姿态不变；转弯时，根据陀螺仪数据计算转弯角度，更新姿态，位置修正；后退时，根据编码器数据计算移动距离，更新位置，姿态180°转向。
计算出轮椅的实时位置和姿态后，根据实时位置和姿态采用三维重建算法重建轨迹，得到轮椅移动轨迹，即轮椅在三维空间的移动轨迹。具体过程为：先根据实时位置和姿态进行点云重建，将位姿数据转化为三维点云，生成移动轨迹，即第一轨迹；然后进行体素重建，将移动过程中捕获的深度图像转化为三维体素，生成第二轨迹；再进行三角化重建，从第一轨迹和第二轨迹两个视角重建三维空间，将位姿映射到三维空间，得到完整轨迹，即轮椅移动轨迹。
可选的，还可以将重建出的轮椅移动轨迹以可视化方式显示给用户，为环境感知和障碍避免提供参考。
步骤S400：获取轮椅移动轨迹所在环境空间的环境数据，根据环境数据，计算环境阻碍因子；
环境数据包括使用摄像头、声音传感器、光传感器、温度传感器、电磁传感器等获取的环境图像、声音、温度、电磁和光照强度信息，但上述内容并不构成对环境数据的限定，环境数据可以根据场景具体设定。环境阻碍因子用于衡量环境因素对脑电操控的影响程度。
具体地，将环境数据输入卷积神经网络提取环境特征，如：边缘、纹理、角点等图像特征，声音的频域特征，光照强度、光照颜色、光照变化频率等光照特征，环境温度数据等温度特征，周围电磁场强度等电磁特征。对上述特征进行加权融合计算环境阻碍因子，或者，先根据上述特征判断属于室内环境还是室外环境，例如：检测到室内元素如门窗、家具等则判定处于室内环境，检测到天空、建筑物等元素时则判定处于室外环境，再基于室内环境或室外环境，根据上述环境特征筛选出存在的环境影响因素，对这些环境影响因素对应的特征值进行加权融合计算环境阻碍因子。
步骤S500：当环境阻碍因子小于预设阈值时，根据操控意图操控轮椅；否则，根据环境空间中的障碍物和环境空间的连通性计算环境复杂度，基于环境阻碍因子和环境复杂度，获得环境风险评估结果，根据环境风险评估结果获得轮椅控制策略，根据轮椅控制策略操控轮椅。
当环境阻碍因子小于预设阈值时，表明多个环境因素综合作用对脑电操控的影响不大，可以根据操控意图继续操控轮椅。否则，表明环境因素会对脑电操控产生较大的干扰，若继续根据操控意图操控轮椅，则可能会引起碰撞。因此，需要评估环境复杂度，不同的环境复杂度需要采取不同的操控策略，比如：在一个空旷的空间，即使存在环境阻碍因子影响脑电信号的精准，也只可能存在较低的移动风险，所以只需辅助减速前进即可，无需报警或制动。
具体地，首先根据环境空间中的障碍物和环境空间的连通性计算环境复杂度。计算公式为：。其中，为障碍物数量，采用环境监测传感器检测并统计环境中存在的障碍物数量；/>为障碍类型数量，对检测到的障碍物进行分类统计，得到环境中存在的障碍类型数量，如墙体、垃圾桶、桌椅等；/>为空间尺度，采用LiDAR(LightDetection and Ranging：一种使用激光光束进行测量和距离感知的技术)点云数据计算环境空间的体积大小，体积越小，空间尺度指数越大；Connectivity为空间连接性，采用可达集合理论对环境空间进行表示，并计算其连通分量数量，连通分量越多，空间连接性越差；至/>为相应指标的权重系数，可以通过实验与学习优化设定。
然后将环境阻碍因子E和环境复杂度F输入GBDT（梯度提升决策树）学习模型，得到环境风险评估结果，再根据环境风险评估结果采用不同的轮椅控制策略操控轮椅。需要说明的是，还可以将环境阻碍因子E和环境复杂度F输入其他学习模型，获得环境风险评估结果。
本实施例中，环境风险评估结果分为3个等级：低风险、中风险和高风险，每种环境风险评估结果对应于不同的控制策略，例如：环境风险评估结果为低风险时，启动碰撞预测，减速前进；环境风险评估结果为中风险时，触发避障规划，避障移动；环境风险评估结果为高风险时，执行应急制动，停止移动。即当环境风险评估结果为低风险时，采用的轮椅控制策略为用于实现轮椅减速前进的碰撞预测策略；当环境风险评估结果为中风险时，采用的轮椅控制策略为用于辅助控制轮椅运动以实现避障的碰撞避让策略；当环境风险评估结果为高风险时，采用的轮椅控制策略为用于停止轮椅运动的应急制动策略，并触发显著的声光报警系统，如鸣笛报警、显示屏报警提示等，以提示轮椅使用者采取紧急保护措施。因此，根据不同的轮椅控制策略实现不同的轮椅操控效果。
其中，GBDT学习模型是采用GBDT学习进行构建和训练获得的，具体步骤为：首先收集大量环境监测数据及对应的人工风险评估标签作为训练集，标签分3级：低风险、中风险和高风险。选取影响环境风险的特征变量，如环境阻碍特征、环境复杂度指标等，将这些特征变量作为GBDT学习模型的输入；设置GBDT学习模型的参数，主要包括：学习率、树的最大深度、叶子节点最小样本数等，这些参数直接影响学习结果；使用训练集构建决策树（Classification and Regression Trees：CART），具体步骤包括：选取当前cies（Cumulative Impact of Error in Split：一种用于决策树的误差度量方法）误差最大的节点d，以特征A对d进行分割,得到d1和d2两个子节点； 计算分割后的减少量：,选择使该减少量最大的特征A和分割点；对d使用特征A和分割点进行分割得到d1和d2，更新d及其父节点的相关信息；重复上述步骤直到达到最大树深或其他停止条件，构建一颗决策树；确定初始学习率，沿每棵树更新训练集里每个样本的风险评估值，并修剪过拟合的树枝；构建多棵CART，形成GBDT模型，当误差不再下降时停止训练；使用测试集验证GBDT模型的泛化误差，确保其准确可靠后，将环境监测数据输入已训练GBDT学习模型，得到环境风险评估结果。
由上所述，通过根据传感器数据确定轮椅的真实移动轨迹，提取轮椅移动轨迹所在环境空间的环境特征，评估环境风险，当环境风险不高时，继续依据生理信号数据判断操作意图来操控轮椅，否则，根据环境风险等级不同，采用不同的轮椅控制策略。实现了轮椅的精确操控，能够应对各种复杂环境，避免复杂环境下发生碰撞的情况。
在一个实施例中，根据环境数据，计算环境阻碍因子的具体步骤如图2所示，包括：
步骤S410：提取环境数据的特征值；
将环境数据输入卷积神经网络提取特征值，具体包括：边缘、纹理、角点等图像特征值，声音的频域特征值，光照强度、光照颜色、光照变化频率等光照特征值，环境温度数据等温度特征值，周围电磁场强度等电磁特征值。
步骤S420：根据轮椅移动轨迹所在环境空间确定环境影响因素，根据环境影响因素的特征值，判定环境阻碍因素；
环境影响因素为影响到视线、注意力或脑电信号的因素，轮椅移动轨迹所在环境空间不同，环境影响因素也不同，需要根据轮椅移动轨迹所在环境空间来确定环境影响因素，当环境影响因素对视线、注意力或脑电信号的影响程度较大时，则判定环境影响因素为环境阻碍因素。
具体地，环境影响因素的检测数据为环境数据，环境影响因素的特征值可以从步骤S410中获取到的环境数据的特征值查找获得。对环境影响因素的特征值进行分析判断，确认环境影响因素是否为环境阻碍因素。本实施例中环境影响因素包括但不限于下述因素：环境噪声、视线遮蔽、电磁干扰、温度、光照等。
其中，环境噪声可以对脑电信号的产生与识别产生影响，高噪声使脑电信号变得混乱且难以准确识别，直接导致操控命令的错误或延迟。判断环境噪声是否属于环境阻碍因素时，根据环境噪声的特征值计算，其中，/>为噪声时域信号，n为信号长度。当STA大于预设的环境噪声阈值/>时，则判定环境噪声过大，属于环境阻碍因素。
视线受阻可以导致轮椅使用者获取环境信息的不全面与延迟，无法及时产生准确的操控指令，引起操控误差。判断视线是否属于环境阻碍因素时，根据视线的特征值计算，当/>大于预设的视线遮蔽阈值/>时，判定视线受到较大遮蔽，属于环境阻碍因素。
强电磁场可以直接作用于脑电信号，产生噪声或误码，对信号的识别与解码产生影响。判断强电磁场是否属于环境阻碍因素时，根据强电磁场的特征值计算，其中，B为检测到的磁场强度，B0为正常工作磁场强度。当大于预设的电磁干扰阈值/>时，判定电磁环境异常，属于环境阻碍因素。
高温环境可以使脑电信号出现失真变形，对其采集与识别产生不利影响，判断温度是否属于环境阻碍因素时，根据温度的特征值计算，T为环境温度，T0为正常工作温度。当Temp大于预设的温度阈值/>时，判定环境温度过高，属于环境阻碍因素。
光照条件的快速变化，如突然从室内移至强光室外，可以使视觉注意力短时分散，对视觉反馈的利用产生干扰，也属于环境影响因素。判断光照变化是否属于环境阻碍因素时，根据光照变化的特征值计算，当Light大于预设的光照变化阈值/>时，判定光照条件变化过大，属于环境阻碍因素。
步骤S430：基于所有的环境阻碍因素，计算环境阻碍因子。
融合所有环境阻碍因素，计算环境阻碍因子E。具体计算公式为： ，其中，STA为噪声判断值，/>为视线遮蔽判断值，/>为检测到的电磁干扰强度，T为环境温度，T0为正常工作温度。illuminance为环境光照度，w1至w5为权重系数。
由上所述，通过轮椅移动轨迹所在环境空间确定环境影响因素，根据环境影响因素的特征值来确定环境阻碍因素，计算环境阻碍因子，能够准确客观地评估环境影响到视线、注意力或脑电信号的程度，从而实现对轮椅的精准操控。
在一个实施例中，当轮椅控制策略为碰撞预测策略时，根据轮椅控制策略操控轮椅的具体步骤如图3所示，包括：
步骤A510：根据生理信号数据中的脑电信号，获得轮椅使用者的注意力方向；
步骤A520：获取环境空间中静态障碍物的第一移动趋势和移动目标的第二移动趋势；
步骤A530：根据操控状态，获得轮椅的第三运动趋势；
步骤A540：将注意力方向、第一移动趋势、第二移动趋势、第三移动趋势和轮椅移动轨迹输入碰撞预测模型；
步骤A550：当碰撞预测模型的预测结果为会碰撞时，操控轮椅减速前进。
当环境风险评估结果为低风险时，采用碰撞预测策略。具体过程包括：首先获取用户注意力方向、环境目标、实时移动轨迹和操控状态信息；其中，注意力方向根据脑电信号获得，环境目标根据摄像头和传感器采集获得；移动轨迹根据位姿数据三维重建获得；操控状态根据3D CNN模型判断获得。
在进行注意力分析时，判断轮椅使用者的注意力方向，预测移动或转弯的方向。环境目标检测包括：检测环境中的静态障碍物和移动目标，预测其运动趋势，获得静态障碍物的第一移动趋势和移动目标的第二移动趋势。操控状态判断包括：根据操控状态判断轮椅可能的加速、减速、转向等第三运动趋势。
将注意力方向、第一移动趋势、第二移动趋势、第三移动趋势和轮椅移动轨迹输入碰撞预测模型，当碰撞预测模型的预测结果为会碰撞时，操控轮椅减速前进。操控轮椅时，不断循环信息获取与分析，实时更新碰撞预测，以预测和避开各种可能的碰撞风险。
为实现准确的碰撞预测，本实施例采用了3D CNN结合长短期记忆网络(LSTM)构建碰撞预测模型，具体包括：3D CNN提取环境特征信息，判断障碍物距离、运动方向等；LSTM结构具有记忆能力，可学习用户的注意力方向和操控模式，更准确预测碰撞风险；将两个子网络结合，3D CNN提供环境信息，LSTM根据信息预测碰撞概率；通过Softmax分类器判断碰撞风险级别(包括：无碰撞、低风险、中风险、高风险)以采取相应避让措施；碰撞预测模型使用实际碰撞样本进行训练，不断更新和优化模型参数，提高预测精度。
由上所述，通过采用多源数据来进行碰撞预测，预测准确度高，能够提高轮椅操控的精度。
当轮椅控制策略为碰撞避让策略时，在一个实施例中，在上述步骤A550获得碰撞预测模型的预测结果后，根据轮椅控制策略操控轮椅的具体步骤如图4所示，包括：
步骤B510：根据预测结果，获取环境空间中存在碰撞风险的障碍物；
步骤B520：根据碰撞预测模型输出的碰撞风险级别，获得辅助操控级别；
步骤B530：根据辅助操控级别进行路径规划并根据规划后的路径操控轮椅以避开障碍物，和/或，对轮椅进行速度调控。
当环境风险评估结果为中风险时，轮椅控制策略为碰撞避让策略。在碰撞预测模型的预测结果的基础上，利用预测结果判断环境空间中存在碰撞风险的障碍物，并规划出避开所有危险障碍物的路径并辅助控制轮椅运动。避让路径包括减速、转向、停止、旋转等操作，通过精确控制轮椅实现避让。
具体地，首先判断辅助操控级别，即根据碰撞预测模型输出的碰撞风险级别(无碰撞、低风险、中风险、高风险)，选择相应的辅助操控级别(正常导航、微调路径、转向减速、停止等)。辅助操控级别为微调路径或转向减速时，需要重新进行路径规划。当辅助操控级别为微调路径时，根据障碍物距离和运动速度，微调路径使轮椅与障碍物保持安全距离通过；当辅助操控级别为转向减速时，搜索可选方向(左转、右转等)，规划转向路径减速通过障碍区域。路径规划同时考虑运动稳定性，避免急加速或转向。当辅助操控级别为减速时，需要进行速度调控，即直接发送控制信号减少轮椅速度，速度调控同时考虑系统机械惯性，以保证运动稳定平顺；当辅助操控级别为停止时，发送控制信号使轮椅停止运动，并采用复位策略重新规划路径。即首先判断导致停止的障碍物，等待障碍物移除或寻找可通过路径，然后重新开始导航。
轮椅操控时，在碰撞避让策略的执行过程中，持续采集传感器数据监测环境变化；当环境发生较大变化，如障碍物移动或增加、路径被阻挡等，需要重新触发碰撞预测和/或辅助操控，实现闭环控制，保证避让路径的有效性。
由上所述，通过碰撞风险级别确定辅助操控级别，针对不同的辅助操控级别采用不同的辅助操控措施，使得轮椅操控更为精准和有效。
示例性系统
对应于上述基于生理信号的轮椅操控方法，本发明实施例还提供一种基于生理信号的轮椅操控装置，如图5所示，上述装置包括：
操控意图模块600，用于采集轮椅使用者的生理信号数据，将所述生理信号数据输入已训练的意图判断模型，获得轮椅使用者的操控意图；
操控状态模块610，用于获取轮椅上配置的传感器的检测数据，将所述检测数据输入已训练的轮椅操控状态判断模型，获得轮椅操控状态；
移动轨迹模块620，用于根据所述检测数据和所述操控状态，获得轮椅移动轨迹；
环境阻碍因子模块630，用于获取所述轮椅移动轨迹所在环境空间的环境数据，根据所述环境数据，计算环境阻碍因子；
操控模块640，用于当所述环境阻碍因子小于预设阈值时，根据所述操控意图操控轮椅；否则，根据所述环境空间中的障碍物和所述环境空间的连通性计算环境复杂度，基于所述环境阻碍因子和所述环境复杂度，获得环境风险评估结果，根据所述环境风险评估结果获得轮椅控制策略，根据所述轮椅控制策略操控轮椅。
具体的，本实施例中，上述基于生理信号的轮椅操控装置的各模块的具体功能可以参照上述基于生理信号的轮椅操控方法中的对应描述，在此不再赘述。
基于上述实施例，本发明还提供了一种智能终端。如图6所示，上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和基于生理信号的轮椅操控程序。该内存储器为非易失性存储介质中的操作系统和基于生理信号的轮椅操控程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该基于生理信号的轮椅操控程序被处理器执行时实现上述任意一种基于生理信号的轮椅操控方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于生理信号的轮椅操控程序，上述基于生理信号的轮椅操控程序被处理器执行时实现本发明实施例提供的任意一种基于生理信号的轮椅操控方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.基于生理信号的轮椅操控方法，其特征在于，包括：
采集轮椅使用者的生理信号数据，将所述生理信号数据输入已训练的意图判断模型，获得轮椅使用者的操控意图；
获取轮椅上配置的传感器的检测数据，将所述检测数据输入已训练的轮椅操控状态判断模型，获得轮椅操控状态；
根据所述检测数据和所述轮椅操控状态，获得轮椅移动轨迹；
获取所述轮椅移动轨迹所在环境空间的环境数据，根据所述环境数据，计算环境阻碍因子；
当所述环境阻碍因子小于预设阈值时，根据所述操控意图操控轮椅；
否则，根据所述环境空间中的障碍物和所述环境空间的连通性计算环境复杂度，基于所述环境阻碍因子和所述环境复杂度，获得环境风险评估结果，根据所述环境风险评估结果获得轮椅控制策略，根据所述轮椅控制策略操控轮椅。
2.如权利要求1所述的基于生理信号的轮椅操控方法，其特征在于，所述根据所述环境数据，计算环境阻碍因子，包括：
提取所述环境数据的特征值；
根据所述轮椅移动轨迹所在环境空间确定环境影响因素，根据环境影响因素的特征值，判定环境阻碍因素，所述环境阻碍因素为影响到视线、注意力或脑电信号的因素；
基于所有的所述环境阻碍因素，计算环境阻碍因子。
3.如权利要求1所述的基于生理信号的轮椅操控方法，其特征在于，所述根据所述检测数据和所述轮椅操控状态，获得轮椅移动轨迹，包括：
基于所述轮椅操控状态和所述检测数据，根据运动学模型获得轮椅的实时位置和姿态；
根据所述实时位置和所述姿态进行三维重建，获得所述轮椅移动轨迹。
4.如权利要求3所述的基于生理信号的轮椅操控方法，其特征在于，所述根据所述实时位置和所述姿态进行三维重建，获得所述轮椅移动轨迹，包括：
根据所述实时位置和所述姿态，重建三维点云，获得第一轨迹；
将移动过程中捕获的深度图像转换为三维体素，生成第二轨迹；
根据所述第一轨迹和所述第二轨迹重建三维空间，将所述姿态映射到所述三维空间，获得所述轮椅移动轨迹。
5.如权利要求1所述的基于生理信号的轮椅操控方法，其特征在于，所述根据所述环境风险评估结果获得轮椅控制策略，根据所述轮椅控制策略操控轮椅，包括：
当所述环境风险评估结果为低风险时，所述轮椅控制策略为用于实现轮椅减速前进的碰撞预测策略；
当所述环境风险评估结果为中风险时，所述轮椅控制策略为用于辅助控制轮椅运动以实现避障的碰撞避让策略；
当所述环境风险评估结果为高风险时，所述轮椅控制策略为用于停止轮椅运动的应急制动策略；
根据所述轮椅控制策略操控轮椅。
6.如权利要求5所述的基于生理信号的轮椅操控方法，其特征在于，当所述轮椅控制策略为碰撞预测策略时，所述根据所述轮椅控制策略操控轮椅，包括：
根据所述生理信号数据中的脑电信号，获得轮椅使用者的注意力方向；
获取所述环境空间中静态障碍物的第一移动趋势和移动目标的第二移动趋势；
根据所述操控状态，获得轮椅的第三移动趋势；
将所述注意力方向、所述第一移动趋势、所述第二移动趋势、所述第三移动趋势和所述轮椅移动轨迹输入碰撞预测模型；
当所述碰撞预测模型的预测结果为会碰撞时，操控轮椅减速前进。
7.如权利要求6所述的基于生理信号的轮椅操控方法，其特征在于，获得所述碰撞预测模型的预测结果后，当所述轮椅控制策略为碰撞避让策略时，所述根据所述轮椅控制策略操控轮椅，包括：
根据所述预测结果，获取所述环境空间中存在碰撞风险的障碍物；
根据所述碰撞预测模型输出的碰撞风险级别，获得辅助操控级别；
根据所述辅助操控级别进行路径规划并根据规划后的路径操控轮椅以避开所述障碍物，和/或，对轮椅进行速度调控。
8.基于生理信号的轮椅操控装置，其特征在于，包括：
操控意图模块，用于采集轮椅使用者的生理信号数据，将所述生理信号数据输入已训练的意图判断模型，获得轮椅使用者的操控意图；
操控状态模块，用于获取轮椅上配置的传感器的检测数据，将所述检测数据输入已训练的轮椅操控状态判断模型，获得轮椅操控状态；
移动轨迹模块，用于根据所述检测数据和所述操控状态，获得轮椅移动轨迹；
环境阻碍因子模块，用于获取所述轮椅移动轨迹所在环境空间的环境数据，根据所述环境数据，计算环境阻碍因子；
操控模块，用于当所述环境阻碍因子小于预设阈值时，根据所述操控意图操控轮椅；否则，根据所述环境空间中的障碍物和所述环境空间的连通性计算环境复杂度，基于所述环境阻碍因子和所述环境复杂度，获得环境风险评估结果，根据所述环境风险评估结果获得轮椅控制策略，根据所述轮椅控制策略操控轮椅。
9.智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于生理信号的轮椅操控程序，所述基于生理信号的轮椅操控程序被所述处理器执行时实现如权利要求1-7任意一项所述基于生理信号的轮椅操控方法的步骤。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于生理信号的轮椅操控程序，所述基于生理信号的轮椅操控程序被处理器执行时实现如权利要求1-7任意一项所述基于生理信号的轮椅操控方法的步骤。
CN202310900953.2A 2023-07-21 2023-07-21 基于生理信号的轮椅操控方法、装置、终端及介质 Active CN116617011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310900953.2A CN116617011B (zh) 2023-07-21 2023-07-21 基于生理信号的轮椅操控方法、装置、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310900953.2A CN116617011B (zh) 2023-07-21 2023-07-21 基于生理信号的轮椅操控方法、装置、终端及介质

Publications (2)

Publication Number Publication Date
CN116617011A CN116617011A (zh) 2023-08-22
CN116617011B true CN116617011B (zh) 2023-09-15

Family

ID=87610203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310900953.2A Active CN116617011B (zh) 2023-07-21 2023-07-21 基于生理信号的轮椅操控方法、装置、终端及介质

Country Status (1)

Country Link
CN (1) CN116617011B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116880514B (zh) * 2023-09-06 2023-11-21 小舟科技有限公司 智能轮椅控制方法、智能轮椅及存储介质
CN117075618B (zh) * 2023-10-12 2024-01-05 小舟科技有限公司 基于异常监测的轮椅自动控制方法、装置、终端及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372544B1 (ko) * 2012-12-20 2014-03-14 건국대학교 산학협력단 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템
CN108272565A (zh) * 2018-02-02 2018-07-13 南京邮电大学 智能安全轮椅及其智能安全控制方法
CN108536154A (zh) * 2018-05-14 2018-09-14 重庆师范大学 基于生物电信号控制的低速自动驾驶智能轮椅构建方法
CN109276379A (zh) * 2018-11-16 2019-01-29 中国医学科学院生物医学工程研究所 一种基于ssvep脑控轮椅室内控制训练的系统和方法
CN110934697A (zh) * 2019-07-02 2020-03-31 赖思润 一种基于云平台的多功能智能轮椅的控制方法及设备
CN112258841A (zh) * 2020-10-26 2021-01-22 大连大学 一种基于它车辆轨迹预测的智能车辆风险评估方法
DE102020216418A1 (de) * 2020-04-13 2021-10-14 Hyundai Motor Company Fahrzeug und verfahren zum steuern desselben
CN114103998A (zh) * 2021-12-03 2022-03-01 智己汽车科技有限公司 一种基于驾驶员视线的智能驾驶车辆控制方法、系统及装置
CN114529131A (zh) * 2022-01-04 2022-05-24 武汉路特斯汽车有限公司 一种风险评估方法、装置、电子设备及存储介质
CN114652532A (zh) * 2022-02-21 2022-06-24 华南理工大学 基于ssvep与注意力检测的多功能脑控轮椅系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201616097D0 (en) * 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
CA2985450A1 (en) * 2016-11-14 2018-05-14 Redliner Inc. Automatically recommending changes to wheelchair setting based on usage data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372544B1 (ko) * 2012-12-20 2014-03-14 건국대학교 산학협력단 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템
CN108272565A (zh) * 2018-02-02 2018-07-13 南京邮电大学 智能安全轮椅及其智能安全控制方法
CN108536154A (zh) * 2018-05-14 2018-09-14 重庆师范大学 基于生物电信号控制的低速自动驾驶智能轮椅构建方法
CN109276379A (zh) * 2018-11-16 2019-01-29 中国医学科学院生物医学工程研究所 一种基于ssvep脑控轮椅室内控制训练的系统和方法
CN110934697A (zh) * 2019-07-02 2020-03-31 赖思润 一种基于云平台的多功能智能轮椅的控制方法及设备
DE102020216418A1 (de) * 2020-04-13 2021-10-14 Hyundai Motor Company Fahrzeug und verfahren zum steuern desselben
CN112258841A (zh) * 2020-10-26 2021-01-22 大连大学 一种基于它车辆轨迹预测的智能车辆风险评估方法
CN114103998A (zh) * 2021-12-03 2022-03-01 智己汽车科技有限公司 一种基于驾驶员视线的智能驾驶车辆控制方法、系统及装置
CN114529131A (zh) * 2022-01-04 2022-05-24 武汉路特斯汽车有限公司 一种风险评估方法、装置、电子设备及存储介质
CN114652532A (zh) * 2022-02-21 2022-06-24 华南理工大学 基于ssvep与注意力检测的多功能脑控轮椅系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于POMDP用户意图建模的智能轮椅导航控制方法;陶永等;东南大学学报(自然科学版);第39卷(第S1期);第95-99页 *
智能汽车避障风险评估及轨迹规划;王斌;汽车技术(第06期);第32-37卷 *

Also Published As

Publication number Publication date
CN116617011A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN116617011B (zh) 基于生理信号的轮椅操控方法、装置、终端及介质
Luo et al. Multisensor fusion and integration: A review on approaches and its applications in mechatronics
Karim et al. A dynamic spatial-temporal attention network for early anticipation of traffic accidents
Li et al. Pedestrian trajectory prediction combining probabilistic reasoning and sequence learning
Gehrig et al. Combined intention, activity, and motion recognition for a humanoid household robot
JP2020505614A (ja) １つ以上の慣性センサからの向き情報を補正する装置および方法
US20230027212A1 (en) Method and system for dynamically updating an environmental representation of an autonomous agent
Bütepage et al. Anticipating many futures: Online human motion prediction and synthesis for human-robot collaboration
Frey et al. Fast traversability estimation for wild visual navigation
Tayarani-Najaran et al. Event-based sensing and signal processing in the visual, auditory, and olfactory domain: a review
KR101567995B1 (ko) 인터랙션을 지원하는 사용자 인터페이스를 제공하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN113792930B (zh) 盲人行走轨迹预测方法、电子设备及存储介质
JP2009096365A (ja) リスク認識システム
Pham et al. Pencilnet: Zero-shot sim-to-real transfer learning for robust gate perception in autonomous drone racing
Xia et al. Gesture tracking and recognition algorithm for dynamic human motion using multimodal deep learning
Adhikari et al. A Novel Machine Learning-Based Hand Gesture Recognition Using HCI on IoT Assisted Cloud Platform.
Zeng et al. Construction of multi-modal perception model of communicative robot in non-structural cyber physical system environment based on optimized BT-SVM model
CN116523952A (zh) 利用2d和3d逐点特征估计6d目标姿态
Guo et al. Research and Implementation of Robot Vision Scanning Tracking Algorithm Based on Deep Learning
JP2021144707A (ja) ニューロンネットワークを訓練するためのデバイスおよび方法
Ortega et al. Visibility Forecasting with Deep Learning
Xing et al. Study about Football Action Recognition Method Based on Deep Learning and Improved Dynamic Time Warping Algorithm
Nousias et al. Empowering cyberphysical systems of systems with intelligence
Xing et al. Simultaneous localization and mapping algorithm based on the asynchronous fusion of laser and vision sensors
Zhu et al. A field-based representation of surrounding vehicle motion from a monocular camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant