CN113467303A - 一种多模态轮椅云平台控制系统和方法 - Google Patents

Abstract

本发明提供了一种多模态轮椅云平台控制系统和方法，能够有效的提升轮椅用户的使用体验，提高他们生活质量，该系统采用一键呼叫方法，具体方法如下：用户通过终端子系统按下一键呼叫，终端子系统将轮椅用户的设备信息发送到云平台；云平台接收呼叫信息后，根据轮椅设备唯一编号获取事前存储在云端的用户信息、轮椅地理位置、轮椅用户所在社区看护中心等，并通过网络将上述信息发送到社区看护中心等应用终端。该多模态控制方法步骤：将轮椅操纵手柄机电信号、用户语音信号、用户脑电波信号、用户移动趋势和姿态信号等多种形式的信号处理后，转变为运动指令，并按照设置的优先级规则进行控制调度轮椅主控系统控制轮椅运动。

Description

一种多模态轮椅云平台控制系统和方法

技术领域

本发明是关于智能轮椅控制领域，尤其涉及人机交互实现智能轮椅控制领域，身体行动不便的人乘坐轮椅时对轮椅通过人机交互方式进行控制轮椅移动的场景。

背景技术

随着社会的发展和人类文明程度的提高，人们特别是身有残障的社会成员愈来愈需要运用现代高新技术来改善他们的生活质量和生活自由度。据调查，因为各种交通事故，天灾人祸和种种疾病，每年有成千上万的人丧失一种或多种能力(如行走、动手能力等)。因此，如何利用现代信息技术来扩展大量残疾人和老年人的生活空间，提高他们的生活质量，给他们带来更多的自由和方便成为近几年来社会各界关注的热点。

近年来随着科学技术的发展，轮椅越来越智能化，出现了各种形态的智能轮椅，有的轮椅集成了类似汽车方向盘的操纵手柄，轮椅上的人可以单手操纵手柄完成对轮椅方向、速度等控制；有的轮椅集成了各种各样的传感器，采集轮椅上的人的各种生命指标进行异常检测；有的轮椅集成了激光雷达、超声波、红外和地图系统，实现自主路径规划和智能避障；有的轮椅集成了摄像头，借助视觉系统和机器学习算法完成智能轮椅的自动驾驶功能；有的轮椅集成了音频设备接收轮椅上的人通过语音命令控制轮椅；智能轮椅的发展经过20多年的持续研究，已经有了很大的进展，功能不断丰富，安全和可靠性不断提升，用户使用体验持续改进，但也存在一些问题。对于一些手部功能受损或丧失的用户，无法通过操纵杆进行轮椅运动的控制，对于语音说话存在障碍的用户也无法正常通过语音对轮椅进行运动控制，我们可以借助脑电信号的捕捉识别，身体部位的运动趋势的捕捉识别，进而辅助身体功能障碍人员更好的使用智能轮椅。

发明内容

本发明的目的是提供一种多模态轮椅云平台控制系统及方法，该方法能够大幅提升轮椅使用者的使用体验，提升看护社区服务的效率，增加轮椅用户和家人情感互动，降低轮椅用户因身体不便对日常生活的影响。

本发明所述的多模态轮椅云平台控制方法，包括下述步骤:

步骤1)，所述多模态轮椅云平台控制是有多种形式的控制轮椅方法，包括用户通过操纵手柄对轮椅进行控制；用户通过语音命令对轮椅进行控制；用户通过脑电设备捕捉脑电信号进行轮椅控制；用户通过IMU设备捕捉运动趋势和姿态对轮椅进行控制；通过紧急制动按钮进行轮椅控制；

步骤2)，上述操纵手柄将机电信号转化为数字信号，统一控制为启动、停止、前进、后退、向左、向右等运动指令；

步骤3)，上述语音控制将用户语音信号转通过语音识别转换为数字信号，统一控制为启动、停止、前进、后退、向左、向右等运动指令；

步骤4)，上述脑电设备将脑电波信号转化为EEG数字信号，进而转化统一控制为启动、停止、前进、后退、向左、向右等运动指令；

步骤5)，上述IMU设备将人体运动趋势和姿态信号转化为数字信号，统一控制为启动、停止、前进、后退、向左、向右等运动指令；

步骤6)，上述急停按钮将机电信号转化为数字信号，统一控制为启动、停止、前进、后退、向左、向右等运动指令；

步骤7)，上述多种形式的控制命令被统一为启动、停止、前进、后退、向左、向右等运动指令，并按照设置的优先级规则进行控制调度，优先级最高的控制命令被发送到轮椅的主控系统控制轮椅运动。

本发明所述的轮椅任务一键呼叫的处理方法，包括下述步骤:

步骤1)，轮椅用户通过终端子系统一键呼叫，发起一键呼叫流程，终端子系统将轮椅用户的轮椅设备信息(设备唯一编号等)等发送到云平台；

步骤2)，云平台接收一键呼叫信息后，根据轮椅设备唯一编号获取事前存储在云端的轮椅用户信息(轮椅用户年龄、姓名、联系方式等)、轮椅地理位置信息、轮椅用户所在社区看护中心(或养老院)或家人信息等等；并通过网络将上述信息发送到社区看护中心(或养老院)、家人应用终端；

步骤3)，社区看护中心(或养老院)人员在应用终端上看到一键呼叫信息后，立即通过应用的远程监控功能了解轮椅用户的周围环境以及人身情况，并反馈至云平台，同时针对情况的严重程度与轮椅用户进行音视频通话互动，协助远程控制功能解决问题，或立即对接急救中心前往现场。

步骤4)，云平台将通过网络将一键呼叫任务的进度和处理情况发送到社区看护终端、家人应用终端，便于相关人员第一时间了解到情况。

本发明同时还提供了一种多模态轮椅云平台控制系统，能够提升轮椅使用者的使用体验，方便使用者与社区看护中心(或养老院)或家人互动，降低轮椅用户因身体不便对日常生活的影响。

本发明所述的多模态轮椅云平台控制系统，包括:智能轮椅子系统和操纵手柄、终端子系统、控制云平台、任务处理子系统、分析子系统、脑电设备、IMU设备、远程监控和控制子系统、指令调度子系统等。

进一步的，所述智能轮椅子系统和操纵手柄，智能轮椅子系统包括主控系统(MCU)、电机、轮子、座椅等，也可能包括集成超声波传感器、红外传感器等各种传感器设备，以及摄像头、激光雷达等自动驾驶辅助设备。操纵手柄则类似于汽车方向盘功能的操纵杆，可以控制方向、控制速度，并可以开启和关闭轮椅的主控系统。

进一步的，所述终端子系统，包含了急停按钮、紧急呼叫、指令处理、操纵面板、地图显示、娱乐节目、速度显示、视频通话、以及对外部的UART接口和网络通信模块。是轮椅用于与控制云平台交互的入口，轮椅用户通过终端子系统发起任务并接受和显示任务进度，通过终端子系统进行紧急呼叫、地图显示、播放娱乐节目，或与社区看护中心(或养老院)、家人、任务处理人进行视频通话等。指令处理对终端子系统接收到来自外部的各种指令数据进行处理后发送给轮椅的主控系统进行轮椅的控制。操纵面板，在终端子系统上通过虚拟按键或者触摸面板，对轮椅发起运动操纵。

进一步的，所述控制云平台，功能包括用户管理、角色管理、轮椅管理、任务管理、看护管理、操作日志、命令转发、通道管理、远程控制、远程视频、媒体管理等。轮椅管理，每一个轮椅都有唯一的设备编号，在控制云平台上可以看到连接到云平台的所有轮椅设备列表，可以对任一轮椅设备进行详情查看和远程控制。任务管理，负责接收来自终端子系统发送的任务，自动生成任务单分配给任务处理子系统。看护管理，控制云平台可以允许新增、修改、停用、删除等对看护用户进行操作，进而也可以对这些账号按照某计费规则进行收费，比如按月收费等。操作日志，用于保存每个轮椅的日常操作指令，这个操作方便的从终端子系统采集并上传到控制云平台进行存储。平台会依据每个轮椅的设备唯一编号分配到不同的通道上去，维护了一张映射表，记录每个轮椅的唯一编号和通道之间的映射关系，命令转发模块会根据映射表查找对应的通道并在正确的通道上进行消息的发送。媒体管理，可以制作多媒体节目，向终端子系统发布，在终端子系统上显示和播放。远程控制，通过控制云平台或手持移动设备的应用软件对轮椅移动进行远程控制其移动、停止、调整速度等。远程视频，便于看护人员远程实时查看轮椅用户的周围环境。

进一步的，所述任务处理子系统，负责处理控制云平台的分派任务，安排具体的第三方系统对接进行任务处理。在处理过程中进度等信息，可以通过该子系统上报云平台。第三方系统和轮椅用户可以通过该子系统实时看到分配的任务，查看任务状态和进度，在线反馈任务的处理情况，针对某一个具体任务可以双方进行音视频交流，更加详细的了解任务的处理情况。

进一步的，所述分析子系统，对采集到的EEG数据和IMU数据进行综合分析转化为对轮椅进行控制的具体指令，经过分析子系统进行整合处理后转化为对轮椅设备的移动控制指令：向前、向后、向左、向右和开始与停止六条指令，进而发送到控制云平台。

进一步的，所述脑电设备，EEG是通过精密的电子仪器，从头皮上将脑部的自发性生物电位加以放大记录而获得的信号，通过对脑电波的频率(周期)、波幅和相位等基本特征进行分析识别出具体脑电信号数据，比如咬合、眼动、吞咽等。

进一步的，所述IMU设备，通过测量物体三轴姿态角(或角速率)以及加速度的装置，用来计算物体的姿态和运动趋势。

进一步的，所述远程监控和控制子系统，可以监控整个系统所有的任务完整生命周期，从任务上报、任务分派、任务处理进度，直到任务处理完毕；也可以监控轮椅和轮椅用户的周围环境、位置、近期操作日志等。远程控制子系统：则可以借助通过云控制平台远程对轮椅进行远程控制其移动。。

进一步的，所述指令调度子系统，接收来自不同的控制指令，包括脑电设备控制指令、IMU设备控制指令、语音控制指令、紧急停止控制指令、操纵杆控制指令等，指令调度子系统按照优先级顺序对接收到各种指令进行排序处理，优先把优先级高的指令下发到轮椅进行控制。

进一步的，终端子系统，作为边缘设备附着在轮椅上，与控制云平台通过网络连接。

进一步的，分析子系统，作为边缘设备附着在轮椅上，与控制云平台通过网络连接。

进一步的，远程监控和控制子系统，以应用程序形式提供给社区看护中心(或养老院)或家人使用，与控制云平台通过网络连接。

进一步的，任务处理子系统作为控制云平台一部分存在，或者通过网络与云控制平台链接。

本发明采用以上技术方案与现有技术相比，具有以下有益效果：

1.本方法采用多模态轮椅云平台控制处理方法，来自不同设备发起的多种来源控制数据通过分析子系统后归纳为前进、后退、向左、向右、向前、向后、开始、停止等几个控制命令，并进行优先级排序后发送到云控制平台，云平台将控制命令发送到终端子系统进而下发到轮椅的主控系统对轮椅进行运动控制。这个过程支持多种模态的控制指令，允许对多模态控制命令优先级顺序设置或启用停用，有效的提升了身体不便的轮椅用户的使用体验，提高了他们生活质量。

2.本方法采用多模态轮椅云平台控制处理方法，支持多种方式对轮椅进行控制，是对传统通过手柄控制轮椅的有效补充，能够适应更多用户的使用场景，为无法进行手柄控制的用户提供了更多的操控轮椅的选择。

3.本方法采用一键呼叫式任务处理方法，及时向云平台传输信息，云平台接收后同步发送到任务处理子系统，高效快捷。任务处理子系统接受任务后，云平台再把任务的进度和处理情况发送到轮椅显示终端、装有监控和控制应用程序的社区看护中心(或养老院)终端或家人应用终端。第三方系统通过终端(如手机，或者其他信息传输装置)看到任务信息后，可以第一时间赶到现场与轮椅用户沟通交流情况。这个过程信息传送流畅，减少中间环节，效率高，速度快。

4.本方法采用一键呼叫式任务处理方法，引入了云平台子系统，可以通过云平台对接入的所有多模态轮椅进行远程状态监控和远程协助控制，方便家人或平台及时了解和协助轮椅用户完成紧急情况的发现和处理。

附图说明

图1是多模态轮椅云平台控制系统架构和流程图。

图2是终端子系统的框图。

图3是一键呼叫流程一的流程图。

图4是一键呼叫流程二的流程图。

图5是控制云子系统流程图。

图6是控制云子系统框图。

图7是脑电信号控制轮椅启停流程图。

图8是IMU信号控制轮椅运动方向流程图。

图9是语音控制轮椅运动的流程图。

图10是分析子系统流程图。

图11是指令调度子系统流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。

如图1所示，本发明提出的多模态轮椅云平台控制系统包括以下几个部分构成：

智能轮椅子系统和操纵手柄：智能轮椅子系统是一套定制硬件加上软件构成，一般的智能轮椅构成上包括主控系统(MCU)、电机、轮子、座椅等，也可能包括集成在轮椅上的用于测距的超声波传感器、红外检测的红外传感器等各种传感器设备，以及摄像头、激光雷达等自动驾驶辅助设备。操纵手柄则类似于汽车方向盘功能的操纵杆，一个典型的操纵手柄可以控制方向、控制速度，并可以开启和关闭轮椅的主控系统。操纵手柄通过机电装置实现，并与智能轮椅的主控系统连接，具体操纵时机电装置将机械动作转化为数字信号发送到主控系统，主控系统进而控制电机驱动轮子进行运动。

终端子系统：终端子系统是不同于操作手柄的一种存在，用于对外部提供一种人机交互界面，一种可能的实施例中操纵子系统是一个类似平板电脑的设备，基于定制安卓系统和硬件，并安装了应用软件。终端子系统同时集成了通信模块，在具体的实施例中可以是WIFI模块或4G/5G等通信模块，终端子系统的功能包括几个层面。一是，从智能轮椅的主控系统读取轮椅的各种状态数据和传感器数据在终端子系统的显示屏上显示；二是，通过网络接口与控制云平台交互，上报轮椅的运行状态数据、位置数据、传感器数据等，同时可以接收来自云控制平台的指令，本地处理后发送给智能轮椅的主控系统控制轮椅的运动；三是，用户通过终端子系统发起任务，任务发送到控制云平台进而转发到任务子系统进行处理，在一种典型的实施例中任务可能是轮椅用户发起的紧急呼救，另一个实施例中任务可能是轮椅用户发起的订餐或家政服务等任务。

图2给出了一种可能的终端子系统功能界面，终端子系统包含了急停按钮、紧急呼叫、指令处理、操纵面板、地图显示、娱乐节目、速度显示、视频通话、以及对外部的UART接口和网络通信模块。其中急停按钮是一个机电装置用于在紧急情况下对轮椅进行紧急制动停止，这个指令的优先级最高，当这个按键按下时其他各种通过操纵杆、操纵面板、语音控制、远程控制等等方式均失效。

如图3描述了一键呼叫发生时轮椅状态和轮椅用户数据通过控制云平台发送到社区看护中心(或养老院)或家人的流程，如图4描述了一键呼叫发生时轮椅状态和轮椅用户数据通过控制云平台发送到任务子系统，任务子系统对接第三方紧急处理中心的流程。一键呼叫则应用于轮椅用户需要紧急救助时使用，通过快捷的一键呼叫，终端子系统自动获取轮椅当前的各种数据包括轮椅速度、最近运行轨迹、当前位置、轮椅用户相关信息，以及可能包含轮椅安装的各种生命指标传感器采集的数据发送到控制云平台，控制云平台进行数据简单分析处理后立即推送到远程监控子系统和任务子系统，远程监控子系统提醒看护中心(或养老院)或家人第一时间通过远程监控界面看到轮椅用户当前情况，及时进行处理；同时，紧急呼叫也会作为一个任务发送到任务系统，任务系统将上述轮椅用户各种数据信息和位置等通知到第三方系统，比如120急救中心。

指令处理作为运行在终端子系统上的后台程序，对终端子系统接收到来自外部的各种指令数据进行处理后发送给轮椅的主控系统进行轮椅的控制，来自外部的指令包括来自云控制平台的控制指令、来自语音输入的语音控制指令、触控面板发起的控制指令。

操纵面板，在终端子系统上通过虚拟按键或者触摸面板，对轮椅发起运动操纵，常见的运动操纵包括方向控制、速度控制等。

地图显示用于一键呼叫后，轮椅用户可以通过地图显示功能看到社区看护中心(或养老院)或者急救中心人员，或发起订餐等任务后外卖递送人员的位置信息，便于轮椅用户第一时间了解包括紧急呼叫在内的各种任务的处理人所在地点和任务进度。

娱乐节目，终端子系统内置了很多娱乐节目，比如电台、点播视频、电视、直播等娱乐性节目，为行动不变的轮椅用户提供丰富的娱乐内容，丰富生活体验。

速度显示，实时显示轮椅的运动速度，便于直观的给轮椅用户看到，便于用户根据周围的环境判断避免速度过快带来潜在的危险。

视频通话，主要用于轮椅用户和看护中心(或养老院)或家人之间进行视频通话，沟通交流情感。

UART接口和通信模块，前者用于终端子系统和轮椅的主控系统进行通信，后者用于连接控制云平台。

控制云平台：控制云平台是一套复杂的系统软件，包含了后台运行程序、可视化管理界面、存储数据的数据库，以及与外部其他系统的通信网络连接模块。图5所示，云平台功能模块包括但不限于:用户管理、角色管理、轮椅管理、任务管理、看护管理、操作日志、命令转发、通道管理、远程控制、远程视频、媒体管理等。

用户管理和角色管理，用于对系统用户分权分域，不同的用户角色进行权限控制和业务分离。

轮椅管理，类似设备管理功能，每一个轮椅都有唯一的设备编号，在具体的实施例中轮椅的编号可能由轮椅的主控系统维护或者由与轮椅连接的终端子系统本地存储维护管理，当轮椅启动时会经由终端子系统携带轮椅的唯一表示、轮椅位置等信息向控制云平台登记连接，连接成功后控制云平台的通道管理模块会与终端子系统之间维持一条通信通道，在控制云平台上可以看到连接到云平台的所有轮椅设备列表，可以对任一轮椅设备进行详情查看，轮椅上报到控制云平台的数据实时查看或历史数据趋势分析。

任务管理，负责接收来自终端子系统发送的任务，自动生成任务单分配给任务处理子系统。具体的实施例中任务可能是紧急呼叫，或订餐、购物、家政等具体事情，控制云平台的任务管理模块接收到任务后对任务按照类别进行分发给不同的任务子系统处理，每个任务子系统或自己完成任务或与第三方系统对接完成任务。

看护管理，是针对轮椅用户的监控，典型的实施例中看护主要是的用户群体可能是轮椅用户的家人，或轮椅用户的社区看护中心(或养老院)，或轮椅用户的养老院看护人员，他们的账户信息在控制云平台进行管理，进而这些用户可以通过手持设备，比如手机等安装应用程序接入到控制云平台进行轮椅用户状态的实时查看。控制云平台可以允许新增、修改、停用、删除等对看护用户进行操作，进而也可以对这些账号按照某计费规则进行收费，比如按月收费等。

操作日志，用于保存每个轮椅的日常操作指令，这个操作方便的从终端子系统采集并上传到控制云平台进行存储，便于对轮椅用户进行日常行为跟踪，长久持续的观测及时发现异常行为并通知看护人员。

命令转发，模块对通信模块接收到的各种控制命令进行简单的处理后转发给终端子系统进行控制，由于控制云平台上同时连接大量的轮椅及其终端子系统，来自不同的轮椅及其终端子系统的控制命令经由平台时，平台会依据每个轮椅的设备唯一编号分配到不同的通道上去，确保每个轮椅用户控制轮椅设备的唯一性和准确性。如图6，控制云平台维护了一张映射表，记录每个轮椅的唯一编号和通道之间的映射关系，每当看护用户或轮椅用户指定轮椅进行控制时，命令转发模块会根据映射表查找对应的通道并在正确的通道上进行消息的发送。

媒体管理，可以制作多媒体节目，向终端子系统发布，在终端子系统上显示和播放，在具体的实施例中媒体节目的形式可能包括音频、短视频、点播类视频、直播视频等等。

远程控制，用于看护人员发现轮椅用户出现紧急情况时，在赶往现场之前可以通过控制云平台或手持移动设备的应用软件对轮椅移动进行远程控制其移动、停止、调整速度等。远程视频，便于看护人员远程实时查看轮椅用户的周围环境。

任务处理子系统：该子系统负责处理控制云平台的分派任务，安排具体的第三方系统对接进行任务处理。在处理过程中进度等信息，可以通过该子系统上报云平台。第三方系统和轮椅用户可以通过该子系统实时看到分配的任务，查看任务状态和进度，在线反馈任务的处理情况，针对某一个具体任务可以双方进行音视频交流，更加详细的了解任务的处理情况。当然，任务处理子系统也可以看作是云平台的组成部分。本实施例中，把任务处理子系统与云平台作为两个部分分开描述的。具体的任务处理在一个可能的实施例中表现为，一键紧急呼叫，第三方系统对应为120急救中心；另一个可能的实施例中，任务可能表现为轮椅用发起的订餐服务，第三方为比如京东、天猫等第三方线上购物平台；在其他的实施例中，任务可能是一次家政服务的诉求，第三方为家政服务公司。来自于轮椅用户的日常或紧急情况的任务呼叫，经由云控制平台分配到任务子系统对第三方系统对接完成任务。

分析子系统：分析子系统对采集到的EEG数据和IMU数据进行综合分析转化为对轮椅进行控制的具体指令。一种实施例中采集的EEG数据通过眨眼和咬合分别表示轮椅的启动和停止，通过IMU移动轨迹捕捉实现移动方向控制，对EEG数据和IMU数据采用相关算法进行分析后识别出动作，进而转化为数字控制指令转发到控制云平台进行轮椅控制。图7描述了脑电设备采集EEG信号经过处理后识别出眨眼和咬合动作，IMU设备采集IMU数据识别出移动动作：向前、向后、向左、向右，经过分析子系统进行整合处理后转化为对轮椅设备的移动控制指令：向前、向后、向左、向右和开始与停止六条指令，进而发送到控制云平台。

图8描述了通过脑电信号进行轮椅的启动和停止的控制流程。

图9描述了通过IMU设备进行轮椅的方向的控制流程。

图10描述了通过语音控制轮椅的启动、停止和方向控制流程。

脑电设备：EEG是通过精密的电子仪器，从头皮上将脑部的自发性生物电位加以放大记录而获得的信号，是通过电极记录下来的脑细胞群的自发性、节律性电活动。这种电活动是以电位作为纵轴，时间为横轴，从而记录下来的电位与时间相互关系的平面图。通过对脑电波的频率(周期)、波幅和相位等基本特征进行分析识别出具体脑电信号数据，比如咬合、眼动、吞咽等。

IMU设备：IMU指的是惯性测量单元，通过测量物体三轴姿态角(或角速率)以及加速度的装置，一个典型的实施例中IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

远程监控子系统：远程监控子系统可以监控整个系统所有的任务完整生命周期，从任务上报、任务分派、任务处理进度，直到任务处理完毕；也可以监控轮椅和轮椅用户的周围环境、位置、近期操作日志等。远程控制子系统：则可以借助通过云控制平台远程对轮椅进行远程控制其移动。

指令调度子系统：接收来自不同的控制指令，包括脑电设备控制指令、IMU设备控制指令、语音控制指令、紧急停止控制指令、操纵杆控制指令等，指令调度子系统按照优先级顺序对接收到各种指令进行排序处理，优先把优先级高的指令下发到轮椅进行控制。如图11，指令调度子系统对接收到指令的优先级按照从高到低的顺序是：紧急停止控制指令、操纵杆控制指令、语音控制指令、脑电设备控制指令和IMU设备控制指令，特别是紧急停止指令发出后其他所有指令都会被忽略，直到紧急停止指令取消。另外，一种实施例中允许在终端子系统中对指令调度子系统的指令优先级顺序进行配置，以及启用或停用某种指令操作。对于设置为停用状态的指令来源则忽略其对轮椅发出的各种控制指令。

本发明的具体实施描述了一种多模态轮椅云平台控制系统和方法。任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明保护范围之内。本发明的保护范围应该以权利要求保护的范围为准。

Claims (10)

1.一种多模态轮椅云平台控制系统，其特征是包括：智能轮椅子系统和操纵手柄、终端子系统、控制云平台、任务处理子系统、分析子系统、脑电设备、IMU设备、远程监控和控制子系统、指令调度子系统等。

2.根据权利要求1所述的智能轮椅子系统和操纵手柄，其特征在于：智能轮椅子系统包括主控系统(MCU)、电机、轮子、座椅等，可能集成超声波、红外等各种传感器设备，以及摄像头、激光雷达等自动驾驶辅助设备；操纵手柄可以控制方向、控制速度，并可以开启和关闭轮椅的主控系统。

3.根据权利要求1所述的终端子系统，其特征在于：包含了急停按钮、紧急呼叫、指令处理、操纵面板、地图显示、娱乐节目、速度显示、视频通话、以及对外部的UART接口和网络通信模块；是轮椅用于与控制云平台交互的入口，轮椅用户通过终端子系统发起任务并接受和显示任务进度，通过终端子系统进行紧急呼叫、地图显示、播放娱乐节目，或与社区看护中心(或养老院)、家人、任务处理人进行视频通话等；指令处理对终端子系统接收到来自外部的各种指令数据进行处理后发送给轮椅的主控系统进行轮椅的控制。

4.根据权利要求1所述的控制云平台，其特征在于：功能包括用户管理、角色管理、轮椅管理、任务管理、看护管理、操作日志、命令转发、通道管理、远程控制、远程视频、媒体管理等；轮椅管理，每一个轮椅都有唯一的设备编号，在控制云平台上可以看到连接到云平台的所有轮椅设备列表，可以对任一轮椅设备进行详情查看和远程控制；任务管理，负责接收来自终端子系统发送的任务，自动生成任务单分配给任务处理子系统；看护管理，控制云平台可以允许新增、修改、停用、删除等对看护用户进行操作，进而也可以对这些账号按照某计费规则进行收费，比如按月收费等；操作日志:用于保存每个轮椅的日常操作指令，这个操作方便的从终端子系统采集并上传到控制云平台进行存储；平台会依据每个轮椅的设备唯一编号分配到不同的通道上去，维护了一张映射表，记录每个轮椅的唯一编号和通道之间的映射关系，命令转发模块会根据映射表查找对应的通道并在正确的通道上进行消息的发送；媒体管理，可以制作多媒体节目，向终端子系统发布，在终端子系统上显示和播放；远程控制，通过控制云平台或手持移动设备的应用软件对轮椅移动进行远程控制其移动、停止、调整速度等；远程视频，便于看护人员远程实时查看轮椅用户的周围环境。

5.根据权利要求1所述的任务处理子系统，其特征在于：负责处理控制云平台的分派任务，安排具体的第三方系统对接进行任务处理；在处理过程中进度等信息，可以通过该子系统上报云平台；第三方系统和轮椅用户可以通过该子系统实时看到分配的任务，查看任务状态和进度，在线反馈任务的处理情况，针对某一个具体任务可以双方进行音视频交流，更加详细的了解任务的处理情况。

6.根据权利要求1所述的分析子系统，其特征在于：对采集到的EEG数据和IMU数据进行综合分析转化为对轮椅进行控制的具体指令，经过分析子系统进行整合处理后转化为对轮椅设备的移动控制指令：向前、向后、向左、向右和开始与停止六条指令，进而发送到控制云平台。

7.根据权利要求1所述的脑电设备，其特征在于：EEG是通过精密的电子仪器，从头皮上将脑部的自发性生物电位加以放大记录而获得的信号，通过对脑电波的频率(周期)、波幅和相位等基本特征进行分析识别出具体脑电信号数据，比如咬合、眼动、吞咽等；IMU设备，其特征在于：通过测量物体三轴姿态角(或角速率)以及加速度的装置，用来计算物体的姿态和运动趋势。

8.根据权利要求1所述的远程监控和控制子系统，其特征在于：可以监控整个系统所有的任务完整生命周期，从任务上报、任务分派、任务处理进度，直到任务处理完毕；也可以监控轮椅和轮椅用户的周围环境、位置、近期操作日志等；远程控制子系统：则可以借助通过云控制平台远程对轮椅进行远程控制其移动。

9.根据权利要求1所述的指令调度子系统，其特征在于：接收来自不同的控制指令，包括脑电设备控制指令、IMU设备控制指令、语音控制指令、紧急停止控制指令、操纵杆控制指令等，指令调度子系统按照优先级顺序对接收到各种指令进行排序处理，优先把优先级高的指令下发到轮椅进行控制。

10.根据权利要求1所述的终端子系统，其特征在于：作为边缘设备附着在轮椅上，与控制云平台通过网络连接；分析子系统，其特征在于：作为边缘设备附着在轮椅上，与控制云平台通过网络连接；远程监控和控制子系统，其特征在于：以应用程序形式提供给社区看护中心(或养老院)或家人使用，与控制云平台通过网络连接；任务处理子系统，其特征在于：作为控制云平台一部分存在，或者通过网络与云控制平台链接。

Images