CN110658742A - 多模态协同操控的轮椅控制系统及方法 - Google Patents

多模态协同操控的轮椅控制系统及方法 Download PDF

Info

Publication number
CN110658742A
CN110658742A CN201910836516.2A CN201910836516A CN110658742A CN 110658742 A CN110658742 A CN 110658742A CN 201910836516 A CN201910836516 A CN 201910836516A CN 110658742 A CN110658742 A CN 110658742A
Authority
CN
China
Prior art keywords
control instruction
control
wheelchair
data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910836516.2A
Other languages
English (en)
Inventor
杨卫东
古凯
苏宏伦
张强
单新颖
唐一江
谢霏
陈建宇
徐源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Rehabilitation Aids Technical Service Center
National Research Center for Rehabilitation Technical Aids
Original Assignee
Sichuan Rehabilitation Aids Technical Service Center
National Research Center for Rehabilitation Technical Aids
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Rehabilitation Aids Technical Service Center, National Research Center for Rehabilitation Technical Aids filed Critical Sichuan Rehabilitation Aids Technical Service Center
Priority to CN201910836516.2A priority Critical patent/CN110658742A/zh
Publication of CN110658742A publication Critical patent/CN110658742A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05G—CONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G11/00—Manually-actuated control mechanisms provided with two or more controlling members co-operating with one single controlled member
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

本发明涉及控制领域，具体涉及一种多模态协同操控的轮椅控制系统及方法。本发明通过设置手操器、脑电帽、眼动仪、摄像头和语音识别芯片，多途径采集数据来识别用户对轮椅的控制意图，并根据各采集数据对应的控制指令的优先级来确定待执行的控制指令，既丰富了轮椅控制方式，兼顾不同功能障碍的用户自行控制轮椅动作的需求，还使执行的控指令更贴合用户的真实意图。

Description

多模态协同操控的轮椅控制系统及方法
技术领域
本发明涉及控制领域，具体涉及一种多模态协同操控的轮椅控制系统。
背景技术
轮椅车是老年人和残障人士的主要代步工具，用来帮助他们提高行动的自由度和完成日常的工作和生活。电动轮椅车具有操控方便，使用简单。
然而，对于行动不便的老年人、病人或者残疾人，很多情况下，其不仅存在行走障碍，同时手部也不能很好的对轮椅的行动进行控制，或者单纯用手部控制轮椅行动十分吃力。这样一来，若要实现出行要求就需要借助他人的帮助，从而降低了出行自由度。
发明内容
为了解决上述技术问题，本发明提供一种多模态协同操控的轮椅控制系统，集合多种控制模式，便于用户根据自身情况选取适合的控制方式进行轮椅操控。
一方面，本发明提供一种多模态协同操控的轮椅控制系统，所述系统包括控制器、手操器、脑电帽、显示器、眼动仪、摄像头和语音识别芯片，所述控制器分别与所述手操器、脑电帽、显示器、眼动仪、摄像头和语音识别芯片信号连接；
所述手操器，用于根据用户操作生成手动操控数据，将所述手动操控数据发送至所述控制器；
所述脑电帽，用于采集用户注视所述显示器上显示的第一指示图标所产生的脑电信号，对所述脑电信号进行识别获得脑电信号识别结果，将所述脑电信号识别结果发送至所述控制器；
所述眼动仪，用于采集用户注视所述显示器上显示的第二指示图标所产生的眼动数据，将所述眼动数据发送至所述控制器；
所述摄像头，用于采集用户的头部动作数据，将所述头部动作数据发送至所述控制器；
所述语音识别芯片，用于采集用户的语音数据，对所述语音数据进行识别获得语音识别结果，将所述语音识别结果发送至所述控制器；
所述控制器，用于根据所述手动操控数据生成第一控制指令，根据所述脑电信号识别结果生成第二控制指令，根据所述眼动数据生成第三控制指令，根据所述头部动作数据生成第四控制指令，根据所述语音识别结果生成第五控制指令，以及从所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令中确定具有有效执行结果的控制指令，根据预设的第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级，将具有有效执行结果的控制指令中优先级最高的控制指令作为目标控制指令，根据所述目标控制指令控制所述轮椅运动。
优选地，所述控制器，还用于根据预设的操控数据与控制指令的对应关系，将与所述手动操控数据匹配的操控数据所对应的控制指令作为第一控制指令。
优选地，所述脑电信号识别结果包括多个与所述第一指示图标的显示时段对应的警觉度值；
所述控制器，还用于将多个警觉度值中数值最大的一个警觉度值作为目标警觉度值，将所述目标警觉度值与预设的警觉度阈值进行比较，如果所述目标警觉度值大于所述警觉度阈值，根据第一指示图标的显示时段确定与所述目标警觉度值对应的第一指示图标，并根据与所述目标警觉度值对应的第一指示图标指代的轮椅运动状态生成第二控制指令，如果所述目标警觉度值不大于所述警觉度阈值，则所述第二控制指令为空。
优选地，所述眼动数据包括多个与所述第二指示图标的显示时段对应的注视时长；
所述控制器，还用于将多个注视时长中最大的一个注视时长作为目标注视时长，将所述目标注视时长与预设的注视阈值进行比较，如果所述目标注视时长大于所述注视阈值，根据所述第二指示图标的显示时段确定与所述目标注视时长对应的第二指示图标，并根据与所述目标注视时长对应的第二指示图标指代的轮椅运动状态生成第三控制指令，如果所述目标注视时长不大于所述注视阈值，则所述第三控制指令为空。
优选地，所述控制器，还用于对所述头部动作数据进行识别获得头部姿态，根据预设的标准头部姿态与轮椅运动状态的对应关系，将所述头部姿态与所述标准头部姿态进行匹配，计算所述头部姿态与各标准头部姿态之间的匹配度，将计算得到的各个匹配度中数值最高的一个匹配度作为目标匹配度，将所述目标匹配度与预设的匹配度阈值进行比对，如果所述目标匹配度大于匹配度阈值，则根据与所述头部姿态匹配度最高的标准头部姿态所对应的轮椅运动状态生成第四控制指令，如果所述目标匹配度不大于匹配度阈值，则所述第四控制指令为空。
优选地，所述控制器，还用于对所述语音识别结果进行语义分析，提取关键词，根据预设的关键词与轮椅运动状态的对应关系，确定与提取的关键词对应的轮椅运动状态，以及根据与提取的关键词对应的轮椅运动状态生成第五控制指令。
优选地，所述控制器，还用于分别判断所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令是否为空，如果为空，则判定该指令为不具有有效执行结果的控制指令，如果不为空，则判定该指令为具有有效执行结果的控制指令。
优选地，所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级由高至低的排序为：第一控制指令、第五控制指令、第四控制指令、第三控制指令、第二控制指令。
另一方面，本发明提供一种多模态协同操控的轮椅控制方法，所述方法包括：
接收手操器发送的手动操控数据、脑电帽发送的脑电信号识别结果、眼动仪发送的眼动数据、摄像头发送的用户的头部动作数据和语音识别芯片发送的语音识别结果，所述手动操控数据根据用户操作生成，所述脑电信号识别结果为对用户注视对显示器上显示的第一指示图标所产生的脑电信号进行识别获得，所述眼动数据为用户注视显示器上显示的第二指示图标所产生的数据，所述语音识别结果为对用户的语音数据进行识别获得；
根据所述手动操控数据生成第一控制指令，根据所述脑电信号识别结果生成第二控制指令，根据所述眼动数据生成第三控制指令，根据所述头部动作数据生成第四控制指令，根据所述语音识别结果生成第五控制指令；
从所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令中确定具有有效执行结果的控制指令；
根据预设的第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级，将具有有效执行结果的控制指令中优先级最高的控制指令作为目标控制指令，根据所述目标控制指令控制所述轮椅运动。
优选地，所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级由高至低的排序为：第一控制指令、第五控制指令、第四控制指令、第三控制指令、第二控制指令。
本发明的有益效果是：
本发明提供一种多模态协同操控的轮椅控制系统及方法，通过设置手操器、脑电帽、眼动仪、摄像头和语音识别芯片，多途径采集数据来识别用户对轮椅的控制意图，并根据各采集数据对应的控制指令的优先级来确定待执行的控制指令。
(1)本发明设置多种设备采集用户数据，多途径识别用户对轮椅的控制意图，丰富了轮椅控制方式，兼顾不同功能障碍的用户自行控制轮椅动作的需求，方便用户根据自身身体状况自行选择适合的轮椅操控方式，提升人机交互体验。
(2)将各设备采集的用户数据进行处理，生成对应的控制指令，然后判断这些控制指令是否具有有效的执行结果，剔除没有明确执行结果的控制指令，之后从剩余的控制指令中选取优先级最高的控制指令进行执行，能够确保每次执行的控制指令是明确且有效的；本发明为各设备采集数据对应的控制指令划分优先级，其优先级的划分从不同数据传递用户意图的准确性考虑，设传递意图更准确的数据所对应的优先级越高，如此，通过选取优先级最高的控制指令进行执行，能够使执行的控指令更贴合用户的真实意图。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的一种多模态协同操控的轮椅控制系统的结构示意图；
图2是本发明实施例提供的一种多模态协同操控的轮椅控制方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
康复辅具涉及人-机-环境多模态感知与自然交互。其核心特征为安全、自主的“人—机器人—物理世界”的交互。
电动轮椅车作为人机共融机器人，也面临人机交互的挑战。特别是面对不同功能障碍的残疾人员的操控时，存在人机友好性低、鲁棒性差、智能程度低等缺陷。本发明实施例针对以上缺陷，旨在以人为中心，提高宜人化水平，提供语音、手势、表情等多交互手段进行人机交互，使轮椅车具有人类意图理解的能力，更好的贴合用户需求。
本实施例提供一种多模态协同操控的轮椅控制系统，请参见图1，所述轮椅控制系统10包括控制器101、手操器102、脑电帽105、显示器104、眼动仪106、摄像头107和语音识别芯片103，所述控制器101分别与所述手操器102、脑电帽105、显示器104、眼动仪106、摄像头107和语音识别芯片103信号连接。
其中，所述手操器102，用于根据用户操作生成手动操控数据，将所述手动操控数据发送至所述控制器101；所述脑电帽105，用于采集用户注视所述显示器上显示的第一指示图标所产生的脑电信号，对所述脑电信号进行识别获得脑电信号识别结果，将所述脑电信号识别结果发送至所述控制器101；所述眼动仪106，用于采集用户注视所述显示器上显示的第二指示图标所产生的眼动数据，将所述眼动数据发送至所述控制器101；所述摄像头107，用于采集用户的头部动作数据，将所述头部动作数据发送至所述控制器101；所述语音识别芯片103，用于采集用户的语音数据，对所述语音数据进行识别获得语音识别结果，将所述语音识别结果发送至所述控制器101；所述控制器101，用于根据所述手动操控数据生成第一控制指令，根据所述脑电信号识别结果生成第二控制指令，根据所述眼动数据生成第三控制指令，根据所述头部动作数据生成第四控制指令，根据所述语音识别结果生成第五控制指令，以及从所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令中确定具有有效执行结果的控制指令，根据预设的第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级，将具有有效执行结果的控制指令中优先级最高的控制指令作为目标控制指令，根据所述目标控制指令控制所述轮椅运动。
在一个可能的实施例中，所述轮椅控制系统10还包括电源模块108，所述电源模块108分别为控制器101、眼动仪106和摄像头107供电。
在一个可能的实施例中，所述控制器还用于根据预设的操控数据与控制指令的对应关系，将与所述手动操控数据匹配的操控数据所对应的控制指令作为第一控制指令。
具体的，手操器用于感知轮椅外部信号，手操器上设有丰富的功能按键，包括启动及关闭按键、速度档位按键、方向按键，还包括显示电量、时间、温度、速度等的LCD显示接口。手操器和控制器之间通过CAN总线进行通信，控制器的存储模块中预存有操控数据与控制指令的对应关系，控制器可根据手操器传递过来的手动操控数据确定对应的控制指令，将其作为第一控制指令。
在一个可能的实施例中，所述脑电信号识别结果包括多个与所述第一指示图标的显示时段对应的警觉度值。所述控制器，还用于将多个警觉度值中数值最大的一个警觉度值作为目标警觉度值，将所述目标警觉度值与预设的警觉度阈值进行比较，如果所述目标警觉度值大于所述警觉度阈值，根据第一指示图标的显示时段确定与所述目标警觉度值对应的第一指示图标，并根据与所述目标警觉度值对应的第一指示图标指代的轮椅运动状态生成第二控制指令，如果所述目标警觉度值不大于所述警觉度阈值，则所述第二控制指令为空。
具体的，脑电帽可以采用NeuroScan公司的脑电帽。其包括脑电采集模块、预处理模块、特征提取模块；脑电采集模块用于采集脑电信号；预处理模块用于对脑电信号的预处理，包括对采集的脑电信号进行放大、滤波和模数转换处理；特征提取模块用于对脑电信号特征提取，包括警觉度特征提取，其中，警觉度特征可以用警觉度值表示，警觉度值越大，表明用户对显示器屏幕显示的第一指示图标的兴趣越高。其中，第一指示图标包括表征轮椅前进、后退、左转、右转、停止等含义的多个图标，所有图标各自对应一个设定频率，同时在屏幕上以设定频率进行闪烁显示，通过采集用户注视屏幕上图标所产生的脑电信号来判断用户对轮椅的控制意图。
考虑屏幕闪烁图标对用户的吸引，即，在用户没有产生对轮椅进行控制的想法情况下，仍然存在注视第一指示图标的可能，然而这种情况下的警觉度值不能反映用户的真实意图，因此，还需要进一步判断警觉度值是否大于警觉度阈值，如果不大于，则认为用户没有控制轮椅运动的想法，将其对应的控制指令设为空，如果大于，则根据第一指示图标指代的轮椅运动状态来生成第二控制指令，例如，如果用户注视后退图标对应的警觉度值最高且超过警觉度阈值，则第二控制指令为控制轮椅后退。
在一个可能的实施例中，所述眼动数据包括多个与所述第二指示图标的显示时段对应的注视时长。所述控制器，还用于将多个注视时长中最大的一个注视时长作为目标注视时长，将所述目标注视时长与预设的注视阈值进行比较，如果所述目标注视时长大于所述注视阈值，根据所述第二指示图标的显示时段确定与所述目标注视时长对应的第二指示图标，并根据与所述目标注视时长对应的第二指示图标指代的轮椅运动状态生成第三控制指令，如果所述目标注视时长不大于所述注视阈值，则所述第三控制指令为空。
具体的，所述眼动仪可以选择EyeX眼动仪。眼动模式下，显示器的屏幕上会显示第二指示图标，第二指示图标包括控制轮椅前进、后退、左转、右转、停止等动作的图标，这些图标同时显示于屏幕上，眼动仪采集用户注视这些图标所产生的眼动数据，眼动数据包括用户眼球的运动轨迹以及在各个方向上的注视时长，将其中时间最长的注视时长作为目标注视时长，判断目标注视时长是否大于注视阈值，如果是，则根据目标注视时长对应的注视方向以及第二指示图标在屏幕上的分布位置来确定目标注视时长对应的第二指示图标，并根据该第二指示图标指代的轮椅运动状态生成第三控制指令，如果目标注视时长不大于所述注视阈值，则设第三控制指令为空。
在一个可能的实施例中，所述控制器，还用于对所述头部动作数据进行识别获得头部姿态，根据预设的标准头部姿态与轮椅运动状态的对应关系，将所述头部姿态与所述标准头部姿态进行匹配，计算所述头部姿态与各标准头部姿态之间的匹配度，将计算得到的各个匹配度中数值最高的一个匹配度作为目标匹配度，将所述目标匹配度与预设的匹配度阈值进行比对，如果所述目标匹配度大于匹配度阈值，则根据与所述头部姿态匹配度最高的标准头部姿态所对应的轮椅运动状态生成第四控制指令，如果所述目标匹配度不大于匹配度阈值，则所述第四控制指令为空。
具体的，所述摄像头为红外线摄像头，包括红外发射模块、红外接收模块和深度探测传感器，其采集用户头部运动数据的过程为：通过红外发射模块发射红外光谱，经过外界物体反射后被红外接收模块和深度探测传感器接收，当红外光从空间和物体反射回来后，会形成随机的散斑，根据空间中不同的距离点形成的散斑不同，来探知空间中物体和摄像头的距离，该距离包括用户头部相对于摄像头的左右距离和前后距离。深度探测传感器以每秒60帧的频率记录空间中的散斑，并由摄像头中的芯片实时解码重现图像数据，获得一幅分辨率为320*240的深度图像，所述深度图像即为用户的头部动作数据。
对头部动作数据进行分析获得头部姿态。头部姿态是指头部在三维空间中的位置和旋转角度，位置是指头部相对于摄像头在三维空间中的位置坐标，记为(x,y,z)，旋转角度是指头部相对于正对摄像头位置的旋转变换，用欧拉角表示为俯仰角、偏转角、滚动角。三维坐标系中，坐标系原点位于头部中心，使用经过O点与鼻尖点的一个方向向量v＝(x,y,z)表示此时头部的朝向。通常头部运动过程中头部朝向在前方空间中呈现一个圆锥形空间，现截取圆锥的一圆形截面，则头部在转动过程中，某一时刻头部的朝向向量与该截面必交于一点P，模拟控制手柄的方式就是通过控制该点在圆形截面中的位置来控制轮椅的方向与速度。以圆心为坐标原点，x轴代表轮椅左右速度，y轴代表轮椅前后速度。
标准头部姿态与轮椅运动状态的对应关系可以为：当用户头部上仰则轮椅前进，头部低下则轮椅后对，头部左转则轮椅向左运动，头部右转则轮椅向右运动，其中头部转动幅度大小决定了轮椅运动速度的快慢。
进一步地，将头部姿态与标准头部姿态进行匹配，计算头部姿态与各标准头部姿态的匹配度，将值最大的匹配度作为目标匹配度与预设的匹配度阈值进行比对，如果目标匹配度大于匹配度阈值，则获取与目标匹配度关联的标准头部姿态所对应的轮椅运动状态，根据该轮椅运动状态生成第四控制指令，例如，如果头部姿态为左转，其对应的轮椅运动状态为轮椅向左运动，则生成第四控制指令为控制轮椅向左运动；如果目标匹配度不大于匹配度阈值，则所述第四控制指令为空，此种情况下说明头部姿态没有达到触发控制轮椅运动的条件，考虑小幅度的头部运动属于正常的身体活动，本发明将头部运动幅度提高，只要在较大幅度的头部运动才能触发轮椅运动，如此可避免误操作。
在一个可能的实施例中，所述控制器，还用于对所述语音识别结果进行语义分析，提取关键词，根据预设的关键词与轮椅运动状态的对应关系，确定与提取的关键词对应的轮椅运动状态，以及根据与提取的关键词对应的轮椅运动状态生成第五控制指令。
具体的，关键词与轮椅运动状态的对应关系可以是：前对应轮椅前进，后对应轮椅后退，左对应轮椅左转，右对应轮椅右转。通过关键词来对应生成控制指令，不需要用户说出完整的控制指令，降低了语音控制的操作难度。
在一个可能的实施例中，所述控制器，还用于分别判断所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令是否为空，如果为空，则判定该指令为不具有有效执行结果的控制指令，如果不为空，则判定该指令为具有有效执行结果的控制指令。所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级由高至低的排序为：第一控制指令、第五控制指令、第四控制指令、第三控制指令、第二控制指令。
本控制系统设置了手动控制、脑电控制、眼动控制、头部姿态控制及语音控制方式，用户可以通过自行选择触发其中一种或者多种控制模式，进行相关控制数据的输入。控制器接收到的数据可能是手动操控数据、脑电信号识别结果、眼动数据、头部动作数据和语音识别结果中的一种或者多种，控制器可以预设时间周期，间隔一个时段进行一次目标控制指令的判断，例如，时间周期为10min，则对10min内收到的各数据进行处理获得对应的控制指令，然后对各个控制指令进行是否具有有效执行结果及优先级判断，确定目标控制指令。当然，如果没有获取到相关控制数据(如脑电信号识别结果)，也可以将其对应的控制指令设置为空。
本发明实施例提供了一种多模态协同操控的轮椅控制方法，请参见图2，所述方法包括：
S101：接收手操器发送的手动操控数据、脑电帽发送的脑电信号识别结果、眼动仪发送的眼动数据、摄像头发送的用户的头部动作数据和语音识别芯片发送的语音识别结果，所述手动操控数据根据用户操作生成，所述脑电信号识别结果为对用户注视对显示器上显示的第一指示图标所产生的脑电信号进行识别获得，所述眼动数据为用户注视显示器上显示的第二指示图标所产生的数据，所述语音识别结果为对用户的语音数据进行识别获得。
S102：根据所述手动操控数据生成第一控制指令，根据所述脑电信号识别结果生成第二控制指令，根据所述眼动数据生成第三控制指令，根据所述头部动作数据生成第四控制指令，根据所述语音识别结果生成第五控制指令。
S103：从所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令中确定具有有效执行结果的控制指令。
具体的，分别判断所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令是否为空，如果为空，则判定该指令为不具有有效执行结果的控制指令，如果不为空，则判定该指令为具有有效执行结果的控制指令。
S104：根据预设的第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级，将具有有效执行结果的控制指令中优先级最高的控制指令作为目标控制指令，根据所述目标控制指令控制所述轮椅运动。
进一步地，所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级由高至低的排序为：第一控制指令、第五控制指令、第四控制指令、第三控制指令、第二控制指令。
本发明通过设置手操器、脑电帽、眼动仪、摄像头和语音识别芯片，多途径采集数据来识别用户对轮椅的控制意图，并根据各采集数据对应的控制指令的优先级来确定待执行的控制指令。
本发明设置多设备采集用户数据，多途径识别用户对轮椅的控制意图，丰富了轮椅控制方式，兼顾不同功能障碍的用户自行控制轮椅动作的需求，方便用户根据自身身体状况自行选择适合的轮椅操控方式，提升人机交互体验。
将各设备采集的用户数据进行处理，生成对应的控制指令，然后判断这些控制指令是否具有有效的执行结果，剔除没有明确执行结果的控制指令，之后从剩余的控制指令中选取优先级最高的控制指令进行执行，能够确保每次执行的控制指令是明确且有效的；本发明为各设备采集数据对应的控制指令划分优先级，其优先级的划分从不同数据传递用户意图的准确性考虑，设传递意图更准确的数据所对应的优先级越高，如此，通过选取优先级最高的控制指令进行执行，能够使执行的控指令更贴合用户的真实意图。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多模态协同操控的轮椅控制系统，其特征在于，所述系统包括控制器、手操器、脑电帽、显示器、眼动仪、摄像头和语音识别芯片，所述控制器分别与所述手操器、脑电帽、显示器、眼动仪、摄像头和语音识别芯片信号连接；
所述手操器，用于根据用户操作生成手动操控数据，将所述手动操控数据发送至所述控制器；
所述脑电帽，用于采集用户注视所述显示器上显示的第一指示图标所产生的脑电信号，对所述脑电信号进行识别获得脑电信号识别结果，将所述脑电信号识别结果发送至所述控制器；
所述眼动仪，用于采集用户注视所述显示器上显示的第二指示图标所产生的眼动数据，将所述眼动数据发送至所述控制器；
所述摄像头，用于采集用户的头部动作数据，将所述头部动作数据发送至所述控制器；
所述语音识别芯片，用于采集用户的语音数据，对所述语音数据进行识别获得语音识别结果，将所述语音识别结果发送至所述控制器；
所述控制器，用于根据所述手动操控数据生成第一控制指令，根据所述脑电信号识别结果生成第二控制指令，根据所述眼动数据生成第三控制指令，根据所述头部动作数据生成第四控制指令，根据所述语音识别结果生成第五控制指令，以及从所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令中确定具有有效执行结果的控制指令，根据预设的第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级，将具有有效执行结果的控制指令中优先级最高的控制指令作为目标控制指令，根据所述目标控制指令控制所述轮椅运动。
2.根据权利要求1所述的多模态协同操控的轮椅控制系统，其特征在于，所述控制器，还用于根据预设的操控数据与控制指令的对应关系，将与所述手动操控数据匹配的操控数据所对应的控制指令作为第一控制指令。
3.根据权利要求1所述的多模态协同操控的轮椅控制系统，其特征在于，所述脑电信号识别结果包括多个与所述第一指示图标的显示时段对应的警觉度值；
所述控制器，还用于将多个警觉度值中数值最大的一个警觉度值作为目标警觉度值，将所述目标警觉度值与预设的警觉度阈值进行比较，如果所述目标警觉度值大于所述警觉度阈值，根据第一指示图标的显示时段确定与所述目标警觉度值对应的第一指示图标，并根据与所述目标警觉度值对应的第一指示图标指代的轮椅运动状态生成第二控制指令，如果所述目标警觉度值不大于所述警觉度阈值，则所述第二控制指令为空。
4.根据权利要求1所述的多模态协同操控的轮椅控制系统，其特征在于，所述眼动数据包括多个与所述第二指示图标的显示时段对应的注视时长；
所述控制器，还用于将多个注视时长中最大的一个注视时长作为目标注视时长，将所述目标注视时长与预设的注视阈值进行比较，如果所述目标注视时长大于所述注视阈值，根据所述第二指示图标的显示时段确定与所述目标注视时长对应的第二指示图标，并根据与所述目标注视时长对应的第二指示图标指代的轮椅运动状态生成第三控制指令，如果所述目标注视时长不大于所述注视阈值，则所述第三控制指令为空。
5.根据权利要求1所述的多模态协同操控的轮椅控制系统，其特征在于，所述控制器，还用于对所述头部动作数据进行识别获得头部姿态，根据预设的标准头部姿态与轮椅运动状态的对应关系，将所述头部姿态与所述标准头部姿态进行匹配，计算所述头部姿态与各标准头部姿态之间的匹配度，将计算得到的各个匹配度中数值最高的一个匹配度作为目标匹配度，将所述目标匹配度与预设的匹配度阈值进行比对，如果所述目标匹配度大于匹配度阈值，则根据与所述头部姿态匹配度最高的标准头部姿态所对应的轮椅运动状态生成第四控制指令，如果所述目标匹配度不大于匹配度阈值，则所述第四控制指令为空。
6.根据权利要求1所述的多模态协同操控的轮椅控制系统，其特征在于，所述控制器，还用于对所述语音识别结果进行语义分析，提取关键词，根据预设的关键词与轮椅运动状态的对应关系，确定与提取的关键词对应的轮椅运动状态，以及根据与提取的关键词对应的轮椅运动状态生成第五控制指令。
7.根据权利要求1所述的多模态协同操控的轮椅控制系统，其特征在于，所述控制器，还用于分别判断所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令是否为空，如果为空，则判定该指令为不具有有效执行结果的控制指令，如果不为空，则判定该指令为具有有效执行结果的控制指令。
8.根据权利要求1所述的多模态协同操控的轮椅控制系统，其特征在于，所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级由高至低的排序为：第一控制指令、第五控制指令、第四控制指令、第三控制指令、第二控制指令。
9.一种多模态协同操控的轮椅控制方法，其特征在于，所述方法包括：
接收手操器发送的手动操控数据、脑电帽发送的脑电信号识别结果、眼动仪发送的眼动数据、摄像头发送的用户的头部动作数据和语音识别芯片发送的语音识别结果，所述手动操控数据根据用户操作生成，所述脑电信号识别结果为对用户注视对显示器上显示的第一指示图标所产生的脑电信号进行识别获得，所述眼动数据为用户注视显示器上显示的第二指示图标所产生的数据，所述语音识别结果为对用户的语音数据进行识别获得；
根据所述手动操控数据生成第一控制指令，根据所述脑电信号识别结果生成第二控制指令，根据所述眼动数据生成第三控制指令，根据所述头部动作数据生成第四控制指令，根据所述语音识别结果生成第五控制指令；
从所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令中确定具有有效执行结果的控制指令；
根据预设的第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级，将具有有效执行结果的控制指令中优先级最高的控制指令作为目标控制指令，根据所述目标控制指令控制所述轮椅运动。
10.根据权利要求9所述的多模态协同操控的轮椅控制方法，其特征在于，所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级由高至低的排序为：第一控制指令、第五控制指令、第四控制指令、第三控制指令、第二控制指令。
CN201910836516.2A 2019-09-05 2019-09-05 多模态协同操控的轮椅控制系统及方法 Pending CN110658742A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910836516.2A CN110658742A (zh) 2019-09-05 2019-09-05 多模态协同操控的轮椅控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910836516.2A CN110658742A (zh) 2019-09-05 2019-09-05 多模态协同操控的轮椅控制系统及方法

Publications (1)

Publication Number Publication Date
CN110658742A true CN110658742A (zh) 2020-01-07

Family

ID=69037967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910836516.2A Pending CN110658742A (zh) 2019-09-05 2019-09-05 多模态协同操控的轮椅控制系统及方法

Country Status (1)

Country Link
CN (1) CN110658742A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324202A (zh) * 2020-02-19 2020-06-23 中国第一汽车股份有限公司 一种交互方法、装置、设备及存储介质
CN112102831A (zh) * 2020-09-15 2020-12-18 海南大学 跨数据、信息、知识模态的内容编解码方法及组件
CN113778070A (zh) * 2020-07-17 2021-12-10 北京京东振世信息技术有限公司 机器人的控制方法和装置
CN113827270A (zh) * 2021-08-24 2021-12-24 深圳市德力凯医疗设备股份有限公司 指令冲突解决方法、超声设备及计算机可读存储介质
CN113909743A (zh) * 2021-09-30 2022-01-11 北京博清科技有限公司 焊接的控制方法、控制装置和焊接系统
CN115590695A (zh) * 2022-10-08 2023-01-13 华南脑控（广东）智能科技有限公司（Cn） 一种基于眼电和人脸识别的轮椅控制系统
CN115804695A (zh) * 2023-01-09 2023-03-17 华南脑控(广东)智能科技有限公司 一种融合双姿态传感器的多模态脑机接口轮椅控制系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000084004A (ja) * 1998-09-11 2000-03-28 Misawa Homes Co Ltd 電動車椅子
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助系统
CN102169348A (zh) * 2011-01-22 2011-08-31 浙江大学 用视线控制服务机器人的方法
CN105662744A (zh) * 2016-01-04 2016-06-15 南昌大学 一种嵌入式多模态交互智能轮椅控制系统
CN107656611A (zh) * 2017-08-09 2018-02-02 广东欧珀移动通信有限公司 体感游戏实现方法及装置、终端设备
CN107942700A (zh) * 2017-12-15 2018-04-20 广东工业大学 一种家电控制系统、方法及计算机可读存储介质
CN108056865A (zh) * 2017-12-01 2018-05-22 西安科技大学 一种基于云平台的多模态轮椅脑控系统及方法
CN109381300A (zh) * 2017-08-09 2019-02-26 上海善解人意信息科技有限公司 一种电动轮椅及其控制方法
CN109623835A (zh) * 2018-12-05 2019-04-16 济南大学 基于多模态信息融合的轮椅机械手系统
CN110134240A (zh) * 2019-05-14 2019-08-16 南京邮电大学 基于脑电与头姿混合接口的机器人轮椅控制系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000084004A (ja) * 1998-09-11 2000-03-28 Misawa Homes Co Ltd 電動車椅子
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助系统
CN102169348A (zh) * 2011-01-22 2011-08-31 浙江大学 用视线控制服务机器人的方法
CN105662744A (zh) * 2016-01-04 2016-06-15 南昌大学 一种嵌入式多模态交互智能轮椅控制系统
CN107656611A (zh) * 2017-08-09 2018-02-02 广东欧珀移动通信有限公司 体感游戏实现方法及装置、终端设备
CN109381300A (zh) * 2017-08-09 2019-02-26 上海善解人意信息科技有限公司 一种电动轮椅及其控制方法
CN108056865A (zh) * 2017-12-01 2018-05-22 西安科技大学 一种基于云平台的多模态轮椅脑控系统及方法
CN107942700A (zh) * 2017-12-15 2018-04-20 广东工业大学 一种家电控制系统、方法及计算机可读存储介质
CN109623835A (zh) * 2018-12-05 2019-04-16 济南大学 基于多模态信息融合的轮椅机械手系统
CN110134240A (zh) * 2019-05-14 2019-08-16 南京邮电大学 基于脑电与头姿混合接口的机器人轮椅控制系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324202A (zh) * 2020-02-19 2020-06-23 中国第一汽车股份有限公司 一种交互方法、装置、设备及存储介质
CN113778070A (zh) * 2020-07-17 2021-12-10 北京京东振世信息技术有限公司 机器人的控制方法和装置
CN113778070B (zh) * 2020-07-17 2024-04-19 北京京东振世信息技术有限公司 机器人的控制方法和装置
CN112102831A (zh) * 2020-09-15 2020-12-18 海南大学 跨数据、信息、知识模态的内容编解码方法及组件
CN113827270A (zh) * 2021-08-24 2021-12-24 深圳市德力凯医疗设备股份有限公司 指令冲突解决方法、超声设备及计算机可读存储介质
CN113827270B (zh) * 2021-08-24 2024-03-12 深圳市德力凯医疗设备股份有限公司 指令冲突解决方法、超声设备及计算机可读存储介质
CN113909743A (zh) * 2021-09-30 2022-01-11 北京博清科技有限公司 焊接的控制方法、控制装置和焊接系统
CN115590695A (zh) * 2022-10-08 2023-01-13 华南脑控（广东）智能科技有限公司（Cn） 一种基于眼电和人脸识别的轮椅控制系统
CN115804695A (zh) * 2023-01-09 2023-03-17 华南脑控(广东)智能科技有限公司 一种融合双姿态传感器的多模态脑机接口轮椅控制系统

Similar Documents

Publication Publication Date Title
CN110658742A (zh) 多模态协同操控的轮椅控制系统及方法
CN109605385B (zh) 一种混合脑机接口驱动的康复辅助机器人
WO2017097190A1 (zh) 一种云机器人系统、实现方法、机器人和机器人云平台
CN212112406U (zh) 一种基于用户eog信号和头部姿态的驱动装置
CN110824979B (zh) 一种无人设备控制系统和方法
CN101311882A (zh) 视线跟踪人机交互方法及装置
US20110118877A1 (en) Robot system and method and computer-readable medium controlling the same
CN109933205A (zh) 一种车载眼神交互装置
CN106681509A (zh) 界面操作的方法和系统
JP3786952B2 (ja) サービス提供装置、期待はずれ判定装置および期待はずれ判定方法
WO2017177444A1 (zh) 一种云机器人系统、机器人及机器人云平台
CN109558004B (zh) 一种人体辅助机器人的控制方法及装置
CN113110743A (zh) 一种并行脑眼融合系统和方法
CN108829239A (zh) 终端的控制方法、装置及终端
CN112114665A (zh) 一种基于多模态融合的手部追踪方法
CN113069125A (zh) 基于脑电波和眼动追踪的头戴设备控制系统、方法及介质
CN110584898B (zh) 一种基于多传感器的脑控轮椅自动避障方法
KR20150104781A (ko) 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법
CN112162627A (zh) 一种结合头部运动检测的眼球追踪方法及相关装置
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
CN114652532A (zh) 基于ssvep与注意力检测的多功能脑控轮椅系统
Wang et al. Coordinated control of an intelligentwheelchair based on a brain-computer interface and speech recognition
CN110597382B (zh) 一种核电站控制室多通道融合人机交互方法以及系统
Isachenko et al. The pursuing gaze beats mouse in non-pop-out target selection
Chae et al. Noninvasive brain-computer interface-based control of humanoid navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination