CN115741670B - 基于多模态信号和机器视觉融合控制的轮椅机械臂系统 - Google Patents
基于多模态信号和机器视觉融合控制的轮椅机械臂系统 Download PDFInfo
- Publication number
- CN115741670B CN115741670B CN202211242666.9A CN202211242666A CN115741670B CN 115741670 B CN115741670 B CN 115741670B CN 202211242666 A CN202211242666 A CN 202211242666A CN 115741670 B CN115741670 B CN 115741670B
- Authority
- CN
- China
- Prior art keywords
- wheelchair
- button
- mechanical arm
- control
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 230000003993 interaction Effects 0.000 claims abstract description 34
- 230000000875 corresponding effect Effects 0.000 claims abstract description 32
- 230000001276 controlling effect Effects 0.000 claims abstract description 26
- 230000009471 action Effects 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000011065 in-situ storage Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 27
- 230000001960 triggered effect Effects 0.000 claims description 27
- 230000003213 activating effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 230000000977 initiatory effect Effects 0.000 claims description 4
- 230000004397 blinking Effects 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开一种基于多模态信号和机器视觉融合控制的轮椅机械臂系统，包括用户头部姿态检测模块、用户头部信号采集与识别模块、指令生成模块，和人脸识别模块。根据用户的头部方位姿态角信号控制人机交互界面中的光标的位置，根据用户的眼电信号和注意力信号判断用户是否存在主动眨眼的行为，将主动眨眼行为识别为光标点击操作，从而控制光标在人机交互界面上的按钮区域进行点击操作，并生成对应的控制指令用于控制轮椅和机械臂执行相应的动作，如轮椅进行前、后或者原地旋转，以及机械臂进行握持等操作，并且，在轮椅运行的同时，用户的头部动作可生成轮椅转向指令，以控制轮椅执行转向动作，实现了轮椅和机械臂的精准操作，可靠性高。
Description
技术领域
本发明涉及脑机接口技术领域，尤其涉及一种基于多模态信号和机器视觉融合控制的轮椅机械臂系统。
背景技术
助老助残机器人作为一种辅助技术产品，已扩展到残障人士及老年人生活的各个领域，解决他们生活中的一些困难。对于手脚不便的瘫痪病人(比如脊髓损伤患者)来说，下肢的行走功能和上肢的抓握功能这两个必要的肢体功能都已经丧失，想要完成移动、抓取等日常任务必须借助外界的帮助，要耗费大量的人力物力。为了减轻护理人员的负担，提高患者的生活自理能力，使用辅助康复器械可帮助患者完成一些基本的日常活动，比如使用轮椅来帮助患者行走，使用机械臂来帮助患者完成抓取动作。
中国发明专利CN106074021A公开了一种基于脑机接口的智能轮椅系统及其动作方法，其直接从脑电信号中提取特征信号，通过视觉系统的辅助完成轮椅和机械臂的移动。但是上述方案属于非侵入性BCI方案，接收到的脑电信号受干扰严重，导致输出的控制信号控制精度不足，可靠性也不足，只能作为实验室产品使用，无法进行推广。
发明内容
针对上述问题，本发明提出一种基于多模态信号和机器视觉融合控制的轮椅机械臂系统，主要解决背景技术的问题。
为解决上述技术问题，本发明第一方面提出一种基于多模态信号和机器视觉融合控制的轮椅机械臂系统，包括：用户头部姿态检测模块，用于实时获取用户的头部方位姿态角信号，根据所述头部方位姿态角信号调节人机交互界面中的光标的位置；用户头部信号采集与识别模块，用于实时获取用户的眼电信号和注意力信号，若同一时刻的所述眼电信号和所述注意力信号同时满足对应的预设阈值条件，则生成主动眨眼信号；指令生成模块，用于判断所述光标的位置是否位于所述人机交互界面中的按钮区域内，若是，则触发所述按钮区域按照区域映射关系生成控制指令，所述控制指令包括轮椅控制指令和机械臂控制指令，所述轮椅控制指令用于控制轮椅执行相应的动作，所述机械臂控制指令控制机械臂执行相应的动作，同一时刻仅允许触发所述轮椅控制指令或所述机械臂控制指令；在所述轮椅执行所述轮椅控制指令的期间，所述头部方位姿态角信号还用于生成轮椅转向指令，所述轮椅转向指令用于控制所述轮椅执行转向动作；人脸识别模块，用于实时获取用户的人脸姿态信号，所述人脸姿态信号用于根据触发信号替代所述头部方位姿态角信号生成所述轮椅转向指令。
本发明第二方面提出一种基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法，实时获取用户的头部方位姿态角信号，根据所述头部方位姿态角信号调节人机交互界面中的光标的位置；实时获取用户的眼电信号和注意力信号，若同一时刻的所述眼电信号和所述注意力信号同时满足对应的预设阈值条件，则生成主动眨眼信号；判断所述光标的位置是否位于所述人机交互界面中的按钮区域内，若是，则触发所述按钮区域按照区域映射关系生成控制指令，所述控制指令包括轮椅控制指令和机械臂控制指令，所述轮椅控制指令用于控制轮椅执行相应的动作，所述机械臂控制指令控制机械臂执行相应的动作，同一时刻仅允许触发所述轮椅控制指令或所述机械臂控制指令；在所述轮椅执行所述轮椅控制指令的期间，所述头部方位姿态角信号还用于生成轮椅转向指令，所述轮椅转向指令用于控制所述轮椅执行转向动作；实时获取用户的人脸姿态信号，所述人脸姿态信号用于根据触发信号替代所述头部方位姿态角信号生成所述轮椅转向指令。
本发明第三方面提出一种基于多模态信号和机器视觉融合控制的轮椅机械臂装置，所述装置包括存储器和处理器，其中，所述存储器用于存储可执行程序代码；所述处理器与所述存储器耦合；所述处理器调用所述存储器中存储的所述可执行程序代码，执行上所述的基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法。
本发明第四方面提出一种计算机可读存储介质，所述存储介质中存储有计算机指令，所述计算机指令被调用时，用于执行上述的基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法。
本发明的有益效果为：根据用户的头部方位姿态角信号控制人机交互界面中的光标的位置，根据用户的眼电信号和注意力信号判断用户是否存在主动眨眼的行为，将主动眨眼行为识别为光标点击操作，从而控制光标在人机交互界面上的按钮区域进行点击操作，并生成对应的控制指令用于控制轮椅和机械臂执行相应的动作，如轮椅进行前、后或者原地旋转，以及机械臂进行握持等操作，并且，在轮椅进行前、后或者原地旋转的同时，用户的头部动作可分别生成轮椅转向指令，以控制轮椅执行转向动作，实现了轮椅和机械臂的精准操作，可靠性高。
附图说明
图1为本发明实施例一公开的基于多模态信号和机器视觉融合控制的轮椅机械臂系统的结构示意图；
图2为本发明实施例一公开的基于多模态信号和机器视觉融合控制的轮椅机械臂系统的原理示意图；
图3为本发明实施例二公开的基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法的流程示意图；
图4是本发明实施例二公开的轮椅控制界面中轮椅模式选择界面的示意图；
图5是本发明实施例二公开的轮椅控制界面中轮椅功能选择界面的示意图；
图6是本发明实施例二公开的轮椅控制界面中前进功能初始界面的示意图；
图7是本发明实施例二公开的轮椅控制界面中前进功能运行界面的示意图；
图8是本发明实施例二公开的轮椅控制界面中后退功能初始界面的示意图；
图9是本发明实施例二公开的轮椅控制界面中后退功能运行界面示的意图；
图10是本发明实施例二公开的轮椅控制界面中原地转动功能初始界面的示意图；
图11是本发明实施例二公开的轮椅控制界面中原地转动功能运行界面的示意图；
图12为本发明实施例二公开的机械臂控制界面中自由运动模式界面的示意图；
图13为本发明实施例二公开的机械臂控制界面中跟随模式界面的示意图；
图14为本发明实施例三公开的多模态信号和机器视觉融合控制的轮椅机械臂装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
本发明实施例公开了基于多模态信号和机器视觉融合控制的轮椅机械臂系统，根据用户的头部方位姿态角信号控制人机交互界面中的光标的位置，根据用户的眼电信号和注意力信号判断用户是否存在主动眨眼的行为，将主动眨眼行为识别光标点击操作，从而控制光标在人机交互界面上的按钮区域进行点击操作，并生成对应的控制指令用于控制轮椅和机械臂执行相应的动作，如轮椅进行前、后或者原地旋转，以及机械臂进行握持等操作，并且，在轮椅进行前、后或者原地旋转的同时，用户的头部动作可分别生成轮椅转向指令，以控制轮椅执行转向动作，实现了轮椅和机械臂的精准操作，可靠性高。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于多模态信号和机器视觉融合控制的轮椅机械臂系统的结构示意图。其中，图1所描述的基于多模态信号和机器视觉融合控制的轮椅机械臂系统可以应用于头环、嵌入式人机交互界面、轮椅和机械臂中，本发明实施例不做限定。如图1所示，该基于多模态信号和机器视觉融合控制的轮椅机械臂系统可以包括：
用户头部姿态检测模块101，用于实时获取用户的头部方位姿态角信号，根据头部方位姿态角信号调节人机交互界面中的光标的位置。
在本实施例中，该用户头部姿态检测模块101由三轴加速度计、三轴陀螺仪和三轴磁力计构成，即九轴姿态传感器，对于本实施例而言，该九轴姿态传感器可集成在某一头戴设备内，如头环，使用时用户需将该头环戴在头部，以用户头部为原点，其作用为追踪头部的俯仰角(仰头和低头)和偏航角(头部左转和右转)，用户头部姿态检测模块101生成头部方位姿态角信号，通过头环中的蓝牙模块将头部方位姿态角信号传输至人机交互界面。
用户头部信号采集与识别模块102，用于实时获取用户的眼电信号和注意力信号，若同一时刻的眼电信号和注意力信号同时满足对应的预设阈值条件，则生成主动眨眼信号；
本发明实施例中，该眼电信号和注意力信号通过用户头部信号采集与识别模块实时获取，该用户头部信号采集与识别模块可集成在某一头戴设备内，如头环，属于非侵入式的脑机。用户头部信号采集与识别模块102的硬件包括信号采集装置和信号放大器，软件包括信号特征提取与识别算法，用户佩戴并开启头环后，能够通过信号采集装置获取用户的脑电信号和眼电信号，并从脑电信号中提取出注意力信号，当检测到用户的眼电信号(眨眼波形)和注意力信号(注意力参数)同时满足设定好的阈值条件时,判断用户存在主动眨眼行为，生成主动眨眼信号，将主动眨眼信号通过头环中的蓝牙模块传输至人机交互界面。
上述的预设阈值条件为两个预设的参数，包括眼电信号阈值范围，以及注意力信号阈值范围，眼电信号和注意力信号在同一时刻分别处于眼电信号阈值范围和注意力信号阈值范围，才被认为是用户存在主动眨眼行为，若主动眨眼信号通过判定，则进行一次光标点击操作。
指令生成模块103，用于判断光标的位置是否位于人机交互界面中的按钮区域内，若是，则触发按钮区域按照区域映射关系生成控制指令，控制指令包括轮椅控制指令和机械臂控制指令，轮椅控制指令用于控制轮椅执行相应的动作，机械臂控制指令控制机械臂执行相应的动作，同一时刻仅允许触发轮椅控制指令或机械臂控制指令；在轮椅执行轮椅控制指令的期间，头部方位姿态角信号还用于生成轮椅转向指令，轮椅转向指令用于控制轮椅执行转向动作。
本发明实施例中，人机交互界面和指令生成模块103可选取一嵌入式系统作为硬件载体，如选取平板电脑、移动终端或PC等作为人机交互界面的载体，本实施例中以平板电脑为例，用于为用户提供轮椅和机械臂的操控界面，平板电脑的蓝牙模块用于接收头环传输的头部方位姿态角信号，通过平板电脑的CPU和操作系统控制光标在平板电脑屏幕(即人机交互界面)的位置，令光标的位置与头部方位姿态角信号表征的位置实时对应，实现了用户通过控制头部姿态来间接控制人机交互界面中光标的位置，平板电脑的蓝牙模块还用于接收头环传输的主动眨眼信号，平板电脑的CPU(即指令生成模块)控制光标进行一次点击操作，若光标位于按钮区域之内，则生成控制指令，若光标位于按钮区域之外，则光标无操作，按钮区域可设置多个独立的按钮，根据预设的区域映射关系，光标在人机界面上点击不同按钮生成不同的控制指令，最后通过平板电脑的蓝牙模块将控制指令传输至轮椅的蓝牙模块，平板电脑的wifi模块将控制指令传输至机械臂的wifi模块，以控制轮椅或机械臂执行相应的动作。
另外，在逻辑上，同一时刻仅允许触发轮椅控制指令或机械臂控制指令，因此在轮椅执行轮椅控制指令的期间，头部方位姿态角信号还可以生成轮椅转向指令，轮椅转向指令用于控制轮椅执行转向动作。在轮椅执行轮椅控制指令的期间，如轮椅前进中，期间用户无需在集中精神在人机界面，注意力应当放在转向上，用户通过主动转头来控制轮椅在前进期间进行左右转向，此时光标仍跟随头部在屏幕中移动，但此时无主动眨眼操作，因此不容易误触。
人脸识别模块104，用于实时获取用户的人脸姿态信号，人脸姿态信号用于根据触发信号替代头部方位姿态角信号生成轮椅转向指令。
在本实施例中，人脸识别模块104通过平板电脑上的摄像头采集用户人脸姿态信号，进行数据处理后解算出用户实时的人脸姿态朝向发送给指令生成模块103，生成轮椅转向指令来控制轮椅进行左右转向。人脸姿态信号生成轮椅转向指令属于轮椅转向的补充。
可选的，还可以加载语音模块105，时获取用户的语音信号，根据语音信号生成停止指令，停止指令包括轮椅停止指令和机械臂停止指令，轮椅停止指令用于终止轮椅当前执行的轮椅控制指令，机械臂停止指令用于终止机械臂当前执行的机械臂控制指令。
该语音模块105语音模块可直接嵌入平板电脑，或者直接调用平板电脑的麦克风，目的是为了更迅速的触发停止指令，提高控制的灵敏度和精确度，用于接收识别语音关键词信号，如使用“停车停车”语音触发轮椅停止指令，使用“机械臂停”语音触发机械臂停止指令，当语音模块105识别到设定的语音关键词后，立即发送信号给指令生成模块103生成对应的停止指令，可在轮椅移动和物体抓取等任务中提高控制的精确度。
以上的示例中，参阅图2，用户头部姿态检测模块和用户头部信号采集与识别模块集成在一头环a内，人机交互界面和指令生成模块则集成在一平板电脑b内，使用过程表现为，当用户转动头部时，平板电脑b中的人机交互界面中的光标跟随用户头部移动，随着用户的头部停止运动，光标则能够停留在预想的按键位置，而当用户主动眨眼，光标则完成一次点击操作，生成的控制指令用于控制轮椅c和机械臂d执行相应的动作。
实施例二
参阅图3，图3是本发明实施例公开的一种基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法的流程示意图。其中，图3所示的方法可以用于人机交互界面、轮椅以及机械臂的信号处理和控制中，本发明实施例不做限定。如图3所示，该基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法包括以下步骤：
201、用户头部姿态检测模块实时获取用户的头部方位姿态角信号，根据头部方位姿态角信号调节人机交互界面中的光标的位置；
202、用户头部信号采集与识别模块实时获取用户的眼电信号和注意力信号，若同一时刻的眼电信号和注意力信号同时满足对应的预设阈值条件，则生成主动眨眼信号；
203、指令生成模块判断光标的位置是否位于人机交互界面中的按钮区域内，若是，则触发按钮区域按照区域映射关系生成控制指令，控制指令包括轮椅控制指令和机械臂控制指令，轮椅控制指令用于控制轮椅执行相应的动作，机械臂控制指令控制机械臂执行相应的动作，同一时刻仅允许触发轮椅控制指令或机械臂控制指令；在轮椅执行轮椅控制指令的期间，头部方位姿态角信号还用于生成轮椅转向指令，轮椅转向指令用于控制轮椅执行转向动作；
204、人脸识别模块实时获取用户的人脸姿态信号，人脸姿态信号用于根据触发信号替代头部方位姿态角信号生成轮椅转向指令。
205、语音模块实时获取用户的语音信号，根据语音信号生成停止指令，停止指令包括轮椅停止指令和机械臂停止指令，轮椅停止指令用于终止轮椅当前执行的轮椅控制指令，机械臂停止指令用于终止机械臂当前执行的机械臂控制指令。
可选的，人机交互界面包括轮椅控制界面，轮椅控制界面至少包含轮椅模式选择界面、轮椅功能选择界面、功能初始界面和功能运行界面，各个界面的按钮区域内均显示若干的功能按钮，每一个功能按钮映射唯一一个轮椅控制指令，其中，
参阅图4，轮椅模式选择界面内，功能按钮至少包括“脑机AI模式I”按钮和“脑机AI模式II”按钮，“脑机AI模式I”按钮用于激活头部方位姿态角信号，“脑机AI模式II”按钮用于激活人脸姿态信号，“脑机AI模式I”按钮或“脑机AI模式II”按钮任意一个被触发后，跳转到相同的轮椅功能选择界面。
其中，“脑机AI模式I”采用用户的头部方位姿态角信号控制电动轮椅左右转向，“脑机AI模式II”采用用户的人脸姿态信号控制电动轮椅左右转向。如图4，该界面还包含“启动控制器”按钮、“关闭控制器”按钮、“手动模式”按钮、“SOS”按钮以及“退出”按钮，共计7个按钮。用户可点击“启动控制器”按钮、“关闭控制器”按钮来控制轮椅的控制器开闭，避免误触。
参阅图5，轮椅功能选择界面内，功能按钮至少包括“前进”按钮、“后退”按钮和“原地转动”按钮，“前进”按钮用于激活轮椅的前进动作姿态，“后退”按钮用于激活轮椅的后退动作姿态，“原地转动”按钮用于激活轮椅进的原地转动动作姿态，“前进”按钮、“后退”按钮和“原地转动”按钮任意一个被触发后，跳转到对应的功能初始界面。该界面还包含“确定”按钮、“SOS”按钮以及“返回”按钮。
其中，“前进”按钮、“后退”按钮和“原地转动”按钮分别代表电动轮椅前进、后退和原地转动三种运动方式，用户点击需要的运动方式按钮后10秒内点击“确定”按钮后可跳转至对应运动的功能初始界面内；点击“返回”按钮可返回到轮椅模式选择界面；点击SOS按钮可发送求救信息。在本界面下轮椅保持停止状态。
功能初始界面内，功能按钮至少包括防误触按钮，防误触按钮触发后，生成轮椅控制指令，在轮椅控制指令执行期间，头部方位姿态角信号/人脸姿态信号生成轮椅转向指令；功能运行界面内，功能按钮至少包括动作停止按钮，动作停止按钮触发后，生成停止指令。本实施例以“前进”按钮对应的功能初始界面为例说明，参阅图6，前进功能初始界面共有2个按钮，此界面下轮椅保持停止状态。用户点击“启动”按钮后轮椅开始向前直行，界面切换至如图7所示的前进功能运行界面，“启动”按钮消失，显示“加速”、“减速”、“停止”和“SOS”按钮。需注意的是，只有在进入功能初始界面后的10秒内点击“启动”按钮后轮椅才会有效，否则界面会跳转回轮椅功能选择界面，用户需要重新选择功能。如图7所示，是前进功能运行界面，该界面共有5个按钮。轮椅默认以低速挡前进，用户点击“加速”按钮后，电动轮椅速度提升一个挡位，共有五个挡位；在高速状态下，用户点击“减速”按钮，轮椅减速至低速挡运行；点击“停止”按钮后轮椅停车，用户想要再次启动轮椅需返回至轮椅功能选择界面重新选择操作功能。用户点击“SOS”按钮后轮椅停车，并发送求救信息。“后退”按钮和“原地转动”按钮对应的功能初始界面和功能运行界面参阅图8-11，其原理与“前进”按钮相似，在此不再赘述。
可选的，参阅图12和图13，上述的人机交互界面还包括机械臂控制界面，机械臂控制界面包括自由运动模式和跟随模式，在自由运动模式下，在机械臂控制界面的按钮区域内显示若干的功能按钮，以及一个切换为跟随模式的切换按钮，每一个功能按钮映射唯一一个机械臂控制指令，在跟随模式下，机械臂控制界面的按钮区域内只显示一个返回自由运动模式的返回按钮。
需要说明的是，自由运动模式和跟随模式的应用场合稍有不同。在自由运动模式下，用户的操作集中在大量的按钮上，而在跟随模式下，用户的操作则主要集中在机械臂上。以下举例说明。
在自由运动模式下，功能按钮至少包括“前”按钮和“后”按钮，“前”按钮和“后”按钮分别用于控制机械臂向前方和后方进行匀速直线运动，且在自由运动模式下，按钮区域激活为控制死区，当光标位于控制死区内，机械臂于前后维度仅受“前”按钮和“后”按钮触发的机械臂控制指令的控制，于上下左右维度不受光标的控制，当光标位于控制死区之外，机械臂于前后维度受“前”按钮和“后”按钮触发的机械臂控制指令的控制，同时跟随光标于上下左右维度进行运动。
在自由运动模式下，机械臂控制界面的按钮区域内还显示防误触按钮，防误触按钮包括“启动”按钮和“确定”按钮，当功能按钮生成机械臂控制指令后，依次触发“启动”按钮和“确定”按钮生成发送信号，发送信号用于允许机械臂控制指令发送到机械臂，并控制机械臂执行机械臂控制指令。
在自由运动模式下，功能按钮还包括“中”按钮，“中”按钮用于关闭机械臂进行前后维度运动的权限，当光标位于控制死区之外，机械臂运动跟随光标于上下左右维度进行运动。继续参阅图12，除“前”按钮、“后”按钮和“中”按钮之外，自由运动模式下屏幕上还包括其他的功能按钮，除退出按钮外，其余功能按钮成矩形分布排列，形成所述的控制死区(即按钮区域，两者为同一区域，为对于不同场景的使用不同的描述，下面不再赘述)。
在以上示例中，自由运动模式重点在于用户点击按钮区域中的功能按钮，因此，当光标位于按钮区域内，即为控制死区，表现为用户的头部姿态无法控制机械臂进行竖直平面(上下左右方向)的二维运动。而当用户的头部姿态继续加大，光标将逐渐移动到控制死区之外，此时表现为头部姿态能够控制机械臂进行竖直平面的二维运动，控制死区的设置能够令用户的注意力集中在按钮区域，避免在点击按钮过程中机械臂产生移动，提高了控制精度。
继续参阅图13，在跟随模式下，控制死区失效，机械臂运动跟随光标于上下左右维度进行运动。
在以上示例中，跟随模式的作用主要在于令用户将注意力集中在机械臂上，因此解除控制死区限制，用户可通过观察机械臂的具体位置，控制头部的转动方向和转动幅度，表现为头部姿态能够控制机械臂进行竖直平面的二维运动。
在本实施例中，用户通过主动眨眼控制光标在人机交互界面上点击功能按钮，令到机械臂在前后维度上的运动方向，然后再通过控制头部姿态将光标移动到控制死区之外，令到机械臂在竖直平面(上下左右方向)上进行运动，从而将前后维度的直线运动和上下左右维度的平面运动合成为三维运动，实现机械臂在空间中沿任意角度方向运动。
在一可选的实施方案中，当指令生成模块在预设时间内连接接收到预设次数的主动眨眼信号，则控制光标返回人机交互界面的原点。在一示例中，如平板电脑的CPU在短时间(如1s)内收到两次主动眨眼信号，则控制光标返回平板电脑的屏幕中心，该过程模拟鼠标双击，贴近用户的日常使用习惯，节省学习成本。
实施例三
请参阅图14，图14是本发明实施例公开的多模态信号和机器视觉融合控制的轮椅机械臂装置的结构示意图。如图14所示，该控制平台可以包括：
存储有可执行程序代码的存储器301；
与存储器301耦合的处理器302；
处理器302调用存储器301中存储的可执行程序代码，用于执行实施例二所描述的基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法中的步骤。
实施例四
本发明实施例公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例二所描述的基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法中的步骤。
实施例五
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例二所描述的基于基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种基于基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法、装置及介质所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离奔放各项实施例技术方案的精神和范围。
Claims (8)
1.一种基于多模态信号和机器视觉融合控制的轮椅机械臂系统，其特征在于，包括：
用户头部姿态检测模块，用于实时获取用户的头部方位姿态角信号，根据所述头部方位姿态角信号调节人机交互界面中的光标的位置；
用户头部信号采集与识别模块，用于实时获取用户的眼电信号和注意力信号，若同一时刻的所述眼电信号和所述注意力信号同时满足对应的预设阈值条件，则生成主动眨眼信号；
指令生成模块，用于判断所述光标的位置是否位于所述人机交互界面中的按钮区域内，若是，则触发所述按钮区域按照区域映射关系生成控制指令，所述控制指令包括轮椅控制指令和机械臂控制指令，所述轮椅控制指令用于控制轮椅执行相应的动作，所述机械臂控制指令控制机械臂执行相应的动作，同一时刻仅允许触发所述轮椅控制指令或所述机械臂控制指令；在所述轮椅执行所述轮椅控制指令的期间，所述头部方位姿态角信号还用于生成轮椅转向指令，所述轮椅转向指令用于控制所述轮椅执行转向动作；
人脸识别模块，用于实时获取用户的人脸姿态信号，所述人脸姿态信号用于根据触发信号替代所述头部方位姿态角信号生成所述轮椅转向指令；
所述人机交互界面包括机械臂控制界面，所述机械臂控制界面包括自由运动模式和跟随模式，在所述自由运动模式下，在所述机械臂控制界面的所述按钮区域内显示若干的功能按钮，以及一个切换为所述跟随模式的切换按钮，每一个所述功能按钮映射唯一一个所述机械臂控制指令，在所述跟随模式下，所述机械臂控制界面的所述按钮区域内只显示一个返回所述自由运动模式的返回按钮；
所述功能按钮至少包括“前”按钮和“后”按钮，所述“前”按钮和所述“后”按钮分别用于控制所述机械臂向前方和后方进行匀速直线运动，且在所述自由运动模式下，所述按钮区域激活为控制死区，当所述光标位于所述控制死区内，所述机械臂于前后维度仅受所述“前”按钮和所述“后”按钮触发的机械臂控制指令的控制，于上下左右维度不受所述光标的控制，当所述光标位于所述控制死区之外，所述机械臂于前后维度受所述“前”按钮和所述“后”按钮触发的机械臂控制指令的控制，同时跟随所述光标于上下左右维度进行运动。
2.一种基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法，其特征在于，包括以下步骤：
实时获取用户的头部方位姿态角信号，根据所述头部方位姿态角信号调节人机交互界面中的光标的位置；
实时获取用户的眼电信号和注意力信号，若同一时刻的所述眼电信号和所述注意力信号同时满足对应的预设阈值条件，则生成主动眨眼信号；
判断所述光标的位置是否位于所述人机交互界面中的按钮区域内，若是，则触发所述按钮区域按照区域映射关系生成控制指令，所述控制指令包括轮椅控制指令和机械臂控制指令，所述轮椅控制指令用于控制轮椅执行相应的动作，所述机械臂控制指令控制机械臂执行相应的动作，同一时刻仅允许触发所述轮椅控制指令或所述机械臂控制指令；在所述轮椅执行所述轮椅控制指令的期间，所述头部方位姿态角信号还用于生成轮椅转向指令，所述轮椅转向指令用于控制所述轮椅执行转向动作；
实时获取用户的人脸姿态信号，所述人脸姿态信号用于根据触发信号替代所述头部方位姿态角信号生成所述轮椅转向指令；
所述人机交互界面包括机械臂控制界面，所述机械臂控制界面包括自由运动模式和跟随模式，在所述自由运动模式下，在所述机械臂控制界面的所述按钮区域内显示若干的功能按钮，以及一个切换为所述跟随模式的切换按钮，每一个所述功能按钮映射唯一一个所述机械臂控制指令，在所述跟随模式下，所述机械臂控制界面的所述按钮区域内只显示一个返回所述自由运动模式的返回按钮；
所述功能按钮至少包括“前”按钮和“后”按钮，所述“前”按钮和所述“后”按钮分别用于控制所述机械臂向前方和后方进行匀速直线运动，且在所述自由运动模式下，所述按钮区域激活为控制死区，当所述光标位于所述控制死区内，所述机械臂于前后维度仅受所述“前”按钮和所述“后”按钮触发的机械臂控制指令的控制，于上下左右维度不受所述光标的控制，当所述光标位于所述控制死区之外，所述机械臂于前后维度受所述“前”按钮和所述“后”按钮触发的机械臂控制指令的控制，同时跟随所述光标于上下左右维度进行运动。
3.如权利要求2所述的基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法，其特征在于，实时获取用户的语音信号，根据所述语音信号生成停止指令，所述停止指令包括轮椅停止指令和机械臂停止指令，所述轮椅停止指令用于终止所述轮椅当前执行的所述轮椅控制指令，所述机械臂停止指令用于终止所述机械臂当前执行的所述机械臂控制指令。
4.如权利要求2所述的基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法，其特征在于，所述人机交互界面包括轮椅控制界面，所述轮椅控制界面至少包含轮椅模式选择界面、轮椅功能选择界面、功能初始界面和功能运行界面，各个界面的所述按钮区域内均显示若干的功能按钮，每一个所述功能按钮映射唯一一个所述轮椅控制指令，其中，
所述轮椅模式选择界面内，所述功能按钮至少包括“脑机AI模式I”按钮和“脑机AI模式II”按钮，所述“脑机AI模式I”按钮用于激活所述头部方位姿态角信号，所述“脑机AI模式II”按钮用于激活所述人脸姿态信号，所述“脑机AI模式I”按钮或所述“脑机AI模式II”按钮任意一个被触发后，跳转到相同的所述轮椅功能选择界面；
所述轮椅功能选择界面内，所述功能按钮至少包括“前进”按钮、“后退”按钮和“原地转动”按钮，所述“前进”按钮用于激活所述轮椅的前进动作姿态，所述“后退”按钮用于激活所述轮椅的后退动作姿态，所述“原地转动”按钮用于激活所述轮椅进的原地转动动作姿态，所述“前进”按钮、所述“后退”按钮和所述“原地转动”按钮任意一个被触发后，跳转到对应的所述功能初始界面；
所述功能初始界面内，所述功能按钮至少包括防误触按钮，所述防误触按钮触发后，生成所述轮椅控制指令，在所述轮椅控制指令执行期间，所述头部方位姿态角信号/所述人脸姿态信号生成所述轮椅转向指令；
所述功能运行界面内，所述功能按钮至少包括动作停止按钮，所述动作停止按钮触发后，生成停止指令。
5.如权利要求2所述的基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法，其特征在于，所述机械臂控制界面的所述按钮区域内还显示防误触按钮，所述防误触按钮包括“启动”按钮和“确定”按钮，当所述功能按钮生成所述机械臂控制指令后，依次触发所述“启动”按钮和所述“确定”按钮生成发送信号，所述发送信号用于允许所述机械臂控制指令发送到所述机械臂，并控制所述机械臂执行所述机械臂控制指令。
6.如权利要求5所述的基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法，其特征在于，所述功能按钮还包括“中”按钮，所述“中”按钮用于关闭所述机械臂进行前后维度运动的权限，当所述光标位于所述控制死区之外，所述机械臂运动跟随所述光标于上下左右维度进行运动；
在所述跟随模式下，所述控制死区失效，所述机械臂运动跟随所述光标于上下左右维度进行运动。
7.一种基于多模态信号和机器视觉融合控制的轮椅机械臂装置，其特征在于，所述装置包括存储器和处理器，其中，所述存储器用于存储可执行程序代码；所述处理器与所述存储器耦合；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求2-6任一项所述的基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求2-6任一项所述的基于多模态信号和机器视觉融合控制的轮椅机械臂控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211242666.9A CN115741670B (zh) | 2022-10-11 | 2022-10-11 | 基于多模态信号和机器视觉融合控制的轮椅机械臂系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211242666.9A CN115741670B (zh) | 2022-10-11 | 2022-10-11 | 基于多模态信号和机器视觉融合控制的轮椅机械臂系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115741670A CN115741670A (zh) | 2023-03-07 |
| CN115741670B true CN115741670B (zh) | 2024-05-03 |
Family
ID=85351170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211242666.9A Active CN115741670B (zh) | 2022-10-11 | 2022-10-11 | 基于多模态信号和机器视觉融合控制的轮椅机械臂系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115741670B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116880700A (zh) * | 2023-09-07 | 2023-10-13 | 华南理工大学 | 基于可穿戴脑机接口的树莓派智能小车控制方法与系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009133258A1 (fr) * | 2008-03-26 | 2009-11-05 | Smartio Sas | Procede et dispositif de commande pour personne handicapee |
| FR2954990A1 (fr) * | 2008-03-26 | 2011-07-08 | Smartio Systems | Procede et dispositif de pointage pour personne handicapee |
| CN103349595A (zh) * | 2013-07-16 | 2013-10-16 | 杭州电子科技大学 | 基于多模式分层控制的脑机接口智能轮椅 |
| CN105105938A (zh) * | 2015-07-14 | 2015-12-02 | 南京邮电大学 | 基于人脸朝向识别与跟踪的智能轮椅控制方法及系统 |
| CN110134245A (zh) * | 2019-05-21 | 2019-08-16 | 华南脑控(广东)智能科技有限公司 | 一种基于eog和姿态传感器的眼控装置以及眼控方法 |
| CN110673721A (zh) * | 2019-08-29 | 2020-01-10 | 江苏大学 | 基于视觉与意念信号协同控制的机器人看护系统 |
| CN111839926A (zh) * | 2020-06-18 | 2020-10-30 | 南京邮电大学 | 一种头姿交互控制与自主学习控制共享的轮椅控制方法及系统 |
| CN113156861A (zh) * | 2021-04-21 | 2021-07-23 | 华南脑控(广东)智能科技有限公司 | 轮椅智能控制系统 |
-
2022
- 2022-10-11 CN CN202211242666.9A patent/CN115741670B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009133258A1 (fr) * | 2008-03-26 | 2009-11-05 | Smartio Sas | Procede et dispositif de commande pour personne handicapee |
| FR2954990A1 (fr) * | 2008-03-26 | 2011-07-08 | Smartio Systems | Procede et dispositif de pointage pour personne handicapee |
| CN103349595A (zh) * | 2013-07-16 | 2013-10-16 | 杭州电子科技大学 | 基于多模式分层控制的脑机接口智能轮椅 |
| CN105105938A (zh) * | 2015-07-14 | 2015-12-02 | 南京邮电大学 | 基于人脸朝向识别与跟踪的智能轮椅控制方法及系统 |
| CN110134245A (zh) * | 2019-05-21 | 2019-08-16 | 华南脑控(广东)智能科技有限公司 | 一种基于eog和姿态传感器的眼控装置以及眼控方法 |
| CN110673721A (zh) * | 2019-08-29 | 2020-01-10 | 江苏大学 | 基于视觉与意念信号协同控制的机器人看护系统 |
| CN111839926A (zh) * | 2020-06-18 | 2020-10-30 | 南京邮电大学 | 一种头姿交互控制与自主学习控制共享的轮椅控制方法及系统 |
| CN113156861A (zh) * | 2021-04-21 | 2021-07-23 | 华南脑控(广东)智能科技有限公司 | 轮椅智能控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115741670A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mahmud et al. | Interface for human machine interaction for assistant devices: A review | |
| US10755096B2 (en) | 3D gaze control of robot for navigation and object manipulation | |
| Felzer et al. | HaWCoS: the" hands-free" wheelchair control system | |
| Rebsamen et al. | Controlling a wheelchair indoors using thought | |
| CN115890655B (zh) | 基于头部姿态和眼电的机械臂控制方法、装置及介质 | |
| Arrichiello et al. | Assistive robot operated via P300-based brain computer interface | |
| CN115741670B (zh) | 基于多模态信号和机器视觉融合控制的轮椅机械臂系统 | |
| KR20040050055A (ko) | 로봇 장치 및 그 제어 방법 | |
| Zeng et al. | Semi-autonomous robotic arm reaching with hybrid gaze–brain machine interface | |
| CN103207671A (zh) | 利用深度传感器进行无接触操作的烧蚀工作站 | |
| CN110658742A (zh) | 多模态协同操控的轮椅控制系统及方法 | |
| JP2017185994A (ja) | 自動車の室内照明を制御するためのデバイス | |
| Tostado et al. | 3D gaze cursor: Continuous calibration and end-point grasp control of robotic actuators | |
| CN106377228A (zh) | 基于Kinect的无人机操作员状态监视与分层控制方法 | |
| US20220291753A1 (en) | Spatial Gesture Recognition using Inputs from Different Devices to Control a Computing Device | |
| CN113156861A (zh) | 轮椅智能控制系统 | |
| Li et al. | An egocentric computer vision based co-robot wheelchair | |
| CN114652532B (zh) | 基于ssvep与注意力检测的多功能脑控轮椅系统 | |
| Wei et al. | Evaluating the performance of a face movement based wheelchair control interface in an indoor environment | |
| CN111134974B (zh) | 一种基于增强现实和多模态生物信号的轮椅机器人系统 | |
| Maciel et al. | Shared control methodology based on head positioning and vector fields for people with quadriplegia | |
| EP3885013A1 (en) | Information processing device, information processing method, and program | |
| Ababneh et al. | Gesture controlled mobile robotic arm for elderly and wheelchair people assistance using kinect sensor | |
| Bartolein et al. | Easing wheelchair control by gaze-based estimation of intended motion | |
| Sekmen et al. | Human robot interaction via cellular phones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230821 Address after: 510635 Wushan Road, Tianhe District, Guangzhou City, Guangdong Province Applicant after: SOUTH CHINA University OF TECHNOLOGY Address before: 510330 room 051, first floor, No. 2429, Xingang East Road, Haizhu District, Guangzhou City, Guangdong Province Applicant before: Guangdong Provincial Laboratory of artificial intelligence and digital economy (Guangzhou) Applicant before: South China Brain Control (Guangdong) Intelligent Technology Co.,Ltd. Applicant before: SOUTH CHINA University OF TECHNOLOGY |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |