CN115890655B - 基于头部姿态和眼电的机械臂控制方法、装置及介质 - Google Patents

基于头部姿态和眼电的机械臂控制方法、装置及介质 Download PDF

Info

Publication number
CN115890655B
CN115890655B CN202211243204.9A CN202211243204A CN115890655B CN 115890655 B CN115890655 B CN 115890655B CN 202211243204 A CN202211243204 A CN 202211243204A CN 115890655 B CN115890655 B CN 115890655B
Authority
CN
China
Prior art keywords
button
mechanical arm
control
signal
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211243204.9A
Other languages
English (en)
Other versions
CN115890655A (zh
Inventor
李远清
陆子霖
周亚军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
Original Assignee
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou filed Critical Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
Priority to CN202211243204.9A priority Critical patent/CN115890655B/zh
Publication of CN115890655A publication Critical patent/CN115890655A/zh
Application granted granted Critical
Publication of CN115890655B publication Critical patent/CN115890655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种基于头部姿态和眼电的机械臂控制方法、装置及介质,该方法包括以下步骤:实时获取用户的头部方位姿态角信号,根据头部方位姿态角信号调节人机交互界面中的光标的位置;实时获取用户的眼电信号和注意力信号,若同一时刻的眼电信号和注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号;判断光标的位置是否位于人机交互界面中的按钮区域内,若是,则触发按钮区域按照区域映射关系生成控制指令,根据控制指令控制机械臂执行相应的动作。本发明的有益效果是:无需将大量的注意力放在生成命令上,故长时间使用脑机接口不容易疲劳,而且不会分散用户对机械臂实时状态的注意力。

Description

基于头部姿态和眼电的机械臂控制方法、装置及介质
技术领域
本发明涉及脑机接口技术领域,尤其涉及一种基于头部姿态和眼电的机械臂控制方法、装置及介质。
背景技术
脑机接口(Brain-computer interface,BCI)指在人或动物大脑与外部设备之间创建的直接连接,实现脑与设备的信息交换。对于患有严重上肢残疾的人来说,BCI被认为有望在日常生活中提高他们的自理能力。为了辅助瘫痪患者使其拥有运动控制的能力,设计一个由大脑驱动的机械臂,在三维空间中进行伸手和抓取活动一直是一个热点研究问题。
根据信号采集的侵入程度,BCI大致可分为侵入式和非侵入式。大多数BCI控制的机械臂的进展都是通过侵入性BCI实现的,它可以获得比非侵入性BCI更高质量的信号,然而有创BCI的技术困难和临床风险仍然严重制约了其自身的实际应用。相比之下,在头皮上记录脑电图(EEG)的非侵入性BCI方案更容易实现,也更为安全。有研究人员开发了一种使用诱发式脑电信号P300电位的无创BCI系统,以实现多自由度机械臂的控制。但诱发式脑电接口的一个主要缺点是对外界刺激存在要求,在控制过程中,用户需要集中精神紧盯屏幕中的色块,以产生诱发电位,这会分散用户观察机械臂实时状态的注意力,导致机械臂的移动轨迹与用户的预期不匹配,长时间使用后还容易产生精神疲劳。
发明内容
针对上述问题,本发明提出一种基于头部姿态和眼电的机械臂控制方法、装置及介质,旨在解决现有诱发式脑机方案容易分散用户对机械臂实时状态的注意力,以及长时间使用容易疲劳的问题。
为解决上述技术问题,本发明第一方面提出一种基于头部姿态和眼电的机械臂控制方法,包括以下步骤:实时获取用户的头部方位姿态角信号,根据所述头部方位姿态角信号调节人机交互界面中的光标的位置;实时获取用户的眼电信号和注意力信号,若同一时刻的所述眼电信号和所述注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号;判断所述光标的位置是否位于所述人机交互界面中的按钮区域内,若是,则触发所述按钮区域按照区域映射关系生成控制指令,根据所述控制指令控制机械臂执行相应的动作。
在一些实施方式中,实时获取用户的语音信号,根据所述语音信号生成停止指令,所述停止指令用于终止所述机械臂当前执行的所述控制指令。
在一些实施方式中,所述人机交互界面包括自由运动模式和跟随模式,在所述自由运动模式下,在所述人机交互界面的所述按钮区域内显示若干的功能按钮,以及一个切换为所述跟随模式的切换按钮,每一个所述功能按钮映射唯一一个所述控制指令,在所述跟随模式下,所述人机交互界面的所述按钮区域内只显示一个返回所述自由运动模式的返回按钮。
在一些实施方式中,所述功能按钮至少包括“前”按钮和“后”按钮,所述“前”按钮和所述“后”按钮分别用于控制所述机械臂向前方和后方进行匀速直线运动,且在所述自由运动模式下,所述按钮区域激活为控制死区,当所述光标位于所述控制死区内,所述机械臂于前后维度仅受所述“前”按钮和所述“后”按钮触发的控制指令的控制,于上下左右维度不受所述光标的控制,当所述光标位于所述控制死区之外,所述机械臂于前后维度受所述“前”按钮和所述“后”按钮触发的控制指令的控制,同时跟随所述光标于上下左右维度进行运动。
在一些实施方式中,所述人机交互界面的所述按钮区域内还显示防误触按钮,所述防误触按钮包括“启动”按钮和“确定”按钮,当所述功能按钮生成所述控制指令后,依次触发所述“启动”按钮和所述“确定”按钮生成发送信号,所述发送信号用于允许所述控制指令发送到所述机械臂,并控制所述机械臂执行所述控制指令。
在一些实施方式中,所述功能按钮还包括“中”按钮,所述“中”按钮用于关闭所述机械臂进行前后维度运动的权限,当所述光标位于所述控制死区之外,所述机械臂运动跟随所述光标于上下左右维度进行运动。
在一些实施方式中,在所述跟随模式下,所述控制死区失效,所述机械臂运动跟随所述光标于上下左右维度进行运动。
本发明第二方面提出一种基于头部姿态和眼电的机械臂控制装置,包括:用户头部姿态检测模块,用于实时获取用户的头部方位姿态角信号,根据所述头部方位姿态角信号调节人机交互界面中的光标的位置;用户头部信号采集与识别模块,用于实时获取用户的眼电信号和注意力信号,若同一时刻的所述眼电信号和所述注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号;指令生成模块,用于判断所述光标的位置是否位于所述人机交互界面中的按钮区域内,若是,则触发所述按钮区域按照区域映射关系生成控制指令,根据所述控制指令控制机械臂执行相应的动作。
本发明第三方面提出一种基于头部姿态和眼电的机械臂控制装置,所述装置包括存储器和处理器,其中,所述存储器用于存储可执行程序代码;所述处理器与所述存储器耦合;所述处理器调用所述存储器中存储的所述可执行程序代码,执行上述的基于头部姿态和眼电的机械臂控制方法。
本发明第四方面提出一种计算机可读存储介质,所述存储介质中存储有计算机指令,所述计算机指令被调用时,用于执行上述的基于头部姿态和眼电的机械臂控制方法。
本发明的有益效果为:根据用户的头部方位姿态角信号控制人机交互界面中的光标的位置,根据用户的眼电信号和注意力信号判断用户是否存在主动眨眼的行为,将主动眨眼行为识别为光标点击操作,从而控制光标在人机交互界面上的按钮区域进行点击操作,并生成对应的控制指令用于控制机械臂执行相应的动作,用户的主动操作只有头部转动和主动眨眼,因此无需将大量的注意力放在生成命令上,故长时间使用脑机接口不容易疲劳,而且不会分散用户对机械臂实时状态的注意力。
附图说明
图1为本发明实施例一公开的基于头部姿态和眼电的机械臂控制方法的流程示意图;
图2为本发明实施例一公开的基于头部姿态和眼电的机械臂控制方法的原理示意图;
图3为本发明实施例二公开的基于头部姿态和眼电的机械臂控制方法的流程示意图;
图4为本发明实施例二公开的人机交互界面中自由运动模式界面的示意图;
图5为本发明实施例二公开的人机交互界面中跟随模式界面的示意图;
图6为本发明实施例三公开的基于头部姿态和眼电的机械臂控制装置的结构示意图;
图7为本发明实施例四公开的又一种基于头部姿态和眼电的机械臂控制装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
本发明实施例公开了基于头部姿态和眼电的机械臂控制方法、装置及介质,根据用户的头部方位姿态角信号控制人机交互界面中的光标的位置,根据用户的眼电信号和注意力信号判断用户是否存在主动眨眼的行为,将主动眨眼行为识别为光标点击操作,从而控制光标在人机交互界面上的按钮区域进行点击操作,并生成对应的控制指令用于控制机械臂执行相应的动作,用户的主动操作只有头部转动和主动眨眼,因此无需将大量的注意力放在生成命令上,故长时间使用脑机接口不容易疲劳,而且不会分散用户对机械臂实时状态的注意力。以下分别进行详细说明。
实施例一
参阅图1,图1是本发明实施例公开的一种基于头部姿态和眼电的机械臂控制方法的流程示意图。其中,图1所示的方法可以用于人机交互界面和机械臂的信号处理和控制中,本发明实施例不做限定。如图1所示,该基于头部姿态和眼电的机械臂控制方法包括以下步骤:
101、用户头部姿态检测模块实时获取用户的头部方位姿态角信号,根据头部方位姿态角信号调节人机交互界面中的光标的位置。
本发明实施例中,该头部方位姿态角信号通过用户头部姿态检测模块实时获取,用户头部姿态检测模块由三轴加速度计、三轴陀螺仪和三轴磁力计构成,即九轴姿态传感器,对于本实施例而言,该九轴姿态传感器可集成在某一头戴设备内,如头环,使用时用户需将该头环戴在头部,以用户头部为原点,其作用为追踪头部的俯仰角(仰头和低头)和偏航角(头部左转和右转),用户头部姿态检测模块生成头部方位姿态角信号,通过头环中的蓝牙模块将头部方位姿态角信号传输至人机交互界面。
102、用户头部信号采集与识别模块实时获取用户的眼电信号和注意力信号,若同一时刻的眼电信号和注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号。
本发明实施例中,该眼电信号和注意力信号通过用户头部信号采集与识别模块实时获取,该用户头部信号采集与识别模块可集成在某一头戴设备内,如头环,属于非侵入式的脑机。用户头部信号采集与识别模块的硬件包括信号采集装置和信号放大器,软件包括信号特征提取与识别算法,用户佩戴并开启头环后,能够通过信号采集装置获取用户的脑电信号和眼电信号,并从脑电信号中提取出注意力信号,当检测到用户的眼电信号(眨眼波形)和注意力信号(注意力参数)同时满足设定好的阈值条件时,判断用户存在主动眨眼行为,生成主动眨眼信号,将主动眨眼信号通过头环中的蓝牙模块传输至人机交互界面。
上述的预设阈值条件为两个预设的参数,包括眼电信号阈值范围,以及注意力信号阈值范围,眼电信号和注意力信号在同一时刻分别处于眼电信号阈值范围和注意力信号阈值范围,才被认为是用户存在主动眨眼行为,若主动眨眼信号通过判定,则进行一次光标点击操作。
103、指令生成模块判断光标的位置是否位于人机交互界面中的按钮区域内,若是,则触发按钮区域按照区域映射关系生成控制指令,根据控制指令控制机械臂执行相应的动作。
本发明实施例中,人机交互界面和指令生成模块可选取一嵌入式系统作为硬件载体,如选取平板电脑、移动终端或PC等作为人机交互界面的载体,本实施例中以平板电脑为例,用于为用户提供机械臂操控界面,平板电脑的蓝牙模块用于接收头环传输的头部方位姿态角信号,通过平板电脑的CPU和操作系统控制光标在平板电脑屏幕(即人机交互界面)的位置,令光标的位置与头部方位姿态角信号表征的位置实时对应,实现了用户通过控制头部姿态来间接控制人机交互界面中光标的位置,平板电脑的蓝牙模块还用于接收头环传输的主动眨眼信号,平板电脑的CPU(即指令生成模块)控制光标进行一次点击操作,若光标位于按钮区域之内,则生成控制指令,若光标位于按钮区域之外,则光标无操作,按钮区域可设置多个独立的按钮,根据预设的区域映射关系,光标在人机界面上点击不同按钮生成不同的控制指令,最后通过平板电脑的wifi模块将控制指令传输至机械臂的wifi模块,以控制机械臂执行相应的动作。
以上的示例中,参阅图2,用户头部姿态检测模块和用户头部信号采集与识别模块集成在一头环a内,人机交互界面和指令生成模块则集成在一平板电脑b内,使用过程表现为,当用户转动头部时,平板电脑b中的人机交互界面中的光标跟随用户头部移动,随着用户的头部停止运动,光标则能够停留在预想的按键位置,而当用户主动眨眼,光标则完成一次点击操作,生成的控制命令用于控制机械臂c执行相应的动作。
实施例二
参阅图3,图3是本发明实施例公开的一种基于头部姿态和眼电的机械臂控制方法的流程示意图。其中,图3所示的方法可以用于人机交互界面和机械臂的信号处理和控制中,本发明实施例不做限定。如图3所示,该基于头部姿态和眼电的机械臂控制方法包括以下步骤:
201、用户头部姿态检测模块实时获取用户的头部方位姿态角信号,根据头部方位姿态角信号调节人机交互界面中的光标的位置。
202、用户头部信号采集与识别模块实时获取用户的眼电信号和注意力信号,若同一时刻的眼电信号和注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号。
203、指令生成模块判断光标的位置是否位于人机交互界面中的按钮区域内,若是,则触发按钮区域按照区域映射关系生成控制指令,根据控制指令控制机械臂执行相应的动作。
204、语音模块实时获取用户的语音信号,根据语音信号生成停止指令,停止指令用于终止机械臂当前执行的控制指令。
本发明实施例中,语音模块可直接嵌入平板电脑,或者直接调用平板电脑的麦克风,目的是为了更迅速的触发停止指令,提高控制的灵敏度和精确度,当用户说出语音关键词“机械臂停”后,语音模块识别到停止关键词,向指令生成模块发出停止信号,触发停止指令,可迅速控制机械臂停止运动,在物体抓取、目标跟随等任务中可提高控制的精确度。
可选的,参阅图4和图5,上述的人机交互界面包括自由运动模式和跟随模式,在自由运动模式下,在人机交互界面的按钮区域内显示若干的功能按钮,以及一个切换为跟随模式的切换按钮,每一个功能按钮映射唯一一个控制指令,在跟随模式下,人机交互界面的按钮区域内只显示一个返回自由运动模式的返回按钮。
需要说明的是,自由运动模式和跟随模式的应用场合稍有不同。在自由运动模式下,用户的操作集中在大量的按钮上,而在跟随模式下,用户的操作则主要集中在机械臂上。以下举例说明。
在自由运动模式下,功能按钮至少包括“前”按钮和“后”按钮,“前”按钮和“后”按钮分别用于控制机械臂向前方和后方进行匀速直线运动,且在自由运动模式下,按钮区域激活为控制死区,当光标位于控制死区内,机械臂于前后维度仅受“前”按钮和“后”按钮触发的控制指令的控制,于上下左右维度不受光标的控制,当光标位于控制死区之外,机械臂于前后维度受“前”按钮和“后”按钮触发的控制指令的控制,同时跟随光标于上下左右维度进行运动。
在自由运动模式下,人机交互界面的按钮区域内还显示防误触按钮,防误触按钮包括“启动”按钮和“确定”按钮,当功能按钮生成控制指令后,依次触发“启动”按钮和“确定”按钮生成发送信号,发送信号用于允许控制指令发送到机械臂,并控制机械臂执行控制指令。
在自由运动模式下,功能按钮还包括“中”按钮,“中”按钮用于关闭机械臂进行前后维度运动的权限,当光标位于控制死区之外,机械臂运动跟随光标于上下左右维度进行运动。继续参阅图4,除“前”按钮、“后”按钮和“中”按钮之外,自由运动模式下屏幕上还包括其他的功能按钮,除退出按钮外,其余功能按钮成矩形分布排列,形成所述的控制死区(即按钮区域,两者为同一区域,为对于不同场景的使用不同的描述,下面不再赘述)。
在以上示例中,自由运动模式重点在于用户点击按钮区域中的功能按钮,因此,当光标位于按钮区域内,即为控制死区,表现为用户的头部姿态无法控制机械臂进行竖直平面(上下左右方向)的二维运动。而当用户的头部姿态继续加大,光标将逐渐移动到控制死区之外,此时表现为头部姿态能够控制机械臂进行竖直平面的二维运动,控制死区的设置能够令用户的注意力集中在按钮区域,避免在点击按钮过程中机械臂产生移动,提高了控制精度。
在跟随模式下,控制死区失效,机械臂运动跟随光标于上下左右维度进行运动。
在以上示例中,跟随模式的作用主要在于令用户将注意力集中在机械臂上,因此解除控制死区限制,用户可通过观察机械臂的具体位置,控制头部的转动方向和转动幅度,表现为头部姿态能够控制机械臂进行竖直平面的二维运动。
在本实施例中,用户通过主动眨眼控制光标在人机交互界面上点击功能按钮,令到机械臂在前后维度上的运动方向,然后再通过控制头部姿态将光标移动到控制死区之外,令到机械臂在竖直平面(上下左右方向)上进行运动,从而将前后维度的直线运动和上下左右维度的平面运动合成为三维运动,实现机械臂在空间中沿任意角度方向运动。
在一可选的实施方案中,当指令生成模块在预设时间内连接接收到预设次数的主动眨眼信号,则控制光标返回人机交互界面的原点。在一示例中,如平板电脑的CPU在短时间(如1s)内收到两次主动眨眼信号,则控制光标返回平板电脑的屏幕中心,该过程模拟鼠标双击,贴近用户的日常使用习惯,节省学习成本。
实施例三
请参阅图6,图6是本发明实施例公开的一种基于头部姿态和眼电的机械臂控制装置的结构示意图。其中,图6所描述的基于头部姿态和眼电的机械臂控制装置可以应用于头环和嵌入式人机交互界面中,本发明实施例不做限定。如图6所示,该基于头部姿态和眼电的机械臂控制装置可以包括:
用户头部姿态检测模块301,用于实时获取用户的头部方位姿态角信号,根据头部方位姿态角信号调节人机交互界面中的光标的位置;
用户头部信号采集与识别模块302,用于实时获取用户的眼电信号和注意力信号,若同一时刻的眼电信号和注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号;
指令生成模块303,用于判断光标的位置是否位于人机交互界面中的按钮区域内,若是,则触发按钮区域按照区域映射关系生成控制指令,根据控制指令控制机械臂执行相应的动作。
在一个可选的实施例中,该基于头部姿态和眼电的机械臂控制装置还包括语音模块304,语音模块304用于实时获取用户的语音信号,根据语音信号生成停止指令,停止指令用于终止机械臂当前执行的控制指令。
在本实施例中,各模块的功能可参照实施例一和二的记载进行扩充。
实施例四
请参阅图7,图7是本发明实施例公开的又一种基于头部姿态和眼电的机械臂控制装置的结构示意图。如图7所示,该控制平台可以包括:
存储有可执行程序代码的存储器401;
与存储器401耦合的处理器402;
处理器402调用存储器401中存储的可执行程序代码,用于执行实施例一和实施例二中任一所描述的基于头部姿态和眼电的机械臂控制方法中的步骤。
实施例五
本发明实施例公开了一种计算机可读存储介质,其存储用于电子数据交换的计算机程序,其中,该计算机程序使得计算机执行实施例一和实施例二中任一所描述的基于头部姿态和眼电的机械臂控制方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一和实施例二中任一所描述的基于头部姿态和眼电的机械臂控制方法中的步骤。
以上所描述的装置实施例仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是:本发明实施例公开的一种基于头部姿态和眼电的机械臂控制方法、装置及介质所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离奔放各项实施例技术方案的精神和范围。

Claims (8)

1.一种基于头部姿态和眼电的机械臂控制方法,其特征在于,包括以下步骤:
实时获取用户的头部方位姿态角信号,根据所述头部方位姿态角信号调节人机交互界面中的光标的位置;
实时获取用户的眼电信号和注意力信号,若同一时刻的所述眼电信号和所述注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号;
判断所述光标的位置是否位于所述人机交互界面中的按钮区域内,若是,则触发所述按钮区域按照区域映射关系生成控制指令,根据所述控制指令控制机械臂执行相应的动作;
所述人机交互界面包括自由运动模式和跟随模式,在所述自由运动模式下,在所述人机交互界面的所述按钮区域内显示若干的功能按钮,以及一个切换为所述跟随模式的切换按钮,每一个所述功能按钮映射唯一一个所述控制指令,在所述跟随模式下,所述人机交互界面的所述按钮区域内只显示一个返回所述自由运动模式的返回按钮;
所述功能按钮至少包括“前”按钮和“后”按钮,所述“前”按钮和所述“后”按钮分别用于控制所述机械臂向前方和后方进行匀速直线运动,且在所述自由运动模式下,所述按钮区域激活为控制死区,当所述光标位于所述控制死区内,所述机械臂于前后维度仅受所述“前”按钮和所述“后”按钮触发的控制指令的控制,于上下左右维度不受所述光标的控制,当所述光标位于所述控制死区之外,所述机械臂于前后维度受所述“前”按钮和所述“后”按钮触发的控制指令的控制,同时跟随所述光标于上下左右维度进行运动。
2.如权利要求1所述的基于头部姿态和眼电的机械臂控制方法,其特征在于,实时获取用户的语音信号,根据所述语音信号生成停止指令,所述停止指令用于终止所述机械臂当前执行的所述控制指令。
3.如权利要求1所述的基于头部姿态和眼电的机械臂控制方法,其特征在于,所述人机交互界面的所述按钮区域内还显示防误触按钮,所述防误触按钮包括“启动”按钮和“确定”按钮,当所述功能按钮生成所述控制指令后,依次触发所述“启动”按钮和所述“确定”按钮生成发送信号,所述发送信号用于允许所述控制指令发送到所述机械臂,并控制所述机械臂执行所述控制指令。
4.如权利要求1所述的基于头部姿态和眼电的机械臂控制方法,其特征在于,所述功能按钮还包括“中”按钮,所述“中”按钮用于关闭所述机械臂进行前后维度运动的权限,当所述光标位于所述控制死区之外,所述机械臂运动跟随所述光标于上下左右维度进行运动。
5.如权利要求1所述的基于头部姿态和眼电的机械臂控制方法,其特征在于,在所述跟随模式下,所述控制死区失效,所述机械臂运动跟随所述光标于上下左右维度进行运动。
6.一种基于头部姿态和眼电的机械臂控制装置,其特征在于,包括:
用户头部姿态检测模块,用于实时获取用户的头部方位姿态角信号,根据所述头部方位姿态角信号调节人机交互界面中的光标的位置;
用户头部信号采集与识别模块,用于实时获取用户的眼电信号和注意力信号,若同一时刻的所述眼电信号和所述注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号;
指令生成模块,用于判断所述光标的位置是否位于所述人机交互界面中的按钮区域内,若是,则触发所述按钮区域按照区域映射关系生成控制指令,根据所述控制指令控制机械臂执行相应的动作;
所述人机交互界面包括自由运动模式和跟随模式,在所述自由运动模式下,在所述人机交互界面的所述按钮区域内显示若干的功能按钮,以及一个切换为所述跟随模式的切换按钮,每一个所述功能按钮映射唯一一个所述控制指令,在所述跟随模式下,所述人机交互界面的所述按钮区域内只显示一个返回所述自由运动模式的返回按钮;
所述功能按钮至少包括“前”按钮和“后”按钮,所述“前”按钮和所述“后”按钮分别用于控制所述机械臂向前方和后方进行匀速直线运动,且在所述自由运动模式下,所述按钮区域激活为控制死区,当所述光标位于所述控制死区内,所述机械臂于前后维度仅受所述“前”按钮和所述“后”按钮触发的控制指令的控制,于上下左右维度不受所述光标的控制,当所述光标位于所述控制死区之外,所述机械臂于前后维度受所述“前”按钮和所述“后”按钮触发的控制指令的控制,同时跟随所述光标于上下左右维度进行运动。
7.一种基于头部姿态和眼电的机械臂控制装置,其特征在于,所述装置包括存储器和处理器,其中,所述存储器用于存储可执行程序代码;所述处理器与所述存储器耦合;所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1-5任一项所述的基于头部姿态和眼电的机械臂控制方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1-5任一项所述的基于头部姿态和眼电的机械臂控制方法。
CN202211243204.9A 2022-10-11 2022-10-11 基于头部姿态和眼电的机械臂控制方法、装置及介质 Active CN115890655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211243204.9A CN115890655B (zh) 2022-10-11 2022-10-11 基于头部姿态和眼电的机械臂控制方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211243204.9A CN115890655B (zh) 2022-10-11 2022-10-11 基于头部姿态和眼电的机械臂控制方法、装置及介质

Publications (2)

Publication Number Publication Date
CN115890655A CN115890655A (zh) 2023-04-04
CN115890655B true CN115890655B (zh) 2024-02-09

Family

ID=86486193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211243204.9A Active CN115890655B (zh) 2022-10-11 2022-10-11 基于头部姿态和眼电的机械臂控制方法、装置及介质

Country Status (1)

Country Link
CN (1) CN115890655B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116880700A (zh) * 2023-09-07 2023-10-13 华南理工大学 基于可穿戴脑机接口的树莓派智能小车控制方法与系统
CN117357351A (zh) * 2023-12-05 2024-01-09 华南脑控(广东)智能科技有限公司 一种电动病床和家电的多模态智能控制方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004028365A2 (de) * 2002-09-20 2004-04-08 MCC Gesellschaft für Diagnosesysteme in Medizin und Technik mbH & Co. KG Verfahren und vorrichtung zur ermittlung eines schlafprofiles
CN106333676A (zh) * 2016-09-21 2017-01-18 广州视源电子科技股份有限公司 清醒状态下的脑电信号数据类型的标注装置
CN107160393A (zh) * 2017-05-25 2017-09-15 深圳市越疆科技有限公司 机械臂的运动控制方法和装置、以及存储介质、计算机
CN110134245A (zh) * 2019-05-21 2019-08-16 华南脑控(广东)智能科技有限公司 一种基于eog和姿态传感器的眼控装置以及眼控方法
BR102018071412A2 (pt) * 2018-10-17 2020-04-28 Limesoft Equipamentos Eletronicos Ltda dispositivo e método para captar, processar e classificar movimentos oculares, movimentos com a cabeça e atividade cerebral.
AU2020100831A4 (en) * 2020-05-24 2020-07-02 Gao, Jianqun MR A wearable pair of glasses for detecting Parkinson’s disease
CN112328072A (zh) * 2020-10-09 2021-02-05 华南师范大学 一种基于脑电和眼电的多模态字符输入系统及方法
CN112764532A (zh) * 2020-12-31 2021-05-07 北京信息科技大学 基于脑电眼电结合的键鼠控制系统及控制方法
CN112860073A (zh) * 2021-03-17 2021-05-28 华南脑控(广东)智能科技有限公司 人机交互的闭环性鼠标标识控制系统
CN114327048A (zh) * 2021-12-07 2022-04-12 重庆邮电大学 一种基于脑电信号和眼电信号的机械臂控制方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004028365A2 (de) * 2002-09-20 2004-04-08 MCC Gesellschaft für Diagnosesysteme in Medizin und Technik mbH & Co. KG Verfahren und vorrichtung zur ermittlung eines schlafprofiles
CN106333676A (zh) * 2016-09-21 2017-01-18 广州视源电子科技股份有限公司 清醒状态下的脑电信号数据类型的标注装置
CN107160393A (zh) * 2017-05-25 2017-09-15 深圳市越疆科技有限公司 机械臂的运动控制方法和装置、以及存储介质、计算机
BR102018071412A2 (pt) * 2018-10-17 2020-04-28 Limesoft Equipamentos Eletronicos Ltda dispositivo e método para captar, processar e classificar movimentos oculares, movimentos com a cabeça e atividade cerebral.
CN110134245A (zh) * 2019-05-21 2019-08-16 华南脑控(广东)智能科技有限公司 一种基于eog和姿态传感器的眼控装置以及眼控方法
AU2020100831A4 (en) * 2020-05-24 2020-07-02 Gao, Jianqun MR A wearable pair of glasses for detecting Parkinson’s disease
CN112328072A (zh) * 2020-10-09 2021-02-05 华南师范大学 一种基于脑电和眼电的多模态字符输入系统及方法
CN112764532A (zh) * 2020-12-31 2021-05-07 北京信息科技大学 基于脑电眼电结合的键鼠控制系统及控制方法
CN112860073A (zh) * 2021-03-17 2021-05-28 华南脑控(广东)智能科技有限公司 人机交互的闭环性鼠标标识控制系统
CN114327048A (zh) * 2021-12-07 2022-04-12 重庆邮电大学 一种基于脑电信号和眼电信号的机械臂控制方法及系统

Also Published As

Publication number Publication date
CN115890655A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
CN115890655B (zh) 基于头部姿态和眼电的机械臂控制方法、装置及介质
US11972049B2 (en) Brain-computer interface with high-speed eye tracking features
Kaufman et al. An eye tracking computer user interface
Ahsan et al. EMG signal classification for human computer interaction: a review
Chin et al. Integrated electromyogram and eye-gaze tracking cursor control system for computer users with motor disabilities
JP2021511567A (ja) 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース
CN110840666B (zh) 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法
Perdiz et al. Emotional state detection based on EMG and EOG biosignals: A short survey
CN110727353A (zh) 基于二维意图所定义的控制部件控制方法和装置
Zeng et al. Semi-autonomous robotic arm reaching with hybrid gaze–brain machine interface
CN111542800A (zh) 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
Wang et al. A human-machine interface based on an EOG and a gyroscope for humanoid robot control and its application to home services
Zhou et al. Shared three-dimensional robotic arm control based on asynchronous BCI and computer vision
Ortiz Brain-computer interfaces: Where human and machine meet
Graimann et al. Non-invasive brain-computer interfaces for semi-autonomous assistive devices
Castillo et al. Hands free mouse
CN115741670A (zh) 基于多模态信号和机器视觉融合控制的轮椅机械臂系统
Tripathy et al. Design and implementation of brain computer interface based robot motion control
Pilla et al. Cybernetic Systems: Technology Embedded into the Human Experience
Charles Neural interfaces link the mind and the machine
Lenhardt A Brain-Computer Interface for robotic arm control
Chen Design and evaluation of a human-computer interface based on electrooculography
O'Connor Real-time Control of a Robot Arm Using an Inexpensive System for Electroencephalography Aided by Artificial Intelligence
Kumari et al. Combining biosignals with RFID to develop a multimodal-shared control interface
Yu et al. Design and Realization of Eye Control System for Small Ground Unmanned Platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230821

Address after: 510330 room 051, first floor, No. 2429, Xingang East Road, Haizhu District, Guangzhou City, Guangdong Province

Applicant after: Guangdong Provincial Laboratory of artificial intelligence and digital economy (Guangzhou)

Address before: 510330 room 051, first floor, No. 2429, Xingang East Road, Haizhu District, Guangzhou City, Guangdong Province

Applicant before: Guangdong Provincial Laboratory of artificial intelligence and digital economy (Guangzhou)

Applicant before: South China Brain Control (Guangdong) Intelligent Technology Co.,Ltd.

Applicant before: SOUTH CHINA University OF TECHNOLOGY

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant