发明内容
针对上述问题,本发明提出一种基于头部姿态和眼电的机械臂控制方法、装置及介质,旨在解决现有诱发式脑机方案容易分散用户对机械臂实时状态的注意力,以及长时间使用容易疲劳的问题。
为解决上述技术问题,本发明第一方面提出一种基于头部姿态和眼电的机械臂控制方法,包括以下步骤:实时获取用户的头部方位姿态角信号,根据所述头部方位姿态角信号调节人机交互界面中的光标的位置;实时获取用户的眼电信号和注意力信号,若同一时刻的所述眼电信号和所述注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号;判断所述光标的位置是否位于所述人机交互界面中的按钮区域内,若是,则触发所述按钮区域按照区域映射关系生成控制指令,根据所述控制指令控制机械臂执行相应的动作。
在一些实施方式中,实时获取用户的语音信号,根据所述语音信号生成停止指令,所述停止指令用于终止所述机械臂当前执行的所述控制指令。
在一些实施方式中,所述人机交互界面包括自由运动模式和跟随模式,在所述自由运动模式下,在所述人机交互界面的所述按钮区域内显示若干的功能按钮,以及一个切换为所述跟随模式的切换按钮,每一个所述功能按钮映射唯一一个所述控制指令,在所述跟随模式下,所述人机交互界面的所述按钮区域内只显示一个返回所述自由运动模式的返回按钮。
在一些实施方式中,所述功能按钮至少包括“前”按钮和“后”按钮,所述“前”按钮和所述“后”按钮分别用于控制所述机械臂向前方和后方进行匀速直线运动,且在所述自由运动模式下,所述按钮区域激活为控制死区,当所述光标位于所述控制死区内,所述机械臂于前后维度仅受所述“前”按钮和所述“后”按钮触发的控制指令的控制,于上下左右维度不受所述光标的控制,当所述光标位于所述控制死区之外,所述机械臂于前后维度受所述“前”按钮和所述“后”按钮触发的控制指令的控制,同时跟随所述光标于上下左右维度进行运动。
在一些实施方式中,所述人机交互界面的所述按钮区域内还显示防误触按钮,所述防误触按钮包括“启动”按钮和“确定”按钮,当所述功能按钮生成所述控制指令后,依次触发所述“启动”按钮和所述“确定”按钮生成发送信号,所述发送信号用于允许所述控制指令发送到所述机械臂,并控制所述机械臂执行所述控制指令。
在一些实施方式中,所述功能按钮还包括“中”按钮,所述“中”按钮用于关闭所述机械臂进行前后维度运动的权限,当所述光标位于所述控制死区之外,所述机械臂运动跟随所述光标于上下左右维度进行运动。
在一些实施方式中,在所述跟随模式下,所述控制死区失效,所述机械臂运动跟随所述光标于上下左右维度进行运动。
本发明第二方面提出一种基于头部姿态和眼电的机械臂控制装置,包括:用户头部姿态检测模块,用于实时获取用户的头部方位姿态角信号,根据所述头部方位姿态角信号调节人机交互界面中的光标的位置;用户头部信号采集与识别模块,用于实时获取用户的眼电信号和注意力信号,若同一时刻的所述眼电信号和所述注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号;指令生成模块,用于判断所述光标的位置是否位于所述人机交互界面中的按钮区域内,若是,则触发所述按钮区域按照区域映射关系生成控制指令,根据所述控制指令控制机械臂执行相应的动作。
本发明第三方面提出一种基于头部姿态和眼电的机械臂控制装置,所述装置包括存储器和处理器,其中,所述存储器用于存储可执行程序代码;所述处理器与所述存储器耦合;所述处理器调用所述存储器中存储的所述可执行程序代码,执行上述的基于头部姿态和眼电的机械臂控制方法。
本发明第四方面提出一种计算机可读存储介质,所述存储介质中存储有计算机指令,所述计算机指令被调用时,用于执行上述的基于头部姿态和眼电的机械臂控制方法。
本发明的有益效果为:根据用户的头部方位姿态角信号控制人机交互界面中的光标的位置,根据用户的眼电信号和注意力信号判断用户是否存在主动眨眼的行为,将主动眨眼行为识别为光标点击操作,从而控制光标在人机交互界面上的按钮区域进行点击操作,并生成对应的控制指令用于控制机械臂执行相应的动作,用户的主动操作只有头部转动和主动眨眼,因此无需将大量的注意力放在生成命令上,故长时间使用脑机接口不容易疲劳,而且不会分散用户对机械臂实时状态的注意力。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
本发明实施例公开了基于头部姿态和眼电的机械臂控制方法、装置及介质,根据用户的头部方位姿态角信号控制人机交互界面中的光标的位置,根据用户的眼电信号和注意力信号判断用户是否存在主动眨眼的行为,将主动眨眼行为识别为光标点击操作,从而控制光标在人机交互界面上的按钮区域进行点击操作,并生成对应的控制指令用于控制机械臂执行相应的动作,用户的主动操作只有头部转动和主动眨眼,因此无需将大量的注意力放在生成命令上,故长时间使用脑机接口不容易疲劳,而且不会分散用户对机械臂实时状态的注意力。以下分别进行详细说明。
实施例一
参阅图1,图1是本发明实施例公开的一种基于头部姿态和眼电的机械臂控制方法的流程示意图。其中,图1所示的方法可以用于人机交互界面和机械臂的信号处理和控制中,本发明实施例不做限定。如图1所示,该基于头部姿态和眼电的机械臂控制方法包括以下步骤:
101、用户头部姿态检测模块实时获取用户的头部方位姿态角信号,根据头部方位姿态角信号调节人机交互界面中的光标的位置。
本发明实施例中,该头部方位姿态角信号通过用户头部姿态检测模块实时获取,用户头部姿态检测模块由三轴加速度计、三轴陀螺仪和三轴磁力计构成,即九轴姿态传感器,对于本实施例而言,该九轴姿态传感器可集成在某一头戴设备内,如头环,使用时用户需将该头环戴在头部,以用户头部为原点,其作用为追踪头部的俯仰角(仰头和低头)和偏航角(头部左转和右转),用户头部姿态检测模块生成头部方位姿态角信号,通过头环中的蓝牙模块将头部方位姿态角信号传输至人机交互界面。
102、用户头部信号采集与识别模块实时获取用户的眼电信号和注意力信号,若同一时刻的眼电信号和注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号。
本发明实施例中,该眼电信号和注意力信号通过用户头部信号采集与识别模块实时获取,该用户头部信号采集与识别模块可集成在某一头戴设备内,如头环,属于非侵入式的脑机。用户头部信号采集与识别模块的硬件包括信号采集装置和信号放大器,软件包括信号特征提取与识别算法,用户佩戴并开启头环后,能够通过信号采集装置获取用户的脑电信号和眼电信号,并从脑电信号中提取出注意力信号,当检测到用户的眼电信号(眨眼波形)和注意力信号(注意力参数)同时满足设定好的阈值条件时,判断用户存在主动眨眼行为,生成主动眨眼信号,将主动眨眼信号通过头环中的蓝牙模块传输至人机交互界面。
上述的预设阈值条件为两个预设的参数,包括眼电信号阈值范围,以及注意力信号阈值范围,眼电信号和注意力信号在同一时刻分别处于眼电信号阈值范围和注意力信号阈值范围,才被认为是用户存在主动眨眼行为,若主动眨眼信号通过判定,则进行一次光标点击操作。
103、指令生成模块判断光标的位置是否位于人机交互界面中的按钮区域内,若是,则触发按钮区域按照区域映射关系生成控制指令,根据控制指令控制机械臂执行相应的动作。
本发明实施例中,人机交互界面和指令生成模块可选取一嵌入式系统作为硬件载体,如选取平板电脑、移动终端或PC等作为人机交互界面的载体,本实施例中以平板电脑为例,用于为用户提供机械臂操控界面,平板电脑的蓝牙模块用于接收头环传输的头部方位姿态角信号,通过平板电脑的CPU和操作系统控制光标在平板电脑屏幕(即人机交互界面)的位置,令光标的位置与头部方位姿态角信号表征的位置实时对应,实现了用户通过控制头部姿态来间接控制人机交互界面中光标的位置,平板电脑的蓝牙模块还用于接收头环传输的主动眨眼信号,平板电脑的CPU(即指令生成模块)控制光标进行一次点击操作,若光标位于按钮区域之内,则生成控制指令,若光标位于按钮区域之外,则光标无操作,按钮区域可设置多个独立的按钮,根据预设的区域映射关系,光标在人机界面上点击不同按钮生成不同的控制指令,最后通过平板电脑的wifi模块将控制指令传输至机械臂的wifi模块,以控制机械臂执行相应的动作。
以上的示例中,参阅图2,用户头部姿态检测模块和用户头部信号采集与识别模块集成在一头环a内,人机交互界面和指令生成模块则集成在一平板电脑b内,使用过程表现为,当用户转动头部时,平板电脑b中的人机交互界面中的光标跟随用户头部移动,随着用户的头部停止运动,光标则能够停留在预想的按键位置,而当用户主动眨眼,光标则完成一次点击操作,生成的控制命令用于控制机械臂c执行相应的动作。
实施例二
参阅图3,图3是本发明实施例公开的一种基于头部姿态和眼电的机械臂控制方法的流程示意图。其中,图3所示的方法可以用于人机交互界面和机械臂的信号处理和控制中,本发明实施例不做限定。如图3所示,该基于头部姿态和眼电的机械臂控制方法包括以下步骤:
201、用户头部姿态检测模块实时获取用户的头部方位姿态角信号,根据头部方位姿态角信号调节人机交互界面中的光标的位置。
202、用户头部信号采集与识别模块实时获取用户的眼电信号和注意力信号,若同一时刻的眼电信号和注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号。
203、指令生成模块判断光标的位置是否位于人机交互界面中的按钮区域内,若是,则触发按钮区域按照区域映射关系生成控制指令,根据控制指令控制机械臂执行相应的动作。
204、语音模块实时获取用户的语音信号,根据语音信号生成停止指令,停止指令用于终止机械臂当前执行的控制指令。
本发明实施例中,语音模块可直接嵌入平板电脑,或者直接调用平板电脑的麦克风,目的是为了更迅速的触发停止指令,提高控制的灵敏度和精确度,当用户说出语音关键词“机械臂停”后,语音模块识别到停止关键词,向指令生成模块发出停止信号,触发停止指令,可迅速控制机械臂停止运动,在物体抓取、目标跟随等任务中可提高控制的精确度。
可选的,参阅图4和图5,上述的人机交互界面包括自由运动模式和跟随模式,在自由运动模式下,在人机交互界面的按钮区域内显示若干的功能按钮,以及一个切换为跟随模式的切换按钮,每一个功能按钮映射唯一一个控制指令,在跟随模式下,人机交互界面的按钮区域内只显示一个返回自由运动模式的返回按钮。
需要说明的是,自由运动模式和跟随模式的应用场合稍有不同。在自由运动模式下,用户的操作集中在大量的按钮上,而在跟随模式下,用户的操作则主要集中在机械臂上。以下举例说明。
在自由运动模式下,功能按钮至少包括“前”按钮和“后”按钮,“前”按钮和“后”按钮分别用于控制机械臂向前方和后方进行匀速直线运动,且在自由运动模式下,按钮区域激活为控制死区,当光标位于控制死区内,机械臂于前后维度仅受“前”按钮和“后”按钮触发的控制指令的控制,于上下左右维度不受光标的控制,当光标位于控制死区之外,机械臂于前后维度受“前”按钮和“后”按钮触发的控制指令的控制,同时跟随光标于上下左右维度进行运动。
在自由运动模式下,人机交互界面的按钮区域内还显示防误触按钮,防误触按钮包括“启动”按钮和“确定”按钮,当功能按钮生成控制指令后,依次触发“启动”按钮和“确定”按钮生成发送信号,发送信号用于允许控制指令发送到机械臂,并控制机械臂执行控制指令。
在自由运动模式下,功能按钮还包括“中”按钮,“中”按钮用于关闭机械臂进行前后维度运动的权限,当光标位于控制死区之外,机械臂运动跟随光标于上下左右维度进行运动。继续参阅图4,除“前”按钮、“后”按钮和“中”按钮之外,自由运动模式下屏幕上还包括其他的功能按钮,除退出按钮外,其余功能按钮成矩形分布排列,形成所述的控制死区(即按钮区域,两者为同一区域,为对于不同场景的使用不同的描述,下面不再赘述)。
在以上示例中,自由运动模式重点在于用户点击按钮区域中的功能按钮,因此,当光标位于按钮区域内,即为控制死区,表现为用户的头部姿态无法控制机械臂进行竖直平面(上下左右方向)的二维运动。而当用户的头部姿态继续加大,光标将逐渐移动到控制死区之外,此时表现为头部姿态能够控制机械臂进行竖直平面的二维运动,控制死区的设置能够令用户的注意力集中在按钮区域,避免在点击按钮过程中机械臂产生移动,提高了控制精度。
在跟随模式下,控制死区失效,机械臂运动跟随光标于上下左右维度进行运动。
在以上示例中,跟随模式的作用主要在于令用户将注意力集中在机械臂上,因此解除控制死区限制,用户可通过观察机械臂的具体位置,控制头部的转动方向和转动幅度,表现为头部姿态能够控制机械臂进行竖直平面的二维运动。
在本实施例中,用户通过主动眨眼控制光标在人机交互界面上点击功能按钮,令到机械臂在前后维度上的运动方向,然后再通过控制头部姿态将光标移动到控制死区之外,令到机械臂在竖直平面(上下左右方向)上进行运动,从而将前后维度的直线运动和上下左右维度的平面运动合成为三维运动,实现机械臂在空间中沿任意角度方向运动。
在一可选的实施方案中,当指令生成模块在预设时间内连接接收到预设次数的主动眨眼信号,则控制光标返回人机交互界面的原点。在一示例中,如平板电脑的CPU在短时间(如1s)内收到两次主动眨眼信号,则控制光标返回平板电脑的屏幕中心,该过程模拟鼠标双击,贴近用户的日常使用习惯,节省学习成本。
实施例三
请参阅图6,图6是本发明实施例公开的一种基于头部姿态和眼电的机械臂控制装置的结构示意图。其中,图6所描述的基于头部姿态和眼电的机械臂控制装置可以应用于头环和嵌入式人机交互界面中,本发明实施例不做限定。如图6所示,该基于头部姿态和眼电的机械臂控制装置可以包括:
用户头部姿态检测模块301,用于实时获取用户的头部方位姿态角信号,根据头部方位姿态角信号调节人机交互界面中的光标的位置;
用户头部信号采集与识别模块302,用于实时获取用户的眼电信号和注意力信号,若同一时刻的眼电信号和注意力信号同时满足对应的预设阈值条件,则生成主动眨眼信号;
指令生成模块303,用于判断光标的位置是否位于人机交互界面中的按钮区域内,若是,则触发按钮区域按照区域映射关系生成控制指令,根据控制指令控制机械臂执行相应的动作。
在一个可选的实施例中,该基于头部姿态和眼电的机械臂控制装置还包括语音模块304,语音模块304用于实时获取用户的语音信号,根据语音信号生成停止指令,停止指令用于终止机械臂当前执行的控制指令。
在本实施例中,各模块的功能可参照实施例一和二的记载进行扩充。
实施例四
请参阅图7,图7是本发明实施例公开的又一种基于头部姿态和眼电的机械臂控制装置的结构示意图。如图7所示,该控制平台可以包括:
存储有可执行程序代码的存储器401;
与存储器401耦合的处理器402;
处理器402调用存储器401中存储的可执行程序代码,用于执行实施例一和实施例二中任一所描述的基于头部姿态和眼电的机械臂控制方法中的步骤。
实施例五
本发明实施例公开了一种计算机可读存储介质,其存储用于电子数据交换的计算机程序,其中,该计算机程序使得计算机执行实施例一和实施例二中任一所描述的基于头部姿态和眼电的机械臂控制方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一和实施例二中任一所描述的基于头部姿态和眼电的机械臂控制方法中的步骤。
以上所描述的装置实施例仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是:本发明实施例公开的一种基于头部姿态和眼电的机械臂控制方法、装置及介质所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离奔放各项实施例技术方案的精神和范围。