CN114161414B - 一种基于脑电和视觉的水下机械手控制系统及方法 - Google Patents

一种基于脑电和视觉的水下机械手控制系统及方法 Download PDF

Info

Publication number
CN114161414B
CN114161414B CN202111464217.4A CN202111464217A CN114161414B CN 114161414 B CN114161414 B CN 114161414B CN 202111464217 A CN202111464217 A CN 202111464217A CN 114161414 B CN114161414 B CN 114161414B
Authority
CN
China
Prior art keywords
electroencephalogram
manipulator
brain
color block
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111464217.4A
Other languages
English (en)
Other versions
CN114161414A (zh
Inventor
佟以轩
徐东岑
封锡盛
赵洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN202111464217.4A priority Critical patent/CN114161414B/zh
Publication of CN114161414A publication Critical patent/CN114161414A/zh
Application granted granted Critical
Publication of CN114161414B publication Critical patent/CN114161414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及水下机器人人机交互技术领域,尤其涉及一种基于脑电和视觉的水下机械手控制系统及方法。包括:脑电采集装置、视觉采集装置、刺激诱发模块、脑电处理模块、视觉处理模块、脑电视觉融合模块、机械手驱动模块以及多个液压机械手;脑电采集装置,用于采集脑电信号;视觉采集装置,用于实时捕捉瞳孔图像;脑电处理模块,用于处理脑电数据,判断出当前操作人员注视的色块图像;视觉处理模块,用于判断出当前操作人员视线焦点对应的色块图像;脑电视觉融合模块,用于将脑电处理模块与视觉处理模块的判断结果对比,得到机械手操作指令;本发明使用脑电和视觉信息完成命令选择及命令确认和撤销,提高了控制结果的正确率,保证可靠性。

Description

一种基于脑电和视觉的水下机械手控制系统及方法
技术领域
本发明涉及水下机器人人机交互技术领域,尤其涉及一种基于脑电和视觉的水下机械手控制系统及方法。
背景技术
对海洋的开发是二十一世纪人类的重要任务之一,海洋占地球总面的的三分之二以上,并且海洋中蕴藏着丰富的矿产资源和生物资源。对海洋开发的重视助推了海洋产业的发展,同时也对水下作业技术与水下作业工具有了更高的要求。水下机械手作为水下作业最重要的工具之一,配备在各类水下机器人上,其作业性能也被作为衡量水下机器人整体作业性能的关键。通过水下机械手,水下机器人可以完成水下生物样本的采集、接插件的插拔、水雷的布放与清除等水下作业。
在水下载人潜器中,由于潜器内部空间小,操控人员人数受限,且操作设备多,如潜器运动、云台、机械手及各类开关等,目前现有技术中,操作人员只能使用双手,通过操作摇杆、按钮、旋钮的方式来完成多类、多项设备的操作,一名操作人员需要操作多类、多项设备,这就对操作人员提出了很高的要求,其操作压力也较大。如当操作人员操作潜器运动或云台时,无法腾出手对机械手进行操作。
脑机接口技术是近些年快速发展的一种新型人机交互方法,通过采集操作人员头皮上多点的实时电位,通过脑电信号处理及分类算法,可以了解操作人员的操作意图并获得操作人员的操作命令。SSVEP范式脑机接口是一种基于视觉诱发的脑机接口,通过对操作人员进行视觉刺激,使操作人员的脑电信号呈现一定规律,而当前,脑机接口技术主要应用于运动康复领域中,如操控轮椅、假肢等,而未在人机交互领域,尤其是水下机器人人机交互技术领域中应用,因此,基于脑电和视觉的水下机械手控制系统及方法尤为重要。
发明内容
本发明目的是提供一种基于脑电和视觉的水下机械手控制系统及控制方法,使操作人员能够不使用双手完成水下机械手的控制,解决了操作人员操作压力大,无法同一时间操作多类设备的问题,提高了水下载人潜器操作人员的操作效率,减轻了操作压力。
本发明为实现上述目的所采用的技术方案是:一种基于脑电和视觉的水下机械手控制系统,包括:脑电采集装置、视觉采集装置、刺激诱发模块、脑电处理模块、视觉处理模块、脑电视觉融合模块、机械手驱动模块以及多个液压机械手;
所述脑电采集装置,用于采集操作人员带有时间标记的脑电信号,当操作人员注视显示屏中的某一色块图像时,产生与该色块闪烁频率相同特征的脑电信号,并发送给脑电处理模块;
所述视觉采集装置,用于实时捕捉操作人员当前的瞳孔图像,发送至视觉处理模块;
所述脑电处理模块,用于处理脑电采集装置发送的脑电数据,获取脑电数据的频率特征,进而判断出当前操作人员注视的色块图像,并分别发送至刺激诱发模块和脑电视觉融合模块;
所述视觉处理模块,用于处理视觉采集装置发送的瞳孔图像,根据瞳孔图像进行处理,获取当前操作人员在显示屏上的视线焦点,进而判断出当前操作人员视线焦点对应的色块图像,并分别发送至刺激诱发模块和脑电视觉融合模块;
所述脑电视觉融合模块,用于将接收到的脑电数据的频率特征和视线焦点进行对比融合,得到机械手操作指令、对比结果信号,并分别发送至机械手驱动模块、以及刺激诱发模块;
所述刺激诱发模块,用于在显示屏上显示按照不同频率闪烁的色块图像,不同色块图像对应不同的机械手控制指令、以及接收脑电视觉融合模块对比结果信号;并根据对比结果信号在显示屏上显示对应的色块图像;
所述机械手驱动模块与液压机械手连接,用于根据接收到的机械手控制指令控制机械手不同关节处的液压阀,进而实现机械手动作。
所述脑电采集装置,包括:顺次连接的脑电帽、信号放大器、同步处理器以及通讯模块;
所述脑电帽为64通道脑电帽,用于采集操作人员的头皮电信号,并将头皮电信号发送至信号放大器;
所述信号放大器,用于将脑电帽采集到头皮电信号进行滤波放大,并转换成数字信号传输至同步处理器;
所述同步处理器,用于记录脑电信号在刺激诱发模块作用下的刺激诱发开始时间,并将时间标记添加到采集到的脑电信号上,经通讯模块发送给脑电处理模块。
所述视觉采集装置为桌面式眼动仪,设于显示屏正下方。
在显示屏上所述色块图像有多个,每个色块的闪烁频率均不相同;且每个色块图像的闪烁频率均处于8-15Hz;
所述任意两个相邻频率色块图像之间的闪烁间隔为0.5Hz;
所述色块图像的数量为液压机械手关节角数量的2倍,以实现每一对色块控制液压机械手对应顺时针或逆时针的动作方向。
所述脑电采集装置还采集操作人员通过咬牙动作产生的脑电信号,包括:双侧咬牙动作、左侧咬牙动作和右侧咬牙动作,分别用于取消机械手控制指令、左侧机械手动作和右机械手动作。
一种基于脑电和视觉的水下机械手控制方法,包括以下步骤:
1)操作人员佩戴脑电采集装置,安装视觉采集装置并进行位置校准;
2)刺激诱发模块在显示屏上播放多个不同频率闪烁的色块图像,操作人员注视某个闪烁的刺激色块后,脑电采集装置将采集到的脑电信号发送给脑电处理模块,脑电处理模块对发送来的脑电数据进行处理分析,得到脑电数据的频率特征对应的色块图像作为判断结果;
3)操作人员在注视刺激诱发模块的同时,视觉采集装置同步采集操作人员的瞳孔图像,经过视觉处理模块处理后,获取当前操作人员在显示屏上的视线焦点对应的色块图像作为判断结果;
4)将脑电处理模块和视觉处理模块得到的判断结果发送给脑电视觉融合模块进行比对;若相同,则对应色块图像以绿色闪烁,供操作人员二次判断,继续执行步骤5);反之,若结果不相同,则显示屏会出现闪烁两个不同颜色的色块图像,则重新进行步骤2)和步骤3)直到得到相同的结果;
5)此时,操作人员需要咬合左侧或右侧牙齿来选择左侧或右侧机械手动作;若操作人员取消该指令作用于机械手,轻咬双侧牙齿来重新开始步骤2)和步骤3)进行操作指令的选择;
6)机械手驱动模块接收到最终的机械手控制指令后,根据指令控制各个液压阀完成对机械手的控制。
步骤2)中,所述脑电处理模块对发送来的脑电数据进行处理分析,具体为:
脑电处理模块通过典型相关性分析方法对脑电数据进行分析,得到脑电数据的频率特征,进而判断出当前操作人员注视的色块图像,并发送至刺激诱发模块,刺激诱发模块以红色方式显示在显示屏中的对应色块图像。
所述步骤3)具体为:
视觉处理模块根据视觉采集装置采集的瞳孔图像,获取操作人员视线角度;
通过视觉采集装置和显示屏之间进行坐标变换,获得当前操作人员在显示屏上的视线焦点;
判断出当前操作人员视线焦点所对应的色块图像,并发送至刺激诱发模块,刺激诱发模块以蓝色方式显示在显示屏中的对应色块图像。
所述步骤5)具体为:
a.将脑电帽的全部通道分为:左半脑通道和右半脑通道;
b.假定某一时刻左半脑各通道脑电数值为l1,l2,l3,…,ln,右半脑各通道脑电数值为r1,r2,r3,…,rn
c.设定左半脑脑电幅值:右半脑脑电幅值:咬牙动作阈值为TM
d.则左右半脑脑电数值比值:右左半脑脑电数值比值:/>左右侧咬牙阈值TS
e.判断脑电幅值AL、AR与阈值TM的关系,结合脑电数值比值SL、SR与阈值TS的关系,得到需要执行的机器人控制指令。
所述步骤e,具体为:
若AL<TM且AR<TM,判断当前操作人员未咬牙,继续等待操作人员进行咬牙动作;
若AL>TM或AR>TM,且SL>TS,判断当前操作人员咬左侧牙齿,将当前机械手控制指令作用于左侧机械手;
若AL>TM或AR>TM,且SR>TS,判断当前操作人员咬右侧牙齿,将当前结果指令作用于右侧机械手;
若AL<TM且AR<TM,且SL<TS和SR<TS同时成立,判断当前操作人员双侧咬牙,将该次结果指令作废。
本发明具有以下有益效果及优点:
1、本发明提供了一个新的控制维度,使操作人员在操作水下潜器时不局限于使用双手进行设备的操控,有效减轻了操作人员的操作压力,提高了操作效率。
2、本发明使用了多类生物信息对水下机械手进行控制,使用脑电和视觉信息完成命令选择,使用肌电信息完成命令确认和撤销,多类生物信息互相结合,提高了控制结果的正确率,保证了控制系统的可靠性。
3、本发明除了可以应用在水下潜器环境,对水下机械手进行控制,也可以应用在其他人机交互领域。
附图说明
图1为本发明的控制系统结构示意图;
图2为本发明方法流程框图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
如图1所示,本发明包括:脑电采集装置、视觉采集装置、刺激诱发模块、脑电处理模块、视觉处理模块、脑电视觉融合模块、机械手驱动模块、机械手;
脑电采集装置,用于采集操作人员头皮电信号并发送给脑电处理模块;
视觉采集装置,用于捕捉操作人员当前视觉焦点,其发出红外光并拍摄红外光在操作人员瞳孔中的反射图像,并将图像发送给视觉处理模块;
刺激诱发模块,用于显示刺激诱发界面,刺激诱发界面上有多个按照不同频率闪烁的色块,每个色块对应一个不同的机械手控制指令,机械手按照关节动作进行控制,故每个色块对应一个机械手关节角增大或减小的指令;当操作人员注视刺激诱发界面上的某一色块时,其脑电信号会呈现出与该色块闪烁频率相同的特征;
脑电处理模块,用于处理脑电采集装置发送过来的脑电数据,SSVEP范式脑机接口的脑电数据有明显的频率特征,使用CCA方法对脑电数据进行分析处理,得到脑电数据的频率特征,从而判断出操作人员注视的刺激色块和对应的指令;同时,脑电处理模块也可以处理操作人员的咬牙动作,判断出当前操作人员的左、右及双侧咬牙动作;
视觉处理模块,用于处理视觉采集装置发送的瞳孔图像,根据该图像分析出操作人员视线角度,再通过视觉采集装置和显示屏的坐标变换,获得当前操作人员在显示屏上的视线焦点;
脑电视觉融合模块,用于接收脑电处理模块和视觉处理模块发送来的信息,将脑电处理结果和视觉处理结果进行对比融合,得到最终的操作指令,发送给机械手驱动模块;
机械手驱动模块,用于根据接收到的操作指令,驱动机械手;由于水下机械手一般为液压驱动,机械手驱动模块在收到操作指令后,对各个液压阀进行控制,从而完成机械手的操作;
机械手,作为系统的受控对象,为一套水下液压机械手,其通过液压驱动,在水下完成一系列抓取等动作;
脑电采集装置通过无线路由器与脑电处理模块进行无线连接,使用TCP/IP协议发送脑电数据;
视觉采集装置通过USB与视觉处理模块连接,通过串口将视觉数据发送给视觉处理模块;
脑电处理模块、视觉处理模块通过UDP将结果发送给脑电视觉融合模块;脑电视觉融合模块再通过串口将最终指令发送给机械手驱动模块完成机械手的驱动;
脑电采集装置,包括:顺次连接的脑电帽、信号放大器、同步处理器以及通讯模块;
脑电帽为64通道脑电帽,为10-20国际标准通道分布,佩戴在操作人员头上,用于采集头皮电信号,并将头皮电信号发送至信号放大器;
信号放大器,用于将脑电帽采集到头皮电信号进行滤波放大,并转换成数字信号传输至同步处理器;
同步处理器,用于记录脑电信号在刺激诱发模块作用下的刺激诱发开始时间,并将时间标记添加到采集到的脑电信号上,经通讯模块发送给脑电处理模块。
视觉采集装置为桌面式眼动仪,设于显示屏正下方。
在显示屏上所述色块图像有多个,每个色块的闪烁频率均不相同;且每个色块图像的闪烁频率均处于8-15Hz;
任意两个相邻频率色块图像之间的闪烁间隔为0.5Hz;
色块图像的数量为液压机械手关节角数量的2倍,以实现每一对色块控制液压机械手对应顺时针或逆时针的动作方向。
脑电采集装置还采集操作人员通过咬牙动作产生的脑电信号,包括:双侧咬牙动作、左侧咬牙动作和右侧咬牙动作,分别用于取消机械手控制指令、左侧机械手动作和右机械手动作;
如图2所示,为本发明的方法流程框图,包括以下步骤:
1)操作人员佩戴脑电采集装置,安装视觉采集装置并校准其位置,初始化刺激诱发模块、脑电处理模块、视觉处理模块、脑电视觉融合模块、机械手驱动模块;
2)操作人员注视刺激诱发模块上的某个闪烁的刺激色块后,脑电采集装置将采集到的脑电信号发送给脑电处理模块,脑电处理模块对发送来的脑电数据进行处理分析,得到脑电数据的频率特征,从而判断出当前操作人员注视的刺激色块;
3)操作人员在注视刺激诱发模块时,视觉采集装置会同步采集操作人员的视觉信息,经过视觉处理模块处理后,也可以判断出当前操作人员视线焦点所对应的刺激色块;
4)将脑电处理模块和视觉处理模块得到的结果进行比对,若相同,则证明该结果正确;若不同,则该结果作废,重新进行步骤2和步骤3直到得到相同的结果;
5)若脑电处理模块和视觉处理模块得到的结果得到的结果相同,操作人员需要轻咬左侧或右侧牙齿来选择左侧或右侧机械手动作;若操作人员不希望该指令作用于机械手,轻咬双侧牙齿来重新开始步骤2和步骤3进行操作指令的选择;
6)机械手驱动模块接收到最终指令后,根据指令控制各个液压阀完成对机械手的控制;
步骤1)中所述的安装视觉采集装置并校准其位置指,将视觉采集装置安装在刺激诱发显示屏下方,并根据显示屏和视觉采集装置的相对位置参数对视觉处理模块进行初始化,从而使视觉处理模块可以完成操作人员视线角度到操作人员在显示屏上视线焦点的坐标变化;
步骤2)中所述的注视刺激诱发模块上闪烁的刺激色块,每个刺激色块的闪烁频率都不同,闪烁频率为8-15Hz中的某一固定频率,两个相邻频率之间间隔0.5Hz;每个刺激色块上显示有机械手关节角的对应动作方向,每个关节角有顺时针、逆时针两个动作,若机械手的关节角数量为n,则刺激色块的数量为2n;
所述的脑电采集装置将采集到的脑电信号发送给脑电处理模块,通过无线路由器将脑电采集装置和脑电处理模块连接在同一个局域网内部,使用TPCIP协议发送脑电数据;
所述的脑电处理模块对发送来的脑电数据进行处理分析,使用CCA典型相关性分析方法对脑电数据进行分析,得到它的频率特征,再与刺激色块闪烁频率进行对应,频率相同色块上的机械手命令即为脑电数据分析取得的指令;结果对应的刺激色块会在刺激诱发界面上以红色方式显示出来;
步骤3)中所述的判断出当前操作人员视线焦点所对应的刺激色块,该刺激色块会以蓝色方式在刺激诱发界面上显示出来;
步骤4)中所述的将脑电处理模块和视觉处理模块得到的结果进行比对,若相同,则证明该结果正确,该结果对应的刺激色块会在刺激诱发界面上以绿色方式显示出来;若不同,则证明该结果不正确,刺激诱发界面存在一红色刺激色块和一蓝色刺激色块,该结果作废,重新进行步骤2和步骤3直到得到相同的结果;
步骤5)中所述的轻咬左侧或右侧牙齿来选择左侧或右侧机械手动作,由于水下机器人一般配备左右2个机械手,故还需要对指令作用于左侧或是右侧机械手进行选择,操作人员通过咬牙的方式完成对左右侧机械手的选择;判断咬牙的方法具体为,将全部通道分为左半脑通道和右半脑通道,假定某一时刻左半脑各通道脑电数值为l1,l2,l3,…,ln,右半脑各通道脑电数值为r1,r2,r3,…,rn,设定左半脑脑电幅值左半脑脑电幅值咬牙动作阈值为TM,左右半脑脑电数值比值右左半脑脑电数值比值/>左右侧咬牙阈值TS;若AL<TM和AR<TM同时成立,判断当前操作人员未咬牙,继续等待操作人员进行咬牙动作;若AL>TM或AR>TM成立,且SL>TS,判断当前操作人员咬左侧牙齿,将当前结果指令作用于左侧机械手;若AL>TM或AR>TM成立,且SR>TS,判断当前操作人员咬右侧牙齿,将当前结果指令作用于右侧机械手;若AL<TM且AR<TM,且SL<TS和SR<TS同时成立,判断当前操作人员双侧咬牙,将该次结果指令作废,重新进行步骤2和步骤3选择新的指令。
以上所述仅为本发明的实施方式,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进、扩展等,均包含在本发明的保护范围内。

Claims (9)

1.一种基于脑电和视觉的水下机械手控制系统,其特征在于,包括:脑电采集装置、视觉采集装置、刺激诱发模块、脑电处理模块、视觉处理模块、脑电视觉融合模块、机械手驱动模块以及多个液压机械手;
所述脑电采集装置,用于采集操作人员带有时间标记的脑电信号,当操作人员注视显示屏中的某一色块图像时,产生与该色块闪烁频率相同特征的脑电信号,并发送给脑电处理模块;
所述视觉采集装置,用于实时捕捉操作人员当前的瞳孔图像,发送至视觉处理模块;
所述脑电处理模块,用于处理脑电采集装置发送的脑电数据,获取脑电数据的频率特征,进而判断出当前操作人员注视的色块图像,并分别发送至刺激诱发模块和脑电视觉融合模块;
所述视觉处理模块,用于处理视觉采集装置发送的瞳孔图像,根据瞳孔图像进行处理,获取当前操作人员在显示屏上的视线焦点,进而判断出当前操作人员视线焦点对应的色块图像,并分别发送至刺激诱发模块和脑电视觉融合模块;
所述脑电视觉融合模块,用于将接收到的脑电数据的频率特征和视线焦点进行对比融合,得到机械手操作指令、对比结果信号,并分别发送至机械手驱动模块、以及刺激诱发模块;
所述刺激诱发模块,用于在显示屏上显示按照不同频率闪烁的色块图像,不同色块图像对应不同的机械手控制指令、以及接收脑电视觉融合模块对比结果信号;并根据对比结果信号在显示屏上显示对应的色块图像;
在显示屏上所述色块图像有多个,每个色块的闪烁频率均不相同;且每个色块图像的闪烁频率均处于8-15Hz;
所述任意两个相邻频率色块图像之间的闪烁间隔为0.5Hz;
所述色块图像的数量为液压机械手关节角数量的2倍,以实现每一对色块控制液压机械手对应顺时针或逆时针的动作方向;
所述机械手驱动模块与液压机械手连接,用于根据接收到的机械手控制指令控制机械手不同关节处的液压阀,进而实现机械手动作。
2.根据权利要求1所述的一种基于脑电和视觉的水下机械手控制系统,其特征在于,所述脑电采集装置,包括:顺次连接的脑电帽、信号放大器、同步处理器以及通讯模块;
所述脑电帽为64通道脑电帽,用于采集操作人员的头皮电信号,并将头皮电信号发送至信号放大器;
所述信号放大器,用于将脑电帽采集到头皮电信号进行滤波放大,并转换成数字信号传输至同步处理器;
所述同步处理器,用于记录脑电信号在刺激诱发模块作用下的刺激诱发开始时间,并将时间标记添加到采集到的脑电信号上,经通讯模块发送给脑电处理模块。
3.根据权利要求1所述的一种基于脑电和视觉的水下机械手控制系统,其特征在于,所述视觉采集装置为桌面式眼动仪,设于显示屏正下方。
4.根据权利要求1所述的一种基于脑电和视觉的水下机械手控制系统,其特征在于,所述脑电采集装置还采集操作人员通过咬牙动作产生的脑电信号,包括:双侧咬牙动作、左侧咬牙动作和右侧咬牙动作,分别用于取消机械手控制指令、左侧机械手动作和右机械手动作。
5.一种基于脑电和视觉的水下机械手控制方法,其特征在于,包括以下步骤:
1)操作人员佩戴脑电采集装置,安装视觉采集装置并进行位置校准;
2)刺激诱发模块在显示屏上播放多个不同频率闪烁的色块图像,操作人员注视某个闪烁的刺激色块后,脑电采集装置将采集到的脑电信号发送给脑电处理模块,脑电处理模块对发送来的脑电数据进行处理分析,得到脑电数据的频率特征对应的色块图像作为判断结果;
3)操作人员在注视刺激诱发模块的同时,视觉采集装置同步采集操作人员的瞳孔图像,经过视觉处理模块处理后,获取当前操作人员在显示屏上的视线焦点对应的色块图像作为判断结果;
4)将脑电处理模块和视觉处理模块得到的判断结果发送给脑电视觉融合模块进行比对;若相同,则对应色块图像以绿色闪烁,供操作人员二次判断,继续执行步骤5);反之,若结果不相同,则显示屏会出现闪烁两个不同颜色的色块图像,则重新进行步骤2)和步骤3)直到得到相同的结果;
5)此时,操作人员需要咬合左侧或右侧牙齿来选择左侧或右侧机械手动作;若操作人员取消该指令作用于机械手,轻咬双侧牙齿来重新开始步骤2)和步骤3)进行操作指令的选择;
6)机械手驱动模块接收到最终的机械手控制指令后,根据指令控制各个液压阀完成对机械手的控制。
6.根据权利要求5所述的一种基于脑电和视觉的水下机械手控制方法,其特征在于,步骤2)中,所述脑电处理模块对发送来的脑电数据进行处理分析,具体为:
脑电处理模块通过典型相关性分析方法对脑电数据进行分析,得到脑电数据的频率特征,进而判断出当前操作人员注视的色块图像,并发送至刺激诱发模块,刺激诱发模块以红色方式显示在显示屏中的对应色块图像。
7.根据权利要求5所述的一种基于脑电和视觉的水下机械手控制方法,其特征在于,所述步骤3)具体为:
视觉处理模块根据视觉采集装置采集的瞳孔图像,获取操作人员视线角度;
通过视觉采集装置和显示屏之间进行坐标变换,获得当前操作人员在显示屏上的视线焦点;
判断出当前操作人员视线焦点所对应的色块图像,并发送至刺激诱发模块,刺激诱发模块以蓝色方式显示在显示屏中的对应色块图像。
8.根据权利要求5所述的一种基于脑电和视觉的水下机械手控制方法,其特征在于,所述步骤5)具体为:
a.将脑电帽的全部通道分为:左半脑通道和右半脑通道;
b.假定某一时刻左半脑各通道脑电数值为l1,l2,l3,…,ln,右半脑各通道脑电数值为r1,r2,r3,…,rn
c.设定左半脑脑电幅值:右半脑脑电幅值:咬牙动作阈值为TM
d.则左右半脑脑电数值比值:右左半脑脑电数值比值:/>左右侧咬牙阈值TS
e.判断脑电幅值AL、AR与阈值TM的关系,结合脑电数值比值SL、SR与阈值TS的关系,得到需要执行的机器人控制指令。
9.根据权利要求8所述的一种基于脑电和视觉的水下机械手控制方法,其特征在于,所述步骤e,具体为:
若AL<TM且SR<TM,判断当前操作人员未咬牙,继续等待操作人员进行咬牙动作;
若AL>TM或AR>TM,且SL>TS,判断当前操作人员咬左侧牙齿,将当前机械手控制指令作用于左侧机械手;
若AL>TM或AR>TM,且SR>TS,判断当前操作人员咬右侧牙齿,将当前结果指令作用于右侧机械手;
若AL<TM且AR<TM,且SL<TS和SR<TS同时成立,判断当前操作人员双侧咬牙,将该次结果指令作废。
CN202111464217.4A 2021-12-03 2021-12-03 一种基于脑电和视觉的水下机械手控制系统及方法 Active CN114161414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111464217.4A CN114161414B (zh) 2021-12-03 2021-12-03 一种基于脑电和视觉的水下机械手控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111464217.4A CN114161414B (zh) 2021-12-03 2021-12-03 一种基于脑电和视觉的水下机械手控制系统及方法

Publications (2)

Publication Number Publication Date
CN114161414A CN114161414A (zh) 2022-03-11
CN114161414B true CN114161414B (zh) 2023-09-19

Family

ID=80482675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111464217.4A Active CN114161414B (zh) 2021-12-03 2021-12-03 一种基于脑电和视觉的水下机械手控制系统及方法

Country Status (1)

Country Link
CN (1) CN114161414B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015161300A1 (en) * 2014-04-17 2015-10-22 The Regents Of The University Of California Portable brian activity sensing platform for assessment of visual field deficits
CN105137830A (zh) * 2015-08-03 2015-12-09 广东工业大学 一种基于视觉诱发脑机接口的国画机器手及其绘图方法
WO2018113392A1 (zh) * 2016-12-20 2018-06-28 华南理工大学 一种基于脑机接口的机械臂自主辅助系统及方法
CN109255309A (zh) * 2018-08-28 2019-01-22 中国人民解放军战略支援部队信息工程大学 面向遥感图像目标检测的脑电与眼动融合方法及装置
CN109366508A (zh) * 2018-09-25 2019-02-22 中国医学科学院生物医学工程研究所 一种基于bci的高级机械臂控制系统及其实现方法
CN110162182A (zh) * 2019-05-28 2019-08-23 深圳市宏智力科技有限公司 脑电控制模块装置及其控制受控设备的方法
CN110286757A (zh) * 2019-06-14 2019-09-27 长春理工大学 一种基于混合现实的可穿戴式脑机接口系统及控制方法
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统
US10509466B1 (en) * 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
KR20200098223A (ko) * 2019-02-12 2020-08-20 김주원 로봇 제어를 위한 입력장치 및 로봇 제어 시스템
CN112764547A (zh) * 2021-02-07 2021-05-07 中国人民解放军国防科技大学 一种基于脑电和眼动信号的射击控制系统及控制方法
CN112990074A (zh) * 2021-03-31 2021-06-18 北京理工大学 基于vr的多场景自主式控制的混合脑机接口在线系统
CN113110743A (zh) * 2021-04-20 2021-07-13 中国人民解放军63919部队 一种并行脑眼融合系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101962276B1 (ko) * 2017-09-07 2019-03-26 고려대학교 산학협력단 로봇팔 장치를 제어하기 위한 뇌-컴퓨터 인터페이싱 방법 및 그 뇌-컴퓨터 인터페이스 장치

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509466B1 (en) * 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
WO2015161300A1 (en) * 2014-04-17 2015-10-22 The Regents Of The University Of California Portable brian activity sensing platform for assessment of visual field deficits
CN105137830A (zh) * 2015-08-03 2015-12-09 广东工业大学 一种基于视觉诱发脑机接口的国画机器手及其绘图方法
WO2018113392A1 (zh) * 2016-12-20 2018-06-28 华南理工大学 一种基于脑机接口的机械臂自主辅助系统及方法
CN109255309A (zh) * 2018-08-28 2019-01-22 中国人民解放军战略支援部队信息工程大学 面向遥感图像目标检测的脑电与眼动融合方法及装置
CN109366508A (zh) * 2018-09-25 2019-02-22 中国医学科学院生物医学工程研究所 一种基于bci的高级机械臂控制系统及其实现方法
KR20200098223A (ko) * 2019-02-12 2020-08-20 김주원 로봇 제어를 위한 입력장치 및 로봇 제어 시스템
CN110162182A (zh) * 2019-05-28 2019-08-23 深圳市宏智力科技有限公司 脑电控制模块装置及其控制受控设备的方法
CN110286757A (zh) * 2019-06-14 2019-09-27 长春理工大学 一种基于混合现实的可穿戴式脑机接口系统及控制方法
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统
CN112764547A (zh) * 2021-02-07 2021-05-07 中国人民解放军国防科技大学 一种基于脑电和眼动信号的射击控制系统及控制方法
CN112990074A (zh) * 2021-03-31 2021-06-18 北京理工大学 基于vr的多场景自主式控制的混合脑机接口在线系统
CN113110743A (zh) * 2021-04-20 2021-07-13 中国人民解放军63919部队 一种并行脑眼融合系统和方法

Also Published As

Publication number Publication date
CN114161414A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN108890652B (zh) 一种变电站巡检机器人及变电站设备巡检方法
CN109605385B (zh) 一种混合脑机接口驱动的康复辅助机器人
CN103338331A (zh) 一种采用眼球控制对焦的图像采集系统
CN112990074B (zh) 基于vr的多场景自主式控制的混合脑机接口在线系统
CN106708251A (zh) 一种基于眼球追踪技术的智能眼镜控制方法
CN102799191B (zh) 基于动作识别技术的云台控制方法及系统
CN106681494B (zh) 一种基于脑机接口的环境控制方法
CN112051780B (zh) 一种基于脑机接口的移动机器人编队控制系统及方法
CN105922262A (zh) 机器人及其远程控制设备和方法
CN106371451A (zh) 基于稳态视觉诱发电位的无人机操控方法及装置
CN103815991B (zh) 双通道操作感知虚拟假手训练系统及方法
KR20170102991A (ko) 컨트롤 시스템 및 컨트롤 방법
CN111571587A (zh) 一种脑控机械臂助餐系统及方法
CN114161414B (zh) 一种基于脑电和视觉的水下机械手控制系统及方法
CN110658810A (zh) 基于ssvep脑机接口的单兵作战无人武器控制系统
KR20240015654A (ko) 눈 이미지와 디지털 이미지 사이의 변환 방법 및 시스템
CN112769487B (zh) 一种单兵夜视光学通信头盔系统
CN106322670B (zh) 一种空调及其远程控制方法和装置
CN112936259B (zh) 一种适用于水下机器人的人机协作方法
CN109729311B (zh) 视频信息采集处理系统、方法和人体随动遥操作机器人
JP2004291186A (ja) ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置
KR20190091870A (ko) 모션센서와 vr을 활용한 로봇 제어 시스템
JP2020027956A (ja) 処理装置
CN105120219A (zh) 一种摄像头自动调整拍摄角度的装置
CN212647493U (zh) 一种智能交互系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant