CN112207816A - 基于视图编解码的脑控机械臂系统和控制方法 - Google Patents

基于视图编解码的脑控机械臂系统和控制方法 Download PDF

Info

Publication number
CN112207816A
CN112207816A CN202010864042.5A CN202010864042A CN112207816A CN 112207816 A CN112207816 A CN 112207816A CN 202010864042 A CN202010864042 A CN 202010864042A CN 112207816 A CN112207816 A CN 112207816A
Authority
CN
China
Prior art keywords
mechanical arm
target
brain
dimensional
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010864042.5A
Other languages
English (en)
Other versions
CN112207816B (zh
Inventor
明东
韩锦
许敏鹏
刘邈
戴廷飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010864042.5A priority Critical patent/CN112207816B/zh
Publication of CN112207816A publication Critical patent/CN112207816A/zh
Application granted granted Critical
Publication of CN112207816B publication Critical patent/CN112207816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及脑‑机接口与机械臂控制技术，为将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的六维(即6D)空间坐标，实现BCI的输出方式由传统的一维信息变为二维信息。为此，本发明采取的技术方案是，基于视图编解码的脑控机械臂系统和控制方法，把脑‑机接口与机械臂控制相结合，采用任务相关成分分析算法，解码混合脑电特征，实现对用户意图的识别，其中，通过将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的六维空间坐标，实现BCI信息输出方式由一维到二维，从而实现机械臂控制。本发明主要应用于医疗器械的设计制造场合。

Description

基于视图编解码的脑控机械臂系统和控制方法
技术领域
本发明涉及脑-机接口与机械臂控制技术，具体涉及基于新型视图编解码方法的脑控机械臂系统。
背景技术
脑-机接口(brain-computer interface,BCI)的核心技术在于探索大脑信息并解码用户意图，常规的脑-机接口系统包括连续的五个阶段：信号采集、预处理(或信号增强)、特征提取、分类和接口控制。
信号采集阶段捕捉到大脑信号并进行信号降噪和硬件处理；预处理阶段为后续处理准备适当形式的信号；特征提取阶段是标识被提取出来的大脑信号中的信息，映射到一个包含有效判别功能的特征向量；分类阶段是对特征向量进行识别；控制接口阶段是将分类的信号转换为控制指令给所连接设备，如轮椅、计算机、机械臂等等，即对接到BCI的应用层。对基于脑电(electroencephalography,EEG)的BCI系统而言，特征提取和分类阶段是决定BCI系统的关键所在。一方面是因为脑电信号可能由于肌电和眼电的干扰而失真；另一方面，为了减少特征提取阶段的复杂性，须尽量降低特征向量的维度，但同时要保证重要有用信息没有损失，这是一项非常具有挑战性的任务。因此，为了解码用户意图，选择合适且高效的方法提取有用特征，实现有效的分类识别显得至关重要。
发明内容
为克服现有技术的不足，本发明旨在将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的六维(即6D)空间坐标，实现BCI的输出方式由传统的一维信息变为二维信息。为此，本发明采取的技术方案是，基于视图编解码脑控机械臂控制方法，把脑-机接口与机械臂控制相结合，采用任务相关成分分析算法，解码混合脑电特征，实现对用户意图的识别，其中，通过将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的六维空间坐标，实现BCI信息输出方式由一维到二维，从而实现机械臂控制。
二维拓扑信息映射为视图像素指令进一步地具体步骤如下：脑-机接口BCI刺激界面设置为由m行n列组成的像素矩阵块，每个像素块的中心称为端点，对需要编码的目标设置成由若干个目标端点组成的二维拓扑结构，通过对目标端点的识别顺序和端点之间连接关系的规定，实现对具有二维拓扑结构目标的编码和解码，即将编码目标的二维拓扑结构映射为视图像素指令，通过端点之间的连接，实现BCI输出二维信息，BCI每次对操控意图的识别，结果会先以视觉反馈的形式呈现在屏幕上，受试者可以根据反馈结果，在规定时间内通过动作取消本次指令输出，否则默认指令正确，并进行机械臂控制。
采用基于滤波器组的集成任务相关成分分析TRCA(Task-related componentanalysis)对脑电特征信息的识别，滤波器组是通过设计不同的滤波频带，尽可能多的提取脑电信号中的有用信息，在第一个滤波器设计时，滤波通带应包含1-10赫兹的事件相关电位成分ERP(event-related potential)。
任务相关成分分析是根据受试者个体信息作为训练集，将训练集信号投射到不同的空间域内，以寻找到最佳投影方向，使得训练集不同样本间的协方差和最大，即训练集在该方向投影后具有最大的相关性,最后将测试信号在该方向投影后与训练集的数据计算相关系数，从而解码脑电信息得到决策值。
任务相关成分分析过程如下：采集记录的Nc个导联的脑电信号分别为xj(j＝1,2,...,Nc)，xj，j＝1,2,……,Nc所有试次trial间可能组合的总和为：
Figure BDA0002649139690000021
其中，cov(a,b)代表了a和b之间的协方差，Ntrial代表了训练集的试次数量，h1和h2代表了训练集样本编号的索引,为了获得最终结果，对以下条件进行限定：
Figure BDA0002649139690000022
此时，寻找最佳投影方向的问题可以转化为以下的最优化问题：
Figure BDA0002649139690000023
拉格朗日求极值法可以有效的解决此优化问题，Q-1S即为所求的最佳投影方向，所有目标刺激频率的投影方向可以按以下等式整合为：
Figure BDA0002649139690000024
其中，Nf是刺激频率的个数，测试集和个体平均模板
Figure BDA0002649139690000025
之间的相关系数即决策值按以下等式计算：
Figure BDA0002649139690000026
将滤波器组和任务相关成分分析方法结合，对不同滤波频带下的脑电特征应用TRCA方法，分别得到各个通频带下的相关系数矩阵，依据公式(6)对相关系数矩阵进行加权融合，最终得到一系列决策值，挑选出其中最大的数值见公式(7)，其对应的位置即为靶目标，从而实现了识别分类目的；
其中，
Figure BDA0002649139690000027
是在编号为m的滤波器通带下，第k个目标的相关系数；M为所有目标指令个数：
Figure BDA0002649139690000028
τt＝argmaxρk,k∈[1,M] (7)。
刺激界面2D坐标系到机械臂6D坐标系按以下步骤进行变换：
1、首先对机械臂子系统的操作平台进行标定，并记录操作平台左上角的6D位置坐标(X,Y,Z,RX,RY,RZ)；
2、由于视觉刺激界面为二维平面，且为n行*m列的像素块，所以界面水平轴记为X轴，向右为正方向，竖直轴记为Y，向下为正方向，界面左上角记为原点(0,0)，则右下角的坐标为(m-1,n-1)，对此界面坐标系进行归一化处理，右下角坐标变为(1,1)，对于界面上任意一点(x,y)，在坐标系归一化之后，变为
Figure BDA0002649139690000031
3、设机械臂子系统的操作平台长*宽为N*M，由归一化之后的坐标系映射到一个N*M的平面，即原界面任意一点(x,y)映射为
Figure BDA0002649139690000032
4、经过以上步骤的映射变换，刺激界面任意一点(x,y)，映射为机械臂子系统的6D位置坐标：
Figure BDA0002649139690000033
其中RX,RY,RZ分别代表了机械臂在不同方向上的旋转角度，X,RX,RY,RZ在机械臂标定后为固定常数。
基于视图编解码的脑控机械臂系统，包括：脑电采集器，脑电放大器，计算机，可编程控制的机械臂，脑电采集器采集的脑电信号经脑电放大器放大后，再经模数转换输入计算机，计算机根据收到的脑电信号对机械臂实施控制，其中，计算机中：脑-机接口BCI刺激界面设置为由m行n列组成的像素矩阵块，每个像素块的中心称为端点，对需要编码的目标设置成由若干个目标端点组成的二维拓扑结构，通过对目标端点的识别顺序和端点之间连接关系的规定，实现对具有二维拓扑结构目标的编码和解码，即将编码目标的二维拓扑结构映射为视图像素指令，通过端点之间的连接，实现BCI输出二维信息，BCI每次对操控意图的识别，结果会先以视觉反馈的形式呈现在屏幕上，受试者可以根据反馈结果，在规定时间内通过动作取消本次指令输出，否则默认指令正确，并进行机械臂控制。
本发明的特点及有益效果是：
本发明提出了一种新型视图编解码方法，把脑-机接口与机械臂技术相结合，通过将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的6D空间坐标，首次实现了BCI信息输出方式由一维到二维的重大变革。依据该方法，以具有二维拓扑结构的汉字为例，首次实现了BCI系统书写任意汉字的功能，实现了BCI信息输出方式由“拼”到“写”的重大改变。本系统有望获得可观的社会效益和经济效益。
附图说明：
图1为本发明的结构示意图。该设计主要包括视图编码界面，视图解码算法，坐标映射算法，机械臂控制子系统四部分。
图2混合BCI刺激范式说明。a)108像素块分布图；b)12个模块的频率和初相位；c)和d)模块1和8的编码时序图。
图3书写示例——福。a)汉字“福”在刺激界面的二维拓扑分布图；b)“福”每个笔画对应的目标端点编号。
图4机械臂控制子系统。
具体实施方式
脑-机接口(Brain-Computer Interface,BCI)是一个将中枢神经系统活动直接转化为人工输出的系统，它能够替代、修复、增强、补充或者改善中枢神经系统的正常输出，从而改善中枢神经系统与内外环境之间的交互作用，具有广阔的应用前景和技术优势。本发明提出了一种新型视图编解码方法，把脑-机接口与机械臂技术相结合，采用任务相关成分分析算法，解码混合脑电特征，实现对用户意图的识别。通过将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的6D空间坐标，首次实现了BCI信息输出方式由一维到二维的重大变革。该方法的相关研究思路可为基于视图编解码的高速、高分辨率脑控系统的设计和推广应用提供参考。
本发明提出了一种新型视图编解码方法，把脑-机接口与机械臂技术相结合，通过编码、解码脑电信息，旨在将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的6D空间坐标，实现BCI的输出方式由传统的一维信息变为二维信息。本系统有望获得可观的社会效益和经济效益。
系统结构如图1所示，系统主要包括视图编码界面，视图解码算法，坐标映射算法，机械臂控制子系统四部分。系统的功能实现，除了算法等软件的设计，还要依托硬件系统。其主要包括支持24位模/数转换的Neuroscan SynAmps2脑电放大器，支持呈现视图编码界面、执行算法、在线采集、在线数据处理(如导联选择、降采样、滤波、截取数据等等)、实时视觉听觉结果反馈的高性能计算机，以及支持可编程控制的机械臂子系统。下面对系统的主要组成部分进行介绍。
一视图编码界面
针对传统BCI拼写器只能输出一维信息的问题，本发明提出基于像素的视图编码方法，实现BCI系统信息输出方式由一维到二维的变革。具体来说，我们将传统的BCI刺激界面设置为由m行n列组成的像素矩阵块，每个像素块的中心称为端点，对需要编码的目标设置成由若干个目标端点组成的二维拓扑结构。通过对目标端点的识别顺序和端点之间连接关系的规定，就能实现对具有二维拓扑结构目标的编码和解码，即将编码目标的二维拓扑结构映射为视图像素指令，通过端点之间的连接，实现BCI系统输出二维信息的功能。如图1所示，BCI系统每次对操控意图的识别，结果会先以视觉反馈的形式呈现在屏幕上，受试者可以根据反馈结果，在规定时间内(具体时间可根据实际需求确定)通过咬牙(或眨眼等等)取消本次指令输出，否则默认指令正确，并进行机械臂控制。
依靠上述视图编码方法，以具有二维拓扑结构的汉字为例进行说明。针对汉字结构复杂，BCI系统书写困难的问题，我们将汉字每个笔画的起点和终点分别设置为目标端点，通过对目标端点的识别和连接，实现了书写汉字的功能。下面以9*12的视图编码界面为例，对汉字“福”的书写进行示例说明：
如图2所示，界面被平均分割为3×4个模块，每个模块含有3×3个像素块，指令集(即像素块)一共108个。此刺激是由基于Psychtoolbox工具箱编写，包含12个频率和相位，频率由12.4-14.6Hz，同一列相邻位置相差0.8Hz，同一行相邻位置相差0.2Hz，相位间隔0.35π，采用了正弦采样的方式呈现。
实验开始时，受试者盯着目标像素块，12个模块同时开始闪烁，即每个模块内的9个像素块按预先编好的随机序列开始闪烁，每个像素块闪烁持续时间为200ms(毫秒)，当上一个像素块开始闪烁后100ms(毫秒)，下一个像素块开始闪烁。在这种高效的编码策略下，单个round(轮次)耗费时间仅为1s(秒)，大大缩短了实验时间，并能准确同时地诱发出P300和SSVEP(稳态视觉诱发电位)特征。
如图3(a)所示，为书写示例汉字“福”在刺激界面的二维拓扑分布图；图3(b)为“福”每个笔画对应的目标端点编号，深色编号代表需选择一次作为目标端点(起点或终点)，深色色背景的编号代表需分别选择两次作为笔画的目标端点(起点或终点)。按汉字的书写规则以及视图编码方法的目标端点原则，对于脑控机械臂汉字“福”的书写，按以下端点序列进行：10-14-9-18-18-74-49-88-50-54-19-29-23-56-23-31-31-64-56-64-58-97-58-68-68-107-91-101-60-99-91-107。由此可见，该编码方法是以序列的第奇数次端点作为落笔起点，第偶数次端点作为起笔终点，以此进行任意汉字的书写。所以，对于BCI系统，无论是基于P300特征，还是SSVEP或其他信号特征的范式，均可以采用此编码方法，实现BCI信息输出方式由一维到二维的改变。
二视图解码算法
对脑电特征信息的识别主要采用了基于滤波器组的集成任务相关成分分析(Task-related component analysis，TRCA)算法。滤波器组的主要目的是通过设计不同的滤波频带，尽可能多的提取脑电信号中的有用信息，在第一个滤波器设计时，滤波通带应包含1-10Hz的ERP成分，该方法已被证明可以取得较好结果。
2.1任务相关成分分析
任务相关成分分析算法主要思路是根据受试者个体信息作为训练集，将训练集信号投射到不同的空间域内，以寻找到最佳投影方向，使得训练集不同样本间的协方差和最大，即训练集在该方向投影后具有最大的相关性。最后将测试信号在该方向投影后与训练集的数据计算相关系数，从而解码脑电信息得到决策值。
算法的数学推导如下：假设采集记录的NC个导联的脑电信号分别为xj(j＝1,2,...,Nc)，所有试次(trial)间可能组合的总和为：
Figure BDA0002649139690000051
其中，cov(a,b)代表了a和b之间的协方差，Ntrial代表了训练集的试次数量，h1和h2代表了训练集样本编号的索引。为了获得最终结果，对以下条件进行限定：
Figure BDA0002649139690000052
此时，寻找最佳投影方向的问题可以转化为以下的最优化问题：
Figure BDA0002649139690000061
拉格朗日求极值法可以有效的解决此优化问题，Q-1S即为所求的最佳投影方向。所有目标刺激频率的投影方向可以按以下等式整合为：
Figure BDA0002649139690000062
其中，Nf是刺激频率的个数，测试集和个体平均模板
Figure BDA0002649139690000063
之间的相关系数(即决策值)按以下等式计算：
Figure BDA0002649139690000064
2.2决策值融合和结果输出
将滤波器组和任务相关成分分析方法结合，对不同滤波频带下的脑电特征应用TRCA方法，可以分别得到各个通频带下的相关系数矩阵，依据公式6对相关系数矩阵进行加权融合，最终得到一系列决策值，挑选出其中最大的数值(公式7)，其对应的位置即为靶目标，从而实现了识别分类目的。
其中，
Figure BDA0002649139690000065
是在编号为m的滤波器通带下，第k个目标的相关系数；M为所有目标指令个数。
Figure BDA0002649139690000066
τt＝argmaxρk,k∈[1,M] (7)
采用此解码方法，10人平均离线结果表明，在第一个round处正确率73.80％，ITR为150.09bits/min；在第五个round处正确率96.29％，ITR为66.25bits/min，达到较好效果。
三坐标映射算法
刺激界面2D坐标系到机械臂6D坐标系按以下步骤进行变换：
1、首先对机械臂子系统的操作平台进行标定，并记录操作平台左上角的6D位置坐标(X,Y,Z,RX,RY,RZ)。
2、由于视觉刺激界面为2D平面，且为n*m的像素块，所以界面水平轴记为X轴，向右为正方向，竖直轴记为Y，向下为正方向。界面左上角记为原点(0,0)，则右下角的坐标为(m-1,n-1)。对此界面坐标系进行归一化处理，右下角坐标变为(1,1)。对于界面上任意一点(x,y)，在坐标系归一化之后，变为
Figure BDA0002649139690000067
3、设机械臂子系统的操作平台长*宽为N*M，单位毫米(mm)，由归一化之后的坐标系映射到一个N*M的平面，即原界面任意一点(x,y)映射为
Figure BDA0002649139690000068
4、经过以上步骤的映射变换，刺激界面任意一点(x,y)，可以映射为机械臂子系统的6D位置坐标：
Figure BDA0002649139690000069
其中RX,RY,RZ分别代表了机械臂在不同方向上的旋转角度(图4)，X,RX,RY,RZ在机械臂标定后为固定常数。
四机械臂控制子系统
采用Universal Robots公司的UR10六轴机械臂，工作空间为基座关节周围1300mm范围内的区域，机械臂的位置由6D坐标(X,Y,Z,RX,RY,RZ)指定(如图4)，对于标定后的操作系统，X代表垂直高度，Y和Z分别代表了操作台的竖直轴和水平轴，单位为毫米(mm)，XYZ坐标系符合右手法则；RX,RY,RZ分别代表了在不同方向上的旋转角度，在机械臂标定后，RX,RY,RZ是固定不变的常数。通过TCP/IP通信协议，上位机将坐标系映射后的6D位置坐标发送给机械臂控制子系统，机械臂控制子系统收到指令后以固定的速度线性移动到指定位置，完成相应任务。
本发明提出了一种新型视图编解码方法，把脑-机接口与机械臂技术相结合，通过将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的6D空间坐标，首次实现了BCI信息输出方式由一维到二维的重大变革。该项发明可以用于残疾人康复、航空航天、工业控制等领域，有望获得可观的社会效益和经济效益。

Claims (6)

1.一种基于视图编解码脑控机械臂控制方法，其特征是，把脑-机接口与机械臂控制相结合，采用任务相关成分分析算法，解码混合脑电特征，实现对用户意图的识别，其中，通过将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的六维空间坐标，实现BCI信息输出方式由一维到二维，从而实现机械臂控制。
2.如权利要求1所述的基于视图编解码脑控机械臂控制方法，其特征是，二维拓扑信息映射为视图像素指令进一步地具体步骤如下：脑-机接口BCI刺激界面设置为由m行n列组成的像素矩阵块，每个像素块的中心称为端点，对需要编码的目标设置成由若干个目标端点组成的二维拓扑结构，通过对目标端点的识别顺序和端点之间连接关系的规定，实现对具有二维拓扑结构目标的编码和解码，即将编码目标的二维拓扑结构映射为视图像素指令，通过端点之间的连接，实现BCI输出二维信息，BCI每次对操控意图的识别，结果会先以视觉反馈的形式呈现在屏幕上，受试者可以根据反馈结果，在规定时间内通过动作取消本次指令输出，否则默认指令正确，并进行机械臂控制。
3.如权利要求1所述的基于视图编解码脑控机械臂控制方法，其特征是，采用基于滤波器组的集成任务相关成分分析TRCA(Task-related component analysis)对脑电特征信息的识别，滤波器组是通过设计不同的滤波频带，尽可能多的提取脑电信号中的有用信息，在第一个滤波器设计时，滤波通带应包含1-10赫兹的事件相关电位成分ERP(event-relatedpotential)。
4.如权利要求1所述的基于视图编解码脑控机械臂控制方法，其特征是，任务相关成分分析是根据受试者个体信息作为训练集，将训练集信号投射到不同的空间域内，以寻找到最佳投影方向，使得训练集不同样本间的协方差和最大，即训练集在该方向投影后具有最大的相关性,最后将测试信号在该方向投影后与训练集的数据计算相关系数，从而解码脑电信息得到决策值。
5.如权利要求4所述的基于视图编解码脑控机械臂控制方法，其特征是，任务相关成分分析过程如下：采集记录的Nc个导联的脑电信号分别为xj(j＝1,2,...,Nc)，xj，j＝1,2,……,Nc所有试次trial间可能组合的总和为：
Figure FDA0002649139680000011
其中，cov(a,b)代表了a和b之间的协方差，Ntrial代表了训练集的试次数量，h1和h2代表了训练集样本编号的索引,为了获得最终结果，对以下条件进行限定：
Figure FDA0002649139680000012
此时，寻找最佳投影方向的问题可以转化为以下的最优化问题：
Figure FDA0002649139680000013
拉格朗日求极值法可以有效的解决此优化问题，Q-1S即为所求的最佳投影方向，所有目标刺激频率的投影方向可以按以下等式整合为：
Figure FDA0002649139680000021
其中，Nf是刺激频率的个数，测试集和个体平均模板
Figure FDA0002649139680000022
之间的相关系数即决策值按以下等式计算：
Figure FDA0002649139680000023
将滤波器组和任务相关成分分析方法结合，对不同滤波频带下的脑电特征应用TRCA方法，分别得到各个通频带下的相关系数矩阵，依据公式(6)对相关系数矩阵进行加权融合，最终得到一系列决策值，挑选出其中最大的数值见公式(7)，其对应的位置即为靶目标，从而实现了识别分类目的；
其中，
Figure FDA0002649139680000024
是在编号为m的滤波器通带下，第k个目标的相关系数；M为所有目标指令个数：
Figure FDA0002649139680000025
τt＝arg maxρk,k∈[1,M] (7)。
刺激界面2D坐标系到机械臂6D坐标系按以下步骤进行变换：
1)首先对机械臂子系统的操作平台进行标定，并记录操作平台左上角的6D位置坐标(X,Y,Z,RX,RY,RZ)；
2)由于视觉刺激界面为二维平面，且为n行*m列的像素块，所以界面水平轴记为X轴，向右为正方向，竖直轴记为Y，向下为正方向，界面左上角记为原点(0,0)，则右下角的坐标为(m-1,n-1)，对此界面坐标系进行归一化处理，右下角坐标变为(1,1)，对于界面上任意一点(x,y)，在坐标系归一化之后，变为
Figure FDA0002649139680000026
3)设机械臂子系统的操作平台长*宽为N*M，由归一化之后的坐标系映射到一个N*M的平面，即原界面任意一点(x,y)映射为
Figure FDA0002649139680000027
4)经过以上步骤的映射变换，刺激界面任意一点(x,y)，映射为机械臂子系统的6D位置坐标：
Figure FDA0002649139680000028
其中RX,RY,RZ分别代表了机械臂在不同方向上的旋转角度，X,RX,RY,RZ在机械臂标定后为固定常数。
6.一种基于视图编解码的脑控机械臂系统，其特征是，包括：脑电采集器，脑电放大器，计算机，可编程控制的机械臂，脑电采集器采集的脑电信号经脑电放大器放大后，再经模数转换输入计算机，计算机根据收到的脑电信号对机械臂实施控制，其中，计算机中：脑-机接口BCI刺激界面设置为由m行n列组成的像素矩阵块，每个像素块的中心称为端点，对需要编码的目标设置成由若干个目标端点组成的二维拓扑结构，通过对目标端点的识别顺序和端点之间连接关系的规定，实现对具有二维拓扑结构目标的编码和解码，即将编码目标的二维拓扑结构映射为视图像素指令，通过端点之间的连接，实现BCI输出二维信息，BCI每次对操控意图的识别，结果会先以视觉反馈的形式呈现在屏幕上，受试者可以根据反馈结果，在规定时间内通过动作取消本次指令输出，否则默认指令正确，并进行机械臂控制。
CN202010864042.5A 2020-08-25 2020-08-25 基于视图编解码的脑控机械臂系统和控制方法 Active CN112207816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010864042.5A CN112207816B (zh) 2020-08-25 2020-08-25 基于视图编解码的脑控机械臂系统和控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010864042.5A CN112207816B (zh) 2020-08-25 2020-08-25 基于视图编解码的脑控机械臂系统和控制方法

Publications (2)

Publication Number Publication Date
CN112207816A true CN112207816A (zh) 2021-01-12
CN112207816B CN112207816B (zh) 2022-08-26

Family

ID=74058704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010864042.5A Active CN112207816B (zh) 2020-08-25 2020-08-25 基于视图编解码的脑控机械臂系统和控制方法

Country Status (1)

Country Link
CN (1) CN112207816B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113146618A (zh) * 2021-03-16 2021-07-23 深兰科技（上海）有限公司 机械臂的控制方法、系统、电子设备及存储介质
CN114201041A (zh) * 2021-11-09 2022-03-18 北京电子工程总体研究所 一种基于脑机接口的人机交互指挥方法和装置
CN117851769A (zh) * 2023-11-30 2024-04-09 浙江大学 一种面向侵入式脑机接口的汉字书写解码方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824418A (zh) * 2016-03-17 2016-08-03 天津大学 一种基于非对称视觉诱发电位的脑-机接口通讯系统
CN106491251A (zh) * 2016-09-27 2017-03-15 中国医学科学院生物医学工程研究所 一种基于非侵入式脑机接口机器臂控制系统及其控制方法
CN106648087A (zh) * 2016-12-12 2017-05-10 西北工业大学 一种基于意识任务的特征eeg处理方法
CN106933353A (zh) * 2017-02-15 2017-07-07 南昌大学 一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法
CN107656612A (zh) * 2017-09-06 2018-02-02 天津大学 基于p300‑ssvep的大指令集脑‑机接口方法
CN108415554A (zh) * 2018-01-18 2018-08-17 大连理工大学 一种基于p300的脑控机器人系统及其实现方法
CN108888264A (zh) * 2018-05-03 2018-11-27 南京邮电大学 Emd和csp融合功率谱密度脑电特征提取方法
CN109366508A (zh) * 2018-09-25 2019-02-22 中国医学科学院生物医学工程研究所 一种基于bci的高级机械臂控制系统及其实现方法
CN109657560A (zh) * 2018-11-24 2019-04-19 天津大学 机械手臂控制在线脑-机接口系统及实现方法
WO2019144019A1 (en) * 2018-01-18 2019-07-25 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
US20200057498A1 (en) * 2016-10-27 2020-02-20 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a hybrid brain interface for robotic swarms using eeg signals and an input device
CN110955330A (zh) * 2019-11-22 2020-04-03 燕山大学 基于复杂对象控制的高唤醒度的脑电意图辨析方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824418A (zh) * 2016-03-17 2016-08-03 天津大学 一种基于非对称视觉诱发电位的脑-机接口通讯系统
CN106491251A (zh) * 2016-09-27 2017-03-15 中国医学科学院生物医学工程研究所 一种基于非侵入式脑机接口机器臂控制系统及其控制方法
US20200057498A1 (en) * 2016-10-27 2020-02-20 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a hybrid brain interface for robotic swarms using eeg signals and an input device
CN106648087A (zh) * 2016-12-12 2017-05-10 西北工业大学 一种基于意识任务的特征eeg处理方法
CN106933353A (zh) * 2017-02-15 2017-07-07 南昌大学 一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法
CN107656612A (zh) * 2017-09-06 2018-02-02 天津大学 基于p300‑ssvep的大指令集脑‑机接口方法
CN108415554A (zh) * 2018-01-18 2018-08-17 大连理工大学 一种基于p300的脑控机器人系统及其实现方法
WO2019144019A1 (en) * 2018-01-18 2019-07-25 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
CN108888264A (zh) * 2018-05-03 2018-11-27 南京邮电大学 Emd和csp融合功率谱密度脑电特征提取方法
CN109366508A (zh) * 2018-09-25 2019-02-22 中国医学科学院生物医学工程研究所 一种基于bci的高级机械臂控制系统及其实现方法
CN109657560A (zh) * 2018-11-24 2019-04-19 天津大学 机械手臂控制在线脑-机接口系统及实现方法
CN110955330A (zh) * 2019-11-22 2020-04-03 燕山大学 基于复杂对象控制的高唤醒度的脑电意图辨析方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113146618A (zh) * 2021-03-16 2021-07-23 深兰科技（上海）有限公司 机械臂的控制方法、系统、电子设备及存储介质
CN113146618B (zh) * 2021-03-16 2022-07-01 深兰科技（上海）有限公司 机械臂的控制方法、系统、电子设备及存储介质
CN114201041A (zh) * 2021-11-09 2022-03-18 北京电子工程总体研究所 一种基于脑机接口的人机交互指挥方法和装置
CN114201041B (zh) * 2021-11-09 2024-01-26 北京电子工程总体研究所 一种基于脑机接口的人机交互指挥方法和装置
CN117851769A (zh) * 2023-11-30 2024-04-09 浙江大学 一种面向侵入式脑机接口的汉字书写解码方法

Also Published As

Publication number Publication date
CN112207816B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN112207816B (zh) 基于视图编解码的脑控机械臂系统和控制方法
Fang et al. A multichannel surface EMG system for hand motion recognition
CN109664300B (zh) 一种基于力觉学习的机器人多风格书法临摹方法
CN107885327B (zh) 一种基于Kinect深度信息的指尖检测方法
CN111694428B (zh) 基于Kinect的手势与轨迹远程控制机器人系统
CN112990074A (zh) 基于vr的多场景自主式控制的混合脑机接口在线系统
CN109521880B (zh) 一种基于混合生物电信号驱动的遥操作机器人系统及方法
CN115050104B (zh) 基于多通道表面肌电信号的连续手势动作识别方法
CN106491251B (zh) 一种基于非侵入式脑机接口机器臂控制系统及其控制方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN108044625A (zh) 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法
CN108459710B (zh) 一种眼动信号控制的交互装置
CN110827355B (zh) 一种基于视频图像坐标的移动目标快速定位方法及系统
Liu et al. A CNN-transformer hybrid recognition approach for sEMG-based dynamic gesture prediction
Li et al. Sign language letters recognition model based on improved YOLOv5
Wang et al. Humanoid robot control system based on AR-SSVEP
Fang et al. Recent advances of P300 speller paradigms and algorithms
CN112140113B (zh) 一种基于脑-机接口的机器人控制系统及控制方法
CN112936259B (zh) 一种适用于水下机器人的人机协作方法
Qu et al. Research on EEG feature decoding based on stimulus image
CN115509355A (zh) 一种整合视觉下的mi-bci交互控制系统及方法
CN109214295A (zh) 基于Kinect v2和Leap Motion的数据融合的手势识别方法
CN113947815A (zh) 一种基于肌电传感和视觉传感的人机手势协同控制方法
Xu et al. An improved head pose estimation method for the robotic wheelchair interaction control
Lu et al. Channel-distribution hybrid deep learning for sEMG-based gesture recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant