CN102980454A - 一种基于脑机结合的机器人排爆系统的排爆方法 - Google Patents

Abstract

本发明公开的是一种基于脑机结合的机器人排爆系统的排爆方法，其方法：（1）建立初始排爆知识库；（2）准备执行排爆搜索；（3）进行三维场景构建；（4）机器人在线学习，并更新排爆知识库；（5）当排爆专家和机器人之间通信出现故障，则机器人利用可变力场法进行自主导航，并根据自身知识库来匹配实时图像继续进行排爆搜索任务；（6）发现爆炸物，通过无线通讯装置实时控制排爆机器人进行排爆；若通讯中断，则机器人进行自主排爆；（7）所有区域搜索完毕，排爆任务完成，机器人安全返回。本发明可以利用可变力场法自主导航和避障，同时利用自身排爆知识库进行自主排爆，实时处理各种复杂任务，来实现机器人的自主排爆，具有重要的现实意义和应用价值。

Description

一种基于脑机结合的机器人排爆系统的排爆方法

技术领域

本发明属于机器人智能控制领域，是一种智能控制技术与机器人排爆相结合的应用，特别是涉及一种基于脑机结合的机器人排爆系统的排爆方法。

背景技术

排爆是一项非常危险的任务，因此排爆机器人的研究是当前机器人研究的一个热点。由于排爆机器人一般工作在非结构化的环境中，因此，研究具有局部自主能力的、可以通过人机交互，高效完成排爆任务的智能机器人是今后一段时间的发展方向，目前已有的排爆机器人进行排爆时，其结构复杂，智能化程度低，而且操作繁琐，安全性能低，开发一套结构相对简单，能够实时处理各种复杂任务的智能排爆机器人系统的排爆方法具有非常重要的意义。

发明内容

为克服现有技术上的不足，本发明的目的是在于提供一种具有类似于人脑学习过程的智能机器人排爆系统的排爆方法，充分利用排爆专家的排爆知识，能够实时处理各种复杂任务，来实现机器人的自主排爆。

为了达到上述目的，本发明的技术方案是一种基于脑机结合的机器人排爆系统的排爆方法，包括如下步骤：

（1）首先排爆专家与机器人进行排爆训练，在机器人大脑中建立初始排爆知识库。

（2）当排爆任务下达后，排爆专家携带安装有排爆专家系统的计算机进入排爆区域外围监控地点开始工作，排爆机器人携带两台摄像机、超声波传感器、激光测距仪及无线通讯设备进入排爆区域入口，准备执行排爆搜索。

（3）排爆任务开始前，先进行机器人与排爆专家之间的连通性测试。然后利用机器人的双目视觉系统实时采集图像并利用无线装置传回至排爆专家系统计算机，进行三维场景构建。

（4）根据构建的三维场景，排爆专家实时控制机器人进行排爆搜索任务，与此同时，利用电波帽实时采集排爆专家的脑电波信号，经处理后传送给排爆机器人，供其在线学习，并更新排爆知识库。

（5）当排爆专家和机器人之间通信出现故障，则机器人利用可变力场法进行自主导航，并根据自身知识库来匹配实时图像继续进行排爆搜索任务。

（6）发现爆炸物，排爆专家通过无线通讯装置，实时控制排爆机器人进行排爆，同时利用脑机结合的方法实现机器人在线学习。如果通讯中断，则排爆机器人利用自身所存储的排爆知识进行自主排爆。

（7）所有区域搜索完毕，排爆任务完成，机器人安全返回。

本发明利用机器人上的两台摄像机分别获取物体不同角度的两幅图像，由图像处理模块进行立体特征匹配。本发明采用Harris-SIFT算法进行特征匹配，具体如下：

首先载入左右摄像机的图像到计算机，对图像进行初始化，分别在左右图像中检测Harris特征点，计算特征点的主方向，生成SIFT特征点描述算子，最终完成特征匹配。

其中，SIFT算子是一种有效地点特征提取算子，计算公式如下：

R=Δ(C)-ktr²(C)

其中，Δ为矩阵行列式；tr为矩阵直迹；C为相关矩阵。

本发明的有益效果如下：

本发明通过脑机结合技术用于排爆机器人的学习过程，建立机器人排爆知识库；并且机器人具有双目视觉，可以实时传输并构建排爆现场的三维场景，更有利于排爆专家进行精确排爆操作；当机器人和排爆专家通信中断时，机器人可以利用可变力场法进行自主导航，在通讯中断或者其他更加复杂情况下，机器人可以利用知识库进行完全自主排爆，进而充分利用排爆专家的排爆知识，来实现机器人的自主排爆。

附图说明：

图1为排爆任务工作流程图。

图2为基于脑机结合的机器人知识库建立及更新流程图。

图3为机器人立体视觉算法流程图。

图4为基于脑机结合的排爆系统工作示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明是一种基于脑机结合的机器人排爆系统的排爆方法，其充分利用排爆专家的排爆知识，来实现机器人的自主排爆；其具体流程如附图1所示，包括如下步骤：

（1）首先排爆专家与机器人进行排爆训练，在机器人大脑中建立初始排爆知识库。

上述机器人进行排爆训练，在机器人大脑中建立初始排爆知识库的步骤如下：

（1a）在机器人控制系统中植入一块DSP芯片，构建机器人大脑，并把该芯片划分四个区域，分别对应人脑的左脑、右脑、后脑和中枢；

（1b）训练时，排爆专家佩戴电波帽进行排爆演习，排爆专家根据训练用的排爆场景图像进行相应的排爆操作，用电波帽实时采集排爆专家的脑电波信号；

（1c）把采集的脑电波信号进行滤波、波形提取，通过A/D转换，把对应排爆行为的脑电波模拟信号转换成数字信号；并通过进行多次训练，采用求平均的方法，得到对应特定排爆行为知识的精确脑电波数据；

（1d）把代表排爆专家经验知识的脑电波数据存储在机器人大脑芯片相应区域中，作为机器人的初始排爆知识库。

（2）当排爆任务下达后，排爆专家携带安装有排爆专家系统的计算机进入排爆区域外围监控地点开始工作，排爆机器人携带两台摄像机、超声波传感器、激光测距仪及无线通讯设备进入排爆区域入口，准备执行排爆搜索。

（3）排爆任务开始前，先进行机器人与排爆专家之间的连通性测试；然后利用机器人的双目视觉系统实时采集图像并利用无线装置传回至排爆专家系统计算机，进行三维场景构建。

如附图3所示，上述机器人双目视觉模块中三维场景构建流程图具体如下：

a、摄像机内外参数标定。为了完成排爆图像的三维场景重建，需要获得图像的深度信息，首先对摄像机进行参数标定，本发明采用内外参数分离的标定法。

设（u,v）为理想的图像像素坐标，（u’，v’）为观测到的受到畸变的图像像素坐标，（x，y）为归一化后的理想图像坐标，（x’，y’）为观测到的图像坐标，则内参数的标定公式如下：

u'=u+(u-u₀)[k1(x²+y²)+k2(x²+y²)²]

v'=v+(v-v₀)[k1(x²+y²)+k2(x²+y²)²]

其中，k1、k2均为径向失真系数；(u₀,v₀)是采集图像的中心点坐标。系数k1、k2的计算公式如下：

Dk＝d

式中，K=[k1 k2]T，通过求解该式的最小二乘解得到：

K=(D^TD)^-1D^Td

摄像机的内参数就由上式确定。

摄像机外参数的标定方法如下：

令世界坐标和左摄像机的中心坐标重合，得到该摄像机的相对旋转矩阵为R左=E，E为一三维单位矩阵，平移矩阵T_左=[0,0,0]^T；同样可得到右摄像机的外参数为R右=E，其平移矩阵为T_右＝[T_xT,0,O]，其中T_xT=B，B为两台摄像机中心点间的距离。

b、首先载入左右摄像机的图像到计算机。本发明利用机器人上的两台摄像机分别获取物体不同角度的两幅图像。

c、对左右图像进行初始化。

d、分别在左右图像中检测Harris特征点，计算特征点的主方向，生成SIFT特征点描述算子，完成特征匹配。本发明由图像处理模块进行立体特征匹配采用Harris-SIFT算法进行特征匹配，其中，SIFT特征点描述算子子是一种有效地点特征提取算子，计算公式如下：

R=Δ(C)-ktr²(C)

其中，Δ为矩阵行列式；tr为矩阵直迹；C为相关矩阵。

e、进行深度计算，完成三维场景构建。立体特征匹配完成后，进行三维坐标的数值计算。三维坐标计算时，使用摄相机参数矩阵K和目标图像中心的坐标计算出三维投影线的方程，继而获得目标物的空间位置，完成三维场景重建。

（4）根据构建的三维场景，排爆专家实时控制机器人进行排爆搜索任务，与此同时，利用电波帽实时采集排爆专家的脑电波信号，经处理后传送给排爆机器人，供其在线学习，并更新排爆知识库。

（5）当排爆专家和机器人之间通信出现故障，则机器人利用可变力场法进行自主导航，并根据自身知识库来匹配实时图像继续进行排爆搜索任务。

所述步骤（5）中，所述可变力场法是指目标物对机器人产生引力，障碍物对机器人产生斥力，利用力的合成对机器人进行导航；所述可变力场法的计算步骤如下：

(5a)计算可变引力：该计算可变引力的公式如下：

$f^t(x,y,z,t)=-K_k(r(x,y,z)-r_k^t)+{\mathrm{\β}}_k$

其中，f^t(x,y，z，t)表示第k个目标产生的吸引力；K_k表示弹性系数；β_k表示偏向力；表示第k个目标的位置向量；

(5b)计算可变斥力；该计算可变斥力的公式如下：

$f_k^0(x,y,z,t)={\mathrm{\ω}}_k\exp \left(\frac{{\mathrm{\λ}}_k}{\left|\right|r_k^0-r(x,y,z)+b_k^2\left|\right|}\right)\frac{r_k^0-r(x,y,z)}{\left|\right|r_k^0-r(x,y,z)\left|\right|}$

其中，

表示第k个目标产生的斥力；ω_k和λ_k是比例因子；b_k是常数；

表示离第k个目标点最近的圆或球体；r(x,y,z)表示位置向量；

表示到最近的那个目标点的距离；

(5c)计算合力：根据可变引力和可变斥力，可得到可变合力；然后根据可变合力来规划出机器人的路径。

（6）发现爆炸物，排爆专家通过无线通讯装置，实时控制排爆机器人进行排爆，同时利用脑机结合的方法实现机器人在线学习，如果通讯中断，则排爆机器人利用自身所存储的排爆知识进行自主排爆。

（7）所有区域搜索完毕，排爆任务完成，机器人安全返回。

如附图2所示，上述步骤（1）、（4）、（6）中基于脑机结合的机器人知识库建立及更新流程具体如下：

a、排爆专家发送排爆指令的同时，利用电波帽采集排爆专家脑电波信号。

b、把信号进行预处理，提取出特征波形，把这些脑电波信号通过A/D转换成数字信号。

c、验证特征库中是否已有这样的数据，若有，则不存储，反之加入到知识库中，实现知识库的实时更新。

此外，如附图（4）所示，本实施例的基于脑机结合的排爆系统的工作过程如下：

（1）当排爆任务下达后，排爆专家携带安装有排爆专家系统的计算机进入排爆区域外围监控地点开始工作，排爆机器人携带两台摄像机、超声波传感器、激光测距仪及无线通讯设备进入排爆区域入口，准备执行排爆搜索。

（2）排爆任务开始前，先进行机器人与排爆专家之间的连通性测试。然后利用机器人的双目视觉系统实时采集图像并利用无线装置传回至排爆专家系统计算机，进行三维场景构建。

（3）根据构建的三维场景，排爆专家实时控制机器人进行排爆搜索任务，与此同时，利用电波帽实时采集排爆专家的脑电波信号，经处理后传送给排爆机器人，供其在线学习，并更新排爆知识库。

（4）当排爆专家和机器人之间通信出现故障，则机器人利用可变力场法进行自主导航，并根据自身知识库来匹配实时图像继续进行排爆搜索任务。

（5）发现爆炸物，排爆专家通过无线通讯装置，实时控制排爆机器人进行排爆，同时利用脑机结合的方法实现机器人在线学习。如果通讯中断，则排爆机器人利用自身所存储的排爆知识进行自主排爆。

（6）所有区域搜索完毕，排爆任务完成，机器人安全返回。

基于上述，本发明是采用由排爆专家提供EEG headset signal(脑信号)通过计算机进行脑电波分析，去除干扰信号，在进行大量试验过后，把排爆专家的一系列排爆行为所对应的精确脑电波数字信号存储在机器人大脑芯片中，作为机器人排爆初始知识库。

在进行排爆时，排爆专家利用无线通讯实时控制机器人进行排爆工作，同时，排爆专家的排爆动作供机器人在线学习，实时更新排爆知识库。当排爆专家和机器人通信中断时，机器人可以利用可变力场法自主导航和避障，同时利用自身排爆知识库进行自主排爆；本发明在机器人自主排爆、机器人救援等发明具有重要的现实意义和应用价值。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于脑机结合的机器人排爆系统的排爆方法，其特征在于：其步骤包括： 

（1）首先排爆专家与机器人进行排爆训练，在机器人大脑中建立初始排爆知识库； 

（2）当排爆任务下达后，排爆专家携带安装有排爆专家系统的计算机进入排爆区域外围监控地点开始工作，排爆机器人携带两台摄像机、超声波传感器、激光测距仪及无线通讯设备进入排爆区域入口，准备执行排爆搜索； 

（3）排爆任务开始前，先进行机器人与排爆专家之间的连通性测试；然后利用机器人的双目视觉系统实时采集图像并利用无线装置传回至排爆专家系统计算机，进行三维场景构建； 

（4）根据构建的三维场景，排爆专家实时控制机器人进行排爆搜索任务，与此同时，利用电波帽实时采集排爆专家的脑电波信号，经处理后传送给机器人，供机器人在线学习，并更新排爆知识库； 

（5）当排爆专家和机器人之间通信出现故障，则机器人利用可变力场法进行自主导航，并根据自身知识库来匹配实时图像继续进行排爆搜索任务； 

（6）发现爆炸物，排爆专家通过无线通讯装置，实时控制排爆机器人进行排爆，同时利用脑机结合的方法实现机器人在线学习以及知识库的更新；若通讯中断，则排爆机器人利用自身所存储的排爆知识进行自主排爆； 

（7）所有区域搜索完毕，排爆任务完成，机器人安全返回。 

2.根据权利要求1所述的一种基于脑机结合的机器人排爆系统的排爆方法，其特征在于：所述步骤（1）中，所述机器人进行排爆训练，在机器人大脑中建立初始排爆知识库的步骤如下： 

（1a）在机器人控制系统中植入一块DSP芯片，构建机器人大脑，并把该芯片划分四个区域，分别对应人脑的左脑、右脑、后脑和中枢； 

（1b）训练时，排爆专家佩戴电波帽进行排爆演习，排爆专家根据训练用的排爆场景图像进行相应的排爆操作，用电波帽实时采集排爆专家的脑电波信号； 

（1c）把采集的脑电波信号进行滤波、波形提取，通过A/D转换，把对应排爆行为的脑电波模拟信号转换成数字信号；并通过进行多次训练，采用求平均的方法，得到对应特定排爆行为知识的精确脑电波数据； 

（1d）把代表排爆专家经验知识的脑电波数据存储在机器人大脑芯片相应区域中，作为机器人的初始排爆知识库。 

3.根据权利要求1所述的一种基于脑机结合的机器人排爆系统的排爆方法，其特征在于：所述步骤（3）中基于双目视觉进行三维场景构建，其具体步骤如下： 

（3a）摄像机内外参数标定；首先对摄像机进行参数标定，采用内外参数分离的标定法； 

（3b）利用机器人上的两台摄像机分别获取物体不同角度的两幅图像，由图像处理模块进行立体特征匹配； 

（3c）立体特征匹配完成后，进行三维坐标的数值计算；三维坐标计算时，使用摄相机参数矩阵和目标图像中心的坐标计算出三维投影线的方程，继而获得目标物的空间位置，完成三维场景重建。 

4.根据权利要求3所述的一种基于脑机结合的机器人排爆系统的排爆方法，其特征在于：所述步骤（3a）中，对摄像机的内参数的标定为： 

设（u,v）为理想的图像像素坐标，（u’，v’）为观测到的受到畸变的图像像素坐标，（x，y）为归一化后的理想图像坐标，（x’，y’）为观测到的图像坐标，则摄像机的内参数的标定公式如下： 

u'=u+(u-u₀)[k1(x²+y²)+k2(x²+y²)²] 

v'=v+(v-v₀)[k1(x²+y²)+k2(x²+y²)²] 

其中，k1、k2均为径向失真系数；(u₀,v₀)是采集图像的中心点坐标；系数k1、k2的计算公式如下： 

K=(D^TD)^-1D^Td 

其中，D为由未知数构成的变换矩阵，d为相应的图像坐标。 

5.根据权利要求3或4所述的一种基于脑机结合的机器人排爆系统的排爆方法，其特征在于：所述步骤（3a））中，所述摄像机外参数的标定方法如下： 

令世界坐标和左摄像机的中心坐标重合，得到该摄像机的相对旋转矩阵为R左=E，E为一三维单位矩阵，平移矩阵T_左=[0,0,0]^T；同样可得到右摄像机的外参数为R右=E，其平移矩阵为T_右=[T_xT,0,0]，其中T_xT=B，B为两台摄像机中心点间的距离。 

6.根据权利要求3所述的一种基于脑机结合的机器人排爆系统的排爆方法，其特征在于：所述步骤（3b））中，所述立体特征匹配采用Harris-SIFT算法进行特征匹配，具体方法如下： 

首先载入左右摄像机的图像到计算机，然后对图像进行初始化，再分别在左右图像中检测Harris特征点，计算特征点的主方向，生成SIFT特征点描述算子，最终完成特征匹配。 

7.根据权利要求6所述的一种基于脑机结合的机器人排爆系统的排爆方法，其特征在于：所述SIFT特征点描述算子的计算公式如下： 

R=△(C)-ktr²(C) 

其中，△为矩阵行列式；tr为矩阵直迹；C为相关矩阵，k为摄相机参数矩阵。 

8.根据权利要求1所述的一种基于脑机结合的机器人排爆系统的排爆方法，其特征在于：所述步骤（5）中，所述可变力场法是指目标物对机器人产生引力，障碍物对机器人产生斥力，利用力的合成对机器人进行导航；所述可变立场法的计算步骤如下： 

(5a)计算可变引力：该计算可变引力的公式如下： 

其中，f^t(x,y,z,t)表示第k个目标产生的吸引力；K_k表示弹性系数；β_k表示偏向力；表示第k个目标的位置向量； 

(5b)计算可变斥力；该计算可变斥力的公式如下： 

其中，

表示第k个目标产生的斥力；ω_k和λ_k是比例因子；b_k是常数；

表示离第k个目标点最近的圆或球体；r(x,y,z)表示位置向量；

表示到最近的那个目标点的距离； 

(5c)计算合力：根据可变引力和可变斥力，可得到可变合力；然后根据可变合力来规划出机器人的路径。 

9.根据权利要求1所述的一种基于脑机结合的机器人排爆系统的排爆方法，其特征在于：所述步骤（4）和步骤（6）中机器人在线学习以及知识库的更新具体步骤如下： 

(6a)实时采集排爆专家不同排爆行为的脑电波信号，经过滤波，波形提取，A/D转换，得到在线学习的数据，通过无线装置传送给机器人大脑； 

(6b)机器人大脑根据得到的学习数据与知识库已有数据进行匹配计算，得到匹配系数w，并设置一个更新阈值p； 

当w>p时，则认为该排爆知识已经存在，不进行存储； 

当w<p时，认为该排爆知识为新的知识，将其加入到知识库中，实现知识库在线更新。 

Images