CN111571587B - 一种脑控机械臂助餐系统及方法 - Google Patents

Abstract

本发明公开了一种脑控机械臂助餐系统及方法，该系统包括用于产生并显示刺激源的视觉刺激子系统、脑电采集子系统、双目摄像头定位子系统和机械臂控制子系统，所述脑电采集子系统采集并处理用户受到视觉刺激后产生的脑电信号，将处理后的信号作为源数据发送至机械臂控制子系统；所述双目摄像头定位子系统与所述机械臂控制子系统电连接，用于自动拍摄RGB图像，经算法处理得到精确定位坐标；所述机械臂控制子系统对源数据进行特征频率提取，控制机械臂移动至目标物体的大致位置，再根据所述精确定位坐标进行微调直至达到目标物体处，自动使用位于机械臂前端的餐具在餐盘中获取食物。本发明可实现高效、精准的脑控助餐功能。

Description

一种脑控机械臂助餐系统及方法

技术领域

本发明涉及一种助餐系统，尤其涉及一种脑控机械臂助餐系统及方法。

背景技术

一些老年人以及残疾人存在着运动障碍，可能无法做一些简单动作，如：打开或关闭简单的电器设备开关，拿取水杯饮水，拿取勺子吃饭。在这种情况下，如何设计出能够有效辅助有运动障碍的人进行简单的日常活动，提升生活质量的硬件设备，就成了现在研究人机交互技术的一个突破点。

由于这类用户往往拥有正常运作的大脑，因此具有处理脑电信号实现人机交互的基础。目前对于脑电信号的处理技术仍处于实验室阶段,大多数的脑控技术仅仅局限于控制小车或机器人的方向、速度，却较少地适用于机械臂的控制。由此可见，将脑-机接口BCI(Brain Computer Interface)应用于实际还面临着如下问题：

1、精度低。对于信号的接收不够精确，且有较低的信噪比。

2、传输速度慢。最多每分钟25个字节，这相当于要花费几分钟才能输入并执行一句简单的命令。

3、处理平台与设备无法满足轻量化的设计需求。现在的BCI系统设计方式多是使用计算机作为视觉刺激器和数字信号处理平台，而脑电信号处理和预处理则使用专业脑电设备(如Neural Scan等)，这种设计方式具有明显的缺点，即系统体积和功耗太大，不适合实际应用。

4、实验周期长。伴随着脑电信号的响应降低，且长时间盯着闪烁屏，用户会感到疲劳。

发明内容

发明目的：本发明的目的是提供一种精度高、可实时执行的轻量化脑控机械臂辅助用餐的系统。本发明的另一目的在于提供基于该系统的脑控机械臂助餐方法。

技术方案：本发明所述脑控机械臂助餐系统，其特征在于，该系统包括：

视觉刺激子系统，包括显示屏，用于产生对应机械臂自由度的刺激源；

脑电采集子系统，用于采集用户受到所述刺激源刺激后产生的SSVEP信号，经信号处理后作为机械臂控制的源数据；

双目摄像头定位子系统，包括安装在机械臂前端的双目摄像头，用于自动拍摄RGB图像，并通过聚类算法和D-H(Denavit-Hartenberg)法计算目标物体点相对于机械臂的坐标信息；

机械臂控制子系统，包括机械臂，所述机械臂前端安装有双目摄像头和餐具，用于接收所述源数据并进行实时滤波，对所需波段信号进行采样，通过基于小波变换的典型相关分析法，甄别视觉诱发刺激频率，根据所述刺激频率确定用户脑控选择的刺激源，控制机械臂到目标物体点的大致位置；获取双目摄像头定位子系统生成的目标物体点相对于机械臂的坐标信息，控制机械臂到达目标物体的精确位置，自动使用餐具获取餐盘中的食物。

进一步地，所述刺激源的频段为6.7-30Hz。由于30Hz及以下是人体可接受的刺激频率，考虑到刺激源个数，且为避免计入谐波，设定该频段。

进一步地，所述刺激源的翻转频率的间隔大于0.5Hz。

优选地，所述视觉刺激子系统采用牛顿环收缩-扩张运动刺激范式。采用该刺激范式可以使用户不易疲劳，避免大脑响应信号的时间降低，更适用于长期使用。用户每进行一次操作需持续注视对应的刺激源4-5秒。

进一步地，所述脑电采集子系统包含多通道干电极采集器，用于实时记录用户大脑后枕叶O1、O2、Oz三个点的SSVEP信号。

进一步地，所述脑电采集子系统还包含蓝牙模块，用于将生成的源数据传输给所述机械臂控制子系统。

进一步地，所述双目摄像头定位子系统包括：

调参单元，用于对双目摄像头进行外参校正，使得左右视图的成像原点坐标一致，在水平上严格对齐；

双目摄像头，设置在机械臂前端，用于在每次机械臂移动时，拍摄进入视角的目标物体RGB图像，并进行图像极线校正，将校正后的RGB图像信号传给图像处理单元；

图像处理单元，用于获取极线校正后的RGB图像信号，通过SGBM算法将RGB图像转化为视差图，在进行空洞填充后转换为深度图，计算所述深度图中目标物体的深度均值D_e，当D_e小于深度阈值时，表示进入精确定位阶段；

语音提示单元，用于在所述图像处理单元判断D_e小于深度阈值时，发出提示音；

计算单元，用于在进入精确定位阶段后，生成以所述深度图中目标物体各点的深度值为像素值的像素图像，通过DBSCAN聚类算法，除去轮廓中多余的杂散特征点，对所述像素图像进行描边，生成具有包络线的聚点模型；根据D-H法计算机械臂末端执行器相对于极坐标系位姿，将这组信息转换为目标物体的球体模型相对于机械臂底座的坐标信息，解算机械臂关节到达目标点位时每个舵机的转动角度。

进一步地，所述机械臂控制子系统包括：

预处理单元，用于对获取的所述源数据进行预处理，所述预处理包括滤波、去噪；

信号提取单元，用于对预处理单元预处理后的源数据进行多层小波分解，根据信号的特性与分析要求，匹配最佳的对应频带和信号频谱，重构出SSVEP处于刺激源的频段的信号，将其与参考信号做典型相关分析法，得到用户选择的刺激源，获取所选刺激源对应的机械臂自由度序号和脑控方向；

控制单元，用于获取所述机械臂自由度序号和脑控方向，控制对应自由度序号的舵机向所述脑控方向移动直至目标物体点的大致位置；获取双目摄像头定位子系统生成的目标物体的球体模型相对于机械臂底座的坐标信息、每个舵机的转动角度，根据所述聚点模型计算目标物体的中心点坐标，根据所述目标物体的中心点坐标是否处于镜头中心来驱动舵机微调，直至目标物体的中心点落在镜头的中心，且所述包络线充满镜头，表示精确定位完成，机械臂自动使用餐具获取餐盘中的食物。

本发明所述的脑控机械臂助餐方法包括步骤：

(1)视觉刺激子系统按照机械臂自由度序号产生不同频率的刺激源，由显示屏进行显示；

(2)脑电信号采集用户受到所述刺激源刺激后产生的SSVEP信号，经过信号放大、A/D转换后作为源数据传输给机械臂控制子系统；

(3)机械臂控制子系统对所述源数据依次进行滤波、去噪、多层小波分解，重构出处于刺激源频段的信号，将其与参考信号做典型相关分析法，得到用户选择的刺激源，控制机械臂到目标物体点的大致位置；

(4)双目摄像头定位子系统自动拍摄RGB图像，并通过聚类算法和D-H法计算目标物体点相对于机械臂的坐标信息，将坐标信息发送给机械臂控制子系统；

(5)机械臂控制子系统根据收到的坐标信息控制机械臂到达目标物体的精确位置，自动使用餐具获取餐盘中的食物。

进一步地，所述步骤(4)包括：

(41)所述双目摄像头定位子系统的调参单元对双目摄像头进行外参校正，使得左右视图的成像原点坐标一致，在水平上严格对齐；

(42)所述双目摄像头在每次机械臂移动时，拍摄进入视角的目标物体RGB图像，并进行图像极线校正，将校正后的RGB图像信号传给所述双目摄像头定位子系统的图像处理单元；

(43)所述双目摄像头定位子系统的图像处理单元通过SGBM算法将校正后的RGB图像转化为视差图，在进行空洞填充后转换为深度图，计算所述深度图中目标物体的深度均值D_e，当D_e小于深度阈值时，语音提示单元发出提示音，表示进入精确定位阶段；

(44)所述双目摄像头定位子系统的计算单元生成以所述深度图中目标物体各点的深度值为像素值的像素图像，通过DBSCAN聚类算法，除去轮廓中多余的杂散特征点，对所述像素图像进行描边，生成具有包络线的聚点模型；根据D-H法计算机械臂末端执行器相对于极坐标系位姿，将这组信息转换为目标物体的球体模型相对于机械臂底座的坐标信息，解算机械臂关节到达目标点位时每个舵机的转动角度，将所述坐标信息和转动角度发送给机械臂控制子系统。

有益效果：与现有技术相比，本发明具有以下优点：1、轻量化的系统设计，使脑控助餐系统走出实验室环境成为可能；2、采用牛顿环的收缩和扩张运动作为刺激范式，解决了用户长时间观察闪烁刺激屏所产生的眼疲劳问题；3、在脑电信号分析的基础上，利用双目摄像头子系统解决了机械臂“最后一公里”的精准操纵问题。

附图说明

图1为本发明的系统架构图；

图2为脑电采集电极位置示意图；

图3为视觉刺激子系统显示屏界面图；

图4为双目精准定位流程图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

参见图1，本发明所述的脑控机械臂助餐系统，包括视觉刺激子系统、脑电采集子系统、双目摄像头子系统及机械臂控制子系统。所述脑电采集子系统与所述机械臂控制子系统通过蓝牙进行数据传输；所述双目摄像头子系统与所述机械臂控制子系统电连接。

所述视觉刺激子系统提供5自由度舵机机械臂对应5个关节10个方向的实时闪烁刺激，如图3所示，在每个关节处对应有两个刺激源，分别表示这个关节的两个运动方向。刺激频段为6.7-30Hz，产生激励源。采用牛顿环刺激范式，将10个牛顿环按照不同频率进行稳定伸缩振荡运动的刺激源由LED显示器在刺激程序界面中实时呈现给用户。所述刺激源的排列顺序依照机械臂图样中的自然顺序排列以减少使用者的训练时间。牛顿环刺激范式的刺激源的伸缩扩张使用了正弦调制的方式。刺激频率依次为7Hz、7.5Hz、8Hz、8.5Hz、9Hz、9.5Hz、10.5Hz、11Hz、11.5Hz，12.5Hz。牛顿环刺激范式的刺激源采用描点画图法，x方向和y方向各取250-300个点，横纵坐标取值在[-10,10]左右，能够兼顾速度和准确性。根据牛顿环图像的产生公式：

z＝C*cos(x²+y²+pha)

其中，C为常数，x和y为像素点对应的坐标，pha为相位值，其时域表达式为：

其中，f为正弦调制所选择的频率值，t为时间变量，将时域公式中的参数f*t按如下公式进行变换：

其中，f_r为计算机显示屏的刷新频率，n为完成一个周期正弦调制过程所需要的刷新帧数，取值为屏幕刷新率/翻转频率；

变换后相位值pha与帧数ω的函数关系为：

其中ω为帧数变量，取值为1-m*f_r的整数，ω和屏幕刷新率f_r下m秒的实验时间对应。考虑到脑电信号分析提取算法对频率的分辨能力，每个刺激源的翻转频率必须间隔超过0.5Hz，以提高算法识别的准确率。

按照上述公式生成10个牛顿环运动翻转刺激源，成功生成后，用户每进行一次操作需持续注视对应的刺激源4-5秒。

所述脑电采集子系统采用多通道干电极采集器，所述采集器的电极分别放置在如图2所示的用户大脑后枕叶O1、O2、Oz三个点处。所述脑电采集子系统对实时采集到的SSVEP信号进行信号放大、A/D转换，得到源数据，并通过蓝牙传输到机械臂控制子系统，做进一步处理。

所述双目摄像头定位子系统包括：

调参单元，用于对双目摄像头进行外参校正，使得左右视图的成像原点坐标一致，在水平上严格对齐；

双目摄像头，设置在机械臂前端，用于在每次机械臂移动时，拍摄进入视角的目标物体RGB图像，并进行图像极线校正，将校正后的RGB图像信号传给图像处理单元；

图像处理单元，用于获取极线校正后的RGB图像信号，通过SGBM算法将RGB图像转化为视差图，在进行空洞填充后转换为深度图，计算所述深度图中目标物体的深度均值D_e，当D_e小于深度阈值时，表示进入精确定位阶段；

语音提示单元，用于在所述图像处理单元判断D_e小于深度阈值时，发出提示音；

计算单元，用于在进入精确定位阶段后，生成以所述深度图中目标物体各点的深度值为像素值的像素图像，通过DBSCAN聚类算法，除去轮廓中多余的杂散特征点，对所述像素图像进行描边，生成具有包络线的聚点模型；根据D-H法计算机械臂末端执行器相对于极坐标系位姿，将这组信息转换为目标物体的球体模型相对于机械臂底座的坐标信息，解算机械臂关节到达目标点位时每个舵机的转动角度。

为简便算法的复杂度和挺高算法的运算速度，本实施例只对机械臂的前端三个自由度做逆运动学分析，解算出机械臂前端3个关节到达目标点位时每个舵机相对应得转动角度位置。

如图3所示，所述机械臂控制子系统采用基准分辨率为1°舵机的5自由度舵机机械臂，前端第一关节处连接有配套的用餐工具(如叉子或勺子)，第一关节的外壳上还设置有双目摄像头。

预处理单元，用于对获取的所述源数据进行预处理，所述预处理包括滤波、去噪；

信号提取单元，用于对预处理单元预处理后的源数据进行多层小波分解，根据信号的特性与分析要求，匹配最佳的对应频带和信号频谱，重构出SSVEP处于6.7-30Hz的信号，将其与参考信号做典型相关分析法，得到用户选择的刺激源，获取所选刺激源对应的机械臂自由度序号和脑控方向；

控制单元，用于获取所述机械臂自由度序号和脑控方向，控制对应自由度序号的舵机向所述脑控方向移动直至目标物体点的大致位置；获取双目摄像头定位子系统生成的目标物体的球体模型相对于机械臂底座的坐标信息、每个舵机的转动角度，根据所述聚点模型计算目标物体的中心点坐标，根据所述目标物体的中心点坐标是否处于镜头中心来驱动舵机微调，直至目标物体的中心点落在镜头的中心，且所述包络线充满镜头，表示精确定位完成，机械臂自动使用餐具获取餐盘中的食物。

如图4所示，其示出了本发明利用所述双目摄像头定位子系统进行精确定位的流程图。具体步骤如下：

所述双目摄像头定位子系统的调参单元对双目摄像头进行外参校正，使得左右视图的成像原点坐标一致，在水平上严格对齐；在每次机械臂移动时，双目摄像头拍摄进入视角的目标物体RGB图像，并进行图像极线校正，将校正后的RGB图像信号传给所述双目摄像头定位子系统的图像处理单元；

所述双目摄像头定位子系统的图像处理单元通过SGBM算法将校正后的RGB图像转化为视差图，在进行空洞填充后转换为深度图，计算所述深度图中目标物体的深度均值D_e，当D_e小于深度阈值时，语音提示单元发出提示音，表示进入精确定位阶段；

所述双目摄像头定位子系统的计算单元生成以所述深度图中目标物体各点的深度值为像素值的像素图像，通过DBSCAN聚类算法，除去轮廓中多余的杂散特征点，对所述像素图像进行描边，生成具有包络线的聚点模型；根据D-H法计算机械臂末端执行器相对于极坐标系位姿，将这组信息转换为目标物体的球体模型相对于机械臂底座的坐标信息，解算机械臂关节到达目标点位时每个舵机的转动角度，将所述坐标信息和转动角度发送给机械臂控制子系统。

所述机械臂控制子系统根据所述聚点模型计算目标物体的中心点坐标，根据所述目标物体的中心点坐标是否处于镜头中心来驱动舵机微调，直至目标物体的中心点落在镜头的中心，且所述包络线充满镜头，表示精确定位完成，机械臂自动使用餐具获取餐盘中的食物。

Claims (8)

1.一种脑控机械臂助餐系统，其特征在于，该系统包括：

视觉刺激子系统，包括显示屏，用于产生对应机械臂自由度的刺激源；

脑电采集子系统，用于采集用户受到所述刺激源刺激后产生的SSVEP信号，经信号处理后作为机械臂控制的源数据；

双目摄像头定位子系统，包括安装在机械臂前端的双目摄像头，用于自动拍摄RGB图像，并通过聚类算法和D-H法计算目标物体点相对于机械臂的坐标信息；

机械臂控制子系统，包括机械臂，所述机械臂前端安装有双目摄像头和餐具，用于接收所述源数据并进行实时滤波，对所需波段信号进行采样，通过基于小波变换的典型相关分析法，甄别视觉诱发刺激频率，根据所述刺激频率确定用户脑控选择的刺激源，控制机械臂到目标物体点的大致位置；获取双目摄像头定位子系统生成的目标物体相对于机械臂的坐标信息，控制机械臂到达目标物体的精确位置，自动使用餐具获取餐盘中的食物；

所述双目摄像头定位子系统包括：

调参单元，用于对双目摄像头进行外参校正，使得左右视图的成像原点坐标一致，在水平上严格对齐；

双目摄像头，设置在机械臂前端，用于在每次机械臂移动时，拍摄进入视角的目标物体RGB图像，并进行图像极线校正，将校正后的RGB图像信号传给图像处理单元；

图像处理单元，用于获取极线校正后的RGB图像信号，通过SGBM算法将RGB图像转化为视差图，在进行空洞填充后转换为深度图，计算所述深度图中目标物体的深度均值D_e，当D_e小于深度阈值时，提示进入精确定位阶段；

语音提示单元，用于在所述图像处理单元判断D_e小于深度阈值时，发出提示音；

计算单元，用于在进入精确定位阶段后，生成以所述深度图中目标物体各点的深度值为像素值的像素图像，通过DBSCAN聚类算法，除去轮廓中多余的杂散特征点，对所述像素图像进行描边，生成具有包络线的聚点模型；根据D-H法计算机械臂末端执行器相对于极坐标系位姿，将这组信息转换为目标物体的球体模型相对于机械臂底座的坐标信息，解算机械臂关节到达目标点位时每个舵机的转动角度。

2.根据权利要求1所述的脑控机械臂助餐系统，其特征在于：所述刺激源的频段为6.7-30Hz。

3.根据权利要求1或2所述的脑控机械臂助餐系统，其特征在于：所述刺激源的翻转频率的间隔大于0.5Hz。

4.根据权利要求1所述的脑控机械臂助餐系统，其特征在于：所述视觉刺激子系统采用牛顿环收缩-扩张运动刺激范式。

5.根据权利要求1所述的脑控机械臂助餐系统，其特征在于：所述脑电采集子系统包含多通道干电极采集器，用于实时记录用户大脑后枕叶O1、O2、Oz三个点的SSVEP信号。

6.根据权利要求1所述的脑控机械臂助餐系统，其特征在于：所述脑电采集子系统还包含蓝牙模块，用于将生成的源数据传输给所述机械臂控制子系统。

7.根据权利要求1所述的脑控机械臂助餐系统，其特征在于，所述机械臂控制子系统包括：

预处理单元，用于对获取的所述源数据进行预处理，所述预处理包括滤波、去噪；

信号提取单元，用于对预处理单元预处理后的源数据进行多层小波分解，根据信号的特性与分析要求，匹配最佳的对应频带和信号频谱，重构出SSVEP处于刺激源的频段的信号，将其与参考信号做典型相关分析法，得到用户选择的刺激源，获取所选刺激源对应的机械臂自由度序号和脑控方向；

控制单元，用于获取所述机械臂自由度序号和脑控方向，控制对应自由度序号的舵机向所述脑控方向移动直至目标物体点的大致位置；获取双目摄像头定位子系统生成的目标物体的球体模型相对于机械臂底座的坐标信息、每个舵机的转动角度，根据聚点模型计算目标物体的中心点坐标，根据所述目标物体的中心点坐标是否处于镜头中心来驱动舵机微调，直至目标物体的中心点落在镜头的中心，且包络线充满镜头，表示精确定位完成，机械臂自动使用餐具获取餐盘中的食物。

8.一种脑控机械臂助餐方法，其特征在于，该方法包括：

(1)视觉刺激子系统按照机械臂自由度序号产生不同频率的刺激源，由显示屏进行显示；

(2)脑电信号采集用户受到所述刺激源刺激后产生的SSVEP信号，经过信号放大、A/D转换后作为源数据传输给机械臂控制子系统；

(3)机械臂控制子系统对所述源数据依次进行滤波、去噪、多层小波分解，重构出处于刺激源频段的信号，将其与参考信号做典型相关分析法，得到用户选择的刺激源，控制机械臂到目标物体点的大致位置；

(4)双目摄像头定位子系统自动拍摄RGB图像，并通过聚类算法和D-H法计算目标物体点相对于机械臂的坐标信息，将坐标信息发送给机械臂控制子系统；

(5)机械臂控制子系统根据收到的坐标信息控制机械臂到达目标物体的精确位置，自动使用餐具获取餐盘中的食物；

其中，所述步骤(4)包括：

(41)所述双目摄像头定位子系统的调参单元对双目摄像头进行外参校正，使得左右视图的成像原点坐标一致，在水平上严格对齐；

(42)所述双目摄像头在每次机械臂移动时，拍摄进入视角的目标物体RGB图像，并进行图像极线校正，将校正后的RGB图像信号传给所述双目摄像头定位子系统的图像处理单元；

(43)所述双目摄像头定位子系统的图像处理单元通过SGBM算法将校正后的RGB图像转化为视差图，在进行空洞填充后转换为深度图，计算所述深度图中目标物体的深度均值D_e，当D_e小于深度阈值时，语音提示单元发出提示音，表示进入精确定位阶段；

(44)所述双目摄像头定位子系统的计算单元生成以所述深度图中目标物体各点的深度值为像素值的像素图像，通过DBSCAN聚类算法，除去轮廓中多余的杂散特征点，对所述像素图像进行描边，生成具有包络线的聚点模型；根据D-H法计算机械臂末端执行器相对于极坐标系位姿，将这组信息转换为目标物体的球体模型相对于机械臂底座的坐标信息，解算机械臂关节到达目标点位时每个舵机的转动角度，将所述坐标信息和转动角度发送给机械臂控制子系统。

Images