CN113500611A - 一种基于脑电和视觉导引的喂饭机器人系统 - Google Patents

Abstract

本发明公开了一种基于脑电和视觉导引的喂饭机器人系统，包括人脸识别装置，采集人脸信息，对人脸高度和人嘴空间进行识别和定位，获得位置信息，反馈位置信息给主控设备；脑电采集处理装置，采集与处理脑电信息，获得脑电结果信息，反馈脑电结果信息给主控设备；主控设备，接收人脸识别装置、脑电采集处理装置反馈的位置信息和脑电结果信息，发送控制信息至机械手装置和升降桌面台；机械手装置，接收控制信息，执行盛饭和喂饭操作；升降桌面台，接收控制信息，执行升降台自动调节操作，本发明根据脑电特征异差选择饭菜，机器视觉自主升降桌面台并导引机械臂自主适机送饭入口，智能化程度高，使用更为便捷。

Description

一种基于脑电和视觉导引的喂饭机器人系统

技术领域

本发明涉及一种基于脑电和视觉导引的喂饭机器人系统，属于自动机械技 术领域。

背景技术

现今社会，瘫痪卧床或者罹患重症的病患，甚至高龄老人等，在护理疗养 或日常生活期间，都需要旁人帮助喂食。然而现实医护资源有限，而家人又不 能时时陪伴身边，及时进食很难顾及；即使没有上述问题，对于一个人来说， 一日三餐的日常行为若长期需要依靠旁人，容易导致消极的不良心态，影响健 康和生活质量。因此，对手臂残障或者双手不便活动的人来说，吃饭是个大问 题，所以研究一种基于脑电和视觉导引的喂饭机器人系统有着重要的实用价值 和意义。

一般的喂饭机器人，功能单一，只能机械的完成取饭、送饭动作，不能根 据使用者的想法对机械臂进行较好的控制，智能化程度不高。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于脑电和视觉导引 的喂饭机器人系统，根据脑电特征异差选择饭菜，机器视觉自主升降桌面台并 导引机械臂自主适机送饭入口，智能化程度高，使用更为便捷。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于脑电和视觉导引的喂饭机器人系统，包 括：

人脸识别装置，采集人脸信息，对人脸高度和人嘴空间进行识别和定位， 获得位置信息，反馈位置信息给主控设备；

脑电采集处理装置，采集与处理脑电信息，获得脑电结果信息，反馈脑电 结果信息给主控设备；

主控设备，接收人脸识别装置、脑电采集处理装置反馈的位置信息和脑电 结果信息，发送控制信息至机械手装置和升降桌面台；

机械手装置，接收控制信息，执行盛饭和喂饭操作；

升降桌面台，接收控制信息，执行升降台自动调节操作。

进一步的，所述脑电采集处理装置包括脑电采集装置和主控计算机；

其中，脑电采集装置，用于采集脑电信号，发送给主控计算机；

其中，主控计算机，用于接收脑电信号，将脑电信号转换为十进制电压信 号，进行存储，对采集的脑电信号进行实时滤波、重参考、降采样以及插值坏 导处理，获取数据，通过算法对数据进行分析，提取特征，通过特征比对获得 最终的脑电结果信息，将脑电结果信息通过无线通信传输至主控设备。

进一步的，所述人脸识别装置由深度相机构成，包括四颗摄像头。

进一步的，所述机械手装置包括机械臂、用于驱动机械臂的伺服驱动器和 末端执行器，所述机械臂设于升降桌面台的中心位置，伺服驱动器与主控设备 通信连接，所述末端执行器设于机械臂尾端，所述末端执行器上设有卡槽和卡 扣，用于夹持勺子。

进一步的，所述升降桌面台表面设有若干个斜口碗体，若干个所述斜口碗 体分别置于机械臂的两侧，所述斜口碗体上装有环状LED灯带。

进一步的，所述升降桌面台表面设有两个与主控设备通信连接的按钮，用 于发送升降命令给主控设备。

第二方面，本发明提供一种基于脑电和视觉导引的喂饭机器人方法，用于 脑电采集处理装置，所述方法包括：

采集脑电信息；

对脑电信息进行处理，获得脑电结果信息；

发送脑电结果信息至主控设备；其中，所述主控设备用于接收人脸识别装 置、脑电采集处理装置反馈的位置信息和脑电结果信息，发送控制信息至机械 手装置和升降桌面台，所述人脸识别装置用于采集人脸信息，对人脸高度和人 嘴空间进行识别和定位，获得位置信息，反馈位置信息给主控设备，所述机械 手装置用于执行盛饭和喂饭操作，所述升降桌面台执行升降台自动调节操作。

进一步的，所述对脑电信息进行处理，获得脑电结果信息，包括：

采集脑电信号，将脑电信号转换为十进制电压信号，进行存储，对采集的 脑电信号进行实时滤波、重参考、降采样以及插值坏导处理，获取数据，通过 算法对数据进行分析，提取特征，通过特征比对获得脑电结果信息。

第三方面，本发明提供一种基于脑电和视觉导引的喂饭机器人装置，用于 脑电采集处理装置，所述装置包括：

脑电采集单元，用于采集脑电信息；

脑电处理单元，对脑电信息进行处理，获得脑电结果信息；

发送单元，用于发送脑电结果信息至主控设备；其中，所述主控设备用于 接收人脸识别装置、脑电采集处理装置反馈的位置信息和脑电结果信息，发送 控制信息至机械手装置和升降桌面台，所述人脸识别装置用于采集人脸信息， 对人脸高度和人嘴空间进行识别和定位，获得位置信息，反馈位置信息给主控 设备，所述机械手装置用于执行盛饭和喂饭操作，所述升降桌面台执行升降台 自动调节操作。

第四方面，本发明提供计算机可读存储介质，其上存储有计算机程序，其 特征是，该程序被处理器执行时实现上述任一项所述方法的步骤。

与现有技术相比，本发明所达到的有益效果：

本发明提供一种基于脑电和视觉导引的喂饭机器人系统，通过脑电采集处 理装置，采集脑电信息，对脑电信息进行处理，获得脑电结果信息，发送脑电 结果信息至主控设备控制机械臂和升降桌面台运动，根据脑电特征异差选择饭 菜，机器视觉自主升降桌面台并导引机械臂自主适机送饭入口，智能化程度高， 使用更为便捷。

附图说明

图1是本发明实施例提供的一种基于脑电和视觉导引的喂饭机器人系统的 结构示意图。

图2是本发明实施例提供的一种基于脑电和视觉导引的喂饭机器人系统的 剖切面结构示意图。

图中：1、深度相机；2、第一自由度机械臂；3、末端执行器；4、餐盘；5、 环状LED灯带；6、升降台支架；7、导轨控制电机；8、桌面平台；9、机械 臂云台；10、主控设备；11、第二自由度机械臂；12、脑电采集处理装置。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明 本发明的技术方案，而不能以此来限制本发明的保护范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、 “下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外” 等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描 述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方 位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语 “第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或 者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非 另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安 装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆 卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连， 也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普 通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

实施例1

本发明实施例提供的基于脑电和视觉导引的喂饭机器人系统包括：

人脸识别装置，采集人脸信息，对人脸高度和人嘴空间进行识别和定位， 获得位置信息，反馈位置信息给主控设备；

脑电采集处理装置，采集与处理脑电信息，获得脑电结果信息，反馈脑电 结果信息给主控设备；

主控设备，接收人脸识别装置、脑电采集处理装置反馈的位置信息和脑电 结果信息，发送控制信息至机械手装置和升降桌面台；

机械手装置，接收控制信息，执行盛饭和喂饭操作；

升降桌面台，接收控制信息，执行升降台自动调节操作。

具体的，所述脑电采集处理装置包括脑电采集装置和主控计算机；

其中，脑电采集装置，用于采集脑电信号，发送给主控计算机；

其中，主控计算机，用于接收脑电信号，将脑电信号转换为十进制电压信 号，进行存储，对采集的脑电信号进行实时滤波、重参考、降采样以及插值坏 导处理，获取数据，通过算法对数据进行分析，提取特征，通过特征比对获得 最终的脑电结果信息，将脑电结果信息通过无线通信传输至主控设备。

具体的，所述人脸识别装置由深度相机构成，包括四颗摄像头；功能一： 在开始盛饭前，对视觉区的人脸高度进行识别并反馈升降命令给主控设备；功 能二：对人嘴空间定位并反馈位置信息给主控设备。

具体的，所述机械手装置包括机械臂、用于驱动机械臂的伺服驱动器和末 端执行器，所述机械手装置包括1个四自由度机械臂和1个末端执行器，机械 臂置于升降平台的中心，第一个自由度为云台旋转自由度，用来旋转移动后3 个自由度机械臂；后三个自由度为旋转自由度，用于调节后自由度机械臂的下 俯或上仰角度以便于执行喂饭动作给低矮或高架的使用者喂饭；末端执行器连 接在第四个自由度，末端执行器设置的卡槽和卡扣夹持勺子实现盛饭，方便和 不同形状的餐具进行替换，机械手各自由度伺服驱动器基于现场总线组网后与 主控计算机连接进行通信控制；

具体的，所述升降桌面台表面设有若干个斜口碗体，若干个所述斜口碗体 分别置于机械臂的两侧，所述斜口碗体上装有环状LED灯带，还包括一个深度 相机支架置于机械臂后侧。

具体的，所述升降桌面台表面设有两个与主控设备通信连接的按钮，连接 主控设备，按键给主控设备发送升降命令，人脸识别装置识别人脸高度，反馈 升降高度给升降桌下方的控制电机，达到自动控制升降桌面台的上升和下降。

使用时，包括如下步骤：

步骤1：首先使用者带上脑电帽，系统启动后，根据使用者高度由监护人员 通过升降桌面台上的控制按钮给主控设备发送升降命令。

步骤2：根据主控设备得到的升降命令，人脸识别装置实时对人脸高度进行 识别，基于视觉检测算法判断上升或下降的高度反馈给升降桌面台，当人脸高 度达到视觉检测算法预设范围时，反馈给升降桌面台停止命令。

步骤3：使用者注视升降桌面台上的四个斜口碗体，每个斜口碗体环绕着 LED灯带，四个LED灯带以不同的频率闪烁，通过对此SSVEP范式脑电信号 的识别与处理，根据特征差异选择饭菜。

步骤4：人脸识别装置对人嘴空间坐标进行识别定位，同时机械手装置根据 步骤3所选择的餐盘位置进行盛饭操作，根据人脸识别装置反馈的人嘴坐标进 行喂饭操作。

步骤5：根据人脸识别装置反馈的人嘴坐标进行喂饭操作，在人嘴处停顿3 秒待使用者吃完饭后返回原点。

步骤6：重复步骤3-步骤5，直到完成全部就餐，系统结束工作。

下面结合附图对本发明的实施方式做进一步的描述。

如图1所示，在主控设备10电源开关打开后，系统启动，监护人员在主控 设备10上按下开始调节桌子高度按钮，深度相机1开始对监测区域内的人脸高 度进行实时的检测，判断当前人脸是否在合适范围内，同时通过主控设备10的 蓝牙功能把上升和下降命令发送给导轨控制电机7，导轨控制电机7根据得到的 命令，控制升降台支架6进行上升或者下降移动，达到升降桌面平台8的目的。 当高度调节完毕后，通过脑电采集处理装置12，利用脑机接口中的SSVEP范式， 使用者注视桌面平台8上的四个餐盘4周围以不同频率闪烁的环状LED灯带5， 进过对脑电信号的处理，得到被试通过脑电所选择的餐盘，主控设备10得到脑 电采集处理系统12的反馈结果后，控制机械臂云台9、第一自由度机械臂2、 第二自由度机械臂11、末端执行器3，完成盛饭动作；与此同时，深度相机1 对人嘴进行识别和空间定位，并将所识别得到的坐标反馈给主控设备10，主控 设备10根据坐标进行运动学逆解，通过逆运动学算法得出机械臂各自由度的旋 转角度，控制机械臂喂饭。

如图2所示，本发明的一种基于脑电和视觉导引的喂饭机器人系统中机械 手各自由度伺服驱动器基于现场总线组网后与主控计算机连接进行通信控制； 末端执行器则通过串口与主控计算机连接实现通信控制；机器视觉深度相机与 主控计算机间以USB相连；脑电采集处理系统与主控设备通络网络协议进行通 信。

实施例2

本实施例提供一种基于脑电和视觉导引的喂饭机器人方法，用于脑电采集 处理装置，所述方法包括：

采集脑电信息；

对脑电信息进行处理，获得脑电结果信息；

发送脑电结果信息至主控设备；其中，所述主控设备用于接收人脸识别装 置、脑电采集处理装置反馈的位置信息和脑电结果信息，发送控制信息至机械 手装置和升降桌面台，所述人脸识别装置用于采集人脸信息，对人脸高度和人 嘴空间进行识别和定位，获得位置信息，反馈位置信息给主控设备，所述机械 手装置用于执行盛饭和喂饭操作，所述升降桌面台执行升降台自动调节操作。

进一步的，所述对脑电信息进行处理，获得脑电结果信息，包括：

采集脑电信号，将脑电信号转换为十进制电压信号，进行存储，对采集的 脑电信号进行实时滤波、重参考、降采样以及插值坏导处理，获取数据，通过 算法对数据进行分析，提取特征，通过特征比对获得脑电结果信息。

实施例3

本实施例提供一种基于脑电和视觉导引的喂饭机器人装置，用于脑电采集 处理装置，所述装置包括：

脑电采集单元，用于采集脑电信息；

脑电处理单元，对脑电信息进行处理，获得脑电结果信息；

发送单元，用于发送脑电结果信息至主控设备；其中，所述主控设备用于 接收人脸识别装置、脑电采集处理装置反馈的位置信息和脑电结果信息，发送 控制信息至机械手装置和升降桌面台，所述人脸识别装置用于采集人脸信息， 对人脸高度和人嘴空间进行识别和定位，获得位置信息，反馈位置信息给主控 设备，所述机械手装置用于执行盛饭和喂饭操作，所述升降桌面台执行升降台 自动调节操作。

实施例4

本实施例提供计算机可读存储介质，其上存储有计算机程序，其特征是， 该程序被处理器执行时实现下述任一项所述方法的步骤。

采集脑电信息；

对脑电信息进行处理，获得脑电结果信息；

发送脑电结果信息至主控设备；其中，所述主控设备用于接收人脸识别装 置、脑电采集处理装置反馈的位置信息和脑电结果信息，发送控制信息至机械 手装置和升降桌面台，所述人脸识别装置用于采集人脸信息，对人脸高度和人 嘴空间进行识别和定位，获得位置信息，反馈位置信息给主控设备，所述机械 手装置用于执行盛饭和喂饭操作，所述升降桌面台执行升降台自动调节操作。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通 技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变 形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于脑电和视觉导引的喂饭机器人系统，其特征是，包括：

人脸识别装置，采集人脸信息，对人脸高度和人嘴空间进行识别和定位，获得位置信息，反馈位置信息给主控设备；

脑电采集处理装置，采集与处理脑电信息，获得脑电结果信息，反馈脑电结果信息给主控设备；

主控设备，接收人脸识别装置、脑电采集处理装置反馈的位置信息和脑电结果信息，发送控制信息至机械手装置和升降桌面台；

机械手装置，接收控制信息，执行盛饭和喂饭操作；

升降桌面台，接收控制信息，执行升降台自动调节操作。

2.根据权利要求1所述的基于脑电和视觉导引的喂饭机器人系统，其特征是，所述脑电采集处理装置包括脑电采集装置和主控计算机；

其中，脑电采集装置，用于采集脑电信号，发送给主控计算机；

其中，主控计算机，用于接收脑电信号，将脑电信号转换为十进制电压信号，进行存储，对采集的脑电信号进行实时滤波、重参考、降采样以及插值坏导处理，获取数据，通过算法对数据进行分析，提取特征，通过特征比对获得最终的脑电结果信息，将脑电结果信息通过无线通信传输至主控设备。

3.根据权利要求1所述的基于脑电和视觉导引的喂饭机器人系统，其特征是，所述人脸识别装置由深度相机构成，包括四颗摄像头。

4.根据权利要求1所述的基于脑电和视觉导引的喂饭机器人系统，其特征是，所述机械手装置包括机械臂、用于驱动机械臂的伺服驱动器和末端执行器，所述机械臂设于升降桌面台的中心位置，伺服驱动器与主控设备通信连接，所述末端执行器设于机械臂尾端，所述末端执行器上设有卡槽和卡扣，用于夹持勺子。

5.根据权利要求1所述的基于脑电和视觉导引的喂饭机器人系统，其特征是，所述升降桌面台表面设有若干个斜口碗体，若干个所述斜口碗体分别置于机械臂的两侧，所述斜口碗体上装有环状LED灯带。

6.根据权利要求1所述的基于脑电和视觉导引的喂饭机器人系统，其特征是，所述升降桌面台表面设有两个与主控设备通信连接的按钮，用于发送升降命令给主控设备。

7.一种基于脑电和视觉导引的喂饭机器人方法，其特征是，用于脑电采集处理装置，所述方法包括：

采集脑电信息；

对脑电信息进行处理，获得脑电结果信息；

发送脑电结果信息至主控设备；其中，所述主控设备用于接收人脸识别装置、脑电采集处理装置反馈的位置信息和脑电结果信息，发送控制信息至机械手装置和升降桌面台，所述人脸识别装置用于采集人脸信息，对人脸高度和人嘴空间进行识别和定位，获得位置信息，反馈位置信息给主控设备，所述机械手装置用于执行盛饭和喂饭操作，所述升降桌面台执行升降台自动调节操作。

8.根据权利要求7所述的基于脑电和视觉导引的喂饭机器人方法，其特征是，所述对脑电信息进行处理，获得脑电结果信息，包括：

采集脑电信号，将脑电信号转换为十进制电压信号，进行存储，对采集的脑电信号进行实时滤波、重参考、降采样以及插值坏导处理，获取数据，通过算法对数据进行分析，提取特征，通过特征比对获得脑电结果信息。

9.一种基于脑电和视觉导引的喂饭机器人装置，其特征是，用于脑电采集处理装置，所述装置包括：

脑电采集单元，用于采集脑电信息；

脑电处理单元，对脑电信息进行处理，获得脑电结果信息；

发送单元，用于发送脑电结果信息至主控设备；其中，所述主控设备用于接收人脸识别装置、脑电采集处理装置反馈的位置信息和脑电结果信息，发送控制信息至机械手装置和升降桌面台，所述人脸识别装置用于采集人脸信息，对人脸高度和人嘴空间进行识别和定位，获得位置信息，反馈位置信息给主控设备，所述机械手装置用于执行盛饭和喂饭操作，所述升降桌面台执行升降台自动调节操作。

10.计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现权利要求7～8任一项所述方法的步骤。

Images