CN106249895A - 一种机器人识别环境变化时的人机交互方法以及系统 - Google Patents

Abstract

本发明公开一种机器人识别环境变化时的人机交互方法以及系统，涉及人机交互领域。其中，所述方法包括：所述机器人接收用户输入的检查环境变化的第一命令，所述第一命令包括环境检查点的位置；所述机器人基于所述第一命令和预设的场景地图前往所述环境检查点捕获图像，并将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，所述空白环境图像是在所述环境检查点不存在目标对象的情况下捕获的图像；所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化；若所述环境检查点发生环境变化，所述机器人将所述环境检查点的环境变化情况反馈给用户，用户向机器人提出抓取目标的第三命令，机器人随机执行第三命令将目标对象取回。

Description

一种机器人识别环境变化时的人机交互方法以及系统

技术领域

本发明涉及人机交互领域，具体地，涉及一种机器人识别环境变化时的人机交互方法以及系统。

背景技术

近年来，随着计算机技术和机器人技术的快速发展，计算机处理能力不断增强，机器人应用领域越来越广泛。人与计算机之间的交互方法决定着人机协作的效率。传统人与计算机交互方法，即机械输入往往过程繁琐，且对于使用者的计算机知识背景有较高要求，因此很难推广到大众。

为此，现有人机交互方法提出了多种解决方法，比如语音识别控制、手势识别控制。语音控制即计算机通过对使用者的语音信息的识别，转换为相应指令；而手势识别则是计算机通过对使用者的手势的识别，转换为相应指令。这些人机交互方法简单易用，得到了迅速的发展与推广。

然而，这些人机交互方法常常会因为较大地依赖于使用者的命令指引而交互效率较低，比如机器人抓取物体时往往需要使用者的指挥。此外，这些人机交互方式的过程往往依赖于人体的外周器官如手、嘴或肢体，对于人体功能的正常有较高要求，对于行动不便或是有语言障碍的群体造成使用困难。

发明内容

本发明的目的是提供一种机器人识别环境变化时的人机交互方法以及系统。其中，所述方法所要解决的技术问题是：如何在机器人识别环境变化时提高人机交互的效率。

为了实现上述目的，本发明提供一种机器人识别环境变化时的人机交互方法。所述方法包括：

所述机器人接收用户输入的检查环境变化的第一命令，所述第一命令包括环境检查点的位置；

所述机器人基于所述第一命令和预设的场景地图前往所述环境检查点捕获图像，并将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，所述空白环境图像是在所述环境检查点不存在目标对象的情况下捕获的图像；

所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化；

若所述环境检查点发生环境变化，所述机器人将所述环境检查点的环境变化情况反馈给用户。

可选地，所述方法还包括：

所述机器人接收用户根据所述环境变化情况发送的结束交互的第二命令，并根据所述第二命令和预设的场景地图返回至初始点。

可选地，所述将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，包括：

所述机器人采用SURF算法将捕获的图像与本地存储的空白环境图像进行配准，并将捕获的图像的像素点的灰度值与所述空白环境图像的像素点的灰度值相减，得到第三图像；

所述机器人将所述第三图像中灰度值大于预设阈值的像素点的灰度值设置为255；

所述机器人计算所述第三图像的预设区域中灰度值为255的像素点的横坐标平均值和纵坐标平均值，从而得到所述目标对象的坐标；

所述机器人在捕获的图像上设置自身手掌大小的区域，并在该区域计算灰度值为255的像素点的个数比例，该区域包括所述目标对象。

可选地，所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化，包括：

在所述个数比例大于预设的比例值的情况下，则所述环境检查点发生环境变化；

在所述个数比例小于或等于预设的比例值的情况下，则所述环境检查点没有发生环境变化。

可选地，所述方法还包括：

所述机器人接收用户根据所述环境变化情况发送的抓取目标对象的第三命令，并根据所述第三命令抓取所述环境检查点中的目标对象，及根据所述环境检查点和预设的场景地图返回至用户所处位置，并放下抓取的目标对象，

其中，所述第三命令包括用户所处的位置。

可选地，所述根据所述第三命令抓取所述环境检查点中的目标对象，包括：

所述机器人在接收到所述第三命令后，根据预设的目标对象坐标的横坐标与机器人的机械手臂转角的对应关系对自身的机械手臂进行角度调整；

在对自身的机械手臂进行角度调整之后，所述机器人根据预设的机械手臂运动标准路径抓取所述环境检查点中的目标对象。

可选地，所述机器人将所述环境检查点的环境变化情况反馈给用户，包括：

所述机器人通过语音播报的方式或提示框将所述环境检查点的环境变化情况反馈给用户。

相应地，本发明还提供一种机器人识别环境变化的人机交互系统。所述系统包括：人机交互装置、图像处理装置以及控制装置，所述人机交互装置与所述控制装置连接，所述控制装置与所述图像处理装置连接，其中：

所述人机交互装置，用于利用基于视觉诱发稳态电位的脑机接口系统产生第一命令，并将所述第一命令发送至所述控制装置，所述第一命令包括环境检查点的位置；

所述控制装置，用于基于所述第一命令和预设的场景地图控制机器人前往所述环境检查点捕获图像；

所述图像处理装置，用于将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，所述空白环境图像是在所述环境检查点不存在目标对象的情况下捕获的图像；

所述控制装置，还用于根据所述处理结果判断所述环境检查点是否发生环境变化，若所述环境检查点发生环境变化，则将所述环境检查点的环境变化情况反馈给用户。

可选地，所述人机交互装置包括：

刺激产生单元，用于产生正弦编码的以不同频率闪烁的闪烁矩形，以使得用户根据不同频率闪烁的闪烁矩形与命令的对应关系注视所述闪烁矩形；

信号采集单元，用于采集用户头部枕区的电极的信号；

信号处理单元，与所述刺激产生单元和所述信号采集单元连接，用于采用基于滤波器组的典型相关分析算法对所述信号采集单元采集的信号进行分类，得到分类结果；并根据所述分类结果和所述刺激产生单元产生的闪烁矩形的闪烁频率识别得到用户注视的闪烁矩形，并输出该闪烁矩形所对应的命令；

反馈单元，与信号处理单元连接，用于标记识别得到的闪烁矩形，以提示用户所选中的闪烁矩形。

可选地，所述控制装置包括：

导航单元，用于根据机器人接收的命令和预设的场景地图对所述机器人进行导航；

控制单元，用于根据预设的目标对象坐标的横坐标与机器人的机械手臂转角的对应关系对所述机器人的机械手臂进行角度调整；在对机器人的机械手臂进行角度调整之后，根据预设的机械手臂运动标准路径控制所述机器人抓取所述环境检查点中的目标对象；

捕获单元，用于在所述机器人前往所述环境检查点后捕获所述环境检查点的图像。

通过上述技术方案，所述机器人接收用户输入的检查环境变化的第一命令，然后，所述机器人基于所述第一命令和预设的场景地图前往所述环境检查点捕获图像，并将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，接着，所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化，在判断所述环境检查点发生环境变化的情况下，所述机器人将所述环境检查点的环境变化情况反馈给用户，提高在机器人识别环境变化时的人机交互效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1是本发明一实施例提供的机器人识别环境变化时的人机交互方法的流程图；

图2是本发明一实施例提供的机器人识别环境变化时的人机交互方法的工作流程图；

图3是本发明一实施例提供的机器人识别环境变化时的人机交互方法的工作流程图；

图4是本发明一实施例提供的机器人识别环境变化时的人机交互系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一实施例提供的机器人识别环境变化时的人机交互方法的流程图。如图1所示，本发明一实施例提供的机器人识别环境变化时的人机交互方法包括：

在步骤S101中，所述机器人接收用户输入的检查环境变化的第一命令，所述第一命令包括环境检查点的位置。

其中，在接收用户输入的检查环境变化的命令之前，需要对机器人所需的场景地图进行构建，并将构建好的场景地图存储至机器人中。此外，还需要设置多个环境检查点，并将多个环境检查点的位置存储至机器人中。相应地，还需要捕获每个环境检查点所对应的空白环境图像，并将捕获的多幅环境空白图像存储至机器人中。具体地，所述环境空白图像是在环境检查点不存在目标对象的情况下拍摄的图像。

接着，在步骤S102中，所述机器人基于所述第一命令和预设的场景地图前往所述环境检查点捕获图像，并将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果。

具体地，所述第一命令包括环境检查点的位置，基于环境检查点的位置和预设的场景地图生成前往环境检查点的路线，机器人根据生成的路线前往所述环境检查点捕获图像。

其中，所述将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，包括：所述机器人采用SURF(Speeded Up Robust Features，加速稳健特征)算法将捕获的图像与本地存储的空白环境图像进行配准，并将捕获的图像的像素点的灰度值与所述空白环境图像的像素点的灰度值相减，得到第三图像；所述机器人将所述第三图像中灰度值大于预设阈值的像素点的灰度值设置为255；所述机器人计算所述第三图像的预设区域中灰度值为255的像素点的横坐标平均值和纵坐标平均值，从而得到所述目标对象的坐标；所述机器人在捕获的图像上设置自身手掌大小的区域，并在该区域计算灰度值为255的像素点的个数比例，该区域包括所述目标对象。

其中，机器人将在环境检查点捕获的图像与本地存储的与该环境检查点对应的空白环境图像进行配准。

紧接着，在步骤S103中，所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化。

具体地，该步骤包括：在所述个数比例大于预设的比例值的情况下，则所述环境检查点发生环境变化；在所述个数比例小于或等于预设的比例值的情况下，则所述环境检查点没有发生环境变化。

最后，在步骤S104中，若所述环境检查点发生环境变化，所述机器人将所述环境检查点的环境变化情况反馈给用户。

其中，所述机器人将所述环境检查点的环境变化情况反馈给用户，包括：所述机器人通过语音播报的方式或提示框将所述环境检查点的环境变化情况反馈给用户。

可选地，所述方法还包括：所述机器人接收用户根据所述环境变化情况发送的结束交互的第二命令，并根据所述第二命令和预设的场景地图返回至初始点。

优选地，所述方法还包括：所述机器人接收用户根据所述环境变化情况发送的抓取目标对象的第三命令，并根据所述第三命令抓取所述环境检查点中的目标对象，及根据所述环境检查点和预设的场景地图返回至用户所处位置，并放下抓取的目标对象，其中，所述第三命令包括用户所处的位置。藉此，能够为行动不便人群及存在语言障碍的人群提供了与外界交互(比如拿取目标物体)的解决方案。

其中，所述根据所述第三命令抓取所述环境检查点中的目标对象，包括：所述机器人在接收到所述第三命令后，根据预设的目标对象坐标的横坐标与机器人的机械手臂转角的对应关系对自身的机械手臂进行角度调整；在对自身的机械手臂进行角度调整之后，所述机器人根据预设的机械手臂运动标准路径抓取所述环境检查点中的目标对象。

本实施例提供了一种人机交互方式，使用者可通过简单的命令，根据机器人的反馈与机器人进行高效的人机交互。机器人可自动前往预设环境检查点进行图像捕获和图像处理，并将环境变化情况反馈给使用者。机器人和使用者分别扮演执行者和决策者，由此提高了人机交互的效率。

图2是本发明一实施例提供的机器人识别环境变化时的人机交互方法的工作流程图。如图2所示，本发明一实施例提供的机器人识别环境变化时的人机交互方法的工作流程包括：

在人机交互前，需要进行以下工作：

201、执行准备工作。

其中，准备工作包括：对场景地图的构建、设置环境检查点，预设的环境检查点可以设置多个、分别捕获各环境检查点的空白环境图像。

202、使用者提出检查环境变化的命令。

举例来说，使用者可通过基于视觉稳态诱发电位的脑-机接口系统提出检查环境变化的命令。

203、机器人前往预设环境检查点进行图像捕捉。

机器人前往预设环境检查点，待稳定后拍摄图像。

204、机器人将捕获的图像与预保存的空白环境图像进行图像配准。

举例来说，以捕捉图像为参考图像，空白环境图像为目标图像，利用SURF算法对其进行配准。

205、机器人进行目标定位，判断环境变化的情况。

举例来说，设定阈值t，设定相减图像灰度值大于阈值的像素点的灰度值为255，再通过计算除去图像外周半径为w之外的区域的灰度值为255的像素的横纵坐标的平均值，作为目标对象的坐标。又以机器人机械手臂手掌在捕获图像上的大小为基准，取对应其大小的半径为r的窗口，在目标坐标周围计算灰度为255的像素个数比例，若此比例大于阈值p，则认为发生了环境变化。

206、将环境变化的情况反馈给使用者。

举例来说，通过语音播报提示使用者环境检查点是否发生了变化。

207、使用者提出结束交互的命令。

使用者可通过基于视觉稳态诱发电位的脑-机接口系统提出结束交互的命令。

208、使用者提出抓取目标的命令。

使用者可通过基于视觉稳态诱发电位的脑-机接口系统提出抓取目标的命令。

209、机器人即返回初始点。

210、机器人抓取目标。

机器人首先根据目标坐标的横坐标和机械手臂转角的对应关系进行调整，在调整前，需寻找目标坐标的横坐标和机械手臂转角的对应关系：令机械手臂处于抓取目标对象的前一状态，根据机械手臂不同转角时其手掌所对应的横坐标范围，分配机械手臂转角对应的目标坐标的横坐标，如表一所示；接着再按照机械手臂运动标准路径抓取目标，但在抓取执行之前，需寻找标准抓取路径：在机器人可抓取深度范围和高度范围内，正对机械手臂放置目标，寻找到准确抓到目标对象的分解步骤，设定为机械手臂运动标准路径，该路径相反则为放下目标的标准路径。

表一

211、机器人返回使用者旁；

机器人返回使用者旁，并按照机械臂固定运动路径放下目标。

本实施例提供了一种基于稳态视觉诱发电位脑-机接口的机器人环境变化识别及目标抓取的人机交互方法。使用者可通过基于稳态视觉诱发电位的脑-机接口选择简单命令，根据机器人的反馈与机器人进行高效的人机交互。机器人可自动前往预设环境检查点进行图像捕获和图像处理，并将环境变化情况通过提示框反馈给使用者；使用者根据反馈，可提出抓取目标或其他命令的决策，机器人随即完成任务。脑-机接口作为一种不依赖外周神经系统参与的人机交互方式，为行动不便人群及存在语言障碍的人群提供了与外界交互(比如拿取目标物体)的解决方案。

图3是本发明一实施例提供的机器人识别环境变化时的人机交互方法的工作流程图。如图3所示，本发明一实施例提供的机器人识别环境变化时的人机交互方法的工作流程包括：

在人机交互前，需要进行以下工作：

301、执行准备工作。

其中，准备工作包括：对场景地图的构建、设置环境检查点，预设环境检查点可以设置多个、分别捕获各环境检查点的空白环境图像。

302、使用者提出检查环境变化的命令。

举例来说，使用者可通过键盘输入提出检查环境变化的命令。

303、机器人前往预设环境检查点进行图像捕捉。

机器人前往预设环境点，待稳定后拍摄图像。

304、机器人将捕获的图像与预保存空白环境图像进行图像配准。

举例来说，以捕捉图像为参考图像，空白环境图像为目标图像，利用SURF算法对其进行配准。

305、机器人进行目标定位，判断环境变化的情况。

举例来说，设定阈值t，设定相减图像灰度值大于阈值的像素点的灰度值为255，再通过计算除去图像外周半径为w之外的区域的灰度值为255的像素的横纵坐标的平均值，作为目标对象的坐标。又以机器人机械手臂手掌在捕获图像上的大小为基准，取对应其大小的半径为r的窗口，在目标坐标周围计算灰度为255的像素个数比例，若此比例大于阈值p，则认为发生了环境变化。

306、将环境变化的情况反馈给使用者。

举例来说，通过电脑屏幕提示框提示使用者环境检测点是否发生了变化。

307、使用者提出结束交互的命令。

使用者可通过键盘输入提出结束交互的命令。

308、使用者提出抓取目标的命令。

使用者可通过键盘输入提出抓取目标的命令。

309、机器人即返回初始点。

310、机器人抓取目标。

机器人首先根据目标坐标的横坐标和机械手臂转角对应关系进行调整，在调整前，需寻找目标坐标的横坐标和机械手臂转角对应关系：令机械手臂处于抓取目标前一状态，根据机械手臂不同转角时其手掌所对应的横坐标范围，分配机械手臂转角对应的目标坐标的横坐标；接着再按照机械手臂运动标准路径抓取目标，但在抓取执行之前，需寻找标准抓取路径：在机器人可抓取深度范围和高度范围内，正对机械手臂放置目标，寻找到准确抓到目标的分解步骤，设定为机械手臂运动标准路径，该路径相反则为放下目标的标准路径。

311、机器人返回使用者旁，并按照机械臂固定运动路径放下目标。

本实施例提供了一种计算机键盘输入的机器人环境变化识别及目标抓取的人机交互方法。使用者可通过键盘输入简单命令，根据机器人的反馈与机器人进行高效的人机交互。机器人可自动前往预设环境检查点进行图像捕获和图像处理，并将环境变化情况通过提示框反馈给使用者；使用者根据反馈，可提出抓取目标或其他命令的决策，机器人随即完成任务，提高了人机交互的效率。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图4是本发明一实施例提供的机器人识别环境变化时的人机交互系统的结构示意图。如图4所示，本发明一实施例提供的机器人识别环境变化时的人机交互系统包括：人机交互装置41、图像处理装置43以及控制装置42，所述人机交互装置41与所述控制装置42连接，所述控制装置42与所述图像处理装置43连接，其中：所述人机交互装置41，用于利用基于视觉诱发稳态电位的脑机接口系统产生第一命令，并将所述第一命令发送至所述控制装置，所述第一命令包括环境检查点的位置；所述控制装置42，用于基于所述第一命令和预设的场景地图控制机器人前往所述环境检查点捕获图像；所述图像处理装置43，用于将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，所述空白环境图像是在所述环境检查点不存在目标对象的情况下捕获的图像；所述控制装置42，还用于根据所述处理结果判断所述环境检查点是否发生环境变化，若所述环境检查点发生环境变化，则将所述环境检查点的环境变化情况反馈给用户。

其中，图像处理装置43在OpenCV平台上实现的，控制装置42为Turtlebot，其控制在ROS平台上实现的，人机交互装置41采用的是基于视觉稳态诱发电位的脑-机接口系统。

在本发明一可选的实施方式中，所述人机交互装置41包括：刺激产生单元411，用于产生正弦编码的以不同频率闪烁的闪烁矩形，以使得用户根据不同频率闪烁的闪烁矩形与命令的对应关系注视所述闪烁矩形；信号采集单元412，用于采集用户头部枕区的电极的信号；信号处理单元413，与所述刺激产生单元411和所述信号采集单元412连接，用于采用基于滤波器组的典型相关分析算法对所述信号采集单元采集的信号进行分类，得到分类结果；并根据所述分类结果和所述刺激产生单元产生的闪烁矩形的闪烁频率识别得到用户注视的闪烁矩形，并输出该闪烁矩形所对应的命令；反馈单元414，与信号处理单元413连接，用于标记识别得到的闪烁矩形，以提示用户所选中的闪烁矩形。

其中，刺激产生单元411采用正弦编码的闪烁矩形，分别代表检查环境点变化的命令，抓取目标的命令、结束交互的命令的闪烁矩形以不同的频率(6Hz-16Hz)闪烁。使用者根据所需注视某一闪烁矩形，每次注视需持续3秒，每两次注视相隔1.5秒。信号采集单元412采集头部枕区部分电极的信号，分别是：P3、Pz、P4、PO3、PO4、PO7、PO8、O1、Oz、O2，共十个电极。信号处理单元413采用的是基于滤波器组的典型相关分析(FBCCA)算法，对信号采集单元412采集到的信号进行实时分类。对于一个命令的输出，需连续注视三次，最后以两次及以上个相同识别结果作为最后指令输出。反馈部分414采用的是在识别出的注视矩形上显示红色的方法。

在本发明一可选的实施方式中，所述控制装置42包括：导航单元421，用于根据机器人接收的命令和预设的场景地图对所述机器人进行导航；控制单元422，用于根据预设的目标对象坐标的横坐标与机器人的机械手臂转角的对应关系对所述机器人的机械手臂进行角度调整；在对机器人的机械手臂进行角度调整之后，根据预设的机械手臂运动标准路径控制所述机器人抓取所述环境检查点中的目标对象；捕获单元423，用于在所述机器人前往所述环境检查点后捕获所述环境检查点的图像。

举例来说，控制装置42采用的是Turtlebot小型移动机器人、同时配备有一只自由度为5的机械臂PhantomX Pincher Robot Arm。在ROS平台上进行控制。其中，导航单元421和捕获单元423可直接由ROS系统自带功能包实现。当机器人接收到检查环境变化的命令时，导航单元421和捕获单元423先后进入工作状态，机器人先运动至环境检查点，待稳定后捕获图像；当机器人接收到抓取目标的命令时，控制单元422可根据预设的目标坐标的横坐标和机械手臂转角的对应关系对机械手臂进行调整，再按照机械手臂运动标准路径抓取目标，接着导航装置421进入工作状态，来到使用者身边后，机械手臂再次按照标准运动路径放下目标；当机器人接收到结束交互的命令后，导航装置421进入工作状态，机器人返回初始点。

图像处理装置43主要对捕获单元423捕获的图像进行图像配准、图像相减及阈值化处理。

本实施例机器人环境变化识别及目标抓取的人(脑)-机交互系统能够完成简单交互、准确反馈变化、准确抓取的任务。为行动不便人群及存在语言障碍的人群提供了与外界交互(比如拿取目标物体)的解决方案。

本发明提供的一种人机交互方式及系统不只局限于机器人环境变化识别及目标抓取的应用，机器人作为执行者、使用者作为决策者这种人机交互方法具有很好的普适性，具有广泛应用于各种场景、各种任务的潜力。

应当注意的是，在本发明的系统的各个部件中，根据其要实现的功能而对其中的部件进行了逻辑划分，但是，本发明不受限于此，可以根据需要对各个部件进行重新划分或者组合，例如，可以将一些部件组合为单个部件，或者可以将一些部件进一步分解为更多的子部件。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上实施方式仅适于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种机器人识别环境变化时的人机交互方法，其特征在于，所述方法包括：

所述机器人接收用户输入的检查环境变化的第一命令，所述第一命令包括环境检查点的位置；

所述机器人基于所述第一命令和预设的场景地图前往所述环境检查点捕获图像，并将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，所述空白环境图像是在所述环境检查点不存在目标对象的情况下捕获的图像；

所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化；

若所述环境检查点发生环境变化，所述机器人将所述环境检查点的环境变化情况反馈给用户。

2.根据权利要求1所述的机器人识别环境变化时的人机交互方法，其特征在于，所述方法还包括：

所述机器人接收用户根据所述环境变化情况发送的结束交互的第二命令，并根据所述第二命令和预设的场景地图返回至初始点。

3.根据权利要求1所述的机器人识别环境变化时的人机交互方法，其特征在于，所述将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，包括：

所述机器人采用SURF算法将捕获的图像与本地存储的空白环境图像进行配准，并将捕获的图像的像素点的灰度值与所述空白环境图像的像素点的灰度值相减，得到第三图像；

所述机器人将所述第三图像中灰度值大于预设阈值的像素点的灰度值设置为255；

所述机器人计算所述第三图像的预设区域中灰度值为255的像素点的横坐标平均值和纵坐标平均值，从而得到所述目标对象的坐标；

所述机器人在捕获的图像上设置自身手掌大小的区域，并在该区域计算灰度值为255的像素点的个数比例，该区域包括所述目标对象。

4.根据权利要求3所述的机器人识别环境变化时的人机交互方法，其特征在于，所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化，包括：

在所述个数比例大于预设的比例值的情况下，则所述环境检查点发生环境变化；

在所述个数比例小于或等于预设的比例值的情况下，则所述环境检查点没有发生环境变化。

5.根据权利要求3所述的机器人识别环境变化时的人机交互方法，其特征在于，所述方法还包括：

所述机器人接收用户根据所述环境变化情况发送的抓取目标对象的第三命令，并根据所述第三命令抓取所述环境检查点中的目标对象，及根据所述环境检查点和预设的场景地图返回至用户所处位置，并放下抓取的目标对象，

其中，所述第三命令包括用户所处的位置。

6.根据权利要求5所述的机器人识别环境变化时的人机交互方法，其特征在于，所述根据所述第三命令抓取所述环境检查点中的目标对象，包括：

所述机器人在接收到所述第三命令后，根据预设的目标对象坐标的横坐标与机器人的机械手臂转角的对应关系对自身的机械手臂进行角度调整；

在对自身的机械手臂进行角度调整之后，所述机器人根据预设的机械手臂运动标准路径抓取所述环境检查点中的目标对象。

7.根据权利要求1所述的机器人识别环境变化时的人机交互方法，其特征在于，所述机器人将所述环境检查点的环境变化情况反馈给用户，包括：

所述机器人通过语音播报的方式或提示框将所述环境检查点的环境变化情况反馈给用户。

8.一种机器人识别环境变化的人机交互系统，其特征在于，所述系统包括：人机交互装置、图像处理装置以及控制装置，所述人机交互装置与所述控制装置连接，所述控制装置与所述图像处理装置连接，其中：

所述人机交互装置，用于利用基于视觉诱发稳态电位的脑机接口系统产生第一命令，并将所述第一命令发送至所述控制装置，所述第一命令包括环境检查点的位置；

所述控制装置，用于基于所述第一命令和预设的场景地图控制机器人前往所述环境检查点捕获图像；

所述图像处理装置，用于将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，所述空白环境图像是在所述环境检查点不存在目标对象的情况下捕获的图像；

所述控制装置，还用于根据所述处理结果判断所述环境检查点是否发生环境变化，若所述环境检查点发生环境变化，则将所述环境检查点的环境变化情况反馈给用户。

9.根据权利要求8所述的机器人识别环境变化的人机交互系统，其特征在于，所述人机交互装置包括：

刺激产生单元，用于产生正弦编码的以不同频率闪烁的闪烁矩形，以使得用户根据不同频率闪烁的闪烁矩形与命令的对应关系注视所述闪烁矩形；

信号采集单元，用于采集用户头部枕区的电极的信号；

信号处理单元，与所述刺激产生单元和所述信号采集单元连接，用于采用基于滤波器组的典型相关分析算法对所述信号采集单元采集的信号进行分类，得到分类结果；并根据所述分类结果和所述刺激产生单元产生的闪烁矩形的闪烁频率识别得到用户注视的闪烁矩形，并输出该闪烁矩形所对应的命令；

反馈单元，与信号处理单元连接，用于标记识别得到的闪烁矩形，以提示用户所选中的闪烁矩形。

10.根据权利要求8所述的机器人识别环境变化的人机交互系统，其特征在于，所述控制装置包括：

导航单元，用于根据机器人接收的命令和预设的场景地图对所述机器人进行导航；

控制单元，用于根据预设的目标对象坐标的横坐标与机器人的机械手臂转角的对应关系对所述机器人的机械手臂进行角度调整；在对机器人的机械手臂进行角度调整之后，根据预设的机械手臂运动标准路径控制所述机器人抓取所述环境检查点中的目标对象；

捕获单元，用于在所述机器人前往所述环境检查点后捕获所述环境检查点的图像。