CN113359996A - 生活辅助机器人控制系统、方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种生活辅助机器人控制系统、方法、装置及电子设备，其中，系统包括：视觉采集眼镜、双目相机、手势手套、云端数据库、主控器；主控器根据云端数据库分析用户手势信息获取对应的行为指令信息以下达行为指令信息给机器人，使机器人对操作对象执行对应于行为指令信息的行为操作；双目相机安装在机器人上，视觉采集眼镜包括：眼镜本体、固定在眼镜本体上的显示模块、捕捉模块；该系统快速、精确地确定操作目标，然后通过手势手套结合云端数据库确定行为指令信息，利用主控器控制机器人对操作对象执行相应的行为操作，主控器可快速基于一个眼球的注视方向获取用户注视的操作对象，简化操作对象获取流程、提高运算速度。

Description

生活辅助机器人控制系统、方法、装置及电子设备

技术领域

本申请涉及机器人技术领域，具体而言，涉及一种生活辅助机器人控制系统、方法、装置及电子设备。

背景技术

随着我国逐步进入老年化社会，老年人以及残障人士的基本生活需求引起广泛关注。

为了保证独居老年人、残障人士的基本生活需求能够自理，市场上开发了各类生活辅助机器人、辅助机构以图解决例如登高取物、行路劳累、突发疾病无法及时求救等难题。

其问题在于这类机器人一般为定制式机器人，一般仅能针对单一对象进行单一操作，无法快速识别不同的操作对象进行相应行为操作，也有采用双目视觉构建虚拟空间立体模型，并基于用户双目视觉聚焦地方式以确定用户在虚拟空间立体模型中的注视的方式确定操作对象，但这种处理方式运算逻辑复杂，获取操作对象较为耗时。

针对上述问题，目前尚未有有效的技术解决方案。

发明内容

本申请的目的在于提供一种生活辅助机器人控制系统、方法、装置及电子设备，实现机器人智能化控制，快速确定生活辅助机器人运动需求的操作对象、行为，简化操作对象获取逻辑。

第一方面，本申请提供了一种生活辅助机器人控制系统，用于控制生活辅助机器人行动，包括：

视觉采集眼镜，用于采集用户视觉目标信息；

双目相机，用于采集用户朝向的深度图像信息；

手势手套，用于采集用户手势信息；

云端数据库，存储有可编程的且与用户手势信息配对的行为指令信息；

主控器，用于读取所述用户视觉目标信息、深度图像信息和用户手势信息，并根据用户视觉目标信息和深度图像信息确定操作对象；

所述主控器根据云端数据库分析用户手势信息获取对应的行为指令信息以下达行为指令信息给机器人，使机器人对操作对象执行对应于行为指令信息的行为操作；

所述双目相机安装在机器人上，所述视觉采集眼镜包括：

眼镜本体；

显示模块，固定在眼镜本体上，用于实时显示双目相机采集的深度图像信息；

捕捉模块，用于采集用户至少一个眼睛的视觉目标信息。

本申请的一种生活辅助机器人控制系统，以视觉采集眼镜采集用户视觉目标信息和双目相机采集用户朝向的深度图像信息为基础快速、精确地确定操作目标，然后通过手势手套采集用户手势信息结合云端数据库分析快速、精确地确定行为指令信息，然后利用主控器对机器人下达行为指令信息使机器人对操作对象执行相应的行为操作，该机器人行为控制过程无需特定的键入设备即可快速确定生活辅助机器人运动需求的操作对象、行为，使生活辅助机器人适用于不同场合使用，仅需通过视觉和手部动作即可实现机器人智能化控制。

另外，由于显示模块相对固定在眼镜本体上，使得佩戴视觉采集眼镜的用户的眼球与显示模块的距离相对固定，因此，通过捕捉采集用户至少一个眼睛的视觉目标信息，主控器即可快速基于一个眼球的注视方向获取用户注视的操作对象。

所述的一种生活辅助机器人控制系统，其中，所述手势手套包括：

姿态测量模块，用于采集手掌朝向信息；

应变片模块，用于采集手指弯曲信息；

微处理器模块，用于根据所述手掌朝向信息和所述手指弯曲信息确定用户手势信息；

传输模块，用于将用户手势信息发送至所述主控器。

所述的一种生活辅助机器人控制系统，其中，所述手势手套还包括用于获取使用权限的指纹识别模块。

所述的一种生活辅助机器人控制系统，其中，还包括用于识别环境并进行地图模型建立的激光雷达，所述主控器基于所述地图模型和操作对象的位置规划机器人行动轨迹。

所述的一种生活辅助机器人控制系统，其中，所述云端数据库中的行为指令信息为预先编译设定。

第二方面，本申请提供了一种生活辅助机器人控制方法，应用于上述的生活辅助机器人控制系统，所述控制方法用于控制生活辅助机器人行动，所述控制方法包括以下步骤：

S1、获取用户至少一个眼睛的视觉目标信息和深度图像信息；

S2、根据用户视觉目标信息和深度图像信息确定操作对象；

S3、获取用户手势信息；

S4、分析用户手势信息获取对应的行为指令信息；

S5、下达行为指令信息给机器人，使机器人对操作对象执行对应于行为指令信息的行为操作。

本申请的一种生活辅助机器人控制方法，基于用户视觉目标信息和深度图像信息快速确定了操作对象，然后基于用户手势信息对机器人下达对应的行为指令信息使机器人对操作对象完成特定的行为操作，该方法的控制过程无需特定的键入设备即可快速确定生活辅助机器人运动需求的操作对象、行为，使生活辅助机器人适用于不同场合使用，仅需通过视觉和手部动作即可实现机器人智能化控制。

所述的一种生活辅助机器人控制方法，其中，步骤S2包括以下子步骤：

S21、根据用户视觉目标信息确定深度图像信息中用户的注视点；

S22、根据注视点所在目标深度特性结合云端数据分析确定操作对象的类型、轮廓。

所述的一种生活辅助机器人控制方法，其中，所述用户视觉目标信息包括用户视觉朝向信息和用户眼球动作信息。

第三方面，本申请还提供了一种生活辅助机器人控制装置，应用于上述的生活辅助机器人控制系统，所述控制装置用于控制生活辅助机器人行动，包括：

获取模块，用于获取用户至少一个眼睛的视觉目标信息、深度图像信息、用户手势信息；

对象分析模块，用于根据用户视觉目标信息和深度图像信息确定操作对象；

指令获取模块，用于分析用户手势信息获取对应的行为指令信息；

指令下达模块，用于下达行为指令信息给机器人，使机器人对操作对象执行对应于行为指令信息的行为操作。

本申请的一种生活辅助机器人控制装置，通过获取模块获取用户视觉目标信息、深度图像信息、用户手势信息，使对象分析模块基于用户视觉目标信息和深度图像信息快速确定了操作对象，然后利用指令获取模块基于用户手势信息确定对应的行为指令信息，最后通过指令下达模块对机器人下达对应的行为指令信息使机器人对操作对象完成特定的行为操作，该装置的控制过程无需特定的键入设备即可快速确定生活辅助机器人运动需求的操作对象、行为，使生活辅助机器人适用于不同场合使用，仅需通过视觉和手部动作即可实现机器人智能化控制。

第四方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第二方面提供的所述方法中的步骤。

由上可知，本申请提供的生活辅助机器人控制系统、方法、装置及电子设备，其中，系统以视觉采集眼镜采集用户视觉目标信息和双目相机采集用户朝向的深度图像信息为基础快速、精确地确定操作目标，然后通过手势手套结合云端数据库确定行为指令信息，利用主控器控制机器人对操作对象执行相应的行为操作，使生活辅助机器人适用于不同场合使用，且显示模块相对固定在眼镜本体上，使得佩戴视觉采集眼镜的用户的眼球与显示模块的距离相对固定，主控器即可快速基于一个眼球的注视方向获取用户注视的操作对象，简化操作对象获取流程、提高运算速度。

附图说明

图1为本申请实施例提供的一种生活辅助机器人控制系统的结构示意图。

图2为本申请实施例提供的一种生活辅助机器人控制方法的流程图。

图3为本申请实施例提供的一种生活辅助机器人控制装置的结构示意图。

图4为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

第一方面，请参照图1，图1是本申请一些实施例中提供的一种生活辅助机器人控制系统，用于控制生活辅助机器人行动，包括：

视觉采集眼镜，用于采集用户视觉目标信息；

双目相机，用于采集用户朝向的深度图像信息；

手势手套，用于采集用户手势信息；

云端数据库，存储有可编程的且与用户手势信息配对的行为指令信息；

主控器，用于读取用户视觉目标信息、深度图像信息和用户手势信息，并根据用户视觉目标信息和深度图像信息确定操作对象；

主控器根据云端数据库分析用户手势信息获取对应的行为指令信息以下达行为指令信息给机器人，使机器人对操作对象执行对应于行为指令信息的行为操作；

所述双目相机安装在机器人上，所述视觉采集眼镜包括：

眼镜本体；

显示模块，固定在眼镜本体上，用于实时显示双目相机采集的深度图像信息；

捕捉模块，用于采集用户至少一个眼睛的视觉目标信息。

具体地，视觉采集眼镜由用户佩戴，双目相机设于机器人上以作为机器人眼睛。

具体地，用户佩戴视觉采集眼镜后，显示模块用于实时接收可移动机械臂上双目相机的拍摄数据，捕捉模块用于实时捕捉并记录用户的眼球动作，使得用户视觉目标信息与深度图像信息关联。

更具体地，捕捉模块获取的用户视觉目标信息为基于用户注视显示模块拍摄数据产生。

本申请实施例的一种生活辅助机器人控制系统，以视觉采集眼镜采集用户视觉目标信息和双目相机采集用户朝向的深度图像信息为基础快速、精确地确定操作目标，然后通过手势手套采集用户手势信息结合云端数据库分析快速、精确地确定行为指令信息，然后利用主控器对机器人下达行为指令信息使机器人对操作对象执行相应的行为操作，该机器人行为控制过程无需特定的键入设备即可快速确定生活辅助机器人运动需求的操作对象、行为，使生活辅助机器人适用于不同场合使用，仅需通过视觉和手部动作即可实现机器人智能化控制。

另外，由于显示模块相对固定在眼镜本体上，使得佩戴视觉采集眼镜的用户的眼球与显示模块的距离相对固定，因此，通过捕捉采集用户至少一个眼睛的视觉目标信息，主控器即可快速基于一个眼球的注视方向获取用户注视的操作对象。

具体地，显示模块优选固定在眼镜本体一眼镜部的前方。

具体地，用户视觉目标信息为关于用户视觉朝向的数据信息，用于反映用户数视觉的注视方向，用于确定用户注视的目标。

具体地，主控器基于用户视觉目标信息确定眼球瞳孔的朝向，基于眼球中心朝向拟合成一条直线，即可计算眼球相对于头部固定的显示模块中的注视点，由此，可获取在显示模块中的注视位置，而显示模块的显示的深度图像信息为机器人双目相机采集的图像信息，主控器基于深度图像信息或计算的注视点可获知用户在双目相机拍摄图像中的具体注视目标，进而确定操作对象；该操作对象获取过程无需进行复杂的空间建模，仅基于捕捉模块获取用户的视觉目标信息即可分析出用户在显示模块上的注视点，且显示模块固定在眼镜本体上，捕捉模块获取至少一个眼睛的视觉目标信息即可供给主控器，由主控器根据该视觉目标信息将用户视觉朝向拟合为直线而确定注视点，无需采用双眼朝向聚焦的复杂分析逻辑获取注视点，即使得本申请实施例的系统可基于相对简单的运算逻辑快速确定操作对象。

具体地，显示模块将深度图像信息转成二维图像显示。

更具体地，显示模块用于显示双目相机中一目拍摄的图像，从而将深度图像信息转成二维图像进行显示，且优选为与显示模块安装位置对应，如显示模块固定在眼镜本体左侧眼镜端前方，侧显示模块显示的是双目相机中左目拍摄的图像，而捕捉模块获取的是用户左眼球的用户视觉目标信息。

在一些优选的实施方式中，手势手套包括：

姿态测量模块，用于采集手掌朝向信息；

应变片模块，用于采集手指弯曲信息；

微处理器模块，用于根据手掌朝向信息和手指弯曲信息确定用户手势信息；

传输模块，用于将用户手势信息发送至主控器。

具体地，姿态测量模块为惯性传感器，设有手套的手背位置，手掌朝向信息包括手掌的横滚角、俯仰角和航向角，微处理器模块基于横滚角、俯仰角和航向角可快速确定手掌姿态。

具体地，应变片模块为应变片，沿着指节方向设于手套的手指位置，手指弯曲信息为每个手指的弯曲情况，微处理器模块基于每个手指的弯曲情况可快速确定手指姿态。

具体地，微处理器模块为STM32单片机，可根据手掌朝向信息和手指弯曲信息分析确定用户手势，从而将对应的用户手势信息通过传输模块发送给主控器。

在一些优选的实施方式中，还包括传输单元，主控器设于机器人上，并通过传输单元与手势手套、云端数据库、视觉采集眼镜通信连接。

在一些优选的实施方式中，手势手套还包括用于获取使用权限的指纹识别模块。

具体地，指纹识别模块可设于手套外侧而用于配对另一只手的指纹，还可设于手套内侧指端处而用于配对穿戴手套的手的指纹，通过指纹配对用户身份信息，配对成功后，主控器给予该用户关于机器人的相关使用权限。

在一些优选的实施方式中，还包括用于识别环境并进行地图模型建立的激光雷达，主控器基于地图模型和操作对象的位置规划机器人行动轨迹。

具体地，主控器基于地图模型确定操作对象在当前环境空间内的位置，然后调用机器人可编程移动的路径规划指令，从而确定机器人避障移动的路径，使机器人能顺利达到操作对象的位置以进行行为操作。

具体地，机器人为自身可移动的机器人或安装在轮椅等移动设备上的智能机器臂，当机器人为机械臂时，主控器可根据地图模型规划机械臂的移动轨迹。

在一些优选的实施方式中，云端数据库中的行为指令信息为预先编译设定，即该控制系统在实际使用前，需对用户手势信息和行为指令信息进行编译设定和配对，使得不同用户手势信息对应于机器人不同的行为指令信息，而两种信息均可根据使用需求通过宏定义进行设定调整，即用户手势信息和行为指令信息可按照使用需求增加配对的内容，使得机器人控制操作变得多样化。

具体地，在手势手套的微处理器模块、主控器、数据库模块中相应软件进行宏数据拓展即可实现机器人功能宏。

第二方面，请参照图2，图2是本申请一些实施例中的一种生活辅助机器人控制方法，应用于上述的生活辅助机器人控制系统，该控制方法用于控制生活辅助机器人行动，该控制方法包括以下步骤：

S1、获取用户至少一个眼睛的视觉目标信息和深度图像信息；

其中，深度图像信为基于机器人视觉的数据信息，用于反映机器人获取的图像信息，该图像信息为深度图像，使机器人可获知不同物件、场景的立体关系。

S2、根据用户视觉目标信息和深度图像信息确定操作对象；

具体地，结合用于反映用户视觉的用户视觉目标信息和用于反映机器人视觉的深度图像信息，分析两个信息之间的关联性，根据用户注视的目标确认深度图像信息中对应的目标，确定该目标为操作对象。

更具体地，用户视觉目标信息和深度图像信息可以是两个独立的图像数据，根据点云配对后获取用户的视觉目标，还可以是以深度图像信息为基础生成用户视觉目标信息，如机器人先获取关于其视觉的深度图像，用户用视觉朝向在该深度图像中确定目标为操作对象。

S3、获取用户手势信息；

具体地，用户手势信息为反映用户手部运动姿态的信息，包括手掌朝向、手指弯曲度等，可以是手部运动动作，还可以是手部某一时刻的固定姿态。

更具体地，用户手势信息可对应于四肢任一肢的运动信息。

S4、分析用户手势信息获取对应的行为指令信息；

具体地，可通过比对云端库数据内容，获取该用户手势信息对应设定的行为指令信息。

更具体地，云端数据库中存储有与用户手势信息关联的行为指令信息，即分析确定该用户手势信息为何种用户手势信息后，即可确定该用户手势信息对应的行为指令信息。

S5、下达行为指令信息给机器人，使机器人对操作对象执行对应于行为指令信息的行为操作。

其中，行为指令信息包含了机器人相应行为操作的动作指令代码，机器人在接收行为指令信息后，对由用户视觉目标信息和深度图像信息确定操作对象进行相应的行为操作，如拾取、挪动等行为。

本申请实施例的一种生活辅助机器人控制方法，基于用户视觉目标信息和深度图像信息快速确定了操作对象，然后基于用户手势信息对机器人下达对应的行为指令信息使机器人对操作对象完成特定的行为操作，该方法的控制过程无需特定的键入设备即可快速确定生活辅助机器人运动需求的操作对象、行为，使生活辅助机器人适用于不同场合使用，仅需通过视觉和手部动作即可实现机器人智能化控制。

在一些优选的实施方式中，步骤S2包括以下子步骤：

S21、根据用户视觉目标信息确定深度图像信息中用户的注视点；

具体地，机器人上设有双目相机，其获取的深度图像信息的深度图像展示在用户面前，用户注视点落在深度图像中的操作对象上，该注视行为构成用户视觉目标信息，由此使得用户视觉目标信息与深度图像信息产生关联性。

S22、根据注视点所在目标深度特性结合云端数据分析确定操作对象的类型、轮廓。

具体地，在深度图像信息中确定注视点的注视位置，该注视位置对应目标为操作对象，结合云端数据分析该注视位置的区域数据，获取该注视点目标的类型，并根据深度特性获取该目标的轮廓，由此确定操作对象的类型、轮廓。

具体地，本申请实施例的方法中，可根据用户视觉目标信息持续分析获取用户注视目标的操作对象特性，也可在用户产生相应用户手势信息后再根据用户视觉目标信息持续分析获取用户注视目标的操作对象特性以节省分析资源，还可以是基于用户眨眼等行为再分析获取用户注视目标的操作对象特性。

另外，当云端数据无法识别操作对象的类型、轮廓时，可通过用户视觉描绘操作对象的轮廓以定义操作对象形态，即通过用户注视显示模块显示画面中操作对象的外形边缘并沿着其外形边缘注视移动一周，以描绘操作对象的轮廓，从而确定显示模块中的操作对象的外形，再由主控器根据深度图像信息分析操作对象的具体形态。

在一些优选的实施方式中，用户视觉目标信息包括用户视觉朝向信息和用户眼球动作信息。

具体地，用户视觉朝向信息为用户眼球的注视方向，用户眼球动作信息为用户眼球的运动轨迹，可用于操作对象轮廓描绘或特定指令的调用。

具体地，捕捉模块通过获取用户一个眼球的瞳孔位置以获取用户视觉朝向信息，即基于眼球的瞳孔在眼球中的位置确定眼球的朝向，并将该朝向拟合成一条由瞳孔中心位置朝外延伸的直线，主控器计算获取该直线在显示模块上的连接点，从而确定用户在显示模块上的注视点，结合显示模块显示的深度图像信息分析出用户注视的目标而确定操作对象；当云端数据无法识别操作对象的类型、轮廓时，用户沿着操作对象外形边缘注视移动一周而产生相应的用户眼球动作信息，捕捉模块获取该用户眼球动作信息，即获取了眼球中瞳孔在该注视移动一周过程中的运动轨迹，主控器结合通孔的运动轨迹和由眼球朝向拟合的直线得到了该直线的位移情况，进而获取该直线在位移过程中与显示模块的连接点的移动轨迹，主控器基于该连接点在显示模块上的移动轨迹，结合显示模块显示的深度图像信息分析出用户通过注视移动方式在显示模块上描绘的内容，进而根据该描绘内容确定操作对象的轮廓，主控器基于眼球动作获取的操作对象的轮廓结合深度图像信息进行分析，确定操作对象的形状特点、大小，进而告知机器人操作对象的形状特点、大小，确保机器人能顺利对操作对象执行对应于行为指令信息的行为操作。

更具体地，用户视觉目标信息还包括用户眨眼信息，可通过用户眨眼次数、频率设定对应的功能开启、关闭。

第三方面，请参照图3，图3是本申请一些实施例中提供的一种生活辅助机器人控制装置，应用于上述的生活辅助机器人控制系统，所述控制装置用于控制生活辅助机器人行动，包括：

获取模块，用于获取至少一个眼睛的用户视觉目标信息、深度图像信息、用户手势信息；

对象分析模块，用于根据用户视觉目标信息和深度图像信息确定操作对象；

指令获取模块，用于分析用户手势信息获取对应的行为指令信息；

指令下达模块，用于下达行为指令信息给机器人，使机器人对操作对象执行对应于行为指令信息的行为操作。

本申请实施例的一种生活辅助机器人控制装置，通过获取模块获取用户视觉目标信息、深度图像信息、用户手势信息，使对象分析模块基于用户视觉目标信息和深度图像信息快速确定了操作对象，然后利用指令获取模块基于用户手势信息确定对应的行为指令信息，最后通过指令下达模块对机器人下达对应的行为指令信息使机器人对操作对象完成特定的行为操作，该装置的控制过程无需特定的键入设备即可快速确定生活辅助机器人运动需求的操作对象、行为，使生活辅助机器人适用于不同场合使用，仅需通过视觉和手部动作即可实现机器人智能化控制。

第四方面，请参照图4，图4为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备3，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。

综上，本申请实施例提供了一种生活辅助机器人控制系统、方法、装置及电子设备，其中，系统以视觉采集眼镜采集用户视觉目标信息和双目相机采集用户朝向的深度图像信息为基础快速、精确地确定操作目标，然后通过手势手套结合云端数据库确定行为指令信息，利用主控器控制机器人对操作对象执行相应的行为操作，使生活辅助机器人适用于不同场合使用，且显示模块相对固定在眼镜本体上，使得佩戴视觉采集眼镜的用户的眼球与显示模块的距离相对固定，主控器即可快速基于一个眼球的注视方向获取用户注视的操作对象，简化操作对象获取流程、提高运算速度。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种生活辅助机器人控制系统，用于控制生活辅助机器人行动，其特征在于，包括：

视觉采集眼镜，用于采集用户视觉目标信息；

双目相机，用于采集用户朝向的深度图像信息；

手势手套，用于采集用户手势信息；

云端数据库，存储有可编程的且与用户手势信息配对的行为指令信息；

主控器，用于读取所述用户视觉目标信息、深度图像信息和用户手势信息，并根据用户视觉目标信息和深度图像信息确定操作对象；

所述主控器根据云端数据库分析用户手势信息获取对应的行为指令信息以下达行为指令信息给机器人，使机器人对操作对象执行对应于行为指令信息的行为操作；

所述双目相机安装在机器人上，所述视觉采集眼镜包括：

眼镜本体；

显示模块，固定在眼镜本体上，用于实时显示双目相机采集的深度图像信息；

捕捉模块，用于采集用户至少一个眼睛的视觉目标信息。

2.根据权利要求1所述的一种生活辅助机器人控制系统，其特征在于，所述手势手套包括：

姿态测量模块，用于采集手掌朝向信息；

应变片模块，用于采集手指弯曲信息；

微处理器模块，用于根据所述手掌朝向信息和所述手指弯曲信息确定用户手势信息；

传输模块，用于将用户手势信息发送至所述主控器。

3.根据权利要求2所述的一种生活辅助机器人控制系统，其特征在于，所述手势手套还包括用于获取使用权限的指纹识别模块。

4.根据权利要求1所述的一种生活辅助机器人控制系统，其特征在于，还包括用于识别环境并进行地图模型建立的激光雷达，所述主控器基于所述地图模型和操作对象的位置规划机器人行动轨迹。

5.根据权利要求1所述的一种生活辅助机器人控制系统，其特征在于，所述云端数据库中的行为指令信息为预先编译设定。

6.一种生活辅助机器人控制方法，应用于如权利要求1-5任一项所述的生活辅助机器人控制系统，所述控制方法用于控制生活辅助机器人行动，其特征在于，所述控制方法包括以下步骤：

S1、获取用户至少一个眼睛的视觉目标信息和深度图像信息；

S2、根据用户视觉目标信息和深度图像信息确定操作对象；

S3、获取用户手势信息；

S4、分析用户手势信息获取对应的行为指令信息；

S5、下达行为指令信息给机器人，使机器人对操作对象执行对应于行为指令信息的行为操作。

7.根据权利要求6所述的一种生活辅助机器人控制方法，其特征在于，步骤S2包括以下子步骤：

S21、根据用户视觉目标信息确定深度图像信息中用户的注视点；

S22、根据注视点所在目标深度特性结合云端数据分析确定操作对象的类型、轮廓。

8.根据权利要求6所述的一种生活辅助机器人控制方法，其特征在于，所述用户视觉目标信息包括用户视觉朝向信息和用户眼球动作信息。

9.一种生活辅助机器人控制装置，应用于如权利要求1-5任一项所述的生活辅助机器人控制系统，所述控制装置用于控制生活辅助机器人行动，其特征在于，包括：

获取模块，用于获取用户至少一个眼睛的视觉目标信息、深度图像信息、用户手势信息；

对象分析模块，用于根据用户视觉目标信息和深度图像信息确定操作对象；

指令获取模块，用于分析用户手势信息获取对应的行为指令信息；

指令下达模块，用于下达行为指令信息给机器人，使机器人对操作对象执行对应于行为指令信息的行为操作。

10.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求6-8任一所述方法中的步骤。

Images