CN111906785A - 多模式综合信息识别移动式双臂机器人装置系统及方法 - Google Patents

Abstract

多模式综合信息识别移动式双臂机器人装置系统及方法是利用人工智能机器人多场景识别，多模式识别技术，语音识别及定位导航移动技术实现机器人动作规划设备平台。本发明应用人工智能，机器人技术，结合机器人节点通信原理，实现语音采集，语音交互，语音指令，语音查询，远端及自主控制，自主摆放，扫码查询，扫描读取生物信息，多场景物品人员识别，管理物品器材，雷达双精准定位位置，自主移动导航，双臂整理清点摆放物品一体化机器人装置。机器人系统与人员管理系统，物品管理系统连接。提高语音交互，精确定位，自主定位导航，自主整理清点摆放物品的能力，广泛应用于校园，商业，工厂，仓库，医疗场景。

Description

多模式综合信息识别移动式双臂机器人装置系统及方法

技术领域

本发明涉及人工智能机器人领域，具体地涉及一种摄像头下校园，商场，工厂，仓库，医院等多场景视觉识别技术，多模式视觉识别技术，识别人脸，识别生物信息，识别商用物品，工厂，仓库用物品，医用物品，器材，语音识别，语音交互，雷达定位，导航，移动，机器人摆放动作的人工智能机器人技术，广泛应用于校园，商场，工厂，仓库，医院等领域。

背景技术

随着人工智能机器人在教育，商业服务，生产，医疗领域特别是校园，商场，工厂，仓库，医疗机构等的推广，面临着器材，物品量多，整理管理器材，物品等流动量大等一系列问题。主要包括放置，整理器材，商用，仓库用，医用等物品量大，查询，管理，摆放，清点，费力费时，整理摆放耗时耗力。查询及管理人员，物品所在位置，辨认费力等。存在着作业人数多，作业耗时时间长，成本高等费人费时费力等后果。因此为解决需要大量的人力管理，摆放，清点，定期定时发放，整理，统计校园室内环境物品(教室，实验室，图书馆)，商场物品(超市，商场)，医用物品(门诊，病房)，工厂，仓库用物品，器材库存等问题，无人化管理系统，高智能机器人装置及方法的研究日益凸显。在智能机器人的应用中，一般采用机器人主系统与雷达，摄像头，定位导航移动，语音模块，机器视觉模块，动作模块等。

目前的市面产品是运用RFID技术可移动采集物品，器材信息，适用于管理器材，物品库存。本申请发明人中发现现有技术存在如下问题：自主移动定位导航效果不精准，物品，器材所在位置识别困难，无语音交互，摆放作业强度大但尚无器材物品自主摆放功能等。

发明内容

本发明的目的就在于克服上述现有技术的缺点和不足，提供一种语音交互，远端及自主控制，多场景(校园，商业，工厂，仓库，医疗)用物品多模式综合信息(颜色，形状，轮廓，数字，字母，文字，二维码)视觉识别与雷达双精准定位人员，物品，器材所在位置，自主移动导航，双臂整理，清点，摆放物品一体化机器人装置，与人员管理系统，物品管理系统连接。实现了语音交互，语音指令，语音查询，信息采集读取查询，扫码查询，管理物品，器材，远端控制，远端指令及自主摆放，整理物品等功能，提高了语音交互能力，缩短了用户查找人员，物品，精确定位器材，物品，依据位置信息，自主定位，导航人员，物品，实现了自主整理，清理，摆放物品的功能。

本发明提供了一种多模式综合视觉识别方法，可识别教学场景，实验室场景，图书馆场景，超市场景，商场场景，门诊场景，病房场景，工厂场景，仓库场景，以及其场景下物品，器材识别，人脸识别，语音识别，生物信息识别，数字码，文字，二维码，颜色标识，特殊标识等的识别方法。

进一步，本发明提供了一种基于多场景，多模式综合信息视觉识别，雷达实时建图建图与多场景的视觉综合信息(人脸，语音，生物信息，数字码，文字，二维码，颜色标识，特殊标识)相融合，构建地图，定位导航方式。

本发明提供了一种双臂(上下臂，左右臂)动作，包括：双臂同步动作，双臂协作，双臂连续动作等动作规划方式。

本发明提供了一种语音交互，语音指令，语音识别，语音合成等语音识别方法。

本发明提供了一种远端控制，机器人自主相结合的双控制方法。

本发明解决上述问题，实现这些功能所采用的技术方案

一种校园，商场，工厂，仓库，医院等多场景识别，多模式自主识别作业人员，商用物品，工厂，仓库用物品，医用物品，器材，自主定位移动导航人员位置，物品，器材位置，双臂摆放物品。远程及自主管理人员及校园，商场，工厂，仓库，医院等物品，器材。人员位置定位，人员管理，人-机器人语音交互，查询，定位导航，整理，扫码，信息采集读取，摆放自动控制及远程控制装置包括：

机器人主系是通过机器人系统作为主系统，控制各机器人节点通信，各连接的硬件装置驱动，动作。

机器人节点通信模块，通过消息，服务，动作等通信方式，用于实现节点间发布，接收端通信。摄像头与主系统二维码识别程序通信：采集的图像信息通过服务的通信方式，发送至主系统客户端，通过摄像头识别作业人员，商用物品，工厂，仓库用物品，医用物品，器材。精准定位，导航，移动至人员，物品，器材所在位置，自主取放商用物品，工厂，仓库用物品，医用物品位置，器材位置，机器臂扫描采集识别二维码等数据，管理校园，超市，商场，工厂，仓库，医用等场景识别信息结合，进行查询识别。

摄像头，雷达与主系统通信方式，摄像头采集的图像信息与雷达采集的信息通过消息，服务的通信方式，发送至主系统客户端实现场景自建地图。主系统与移动底盘通信：将创建的地图信息发布，与移动底盘节点通信，接受地图信息，实现自主导航。摄像头与双臂通信：摄像头采集的图像信息通过服务的通信方式，发送至主系统客户端与机器臂节点通信，实现动作规划等。

摄像头视觉识别模块，所述视觉识别模块用于采集发布图像信息，通过改进机器学习方法，改进深度学习方法技术，配置摄像头图像参数，学习训练图像，自主配置算法参数，用于识别人员人脸信息，语音信息，生物信息，人员所在位置，物品所在位置，自主导航，移动，整理，清点，摆放物品，器材，识别颜色，数字，文字，二维码，特殊标识等综合信息。

雷达定位导航模块，所述雷达定位导航模块，通过视觉识别，颜色，数字，字母，文字，特殊标识地图信息与雷达地图实时建图结合，双精确定位人员位置，物品位置，自主导航，移动到地图位置，通过配置雷达参数，自主创建实时地图与视觉识别，颜色，数字，字母，文字，特殊标识地图信息结合，SLAM路径规划实现自主定位，导航。

双臂动作规划模块，通过视觉识别校院场景物品(教室，实验室，图书馆)，商场物品(超市，商场)，医用物品(门诊，病房)，工厂，仓库用物品等识别目标，双臂同步动作，双臂协作，双臂连续动作，拾取和放置物体，双臂动作规划模块，所述双臂动作规划模块，通过配置双臂，腕，爪的位置参数，角度参数，规划抓，取动，放置作参数，双臂协作移动物品，器材，放置，用于清点，整理，摆放物品，器材。

语音模块，所述语音模块，通过配置定向识音装置，麦克等参数，通过语音识别，语音唤醒，语音文字转换技术，配置语言库，用于人-机器人间语音交互，语音指令，语音问询，语音知识问答。

本方案中，能够通过视觉识别模块，语音交互模块，雷达导航模块，双臂动作模块，实现视觉识别，语音交互，雷达和机器视觉下地图共建，双臂摆放校院场景物品(教室，实验室，图书馆)，商场物品(超市，商场)，医用物品(门诊，病房)，工厂，仓库用物品，扫码采集读取物品，器材。提高了物品，器材取放，管理智能程度，加速了智能化，无人化发展进程。

一种视觉识别，颜色数字，字母，文字特殊标识建图与雷达地图实时建图，定位导航方法，所述方法包括以下步骤：

S1.设置校院场景(教室，实验室，图书馆)，商场(超市，商场)，医用物品(门诊，病房)，工厂，仓库等场景规划参数，设置环境模块。

S2、输入对应颜色，数字，字母，文字特殊标识的数学模型。

S3、抽取颜色，数字，字母，文字标识的特殊特标识征包括颜色，数字，字母，文字标识图像的颜色，数字轮廓，字母，文字特殊标识颜色，轮廓对应的图像特征。

S4、颜色，数字，字母，文字，特殊标识值等的特征转化为输入数据。

S5、建立图像的特征的数学模型，输入检测项目特征值。

S6、改进权值优化器，快速训练图像，得到输出值。

S7、依据输出颜色，数字，字母，文字，特殊标识结果，精准识别目标，指定目标及定位目标位置。

S8.利用定位导航包，导航目标。机器人在校园馆内移动到目标位置，在主系统下指定导航目标，设置参数包括目标frame_id，goal_id和PoseStamped消息类型包括position pose和quaternion orientation消息类型的目标组成。

S9.路径规划节点的配置文件，包括base_local_planner_params.yaml，costmap_common_params.yaml，

global_costmap_params.yaml，local_costmap_params.yaml.base_local_planner_params.yaml配置文件中参数包括：频率，最大线速度，最小线速度，最大的旋转速度，最小的旋转速度，逃离时的速度，x方向最大的线加速度，y方向最大的线加速度，最大的角速度，距离目标方向的误差，距离目标位置的误差，全局路径规划和到达目的位置的权重，到达目的位置和全局路径规划之间的权重，避开障碍物的权重等参数。

S10.在节点中配置机器人半径参数，地图中障碍物半径。

global_costmap_params.yaml节点中，配置全局代价地图，全局地图更新频率，发布频率，静态地图，全局地图更新参数，在tf中框架之间的转换最大延时等参数。

S11.定位导航包进行路径规划和障碍物躲避。

一种视觉识别校院场景物品(教室，实验室，图书馆)，商场物品(超市，商场)，医用物品(门诊，病房)，工厂，仓库用物品的双臂协作，动作规划，物体的拾取和放置方法包括以下步骤：

一种校院场景物品，商场物品，医用物品，工厂，仓库用物品的识别方法：

S1、依据器材，物品的特征项包括颜色，轮廓，附属数字码，附属二维码，文字，特殊标识创建数学模型。

S2、抽取颜色，轮廓，数字码，二维码，文字，特殊标识包括颜色，数字，轮廓，数字码，二维码，文字，特殊标识文字标识图像对应的图像特征。

S3、颜色，数字，字母，文字，特殊标识值等的特征转化为输入数据。

S4、建立图像的特征的数学模型，输入检测项目特征值。

S5、改进权值优化器，快速训练图像，得到输出值。

S6、依据输出颜色，数字，字母，文字，特殊标识结果，精准识别抓取目标，指目标及定位返回抓取目标位置，

一种双臂协作，动作规划方法，物体的拾取和放置方法，所述方法包括以下步骤：

S1设置室内目标物的场景环境模块。

S2：创建目标物(设置目标物体尺寸，目标物体位姿，目标物体颜色)。

S3：设置运动规划：选择关节角度，关节限位设置，机械臂移动到指定的关节位形，关节限制，关节轨迹位置，速度分量，关节速度。

S4设置运动约束，目标轨迹，速度设置，执行规划的轨迹。

S5关节位置设置，关节角度设置。

S6机械臂上的笛卡尔路径，目标位姿所能拾取的物体对于机器人位姿参数设置。

S7设置机械臂防碰撞矩阵，防碰撞检测模块设置(机器人自身其他部位检测，场景障碍物检测)。

S8机械臂，爪参数设置，抓握，取放。

S9抓取位姿参数设置与匹配目标位姿。

S10：初始化放置抓取，物体的位置；抓取姿态对象。

S11：设置目标位置物体的放置位置。

S12：生成抓取姿态(初始化抓取对象，创建夹瓜张开闭合的姿态)

S13：设置期望的夹爪靠近，撤离目标的参数。

S14：设置抓取姿态。

S15：需求尝试改变姿态的数据列表。

S16：抓取姿态列表。

S17：改变姿态，生成抓取动作(设置抓取姿态；抓取ID号；设置允许接触的物体，设置抓取列表)。

附图说明

图1是本申请中校园机器人模块示意图

100-机器人主控制系统模块； 200-机器臂模块； 300-摄像头图像采集模块；

400-信息采集读取模块； 500-雷达建图，定位。导航模块；

600-视觉识别模块； 700-语音模块；

图2是本申请中校园机器人结构组成图

附图2标记：

10-摄像头； 20-右臂上臂； 30-左臂下臂；

40-主控制系统； 50-雷达； 60-转换托盘；

70-信息采集读取装置 80-底座； 90-语音麦克，拾音装置

图3是本申请中的双臂连续动作交互示意图

附图3标记：

1000-取物区放置区；20-右臂上臂；30-左臂下臂；60-置换托盘

具体实施方式

本方案主要是通过定向识音装置与麦克模块的参数设置，利用语音识别，语音文字转换，语音唤醒等方法，实现人-机器人语音交互，解决语音查询人员，物品，器材信息问题。

本方案主要是通过摄像头与图像参数的设置，利用改进的机器学习方法的颜色，形状，轮廓等综合特征分类人员，物品，器材，利用改进的机器学习方法与深度神经网络方法，实现了智能识别颜色，数字，字母，文字，特殊标识，并反馈人员，物品，器材等所在位置信息解决了机器人视觉识别，信息数据采集，读取，查询，管理物品，器材等问题。机器人用扫码器等信息采集读取装置查询与语音交互查询，提高物品，器材查询管理的效率及大大提高了查询的灵活性。

本方案主要是通过雷达模块设置，采用雷达实时建图方法，将摄像头识别的颜色，数字，字母，文字，特殊标识融入雷达实时创建地图，实现高精准定位。利用SLAM路径规划方法，实现高精准人员位置，物品，器材位置定位导航。大大提高了物品，器材，人员等管理效率，提高了自主定位导航的精度与效率。

本方案主要是通过双臂模块设置，利用反馈的位置信息，规划手臂抓取，摆放等动作。实现自主抓取，移动，摆放。利用机器人取代人完成重复作业，提高效率，节省人力成本。大大减轻了人力作业压力，提高了工作效率。

本申请实施中的技术方案为解决上述技术问题的总体思路如下：

一种视觉自主识别，移动，室内位置导航，动作的管理的机器人装置系统及方法，所述装置包括：机器人的主控制系统，摄像头，数据采集装置，语音装置模块，机器臂模块，摄像头图像采集模块，数据采集模块；雷达建图，定位。导航模块；视觉识别模块；语音模块。

为了更好的理解上述技术方案，下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

实施例1：

如图1所示，一种用于校园的人工智能机器人实施例包括：

机器人的主控制系统10，所述模块实现机器人的主控制10与摄像头40及信息采集读取装置70等数据采集装置，主控制系统10与机器臂20，30搭载，机器臂动作规划，收，取，移动校院场景物品(教室，实验室，图书馆)，商场物品(超市，商场)，医用物品(门诊，病房)，工厂，仓库用物品。主控制系统10与语音装置通信，机器人与用户间语音交互。

所述机器人主控制系统模块100与语音装置90连接，与语音模块900的通信连接，机器人与用户间语音交互，，采集语音信息，下达语音指令。

所述机器人主控制系统模块100与雷达50连接，与雷达建图，定位。导航模块500，雷达定位导航模块连接，主控制系统模块100向雷达50实时建图，定位导航，采集的地图位置信息，通过配置雷达参数，自主创建馆内实时地图，结合SLAM路径规划方法，实现自主定位，导航。

所述机器人主控制系统模块100与机器臂20，30连接，移动到器材，物品收集放置区域。机器人主控系统100通过位置转换包返回位置信息，利用机器人系统下的机器臂包，利用机器人主系统规划动作交互，实现图像采集，数据采集，设计机器人动作取，放置，双臂连续动作，双臂协作等动作规划，实现高效收，取，移动双臂摆放校院场景物品(教室，实验室，图书馆)，商场物品(超市，商场)，医用物品(门诊，病房)，工厂，仓库用物品，实现人---机器人友善交互设，高效管理。

所述机器人主控制系统模块100与摄像头图像采集模块300的通信连接，采集人脸图像，采码器及摄像头40采集人脸，语音，生物信息，场景信息，器材，物品图像数据。

所述机器人主控制系统模块100与数据采集模块400连接，用于采集人员对应信息，场景信息，物品，器材图像及数据。依据机器人主控制系统装置10指令，发布数据与数据分析程序节点通信，返回各传感器采集数据，查询，管理人员的信息数据。数据采集模块70用于采集人员的身份信息，位置信息，及其的对应场景信息等。

实施例2：

在实施例1的基础上，机器人主控制系统模块100与视觉识别模块600与雷达50建图，定位导航方法，如图2所示：

设置校园场景规划参数，环境模块。输入对应颜色，数字，字母，文字特殊标识综合特征等。抽取标识轮廓对应的图像特征。特征转化为输入数据。建立图像的特征，输入检测项目特征值。改进权值优化器，快速训练图像，得到输出值。依据特殊标识结果，精准识别目标，定位目标位置，

机器人移动到目标位置，在主系统10下指定导航目标，设置参数frame_id，goal_id，PoseStamped，PositionPose，Quaternion orientation消息类型的目标组成。路径规划节点的配置文件：base_local_planner_params.yaml，costmap_common_params.yaml，global_costmap_params.yaml，local_costmap_params.yaml.base_local_planner_params.yaml配置文件中参数，频率，最大线速度，最小线速度，最大的旋转速度，最小的旋转速度，逃离时的速度，x方向最大的线加速度，y方向最大的线加速度，最大的角速度，距离目标方向的误差，距离目标位置的误差，全局路径规划和到达目的位置的权重，到达目的位置和全局路径规划之间的权重，避开障碍物的权重等参数。在节点中配置机器人半径参数，地图中障碍物半径。

global_costmap_params.yaml节点中，配置全局代价地图，全局地图更新频率，发布频率，静态地图，全局地图参数，在tf中框架之间的转换最大延时等参数。定位导航包进行路径规划和障碍物躲避。利用定位导航包，导航目标。

实施例3：

在实施例1的基础上，机器人主控制系统模块与视觉识别模块与机器臂20，30交互，目标设定，目标识别，目标定位，动作规划方法如图3所示：

在取物区放置区1000，利用视觉识别模块创建，识别目标物(设置目标物体尺寸，目标物体位姿，目标物体颜色)，依据器材，物品，场景的特征项创建数学模型。抽取颜色，轮廓，数字码，二维码，文字，特殊标识图像对应的图像特征。分类，识别抓取目标。

将颜色，数字，字母，文字，特殊标识值等的特征值转化为输入数据。建立图像的特征的数学模型，输入检测项目特征值。改进权值优化器，快速训练图像，精准识别抓取目标，指目标及定位返回抓取目标位置。

机器右臂上臂20，左臂下臂30动作规划，设置关节角度，关节限位，机械臂移动到指定的关节位形，关节限制，关节轨迹位置，速度分量，关节速度。设置运动约束，目标轨迹，速度设置，执行规划的轨迹。目标位姿所能拾取的物体对于机器人位姿参数设置。设置机械臂防碰撞矩阵，防碰撞检测模块设置(机器人自身其他部位检测，场景障碍物检测)。机械臂，爪参数设置，抓握，取放，抓取位姿参数设置与匹配目标位姿。

初始化右臂上臂20，左臂下臂30放置抓取，物体的位置；抓取姿态对象。设置高度较低的0.1米-1.0米的取物区1000，目标位置，物体的放置位置。右臂上臂20抓取(初始化抓取对象，创建夹瓜张开闭合的姿态，撤离目标的参数)移动，放置在转换托盘60，左臂下臂30从转换托盘60抓取，移动到1.0米-2米高度较高的放置区1000，更新姿态，抓取。

Claims (8)

1.一种用于多模式综合信息识别自主定位导航移动式双臂机器人设备，系统及方法，自动控制及远程控制设备包括：移动底座，雷达，机器人视觉识别装置，定位移动导航装置，信息采集读取装置，语音装置，机器双臂动作模块和机器人主系统。机器人主系统包括：机器人节点通信模块，视觉识别模块，SLAM路径规划，定位导航模块，双臂动作规划模块，语音交互模块。机器人用可移动底座，雷达与主控系统连接，摄像头与主控系统相连接，语音装置与主控系统相连接，机器人双臂与可移动底座，主控系统相连接。机器人主系统与人员管理系统，物品，器材管理系统相连接。

2.根据权利要求1所述的主系统装置，其特征在于通过机器人系统实现主控制单元的，各场景下视频摄像头控制系统，人员管理，物品管理与机器人主控制系统相连接。

3.根据权利要求1所述的机器人视觉识别装置，其特征在于主系统和摄像头连接，改进了机器学习方法智能分类识别人脸，场景，物品，器材，改进了神经网络方法多模式识别校院(教室，实验室，图书馆)，商场(超市，商场)，医用(门诊，病房)，工厂，仓库等场景。以及各场景下多模式识别颜色，数字，字母，文字，特殊标识，数字码，二维码，人脸，生物信息等综合信息。

4.根据权利要求1所述的机器人定位移动导航装置，其特征在于主系统和移动底座，雷达，视觉摄像头相连接，通过雷达自建地图，SLAM路径规划模块，通过摄像头视觉识别，场景下的颜色，数字，字母，文字，特殊标识，二维码，人脸，语音，生物信息等综合信息，融合综合信息在场景地图与雷达实时创建地图结合，快速度，高精准定位各场景下人员，物品位置等信息，雷达地图位置，远端控制及机器视觉多模式识别的综合信息与雷达实时建图相融合实现高精准自主定位，导航，移动。

5.根据权利要求1所述的机器人双臂动作装置，其特征在于主系统和双臂连接，通过动作规划和改进的神经网络算法，利用双臂同步动作，双臂协作，双臂连续动作等双臂动作方式，实现远程控制，自主动作。处理物品，管理物品。

6.根据权利要求1所述的声音采集和麦克等语音装置，其特征在于主系统和声音采集模块，麦克等语音装置连接，改进语音识别方法，建立用户-机器人语音交互库，语音采集，语音合成，文字语音转换，语音识别等，智能查询人员信息，场景信息，物品信息，语音指令，远程语音控制机器人动作，语音管理人员，物品，器材等。

7.根据权利要求1所述的信息采集扫描读取装置，其特征在于其信息采集装置，扫描装置，读取装置与主系统连接，利用人员管理系统，物品器材管理系统与摄像头，扫描器，读取器，信息采集读取装置连接，通过改进机器学习算法与改进的神经网络方法，智能识别二维码，数字码，生物信息，RFID信息等管理人员，物品，器材等多种信息。

8.根据权利要求1所述的客户端与人员，物品管理系统，主控制系统连接，其特征在于远端控制及自主完成，双模式控制机器人设备及其节点。

Images