CN107265355A

CN107265355A - 一种基于智能穿戴和自然环境导航的智能拣选叉车系统

Info

Publication number: CN107265355A
Application number: CN201710544565.XA
Authority: CN
Inventors: 杨尚川; 王衍平; 孙福斋
Original assignee: Qingdao Haitong Intelligent Technology Co Ltd
Current assignee: Qingdao Haitong Intelligent Technology Co Ltd
Priority date: 2017-07-06
Filing date: 2017-07-06
Publication date: 2017-10-20

Abstract

本发明公开一种基于智能穿戴和自然环境导航结合的智能拣选叉车方法，并公开相应的实现系统，以实现仓储环境下高效率拣选的目的。该拣选叉车方法涉及的技术包括：(1)利用智能穿戴设备对人体的姿态和动作的采集和跟踪；(2)机器人车载传感器对自然环境信息的获取；(3)计算单元依据环境信息所作的决策算法。本发明针对仓储环境下拣选系统的普遍需求，通过车载传感器识别环境中的路线和障碍等，为机器人的精确运动提供导航服务，使得整个拣选系统具备操作方便、反应快捷、定位准确的特点。

Description

一种基于智能穿戴和自然环境导航的智能拣选叉车系统

技术领域

本发明涉及一种模拟人体手臂运动特征的移动机器人远程操控技术，以及一种高精度的室内机器人导航技术相结合的智能拣选叉车方法及系统。

背景技术

移动机器人是一种在可复杂环境下工作的，具有自规划、自组织、自适应能力的机器人，具有行动快捷、工作效率高、结构简单、可控性强、安全性好等优势，目前在国内外正在被广泛的应用。

在移动机器人相关技术研究中，导航技术属于其核心技术，也是实现智能化和自主移动的关键技术。目前常见的导航方式有电磁导航、惯性导航、视觉导航、无线导航、卫星导航、传感器数据导航等等。传统的导航方式或多或少存在着一些弊端，如磁导航灵活性差，定位不准确，智能性不高且大面积磁条铺设维护成本高；惯性导航灵活性好，但定位准确度差，运动过程中容易产生并积累偏差，适合于短距离移动；传统的视觉导航一般采用多目视觉的方式，定位精度可以达到很高，但在运动过程中的实时运算量很大，不够灵活，且受光照等周围环境的影响比较大；其他导航方式或多或少存在着稳定性差、定位精度低、或布设维护成本高等缺点。另外在控制系统方面，很多移动机器人的应用场景，面临着控制精度要求高，反应要求迅速准确等难点。传统的操控方式难以顾全，而且复杂的操作流程对操作员也带来一定难度。

发明内容

为了解决上述问题，本发明公开一种基于智能穿戴和自然环境导航结合的智能拣选叉车方法及系统，成本低，适应型和稳定性好，操控翻遍灵活，导航和定位精度高。

为实现上述目的，本发明公开了如下技术方案：

一种基于智能穿戴和自然环境导航的智能拣选叉车方法，包括智能穿戴控制和自然环境导航，具体包括如下步骤：

S1智能穿戴控制：

S101人体手臂图像的采集和特征提取分类：

S1011采用相机以多方位、多角度采集人体手臂图像，手臂的运动范围不超过相机的视场范围；

S1012采用可见光相机和红外相机相结合实时捕捉手臂和手掌的运动姿态，通过叉车上的车载传感器捕捉识别周围的自然环境信息，辅助识别手臂和手掌的姿态；智能穿戴设备识别手臂和手掌的姿态；

S1013在图像中将手臂和手掌部位从环境中识别并分离出来；

S1014提取当前手臂姿态和手掌姿态图像的特征点和深度信息，并进行关键特征点的识别和分类；

S102人体手臂和手掌运动轨迹跟踪和关键特征点空间移动数据的获取：

S1021计算图像中手臂和手掌特征点的三维空间坐标；

S1022根据连续的图像数据对手臂和手掌的关键特征点进行识别和跟踪，并计算相对运动轨迹和移动矢量数据；

S1023在前期重点捕捉手臂的运动轨迹，当手臂移动到指定位置后，重点跟踪手掌的运动状态；

S103机器人手臂和手掌运动控制指令的换算和无线输出：

S1031将人体手臂和手掌关键特征点的空间运动数据转换成机器人手臂和手掌对应关节的运动控制指令；

S1032将运动指令通过WiFi传输，控制机器人手臂部位执行相应的运动动作；

S2自然环境导航：

S201地图构建与机器人运动路径的规划：

S2011根据室内环境的布局在离线状态下构建地图，并设定机器人的运动范围，规划机器人的整体运动路径；

S2012设定特定点之间机器人的运动路径，其他情况下的运动路径由机器人自主计算；

S202区域细化与视觉路标的设定：

S2021将地图中机器人的运动区域按照运动路径的形式不同连续细分成多个不同形状的小区域；

S2022在每个细分区域中机器人运动路径的特定位置处布设视觉路标；

S203视觉路标的采集、处理和运动定位校正：

S2031当机器人运动到路标位置附近时，在车底机载视觉光源的辅助下，瞬时采集路标图像，处理并获取图像中的定位点坐标；

S2032根据路标定位信息，获取机器人当前的位置，及时进行运动控制；

S2033通过目标点处路标的多次采集，控制机器人准确定位到目标点位置，以便准确进行后续操作；

S204区域和路标信息的存储与查询：

S2041将每个细分区域中的多种位置和控制信息存储在YAML文件中，具体包括但不限于区域位置、形状，相邻区域的位置、区域中的路径信息、运动方式、拐弯半径、路标点位置、索引号以及路标对应物品的信息；

S2042机器人运动过程中动态查询当前细分区域的信息，按照规定的方式进行运动，及时进行运动控制和定位导航；

S2043机器人运动到终点位置处时，查询目标物体的空间方位信息，进行姿态调整；

S3智能穿戴控制下达指令后，叉车通过自然环境导航确定行进路径，在自然环境导航的基础上，由智能穿戴控制提供使用者的命令信息，实现对系统的操控。

进一步的，自然环境导航时，车载传感器以一定频率扫描自然环境信息，处理单元根据环境信息的原始数据，提取出可辨识的特征，特征被送往决策算法，帮助控制机器人行为。

进一步的，当遇到突发情况时，车载传感器实时监测环境中可能有危险的时间；当危险出现时，决策单元气动应急响应，保证人员和车体的安全。

进一步的，所述视觉路标分为三个区域，包括定位圆、方位标记区和编码区，在路标图像中，定位圆的大小和位置是固定的，通过定位圆半径这一已知条件来搜索确定定位圆的圆心，即路标的定位中心；方向标记区处于路标图像的某一特定角落位置，用于标示图像的正方向，在图像处理中根据这一标识变换图像的方向坐标轴；编码区中圆的位置大小和数目代表着一定的编码序号，这一序号索引在数据库中存着对应物品的相关信息。

一种基于智能穿戴和自然环境导航的智能拣选叉车系统，包括：

运动控制模块，对机器人进行运动姿态调整和运动状态控制；

控制数据运算模块，根据人体手臂和手掌的运动轨迹计算机器人手臂各个关节的运动控制数据；

导航与定位模块，获取机器人的准确位置，实现精确地机器人导航定位；

地图管理与路径规划模块，用于地图的构建、细化和机器人运动路径的规划；

图像采集与处理模块，采集并处理路标图像，实现机器人定位，并解码路标中所蕴含的索引信息；

人机交互管理模块，通过多种人机接口实现人机交互通讯、显示、配置和管理；

无线通信模块，安装于机器人现场和远程控制处，分别用于监控视频的传输和机器人手臂运动控制指令的获取和接收现场的监控视频和发送机器人控制指令。

进一步的，还包括安全模块，检测装置自身的安全状态，并执行相应的报警处理，对运动路径上的障碍物及时检测避让，采用接触障碍物缓冲器来防止机器人碰撞人或物时产生伤害或故障。

本发明公开的一种高精度的室内机器人导航技术相结合的智能拣选叉车方法及系统，具有以下有益效果：

1.本发明实用方便，智能程度高，符合智能机器人的发展趋势，视觉传感器相对于数据手套成本要低得多，便于推广应用；

2.本发明的适用场合非常广泛，适用于化工、电力、生物、爆破、海底开发、空间探索等危险领域中物品的抓取、装配、转移等工作。

3.本发明具有着自主导航、抗干扰能力强、无轨迹移动等优点，也通过视觉定位校准来克服了目前大多数导航方式定位精度差的问题。此外，视觉系统采用单目视觉，定点触发采集处理，相对于双目视觉实时定位导航的方式运算量要小的多，成本低，稳定性好。

4.本发明在地图构建时采用了区域细化的方式，同时针对细化区域存储了大量的位置和控制信息，提高了机器人的运动控制精度和效率。

5.本发明充分考虑到了布设在地面上的图像路标难免受到灰尘、脏污等干扰，采用了实圆的图像编码结构，其优点在于：一方面圆的检测采用统计投票的方式，有着很好的抗干扰能力；另一方面相对于单线圆而言，实体圆的鲁棒性更好。此外，定位圆相对于图像的大小和位置是固定的，因此中心定位速度非常快，可确保及时进行运动校正。

附图说明

图1为本发明的远程操控装置结构图；

图2为本发明中远程操控系统的实现示意图；

图3为本发明中远程操控技术的实现流程图；

图4为本发明的导航装置结构图；

图5为本发明中机器人运动导航流程图；

图6为本发明中的地图构建示意图；

图7为本发明采用的路标示例图像。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的核心是提供一种基于智能穿戴和自然环境导航结合的智能拣选叉车方法及系统，成本低，适应型和稳定性好，操控翻遍灵活，导航和定位精度高。

S1智能穿戴控制：智能穿戴设备上的传感器对人体进行动作采集，处理单元根据人体动作生成相应的指令，这些指令通过通信模块传递到机器人，实现对系统的控制，具体包括：

S101人体手臂图像的采集和特征提取分类：

S1013在图像中将手臂和手掌部位从环境中识别并分离出来；

S1021计算图像中手臂和手掌特征点的三维空间坐标；

S103机器人手臂和手掌运动控制指令的换算和无线输出：

S2自然环境导航：

S201地图构建与机器人运动路径的规划：

S202区域细化与视觉路标的设定：

S203视觉路标的采集、处理和运动定位校正：

S204区域和路标信息的存储与查询：

S2043机器人运动到终点位置处时，查询目标物体的空间方位信息，进行姿态调整(转动或调整机械部件等)；

在本发明的一种实施例中，自然环境导航时，车载传感器以一定频率扫描自然环境信息，处理单元根据环境信息的原始数据，提取出可辨识的特征，特征被送往决策算法，帮助控制机器人行为。

在本发明的一种实施例中，当遇到突发情况时，车载传感器实时监测环境中可能有危险的时间；当危险出现时，决策单元气动应急响应，保证人员和车体的安全。

在本发明的一种实施例中，所述视觉路标分为三个区域，包括定位圆、方位标记区和编码区，在路标图像中，定位圆的大小和位置是固定的，通过定位圆半径这一已知条件来搜索确定定位圆的圆心，即路标的定位中心；方向标记区处于路标图像的某一特定角落位置，用于标示图像的正方向，在图像处理中根据这一标识变换图像的方向坐标轴；编码区中圆的位置大小和数目代表着一定的编码序号，这一序号索引在数据库中存着对应物品的相关信息。

本发明还公开一种基于智能穿戴和自然环境导航的智能拣选叉车系统，包括：

在本发明的一种实施例中，还包括安全模块，检测装置自身的安全状态，并执行相应的报警处理，对运动路径上的障碍物及时检测避让，采用接触障碍物缓冲器来防止机器人碰撞人或物时产生伤害或故障。

见图1，分别的，机器人现场部分包括：

航模块，机器人通过GPS导航等自主导航或人工遥控的方式移动到目标附近；

视频采集模块，机器人自带监控摄像头用于实时传输目标附近的监控视频；

无线通信模块，用于监控视频的传输和机器人手臂运动控制指令的获取；

运动控制模块，根据运动控制指令控制机器人手臂各关节执行相应的动作；

安全模块，机器人自身安全状态的监测和控制指令的校验。

远程控制部分包括：

多目视觉采集模块，用于实时跟踪人体手臂和手掌的运动姿态；

图像处理模块，用于人体手臂和手掌特征点的识别提取和运动轨迹的跟踪；

控制数据运算模块，根据人体手臂和手掌的运动轨迹计算机器人手臂各个关节的运动控制数据。

无线通信模块，接收现场的监控视频和发送机器人控制指令。

本发明的一种基于穿戴和自然环境导航的智能拣选叉车系统，能够对机器人附近的地图进行有侧重的信息处理，并将自然环境的信息连同机器人本身的状态参数等同时考虑，提高了控制精度和运行效率。

本发明采用智能穿戴的方式对机器人进行实时控制，一方面在运动过程中控制者可以方便的通过手势命令等对机器人下达命令，及时进行运动控制；另一方面使得机器人能耐精确高效的移动到目标点位置，根据控制者的命令进行调整。

请参阅图2，是本发明实施例提供的基于人体手臂运动特征识别的移动机器人远程操控系统的实现示意图。

附图3是具体技术的实现流程图，主要包含如下步骤：

步骤一：现场部分，机器人通过自主导航或人工遥控的方式移动到目标附近，调整姿态，打开无线视频传输，开启远程操控系统；

步骤二：远程控制端，采用可见光和红外组合的多目相机在不同方位和角度采集人体手臂图像，通过图像处理，将手臂和手掌部分从环境中识别分离出来，并提取手臂和手掌的深度信息和特征点，对这些特征点进行识别分类，提取出特定关节部位的关键特征点，并计算其空间位置信息。

步骤三：在几帧连续的图像中，对各个关节部位的关键特征点进行跟踪，计算其空间位移矢量，进而转换成机器人手臂各个关节部位的运动控制指令，通过WiFi无线网络实时传输给现场机器人，机器人对指令进行校验后，执行相应的手臂动作。

步骤四：在远程控制前期，主要针对于双手手臂的运动控制，当手臂移动到特定位置时，重点识别和控制手掌部位的运动轨迹。

以上对本发明实施例提供的一种基于区域细化和视觉定位的室内机器人导航基于人体手臂运动特征识别的移动机器人远程操控技术和装置进行了详细介绍，相对于数据手套方式的手臂识别交互控制，本发明成本低、实用方便，智能程度更高，符合智能机器人的发展趋势。

附图4是本发明实施例提供的基于区域细化和视觉定位思想的室内机器人导航装置部分的组成示意图，具体包含运动控制模块、导航与定位模块、地图管理与路径规划模块、图像采集与处理模块、安全模块和人机交互管理模块。

附图5是本发明实施例提供的基于区域细化和视觉定位的室内机器人导航方法流程示意图，主要包括如下步骤：

步骤一：地图的构建和机器人运动路径的规划，参阅附图6，是地图构建的示意图。通过对室内布局的精确度量，构建离线地图，并规划出机器人的运动区域和运动路径。根据路径的形式不同，将运动区域细分成多个连续的、不同大小和形状的小区域，在每个区域中机器人运动路径的特定位置处布设视觉路标，用于导航定位。在YAML文件中存储区域的各种信息，如：区域位置、形状，相邻区域的位置，区域中的路径信息，运动方式，拐弯半径，路标点位置、索引号以及路标对应物品的信息等，便于机器人精确地运动控制和信息检索。

步骤二：当机器人得到移动指令后，获取从当前起始点到目标点的最优路径，这里的最优路径可以通过人工规定或自动计算的方式来获得。当机器人运动到一个新的细分区域时，查询该区域的运动和位置信息，按照设定方式进行运动。

步骤三：通过编码器估算，当机器人运动到路标点的正上方附近时，瞬时打开补光灯，采集路标图像，提取图像中的定位中心，实现机器人定位，并进行动态运动调整，最终控制机器人准确移动到终点路标点处，查询终点路标索引，获取目标物体的空间方位等信息，进行姿态调整(转动或调整机械部件等)。

步骤四：附图7所示为本发明采用的路标示例图像，分为3个区域：定位圆、方位标记区和编码区。在路标图像中，定位圆的大小和位置是固定的，通过定位圆半径这一已知条件来搜索确定定位圆的圆心，即路标的定位中心；方向标记区处于路标图像的某一特定角落位置，用于标示图像的正方向，在图像处理中根据这一标识变换图像的方向坐标轴；编码区中圆的位置、大小和数目代表着一定的编码序号，这一序号索引在数据库中存储着对应物品的相关信息。

以上对本发明实施例提供的一种基于区域细化和视觉定位的室内机器人导航技术和装置进行了详细介绍，相对于传统的导航方式，本发明具有定位精确、稳定性好、成本低、无轨迹移动自主导航的优点。

以上所述仅是本发明的优选实施方式，而非对其限制；应当指出，尽管参照上述各实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，其依然可以对上述各实施例所记载的技术方案进行修改，或对其中部分或者全部技术特征进行等同替换；而这些修改和替换，并不使相应的技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种基于智能穿戴和自然环境导航的智能拣选叉车方法，其特征在于，包括智能穿戴控制和自然环境导航，具体包括如下步骤：

S1智能穿戴控制：

S101人体手臂图像的采集和特征提取分类：

S1013在图像中将手臂和手掌部位从环境中识别并分离出来；

S1021计算图像中手臂和手掌特征点的三维空间坐标；

S103机器人手臂和手掌运动控制指令的换算和无线输出：

S2自然环境导航：

S201地图构建与机器人运动路径的规划：

S202区域细化与视觉路标的设定：

S203视觉路标的采集、处理和运动定位校正：

S204区域和路标信息的存储与查询：

2.根据权利要求1所述的一种基于智能穿戴和自然环境导航的智能拣选叉车方法，其特征在于，自然环境导航时，车载传感器以一定频率扫描自然环境信息，处理单元根据环境信息的原始数据，提取出可辨识的特征，特征被送往决策算法，帮助控制机器人行为。

3.根据权利要求2所述的一种基于智能穿戴和自然环境导航的智能拣选叉车方法，其特征在于，当遇到突发情况时，车载传感器实时监测环境中可能有危险的时间；当危险出现时，决策单元气动应急响应，保证人员和车体的安全。

4.根据权利要求1所述的一种基于智能穿戴和自然环境导航的智能拣选叉车方法，其特征在于，所述视觉路标分为三个区域，包括定位圆、方位标记区和编码区，在路标图像中，定位圆的大小和位置是固定的，通过定位圆半径这一已知条件来搜索确定定位圆的圆心，即路标的定位中心；方向标记区处于路标图像的某一特定角落位置，用于标示图像的正方向，在图像处理中根据这一标识变换图像的方向坐标轴；编码区中圆的位置大小和数目代表着一定的编码序号，这一序号索引在数据库中存着对应物品的相关信息。

5.一种基于智能穿戴和自然环境导航的智能拣选叉车系统，其特征在于，包括：

6.根据权利要求5所述的一种基于智能穿戴和自然环境导航的智能拣选叉车系统，其特征在于，还包括安全模块，检测装置自身的安全状态，并执行相应的报警处理，对运动路径上的障碍物及时检测避让，采用接触障碍物缓冲器来防止机器人碰撞人或物时产生伤害或故障。