CN112605991B - 结构化环境下机器人自主目标识别与高精度绝对定位方法 - Google Patents

Abstract

本发明提供的一种结构化环境下机器人自主目标识别与高精度绝对定位方法，通过具有自主移动和图像采集功能的机器人，利用图像采集传感器对工作环境整体进行图像采集并拼接为全局图像，借此对机器人进行目标识别和定位，本发明的定位方式是可间断的，建立了全局图像之后的任意时间都可以对机器人定位，避免了断电的风险，使机器人的定位更加灵活、可靠，特别适用于需要机器人通过视觉识别在工作环境中进行特定工作的任务，在其一边图像识别的过程中一边进行定位，避免使用GPS、加速度计等辅助定位模块的方法，进一步简化了机器人自主目标识别和定位方法，提高了机器的智能化和自适应性。

Description

结构化环境下机器人自主目标识别与高精度绝对定位方法

技术领域

本发明涉及定位算法领域，特别是涉及一种结构化环境下机器人自主目标识别与高精度绝对定位方法。

背景技术

自上世纪50年代以来，机器人视觉的概念在不断地发展、扩充，从单目图像识别到双目图像识别，机器人视觉识别的技术在日渐完善，又有广阔的发展前景。

对于移动机器人来说，如何在移动的环境中确定自身的位置是一个关键的技术问题。目前在移动机器人领域，一个通用的技术方法是通过使用IMU惯性测量技术，它的原理是通过多个相互正交的加速度计来记录物体移动的轨迹。但是这种方法必须保持运动的连贯性，一旦出现记录中断，便会出现误差，必须重新标定。因此，解决这一类的问题显得尤为重要。

发明内容

针对上述问题，本发明提供了种基于视觉的简便机器人自主识别与定位方法，提供机器人定位方法的同时，可以实现断电定位、重复定位且不依赖环境的变化。

为了实现上述技术方案，本发明提供了一种基于结构化环境信息的简便机器人目标识别与定位方法,包括有全局图像的构建和局部图像的匹配，首先建立全局图像以作为机器人定位的依据，然后可以进行任意的局部图像的匹配；所述全局图像的构建是把机器人放置在工作环境中，机器人在工作环境中进行自主运动，同时机器人上的图像采集传感器进行工作，随着机器人的运动不断采集图像，并进行拼接形成一张全局图像；所述的局部图像的匹配是在建立了全局图像之后，当机器人在任意位置时，通过机器人驱动其身上的图像传感器，拍摄当前所在位置的图像，并将机器人再次拍摄的图像在全局图像中进行搜索匹配，来确定机器人此时所在的位置，然后通过当前所在位置，规划出机器人前往目标工作位点的路线。

进一步改进在于，所述全局图像构建的步骤为：

步骤一：将双目视觉相机、机器人主体以及机器人行走机构组成的机器人放置在工作环境中；

步骤二：使机器人在环境中运动，机器人通过机器人行走机构在工作环境中运动，并且着重向全局图像构建不完整的区域移动；

步骤三：每运动一小段距离，就通过双目视觉相机采集一次图像，并且本次采集的图像与上一次采集的图像必须具有重叠的区域；

步骤四：通过图像拼接的方式，将所有采集的图像拼接在一起，如若采集的图像不够拼接成一张完整的全局图像，那么就重复进行上述步骤；

步骤五：完成全局图像的构建，并将之保存。

进一步改进在于，所述局部图像的匹配步骤如下：

步骤一：将机器人放置在已经构建了全局图像的工作环境中；

步骤二：机器人在工作环境中任意运动；

步骤三：当机器人需要找到一个工作位点时，则通过双目视觉相机采集此时的图像；

步骤四：通过图像匹配的方式，将采集到的局部图像与全局图像进行匹配，找到局部图像在全局图像中的位置，也同时找到工作位点在全局图像中的位置；

步骤五：基于全局图像是连续的，每一个点都是机器人所处的位置的映射，如果局部图像采集到的就是工作位点的局部图像，那么机器人就处于工作位点的工作位置，否则，机器人将沿着局部图像所在位置到目标位置的方向运动，即到达想要达到的工作位点。

进一步改进在于，图像匹配通过常用的图像匹配算法进行匹配，包括但不限于平均绝对差算法和绝对误差和算法。

进一步改进在于，所述双目视觉相机为可见光传感器，包含两个镜头，且每一个镜头都进行可见光图像的采集。

进一步改进在于，由两个镜头组成的双目视觉相机通过视差原理对共同采集的画面进行整合，得到所采集的图像中的特征距相机的距离；两个镜头之间的距离越大、单个镜头的视角越大，所采集的图像的精度就越高，随之的最小观测距离也越大。

进一步改进在于，所述双目视觉相机安装在机器人的四个侧面上。

本发明的有益效果是：通过应用于具有移动功能、具有图像采集功能的机器人，通过图像采集传感器对工作环境整体进行图像采集，拼接为全局图像，并能通过借助构建好的全局图像对机器人进行定位。本发明的定位方式是可间断的，建立了全局图像之后的任意时间都可以对机器人定位，这种定位方法避免了断电带来的风险，使机器人的定位更加可持续化；本发明的定位方法特别适用于需要机器人通过视觉识别在工作环境中进行特定工作的任务，在其一边图像识别的过程中一边进行定位；本发明的定位方法省去使用GPS、加速度计等辅助定位模块的方法，进一步简化了机器人定位方法。

附图说明

图1为本发明的机器人的结构示意图。

图2为本发明的流程图。

图3为全局图像构建方法的流程图。

图4为局部图像匹配方法的流程图。

其中：1、双目视觉相机；2、机器人主体；3、机器人行走机构。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

实施例一

根据图1-图4所示，本实施例提供了一种结构化环境下机器人自主目标识别与高精度绝对定位方法,包括有全局图像的构建和局部图像的匹配，首先建立全局图像以作为机器人定位的基础，然后再进行一次或多次的局部图像的匹配；所述全局图像的构建是把机器人放置在工作环境中，机器人通过自身的运动能力在工作环境中进行运动，同时机器人上的图像采集传感器进行工作，随着机器人的运动不断采集图像，并通过识别图像特征定位自身的工作位点，最后通过图像的特征将相邻的图像进行拼接，组合成一张全局图像；所述局部图像的匹配是在建立了全局图像之后，当机器人在任意位置时，通过机器人驱动其身上的图像传感器，拍摄当前所在位置的图像，并将机器人再次拍摄的图像在全局图像中进行搜索匹配，来确定机器人此时所在的位置，然后通过当前所在位置，规划出机器人前往所需工作位点的路线。

所述全局图像构建的步骤为：

步骤一：将双目视觉相机1、机器人主体2以及机器人行走机构3组成的机器人放置在工作环境中；

步骤二：使机器人在环境中运动，机器人通过机器人行走机构在工作环境中运动，并且着重向全局图像构建不完整的区域移动；

步骤三：每运动一小段距离，就通过双目视觉相机采集一次图像，并且本次采集的图像与上一次采集的图像必须具有重叠的区域；

步骤四：通过图像拼接的方式，将所有采集的图像拼接在一起，如若采集的图像不够拼接成一张完整的全局图像，那么就重复进行上述步骤；

步骤五：完成全局图像的构建，并将之保存。

所述局部图像的匹配步骤如下：

步骤一：将机器人放置在已经构建了全局图像的工作环境中；

步骤二：机器人在工作环境中任意运动；

步骤三：当机器人需要找到一个工作位点时，则通过双目视觉相机采集此时的图像；

步骤四：通过图像匹配的方式，将采集到的局部图像与全局图像进行匹配，找到局部图像在全局图像中的位置，也同时找到工作位点在全局图像中的位置；

步骤五：基于全局图像是连续的，每一个点都是机器人所处的位置的映射，如果局部图像采集到的就是工作位点的局部图像，那么机器人就处于工作位点的工作位置，否则，机器人将沿着局部图像所在位置到目标位置的方向运动，即到达想要达到的工作位点。

图像匹配通过常用的图像匹配算法进行匹配，包括但不限于平均绝对差算法和绝对误差和算法。

所述双目视觉相机为可见光传感器，包含两个镜头，且每一个镜头都进行可见光图像的采集。

由两个镜头组成的双目视觉相机通过视差原理对共同采集的画面进行整合，得到所采集的图像中的特征距相机的距离；两个镜头之间的距离越大、单个镜头的视角越大，所采集的图像的精度就越高，随之的最小观测距离也越大。

所述双目视觉相机安装在机器人的四个侧面上。

本实施例中的机器人，其形式可以是有能力在一维路线上运行的机器人，也可以是在二维、三维空间中运动的机器人。其运动方式包括但不限于轨道运动方式、四轮小车运动方式、旋翼飞行运动方式。

本实施例中的机器人，其工作内容是在工作环境中运动，并在工作环境中的特定位置依靠视觉识别进行某种作业任务。这种机器人包括但不限于：物流机器人的搬运任务、喷涂机器人的喷涂任务等。

本实施例中的机器人上安装图像采集传感器，包括但不限于采集可见光的单目或双目相机、采集红外线的红外传感器等。

本实施例中的机器人行走机构共有4个，呈长方形布置在机器人的两边，每边两个。每个行走机构具有转向和直行的功能，可以操控机器人沿各个方向行进、转弯。

本实施例中，全局图像的构建过程与局部图像的匹配过程是分开进行的。全局图像的构建过程在机器人所有的工作之前进行，建立全局图像，作为机器人定位的基础。局部图像的匹配伴随着机器人在工作空间中的工作不断进行，每当机器人需要找到工作点位的时候，就进行一次的或者多次的局部图像匹配，随时的局部图像匹配可以提高精度。

其中，全局图像的构建过程和方法如下：

机器人在其运动空间中进行运动，同时由于运动时的图像采集会失真，为了图像采集更加准确，每运动一段距离，机器人暂停运动，并拍摄图像。为了连续拍摄的两张照片可以完整地拼接在一起，以每一个小于图像视野空间的步长为最小步长，将每一个停顿点的图像保存，并通过不仅限于特征匹配的方式进行合成。合成得到的一张全局图像。

局部图像的匹配过程的方法如下：

全局图像代表了机器人的工作空间。在建立了全局图像之后，机器人需要机器人定位工作位置的时候，需要进行局部图像的匹配。局部图像的匹配需要机器人在此时所在的任意位置拍摄图像，称作为待匹配图像。将待匹配图像在全局图像中检索，匹配图像在全局图像中的绝对位置代表了机器人的绝对位置。全局图像包含了比较大的区域，局部的待匹配图像是全局图像的子集，其匹配方法包括但不限于平均绝对差算法、绝对误差和算法等。

本发明公开提供的一种基于视觉的机器人定位方法，通过应用于具有移动功能、具有图像采集功能的机器人，通过图像采集传感器对工作环境整体进行图像采集，拼接为全局图像，并能通过借助构建好的全局图像对机器人进行定位，本发明的定位方式是可间断的，建立了全局图像之后的任意时间都可以对机器人定位，没有了断电的风险，使机器人的定位更加可持续化，特别适用于需要机器人通过视觉识别在工作环境中进行特定工作的任务，在其一边图像识别的过程中一边进行定位，避免了使用加速度计等辅助定位模块的方法，进一步简化了机器人定位方法

实施例二

本实施例结合一个具体的工作场景详细说明基于视觉的机器人定位方法。

对于物流搬运机器人，需要机器人识别货架的位置，并且在货架上进行物体堆放。由于机器人的相机通常只能布置在底盘上，也即只能布置在高度比较低的位置，一般来说是20-30cm高。在这个高度的货架的形式、种类多样，机器人通过纯视觉识别的方式对货架的每个区域进行识别，判断哪个位置是可以放置物体的位置、哪个位置是货架的结构部件等。

机器人在工作之前需要对货架进行整体建模，也即建立货架的全局图像。对于一个长度为3m的货架，在这个长度范围内，共能垒放5组物品，也即每组物品占用货架600mm的长度空间。布置机器人使其侧面朝向货架，侧面与货架表面平行，距离货架20-30cm，机器人可以沿货架的长度方向运动、且侧面与货架表面始终保持大致平行。

由于机器人的侧面距离货架有20-30cm，所以对于每一时刻，每一个双目视觉相机采集到图像的水平方向长度大致为500mm，机器人每前进300mm左右，就停顿一次，并采集一次图像。这样，当机器人走完整个货架时，总共采集到10张图像，这10张图像可以拼接成一张完整的货架图像。

那么当机器人需要在搬运物品的时候，例如对于第二个物品栏位，需要使机器人运动到货架的约900mm处位置。此时由于机器人不知道自身的位置，那么驱动机器人的图像采集传感器采集此时的局部图像，并将局部图像匹配于全局图像，若局部图像匹配的结果是机器人处于2000mm处，那么就需要驱动机器人后退；若局部图像匹配的结果是机器人处于货架的300mm处，那么就需要驱动机器人前进，使其到达第二个物品摆放栏位。以此类推，当机器人需要执行每一个动作时，就通过进行局部图像采集并对其进行匹配，使机器人可以将其自身进行准确地定位。

实施例三

本实施例结合一个具体的工作场景详细说明基于视觉的机器人自主定位方法。

对于需要在室内环境进行工作的服务机器人，需要确定机器人在整个室内空间中的位置、确定机器人在室内空间中的高度。室内环境的尺寸为长10m、宽10m、高10m。机器人可以为一种四旋翼飞行器。在机器人的上下前后左右都布置有相机。

在构建三维空间的全局图像的时候，为了获得更高精度的机器人自主定位，机器人需要对每一面墙壁都进行全局图像的构建。

对于四旋翼飞行器而言，机器人运动时需要距离墙壁1m左右。在这一距离上，机器人可以采集到约长2m、宽2m的墙壁图像。因此，对每一面墙壁机器人需要采集至少25张图像来完成这一面墙壁的图像构建。为了使全局图像构建得更加顺利，机器人以1m的步长在每一面墙壁前进行移动并采集图像，每一面墙壁可以采集到约100张图像，将这些图像进行拼接，构建出每一面墙壁的全局图像。

那么当机器人需要对自身进行定位的时候，通过机器人上的不共面的两台或多台相机采集此时的图像，再通过将这些图像与对应平面内的全局图像进行匹配，就能够得到机器人此时的位置。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种结构化环境下机器人自主目标识别与高精度绝对定位方法,其特征在于：包括有全局图像的构建和局部图像的匹配，首先建立全局图像以作为机器人定位的依据，然后再进行一次或多次的局部图像的匹配；所述全局图像的构建是把机器人放置在工作环境中，机器人通过自身的运动能力在工作环境中进行图像采集、存贮和拼接，最终组合成一张全局图像；所述局部图像的匹配是在建立了全局图像之后，当机器人在任意位置时，通过机器人驱动其身上的图像传感器，拍摄当前所在位置的图像，并将机器人再次拍摄的图像在全局图像中进行搜索匹配，来确定机器人此时所在的位置，然后通过当前所在位置，规划出机器人前往目标工作位点的路线；

所述全局图像构建的步骤为：

步骤一：将双目视觉相机、机器人主体以及机器人行走机构组成的机器人放置在工作环境中；

步骤二：使机器人在环境中运动，机器人通过行走机构在工作环境中运动，并且着重向全局图像构建不完整的区域移动；

步骤三：每运动一小段距离，就通过双目视觉相机采集一次图像，并且本次采集的图像与上一次采集的图像必须具有重叠的区域；

步骤四：通过图像拼接的方式，将所有采集的图像拼接在一起，如若采集的图像不够拼接成一张完整的全局图像，那么就重复进行上述步骤；

步骤五：完成全局图像的构建，并将之保存；

所述局部图像的匹配步骤如下：

步骤一：将机器人放置在已经构建了全局图像的工作环境中；

步骤二：机器人在工作环境中任意运动；

步骤三：当机器人需要找到一个工作位点时，则通过双目视觉相机采集此时的图像；

步骤四：通过图像匹配的方式，将采集到的局部图像与全局图像进行匹配，找到局部图像在全局图像中的位置，也同时找到工作位点在全局图像中的位置；

步骤五：基于全局图像是连续的，每一个点都是机器人所处的位置的映射，如果局部图像采集到的就是工作位点的局部图像，那么机器人就处于工作位点的工作位置，否则，机器人将沿着局部图像所在位置到目标位置的方向运动，即到达想要达到的工作位点。

2.根据权利要求1所述的结构化环境下机器人自主目标识别与高精度绝对定位方法,其特征在于，图像匹配通过常用的图像匹配算法进行匹配，包括但不限于平均绝对差算法和绝对误差和算法。

3.根据权利要求1所述的结构化环境下机器人自主目标识别与高精度绝对定位方法,其特征在于，所述双目视觉相机为可见光传感器，包含两个镜头，且每一个镜头都进行可见光图像的采集。

4.根据权利要求3所述的结构化环境下机器人自主目标识别与高精度绝对定位方法,其特征在于，由两个镜头组成的双目视觉相机通过视差原理对共同采集的画面进行整合，得到所采集的图像中的特征距相机的距离；两个镜头之间的距离越大、单个镜头的视角越大，所采集的图像的精度就越高，随之的最小观测距离也越大。

5.根据权利要求1所述的结构化环境下机器人自主目标识别与高精度绝对定位方法,其特征在于，所述双目视觉相机安装在机器人的四个侧面上。

Images