CN112621753B - 机器人定位方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种机器人定位方法、电子设备及存储介质。该方法包括：利用第一定位系统获取机器人的第一位姿；基于第一位姿判断机器人是否到达以节点为中心的预设范围内；若是，则利用第二定位系统获取当前图像；将当前图像与节点的模板图像进行匹配，得到匹配结果；基于匹配结果获取机器人的第二位姿；利用第二位姿对第一位姿进行更新。通过上述方式，能够提高对机器人定位的准确性。

Description

机器人定位方法、电子设备及存储介质

技术领域

本申请涉及机器人技术领域，特别是涉及一种机器人定位方法、电子设备及存储介质。

背景技术

随着工业4.0发展目标提出，工厂自动化和智能化水平逐渐成为各种制造业关注焦点。为了提升工厂的运转效率，经常需要利用可移动机器人搬运物料，以节省人力，缩短物资的流动时间。

其中，利用机器人搬运物料的原理可以为：对机器人定位，根据定位结果，对机器人进行导航，以使机器人按照既定路线运动至目的地。因此，对机器人定位的准确性至关重要。

但是，现有的机器人定位方法对机器人定位的准确性不高。

发明内容

本申请提供一种机器人定位方法、电子设备及存储介质，能够解决现有的机器人定位方法对机器人定位的准确性不高的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种机器人定位方法。该方法包括：利用第一定位系统获取机器人的第一位姿；基于第一位姿判断机器人是否到达以节点为中心的预设范围内；若是，则利用第二定位系统获取当前图像；将当前图像与节点的模板图像进行匹配，得到匹配结果；基于匹配结果获取机器人的第二位姿；利用第二位姿对第一位姿进行更新。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。

通过上述方式，本申请考虑到用第一定位系统得到的第一位姿可能不准确，因此没有直接将第一位姿作为对机器人当前的位姿。而是进一步在第一位姿表明机器人已经到达以节点为中心的预设范围内之后，利用第二定位系统获取当前图像，并将当前图像与节点的模板图像进行匹配，根据匹配结果获取第二位姿，利用第二位姿对第一位姿进行更新，将经更新的位姿作为机器人当前的位姿。从而能够提高对机器人定位的准确性。并且，通过利用第一定位系统和第二系统两者来对机器人定位的方式，可以减少需要存储的路径中的节点信息，可以节省存储空间，同时可以减少当前图像与模板图像匹配过程所需要的时间。

附图说明

图1是本申请机器人定位方法实施例一的流程示意图；

图2是本申请预先规划的路径的节点示意图；

图3是本申请机器人定位方法实施例二的流程示意图；

图4是图3中S22的具体流程示意图；

图5是图3中S23的具体流程示意图；

图6是图5中S233的具体流程示意图；

图7是图6中S2332的具体流程示意图；

图8是本申请当前特征点对和其他特征点对的示意图；

图9是本申请机器人定位方法实施例三的流程示意图；

图10是本申请机器人定位方法实施例四的流程示意图；

图11本申请电子设备一实施例的结构示意图；

图12是本申请存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

图1是本申请机器人定位方法实施例一的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：

S11：利用第一定位系统获取机器人的第一位姿。

第一定位系统可以但不限于为里程计、惯性传感器(IMU)。

里程计可以推算机器人的运动信息，运动信息可以包括运动距离和运动角度，从而可以根据运动距离和运动角度获取机器人的第一位姿。

惯性传感器可以获取机器人的角速度和加速度，从而可以根据角速度和加速度获取机器人的第一位姿。

S12：基于第一位姿判断机器人是否到达以节点为中心的预设范围内。

预先为机器人规划的路径中可以包括多个节点。结合图2进行说明，图2中包括节点1-11。每个节点的坐标和角度已知，相邻两节点之间的距离已知，例如节点9和节点10之间的距离为m。

本步骤所指节点可以为路径中机器人经过上一节点后将要到达的下一节点。

若是，则执行S13。

S13：利用第二定位系统获取当前图像。

可以理解的是，使用第一定位系统对机器人自主导航的过程中，受限于第一定位系统的精度，第一定位系统对机器人的定位存在误差，并且误差无法消除，且误差会随着时间逐渐累积，使得获取到的机器人的第一位姿不准确。

第二定位系统本身可以对机器人进行视觉导航。具体而言，第二定位系统可以根据机器人所处环境的变化对机器人定位。但是，当环境信息不够丰富、光照不够充足等因素存在时，可能导致第二定位系统难以识别出环境的变化，使其无法对机器人进行准确定位。

因此本申请结合第一定位系统和第二定位系统来对机器人定位。在基于第一位姿判断出机器人已经进入以节点为中心的预设范围内之后，利用第二定位系统来对利用第一定位系统得到的第一位姿进行验证。

第二定位系统可以为相机传感器。可以利用相机传感器获取机器人当前实际所处位姿下的图像，即当前图像，以便根据当前图像确定第一位姿是否准确。

在进入S14之前，还可以基于相机传感器的内设参数对当前图像进行处理，以去除当前图像的畸变。另外，还可以基于相机传感器和机器人的外设参数，将当前图像的坐标转换到机器人中心。

S14：将当前图像与节点的模板图像进行匹配，得到匹配结果。

可选地，模板图像覆盖的区域范围大于第一定位系统的误差区域范围。

继续结合图2进行说明，预先为机器人规划的路径中每个节点具有一张模板图像，模板图像的尺寸为t^2。t大于第一定位系统的误差区域的直径e，以保证模板图像能够覆盖第一定位系统的误差区域。t可以大于、等于、或者略小于以节点为中心的预设范围的直径s，在此不作具体限定。

可以将获取到的当前图像与路径中各节点的模板图像一一进行匹配，得到对应的匹配结果。匹配结果可以包括当前图像与节点的模板图像是否匹配，以及与哪个节点的模板图像匹配。

S15：基于匹配结果获取机器人的第二位姿。

本步骤详细描述请参见后面的实施例。

S16：利用第二位姿对第一位姿进行更新。

获取到的第二位姿与第一位姿可能相同，也可能不同。当第二位置不同于第一位姿，就意味着第一位姿不准确，在此情况下，可以直接将第一位姿替换为第二位姿，也可以通过滤波、加权等方式第一位姿和第二位姿进行处理，利用处理结果替换第一位姿。

此外，在其他实施例中，在第一定位系统为里程计的情况下，S15之后还可以包括：基于第二位姿调整(里程计推算的)运动信息。

其中，可以基于第二位姿对应的坐标和角度、第一位姿对应的坐标和角度以及机器人经过的上一节点的坐标和角度，调整里程计推算的运动信息，从而能够实现对里程计推算的运动信息的误差进行纠正，提高后续对机器人定位的准确度。

通过本实施例的实施，本申请考虑到用第一定位系统得到的第一位姿可能不准确，因此没有直接将第一位姿作为对机器人当前的位姿。而是进一步在第一位姿表明机器人已经到达以节点为中心的预设范围内之后，利用第二定位系统获取当前图像，并将当前图像与节点的模板图像进行匹配，根据匹配结果获取第二位姿，利用第二位姿对第一位姿进行更新，将经更新的位姿作为机器人当前的位姿。从而能够提高对机器人定位的准确性。并且，通过利用第一定位系统和第二系统两者来对机器人定位的方式，可以减少需要存储的路径中的节点信息，可以节省存储空间，同时可以减少当前图像与模板图像匹配过程所需要的时间。

图3是本申请机器人定位方法实施例二的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。本实施例是对S14的进一步扩展，如图3所示，本实施例可以包括：

S21：获取当前图像中的特征点的信息和模板图像中的特征点的信息。

可以使用ORB特征提取当前图像中和模板图像中的特征点，并获取每个特征点的信息(描述子)。

S22：将当前图像中的特征点的信息与模板图像中的特征点的信息进行匹配，得到特征点对集合。

特征点对集合由当前图像和模板图像中匹配的特征点对组成。

结合参阅图4，S22可以包括以下子步骤：

S221：分别获取当前图像中的各特征点的信息与模板图像中的各特征点的信息之间的第三距离。

S222：将对应第三距离小于第一预设距离阈值的特征点对作为匹配的特征点对。

S23：去除特征点对集合中错误匹配的特征点对。

考虑到特征点对可能被错误匹配，因此在得到特征点对集合之后，还可以对其中包括的匹配的特征点对进行筛选，以过滤掉其中错误匹配的特征点对。

结合参阅图5，S23可以包括以下子步骤：

S231：依次将特征点对集合中每个特征点对作为当前特征点对，并从特征点对集合中选取一个其他特征点对。

S232：获取当前特征点对和其他特征点对中属于当前图像中的两个特征点之间的第一距离，获取当前特征点对和其他特征点对中属于模板图像中的两个特征点之间的第二距离。

第一距离可以包括垂直方向上的第一距离和水平方向上的第一距离，第二距离可以包括垂直方向上的第二距离和水平方向上的第二距离。

垂直方向上的第一距离可以为属于当前图像中的两个特征点在垂直方向的距离，水平方向上的第一距离可以为属于当前图像中的两个特征点在水平方向上的距离，垂直方向上的第二距离可以为属于模板图像中的两个特征点在垂直方向的距离，水平方向上的第二距离可以为属于模板图像中的两个特征点在水平方向上的距离。

其中，本步骤所指第一距离和第二距离可以为特征点的像素坐标之间的距离。

S233：基于第一距离和第二距离判断当前特征点对是否错误匹配。

若是，则执行S234。

结合参阅图6，S233可以包括以下子步骤：

S2331：确定垂直方向上的第一距离和水平方向上的第一距离中的第一最大值和第一最小值，确定垂直方向上的第二距离和水平方向上的第二距离中的第二最大值和第二最小值。

S2332：基于第一最大值、第一最小值、第二最大值和第二最小值判断当前特征点对是否错误匹配。

结合参阅图7，S2332可以包括以下子步骤：

S23321：获取第一最大值和第二最大值之间的第一差值，获取第一最小值和第二最小值之间的第二差值。

S23322：判断第一差值和第二差值是否满足第一预设条件。

第一预设条件包括第一差值小于第一预设差值阈值，且第二差值小于第二预设差值阈值。

若不满足，则执行S23323。

S23323：认为当前特征点对错误匹配。

S234：将当前特征点对从特征点对集合中移除。

S24：基于特征点对集合中剩余的特征点对，得到匹配结果。

下面以一个例子的形式对本实施例S231-S234进行说明。结合参阅图8，当前特征点对为(kp1_1，kp2_1)，其他特征点对为(kp1_2，kp2_2)。

其中，kp1_1和kp1_2为当前图像中的特征点，kp2_1和kp2_2为模板图像中的特征点。kp1_1的坐标为(kp1_1.x，kp1_1.y)，kp1_2的坐标为(kp1_2.x，kp1_2.y)，kp2_1的坐标为(kp2_1.x，kp2_1.y)，kp2_2的坐标为(kp2_2.x，kp2_2.y)。

那么可以得到水平方向上的第一距离：

abs(kp1_1.x-kp1_2.x)；

垂直方向上的第一距离：

abs(kp1_1.y-kp1_2.y)；

水平方向上的第二距离：

abs(kp2_1.x-kp2_2.x)；

垂直方向上的第二距离：

abs(kp2_1.y-kp2_2.y)。

进一步，可以得到水平方向上的第一距离和垂直方向上的第一距离中的第一最大值：

l1＝max(abs(kp1_1.x-kp1_2.x),abs(kp1_1.y-kp1_2.y))；

第一最小值：

s1＝min(abs(kp1_1.x-kp1_2.x),abs(kp1_1.y-kp1_2.y))；

水平方向上的第二距离和垂直方向上的第二距离中的第二最大值：

l2＝max(abs(kp2_1.x-kp2_2.x),abs(kp2_1.y-kp2_2.y))；

第二最小值：

s2＝min(abs(kp2_1.x-kp2_2.x),abs(kp2_1.y-kp2_2.y))。

再进一步，可以得到第一最大值和第二最大值之间的第一差值：

abs(l1-l2)；

第一最小值和第二最小值之间的第二差值：

abs(s1-s2)。

若abs(l1-l2))≥l_threshold或abs(s1-s2)≥s_threshold，则可以认为(kp1_1，kp2_1)为错误匹配的特征点对。

其中，上述abs代表求绝对值，max代表求最大值，min代表求最小值，l_threshold代表第一预设差值，s_threshold代表第二预设差值。

图9是本申请机器人定位方法实施例三的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图9所示的流程顺序为限。本实施例是对S24的进一步扩展，如图9所示，本实施例可以包括：

S31：判断剩余的特征点对是否满足第二预设条件。

第二预设条件至少包括以下一种：剩余的特征点对的数量大于预设数量阈值，对各剩余的特征点对对应的第三距离从小到大排序后，排序靠前的预设数量个第三距离的均值小于第二预设距离阈值，基于剩余的特征点对获取到的当前图像相对于模板图像的偏移量小于或者等于当前图像的尺寸。

基于剩余的特征点获取当前图像相对于模板图像的偏移量的方法请参见后面步骤的说明。

可以理解的是，当前图像相对于模板图像的偏移量小于或者等于当前图像的尺寸，就意味着当前图像与模板图像至少部分相交，也即是机器人当前即将进入或者已经进入模板图像覆盖的区域范围内。

当前图像的尺寸可以为当前图像的像素大小。

若满足，则执行S32；若不满足，则执行S33。

S32：认为当前图像与模板图像匹配。

S33：认为当前图像与模板图像不匹配。

图10是本申请机器人定位方法实施例四的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图9所示的流程顺序为限。本实施例是对上述实施例的进一步扩展，其中S41是S31之前可以包括的步骤，S44是对S15的进一步扩展，如图9所示，本实施例可以包括：

S41：基于剩余的特征点对，获取当前图像相对于模板图像的偏移量和旋转量。

其中，可以利用剩余的特征点对中，不少于4个的特征点对的像素坐标进行单应性矩阵解算，并将解算结果转换为相对于模板图像的坐标和角度的偏移量、旋转量。

S42：判断剩余的特征点对是否满足第二预设条件。

若满足，则执行S43-S44；若不满足，则执行S45。

S43：认为当前图像与模板图像匹配。

S44：基于偏移量和旋转量获取机器人的第二位姿。

可以理解的是，在当前图像与模板图像匹配的情况下，获取到的第二位姿才有参考价值。

S45：认为当前图像与模板图像不匹配。

本步骤其他详细描述请参考前面实施例的说明，在此不再重复。

图11是本申请电子设备一实施例的结构示意图。如图11所示，该电子设备包括处理器51、与处理器51耦接的存储器52。

其中，存储器52存储有用于实现上述任一实施例的方法的程序指令；处理器51用于执行存储器52存储的程序指令以实现上述方法实施例的步骤。其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

图12是本申请存储介质一实施例的结构示意图。如图12所示，本申请实施例的计算机可读存储介质60存储有程序指令61，该程序指令61被执行时实现本申请上述实施例提供的方法。其中，该程序指令61可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质60中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质60包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种机器人定位方法，其特征在于，包括：

利用第一定位系统获取所述机器人的第一位姿；

基于所述第一位姿判断所述机器人是否到达以节点为中心的预设范围内；

若是，则利用第二定位系统获取当前图像；

将所述当前图像与所述节点的模板图像进行匹配，得到匹配结果；

基于所述匹配结果获取所述机器人的第二位姿；

利用所述第二位姿对所述第一位姿进行更新；

其中，所述将所述当前图像与所述模板图像进行匹配，得到匹配结果，包括：

获取所述当前图像中的特征点的信息和所述模板图像中的特征点的信息；将所述当前图像中的特征点的信息与所述模板图像中的特征点的信息进行匹配，得到特征点对集合，所述特征点对集合由所述当前图像和所述模板图像中匹配的特征点对组成；依次将所述特征点对集合中每个所述特征点对作为当前特征点对，并从所述特征点对集合中选取一个其他特征点对；获取所述当前特征点对和所述其他特征点对中属于所述当前图像中的两个特征点之间的第一距离，获取所述当前特征点对和所述其他特征点对中属于所述模板图像中的两个特征点之间的第二距离；基于所述第一距离和所述第二距离判断所述当前特征点对是否错误匹配；若是，则将所述当前特征点对从所述特征点对集合中移除；基于所述特征点对集合中剩余的特征点对，得到所述匹配结果。

2.根据权利要求1所述的方法，其特征在于，

所述第一距离包括垂直方向上的第一距离和水平方向上的第一距离，所述第二距离包括垂直方向上的第二距离和水平方向上的第二距离，所述垂直方向上的第一距离为所述属于当前图像中的两个特征点在垂直方向的距离，所述水平方向上的第一距离为所述属于当前图像中的两个特征点在水平方向上的距离，所述垂直方向上的第二距离为所述属于模板图像中的两个特征点在垂直方向的距离，所述水平方向上的第二距离为所述属于模板图像中的两个特征点在水平方向上的距离。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一距离和所述第二距离判断所述当前特征点对是否错误匹配，包括：

确定所述垂直方向上的第一距离和所述水平方向上的第一距离中的第一最大值和第一最小值，确定所述垂直方向上的第二距离和所述水平方向上的第二距离中的第二最大值和第二最小值；

基于所述第一最大值、所述第一最小值、所述第二最大值和所述第二最小值判断所述当前特征点对是否错误匹配。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一最大值、所述第一最小值、所述第二最大值和所述第二最小值判断所述当前特征点对是否错误匹配，包括：

获取所述第一最大值和所述第二最大值之间的第一差值，获取所述第一最小值和所述第二最小值之间的第二差值；

判断所述第一差值和第二差值是否满足第一预设条件，所述第一预设条件包括所述第一差值小于第一预设差值阈值，且所述第二差值小于第二预设差值阈值；

若不满足，则认为所述当前特征点对错误匹配。

5.根据权利要求1所述的方法，其特征在于，所述将所述当前图像中的特征点的信息与所述模板图像中的特征点的信息进行匹配，得到特征点对集合，包括：

分别获取所述当前图像中的特征点的信息与所述模板图像中的特征点的信息之间的第三距离；

将对应的所述第三距离小于第一预设距离阈值的特征点对作为所述匹配的特征点对。

6.根据权利要求5所述的方法，其特征在于，所述匹配结果包括所述当前图像与所述模板图像是否匹配，所述基于所述特征点对集合中剩余的特征点对，得到所述匹配结果，包括：

判断所述剩余的特征点对是否满足第二预设条件，所述第二预设条件至少包括以下一种：所述剩余的特征点对的数量大于预设数量阈值，对各所述剩余的特征点对对应的所述第三距离从小到大排序后，排序靠前的预设数量个所述第三距离的均值小于第二预设距离阈值，基于所述剩余的特征点对获取到的所述当前图像相对于所述模板图像的偏移量小于或者等于所述当前图像的尺寸；

若满足，则认为所述当前图像与所述模板图像匹配；

若不满足，则认为所述当前图像与所述模板图像不匹配。

7.根据权利要求6所述的方法，其特征在于，在所述判断所述剩余的特征点对是否满足第二预设条件之前，包括：

基于所述剩余的特征点对，获取所述当前图像相对于所述模板图像的偏移量和旋转量；

所述基于所述匹配结果获取所述机器人的第二位姿，包括：

基于所述偏移量和所述旋转量获取所述第二位姿。

8.根据权利要求7所述的方法，其特征在于，所述利用第一定位系统获取所述机器人的第一位姿，包括：

利用里程计推算所述机器人的运动信息；

基于所述运动信息获取所述机器人的第一位姿；

在所述基于所述匹配结果获取所述机器人的第二位姿之后，包括：

基于所述第二位姿调整所述运动信息。

9.根据权利要求1所述的方法，其特征在于，所述模板图像覆盖的区域范围大于所述第一定位系统的误差区域范围。

10.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，

所述存储器存储有程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-9中任一项所述的方法。

11.一种存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现如权利要求1-9中任一项所述的方法。

Images