CN109782755B - 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv - Google Patents

Abstract

本发明提供了控制AGV进行校准、AGV校准位置的方法、计算机存储介质及AGV，控制AGV进行校准的方法包括：发送控制命令控制AGV执行校准运动；接收所述AGV回复的图像，通过处理所述图像得到相应的校准位置；所述图像由所述校准运动产生；向所述AGV发送包含有所述校准位置的配置文件。AGV校准位置的方法，包括：接收校准运动的控制命令；根据所述控制命令执行相应的所述校准运动，并反馈拍摄的所述校准运动的图像；接收按照所述图像得到的含有校准位置的配置文件；根据所述校准位置调整所述AGV当前所在的位置。本发明的方法校准通过数学方法找到校准参数，并多次重复测试，从而保证较高的准确性；同时大大压缩校准流程时间，适合量产。

Description

控制AGV进行校准、AGV校准位置的方法、计算机存储介质及 AGV

技术领域

本发明涉及校准技术领域，尤其是涉及控制AGV进行校准、AGV校准位置的方法、计算机存储介质及AGV。

背景技术

据电子商务研究中心发布称2018年上半年国内网络销售市场规模达40810亿元，同比增长30.1％。报告还指出，2018上半年中国网购用户规模为5.69亿人，较2017年上半年中国网购用户的5.16亿人，同比增长了10.2％。另一方面，2018上半年跨境电商市场交易规模达到11.2万亿元，相比2017年上半年9.8亿元，同比增长14.2％。由于用户需求的日益增长，和对配送效率的提升和成本缩减的需求的考虑，零售电商巨头都做起了亚马逊式的无人仓库，其中关键的一环就是物流AGV。本文中我们主要讨论的是物流AGV的其中一类，基于地面标识导航的物流AGV，后文统称此类AGV为AGV。

一般来说，AGV都是通过车底的摄像头对地面标识信息进行捕捉从而获取车自身的相对或绝对位置信息，从而实现车的前行控制和转弯等功能。其中会有两个常见的问题，第一个问题是，AGV在地面标识上进行转弯动作的时候，转弯前后的“AGV参考点”与“地面标识参考点”位移变化过大，导致转完后AGV需要重新调整自身位置。第二个问题是，由于机械差异或摄像头安装差异，导致摄像头所看到的前进方向和实际小车的前进方向有夹角。这样会导致AGV前行时一直倾向于摄像头偏移的反方向。两个问题都会导致AGV的运动效率下降，成为调度系统效率的瓶颈。

在过去，我们一般可以通过专门的设备和人手调整来获取摄像头的参数，在一定程度上解决以上提出的问题。但是这个过程很大程度依赖人的主观感受和操作熟练度，另一方面这个过程花费较长时间，因此并不利于大规模的量产。本文说明的软件正是为了解决以上提到的所有问题而设计的。

发明内容

现有技术存在的问题：

需要通过工装或操作员来调节AGV和地面标识的相对位置，导致需要操作人员高度参与，效果也因人而异，进而由于人的参与导致校准时间较长，不适合量产。

针对现有技术存在的缺陷，第一方面，本发明提供了一种控制AGV进行校准的方法，所述方法包括：

发送控制命令控制AGV执行校准运动；

接收所述AGV回复的图像，通过处理所述图像得到相应的校准位置；所述图像由所述校准运动产生；

向所述AGV发送包含有所述校准位置的配置文件。

进一步，所述控制命令包括：用于AGV旋转运动的控制命令或用于AGV直线运动的控制命令。

进一步，所述控制命令为：用于AGV旋转运动的控制命令；

所述接收AGV回复的图像包括：所述接收AGV回复的图像和所述再次接收AGV回复的AGV旋转图像；

通过至少两次图像显示的运动轨迹变化计算所述AGV的旋转中心作为所述校准位置。

进一步，计算所述AGV的旋转中心的过程包括：

通过采用不同的起始转弯方向来进行多次校准，通过计算多次测量出的旋转中心位置的标准差来判断数据是否稳定，如果稳定，则将多次校准的均值作为最终校准结果进行输出，否则需要重新校准。

进一步，所述控制命令为：用于AGV直线运动的控制命令；

所述接收AGV回复的图像包括：接收AGV回复的运动前的图像和所述再次接收AGV回复的图像是前后直线运动后的图像，通过至少两次图像显示的运动轨迹变化计算所述AGV的相关参数为前进偏角，作为所述校准位置。

进一步，计算所述AGV的前进偏角的过程包括：

通过采用不同的起始直线运动方向和不同的直线运动距离来进行多次校准，通过计算多次测量出的前进偏角的标准差来判断数据是否稳定，如果稳定，则将多次校准的均值作为最终校准结果进行输出，否则需要重新校准。

第二方面，本发明提供了一种AGV校准位置的方法，所述方法包括：

接收校准运动的控制命令；

根据所述控制命令执行相应的所述校准运动，并反馈拍摄的所述校准运动的图像；

接收按照所述图像得到的含有校准位置的配置文件；

根据所述校准位置调整所述AGV当前所在的位置。

进一步，所述控制命令包括：用于AGV旋转运动的控制命令或用于AGV直线运动的控制命令。

第三方面，本发明提供了一种计算机存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本发明提供了一种AGV，安装有上述计算机存储介质。

本发明的有益效果是：

1.由校准软件主导校准流程(控制AGV的运动和图像捕获)，操作员只是辅助，因此校准效果可以保证稳定。

2.校准通过数学方法找到校准参数，并多次重复测试，从而保证较高的准确性。

3.大大压缩校准流程时间，适合量产。

附图说明

图1是本发明的一种控制AGV进行校准的方法的流程示意图；

图2是本发明的实施例的旋转前捕获图像的示例图；

图3是本发明的实施例的旋转后捕获图像的示例图；

图4是本发明的地面标识示例图；

图5是本发明的地面标识坐标系和视窗坐标系几何关系图；

图6是本发明的初始构造的三对向量示例图；

图7是本发明的通过旋转中心构造的三对向量示例图；

图8是本发明的AGV前进后退时地面标识在视窗的移动示意图；

图9是本发明的虚拟标识分布示意图；

图10是本发明的一种AGV校准位置的方法的流程示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定装备结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

如图1所示，一种控制AGV进行校准的方法，包括以下步骤：

S1：发送控制命令控制AGV执行校准运动；

S2：接收所述AGV回复的图像，通过处理所述图像得到相应的校准位置；所述图像由所述校准运动产生；

S3：向所述AGV发送包含有所述校准位置的配置文件。

在一些说明性实施例中，所述控制命令包括：用于AGV旋转运动的控制命令或用于AGV直线运动的控制命令。

在一些说明性实施例中，所述控制命令为：用于AGV旋转运动的控制命令；

所述接收AGV回复的图像包括：所述接收AGV回复的图像和所述再次接收AGV回复的AGV旋转图像；

通过至少两次图像显示的运动轨迹变化计算所述AGV的旋转中心作为所述校准位置。

在一些说明性实施例中，计算所述AGV的旋转中心的过程包括：

通过采用不同的起始转弯方向来进行多次校准，通过计算多次测量出的旋转中心位置的标准差来判断数据是否稳定，如果稳定，则将多次校准的均值作为最终校准结果进行输出，否则需要重新校准。

在一些说明性实施例中，所述控制命令为：用于AGV直线运动的控制命令；

所述接收AGV回复的图像包括：接收AGV回复的运动前的图像和所述再次接收AGV回复的图像是前后直线运动后的图像，通过至少两次图像显示的运动轨迹变化计算所述AGV的相关参数为前进偏角，作为所述校准位置。

在一些说明性实施例中，计算所述AGV的前进偏角的过程包括：

通过采用不同的起始直线运动方向和不同的直线运动距离来进行多次校准，通过计算多次测量出的前进偏角的标准差来判断数据是否稳定，如果稳定，则将多次校准的均值作为最终校准结果进行输出，否则需要重新校准。

首先将AGV停放到地面标识上，通过命令行执行校准程序Python3agv_calibrator.py-i[AGV序号]-c[摄像头序号]-s[校准流程序号]；校准程序获取环境通用参数，弹出图片后按任意键可以继续获取旋转中心。此时每次校准过程会显示两张图片，图2是AGV旋转之前捕获的图像，图3是旋转后捕获的图像。图2和图3两张图中都会显示摄像头的中心(小圆圈2)和AGV旋转中心(大圆圈1)。

一般来说，同一次校准中它们的相对位置应是一致的。而不同次的校准中，也应该相近，这样结果才会可信。这个过程默认会重复3次。

获取前进偏角。此时每次校准过程会在地面标识正上方做小幅度前后运动，并返回不同位置时的图片。这个过程默认会重复3次。最后命令行中出现“Calibrationdone！！！”，按ctrl-c退出即可然后我们将生成的配置文件放到AGV上，并重启视觉模块即可。

本发明的软件主要由四个模块组成。

MqttMonitor：负责上位机与AGV之间的mqtt通信，它会按照通信协议打包mqtt的控制命令和处理AGV发回来的应答消息。

AGVController：负责抽象AGV的运动控制，可以进行前进后退，旋转还有捕获摄像头等操作

QRCodeTools：这是图像相关的工具包，比如提取地面标识的四个角坐标，计算地面标识坐标系和AGV坐标系的转换矩阵。

AGVCalibrator：负责AGV校准逻辑控制。

下面对本发明的原理进行进一步的说明：

(1)旋转中心校准

在这个校准步骤中，主要的目的是找到AGV的旋转中心。这样AGV行走或转弯的过程中以实际旋转中心为运动参考点，可以大大提到运动的效率。在这个过程中主要涉及到两个主要问题。

(2)计算标识中心

当捕获到图像之后，通过第三方的库可以提取地面标识的四个角在视窗的坐标，假设它们分别为(x₁，y₁)，(x₂，y₂)，(x₃，y₃)和(x₄，y₄)，如图4所示。

因此经过(x₁，y₁)和(x₃，y₃)的直线可表示为

a₁x₁+b₁y₁＝1

a₁x₃+b₁y₃＝1

改写成矩阵的形式为

同理经过(x₂，y₂)和(x₄，y₄)的直线可表示为

所以最后直线的交点坐标P为

(3)计算变换矩阵

因为在计算旋转中心的时候，需要把视窗坐标系下的点表示在地面标识的坐标系下。所以获取图像之后，我们先要推导出这两个坐标系的变换关系。假设有一个点，在视窗坐标系的坐标为P_c，而在地面标识坐标系下的坐标为P_m。所以存在一个3x3矩阵T_m ^c可以满足。

注意这里P_c和P_m都为齐次形式，比如，P_m坐标为(x,y)，在公式中P_m为如下格式：

假设捕获到图像如5图

通过几何关系，可构造转换矩阵T_c ^m。

其中θ符合右手法则。为Oc坐标系转到和Om坐标系重合的角度。(dx,dy)为Oc到Om在的位移量。

(4)计算旋转中心

计算旋转中心，要求AGV在地面标识上做一定角度的旋转，并且记录旋转前后的图像。然后我们就可以通过代数的方法计算出AGV实际的旋转中心，实现的原理如下。

首先，我们要确保摄像头可以拍摄到地面标识。我们假设视窗中有三个虚拟的“十字”标识，它们是固定在视窗之上的。它们的坐标分别为(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，如图6所示

这三个坐标在地面标识的坐标系下可表示为P_w1，旋转后同理可得P_w2。

加上三个虚拟标识的重心(x_m,y_m)，我们可以得到旋转前和旋转后的三对向量P_mw1，P_mw2。

所以我们可以得到用于描述这个旋转过程的2x2旋转矩阵R。

得到旋转矩阵之后，我们可以重新用这三个虚拟标识和要求的旋转中心P_r(x_r,y_r)构造三对旋转前后的三对向量，如图7。

因此我们知道新的三对向量也满足刚才的旋转关系，所以有

简化后可得

(5)前进偏角校准

在这个校准的目的是通过AGV的直行相对于地面标识的绝对位置计算出AGV前进时的偏角。过程中，我们会让AGV在保持观测到地面标识的情况下，做前进或后退的动作，通过判断AGV移动前后与地面表示的相对位置，我们可以计算出AGV前进时偏移的角度。具体原理如下：

首先我们调整AGV的位置，使得地面标识落在摄像头的顶部，如图8的实线正方形。接着我们让AGV前行一段距离，地面标识会移动到摄像头的底部，如图8的虚线正方形，这时我们可以得到一个向量a，加上摄像头的正上方方向向量b，我们可以用余弦定理求得a和b的夹角。

通过a的x轴偏移的符号可以确定夹角θ的左右方向。

上面我们对用到的一些原理进行了说明，下面对实现中的细节进行简单说明。

旋转中心校准

(1)虚拟标识的选取

由于我们的算法中计算旋转矩阵的时候使用了中心构造三个向量，为了使三个向量有更好的独立性，所以虚拟标识选取为一个三角形的结构，具体实现的参数如图9所示。

(2)数据的选取

为了提高校准结果的可信性，我们会以不同的起始转弯方向进行多次校准。然后通过校准参数的标准差来判断数据是否足够稳定，如果稳定，多次校准的均值将会被输出，否则需要重新校准。

如图10所示，本发明提供了一种AGV校准位置的方法，所述方法包括：

S4：接收校准运动的控制命令；

S5：根据所述控制命令执行相应的所述校准运动，并反馈拍摄的所述校准运动的图像；

S6：接收按照所述图像得到的含有校准位置的配置文件；

S7：根据所述校准位置调整所述AGV当前所在的位置。

在一些说明性实施例中，所述控制命令包括：用于AGV旋转运动的控制命令或用于AGV直线运动的控制命令。

本发明提供了一种计算机存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明提供了一种AGV，安装有上述计算机存储介质。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种控制AGV进行校准的方法，其特征在于，包括：

发送控制命令控制AGV执行校准运动；

接收所述AGV回复的图像，通过处理所述图像得到相应的校准位置；所述图像由所述校准运动产生；

向所述AGV发送包含有所述校准位置的配置文件；

所述控制命令为：用于AGV旋转运动的控制命令；

所述接收AGV回复的图像包括：接收AGV回复的图像和再次接收AGV回复的AGV旋转图像；

通过至少两次图像显示的运动轨迹变化计算所述AGV的旋转中心作为所述校准位置；

所述AGV的旋转中心通过以下方式确定：

计算标识中心：当捕获到所述图像之后，通过第三方的库提取地面标识的四个角对应的点在视窗坐标系中的坐标，分别为(x₁,y₁)，(x₂,y₂)，(x₃,y₃)和(x₄,y₄)，经过(x₁,y₁)和(x₃,y₃)两点的第一直线对应的矩阵为

经过(x₂,y₂)和(x₄,y₄)两点的第二直线对应的矩阵为

根据第一直线对应的矩阵和第二直线对应的矩阵，将根据第一公式计算第一直线与第二直线的交点坐标P作为标识中心，第一公式为：

其中，

计算转换矩阵：根据第二公式，获取任一点在视窗坐标系中的坐标P_c与该点在地面标识的坐标系中的坐标P_m(x,y)之间的转换矩阵

第二公式为：

其中，

P_c和P_m都为齐次矩阵，

为3x3矩阵，θ符合右手法则，为视窗坐标系转到和地面标识的坐标系重合的角度，(dx,dy)为视窗坐标系到地面标识的坐标系的位移量，P_c为所述任一点在视窗坐标系中的坐标；

计算旋转中心：通过代数的方法，根据第三公式计算所述AGV的旋转中心P_r，第三公式为：

其中，

R为根据所述接收AGV回复的图像和所述再次接收AGV回复的AGV旋转图像对应的旋转过程的2x2旋转矩阵，P₁为所述接收AGV回复的图像在地面标识的坐标系中对应的坐标，P₂为所述再次接收AGV回复的AGV旋转图像在地面标识的坐标系中对应的坐标。

2.根据权利要求1所述的一种控制AGV进行校准的方法，其特征在于，计算所述AGV的旋转中心的过程包括：

通过采用不同的起始转弯方向来进行多次校准，通过计算多次测量出的旋转中心位置的标准差来判断数据是否稳定，如果稳定，则将多次校准的均值作为最终校准结果进行输出，否则需要重新校准。

3.一种计算机存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-2任一项所述方法的步骤。

4.一种AGV，其特征在于，安装有如权利要求3所述的计算机存储介质。

Images