CN112161630B - 适用于大型仓储系统的agv在线无碰撞路径规划方法 - Google Patents

Abstract

本发明涉及一种适用于大型仓储系统的AGV在线无碰撞路径规划方法，所述AGV无碰撞路径规划方法通过将Dijkstra算法的邻接矩阵和强化学习的奖励矩阵相结合建立邻接‑奖励矩阵，提高了AGV路径规划效率；然后根据AGV的起点和目标点坐标以及AGV的行驶状态，建立低维邻接‑奖励矩阵或低维无障碍邻接‑奖励矩阵，进一步提高了路径规划效率；此外，本发明还针对多AGV同时行驶可能产生碰撞的问题提出了多AGV无碰撞路径规划方法。本发明通过采用以上方法能够为AGV规划时间最短路径，且对于多AGV情形能够避免碰撞，该方法可用于大型仓储环境的多AGV路径规划，能源消耗低，且有利于提高整个仓储系统的实时性。

Description

适用于大型仓储系统的AGV在线无碰撞路径规划方法

技术领域

本发明涉及自动化仓储系统AGV无碰撞路径规划技术领域，具体涉及一 种适用于大型仓储系统的AGV在线无碰撞路径规划方法。

背景技术

自动化仓储系统无需人工作业而自动存取物料，AGV作为仓储系统的主要 运输工具，承担从指定起点到目标终点的物流运输工作。使AGV按照最短路 径行驶，可以节省大量的能源，提高自动化仓储系统的效率。随着自动化仓储 系统的迅速发展，工位点数量呈倍数增长，路径规划计算速度成为限制仓储系 统发展的瓶颈。因此，提高AGV路径规划效率对提高仓储行业水平具有现实 意义。

现有的Dijkstra算法是AGV路径规划最有效的方法之一，但是其不能满足 仓储环境规模不断扩大的需求。传统Q-learning算法主要的局限性在于其迭代 时间过长，降低了AGV路径规划的效率，限制了整个仓储系统的实时性。此 外，多AGV系统因为具有较大的自由度以及较高的柔性且符合仓储系统多任 务处理的要求，得到了广泛的关注。但是，当多台AGV同时行驶可能会出现 诸如碰撞或争夺资源的问题，高效的多AGV无碰撞路径规划策略对于多AGV 系统具有重要的意义，但是现有技术中更多关注的是多AGV的避障效果而非效率，并且忽略了仓储系统吞吐量以及能源消耗的问题。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种适用于大型 仓储系统的AGV在线无碰撞路径规划方法。

为实现以上目的，本发明采用如下技术方案：一种适用于大型仓储系统的 AGV在线无碰撞路径规划方法，包括：

建立邻接-奖励矩阵；

对所述邻接-奖励矩阵进行降维；

确定AGV起点到目标点的所有距离最短路径；

对AGV起点到目标点的所有距离最短路径进行处理，以确定出该AGV的 时间最短路径。

可选的，所述建立邻接-奖励矩阵，包括：

结合Dijkstra算法的邻接矩阵与强化学习的奖励矩阵，建立邻接-奖励矩阵 (A-R)；

具体的，设棋盘式仓储环境的维度是m×n，邻接-奖励矩阵(A-R)的维 度是(m×n)×(m×n)，其中m、n分别表示仓储环境每行、每列的工位点个数； A-R矩阵的建立规则如下：

式(1)中，(A-R)_ij表示A-R矩阵中的每个元素，其中，i＝1,2,3…m； j＝1,2,3…n；m、n分别表示仓储环境每行、每列的工位点个数；

条件1：工位点(A-R)_i,j+1与工位点(A-R)_i,j-1相邻且工位点(A-R)_i,j-1不是 障碍物；

条件2：工位点(A-R)_i,j-1是障碍物，R_obstacle为障碍转移惩罚值，R_obstacle≠0；

条件3：工位点(A-R)_i,j+1与工位点(A-R)_i,j-1不相邻。

可选的，所述对所述邻接-奖励矩阵进行降维，包括：

确定每台AGV所执行的是负载任务还是空载任务；

若执行的是负载任务，根据AGV起点和目标点的坐标建立低维邻接-奖励 矩阵(LD-A-R)；

若执行的是空载任务，则根据AGV起点和目标点的坐标建立低维无障碍 邻接-奖励矩阵(LD-NO-A-R)。

可选的，所述确定AGV起点到目标点的所有距离最短路径，包括：

根据AGV是否负载，将传统Q-learning算法的奖励矩阵替换为所述低维邻 接-奖励矩阵(LD-A-R)或所述低维无障碍邻接-奖励矩阵(LD-NO-A-R)，迭 代计算最优Q-table，得到AGV起点到目标点的所有距离最短路径。

可选的，所述对AGV起点到目标点的所有距离最短路径进行处理，以确 定出该AGV的时间最短路径，包括：

若AGV只有一条距离最短路径，则将该条距离最短路径确定为该AGV的 时间最短路径；

若AGV有多条距离最短路径，计算其行驶方向与所有可行路径的角度偏 差，选择偏差最小的路径作为该AGV的时间最短路径。

可选的，所述AGV无碰撞路径规划方法还包括：

对于多AGV情形，按照前面任一项所述的方法分别计算得到每台AGV起 点到目标点的时间最短路径；

对多AGV进行两两碰撞检测，以确定多AGV中是否存在路径冲突；

若存在路径冲突，则对相关AGV的路径和/或出发时间进行调整，以避免 路径冲突。

本发明采用以上技术方案，通过将Dijkstra算法的邻接矩阵和强化学习的 奖励矩阵相结合建立邻接-奖励矩阵，提高了AGV路径规划效率；然后根据AGV 的起点和目标点坐标以及AGV的行驶状态，建立低维邻接-奖励矩阵或低维无 障碍邻接-奖励矩阵，进一步提高了路径规划效率；此外，本发明还针对多AGV 同时行驶可能产生碰撞的问题提出了多AGV无碰撞路径规划方法。本发明通 过采用以上方法能够为AGV规划时间最短路径，且对于多AGV情形能够避免 碰撞，该方法可用于大型仓储环境的多AGV路径规划，能源消耗低，且有利 于提高整个仓储系统的实时性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种适用于大型仓储系统的AGV在线无碰撞路径规划方法 实施例一提供的流程示意图；

图2是本发明提出的使用A-R的Q-learning算法与传统Q-learning算法在 不同规模仓储环境下得到最优Q-table的迭代时间的对比图；

图3是使用A-R的Q-learning算法与使用降维A-R矩阵的Q-learning算法 在11×15仓储环境下，得到最优Q-table的迭代时间的对比图；

图4是本发明一种适用于大型仓储系统的AGV在线无碰撞路径规划方法 实施例二提供的流程示意图；

图5是本发明采用的11×15仓储环境模拟图；

图6是本发明提出的AGV无碰撞路径规划方法与传统算法在11×15仓储 环境下各评价指标对比表格。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方 案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不 是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创 造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

图1是本发明一种适用于大型仓储系统的AGV在线无碰撞路径规划方法 实施例一提供的流程示意图。

如图1所示，本实施例所述的一种适用于大型仓储系统的AGV在线无碰 撞路径规划方法，包括：

S11：建立邻接-奖励矩阵；

进一步的，所述建立邻接-奖励矩阵，包括：

结合Dijkstra算法的邻接矩阵与强化学习的奖励矩阵，建立邻接-奖励矩阵 (A-R)；

具体的，设棋盘式仓储环境的维度是m×n，邻接-奖励矩阵(A-R)的维 度是(m×n)×(m×n)，其中m、n分别表示仓储环境每行、每列的工位点个数； A-R矩阵的建立规则如下：

式(1)中，(A-R)_ij表示A-R矩阵中的每个元素，其中，i＝1,2,3…m； j＝1,2,3…n；m、n分别表示仓储环境每行、每列的工位点个数；

条件1：工位点(A-R)_i,j+1与工位点(A-R)_i,j-1相邻且工位点(A-R)_i,j-1不是 障碍物；

条件2：工位点(A-R)_i,j-1是障碍物，R_obstacle为障碍转移惩罚值，R_obstacle≠0；

条件3：工位点(A-R)_i,j+1与工位点(A-R)_i,j-1不相邻。

S12：对所述邻接-奖励矩阵进行降维；

进一步的，所述对所述邻接-奖励矩阵进行降维，包括：

确定每台AGV所执行的是负载任务还是空载任务；

若执行的是负载任务，根据AGV起点和目标点的坐标建立低维邻接-奖励 矩阵(LD-A-R)；

若执行的是空载任务，则根据AGV起点和目标点的坐标建立低维无障碍 邻接-奖励矩阵(LD-NO-A-R)。

具体的，(1)若执行的是负载任务，根据建立LD-A-R，方法是：

设AGV的起点和目标点的坐标分别为(x1，y1)和(x2，y2)，LD-A-R和 LD-NO-A-R的建立的方法如式(3)-(5)所示，LD-A-R(或LD-NO-A-R)的 维度为k×k。

k＝|y₂-y₁|+|x₂-x₁|+1 式(3)

LD-A-R(或LD-NO-A-R)的左上角坐标为(m1，m1)，右上角坐标为(m1， m2)，左下角坐标为(m2，m1)，右下角坐标为(m2，m2)。

m₁＝y₁*m+x₁ 式(4)

m₂＝y₂*m+x₂ 式(5)

然后修改LD-A-R右下角元素和所有与其相邻的元素为“100”。

(2)若执行的是空载任务，则建立LD-NO-A-R；其方法同建立LD-A-R， 区别是只需修改R_obstacle＝0即可。

S13：确定AGV起点到目标点的所有距离最短路径；

进一步的，所述确定AGV起点到目标点的所有距离最短路径，包括：

根据AGV是否负载，将传统Q-learning算法的奖励矩阵替换为所述低维邻 接-奖励矩阵(LD-A-R)或所述低维无障碍邻接-奖励矩阵(LD-NO-A-R)，迭 代计算最优Q-table，得到AGV起点到目标点的所有距离最短路径。

具体的，若AGV负载，以LD-A-R中所有节点为行、列建立与其相同大小 的空Q-table；若AGV空载，以LD-NO-A-R中所有节点为行、列建立与其相 同大小的空Q-table。

其中，采用Bellman公式，即式(2)，对LD-A-R(或LD-NO-A-R)进行 多次迭代，将结果填入Q-table相应位置，计算最优的Q-table。棋盘式仓储环 境下AGV起点到目标点的距离最短路径不止一条，将Q-table的左上角作为AGV的起点，右下角作为AGV的目标点，找到所有距离最短路径。

Bellman公式如式(2)所示，

Q(s,a)＝r+γ[maxQ(s',a')] 式(2)

式(2)中，s表示agent所处的当前状态；s’表示agent的下一个状态；a 表示以当前状态s为基准所采取的行动；a’表示以状态s’为基准所采取的行 动；Q(s，a)表示agent处于状态s，采取行动a的概率大小；Q(s’，a’)表示处于 状态s’，采取行动a’的概率大小；Q(s，a)和Q(s’，a’)均以Q-table的形式储 存；r表示采用某个行动的奖励值；γ表示奖励递减值，是对未来奖励的衰减 值(0<γ<1)。

S14：对AGV起点到目标点的所有距离最短路径进行处理，以确定出该 AGV的时间最短路径。

进一步的，所述对AGV起点到目标点的所有距离最短路径进行处理，以 确定出该AGV的时间最短路径，包括：

若AGV只有一条距离最短路径，则将该条距离最短路径确定为该AGV的 时间最短路径；

若AGV有多条距离最短路径，计算其行驶方向与所有可行路径的角度偏 差，选择偏差最小的路径作为该AGV的时间最短路径。

具体的，为找到时间最短路径，以AGV当前所在节点为基准，若面前有 多条路径可选，将AGV的行驶方向与所有可行路径的方向对比，找出角度偏 差绝对值最小的作为AGV的下一段路径，从而减少AGV转弯的次数，减小行 驶时间，提高效率。

图2是本发明提出的使用A-R的Q-learning算法与传统Q-learning算法在 不同规模仓储环境下得到最优Q-table的迭代时间的对比图。为了便于表述，图 2中采用n×n方形环境，但本发明不仅适用于方形环境，可用于任何仓储环境。 图3是使用A-R的Q-learning算法与使用降维A-R矩阵的Q-learning算法在11 ×15仓储环境下，得到最优Q-table的迭代时间的对比图。从图2和图3可以 看出，仓储环境规模越大，本实施例所述的改进算法的优势越大。

本实施例通过将Dijkstra算法的邻接矩阵和强化学习的奖励矩阵相结合建 立邻接-奖励矩阵，提高了AGV路径规划效率；然后根据AGV的起点和目标 点坐标以及AGV的行驶状态，建立低维邻接-奖励矩阵或低维无障碍邻接-奖励 矩阵，进一步提高了路径规划效率；本实施例通过采用以上方法能够为AGV 规划时间最短路径，有利于降低AGV能源消耗，也有利于提高整个仓储系统 的实时性。

图4是本发明一种适用于大型仓储系统的AGV在线无碰撞路径规划方法 实施例二提供的流程示意图。

如图4所示，本实施例所述的一种适用于大型仓储系统的AGV在线无碰 撞路径规划方法，包括：

S41：对于多AGV情形，按照图1所述的方法分别计算得到每台AGV起 点到目标点的时间最短路径；

S42：对多AGV进行两两碰撞检测，以确定多AGV中是否存在路径冲突；

S43：若存在路径冲突，则对相关AGV的路径和/或出发时间进行调整，以 避免路径冲突。

本实施例在实际执行时，当系统收到的货物运送任务达到一定数量后，调 度相同数量的空闲AGV执行这一批任务；

步骤1，采用实施例一所述的AGV路径规划方法为每台AGV选择起点到 目标点的时间最短路径；

步骤2，采用时间窗原理(式(6))两两检测环境中AGV是否存在冲突；

(Π_a[j]＝Π_b[j])∩(T_a[j]＝T_b[j]) 式(6)

式(6)中，Π_a[j]＝Π_b[j]表示AGV_a和AGV_b同时到达节点j；T_a[j]＝T_b[j]表 示AGV_a和AGV_b到达节点j的时间相同。若式(6)返回True，则AGV_a和AGV_b在节点j处将发生碰撞。

步骤3，如果存在冲突，计算冲突双方AGV起点到目标点的Manhattan距 离(式(7))，距离小的AGV在出发前等待特定时间(比如5.0秒)，同时 修改此AGV到达各节点的时间表；

d(i,j)＝|x_i-x_j|+|y_i-y_j| 式(7)

式(7)中，d_i,j表示节点i到节点j的Manhattan距离；(x_i,y_j)表示节点i 的坐标，(x_j,y_j)为节点j的坐标。

步骤4，重复步骤2-3直到没有冲突存在，系统下发路径规划结果和时间 表给各AGV。

图5是本发明采用的11×15仓储环境模拟图。注：其中灰色栅格表示货架 停放工位，白色栅格表示AGV通道，其中黑色箭头表示其行驶方向。图6是 本发明提出的多AGV无碰撞路径规划算法与传统算法在11×15仓储环境下各 评价指标对比表格，通过该表格可以看出，采用本实施例所述方法能够为多个 AGV确定无碰撞的时间最短路径，采用该方法能够提高仓储系统吞吐量，降低 能源消耗。

本实施例在实施例一的基础上，还能够为多AGV规划时间最短路径，且 对于多AGV情形能够避免碰撞，该方法可用于大型仓储环境的多AGV路径规 划，能源消耗低，且有利于提高整个仓储系统的实时性。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实 施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描 述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除 非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表 示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码 的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其 中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或 按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员 所理解。

应当理解，本发明的各部分可以用硬件和软件的组合来实现。在上述实施 方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行 的软件或固件来实现。例如，针对单台AGV情形，可采用现场可编程逻辑控 制器(FPGA)，也可使用服务器与无线通讯的组合实现，即先在服务器进行路 径规划然后通过无线通讯将规划结果传输给此AGV；而对于多台AGV情形， 由于在线计算量较大，只能通过高速服务器进行多AGV路径规划，然后将结 果通过无线通讯传输给各台AGV。当AGV到达某节点时通过无线通讯向服务器上传当前位置，然后服务器进行碰撞检测/解决。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部 分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计 算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块 中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的 形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品 销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示 例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述 的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。 在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。 而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例 或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例 是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的 范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种适用于大型仓储系统的AGV在线无碰撞路径规划方法，其特征在于，包括：

建立邻接-奖励矩阵；

对所述邻接-奖励矩阵进行降维；

确定AGV起点到目标点的所有距离最短路径；

对AGV起点到目标点的所有距离最短路径进行处理，以确定出该AGV的时间最短路径；

所述对所述邻接-奖励矩阵进行降维，包括：

确定每台AGV所执行的是负载任务还是空载任务；

若执行的是负载任务，根据AGV起点和目标点的坐标建立低维邻接-奖励矩阵(LD-A-R)；

若执行的是空载任务，则根据AGV起点和目标点的坐标建立低维无障碍邻接-奖励矩阵(LD-NO-A-R)；

所述建立邻接-奖励矩阵，包括：

结合Dijkstra算法的邻接矩阵与强化学习的奖励矩阵，建立邻接-奖励矩阵(A-R)；

具体的，设仓储环境的维度是m×n，邻接-奖励矩阵(A-R)的维度是(m×n)×(m×n)，其中m、n分别表示仓储环境每行、每列的工位点个数；A-R矩阵的建立规则如下：

式(1)中，(A-R)_ij表示A-R矩阵中的每个元素，其中，i＝1,2,3…m；j＝1,2,3…n；m、n分别表示仓储环境每行、每列的工位点个数；

条件1：工位点(A-R)_i,j+1与工位点(A-R)_i,j-1相邻且工位点(A-R)_i,j-1不是障碍物；

条件2：工位点(A-R)_i,j-1是障碍物，R_obstacle为障碍转移惩罚值，R_obstacle≠0；

条件3：工位点(A-R)_i,j+1与工位点(A-R)_i,j-1不相邻。

2.根据权利要求1所述的AGV在线无碰撞路径规划方法，其特征在于，所述确定AGV起点到目标点的所有距离最短路径，包括：

根据AGV是否负载，将传统Q-learning算法的奖励矩阵替换为所述低维邻接-奖励矩阵(LD-A-R)或所述低维无障碍邻接-奖励矩阵(LD-NO-A-R)，迭代计算最优Q-table，得到AGV起点到目标点的所有距离最短路径。

3.根据权利要求1所述的AGV在线无碰撞路径规划方法，其特征在于，所述对AGV起点到目标点的所有距离最短路径进行处理，以确定出该AGV的时间最短路径，包括：

若AGV只有一条距离最短路径，则将该条距离最短路径确定为该AGV的时间最短路径；

若AGV有多条距离最短路径，计算其行驶方向与所有可行路径的角度偏差，选择偏差最小的路径作为该AGV的时间最短路径。

4.根据权利要求1至3任一项所述的AGV在线无碰撞路径规划方法，其特征在于，还包括：

对于多AGV情形，按照权利要求1至3任一项所述的方法分别计算得到每台AGV起点到目标点的时间最短路径；

对多AGV进行两两碰撞检测，以确定多AGV中是否存在路径冲突；

若存在路径冲突，则对相关AGV的路径和/或出发时间进行调整，以避免路径冲突。

Images