CN113283401A

CN113283401A - 基于云计算和图像处理的agv小车避障方法

Info

Publication number: CN113283401A
Application number: CN202110816710.1A
Authority: CN
Inventors: 林立峰; 李栓柱; 袁绪龙; 郭东进; 邓吉
Original assignee: Shandong Huali Electromechanical Co Ltd
Current assignee: Shandong Huali Electromechanical Co Ltd
Priority date: 2021-07-20
Filing date: 2021-07-20
Publication date: 2021-08-20
Anticipated expiration: 2041-07-20
Also published as: CN113283401B

Abstract

本发明涉及AGV小车技术领域，具体涉及一种基于云计算和图像处理的AGV小车避障方法。该方法首先获取小车上货物的表面图像、表面深度图像和路面图像，由三张图像获得货物的轮廓边缘、边缘深度、边缘交点和路面的凸包深度；由边缘交点获取货物零散度，由边缘深度和货物零散度得到零散度影响指标；根据小车相关数据得到货物掉落指标；由货物零散度、凸包深度和货物掉落影响指标得到货物的掉落概率；当掉落概率达到预设掉落阈值，由零散度影响指标、凸包深度、货物掉落影响指标得到掉落半径；由掉落半径和掉落时间引导受影响小车进行避障。本发明在货物没有掉落之前对货物掉落概率和危险半径进行预测，使受影响小车能够及时避障。

Description

基于云计算和图像处理的AGV小车避障方法

技术领域

本发明涉及AGV小车技术领域，具体涉及一种基于云计算和图像处理的AGV小车避障方法。

背景技术

随着我国物流市场、物流装备和技术发展日益成熟，AGV的应用越来越广泛，在生产车间、仓库、码头等场所都需要AGV小车协同运输，节省人力物力，提高生产效率。AGV小车在现代制造企业物流系统中是重要设备，主要用来运输各类货物。运输货物的途中，AGV需要实时监测前方障碍物，避免前方障碍物给行驶带来影响。

目前，市场上推出了根据测距传感器进行障碍物检测的方法，通过测距传感器计算障碍物距离信息，得到障碍物在AGV车体坐标系下的坐标，判断AGV在行进过程中是否会碰撞到障碍物。

上述现有技术存在以下缺陷：根据测距传感器进行障碍物检测的方法，仅考虑了在一定距离处的障碍物检测。无法在AGV小车自身承载货物时，对AGV小车所承载的货物进行货物掉落概率预测并预测货物掉落的危险区域。会导致AGV小车行驶途中突然出现货物倒塌时，邻近小车无法及时规避障碍物。

发明内容

本发明的目的在于提供一种基于云计算和图像处理的AGV小车避障方法，用于解决现有AGV小车避障方法的避障实时性较差的技术问题。

本发明所采用的技术方案具体如下：

本发明一个实施例提供了一种基于云计算和图像处理的AGV小车避障方法，该方法包括以下步骤：

获取小车上货物的表面图像、表面深度图像和行进路面的路面图像；所述表面图像为所述货物的俯视图像；

根据所述表面图像获得所述货物的轮廓边缘；根据所述表面深度图像获得所述货物的边缘深度；根据所述轮廓边缘确定所述货物之间的货物边缘交点；根据所述边缘交点获取所述货物零散度；根据所述边缘深度和所述货物零散度得到零散度影响指标；

根据所述路面图像获得路面的凸包深度；获取所述小车的实时速度、实时加速度和行驶方向；根据所述行驶方向、所述实时速度和所述实时加速度得到货物掉落影响指标；根据所述货物零散度、所述凸包深度和所述货物掉落影响指标得到所述货物的掉落概率；

当所述掉落概率达到预设掉落阈值时，获取所述货物的掉落半径，预测危险区域；所述掉落半径是由所述零散度影响指标、所述凸包深度、所述货物掉落影响指标得到的半径；

获取所述货物的掉落时间，根据所述掉落时间和所述危险区域引导所述受影响小车进行避障。

优选的，所述根据所述轮廓边缘确定边缘交点，获取所述货物零散度，包括：

对所述边缘交点进行交点统计得到边缘交点数量；

根据所述边缘交点对所述轮廓边缘进行分割，得到无遮挡货物的第一边缘和被遮挡货物的第二边缘，获取分割后所述第一边缘的长度和所述第二边缘的长度，根据所述第一边缘的长度和所述第二边缘长度得到遮挡长度比；

由所述第一边缘和所述第二边缘得到所述货物的裸露区域面积；获取无遮挡货物的表面面积，根据所述裸露区域面积和所述表面面积之比得到裸露区域面积比；所述无遮挡货物的表面面积为所述无遮挡货物的俯视面面积；

由所述遮挡长度比、所述裸露区域面积比和所述边缘交点数量得到所述货物零散度。

优选的，所述由所述遮挡长度比、所述裸露区域面积比和所述边缘交点数量得到所述货物零散度，包括：

根据所述被遮挡货物的第二边缘确定零散货物及其零散货物的数量；

根据所述轮廓边缘和所述轮廓边缘的边缘深度确定零散货物的所在层数；

计算所述货物零散度

：

其中，

表示所述边缘交点数量，

表示层数为

的所述零散货物的遮挡长度比，

表示层数为

的所述零散货物的裸露区域面积，

表示所述零散货物的数量，

表示所述无遮挡货物的表面面积。

优选的，所述根据所述边缘深度和所述货物零散度得到零散度影响指标，包括：

根据各个所述零散货物的所在层数和所述货物的实际层数得到多个层数比，由所述货物零散度和所述层数比得到零散度影响指标。

优选的，所述根据所述货物零散度、所述凸包深度和所述货物掉落影响指标得到所述货物的掉落概率，包括：

计算所述货物的掉落概率

：

其中，

表示所述货物零散度的影响系数，

表示所述货物掉落影响指标的影响系数，

表示所述凸包深度，

表示预设凸包影响阈值，

表示所述小车所允许通过的最大凸包深度，

表示所述货物掉落影响指标，

表示所述货物零散度。其中，

和

的取值范围均为[0，1]，且

，在本发明实施例中，货物零散度的影响系数

=0.6，货物掉落影响指标的影响系数

=0.4。

优选的，所述获取货物掉落影响指标，包括：

所述行驶方向包括直线行驶和弯道行驶；

在直线行驶时，计算所述货物掉落影响指标

；

其中，

表示所述直线行驶变速前的加速度，

表示所述小车的直线行驶变速前后的加速度，

表示所述小车的最大加速度差；

在弯道行驶时，计算所述货物掉落影响指标

；

其中，

表示所述小车弯道行驶时的实时速度，

表示所述小车弯道行驶时允许的最大速度。

优选的，所述获取所述货物的掉落半径，预测危险区域，包括：

根据小车行驶时的历史数据获取货物初始掉落半径；根据实时的所述凸包深度、所述货物掉落影响指标和所述零散度影响指标对所述货物初始掉落半径进行调节，进而得到实时的所述货物的掉落半径；根据所述掉落半径预测危险区域。

本发明实施例具有以下有益效果：

本发明实施例利用云计算和图像处理，根据小车上货物的表面图像、表面深度图像和路面图像得到货物零散度、零散度影响指标、路面凸包的凸包深度、货物掉落影响指标，预测货物的掉落概率，最后得到由于货物掉落所产生的危险区域，以使当小车货物掉落发生之前后续受影响小车能够根据预测危险区域进行避障。本发明实施例在预测危险区域时，还考虑了货物掉落会发生弹起的情况，对危险区域进行进一步调节，并得到货物掉落的时间，通过调节危险区域，进一步来避免掉落货物对后续小车带来的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于云计算和图像处理的AGV小车避障方法的方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于云计算和图像处理的AGV小车避障方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明的实施例提供了基于云计算和图像处理的AGV小车避障方法的一种具体实施方法，该方法实施例应用场景为：一个工厂内的固定生产车间中所运输的货物质量、大小、材质均相同。为了提高AGV小车的运输效率，可以将匀速行驶的小车变成变速行驶，在保证安全的情况下，尽可能快的提高货物的运送效率。所以当小车直线行驶时，小车应处于变速行驶过程。当小车弯道行驶时，小车应保持匀低速行驶，保证离心力最小。

请参阅图1，其示出了基于云计算和图像处理的AGV小车避障方法的流程图，该方法包括以下步骤：

步骤S100，获取小车上货物的表面图像、表面深度图像和行进路面的路面图像；表面图像为货物的俯视图像。

通过AGV小车上方部署的球形深度相机获取小车上货物的表面图像、表面深度图像和行进路面的路面图像。在获取图像特征的同时，也通过传感器获取小车的相应数据，相应数据包括小车的实时速度、实时加速度和行驶方向。

获得货物的表面图像、表面深度图像和行进路面的路面图像后，进行伽马校正、图像去噪、均衡化等图像预处理手段，排除因噪声、运动造成的运动模糊和噪声干扰。

步骤S200，根据表面图像获得货物的轮廓边缘；根据所表面深度图像获得货物的边缘深度；根据轮廓边缘确定货物之间的货物边缘交点；根据边缘交点获取货物零散度；根据边缘深度和货物零散度得到零散度影响指标。

将货物的表面图像进行边缘检测得到若干条货物边缘。在本发明实施例中，采用Canny边缘检测算法进行边缘检测。

根据检测得到的若干条货物边缘判断货物上下对齐情况。

当货物上下未完全对齐时，根据货物当前未对齐部分大小，即被遮挡货物的裸露区域面积，来估计货物掉落概率。

本发明实施例中，货物的上下对齐的检测方法包括：根据已经检测到的若干条货物边缘进行边缘筛选，通过最大边缘闭合区域得到最上方的无遮挡货物的大小和轮廓。无遮挡货物为小车的最上层货物，被遮挡货物为除了最上层货物外的下层被遮挡的货物。该最大边缘闭合区域内不应存在其他边缘细节，若存在边缘细节，则默认最大边缘闭合轮廓区域匹配失败，重新进行检测，该最大边缘闭合轮廓区域即无遮挡货物表面区域。

由表面深度图像识别货物的边缘深度，并得到无遮挡货物的第一边缘和被遮挡货物的第二边缘，由不同深度下的货物边缘构成空间连通域，将第一边缘与第二边缘的深度合并为同一深度的边缘，构成无遮挡货物和被遮挡货物的表面区域的闭合连通域，以该闭合连通域作为货物表面感兴趣区域，该闭合连通域边缘即为货物的轮廓边缘。

根据轮廓边缘获取货物零散度和货物零散度影响指标的方法包括：

（1）提取不同的货物边缘得到相交边缘，由相交边缘的交点得到边缘交点，对边缘交点进行交点统计得到边缘交点数量。

（2）根据边缘交点对轮廓边缘进行分割，获取分割后第一边缘的长度和第二边缘的长度，根据第一边缘的长度和被遮挡长度之比得到遮挡长度比。该被遮挡长度为通过第一边缘的长度和被遮挡货物裸露的第二边缘作差得到被遮挡货物的被遮挡长度。

（3）由第一边缘和第二边缘得到被遮挡货物的裸露区域面积；获取无遮挡货物的表面面积，根据裸露区域面积和表面面积之比得到裸露区域面积比；无遮挡货物的表面面积为无遮挡货物的俯视面面积。

在本发明实施例中，裸露区域面积为裸露区域的像素点个数和。无遮挡货物的表面面积由先验数据得到。

（4）由遮挡长度比、裸露区域面积比和边缘交点数量得到货物零散度。

根据被遮挡货物的第二边缘确定零散货物及其零散货物的数量。

根据轮廓边缘和轮廓边缘的边缘深度确定零散货物的所在层数。

由于相机拍摄货物的角度为俯视视角，货物的大小一样，逐层摆放。若被遮挡货物的裸露面积越大表明货物越不整齐，货物越不整齐，说明货物越零散，越容易掉落；因此，以零散度表征货物不整齐的程度，以作为货物的掉落概率的一个影响指标，其中，裸露面积与零散度之间的关系为正相关关系，因此以裸露面积与货物整体面积的比值作为裸露面积比，该裸露面积比与零散度之间的关系也呈正相关关系。虽然裸露面积与零散度之间的关系为正相关关系但是并非线性关系。同样由于被遮挡货物的被遮挡的长度越小，即裸露的长度越大，同样能够表明货物越不整齐，因此被遮挡长度与货物的零散度成负相关关系，因此，由于遮挡长度比为单个货物的总边缘长度与被遮挡长度的比值，该遮挡长度比与零散度为正相关关系。由于两个参数与零散度之间的综合关系比较复杂，因此，利用数学建模的方法拟合出裸露面积比、遮挡长度比与零散度之间的函数关系。根据该函数关系计算每层货物的零散度，以零散度的均值作为该AGV小车所载货物的零散度。计算AGV小车所载货物总体的货物零散度

：

其中，

表示边缘交点数量，

表示第

层零散货物的遮挡长度比，

表示第

层零散货物的裸露区域面积，

表示零散货物的数量，

表示无遮挡货物的表面面积。

货物零散度

根据参数之间的关系表征货物零散度关系，当货物零散度

时，表示货物完全对齐，货物零散度

的值越大，表征货物对齐程度越差。

需要说明的是，全自动化车间的货物搬运过程中，存在货物搬到小车上的过程中无法保证货物完全对齐，导致运输过程中货物存在掉落的情况。因此需要考虑货物在小车上摆放的零散度。

（5）根据各个零散货物的所在层数和货物的实际层数得到多个层数比，由货物零散度和层数比得到零散度影响指标。

由于零散货物越靠近最上层，其掉落的概率越大；零散货物越靠近下层，由于该零散货物的上方有多层货物的重量叠加，其掉落的概率越小，故以该零散货物所在层数比调整零散度的大小，以得到调整后的零散度的影响指标。具体的，通过边缘深度和轮廓边缘得到零散货物所在层数。

根据零散货物所在层数和货物的总层数得到层数比

：

，

其中，

表示货物的总层数，

表示零散货物所在层数。

进一步估计货物零散度对货物掉落造成的影响。由于可能不止存在一个零散货物，零散货物所在的层数不同，则每个零散货物都对应一个层数比。

根据不同零散货物的层数比确定零散度权重

：

，

其中

表示第k层零散货物的层数比，

表示零散货物的层数比中的最大值，

表示零散货物的数量。

并对权重

进行归一化处理，使其值域为

。在本发明实施例中，取货物的总层数

，对权重

采用最大最小值归一化处理。

由货物零散度和层数比权重得到零散度影响指标

。

根据边缘深度得到零散货物所在层数，由零散货物所在层数不同确定货物零散度的权重，得到零散度影响指标，提升了后续的货物掉落概率计算的准确性。

步骤S300，根据路面图像获得路面的凸包深度；获取小车的实时速度、实时加速度和行驶方向；根据行驶方向、实时速度和实时加速度得到货物掉落影响指标；根据货物零散度、凸包深度和货物掉落影响指标得到货物的掉落概率。通过货物零散度、凸包深度和货物掉落影响指标来对货物掉落的概率进行计算，同时对各项指标进行影响分级，影响最大的是货物零散度，其次是小车的实时速度、实时加速度。由于路面凸包会影响到小车的实时速度和实时加速度的影响指标，因此，将路面凸包作为小车速度或者加速度差的权重以调节其对于掉落概率的影响，当小车的实时速度变大且达到一定阈值时，路面凸包的影响程度也随之变大。在本发明实施例中通过对各项指标分配权重来实现影响分级。

（1）根据路面图像获得路面的凸包深度。

从路面图像中提取出路面图像作为路面感兴趣区域。需要说明的是，AGV小车携带的球形相机能够通过结构光获取地面的深度信息，通过图像的深度信息生成路面的三维图像，对路面进行凸包检测，得到路面的凸包深度

。预设凸包影响阈值

，当路面凸包深度

时，认为路面凸包会对货物掉落造成影响，凸包深度

越大，对货物掉落影响越大。

（2）根据行驶方向、实时速度和实时加速度得到货物掉落影响指标。

行驶方向包括直线行驶和弯道行驶。根据小车的速度传感器得到小车的实时速度，并通过实时速度来计算小车的实时加速度。

货物掉落影响指标的获取方法具体包括：

1）在直线行驶时，计算货物掉落影响指标

；

其中，

表示直线行驶变速前的加速度，

表示小车的直线行驶变速前后的加速度，

表示小车的最大加速度差。最大加速度差为加速度差值的最大阈值，在加速度的差值大于等于该最大加速度差时，货物掉落的概率比较大，通过多次试验得到的加速度差值的经验值为3。另外，加速度差在工程学尤其是交通领域中叫急动度，用于评价车辆中人体的舒适度。本发明实施例借用该构思，将该加速度差作为评价货物掉落概率的一个影响指标。

2）在弯道行驶时，计算货物掉落影响指标

；

其中，

表示小车弯道行驶时的实时速度，

表示小车弯道行驶时允许的最大速度。

（3）根据货物零散度、凸包深度和货物掉落影响指标得到货物的掉落概率。

利用数学建模的方法拟合出货物零散度、凸包深度、货物掉落影响指标与掉落概率之间的函数关系，计算货物的掉落概率

：

其中，

表示货物零散度的影响系数，

表示货物掉落影响指标的影响系数，

表示凸包深度，

表示预设凸包影响阈值，

表示小车所允许通过的最大凸包深度，

表示货物掉落影响指标，

表示货物零散度。其中，

和

的取值范围均为[0，1]，且

，在本发明实施例中，货物零散度的影响系数

=0.6，货物掉落影响指标的影响系数

=0.4。

步骤S400，当掉落概率达到预设掉落阈值时，获取货物的掉落半径，预测危险区域；掉落半径是由零散度影响指标、凸包深度、货物掉落影响指标得到的半径。

预设掉落概率阈值，当货物的掉落概率大于预设掉落概率阈值时，将掉落概率置为1，直接进行危险区域预测。

（1）根据小车行驶时的历史数据获取货物初始掉落半径。根据实时的凸包深度、货物掉落影响指标和零散度影响指标对货物初始掉落半径进行调节，进而得到实时的货物掉落半径，根据掉落半径预测危险区域。具体的：

小车行驶时的历史数据包括路面历史数据和小车历史数据，其中路面历史数据为历史凸包深度

，小车历史数据包括历史货物掉落影响指标

、历史零散度影响指标

和历史货物初始掉落半径

。

为了提高检测效率，避免大量统计，通过实时的凸包深度

、实时的货物掉落影响指标

和实时的零散度影响指标

，对货物初始掉落半径进行调节，进而得到实时的掉落半径

，根据掉落半径预测危险区域。由于货物掉落半径不仅仅受到水平方向的速度的影响，同时还受到路面凸包以及零散度的影响，具体分析如下：小车在经过路面凸起时，小车的速度被瞬间改变，不仅会加速货物的掉落，而且改变了小车在水平方向的速度，进而影响货物的掉落半径。零散度影响指标越大说明货物越容易掉落，货物越靠近下层其相应的摩擦力越大，掉落时的水平速度就越大，最终的掉落半径越大。由于小车做的是变加速运动，货物在不同的时刻掉落的水平方向的速度不同，由于水平方向的速度与水平方向的位移正相关，也即掉落半径与水平方向的速度正相关。由于货物掉落影响指标与加速度和速度相关，因此货物掉落影响指标I直接影响实时的掉落半径R的大小。为了提高检测效率，本发明实施例通过实时获取的数据调节初始掉落半径的大小，以得到实时的掉落半径。由于货物实时的掉落半径的影响因素较多，因此，通过数学建模的方法，拟合出实时的掉落半径

与凸包变化量、离散度变化量、货物掉落影响指标变化量以及初始掉落半径之间的关系：

其中，

，

表示凸包深度所对应的权重，

表示零散度影响指标所对应的权重，

表示货物掉落影响指标所对应的权值。

本发明实施例中，历史凸包深度

，历史零散度影响指标

，历史货物掉落影响指标

，历史货物初始掉落半径

。

掉落区域的初始方向与小车经过的凸包位置有关，当凸包位置在小车左侧车轮，则掉落方向应为小车右侧；当凸包位置在小车右侧车轮，则掉落方向应为小车左侧。

当小车直线行驶时，因路面凸包引起货物掉落，则根据路面凸包位置来确定掉落区域的初始方向。

当小车弯道行驶时，根据小车的实时加速度变化最大方向得到货物初始掉落方向，当小车因自身动力故障或者紧急避障造成加速度变化较大时，小车的加速度变化最大方向与小车行进方向相同；当小车因转弯过程中加速度变化较大时，小车的加速度变化最大方向应与小车转弯轨迹的切线方向相同。

根据掉落区域的初始方向和掉落半径预测危险区域。

将得到的危险区域通过车联网上传到AGV控制平台，提醒受影响小车及时进行避障。

步骤S500，获取货物的掉落时间，根据掉落时间和危险区域引导受影响小车进行避障。

当掉落概率大于预设掉落概率阈值时，将该时刻作为零散货物的掉落时间。根据AGV控制平台的危险区域反馈，得到危险区域信息，危险区域信息包括危险区域的大小和位置坐标。

根据危险区域信息得到受影响小车的实时位置和状态，使后方受影响小车获得危险区域信息，对危险区域进行绕行。

综上所述，本发明实施例利用云计算和图像处理，根据小车上货物的表面图像、表面深度图像和路面图像得到货物零散度、零散度影响指标、路面凸包的凸包深度、货物掉落影响指标、货物的掉落概率，最后得到货物掉落的时间和由于货物掉落所产生的危险区域。根据掉落的时间和危险区域对后续受影响的AGV小车进行避障操作。对小车因为加速或者弯道行驶导致货物突然掉落进行了预测，并得到了预测危险区域，避免后续小车因货物突然掉落而闪躲不及，在货物掉落之前进行掉落预测提升了小车避障的及时性。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。