CN113342004A - 基于人工智能和视觉感知的多agv小车调度方法及系统 - Google Patents
基于人工智能和视觉感知的多agv小车调度方法及系统 Download PDFInfo
- Publication number
- CN113342004A CN113342004A CN202110860799.1A CN202110860799A CN113342004A CN 113342004 A CN113342004 A CN 113342004A CN 202110860799 A CN202110860799 A CN 202110860799A CN 113342004 A CN113342004 A CN 113342004A
- Authority
- CN
- China
- Prior art keywords
- agv
- roi
- target
- area
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 21
- 230000016776 visual perception Effects 0.000 title claims abstract description 20
- 230000003068 static effect Effects 0.000 claims abstract description 9
- 238000005070 sampling Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 239000000126 substance Substances 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000032258 transport Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种基于人工智能和视觉感知的多AGV小车调度方法及系统,获取工厂区域图像,识别得到目标货物的轮廓信息以及处于运动状态的第一AGV小车和处于静止状态的第二AGV小车的位置信息,对工厂区域图像进行ROI区域划分,构建各ROI区域的引力场以及第一AGV小车的斥力场,根据引力场和斥力场,构建各ROI区域的人工势场,以此得到第二AGV小车在对应ROI区域内的初始规划路径,然后基于AGV小车之间的干扰情况修正人工势场,得到目标人工势场,根据目标人工势场就可以得到更加准确的规划路径,最后选择符合预设条件的AGV小车以及对应的目标规划路径,得到更加高效的AGV小车调度结果,保证工厂的运行效率。
Description
技术领域
本发明涉及人工智能领域,具体涉及一种基于人工智能和视觉感知的多AGV小车调度方法及系统。
背景技术
AGV小车为自动引导运输车,是指能够沿着规定的导航路线行驶,具有安全保护以及各种移载功能的运输车。AGV小车广泛应用于仓储业、物流业、制造业等承载工件转运任务,连接着智慧工厂中各个生产单元模块有序高效的运转。对于需要多AGV小车协同处理的应用场景,目前的多AGV小车调度主要实现多AGV路径的协同规划,实现防碰撞功能。但对于一个运输物体需要多AGV小车才能够完成运输这一情况,如何确定AGV小车数量,以及多AGV小车如何调度,是一个亟需解决的问题。
发明内容
为了解决上述技术问题,本发明提供一种基于人工智能和视觉感知的多AGV小车调度方法及系统。
本发明采用以下技术方案:
一种基于人工智能和视觉感知的多AGV小车调度方法,包括:
获取工厂区域图像,识别得到所述工厂区域图像中的目标货物的轮廓信息,以及处于运动状态的第一AGV小车和处于静止状态的第二AGV小车的位置信息;
根据所述目标货物的轮廓信息和质心,将所述工厂区域图像划分为至少两个ROI区域,并构建各ROI区域的引力场,以及所述第一AGV小车的斥力场;
根据所述引力场和斥力场,构建各ROI区域的人工势场,并根据所述人工势场,获取所述第二AGV小车在对应ROI区域内的初始规划路径;
对于任意一个第一AGV小车,基于所述初始规划路径与该第一AGV小车的实际行驶路径,判断所述第二AGV小车与该第一AGV小车是否产生干扰,若产生干扰,则确定该第一AGV小车的干扰区域;
基于所述干扰区域构建修正斥力场,并根据所述修正斥力场修正对应ROI区域的人工势场,得到各ROI区域的目标人工势场;
根据各ROI区域的目标人工势场,得到各ROI区域内的各第二AGV小车的目标规划路径;
从各ROI区域内选择符合预设条件的第二AGV小车,以及对应的目标规划路径。
进一步地,所述目标货物的轮廓信息,以及处于运动状态的第一AGV小车和处于静止状态的第二AGV小车的位置信息的获取过程,包括:
获取至少两张工厂区域训练样本图像,对各工厂区域训练样本图像中的目标货物的中心点坐标和包围框尺寸进行标注,以及对各工厂区域训练样本图像中的第一AGV小车和第二AGV小车的中心点进行标注;
将各工厂区域训练样本图像输入至预设的Center Net网络结构中,并通过损失函数迭代运算,完成网络训练;
将所述工厂区域图像输入至训练好的Center Net网络结构中,得到所述目标货物的轮廓信息,以及第一AGV小车和第二AGV小车的位置信息。
进一步地,所述根据所述目标货物的轮廓信息和质心,将所述工厂区域图像划分为至少两个ROI区域,包括:
根据所述目标货物的轮廓信息,获取所述目标货物的质心,以及所述目标货物的边缘信息;
基于LSD直线检测算法,对所述目标货物的边缘信息进行直线检测,得到反应所述目标货物的轮廓的线段集合,所述线段集合中的各个线段的中间点为所述目标货物的最佳着力点;
根据所述目标货物的重量和AGV小车标准载重得到所需的AGV小车的初始数量;
比较所述最佳着力点的数量和所述所需的AGV小车的初始数量,若所述最佳着力点的数量大于或者等于所述所需的AGV小车的初始数量,则确定所需的AGV小车的目标数量为所述所需的AGV小车的初始数量;
获取所述线段集合中的任意两个相邻的线段的线段交点,过所述质心连接各个线段交点做直线,以此将所述工厂区域图像划分为至少两个ROI区域。
进一步地,所述构建各ROI区域的引力场,包括:
ROI区域的引力场函数如下:
进一步地,所述第一AGV小车的斥力场的构建过程,包括:
进一步地,所述根据所述引力场和斥力场,构建各ROI区域的人工势场,包括:
对于任意一个ROI区域而言,该ROI区域的人工势场等于该ROI区域的引力场和处于该ROI区域内的各个第一AGV小车的斥力场之和;
所述根据所述修正斥力场修正对应ROI区域的人工势场,得到各ROI区域的目标人工势场,包括:
对于任意一个ROI区域而言,该ROI区域的目标人工势场等于该ROI区域的修正斥力场与该ROI区域的人工势场之和。
进一步地,所述对于任意一个第一AGV小车,基于所述初始规划路径与该第一AGV小车的实际行驶路径,判断所述第二AGV小车与该第一AGV小车是否产生干扰,若产生干扰,则确定该第一AGV小车的干扰区域,包括:
根据所述初始规划路径与该第一AGV小车的实际行驶路径,得到所述初始规划路径与该第一AGV小车的实际行驶路径的路径交点信息;
获取该第一AGV小车在实际行驶路径上行驶时各个采样时刻的该第一AGV小车的斥力范围,并获取该第一AGV小车的斥力范围覆盖所述路径交点信息的目标时间段;
对于所述目标时间段内的任意一个采样时刻,获取所述第二AGV小车以预设速度在初始规划路径上行驶时该采样时刻的斥力范围,并确定该采样时刻的该第一AGV小车的斥力范围与所述第二AGV小车的斥力范围是否相交,若相交,则说明所述第二AGV小车与该第一AGV小车在该采样时刻产生干扰,获取所述第二AGV小车与该第一AGV小车在该采样时刻的斥力范围的并集,作为该第一AGV小车在该采样时刻的干扰区域;
获取该第一AGV小车在所述目标时间段内的所有采样时刻的干扰区域的并集,作为该第一AGV小车的干扰区域。
进一步地,所述基于所述干扰区域构建修正斥力场,包括:
修正斥力场的斥力场函数如下:
进一步地,所述从各ROI区域内选择符合预设条件的第二AGV小车,以及对应的目标规划路径,包括:
构建路径评价函数,如下:
对于任意一个ROI区域,获取该ROI区域内路径得分最低的目标规划路径,以及对应的第二AGV小车,得到所述符合预设条件的第二AGV小车以及对应的目标规划路径。
一种基于人工智能和视觉感知的多AGV小车调度系统,包括存储器和处理器,以及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的基于人工智能和视觉感知的多AGV小车调度方法。
本发明提供的基于人工智能和视觉感知的多AGV小车调度方法的有益效果包括:将工厂区域图像基于目标货物的轮廓信息和质心,划分为至少两个ROI区域,并构建各个ROI区域的人工势场,将工厂区域进行区域划分,得到多个人工势场,可以提升人工势场的精度,并根据人工势场获取静止AGV小车在对应ROI区域内的初始规划路径,由于调用静止AGV小车之后,静止AGV小车就会向着目标货物运动,在运动过程中,对于其他AGV小车而言同样变成了障碍物,因此,考虑到静止AGV小车运动过程中自身产生的斥力影响,结合原本就运动的AGV小车的实际行驶路径以及得到的初始规划路径,判断两种AGV小车之间是否产生干扰,若产生干扰,则确定原本就运动的AGV小车的干扰区域,基于得到的干扰区域构建修正斥力场,并根据修正斥力场对初始得到的人工势场进行修正,得到满足实际场景的各ROI区域的目标人工势场,就可以根据修正后得到的目标人工势场进行路径规划,得到更加准确的规划路径,最后,从得到的各个规划路径中选择符合预设条件的AGV小车以及对应的目标规划路径,确定得到更加高效的AGV小车调度结果,保证工厂的运行效率。
附图说明
图1是本发明提供的一种基于人工智能和视觉感知的多AGV小车调度方法的流程图;
图2是工厂区域图像的ROI区域划分示意图。
具体实施方式
本实施例提供一种基于人工智能和视觉感知的多AGV小车调度方法,该多AGV小车调度方法的硬件执行主体可以为服务器、电脑设备、智能移动终端等等。如图1所示,该多AGV小车调度方法包括:
步骤1:获取工厂区域图像,识别得到所述工厂区域图像中的目标货物的轮廓信息,以及处于运动状态的第一AGV小车和处于静止状态的第二AGV小车的位置信息:
本实施例提供的多AGV小车调度方法针对的具体场景为:目标货物处于工厂区域中,比如处于工厂作业范围内,一个AGV小车不能满足运输要求,需调度多个AGV小车搬运目标货物。货物通常放置在箱体中,因此,本实施例中,就目标货物的整体外观结构而言,为长方体或者正方体结构,即目标货物为长方体或者正方体结构。本实施例中的AGV小车可以为AGV叉车,可以将货物抬起完成搬运任务,也可以为其他类型的AGV小车。
在工厂区域的上方部署相机,比如RGB相机,相机视角俯视,视野范围覆盖整个作业范围。若一个相机就可以采集到所需的全部工厂区域的图像,则无需进行图像拼接,一个相机即可,若一个相机无法采集到所需的全部工厂区域的图像,则间隔部署多个相机,采集到图像之后进行图像拼接,得到工厂区域图像,即得到工厂区域的全景图像。需要说明的是,图像拼接获得全景图像为公知技术,不在本发明的保护范围,在此不再赘述。
应当理解,工厂区域图像中包含目标货物,以及工厂区域内的所有的AGV小车。其中,由于俯视拍摄,则目标货物在工厂区域图像中的形状为长方形或者正方形。而且,对于当前处于运动状态的AGV小车,称为第一AGV小车,对于当前处于静止状态的AGV小车,称为第二AGV小车。因此,第二AGV小车为调度对象,即待调度的AGV小车。应当理解,当前处于运动状态的第一AGV小车以及当前处于静止状态的第二AGV小车可以事先获取得到,比如系统可以监控各个AGV小车的运动状态,进而得到工厂区域图像中的各个AGV小车的运动状态,或者,通过获取连续帧的工厂区域图像,根据连续帧的工厂区域图像中AGV小车的位置变化情况确定是否运动,比如:对于任意一个AGV小车,若根据连续帧的工厂区域图像可以得到该AGV小车的位置发生了变化,则就可以确定该AGV小车为第一AGV小车,若该AGV小车的位置没有发生变化,则就可以确定该AGV小车为第二AGV小车。
对工厂区域图像进行识别,得到工厂区域图像中的目标货物的轮廓信息,以及各第一AGV小车和各第二AGV小车的位置信息,比如以工厂区域图像建立二维坐标系,获取各第一AGV小车和各第二AGV小车的坐标(比如AGV小车中心点的坐标)。
作为一个具体实施方式,以下给出目标货物的轮廓信息,以及各第一AGV小车和各第二AGV小车的位置信息的一种获取过程,该获取过程借助Center Net网络结构实现,既可以获得物体中心点的坐标信息,又可以获得物体的包围框信息,Center Net网络结构为Encoder-Decoder结构。具体如下:
获取至少两张工厂区域训练样本图像,工厂区域训练样本图像的具体数量由实际需要进行设置。对各工厂区域训练样本图像中的目标货物的中心点坐标(x,y)和包围框尺寸(w,h)进行标注,以及对各工厂区域训练样本图像中的第一AGV小车和第二AGV小车的中心点坐标进行标注,得到标注数据。还可以再根据高斯函数处理中心点坐标得到高斯热斑,完成数据标注。为了减小网络的计算量,还可以将标签数据和训练集图像作归一化处理。
将各工厂区域训练样本图像以及标注数据(即归一化之后的数据)输入至CenterNet网络结构中,并通过损失函数迭代运算,完成网络训练。其中,损失函数采用常规的交叉熵函数。
将获取到的工厂区域图像输入至训练好的Center Net网络结构中,得到目标货物的轮廓信息,以及各第一AGV小车和各第二AGV小车的位置信息。
作为其他的实施方式,各第一AGV小车和各第二AGV小车的位置信息还可以通过设置在车身上的定位芯片(即位置传感器)获取。
步骤2:根据所述目标货物的轮廓信息和质心,将所述工厂区域图像划分为至少两个ROI区域,并构建各ROI区域的引力场,以及所述第一AGV小车的斥力场:
对于:根据目标货物的轮廓信息和质心,将工厂区域图像划分为至少两个ROI区域,包括:
根据目标货物的轮廓信息获取目标货物的质心,本实施例中,可以利用最大类间方差法获得目标货物的连通域信息,并利用连通域的一阶矩特征得到目标货物的质心P。应当理解,由于目标货物在工厂区域图像中为长方形或者正方形,则其质心为长方形或者正方形的中心点,相应地,得到目标货物的中心点时,就得到了质心。作为其他的实施方式,也可以通过现有的其他质心获取方式获取到目标货物的质心。并且,还可以通过目标货物的连通域信息,结合现有的边缘检测算法(比如Canny边缘检测算法)获取到目标货物的边缘信息。
基于LSD直线检测算法,对目标货物的边缘信息进行直线检测,得到反应目标货物的轮廓的线段集合,线段集合中的各个线段为目标货物的各个边,由于目标货物在图像中为长方形或者正方形,则线段集合包括四个边,即包括四个线段。
需要说明的是,AGV小车在搬运货物时,需要以最佳的着力点才能保证货物被稳定安全的搬运。这些最佳着力点一般位于货物的侧面轮廓的中心点处,在该位置可以保证在搬运的过程中保持平衡状态。则线段集合中的各个线段的中间点(即线段中点)为目标货物的各个最佳着力点,得到四个最佳着力点。图2中,A1、A2、A3和A4分别为最佳着力点。
由于一个AGV小车具有固定的标准载重,则根据目标货物的重量G和AGV小车标准载重g得到所需的AGV小车的初始数量,为G/g。应当理解,若G/g不是整数,则对G/g向上取整,得到所需的AGV小车的初始数量的整数。
比较最佳着力点的数量和所需的AGV小车的初始数量,若最佳着力点的数量大于或者等于所需的AGV小车的初始数量,则确定所需的AGV小车的目标数量为求得的所需的AGV小车的初始数量,并从得到的各个最佳着力点中,选择所需的AGV小车的初始数量个最佳着力点,完成对目标货物的搬运。其中,最佳着力点的选择可以按照设定的选择条件进行选取,也可以随机选取。
相应地,若最佳着力点的数量小于所需的AGV小车的初始数量,则为保证货物的安全性,可以不进行货物搬运。
如图2所示,获取线段集合中的任意两个相邻的线段的线段交点,过质心P连接各个线段交点做直线,以此将工厂区域图像划分为至少两个ROI区域。本实施例中,线段集合中的任意两个相邻的线段的线段交点为四个,则作四条直线,将工厂区域图像划分为四个ROI区域,分别为ROI1区域、ROI2区域、ROI3区域和ROI4区域。相应地,每一个ROI区域均对应一个最佳着力点,则上述最佳着力点选取得到之后,也就对ROI区域进行了选取,在搬运时,只从选取的ROI区域中调度第二AGV小车进行搬运。
为了得到满足实际情况的引力场,每一个ROI区域对应一个引力场函数,表示目标货物对该ROI区域内AGV小车的吸引力。
ROI区域的引力场函数如下:
其中,为编号为的ROI区域,为区域对应的引力场函数,为区域内的最佳着力点坐标,为区域内的任意一个点的位置信息,为预设距离阈值,为了防止因距离过远使得引力过大,本实施例中,取。至此,获得工厂空间中各个ROI区域对应的引力场。需要说明的是,每一个ROI区域的引力场只在对应的ROI区域内产生作用,互不干扰。
在实际场景中,运动的AGV小车,即第一AGV小车的速度不同,对应的斥力场也不同。第一AGV小车的运动会对第二AGV小车造成影响,即可以视第一AGV小车为障碍物,对第二AGV小车的运动产生斥力,而斥力的大小与运动速度的大小和方向息息相关。则根据实时检测得到的第一AGV小车的速度来构建斥力场。其中,第一AGV小车的速度可以事先从后台系统获取得到,也可以检测得到,本实施例中,利用稀疏光流对连续2帧的工厂区域图像进行检测,根据各帧图像中第一AGV小车的坐标变化得到速度向量,该速度向量可以反映第一AGV小车的速度大小和方向信息。第一AGV小车的速度大小和方向可以是变化的,也可以是固定不变的。本实施例中,第一AGV小车的速度大小和方向以固定不变为例。
一个速度向量为的AGV小车产生的斥力场的范围为一椭圆区域:椭圆的长轴方向沿着AGV小车的速度方向,长轴的取值为,其中为AGV小车的速度大小,为AGV小车防止碰撞的安全距离,是预设值,和AGV小车的自身尺寸有关。椭圆的短轴方向与速度方向垂直,短轴的取值为。这样构建的斥力场可以有效避免AGV小车在路径规划是出现小车相撞的情况。
第一AGV小车的斥力场的构建过程,包括:
其中,D(q)为点q到与点q最近的斥力范围的中心点的距离(与点q最近的斥力范围为区域内的与点q距离最近的斥力范围),为第一AGV小车产生斥力范围的区域,为在斥力范围内的所能影响的最大距离,是已知值,比如斥力范围对应的椭圆区域的长轴的长度。应当理解,区域内,得到各个第一AGV小车的斥力场之后,获取点q与各个斥力场对应的斥力范围的中心点的距离,从中获取最小距离值,D(q)为该最小距离值。
需要说明的是,该斥力场与AGV小车的运动速度相关,是一个实时更新的斥力场。若AGV小车的速度为0,则其产生的斥力场则为一圆形。而且,每一个第一AGV小车的斥力场均采用上述方式获取。
步骤3:根据所述引力场和斥力场,构建各ROI区域的人工势场,并根据所述人工势场,获取所述第二AGV小车在对应ROI区域内的初始规划路径:
对于任意一个ROI区域而言,该ROI区域的人工势场等于该ROI区域的引力场和处于该ROI区域内的各个第一AGV小车的斥力场之和,公式如下:
对于任意一个ROI区域而言,根据该ROI区域的人工势场,获取处于该ROI区域的第二AGV小车在该ROI区域内的初始规划路径。应当理解,需要结合第二AGV小车的位置信息(即起点)以及初始规划路径的终点,确定初始规划路径,其中初始规划路径的终点为对应的最佳着力点,即对应ROI区域内的最佳着力点。每一个第二AGV小车均按照上述方式得到初始规划路径。
本实施例中,根据梯度下降法进行路径规划,得到所有第二AGV小车到达对应最佳着力点的初始规划路径。由于在人工势场法下基于梯度下降得到规划路径为公知技术,不在本发明的保护范围内,在此不再赘述。
步骤4:对于任意一个第一AGV小车,基于所述初始规划路径与该第一AGV小车的实际行驶路径,判断所述第二AGV小车与该第一AGV小车是否产生干扰,若产生干扰,则确定该第一AGV小车的干扰区域:
步骤3得到的初始规划路径能够保证在当前时刻不会出现碰撞现象,但当第二AGV小车沿着规划好的初始规划路径行驶时,第一AGV小车也会经过该初始规划路径,当在同一时刻两个AGV小车的斥力场相交时,表示出现了路径干扰的情况,因此需要对对初始规划路径进行分析,进一步修正人工势场。
在初始规划路径确定之后,第二AGV小车就可以沿着初始规划路径进行行驶,本实施例中,第二AGV小车以预设速度在初始规划路径上行驶,预设速度由实际情况进行设定,而且,预设速度不变,即第二AGV小车是以固定速度匀速行驶。
由于每一个第二AGV小车的处理过程相同,本实施例以其中一个第二AGV小车为例进行说明。
对于任意一个第一AGV小车,根据第二AGV小车的初始规划路径与该第一AGV小车的实际行驶路径,得到初始规划路径与该第一AGV小车的实际行驶路径的路径交点信息,记录交点位置为。应当理解,第一AGV小车的实际行驶路径是事先获取得到的,是已知数据。
获取该第一AGV小车在实际行驶路径上行驶时各个采样时刻的该第一AGV小车的斥力范围。各采样时刻由实际需要进行设置,而且,可以采用上文中涉及的斥力范围计算方式进行计算。由于该第一AGV小车在实际行驶路径上行驶时会由远至近逐渐靠近交点位置,然后到达交点位置,接着由近至远逐渐远离交点位置,因此,该第一AGV小车在实际行驶路径上行驶时各个采样时刻产生的斥力范围会由远至近逐渐靠近交点位置,然后会覆盖交点位置一段时间,接着离开交点位置并由近至远逐渐远离交点位置。其中,当斥力范围开始覆盖交点位置时,即,记录此时的时刻,时刻为开始覆盖的时刻。在接下来的一段时间内,斥力范围会持续覆盖交点位置,当时,表示斥力范围不再覆盖交点位置,记录此时的时刻,时刻为结束覆盖的时刻。那么,获取该第一AGV小车的斥力范围覆盖交点位置的目标时间段,为时间段。
对于目标时间段内的任意一个采样时刻,获取第二AGV小车以预设速度在初始规划路径上行驶时该采样时刻的斥力范围,并确定该采样时刻的该第一AGV小车的斥力范围与第二AGV小车的斥力范围是否相交,若相交,则说明第二AGV小车与该第一AGV小车在该采样时刻产生干扰,获取第二AGV小车与该第一AGV小车在该采样时刻的斥力范围的并集,作为该第一AGV小车在该采样时刻的干扰区域。比如:对于时刻,获得时刻时第二AGV小车的斥力范围,当时,表示在时刻,两AGV小车互不干扰,将第一AGV小车的斥力场范围舍弃,否则说明两车在时刻相互干扰,获取第二AGV小车与该第一AGV小车在时刻的斥力范围的并集,作为该第一AGV小车在时刻的干扰区域。
按照上述过程,得到时间段内每一采样时刻该第一AGV小车与第二AGV小车是否产生干扰,若产生干扰,则获取对应采样时刻的干扰区域。获取该第一AGV小车在目标时间段内的所有采样时刻的干扰区域的并集,作为该第一AGV小车的干扰区域。
对于该第一AGV小车所属的ROI区域而言,上述是以一个第二AGV小车为例说明干扰区域的获取过程,按照相同方法,可以得到该第一AGV小车对于该ROI区域内的各个第二AGV小车的干扰区域。进而得到处于该ROI区域内的所有的第一AGV小车的干扰区域,构成该ROI区域所有第一AGV小车的干扰区域的集合。因此,得到的干扰区域相对于原始的第一AGV小车的斥力范围,考虑了因第二AGV小车运动时产生的斥力范围,避免第二AGV小车运动时第一AGV小车对其造成干扰。
步骤5:基于所述干扰区域构建修正斥力场,并根据所述修正斥力场修正对应ROI区域的人工势场,得到各ROI区域的目标人工势场:
得到干扰区域之后,构建修正斥力场,修正斥力场的斥力场函数如下:
其中,为区域内点到区域内与点最近的干扰区域的中心点坐标的距离(即本公式中的含义与上文中的第一AGV小车的斥力场公式中的的含义不同),为干扰区域内的所能影响的最大距离(本实施例中,为干扰区域的外接矩形中长和宽中的较大值),为区域内所有第一AGV小车的干扰区域的集合。应当理解,通过上述可知,区域内,每一个第一AGV小车均对应一个干扰区域,每一个干扰区域对应一个干扰区域的中心点坐标,则基于点q,获取点q与各第一AGV小车对应的干扰区域的中心点坐标的距离,从中获取到距离最小值,距离最小值对应的干扰区域为干扰区域。
然后,根据修正斥力场修正对应ROI区域的人工势场,得到各ROI区域的目标人工势场,具体为:对于任意一个ROI区域而言,该ROI区域的目标人工势场等于该ROI区域的修正斥力场与该ROI区域的人工势场之和,修正之后得到的目标人工势场如下:
步骤6:根据各ROI区域的目标人工势场,得到各ROI区域内的各第二AGV小车的目标规划路径:
根据各ROI区域的目标人工势场,得到各ROI区域内的各第二AGV小车的目标规划路径,目标规划路径的获取过程与上文中初始规划路径的获取过程相同,不再赘述。
应当理解,在本次得到目标规划路径之后可以不再进行修正,当然,也可以再次进行修正,进一步判断第一AGV小车对本次得到目标规划路径是否产生干扰,如果产生干扰,则按照上述过程进行修正,直至得到不被干扰的规划路径。为了防止程度陷入死循环,设定最大的迭代次数,为5次。若最后一次得到的规划路径仍未满足要求,则可以放弃对AGV小车的调度。最终得到的路径规划结果在避免了碰撞现象发生的同时保证了不会干扰正在工作的AGV小车。
步骤7:从各ROI区域内选择符合预设条件的第二AGV小车,以及对应的目标规划路径:
通过上述过程,可以得到各ROI区域内的各第二AGV小车的目标规划路径。由于不需要全部的第二AGV小车投入,则预设有一个判断条件,从各ROI区域内选择符合预设条件的第二AGV小车,以及对应的目标规划路径。预设条件由实际需要进行设置,本实施例中,构建路径评价函数,如下:
其中,表示目标规划路径的长度,为目标规划路径上位置处的曲率,为路径得分。对于任意一个ROI区域(即对于通过上文中的ROI区域选取过程得到的各ROI区域中的任意一个ROI区域),获取该ROI区域内路径得分最低的目标规划路径,以及对应的第二AGV小车,得到符合预设条件的第二AGV小车以及对应的目标规划路径。
作为其他的实施方式,还可以只根据目标规划路径的长度决定,对于任意一个ROI区域(即对于通过上文中的ROI区域选取过程得到的各ROI区域中的任意一个ROI区域),获取该ROI区域内路径长度最短的目标规划路径,以及对应的第二AGV小车,得到符合预设条件的第二AGV小车以及对应的目标规划路径。
选择得到第二AGV小车以及对应的目标规划路径,就可以进行调度,控制第二AGV小车按照对应的目标规划路径向着目标货物行驶,然后对目标货物进行搬运。
本实施例还提供一种基于人工智能和视觉感知的多AGV小车调度系统,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现本实施例提供的基于人工智能和视觉感知的多AGV小车调度方法的步骤,由于该基于人工智能和视觉感知的多AGV小车调度方法在上述实施例中已给出了具体描述,不再赘述。
Claims (10)
1.一种基于人工智能和视觉感知的多AGV小车调度方法,其特征在于,包括:
获取工厂区域图像,识别得到所述工厂区域图像中的目标货物的轮廓信息,以及处于运动状态的第一AGV小车和处于静止状态的第二AGV小车的位置信息;
根据所述目标货物的轮廓信息和质心,将所述工厂区域图像划分为至少两个ROI区域,并构建各ROI区域的引力场,以及所述第一AGV小车的斥力场;
根据所述引力场和斥力场,构建各ROI区域的人工势场,并根据所述人工势场,获取所述第二AGV小车在对应ROI区域内的初始规划路径;
对于任意一个第一AGV小车,基于所述初始规划路径与该第一AGV小车的实际行驶路径,判断所述第二AGV小车与该第一AGV小车是否产生干扰,若产生干扰,则确定该第一AGV小车的干扰区域;
基于所述干扰区域构建修正斥力场,并根据所述修正斥力场修正对应ROI区域的人工势场,得到各ROI区域的目标人工势场;
根据各ROI区域的目标人工势场,得到各ROI区域内的各第二AGV小车的目标规划路径;
从各ROI区域内选择符合预设条件的第二AGV小车,以及对应的目标规划路径。
2.根据权利要求1所述的基于人工智能和视觉感知的多AGV小车调度方法,其特征在于,所述目标货物的轮廓信息,以及处于运动状态的第一AGV小车和处于静止状态的第二AGV小车的位置信息的获取过程,包括:
获取至少两张工厂区域训练样本图像,对各工厂区域训练样本图像中的目标货物的中心点坐标和包围框尺寸进行标注,以及对各工厂区域训练样本图像中的第一AGV小车和第二AGV小车的中心点进行标注;
将各工厂区域训练样本图像输入至预设的Center Net网络结构中,并通过损失函数迭代运算,完成网络训练;
将所述工厂区域图像输入至训练好的Center Net网络结构中,得到所述目标货物的轮廓信息,以及第一AGV小车和第二AGV小车的位置信息。
3.根据权利要求1所述的基于人工智能和视觉感知的多AGV小车调度方法,其特征在于,所述根据所述目标货物的轮廓信息和质心,将所述工厂区域图像划分为至少两个ROI区域,包括:
根据所述目标货物的轮廓信息,获取所述目标货物的质心,以及所述目标货物的边缘信息;
基于LSD直线检测算法,对所述目标货物的边缘信息进行直线检测,得到反应所述目标货物的轮廓的线段集合,所述线段集合中的各个线段的中间点为所述目标货物的最佳着力点;
根据所述目标货物的重量和AGV小车标准载重得到所需的AGV小车的初始数量;
比较所述最佳着力点的数量和所述所需的AGV小车的初始数量,若所述最佳着力点的数量大于或者等于所述所需的AGV小车的初始数量,则确定所需的AGV小车的目标数量为所述所需的AGV小车的初始数量;
获取所述线段集合中的任意两个相邻的线段的线段交点,过所述质心连接各个线段交点做直线,以此将所述工厂区域图像划分为至少两个ROI区域。
6.根据权利要求1所述的基于人工智能和视觉感知的多AGV小车调度方法,其特征在于,所述根据所述引力场和斥力场,构建各ROI区域的人工势场,包括:
对于任意一个ROI区域而言,该ROI区域的人工势场等于该ROI区域的引力场和处于该ROI区域内的各个第一AGV小车的斥力场之和;
所述根据所述修正斥力场修正对应ROI区域的人工势场,得到各ROI区域的目标人工势场,包括:
对于任意一个ROI区域而言,该ROI区域的目标人工势场等于该ROI区域的修正斥力场与该ROI区域的人工势场之和。
7.根据权利要求1所述的基于人工智能和视觉感知的多AGV小车调度方法,其特征在于,所述对于任意一个第一AGV小车,基于所述初始规划路径与该第一AGV小车的实际行驶路径,判断所述第二AGV小车与该第一AGV小车是否产生干扰,若产生干扰,则确定该第一AGV小车的干扰区域,包括:
根据所述初始规划路径与该第一AGV小车的实际行驶路径,得到所述初始规划路径与该第一AGV小车的实际行驶路径的路径交点信息;
获取该第一AGV小车在实际行驶路径上行驶时各个采样时刻的该第一AGV小车的斥力范围,并获取该第一AGV小车的斥力范围覆盖所述路径交点信息的目标时间段;
对于所述目标时间段内的任意一个采样时刻,获取所述第二AGV小车以预设速度在初始规划路径上行驶时该采样时刻的斥力范围,并确定该采样时刻的该第一AGV小车的斥力范围与所述第二AGV小车的斥力范围是否相交,若相交,则说明所述第二AGV小车与该第一AGV小车在该采样时刻产生干扰,获取所述第二AGV小车与该第一AGV小车在该采样时刻的斥力范围的并集,作为该第一AGV小车在该采样时刻的干扰区域;
获取该第一AGV小车在所述目标时间段内的所有采样时刻的干扰区域的并集,作为该第一AGV小车的干扰区域。
10.一种基于人工智能和视觉感知的多AGV小车调度系统,包括存储器和处理器,以及存储在所述存储器上并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-9任一项所述的基于人工智能和视觉感知的多AGV小车调度方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110860799.1A CN113342004B (zh) | 2021-07-29 | 2021-07-29 | 基于人工智能和视觉感知的多agv小车调度方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110860799.1A CN113342004B (zh) | 2021-07-29 | 2021-07-29 | 基于人工智能和视觉感知的多agv小车调度方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113342004A true CN113342004A (zh) | 2021-09-03 |
CN113342004B CN113342004B (zh) | 2021-10-29 |
Family
ID=77480450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110860799.1A Active CN113342004B (zh) | 2021-07-29 | 2021-07-29 | 基于人工智能和视觉感知的多agv小车调度方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113342004B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689056A (zh) * | 2021-10-23 | 2021-11-23 | 深圳市骏丰木链网科技股份有限公司 | 基于供应链的智能仓储管理方法和系统 |
CN114964267A (zh) * | 2022-07-26 | 2022-08-30 | 中国科学院合肥物质科学研究院 | 一种无人牵引车在多任务点环境下的路径规划方法 |
CN115202350A (zh) * | 2022-07-15 | 2022-10-18 | 盐城工学院 | 一种agv小车的自动运输系统 |
CN115981257A (zh) * | 2022-12-21 | 2023-04-18 | 北京能科瑞元数字技术有限公司 | 工业智能制造柔性生产线agv集群协同作业方法及系统 |
CN116931532A (zh) * | 2023-09-15 | 2023-10-24 | 深圳市今天国际智能机器人有限公司 | 运输车辆自动装卸车方法、系统、计算机设备及存储介质 |
TWI820594B (zh) * | 2021-12-23 | 2023-11-01 | 大陸商深圳富聯富桂精密工業有限公司 | Agv運行管控方法、電子設備及計算機可讀存儲介質 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106272411A (zh) * | 2016-08-24 | 2017-01-04 | 上海交通大学 | 基于引力源的多机器人协同搬运船舱货物方法 |
US20170241790A1 (en) * | 2016-02-24 | 2017-08-24 | Honda Motor Co., Ltd. | Path plan generating apparatus for mobile body |
CN108829105A (zh) * | 2018-06-21 | 2018-11-16 | 浙江工业大学 | 一种基于km算法和人工势场法的仓储物流调度避障优化方法 |
CN110083166A (zh) * | 2019-05-30 | 2019-08-02 | 浙江远传信息技术股份有限公司 | 针对多机器人的协同调度方法、装置、设备及介质 |
CN110780671A (zh) * | 2019-10-30 | 2020-02-11 | 华南理工大学 | 一种基于全局视觉的仓储导航智能车调度方法 |
CN111415106A (zh) * | 2020-04-29 | 2020-07-14 | 上海东普信息科技有限公司 | 货车装载率识别方法、装置、设备及存储介质 |
CN112015174A (zh) * | 2020-07-10 | 2020-12-01 | 歌尔股份有限公司 | 一种多agv运动规划方法、装置和系统 |
CN112060097A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 多机器人系统的多任务协同控制方法 |
-
2021
- 2021-07-29 CN CN202110860799.1A patent/CN113342004B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170241790A1 (en) * | 2016-02-24 | 2017-08-24 | Honda Motor Co., Ltd. | Path plan generating apparatus for mobile body |
CN106272411A (zh) * | 2016-08-24 | 2017-01-04 | 上海交通大学 | 基于引力源的多机器人协同搬运船舱货物方法 |
CN108829105A (zh) * | 2018-06-21 | 2018-11-16 | 浙江工业大学 | 一种基于km算法和人工势场法的仓储物流调度避障优化方法 |
CN110083166A (zh) * | 2019-05-30 | 2019-08-02 | 浙江远传信息技术股份有限公司 | 针对多机器人的协同调度方法、装置、设备及介质 |
CN110780671A (zh) * | 2019-10-30 | 2020-02-11 | 华南理工大学 | 一种基于全局视觉的仓储导航智能车调度方法 |
CN111415106A (zh) * | 2020-04-29 | 2020-07-14 | 上海东普信息科技有限公司 | 货车装载率识别方法、装置、设备及存储介质 |
CN112015174A (zh) * | 2020-07-10 | 2020-12-01 | 歌尔股份有限公司 | 一种多agv运动规划方法、装置和系统 |
CN112060097A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 多机器人系统的多任务协同控制方法 |
Non-Patent Citations (1)
Title |
---|
裴文祥 等: "基于人工势场的车间作业调度应用与研究", 《中国制造业信息化》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689056A (zh) * | 2021-10-23 | 2021-11-23 | 深圳市骏丰木链网科技股份有限公司 | 基于供应链的智能仓储管理方法和系统 |
TWI820594B (zh) * | 2021-12-23 | 2023-11-01 | 大陸商深圳富聯富桂精密工業有限公司 | Agv運行管控方法、電子設備及計算機可讀存儲介質 |
CN115202350A (zh) * | 2022-07-15 | 2022-10-18 | 盐城工学院 | 一种agv小车的自动运输系统 |
CN114964267A (zh) * | 2022-07-26 | 2022-08-30 | 中国科学院合肥物质科学研究院 | 一种无人牵引车在多任务点环境下的路径规划方法 |
CN115981257A (zh) * | 2022-12-21 | 2023-04-18 | 北京能科瑞元数字技术有限公司 | 工业智能制造柔性生产线agv集群协同作业方法及系统 |
CN116931532A (zh) * | 2023-09-15 | 2023-10-24 | 深圳市今天国际智能机器人有限公司 | 运输车辆自动装卸车方法、系统、计算机设备及存储介质 |
CN116931532B (zh) * | 2023-09-15 | 2023-12-05 | 深圳市今天国际智能机器人有限公司 | 运输车辆自动装卸车方法、系统、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113342004B (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113342004B (zh) | 基于人工智能和视觉感知的多agv小车调度方法及系统 | |
JP7341652B2 (ja) | 情報処理装置、情報処理方法、プログラム、およびシステム | |
CN110780671B (zh) | 一种基于全局视觉的仓储导航智能车调度方法 | |
Sabattini et al. | The pan-robots project: Advanced automated guided vehicle systems for industrial logistics | |
US10512941B2 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
US11120280B2 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
CN111762519B (zh) | 引导拣选机器人作业的方法、系统和调度装置 | |
US11687086B2 (en) | Autonomous robotic navigation in storage site | |
Walenta et al. | A decentralised system approach for controlling AGVs with ROS | |
US10471474B2 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
CN110568861A (zh) | 一种人机运动障碍物监测方法、可读存储介质和无人机 | |
Hermann et al. | Anticipate your surroundings: Predictive collision detection between dynamic obstacles and planned robot trajectories on the GPU | |
CN112540606A (zh) | 避障的方法、装置、调度服务器及存储介质 | |
CN110162066A (zh) | 智能巡航车控制系统 | |
Behrje et al. | An autonomous forklift with 3d time-of-flight camera-based localization and navigation | |
CN114012732B (zh) | 一种机器人控制方法、装置、设备和介质 | |
US20240150159A1 (en) | System and method for definition of a zone of dynamic behavior with a continuum of possible actions and locations within the same | |
US20230211987A1 (en) | Pathfinding using centerline heuristics for an autonomous mobile robot | |
US20220162001A1 (en) | Predicting a path of material handling equipment and determining an obstacle-free path | |
CN115755888A (zh) | 多传感器数据融合的agv障碍物检测系统及避障方法 | |
US20190099784A1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
Meng et al. | A navigation framework for mobile robots with 3D LiDAR and monocular camera | |
Nogami et al. | A stereo camera based static and moving obstacles detection on autonomous visual navigation of indoor transportation vehicle | |
Yamada et al. | Vision based obstacle avoidance and target tracking for autonomous mobile robots | |
US20240208736A1 (en) | Ai-powered load stability estimation for pallet handling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |