CN113343962A - 基于视觉感知的多agv小车工作区域最大化实现方法 - Google Patents

基于视觉感知的多agv小车工作区域最大化实现方法 Download PDF

Info

Publication number
CN113343962A
CN113343962A CN202110905391.1A CN202110905391A CN113343962A CN 113343962 A CN113343962 A CN 113343962A CN 202110905391 A CN202110905391 A CN 202110905391A CN 113343962 A CN113343962 A CN 113343962A
Authority
CN
China
Prior art keywords
edge
agv
goods
boundary point
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110905391.1A
Other languages
English (en)
Other versions
CN113343962B (zh
Inventor
马红奎
徐祥琦
李栓柱
袁绪龙
郭东进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Huali Electromechanical Co Ltd
Original Assignee
Shandong Huali Electromechanical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Huali Electromechanical Co Ltd filed Critical Shandong Huali Electromechanical Co Ltd
Priority to CN202110905391.1A priority Critical patent/CN113343962B/zh
Publication of CN113343962A publication Critical patent/CN113343962A/zh
Application granted granted Critical
Publication of CN113343962B publication Critical patent/CN113343962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及视觉感知技术领域，具体涉及基于视觉感知的多AGV小车工作区域最大化实现方法。该方法包括：采集目标AGV小车的前视图像；检测出前视图像中的所有AGV小车，使AGV小车采集两侧的侧视图像发送至目标AGV小车；获取目标AGV小车的工作区域；选取AGV小车的货物边缘图像中的边界点生成边缘窗口，对相邻AGV小车的所有边缘窗口进行梯度分析，获取其货物契合度；获取每辆AGV小车的货物对齐度；根据货物契合度和对应的货物对齐度获取相邻AGV小车之间的合并评价指标，根据合并评价指标对工作区域进行更新，获取目标AGV小车的最大化工作区域。本发明实施例能够在多AGV小车共同工作时实现工作区域最大化。

Description

基于视觉感知的多AGV小车工作区域最大化实现方法
技术领域
本发明涉及视觉感知技术领域，具体涉及基于视觉感知的多AGV小车工作区域最大化实现方法。
背景技术
随着智能技术的不断发展，给物流业、制造业等行业带来了很大的转变，比如无人搬运车(Automated Guided Vehicle，AGV)的出现，可以帮助企业在生产过程中更加便利，生产更加高效。
在生产车间、仓库等场所，不管出库入库都需要转移，以前都是人工方式来转移和装卸，工作量大，所需时间较长，利用AGV小车能够大大提高生产效率，降低用人成本。AGV小车有承重大、运输速度快、安全性高等特点，使得它在国内的应用越来越广泛。
发明人在实践中，发现上述现有技术存在以下缺陷：
在固定场所内，多辆AGV小车共同工作时，为了避免AGV小车相互碰撞，多辆AGV小车设定有单一固定的行驶路线，可能会出现工作区域浪费的情况。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于视觉感知的多AGV小车工作区域最大化实现方法，所采用的技术方案具体如下：
本发明一个实施例提供了一种基于视觉感知的多AGV小车工作区域最大化实现方法，该方法包括以下步骤：
采集目标AGV小车的前视图像，所述前视图像包括多辆装有货物的AGV小车；检测出所述前视图像中的所有AGV小车，使所述AGV小车采集两侧的侧视图像发送至所述目标AGV小车；
根据所述目标AGV小车与所述AGV小车之间的距离获取所述目标AGV小车的工作区域；
获取所述前视图像中所述AGV小车的货物边缘图像；对所述货物边缘图像进行关键点检测，根据所述关键点横坐标的变化选取边界点生成边缘窗口，对相邻AGV小车的所有所述边缘窗口进行梯度分析，获取其货物契合度；
获取所述AGV小车对应的所述侧视图像中货物边缘的间断点，根据所述间断点的横坐标偏移量和高度差获取所述AGV小车的货物对齐度；
根据所述货物契合度和对应的所述货物对齐度获取相邻AGV小车之间的合并评价指标，当所述合并评价指标大于预设阈值时，使所述相邻AGV小车合并行驶，对所述工作区域进行更新，获取所述目标AGV小车的最大化工作区域。
优选的，所述检测出所述前视图像中的所有AGV小车的方法为：
对所述前视图像进行目标检测，获取所述AGV小车的包围框。
优选的，所述工作区域的获取步骤包括：
将所述AGV小车的包围框区域的像素标记为1，获取所述前视图像的二值图像；
对所述二值图像进行反二值化，获得可行驶区域，根据所述可行驶区域规划所述目标AGV小车的行驶路线，获取所述工作区域。
优选的，所述货物边缘图像的获取方法为：
通过对所述前视图像进行阈值分割获取所述AGV小车的第一货物感兴趣区域，对所述第一货物感兴趣区域进行边缘检测得到货物边缘，对所述货物边缘的最外侧边缘进行分割，获取所述货物边缘图像。
优选的，所述边缘检测之前，还包括以下步骤：
对每辆所述AGV小车的第一货物感兴趣区域进行视差矫正。
优选的，所述边界点的选取方法为：
将位于所述第一货物感兴趣区域左侧或者右侧的所述最外侧边缘作为侧边货物边缘，以所述侧边货物边缘最上方的关键点作为上边界点，从上到下依次统计所述关键点的横坐标，选取所述横坐标偏移两次后的所述关键点作为下边界点，根据所述上边界点和所述下边界点生成第一边缘窗口，以所述下边界点作为第二窗口的上边界点，以同样的方法生成第二边缘窗口，直至遍历所述货物边缘。
优选的，所述边缘窗口的生成步骤包括：
以所述上边界点和所述下边界点之间的垂直距离作为所述边缘窗口的高，根据所述上边界点和所述下边界点与所述货物边缘的位置关系获取所述边缘窗口的角点和宽，根据所述所述边缘窗口的角点、宽以及高生成所述边缘窗口。
优选的，所述边缘窗口的生成步骤还包括：
当所述上边界点和所述下边界点在所述货物边缘同一侧时，以距离所述货物边缘更远的所述边界点所在的竖直线为所述边缘窗口的边，并根据该点的横坐标偏移量获取所述边缘窗口的宽。
优选的，所述边缘窗口的生成步骤还包括：
当所述上边界点和所述下边界点在所述货物边缘不同侧时，以所述上边界点和所述下边界点为角点生成所述边缘窗口。
优选的，所述货物契合度的获取步骤包括：
获取所有所述边缘窗口的边缘组成的边缘曲线，以所述边缘曲线的平均曲率作为所述边缘窗口的曲折度；
根据所述边缘窗口的梯度方向计算相邻AGV小车的相邻侧对应的所述边缘窗口的纹理一致性；
根据所述曲折度和所述纹理一致性获取相邻AGV小车的所述货物契合度。
本发明实施例至少具有如下有益效果：
1、通过目标AGV小车的视角获取视野范围内的相邻AGV小车的货物契合度和对应的货物对齐度，进而将符合合并条件的相邻AGV小车合并行驶，能够尽量缩小AGV小车运输货物所占用的空间，将目标AGV小车的工作区域最大化。
2、将货物边缘分解为多个边缘窗口，计算相邻AGV小车对应的边缘窗口的货物契合度，能够更加准确地判断相邻AGV小车能否合并。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于视觉感知的多AGV小车工作区域最大化实现方法的步骤流程图；
图2为本发明一个实施例所提供的上边界点和下边界点在货物边缘同一侧时的边缘窗口示意图；
图3为本发明一个实施例所提供的上边界点和下边界点在货物边缘不同侧时的边缘窗口示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉感知的多AGV小车工作区域最大化实现方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于视觉感知的多AGV小车工作区域最大化实现方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于视觉感知的多AGV小车工作区域最大化实现方法的步骤流程图，该方法包括以下步骤：
步骤S001，采集目标AGV小车的前视图像，前视图像包括多辆装有货物的AGV小车；检测出前视图像中的所有AGV小车，使AGV小车采集两侧的侧视图像发送至目标AGV小车。
在每一辆AGV小车上部署双目多视角光学相机，采集目标AGV小车的前视图像以及图像中像素点的深度信息。
通过前视镜头分析前方的路况、与前车的距离、是否到达目的地以及视野范围内的相邻AGV小车的货物边缘信息；通过侧视镜头得到侧视图像进行后续的货物分析。将单辆目标AGV小车不同镜头采集到的图像进行统一存储。
将所有采集到的图像进行去噪处理，排除在图像传输过程中产生的椒盐噪声，防止对后续关键点、边缘检测造成影响。同时对图像进行gamma校正，增加图像间的对比度，提高特征提取精度。
作为一个示例，本发明实施例中采用中值滤波去除噪声。
具体的步骤包括：
（1）对前视图像进行目标检测，获取AGV小车的包围框。
对前视图像进行灰度化，得到灰度图像，对灰度图像进行图像编码，而后进行解码。网络的输入为灰度图像A，输出为包围框的中心点（x,y）和包围框的宽 w和高h。通过RstNet50网络进行卷积、平均池化操作，在对图像进行下采样的过程中，提取图像中的空域特征，编码器的输出为提取到的特征图。通过全连接层的Softmax判断锚点是属于前景还是背景，利用Bbox回归来获得精确的包围框。通过交并比（Intersection of Union，IOU）标准进行性能评估。采用的loss损失函数为分类损失函数和回归损失函数叠加。
作为一个示例，本发明实施例中交并比阈值的取值为0.5。
作为一个示例，本发明实施例中采用Encoder-FC结构的Mask-RCNN检测网络进行目标检测，在其他实施例中，还可以采用YOLO、CSPNet等其他能够达到相同效果的目标检测网络。
（2）使目标检测出的AGV小车采集两侧的侧视图像发送至目标AGV小车。
采集的侧视图像在后续步骤S004中用来计算货物对齐度。
步骤S002，根据目标AGV小车与AGV小车之间的距离获取目标AGV小车的工作区域。
具体的步骤包括：
（1）将在前视图像检测出的AGV小车的包围框区域的像素标记为1，获取前视图像的二值图像。
通过目标检测得到前方AGV小车的包围框坐标[x,y,w,h]，将检测到的包围框区域像素标记为1，其他区域标记为0，得到前视图像的二值图像B，将图像B与原灰度图像A相乘得到AGV小车图像C。
（2）对二值图像进行反二值化，获得可行驶区域，根据可行驶区域规划目标AGV小车的行驶路线，获取工作区域。
因为相机采用RGB-D相机，能够得到可行驶区域的深度信息和距离各AGV小车的距离，根据可行驶区域和距离该区域的深度信息规划该区域目标AGV小车的路线，获取工作区域。
步骤S003，获取前视图像中AGV小车的货物边缘图像；对货物边缘图像进行关键点检测，根据关键点横坐标的变化选取边界点生成边缘窗口，对相邻AGV小车的所有边缘窗口进行梯度分析，获取其货物契合度。
具体的步骤包括：
（1）通过对前视图像进行阈值分割获取AGV小车的第一货物感兴趣区域，对第一货物感兴趣区域进行边缘检测，得到货物边缘，对货物边缘进行最外侧边缘分割，获取货物边缘图像。
货物边缘图像的具体获取步骤包括：
a. 由于AGV小车运输货物的颜色与背景有较大的灰度差异，通过对前视图像设定灰度阈值进行灰度差异划分，得到每辆AGV小车的第一货物感兴趣区域。
作为一个示例，本发明实施例中灰度阈值
Figure DEST_PATH_IMAGE001
。
b. 对每辆AGV小车的第一货物感兴趣区域进行视差矫正。
在对第一货物感兴趣区域进行后续分析时，由于不同小车在同视角下存在视差，因此通过透视变换对不同小车的图像坐标和深度值进行视差矫正。
c. 对视差矫正后的第一货物感兴趣区域进行边缘检测，得到货物边缘，对货物边缘的最外侧边缘进行分割，提取货物边缘图像。
作为一个示例，本发明实施例通过Canny算子进行边缘检测得到货物的边缘轮廓，能够得到精确的边缘位置并有效抑制噪声。
（2）对货物边缘图像进行关键点检测，根据关键点横坐标的变化选取边界点生成边缘窗口。
请参阅图2和图3，边缘窗口生成的具体步骤包括：
a.选取边界点。
将位于第一货物感兴趣区域左侧或者右侧的最外侧边缘作为侧边货物边缘，以侧边货物边缘最上方的关键点作为上边界点，从上到下依次统计关键点的横坐标，选取横坐标偏移两次后的关键点作为下边界点，根据上边界点和下边界点生成第一边缘窗口，以下边界点作为第二窗口的上边界点，以同样的方法生成第二边缘窗口，直至遍历货物边缘。
作为一个示例，本发明实施例利用SIFT关键点检测算法。
选取横坐标偏移两次后的关键点作为下边界点能够提高窗口的信息量，既提高了货物边缘纹理分析的速度，又保留了货物边缘的局部信息，使获取的分析结果更加准确。
b. 以上边界点和下边界点之间的垂直距离作为边缘窗口的高，根据上边界点和下边界点与货物边缘的位置关系获取边缘窗口的角点和宽，根据边缘窗口的角点、宽以及高生成边缘窗口。
具体的，如图2所示，当上边界点201和下边界点202在货物边缘同一侧时，以距离货物边缘更远的边界点所在的竖直线为边缘窗口的边，并根据该点的横坐标偏移量获取边缘窗口的宽。
宽的大小为
Figure 589990DEST_PATH_IMAGE002
，其中
Figure DEST_PATH_IMAGE003
表示关键点与货物边缘之间的横坐标最大偏移量，
Figure DEST_PATH_IMAGE004
表示最远角点的垂线位置向远离货物边缘一侧的浮动参数。
作为一个示例，本发明实施例的浮动参数取值为2像素值。
如图3所示，当上边界点301和下边界点302在货物边缘不同侧时，以上边界点和下边界点为角点生成边缘窗口。
优选的，以上边界点和下边界点为角点生成边缘窗口时，分别在上边界点和下边界点远离货物边缘一侧增加浮动参数
Figure 688920DEST_PATH_IMAGE005
的长度生成边缘窗口的宽。
复用第一边缘窗口的下边界点作为第二边缘窗口的上边界点，继续进行第二边缘窗口的划分，不断迭代，直到将所有货物边缘划分完毕。
若最后剩余的货物关键点的横坐标偏移次数不满足2次，则将剩余所有边缘化为一个信息窗口；若最后货物关键点的偏移次数不满足1次，则将货物最下方边缘作为最后一个信息窗口的下边缘。
设置浮动参数
Figure 458092DEST_PATH_IMAGE005
能够将货物的所有的边缘信息都置于边缘窗口内，防止部分边缘与边缘窗口重合，有利于提高纹理分析精度。
（3）计算相邻小车的相邻侧对应的边缘窗口的纹理一致性。
逐行分析边缘窗口内的货物边缘像素点的梯度方向
Figure DEST_PATH_IMAGE006
。
利用每个边缘窗口内货物边缘的纹理方向获取货物之间的偏移方向。
Figure DEST_PATH_IMAGE008
其中，
Figure 908053DEST_PATH_IMAGE006
表示梯度方向，为一个矢量角度，有大小和方向；
Figure 580343DEST_PATH_IMAGE009
表示边缘窗口内第
Figure DEST_PATH_IMAGE010
个像素点与其相邻像素点列方向上的灰度差值；
Figure 314206DEST_PATH_IMAGE011
表示边缘窗口内第
Figure 836585DEST_PATH_IMAGE010
个像素点与其相邻像素点行方向上的灰度差值。
其中，
Figure 6797DEST_PATH_IMAGE006
的正负表示曲线的方向，以该像素点垂直方向为主方向，梯度方向偏左为正，偏右为负。
将边缘窗口内货物边缘处的所有像素点进行偏移方向拟合，得到一个连续曲线
Figure DEST_PATH_IMAGE012
，通过DTW算法计算相邻AGV小车对应的边缘窗口的纹理曲线对应点之间的距离，来获取对应边缘窗口的纹理一致性。
其中，DTW算法的横坐标为对应边缘窗口的像素点，纵坐标表示梯度方向角的大小，曲线对应点之间的距离均值表征纹理一致性。
具体的计算公式为：
Figure DEST_PATH_IMAGE014
其中，
Figure 926519DEST_PATH_IMAGE015
表示相邻AGV小车第
Figure DEST_PATH_IMAGE016
个边缘窗口的纹理一致性，
Figure 249309DEST_PATH_IMAGE017
表示相邻AGV小车中相邻侧货物边缘的第
Figure 677011DEST_PATH_IMAGE016
个边缘窗口中第
Figure 865678DEST_PATH_IMAGE010
个像素点的梯度方向，
Figure DEST_PATH_IMAGE018
表示相邻AGV小车中另一相邻侧货物边缘的第
Figure 861795DEST_PATH_IMAGE016
个边缘窗口中第
Figure 429305DEST_PATH_IMAGE010
个像素点的梯度方向，
Figure 27908DEST_PATH_IMAGE019
表示第
Figure DEST_PATH_IMAGE020
个边缘窗口中像素点的数量。
（4）获取所有边缘窗口的边缘组成的边缘曲线，以边缘曲线的平均曲率作为边缘窗口的曲折度。
将上述步骤（3）中得到的每个边缘窗口得到连续曲线
Figure 782499DEST_PATH_IMAGE021
合成得到整体边缘的边缘曲线，通过对边缘曲线上所有点的曲率
Figure DEST_PATH_IMAGE022
求均值，得到边缘曲线的平均曲率作为整体边缘的曲折度R，来对比相邻AGV小车的关联关系。
（5）获取相邻AGV小车之间的货物契合度。
自上而下遍历边缘窗口，当相邻AGV小车的边缘窗口数量不同时，相邻AGV小车之间不能相互合并，一致性系数
Figure 508272DEST_PATH_IMAGE023
；当相邻AGV小车的边缘窗口数量相同时，以进行归一化处理后的对应边缘窗口的面积差作为对应边缘窗口大小的一致性系数，面积差越大，一致性越低，一致性系数
Figure DEST_PATH_IMAGE024
取值越小，窗口大小完全一致时，
Figure 528357DEST_PATH_IMAGE025
取最大值1，
Figure DEST_PATH_IMAGE026
。
通过数学建模拟合出边缘窗口面积与一致性系数的数学关系为：
Figure DEST_PATH_IMAGE028
其中，
Figure 907648DEST_PATH_IMAGE029
表示相邻AGV小车中其中一相邻侧货物边缘的第
Figure 70907DEST_PATH_IMAGE016
个边缘窗口的面积，
Figure DEST_PATH_IMAGE030
表示与
Figure 600371DEST_PATH_IMAGE029
对应的另一相邻侧货物边缘的第
Figure 532686DEST_PATH_IMAGE016
个边缘窗口的面积。
相邻AGV小车货物的曲折度越相似，货物契合度高；纹理一致性越大，货物契合度高；一致性系数表示相邻AGV小车货物的边缘窗口一致性，与货物契合度呈正相关关系，因此通过数学建模根据曲折度、相邻AGV小车货物的纹理一致性以及一致性系数拟合出货物契合度评价模型：
Figure DEST_PATH_IMAGE032
其中，
Figure 969963DEST_PATH_IMAGE033
表示货物契合度；
Figure DEST_PATH_IMAGE034
表示边缘窗口的数量，
Figure 964726DEST_PATH_IMAGE035
表示相邻AGV小车中曲折度较小一侧的第
Figure DEST_PATH_IMAGE036
个信息窗口的曲折度，
Figure 501143DEST_PATH_IMAGE037
表示相邻AGV小车中曲折度较大一侧的第
Figure 287965DEST_PATH_IMAGE036
个信息窗口的曲折度，
Figure DEST_PATH_IMAGE038
表示误差因子。
作为一个示例，在本发明实施例中误差因子
Figure 759791DEST_PATH_IMAGE038
取值为0.05。
步骤S004，获取AGV小车对应的侧视图像中货物边缘的间断点，根据间断点的横坐标偏移量和高度差获取AGV小车的货物对齐度。
具体的步骤包括：
（1）获取侧视图像的第二货物感兴趣区域。
利用步骤S003同样的方法通过阈值分割获取AGV小车对应的侧面图像中的第二货物感兴趣区域。
（2）计算每辆AGV小车的货物对齐度。
货物对齐度即为货物上下边缘的对齐程度，如果完全对齐，则单一边缘的所有边缘窗口的角点上下应为一条连续的垂线；如果不完全对齐，则会出现多条间断直线，通过多条间断直线的间断点偏移量和间断点之间的高度差作为对齐度的评价指标，构建对齐度评价模型L：
Figure DEST_PATH_IMAGE040
其中，
Figure 839918DEST_PATH_IMAGE041
表示第
Figure DEST_PATH_IMAGE042
个间断点的横坐标，
Figure 507922DEST_PATH_IMAGE043
表示第
Figure DEST_PATH_IMAGE044
个间断点的横坐标，
Figure 368824DEST_PATH_IMAGE045
表示第
Figure 182190DEST_PATH_IMAGE042
个间断点和第
Figure 276179DEST_PATH_IMAGE044
个间断点之间的高度差，
Figure DEST_PATH_IMAGE046
表示间断点的数量。
当
Figure 759593DEST_PATH_IMAGE047
时，边缘为一条连续的垂线，对齐度L为最大值，即为
Figure DEST_PATH_IMAGE048
，AGV小车的货物越整齐；当存在间断直线的情况时，对其间断点处的偏移量和间断点数量q进行统计，获取整体边缘的对齐度L，间断点之间的偏移量越大，得到的对齐度L越小，货物的对齐度越差，货物边缘越不整齐。
若两辆AGV小车能够合并行驶，将合并后的AGV小车作为一个整体，货物边缘的对齐度越相似，能够更准确地判断组合AGV小车与前方AGV小车的合适车距，使对组合AGV小车的控制更加简单高效。
步骤S005，根据货物契合度和货物对齐度获取相邻AGV小车之间的合并评价指标，当合并评价指标大于预设阈值时，使相邻AGV小车合并行驶，对工作区域进行更新，获取目标AGV小车的最大化工作区域。
具体的步骤包括：
（1）获取合并评价指标。
相邻两辆AGV小车的货物契合度Edge越高，进行合并缩小空间的合理性越高；相邻两辆AGV小车的货物对齐度越相似，合并后的货物视觉上更加整齐。因此根据目标AGV小车的前视图像得到的相邻AGV小车的货物契合度Edge和侧视图像得到的对应AGV小车的货物对齐度L构建合并评价指标S：
Figure DEST_PATH_IMAGE050
其中，
Figure 334056DEST_PATH_IMAGE051
表示相邻AGV小车相邻侧中货物对齐度较高一侧货物边缘的货物对齐度，
Figure DEST_PATH_IMAGE052
表示相邻AGV小车相邻侧中货物对齐度较低一侧货物边缘的货物对齐度。
（2）判断相邻AGV小车能否合并行驶。
对契合度评价指标进行归一化处理，当S大于预设阈值T时，相邻AGV小车满足契合条件，使相邻AGV小车合并行驶。在实际操作中该预设阈值应当根据实际情况和小车的平均速度进行调整，才能更好的完成多车契合。
作为一个示例，本发明实施例中
Figure 396952DEST_PATH_IMAGE053
。
（3）获取目标AGV小车的最大化工作区域。
当目标AGV小车在进行运输工作的情况下，相邻AGV小车满足契合条件可进行两车近距离合并行驶，以达到缩小空间的目的，获得更大的工作区域。
需要说明的是，为了保证可实施性和稳定性，最多两辆AGV小车能够进行合并，当识别到某一AGV小车已经进行合并，将不再进行后续合并的图像采集，只进行前置图像的车距和目的地判断。
目标AGV小车通过获得的工作区域进行当前工作路线规划，在不影响其他AGV小车的基础上，提高运输速度。当前方AGV小车通过上述图像分析，满足相邻车契合要求时，进行相邻AGV小车合并，工作区域发生变化，对工作区域进行更新，进一步的，通过更新后的工作区域完成目标AGV小车的路线更新。
最大化压缩相邻AGV小车之间的距离空间，规划出更大的可行驶区域，使目标AGV小车工作区域最大化。
综上所述，本发明实施例采集目标AGV小车的前视图像，前视图像包括多辆装有货物的AGV小车；检测出前视图像中的所有AGV小车，使AGV小车采集两侧的侧视图像发送至目标AGV小车；根据目标AGV小车与AGV小车之间的距离获取目标AGV小车的工作区域；获取前视图像中AGV小车的货物边缘图像；对货物边缘图像进行关键点检测，根据关键点横坐标的变化选取边界点生成边缘窗口，对相邻AGV小车的所有边缘窗口进行梯度分析，获取其货物契合度；获取AGV小车对应的侧视图像中货物边缘的间断点，根据间断点的横坐标偏移量和高度差获取AGV小车的货物对齐度；根据货物契合度和对应的货物对齐度获取相邻AGV小车之间的合并评价指标，当合并评价指标大于预设阈值时，使相邻AGV小车合并行驶，对工作区域进行更新，获取目标AGV小车的最大化工作区域。本发明实施例能够在多AGV小车共同工作时实现工作区域最大化。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于视觉感知的多AGV小车工作区域最大化实现方法，其特征在于，该方法包括以下步骤：
采集目标AGV小车的前视图像，所述前视图像包括多辆装有货物的AGV小车；检测出所述前视图像中的所有AGV小车，使所述AGV小车采集两侧的侧视图像发送至所述目标AGV小车；
根据所述目标AGV小车与所述AGV小车之间的距离获取所述目标AGV小车的工作区域；
获取所述前视图像中所述AGV小车的货物边缘图像；对所述货物边缘图像进行关键点检测，根据所述关键点横坐标的变化选取边界点生成边缘窗口，对相邻AGV小车的所有所述边缘窗口进行梯度分析，获取其货物契合度；
获取所述AGV小车对应的所述侧视图像中货物边缘的间断点，根据所述间断点的横坐标偏移量和高度差获取所述AGV小车的货物对齐度；
根据所述货物契合度和对应的所述货物对齐度获取相邻AGV小车之间的合并评价指标，当所述合并评价指标大于预设阈值时，使所述相邻AGV小车合并行驶，对所述工作区域进行更新，获取所述目标AGV小车的最大化工作区域。
2.根据权利要求1所述的方法，其特征在于，所述检测出所述前视图像中的所有AGV小车的方法为：
对所述前视图像进行目标检测，获取所述AGV小车的包围框。
3.根据权利要求2所述的方法，其特征在于，所述工作区域的获取步骤包括：
将所述AGV小车的包围框区域的像素标记为1，获取所述前视图像的二值图像；
对所述二值图像进行反二值化，获得可行驶区域，根据所述可行驶区域规划所述目标AGV小车的行驶路线，获取所述工作区域。
4.根据权利要求1所述的方法，其特征在于，所述货物边缘图像的获取方法为：
通过对所述前视图像进行阈值分割获取所述AGV小车的第一货物感兴趣区域，对所述第一货物感兴趣区域进行边缘检测得到货物边缘，对所述货物边缘的最外侧边缘进行分割，获取所述货物边缘图像。
5.根据权利要求4所述的方法，其特征在于，所述边缘检测之前，还包括以下步骤：
对每辆所述AGV小车的第一货物感兴趣区域进行视差矫正。
6.根据权利要求4所述的方法，其特征在于，所述边界点的选取方法为：
将位于所述第一货物感兴趣区域左侧或者右侧的所述最外侧边缘作为侧边货物边缘，以所述侧边货物边缘最上方的关键点作为上边界点，从上到下依次统计所述关键点的横坐标，选取所述横坐标偏移两次后的所述关键点作为下边界点，根据所述上边界点和所述下边界点生成第一边缘窗口，以所述下边界点作为第二窗口的上边界点，以同样的方法生成第二边缘窗口，直至遍历所述货物边缘。
7.根据权利要求6所述的方法，其特征在于，所述边缘窗口的生成步骤包括：
以所述上边界点和所述下边界点之间的垂直距离作为所述边缘窗口的高，根据所述上边界点和所述下边界点与所述货物边缘的位置关系获取所述边缘窗口的角点和宽，根据所述所述边缘窗口的角点、宽以及高生成所述边缘窗口。
8.根据权利要求7所述的方法，其特征在于，所述边缘窗口的生成步骤还包括：
当所述上边界点和所述下边界点在所述货物边缘同一侧时，以距离所述货物边缘更远的所述边界点所在的竖直线为所述边缘窗口的边，并根据该点的横坐标偏移量获取所述边缘窗口的宽。
9.根据权利要求7所述的方法，其特征在于，所述边缘窗口的生成步骤还包括：
当所述上边界点和所述下边界点在所述货物边缘不同侧时，以所述上边界点和所述下边界点为角点生成所述边缘窗口。
10.根据权利要求6所述的方法，其特征在于，所述货物契合度的获取步骤包括：
获取所有所述边缘窗口的边缘组成的边缘曲线，以所述边缘曲线的平均曲率作为所述边缘窗口的曲折度；
根据所述边缘窗口的梯度方向计算相邻AGV小车的相邻侧对应的所述边缘窗口的纹理一致性；
根据所述曲折度和所述纹理一致性获取相邻AGV小车的所述货物契合度。
CN202110905391.1A 2021-08-09 2021-08-09 基于视觉感知的多agv小车工作区域最大化实现方法 Active CN113343962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110905391.1A CN113343962B (zh) 2021-08-09 2021-08-09 基于视觉感知的多agv小车工作区域最大化实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110905391.1A CN113343962B (zh) 2021-08-09 2021-08-09 基于视觉感知的多agv小车工作区域最大化实现方法

Publications (2)

Publication Number Publication Date
CN113343962A true CN113343962A (zh) 2021-09-03
CN113343962B CN113343962B (zh) 2021-10-29

Family

ID=77480943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110905391.1A Active CN113343962B (zh) 2021-08-09 2021-08-09 基于视觉感知的多agv小车工作区域最大化实现方法

Country Status (1)

Country Link
CN (1) CN113343962B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648278A (zh) * 2022-05-13 2022-06-21 泗水县瑞安建材有限公司 一种基于智能仓储的建材出入库管理方法
CN117542003A (zh) * 2024-01-08 2024-02-09 大连天成电子有限公司 基于图像特征分析的货运列车车型判断方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835173A (zh) * 2015-05-21 2015-08-12 东南大学 一种基于机器视觉的定位方法
CN105511462A (zh) * 2015-11-30 2016-04-20 北京卫星制造厂 一种基于视觉的agv导航方法
CN205750537U (zh) * 2016-05-30 2016-11-30 广州沃港电子科技有限公司 基于彩色图像的agv路径识别装置
CN108445891A (zh) * 2018-05-28 2018-08-24 山东华力机电有限公司 一种agv小车光学导航系统和导航方法
CN108876264A (zh) * 2018-08-28 2018-11-23 北京环球之翼航空科技有限责任公司 社区快递物流仓储及智能分拣系统
CN109522951A (zh) * 2018-11-09 2019-03-26 上海智瞳通科技有限公司 一种环境与目标的多维信息数据采集与存储的方法
CN111144825A (zh) * 2019-12-31 2020-05-12 浙江中烟工业有限责任公司 一种基于agv小车的rfid仓储物流盘库方法和系统
CN112149555A (zh) * 2020-08-26 2020-12-29 华南理工大学 一种基于全局视觉的多仓储agv追踪方法
CN112633157A (zh) * 2020-12-22 2021-04-09 江苏智库智能科技有限公司 一种agv工作区域安全性的实时检测方法及系统
CN112633187A (zh) * 2020-12-28 2021-04-09 山东电子职业技术学院 基于图像分析的机器人自动搬运方法、系统和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835173A (zh) * 2015-05-21 2015-08-12 东南大学 一种基于机器视觉的定位方法
CN105511462A (zh) * 2015-11-30 2016-04-20 北京卫星制造厂 一种基于视觉的agv导航方法
CN205750537U (zh) * 2016-05-30 2016-11-30 广州沃港电子科技有限公司 基于彩色图像的agv路径识别装置
CN108445891A (zh) * 2018-05-28 2018-08-24 山东华力机电有限公司 一种agv小车光学导航系统和导航方法
CN108876264A (zh) * 2018-08-28 2018-11-23 北京环球之翼航空科技有限责任公司 社区快递物流仓储及智能分拣系统
CN109522951A (zh) * 2018-11-09 2019-03-26 上海智瞳通科技有限公司 一种环境与目标的多维信息数据采集与存储的方法
CN111144825A (zh) * 2019-12-31 2020-05-12 浙江中烟工业有限责任公司 一种基于agv小车的rfid仓储物流盘库方法和系统
CN112149555A (zh) * 2020-08-26 2020-12-29 华南理工大学 一种基于全局视觉的多仓储agv追踪方法
CN112633157A (zh) * 2020-12-22 2021-04-09 江苏智库智能科技有限公司 一种agv工作区域安全性的实时检测方法及系统
CN112633187A (zh) * 2020-12-28 2021-04-09 山东电子职业技术学院 基于图像分析的机器人自动搬运方法、系统和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FANG JIA等: "《Research on Multi-AGV Autonomous Obstacle Avoidance Strategy Based on Improved A* Algorithm》", 《2018 25TH INTERNATIONAL CONFERENCE ON MECHATRONICS AND MACHINE VISIONIN PRACTICE (M2VIP)》 *
S. ARORA等: "《Collision avoidance among AGVs at junctions》", 《PROCEEDINGS OF THE IEEE INTELLIGENT VEHICLES SYMPOSIUM 2000》 *
徐叶帆: "《基于机器视觉的AGV定位方法研究》", 《工业控制计算机》 *
郭兴海等: "《融合多目标与速度控制的AGV全局路径规划》", 《控制与决策》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648278A (zh) * 2022-05-13 2022-06-21 泗水县瑞安建材有限公司 一种基于智能仓储的建材出入库管理方法
CN117542003A (zh) * 2024-01-08 2024-02-09 大连天成电子有限公司 基于图像特征分析的货运列车车型判断方法
CN117542003B (zh) * 2024-01-08 2024-04-02 大连天成电子有限公司 基于图像特征分析的货运列车车型判断方法

Also Published As

Publication number Publication date
CN113343962B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN113343962B (zh) 基于视觉感知的多agv小车工作区域最大化实现方法
CN112801022B (zh) 一种无人驾驶矿卡作业区道路边界快速检测更新的方法
CN107330376B (zh) 一种车道线识别方法及系统
CN107679520B (zh) 一种适用于复杂条件下的车道线视觉检测方法
CN112070838B (zh) 基于二维-三维融合特征的对象识别与定位方法及装置
CN101901343B (zh) 基于立体约束的遥感影像道路提取方法
CN104916163B (zh) 泊车位检测方法
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN103413308B (zh) 一种障碍物检测方法和装置
CN110399884B (zh) 一种特征融合自适应锚框模型车辆检测方法
CN106203342A (zh) 基于多角度局部特征匹配的目标识别方法
CN101620732A (zh) 道路行驶线的视觉检测方法
CN107832674B (zh) 一种车道线检测方法
CN110110608B (zh) 一种全景监控下基于视觉的叉车速度监测方法和系统
CN110491132A (zh) 基于视频帧图片分析的车辆违停检测方法及装置
CN112802196B (zh) 基于点线特征融合的双目惯性同时定位与地图构建方法
CN113362385A (zh) 一种基于深度图像的货物体积测量方法及设备
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN112435267A (zh) 一种高分辨率城市卫星立体图像的视差图计算方法
CN115424240A (zh) 一种地面障碍物检测方法、系统、介质、设备及终端
CN115546202A (zh) 一种用于无人叉车的托盘检测与定位方法
CN105469401B (zh) 一种基于计算机视觉的船槽定位方法
CN112666573B (zh) 一种矿区卸载区车后方挡土墙及障碍物的检测方法
CN108090895B (zh) 一种基于图像处理的集装箱锁孔轮廓提取方法
CN112884026B (zh) 一种图像识别辅助的输电线路激光LiDAR点云分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant