CN113361292A - 基于人工智能和二维码导航的agv行驶优化方法及系统 - Google Patents

基于人工智能和二维码导航的agv行驶优化方法及系统 Download PDF

Info

Publication number
CN113361292A
CN113361292A CN202110572407.1A CN202110572407A CN113361292A CN 113361292 A CN113361292 A CN 113361292A CN 202110572407 A CN202110572407 A CN 202110572407A CN 113361292 A CN113361292 A CN 113361292A
Authority
CN
China
Prior art keywords
dimensional code
edge
agv
image
dimension code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110572407.1A
Other languages
English (en)
Other versions
CN113361292B (zh
Inventor
刘敏
王金河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Rocky Aerospace Technology Co ltd
Original Assignee
Guangzhou Dongchong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dongchong Technology Co ltd filed Critical Guangzhou Dongchong Technology Co ltd
Priority to CN202110572407.1A priority Critical patent/CN113361292B/zh
Publication of CN113361292A publication Critical patent/CN113361292A/zh
Application granted granted Critical
Publication of CN113361292B publication Critical patent/CN113361292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能领域,具体涉及一种基于人工智能和二维码导航的AGV行驶优化方法,该方法通过AGV上部署的相机采集行驶路面图像,提取出路面作为感兴趣区域,识别出感兴趣区域中的二维码图像,其中,二维码图像包括二维码边缘信息;根据二维码边缘信息确定AGV的移动方向并在移动过程中旋转相机,直至相机光轴与所述移动方向垂直;当获取的二维码图像被图像坐标系纵轴等分,则调整AGV移动方向与光轴的方向一致,以使在AGV行驶至所述二维码位置时获取完整的二维码图像及其预存的二维码信息,进而引导所述AGV的行驶方向,实现AGV的行驶优化;本发明能够在没有无线通信的情况下准确地实现二维码导航的AGV行驶优化。

Description

基于人工智能和二维码导航的AGV行驶优化方法及系统
技术领域
本发明涉及人工智能领域,具体涉及一种基于人工智能和二维码导航的AGV行驶优化方法。
背景技术
AGV小车是构成智能工厂、智能车间的重要组成部分之一,能够明显提升生产管理的自动化级别,而AGV小车所带来的高自动化和智能化对生产人力成本节省是很可观的。近年来,为了使AGV小车从传统的机场行李输送以及物流系统中进入到更多有精细化要求的产业之中,我国对AGV小车行驶路线和实现相关指令方面的精准度要求更高了。
目前,市场上推出了由二维码与无线通信相结合的AGV路径规划方法,通过无线通信方式传送AGV小车的位置信息至远程服务器,远程服务器根据路面情况规划路径,AGV根据路径信息开始循线行驶。
发明人在实践中,发现上述现有技术存在以下缺陷:二维码与无线通信相结合的AGV路径规划方法,由于AGV小车需要往返于不同工作区域且各个位置遮挡面不同,短距离无线通信无法完全覆盖,无法及时将AGV小车位置信息传送至远程服务器,导致无法及时进行后续路径规划。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于人工智能和二维码导航的AGV行驶优化方法,所采用的技术方案具体如下:
第一方面,本发明一个实施例提供了一种基于人工智能和二维码导航的AGV行驶优化方法,该方法包括以下步骤:
获取行驶路面图像,提取出路面作为感兴趣区域;
识别所述感兴趣区域中的二维码图像;其中,所述二维码图像包括二维码边缘信息;
根据所述二维码图像的边缘信息确定参考移动直线,以使所述AGV沿着所述参考移动直线的方向向靠近所述二维码图像的方向移动,在移动的过程中使相机光轴旋转至与所述移动方向垂直;
当获取的二维码图像被图像坐标系纵轴等分,则调整AGV移动方向与所述光轴的方向一致,以使在所述AGV行驶至所述二维码位置时获取完整的二维码图像及其预存的二维码信息,进而引导所述AGV的行驶方向。
优选的,所述识别所述感兴趣区域中的二维码图像,还包括以下步骤:
根据感兴趣区域的像素点数量和像素点之间的距离进行二维码判断,获取二维码预测点,根据所述二维码预测点对二维码边缘线段进行筛选,获取正确的二维码边缘信息。
优选的,所述获取完整的二维码图像及其预存的二维码信息的步骤,还包括以下优化步骤:
根据所述完整的二维码图像的边缘的直线特性获取二维码的晃动程度;
根据所述二维码的晃动程度调整匹配度,根据调整后的所述匹配度将所述完整的二维码图像与预存图像进行匹配以获取所述预存的二维码信息。
优选的,所述根据AGV行驶至所述二维码位置时获取完整的二维码图像,还包括以下步骤:
当所述二维码图像的边缘框线不满足直线特性时,提取所述边缘框线的边缘点,由任意两个所述边缘点构成直线,若所述直线构成一个完整的正多边形,则判定为已获取完整的二维码图像。
优选的,所述根据所述完整的二维码图像的边缘的直线特性获取二维码的晃动程度,还包括以下步骤:
获取通过所述边缘点的多条平行线段,以相互垂直的两条所述边缘框线作为第一边缘线段和第二边缘线段;以所述第一边缘框线的每条所述平行线段上靠近所述第二边缘框线的端点作为目标端点,获取所述目标端点与所述第二边缘框线的距离,根据所述距离得到所述晃动程度。
第二方面,本发明一个实施例提供了一种基于人工智能和二维码导航的AGV行驶优化系统,该方系统包括
感兴趣区域提取模块,用于获取行驶路面图像,提取出路面作为感兴趣区域;
二维码初步识别模块,用于识别所述感兴趣区域中的二维码图像;其中,所述二维码图像包括二维码边缘信息;
移动方向获取模块,用于根据所述二维码图像的边缘信息确定参考移动直线,以使所述AGV沿着所述参考移动直线的方向向靠近所述二维码图像的方向移动,在移动的过程中使相机光轴旋转至与所述移动方向垂直;
二维码识别模块,用于当获取的二维码图像被图像坐标系纵轴等分,则调整AGV移动方向与所述光轴的方向一致,以使在所述AGV行驶至所述二维码位置时获取完整的二维码图像及其预存的二维码信息,进而引导所述AGV的行驶方向。
优选的,所述二维码初步识别模块,该系统包括:
二维码边缘筛选单元,用于根据感兴趣区域的像素点数量和像素点之间的距离进行二维码判断,获取二维码预测点,根据所述二维码预测点对二维码边缘线段进行筛选,获取正确的二维码边缘信息。
优选的,所述二维码识别模块,该系统包括:
晃动程度获取单元,用于根据所述完整的二维码图像的边缘的直线特性获取二维码的晃动程度;
预存二维码信息获取单元,用于根据所述二维码的晃动程度调整匹配度,根据调整后的所述匹配度将所述完整的二维码图像与预存图像进行匹配以获取所述预存的二维码信息。
优选的,所述二维码识别模块,该系统包括:
完整二维码图像获取单元,用于当所述的二维码图像的边缘框线不满足直线特性时,提取所述边缘框线的边缘点,由任意两个所述边缘点构成直线,若所述直线构成一个完整的正多边形,则判定为已获取完整的二维码图像。
优选的,所述晃动程度获取单元,该系统包括:
晃动程度计算单元,用于获取通过所述边缘点的多条平行线段,以相互垂直的两条所述边缘框线作为第一边缘线段和第二边缘线段;以所述第一边缘框线的每条所述平行线段上靠近所述第二边缘框线的端点作为目标端点,获取所述目标端点与所述第二边缘框线的距离,根据所述距离得到所述晃动程度。
本发明实施例具有以下有益效果:
本发明实施例利用人工智能视觉识别,根据二维码预测点判断和二维码边缘线段的筛选快速识别出二维码所在具体位置并进行AGV的行驶路线优化,将AGV移动到二维码所在位置,以使当无线通信中断时AGV仍能第一时间规划行驶路线。
本发明实施例在采集二维码预存信息时,考虑了路面不平坦对AGV获取二维码预存信息带来的影响,因此,根据二维码图像边缘的直线特性对采集到的二维码图像进行晃动程度分析,通过调整采集到的二维码与预存图像的匹配度的接收值,来消除地面不平坦对获取二维码预存信息带来的影响,以使本发明实施例对二维码的判别更准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能和二维码导航的AGV行驶优化方法的方法流程图;
图2为本发明一个实施例所提供的一种识别感兴趣区域中的二维码图像的方法流程图;
图3为本发明一个实施例所提供的一种获取预存二维码信息的方法流程图;
图4为本发明一个实施例所提供的一种基于人工智能和二维码导航的AGV行驶优化系统的系统框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合较佳实施例,对依据本发明提出的一种基于人工智能和二维码导航的AGV行驶优化方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明的实施例提供了一种基于人工智能和二维码导航的AGV行驶优化方法的一种具体实施方式,该方式实施例适用于AGV作业场地,AGV为无轨作业,所述场景中的二维码标识无需密集部署,二维码标识可铺设于非平整路面。为了解决AGV需要往返于不同工作区域,短距离无线通信无法完全覆盖的问题,本实施例利用基于人工智能视觉识别的二维码导航的AGV行驶优化方法,达到了没有无线通信的时候仍然可以精准导航的目的。
本实施例采用了两个二维码传感器采集地面上的二维码图像信息,第一二维码传感器为部署于AGV上的RGB相机,用于采集AGV前方路面的情况。该RGB相机配置有云台可控制转动,云台则部署于可伸缩机械杆上,该机械杆在AGV运行过程中固定,且机械杆末端的参考坐标系与基于AGV位姿建立的基准坐标系之间的转换关系已知,RGB相机与机械杆的位姿转换关系可通过手眼标定等方式确定。第二二维码传感器则部署于AGV的底部,用于采集位于AGV底部的二维码信息。
请参阅图1,其示出了一种基于人工智能和二维码导航的AGV行驶优化方法的流程图,该方法包括以下步骤:
步骤S100,获取行驶路面图像,提取出路面作为感兴趣区域。
确定第一二维码传感器当前位姿,利用第一二维码传感器获取行驶路面图像。
利用语义分割网络输出语义分割图,语义分割网络为Encoder-Decoder结构,网络的训练细节为:训练集为多张行驶路面RGB图像,标注为RGB图像对应的语义分割图,损失函数采用均方差损失函数;语义分割图中,道路类别像素点的像素值为1,其他类别像素点的像素值为0。
得到道路区域的二值语义分割图像,其中像素值为1的像素点区域为二维码识别的感兴趣区域,将语义分割图像与初始RGB图像逐点相乘,可提取出感兴趣区域图像进行后续的二维码识别。
步骤S200,识别感兴趣区域中的二维码图像;其中,二维码图像包括二维码边缘信息。
具体的,识别感兴趣区域中的二维码图像的步骤还包括以下步骤:
步骤S201,获取二维码预测点。
根据感兴趣区域的像素点数量和像素点之间的距离进行二维码判断,获取二维码预测点。
具体的,设置尺寸为3*3大小的滑窗,滑窗内像素值均设置为1。滑窗以感兴趣区域内各像素点为中心进行逐点相乘,其中,若滑窗所覆盖区域包含非感兴趣区域像素,将非感兴趣区域像素填充为0,通过二维码判断指标进行二维码识别。
该二维码判断指标的获取方法包括:
获取滑窗内像素值为1的任两个像素点坐标P(ik,jk)和P(ir,jr),其中,ik代表第k个像素点的纵坐标,jk代表第k个像素点的横坐标,ir代表第r个像素点的纵坐标,jr代表第r个像素点的横坐标;二维码判断指标α1为:
Figure BDA0003083219350000051
Figure BDA0003083219350000052
Figure BDA0003083219350000053
其中,n表示像素值为1的像素点数量,
Figure BDA0003083219350000054
表示ik和ir相等或者jk和jr相等时两点之间的距离,
Figure BDA0003083219350000055
表示ik和ir不相等且jk和jr不相等时两点之间的距离。
α1表示任两个像素点之间的近似距离之和,该距离采用不同的计算公式目的在于,使判断不受图像坐标系的影响。
设置判断阈值m1,若α1≥m1,则该滑窗中心点分类为二维码预测点。
在本发明实施例中判断阈值m1取值为
Figure BDA0003083219350000061
在其他实施例中实施者可根据实际情况调整该阈值。
步骤S202,根据二维码预测点对二维码边缘线段进行筛选。
将获取的所有二维码预测点基于密度进行聚类,该步骤的目的在于,将二维码预测点分至各个聚类集合,并筛除掉噪声点。
本发明实施例采用DBSCAN聚类算法进行聚类。
通过边缘提取算法提取感兴趣区域内的边缘线段,对所提取出的边缘线段进行筛选,保留真实的二维码边缘线段。
具体的,选择元素最多的聚类集合作为目标集合,对于目标集合内的二维码预测点进行凸包求解,按照以下规则对任意一条边缘线段进行筛选:
若边缘线段或边缘线段的延长线与凸包内区域相交,则筛除该边缘线段;
若边缘线段像素点数量小于阈值m2,将该边缘线段筛除;
其中,在本发明实施例中m2取值为3,在其他实施例中实施者可根据实际情况调整该阈值。
若不存在另一边缘线段与当前的边缘线段相交,将当前边缘线段筛除。
步骤S203,根据二维码边缘之间的关系对二维码边缘线段进行筛选,获取正确的二维码边缘信息。
具体的,剩余的边缘线段两两随机组合获取若干个边缘线段对,若某一边缘线段对中两线段相交且交点为两线段端点,则保留该边缘线段对。
所获取的边缘线段数量应在[2,4]范围内,若为两条,则通过两线段夹角与90度相减,若差值的绝对值小于等于偏角阈值m3,则判断该两条线段为二维码边缘线段,否则,判断为未提取出正确的二维码边缘;
其中,m3在本发明实施例中设置为10°,在其他实施例中实施者可根据实际情况调整该阈值。
若为三条,其中应有两条线段平行,且另一条线段与该两条线段分别交于线段端点处,交点处夹角也满足与90度差值的绝对值小于等于偏角阈值m3,则判断该两条线段为二维码边缘线段,否则,判断为未提取出正确的二维码边缘;
若为四条,其中应有两对线段组平行,且任两条线段与交于其线段端点处,交点处夹角也满足与90度差值的绝对值小于等于偏角阈值m3,则判断该四条线段为二维码边缘线段,否则,判断为未提取出正确的二维码边缘。
根据提取出的正确的二维码边缘,获取二维码图像,二维码图像包括二维码边缘信息和二维码图像位置信息;边缘信息主要为图像中的边缘线段所在直线与图像坐标系x轴的夹角,位置信息主要为图像中的凸包质心点位置。
若未提取出正确的二维码边缘,则基于二维码预测点的聚类集合中心点在图像中的位置进行RGB摄像头的旋转。
作为一个示例,若聚类集合中心点在图像右侧,则RGB摄像头向右旋转。
需要说明的是,为了确保AGV寻迹过程是高效快速的,本发明实施例建议摄像头的旋转仅限于偏航角,且每次旋转幅度固定;相机相对于AGV的位姿是已知的,在AGV的控制系统中存储有相机各位姿状态下图像平面和地平面之间投影变换的单应性矩阵。
步骤S300:根据二维码图像的边缘信息确定参考移动直线,以使AGV矩阵沿着参考移动直线的方向向靠近二维码图像的方向移动,在移动的过程中使相机光轴旋转至与移动方向垂直;实现AGV的自主寻迹,用于后续路线规划。
具体的,根据二维码位置信息中的凸包质心点在图像坐标系所位于的象限选取参考移动直线。若凸包质心点位于第一或者第三象限,则选取夹角在范围[0,90°)的边缘线段所在直线作为参考移动直线;若凸包质心点位于第二或者第四象限,则选取夹角在范围[90°,180°)的边缘线段所在直线作为参考移动直线。
由于二维码部署位置一般为地面表面,因此,基于二维码边缘的移动问题可以简化为二维地面上的移动问题,即将AGV视作二维地面上的一个可移动点,又由于图像坐标系与以地面为参考的二维平面坐标系的变换矩阵已知,则通过图像坐标系中的参考移动直线上的两个点可获取以地面为参考的二维平面坐标系中的参考移动直线,移动方向通过所选择两点的i坐标确定,由i坐标大的一点指向i坐标小的一点。
为获取二维码的正视图像以确认AGV移动的正确性,RGB相机的位姿也应进行变动,变动方法为:根据上述参考移动直线的方向,RGB相机光轴在水平面的投影应垂直于该参考移动方向,设相机的最终视角为参考视角,则从当前视角旋转至参考视角存在顺时针和逆时针两种方式,沿旋转角度较小的方向进行旋转。
由于实际上相机并非完全的俯视,因此上述方法存在一定的误差,为减小该误差,本申请提出通过启发式的方法进行逐步修正。
具体的,基于上述凸包质心点的i坐标确定每次旋转的角度,即
Figure BDA0003083219350000071
其中,θ为每次旋转的角度,I为图像的总行数。
该步骤的目的在于避免旋转角度过大导致二维码消失在图像中从而失去参考信息。
需要说明的是,视角旋转时的角度均为光轴在水平面投影的旋转角。
沿着移动方向移动t时长,移动后采集图像并重复前述二维码识别、参考移动方向和参考视角获取过程,并更新参考移动方向和参考视角,以确保每次移动都更接近完整的二维码的标准位置和姿态;
其中,t在不同实施例中实施者可根据实际情况调整该阈值。
步骤S400,当获取的二维码图像被图像坐标系纵轴等分,则调整AGV移动方向与光轴的方向一致,以使在所述AGV行驶至所述二维码位置时获取完整的二维码图像。
沿当前参考移动方向移动至任一边缘线段被图像坐标系y轴等分后,调整AGV移动方向与RGB相机光轴方向一致,并开启第二二维码传感器,该传感器部署于AGV底部。
需要说明的是,若第一二维码传感器所拍摄图像经处理后二维码的图像直接满足二维码任一边缘在图像坐标系中平行于图像坐标系x轴,并且该边缘线段被图像坐标系y轴等分,则直接调整AGV移动方向与RGB相机光轴方向一致。
步骤S500:根据所述完整的二维码图像的边缘的直线特性获取二维码的晃动程度;根据所述二维码的晃动程度调整匹配度,根据调整后的所述匹配度将所述完整的二维码图像与预存图像进行匹配以获取所述预存的二维码信息,引导AGV的行驶方向。
具体的,获取预存二维码信息的步骤,还包括以下步骤:
步骤S501:判断获取的二维码图像是否完整。
当所述二维码图像的边缘框线不满足直线特性时,提取所述边缘框线的边缘点,由任意两个所述边缘点构成直线,若所述直线构成一个完整的正多边形,则判定为已获取完整的二维码图像。
具体的,获取二维码图像,利用第二二维码传感器进行固定频率的图像采集,在本发明实施例中设置为3帧/秒,对所采集图像进行实时处理。
利用边缘提取算法对第二二维码传感器采集到的二维码图像进行边缘提取得到边缘点。
由于此时真实二维码图像与第二二维码传感器较为接近,且地面并不一定是平整的,因此所提取边缘可能并不满足直线特性,通过直线拟合的方式提取边缘会出现一定的位置误差,因此本发明实施例采用霍夫变换的方式进行边缘的提取。
具体的,将所提取的边缘点随机选择两个距离小于距离阈值m4的边缘点构成直线,在霍夫空间中体现为一个点,多次随机选取直线并映射至霍夫空间,最终在霍夫空间内统计对应点数最多的两个k值,若该两个值相乘为-1,各自对应的
Figure BDA0003083219350000091
Figure BDA0003083219350000095
Figure BDA0003083219350000092
则判断已获取完整的二维码图像信息;
其中,距离阈值m4在本发明实施例中设置为5,在其他实施例中实施者可根据实际情况调整该阈值。
步骤S502:根据完整的二维码图像判断二维码晃动程度。
获取通过所述边缘点的多条平行线段,以相互垂直的两条所述边缘框线作为第一边缘线段和第二边缘线段;以所述第一边缘框线的每条所述平行线段上靠近所述第二边缘框线的端点作为目标端点,获取所述目标端点与所述第二边缘框线的距离,根据所述距离得到所述晃动程度。
具体的,基于所获取到
Figure BDA0003083219350000093
所代表的直线,根据斜率k1、k2,改变偏置b生成若干条直线,对于其中一条直线,若直线上存在边缘像素点,则该直线上应存在两个端点,保留两个端点为一组,更换直线并重复提取端点,最终获取端点集合。
对于端点集合内的任一组,作为一个示例:该组端点提取直线为k1,则该组内一个端点选择
Figure BDA0003083219350000094
两条直线进行距离计算,保留两个距离中较小的一个值,另一个端点同理,该组端点的距离值即为两个端点的距离值相加。
端点集合内所有组的距离值之和ε用于表征二维码晃动程度,距离值之和越大,晃动程度越小,在本发明实施例中,该关系表示为P=e,以实现归一化,P为1时晃动程度最大。
步骤S503:根据晃动程度调整完整的二维码图像与所预存的图像的匹配度的接收值。
根据所述二维码的晃动程度调整匹配度,根据调整后的所述匹配度将所述完整的二维码图像与预存图像进行匹配以获取所述预存的二维码信息。
具体的,获取二维码晃动程度后,以所部署的二维码图像作为预存图像,将第二二维码传感器采集到的图像与所存储的预存图像进行匹配,匹配度的接收值根据晃动程度调整;调整策略满足线性关系即可。
作为一个示例,ω=kP+b,其中k值应大于1,ω为接收值,通过k和b将ω范围控制在[0,1],以克服地面不平整对图像匹配的影响。
预存图像包含引导信息,引导信息用于指导AGV方向,AGV沿该方向行驶可采集到下一个二维码图像,进而实现导航;同时,在AGV进行匹配后,AGV基于自身IMU进行粗略定位,该定位无需精度要求,仅用作记录,以避免AGV重复行驶。
本发明实施例利用人工智能视觉识别,根据二维码预测点判断和二维码边缘线段的筛选快速识别出二维码所在具体位置并进行AGV的行驶路线优化,将AGV移动到二维码所在位置,以使当无线通信中断时AGV仍能第一时间规划行驶路线。同时,考虑了路面不平坦对AGV获取二维码预存信息带来的影响,因此,根据二维码图像边缘的直线特性对采集到的二维码图像进行晃动程度分析,通过调整采集到的二维码与预存图像的匹配度的接收值,来消除地面不平坦对获取二维码预存信息带来的影响,以使本发明实施例对二维码的判别更准确。
基于与上述方法相同的发明构思,本发明实施例还提供了一种基于人工智能和二维码导航的AGV行驶优化方法系统。
请参阅图4,其示出了一种基于人工智能和二维码导航的AGV行驶优化系统,该系统还包括感兴趣区域提取模块101、二维码初步识别模块102、移动方向获取模块103、和二维码识别模块104。
具体的,感兴趣区域提取模块101用于获取行驶路面图像,提取出路面作为感兴趣区域。二维码初步识别模块102用于识别感兴趣区域中的二维码图像;其中,二维码图像包括二维码边缘信息。移动方向获取模块103用于根据二维码图像的边缘信息确定参考移动直线,以使AGV沿着参考移动直线的方向向靠近二维码图像的方向移动,在移动的过程中使相机光轴旋转至与移动方向垂直。二维码识别模块104用于当获取的二维码图像被图像坐标系纵轴等分,则调整AGV移动方向与光轴的方向一致,以使在所述AGV行驶至二维码位置时获取完整的二维码图像及其预存的二维码信息,进而引导AGV的行驶方向。
优选的,二维码初步识别模块102,该系统包括:
二维码边缘筛选单元,用于根据感兴趣区域的像素点数量和像素点之间的距离进行二维码判断,获取二维码预测点,根据二维码预测点对二维码边缘线段进行筛选,获取正确的二维码边缘信息。
优选的,二维码识别模块104,该系统包括:
晃动程度获取单元,用于根据完整的二维码图像的边缘的直线特性获取二维码的晃动程度。
预存二维码信息获取单元,用于根据二维码的晃动程度调整匹配度,根据调整后的所述匹配度将完整的二维码图像与预存图像进行匹配以获取预存的二维码信息。
优选的,二维码识别模块104,该系统包括:
完整二维码图像获取单元,用于当二维码图像的边缘框线不满足直线特性时,提取边缘框线的边缘点,由任意两个边缘点构成直线,若直线构成一个完整的正多边形,则判定为已获取完整的二维码图像。
优选的,晃动程度获取单元,该系统包括:
晃动程度计算单元,用于获取通过边缘点的多条平行线段,以相互垂直的两条边缘框线作为第一边缘线段和第二边缘线段;以第一边缘框线的每条平行线段上靠近第二边缘框线的端点作为目标端点,获取目标端点与第二边缘框线的距离,根据所距离得到晃动程度。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.基于人工智能和二维码导航的AGV行驶优化方法,其特征在于,该方法包括以下步骤:
获取行驶路面图像,提取出路面作为感兴趣区域;
识别所述感兴趣区域中的二维码图像;其中,所述二维码图像包括二维码边缘信息;
根据所述二维码图像的边缘信息确定参考移动直线,以使所述AGV沿着所述参考移动直线的方向向靠近所述二维码图像的方向移动,在移动的过程中使相机光轴旋转至与所述移动方向垂直;
当获取的二维码图像被图像坐标系纵轴等分,则调整AGV移动方向与所述光轴的方向一致,以使在所述AGV行驶至所述二维码位置时获取完整的二维码图像及其预存的二维码信息,进而引导所述AGV的行驶方向。
2.根据权利要求1所述的基于人工智能和二维码导航的AGV行驶优化方法,其特征在于,所述识别所述感兴趣区域中的二维码图像,包括以下步骤:
根据感兴趣区域的像素点数量和像素点之间的距离进行二维码判断,获取二维码预测点,根据所述二维码预测点和二维码边缘之间的关系对二维码边缘线段进行筛选,获取正确的二维码边缘信息。
3.根据权利要求1所述的基于人工智能和二维码导航的AGV行驶优化方法,其特征在于,所述获取完整的二维码图像及其预存的二维码信息,包括以下优化步骤:
根据所述完整的二维码图像的边缘的直线特性获取二维码的晃动程度;
根据所述二维码的晃动程度调整匹配度,根据调整后的所述匹配度将所述完整的二维码图像与预存图像进行匹配以获取所述预存的二维码信息。
4.根据权利要求3所述的基于人工智能和二维码导航的AGV行驶优化方法,其特征在于,所述根据所述AGV行驶至所述二维码位置时获取完整的二维码图像,包括以下步骤:
当所述二维码图像的边缘框线不满足直线特性时,提取所述边缘框线的边缘点,由任意两个所述边缘点构成直线,若所述直线构成一个完整的正多边形,则判定为已获取完整的二维码图像。
5.根据权利要求4所述的基于人工智能和二维码导航的AGV行驶优化方法,其特征在于,所述根据所述完整的二维码图像的边缘的直线特性获取二维码的晃动程度,包括以下步骤:
获取通过所述边缘点的多条平行线段,以相互垂直的两条所述边缘框线作为第一边缘线段和第二边缘线段;以所述第一边缘框线的每条所述平行线段上靠近所述第二边缘框线的端点作为目标端点,获取所述目标端点与所述第二边缘框线的距离,根据所述距离得到所述晃动程度。
6.基于人工智能和二维码导航的AGV行驶优化系统,其特征在于,该系统包括:
感兴趣区域提取模块,用于获取行驶路面图像,提取出路面作为感兴趣区域;
二维码初步识别模块,用于识别所述感兴趣区域中的二维码图像;其中,所述二维码图像包括二维码边缘信息;
移动方向获取模块,用于根据所述二维码图像的边缘信息确定参考移动直线,以使所述AGV沿着所述参考移动直线的方向向靠近所述二维码图像的方向移动,在移动的过程中使相机光轴旋转至与所述移动方向垂直;
二维码识别模块,用于当获取的二维码图像被图像坐标系纵轴等分,则调整AGV移动方向与所述光轴的方向一致,以使在所述AGV行驶至所述二维码位置时获取完整的二维码图像及其预存的二维码信息,进而引导所述AGV的行驶方向。
7.根据权利要求6所述的基于人工智能和二维码导航的AGV行驶优化系统,其特征在于,所述二维码初步识别模块,该系统包括:
二维码边缘筛选单元,用于根据感兴趣区域的像素点数量和像素点之间的距离进行二维码判断,获取二维码预测点,根据所述二维码预测点对二维码边缘线段进行筛选,获取正确的二维码边缘信息。
8.根据权利要求6所述的基于人工智能和二维码导航的AGV行驶优化系统,其特征在于,所述二维码识别模块,该系统包括:
晃动程度获取单元,用于根据所述完整的二维码图像的边缘的直线特性获取二维码的晃动程度;
预存二维码信息获取单元,用于根据所述二维码的晃动程度调整匹配度,根据调整后的所述匹配度将所述完整的二维码图像与预存图像进行匹配以获取所述预存的二维码信息。
9.根据权利要求8所述的基于人工智能和二维码导航的AGV行驶优化系统,其特征在于,所述二维码识别模块,该系统包括:
完整二维码图像获取单元,用于当所述二维码图像的边缘框线不满足直线特性时,提取所述边缘框线的边缘点,由任意两个所述边缘点构成直线,若所述直线构成一个完整的正多边形,则判定为已获取完整的二维码图像。
10.根据权利要求9所述的基于人工智能和二维码导航的AGV行驶优化系统,其特征在于,所述晃动程度获取单元,该系统包括:
晃动程度计算单元,用于获取通过所述边缘点的多条平行线段,以相互垂直的两条所述边缘框线作为第一边缘线段和第二边缘线段;以所述第一边缘框线的每条所述平行线段上靠近所述第二边缘框线的端点作为目标端点,获取所述目标端点与所述第二边缘框线的距离,根据所述距离得到所述晃动程度。
CN202110572407.1A 2021-05-25 2021-05-25 基于人工智能和二维码导航的agv行驶优化方法及系统 Active CN113361292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110572407.1A CN113361292B (zh) 2021-05-25 2021-05-25 基于人工智能和二维码导航的agv行驶优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110572407.1A CN113361292B (zh) 2021-05-25 2021-05-25 基于人工智能和二维码导航的agv行驶优化方法及系统

Publications (2)

Publication Number Publication Date
CN113361292A true CN113361292A (zh) 2021-09-07
CN113361292B CN113361292B (zh) 2023-04-28

Family

ID=77527406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110572407.1A Active CN113361292B (zh) 2021-05-25 2021-05-25 基于人工智能和二维码导航的agv行驶优化方法及系统

Country Status (1)

Country Link
CN (1) CN113361292B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106969766A (zh) * 2017-03-21 2017-07-21 北京品创智能科技有限公司 一种基于单目视觉和二维码路标的室内自主导航方法
CN110018633A (zh) * 2018-12-14 2019-07-16 华南理工大学 一种用于agv定位与导航的二维编码设计方法
CN110398974A (zh) * 2019-08-23 2019-11-01 四川大学 一种基于结构光的agv视觉定位系统
WO2020220388A1 (zh) * 2019-04-28 2020-11-05 上海快仓智能科技有限公司 二维码识别和生成的方法、装置、二维码和小车
CN112651259A (zh) * 2020-12-29 2021-04-13 芜湖哈特机器人产业技术研究院有限公司 二维码的定位方法、基于二维码的移动机器人定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106969766A (zh) * 2017-03-21 2017-07-21 北京品创智能科技有限公司 一种基于单目视觉和二维码路标的室内自主导航方法
CN110018633A (zh) * 2018-12-14 2019-07-16 华南理工大学 一种用于agv定位与导航的二维编码设计方法
WO2020220388A1 (zh) * 2019-04-28 2020-11-05 上海快仓智能科技有限公司 二维码识别和生成的方法、装置、二维码和小车
CN110398974A (zh) * 2019-08-23 2019-11-01 四川大学 一种基于结构光的agv视觉定位系统
CN112651259A (zh) * 2020-12-29 2021-04-13 芜湖哈特机器人产业技术研究院有限公司 二维码的定位方法、基于二维码的移动机器人定位方法

Also Published As

Publication number Publication date
CN113361292B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
CN111652179B (zh) 基于点线特征融合激光的语义高精地图构建与定位方法
Caraffi et al. Off-road path and obstacle detection using decision networks and stereo vision
CN106548173B (zh) 一种基于分级匹配策略的改进无人机三维信息获取方法
CN108446634B (zh) 基于视频分析和定位信息结合的航空器持续跟踪方法
CN112767490A (zh) 一种基于激光雷达的室外三维同步定位与建图方法
CN110021029B (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN115049700A (zh) 一种目标检测方法及装置
CN112800938B (zh) 无人驾驶车辆检测侧面落石发生的方法及装置
CN105444741A (zh) 基于双视野窗口的路径特征识别、偏差测量与精确定位方法
CN111967337A (zh) 一种基于深度学习和无人机影像的管道线变化检测方法
Liu et al. Autonomous road detection and modeling for UGVs using vision-laser data fusion
CN114815871A (zh) 一种基于视觉的垂直起降无人机动平台自主降落方法
CN112906616A (zh) 一种车道线提取与生成方法
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN114993298A (zh) 基于ekf的模板匹配vo与轮式里程计融合定位方法
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN113221883B (zh) 无人机飞行导航路线实时修正方法
CN112720408B (zh) 一种全地形机器人视觉导航控制方法
CN117496401A (zh) 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法
CN113361292A (zh) 基于人工智能和二维码导航的agv行驶优化方法及系统
CN117337691A (zh) 基于深度神经网络的火龙果采摘方法及采摘机器人
CN117029870A (zh) 一种基于路面点云的激光里程计
CN115797397B (zh) 一种机器人全天候自主跟随目标人员的方法及系统
CN113095309A (zh) 一种基于点云的道路场景地面标识物的提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230327

Address after: Room 1406, 14th Floor, Building 1, 49 Badachu Road, Shijingshan District, Beijing, 100043

Applicant after: BEIJING ROCKY AEROSPACE TECHNOLOGY CO.,LTD.

Address before: 510900 college student innovation and entrepreneurship incubation base of Zhujiang college, South China Agricultural University, No. 72, Guangcong North Road, Jiangpu street, Conghua District, Guangzhou, Guangdong 02

Applicant before: Guangzhou Dongchong Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant