CN113378701A - 一种基于无人机的地面多agv状态监测方法 - Google Patents

Abstract

本发明公开了一种基于无人机的地面多AGV状态监测方法，包括以下步骤：首先用于AGV导航与定位的航向特征标识符，并将其放置到AGV顶部；在初始化基于无人机的地面多AGV状态监测系统之后，利用无人机摄像头对地面进行全局拍摄，使用YOLOV4目标检测算法对图像中的AGV进行定位；然后，对图像中检测到的AGV进行处理，识别航向图案并计算AGV的航向角，随后对特征标识符进行解码，获取AGV的编号；最后，无人机将AGV信息发送给主控计算机，若发现AGV轨迹异常，则及时对AGV进行位置信息更新，直至完成监测任务。

Description

一种基于无人机的地面多AGV状态监测方法

技术领域

本发明属于信息编码和机器视觉识别领域，具体涉及一种基于无人机的地面多AGV状态监测方法。

背景技术

随着信息技术的发展，人们生产生活方式的方方面面开始逐渐呈现出自动化、智能化趋势。机器人技术作为提高工业自动化程度的重要技术之一，其发展在国内外受到密切的关注。自动导引车(AGV)是移动机器人的一项重要研究成果，以其高度自动化、灵活性好、安全性高等特点，在整个生产运输环节中发挥着关键作用。例如，近年来受电子商务影响而规模大增的物流仓储行业，在使用AGV代替人工进行货物分拣和运输后，效率大大增加，有效地缩减了物流时间和人工成本，提高了物流服务质量。除物流仓库外，AGV在生产制造车间、自动化流水线、医院等领域也发挥着运输或巡检的作用，并且其应用场景也开始逐渐由室内向室外扩展，如集装箱码头、高尔夫球场等。

AGV导航定位方式的研究是AGV系统开发设计中关键的一个环节，AGV的精确定位为下一步的控制和调度提供了充分的信息基础。目前，AGV存在多种导引方式，其中，视觉导引方式因具有柔性好、环境适应能力强等优点，成为当前的研究热点。YOLO系列算法是广为人知的目标检测算法，利用深度学习中的目标检测算法对多AGV进行快速定位(Bochkovskiy A,Wang C Y,Liao H Y M.Yolov4:Optimal speed and accuracy ofobject detection[J].arXiv preprint arXiv:2004.10934,2020.)。运用QR码的特殊性进行视觉定位，通过AGV搭载的摄像头识别运行站点之间铺设的QR码，从而对AGV行进距离和方向进行控制(徐庆,徐志伟,杜晓峰.基于QR码的视觉导航AGV系统[J].传感器与微系统,2019,38(02):83-86+90.)。但该方式需要在每台AGV上都安装高速摄像头等视觉传感器，增加了AGV的配置成本。

将基于顶部摄像头的全局视觉应用于AGV导航，利用顶部摄像头监视整个仓库，并使用图像处理技术对AGV进行定位，从而节约了传感器的配置成本(

E,Kocamaz A F,Dirik M.A Vision-Based Real-Time Mobile RobotController Design Based on Gaussian Function for Indoor Environment[J].Arabian Journal for Science and Engineering,2018,43(12):7127-7142.)。但该方式适用于一定区域内的室内场景，对室外场景则具有一定局限性，因此，仍需探索更具普适性的解决方案。

无人机具有构造简单、成本较低、机动性好、复杂环境适应能力强等特点。随着无人机技术的不断成熟，配备摄像头的无人机在各个领域得到广泛普及和应用，如军事侦察、地图测绘、民用航拍等。即使无人机处于飞行状态中，其搭载的摄像头也能捕捉到清晰的航拍画面，为下一步的地面目标检测任务提供良好处理条件。利用无人机在空中进行监测，则仅需一个摄像设备，即可捕捉地面的多台AGV目标，再配合无人机自带的传感器，便能根据两者关系解析出每台AGV当前的状态。以无人机作为媒介，能够将每台AGV的信息实时反馈给中央控制系统以诊断当前每台AGV是否偏离预期的工作状态。

发明内容

本发明旨在利用无人机航拍技术并通过机器视觉获取地面多台AGV的状态信息，方便中央控制系统诊断AGV是否偏离正常的运行轨迹，避免因需要在每台AGV上配备传感器所造成的成本高昂、控制算法复杂等问题，为此提供一种基于无人机的地面多AGV状态监测方法。

本发明至少通过如下技术方案之一实现。

一种基于无人机的地面多AGV状态监测方法，包括以下步骤：

1)将用于记录AGV导航和AGV编号的航向特征标识符固定在AGV顶部；

2)初始化基于无人机的地面多AGV状态监测系统环境，确定无人机的起飞点、降落点以及巡航速度，根据AGV运作场地大小确定无人机的巡视范围以及巡航路径；

3)利用无人机摄像头对地面进行全局拍摄，使用YOLOV4目标检测算法对图像中的AGV进行目标检测，获取多个AGV在图像上的矩形框位置信息，进而获取多个AGV在图像上的像素坐标系的坐标；

4)对检测到AGV的图像进行预处理，根据处理后的图像再识别航向特征标识符的图案并计算AGV的航向角，随后对航向特征标识符进行解码，获取AGV的编号；

5)根据当前时刻获得的AGV编号和航向以及航拍画面中每个AGV的像素坐标，结合无人机搭载的GPS和IMU传感器，建立真实世界坐标系，通过无人机与地面AGV之间的联系，计算每台AGV在世界坐标系下的位置和航向角；

6)无人机将AGV信息发送给主控计算机，主控计算机将获得的当前AGV的实际状态与预定轨迹作对比，以判断此时每台AGV是否正常工作，若发现AGV轨迹异常，则及时对AGV进行位置信息更新，直至完成监测任务。

优选的，所述航向特征标识符包括导航图案和编码图案；

所述导航图案为黑色箭头，位于编码图案上方，箭头的指向即为AGV的航向；

所述编码图案包括14个矩形的编码位，首尾黑色矩形只起到定位编码图案的作用，中间12个黑色矩形代表12位二进制编码，完整矩形代表编码1，中间断开的矩形代表编码0。

优选的，利用YOLOV4目标检测算法对图像中的AGV进行目标检测，通过主干网络给出所有AGV的矩形框位置信息；所述矩形框位置信息为该矩形框的四个端点在图像的像素坐标系的坐标；根据矩形框坐标信息，按矩形大小截取无人机拍摄的图像，该图像为包含AGV的截图，矩形框坐标信息用于计算矩形中心的像素坐标系的坐标，作为AGV在整个图像上的像素坐标系的坐标。

优选的，所述预处理包括采用加权平均法对航向特征标识符图像进行灰度化，得到灰度图像，再将灰度图像进行平滑滤波、图像增强和二值化，得到二值化处理后的图像。

优选的，所述计算AGV的航向角包括以下步骤：

S1、在二值图像的基础上，找出所有轮廓，进行连通域分析，连通域面积最大的图案即是航向箭头；

S2、分割出航向箭头标识，进行图像细化，获取箭头标识的骨架图像，过滤细化图像，利用卷积模板找出箭头的三个端点和一个交叉点，交叉点即为箭头尖端，得到端点和交叉点的坐标位置；

S3、根据箭头的基本特征，三个端点两两连线，得到等腰三角形，选取和另外两条线段长度不同的边AB，求出中点C的坐标，将中点C和交叉点D的坐标转换到世界坐标系，求出正切角θ即是AGV的航向角。

优选的，所述识别航向特征标识符的图案包括以下步骤：

A1、在二值图像的基础上，使用数学形态学算法进行开操作和闭操作，使编码图案连接成一个整体，进行边缘检测，找出图像中所有轮廓；

A2、对检测出来的轮廓求解最小外接矩形，通过外接矩形的宽高比和包含像素数特征排除干扰矩形，得到编码图案外接矩形像素点的集合；

A3、利用步骤A2得到的集合，在二值图像上进行图像分割，得到编码图案，根据编码图案矩形边宽的比例进行编码图案分割，将12个含编码信息的黑色矩形分割成为12个图像，对每个图像进行黑色连通域个数分析，连通域个数为1表示该黑色矩形代表的二进制数为1，连通域个数为2表示该黑色矩形代表的二进制数为0；

A4、最后按照编码规则输出编码图案对应的二进制数，并转换为十进制数，即得到AGV的编号。

优选的，无人机搭载GPS定位系统和IMU惯性传感器，实时反馈无人机当前的状态信息，当前的状态信息包括飞行高度、经纬度、飞行速度、当前朝向、位移；无人机中心正下方搭载航拍摄像头，镜头正对地面，水平方向上镜头正方向与无人机朝向一致；根据AGV在航拍画面中的坐标和箭头标识以及无人机的状态信息，计算AGV的世界坐标和航向角。

优选的，计算AGV的世界坐标和航向角包括以下步骤：

(1)、设某一AGV编号为k，航拍图像的宽和高分别为w₀和h₀，以无人机中心为原点O建立像素坐标系，则该AGV在航拍画面中的像素坐标为(w_k,h_k)，且AGV顶部的箭头标识与W轴正方向夹角为α；

(2)、以无人机中心为原点O′，无人机朝向为Y′轴正方向，垂直于Y′轴为X′轴，建立无人机坐标系，则AGV_k在无人机坐标系下的坐标为(w′_k,h′_k)；无人机当前飞行高度为z₀，镜头焦距为f，则该AGV与无人机在实际中的相对距离分别为：

(3)、以无人机起飞点为原点O″，以东西方位为X轴，南北方位为Y轴(其中东为X轴正方向，北为Y轴正方向)，建立世界坐标系；由无人机搭载的传感器可知无人机当前位置坐标为(x_u,y_u)，无人机朝向与X轴的夹角为β，则根据AGV与无人机的相对位置和相对角度关系，按如下公式求解该AGV在世界坐标系下的坐标(x_k,y_k)和航向角θ：

优选的，无人机将监测到的当前AGV实际状态信息发送给主控计算机后，主控计算机对比AGV实际状态与预期状态，若存在AGV偏离预定轨迹，则发出预警并更新AGV位置信息，实现AGV状态监测。

优选的，采用ZhangSuen细化算法进行图像细化，获取箭头标识的骨架图像。

与现有的技术相比，本发明的有益效果为：

本发明利用无人机的全局视觉对多台AGV进行状态监控，不需要在每台AGV上配置激光雷达和摄像头等传感器，大大节省了AGV的配置成本。本发明利用二进制图像编码手段，设计了一种能够存储大量信息且可以被无人机快速识别的航向特征标识符。本发明融合了深度学习与机器视觉技术，利用深度学习中的目标检测算法对多AGV进行快速定位，再使用图像处理技术实现每台AGV状态信息的精准输出。

附图说明

图1本发明实施例一种基于无人机的地面多AGV状态监测方法的流程示意图；

图2本发明实施例航向特征标识符；

图3本发明实施例带有航向特征标识符的AGV示意图；

图4本发明实施例无人机对地面多AGV状态监测示意图；

图5本发明实施例无人机与AGV相对关系示意图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步的说明。

本发明提供一种基于无人机的地面多AGV状态监测方法，如图1所示，具体包括如下步骤：

1)将如图2所示的航向特征标识符放置于AGV顶部。航向特征标识符包含导航图案和编码图案。其中导航图案为黑色箭头，位于编码图案上方，箭头的指向即为AGV的航向。

以图2的编码图案为例。编码位从左到右置一共有14个，首尾的第1和第14个黑色矩形起定位作用，不含编码信息；中间12个黑色矩形含编码信息，组成12位二进制数，矩形为完整矩形表示二进制数1，矩形中间断开为两个小矩形表示二进制数0；矩形边宽满足：首尾黑色矩形:白色间隔:中间黑色矩形＝3:1:2。如图所示航向特征标识符表示的12位二进制数为011010011101，对应的十进制数为1693，代表编号为1693的AGV；

2)初始化基于无人机的地面多AGV状态监测系统环境，其中AGV模型如图3所示。确定无人机的起飞点、降落点以及巡航速度之后，根据AGV的运行速度以及无人机上摄像头帧率设置无人机的巡航速度，避免因拍摄到的图像存在运动模糊而对AGV的目标检测与位置信息获取造成影响。根据AGV运作场地大小确定无人机的巡视范围以及巡航路径，无人机的巡视范围以及巡航路径需要涵盖整个AGV工作场地范围，无人机的巡航路径应根据起飞点和降落点作一定限制；

3)利用无人机摄像头对地面进行全局拍摄，如图4所示。利用yolov4目标检测算法对图像中的AGV进行目标检测，算法直接通过主干网络给出所有AGV的矩形框位置信息和矩形框位置信息，矩形框位置信息为该矩形框四个端点在图像像素坐标系的坐标。根据上述矩形框坐标信息，按矩形大小截取无人机拍摄的图像，该图像为包含AGV的截图。所述矩形框坐标信息用于计算矩形中心的像素坐标系的坐标，作为AGV在整个图像上的像素坐标系的坐标；

4)对图像中检测到的AGV进行处理，首先对图像进行预处理。采用加权平均法对航向特征标识符图像进行灰度化，得到灰度图像，再将灰度图像进行平滑滤波、图像增强和二值化，得到二值化处理后的图像，再根据二值化处理后的图像进行导航图案识别和编码图案信息分析，获取各台AGV的航向角以及编号。

所述图像预处理的具体步骤包括：

S1、图像灰度化，使用加权平均法：利用人眼对不同颜色敏感度不同，对绿色敏感度最高，对蓝色最低，而对各个像素值加上权值，运算得到最终取值。公式如下：

Gray(i,j)＝0.299·R(i,j)+0.578·G(i,j)+0.114·B(i,j)

其中，Gray(i,j)表示图像中第i行第j列像素的灰度值，在图像的RGB色空间中，R为像素点的红色通道值，G表示绿色通道值，B表示蓝色通道值，它们的数值都在0-255之间。

S2、图像去噪滤波，使用中值滤波器的公式如下：

g(x,y)＝median{Gray(x-a,y-b)},(a,b)∈ω

其中，ω表示函数窗，大小为m×n，median运算表示取点(x,y)函数窗口内所有像素点灰度值的中值，a、b表示m×n范围内的整数；

S3、图像二值化，使用Otsu算法。一幅大小为M×N的图像，设阈值t将图像分割成前景色和背景色两组，属于前景的像素点数占整幅图像的比例记为ω₀，其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁，其平均灰度为μ₁。图像的总平均灰度记为μ，类间方差记为g。图像中像素的灰度值小于阈值t的像素个数记作N₀，像素灰度大于阈值t的像素个数记作N₁，则有：

μ＝ω₀×μ₀+ω₁×μ₁

g＝ω₀×(μ₀-μ)²+ω₁×(μ₁-μ)²

采用遍历的方法得到使类间方差g最大的阈值t，即为所求。利用阈值t，将灰度图像分为两个部分，灰度值小于阈值t的部分为前景，也即是目标，灰度值大于阈值t的部分为背景，得到二值化图像。

进一步地，所述导航图案识别是对航向标识符识别，具体步骤包括：

a1、在二值图像的基础上，找出所有轮廓，进行连通域分析，连通域面积最大的图案即是航向箭头；

a2、根据步骤a1得到的像素点集合。在二值图像上分割出航向箭头标识，采用ZhangSuen细化算法进行图像细化，获取箭头标识的骨架图像。ZhangSuen细化算法是并行细化算法的一种，整个迭代过程共分为两步：

第一步、扫描整幅图像，当前景点时p₁＝1，p₁的8邻域记为p₂,p₃,…,p₉，标记待删除点的四个条件为：

①2≤N(p₁)≤6

②A(p₁)＝1

③p₂×p₄×p₆＝0

④p₄×p₆×p₈＝0

其中，N(x)为x的8邻域中像素值非零点的数目，A(x)指的是按照p₂,p₃,…,p₉的前后顺序，统计像素点发生从0-1的变化次数，x∈{p₂,p₃,…,p₉}。

第一步过程中，条件①左侧不等式保证p₁不会是端点或孤立点，右侧不等式保证p₁不会是内部点。条件②保证删除p1之后，8领域的连通性不会发生改变，图像不会有断裂的情况出现。条件③和条件④是表示第一步考虑的主要是东南方向的边界点，暂时不考虑西北方向的边界点。若同时满足以上四个条件，则将该点做标记，等到所有的像素点都被判定完成之后，再统一将所有被标记的待删除点一起删除，也即是像素值从1改为0。

第二步四个条件为：

①2≤N(p₁)≤6

②A(p₁)＝1

③p₂×p₄×p₈＝0

④p₂×p₆×p₈＝0

第二步过程中，条件①和条件②所制定的规则如第一步所述。条件③和条件④是表示第二步考虑的主要是剩下的西北方向的边界点。若同时满足以上四个条件，则将该点做标记，等到所有的像素点都被判定完成之后，再统一将所有被标记的待删除点一起删除，也即是像素值从1改为0。

执行完第一步和第二步，即是完成了一次迭代，将所有标记为待删除的点删除，进入迭代循环，直到没有满足条件的需要删除的像素点，则退出迭代循环，图像细化完成，得到骨架图像。过滤细化图像，利用卷积模板统计范围内白色像素点个数，找出箭头的三个端点和一个交叉点，交叉点即为箭头尖端，得到端点和交叉点的坐标位置；

a3、根据箭头的基本特征，三个端点两两连线，得到一个等腰三角形，选取和另外两条线段长度不同的边AB，求出中点M的坐标，将中点M(x₀,y₀)和交叉点N(x₁,y₁)的坐标转换到世界坐标系，求出正切角θ，正切角θ即是AGV的航向角。

获取AGV编号的具体步骤为：

b1、在二值图像的基础上，使用数学形态学算法进行开操作和闭操作。以5×5的矩形窗口的中心点为准心，在二值图像中找能满足矩形窗口的点即为腐蚀，把二值图像的每个点放到矩形窗口中心点，以矩形窗口外扩即为膨胀。开操作表示先腐蚀后膨胀；闭操作表示先膨胀后腐蚀，得到编码图案连接成一个整体的矩形，进行边缘检测，找出图像中所有轮廓；

b2、对步骤b1检测出来的轮廓求解最小外接矩形，通过外接矩形的宽高比和包含像素数特征排除干扰矩形，得到编码图案外接矩形像素点的集合；

b3、利用步骤b2得到的集合，在二值图像上进行图像分割，得到编码图案，根据编码图案矩形边宽的比例进行编码图案分割，将12个含编码信息的黑色矩形分割成为12个图像，对每个图像进行黑色连通域个数分析，连通域个数为1表示该黑色矩形代表的二进制数为1，连通域个数为2表示该黑色矩形代表的二进制数为0；

b4、最后按照步骤b3输出的编码图案对应的二进制数，并转换为十进制数，即得到AGV的编号。

5)根据当前时刻获得的AGV编号和航向以及航拍画面中每个AGV的像素坐标，结合无人机搭载的GPS和IMU传感器，建立真实世界坐标系，通过无人机与地面AGV之间的联系，如图5所示，计算每台AGV在世界坐标系下的位置和航向角，具体步骤如下：

S1、设某一AGV编号为k，航拍图像的宽和高分别为w₀和h₀。以无人机中心为原点O建立像素坐标系，则该AGV在航拍画面中的像素坐标为(w_k,h_k)，且AGV顶部的箭头标识与W轴正方向夹角为α；

S2、以无人机中心为原点O′，无人机朝向为Y′轴正方向，垂直于Y′轴为X′轴，建立无人机坐标系，则AGV_k在无人机坐标系下的坐标为(w′_k,h′_k)。已知无人机当前飞行高度为z₀，镜头焦距为f，根据摄像头成像原理可知，该AGV与无人机在实际中的相对距离分别为：

S3、以无人机起飞点为原点O″，以东西方位为X轴，南北方位为Y轴(其中东为X轴正方向，北为Y轴正方向)，建立世界坐标系。由无人机搭载的传感器可知无人机当前位置坐标为(x_u,y_u)，无人机朝向与X轴的夹角为β，则根据AGV与无人机的相对位置和相对角度关系，按如下公式求解该AGV在世界坐标系下的坐标(x_k,y_k)和航向角θ：

对航拍画面中检测到的每台AGV都按照上述步骤进行运算，即可得到每台AGV在世界坐标系下的位置坐标和航向角。

6)无人机将AGV信息发送给主控计算机，主控计算机将获得的当前AGV的实际状态与预定轨迹作对比，以判断此时每台AGV是否偏离了预定轨迹，若发现AGV轨迹异常，则及时对AGV进行位置信息更新，直至完成监测任务。

在一些无人机对地面多AGV状态监测的系统中，若系统中的AGV的运行速度和无人机的飞行速度较低，而且系统的实时性要求并非十分苛刻，但对AGV的目标检测的识别准确率和精度要求较高。针对这种情况，在步骤2中可以把直接通过主干网络给出类别和位置信息，算法速度更快的One-stage目标检测算法yolov4换成网络准确度、识别精度更高Two-stage目标检测算法Mask-RCNN。

通过上述改进，本发明提供的一种基于无人机的地面多AGV状态监测方法能够应用于系统对实时性要求不高，但对AGV的目标检测的识别准确率和精度要求较高的情况，即使系统对AGV的识别准确率和精度提高，本方法依然能够准确完成无人机对地面多AGV状态监测。

在一些无人机对地面多AGV状态监测的系统中，若系统的应用场景非传统的物流仓储环境，而是农作物施肥、喷洒农药、农作物收割等农场应用场景。针对这种情况，可以在AGV上安装机械臂对农作物进行农作物施肥、喷洒农药、农作物收割等操作，无人机在农场上空对地面农作的多AGV进行状态监测。

通过上述改进，本发明提供的一种基于无人机的地面多AGV状态监测方法能够应用于农作物施肥、喷洒农药、农作物收割等农场应用场景，即使AGV附加机械臂等外部组件在农场环境下工作，本方法依然能够完成无人机对地面多AGV状态监测。

在一些无人机对地面多AGV状态监测的系统中，若系统的应用场景非传统的物流仓储环境，而是码头专用AGV的货物、集装箱搬运的港口场景。针对这种情况，AGV一般为搬运集装箱的专用大型AGV，可以在AGV车身显眼、不被集装箱遮盖的位置喷涂上航向特征标识符编码图案，再通过在空中拍摄大量这种码头搬运专用大型AGV的空中俯视图像，重新训练一种针对码头搬运专用大型AGV的目标检测模型，对其进行目标检测和航向特征标识符编码图案识别。

通过上述改进，本发明提供的一种基于无人机的地面多AGV状态监测方法能够应用于码头专用AGV的货物、集装箱搬运的港口场景，即使AGV样式多变，本方法依然能够完成无人机对地面多AGV状态监测。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种基于无人机的地面多AGV状态监测方法，其特征在于，包括以下步骤：

1)将用于记录AGV导航和AGV编号的航向特征标识符固定在AGV顶部；

2)初始化基于无人机的地面多AGV状态监测系统环境，确定无人机的起飞点、降落点以及巡航速度，根据AGV运作场地大小确定无人机的巡视范围以及巡航路径；

3)利用无人机摄像头对地面进行全局拍摄，使用YOLOV4目标检测算法对图像中的AGV进行目标检测，获取多个AGV在图像上的矩形框位置信息，进而获取多个AGV在图像上的像素坐标系的坐标；

4)对检测到AGV的图像进行预处理，根据处理后的图像再识别航向特征标识符的图案并计算AGV的航向角，随后对航向特征标识符进行解码，获取AGV的编号；

5)根据当前时刻获得的AGV编号和航向以及航拍画面中每个AGV的像素坐标，结合无人机搭载的GPS和IMU传感器，建立真实世界坐标系，通过无人机与地面AGV之间的联系，计算每台AGV在世界坐标系下的位置和航向角；

6)无人机将AGV信息发送给主控计算机，主控计算机将获得的当前AGV的实际状态与预定轨迹作对比，以判断此时每台AGV是否正常工作，若发现AGV轨迹异常，则及时对AGV进行位置信息更新，直至完成监测任务。

2.根据权利要求1所述的一种基于无人机的地面多AGV状态监测方法，其特征在于，所述航向特征标识符包括导航图案和编码图案；

所述导航图案为黑色箭头，位于编码图案上方，箭头的指向即为AGV的航向；

所述编码图案包括14个矩形的编码位，首尾黑色矩形只起到定位编码图案的作用，中间12个黑色矩形代表12位二进制编码，完整矩形代表编码1，中间断开的矩形代表编码0。

3.根据权利要求2所述的一种基于无人机的地面多AGV状态监测方法，其特征在于，利用YOLOV4目标检测算法对图像中的AGV进行目标检测，通过主干网络给出所有AGV的矩形框位置信息；所述矩形框位置信息为该矩形框的四个端点在图像的像素坐标系的坐标；根据矩形框坐标信息，按矩形大小截取无人机拍摄的图像，该图像为包含AGV的截图，矩形框坐标信息用于计算矩形中心的像素坐标系的坐标，作为AGV在整个图像上的像素坐标系的坐标。

4.根据权利要求3所述的一种基于无人机的地面多AGV状态监测方法，其特征在于：所述预处理包括采用加权平均法对航向特征标识符图像进行灰度化，得到灰度图像，再将灰度图像进行平滑滤波、图像增强和二值化，得到二值化处理后的图像。

5.根据权利要求4所述的一种基于无人机的地面多AGV状态监测方法，其特征在于，所述计算AGV的航向角包括以下步骤：

S1、在二值图像的基础上，找出所有轮廓，进行连通域分析，连通域面积最大的图案即是航向箭头；

S2、分割出航向箭头标识，进行图像细化，获取箭头标识的骨架图像，过滤细化图像，利用卷积模板找出箭头的三个端点和一个交叉点，交叉点即为箭头尖端，得到端点和交叉点的坐标位置；

S3、根据箭头的基本特征，三个端点两两连线，得到等腰三角形，选取和另外两条线段长度不同的边AB，求出中点C的坐标，将中点C和交叉点D的坐标转换到世界坐标系，求出正切角θ即是AGV的航向角。

6.根据权利要求5所述的一种基于无人机的地面多AGV状态监测方法，其特征在于：所述识别航向特征标识符的图案包括以下步骤：

A1、在二值图像的基础上，使用数学形态学算法进行开操作和闭操作，使编码图案连接成一个整体，进行边缘检测，找出图像中所有轮廓；

A2、对检测出来的轮廓求解最小外接矩形，通过外接矩形的宽高比和包含像素数特征排除干扰矩形，得到编码图案外接矩形像素点的集合；

A3、利用步骤A 2得到的集合，在二值图像上进行图像分割，得到编码图案，根据编码图案矩形边宽的比例进行编码图案分割，将12个含编码信息的黑色矩形分割成为12个图像，对每个图像进行黑色连通域个数分析，连通域个数为1表示该黑色矩形代表的二进制数为1，连通域个数为2表示该黑色矩形代表的二进制数为0；

A4、最后按照编码规则输出编码图案对应的二进制数，并转换为十进制数，即得到AGV的编号。

7.根据权利要求6所述的一种基于无人机的地面多AGV状态监测方法，其特征在于，无人机搭载GPS定位系统和IMU惯性传感器，实时反馈无人机当前的状态信息，当前的状态信息包括飞行高度、经纬度、飞行速度、当前朝向、位移；无人机中心正下方搭载航拍摄像头，镜头正对地面，水平方向上镜头正方向与无人机朝向一致；根据AGV在航拍画面中的坐标和箭头标识以及无人机的状态信息，计算AGV的世界坐标和航向角。

8.根据权利要求7所述的一种基于无人机的地面多AGV状态监测方法，其特征在于，计算AGV的世界坐标和航向角包括以下步骤：

(1)、设某一AGV编号为k，航拍图像的宽和高分别为w₀和h₀，以无人机中心为原点O建立像素坐标系，则该AGV在航拍画面中的像素坐标为(w_k，h_k)，且AGV顶部的箭头标识与W轴正方向夹角为α；

(2)、以无人机中心为原点O′，无人机朝向为Y′轴正方向，垂直于Y′轴为X′轴，建立无人机坐标系，则AGV_k在无人机坐标系下的坐标为(w′_k，h′_k)；无人机当前飞行高度为z₀，镜头焦距为f，则该AGV与无人机在实际中的相对距离分别为：

(3)、以无人机起飞点为原点O″，以东西方位为X轴，南北方位为Y轴(其中东为X轴正方向，北为Y轴正方向)，建立世界坐标系；由无人机搭载的传感器可知无人机当前位置坐标为(x_u，y_u)，无人机朝向与X轴的夹角为β，则根据AGV与无人机的相对位置和相对角度关系，按如下公式求解该AGV在世界坐标系下的坐标(x_k，y_k)和航向角θ：

9.根据权利要求8所述的一种基于无人机的地面多AGV状态监测方法，其特征在于，无人机将监测到的当前AGV实际状态信息发送给主控计算机后，主控计算机对比AGV实际状态与预期状态，若存在AGV偏离预定轨迹，则发出预警并更新AGV位置信息，实现AGV状态监测。

10.根据权利要求9所述的一种基于无人机的地面多AGV状态监测方法，其特征在于，采用ZhangSuen细化算法进行图像细化，获取箭头标识的骨架图像。

Images