CN110322462B - 基于5g网络的无人机视觉着陆方法及系统 - Google Patents
基于5g网络的无人机视觉着陆方法及系统 Download PDFInfo
- Publication number
- CN110322462B CN110322462B CN201910509302.4A CN201910509302A CN110322462B CN 110322462 B CN110322462 B CN 110322462B CN 201910509302 A CN201910509302 A CN 201910509302A CN 110322462 B CN110322462 B CN 110322462B
- Authority
- CN
- China
- Prior art keywords
- image
- aerial vehicle
- unmanned aerial
- coordinate system
- landing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000003708 edge detection Methods 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 55
- 238000013519 translation Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 7
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005316 response function Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 230000008054 signal transmission Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于5G网络的无人机视觉着陆方法及系统，该方法的步骤为：地面端系统发送着陆控制信号到无人机；无人机通过高清摄像头采集图像，通过无人机端5G网络通信模块传输到地面端系统，视觉导航模块进行图像识别，对采集的图像进行图像灰度化处理和图像边缘检测，检测到着陆信标时，视觉导航模块计算无人机与着陆信标相对位置；无人机主控模块调整无人机位置，直到高清摄像头光心与着陆信标中心重合；无人机着陆过程中采用超声波测距模块测量与着陆信标的垂直距离，下降至无人机与着陆信标距离小于设定值时，无人机停止运转，完成着陆。本发明完成无人机精准降落，基于5G网络进行信号传输，实现对无人机超高清实时视频传输。
Description
技术领域
本发明涉及无人机视觉导航技术领域，具体涉及一种基于5G网络的无人机视觉着陆方法及系统。
背景技术
随着无人机产业迅猛发展，无人机的应用涉及多个行业，而对无人机的操控也有多种方式，最常见的就是人工遥控器操控与地面站操控，这两种操控方式在控制无人机进行降落时都存在一定的缺陷，人工操控降落时有可能因为操作不当使无人机损坏；地面站操控降落时往往会因为定位存在误差使无人机无法完成精准降落。另外一方面，现有的无人机视觉着陆方法多是采用Wifi进行图像传输，有时会因信号原因造成图像传输延时，传输距离也受到很大的限制。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种基于5G网络的无人机视觉着陆方法及系统，以解决人工操控降落时出现操控失误、传统无人机利用GPS系统进行导航存在定位不精确导致降落位置不准确的问题，本发明通过视觉算法与超声波传感器相互配合，完成无人机精准降落，基于5G网络进行信号传输，实现对无人机超高清实时视频传输。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于5G网络的无人机视觉着陆方法，包括下述步骤：
S1：地面端系统发送着陆控制信号到无人机；
S2：无人机通过高清摄像头采集图像，通过无人机端5G网络通信模块传输到地面端系统，视觉导航模块进行图像识别，对采集的图像进行图像灰度化处理和图像边缘检测，得到图像中的着陆信标；
S3：检测到着陆信标时，视觉导航模块计算无人机与着陆信标相对位置；
S4：无人机主控模块调整无人机位置，直到高清摄像头光心与着陆信标中心重合；
S5：无人机着陆过程中采用超声波测距模块测量与着陆信标的垂直距离，下降至无人机与着陆信标距离小于设定值时，无人机停止运转，完成着陆。
作为优选的技术方案，步骤S2中所述对采集的图像进行图像灰度化处理和图像边缘检测，所述图像灰度化处理采用加权平均法对图像进行灰度化处理，将图像RGB三个分量采用不同的权值进行加权平均，生成灰度图像；所述图像边缘检测采用Canny算法对灰度化处理后的图像进行边缘检测，包括对图像进行平滑滤波、计算图像梯度幅值、图像梯度方向、对梯度幅值进行非极大值抑制、阈值化和边缘连接，设定高低阈值去除假的边缘和连接真的边缘。
作为优选的技术方案，所述将图像RGB三个分量采用不同的权值进行加权平均，生成灰度图像，灰度图像具体的计算公式为：
f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)，
其中，R(i,j)、G(i,j)、B(i,j)分别表示图像RGB三个分量。
作为优选的技术方案，所述对图像进行平滑滤波、计算图像梯度幅值、图像梯度方向，具体步骤为：
所述对图像进行平滑滤波采用一维高斯函数对图像按行和列进行平滑滤波去噪，其中一维高斯滤波函数为：
其中，一维高斯函数中的σ为标准差；
所述计算图像梯度幅值、图像梯度方向，Canny算法通过求偏导得到图像梯度幅值和方向，采用2×2像素点内一阶偏导的有限差分，平滑滤波后图像(x,y)的一阶偏导如下式所示：
其中，Px(x,y)为x的偏导数阵列，Py(x,y)为y的偏导数阵列，f(x,y)、f(x,y+1)、f(x+1,y)、f(x+1,y+1)为图像各点像素的灰度值，
图像梯度幅值的计算公式为：
去噪后的图像梯度方向的计算公式为：
作为优选的技术方案，所述对梯度幅值进行非极大值抑制，具体步骤为：在3×3像素点内，中心像素点与相邻的两个像素点进行幅值比较，若中心像素点大于相邻像素点，则中心像素点是边缘点，若中心像素点小于相邻像素点，则中心像素点不是边缘点。
作为优选的技术方案，所述阈值化和边缘连接，设定高低阈值去除假的边缘和连接真的边缘，具体步骤为：设定阈值上、下界，如果点(x,y)的梯度幅值小于阈值下界，则点(x,y)不是边缘点；如果点(x,y)的梯度幅值大于阈值上界，则点(x,y)是边缘点；如果点(x,y)的梯度幅值介于阈值上、下界之间，则寻找点(x,y)附近是否存在另一点大于阈值上界，如果有，则大于阈值上界的点是边缘点，否则不是边缘点，连接真实的边缘点得到图像中的着陆信标。
作为优选的技术方案，步骤S3所述的视觉导航模块计算无人机与着陆信标相对位置，具体步骤为：
S31：设定着陆信标坐标系、摄像头坐标系OcXcYcZc、载体坐标系、图像平面坐标系OfXfYf和图像像素坐标系Ocuv，所述着陆信标坐标系的原点为着陆信标的中心，所述摄像头坐标系OcXcYcZc的原点为高清摄像头的光心，所述载体坐标系的原点为无人机的质心，将摄像头坐标系与载体坐标系设置为相等的坐标系；
S32：每个像素坐标(u，v)为以像素为单位的图像像素坐标系坐标，图像像素坐标系与图像平面坐标系的数学对应公式如下：
其中，(x，y)为像素点在图像平面坐标系的坐标值，u0、v0为图像平面坐标系原点在图像像素坐标系中的坐标，dx、dy为单位像素在x轴与y轴的物理长度；
S33：设定摄像头标定矩阵K：
空间点P(XcYcZc)被映射到图像平面上的点p(Xf,Xf)，根据相似三角形定理，采用矩阵表达式表示为：
其中，f为摄像头焦距，结合图像平面坐标系与图像像素坐标系的转换关系，可得：
其中，ax、ay表示摄像头焦距在x,y轴方向上的单位长度；
S34：计算无人机与着陆信标相对位置：
设定摄像头坐标系与载体坐标系重合，摄像头坐标系与着陆信标坐标系的平移关系为无人机与着陆信标的相对位置信息，通过旋转矩阵S和平移矩阵T进行坐标变换，如下式：
其中，T＝[Tx Ty h]，
为图像的像素点在摄像头坐标系的坐标，
为图像的像素点在着陆信标坐标系的坐标，λ＝Zc为图像的像素点在摄像头坐标系上的Z轴坐标；
旋转矩阵S由四元数求得，q＝(θ x y z)T为单位向量(x y z)旋转角度后得到的四元数，四元数求解旋转矩阵S的公式如下：
平移矩阵T的求解步骤为：
取着陆信标中心坐标为(0，0，0)，旋转矩阵S和平移矩阵T坐标变换的公式变换为：
求解后得
其中，f/d表示摄像头焦距长度，Q1、Q2表示着陆信标上的两个特征点，q1、q2表示两个特征点在图像坐标系下的映射点；
求解平移矩阵T得到无人机降落的着陆信标位置，然后对检测到着陆信标特征圆的图像进行Harris角点检测，通过Harris角点检测获取图像平面的像素坐标，着陆信标坐标系的原点位于摄像头坐标系的三维坐标
着陆信标在载体坐标系中的坐标
作为优选的技术方案，步骤S34中所述Harris角点检测，具体步骤为：
S341：建立图像灰度矩阵
其中，Iy分别为图像像素点灰度值在x方向与y方向的梯度；
S342：采用高斯函数进行平滑滤波，滤波后的图像矩阵M′为：
S343：定义角点响应函数：
CRF＝det(M′)/trace(M′)；
其中，det(M′)为矩阵M′的行列式，trace(M′)为矩阵M′的迹；
S344：设定阈值，当图像中像素点的CRF为局部极大值点且大于阈值，标记为角点。
本发明还提供一种基于5G网络的无人机视觉着陆系统，包括：无人机端系统和地面端系统；
所述无人机端系统包括：主控模块、高清摄像头、无人机端5G网络通信模块和超声波测距模块，所述高清摄像头、无人机端5G网络通信模块和超声波测距模块均与主控模块连接；
所述主控模块用于接收地面端系统的控制信号，控制无人机运行状态，所述高清摄像头用于采集图像数据，所述无人机端5G网络通信模块用于传输图像数据，所述超声波测距模块用于无人机降落时测量与信标的距离；
所述地面端系统包括：无人机地面站、地面端5G网络通信模块、视觉导航模块，无人机地面站设有PC端，PC端通过地面端5G网络通信模块连接无线网络，与无人机进行无线通讯，发送无人机飞行控制信号，所述视觉导航模块用于无人机着陆时提供视觉导航；
所述视觉导航模块包括图像灰度化处理单元、图像边缘检测单元、相对位置计算单元，分别用于对高清摄像头采集到的图像进行图像灰度化处理、图像边缘检测，以及对无人机与着陆信标相对位置的计算。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用5G网络进行高清图像的传输，解决了传统传输方式的速率慢、时延高的问题，达到了能更快地检测到着陆信标，降低着陆控制信号传输时延，对无人机超高清实时视频传输的技术效果。
(2)本发明采用视觉导航技术为无人机降落时提供视觉导航支持，使无人机能准确安全地降落在着陆信标上。
附图说明
图1为本实施例基于5G网络的无人机视觉着陆系统的无人机结构示意图；
图2为本实施例基于5G网络的无人机视觉着陆系统的无人机内部模块连接示意图；
图3为本实施例基于5G网络的无人机视觉着陆方法的流程示意图；
图4为本实施例基于5G网络的无人机视觉着陆方法中坐标系集合对应关系图；
图5为本实施例着陆信标结构示意图；
图6为本实施例着陆信标经过Harris角点检测和轮廓检测的图像示意图；
图7为本实施例无人机降落时视觉导航的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1、图2所示，本实施例提供一种基于5G网络的无人机视觉着陆系统，包括：无人机端系统和地面端系统，
所述无人机端系统包括：锂电池、pcduino主控模块、高清摄像头、无人机端5G网络通信模块、超声波测距模块，所述锂电池用于对无人机进行供电；所述pcduino主控模块用于接收地面端系统的控制指令，控制无人机端系统上相关模块的工作；所述高清摄像头用于拍摄高清图像或视频；所述无人机端5G网络通信模块用于接入5G网络，利用5G网络实现对无人机超高清实时视频传输；超声波测距模块用于无人机降落时测量与信标的距离。
在本实施例中，无人机端系统还设有云台，云台搭载了高清摄像头、超声波测距模块，无人机pcduino主控模块通过无人机端5G网络通信模块接收地面端系统发送的图像采集控制指令，pcduino主控模块对控制指令分析处理后利用接口技术向云台控制模块发送PWN调制信号驱动云台俯仰、横滚、水平旋转等动作；通过串口向高清摄像头发送控制指令，实现高清摄像头的调焦、变倍等动作的控制，所拍摄的图像再经过5G网络传到地面端系统。
所述地面端系统包括：无人机地面站、地面端5G网络通信模块、视觉导航模块，无人机地面站设有PC端，PC端通过地面端5G网络通信模块连接无线网络，从而与无人机进行无线通讯；无人机地面站PC端安装有无人机飞控系统的配套软件，通过5G网络发送无人机飞行控制指令；视觉导航模块采用python与opencv开发环境编写而成，为无人机着陆时提供视觉导航。
在本实施例中，着陆信标是无人机降落过程中视觉导航的标志物。
所述视觉导航模块包括图像灰度化处理单元、图像边缘检测单元、相对位置计算单元，分别用于对摄像头采集到的图像进行图像灰度化处理、图像边缘检测从而检测到着陆信标的特征，以及对无人机与着陆信标相对位置的估计与解算。
如图3所示，本实施例还提供一种基于5G网络的无人机视觉着陆方法，包括下述步骤：
S1：地面端系统发送着陆控制信号到无人机；
S2：无人机通过高清摄像头采集图像，通过无人机端5G网络通信模块传输到地面端系统，视觉导航模块对采集的图像进行图像识别，对采集的图像进行图像灰度化处理和图像边缘检测，得到着陆信标；
在本实施例中，图像灰度化处理采用加权平均法对图像进行灰度化处理，将图像RGB三个分量采用不同的权值进行加权平均，生成灰度图像；图像边缘检测采用Canny算法对灰度化处理后的图像进行边缘检测，包括对图像进行平滑滤波、计算图像梯度幅值、图像梯度方向、对梯度幅值进行非极大值抑制、阈值化和边缘连接，设定高低阈值去除假的边缘和连接真的边缘；
本实施例的图像灰度化处理：高清摄像头所拍摄的图像一般都为彩色图像，在对图像做进一步处理时需要对彩色图片进行灰度化处理。本实施例采用加权平均法对图像进行灰度化处理，加权平均法根据重要性及其它指标，将三个分量以不同的权值进行加权平均，由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像：
f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)；
本实施例的图像边缘检测：采用Canny算法对灰度化处理后的图像进行边缘检测，该方法首先对图像进行平滑滤波，计算去噪后的图像梯度幅值、方向和对梯度幅值进行非极大值抑制，最后设定高低阈值去除假的边缘和连接真的边缘，得到图像中的着陆信标；
在本实施例中，图像边缘检测具体步骤如下：
a、图像的平滑滤波：采用一维高斯函数对要检测的图像按行和列进行平滑滤波去噪，其中一维高斯滤波函数如下式所示：
一维高斯函数中σ为标准差，σ的大小影响定位精度和信噪比，σ的大小对边缘检测很重要，当σ较大时可以很好的平滑噪声，但边缘定位精度较低；
b、计算去噪后的图像梯度幅值和方向：本实施例Canny算法通过求偏导得到梯度幅值和方向，利用2×2邻域(2×2像素点)内一阶偏导的有限差分，平滑滤波后图像(x,y)的一阶偏导如下式所示：
其中，Px(x,y)为x的偏导数阵列，Py(x,y)为y的偏导数阵列，f(x,y)、f(x,y+1)、f(x+1,y)、f(x+1,y+1)为图像各点像素的灰度值；
去噪后的图像梯度幅值的计算公式为：
去噪后的图像梯度方向的计算公式为：
c、对梯度幅值进行非极大值抑制。为了更加精确地进行边缘定位，Canny算法还需要对梯度进行非极大值抑制。经过细化才能以单像素确定边缘的位置，即保留幅值局部变化最大的点，这就是非极大值抑制处理。在3×3邻域(即3*3像素点)内，中心像素点和它周边相邻的两个像素进行幅值比较，如果中心像素点大于相邻像素点，则该点是边缘点，反之则不是边缘点；
d、阈值化和边缘连接。经过非极大值抑制后的图像中仍存在许多噪声点，Canny算法使用双阈值对非极大值抑制过的图像进行分割。如果点(x,y)的梯度幅值小于阈值下界则该点不是边缘点；如果点(x,y)的梯度幅值大于阈值下界则该点是边缘点；如果该点的梯度幅值介于两者之间，则寻找点(x,y)附近是否存在另一点大于阈值上界，如果有，则该大于阈值上界的点是边缘点，否则不是边缘点，边缘检测后，将真实的边缘点连接起来后得到的图像，就是图像中着陆信标；
S3：检测到着陆信标时，视觉导航模块计算无人机与着陆信标相对位置；
在对高清摄像头采集到的图片进行相应处理后，系统下一步便需要对图像信息进行解算，再利用相应的坐标系求出无人机相对于着陆信标的位置以及自身姿态，并输出给无人机主控模块，随后主控模块再根据这些信息控制无人机的飞行方向与速度，同时根据高清摄像头光轴与着陆信标中心的偏角对无人机进行姿态调整，使高清摄像头光心与着陆信标中心在垂直方向上重合，具体步骤为：
S31：设定着陆信标坐标系、摄像头坐标系OcXcYcZc、载体坐标系、图像平面坐标系OfXfYf和图像像素坐标系Ocuv，
所述着陆信标坐标系的原点为着陆信标的中心，即小圆环的圆心，X轴与Y轴在着陆信标平面内且X轴平行于上下边界Y轴平行于左右边界，Z轴垂直于着陆信标平面竖直向上；
所述摄像头坐标系OcXcYcZc的原点为高清摄像头的光心，X轴与Y轴位于相机平面内，X轴指向右方，Y轴指向下方，Z轴垂直于相机平面指向拍摄方向即竖直向下；
所述载体坐标系的原点为无人机的质心，X轴与Y轴位于水平面内，X轴指向无人机前进方向，Y轴指向无人机前进方向的右方，Z轴垂直于水平面竖直向下；将摄像头坐标系与载体坐标系设置为相等的坐标系；
图像平面坐标OfXfYf为二维坐标，Xf，Yf分别于与摄像头坐标系的Xc，Yc轴平行；
S32：求得图像像素点坐标，图像像素坐标原点位于图像左上角，每个像素坐标(u，v)为以像素为单位的图像像素坐标系坐标，图像像素坐标系与图像平面坐标系的数学对应公式如下：
其中，(x，y)为像素点在图像平面坐标系的坐标值，u0、v0为图像平面坐标系原点在图像像素坐标系中的坐标，dx、dy为单位像素在x轴与y轴的物理长度；
S33：设定摄像头标定矩阵K：
本实施例采用COMS摄像头获取图像，空间点P(XcYcZc)被映射到图像平面上的点p(Xf,Xf)，根据相似三角形定理，采用矩阵表达式表示为：
其中，f为摄像头焦距，结合公式3.2的图像平面与图像像素坐标系的转换关系，可得：
得到摄像头标定矩阵K为：
其中，ax、ay为摄像头焦距在x,y轴方向上的单位长度，K为摄像头标定矩阵，与摄像头焦距、拍摄图像像素有关，根据高清摄像头标定得到；
S34：计算无人机与着陆信标相对位置：
设定摄像头坐标系与载体坐标系重合，摄像头坐标系与着陆信标坐标系的平移关系为无人机与着陆信标的相对位置信息，通过旋转矩阵S和平移矩阵T进行坐标变换，其中T＝[Tx Ty h]，如下式：
其中，图像的像素点坐标(u,v)已在步骤S32中得到，
为图像的像素点在摄像头坐标系的坐标，
为图像的像素点在着陆信标坐标系的坐标，λ＝Zc为图像的像素点在摄像头坐标系上的Z轴坐标，
本实施例的旋转矩阵S可由四元数求得，q＝(θ x y z)T为单位向量(x y z)旋转角度后得到的四元数，四元数求解旋转矩阵S的公式如下：
本实施例的平移矩阵T的求解方法如下：
由于只考虑相对位置解算，取着陆信标中心坐标为(0，0，0)可减少计算量，所以公式3.4.1可变换为：
解公式3.4.2方程组得
其中，ax、ay为摄像头焦距在x,y轴方向上的单位长度，可根据摄像头参数得到，(u0，v0)为已知，因此，求得h就可得到平移矩阵T，
如图4所示，在各个坐标系集合对应关系中，f/d为摄像头焦距长度(像素单位)，Q1、Q2为着陆信标上的两个特征点，可选取矩形的两个顶点，两点的物理长度|Q1Q2|为己知，q1、q2为两个特征点在图像坐标系下的映射点，根据图像像素坐标系的坐标可以得出其在图像坐标系中的像素距离|q1q2|，由相似三角形定理可求得
求得平移矩阵T即求得自主降落所需要的着陆目标位置，然后对检测到着陆信标特征圆的图像进行Harris角点检测；
在本实施例中，Harris角点检测的具体步骤为：
S341：建立图像灰度矩阵
其中，Iy分别为图像像素点灰度值在x方向与y方向的梯度，若一个点为角点，则Ix该点在x方向与y方向的较小移动均会引起灰度值的较大变化；
S342：采用高斯函数进行平滑滤波，减少图像中存在的噪声，滤波后的图像矩阵M′为：
S343：定义角点响应函数：
CRF＝det(M′)/trace(M′)
其中，det(M′)为矩阵M′的行列式，trace(M′)为矩阵M′的迹；
S344：选取适当的阈值，当图像中像素点的CRF为局部极大值点且大于此阈值，则标记该点为角点；
如图5、图6所示，着陆信标经过Harris角点检测和轮廓检测之后共存在12个角点和一个中心圆心作为特征点，因为特征点在着陆信标坐标系上的坐标已知，通过角点检测获取图像平面的像素坐标，着陆信标坐标系的原点位于摄像头坐标系的三维坐标
着陆信标在载体坐标系中的坐标
然后根据上述步骤便可求出无人机相对于着陆信标的相对位置关系；
S4：在求解出无人机与着陆信标的相对位置后，无人机主控模块根据位置偏差调整无人机的位置，使得无人机高清摄像头光心与着陆信标中心在竖直方向上重合；
如图7所示，视觉导航模块的进行视觉导航的工作过程主要包括：对高清摄像头采集到的图像进行图像灰度化处理、图像边缘检测从而检测到着陆信标的特征，以及对无人机与着陆信标相对位置的估计与解算，并将结果传输给地面端飞控系统，继而地面端飞控系统根据结果对无人机进行相应调整，使无人机中心在垂直方向上与着陆信标中心重合；
S5：在利用视觉导航让无人机成功悬停在着陆信标正上方后，无人机通过超声波测距模块测量无人机与着陆信标的相对距离，并发送指令给无人机主控，主控模块控制无人机缓慢下降，当无人机下降至与着陆信标之间的距离小于设定的阈值时，主控模块控制电机停止转动，完成着陆。
在本实施例中，无人机降落时，安装在无人机正下方的高清摄像头获取地面的图像信息，将图像信息通过无人机端5G网络通信模块传输到地面端系统，地面端系统通过视觉导航模块识别设定的着陆信标的特征，利用设定好的坐标系判断出巡检无人机与着陆信标的相对位置并调整两者的相对位置，使巡检无人机中心在垂直方向上与着陆信标中心重合，再结合超声波模块判断出无人机与着陆信标距离，实现安全准确着陆。
本实施例通过5G网络和视觉导航算法为无人机着陆提供了技术保障，能够实现无人机安全准确着陆。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种基于5G网络的无人机视觉着陆方法，其特征在于，包括下述步骤：
S1：地面端系统发送着陆控制信号到无人机；
S2：无人机通过高清摄像头采集图像，通过无人机端5G网络通信模块传输到地面端系统，视觉导航模块进行图像识别，对采集的图像进行图像灰度化处理和图像边缘检测，得到图像中的着陆信标；
S3：检测到着陆信标时，视觉导航模块计算无人机与着陆信标相对位置；
步骤S3所述的视觉导航模块计算无人机与着陆信标相对位置，具体步骤为：
S31：设定着陆信标坐标系、摄像头坐标系OcXcYcZc、载体坐标系、图像平面坐标系OfXfYf和图像像素坐标系Ocuv，所述着陆信标坐标系的原点为着陆信标的中心，所述摄像头坐标系OcXcYcZc的原点为高清摄像头的光心，所述载体坐标系的原点为无人机的质心，将摄像头坐标系与载体坐标系设置为相等的坐标系；
S32：每个像素坐标(u，v)为以像素为单位的图像像素坐标系坐标，图像像素坐标系与图像平面坐标系的数学对应公式如下：
其中，(x，y)为像素点在图像平面坐标系的坐标值，u0、v0为图像平面坐标系原点在图像像素坐标系中的坐标，dx、dy为单位像素在x轴与y轴的物理长度；
S33：设定摄像头标定矩阵K：
空间点P(XcYcZc)被映射到图像平面上的点p(Xf，Xf)，根据相似三角形定理，采用矩阵表达式表示为：
其中，f为摄像头焦距，结合图像平面坐标系与图像像素坐标系的转换关系，可得：
得到摄像头标定矩阵K为：
其中，ax、ay表示摄像头焦距在x，y轴方向上的单位长度；
S34：计算无人机与着陆信标相对位置：
设定摄像头坐标系与载体坐标系重合，摄像头坐标系与着陆信标坐标系的平移关系为无人机与着陆信标的相对位置信息，通过旋转矩阵S和平移矩阵T进行坐标变换，如下式：
其中，T＝[Tx Ty h]，
为图像的像素点在摄像头坐标系的坐标，
为图像的像素点在着陆信标坐标系的坐标，λ＝Zc为图像的像素点在摄像头坐标系上的Z轴坐标；
旋转矩阵S由四元数求得，q＝(θ x y z)T为单位向量(x y z)旋转θ角度后得到的四元数，四元数求解旋转矩阵S的公式如下：
平移矩阵T的求解步骤为：
取着陆信标中心坐标为(0，0，0)，旋转矩阵S和平移矩阵T坐标变换的公式变换为：
求解后得
其中，f/d表示摄像头焦距长度，Q1、Q2表示着陆信标上的两个特征点，q1、q2表示两个特征点在图像坐标系下的映射点；
求解平移矩阵T得到无人机降落的着陆信标位置，然后对检测到着陆信标特征圆的图像进行Harris角点检测，通过Harris角点检测获取图像平面的像素坐标，着陆信标坐标系的原点位于摄像头坐标系的三维坐标
着陆信标在载体坐标系中的坐标
S4：无人机主控模块调整无人机位置，直到高清摄像头光心与着陆信标中心重合；
S5：无人机着陆过程中采用超声波测距模块测量与着陆信标的垂直距离，下降至无人机与着陆信标距离小于设定值时，无人机停止运转，完成着陆。
2.根据权利要求1所述的基于5G网络的无人机视觉着陆方法，其特征在于，步骤S2中所述对采集的图像进行图像灰度化处理和图像边缘检测，所述图像灰度化处理采用加权平均法对图像进行灰度化处理，将图像RGB三个分量采用不同的权值进行加权平均，生成灰度图像；所述图像边缘检测采用Canny算法对灰度化处理后的图像进行边缘检测，包括对图像进行平滑滤波、计算图像梯度幅值、图像梯度方向、对梯度幅值进行非极大值抑制、阈值化和边缘连接，设定高低阈值去除假的边缘和连接真的边缘。
3.根据权利要求2所述的基于5G网络的无人机视觉着陆方法，其特征在于，所述将图像RGB三个分量采用不同的权值进行加权平均，生成灰度图像，灰度图像具体的计算公式为：
f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)，
其中，R(i，j)、G(i，j)、B(i，j)分别表示图像RGB三个分量。
4.根据权利要求2所述的基于5G网络的无人机视觉着陆方法，其特征在于，所述对图像进行平滑滤波、计算图像梯度幅值、图像梯度方向，具体步骤为：
所述对图像进行平滑滤波采用一维高斯函数对图像按行和列进行平滑滤波去噪，其中一维高斯滤波函数为：
其中，一维高斯函数中的σ为标准差；
所述计算图像梯度幅值、图像梯度方向，Canny算法通过求偏导得到图像梯度幅值和方向，采用2×2像素点内一阶偏导的有限差分，平滑滤波后图像(x，y)的一阶偏导如下式所示：
其中，Px(x，y)为x的偏导数阵列，Py(x，y)为y的偏导数阵列，f(x，y)、f(x，y+1)、f(x+1，y)、f(x+1，y+1)为图像各点像素的灰度值，
图像梯度幅值的计算公式为：
去噪后的图像梯度方向的计算公式为：
5.根据权利要求2所述的基于5G网络的无人机视觉着陆方法，其特征在于，所述对梯度幅值进行非极大值抑制，具体步骤为：在3×3像素点内，中心像素点与相邻的两个像素点进行幅值比较，若中心像素点大于相邻像素点，则中心像素点是边缘点，若中心像素点小于相邻像素点，则中心像素点不是边缘点。
6.根据权利要求2所述的基于5G网络的无人机视觉着陆方法，其特征在于，所述阈值化和边缘连接，设定高低阈值去除假的边缘和连接真的边缘，具体步骤为：设定阈值上、下界，如果点(x，y)的梯度幅值小于阈值下界，则点(x，y)不是边缘点；如果点(x，y)的梯度幅值大于阈值上界，则点(x，y)是边缘点；如果点(x，y)的梯度幅值介于阈值上、下界之间，则寻找点(x，y)附近是否存在另一点大于阈值上界，如果有，则大于阈值上界的点是边缘点，否则不是边缘点，连接真实的边缘点得到图像中的着陆信标。
7.根据权利要求1所述的基于5G网络的无人机视觉着陆方法，其特征在于，步骤S34中所述Harris角点检测，具体步骤为：
S341：建立图像灰度矩阵
其中，Iy分别为图像像素点灰度值在x方向与y方向的梯度；
S342：采用高斯函数进行平滑滤波，滤波后的图像矩阵M′为：
S343：定义角点响应函数：
CRF＝det(M′)/trace(M′)；
其中，det(M′)为矩阵M′的行列式，trace(M′)为矩阵M′的迹；
S344：设定阈值，当图像中像素点的CRF为局部极大值点且大于阈值，标记为角点。
8.一种基于5G网络的无人机视觉着陆系统，其特征在于，包括：无人机端系统和地面端系统；
所述无人机端系统包括：主控模块、高清摄像头、无人机端5G网络通信模块和超声波测距模块，所述高清摄像头、无人机端5G网络通信模块和超声波测距模块均与主控模块连接；
所述主控模块用于接收地面端系统的控制信号，控制无人机运行状态，所述高清摄像头用于采集图像数据，所述无人机端5G网络通信模块用于传输图像数据，所述超声波测距模块用于无人机降落时测量与信标的距离；
所述地面端系统包括：无人机地面站、地面端5G网络通信模块、视觉导航模块，无人机地面站设有PC端，PC端通过地面端5G网络通信模块连接无线网络，与无人机进行无线通讯，发送无人机飞行控制信号，所述视觉导航模块用于无人机着陆时提供视觉导航；
所述视觉导航模块包括图像灰度化处理单元、图像边缘检测单元、相对位置计算单元，分别用于对高清摄像头采集到的图像进行图像灰度化处理、图像边缘检测，以及对无人机与着陆信标相对位置的计算；
对无人机与着陆信标相对位置的计算，具体步骤包括：
S31：设定着陆信标坐标系、摄像头坐标系OcXcYcZc、载体坐标系、图像平面坐标系OfXfYf和图像像素坐标系Ocuv，所述着陆信标坐标系的原点为着陆信标的中心，所述摄像头坐标系OcXcYcZc的原点为高清摄像头的光心，所述载体坐标系的原点为无人机的质心，将摄像头坐标系与载体坐标系设置为相等的坐标系；
S32：每个像素坐标(u，v)为以像素为单位的图像像素坐标系坐标，图像像素坐标系与图像平面坐标系的数学对应公式如下：
其中，(x，y)为像素点在图像平面坐标系的坐标值，u0、v0为图像平面坐标系原点在图像像素坐标系中的坐标，dx、dy为单位像素在x轴与y轴的物理长度；
S33：设定摄像头标定矩阵K：
空间点P(XcYcZc)被映射到图像平面上的点p(Xf，Xf)，根据相似三角形定理，采用矩阵表达式表示为：
其中，f为摄像头焦距，结合图像平面坐标系与图像像素坐标系的转换关系，可得：
得到摄像头标定矩阵K为：
其中，ax、ay表示摄像头焦距在x，y轴方向上的单位长度；
S34：计算无人机与着陆信标相对位置：
设定摄像头坐标系与载体坐标系重合，摄像头坐标系与着陆信标坐标系的平移关系为无人机与着陆信标的相对位置信息，通过旋转矩阵S和平移矩阵T进行坐标变换，如下式：
其中，T＝[Tx Ty h]，
为图像的像素点在摄像头坐标系的坐标，
为图像的像素点在着陆信标坐标系的坐标，λ＝Zc为图像的像素点在摄像头坐标系上的Z轴坐标；
旋转矩阵S由四元数求得，q＝(θ x y z)T为单位向量(x y z)旋转θ角度后得到的四元数，四元数求解旋转矩阵S的公式如下：
平移矩阵T的求解步骤为：
取着陆信标中心坐标为(0，0，0)，旋转矩阵S和平移矩阵T坐标变换的公式变换为：
求解后得
其中，f/d表示摄像头焦距长度，Q1、Q2表示着陆信标上的两个特征点，q1、q2表示两个特征点在图像坐标系下的映射点；
求解平移矩阵T得到无人机降落的着陆信标位置，然后对检测到着陆信标特征圆的图像进行Harris角点检测，通过Harris角点检测获取图像平面的像素坐标，着陆信标坐标系的原点位于摄像头坐标系的三维坐标
着陆信标在载体坐标系中的坐标
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910509302.4A CN110322462B (zh) | 2019-06-13 | 2019-06-13 | 基于5g网络的无人机视觉着陆方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910509302.4A CN110322462B (zh) | 2019-06-13 | 2019-06-13 | 基于5g网络的无人机视觉着陆方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110322462A CN110322462A (zh) | 2019-10-11 |
| CN110322462B true CN110322462B (zh) | 2021-07-27 |
Family
ID=68119707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910509302.4A Active CN110322462B (zh) | 2019-06-13 | 2019-06-13 | 基于5g网络的无人机视觉着陆方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110322462B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110673622B (zh) * | 2019-10-25 | 2022-11-25 | 大连东软信息学院 | 一种基于视觉图像的无人机自动着舰引导方法与系统 |
| CN110673642B (zh) * | 2019-10-28 | 2022-10-28 | 深圳市赛为智能股份有限公司 | 无人机着陆控制方法、装置、计算机设备及存储介质 |
| CN115050215B (zh) * | 2022-04-29 | 2023-12-26 | 北京航空航天大学 | 基于机器视觉辅助的门对门全自主飞行着陆引导方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103809598A (zh) * | 2014-03-12 | 2014-05-21 | 北京航空航天大学 | 一种基于三层品字形多色降落坪的旋翼无人机自主起降系统 |
| CN104166854A (zh) * | 2014-08-03 | 2014-11-26 | 浙江大学 | 针对小型无人机自主降落的视觉分级地标定位识别方法 |
| CN105700544A (zh) * | 2016-04-08 | 2016-06-22 | 暨南大学 | 一种无人机光伏电站电气设备巡检系统及实现方法 |
| CN106203439A (zh) * | 2016-06-27 | 2016-12-07 | 南京邮电大学 | 基于标志物多特征融合的无人机自动寻的着陆方法 |
| CN106371447A (zh) * | 2016-10-25 | 2017-02-01 | 南京奇蛙智能科技有限公司 | 一种无人机全天候精准降落的控制方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105068553A (zh) * | 2015-03-10 | 2015-11-18 | 无锡桑尼安科技有限公司 | 无人机自动着陆系统 |
| CN104808685A (zh) * | 2015-04-27 | 2015-07-29 | 中国科学院长春光学精密机械与物理研究所 | 用于无人机自主降落的视觉辅助装置及视觉辅助方法 |
| CN106054931B (zh) * | 2016-07-29 | 2019-11-05 | 北方工业大学 | 一种基于视觉定位的无人机定点飞行控制系统 |
| US10012735B1 (en) * | 2017-05-04 | 2018-07-03 | Loveland Innovations, LLC | GPS offset calibrations for UAVs |
| CN107194399B (zh) * | 2017-07-14 | 2023-05-09 | 广东工业大学 | 一种视觉定标的方法、系统及无人机 |
| CN108873917A (zh) * | 2018-07-05 | 2018-11-23 | 太原理工大学 | 一种面向移动平台的无人机自主着陆控制系统及方法 |
-
2019
- 2019-06-13 CN CN201910509302.4A patent/CN110322462B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103809598A (zh) * | 2014-03-12 | 2014-05-21 | 北京航空航天大学 | 一种基于三层品字形多色降落坪的旋翼无人机自主起降系统 |
| CN104166854A (zh) * | 2014-08-03 | 2014-11-26 | 浙江大学 | 针对小型无人机自主降落的视觉分级地标定位识别方法 |
| CN105700544A (zh) * | 2016-04-08 | 2016-06-22 | 暨南大学 | 一种无人机光伏电站电气设备巡检系统及实现方法 |
| CN106203439A (zh) * | 2016-06-27 | 2016-12-07 | 南京邮电大学 | 基于标志物多特征融合的无人机自动寻的着陆方法 |
| CN106371447A (zh) * | 2016-10-25 | 2017-02-01 | 南京奇蛙智能科技有限公司 | 一种无人机全天候精准降落的控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于无线充电技术的物流无人机及充电桩设计方案";佘佳俊等;《电子电路设计与方案》;20190501(第9期);正文第1-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110322462A (zh) | 2019-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110297498B (zh) | 一种基于无线充电无人机的轨道巡检方法及系统 | |
| CN110322462B (zh) | 基于5g网络的无人机视觉着陆方法及系统 | |
| CN110103217B (zh) | 工业机器人手眼标定方法 | |
| CN109911188B (zh) | 非卫星导航定位环境的桥梁检测无人机系统 | |
| CN106529495B (zh) | 一种飞行器的障碍物检测方法和装置 | |
| CN104796612B (zh) | 高清雷达联动跟踪控制摄像系统及联动跟踪方法 | |
| CN112215860B (zh) | 一种基于图像处理的无人机定位方法 | |
| CN107194399B (zh) | 一种视觉定标的方法、系统及无人机 | |
| CN109753076A (zh) | 一种无人机视觉追踪实现方法 | |
| CN106197422A (zh) | 一种基于二维标签的无人机定位及目标跟踪方法 | |
| US10133929B2 (en) | Positioning method and positioning device for unmanned aerial vehicle | |
| CN102538782B (zh) | 一种基于计算机视觉的直升机着陆引导方法 | |
| CN110254258B (zh) | 一种无人机无线充电系统及方法 | |
| CN112947526B (zh) | 一种无人机自主降落方法和系统 | |
| CN112194011A (zh) | 一种基于双目视觉的塔吊自动装载方法 | |
| CN113177918B (zh) | 一种无人机对电力杆塔的智能精准巡检方法及系统 | |
| CN111562791A (zh) | 一种无人机合作目标识别视觉辅助着陆的系统及方法 | |
| CN106370160A (zh) | 一种机器人室内定位系统和方法 | |
| CN110825098B (zh) | 一种无人机配电网智能巡检系统 | |
| CN110850889B (zh) | 一种基于rtk导航的无人机自主巡检系统 | |
| CN116578035A (zh) | 基于数字孪生技术的旋翼无人机自主降落控制系统 | |
| CN117173601B (zh) | 光伏电站阵列热斑识别方法和系统 | |
| CN113655803A (zh) | 基于视觉的隧道环境下旋翼无人机航向校准系统及方法 | |
| CN109764864A (zh) | 一种基于颜色识别的室内无人机位姿获取方法及系统 | |
| CN112634362A (zh) | 一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |