CN107422743A - 基于视觉的无人机定位系统 - Google Patents

基于视觉的无人机定位系统 Download PDF

Info

Publication number
CN107422743A
CN107422743A CN201510576817.8A CN201510576817A CN107422743A CN 107422743 A CN107422743 A CN 107422743A CN 201510576817 A CN201510576817 A CN 201510576817A CN 107422743 A CN107422743 A CN 107422743A
Authority
CN
China
Prior art keywords
aircraft
camera
earth station
unmanned plane
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510576817.8A
Other languages
English (en)
Inventor
朱宪伟
李伟浩
董贤浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ninestar Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Ninestar Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ninestar Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Ninestar Intelligent Aviation Technology Co Ltd
Priority to CN201510576817.8A priority Critical patent/CN107422743A/zh
Publication of CN107422743A publication Critical patent/CN107422743A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于视觉的无人机定位系统,包括地面站、摄像头和飞行器;摄像头通过有线传输方式与地面站连接,将拍摄的飞行器的视频数据传送到地面站;根据接收到的飞行器的视频数据,地面站利用PID控制算法计算出飞行器的飞行控制量后,然后通过无线数据传输模块向飞行器发出控制信号,使其朝着目标点前行。本发明基于视觉对目标进行跟踪,通过PID实现闭环控制,让无人机定位悬停,能够很好地解决GPS信号不稳定及精度的问题。

Description

基于视觉的无人机定位系统
技术领域
本发明涉及机器视觉领域,具体是一种基于视觉的无人机定位系统。
背景技术
现有的无人机定位系统,主要依靠全球定位系统(Global Positioning System,GPS),通过接收多颗导航卫星发送的导航定位信号,并以导航卫星作为动态已知点,实时测定飞机的位置和运动状态,引导飞机安全有效地到达目的地,从而实现定位;由于GPS卫星是受美国控制的,美国会对GPS精度进行控制;尤其在室内环境及复杂的低空区域(尤其有电磁干扰),GPS信号极不稳定,因此无人机无法使用GPS信号进行定位。本发明实现了基于视觉的无人机定位系统,可使无人机在无GPS的情况下进行精确定位。
发明内容
本发明的目的在于提供一种基于视觉的无人机定位系统,通过PID实现闭环控制,让无人机定位悬停,能够很好地解决GPS信号不稳定及精度的问题。
为实现上述目的,本发明提供如下技术方案:
基于视觉的无人机定位系统,包括地面站、摄像头和飞行器;摄像头通过有线传输方式与地面站连接,将拍摄的飞行器的视频数据传送到地面站;根据接收到的飞行器的视频数据,地面站利用PID控制算法计算出飞行器的飞行控制量后,然后通过无线数据传输模块向飞行器发出控制信号,使其朝着目标点前行。
作为本发明进一步的方案:所述飞行器的起落架上安装有指定颜色的灯,所述飞行器的航向角与摄像头的垂直方向一致。
作为本发明进一步的方案:所述飞行器为四旋翼飞行器,其起落架上安装有四个指定颜色的灯。
作为本发明进一步的方案:其工作流程如下:
(1)在飞行器的起落架上安装指定颜色的灯,接着将摄像头安装在指定的地面标志物上,保持摄像头的镜头垂直向上;接着调整飞行器的航向,使其航向角与摄像头的垂直方向相同;
(2)当飞行器开始飞行时,利用摄像头拍摄飞行器的视频数据,接着通过有线传输方式将该视频数据传送到地面站;地面站对视频数据进行视频跟踪,计算出飞行器的飞行控制量;
(3)地面站通过无线数据传输模块把控制信号发送给飞行器,引导飞行器到达目标点,并在目标点悬停。
作为本发明进一步的方案:所述步骤(2)中,地面站对视频数据进行视频跟踪,计算出飞行器的飞行控制量,具体包括以下步骤:
S1:获取视频数据后,地面站通过cvBlob算法检测飞行器的起落架上的指定颜色的灯在图像中的位置,从而计算出飞行器在图像中的实际位置;
S2:根据飞行器的飞行目标点,计算出飞行器在图像上的水平偏移量和垂直偏移量,接着根据飞行器在图像上的水平偏移量和垂直偏移量计算出飞行器的航向偏角;
S3:根据飞行器的实际大小、摄像头的视场角及焦距、飞行器在图像中的面积,计算得出飞行器的实际飞行高度;接着根据该飞行高度计算得出飞行器离目标点的真实水平距离及垂直距离;
S4:根据上述计算得到的飞行器的实际飞行高度、航向偏角、水平距离及垂直距离,地面站通过PID控制算法计算得到对飞行器的飞行控制量。
与现有技术相比,本发明的有益效果是:本发明基于视觉对目标进行跟踪,通过PID实现闭环控制,让无人机定位悬停,能够很好地解决GPS信号不稳定及精度的问题。
附图说明
图1是基于视觉的无人机定位系统的总体框图;
图2是基于视觉的无人机定位系统的视频跟踪控制过程示意图;
图3是基于视觉的无人机定位系统的图像坐标图。
具体实施方式
下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
请参阅图1~3,本发明实施例中,基于视觉的无人机定位系统,包括地面站、摄像头和飞行器;摄像头通过有线传输方式与地面站连接,将拍摄的飞行器的视频数据传送到地面站;根据接收到的飞行器的视频数据,地面站利用PID控制算法计算出飞行器的飞行控制量后,然后通过无线数据传输模块向飞行器发出控制信号,使其朝着目标点前行。飞行器为四旋翼飞行器,其起落架上安装有四个指定颜色的灯。
所述的基于视觉的无人机定位系统的工作流程如下:
(1)在飞行器的起落架上安装四个指定的颜色(红色)的灯,接着将摄像头安装在指定的地面标志物上,保持摄像头的镜头垂直向上;接着调整飞行器的航向,使其航向角与摄像头的垂直方向相同;
(2)当飞行器开始飞行时,利用摄像头拍摄飞行器的视频数据,接着通过有线传输方式将该视频数据传送到地面站;地面站对视频数据进行视频跟踪,计算出飞行器的飞行控制量;
其中,地面站对视频数据进行视频跟踪,计算出飞行器的飞行控制量,具体包括以下步骤:
S1:获取视频数据后,地面站通过cvBlob算法检测飞行器的起落架上的四个指定颜色的灯在图像中的位置,分别为(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3),则飞行器的位置(xc,yc)可以表示为:
(xc,yc)=(x0+x3,y0+y3)/2 ①
S2:假设飞行器悬停目标点的参考位置为原点(0,0),则飞行器在图像上的水平偏移量h_off和垂直偏移量v_off可表示为:
h_off=xc-0=xc ②
v_off=yc-0=yc ③
而飞行器的航向偏角θ可表示为:
θ=arctan[(y1-y0)/(x1-x0)] ④;
S3:根据飞行器的实际大小、摄像头的视场角及焦距、飞行器在图像中的面积,计算得出飞行器的实际飞行高度,飞行器的实际飞行高度h可表示为:
式⑤中S为飞行器实际大小,f为摄像头焦距,因为S与f为固定值,则为常数,而S为飞行器在图像中的面积。则飞行器离目标点的真实水平偏移距离H_OFF及垂直偏移距离V_OFF可表示为:
H_OFF=h_off*h/f ⑥
V_OFF=v_off*h/f ⑦
式⑥与式⑦中f为摄像头焦距;
S4:根据上述计算得到的飞行器的实际飞行高度h、航向偏角θ、水平距离H_OFF及垂直距离V_OFF,地面站通过PID控制算法计算得到对飞行器的飞行控制量,飞行器的飞行控制量包括油门控制量ctr_throttle、航向控制量ctr_yaw、横滚控制量ctr_roll及俯仰控制量ctr_pitch;
PID控制算法:
式⑧中p、i、d分别为比例、积分、差分系数;为误差量,即水平偏移距离H_OFF或垂直偏移距离V_OFF;为前一次的误差量,而则为最终输出的控制量。
(3)地面站通过无线数据传输模块把控制信号发送给飞行器,引导飞行器到达目标点,并在目标点悬停。
本发明基于视觉对目标进行跟踪,通过PID实现闭环控制,让无人机定位悬停,能够很好地解决GPS信号不稳定及精度的问题。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.基于视觉的无人机定位系统,其特征在于,包括地面站、摄像头和飞行器;摄像头通过有线传输方式与地面站连接,将拍摄的飞行器的视频数据传送到地面站;根据接收到的飞行器的视频数据,地面站利用PID控制算法计算出飞行器的飞行控制量后,然后通过无线数据传输模块向飞行器发出控制信号,使其朝着目标点前行。
2.根据权利要求1所述的基于视觉的无人机定位系统,其特征在于,所述飞行器的起落架上安装有指定颜色的灯,所述飞行器的航向角与摄像头的垂直方向一致。
3.根据权利要求2所述的基于视觉的无人机定位系统,其特征在于,所述飞行器为四旋翼飞行器,其起落架上安装有四个指定颜色的灯。
4.根据权利要求1-3任一所述的基于视觉的无人机定位系统,其特征在于,其工作流程如下:
(1)在飞行器的起落架上安装指定颜色的灯,接着将摄像头安装在指定的地面标志物上,保持摄像头的镜头垂直向上;接着调整飞行器的航向,使其航向角与摄像头的垂直方向相同;
(2)当飞行器开始飞行时,利用摄像头拍摄飞行器的视频数据,接着通过有线传输方式将该视频数据传送到地面站;地面站对视频数据进行视频跟踪,计算出飞行器的飞行控制量;
(3)地面站通过无线数据传输模块把控制信号发送给飞行器,引导飞行器到达目标点,并在目标点悬停。
5.根据权利要求4所述的基于视觉的无人机定位系统,其特征在于,所述步骤(2)中,地面站对视频数据进行视频跟踪,计算出飞行器的飞行控制量,具体包括以下步骤:
S1:获取视频数据后,地面站通过cvBlob算法检测飞行器的起落架上的指定颜色的灯在图像中的位置,从而计算出飞行器在图像中的实际位置;
S2:根据飞行器的飞行目标点,计算出飞行器在图像上的水平偏移量和垂直偏移量,接着根据飞行器在图像上的水平偏移量和垂直偏移量计算出飞行器的航向偏角;
S3:根据飞行器的实际大小、摄像头的视场角及焦距、飞行器在图像中的面积,计算得出飞行器的实际飞行高度;接着根据该飞行高度计算得出飞行器离目标点的真实水平距离及垂直距离;
S4:根据上述计算得到的飞行器的实际飞行高度、航向偏角、水平距离及垂直距离,地面站通过PID控制算法计算得到对飞行器的飞行控制量。
CN201510576817.8A 2015-09-12 2015-09-12 基于视觉的无人机定位系统 Pending CN107422743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510576817.8A CN107422743A (zh) 2015-09-12 2015-09-12 基于视觉的无人机定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510576817.8A CN107422743A (zh) 2015-09-12 2015-09-12 基于视觉的无人机定位系统

Publications (1)

Publication Number Publication Date
CN107422743A true CN107422743A (zh) 2017-12-01

Family

ID=60422019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510576817.8A Pending CN107422743A (zh) 2015-09-12 2015-09-12 基于视觉的无人机定位系统

Country Status (1)

Country Link
CN (1) CN107422743A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109131860A (zh) * 2018-09-18 2019-01-04 华北水利水电大学 基于视觉的植保无人机
CN109240346A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 用于跟踪目标对象的方法及装置
CN109240320A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 无人机控制方法及装置
CN109471450A (zh) * 2018-03-10 2019-03-15 刘惠敏 无人机飞行高度调节方法
CN109974660A (zh) * 2019-03-18 2019-07-05 南昌大学 基于无人机悬停视频测量无人机悬停精度的方法
CN110109469A (zh) * 2019-03-19 2019-08-09 南京理工大学泰州科技学院 一种具有颜色、识别、定位、跟踪功能的四旋翼无人机的控制系统
CN110989645A (zh) * 2019-12-02 2020-04-10 西安欧意特科技有限责任公司 一种基于复眼成像原理的目标空间姿态处理方法
CN110989646A (zh) * 2019-12-02 2020-04-10 西安欧意特科技有限责任公司 一种基于复眼成像原理的目标空间姿态处理系统
CN111178148A (zh) * 2019-12-06 2020-05-19 天津大学 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN112462797A (zh) * 2020-11-30 2021-03-09 深圳技术大学 一种利用灰色预测模型的视觉伺服控制方法及系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471450A (zh) * 2018-03-10 2019-03-15 刘惠敏 无人机飞行高度调节方法
CN109131860B (zh) * 2018-09-18 2024-01-23 华北水利水电大学 基于视觉的植保无人机
CN109131860A (zh) * 2018-09-18 2019-01-04 华北水利水电大学 基于视觉的植保无人机
CN109240346A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 用于跟踪目标对象的方法及装置
CN109240320A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 无人机控制方法及装置
CN109974660A (zh) * 2019-03-18 2019-07-05 南昌大学 基于无人机悬停视频测量无人机悬停精度的方法
CN110109469A (zh) * 2019-03-19 2019-08-09 南京理工大学泰州科技学院 一种具有颜色、识别、定位、跟踪功能的四旋翼无人机的控制系统
CN110989645A (zh) * 2019-12-02 2020-04-10 西安欧意特科技有限责任公司 一种基于复眼成像原理的目标空间姿态处理方法
CN110989645B (zh) * 2019-12-02 2023-05-12 西安欧意特科技有限责任公司 一种基于复眼成像原理的目标空间姿态处理方法
CN110989646A (zh) * 2019-12-02 2020-04-10 西安欧意特科技有限责任公司 一种基于复眼成像原理的目标空间姿态处理系统
CN111178148A (zh) * 2019-12-06 2020-05-19 天津大学 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN111178148B (zh) * 2019-12-06 2023-06-02 天津大学 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN112462797A (zh) * 2020-11-30 2021-03-09 深圳技术大学 一种利用灰色预测模型的视觉伺服控制方法及系统
CN112462797B (zh) * 2020-11-30 2023-03-07 深圳技术大学 一种利用灰色预测模型的视觉伺服控制方法及系统

Similar Documents

Publication Publication Date Title
CN107422743A (zh) 基于视觉的无人机定位系统
CN104215239B (zh) 基于视觉的无人机自主着陆导引装置实现的导引方法
CN106774386B (zh) 基于多尺度标识物的无人机视觉导航降落系统
CN109753076A (zh) 一种无人机视觉追踪实现方法
CN111199578B (zh) 基于视觉辅助激光雷达的无人机三维环境建模方法
CN109792951B (zh) 用于杂交水稻授粉的无人机航线校正系统及其校正方法
CN106197422A (zh) 一种基于二维标签的无人机定位及目标跟踪方法
US10703508B1 (en) Stereoscopic flight simulator with data acquisition
CN107390704B (zh) 一种基于imu姿态补偿的多旋翼无人机光流悬停方法
CN106155081B (zh) 一种旋翼无人机大范围目标监测和精确定位方法
CN108965651A (zh) 一种无人机高度测量方法以及无人机
CN104061904B (zh) 一种确定林窗形状和面积的方法
CN105182992A (zh) 无人机的控制方法、装置
CN105335733A (zh) 一种无人机自主着陆视觉定位方法及系统
CN102190081B (zh) 基于视觉的飞艇定点鲁棒控制方法
CN203825466U (zh) 一种基于机载传感器的小型四旋翼飞行器控制系统
CN104102218A (zh) 基于视觉伺服的感知与规避方法及系统
CN104897159B (zh) 基于序列图像匹配的飞行器全程导航方法
CN107831776A (zh) 基于九轴惯性传感器的无人机自主返航方法
CN106500699B (zh) 一种适用于无人机室内自主降落的位姿估计方法
CN108733064A (zh) 一种无人机的视觉定位避障系统及其方法
CN111273679A (zh) 一种视觉引导的小型固定翼无人机撞网回收纵向制导方法
CN109839945A (zh) 无人机降落方法、无人机降落装置及计算机可读存储介质
CN112009708B (zh) 一种固定翼无人机、单镜头倾斜摄影系统及方法
CN105352513A (zh) 一种用于合成视景系统绘制机场标号的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171201

WD01 Invention patent application deemed withdrawn after publication