CN108873944B - 超低空自适应定高飞行控制方法 - Google Patents

超低空自适应定高飞行控制方法 Download PDF

Info

Publication number
CN108873944B
CN108873944B CN201811085152.0A CN201811085152A CN108873944B CN 108873944 B CN108873944 B CN 108873944B CN 201811085152 A CN201811085152 A CN 201811085152A CN 108873944 B CN108873944 B CN 108873944B
Authority
CN
China
Prior art keywords
height
image
aerial vehicle
unmanned aerial
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811085152.0A
Other languages
English (en)
Other versions
CN108873944A (zh
Inventor
马子领
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Water Resources and Electric Power
Original Assignee
North China University of Water Resources and Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Water Resources and Electric Power filed Critical North China University of Water Resources and Electric Power
Priority to CN201811085152.0A priority Critical patent/CN108873944B/zh
Publication of CN108873944A publication Critical patent/CN108873944A/zh
Application granted granted Critical
Publication of CN108873944B publication Critical patent/CN108873944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12Target-seeking control

Abstract

本发明公开了一种超低空自适应定高飞行控制方法,在无人机出厂前,预先建立一个光斑图像坐标的y值与无人机实际飞行高度一一对应的高度数据表;第一步骤是起飞步骤;第二步骤是持续判断高度步骤;具体是每间隔0.05秒,进行一次判断无人机飞行高度的操作;第三步骤是控制高度步骤;根据无人机的实时飞行高度,对无人机进行控制,将无人机的飞行高度控制在H1至H2米。使用者仅需要控制无人机正常起飞,无人机即可自动将飞行高度控制在预定范围内,使用非常方便,为方便且稳定地实现向农作物定高喷雾提供了基础。使用高度数据表直接查询得到无人机的实时高度值,相比通过计算得到无人机的实时高度值,大大减少了运算量,提高了计算速度,降低了功耗。

Description

超低空自适应定高飞行控制方法
技术领域
本发明涉及农业植保领域,尤其涉及植保无人机喷洒农药技术。
背景技术
随着我国农村劳动力的短缺、人工成本急速增加和快速发展的专业化统防统治工作的需求,社会对作业效率高、适用范围广、节水、节药环保型、用工少的大中型植保机械和农业航空植保机械的需求越来越迫切。植保无人机因具有机动性好、作业效率高、单位面积施药液量小、无需专用起降机场、可远距离摇控操作、减少人身药害几率、提高农药有效利用率等优点,可适应农作物各个生长期的植保要求,符合农业机械发展的趋势。
无人机技术用于农田喷雾产生了植保无人机所特有的技术难点,目前亟需解决的核心关键技术之一是:缺乏高稳定、高可靠性的农用无人机自主飞行控制系统。植保无人机需要在距离作物冠顶2~5 m处甚至更低的高度处作业,速度维持在1~6 m/s,要求保持低空低速作业时的稳定性。然而2~5 m或以下高度是直升机的低效区,其稳定性不易实现。
无人机高度测量的精度和稳定性是实现无人机稳定飞行的基础数据之一。目前的无人机飞行控制系统高度测量方法有:GPS测量高度,无线电高度表测量,还有使用压力传感器测量高度。由于GPS接收数据的不稳定性,受外界干扰较大,例如周围建筑高度,地形因素等,接收到的卫星数据经常变化,将会导致高度测量跳变剧烈,需要经过大量的数据处理才能尽量减小误差,并且稳定性仍不尽人意,且其成本较高,体积较大,并不适合应用于小型农用无人机定高飞行。无线电高度表测量精度可满足飞行需求,但使用相对复杂,需要在无人机及地面站上均添加天线,并且其成本相对过高,不适于小型农用无人机。压力传感器克服了 GPS的很多缺点,精度、 成本和体积等方面都有所优化,同时还有易于使用的优点,但易受天气变化影响,尤其在微小型农用无人机方面,低空飞行时,由于农田作物冠层结构而造成的复杂地效,对气压高度计的影响很大,飞行的稳定性难以保证。
为解决复杂农田环境下(海拔不同、地理位置不同、作物种类不同)作业的微小型农用无人机的高稳定、高可靠性的自主飞行控制,以适应田间超视距、超低空、随时起降等特殊要求,本发明提出了一种基于视觉的自适应定高飞行控制技术,以六旋翼无人机为平台,通过搭载视觉测高系统,获取无人机实时高度值,并用于实时控制无人机定高飞行,保障无人机在飞行作业时与作物冠顶或地面的高度始终保持一致,实现良好作业效果。
发明内容
本发明的目的在于提供一种超低空自适应定高飞行控制方法,通过图像识别获取无人机的实时高度,将实时高度与预定飞行高度对比后相应调节无人机的飞行高度。
为实现上述目的,本发明的超低空自适应定高飞行控制方法通过基于视觉的植保无人机来进行;
在无人机出厂前,进行建表步骤,即预先建立一个光斑图像坐标的y值与无人机实际飞行高度一一对应的高度数据表;光斑是指激光照射在作物冠顶或地面上所形成的亮度较高的斑点;高度数据表中具有多组光斑图像坐标,多组光斑图像坐标中的参数y具有m个,m为自然数;
超低空自适应定高飞行控制方法按以下步骤进行:
第一步骤是起飞步骤;飞行控制器接收遥控器的指令,控制各电机带动螺旋桨旋转从而起飞;地面操作人员通过遥控器以目测的方式将无人机的飞行高度控制在H1至H2米,然后操作人员停止目测无人机的飞行高度;
第二步骤是持续判断高度步骤;具体是每间隔0.05秒,进行一次判断无人机飞行高度的操作;
第三步骤是控制高度步骤;将无人机的飞行高度控制在H1至H2米;
所述基于视觉的植保无人机包括水平设置的圆盘状的壳体,壳体在其圆周方向上均匀铰接有若干悬臂,悬臂的另一端为自由端;各悬臂均沿壳体的径向方向设置且各悬臂的自由端均高于铰接端;
壳体前后两侧分别向下设有前起落架和后起落架,壳体上表面向上连接有顶杆,顶杆顶端设有GPS模块;所述壳体内设有飞行控制器和与飞行控制器相连接并为飞行控制器供电的蓄电池,所述各悬臂的自由端均设有电机,电机的输出轴均向上连接有螺旋桨;
前起落架和后起落架之间的壳体下表面向下连接有水平设置的悬架,悬架左端设有激光发射器,激光发射器发射激光的方向垂直于悬架并朝向下方;悬架右端设有摄像头,摄像头向左向下倾斜设置;激光发射器发射的激光束的直径R为10至15毫米;
无人机的预定飞行高度为H1至H2米,H2>H1,摄像头的镜头光轴与激光发射器发射的激光所在直线具有交点,该交点低于激光发射器H1至(H1+H2)/2米,摄像头的镜头光轴与水平面的夹角θ为50至75度,无人机具有与飞行控制器无线通讯的遥控器;
所述悬架中部设有miniPC,miniPC与飞行控制器、摄像头和激光发射器相连接。
建表步骤的具体操作是:
摄像头所拍摄照片图像的宽为x0像素,高为y0像素,x0和y0均为整数;以照片图像的左上角为图像坐标的原点,以图像坐标的原点向右的水平线为图像坐标的X轴,以图像坐标的原点竖直向下的竖线为图像坐标的Y轴,从而建立照片图像的坐标系;
由于摄像头的镜头光轴与激光发射器发射的激光所在直线具有交点,因此在照片图像上具有光斑的前提下,激光发射器发射的激光所形成的光斑必然位于图像坐标中x=x0/2所在的竖向直线上;
激光发射器发射的激光所形成的光斑的图像坐标为光斑区域的中心处的图像坐标;
在无人机高度为零时拍摄照片图像,此时光斑的图像坐标的y值与0米高度相对应并形成一组图像坐标与实际飞行高度的对应数组,将该对应数组存储在miniPC中的高度数据表中;该对应数组中光斑的图像坐标的参数y的序号为1;
操作无人机垂直向上飞起,无人机每上升5厘米悬停一次,光斑的图像坐标的参数y的序号加1,进行一次获取对应数组的操作,直到无人机累计上升的距离达到5米;
获取对应数组的操作是摄像头进行拍摄,将得到的照片图像中光斑的图像坐标的y值与拍摄时无人机的实际高度作为一组图像坐标与实际飞行高度的对应数组,将该对应数组存储在miniPC中;
无人机累计上升的距离达到5米后完成第一步骤,即完成建立光斑图像坐标与无人机实际飞行高度一一对应的高度数据表的操作;最后一次获取对应数组的操作中,光斑的图像坐标的参数y的序号为m。
所述第二步骤中判断无人机飞行高度的操作具体是:
摄像头进行一次拍摄,将照片图像传送至miniPC;miniPC在照片图像上获取感兴趣区域的图像;感兴趣区域的图像中的坐标系沿用照片图像中的坐标系;
感兴趣区域的竖向中心线与照片图像的竖向中心线相重合;感兴趣区域宽为L1像素,感兴趣区域高度与照片图像高度相同均为y0像素;L1是激光发射器发射的激光束的直径R的1.5±0.3倍,L1取为整数;
miniPC调用激光斑点坐标定位算法函数对感兴趣区域的图像进行处理,获得当前光斑图像坐标的y值,该y值为yd,将yd与高度数据表中各图像坐标的y值依次进行比较,将高度数据表中与yd的差的绝对值最小的参数y的值所对应的高度值作为当前无人机的高度值,完成一次判断无人机飞行高度的操作。
miniPC调用激光斑点坐标定位算法函数对感兴趣区域的图像进行处理前,对感兴趣区域的图像进行预处理;
对感兴趣区域的图像进行预处理的操作具体是:对感兴趣区域的图像进行中值滤波、二值化和形态学滤波;
miniPC调用激光斑点坐标定位算法函数对感兴趣区域的图像进行处理的具体操作是:
第一子步骤是在感兴趣区域的图像顶端建立矩形的搜索框,搜索框与感兴趣区域的图像同宽,通过照片图像测量3至10个不同位置处的光斑的直径,求出各光斑的平均直径为L2像素,将搜索框的高设置为L2像素;建立矩形的搜索框时的同时建立指代搜索框位置的变量i,i的初值为1;搜索框的竖向中心线与感兴趣区域的图像的竖向中心线相重合;以搜索框中心点的图像坐标为该搜索框的图像坐标;
第二子步骤是计算搜索框内部各像素点的像素值总和SUM,得到搜索框第i位置时的像素值总和SUMi,同时记录搜索框位于第i位置时的该搜索框的图像坐标值;
第三子步骤是:L2/3的整数部分数字为N,N为正整数,将搜索框向下移动N个像素,i值加1;
第四子步骤是计算搜索框内部各像素点的像素值总和SUM,得到搜索框第i位置时的像素值总和SUMi,同时记录搜索框位于第i位置时的该搜索框的图像坐标值;
第五子步骤是第一判断步骤,判断sumi/sum(i-1)是否大于3;如果否,则跳转重新执行第三子步骤;如果是,则进行第六子步骤;
第六子步骤是将搜索框向下移动1个像素,i值加1,然后进行第七子步骤;
第七子步骤是计算搜索框内部各像素点的像素值总和SUM,得到搜索框第i位置时的像素值总和SUMi,同时记录搜索框位于第i位置时的该搜索框的图像坐标值;
第八子步骤是第二判断步骤,判断sumi是否小于sum(i-1),如果否,则跳转重新执行第六子步骤;如果是,则将位置参数为(i-1)的搜索框的图像坐标值作为光斑的图像坐标值,即激光斑点坐标定位算法函数的返回值。
第三步骤的具体操作是:
当无人机的飞行高度低于H1米时,miniPC向飞行控制器发出指令,飞行控制器升高螺旋桨的转速,从而提升无人机的高度;
当无人机的飞行高度大于等于H1米并小于等于H2米时,保持螺旋桨原有转速不变;
当无人机的飞行高度大于H2米时,miniPC向飞行控制器发出指令,飞行控制器降低螺旋桨的转速,从而降低无人机的高度。
本发明具有如下的优点:
使用者仅需要控制基于视觉的植保无人机正常起飞,无人机即可自动将飞行高度控制在预定范围(H1至H2米,包括两端值)内,使得本发明使用起来非常方便,为方便且稳定地实现向农作物定高喷雾提供了基础。
本发明的超低空自适应定高飞行控制方法使用高度数据表直接查询得到无人机的实时高度值,这样相比每次通过计算得到无人机的实时高度值,大大减少了运算量,提高了计算速度(无人机对实时性要求很高,因此算法处理速度快是重要条件),降低了功耗(计算量较大时miniPC的CPU的功耗也较大)。
高度数据表的建立过程较为方便,间隔5厘米的高度建立一组图像坐标与实际飞行高度的对应数组,在减少建表工作量并减少高度数据表的数据与较为精确地得到无人机实时高度两种目标之间取得了平衡,实现了高度数据表中数据量较小且能够较为精确地得到无人机实时高度的兼顾效果。
本发明的应用场合是无人机超低空飞行,无人机累计上升的距离达到5米后完成第一步骤即建表步骤,是因为本发明会将无人机的飞行高度控制在远低于5米的范围内,因此无须考虑无人机飞行高度过高的情况。
在照片图像上获取感兴趣区域图像,可以将计算集中在照片图像有效的中间部分,减少计算量,提高计算速度,更快地获得无人机的实时飞行高度。
激光斑点坐标定位算法函数对感兴趣区域的图像进行处理的具体操作非常简洁,能够迅速而准确地获得光斑的图像坐标值。
由于图像进行了中值滤波、二值化和形态学滤波,因此图像上基本上仅剩下光斑图像,光斑以外的图像区域的像素点的像素值基本为零,光斑以内的图像区域的像素点的像素值基本为255。中值滤波、二值化以及形态学滤波均为现有常规图片处理技术,具体不再详述。因此在搜索框未遇到光斑时,sumi基本为零,搜索框刚遇到光斑时,sumi会突增数倍,至少3倍以上,因此第一判断步骤能够判断出搜索框是否遇到了光斑。如果遇到了,就进行精细化的搜索,以一个像素为步长来移动搜索框,这样得到的光斑坐标就会非常准确。光斑平均直径为L2像素,在搜索框遇到光斑之前,以三分之一L2像素为移动搜索框的步长,这样,在保证搜索框不会错过光斑的同时,加快了搜索速度。
对感兴趣区域的图像进行预处理,中值滤波法是一种非线性平滑技术,它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术,中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替,让周围的像素值接近真实值,从而消除孤立的噪声点。方法是用某种结构的二维滑动模板,将板内像素按照像素值的大小进行排序,生成单调上升(或下降)的为二维数据序列。二维中值滤波输出为g(x,y)=med{f(x-k,y-l),(k,l∈W)} ,其中,f(x,y),g(x,y)分别为原始图像和处理后图像。W为二维模板,通常为3*3,5*5区域,也可以是不同的的形状,如线状,圆形,十字形,圆环形等。中值滤波也为现有成熟技术,使用时直接调用,输入要处理的图像和模板参数即可。图像的二值化,就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的只有黑和白的视觉效果。二值化是图像分割的一种最简单的方法。二值化可以把灰度图像转换成二值图像。把大于某个临界灰度值的像素灰度设为灰度极大值,把小于这个值的像素灰度设为灰度极小值,从而实现二值化。根据阈值选取的不同,二值化的算法分为固定阈值和自适应阈值。本发明采用的是固定阈值。
形态学滤波运算是针对二值图像依据数学形态学的集合论方法发展起来的图像处理方法。通常,形态学图像处理表现为一种邻域运算形式,一种特殊定义的领域称之为“结构元素”,在每个像素位置它与二值图像对应的区域进行特定的逻辑运算,逻辑运算的结果为输出图像的响应像素。简单来讲,形态学操作就是基于形状的一系列图像处理操作,通过将结构元素作用于输入图像来产生输出图像。
最基本的形态学操作有:腐蚀与膨胀。广泛应用于:消除噪声、分割独立的图像元素以及连接相邻的元素和寻找图像中的明显的极大值区域或极小值区域。形态学运算在本发明中用于消除小的区域,突出要检测的目标区域,即激光光斑图像。
本发明的基于视觉的植保无人机结构简单,摄像头的镜头光轴与水平面的夹角θ为50至75度,且该交点低于激光发射器1至1.5米,这样的设置,便于摄像头拍摄该交点附近的图像,且图像变形较小,有利于后续的图像识别处理。如果θ过大或过小,都会导致测量高度在图像里面所占有的像素数过少,从而降低测量精度。
摄像头的镜头光轴与激光发射器发射的激光所在直线具有交点,这保证了激光发射器所形成的光斑必然位于摄像头所拍摄的照片图像的竖向中心线上。
miniPC重量较大,安装在悬架中部,能够尽可能保持无人机的整体重心位于无人机的几何结构中心。前起落架和后起落架结构简单,较为轻便,便于制造和安装使用。
摄像头的镜头光轴与激光发射器发射的激光所在直线的交点低于激光发射器(H1+H2)/2米。这样的设置,可以保证当无人机飞行高度正好适中时,摄像头所拍摄的照片中光斑位于图像的正中位置。
附图说明
图1是本发明中超低空自适应定高飞行控制方法的总流程示意图;
图2是激光斑点坐标定位算法函数对感兴趣区域的图像进行处理的流程示意图;
图3是控制高度步骤的流程示意图;
图4是将图像坐标系上测量的无人机高度值y转换为实际高度值的转换原理示意图;
图5是本发明中基于视觉的植保无人机的结构示意图;
图6是图5的左视图。
具体实施方式
本发明公开了一种超低空自适应定高飞行控制方法,通过基于视觉的植保无人机来进行。如图1至图6所示,本发明的基于视觉的植保无人机包括水平设置的圆盘状的壳体1,壳体1在其圆周方向上均匀铰接有若干悬臂2,悬臂2的另一端为自由端;各悬臂2均沿壳体1的径向方向设置且各悬臂2的自由端均高于铰接端;
壳体1前后两侧分别向下设有前起落架3和后起落架4,壳体1上表面向上连接有顶杆5,顶杆5顶端设有GPS模块6;所述壳体1内设有飞行控制器和与飞行控制器相连接并为飞行控制器供电的蓄电池,所述各悬臂2的自由端均设有电机7,电机7的输出轴均向上连接有螺旋桨;GPS模块6设置在顶杆5顶端,使得GPS模块6受其他部件的干扰最小,能够更好地实现卫星通讯,更准确地获取无人机的实时位置。飞行控制器、蓄电池和螺旋桨均为现有装置,图未示。飞行控制器优选采用大疆创新科技有限公司的A3型产品。
前起落架3和后起落架4之间的壳体1下表面向下连接有水平设置的悬架8,悬架8左端设有激光发射器9,激光发射器9发射激光的方向垂直于悬架8并朝向下方;悬架8右端设有摄像头10,摄像头10向左向下倾斜设置;激光发射器9发射的激光束的直径R为10至15毫米(本发明中的数值范围均包含两端值);摄像头10可以是黑白摄像头,也可以是彩色摄像头;在采用彩色摄像头时,需要先对照片图像进行灰度化。
无人机的预定飞行高度为H1至H2米(包括两端值),H2>H1,摄像头10的镜头光轴11与激光发射器9发射的激光所在直线12具有交点13,该交点13低于激光发射器9的距离为H1至(H1+H2)/2米,摄像头10的镜头光轴11与水平面的夹角θ为50至75度,无人机具有与飞行控制器无线通讯的遥控器;H1的优选值为1米,H2的优选值为2米。
摄像头10的镜头光轴11与水平面的夹角θ为50至75度,且该交点低于激光发射器9的优选距离为1至1.5米,这样的设置,便于摄像头10拍摄该交点附近的图像,且图像变形较小,有利于后续的图像识别处理。如果θ过大或过小,都会导致测量高度在图像里面所占有的像素数过少,从而降低测量精度。
摄像头10的镜头光轴11与激光发射器9发射的激光所在直线具有交点,这保证了激光发射器9所形成的光斑必然位于摄像头10所拍摄的照片图像的竖向中心线上。
所述悬架8中部设有miniPC,miniPC与飞行控制器、摄像头10和激光发射器9相连接;miniPC采用英特尔公司生产的Intel NUC7i3BNH型产品。miniPC重量较大,安装在悬架8中部,能够尽可能保持无人机的整体重心位于无人机的几何结构中心。其中,激光发射器9既可以与miniPC相连接并受miniPC的控制,也可以直接连接蓄电池,只要无人机一开机就向下发射激光。
所述顶杆5与壳体1上表面相铰接,壳体1上表面设有通孔,GPS模块6的连接线路沿顶杆5向下延伸、沿通孔伸入壳体1内后与飞行控制器相连接;所述激光发射器9和摄像头10的连接线路分别与飞行控制器相连接。顶杆5与壳体1上表面相铰接,搬运时可以放倒,减小占用空间,使用时再竖起来。顶杆5与壳体1之间具有较大的摩擦力,因而在不受外力作用的情况下,顶杆5不会自行放倒。
前起落架3和后起落架4结构对称设置并均包括斜支撑杆14和水平支撑杆15,斜支撑杆14下端与水平支撑杆15的中部固定连接,斜支撑杆14的上端与壳体1相连接。水平支撑杆15用于将整个无人机支撑在固定结构上,如支撑在地面上。
所述摄像头10的镜头光轴11与激光发射器9发射的激光所在直线的交点13低于激光发射器(H1+H2)/2米。这样的设置,可以保证当无人机飞行高度正好适中时,摄像头10所拍摄的照片中光斑位于图像的正中位置。
本发明的超低空自适应定高飞行控制方法中,在无人机出厂前,进行建表步骤,即预先建立一个光斑图像坐标的y值与无人机实际飞行高度一一对应的高度数据表;光斑是指激光照射在作物冠顶或地面上所形成的亮度较高的斑点;高度数据表中具有多组光斑图像坐标,多组光斑图像坐标中的参数y具有m个,m为自然数;
超低空自适应定高飞行控制方法按以下步骤进行:
第一步骤是起飞步骤;飞行控制器接收遥控器的指令,控制各电机7带动螺旋桨旋转从而起飞;地面操作人员通过遥控器以目测的方式将无人机的飞行高度控制在H1至H2(如1至2米)米,然后操作人员停止目测无人机的飞行高度;
第二步骤是持续判断高度步骤;具体是每间隔0.05秒,进行一次判断无人机飞行高度的操作;
第三步骤是控制高度步骤;将无人机的飞行高度控制在H1至H2米。
建表步骤的具体操作是:
摄像头10所拍摄照片图像的宽为x0像素,高为y0像素,x0和y0均为整数;以照片图像的左上角为图像坐标的原点,以图像坐标的原点向右(右侧坐标x值为正值)的水平线为图像坐标的X轴,以图像坐标的原点竖直向下(原点下方坐标y值为正值)的竖线为图像坐标的Y轴,从而建立照片图像的坐标系;
由于摄像头10的镜头光轴11与激光发射器9发射的激光所在直线具有交点,因此在照片图像上具有光斑的前提下,激光发射器9发射的激光所形成的光斑必然位于图像坐标中x= x0/2所在的竖向直线上;
激光发射器9发射的激光所形成的光斑的图像坐标为光斑区域的中心处的图像坐标(即光斑中心点的图像坐标);
在无人机高度为零时拍摄照片图像,此时光斑的图像坐标的y值与0米高度相对应并形成一组图像坐标与实际飞行高度的对应数组,将该对应数组存储在miniPC中的高度数据表中;该对应数组中光斑的图像坐标的参数y的序号为1;
操作无人机垂直向上飞起,无人机每上升5厘米悬停一次,光斑的图像坐标的参数y的序号加1,进行一次获取对应数组的操作,直到无人机累计上升的距离达到5米;
获取对应数组的操作是摄像头10进行拍摄,将得到的照片图像中光斑的图像坐标(单位为像素)的y值与拍摄时无人机的实际高度作为一组图像坐标与实际飞行高度(单位为米)的对应数组,将该对应数组存储在miniPC中;
该方法所用摄像头参数与后文推导公式(参见下文关于图4所展示的转换过程的叙述)所用参数相同。
获取数组有两种方法,一是根据下文公式和实际高度值算图像坐标y值,找对应数组(参见下文关于图4所展示的转换过程的叙述);二是对某一实际高度,在图像处理后搜索求得y值,也能建立对应数组。
无人机累计上升的距离达到5米后完成第一步骤,即完成建立光斑图像坐标与无人机实际飞行高度一一对应的高度数据表的操作;最后一次获取对应数组的操作中,光斑的图像坐标的参数y的序号为m。
所述第二步骤中判断无人机飞行高度的操作具体是:
摄像头10进行一次拍摄,将照片图像传送至miniPC;miniPC在照片图像上获取感兴趣区域的图像;感兴趣区域的图像中的坐标系沿用照片图像中的坐标系;
感兴趣区域的竖向中心线与照片图像的竖向中心线相重合;感兴趣区域宽为L1像素,感兴趣区域高度与照片图像高度相同均为y0像素;L1是激光发射器9发射的激光束的直径R的1.5±0.3倍,L1取为整数;这样可以避免感兴趣区域宽度过窄以及拍照片时机身抖动等因素造成感兴趣区域未将光斑包括进去的现象,同时不过多增大感兴趣区域的面积,从而不过多增加计算像素值总和时的运算量。
miniPC调用激光斑点坐标定位算法函数对感兴趣区域的图像进行处理,获得当前光斑图像坐标的y值,该y值为yd,将yd与高度数据表中各图像坐标的y值依次进行比较,将高度数据表中与yd的差的绝对值最小的参数y的值所对应的高度值作为当前无人机的高度值,完成一次判断无人机飞行高度的操作。
miniPC调用激光斑点坐标定位算法函数对感兴趣区域的图像进行处理的具体操作是:
第一子步骤是在感兴趣区域的图像顶端建立矩形的搜索框,搜索框与感兴趣区域的图像同宽,通过照片图像测量3至10个不同位置处的光斑的直径,求出各光斑的平均直径为L2像素,将搜索框的高设置为L2像素;建立矩形的搜索框时的同时建立指代搜索框位置的变量i,i的初值为1;搜索框的竖向中心线与感兴趣区域的图像的竖向中心线相重合;以搜索框中心点的图像坐标为该搜索框的图像坐标;
第二子步骤是计算搜索框内部各像素点的像素值总和SUM,得到搜索框第i位置时的像素值总和SUMi,同时记录搜索框位于第i位置时的该搜索框的图像坐标值;像素点的像素值的取值范围通常是0至255,0代表黑色,255代表白色,像素值越大,该像素点越亮;光斑处的像素值必然高于图像上其他区域的像素值。
第三子步骤是:L2/3的整数部分数字为N,N为正整数,将搜索框向下移动N个像素,i值加1;
第四子步骤是计算搜索框内部各像素点的像素值总和SUM,得到搜索框第i位置时的像素值总和SUMi,同时记录搜索框位于第i位置时的该搜索框的图像坐标值;
第五子步骤是第一判断步骤,判断sumi/sum(i-1)是否大于3;如果否,则跳转重新执行第三子步骤;如果是,则进行第六子步骤;由于图像进行了中值滤波、二值化和形态学滤波,因此图像上基本上仅剩下光斑图像,光斑以外的图像区域的像素点的像素值基本为零,光斑以内的图像区域的像素点的像素值基本为255。中值滤波、二值化以及形态学滤波均为现有常规图片处理技术,具体不再详述。因此在搜索框未遇到光斑时,sumi基本为零,搜索框刚遇到光斑时,sumi会突增数倍,至少3倍以上,因此第一判断步骤能够判断出搜索框是否遇到了光斑。如果遇到了,就进行精细化的搜索,以一个像素为步长来移动搜索框,这样得到的光斑坐标就会非常准确。光斑平均直径为L2像素,在搜索框遇到光斑之前,以三分之一L2像素为移动搜索框的步长,这样,在保证搜索框不会错过光斑的同时,加快了搜索速度。
第六子步骤是将搜索框向下移动1个像素,i值加1,然后进行第七子步骤;
第七子步骤是计算搜索框内部各像素点的像素值总和SUM,得到搜索框第i位置时的像素值总和SUMi,同时记录搜索框位于第i位置时的该搜索框的图像坐标值;
第八子步骤是第二判断步骤,判断sumi是否小于sum(i-1),如果否,则跳转重新执行第六子步骤;如果是,则将位置参数为(i-1)的搜索框的图像坐标值作为光斑的图像坐标值,即激光斑点坐标定位算法函数的返回值。
miniPC调用激光斑点坐标定位算法函数对感兴趣区域的图像进行处理前,对感兴趣区域的图像进行预处理;
对感兴趣区域的图像进行预处理的操作具体是:对感兴趣区域的图像进行中值滤波、二值化和形态学滤波。
第三步骤的具体操作是:
当无人机的飞行高度低于H1米时,miniPC向飞行控制器发出指令,飞行控制器升高螺旋桨的转速,从而提升无人机的高度;
当无人机的飞行高度大于等于H1米并小于等于H2米时,保持螺旋桨原有转速不变;
当无人机的飞行高度大于H2米时,miniPC向飞行控制器发出指令,飞行控制器降低螺旋桨的转速,从而降低无人机的高度。
本发明使用高度数据表直接查询得到无人机的实时高度值,这样相比每次通过计算得到无人机的实时高度值,大大减少了运算量,提高了计算速度,降低了功耗(计算量较大时miniPC的CPU的功耗也较大)。
当然,除了查询高度数据表获得无人机的实时高度值外,也可以通过以下计算方法来获得无人机的实时高度值:
首先还是miniPC调用激光斑点坐标定位算法函数对感兴趣区域的图像进行处理,获得当前光斑图像坐标的y值。
在无人机测高过程中,为便于计算,首先在图像上设置一个参考点,这个参考点对应着实际的标准高度,如标准高度值是1.5m(无人机的预定飞行高度为1至2米),这个参考点设置在图像的中心位置。由于图像中心位置是摄像头10的镜头光轴11成像的位置,因此也就确定了摄像头10的镜头光轴11与水平面间的夹角θ的值。也就是说图像中心点(x0/2,y0/2,x0和y0分别是从摄像头10读取的每一帧图像的宽和高)对应着实际高度1.5m,由于只考虑y方向的数值,所以也可说y0/2对应着1.5m。通过光学知识,预先计算好1m、2m时,光斑在图像上对应的位置y1,y2。根据图像坐标系建立的设定,y轴正向向下,因此沿着y轴方向,按照数值从小到大的顺序依次是参考零点、y1、y0/2、y2。参考零点指激光发射器9所成的像在图像坐标系中的坐标位置。
无人机高度调整策略为:在无人机飞行遇到凸起的地面或作物冠顶变高时,激光光斑与无人机之间的距离变近,当该距离小于1m时,为了保证无人机与地面或作物冠顶之间的距离始终保持在1-2m之间,这时应让无人机向上调整;在无人机飞行遇到下凹的地面或作物冠顶变低时,激光光斑与无人机之间的距离变远,当该距离大于2m时,为了保证无人机与地面或作物冠顶之间的距离始终保持在1-2m之间,这时应让无人机向下调整。
为了实现上述无人机高度调整策略,当miniPC调用激光斑点坐标定位算法函数对感兴趣区域的图像进行处理,获得当前光斑图像坐标的y值后,用y与 y1和y2进行比较,当y<y1时,说明此时无人机的高度低于了1m,此时就向无人机发送高度拉升指令让无人机高度调整到1m以上;当y>y2时,说明此时无人机的高度超过了2m,此时就向无人机发送高度降低指令让无人机高度调整到2m以下;当y1<y<y2时,说明无人机在1-2m之间,不对无人机的高度进行调整;在无人机因低于或高于1-2m这一范围时,无人机会进行拉升或降低高度操作,在这个过程中,当y-y0/2<ε时(ε是一个接近0的误差值),说明无人机的高度已调整到1.5m高度的位置,此时向无人机发送停止高度拉升或降低指令,以保证无人机尽可能稳定在1.5m高度处飞行。
为了实时反映无人机的实际高度值,需要将图像坐标系上测量的无人机高度值y转换为实际高度值,该转换过程如图4所示。
图4中
Figure 739315DEST_PATH_IMAGE001
其中各字母或符号的含义如下所示。
h:无人机在无人机机体坐标系中的实际高度,单位:米;
y:激光光斑在图像坐标系中的坐标值;
θ:摄像头的镜头光轴11与水平面的夹角;
f:摄像头10的焦距;
d:摄像头10到激光发射器9的水平距离,该数据是结构设计值。
根据公式
Figure 328560DEST_PATH_IMAGE002
可以直接求解获得实际高度1m和2m对应的图像坐标上的值为y1和y2。
以上实施例仅用以说明而非限制本发明的技术方案,尽管参照上述实施例对本发明进行了详细说明,本领域的普通技术人员应当理解:依然可以对本发明进行修改或者等同替换,而不脱离本发明的精神和范围的任何修改或局部替换,其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.超低空自适应定高飞行控制方法,其特征在于:通过基于视觉的植保无人机来进行;
在无人机出厂前,进行建表步骤,即预先建立一个光斑图像坐标的y值与无人机实际飞行高度一一对应的高度数据表;光斑是指激光照射在作物冠顶或地面上所形成的亮度较高的斑点;高度数据表中具有多组光斑图像坐标,多组光斑图像坐标中的参数y具有m个,m为自然数;
超低空自适应定高飞行控制方法按以下步骤进行:
第一步骤是起飞步骤;飞行控制器接收遥控器的指令,控制各电机带动螺旋桨旋转从而起飞;地面操作人员通过遥控器以目测的方式将无人机的飞行高度控制在H1至H2米,然后操作人员停止目测无人机的飞行高度;
第二步骤是持续判断高度步骤;具体是每间隔0.05秒,进行一次判断无人机飞行高度的操作;
第三步骤是控制高度步骤;将无人机的飞行高度控制在H1至H2米;
所述基于视觉的植保无人机包括水平设置的圆盘状的壳体,壳体在其圆周方向上均匀铰接有若干悬臂,悬臂的另一端为自由端;各悬臂均沿壳体的径向方向设置且各悬臂的自由端均高于铰接端;
壳体前后两侧分别向下设有前起落架和后起落架,壳体上表面向上连接有顶杆,顶杆顶端设有GPS模块;所述壳体内设有飞行控制器和与飞行控制器相连接并为飞行控制器供电的蓄电池,所述各悬臂的自由端均设有电机,电机的输出轴均向上连接有螺旋桨;
前起落架和后起落架之间的壳体下表面向下连接有水平设置的悬架,悬架左端设有激光发射器,激光发射器发射激光的方向垂直于悬架并朝向下方;悬架右端设有摄像头,摄像头向左向下倾斜设置;激光发射器发射的激光束的直径R为10至15毫米;
无人机的预定飞行高度为H1至H2米,H2>H1,摄像头的镜头光轴与激光发射器发射的激光所在直线具有交点,该交点低于激光发射器H1至(H1+H2)/2米,摄像头的镜头光轴与水平面的夹角θ为50至75度,无人机具有与飞行控制器无线通讯的遥控器;
所述悬架中部设有miniPC,miniPC与飞行控制器、摄像头和激光发射器相连接;
建表步骤的具体操作是:
摄像头所拍摄照片图像的宽为x0像素,高为y0像素,x0和y0均为整数;以照片图像的左上角为图像坐标的原点,以图像坐标的原点向右的水平线为图像坐标的X轴,以图像坐标的原点竖直向下的竖线为图像坐标的Y轴,从而建立照片图像的坐标系;
由于摄像头的镜头光轴与激光发射器发射的激光所在直线具有交点,因此在照片图像上具有光斑的前提下,激光发射器发射的激光所形成的光斑必然位于图像坐标中x= x0/2所在的竖向直线上;
激光发射器发射的激光所形成的光斑的图像坐标为光斑区域的中心处的图像坐标;
在无人机高度为零时拍摄照片图像,此时光斑的图像坐标的y值与0米高度相对应并形成一组图像坐标与实际飞行高度的对应数组,将该对应数组存储在miniPC中的高度数据表中;该对应数组中光斑的图像坐标的参数y的序号为1;
操作无人机垂直向上飞起,无人机每上升5厘米悬停一次,光斑的图像坐标的参数y的序号加1,进行一次获取对应数组的操作,直到无人机累计上升的距离达到5米;
获取对应数组的操作是摄像头进行拍摄,将得到的照片图像中光斑的图像坐标的y值与拍摄时无人机的实际高度作为一组图像坐标与实际飞行高度的对应数组,将该对应数组存储在miniPC中;
无人机累计上升的距离达到5米后完成第一步骤,即完成建立光斑图像坐标与无人机实际飞行高度一一对应的高度数据表的操作;最后一次获取对应数组的操作中,光斑的图像坐标的参数y的序号为m;
所述第二步骤中判断无人机飞行高度的操作具体是:
摄像头进行一次拍摄,将照片图像传送至miniPC;miniPC在照片图像上获取感兴趣区域的图像;感兴趣区域的图像中的坐标系沿用照片图像中的坐标系;
感兴趣区域的竖向中心线与照片图像的竖向中心线相重合;感兴趣区域宽为L1像素,感兴趣区域高度与照片图像高度相同均为y0像素;L1是激光发射器发射的激光束的直径R的1.5±0.3倍,L1取为整数;
miniPC调用激光斑点坐标定位算法函数对感兴趣区域的图像进行处理,获得当前光斑图像坐标的y值,该y值为yd,将yd与高度数据表中各图像坐标的y值依次进行比较,将高度数据表中与yd的差的绝对值最小的参数y的值所对应的高度值作为当前无人机的高度值,完成一次判断无人机飞行高度的操作。
2.根据权利要求1所述的超低空自适应定高飞行控制方法,其特征在于:miniPC调用激光斑点坐标定位算法函数对感兴趣区域的图像进行处理前,对感兴趣区域的图像进行预处理;
对感兴趣区域的图像进行预处理的操作具体是:对感兴趣区域的图像进行中值滤波、二值化和形态学滤波;
miniPC调用激光斑点坐标定位算法函数对感兴趣区域的图像进行处理的具体操作是:
第一子步骤是在感兴趣区域的图像顶端建立矩形的搜索框,搜索框与感兴趣区域的图像同宽,通过照片图像测量3至10个不同位置处的光斑的直径,求出各光斑的平均直径为L2像素,将搜索框的高设置为L2像素;建立矩形的搜索框时的同时建立指代搜索框位置的变量i,i的初值为1;搜索框的竖向中心线与感兴趣区域的图像的竖向中心线相重合;以搜索框中心点的图像坐标为该搜索框的图像坐标;
第二子步骤是计算搜索框内部各像素点的像素值总和SUM,得到搜索框第i位置时的像素值总和SUMi,同时记录搜索框位于第i位置时的该搜索框的图像坐标值;
第三子步骤是:L2/3的整数部分数字为N,N为正整数,将搜索框向下移动N个像素,i值加1;
第四子步骤是计算搜索框内部各像素点的像素值总和SUM,得到搜索框第i位置时的像素值总和SUMi,同时记录搜索框位于第i位置时的该搜索框的图像坐标值;
第五子步骤是第一判断步骤,判断sumi/sum(i-1)是否大于3;如果否,则跳转重新执行第三子步骤;如果是,则进行第六子步骤;
第六子步骤是将搜索框向下移动1个像素,i值加1,然后进行第七子步骤;
第七子步骤是计算搜索框内部各像素点的像素值总和SUM,得到搜索框第i位置时的像素值总和SUMi,同时记录搜索框位于第i位置时的该搜索框的图像坐标值;
第八子步骤是第二判断步骤,判断sumi是否小于sum(i-1),如果否,则跳转重新执行第六子步骤;如果是,则将位置参数为(i-1)的搜索框的图像坐标值作为光斑的图像坐标值,即激光斑点坐标定位算法函数的返回值。
3.根据权利要求1所述的超低空自适应定高飞行控制方法,其特征在于:第三步骤的具体操作是:
当无人机的飞行高度低于H1米时,miniPC向飞行控制器发出指令,飞行控制器升高螺旋桨的转速,从而提升无人机的高度;
当无人机的飞行高度大于等于H1米并小于等于H2米时,保持螺旋桨原有转速不变;
当无人机的飞行高度大于H2米时,miniPC向飞行控制器发出指令,飞行控制器降低螺旋桨的转速,从而降低无人机的高度。
CN201811085152.0A 2018-09-18 2018-09-18 超低空自适应定高飞行控制方法 Active CN108873944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811085152.0A CN108873944B (zh) 2018-09-18 2018-09-18 超低空自适应定高飞行控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811085152.0A CN108873944B (zh) 2018-09-18 2018-09-18 超低空自适应定高飞行控制方法

Publications (2)

Publication Number Publication Date
CN108873944A CN108873944A (zh) 2018-11-23
CN108873944B true CN108873944B (zh) 2021-06-11

Family

ID=64324453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811085152.0A Active CN108873944B (zh) 2018-09-18 2018-09-18 超低空自适应定高飞行控制方法

Country Status (1)

Country Link
CN (1) CN108873944B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112629489B (zh) * 2020-12-31 2023-03-24 广州极飞科技股份有限公司 测量飞行器近地飞行高度的方法和装置
CN113759944A (zh) * 2021-08-19 2021-12-07 深圳市鑫疆基业科技有限责任公司 基于指定高度飞行的自动巡检方法、系统和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102371249A (zh) * 2011-10-28 2012-03-14 中国矿业大学(北京) 煤矸光电在线分选装置和方法
CN105045276A (zh) * 2015-07-03 2015-11-11 深圳一电科技有限公司 无人机飞行控制方法及装置
CN105138002A (zh) * 2015-09-10 2015-12-09 华南农业大学 基于激光与双目视觉的无人机避险探测系统及方法
CN105203084A (zh) * 2015-07-02 2015-12-30 汤一平 一种无人机3d全景视觉装置
CN106950981A (zh) * 2017-04-25 2017-07-14 深圳大学 一种无人机高度控制方法及系统
CN106970651A (zh) * 2017-06-06 2017-07-21 南京理工大学泰州科技学院 一种基于视觉导航的四旋翼无人机的自主飞行系统及控制方法
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
CN108062108A (zh) * 2017-12-11 2018-05-22 郑宏远 一种基于机载计算机的智能多旋翼无人机及其实现方法
JP2019039868A (ja) * 2017-08-28 2019-03-14 株式会社トプコン 情報処理装置、情報処理方法および情報処理用プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102371249A (zh) * 2011-10-28 2012-03-14 中国矿业大学(北京) 煤矸光电在线分选装置和方法
CN105203084A (zh) * 2015-07-02 2015-12-30 汤一平 一种无人机3d全景视觉装置
CN105045276A (zh) * 2015-07-03 2015-11-11 深圳一电科技有限公司 无人机飞行控制方法及装置
CN105138002A (zh) * 2015-09-10 2015-12-09 华南农业大学 基于激光与双目视觉的无人机避险探测系统及方法
CN106950981A (zh) * 2017-04-25 2017-07-14 深圳大学 一种无人机高度控制方法及系统
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
CN106970651A (zh) * 2017-06-06 2017-07-21 南京理工大学泰州科技学院 一种基于视觉导航的四旋翼无人机的自主飞行系统及控制方法
JP2019039868A (ja) * 2017-08-28 2019-03-14 株式会社トプコン 情報処理装置、情報処理方法および情報処理用プログラム
CN108062108A (zh) * 2017-12-11 2018-05-22 郑宏远 一种基于机载计算机的智能多旋翼无人机及其实现方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Wojciech Gruszczyn'ski.Comparison of low-altitude UAV photogrammetry with terrestrial laser scanning as data-source methods for terrain covered in low vegetation.《ISPRS Journal of Photogrammetry and Remote Sensing》.2017, *
基于机器视觉的矿井输煤系统优化节能控制;郭伟东 等;《工况自动化》;20201013;第69-75页 *
基于汽车主动巡航雷达及车道保持系统的校正装置设计;杨省云 等;《机械设计与制造工程》;20140415;第56-59页 *
植保无人机仿地定高飞行控制技术的应用现状及展望;臧英 等;《沈阳农业大学学报》;20200415;第250-256页 *
植保无人机机载加固电子设备结构系统设计;张瑞珠 等;《智能网联汽车》;20190115;第32-38页 *

Also Published As

Publication number Publication date
CN108873944A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN109911231B (zh) 基于gps和图像识别混合导航的无人机自主着舰方法与系统
CN110879601B (zh) 一种对于未知风机结构的无人机巡检方法
CN110618691B (zh) 基于机器视觉的无人机同心圆靶精准降落方法
CN110244766B (zh) 一种光伏电站无人机巡检航线的规划方法及系统
CN112904877A (zh) 一种基于无人机的风机叶片自动巡检系统及方法
CN108229587B (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法
CN107729808A (zh) 一种用于输电线路无人机巡检的图像智能采集系统及方法
CN109792951B (zh) 用于杂交水稻授粉的无人机航线校正系统及其校正方法
CN108873944B (zh) 超低空自适应定高飞行控制方法
CN111178148B (zh) 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN112197766B (zh) 一种针对系留旋翼平台的视觉测姿装置
CN112326686A (zh) 无人机智能巡航路面病害检测方法、无人机和检测系统
CN109131860B (zh) 基于视觉的植保无人机
CN112947526B (zh) 一种无人机自主降落方法和系统
CN113298035A (zh) 基于图像识别的无人机电力杆塔检测及自主巡航方法
CN110879617A (zh) 一种红外引导无人机降落方法及装置
CN113759960A (zh) 基于无人机的风机叶片及塔筒巡检识别系统及方法
CN110850889B (zh) 一种基于rtk导航的无人机自主巡检系统
CN114743021A (zh) 一种输电线路图像与点云数据的融合方法及系统
CN112731966A (zh) 一种融合视觉的多旋翼无人机专用降落控制方法及装置
CN109813276A (zh) 一种基站天线下倾角测量方法及其系统
CN112947569B (zh) 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法
CN107458619B (zh) 一种全自动化微小型四旋翼自主降落与充电的方法及系统
CN211060910U (zh) 一种无人机测量和机载激光雷达的像控点标靶系统
CN115826596B (zh) 基于多旋翼无人机的智能火电厂烟囱巡检方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant