CN114627395B - 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端 - Google Patents

基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端 Download PDF

Info

Publication number
CN114627395B
CN114627395B CN202210531603.9A CN202210531603A CN114627395B CN 114627395 B CN114627395 B CN 114627395B CN 202210531603 A CN202210531603 A CN 202210531603A CN 114627395 B CN114627395 B CN 114627395B
Authority
CN
China
Prior art keywords
target
angle
template
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210531603.9A
Other languages
English (en)
Other versions
CN114627395A (zh
Inventor
王世勇
郭文才
安帅
雷超
李茂�
倪蜂棋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China South Industries Group Automation Research Institute
Original Assignee
China South Industries Group Automation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China South Industries Group Automation Research Institute filed Critical China South Industries Group Automation Research Institute
Priority to CN202210531603.9A priority Critical patent/CN114627395B/zh
Publication of CN114627395A publication Critical patent/CN114627395A/zh
Application granted granted Critical
Publication of CN114627395B publication Critical patent/CN114627395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C27/00Rotorcraft; Rotors peculiar thereto
    • B64C27/04Helicopters
    • B64C27/08Helicopters with two or more rotors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端,涉及无人机技术领域,其技术方案要点是:提取检测到的靶标目标的连通域,并依据连通域从靶标目标中分割出完整的内靶标、外靶标,以及依据飞行高度值和高度区间阈值选取内靶标或外靶标作为参考靶标;依据模板靶标的配置尺寸对参考靶标归一化处理,并计算参考靶标的特征向量;计算参考靶标的特征向量与特征向量矩阵之间的相似度,得到相似度矩阵;以相似度矩阵的最大值不小于预设阈值来判断靶标检测正确,若正确,则执行步骤A或步骤B。本发明采用大小靶标嵌套的设计模式,保证在无人机起飞和降落过程中由于高度变化导致视场实际空间范围的变化时,视场中存在完整的目标。

Description

基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端
技术领域
本发明涉及无人机技术领域,更具体地说,它涉及基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端。
背景技术
相对于固定翼无人机,多旋翼无人机由于其飞行速度慢、飞行高度低的特点,在外卖配送、路况监测、城市管理等领域有着广泛的应用。在城市和复杂地貌环境下,卫星信号存在漂移或干扰。因此,在对起降地点有精确要求的场景中,通常采用视觉辅助定位和导航技术。视觉辅助定位和导航技术中非常重要的一个参数是多旋翼无人机相对视觉参考物的航向角。
现有技术中,采用黑白格相间的平面二维图形等靶标形态作为视觉辅助定位的合作靶标。通常这类靶标放置在地面固定或移动平台上,图形中包含了靶标编号、姿态角等编码信息;同时设计靶标识别算法解析图形中的信息;此工作方式要求机载摄像系统对靶标清晰成像且编码区域清晰可区分。然而,在实际应用场景中,在靶标清晰成像且识别算法能准确识别靶标并解码其内容的要求下,多旋翼无人机的飞行高度上限受到约束;一方面,可以通过增大靶标尺寸来克服飞行高度上限受到约束的缺陷,但同时也会存在飞行高度较低时,过大的靶标尺寸导致靶标不完全在识别范围内,无法完成靶标识别;另一方面,可以增加机载摄像系统性能以使其在更高的飞行高度能识别和解码合作靶标内容,但会增加成本或机载摄像系统重量。
因此,如何研究设计一种能够克服上述缺陷的基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端是我们目前急需解决的问题。
发明内容
为解决现有技术中的不足,本发明的目的是提供基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端,采用大小靶标嵌套的设计模式,保证在无人机起飞和降落过程中由于高度变化导致视场实际空间范围的变化时,视场中存在完整的目标,有效扩展了靶标视觉辅助定位和角度计算的应用范围。
本发明的上述技术目的是通过以下技术方案得以实现的:
第一方面,提供了基于嵌套靶标的多旋翼无人机角度分析方法,包括以下步骤:
获取机载摄像设备视频流,并以目标检测算法从视频流中的帧图像上检测靶标目标,靶标目标为由内靶标和外靶标嵌套组成的嵌套靶标;
提取检测到的靶标目标的连通域,并依据连通域从靶标目标中分割出完整的内靶标和/或外靶标,以及依据飞行高度值和高度区间阈值选取相应的内靶标或外靶标作为参考靶标;
依据模板靶标的配置尺寸对参考靶标归一化处理,并计算参考靶标的特征向量;
计算参考靶标的特征向量与预构建的特征向量矩阵之间的相似度,得到相似度矩阵;
以相似度矩阵的最大值不小于预设阈值来判断靶标检测正确,若正确,则:
步骤A:以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定角度分析结果;
或,步骤B:以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定靶标目标在帧图像的像素坐标系中的象限位置,并根据象限位置和旋转角度从帧图像中识别出靶标目标的参考边两端的坐标值,以及根据参考边两端的坐标值求解的参考边的旋转角度作为角度分析结果。
进一步的,所述特征向量矩阵的构建过程具体为:
将内靶标或外靶标以多旋转角度和多配置尺寸变换后建立模板靶标集;
提取模板靶标集中各个模板靶标的特征向量后构建特征向量矩阵。
进一步的,所述模板靶标集的构建过程具体为:
依据配置尺寸序列将内靶标或外靶标等比变换处理,得到模板靶标组;
将配置尺寸序列转换成旋转角度序列,旋转角度序列中的旋转角度大小与配置尺寸序列中相应的配置尺寸大小呈正相关;
根据旋转角度序列将相应模板靶标在360度范围内间隔旋转处理,得到模板靶标集。
进一步的,所述内靶标和外靶标的靶标形态相同,且内靶标和外靶标均为非对称性形态。
进一步的,所述靶标目标的检测过程具体为:
保存靶标目标在当前帧图像中的位置以及依据靶标目标大小所扩展的搜索框大小;
若依据所扩展的搜索框大小未检测到靶标目标,则依据预设比例对搜索框扩大,直至检测到靶标目标;
若搜索框的扩大次数达到预设次数阈值时仍未检测到正确的靶标目标,则进入下一帧帧图像检测;
下一帧帧图像检测时的搜索框大小采用上一帧帧图像检测结束时的搜索框大小。
进一步的,若相邻帧之间计算的角度分析结果差值大于步长角度值,则以上一帧的角度分析结果与步长角度值之和作为下一帧经过逼近处理后实际输出的角度分析结果。
进一步的,所述步骤A中,角度分析结果的确定过程具体为:
以模板靶标表征的旋转角度直接作为输出的角度分析结果;
或,根据相似度矩阵中最大值、第二大值所对应模板靶标表征的旋转角度确定航向角范围,并根据最大值、第二大值之比确定目标航向角在航向角范围中的位置,以及将目标航向角在航向角范围中位置所对应的目标角度值作为输出的角度分析结果。
进一步的,所述目标角度值的计算公式具体为:
Figure 100002_DEST_PATH_IMAGE001
其中,
Figure 798378DEST_PATH_IMAGE002
表示目标角度值;
Figure 100002_DEST_PATH_IMAGE003
表示相似度矩阵中第二大值所对应模板靶标表征的旋转角度;
Figure 349445DEST_PATH_IMAGE004
表示相似度矩阵中最大值所对应模板靶标表征的旋转角度;
Figure 100002_DEST_PATH_IMAGE005
表示相似度矩阵中的最大值;
Figure 788254DEST_PATH_IMAGE006
表示相似度矩阵中的第二大值。
第二方面,提供了基于嵌套靶标的多旋翼无人机角度分析系统,包括:
目标检测模块,用于获取机载摄像设备视频流,并以目标检测算法从视频流中的帧图像上检测靶标目标;
参考选取模块,用于提取检测到的靶标目标的连通域,并依据连通域从靶标目标中分割出完整的内靶标和/或外靶标,以及依据飞行高度值和高度区间阈值选取相应的内靶标或外靶标作为参考靶标;
特征分析模块,用于依据模板靶标的配置尺寸对参考靶标归一化处理,并计算参考靶标的特征向量;
相似计算模块,用于计算参考靶标的特征向量与预构建的特征向量矩阵之间的相似度,得到相似度矩阵;
角度分析模块,用于以相似度矩阵的最大值不小于预设阈值来判断靶标检测正确,若正确,则:
步骤A:以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定角度分析结果;
或,步骤B:以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定靶标目标在帧图像的像素坐标系中的象限位置,并根据象限位置和旋转角度从帧图像中识别出靶标目标的参考边两端的坐标值,以及根据参考边两端的坐标值求解的参考边的旋转角度作为角度分析结果。
第三方面,提供了一种计算机终端,包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面中任意一项所述的基于嵌套靶标的多旋翼无人机角度分析方法。
与现有技术相比,本发明具有以下有益效果:
1、本发明提出的基于嵌套靶标的多旋翼无人机角度分析方法,采用大小靶标嵌套的设计模式,保证在无人机起飞和降落过程中由于高度变化导致视场实际空间范围的变化时,视场中存在完整的目标,有效扩展了靶标视觉辅助定位和角度计算的应用范围;同时,将检测到的靶标目标与模板靶标进行相似度分析,为角度分析结果提供了直接数据或参考数据,实现方案计算简单,成本低,易部署,精度高;
2、本发明在角度分析精度要求较低的场景下,以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定角度分析结果,具有角度分析效率高,实现简单等特点;若在角度分析精度要求较高的场景下,例如在飞行高度较高时考虑帧图像发生形变而导致的角度误差问题,则依据旋转角度确定靶标目标的象限位置,无需遍历整个坐标系,能够快速、准确无误的找到参考边的方向与位置,并以参考边斜率作为角度分析结果,其整体误差较小,精度高;
3、本发明依据步长角度对计算的角度分析结果进行逼近处理,考虑了因目标检测和角度计算的精度影响所产生的抖动与噪声点,使得输出的角度分析结果更加稳定、可靠;
4、本发明依据最大值、第二大值所对应模板靶标表征的旋转角度来确定角度分析结果,考虑了误差偏向和大致位置点,使得输出的角度分析结果更加符合实际情况,误差小。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1是本发明实施例中嵌套靶标的示意图;
图2是本发明实施例中的流程图;
图3是本发明实施例中模板靶标的示意图;
图4是本发明实施例中角度计算误差分析示意图;
图5是本发明实施例中挂飞实验计算角度与陀螺仪角度误差的分析示意图;
图6是本发明实施例中参考边两端的坐标系示意图;
图7是本发明实施例中参考边两端的坐标分析示意图;
图8是本发明实施例中的系统框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例1:基于嵌套靶标的多旋翼无人机角度分析方法,如图2所示,包括以下步骤:
S1:获取机载摄像设备视频流,当无人机飞行高度达到预设高度时,自动开启目标检测算法,并以目标检测算法从视频流中的帧图像上检测靶标目标;如图1所示,靶标目标为由内靶标和外靶标嵌套组成的嵌套靶标;靶标目标检测操作包括二值化处理、连通域计算、图像分割、特征提取与图像匹配;
S2:提取检测到的靶标目标的连通域,并依据连通域从靶标目标中分割出完整的内靶标和/或外靶标,以及依据飞行高度值和高度区间阈值选取相应的内靶标或外靶标作为参考靶标;
S3:依据模板靶标的配置尺寸对参考靶标归一化处理,并计算参考靶标的特征向量;
S4:计算参考靶标的特征向量与预构建的特征向量矩阵之间的相似度,得到相似度矩阵;
S5:以相似度矩阵的最大值不小于预设阈值来判断靶标检测正确,若正确,则以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定角度分析结果。
需要说明的是,本发明中的旋转角度即为多旋翼无人机航向与地面合作目标之间的航向角度。
特征向量矩阵的构建过程具体为:将内靶标或外靶标以多旋转角度和多配置尺寸变换后建立模板靶标集,嵌套靶标由内靶标和外靶标嵌套组成;提取模板靶标集中各个模板靶标的特征向量后构建特征向量矩阵,特征向量包括但不限于均值、标准差、型心偏移。
模板靶标集的构建过程具体为:依据配置尺寸序列将内靶标或外靶标等比变换处理,得到模板靶标组;将配置尺寸序列转换成旋转角度序列,旋转角度序列中的旋转角度大小与配置尺寸序列中相应的配置尺寸大小呈正相关;根据旋转角度序列将相应模板靶标在360度范围内间隔旋转处理,得到模板靶标集。
如图3所示,以靶标实际大小为1.5mx1.5m为例,模拟在实际应用场景中不同大小、不同旋转角度的部分靶标。旋转角度按整数角度生成,应用本发明中所设计的方法,计算了靶标角度,并与真实旋转角度对比分析。如图4所示,模拟结果显示,随着相对高度的上升,靶标在视野中越来越小,角度计算结果误差逐渐增大,但在最高等效高度220m时,计算误差仍然小于1.8度。随着高度的下降,计算角度误差逐渐趋于0。
内靶标和外靶标的靶标形态相同,且内靶标和外靶标均为非对称性形态。在本实施例,外靶标尺寸为1.5mx1.5m,内靶标位于外靶标中心,内靶标尺寸为0.1mx0.1m。靶标打印在白色防水布上面。
靶标目标的检测过程具体为:保存靶标目标在当前帧图像中的位置以及依据靶标目标大小所扩展的搜索框大小;若依据所扩展的搜索框大小未检测到靶标目标,则依据预设比例对搜索框扩大,直至检测到靶标目标;若搜索框的扩大次数达到预设次数阈值时仍未检测到正确的靶标目标,则进入下一帧帧图像检测;下一帧帧图像检测时的搜索框大小采用上一帧帧图像检测结束时的搜索框大小,提高检测效率和精度。
由于在实际飞行中,无人机不稳定,因此相邻两帧计算出的角度一般也会不稳定。因此在角度计算之后,对相邻帧角度进行动态平滑,当角度变化较缓慢时,输出点会一步一步逼近直至与角度重合。具体为:若相邻帧之间计算的角度分析结果差值大于步长角度值,则以上一帧的角度分析结果与步长角度值之和作为下一帧经过逼近处理后实际输出的角度分析结果。
此外,由于无人机飞行过程中可能剧烈震荡,合作靶标可能短暂跳出视场。待恢复稳定后,由历史目标位置计算目标稳态点和搜索区域范围,进行目标检测。
作为一种可选的实施方式,以模板靶标表征的旋转角度直接作为输出的角度分析结果。
作为另一种可选的实施方式,依据相似度矩阵中最大值、第二大值所对应模板靶标表征的旋转角度确定航向角范围,并根据最大值、第二大值之比确定目标航向角在航向角范围中的位置,以及将目标航向角在航向角范围中位置所对应的目标角度值作为输出的角度分析结果。
目标角度值的计算公式具体为:
Figure 187006DEST_PATH_IMAGE001
其中,
Figure 505598DEST_PATH_IMAGE002
表示目标角度值;
Figure 294694DEST_PATH_IMAGE003
表示相似度矩阵中第二大值所对应模板靶标表征的旋转角度;
Figure 474877DEST_PATH_IMAGE004
表示相似度矩阵中最大值所对应模板靶标表征的旋转角度;
Figure 383928DEST_PATH_IMAGE005
表示相似度矩阵中的最大值;
Figure 391198DEST_PATH_IMAGE006
表示相似度矩阵中的第二大值。
实验挂飞野外测试
本实验中选择近红外波段相机,相机水平视场角60°,垂直视场角34°,图像质量1080P。野外挂飞实验中采用上述嵌套靶标。
本实验中选择大疆精灵8旋翼无人机作为挂飞实验无人机。无人机展开尺寸约为2mx2m。本实验中也选用一个九轴陀螺仪与相机刚性链接在一起。相机垂直安装在无人机侧面,刚性链接。
本实验中选择华为海思Hi3559A芯片作为计算平台。将上述算法打包移植到该计算平台上。相机前端采集视频通过串口发送给算法,算法在线处理并保存计算结果和相关参数。
为避免在地形复杂的环境下对GPS产生的干扰和GPS的漂移。野外挂飞实验地点选择在一处相对空旷的田野进行。靶标放置在地面固定位置,无人机从地面固定靶标处起飞,完成挂飞任务,再降落到同一地点。飞行高度0-220m,并在整个飞行过程中以靶标为圆心,以0-50m为半径在水平方向随机移动飞行。在飞行的最大高度220m,地面靶标在机载相机视野中的尺寸约为10x10个像素。
野外测试中,将陀螺仪角度校准,使得陀螺仪航向角为0的方向与靶标的0角度重合。将陀螺仪在无人机起飞前地面静止条件下的初始航向角读数与飞行过程中航向角的读数之差作为真实角度参考。但需要指出的是,陀螺仪的输出角度经过了滤波平滑处理,因此在无人机震荡或者突然改变姿态等情况下,陀螺仪的瞬时角度一般会比真实瞬时角度小。所以本发明中算法计算的角度和陀螺仪参考角度之差会偏大。由算法计算的角度和陀螺仪参考角度分析结果如图5所示。可以看出计算所得角度与陀螺仪角度之差最大6度,大多数误差在4度以内。
本发明具有很强的鲁棒性,适用于合作靶标在机载摄像设备视野中从十几个像素到几千个像素的范围。尤其适用于多旋翼无人机在卫星信号拒止环境下的视觉导航和辅助定位场景。且由于所设计的方法计算成本不高,在实际应用中,普通的嵌入式计算平台就能满足计算需求。实际测试显示,在Hi3559A芯片上已经达到实时计算的效果。
实施例2:基于嵌套靶标的多旋翼无人机角度分析方法,若在角度分析精度要求较高的场景下,例如在飞行高度较高时考虑帧图像发生形变而导致的角度误差问题,本发明提供了一种可选的实施方式,如图6所示,实施例2与实施例1的不同之处在于:以相似度矩阵的最大值不小于预设阈值来判断靶标检测正确,若正确,则以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定靶标目标在帧图像的像素坐标系中的象限位置,并根据象限位置和旋转角度从帧图像中识别出靶标目标的参考边两端的坐标值P1、P2,以及根据参考边两端的坐标值求解的参考边的旋转角度作为角度分析结果。本发明则依据旋转角度确定靶标目标的象限位置,无需遍历整个坐标系,能够快速、准确无误的找到参考边的方向与位置,并以参考边斜率作为角度分析结果,其整体误差较小,精度高。
其中,参考边是基于靶标白色区域的最大外接矩形,以全为白色的矩形边为参考边。
如图7所示,具体的,角度分析结果的获得过程为:
1)通过图像连通域计算,获得参考靶标外接边缘矩形及四个顶点;
2)依据旋转角度确定参考边,以外接边缘矩形四边为基准,进行微小距离平移,如平移距离为边长5%,计算平移空间中黑白像素比例,根据黑白像素比例选择长白边作为参考边,并参考粗略角,剔除伪参考边;
3)确定参考边的两顶点p1、p2,根据对p1与相邻顶点构成的边进行微小距离平移,计算平移空间中黑白像素比例,其比值接近3:1,则可确定p1点;根据对p2与相邻顶点构成的边进行微小距离平移,计算平移空间中黑白像素比例,其比值接近2:1,则可确定p2点;
4)确定p1、p2点后,以图像像素坐标为坐标系,分别为向右向下为正向,以x轴负向为靶标零度方位,顺时针旋转为正,算法匹配的角度为:
Figure 166125DEST_PATH_IMAGE008
则利用反三角函数计算得到的目标角度为:
Figure DEST_PATH_IMAGE009
其中,当p1, p2为垂直x轴方向时,即x2=x1时,根据算法角度输出,此时的校正角度输出为90度(y2<y1)或者270度(y2>y1)。
实施例3:基于嵌套靶标的多旋翼无人机角度分析系统,该系统用于实现实施例1和/或实施例2中所记载的多旋翼无人机角度分析方法,如图8所示,包括目标检测模块、参考选取模块、特征分析模块、相似计算模块和角度分析模块。
其中,目标检测模块,用于获取机载摄像设备视频流,并以目标检测算法从视频流中的帧图像上检测靶标目标。参考选取模块,用于提取检测到的靶标目标的连通域,并依据连通域从靶标目标中分割出完整的内靶标和/或外靶标,以及依据飞行高度值和高度区间阈值选取相应的内靶标或外靶标作为参考靶标。特征分析模块,用于依据模板靶标的配置尺寸对参考靶标归一化处理,并计算参考靶标的特征向量。相似计算模块,用于计算参考靶标的特征向量与预构建的特征向量矩阵之间的相似度,得到相似度矩阵。角度分析模块,用于以相似度矩阵的最大值不小于预设阈值来判断靶标检测正确,若正确,则可以选择执行步骤A或步骤B,也可以同时执行步骤A和步骤B。
步骤A:以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定角度分析结果。
步骤B:以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定靶标目标在帧图像的像素坐标系中的象限位置,并根据象限位置和旋转角度从帧图像中识别出靶标目标的参考边两端的坐标值,以及根据参考边两端的坐标值求解的参考边的旋转角度作为角度分析结果。
工作原理:本发明采用大小靶标嵌套的设计模式,保证在无人机起飞和降落过程中由于高度变化导致视场实际空间范围的变化时,视场中存在完整的目标,有效扩展了靶标视觉辅助定位和角度计算的应用范围;同时,将检测到的靶标目标与模板靶标进行相似度分析,为角度分析结果提供了直接数据或参考数据,实现方案计算简单,成本低,易部署,精度高;此外,在角度分析精度要求较低的场景下,以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定角度分析结果,具有角度分析效率高,实现简单等特点;另外,若在角度分析精度要求较高的场景下,例如在飞行高度较高时考虑帧图像发生形变而导致的角度误差问题,则依据旋转角度确定靶标目标的象限位置,无需遍历整个坐标系,能够快速、准确无误的找到参考边的方向与位置,并以参考边斜率作为角度分析结果,其整体误差较小,精度高。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.基于嵌套靶标的多旋翼无人机角度分析方法,其特征是,包括以下步骤:
获取机载摄像设备视频流,并以目标检测算法从视频流中的帧图像上检测靶标目标,靶标目标为由内靶标和外靶标嵌套组成的嵌套靶标;
提取检测到的靶标目标的连通域,并依据连通域从靶标目标中分割出完整的内靶标和/或外靶标,以及依据飞行高度值和高度区间阈值选取相应的内靶标或外靶标作为参考靶标;
依据模板靶标的配置尺寸对参考靶标归一化处理,并计算参考靶标的特征向量;
计算参考靶标的特征向量与预构建的特征向量矩阵之间的相似度,得到相似度矩阵;
以相似度矩阵的最大值不小于预设阈值来判断靶标检测正确,若正确,则:
步骤A:以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定角度分析结果;
或,步骤B:以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定靶标目标在帧图像的像素坐标系中的象限位置,并根据象限位置和旋转角度从帧图像中识别出靶标目标的参考边两端的坐标值,以及根据参考边两端的坐标值求解的参考边的旋转角度作为角度分析结果。
2.根据权利要求1所述的基于嵌套靶标的多旋翼无人机角度分析方法,其特征是,所述特征向量矩阵的构建过程具体为:
将内靶标或外靶标以多旋转角度和多配置尺寸变换后建立模板靶标集;
提取模板靶标集中各个模板靶标的特征向量后构建特征向量矩阵。
3.根据权利要求2所述的基于嵌套靶标的多旋翼无人机角度分析方法,其特征是,所述模板靶标集的构建过程具体为:
依据配置尺寸序列将内靶标或外靶标等比变换处理,得到模板靶标组;
将配置尺寸序列转换成旋转角度序列,旋转角度序列中的旋转角度大小与配置尺寸序列中相应的配置尺寸大小呈正相关;
根据旋转角度序列将相应模板靶标在360度范围内间隔旋转处理,得到模板靶标集。
4.根据权利要求1所述的基于嵌套靶标的多旋翼无人机角度分析方法,其特征是,所述内靶标和外靶标的靶标形态相同,且内靶标和外靶标均为非对称性形态。
5.根据权利要求1所述的基于嵌套靶标的多旋翼无人机角度分析方法,其特征是,所述靶标目标的检测过程具体为:
保存靶标目标在当前帧图像中的位置以及依据靶标目标大小所扩展的搜索框大小;
若依据所扩展的搜索框大小未检测到靶标目标,则依据预设比例对搜索框扩大,直至检测到靶标目标;
若搜索框的扩大次数达到预设次数阈值时仍未检测到正确的靶标目标,则进入下一帧帧图像检测;
下一帧帧图像检测时的搜索框大小采用上一帧帧图像检测结束时的搜索框大小。
6.根据权利要求1所述的基于嵌套靶标的多旋翼无人机角度分析方法,其特征是,若相邻帧之间计算的角度分析结果差值大于步长角度值,则以上一帧的角度分析结果与步长角度值之和作为下一帧经过逼近处理后实际输出的角度分析结果。
7.根据权利要求1所述的基于嵌套靶标的多旋翼无人机角度分析方法,其特征是,所述步骤A中,角度分析结果的确定过程具体为:
以相似度矩阵的最大值所对应模板靶标表征的旋转角度直接作为输出的角度分析结果;
或,根据相似度矩阵中最大值、第二大值所对应模板靶标表征的旋转角度确定航向角范围,并根据最大值、第二大值之比确定目标航向角在航向角范围中的位置,以及将目标航向角在航向角范围中位置所对应的目标角度值作为输出的角度分析结果。
8.根据权利要求7所述的基于嵌套靶标的多旋翼无人机角度分析方法,其特征是,所述目标角度值的计算公式具体为:
Figure DEST_PATH_IMAGE001
其中,
Figure 954693DEST_PATH_IMAGE002
表示目标角度值;
Figure DEST_PATH_IMAGE003
表示相似度矩阵中第二大值所对应模板靶标表征的旋转角度;
Figure 652259DEST_PATH_IMAGE004
表示相似度矩阵中最大值所对应模板靶标表征的旋转角度;
Figure DEST_PATH_IMAGE005
表示相似度矩阵中的最大值;
Figure 949773DEST_PATH_IMAGE006
表示相似度矩阵中的第二大值。
9.基于嵌套靶标的多旋翼无人机角度分析系统,其特征是,包括:
目标检测模块,用于获取机载摄像设备视频流,并以目标检测算法从视频流中的帧图像上检测靶标目标;
参考选取模块,用于提取检测到的靶标目标的连通域,并依据连通域从靶标目标中分割出完整的内靶标和/或外靶标,以及依据飞行高度值和高度区间阈值选取相应的内靶标或外靶标作为参考靶标;
特征分析模块,用于依据模板靶标的配置尺寸对参考靶标归一化处理,并计算参考靶标的特征向量;
相似计算模块,用于计算参考靶标的特征向量与预构建的特征向量矩阵之间的相似度,得到相似度矩阵;
角度分析模块,用于以相似度矩阵的最大值不小于预设阈值来判断靶标检测正确,若正确,则:
步骤A:以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定角度分析结果;
或,步骤B:以相似度矩阵的最大值所对应模板靶标表征的旋转角度确定靶标目标在帧图像的像素坐标系中的象限位置,并根据象限位置和旋转角度从帧图像中识别出靶标目标的参考边两端的坐标值,以及根据参考边两端的坐标值求解的参考边的旋转角度作为角度分析结果。
10.一种计算机终端,包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序,其特征是,所述处理器执行所述程序时实现如权利要求1-8中任意一项所述的基于嵌套靶标的多旋翼无人机角度分析方法。
CN202210531603.9A 2022-05-17 2022-05-17 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端 Active CN114627395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210531603.9A CN114627395B (zh) 2022-05-17 2022-05-17 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210531603.9A CN114627395B (zh) 2022-05-17 2022-05-17 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端

Publications (2)

Publication Number Publication Date
CN114627395A CN114627395A (zh) 2022-06-14
CN114627395B true CN114627395B (zh) 2022-08-05

Family

ID=81907269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210531603.9A Active CN114627395B (zh) 2022-05-17 2022-05-17 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端

Country Status (1)

Country Link
CN (1) CN114627395B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821375B (zh) * 2022-06-27 2022-09-06 江西省地矿测绘有限公司 基于多源遥感数据的成图方法、装置、存储介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427284A (zh) * 2015-11-06 2016-03-23 西北工业大学 基于机载Android平台的固定靶标识方法
WO2017143551A1 (zh) * 2016-02-25 2017-08-31 汪禹 一种采用无人机传递物件的系统及其方法
CN107139178A (zh) * 2017-05-10 2017-09-08 哈尔滨工业大学深圳研究生院 一种无人机及其基于视觉的抓取方法
CN108985184A (zh) * 2018-06-26 2018-12-11 齐霄强 一种多用途飞机外挂物自动挂载系统及挂载方法
CN110239677A (zh) * 2019-06-21 2019-09-17 华中科技大学 一种无人机自主识别靶标并降落到运动的无人艇上的方法
WO2019182521A1 (en) * 2018-03-22 2019-09-26 Infinium Robotics Pte Ltd Autonomous taking off, positioning and landing of unmanned aerial vehicles (uav) on a mobile platform
CN111311635A (zh) * 2020-02-08 2020-06-19 腾讯科技(深圳)有限公司 一种目标定位方法、装置及系统
CN111598952A (zh) * 2020-05-21 2020-08-28 华中科技大学 一种多尺度合作靶标设计与在线检测识别方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11639981B2 (en) * 2015-07-17 2023-05-02 Origin Wireless, Inc. Method, apparatus, and system for movement tracking
CN106096207B (zh) * 2016-06-29 2019-06-07 武汉中观自动化科技有限公司 一种基于多目视觉的旋翼无人机抗风评估方法及系统
CN111582270A (zh) * 2020-04-24 2020-08-25 哈尔滨工业大学 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427284A (zh) * 2015-11-06 2016-03-23 西北工业大学 基于机载Android平台的固定靶标识方法
WO2017143551A1 (zh) * 2016-02-25 2017-08-31 汪禹 一种采用无人机传递物件的系统及其方法
CN107139178A (zh) * 2017-05-10 2017-09-08 哈尔滨工业大学深圳研究生院 一种无人机及其基于视觉的抓取方法
WO2019182521A1 (en) * 2018-03-22 2019-09-26 Infinium Robotics Pte Ltd Autonomous taking off, positioning and landing of unmanned aerial vehicles (uav) on a mobile platform
CN108985184A (zh) * 2018-06-26 2018-12-11 齐霄强 一种多用途飞机外挂物自动挂载系统及挂载方法
CN110239677A (zh) * 2019-06-21 2019-09-17 华中科技大学 一种无人机自主识别靶标并降落到运动的无人艇上的方法
CN111311635A (zh) * 2020-02-08 2020-06-19 腾讯科技(深圳)有限公司 一种目标定位方法、装置及系统
CN111598952A (zh) * 2020-05-21 2020-08-28 华中科技大学 一种多尺度合作靶标设计与在线检测识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joint Routing and Scheduling for Vehicle-Assisted Multidrone Surveillance;Menglan Hu;《IEEE Internet of Things Journal》;20181130;全文 *
基于ROS的无人机自主降落技术研究;丁中涛;《中国优秀硕士论文电子期刊》;20210415;全文 *

Also Published As

Publication number Publication date
CN114627395A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN108152831B (zh) 一种激光雷达障碍物识别方法及系统
EP3171292B1 (en) Driving lane data processing method, device, storage medium and apparatus
CN106022381B (zh) 基于车载激光扫描点云的路灯杆自动提取方法
CN111222395B (zh) 目标检测方法、装置与电子设备
CN105718872B (zh) 两侧车道快速定位及检测车辆偏转角度的辅助方法及系统
JP2020508506A (ja) 3d点データにおける垂直構造を取り込む2dマップを使用する位置推定
US9082008B2 (en) System and methods for feature selection and matching
CN108280866B (zh) 道路点云数据处理方法及系统
Azimi et al. Eagle: Large-scale vehicle detection dataset in real-world scenarios using aerial imagery
CN115049700A (zh) 一种目标检测方法及装置
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN109543634B (zh) 定位过程中的数据处理方法、装置、电子设备和存储介质
CN114627395B (zh) 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及系统
CN115100616A (zh) 点云目标检测方法、装置、电子设备及存储介质
CN114972767A (zh) 一种基于高空无人机视频的车辆轨迹和航向角提取方法
Yuan et al. High Speed Safe Autonomous Landing Marker Tracking of Fixed Wing Drone Based on Deep Learning
CN115861352A (zh) 单目视觉、imu和激光雷达的数据融合和边缘提取方法
CN115359115A (zh) 一种动态环境下基于多传感器的同时定位与建图方法
KR102468927B1 (ko) Sar 영상에서의 객체 변화 탐지 방법 및 sar 영상에서의 객체 변화 탐지 시스템
KR102381013B1 (ko) 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램
CN115063760A (zh) 车辆可行驶区域检测方法、装置、设备及存储介质
KR102540636B1 (ko) 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102540624B1 (ko) 항공 라이다를 이용한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102540629B1 (ko) 교통 시설물에 대한 학습 데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant