CN111598952A - 一种多尺度合作靶标设计与在线检测识别方法及系统 - Google Patents

一种多尺度合作靶标设计与在线检测识别方法及系统 Download PDF

Info

Publication number
CN111598952A
CN111598952A CN202010433150.7A CN202010433150A CN111598952A CN 111598952 A CN111598952 A CN 111598952A CN 202010433150 A CN202010433150 A CN 202010433150A CN 111598952 A CN111598952 A CN 111598952A
Authority
CN
China
Prior art keywords
target
scale
pixel
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010433150.7A
Other languages
English (en)
Other versions
CN111598952B (zh
Inventor
颜露新
蔡智
钟胜
向蓓
曹旭航
叶云桐
黎瑞
胡世根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010433150.7A priority Critical patent/CN111598952B/zh
Publication of CN111598952A publication Critical patent/CN111598952A/zh
Application granted granted Critical
Publication of CN111598952B publication Critical patent/CN111598952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于无人机靶标设计与识别技术领域，公开了一种多尺度合作靶标设计与在线检测识别方法及系统，将每一尺度靶标中间m×m个单元格置为空白，嵌套下一尺度靶标形成多尺度合作靶标；无人机在接收着陆指令后通过控制机载云台相机对着陆区靶标进行搜索；对相机拍摄的YUV格式图像进行局部自适应阈值化处理后进行四边形检测；当正确识别到靶标后，将云台切换至跟踪模式；对下一帧靶标位置进行预测，在预测位置邻域范围内进行靶标检测；根据检测到的靶标位置，对无人机位姿进行解算；并根据飞行高度以及靶标在图像中的占比切换至合适靶标进行检测。本发明提高了靶标的识别效率和着陆定位精度，提高了帧率，加快了边界的查找。

Description

一种多尺度合作靶标设计与在线检测识别方法及系统
技术领域
本发明属于无人机靶标设计与识别技术技术领域，尤其涉及一种多尺度合作靶标设计与在线检测识别方法及系统。
背景技术
目前，无人机由于其灵活的应用方式受到了各界的青睐。然而，无人机的回收一直以来是一个令人困扰的问题。据统计资料表明，世界航空史上有三分之一以上的飞行事故发生在回收过程，无人机因回收失败而导致的事故更是占所有飞行事故的80％以上。因此，各国科研工作者针对如何可靠、安全、快速地回收无人机开发了基于视觉引导的无人机着陆/着舰系统。
基于视觉引导的无人机着陆/着舰是指在无人机回收阶段，通过无人机机载计算机与云台相机载荷，完成着陆区域检测、跟踪与相对位姿解算，并依据解算信息实现对无人机航迹规划、运动控制。进而实现不依赖于无线通信与GPS的向合作着陆场自主降落。基于视觉引导的无人机自主回收过程需要使用靶标图案指示降落区域位置，现有靶标设计包括：“H”形靶标、“T”形靶标、圆形靶标、正方形靶标等常规几何图案。现有靶标设计与识别技术存在靶标特征点提取精度不高、靶标误识别率高、无法提供靶标ID信息、不具备不同距离下的可识别性等问题，导致视觉引导系统误差较大甚至失效。
综上所述，现有技术存在的问题是：传统单一尺度靶标存在因距离过近导致靶标图案溢出视野导致靶标无法检测，提取特征，继而影响无人机位姿解算以实现精准着陆的问题。
现有视觉引导无人机着陆主要存在以下三个难点：
(1)着陆/着舰区域稳定、快速识别；
(2)靶标区域特征点的精确提取以及位姿解算算法。
(3)无人机状态估计以及航迹规划与运动控制。
再者，现有靶标设计与识别技术存在靶标靶标误识别率高(自然场景中存在相似图案)、无法提供靶标ID信息(无法分辨不同靶标)、不具备不同距离下的可识别性等问题，导致视觉引导系统误差较大甚至失效。
解决上述技术问题的意义：现有无人机自主回收系统主要依赖于GPS导航，然而GPS精度较差、稳定性不高；使用RTK技术的自主回收系统组成复杂、成本高昂。本技术利用无人机自身的机载云台与计算能力，实现了低成本、高精度、高可靠的自主回收。可广泛应用于森林消防、边境巡检、电力检修、智慧农田等领域。通过“回收-换电-再释放”的方式缓解无人机续航较短的问题，为无人机长时间工作提供技术保障。
发明内容
针对现有技术存在的问题，本发明提供了一种多尺度合作靶标设计与在线检测识别方法，旨在解决现有技术中由于靶标图案溢出视野导致靶标无法检测，提取特征，继而影响无人机位姿解算以实现精准着陆的问题。本发明提供的多尺度合作靶标设计与在线检测识别方法主要解决了背景技术中的难点(1)至(3)。
本发明是这样实现的，一种多尺度合作靶标设计与在线检测识别方法，所述多尺度合作靶标设计与在线检测识别方法包括以下步骤：
步骤一，基于现有的单一尺度靶标以及二维码，将每一尺度靶标中间m×m个单元格置为空白，嵌套下一尺度靶标形成多尺度合作靶标。
步骤二，无人机在接收着陆指令后通过控制机载云台相机对着陆区靶标进行搜索。
步骤三，对相机拍摄的YUV格式图像进行局部自适应阈值化处理后进行四边形检测。
步骤四，当正确识别到靶标后，将云台切换至跟踪模式。
步骤五，对下一帧靶标位置进行预测，在预测位置邻域范围内进行靶标检测。
步骤六，根据检测到的靶标位置，对无人机位姿进行解算。
步骤七，无人机着陆过程中，根据飞行高度以及靶标在图像中的占比切换至合适靶标进行检测。
进一步，步骤一中，所述m置为2，嵌套靶标数目为三级。
进一步，步骤一中，所述靶标尺寸的计算方法如下：
(I)根据技术指标利用如下公式计算靶标最小尺寸：
Figure BDA0002501272320000031
其中
Figure BDA0002501272320000032
其中，s表示靶标边长，h表示高度距离，w表示水平距离，θ1表示相机视场角，θ3表示靶标对应成像角。
(II)根据如下公式计算出内嵌最小靶标尺寸：
Figure BDA0002501272320000033
其中，s表示靶标边长，h表示高度距离，w表示水平距离，θ1表示相机视场角，θ3表示靶标对应成像角。
(III)根据内嵌最小靶标和最外级靶标的尺寸比，求得靶标最大尺寸。
进一步，步骤二中，在调整相机角度时，先调整相机俯仰角，自下而上每次约15度。然后再调整相机平移角进行左右扫描，每扫描约20度停顿一次，以减轻因运动模糊导致的靶标识别率降低的问题。
进一步，步骤三中，在对图像进行局部自适应阈值处理时，选取4×4像素块作为一个局部，取以该局部为中心的8邻域区域即12×12像素块作为极值搜索区域，则4×4像素局部内阈值即为12×12像素区域内极值的平均值，即
Figure BDA0002501272320000041
进一步，步骤三中，所述进行四边形检测的方法包括以下步骤：
(1)将相机拍摄的YUV格式图像转换成灰度图。
(2)将灰度图用局部自适应阈值二值化。每4×4像素块作为一个局部，取以该局部为中心的8邻域区域即12×12像素块作为极值搜索区域，则4×4像素局部内阈值即为12×12像素区域内极值的平均值，即
Figure BDA0002501272320000042
(3)对步骤(2)得到的二值图用连通域查找的方法进行边界分割，对像素按行进行两次遍历。第一次遍历时根据相邻两个像素的像素值关系给每一个像素一个ID号，即：若当前像素与前一个像素的像素值不同时，则给当前像素一个新的ID，并计算其中点坐标，该点即为边界点，并将当前像素，前一个像素ID以及中点坐标存放至哈希表；若当前像素与前一个像素的像素值相同时，则给当前像素前一个像素的ID。然后再判断当前像素8邻域内中的已访问像素中是否存在与当前像素的像素值相同，ID不同的情况，若存在，则将两个像素的ID建立双向映射关系。第二次遍历时，根据第一次遍历时建立的映射关系，将符合映射关系的像素ID改为映射关系中最小的那个ID。最后根据ID号进行聚类。
(4)将边界点按照与边界聚类中心点所形成的角度进行排序，继而确定了每个边界点的“相邻点”。
(5)按顺序过每个边界点拟合一条到两个“相邻点”的直线，取“相邻点”计算拟合均方误差，拟合均方误差较大的点即为候选角点。
(6)对候选角点中任意两个候选角点间的边界点用PCA处理，取主成分特征向量方向所在直线作为候选边，将侯选边拟合到四边形每一侧，排除无法形成四边形以及拟合后拐角与90°相差太大的情况。最终，选择出拟合均方误差最小的四个点作为角点，拟合的四边形作为待检四边形。
(7)对得到的所有拟合四边形进行均匀采样。
(8)对拟合的四边形进行边缘修饰，使用沿候选四边形的边缘的图像梯度来拟合新的边缘。在均匀间隔的采样点处，沿着边缘的法线对图像梯度进行采样，以找到具有最大梯度的位置，筛选单像素点。计算沿法线的点的加权平均值，并按照梯度量值加权，然后沿着这些加权平均点的线拟合四边形的边缘。
本发明的另一目的在于提供一种实施所述多尺度合作靶标设计与在线检测识别方法的多尺度合作靶标设计与在线检测识别系统，所述多尺度合作靶标设计与在线检测识别系统包括：
无人机着陆区靶标进行搜索模块，用于基于现有的单一尺度靶标以及二维码，将每一尺度靶标中间m×m个单元格置为空白，嵌套下一尺度靶标形成多尺度合作靶标；无人机在接收着陆指令后通过控制机载云台相机对着陆区靶标进行搜索；
跟踪模式切换模块，用于对无人机的相机拍摄的YUV格式图像进行局部自适应阈值化处理后进行四边形检测；正确识别到靶标后，将云台切换至跟踪模式；
靶标检测模块，用于对下一帧靶标位置进行预测，在预测位置邻域范围内进行靶标检测；
靶标位置计算模块，根据检测到的靶标位置，对无人机位姿进行解算；
适宜着陆靶标检测模块，用于无人机着陆过程中，根据飞行高度以及靶标在图像中的占比切换至合适靶标进行检测。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述多尺度合作靶标设计与在线检测识别方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述多尺度合作靶标设计与在线检测识别方法。
本发明的另一目的在于提供一种实施所述多尺度合作靶标设计与在线检测识别方法的无人机。
综上所述，本发明的优点及积极效果为：本发明提供的多尺度合作靶标设计与在线检测识别方法，适用于无人机着陆过程中的实时相对位姿估计。在无人机着陆阶段，通过控制机载云台相机搜索着陆区的合作靶标，根据检测到的四个靶标角点进行位姿解算，得到无人机与着陆区的相对位置关系从而指导无人机的运动控制，实现自主着陆。本发明通过设计一种嵌套式的多尺度可识别靶标，解决了传统单一尺度靶标所存在的因距离过近导致靶标溢出无人机视场继而无法检测到靶标的问题，实现了无人机在着陆过程中多尺度稳定提取特征以完成着陆全程的位姿解算。将着陆误差控制在厘米级，极大地提高了无人机视觉引导着陆的位置精度，减轻了对无人机操控人员的依赖，加速了无人机在精准农业、巡检、物流等领域的应用。
本发明设计的多尺度合作靶标图案可识别范围为10厘米至15米(靶标大小为1米×1米，相机视场角为90度，相机分辨率为1280×720)，识别速度不小于30帧/秒，无人机位置解算精度高于10厘米、无人机姿态解算精度高于5度(当无人机与靶标距离不大于3米时)。
本发明的优点及积极效果还包括：
(1)本发明通过设计一种多尺度合作靶标，使得无人机在识别到靶标后的着陆过程中在不同高度可以切换到不同尺度靶标进行检测，解决了无人机在着陆过程中由于靶标溢出视野导致无法全程检测的问题，大大提高了靶标的识别效率和着陆定位精度。
(2)本发明采用的局部自适应阈值，相较于全局阈值，降低了光照对图像分割的影响，同时通过计算局部图块周围8邻域极值，有效防止了因极值差异较大的图块边界产生伪影的情况。
(3)本发明通过连通域查找的方法进行聚类时采用按行搜索，相较于传统的4邻域，8邻域搜索，减少了数据结构调用次数，加快了边界的查找。同时，相较于直接识别具有相反颜色的相邻的边缘像素，然后形成边缘像素连通域的方法，连通域查找方法解决了当标签过远时，边界小于一个像素宽度无法识别的情况。
(4)本发明通过采用跟踪算法对下一帧图像靶标位置进行预测，大大提高了靶标检测速度，同时提高了帧率，使其从3帧提高至15帧。
附图说明
图1是本发明实施例提供的多尺度合作靶标设计与在线检测识别方法流程图。
图2是本发明实施例提供的多级嵌套式靶标示意图，以3尺度“36h10_789”靶标为例。
图3是本发明实施例提供的估计靶标最小像素尺寸过程图；
图中：a.远处正面拍摄；b.近处正面拍摄；c.靶标倾斜45度；d.靶标占比(0.15cm,0.1cm)；e.偶尔检测到靶标。
图4是本发明实施例提供的无人机着陆过程流程图。
图5是本发明实施例提供的靶标检测的图像处理过程图；
图中：a.灰度图；b.二值化图；c.边界分割；d.聚类；e.拟合四边形；f.边缘修饰；g.采样；h.局部放大示意图；i.输出。
图6是本发明实施例提供的相机成像示意图；
图中：a.最近端成像示意图；b.最远端成像示意图。
图7是本发明实施例提供的多尺度合作靶标设计与在线检测识别系统适宜图。
图中：1、无人机着陆区靶标进行搜索模块；2、跟踪模式切换模块；3、靶标检测模块；4、靶标位置计算模块；5、适宜着陆靶标检测模块。
图8是本发明实施例提供的Gazebo仿真软件界面图。
图9是本发明实施例提供的1米高度靶标识别结果图。
图10是本发明实施例提供的1米高度位姿解算结果图。
图11是本发明实施例提供的45度roll角靶标识别结果图。
图12是本发明实施例提供的2 45度roll角位姿解算结果图。
图13是本发明实施例提供的57.3度yaw角靶标识别结果图。
图14是本发明实施例提供的57.3度yaw角位姿解算结果
图15是本发明实施例提供的57.3度pitch角靶标识别结果图。
图16是本发明实施例提供57.3度pitch角位姿解算结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种多尺度合作靶标设计与在线检测识别方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的多尺度合作靶标设计与在线检测识别方法包括以下步骤：
S101，基于现有的单一尺度靶标以及二维码，将每一尺度靶标中间m×m个单元格置为空白，嵌套下一尺度靶标形成多尺度合作靶标。
S102，无人机在接收着陆指令后通过控制机载云台相机对着陆区靶标进行搜索。
S103，对相机拍摄的YUV格式图像进行局部自适应阈值化处理后进行四边形检测。
S104，当正确识别到靶标后，将云台切换至跟踪模式。
S105，对下一帧靶标位置进行预测，在预测位置邻域范围内进行靶标检测。
S106，根据检测到的靶标位置，对无人机位姿进行解算。
S107，无人机着陆过程中，根据飞行高度以及靶标在图像中的占比切换至合适靶标进行检测。
下面结合实施例对本发明作进一步描述。
如图2所示是本发明所设计的多级嵌套式靶标，本发明在测试时采用3尺度“36h10_789”靶标，其中36表示有效编码位数为36，即次外层黑框内编码块个数为36个；h10表示同编码位数的不同码字间汉明距离最小为10，即编码库内任意两个有效编码间对应位码字不同的数量至少为10。_789指从大至小的3个靶标的身份识别(ID)号。
本发明实施例提供的根据技术指标计算靶标尺寸，包括以下步骤：
正面拍摄靶标，稍远时(图3.a)，靶标在图像中的大小(0.1,0.1)cm，会出现个别漏检；拉近一点后如图3.b，靶标在图像中的大小(0.15,0.15)cm，检测成功率增加到100％；然后把靶标倾斜45°后，进行拍摄，图3.c检测成功率百分百，靶标在图像中的大小(0.2,0.15)cm；图3.d偶尔会检测失败，靶标在图像中的大小(0.15,0.1)cm；将靶标拉远至图3.e处后，只能偶尔检测到靶标。为了使检测成功率达到百分百，没有漏检，最后将靶标倾斜45°时的最小尺寸设为(0.15,0.1)cm，正面最小尺寸为(0.1,0.1)cm。经计算得出靶标正面最小像素：长30像素，宽30像素；倾斜45度：长：40像素，宽30像素。
本发明在测试时，无人机与靶标水平距离为10米，高度距离为10米。成像图如图6.a和6.b所示因而根据步骤(1)得到的尺寸，得到靶标像素在图像中的占比为3.1％(宽)，4.2％(高)。设相机视场角为90°，根据公式(1)求得靶标最小尺寸为(0.64,0.88)m，最终确定靶标边长最小为0.9m左右。
Figure BDA0002501272320000091
其中
Figure BDA0002501272320000092
其中，s表示靶标边长，h表示高度距离，w表示水平距离，θ1表示相机视场角，θ3表示靶标对应成像角。
根据内嵌靶标估计靶标最大尺寸。本发明测试设定无人机在靶标正上方0.1m处仍能检测到靶标，则根据公式(2)可以计算出内嵌最小靶标尺寸大于0.1414m，根据内嵌最小靶标和最外级靶标尺寸比为1:25，求得靶标最大尺寸为3.535m。结合步骤(2)求解的靶标最小尺寸，最终选择靶标尺寸为1.0m。
Figure BDA0002501272320000101
其中，s表示靶标边长，h表示高度距离，w表示水平距离，θ1表示相机视场角，θ3表示靶标对应成像角。
为实现上述目的，本发明提供了一种多尺度合作靶标设计方法与在线检测识别技术。如图4所示是本发明实施例提供的靶标检测流程图，包括以下步骤：
(1)无人机在接收着陆指令后通过控制机载云台相机对着陆区靶标进行搜索。
(2)对相机拍摄的YUV格式图像进行局部自适应阈值化处理后进行四边形检测。
(3)当正确识别到靶标后，将云台切换至跟踪模式。
(4)对下一帧靶标位置进行预测，在预测位置邻域范围内进行靶标检测。
(5)根据检测到的靶标位置，对无人机位姿进行解算。
(6)无人机着陆过程中，根据飞行高度以及靶标在图像中的占比切换至合适靶标进行检测。
本发明实施例提供的检测靶标四边形的方法包括以下步骤：
(1)首先将相机拍摄的YUV格式图像进行预处理得到灰度图，如图5.a所示。
(2)将灰度图用局部自适应阈值二值化。每4×4像素块作为一个局部，取以该局部为中心的8邻域区域即12×12像素块作为极值搜索区域，则4×4像素局部内阈值即为12×12像素区域内极值的平均值，即
Figure BDA0002501272320000111
然后将局部内所有像素与阈值进行比较，大于阈值的为白色，小于阈值的为黑色，如图5.b所示。
(3)对步骤(2)得到的二值图用连通域查找的方法进行边界分割。对像素按行进行两次遍历。第一次遍历时根据相邻两个像素的像素值关系给每一个像素一个ID号，即：若当前像素与前一个像素的像素值不同时，则给当前像素一个新的ID，并计算其中点坐标，该点即为边界点，并将当前像素，前一个像素ID以及中点坐标存放至哈希表；若当前像素与前一个像素的像素值相同时，则给当前像素前一个像素的ID。然后再判断当前像素8邻域内中的已访问像素中是否存在与当前像素的像素值相同，ID不同的情况，若存在，则将两个像素的ID建立双向映射关系。第二次遍历时，根据第一次遍历时建立的映射关系，将符合映射关系的像素ID改为映射关系中最小的那个ID。最后根据ID号进行聚类，如图5.d所示。
(4)将所有边界点按照与边界聚类中心点所形成的角度进行排序，继而确定了每个边界点的“相邻点”。
(5)按顺序过每个边界点拟合一条到两个“相邻点”的直线，取“相邻点”计算拟合均方误差，拟合均方误差较大的点即为候选角点。
(6)对候选角点中任意两个候选角点间的边界点用PCA处理，取主成分特征向量方向所在直线作为候选边，将侯选边拟合到四边形每一侧，排除无法形成四边形以及拟合后拐角与90°相差太大的情况。最终，选择出拟合均方误差最小的四个点作为角点，拟合的四边形作为待检四边形，如图5.e所示。
(7)对得到的所有拟合四边形进行均匀采样36个点，如图5.g所示，局部放大示意图如图5.h所示。
(8)对拟合的四边形进行边缘修饰，使用沿候选四边形的边缘的图像梯度来拟合新的边缘，如图5.f所示。在均匀间隔的采样点处，沿着边缘的法线对图像梯度进行采样，以找到具有最大梯度的位置，筛选单像素点。计算沿法线的点的加权平均值，并按照梯度量值加权。然后沿着这些加权平均点的线拟合四边形的边缘，最终得到图5.i。
如图7所示，本发明实施例提供的多尺度合作靶标设计与在线检测识别系统包括：
无人机着陆区靶标进行搜索模块1，用于基于现有的单一尺度靶标以及二维码，将每一尺度靶标中间m×m个单元格置为空白，嵌套下一尺度靶标形成多尺度合作靶标；无人机在接收着陆指令后通过控制机载云台相机对着陆区靶标进行搜索。
跟踪模式切换模块2，用于对无人机的相机拍摄的YUV格式图像进行局部自适应阈值化处理后进行四边形检测；正确识别到靶标后，将云台切换至跟踪模式。
靶标检测模块3，用于对下一帧靶标位置进行预测，在预测位置邻域范围内进行靶标检测。
靶标位置计算模块4，根据检测到的靶标位置，对无人机位姿进行解算。
适宜着陆靶标检测模块5，用于无人机着陆过程中，根据飞行高度以及靶标在图像中的占比切换至合适靶标进行检测。
以下部分是对本发明检测精度的仿真证明：
鉴于在实施操作中，由于GPS定位精度问题导致无人机飞行高度数据误差较大，影响计算本发明的检测精度，所以通过在Gazebo仿真平台上模拟无人机相机拍照成像计算检测精度。软件主界面如图8所示，通过设置相机高度参数以及角度参数，得到不同高度以及角度的靶标图像，然后将图像读取到检测程序中进行检测以及位姿解算，将解算结果与准确结果进行对比，从而得到检测精度。
在考虑位置精度的时候，不考虑角度精度，所以在仿真时采用垂直下视角度，仅设置高度参数，从大到小依次为15米、10米、6米、3米、1米、0.5米、0.1米。以1米高度结果作为示例，靶标识别结果如图9，位姿解算结果如图10 1米高度位姿解算结果。
鉴于本发明是多尺度合作靶标，故而在识别时会识别到多级靶标。图10中以尺度顺序依次显示位姿解算结果，序号越小，靶标尺度越大。在位姿解算时以识别序号为0的靶标解算结果作为靶标位置，因此1米高度时的解算高度为0.995米，误差为0.005米，满足厘米级精度要求。
将其他高度结果汇总到表格中，如下表1所示：
实际高度/米 0.1 0.5 1 3 6 10 15
解算高度/米 0.104736 0.498318 0.994824 3.00679 6.02151 10.047 15.0304
误差/米 0.004736 -0.00168 -0.00518 0.00679 0.02151 0.047 0.0304
表1 高度精度误差
对表中误差数据取绝对值可得，最大误差为0.02151米，也满足厘米级精度要求。因此本发明在高度为0.1米到15米范围内检测精度可达到厘米级。
(1)角度精度
鉴于本发明主要针对无人机精准降落的问题，因此在考虑到角度精度的时候，侧重降落过程的最后阶段，所以在仿真时将高度控制在3米以内。由于无人机具有roll(滚转角)、yaw(偏航角)、pitch(俯仰角)三个旋转方向角，所以分别设置三个旋转角度参数进行精度计算。为确保本发明角度精度覆盖降落全过程中的各尺度靶标，因此在设置角度参数的同时改变高度参数。
a.Roll
以45度roll角结果作为示例，靶标识别结果如图11(45度roll角靶标识别结果)，解算结果如图12(45度roll角位姿解算结果)。
图12中解算结果为44.9518度，误差为0.0482度，满足角度精度在5度以内。
将其他角度结果汇总，如下表2所示：
实际角度/度 -28.648 -28.6479 -57.296 45 45
解算角度/度 -33.1553 -33.1455 -57.4449 44.8732 44.9518
误差/度 -4.5073 -4.4976 -0.1489 -0.1268 -0.0482
表2roll角精度误差
对表中误差数据取绝对值可得，最大误差为4.5073度，也满足5度的精度要求。
b.Yaw
以57.3度yaw角结果作为示例，靶标识别结果如图13(57.3度yaw角靶标识别结果)，解算结果如图14(57.3度yaw角位姿解算结果)。
图14中解算结果为61.3526度，误差为4.0568度，满足角度精度在5度以内。
对其他角度结果进行汇总，如下表3所示：
实际角度/度 0 28.6479 57.2958 101.4592 147.2958
解算角度/度 0.006217 32.6986 61.3526 101.456 147.314
误差/度 0.006217 4.0507 4.0568 -0.00316 0.0182
表3yaw角精度误差
对表中误差数据取绝对值可得，最大误差为4.0568度，也满足5度的精度要求。
c.Pitch
以57.3度pitch角结果作为示例，靶标识别结果如图15(57.3度pitch角靶标识别结果)，解算结果如图16(57.3度pitch角位姿解算结果)。
图16中解算结果为57.4213度，误差为0.1255度，满足角度精度在5度以内。
对其他角度结果进行汇总，如下表4所示：
实际角度/度 -57.2958 -28.6479 28.6479 57.2958 68.75494
解算角度/度 -57.2357 -28.6277 28.6738 57.4213 68.4014
误差/度 0.06007 0.02019 0.0259 0.1255 -0.35354
表4pitch角精度误差
对表中误差数据取绝对值可得，最大误差为0.35354度，也满足5度的精度要求。
综上所述，本发明的识别检测范围可以达到15米至0.1米，并且在该范围的位置精度可以达到厘米级。同时，本发明在高度控制在3米内的条件下，角度检测精度可以控制在5度以内，因此，本发明确保实现无人机的精准降落。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多尺度合作靶标设计与在线检测识别方法，其特征在于，所述多尺度合作靶标设计与在线检测识别方法包括以下步骤：
步骤一，基于现有的单一尺度靶标以及二维码，将每一尺度靶标中间m×m个单元格置为空白，嵌套下一尺度靶标形成多尺度合作靶标；
步骤二，无人机在接收着陆指令后通过控制机载云台相机对着陆区靶标进行搜索；
步骤三，对相机拍摄的YUV格式图像进行局部自适应阈值化处理后进行四边形检测；
步骤四，正确识别到靶标后，将云台切换至跟踪模式；
步骤五，对下一帧靶标位置进行预测，在预测位置邻域范围内进行靶标检测；
步骤六，根据检测到的靶标位置，对无人机位姿进行解算；
步骤七，无人机着陆过程中，根据飞行高度以及靶标在图像中的占比切换至合适靶标进行检测。
2.如权利要求1所述的多尺度合作靶标设计与在线检测识别方法，其特征在于，步骤一中，所述m置为2，所述嵌套靶标数目为三级。
3.如权利要求1所述的多尺度合作靶标设计与在线检测识别方法，其特征在于，步骤一中，所述靶标尺寸的计算方法包括：
(I)根据技术指标利用如下公式计算靶标最小尺寸：
Figure FDA0002501272310000011
其中，s表示靶标边长，h表示高度距离，w表示水平距离，θ1表示相机视场角，θ3表示靶标对应成像角；
(II)根据如下公式计算出内嵌最小靶标尺寸：
Figure FDA0002501272310000021
其中，s表示靶标边长，h表示高度距离，w表示水平距离，θ1表示相机视场角，θ3表示靶标对应成像角；
(III)根据内嵌最小靶标和最外级靶标的尺寸比，求得靶标最大尺寸。
4.如权利要求1所述的多尺度合作靶标设计与在线检测识别方法，其特征在于，步骤二中，调整相机角度中，先调整相机俯仰角，自下而上每次15度；再调整相机平移角进行左右扫描，每扫描20度停顿一次。
5.如权利要求1所述的多尺度合作靶标设计与在线检测识别方法，其特征在于，步骤三中，在对图像进行局部自适应阈值处理时，选取4×4像素块作为一个局部，取以该局部为中心的8邻域区域即12×12像素块作为极值搜索区域，则4×4像素局部内阈值即为12×12像素区域内极值的平均值，为
Figure FDA0002501272310000022
6.如权利要求1所述的多尺度合作靶标设计与在线检测识别方法，其特征在于，步骤三中，所述进行四边形检测的方法包括以下步骤：
(1)将相机拍摄的YUV格式图像转换成灰度图；
(2)将灰度图用局部自适应阈值二值化；每4×4像素块作为一个局部，取以该局部为中心的8邻域区域即12×12像素块作为极值搜索区域，则4×4像素局部内阈值即为12×12像素区域内极值的平均值，为
Figure FDA0002501272310000023
(3)对步骤(2)得到的二值图用连通域查找的方法进行边界分割，对像素按行进行两次遍历；第一次遍历时根据相邻两个像素的像素值关系给每一个像素一个ID号，即：若当前像素与前一个像素的像素值不同时，则给当前像素一个新的ID，并计算其中点坐标，该点即为边界点，并将当前像素，前一个像素ID以及中点坐标存放至哈希表；当前像素与前一个像素的像素值相同时，则给当前像素前一个像素的ID；再判断当前像素8邻域内中的已访问像素中是否存在与当前像素的像素值相同，ID不同的情况，若存在，则将两个像素的ID建立双向映射关系；第二次遍历时，根据第一次遍历时建立的映射关系，将符合映射关系的像素ID改为映射关系中最小的那个ID；再根据ID号进行聚类；
(4)将边界点按照与边界聚类中心点所形成的角度进行排序，继而确定了每个边界点的相邻点；
(5)按顺序过每个边界点拟合一条到两个相邻点的直线，取相邻点计算拟合均方误差，拟合均方误差较大的点即为候选角点；
(6)对候选角点中任意两个候选角点间的边界点用PCA处理，取主成分特征向量方向所在直线作为候选边，将侯选边拟合到四边形每一侧，排除无法形成四边形以及拟合后拐角与90°相差太大的情况；选择出拟合均方误差最小的四个点作为角点，拟合的四边形作为待检四边形；
(7)对得到的所有拟合四边形进行均匀采样；
(8)对拟合的四边形进行边缘修饰，使用沿候选四边形的边缘的图像梯度来拟合新的边缘；在均匀间隔的采样点处，沿着边缘的法线对图像梯度进行采样，以找到具有最大梯度的位置，筛选单像素点；计算沿法线的点的加权平均值，并按照梯度量值加权，然后沿着这些加权平均点的线拟合四边形的边缘。
7.一种实施权利要求1～6任意一项所述多尺度合作靶标设计与在线检测识别方法的多尺度合作靶标设计与在线检测识别系统，其特征在于，所述多尺度合作靶标设计与在线检测识别系统包括：
无人机着陆区靶标进行搜索模块，用于基于现有的单一尺度靶标以及二维码，将每一尺度靶标中间m×m个单元格置为空白，嵌套下一尺度靶标形成多尺度合作靶标；无人机在接收着陆指令后通过控制机载云台相机对着陆区靶标进行搜索；
跟踪模式切换模块，用于对无人机的相机拍摄的YUV格式图像进行局部自适应阈值化处理后进行四边形检测；正确识别到靶标后，将云台切换至跟踪模式；
靶标检测模块，用于对下一帧靶标位置进行预测，在预测位置邻域范围内进行靶标检测；
靶标位置计算模块，根据检测到的靶标位置，对无人机位姿进行解算；
适宜着陆靶标检测模块，用于无人机着陆过程中，根据飞行高度以及靶标在图像中的占比切换至合适靶标进行检测。
8.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～6任意一项所述多尺度合作靶标设计与在线检测识别方法。
9.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～6任意一项所述多尺度合作靶标设计与在线检测识别方法。
10.一种实施权利要求1～6任意一项所述多尺度合作靶标设计与在线检测识别方法的无人机。
CN202010433150.7A 2020-05-21 2020-05-21 一种多尺度合作靶标设计与在线检测识别方法及系统 Active CN111598952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010433150.7A CN111598952B (zh) 2020-05-21 2020-05-21 一种多尺度合作靶标设计与在线检测识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010433150.7A CN111598952B (zh) 2020-05-21 2020-05-21 一种多尺度合作靶标设计与在线检测识别方法及系统

Publications (2)

Publication Number Publication Date
CN111598952A true CN111598952A (zh) 2020-08-28
CN111598952B CN111598952B (zh) 2022-07-08

Family

ID=72192421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010433150.7A Active CN111598952B (zh) 2020-05-21 2020-05-21 一种多尺度合作靶标设计与在线检测识别方法及系统

Country Status (1)

Country Link
CN (1) CN111598952B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814918A (zh) * 2020-08-31 2020-10-23 中国计量大学 一种合作靶标及靶标识别方法
CN112070814A (zh) * 2020-08-31 2020-12-11 杭州迅蚁网络科技有限公司 一种靶标角度识别方法、装置
CN114384925A (zh) * 2022-01-12 2022-04-22 上海赫千电子科技有限公司 一种车载无人机升降方法及配对方法
CN114489129A (zh) * 2022-01-24 2022-05-13 北京远度互联科技有限公司 无人机着陆方法及相关装置
CN114627395A (zh) * 2022-05-17 2022-06-14 中国兵器装备集团自动化研究所有限公司 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端
CN114689030A (zh) * 2022-06-01 2022-07-01 中国兵器装备集团自动化研究所有限公司 一种基于机载视觉的无人机辅助定位方法及系统
CN116067290A (zh) * 2023-03-07 2023-05-05 西安航天动力研究所 一种发动机静力试验的位移测试方法及位移测试系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103809598A (zh) * 2014-03-12 2014-05-21 北京航空航天大学 一种基于三层品字形多色降落坪的旋翼无人机自主起降系统
CN106527487A (zh) * 2016-12-23 2017-03-22 北京理工大学 一种运动平台上无人机自主精确着陆系统及着陆方法
CN106546233A (zh) * 2016-10-31 2017-03-29 西北工业大学 一种面向合作目标的单目视觉定位方法
US20180229840A1 (en) * 2015-07-09 2018-08-16 South China Agricultural University Falling-resistant and Anti-Drifting Unmanned Aerial Vehicle
CN108873917A (zh) * 2018-07-05 2018-11-23 太原理工大学 一种面向移动平台的无人机自主着陆控制系统及方法
CN109911231A (zh) * 2019-03-20 2019-06-21 武汉理工大学 基于gps和图像识别混合导航的无人机自主着舰方法与系统
CN210072415U (zh) * 2019-03-22 2020-02-14 沈阳上博智像科技有限公司 一种无人机合作目标识别视觉辅助着陆的系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103809598A (zh) * 2014-03-12 2014-05-21 北京航空航天大学 一种基于三层品字形多色降落坪的旋翼无人机自主起降系统
US20180229840A1 (en) * 2015-07-09 2018-08-16 South China Agricultural University Falling-resistant and Anti-Drifting Unmanned Aerial Vehicle
CN106546233A (zh) * 2016-10-31 2017-03-29 西北工业大学 一种面向合作目标的单目视觉定位方法
CN106527487A (zh) * 2016-12-23 2017-03-22 北京理工大学 一种运动平台上无人机自主精确着陆系统及着陆方法
CN108873917A (zh) * 2018-07-05 2018-11-23 太原理工大学 一种面向移动平台的无人机自主着陆控制系统及方法
CN109911231A (zh) * 2019-03-20 2019-06-21 武汉理工大学 基于gps和图像识别混合导航的无人机自主着舰方法与系统
CN210072415U (zh) * 2019-03-22 2020-02-14 沈阳上博智像科技有限公司 一种无人机合作目标识别视觉辅助着陆的系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAMIE WUBBEN等: "A vision-based system for autonomous vertical landing of unmanned aerial vehicles", 《2019 IEEE/ACM 23RD INTERNATIONAL SYMPOSIUM ON DISTRIBUTED SIMULATION AND REAL TIME APPLICATIONS (DS-RT)》 *
郭砚辉: "面向无人机-艇协同的计算机视觉辅助关键技术研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814918A (zh) * 2020-08-31 2020-10-23 中国计量大学 一种合作靶标及靶标识别方法
CN112070814A (zh) * 2020-08-31 2020-12-11 杭州迅蚁网络科技有限公司 一种靶标角度识别方法、装置
CN111814918B (zh) * 2020-08-31 2020-12-29 中国计量大学 一种合作靶标及靶标识别方法
CN114384925A (zh) * 2022-01-12 2022-04-22 上海赫千电子科技有限公司 一种车载无人机升降方法及配对方法
CN114384925B (zh) * 2022-01-12 2024-04-12 上海赫千电子科技有限公司 一种车载无人机升降方法及配对方法
CN114489129A (zh) * 2022-01-24 2022-05-13 北京远度互联科技有限公司 无人机着陆方法及相关装置
CN114627395A (zh) * 2022-05-17 2022-06-14 中国兵器装备集团自动化研究所有限公司 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端
CN114627395B (zh) * 2022-05-17 2022-08-05 中国兵器装备集团自动化研究所有限公司 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端
CN114689030A (zh) * 2022-06-01 2022-07-01 中国兵器装备集团自动化研究所有限公司 一种基于机载视觉的无人机辅助定位方法及系统
CN116067290A (zh) * 2023-03-07 2023-05-05 西安航天动力研究所 一种发动机静力试验的位移测试方法及位移测试系统

Also Published As

Publication number Publication date
CN111598952B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN111598952B (zh) 一种多尺度合作靶标设计与在线检测识别方法及系统
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN111968128B (zh) 一种基于图像标记的无人机视觉姿态和位置解算方法
CN106951879B (zh) 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN105302151B (zh) 一种飞机入坞引导和机型识别的系统及方法
CN103149939B (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
EP3196853A1 (en) Machine vision-based method and system for aircraft docking guidance and aircraft type identification
CN103697855B (zh) 一种基于海天线检测的船体水平姿态测量方法
CN113657256B (zh) 一种无人艇载无人机海空协同视觉跟踪与自主回收方法
CN104536009A (zh) 一种激光红外复合的地面建筑物识别及导航方法
CN103136525B (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN110569861B (zh) 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN106780560B (zh) 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
CN107677274A (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN107886541B (zh) 基于反向投影法的单目运动目标位姿实时测量方法
CN112184765B (zh) 一种用于水下航行器的自主跟踪方法
CN113066050B (zh) 一种基于视觉的空投货台航向姿态解算方法
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
Wang et al. Autonomous landing of multi-rotors UAV with monocular gimbaled camera on moving vehicle
CN111273701B (zh) 一种云台视觉控制系统以及控制方法
CN105447431B (zh) 一种基于机器视觉的入坞飞机跟踪定位方法及系统
CN110472451B (zh) 一种基于单目相机的面向agv定位的人工地标及解算方法
CN115239822A (zh) 分体式飞行车辆多模块间实时视觉识别定位方法及系统
CN109358315B (zh) 一种辅助目标间接定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant