CN206177293U - 旋翼无人机机载视觉探测与多目标定位系统 - Google Patents

Abstract

本实用新型公开了一种旋翼无人机机载视觉探测与多目标定位系统，属于定位导航与控制技术领域。包括机载子系统和地面监视子系统，机载子系统包括视频采集单元、图像处理单元和图传发射端，视频采集单元采集的图像由图像处理单元处理后经图传发射端发送到地面监视子系统；地面监视子系统包括地面站和与地面站连接的图传接收端，图传接收端与图传发射端通信。本实用新型结构紧凑，与旋翼无人机实现完美的融合，便于旋翼无人机的飞行与控制，从而有效保证了目标定位的精度并实现多目标定位。

Description

旋翼无人机机载视觉探测与多目标定位系统

技术领域

本实用新型涉及一种动态定位系统，具体讲是一种旋翼无人机机载视觉探测与多目标定位系统与实现方法，属于定位导航与控制技术领域。

背景技术

旋翼无人机具有机动性好、可悬停、可垂直起降、成本低等优点，在军事侦察、电力巡检、海上补给、农作物植保、货物搬运等领域有着非常广阔的应用前景。机载视觉探测与目标定位系统是旋翼无人机的重要组成部分，在旋翼无人机执行任务时发挥着重要作用。视觉系统具有重量轻、体积小、功耗低、精度高、隐蔽性好等优势，国内外已经展开了对无人机视觉系统的广泛研究，涵盖了目标跟踪、电力巡检、自主着陆等众多领域。

目前视觉探测与目标定位系统实现主要有两种形式，一种是视觉处理部分设置在地面，机载相机捕获目标图像后，通过无线电把图像信息传回地面，地面上的图像处理计算机解算出目标的信息，再传回无人机供飞控系统使用，该类系统对地面设备的功率、体积、处理能力等都没有限制，但会受到信号传输延迟的影响；另一种是视觉处理部分设置在无人机上，这种方式避免了通过无线电来传递信息的时间延迟，实时性与可靠性大大提高，但要求机载视觉处理设备体积小、重量轻，功率也不能太大，限制了计算处理能力。从视觉处理算法角度看，以往国内外在视觉探测与定位方面的研究针对单目标的相对较多，随着无人机越来越受关注，需要对多目标探测定位的场合越来越多，但现有技术无法进行多目标定位，难以满足正常的使用需求。

实用新型内容

本实用新型所要解决的技术问题在于克服现有技术缺陷，提供一种能实现多目标定位的旋翼无人机机载视觉探测与多目标定位系统的设计与实现方法。

为了解决上述技术问题，本实用新型提供的旋翼无人机机载视觉探测与多目标定位系统，包括机载子系统和地面监视子系统，所述机载子系统包括视频采集单元、图像处理单元和图传发射端，视频采集单元采集的图像由图像处理单元处理后经图传发射端发送到地面监视子系统；所述地面监视子系统包括地面站和与地面站连接的图传接收端，所述图传接收端与图传发射端通信。

本实用新型中，所述视频采集单元包括相机和自稳定云台，所述安装相机在自稳定云台上，自稳定云台保持相机光轴指向地面并与地面相垂直。

本实用新型中，所述图传接收端与图传发射端之间采用单工通信。

本实用新型还提供了上述旋翼无人机机载视觉探测与多目标定位系统的实现方法，包括以下步骤：

1)、采用棋格盘标定法对相机进行标定，得到相机的内参数，然后对相机采集到的每一幅待识别的原始图像进行校正去除畸变；

2)、将校正后的原始图像由YCbCr格式转换成HSV格式；

3)、设每幅原始图像中均设有A色圆形区域，且A色圆形区域与周围场景色彩、大小区分明显，然后对图像的H、S、V三个通道采用固定阈值的方式，进行二值化处理；

4)、对二值化后的图像作形态学开运算，去掉图像中的孤立噪点，利用种子生长法寻找图像中所有的连通区域，其中面积符合设定阈值大小的连通区域为感兴趣区域，作为潜在目标；

5)、在同一图像中多个相同的目标内设置辅助信标，对目标进行区分并锁定；

6)、利用改进的Hough变换找圆算法确定各目标中心；

7)、根据相机成像模型完成目标位置解算。

本实用新型中，包括在所述步骤4)的感兴趣区域去除伪目标的步骤：利用目标中A色区域内部嵌套B色区域的特征，执行步骤3)，对B色区域的面积进行判断，符合设定的阈值大小的为潜在目标，否则为伪目标。

本实用新型中，所述步骤5)在多个相同的目标内设置辅助信标的过程为：对于由A色圆形区域内部嵌套B色圆形区域构成的多个相同的感兴趣区域，采用在A色区域中放置不同形状、数量的C色信标来辅助区分，标识多个相同的目标。

本实用新型中，所述步骤6)的具体步骤为：

61)、在圆C上选取K、L、M三点，KL和LM构成两条不平行的弦，KL和LM的中垂线l_KL、l_LM相交于圆心O，KO是圆C的半径。

62)、设K、L、M三点的坐标为K(x₁,y₁)、L(x₂,y₂)、M(x₃,y₃)，则由点斜法可知两条中垂线l_KL和l_LM的方程分别为：

l_KL:y＝k_KLx+b_KL (1)

l_LM:y＝k_LMx+b_LM (2)

式中

63)、根据l_KL和l_LM的方程可以计算出圆心坐标和圆半径：

64)、设边界点总数为N个，每一组点用K_ij、L_ij、M_ij表示，每取Q组点视为一个周期，下标i表示周期数(i∈[1,T])，j表示每个周期内点的组数(j∈[1,Q])，T值的大小决定了总共选取的点组数；第i个周期内第一组点由初始点K_i、L_i、M_i确定，如式如(6)；

上式中k为比例系数，且i∈[1,T]，k＝1。

相邻点组之间都相差相同的步距值S_i，如式(7)所示

式中，S₁＝S₂＝…＝S_T＝N/8，每个周期内点的组数Q的取值跟随N的变化Q＝N。

本实用新型中，所述T取值为5。

本实用新型的有益效果在于：(1)、本实用新型结构紧凑，与旋翼无人机实现完美的融合，便于旋翼无人机的飞行与控制，从而有效保证了目标定位的精度并实现多目标定位；(2)、自稳定云台保持相机光轴指向地面并与地面相垂直，可以简化旋翼无人机姿态等运动对相机姿态带来的耦合影响；(3)、图传接收端与图传发射端之间采用单工通信，保证系统运行的可靠性；(4)、利用圆的几何特性改进了经典的Hough变换圆检测算法，在保证识别精度的同时大大降低了运算量，提高了算法运行效率；采用区分多个相同目标的方案与算法，其冗余机制增强了方案的可靠性，具有很强的实用和推广价值。

附图说明

图1为本实用新型旋翼无人机机载视觉探测与多目标定位系统架构图；

图2为程序总控流程图；

图3为多目标区分图；

图4为改进的Hough变换原理图；

图5为拟合效果图像；

图6为在X方向解算误差对比曲线；

图7为在Y方向解算误差对比曲线；

图8为不同相机高度对精度影响曲线。

具体实施方式

下面结合附图对本实用新型的技术方案作进一步详细说明。

如图1所示，本实用新型旋翼无人机机载视觉探测与多目标定位系统，以达芬奇系列的TMS320DM6437处理器为平台搭建，由机载子系统和地面监视子系统组成。机载子系统包括相机、自稳定云台、图像处理单元和图传发射端，相机安装在自稳定云台上，自稳定云台保持相机光轴指向地面并与地面相垂直，图像处理单元连接图传发射端。相机将采集到的图像传输到图像处理单元处理后再由图传发射端传输到地面监视子系统。

地面监视子系统由图传接收端和地面站组成，图传接收端与图传发射端进行单工通信，即只由机载子系统通过图传发射端向地面监视子系统实时发送处理过的图像信息，图传接收端只用于接收图传发射端发射的图像信息。地面站通图传接收端接收图传发射端发送来的图像，并实时显示，用于监视机载系统的运行状态是否正常。

本实用新型中，相机采集目标及周围场景的图像信息，图像处理单元对目标图像信息进行处理和目标检测，结合行控制子系统发送来的任务命令与无人机位置、姿态等信息，解算出目标的位置信息，然后将目标位置信息发送给旋翼无人机自身的飞行控制系统，以供其更好的进行飞行决策。

本实用新型中，相机采用Hero gopro3+运动相机，其广角镜头增大了视觉探测的视野。为了克服旋翼无人机姿态变化对相机采集带来的影响，将相机安装在自稳定云台，保证相机光轴始终垂直地面朝下。图像传输选用大疆5.8GHz图传套件，其中图传发射端安装在旋翼无人机上，把相机采集到的图像实时传送到地面监视子系统，地面监视子系统的图传接收端接收图像，并通过图像采集卡实时把图像显示在地面站上。

机载子系统与飞行控制系统之间通过串口进行通信，采用双工通信方式，飞行控制系统将当前任务号、无人机状态位置等信息发送给视觉系统，机载子系统根据不同的任务指令，执行不同的任务，然后将探测到的目标位置发送给飞控系统，以便飞控系统执行更好的飞行决策。

本实用新型的软件设计架构充分利用DSP/BIOS提供的多线程技术，把图像处理过程作为主线程，与飞行控制系统的计算机通信的串口发送和接收数据分别为两个独立的线程，它们的优先级高于主线程，数据接收以硬件中断方式触发，数据发送以定时方式触发。为了加速图像数据流的输入输出，主线程中图像的采集和送显采用乒乓操作，达到了数据流串并转换的效果。由于不同的任务需要机载视觉系统探测的目标不同(所以在主线程中会根据不同的任务号，选择不同的图像处理算法，实现对不同目标的检测，完成不同的任务。程序总控流程图，如图2所示。

本实用新型旋翼无人机机载视觉探测与多目标定位系统，具体处理实现过程如下：

(1)、旋翼无人机飞到目标上空附近位置后，启动机载子系统，采用张正友的棋格盘标定法对相机进行标定，得到相机的内参数，相机采集目标及周围场景的图像信息，然后对图像处理单元采集到的每一幅原始图像进行校正，得到去除畸变后的图像。该校正过程主要是去除相机广角镜头带来的图像畸变。

(2)、图像处理单元采集到的原始图像为YCbCr格式，为了方便设定颜色阈值对图像进行二值化，避免图像亮度变化带来的影响，将图像由YCbCr格式转到与人的视觉系统一致的HSV格式。HSV色彩空间包含图像的色调、饱和度、亮度三个通道的信息，三个通道互相独立，以大大简化了图像处理和分析的工作量。

(3)、设待识别的目标中有较大比例的蓝色区域，且目标周围场景中很少有与目标颜色、大小一致的干扰，所以可以先通过区分颜色信息对目标与背景进行初步的区分。这里对图像的H、S、V三个通道采用固定阈值的方式，对彩色图像二值化。

(4)、为了在整幅图像中得到感兴趣区域，先对二值化后的图像作形态学开运算，去掉图像中的孤立噪点，然后利用种子生长法寻找图像中所有的连通区域，其中面积符合设定阈值大小的连通区域为感兴趣区域，是潜在目标。因为相机与目标的距离不同会导致目标在图像中的成像大小不一致，所以连通区域面积的阈值为动态阈值，根据事先标定好不同相机高度与不同的阈值大小的一一映射关系，建立映射表，采用查表的方法确定动态阈值，此方法为本领域的公知技术，本实用新型在此不再详述。

(5)、感兴趣区域中可能会存在一些伪目标，利用目标蓝色大圆环内部嵌套红色小圆的特征，采用上述(3)-(4)步同样的方法，对红色圆环的面积进行判断，符合设定的阈值大小的为潜在目标，否则为伪目标。

(6)、对同一图像中多个相同的目标进行区分，是实现多目标探测中关键的一步，本实用新型采用放置辅助信标的方法，如图3所示，对于由绿色小圆和蓝色圆环分别构成的四个相同目标，采用在蓝色圆环区域中放置不同形状、数量的黄色信标来区分，信标分为实心矩形C和空心矩形D两种，每种形状按照一字型放置两块和十字型放置四块，可以标识四个相同的目标。

对目标区分的判别规则充分利用了信标的数量和位置信息，实现了一种冗余机制。如图3所示,从左到右依次为1—4号目标，以1号和3号目标为例，当识别出实心矩形数为2个并且两个实心矩形的中心与圆心的连线成180度角或者只识别出其中一个实心矩形时，都认为是1号目标；当实心矩形数数为2个、3个或4个，且其中至少有2个实心黄块的中心与圆心的连线成90度角时，认为是3号目标。以此类推，确定2号和4号目标。这种对多目标的冗余区分方式使其具有极强的鲁棒性，经大量试验测试，对于旋翼无人机往四个目标区域码放货物时对部分信标产生遮挡，或部分信标不能准确识别出来的情况，该方法仍能确定。

(7)、Hough变换是一种采用表决原理的参数估计技术，它所实现的是一种从图像空间到参数空间的映射关系，由于具有一些明显优点，引起了许多国内外学者和工程技术人员的普遍关注。本实用新型对经典的Hough变换找圆算法进行了改进，充分利用圆的几何性质，根据圆上任意两条不平行的弦的中垂线相交于圆心来确定参数。

首先，在圆C上选取K、L、M三点，KL和LM构成两条不平行的弦，KL和LM的中垂线l_KL、l_LM相交于圆心O，KO是圆C的半径，如图4所示。

其次，设K、L、M三点的坐标为K(x₁,y₁)、L(x₂,y₂)、M(x₃,y₃)，则由点斜法可知两条中垂线l_KL和l_LM的方程分别为：

l_KL:y＝k_KLx+b_KL (1)

l_LM:y＝k_LMx+b_LM (2)

式中

根据l_KL和l_LM的方程可以计算出圆心坐标和圆半径：

由K、L、M一组点可以唯一确定一组圆的参数[x₀,y₀,R]，表决结果的好坏取决于点组的选取。考虑到边界点的保存顺序是根据遍历先后顺序决定的，为了提高算法对噪声和圆弧长短不同的鲁棒性，在选择点组时采用动态步距的方法。

再次，设边界点总数为N个，每一组点用K_ij、L_ij、M_ij表示，每取Q组点视为一个周期，下标i表示周期数(i∈[1,T])，j表示每个周期内点的组数(j∈[1,Q])，周期T值的大小决定了总共选取的点组数。第i个周期内第一组点由初始点K_i、L_i、M_i确定，计算公式如(6)所示，且相邻点组之间都相差相同的步距值S_i，如公式(7)所示。

上式中k为比例系数，且i∈[1,T]。

式中i∈[1,T]。

处理过程中，一般边界点个数为100个左右，由于边界点个数相对较少，令(6)式中的k＝1，为了便于调试，取S₁＝S₂＝…＝S_T＝N/8，每个周期内点的组数Q的取值要跟随N的变化而变化，这里取Q＝N。经实验测试，周期T值为5时该算法既能达到比较高的精度，又能得到比较好的运行效率。该点组的选取方式可以有效提高对噪声和较短圆弧的鲁棒性，在圆弧较短时仍可以拟合出目标位置，如图5(a)、(b)所示。目标的高度会产生立体视觉效应，导致相机在不同的方向拍摄时，目标成像相差较大，该算法仍可以较准确地拟合出目标位置，如图5(c)、(d)所示。

(8)、目标位置解算。解算过程是目标中心在像素坐标系下的像素坐标到图像坐标系坐标的转换，即像素坐标到物理坐标的转换，转换公式为：

其中(u,v,1)^T为目标中心在像素坐标下的齐次坐标，单位为：像素；(x,y,1)^T为目标中心在图像坐标下的齐次坐标，单位为：毫米；转换矩阵即为相机的内参数矩阵，(u₀,v₀)^T为相机光心在像素坐标系下的坐标，(f_x,f_y)^T为相机光心在像素坐标系下的坐标。

(9)、将解算得到的目标位置发送至飞行控制系统进行飞行决策。

为证明本实用新型技术方案的有效性，以下分别采用静态实验和机载实验进行验证。

(1)、静态实验。为了对视觉探测与定位精度进行测试，以及方便程序调试，搭建了静态测试平台，把相机和自稳定云台架在倒L型可调高度的支架上，待检测目标放在一个只能前后方向运动的小车上，小车前后运动可以使目标相对相机在X方向或Y方向的偏移量发生变化。

考虑到测试的全面性，分别对X方向、Y方向、不同相机高度下的情况做了对比测试，如图6、图7、图8所示。系统工作时，相机高度在140cm至240cm之间，测试X方向精度时，目标在Y方向的偏移量随机固定，在X方向取多组不同的测试点，每组测试点间距为10cm，记录每组测试点目标的实际偏移量，并与定位结果进行对比，实验结果表明视觉系统在X方向解算误差为±1cm；同样的方法测得Y方向解算误差为±1.5cm。为了测试相机高度变化对定位精度带来的影响，令目标在X、Y方向的偏移量随机固定，记录相机在不同高度时系统解算出的目标偏移量，并与实际偏移量进行对比，选取多个不同的目标位置，进行多组测试，结果表明相机高度变化给系统定位精度带来的误差在±4cm以内。

可以看出当相机高度固定时，视觉系统在X，Y方向的误差比较小，基本在±1.5cm以内，误差来源可能是由测量误差带来的；相机不同高度对系统精度带来的影响主要是手动调整相机高度时，相机的位置会围绕支架产生轻微旋转，带来实验操作误差，该误差约为2～3cm，去掉操作误差，相机不同高度对探测精度带来的误差基本上在±2cm以内。

(2)、机载实验。为了对视觉系统的鲁棒性、实时性以及检探精度进行测试，以亚拓800E航模改装的旋翼无人直升机为平台，搭建了机载视觉探测与多目标定位系统。经过大量实验验证，本实用新型机载视觉探测与多目标定位系统在不同的天气条件下，都可以完成对多目标的区分与精确定位，具有很强的鲁棒性。视觉系统与飞行控制系统形成闭环，可以实现对静目标、动目标的实时跟踪，说明本实用新型机载视觉探测与多目标定位系统具有较好的实时性和较高的探测精度。

本实用新型以TMS320DM6437为平台，搭建了机载视觉探测与目标定位系统，分别在静态平台和机载平台完成了对多目标的精确检测，进行了大量的实验并取得了较好的效果，验证了系统的可靠性、鲁棒性、实时性以及较高的探测精度。

以上所述仅是本实用新型的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本实用新型的保护范围。

Claims (3)

1.一种旋翼无人机机载视觉探测与多目标定位系统，其特征在于：包括机载子系统和地面监视子系统，所述机载子系统包括视频采集单元、图像处理单元和图传发射端，视频采集单元采集的图像由图像处理单元处理后经图传发射端发送到地面监视子系统；所述地面监视子系统包括地面站和与地面站连接的图传接收端，所述图传接收端与图传发射端通信。

2.根据权利要求1所述的旋翼无人机机载视觉探测与多目标定位系统，其特征在于：所述视频采集单元包括相机和自稳定云台，所述相机安装在自稳定云台上，自稳定云台保持相机光轴指向地面并与地面相垂直。

3.根据权利要求2所述的旋翼无人机机载视觉探测与多目标定位系统，其特征在于：所述图传接收端与图传发射端之间采用单工通信。