CN108921896A - 一种融合点线特征的下视视觉罗盘 - Google Patents

Abstract

本发明公开了一种融合点线特征的下视视觉罗盘，属于定位设备技术领域。该视觉罗盘包括采用下视安装的摄像头和处理器。摄像头实时采集图像序列，处理器首先对采集的图像序列基于密度聚类创建图像部分点特征，其次创建线特征，最后进行点线特征两步融合得到载体最终的航向角。本发明误差累计小，对噪声和环境变化的鲁棒性好，计算效率和准确性高，使用方便，能够在有磁场干扰的环境和空中作业的任务中工作，更适用于无人机的飞行任务。

Description

一种融合点线特征的下视视觉罗盘

技术领域

本发明涉及定位设备技术领域，尤其涉及一种融合点线特征的下视视觉罗盘。

背景技术

近年来，无人机在危险枯燥的任务和恶劣的工作环境中发挥着重要的作用，例如：航拍、植保、灾难救援、电力巡检等。作为一种新生力量，无人机得到了越来越多的研究机构和政府的重视与投入。自主导航功能是无人机实现上述任务的重要基础，而实现可靠准确的自主导航，无人机必须能够准确地获得航向信息，即拥有良好的定向功能。

根据无人机任务的特殊性以及飞行速度较快的特点，航向测量系统需要有非常可靠和较高实时性的特点，并且对环境变化拥有较好的鲁棒性。

传统的航向测量系统有：惯性导航系统(Inertial Navigation System，INS)、全球定位系统(Global Positioning System,GPS)，以及磁罗盘。其中惯导系统自主可靠，但是存在累计误差和温漂，无法长期独立工作；GPS仅在室外可用，且单点GPS悬停时航向信息不可用，高精度的差分GPS成本高，双天线GPS要实现高精度测量必须增大其基线长度(至少1m)，因此使用受限；传统的磁罗盘受磁场干扰大，在强磁或高压电线附近无法正常工作。

目前，视觉导航技术也得到了较大的发展，但是摄像头精度较低且实时性不高，因此单纯依靠视觉的导航系统未能满足无人机的工作要求。

单纯利用视觉信息进行航向角测量的视觉罗盘技术，由于均采用前视安装的摄像头，且多数采用全景摄像头，得到的图像序列可用信息少，且全景摄像头分辨率低、畸变严重、计算量大。部分视觉罗盘采用纯旋转的单目摄像头或多个采集水平方向不同角度的单目摄像头，方法复杂程度高，且设备安装困难。此外采集水平方向图像的摄像头在无人机高空作业时采集到的图像中有用信息非常少，因此现有的视觉罗盘无法满足无人机作业的要求。

发明内容

本发明的目的在于提供一种融合多种特征的视觉罗盘，其能获得可靠稳定且精度较高的无人机航向角信息，克服了现有罗盘技术中环境因素干扰大、数据不可靠等不足，同时避免了使用畸变大且预处理过程复杂的全景摄像头。

本发明的目的是通过以下技术方案来实现的：一种融合点线特征的下视视觉罗盘，包括采用下视安装的摄像头和处理器；所述摄像头实时采集图像序列；所述处理器首先对采集的图像序列基于密度聚类创建图像部分点特征，其次创建线特征，最后进行点线特征两步融合得到载体最终的航向角；

所述基于密度聚类创建图像部分点特征具体为：对原始图像提取特征点，并对提取的特征点进行聚类后计算每个类簇的一个代表点，进而计算类簇代表点的描述子并匹配当前帧与关键帧的类簇代表点，匹配上的类簇代表点即为基于密度聚类创建的图像部分点特征；

所述创建线特征具体为：提取候选直线，计算候选直线的描述子，并匹配当前帧和关键帧的线特征，由匹配线特征对创建图像另一部分点特征，同时利用匹配线特征对的幅角差计算由匹配线特征对创建的摄像头当前帧相对于关键帧的航向角增量ΔΨ_l；

所述点线特征两步融合具体为：第一步融合，将基于密度聚类创建的图像一部分点特征和由匹配线特征对创建的图像另一部分点特征共同作为图像的点特征，构建一系列线矢量，计算摄像头当前帧相对于关键帧的航向角增量ΔΨ_p；第二步融合，将ΔΨ_l与ΔΨ_p进行融合，得到最终摄像头当前帧相对于关键帧的航向角增量ΔΨ，进一步计算即可得到摄像头当前帧相对于第一帧的航向角

进一步地，所述下视安装的摄像头，采用单目摄像头，安装于两轴或三轴稳定云台，使得摄像头始终采集到的是地面的水平俯视图，图像采集平面不会随着载体的横滚角和俯仰角而变化。

进一步地，所述基于密度聚类创建图像部分点特征，首先提取当前帧图像的ORB特征点，采用基于密度的聚类方法DBSCAN对提取的ORB特征点进行聚类，对聚类后的每一个类簇计算该类簇的代表点，类簇代表点是由该类簇中所有ORB特征点的位置计算得到的中心点或者重心点，进而计算类簇代表点的描述子，匹配当前帧的类簇代表点和关键帧的类簇代表点，并利用以下两个条件去除误匹配的代表点：(1)代表点对应类簇的点数差小于设定的点数差阈值T_Δcs；(2)代表点的距离差小于设定的距离阈值T_Δcd，同时满足以上两个条件的匹配代表点对作为来自聚类的点特征。

进一步地，所述创建线特征，首先运用EDlines方法提取候选直线，计算候选直线的LBD描述子，接着根据直线的一元几何属性即近似的全局旋转角和局部外观相似性即LBD描述子匹配当前帧和关键帧的线特征，生成候选匹配线特征对，再计算候选匹配线特征对的一致性得分；并根据一致性得分创建邻接矩阵，寻找使得总的一致性得分最大化的线特征匹配簇，该线特征匹配簇即为最终的匹配线特征对集合。

进一步地，所述由匹配线特征对创建图像另一部分点特征，是将每一对匹配线特征对的中点作为另一部分图像点特征；所述利用匹配线特征对的幅角差计算由匹配线特征对创建的摄像头当前帧相对于关键帧的航向角增量ΔΨ_l是通过计算每一对匹配线特征对的幅角差，再将得到的一组幅角差进行中值滤波后得到的。

进一步地，对点线特征的第一步融合具体为：利用来自聚类的点特征与来自线特征的点特征，共同作为图像的点特征，每两对匹配点构建一对匹配线矢量，并计算每一对匹配线矢量的幅角差，通过中值滤波后的幅角差作为来自点特征的摄像头当前帧相对于关键帧的航向角增量ΔΨ_p。

进一步地，对点线特征的第二步融合具体为：利用来自线特征的摄像头当前帧相对于关键帧的航向角增量ΔΨ_l和来自点特征的摄像头当前帧相对于关键帧的航向角增量ΔΨ_p，取加权均值后作为最终摄像机当前帧相对于关键帧的航向角增量ΔΨ，该摄像机当前帧相对于关键帧的航向角增量ΔΨ加关键帧相对于第一帧的航向角即为当前帧相对第一帧的航向角

进一步地，所述视觉罗盘得到的是当前帧相对第一帧的航向角，所述第一帧设置为关键帧，航向角设置为0°，第一帧只进行线特征和点特征的提取，不进行匹配和航向角增量的计算以及点线特征融合。

进一步地，所述关键帧用于减少方法的累计误差，关键帧的更新机制如下：(1)若当前帧与关键帧之间的帧数大于关键帧最大间隔T_kN，则将当前帧设置为关键帧；(2)若当前帧中匹配的点特征数小于匹配的图像点特征对数最小值T_pN且匹配的线特征数小于匹配的线特征对数最小值T_lN，则将当前帧设置为关键帧。

进一步地，该视觉罗盘适用于无人机飞行任务，尤其是在悬停及电磁场干扰较大的环境。

与现有技术相比，本发明的有益效果是：本发明采用常见的单目摄像头，无需标定数据和对环境的先验知识，使得视觉罗盘的使用更方便和具有普适性，方法中采用关键帧技术，减少了计算的误差累计并提高了计算效率。此外采用聚类的方法进行点特征的提取，大大减少了点特征的数量从而提高了计算效率降低了存储需求，使得点特征对噪声的鲁棒性大幅提高。而点线特征融合的方式提升了方法的鲁棒性和准确性，并能够适应特征特性不同的环境，从而更适用于无人机的飞行任务。

附图说明

图1为本发明视觉罗盘的整体流程图；

图2为本发明视觉罗盘中基于密度聚类创建图像部分点特征的流程图；

图3为本发明视觉罗盘中创建线特征的流程图；

图4为本发明视觉罗盘中点线特征两步融合的流程图。

具体实施方式

本发明实施例提供了一种融合点线特征的下视视觉罗盘，用于测量三维空间中载体的航向角，可以可靠地以高实时性、高精度的方式提供载体的航向角信息。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例的附图对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都应当属于本发明保护的范围。

本发明采用下视安装的摄像头实时地采集图像序列，对采集到的图像需要进行以下预处理过程：

(1)将输入的图像转换为灰度图，并复制为两幅图像，分别为适用于密度聚类的灰度图和创建线特征的灰度图；

(2)判断当前帧是否为第一帧，如果是第一帧图像，处理过程与普通帧不同：对适用于密度聚类的灰度图执行基于密度的聚类，寻找类簇中心点并计算每个类簇中心点的描述子；对适用于创建线特征的灰度图执行EDlines算法提取候选直线，然后计算候选直线的LBD描述子。接着设置第一帧为关键帧，设置第一帧的航向角为0°(也可以根据需要设置为其它值)，然后采集第二帧图像；如果是普通帧图像(非第一帧图像)处理过程参照图1，且本发明对每一个非第一帧的处理方法一致。

图1是本发明提供的一种融合点线特征的下视视觉罗盘的整体流程图，参照图1，对采集的图像序列执行以下三个步骤：(1)基于密度聚类创建图像部分点特征；(2)创建线特征；(3)进行点线特征两步融合得到载体最终的航向角。具体方法如下：

所述步骤(1)如图2所示，图2是基于密度聚类创建图像部分点特征的流程图。参照图2，首先在适用于密度聚类的灰度图中提取ORB特征，然后采用DBSCAN算法对提取出来的ORB特征进行密度聚类，接着寻找每一个类簇的中心点并计算类簇中心点的描述子，根据计算出来的类簇中心点的描述子，对当前帧的类簇中心和关键帧中的类簇中心进行暴力匹配得到粗匹配的类簇中心点，再根据匹配的类簇点数差和类簇中心点对的距离，对粗匹配的类簇中心点执行去除误匹配操作，该操作需满足以下两个条件：

(1)

(2)

其中：

——当前帧中匹配类簇的点数；

——关键帧中匹配类簇的点数；

——当前帧中匹配类簇中心点的位置；

——关键帧中匹配类簇中心点的位置；

T_Δcs——由匹配的类簇中心点对所在的类簇点数差的最大值，根据经验，本实施例中取值8，可根据使用环境的变化改变该值的大小；

T_Δcd——匹配类簇中心点对之间的最大距离，根据经验，本实施例中取值40，可根据使用环境的变化改变该值的大小。

去除误匹配后的匹配的类簇中心点对即为密度聚类创建图像部分点特征步骤的输出，该中心点对即为图像的部分点特征。

所述步骤(2)如图3所示，图3是创建线特征的流程图。参照图3，首先对适用于创建线特征的灰度图执行EDlines算法提取候选直线，然后计算候选直线的LBD描述子，接着根据直线的一元几何属性即近似的全局旋转角和局部外观相似性即LBD描述子匹配当前帧和关键帧的线特征，生成候选匹配线特征对，再计算候选匹配线特征对的一致性得分；并根据一致性得分创建邻接矩阵，寻找使得总的一致性得分最大化的线特征匹配簇，该线特征匹配簇即为最终的匹配线特征对集合。

所述步骤(3)如图4所示，图4是点线特征两步融合的流程图。参照图4，步骤(3)的输入是步骤(1)输出的匹配的类簇中心点对和步骤(2)输出的匹配的线特征对。对步骤(2)输出的匹配的线特征对，首先判断其数量是否不少于最少匹配线特征对数T_lN(本实施例中设置为1，也可以根据需要设置为大于1的值)，如果满足条件说明线特征匹配成功。然后对匹配线特征对中的每一条线段计算中点和幅角，得到的匹配线特征对的中点，在当前帧和关键帧中也是匹配的，是图像除基于密度聚类得到的匹配类簇中心点对外的另一部分点特征；而得到的幅角，通过计算当前帧和关键帧图像中的匹配线的幅角差可以直接得到一组当前帧相对于关键帧的航向角增量，再对上述得到的一组当前帧相对于关键帧的航向角增量进行中值滤波即可得到由匹配的线特征对得到的当前帧相对于关键帧的航向角增量ΔΨ_l。具体计算如下：

ΔΨ_l＝median(ΔΨ_li) (2)

i＝0,1,…,m-1

其中：

——当前帧中第i条线特征的幅角；

——关键帧中第i条线特征的幅角；

ΔΨ_li——由线特征的幅角计算得到的当前帧相对于关键帧的第i个航向角增量；

m——由步骤(2)得到的匹配的线特征对的数量。

所述步骤(3)中的点线特征第一步融合，其特征在于，步骤(2)中输出的匹配的类簇中心点对和上述匹配线特征对的中点，共同作为图像点特征。接着判断图像点特征对的数量是否不少于图像点特征对数最小值T_pN(本实施例中设置为2，也可以根据需要设置为大于2的值)，如果满足该条件，则图像点特征构建成功。此时当前帧和关键帧中的点特征已经一一匹配，利用每两对匹配点特征构建一组匹配线矢量。然后计算每一对匹配线矢量的幅角差得到一组当前帧相对于关键帧的航向角增量，再对上述得到的一组当前帧相对于关键帧的航向角增量进行中值滤波即可得到由匹配的图像点特征对得到的当前帧相对于关键帧的航向角增量ΔΨ_p。具体计算过程如下：

ΔΨ_p＝median(ΔΨ_pi) (6)

i＝0,1,…,n-1,j＝i+1

其中：

——当前帧中第i个线矢量的幅角；

——当前帧中第i个线矢量的幅角；

——点的位置坐标。上标代表点位于当前帧c或关键帧k中。下标代表第i个点的横坐标x或纵坐标y；

ΔΨ_pi——由图像点特征计算得到的第i个当前帧相对于关键帧的航线角增量；

n——由图像点特征对创建的线矢量对的数量。

所述步骤(3)中点线特征第二步融合，计算来自线特征的摄像头当前帧相对于关键帧的航向角增量ΔΨ_l，和来自点特征的摄像头当前帧相对于关键帧的航向角增量ΔΨ_p的平均值得到摄像机当前帧相对于关键帧的航向角增量ΔΨ，与关键帧相对于第一帧的航向角相加后，得到摄像机当前帧相对于第一帧的航向角即为视觉罗盘的最终输出结果。具体计算过程如下：

其中：

ΔΨ_p——来自点特征的摄像头当前帧相对于关键帧的航向角增量；

ΔΨ_l——来自线特征的摄像头当前帧相对于关键帧的航向角增量；

ΔΨ——摄像机当前帧相对于关键帧的航向角增量；

——摄像机关键帧相对于第一帧的航向角；

——摄像机当前帧相对于第一帧的航向角；

参照图4，在输出最终的航向角计算结果后还需要判断是否需要更新关键帧，所述关键帧的更新机制具体为：

(1)若当前帧与关键帧之间的帧数大于关键帧最大间隔T_kN(本实施例中设置为5)，则将当前帧设置为关键帧；

(2)若当前帧中匹配的点特征数小于匹配的图像点特征对数最小值T_pN(本实施例中设置为2)且匹配的线特征数小于匹配的线特征对数最小值T_lN(本实施例中设置为1)，则将当前帧设置为关键帧。

更新关键帧步骤处理完成后即可采集下一帧图像并进行处理。

上述实施例仅为本发明较佳可行的实施例，用于说明本发明的技术方案，并非局限本发明的保护范围。尽管参照前述实施例对本发明进行了详细的说明，但是依然可以在不背离权利要求及其等同例的精神和范围下，对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，因此这些修改或替换均在此技术方案保护范围之内。

Claims (10)

1.一种融合点线特征的下视视觉罗盘，其特征在于，包括采用下视安装的摄像头和处理器；所述摄像头实时采集图像序列；所述处理器首先对采集的图像序列基于密度聚类创建图像部分点特征，其次创建线特征，最后进行点线特征两步融合得到载体最终的航向角；

所述基于密度聚类创建图像部分点特征具体为：对原始图像提取特征点，并对提取的特征点进行聚类后计算每个类簇的一个代表点，进而计算类簇代表点的描述子并匹配当前帧与关键帧的类簇代表点，匹配上的类簇代表点即为基于密度聚类创建的图像部分点特征；

所述创建线特征具体为：提取候选直线，计算候选直线的描述子，并匹配当前帧和关键帧的线特征，由匹配线特征对创建图像另一部分点特征，同时利用匹配线特征对的幅角差计算由匹配线特征对创建的摄像头当前帧相对于关键帧的航向角增量ΔΨ_l；

所述点线特征两步融合具体为：第一步融合，将基于密度聚类创建的图像一部分点特征和由匹配线特征对创建的图像另一部分点特征共同作为图像的点特征，构建一系列线矢量，计算摄像头当前帧相对于关键帧的航向角增量ΔΨ_p；第二步融合，将ΔΨ_l与ΔΨ_p进行融合，得到最终摄像头当前帧相对于关键帧的航向角增量ΔΨ，进一步计算即可得到摄像头当前帧相对于第一帧的航向角

2.根据权利要求1所述的一种融合点线特征的下视视觉罗盘，其特征在于，所述下视安装的摄像头，采用单目摄像头，安装于两轴或三轴稳定云台，使得摄像头始终采集到的是地面的水平俯视图，图像采集平面不会随着载体的横滚角和俯仰角而变化。

3.根据权利要求1所述的一种融合点线特征的下视视觉罗盘，其特征在于，所述基于密度聚类创建图像部分点特征，首先提取当前帧图像的ORB特征点，采用基于密度的聚类方法DBSCAN对提取的ORB特征点进行聚类，对聚类后的每一个类簇计算该类簇的代表点，类簇代表点是由该类簇中所有ORB特征点的位置计算得到的中心点或者重心点，进而计算类簇代表点的描述子，匹配当前帧的类簇代表点和关键帧的类簇代表点，并利用以下两个条件去除误匹配的代表点：(1)代表点对应类簇的点数差小于设定的点数差阈值T_Δcs；(2)代表点的距离差小于设定的距离阈值T_Δcd，同时满足以上两个条件的匹配代表点对作为来自聚类的点特征。

4.根据权利要求1所述的一种融合点线特征的下视视觉罗盘，其特征在于，所述创建线特征，首先运用EDlines方法提取候选直线，计算候选直线的LBD描述子，接着根据直线的一元几何属性即近似的全局旋转角和局部外观相似性即LBD描述子匹配当前帧和关键帧的线特征，生成候选匹配线特征对，再计算候选匹配线特征对的一致性得分；并根据一致性得分创建邻接矩阵，寻找使得总的一致性得分最大化的线特征匹配簇，该线特征匹配簇即为最终的匹配线特征对集合。

5.根据权利要求1所述的一种融合点线特征的下视视觉罗盘，其特征在于，所述由匹配线特征对创建图像另一部分点特征，是将每一对匹配线特征对的中点作为另一部分图像点特征；所述利用匹配线特征对的幅角差计算由匹配线特征对创建的摄像头当前帧相对于关键帧的航向角增量ΔΨ_l是通过计算每一对匹配线特征对的幅角差，再将得到的一组幅角差进行中值滤波后得到的。

6.根据权利要求1所述的一种融合点线特征的下视视觉罗盘，其特征在于，对点线特征的第一步融合具体为：利用来自聚类的点特征与来自线特征的点特征，共同作为图像的点特征，每两对匹配点构建一对匹配线矢量，并计算每一对匹配线矢量的幅角差，通过中值滤波后的幅角差作为来自点特征的摄像头当前帧相对于关键帧的航向角增量ΔΨ_p。

7.根据权利要求1所述的一种融合点线特征的下视视觉罗盘，其特征在于，对点线特征的第二步融合具体为：利用来自线特征的摄像头当前帧相对于关键帧的航向角增量ΔΨ_l和来自点特征的摄像头当前帧相对于关键帧的航向角增量ΔΨ_p，取加权均值后作为最终摄像机当前帧相对于关键帧的航向角增量ΔΨ，该摄像机当前帧相对于关键帧的航向角增量ΔΨ加关键帧相对于第一帧的航向角即为当前帧相对第一帧的航向角

8.根据权利要求1所述的一种融合点线特征的下视视觉罗盘，其特征在于，所述视觉罗盘得到的是当前帧相对第一帧的航向角，所述第一帧设置为关键帧，航向角设置为0°，第一帧只进行线特征和点特征的提取，不进行匹配和航向角增量的计算以及点线特征融合。

9.根据权利要求1所述的一种融合点线特征的下视视觉罗盘，其特征在于，所述关键帧用于减少方法的累计误差，关键帧的更新机制如下：(1)若当前帧与关键帧之间的帧数大于关键帧最大间隔T_kN，则将当前帧设置为关键帧；(2)若当前帧中匹配的点特征数小于匹配的图像点特征对数最小值T_pN且匹配的线特征数小于匹配的线特征对数最小值T_lN，则将当前帧设置为关键帧。

10.根据权利要求1所述的一种融合点线特征的下视视觉罗盘，其特征在于，所述视觉罗盘适用于无人机飞行任务，尤其是在悬停及电磁场干扰较大的环境。