CN107798691B - 一种基于视觉的无人机自主着陆地标实时检测跟踪方法 - Google Patents

Abstract

本发明公开了一种基于视觉的无人机自主着陆地标实时检测跟踪方法，对检测到的目标图像进行网格撒点，以像素点来代替目标图像，用金字塔L‑K光流法进行跟踪，而非使用特征点提取算法来提取易跟踪特征点，从而节省时间，提高算法实时性。采用双向金字塔L‑K光流法跟踪特征点，同时对每一个特征点采用归一化相关性匹配校验，确保特征点跟踪的准确性。以上一帧跟踪到的目标为模板，与本帧跟踪到的目标图像进行归一化相关性匹配检测，确保本帧跟踪目标的完整性与准确性。

Description

一种基于视觉的无人机自主着陆地标实时检测跟踪方法

技术领域

本发明属于无人机视觉导航、计算机视觉处理技术领域，涉及一种基于视觉的无人机自主着陆地标实时检测跟踪方法。

背景技术

无人机由于具备成本较低、易操作、隐蔽性好、可携带其它载物等优点，近年来作为研究热点，得到快速发展。随着近年来智能化技术的快速发展，无人机自主飞行进展迅速；而无人机自主着陆作为无人机自主飞行中最危险、要求最高的一环，受到广泛关注。

现有的无人机常用的着陆导航方式有GPS(Global Positioning System，全球定位系统)导航、INS(Inertial Navigation System，惯性导航系统)导航和GPS/INS组合导航。GPS导航精度较高、使用简单，但易受电子及环境干扰，极易丢失信号；INS导航是通过积分迭代运算得到相关导航信息，会不断地累计误差；GPS/INS组合导航虽然提高了导航精度，但在电子或环境干扰，极易丢失GPS信号，此时单靠INS导航，仍会不断的累积误差，影响无人机自主着陆。近年来，基于视觉进行无人机自主导航着陆的提出为这一问题的解决提供了新的思路，其具备抗干扰性能较好、易装备、功耗低、精度高等优点，受到广泛关注。而基于视觉进行无人机自主导航着陆过程中，对着陆地标的检测与实时跟踪是最为重要的一环。

对于动态目标跟踪，背景帧插法最简单、实时性最高，但其极其依赖背景检测，而无人机搭载摄像系统对着陆地标进行跟踪，目标随背景运动，无法分割出来。而不依赖背景的目标检测与跟踪方法，如基于特征点的目标跟踪算法，提取目标图像特征点，通过光流法进行跟踪或进行帧间不变特征匹配进行跟踪，上述方法跟踪性能较好，但无法将长时间跟踪的特征点归类为目标图像。而基于先验知识进行机器学习训练分类器，进行每一帧目标分类跟踪，虽然识别率较高，但实时性较差，无法满足无人机视觉导航要求，比较适合作为辅助检测手段使用。对于TLD这类在线学习跟踪算法，通过在线学习更新分类器，用分类器来修正跟踪错误目标，可实现对但目标长时间跟踪，但每一帧都需在线学习，较为耗时。

参考文献：

[1]Bouguet J Y.Pyramidal implementation of the Lucas Kanade featuretracker description of the algorithm[J].Opencv Documents,1999,22(2):363-381.

发明内容

针对上述现有技术中存在的问题，本发明的目的在于，提供一种基于视觉的无人机自主着陆地标实时检测跟踪方法，以解决无人机自主着陆过程中对着陆地标无法长时间准确、实时且稳定的跟踪的问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于视觉的无人机自主着陆地标实时检测跟踪方法，包括以下步骤：

步骤一，利用无人机上的机载摄像机采集着陆区域图像；着陆区域图像中包含有多个疑似目标；

步骤二，对着陆区域图像进行预处理得到包含有多个轮廓的预处理后的图像，每个轮廓对应一个疑似目标；

步骤三，针对预处理后的图像中的每个轮廓设置最小矩形框，提取所有的最小矩形框所在区域图像构成疑似目标图像集；

步骤四，利用着陆地标图像分类器对疑似目标图像集中的所有疑似目标图像进行分类识别，若识别得到目标图像，则执行步骤五，否则，执行步骤一；

步骤五，对目标图像进行网格稠密采样，得到多个网格采样点，得到的所有网格采样点形成当前跟踪特征点集Current_pts；

步骤六，将当前跟踪特征点集Current_pts更新为上一帧的跟踪特征点集Last_pts；

步骤七，利用无人机上的机载摄像机重新采集一帧着陆区域图像，即为本帧着陆区域图像；

步骤八，利用上一帧采集到的着陆区域图像、上一帧的跟踪特征点集Last_pts和本帧着陆区域图像，利用前后双向金字塔L-K光流法计算得到上一帧的跟踪特征点集Last_pts中的每一个跟踪特征点的前后向光流跟踪误差；利用前后向光流跟踪误差对上一帧的跟踪特征点集Last_pts进行初步筛选，得到初步筛选后的跟踪特征点集Current_pts2；

步骤九，计算初步筛选后的跟踪特征点集Current_pts2中的跟踪特征点与上一帧的跟踪特征点集Last_pts中的跟踪特征点之间的相关系数，利用得到的相关系数对初步筛选后的跟踪特征点集Current_pts2进行二次筛选，得到二次筛选后的跟踪特征点集Current_pts3；

步骤十，判断二次筛选后的跟踪特征点集Current_pts3中的跟踪特征点的数目是否为0，若是，则执行步骤十五，否则，执行步骤十一；

步骤十一，设置最小矩形框，将跟踪特征点集Current_pts3中的所有跟踪特征点置于最小矩形框的内部；最小矩形框所在区域图像即为跟踪到的目标图像；

步骤十二，将步骤十一跟踪到的目标图像与上一帧目标图像进行归一化相关性匹配计算，得到相关系数；

步骤十三，若步骤十二中计算得到的相关系数大于设定阈值，则执行步骤十四；否则，执行步骤十五；

步骤十四，判断跟踪特征点集Current_pts3中的跟踪特征点数目是否大于步骤五中的当前跟踪特征点集Current_pts中的跟踪特征点数目的一半，若是，则进入步骤六，此时的当前跟踪点集为跟踪特征点集Current_pts3，否则，进入步骤五，此时的目标图像为步骤十一中跟踪到的目标图像；

步骤十五，重新确定目标搜索区域图像；

步骤十六，对重新确定的目标搜索区域图像执行步骤二和步骤三的操作，得到疑似目标图像集；计算疑似目标图像集中的每个疑似目标图像与上一帧目标图像的相关系数；

步骤十七，在疑似目标图像集中，去除步骤十六得到的相关系数小于设定值的疑似目标图像，若疑似目标图像集中留下的疑似目标图像的数目为0，则执行步骤二，此时的着陆区域图像为步骤七中得到的本帧着陆区域图像；否则，选出相关系数最大值对应的疑似目标图像作为搜索到的目标图像，执行步骤五，此时的目标图像为所述的搜索到的目标图像。

具体地，所述步骤四中的着陆地标分类器的构建方法如下：

Step1：无人机在不同姿态和不同高度下利用机载摄像机拍摄多幅着陆区域图像，在多幅着陆区域图像上人工截取多幅目标图像和非目标图像，以目标图像为正样本、非目标图像为负样本，构建样本图像集；

Step2：对样本图像集中的样本图像进行尺度变换，得到具有统一尺寸的样本图像；对统一尺寸的样本图像进行灰度化预处理，得到灰度化预处理后的样本图像；

Step3：对Step2中得到的灰度化预处理后的样本图像进行网格稠密采样，得到多个网格采样点；

Step4：对每个样本图像中的每一个网格采样点，提取网格采样点周围区域的SURF特征，一个样本图像中的所有网格采样点提取到的SURF特征形成一个SURF特征集合；

Step5：利用K-means均值聚类算法对所有样本图像提取的SURF特征集合进行聚类，得到K个类；每个类的聚类中心对应一个视觉单词，生成一个由K个视觉单词构成的视觉单词表，即为视觉词典；

Step6：针对每个样本图像，根据该样本图像对应的所有SURF特征所属类别，统计每一类别中包含的该样本图像的SURF特征的个数，得到视觉单词对应的SURF特征的个数，统计结束后每一幅样本图像生成一个K维的向量，即为该样本图像的视觉词汇特征向量；

Step7：设正样本图像的类别标签为1，负样本的类别标签为0，每一幅样本图像的K维视觉词汇特征向量和相应的类别标签可作为训练数据，基于SVM训练算法，训练得到着陆地标图像分类器。

具体地，所述步骤四中的利用着陆地标图像分类器对疑似目标图像集中的所有图像进行分类识别，若识别得到目标图像，则执行步骤五，否则，执行步骤一；具体方法如下：

步骤4.1：对疑似目标图像集中的所有疑似目标图像进行尺度变换，得到具有统一尺寸的疑似目标图像；对统一尺寸的疑似目标图像进行灰度化预处理，得到灰度化预处理后的疑似目标图像；

步骤4.2：选取步骤4.1中的一幅疑似目标图像进行网格稠密采样，得到多个网格采样点；

步骤4.3：对疑似目标图像中的每一个网格采样点提取其周围区域的SURF特征，所有网格采样点提取到的SURF特征形成一个SURF特征集合；

步骤4.4：计算疑似目标图像提取到的SURF特征集合中每个SURF特征与视觉单词之间的距离，针对每个SURF特征得到K个距离值，取其中的最小值所对应的视觉单词来表征该SURF特征，则SURF特征集合中每个SURF特征都可用一个视觉单词来代替；

步骤4.5：统计疑似目标图像中各个视觉单词出现的频率，并得到一个长度为视觉单词字典大小的词频向量，即为目标图像视觉词汇特征；

步骤4.6：将疑似目标图像对应的目标图像视觉词汇特征输入到着陆地标图像分类器内进行分类，若疑似目标图像为目标图像，则执行步骤五，否则，返回步骤4.2；直到疑似目标图像集中的所有疑似目标图像均识别完毕，若没有识别到目标图像，执行步骤一。

具体地，所述的步骤八中的利用前后向光流跟踪误差对上一帧的跟踪特征点集Last_pts进行初步筛选，得到初步筛选后的跟踪特征点集Current_pts2；具体包括以下步骤：

当上一帧的跟踪特征点集Last_pts中的第i个跟踪特征点x_i的前后向光流跟踪误差小于设定阈值，则去除该跟踪特征点x_i；反之，则保留该跟踪特征点x_i，最终形成初步筛选后的跟踪特征点集Current_pts2。

具体地，所述步骤十五中的重新确定目标搜索区域图像，具体包括以下步骤：

若当前帧t满足1＜t≤3，则进行如下处理：

记上一帧图像中最小矩形框所在区域图像的中心点为(x₀,y₀)，最小矩形框所在区域图像的高H的取值范围为y₀-h/2＜H＜y₀+h/2，宽W的取值范围为x₀-w/2＜W＜x₀+w/2，其中，h为最小矩形框所在区域图像的高度，w为最小矩形框所在区域图像的的宽度，则重新确定的目标搜索区域图像的中心点为(x₀,y₀)，重新确定的目标搜索区域图像的高的取值范围为宽的取值范围为

若当前帧t满足t＞3，则进行如下处理：

Step1：基于第t-3帧目标图像、t-2帧目标图像，依据计算出跟踪特征点集Current_pts3中每一个跟踪特征点从t-3时刻到t-2时刻的像素速度，得到像素速度集V₁，V₁＝{v₁,v₂,...,v_i,...,v_k}，其中，k为t-2帧目标图像对应的跟踪特征点集Current_pts3中的跟踪特征点的个数，v_i为第i个跟踪特征点从t-3时刻到t-2时刻的像素速度；x_t-2为第i个跟踪特征点在第t-2帧目标图像上的像素坐标值，x_t-3为第i个跟踪特征点在t-3帧目标图像上的像素坐标值，Δt₁为t-3时刻到t-2时刻的时间差值；第t-3帧目标图像为t-3时刻得到的目标图像，t-2帧目标图像为t-2时刻得到的目标图像；

Step2：基于第t-2帧目标图像、t-1帧目标图像，依据可计算出跟踪特征点集Current_pts3中每一个跟踪特征点从t-2时刻到t-1时刻的像素速度，计算得到m个跟踪特征点从t-2时刻到t-1时刻的像素速度集V₂＝{v′₁,v′₂,...,v′_i...,v′_m}，其中，m为t-1帧目标图像对应的跟踪特征点集Current_pts3中的跟踪特征点的个数；v′_i为第i个跟踪特征点从t-2时刻到t-1时刻的像素速度；Δt₂为t-2时刻到t-1时刻的时间差值，x_t-1为第i个跟踪特征点在t-1帧目标图像上的像素坐标值；

Step3：基于式v_1max＝max{v₁,v₂,...,v_k}与式v_2max＝max{v′₁,v′₂,...,v′_m}分别求取像素速度集V₁与V₂中的最大像素速度v_1max与v_2max；v_1max代表t-3时刻到t-2时刻的像素速度，v_2max代表t-2时刻到t-1时刻的像素速度；

Step4：通过式计算出短时间速度变化最大尺度λ，通过式v_em＝λv_2max来计算出t-1时刻到t时刻的像素速度v_em；

Step5：利用v_em重新确定t时刻目标搜索区域图像，重新确定的目标搜索区域图像的中心点为(x₀,y₀)，重新确定的目标搜索区域图像的高的取值范围为宽的取值范围为其中，x＝v_em×Δt，Δt为t-1时刻到t时刻的时间间隔。

与现有技术相比，本发明具有以下技术效果：

1.对检测到的目标图像进行网格撒点，以像素点来代替目标图像，用金字塔L-K光流法进行跟踪，而非使用特征点提取算法来提取易跟踪特征点，从而节省时间，提高算法实时性。

2.采用双向金字塔L-K光流法跟踪特征点，同时对每一个特征点采用归一化相关性匹配校验，确保特征点跟踪的准确性。

3.以上一帧跟踪到的目标为模板，与本帧跟踪到的目标图像进行归一化相关性匹配检测，确保本帧跟踪目标的完整性与准确性。

4.光流跟踪失败后，先以前三帧目标信息，来估算本帧目标再搜索范围，之后以上一张目标图像为模板，基于归一化相关性匹配法，来搜索目标，若搜索到目标，则不需使用耗时较长的分类器对整幅图像进行目标检测识别，反之，则需要，从而避免在光流跟踪失败后频繁使用分类器重新检测着陆地标图像，保证整套跟踪算法的实时性。

附图说明

图1是基于视觉的无人机自主着陆地标实时检测跟踪方法流程图；

图2是前后向金字塔L-K光流跟踪误差示意图；

图3是再搜索区域确定示意图。

下面结合附图和具体实施方式对本发明的方案作进一步详细地解释和说明。

具体实施方式

本发明的基于视觉的无人机自主着陆地标实时检测跟踪方法，参见图1，包括以下步骤：

步骤一，利用无人机上的机载摄像机采集着陆区域图像，着陆区域图像中包含有多个疑似目标。

着陆区域图像中可能包含着陆地标，也可能不包含着陆地标；本实施例将着陆地标称为目标，将着陆区域内的背景物体称为非目标,目标和非目标统称为疑似目标。

步骤二，对着陆区域图像进行预处理得到包含有多个轮廓的预处理后的图像；预处理后的图像中的一个轮廓对应目标或者非目标。

其中，预处理包括灰度化处理、中值滤波去噪、图像自适应阈值化处理和Canny边缘检测。

步骤三，针对预处理后的图像中的每个轮廓设置最小矩形框，最小矩形框的宽为构成该轮廓的像素点中的横坐标的最大值与最小值之差，最小矩形框的高为构成轮廓的像素点中的纵坐标的最大值与最小值之差；轮廓位于最小矩形框的内部；所有轮廓对应的最小矩形框所在区域图像构成疑似目标图像集；若拍摄到的着陆区域图像中包含着陆地标，则疑似目标图像集中包含目标图像。

步骤四，利用着陆地标图像分类器对疑似目标图像集中的所有疑似目标图像进行分类识别，若识别得到目标图像，则执行步骤五，否则，执行步骤一；

其中，着陆地标图像分类器是基于具备尺度、旋转不变的SURF特征、视觉词袋模型与SVM分类算法进行训练与构建，具体构建方法如下：

Step1：无人机在不同姿态和不同高度下利用机载摄像机拍摄多幅着陆区域图像，在多幅着陆区域图像上人工截取多幅目标图像和非目标图像，其中，目标图像为着陆地标图像，非目标图像为着陆区域图像中的背景物体图像；以目标图像为正样本、非目标图像为负样本，构建样本图像集。人工截取采用windows系统自带截图工具。

Step2：对样本图像集中的样本图像进行尺度变换，得到具有统一尺寸(256*256)的样本图像；对统一尺寸的样本图像进行灰度化预处理，得到灰度化预处理后的样本图像；

Step3：对步骤Step2中得到的灰度化预处理后的样本图像进行网格稠密采样，得到多个网格采样点；本实施例中进行网格稠密采样采用的网格采样间隔是32像素，因此一幅样本图像经过网格稠密采样后得到64个网格采样点；

Step4：对每个样本图像中的每一个网格采样点提取其周围64*64区域的SURF特征，一个样本图像中的所有网格采样点提取到的SURF特征形成一个SURF特征集合；

Step5：使用K-means均值聚类算法对所有样本图像提取的SURF特征集合进行聚类，得到K个类，每个类的聚类中心对应一个视觉单词，即每个类用一个视觉单词表示，从而生成一个由K个视觉单词构成的视觉单词表，即为视觉词典；

Step6：针对每个样本图像，根据该样本图像对应的所有SURF特征所属类别，统计每一类别中包含的该样本图像的SURF特征的个数，得到视觉单词对应的SURF特征的个数，统计结束后每一幅样本图像生成一个K维的向量，即为该样本图像的视觉词汇特征向量；例如，样本图像1对应的所有SURF特征为SURF1，SURF2，SURF3，SURF4，SURF5；K＝3；3个类分别用视觉单词a，b和c表示；SURF1，SURF2属于视觉单词为a的类别，SURF3属于视觉单词为b的类别，SURF4，SURF5属于视觉单词为c的类别，则视觉单词为a对应的SURF特征的个数为2，视觉单词对应的SURF特征的个数为1，视觉单词c对应的SURF特征的个数为2，则样本图像1对应的视觉词汇特征向量为[2,1,2]。

Step7：设正样本图像的类别标签为1，负样本的类别标签为0，每一个样本图像的K维视觉词汇特征向量和相应的类别标签可作为训练数据，基于SVM训练算法，训练得到着陆地标图像分类器。

对所有的疑似目标图像进行分类识别的具体过程如下：

步骤4.1：对疑似目标图像集中的所有疑似目标图像进行尺度变换，得到具有统一尺寸(256*256)的疑似目标图像；对统一尺寸的疑似目标图像进行灰度化预处理，得到灰度化预处理后的疑似目标图像；

步骤4.2：选取步骤4.1中的一幅疑似目标图像进行网格稠密采样，得到多个网格采样点，本实施例中采用的网格采样间隔是32像素，一幅疑似目标图像得到64个网格采样点；

步骤4.3：对疑似目标图像中的每一个网格采样点提取其周围64*64区域的SURF特征，所有网格采样点提取到的SURF特征形成一个SURF特征集合；

步骤4.4：计算疑似目标图像提取到的SURF特征集合中每个SURF特征与视觉单词之间的距离，也就是每个SURF特征与K个聚类中心之间的距离，针对每个SURF特征得到K个距离值，取其中的最小值所对应的视觉单词来表征该SURF特征，从而使得SURF特征集合中每个SURF特征都可用一个视觉单词来代替；

步骤4.5：统计疑似目标图像中各个视觉单词出现的频率，并得到一个长度为视觉单词字典大小的词频向量，从而构建了目标图像视觉词汇特征；

步骤4.6：将疑似目标图像对应的目标图像视觉词汇特征输入到着陆地标图像分类器内进行分类，若该疑似目标图像为目标图像，则执行步骤五，否则，返回步骤4.2；直到疑似目标图像集中的所有疑似目标图像均识别完毕，若没有识别到目标图像，则执行步骤一。

步骤五，对目标图像进行网格稠密采样，得到多个网格采样点；本实施例中采用的网格采样间隔为5像素，得到的所有网格采样点形成当前跟踪特征点集Current_pts，其中的跟踪特征点的数目为n。

步骤六，将当前跟踪特征点集Current_pts更新为上一帧的跟踪特征点集Last_pts；若当前跟踪特征点集Current_pts为第一帧着陆地标图像得到的，则上一帧的跟踪特征点集Last_pts即为当前跟踪特征点集Current_pts本身。

步骤七，利用无人机上的机载摄像机重新采集一帧着陆区域图像，即为本帧着陆区域图像。

步骤八，利用上一帧采集到的着陆区域图像、上一帧的跟踪特征点集合Last_pts和本帧着陆区域图像，利用前后双向金字塔L-K光流法计算得到上一帧的跟踪特征点集Last_pts中的每一个跟踪特征点的前后向光流跟踪误差；利用前后向光流跟踪误差对上一帧的跟踪特征点集Last_pts进行初步筛选，得到初步筛选后的跟踪特征点集Current_pts2；具体方法如下：

步骤8.1：使用金字塔L-K光流法，基于上一帧的跟踪特征点集Last_pts和本帧着陆区域图像，前向预测得到本帧的跟踪特征点集Current_pts1，参考文献【1】；

步骤8.2：使用金字塔L-K光流法，基于本帧的跟踪特征点集Current_pts1和上一帧采集到的着陆区域图像，后向预测得到上一帧的跟踪特征点集new_pts；

步骤8.3：基于跟踪特征点集new_pts与上一帧的跟踪特征点集Last_pts，计算上一帧的跟踪特征点集Last_pts中的每一个跟踪特征点的前后向光流跟踪误差；计算方法如下：

前后向光流跟踪误差定义如图2所示，若第t帧中的跟踪特征点x_t，经过金字塔L-K光流法前向跟踪到第t+1帧中的跟踪特征点x_t+1，x_t+1后向跟踪到第t帧中的特征点则两个特征点和x_t之间的欧式距离：即为第t帧中的跟踪特征点x_t的前后向光流跟踪误差；

步骤8.4：当上一帧的跟踪特征点集Last_pts中的第i个跟踪特征点x_i的前后向光流跟踪误差则认为该跟踪特征点x_i跟踪效果差，去除；反之，则保留，最终形成初步筛选后的跟踪特征点集Current_pts2，其中Threshold1基于实际情况选定，Threshold1＝5。

步骤九，计算初步筛选后的跟踪特征点集Current_pts2中的跟踪特征点与上一帧的跟踪特征点集Last_pts中的跟踪特征点之间的相关系数，利用得到的相关系数对初步筛选后的跟踪特征点集Current_pts2进行二次筛选，得到二次筛选后的跟踪特征点集Current_pts3；具体过程如下：

记为跟踪特征点集Current_pts2中的第i个跟踪特征点，为上一帧的跟踪特征点集Last_pts中对应的一点，分别以跟踪特征点和为中心的10*10大小的区域通过归一化相关系数匹配计算公式，计算相关系数，计算公式如下：

其中，T(x′,y′)为图像T在像素点(x′,y′)处的灰度值，I(x′,y′)为图像I在(x′,y′)处的灰度值，图像T为以跟踪特征点为中心的10*10大小的区域形成的图像，构成该图像的像素点用(x′,y′)表示；图像I为以跟踪特征点为中心的10*10大小的区域形成的图像，构成该图像的像素点用(x′,y′)表示；即为图像T与图像I的归一化相关系数，也就是跟踪特征点集Current_pts2中跟踪特征点与上一帧的跟踪特征点集Last_pts中跟踪特征点的相关系数。

以计算得到的相关系数对跟踪特征点集Current_pts2进行筛选，去除跟踪效果较差的跟踪特征点，即当跟踪特征点计算得到的满足则认为该跟踪特征点局部相似，跟踪效果较好；反之，则认为跟踪效果较差，将该跟踪特征点由跟踪特征点集Current_pts2中去除，经过上述处理后得到二次筛选后的跟踪特征点集Current_pts3；Threshold2基于实际情况设定，Threshold2＝0.75。

步骤十，判断二次筛选后的跟踪特征点集Current_pts3中的跟踪特征点的数目是否为0，若是，则执行步骤十五，否则，执行步骤十一。

步骤十一，设置最小矩形框，最小矩形框的宽为构成跟踪特征点集Current_pts3中的跟踪特征点中的横坐标的最大值与最小值之差，最小矩形框的高为构成跟踪特征点集Current_pts3中的像素点中的纵坐标的最大值与最小值之差；跟踪特征点集Current_pts3中的所有跟踪特征点位于最小矩形框的内部；最小矩形框所在区域图像即为跟踪到的目标图像。

步骤十二，将步骤十一跟踪到的目标图像与上一帧目标图像进行归一化相关性匹配计算，得到相关系数；计算方法如下：

首先将两个目标图像进行尺度变换，调整到相同尺度(256*256)；之后进行归一化相关性匹配计算，计算公式如下：

其中，T(x′,y′)为图像T在像素点(x′,y′)处的灰度值，I(x′,y′)为图像I在像素点(x′,y′)处的灰度值，R(x,y)即为图像T与图像I的归一化相关系数。图像T和图像I分别为步骤十一跟踪到的目标图像与上一帧目标图像。

步骤十三，若步骤十二中计算得到的R(x,y)＞Threshold3，则执行步骤十四；否则，执行步骤十五；Threshold3基于实际情况设定，Threshold3＝0.75。

其中，若步骤十二中计算得到的R(x,y)＞Threshold3，则说明步骤十一跟踪到的目标图像与上一帧目标图像相匹配，步骤十一跟踪到的目标图像即为当前时刻跟踪到的目标图像。

步骤十四，判断跟踪特征点集Current_pts3中的跟踪特征点数目是否大于n/2，若是，则进入步骤六，此时的当前跟踪点集为跟踪特征点集Current_pts3，否则，进入步骤五，此时的目标图像为步骤十一中跟踪到的目标图像。

步骤十五，重新确定目标搜索区域图像。具体过程如下：

若当前帧t满足1＜t≤3，则进行如下处理：

记上一帧图像中最小矩形框所在区域图像的中心点为(x₀,y₀)，最小矩形框所在区域图像的高H的取值范围为y₀-h/2＜H＜y₀+h/2，宽W的取值范围为x₀-w/2＜W＜x₀+w/2，其中，h为最小矩形框所在区域图像的高度，w为最小矩形框所在区域图像的的宽度，则重新确定的目标搜索区域图像的中心点为(x₀,y₀)，重新确定的目标搜索区域图像的高的取值范围为宽的取值范围为

若当前帧t满足t＞3，则进行如下处理：

Step1：基于第t-3帧目标图像、t-2帧目标图像，依据计算出跟踪特征点集Current_pts3中每一个跟踪特征点从t-3时刻到t-2时刻的像素速度，得到V₁，V₁＝{v₁,v₂,...,v_i,...,v_k}，其中，k为t-2帧目标图像对应的跟踪特征点集Current_pts3中的跟踪特征点的个数，v_i为第i个跟踪特征点从t-3时刻到t-2时刻的像素速度；x_t-2为第i个跟踪特征点在第t-2帧目标图像上的像素坐标值，x_t-3为第i个跟踪特征点在t-3帧目标图像上的像素坐标值，Δt₁为t-3时刻到t-2时刻的时间差值；第t-3帧目标图像为t-3时刻得到的目标图像，t-2帧目标图像为t-2时刻得到的目标图像；

Step2：基于第t-2帧目标图像、t-1帧目标图像，依据可计算出跟踪特征点集Current_pts3中每一个跟踪特征点从t-2时刻到t-1时刻的像素速度，计算得到m个跟踪特征点从t-2时刻到t-1时刻的像素速度集V₂＝{v′₁,v′₂,...,v′_i...,v′_m}，其中，m为t-1帧目标图像对应的跟踪特征点集Current_pts3中的跟踪特征点的个数；v′_i为第i个跟踪特征点从t-2时刻到t-1时刻的像素速度；Δt₂为t-2时刻到t-1时刻的时间差值，x_t-1为第i个跟踪特征点在t-1帧目标图像上的像素坐标值；

Step3：基于式v_1max＝max{v₁,v₂,...,v_k}与式v_2max＝max{v′₁,v′₂,...,v′_m}分别求取像素速度集V₁与V₂中的最大像素速度v_1max与v_2max；v_1max代表t-3时刻到t-2时刻的像素速度，v_2max代表t-2时刻到t-1时刻的像素速度。

Step4：得到v_1max与v_2max后，通过式计算出短时间速度变化最大尺度λ，通过式v_em＝λv_2max来计算出t-1时刻到t时刻的像素速度v_em。

Step5：利用v_em重新确定t时刻目标搜索区域图像，如图3所示，其中Δt为t-1时刻到t时刻的时间间隔，记上一帧图像中包围目标的最小矩形框所在区域图像的中心点为(x₀,y₀)，最小矩形框所在区域图像的高H的取值范围为y₀-h/2＜H＜y₀+h/2，宽W的取值范围为x₀-w/2＜W＜x₀+w/2，则重新确定的目标搜索区域图像的中心点为(x₀,y₀)，重新确定的目标搜索区域图像的高的取值范围为宽的取值范围为其中，x＝v_em×Δt。

步骤十六，对重新确定的目标搜索区域图像执行步骤二和步骤三的操作，得到疑似目标图像集；计算疑似目标图像集中的每个疑似目标图像与上一帧目标图像的相关系数；具体过程如下：

步骤16.1：对再搜索区域图像进行预处理，得到包含有多个轮廓的预处理后的图像；

步骤16.2：针对轮廓集中的每一个轮廓设置最小矩形框，最小矩形框的长为构成该轮廓的像素点中的横坐标的最大值与最小值之差，最小矩形框的宽为构成轮廓的像素点中的纵坐标的最大值与最小值之差；轮廓位于最小矩形框的内部；每一个轮廓对应的最小矩形框所在区域图像构成疑似目标图像集；

步骤16.3：以上一帧目标图像为模板图像，将模板图像与疑似目标图像集中的图像统一尺寸(256*256)，并进行归一化相关性匹配；

其中，T(x′,y′)为图像T在像素点(x′,y′)处的灰度值，I(x′,y′)为图像I在像素点(x′,y′)处的灰度值，R(x,y)即为图像T与图像I的归一化相关系数。图像T和图像I分别为模板图像与疑似目标图像。

步骤十七，在疑似目标图像集中，去除步骤十六得到的相关系数小于设定阈值Threshold4的疑似目标图像，若疑似目标图像集中留下的疑似目标图像的数目为0，则执行步骤二，其中的对着陆区域图像进行预处理中的着陆区域图像指的是步骤七中得到的本帧着陆区域图像；否则，选出相关系数最大值对应的疑似目标图像作为搜索到的目标图像，进行步骤五，此时的目标图像为步骤十七中搜索到的目标图像。Threshold4基于实际情况设定，Threshold4＝0.75。

如此有步骤一～步骤十七循环运行，实现无人机对着陆地标的实时跟踪。

实验分析

如图1所示，为基于视觉的无人机自主着陆地标实时检测跟踪方法,预先基于SURF特征、视觉词袋模型与SVM分类算法进行离线目标分类器训练与构建，用此分类器在视频流中检测识别出着陆地标图像。之后，对目标图像进行网格撒点，以这些像素点作为跟踪特征点，进行跟踪特征点初始化。随后，用双向金字塔L-K光流法进行跟踪，以每一个跟踪特征点的前后双向跟踪误差与归一化相关性匹配校验结果进行跟踪特征点过滤。然后，用最小矩形框逼近特征点，找到本帧目标图像，与上一帧目标图像进行归一化相关性匹配，确认目标是否跟踪失败，若跟踪成功，则提取下一帧图像，继续进行跟踪；若跟踪失败，则基于前三帧图像信息，进行目标搜索区域划分，以上一帧目标图像为模板，基于归一化相关性匹配法对本帧图像进行目标再搜索，若搜索到目标，则继续进行跟踪；若搜索不到，则用分类器在整幅图像中搜索。

Claims (5)

1.一种基于视觉的无人机自主着陆地标实时检测跟踪方法，其特征在于，包括以下步骤：

步骤一，利用无人机上的机载摄像机采集着陆区域图像；着陆区域图像中包含有多个疑似目标；

步骤二，对着陆区域图像进行预处理得到包含有多个轮廓的预处理后的图像，每个轮廓对应一个疑似目标；

步骤三，针对预处理后的图像中的每个轮廓设置最小矩形框，提取所有的最小矩形框所在区域图像构成疑似目标图像集；

步骤四，利用着陆地标图像分类器对疑似目标图像集中的所有疑似目标图像进行分类识别，若识别得到目标图像，则执行步骤五，否则，执行步骤一；

步骤五，对目标图像进行网格稠密采样，得到多个网格采样点，得到的所有网格采样点形成当前跟踪特征点集Current_pts；

步骤六，将当前跟踪特征点集Current_pts更新为上一帧的跟踪特征点集Last_pts；

步骤七，利用无人机上的机载摄像机重新采集一帧着陆区域图像，即为本帧着陆区域图像；

步骤八，利用上一帧采集到的着陆区域图像、上一帧的跟踪特征点集Last_pts和本帧着陆区域图像，利用前后双向金字塔L-K光流法计算得到上一帧的跟踪特征点集Last_pts中的每一个跟踪特征点的前后向光流跟踪误差；利用前后向光流跟踪误差对上一帧的跟踪特征点集Last_pts进行初步筛选，得到初步筛选后的跟踪特征点集Current_pts2；

步骤九，计算初步筛选后的跟踪特征点集Current_pts2中的跟踪特征点与上一帧的跟踪特征点集Last_pts中的跟踪特征点之间的相关系数，利用得到的相关系数对初步筛选后的跟踪特征点集Current_pts2进行二次筛选，得到二次筛选后的跟踪特征点集Current_pts3；

步骤十，判断二次筛选后的跟踪特征点集Current_pts3中的跟踪特征点的数目是否为0，若是，则执行步骤十五，否则，执行步骤十一；

步骤十一，设置最小矩形框，将跟踪特征点集Current_pts3中的所有跟踪特征点置于最小矩形框的内部；最小矩形框所在区域图像即为跟踪到的目标图像；

步骤十二，将步骤十一跟踪到的目标图像与上一帧目标图像进行归一化相关性匹配计算，得到相关系数；

步骤十三，若步骤十二中计算得到的相关系数大于设定阈值，则执行步骤十四；否则，执行步骤十五；

步骤十四，判断跟踪特征点集Current_pts3中的跟踪特征点数目是否大于步骤五中的当前跟踪特征点集Current_pts中的跟踪特征点数目的一半，若是，则进入步骤六，此时的当前跟踪点集为跟踪特征点集Current_pts3，否则，进入步骤五，此时的目标图像为步骤十一中跟踪到的目标图像；

步骤十五，重新确定目标搜索区域图像；

步骤十六，对重新确定的目标搜索区域图像执行步骤二和步骤三的操作，得到疑似目标图像集；计算疑似目标图像集中的每个疑似目标图像与上一帧目标图像的相关系数；

步骤十七，在疑似目标图像集中，去除步骤十六得到的相关系数小于设定值的疑似目标图像，若疑似目标图像集中留下的疑似目标图像的数目为0，则执行步骤二，此时的着陆区域图像为步骤七中得到的本帧着陆区域图像；否则，选出相关系数最大值对应的疑似目标图像作为搜索到的目标图像，执行步骤五，此时的目标图像为所述的搜索到的目标图像。

2.如权利要求1所述的基于视觉的无人机自主着陆地标实时检测跟踪方法，其特征在于，所述步骤四中的着陆地标分类器的构建方法如下：

Step1：无人机在不同姿态和不同高度下利用机载摄像机拍摄多幅着陆区域图像，在多幅着陆区域图像上人工截取多幅目标图像和非目标图像，以目标图像为正样本、非目标图像为负样本，构建样本图像集；

Step2：对样本图像集中的样本图像进行尺度变换，得到具有统一尺寸的样本图像；对统一尺寸的样本图像进行灰度化预处理，得到灰度化预处理后的样本图像；

Step3：对Step2中得到的灰度化预处理后的样本图像进行网格稠密采样，得到多个网格采样点；

Step4：对每个样本图像中的每一个网格采样点，提取网格采样点周围区域的SURF特征，一个样本图像中的所有网格采样点提取到的SURF特征形成一个SURF特征集合；

Step5：利用K-means均值聚类算法对所有样本图像提取的SURF特征集合进行聚类，得到K个类；每个类的聚类中心对应一个视觉单词，生成一个由K个视觉单词构成的视觉单词表，即为视觉词典；

Step6：针对每个样本图像，根据该样本图像对应的所有SURF特征所属类别，统计每一类别中包含的该样本图像的SURF特征的个数，得到视觉单词对应的SURF特征的个数，统计结束后每一幅样本图像生成一个K维的向量，即为该样本图像的视觉词汇特征向量；

Step7：设正样本图像的类别标签为1，负样本的类别标签为0，每一幅样本图像的K维视觉词汇特征向量和相应的类别标签可作为训练数据，基于SVM训练算法，训练得到着陆地标图像分类器。

3.如权利要求2所述的基于视觉的无人机自主着陆地标实时检测跟踪方法，其特征在于，所述步骤四中的利用着陆地标图像分类器对疑似目标图像集中的所有图像进行分类识别，若识别得到目标图像，则执行步骤五，否则，执行步骤一；具体方法如下：

步骤4.1：对疑似目标图像集中的所有疑似目标图像进行尺度变换，得到具有统一尺寸的疑似目标图像；对统一尺寸的疑似目标图像进行灰度化预处理，得到灰度化预处理后的疑似目标图像；

步骤4.2：选取步骤4.1中的一幅疑似目标图像进行网格稠密采样，得到多个网格采样点；

步骤4.3：对疑似目标图像中的每一个网格采样点提取其周围区域的SURF特征，所有网格采样点提取到的SURF特征形成一个SURF特征集合；

步骤4.4：计算疑似目标图像提取到的SURF特征集合中每个SURF特征与视觉单词之间的距离，针对每个SURF特征得到K个距离值，取其中的最小值所对应的视觉单词来表征该SURF特征，则SURF特征集合中每个SURF特征都可用一个视觉单词来代替；

步骤4.5：统计疑似目标图像中各个视觉单词出现的频率，并得到一个长度为视觉单词字典大小的词频向量，即为目标图像视觉词汇特征；

步骤4.6：将疑似目标图像对应的目标图像视觉词汇特征输入到着陆地标图像分类器内进行分类，若疑似目标图像为目标图像，则执行步骤五，否则，返回步骤4.2；直到疑似目标图像集中的所有疑似目标图像均识别完毕，若没有识别到目标图像，执行步骤一。

4.如权利要求1所述的基于视觉的无人机自主着陆地标实时检测跟踪方法，其特征在于，所述的步骤八中的利用前后向光流跟踪误差对上一帧的跟踪特征点集Last_pts进行初步筛选，得到初步筛选后的跟踪特征点集Current_pts2；具体包括以下步骤：

当上一帧的跟踪特征点集Last_pts中的第i个跟踪特征点x_i的前后向光流跟踪误差FB_e ⁱ _rr小于设定阈值，则去除该跟踪特征点x_i；反之，则保留该跟踪特征点x_i，最终形成初步筛选后的跟踪特征点集Current_pts2。

5.如权利要求1所述的基于视觉的无人机自主着陆地标实时检测跟踪方法，其特征在于，所述步骤十五中的重新确定目标搜索区域图像，具体包括以下步骤：

若当前帧t满足1＜t≤3，则进行如下处理：

记上一帧图像中最小矩形框所在区域图像的中心点为(x₀,y₀)，最小矩形框所在区域图像的高H的取值范围为y₀-h/2＜H＜y₀+h/2，宽W的取值范围为x₀-w/2＜W＜x₀+w/2，其中，h为最小矩形框所在区域图像的高度，w为最小矩形框所在区域图像的的宽度，则重新确定的目标搜索区域图像的中心点为(x₀,y₀)，重新确定的目标搜索区域图像的高的取值范围为宽的取值范围为

若当前帧t满足t＞3，则进行如下处理：

Step1：基于第t-3帧目标图像、t-2帧目标图像，依据计算出跟踪特征点集Current_pts3中每一个跟踪特征点从t-3时刻到t-2时刻的像素速度，得到像素速度集V₁，V₁＝{v₁,v₂,...,v_i,...,v_k}，其中，k为t-2帧目标图像对应的跟踪特征点集Current_pts3中的跟踪特征点的个数，v_i为第i个跟踪特征点从t-3时刻到t-2时刻的像素速度；x_t-2为第i个跟踪特征点在第t-2帧目标图像上的像素坐标值，x_t-3为第i个跟踪特征点在t-3帧目标图像上的像素坐标值，Δt₁为t-3时刻到t-2时刻的时间差值；第t-3帧目标图像为t-3时刻得到的目标图像，t-2帧目标图像为t-2时刻得到的目标图像；

Step2：基于第t-2帧目标图像、t-1帧目标图像，依据可计算出跟踪特征点集Current_pts3中每一个跟踪特征点从t-2时刻到t-1时刻的像素速度，计算得到m个跟踪特征点从t-2时刻到t-1时刻的像素速度集V₂＝{v′₁,v′₂,...,v′_i...,v′_m}，其中，m为t-1帧目标图像对应的跟踪特征点集Current_pts3中的跟踪特征点的个数；v′_i为第i个跟踪特征点从t-2时刻到t-1时刻的像素速度；Δt₂为t-2时刻到t-1时刻的时间差值，x_t-1为第i个跟踪特征点在t-1帧目标图像上的像素坐标值；

Step3：基于式v_1max＝max{v₁,v₂,...,v_k}与式v_2max＝max{v′₁,v′₂,...,v′_m}分别求取像素速度集V₁与V₂中的最大像素速度v_1max与v_2max；v_1max代表t-3时刻到t-2时刻的像素速度，v_2max代表t-2时刻到t-1时刻的像素速度；

Step4：通过式计算出短时间速度变化最大尺度λ，通过式v_em＝λv_2max来计算出t-1时刻到t时刻的像素速度v_em；

Step5：利用v_em重新确定t时刻目标搜索区域图像，重新确定的目标搜索区域图像的中心点为(x₀,y₀)，重新确定的目标搜索区域图像的高的取值范围为宽的取值范围为其中，x＝v_em×Δt，Δt为t-1时刻到t时刻的时间间隔。