CN102509287A - 针对静止目标的基于经纬度定位和图像配准的查找方法 - Google Patents

Abstract

本发明一种针对静止目标的基于经纬度定位和图像配准的查找方法，具体步骤是：通过前期侦测获得图像信息，构建指定区域的全景图，并保存；获得原始侦测图像，进行缩放处理；获得全景图中相应的部分作为参考图，再计算缩放处理后侦测图像与参考图的旋转角度和平移量；对侦测图像进行补偿，计算与全景图的残差，对残差图像进行分析来判断目标是否存在。本发明能利用无人机航拍数据实现对静止目标的准确查找。

Description

针对静止目标的基于经纬度定位和图像配准的查找方法

技术领域

本发明属于图像处理技术领域，涉及一种针对静止目标的基于经纬度定位和图像配准的查找方法。

背景技术

在一些地形比较复杂的地区，地面进行搜救的效率不高，有时限于地形、地貌的影响，很难完成对特定目标的查找。利用直升机进行空中查找，在一定程度上能获得较好的效果，但是，当查找目标较小或目标所在区域颜色比较复杂时，就会增加搜救人员的工作压力。近几年来，无人机的低空航测已在抗震救灾、搜救营救、城市规划等方面发挥了积极作用，如何能实现对指定区域目标的准确查找具有重要意义。

发明内容

本发明的目的是提供一种针对静止目标的基于经纬度定位和图像配准的查找方法，能利用无人机航拍数据实现对静止目标的准确查找。

本发明所采用的技术方案是，一种针对静止目标的基于经纬度定位和图像配准的查找方法，其特征在于，具体步骤是：

步骤1、通过前期侦测获得图像信息，构建指定区域的全景图，并将该全景图信息保存；

步骤2、获得原始侦测图像，对该原始侦测图像进行缩放处理，使其与步骤1得到的全景图为同一比例，得到缩放处理后的侦测图像；

步骤3、根据步骤2的侦测图像的经纬度坐标信息，获得全景图中相对应的部分作为参考图，再计算步骤2得到的缩放处理后侦测图像与参考图的旋转角度和平移量；

步骤4、根据步骤3得到的旋转角度和平移量对侦测图像进行补偿，计算补偿后的图像与全景图的残差，对得到的残差图像进行分析来判断目标是否存在。

其中，步骤2的具体方法为：

步骤2.1、计算所述侦测图像与步骤1得到的全景图的缩放比例：

定义C点为地面，B点为步骤1中构建全景图时的飞行高度，A点为侦测飞行高度，侦测飞行高度下摄像头的拍摄范围是S_{view_A}，步骤1中构建全景图时的飞行高度下摄像头的拍摄范围是S_{view_B}，保持两次飞行拍摄中摄像头的分辨率和焦距相同：

$k=\frac{\sqrt{S_{\mathrm{obj}\_A}}}{\sqrt{S_{\mathrm{obj}\_B}}}=\frac{\sqrt{S_{\mathrm{view}\_B}}}{\sqrt{S_{\mathrm{view}\_B}}}=\frac{H_B}{H_A},$ $S_{\mathrm{obj}\_A}=\frac{S_{\mathrm{obj}}}{S_{\mathrm{view}\_A}}\×S_{\mathrm{dpi}},$ $S_{\mathrm{obj}\_B}=\frac{S_{\mathrm{obj}}}{S_{\mathrm{view}\_B}}\×S_{\mathrm{dpi}},$

其中，κ表示地面上的同一物体在A点和B点获得图像中所占的像素比，1/κ即为侦测飞行高度下获得的图像与全景图的缩放比例，S_dpi表示摄像机的分辨率，S_obj表示一物体的实际面积，S_{obj_A}表示该物体在A点拍摄的图像中所占的分辨率，S_{obj_B}表示该同一物体在B点拍摄的图像中所占的分辨率；

步骤2.2、将所述侦测图像乘以1/κ倍，以保证侦测图像与步骤1得到的全景图为同一比例。

步骤3中计算旋转角度

和平移量的具体方法为：

步骤3.1、采用Harris特征点提取方法，分别提取侦测图像和参考图的角点；

步骤3.2、对步骤3.1得到的各角点进行匹配，得到正确特征点对；

步骤3.3、在侦测图像和参考图中，分别对步骤3.2得到的正确特征点对，以相邻三个特征点对为一组，该三个特征点对对应构成两个三角形，分别计算该两个三角形各边与对应法线之间的夹角，根据夹角计算对应角度差，再对所有组特征点求得的角度差求均值，即为旋转角度

步骤3.4、在侦测图像和参考图中，分别对步骤3.2得到的正确特征点对，以相邻三个特征点对为一组，该三个特征点对对应构成两个三角形，分别计算侦测图像中特征点(i，j)距离图像中心点的距离d，以及与图像中心点连线与对应法线的角度θ，对该侦测图像中特征点(i，j)进行旋转，得到旋转后的特征点(i′，j′)：

$\left\{\begin{array}{c}{i}^{\′}=d^{\′}\cos (\mathrm{\θ}+\stackrel{\‾}{\mathrm{\θ}})\\ j^{\′}=d^{\′}\sin (\mathrm{\θ}+\stackrel{\‾}{\mathrm{\θ}})\end{array}\right.,$ 其中，d′＝r*d，r为侦测图像与参考图的相似三角形对应边边长之比；

然后分别计算侦测图像中旋转后的特征点(i′，j′)与其在参考图中对应特征点的坐标差值，再将所有组特征点求得的坐标差值求均值，即为平移量。

步骤3.2的具体方法是：

步骤3.2.1、对步骤3.1得到的各角点，采用基于相似性度量的角点粗匹配方法，获得侦测图像和参考图的多个最优的粗略匹配后的特征点对；

步骤3.2.2、对步骤3.2.1的粗略匹配后的特征点对，采用基于相似三角形的特征点精确匹配算法进行遍历筛选，得到精确匹配后的正确特征点对：

步骤3.2.2.1、任意输入三对粗略匹配后的特征点对，其在侦测图像和参考图中分别组成三角形；

步骤3.2.2.2、分别计算步骤3.2.2.1得到的三角形三边的长度，当两个三角形对应的三边全部等比例时，判断该三对特征点对为正确特征点对，返回步骤3.2.2.1对其他粗略匹配后的特征点对进行判断，否则，进入步骤3.2.2.3；

步骤3.2.2.3、在步骤3.2.2.1得到的两个三角形中，当两条对应边等比例时，保留该两条边的公共特征点对，删除另外两个特征点对；当三条对应边比例均不相同时，删除这三个特征点对，保留的特征点判断为正确特征点对，返回步骤3.2.2.1对其他粗略匹配后的特征点对进行判断。

本发明方法的有益效果是，通过构建目标区域的全景图、已知经纬度区域的定位、飞行高度比下的缩放比例转换、基于特征点的双层图像配准技术和目标检测技术实现对静止目标的查找，即一种“静对静”的目标查找方法。通过提出的目标查找方法，能辅助搜救人员高效的完成对静止目标进行准确查找。

附图说明

图1为本发明中计算缩放比例的拍摄点位置关系示意图；

图2为本发明中进行精确匹配时的特征点对的位置关系示意图，其中，(a)为参考图，(b)为侦测图像；

图3为本发明中计算旋转角度时特征点对的位置关系示意图，其中，(a)为参考图，(b)为侦测图像；

图4为本发明中对侦测图像进行补偿前后的特征点对的位置关系示意图，其中，(a)为参考图，(b)为侦测图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

实现对复杂区域目标的高效查找，一般凭肉眼搜查很难达到，需要借助计算机机器视觉技术来辅助。一般的基于视觉的目标查找方法或者是已知目标的一些图像信息，或者是在静止背景下查找运动的目标，但是以上前提在空中目标查找任务中都很难满足。无人机在进行航拍时，通常可以获得待查找目标区域的经纬度信息，这样可以缩小查找的范围，本发明也是充分利用这一信息来达到高效的目标查找，而且在进行一些搜救、营救任务前都需要对地形进行航测，能利用航测所获得的地形信息构建目标区域的一个全景图来辅助对静止目标的查找任务。

本发明一种针对静止目标的基于经纬度定位和图像配准的查找方法，具体步骤是：

步骤1、通过前期侦测获得图像信息，构建指定区域的全景图，并将该全景图信息保存。

由于缺少待查找目标的有效信息，所以通过构建全景图作为查找目标的基本信息。如果有目标落入该区域中，那么目标所在区域的图像信息将与全景图中的该区域信息有所不同。无人机一般都会携带定位装置，在航测的同时可记录当前视频帧所在的经纬度信息，利用这些特征进行目标的查找。

现有的全景图的构造方法有很多，如基于SIFT特征匹配的全局图拼接方法，或基于视频序列的全景图像拼接方法等。

步骤2、获得原始侦测图像，对该原始侦测图像进行缩放处理，使其与步骤1得到的全景图为同一比例，得到缩放处理后的侦测图像。

步骤2的具体方法为：

步骤2.1、计算侦测图像与步骤1得到的全景图的缩放比例：

如图1所示，C点为地面，B点为步骤1中构建全景图时的拍摄点，H_B为B点的高度，A点为侦测图像拍摄点，H_A为A点的高度，侦测飞行高度下摄像头的拍摄范围是S_{view_A}，步骤1中构建全景图时的飞行高度下摄像头的拍摄范围是S_{view_B}，保持两次飞行拍摄中摄像头的分辨率和焦距相同：

$k=\frac{\sqrt{S_{\mathrm{obj}\_A}}}{\sqrt{S_{\mathrm{obj}\_B}}}=\frac{\sqrt{S_{\mathrm{view}\_B}}}{\sqrt{S_{\mathrm{view}\_B}}}=\frac{H_B}{H_A},$ $S_{\mathrm{obj}\_A}=\frac{S_{\mathrm{obj}}}{S_{\mathrm{view}\_A}}\×S_{\mathrm{dpi}},$ $S_{\mathrm{obj}\_B}=\frac{S_{\mathrm{obj}}}{S_{\mathrm{view}\_B}}\×S_{\mathrm{dpi}},$

其中，κ表示地面上的同一物体在A点和B点获得图像中所占的像素比，1/κ即为侦测飞行高度下获得的图像与全景图的缩放比例，S_dpi表示摄像机的分辨率，S_obj表示一物体的实际面积，S_{obj_A}表示该物体在A点拍摄的图像中所占的分辨率，S_{obj_B}表示该同一物体在B点拍摄的图像中所占的分辨率。

步骤2.2、将所述侦测图像乘以1/κ倍，以保证侦测图像与步骤1得到的全景图为同一比例。

步骤3、根据步骤2的侦测图像的经纬度坐标信息，获得全景图中相应的部分作为参考图，再计算步骤2得到的缩放处理后侦测图像与参考图的旋转角度和平移量。

步骤3中计算旋转角度

和平移量的具体方法为：

步骤3.1、采用Harris特征点提取方法，分别提取侦测图像和参考图的角点。

步骤3.2、对步骤3.1得到的各角点进行匹配，得到正确特征点对。

本发明采用先粗匹配再精确匹配的方法来获得准确的特征点对，步骤3.2的具体方法是：

步骤3.2.1、对步骤3.1得到的各角点，采用基于相似性度量的角点粗匹配方法，获得侦测图像和参考图的多个最优的粗略匹配后的特征点对。

相似性度量方法具有平移不变性，相似性度量方法如下：

$c=\frac{\underset{I=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}(I_1(x_i,y_j)-{\stackrel{\‾}{I}}_1)(I_2(x_i,y_j)-{\stackrel{\‾}{I}}_2)}{\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(I_1\left(x_i{y}_j\right)-{\stackrel{\‾}{I}}_1)}^2\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(I_2(x_i,y_j)-{\stackrel{\‾}{I}}_2)}^2}},$ 其中，I₁(x_i，y_j)为图像I₁中坐标为(i，j)像素点的灰度值，I₂(x_i，y_j)为图像I₂中坐标为(i，j)像素点的灰度值，C为相关系数，

为图像I₁观察窗口内像素的平均灰度值，为图像I₂观察窗口内像素的平均灰度值，m为观察窗口长度(即正方形观察窗口的边长)。

令m＝9，即选择9×9的窗。使用相互关系法进行角点匹配时，首先对图像I₁中的任一角点，寻找在图像I₂中与之相关性最大的点，然后对图像I₂中的任一角点寻找图像I₁中与之相关性最大的点，当双向搜索到的最大相关角点彼此对应时，认为寻找到一对匹配点。在实际的实现中，找到粗略的匹配点的同时，对C值进行排序，取出前n个值，其对应的I₁和I₂中的特征点(x，y)和(x′，y′)即找到的最优粗略匹配点对，这样可以减少进行精确匹配时的运算量。

粗匹配过程很可能就会出现误匹配的现象，所以需要对特征点进行精确筛选。

步骤3.2.2、对步骤3.2.1的粗略匹配后的特征点对，采用基于相似三角形的特征点精确匹配算法进行遍历筛选，得到精确匹配后的正确特征点对：

步骤3.2.2.1、任意输入三对粗略匹配后的特征点对，其在侦测图像和参考图中分别组成三角形。

步骤3.2.2.2、分别计算步骤3.2.2.1得到的三角形三边的长度，当两个三角形对应的三边全部等比例时，判断该三对特征点对为正确特征点对，返回步骤3.2.2.1对其他粗略匹配后的特征点对进行判断，否则，进入步骤3.2.2.3。

步骤3.2.2.3、在步骤3.2.2.1得到的两个三角形中，当两条对应边等比例时，保留该两条边的公共特征点对，删除另外两个特征点对；当三条对应边比例均不相同时，删除这三个特征点对，保留的特征点判断为正确特征点对，返回步骤3.2.2.1对其他粗略匹配后的特征点对进行判断。

如图2所示，(a)中点{A₁，A₂，...，A₅，A₆}和(b)中{B₁，B₂，...，B₅，B₆}分别是两组特征点对在参考图和侦测图像中的对应特征点。在步骤3.2.2中，分别取A₁A₂A₃和B₁B₂B₃组成两个三角形，然后计算每个三角形的边长。匹配之后发现ΔA₁A₂A₃和ΔB₁B₂B₃对应边比例都为1，则认为这两个三角形为全等三角形，则将这三对点分别存储起来，然后进行下一组特征点对的判断。ΔA₄A₅A₆和ΔB₄B₅B₆匹配发现，三边比例都不相等，则删除这三对特征点。

步骤3.3、在侦测图像和参考图中，分别对步骤3.2得到的正确特征点对，以相邻三个特征点对为一组，该三个特征点对对应构成两个三角形，分别计算该两个三角形各边与对应法线之间的夹角，根据夹角计算对应角度差，再对所有组特征点求得的角度差求均值，即为旋转角度

如图3所示，(a)中点{A₁，A₂，A₃}和(b)中{B₁，B₂，B₃}分别是一正确特征点对在参考图和侦测图像中的对应特征点。分别计算出ΔA₁A₂A₃和ΔB₁B₂B₃三边与其法线的夹角α₁、α₂、α₃、β₁、β₂、β₃，然后按照下式分别计算对应角度差： $\left\{\begin{array}{c}{\mathrm{\Δ\θ}}_1={\mathrm{\β}}_1-{\mathrm{\α}}_1\\ {\mathrm{\Δ\θ}}_2={\mathrm{\β}}_2-{\mathrm{\α}}_2\\ {\mathrm{\Δ\θ}}_3={\mathrm{\β}}_3-{\mathrm{\α}}_3\end{array}\right.,$ 然后将所有组特征点所求得的角度差求均值，得旋转角度

为：

其中，n为特征点对中以三个为一组所能构成的组数。

步骤3.4、在侦测图像和参考图中，分别对步骤3.2得到的正确特征点对，以相邻三个特征点对为一组，该三个特征点对对应构成两个三角形，分别计算侦测图像中特征点(i，j)距离图像中心点的距离d，以及与图像中心点连线与对应法线的角度θ，对该侦测图像中特征点(i，j)进行旋转，得到旋转后的特征点(i′，j′)：

$\left\{\begin{array}{c}{i}^{\′}=d^{\′}\cos (\mathrm{\θ}+\stackrel{\‾}{\mathrm{\θ}})\\ j^{\′}=d^{\′}\sin (\mathrm{\θ}+\stackrel{\‾}{\mathrm{\θ}})\end{array}\right.,$ 其中，d′＝r*d，r为侦测图像与参考图的相似三角形对应边边长之比；

然后分别计算侦测图像中旋转后的特征点(i′，j′)与其在参考图中对应特征点的坐标差值，再将所有组特征点求得的坐标差值求均值，即为平移量。

步骤4、根据步骤3得到的旋转角度和平移量对侦测图像进行补偿，计算补偿后的图像与全景图的残差，对得到的残差图像进行分析来判断目标是否存在。

如图4所示，(a)中点{A₁，A₂，A₃}和(b)中{B₁，B₂，B₃}分别是一正确特征点对在参考图和侦测图像中的对应特征点。{B′₁，B′₂，B′₃}为根据旋转角度和平移量对侦测图像中{B₁，B₂，B₃}进行补偿得到的特征点。

对残差图的分析可以通过对残差图进行二值化处理，对前景区域进行分析，如果连续前景的面积大于一定的阈值Th，则判断该区域可能存在目标，并将该区域的图像放大给搜查判人员进行判断。分析结果存在以下几种情况：

a)无残差：无目标存在；

b)有较小的前景区域：有目标，且目标可能是要查找的目标；

c)有较大的前景区域：可能发生大面积的地质变化，或其他情况发生。

Claims (4)

1.一种针对静止目标的基于经纬度定位和图像配准的查找方法，其特征在于，具体步骤是：

步骤1、通过前期侦测获得图像信息，构建指定区域的全景图，并将该全景图信息保存；

步骤2、获得原始侦测图像，对该原始侦测图像进行缩放处理，使其与步骤1得到的全景图为同一比例，得到缩放处理后的侦测图像；

步骤3、根据步骤2的侦测图像的经纬度坐标信息，获得全景图中相对应的部分作为参考图，再计算步骤2得到的缩放处理后侦测图像与参考图的旋转角度和平移量；

步骤4、根据步骤3得到的旋转角度和平移量对侦测图像进行补偿，计算补偿后的图像与全景图的残差，对得到的残差图像进行分析来判断目标是否存在。

2.按照权利要求1所述的针对静止目标的基于经纬度定位和图像配准的查找方法，其特征在于，步骤2的具体方法为：

步骤2.1、计算所述侦测图像与步骤1得到的全景图的缩放比例：

定义C点为地面，B点为步骤1中构建全景图时的飞行高度，A点为侦测飞行高度，侦测飞行高度下摄像头的拍摄范围是S_{view_A}，步骤1中构建全景图时的飞行高度下摄像头的拍摄范围是S_{view_B}，保持两次飞行拍摄中摄像头的分辨率和焦距相同：

$k=\frac{\sqrt{S_{\mathrm{obj}\_A}}}{\sqrt{S_{\mathrm{obj}\_B}}}=\frac{\sqrt{S_{\mathrm{view}\_B}}}{\sqrt{S_{\mathrm{view}\_B}}}=\frac{H_B}{H_A},$ $S_{\mathrm{obj}\_A}=\frac{S_{\mathrm{obj}}}{S_{\mathrm{view}\_A}}\×S_{\mathrm{dpi}},$ $S_{\mathrm{obj}\_B}=\frac{S_{\mathrm{obj}}}{S_{\mathrm{view}\_B}}\×S_{\mathrm{dpi}},$

其中，κ表示地面上的同一物体在A点和B点获得图像中所占的像素比，1/κ即为侦测飞行高度下获得的图像与全景图的缩放比例，S_dpi表示摄像机的分辨率，S_obj表示一物体的实际面积，S_{obj_A}表示该物体在A点拍摄的图像中所占的分辨率，S_{obj_B}表示该同一物体在B点拍摄的图像中所占的分辨率；

步骤2.2、将所述侦测图像乘以1/κ倍，以保证侦测图像与步骤1得到的全景图为同一比例。

3.按照权利要求1所述的针对静止目标的基于经纬度定位和图像配准的查找方法，其特征在于，步骤3中计算旋转角度

和平移量的具体方法为：

步骤3.1、采用Harris特征点提取方法，分别提取侦测图像和参考图的角点；

步骤3.2、对步骤3.1得到的各角点进行匹配，得到正确特征点对；

步骤3.3、在侦测图像和参考图中，分别对步骤3.2得到的正确特征点对，以相邻三个特征点对为一组，该三个特征点对对应构成两个三角形，分别计算该两个三角形各边与对应法线之间的夹角，根据夹角计算对应角度差，再对所有组特征点求得的角度差求均值，即为旋转角度

步骤3.4、在侦测图像和参考图中，分别对步骤3.2得到的正确特征点对，以相邻三个特征点对为一组，该三个特征点对对应构成两个三角形，分别计算侦测图像中特征点(i，j)距离图像中心点的距离d，以及与图像中心点连线与对应法线的角度θ，对该侦测图像中特征点(i，j)进行旋转，得到旋转后的特征点(i′，j′)：

$\left\{\begin{array}{c}{i}^{\′}=d^{\′}\cos (\mathrm{\θ}+\stackrel{\‾}{\mathrm{\θ}})\\ j^{\′}=d^{\′}\sin (\mathrm{\θ}+\stackrel{\‾}{\mathrm{\θ}})\end{array}\right.,$ 其中，d′＝r*d，r为侦测图像与参考图的相似三角形对应边边长之比；

然后分别计算侦测图像中旋转后的特征点(i′，j′)与其在参考图中对应特征点的坐标差值，再将所有组特征点求得的坐标差值求均值，即为平移量。

4.按照权利要求3所述的针对静止目标的基于经纬度定位和图像配准的查找方法，其特征在于，步骤3.2的具体方法是：

步骤3.2.1、对步骤3.1得到的各角点，采用基于相似性度量的角点粗匹配方法，获得侦测图像和参考图的多个最优的粗略匹配后的特征点对；

步骤3.2.2、对步骤3.2.1的粗略匹配后的特征点对，采用基于相似三角形的特征点精确匹配算法进行遍历筛选，得到精确匹配后的正确特征点对：

步骤3.2.2.1、任意输入三对粗略匹配后的特征点对，其在侦测图像和参考图中分别组成三角形；

步骤3.2.2.2、分别计算步骤3.2.2.1得到的三角形三边的长度，当两个三角形对应的三边全部等比例时，判断该三对特征点对为正确特征点对，返回步骤3.2.2.1对其他粗略匹配后的特征点对进行判断，否则，进入步骤3.2.2.3；

步骤3.2.2.3、在步骤3.2.2.1得到的两个三角形中，当两条对应边等比例时，保留该两条边的公共特征点对，删除另外两个特征点对；当三条对应边比例均不相同时，删除这三个特征点对，保留的特征点判断为正确特征点对，返回步骤3.2.2.1对其他粗略匹配后的特征点对进行判断。

Images