CN104599281B - 一种基于水平直线方位一致性的全景图与遥感图配准方法 - Google Patents

Abstract

本发明属于图像分析处理和场景三维重建领域，具体涉及一种基于水平直线方位一致性的全景图像与遥感图像配准方法，包括下列步骤：(S1)图像获取：拍摄折反射全景图像，记录拍摄点的经纬度，并获取覆盖该全景图像区域的遥感图像；(S2)划定拍摄点的初始范围：根据拍摄点的经纬度，在遥感图像上，以经纬度坐标点为圆心，r个像素大小为半径，画出一个圆形区域；(S3)在遥感图像上划定拍摄点的初始范围内，手动标记建筑物顶部边缘直线在遥感图像上的像；(S4)提取建筑物顶部的边缘直线在折反射全景图中的像；(S5)提取所有的可能配准点；(S6)根据折反射全景图像和遥感图像中水平直线方位一致性评估，确定最终配准点。

Description

一种基于水平直线方位一致性的全景图与遥感图配准方法

技术领域

本发明属于图像分析处理和场景三维重建领域，具体涉及一种基于水平直线方位一致性的全景图像与遥感图像配准方法。

背景技术

基于图像的三维重建具有广泛的应用前景。公开发表的文献中已提出了许多三维重建的模型和方法。其中，有些基于遥感技术，如高空立体成像或是机载激光雷达；有些基于地面成像技术，如使用图像、视频或激光扫描图进行三维重建。基于遥感成像与基于地面成像的重建各有优缺点，实际上，遥感图像与地面图像是两种重要的互补源数据，将二者结合起来进行重建，有望获得大范围、高逼真的重建效果。而要将二者结合起来使用，配准是一个关键步骤。折反射全景图像和遥感图像的配准是指在遥感图中定位拍摄全景图像时成像装置所在的位置和方位。由于遥感图像是正射图像，成像装置在遥感图像中可表示为一个像素点(称为配准点)，因此，配准的目的就是在遥感图像中定位配准点。

关于遥感图像和地面拍摄图像的配准，现在已有一些研究成果。如将地面图像与利用高空立体成像得到的三维模型进行配准、将航拍图与地面激光扫描图进行了配准等。但这些方法数据采集设备价格昂贵，采集过程复杂，投资比较大。还有文献将在相同观察点拍摄的若干地面图像缝合成360度全景图，然后将此全景图与网上下载的正射航拍图像进行了配准，其配准需要估计相机姿态，约束条件也较多。总的来说，遥感图像和地面拍摄图像配准属于异构传感器图像配准问题，目前快速有效的解决方法比较少。

发明内容

针对现有技术存在的问题，本发明在获取城市街区拍摄的折反射全景图和覆盖该区域的卫星遥感图的基础上，提出了一种快速配准算法，具体技术方案如下：

一种基于水平直线方位一致性的折反射图像与遥感图像配准方法，包括下列步骤：

(S1)图像获取：拍摄折反射全景图像，记录拍摄点的经纬度，并获取覆盖该全景图像区域的遥感图像；

(S2)划定拍摄点的初始范围：根据拍摄点的经纬度，在遥感图像上，以经纬度坐标点为圆心，r个像素大小为半径，画出一个圆形区域；

(S3)在遥感图像上划定拍摄点的初始范围内，手动标记建筑物顶部边缘直线在遥感图像上的像；

(S4)提取建筑物顶部的边缘直线在折反射全景图中的像；

(S5)提取所有的可能配准点；

(S6)根据折反射全景图像和遥感图像中水平直线方位一致性评估，确定最终配准点。

进一步地，所述步骤(S4)具体过程为：

(S41)对折反射全景图像进行边缘检测处理；

(S42)将边缘检测处理后的全景图像中的所有像素点进行全向Hough变换，映射到全向Hough空间；

(S43)在全向Hough空间中寻找极值点，提取所有极值点对应的折反射全景图中的曲线，即为获得空间水平直线在折反射全景图中的像；

(S44)逐一判断所述步骤(S43)中所有极值点对应的折反射全景图中的曲线，若在该曲线远离折反射全景图中心方向存在另一条曲线，则剔除该曲线；剩余的曲线为建筑物顶部的边缘直线在折反射全景图中的像。

进一步地，所述步骤(S5)具体过程为：

(S51)根据所述步骤4的提取结果，在折反射全景图像中，确定在提取的结果曲线中的主像点，具体为：

设折反射全景图像中提取的建筑物顶部边缘所成像e上任意一点P′，像素坐标为(x_p′,y_p′)，则P′到O′(x_O′,y_O′)的距离公式计算为： $R_{P^{\′}}=\left|O^{\′}{P}^{\′}\right|=k_1\sqrt{{(x_{P^{\′}}-x_{O^{\′}})}^2+{(y_{P^{\′}}-y_{O^{\′}})}^2},$

其中，k₁表示全景图像中每个像素单位换算成长度单位的比例系数，如果按照顺时针顺序，e上的点P′所对应的R_P′存在拐点，则在边界e上检测出满足 $R=\max \{\sqrt{{(x_{P^{\′}}-x_{O^{\′}})}^2+{(y_{P^{\′}}-y_{O^{\′}})}^2},\∀P^{\′}\∈e\}$ 的像素点，设为H′，其像素坐标记为(x_H′,y_H′)，则称该边界e即为主像，其对应的H′为主像点；

(S52)设折反射全景图像中的主像e与遥感图中建筑物边界直线E对应于实际空间同一水平直线，且在折反射全景图像上，像平面中心为O′，e的端点为A′,B′；在遥感图像上，E的端点为A,B。则根据角度方位一致性，有

$\left\{\begin{array}{c}\∠A^{\′}{O}^{\′}{H}^{\′}=\∠\mathrm{AOH}\\ \∠B^{\′}{O}^{\′}{H}^{\′}=\∠\mathrm{BOH}\end{array}\right.$

此时，在遥感图中从点A和点B根据上述角度分别引射线，相交于点唯一一点O，点O即为可能配准点。如图4为折反射全景图和遥感图中空间水平直线方位一致性示意图。

进一步地，所述步骤(S6)的具体过程为：

(S61)设建筑物顶部的边缘直线在折反射全景图中的像的集合为Lq，遥感图像中，人工标注的建筑物顶部边缘像的集合为Lh，Lq和Lq均按顺时针方向排序；

(S62)对所有的可能配准点O_i进行如下处理，i＝1…n，n为可能配准点的总个数；

①利用等角原理计算其对应的旋转角集合α，计算方法为：设折反射全景图像中心为O′，遥感图中可能配准点为O_i，若e(e∈Lq，端点为A′,B′)与E(E∈Lh，端点为A,B)对应于实际空间同一水平直线，且射线与像平面的夹角为φ，射线与像平面的夹角为θ，则α＝φ-θ。

②选出集合α中元素的最小值到最大值，以1°为区间长度，将最小值角度至最大值角度之间的范围等分成若干个区间；

③统计每个区间内的旋转角个数，即每个区间的得票数，并选出个数最大值记为N_j；

④若N_j大于阀值M，M＝min(|Lq|,|Lh|×70％)，则将O_i加入候选集S；其中，|Lq|,|Lh|分别表示集合中元素的个数。

计算候选集S中的每个元素s_k的最高投票区间内所有旋转角的方差σ_k ²，k取值为候选集S的个数；若这些方差中有唯一的最小值，则选其对应的位置s_k为满意解；若最小值有多个，则从这些方差最小值对应的位置中选择得票数最高的为满意解。满意解的位置即为折反射全景图的拍摄位置在遥感图中的对应点，满意解所对应的最高投票区间内所有角度的均值即为旋转角度。

⑤以步骤④求得的满意解为折反射全景图与遥感图的配准点，旋转角度为折反射全景图拍摄时的相机方位。至此，配准过程完成。

本发明中运用到Hough变换算法，其主要思想是：折反射全景图中的一个点，对应全向Hough空间的一条曲线，而全向Hough空间的一个点，则对应折反射全景图中的一条曲线；因此，位于空间同一水平直线的点在折反射全景图中的像，变换到全向Hough空间后，对应一簇相交于一点的曲线，如图3所示。图3(a)中，左图中有三个高亮点，每个点变换到hough空间后，对应于图3(a)右图中的一条曲线。图3(b)中，左图中有一条高亮曲线，曲线上的每个点变换到hough空间后均为一条曲线，这些曲线在hough空间中相交于一点，如图3(b)右图中的汇聚点所示。

采用本发明获得的技术效果：本发明所提方法可以快速对折反射全景图像和遥感图像进行半自动配准，算法简单有效，准确度高。将该方法应用于基于折反射全景图和遥感图的城市街区三维重建，在对图像配准后，通过利用遥感图中的街区距离信息和折反射全景图中的街区纹理信息，可快速构建街区的三维场景模型。

附图说明

图1为本发明的算法流程示意图；

图2为本发明中拍摄折反射全景图所采用的成像装置；

图3为折反射全景图像hough变换效果示意图；

图4为折反射全景图和遥感图中空间水平直线方位一致性示意图；

图5为实施案例中的图像采集结果；

图6为实施案例中的初始配准点区域和建筑物顶部边缘人工标记结果；

图7为实施案例中折反射全景图中水平直线提和剔除结果；

图8为折反射全景图和遥感图中空间水平直线方位一致性评估实施案例。

具体实施方式

下面结合实施案例对本发明技术方案进行详细说明，但本发明的保护范围不局限于所述实施例。

1.配准选用的地面图像是经抛物镜面反射由透视相机拍得的折反射全景图。拍摄全景图时，选定建筑物顶部边缘为近似水平直线的城市街区，可以采用现有技术中的相机拍摄，本实施例使用如附图2所示折反射全景相机，由透视相机和抛物面镜组成。拍摄时，把折反射全景相机用三脚架固定在街道上，以街道两边的建筑物为主要拍摄对象。拍摄前，调整装置，使抛物镜面的旋转对称轴与地平面近似垂直，即成像系统主光轴与像平面和地平面近似垂直。拍摄全景图的同时，通过GPS设备获取拍摄点的GPS信息，GPS的定位精度约为20m，如图5(a)所示。遥感图采用从GoogleMap下载的同一区域卫星图，如图5(b)所示。

配准就是建立起折反射全景图与卫星图的相互对应关系，即获得准确的折反射全景图的拍摄点在遥感图中的位置和方位。

2.利用获得的GPS位置为圆心，以遥感图上的20个像素为半径，在遥感图中划定一个圆形区域，该区域即为配准点的初始范围。如附图6所示，Ψ为初始范围

3.在遥感图中，人工标准在配准点初始范围可见的建筑物顶部边缘直线。如附图6所示，E₁,E₂,E₃,E₄,E₅为标记的建筑物顶部边缘直线。

4.采用折反射全景图的hough变换算法，自动提取折反射全景图中的水平直线，并对非建筑物顶部边缘的提取结果进行自动剔除。自动剔除所采用的方法为：对于全景图中检测到的直线，如果在它远离圆心方向存在另一条检测直线，则剔除该直线。水平直线提取结果如图7(a)，剔除结果如附图7(b)所示，e₁,e₂,e₃,e₄,e₅,e₆为最终的空间水平直线所成像的提取结果。

5.依据折反射全景图和遥感图中的建筑物顶部边缘提取结果，在配准点的初始范围内，通过计算折反射全景图中的主像和主像点，计算配准点在遥感图中的可能位置。此例中，全景图中的主像为e₁,e₂,e₃，主像点的图像坐标分别为(696,1002)、(410,154)、(315,212)，所拍摄原始图像分辨率为1920*1080，全景图有效区域分辨率为1070*1070。

6.在提取可能配准点位置后，利用提取的所有空间水平直线所成像的方位一致性对可能的配准点进行评估，选取最优评估结果对应位置为最终配准点。如图8所示，最终的配准点为图中点C，方位旋转角为75.29°。

以上仅是实施例仅用于说明本发明的效果，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (3)

1.一种基于水平直线方位一致性的折反射图像与遥感图像配准方法，其特征在于，包括下列步骤：

(S1)图像获取：拍摄折反射全景图像，记录拍摄点的经纬度，并获取覆盖该全景图像区域的遥感图像；

(S2)划定拍摄点的初始范围：根据拍摄点的经纬度，在遥感图像上，以经纬度坐标点为圆心，r个像素大小为半径，画出一个圆形区域；

(S3)在遥感图像上划定拍摄点的初始范围内，手动标记建筑物顶部边缘直线在遥感图像上的像；

(S4)提取建筑物顶部的边缘直线在折反射全景图中的像；具体过程为：

(S41)对折反射全景图像进行边缘检测处理；

(S42)将边缘检测处理后的全景图像中的所有像素点进行全向Hough变换，映射到全向Hough空间；

(S43)在全向Hough空间中寻找极值点，提取所有极值点对应的折反射全景图中的曲线，即为获得空间水平直线在折反射全景图中的像；

(S44)逐一判断所述步骤(S43)中所有极值点对应的折反射全景图中的曲线，若在该曲线远离圆心方向存在另一条曲线，则剔除该曲线；剩余的曲线为建筑物顶部的边缘直线在折反射全景图中的像；

(S5)提取所有的可能配准点；

(S6)根据折反射全景图像和遥感图像中水平直线方位一致性评估，确定最终配准点。

2.如权利要求1所述的一种基于水平直线方位一致性的折反射图像与遥感图像配准方法，其特征在于，所述步骤(S5)具体过程为：

(S51)根据所述步骤(S4)的提取结果，在折反射全景图像中，确定在提取的结果曲线中的主像点，具体为：

设折反射全景图像中提取的建筑物顶部边缘所成像e上任意一点P′，像素坐标为(x_p′,y_p′)，则P′到O′(x_O′,y_O′)的距离公式计算为： $R_{P^{\′}}=\left|O^{\′}{P}^{\′}\right|=k_1\sqrt{{(x_{P^{\′}}-x_{O^{\′}})}^2+{(y_{P^{\′}}-y_{O^{\′}})}^2},$

其中，k₁表示全景图像中每个像素单位换算成长度单位的比例系数，如果按照顺时针顺序，e上的点P′所对应的R_P′存在拐点，则在边界e上检测出满足 $R=max\{\sqrt{{(x_{P^{\′}}-x_{O^{\′}})}^2+{(y_{P^{\′}}-y_{O^{\′}})}^2},\∀P^{\′}\∈e\}$ 的像素点，设为H′，其像素坐标记为(x_H′,y_H′)，则称该边界e即为主像，其对应的H′为主像点；

(S52)设折反射全景图像中的主像e与遥感图中建筑物边界直线E对应于实际空间同一水平直线，且在折反射全景图像上，像平面中心为O′，e的端点为A′,B′；在遥感图像上，E的端点为A,B；则根据角度方位一致性，有：

$\left\{\begin{array}{c}\∠A^{\′}{O}^{\′}{H}^{\′}=\∠AOH\\ \∠B^{\′}{O}^{\′}{H}^{\′}=\∠BOH\end{array}\right.$

此时，在遥感图中从点A和点B根据上述角度分别引射线，相交于点唯一一点O，点O即为可能配准点。

3.如权利要求1所述的一种基于水平直线方位一致性的折反射图像与遥感图像配准方法，其特征在于，所述步骤(S6)的具体过程为：

(S61)设建筑物顶部的边缘直线在折反射全景图中的像的集合为Lq，遥感图像中，人工标注的建筑物顶部边缘像的集合为Lh，Lq和Lq均按顺时针方向排序；

(S62)对所有的可能配准点O_i进行如下处理，i＝1…n，n为可能配准点的总个数；

①利用等角原理计算其对应的旋转角集合α，具体过程为：设折反射全景图像中心为O′，遥感图中可能配准点为O_i，若折反射全景图像中的主像e(e∈Lq，端点为A′,B′)与遥感图中建筑物边界直线E(E∈Lh，端点为A,B)对应于实际空间同一水平直线，且射线与像平面的夹角为φ，射线与像平面的夹角为θ，则α＝φ-θ；

②选出集合α中元素的最小值到最大值，以1°为区间长度，将最小值角度至最大值角度之间的范围等分成若干个区间；

③统计每个区间内的旋转角个数，即每个区间的得票数，并选出个数最大值记为N_j；

④若N_j大于阀值M，M＝min(|Lq|,|Lh|×70％)，则将O_i加入候选集S；

其中，|Lq|,|Lh|表示集合中元素的个数；

计算候选集S中的每个元素的最高投票区间内所有旋转角的方差，若这些方差中有唯一的最小值，则选其对应的位置为满意解；若最小值有多个，则从这些方差最小值的对应的位置中选择得票数最高的为满意解；所述满意解的位置即为折反射全景图的拍摄位置在遥感图中的对应点，满意解所对应的最高投票区间内所有角度的均值即为旋转角度；

⑤以步骤④求得的满意解为折反射全景图与遥感图的配准点，旋转角度为折反射全景图拍摄时的相机方位，完成配准过程。