CN101510311B - 基于gps信息对大量建筑物侧立面图像快速分类的方法 - Google Patents

Abstract

本发明公开了一种基于GPS信息对大量建筑物侧立面图像快速分类的方法。在图像采集设备的移动平台上固定GPS接收器，用于获取移动平台的位置与方向。在采集建筑物侧立面图像数据同时通过GPS接收器获取摄像机信息。另外从顶视图抽取建筑物的水平轮廓线。对于每个建筑物，选择所有与其水平轮廓线的距离小于定值的侧立面图像。随后还原每张图像的视野，并检测水平轮廓线是否位于视野内，从而判断此图像是否包含该建筑物。本发明不需要雷达、激光扫描仪之类特殊昂贵的硬件设备，数据采集方式也相当方便，经实践证明具有良好的对应效果。该方法成本低，交互便捷，对于大部分目标建筑都能对具备附加信息的图像进行自动归类。

Description

基于GPS信息对大量建筑物侧立面图像快速分类的方法

技术领域

本发明涉及一种图像自动分类的方法，尤其涉及一种基于GPS信息对大量建筑物侧立面图像快速分类的方法。

背景技术

在城市三维建模的实际应用中，使用数字摄像机高速采集图像的方式得到越来越广泛的使用。这种采集方式会产生大量城市街区图像，因此如何将这些图像与图像中所包含的建筑物进行快速而准确的对应已经成为了一个很重要的问题。需要一个行之有效的方法对图像进行快速分析，从而建立图像与建筑物之间的对应关系。

当前将GPS与图像采集系统整合的方法主要如下：

张琪在CN200410084213.3发明专利申请公开说明书中提出了一种使用GPS对数码相片进行拍摄位置定位的方法。这种方法在拍摄数码相片的同时使用GPS接收机记录拍摄者的轨迹日志，将记录在GPS接收机中的带有时间和地理位置信息的轨迹日志与带有时间信息的数码相片进行互相匹配，这种匹配是通过GPS轨迹日志中的时间信息和数码相片中的时间信息间的相似度比较来完成的。这种方法简单可行，但是由于缺乏拍摄方向，因此无法进行进一步的筛选，同时使用最近匹配方法可能会导致精度不足。

林辉全在CN200610023767.1发明专利申请公开说明书中提及了一种储存与共享GPS照片的方法与系统。该系统当使用者上传数字照片的中继数据内含定位坐标时，由解析模块撷取数字照片中的名称及坐标信息存入对应表后，再将该上传的照片存入影像数据库中；在下次接收到使用者输入一定位坐标时，即可根据该定位坐标寻找对应表中相关的数字照片档案。这种方法使用数据库来储存照片的信息，可以提高寻找速度，这个方法也缺乏拍摄方向。

在城市建模技术中，存在一个重要的技术需求：即对路面采集得到的大量建筑物侧立面图像基于图像中所包含的建筑物侧面进行分类。

利用雷达以及激光扫描仪获取三维信息的方法可以将建筑物基于图像中所包含的建筑物侧面进行良好的分类，然而这些系统成本均很高，不便于大规模使用。因此一种成本低但能显著的增进建模质量的方法对于当前的城市建模应用将起到较大的帮助。

而在当前的图像采集应用中，已经出现了许多将GPS与图像采集系统整合，以提供图像采集时的位置信息的方法。因此我们考虑使用GPS这一成本低廉效果良好的工具完成如上所述的分类工作。为了达成这个目标，我们需要每张采集得到的图像的位置以及镜头主光轴方向，以及相机的内部参数，便可以还原相机的视野。

然而背景技术1.及2.中所述的利用GPS作为位置来源信息的方法不能直接在城市建模应用中被使用。首先由于此类方法仅记录了图像的位置信息，但是由于缺乏图像的朝向信息，因此不能还原该图像的视野，从而无法对图像进行进一步筛选；其次由于前述方法直接使用从GPS输出的位置信息作为图像的位置信息，这种做法在图像采集速度较低的系统中是简单可行的，但是在图像采集速度超过GPS的采样率(一般为1HZ)的系统中，如果依然直接使用从GPS输出的位置信息作为图像的位置信息，必然导致多张图像的位置信息重合，从而使得结果不准确。本专利可以得到每张图像获取的时刻较为准确的摄像机位置及朝向信息，填补了此类技术的空缺。

发明内容

针对背景技术中存在的不足，本发明的目的在于提出一种基于GPS信息对大量建筑物侧立面图像快速分类的方法，使用GPS提供位置以及朝向信息的源数据，经过变换后得到每张图像的拍摄位置及镜头主光轴朝向，将其作为图像的附加信息用以辅助大量图像自动快速归类的方法。

为达到上述目的，本发明采取的技术方案包括以下步骤：

a)在数字照相机或摄像机的移动平台上固定GPS接收器，用于获得移动平台的实时位置与方向；保持图像采集设备镜头的主光轴水平且与移动平台前进方向保持相同的夹角，同时确保GPS接收器、图像采集设备和移动运载装置三者之间的位置保持相对固定，并记录下GPS接收器与数字照相机或摄像机的相对位移以及数字照相机或摄像机镜头主光轴方向与移动平台前进方向的夹角；

b)当移动平台在道路上前进时，移动平台上的数字照相机或摄像机将拍摄道路一侧建筑物侧立面图像；记录每张图像拍摄时刻的GPS接收器的位置及移动方向，使用所记录的GPS接收器与数字照相机或摄像机的相对位移变换GPS接收器的位置得到侧立面图像数据采集时的摄像机位置信息，使用GPS的移动方向与数字照相机或摄像机镜头主光轴方向与移动平台前进方向的夹角得到侧立面图像采集时的摄像机方向；

c)从卫星遥感图像、航拍图像及城市规划图的俯视图上抽取建筑物的水平轮廓线，并记录组成建筑物的水平轮廓线的线段上每个顶点的经度与纬度；

d)对于每个建筑物的水平轮廓线，均通过水平轮廓线上每个顶点的经度与纬度，选择所有与水平轮廓线的距离小于50～150m值的建筑物侧立面图像数据；

e)对于与水平轮廓线的距离小于50～150m值的建筑物侧立面图像中的每张图像，使用侧立面图像数据采集时刻的摄像机位置、镜头朝向以及数字照相机或摄像机的水平视角和垂直视角信息还原出拍摄该建筑物侧立面图像时的视野，并检测水平轮廓线是否位于该视野内；

f)如果水平轮廓线位于上述视野内，则能得出该张建筑物侧立面图像与该建筑物水平轮廓线之间存在对应关系；在计算出该图像与所有的水平轮廓线的对应关系后，使用基于扫描线Z缓冲算法的筛选算法对被遮挡的水平轮廓线进行剔除，当剔除了所有被遮挡的水平轮廓线后，如果水平轮廓线没有被剔除，则该张建筑物侧立面图像被分类于该水平轮廓线所对应的集合中。

所述检测水平轮廓线是否位于该视野内，是根据每张建筑物侧立面图像拍摄时刻的摄像机位置、镜头朝向信息及已知的摄像机内参还原摄像机的视野，使用等腰三角形模拟摄像机视野，该等腰三角形以摄像机位置为顶点，数字照相机或摄像机的水平视角为顶角，高的取值与d)步骤中使用的距离值相同，顶点到底边的中垂线方向与镜头主光轴的方向一致；如果等腰三角形包含建筑物水平轮廓线或者与建筑物水平轮廓线相交，那么建筑物水平轮廓线的全部或部分包含于该建筑物侧立面图像的视野中，否则建筑物水平轮廓线便不包含于该建筑物的侧立面图像的视野中。

所述基于扫描线Z缓冲算法的筛选算法对水平轮廓线进行遮挡剔除，是对于指定的建筑物侧立面图像，首先找出在f)步骤中确定的所有与这张图像所对应的建筑物水平轮廓线，并构造一条与数字照相机/摄像机的镜头主光轴垂直，同时平行于地平面的线段，线段中心位于镜头主光轴上，线段长度为

其中θ为数字照相机或摄像机的水平视角，d为该线段与数字照相机或摄像机位置的距离，d的取值可为任意正值，并对线段建立n等分；将所有与这张图像所对应的建筑物水平轮廓线以数字照相机或摄像机的位置为视点透视投影到该线段上，并在每个线段等分间隔上记录下投影至该等分间隔的水平轮廓线中距镜头距离最短的水平轮廓线的编号；在投影完成后，便可得到每条轮廓线的等分间隔数，再乘以等分间隔的单位长度，得到每条水平轮廓线在投影线段上的可见长度的近似值，可见长度即一条水平轮廓线在投影至投影线段时不受到其他水平轮廓线遮挡的长度，同时使用同样的方法单独投影该条水平轮廓线至线段上，得到该条水平轮廓线在线段上的透视投影长度，用该条水平轮廓线的近似可见长度除以透视投影长度，便得到该条水平轮廓线的可见比例的近似值；如果近似值小于用户给定阈值，则该水平轮廓线被遮挡，在选择结果中去除，否则该水平轮廓线可见，在选择结果中保留。

本发明与背景技术相比，具有的有益效果是：

本发明针对使用GPS定位摄像机位置的传统技术中信息不完备(不具备朝向信息)及在高速采集应用下精度不足的缺点，提出了一种对于城市建模中以一定方式所获取的图像序列进行优化的，取得序列中每张图像拍摄坐标及朝向，并利用这些信息对图像自动进行归类的方法。本发明不需要雷达、激光扫描仪之类特殊昂贵的硬件设备，数据采集方式也相当方便，经实践证明具有良好的对应效果。该方法成本低，交互便捷，对于大部分目标建筑都能对具备附加信息的图像进行自动归类。

附图说明

图1是本发明的流程图。

图2是用以模拟摄像机视野及摄像机主光轴的示意图。

图3是基于扫描线Z缓冲算法的筛选算法示意图。

具体实施方式

下面结合附图和实施方式对本发明做进一步说明。

本发明提出了一种基于GPS信息对大量建筑物侧立面图像快速分类的方法，包括如下步骤：在图像采集设备的移动平台上放置GPS接收器，用于获取移动平台的位置与方向。在采集建筑物侧立面图像数据同时通过GPS接收器获取摄像机信息。另外从顶视图抽取建筑物的水平轮廓线。对于每个建筑物，选择所有与其水平轮廓线的距离小于定值的侧立面图像。而后还原每张图像的视野，并检测水平轮廓线是否位于视野内，从而判断此图像是否包含该建筑物。在获取了一张图像包含的所有建筑物水平轮廓线后，通过筛选算法对这些建筑物的水平轮廓线进行遮挡剔除，以去除被遮挡的建筑物水平轮廓线。

具体流程如图1所示，现具体介绍每一步的实现细节。

1、在数字照相机/摄像机的移动平台上固定GPS接收器，用于获得移动平台的实时位置与方向。保持图像采集设备镜头的主光轴水平且与移动平台前进方向保持固定夹角，同时确保GPS接收器、图像采集设备和移动运载装置三者之间的相对位置保持相对固定，并记录下GPS接收器与数字照相机/摄像机的相对位移以及数字照相机/摄像机镜头主光轴方向与移动平台前进方向的夹角θ，当主光轴方向位于移动平台前进方向左侧时θ为正值，位于移动平台前进方向右侧时θ为负值。

2、建筑物侧立面图像数据的采集和每张图像摄像机位置、镜头朝向的记录：利用移动平台上的摄像机对建筑物侧立面进行连续拍摄，并记录下拍摄每张照片的时间，同时使用GPS连续获取并记录在拍摄过程中的GPS位置信息与瞬时运动方向信息，同样为每个GPS信息加上时间戳。在一段图像序列采集完成后，使用如下算法获取这段图像序列中的每张图像拍摄时的位置和朝向。

对于每张图像，根据该图像的拍摄时间t，在记录下的GPS位置信息与瞬时运动方向信息中，寻找出GPS位置信息P₁，P₂与朝向信息d₁，d₂，使得对应的时间满足t_P1≤t＜t_P2，t_d1≤t＜t_d2，且P₁，P₂是连续的两条位置信息，d₁，d₂是连续的两条朝向信息。

该图像的位置P与朝向d可以由如下公式计算得到：

$P=P_1+\frac{t-t_{P1}}{t_{P2}-t_{P1}}(P_2-P_1)$

$d=d_1+\frac{t-t_{d1}}{t_{d2}-t_{d1}}(d_2-d_1)$

由于拍摄平台的运动一般较为平稳，因此使用如上公式进行一阶线性插值足以得到较为精确的图像拍摄时刻的位置与朝向。

3、使用Canny边缘检测对卫星遥感图像、航拍图像及城市规划图的俯视图进行预处理，得到卫星遥感图像、航拍图像及城市规划图的俯视图的边缘；随后使用Hough变换对卫星遥感图像、航拍图像及城市规划图的俯视图的边缘进行预处理，得到初始的建筑物轮廓，然后对结果不理想的部分进行人工交互修正，得到建筑物的水平轮廓线。这条水平轮廓线上每个顶点的经纬度将被记录，以确定三维建筑模型的位置以及水平结构。并获取这条水平轮廓线上所有顶点经纬度的最大值与最小值Lon_max，Lon_min，Lat_max，Lat_min，并使用这些值构造一个矩形，它的顶点为 $\begin{array}{cc}{P}_1(\mathrm{Lo}{n}_{\min },{\mathrm{Lat}}_{\max })& P_2({\mathrm{Lon}}_{\max },{\mathrm{Lat}}_{\max })\\ P_3({\mathrm{Lon}}_{\min },{\mathrm{Lat}}_{\min })& P_4({\mathrm{Lon}}_{\max },{\mathrm{Lat}}_{\min })\end{array},$ 该矩形能将这条水平轮廓线包含在其中，将该矩形作为该轮廓线的包围盒B。

4、当需要对一条水平轮廓线进行图像自动对应的时候，首先获取该条水平轮廓线所对应的包围盒B，然后对长宽都加上一个取值由建筑物到街道的最大距离所确定的数值Δd，实际应用中，200米对于Δd是一个较为合适的取值。这样，扩展过的包围盒B’

$\begin{array}{cc}{P_1}^{\′}({\mathrm{Lon}}_{\min }-\frac{\mathrm{\Δd}}{2},{\mathrm{Lat}}_{\max }+\frac{\mathrm{\Δd}}{2})& {P_2}^{\′}({\mathrm{Lon}}_{\max }+\frac{\mathrm{\Δd}}{2},{\mathrm{Lat}}_{\max }+\frac{\mathrm{\Δd}}{2})\end{array}$

$\begin{array}{cc}{P_3}^{\′}({\mathrm{Lon}}_{\min }-\frac{\mathrm{\Δd}}{2},{\mathrm{Lat}}_{\max }-\frac{\mathrm{\Δd}}{2})& {P_4}^{\′}({\mathrm{Lon}}_{\max }+\frac{\mathrm{\Δd}}{2},{\mathrm{Lat}}_{\max }-\frac{\mathrm{\Δd}}{2})\end{array}$

便可用于在所有图像构成的集合中选择所有在此条水平轮廓线附近拍摄的图像所构成的子集。

5、对于4、处理后得到的图像子集，首先对于每张图像，使用侧立面图像数据采集时刻的摄像机位置、镜头朝向以及数字照相机/摄像机的水平视角和垂直视角信息还原出拍摄该建筑物侧立面图像时的视野，在本应用中由于相交检测对象为水平轮廓线，因此可以将视锥投影至地平面上以简化模型。这样便可以使用等腰三角形构造出一个基本的视锥模型(如图2所示)。该等腰三角形以摄像机位置为顶点，数字照相机/摄像机的水平视角为顶角，高的取值为50～150m的经验值且与使用的50～150m的经验值相同，顶点到底边的中垂线方向与镜头主光轴的方向一致。如果等腰三角形包含建筑物水平轮廓线或者与建筑物水平轮廓线相交，那么建筑物水平轮廓线的全部或部分包含于该建筑物侧立面图像的视野中，否则建筑物水平轮廓线便不包含于该建筑物的侧立面图像的视野中。在剔除了不包含于建筑物的侧立面图像的视野中的图像后，再剔除与该等腰三角形中垂线不相交的建筑物水平轮廓线，因为一般而言，如果建筑物与等腰三角形中垂线(即摄像机主光轴)不相交，那么该张图片上建筑物的比例必然较小，在接下来的应用中所起的效果不大，因此可以剔除。

6、在计算出某张图像与所有的水平轮廓线的对应关系后，使用基于扫描线Z缓冲算法的筛选算法对所有的水平轮廓线进行遮挡剔除，当剔除了被其他水平轮廓线所遮挡的水平轮廓线后，如果某条水平轮廓线没有被剔除，则这条水平轮廓线与该张建筑物侧立面图像是对应的。图3是使用基于扫描线Z缓冲算法的筛选算法对所有的水平轮廓线进行遮挡剔除的示意图，其中，a是一张在某个时刻，移动平台上的数字照相机或摄像机所拍摄到的某张图像中所包含的建筑物所对应的水平轮廓线与镜头的位置的俯视图。首先找出在之前步骤中确定的所有与这张图像所对应的建筑物水平轮廓线，并构造一条与数字照相机/摄像机的镜头主光轴垂直，同时平行于地平面的线段，如图3中b所示，线段中心位于镜头主光轴上，长度为

其中θ为数字照相机/摄像机的水平视角，d为该线段与数字照相机/摄像机位置的距离，d的取值可为任意正值，并n等分这条线段。将所有水平轮廓线以数字照相机/摄像机的位置为视点透视投影到该线段上，并在每个线段等分间隔上记录下投影至该等分间隔的水平轮廓线中距镜头距离最短的水平轮廓线的编号。在所有水平轮廓线的投影完成后，遍历所有线段等分间隔并统计所有水平轮廓线编号在线段等分间隔上出现的次数，便可得到每条轮廓线的等分间隔数c_i，再乘以等分间隔的单位长度

得到每条水平轮廓线在投影线段上的可见长度的近似值

(可见长度即一条水平轮廓线在投影至投影线段时不受到其他水平轮廓线遮挡的长度)，如图3中c所示；同样可以使用同样的方法单独投影该条水平轮廓线至线段上，得到该条水平轮廓线在线段上的透视投影长度，如图3中d，e，f所示。用该条水平轮廓线的近似可见长度除以透视投影长度，便得到该条水平轮廓线的可见比例的近似值。如果可见比例的近似值小于用户给定阈值，则可认为该水平轮廓线被遮挡，在选择结果中去除，否则该水平轮廓线可见，在选择结果中保留。

Claims (3)

1.一种基于GPS信息对大量建筑物侧立面图像快速分类的方法，其特征在于包括以下步骤：

a)在数字照相机或摄像机的移动平台上固定GPS接收器，用于获得移动平台的实时位置与方向；保持图像采集设备镜头的主光轴水平且与移动平台前进方向保持相同的夹角，同时确保GPS接收器、图像采集设备和移动运载装置三者之间的位置保持相对固定，并记录下GPS接收器与数字照相机或摄像机的相对位移以及数字照相机或摄像机镜头主光轴方向与移动平台前进方向的夹角；

b)当移动平台在道路上前进时，移动平台上的数字照相机或摄像机将拍摄道路一侧建筑物侧立面图像；记录每张图像拍摄时刻的GPS接收器的位置及移动方向，使用所记录的GPS接收器与数字照相机或摄像机的相对位移变换GPS接收器的位置得到侧立面图像数据采集时的摄像机位置信息，使用GPS的移动方向与数字照相机或摄像机镜头主光轴方向与移动平台前进方向的夹角得到侧立面图像采集时的摄像机方向；

c)从卫星遥感图像、航拍图像及城市规划图的俯视图上抽取建筑物的水平轮廓线，并记录组成建筑物的水平轮廓线的线段上每个顶点的经度与纬度；

d)对于每个建筑物的水平轮廓线，均通过水平轮廓线上每个顶点的经度与纬度，选择所有与水平轮廓线的距离小于50～150m值的建筑物侧立面图像数据；

e)对于与水平轮廓线的距离小于50～150m值的建筑物侧立面图像中的每张图像，使用侧立面图像数据采集时刻的摄像机位置、镜头朝向以及数字照相机或摄像机的水平视角和垂直视角信息还原出拍摄该建筑物侧立面图像时的视野，并检测水平轮廓线是否位于该视野内；

f)如果水平轮廓线位于上述视野内，则得出该张建筑物侧立面图像与该建筑物水平轮廓线之间存在对应关系；在计算出该图像与所有的水平轮廓线的对应关系后，使用基于扫描线Z缓冲算法的筛选算法对被遮挡的水平轮廓线进行剔除，当剔除了所有被遮挡的水平轮廓线后，如果水平轮廓线没有被剔除，则该张建筑物侧立面图像被分类于该水平轮廓线所对应的集合中。

2.根据权利要求1所述的一种基于GPS信息对大量建筑物侧立面图像快速分类的方法，其特征在于：所述检测水平轮廓线是否位于该视野内，是根据每张建筑物侧立面图像拍摄时刻的摄像机位置、镜头朝向信息及已知的摄像机内参还原摄像机的视野，使用等腰三角形模拟摄像机视野，该等腰三角形以摄像机位置为顶点，数字照相机或摄像机的水平视角为顶角，高的取值与d)步骤中使用的距离值相同，顶点到底边的中垂线方向与镜头主光轴的方向一致；如果等腰三角形包含建筑物水平轮廓线或者与建筑物水平轮廓线相交，那么建筑物水平轮廓线的全部或部分包含于该建筑物侧立面图像的视野中，否则建筑物水平轮廓线便不包含于该建筑物的侧立面图像的视野中。

3.根据权利要求1所述的一种基于GPS信息对大量建筑物侧立面图像快速分类的方法，其特征在于：所述使用基于扫描线Z缓冲算法的筛选算法对被遮挡的水平轮廓线进行剔除，是对于指定的建筑物侧立面图像，首先找出在f)步骤中确定的所有与这张图像所对应的建筑物水平轮廓线，并构造一条与数字照相机/摄像机的镜头主光轴垂直，同时平行于地平面的线段，线段中心位于镜头主光轴上，线段长度为

其中θ为数字照相机或摄像机的水平视角，d为该线段与数字照相机或摄像机位置的距离，d的取值为任意正值，并对线段建立n等分；将所有与这张图像所对应的建筑物水平轮廓线以数字照相机或摄像机的位置为视点透视投影到该线段上，并在每个线段等分间隔上记录下投影至该等分间隔的水平轮廓线中距镜头距离最短的水平轮廓线的编号；在投影完成后，便得到每条轮廓线的等分间隔数，再乘以等分间隔的单位长度，得到每条水平轮廓线在投影线段上的可见长度的近似值，可见长度即一条水平轮廓线在投影至投影线段时不受到其他水平轮廓线遮挡的长度，同时使用同样的方法单独投影该条水平轮廓线至线段上，得到该条水平轮廓线在线段上的透视投影长度，用该条水平轮廓线的近似可见长度除以透视投影长度，便得到该条水平轮廓线的可见比例的近似值；如果近似值小于用户给定阈值，则该水平轮廓线被遮挡，在选择结果中去除，否则该水平轮廓线可见，在选择结果中保留。

Images