CN103514446B - 一种融合传感器信息的室外场景识别方法 - Google Patents

Abstract

本发明提供了一种融合传感器信息的室外场景识别方法，利用该方法可以快速对室外场景进行识别，且识别正确率高。具体过程为：步骤1：移动终端采集当前场景的待识别图像，获取移动终端采集图像时的重力信息；步骤2：将待识别图像和重力信息打包成一个压缩文件并发送给服务器；步骤3：服务器根据压缩文件中的重力信息计算待识别图像的重力方向θ_g；步骤4：检测待识别图像中的直线；步骤5：剔除水平和竖直两类直线中的错误直线；步骤6：计算水平消隐点和竖直消隐点；步骤7：对待识别图像进行透视失真校正；步骤8：进行图像匹配，寻找最相近的样本图像，并将该样本图像对应的场景信息返回给移动终端，实现场景识别。

Description

一种融合传感器信息的室外场景识别方法

技术领域

本发明属于移动增强现实技术领域，具体涉及一种融合传感器信息的室外场景识别方法。

背景技术

增强现实（AR）也被称为混合现实，是一种将虚拟物体呈现在真实世界的技术，包括基于位置和图像识别两大类，通过图像识别实现信息的叠加和位置定位推送相关信息。图像识别是基于内容的信息检索研究的热门话题,在遥感图像处理、医学图像处理和计算机视觉等领域有着广泛的应用。

随着移动终端设备（像PDA、智能手机等）的功能也越来越丰富，并且拥有了嵌入式操作系统、加速度传感器、陀螺仪、GPS定位、视频摄像头等功能，同时也具备了较强的计算和处理能力。这些功能的集成为移动增强现实技术发展奠定了基础。LBS（基于位置的服务）在移动增强现实领域等许多领域均有应用，能否准确地获得用户的地理位置信息对LBS至关重要。目前，获得地理位置信息的方法主要有GPS卫星定位、Wifi定位、视觉识别等，但GPS卫星定位技术尚无法实现全天候、高精度的定位功能，Wifi定位受制于Wifi热点的分布，无法实现广泛覆盖，而视觉识别技术则没有这些限制因素，因此只有将GPS定位、Wifi定位等传统方法与新兴的视觉识别技术结合起来才能实现全天候精确定位。近几年，针对户外建筑物的视觉识别技术越来越受到学术界的重视，国内外许多大学与公司都在对户外建筑物识别技术进行深入研究。

谷歌于2009年提出地标（landmark）识别技术，在互联网上收集大量带有GPS信息的著名建筑物的照片，当用户的检索图像被发送至服务器后，系统使用LoG检测特征点与SIFT特征描述符，进行主成分分析（PCA）以提高检索速度，能在很短时间内检索出与用户提交的照片最相符的建筑物目标。

室外图像往往含有大量前景干扰物，这些干扰物形态各异，如人、车、树木、架空电线、马路护栏、过街天桥、电线杆等，都会对直线检测造成不同程度的影响。例如，树木若在图像中占据较大面积，就会在边缘二值图像（EdgeMap）中形成大面积的边缘点，严重影响直线检测的结果；又如架空电线是很明显的直线边缘，对现有的任何一种直线检测方法而言，都无法避免检测到如此明显的直线状干扰物。另外由于检索图片是由用户使用手机拍摄的，待校正的目标建筑物在图像中可能只占据很小的面积，而且图像由手机上传至服务器前，要被客户端程序进行数据压缩，因此分辨率、颜色对比度等方面条件均较差，这些因素都加剧了校正的难度。而现有的许多利用消隐点进行透视失真校正的方法大都针对文档等人工图像，这类图像成分单一，画面较清晰，少有前景干扰，因此很容易得到消隐点的坐标，但由于室外图像场景复杂、干扰物较多的情况，显然不能简单地利用已有方法直接进行处理。

发明内容

有鉴于此，本发明提供了一种融合传感器信息的室外场景识别方法，利用该方法可以快速对室外场景进行识别，且识别正确率高。

实现本发明的技术方案如下：

一种融合传感器信息的室外场景识别方法，适用于该方法的样本图像库中的每一样本图像皆为场景的正面图像；该方法具体过程为：

步骤1：移动终端采集当前场景的待识别图像，再调用移动终端重力传感器接口，获取移动终端采集图像时的重力信息；

步骤2：将待识别图像和重力信息打包成一个压缩文件并发送给服务器；

步骤3：服务器根据压缩文件中的重力信息计算待识别图像的重力方向θ_g；

步骤4：利用Canny边缘检测算法对待识别图像进行边缘二值化处理，得到边缘二值图像，再利用Hough变换的方法检测边缘二值图像中的直线；

步骤5：通过K-means聚类将直线分为水平与竖直两类，并根据所述重力方向θ_g剔除水平和竖直两类直线中的错误直线；

步骤6：根据剔除后得到的水平类直线计算水平消隐点，根据剔除后得到的竖直类直线计算竖直消隐点；

步骤7：利用水平消隐点计算水平方向的单应矩阵，利用垂直消隐点计算垂直方向的单应矩阵，基于两单应矩阵对待识别图像进行透视失真校正；

步骤8：利用校正后的图像与样本图像库中的样本图像进行匹配，寻找最相近的样本图像，并将该样本图像对应的场景信息返回给移动终端，实现场景识别。

进一步地，本发明步骤2在打包成一个压缩文件前，对所述待识别图像进行降采样处理。

进一步地，本发明利用Hough变换的方法检测边缘二值图像中的直线为：利用Hough变换的方法分别检测边缘二值图像中重力方向附近的直线和与重力方向相垂直的方向附近的直线。

进一步地，本发明步骤5中剔除错误直线的方法为：在竖直类直线中，剔除角度在[θ_g-θ_error,θ_g+θ_error]之外的直线，再利用RANSAC剔除错误直线。

进一步地，本发明在执行步骤8之前，对校正后的图像进行如下处理：遍历校正后图像上的每一像素点，利用两单应矩阵的逆矩阵需找其在待识别图像中对应的灰度值，并将寻找到的灰度值拷贝至校正后图像相应的像素点上。

进一步地，本发明所述样本图像库中的每一样本图像还包括GPS信息，所述GPS信息为样本图像上显示的场景的GPS信息；步骤1在采集待识别图像时，获取当前场景的GPS信息，并在步骤2中将所述GPS信息一起发送给服务器；在步骤8进行样本图像匹配时，在样本图像库中寻找与待识别图像对应的GPS信息最近的GPS信息对应的样本图像，并将寻找到的图像定义为查询图像，然后将查询图像与待识别图像进行匹配。

进一步地，本发明所述样本图像库的生成方法为：

S01，获取带GPS信息的各场景正面样本图像；

S02，提取每幅正面样本图像的局部特征，并将局部特征转换为描述符特征向量；

S03，利用所述描述符特征向量训练分层的单词树，再将描述符特征向量经过单词树量化成统计向量，再将所述统计向量存储到倒排文件系统中。

有益效果：

第一，本发明使用智能设备的摄像头对当前场景进行图像采集，并利用传感器信息对图像校正，还原正面图像，最后用计算机视觉技术（即图像匹配），对被采集室外场景进行识别，提供被识别场景的各种信息，从而在移动终端上实现了在线场景识别。

第二，本发明先将待识别图像进行透视失真校正，即借助移动终端的重力感应功能，检测待识别图像中场景（即建筑物）的消隐点，在根据消隐点的坐标对检索图片进行透视失真校正，恢复建筑物的仿射结构，使其与样本图像更加接近，提高识别正确率；同时本发明针对户外复杂环境的干扰情况，剔除检测到的错误的直线，使算法的鲁棒性极大增强。

第三，本发明在获取当前场景的待识别图像时进一步获取GPS信息，根据GPS信息，缩小查询图像的匹配范围，只与位置较近的样本图像进行匹配，减少识别时间。

第四，本发明可以扩展智能终端的交互式应用，满足了旅游、导航、交通、酒店服务等在智能终端上的扩展应用，使网络运营商和内容提供商能够利用其丰富的服务器资源和优越的服务器性能发展其业务。

附图说明

图1融合传感器信息的室外海量物体识别原理图。

图2错误直线剔除图。

图3室外场景图像校正图。

图4为本发明融合传感器信息的室外场景训练样本倒排文件结构图。

具体实施方式

下面将结合附图对本发明进行详细说明。

如图1所示，本发明融合传感器信息的室外场景识别方法，适用于该方法的样本图像库中的每一样本图像皆为场景的正面图像；该方法具体过程为：

步骤1：用户打开移动终端的拍摄设备，采集当前场景的待识别图像，再调用移动终端的GPS传感器接口和重力传感器接口，获取当前场景的GPS信息和移动终端采集图像时的重力信息。

步骤2：待识别图像和重力信息打包成一个压缩文件并发送给服务器。

为了降低运算量，在打包成压缩文件前，终端对采集到的待识别图像进行降采样处理，以降低图像分辨率，并将降采用处理后的图像压缩为JPEG格式；同时本步骤中可通过无线网络的形式发送给远端的图像识别服务器。

步骤3：服务器接收压缩文件，提取重力信息，并根据所述重力信息计算图像的重力方向θ_g。

针对每一带有重力感应的移动终端，其对应的重力方向计算方法都是确定的，下面以某一款手机为例对重力方向的获取方法进行说明：

例如：图像中点p＝[u,v,1]^T处的重力方向向量为d＝p′-p

其中d＝[d_u,d_v,0]^T为点p处的重力方向，p′由下式计算得出：

p′＝[wu′,wv′,w]^T＝p+Kg

其中g＝[g_x,g_y,g_z]^T即为手机中重力加速度感应器获得的三个坐标轴方向的加速度矢量即重力信息，K为手机上相机的内参矩阵。

由d可计算出图像中重力方向的角度为

θ_g＝arctan(d_v/d_u)

步骤4：服务器提取待识别图像，利用Canny边缘检测算法对待识别图像进行边缘二值化处理，得到边缘二值图像，再使用Hough变换的方法检测边缘二值图像中的直线。

Canny边缘检测算法是一种常用的边缘检测算法，考虑到原图像的分辨率未知，本发明使用自适应阈值的Canny边缘检测算法，该方法会根据图像分辨率大小自动设置门限值，输出边缘二值图像（Edge Map）。

在Hough变换方法中，用极坐标(ρ,θ)描述边缘二值图像中的直线；

$\left\{\begin{array}{c}x=\mathrm{\ρ}\cos \mathrm{\θ}\\ y=\mathrm{\ρ}\sin \mathrm{\θ}\end{array}\right.$

其中，(x,y)为边缘二值图像中的点，ρ表示原点到直线的垂直距离，θ为x轴与直线的夹角。一对(ρ,θ)唯一地确定一条直线。

Hough变换方法检测直线为：在(ρ,θ)平面上划分出若干区间，将原图像中各点依次投影到(ρ,θ)平面上，统计落入次数最多的区间对应的(ρ,θ)值，即为原图像中的直线。

针对建筑物的形状特点，本发明对Hough直线检测进行了部分改进，即根据ρ的不同，分别统计重力方向附近的直线和远离重力方向附近的直线，其中远离重力方向为与重力方向相互垂直的方向，其中附近的定义为：与相应方向的夹角在设定阈值内。

对Hough直线检测进行改进是因为：在用户对目标建筑物进行拍摄时，手机一般横屏使用，因此图像大多为横置，即水平方向的长度大于竖直方向，因此竖直方向直线的长度通常小于水平方向的直线。如果仅根据长度检测直线，即设置一个阈值，按照(ρ,θ)区间中落入次数的多少判定直线，会出现只有水平方向能检测到直线，而竖直方向无法检测到直线的状况。因此，在(ρ,θ)平面上统计每一区间的落入次数时，按直线的角度分为两类分别统计：即在图像中重力方向附近的直线与远离重力方向的直线。这样对重力方向附近的直线单独统计可以保证每张图片都能检测到一定数量的竖直方向附近的直线。

步骤5：通过K-means聚类将直线分为水平与竖直两类，并剔除水平和竖直两类直线中的错误直线；

当步骤7对待识别图像进行透视失真校正时，需要水平与垂直两个消隐点，因此本步骤中通过K-means聚类方式将步骤4检测到的直线分成两类，其角度与重力方向较接近的一类为竖直类直线，另一类为水平类直线。

剔除错误直线：

户外自然图像干扰物较多，部分区域边缘点分布异常，检测到的直线往往包含许多错误直线，剔除这些错误直线对计算正确的消隐点有至关重要的作用，这是户外自然图像检测消隐点的难点，也是与人工图像（如文档图像）中检测消隐点的一个重要区别。

首先，利用重力方向对竖直类直线进行验证。

建筑物的竖直类直线的方向应当在重力方向θ_g附近，设阈值θ_error，如θ_error＝10°，丢弃角度在[θ_g-θ_error,θ_g+θ_error]之外的竖直类直线。

其次，使用RANSAC剔除错误直线。

根据Hough变换的思想，XY空间中的直线唯一地对应KB空间中的一个点，同理XY空间中的点在KB空间也唯一地对应一条直线。利用这个思想，可以将XY空间的问题转换到KB空间中解决。设XY空间中的一条直线为

y＝kx+b

其中k、b分别为直线的斜率与截距，若该直线通过消隐点(v_x,v_y)，则满足

v_y＝kv_x+b

也可写为

b＝-kv_x+v_y

KB空间中的直线对应于XY空间中的消隐点(v_x,v_y)。将XY空间中所有直线都转换为KB空间中的点，通过RANSAC方法可将这些点分为内点和外点两个集合。KB空间中的外点在XY空间对应的直线就是要被剔除的直线。

图2左图建筑物表面的边缘点较为混乱，直接使用Hough变换会检测到很多错误直线(中图)，右图为剔除错误直线后的结果。可以看出，绝大多数错误直线都已被剔除。

步骤6：根据剔除后得到的水平类直线计算水平消隐点，根据剔除后得到的竖直类直线计算竖直消隐点。

理想状况下，自然图像中所有直线都是不平行的，这些直线的交点的几何中心就是消隐点。但在计算机中，角度相差很小的直线会被认为是平行的，即两条直线没有交点。平行直线较少时，计算几何中心时可以忽略平行直线，因为减少部分交点并不会对计算消隐点产生很大影响，理论上计算某一方向的消隐点最少只需两条直线的交点即可。但平行直线较多时，忽略的直线过多，显然会严重影响计算消隐点的精度。因此，在计算消隐点时，将平行直线较少与平行直线较多这两种情况分别讨论。

1)计算水平消隐点

a.平行直线较少的情况

设水平类有n条直线，若所有水平类直线两两相交，可得到n(n-1)/2个交点，若所有水平直线两两条平行，则没有可用交点。当平行的直线较少时，可以不考虑直线平行的直线。设可用交点的数量为t，则水平消隐点为

$P_h=\frac{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{P}_k}{t}$

P_h是消隐点坐标，P_k就是第k个可用交点，k是累加变量。

可设置一个阈值n_trd，表示计算水平消隐点时最少需要的直线交点的数量。t≥n_trd时使用此方法。

2)平行直线较多的情况

对于可用交点少于n_trd的情况，可以认为水平类中绝大多数直线都是互相平行的，此时水平消隐点为无限消隐点。无限消隐点无法用坐标表示，只能以一个角度来表示其方向，其计算方法为

${\stackrel{\‾}{\mathrm{\θ}}}_x=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_k/n$

其中θ_k为水平类中的第k条直线的角度。这样做的缺点在于无法得到无限消隐点的坐标。要用二维坐标把无限消隐点表示出来，于是在无限消隐点的方向，取一个很远的距离的点，近似认为是无限消隐点。为此，设系统可以表示的最大值为MAX来解决这一问题。在所指方向、距离图片中心点wMAX(0＜w＜1)处的点，可近似认为是水平方向消隐点，其坐标为

(wt_xMAX,wt_yMAX)

其中，t_x、t_y分别为角度在x轴、y轴方向的分量，且加入w(0＜w＜1)作为系数是为了防止在后续步骤中处理消隐点坐标时产生越界。

3)计算水平方向校正之前的垂直消隐点

本发明在对图像进行透视失真校正时采用分部校正法，先进行水平方向的校正，再进行垂直方向的校正。在垂直校正时，垂直消隐点的坐标会因水平方向的校正而改变，在本发明中仅介绍水平变换之前的垂直消隐点计算方法。

与水平消隐点计算的方法一样，水平方向校正之前的垂直消隐点也要根据直线角度的分为两种情况：平行直线较少的情况与平行直线较多的情况。设竖直类共有m条直线，在所有直线两两相交的情况下有m(m-1)/2个交点，设阈值m_trd表示计算垂直消隐点时最少需要的直线交点的数量，若交点数量大于或等于m_trd，垂直消隐点就是这些交点的几何中心，若交点数量小于m_trd，垂直消隐点为无限消隐点，将图像远处的点近似视为消隐点

(wr_xMAX,wr_yMAX)

其中，r_x、r_y分别为角度在x轴、y轴的分量，且0＜W＜1。

步骤7：由于拍摄待识别图像时，其拍摄的待识别图像未必为当前场景的正面图像，因此待识别图像上存在失真，即在场景中为水平方向的直线，在待识别图像上该直线并非水平，在场景中为竖直方向的直线，在待识别图像上该直线并非竖直，因此需要使用分部校正法对待识别图像进行透视失真校正，利用消隐点坐标分别计算水平与垂直方向校正的单应矩阵，逐点做单应变换，即可得到校正后的图像。

设水平方向的消隐点坐标为(v_x,v_y)，图像中心点的坐标为其中W、H分别为图像的宽度与高度。水平方向的校正需要先将图像中心平移到坐标原点，然后对图像进行旋转，使水平消隐点落在x轴上，旋转的角度为将水平消隐点映射到无限远处，使各条水平消隐线恢复平行结构，最后将图像延相反方向平移至其初始位置。该过程的单应矩阵为

$H_h=T_h^{-1}{K}_h{R}_h{T}_h$

$=\left(\begin{array}{ccc}1& 0& \frac{W}{2}\\ 0& 1& \frac{H}{2}\\ 0& 0& 1\\ & & \end{array}\right)\left(\begin{array}{ccc}& & \\ 1& 0& 0\\ 0& 1& 0\\ \frac{-1}{v_x-W/2}& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& -\frac{W}{2}\\ 0& 1& -\frac{H}{2}\\ 0& 0& 1\\ & & \end{array}\right)$

其中T_h、R_h、K_h分别为平移、旋转和射影变换矩阵。

设水平校正之前的垂直消隐点坐标为(w_x,w_y)，水平校正会使垂直消隐点的位置发生改变，设新的垂直消隐点坐标为（w_x′,w_y′)可由下式得出

(w_x′,w_y′,1)^T=H_h(w_x,w_y,1)^T

与水平方向校正略有区别的是，竖直方向校正在将所有垂直消隐线变换到互相平行的位置后，还要对倾斜进行处理。设竖直方向的消隐点坐标为(w_x,w_y)，水平方向校正后的重力方向为θ_g′。单应矩阵为

$H_v={\mathrm{AT}}_v^{-1}{K}_v{T}_v$

$=\left(\begin{array}{ccc}1& \tan {\mathrm{\θ}}_g^{\′}& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& \frac{W}{2}\\ 0& 1& \frac{H}{2}\\ 0& 0& 1\\ & & \end{array}\right)\left(\begin{array}{ccc}& & \\ 1& 0& 0\\ 0& 1& 0\\ 0& -\frac{1}{w_y-H/2}& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& -\frac{W}{2}\\ 0& 1& -\frac{H}{2}\\ 0& 0& 1\\ & & \end{array}\right)$

其中A的作用是将平行的垂直消隐线校正到竖直方向，θ_g′为水平方向校正之后的重力方向。

步骤8：为了降低运算量，终端对采集到的待识别图像进行降采样处理，以降低图像分辨率；然后采用局部特征检测算法（例如可以是SIFT、SURF或ORB）对待识别图像进行特征点检测，再利用特征描述符（例如可以是FREAK，FastRetina Keypoint)对所检测到的特征点进行描述，获得描述符特征向量，从而实现将待识别图像的局部特征转化为描述符特征向量。由于一幅图像中可能包含大量的信息，因此一幅图像可能有上百个描述符特征向量。

步骤9：利用校正后的图像与样本图像库中的样本图像进行匹配，寻找最相近的样本图像，并将该样本图像对应的场景信息返回给移动终端，实现场景识别。例如该场景信息包括场景周边的商场信息、场景周边的公交站信息等等。

至此，本流程结束。

“孔洞”现象改进：为了使校正后的图像不出现“孔洞”现象，本发明在执行步骤8之前遍历校正后图像上的每一像素点，利用两单应矩阵的逆矩阵需找其在待识别图像中对应的灰度值，并将寻找到的灰度值拷贝至校正后图像相应的像素点上。

如图3所示，将待识别图像经水平方向校正、垂直方向校正后恢复仿射结构，第二列右图为没有使用“反映射”方法造成的“孔洞”现象。在水平与垂直方向校正过程中，若是直接使用单应矩阵H_h、H_v对校正前的原图像中的各点进行变换，计算其在新图像中的位置，则在新图像中会出现一些“孔洞”，这是由于原图像中的点在变换后并未“布满”新图像，新图像中的部分点没有被“投影”。为避免这种情况，本发明采用一种“反映射”的方法，即遍历新图像中的所有点，使用单应矩阵的逆矩阵寻找其在原图像中对应位置的点，将其灰度值拷贝到新图像中，这样就避免了“孔洞”的现象。

利用GPS信息匹配：为了使校正后的图像能够快速与样本图像库中的样本图像进行匹配，本发明方法适用的样本图像中的每一样本图像还包括GPS信息，所述GPS信息为样本图像上显示的场景的GPS信息；此时该方法步骤1在采集待识别图像时，打开移动终端上的GPS接口，获取当前场景的GPS信息，然后在步骤2中将所获得的GPS信息一起发送给服务器；在步骤8进行样本图像匹配时，在样本图像库中寻找与待识别图像对应的GPS信息最近的GPS信息对应的样本图像，这样可以大大的过滤掉与待识别场景距离相差较远的样本图像，从而缩小匹配样本图像的范围；将寻找到的图像定义为查询图像，然后将查询图像与待识别图像进行匹配。

样本图像库获取方法：

S01，获取带GPS信息的各场景正面样本图像；

一般来说可以按场景来获正面样本图像，例如从网络下载或实地拍摄，当实地拍摄场景正面样本图像时，保证在拍摄每一样本图像时，拍摄终端的重力方向为竖直向下，场景的GPS信息就是样本图像的GPS信息。

S02，提取每幅正面样本图像的局部特征，并将局部特征转换为描述符特征向量；

S03，利用所述描述符特征向量训练分层的单词树，再将描述符特征向量经过单词树量化成统计向量，再将所述统计向量存储到倒排文件系统中，利用该方法生成的图像样本库如图4所示。在图4的链表中，每一Index note1对应一个样本图像，其第一列表格存储样本图像描述符特征向量，第二列用于存储样本图像的ID以及GPS信息，第三列可以用于存储样本图像相关的场景信息等等。

基于上述方法得到的样本图像库，在步骤8进行图像匹配时，先用GPS信息进行样本图像过滤，即查找位置相距较近的样本特征向量，访问倒排文件，统计样本库中打分最高的样本作为最相近的样本图像。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种融合传感器信息的室外场景识别方法，适用于该方法的样本图像库中的每一样本图像皆为场景的正面图像；其特征在于，该方法具体过程为：

步骤1：移动终端采集当前场景的待识别图像，再调用移动终端重力传感器接口，获取移动终端采集图像时的重力信息；

步骤2：将待识别图像和重力信息打包成一个压缩文件并发送给服务器；

步骤3：服务器根据压缩文件中的重力信息计算待识别图像的重力方向θ_g；

步骤4：利用Canny边缘检测算法对待识别图像进行边缘二值化处理，得到边缘二值图像，再利用Hough变换的方法检测边缘二值图像中的直线；

所述利用Hough变换的方法检测边缘二值图像中的直线为：利用Hough变换的方法分别检测边缘二值图像中重力方向附近的直线和与重力方向相垂直的方向附近的直线；

步骤5：通过K-means聚类将直线分为水平与竖直两类，并根据所述重力方向θ_g剔除水平和竖直两类直线中的错误直线；

步骤6：根据剔除后得到的水平类直线计算水平消隐点，根据剔除后得到的竖直类直线计算竖直消隐点；

步骤7：利用水平消隐点计算水平方向的单应矩阵，利用垂直消隐点计算垂直方向的单应矩阵，基于两单应矩阵对待识别图像进行透视失真校正；

步骤8：利用校正后的图像与样本图像库中的样本图像进行匹配，寻找最相近的样本图像，并将该样本图像对应的场景信息返回给移动终端，实现场景识别。

2.根据权利要求1所述融合传感器信息的室外场景识别方法，其特征在于，所述步骤2在打包成一个压缩文件前，对所述待识别图像进行降采样处理。

3.根据权利要求1所述融合传感器信息的室外场景识别方法，其特征在于，所述步骤5中剔除错误直线的方法为：在竖直类直线中，剔除角度在[θ_g-θ_error,θ_g+θ_error]之外的直线，再利用RANSAC剔除错误直线。

4.根据权利要求1所述融合传感器信息的室外场景识别方法，其特征在于，在执行步骤8之前，对校正后的图像进行如下处理：遍历校正后图像上的每一像素点，利用两单应矩阵的逆矩阵寻找其在待识别图像中对应的灰度值，并将寻找到的灰度值拷贝至校正后图像相应的像素点上。

5.根据权利要求1所述融合传感器信息的室外场景识别方法，其特征在于，所述样本图像库中的每一样本图像还包括GPS信息，所述GPS信息为样本图像上显示的场景的GPS信息；步骤1在采集待识别图像时，获取当前场景的GPS信息，并在步骤2中将所述GPS信息一起发送给服务器；在步骤8进行样本图像匹配时，在样本图像库中寻找与待识别图像对应的GPS信息最近的GPS信息对应的样本图像，并将寻找到的图像定义为查询图像，然后将查询图像与待识别图像进行匹配。

6.根据权利要求1-5中的任一个所述融合传感器信息的室外场景识别方法，其特征在于，所述样本图像库的生成方法为：

S01，获取带GPS信息的各场景正面样本图像；

S02，提取每幅正面样本图像的局部特征，并将局部特征转换为描述符特征向量；

S03，利用所述描述符特征向量训练分层的单词树，再将描述符特征向量经过单词树量化成统计向量，再将所述统计向量存储到倒排文件系统中。