CN101915570A - 一种基于灭点的地面移动测量影像线段自动提取分类方法 - Google Patents

Abstract

本发明一种基于灭点的地面移动测量影像线段自动提取分类方法，以地面移动测量所采集的序列影像为基础，分析目标地物空间平行特征线属性、计算其影像灭点，其次以极坐标参数区域极值的霍夫变换与影像灰度连续变化情况提取基于影像边缘的特征线段，然后用灭点对所提取平面线段进行分类，最后以总体最小二乘方法和线段的平面相邻度、重叠度条件对分类后线段进行综合，从而提取多种地物空间平行线对应的影像特征线段。本发明能提高移动测量系统内业处理能力，促进对多种地物(如，建筑物、道路等)的自动识别、测绘成图、三维重建等的研究。

Description

一种基于灭点的地面移动测量影像线段自动提取分类方法

技术领域

本发明涉及移动测量用于空间信息更新、地物自动测绘与三维重建等方面的应用需求，以及数字摄影测量、数字图像处理等学科范围，具体是关于一种基于灭点的地面移动测量影像线段自动提取分类方法。

背景技术

移动测量是空间信息3S技术(GPS、RS和GIS)集成的现代测绘高新技术的代表之一，具有信息记录丰富、采集速度快、自动化程度高、运行成本低廉等特点，为空间数据采集与更新开辟了一条快速高效的新途径。地面移动测量系统提供了强大的地面视角可量测近景实景影像的生产能力，地物自动识别已成为移动摄影测量领域的一个难点热点问题。

移动测量能高速的批量采集自动和解算内外方位元素的可量测实景影像，具有非常强大的空间数据采集能力。不过，当前基于移动测量影像数据的GIS数据库更新、地图测绘与地物三维重建等内业处理还处于相对落后的、人工作业为主的形式。虽然移动测量内业已经实现了基于GPS/DR集成的快速影像方位元素解算，以及通过将移动测量影像、GIS数据库、航空卫星影像等数据形成测量内业的多源数据集成作业环境，但实际的地物量测则还需以人工作业模式逐个选择地物目标影像观测点，方可形成完成预定的内业处理任务。这样的工作量是巨大的，而且相对于移动测量强大的外业数据采集能力，人工为主的地物量测内业处理成为了移动测量进一步发展与应用拓展的瓶颈。一般来讲，移动测量外业与内业人员配置关系一般是1∶3，内业是移动测量工作量中最大的部分，一般取决于提取目标的多少(以300公里的道路数据为例，如果提取中心线、路标、里程碑、收费站等数据，总量约为5万个地物，需要4个作业员工作5天)，而这仅是最基本的道路测绘内业，其它测绘问题还需更多专业性内业。

发明内容

本发明的目的在于针对目前移动测量技术在工程测绘、GIS数据更新与地物三维重建等方面自动化处理水平不高的问题，提出了一种基于灭点的地面移动测量影像线段自动提取分类方法，其基于摄影测量中的灭点理论，建立了影像线段与空间地物特征线段对应的数学模型，具有理论上的严密可靠性，可将所有应属于该灭点类的线段准确提取(即“不弃真”的特点)、且误分类现象极少的良好结果。

为达到以上目的，本发明所采用的解决方案是：

本发明的技术方案中，实现了在地面移动测量所生产的可量测实景影像基础上，进行分属不同地物的影像特征线(如建筑物垂直线、包括中心线分道线等在内的道路平行线等)提取的整个过程；本发明的最突出工作是解算空间平行线的影像灭点、以及根据灭点做影像平面线段的分类。此外，为实现全面、可靠、自动的线段分类提取，技术方案中还包括基于影像边缘特征的线段提取、与分类后的线段综合，从而构成一个完整的影像线段的提取分类方法。

一种基于灭点的地面移动测量影像线段自动提取分类方法，以地面移动测量所采集的序列影像为基础，分析目标地物空间平行特征线属性、计算其影像灭点，其次以极坐标参数区域极值的霍夫变换与影像灰度连续变化情况提取基于影像边缘的特征线段，然后用灭点对所提取平面线段进行分类，最后以总体最小二乘方法和线段的平面相邻度、重叠度条件对分类后线段进行综合，从而提取多种地物空间平行线对应的影像特征线段。所述空间平行特征线包括建筑物垂直线、道路平行线。

具体步骤如下：

1、影像线段提取。这是本发明的基础而不可缺少的内容，后续的影像线段分类与综合均需以此为基础进行，要求在所有可能成为地物平行线而又可以被地面移动测量系统观测到的情况充分提取。为此，本发明提出了一种以影像边缘特征为基础，基于改进霍夫变换与影像灰度连续变化的影像线特征提取算法，即以直线极坐标的参数区域极值取代标准点极值方式，得到线段数量较多，但不会漏掉细节，在影像边缘上形成重叠连续的小线段带，其中每个线段元素均具有准确的位置和方向，是后续线段分类与综合的基础；

2、影像灭点计算。这是本发明的最突出的创新点，也是从提取影像线段后，得到对应于表示地物特征空间平行线的影像线段的关键理论支撑。本发明中根据地物空间特征线的特点，如建筑物边缘垂直线的空间向量已知、根据移动平台的行驶方向拟合得到道路行进方向平行线的空间向量，在摄影测量共线方程与空间直线参数方程的基础上，分析得到影像灭点求解的数学模型。该模型理论上严密、结论简单易用，为每一组可被地面移动测量观测到地物特征平行线提供了对应灭点计算的可靠依据；

3、影像线段分类。通过计算平面线段倾角、及灭点与线段中点连线平面倾角，再计算两倾角之差的绝对值，如果该值在允许范围内则判断线段属于该灭点类；此方法对不同位置灭点的线段分类均稳定可靠，例如垂直线灭点在地面视角影像中位于影像外近似无穷远处，而道路平行线灭点一般在影像内；

4、分类后线段分组与综合。这是本发明的又一个创新要点，是实现线段分类后，获取对应地物空间平行线数量精简、地物边缘特征表现完整而又定位定向准确的影像特征线段的必不可少环节。为适应影像所提取线段平面分布变化多样的情况，本发明对同属一个灭点的影像线段采用先分组、求取综合初值、然后按照总体最小二乘方法实现线段精确综合的策略，基本内容如下：按线段长度排序后进行线段的分组，以未被分组的最长线段为准，计算同类线段集合中其他线段端点到该线段距离、及待分组线段两端点到灭点的距离，计算两种平面距离的比值，以此值判断待分组线段是否属于待合并的当前线段组，然后通过将已分入该组的线段集按长度为权计算综合后线段所在直线方程的初值；如此不断对所有待分组线段进行判断与初值更新，从而完成所有同类影像平面线段的分组与综合初值计算；接下来，以线段长度为权，同组线段按照平面直线的一般形式展开每组线段的总体最小二乘平差综合。

由于采用了上述方案，本发明具有以下特点：本发明可以自动、准确、快速的提取地面移动测量影像中多种地物平行线(如建筑物垂直线、道路平行线等)，所得到线段对地物边缘的定位定向准确完整，且数量上非常精简；且能提高移动测量系统内业处理能力，促进对多种地物(如，建筑物、道路等)的自动识别、测绘成图、三维重建等的研究。

附图说明

图1为基于灭点的地面移动测量影像平面线段提取分类的原理与基本过程。

图2为地面近景影像中垂直线与道路平行线灭点分布图示。

图3为影像平面线段与灭点关系计算。

具体实施方式

以下结合附图所示实施例对本发明作进一步的说明。

本发明内容大致包括：基于影像边缘特征的线段提取、空间平行线灭点计算和基于灭点的影像平面线段分类、分类后以灭点为中心的线段相邻度、重叠度判断分组及总体最小二乘线段综合三个方面，具有两个突出特点：首先，核心数学模型基于空间平行线的已知向量(该向量可由地物属性、移动测量工作运动特性等提供)与内外方位元素已知的影像获得，该模型用于影像线段分类在理论上严密可靠，能显著简化基于移动测量的建筑物、道路等地物自动识别工作；其次，本发明的线段提取分类过程实现全自动化、按照本发明可得到同一影像中对应多种地物属性的影像特征线段，实验表明分类后线段数比总数降低一个数量级或更多，并可保证影像特征线分类的完整可靠性，误分类极少。总之，本发明能显著提高移动测量内业处理能力，对促进地物自动识别、测绘成图、三维重建等的研究，以及推动移动测量技术的深入发展和应用推广有着广泛的前景。

上述对影像地物线段的提取分类对象是移动测量所观测地物中已知三维方向的空间平行线，主要指影像内建筑物垂直线、道路行进方向平行线两类。

1、设计地面移动测量系统数据外业方案、采集移动测量序列影像数据。根据GIS数据更新、地图测绘与地物三维建模的实际需要，对指定范围的建筑物道路等地物进行外业数据采集，所提供的序列影像数据为本发明的处理对象；

2、影像基础线段提取。根据改进霍夫变换(以参数空间区域极值取代标准点极值方式)、影像边缘灰度变化连续性等形成的组合算法提取可量测地面视角实景影像中特征线段数据集。标准霍夫变换的问题在于：当参数离散化粒度比较小，则提取的线段定位准确，但线段较零碎，不能得到整体性较好的数据；当离散化粒度较大时，提取线段整体性好，但定位不准确，提取结果精度较低。如何得到整体性好而又定位准确的平面线段数据，是标准霍夫变换存在的一个疑难问题。本发明提出的解决办法是：设置小的离散度，先满足提取线段的定位精度要求，在计算参数极值时，不按照原来的粒度来判断线段的存在，而是设置一个极坐标参数区域，然后统计极值，作为判断线段生成的条件。

实施中需根据这些分析和影像canny边缘进行影像线段提取的程序开发与测试，形成影像线段提取的软件模块，提取的线段是后续线段分类的基础。

3、影像灭点计算。参照地面移动测量的条件，根据地物空间特征线的特点，如建筑物边缘垂直线的空间向量为固定的(0，0，1)、根据移动平台的行驶方向拟合道路行进方向平行线得到其空间向量，然后根据摄影测量共线方程与空间直线参数方程求解得到影像内灭点：

$\left\{\begin{array}{c}{h}_{l\∞}-h_0=-f\frac{a_1\·m+b_1\·n+c_1\·p}{a_2\·m+b_2\·n+c_2\·p}\\ v_{l\∞}-v_0=-f\frac{a_3\·m+b_3\·n+c_3\·p}{a_2\·m+b_2\·n+c_2\·p}\end{array}\right.---\left(1\right)$

其中hov为影像平面，(h_l∞ v_l∞)为一组空间平行线簇的影像灭点坐标，(h₀，v₀，-f)为影像内方位元素像主点与焦距，(a₁ a₂ a₃；b₁ b₂ b₃；c₁ c₂ c₃)是旋转矩阵。

公式(1)表明，空间平行线在影像的灭点取决于该空间平行线簇的三维矢量、影像外方位角元素旋转矩阵、以及影像内方位元素。空间垂直线簇三维矢量为(mnp)＝(001)，代入(1)计算空间垂直线灭点为(h_v∞ v_v∞)：

$\left\{\begin{array}{c}{h}_{v\∞}-h_0=-f\frac{c_1}{c_2}\\ v_{v\∞}-v_0=-f\frac{c_3}{c_2}\end{array}\right.---\left(2\right)$

此外，当移动测量沿道路行进时，所记录的信息可以获取行进方向三维矢量，而且该矢量可转换为道路三维方向(m_d n_d p_d)，从而可得到与道路中心线、边线一致的三维道路平行线矢量，即：

$\left\{\begin{array}{c}{h}_{d\∞}-h_0=-f\frac{a_1\·m_d+b_1\·n_d+c_1\·p_d}{a_2\·m_d+b_2\·n_d+c_2\·p_d}\\ v_{d\∞}-v_0=-f\frac{a_3\·m_d+b_3\·n_d+c_3\·p_d}{a_2\·m_d+b_2\·n_d+c_2\·p_d}\end{array}\right.---\left(3\right)$

综合(2)与(3)，分析空间垂直线簇与道路行进方向平行线簇两种情况：由于是地面近景视角，hov影像平面中垂直线表现为近似于影像平面的垂直形式，其灭点一般远超出影像平面所在范围，而在影像z轴的正方向或者负方向上近似无穷远处，而道路三维行进方向三维平行线簇灭点则近似于影像中心位置，如图2。

4、根据灭点计算结果进行影像平面线段的分类处理。本发明中影像平面线段基于灭点分类的方法是：计算平面线段倾角，及灭点与线段中点连线平面倾角，然后比较两倾角差异的绝对值来判断灭点与平面线段共线。这可解决灭点在影像不同位置(如垂直线灭点位于影像平面上方近似与无穷远的位置)、影像提取线段长度则远小于线段上任意点到灭点距离的情况；此时若按一般的给定灭点、线段起止点三点共线判断，则无法获得准确分组结果。影像线段相关计算分析如下：

$\left\{\begin{array}{c}\mathrm{\α}=\arctan \frac{v_2-v_1}{h_2-h_1}\\ {\mathrm{\α}}^{\′}=\arctan \frac{v_{\mathrm{vp}}-(v_2+v_1)/2}{h_{\mathrm{vp}}-(h_2+h_1)/2}\end{array}\right.---\left(4\right)$

当满足|α′-α|＜θ₀或|a′-α|＜|180-θ₀|，线段属于该灭点类。其中，(h_vp v_vp)为灭点像平面坐标，(h₁ v₁)与(h₂ v₂)为当前线段的像平面两端点坐标，θ₀为共线差阈值，一般根据外业采集中未计入的翻滚角等因素判断该阈值。

实施中需根据以上灭点计算、基于灭点分类的理论分析进行相关程序开发与测试，形成影像线段提取后分类的软件模块，对影像内提取线段的分类结果是后续的线段综合的基础。

5、灭点分类后影像线段的综合。由于灭点存在多种可能的分布形式，当灭点位于影像范围之外的近似无穷远处时，该类线段在影像上表现为非常近似于平行的形式(如垂直线)；而当灭点位于影像范围内的时候，该类线段在影像上表现为以灭点为中心的辐射状分布。对此，本发明提出如下解决办法：首先，按线段长度排序后进行线段的分组，以未被分组的最长线段为基准，计算影像平面内同类线段集中各线段端点到基准线段的距离、及待分组线段两端点到灭点的距离，计算两种平面距离的比值，以此两比值判断待分组线段是否属于待综合的当前线段组内；然后通过将已分入该组的线段集合按长度为权计算综合后线段所在的初始直线方程，如此不断对所有待分组线段进行判断与初值更新，完成所有同类影像平面线段的分组与综合初值；接下来，以线段长度为权，同组线段按照平面直线的一般形式展开总体最小二乘平差。有关数学分析展开如下：

求得平面直线a·h+b·v+c＝0的初始参数(a₀ b₀ c₀)，与参与平差计算的线段两端点及每个长度权值：{(h_bp1 v_bp1 l₁)，(h_ep1 v_ep1 l₁)，...(h_bpi v_bpi l_i)，(h_epi v_epi l_i)...，(h_bpn v_bpn l_n)，(h_epn v_epn l_n)}，考虑到一般平面直线方程中只存在两个独立参数，设为a，b，则有平差基本方程：

$\left(\begin{array}{cc}{a}_0& b_0\end{array}\right)\left(\begin{array}{c}{\mathrm{\υ}}_h\\ {\mathrm{\υ}}_v\end{array}\right)+\left(\begin{array}{cc}{h}_0& v_0\end{array}\right)\left(\begin{array}{c}\mathrm{\δa}\\ \mathrm{\δb}\end{array}\right)+(a_0\·h_0+b_0\·v_0+c_0)=0---\left(5\right)$

根据同组线段数为n，则有2n个端点，可列出4n个平面直线方程，按(5)展开可得如下带参数条件平差的最小二乘总体平差模型：

$\left\{\begin{array}{c}\underset{2n\×4n}{A}\underset{4n\×1}{V}+\underset{2n\×2}{B}\underset{2\×1}{\overset{\mathrm{\Λ}}{x}}-\underset{2n\×1}{W}=0\\ {\underset{1\×4n}{V}}^T\underset{4n\×4n}{P}\underset{4n\×1}{V}=\min \end{array}\right.---\left(6\right)$

其中， $\underset{4n\×1}{V}={\left(\begin{array}{ccccccccc}{h}_{\mathrm{bp}1}& v_{\mathrm{bp}1}& h_{\mathrm{ep}1}& v_{\mathrm{ep}1}& ......& h_{\mathrm{bpn}}& v_{\mathrm{bpn}}& h_{\mathrm{epn}}& v_{\mathrm{epn}}\end{array}\right)}^T,$ $\underset{2\×1}{\overset{\mathrm{\Λ}}{x}}=\left(\begin{array}{c}\mathrm{\δa}\\ \mathrm{\δb}\end{array}\right)$

$\underset{2n\×2}{B}=\left(\begin{array}{c}{h}_{\mathrm{bp}1}{v}_{\mathrm{bp}1}\\ h_{\mathrm{ep}1}{v}_{\mathrm{ep}1}\\ ...\\ ...\\ h_{\mathrm{bpn}}{v}_{\mathrm{bpn}}\\ h_{\mathrm{epn}}{v}_{\mathrm{epn}}\end{array}\right),$ $\underset{2n\×4n}{A}=\left(\begin{array}{c}{a}_0{b}_{0}00...00\\ 00a_0{b}_0...00\\ ............\\ 0000...a_0{b}_0\end{array}\right),$ $\underset{4n\×4n}{P}=\left(\begin{array}{c}{l}_{1}000...0\\ 0l_{1}00...0\\ 00l_{1}0...0\\ 000l_1...0\\ ......\\ 0000...l_n\end{array}\right)$

解得： $\left\{\begin{array}{c}\underset{4n\×1}{V}={\mathrm{QA}}^T{N}_{\mathrm{aa}}^{-1}(W-B\hat{x})\\ \underset{2\×1}{\overset{^}{X}}=\underset{2\×1}{X^0}+\underset{2\×1}{\overset{^}{\×}}\\ {\mathrm{\σ}}_0=\sqrt{\frac{V^T\mathrm{PV}}{2n-2}}\end{array}\right.---\left(7\right)$

其中，Q＝P^-1，N_aa＝AQA^T， $X^0=\left(\begin{array}{c}{a}_0\\ b_0\end{array}\right).$

求得同组线段总体最小二乘综合的直线方程以后，再计算每根线段在综合后直线方程上端点对应垂足，再对垂足按照线性排列得到综合后线段的两端点。

实施中需根据以上理论分析进行相关程序开发与测试，形成对序列影像处理的软件模块，才能得到对序列影像线段的自动提取分类，为GIS数据更新、地图测绘与地物三维建模等后续处理进行准备。

作为3S(GPS、RS、GIS)技术集成高技术代表的移动测量系统在经历近二十年研究应用的发展，已经基本解决其外业数据自动采集与序列影像自动直接地理参考等理论技术问题后，本方法适应了移动测量序列影像数据应用于物体识别与自动测绘等方面研究发展的需要，在GIS数据库更新、大比例尺地图测绘与地物三维重建等方面具有良好的应用前景。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (4)

1.一种基于灭点的地面移动测量影像线段自动提取分类方法，其特征在于：以地面移动测量所采集的序列影像为基础，分析目标地物空间平行特征线属性、计算其影像灭点，其次以极坐标参数区域极值的霍夫变换与影像灰度连续变化情况提取基于影像边缘的特征线段，然后用灭点对所提取平面线段进行分类，最后以总体最小二乘方法和线段的平面相邻度、重叠度条件对分类后线段进行综合，从而提取多种地物空间平行线对应的影像特征线段。

2.如权利要求1所述的基于灭点的地面移动测量影像线段自动提取分类方法，其特征在于：具体包括以下步骤：

1)影像基础线段提取：以影像边缘特征为基础，基于改进霍夫变换与影像灰度连续变化的影像线特征提取算法，即以直线极坐标的参数区域极值取代标准点极值方式，在影像边缘上形成重叠连续的小线段带，其中每个线段元素均具有准确的位置和方向；

2)影像灭点计算：根据地物空间特征线的特点，在摄影测量共线方程与空间直线参数方程的基础上，分析得到影像灭点求解的数学模型；

3)影像线段分类：计算平面线段倾角、及灭点与线段中点连线平面倾角，再计算两倾角之差的绝对值，如果该值在允许范围内则判断线段属于该灭点类；

4)线段分组与综合：对同属一个灭点的影像线段采用先分组、求取综合初值、然后按照总体最小二乘方法实现线段精确综合。

3.如权利要求2所述的基于灭点的地面移动测量影像线段自动提取分类方法，其特征在于：所述线段分组与综合的具体方法是：按线段长度排序后进行线段的分组，以未被分组的最长线段为准，计算同类线段集合中其他线段端点到该线段距离、及待分组线段两端点到灭点的距离，计算两种平面距离的比值，以此值判断待分组线段是否属于待合并的当前线段组，然后通过将已分入该组的线段集按长度为权计算综合后线段所在直线方程的初值；对所有待分组线段进行判断与初值更新，完成所有同类影像平面线段的分组与综合初值计算；以线段长度为权，同组线段按照平面直线的一般形式展开每组线段的总体最小二乘平差综合。

4.如权利要求1所述的基于灭点的地面移动测量影像线段自动提取分类方法，其特征在于：所述空间平行特征线包括建筑物垂直线、道路平行线。

Images