CN105096252A - 一种带状全方位街景影像图的制作方法 - Google Patents

Abstract

本发明公开了一种带状全方位街景影像图的制作方法，所述带状全方位街景影像图中至少包括全景影像、与所述全景影像对应的位置与姿态数据、与所述全景影像的采集路径对应的三维投影面数据，主要解决用户通过计算机显示装置对街景影像进行浏览或对实景影像进行测量时，显示装置显示的是没有经航空正射影像或卫星正射影像那样经事先拼接制作成一大张合成影像的一幅幅像单张影像或其局部放大影像，不便于用户对整个浏览景物或整条街道的景观面貌进行把握和了解。本发明将这些用于街景浏览或实景量测用的单张影像进行摄影测量处理合成一条沿街景影像和实景影像采集线路的具有正射影像性质的带状全方位街景影像图，使用户可以在显示装置上整体对街景进行浏览和量测，从而提高街景影像和实景影像的利用价值及使用的方便程度。

Description

一种带状全方位街景影像图的制作方法

技术领域

本发明涉及摄影测量的技术领域，具体涉及一种带状全方位街景影像图的制作方法在互联网地图中的应用。

背景技术

目前，网络地图服务中一般使用如谷歌地图中的街景全景影像(Google，″GoogleMaps，″Nov.2014)或文献J.Kopf，B.Chen，R.Szeliski，andM.Cohen，“StreetSlide：browsingstreetlevelimagery，”ACMTrans.OnGraphics，Vol.29，No.4，pp.96：196：8，2010.中的幻灯片影像技术以及摄影测量领域中的实景测量技术，能够使用户在计算机屏幕上通过一幅幅地面影像对地面感兴趣的局部景物进行详细浏览和三维量测。当用户切换到另一感兴趣的地区，计算机将刚浏览和处理地区的街景影像或实景影像刷屏掉，换成新对应地区的街景影像或实景影像进行显示供用户进行详细浏览或量测处理。这样频繁地切换不同地区的局部放大影像每次给用户提供的是感兴趣景物局部破碎的视觉信息，很容易造成用户对感兴趣景物不能及时进行整体把握和了解。

其次，频繁地从网络上或计算机数据存储设备上调入景物局部地区的单幅街景影像或实景影像，需要花费计算机和网络资源，常常也会造成显示设备的显示延迟，给用户视觉上产生不舒服的感觉，进而造成当前街景影像技术和实景影像量测技术在使用上的不方便等问题。

另外，日本专利公开文献(特许第4273074号)提出的一种按影像远近法将普通面阵相机采集的序列影像经简单几何变换制作带状影像图的方法，在数学理论上存在很大的近似性，不适合于目前广泛使用的采集景物全景影像的由多台单相机组成的全景相机系统影像，合成的带状影像不能覆盖所有景物，按远近法不能处理沿曲线路径拍摄的影像，并且没有和地面测图坐标系统一，使最后得到的带状影像图失去真正意义上的影像图的特性，另外该方法完全依赖影像而不借助外部设备如GPS和惯导以及现有的矢量或影像地图等数据和地面控制点的配合，随着处理影像数量的增多造成误差累积严重影响最后结果的精度，当影像上特征点和特征面很少的时候常常造成处理的失败，不能形成大规模处理。

最后，中国公开专利文献(专利公开号：101283375、专利公开号101283375)提出的一种制作带状街景影像图使用的相机是一般面阵相机或摄像机，获取的影像只覆盖街道的一侧，不能一次覆盖整条街道上下左右四周全方位的景物，影像图制作中需要通过影像匹配得到三维点云构建街道单侧竖直平面形成投影面，然后进行面阵影像到投影面投影得到街道单侧的带状影像图。并且对于景物复杂的街道，采用影像匹配的制作方法常常会失败，需要花费大量的人工修改，造价和时间的消耗较大。

发明内容

鉴于现有技术的不足，本发明旨在于提供一种带状全方位街景影像图的制作方法，从而解决当前网络地图服务中街景全景影像或幻灯片影像技术以及摄影测量领域中实景测量存在的问题，以及克服现有技术中所存在的严重问题。

进一步的，本发明提出新的理论与精确的数学模型从另一个技术角度出发，将这些用于街景浏览或实景量测用的单张影像进行摄影测量处理拼接成一条沿街景影像和实景影像采集线路的具有正射影像性质的带状全方位街景影像图，使用户可以在显示装置上整体对街景进行浏览和量测，从而提高街景影像和实景影像的利用价值及使用的方便程度。带状全方位街景影像图也是当前快速建立城市三维模型所需纹理及视觉真实三维效果表现的有效影像数据，是城市管理、景点旅游观光宣传以及智能交通、自动驾驶所需的一种低价的地图数据，本发明以建立的一种地面特殊的三维投影面为中介，轻易实用地将单幅全景影像按摄影测量中对航空影像和卫星影像制作地面正射影像的方式制作成带状全方位街景影像图。

为了实现上述目的，本发明采用的技术方案如下：

一种带状全方位街景影像图的制作方法，所述带状全方位街景影像图中至少包括全景影像、与所述全景影像对应的位置与姿态数据、与所述全景影像的采集路径对应的三维投影面数据；所述制作方法包括以下步骤：

S1输入一序列沿一条线状路径并按一定间隔用全景相机采集的全景影像；

S2输入通过S1采集获得的所述全景影像相互对应的位置和姿态数据；

S3输入S1采集获得的所述全景影像与S2输入的所述位置和姿态数据的三维投影面数据；

S4根据S1采集获得的所述全景影像的分辨率结合S3输入的三维投影面数据的精细度，设定所述带状全方位街景影像图的影像分辨率；

S5沿S1采集获得的所述全景影像的路径的前进方向或反方向，以设定的影像分辨率为间隔对步骤3中选定的三维投影面上一个断面、一个片断或者根据三维投影面上下左右等不同部位的形状沿路径对这些相应部位分别先形成局部子条带影像最后再进行拼接合成；

S6以共线关系建立S1采集获得的所述全景影像与所述带状全方位街景影像图间的投影影射关系；

S7采集所述全景影像的灰度或彩色信息，并投影到所述带状全方位街景影像图中，并进行匀色和接边处理后获得最终带状全方位街景影像图。

需要说明的是，所述全景影像是由多台单相机组成能一次获取多个方向大范围景物的全景相机的多相机系统，并以其所配置的软件直接输出的以球面投影方式、柱面投影方式、多面投影方式合成的全景影像或半全景影像；或由全景相机的各个单相机获取的原始单幅面阵影像，以及使用合成软件以球面投影方式、柱面投影方式或多面投影方式将这些原始单幅面阵影像合成的全景影像或半全景影像；且全景影像或半全景影像或原始单幅面阵影像可以以整体序列形式，分段序列形式或单张形式存在。

需要说明的是，所述位置和姿态数据包括直接用GPS和惯导融合系统直接观测经后续统合软件处理后的获得的数据；或对所述全景影像进行空中三角测量处理后获得的数据；并将获得后的位置和姿态数据规定到用户设定的地面三维测图坐标系中。

需要说明的是，所述三维投影面数据包括所述全景影像中采集的所沿路径及路径四周景物的高低远近简单设置的单一的三维规则和非规则几何平面、曲面或多个三维规则和非规则几何平面及曲面的组合体，或者事先根据现有二维地图矢量数据和影像数据，三维模型或三维点云数据生成的，或者根据影像匹配及人工观测的手段事后制作；其中，所述三维投影面数据可为两端开口四周封闭的三维筒状格网数据或四周部分开口的三维槽形或反槽形格网数据。

需要进一步说明的是，所述全景影像、所述位置和姿态数据与所述三维投影面是本发明制作带状全方位街景影像图的三要素，是必不可少的数据，所以本发明亦可以此为基本思路，实现本发明的另一种方式可以是，先行分次制作部分小块影像最后再拼接合成制作成本发明类似的带状全方位街景影像图的方法；以及是，将现有带纹理的三维模型投影到所述三维投影面上进行展开，而最终获得本发明类似的带状全方位街景影像图。

需要进一步说明的是，上述技术方案同样适合于以柱面投影方式形成的的全景影像以及以线阵扫描相机形成的影像制作带状全方位或半全方位街景影像图的处理。

本发明有益效果在于，将用于街景浏览或实景量测用的单张影像进行摄影测量处理合成一条沿街景影像和实景影像采集线路的具有正射影像性质的带状全方位街景影像图，使用户可以在显示装置上整体对街景进行浏览和量测，从而提高街景影像和实景影像的利用价值及使用的方便程度。

附图说明

图1是本发明实施例的数据处理流程图；

图2是本发明实施例中设定的一种由多种几何面组成的筒状三维投影面示意图；

图3是用本发明所述方法制作带状半全景街景影像图时选用的一种槽状三维投影面结构示意图；

图4是本发明实施例中最后要制作的带状全方位街景影像图的示意图；

图5是本发明实施例中以球面投影方式表示的全景影像的示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

图1是本发明实施例数据处理流程图，整体上反映了本发明所提方法的技术方案思路，结合附图2至附图5中各部件和要素对本发明的具体实施情况进行详细说明，在实施过程中按下列步骤进行：

步骤1，输入一序列沿一条线状路径404并按一定间隔用全景相机采集的全景影像101，这些全景影像101是由多台单相机组成能一次获取多个方向大范围景物的在这里被称为全景相机的多相机系统，以自身所带的软件直接输出的以球面投影方式、柱面投影方式、多面投影方式合成的全景影像或半全景影像101，或由全景相机的各个单相机获取的原始单幅面阵影像101，以及用后续合成软件以球面投影方式、柱面投影方式或多面投影方式将这些原始单幅面阵影像合成的全景影像或半全景影像101，这些影像可以是以整体序列形式，分段序列形式或单张形式存在。

步骤2，输入与步骤1采集到的全景影像101一一对应的具有满足制作本发明所指的带状全方位街景影像图401精度要求的位置和姿态数据102，这些位置和姿态数据102包括直接用GPS和惯导融合系统直接观测经后续统合软件处理后的位置和姿态数据102或经过对全景影像101进行空三处理后得到的位置和姿态数据102，并规定到用户设定的地面三维测图坐标系中。

步骤3，输入与步骤1采集到的全景影像101及步骤2输入的位置和姿态数据102配套对应的制作带状全方位街景影像图401用的三维投影面数据103，这些三维投影面数据103是根据在步骤1中采集全景影像101时所沿路径404及路径四周景物的高低远近简单设置的三维规则和非规则几何平面、曲面或多个三维规则和非规则几何平面及曲面的组合体，或者事先根据现有二维地图矢量数据和影像数据，三维模型或三维点云数据生成的两端开口四周封闭的三维筒状格网数据或四周部分开口的三维槽形或反槽形格网数据，其功能类似用航空影像和卫星影像制作地面正射影像用的数字地面模型的一种特殊三维模型，这里称为三维投影面103，可根据对所制作的带状全方位街景影像图401的质量要求制作相应精度及形状的三维投影面103。

步骤4，根据步骤1采集到的序列全景影像101的分辨率结合步骤3选定的三维投影面数据103为本发明要制作的带状全方位街景影像图401先设定影像分辨率，沿步骤1中全景影像101采集时路径401的前进方向或反方向，对步骤3中选定的三维投影面201上与本发明要制作的带状全方位街景影像图401上影像行402或影像列对应的横断面202上的点203对应的像素403，通过步骤2输入的位置和姿态数据102，按下列针对步骤1中的全景影像101建立的摄影测量共线方程式，与步骤1中输入的全景影像101的像点206进行几何对应和灰度或彩色采样，然后将采样的灰度或彩色值赋给与该横断面202上的点203对应的带状全方位街景影像图401上的像素403，为保证带状街景影像图401在几何上和视觉上的质量，尽量选择与景物比较吻合的横断面202处做为相邻全景影像101的接边地方，并选择多张全景影像101，通过灰度和色彩对比选择色调变化小的位置进行接边，景物与三维投影面103距离相差较大的片断处的横断面202，可以选择相邻间隔较大的全景影像101进行接边，也可以根据三维投影面103上下左右等不同部位208的形状沿路径401对这些相应部位208分别先形成局部子条带影像405最后再进行拼接合成带状全方位街景影像图401，采用的摄影测量共线方程式为：

$\left[\begin{array}{c}U\\ V\\ W\end{array}\right]=\mathrm{\λ}\·R\left[\begin{array}{c}X-X_S\\ Y-Y_S\\ Z-Z_S\end{array}\right]---\left(1\right)$

其中，X，Y，Z为横断面202上的点203在地面测图坐标系中的三维空间坐标，X_S，Y_S，Z_S为横断面202上的点203所对应的全景影像101的投影中心204在图1所示的输入的位置姿态数据102中的位置数据，R为与全景影像101对应的在图1所示的输入的位置姿态数据102中的姿态角(滚动角ω、俯仰角与方位角κ)构成的旋转矩阵，U，V，W为全景影像上101与横断面点203对应的像点206在针对全景影像101建立的全景相机坐标系中的坐标，λ为X，Y，Z到U，V，W变换对应的比例缩放系数，λ可以简单地定为1，因为它在U，V，W按下列转换处理进一步换算到对应的全景影像101上时将被略掉：

$\left\{\begin{array}{c}\begin{array}{ccc}\mathrm{\&alpha;}=atan(V/U)\&CenterDot;180/\mathrm{\&pi;};& if& \left(\mathrm{\&alpha;}<0\right)\mathrm{\&alpha;}=360+\mathrm{\&alpha;}\end{array}\\ \mathrm{\&beta;}=asin(W/\sqrt{U^2+V^2+W^2})\&CenterDot;180/\mathrm{\&pi;}\end{array}\right.---\left(2\right)$

其中，α，β为U，V，W在步骤1中所述全景影像101上对应的水平坐标方向503和垂直坐标方向504上按角度表示的极坐标值，根据为全景影像101建立的全景相机坐标系很容易将α，β进一步对应到步骤1中所述的全景影像101上以像素为单位的横坐标和纵坐标c，r，下列以本发明为例采用的转换公式：

$\left\{\begin{array}{c}c=180-\mathrm{\&alpha;}\&CenterDot;Ps\\ r=90-\mathrm{\&beta;}\&CenterDot;Ps\end{array}\right.---\left(3\right)$

其中，c，r为步骤1中所述的全景影像101上以像素为单位，以步骤1中所述的全景影像101采集路径前进方向404相反方向为横坐标起始方向顺时针展开的横坐标c，以及以全景影像101上方开始向下量测的纵坐标r，Ps为全景影像101上单个像素206对应的以度为单位的转换系数；

上述列出的制作带状全方位街景影像图401涉及的转换关系只针对已经合成成完整一幅以球面弧度坐标表示的全景影像101，对于直接采用步骤1所述的原始单幅面阵影像101来制作带状全方位街景影像图401的情况，可以采用下列以地面摄影方式建立的摄影测量共线方程式：

$\left\{\begin{array}{c}x-x_0+\mathrm{\&Delta;}x=f\frac{a_1(X-X_S)+b_1(Y-Y_S)+c_1(Z-Z_S)}{a_2(X-X_S)+b_2(Y-Y_S)+c_2(Z-Z_S)}\\ y-y_0+\mathrm{\&Delta;}y=f\frac{a_3(X-X_S)+b_3(Y-Y_S)+c_3(Z-Z_S)}{a_2(X-X_S)+b_2(Y-Y_S)+c_2(Z-Z_S)}\end{array}\right.---\left(4\right)$

其中，x，y表示原始单幅面阵影像101上与横断面202上的点203对应的像点206的影像坐标，x₀，y₀表示x，y所在的原始单幅面阵影像101的主点位置，Δx，Δy表示在x，y处由物镜畸变和影像变形引起的系统误差改正量，f表示x，y对应的单相机的主距，X，Y，Z为横断面202上的点203在地面测图坐标系中的三维空间坐标，X_S，Y_S，Z_S为横断面202上的点203所对应的全景影像101的投影中心204在图1所示的输入的位置姿态数据102中的位置数据，a₁，a₂，a₃，b₁，b₂，b₃，c₁，c₂，c₃为与x，y所在单相机影像101对应的在图1所示的输入的位置姿态数据102中的姿态角(滚动角ω、俯仰角与方位角κ)构成的旋转矩阵R的元素，可以下式表示：

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (4)

1.一种带状全方位街景影像图的制作方法，其特征在于，所述带状全方位街景影像图中至少包括全景影像、与所述全景影像对应的位置与姿态数据、与所述全景影像的采集路径对应的三维投影面数据；所述制作方法包括以下步骤：

S1输入一序列沿一条线状路径并按一定间隔用全景相机采集的全景影像；

S2输入通过S1采集获得的所述全景影像相互对应的位置和姿态数据；

S3输入S1采集获得的所述全景影像与S2输入的所述位置和姿态数据的三维投影面数据；

S4根据S1采集获得的所述全景影像的分辨率结合S3输入的三维投影面数据的精细度，设定所述带状全方位街景影像图的影像分辨率；

S5沿S1采集获得的所述全景影像的路径的前进方向或反方向，以设定的影像分辨率为间隔对步骤3中选定的三维投影面上一个断面、一个片断或者根据三维投影面上下左右等不同部位的形状沿路径对这些相应部位分别先形成局部子条带影像最后再进行拼接合成；

S6以共线关系建立S1采集获得的所述全景影像与所述带状全方位街景影像图间的投影影射关系；

S7采集所述全景影像的灰度或彩色信息，并投影到所述带状全方位街景影像图中，并进行匀色和接边处理后获得最终带状全方位街景影像图。

2.根据权利要求1所述的带状全方位街景影像图的制作方法，其特征在于，所述全景影像是由多台单相机组成能一次获取多个方向大范围景物的全景相机的多相机系统，并以其所配置的软件直接输出的以球面投影方式、柱面投影方式、多面投影方式合成的全景影像或半全景影像；或由全景相机的各个单相机获取的原始单幅面阵影像，以及使用合成软件以球面投影方式、柱面投影方式或多面投影方式将这些原始单幅面阵影像合成的全景影像或半全景影像；且全景影像或半全景影像或原始单幅面阵影像可以以整体序列形式，分段序列形式或单张形式存在。

3.根据权利要求2所述的带状全方位街景影像图的制作方法，其特征在于，所述位置和姿态数据包括直接用GPS和惯导融合系统直接观测经后续统合软件处理后的获得的数据；或对所述全景影像进行空中三角测量处理后获得的数据；并将获得后的位置和姿态数据规定到用户设定的地面三维测图坐标系中。

4.根据权利要求2所述的带状全方位街景影像图的制作方法，其特征在于，所述三维投影面数据包括所述全景影像中采集的所沿路径及路径四周景物的高低远近简单设置的单一的三维规则和非规则几何平面、曲面或多个三维规则和非规则几何平面及曲面的组合体，或者事先根据现有二维地图矢量数据和影像数据，三维模型或三维点云数据生成的，或者根据影像匹配及人工观测的手段事后制作；其中，所述三维投影面数据可为两端开口四周封闭的三维筒状格网数据或四周部分开口的三维槽形或反槽形格网数据。