CN113012032B - 一种自动标注地名的空中全景图像显示方法 - Google Patents

Abstract

本发明涉及一种自动标注地名的空中全景图像显示方法，属于图像处理技术领域，包括获取平面全景图的大地坐标；通过查找地名，确定各地名点的大地坐标；进行球面建模，利用平面全景图与球面全景图之间的关系，得到球面全景图；然后依据球面全景图视点的大地坐标和地名点大地坐标，计算映射到球面上的地名坐标；最后根据地名点方向与中心视线方向的夹角，判断是否渲染地名标志；然后计算文中标记在球面全景图内的方向，按照此方向渲染地名注记即可。本发明解决了三维球面全景图上的地名显示问题，提高了球面全景图像空间可读性，可帮助观察者认知地理地形分布以及自身定位。

Description

一种自动标注地名的空中全景图像显示方法

技术领域

本发明属于图像处理技术领域，具体涉及一种自动标注地名的空中全景图像显示方法。

背景技术

随着测绘技术的不断发展，数据的获取手段，可视化形式正朝着多元化、专业化方向发展。全景图实景照片可对现实世界进行更为全面、直接的表达，在近几年里得到迅猛发展。全景图显示向多样化、多维化、专业化方向发展，从二维柱面显示逐渐发展到三维立体显示和球面显示，广泛应用于地图街景、场馆介绍、物品展示等领域。其中，球面全景图像成为传统地图、虚拟地理环境外，记录现实世界，传递信息的三维实景工具，是人们认识世界的良好途径。为满足用户认知周围环境以及视点在场景中定位需求，在球面全景图上添加标签，准确指示空间分布，从认知维提高用户体验感。

地名标注是以现实地理地名数据为基础，在标注载体上对对应地点进行文字注记，提高可读性，可信性，可用于目标概略定位。随着全景技术的发展，全景图成为人们认识世界的又一工具。但全景图成像是真实事实，没有地名等人文方面的信息，降低了全景图可读性，一定程度影响显示效果。

发明内容

本发明的目的是提供一种自动标注地名的空中全景图像显示方法，用于解决现有球面全景图可读性较低的问题。

基于上述目的，一种自动标注地名的空中全景图像显示方法的技术方案如下：

获取拍摄平面全景图像时视点的大地坐标，以及设定范围内各地名点的大地坐标；

对平面全景图进行球面全景建模，计算平面全景图到球面全景图的映射关系，将平面全景图映射到空间三维球面上，得到一个球面全景图；

建立所述视点周围的地名点的大地坐标与三维球面上坐标点之间的关系，利用该关系结合拍摄点的大地坐标和周围地名点的大地坐标，计算出各地名点在球面坐标系上的映射点，即地点映射点；

获取中心视线方向与各地点映射点方向间的夹角，将该夹角与设定的夹角阈值进行比较，判断是否渲染地名标注；如果所述夹角在设定的夹角阈值内，判定对应地名点在渲染范围内，根据待显示的文字标注与视点的连线方向，实时调整文字标注的显示方向，进行地名点渲染。

上述技术方案的有益效果是：

本发明采用坐标投影算法将平面全景图改成球面全景图模型，并渲染全景图；根据地名点与视线方向的关系判断是否渲染，实时根据视线方向调整文字显示的朝向，渲染地名注记，从而实现三维虚拟球面的地名标记定点定位，提高了球面全景图上的显示效果，提高了球面全景图像空间可读性，可帮助观察者认知地理地形分布以及自身定位。

进一步的，为了求得球面全景图，所述平面全景图到球面全景图的映射关系的计算式如下：

式中，(x_p，y_p，z_p)为P点在球面坐标系下的坐标，(x′_p，y′_p，z′_p)为球面上投影点P′在相机坐标系下的坐标，参数t的计算式如下：

式中，f为拍摄相机的焦距。

进一步的，球面上的P点在球面坐标系下的坐标为(x_p，y_p，z_p)的计算式如下：

式中，α为球面坐标系的X轴与相机坐标系的x轴之间的夹角，β为球面坐标系的Y轴与相机坐标系的y轴之间的夹角，(x₁，y₁，-f)为点P在相机坐标系中的坐标。

进一步的，为了便于存储，将球面上投影点P′的坐标转化为二维坐标进行存储，转化的二维坐标如下：

当z′_p≥0时，令：

当z′_p<0时，令：

式中，(x′，y′)为平面全景图像上某像素点P(x，y)在球面上的对应点。

进一步的，为了确定出地点映射点，所述地点映射点的计算式如下：

且满足球面方程表达式：

x_p′ ²+y_p′ ²+z_p′ ²＝f²

联立得出参数t：

式中，设大地空间直角坐标系中P的坐标为(X₁，Y₁，Z₁)，球面坐标系原点O的坐标为(X₀，Y₀，Z₀)，球面坐标系中P点的地点映射点P'的坐标为(x_p′，y_p′，z_p′)，f为拍摄相机的焦距。

进一步的，为了确定出中心视线方向与各地点映射点之间的夹角，所述夹角的计算式如下：

式中，θ为所述夹角，中心视线的方向为n₀＝(x₀，y₀，z₀)，地点映射点方向为 n₃＝(x_p′，y_p′，z_p′)，f为拍摄相机的焦距。

进一步的，为了实时调整文字标注的显示方向，所述文字标注的显示方向的平面方程如下：

cosβcosα(x-x_p′)+cosβsinα(y-y_p′)+sinβ(z-z_p′)＝0

式中，(α，β)为中心视线方向，该中心视线方向的单位向量为 n＝(cosβcosα，cosβsinα，sinβ)，(x_p′，y_p′，z_p′)为地面映射点在球面坐标系内的坐标。

附图说明

图1是本发明实施例中的全景图像显示方法流程图；

图2是本发明实施例中的球面建模示意图；

图3是本发明实施例中的投影示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明。

本实施例提出一种自动标注地名的空中全景图像显示方法，下面介绍该方法的详细实现过程。

在具体实施过程中，首先进行图像数据的拍摄和收集，拍摄点的大地坐标为(B₀,L₀,H₀), 周围地名点的坐标为(B_i，L_i，H_i)(i＝1,2,…n)。这些参数以文本的方式提供，在本实施例中，拍摄的具体内容如下：

空中拍摄点：

111.378275 //拍摄点的经度；

30.640218 //拍摄点的纬度；

240.000000 //拍摄点的大地高；

地名点1：

111.377375 //地名点1的经度；

30.641967 //地名点1的纬度；

120.087154 //地名点1的大地高；

地名点2：

111.381439 //地名点2的经度；

30.639307 //地名点2的纬度；

117.693466 //地名点2的大地高。

在野外利用无人机拍摄获取平面全景图时，相机的大地坐标储存在平台的数据文件中，可通过传输线导出；全国地名点的GPS数据存储在互联网中。

该方法的整体流程如图1所示，首先导出拍摄平面全景图像时的平台GPS数据，确定大地经纬坐标，同时获取全国地名点的大地经纬坐标；然后对获取得到的平面全景图进行球面全景建模，即计算平面全景图到球面全景图的映射关系，映射到空间三维球面上，得到一个球面全景图。然后根据共线条件方程，建立地名点的大地坐标点与球面坐标点之间的关系利用该关系结合拍摄点(视点)的大地坐标和周围地名点的大地坐标，计算出各地名点在球面坐标系上的映射点。

获取中心视线方向与地点映射点(即地名点在球面坐标系上的映射点)方向间的夹角，并与夹角阈值进行比较，判断是否渲染地名标注；如果判断地名在渲染范围内，根据视平面方向，实时改变文字平板的方向，设置文字标注其他参数，完成渲染。

本发明的自动标注地名的空中全景图像显示方法的具体步骤包括以下过程：

步骤1、采集得到平面全景图像，根据图像拍摄平台(如无人机)的GPS定位模块，得平面全景图拍摄点的大地经纬坐标(即大地坐标)，记O(B₀，L₀，H₀)。

本步骤中，平面全景图像是指空中序列图象经图像拼接软件处理得到的宽视角实景图像，同时根据序列图象的经纬度坐标得到全景图的经纬度坐标(即GPS数据)，根据导出的GPS 数据，得到无人机拍摄点坐标为(111.378275，30.640218，240.000000)。

步骤2、查找地名，确定对应地点的大地经纬度坐标；本步骤中，利用地图软件的网络爬虫技术，导出数据得到地点大地经纬坐标，记P(B₁，L₁，H₁)。

本步骤中，导出得到地名点1的大地坐标(即大地经纬坐标)为(111.377375，30.641967，120.087154)，地名点2的大地坐标为(111.381439，30.639307，117.693466)。

步骤3、计算平面全景图到球面全景坐标的关系，进行球面全景建模。

具体的，球面全景建模是指将平面全景图投影到一个虚拟球面，得到球面全景图，本步骤中的虚拟球面以相机为球心，具体原理如下：

设球面坐标系为XYZ，相机坐标系为xyz，照相机的拍摄方向为(α,β)，照相机的焦距为f＝28mm。平面全景图像上某像素点P(x，y)在球面上的对应点为P′(x′，y′)。点P 在相机坐标系中的坐标为(x₁，y₁，-f)，其中x₁＝x-l/2，y₁＝y-h/2，其中l，h分别为全景图像的长和宽。P点在XYZ坐标系下的坐标为(x_p，y_p，z_p)，则有：

式中，α为视线方向的水平偏角，β为视线方向的垂直偏角。

依图2，易知P点满足与P′点构成的直线参数方程：

P′在XYZ坐标系下的坐标为(x′_p，y′_p，z′_p)且满足球面方程表达式：

联立上面两个公式，得出参数t：

利用上面公式，能够求出球面上投影点P′的参数坐标为(x′_p,y′_p,z′_p)，将参数坐标转化为二维坐标的表现形式完成投影计算，则：

当z′_p≥0时，

当z′_p<0时，

令Δ＝y₁ sinαcosβ-x₁ sinβ-fcosαcosβ

可得出结论：

当Δ≥0时：

当Δ<0时：

步骤4、建立拍摄地点周围的地面点(地名点)与所建立的球面上点的几何空间关系，即映射关系，将地面点映射到球面上，建立现实世界地面点与虚拟球面点上的关系。

本步骤优先将所需要的拍摄点、地面点的大地经纬坐标转换为WGS84空间直角坐标，而后利用共线条件方程建立二点的数学关系，得到映射方程，具体方法如下：

首先在WGS84坐标基准下，将大地经纬度转换为空间直角坐标：

椭球的长半径a＝6378137m，WGS84椭球的第一篇心率e²＝0.00669437999013，

(X，Y，Z)表示WGS84空间直角坐标，(B，L，H)表示大地坐标， H为高度，L为纬度，B为经度。基于上式，求得拍摄点的空间直角坐标为(- 2002195.210703，5114708.347788，3231761.050433)，地面点1(即地名点1，本实例中出现的地面点和地名点的含义是一致的)的直角坐标为(-2002041.239507，5114551.699114， 3231866.767542)，地面点2(即地名点2)的直角坐标为(-2002458.054354，5114547.716284，3231611.819654)。

设大地空间直角坐标系中P的坐标为(X₁，Y₁，Z₁)，球面坐标系原点O的坐标为(X₀，Y₀，Z₀)，球面坐标系中P点的映射点P'坐标为(x_p′，y_p′，z_p′)。

依图3所示，易知P满足由点P、P'构成的以下直线参数方程：

且满足球面方程表达式：

x_p′ ²+y_p′ ²+z_p′ ²＝f²

联立得出参数t：

通过以上关系，得到以下中间值：

地面点1的球面坐标(0.017686，-0.017993,0.012143)；

地面点2的球面坐标(-0.021501，-0.013140，-0.012208)。

步骤5、依据目标点方向与中心视线方向的夹角，判断是否渲染地名标注。

本步骤中，计算视场内地点(即目标点方向)与中心视线的夹角，给定阈值θ₀＝60°，判断是否渲染地名注记，具体原理如下：

球面全景图浏览过程中，设中心视线的方向n₀＝(x₀，y₀，z₀)，地点映射点方向(即目标点方向)为n₃＝(x_p′，y_p′，z_p′)。由映射坐标得出中心视线方向与地点映射点的方向夹角θ：

当θ>θ₀，不渲染地名标注，θ≤θ₀，渲染地名标注。

取例n₂＝(0，0，-0.028)，即中心视线沿XYZ坐标系的Z轴向下。将步骤5中的得到的球面坐标带入计算得到：

θ₁＝-0.433679；

θ₂＝0.436。

那么，|θ₁|<θ₀,|θ₂|<θ₀，所以二者均显示，需渲染地名标注。

步骤6、根据所建立的球面全景场景中照相机的视线方向以及地名点的球面坐标，计算地名标记的文字方向，即文字标注的显示方向。

本步骤中，计算文字朝向即是在半径确定的球面全景图像上，根据中心视线方向，实时改变文字的朝向。本实施例中，为满足在任何视场方向上地名显示效果一致，设置地点标注的方向总是平行于视平面，视平面垂直于中心视线，可根据相机中心视线的方向实时调整文字朝向，保证文字平面平行于视平面，也就是平行于计算机屏幕。

根据步骤3照相机的视线方向向量为(α，β)，可得到此方向单位向量为 n＝(cosβcosα，cosβsinα，sinβ)，那么，文字平面方程：

cosβcosα(x-x_p′)+cosβsinα(y-y_p′)+sinβ(z-z_p′)＝0

由照相机中心视线方向可得，平面单位法向量n′＝(cosβcosα,cosβsinα,sinβ)，(x_p′，y_p′，z_p′)为地面映射点在球面坐标系内的坐标。

步骤7、设置文字属性参数，完成渲染。

本步骤中，设置的文字参数包括：文字字体、文字大小、文字颜色、文字是否描边、描边颜色等多项参数。最后，根据步骤6和步骤7设置的文字显示方向和属性参数，对步骤5中判断可以渲染的地名点进行渲染。

本发明的全景图像显示方法，首先获取平面全景图的大地坐标；通过查找地名，确定各地名点的大地坐标；进行球面建模，利用平面全景图与球面全景图之间的关系，得到球面全景图；然后依据球面全景图视点的大地坐标和地名点大地坐标，计算映射到球面上的地名坐标；最后根据地名点方向与中心视线方向的夹角，判断是否渲染地名标志；然后计算文中标记在球面全景图内的方向，按照此方向渲染地名注记即可。

本发明解决了三维球面全景图上的地名显示问题，提高了球面全景图像空间可读性，可帮助观察者认知地理地形分布以及自身定位，可用于虚拟地理环境融合显示，地图街景等球面全景图显示相关领域。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (6)

1.一种自动标注地名的空中全景图像显示方法，其特征在于，包括以下步骤：

获取拍摄平面全景图像时视点的大地坐标，以及设定范围内各地名点的大地坐标；

对平面全景图进行球面全景建模，计算平面全景图到球面全景图的映射关系，将平面全景图映射到空间三维球面上，得到一个球面全景图；

建立所述视点周围的地名点的大地坐标与三维球面上坐标点之间的关系，利用该关系结合拍摄点的大地坐标和周围地名点的大地坐标，计算出各地名点在球面坐标系上的映射点，即地点映射点；

获取中心视线方向与各地点映射点方向间的夹角，将该夹角与设定的夹角阈值进行比较，判断是否渲染地名标注；如果所述夹角在设定的夹角阈值内，判定对应地名点在渲染范围内，根据待显示的文字标注与视点的连线方向，实时调整文字标注的显示方向，进行地名点渲染，所述夹角的计算式如下：

式中，θ为所述夹角，中心视线的方向为n₀＝(x₀，y₀，z₀)，地点映射点方向为n₃＝(x_p′，y_p′，z_p′)，f为拍摄相机的焦距。

2.根据权利要求1所述的自动标注地名的空中全景图像显示方法，其特征在于，所述平面全景图到球面全景图的映射关系的计算式如下：

式中，(x_p，y_p，z_p)为P点在球面坐标系下的坐标，(x^′ _p，y^′ _p，z^′ _p)为球面上投影点P^′在相机坐标系下的坐标，参数t的计算式如下：

式中，f为拍摄相机的焦距。

3.根据权利要求2所述的自动标注地名的空中全景图像显示方法，其特征在于，球面上的P点在球面坐标系下的坐标为(x_p，y_p，z_p)的计算式如下：

式中，α为球面坐标系的X轴与相机坐标系的x轴之间的夹角，β为球面坐标系的Y轴与相机坐标系的y轴之间的夹角，(x₁，y₁，-f)为点P在相机坐标系中的坐标。

4.根据权利要求2或3所述的自动标注地名的空中全景图像显示方法，其特征在于，将球面上投影点P′的坐标转化为二维坐标进行存储，转化的二维坐标如下：

当z′_p≥0时，令：

当z′_p＜0时，令：

式中，(x′，y′)为平面全景图像上某像素点P(x，y)在球面上的对应点。

5.根据权利要求1所述的自动标注地名的空中全景图像显示方法，其特征在于，所述地点映射点的计算式如下：

且满足球面方程表达式：

x_p′ ²+y_p′ ²+z_p′ ²＝f²

联立得出参数t：

式中，设大地空间直角坐标系中P的坐标为(X₁，Y₁，Z₁)，球面坐标系原点O的坐标为(X₀，Y₀，Z₀)，球面坐标系中P点的地点映射点P'的坐标为(x_p′，y_p′，z_p′)，f为拍摄相机的焦距。

6.根据权利要求1所述的自动标注地名的空中全景图像显示方法，其特征在于，所述文字标注的显示方向的平面方程如下：

cosβcosα(x-x_p′)+cosβsinα(y-y_p′)+sinβ(z-z_p′)＝0

式中，(α，β)为中心视线方向，该中心视线方向的单位向量为n＝(cosβcosα，cosβsinα，sinβ)，(x_p′，y_p′，z_p′)为地面映射点在球面坐标系内的坐标。

Images