CN112116524A - 一种街景图像立面纹理的纠正方法及装置 - Google Patents

Abstract

本申请提供了一种街景图像立面纹理的纠正方法及装置，其中，方法包括：在待纠正街景图像上放置预设四边形网格网络；检测待纠正图像中的线段；利用预设四边形网格网络中的四边形网格的上下边缘，对线段进行切割；以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个四边形网格的目标相似变换矩阵，按照每个四边形网格的目标相似变换，对每个四边形网格中的切割线段进行变换。本申请定义的三种能量函数约束四边形网格进行变换，使得三种能量均值的加权和最小，从而，使得待纠正街景图像中曲线变直，实现对待纠正街景图像中变形曲线的修复。

Description

一种街景图像立面纹理的纠正方法及装置

技术领域

本申请涉及图像处理领域，尤其涉及一种街景图像立面纹理的纠正方法及装置。

背景技术

在新型智慧城市的建设中，数字孪生化城市已成为热点。与传统智慧城市相比，数字孪生城市集成了更多的技术与手段，可作为在数字空间刻画城市细节、呈现城市体征、推演城市趋势的综合信息载体。而构建三维城市建筑模型是实现数字孪生城市的基础步骤。

在大部分应用中都对城市建筑物的真实感建模有着强烈的需求，然而通常重建所得的三维城市建筑模型在细节方面存在植被遮挡、影像变形、影像模糊等明显不足，使得建筑物立面缺乏足够准确的纹理信息，无法实现城市建筑模型高质量的可视化。因此，要实现建筑物立面的精细化表达，亟需一种能够获取到高质量建筑物立面纹理信息的方法。

发明人在研究中发现，街景图像作为一种通过全景相机对一个位置的周围环境进行捕捉，并将同一时间获取到的若干张影像进行拼接得到的二维图像数据，可反映完整的场景且记录了丰富、清晰的纹理信息，因此，街景图像无疑是实现建筑物立面外观真实感表达的最佳选择。但是，街景图像由于其成像方式，导致其在其广阔的视域中存在着显著的变形(直线结构弯曲变形)。

发明内容

本申请提供了一种方法及装置，目的在于解决的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请提供了一种街景图像立面纹理的纠正方法，包括：

在待纠正街景图像上放置预设四边形网格网络；所述四边形网格网络包括多个四边形网格；

检测所述待纠正图像中的线段；

利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段；

以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵；其中，任一四边形网格的保形能量，用于使该四边形网格在相似变换前后保持刚性；任一线段的垂直刚性能量，用于使该线段在相似变换前的斜率与相似变换后的斜率保持接近；任一线段的线相关能量，用于使该线段在相似变换前相对于相似变换前的四边形网格网络的位置，与，该线段在相似变换后相对于相似变换后的四边形网格网络位置，保持一致；

按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像。

可选的，所述全部四边形网格的保形能量的均值的表达式为

所述全部线段的垂直刚性能量的均值的表达式为

所述全部线段的线相关能量的均值的表达式为

可选的，所述全部四边形网格的保形能量的均值、所述全部线段的垂直刚性能量的均值和所述检测到的全部线段的线相关能量的均值分别对应的权重之和为1；并且，所述全部线段的垂直刚性能量的均值的权重最大。

可选的，以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵，包括：

固定所述四边形网格网络的参数，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵；

固定每个四边形网格的最优旋转矩阵，优化所述四边形网格网络的参数。

可选的，所述固定所述四边形网格网络的参数，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵，包括：

以分割在多个四边形网格的同一线段，在不同四边形网格内的具有相似方向的分割线段，在变换后仍保持相近的旋转角度为约束，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵。

可选的，在所述利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段之前，还包括：

接收人工从所述待纠正街景图像中定位的垂直线段；

所述检测所述待纠正图像中的线段，具体为：

采用LSD线段检测算法，检测所述待纠正街景图像中的线段；

所述利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段，具体为：

利用所述预设四边形网格网络中的四边形网格的上下边缘，对全部线段进行切割，得到切割线段。

可选的，在所述按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像之后，还包括：

在所述变形修复街景图像存在畸变的情况下，获取所述变形修复街景图像的畸变待纠正区域；

确定所述畸变待纠正区域中各像素点在虚拟全景球面上的坐标，得到所述畸变待纠正区域中各像素点的虚拟全景球面坐标；所述虚拟全景球为所述变形修复街景图像对应的虚拟全景球；

依据所述畸变待纠正区域中各像素点的虚拟全景球面坐标，分别确定所述畸变待纠正区域中各像素点的全景球地理坐标；

获取所述变形修复街景图像的投影平面与虚拟全景球的切点坐标；所述投影平面为与所述变形修复街景图像中的建筑物立面平行的平面；

依据所述畸变待纠正区域中各像素点的全景球地理坐标、虚拟全景球面坐标、所述切点坐标以及预设的透视数学模型，计算所述畸变待纠正区域中各像素点分别投影在所述投影平面上的坐标；所述透视数学模型是通过从全景球球心发射射线向全景球的赤道切面进行投影，得到的全景球地理坐标与全景球赤道切面坐标间的关系。

可选的，所述变形修复街景图像的投影平面与虚拟全景球的切点包括：所述变形修复街景图像中道路特征的边界拐点。

可选的，所述畸变待纠正区域的水平视场角不大于120°。

可选的，在所述依据所述畸变待纠正区域中各像素点的全景球地理坐标、虚拟全景球面坐标、所述切点坐标以及预设的透视数学模型，计算所述畸变待纠正区域中各像素点投影在所述投影平面上的坐标之后，还包括：

依据畸变待纠正区域的边界角点在投影平面上的投影坐标，分别对畸变待纠正区域的各个像素点的投影后坐标进行平移，得到处理后的街景图像。

可选的，在所述依据畸变待纠正区域的边界角点在投影平面上的投影坐标，分别对畸变待纠正区域的各个像素点的投影后坐标进行平移，得到处理后的街景图像之后，还包括：

将所述处理后的街景图像作为立面纹理数据源，进行立面纹理映射。

本申请还提供了一种街景图像立面纹理的纠正装置，包括：

放置模块，用于在待纠正街景图像上放置预设四边形网格网络；所述四边形网格网络包括多个四边形网格；

检测模块，用于检测所述待纠正图像中的线段；

切割模块，用于利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段；

确定模块，用于以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵；其中，任一四边形网格的保形能量，用于使该四边形网格在相似变换前后保持刚性；任一线段的垂直刚性能量，用于使该线段在相似变换前的斜率与相似变换后的斜率保持接近；任一线段的线相关能量，用于使该线段在相似变换前相对于相似变换前的四边形网格网络的位置，与，该线段在相似变换后相对于相似变换后的四边形网格网络位置，保持一致；

变换模块，用于按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像。本申请所述的街景图像里面纹理的纠正方法及装置，在待纠正街景图像上放置预设四边形网格网络；检测待纠正图像中的线段；利用预设四边形网格网络中的四边形网格的上下边缘，对线段进行切割，得到切割线段；以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和全部线段的线相关能量的均值的加权和最小为优化目标，确定每个四边形网格的目标相似变换矩阵，按照每个四边形网格的目标相似变换，对每个四边形网格中的切割线段进行变换，得到变形修复街景图像。

在本申请中，对于四边形网格进行相似变换过程中，由于定义了保形能量函数、垂直刚性能量函数和线相关能量函数，这三种能量函数约束四边形网格进行变换，使得三种能量均值的加权和最小，从而，使得待纠正街景图像中曲线变直，实现对待纠正街景图像中变形曲线的修复。

此外，在本实施例中，三种能量还约束了四边形网格的顶点位置不能随意变换，在修复待纠正街景图像立面结构中的曲线的同时，保持四边形网格相关邻域的形状不变，从而，在修复待纠正街景图像立面上的曲线的同时，尽量保持街景图像的图像特征。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种街景图像立面纹理的纠正方法的流程图；

图2(a)为本申请实施例公开的待纠正街景图像的示例图；

图2(b)为本申请实施例公开的在待纠正街景图像上放置四边形网格网络后的街景图像的示例图；

图2(c)为本申请实施例公开的从图2(a)所示的待纠正街景图像中检测线段后的街景图像示意图；

图2(d)为本申请实施例公开的对四边形网格网络进行相似变换后的结果示意图；

图2(e)为本申请实施例公开的相似变换后的街景图像示意图；

图3(a)为本申请实施例公开的存在畸变的待纠正图像示意图；

图3(b)为本申请实施例公开的畸变纠正后的图像示意图；

图4为本申请实施例公开的对街景图像中的待纠正区域进行畸变纠正的过程的流程图；

图5为本申请实施例公开一种街景图像立面纹理的纠正装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种街景图像立面纹理的纠正方法，可以包括以下步骤：

S101、在待纠正街景图像上放置预设四边形网格网络。

在本实施例中，预设四边形网格网络是由多条平行线与多条垂直线相交而成的四边形网格组成的网络。在实际中，四边形网格网络可以包括20×40个四边形网格。当然，在实际中，四边形网格网络包括的四边形网格的数量还可以为其他取值，本实施例不对具体的取值作限定。

在本实施例中，将四边形网格网络参数化为V＝{P,F}，其中，P＝{p_i(x_i,y_i)}(i＝1,2,3...861)，表示四边形网格顶点的坐标位置。F＝{f_i}(j＝1,2,3…800)表示四边形网格的面。

在本实施例中，为了直观展示待纠正街景图像，给出了图2(a)所示的待纠正街景图像的示例。图2(b)为在待纠正街景图像上放置四边形网格网络后的街景图像。

S102、检测待纠正街景图像中的线段。

在本实施例中，可以采用LSD线段检测算法，检测待纠正街景图像中的线段，其中，检测的具体实现过程为现有技术，这里不再赘述。

在本实施例中，将本步骤得到的线段集合表示为L＝{l_i(o_i,e_i)}(i＝1,2,3...n)，其中，o表示线段的起点，e表示线段的终点。

图2(c)为本实施例提供的从图2(a)所示的待纠正街景图像中检测线段后的街景图像。

S103、利用预设四边形网格网络中的四边形网格的上下边缘，对检测到的线段进行切割，得到切割线段。

在本步骤中，对检测到的线段进行切割，为了描述方便，将切割得到的线段，称为切割线段。

在本实施例中，一条切割线段完全位于一个四边形网格。

S104、将切割线段的信息关联到所属的四边形网格。

在本实施例中，切割线段的信息可以包括：位置信息和端点信息。

在本步骤中，将切割线段的信息都分别关联到对应的四边形网格上，得到四边形网格与切割线段信息间的关联关系。

S105、通过对四边形网格进行相似变换，确定每个四边形网格的目标相似变换矩阵。

在本实施例中，目标相似变换矩阵指：使得预设的多项刚性保持能量项的加权和的取值最小的相似变换矩阵。

在本实施例中，构造了三种刚性保持能量项，分别是：保形能量函数、垂直刚性能量函数和线相关能量函数。以下分别对这三种能量函数的功能和具体表达式进行介绍。

其中，保形能量函数用于保持四边形网格的刚性，即尽量使四边形网格在相似变换下保持原始形状。

保形能量函数的表达式如下公式(1)所示：

式中，E_r(p')表示四边形网格网络进行相似变换后的保形能量，p'表示四边形网格面进行相似变换后的顶点坐标，N表示四边形网格网络中四边形网格的总数量，f表示四边形网格面的索引，A_p表示由四边形网格的四个顶点的原始坐标构成的一个8*4的矩阵，P′_f表示四边形网格进行相似变换后的四个顶点的坐标构成的一个8*1的向量，I表示单位矩阵。

其中，A_p和P′_f的具体表达式为

其中，(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)表示四边形网格面包括的四个顶点的原始坐标。(x′₁,y′₁),(x'₂,y'₂),(x'₃,y'₃),(x'₄,y'₄)表示进行相似变换后的四边形网格面的四个顶点的坐标。

申请人发现，由于四边形网格在应用相似变换时，可能会破坏街景图像的某些线结构属性，为了保留线结构属性(即使得检测到的线段被四边形网格分割得到的多个分割线段的斜率保持一致)，本实施例提出了垂直刚性能量函数对四边形网格网络内的线段，进行垂直刚性约束。

垂直刚性能量函数的表达式如下公式(2)所示：

式中，l表示线段，

表示四边形网格网络中全部的线段的总数量，R_l表示已知的旋转矩阵，ψ表示线段的方向向量，ψ'表示线段进行相似变换后的方向向量，I表示单位矩阵。

其中，ψ＝e-o，线段的缩放因子为

在实际中，由于待纠正街景图像中的一些硬轮廓在背景中容易被其他建筑物混淆，因此，在本实施例中，还可以通过人工使用现有的图像编辑软件中类似套索的工具交互式，选择和定位垂直线段。在本实施例中，为了保持检测到的线段被四边形网格分割得到的节点的平滑变化，可以在公式(2)计算的垂直刚性能量，包含垂直线段的垂直刚性能量，即公式(2)中的l既包括检测出的线段，也包括垂直线段。即在S103之前，还包括：接收人工从待纠正街景图像中定位的垂直线段，在该情况下，S103就是利用所述预设四边形网格网络中的四边形网格的上下边缘，对全部线段(检测出的线段以及接收的人工定位的垂直线段)进行切割，得到切割线段。计算全部线段(包括检测出的线段，也包括人工定位的垂直线段)的垂直刚性能量的均值。

在本实施例中，为了保持线段的平行刚性，约束跨越多个四边形网格的同一线段，在不同四边形网格内的具有相似方向的分割线段，在变换后仍保持相同(相近)的旋转角度θ_l。

在本实施例中，线相关能量函数，用于使得检测到的线段在相似变换前相对于原始四边形网格网络的位置，与，相似变换后相对于相似变换后的四边形网格网络位置，保持一致。

在本实施例中，线相关能量函数的表达式如公式(3)所示：

式中，o表示检测到的线段在相似变换前的起点，e表示检测到的线段在相似变换前的终点，o'表示检测到的线段在相似变换后的起点，e'表示检测到的线段在相似变换后的终点，p'表示相似变换后的四边形网格的顶点坐标，

表示检测到的线段的总数量，P′_o表示相似变换后的四边形网格的顶点中起点的坐标，P′_e表示相似变换后的四边形网格的顶点中终点的坐标。A_o和A_e构成双线性插值函数的系数向量。

在本实施例中，检测到的线段的两个端点o和e在相似变换前的坐标，可以通过变换后的四边形网格的四个顶点p'的双线性插值来表示。

在本实施例中，对上述三种能量函数在相似变换下的取值进行加权和，具体表达式如公式(4)所示：

E＝λ_rE_r+λ_vE_v+λ_cE_c (4)

在本实施例中，由于人眼对弯曲的直线比扭曲的形状更敏感，因此，保持线结构的重要性高于保持形状的重要性时，可获得更好修复结果，因此，在本实施例中，对垂直刚性能量函数赋予的权重更大。

可选的，在本实施例中，保形能量函数对应的权重值为0.1，垂直刚性能量函数对应的权重值为0.4，线相关能量函数对应的权重值为0.1。当然，在实际中，三个能量函数分别对应的权重值，还可以为其他取值，本实施例不对权重的具体取值作限定。

在本步骤中，可以通过迭代执行以下步骤A1～步骤A2，确定每个四边形网格的目标相似变换矩阵：

A1、固定四边形网格网络的参数，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵。

在本实施例中，每个方向的旋转矩阵R_l是彼此独立的，上述公式(1)、(2)和(3)中，每个公式求和部分中的每项都可以看成是独立的，因此，求和部分中每项的θ_l彼此独立，可以分别优化每项的θ_l，找到每个四边形网格最优的公共旋转θ_l，即得到每个四边形网格的最优旋转矩阵。

具体的，在本步骤的优化过程中，可以以分割在多个四边形网格的同一线段，在不同四边形网格内的具有相似方向的分割线段，在变换后仍保持相近的旋转角度为约束，对每个四边形网格的相似变换矩阵进行优化，通过将优化得到的相似变换矩阵分解为缩放和旋转，其中的旋转即是R_l的最优解，从而，得到每个四边形网格的最优旋转矩阵。

A2、固定最优旋转矩阵，优化四边形网格网络的参数。

在本实施例中，当最优旋转矩阵R_l已知且固定时，总能量E是四边形网格网络上的二次函数，本步骤的优化即是标准的最小二乘问题，具体优化细节，这里不再赘述。

图2(d)展示了按照本步骤的操作，对四边形网格网络进行相似变换后的结果示意图。

S106、按照每个四边形网格的目标相似变换，对待纠正街景图像进行变换。

在本步骤中，按照每个四边形网格的目标相似变换，对每个四边形网格中的切割线段进行变换，实现对待纠正街景图像的变形修复，得到变形修复街景图像。其中，按照西变形网格的目标形似变换，对每个四边形网格中的切割线段进行变换的具体实现为现有技术，这里不再赘述。

对于图2(a)所示的待纠正街景图像，进行本实施例的操作后，得到的相似变换后的街景图像如图2(e)所示。

在本实施例中，对于四边形网格进行相似变换过程中，由于定义了保形能量函数、垂直刚性能量函数和线相关能量函数，这三种能量函数约束四边形网格的顶点位置不能随意变换，在修复待纠正街景图像立面结构中的曲线的同时，保持四边形网格相关邻域的形状不变，从而，在修复待纠正街景图像立面上的曲线的同时，尽量保持街景图像的图像特征。

在本申请实施例中，由于等距柱状投影的成像方式导致街景图像存在畸变的情况(街景图像引入了严重的拉伸变形，导致了非常高的失真)，为了直观的展示畸变修正前后的效果对比，以图3(a)和图3(b)为例，图3(a)为存在畸变的待纠正图像，图3(b)为畸变纠正后的图像。

在本申请实施例中，每一张畸变街景图像都对应有一个虚拟全景球，并且，虚拟全景球的整个圆周展开即为平面街景图像的宽度，如果全景球半径为R，平面街景图像宽度为W，因此有R＝W/2Π。按照等距柱状投影模型，虚拟全景球上任意一点

与展开后的二维街景图像的任意点(m,n)之间的映射关系，如下公式(5)所示：

本实施例建立全景球地理坐标系，用θ_E表示坐标系经度，用

表示坐标系纬度。坐标系纬度用虚拟全景球面一点和球心点连线与XOY面的夹角表示，北为正方向。其中，与虚拟全景球面坐标之间存在

的关系。

本实施例利用从全景球球心发射射线向与全景球赤道相切的平面上进行投影，得到球心投影的一般公式，并将该公式作为平面街景图像上任意一点(m,n)与对应的投影平面上的点(x,y)之间对应关系的透视数学模型，该透视数学模型的具体表达式如下公式(6)所示：

式中，r表示全景球的半径，θ表示虚拟全景球面的经度，θ_E表示全景球地理坐标系中的经度，

表示全景球地理坐标系中的纬度，

为确定的待纠正区域的投影平面与全景球之间的切点坐标。

因此，对于街景图像上的待纠正区域，在已知该待纠正区域的投影平面以及切点的情况下，通过公式(6)，可以得到待纠正区域中各像素点的投影后坐标，得到畸变修正后的区域。本实施例对街景图像中的待纠正区域进行畸变纠正的过程如图4所示，可以包括以下步骤：

S401、获取畸变待纠正街景图像。

在本实施例中，畸变待纠正图像可以为经过图1对应的实施例得到的变形修复街景图像。当然，在实际中，畸变待纠正街景图像还可以为其他具有畸变的街景图像，不一定是经过变形修复得到的街景图像。本实施例不对畸变待纠正街景图像的具体内容作限定。

本实施例假设经过图1对应的实施例得到的变形修复街景图像存在畸变，经过图1对应的实施例得到的变形修复图像为畸变待纠正街景图像，进行介绍。

S402、获取变形修正街景图像的投影平面与虚拟全景球的切点坐标。

在本实施例中，所选的投影平面需与建筑物立面大致平行，而畸变纠正效果由选定投影平面的切点决定。本实施例中，切点可以为道路特征的边界拐点。在街景图像中的特征被遮挡时，切点也可以从建筑物立面逼近进行确定。

在本步骤中，获取的切点坐标可以表示为

在实际中，街景图像中重要地物一般集中于街景图像的中间，相当于虚拟全景球的“赤道”位置，因此，本实施例假设传感器是水平的并且切点位于街景图像的中线，即

因此仅需确定切点的水平坐标θ_EO。其中，切点的水平坐标θ_EO可以依据变形修复街景图像上的畸变待纠正区域的角点坐标确定，其中，具体的确定过程为现有技术，这里不再赘述。其中，作为示例，畸变待纠正区域如图3(a)中的框线区域所示。

S403、获取变形修复街景图像的畸变待纠正区域。

在本实施例中，该畸变待纠正区域的四个角点坐标可以表示为

可选的，在本实施例中，畸变待纠正区域可以通过人工进行选取。当然，在实际中，除了通过人工选取畸变待纠正区域外，也可以通过机器自动进行选取，本实施例不对畸变待纠正区域的具体选取方式作限定。

S404、判断畸变待纠正区域的水平视场角是否大于120°，如果否，则执行S405，如果是，则执行S403。

在本实施例中，由于在畸变待纠正区域的水平视场角大于120°时，存在街景图像的边缘拉伸现象以及不必要的上采样和对地面区域的采样，因此，本实施例在街景图像上的水平和垂直视场上，需要水平视场角不大于120°的畸变待纠正区域。

需要说明的是，在本实施例中，本步骤是可选的步骤。即在实际中，在S403获取畸变待纠正区域后，直接执行S405。只是执行本步骤可以使得最终的畸变修复效果更好。

S405、确定畸变待纠正区域中各像素点在虚拟全景球面上的坐标，得到畸变待纠正区域中各像素点的虚拟全景球面坐标。

在本实施例中，虚拟全景球为变形修复街景图像对应的虚拟全景球。

在本步骤中，确定畸变待纠正区域中的各个像素点在虚拟全景球面上的坐标的方式相同，为了描述方便，以畸变待纠正区域中的任意一个像素点为例进行介绍。具体的，将畸变待纠正区域中该像素点在变形修复街景图像中的坐标，作为公式(5)中的(m,n)，并依据公式(5)，计算得到畸变待纠正区域中该像素点在虚拟全景球面上的坐标

S406、依据畸变待纠正区域中各像素点的虚拟全景球面坐标，分别确定畸变待纠正区域中各像素点的全景球地理坐标。

在本实施例中，确定畸变待纠正区域中各个像素点的全景球地理坐标的方式相同，为了描述方便，以畸变待纠正区域中的任意一个像素点为例进行介绍。具体的，畸变待纠正区域中该像素点的全景球地理坐标包括经度和纬度，其中，经度可以采用θ_E表示，纬度可以采用

表示。

确定畸变待纠正区域中该像素点的纬度

的方式包括：

即利用畸变待纠正区域中该像素点在虚拟全景球面上的纬度

确定该像素点在全景球地理坐标系中的纬度

S407、依据畸变待纠正区域中各像素点的全景球地理坐标、虚拟全景球面坐标、切点坐标以及预设的透视数学模型，计算畸变待纠正区域中各像素点分别投影在投影平面上的坐标。

在本步骤中，透视数学模型是通过从全景球球心发射射线向全景球的赤道切面进行投影，得到的全景球地理坐标与全景球赤道切面坐标间的关系，即公式(6)给出的透视数学模型。

在本步骤中，基于公式(6)，可以计算得到畸变待纠正区域中各个像素点在投影平面上的投影坐标，以一个像素点为例，通过公式(6)可以得到该像素点的投影坐标(x,y)。

S408、依据畸变待纠正区域的边界角点在投影平面上的投影坐标，分别对畸变待纠正区域的各个像素点投影后的坐标进行平移。

可选的，在本实施例中，平面街景图像的畸变待纠正区域与切点呈中心对称分布，而街景图像像素的坐标索引为非负值，因此，可以依据畸变待纠正区域的边界角点在投影平面上的投影坐标，对畸变待纠正区域的各个像素点投影后的坐标进行平移。其中，本步骤的具体实现方式为现有技术，这里不再赘述。

在本实施例中，利用球心投影的特性，即任何大圆投影后为直线，用于纠正影像上的畸变。具体的，利用投影平面与全景球的赤道相切的关系，使得从全景球的球心出发，将全景球面上的点映射到投影平面上，保持了映射角度不变。因此，在本实施例中，只要所选的投影平面与建筑物立面大致平行，经投影转换后即可以减轻街景影像的畸变。并且，在适当切点的估计以及投影目标区域范围(畸变待纠正区域)的确定后，对街景图像进行了畸变纠正。

通过上述的变形修复及畸变纠正，得到处理后的街景图像。在本申请实施例中，可以将处理后的街景图像作为立面纹理数据源，进行立面纹理映射，得到逼真且具有语义感知的真实感建筑物立面模型。其中，立面纹理映射的实现方式可以为LoD-3，当然，在实际中，立面纹理映射的具体实现还可以为其他方式，本实施例不对立面纹理映射的具体实现方式作限定。

图5为本申请实施例提供的街景图像立面纹理的纠正装置，包括：放置模块501、检测模块502、切割模块503、确定模块504和变换模块505，其中，

放置模块501，用于在待纠正街景图像上放置预设四边形网格网络；所述四边形网格网络包括多个四边形网格。

检测模块502，用于检测所述待纠正图像中的线段。

切割模块503，用于利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段。

确定模块504，用于以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵；其中，任一四边形网格的保形能量，用于使该四边形网格在相似变换前后保持刚性；任一线段的垂直刚性能量，用于使该线段在相似变换前的斜率与相似变换后的斜率保持接近；任一线段的线相关能量，用于使该线段在相似变换前相对于相似变换前的四边形网格网络的位置，与，该线段在相似变换后相对于相似变换后的四边形网格网络位置，保持一致。

变换模块505，用于按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像。

可选的，所述全部四边形网格的保形能量的均值的表达式为

所述全部线段的垂直刚性能量的均值的表达式为

所述全部线段的线相关能量的均值的表达式为

可选的，所述全部四边形网格的保形能量的均值、所述全部线段的垂直刚性能量的均值和所述检测到的全部线段的线相关能量的均值分别对应的权重之和为1；并且，所述全部线段的垂直刚性能量的均值的权重最大。

可选的，确定模块504，用于以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵，包括：

确定模块504，具体用于固定所述四边形网格网络的参数，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵；固定每个四边形网格的最优旋转矩阵，优化所述四边形网格网络的参数。

可选的，确定模块504，用于固定所述四边形网格网络的参数，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵，包括：

确定模块504，具体用于以分割在多个四边形网格的同一线段，在不同四边形网格内的具有相似方向的分割线段，在变换后仍保持相近的旋转角度为约束，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵。

可选的，该装置还可以包括：

接收模块，用于在所述切割模块503利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段之前，接收人工从所述待纠正街景图像中定位的垂直线段；

检测模块502，用于检测所述待纠正图像中的线段，具体为：

检测模块502，具体用于采用LSD线段检测算法，检测所述待纠正街景图像中的线段；

切割模块503，用于利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段，具体为：

切割模块503，具体用于利用所述预设四边形网格网络中的四边形网格的上下边缘，对全部线段进行切割，得到切割线段。

可选的，该装置还可以包括：畸变修正模块，用于在所述变换模块505按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像之后，在所述变形修复街景图像存在畸变的情况下，获取所述变形修复街景图像的畸变待纠正区域；

确定所述畸变待纠正区域中各像素点在虚拟全景球面上的坐标，得到所述畸变待纠正区域中各像素点的虚拟全景球面坐标；所述虚拟全景球为所述变形修复街景图像对应的虚拟全景球；

依据所述畸变待纠正区域中各像素点的虚拟全景球面坐标，分别确定所述畸变待纠正区域中各像素点的全景球地理坐标；

获取所述变形修复街景图像的投影平面与虚拟全景球的切点坐标；所述投影平面为与所述变形修复街景图像中的建筑物立面平行的平面；

依据所述畸变待纠正区域中各像素点的全景球地理坐标、虚拟全景球面坐标、所述切点坐标以及预设的透视数学模型，计算所述畸变待纠正区域中各像素点分别投影在所述投影平面上的坐标；所述透视数学模型是通过从全景球球心发射射线向全景球的赤道切面进行投影，得到的全景球地理坐标与全景球赤道切面坐标间的关系。

可选的，所述畸变修复模块获取的变形修复街景图像的投影平面与虚拟全景球的切点包括：所述变形修复街景图像中道路特征的边界拐点。

可选的，所述畸变修复模块获取的畸变待纠正区域的水平视场角不大于120°。

可选的，该装置还可以包括：平移模块，用于在所述畸变修复模块依据所述畸变待纠正区域中各像素点的全景球地理坐标、虚拟全景球面坐标、所述切点坐标以及预设的透视数学模型，计算所述畸变待纠正区域中各像素点投影在所述投影平面上的坐标之后，依据畸变待纠正区域的边界角点在投影平面上的投影坐标，分别对畸变待纠正区域的各个像素点的投影后坐标进行平移，得到处理后的街景图像。

可选的，该装置还可以包括：立面纹理映射模块，用于在所述畸变修复模块依据畸变待纠正区域的边界角点在投影平面上的投影坐标，分别对畸变待纠正区域的各个像素点的投影后坐标进行平移，得到处理后的街景图像之后，将所述处理后的街景图像作为立面纹理数据源，进行立面纹理映射。

如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种街景图像立面纹理的纠正方法，其特征在于，包括：

在待纠正街景图像上放置预设四边形网格网络；所述四边形网格网络包括多个四边形网格；

检测所述待纠正图像中的线段；

利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段；

以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵；其中，任一四边形网格的保形能量，用于使该四边形网格在相似变换前后保持刚性；任一线段的垂直刚性能量，用于使该线段在相似变换前的斜率与相似变换后的斜率保持接近；任一线段的线相关能量，用于使该线段在相似变换前相对于相似变换前的四边形网格网络的位置，与，该线段在相似变换后相对于相似变换后的四边形网格网络位置，保持一致；

按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像。

2.根据权利要求1所述的方法，其特征在于，所述全部四边形网格的保形能量的均值的表达式为

所述全部线段的垂直刚性能量的均值的表达式为

所述全部线段的线相关能量的均值的表达式为

3.根据权利要求1所述的方法，其特征在于，所述全部四边形网格的保形能量的均值、所述全部线段的垂直刚性能量的均值和所述检测到的全部线段的线相关能量的均值分别对应的权重之和为1；并且，所述全部线段的垂直刚性能量的均值的权重最大。

4.根据权利要求1所述的方法，其特征在于，以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵，包括：

固定所述四边形网格网络的参数，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵；

固定每个四边形网格的最优旋转矩阵，优化所述四边形网格网络的参数。

5.根据权利要求4所述的方法，其特征在于，所述固定所述四边形网格网络的参数，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵，包括：

以分割在多个四边形网格的同一线段，在不同四边形网格内的具有相似方向的分割线段，在变换后仍保持相近的旋转角度为约束，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵。

6.根据权利要求1所述的方法，其特征在于，在所述利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段之前，还包括：

接收人工从所述待纠正街景图像中定位的垂直线段；

所述检测所述待纠正图像中的线段，具体为：

采用LSD线段检测算法，检测所述待纠正街景图像中的线段；

所述利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段，具体为：

利用所述预设四边形网格网络中的四边形网格的上下边缘，对全部线段进行切割，得到切割线段。

7.根据权利要求1所述的方法，其特征在于，在所述按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像之后，还包括：

在所述变形修复街景图像存在畸变的情况下，获取所述变形修复街景图像的畸变待纠正区域；

确定所述畸变待纠正区域中各像素点在虚拟全景球面上的坐标，得到所述畸变待纠正区域中各像素点的虚拟全景球面坐标；所述虚拟全景球为所述变形修复街景图像对应的虚拟全景球；

依据所述畸变待纠正区域中各像素点的虚拟全景球面坐标，分别确定所述畸变待纠正区域中各像素点的全景球地理坐标；

获取所述变形修复街景图像的投影平面与虚拟全景球的切点坐标；所述投影平面为与所述变形修复街景图像中的建筑物立面平行的平面；

依据所述畸变待纠正区域中各像素点的全景球地理坐标、虚拟全景球面坐标、所述切点坐标以及预设的透视数学模型，计算所述畸变待纠正区域中各像素点分别投影在所述投影平面上的坐标；所述透视数学模型是通过从全景球球心发射射线向全景球的赤道切面进行投影，得到的全景球地理坐标与全景球赤道切面坐标间的关系。

8.根据权利要求7所述的方法，其特征在于，所述变形修复街景图像的投影平面与虚拟全景球的切点包括：所述变形修复街景图像中道路特征的边界拐点。

9.根据权利要求7所述的方法，其特征在于，所述畸变待纠正区域的水平视场角不大于120°。

10.根据权利要求7所述的方法，其特征在于，在所述依据所述畸变待纠正区域中各像素点的全景球地理坐标、虚拟全景球面坐标、所述切点坐标以及预设的透视数学模型，计算所述畸变待纠正区域中各像素点投影在所述投影平面上的坐标之后，还包括：

依据畸变待纠正区域的边界角点在投影平面上的投影坐标，分别对畸变待纠正区域的各个像素点的投影后坐标进行平移，得到处理后的街景图像。

11.根据权利要求10所述的方法，其特征在于，在所述依据畸变待纠正区域的边界角点在投影平面上的投影坐标，分别对畸变待纠正区域的各个像素点的投影后坐标进行平移，得到处理后的街景图像之后，还包括：

将所述处理后的街景图像作为立面纹理数据源，进行立面纹理映射。

12.一种街景图像立面纹理的纠正装置，其特征在于，包括：

放置模块，用于在待纠正街景图像上放置预设四边形网格网络；所述四边形网格网络包括多个四边形网格；

检测模块，用于检测所述待纠正图像中的线段；

切割模块，用于利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段；

确定模块，用于以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵；其中，任一四边形网格的保形能量，用于使该四边形网格在相似变换前后保持刚性；任一线段的垂直刚性能量，用于使该线段在相似变换前的斜率与相似变换后的斜率保持接近；任一线段的线相关能量，用于使该线段在相似变换前相对于相似变换前的四边形网格网络的位置，与，该线段在相似变换后相对于相似变换后的四边形网格网络位置，保持一致；

变换模块，用于按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像。

Images