CN107093205B - 一种基于无人机图像的三维空间建筑物窗户检测重建方法 - Google Patents

Abstract

一种基于无人机图像的三维空间建筑物窗户检测重建方法，步骤如下：一：场景图像预处理；二：对纹理图像进行Canny边缘检测；三：对墙面的网格分布建立马尔科夫随机场和对应的能量函数；四：将检测得到的墙面窗户区域的二维坐标和墙面的三维平面进行三维空间映射；通过以上步骤，本检测方法结合建筑的三维空间信息和图像信息，能够克服窗户在二维图像中的遮挡、变形和其他结构差异变化带来的影响，在三维空间中实现窗户结构的准确定位和重建，对于其他图像处理领域如目标跟踪、三维重建和场景仿真等都有实际应用价值。

Description

一种基于无人机图像的三维空间建筑物窗户检测重建方法

(一)技术领域

本发明涉及一种基于无人机图像的三维空间建筑物窗户检测重建方法，属于计算机视觉和数字图像处理领域。在目标识别、三维重建等领域中有广阔的应用前景。

(二)背景技术

对于建筑物进行基于几何结构语义的精细重建是智慧城市监控的关键技术之一。相关的技术应用包括高真实感城市场景仿真、漫游导航以及自动热辐射检测(如热点检测、能量泄漏定位，热图像生成)。这些应用都需要获得建筑物墙面的详细结构信息，其中最关键的要素就是墙面上窗户的位置和尺寸。但是，不同种类的窗户在内部特征上具有多种变化，例如大小尺寸、几何结构、视角变形、玻璃反射、光照阴影等，相对于其他具有显著特征的物体类别(车辆、人等)，窗户的准确检测识别更加难以实现。

近年来，国内外对于建筑墙面的分割和语义分析开展了大量研究，进一步拓展了城市场景建模的相关应用。Teboul在2010年使用局部分类器对校正后的墙面图片进行多层次的分割。Riemenschneider在2012年提出了一种通用的形状规则，使用不规则的长方形网格对墙面进行结构语义解析。同年，Martinovic提出了一种三层架构的建筑墙面的检测方法，首先通过递归神经网络对墙面进行过分割，再结合马尔科夫随机场和简单的建筑结构先验条件进行全局优化标记，最后获得建筑物图片的解析标记结果。Cohen在2014年提出了一种顺序优化方法，使用动态编程对于校正后的图片进行墙面语义结构解析。优化的过程引入了多种标记并利用标记间的关联规则，通过最大化标记的全局可能性获得最后的标记结果。

目前窗户检测的方法大多针对单张图片，通过优化检测的算子来克服内部特征的可变性。Recky、Chun等人在竖直和水平方向提取分割线来确定窗户的候选位置，Ali等人使用Haar-like的特征来描述和检测窗户候选位置。但是仅仅依靠对特征的精细训练不能较好的解决连续空间中窗户特征变化问题(如部分遮挡的窗户，视角变化造成的变形)。相对于基于传统特征的二维图像窗户检测方法，本发明利用无人机获取目标建筑的多视图图像，结合三维重建的空间信息分析和对墙面纹理的深度学习识别算法，在三维空间中实现对窗户的准确定位并生成对应的三维模型，有效的提高了识别精度和空间视觉效果。

(三)发明内容

(1)本发明的目的

在城市三维场景的生成过程中，窗户的检测和重建对于提升建筑的细节层次和可视化效果有着重要作用。通过窗户的检测结果可以判别建筑的类型以及估计建筑的层数和高度，进行几何结构分析和材质处理，为进一步的仿真计算和场景应用提供有效支撑。常用的窗户检测方法主要基于校正后的二维图像，通过提取特征进行判别标记。这种方法对连续空间中窗户的遮挡、光照和映射变形带来的变化以及不同种类窗户结构特征的变化缺乏鲁棒性，不适应于大规模城市场景中建筑表面窗户的检测和重建。本发明利用无人机围绕目标建筑拍摄获得多视图图像，重建得到建筑的三维模型，通过网格分割获取各个墙面的三维网格；利用多种类窗户图像的数据集深度学习训练，对映射生成的墙面纹理图像进行窗户检测，结合三维空间中的墙面深度信息的统计分割，建立马尔科夫随机场模型，对窗户候选区域进行全局优化求解；在三维空间中识别窗户位置和尺寸，生成对应的三维模型。该方法在三维空间中实现了建筑物窗户的准确检测和重建，有效提高了建筑三维模型的细节层次和可视化效果。

(2)技术方案

本发明的一种基于无人机图像的三维空间建筑物窗户检测重建方法，其具体方法步骤如下：

步骤一：场景图像预处理；首先，基于无人机拍摄的目标建筑图像序列，使用CMP-MVS、Pix4Dmapper等三维重建工具获得场景三维模型；分割提取场景中建筑物墙面的三维网格，计算获得最小二乘法拟合的三维支撑平面；计算三维网格与支撑平面的欧式距离，归一化生成墙面的深度图；根据标定的相机参数，通过三维空间纹理映射生成墙面的的纹理图像；墙面的深度图和纹理图的长宽尺寸保持一致；

其中，在步骤一中所述的“分割提取场景中建筑物墙面的三维网格，计算获得最小二乘法拟合的三维支撑平面”，其作法如下：在三维空间中平面方程的一般表达式为

Ax+By+Cz+D＝0，(C≠0)

将三维网格中各个面片的顶点三维坐标(x,y,z)作为输入数据，通过最小二乘法，进行平面方程中参数(A,B,C,D)的拟合，从而得到墙面三维网格对应的空间支撑平面；

其中，在步骤一中所述的“计算三维网格与支撑平面的欧式距离，归一化生成墙面的深度图”，其作法如下：求取网格表面各点和在墙面的三维平面上沿法向量投影的距离，选取所有距离值中最小值和最大值对应图像灰度0到255，量化生成墙面的深度图。

步骤二：对纹理图像进行Canny边缘检测，在竖直和水平方向上进行边缘像素点统计，在边缘像素点数量的局部极大值位置分别提取竖直和水平的分割线，将墙面划分为若干规则块状的网格区域；对于每个网格区域，根据其在纹理图和深度图中的相关信息，分别计算该网格的图像置信测度U_detect和深度置信测度U_depth；

其中，在步骤二中所述的“图像置信测度U_detect”，其主要计算流程如下：利用窗户图像的数据集进行深度学习训练，对墙面的纹理图进行窗户检测，记录识别出的窗户位置区域和可能性测度；对于墙面的各个网格和与其相交的检测窗户区域，计算两者的面积重叠比例以及平均深度值的比例，选择较大值同检测的可能性测度加权，获得该网格的U_detect；

其中，在步骤二中所述的“深度置信测度U_depth”，其主要计算流程如下：对于墙面的每个网格，根据该网格中深度最大值和阈值比例，提取深度大于阈值的像素作为有效区域，计算该有效区域的面积和其包围盒面积的比值作为有效面积比值；对每个网格，计算其区域中的深度最大值与8邻域网格区域中的深度最大值的比值，作为网格的相对深度值；将相对深度值与有效面积比值的乘积作为U_depth；

其中，在步骤二中所述的“Canny边缘检测”，其作法如下：将图像与高斯平滑滤波器进行卷积去噪；然后计算图像水平和垂直方向梯度，根据梯度计算图像边缘幅值与角度大小；将边缘角度值离散为四个扇区，比较中心像素点梯度角度上相邻两个像素，如果中心像素小于其中任意一个，则舍弃边缘像素点，否则保留；对边缘像素进行双阈值边缘连接，从而获得图像的Canny边缘检测结果。

步骤三：对墙面的网格分布建立马尔科夫随机场和对应的能量函数，对能量函数进行全局优化求取最小值，标记墙面网格中的窗户区域；能量函数包含数据项U_d和关联平滑项U_s；

其中，在步骤三中所述的“数据项U_d”，其计算方法如下：对于标记为窗户的，U_d选取网格U_detect和U_depth中的较大值；对于标记为墙面的，U_d为1减去网格对应的窗户标记数据项数值。

其中，在步骤三中所述的“关联平滑项U_s”，其计算方法如下：对于每个网格，在水平和垂直方向的限定距离内搜索相似网格作为关联网格；相似度的判定方法主要包括网格尺寸比值、平均颜色差值和哈希感知距离；对于小于相似度阈值的两个网格建立关联，并由尺寸差值比例和平均颜色差值的归一化数值计算得到平滑项数值；

其中，在步骤三中所述的“对墙面的网格分布建立马尔科夫随机场和对应的能量函数，对能量函数进行全局优化求取最小值，标记墙面网格中的窗户区域”，其作法如下：

对墙面所有网格，标记l包括窗户或者非窗户，建立的马尔科夫随机场对应的能量函数为

U(l)＝∑_i∈SU_d(l_i)+γ∑_{i,j}∈EU_s(l_i,l_j)

首先，对墙面每个网格计算U_d；然后在其水平和垂直方向上的限定距离内搜索满足相似度要求的网格建立关联，计算U_s；对于墙面整体网格建立的能量函数，进行全局最优化求解，获得最小能量值对应的墙面各个网格标记，最后将相邻且都标记为窗户的网格进行合并。

步骤四：将检测得到的墙面窗户区域的二维坐标和墙面的三维平面进行三维空间映射；对每个窗户，在三维空间中建立立方体模型，立方体的长度、高度和宽度分别对应检测结果中窗户包围盒的宽度、高度以及该窗户区域内深度图中的最大深度值；最后生成的所有窗户的三维空间模型和墙面的三维平面一起构成了建筑物墙面整体结构的三维模型；

通过以上步骤，本检测方法结合建筑的三维空间信息和图像信息，能够克服窗户在二维图像中的遮挡、变形和其他结构差异变化带来的影响，在三维空间中实现窗户结构的准确定位和重建，对于其他图像处理领域如目标跟踪、三维重建、场景仿真等都有实际应用价值。

(3)与现有技术相比，本发明的优点：

首先，本发明利用无人机多视图图像重建的三维模型获得建筑的三维空间信息，对墙面三维网格的分割和支撑平面计算，获取了墙面的深度信息。通过对候选区域深度统计分布的计算，建立深度置信测度，为窗户的检测提供了空间信息的支撑。

其次，本发明利用深度神经网络对于多种类的窗户图像进行学习训练，提高复杂环境中不同类型的窗户初始识别精度，在其基础上建立更为可靠的图像置信测度。同时，结合平均颜色值和哈希感知距离能够有效计算网格区域之间的相似度。

最后，本发明结合了建筑的空间三维的几何结构特征和二维的图像信息特征进行窗户的检测和重建，相对于传统二维图像窗户检测算法，体现了对于复杂环境中窗户遮挡、光照、变形等特征变化的鲁棒性，重建获得的窗户三维模型在位置尺寸精度和可视化效果上得到了有效提升。

(四)附图说明

图1为本发明所述的一种基于无人机图像的三维空间建筑物窗户检测重建方法流程图。

(五)具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

本发明的流程框图如图1所示，本发明一种基于无人机图像的三维空间建筑物窗户检测重建方法，其具体实施步骤如下：

步骤一：场景图像预处理

首先，基于无人机拍摄的目标建筑多视图图像，使用CMP-MVS、Pix4Dmapper等三维重建工具获得场景三维模型。根据网格的法向和曲率，分割提取场景中建筑物墙面的三维网格，计算获得最小二乘法拟合的三维支撑平面P。计算三维网格f表面点和在P沿法向量投影点的欧式距离d_⊥(f,P)，所有距离值中最小值和最大值对应图像灰度0到255，归一量化生成墙面的深度图。根据标定的相机参数，通过三维空间纹理映射生成墙面的的纹理图像，墙面的深度图和纹理图的长宽尺寸保持一致。

步骤二：对纹理图像进行Canny边缘检测，在竖直和水平方向上进行边缘像素点统计，在边缘像素点数量的局部极大值位置提取竖直和水平的分割线，将墙面划分为若干规则块状网格区域，在纹理图和深度图中分别计算各区域的U_detect和U_depth。

首先，利用窗户图像的数据集利用Faster R-CNN深度神经网络进行学习训练，对墙面的纹理图进行窗户检测，记录识别出的窗户位置区域C_d和可能性测度S_j。对于墙面的各个网格和与其相交的检测窗户区域，计算两者面积重叠比例τ_ij∈[0,1]以及平均深度值的比例η_ij∈[0,1]，选择其中较大值乘以检测到的S_j中的最大值，获得该网格的U_detect：

其中，是与网格i相交的深度学习窗户检测结果C_d的子集。

然后，对于墙面的每个网格，根据网格i中深度最大值d_i和阈值比例t_i，提取深度大于阈值d_t＝t_id_i的像素作为有效区域，计算该有效区域的面积A_d和其包围盒面积的比值作为有效面积比值对每个网格，计算其区域中的d_i与8邻域网格区域中的深度最大值d_neighbor的比值作为网格的相对深度值将与的乘积作为网格的U_depth：

步骤三：对墙面的网格分布建立马尔科夫随机场和对应的能量函数U_l，对能量函数进行全局优化求取最小值，将墙面网格标记为窗户或者非窗户区域。根据网格的U_detect和U_depth计算U_d。对于每个网格，在水平和垂直方向上搜索满足相似度要求的网格建立关联，计算U_s。

U(l)＝∑_i∈SU_d(l_i)+γ∑_{i,j}∈EU_s(l_i,l_j) (4)

U_d的计算方法如下：对于标记为窗户的，U_d选取网格U_detect和U_depth中的较大值；对于标记为墙面的，U_d为1减去网格U_detect和U_depth中的较大值。

U_s的计算方法如下：对于网格i，在水平和垂直方向的限定距离内搜索相似网格作为关联网格。搜索距离水平设置为10倍网格宽度，垂直设定为10倍网格高度。对于搜索的网格j，网格对(i,j)相似度的判定方法主要包括网格尺寸比值g_ij、平均颜色差值c_ij、和哈希感知距离h_ij。

g_ij＝||B_i|-|B_j||/max(|B_i|,|B_j|) (6)

c_ij＝|c_i-c_j|/255 (7)

h_ij＝|h_i-h_j| (8)

对于网格i和网格j，g_ij为两者包围盒面积的差值与面积较大值的比例，c_ij为颜色差值对于灰度级的归一化数值。哈希感知测度的计算方法为，将网格对应的图像降采样到8×8的图像计算其灰度均值，将灰度值大于均值像素的标记为1，否则为0，统计其中标记为1的数量。h_ij为两个网格图像哈希测度差值的绝对值。

对于三个相似测度设置最大阈值t_g、t_c和t_h。对小于相似度阈值的两个网格建立关联，并由尺寸差值比例和平均颜色差值的归一化数值计算得到平滑项数值。

U_s＝(1-g_ij)·(1-c_ij) (9)

步骤四：提取墙面网格中标记得到的窗户区域，根据步骤一中墙面在三维空间中的位置建立窗户区域的二维坐标和三维空间映射；对每个窗户，在三维空间中使用立方体模型拟合，立方体的长度、高度和宽度分别对应检测结果中窗户包围盒的宽度、高度以及该窗户区域内深度图中的最大深度值；最后对合成窗户后的墙面重新进行纹理映射，得到高真实感的建筑墙面三维模型。

Claims (8)

1.一种基于无人机图像的三维空间建筑物窗户检测重建方法，其特征在于：其具体方法步骤如下：

步骤一：场景图像预处理；首先，基于无人机拍摄的目标建筑图像序列，使用CMP-MVS、Pix4Dmapper三维重建工具获得场景三维模型；分割提取场景中建筑物墙面的三维网格，计算获得最小二乘法拟合的三维支撑平面；计算三维网格与支撑平面的欧式距离，归一化生成墙面的深度图；根据标定的相机参数，通过三维空间纹理映射生成墙面的的纹理图像；墙面的深度图和纹理图的长宽尺寸保持一致；

步骤二：对纹理图像进行Canny边缘检测，在竖直和水平方向上进行边缘像素点统计，在边缘像素点数量的局部极大值位置分别提取竖直和水平的分割线，将墙面划分为若干规则块状的网格区域；对于每个网格区域，根据其在纹理图和深度图中的相关信息，分别计算该网格的图像置信测度U_detect和深度置信测度U_depth；

步骤三：对墙面的网格分布建立马尔科夫随机场和对应的能量函数，对能量函数进行全局优化求取最小值，标记墙面网格中的窗户区域；能量函数包含数据项U_d和关联平滑项U_s；

步骤四：将检测得到的墙面窗户区域的二维坐标和墙面的三维平面进行三维空间映射；对每个窗户，在三维空间中建立立方体模型，立方体的长度、高度和宽度分别对应检测结果中窗户包围盒的宽度、高度以及该窗户区域内深度图中的最大深度值；最后生成的所有窗户的三维空间模型和墙面的三维平面一起构成了建筑物墙面整体结构的三维模型；

其中，在步骤一中所述的“分割提取场景中建筑物墙面的三维网格，计算获得最小二乘法拟合的三维支撑平面”，其作法如下：在三维空间中平面方程的一般表达式为

Ax+By+Cz+D＝0，(C≠0)

将三维网格中各个面片的顶点三维坐标(x,y,z)作为输入数据，通过最小二乘法，进行平面方程中参数(A,B,C,D)的拟合，从而得到墙面三维网格对应的空间支撑平面。

2.根据权利要求1所述的一种基于无人机图像的三维空间建筑物窗户检测重建方法，其特征在于：在步骤一中所述的“计算三维网格与支撑平面的欧式距离，归一化生成墙面的深度图”，其作法如下：求取网格表面各点和在墙面的三维平面上沿法向量投影的距离，选取所有距离值中最小值和最大值对应图像灰度0到255，量化生成墙面的深度图。

3.根据权利要求1所述的一种基于无人机图像的三维空间建筑物窗户检测重建方法，其特征在于：在步骤二中所述的“图像置信测度U_detect”，其主要计算流程如下：利用窗户图像的数据集进行深度学习训练，对墙面的纹理图进行窗户检测，记录识别出的窗户位置区域和可能性测度；对于墙面的各个网格和与其相交的检测窗户区域，计算两者的面积重叠比例以及平均深度值的比例，选择较大值同检测的可能性测度加权，获得该网格的U_detect。

4.根据权利要求1所述的一种基于无人机图像的三维空间建筑物窗户检测重建方法，其特征在于：在步骤二中所述的“深度置信测度U_depth”，其主要计算流程如下：对于墙面的每个网格，根据该网格中深度最大值和阈值比例，提取深度大于阈值的像素作为有效区域，计算该有效区域的面积和其包围盒面积的比值作为有效面积比值；对每个网格，计算其区域中的深度最大值与8邻域网格区域中的深度最大值的比值，作为网格的相对深度值；将相对深度值与有效面积比值的乘积作为U_depth。

5.根据权利要求1所述的一种基于无人机图像的三维空间建筑物窗户检测重建方法，其特征在于：在步骤二中所述的“Canny边缘检测”，其作法如下：将图像与高斯平滑滤波器进行卷积去噪；然后计算图像水平和垂直方向梯度，根据梯度计算图像边缘幅值与角度大小；将边缘角度值离散为四个扇区，比较中心像素点梯度角度上相邻两个像素，如果中心像素小于其中任意一个，则舍弃边缘像素点，否则保留；对边缘像素进行双阈值边缘连接，从而获得图像的Canny边缘检测结果。

6.根据权利要求1所述的一种基于无人机图像的三维空间建筑物窗户检测重建方法，其特征在于：在步骤三中所述的“数据项U_d”，其计算方法如下：对于标记为窗户的，U_d选取网格U_detect和U_depth中的较大值；对于标记为墙面的，U_d为1减去网格对应的窗户标记数据项数值。

7.根据权利要求1所述的一种基于无人机图像的三维空间建筑物窗户检测重建方法，其特征在于：在步骤三中所述的“关联平滑项U_s”，其计算方法如下：对于每个网格，在水平和垂直方向的限定距离内搜索相似网格作为关联网格；相似度的判定方法包括网格尺寸比值、平均颜色差值和哈希感知距离；对于小于相似度阈值的两个网格建立关联，并由尺寸差值比例和平均颜色差值的归一化数值计算得到平滑项数值。

8.根据权利要求1所述的一种基于无人机图像的三维空间建筑物窗户检测重建方法，其特征在于：在步骤三中所述的“对墙面的网格分布建立马尔科夫随机场和对应的能量函数，对能量函数进行全局优化求取最小值，标记墙面网格中的窗户区域”，其作法如下：

对墙面所有网格，标记l包括窗户及非窗户，建立的马尔科夫随机场对应的能量函数为

U(l)＝∑_i∈SU_d(l_i)+γ∑_{i,j}∈EU_s(l_i,l_j)

首先，对墙面每个网格计算U_d；然后在其水平和垂直方向上的限定距离内搜索满足相似度要求的网格建立关联，计算U_s；对于墙面整体网格建立的能量函数，进行全局最优化求解，获得最小能量值对应的墙面各个网格标记，最后将相邻且都标记为窗户的网格进行合并。