CN108021857B - 基于无人机航拍图像序列深度恢复的建筑物检测方法 - Google Patents

Abstract

本发明公开了一种基于无人机航拍图像序列深度恢复的建筑物检测方法，属于建筑物检测技术领域。具体内容包括：无人机搭载单目相机采集图像序列；利用飞机的运动信息以及获取到的图像序列的空域和时域的关系，恢复出图像的视差；将视差转换为深度，人工的设定深度阈值来分割建筑物。本发明可以有效地估计出图像的深度，利用深度检测出建筑物。本发明首次使用了无人机图像序列深度恢复的方法，能够对建筑物进行有效的检测。

Description

基于无人机航拍图像序列深度恢复的建筑物检测方法

技术领域

本发明属于建筑物检测技术领域，具体涉及一种基于无人机航拍图像序列深度恢复的建 筑物检测方法。

背景技术

随着当今无人机技术的高速发展，基于无人机航拍视频序列的建筑物检测成为大家研究 的热点。能够在复杂的背景下，准确的检测建筑物具有重要的意义。建筑物检测的经典方法 有如下几种：边缘轮廓检测，建筑物匹配法等。航拍视频背景复杂，若在建筑物密集区域使 用边缘轮廓进行检测，对特定的建筑物定位较难。现代社会中建筑物的形状多种多样，匹配 法虽然能够稳定识别形状较为规范的建筑物，但对于形状较为复杂的建筑物识别能力较弱。 以上两种方法在无人机航拍背景下，对建筑物检测难以达到理想的效果。这两种方法都是基 于二维图像进行分析，没有利用到图像的深度信息，所以很难对建筑物进行准确检测。

发明内容

本发明的目的在于提供一种解决现有技术中检测准确性差等问题的基于无人机航拍图像 序列深度恢复的建筑物检测方法。

本发明的目的通过如下技术方案来实现：

基于无人机航拍图像序列深度恢复的建筑物检测方法，包括以下步骤：

S1.利用无人机搭载单目相机水平飞行，垂直向下采集图像序列，并通过全局运动补偿 的方法使相邻两帧图像水平对齐；

S2.基线距离计算，通过相邻两帧图像获取时间差以及飞机飞行速度计算基线距离；

S3.匹配代价函数中，定义了像素值代价和梯度代价，并且加入了图像块特征匹配代价， 其中选用KAZE和彩色特征作为图像块特征。引入census变换，使用局部像素信息来计算汉 明距离，使得算法对光照变化具有较高的鲁棒性；

S4.匹配代价聚合中，为了提高在边缘处求解的精度和降低噪声，引入了一种迭代引导 滤波器的方法，将t或t+1时刻的灰度图像作为滤波器的引导；

S5.匹配代价聚合函数优化求解，使用winner-take-all(WTA)策略，在求解中有一些 无效或不需要的像素，我们通过左右一致性检查来剔除这些点，然后执行填充处理，用有效 的最小像素替换无效的像素；

S6.视差图进行细化后处理，使用加权的双边滤波器来消除填充过程中产生的剩余噪声， 最后使用无向图分割和最小二乘平面拟合来恢复视差图上的低纹理区域；

S7.目标建筑物深度分割，把视差图转化为深度图，人工设定分割高度阈值范围，对地 面建筑物进行深度图分割，提取出建筑物区域。

.特别地，

步骤S1中使用单目相机获取图像序列。无人机搭载相机会产生抖动现象，利用全局运动 补偿的方法水平对齐图像。

步骤S2中求取相邻两帧的基线距离d_j，如下式，其中v是飞机匀速直线飞行时的速度， T_s是获取相邻两帧图像的时间间隔。

d_j＝v*T_s

步骤S3中像素差分函数AD′(p,d)定义为：

其中τ_AD表示截断阈值，用来增加对离群值的鲁棒性，AD_new(p,d)表示引入强度系数的像 素差分函数。

梯度差分函数GM′(p,d)定义为：

其中τ_GM表示截断阈值，用来增加对离群值的鲁棒性，GM_new(p,d)表示引入强度系数的 像素差分函数。

图像块特征匹配代价PM(p,d)定义为：

PM(p,d)＝δ_pρ_p|f_t(p)-f_t+1(p-d)|

其中f_t和f_t+1分别代表相邻两帧中图像块的特征向量。δ_p是匹配控制常数，若在x_p处存 在优秀匹配，为1，否则为0。ρ_p代表匹配权重。

定义匹配误差函数M′(p,d)为，

M′(p,d)＝αAD′(p,d)+(1-α)GM′(p,d)+βPM(p,d)

引入局部census变换，每一幅图像汉明距离CN(p)定义为：

其中

表示每一窗口之间的并置连接，p和q分别表示感兴趣像素点和领域像素点。w_CN是领域窗口，cen(p,q)是二值化函数定义为：

其中I(p)和I(q)分别是感兴趣像素点的像素值和邻域像素点的像素值，前后两帧图像汉 明距离定义为：

CN′(p,d)＝Hamming(CN_t(p)-CN_t+1(p-d))

最终的匹配代价函数M(p,d)定义为：

M(p,d)＝2-exp(-M′(p,d))-exp(-CN′(p,d))

步骤S4中定义迭代引导滤波器的核函数G_p,q(I_n)如下：

其中I_n表示第n次迭代时的引导灰度图，p代表像素点，w_o是r×r的邻域窗口，w是邻域内的像素个数，邻域内的像素用q表示，o代表窗口内中心点像素。μ和σ²分别代表引导 图像的均值和方差，ε是控制平滑因子。

步骤S5中定义左右一致性检查关系定义为：

|d_LR(p)-d_RL(p-d_LR(p))|≤τ_LR

其中d_LR和d_RL分别代表左右相关视差图，τ_LR代表一致性阈值。

填充处理函数定义d(p)为：

其中d(p)表示p位置的视差，d(p-j)和d(p+j)分别表示左侧和右侧第一有效视差。

步骤S6中加权双边滤波函数h(p,d_r)定义为：

其中d_r表示视差范围，w_p是以p为中心的r×r窗口，B(p,q)为双边滤波器。

步骤S6中分割函数定义S(C₁,C₂)为：

其中Δ(C₁,C₂)表示区域边界权重，Δ_min(C₁,C₂)表示最小区域边界权重。

平面拟合过程中视差平面d^k(x,y)定义为：

d^k(x,y)＝ax+by+c

其中d^k(x,y)和(x,y)分别表示视差值平面和第k次分割区域。a和b是斜率参数，c表示 平面与原点距离。

步骤S7中定义建筑物的分割函数J(p)为：

其中h_p表示p位置的实际深度值，h_min表示人工设定最小深度阈值。

本发明的有益效果在于：

通过无人机搭载单目相机，降低系统复杂性和成本。并且通过飞机的运动信息以及获取 到的图像序列空域和时域的关系，来恢复出图像的深度信息，充分利用了深度信息检测出建 筑物，有效提升检测的准确率。

附图说明

图1为本发明的设计流程图；

图2为本发明系统整体示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

S1.如图2所示，利用无人机搭载单目相机水平飞行获取图像序列。I_t′和I_t+1′分别表示 相邻两帧图像，(x_t,y_t)表示t时刻图像内坐标点，(x_t+1,y_t+1)表示t+1时刻图像内坐标点，则 可以定义相邻两帧图像的仿射变换关系如下：

其中a₁,a₂,a₃,a₄,b₀,b₁是变换参数，可以由最小二乘法求得。变换后两幅图像的重叠区域 记作Ω，I_t和I_t+1分别表示在区域Ω内的水平对齐后的图像。

S2.本发明是基于飞机匀速直线运动状态下进行建筑物检测的，需要利用飞机的运动信 息如速度，估计出相邻两帧之间的基线距离d_j。公式如下：

d_j＝v*T_s (2)

其中v表示飞机飞行速度，T_s表示采集相邻两帧图像序列的时间间隔。

S3.要估计视差，第一步就是要定义匹配代价函数。前后两帧原始像素差分函数AD(p,d)定 义为：

其中p代表坐标(x,y)，i表示彩色图像的三个通道，d代表视差。引入差分强度系数β后， 新的像素差分函数AD_new(p,d)定义为：

AD_new(p,d)＝βAD(p,d) (4)

最终的像素差分函数AD′(p,d)定义为：

其中τ_AD表示截断阈值，用来增加对离群值的鲁棒性，AD_new(p,d)表示引入强度系数的像素 差分函数。

同时为了计算图像的梯度值，定义水平方向梯度G_x和竖直方向的梯度G_y分别为：

G_x＝[1 0 -1]*I (6)

其中I为图像，*代表卷积运算。梯度的模值η定义为：

原始的梯度匹配差分函数GM(p,d)为：

GM(p,d)＝|η_t(p)-η_t+1(p-d)| (9)

其中η_l和η_r代表前后两帧图像梯度的大小。引入差分强度系数β后，新的图像梯度差分函 数GM_new(p,d)定义为：

GM_new(p,d)＝βGM(p,d) (10)

最终的梯度差分函数GM′(p,d)定义为：

其中τ_GM表示截断阈值，用来增加对离群值的鲁棒性。

图像块特征匹配代价函数PM(p,d)定义为：

PM(p,d)＝δ_pρ_p|f_t(p)-f_t+1(p-d)| (12)

其中f_t和f_t+1分别代表相邻两帧中图像块的特征向量。δ_p是匹配控制常数，若在x_p处 存在优秀匹配，δ_p为1，否则为0。ρ_p代表匹配权重定义为：

其中

表示区域匹配块描述子的标准化领域内平均欧式距离，ξ²()表示KAZE特征标 准化欧式距离ξ²(K_p,K_p-d)和彩色特征标准化欧式距离ξ²(C_p,C_p-d)，分别定义为：

其中K和C分别代表图像块对应的特征向量，定义总距离ξ²(p,p-d)为：

定义匹配误差函数为，

M′(p,d)＝αAD′(p,d)+(1-α)GM′(p,d)+βPM(p,d) (17)

引入局部census变换，每一幅图像汉明距离CN(p)定义为：

其中

表示每一窗口之间的并置连接，p和q分别表示感兴趣像素点和领域像素点。w_CN是 领域窗口，cen(p,q)是二值化函数其定义为：

其中I(p)和I(q)分别是感兴趣像素点的像素值和邻域像素点的像素值，前后两帧图像汉明 距离CN′(p,d)定义为：

CN′(p,d)＝Hamming(CN_t(p)-CN_t+1(p-d)) (20)

最终的匹配代价函数M(p,d)定义为：

M(p,d)＝2-exp(-M′(p,d))-exp(-CN′(p,d)) (21)

S4.得到了匹配代价函数之后，需要对代价进行进一步的聚合操作，这一操作也是对匹 配不确定性最小化的一个必要阶段。为了提高在边缘处求解的精度和降低噪声，我们定义引 导滤波器G_p,q(I_n)为：

其中，其中I_n表示第n次迭代时的引导灰度图，p代表像素点，w_o是r×r的邻域窗口，w 是邻域内的像素个数，邻域内的像素用q表示，o代表窗口内中心点像素。μ和σ²分别代表引导图像的均值和方差。ε是控制平滑因子，聚合匹配代价CA(p,d)定义为：

CA(p,d)＝G_p,q(I_n)M(p,d) (23)

S5.为了获得准确的视差图，我们使用WTK算法来进行区域匹配。WTA算法的基本思想就 是对于参考图中的一点，在匹配图中计算视差范围内的叠加匹配代价，取匹配代价最小的点 作为参考图中点的对应点。估计视差d的公式定义为：

d＝argmin_d∈dr CA(p,d) (24)

在求解中会产生一些无效或者不需要的像素，我们通过左右一致性检查来剔除这些点，然 后执行填充处理，用有效的最小像素替换无效的像素。左右一致性检查关系定义为：

|d_LR(p)-d_RL(p-d_LR(p))|≤τ_LR (25)

其中d_LR和d_RL分别代表左右相关视差图，τ_LR代表一致性阈值。

填充处理函数定义为：

其中d(p)表示p位置的视差，d(p-j)和d(p+j)分别表示左侧和右侧第一有效视差。

S6.步骤S5中的这种像素填充和替换，会在视差图上产生噪声，为了消除噪声，我们使 用双边滤波器来进一步滤除噪声点。双边滤波器B(p,q)定义为：

其中p是需要进行滤波的位置，σ_s和σ_c分别是空域调整参数和视差相关参数。|p-q|表示 空间欧式距离，|d(p)-d(q)|表示视差值的差。

为提升滤波器的性能，我们使用加权双边滤波器，加权后的双边滤波函数h(p,d_r)定义为：

其中d_r表示视差范围，w_p是以p为中心的r×r窗口。

滤波之后视差取h(p,d_r)的中间值，中间值d′表达式定义为：

d′＝med{d|h(p,d_r)} (29)

利用无向图分割和最小二乘平面拟合可以修复视差图中的低纹理区域，首先通过测量每 一段边缘的相似度来确定边缘权重ω_seg(v_p,v_q)定义为：

ω_seg(v_p,v_q)＝|d′(p)-d′(q)| (30)

其中v_p和v_q表示边缘E的顶点，(v_p,v_q)∈E，d′(p)和d′(q)分别表示目标点与邻域点的视 差值。

定义边缘段C∈E，边缘段E内的最小权重值Δ(C₁,C₂)定义为：

最终的分割函数S(C₁,C₂)定义为：

Δ_min(C₁,C₂)代表最小内部差异，定义为：

Δ_min(C₁,C₂)＝min(Int(C₁)+τ_seg(C₁),Int(C₂)+τ_seg(C₂))(33)

其中Int(C)是内部差分权重值，定义为：

Int(C)＝max_e∈MST(C,E)w(e) (34)

其中Int(C)是最小生成树MST(C,E)的最大权重值w(e)，τ_seg是阈值函数定义为：

其中k是常数，z_c是边缘段大小。

平面拟合的过程，定义视差平面d^k(x,y)为：

d^k(x,y)＝ax+by+c (36)

其中d^k(x,y)和(x,y)分别表示视差值平面和第k次分割区域。a和b是斜率参数，c表示平 面与原点距离。这些参数可以通过最小二乘法求解确定，求解公式定义为：

其中(x_i,y_i)和s表示第k段的坐标和像素点个数。最终的视差值由式(36)和(37)共同决定。

S7.通过视差图求解深度图，对应关系定义为：

其中z为深度值，f为焦距，b为基线距离，d为视差。

定义建筑物的分割函数J(p)为：

其中h_p表示p位置的实际深度值，h_min表示人工设定最小深度阈值。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员 来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等 同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于无人机航拍图像序列深度恢复的建筑物检测方法，其特征在于，包括以下步骤：

S1.利用无人机搭载单目相机水平飞行，垂直向下采集图像序列，并通过全局运动补偿的方法使相邻两帧图像水平对齐；

S2.基线距离计算，通过相邻两帧图像获取时间差以及飞机飞行速度计算基线距离；

S3.匹配代价函数设计，定义像素值代价和梯度代价，加入图像块特征匹配代价，选用KAZE和彩色特征作为图像块特征；

S4.匹配代价函数聚合，引入一种迭代引导滤波器的方法，将t或t+1时刻的灰度图像作为滤波器的引导；

S5.匹配代价聚合函数优化求解，使用winner-take-all(WTA)策略，用有效的最小像素替换无效的像素；

S6.视差图进行细化后处理，使用加权的双边滤波器来消除填充过程中产生的剩余噪声，最后使用无向图分割和最小二乘平面拟合来恢复视差图上的低纹理区域；

S7.目标建筑物深度分割，把视差图转化为深度图，人工设定分割高度阈值范围，对地面建筑物进行深度图分割，提取出建筑物区域；

所述的步骤S1具体为：

相邻两帧图像的仿射变换关系如下：

其中，(x_t,y_t)表示t时刻图像内坐标点，(x_t+1,y_t+1)表示t+1时刻图像内坐标点；

其中，a₁,a₂,a₃,a₄,b₀,b₁是变换参数，可以由最小二乘法求得，变换后两幅图像的重叠区域记作Ω；

所述的步骤S2具体为：

相邻两帧之间的基线距离d_j计算公式：

d_j＝v*T_s

其中v表示飞机飞行速度，T_s表示采集相邻两帧图像序列的时间间隔；

所述的步骤S3具体为：

(3.1)前后两帧原始像素差分函数AD(p,d)定义为：

其中p代表坐标(x,y)，i表示彩色图像的三个通道，d代表视差，

引入差分强度系数β后，新的像素差分函数AD_new(p,d)定义为：

AD_new(p,d)＝βAD(p,d)

最终的像素差分函数AD′(p,d)定义为：

其中τ_AD表示截断阈值，用来增加对离群值的鲁棒性，AD_new(p,d)表示引入强度系数的像素差分函数；

(3.2)定义水平方向梯度G_x和竖直方向的梯度G_y分别为：

G_x＝[1 0 -1]*I

其中I为图像，*代表卷积运算，

梯度的模值η定义为：

原始的梯度匹配差分函数GM(p,d)为：

GM(p,d)＝|η_t(p)-η_t+1(p-d)|

其中η_t和η_t+1代表前后两帧图像梯度的大小，

引入差分强度系数β后，新的图像梯度差分函数GM_new(p,d)定义为：

GM_new(p,d)＝βGM(p,d)

最终的梯度差分函数GM′(p,d)定义为：

其中τ_GM表示截断阈值；

(3.3)图像块特征匹配代价函数PM(p,d)定义为：

PM(p,d)＝δ_pρ_p|f_t(p)-f_t+1(p-d)|

其中f_t和f_t+1分别代表相邻两帧中图像块的特征向量，δ_p是匹配控制常数，若在x_p处存在优秀匹配，δ_p为1，否则为0，

ρ_p代表匹配权重定义为：

其中

表示区域匹配块描述子的标准化领域内平均欧式距离，

KAZE特征标准化欧式距离ξ²(K_p,K_p-d)和彩色特征标准化欧式距离ξ²(C_p,C_p-d)，分别定义为：

其中K和C分别代表图像块对应的特征向量，定义总距离ξ²(p,p-d)为：

定义匹配误差函数为，

M′(p,d)＝αAD′(p,d)+(1-α)GM′(p,d)+βPM(p,d)

引入局部census变换，每一幅图像汉明距离CN(p)定义为：

其中

表示每一窗口之间的并置连接，p和q分别表示感兴趣像素点和领域像素点；

w_CN是领域窗口，cen(p,q)是二值化函数其定义为：

其中I(p)和I(q)分别是感兴趣像素点的像素值和邻域像素点的像素值，前后两帧图像汉明距离CN′(p,d)定义为：

CN′(p,d)＝Hamming(CN_t(p)-CN_t+1(p-d))

(3.4)最终的匹配代价函数M(p,d)定义为：

M(p,d)＝2-exp(-M′(p,d))-exp(-CN′(p,d))。

2.根据权利要求1所述的基于无人机航拍图像序列深度恢复的建筑物检测方法，其特征在于，所述的步骤S4具体为：

定义引导滤波器G_p,q(I_n)为：

其中，其中I_n表示第n次迭代时的引导灰度图，p代表像素点，w_o是r×r的邻域窗口，w是邻域内的像素个数，邻域内的像素用q表示，o代表窗口内中心点像素，μ和σ²分别代表引导图像的均值和方差，ε是控制平滑因子；

聚合匹配代价CA(p,d)定义为：

CA(p,d)＝G_p,q(I_n)M(p,d)。

3.根据权利要求1所述的基于无人机航拍图像序列深度恢复的建筑物检测方法，其特征在于，所述的步骤S5具体为：

使用WTK算法来进行区域匹配，在匹配图中计算视差范围内的叠加匹配代价，取匹配代价最小的点作为参考图中点的对应点；

估计视差d的公式定义为：

通过左右一致性检查来剔除无效或者不需要的像素，然后执行填充处理，用有效的最小像素替换无效的像素；

左右一致性检查关系定义为：

|d_LR(p)-d_RL(p-d_LR(p))|≤τ_LR

其中d_LR和d_RL分别代表左右相关视差图，τ_LR代表一致性阈值；

填充处理函数定义为：

其中d(p)表示p位置的视差，d(p-j)和d(p+j)分别表示左侧和右侧第一有效视差。

4.根据权利要求1所述的基于无人机航拍图像序列深度恢复的建筑物检测方法，其特征在于，所述的步骤S6具体为：

分割函数定义S(C₁,C₂)为：

其中Δ(C₁,C₂)表示区域边界权重，Δ_min(C₁,C₂)表示最小区域边界权重；

平面拟合过程中视差平面d^k(x,y)定义为：

d^k(x,y)＝ax+by+c

其中d^k(x,y)和(x,y)分别表示视差值平面和第k次分割区域，a和b是斜率参数，c表示平面与原点距离。

5.根据权利要求1所述的基于无人机航拍图像序列深度恢复的建筑物检测方法，其特征在于，所述的步骤S7具体为：

定义建筑物的分割函数J(p)为：

其中h_p表示p位置的实际深度值，h_min表示人工设定最小深度阈值。

Images