CN114359503A - 一种基于无人机倾斜摄影建模方法 - Google Patents

Abstract

本发明涉及图像数据处理领域，具体涉及一种基于无人机倾斜摄影建模方法，包括：无人机采集目标建模区域的多视角影像数据、像控点数据及同步记录机载POS数据；对采集的目标建模区域多视角影像进行去噪处理，获取高质量的具有位置信息的多视角建模影像数据；采用实景建模区域真实影像数据集训练三维重建深度学习模型MVSNet神经网络；采用训练好的MVSNet网络模型进行三维模型重建，构建出目标区域的三维点云模型；对构建好的三维点云模型进行模型修正、纹理映射，获得目标建模区域的实景三维模型。与传统的实景三维建模方法相比，可以避免因数据量大、影像纹理不清晰、影像高光反射明显等问题，提高建模的效率与精度。

Description

一种基于无人机倾斜摄影建模方法

技术领域

本发明涉及图像数据处理领域，尤其涉及一种基于无人机倾斜摄影建模方法。

背景技术

基于无人机倾斜摄影测量技术的实景三维建模方式往往因数据量大、影像倾角大、影像纹理不清晰、影像高光反射明显导致建模过程中出现运算速度慢、影像匹配效果差、空中三角测量失败的问题。因此，在现有实景三维建模技术的前提下，如何提高建模速度及模型完整度，是实现更高效率、更高精度的无人机倾斜摄影三维模型快速重建的重点与难点。

发明内容

本发明的目的在于提供一种基于无人机倾斜摄影建模方法，旨在提高建模的效率与精度。

为实现上述目的，本发明提供了一种基于无人机倾斜摄影建模方法，包括：无人机采集目标建模区域的多视角影像数据、像控点数据及同步记录机载POS 数据；

对采集的目标建模区域多视角影像进行去噪处理，获取高质量的具有位置信息的多视角建模影像数据；

采用实景建模区域真实影像数据集训练三维重建深度学习模型MVSNet神经网络；

采用训练好的MVSNet网络模型进行三维模型重建，构建出目标区域的三维点云模型；

对构建好的三维点云模型进行模型修正、纹理映射，获得目标建模区域的实景三维模型。

其中，所述对采集的目标建模区域多视角影像进行去噪处理的具体步骤是：

采用BM3D算法得到最终估计结果；

采用自适应邻域均值的权值中值滤波对估计结果进行残余噪声去除。

其中，所述采用BM3D算法得到最终估计结果的具体步骤是：

基于搜索窗的图像块和参考块得到三维数组，然后使用coief3小波替换bior1.5参数对三维数组的二维块进行小波变换，在三维数组的第三个维度使用 db20小波替换hear参数进行小波变换，然后对三维数组进行三维变换得到基础估计图像；

将基础估计图像进行块匹配，得到新三维数组；然后对新三维数组和基础估计得到的三维数组进行重组，采用维纳滤波将三维数组的变化域进行系数放缩得到最终估计结果。

其中，所述采用自适应邻域均值的权值中值滤波对估计结果进行残余噪声去除的具体步骤是：

设X(i,j)为中心像素点(i,j)在进行滤波时对应的窗口(窗口允许的最大尺寸为M_max),Z_min为窗口X(i,j)中灰度值的最小值，Z_max为窗口X(i,j)中灰度值的最大值， I_med为窗口X(i,j)中灰度值的中值，Z(i,j)为图像像素点(i,j)位置上的灰度值

Z_A1＝I_med-Z_min

Z_A2＝Z_max-I_med

Z_B1＝Z_(i,j)-Z_min

Z_B2＝Z_max-Z_(i,j)

进程A：如果Z_A1>0且Z_A2>0时，转入进程B；否则，增大窗口X(i,j)尺寸。如果窗口尺寸等于或小于最大窗口尺寸M_max，则重复进程A，否则输出该像素点灰度值Z(i,j)。

进程B：如果Z_B1>0且Z_B2>0时，输出该像素点灰度值Z(i,j)，否则，输出最近邻域加权中值K_med。

进程C：设定阈值，对输出的最近邻域加权中值K_med进行噪声检测判断，如果输出的K_med仍然为噪声，则采用一种改正的5×5滤波窗口的加权均值滤波器值替换中值进行输出。

其中，所述采用实景建模区域真实影像数据集训练三维重建深度学习模型MVSNet神经网络的具体步骤是：

获取实景建模数据；

将实景建模数据分为训练集和验证集；

将训练集输入网络中，经过视角选择之后，利用一个8层的二维卷积神经网络对输入的影像进行特征提取，提取立体像对的深度特征，然后输出32通道的特征图；

采用平面扫描算法构造训练集的匹配代价体；

将代价体与对应的深度图真值输入网络中，利用SoftMax函数回归每一个像素在深度θ处的概率值，通过深度神经网络学习得到三维重建模型MVSNet 的深度估计。

其中，所述采用训练好的MVSNet网络模型进行三维模型重建，构建出目标区域的三维点云模型的具体步骤是：

将多视角建模影像数据输入MVSNet神经网络得到影像深度图；

基于深度图融合算法，将不同空间位置的深度信息相融合，构建出目标区域的三维点云模型。

本发明的一种基于无人机倾斜摄影建模方法，在无人机影像数据处理阶段，采用BM3D去噪算法结合自适应邻域均值的权值中值滤波对影像进行去噪处理，有效提升影像质量，提高三维模型重建的精度。三维重建深度学习MVSNet模型具有重建速度快、精度高的优点。采用MVSNet神经网络对无人机影像进行三维建模，其通过影像特征提取、构造匹配代价、深度估计与优化，获得影像深度图，再利用深度图融合技术生成三维点云模型，与传统的实景三维建模方法相比，可以避免因数据量大、影像纹理不清晰、影像高光反射明显导致影像匹配失败、空三测量失败的问题，从而提高建模的效率与精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种基于无人机倾斜摄影建模方法的流程图；

图2是本发明的对采集的目标建模区域多视角影像进行去噪处理的流程图；

图3是本发明的采用BM3D算法得到最终估计结果的流程图；

图4是本发明的采用实景建模区域真实影像数据集训练三维重建深度学习模型MVSNet神经网络的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1～图4，本发明提供一种基于无人机倾斜摄影建模方法，包括：

S101无人机采集目标建模区域的多视角影像数据、像控点数据及同步记录机载POS数据；

在采集数据之前，需要对目标区域进行现场踏勘、制定航飞方案、确定行高、铺设航线及布设部分像片控制点标志等。

S102对采集的目标建模区域多视角影像进行去噪处理，获取高质量的具有位置信息的多视角建模影像数据；

其中对采集的目标建模区域多视角影像进行去噪处理的具体步骤是：

S201采用BM3D算法得到最终估计结果；

具体步骤是：

S301基于搜索窗的图像块和参考块得到三维数组，然后使用coief3小波替换bior1.5参数对三维数组的二维块进行小波变换，在三维数组的第三个维度使用db20小波替换hear参数进行小波变换，然后对三维数组进行三维变换得到基础估计图像；

通过搜索窗搜索目标块附近的匹配块，将二维图像转化为三维矩阵，块匹配将相似图像堆叠，为后续联合滤波做准备。假设Z为含噪图像，Z_XR为参考块， Z_X为当前处理的图像块。块匹配的数量为M，那么Z_XR与Z_X之间的距离可以表示为

假设

为判断距离值，若d_noisy(Z_xR,Z_x)小于

则认为Z_X相似于Z_XR。

式中，S_XR为类似Z_XR的图像块集合。通过叠加匹配

形成

该数组的大小为M×M×|S_XR|。

基础估计通过式(1)得到三维数组Z_N，此过程设定阈值为2.7。使用coief3 小波替换bior1.5参数对Z_N二维块进行小波变换，在Z_N第三个维度使用db20 小波替换hear参数进行小波变换，经此操作后提升算法的运算效率。接着对三维数组Z_N进行三维变换，通过式(2)得到估计结果

S302将基础估计图像进行块匹配，得到新三维数组；然后对新三维数组和基础估计得到的三维数组进行重组，采用维纳滤波将三维数组的变化域进行系数放缩得到最终估计结果。

首先实现协同滤波，对

进行三维变换，利用硬阈值进行收缩处理，通过逆变换得到逐块估计的三维数组。

式中，

为三维变换；γ为小波硬阈值运算过程；

为三维逆变换；

为基础估计图像。

其次进行重新组合，在基础估计图像的基础上，利用块匹配方法再次确定分组结果。

式中，

为重组结果；

为第一次估计图像；

为含噪声图像。

最后实现协同维纳滤波，维纳滤波收缩系数大小由基础估计的三维变换系数的能量决定。

协同维纳滤波

是随着三维变换系数

维纳收缩系数

的变换而变化。最后，通过逆变换

得到最终估计结果

最终估计是将基础估计图像

通过式(1)进行块匹配，得到新三维数组Z_K；然后通过式(4)同时对Z_N、Z_K进行重组，再通过式(5)采用维纳滤波将三维数组的变化域进行系数放缩，最后通过式(6)得到最终估计的结果

S202采用自适应邻域均值的权值中值滤波对估计结果进行残余噪声去除。

设X(i,j)为中心像素点(i,j)在进行滤波时对应的窗口(窗口允许的最大尺寸为M_max),Z_min为窗口X(i,j)中灰度值的最小值，Z_max为窗口X(i,j)中灰度值的最大值， I_med为窗口X(i,j)中灰度值的中值，Z(i,j)为图像像素点(i,j)位置上的灰度值

Z_A1＝I_med-Z_min (7)

Z_A2＝Z_max-I_med (8)

Z_B1＝Z_(i,j)-Z_min (9)

Z_B2＝Z_max-Z_(i,j) (10)

滤波具体算法流程如下:

进程A：如果Z_A1>0且Z_A2>0时，转入进程B；否则，增大窗口X(i,j)尺寸。如果窗口尺寸等于或小于最大窗口尺寸M_max，则重复进程A，否则输出该像素点灰度值Z(i,j)。

进程B：如果Z_B1>0且Z_B2>0时，输出该像素点灰度值Z(i,j)，否则，输出最近邻域加权中值K_med。

进程C：设定阈值，对输出的最近邻域加权中值K_med进行噪声检测判断，如果输出的K_med仍然为噪声，则采用一种改正的5×5滤波窗口的加权均值滤波器值替换中值进行输出。

为了确保滤波过程中图像的边缘像素点能够自适应的参与滤波处理，在滤波处理前对含噪图像进行最大滤波窗口尺寸边界扩展，在保证原图像边界像素不变的情况下，按最大滤波窗口尺寸复制原图像边界像素对扩展的边界进行像素填充。

针对自适应中值滤波进程B中的中值输出，采用最近邻域像素加权中值替换原滤波窗口中值，使得输出的像素中值更接近原图像素。首先在当前滤波窗口内选取噪点的最近邻域像素值集合W[f(i,j)]，进而对选取的最近邻域像素值进行噪声检测判断：如果f_k(i,j)＝0或255，则将f_k(i,j)判定为噪声像素，不予处理，其中f_k(i,j)为最近邻域像素集合内的某个像素值；对检测后的最近邻域像素值集合取中值Median(W[f(i,j)])，然后以这个中值为基础，计算集合内每一个像素点的加权系数，加权系数的计算采用下式方法进行：

其中w_k(i,j)表示检测后的最近邻域像素集合W[f(i,j)]内各个像素点对应的权值，k表示检测后集合内剩余的像素点个数。式(11)中各像素点对应权值的计算采用了集合内各个点与中值点的方差，并且对权值进行了归一化处理。最后，将集合内各像素点灰度值与对应的权值进行加权求和计算，结果作为噪声点的滤波输出。如式(12)所示，f(i,j)即为噪点滤波后输出的结果。

为了确保滤波过程中尽量避免输出的中值过于接近噪声灰度值，影响滤波后的影像质量，在进程B的滤波后新加入一层噪声阈值检测层。此过程设定噪声阈值，对输出的中值进行噪声检测判断，如果经阈值检测后判定输出的中值像素为噪声，则采用一种改正的5×5滤波窗口的加权均值滤波器值替换中值进行输出。改正后的加权均值滤波器采用5×5的滤波窗口，首先排除窗口中灰度值为0或255的噪声像素，然后利用剩余的像素进行均值滤波处理，其公式为：

式中f(x,y)为改正后的均值滤波器值；g_r(s,t)为滤波窗口排除灰度值为0或 255的像素后剩余的像素点，Sxy为中心点在(x,y)处、大小为M×N的矩形滤波窗口的邻域；P为滤波窗口中像素值为0的个数；Q为滤波窗口中中像素值为255 的个数；

首先采用BM3D算法对影像进行去噪处理，获得最终估计结果

进而采用上述自适应领域均值的权值中值滤波对最终估计结果进行残余噪声去除，获取高质量影像数据。

S103采用实景建模区域真实影像数据集训练三维重建深度学习模型MVSNet神经网络；

实景建模区域真实影像数据集主要包括建模区域现场场景影像数据、相机参数、匹配数据等，主要涵盖的场景有房屋建筑、道路、田地、河流、山坡、水塘、雕塑、小物件等，每个场景包含了20到800张输入图像，总共有16784 张图像，其中每个场景物体拍摄35个视角，每个视角共有7种不同的亮度，标定数据集中每张影像分辨率为1600×1200。

具体步骤是：

S401获取实景建模数据；

S402将实景建模数据分为训练集和验证集；

为了使用实景建模区域真实影像数据集联合训练MVSNet网络，将所有训练样本调整为H*W＝576*768，并将深度采样值设为D＝128，相应地，将这些数据集分为106个训练场景和7个验证场景来评估网络训练。

S403将训练集输入网络中，经过视角选择之后，利用一个8层的二维卷积神经网络对输入的影像进行特征提取，提取立体像对的深度特征，然后输出32 通道的特征图；

将训练数据输入网络中，经过视角选择之后，利用一个8层的二维卷积神经网络对输入的影像进行特征提取，提取立体像对的深度特征，然后输出32通道的特征图。为防止输入的图像被降采样后语义信息丢失，此过程已经将像素的临近像素之间的语义信息编码到32通道的特征中，并且各个图像提取过程的网络是权值共享。

S404采用平面扫描算法构造训练集的匹配代价体；

在特征提取过后，根据先验的经验深度范围，采用平面扫描算法构造影像的匹配代价。通过从影像的主光轴方向进行扫描，将影像按照某一深度间隔从最小深度至最大深度进行映射，得到一个处于不同深度间隔的相机锥体，然后将步骤S403中得到的特征图映射到该相机锥体中，再通过投影变换，得到输入的若干张影像对应个数的特征体(即匹配代价)，最后，通过构造一个长、宽与输入影像长、宽一样的代价图在深度方向连接而成的三维结构作为代价体实现网络模型的代价体。

S405将代价体与对应的深度图真值输入网络中，利用SoftMax函数回归每一个像素在深度θ处的概率值，通过深度神经网络学习得到三维重建模型 MVSNet的深度估计。

S104采用训练好的MVSNet网络模型进行三维模型重建，构建出目标区域的三维点云模型。

将高质量的具有位置信息的多视角影像数据输入训练好的端到端的MVSNet神经网络中，获得影像的深度图，再通过深度图融合算法，将不同空间位置的深度信息相融合，构建出目标区域的三维点云模型。

S105对构建好的三维点云模型进行模型修正、纹理映射，获得目标建模区域的实景三维模型。

具体地，引入第三方软件对构建好的三维点云模型进行修整及纹理映射，获取高精度的实景三维模型。

另外还可以采用CUDA架构的GPU加速技术对整个建模过程进行加速运算处理。具体是根据显卡版本安装对应的CUDA工具包和驱动程序，配置对应的系统环境变量，然后进行NVIDIAcuDNN(深度卷积神经网络系统GPU加速库) 及OpenCV(计算机视觉库)的安装和环境变量配置，最后通过CUDA图像处理开发环境使用GPU加速对技术对步骤S102中影像处理、步骤S103中网络训练及步骤S104中模型重建进行加速运算，从而提升建模效率。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (6)

1.一种基于无人机倾斜摄影建模方法，其特征在于，

包括：无人机采集目标建模区域的多视角影像数据、像控点数据及同步记录机载POS数据；

对采集的目标建模区域多视角影像进行去噪处理，获取高质量的具有位置信息的多视角建模影像数据；

采用实景建模区域真实影像数据集训练三维重建深度学习模型MVSNet神经网络；

采用训练好的MVSNet网络模型进行三维模型重建，构建出目标区域的三维点云模型；

对构建好的三维点云模型进行模型修正、纹理映射，获得目标建模区域的实景三维模型。

2.如权利要求1所述的一种基于无人机倾斜摄影建模方法，其特征在于，

所述对采集的目标建模区域多视角影像进行去噪处理的具体步骤是：

采用BM3D算法得到最终估计结果；

采用自适应邻域均值的权值中值滤波对估计结果进行残余噪声去除。

3.如权利要求2所述的一种基于无人机倾斜摄影建模方法，其特征在于，

所述采用BM3D算法得到最终估计结果的具体步骤是：

基于搜索窗的图像块和参考块得到三维数组，然后使用coief3小波替换bior1.5参数对三维数组的二维块进行小波变换，在三维数组的第三个维度使用db20小波替换hear参数进行小波变换，然后对三维数组进行三维变换得到基础估计图像；

将基础估计图像进行块匹配，得到新三维数组；然后对新三维数组和基础估计得到的三维数组进行重组，采用维纳滤波将三维数组的变化域进行系数放缩得到最终估计结果。

4.如权利要求2所述的一种基于无人机倾斜摄影建模方法，其特征在于，

所述采用自适应邻域均值的权值中值滤波对估计结果进行残余噪声去除的具体步骤是：

设X(i,j)为中心像素点(i,j)在进行滤波时对应的窗口，窗口允许的最大尺寸为M_max,Z_min为窗口X(i,j)中灰度值的最小值，Z_max为窗口X(i,j)中灰度值的最大值，I_med为窗口X(i,j)中灰度值的中值，Z(i,j)为图像像素点(i,j)位置上的灰度值，

Z_A1＝I_med-Z_min

Z_A2＝Z_max-I_med

Z_B1＝Z_(i,j)-Z_min

Z_B2＝Z_max-Z_(i,j)

进程A：如果Z_A1>0且Z_A2>0时，转入进程B；否则，增大窗口X(i,j)尺寸。如果窗口尺寸等于或小于最大窗口尺寸M_max，则重复进程A，否则输出该像素点灰度值Z(i,j)；

进程B：如果Z_B1>0且Z_B2>0时，输出该像素点灰度值Z(i,j)，否则，输出最近邻域加权中值K_med。

进程C：设定阈值，对输出的最近邻域加权中值K_med进行噪声检测判断，如果输出的K_med仍然为噪声，则采用一种改正的5×5滤波窗口的加权均值滤波器值替换中值进行输出。

5.如权利要求1所述的一种基于无人机倾斜摄影建模方法，其特征在于，

所述采用实景建模区域真实影像数据集训练三维重建深度学习模型MVSNet神经网络的具体步骤是：

获取实景建模数据；

将实景建模数据分为训练集和验证集；

将训练集输入网络中，经过视角选择之后，利用一个8层的二维卷积神经网络对输入的影像进行特征提取，提取立体像对的深度特征，然后输出32通道的特征图；

采用平面扫描算法构造训练集的匹配代价体；

将代价体与对应的深度图真值输入网络中，利用SoftMax函数回归每一个像素在深度θ处的概率值，通过深度神经网络学习得到三维重建模型MVSNet的深度估计。

6.如权利要求1所述的一种基于无人机倾斜摄影建模方法，其特征在于，

所述采用训练好的MVSNet网络模型进行三维模型重建，构建出目标区域的三维点云模型的具体步骤是：

将多视角建模影像数据输入MVSNet神经网络得到影像深度图；

基于深度图融合算法，将不同空间位置的深度信息相融合，构建出目标区域的三维点云模型。

Images