CN111739163A - 用于露天采场智能验收的无人机影像数据建模方法 - Google Patents

Abstract

本发明的目的是针对基于无人机影像数据进行三维建模过程中存在处理时间长、成本高、无法应用等问题，本发明提供一种用于露天采场智能验收的无人机影像数据建模方法，本方法可分为三个过程，首先利用无人机获取露天采场无人机影像，然后确定压缩阈值，并基于反距离加权的双线性插值算法对无人机高清影像进行分辨率压缩处理，最后利用处理后的无人机影像数据建立露天采场三维模型，侧重点在压缩阈值确定方法及基于反距离加权的双线性插值算法对无人机高清影像进行分辨率压缩处理。该方法可在满足矿山精度要求的情况下大幅度缩短数据处理所需时间，降低验收成本，提高采场验收的效率，满足矿山日常生产的需求。

Description

用于露天采场智能验收的无人机影像数据建模方法

技术领域

本发明属于影像数据处理技术领域，尤其涉及一种无人机影像数据快速高效的建模方法。

背景技术

随着无人机倾斜摄影测量技术、三维建模等技术的飞速发展，利用无人机影像数据进行三维建模进而实现露天采场验收已成为必然的发展趋势。因此在保证矿山精度需求的情况下，如何能够快速高效地利用无人机影像进行精细化三维建模成为露天采场验收的关键问题。

目前，国内外大部分无人机数据处理方式大都是利用Smart 3D等航拍影像处理软件对无人机原始影像进行空间建模，生成点云数据和建立采场三维模型。但是由于露天采场面积较大，获取的无人机影像数量巨大，其数目多时可达上万幅，因此在利用Smart 3D等软件对海量影像数据进行处理时存在对电脑的配置要求过高、处理时间长、程序易崩溃等问题，不仅严重增加了矿山验收的成本，而且极大地降低了矿山验收的效率，从而无法应用于露天采场智能验收工作。针对该问题，如何在保障露天采场验收精度的情况下提高无人机影像建模速度及采场验收的效率，满足矿山日常生产的需求，是本领域技术人员希望克服的。

发明内容

本发明的目的是针对基于无人机影像数据进行三维建模过程中存在处理时间长、成本高、无法应用等问题，本发明提供一种用于露天采场智能验收的无人机影像数据建模方法，本方法可分为三个过程，首先利用无人机获取露天采场无人机影像，然后确定压缩阈值，并基于反距离加权的双线性插值算法对无人机高清影像进行分辨率压缩处理，最后利用处理后的无人机影像数据建立露天采场三维精细模型，侧重点在压缩阈值确定方法及基于反距离加权的双线性插值算法对无人机高清影像进行分辨率压缩处理。该方法可在满足矿山精度要求的情况下大幅度缩短数据处理所需时间，降低验收成本，提高采场验收的效率，满足矿山日常生产的需求。

为实现上述目的，本发明提供一种用于露天采场智能验收的无人机影像数据建模方法，包括如下步骤：

步骤1、待测目标的无人机影像获取

采用无人机航拍获取待测目标的无人机影像；

步骤2、基于反距离加权的双线性插值算法对无人机高清影像进行分辨率压缩处理

步骤2.1：根据对压缩处理后影像精度要求和压缩处理时间要求来确定压缩阈值：

步骤2.1.1：根据数据库中的实验数据处理结果，统计不同压缩阈值、数据量大小与建模精度及建模时间关系；

1)基于回归分析建立压缩阈值τ、数据量大小T分别与平面建模精度m_x，y及高程建模精度m_h之间的函数关系为：

式中a₁，a₂，a₃为函数回归系数；

式中b₁，b₂，b₃为函数回归系数；

2)同时建立压缩阈值τ、数据量大小T与建模所需总时间t之间的函数关系为：

式中c₁，c₂为函数回归系数；

确定回归函数的系数a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂的值；

步骤2.1.2：根据本次对压缩处理后影像精度要求和压缩处理时间要求，进而确定平面建模精度m_x，y、高程建模精度m_h、建模所需时间t，再根据所需处理的数据量大小T，带入到公式(1)、(2)、(3)中，确定出压缩阈值τ的取值范围，进而确定τ的取值，并且τ的取值为整数；

步骤2.2：假设函数G(x，y)为压缩后影像中待计算点P(x，y)上的像素值；已知待计算点P(x，y)在原始影像上对应区域的四个像素顶点分别为D₁₁＝(x_d1，y_d1)，D₁₂＝(x_d1，y_d2)，D₂₁＝(x_d2，y_d1)，D₂₂＝(x_d2，y_d2)；其中，x_d1＝τ(x-1)+1，x_d2＝τx，y_d1＝τ(y-1)+1，y_d2＝τy，则该区域在原始影像以(τ(x-1)+τ/2，τ(y-1)+τ/2)为中心，包含τ*τ个像素，且像素呈中心对称分布；

步骤2.3：基于反距离加权的双线性插值算法计算得到函数G在点P(x，y)的估计像素值；

1)首先根据压缩阈值对对应区域内像素进行分组，分组规则为对随区域中心点呈中心对称分布的四个像素点为一组，若压缩阈值为偶数，则分组个数为τ²/4，若压缩阈值为奇数，则分组结果为(τ²-1)/4；

2)分组完成后，将单组像素点的四个点分别定义为F₁₁＝(x₁，y₁)，F₁₂＝(x₁，y₂)，F₂₁＝(x₂，y₁)，F₂₂＝(x₂，y₂)，对所有分组采取以下方法插值，首先在X方向进行线性插值，在y坐标一致的情况下，假设F₁₁与F₂₁之间一点为R₁(x，y₁)，F₁₂与F₂₂之间一点为R₂(x，y₂)，则两点的像素值可由已知点F₁₁和F₂₁与F₁₂和F₂₂插值表示为：

再在Y方向进行线性插值，与X方向插值类似，点P位于R₁与R₂之间，则P点的像素值可由点R₁和R₂插值表示为：

3)点P(x，y)的像素估计值可由该组像素表示为：

4)对单组像素进行插值完成后，再对由每组像素估计出的P(x，y)像素值进行定权，基于反距离加权算法进行定权：

l为单组对应像素与P(x，y)间的距离，p为权值，s为分组的个数；

5)将所有组的估计值计算完毕后，最后对待计算点P(x，y)进行反距离加权计算其最终值：

步骤2.4：依据上述步骤2.1～2.3：分别计算出待压缩影像中的各点像素值，组成压缩后影像；

步骤3、建立露天采场三维精细模型

将经过分辨率压缩处理的影像进行空中三角测量处理，生成三维点云数据和精细化三维模型。

进一步的，上述方法中，所述步骤1中，采用无人机航拍获取待测目标的无人机影像时，在待测目标上均匀的布置像控点。

进一步的，上述方法中，所述步骤3中，将经过分辨率压缩处理的影像进行空中三角测量处理的方法包括：

1)将经过分辨率压缩处理的影像进行第一次空中三角测量处理，得到初步的露天采场无人机拼接影像；

2)基于拼接影像中像控点对应的实际位置对步骤1)得到的无人机拼接影像进行刺像控点处理；

3)对步骤2)处理后的拼接影像进行第二次空中三角测量处理，得到露天采场的三维点云数据和三维模型。

与现有技术相比，本发明的优势在于：

(1)本发明的方法基于反距离加权的双线性插值算法进行影像压缩处理，可以充分利用原始影像的所有纹理信息，降低因原始影像压缩造成的信息损失，进而降低分辨率压缩带来的建模精度损失，可在满足模型精度要求的情况下大幅度减少建模时间；

(2)利用本发明的方法可实现快速建立露天采场三维模型，能够节约数据处理成本，提高数据处理效率，满足应用对象的精度和时间需求。

附图说明

图1为实施例1方法的流程示意图；

图2为实施例1中反距离加权的双线性插值算法原理示意图；

图3为原始的无人机影像图；

图4为分辨率压缩后的无人机影像图；

图5为利用分辨率压缩后的影像建立的露天采场的三维精细化模型俯视图；

图6为利用分辨率压缩后的影像建立的露天采场的三维精细化模型侧视图；

图7为利用分辨率压缩后的影像建立的露天采场三维精细化模型图。

具体实施方式

为了使本发明的目的、技术方案和优点能够展示的更加清楚明白，下面结合附图和具体实例，进一步详细描述本发明，显然，所描述的实例是本发明的实例中的一部分，并不是全部实例。基于本发明中的实例，本领域技术人员在没有通过做出创造性劳动的前提下所获得的所有其他实例，都属于本发明保护的范围。

实施例

目前，利用无人机影像数据进行建模从而实现露天采场验收的方法已成为必然的发展趋势，针对无人机影像数据处理过程中存在处理时间长、成本高等问题，本发明的方法可实现在满足矿山精度要求的情况下大幅度缩短数据处理所需时间，降低验收成本，提高采场验收的效率，满足矿山日常生产的需求。

一种用于露天采场智能验收的无人机影像数据建模方法，具体步骤为：

1、露天采场无人机影像的获取

基于国产的大疆精灵4RTK对露天采场进行无人机航测，其中部分参数设置如下：飞行高度100米，航向重叠度80％，旁向重叠度80％，规划好预定飞行区域的航线，使飞行区域采集的影像既完全覆盖采场又不超出露天采场范围。为了保障后续数据的精度，还在露天矿采场内均匀的布置足够数量的像控点即控制点(像控点为实际工程中利用RTK采集的GPS点，设置个数为18)，在后续处理的时候可以用来控制精度，满足矿山验收的需求。

在露天采场共采集3600幅分辨率为4864×3648的无人机影像，影像中包含了坐标信息(X，Y，Z)，影像所占内存大小为59.5GB。

2、影像分辨率压缩处理

基于反距离加权的双线性插值算法对无人机高清影像进行分辨率压缩处理，利用MATLAB软件编写双线性插值法程序对无人机影像进行批量处理，从而在尽可能保证影像质量的情况下对无人机影像进行分辨率压缩处理。

该方法具体步骤如下，流程图参见图1：

步骤2.1：针对无人机影像处理，根据矿山验收测量对采矿量的精度要求和数据更新时间要求，确定压缩阈值τ(压缩阈值指将原影像横纵分辨率压缩τ倍，压缩后影像分辨率降低，τ的作用是在分辨率压缩过程中，确定程序滑动窗的大小，例如：原影像压缩τ倍，则对压缩后影像的值，每隔τ个像素完成一次插值)，阈值确定步骤为：

1)首先根据数据库中的实验数据(该数据库为随机选取300张待压缩图像进行压缩处理，并记录相关的参数；也可以为实验室中图像压缩的历史数据记录)确定下列回归函数的系数a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂；

t＝f_t(τ，T)

＝T(c₁τ²+c₂τ) (3)

然后将矿山验收测量对采矿量的精度要求中的平面建模精度m_x，y和高程建模精度m_h，所需建模时间t，再根据所需处理的影像数据量大小T，代入上述3个公式，计算压缩阈值τ的取值范围：

经过计算，本次工程τ的取值范围为3.4-5.8，综合考虑精度和建模时间等需求，定义压缩阈值τ＝4。

步骤2.2：假设函数G(x，y)为压缩后影像中待计算点P(x，y)上的像素值；已知待计算点P(x，y)在原始影像上对应区域的四个像素顶点分别为D₁₁＝(x_d1，y_d1)，D₁₂＝(x_d1，y_d2)，D₂₁＝(x_d2，y_d1)，D₂₂＝(x_d2，y_d2)；其中，x_d1＝τ(x-1)+1，x_d2＝τx，y_d1＝τ(y-1)+1，y_d2＝τy，若四个像素顶点的坐标不为整数按照以下规则取整：若坐标值最大，向上取整，若坐标值最小，向下取整；则该区域在原始影像以(τ(x-1)+τ/2，τ(y-1)+τ/2)为中心，包含τ*τ个像素，且像素呈中心对称分布；。

步骤2.3：基于反距离加权的双线性插值算法计算得到函数G在点P(x，y)的估计像素值，反距离加权的双线性插值算法原理示意图见图2；

1)首先根据压缩阈值对区域内像素进行分组，分组规则为对随区域中心点呈中心对称分布的四个像素点为一组，根据分组规则分组个数为4组。

2)分组完成后，将单组像素的四个点定义为F₁₁＝(x₁，y₁)，F₁₂＝(x₁，y₂)，F₂₁＝(x₂，y₁)，F₂₂＝(x₂，y₂)，对使所有分组采取以下方法插值，首先在X方向进行线性插值，在y坐标一致的情况下，假设F₁₁与F₂₁之间一点为R₁(x，y₁)，F₁₂与F₂₂之间一点为R₂(x，y₂)，则两点的像素值可由已知点F₁₁和F₂₁与F₁₂和F₂₂插值表示为：

3)在Y方向进行线性插值，与X方向插值类似，点P位于R₁与R₂之间，则P点的像素值可由点R₁和R₂插值表示为：

4)点P(x，y)的像素估计值可由该组像素表示为：

5)对单组像素进行插值完成后，再对由每组像素估计出的P(x，y)像素值进行定权，基于反距离加权算法对像素对进行反距离定权：

l为单组对应像素与P(x，y)间的距离，p为权值，s为分组的个数。

6)将所有组的估计值计算完毕后，最后对待计算点P(x，y)进行反距离加权计算其最终值：

(4)依据上述步骤(1)-(3)分别计算出压缩后该待压缩影像的各点像素值，组成压缩后影像。

(5)再重复利用上述步骤(1)-(4)完成对露天采场3600幅原始无人机影像的分辨率压缩批量处理。

利用上述程序对无人机影像进行批处理完成后，分辨率压缩前后的无人机影像分别如图3，图4所示。

3、露天采场三维模型的建立

基于Smart 3D软件加载无人机影像并进行第一遍空中三角测量处理，第一遍空中三角测量处理过程是根据影像数据对露天采场进行初步建模，生成较粗糙的露天采场无人机拼接影像，该数据处理过程若用原始影像进行处理，一台图形工作站大约需要24小时，而利用本发明所述方法处理过的影像数据进行处理，则需要4个小时，在满足矿山验收精度需求的同时，极大地缩短了数据处理时间。

无人机影像第一遍空中三角测量处理完成之后，需要进行刺像控点即刺控制点，将实验过程中布置好的像控点根据RTK坐标刺入影像中，达到控制影像精度的目的。一般需要布置10个及以上像控点，且每个像控点至少在5-10幅影像中刺出来，本实施例布设18个像控点，且每个像控点分别在8幅不同的影像中刺出，以提高建模的精度。

刺像控点工作完成后，需要对在第一次处理后的露天采场无人机拼接影像上进行第二次空中三角测量处理，生成三维点云数据，再进行露天采场三维建模，得到露天采场三维模型。该数据处理过程若用原始影像进行处理(该图像为没有经过降分辨率处理的影像在第二次空中三角测量处理时所用的时间)，一台图形工作站大约需要8天，而利用所述方法处理过的影像数据进行处理，则需要1.5天，极大地缩短了建模时间，最后生成的露天采场三维模型如图5-7所示。但是由于影像分辨率的压缩，其在最后的建模精度上会有所损失，若使用原始影像进行建模，三维模型平面中误差为0.05m，高程中误差为0.12m，若使用压缩后的影像进行建模，三维模型平面中误差为0.07m，高程中误差为0.15m，而矿山智能验收工作要求平面精度0.1m，高程精度0.2m，由此可以看出精度虽然有所损失，但该精度还是满足矿山智能验收测量的精度要求，且极大提高了工作效率，能够应用于矿山智能验收工作，数据处理过程中的具体指标如表1所示。

表1、空三处理数据过程中的具体指标

评价指标	原始影像	压缩后影像
			第一次空三处理耗时	24h	4h
第二次空三处理耗时	8天	1.5天
			三维模型平面中误差	0.05m	0.07m
三维模型高程中误差	0.12m	0.15m

Claims (4)

1.一种用于露天采场智能验收的无人机影像数据建模方法，其特征在于，包括如下步骤：

步骤1、待测目标的无人机影像获取

采用无人机航拍获取待测目标的无人机影像；

步骤2、基于反距离加权的双线性插值算法对无人机高清影像进行分辨率压缩处理

步骤2.1：根据对压缩处理后的影像精度要求和压缩处理时间要求来确定压缩阈值：

步骤2.1.1：根据数据库中的实验数据处理结果，统计不同压缩阈值、数据量大小与建模精度及建模时间关系；

1)基于回归分析建立压缩阈值τ、数据量大小T分别与平面建模精度m_x，y及高程建模精度m_h之间的函数关系为：

式中a₁，a₂，a₃为函数回归系数；

式中b₁，b₂，b₃为函数回归系数；

2)同时建立压缩阈值τ、数据量大小T与建模所需总时间t之间的函数关系为：

式中c₁，c₂为函数回归系数；

确定回归函数的系数a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂的值；

步骤2.1.2：根据本次对压缩处理后影像精度要求和压缩处理时间要求，进而确定平面建模精度m_x，y、高程建模精度m_h、建模所需时间t，再根据所需处理的数据量大小T，带入到公式(1)、(2)、(3)中，确定出压缩阈值τ的取值范围，进而确定τ的取值，并且τ的取值为整数；

步骤2.2：假设函数G(x，y)为压缩后影像中待计算点P(x，y)上的像素值；已知待计算点P(x，y)在原始影像上对应区域的四个像素顶点分别为D₁₁＝(x_d1，y_d1)，D₁₂＝(x_d1，y_d2)，D₂₁＝(x_d2，y_d1)，D₂₂＝(x_d2，y_d2)；其中，x_d1＝τ(x-1)+1，x_d2＝τx，y_d1＝τ(y-1)+1，y_d2＝τy，则该区域在原始影像以(τ(x-1)+τ/2，τ(y-1)+τ/2)为中心，包含τ*τ个像素，且像素呈中心对称分布；

步骤2.3：基于反距离加权的双线性插值算法计算得到函数G在点P(x，y)的估计像素值；

1)首先根据压缩阈值对对应区域内像素进行分组，分组规则为对随区域中心点呈中心对称分布的四个像素点为一组，若压缩阈值为偶数，则分组个数为τ²/4，若压缩阈值为奇数，则分组结果为(τ²-1)/4；

2)分组完成后，将单组像素点的四个点分别定义为F₁₁＝(x₁，y₁)，F₁₂＝(x₁，y₂)，F₂₁＝(x₂，y₁)，F₂₂＝(x₂，y₂)，对所有分组采取以下方法插值，首先在X方向进行线性插值，在y坐标一致的情况下，假设F₁₁与F₂₁之间一点为R₁(x，y₁)，F₁₂与F₂₂之间一点为R₂(x，y₂)，则两点的像素值可由已知点F₁₁和F₂₁与F₁₂和F₂₂插值表示为：

再在Y方向进行线性插值，点P位于R₁与R₂之间，则P点的像素值可由点R₁和R₂插值表示为：

3)点P(x，y)的像素估计值可由该组像素表示为：

4)对单组像素插值完成后，再对由每组像素估计出的P(x，y)像素值基于反距离加权算法进行定权：

l为单组对应像素与P(x，y)间的距离，p为权值，s为分组的个数；

5)将所有组的估计值计算完毕后，最后对待计算点P(x，y)进行反距离加权计算其最终值：

步骤2.4：依据上述步骤2.1～2.3：分别计算出待压缩影像中的各点像素值，组成压缩后影像；

步骤3、建立露天采场三维模型

将经过分辨率压缩处理的影像进行空中三角测量处理，生成三维点云数据和三维模型。

2.根据权利要求1所述的用于露天采场智能验收的无人机影像数据建模方法，其特征在于，所述步骤1中，采用无人机航拍获取待测目标的无人机影像时，在待测目标上均匀的布置像控点。

3.根据权利要求1所述的用于露天采场智能验收的无人机影像数据建模方法，其特征在于，所述步骤2.2中，若x_d1，x_d2，y_d1和y_d2这四个像素顶点的坐标不为整数按照以下规则取整：若坐标值最大，向上取整，若坐标值最小，向下取整。

4.根据权利要求1所述的用于露天采场智能验收的无人机影像数据建模方法，其特征在于，所述步骤3中，将经过分辨率压缩处理的影像进行空中三角测量处理的方法包括：

1)将经过分辨率压缩处理的影像进行第一次空中三角测量处理，得到初步的露天采场无人机拼接影像；

2)基于拼接影像中像控点对应的实际位置对步骤1)得到的无人机拼接影像进行刺像控点处理；

3)对步骤2)处理后的拼接影像进行第二次空中三角测量处理，得到露天采场的三维点云数据和三维模型。

Images