CN117288168A - 一种低功耗的无人机城市建筑航拍系统 - Google Patents

Abstract

本发明涉及无人机摄影测量技术领域，具体涉及一种低功耗的无人机城市建筑航拍系统，该系统包括：航拍数据采集模块，用于获取无人机拍摄的综合区域高度图像和建筑图像集；航拍数据处理模块，用于通过对建筑高度和建筑密度进行计算得到不同高度区域的关注度，结合当前整体区域内不同建筑对应图像的清晰度；航拍数据分析模块，用于对关注度大和清晰度小的建筑进行筛选；航拍轨迹获取模块，用于获取根据所有待拍摄区域构造三角网，并重新确定无人机进行航拍的轨迹。本发明避免了有些平坦区域拍摄数据冗余，而重点关注区域数据量不足的问题，进而在实现了低功耗的同时提高了无人机的航拍效率。

Description

一种低功耗的无人机城市建筑航拍系统

技术领域

本发明涉及无人机摄影测量技术领域，具体涉及一种低功耗的无人机城市建筑航拍系统。

背景技术

无人机在航拍时，往往拍摄照片很多，最终并不是所有图片都能用到，存在较大的数据冗余，而将所有信息传输回去就需要耗费较大能力，导致无人机续航能力降低。无人机排查违章建筑时，需要对监察区域进行全方位360度无死角拍摄。违章建筑小，违建地区地形复杂，利用无人机从建筑正上方、侧面多角度进行拍摄，还需要对狭窄复杂的巷道、楼建进行拍摄取证，为了保证数据全面性，往往拍摄图片重叠程度、拍摄次数较多。存在较大数据冗余。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种低功耗的无人机城市建筑航拍系统，所采用的技术方案具体如下：

航拍数据采集模块，用于获取无人机拍摄的当前整体区域的俯视图和无人机按照固定轨迹进行航拍时不同建筑对应的图像集并进行预处理，得到综合区域图像和不同建筑对应的建筑图像集；利用深度相机进行俯视拍摄，获取当前整体区域的综合区域高度图像；

航拍数据处理模块，用于基于综合区域图像上每个像素点的灰度共生矩阵中各灰度组合内元素的差值，获取综合区域图像上每个像素点的纹理复杂度；对综合区域高度图像进行阈值分割得到不同的高度区域；根据各高度区域内像素点的像素值和对应的纹理复杂度得到各高度区域的关注度；获取不同建筑对应的建筑图像集中各图像上亮度最大值与最小值计算各图像的清晰度；

航拍数据分析模块，用于获取图像的清晰度小于清晰度阈值对应的建筑在综合区域高度图像上所属的高度区域、以及关注度大于关注度阈值的高度区域，记为待拍摄区域；根据各待拍摄区域的中心像素点坐标对各待拍摄区域进行分类，得到多个类别；

航拍轨迹获取模块，用于在各类别内根据所有待拍摄区域构造三角网，所述三角网内部三角形区域的角点上分别为各待拍摄区域；在三角网内分别获取各三角形区域的中心点，根据三角形区域角点上各待拍摄区域的关注度均值计算各三角形区域的轨迹范围长度；获取以所述中心点为圆心、轨迹范围长度为半径的圆，根据所述圆周上的点到三角形区域角点上各待拍摄区域的轨迹，确定无人机进行重新拍摄的轨迹。

优选地，所述综合区域图像和不同建筑对应的建筑图像集的获取方法具体为：

利用语义分割网络对所述俯视图进行处理得到只包括建筑前景的图像，并进行灰度化处理后，记为综合区域图像；利用语义分割网络对所述图像集内所有图像进行处理，将处理后的图像转换为HIS图像，得到不同建筑对应的建筑图像集。

优选地，所述像素点的纹理复杂度的获取方法具体为：

利用设定尺寸的窗口对综合区域图像进行滑窗处理，分别计算各窗口图像的灰度共生矩阵；获取所述灰度共生矩阵中各灰度组合内元素的差值，根据所有灰度组合内元素的差值的和与灰度组合的种类数量的比值，计算窗口图像内中心像素点的纹理复杂度，进而获取综合区域图像上所有像素点的纹理复杂度。

优选地，所述高度区域的关注度的获取方法具体为：根据各高度区域内像素点的像素值和对应的纹理复杂度的乘积得到各高度区域的关注度。

优选地，所述高度区域的关注度的获取方法还包括：

对综合区域图像上像素点的纹理复杂度进行对阈值分割得到不同的纹理复杂度等级，将综合区域图像上的像素点属于同一等级的连通域记为复杂度区域；对综合区域高度图像上像素点的像素值进行多阈值分割得到不同的高度等级，在综合区域高度图像上，将同一个高度等级形成的连通域记为一个高度区域；根据各高度区域内的高度等级与该高度区域内的复杂度等级的乘积得到各高度区域的关注度。

优选地，所述图像的清晰度的获取方法具体为：

获取不同建筑对应的建筑图像集中各亮度通道图像上亮度最大值与最小值的差值、以及亮度最大值与最小值之和，根据所述差值与所述之和的比值计算各图像的清晰度。

优选地，所述获取图像的清晰度小于清晰度阈值对应的建筑在综合区域高度图像上所属的高度区域具体为：根据无人机上搭载的定位系统，获取无人机进行建筑拍摄时的位置信息，根据建筑图像集中图像小于清晰度阈值的对应建筑的位置信息进行定位，获取建筑在综合区域高度图像上对应的高度区域。

优选地，所述无人机进行重新拍摄的轨迹具体为：将以三角形区域的中心点为圆心、轨迹范围长度为半径的圆，记为中心轨迹圆，并获取三角形区域角点上三个待拍摄区域的外接圆；以中心轨迹圆上的点为起点，沿着中心轨迹圆与待拍摄区域的外接圆的外公切线，确定无人机重新进行拍摄的轨迹。

优选地，所述语义分割网络为DNN网络。

优选地，所述窗口的尺寸设定为3×3。

本发明实施例至少具有如下有益效果：

本发明在无人机对当前整体区域进行违章建筑排查时，通过对建筑高度和建筑密度进行计算，得到不同高度区域的关注度，结合当前整体区域内不同建筑对应图像的清晰度，对关注度大和清晰度小的建筑进行筛选，并重新确定航拍轨迹，避免了有些平坦区域拍摄数据冗余，而重点关注区域数据量不足的问题，进而在实现了低功耗的同时提高了无人机的航拍效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明的一种低功耗的无人机城市建筑航拍系统的系统框图；

图2是本发明的无人机进行重新拍摄的轨迹图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种低功耗的无人机城市建筑航拍系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种低功耗的无人机城市建筑航拍系统的具体方案。

本发明所针对的具体场景为：无人机在对当前整体区域进行违章建筑排查时，按照固定的轨迹进行航行拍摄。

请参阅图1，其示出了本发明一个实施例提供的一种低功耗的无人机城市建筑航拍系统的系统框图，该系统包括：

航拍数据采集模块，用于获取无人机拍摄的当前整体区域的俯视图和无人机按照固定轨迹进行航拍时不同建筑对应的图像集并进行预处理，得到综合区域图像和不同建筑对应的建筑图像集；利用深度相机进行俯视拍摄，获取当前整体区域的综合区域高度图像。

具体地，无人机在航拍前有预先设定好的固定轨迹，首先在起始点飞到较高的空中获得一张当前整体区域的俯视图，然后降低高度，根据预先设定好的固定轨迹进行航行拍摄，得到不同建筑对应的图像集，利用语义分割网络对所述俯视图进行处理得到只包括建筑前景的图像，并进行灰度化处理后，记为综合区域图像。利用语义分割网络对所述图像集内所有图像进行处理，将处理后的图像转换为HIS图像，得到不同建筑对应的建筑图像集。建筑对应的建筑图像集包括无人机按照固定轨迹进行航拍得到的该建筑对应的不同角度的图像。

其中，在本实施例中，所述语义分割网络为DNN网络，该DNN网络包括：使用的数据集为俯视采集的建筑图像数据集，建筑的样式为多种多样的。需要分割的像素共分为两类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于建筑的标注为1。网络的任务是分类，网络的损失函数为交叉熵损失函数。

同时，通过语义分割网络得到的0-1掩膜图像与原图像相乘，得到的图像中只含有建筑前景的图像，去除了背景的干扰。

需要说明的是，本实施例中的语义分割网络的识别目的简单，只是用来区分前景、背景的，网络参数少，所述前景是指建筑。语义分割网络位于无人机嵌入系统中，是预先训练好的，可以直接用来对图像进行语义分割，获得建筑前景图像，计算量小，运行速度快，不会带来计算压力。

利用深度相机获取当前整体区域的综合区域高度图像，且综合区域高度图像与当前整体区域的俯视图是无人机在同一位置进行俯视拍摄得到的。同时，所述综合区域高度图像上像素点的像素值能够反应不同建筑的高度信息。

航拍数据处理模块，用于基于综合区域图像上每个像素点的灰度共生矩阵中各灰度对内元素的差值，获取综合区域图像上每个像素点的纹理复杂度；对综合区域高度图像进行阈值分割得到不同的高度区域；根据各高度区域内像素点的像素值和对应的纹理复杂度得到各高度区域的关注度；获取不同建筑对应的建筑图像集中各图像上亮度最大值与最小值计算各图像的清晰度。

首先，利用设定尺寸的窗口对综合区域图像进行滑窗处理，分别计算各窗口图像的灰度共生矩阵。其中，在本实施例中所述设定尺寸的取值为3*3，且计算灰度共生矩阵时，步长设置为1，根据水平、竖直和两个对角线方向进行计算对应方向的灰度共生矩阵，得到每个方向对应的灰度共生矩阵后，对不同方向的数据进行加和计算得到该3*3区域的灰度共生矩阵。再对灰度共生矩阵中的元素进行归一化处理得到窗口内每个灰度组合出现的频率。

获取所述灰度共生矩阵中各灰度组合内元素的差值，根据所有灰度组合内元素的差值的和与灰度组合的种类数量的比值，计算窗口图像内中心像素点的纹理复杂度，进而获取综合区域图像上所有像素点的纹理复杂度。

所述像素点的纹理复杂度用公式表示为：

其中，表示像素点o的纹理复杂度，/>表示第i种灰度组合的数量，表示第i种灰度组合内元素的差值，所述差值为该灰度组合内较大的灰度值与较小的灰度值的差值；L表示以像素点o为中心像素点的窗口内计算的灰度共生矩阵中灰度组合的种类数量。

然后，对综合区域高度图像上像素点的像素值进行多阈值分割得到不同的高度等级，在综合区域高度图像上，将同一个高度等级形成的连通域记为一个高度区域，一个高度区域可以看作一栋建筑。根据各高度区域内像素点的像素值和对应的纹理复杂度的乘积得到各高度区域的关注度。

所述高度区域的关注度的获取方法还有一种实施方式具体为：

对综合区域图像上像素点的纹理复杂度进行阈值分割得到不同的纹理复杂度等级，其中根据费歇尔准则，利用类间方差最大，类内方差最小的原则进行多阈值分割。将综合区域图像上的像素点属于同一等级的连通域记为复杂度区域，同一纹理复杂度等级中的纹理复杂度的取值相近或相等，不同等级中的取值相差较大。其中，需要说明的是，若在综合区域图像上，有多个纹理复杂度等级为p的连通域，则把这些连通域区域记为不同的复杂度区域。

对综合区域高度图像上像素点的像素值进行多阈值分割得到不同的高度等级，在综合区域高度图像上，将同一个高度等级形成的连通域记为一个高度区域；根据各高度区域内的高度等级与该高度区域内的复杂度等级的乘积得到各高度区域的关注度；其中，一个复杂度区域内包括多个高度区域。

需要说明的是，在一个复杂度区域内可能会包含多个建筑，该复杂度区域内纹理复杂度等级越高，说明该复杂度区域内的建筑密度越高，存在遮挡的概率大，进而可能会导致无人机拍摄照片存在困难。同时，高度区域对应的高度等级越大，说明该高度区域存在遮挡的概率越大。故当高度区域的关注度越大，说明该高度区域的纹理复杂度较大，高度越高，该高度区域存在遮挡的概率越大，则需要对关注度大的区域进行重新拍摄。

最后，获取不同建筑对应的建筑图像集中各亮度通道图像上亮度最大值与最小值的差值、以及亮度最大值与最小值之和，根据所述差值与所述之和的比值计算各图像的清晰度。

航拍数据分析模块，用于获取图像的清晰度小于清晰度阈值对应的建筑在综合区域高度图像上所属的高度区域、以及关注度大于关注度阈值的高度区域，记为待拍摄区域；根据各待拍摄区域的中心像素点坐标对各待拍摄区域进行分类，得到多个类别。

无人机航拍时，由于高空中的风速、风向等原因，会导致图像中某些区域不清晰，变模糊，对于这些区域也需要重点关注。高度区域的关注度越大，存在遮挡的概率越大，则对这些高度区域也需要重点关注。获取图像的清晰度小于清晰度阈值对应的建筑在综合区域高度图像上所属的高度区域、以及关注度大于关注度阈值的高度区域，记为待拍摄区域，所有待拍摄区域均为重点关注区域，需要设置新的无人机拍摄轨迹进行重新拍摄。可以大大节省能耗的同时提高效率。其中，清晰度阈值和关注度阈值实施者可根据实际情况进行设定。

根据无人机上搭载的定位系统，获取无人机进行建筑拍摄时的位置信息，根据建筑图像集中图像小于清晰度阈值的对应建筑的位置信息进行定位，获取建筑在综合区域高度图像上对应的高度区域。在本实施例中，可以将综合区域高度图像转换为电子地图，获取每个高度区域所属的经纬度范围，根据图像清晰度小于清晰度阈值的对应建筑的位置信息进行定位，则可获取其对应的高度区域。

进而获取各个待拍摄区域的中心点坐标，并根据所述中心点坐标对各个待拍摄区域进行分类，该步骤的目的是将位置相隔距离较近的分为一类，对重点关注且相隔较近的建筑进行综合分析，进而进行轨迹的获取，能够利用无人机重新拍摄到不被遮挡且较为清晰的图像。

航拍轨迹获取模块，用于在各类别内根据所有待拍摄区域构造三角网，所述三角网内部三角形区域的角点上分别为各待拍摄区域；在三角网内分别获取各三角形区域的中心点，根据三角形区域角点上各待拍摄区域的关注度均值计算各三角形区域的轨迹范围长度；获取以所述中心点为圆心、轨迹范围长度为半径的圆，根据所述圆周上的点到三角形区域角点上各待拍摄区域的轨迹，确定无人机进行重新拍摄的轨迹。

首先，在各类别内根据所有待拍摄区域构造三角网，三角网的构建方法为现有技术，在此不在过多赘述，且所述三角网中各三角形区域的角点位置为各待拍摄区域。根据三角形区域角点上各待拍摄区域的关注度均值计算各三角形区域的轨迹范围长度，用公式表示为：

其中，m表示三角形区域的轨迹范围长度，r表示调整系数，在本实施例中的取值为0.1，d表示该三角形区域角点上三个待拍摄区域两两之间的间距的均值，s表示该三角形区域角点上待拍摄区域的关注度，关注度越大，则待拍摄区域的建筑楼层高度越高，或者越密集，则在该三角形区域内需要的范围越大，避免某些位置区域的拍摄角度不佳，同时可以防止无人机与建筑的距离过近。

然后，在三角网内分别获取各三角形区域的中心点，再计算各三角形区域对应的轨迹范围长度，获取以所述中心点为圆心、轨迹范围长度为半径的圆，记为中心轨迹圆；并获取三角形区域角点上三个待拍摄区域的外接圆，以中心轨迹圆上的点为起点，沿着中心轨迹圆与待拍摄区域的外接圆的外公切线，确定无人机重新进行拍摄的轨迹。

最后，需要说明的是，如图2所示，a、b、c分别为待拍摄区域的外接圆，o为中心轨迹圆，虚线为重新确定的拍摄轨迹，无人机以该轨迹进行拍摄时的行驶路径的长度较短，且能够保证360度无死角进行拍摄。如图2中左图所示，中心轨迹圆的半径较小，图2中右图所示，中心轨迹圆的半径较大，半径的取值不同，轨迹范围不同，进而获取图像的有效范围也不同，故需要根据各三角形区域角点上三个待拍摄区域的关注度以及区域之间的距离，确定中心轨迹圆的半径范围。即待拍摄区域内建筑的密度越大或者越高时，遮挡问题越严重，需要设置越大的中心轨迹圆的半径。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种低功耗的无人机城市建筑航拍系统，其特征在于，该系统包括：

航拍数据采集模块，用于获取无人机拍摄的当前整体区域的俯视图和无人机按照固定轨迹进行航拍时不同建筑对应的图像集，并进行预处理，得到综合区域图像和不同建筑对应的建筑图像集；利用深度相机进行俯视拍摄，获取当前整体区域的综合区域高度图像；

航拍数据处理模块，用于基于综合区域图像上每个像素点的灰度共生矩阵中各灰度组合内元素的差值，获取综合区域图像上每个像素点的纹理复杂度；对综合区域高度图像进行阈值分割得到不同的高度区域；根据各高度区域内像素点的像素值和对应的纹理复杂度得到各高度区域的关注度；获取不同建筑对应的建筑图像集中各图像上亮度最大值与最小值计算各图像的清晰度；

航拍数据分析模块，用于获取图像的清晰度小于清晰度阈值对应的建筑在综合区域高度图像上所属的高度区域、以及关注度大于关注度阈值的高度区域，记为待拍摄区域；根据各待拍摄区域的中心像素点坐标对各待拍摄区域进行分类，得到多个类别；

航拍轨迹获取模块，用于在各类别内根据所有待拍摄区域构造三角网，所述三角网内部三角形区域的角点上分别为各待拍摄区域；在三角网内分别获取各三角形区域的中心点，根据三角形区域角点上各待拍摄区域的关注度均值计算各三角形区域的轨迹范围长度；获取以所述中心点为圆心、轨迹范围长度为半径的圆，根据所述圆周上的点到三角形区域角点上各待拍摄区域的轨迹，确定无人机进行重新拍摄的轨迹。

2.根据权利要求1所述的一种低功耗的无人机城市建筑航拍系统，其特征在于，所述综合区域图像和不同建筑对应的建筑图像集的获取方法具体为：

利用语义分割网络对所述俯视图进行处理得到只包括建筑前景的图像，并进行灰度化处理后，记为综合区域图像；利用语义分割网络对所述图像集内所有图像进行处理，将处理后的图像转换为HIS图像，得到不同建筑对应的建筑图像集。

3.根据权利要求1所述的一种低功耗的无人机城市建筑航拍系统，其特征在于，所述像素点的纹理复杂度的获取方法具体为：

利用设定尺寸的窗口对综合区域图像进行滑窗处理，分别计算各窗口图像的灰度共生矩阵；获取所述灰度共生矩阵中各灰度组合内元素的差值，根据所有灰度组合内元素的差值的和与灰度组合的种类数量的比值，计算窗口图像内中心像素点的纹理复杂度，进而获取综合区域图像上所有像素点的纹理复杂度。

4.根据权利要求1所述的一种低功耗的无人机城市建筑航拍系统，其特征在于，所述高度区域的关注度的获取方法具体为：根据各高度区域内像素点的像素值和对应的纹理复杂度的乘积得到各高度区域的关注度。

5.根据权利要求1所述的一种低功耗的无人机城市建筑航拍系统，其特征在于，所述高度区域的关注度的获取方法还包括：

对综合区域图像上像素点的纹理复杂度进行对阈值分割得到不同的纹理复杂度等级，将综合区域图像上的像素点属于同一等级的连通域记为复杂度区域；对综合区域高度图像上像素点的像素值进行多阈值分割得到不同的高度等级，在综合区域高度图像上，将同一个高度等级形成的连通域记为一个高度区域；根据各高度区域内的高度等级与该高度区域内的复杂度等级的乘积得到各高度区域的关注度。

6.根据权利要求1所述的一种低功耗的无人机城市建筑航拍系统，其特征在于，所述图像的清晰度的获取方法具体为：

获取不同建筑对应的建筑图像集中各亮度通道图像上亮度最大值与最小值的差值、以及亮度最大值与最小值之和，根据所述差值与所述之和的比值计算各图像的清晰度。

7.根据权利要求1所述的一种低功耗的无人机城市建筑航拍系统，其特征在于，所述获取图像的清晰度小于清晰度阈值对应的建筑在综合区域高度图像上所属的高度区域具体为：

根据无人机上搭载的定位系统，获取无人机进行建筑拍摄时的位置信息，根据建筑图像集中图像小于清晰度阈值的对应建筑的位置信息进行定位，获取建筑在综合区域高度图像上对应的高度区域。

8.根据权利要求1所述的一种低功耗的无人机城市建筑航拍系统，其特征在于，所述无人机进行重新拍摄的轨迹具体为：

将以三角形区域的中心点为圆心、轨迹范围长度为半径的圆，记为中心轨迹圆，并获取三角形区域角点上三个待拍摄区域的外接圆；以中心轨迹圆上的点为起点，沿着中心轨迹圆与待拍摄区域的外接圆的外公切线，确定无人机重新进行拍摄的轨迹。

9.根据权利要求2所述的一种低功耗的无人机城市建筑航拍系统，其特征在于，所述语义分割网络为DNN网络。

10.根据权利要求3所述的一种低功耗的无人机城市建筑航拍系统，其特征在于，所述窗口的尺寸设定为3×3。