CN113537198A - 一种无人机图像采集时自动拍照的控制方法 - Google Patents

Abstract

本发明请求保护的一种无人机图像采集时自动拍照的控制方法，用于控制无人机在多地形上空飞行时的拍照控制,其特征在于，通过获取所述无人机在所述多地形上空飞行时的采集图像，对所述获取所述无人机在所述多地形上空飞行时的采集图像进行识别检测，进一步获取安装在所述无人机上的多类型传感器数据，基于识别检测结果与传感器数据进行比对分析，控制无人机拍照角度。本发明涉及的无人机图像采集时自动拍照的控制方法避免了当前无人机拍照控制时的图像精度识别不准确问题，克服了当前拍照控制时的依靠因素单一，无法综合分析环境因素的问题，通过整合图像和环境因素，并基于当前地形环境的具体情况进行适应性变化拍照控制，提升了无人机控制的灵活可靠性。

Description

一种无人机图像采集时自动拍照的控制方法

技术领域

本发明涉及无人机技术领域，特别涉及一种无人机图像采集时自动拍照的控制方法。

背景技术

无人驾驶飞机简称“无人机”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。机上无驾驶舱，但安装有自动驾驶仪、程序控制装置、信号采集装置等设备。地面、舰艇上或母机遥控站人员通过雷达等设备，对其进行跟踪、定位、遥控、遥测和数字传输。可在无线电遥控下像普通飞机一样起飞或用助推火箭发射升空，也可由母机带到空中投放飞行。现有技术无人机中已存在图像跟踪技术，对图像进行跟踪来获取跟踪内容。

目前国内外研究的用于UAV自主拍照的导航技术包括：惯性导航系统(INS)、GPS导航系统和INS/GPS组合导航系统。其中，惯性导航是最早最成熟的导航技术，它是利用陀螺，加凹凸度机等惯性元器件感受UAV在运动过程中的加凹凸度，然后通过积分计算，得到机体大概位置与凹凸度等导航参数，它最大的缺点是误差会随时间的推移而不断累加；GPS应用最为广泛，技术也相对成熟，它利用卫星进行导航定位，具有精度高，使用简单等优点，但在山区等特殊地方易阻塞。对于小型UAV，由于负荷有限，视觉导航系统是理想选择，一方面其体积小，另一方面功耗低，同时对拍照地形有直观的感知。

然而当前对于无人机的自主拍照导航时，一方面，无人机图像识别检测精度不足，难以做出准确拍照判定，另一方面，考虑因素估计不足，仅仅通过图像相关内容就进行目标拍照操作缺乏综合考虑环境因素的适用性拍照控制。

发明内容

为解决当前无人机拍照时参照因素单一，拍照控制不精确的问题，本发明请求保护一种无人机图像采集时自动拍照的控制方法。

本发明请求保护的一种无人机图像采集时自动拍照的控制方法，用于控制无人机在多地形上空飞行时的拍照控制其特征在于，包括步骤：

S1：获取所述无人机在所述多地形上空飞行时的采集图像；

S2：对所述获取所述无人机在所述多地形上空飞行时的采集图像进行识别检测；

S3：获取安装在所述无人机上的多类型传感器数据；

S4：基于S2步骤获得的识别检测结果与S3步骤的多类型传感器数据进行比对分析，控制所述无人机拍照角度。

具体的所述S1：获取所述无人机在所述多地形上空飞行时的采集图像，具体包括：进行图像预处理，建立噪声模型，完成空间域滤波和频域滤波，采用高斯低通滤波加中值滤波；

采用Lucy-Richardision算法执行全局运动模糊和局部运动模糊消除；

利用改进的K均值聚类方法对真实框重新进行聚类，以获取更适合当前数据集的锚框；

对卷积层结构进行调整，基于L1范数的敏感度分析，并根据分析结果进行裁剪。

具体的，所述S2：对所述获取所述无人机在所述多地形上空飞行时的采集图像进行识别检测，具体包括：

利用线性特征检测方法对待识别图像进行线性特征检测，得到检测出的线性特征，所述线性特征检测方法将图像空间线性特征的检测转换为另一空间极值点的检测并且其中利用连续聚类算子来使得在所述转换中连续图像点比离散图像点的权重更大；

通过无人机进行采集巡航范围内的地形图像信息并输出至服务器，对所述地形图像信息进行处理，将处理过的当前地形图像信息与预设的正常状态地形图像信息对比，判断当前地面是否存在异常；

根据所述待识别图像中待识别目标的特性，从检测出的线性特征中识别出待识别目标。

具体的，所述S3：获取安装在所述无人机上的多类型传感器数据，具体包括：

所述多种类型的传感器数据至少包括温度传感器M1、湿度传感器M2、烟雾传感器M3、风力传感器M4；

获取所述温度传感器M1的数据，所述温度传感器M1的数据用于表征所述无人机所处地形上空环境下的空气温度；

获取所述湿度传感器M2的数据，所述湿度传感器M2的数据用于表征所述无人机所处地形上空环境下的空气湿度；

获取所述烟雾传感器M3的数据，所述烟雾传感器M3的数据用于表征所述无人机所处地形上空环境下的烟雾浓度；

获取所述风力传感器M4的数据，所述风力传感器M4的数据用于表征所述无人机所处地形上空环境下的风力强度。

具体的，所述S4：基于S2步骤获得的识别检测结果与S3步骤的多类型传感器数据进行比对分析，控制所述无人机拍照角度，具体包括：

获取所述S2步骤获得的识别检测结果，对所述检测结果的识别目标内容进行拍照延迟时长划分，所述拍照延迟时长划分为实时、拍照延迟三秒、拍照延迟十秒；

基于获取的所述检测结果的识别目标内容的拍照延迟时长，对所述多类型传感器数据进行优先级顺序获取；

基于获取的优先级传感器数据，控制所述无人机拍照角度，使用所述无人机上安装的气压高度传感器获取所述无人机距离所述拍照点的高度，控制所述无人机移动至所述拍照点的精确位置。

本发明请求保护的一种无人机图像采集时自动拍照的控制方法，用于控制无人机在多地形上空飞行时的拍照控制其特征在于，通过获取所述无人机在所述多地形上空飞行时的采集图像，对所述获取所述无人机在所述多地形上空飞行时的采集图像进行识别检测，进一步获取安装在所述无人机上的多类型传感器数据，基于识别检测结果与传感器数据进行比对分析，控制无人机拍照角度。本发明涉及的无人机图像采集时自动拍照的控制方法避免了当前无人机拍照控制时的图像精度识别不准确问题，克服了当前拍照控制时的依靠因素单一，无法综合分析环境因素的问题，通过整合图像和环境因素，并基于当前地形环境的具体情况进行适应性变化拍照控制，提升了无人机控制的灵活可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明所涉及的一种无人机图像采集时自动拍照的控制方法的工作流程图；

图2为本发明所涉及的一种无人机图像采集时自动拍照的控制方法的实施例一；

图3为本发明所涉及的一种无人机图像采集时自动拍照的控制方法的实施例二；

图4为本发明所涉及的一种无人机图像采集时自动拍照的控制方法的实施例三。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

参照附图1，本发明请求保护的一种无人机图像采集时自动拍照的控制方法，用于控制无人机在多地形上空飞行时的拍照控制其特征在于，包括步骤：

S1：获取所述无人机在所述多地形上空飞行时的采集图像；

S2：对所述获取所述无人机在所述多地形上空飞行时的采集图像进行识别检测；

S3：获取安装在所述无人机上的多类型传感器数据；

S4：基于S2步骤获得的识别检测结果与S3步骤的多类型传感器数据进行比对分析，控制所述无人机拍照角度。

具体的，参照附图2，本发明所涉及的一种无人机图像采集时自动拍照的控制方法的实施例一，所述S1：获取所述无人机在所述多地形上空飞行时的采集图像，具体包括：

S11.进行图像预处理，建立噪声模型，完成空间域滤波和频域滤波，采用高斯低通滤波加中值滤波；

S12.采用Lucy-Richardision算法执行全局运动模糊和局部运动模糊消除；

S13.利用改进的K均值聚类方法对真实框重新进行聚类，以获取更适合当前数据集的锚框；

S14.对卷积层结构进行调整，基于L1范数的敏感度分析，并根据分析结果进行裁剪。

高斯低通滤波在傅里叶频域内执行，执行步骤为：首先进行傅里叶变换，之后将得到的高斯低通滤波器与频域图像相乘，最后经过傅里叶逆变换，得到目标图像。

高斯低通滤波的函数定义为：

公式中H(u，v)为经频域变换后第u行第v列的数值，D₀为人为设定的截止频率的值。D₀越小函数往往越陡峭，去噪效果越好，但丢失的细节信息也越多。D(u，v)为该位置距离中心点的距离。

Lucy-Richardision算法为时域的图像复原方法

其中

和

分别是第k+1次和k次迭代后对未退化图像的估计，g(x,y)是退化后的图像，h(x,y)为点扩散函数。

采用最简单直接的剪枝方式对模型进行压缩。在对各个参数评估过程中，以每一个卷积核为删减的基本单位。每个卷积神经网络都由多个卷积块组成，而每个卷积块又分为3层：卷积层+BN层+激活层。样本数据在卷积层执行卷积操作后，仅仅需要简单的BN操作，便进入激活函数中。激活函数实时为具有单调性的正比例函数，也就是输入值越大，输出值也越大。而输出值越大，对后面的网络的影响也往往越大。也可以说进入激活函数的自变量数值X越大，对后面网络的影响越大。输入变量X由卷积核和输入样本卷积求和后得到，对于相同的输入样本，卷积核数值越大，输入自变量X越大。所以在对一个卷积核的重要角度进行评估时，采用了L1范数的方法。计算公式如下所示：

其中N为每个卷积核的边长，w_i，j为卷积核i，j位置的数值，Result为该卷积核的重要角度。

在实际进行剪枝操作时基本思路为：以每一个卷积层为基本单元，依次对每一个卷积层裁剪一定比例卷积核，计算剪枝之后模型MAP的变化情况。MAP下降越多代表该卷积核对网络的重要角度越高，该卷积层对网络变化的敏感度越高。当一个卷积层确定裁减比例后，需要对该层的卷积核按L1范数进行排序，L1范数越小的卷积核优先被裁剪。为了恢复模型的精度，在剪枝后需要对模型进行再训练以恢复网络的精度。此处采用的是先一次性剪枝所有层，最后统一再训练的方式。这种方式可以极大地降低再训练时的工作量。

具体的，参照图3为本发明所涉及的一种无人机图像采集时自动拍照的控制方法的实施例二，所述S2：对所述获取所述无人机在所述多地形上空飞行时的采集图像进行识别检测，具体包括：

S21.利用线性特征检测方法对待识别图像进行线性特征检测，得到检测出的线性特征，所述线性特征检测方法将图像空间线性特征的检测转换为另一空间极值点的检测并且其中利用连续聚类算子来使得在所述转换中连续图像点比离散图像点的权重更大；

S22.通过无人机进行采集巡航范围内的地形图像信息并输出至服务器，对所述地形图像信息进行处理，将处理过的当前地形图像信息与预设的正常状态地形图像信息对比，判断当前地面是否存在异常；

S23.根据所述待识别图像中待识别目标的特性，从检测出的线性特征中识别出待识别目标。

所述线性特征检测方法为Radon变换对边缘检测图像进行线性特征检测；

将不同分类下的地形异常事件作为对象空间，将地面凹凸度作为对象的属性空间，所述不同分类下的地形异常事件包括地面拥堵、地貌丰度和灾害地形异常事件,通过互不相交的地面凹凸度属性集依次将属性空间进行有序分割。

建立属性识别模型，通过所述模型获取不同分类下的地形异常事件的严重程度

依据道路条件以及图片质量确定无人机的航拍高度h，无人机的飞行高度大约为20m时，可清晰地看到路面状况,当飞行高度超过120m时，需要有摄影测绘资质并申请空域，按照道路线形使无人机以一定的巡航凹凸度v_巡航行驶，并保持无人机与道路平行的状态飞行，便于图片的识别，得出在该区域内巡航一次的时间为t_w，运用无人机进行拍照，无人机拍摄图片设置为k张/s，将无人机拍摄的图片传输至云服务器，在云服务器中进行图像处理、识别，图像处理器通过图像增强或复原，改进图片的质量，包括去除噪点，修正数码照片的广角畸变，提高图片对比度，消除红眼等等，使图像的清晰度更高，消除无人机在快速飞行状态下拍摄而导致图片清晰度较低的情况，将正常状态下的图片与无人机拍摄的图片作对比，对比出图片的不同之处，无人机拍照属于动态摄影，通过多元动态地形流追踪，假设在进行图片对比分析时，若发现运动轨迹呈现非线性改变，可疑似该地面异常。

具体的，所述S3：获取安装在所述无人机上的多类型传感器数据，具体包括：

所述多种类型的传感器数据至少包括温度传感器M1、湿度传感器M2、烟雾传感器M3、风力传感器M4；

获取所述温度传感器M1的数据，所述温度传感器M1的数据用于表征所述无人机所处地形上空环境下的空气温度；

获取所述湿度传感器M2的数据，所述湿度传感器M2的数据用于表征所述无人机所处地形上空环境下的空气湿度；

获取所述烟雾传感器M3的数据，所述烟雾传感器M3的数据用于表征所述无人机所处地形上空环境下的烟雾浓度；

获取所述风力传感器M4的数据，所述风力传感器M4的数据用于表征所述无人机所处地形上空环境下的风力强度。

其中获取所述温度传感器M1的数据，所述温度传感器M1的数据用于表征所述无人机所处地形上空环境下的空气温度；主要对无人机意图移动拍照的下方陆地的地表温度和空气温度，所述地表温度和空气温度基于季节分别设置正常值区间“-20-40摄氏度”和“-10-35摄氏度”。

获取所述湿度传感器M2的数据，所述湿度传感器M2的数据用于表征所述无人机所处地形上空环境下的空气湿度；主要对无人机意图移动拍照的下方空气湿度进行检测，所处地形上空环境下的空气湿度基于季节设置正常值区间15％-60％。

获取所述烟雾传感器M3的数据，所述烟雾传感器M3的数据用于表征所述无人机所处地形上空环境下的烟雾浓度；主要对无人机意图移动拍照的下方空气烟雾的可吸入颗粒浓度进行检测，无人机意图移动拍照的下方空气烟雾的可吸入颗粒浓度0-0.15mg/m³。

获取所述风力传感器M4的数据，所述风力传感器M4的数据用于表征所述无人机所处地形上空环境下的风力强度；主要对无人机意图移动拍照的下方空气风速进行检测，所述无人机意图移动拍照的下方空气风速基于季节设置正常值区间0-15m/s。

具体的，所述S4：基于S2步骤获得的识别检测结果与S3步骤的多类型传感器数据进行比对分析，控制所述无人机拍照角度，具体包括：

S41.获取所述S2步骤获得的识别检测结果，对所述检测结果的识别目标内容进行拍照延迟时长划分，所述拍照延迟时长划分为实时、拍照延迟三秒、拍照延迟十秒；

S42.基于获取的所述检测结果的识别目标内容的拍照延迟时长，对所述多类型传感器数据进行优先级顺序获取；

S43.基于获取的优先级传感器数据，控制所述无人机拍照角度，使用所述无人机上安装的气压高度传感器获取所述无人机距离所述拍照点的高度，控制所述无人机移动至所述拍照点的精确位置。

当所述识别检测结果的拍照延迟时长分别为实时、拍照延迟三秒、拍照延迟十秒时，所述传感器的合理区间分别为正常值区间的100％，80％，60％。

当所述识别检测结果为地面拥堵时，所述传感器检测顺序为温度传感器、烟雾传感器、风力传感器、湿度传感器。由于地面因为车辆等因素拥堵，温度会急剧上升，而随之而来的空气质量监测也至关重要，因此，优先检测温度和烟雾。

当所述识别检测结果为地貌丰度不足时，所述传感器检测顺序为湿度传感器、烟雾传感器、温度传感器、风力传感器。由于地面植物物种丰度不足，优先考虑湿度和空气因素等优先事关生物生存的条件，其次对温度和风力进行检测。

当所述识别检测结果为地貌丰度充裕时，所述传感器检测顺序为温度传感器、风力传感器、湿度传感器、烟雾传感器。而当地面植物物种丰度过度时，优先考虑温度和湿度因素对物种的适宜角度。温度适宜时物种会大量繁殖的效果显著，而湿度水资源不合适时物种的生存力下降效果显著。

当所述识别检测结果为灾害地形异常事件，所述传感器检测顺序为风力传感器、烟雾传感器、温度传感器、湿度传感器。对于地质灾害等情况是，外部风力因素较关键，优先检测风力传感器数据。

对上述的优先级进行依次检测时，若前置传感器的检测数据处于对应检测结果的拍照延迟时长的相应合理区间内，依次检测后置传感器的数据；而若前置传感器的检测数据不处于对应检测结果的拍照延迟时长的相应合理区间内，立即停止检测，作出调整拍照角度的控制。

设置双目摄像机与无人飞行器的机体平行，摄像机坐标系与无人飞行器的坐标系重合，接收移动终端通过服务器发送的飞往拍照推荐角度的指令；获取服务器发送的通过5G网络读取的所述芯片的GPS坐标作为所述拍照推荐角度的GPS坐标；根据服务器发送的来自拍照推荐角度的通过红外检测功能确定拍照推荐角度没有障碍物适合移动的信息，确定所述拍照推荐角度适合移动；根据所述GPS坐标飞往所述拍照推荐角度，利用视觉传感器对所述拍照推荐角度的组合颜色进行识别，移动至所述拍照推荐角度上

在所述拍照点放置一个声源，在所述无人机上放置由四个麦克风排列成的正四面体麦克风阵列，在每个所述麦克风的信号输出端分别设置一个信号放大电路和滤波电路

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的实时原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种无人机图像采集时自动拍照的控制方法，用于控制无人机在多地形上空飞行时的拍照控制其特征在于，包括步骤：

S1：获取所述无人机在所述多地形上空飞行时的采集图像；

S2：对所述获取所述无人机在所述多地形上空飞行时的采集图像进行识别检测；

S3：获取安装在所述无人机上的多类型传感器数据；

S4：基于S2步骤获得的识别检测结果与S3步骤的多类型传感器数据进行比对分析，控制所述无人机拍照角度。

2.如权利要求1所述的一种无人机图像采集时自动拍照的控制方法，其特征在于，

所述S1：获取所述无人机在所述多地形上空飞行时的采集图像，具体包括：

S11.进行图像预处理，建立噪声模型，完成空间域滤波和频域滤波，采用高斯低通滤波加中值滤波；

S12.采用Lucy-Richardision算法执行全局运动模糊和局部运动模糊消除；

S13.利用改进的K均值聚类方法对真实框重新进行聚类，以获取更适合当前数据集的锚框；

S14.对卷积层结构进行调整，基于L1范数的敏感度分析，并根据分析结果进行裁剪。

3.如权利要求1所述的一种无人机图像采集时自动拍照的控制方法，其特征在于，

所述S2：对所述获取所述无人机在所述多地形上空飞行时的采集图像进行识别检测，具体包括：

S21.利用线性特征检测方法对待识别图像进行线性特征检测，得到检测出的线性特征，所述线性特征检测方法将图像空间线性特征的检测转换为另一空间极值点的检测并且其中利用连续聚类算子来使得在所述转换中连续图像点比离散图像点的权重更大；

S22.通过无人机进行采集巡航范围内的地形图像信息并输出至服务器，对所述地形图像信息进行处理，将处理过的当前地形图像信息与预设的正常状态地形图像信息对比，判断当前地面是否存在异常；

S23.根据所述待识别图像中待识别目标的特性，从检测出的线性特征中识别出待识别目标。

4.如权利要求1所述的一种无人机图像采集时自动拍照的控制方法，其特征在于，

所述S3：获取安装在所述无人机上的多类型传感器数据，具体包括：

所述多种类型的传感器数据至少包括温度传感器M1、湿度传感器M2、烟雾传感器M3、风力传感器M4；

获取所述温度传感器M1的数据，所述温度传感器M1的数据用于表征所述无人机所处地形上空环境下的空气温度；

获取所述湿度传感器M2的数据，所述湿度传感器M2的数据用于表征所述无人机所处地形上空环境下的空气湿度；

获取所述烟雾传感器M3的数据，所述烟雾传感器M3的数据用于表征所述无人机所处地形上空环境下的烟雾浓度；

获取所述风力传感器M4的数据，所述风力传感器M4的数据用于表征所述无人机所处地形上空环境下的风力强度。

5.如权利要求1所述的一种无人机图像采集时自动拍照的控制方法，其特征在于，

所述S4：基于S2步骤获得的识别检测结果与S3步骤的多类型传感器数据进行比对分析，控制所述无人机拍照角度，具体包括：

S41.获取所述S2步骤获得的识别检测结果，对所述检测结果的识别目标内容进行拍照延迟时长划分，所述拍照延迟时长划分为实时、拍照延迟三秒、拍照延迟十秒；

S42.基于获取的所述检测结果的识别目标内容的拍照延迟时长，对所述多类型传感器数据进行优先级顺序获取；

S43.基于获取的优先级传感器数据，控制所述无人机拍照角度，使用所述无人机上安装的气压高度传感器获取所述无人机距离所述拍照点的高度，控制所述无人机移动至所述拍照点的精确位置。

Images