CN113048951B - 一种基于人工智能的测绘无人机抖动检测方法及系统 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的测绘无人机抖动检测方法及系统。该方法包括利用无人机采集城市建筑的航拍图像，以连续多帧航拍图像的帧差图像的交集作为感兴趣区域，分别获取第一感兴趣区域图像和第二感兴趣区域图像；将第一感兴趣区域图像和第二感兴趣区域图像划分为对应的子块组，计算有效子块在感兴趣区域内的偏移距离；将连续多帧航拍图像分组，对每一组中的任一图像根据偏移距离进行修复补偿，得到多张修复图像；将修复图像进行图像拼接，根据拼接后的图像与修复图像中任一单帧图像之间的大小关系获得无人机的抖动程度。本发明实施例能够精确获取无人机的抖动程度，并对无人机IMU进行补偿，提高航拍图像质量。

Description

一种基于人工智能的测绘无人机抖动检测方法及系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的测绘无人机抖动检测方法及系统。

背景技术

惯性传感器(Inertial Measurement Unit，IMU)包括陀螺仪和加速度计，是捷联惯性导航系统最核心的原件。捷联系统根据惯性传感器输出的陀螺仪敏感运动载体的角速率和加速度计敏感运动载体的线加速度信息，根据捷联算法计算出运动载体的姿态角、速度和位置等导航参数，因此IMU的数据采集与预处理显得极为重要。

发明人在实践中，发现上述现有技术存在以下缺陷：

在一些特殊的环境中，在使用无人机过程中，由于磁场、大的震动或者放置不水平、环境等等诸多因素的影响，会导致IMU检测出现误差，机载传感器性能下降甚至失效，例如声波干扰会破坏IMU的性能等，如果使用精度低或者故障的传感器参与导航解算，不能获得准确的抖动程度。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的测绘无人机抖动检测方法及系统，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于人工智能的测绘无人机抖动检测方法，该方法包括以下步骤：

利用无人机采集城市建筑的航拍图像，以连续多帧所述航拍图像的帧差图像的交集作为感兴趣区域，分别获取标准图像的第一感兴趣区域图像和所述航拍图像中的任一图像的第二感兴趣区域图像；所述标准图像是选取的不存在果冻效应的图像；

将所述第一感兴趣区域图像和所述第二感兴趣区域图像进行划分，获取对应的子块组，根据子块组的姿态特征相似度、灰度特征相似度以及颜色信息相似度的综合相似度选取有效子块，计算所述有效子块在所述感兴趣区域内的偏移距离；所述姿态特征相似度根据每个子块组内的关键点的灰度均值和所述关键点的位置信息获得；所述灰度特征相似度根据所述灰度均值的相似度获得；

将所述连续多帧所述航拍图像分组，对每一组中的任一图像根据所述偏移距离进行修复补偿，得到多张修复图像；

将所述修复图像进行图像拼接，根据拼接后的图像与所述修复图像中任一单帧图像之间的大小关系获得所述无人机的抖动程度。

优选的，所述感兴趣区域的提取步骤包括：

分别对所述多帧航拍图像中的相邻帧进行帧间差操作，获得多帧目标图像；

设置像素阈值提取每帧所述目标图像中的灰度区域；

对所有所述灰度区域进行与操作，提取最终的感兴趣区域。

优选的，所述颜色信息相似度的获取方法为：

对于与所述标准图像中的子块的所述灰度均值相同的多个相似子块，将所述相似子块进行灰度等级分级，以统计出的落在任一所述灰度等级上的像素比例作为所述相似子块的所述颜色信息相似度，以获取最佳匹配子块。

优选的，所述选取有效子块的方法为：

设置相似度阈值，选取所述综合相似度大于相似度阈值的子块组作为有效子块，否则，为无效子块。

优选的，在获取所述抖动程度之后，本方法还包括以下步骤：

将所述抖动程度与无人机惯性传感器采集的数据进行对比，获取所述惯性传感器的误差值，进而对所述惯性传感器进行补偿。

第二方面，本发明另一个实施例提供了一种基于人工智能的测绘无人机抖动检测系统，该系统包括以下模块：

图像预处理模块，用于利用无人机采集城市建筑的航拍图像，以连续多帧所述航拍图像的帧差图像的交集作为感兴趣区域，分别获取标准图像的第一感兴趣区域图像和所述航拍图像中的任一图像的第二感兴趣区域图像；所述标准图像是选取的不存在果冻效应的图像；

偏移距离获取模块，用于将所述第一感兴趣区域图像和所述第二感兴趣区域图像进行划分，获取对应的子块组，根据子块组的姿态特征相似度、灰度特征相似度以及颜色信息相似度的综合相似度选取有效子块，计算所述有效子块在所述感兴趣区域内的偏移距离；所述姿态特征相似度根据每个子块组内的关键点的灰度均值和所述关键点的位置信息获得；所述灰度特征相似度根据所述灰度均值的相似度获得；

图像修复模块，用于将所述连续多帧所述航拍图像分组，对每一组中的任一图像根据所述偏移距离进行修复补偿，得到多张修复图像；

抖动程度计算模块，用于将所述修复图像进行图像拼接，根据拼接后的图像与所述修复图像中任一单帧图像之间的大小关系获得所述无人机的抖动程度。

优选的，所述图像预处理模块包括：

图像帧差模块，用于分别对所述多帧航拍图像中的相邻帧进行帧间差操作，获得多帧目标图像；

灰度区域提取模块，用于设置像素阈值提取每帧所述目标图像中的灰度区域；

感兴趣区域提取模块，用于对所有所述灰度区域进行与操作，提取最终的感兴趣区域。

优选的，所述偏移距离获取模块还包括：

颜色信息相似度获取模块，用于对于与所述标准图像中的子块的所述灰度均值相同的多个相似子块，将所述相似子块进行灰度等级分级，以统计出的落在任一所述灰度等级上的像素比例作为所述相似子块的所述颜色信息相似度，以获取最佳匹配子块。

优选的，所述偏移距离获取模块还包括：

有效子块选取模块，用于设置相似度阈值，选取所述综合相似度大于相似度阈值的子块组作为有效子块，否则，为无效子块。

优选的，在获取所述抖动程度之后，本系统还包括以下模块：

误差补偿模块，用于将所述抖动程度与无人机惯性传感器采集的数据进行对比，获取所述惯性传感器的误差值，进而对所述惯性传感器进行补偿。

本发明实施例具有如下有益效果：

1.通过对图像进行子块匹配和修复，计算多帧修复图像的拼接图像与单帧修复图像的大小关系，能够精确获取无人机的抖动程度。

2.根据计算得到的无人机抖动程度对无人机IMU进行补偿，提高了无人机的航拍图像质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于人工智能的测绘无人机抖动检测方法的流程图；

图2为本发明一个实施例所提供的一种基于人工智能的测绘无人机抖动检测方法的步骤流程图；

图3为本发明一个实施例所提供的一种基于人工智能的测绘无人机抖动检测系统的结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的测绘无人机抖动检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的测绘无人机抖动检测方法及系统的具体方案。

请参阅图1和图2，图1示出了本发明一个实施例提供的一种基于人工智能的测绘无人机抖动检测方法的流程图，图2示出了本发明一个实施例提供的一种基于人工智能的测绘无人机抖动检测方法的步骤流程图。该方法包括以下步骤：

步骤S001，利用无人机采集城市建筑的航拍图像，以连续多帧航拍图像的帧差图像的交集作为感兴趣区域，分别获取标准图像的第一感兴趣区域图像和航拍图像中的任一图像的第二感兴趣区域图像；标准图像是选取的不存在果冻效应的图像。

首先在无人机上安装滚动快门摄像头，对相机调整完成之后，要保持相机位姿固定。采用无人机摄像头进行城市建筑图像采集，无人机测绘过程中对目标物体进行视频采集时处于悬停状态。

为准确分析无人机的抖动程度，本发明实施例选取30帧图像并进行相关处理，用于分析无人机的抖动情况。

具体的步骤包括：

1)分别对多帧航拍图像中的相邻帧进行帧间差操作，获得多帧目标图像。

具体的：

M_i＝|R_i+1-R_i|，i＝1，2，...29

式中，M_i为第i帧与第i+1帧帧差后的目标图像。

2)设置像素阈值提取每帧目标图像中的灰度区域。

针对每个帧差后的图像，由于图像存在果冻效应，相邻两图像中的相同区域像素在帧差之后不完全为0，显示在帧差图像中为灰度图像，且其灰度值大于帧差后的其他区域的像素值。因此，本发明实施例对帧差之后的图像设置像素阈值G用于提取灰度区域，将每个帧差图像中像素值大于阈值G的像素区域作为相邻帧差后的灰度区域。

本发明实施例采用最大类间方差法设置像素阈值。

3)对所有灰度区域进行与操作，提取最终的感兴趣区域(region of interest，ROI)。

经过2)中操作后，即可获取29个灰度区域(ROI₁，ROI₂...ROI₂₉)，分别对每个灰度区域进行形态学开运算，消除内部的一些小黑洞、孤立点；然后再对开运算后的图像进行闭运算，保持了灰度区域的大致形态，填补内部空洞，消除噪点影响，获取准确的灰度区域。最后，本发明将处理后的所有灰度区域进行与操作，并将其作为最终的ROI区域：

ROI＝ROI₁∩ROI₂∩...∩ROI₂₉

获取最终的ROI区域后，将ROI区域内所有像素值置1。

4)选取一张不存在果冻效应的图像作为标准图像，将获取的ROI区域作为掩膜，将掩膜与标准图像进行相乘操作，获得第一感兴趣区域图像；将掩膜与航拍图像中任意一帧图像进行相乘操作，获得第二感兴趣区域图像。

作为一个示例，本发明实施例中选取航拍图像中的末帧图像获得第二感兴趣区域。

步骤S002，将第一感兴趣区域图像和第二感兴趣区域图像进行划分，获取对应的子块组，根据子块组的姿态特征相似度、灰度特征相似度以及颜色信息相似度的综合相似度选取有效子块，计算有效子块在感兴趣区域内的偏移距离；姿态特征相似度根据每个子块组内的关键点的灰度均值和关键点的位置信息获得；灰度特征相似度根据灰度均值的相似度获得。

具体的步骤包括：

1)对第一感兴趣区域图像和第二感兴趣区域图像进行子块划分。

预设ROI区域大小为a×b，将其划分为z×z的形式，则每个子块大小为

作为一个示例，本发明实施例中z取9。

2)构建子块分析模型，获取一一对应的子块组。

考虑到无人机航拍图像会存在果冻效应，在图像子块的匹配对应时，仅通过单个特征信息作为子块之间的对应依据将出现错检漏检的情况，因此为提高子块匹配的准确性，提取子块姿态特征信息、灰度特征以及子块颜色特征，共同作用于子块对应分析模型中，快速精准地获取对应子块。

具体的：

a.采用子块中的关键点作为子块姿态特征，构建第一相似度模型，进行子块之间的对应程度分析。

需要说明的是，本发明实施例适用场景为城市测绘，图像中会包含大量建筑物信息，因此，对于最终处理后的ROI区域，经过子块划分之后，每个子块中至少含有一个角点，本发明实施例中关键点为建筑物角点。

在本发明实施例中，子块关键点通过尺度不变特征变换(Scale-invariantfeature transform，SIFT)算法进行检测，检测出每个子块的关键点，在其他实施例中，还可以采用其他的能够实现相同功能的检测算法。

采用归一化积相关算法(normalized cross correlation，NCC)对子块关键点进行粗匹配，为提高子块之间关键点匹配的精度，在粗匹配的基础上，利用随机抽样一致算法(Random Sample Consensus，RANSAC)对粗匹配的对应点对进行精细匹配，以消除粗匹配中的错误点对。

当图像发生果冻效应时，对应子块的姿态位置信息会存在差异，同时关键点的灰度以及颜色特征也会出现相应的变化，因此，本发明实施例基于对应关键点的灰度特征构建第一对比模型，根据关键点位置信息建立第二对比模型，最后根据第一对比模型和第二对比模型构建第一相似度模型，分析子块之间关键点特征的相似程度。

具体的：

其中，A₁表示第一对比模型的函数值，代表末帧图像子块和标准图像子块内关键点灰度均值的差值，用于对比子块组中所有关键点灰度均值的相似度。G′_k表示精匹配后末帧图像子块中第k个关键点的灰度值，G_k表示精匹配后标准图像子块中第k个关键点的灰度值，P_R代表进行精细匹配后的子块之间的对应关键点对数。

其中，A₂表示第二对比模型的函数值，用于分析对应关键点的位置差异，(x_k、y_k)表示第k对关键点对在标准图像中的关键点的坐标信息，(x′_k、y′_k)表示第k对关键点对在末帧图像中的关键点的坐标信息，P_N为粗匹配后子块之间的对应点对数。

第一相似度模型函数表达式为：

A表示基于关键点特征的子块之间的相似程度，用第一对比模型和第二对比模型来体现，α表示第一对比模型的权重值，β表示第二对比模型的权重值，α+β＝1。

作为一个示例，本发明实施例中α取0.6，β取0.4。

第一相似度模型函数值越大，则子块中的关键点类型相似度越高。

b.根据灰度特征构建第二相似度模型。

根据第一相似度模型中的关键点特征可完成对标准图像和末帧图像的子块初步匹配，获取基于姿态特征数据匹配后的图像。为提高子块匹配的精度，本发明实施例提取子块其他特征数据，进一步对ROI区域的各个子块进行匹配，以实现对应子块的相互对齐，提高系统准确度，以便后续基于视觉图像特征准确分析无人机的抖动程度。

首先计算基于灰度特征子块的相似度，对每个子块进行灰度化，然后计算每个子块中满足精匹配的所有关键点的灰度均值，根据子块关键点的灰度均值进行子块相似度分析。基于子块关键点的灰度均值构建第二相似度模型，用于分析子块之间的匹配度。

需要说明的是，为了保证模型B的准确度，本发明将用A₁对其进行修正优化，因而第二相似度模型计算相似程度的函数表达式为：

其中，B表示两个子块中关键点灰度均值的相似程度，g_i表示第一感兴趣区域图像中第i个子块中的满足精匹配的所有关键点的灰度均值，g′_j表示在第二感兴趣区域图像中，与第一感兴趣区域图像中第i个子块对应的第j个子块中满足精匹配的所有关键点的灰度均值。

第二相似度模型函数值越大，子块关键点的灰度均值相似程度越大。

c.根据颜色特征构建第三相似度模型。

对于灰度均值相同的相似子块，将相似子块进行灰度等级分级，以统计出的落在任一灰度等级上的像素比例作为相似子块的颜色信息相似度。

由于无人机悬停拍摄，ROI区域内的各子块之间的灰度均值会存在相似的情况，当第二感兴趣区域图像中有多个子块与第一感兴趣区域图像中的一个子块的灰度均值均相同的时候，将难以基于灰度特征进行匹配，因此，本发明实施例提取相似子块的颜色信息，对其进行筛选，获取最佳的匹配子块，提高子块匹配准确度。

对于子块的颜色特征数据，首先将子块分为256个灰度等级，然后统计出图像中的颜色落在每个等级上的像素个数，本发明实施例计算所述颜色特征数据：

式中，T(m)表示灰度等级为m时图像颜色特征值，Nm为灰度级为m的像素个数，M为子块中像素总数。

为通过颜色特征信息检测子块之间的相似程度，本发明将分析特定等级下的图像颜色特征值。

作为一个示例，本发明选取等级m＝200，并构建第三相似度模型，计算当m＝200时，各子块之间的颜色特征的相似程度，第三相似度模型表达式为：

其中，C表示基于颜色特征信息子块之间的相似程度。

第三相似度函数值越大，子块的颜色特征相似度越高。

d.根据第一相似度模型、第二相似度模型和第三相似度模型构建子块分析模型，判断子块的匹配度。

根据子块之间每个特征数据的相似程度设置最终子块对应分析模型：

其中，

表示子块的综合相似度，A为子块基于姿态特征数据的相似度，B为子块灰度特征的相似程度，C为子块基于颜色信息的相似程度。

最终综合相似度

值越大，两个子块的相似度越大，匹配度越高。

e.设置相似度阈值，选取综合相似度大于相似度阈值的子块组作为有效子块，否则，为无效子块。

由于图像的果冻效应，子块匹配时会存在搜索不到对应子块的情况，因此，本发明实施例通过选取有效子块进行子块匹配。

具体的，首先对子块对应分析模型设置相似度阈值

当综合相似度大于相似度阈值时，判断第二感兴趣区域图像中存在与第一感兴趣区域图像中的子块对应的子块，将其作为有效子块，且将第二感兴趣区域图像中与该子块匹配程度最高的子块作为其对应子块；否则作为无效子块。

通过上述步骤能够准确地获取多组对应的有效子块，对子块进行精确匹配，能够获取精度更高的果冻效应指标，进一步提高系统对无人机抖动情况检测的精度。

3)计算果冻效应分析指标。

基于子块对应分析模型与有效子块筛选规则得到子块组中对应的有效子块，计算每个有效子块中心点坐标的偏移距离：

Δx＝x′_k-x_k

Δy＝y′_k-y_k

x_k表示第一感兴趣区域图像中第K个子块的中心点横坐标值，y_k表示第一感兴趣区域图像中第K个子块的中心点纵坐标值，x′_k表示第二感兴趣区域图像中第K个对应子块的中心点的横坐标值，y_k′表示第二感兴趣区域图像中第K个对应子块的中心点纵坐标值。

为体现ROI区域内的像素整体偏移情况，本发明实施例通过计算所有有效子块中心点的偏移均值，将其作为最终的果冻效应分析指标

果冻效应分析指标模型为：

其中，N为ROI区域中有效子块的数量。

需要说明的是，考虑到在基于图像分析无人机抖动程度的过程中，由于航拍图像的果冻效应使图像出现扭曲变形等情况，导致后续无人机抖动程度检测结果不准确，因此，本发明实施例首先对航拍图像的果冻效应指标进行分析判断，便于后续系统准确获取无人机的抖动情况。

步骤S003，将连续多帧航拍图像分组，对每一组中的任一图像根据偏移距离进行修复补偿，得到多张修复图像。

为准确获取无人机抖动程度，本发明实施例对图像的果冻效应进行修复，根据修复图像得到准确的无人机抖动产生的视角变化范围。

具体的步骤包括：

1)将提取的连续多帧航拍图像进行分组。

每连续m帧记为一组，共分为n组，每m帧修复一次，以获取不存在果冻效应情况下的图像边界信息。

作为一个示例，本发明实施例中，m取5，n取6。

2)对每一组中的任一图像根据偏移距离进行修复补偿，得到多张修复图像。

作为一个示例，本发明实施例对每一组中的第m帧图像根据步骤S002得到的偏移距离进行修复补偿。

需要说明的是，由于后续将会对得到的n帧修复图像进行拼接处理，且拼接过程仅通过图像边缘信息的特征点选取匹配等就可以实现，因此，在对图像进行修复过程中，为提高系统检测修复效率，仅需要对图像边缘区域像素进行修复。

本发明实施例共选取30帧图像，每5帧恢复一次，对每组最后一帧进行修复，得到6帧修复图像：R′₅，R′₁₀，R′₁₅，R′₂₀，R₂₅′，R₃₀′，根据6帧修复图像分析无人机抖动情况。

步骤S004，将修复图像进行图像拼接，根据拼接后的图像与修复图像中任一单帧图像之间的大小关系获得无人机的抖动程度。

具体的步骤包括：

1)将n帧修复图像进行图像拼接。

考虑到无人机抖动会使多帧图像之间出现视角变化，图像之间的稳定程度将会降低，因此，采用拼接算法对n帧修复图像进行拼接，得到拼接后的全景图像。

2)根据拼接后的图像与n帧修复图像中任一单帧图像之间的大小关系获得无人机的抖动程度。

获取n帧修复图像的拼接全景图像之后，采用OpenCV提取拼接图像的最小外接矩形，大小记为L₁×W₁，根据拼接全景图最小外接矩形与单帧图像之间的大小关系，构建函数模型，进一步分析无人机的抖动情况，抖动分析模型函数表达式为：

其中，L₁表示最小外接矩形的长度，L₂表示修复图像中任一单帧图像的长度；W₁表示最小外接矩形的宽度，W₂表示修复图像中任一单帧图像的宽度；δ表示无人机的抖动情况。

令

用于表示图像之间的稳定程度，则抖动分析模型函数表达式为：

δ＝e^|σ-2|-1

根据所构建的函数模型可知，函数值δ越小，无人机抖动越微弱，图像之间的稳定性越强。

3)将抖动程度与无人机惯性传感器采集的数据进行对比，获取惯性传感器的误差值，进而对惯性传感器进行补偿。

a.获取惯性传感器检测到的抖动程度。

无人机惯性传感器(Inertial Measurement Unit，IMU)用来感知无人机在空中的姿态和运动状态，检测无人机的线加速度以及角速度。

需要说明的是，本发明实施例中使用的IMU数据为无人机角速度，实时记录无人机角速度的变化情况。

基于IMU传感器检测的无人机抖动情况具体方法为：

首先采用无人机IMU检测本发明实施例所选取的6帧图像所对应的无人机三轴方向的角速度：V_xj，V_yj，V_zj，j＝1，2，3，4，5，6，分别计算角速度最大、最小均值，所述速度均值为：

其中，V_xMAX、V_yMAX、V_zMAX分别为6帧图像对应的IMU传感器检测的x、y、z轴的角速度最大值，V_xMIN、V_yMIN、V_zMIN分别为6帧图像对应的IMU传感器检测的x、y、z轴的角速度最小值。

根据无人机角速度构建抖动分析模型，分析无人机状态：

τ＝V_MAX-V_MIN

其中，τ表示基于IMU检测的无人机的抖动程度。

b.将本发明实施例计算得到的抖动程度与IMU检测的无人机的抖动程度进行对比，获得无人机IMU的误差值，进而对IMU进行补偿。

由于磁场、无人机自身较大的震动或者环境等因素的影响，会导致机载传感器性能下降甚至失效，无人机IMU检测也将会出现很大误差，进而不能对无人机抖动现象进行很好的控制，影响无人机测绘航拍质量。

需要说明的是，无人机IMU数据通过无人机的姿态变化体现无人机抖动情况，而基于视觉获取的无人机抖动程度是通过本发明实施例所建模型进行计算获取的，两者处于不同的量纲下，本发明实施例首先对基于视觉获取的无人机抖动程度数据和IMU获取的无人机抖动数据进行归一化，消除不同量纲带来的影响，归一化之后的无人机抖动分别为δ′和τv。

无人机IMU的误差值：

Δμ＝δ′-τ′

其中，Δμ表示IMU的误差值，δ′表示通过本发明实施例的方法获得的归一化抖动程度，τ′表示通过无人机IMU检测获得的归一化抖动程度。

对无人机IMU进行补偿：

τ^*＝τ′+Δμ

其中，τ^*表示补偿后的IMU归一化抖动程度。

将最终补偿后的IMU抖动程度进行反归一化，得到补偿后的IMU数据，系统将通过此数据对无人机光学防抖OIS进行调控，降低无人机的抖动程度。

需要说明的是，本发明实施例首先基于视觉得到该场景下无人机IMU的误差值，同一场景下IMU误差值相对固定，因此后续可将基于视觉获取无人机抖动的部分舍弃，直接根据对比所得的误差值对无人机IMU检测结果进行补偿，仅通过IMU检测数据及误差值就可以得到准确的无人机抖动情况。

综上所述，本发明实施例通过利用无人机采集城市建筑的航拍图像，以连续多帧航拍图像的帧差图像的交集作为感兴趣区域，分别获取标准图像的第一感兴趣区域图像和航拍图像中的任一图像的第二感兴趣区域图像；将第一感兴趣区域图像和第二感兴趣区域图像进行划分，获取对应的子块组，根据子块组的姿态特征相似度、灰度特征相似度以及颜色信息相似度的综合相似度选取有效子块，计算有效子块在感兴趣区域内的偏移距离；将连续多帧航拍图像分组，对每一组中的任一图像根据偏移距离进行修复补偿，得到多张修复图像；将修复图像进行图像拼接，根据拼接后的图像与修复图像中任一单帧图像之间的大小关系获得无人机的抖动程度。本发明实施例能够精确获取无人机的抖动程度，并对无人机IMU进行补偿，提高航拍图像质量。

基于与上述方法相同的发明构思，本发明另一个实施例提供了一种基于人工智能的测绘无人机抖动检测系统，请参阅图3，该系统包括以下模块：

图像预处理模块1001、偏移距离获取模块1002、图像修复模块1003以及抖动程度计算模块1004。

图像预处理模块1001用于利用无人机采集城市建筑的航拍图像，以连续多帧航拍图像的帧差图像的交集作为感兴趣区域，分别获取标准图像的第一感兴趣区域图像和航拍图像中的任一图像的第二感兴趣区域图像；标准图像是选取的不存在果冻效应的图像；偏移距离获取模块1002用于将第一感兴趣区域图像和第二感兴趣区域图像进行划分，获取对应的子块组，根据子块组的姿态特征相似度、灰度特征相似度以及颜色信息相似度的综合相似度选取有效子块，计算有效子块在感兴趣区域内的偏移距离；姿态特征相似度根据每个子块组内的关键点的灰度均值和关键点的位置信息获得；灰度特征相似度根据灰度均值的相似度获得；图像修复模块1003用于将连续多帧航拍图像分组，对每一组中的任一图像根据偏移距离进行修复补偿，得到多张修复图像；抖动程度计算模块1004用于将修复图像进行图像拼接，根据拼接后的图像与修复图像中任一单帧图像之间的大小关系获得无人机的抖动程度。

优选的，图像预处理模块包括：

图像帧差模块，用于分别对多帧航拍图像中的相邻帧进行帧间差操作，获得多帧目标图像；

灰度区域提取模块，用于设置像素阈值提取每帧目标图像中的灰度区域；

感兴趣区域提取模块，用于对所有灰度区域进行与操作，提取最终的感兴趣区域。

优选的，偏移距离获取模块还包括：

颜色信息相似度获取模块，用于对于与标准图像中的子块的灰度均值相同的多个相似子块，将相似子块进行灰度等级分级，以统计出的落在任一灰度等级上的像素比例作为相似子块的颜色信息相似度，以获取最佳匹配子块。

优选的，偏移距离获取模块还包括：

有效子块选取模块，用于设置相似度阈值，选取综合相似度大于相似度阈值的子块组作为有效子块，否则，为无效子块。

优选的，在获取抖动程度之后，本系统还包括以下模块：

误差补偿模块，用于将抖动程度与无人机惯性传感器采集的数据进行对比，获取惯性传感器的误差值，进而对惯性传感器进行补偿。

综上所述，本发明实施例通过图像预处理模块1001利用无人机采集城市建筑的航拍图像，以连续多帧航拍图像的帧差图像的交集作为感兴趣区域，分别获取标准图像的第一感兴趣区域图像和航拍图像中的任一图像的第二感兴趣区域图像；通过偏移距离获取模块1002将第一感兴趣区域图像和第二感兴趣区域图像进行划分，获取对应的子块组，根据子块组的姿态特征相似度、灰度特征相似度以及颜色信息相似度的综合相似度选取有效子块，计算有效子块在感兴趣区域内的偏移距离；通过图像修复模块1003将连续多帧航拍图像分组，对每一组中的任一图像根据偏移距离进行修复补偿，得到多张修复图像；通过抖动程度计算模块1004将修复图像进行图像拼接，根据拼接后的图像与修复图像中任一单帧图像之间的大小关系获得无人机的抖动程度。本发明实施例能够精确获取无人机的抖动程度，并对无人机IMU进行补偿，提高航拍图像质量。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的测绘无人机抖动检测方法，其特征在于，该方法包括以下步骤：

利用无人机采集城市建筑的航拍图像，以连续多帧所述航拍图像的帧差图像的交集作为感兴趣区域，分别获取标准图像的第一感兴趣区域图像和所述航拍图像中的任一图像的第二感兴趣区域图像；所述标准图像是选取的不存在果冻效应的图像；

将所述第一感兴趣区域图像和所述第二感兴趣区域图像进行划分，获取对应的子块组，根据子块组的姿态特征相似度、灰度特征相似度以及颜色信息相似度的综合相似度选取有效子块，计算所述有效子块在所述感兴趣区域内的偏移距离；所述姿态特征相似度根据每个子块组内的关键点的灰度均值和所述关键点的位置信息获得；所述灰度特征相似度根据所述灰度均值的相似度获得；

将所述连续多帧所述航拍图像分组，对每一组中的任一图像根据所述偏移距离进行修复补偿，得到多张修复图像；

将所述修复图像进行图像拼接，根据拼接后的图像与所述修复图像中任一单帧图像之间的大小关系获得所述无人机的抖动程度；

所述综合相似度的计算公式具体为：

其中，

表示子块的综合相似度，A为子块基于姿态特征数据的相似度，B为子块灰度特征的相似程度，C为子块基于颜色信息的相似程度；

所述子块基于姿态特征数据的相似度的计算公式具体为：

A表示基于关键点特征的子块之间的相似程度，即子块基于姿态特征数据的相似度，α表示第一对比模型的权重值，β表示第二对比模型的权重值，α+β＝1；

所述子块灰度特征的相似程度的计算公式具体为：

其中，B表示两个子块中关键点灰度均值的相似程度，即子块灰度特征的相似程度，g_i表示第一感兴趣区域图像中第i个子块中的满足精匹配的所有关键点的灰度均值，g′_j表示在第二感兴趣区域图像中，与第一感兴趣区域图像中第i个子块对应的第j个子块中满足精匹配的所有关键点的灰度均值；

所述子块基于颜色信息的相似程度的计算公式具体为：

其中，C表示基于颜色特征信息子块之间的相似程度，即子块基于颜色信息的相似程度；

所述第一对比模型为：

其中，A₁表示第一对比模型的函数值，G′_k表示精匹配后末帧图像子块中第k个关键点的灰度值，G_k表示精匹配后标准图像子块中第k个关键点的灰度值，P_R代表进行精匹配后的子块之间的对应关键点对数；

所述第二对比模型为：

其中，A₂表示第二对比模型的函数值，(x_k、y_k)表示第k对关键点对在标准图像中的关键点的坐标信息，(x′_k、y′_k)表示第k对关键点对在末帧图像中的关键点的坐标信息，P_N为粗匹配后子块之间的对应点对数；

所述粗匹配是指采用归一化积相关算法对子块关键点进行粗匹配；所述精匹配是指在粗匹配的基础上，利用随机抽样一致算法对粗匹配的对应点对进行精匹配；

所述无人机的抖动程度的获取方法具体为：

其中，L₁表示最小外接矩形的长度，L₂表示修复图像中任一单帧图像的长度；W₁表示最小外接矩形的宽度，W₂表示修复图像中任一单帧图像的宽度；δ表示无人机的抖动情况，即无人机的抖动程度。

2.根据权利要求1所述的方法，其特征在于，所述感兴趣区域的提取步骤包括：

分别对所述多帧航拍图像中的相邻帧进行帧间差操作，获得多帧目标图像；

设置像素阈值提取每帧所述目标图像中的灰度区域；

对所有所述灰度区域进行与操作，提取最终的感兴趣区域。

3.根据权利要求1所述的方法，其特征在于，所述颜色信息相似度的获取方法为：

对于与所述标准图像中的子块的所述灰度均值相同的多个相似子块，将所述相似子块进行灰度等级分级，以统计出的落在任一所述灰度等级上的像素比例作为所述相似子块的所述颜色信息相似度，以获取最佳匹配子块。

4.根据权利要求1所述的方法，其特征在于，所述选取有效子块的方法为：

设置相似度阈值，选取所述综合相似度大于相似度阈值的子块组作为有效子块，否则，为无效子块。

5.根据权利要求1所述的方法，其特征在于，在获取所述抖动程度之后，本方法还包括以下步骤：

将所述抖动程度与无人机惯性传感器采集的数据进行对比，获取所述惯性传感器的误差值，进而对所述惯性传感器进行补偿。

6.一种基于人工智能的测绘无人机抖动检测系统，其特征在于，该系统包括以下模块：

图像预处理模块，用于利用无人机采集城市建筑的航拍图像，以连续多帧所述航拍图像的帧差图像的交集作为感兴趣区域，分别获取标准图像的第一感兴趣区域图像和所述航拍图像中的任一图像的第二感兴趣区域图像；所述标准图像是选取的不存在果冻效应的图像；

偏移距离获取模块，用于将所述第一感兴趣区域图像和所述第二感兴趣区域图像进行划分，获取对应的子块组，根据子块组的姿态特征相似度、灰度特征相似度以及颜色信息相似度的综合相似度选取有效子块，计算所述有效子块在所述感兴趣区域内的偏移距离；所述姿态特征相似度根据每个子块组内的关键点的灰度均值和所述关键点的位置信息获得；所述灰度特征相似度根据所述灰度均值的相似度获得；

图像修复模块，用于将所述连续多帧所述航拍图像分组，对每一组中的任一图像根据所述偏移距离进行修复补偿，得到多张修复图像；

抖动程度计算模块，用于将所述修复图像进行图像拼接，根据拼接后的图像与所述修复图像中任一单帧图像之间的大小关系获得所述无人机的抖动程度。

7.根据权利要求6所述的系统，其特征在于，所述图像预处理模块包括：

图像帧差模块，用于分别对所述多帧航拍图像中的相邻帧进行帧间差操作，获得多帧目标图像；

灰度区域提取模块，用于设置像素阈值提取每帧所述目标图像中的灰度区域；

感兴趣区域提取模块，用于对所有所述灰度区域进行与操作，提取最终的感兴趣区域。

8.根据权利要求6所述的系统，其特征在于，所述偏移距离获取模块还包括：

颜色信息相似度获取模块，用于对于与所述标准图像中的子块的所述灰度均值相同的多个相似子块，将所述相似子块进行灰度等级分级，以统计出的落在任一所述灰度等级上的像素比例作为所述相似子块的所述颜色信息相似度，以获取最佳匹配子块。

9.根据权利要求6所述的系统，其特征在于，所述偏移距离获取模块还包括：

有效子块选取模块，用于设置相似度阈值，选取所述综合相似度大于相似度阈值的子块组作为有效子块，否则，为无效子块。

10.根据权利要求6所述的系统，其特征在于，在获取所述抖动程度之后，本系统还包括以下模块：

误差补偿模块，用于将所述抖动程度与无人机惯性传感器采集的数据进行对比，获取所述惯性传感器的误差值，进而对所述惯性传感器进行补偿。

Images