CN115456855B - 一种无人机辅助倾斜摄影图像采集系统 - Google Patents

Abstract

本发明涉及图像数据处理领域，具体涉及一种无人机辅助倾斜摄影图像采集系统，包括图像采集模块：包括垂直拍摄的中心摄像头和设在该中心摄像头四周的倾斜摄像头；角度调整模块：设置倾斜摄像头的初始拍摄角度，并获取参考物的垂直摄影图和倾斜摄影图；提取倾斜摄影图中的疑似反光区域及疑似反光区域在垂直摄影图中的对应区域；获取疑似反光区域的关键点及对应区域的关键点；进行关键点匹配，根据匹配成功率和像素点明暗程度得到计算置信度，并确定出反光区域；调整倾斜摄像头的初始拍摄角度，直至倾斜摄影图中的反光区域不再减小为止，得到最佳拍摄角度，提高了匹配精度，得到的摄影图像，可进行准确的三维重建。

Description

一种无人机辅助倾斜摄影图像采集系统

技术领域

本申请涉及图像数据处理领域，具体涉及一种无人机辅助倾斜摄影图像采集系统。

背景技术

无人机倾斜摄影技术，是如今国际测绘遥感领域的一项高新技术，倾斜摄影的工作原理是通过在同一飞行平台上搭载的1个下视镜头和4个倾斜镜头用于采集同一个参考物在不同角度下的摄影图像，然后根据不同角度下的摄影图像进行三维建模；

在摄影过程中，摄影图像难免会受到太阳光照的影响，导致采集拍摄到的图像中存在反光区域，反光区域会导致垂直摄影图像和倾斜摄影图像无法准确匹配，进而影响后续建模的精度，因此需要对反光区域进行处理，现有技术是根据人为经验对摄影角度进行调整，减少摄影图像中反光区域的面积，得到最佳拍摄角度，利用最佳拍摄角度来减小摄影图像中的反光区域面积，降低光照对摄影图像匹配及后续三维建模的影响。

但是根据人为经验对摄影角度进行调整来减少反光区域，进行摄影角度调整，降低光照对摄影图像匹配的影响的方法主观性强，对拍摄角度的调整不够精准，导致摄影图像质量低，无法进行准确的三维建模。

发明内容

针对根据人为经验对摄影角度进行调整来减少反光区域，进行摄影角度调整，降低光照对摄影图像匹配的影响的方法主观性强，对拍摄角度的调整不够精准，导致摄影图像质量低，无法进行准确的三维建模的问题，本发明提供一种无人机辅助倾斜摄影图像采集系统，包括图像采集模块、角度调整模块：

图像采集模块：包括用于进行垂直拍摄的中心摄像头和设在该中心摄像头四周用于倾斜拍照的倾斜摄像头；

角度调整模块：

设置倾斜摄像头的初始拍摄角度，并利用设置完成后的倾斜摄像头和垂直摄像头对参考物进行拍照，获取参考物的垂直摄影图和倾斜摄影图；

提取倾斜摄影图中所有的疑似反光区域及每一个疑似反光区域在垂直摄影图中的对应区域；

获取每一个疑似反光区域的关键点及该疑似反光区域的对应区域的关键点；

利用每一疑似反光区域的关键点与对应区域的关键点进行匹配，获取每一疑似反光区域中每个关键点的匹配成功率；

根据每个疑似反光区域中每个关键点的匹配成功率和该疑似反光区域中所有像素点明暗程度得到每个疑似反光区域的置信度，并利用获取的每一个疑似反光区域的置信度获取所有疑似反光区域中的反光区域；

调整倾斜摄像头的初始拍摄角度，获得在调整初始拍摄角度后的倾斜摄影图，并获取该调整初始拍摄角度后的倾斜摄影图中的反光区域，继续调整倾斜摄像头的初始拍摄角度，直至倾斜摄影图中的反光区域不再减小为止，将该调整后的角度作为倾斜摄像头的最佳拍摄角度，得到所有倾斜摄像头的最佳拍摄角度；

利用图像采集模块中的中心摄像头及调整到最佳拍摄角度的倾斜摄像头对目标物进行拍摄。

所述提取倾斜摄影图中所有的疑似反光区域及每一个疑似反光区域在垂直摄影图中的对应区域：

根据参考物的倾斜摄影图像中每个像素点的灰度值得到参考物的倾斜摄影图像中每个像素点的明暗程度；

基于像素点的明暗程度对参考物的倾斜摄影图像进行区域生长，得到的多个生长区域作为参考物的倾斜摄影图像的疑似反光区域；

将参考物的倾斜摄影图像上的疑似反光区域仿射到参考物的垂直摄影图像上的对应区域，得到每一个疑似反光区域在垂直摄影图中的对应区域。

所述获取每一个疑似反光区域的关键点及该疑似反光区域的对应区域的关键点：

利用SIFT关键点检测获取参考物的倾斜摄影图像中的关键点，根据关键点数量和图像尺寸将参考物的倾斜摄影图像分割为多个相同的区域；

根据每个区域内关键点出现的频率将区域分为关键点均匀区域和关键点不均匀区域两种；

将每个关键点不均匀区域中每个像素点与其上、下、左、右四个相邻区域中距离最近的关键点相连，得到每个关键点不均匀区域中每个像素点的拓扑结构；

将参考物的倾斜摄影图像中每个关键点不均匀区域中，每个像素点的拓扑结构，和参考物的多个倾斜角度的摄影图像中对应的关键点不均匀区域中，对应位置的像素点的拓扑结构相同的次数最多的像素点，作为每个关键点不均匀区域中的准确的关键点；

将每个关键点不均匀区域的准确关键点和每个关键点均匀区域中的关键点作为参考物的倾斜摄影图像中的所有关键点；

可得到倾斜摄影图像中的每一个疑似反光区域内包含的关键点；

获取垂直摄影图像中的关键点，获取方法与倾斜摄影图像一致；可得到每一个疑似反光区域的对应区域内包含的关键点。

所述根据关键点数量和图像尺寸将倾斜摄影图像分割为多个相同的区域：

获取参考物的倾斜摄影图像中关键点数量；

将关键点数量作为分割区域个数，将参考物的倾斜摄影图像面积除以分割区域个数作为每个区域的面积大小。

所述根据每个区域内关键点出现的频率将区域分为关键点均匀区域和关键点不均匀区域两种：

获取每个区域内关键点的频率；

当区域内关键点的频率大于等于频率阈值时，该区域为关键点均匀区域，反之，该区域为关键点不均匀区域。

所述利用每一疑似反光区域的关键点与对应区域的关键点进行匹配，获取每一疑似反光区域中每个关键点的匹配成功率：

在每一个疑似反光区域的对应区域中为该疑似反光区域的中的关键点选出欧式距离最近和次近的两个关键点；

当最近的欧式距离和次近的欧式距离的比值小于等于比例阈值时，最近的欧式距离对应的关键点与疑似反光区域中的关键点匹配成功，否则，匹配失败；

得到每一疑似反光区域中每个关键点的匹配成功率。

所述根据每个疑似反光区域中每个关键点的匹配成功率和该疑似反光区域中所有像素点明暗程度得到每个疑似反光区域的置信度，并利用获取的每一个疑似反光区域的置信度获取所有疑似反光区域中的反光区域：

获取每个疑似反光区域中每个像素点的明暗程度；

将关键点的匹配成功率和该疑似反光区域中像素点的明暗程度均值的比值为指数，以e为底数，得到指数幂，将该指数幂的倒数作为该疑似反光区域的置信度；

将置信度大于置信度阈值的疑似反光区域作为反光区域。

本发明的有益效果是：

（1）根据参考物的倾斜摄影图像中每个像素点明暗程度，获取参考物的倾斜摄影图像的疑似反光区域，并得到垂直摄影图像上的对应区域；

该方法获取参考物的倾斜摄影图像中的疑似反光区域，为后续关键点的匹配起到指导作用，避免了参考物的垂直摄影图像上在疑似反光区域放置关键点而造成误匹配的情况；

（2）获取参考物的倾斜摄影图像的关键点；根据关键点数量和图像尺寸将参考物的倾斜摄影图像分割为多个相同的区域；根据每个区域内关键点出现的频率和频率阈值筛选出关键点不均匀区域，根据每个关键点不均匀区域中每个像素点与其上、下、左、右每个相邻区域中距离最近的关键点相连，得到每个关键点不均匀区域中每个像素点的拓扑结构；根据每个关键点不均匀区域的每个像素点的拓扑结构，在多个倾斜角度的倾斜摄影图像中出现相同的次数确定出每个关键点不均匀区域中的准确的关键点个数，根据每个关键点均匀区域中的关键点个数、每个关键点不均匀区域的准确关键点个数得到倾斜摄影图像中的关键点；

该方法先获取关键点分布不均匀的区域，然后再根据拓扑结构不变性为关键点稀少的区域重新选取合适的关键点，常规的对关键点直接进行匹配的话可能由于倾斜摄影图像上的某些区域不存在关键点而导致匹配失败，提高了关键点判断的准确性；

（3）计算参考物的倾斜摄影图像中每个疑似反光区域中的关键点，与参考物的垂直摄影图像中对应的区域的关键点的匹配成功率，根据关键点的匹配成功率和疑似反光区域像素点的明暗度，得到每个疑似反光区域为反光区域的置信度，将置信度大于置信度阈值的疑似反光区域作为反光区域；根据反光区域和倾斜摄影图像的相对位置进行摄影角度的调整；

该方法根据疑似反光区域的关键点匹配成功率求得该区域的反光置信度，减少了判断反光区域的误差，并根据反光区域进行摄影角度调整，提高了摄影图像的质量，进一步提高了三维建模的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种无人机辅助倾斜摄影图像采集系统结构框图；

图2是本发明的一种无人机辅助倾斜摄影图像采集系统中的每个关键点不均匀区域中每个像素点与其上、下、左、右相邻区域中距离最近关键点的示意图；

图3是本发明的一种无人机辅助倾斜摄影图像采集系统的每个关键点不均匀区域中每个像素点与其上、下、左、右相邻区域中距离最近关键点的连接得到的拓扑结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的一种无人机辅助倾斜摄影图像采集系统的实施例，如图1所示，一种无人机辅助倾斜摄影图像采集系统，包括：

图像采集模块S100：包括用于进行垂直拍摄的中心摄像头和设在该中心摄像头四周用于倾斜拍照的倾斜摄像头；

具体如下：当无人机上升到指定高度的高空和指定的地理位置后进行垂直摄影和倾斜摄影，由于采集到的图像在传输过程中受到脉冲噪声的影响，故对图像进行中值滤波降噪处理，至此，获得垂直摄影图像为模板图像，4个角度的倾斜摄影图像为待匹配图像，将图像均转换为灰度图像，需要说明的是，垂直拍摄的中心摄像头和设在该中心摄像头四周的倾斜摄像头拍摄的图像是同一个参考物的不同角度下的摄影图像；拍摄过程中会受到光照影响，垂直摄影图像也可能存在少量反光区域，但是垂直摄影区域的反光区域对图像匹配的影响程度，相对于倾斜摄影图像中的反光区域对于图像匹配的影响程度不大，所以忽略不计，可将垂直摄影图像作为模板图像；

需要说明的是，本实施例中的垂直摄影图像即参考物的垂直摄影图像，倾斜摄影图像即参考物的倾斜摄影图像。

角度调整模块S101：

（1）设置倾斜摄像头的初始拍摄角度，并利用设置完成后的倾斜摄像头和垂直摄像头对参考物进行拍照，获取参考物的垂直摄影图和倾斜摄影图；

（2）提取倾斜摄影图中所有的疑似反光区域及每一个疑似反光区域在垂直摄影图中的对应区域，具体如下：

a.根据参考物的倾斜摄影图像中每个像素点的灰度值得到参考物的倾斜摄影图像中每个像素点的明暗程度，具体为：

选取一张倾斜摄影图像进行分析，以此为例，由于反光区域为白色，故图像中的所有白色区域以及趋近于白色的区域都可以视为疑似光照区域，因此，计算图像中各像素点的明暗程度：

式中，

为倾斜摄影图像中第j个像素点的明暗程度，

为倾斜摄影图像中第j个像素点的灰度值，n为倾斜摄影图像中像素点数量，j为倾斜摄影图像中第j个像素点。

该公式中：

：

为倾斜摄影图像中像素点的灰度均值作为当前图像整体的亮度信息；

：

反映倾斜摄影图像中像素点亮度相对于图像整体的明暗程度，exp为以e为底的指数函数，是对像素点的明亮程度进行归一化处理，便于后续设定阈值：

的含义为e的

次方；

b.基于像素点的明暗程度对参考物的倾斜摄影图像进行区域生长，得到的多个生长区域作为参考物的倾斜摄影图像的疑似反光区域，具体为：

获取像素点的明暗程度后对图像进行基于明暗程度的区域生长，得到所有亮度较大的区域作为疑似反光区域，具体过程为：

在图像中选取Ha最大的一点作为种子点；

在种子点(n+2)

(n+2)邻域的剩余点继续进行搜索：

当其邻域内存在至少

个满足阈值的点时，将该邻域点与中心点区域生长为同一个区域，反之少于

时停止生长；

当一个区域停止生长后，继续对剩余的点中选取

的点继续生长，直到所有

的点被搜索或生长完毕，其中，n为奇数；

按照本过程可获取倾斜摄影图像中的所有疑似反光区域；

c.将参考物的倾斜摄影图像上的疑似反光区域仿射到参考物的垂直摄影图像上的对应区域，得到每一个疑似反光区域在垂直摄影图中的对应区域。

本步骤是在对图像直接进行模板匹配前先分析图像的明暗信息，获取可能反光区域（疑似反光区域），目的是能够辅助后续让模板图像中的关键点均匀的落在全局区域，而非避开可能缺陷区域，导致由于没有关键点匹配而产生的误匹配；

（3）获取每一个疑似反光区域的关键点及该疑似反光区域的对应区域的关键点，即获取倾斜摄影图像中每一个疑似反光区域中的关键点及倾斜摄影图像中每一个疑似反光区域在垂直摄影图像中对应的区域中的关键点，具体如下：

a.利用SIFT关键点检测获取参考物的倾斜摄影图像中的关键点，根据关键点数量和图像尺寸将参考物的倾斜摄影图像分割为多个相同的区域，具体为：

首先利用SIFT关键点获取倾斜摄影图像中的关键点：

由于SIFT关键点检测是通过高斯差分图像来检测关键点，因此，对倾斜摄影图像进行下采样获取n张下采样图像，对每张下采样图像进行m次不同程度的高斯模糊获得m张尺度相同、模糊程度不同的下采样图像，将尺度相同的相邻不同模糊程度的图像进行差分获得高斯差分图像；

根据每个高斯差分图像中每个像素点及其邻域像素点，在上、下相邻高斯差分图像中对应的像素点中的灰度的极大值的像素点和灰度极小值的像素点，得到倾斜摄影图像中每个像素点与其邻域像素点中的关键点；

具体如下：

在差分图像每一个像素点要与其

邻域内相邻点比较（其中M、N为当前识别层图像的尺寸），看其是否比它的图像域（是同一张图像中邻域内的点）和尺度域（上下相邻两张差分图像中相同区域的点）的相邻像素点灰度值的大小，找出所有的灰度值的极大值和极小值，将极大值、极小值对应的像素点作为关键点；

然后，据关键点数量和图像尺寸将倾斜摄影图像分割为多个相同的区域，具体如下：

获取参考物的倾斜摄影图像中关键点数量m，图像大小为M

N；

将倾斜摄影图像分割为关键点数量m个区域，每个区域的大小为倾斜摄影图像面积除以关键点数量，即将倾斜摄影图像分割为m个大小为

的区域。

b.根据每个区域内关键点出现的频率将区域分为关键点均匀区域和关键点不均匀区域两种，具体如下：

首先，对于每个区域，统计该区域内关键点的频率：

式中，m为图像中常规获取的关键点数量，M

N为模板图像的大小，n为第i个大小为

的小区域内关键点的数量，

为第i个区域；

需要说明的是，若此时是获取垂直摄影图像中的关键点均匀区域和不均匀区域，由于垂直摄影的图像拍摄角度不易受到光照的干扰，故而垂直摄影图像不易存在反光情况，将其作为模板图像与其他图像进行匹配时需要保证模板图像上的关键点能够均匀的分布在整个图像上，尤其是斜摄影图像中可能反光区域与模板图像中的对应区域更需要均匀的分布关键点，才能保证后续匹配失败是由于反光而非是模板图像部分区域不存在关键点而导致匹配失败；

然后将每个区域的关键点频率与频率阈值对比：

当区域内关键点的频率大于等于频率阈值时，认为该区域的关键点分布均匀，该区域为关键点均匀区域；反之，认为当前区域的关键点分布过少，该区域为关键点不均匀区域；本实施例中频率阈值为

，即当

时，认为该区域的为关键点均匀区域，当

时，该区域为关键点不均匀区域；

需要说明的是，对于关键点频数满足阈值的小区域不再为其辅助获取新的关键点，因为该区域相对于整个模板图像来说关键点的分布较均匀；反之对于关键点频率小于阈值的小区域需要后续为其选取合适的关键点，以保证其内部的关键点相对于整个模板图像来说也是均匀的，将所有关键点频数不满足阈值的区域标注出来，后续为其选取合适关键点；

c.将每个关键点不均匀区域中每个像素点与其上、下、左、右四个相邻区域中距离最近的关键点相连，得到每个关键点不均匀区域中每个像素点的拓扑结构，具体过程为：

对于每个关键点不均匀区域（关键点频率不满足频率阈值的小区域），以该区域为中心，获取到其周围上、下、左、右四个相邻的区域，获取四个相邻的区域中的关键点的坐标；

以关键点不均匀区域中每个像素点为中心，与上、下、左、右每个相邻区域中的距离最近的关键点相连，得到关键点不均匀区域中该像素点的拓扑结构；

如图2所示，灰色点为中心区域内的第一个用于构建拓扑结构的点，黑色点为常规获取到的关键点，中心区域的上、下、左、右相邻区域中与该灰色点距离最近的关键点，生成的中心区域的灰度点的拓扑结构图如图3所示；

后续按照自左向右、自下向上的顺序对中心区域（关键点不均匀区域）内的每个像素点依次与相邻区域中的最近的关键点相连，得到关键点不均匀区域中每个像素点构建的拓扑结构图。

需要说明的是，获取拓扑结构的原因是，因为对于一个灰度十分平滑的区域，使用常规的方法无法为其选取局部极大值或极小值点，即无法选取出关键点，但是该区域仍然满足尺度不变特征，因此对于关键点分布较少的区域，需要根据该区域周围关键点的分布情况为该区域构造合适的关键点，本发明通过构造拓扑结构来进行说明。

d.将参考物的倾斜摄影图像中每个关键点不均匀区域中，每个像素点的拓扑结构，和参考物的多个倾斜角度的摄影图像中对应的关键点不均匀区域中，对应位置的像素点的拓扑结构相同的次数最多的像素点，作为每个关键点不均匀区域中的准确的关键点，具体如下：

获取倾斜摄影图像中每个关键点不均匀区域的每个像素点的拓扑结构，并获取多个倾斜角度的摄影图像中对应位置的像素点的拓扑结构，得到每个关键点不均匀区域的每个像素点的拓扑结构在多个倾斜角度的摄影图像中相同的次数；

将拓扑结构在多个倾斜角度的摄影图像中出现的次数最多的像素点，作为不均匀区域中的准确关键点；需要说明的是，若存在多个次数最多的像素点，则都为准确的关键点；因为有四个倾斜摄影图像和一个垂直摄影图像，所以同一个位置的像素点的拓扑结构在倾斜摄影图像中相同的次数最多为5；

例如倾斜摄影图像1中的第1个关键点不均匀区域中的第1个像素点的拓扑结构，在其他四个摄影图像中的对应的第1个关键点不均匀区域中的第1个像素点的拓扑结构中，有2个拓扑结构是相同的；

倾斜摄影图像1中的第1个关键点不均匀区域中的第5个像素点的拓扑结构，在其他四个摄影图像中的对应的第1个关键点不均匀区域中的第1个像素点的拓扑结构中，有4个拓扑结构是相同的，则倾斜摄影图像中的第1个关键点不均匀区域中的第5个像素点为准确的关键点；

具体说明如下：

每当关键点不均匀区域的一个点与其余各点构成拓扑结构后，通过仿射变换分析其余四个倾斜摄影图像中对应的区域是否存在于该拓扑结构相同的结构，如果存在，则对该灰色点的拓扑不变性程度值，本质是该拓扑结构在倾斜摄影图像中出现的次数，

，其中Qa的初始值为1，依次对目标的所有点构成的拓扑结构在倾斜摄影图像中进行相同拓扑结构出现次数的统计，作为关键点不均匀区域各个像素点的拓扑不变性；

最终选取拓扑结构在摄影图像中出现的次数最多的点，也就是拓扑不变性最强的点

作为关键点不均匀区域的关键点，进行后续关键点匹配，因为关键点自身存在尺度不变性，也因此这些关键点在倾斜摄影图像中也是存在的，那么这些关键点与其余一点构成的拓扑关系也满足拓扑不变性时说明拓扑结构上的所有点均满足尺度不变性，故拓扑不变性最强的点可以作为中心区域新设的关键点；

对所有关键点频数不满足阈值的小区域（关键点不均匀区域）均使用上述方法获取拓扑不变性最强的点作为该区域的准确关键点。

需要说明的是，若是获取垂直摄影图像（模板图像）中的关键点，则模板图像的每个区域都存在可以进行匹配的关键点，满足了关键点全局分布的均匀性。

e.将每个关键点不均匀区域的准确关键点和每个关键点均匀区域中的关键点作为参考物的倾斜摄影图像中的所有关键点；

因为每个关键点均匀区域中的关键点的分布是均匀的，可用于后续关键点匹配，也是准确的，因此，不对关键点均匀区域内的关键点进行处理，默认其本身就是准确的关键点，只是对关键点不均匀区域中的关键点进一步进行确定，因为该区域可能是由于光照引起的关键点不均匀，所以需要进一步确定出关键点不均区域中的准确关键点，将不均区域中的准确关键点和关键点均匀区域中关键点共同作为垂直摄影图像中的所有关键点；

因为本实施例中首先对倾斜摄影图像进行第一次区域划分，即划分出疑似光照区域，而后有根据关键点数量进行二次区域划分，检测出倾斜图像中的所有关键点，因此可以获取到疑似反光区域中包含的关键点，作为疑似反光区域中的关键点；

f.提取倾斜摄影图像中的每一个疑似反光区域在垂直摄影图中的对应区域内包含的关键点，即获取垂直摄影图像中与倾斜摄影图像中每一个疑似反光区域的对应区域中的关键点，具体如下：

获取垂直摄影图像中的关键点，方法与倾斜摄影图像一致，即本方法中的a至e过程，将倾斜摄影图像换成垂直摄影图像进行相同处理即可；

可得到每一个疑似反光区域的对应区域内包含的关键点，即提取倾斜摄影图像中的每一个疑似反光区域在垂直摄影图中的对应区域内包含的关键点。

（4）利用每一疑似反光区域的关键点与对应区域的关键点进行匹配，获取每一疑似反光区域中每个关键点的匹配成功率，具体为：

在每一个疑似反光区域的对应区域（垂直摄影图像中与倾斜摄影图像中的疑似反光区域对应的区域）中为该疑似反光区域（倾斜摄影图像）中的关键点选出欧式距离最近（欧式距离为

）和次近（欧式距离为

）的两个关键点

和

；

当最近的欧式距离和次近的欧式距离的比值小于等于比例阈值时，即

的值小于等于比例阈值时，最近的欧式距离对应的关键点

与疑似反光区域中的关键点匹配成功，否则，匹配失败，本实施例中比例阈值为0.4；

获取每个疑似反光区域中关键点和每个疑似反光区域的对应区域中的关键点的匹配成功率：

公式中，A为该疑似反光区域内的关键点，a为该疑似反光区域内匹配成功的关键点。

（5）根据每个疑似反光区域中每个关键点的匹配成功率和该疑似反光区域中所有像素点明暗程度得到每个疑似反光区域的置信度，并利用获取的每一个疑似反光区域的置信度获取所有疑似反光区域中的反光区域：

a.获取每个疑似反光区域中每个像素点的明暗程度，获取过程与角度调整模块S101中（1）的a过程一致；

b.将关键点的匹配成功率

和该疑似反光区域中像素点的明暗程度均值的比值为指数，以e为底数，得到指数幂e的

次方；

将该指数幂的倒数作为该区域为反光区域的置信度

：

公式中：e为自然常数，w为疑似反光区域中的像素点个数，i为第i个像素点，

为第i个像素点的明暗程度；

 

为疑似反光区域中像素点的明暗程度均值；

计算整个区域的明暗程度，分母越大时为反光区域的可能性越大，并且当匹配成功的概率越小时为反光区域的可能性越大，二者成反比例关系，故使用比值运算；e的指数幂目的是对计算结果进行归一化处理，便于后续选取合适的阈值；

c.将置信度大于置信度阈值的疑似反光区域作为反光区域：

至此，对每个可能反光区域通过关键点匹配的成功率，再次确认当前区域为反光区域的置信度，最终将

置信度阈值的区域确定为反光区域，本实施例中置信度阈值为

；

本模块的有益效果：常规的对关键点直接进行匹配的话可能由于垂直摄影图像上的某些区域不存在关键点而导致与倾斜摄影图像上的某些区域匹配失败，但这个匹配失败的并不一定是由于倾斜摄影图像上反光区域，而是由于模板图像上本身就不存在关键点。故通过上述先获取关键点不均匀的区域，然后再根据拓扑结构不变性为关键点稀少的区域重新选取合适的关键点，最后再根据可能反光区域的匹配成功率求得该区域的反光置信度。很大程度上减少了判断误差。

（6）调整倾斜摄像头的初始拍摄角度，获得在调整初始拍摄角度后的倾斜摄影图，并获取该调整初始拍摄角度后的倾斜摄影图中的反光区域，继续调整倾斜摄像头的初始拍摄角度，直至倾斜摄影图中的反光区域不再减小为止，将该调整后的角度作为倾斜摄像头的最佳拍摄角度，得到所有倾斜摄像头的最佳拍摄角度，具体为：

若反光区域处于倾斜摄影图像的下方时，增大倾斜摄像头的拍摄角度，若反光区域处于倾斜摄影图像的上方时，减小倾斜摄像头的拍摄角度；本实施例中每次增大/减小都为1度，具体可自行设置；

每次增大/减小倾斜摄像头的拍摄角度后，重新获取参考物的垂直摄影图像和参考物的倾斜摄影图像中的反光区域；

不断调整，直至反光区域面积不再减少为止，将反光区域面积不再减少为止时的拍摄角度作为最佳拍摄角度，利用最佳拍摄角度进行后续摄影；调整后得到最佳拍摄角度，此时光照区域对摄影图像影响最小，将此时的摄影角度作为最佳拍摄角度；

进一步的，利用图像采集模块中的中心摄像头及调整到最佳拍摄角度的倾斜摄像头对目标物进行拍摄，可以得到不受光照影响或者受到光照影响最小的摄影图像，基于该图像进行三维建模，精度更高；为了使得三维重建时的重建效果更好，故倾斜摄影获得的图像应尽可能的避免存在反光区域，故根据上述获得的反光区域进行倾斜摄影的倾斜角度调整，得到质量高的图像进行精准的三维建模。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种无人机辅助倾斜摄影图像采集系统，其特征在于，包括：

图像采集模块：包括用于进行垂直拍摄的中心摄像头和设在该中心摄像头四周用于倾斜拍照的倾斜摄像头；

角度调整模块：

设置倾斜摄像头的初始拍摄角度，并利用设置完成后的倾斜摄像头和垂直摄像头对参考物进行拍照，获取参考物的垂直摄影图和倾斜摄影图；

提取倾斜摄影图中所有的疑似反光区域及每一个疑似反光区域在垂直摄影图中的对应区域；

所述提取倾斜摄影图中所有的疑似反光区域及每一个疑似反光区域在垂直摄影图中的对应区域：

根据参考物的倾斜摄影图像中每个像素点的灰度值得到参考物的倾斜摄影图像中每个像素点的明暗程度；

基于像素点的明暗程度对参考物的倾斜摄影图像进行区域生长，得到的多个生长区域作为参考物的倾斜摄影图像的疑似反光区域；

将参考物的倾斜摄影图像上的疑似反光区域仿射到参考物的垂直摄影图像上的对应区域，得到每一个疑似反光区域在垂直摄影图中的对应区域；

获取每一个疑似反光区域的关键点及该疑似反光区域的对应区域的关键点；

所述获取每一个疑似反光区域的关键点及该疑似反光区域的对应区域的关键点：

利用SIFT关键点检测获取参考物的倾斜摄影图像中的关键点，根据关键点数量和图像尺寸将参考物的倾斜摄影图像分割为多个相同的区域；

根据每个区域内关键点出现的频率将区域分为关键点均匀区域和关键点不均匀区域两种；

将每个关键点不均匀区域中每个像素点与其上、下、左、右四个相邻区域中距离最近的关键点相连，得到每个关键点不均匀区域中每个像素点的拓扑结构；

将参考物的倾斜摄影图像中每个关键点不均匀区域中，每个像素点的拓扑结构，和参考物的多个倾斜角度的摄影图像中对应的关键点不均匀区域中，对应位置的像素点的拓扑结构相同的次数最多的像素点，作为每个关键点不均匀区域中的准确的关键点；

将每个关键点不均匀区域的准确关键点和每个关键点均匀区域中的关键点作为参考物的倾斜摄影图像中的所有关键点；

可得到倾斜摄影图像中的每一个疑似反光区域内包含的关键点；

获取垂直摄影图像中的关键点，获取方法与倾斜摄影图像一致；可得到每一个疑似反光区域的对应区域内包含的关键点；

利用每一疑似反光区域的关键点与对应区域的关键点进行匹配，获取每一疑似反光区域中每个关键点的匹配成功率；

根据每个疑似反光区域中每个关键点的匹配成功率和该疑似反光区域中所有像素点明暗程度得到每个疑似反光区域的置信度，并利用获取的每一个疑似反光区域的置信度获取所有疑似反光区域中的反光区域；

所述根据每个疑似反光区域中每个关键点的匹配成功率和该疑似反光区域中所有像素点明暗程度得到每个疑似反光区域的置信度，并利用获取的每一个疑似反光区域的置信度获取所有疑似反光区域中的反光区域：

获取每个疑似反光区域中每个像素点的明暗程度；

将关键点的匹配成功率和该疑似反光区域中像素点的明暗程度均值的比值为指数，以e为底数，得到指数幂，将该指数幂的倒数作为该疑似反光区域的置信度；

将置信度大于置信度阈值的疑似反光区域作为反光区域；

调整倾斜摄像头的初始拍摄角度，获得在调整初始拍摄角度后的倾斜摄影图，并获取该调整初始拍摄角度后的倾斜摄影图中的反光区域，继续调整倾斜摄像头的初始拍摄角度，直至倾斜摄影图中的反光区域不再减小时调整后的角度作为倾斜摄像头的最佳拍摄角度，得到所有倾斜摄像头的最佳拍摄角度；

利用图像采集模块中的中心摄像头及调整到最佳拍摄角度的倾斜摄像头对目标物进行拍摄。

2.根据权利要求1所述的一种无人机辅助倾斜摄影图像采集系统，其特征在于，所述根据关键点数量和图像尺寸将倾斜摄影图像分割为多个相同的区域：

获取参考物的倾斜摄影图像中关键点数量；

将关键点数量作为分割区域个数，将参考物的倾斜摄影图像面积除以分割区域个数作为每个区域的面积大小。

3.根据权利要求1所述的一种无人机辅助倾斜摄影图像采集系统，其特征在于，所述根据每个区域内关键点出现的频率将区域分为关键点均匀区域和关键点不均匀区域两种：

获取每个区域内关键点的频率；

当区域内关键点的频率大于等于频率阈值时，该区域为关键点均匀区域，反之，该区域为关键点不均匀区域。

4.根据权利要求1所述的一种无人机辅助倾斜摄影图像采集系统，其特征在于，所述利用每一疑似反光区域的关键点与对应区域的关键点进行匹配，获取每一疑似反光区域中每个关键点的匹配成功率：

在每一个疑似反光区域的对应区域中为该疑似反光区域的中的关键点选出欧式距离最近和次近的两个关键点；

当最近的欧式距离和次近的欧式距离的比值小于等于比例阈值时，最近的欧式距离对应的关键点与疑似反光区域中的关键点匹配成功，否则，匹配失败；

得到每一疑似反光区域中每个关键点的匹配成功率。

Images