CN109472752B

CN109472752B - 基于航拍图像的多曝光融合系统

Info

Publication number: CN109472752B
Application number: CN201811274144.0A
Authority: CN
Inventors: 赵德群; 刘戚思远
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2018-10-30
Filing date: 2018-10-30
Publication date: 2022-05-03
Anticipated expiration: 2038-10-30
Also published as: CN109472752A

Abstract

本发明公开了一套基于航拍图像的多曝光融合系统，该系统含有图像配准、图像校正、图像融合功能模块：配准模块包括提取图像特征点以及图像匹配；校正模块包括图像的校正及裁剪；融合模块采用多曝光图像融合算法进行图像的融合。本发明采用数张航拍地点相近的图像，改变了以往多曝光融合的图像需在固定点拍摄的弊端，实现了成像设备与成像目标有相对位移的图像动态范围提升，能够消除航拍时的位移误差，有效扩展航拍图像的动态范围，更好应用于航拍图像。同时通过软件操作，保证了使用者对航拍图像融合的可视化操作，感受到图像融合的高效性与便利性。

Description

基于航拍图像的多曝光融合系统

技术领域

本发明涉及基于航拍图像的多曝光融合系统，涉及多曝光融合领域，图像配准领域、空间航拍图像领域以及开发系统搭建等领域。

背景技术

近年来，国内外许多公司及个人都将无人机技术结合运用到自身领域中，利用无人机技术进行海洋、城市、林场、牧场、农田等环境检测及拍摄都具有重大的意义。可是将无人机的遥感图像直接进行使用，会产生局部曝光过度或细节缺失等情况，所以这时就需要扩展航拍图像的动态范围。

在高动态范围(high dynamic range,HDR)图像生成领域，目前国内外应用最为广泛的方法是硬件感光元件直接获取HDR图像的方法和多曝光图像融合方法。这两种方式存在以下缺陷：采用直接获取HDR图像需要特定的拍摄设备，硬件成本较高；采用现有的多曝光图像融合方法只能基于成像设备与成像目标不能有相对运动这一前提之上，对于航拍图像间有相对位移、镜头抖动、拍摄角度不同等特点没有很好的解决。因此，迫切需要一种成本较低且基于航拍图像特性的高动态图像融合方案。因此需要增加其他技术来解决航拍图像的特殊问题。

由于多曝光图像融合方法对于扩展图像动态范围有着很好的效果，只是不完美适用于航拍图像的特性，这就需要引入图像配准技术来消除成像设备与成像目标间的运动。图像配准(Image registration)是将不同成像时间、不同图像传感器或不同成像条件下获取的两幅或多幅图像，通过空间变换进行匹配，使图像内容达到空间或者解剖上的一致。根据所使用的理论和方法，图像配准可分为基于灰度配准、基于特征配准和基于对图像的理解和解释进行配准三种。基于特征的配准的基本思想是提取待配准图像中的特征点、线、区域等特征信息，利用算法将对应特征进行匹配，然后计算出空间变换模型的各个参数。这种方法对图像灰度的整体变化有一定鲁棒性，所以本系统采取此方法进行图像的配准。

发明内容

针对航拍图像扩展动态范围，需要一个解决目标与相机有相对运动且成本较低的方案，选择多曝光融合可以节省成本这一可行点；同时在图像融合模块之前加入图像配准和校正模块，更好解决航拍图像间的位移这一问题，用于扩展空间图像的动态范围。

本发明采用的技术方案为基于航拍图像的多曝光融合系统，该系统包括航拍图像信息数据库图像配准模块、图像校正模块和图像融合模块；航拍图像信息数据库包括航拍图片以及航拍镜头信息；

航拍图像信息数据库的设计与搭建：根据无人机所传输的图像信息、镜头参数等数据信息，以及无人机方向信息等，设计并分类于航拍图像信息数据库，并根据所采集的信息运用数据库技术及SQL语言设计用于管理的数据库。航拍图像信息数据库分为以下数据表：分别为航拍图片表、无人机镜头参数数据表、无人机方向信息表构成。航拍图片表为本数据库设计核心数据表，航拍图片表的主键作为无人机镜头参数数据表、无人机方向信息表的外键，航拍图片表、无人机镜头参数数据表、无人机方向信息表三者紧密相连。海航拍图像信息数据库采用MySQL数据库，同时图片以保存的路径的方式存储到数据库中。实现地理信息数据库的访问以及对应的增删改查操作。

图像配准模块包括图像特征点提取和特征点匹配两个环节。本发明的图像特征提取采用SURF特征提取算法，特征点匹配采用粗-精匹配相结合的方法，提高算法准确性。特征提取时，对每幅输入图像利用SURF算法检测特征点并创建描述子，形成各幅图像的特征点集。图像匹配时，选其中一幅输入图像作为基准图像，其他作为浮动图像。根据输入图像的特征点集，先通过基于欧氏距离的粗匹配算法计算匹配点对集合；然后利用RANSAC算法排除外点并拟合出投影变换模型。

图像校正模块是根据图像配准模块计算出的投影变换模型对浮动图像进行校正和裁剪。为方便后续处理，拟合出的变换模型应该是由基准图像映射到浮动图像的变换模型。然后利用后向映射算法，将浮动图像矫正到基准图像的空间坐标系下，经过裁剪选取所有输入图像的共有交集。

图像融合模块是对校正并裁剪的图像进行多分辨率多曝光融合。采用基于金字塔分解的多分辨率融合方法。将若干幅在不同曝光时间下所获取的图像的信息集合到一幅图像上，用于扩展图像的动态范围，使其更符合人眼所见的场景。

软件系统由Visual Studio搭载wxWidgets界面库进行界面设计，搭载boost库以及OPENEXR等格式库进行，软件系统包括界面设计，图片载入，计算优化图像尺寸，自动裁切，用户自定义曝光、白平衡参数，设置图像存储格式输出功能项；可使图像在图形窗口中进行处理，并增加了许多相关功能，如：计算优化图像尺寸；自动裁切；手动自定义曝光、白平衡参数；更改图像存储格式。

与现有技术相比，本发明具有以下优点：

本发明提高了无人机航拍图像读取、信息装载、曝光及白平衡调节的处理效率，有效的提高了经济效益；通过图像配准与高斯和拉普拉斯金字塔分解技术进行融合，有效提高了航拍图像的动态范围，改变了以往在固定点拍照的弊端，使得拍摄区域扩大化，大大提高了拍摄效率；降低算法的时间和空间复杂度，使系统能够实现对高分辨率图像的快速处理。同时用户通过软件操作，保证了其对扩展航拍图像动态范围过程的可视化，感受到航拍图像融合的高效性与便利性。

附图说明

图1为系统设计方案流程图；

图2为多曝光融合系统主界面图；

图3为多曝光融合系统可视化界面图

具体实施方式

下面结合附图和实施步骤对本发明做进一步说明。

本发明系统的设计方案如图1所示，主要分为三个部分：数据载入阶段、图像处理阶段以及系统软件设计。其中，数据接入阶段采用数据库录入方法，可有效保证数据存储便捷，读取速度快；图像处理阶段完成所有图像编辑功能，包括图像配准模块、图像校正模块、图像融合模块；系统软件设计来完成所有的界面功能，使操作步骤可视化，易于操作。

一、数据接入阶段：

主要是将无人机在执行飞行任务后，其所拍摄到的多张针对同一拍摄目标的图像信息和其他相关数据进行数据读取，通过数据接入模块传送至系统界面。拍摄时，相机与拍摄场景可以有相对运动。

数据库设计，主要以航拍图像作为数据来源，其次还有镜头参数、航拍角度作为辅助数据来源；本发明采用MySQL数据库作为数据库平台，通过SQL语言实现对数据库中表的创建、数据的添加、删除、查询及更新等功能。同时图片以保存的路径的方式存储到数据库中，便于软件系统的访问。

二、图像处理阶段：

主要分为图像配准模块、图像校正模块、图像融合模块：

图像配准模块：主要是对成像场景提取特征点并进行特征点的粗-精匹配，拟合出图像间的变换模型，为下一步的图像校正模块做准备。

在本发明算法中，待拟合数学模型为投影变换模型。该模型所需的最小控制点对，即最小样本数，为4对粗匹配点对。RANSAC算法具体步骤如下：

S1：在粗匹配点集中任取4对匹配点对，但这4对点对中任意3点不共线。计算转移矩阵H的参数；

S2：用粗匹配点集中的其它点对来适应转移矩阵H，计算变换后的点的误差。若误差小于一个像素，则认为该点为投影模型内的内点；否则判定其为外点；

S3：统计转移矩阵为H的投影模型的内点数量；

S4：重复步骤S1至步骤S3，标记内点数量最多的转移矩阵H为最终结果。如果内点数量总少于总数的三分之一，则匹配失败。

图像校正模块：主要是根据图像匹配模块计算出的图像变换模型，将图像中的有相对偏移的成像目标校正到同一位置中。校正后，进行裁剪，便于进行图像融合。

采用配准后的航拍图像进行校正，具体实施步骤如下：

S1：创建一幅大小与基准图像一致的空白图像；

S2：从图像原点开始，逐像素根据空间位置(x,y)依照投影变换模型映射到对应的浮动图像中，计算得映射后的坐标(x’,y’)；

S3：如果坐标(x’,y’)为基准图像范围R内的整数坐标，则I(x,y)＝R(x’,y’)；如果坐标(x’,y’)为基准图像R范围内的非整数坐标，则利用双线性插值算法，计算出位置(x’,y’)应取的像素值R’(x’,y’)，并使I(x,y)＝R’(x’,y’)；如果(x’,y’)不在基准图像范围内，则将I(x,y)置黑，即使I(x,y)＝0；

S4：根据S3，对空白图像的所有像素遍历之后，得到浮动图像F的校正图像。

图像融合模块：主要是将校正模块的输出图像进行基于高斯和拉普拉斯金字塔分解的多曝光融合，以便扩展其动态范围，使图像更宜于人眼观察。

采用校正后的航拍图像进行融合，具体实施步骤如下：

S1：计算权重图，将图像数据归一化至[0,1]区间内，对原图像进行拉普拉斯滤波，滤波后取绝对值作为对比度参数。点(x,y)的权重值计算公式如下式所示：

式中Contrast(x，y)和Exposure(x，y)分别表示点(x,y)的对比度参考值和曝光良好度参考值，W_c和W_E分别表示对比度和曝光良好度对权重的贡献大小，一般均取1。

对图像序列中每幅图像的所有数据按照以上计算方法遍历，得出三幅输入图像各自对应的权重图WeightMap₁、WeightMap₂和WeightMap₂。对三幅权重图中每个位置的数据和进行归一化，使所有权重图的同空间位置的权重值之和为1。

S2：对权重图进行高斯金字塔分解。第0层图像数据为原始图像，之后的每一层数据都是低一层级的数据经高斯模糊后再进行降2采样所得，因此高斯金字塔的每层数据的尺寸都是下层图像的四分之一大小。若采用5×5的高斯模板w(m,n)进行滤波，分解算法如下：

S3：对原始图像进行拉普拉斯金字塔分解。第0层图像数据G₀为原始图像。分解时，将第l层图像数据G_l进行高斯模糊和下采样，得到图像G_l+1。对图像G_l+1进行上采样扩展，可得到高斯近似图像

将第l层图像数据G_l与所得的扩展后的高斯近似图像

相减，即可得到包含高频信息的拉普拉斯金字塔的第l层图像数据L_l。

S4：图层融合。将待融合图像根据两座金字塔进行层间融合。

S5：重建图像。得到融合金字塔后，从融合金字塔的最上层图像数据进行上采样，扩展图像后与下一层图像相加，最后得到一幅与待融合图像尺寸相等的融合图像。

三、系统软件设计：

本发明的主界面如图2所示，利用Visual Studio搭载的wxWidgets界面库实现了前端可视化界面的创建，并通过搭载boost库以及OPENEXR等格式库进行C++开发，实现图像在图形窗口中进行处理，多曝光融合系统的可视化界面如图3所示，实现了预览融合结果、调整图像位置、裁剪、显示控制点等逻辑功能；

主要进行包括以下任务功能的设计与实现：

一、助手功能：

装载图像：软件载入需要处理的航拍图像。

装载飞行数据：软件载入航拍图像的坐标文件。

装载镜头：软件载入航拍图像的镜头信息并可以手动自行添加信息。

排列：软件将载入的图片自动配准、校正并显示配准校正后的图像结果。

创建图像：软件将图像进行融合并存储。

二、图像配准：

图像显示：当软件需要手动调整控制点时，能够进行图像查看。

图像缩放：软件更改图像显示比例，为之后更好手动增加、删除控制点做准备。

手动增删控制点：软件提供手动选择某两张航拍图像进行匹配点间的增添和删除功能，可以使为图像间更好地配准。

三、图像校正：

图像尺寸校正：软件可以根据航拍图像信息，进行计算优化尺寸。

图像裁切：软件需要将配准好的图像进行自动裁切，方便之后融合。

四、图像融合：

自定义曝光：软件可以手动调节图像的曝光情况。

自定义白平衡参数：软件可以手动调节图像的白平衡情况。

更改图像存储格式：软件可以将融合后的高动态范围图像输出成标准格式和HDR格式，其中包含有JPEG、PNG、EXR及TIFF。

Claims

1.基于航拍图像的多曝光融合系统，其特征在于：包括图像配准模块、图像校正模块、图像融合模块：

图像配准模块：对成像场景提取特征点并进行特征点的粗-精匹配，拟合出图像间的变换模型，为下一步的图像校正模块做准备；

待拟合数学模型为投影变换模型；该模型所需的最小控制点对，即最小样本数，为4对粗匹配点对；RANSAC算法具体步骤如下：

S1：在粗匹配点集中任取4对匹配点对，但这4对点对中任意3点不共线；计算转移矩阵H的参数；

S2：用粗匹配点集中的其它点对来适应转移矩阵H，计算变换后的点的误差；若误差小于一个像素，则认为该点为投影模型内的内点；否则判定其为外点；

S3：统计转移矩阵为H的投影模型的内点数量；

S4：重复步骤S1至步骤S3，标记内点数量最多的转移矩阵H为最终结果；如果内点数量总少于总数的三分之一，则匹配失败；

图像校正模块：根据图像匹配模块计算出的图像变换模型，将图像中的有相对偏移的成像目标校正到同一位置中；

采用配准后的航拍图像进行校正，具体实施步骤如下：

B1：创建一幅大小与基准图像一致的空白图像；

B2：从图像原点开始，逐像素根据空间位置(x,y)依照投影变换模型映射到对应的浮动图像中，计算得映射后的坐标(x’,y’)；

B3：如果坐标(x’,y’)为基准图像范围R内的整数坐标，则I(x,y)＝R(x’,y’)；如果坐标(x’,y’)为基准图像R范围内的非整数坐标，则利用双线性插值算法，计算出位置(x’,y’)应取的像素值R’(x’,y’)，并使I(x,y)＝R’(x’,y’)；如果(x’,y’)不在基准图像范围内，则将I(x,y)置黑，即使I(x,y)＝0；

B4：根据B3，对空白图像的所有像素遍历之后，得到浮动图像F的校正图像；

图像融合模块：是将校正模块的输出图像进行基于高斯和拉普拉斯金字塔分解的多曝光融合，采用校正后的航拍图像进行融合，具体实施步骤如下：

C1：计算权重图，将图像数据归一化至[0,1]区间内，对原图像进行拉普拉斯滤波，滤波后取绝对值作为对比度参数；点(x,y)的权重值计算公式如下式所示：

式中Contrast(x，y)和Exposure(x，y)分别表示点(x,y)的对比度参考值和曝光良好度参考值，W_c和W_E分别表示对比度和曝光良好度对权重的贡献大小，取1；

对图像序列中每幅图像的所有数据按照以上计算方法遍历，得出三幅输入图像各自对应的权重图WeightMap₁、WeightMap₂和WeightMap₃；对三幅权重图中每个位置的数据和进行归一化，使所有权重图的同空间位置的权重值之和为1；

C2：对权重图进行高斯金字塔分解；第0层图像数据为原始图像，之后的每一层数据都是低一层级的数据经高斯模糊后再进行降2采样所得，采用5×5的高斯模板w(m,n)进行滤波，分解算法如下：

C3：对原始图像进行拉普拉斯金字塔分解；第0层图像数据G₀为原始图像；分解时，将第l层图像数据G_l进行高斯模糊和下采样，得到图像G_l+1；对图像G_l+1进行上采样扩展，得到高斯近似图像

将第l层图像数据G_l与所得的扩展后的高斯近似图像

相减，得到包含高频信息的拉普拉斯金字塔的第l层图像数据L_l；

C4：图层融合；将待融合图像根据两座金字塔进行层间融合；

C5：重建图像；得到融合金字塔后，从融合金字塔的最上层图像数据进行上采样，扩展图像后与下一层图像相加，最后得到一幅与待融合图像尺寸相等的融合图像。