CN112184662B

CN112184662B - 应用于无人机图像拼接中的相机外参数初始方法及系统

Info

Publication number: CN112184662B
Application number: CN202011031887.2A
Authority: CN
Inventors: 请求不公布姓名
Original assignee: Chengdu Shuzhilian Technology Co Ltd
Current assignee: Chengdu Shuzhilian Technology Co Ltd
Priority date: 2020-09-27
Filing date: 2020-09-27
Publication date: 2023-12-15
Anticipated expiration: 2040-09-27
Also published as: CN112184662A

Abstract

本发明公开了一种应用于无人机图像拼接中的相机外参数初始方法及系统，本发明的方法包括：获取每一幅航拍图像的卫星导航系统坐标并将其转换为平面坐标；归一化处理得到的图像的平面坐标得到每一幅图像归一化后的中心平面坐标；基于每一幅图像归一化后的中心平面坐标，计算得到该幅图像四个角点的平面坐标；基于每一幅图像的角点对应的平面坐标，计算得到该幅图像的外参初始值。本发明提出了相机外参数初始策略，充分利用无人机的卫星导航系统信息得到每一幅图像的相机外参数，使初始值尽可能的靠近全局最小值，避免在优化相机参数的过程中落入离全局最小值很远的局部极小值，从而可以利用全景拼接算法，实现无人机航摄图的拼接。

Description

应用于无人机图像拼接中的相机外参数初始方法及系统

技术领域

本发明属于无人机航摄图像处理技术领域，具体涉及一种应用于无人机图像拼接中的相机外参数初始方法及系统。

背景技术

现有的无人机图像拼接算法，往往需要重建场景，然后再生成正射图，虽然得到的图像效果可能较好，但过程比较繁琐，计算量大，在输入图像数量较多的时候往往需要耗费大量的时间，同时对设备有较高的要求。

为了解决常规无人机拼接算法耗时长、对设备要求较高的问题，借鉴全景拼接算法拼接无人机图像以解决常规方法耗时长且对设备性能要求高的问题。在利用全景图拼接算法时，最关键的就是相机外参数初始值的选取，传统的全景拼接算法因为没有先验信息，所以一般将相机外参数置为单位矩阵。

全景图拼接算法虽然计算简单，对设备性能要求不高(能在大多数嵌入式设备上运行)，但也存在一些问题。相机参数优化问题是一个非凸的问题，在初始值较差的时候，在优化过程中往往会陷入局部最小值，而在局部最小值处获得的相机参数往往是错误的，会导致拼接失败，尤其在图像数量较多的时候，这一问题尤为突出。因此现有的全景图拼接算法不能直接运用在无人机图像拼接中。

发明内容

本发明提供了一种应用于无人机图像拼接中的相机外参数初始方法。本发明充分利用无人机的卫星导航系统(例如GPS)信息来得到每幅图像的相机外参数，使初始值尽可能的靠近全局最小值，从而尽可能避免在优化相机参数的过程中落入离全局最小值很远的局部极小值，出现图像拼接失败的情况，从而可以利用全景拼接算法完成对无人机航拍图像的拼接。

本发明通过下述技术方案实现：

一种应用于无人机图像拼接中的相机外参数初始方法，该方法包括以下步骤：

步骤S1，获取每一幅航拍图像的卫星导航系统坐标并将卫星导航系统坐标转换为平面坐标；

步骤S2，归一化处理步骤S1得到的图像的平面坐标，得到每一幅图像归一化后的中心平面坐标；

步骤S3，基于每一幅图像归一化后的中心平面坐标，计算得到该幅图像四个角点的平面坐标；

步骤S4，基于每一幅图像的角点和角点对应的平面坐标，计算得到该幅图像的外参初始值；

步骤S5，基于步骤S4获得的每一幅图像的外参初始值，进行无人机航拍图像的全景拼接。

优选的，本发明的步骤S1中所述卫星导航系统至少包括GPS、北斗导航、伽利略和格洛纳斯导航系统中的一种。

优选的，本发明的步骤S2通过下式进行归一化处理：

式中，c′_i表示第i幅图像的中心平面坐标，c_i表示归一化后得到的第i幅图像的中心坐标，n表示图像总数；

所述步骤S2在归一化处理之后，还对c_i的纵坐标取相反数，使其坐标系的纵轴与像素坐标系纵轴方向一致。

优选的，本发明的步骤S3通过下式计算得到每一幅图像角点的平面坐标：

c_i＝[x_i，y_i]^T

式中，c_i表示归一化后的第i幅图像的中心平面坐标，x_i表示c_i的x坐标值，y_i表示c_i的y坐标值；c_itl、c_itr、c_ibl和c_ibr分别表示第i幅图像的左上、右上、左下和右下角点的平面坐标，表示c_itl的x坐标值，/>表示c_itl的y坐标值，/>表示c_itr的x坐标值，/>表示c_itr的y坐标值，/>表示c_ibl的x坐标值，/>表示c_ibl的y坐标值，/>表示c_ibr的x坐标值，/>表示c_ibr的y坐标值；w_i、h_i分别表示第i幅图像的宽和高，r_i表示第i幅图片的分辨率(单位为米/像素)，也就是图像上的一个像素对应的所摄物体的长度有多少米。

优选的，本发明的步骤S4具体包括：

步骤S41，构建损失函数：

式中，e_i表示第i幅图像的损失函数，P_i表示第i幅图像中四个角点对应的世界坐标系下的空间点所构成的点集，P_ij表示P_i中第j个空间坐标点；u_ij表示空间坐标点P_ij对应的像素坐标的齐次坐标；z表示无人机所摄图像像素的深度；K表示相机的内参数矩阵：

其中，f为相机的物理焦距，a为像元大小，即相机成像元件上一个像素的宽度，c_x，c_y分别为w/2，h/2，w为图像的宽，h为图像的高。

步骤S42，基于损失函数构建最小二乘问题，利用LM算法对最小二乘问题进行求解，得到第i幅图像的外参初始值R_i。

另一方面，本发明还提出了一种应用于无人机图像拼接中的相机外参数初始系统，该系统包括坐标转换模块、归一化模块、计算模块、求解模块和输出模块；

所述坐标转换模块用于获取每一幅航拍图像的卫星导航系统坐标并将卫星导航系统坐标转换为平面坐标；

所述归一化模块用于将所述坐标转换模块获得的图像的平面坐标进行归一化处理，得到每一幅图像归一化后的中心平面坐标；

所述计算模块基于每一幅图像归一化后的中心平面坐标，计算得到该幅图像四个角点的平面坐标；

所述求解模块基于每一幅图像的角点和角点对应的平面坐标，计算得到该幅图像的外参初始值；

所述输出模块用于将所述求解模块求解得到的每一幅图像的外参初始值输出，以实现无人机航拍图像的全景拼接。

优选的，本发明的卫星导航系统至少包括GPS、北斗导航、伽利略和格洛纳斯导航系统中的一种。

优选的，本发明的归一化模块通过下式进行归一化处理：

所述归一化模块还对c_i的纵坐标取相反数，使其坐标系的纵轴与像素坐标系纵轴方向一致。

优选的，本发明的计算模块通过下式计算得到每一幅图像角点的平面坐标：

c_i＝[x_i，y_i]^T

式中，c_i表示归一化后的第i幅图像的中心平面坐标，x_i表示c_i的x坐标值，y_i表示c_i的y坐标值；c_itl、c_itr、c_ibl和c_ibr分别表示第i幅图像的左上、右上、左下和右下角点的平面坐标，表示c_itl的x坐标值，/>表示c_itl的y坐标值，/>表示c_itr的x坐标值，表示c_itr的y坐标值，/>表示c_ibl的x坐标值，/>表示c_ibl的y坐标值，表示c_ibr的x坐标值，/>表示c_ibr的y坐标值；w_i、h_i分别表示第i幅图像的宽和高，r_i表示第i幅图片的分辨率(单位为米/像素)，也就是图像上的一个像素对应的所摄物体的长度有多少米。

优选的，本发明的求解模块包括函数构建单元和初始值求解单元；

所述函数构建单元用于构建损失函数：

所述初始值求解单元基于损失函数构建最小二乘问题，利用LM算法对最小二乘问题进行求解，得到第i幅图像的外参初始值R_i。

本发明具有如下的优点和有益效果：

本发明提出了相机外参数初始策略，充分利用无人机的卫星导航系统信息来得到每一幅图像的相机外参数，使初始值尽可能的靠近全局最小值，从而避免在优化相机参数的过程中落入离全局最小值很远的局部极小值，出现图像拼接失败的情况，从而可以利用全景拼接算法，实现无人机航摄图的拼接。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明的方法流程示意图。

图2为本发明的系统原理框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

本实施例提出了一种应用于无人机图像拼接中的相机外参数初始方法，本实施例利用卫星导航系统信息生成外参矩阵的初始值，从而可以利用全景拼接算法完成对无人机航拍图像的拼接。

无人机航拍的过程中，因为航拍的高度较高，相机距离拍摄物体较远，所以不同位置拍摄的图像之间的视差可以忽略。因为忽略了视差，所以就可以看作相机是在很远的一个点只进行旋转来拍摄所有的图像，即可以利用相机旋转来代替相机的位移。这也就构成了全景拼接算法的应用场景，可以用全景图的拼接算法拼接图像。

如图1所示，本实施例的方法包括以下步骤：

步骤一，将每一幅航摄图像的卫星导航系统坐标转换成平面坐标。

本实施例中无人机航摄系统采用GPS导航系统，GPS中常用的坐标系为WGS84坐标系。利用gdal库可以实现每一幅图的WGS84坐标系到平面坐标系的转换，所采用的平面坐标系为Xian 1980/Gauss-Kruger zone 13(EPSG:2327)。如果这幅图是经过正射校正了的，那么得到的平面坐标c就是这幅图的中心像素。

在另外的优选实施例中，还可以采用北斗导航、伽利略和格洛纳斯导航系统的信息来生成外参初始值。

步骤二，平面坐标归一化处理

对所有平面坐标进行归一化。目前的平面坐标没有进行归一化，会影响迭代优化的效果。因此本实施例采用去均值来对坐标进行归一化，假定c′_i是第i个图像中点的平面坐标，那么归一化后得到的中点c_i为：

其中n为图像总数。

然后对c_i的纵坐标取相反数，使其坐标系的纵轴与像素坐标系纵轴方向一致。

步骤三，计算角点的平面坐标

仅靠中心一个像素的平面坐标不足以构成足够的约束来得到正确的初始值，本实施例利用已知的图像分辨率r(m/像素)，通过下式可以计算出每幅图像四个角点的平面坐标：

c_i＝[x_i，y_i]^T

步骤四，构建损失函数

得到每一幅图像的角点和角点对应的平面坐标后，单独对每幅图像计算相机外参。首先相机的内参K已经通过标定测量得到，视作已知量，且每个图像的内参相同。其次，因为是用相机的旋转来替代相机的平移，所以本实施例只考虑相机的旋转矩阵R，不考虑相机的平移t。另外，这里忽略了图像间的视差，假定所摄物体都处于一个平面，所以对于所有像素的深度都可以设置为z，这里的z可以不必等于无人机的飞行高度，需要设置一个远大于飞行高度的值，z越大，最终结果更像是在同一个平面。利用相机内外参数，可以将世界坐标系下的空间点重投影到图像坐标系下：

写作矩阵形式就是：

zu＝KRP

对于单幅图像，假定四个角点对应的世界坐标系下的空间点所构成的点集为

构建损失函数：

式中，e_i表示第i幅图像的损失函数，P_i表示第i幅图像中四个角点对应的世界坐标系下的空间点所构成的点集，P_ij表示P_i中第j个空间坐标点；u_ij表示空间坐标点P_ij对应的像素坐标的齐次坐标；z表示无人机所摄图像像素的深度，K表示相机的内参数矩阵：

其中f为相机的物理焦距(单位为米)，a为像元大小，即相机成像元件上一个像素的宽度(单位为m)，c_x，c_y分别为w/2，h/2，w为图像的宽，h为图像的高(单位均为像素)。

令：

e_ij表示P_i中第j个空间坐标点的损失；该误差有3维，但第三维作差后始终为0，因此本实施例只考虑前两维。

步骤五，求解初始值

最小化损失函数就可以得到一个最小二乘问题：

利用LM算法就可以求解此问题，Ceres等等许多库都实现了LM算法，只需要选择一个库调用即可，也可以自己写出，这里就不做过多介绍。LM算法的关键就是雅各比矩阵的求解与优化参数的更新。这里使用李代数扰动模型，优化的参数就是旋转矩阵对应的李代数，即旋转向量，更新旋转矩阵可以使用李代数的指数映射来乘以旋转矩阵，这些操作都已在开源库Sophus中实现。

首先定义：

P′＝RP＝[x′，y′，z′]^T

给出损失e_i关于扰动量ξ的导数：

其中，f_x，f_y为相机在x方向和y方向的焦距，即K矩阵中K(1,1)与K(2,2)的值。

再给出用扰动更新旋转矩阵的方法：

R_new＝exp(ξ)R_i

上式中的exp()函数已经在Sophus库中实现，可以直接调用。

定义了雅各比矩阵的求解与参数更新后，就可以利用LM算法实现对参数的迭代优化更新，最终求出第i幅图像的外参初始值R_i。

步骤六，代入全景图拼接算法

在全景拼接算法进行光束平差法或其他优化算法之前，将通过步骤一至步骤五计算得到的每幅图像的外参初始值带入全景拼接算法的优化算法。

实施例2

基于上述实施例1，本实施例还提出了一种应用于无人机图像拼接中的相机外参数初始系统，如图2所示，本实施例的系统包括：

坐标转换模块，用于将每一幅航摄图像的卫星导航系统坐标转换成平面坐标。

本实施例中无人机航摄系统采用GPS导航系统，GPS中常用的坐标系为WGS84坐标系。利用gdal库可以实现每一幅图的WGS84坐标系到平面坐标系的转换。如果这幅图是经过正射校正了的，那么得到的平面坐标c就是这幅图的中心像素。

归一化模块，用于对平面坐标进行归一化处理。

对所有平面坐标进行归一化。目前的平面坐标没有进行归一化，会影响迭代优化的效果。我们需要去均值来对坐标进行归一化，假定c′_i是第i个图像中点的平面坐标，那么归一化后得到的中点c_i为

其中n为图像总数。

计算模块，用于计算角点的平面坐标

仅靠中心一个像素的平面坐标不足以构成足够的约束来得到正确的初始值，所以利用已知的图像分辨率r(m/像素)，通过下式可以计算出每幅图像四个角点的像素平面坐标：

c_i＝[x_i，y_i]^T

求解模块，基于每一幅图像的角点平面坐标，构建函数并求解得到图像的外参初始值。

本实施例的求解模块具体包括函数构建单元和初始值求解单元。

本实施例的函数构建单元用于构建损失函数。

得到了每一幅图像的角点和角点对应的平面坐标后，就可以单独对每幅图像计算相机外参了。首先相机的内参K是已经通过标定测量出来的，视作已知量，且每个图像的内参都一样，因为是用相机的旋转来替代相机的平移，所以这里只考虑相机的旋转矩阵R，不考虑相机的平移t。因为这里忽略了图像间的视差，假定所摄物体都处于一个平面，所以对于所有像素的深度都可以设置为z，这里的z可以不必等于无人机的飞行高度，需要设置一个远大于飞行高度的值，z越大，最终结果更像是在同一个平面。利用相机内外参数，可以将世界坐标系下的空间点重投影到图像坐标系下：

写作矩阵形式就是：

zu＝KRP

构建损失函数：

令：

e_ij表示P_i中第j个空间坐标点的损失；这个误差有3维，但第三维作差后始终为0，因此本实施例只考虑前两维。

本实施例的初始值求解单元基于损失函数构建最小二乘问题，利用LM算法对最小二乘问题进行求解，得到第i幅图像的外参初始值R_i。

最小化损失函数式就可以得到一个最小二乘问题：

首先定义：

P′＝RP＝[x′，y′，z′]^T

给出损失e_i关于扰动量ξ的导数：

再给出用扰动更新旋转矩阵的方法：

R_new＝exp(ξ)R_i

上式中的exp()函数已经在Sophus库中实现，可以直接调用。

输出模块，用于将计算得到的每幅图像的外参初始值带入全景拼接算法中实现无人机航拍图像的拼接。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.应用于无人机图像拼接中的相机外参数初始方法，其特征在于，该方法包括以下步骤：

步骤S2，归一化处理步骤S1得到的图像的平面坐标，得到每一幅图像归一化后的中心平面坐标；所述步骤S2通过下式进行归一化处理：

式中，c_i ^′表示第i幅图像的中心平面坐标，c_i表示归一化后得到的第i幅图像的中心坐标，n表示图像总数；

所述步骤S2在进行归一化处理之后，还对c_i的纵坐标取相反数，使其坐标系的纵轴与像素坐标系纵轴方向一致；

步骤S3，基于每一幅图像归一化后的中心平面坐标，计算得到该幅图像四个角点的平面坐标；所述步骤S3通过下式计算得到每一幅图像角点的平面坐标：

c_i＝[x_i,y_i]^T

式中，c_i表示归一化后的第i幅图像的中心平面坐标，x_i表示c_i的x坐标值，y_i表示c_i的y坐标值；c_itl、c_itr、c_ibl和c_ibr分别表示第i幅图像的左上、右上、左下和右下角点的平面坐标，表示c_itl的x坐标值，/>表示c_itl的y坐标值，/>表示c_itr的x坐标值，/>表示c_itr的y坐标值，/>表示c_ibl的x坐标值，/>表示c_ibl的y坐标值，/>表示c_ibr的x坐标值，/>表示c_ibr的y坐标值；w_i、h_i分别表示第i幅图像的宽和高，r_i表示第i幅图片的分辨率；

步骤S4，基于每一幅图像的角点和角点对应的平面坐标，计算得到该幅图像的外参初始值；所述步骤S4具体包括：

步骤S41，构建损失函数：

其中，f为相机的物理焦距，a为像元大小，即相机成像元件上一个像素的宽度，c_x,c_y分别为w/2，h/2，w为图像的宽，h为图像的高；

步骤S42，基于损失函数构建最小二乘问题，利用LM算法对最小二乘问题进行求解，得到第i幅图像的外参初始值R_i；

2.根据权利要求1所述的应用于无人机图像拼接中的相机外参数初始方法，其特征在于，所述步骤S1中所述卫星导航系统至少包括GPS、北斗导航、伽利略和格洛纳斯导航系统中的一种。

3.应用于无人机图像拼接中的相机外参数初始系统，其特征在于，该系统包括坐标转换模块、归一化模块、计算模块、求解模块和输出模块；

所述归一化模块用于归一化处理所述坐标转换模块得到的图像的平面坐标，得到每一幅图像归一化后的中心平面坐标；所述归一化模块通过下式进行归一化处理：

所述归一化模块还对c_i的纵坐标取相反数，使其坐标系的纵轴与像素坐标系纵轴方向一致；

所述计算模块基于每一幅图像归一化后的中心平面坐标，计算得到该幅图像四个角点的平面坐标；所述计算模块通过下式计算得到每一幅图像角点的平面坐标：

c_i＝[x_i,y_i]^T

所述求解模块基于每一幅图像的角点和角点对应的平面坐标，计算得到该幅图像的外参初始值；所述求解模块包括函数构建单元和初始值求解单元；

所述函数构建单元用于构建损失函数：

所述初始值求解单元基于损失函数构建最小二乘问题，利用LM算法对最小二乘问题进行求解，得到第i幅图像的外参初始值R_i；

4.根据权利要求3所述的应用于无人机图像拼接中的相机外参数初始系统，其特征在于，所述卫星导航系统至少包括GPS、北斗导航、伽利略和格洛纳斯导航系统中的一种。