CN112634133B - 基于云控制的多镜头多面阵航空相机检校及影像虚拟拼接方法 - Google Patents

Abstract

本发明首先解决现有面阵相机的检校方法必须依赖大量外业控制点的问题，提出一种基于云控制的多镜头多面阵航空相机检校方法。本发明利用已检校相机在同一检校场地获取的影像，完成定向后可以替代地面控制点，可以在保证检校精度的同时极大地控制成本，提升作业效率。并通过待检校面阵影像与已定向影像的自动匹配，保证了控制点的数量。此外，本发明还解决现有虚拟拼接方法容易受到检校误差影响的问题，提出基于统计的虚拟影像拼接方法，有效检测投影误差较大的像元，降低较大误差的检校参数对投影的影响，提升拼接精度。

Description

基于云控制的多镜头多面阵航空相机检校及影像虚拟拼接 方法

技术领域

本发明属于航空摄影测量领域，涉及一种基于云控制的多镜头多面阵航空相机检校及影像虚拟拼接方法，其中基于云控制的多镜头多面阵航空相机检校参数求解以及基于统计的影像虚拟拼接是本方法的关键技术。

背景技术

影像具备高地面分辨率是大比例尺测绘应用对数字航测相机的基本要求。然而，在影像幅宽以及相机焦距等参数较为固定的情况下，影像的地面分辨率越高要求航拍高度越低，其地面覆盖范围越小，针对航测区域需要采集的影像数越多。因此，要求提高地面分辨率无疑会增加测区的内业工作量，降低工作效率。更大像幅的航空相机是受欢迎的补充措施，但受到遥感平台和制造工艺等因素的限制，像幅可扩大程度有限。为此，具有可扩展性的多镜头多面阵航空相机作为一种替代的解决方案得到快速发展。这类相机通过虚拟拼接将多面阵影像拼接成单幅中心投影的大影像，从而减少影像数量，并且增加基高比，提高垂直方向精度，因此受到广泛的关注与应用。从多面阵相机的制造到投入市场，一般要经过相机检校与虚拟影像拼接两个步骤：

多面阵相机检校是进行多面阵影像虚拟拼接的重要先决步骤，实质是精确解算各面阵影像的畸变参数以及相对外方位元素。为此，传统主流的方法是建立均匀布设有大量地面控制点的检校场，利用地面控制点进行单像空间后方交会解算检校参数。这种方法的解算精度很高，但是所需要的地面控制点的数量极大、作业要求高，需要有多年空三刺点经验的作业人员进行刺点。此外，检校场的建立和定期维护需要耗费大量人力与物力，导致这类方法的成本很高。为此，某些相机制造厂商也会选择对某一场地进行多次覆盖拍摄，然后进行无地面控制点的区域网平差解算检校参数。

检校完成后，多镜头多面阵相机的虚拟影像拼接是投入市场应用前的一个重要步骤。目前常规的做法是，选择多组检校参数中的一组或者将所有不同组的参数取加权平均作为最终的检校参数，再逐一对所有面阵的像元计算在虚拟平面上的位置(或偏移量)，最终得到虚拟拼接影像。这类方法简单快捷，但是对检校的精度要求很高，微小的检校误差可能导致较大的像元偏移。

发明内容

本发明首先解决现有面阵相机的检校方法必须依赖大量外业控制点的问题，提出一种基于云控制的多镜头多面阵航空相机检校方法。本发明利用已检校相机在同一检校场地获取的影像，完成定向后可以替代地面控制点，可以在保证检校精度的同时极大地控制成本，提升作业效率。并通过待检校面阵影像与已定向影像的自动匹配，保证了控制点的数量。此外，本发明还解决现有虚拟拼接方法容易受到检校误差影响的问题，提出基于统计的虚拟影像拼接方法，有效检测投影误差较大的像元，降低较大误差的检校参数对投影的影响，提升拼接精度。

本发明的上述技术问题主要是通过下述技术方案得以解决：基于云控制的多镜头多面阵航空相机检校方法及影像虚拟拼接方法，包括以下步骤：

步骤1：选择已完成检校的相机，对检校场地进行数据采集；

步骤2：对步骤1采集的数据进行自动特征点提取与匹配；

步骤3：采用传统空三解算或者Structure From Motion方法，构建步骤1采集的影像的匹配点观测值误差方程，进行自由网或者GNSS辅助的区域网平差，解算所有影像的定向参数，此时“云检校场”构建完成；

步骤4：用待检校相机对同一检校场地采集影像；

步骤5：用Harris角点提取算法提取待检校影像的特征点，并且完成同名点描述；

步骤6：通过匹配算法将待检校影像的一个特征点p_i匹配传递至“云检校场”中的某张已检校影像，以该匹配成功的已检校影像为基准，进行已检校影像之间的连接点匹配，只有在已检校影像上的连接点超过p个，才认为p_i的匹配成功；如果连接点数不足p个，则剔除p_i；使用已检校影像的定向参数和p_i对应的多个像点观测进行前方交会获得连接点对应的三维物方坐标；

步骤7：以面阵影像为单位，利用在已检校影像上得到物方坐标和相应连接点观测值，构建后方交会误差方程，计算检校参数和外方位元素的初始值，检校参数分为镜头参数和面阵参数；

步骤8：以镜头为单位，对所有面阵影像进行分组，对同一个镜头对应的每个面阵，在步骤7中均已计算得到的一组镜头检校参数以及外方位元素初始值，取其平均值作为该镜头各参数的初始值；然后对该镜头的不同时刻拍摄所有面阵影像，利用连接点观测值和相应地面坐标，再次构建整体的后方交会误差方程，获得检校参数的精确值以及镜头在不同时刻t的外方位元素；

步骤9：每个镜头按照步骤5、6、7和8进行计算，此时，获得每个镜头唯一的检校参数和面阵的唯一的检校参数，以及该镜头在不同时刻t的外方位元素；

步骤10：设定虚拟影像平面，然后获得虚拟影像的镜头检校参数和面阵检校参数，以及对应时刻虚拟影像的外方位元素；

步骤11：在不同时刻t，逐面阵逐像元投影到相应时刻的虚拟影像上，获得该像元在时刻t的偏移量；

步骤12：计算某像元在所有时刻的偏移量的均值和均方差，并且逐时刻判断偏移量是否有效，若偏移量满足一定条件，则该时刻的偏移量有效；

步骤13：逐面阵逐像元进行步骤12的判断，并且将每个像元的不同时刻的有效偏移量的平均值作为该像元的最终偏移量，利用这些偏移量即可生成拼接后的影像。

进一步的，步骤7中后方交会误差方程的构建方式如下，

CCD面阵在安装时，可能存在相对于理想方位的及其微小的旋转角度误差β^j，因此对于面阵上的一个像点的量测坐标(x,y)而言，首先需要进行旋转变换到无旋转的坐标(x′,y′)：

一般镜头都会存在一定的畸变，所以通过式(2)计算得到其无畸变的像点坐标(x_c,y_c)：

式中，r²＝(x_c)²+(y_c)²，

表示面阵j相对于镜头中心的主点偏移；

表示镜头i的畸变参数；

而(x_c,y_c)的计算公式为如下共线方程：

式中，fⁱ和

表示镜头i的焦距和摄影中心位置；

(X,Y,Z)为像点坐标(x,y)对应的物方坐标；

则是由镜头姿态参数

计算的旋转矩阵，计算公式即式(4)：

将公式(1)、(2)、(3)和(4)联合，就得到单镜头多面阵相机的像方到物方的严格方程，将其线性化即可得到空间后方交会的误差方程。

进一步的，步骤7中镜头参数有焦距fⁱ、畸变系数

面阵参数有相对于镜头中心的主点偏移

相对于理想安装方位的旋转角度β^j≈0。

进一步的，步骤7中计算检校参数的初始值的实现方式如下，

先忽略镜头的畸变参数以及旋转角度β^j，将公式(3)的(x_c,y_c)替换为

即

这里，公式(5)就是摄影测量中传统的无畸变共线方程，利用观测值(x,y)和对应的地面点坐标(X,Y,Z)，求解内外参数：

fⁱ，

再利用公式(3)求解出(x_c,y_c)；最后利用公式(1)和(2)建立误差方程，求解出

和β^j；上述过程计算得到的参数值并不是最优解，因此需要将这些参数作为初值，进行迭代，直到收敛。

进一步的，步骤10中取M个镜头的焦距fⁱ的平均值作为虚拟影像的焦距f，即

并设定虚拟影像的畸变参数(k₁,k₂,k₃,p₁,p₂)＝(0,0,0,0,0)、主点偏移(x₀,y₀)＝(0,0)；此外，按公式(6)取不同时刻各镜头的外方位元素的均值作为对应时刻虚拟影像的外方位元素值：

进一步的，步骤11中像元在时刻t的偏移量的计算方式如下，

首先将面阵影像上的像元的观测值

获得其无畸变的理想位置

再进行基于共线方程的平面投影转换公式(7)，计算在虚拟平面上的位置

最后求得偏移量

公式(7)表示在时刻t的平面投影方程，

其中：

记

上标或者下标i表示第i个镜头的参数；

λ_i为虚拟相机的点投影系数。

进一步的，在步骤12中，计算某像元在所有时刻的偏移量的均值

和均方差

并且判断偏移量有效的公式为|dx_t-dx_mean|<3dx_std且|dy_t-dy_mean|<3dy_std。

与现有技术相比，本发明的优点和有益效果：

针对现有面阵相机检校方法依赖地面控制点或连接弱的问题，本发明提出一种基于云控制的多镜头多面阵航空相机检校方法。本发明首先利用已检校相机对同区域进行数据采集并进行空三解算定向参数和地面点，以替代地面控制点，可以极大地控制成本，节省作业时间。并通过待检校面阵影像与已定向影像的自动匹配大量转点，保证了控制点的数量。此外，本发明还提出基于统计的虚拟影像拼接方法，可以有效地检测投影误差较大的像元，降低较大误差的检校参数对投影的影响，提升拼接精度。

现有多镜头多面阵航空相机检校及影像虚拟拼接尚未形成成熟技术，目前处于探索阶段，只有理论模型并无实际可操作技术，无法进行比较。

附图说明

图1单镜头多面阵相机组成示意图

图2为本发明实施例的总体流程图；

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施示例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

一、单镜头多面阵相机检校

如附图1所示，一个单镜头N面阵相机，其中面阵数量N＝4。该相机是将N个重叠度极小的面阵安装在同一个平面上，并透过同一个镜头对地面进行摄像。

由于CCD面阵在安装时，可能存在相对于理想方位的及其微小的旋转角度误差β^j，因此对于面阵上的一个像点的量测坐标(x,y)而言，首先需要进行旋转变换到无旋转的坐标(x′,y′)：

一般镜头都会存在一定的畸变，所以需要通过式(2)计算得到其无畸变的像点坐标(x_c,y_c)：

式中，r²＝(x_c)²+(y_c)²。

表示面阵j相对于镜头中心的主点偏移。

表示镜头i的畸变参数。

而(x_c,y_c)的计算公式为如下共线方程：

式中，fⁱ和

表示镜头i的焦距和摄影中心位置；

(X,Y,Z)为像点坐标(x,y)对应的物方坐标；

则是由镜头姿态参数

计算的旋转矩阵，计算公式即式(4)：

将公式(1)、(2)、(3)和(4)联合，就得到单镜头多面阵相机的像方到物方的严格方程。将其线性化即可得到空间后方交会的误差方程。

对于单镜头多面阵而言，其检校参数分为镜头参数和面阵参数。其中镜头参数有焦距fⁱ、畸变系数

面阵参数有相对于镜头中心的主点偏移

相对于理想安装方位的旋转角度β^j≈0。图1所示单镜头N面阵相机共有6个镜头参数和3N个面阵参数。一般而言，多镜头多面阵相机可以视为由M 个如图1所示的单镜头N面阵相机经过严格的物理校准后组成的，各镜头的面阵数量未必相同(分别记为N₁,…,N_M个)，因此会有6M个镜头参数和3(N₁+…+ N_M)个面阵参数。

此外，多镜头多面阵相机的各个镜头的位置和姿态参数也有一定差异，所以为了进行虚拟拼接，还需解M组位置姿态参数

共6*M个。

二、多镜头多面阵相机检校

本发明首先利用已检校相机在检校场地采集的数据进行空三定向，获取“云检校”控制数据。然后在该检校场用待检校面阵相机进行数据采集，并与“云检校”数据进行自动匹配，以镜头为单位，对该镜头不同时刻拍摄的所有面阵影像构建后方交会误差方程，用最小二乘法平差计算检校参数。本发明包含“云检校”数据获取、待检校数据与“云检校数据”自动匹配、后方交会这三个部分，其核心步骤如下：

步骤1：选择已完成检校的相机，对检校场地进行数据采集。一般而言，已检校相机的空间分辨率不能低于待检校相机。摄影平台的GNSS接收机不是必要的；但目前的无人机平台几乎都装载有高精度GNSS定位系统，其提供的定位信息可以提高影像自动匹配效率。此外，航摄任务需要按照航向80％、旁向60％的重叠度进行规划。

步骤2：对步骤1采集的数据进行自动特征点提取与匹配。鉴于匹配结果将用于相机检校，需要较高的匹配精度，可以提取子像素级的Harris角点作为特征点完成同名点匹配。此外，在自动匹配完成后，可以利用人机交互进行检查与匹配错点剔除。

步骤3：采用传统空三解算或者Structure From Motion方法，构建步骤1采集的影像的匹配点观测值误差方程，进行自由网或者GNSS辅助的区域网平差，解算所有影像的定向参数，此时“云检校场”构建完成。

步骤4：用待检校相机对同一检校场地采集影像。

步骤5：用Harris角点提取算法提取待检校影像的特征点，并且完成同名点描述。

步骤6：通过匹配算法将待检校影像的一个特征点p_i匹配传递至“云检校场”中的某张已检校影像。以该匹配成功的已检校影像为基准，进行已检校影像之间的连接点匹配，只有在已检校影像上的连接点超过2个，才认为p_i的匹配成功；如果连接点数不足2个，则剔除p_i。使用已检校影像的定向参数和p_i对应的多个像点观测(2个以上)进行前方交会获得连接点对应的三维物方坐标。

对每个待检校影像上的特征点进行上述操作，最终每个特征点都在已检校影像上有对应连接点或者被剔除。

步骤7：以面阵影像为单位，利用在已检校影像上得到物方坐标和相应连接点观测值，通过公式(1)、(2)、(3)和(4)构建后方交会误差方程，计算检校参数的初始值。

公式(1)、(2)、(3)和(4)都是复杂的非线性方程，需要进行线性化，再利用最小二乘法迭代求解，具体求解过程是：先忽略镜头的畸变参数以及旋转角度β^j，将公式(3)的(x_c,y_c)替换为

即

这里，公式(5)就是摄影测量中传统的无畸变共线方程。利用观测值(x,y)和对应的地面点坐标(X,Y,Z)，求解内外参数：

fⁱ，

再利用公式(3)求解出(x_c,y_c)；最后利用公式(1)和(2)建立误差方程，求解出

和β^j。上述过程计算得到的参数值并不是最优解，因此需要将这些参数作为初值，进行迭代，直到收敛。此时便获得了较为准确的初始检校参数。

步骤8：以镜头为单位，对所有面阵影像进行分组。对同一个镜头对应的每个面阵，在步骤7中均已计算得到的一组镜头检校参数以及外方位元素初始值。取其平均值作为该镜头各参数的初始值。然后对该镜头的不同时刻拍摄所有面阵影像，利用连接点观测值和相应地面坐标，通过公式(1)、(2)、(3)和(4)再次构建整体的后方交会误差方程，获得检校参数的精确值以及镜头在不同时刻t的外方位元素

计算方法与步骤7类似。

步骤9：每个镜头按照步骤5、6、7和8进行计算。此时，可以获得每个镜头唯一的检校参数fⁱ、

和面阵的唯一的检校参数

β^j，以及该镜头在不同时刻t的外方位元素

三、虚拟拼接

本发明首先设定虚拟影像平面，计算各面阵各像元向虚拟影像平面投影的坐标偏移量；然后以摄影时刻为计算单元，统计每个面阵的每个像元在不同时刻的偏移量的均值和均方差；最后通过每个像元偏移量的均值与均方差，剔除异常值，从而获取该像元的可靠、精确的偏移量，使用这些偏移量即可生成拼接后的影像。其核心步骤如下：

步骤10：取M个镜头的焦距fⁱ的平均值作为虚拟影像的焦距f，即

并设定虚拟影像的畸变参数(k₁,k₂,k₃,p₁,p₂)＝(0,0,0,0,0)、主点偏移 (x₀,y₀)＝(0,0)。此外，按公式(6)取不同时刻各镜头的外方位元素的均值作为对应时刻虚拟影像的外方位元素值：

步骤11：在不同时刻t，逐面阵逐像元投影到相应时刻的虚拟影像上，获得该像元在时刻t的偏移量

具体计算方法为：首先将面阵影像上的像元的观测值

按照公式(1)和(2)，获得其无畸变的理想位置

再进行基于共线方程的平面投影转换公式(7)，计算在虚拟平面上的位置

最后求得偏移量

公式(7)表示在时刻t的平面投影方程

其中

上标或者下标i表示第i个镜头的参数；

λ_i为虚拟相机的点投影系数。由于虚拟影像和各面阵近似重合，其值可以取 1。

步骤12：计算某像元在所有时刻的偏移量的均值

和均方差

并且逐时刻判断偏移量是否有效，若dx_t和dy_t同时满足|dx_t-dx_mean|<3dx_std且|dy_t-dy_mean|<3dy_std，则该时刻的偏移量有效。

步骤13：逐面阵逐像元进行步骤12的判断，并且将每个像元的不同时刻的有效偏移量的平均值作为该像元的最终偏移量。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.基于云控制的多镜头多面阵航空相机检校及影像虚拟拼接方法，其特征在于，包括以下步骤：

步骤1：选择已完成检校的相机，对检校场地进行数据采集；

步骤2：对步骤1采集的数据进行自动特征点提取与匹配；

步骤3：采用传统空三解算或者Structure From Motion方法，构建步骤1采集的影像的匹配点观测值误差方程，进行自由网或者GNSS辅助的区域网平差，解算所有影像的定向参数，此时“云检校场”构建完成；

步骤4：用待检校相机对同一检校场地采集影像；

步骤5：用Harris角点提取算法提取待检校影像的特征点，并且完成同名点描述；

步骤6：通过匹配算法将待检校影像的一个特征点p_i匹配传递至“云检校场”中的某张已检校影像，以该匹配成功的已检校影像为基准，进行已检校影像之间的连接点匹配，只有在已检校影像上的连接点超过p个，才认为p_i的匹配成功；如果连接点数不足p个，则剔除p_i；使用已检校影像的定向参数和p_i对应的多个像点观测进行前方交会获得连接点对应的三维物方坐标；

步骤7：以面阵影像为单位，利用在已检校影像上得到物方坐标和相应连接点观测值，构建后方交会误差方程，计算检校参数和外方位元素的初始值，检校参数分为镜头参数和面阵参数；

步骤8：以镜头为单位，对所有面阵影像进行分组，对同一个镜头对应的每个面阵，在步骤7中均已计算得到的一组镜头检校参数以及外方位元素初始值，取其平均值作为该镜头各参数的初始值；然后对该镜头的不同时刻拍摄所有面阵影像，利用连接点观测值和相应地面坐标，再次构建整体的后方交会误差方程，获得检校参数的精确值以及镜头在不同时刻t的外方位元素；

步骤9：每个镜头按照步骤5、6、7和8进行计算，此时，获得每个镜头唯一的检校参数和面阵的唯一的检校参数，以及该镜头在不同时刻t的外方位元素；

步骤10：设定虚拟影像平面，然后获得虚拟影像的镜头检校参数和面阵检校参数，以及对应时刻虚拟影像的外方位元素；

步骤11：在不同时刻t，逐面阵逐像元投影到相应时刻的虚拟影像上，获得该像元在时刻t的偏移量；

步骤12：计算某像元在所有时刻的偏移量的均值和均方差，并且逐时刻判断偏移量是否有效，若偏移量满足一定条件，则该时刻的偏移量有效；

步骤13：逐面阵逐像元进行步骤12的判断，并且将每个像元的不同时刻的有效偏移量的平均值作为该像元的最终偏移量，利用这些偏移量即可生成拼接后的影像。

2.如权利要求1所述的基于云控制的多镜头多面阵航空相机检校及影像虚拟拼接方法，其特征在于：步骤7中后方交会误差方程的构建方式如下，

CCD面阵在安装时，可能存在相对于理想方位的及其微小的旋转角度误差β^j，因此对于面阵上的一个像点的量测坐标(x,y)而言，首先需要进行旋转变换到无旋转的坐标(x′,y′)：

镜头都会存在一定的畸变，所以通过式(2)计算得到其无畸变的像点坐标(x_c,y_c)：

式中，r²＝(x_c)²+(y_c)²，

表示面阵j相对于镜头中心的主点偏移；

表示镜头i的畸变参数；

而(x_c,y_c)的计算公式为如下共线方程：

式中，fⁱ和

表示镜头i的焦距和摄影中心位置；

(X,Y,Z)为像点坐标(x,y)对应的物方坐标；

则是由镜头姿态参数

计算的旋转矩阵，计算公式即式(4)：

将公式(1)、(2)、(3)和(4)联合，就得到单镜头多面阵相机的像方到物方的严格方程，将其线性化即可得到空间后方交会的误差方程。

3.如权利要求2所述的基于云控制的多镜头多面阵航空相机检校及影像虚拟拼接方法，其特征在于：步骤7中镜头参数有焦距fⁱ、畸变系数

面阵参数有相对于镜头中心的主点偏移

相对于理想安装方位的旋转角度β^j≈0。

4.如权利要求2所述的基于云控制的多镜头多面阵航空相机检校及影像虚拟拼接方法，其特征在于：步骤7中计算检校参数的初始值的实现方式如下，

先忽略镜头的畸变参数以及旋转角度β^j，将公式(3)的(x_c,y_c)替换为

即

这里，公式(5)就是摄影测量中传统的无畸变共线方程，利用观测值(x,y)和对应的地面点坐标(X,Y,Z)，求解内外参数：

再利用公式(3)求解出(x_c,y_c)；最后利用公式(1)和(2)建立误差方程，求解出

和β^j；上述过程计算得到的参数值并不是最优解，因此需要将这些参数作为初值，进行迭代，直到收敛。

5.如权利要求2所述的基于云控制的多镜头多面阵航空相机检校及影像虚拟拼接方法，其特征在于：步骤10中取M个镜头的焦距fⁱ的平均值作为虚拟影像的焦距f，即

并设定虚拟影像的畸变参数(k₁,k₂,k₃,p₁,p₂)＝(0,0,0,0,0)、主点偏移(x₀,y₀)＝(0,0)；此外，按公式(7)取不同时刻各镜头的外方位元素的均值作为对应时刻虚拟影像的外方位元素值：

6.如权利要求5所述的基于云控制的多镜头多面阵航空相机检校及影像虚拟拼接方法，其特征在于：步骤11中像元在时刻t的偏移量的计算方式如下，

首先将面阵影像上的像元的观测值

获得其无畸变的理想位置

再进行基于共线方程的平面投影转换公式(7)，计算在虚拟平面上的位置

最后求得偏移量

公式(7)表示在时刻t的平面投影方程，

其中：

记

上标或者下标i表示第i个镜头的参数；

λ_i为虚拟相机的点投影系数。

7.如权利要求6所述的基于云控制的多镜头多面阵航空相机检校及影像虚拟拼接方法，其特征在于：在步骤12中，计算某像元在所有时刻的偏移量的均值

和均方差

并且判断偏移量有效的公式为|dx_t-dx_mean|<3dx_std且|dy_t-dy_mean|<3dy_std。

Images