CN106875449B - 一种基于飞行数据的无人机非量测型相机检校方法 - Google Patents

Abstract

本发明公开了一种基于飞行数据的无人机非量测型相机检校方法，应用于无人机非量测型相机检校中，包括计算所有无人机航拍获取的影像的特征点及特征描述子；根据机载GPS数据进行特征点匹配；剔除错误匹配的特征点；计算影像间的连接强度；查找连接强度值最大和次大的连通图，将此连通图作为候选检校影像和验证影像；利用候选检校影像间的匹配的特征点，采用自检校，计算出相机的检校参数，再利用验证影像检查检校参数的合理性。本发明针对现有检校方法需要较为复杂的地面试验场或设备且自动化程度不高的问题，提出了一种应用于无人机非量测型相机检校的新方法，在确保检校精度的同时,大大提高了检校过程的自动化水平。

Description

一种基于飞行数据的无人机非量测型相机检校方法

技术领域

本发明属于计算机程序领域，具体涉及一种基于飞行数据的无人机非量测型相机检校方法。

背景技术

以无人机为平台的低空遥感系统，不受场地限制，数据采集实时、高效，可多角度快速获取地理空间数据，已广泛应用于大比例尺地形图测绘、国土与生态环境调查、动态监测与评估、数字城市及重大工程建设等领域。非量测型相机因其价格低、体积小、重量轻、使用灵活等优点，在无人机中获得了广泛的应用。但是非量测型相机毕竟不是专门为摄影测量而设计的，存在着镜头畸变差较大，内方位元素不稳定等缺陷。传统的非量测型相机检校方法需要建立地面检校场或室内试验场，按照精度要求布设若干已知空间坐标的标识点，过程较为繁琐且后续处理需要大量的人工干预。

因此，现有技术存在缺陷，需要改进。

发明内容

为解决上述技术问题，本发明针对现有无人机非量测型相机检校方法需要较为复杂的实验环境且需要较多人工干预的问题，提供了一种基于飞行数据的无人机非量测型相机检校方法，以达到提高检校自动化程度和简化检校流程的目的。

实现上述目的，本发明的内容是：

一种基于飞行数据的无人机非量测型相机检校方法，其特征在于，包含如下步骤：S1：获取无人机正常作业的飞行数据，其中，飞行数据包括影像和机载GPS数据；S2：采用SURF特征提取算法计算每张影像的特征点及特征描述子；S3：根据机载GPS数据和每张影像的特征描述子，对特征点进行粗匹配；S4：对粗匹配后的两张影像的特征点进行精匹配；S5：对精匹配后的特征点对应的两张影像相对定向，计算强连通图，并得到候选检校影像和验证影像；S6：采用自检校SFM算法，进行检校参数，验证是否通过，是则结束，否则重复步骤。

本发明与现有技术相比，其有益效果是：

1)本发明提出的检校流程不需要复杂的实验环境或设备，自动化程度高，无需人工干预；

2)根据连接强度来选取候选检校影像可以保证检校结果的精度，同时，利用验证影像可以提高检校结果的稳定性，避免陷入局部最优值的困境。

附图说明

图1是本发明的流程图；

具体实施方式

以下结合附图详细说明本发明之技术内容、构造特征、所达成目的及功效，以下兹例举实施例并配合附图详予说明。

本实施例提供了一种基于飞行数据的无人机非量测型相机检校方法，该方法利用Speeded Up Robust Features(SURF)特征提取算法计算所有无人机航拍获取的影像的特征点及特征描述子；根据机载GPS数据，构建Delaunay三角网，得到影像之间的拓扑关系及图距离；针对图距离小于4的影像，计算其两两特征描述子之间的距离，并根据距离关系进行特征点匹配；利用Random Sample Consensus(RANSAC)算法，计算影像之间的基础矩阵，同时剔除错误匹配的特征点；根据匹配的特征点，进行影像间的相对定向并恢复出光束，通过光束之间形成的交会角计算影像间的连接强度；设置搜索的最大距离为3，利用广度优先搜索算法，查找连接强度值最大和次大的连通图，将此连通图作为候选检校影像和验证影像；利用候选检校影像间的匹配的特征点，采用自检校的Structure From Motion(SFM)方法，计算出相机的检校参数，再利用验证影像检查检校参数的合理性。本发明针对现有检校方法需要较为复杂的地面试验场或设备且自动化程度不高的问题，提出了一种应用于无人机非量测型相机检校的新方法，在确保检校精度的同时,大大提高了检校过程的自动化水平。

其中，请参阅图1所示，该方法包括以下步骤：

步骤S1：获取无人机正常作业的飞行数据，其中，飞行数据包括影像和机载GPS数据。

其中，无人机进行正常作业，获取影像和机载GPS数据，其中每张影像对应一个机载GPS数据，此机载GPS数据为摄影时无人机非量测型相机在空中的位置，影像和机载GPS数据统称为飞行数据。

然后步骤S2:采用SURF特征提取算法计算每张影像的特征点及特征描述子。

其中，将影像从RGB色彩空间转换到全色色彩空间，然后利用SURF特征提取算法计算每张影像的特征点及特征描述子。

其中，在步骤2中所述的特征点和特征描述子的计算过程为：

1)RGB色彩空间转换到全色色彩空间

I＝0.2989×R+0.5870×G+0.1140×B；

式中，R为红色波段的强度，G为绿色波段的强度，B为蓝色波段的强度，I为全色色彩空间的强度；

2)对每张经过步骤1转换的影像，利用SURF特征提取算法计算其特征点及特征描述子，每个特征点为一个二维向量，每个特征描述子为一个64维的向量。

步骤S3中，据机载GPS数据和每张影像的特征描述子，对特征点进行粗匹配。

其中，根据机载GPS数据构建Delaunay三角网，将此Delaunay三角网转换为无向图得到影像之间的拓扑关系，再利用拓扑排序算法计算任意两张影像间的图距离。

其中，图距离的计算过程为，

1)飞行数据中的每张影像对应一个机载GPS数据(X,Y,Z)，利用机载GPS数据的平面坐标(X,Y)构建Delaunay三角网，Delaunay三角网的每个顶点对应一张影像，此Delaunay三角网可以认为是带权无向图，Delaunay三角网中的边对应带权无向图的无向边且权为1；

2)Delauany三角网中任意两个顶点的图距离定义为其在带权无向图中的最短路径的权的和，针对每个Delaunay三角网中的每个顶点，利用拓扑排序算法计算出该顶点与其他顶点的图距离。

并且，针对图距离小于4的任意两张影像，计算其两两特征描述子之间的距离，将满足匹配距离准则的两个特征点称为一组同名特征点对。

其中，匹配距离准则判断的计算过程为，

1)令待判定的两张影像分别为A和B，特征点分别为{f₀…f_i…f_n}和{g₀…g_j…g_m},特征描述子分别为{a₀…a_i…a_n}和{b₀…b_j…b_m},其中f_i和g_j为2维向量，a_i和b_j为64维向量，f_i与a_i一一对应，g_j与b_j一一对应

2)任取A中的一个特征描述子a_i，计算其与{b₀…b_j…b_m}的所有特征描述子的距离d_k，令距离最小的两个特征描述子为b_u和b_v,对应的距离为d_u和d_v(d_u≤d_v)，如果d_u小于0.7且d_u/d_v<0.8，则称g_u为f_i的最优匹配特征点；

d_k＝|a_i-b_k|

3)将A和B互换，重复步骤②，如果f_i与g_j互为最优匹配特征点，则称f_i与g_j为同名特征点对。

然后，步骤S4：对粗匹配后的两张影像的特征点进行精匹配。

其中，如果两张影像之间的同名特征点对的数量超过16，则利用RANSAC算法计算这两张影像的基础矩阵，再利用基础矩阵计算同名特征点对的极线距离，如果极线距离大于3，则删除该同名特征点对；

在匹配完成后，步骤S5：对精匹配后的特征点对应的两张影像相对定向，计算强连通图，并得到候选检校影像和验证影像；

其中，如果两张影像之间的同名特征点对的数量超过16，则对这两张影像进行相对定向，每一组同名特征点对对应两条光束和一个交会角，当交会角满足最佳交会条件时，将此交会角对应的同名特征点对称为有效同名特征点对，有效同名特征点对的数量即为这两张影像的连接强度；

其中，连接强度的计算过程为，

1)如果两个影像的同名特征点对的数量大于16，则进行相对定向，此时可获得两张影像对应的相对姿态信息；

2)根据相对姿态信息和同名特征点对进行前方交会，得到对应的两条光束和一个交会角；

3)如果两条光束的交会角大于20°且小于90度，则称其满足最佳交会条件，这两条光束对应的同名特征点对称为有效同名特征点对；

4)统计任意两张影像上的有效同名特征点对的数量n,则此影像间的连接强度y(n)如式；

在计算得到两张影像的连接强度后，删除连接强度小于128的影像间的连通关系，设置搜索的最大距离为3，利用广度优先搜索算法，查找连接强度值最大和次大的连通图，将此连通图作为候选检校影像和验证影像。

其中，候选检校影像查找的计算过程为，

1)删除步骤S3生成的Delaunay三角网里连接强度小于128的影像间的边，确保弱连接的影像不会参与到后续的检校计算里；

2)设置搜索的最大距离为3，以每张影像为搜索起点，采用广度优先搜索算法进行区域增长搜索；

3)统计每次搜索到的影像集的连接强度值，将最大连接强度值对应的影像集作为候选检校影像，将次大连接强度值对应的影像集作为验证影像。

最后，步骤S6：采用自检校SFM算法，进行检校参数，验证是否通过，是则结束，否则重复步骤。

其中，利用候选检校影像间的同名特征点对，采用自检校的Structure FromMotion(SFM)方法，计算出候选检校影像的焦距、像主点和畸变参数，即获取该影像的无人机非量测相机的检校参数，再利用验证影像检查检校参数的合理性。

其中，自检校SFM算法的计算过程为，

1)设置畸变模型公式

Δx＝(x-x₀)(k₁r²+k₂r⁴+k₃r⁶)+

p₁[r²+2(x-x₀)²]+2p₂(x-x₀)(y-y₀)+α(x-x₀)+β(y-y₀)

Δy＝(y-y₀)(k₁r²+k₂r⁴+k₃r⁶)+p₂[r²+2(y-y₀)²]+2p₁(x-x₀)(y-y₀)

其中：Δx,Δy为像点改正值；x,y为像方坐标系下的像点坐标；x₀,y₀为像主点；k₁,k₂,k₃,p₁,p₂,α,β为相机畸变系数，r为像元(x,y)到像主点x₀,y₀的距离；

2)候选检校影像的每个特征点构成一个共线条件方程组，将所有共线条件方程组合并为一个大的待求解方程组，采用Levenberg-Marquardt算法求得待求解方程组的最优解；

3)验证影像的所有特征点形成一个共线条件方程组，将求解得到的最优解带入此共线条件方程组中，如果中误差小于1个像素，则接收此最优解，否则将候选检校影像丢弃，转步骤7重新选取候选检校影像和验证影像；

4)上一步中得到的最优解即为获取候选检校影像的无人机非量测相机的检校参数。

本发明与现有技术相比，其有益效果是：

1.本发明提出的检校流程不需要复杂的实验环境或设备，自动化程度高，无需人工干预；

2.根据连接强度来选取候选检校影像可以保证检校结果的精度，同时，利用验证影像可以提高检校结果的稳定性，避免陷入局部最优值的困境

综上所述，仅为本发明之较佳实施例，不以此限定本发明的保护范围，凡依本发明专利范围及说明书内容所作的等效变化与修饰，皆为本发明专利涵盖的范围之内。

Claims (8)

1.一种基于飞行数据的无人机非量测型相机检校方法，其特征在于，包含如下步骤

S1：获取无人机正常作业的飞行数据，其中，飞行数据包括影像和机载GPS数据；

S2：采用SURF特征提取算法计算每张影像的特征点及特征描述子；其中，将影像从RGB色彩空间转换到全色色彩空间，然后利用SURF特征提取算法计算每张影像的特征点及特征描述子；

S3：根据机载GPS数据和每张影像的特征描述子，对特征点进行粗匹配；

S31：根据机载GPS数据构建Delaunay三角网，将此Delaunay三角网转换为无向图得到影像之间的拓扑关系，再利用拓扑排序算法计算任意两张影像间的图距离；

S32：针对图距离小于4的任意两张影像，计算其两两特征描述子之间的距离，将满足匹配距离准则的两个特征点称为一组同名特征点对；

S4：对粗匹配后的两张影像的特征点进行精匹配；

其中，当两张影像之间的同名特征点对的数量超过16，则利用RANSAC算法计算这两张影像的基础矩阵，再利用基础矩阵计算同名特征点对的极线距离，当极线距离大于3，则删除该同名特征点对；

S5：对精匹配后的特征点对应的两张影像相对定向，计算强连通图，并得到候选检校影像和验证影像；

S51：删除后，当两张影像之间的同名特征点对的数量超过16，则对这两张影像进行相对定向，每一组同名特征点对对应两条光束和一个交会角，当交会角满足最佳交会条件时，将此交会角对应的同名特征点对称为有效同名特征点对，有效同名特征点对的数量即为这两张影像的连接强度；

S52：删除连接强度小于128的影像间的连通关系，设置搜索的最大距离为3，利用广度优先搜索算法，查找连接强度值最大和次大的连通图，将强度值最大连通图作为候选检校影像，并且，将强度值次大连通图作为验证影像；

S6：采用自检校SFM算法，进行检校参数，验证是否通过，是则结束，否则返回步骤S1；其中，利用候选检校影像间的同名特征点对，采用自检校的SFM方法，计算出候选检校影像的焦距、像主点和畸变参数，即获取该影像的无人机非量测相机的检校参数，再利用验证影像检查检校参数的合理性。

2.根据权利要求1所述的无人机非量测型相机检校方法，其特征在于：步骤S1中，每张影像对应一个机载GPS数据，并且，机载GPS数据为摄影时无人机非量测型相机在空中的位置。

3.根据权利要求1所述的无人机非量测型相机检校方法，其特征在于：步骤S2中，每张影像特征点和特征描述子的计算方法进一步包括以下步骤，

①RGB色彩空间转换到全色色彩空间

I＝0.2989×R+0.5870×G+0.1140×B；

式中，R为红色波段的强度，G为绿色波段的强度，B为蓝色波段的强度，I为全色色彩空间的强度；

②对经过步骤1转换的影像，利用SURF特征提取算法计算其特征点及特征描述子，每个特征点为一个二维向量，每个特征描述子为一个64维的向量。

4.根据权利要求1所述的无人机非量测型相机检校方法，其特征在于：步骤S31中，任意两张影像间的图距离的计算方法包括以下步骤，

①飞行数据中的每张影像对应一个机载GPS数据(X，Y，Z)，利用机载GPS数据的平面坐标(X，Y)构建Delaunay三角网，Delaunay三角网的每个顶点对应一张影像，此Delaunay三角网可以认为是带权无向图，Delaunay三角网中的边对应带权无向图的无向边且权为1；

②Delauany三角网中任意两个顶点的图距离定义为其在带权无向图中的最短路径的权的和，针对每个Delaunay三角网中的每个顶点，利用拓扑排序算法计算出该顶点与其他顶点的图距离。

5.根据权利要求1所述的无人机非量测型相机检校方法，其特征在于：步骤S32中，匹配距离准则包括以下步骤，

①令待判定的两张影像分别为A和B，特征点分别为{f₀…f_i…f_n}和{g₀…g_j…g_m}，特征描述子分别为{a₀…a_i…a_n}和{b₀…b_j…b_m}，其中f_i和g_j为2维向量，a_i和b_j为64维向量，f_i与a_i一一对应，g_j与b_j一一对应

②任取A中的一个特征描述子a_i，计算其与{b₀…b_j…b_m}的所有特征描述子的距离d_k，令距离最小的两个特征描述子为b_u和b_v，对应的距离为d_u和d_v(d_u≤d_v)，如果d_u小于0.7且d_u/d_v＜0.8，则称g_u为f_i的最优匹配特征点；

d_k＝|a_i-b_k|

③将A和B互换，重复步骤②，如果f_i与g_j互为最优匹配特征点，则称f_i与g_j为同名特征点对。

6.根据权利要求1所述的无人机非量测型相机检校方法，其特征在于：步骤S51中，连接强度的计算方法进一步包括以下步骤，

①如果两个影像的同名特征点对的数量大于16，则进行相对定向，此时可获得两张影像对应的相对姿态信息；

②根据相对姿态信息和同名特征点对进行前方交会，得到对应的两条光束和一个交会角；

③如果两条光束的交会角大于20°且小于90度，则称其满足最佳交会条件，这两条光束对应的同名特征点对称为有效同名特征点对；

④统计任意两张影像上的有效同名特征点对的数量n,则此影像间的连接强度y(n)如式；

7.根据权利要求1所述的无人机非量测型相机检校方法，其特征在于：步骤S52中，查找候选检校影像进一步还包括以下步骤，

①删除步骤S3生成的Delaunay三角网里连接强度小于128的影像间的边，确保弱连接的影像不会参与到后续的检校计算里；

②设置搜索的最大距离为3，以每张影像为搜索起点，采用广度优先搜索算法进行区域增长搜索；

③统计每次搜索到的影像集的连接强度值，将最大连接强度值对应的影像集作为候选检校影像，将次大连接强度值对应的影像集作为验证影像。

8.根据权利要求1所述的无人机非量测型相机检校方法，其特征在于：步骤S6中，自检校SFM算法还包括以下步骤，

①设置畸变模型公式

Δx＝(x-x₀)(k₁r²+k₂r⁴+k₃r⁶)+p₁[r²+2(x-x₀)²]+2p₂(x-x₀)(y-y₀)+α(x-x₀)+β(y-y₀)

Δy＝(y-y₀)(k₁r²+k₂r⁴+k₃r⁶)+p₂[r²+2(y-y₀)²]+2p₁(x-x₀)(y-y₀)

其中：Δx,Δy为像点改正值；x,y为像方坐标系下的像点坐标；x₀,y₀为像主点；k₁,k₂,k₃,p₁,p₂,α,β为相机畸变系数，r为像元(x,y)到像主点x₀,y₀的距离；

②候选检校影像的每个特征点构成一个共线条件方程组，将所有共线条件方程组合并为一个大的待求解方程组，采用Levenberg-Marquardt算法求得待求解方程组的最优解；

③验证影像的所有特征点形成一个共线条件方程组，将求解得到的最优解带入此共线条件方程组中，如果中误差小于1个像素，则接收此最优解，否则将候选检校影像丢弃，转步骤7重新选取候选检校影像和验证影像；

④上一步中得到的最优解即为获取候选检校影像的无人机非量测相机的检校参数。