CN102141399A - 基于动态关键帧的非适配区景象匹配方法 - Google Patents

Abstract

本发明涉及一种基于动态关键帧的非适配区景象匹配方法，技术特征在于：提出了基于动态关键帧的非适配区景象匹配(Dynamic Keyframe-based Scene Matching inNon-Suitable Area，NSA-DKSM)框架，可以在提高景象匹配概率的同时可大幅度提高匹配的实时性与精确性。该框架充分利用了无人机平台同一传感器同一时段获取相关实时图的优势，通过实时图与实时图中筛选的“关键帧”进行配准，从而对当前帧在基准图上进行精确定位。由于无人机工作环境恶劣，为了提高景象匹配的精确性，本章采用圆模型对景象匹配的配准结果进行修正，从而有效提高了实时图与关键帧的配准精度。

Description

基于动态关键帧的非适配区景象匹配方法

技术领域

本发明涉及一种基于动态关键帧的非适配区景象匹配(DynamicKeyframe-based Scene Matching in Non-Suitable Area，NSA-DKSM)框架，实现了景象匹配导航在非适配区也能精确修正INS误差的功能，在提高景象匹配概率的同时可大幅度提高匹配的实时性与精确性。

背景技术

利用机载图像传感器获得的地表影像，通过与GDMD进行配准即可获得一种高精度的、自主的景象匹配导航系统，可为无人机提供精确位置信息。景象匹配导航系统可作为卫星导航失效时的一种有效替代方式，也可以辅助INS克服陀螺漂移带来的误差。将景象匹配导航应用于无人机导航和精确制导武器方面具有十分重要的国防意义。

关键帧的提取是一种被广泛应用于视频分析与检索领域的技术，可以减少视频数据流在内容上的冗余度，是视频内容结构化过程中的关键步骤。与视频分析与视频检索中抽取的关键帧不同，用于帧间景象匹配的关键帧是实时图帧序列中具有良好适配性能并且能在景象匹配中以较高概率与基准图配准的图像帧。

由于关键帧与实时图均为无人机平台的在同一传感器、同一条件下、同一时间段内拍摄的图像，与基准图相比关键帧存在如下的优势：

a)实时图与关键帧具有相同的噪声分布和成像误差；

b)实时图与关键帧之间几乎不存在自然条件变化造成的成像差异。

这就使得实时图与关键帧之间的配准概率非常高。同时，关键帧与实时图尺寸相同，实时图与关键帧之间景象匹配所需要的时间远远少于实时图与基准图之间景象匹配所需要的时间，由此大大提高景象匹配的实时性。

发明内容

为了实现景象匹配导航在非适配区也能精确修正INS误差的功能，本发明提出了一种基于动态关键帧的非适配区景象匹配(Dynamic Keyframe-basedScene Matching in Non-Suitable Area，NSA-DKSM)框架，可以在提高景象匹配概率的同时大幅度提高匹配的实时性与精确性。该框架充分利用了无人机平台 同一传感器同一时段获取相关实时图的优势，通过实时图与实时图中筛选的“关键帧”进行配准，从而对当前帧在基准图上进行精确定位。

NSA-DKSM框架流程主要包括五部分：关键帧的选择、帧间景象匹配、圆模型自检验、圆模型自修正和配准点坐标换算。其关系如图1所示。

由于无人机工作环境恶劣，为了提高景象匹配的精确性，采用圆模型对景象匹配的配准结果进行修正，从而有效提高了实时图与关键帧的配准精度。对于工程实际应用具有非常重要的意义。

本发明中基于动态关键帧的非适配区景象匹配框架包括如下步骤：

第一步，选择关键帧并利用关键帧进行帧间景象匹配。

选择图像特征明显、纹理丰富的实时图作为关键帧。每隔一定的帧数选择一个关键帧作为“基准图”。实时图与选择的关键帧进行景象匹配，为了提高配准精度采用多区域景象匹配方式，并行计算后输出各区域配准结果。

参与帧间匹配的实时图需要先选择帧间匹配区，然后与关键帧上相应的帧间匹配区图像进行配准，利用关键帧进行帧间景象匹配的原理如图2所示。在无人机飞行过程中，该区域在一小段时间内有一段实时图影像是各帧实时图所公有的，即各帧实时图的公共影像区，该公共影像区是帧间匹配的基础。

为了提高景象匹配的正确率，确保无人机在复杂环境(如恶劣天气、机动飞行等)下仍然能够以较高的概率准确匹配，实时图与关键帧之间可采用多区域景象匹配，由于二者尺寸相同，景象匹配计算结果在同一坐标系下。

第二步，采用圆模型自检验方法对配准结果进行筛选。

利用圆模型进行误差计算与候选点筛选，记录匹配误差在可忍受范围内的匹配点误差；计算候选点相对参考点的定位误差，给出多区域匹配误差最小的配准点坐标。

稳定圆模型进行自检验的原理是基于误差限的检验与判断。为了尽可能地利用实时图的影像信息，同时，相对于单区域匹配不增加过多的计算量，本报告经过权衡选择了五个匹配区域。

第三步，采用稳定圆模型自修正方法对配准结果进行修正。

参照圆模型计算出实时图中心位置在基准图上的定位坐标，如果该坐标数目 不止一个，将进行加权融合，计算结果即为修正坐标。稳定圆模型自修正的原理：将稳定圆模型自检验步骤中筛选出的基准点基于圆模型特性计算出实时图中心在基准图上的精确定位坐标。

第四步，配准点坐标换算。

将修正后的坐标由关键帧坐标系换算到基准图坐标系。

图1：本发明方法流程图

图2：利用关键帧进行帧间景象匹配的原理图

图3：景象匹配过程中关键帧与当前帧的关系图

图4：多区域景象匹配区的选取图

图5：本发明所采用的稳定圆模型图

图6：稳定圆模型自修正原理图图

具体实施方式

以下对本发明方法作进一步具体的描述。

1、关键帧与帧间景象匹配

在景象匹配过程中，关键帧并非只有一帧，而是随着实时图序列的增加不断前移。图3的示意图表达了景象匹配过程中关键帧与当前帧的关系。

假设某一关键帧在基准图上的定位坐标为P(X，Y)，此关键帧的中心坐标为P₀(X₀，Y₀)，当前帧M#在关键帧上的景象匹配坐标为P_m(X_m，Y_m)，关键帧在基准图坐标系下的位移为□p_m(□x_m，□y_m)，其中

则当前帧M#在基准图上的定位坐标为P′_m(X′_m，Y′_m)，其计算公式为

2、多区域并行景象匹配

多区域景象匹配区的选取如图4所示。分为两个层次：第一层为中心匹配区，第二层是四邻域匹配区，其空间位置分布于正方形的中心与四个顶点。

假设中心点坐标为P₀(x₀，y₀)，四邻域匹配点坐标逆时针顺序：P₁(x₁，y₁)，P₂(x₂，y₂)，P₃(x₃，y₃)，P₄(x₄，y₄)。点P₀，P₁，P₂，P₃，P₄为各个匹配区的中心，本报告称为“先验配准点”，假设各个匹配区与关键帧相应匹配区配准结果为P′₀(x₀，y₀)P′₁(x₁，y₁)， P′₂(x₂，y₂)，P′₃(x₃，y₃)，P′₄(x₄，y₄)，P′₀，P′₁，P′₂，P′₃，P′₄必将分布在各个匹配区中心点P₀，P₁，P₂，P₃，P₄的附近，下面将采用圆模型自检验方法对配准点P′₀，P′₁，P′₂，P′₃，P′₄进行修正。

3、稳定圆模型自检验

本发明所采用稳定圆模型如图5所示。选取的五个匹配区的中心坐标分别为P₀(x₀，y₀)，P₁(x₁，y₁)，P₂(x₂，y₂)，P₃(x₃，y₃)，P₄(x₄，y₄)。图示的稳定圆模型包含一个无色环形区域和五个圆形阴影区域，无色环形区域为介于半径分别为R1和R2的圆环区域，落在此区域的匹配点配准误差可能符合要求，本报告称之为“可接受误差带”。五个圆形阴影区域分布于五个半径均为R0的圆内，该绿色区域本报告称之“基准点候选区”，表示落在该区域的匹配点精度较高，作为本框架匹配依据——“基准点”的候选点。除去无色环形区域和五个圆形阴影区域，稳定圆模型还包含两个区域，一个介于半径分别是R0与R1的圆环内，另一个是半径为R2的圆环外所有区域，这两个白色区域本报告称之为“不可接受误差带”，落在其中的匹配点将被剔除掉。

在寻找基准点的过程中，为了保证选出真正的基准点，本报告共进行了两次筛选。第一次筛选出“可接受误差带”中的匹配点，并按其与参考点P₀～P₄相应作比较，分别计算出误差并将误差数值并按照从小到大的顺序排列成“基准点候选队列”；第二次从“基准点候选队列”中筛选出误差最小的匹配点，同时判断该点是否既落在“可接受误差带”又落在“基准点候选区”。这样选出的基准点其匹配误差比较小，可以参与最终配准点坐标的确定。稳定圆模型中参数R₀、R₁、R₂的选取受误差精度的要求约束，精度越高则相应圆形阴影区域的面积也就越小。

4、稳定圆模型自修正

稳定圆模型自修正原理图如图6所示。假设通过并行景象匹配计算可得到这五个点在基准图上的坐标分别为P′₀(X′₀，Y′₀)，P′₁(X′₁，Y′₁)，P′₂(X′₂，Y′₂)，P′₃(X′₃，Y′₃)，P′₄(X′₄，Y′₄)。

以图6所示为例，假设配准点P₁和P₃是筛选出的基准点，则分别以P₁和P₃为基准点计算中心匹配点P₀，计算过程如下所述。

由P′₁(X′₁，Y′₁)坐标估计的中心点P′₀(X′₀，Y′₀)坐标

$\left\{\begin{array}{c}{X}_0^{\′}=X_1^{\′}+0.5\mathrm{Width}\\ Y_0^{\′}=Y_1^{\′}+0.5\mathrm{Height}\end{array}\right.---\left(3\right)$

由P′₃(X′₃，Y′₃)坐标估计的中心点P″₀(X″₀，Y″₀)坐标

$\left\{\begin{array}{c}{X}_0^{\′\′}=X_3^{\′\′}-0.5\mathrm{Width}\\ Y_0^{\′\′}=Y_3^{\′\′}-0.5\mathrm{Height}\end{array}\right.---\left(4\right)$

由于P₁与P₃的配准点P′₁与P′₃配准误差不同，即

||P₁-P′₁||≠||P₃-P′₃||    (5)

因此在估计P₀的配准点过程中，二者的估计权重应该有所不同。本报告采用归一化加权融合策略。

记配准点P′₁与P′₃的配准误差为别为

$\left\{\begin{array}{c}{\mathrm{Error}}_{p_1}=\left|\right|P_1-P_1^{\′}\left|\right|\\ {\mathrm{Error}}_{p_3}=\left|\right|P_3-P_3^{\′}\left|\right|\end{array}\right.---\left(6\right)$

则配准点P′₁与P′₃的估计权重分别为

$\left\{\begin{array}{c}{\mathrm{Weight}}_{P_1}=\frac{{\mathrm{Error}}_{p_1}}{{\mathrm{Error}}_{p_1}+{\mathrm{Error}}_{p_3}}\\ {\mathrm{Weight}}_{P_3}=\frac{{\mathrm{Error}}_{p_3}}{{\mathrm{Error}}_{p_1}+{\mathrm{Error}}_{p_3}}\end{array}\right.---\left(7\right)$

由此，估计配准点P′₀坐标

$\left\{\begin{array}{c}{X}_0={\mathrm{Weight}}_{P_1}{X}_0^{\′}+{\mathrm{Weight}}_{P_3}{X}_0^{\′\′}\\ Y_0={\mathrm{Weight}}_{P_1}{Y}_0^{\′}+{\mathrm{Weight}}_{P_3}{Y}_0^{\′\′}\end{array}\right.---\left(8\right)$

综上，P′₀(X′₀，Y′₀)的计算公式为

$c_i=\frac{\left|\right|e_i(\mathrm{\Δ}{x}_i,\mathrm{\Δ}{y}_i)\left|\right|}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{e}_i(\mathrm{\Δ}{x}_i,{\mathrm{\Δy}}_i)}---\left(10\right)$

式中 

e_i(Δx_i，Δy_i)为配准点误差计算公式。

Claims (1)

1.基于动态关键帧的非适配区景象匹配框架，其特征在于包括以下步骤：

A、选择关键帧：

选择特征明显、纹理丰富的实时图作为关键帧，作为景象匹配的基准图；注意关键帧并非只有一帧，而是随着实时图序列的增加不断前移；

B、帧间景象匹配：

a.先选择实时图的帧间匹配区。在飞行器飞行过程中所拍摄的实时图像中，在一小段时间内，部分区域有一段图影像是各帧实时图所公有的，即各帧实时图的公共影像区，该公共影像区是帧间匹配的基础；

b.与关键帧上相应的帧间匹配区图像进行配准，利用关键帧进行帧间景象匹配；

先对实时图与关键帧之间可采用多区域景象匹配，即把景象匹配区图像划分为多个区域后并行独立计算；多区域景象匹配区的选取分为两个层次：第一层为中心匹配区，第二层是四邻域匹配区，其空间位置分布于正方形的中心与四个顶点。并行计算后输出各区域配准结果；

c.计算每个匹配区域中心坐标。稳定圆模型进行自检验的原理是基于误差限的检验与判断，为了尽可能地利用实时图的影像信息，同时，相对于单区域匹配不增加过多的计算量，本方法经过权衡选择了五个匹配区域，即中心匹配区域与四邻域匹配区域。在每个匹配区计算出相应的区域中心坐标；

C、圆模型自检验：

a.设定误差带：根据精度要求，以关键帧匹配区域各中心点做相应半径的圆形区域。该区域作为基准区域；

b.剔除误差点：对于实时图中落入a所述基准区域的原中心点认为是基准点候选点，对于未落入基准区域的点进行剔除；

c.筛选匹配点：分别计算从“基准点候选队列”中筛选出误差最小的匹配点，同时判断该点是否既符合精度要求，又落在基准区域；

D、圆模型自修正：稳定圆模型自修正的原理是将稳定圆模型自检验步骤中筛选出的基准点基于圆模型特性计算出实时图中心在基准图上的精确定位坐标；

a.根据圆模型自检验所筛选出的基准点分别计算整个帧间匹配区中心点的坐标位置；

b.采用归一化加权融合策略计算出中心点的最终坐标。在估计中心配准点过程中，估计权重应该有所不同；

E、配准点坐标换算：

配准点坐标由关键帧坐标系换算到基准图坐标系。

Images