CN111444385A - 一种基于影像角点匹配的电子地图实时视频镶嵌方法 - Google Patents

Abstract

本发明属于机载光电系统电子地图实时视频镶嵌技术领域，具体涉及一种基于影像角点匹配的电子地图实时视频镶嵌方法。为提高电子地图视频镶嵌的匹配精度，该方法实时获取地面视频影像，计算原始视频影像角点对应地面目标区域的经、纬度，并根据事先确定的影像镶嵌比例从原始视频影像中裁取待镶嵌的视频影像，并对待镶嵌的影像进行正射纠正；最后，计算待镶嵌视频影像的各角点在地理坐标下的经、纬度坐标，并逐一与电子地图对应经、纬坐标进行位置匹配，从而将视频影像镶嵌在电子地图上。本发明电子地图视频镶嵌位置精度高，且计算量小，能够满足电子地图视频镶嵌的实时性要求。

Description

一种基于影像角点匹配的电子地图实时视频镶嵌方法

技术领域

本发明属于机载光电系统电子地图实时视频镶嵌技术领域，具体涉及一种基于影像角点匹配的电子地图实时视频镶嵌方法。

背景技术

随着空天地“三位一体”信息化作战和各军种部队对情报保障提出更高要求，对地侦察监视技术进入以高分辨率、高精度、全天候、大范围信息实时获取和快速处理为特征的新时期。当前，战场环境信息情报对信息化、体系化、透明化作战空间的构建极为关键。在空地一体化作战背景下，对己方和敌方作战区域的战场环境的了解和掌握必不可少，作战体系涉及侦察感知、指挥控制、精确打击、综合评估和立体防护等多个环节，都离不开对战场环境情报的搜集和实时态势感知的保障。空军要实现由陆地上空向海洋上空、由主权疆域向国家战略利益攸关区域的不断扩展、准确掌握作战区域目标态势变化情况、增强区域控制能力是必需的途径，而目标区域的态势感知和情报搜集，迫切需要将目标区战时侦察/监视高分辨率视频与全球数字地图相结合，提高侦察监视平台的远程区域感知能力，从而准确掌握目标区域的态势及变化，增强区域控制能力。

目标区域侦察/监视视频的电子地图视频镶嵌，是战场环境情报搜集和目标区实时态势感知的一种必要的技术手段。通过将光电广域侦察/监视平台的目标区域可见光和红外视频实时影像与高分辨率电子地图相结合，不仅可以对关注目标进行持续侦察和监视，还可以动态地掌握目标周围区域的战场环境，从而保障军队各级指挥员对当前战场态势和地理空间信息的全面了解和掌握。

目前，传统电子地图视频镶嵌方法，通过计算原始视频影像四个角点的地理坐标，直接将四个角点的地理坐标与电子地图上对应的地理坐标进行匹配，从而将视频图像镶嵌在电子地图上。该方法没有考虑原始倾斜摄影影像与电子地图影像之间的视角不一致问题，也没有考虑摄影光轴角度变化带来的镶嵌影像视频窗口的畸变问题，导致传统电子地图视频镶嵌方法性能较差，无法满足实战应用需求。传统电子地图视频镶嵌方法主要缺点，具体表现在以下两个方面：

(1)视频镶嵌位置精度差。镶嵌后的视频中景物无法与电子地图中的景物(房屋、道路、河流、山川等)相匹配；

(2)镶嵌视频图像畸变。随着所拍摄视频相机的光轴倾角的变化，尤其在光电平台倾斜角度较大时，镶嵌视频的窗口会发生扭曲且长宽比例严重失调。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：针对现有电子地图视频镶嵌方法存在的问题，如何提高电子地图视频镶嵌的匹配精度，并使镶嵌视频的窗口比例始终保持恒定。

(二)技术方案

为解决上述技术问题，本发明提供一种基于影像角点匹配的电子地图实时视频镶嵌方法，其包括以下步骤：

步骤1：光电系统对准目标区域，实时获取目标区域的原始视频影像；

步骤2：根据获取原始视频影像时，惯性导航设备给出的传感器位置和姿态信息、光电平台的角度信息，以及各影像角点的像素偏差角，计算原始视频影像四个角点对应地面位置在载机东北天坐标下的坐标；

步骤3：根据原始视频影像四个角点对应的载机东北天坐标系下的坐标，计算原始视频影像对应地面目标区域的各个参数；

步骤4：根据原始视频影像对应地面目标区域的各个参数，以及事先给定的实际镶嵌视频比例，计算待镶嵌影像的四个角点的像素坐标；

步骤5：根据步骤4获得的四个影像角点的像素坐标，将这四个像素坐标内的影像数据从原始视频影像中裁取出来，并对裁取的影像进行正射影像纠正；

步骤6：根据步骤4获得的四个影像角点的像素坐标，以及步骤2中获取的传感器位置和姿态信息和光电平台的角度信息，计算四个影像角点在地理坐标下的对应地面位置的经度和纬度坐标；

步骤7：根据步骤6获得的四个影像角点对应地面位置的经度和纬度坐标，查找电子地图中相应的经度和纬度坐标，然后逐一匹配将纠正后的影像镶嵌在电子地图对应区域上。

其中，所述步骤1中，操纵光电系统使电视或热像传感器对准目标区域，实时获取目标区域的电视或热像传感器的原始视频影像。

其中，所述步骤2中，根据当前光电平台横滚角θ_RO、俯仰角θ_EL，载机航向角α_F、俯仰角β_F、横滚角γ_F，以及原始视频影像角点的横滚向和俯仰向的像素偏差角△ROL和△EL，计算各角点对应地面位置在载机东北天坐标下的坐标，包括以下步骤：

步骤21：计算角点处光线与当地东北天坐标系之间三轴夹角组成的旋转矩阵A：

其中，

为惯性导航设备三个轴向与当地东北天坐标系之间三轴夹角组成的旋转矩阵；

为光电系统瞄线坐标系与惯性导航坐标系之间三轴夹角组成的旋转矩阵；

C_{delta_roll}和C_{delta_pitch}分别为各角点的横滚向和俯仰向像素偏差角的旋转矩阵；

步骤22：计算各角点对应地面位置在载机所在东北天坐标系下的坐标[X_J[i]，Y_J[i]，Z_J[i]]^T(i＝1,2,3,4)：

其中，d_J[i](i＝1,2,3,4)为各角点对应地面位置与当前载机之间的距离。

其中，所述步骤3中，计算原始视频影像对应地面目标区域的各参数，由原始视频影像四个角点对应的地面位置坐标(X_J[i]，Y_J[i])(i＝1,2,3,4)，则原始视频影像对应地面目标区域长度L_a、宽度L_b，分别为：

其中，所述步骤4中，根据事先给定的视频镶嵌长宽比例为k，令u和△u分别为满足比例要求的横滚向像幅宽度所占原始视频影像像素个数和裁取的镶嵌影像横滚向像幅宽度所占原始视频影像像素个数：

其中，m和n分别为原始视频影像横滚向和俯仰向总像元个数，则待镶嵌影像的四个角点的像素坐标依次为

和

其中，所述步骤5中，为了提高视频影像的镶嵌位置精度，利用间接法数字微分纠正原理，对裁取的待镶嵌视频影像进行正射投影纠正，将待镶嵌的原始倾斜影像转换为垂直正射影像。

其中，所述步骤6中，计算各影像角点在地理坐标下的经度和纬度坐标，包括如下步骤：

步骤61：根据各影像角点的像素坐标，按照步骤2的计算方法，分别计算四个影像角点对应的地面位置在载机东北天坐标下的坐标

步骤62：根据当前载机的经度L_F和纬度B_F，以及影像角点对应的地面位置在载机东北天坐标下的平面坐标，令

为：

其中，a、b是地球海表面椭球数学模型的椭圆长轴半径和短轴半径，e是椭圆的第一偏心率，则各影像角点对应地面位置在地理坐标系下的经度和纬度坐标

为：

(三)有益效果

与现有技术相比较，本发明具备如下有益效果：

(1)本发明对待镶嵌影像进行了正射影像纠正，使镶嵌影像和电子地图的视角保持一致，电子地图视频镶嵌位置精度高，镶嵌后的视频中景物能够与电子地图中的景物(房屋、道路、河流、山川等)精确匹配；

(2)本发明根据系统参数实时计算满足镶嵌比例的影像角点坐标，从而使镶嵌的视频影像比例保持不变，且计算量小，能满足实时性要求。

附图说明

图1为本发明的一种基于影像角点匹配的电子地图实时视频镶嵌方法原理图。

图2是本发明的一种基于影像角点匹配的电子地图实时视频镶嵌方法流程图。

图3是本发明的电子地图视频镶嵌实例效果图。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

参照图1，本发明一种基于影像角点匹配的电子地图实时视频镶嵌方法，原理如下：通过光电系统电视或热像等传感器实时获取地面视频影像，根据当前载机惯性导航设备给出的传感器位置、姿态和光电平台的角度信息，以及影像角点的像素偏差角，利用目标角点定位算法，计算原始视频影像对应地面目标区域的各参数，包括长度、宽度；并根据事先确定的视频镶嵌长宽比例，对原始视频影像进行裁取，并对裁取得待镶嵌视频影像进行正射投影纠正；最后，计算各影像角点在地理坐标下的经度和纬度坐标，并分别将四个角点的经度和纬度坐标与电子地图上对应的经度和纬度进行逐一匹配，从而将视频影像镶嵌在电子地图上。

参照图2，本发明一种基于影像角点匹配的电子地图实时视频镶嵌方法，具体实现步骤如下：

步骤1：操控系统使电视或热像传感器对准目标区域，实时获取目标区域的电视或热像传感器的原始视频影像。

步骤2：根据获取当前影像时惯性导航设备给出的传感器位置和姿态信息、光电平台的角度信息，以及各角点的像素偏差角，计算原始视频影像四个角点对应地面位置在载机东北天坐标下的坐标。

本实施例中，步骤2具体实现方式，包括以下步骤：

步骤21：根据当前光电平台的横滚角θ_RO、俯仰角θ_EL，载机航向角α_F、俯仰角β_F、横滚角γ_F，以及原始视频影像角点的横滚向和俯仰向的像素偏差角△ROL和△EL，计算角点处光线与当地东北天坐标系之间三轴夹角组成的旋转矩阵A：

其中，

为惯性导航设备三个轴向与当地东北天坐标系之间三轴夹角组成的旋转矩阵

为光电系统瞄线坐标系与惯性导航坐标系之间三轴夹角组成的旋转矩阵

C_{delta_roll}和C_{delta_pitch}分别为各角点的横滚向和俯仰向像素偏差角的旋转矩阵

步骤22：计算各角点对应地面位置在载机所在东北天坐标系下的坐标[X_J[i]，Y_J[i]，Z_J[i]]^T(i＝1,2,3,4)：

其中，d_J[i](i＝1,2,3,4)为各角点对应地面位置与当前载机之间的距离。

步骤3：根据原始视频影像四个角点对应的载机东北天坐标系下的坐标，计算原始视频影像对应地面目标区域的各参数，包括长度、宽度。

本实施例中，步骤3的具体实现方式如下：

根据原始视频影像四个角点对应的地面位置坐标(X_J[i]，Y_J[i])(i＝1,2,3,4)，则计算原始视频影像对应地面目标区域长度L_a、宽度L_b分别为：

步骤4：根据原始视频影像对应地面目标区域的各参数，以及事先给定的视频镶嵌长宽比例，计算待镶嵌影像的四个影像角点的像素坐标。

本实施例中，步骤4的具体实现方式如下：

根据事先给定的视频镶嵌长宽比例为k，令u和△u分别为满足比例要求的横滚向像幅宽度所占原始视频影像像素个数和裁取的镶嵌影像横滚向像幅宽度所占原始视频影像像素个数：

其中，m和n分别为原始视频影像横滚向和俯仰向总像元个数，则待镶嵌影像的四个角点的像素坐标依次为

和

步骤5：根据计算的四个影像角点的像素坐标，将这四个像素坐标内的影像数据从原始视频影像中分割出来，并对裁取的影像进行正射投影纠正。

本实施例中，步骤5的具体实现方式，包括以下步骤：

步骤51：根据当前摄影斜距R和光学摄影系统焦距f，计算当前系统的摄影比例尺M＝R/f；

步骤52：利用间接法数字微分纠正方法，根据摄影比例尺M选择合适的影像成图比例尺，将待镶嵌的倾斜影像纠正成垂直摄影的正射影像。

步骤6：根据四个影像角点的像素坐标计算各角点的像素偏差角，并根据步骤2中获取当前传感器的位置和姿态，以及光电平台的角度信息，计算各影像角点在地理坐标下的经度和纬度坐标。

本实施例中，步骤6的具体实现方式，包括以下步骤：

步骤61：根据各影像角点的像素坐标，按照步骤2的计算方法，分别计算四个影像角点对应的地面位置在载机东北天坐标下的坐标

步骤62：根据当前载机的经度L_F和纬度B_F，以及影像角点对应的地面位置在载机东北天坐标下的平面坐标，令

为：

其中，a、b是地球海表面椭球数学模型的椭圆长轴半径和短轴半径，e是椭圆的第一偏心率，则各影像角点对应地面位置在地理坐标系下的经度和纬度坐标

为：

步骤7：根据四个影像角点对应地面位置的经度和纬度，查找电子地图中相应的经度和纬度坐标，将纠正后的影像镶嵌在电子地图。

参照图3所示，本实施例中，根据步骤7，通过影像角点与电子地图对应位置逐一匹配，将纠正后的影像镶嵌在电子地图对应区域上。其中，图像Map为电子地图，图像Img为镶嵌影像。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于影像角点匹配的电子地图实时视频镶嵌方法，其特征在于，其包括以下步骤：

步骤1：光电系统对准目标区域，实时获取目标区域的原始视频影像；

步骤2：根据获取原始视频影像时，惯性导航设备给出的传感器位置和姿态信息、光电平台的角度信息，以及各影像角点的像素偏差角，计算原始视频影像四个角点对应地面位置在载机东北天坐标下的坐标；

步骤3：根据原始视频影像四个角点对应的载机东北天坐标系下的坐标，计算原始视频影像对应地面目标区域的各个参数；

步骤4：根据原始视频影像对应地面目标区域的各个参数，以及事先给定的实际镶嵌视频比例，计算待镶嵌影像的四个角点的像素坐标；

步骤5：根据步骤4获得的四个影像角点的像素坐标，将这四个像素坐标内的影像数据从原始视频影像中裁取出来，并对裁取的影像进行正射影像纠正；

步骤6：根据步骤4获得的四个影像角点的像素坐标，以及步骤2中获取的传感器位置和姿态信息和光电平台的角度信息，计算四个影像角点在地理坐标下的对应地面位置的经度和纬度坐标；

步骤7：根据步骤6获得的四个影像角点对应地面位置的经度和纬度坐标，查找电子地图中相应的经度和纬度坐标，然后逐一匹配将纠正后的影像镶嵌在电子地图对应区域上。

2.如权利要求1所述的一种基于影像角点匹配的电子地图实时视频镶嵌方法，其特征在于，所述步骤1中，操纵光电系统使电视或热像传感器对准目标区域，实时获取目标区域的电视或热像传感器的原始视频影像。

3.如权利要求1所述的一种基于影像角点匹配的电子地图实时视频镶嵌方法，其特征在于，所述步骤2中，根据当前光电平台横滚角θ_RO、俯仰角θ_EL，载机航向角α_F、俯仰角β_F、横滚角γ_F，以及原始视频影像角点的横滚向和俯仰向的像素偏差角△ROL和△EL，计算各角点对应地面位置在载机东北天坐标下的坐标，包括以下步骤：

步骤21：计算角点处光线与当地东北天坐标系之间三轴夹角组成的旋转矩阵A：

其中，

为惯性导航设备三个轴向与当地东北天坐标系之间三轴夹角组成的旋转矩阵；

为光电系统瞄线坐标系与惯性导航坐标系之间三轴夹角组成的旋转矩阵；

C_{delta_roll}和C_{delta_pitch}分别为各角点的横滚向和俯仰向像素偏差角的旋转矩阵；

步骤22：计算各角点对应地面位置在载机所在东北天坐标系下的坐标[X_J[i]，Y_J[i]，Z_J[i]]^T(i＝1,2,3,4)：

其中，d_J[i](i＝1,2,3,4)为各角点对应地面位置与当前载机之间的距离。

4.如权利要求2所述的一种基于影像角点匹配的电子地图实时视频镶嵌方法，其特征在于，所述步骤3中，计算原始视频影像对应地面目标区域的各参数，具体步骤为：

由原始视频影像四个角点对应的地面位置坐标(X_J[i]，Y_J[i])(i＝1,2,3,4)，则原始视频影像对应地面目标区域长度L_a、宽度L_b，分别为：

5.如权利要求4所述的一种基于影像角点匹配的电子地图实时视频镶嵌方法，其特征在于，所述步骤4中，根据事先给定的视频镶嵌长宽比例为k，令u和△u分别为满足比例要求的横滚向像幅宽度所占原始视频影像像素个数和裁取的镶嵌影像横滚向像幅宽度所占原始视频影像像素个数：

其中，m和n分别为原始视频影像横滚向和俯仰向总像元个数，则待镶嵌影像的四个角点的像素坐标依次为

和

6.如权利要求5所述的一种基于影像角点匹配的电子地图实时视频镶嵌方法，其特征在于，所述步骤5中，为了提高视频影像的镶嵌位置精度，利用间接法数字微分纠正原理，对裁取的待镶嵌视频影像进行正射投影纠正，将待镶嵌的原始倾斜影像转换为垂直正射影像。

7.如权利要求6所述的一种基于影像角点匹配的电子地图实时视频镶嵌方法，其特征在于，所述步骤6中，计算各影像角点在地理坐标下的经度和纬度坐标，包括如下步骤：

步骤61：根据各影像角点的像素坐标，按照步骤2的计算方法，分别计算四个影像角点对应的地面位置在载机东北天坐标下的坐标

步骤62：根据当前载机的经度L_F和纬度B_F，以及影像角点对应的地面位置在载机东北天坐标下的平面坐标，令

为：

其中，a、b是地球海表面椭球数学模型的椭圆长轴半径和短轴半径，e是椭圆的第一偏心率，则各影像角点对应地面位置在地理坐标系下的经度和纬度坐标

为：

Images