CN114964249A - 一种三维数字地图与实时光电视频同步关联方法 - Google Patents

一种三维数字地图与实时光电视频同步关联方法 Download PDF

Info

Publication number
CN114964249A
CN114964249A CN202210361575.0A CN202210361575A CN114964249A CN 114964249 A CN114964249 A CN 114964249A CN 202210361575 A CN202210361575 A CN 202210361575A CN 114964249 A CN114964249 A CN 114964249A
Authority
CN
China
Prior art keywords
real
data
digital map
dimensional digital
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210361575.0A
Other languages
English (en)
Inventor
高强
陶忠
李良福
许辉
胥青青
秦川
孟立庄
王俊林
王亚楠
李晗笑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian institute of Applied Optics
Original Assignee
Xian institute of Applied Optics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian institute of Applied Optics filed Critical Xian institute of Applied Optics
Priority to CN202210361575.0A priority Critical patent/CN114964249A/zh
Publication of CN114964249A publication Critical patent/CN114964249A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于机载光电侦察、态势感知领域，公开了一种三维数字地图与实时光电视频同步关联方法，包括以下步骤：基于静态地形数据生成三维数字地图；获取载机实时位姿传感器数据和瞄准线姿态数据；生成动态三维数字地图；获取对应的传感器图像；进行光电图像与三维数字地图的同步关联；根据操控程序操控三维数字地图场景，显示不同视角和距离下的三维数字地图场景。本发明通过相关技术手段实现载机实时的光电视频与三维数字地图场景同步关联，光电视频能够跟踪具体的目标，同步关联的三维数字地图场景能够展现与光电视频探测地理范围大致相同的区域场景，提供目标运动道路和环境，辅助预测目标运动方向，辅助提供打击时机和分析等功能。

Description

一种三维数字地图与实时光电视频同步关联方法
技术领域
本发明属于机载光电侦察、态势感知领域，涉及一种三维数字地图与实时光电视频同步关联方法。
背景技术
传统军用机载光电系统利用光电传感器在各种情报侦察目标跟踪任务中，能够获得实时的目标图像，以及地面的实时图像。三维数字地图能够以任意视角、任意视场、任意视点呈现在即所处的周围地形环境。两种数据呈现的信息各有特点，并且具备一定互补优势。
在特定的军事任务中。包括地面目标跟踪、锁定、打击等，如果能够将实时的光电图像与三维数字地图同步关联，则可以给情报侦查人员和飞行员提供更好的综合态势感火力打击时机预测分析。
发明内容
(一)发明目的
本发明的目的是：提供一种三维数字地图与实时光电视频同步关联方法，将光电系统的图像与合成视觉图像进行同步关联并且同时显示，在光电系统图像中显示跟踪目标的同时，大致同一地理范围内的三维数字地图同步展现、显示该跟踪目标所处的环境，提供相关的地面运动道路信息，从而提供该跟踪目标的运动趋势预测与分析，辅助提供攻击路线预测与攻击时刻分析。
(二)技术方案
为实现三维数字地图与机载光电图像同步关联，本发明方法包括：括三维数字地图生成，光电图像采集，光电图像与三维场景同步关联主要步骤。三维数字地图利用真实地形数据生成三维地形场景，该三维场景具备了三维空间地理信息系统的能力；光电图像采集包括了图像内容中每一帧以及对应该帧的载机位姿数据,基于该帧产生时的载机位姿数据，可计算出该帧图像对应的地理探测区域；并利用该帧图像的位姿数据驱动生成三维数字地图；在同一屏幕中同时显示光电实时视频与驱动生成的三维数字地图场景，并保持二者时间同步和空间关联。
(三)有益效果
上述技术方案所提供的基于三维数字地图与实时光电视频同步关联方法，通过相关技术手段实现光电图像跟踪地面目标与三维数字地图中地面场景保持一致，提供给飞行员同时感知光电视频中跟踪目标和三维数字地图中场景的能力；能够三维数字地图中对应场景以任意视角和距离观察，从而提供一种多角度侦查感知能力和辅助的目标攻击路线与时刻分析能力,帮助飞行员在执行各种情报侦查、目标定位、态势感知以及辅助导航任务中，提供直观的局部微观环境和宏观环境的结合以及对比。
附图说明
图1是本发明中方法的流程组成示意图。
图2是本发明中三维数字地图与光电实时视频的同步关联效果图。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
如图1所示，本发明实施例目标定位方法包括以下步骤：获取载机实时位姿传感器数据以及光电瞄准线实时数据，计算载机的空间位置转换矩阵和空间姿态转换矩阵；根据预置的地形数据生成三维静态场景；获取对应时空关系的光电图像；根据空间位置转换矩阵和空间姿态转换矩阵驱动三维静态场景生成动态的三维数字地图场景；将光电图像与合成视觉图像进行帧同步，根据用户的操控数据选择三维数字地图场景的距离变换和视角变换，从而得到不同远近和不同视角下的数字地图场景，提供对跟踪目标所处地理环境的多角度感知。
下面对上述过程中的每个步骤进行详细描述：
S1：获取载机实时位姿传感器数据以及光电瞄准线实时数据，计算载机的空间位置转换矩阵和空间姿态转换矩阵
载机的位姿参数主要包括载机位置参数和姿态参数，位置参数包括经度、纬度、高度，分别记为L、B、H，位置数据以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准。光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为alos、plos，该角度以载机坐标系为基准。
获取包括载机位置、姿态，瞄准线姿态在内的共8个数据，作为后续动态连续合成视觉图像生成步骤的输入。
空间位置转换矩阵记为Mpos，位置转换矩阵Mpos采用如下计算过程：
Figure BDA0003583979190000031
其中，n,u,v是转换坐标系下的基向量，nx，ny，nz分别是向量n的x，y，z分量，ux、uy、uz分别是向量u的x，y，z分量，vx、vy、vz分别是(向量v的x，y，z分量)，其计算采用如下公式：
n＝(cosLcosB,sinLcosB,sinB)
vpx是地心坐标下的载机位置vp的x分量，vpy是地心坐标下的载机位置vp的y分量，vpz是地心坐标下的载机位置vp的z分量，计算采用如下公式：
vpx＝(N+H)cosBcosL
vpy＝(N+H)cosBsinL
vpz＝[(N(1-e2)+H]sinB
其中，L，B分别是上述步骤中采集得到的载机位置数据中每一帧的经度和纬度，N为卯酉圈半径，e2为第一偏心率，分别采用如下计算公式：
Figure BDA0003583979190000041
Figure BDA0003583979190000042
上式中，a，c分别为地球椭球体模型的长半径和短半径，
a＝6378137.0m
c＝6356752.3142m。
空间姿态转换矩阵记为Matti
姿态矩阵Matti采用如下计算过程，首先根据载机的姿态数据构建四元数，记为q:
Figure BDA0003583979190000043
其中，a，p，r分别为上述步骤中采集得到的载机的航向角、俯仰角、横滚角；
Figure BDA0003583979190000044
S2：静态三维场景生成
基于载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景，主要步骤包括：
2.1单块规则高程地形数据可视化
高程数据的形式为规则网格高程数据文件形式，对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块规则高程地形数据的网格化三维模型。
2.2海量数据组织方法
海量地形数据由单块规则高程地形数据组成，以四叉树多分辨率方法对多块规则高程地形数据进行组织，生成大规模的三维地形场景模型。
2.3基于纹理的映射方法
以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景。
该步骤生成的三维场景，其效果图如图2所示，记为SCENEstategraph，作为后续动态连续合成视觉图像生成步骤的输入。
S3：实时光电图像获取
机载光电系统实时光电图像由光电转塔发送，不同的传感器有不同的帧率，根据帧率接收每一帧图像数据，记为feo(x,y,t)，作为后续配准融合步骤的输入。
S4：动态合成视觉图像生成
以步骤S1和步骤S2的输出，作为输入，即采集得到的载机位姿数据，瞄准线姿态驱动生成的三维静态场景，即可生成动态连续的合成视觉图像，具体方法包括：
4.1根据载机位姿数据构建空间变换矩阵，包括位置空间变换矩阵Mpos和姿态空间变换矩阵Matti；
4.2根据瞄准线姿态数据构建瞄准线空间变换矩阵Mlos；
4.3根据上述步骤构建复合空间变换矩阵Mcomposite，即Mcomposite＝Mlos*Matti*Mpos；
4.4以三维静态场景生成的场景节点树为对象SCENEstategraph，应用上一步中构建的复合空间变换矩阵Mcomposite，即可生成动态连续的合成视觉图像，记为SVSsequce。其中某一帧的图像记为fsvs(x,y,z,t)
本步骤中输出的合成视觉图像作为后续配准融合步骤的输入。
S5：光电图像与合成视觉图像进行帧同步：
以步骤S1、步骤S3和步骤S4输出的载机位姿数据Mpos、Matti，和瞄准线姿态数据Mlos、实时光电图像feo(x,y,t)和合成视觉图像为fsvs(x,y,z,t)输入，进行配准融合，主要包括以下处理流程：
5.1光电实时视频帧信号量设置：根据实时光电视频帧feo(x,y,t)的接收时刻，设置帧触发信号量，并发送到合成视觉图像线程。
5.2位姿数据组合矩阵信号量捕捉：当收到来自实时光电视频帧触发的信号量，立即开始计算Mcomposite；
5.3三维数字地图帧同步：以上一步计算Mcomposite为输入，得到fsvs(x,y,z,t)，确保SVSsequce中每一帧的生成周期与光电实时视频保持同步；
该步骤输出的综合视觉图像fregis_eo_svs(x,y,t)作为后续目标地理位置解算步骤的输入。
S6：三维数字地图多视角多量程变换
以步骤S5输出的三维数字图像SVSsequce为输入，设置虚拟视点位置和视角数据，可以进行多视角和距离变换。具体步骤包括：
6.1获取合成视觉系统中默认虚拟相机的视角和视距，视角包括俯仰角pitch和方位角heading，视距为观察距离range；
6.2根据预设门限值(Δpitch，Δheading，Δrange)对视角和视距数据修正；
6.3根据修正后的视角和视距数据(pitch±Δpitch，heading±Δheading，range±Δrange)，重新生成观察矩阵Mview，生成方法参见S1中位置姿态矩阵生成过程；
6.4根据重新生成的观察矩阵，重新生成视点变换、投影变换、视口变换矩阵，记为Mvpw，生成方法参见S4中4.3步骤；
6.6三维静态场景生成的场景节点树为对象SCENEstategraph，应用上一步中构建的复合空间变换矩阵Mvpw，即可生成根据实时光电视频触发的动态连续的合成视觉图像。
由上述技术方案可以看出，本发明利用地理信息系统对大规模三维场景的空间描述能力，将光电传感器图像与空间场景配准后，完成地理空间映射，因而能够对图像中的任意目标进行实时定位。该方法结合测绘领域以及信息融合处理的成果，以软件方式实现了一种新的多目标定位方法，对于机载航电系统有较强的工程应用意义，无须激光测距等硬件设备的支持，易于在以往航电系统改造升级中实现，可提高直升机的目标侦察能力和多目标侦察能力，其战术意义值得进一步挖掘，提升直升机的战场生存能力。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种三维数字地图与实时光电视频同步关联方法，其特征在于，包括以下步骤：
S1：获取载机实时位姿传感器数据以及光电瞄准线实时数据，计算载机的空间位置转换矩阵和空间姿态转换矩阵；
S2：静态三维场景生成；
S3：实时光电图像获取；
S4：动态合成视觉图像生成；
S5：光电图像与合成视觉图像进行帧同步；
S6：三维数字地图多视角多量程变换。
2.如权利要求1所述的三维数字地图与实时光电视频同步关联方法，其特征在于，所述步骤S1中，载机实时位姿传感器数据包括载机位置参数和姿态参数，位置参数包括经度、纬度、高度，分别记为L、B、H，位置数据以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准；光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为alos、plos，该角度以载机坐标系为基准。
3.如权利要求2所述的三维数字地图与实时光电视频同步关联方法，其特征在于，所述步骤S1中，空间位置转换矩阵记为Mpos：
Figure FDA0003583979180000011
其中，n,u,v是转换坐标系下的基向量，nx，ny，nz分别是向量n的x，y，z分量，ux、uy、uz分别是向量u的x，y，z分量，vx、vy、vz分别是(向量v的x，y，z分量)，其计算采用如下公式：
n＝(cosLcosB,sinLcosB,sinB)
vpx是地心坐标下的载机位置vp的x分量，vpy是地心坐标下的载机位置vp的y分量，vpz是地心坐标下的载机位置vp的z分量，计算采用如下公式：
vpx＝(N+H)cosBcosL
vpy＝(N+H)cosBsinL
vpz＝[(N(1-e2)+H]sinB
其中，L，B分别是上述步骤中采集得到的载机位置数据中每一帧的经度和纬度，N为卯酉圈半径，e2为第一偏心率，分别采用如下计算公式：
Figure FDA0003583979180000021
Figure FDA0003583979180000022
上式中，a，c分别为地球椭球体模型的长半径和短半径，
a＝6378137.0m
c＝6356752.3142m。
4.如权利要求3所述的三维数字地图与实时光电视频同步关联方法，其特征在于，所述步骤S1中，空间姿态转换矩阵计算过程如下：
首先根据载机的姿态数据构建四元数，记为q:
Figure FDA0003583979180000023
其中，a，p，r分别为上述步骤中采集得到的载机的航向角、俯仰角、横滚角；
Figure FDA0003583979180000024
5.如权利要求4所述的三维数字地图与实时光电视频同步关联方法，其特征在于，所述步骤S2中，静态三维场景生成包括：
2.1单块规则高程地形数据可视化
高程数据的形式为规则网格高程数据文件形式，对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块规则高程地形数据的网格化三维模型；
2.2海量数据组织方法
海量地形数据由单块规则高程地形数据组成，以四叉树多分辨率方法对多块规则高程地形数据进行组织，生成大规模的三维地形场景模型；
2.3基于纹理的映射方法
以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景，三维场景记为SCENEstategraph。
6.如权利要求5所述的三维数字地图与实时光电视频同步关联方法，其特征在于，所述步骤S3中，机载光电系统实时光电图像由光电转塔发送，不同传感器的帧率不同，根据帧率接收每一帧图像数据，记为feo(x,y,t)，作为后续配准融合步骤的输入。
7.如权利要求6所述的三维数字地图与实时光电视频同步关联方法，其特征在于，所述步骤S4中，根据采集得到的载机位姿数据、瞄准线姿态驱动生成的三维静态场景，生成动态连续的合成视觉图像，步骤包括：
4.1根据载机位姿数据构建空间变换矩阵，包括位置空间变换矩阵Mpos和姿态空间变换矩阵Matti；
4.2根据瞄准线姿态数据构建瞄准线空间变换矩阵Mlos；
4.3根据上述步骤构建复合空间变换矩阵Mcomposite，Mcomposite＝Mlos*Matti*Mpos；
4.4以三维静态场景生成的场景节点树为对象SCENEstategraph，应用复合空间变换矩阵Mcomposite，生成动态连续的合成视觉图像，记为SVSsequce，其中某一帧的图像记为fsvs(x,y,z,t)。
8.如权利要求7所述的三维数字地图与实时光电视频同步关联方法，其特征在于，所述步骤S5中，进行光电图像与合成视觉图像进行帧同步：以步骤S1、步骤S3和步骤S4输出的载机位姿数据Mpos、Matti，和瞄准线姿态数据Mlos、实时光电图像feo(x,y,t)和合成视觉图像为fsvs(x,y,z,t)输入，进行配准融合。
9.如权利要求8所述的三维数字地图与实时光电视频同步关联方法，其特征在于，配准融合包括以下过程：
5.1光电实时视频帧信号量设置：根据实时光电视频帧feo(x,y,t)的接收时刻，设置帧触发信号量，并发送到合成视觉图像线程；
5.2位姿数据组合矩阵信号量捕捉：当收到来自实时光电视频帧触发的信号量，立即开始计算Mcomposite；
5.3三维数字地图帧同步：以上一步计算Mcomposite为输入，得到fsvs(x,y,z,t)，确保SVSsequce中每一帧的生成周期与光电实时视频保持同步。
10.如权利要求9所述的三维数字地图与实时光电视频同步关联方法，其特征在于，所述步骤S6中，以步骤S5输出的三维数字图像SVSsequce为输入，设置虚拟视点位置和视角数据，进行多视角和距离变换,步骤包括：
6.1获取合成视觉系统中默认虚拟相机的视角和视距，视角包括俯仰角pitch和方位角heading，视距为观察距离range；
6.2根据预设门限值(Δpitch，Δheading，Δrange)对视角和视距数据修正；
6.3根据修正后的视角和视距数据(pitch±Δpitch，heading±Δheading，range±Δrange)，重新生成观察矩阵Mview；
6.4根据重新生成的观察矩阵，重新生成视点变换、投影变换、视口变换矩阵，记为Mvpw；
6.6三维静态场景生成的场景节点树为对象SCENEstategraph，应用上一步中构建的复合空间变换矩阵Mvpw，生成根据实时光电视频触发的动态连续的合成视觉图像。
CN202210361575.0A 2022-04-07 2022-04-07 一种三维数字地图与实时光电视频同步关联方法 Pending CN114964249A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210361575.0A CN114964249A (zh) 2022-04-07 2022-04-07 一种三维数字地图与实时光电视频同步关联方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210361575.0A CN114964249A (zh) 2022-04-07 2022-04-07 一种三维数字地图与实时光电视频同步关联方法

Publications (1)

Publication Number Publication Date
CN114964249A true CN114964249A (zh) 2022-08-30

Family

ID=82977690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210361575.0A Pending CN114964249A (zh) 2022-04-07 2022-04-07 一种三维数字地图与实时光电视频同步关联方法

Country Status (1)

Country Link
CN (1) CN114964249A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114459461A (zh) * 2022-01-26 2022-05-10 西安应用光学研究所 一种基于gis与实时光电视频的导航定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114459461A (zh) * 2022-01-26 2022-05-10 西安应用光学研究所 一种基于gis与实时光电视频的导航定位方法
CN114459461B (zh) * 2022-01-26 2023-11-28 西安应用光学研究所 一种基于gis与实时光电视频的导航定位方法

Similar Documents

Publication Publication Date Title
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN104748751B (zh) 姿态矩阵的计算方法及基于姿态矩阵的定位导航方法
US20090262974A1 (en) System and method for obtaining georeferenced mapping data
EP3228984B1 (en) Surveying system
JP6329343B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
US5155683A (en) Vehicle remote guidance with path control
CN112184786B (zh) 一种基于合成视觉的目标定位方法
US10187589B2 (en) System and method for mixing a scene with a virtual scenario
US20190356936A9 (en) System for georeferenced, geo-oriented realtime video streams
WO2018216536A1 (ja) 映像生成装置及び映像生成方法
CA2526105A1 (en) Image display method and image display apparatus
CN106856566A (zh) 一种基于ar设备的信息同步方法及系统
Oskiper et al. Augmented reality binoculars
CN112381935A (zh) 一种合成视觉生成及多元融合装置
WO2021250914A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP5214355B2 (ja) 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム
CN116883604A (zh) 一种基于天、空、地影像的三维建模技术方法
CN114964249A (zh) 一种三维数字地图与实时光电视频同步关联方法
CN112927356B (zh) 一种无人机图像的三维显示方法
CN114964248A (zh) 一种运动轨迹出视场的目标位置计算和指示方法
CN116027351A (zh) 一种手持/背包式slam装置及定位方法
CN108344972A (zh) 基于光栅投射立体视觉的机器人视觉系统及导航方法
CN114463234A (zh) 一种基于综合视景的三维障碍数据保形融合方法
CN114459461B (zh) 一种基于gis与实时光电视频的导航定位方法
EP1796048A2 (en) Augmented virtual environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination