CN116012377B - 一种基于卫星地图的无人机虚拟观测图像生成及定位方法 - Google Patents

一种基于卫星地图的无人机虚拟观测图像生成及定位方法 Download PDF

Info

Publication number
CN116012377B
CN116012377B CN202310293190.XA CN202310293190A CN116012377B CN 116012377 B CN116012377 B CN 116012377B CN 202310293190 A CN202310293190 A CN 202310293190A CN 116012377 B CN116012377 B CN 116012377B
Authority
CN
China
Prior art keywords
image
camera
observation
virtual
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310293190.XA
Other languages
English (en)
Other versions
CN116012377A (zh
Inventor
梁文斌
陈志傲
刘阳
祝宇
杨基宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Tengdun Technology Co Ltd
Original Assignee
Sichuan Tengdun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Tengdun Technology Co Ltd filed Critical Sichuan Tengdun Technology Co Ltd
Priority to CN202310293190.XA priority Critical patent/CN116012377B/zh
Publication of CN116012377A publication Critical patent/CN116012377A/zh
Application granted granted Critical
Publication of CN116012377B publication Critical patent/CN116012377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于卫星地图的无人机虚拟观测图像生成及定位方法，涉及无人机图像生成和定位领域，包括：首先基于无人机惯导发送的无人机姿态信息，通过插值和坐标系变换，得到在观测相机拍摄图像时刻的观测相机三轴姿态角矩阵；然后构造虚拟相机，最后将观测相机拍摄的观测图像中的像素点逐一投影到卫星地图上，并读取像素点对应的卫星地图像素值，生成虚拟观测图像，并根据虚拟观测图像完成无人机定位；本发明，在无人机在大滚转、俯仰角和相机畸变参数较大的情况下，用卫星地图精确模拟出了虚拟观测图像，提高了虚拟观测图像和实际观测图像的特征匹配数量，提高了视觉定位精度。

Description

一种基于卫星地图的无人机虚拟观测图像生成及定位方法
技术领域
本发明涉及无人机图像生成和定位的技术领域，具体涉及一种基于卫星地图的无人机虚拟观测图像生成及定位方法。
背景技术
本节中的陈述仅提供与本公开相关的背景信息，并且可能不构成现有技术。
对于大型无人机在高空场景下的定位，卫星地图是常用的一种环境模型；无人机在GNSS（全球导航卫星系统）拒止环境下飞行时，可以从卫星地图上扣取出一个虚拟观测图像，并与实际的拍摄影像进行特征匹配，从而测算自身位置。
然而，卫星地图是卫星在高空竖直向下拍摄的平面影像，要想通过卫星地图解算无人机位置，无人机的观测相机也需要尽可能竖直向下安装拍摄影像。
当无人机的滚转、俯仰角度较小，观测相机畸变参数较小时，从卫星地图上扣取的虚拟观测图像与实际观测图像差别不大，解算的位置误差较小；当无人机的滚转、俯仰角度较大，观测相机畸变参数较大时，从卫星地图上扣取的虚拟观测图像与实际观测图像差别过大，特征匹配数量不足，导致解算的位置误差很大甚至无法解算出结果。
发明内容
本发明的目的在于：针对背景技术中存在问题，提供了一种基于卫星地图的无人机虚拟观测图像生成及定位方法，考虑了滚转、俯仰、偏航角及相机内参、畸变参数，用卫星地图更加逼真地模拟出虚拟观测图像，并用虚拟观测定位无人机位置，提高无人机在大俯仰、滚转角飞行时的定位精度；从而解决了上述问题。
本发明的技术方案如下：
一种基于卫星地图的无人机虚拟观测图像生成方法，包括：
步骤S1：基于无人机惯导发送的无人机姿态信息，通过插值和坐标系变换，得到在观测相机拍摄图像时刻的观测相机三轴姿态角矩阵；
步骤S2：构造虚拟相机，所述虚拟相机的像平面是一幅长宽自定义的局部卫星地图；
步骤S3：将观测相机拍摄的观测图像中的像素点逐一投影到卫星地图上，并读取像素点对应的卫星地图像素值，生成虚拟观测图像。
进一步地，所述步骤S1，包括：
步骤S11：基于无人机惯导发送的无人机姿态信息，通过插值得到在观测相机拍摄图像时刻的无人机姿态信息；
步骤S12：通过无人机机体坐标系与观测相机坐标系的变换关系，将步骤S11中得到的无人机姿态信息变换成观测相机三轴姿态角矩阵。
进一步地，所述步骤S11，包括：
通过惯导时间戳相邻的两个惯导数据，插值出观测相机拍摄图像时刻的无人机姿态信息。
进一步地，所述插值出观测相机拍摄图像时刻的无人机姿态信息，包括：
Figure SMS_1
其中：
Figure SMS_2
表示观测相机拍摄图像时刻的惯导时间戳；
Figure SMS_3
表示/>
Figure SMS_4
时刻的惯导时间戳；
Figure SMS_5
表示/>
Figure SMS_6
时刻的惯导时间戳；
Figure SMS_7
表示/>
Figure SMS_8
时刻无人机三轴姿态角；
Figure SMS_9
表示/>
Figure SMS_10
时刻无人机惯导姿态角对应的旋转矩阵；
Figure SMS_11
表示/>
Figure SMS_12
时刻无人机惯导姿态角对应的旋转矩阵；
函数
Figure SMS_13
表示将旋转矩阵变换为与之对应的三轴姿态角三维向量。
进一步地，所述步骤S2，包括：
根据假定的虚拟相机距离地面的高度、虚拟相机的像原大小、局部卫星地图的像素长、像素宽，获取虚拟相机内参；
所述虚拟相机内参，包括：
横向焦距
Figure SMS_14
、纵向焦距/>
Figure SMS_15
、像平面中心点的横纵像素坐标/>
Figure SMS_16
和/>
Figure SMS_17
。
进一步地，所述步骤S3，包括：
步骤S31：在虚拟相机坐标系下，计算观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值；
步骤S32：由观测相机三轴姿态角矩阵，构造出观测相机坐标系相对于虚拟相机坐标系的旋转矩阵
Figure SMS_18
；
步骤S33：创建一幅与观测图像尺寸相同的图像作为虚拟观测图像的容器，将观测图像的每个像素点坐标，通过变换投影到图像上，并读取在卫星地图上像素点坐标对应的像素值，填充到图像上，生成虚拟观测图像。
进一步地，所述步骤S31，包括：
Figure SMS_19
Figure SMS_20
其中：
Figure SMS_21
、/>
Figure SMS_22
表示观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值；
Figure SMS_23
、/>
Figure SMS_24
表示观测相机中心竖直投影到虚拟相机像平面上的像素点坐标。
进一步地，所述步骤S32，包括：
Figure SMS_25
其中：
Figure SMS_26
表示观测相机坐标系相对于虚拟相机坐标系的旋转矩阵；
Figure SMS_27
表示无人机机体坐标系相对于观测相机坐标系的旋转矩阵。
进一步地，所述步骤S33，包括：
步骤S331：用观测相机畸变参数，将像素点坐标变换为畸变后的像素点坐标；
步骤S332：将畸变后的像素点坐标投影到观测相机的深度归一化平面上，得到像素点的深度归一化坐标；
步骤S333：计算像素点的深度归一化坐标在重力方向上的投影；
步骤S334：根据投影结果，确定像素点对应的空间点在观测相机坐标系
Figure SMS_28
轴上的投影距离；
步骤S335：根据像素点的深度归一化坐标和对应的空间点在观测相机坐标系
Figure SMS_29
轴上的投影距离，得到像素点对应的空间点在观测相机坐标系下的坐标/>
Figure SMS_30
；
步骤S336：利用旋转矩阵
Figure SMS_31
，将/>
Figure SMS_32
变换到虚拟相机的相机坐标系下，得到/>
Figure SMS_33
；
步骤S337：利用虚拟相机内参，将
Figure SMS_34
投影到虚拟相机像平面上，得到对应的像素点坐标；
步骤S338：读取步骤S337中得到的像素点坐标在卫星地图上对应的像素值，填充到虚拟观测图像的像素点坐标位置上。
一种基于卫星地图的无人机定位方法，基于上述的一种基于卫星地图的无人机虚拟观测图像生成方法，包括：
步骤A：对观测图像和生成的虚拟观测图像之间进行特征点匹配；
步骤B：根据虚拟观测图像上的特征点的像素点坐标计算对应的GNSS坐标；
步骤C：将GNSS坐标变换到东北天坐标系下；
步骤D：利用东北天坐标系下的三维特征点和观测图像上与之匹配的图像特征点，构造PnP问题，求解观测相机东北天坐标；
步骤E：将求解得到的观测相机东北天坐标变换为GNSS坐标，并输出。
与现有的技术相比本发明的有益效果是：
一种基于卫星地图的无人机虚拟观测图像生成及定位方法，无人机在大滚转、俯仰角和相机畸变参数较大的情况下，用卫星地图精确模拟出了虚拟观测图像，提高了虚拟观测图像和实际观测图像的特征匹配数量，提高了视觉定位精度。
附图说明
图1为一种基于卫星地图的无人机虚拟观测图像生成原理示意图；
图2为惯导插值示意图；
图3为观测相机的像素投影到虚拟相机像平面上之后的示意图；
图4a为实际观测图像示意图；
图4b为虚拟观测图像示意图。
附图标记说明：1-虚拟相机，2-观测相机，3-虚拟相机像平面，4-观测相机的观测图像在虚拟相机像平面上的投影区域。
具体实施方式
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合实施例对本发明的特征和性能作进一步的详细描述。
实施例一
请参阅图1，一种基于卫星地图的无人机虚拟观测图像生成方法，包括：
步骤S1：基于无人机惯导发送的无人机姿态信息，通过插值和坐标系变换，得到在观测相机拍摄图像时刻的观测相机三轴姿态角矩阵；
步骤S2：构造虚拟相机，所述虚拟相机像平面3是一幅长宽自定义的局部卫星地图；
步骤S3：将观测相机拍摄的观测图像中的像素点逐一投影到卫星地图上，并读取像素点对应的卫星地图像素值，生成虚拟观测图像。
在本实施例中，具体的，所述步骤S1，包括：
步骤S11：基于无人机惯导发送的无人机姿态信息，通过插值得到在观测相机拍摄图像时刻的无人机姿态信息；需要说明的是：观测图像（观测相机拍摄的图像）的拍摄时间和接收到惯导数据的时间是不同步的，惯导数据的接收频率一般高于图像接收频率；因此首先需要通过惯导时间戳相邻的两个惯导数据，插值出观测相机拍摄图像时刻的无人机姿态信息；
步骤S12：通过无人机机体坐标系与观测相机坐标系的变换关系，将步骤S11中得到的无人机姿态信息变换成观测相机三轴姿态角矩阵。
在本实施例中，具体的，如图2所示，惯导发送来的无人机姿态信息实质是由无人机三轴姿态角构成的三维向量rpy；所述三轴姿态角是指：滚转、俯仰、偏航三轴姿态角；函数R（rpy）表示将三轴姿态角变换为对应的三维旋转矩阵；
假设
Figure SMS_35
时刻的惯导姿态角为rpy n，通过函数R（rpy）得到对应的旋转矩阵R n；/>
Figure SMS_36
时刻的惯导姿态角为rpy n+1，通过函数R（rpy）得到对应的旋转矩阵R n+1；/>
Figure SMS_37
表示观测相机拍摄图像时刻的惯导时间戳；
所述插值出观测相机拍摄图像时刻的无人机姿态信息，包括：
Figure SMS_38
其中：
Figure SMS_39
表示观测相机拍摄图像时刻的惯导时间戳；
Figure SMS_40
表示/>
Figure SMS_41
时刻的惯导时间戳；
Figure SMS_42
表示/>
Figure SMS_43
时刻的惯导时间戳；
Figure SMS_44
表示/>
Figure SMS_45
时刻无人机三轴姿态角；
Figure SMS_46
表示/>
Figure SMS_47
时刻无人机惯导姿态角对应的旋转矩阵；
Figure SMS_48
表示/>
Figure SMS_49
时刻无人机惯导姿态角对应的旋转矩阵；
函数
Figure SMS_50
表示将旋转矩阵变换为与之对应的三轴姿态角三维向量。
在本实施例中，具体的，需要说明的是，无人机机身与观测相机是刚性连接的，无人机的机体坐标系定义是前x,右y,下z；观测相机安装在机腹，光轴朝向地面，此时观测相机坐标系相对于无人机的定义是右x，后y，下z；因此，无人机机体坐标系与观测相机坐标系的变换由一个三维旋转矩阵
Figure SMS_51
实现；
Figure SMS_52
在本实施例中，具体的，所述步骤S2，包括：
根据假定的虚拟相机距离地面的高度、虚拟相机的像原大小、局部卫星地图的像素长、像素宽，获取虚拟相机内参；
所述虚拟相机内参，包括：
横向焦距
Figure SMS_53
、纵向焦距/>
Figure SMS_54
、像平面中心点的横纵像素坐标/>
Figure SMS_55
和/>
Figure SMS_56
；
优选地，虚拟相机是一个虚拟出来的卫星视角相机；虚拟相机的像平面就是一幅长宽相等的局部卫星地图；
如图1所示，本实施例假设虚拟相机1距离地面的高度为100000米，以第19层的谷歌地图为例，地图的每个像素宽度约为0.29米，即虚拟相机的像原大小为0.29米，虚拟相机像平面3如图1所示；
本实施为了保证虚拟相机的观测视角基本能涵盖观测相机2实际观测到的范围，从卫星地图上提取一块长宽相等的较大的区域，作为虚拟相机的观测图像。假设该区域的像素长
Figure SMS_57
、宽/>
Figure SMS_58
(/>
Figure SMS_59
)，综上得到虚拟相机内参：
Figure SMS_60
Figure SMS_61
Figure SMS_62
Figure SMS_63
在本实施例中，具体的，所述步骤S3，包括：
步骤S31：在虚拟相机坐标系下，计算观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值；需要说明的是，虚拟相机中心表示为虚拟相机像平面的中心点，也就是此时无人机的GNSS坐标落在卫星地图上的对应瓦片的中心点；
步骤S32：由观测相机三轴姿态角矩阵，构造出观测相机坐标系相对于虚拟相机坐标系的旋转矩阵
Figure SMS_64
；
步骤S33：创建一幅与观测图像尺寸相同的图像作为虚拟观测图像的容器，将观测图像的每个像素点坐标，通过变换投影到图像上，并读取在卫星地图上像素点坐标对应的像素值，填充到图像上，生成虚拟观测图像。
在本实施例中，具体的，所述步骤S31，包括：
Figure SMS_65
Figure SMS_66
其中：
Figure SMS_67
、/>
Figure SMS_68
表示观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值；
Figure SMS_69
、/>
Figure SMS_70
表示观测相机中心竖直投影到虚拟相机像平面上的像素点坐标；也就是观测相机拍摄时刻无人机的GNSS坐标垂直投影在地面上的点，再投影在虚拟相机像平面上的像素坐标。
在本实施例中，具体的，所述步骤S32，包括：
Figure SMS_71
其中：
Figure SMS_72
表示观测相机坐标系相对于虚拟相机坐标系的旋转矩阵；
Figure SMS_73
表示无人机机体坐标系相对于观测相机坐标系的旋转矩阵；
R表示一个函数，把三轴姿态角转换为三维旋转矩阵。
在本实施例中，具体的，所述步骤S33，包括：
步骤S331：用观测相机畸变参数，将像素点坐标变换为畸变后的像素点坐标；需要说明的是，在本实施例只考虑了径向畸变，在其他实施例中也可加入切向畸变；所述像素点坐标即未考虑畸变影响的像素坐标；
具体的，所述步骤S331，包括：
Figure SMS_74
Figure SMS_75
其中：
k 1、k 2、k 3为观测相机畸变参数；
Figure SMS_76
，/>
Figure SMS_77
为观测相机的中心点像素坐标；
Figure SMS_78
为像素点坐标；
Figure SMS_79
为被畸变后的像素点坐标；
步骤S332：将畸变后的像素点坐标投影到观测相机的深度归一化平面上，得到像素点的深度归一化坐标；
具体的，所述步骤S332，包括：
Figure SMS_80
其中：
Figure SMS_81
为像素点的深度归一化坐标；
Figure SMS_82
为观测相机内参；
需要说明的是，
Figure SMS_83
是一个三维向量；
步骤S333：计算像素点的深度归一化坐标在重力方向上的投影；
具体的，所述步骤S333，包括：
Figure SMS_84
其中：
Figure SMS_85
表示观测相机坐标系下的重力方向；
Figure SMS_86
，/>
Figure SMS_87
；
步骤S334：根据投影结果，确定像素点对应的空间点在观测相机坐标系
Figure SMS_88
轴上的投影距离；
具体的，所述步骤S334，包括：
若
Figure SMS_89
小于阈值（本实施例设为0.001），说明该像素点永远不可能投影到地平面上（投影方向向量与地面平行或指向天空），将该像素点的像素值置为0；
若
Figure SMS_90
大于阈值，假设地面为水平面，计算该像素点的对应空间点在观测相机坐标系/>
Figure SMS_91
轴上的投影距离/>
Figure SMS_92
；
Figure SMS_93
其中：
Figure SMS_94
表示观测相机场高；
步骤S335：根据像素点的深度归一化坐标和对应的空间点在观测相机坐标系
Figure SMS_95
轴上的投影距离，得到像素点对应的空间点在观测相机坐标系下的坐标/>
Figure SMS_96
；
具体的，所述步骤S335，包括：
Figure SMS_97
步骤S336：利用旋转矩阵
Figure SMS_98
，将/>
Figure SMS_99
变换到虚拟相机的相机坐标系下，得到/>
Figure SMS_100
；
具体的，所述步骤S336，包括：
Figure SMS_101
步骤S337：利用虚拟相机内参，将
Figure SMS_102
投影到虚拟相机像平面上，得到对应的像素点坐标；
具体的，所述步骤S337，包括：
Figure SMS_103
Figure SMS_104
其中：
Figure SMS_105
表示对应的像素点坐标；
步骤S338：读取步骤S337中得到的像素点坐标在卫星地图上对应的像素值，填充到虚拟观测图像的像素点坐标位置上；依此遍历虚拟观测图像每个像素点坐标读取对应的像素值，即可生成虚拟观测图像；
在本实施例中，具体的，如图3所示，图3是一个长宽相等的局部卫星地图，也是虚拟观测相机的像平面；将观测相机的像素点按照实施例一的方法投影到虚拟相机像平面上之后，得到的范围如图3中的白框所示；
通过上述投影方法投影每个像素点到虚拟相机的像平面上，并读取对应的像素值，最终生成虚拟观测图像，如图4a和图4b所示，其中，图4a实际观测图像，图4b是生成的虚拟观测图像。
实施例二
实施例二针对于实施例一提出的虚拟观测图像生成方法，提出了一种基于卫星地图的无人机定位方法，具体包括如下步骤：
步骤A：对观测图像和生成的虚拟观测图像之间进行特征点匹配；
步骤B：根据虚拟观测图像上的特征点的像素坐标计算对应的GNSS坐标；
步骤C：将GNSS坐标变换到东北天坐标系下；
步骤D：利用东北天坐标系下的三维特征点和观测图像上与之匹配的图像特征点，构造PnP问题，求解观测相机东北天坐标；
步骤E：将求解得到的观测相机东北天坐标变换为GNSS，并输出。
在本实施例中，具体的，所述特征点由superpoint提取，使用的特征点匹配方法为superglue；需要说明的是，superpoint是一个提取特征点的深度学习网络，观测相机拍摄图像是网络的输入，网络输出就是提取到的特征点，存储在一个libtorch的tensor中；superglue是一个用于特征点匹配的深度学习网络，将两幅图像的特征点集合传入superglue网络，得到的是两组特征点的匹配关系；
superpoint和superglue是两个开源的深度学习网络，分别用于特征点提取和特征点匹配；将接收到的图像构造为pytorch的tensor结构，并传给superpoint网络，superpoint网络的输出是一组特征点，以tensor的形式编码；通过superpoint网络分别提取虚拟观测图像和实际观测图像的特征点，并将两幅图像的特征点传给superglue网络，superglue网络输出两幅图像的匹配特征点。用左右图像像素点之间的连线表示特征点匹配。
在本实施例中，具体的，所述步骤B，包括：
假设当前无人机的经纬度坐标为
Figure SMS_106
和/>
Figure SMS_107
，已知当前无人机的经纬度坐标垂直投影的地面上的点对应的虚拟相机像平面的像素坐标/>
Figure SMS_108
、/>
Figure SMS_109
；计算出当前GNSS坐标附近的对应层级的卫星地图每个像素对应的经纬度跨度，比如当前使用的是第16层级的卫星地图，每个像素的经度跨度是：
Figure SMS_110
每个像素的纬度跨度是：
Figure SMS_111
假设一个特征点的像素坐标是
Figure SMS_112
，其对应的经纬度为/>
Figure SMS_113
，对应的GNSS坐标为：
Figure SMS_114
Figure SMS_115
在本实施例中，具体的，所述C，包括：
东北天坐标系的站心建立在起飞点处；建立方式为，根据站心的GNSS坐标(lon,lat,alt)计算旋转矩阵
Figure SMS_116
和平移/>
Figure SMS_117
；
旋转矩阵
Figure SMS_118
和平移/>
Figure SMS_119
用于将一个东北天坐标变换到地心直角坐标系(ECEF坐标)，其逆变换将ECEF坐标系变换到东北天坐标系；旋转矩阵/>
Figure SMS_120
和平移
Figure SMS_121
的计算过程如下：
Figure SMS_122
Figure SMS_123
在本实施例中，具体的，所述步骤D，包括：
PnP问题的求解通过调用opencv库的PnP函数实现，函数为：
cv::solvePnP(objP, imgP, K, dist, solved_R, solved_t)
其中，objP是目标点的集合，即为根据卫星地图得到的特征点的东北天坐标构造的一个cv::Mat矩阵；imgP为图像点的集合，是根据实际观测图像上的匹配特征点的像素坐标构造的一个cv::Mat矩阵；K是相机内参矩阵，以cv::Mat的矩阵形式构造的相机内参3*3矩阵；dist是一个5行1列的cv::Mat矩阵，存储相机畸变参数，前三位就是上文提到的径向畸变参数k 1、k 2、k 3，后两位为切向畸变参数，本实施例暂不考虑；solved_R和solved_t存储函数的求解结果，solved_R是观测相机相对于东北天坐标系的3*3旋转矩阵，solved_t是观测相机相对于东北天坐标系的平移。
在本实施例中，具体的，所述步骤E，包括：
步骤D计算的结果是观测相机东北天坐标，即solved_t，下面需要转换为GNSS坐标；
转换方式是通过步骤C描述的建立东北天坐标系时求解的
Figure SMS_124
和平移/>
Figure SMS_125
，将无人机的东北天坐标变换到ECEF坐标，再从ECEF坐标变换到GNSS坐标；
首先将solved_t转到ECEF坐标系下，得到
Figure SMS_126
：
Figure SMS_127
再将
Figure SMS_128
变换到GNSS坐标，得到/>
Figure SMS_129
；/>
Figure SMS_130
是一个三维向量，三个维度分别为经度、纬度和高度，变换过程为：
Figure SMS_131
其中：
Figure SMS_132
向量/>
Figure SMS_133
的第i个元素，p、q、m、n为中间变量；
Figure SMS_134
/>
Figure SMS_135
Figure SMS_136
Figure SMS_137
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。
提供本背景技术部分是为了大体上呈现本发明的上下文，当前所署名的发明人的工作、在本背景技术部分中所描述的程度上的工作以及本部分描述在申请时尚不构成现有技术的方面，既非明示地也非暗示地被承认是本发明的现有技术。

Claims (7)

1.一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，包括：
步骤S1：基于无人机惯导发送的无人机姿态信息，通过插值和坐标系变换，得到在观测相机拍摄图像时刻的观测相机三轴姿态角矩阵；
步骤S2：构造虚拟相机，所述虚拟相机的像平面是一幅长宽自定义的局部卫星地图；
步骤S3：将观测相机拍摄的观测图像中的像素点逐一投影到卫星地图上，并读取像素点对应的卫星地图像素值，生成虚拟观测图像；
所述步骤S2，包括：
根据假定的虚拟相机距离地面的高度、虚拟相机的像原大小、局部卫星地图的像素长、像素宽，获取虚拟相机内参；
所述虚拟相机内参，包括：
横向焦距
Figure QLYQS_1
、纵向焦距/>
Figure QLYQS_2
、像平面中心点的横纵像素坐标/>
Figure QLYQS_3
和/>
Figure QLYQS_4
；
无人机的机体坐标系定义是前x,右y,下z；观测相机安装在机腹，光轴朝向地面，此时观测相机坐标系相对于无人机的定义是右x，后y，下z；
所述步骤S3，包括：
步骤S31：在虚拟相机坐标系下，计算观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值；
步骤S32：由观测相机三轴姿态角矩阵，构造出观测相机坐标系相对于虚拟相机坐标系的旋转矩阵
Figure QLYQS_5
；
步骤S33：创建一幅与观测图像尺寸相同的图像作为虚拟观测图像的容器，将观测图像的每个像素点坐标，通过变换投影到图像上，并读取在卫星地图上像素点坐标对应的像素值，填充到图像上，生成虚拟观测图像；
所述步骤S33，包括：
步骤S331：用观测相机畸变参数，将像素点坐标变换为畸变后的像素点坐标；
步骤S332：将畸变后的像素点坐标投影到观测相机的深度归一化平面上，得到像素点的深度归一化坐标；
步骤S333：计算像素点的深度归一化坐标在重力方向上的投影；
步骤S334：根据投影结果，确定像素点对应的空间点在观测相机坐标系
Figure QLYQS_6
轴上的投影距离；
步骤S335：根据像素点的深度归一化坐标和对应的空间点在观测相机坐标系
Figure QLYQS_7
轴上的投影距离，得到像素点对应的空间点在观测相机坐标系下的坐标/>
Figure QLYQS_8
；
步骤S336：利用旋转矩阵
Figure QLYQS_9
，将/>
Figure QLYQS_10
变换到虚拟相机的相机坐标系下，得到/>
Figure QLYQS_11
；
步骤S337：利用虚拟相机内参，将
Figure QLYQS_12
投影到虚拟相机像平面上，得到对应的像素点坐标；
步骤S338：读取步骤S337中得到的像素点坐标在卫星地图上对应的像素值，填充到虚拟观测图像的像素点坐标位置上。
2.根据权利要求1所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述步骤S1，包括：
步骤S11：基于无人机惯导发送的无人机姿态信息，通过插值得到在观测相机拍摄图像时刻的无人机姿态信息；
步骤S12：通过无人机机体坐标系与观测相机坐标系的变换关系，将步骤S11中得到的无人机姿态信息变换成观测相机三轴姿态角矩阵。
3.根据权利要求2所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述步骤S11，包括：
通过惯导时间戳相邻的两个惯导数据，插值出观测相机拍摄图像时刻的无人机姿态信息。
4.根据权利要求3所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述插值出观测相机拍摄图像时刻的无人机姿态信息，包括：
Figure QLYQS_13
其中：
Figure QLYQS_14
表示观测相机拍摄图像时刻的惯导时间戳；
Figure QLYQS_15
表示/>
Figure QLYQS_16
时刻的惯导时间戳；
Figure QLYQS_17
表示/>
Figure QLYQS_18
时刻的惯导时间戳；
Figure QLYQS_19
表示/>
Figure QLYQS_20
时刻无人机三轴姿态角；
Figure QLYQS_21
表示/>
Figure QLYQS_22
时刻无人机惯导姿态角对应的旋转矩阵；
Figure QLYQS_23
表示/>
Figure QLYQS_24
时刻无人机惯导姿态角对应的旋转矩阵；
函数
Figure QLYQS_25
表示将旋转矩阵变换为与之对应的三轴姿态角三维向量。
5.根据权利要求1所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述步骤S31，包括：
Figure QLYQS_26
Figure QLYQS_27
其中：
Figure QLYQS_28
、/>
Figure QLYQS_29
表示观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值；
Figure QLYQS_30
、/>
Figure QLYQS_31
表示观测相机中心竖直投影到虚拟相机像平面上的像素点坐标。
6.根据权利要求5所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述步骤S32，包括：
Figure QLYQS_32
其中：
Figure QLYQS_33
表示观测相机坐标系相对于虚拟相机坐标系的旋转矩阵；
Figure QLYQS_34
表示无人机机体坐标系相对于观测相机坐标系的旋转矩阵。
7.一种基于卫星地图的无人机定位方法，其特征在于，基于权利按要求1-6任一项所述的一种基于卫星地图的无人机虚拟观测图像生成方法，包括：
步骤A：对观测图像和生成的虚拟观测图像之间进行特征点匹配；
步骤B：根据虚拟观测图像上的特征点的像素坐标计算对应的GNSS坐标；
步骤C：将GNSS坐标变换到东北天坐标系下；
步骤D：利用东北天坐标系下的三维特征点和观测图像上与之匹配的图像特征点，构造PnP问题，求解观测相机东北天坐标；
步骤E：将求解得到的观测相机东北天坐标变换为GNSS，并输出。
CN202310293190.XA 2023-03-24 2023-03-24 一种基于卫星地图的无人机虚拟观测图像生成及定位方法 Active CN116012377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310293190.XA CN116012377B (zh) 2023-03-24 2023-03-24 一种基于卫星地图的无人机虚拟观测图像生成及定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310293190.XA CN116012377B (zh) 2023-03-24 2023-03-24 一种基于卫星地图的无人机虚拟观测图像生成及定位方法

Publications (2)

Publication Number Publication Date
CN116012377A CN116012377A (zh) 2023-04-25
CN116012377B true CN116012377B (zh) 2023-06-30

Family

ID=86023438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310293190.XA Active CN116012377B (zh) 2023-03-24 2023-03-24 一种基于卫星地图的无人机虚拟观测图像生成及定位方法

Country Status (1)

Country Link
CN (1) CN116012377B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934829B (zh) * 2023-09-15 2023-12-12 天津云圣智能科技有限责任公司 无人机目标深度估计的方法、装置、存储介质及电子设备
CN117291980B (zh) * 2023-10-09 2024-03-15 宁波博登智能科技有限公司 一种基于深度学习的单张无人机图像像素定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108007463A (zh) * 2017-11-29 2018-05-08 天津聚飞创新科技有限公司 无人机姿态获取方法、装置及无人机
CN112240768A (zh) * 2020-09-10 2021-01-19 西安电子科技大学 基于Runge-Kutta4改进预积分的视觉惯导融合SLAM方法
CN113137955A (zh) * 2021-05-13 2021-07-20 江苏航空职业技术学院 一种基于场景建模和虚拟摄影的无人机航测虚拟仿真方法
CN114612559A (zh) * 2022-03-17 2022-06-10 四川腾盾科技有限公司 一种无人机位姿计算方法、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101846510B (zh) * 2010-05-28 2013-03-27 北京航空航天大学 一种基于星敏感器和陀螺的高精度卫星姿态确定方法
CN109658461B (zh) * 2018-12-24 2023-05-26 中国电子科技集团公司第二十研究所 一种基于虚拟仿真环境的合作二维码的无人机定位方法
US20200301015A1 (en) * 2019-03-21 2020-09-24 Foresight Ai Inc. Systems and methods for localization
CN111586360B (zh) * 2020-05-14 2021-09-10 佳都科技集团股份有限公司 一种无人机投影方法、装置、设备及存储介质
CN112461210B (zh) * 2020-12-18 2021-12-24 湖南大学 一种空地协同建筑测绘机器人系统及其测绘方法
CN114387341A (zh) * 2021-12-16 2022-04-22 四川腾盾科技有限公司 通过单张航拍观测图像计算飞行器六自由度位姿的方法
CN114777768A (zh) * 2022-03-03 2022-07-22 北京理工大学 一种卫星拒止环境高精度定位方法、系统及电子设备
CN114897935A (zh) * 2022-05-13 2022-08-12 中国科学技术大学 基于虚拟相机的无人机对空中目标物的追踪方法及系统
CN115205383A (zh) * 2022-06-17 2022-10-18 深圳市优必选科技股份有限公司 相机位姿的确定方法、装置、电子设备及存储介质
CN115560760A (zh) * 2022-09-14 2023-01-03 北京自动化控制设备研究所 一种面向无人机的视觉/激光测距高空导航方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108007463A (zh) * 2017-11-29 2018-05-08 天津聚飞创新科技有限公司 无人机姿态获取方法、装置及无人机
CN112240768A (zh) * 2020-09-10 2021-01-19 西安电子科技大学 基于Runge-Kutta4改进预积分的视觉惯导融合SLAM方法
CN113137955A (zh) * 2021-05-13 2021-07-20 江苏航空职业技术学院 一种基于场景建模和虚拟摄影的无人机航测虚拟仿真方法
CN114612559A (zh) * 2022-03-17 2022-06-10 四川腾盾科技有限公司 一种无人机位姿计算方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN116012377A (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN116012377B (zh) 一种基于卫星地图的无人机虚拟观测图像生成及定位方法
KR100762891B1 (ko) Ｌｏｓ벡터 조정모델을 이용한 영상의 기하보정 방법 및 그장치
US7944547B2 (en) Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data
Sanz‐Ablanedo et al. Reducing systematic dome errors in digital elevation models through better UAV flight design
CN100541232C (zh) 无姿态信息条件下的航空多光谱扫描仪几何粗校正方法
CN110617821B (zh) 定位方法、装置及存储介质
EP3132231B1 (en) A method and system for estimating information related to a vehicle pitch and/or roll angle
KR100529401B1 (ko) 합성 개구 레이더 영상을 이용한 수치표고자료 제작 장치및 그 방법
CN109961497A (zh) 基于无人机影像的实时三维重建方法
JP3776787B2 (ja) 三次元データベース生成システム
CN102506867B (zh) 基于Harris角点匹配的SINS/SMANS组合导航方法及系统
CN109520500A (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN108931235A (zh) 无人机倾斜摄影测量技术在规划竣工测量中的应用方法
CN109612438B (zh) 一种虚拟共面条件约束下的空间目标初轨确定方法
CN110706273B (zh) 一种基于无人机的实时塌方区域面积的测量方法
CN108062788A (zh) 一种三维重建方法、装置、设备和介质
CN111612901A (zh) 一种地理信息图像的提取特征与生成方法
CN102721410A (zh) 一种基于gps/imu定位定向技术的海岛空中三角测量方法
CN108253942B (zh) 一种提高倾斜摄影测量空三质量的方法
CN115962757A (zh) 一种无人机测绘方法、系统和可读存储介质
CN109241233B (zh) 一种坐标匹配方法及装置
CN113723568A (zh) 基于多传感器和海平面的遥感图像特征点高程获取方法
CN112785686A (zh) 一种基于大数据的林区地图构建方法及可读存储介质
CN113807435A (zh) 一种基于多传感器的遥感图像特征点高程获取方法
CN117253029A (zh) 基于深度学习的图像匹配定位方法及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant