CN116012377A - 一种基于卫星地图的无人机虚拟观测图像生成及定位方法 - Google Patents
一种基于卫星地图的无人机虚拟观测图像生成及定位方法 Download PDFInfo
- Publication number
- CN116012377A CN116012377A CN202310293190.XA CN202310293190A CN116012377A CN 116012377 A CN116012377 A CN 116012377A CN 202310293190 A CN202310293190 A CN 202310293190A CN 116012377 A CN116012377 A CN 116012377A
- Authority
- CN
- China
- Prior art keywords
- image
- virtual
- camera
- observation
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于卫星地图的无人机虚拟观测图像生成及定位方法,涉及无人机图像生成和定位领域,包括:首先基于无人机惯导发送的无人机姿态信息,通过插值和坐标系变换,得到在观测相机拍摄图像时刻的观测相机三轴姿态角矩阵;然后构造虚拟相机,最后将观测相机拍摄的观测图像中的像素点逐一投影到卫星地图上,并读取像素点对应的卫星地图像素值,生成虚拟观测图像,并根据虚拟观测图像完成无人机定位;本发明,在无人机在大滚转、俯仰角和相机畸变参数较大的情况下,用卫星地图精确模拟出了虚拟观测图像,提高了虚拟观测图像和实际观测图像的特征匹配数量,提高了视觉定位精度。
Description
技术领域
本发明涉及无人机图像生成和定位的技术领域,具体涉及一种基于卫星地图的无人机虚拟观测图像生成及定位方法。
背景技术
本节中的陈述仅提供与本公开相关的背景信息,并且可能不构成现有技术。
对于大型无人机在高空场景下的定位,卫星地图是常用的一种环境模型;无人机在GNSS(全球导航卫星系统)拒止环境下飞行时,可以从卫星地图上扣取出一个虚拟观测图像,并与实际的拍摄影像进行特征匹配,从而测算自身位置。
然而,卫星地图是卫星在高空竖直向下拍摄的平面影像,要想通过卫星地图解算无人机位置,无人机的观测相机也需要尽可能竖直向下安装拍摄影像。
当无人机的滚转、俯仰角度较小,观测相机畸变参数较小时,从卫星地图上扣取的虚拟观测图像与实际观测图像差别不大,解算的位置误差较小;当无人机的滚转、俯仰角度较大,观测相机畸变参数较大时,从卫星地图上扣取的虚拟观测图像与实际观测图像差别过大,特征匹配数量不足,导致解算的位置误差很大甚至无法解算出结果。
发明内容
本发明的目的在于:针对背景技术中存在问题,提供了一种基于卫星地图的无人机虚拟观测图像生成及定位方法,考虑了滚转、俯仰、偏航角及相机内参、畸变参数,用卫星地图更加逼真地模拟出虚拟观测图像,并用虚拟观测定位无人机位置,提高无人机在大俯仰、滚转角飞行时的定位精度;从而解决了上述问题。
本发明的技术方案如下:
一种基于卫星地图的无人机虚拟观测图像生成方法,包括:
步骤S1:基于无人机惯导发送的无人机姿态信息,通过插值和坐标系变换,得到在观测相机拍摄图像时刻的观测相机三轴姿态角矩阵;
步骤S2:构造虚拟相机,所述虚拟相机的像平面是一幅长宽自定义的局部卫星地图;
步骤S3:将观测相机拍摄的观测图像中的像素点逐一投影到卫星地图上,并读取像素点对应的卫星地图像素值,生成虚拟观测图像。
进一步地,所述步骤S1,包括:
步骤S11:基于无人机惯导发送的无人机姿态信息,通过插值得到在观测相机拍摄图像时刻的无人机姿态信息;
步骤S12:通过无人机机体坐标系与观测相机坐标系的变换关系,将步骤S11中得到的无人机姿态信息变换成观测相机三轴姿态角矩阵。
进一步地,所述步骤S11,包括:
通过惯导时间戳相邻的两个惯导数据,插值出观测相机拍摄图像时刻的无人机姿态信息。
进一步地,所述插值出观测相机拍摄图像时刻的无人机姿态信息,包括:
其中:
表示观测相机拍摄图像时刻的惯导时间戳;
表示时刻的惯导时间戳;
表示时刻的惯导时间戳;
表示时刻无人机三轴姿态角;
表示时刻无人机惯导姿态角对应的旋转矩阵;
表示时刻无人机惯导姿态角对应的旋转矩阵;
函数表示将旋转矩阵变换为与之对应的三轴姿态角三维向量。
进一步地,所述步骤S2,包括:
根据假定的虚拟相机距离地面的高度、虚拟相机的像原大小、局部卫星地图的像素长、像素宽,获取虚拟相机内参;
所述虚拟相机内参,包括:
横向焦距、纵向焦距、像平面中心点的横纵像素坐标和。
进一步地,所述步骤S3,包括:
步骤S31:在虚拟相机坐标系下,计算观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值;
步骤S32:由观测相机三轴姿态角矩阵,构造出观测相机坐标系相对于虚拟相机坐标系的旋转矩阵;
步骤S33:创建一幅与观测图像尺寸相同的图像作为虚拟观测图像的容器,将观测图像的每个像素点坐标,通过变换投影到图像上,并读取在卫星地图上像素点坐标对应的像素值,填充到图像上,生成虚拟观测图像。
进一步地,所述步骤S31,包括:
其中:
、表示观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值;
、表示观测相机中心竖直投影到虚拟相机像平面上的像素点坐标。
进一步地,所述步骤S32,包括:
其中:
表示观测相机坐标系相对于虚拟相机坐标系的旋转矩阵;
表示无人机机体坐标系相对于观测相机坐标系的旋转矩阵。
进一步地,所述步骤S33,包括:
步骤S331:用观测相机畸变参数,将像素点坐标变换为畸变后的像素点坐标;
步骤S332:将畸变后的像素点坐标投影到观测相机的深度归一化平面上,得到像素点的深度归一化坐标;
步骤S333:计算像素点的深度归一化坐标在重力方向上的投影;
步骤S334:根据投影结果,确定像素点对应的空间点在观测相机坐标系轴上的投影距离;
步骤S335:根据像素点的深度归一化坐标和对应的空间点在观测相机坐标系轴上的投影距离,得到像素点对应的空间点在观测相机坐标系下的坐标;
步骤S336:利用旋转矩阵,将变换到虚拟相机的相机坐标系下,得到;
步骤S337:利用虚拟相机内参,将投影到虚拟相机像平面上,得到对应的像素点坐标;
步骤S338:读取步骤S337中得到的像素点坐标在卫星地图上对应的像素值,填充到虚拟观测图像的像素点坐标位置上。
一种基于卫星地图的无人机定位方法,基于上述的一种基于卫星地图的无人机虚拟观测图像生成方法,包括:
步骤A:对观测图像和生成的虚拟观测图像之间进行特征点匹配;
步骤B:根据虚拟观测图像上的特征点的像素点坐标计算对应的GNSS坐标;
步骤C:将GNSS坐标变换到东北天坐标系下;
步骤D:利用东北天坐标系下的三维特征点和观测图像上与之匹配的图像特征点,构造PnP问题,求解观测相机东北天坐标;
步骤E:将求解得到的观测相机东北天坐标变换为GNSS坐标,并输出。
与现有的技术相比本发明的有益效果是:
一种基于卫星地图的无人机虚拟观测图像生成及定位方法,无人机在大滚转、俯仰角和相机畸变参数较大的情况下,用卫星地图精确模拟出了虚拟观测图像,提高了虚拟观测图像和实际观测图像的特征匹配数量,提高了视觉定位精度。
附图说明
图1为一种基于卫星地图的无人机虚拟观测图像生成原理示意图;
图2为惯导插值示意图;
图3为观测相机的像素投影到虚拟相机像平面上之后的示意图;
图4a为实际观测图像示意图;
图4b为虚拟观测图像示意图。
附图标记说明:1-虚拟相机,2-观测相机,3-虚拟相机像平面,4-观测相机的观测图像在虚拟相机像平面上的投影区域。
具体实施方式
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合实施例对本发明的特征和性能作进一步的详细描述。
实施例一
请参阅图1,一种基于卫星地图的无人机虚拟观测图像生成方法,包括:
步骤S1:基于无人机惯导发送的无人机姿态信息,通过插值和坐标系变换,得到在观测相机拍摄图像时刻的观测相机三轴姿态角矩阵;
步骤S2:构造虚拟相机,所述虚拟相机像平面3是一幅长宽自定义的局部卫星地图;
步骤S3:将观测相机拍摄的观测图像中的像素点逐一投影到卫星地图上,并读取像素点对应的卫星地图像素值,生成虚拟观测图像。
在本实施例中,具体的,所述步骤S1,包括:
步骤S11:基于无人机惯导发送的无人机姿态信息,通过插值得到在观测相机拍摄图像时刻的无人机姿态信息;需要说明的是:观测图像(观测相机拍摄的图像)的拍摄时间和接收到惯导数据的时间是不同步的,惯导数据的接收频率一般高于图像接收频率;因此首先需要通过惯导时间戳相邻的两个惯导数据,插值出观测相机拍摄图像时刻的无人机姿态信息;
步骤S12:通过无人机机体坐标系与观测相机坐标系的变换关系,将步骤S11中得到的无人机姿态信息变换成观测相机三轴姿态角矩阵。
在本实施例中,具体的,如图2所示,惯导发送来的无人机姿态信息实质是由无人机三轴姿态角构成的三维向量
rpy;所述三轴姿态角是指:滚转、俯仰、偏航三轴姿态角;函数R(
rpy)表示将三轴姿态角变换为对应的三维旋转矩阵;
假设时刻的惯导姿态角为
rpy n,通过函数R(
rpy)得到对应的旋转矩阵
R n;时刻的惯导姿态角为
rpy n+1,通过函数R(
rpy)得到对应的旋转矩阵
R n+1;表示观测相机拍摄图像时刻的惯导时间戳;
所述插值出观测相机拍摄图像时刻的无人机姿态信息,包括:
其中:
表示观测相机拍摄图像时刻的惯导时间戳;
表示时刻的惯导时间戳;
表示时刻的惯导时间戳;
表示时刻无人机三轴姿态角;
表示时刻无人机惯导姿态角对应的旋转矩阵;
表示时刻无人机惯导姿态角对应的旋转矩阵;
函数表示将旋转矩阵变换为与之对应的三轴姿态角三维向量。
在本实施例中,具体的,需要说明的是,无人机机身与观测相机是刚性连接的,无人机的机体坐标系定义是前x,右y,下z;观测相机安装在机腹,光轴朝向地面,此时观测相机坐标系相对于无人机的定义是右x,后y,下z;因此,无人机机体坐标系与观测相机坐标系的变换由一个三维旋转矩阵实现;
在本实施例中,具体的,所述步骤S2,包括:
根据假定的虚拟相机距离地面的高度、虚拟相机的像原大小、局部卫星地图的像素长、像素宽,获取虚拟相机内参;
所述虚拟相机内参,包括:
横向焦距、纵向焦距、像平面中心点的横纵像素坐标和;
优选地,虚拟相机是一个虚拟出来的卫星视角相机;虚拟相机的像平面就是一幅长宽相等的局部卫星地图;
如图1所示,本实施例假设虚拟相机1距离地面的高度为100000米,以第19层的谷歌地图为例,地图的每个像素宽度约为0.29米,即虚拟相机的像原大小为0.29米,虚拟相机像平面3如图1所示;
本实施为了保证虚拟相机的观测视角基本能涵盖观测相机2实际观测到的范围,从卫星地图上提取一块长宽相等的较大的区域,作为虚拟相机的观测图像。假设该区域的像素长、宽(),综上得到虚拟相机内参:
在本实施例中,具体的,所述步骤S3,包括:
步骤S31:在虚拟相机坐标系下,计算观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值;需要说明的是,虚拟相机中心表示为虚拟相机像平面的中心点,也就是此时无人机的GNSS坐标落在卫星地图上的对应瓦片的中心点;
步骤S32:由观测相机三轴姿态角矩阵,构造出观测相机坐标系相对于虚拟相机坐标系的旋转矩阵;
步骤S33:创建一幅与观测图像尺寸相同的图像作为虚拟观测图像的容器,将观测图像的每个像素点坐标,通过变换投影到图像上,并读取在卫星地图上像素点坐标对应的像素值,填充到图像上,生成虚拟观测图像。
在本实施例中,具体的,所述步骤S31,包括:
其中:
、表示观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值;
、表示观测相机中心竖直投影到虚拟相机像平面上的像素点坐标;也就是观测相机拍摄时刻无人机的GNSS坐标垂直投影在地面上的点,再投影在虚拟相机像平面上的像素坐标。
在本实施例中,具体的,所述步骤S32,包括:
其中:
表示观测相机坐标系相对于虚拟相机坐标系的旋转矩阵;
表示无人机机体坐标系相对于观测相机坐标系的旋转矩阵;
R表示一个函数,把三轴姿态角转换为三维旋转矩阵。
在本实施例中,具体的,所述步骤S33,包括:
步骤S331:用观测相机畸变参数,将像素点坐标变换为畸变后的像素点坐标;需要说明的是,在本实施例只考虑了径向畸变,在其他实施例中也可加入切向畸变;所述像素点坐标即未考虑畸变影响的像素坐标;
具体的,所述步骤S331,包括:
其中:
k 1、
k 2、
k 3为观测相机畸变参数;
,为观测相机的中心点像素坐标;
为像素点坐标;
为被畸变后的像素点坐标;
步骤S332:将畸变后的像素点坐标投影到观测相机的深度归一化平面上,得到像素点的深度归一化坐标;
具体的,所述步骤S332,包括:
其中:
为像素点的深度归一化坐标;
为观测相机内参;
需要说明的是,是一个三维向量;
步骤S333:计算像素点的深度归一化坐标在重力方向上的投影;
具体的,所述步骤S333,包括:
其中:
表示观测相机坐标系下的重力方向;
,;
步骤S334:根据投影结果,确定像素点对应的空间点在观测相机坐标系轴上的投影距离;
具体的,所述步骤S334,包括:
若小于阈值(本实施例设为0.001),说明该像素点永远不可能投影到地平面上(投影方向向量与地面平行或指向天空),将该像素点的像素值置为0;
若大于阈值,假设地面为水平面,计算该像素点的对应空间点在观测相机坐标系轴上的投影距离;
其中:
表示观测相机场高;
步骤S335:根据像素点的深度归一化坐标和对应的空间点在观测相机坐标系轴上的投影距离,得到像素点对应的空间点在观测相机坐标系下的坐标;
具体的,所述步骤S335,包括:
步骤S336:利用旋转矩阵,将变换到虚拟相机的相机坐标系下,得到;
具体的,所述步骤S336,包括:
步骤S337:利用虚拟相机内参,将投影到虚拟相机像平面上,得到对应的像素点坐标;
具体的,所述步骤S337,包括:
其中:
表示对应的像素点坐标;
步骤S338:读取步骤S337中得到的像素点坐标在卫星地图上对应的像素值,填充到虚拟观测图像的像素点坐标位置上;依此遍历虚拟观测图像每个像素点坐标读取对应的像素值,即可生成虚拟观测图像;
在本实施例中,具体的,如图3所示,图3是一个长宽相等的局部卫星地图,也是虚拟观测相机的像平面;将观测相机的像素点按照实施例一的方法投影到虚拟相机像平面上之后,得到的范围如图3中的白框所示;
通过上述投影方法投影每个像素点到虚拟相机的像平面上,并读取对应的像素值,最终生成虚拟观测图像,如图4a和图4b所示,其中,图4a实际观测图像,图4b是生成的虚拟观测图像。
实施例二
实施例二针对于实施例一提出的虚拟观测图像生成方法,提出了一种基于卫星地图的无人机定位方法,具体包括如下步骤:
步骤A:对观测图像和生成的虚拟观测图像之间进行特征点匹配;
步骤B:根据虚拟观测图像上的特征点的像素坐标计算对应的GNSS坐标;
步骤C:将GNSS坐标变换到东北天坐标系下;
步骤D:利用东北天坐标系下的三维特征点和观测图像上与之匹配的图像特征点,构造PnP问题,求解观测相机东北天坐标;
步骤E:将求解得到的观测相机东北天坐标变换为GNSS,并输出。
在本实施例中,具体的,所述特征点由superpoint提取,使用的特征点匹配方法为superglue;需要说明的是,superpoint是一个提取特征点的深度学习网络,观测相机拍摄图像是网络的输入,网络输出就是提取到的特征点,存储在一个libtorch的tensor中;superglue是一个用于特征点匹配的深度学习网络,将两幅图像的特征点集合传入superglue网络,得到的是两组特征点的匹配关系;
superpoint和superglue是两个开源的深度学习网络,分别用于特征点提取和特征点匹配;将接收到的图像构造为pytorch的tensor结构,并传给superpoint网络,superpoint网络的输出是一组特征点,以tensor的形式编码;通过superpoint网络分别提取虚拟观测图像和实际观测图像的特征点,并将两幅图像的特征点传给superglue网络,superglue网络输出两幅图像的匹配特征点。用左右图像像素点之间的连线表示特征点匹配。
在本实施例中,具体的,所述步骤B,包括:
假设当前无人机的经纬度坐标为和,已知当前无人机的经纬度坐标垂直投影的地面上的点对应的虚拟相机像平面的像素坐标、;计算出当前GNSS坐标附近的对应层级的卫星地图每个像素对应的经纬度跨度,比如当前使用的是第16层级的卫星地图,每个像素的经度跨度是:
每个像素的纬度跨度是:
假设一个特征点的像素坐标是,其对应的经纬度为,对应的GNSS坐标为:
在本实施例中,具体的,所述C,包括:
东北天坐标系的站心建立在起飞点处;建立方式为,根据站心的GNSS坐标(
lon,
lat,
alt)计算旋转矩阵和平移;
旋转矩阵和平移用于将一个东北天坐标变换到地心直角坐标系(ECEF坐标),其逆变换将ECEF坐标系变换到东北天坐标系;旋转矩阵和平移的计算过程如下:
在本实施例中,具体的,所述步骤D,包括:
PnP问题的求解通过调用opencv库的PnP函数实现,函数为:
cv::solvePnP(objP, imgP, K, dist, solved_R, solved_t)
其中,objP是目标点的集合,即为根据卫星地图得到的特征点的东北天坐标构造的一个cv::Mat矩阵;imgP为图像点的集合,是根据实际观测图像上的匹配特征点的像素坐标构造的一个cv::Mat矩阵;K是相机内参矩阵,以cv::Mat的矩阵形式构造的相机内参3*3矩阵;dist是一个5行1列的cv::Mat矩阵,存储相机畸变参数,前三位就是上文提到的径向畸变参数
k 1、
k 2、
k 3,后两位为切向畸变参数,本实施例暂不考虑;solved_R和solved_t存储函数的求解结果,solved_R是观测相机相对于东北天坐标系的3*3旋转矩阵,solved_t是观测相机相对于东北天坐标系的平移。
在本实施例中,具体的,所述步骤E,包括:
步骤D计算的结果是观测相机东北天坐标,即solved_t,下面需要转换为GNSS坐标;
转换方式是通过步骤C描述的建立东北天坐标系时求解的和平移,将无人机的东北天坐标变换到ECEF坐标,再从ECEF坐标变换到GNSS坐标;
首先将solved_t转到ECEF坐标系下,得到:
再将变换到GNSS坐标,得到;是一个三维向量,三个维度分别为经度、纬度和高度,变换过程为:
其中:向量的第
i个元素,
p、
q、
m、
n为中间变量;
以上所述实施例仅表达了本申请的具体实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请技术方案构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。
提供本背景技术部分是为了大体上呈现本发明的上下文,当前所署名的发明人的工作、在本背景技术部分中所描述的程度上的工作以及本部分描述在申请时尚不构成现有技术的方面,既非明示地也非暗示地被承认是本发明的现有技术。
Claims (10)
1.一种基于卫星地图的无人机虚拟观测图像生成方法,其特征在于,包括:
步骤S1:基于无人机惯导发送的无人机姿态信息,通过插值和坐标系变换,得到在观测相机拍摄图像时刻的观测相机三轴姿态角矩阵;
步骤S2:构造虚拟相机,所述虚拟相机的像平面是一幅长宽自定义的局部卫星地图;
步骤S3:将观测相机拍摄的观测图像中的像素点逐一投影到卫星地图上,并读取像素点对应的卫星地图像素值,生成虚拟观测图像。
2.根据权利要求1所述的一种基于卫星地图的无人机虚拟观测图像生成方法,其特征在于,所述步骤S1,包括:
步骤S11:基于无人机惯导发送的无人机姿态信息,通过插值得到在观测相机拍摄图像时刻的无人机姿态信息;
步骤S12:通过无人机机体坐标系与观测相机坐标系的变换关系,将步骤S11中得到的无人机姿态信息变换成观测相机三轴姿态角矩阵。
3.根据权利要求2所述的一种基于卫星地图的无人机虚拟观测图像生成方法,其特征在于,所述步骤S11,包括:
通过惯导时间戳相邻的两个惯导数据,插值出观测相机拍摄图像时刻的无人机姿态信息。
4.根据权利要求3所述的一种基于卫星地图的无人机虚拟观测图像生成方法,其特征在于,所述插值出观测相机拍摄图像时刻的无人机姿态信息,包括:
其中:
表示观测相机拍摄图像时刻的惯导时间戳;
表示时刻的惯导时间戳;
表示时刻的惯导时间戳;
表示时刻无人机三轴姿态角;
表示时刻无人机惯导姿态角对应的旋转矩阵;
表示时刻无人机惯导姿态角对应的旋转矩阵;
函数表示将旋转矩阵变换为与之对应的三轴姿态角三维向量。
5.根据权利要求4所述的一种基于卫星地图的无人机虚拟观测图像生成方法,其特征在于,所述步骤S2,包括:
根据假定的虚拟相机距离地面的高度、虚拟相机的像原大小、局部卫星地图的像素长、像素宽,获取虚拟相机内参;
所述虚拟相机内参,包括:
横向焦距、纵向焦距、像平面中心点的横纵像素坐标和。
6.根据权利要求5所述的一种基于卫星地图的无人机虚拟观测图像生成方法,其特征在于,所述步骤S3,包括:
步骤S31:在虚拟相机坐标系下,计算观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值;
步骤S32:由观测相机三轴姿态角矩阵,构造出观测相机坐标系相对于虚拟相机坐标系的旋转矩阵;
步骤S33:创建一幅与观测图像尺寸相同的图像作为虚拟观测图像的容器,将观测图像的每个像素点坐标,通过变换投影到图像上,并读取在卫星地图上像素点坐标对应的像素值,填充到图像上,生成虚拟观测图像。
7.根据权利要求6所述的一种基于卫星地图的无人机虚拟观测图像生成方法,其特征在于,所述步骤S31,包括:
其中:
、表示观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值;
、表示观测相机中心竖直投影到虚拟相机像平面上的像素点坐标。
8.根据权利要求7所述的一种基于卫星地图的无人机虚拟观测图像生成方法,其特征在于,所述步骤S32,包括:
其中:
表示观测相机坐标系相对于虚拟相机坐标系的旋转矩阵;
表示无人机机体坐标系相对于观测相机坐标系的旋转矩阵。
9.根据权利要求8所述的一种基于卫星地图的无人机虚拟观测图像生成方法,其特征在于,所述步骤S33,包括:
步骤S331:用观测相机畸变参数,将像素点坐标变换为畸变后的像素点坐标;
步骤S332:将畸变后的像素点坐标投影到观测相机的深度归一化平面上,得到像素点的深度归一化坐标;
步骤S333:计算像素点的深度归一化坐标在重力方向上的投影;
步骤S334:根据投影结果,确定像素点对应的空间点在观测相机坐标系轴上的投影距离;
步骤S335:根据像素点的深度归一化坐标和对应的空间点在观测相机坐标系轴上的投影距离,得到像素点对应的空间点在观测相机坐标系下的坐标;
步骤S336:利用旋转矩阵,将变换到虚拟相机的相机坐标系下,得到;
步骤S337:利用虚拟相机内参,将投影到虚拟相机像平面上,得到对应的像素点坐标;
步骤S338:读取步骤S337中得到的像素点坐标在卫星地图上对应的像素值,填充到虚拟观测图像的像素点坐标位置上。
10.一种基于卫星地图的无人机定位方法,其特征在于,基于权利按要求1-9任一项所述的一种基于卫星地图的无人机虚拟观测图像生成方法,包括:
步骤A:对观测图像和生成的虚拟观测图像之间进行特征点匹配;
步骤B:根据虚拟观测图像上的特征点的像素坐标计算对应的GNSS坐标;
步骤C:将GNSS坐标变换到东北天坐标系下;
步骤D:利用东北天坐标系下的三维特征点和观测图像上与之匹配的图像特征点,构造PnP问题,求解观测相机东北天坐标;
步骤E:将求解得到的观测相机东北天坐标变换为GNSS,并输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310293190.XA CN116012377B (zh) | 2023-03-24 | 2023-03-24 | 一种基于卫星地图的无人机虚拟观测图像生成及定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310293190.XA CN116012377B (zh) | 2023-03-24 | 2023-03-24 | 一种基于卫星地图的无人机虚拟观测图像生成及定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116012377A true CN116012377A (zh) | 2023-04-25 |
CN116012377B CN116012377B (zh) | 2023-06-30 |
Family
ID=86023438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310293190.XA Active CN116012377B (zh) | 2023-03-24 | 2023-03-24 | 一种基于卫星地图的无人机虚拟观测图像生成及定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116012377B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116934829A (zh) * | 2023-09-15 | 2023-10-24 | 天津云圣智能科技有限责任公司 | 无人机目标深度估计的方法、装置、存储介质及电子设备 |
CN117291980A (zh) * | 2023-10-09 | 2023-12-26 | 宁波博登智能科技有限公司 | 一种基于深度学习的单张无人机图像像素定位方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101846510A (zh) * | 2010-05-28 | 2010-09-29 | 北京航空航天大学 | 一种基于星敏感器和陀螺的高精度卫星姿态确定方法 |
CN108007463A (zh) * | 2017-11-29 | 2018-05-08 | 天津聚飞创新科技有限公司 | 无人机姿态获取方法、装置及无人机 |
CN109658461A (zh) * | 2018-12-24 | 2019-04-19 | 中国电子科技集团公司第二十研究所 | 一种基于虚拟仿真环境的合作二维码的无人机定位方法 |
CN111586360A (zh) * | 2020-05-14 | 2020-08-25 | 佳都新太科技股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
US20200301015A1 (en) * | 2019-03-21 | 2020-09-24 | Foresight Ai Inc. | Systems and methods for localization |
CN112240768A (zh) * | 2020-09-10 | 2021-01-19 | 西安电子科技大学 | 基于Runge-Kutta4改进预积分的视觉惯导融合SLAM方法 |
CN112461210A (zh) * | 2020-12-18 | 2021-03-09 | 湖南大学 | 一种空地协同建筑测绘机器人系统及其测绘方法 |
CN113137955A (zh) * | 2021-05-13 | 2021-07-20 | 江苏航空职业技术学院 | 一种基于场景建模和虚拟摄影的无人机航测虚拟仿真方法 |
CN114387341A (zh) * | 2021-12-16 | 2022-04-22 | 四川腾盾科技有限公司 | 通过单张航拍观测图像计算飞行器六自由度位姿的方法 |
CN114612559A (zh) * | 2022-03-17 | 2022-06-10 | 四川腾盾科技有限公司 | 一种无人机位姿计算方法、电子设备及存储介质 |
CN114777768A (zh) * | 2022-03-03 | 2022-07-22 | 北京理工大学 | 一种卫星拒止环境高精度定位方法、系统及电子设备 |
CN114897935A (zh) * | 2022-05-13 | 2022-08-12 | 中国科学技术大学 | 基于虚拟相机的无人机对空中目标物的追踪方法及系统 |
CN115205383A (zh) * | 2022-06-17 | 2022-10-18 | 深圳市优必选科技股份有限公司 | 相机位姿的确定方法、装置、电子设备及存储介质 |
CN115560760A (zh) * | 2022-09-14 | 2023-01-03 | 北京自动化控制设备研究所 | 一种面向无人机的视觉/激光测距高空导航方法 |
-
2023
- 2023-03-24 CN CN202310293190.XA patent/CN116012377B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101846510A (zh) * | 2010-05-28 | 2010-09-29 | 北京航空航天大学 | 一种基于星敏感器和陀螺的高精度卫星姿态确定方法 |
CN108007463A (zh) * | 2017-11-29 | 2018-05-08 | 天津聚飞创新科技有限公司 | 无人机姿态获取方法、装置及无人机 |
CN109658461A (zh) * | 2018-12-24 | 2019-04-19 | 中国电子科技集团公司第二十研究所 | 一种基于虚拟仿真环境的合作二维码的无人机定位方法 |
US20200301015A1 (en) * | 2019-03-21 | 2020-09-24 | Foresight Ai Inc. | Systems and methods for localization |
WO2021227359A1 (zh) * | 2020-05-14 | 2021-11-18 | 佳都新太科技股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
CN111586360A (zh) * | 2020-05-14 | 2020-08-25 | 佳都新太科技股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
CN112240768A (zh) * | 2020-09-10 | 2021-01-19 | 西安电子科技大学 | 基于Runge-Kutta4改进预积分的视觉惯导融合SLAM方法 |
CN112461210A (zh) * | 2020-12-18 | 2021-03-09 | 湖南大学 | 一种空地协同建筑测绘机器人系统及其测绘方法 |
CN113137955A (zh) * | 2021-05-13 | 2021-07-20 | 江苏航空职业技术学院 | 一种基于场景建模和虚拟摄影的无人机航测虚拟仿真方法 |
CN114387341A (zh) * | 2021-12-16 | 2022-04-22 | 四川腾盾科技有限公司 | 通过单张航拍观测图像计算飞行器六自由度位姿的方法 |
CN114777768A (zh) * | 2022-03-03 | 2022-07-22 | 北京理工大学 | 一种卫星拒止环境高精度定位方法、系统及电子设备 |
CN114612559A (zh) * | 2022-03-17 | 2022-06-10 | 四川腾盾科技有限公司 | 一种无人机位姿计算方法、电子设备及存储介质 |
CN114897935A (zh) * | 2022-05-13 | 2022-08-12 | 中国科学技术大学 | 基于虚拟相机的无人机对空中目标物的追踪方法及系统 |
CN115205383A (zh) * | 2022-06-17 | 2022-10-18 | 深圳市优必选科技股份有限公司 | 相机位姿的确定方法、装置、电子设备及存储介质 |
CN115560760A (zh) * | 2022-09-14 | 2023-01-03 | 北京自动化控制设备研究所 | 一种面向无人机的视觉/激光测距高空导航方法 |
Non-Patent Citations (7)
Title |
---|
H. HOU 等: "UAV Pose Estimation in GNSS-Denied Environment Assisted by Satellite Imagery Deep Learning Features", IEEE ACCESS, vol. 9, pages 6358 - 6367, XP011830882, DOI: 10.1109/ACCESS.2020.3048342 * |
H. XIE 等: "Adaptive visual servoing of UAVs using a virtual camera", IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONIC SYSTEMS, vol. 52, no. 5, pages 2529 - 2538, XP011639022, DOI: 10.1109/TAES.2016.15-0155 * |
QIANG WANG等: "A Robust and Effective Identification Method for Point-Distributed Coded Targets in Digital Close-Range Photogrammetry", REMOTE SENS, vol. 14, no. 21, pages 1 - 8 * |
TEODORI, G等: "Analysis of the Yaw Observability in GNSS-INS Integration for UAV Pose Estimation", CONTRIBUTIONS TO INTERNATIONAL CONFERENCES ON ENGINEERING SURVEYING, pages 259 * |
孙家弼: "仿生飞行颈眼系统的位姿估计与运动控制研究", 中国硕士学位论文全文数据库 (工程科技Ⅱ辑), no. 2021, pages 031 - 349 * |
王鼎杰 等: "星光折射辅助惯性/天文紧组合高精度导航方法", 中国惯性技术学报, vol. 28, no. 01, pages 74 - 81 * |
高嘉瑜 等: "基于AprilTag二维码的无人机着陆引导方法", 现代导航, vol. 11, no. 01, pages 20 - 25 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116934829A (zh) * | 2023-09-15 | 2023-10-24 | 天津云圣智能科技有限责任公司 | 无人机目标深度估计的方法、装置、存储介质及电子设备 |
CN116934829B (zh) * | 2023-09-15 | 2023-12-12 | 天津云圣智能科技有限责任公司 | 无人机目标深度估计的方法、装置、存储介质及电子设备 |
CN117291980A (zh) * | 2023-10-09 | 2023-12-26 | 宁波博登智能科技有限公司 | 一种基于深度学习的单张无人机图像像素定位方法 |
CN117291980B (zh) * | 2023-10-09 | 2024-03-15 | 宁波博登智能科技有限公司 | 一种基于深度学习的单张无人机图像像素定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116012377B (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116012377B (zh) | 一种基于卫星地图的无人机虚拟观测图像生成及定位方法 | |
KR100762891B1 (ko) | Los벡터 조정모델을 이용한 영상의 기하보정 방법 및 그장치 | |
CN100541232C (zh) | 无姿态信息条件下的航空多光谱扫描仪几何粗校正方法 | |
Sanz‐Ablanedo et al. | Reducing systematic dome errors in digital elevation models through better UAV flight design | |
CN110617821B (zh) | 定位方法、装置及存储介质 | |
EP3132231B1 (en) | A method and system for estimating information related to a vehicle pitch and/or roll angle | |
KR100529401B1 (ko) | 합성 개구 레이더 영상을 이용한 수치표고자료 제작 장치및 그 방법 | |
CN109961497A (zh) | 基于无人机影像的实时三维重建方法 | |
CN102506867B (zh) | 基于Harris角点匹配的SINS/SMANS组合导航方法及系统 | |
CN107490364A (zh) | 一种大角度倾斜成像航空相机对地目标定位方法 | |
CN109612438B (zh) | 一种虚拟共面条件约束下的空间目标初轨确定方法 | |
KR102239562B1 (ko) | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 | |
CN110706273B (zh) | 一种基于无人机的实时塌方区域面积的测量方法 | |
CN108062788A (zh) | 一种三维重建方法、装置、设备和介质 | |
CN102721410A (zh) | 一种基于gps/imu定位定向技术的海岛空中三角测量方法 | |
CN117253029A (zh) | 基于深度学习的图像匹配定位方法及计算机设备 | |
CN115962757A (zh) | 一种无人机测绘方法、系统和可读存储介质 | |
CN109241233B (zh) | 一种坐标匹配方法及装置 | |
CN113723568A (zh) | 基于多传感器和海平面的遥感图像特征点高程获取方法 | |
CN113807435A (zh) | 一种基于多传感器的遥感图像特征点高程获取方法 | |
CN112785686A (zh) | 一种基于大数据的林区地图构建方法及可读存储介质 | |
CN107063191A (zh) | 一种摄影测量区域网整体相对定向的方法 | |
CN115388890A (zh) | 基于视觉的多无人机协同对地目标定位方法 | |
CN113483739A (zh) | 海上目标位置测量方法 | |
CN113759953B (zh) | 一种基于开源dem数据的飞行姿态照片纠正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |