CN114926552B - 一种基于无人机图像计算像素点高斯坐标方法及系统 - Google Patents

一种基于无人机图像计算像素点高斯坐标方法及系统 Download PDF

Info

Publication number
CN114926552B
CN114926552B CN202210688663.1A CN202210688663A CN114926552B CN 114926552 B CN114926552 B CN 114926552B CN 202210688663 A CN202210688663 A CN 202210688663A CN 114926552 B CN114926552 B CN 114926552B
Authority
CN
China
Prior art keywords
camera
unmanned aerial
aerial vehicle
processing
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210688663.1A
Other languages
English (en)
Other versions
CN114926552A (zh
Inventor
徐鸿鑫
谢文
钟宜兴
叶志红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Army Academy of Artillery and Air Defense
Original Assignee
PLA Army Academy of Artillery and Air Defense
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Army Academy of Artillery and Air Defense filed Critical PLA Army Academy of Artillery and Air Defense
Priority to CN202210688663.1A priority Critical patent/CN114926552B/zh
Publication of CN114926552A publication Critical patent/CN114926552A/zh
Application granted granted Critical
Publication of CN114926552B publication Critical patent/CN114926552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/60Rotation of a whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于无人机图像计算像素点高斯坐标方法及系统,系统包括:利用预置无人机拍摄图片;获取已知点;对无人机相机进行标定;利用PNP处理相机的内参、径向畸变参数及切向畸变参数及特征点的像素点及高斯坐标点,以得到初始计算结果;处理初始计算结果,以获取特征矩阵数据;三轴旋转相机坐标以得到世界坐标平行坐标系,以得到旋转向量及平移向量;根据旋转向量求取相机坐标系下的三坐标旋转角,处理三坐标旋转角、旋转向量及平移向量,以得到相机坐标;利用预置逻辑关系处理获取目标点与相机间射线,据以处理得到目标点高斯坐标。本发明解决了远距离观测误差大以及特殊地形区域观测困难的技术问题。

Description

一种基于无人机图像计算像素点高斯坐标方法及系统
技术领域
本发明涉及计算机信息系统的视觉工程领域,具体涉及一种基于无人机图像计算像素点高斯坐标方法及系统。
背景技术
在灾难救援、农业、测绘、电力巡检以及军用侦察机等等领域中都出现无人机身影,随着无人机在各行各业中被普遍使用,极大的拓展了无人机本身用途,而多数领域中使用场景最多的要数无人机挂载相机。无人机通常挂载CCD相机、红外相机,在典型的三维建模场景下,无人机挂载CCD相机录制,最后渲染成三维模型。
当前市面上的目标点坐标定位技术多数采用测距仪,通过测量点到目标点的距离、方位角、俯仰角计算目标点坐标,此场景需要测量点与目标点之间通视,且距离越远误差越大。公告号为CN113804165A的现有发明专利《一种无人机模拟GPS信号定位方法和装置》具体包括:S1、在地面上以预设方式设置多个可识别标志点;S2、对单目相机进行标定,并采集地面所述多个可识别标志点的双帧图像;S3、对所采集的双帧图像进行差分处理,并提取地面图像的二维坐标点;S4、通过PNP算法计算出所述单目相机相对地面的多个可识别标志点的位置与姿态;S5、将位置信息转化为经纬度、海拔信息;S6、将包含经纬度、海拔信息的模拟NMEA0183协议GPS信号发送到所述系留无人机。从该现有专利的说明书中可知,该现有专利采用了solvePnP()函数及三角形相似理论与余弦定理进行三维坐标的定位,但其并未公开本申请采用的旋转矩阵提取、平移矩阵以及利用图像信息获取两条射线相交于一点或者取两条射线距离最近点,作为目标点高斯坐标的技术方案,与本申请存在显著区别,且无法解决现有技术中远距离观测误差大的缺陷。
综上,现有技术存在远距离观测误差大以及特殊地形区域观测困难的技术问题。
发明内容
本发明所要解决的技术问题在于如何解决远距离观测误差大以及特殊地形区域观测困难的技术问题。
本发明是采用以下技术方案解决上述技术问题的:一种基于无人机图像计算像素点高斯坐标方法包括:
S1、利用预置无人机通过不同角度拍摄目标区域,以得到不少于2份的图像数据,并录制视频;
S2、从所述图像数据中提取不少于2个的特征点,据以处理得所述特征点的像素点及高斯坐标点;
S3、获取标定图片,以预置相机标定工具处理所述标定图片,以获取所述相机的内参、径向畸变参数及切向畸变参数,据以对所述相机进行标定操作;
S4、利用PNP处理所述所述相机的内参、径向畸变参数及切向畸变参数及所述特征点的像素点及高斯坐标点,以得到初始计算结果;
S5、处理所述初始计算结果,以获取特征矩阵数据;
S6、根据所述特征矩阵数据处理得到相机坐标系的三轴旋转欧拉角,据以三轴旋转所述相机坐标以得到世界坐标平行坐标系,以得到旋转向量及平移向量;
S7、根据所述旋转向量求取相机坐标系下的三坐标旋转角,处理所述三坐标旋转角、所述旋转向量及所述平移向量,以得到相机坐标;
S8、利用预置逻辑关系处理获取目标点与相机间射线,据以处理得到目标点高斯坐标。
本发明使用无人机挂载的CCD相机从不同位置拍摄目标区域图像,利用图像信息计算目标点(像素点)的高斯坐标,并拍摄目标点区域视频,以无人机相机拍摄同一片区域,得到两幅图像,已知每幅图像中的相同物理位置的四个点的高斯坐标,利用相机位姿及空间几何学算法,求得图像中任意一点的高斯坐标,提高了无人机远距离坐标观测准确性。
在更具体的技术方案中,所述步骤S1包括:
S11、获取目标区域数据,据以得到地形根据及坡度数据;
S12、根据所述地形数据设置所述预置无人机的飞行高度;
S12、根据所述坡度数据调整所述相机摄像头至预设拍摄角度。
本发明针对平面地形区域及带坡度的复杂地形区域设置无人机的悬停高度并调整相机拍摄角度,以选择能够清晰发现目标点的位置进行拍摄,保证无人机拍摄的效果。本发明利用无人机拍摄图像,巧妙的利用无人机的机动性和可通过性的特点,拍摄目标点区域,并计算图像内目标点高斯坐标,有效解决了部分地形人员、车辆无法到达的情况下目标观测的困难。
本发明采用无人机能够的在距离目标点5公里及以上得到目标点所在位置的二维图像,并且使用无人机能够得到像图像、视频等更多的有效信息。
在更具体的技术方案中,所述步骤S2包括:
S21、从所述预置无人机拍摄的2幅图片中选择4个所述特征点;
S22、处理所述特征点以得到所述像素点及所述高斯坐标点。
在更具体的技术方案中,所述步骤S3包括:
S31、获取黑白格图片;
S32、与预置终端打开所述黑白格图片并全屏显示;
S33、利用无人机相机从不同角度拍摄预设张数的所述黑白格图片;
S34、利用MatLab相机标定工具箱处理所述黑白格图片,以得到所述相机内参、所述径向畸变、所述切向畸变参数。
本发明针对无人机相机的生产和制造过程中产生的误差,导致成像图片偏差,利用MatLab相机标定工具箱得到相机内参、径向畸变、切向畸变参数,通过标定板标定方便了特征点求取并提升了无人机相机的稳定性。
在更具体的技术方案中,所述步骤S4中采用OpenCV中的solvePnP函数计算所述所述相机的内参、径向畸变参数及切向畸变参数及所述特征点的像素点及高斯坐标点,以得到所述初始计算结果。
在更具体的技术方案中,所述步骤S5包括:
S51、对所述初始计算结果进行旋转矩阵提取,以得到旋转矩阵:
Figure BDA0003700709640000031
S55、以预置逻辑处理所述初始计算结果,以得到平移矩阵。
在更具体的技术方案中,所述步骤S6包括:
S61、基于所述旋转矩阵计算出相机坐标系的所述三轴旋转欧拉角;
S62、根据所述三轴旋转欧拉角三轴旋转所述相机坐标,以得到所述世界坐标系平行坐标系;
S63、根据所述世界坐标系平行坐标系处理得到旋转向量、平移向量。
在更具体的技术方案中,所述步骤S7包括:
S71、根据所述旋转向量,利用下述逻辑求取所述相机坐标系下XYZ轴的旋转角:
Figure BDA0003700709640000032
Figure BDA0003700709640000033
Figure BDA0003700709640000041
S72、处理所述XYZ轴的旋转角、所述旋转向量及所述平移向量,以得到相机在世界坐标系下的坐标,据以作为已知相机坐标。
在更具体的技术方案中,所述步骤S8包括:
S81、根据目标点在二维图像中的像素坐标(u,v),利用下述逻辑处理得到所述目标点在相机坐标系中位置(Xxm,Yxm,Zxm):
Xxm=(u-u0)*F/fx
Yxm=(v-v0)*F/fy
Zxm=F
,其中,F为无人机搭载相机的镜头焦距,单位为毫米,fx、fy、u0、v0为相机的内参矩阵;
S82、根据所述三坐标旋转角绕XYZ轴进行旋转处理所述目标点在相机坐标系中位置(Xxm,Yxm,Zxm),以得到目标点在世界坐标系下的坐标(Xm,Ym,Zm),据以处理得到所述射线,其中,所述射线的条数与所述预置无人机的数目相适配;
S83、取所述两条射线相交的一点或者两条所述射线距离最近点,以作为所述目标点高斯坐标。
本发明利用PNP算法计算无人机挂载的相机位姿,进而计算无人机挂载的相机坐标,根据相机坐标系与图像坐标系之间的关系,得到相机与目标点射线,而这两条射线真实情况下相交于一点,两条直线确定一个点,得到目标点高斯坐标,在现有测距仪产品外,提供了一种利用无人机拍摄图像计算图像内目标点高斯坐标的手段。
在更具体的技术方案中,一种基于无人机图像计算像素点高斯坐标系统包括:
预置摄像无人机,用以通过不同角度拍摄目标区域,以得到不少于2份的图像数据,并录制视频;
特征点模块,用以从所述图像数据中提取不少于2个的特征点,据以处理得所述特征点的像素点及高斯坐标点,所述特征点模块与所述预置摄像无人机连接;
相机标定模块,用以获取标定图片,以预置相机标定工具处理所述标定图片,以获取所述相机的内参、径向畸变参数及切向畸变参数,据以对所述相机进行标定操作;
初始计算模块,用以利用PNP处理所述所述相机的内参、径向畸变参数及切向畸变参数及所述特征点的像素点及高斯坐标点,以得到初始计算结果,所述初始计算模块与所述相机标定模块及所述特征点模块连接;
特征矩阵模块,用以处理所述初始计算结果,以获取特征矩阵数据,所述特征矩阵模块与所述初始计算模块连接;
旋转平移向量模块,用以根据所述特征矩阵数据处理得到相机坐标系的三轴旋转欧拉角,据以三轴旋转所述相机坐标以得到世界坐标平行坐标系,以得到旋转向量及平移向量,所述旋转平移向量模块与所述特征矩阵模块连接;
相机坐标模块,用以根据所述旋转向量求取相机坐标系下的三坐标旋转角,处理所述三坐标旋转角、所述旋转向量及所述平移向量,以得到相机坐标;
目标点高斯坐标获取模块,用以利用预置逻辑关系处理获取目标点与相机间射线,据以处理得到目标点高斯坐标,所述目标点高斯坐标获取模块与所述相机坐标模块、所述特征点模块、所述旋转平移向量模块连接。
本发明相比现有技术具有以下优点:本发明使用无人机挂载的CCD相机从不同位置拍摄目标区域图像,利用图像信息计算目标点(像素点)的高斯坐标,并拍摄目标点区域视频,以无人机相机拍摄同一片区域,得到两幅图像,已知每幅图像中的相同物理位置的四个点的高斯坐标,利用相机位姿及空间几何学算法,求得图像中任意一点的高斯坐标,提高了无人机远距离坐标观测准确性。
本发明针对平面地形区域及带坡度的复杂地形区域设置无人机的悬停高度并调整相机拍摄角度,以选择能够清晰发现目标点的位置进行拍摄,保证无人机拍摄的效果。本发明利用无人机拍摄图像,巧妙的利用无人机的机动性和可通过性的特点,拍摄目标点区域,并计算图像内目标点高斯坐标,有效解决了部分地形人员、车辆无法到达的情况下目标观测的困难。
本发明采用无人机能够的在距离目标点5公里及以上得到目标点所在位置的二维图像,并且使用无人机能够得到像图像、视频等更多的有效信息。
本发明针对无人机相机的生产和制造过程中产生的误差,导致成像图片偏差,利用MatLab相机标定工具箱得到相机内参、径向畸变、切向畸变参数,通过标定板标定方便了特征点求取并提升了无人机相机的稳定性。
本发明利用PNP算法计算无人机挂载的相机位姿,进而计算无人机挂载的相机坐标,根据相机坐标系与图像坐标系之间的关系,得到相机与目标点射线,而这两条射线真实情况下相交于一点,两条直线确定一个点,得到目标点高斯坐标,在现有测距仪产品外,提供了一种利用无人机拍摄图像计算图像内目标点高斯坐标的手段。本发明解决了现有技术中存在的远距离观测误差大以及特殊地形区域观测困难的技术问题。
附图说明
图1为本发明实施例1的一种基于无人机图像计算像素点高斯坐标方法流程示意图。
图2为本发明实施例1的世界坐标系下的相机坐标示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明的目的是利用无人机拍摄目标区域图像,利用图像信息计算目标点(像素点)的高斯坐标,并拍摄目标点区域视频。
本发明包括无人机拍摄、坐标计算两部分内容。
如图1所示,整体展示了本发明的实现流程,主要从前期的拍摄图片、相机标定,以及选定拍摄图片中的已知点,到根据PNP算法求取相机坐标,根据图像坐标系与相机坐标系的关系求取相机到目标点的射线,进而求取目标点坐标。
S1、拍摄图片;在本实施例中,本发明选择六旋翼无人机,续航时间超一小时,最大通信距离大于五公里,挂载可变焦4K高清CCD摄像头,采集视频像素1024*720,帧率24FPS。
无人机飞临目标区域,从不同角度拍摄两幅图片,并录制视频。如果目标区域地形为平面,则需要悬停在100~200米高度,如果目标区域为坡面,则选择能够清晰发现目标点的位置进行拍摄,无论地形是平面还是坡面,尽量保证地面与无人机摄像头地面夹角的角度大于45度。另外,从不同角度拍摄图片时,镜头焦距相同。
S2、相机标定;在本实施例中,无人机相机的生产和制造过程会产生误差,导致成像图片与真实事务存在偏差,这种偏差是不可避免的生产过程偏差。相机标定技术就是用来计算相机内参、畸变参数,用以纠正图像。本发明采用的相机标定方法是利用标定板标定的动态相机标定。具体步骤,准备电子版黑白格图片,使用笔记本电脑打开黑白格图片并全屏显示,然后使用无人机相机从不同角度拍摄多于30张黑白格图片,利用MatLab相机标定工具箱得到相机内参、径向畸变、切向畸变参数,标定板标定的特点是特征点易求和稳定性好。
相机内参有fx、fy、u0、v0,径向参数有k1、k2、k3,切向参数有p1、p2。例如,下方为项目中使用的无人机搭载镜头的相机参数:
{
“fx”:4374.8,
“fy”:4364.9,
“u0”:496.6,
“v0”:496.8,
“k1”:0.4351,
“k2”:-5.3504,
“k3”:24.4242,
“p1”:0.0156,
“p2”:-0.0258
}
S3、取已知点;从无人机拍摄的两幅图片中选择共同的四个特征点,作为已知点,这样就已知四个点的像素点和高斯坐标点,作为已知条件。
S4、计算相机坐标;在本实施例中,在已知条件和相机参数条件下,通过PNP推解得到相机位姿,本发明采用了OpenCV中提供的solvePnP函数进行计算,对计算结果进行旋转矩阵提取、平移矩阵,基于旋转矩阵计算出相机坐标系的三轴旋转欧拉角,当相机坐标系经过三轴旋转后得到与世界坐标系平行的坐标系,得到旋转向量、平移向量。solvePnP函数的入参需要已知点的高斯坐标、已知点在图片中的坐标、内参矩阵和畸变参数。
其中,旋转矩阵:
Figure BDA0003700709640000071
旋转角:
Figure BDA0003700709640000072
Figure BDA0003700709640000073
Figure BDA0003700709640000081
如图2所示,根据旋转向量求取相机坐标系下XYZ轴的旋转角,相机坐标系是以相机为圆心,以相机朝向为Z轴的右手坐标系。根据XYZ轴的旋转角以及旋转向量和平移向量,得到相机在世界坐标系下的坐标,这样就已知相机坐标。
总结一下,到此为止,已知条件有四个已知点高斯坐标和像素坐标、相机的两次拍摄位置坐标以及旋转向量和平移向量、目标点像素坐标。
S5、求取射线;根据图像坐标系与相机坐标系的关系,可以求得目标点与相机之间的一条射线,这样就得到两条射线,在本实施例中,根据目标点在二维图像中像素坐标(u,v),参考以下公式得到目标点在相机坐标系中位置(Xxm,Yxm,Zxm):
Xxm=(u-u0)*F/fx
Yxm=(v-v0)*F/fy
Zxm=F
,其中F为无人机搭载相机的镜头焦距,单位为毫米,fx、fy、u0、v0为相机的内参矩阵。
上述完成后会得到目标点在相机坐标系内的坐标,根据S4步骤中旋转角,绕XYZ轴旋转后得到目标点在世界坐标系下的坐标(Xm,Ym,Zm)。
根据目标点位置和相机位置,得到一条直线(两点形成一条线),基于现实情况,目标点位置只会在相机的一个方向,所以可认为是一条射线。两个无人机就得到了两条射线;
S6、获取目标点高斯坐标;在本实施例中,两条射线相交于一点或者取两条射线距离最近点,即为目标点高斯坐标。
综上,本发明使用无人机挂载的CCD相机从不同位置拍摄目标区域图像,利用图像信息计算目标点(像素点)的高斯坐标,并拍摄目标点区域视频,以无人机相机拍摄同一片区域,得到两幅图像,已知每幅图像中的相同物理位置的四个点的高斯坐标,利用相机位姿及空间几何学算法,求得图像中任意一点的高斯坐标,提高了无人机远距离坐标观测准确性。
本发明针对平面地形区域及带坡度的复杂地形区域设置无人机的悬停高度并调整相机拍摄角度,以选择能够清晰发现目标点的位置进行拍摄,保证无人机拍摄的效果。本发明利用无人机拍摄图像,巧妙的利用无人机的机动性和可通过性的特点,拍摄目标点区域,并计算图像内目标点高斯坐标,有效解决了部分地形人员、车辆无法到达的情况下目标观测的困难。
本发明采用无人机能够的在距离目标点5公里及以上得到目标点所在位置的二维图像,并且使用无人机能够得到像图像、视频等更多的有效信息。
本发明针对无人机相机的生产和制造过程中产生的误差,导致成像图片偏差,利用MatLab相机标定工具箱得到相机内参、径向畸变、切向畸变参数,通过标定板标定方便了特征点求取并提升了无人机相机的稳定性。
本发明利用PNP算法计算无人机挂载的相机位姿,进而计算无人机挂载的相机坐标,根据相机坐标系与图像坐标系之间的关系,得到相机与目标点射线,而这两条射线真实情况下相交于一点,两条直线确定一个点,得到目标点高斯坐标,在现有测距仪产品外,提供了一种利用无人机拍摄图像计算图像内目标点高斯坐标的手段。本发明解决了现有技术中存在的远距离观测误差大以及特殊地形区域观测困难的技术问题。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于无人机图像计算像素点高斯坐标方法,其特征在于,所述方法包括:
S1、利用预置无人机通过不同角度拍摄目标区域,以得到不少于2份的图像数据,并录制视频;所述步骤S1包括:
S11、获取目标区域数据,据以得到地形数据及坡度数据;
S12、根据所述地形数据设置所述预置无人机的飞行高度;
S13、根据所述坡度数据调整摄像头至预设拍摄角度;
S2、从所述图像数据中提取不少于2个的特征点,据以处理得所述特征点的像素点及高斯坐标点,所述步骤S2包括:
S21、从所述预置无人机拍摄的2幅图片中选择4个所述特征点;
S22、处理所述特征点以得到所述像素点及所述高斯坐标点;
S3、获取标定图片,以预置相机标定工具处理所述标定图片,以获取所述相机的内参、径向畸变参数及切向畸变参数,据以对所述相机进行标定操作,所述步骤S3包括:
S31、获取黑白格图片;
S32、与预置终端打开所述黑白格图片并全屏显示;
S33、利用无人机相机从不同角度拍摄预设张数的所述黑白格图片;
S34、利用MatLab相机标定工具箱处理所述黑白格图片,以得到所述相机的内参、所述径向畸变参数、所述切向畸变参数;
S4、利用PNP处理所述相机的内参、径向畸变参数及切向畸变参数及所述特征点的像素点及高斯坐标点,以得到初始计算结果;
S5、处理所述初始计算结果,以获取特征矩阵数据;
S6、根据所述特征矩阵数据处理得到相机坐标系的三轴旋转欧拉角,据以三轴旋转所述相机坐标以得到世界坐标平行坐标系,以得到旋转向量及平移向量;
S7、根据所述旋转向量求取相机坐标系下的三坐标旋转角,处理所述三坐标旋转角、所述旋转向量及所述平移向量,以得到相机坐标;
S8、利用预置逻辑关系处理获取目标点与相机间射线,据以处理得到目标点高斯坐标,其中,所述步骤S8包括:
S81、根据目标点在二维图像中的像素坐标(u,v),利用下述逻辑处理得到所述目标点在相机坐标系中位置(Xxm,Yxm,Zxm):
Xxm=(u-u0)*F/fx
Yxm=(v-v0)*F/fy
Zxm=F
其中,F为无人机搭载相机的镜头焦距,单位为毫米,fx、fy、u0、v0为相机的内参矩阵;
S82、根据所述三坐标旋转角绕XYZ轴进行旋转处理所述目标点在相机坐标系中位置(Xxm,Yxm,Zxm),以得到目标点在世界坐标系下的坐标(Xm,Ym,Zm),据以处理得到所述射线,其中,所述射线的条数与所述预置无人机的数目相适配;
S83、取所述射线相交的一点或者两条所述射线距离最近点,以作为所述目标点高斯坐标。
2.根据权利要求1所述的一种基于无人机图像计算像素点高斯坐标方法,其特征在于,所述步骤S4中采用OpenCV中的solvePnP函数计算所述所述相机的内参、径向畸变参数及切向畸变参数及所述特征点的像素点及高斯坐标点,以得到所述初始计算结果。
3.根据权利要求1所述的一种基于无人机图像计算像素点高斯坐标方法,其特征在于,所述步骤S5包括:
S51、对所述初始计算结果进行旋转矩阵提取,以得到旋转矩阵:
Figure QLYQS_1
S55、以预置逻辑处理所述初始计算结果,以得到平移矩阵。
4.根据权利要求1所述的一种基于无人机图像计算像素点高斯坐标方法,其特征在于,所述步骤S6包括:
S61、基于旋转矩阵计算出相机坐标系的所述三轴旋转欧拉角;
S62、根据所述三轴旋转欧拉角三轴旋转所述相机坐标,以得到所述世界坐标平行坐标系;
S63、根据世界坐标系平行坐标系处理得到旋转向量、平移向量。
5.根据权利要求1所述的一种基于无人机图像计算像素点高斯坐标方法,其特征在于,所述步骤S7包括:
S71、根据所述旋转向量,利用下述逻辑求取所述相机坐标系下XYZ轴的旋转角:
Figure QLYQS_2
Figure QLYQS_3
Figure QLYQS_4
S72、处理所述XYZ轴的旋转角、所述旋转向量及所述平移向量,以得到相机在世界坐标系下的坐标,据以作为已知相机坐标。
6.一种基于无人机图像计算像素点高斯坐标系统,其特征在于,所述系统包括:
预置摄像无人机,用以通过不同角度拍摄目标区域,以得到不少于2份的图像数据,并录制视频,其中,获取目标区域数据,据以得到地形数据及坡度数据,根据所述地形数据设置预置无人机的飞行高度,根据所述坡度数据调整摄像头至预设拍摄角度;
特征点模块,用以从所述图像数据中提取不少于2个的特征点,据以处理得所述特征点的像素点及高斯坐标点,所述特征点模块与所述预置摄像无人机连接,其中,从所述预置无人机拍摄的2幅图片中选择4个所述特征点;处理所述特征点以得到所述像素点及所述高斯坐标点;
相机标定模块,用以获取标定图片,以预置相机标定工具处理所述标定图片,以获取所述相机的内参、径向畸变参数及切向畸变参数,据以对所述相机进行标定操作,其中,获取黑白格图片;与预置终端打开所述黑白格图片并全屏显示;利用无人机相机从不同角度拍摄预设张数的所述黑白格图片;利用MatLab相机标定工具箱处理所述黑白格图片,以得到所述相机的内参、所述径向畸变参数、所述切向畸变参数;
初始计算模块,用以利用PNP处理所述所述相机的内参、径向畸变参数及切向畸变参数及所述特征点的像素点及高斯坐标点,以得到初始计算结果,所述初始计算模块与所述相机标定模块及所述特征点模块连接;
特征矩阵模块,用以处理所述初始计算结果,以获取特征矩阵数据,所述特征矩阵模块与所述初始计算模块连接;
旋转平移向量模块,用以根据所述特征矩阵数据处理得到相机坐标系的三轴旋转欧拉角,据以三轴旋转所述相机坐标以得到世界坐标平行坐标系,以得到旋转向量及平移向量,所述旋转平移向量模块与所述特征矩阵模块连接;
相机坐标模块,用以根据所述旋转向量求取相机坐标系下的三坐标旋转角,处理所述三坐标旋转角、所述旋转向量及所述平移向量,以得到相机坐标;
目标点高斯坐标获取模块,用以利用预置逻辑关系处理获取目标点与相机间射线,据以处理得到目标点高斯坐标,所述目标点高斯坐标获取模块与所述相机坐标模块、所述特征点模块、所述旋转平移向量模块连接,其中,根据目标点在二维图像中的像素坐标(u,v),利用下述逻辑处理得到所述目标点在相机坐标系中位置(Xxm,Yxm,Zxm):
Xxm=(u-u0)*F/fx
Yxm=(v-v0)*F/fy
Zxm=F
其中,F为无人机搭载相机的镜头焦距,单位为毫米,fx、fy、u0、v0为相机的内参矩阵;
根据所述三坐标旋转角绕XYZ轴进行旋转处理所述目标点在相机坐标系中位置(Xxm,Yxm,Zxm),以得到目标点在世界坐标系下的坐标(Xm,Ym,Zm),据以处理得到所述射线,其中,所述射线的条数与所述预置无人机的数目相适配;
取所述射线相交的一点或者两条所述射线距离最近点,以作为所述目标点高斯坐标。
CN202210688663.1A 2022-06-17 2022-06-17 一种基于无人机图像计算像素点高斯坐标方法及系统 Active CN114926552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210688663.1A CN114926552B (zh) 2022-06-17 2022-06-17 一种基于无人机图像计算像素点高斯坐标方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210688663.1A CN114926552B (zh) 2022-06-17 2022-06-17 一种基于无人机图像计算像素点高斯坐标方法及系统

Publications (2)

Publication Number Publication Date
CN114926552A CN114926552A (zh) 2022-08-19
CN114926552B true CN114926552B (zh) 2023-06-27

Family

ID=82814487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210688663.1A Active CN114926552B (zh) 2022-06-17 2022-06-17 一种基于无人机图像计算像素点高斯坐标方法及系统

Country Status (1)

Country Link
CN (1) CN114926552B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237512B (zh) * 2023-11-10 2024-03-12 深圳市易图资讯股份有限公司 一种视频图像的三维场景映射方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835115A (zh) * 2015-05-07 2015-08-12 中国科学院长春光学精密机械与物理研究所 用于航空相机的图像成像方法及系统
CN106227237A (zh) * 2016-09-29 2016-12-14 广州极飞科技有限公司 无人机的飞行任务的分配方法和装置
CN106356757A (zh) * 2016-08-11 2017-01-25 河海大学常州校区 一种基于人眼视觉特性的电力线路无人机巡检方法
CN106373159A (zh) * 2016-08-30 2017-02-01 中国科学院长春光学精密机械与物理研究所 一种简化的无人机多目标定位方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104333675B (zh) * 2014-10-20 2017-09-05 长春理工大学 一种基于球面投影的全景电子稳像方法
CN105004354B (zh) * 2015-06-19 2017-12-05 北京航空航天大学 大斜视角下无人机可见光和红外图像目标定位方法
CN108648237B (zh) * 2018-03-16 2022-05-03 中国科学院信息工程研究所 一种基于视觉的空间定位方法
CN109685913B (zh) * 2018-12-21 2022-12-02 西安电子科技大学 基于计算机视觉定位的增强现实实现方法
CN113191296A (zh) * 2021-05-13 2021-07-30 中国人民解放军陆军炮兵防空兵学院 一种基于yolov5的任意朝向目标五参数检测方法
CN114299156A (zh) * 2021-12-11 2022-04-08 合肥辰视机器人科技有限公司 无重叠区域下多相机的标定与坐标统一方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835115A (zh) * 2015-05-07 2015-08-12 中国科学院长春光学精密机械与物理研究所 用于航空相机的图像成像方法及系统
CN106356757A (zh) * 2016-08-11 2017-01-25 河海大学常州校区 一种基于人眼视觉特性的电力线路无人机巡检方法
CN106373159A (zh) * 2016-08-30 2017-02-01 中国科学院长春光学精密机械与物理研究所 一种简化的无人机多目标定位方法
CN106227237A (zh) * 2016-09-29 2016-12-14 广州极飞科技有限公司 无人机的飞行任务的分配方法和装置

Also Published As

Publication number Publication date
CN114926552A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN113532311B (zh) 点云拼接方法、装置、设备和存储设备
CN109035320B (zh) 基于单目视觉的深度提取方法
CN109360240B (zh) 一种基于双目视觉的小型无人机定位方法
CN109269430B (zh) 基于深度提取模型的多株立木胸径被动测量方法
EP2847741B1 (en) Camera scene fitting of real world scenes for camera pose determination
Alismail et al. Automatic calibration of a range sensor and camera system
CN110930508B (zh) 二维光电视频与三维场景融合方法
WO2020062434A1 (zh) 一种相机外部参数的静态标定方法
CN108665499B (zh) 一种基于视差法的近距飞机位姿测量方法
CN103278138A (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN111260539B (zh) 鱼眼图目标识别方法及其系统
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN115187798A (zh) 一种多无人机高精度匹配定位方法
CN113624231A (zh) 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器
CN111862180A (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN114926552B (zh) 一种基于无人机图像计算像素点高斯坐标方法及系统
CN114743021A (zh) 一种输电线路图像与点云数据的融合方法及系统
Abanay et al. A calibration method of 2D LIDAR-Visual sensors embedded on an agricultural robot
Xinmei et al. Passive measurement method of tree height and crown diameter using a smartphone
CN110160503B (zh) 一种顾及高程的无人机景观匹配定位方法
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN117058051A (zh) 一种基于激光点云与微光图像融合的方法及装置
CN113223163A (zh) 点云地图构建方法及装置、设备、存储介质
Wu et al. Precise geometric correction and robust mosaicking for airborne lightweight optical butting infrared imaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant