CN107247458A - 无人机视频图像目标定位系统、定位方法及云台控制方法 - Google Patents

无人机视频图像目标定位系统、定位方法及云台控制方法 Download PDF

Info

Publication number
CN107247458A
CN107247458A CN201710373643.4A CN201710373643A CN107247458A CN 107247458 A CN107247458 A CN 107247458A CN 201710373643 A CN201710373643 A CN 201710373643A CN 107247458 A CN107247458 A CN 107247458A
Authority
CN
China
Prior art keywords
unmanned plane
target
angle
video
latitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710373643.4A
Other languages
English (en)
Inventor
郭乔进
梁中岩
李若垚
宫世杰
时高山
祁骏
许建
胡杰
陈文明
孟剑萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN201710373643.4A priority Critical patent/CN107247458A/zh
Publication of CN107247458A publication Critical patent/CN107247458A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/22Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/24Guiding or controlling apparatus, e.g. for attitude control
    • B64G1/244Spacecraft control systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于元数据的无人机目标定位系统、定位方法以及无人机云台控制方法,该定位系统与定位方法解决了现有技术中不能获取和显示视频中所拍摄目标的位置的问题,通过结合目标区域位置及无人机的位置及飞行参数,实时解算云台方位及俯仰角参数,对视频中的目标进行定位,支持在无人机飞行过程中,通过在无人机回传视频中框选指定目标,对目标进行定位,并将框选目标区域实时显示在GIS地图上。该云台控制方法解决了现有技术中必须通过人工调整云台的不便问题,支持在GIS地图上点选指定目标,并根据无人机和目标位置、飞行参数、高程数据等信息解算云台参数,控制云台旋转,使目标位于传感器视轴中心。

Description

无人机视频图像目标定位系统、定位方法及云台控制方法
技术领域
本发明属于无人机目标定位及视频图像处理领域,尤其涉及一种基于元数据的无人机视频图像目标定位系统、定位方法及无人机云台控制方法。
背景技术
无人机(Unmanned Aerial Vehicle,UAV),作为一种新兴现代军事装备,以其得天独厚的“无人”优势,完全符合“不见面”和“零伤亡”的现代战争理念。无人机通过携带不同的设备,可以执行侦察监视、激光制导、电子干扰、通信中继、目标定位、战斗评估、精确打击等任务。无人机在民用上也大有可为,它可应用于场区监控、气象探测、公路巡视、勘探测绘、水灾监视、航空摄影、交通管理、电力线路查询、森林火灾防救等。
近年来,随着无人机在局部战场上不断地曝光,以及无人机技术的飞速发展,无人机的军事应用价值,尤其是在低空侦察上的优势已经得到了世界各国的高度重视,在作战武器中的地位正在不断上升。无人侦察机作为信息化战场一种极具发展前景的新型装备,已经成为重要的信息作战前端和灵活的空中打击力量。
可见光传感器作为当今几乎所有无人机必备的传感器之一,能够实时采集和处理战场视频信息,为飞行操控、战场指挥、侦察打击、场区监控提供最基本和最重要的信息。无人机输出视频的目标定位的主要目标是把视频图像中的目标的像素位置与真实场景中的物体坐标,例如GPS坐标,一一对应起来,主要方法是根据导航信息和设备参数计算出空间坐标系、无人机载体坐标系和地心坐标系之间的转换矩阵,换算得出目标在地心坐标系中的坐标。
当前,基于无人机视频图像的定位技术主要是讨论如何进行参考图与实时图之间的图像匹配,主要研究内容是提高匹配的精度和速度。基础的图像匹配算法已经很成熟,现阶段的研究关键是如何匹配不同源的图像以及如何提高匹配的可靠性。基于图像匹配,利用一副图像上的多个同名点进行导航参数解算的图像导航算法已经被验证了其有效性。但如果无人机视场有效或一致的地标点数目有限,无法保证图像上同名点数目时,算法将失效。此外该算法对多个同名点进行图像匹配,匹配算法复杂且工作量大,影响实时性。基于图像匹配的定位技术由于需要目标区域范围的历史图像,适用于小范围的定位及巡航导弹的末端制导等应用场景。
通过对无人机实时传回的视频进行目标定位,可以更为精确的掌握传感器的拍摄区域、目标位置及状态;另一方面也可以根据指定的位置信息来反向解算传感器的运动信息,控制传感器对指定区域进行持续性监控。因此,基于无人机视频的目标定位技术对战场监控、态势分析、损毁评估等应用方向具有重要的研究价值。
现有的无人机操作系统,如大疆等,在无人机飞行过程中,通常只能在地图上显示无人机自身的位置坐标及云台的大致方位,并不能获取和显示视频中所拍摄目标的位置;另一方面,在需要对指定区域的目标进行侦察时,现有的无人机操作系统需要人工调整云台,且只能依靠实时回传的视频来人工判断云台控制方向,操作极为不便。
发明内容
发明目的:为了解决现有技术中存在的问题,本发明提供一种基于元数据的无人机视频图像目标定位系统及定位方法,通过结合目标区域位置及无人机的位置及飞行参数,实时解算云台方位及俯仰角参数,对视频中的目标进行定位;以及一种基于元数据的无人机云台控制方法,便于控制云台方向。
技术方案:为了实现对无人机视频中框选目标的实时定位,本发明中基于元数据的无人机视频图像目标定位系统,
该系统包括元数据处理模块、高程数据管理模块、视频定位模块;所述元数据处理模块实时接收无人机传回的飞行数据及载荷数据,并从中提取元数据信息,所述元数据信息包括:无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角,以及视频的分辨率、传感器的水平视场角和垂直视场角;所述高程数据管理模块根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据,将DEM高程数据转换到地心坐标系;所述视频定位模块对接收到的视频帧,根据其时间戳查询该视频帧前后的元数据,并进行插值获得当前视频帧所对应的元数据信息;再利用元数据信息计算视场中心角度,并进行坐标转换,在地心坐标系下计算视轴线与高程数据的交点得到视场中心的经度、纬度及高度,实现对视频帧中框选目标的定位。
进一步地,为了能够通过GIS框选目标,对云台进行辅助控制使框选目标出现在视频图像中心区域,该系统还包括云台辅助控制模块;所述云台辅助控制模块获取GIS框选目标的经纬度,结合DEM高程数据获取目标高程,并根据无人机实时元数据信息获取云台方位角与俯仰角偏差进而控制云台转动。
相应地,本发明还公开了一种基于元数据的无人机视频图像目标定位方法,该方法包括以下步骤:
(1)实时接收无人机传回的飞行数据及载荷数据,并从中提取元数据信息,所述元数据信息包括:无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角,以及视频的分辨率、传感器的水平视场角和垂直视场角;
(2)根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据,将DEM高程数据转换到地心坐标系;
(3)对接收到的视频帧,接收的元数据计算视场中心角度,并进行坐标转换,在地心坐标系下计算视轴线与高程数据的交点,从而得到框选目标的经度、纬度及高度。
步骤(3)中获取视频框选目标的经纬度及高度,包括以下步骤:
(31)根据视频分辨率和传感器水平视场角ψh计算CCD面板到镜头的距离L;
(32)以CCD的一个顶点为原点,以连接该顶点的两条垂直边所在直线分别为x轴和y轴,以垂直于该CCD面板的直线为z轴,构建三维坐标系,得到镜头中心的坐标ωc、CCD中心的坐标Dc、视频框选目标的坐标Pc
(33)计算视轴线到目标视线的旋转矩阵
(34)将无人机经纬度及高度转换为地心坐标系坐标,在地心坐标系中,将无人机从初始点旋转到对应经纬高的旋转矩阵记为Rα,记旋转矩阵记 为过无人机所在点且与水平面垂直的一条直线,为穿越南北极的一条直线;
(35)根据无人机的方位角βy、俯仰角βp及侧滚角βr,计算机身轴线与无人机所在经线之间的旋转矩阵Rβ
(36)根据云台方位角λy和俯仰角λp,计算传感器视轴线与机身轴线之间的旋Rλ
(37)将无人机飞行区域的高程数据其转换到地心坐标系,记高程曲面为S;
(38)设为地心坐标系中与水平面垂直的一条直线,计算根据无人机及云台参数旋转后的直线
(39)计算直线与高程曲面S的交点,利用Kalman滤波进行去噪,并转换为经纬高作为视频框选目标的坐标。
进一步地,为了能够通过GIS框选目标,对云台进行辅助控制使框选目标出现在视频图像中心区域,本发明中基于元数据的无人机云台控制方法,包括以下步骤:
(1)实时接收无人机传回的飞行数据及载荷数据,并从中提取元数据信息,所述元数据信息包括:无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角,以及视频的分辨率、传感器的水平视场角和垂直视场角;
(2)根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据,将DEM高程数据转换到地心坐标系;
(3)根据GIS框选目标的经纬度结合高程数据获取目标高程,再根据无人机实时元数据信息进行解算,获取云台方位角与俯仰角偏差,进而根据计算结果控制云台转动使目标出现在视频图像中心。
其中,步骤(3)中获取云台方位角与俯仰角偏差,包括以下步骤:
(31)根据GIS框选目标的经纬度坐标和高程数据获取目标的高度,并将经纬度及高度转换为地心坐标系中的坐标;
(32)将无人机经纬度及高度转换为地心坐标系坐标,在地心坐标系中,将无人机从初始点旋转到对应经纬高的旋转矩阵记为Rα,记旋转矩阵记 为过无人机所在点且与水平面垂直的一条直线,为穿越南北极的一条直线;
(33)根据无人机的方位角βy、俯仰角βp及侧滚角βr,计算旋转矩阵Rβ
(34)设为地心坐标系中与水平面垂直的一条直线,计算根据无人机参数旋转后的直线
(35)计算GIS框选目标与无人机所在点构成的直线与直线的方位角偏差κy和俯仰角偏差κp
(36)根据方位角偏差κy和俯仰角偏差κp旋转云台,使目标出现在视频图像中心。
有益效果:本发明中基于元数据的无人机视频图像目标定位系统利用了无人机飞行数据、云台及相机的实时参数等信息,结合高程数据,实现了对视频图像中任意目标的实时定位,有利于无人机操作人员、图像情报处理人员等实时掌握无人机拍摄目标的位置坐标,同时也可为目标引导提供坐标;进一步地,本发明基于元数据的无人机视频图像目标定位系统通过设置云台辅助控制模块支持在GIS上点选目标,并辅助控制云台转向目标区域,使目标出现在视频图像中心,有效简化了无人机云台的控制策略,使无人机操作人员只需要专注于操作无人机,由本发明中基于元数据的无人机云台控制方法替代操作人员自动控制云台进行旋转,提高了侦察地面目标的工作效率。本发明中基于元数据的无人机视频图像目标定位方法速度快、实现简单、可靠性高,能够对传回的视频及视频中的目标进行实时定位,定位速度快,且不受天气、光照、历史图像等因素的影响。本发明中基于元数据的无人机云台控制方法能够实时显示视频中目标在卫星地图上的位置,且允许用户直接在卫星地图上框选待侦察目标,系统将自动控制云台转向指定角度,使目标出现在视频中,形成了一套视频与卫星地图的互动操作闭环,极大简化了无人机的操作。
附图说明
图1是本发明中基于元数据的无人机视频图像目标定位系统的模块示意图;
图2是本发明中基于元数据的无人机视频图像目标定位方法的流程图;
图3是本发明中基于元数据的无人机云台控制方法的流程图;
图4无人机方位角示意图;
图5是无人机俯仰角示意图;
图6是无人机侧滚角示意图;
图7是云台相对方位角示意图;
图8是云台相对俯仰角示意图;
图9是传感器水平视场角示意图;
图10是传感器垂直视场角示意图;
图11是传感器视轴直线与高程数据相交示意图;
图12是无人机实时视频及目标框选位置截图;
图13是视频框选位置定位效果示意图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
如图1所示,本发明中基于元数据的无人机视频图像目标定位系统,包括元数据处理模块、高程数据管理模块、视频定位模块以及云台辅助控制模块;元数据处理模块负责实时接收无人机传回的飞行数据及载荷数据,并从中提取无人机的经纬度、高度、俯仰角、方位角、侧滚角及云台的俯仰角、方位角、传感器的水平视场角、垂直视场角、视频分辨率等元数据信息;高程数据管理模块负责对大区域的高程数据进行分块存储及访问,将分块的DEM数据转换到地心坐标系,根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的高程数据,从而实现高程数据的快速访问;视频定位模块则根据接收的元数据计算视场中心角度,并进行坐标转换,在地心坐标系下计算其与高程数据的交点,从而得到视场中心的经度、纬度及高度,并利用Kalman滤波修正随机误差;云台辅助控制模块通过根据GIS框选目标的经纬度,结合高程数据获取目标高程,再根据无人机实时元数据信息进行解算,获取云台方位角与俯仰角偏差,进而根据计算结果控制云台转动。
如图2所示,利用上述基于元数据的无人机视频图像目标定位系统进行目标定位,包括以下步骤:
(1)元数据处理模块实时接收无人机传回的飞行数据及载荷数据,并从中提取无人机的经纬度、高度、俯仰角、方位角、侧滚角及云台的俯仰角、方位角、传感器的水平视场角、垂直视场角、视频分辨率等元数据信息。本发明中采用Redis(一种基于内存的高效键值对数据库)缓存接收到的元数据信息,缓存失效时间设置为20秒。
(2)高程数据管理模块负责对大区域的高程数据的分块存储及访问,将分块的DEM数据转换到地心坐标系,根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的高程数据,从而实现高程数据的快速访问。
(3)对于接收到的视频帧,视频定位模块根据其时间戳查询该视频帧前后的元数据,并进行插值获得当前帧所对应的元数据信息,利用元数据信息计算视频中心及四角的绝对俯仰角和绝对方位角,然后利用缓存的高程数据求解传感器视轴直线与高程数据交叉点(如图11所示)的经纬度信息和高度信息,实现对视频帧及拍摄区域的定位。
如图3所示,利用上述基于元数据的无人机视频图像目标定位系统进行云台控制,包括以下步骤:
(1)元数据处理模块实时接收无人机传回的飞行数据及载荷数据,并从中提取无人机的经纬度、高度、俯仰角、方位角、侧滚角及云台的俯仰角、方位角、传感器的水平视场角、垂直视场角、视频分辨率等元数据信息。本发明中采用Redis(一种基于内存的高效键值对数据库)缓存接收到的元数据信息,缓存失效时间设置为20秒。
(2)高程数据管理模块负责对大区域的高程数据的分块存储及访问,将分块的DEM数据转换到地心坐标系,根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的高程数据,从而实现高程数据的快速访问。
(4)云台辅助控制模块根据GIS框选目标的经纬度结合高程数据获取目标高程,再根据无人机实时元数据信息进行解算,获取云台方位角与俯仰角偏差,进而根据计算结果控制云台转动。
上述步骤(1)中,所获取的元数据信息列表如表1所示,本发明中基于无人机视频的目标定位技术主要是通过对实时传回的视频信息,结合元数据信息(包括无人机平台、云台、可见光传感器等设备的工作状态等)以及高程数据,对视频的中心、四角及目标区域的坐标进行解算。
表1元数据信息列表
上述步骤(2)中,本发明所使用的DEM高程数据,包含北纬60度至南纬56度之间,面积超过1.19亿平方公里的区域,覆盖全球陆地表面的80%以上。原始数据超过90G,为了能够根据在解算过程中快速实时获取指定经纬度的高程信息,本发明中采用高程数据动态加载机制,即通过对DEM数据进行分片,加载无人机当前位置对应的DEM分片,并根据飞行方向和飞行速度进行估算,动态预加载下一分片的DEM数据,最多同时加载4个分片的DEM数据,并卸载历史分片数据,从而利用有限的内存空间来保证在指定经纬度的高程信息在限定飞行速度下的100%命中率。
上述步骤(3)中根据元数据信息计算视频中的任意像素的绝对俯仰角和方位角,利用缓存的高程数据求解视轴线与交叉点的经纬度信息和高度信息,最终求得指定像素的经纬度信息,具体步骤如下:
步骤1-1,根据视频分辨率W×H、视频框选目标中心坐标(x,y),结合传感器水平视场角ψh和垂直视场角ψv,计算CCD面板到镜头的距离
步骤1-2,定义镜头中心三维坐标为ωc=(W/2,H/2,L),CCD左上角坐标为Dtl=(0,0,0),CCD右下角坐标为Dbr=(W,H,0),CCD中心坐标为Dc=(W/2,H/2,0),视频框选目标的三维坐标为Pc=(x,y,0);
步骤1-3,计算视轴线到目标视线的旋转矩阵
步骤1-4,根据无人机经纬度及高度(αlonlatalt),转换为地心坐标系坐标α1=(αxyz),另根据(αlonlatalt-100)计算其在地心坐标系中坐标α0,,从而获取地心坐标系中,将无人机从初始点旋转到对应经纬高的旋转矩阵Rα=R(<(0,0,0),(0,0,1)>,<α01>),同时根据经度进行旋转,使无人机在地心坐标系中与水平面平行,其旋转矩阵记为Rlon
步骤1-5,根据无人机的方位角、俯仰角及侧滚角云台参数(βypr),计算机身轴线与无人机所在经线之间的旋转矩阵Rβ
步骤1-6,根据云台参数,包括方位角λy和俯仰角λp,计算传感器视轴线与机身轴线之间的旋Rλ
步骤1-7,获取无人机飞行区域的高程数据,并将其转换到地心坐标系,记高程曲面为S;
步骤1-8,定义地心坐标系中的直线计算根据无人机及云台参数旋转后的直线
步骤1-9,计算直线与高程曲面S的交点Ps=(Px,Py,Pz),转换为经纬高Pα=(Plon,Plat,Palt),即为视频框选目标的坐标。
上述步骤(4)中,根据GIS框选目标的经纬度结合高程数据获取目标高程,再根据无人机实时元数据信息进行解算,获取云台期望方位角和俯仰角与当前云台位置的偏差,进而根据计算结果控制云台转动,具体步骤如下:
步骤2-1,在GIS上点选目标,获取经纬度(plon,plat);
步骤2-2,根据经纬度,利用高程数据,获取目标对应高度palt,将GIS框选目标点的经纬高转换为地心坐标p=(px,py,pz);
步骤2-3,根据无人机经纬度及高度(αlonlatalt),转换为地心坐标系坐标α1=(αxyz),另根据(αlonlatalt-100)计算其在地心坐标系中坐标α0,从而获取地心坐标系中,将无人机从初始点旋转到对应经纬高的旋转矩阵Rα=R(<(0,0,0),(0,0,1)>,<α01>),其中<(0,0,0),(0,0,1)>表示穿越南北极的一条直线,<β0z>表示过无人机所在点且与水平面垂直的一条直线,同时根据经度进行旋转,使无人机在地心坐标系中与水平面平行,其旋转矩阵记为Rlon
步骤2-4,根据无人机的方位角、俯仰角及侧滚角云台参数(βypr),计算机身轴线与无人机所在经线之间的旋转矩阵Rβ
步骤2-5,定义地心坐标系中的一条过南北极的直线计算根据无人机参数旋转后的直线
步骤2-6,计算目标点与无人机所在点构成的直线<p,β1>与直线的方位角偏差κy和俯仰角偏差κp
步骤2-7,根据方位角偏差κy和俯仰角偏差κp旋转云台,使目标出现在视频图像中心。
文中,<a,b>都表示a、b两点确定的直线。
本发明中定位方法能够在无激光测距的情况下对视频中的任意像素表征的目标进行实时定位,单像素定位耗时小于50ms。为验证该方法的有效性,本发明方法利用无人机的历史元数据信息及视频数据进行定位,并结合卫星地图进行比对,实验结果表明,该方法的定位误差最小可达9米,最大300米左右。定位效果图如图12、图13所示,其中图12为无人机实时视频及目标框选位置截图,图中框选道路交叉口,图13为对应的卫星影像地图,图中白色正方形框选区域为本方法的定位结果。
在无人机飞行过程中,本发明方法能够实时显示视频中目标在卫星地图上的位置,而现有的无人机操作系统,如大疆等,通常只能在地图上显示无人机自身的位置坐标及云台的大致方位,并不能获取和显示视频中所拍摄目标的位置;另一方面,在需要对指定区域的目标进行侦察时,现有的无人机操作系统需要人工调整云台,且只能依靠实时回传的视频来人工判断云台控制方向,操作极为不便,而本发明所述方法允许用户直接在卫星地图上框选待侦察目标,系统将自动控制云台转向指定角度,使目标出现在视频中,极大简化了无人机云台的操作。本发明所述方法将实时视频与卫星影像地图进行了有效的融合,为无人机操作人员提供了便利的辅助操作手段,形成了一套视频与卫星地图的互动操作闭环。
以上详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种等同变换,这些等同变换均属于本发明的保护范围。

Claims (6)

1.一种基于元数据的无人机视频图像目标定位系统,其特征在于,该系统包括元数据处理模块、高程数据管理模块、视频定位模块;所述元数据处理模块实时接收无人机传回的飞行数据及载荷数据,并从中提取元数据信息,所述元数据信息包括:无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角,以及视频的分辨率、传感器的水平视场角和垂直视场角;所述高程数据管理模块根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据,将DEM高程数据转换到地心坐标系;所述视频定位模块对接收到的视频帧,根据其时间戳查询该视频帧前后的元数据,并进行插值获得当前视频帧所对应的元数据信息;再利用元数据信息计算视场中心角度,并进行坐标转换,在地心坐标系下计算视轴线与高程数据的交点得到视场中心的经度、纬度及高度,实现对视频帧中框选目标的定位。
2.根据权利要求1所述的无人机视频图像目标定位系统,其特征在于,该系统还包括云台辅助控制模块;所述云台辅助控制模块获取GIS框选目标的经纬度,结合DEM高程数据获取目标高程,并根据无人机实时元数据信息获取云台方位角与俯仰角偏差进而控制云台转动。
3.一种基于元数据的无人机视频图像目标定位方法,其特征在于,该方法包括以下步骤:
(1)实时接收无人机传回的飞行数据及载荷数据,并从中提取元数据信息,所述元数据信息包括:无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角,以及视频的分辨率、传感器的水平视场角和垂直视场角;
(2)根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据,将DEM高程数据转换到地心坐标系;
(3)对接收到的视频帧,接收的元数据计算视场中心角度,并进行坐标转换,在地心坐标系下计算视轴线与高程数据的交点,从而得到框选目标的经度、纬度及高度。
4.根据权利要求3所述的无人机视频图像目标定位方法,其特征在于,步骤(3)中获取视频框选目标的经纬度及高度,包括以下步骤:
(31)根据视频分辨率和传感器水平视场角ψh计算CCD面板到镜头的距离L;
(32)以CCD的一个顶点为原点,以连接该顶点的两条垂直边所在直线分别为x轴和y轴,以垂直于该CCD面板的直线为z轴,构建三维坐标系,得到镜头中心的坐标ωc、CCD中心的坐标Dc、视频框选目标的坐标Pc
(33)计算视轴线到目标视线的旋转矩阵
(34)将无人机经纬度及高度转换为地心坐标系坐标,在地心坐标系中,将无人机从初始点旋转到对应经纬高的旋转矩阵记为Rα,记旋转矩阵记为过无人机所在点且与水平面垂直的一条直线,为穿越南北极的一条直线;
(35)根据无人机的方位角βy、俯仰角βp及侧滚角βr,计算机身轴线与无人机所在经线之间的旋转矩阵Rβ
(36)根据云台方位角λy和俯仰角λp,计算传感器视轴线与机身轴线之间的旋转矩阵Rλ
(37)将无人机飞行区域的高程数据其转换到地心坐标系,记高程曲面为S;
(38)设为地心坐标系中与水平面垂直的一条直线,计算根据无人机及云台参数旋转后的直线
(39)计算直线与高程曲面S的交点,利用Kalman滤波进行去噪,并转换为经纬高作为视频框选目标的坐标。
5.一种基于元数据的无人机云台控制方法,其特征在于,该方法包括以下步骤:
(1)实时接收无人机传回的飞行数据及载荷数据,并从中提取元数据信息,所述元数据信息包括:无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角,以及视频的分辨率、传感器的水平视场角和垂直视场角;
(2)根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据,将DEM高程数据转换到地心坐标系;
(3)根据GIS框选目标的经纬度结合高程数据获取目标高程,再根据无人机实时元数据信息进行解算,获取云台方位角与俯仰角偏差,进而根据计算结果控制云台转动使目标出现在视频图像中心。
6.根据权利要求5所述的无人机视频图像目标定位方法,其特征在于,步骤(3)中获取云台方位角与俯仰角偏差,包括以下步骤:
(31)根据GIS框选目标的经纬度坐标和高程数据获取目标的高度,并将经纬度及高度转换为地心坐标系中的坐标;
(32)将无人机经纬度及高度转换为地心坐标系坐标,记旋转矩阵记 为过无人机所在点且与水平面垂直的一条直线,为穿越南北极的一条直线;
(33)根据无人机的方位角βy、俯仰角βp及侧滚角βr,计算机身轴线与无人机所在经线之间的旋转矩阵Rβ
(34)设为地心坐标系中与水平面垂直的一条直线,计算根据无人机参数旋转后的直线
(35)计算GIS框选目标与无人机所在点构成的直线与直线的方位角偏差κy和俯仰角偏差κp
(36)根据方位角偏差κy和俯仰角偏差κp旋转云台,使目标出现在视频图像中心。
CN201710373643.4A 2017-05-24 2017-05-24 无人机视频图像目标定位系统、定位方法及云台控制方法 Pending CN107247458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710373643.4A CN107247458A (zh) 2017-05-24 2017-05-24 无人机视频图像目标定位系统、定位方法及云台控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710373643.4A CN107247458A (zh) 2017-05-24 2017-05-24 无人机视频图像目标定位系统、定位方法及云台控制方法

Publications (1)

Publication Number Publication Date
CN107247458A true CN107247458A (zh) 2017-10-13

Family

ID=60017314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710373643.4A Pending CN107247458A (zh) 2017-05-24 2017-05-24 无人机视频图像目标定位系统、定位方法及云台控制方法

Country Status (1)

Country Link
CN (1) CN107247458A (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108037501A (zh) * 2018-01-30 2018-05-15 长沙深之瞳信息科技有限公司 一种能获取目标俯仰向角度的区域警戒雷达系统及方法
CN108537770A (zh) * 2018-01-11 2018-09-14 中国人民解放军战略支援部队航天工程大学 一种无定标卫星成像目标辐射特性反演方法及系统
CN108919839A (zh) * 2018-07-05 2018-11-30 北京淳中科技股份有限公司 云台转向控制方法、装置、电子设备及存储介质
CN109286152A (zh) * 2018-09-11 2019-01-29 成都优艾维智能科技有限责任公司 一种针对交流双回耐张塔的无人机自主巡检方法
CN109344970A (zh) * 2018-11-27 2019-02-15 中国电子科技集团公司第二十研究所 一种无人机上基于视觉目标动向推理方法
CN109754420A (zh) * 2018-12-24 2019-05-14 深圳市道通智能航空技术有限公司 一种目标距离估计方法、装置及无人机
CN109782786A (zh) * 2019-02-12 2019-05-21 上海戴世智能科技有限公司 一种基于图像处理的定位方法和无人机
CN109901625A (zh) * 2019-04-11 2019-06-18 株洲时代电子技术有限公司 一种桥梁巡检系统
CN109933096A (zh) * 2019-03-15 2019-06-25 山东鲁能智能技术有限公司 一种云台伺服控制方法及系统
CN109961466A (zh) * 2017-12-14 2019-07-02 翔升(上海)电子技术有限公司 牧场动物监控方法和系统
CN110083180A (zh) * 2019-05-22 2019-08-02 深圳市道通智能航空技术有限公司 云台控制方法、装置、控制终端及飞行器系统
CN110109188A (zh) * 2019-04-11 2019-08-09 江苏首控制造技术有限公司 一种无人机水面三角定位搜救方法
CN110176030A (zh) * 2019-05-24 2019-08-27 中国水产科学研究院 一种无人机图像的自动配准方法、装置及电子设备
WO2019165612A1 (zh) * 2018-02-28 2019-09-06 深圳市大疆创新科技有限公司 可移动平台的定位方法及相关装置、系统
WO2019227352A1 (zh) * 2018-05-30 2019-12-05 深圳市大疆创新科技有限公司 飞行控制方法及飞行器
WO2019237411A1 (zh) * 2018-06-13 2019-12-19 仲恺农业工程学院 一种用于手动操控的无人机植保监控系统及方法
CN110879057A (zh) * 2018-09-05 2020-03-13 上海集光安防科技股份有限公司 一种基于激光和图像的空间测算方法
CN111114814A (zh) * 2020-01-16 2020-05-08 四川川测研地科技有限公司 基于无人飞行器对线性工程对象的自适应聚焦云台
CN111147830A (zh) * 2019-11-29 2020-05-12 中国航空工业集团公司洛阳电光设备研究所 一种实时视频与gis融合的实现方法
CN111414518A (zh) * 2020-03-26 2020-07-14 中国铁路设计集团有限公司 一种铁路无人机视频定位方法
CN111766902A (zh) * 2020-06-24 2020-10-13 国网福建省电力有限公司莆田供电公司 基于经纬度坐标实现视频云台转向的控制方法
CN111860245A (zh) * 2020-04-01 2020-10-30 国网福建省电力有限公司 基于无人机航拍杆塔图像的倒断配电杆塔定位方法
CN111982291A (zh) * 2019-05-23 2020-11-24 杭州海康机器人技术有限公司 一种基于无人机的火点定位方法、装置及系统
CN112116651A (zh) * 2020-08-12 2020-12-22 天津(滨海)人工智能军民融合创新中心 一种基于无人机单目视觉的地面目标定位方法和系统
CN112461197A (zh) * 2020-10-30 2021-03-09 广东海纬地恒空间信息技术有限公司 一种基于无人机云台的激光断面测量机器人系统
CN112461059A (zh) * 2020-10-30 2021-03-09 彩虹无人机科技有限公司 一种图像寻的制导导弹地面发射方法
CN112489032A (zh) * 2020-12-14 2021-03-12 北京科技大学 一种复杂背景下无人机载小目标检测定位方法及系统
CN113406964A (zh) * 2021-05-19 2021-09-17 浙江华飞智能科技有限公司 运动参数调节方法、装置、存储介质及电子装置
CN113570720A (zh) * 2021-08-04 2021-10-29 西安万飞控制科技有限公司 一种基于gis技术的无人机视频石油管线实时显示方法及系统
CN113759953A (zh) * 2021-11-09 2021-12-07 四川格锐乾图科技有限公司 一种基于开源dem数据的飞行姿态照片纠正方法
CN114397900A (zh) * 2021-11-29 2022-04-26 国家电投集团数字科技有限公司 一种无人机航拍图片中心点经纬度误差优化方法
CN115144867A (zh) * 2022-06-24 2022-10-04 山东浪潮科学研究院有限公司 一种基于无人机搭载三轴云台相机的目标检测定位方法
CN115540876A (zh) * 2022-11-28 2022-12-30 济南和普威视光电技术有限公司 一种结合离线dem和光电视频数据的目标定位方法
CN115760999A (zh) * 2022-11-01 2023-03-07 重庆比特数图科技有限公司 一种基于gis辅助的单目相机校准和目标地理位置提取方法
WO2023065408A1 (zh) * 2021-10-22 2023-04-27 广东汇天航空航天科技有限公司 地图数据获取方法、装置及飞行器
CN117237438A (zh) * 2023-09-18 2023-12-15 共享数据(福建)科技有限公司 一种三维模型和无人机视频数据的范围匹配方法与终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2393342B (en) * 2001-07-19 2004-07-07 Bae Systems Plc Automatic registration of images in digital terrain elevation data
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103699415A (zh) * 2013-12-23 2014-04-02 中国航空工业集团公司第六三一研究所 一种高效的机载设备地形数据加载方法
CN104820434A (zh) * 2015-03-24 2015-08-05 南京航空航天大学 一种无人机对地面运动目标的测速方法
CN104869311A (zh) * 2015-05-14 2015-08-26 合肥深目信息科技有限公司 基于地图的智能云台监控方法及系统
CN105551043A (zh) * 2015-12-17 2016-05-04 北京猎鹰无人机科技有限公司 无人机影像数据实时处理方法
CN105865422A (zh) * 2016-03-24 2016-08-17 北京林业大学 一种无人机林火夜间定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2393342B (en) * 2001-07-19 2004-07-07 Bae Systems Plc Automatic registration of images in digital terrain elevation data
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103699415A (zh) * 2013-12-23 2014-04-02 中国航空工业集团公司第六三一研究所 一种高效的机载设备地形数据加载方法
CN104820434A (zh) * 2015-03-24 2015-08-05 南京航空航天大学 一种无人机对地面运动目标的测速方法
CN104869311A (zh) * 2015-05-14 2015-08-26 合肥深目信息科技有限公司 基于地图的智能云台监控方法及系统
CN105551043A (zh) * 2015-12-17 2016-05-04 北京猎鹰无人机科技有限公司 无人机影像数据实时处理方法
CN105865422A (zh) * 2016-03-24 2016-08-17 北京林业大学 一种无人机林火夜间定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SUBONG SOHN ET AL.: "Vision-Based Real-Time Target Localization for Single-Antenna GPS-Guided UAV", 《IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONIC SYSTEMS》 *
周艳: "《道路工程施工新技术》", 30 November 2013, 中国矿业大学出版社 *
秦飞飞: "森林火灾远程视频火点自动定位算法研究", 《中国优秀硕士学位论文 农业科技辑》 *
赵民: "《石材数控加工技术》", 31 August 2013, 辽宁科学技术出版社 *

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961466A (zh) * 2017-12-14 2019-07-02 翔升(上海)电子技术有限公司 牧场动物监控方法和系统
CN108537770A (zh) * 2018-01-11 2018-09-14 中国人民解放军战略支援部队航天工程大学 一种无定标卫星成像目标辐射特性反演方法及系统
CN108537770B (zh) * 2018-01-11 2021-08-03 中国人民解放军战略支援部队航天工程大学 一种无定标卫星成像目标辐射特性反演方法及系统
CN108037501B (zh) * 2018-01-30 2023-10-03 长沙深之瞳信息科技有限公司 一种能获取目标俯仰向角度的区域警戒雷达系统及方法
CN108037501A (zh) * 2018-01-30 2018-05-15 长沙深之瞳信息科技有限公司 一种能获取目标俯仰向角度的区域警戒雷达系统及方法
WO2019165612A1 (zh) * 2018-02-28 2019-09-06 深圳市大疆创新科技有限公司 可移动平台的定位方法及相关装置、系统
WO2019227352A1 (zh) * 2018-05-30 2019-12-05 深圳市大疆创新科技有限公司 飞行控制方法及飞行器
WO2019237411A1 (zh) * 2018-06-13 2019-12-19 仲恺农业工程学院 一种用于手动操控的无人机植保监控系统及方法
CN108919839A (zh) * 2018-07-05 2018-11-30 北京淳中科技股份有限公司 云台转向控制方法、装置、电子设备及存储介质
CN110879057A (zh) * 2018-09-05 2020-03-13 上海集光安防科技股份有限公司 一种基于激光和图像的空间测算方法
CN110879057B (zh) * 2018-09-05 2021-06-22 上海集光安防科技股份有限公司 一种基于激光和图像的空间测算方法
CN109286152A (zh) * 2018-09-11 2019-01-29 成都优艾维智能科技有限责任公司 一种针对交流双回耐张塔的无人机自主巡检方法
CN109344970B (zh) * 2018-11-27 2022-03-15 中国电子科技集团公司第二十研究所 一种无人机上基于视觉目标动向推理方法
CN109344970A (zh) * 2018-11-27 2019-02-15 中国电子科技集团公司第二十研究所 一种无人机上基于视觉目标动向推理方法
CN109754420A (zh) * 2018-12-24 2019-05-14 深圳市道通智能航空技术有限公司 一种目标距离估计方法、装置及无人机
CN109782786A (zh) * 2019-02-12 2019-05-21 上海戴世智能科技有限公司 一种基于图像处理的定位方法和无人机
CN109782786B (zh) * 2019-02-12 2021-09-28 上海戴世智能科技有限公司 一种基于图像处理的定位方法和无人机
CN109933096B (zh) * 2019-03-15 2021-11-30 国网智能科技股份有限公司 一种云台伺服控制方法及系统
CN109933096A (zh) * 2019-03-15 2019-06-25 山东鲁能智能技术有限公司 一种云台伺服控制方法及系统
CN110109188A (zh) * 2019-04-11 2019-08-09 江苏首控制造技术有限公司 一种无人机水面三角定位搜救方法
CN109901625B (zh) * 2019-04-11 2022-10-25 株洲时代电子技术有限公司 一种桥梁巡检系统
CN109901625A (zh) * 2019-04-11 2019-06-18 株洲时代电子技术有限公司 一种桥梁巡检系统
CN110083180A (zh) * 2019-05-22 2019-08-02 深圳市道通智能航空技术有限公司 云台控制方法、装置、控制终端及飞行器系统
CN111982291A (zh) * 2019-05-23 2020-11-24 杭州海康机器人技术有限公司 一种基于无人机的火点定位方法、装置及系统
CN110176030A (zh) * 2019-05-24 2019-08-27 中国水产科学研究院 一种无人机图像的自动配准方法、装置及电子设备
CN111147830A (zh) * 2019-11-29 2020-05-12 中国航空工业集团公司洛阳电光设备研究所 一种实时视频与gis融合的实现方法
CN111114814B (zh) * 2020-01-16 2022-04-08 四川川测研地科技有限公司 基于无人飞行器对线性工程对象的自适应聚焦云台
CN111114814A (zh) * 2020-01-16 2020-05-08 四川川测研地科技有限公司 基于无人飞行器对线性工程对象的自适应聚焦云台
CN111414518A (zh) * 2020-03-26 2020-07-14 中国铁路设计集团有限公司 一种铁路无人机视频定位方法
CN111414518B (zh) * 2020-03-26 2022-06-14 中国铁路设计集团有限公司 一种铁路无人机视频定位方法
CN111860245A (zh) * 2020-04-01 2020-10-30 国网福建省电力有限公司 基于无人机航拍杆塔图像的倒断配电杆塔定位方法
CN111766902A (zh) * 2020-06-24 2020-10-13 国网福建省电力有限公司莆田供电公司 基于经纬度坐标实现视频云台转向的控制方法
CN112116651B (zh) * 2020-08-12 2023-04-07 天津(滨海)人工智能军民融合创新中心 一种基于无人机单目视觉的地面目标定位方法和系统
CN112116651A (zh) * 2020-08-12 2020-12-22 天津(滨海)人工智能军民融合创新中心 一种基于无人机单目视觉的地面目标定位方法和系统
CN112461197A (zh) * 2020-10-30 2021-03-09 广东海纬地恒空间信息技术有限公司 一种基于无人机云台的激光断面测量机器人系统
CN112461059A (zh) * 2020-10-30 2021-03-09 彩虹无人机科技有限公司 一种图像寻的制导导弹地面发射方法
CN112489032A (zh) * 2020-12-14 2021-03-12 北京科技大学 一种复杂背景下无人机载小目标检测定位方法及系统
CN113406964A (zh) * 2021-05-19 2021-09-17 浙江华飞智能科技有限公司 运动参数调节方法、装置、存储介质及电子装置
CN113406964B (zh) * 2021-05-19 2022-11-18 浙江华飞智能科技有限公司 运动参数调节方法、装置、存储介质及电子装置
CN113570720A (zh) * 2021-08-04 2021-10-29 西安万飞控制科技有限公司 一种基于gis技术的无人机视频石油管线实时显示方法及系统
CN113570720B (zh) * 2021-08-04 2024-02-27 西安万飞控制科技有限公司 一种基于gis技术的无人机视频石油管线实时显示方法及系统
WO2023065408A1 (zh) * 2021-10-22 2023-04-27 广东汇天航空航天科技有限公司 地图数据获取方法、装置及飞行器
CN113759953A (zh) * 2021-11-09 2021-12-07 四川格锐乾图科技有限公司 一种基于开源dem数据的飞行姿态照片纠正方法
CN114397900A (zh) * 2021-11-29 2022-04-26 国家电投集团数字科技有限公司 一种无人机航拍图片中心点经纬度误差优化方法
CN114397900B (zh) * 2021-11-29 2024-02-09 国家电投集团数字科技有限公司 一种无人机航拍图片中心点经纬度误差优化方法
CN115144867A (zh) * 2022-06-24 2022-10-04 山东浪潮科学研究院有限公司 一种基于无人机搭载三轴云台相机的目标检测定位方法
CN115760999A (zh) * 2022-11-01 2023-03-07 重庆比特数图科技有限公司 一种基于gis辅助的单目相机校准和目标地理位置提取方法
CN115540876A (zh) * 2022-11-28 2022-12-30 济南和普威视光电技术有限公司 一种结合离线dem和光电视频数据的目标定位方法
CN117237438A (zh) * 2023-09-18 2023-12-15 共享数据(福建)科技有限公司 一种三维模型和无人机视频数据的范围匹配方法与终端

Similar Documents

Publication Publication Date Title
CN107247458A (zh) 无人机视频图像目标定位系统、定位方法及云台控制方法
CN103822635B (zh) 基于视觉信息的无人机飞行中空间位置实时计算方法
CN105698762B (zh) 一种单机航迹上基于不同时刻观测点的目标快速定位方法
WO2020221284A1 (zh) 一种流域性洪涝场景的无人机监测方法及系统
CN103852077B (zh) 链路失效时无人机定位信息防欺骗自主判断方法
CN109911188A (zh) 非卫星导航定位环境的桥梁检测无人机系统
CN107367262A (zh) 一种无人机远距离实时定位测绘显示互联式控制方法
CN109212545A (zh) 基于主动视觉的多信源目标跟踪测量系统及跟踪方法
CN106444837A (zh) 一种无人机避障方法及系统
CN106155081B (zh) 一种旋翼无人机大范围目标监测和精确定位方法
CN106373159A (zh) 一种简化的无人机多目标定位方法
CN109739254A (zh) 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN105243364B (zh) 光电吊舱搜索方法、装置以及系统
CN105446351A (zh) 一种能够锁定目标区域瞭望基于自主导航的无人飞艇系统
CN109597432B (zh) 一种基于车载摄像机组的无人机起降监控方法及系统
CN110706273B (zh) 一种基于无人机的实时塌方区域面积的测量方法
CN110503687A (zh) 一种空中光电测量平台目标定位方法
CN106210675A (zh) 一种输电线路山火监测方法、装置和系统
CN107167140A (zh) 一种无人机视觉定位累积误差抑制方法
CN113409400A (zh) 一种基于自动跟踪的机载光电系统目标地理定位方法
CN115876197A (zh) 一种系留升空光电成像目标定位方法
CN109764864B (zh) 一种基于颜色识别的室内无人机位姿获取方法及系统
Xiao-Hong et al. UAV's automatic landing in all weather based on the cooperative object and computer vision
CN108924494B (zh) 基于地面的空中监测系统
CN115493598B (zh) 运动过程中的目标定位方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171013

RJ01 Rejection of invention patent application after publication