CN115690612A - 一种无人机光电图像目标搜索量化指示方法、设备及介质 - Google Patents

一种无人机光电图像目标搜索量化指示方法、设备及介质 Download PDF

Info

Publication number
CN115690612A
CN115690612A CN202211190863.0A CN202211190863A CN115690612A CN 115690612 A CN115690612 A CN 115690612A CN 202211190863 A CN202211190863 A CN 202211190863A CN 115690612 A CN115690612 A CN 115690612A
Authority
CN
China
Prior art keywords
target
angle
photoelectric
camera
photoelectric pod
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211190863.0A
Other languages
English (en)
Inventor
熊召龙
葛雨辰
王立功
张敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 10 Research Institute
Original Assignee
CETC 10 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 10 Research Institute filed Critical CETC 10 Research Institute
Priority to CN202211190863.0A priority Critical patent/CN115690612A/zh
Publication of CN115690612A publication Critical patent/CN115690612A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种无人机光电图像目标搜索量化指示方法、设备及介质，属于目标指示领域，包括步骤：无人机光电吊舱摄像机绝对参数计算；光电吊舱摄像机视场角计算；指示目标相对位姿计算；目标指示引导可视化设计；指示目标动态可视化绘制。本发明为无人机操作人员提供包括导航坐标系下的摄像机位置、姿态、覆盖范围，摄像机的视场角、焦距，摄像机坐标系下的目标位置、方位，目标相对光轴落地点的方位、距离在内的目标搜索、指示及引导信息，辅助无人机操作人员高效完成指示目标锁定，具备多维度信息指示、高精度量化引导、自然友好可视化方式的优点。

Description

一种无人机光电图像目标搜索量化指示方法、设备及介质
技术领域
本发明涉及目标指示技术领域，更为具体的，涉及一种无人机光电图像目标搜索量化指示方法、设备及介质。
背景技术
目标指示技术是对通过不同手段获取的目标信息，经过映射计算，建立目标与本平台载荷坐标之间的相对关系的过程。目标指示技术的基本方法是方位距离法，该方法针对平台雷达等传感器的探测目标、人工装订目标或外部指定目标，利用不同目标相对平台载荷的方位和距离进行目标指示。随着目标信息探测越来越复杂，干扰因素越来越多，方位距离法无法支撑高精度的目标指示需求，因此，纯方位目标指示法在目标的末端引导等领域被提出并应用。纯方位目标指示法需要建立目标指示区域的数学模型和纯方位目标搜索引导模型。在目标指示区域的数学模型中，一般采用平台机动过程中对监视区域目标进行多方位测向，进行无源多交叉定位。假设平台运动过程中获取了不同时刻的测量目标方位，利用该组方位，组成一组测向向量，利用该测向向量进而求得该目标相对该平台载荷的相对方位。在纯方位目标搜索引导模型中，以平台载荷的工作时段内的地理坐标为原点，平台载荷坐标系为坐标，建立指示目标在该坐标系下的搜索引导路线，以供平台对该目标进一步的捕获和锁定。
光电图像目标指示技术是目标指示技术的一种特殊形成，是对不同手段获取目标坐标，映射到光电载荷坐标系的一种指示方式，进而为操作用户提供当前指定目标相对该光电载荷方位差异、距离、抵近方向等即时的提示信息。目前光电图像目标指示技术主要依靠二维或三维的态势地图，将平台、载荷和指示目标的地理分布分别进行绘制，操作员通过理解态势地图上的各种分布和运动趋势，进而制定进一步的操作行为。这种光电图像目标指示技术只能指出目标与地理坐标系、载荷与平台、平台与地理坐标系之间的相对关系，无法简明地提供当前目标与光电载荷或光电图像的直接关系，因此指示信息的维度有限，引导精度不高，理解难度较高。这些问题，是本领域技术人员广泛关注的热点问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种无人机光电图像目标搜索量化指示方法、设备及介质，具备多维度信息指示、高精度量化引导、自然友好可视化方式的优点，能够辅助无人机操作人员高效完成指示目标锁定。
本发明的目的是通过以下方案实现的：
一种无人机光电图像目标搜索量化指示方法，包括以下步骤：
S1，利用无人机光电吊舱摄像机绝对参数计算，获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息；
S2，利用光电吊舱摄像机视场角计算，通过成像内参数和光电吊舱摄像机视场角计算获取该光电吊舱在该时刻的视角角度和等效焦距；
S3，指示目标相对位姿计算，获取指示目标相对光电吊舱摄像机坐标系的指示信息；
S4，通过目标指示引导可视化设计，便于操作员理解和认知的目标指示引导可视化要素，并通过可视化的方式进行展示；
S5，进行指示目标动态可视化绘制，将在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。
进一步地，在步骤S1中，所述位置信息包括光电吊舱摄像机在地理坐标系下的经度、纬度和高度；所述姿态信息包括光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED；所述覆盖范围信息包括光电吊舱摄像机图像在地面投影的四边形区域SEO。
进一步地，在步骤S2中，所述成像内参数包括光电吊舱摄像机的焦距和像元尺寸信息；所述视角角度包括横向视场角度Vx和纵向视场角度Vy。
进一步地，进一步地，在步骤S3中，所述指示目标相对光电吊舱摄像机坐标系的指示信息，包括该目标在光电吊舱摄像机坐标系的方位角Yt、俯仰角Pt和斜距Dt；其中，目标在光电吊舱摄像机坐标系的方位角Yt和俯仰角Pt，通过指示目标和光电吊舱摄像机的地理坐标组合而成的矢量得到，斜距Dt由该矢量的模确定。
进一步地，在步骤S4中，所述目标指示引导可视化设计，具体对指示目标相对光电吊舱摄像机坐标系的方位角、俯仰角、斜距、摄像机的视场角和焦距进行可视化设计。
进一步地，在步骤S5中，所述指示目标动态可视化绘制，具体包括对目标指示引导可视化要素的绘制，并通过对无人机操作人员的可视化界面即时反馈和量化数值反馈，辅助无人机操作员制定下一步精确操控指令。
进一步地，所述位置信息通过无人机平台的经度Lonp、纬度Latp和高度Altp，叠加光电吊舱摄像机的安装位置D计算得到；
所述姿态信息通过将光电吊舱摄像机相对无人机平台的偏航角YEO、俯仰角PEO和横滚角REO，以及无人机平台在地理坐标系下的偏航角YP、俯仰角PP和横滚角RP映射到地心地固ECEF坐标系下，再通过旋转角度到旋转矩阵的变换和旋转矩阵的传递关系，计算得到ECEF坐标系下的光电吊舱摄像机姿态信息，进而借助地理坐标转换，求得光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED；
所述覆盖范围信息通过计算获取得到的光电吊舱摄像机位置信息和姿态信息，通过光电成像原理，组建共线方程，利用最优化原理计算获取得到光电吊舱摄像机图像在地面投影的四边形区域SEO。
进一步地，所述目标指示引导可视化要素包括光电吊舱摄像机的等效焦距f、视场横向角度Vx、视场纵向角度Vy，光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED，光电吊舱摄像机图像在地面投影的四边形区域SEO，多个指示目标的地理坐标，多个目标在光电吊舱摄像机坐标系的方位角Yt、俯仰角Pt和斜距Dt，多个目标与光电吊舱摄像机的地距Dp，以及指示目标落入光电吊舱摄像机视野后的提示信息。
一种无人机光电图像目标搜索量化指示设备，包括
无人机光电吊舱摄像机绝对参数计算模块，获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息；
光电吊舱摄像机视场角计算模块，通过成像内参数和光电吊舱摄像机视场角计算获取该光电吊舱在该时刻的视角角度和等效焦距；
指示目标相对位姿计算模块，获取指示目标相对光电吊舱摄像机坐标系的指示信息；
目标指示引导可视化设计模块，通过该模块便于操作员理解和认知的目标指示引导可视化要素，并通过可视化的方式进行展示；
指示目标动态可视化绘制模块，将在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。
一种可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如上任一项所述的方法。
本发明的有益效果包括：
本发明技术方案解决了已有目标指示方法指示信息单一、目标指示精度不高、指示界面可视化方式不直观的技术问题。
本发明技术方案指示信息维度多，不仅提供了目标在地理坐标系下的绝对地理位置，同时提供了多个目标在光电吊舱摄像机坐标系的方位角、俯仰角、斜距、多个目标与光电吊舱摄像机的地距。另外，本发明技术方案也将光电吊舱摄像机在地理坐标系下的偏航角、俯仰角、横滚角，以及光电吊舱摄像机图像在地面投影的四边形区域进行可视化渲染显示，配合光电吊舱摄像机的等效焦距、横向视场角度、纵向视场角度，为无人机操作人员提供多维度的及时反馈可视化引导指示界面。
本发明技术方案操作引导高精度量化，基于计算机视觉和光学成像模型，将多个指示目标分别在地理坐标系、导航坐标系、光电吊舱摄像机坐标系、图像坐标系下分别进行投影，充分利用了多个指示目标在不同维度的区分度，进而保障指示信息的高灵敏度和高精度。
本发明技术方案指示要素可视化自然友好，不仅为无人机操作人员提供多维度、高精度的目标引导指示量化数值，同时还提供了目标动态可视化绘制，可视化信息区分度高，具备明确的物理意义，指示要素可视化效果自然友好，易于学习和理解。
本发明技术方案适用于动态复杂场景、多目标的航空观测、目标搜索定位、光电成像引导以及目标确认等场景。
本发明技术方案中，利用无人机光电吊舱摄像机绝对参数计算，实现地理导航坐标系下的光电吊舱摄像机相对位姿和覆盖范围计算；利用光电吊舱摄像机视场角计算，计算获取光电吊舱在该时刻的横向视场角度、纵向视场角度和等效焦距；利用指示目标相对位姿计算，获取指示目标相对光电吊舱摄像机坐标系的指示信息；目标指示引导可视化设计，便于操作员理解和认知的目标指示引导要素；利用指示目标动态可视化绘制，完成对目标指示引导可视化要素的绘制。本发明技术方案能够为无人机操作人员提供包括导航坐标系下的摄像机位置、姿态、覆盖范围，摄像机的视场角、焦距，摄像机坐标系下的目标位置、方位，目标相对光轴落地点的方位、距离在内的目标搜索、指示及引导信息，辅助无人机操作人员高效完成指示目标锁定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例无人机光电图像目标搜索量化指示场景示意图；
图2为本发明实施例无人机光电图像目标搜索量化指示方法流程图；
图3为本发明实施例目标指示窗口要素示意图；
图中，1-三维场景，2-无人机平台，3-光电吊舱摄像机，4-光电吊舱摄像机视场范围，5-光轴落地点，6-指示目标I，7-指示目标II，8-指示目标III，9-光电吊舱摄像机在地理坐标系下的偏航角刻度，10-光电吊舱摄像机在地理坐标系下的俯仰角刻度，11-光电吊舱摄像机横向视场角度，12-光电吊舱摄像机纵向视场角度，13-指示目标I可视化标识，14-指示目标II可视化标识，15-指示目标III可视化标识。
具体实施方式
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
鉴于背景技术中的问题，本发明的发明人进一步思考分析后，认识到如下技术问题：目前本领域技术人员对光电图像的目标指示引导主要通过在二维态势地图上标绘目标与无人机及光电吊舱摄像机的相对方位进行操作行为引导和反馈，也即操作人员需要通过理解二维态势地图上的标绘信息，制定自己的即时性操作行为。这种指示引导信息相对单一，反馈信息需要操作人员进一步分析判读，在多目标动态场景下，该方式无法高效准确地为提供指示目标与当前光电吊舱之间的直接关系，进而影响目标搜索、侦察、打击及确认的效率。因此，本发明构思设计一种高效的无人机光电目标指示引导方法，并对其引导和指示信息进行量化和可视化，辅助无人机操作人员高效完成指示目标锁定。
本发明所提方法可以由无人机、无人机光电吊舱摄像机、三维场景、指示目标共同组成的场景进行说明，如图1所示，包括三维场景1、无人机平台、光电吊舱摄像机3、光电吊舱摄像机视场范围4、光轴落地点5、指示目标I 6、指示目标II 7、指示目标III8(需要说明，本发明技术方案不限于此场景，类似的，在航空观测、目标搜索定位、光电成像引导以及目标确认等领域都有广泛应用的目标指示技术领域，也可进行应用)。无人机利用光电吊舱摄像机对地进行成像观测，其中，三个目标超出光轴落地点和观测视场，无人机操作人员观察到的为光电吊舱摄像机视频图像数据，如何为无人机操作员提供引导指示信息，使得其高效快速地定位到需要观测的目标，是本发明技术方案解决的问题场景。
本发明技术方案为无人机光电图像目标的搜索提供导航坐标系下的摄像机位置、姿态、覆盖范围，摄像机的视场角、焦距，摄像机坐标系下的目标位置、方位，目标相对光轴落地点的方位、距离等信息。
在进一步的发明构思中，本发明提供一种无人机光电图像目标搜索量化指示方法，如图2所示，首先，利用由无人机平台的地理位置参数和无人机平台的姿态参数，配合光电吊舱摄像机相对无人机平台的相对姿态，通过无人机光电吊舱摄像机绝对参数计算模块，计算获取光电吊舱摄像机在地理坐标系下的偏航角、俯仰角和横滚角，计算获取光电吊舱摄像机在地理坐标系下的经度、纬度和高度，并计算获取该时刻光电吊舱摄像机图像覆盖的地理范围坐标。然后，利用光电吊舱摄像机的焦距和像元尺寸信息，通过光电吊舱摄像机视场角计算模块，计算获取该光电吊舱在该时刻的视角角度和等效焦距。再然后，利用指示目标相对位姿计算模块，计算得到指示目标相对光电吊舱摄像机坐标系的偏航角、俯仰角和斜距。目标指示引导可视化设计模块对指示目标相对光电吊舱摄像机坐标系的方位角、俯仰角、斜距、摄像机的视场角和焦距进行可视化设计，最终在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。
在进一步的发明构思中，所述无人机光电吊舱摄像机绝对参数计算模块，目的是计算获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息。其中，位置信息包括光电吊舱摄像机在地理坐标系下的经度、纬度和高度，姿态信息包括光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED，覆盖范围信息包括光电吊舱摄像机图像在地面投影的四边形区域SEO。位置信息通过无人机平台的经度Lonp、纬度Latp和高度Altp，叠加光电吊舱摄像机的安装位置D计算得到。姿态信息通过将光电吊舱摄像机相对无人机平台的偏航角YEO、俯仰角PEO和横滚角REO，以及无人机平台在地理坐标系下的偏航角YP、俯仰角PP和横滚角RP映射到地心地固ECEF坐标系下，通过旋转角度到旋转矩阵的变换和旋转矩阵的传递关系，计算得到ECEF坐标系下的光电吊舱摄像机姿态信息，进而借助地理坐标转换，求得光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED。覆盖范围信息是通过计算获取得到的光电吊舱摄像机位置信息和姿态信息，通过光电成像原理，组建共线方程，利用最优化原理计算获取得到光电吊舱摄像机图像在地面投影的四边形区域SEO。
在进一步的发明构思中，所述光电吊舱摄像机视场角计算模块，利用光电吊舱摄像机的放大倍率、像元尺寸Spix等成像内参数和光学成像模型，计算获取该光电吊舱在该时刻的横向视场角度Vx和纵向视场角度Vy和等效焦距f。
在进一步的发明构思中，所述指示目标相对位姿计算模块，目的是计算获取指示目标相对光电吊舱摄像机坐标系的指示信息，该指示信息包括该目标在光电吊舱摄像机坐标系的方位角Yt、俯仰角Pt和斜距Dt。其中，目标在光电吊舱摄像机坐标系的方位角Yt和俯仰角Pt，通过指示目标和光电吊舱摄像机的地理坐标组合而成的矢量得到，斜距Dt由该矢量的模确定。
在进一步的发明构思中，所述目标指示引导可视化设计模块，目的是设计便于操作员理解和认知的目标指示引导要素，并通过可视化的方式进行展示。如附图3所示，包括，光电吊舱摄像机在地理坐标系下的偏航角刻度9、光电吊舱摄像机在地理坐标系下的俯仰角刻度10、光电吊舱摄像机横向视场角度11、光电吊舱摄像机纵向视场角度12、指示目标I可视化标识13、指示目标II可视化标识14和指示目标III可视化标识15。本发明中，目标指示引导可视化要素包括光电吊舱摄像机的等效焦距f、视场横向角度Vx、视场纵向角度Vy，光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED，光电吊舱摄像机图像在地面投影的四边形区域SEO，多个指示目标的地理坐标，多个目标在光电吊舱摄像机坐标系的方位角Yt、俯仰角Pt和斜距Dt，多个目标与光电吊舱摄像机的地距Dp，以及指示目标落入光电吊舱摄像机视野后的提示信息。
在进一步的发明构思中，所述指示目标动态可视化绘制模块，主要完成对目标指示引导可视化要素的绘制，通过对无人机操作人员的可视化界面即时反馈和量化数值反馈，辅助无人机操作员制定下一步精确操控指令。
在具体实现过程中，本发明实施例技术方案，包括如下步骤：无人机光电吊舱摄像机绝对参数计算步骤、光电吊舱摄像机视场角计算步骤、指示目标相对位姿计算步骤、目标指示引导可视化设计步骤以及指示目标动态可视化绘制步骤五个步骤。在无人机光电吊舱摄像机绝对参数计算步骤中，主要包括如下子步骤：
首先，计算获取光电吊舱摄像机在地理坐标系下的位置信息。位置信息通过无人机平台的经度Lonp、纬度Latp和高度Altp，叠加光电吊舱摄像机的安装位置D计算得到，在标校好的无人机平台下，安装位置D可视为与无人机平台的经度Lonp、纬度Latp和高度Altp重合。
然后，计算光电吊舱摄像机在地理坐标系下的姿态信息。姿态信息包括光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED，姿态信息通过将光电吊舱摄像机相对无人机平台的偏航角YEO、俯仰角PEO和横滚角REO，以及无人机平台在地理坐标系下的偏航角YP、俯仰角PP和横滚角RP映射到地心地固ECEF坐标系下，通过旋转角度到旋转矩阵的变换和旋转矩阵的传递关系，计算得到ECEF坐标系下的光电吊舱摄像机姿态信息，进而借助地理坐标转换，求得光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED。
Figure BDA0003869316010000111
Figure BDA0003869316010000112
Figure BDA0003869316010000113
其中
Figure BDA0003869316010000114
和
Figure BDA0003869316010000115
分别是光电吊舱摄像机在地理坐标系下的旋转矩阵RNED2CAM中的元素，RNED2CAM元素组成关系为：
Figure BDA0003869316010000116
光电吊舱摄像机在地理坐标系下的旋转矩阵RNED2CAM由光电吊舱摄像机相对无人机平台的偏航角YEO、俯仰角PEO和横滚角REO，以及无人机平台在地理坐标系下的偏航角YP、俯仰角PP和横滚角RP计算得到。在该计算过程，计算光电吊舱摄像机相对无人机平台的偏航角YEO对应的旋转矩阵
Figure BDA0003869316010000117
俯仰角PEO对应的旋转矩阵
Figure BDA0003869316010000118
和横滚角REO对应的旋转矩阵
Figure BDA0003869316010000119
其中，
Figure BDA00038693160100001110
Figure BDA0003869316010000121
Figure BDA0003869316010000122
在该计算过程，计算无人机平台在地理坐标系下的偏航角YP对应的旋转矩阵
Figure BDA0003869316010000123
俯仰角PP对应的旋转矩阵
Figure BDA0003869316010000124
和横滚角RP对应的旋转矩阵
Figure BDA0003869316010000125
其中，
Figure BDA0003869316010000126
Figure BDA0003869316010000127
Figure BDA0003869316010000128
在该计算过程，光电吊舱摄像机在地理坐标系下的旋转矩阵RNED2CAM的具体计算过程为：
Figure BDA0003869316010000129
其中，INV表示矩阵求逆运算符号。
最后计算光电吊舱摄像机在地理坐标系下的覆盖范围信息。覆盖范围信息是通过计算获取得到的光电吊舱摄像机位置信息和姿态信息，通过光电成像原理，组建共线方程，利用最优化原理计算获取得到光电吊舱摄像机图像在地面投影的四边形区域SEO。其中，四边形区域SEO由光电吊舱摄像机图像四个顶点在地面投影的四个地理坐标依次连接组成。地面投影四个地理坐标由光电成像共线方程组成的直接定位关系解算得到。
所述光电吊舱摄像机视场角计算步骤，利用光电吊舱摄像机的放大倍率、像元尺寸Spix等成像内参数和光学成像模型，计算获取该光电吊舱在该时刻的横向视场角度Vx和纵向视场角度Vy和等效焦距f。其中，视角横向角度Vx为：
Figure BDA0003869316010000131
其中，Wimg为光电吊舱摄像机图像横向分辨率。
纵向视场角度Vy为：
Figure BDA0003869316010000132
其中，Himg为光电吊舱摄像机图像纵向分辨率。
所述指示目标相对位姿计算步骤，计算获取指示目标相对光电吊舱摄像机坐标系的指示信息，该指示信息包括该目标在光电吊舱摄像机坐标系的方位角Yt、俯仰角Pt和斜距Dt。其中，目标在光电吊舱摄像机坐标系的方位角Yt和俯仰角Pt，通过指示目标和光电吊舱摄像机的地理坐标组合而成的矢量得到，斜距Dt由该矢量的模确定。其中，目标在光电吊舱摄像机坐标系的方位角Yt为：
Yt＝arctan((Lont-Lonp)*cos(Latp),(Latt-Latp)) (14)
Figure BDA0003869316010000141
其中，(Lonp,Latp,Altp)为无人机平台的地理坐标，由无人机平台的经度Lonp、纬度Latp和高度Altp组成，(Lont,Latt,Altt)指示目标的地理坐标，由指示目标的经度Lont、纬度Latt和高度Altt组成，dist(A,B)为计算A和B两点的地距函数。
所述目标指示引导可视化设计步骤，目的是设计便于操作员理解和认知的目标指示引导要素，并通过可视化的方式进行展示。本实施例中，目标指示引导可视化要素包括光电吊舱摄像机的等效焦距f、视场横向角度Vx、视场纵向角度Vy，光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED，光电吊舱摄像机图像在地面投影的四边形区域SEO，多个指示目标的地理坐标，多个目标在光电吊舱摄像机坐标系的方位角Yt、俯仰角Pt和斜距Dt，多个目标与光电吊舱摄像机的地距Dp，以及指示目标落入光电吊舱摄像机视野后的提示信息。在本实施例中，除了给出目标指示信息的量化数值外，还给出了对应数值的可视化展示方式。
所述指示目标动态可视化绘制步骤，在本实施例中，主要完成对目标指示引导可视化要素的绘制，通过对无人机操作人员的可视化界面即时反馈和量化数值反馈，辅助无人机操作员制定下一步精确操控指令。
需要说明的是，在本发明权利要求书中所限定的保护范围内，以下实施例均可以从上述具体实施方式中，例如公开的技术原理，公开的技术特征或隐含公开的技术特征等，以合乎逻辑的任何方式进行组合和/或扩展、替换。
实施例1
一种无人机光电图像目标搜索量化指示方法，包括以下步骤：
S1，利用无人机光电吊舱摄像机绝对参数计算，获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息；
S2，利用光电吊舱摄像机视场角计算，通过成像内参数和光电吊舱摄像机视场角计算获取该光电吊舱在该时刻的视角角度和等效焦距；
S3，指示目标相对位姿计算，获取指示目标相对光电吊舱摄像机坐标系的指示信息；
S4，通过目标指示引导可视化设计，便于操作员理解和认知的目标指示引导可视化要素，并通过可视化的方式进行展示；
S5，进行指示目标动态可视化绘制，将在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。
实施例2
在实施例1的基础上，在步骤S1中，所述位置信息包括光电吊舱摄像机在地理坐标系下的经度、纬度和高度；所述姿态信息包括光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED；所述覆盖范围信息包括光电吊舱摄像机图像在地面投影的四边形区域SEO。
实施例3
在实施例1的基础上，在步骤S2中，所述成像内参数包括光电吊舱摄像机的焦距和像元尺寸信息；所述视角角度包括横向视场角度Vx和纵向视场角度Vy。
实施例4
在实施例1的基础上，在步骤S3中，所述指示目标相对光电吊舱摄像机坐标系的指示信息，包括该目标在光电吊舱摄像机坐标系的方位角Yt、俯仰角Pt和斜距Dt；其中，目标在光电吊舱摄像机坐标系的方位角Yt和俯仰角Pt，通过指示目标和光电吊舱摄像机的地理坐标组合而成的矢量得到，斜距Dt由该矢量的模确定。
实施例5
在实施例1的基础上，在步骤S4中，所述目标指示引导可视化设计，具体对指示目标相对光电吊舱摄像机坐标系的方位角、俯仰角、斜距、摄像机的视场角和焦距进行可视化设计。
实施例6
在实施例1的基础上，在步骤S5中，所述指示目标动态可视化绘制，具体包括对目标指示引导可视化要素的绘制，并通过对无人机操作人员的可视化界面即时反馈和量化数值反馈，辅助无人机操作员制定下一步精确操控指令。
实施例7
在实施例2的基础上，所述位置信息通过无人机平台的经度Lonp、纬度Latp和高度Altp，叠加光电吊舱摄像机的安装位置D计算得到；
所述姿态信息通过将光电吊舱摄像机相对无人机平台的偏航角YEO、俯仰角PEO和横滚角REO，以及无人机平台在地理坐标系下的偏航角YP、俯仰角PP和横滚角RP映射到地心地固ECEF坐标系下，再通过旋转角度到旋转矩阵的变换和旋转矩阵的传递关系，计算得到ECEF坐标系下的光电吊舱摄像机姿态信息，进而借助地理坐标转换，求得光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED；
所述覆盖范围信息通过计算获取得到的光电吊舱摄像机位置信息和姿态信息，通过光电成像原理，组建共线方程，利用最优化原理计算获取得到光电吊舱摄像机图像在地面投影的四边形区域SEO。
实施例8
在实施例5的基础上，所述目标指示引导可视化要素包括光电吊舱摄像机的等效焦距f、视场横向角度Vx、视场纵向角度Vy，光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED，光电吊舱摄像机图像在地面投影的四边形区域SEO，多个指示目标的地理坐标，多个目标在光电吊舱摄像机坐标系的方位角Yt、俯仰角Pt和斜距Dt，多个目标与光电吊舱摄像机的地距Dp，以及指示目标落入光电吊舱摄像机视野后的提示信息。
实施例9
一种无人机光电图像目标搜索量化指示设备，包括
无人机光电吊舱摄像机绝对参数计算模块，获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息；
光电吊舱摄像机视场角计算模块，通过成像内参数和光电吊舱摄像机视场角计算获取该光电吊舱在该时刻的视角角度和等效焦距；
指示目标相对位姿计算模块，获取指示目标相对光电吊舱摄像机坐标系的指示信息；
目标指示引导可视化设计模块，通过该模块便于操作员理解和认知的目标指示引导可视化要素，并通过可视化的方式进行展示；
指示目标动态可视化绘制模块，将在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。
实施例10
一种可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如实施例1～实施例8任一项所述的方法。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
根据本发明的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种无人机光电图像目标搜索量化指示方法，其特征在于，包括以下步骤：
S1，利用无人机光电吊舱摄像机绝对参数计算，获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息；
S2，利用光电吊舱摄像机视场角计算，通过成像内参数和光电吊舱摄像机视场角计算获取该光电吊舱在该时刻的视角角度和等效焦距；
S3，指示目标相对位姿计算，获取指示目标相对光电吊舱摄像机坐标系的指示信息；
S4，通过目标指示引导可视化设计，便于操作员理解和认知的目标指示引导可视化要素，并通过可视化的方式进行展示；
S5，进行指示目标动态可视化绘制，将在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。
2.根据权利要求1所述的无人机光电图像目标搜索量化指示方法，其特征在于，在步骤S1中，所述位置信息包括光电吊舱摄像机在地理坐标系下的经度、纬度和高度；所述姿态信息包括光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED；所述覆盖范围信息包括光电吊舱摄像机图像在地面投影的四边形区域SEO。
3.根据权利要求1所述的无人机光电图像目标搜索量化指示方法，其特征在于，在步骤S2中，所述成像内参数包括光电吊舱摄像机的焦距和像元尺寸信息；所述视角角度包括横向视场角度Vx和纵向视场角度Vy。
4.根据权利要求1所述的无人机光电图像目标搜索量化指示方法，其特征在于，在步骤S3中，所述指示目标相对光电吊舱摄像机坐标系的指示信息，包括该目标在光电吊舱摄像机坐标系的方位角Yt、俯仰角Pt和斜距Dt；其中，目标在光电吊舱摄像机坐标系的方位角Yt和俯仰角Pt，通过指示目标和光电吊舱摄像机的地理坐标组合而成的矢量得到，斜距Dt由该矢量的模确定。
5.根据权利要求1所述的无人机光电图像目标搜索量化指示方法，其特征在于，在步骤S4中，所述目标指示引导可视化设计，具体对指示目标相对光电吊舱摄像机坐标系的方位角、俯仰角、斜距、摄像机的视场角和焦距进行可视化设计。
6.根据权利要求1所述的无人机光电图像目标搜索量化指示方法，其特征在于，在步骤S5中，所述指示目标动态可视化绘制，具体包括对目标指示引导可视化要素的绘制，并通过对无人机操作人员的可视化界面即时反馈和量化数值反馈，辅助无人机操作员制定下一步精确操控指令。
7.根据权利要求2所述的无人机光电图像目标搜索量化指示方法，其特征在于，
所述位置信息通过无人机平台的经度Lonp、纬度Latp和高度Altp，叠加光电吊舱摄像机的安装位置D计算得到；
所述姿态信息通过将光电吊舱摄像机相对无人机平台的偏航角YEO、俯仰角PEO和横滚角REO，以及无人机平台在地理坐标系下的偏航角YP、俯仰角PP和横滚角RP映射到地心地固ECEF坐标系下，再通过旋转角度到旋转矩阵的变换和旋转矩阵的传递关系，计算得到ECEF坐标系下的光电吊舱摄像机姿态信息，进而借助地理坐标转换，求得光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED；
所述覆盖范围信息通过计算获取得到的光电吊舱摄像机位置信息和姿态信息，通过光电成像原理，组建共线方程，利用最优化原理计算获取得到光电吊舱摄像机图像在地面投影的四边形区域SEO。
8.根据权利要求5所述的无人机光电图像目标搜索量化指示方法，其特征在于，所述目标指示引导可视化要素包括光电吊舱摄像机的等效焦距f、视场横向角度Vx、视场纵向角度Vy，光电吊舱摄像机在地理坐标系下的偏航角YNED、俯仰角PNED、横滚角RNED，光电吊舱摄像机图像在地面投影的四边形区域SEO，多个指示目标的地理坐标，多个目标在光电吊舱摄像机坐标系的方位角Yt、俯仰角Pt和斜距Dt，多个目标与光电吊舱摄像机的地距Dp，以及指示目标落入光电吊舱摄像机视野后的提示信息。
9.一种无人机光电图像目标搜索量化指示设备，其特征在于，包括
无人机光电吊舱摄像机绝对参数计算模块，获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息；
光电吊舱摄像机视场角计算模块，通过成像内参数和光电吊舱摄像机视场角计算获取该光电吊舱在该时刻的视角角度和等效焦距；
指示目标相对位姿计算模块，获取指示目标相对光电吊舱摄像机坐标系的指示信息；
目标指示引导可视化设计模块，通过该模块便于操作员理解和认知的目标指示引导可视化要素，并通过可视化的方式进行展示；
指示目标动态可视化绘制模块，将在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。
10.一种可读存储介质，其特征在于，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如权利要求1～8任一项所述的方法。
CN202211190863.0A 2022-09-28 2022-09-28 一种无人机光电图像目标搜索量化指示方法、设备及介质 Pending CN115690612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211190863.0A CN115690612A (zh) 2022-09-28 2022-09-28 一种无人机光电图像目标搜索量化指示方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211190863.0A CN115690612A (zh) 2022-09-28 2022-09-28 一种无人机光电图像目标搜索量化指示方法、设备及介质

Publications (1)

Publication Number Publication Date
CN115690612A true CN115690612A (zh) 2023-02-03

Family

ID=85063956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211190863.0A Pending CN115690612A (zh) 2022-09-28 2022-09-28 一种无人机光电图像目标搜索量化指示方法、设备及介质

Country Status (1)

Country Link
CN (1) CN115690612A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115993841A (zh) * 2023-03-21 2023-04-21 中国电子科技集团公司第二十八研究所 一种针对无人平台远程遥控的视频增强显示方法
CN116934829A (zh) * 2023-09-15 2023-10-24 天津云圣智能科技有限责任公司 无人机目标深度估计的方法、装置、存储介质及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115993841A (zh) * 2023-03-21 2023-04-21 中国电子科技集团公司第二十八研究所 一种针对无人平台远程遥控的视频增强显示方法
CN116934829A (zh) * 2023-09-15 2023-10-24 天津云圣智能科技有限责任公司 无人机目标深度估计的方法、装置、存储介质及电子设备
CN116934829B (zh) * 2023-09-15 2023-12-12 天津云圣智能科技有限责任公司 无人机目标深度估计的方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN115690612A (zh) 一种无人机光电图像目标搜索量化指示方法、设备及介质
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN102917171B (zh) 基于像素的小目标定位方法
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合系统及方法
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
CN110969663A (zh) 一种相机外部参数的静态标定方法
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
WO2021212477A1 (zh) 校正点云数据的方法和相关装置
CN109900274B (zh) 一种图像匹配方法及系统
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN109978954A (zh) 基于箱体的雷达和相机联合标定的方法和装置
CN110998241A (zh) 用于校准可移动对象的光学系统的系统和方法
CN115861860B (zh) 一种无人机的目标跟踪定位方法和系统
CN113947638A (zh) 鱼眼相机影像正射纠正方法
CN108225273A (zh) 一种基于传感器先验知识的实时跑道检测方法
Zhou et al. Automatic orthorectification and mosaicking of oblique images from a zoom lens aerial camera
CN101793517B (zh) 一种提高机载平台定姿精度的在线快速方法
CN111521157B (zh) 一种飞行器观察区域坐标计算方法及系统
CN116203976A (zh) 变电站室内巡检方法、装置、无人机和存储介质
CN115267756A (zh) 一种基于深度学习目标检测的单目实时测距方法
CN109035335B (zh) 一种基于单目视觉的海底隧道渗水水位识别方法
CN111581322A (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination