CN109636927B - 一种飞行器姿态测量算法训练与鉴定的系统及方法 - Google Patents

一种飞行器姿态测量算法训练与鉴定的系统及方法 Download PDF

Info

Publication number
CN109636927B
CN109636927B CN201811414456.7A CN201811414456A CN109636927B CN 109636927 B CN109636927 B CN 109636927B CN 201811414456 A CN201811414456 A CN 201811414456A CN 109636927 B CN109636927 B CN 109636927B
Authority
CN
China
Prior art keywords
target
image
attitude
measurement
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811414456.7A
Other languages
English (en)
Other versions
CN109636927A (zh
Inventor
高策
余毅
赵立荣
张艳超
杨帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201811414456.7A priority Critical patent/CN109636927B/zh
Publication of CN109636927A publication Critical patent/CN109636927A/zh
Application granted granted Critical
Publication of CN109636927B publication Critical patent/CN109636927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本发明实施例公开了一种基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统及方法。该系统包括用于获取目标姿态测量的观测视角和真实背景信息的光学图像采集设备,以图像的形式用于对目标姿态测量进行仿真和处理的姿态仿真和处理平台,用于输出目标姿态测量值和接收测量误差信息的姿态测量单元。该系统及方法能够提供大量可控的图像训练数据及对测量算法的结果进行评价和鉴定,解决了现有技术中无法对飞行器姿态测量算法进行评价和鉴定的难题。

Description

一种飞行器姿态测量算法训练与鉴定的系统及方法
技术领域
本发明涉及飞行器姿态测量的技术领域,具体涉及一种基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统及方法。
背景技术
三维姿态是反映飞行器飞行状态的重要参数,主要包括偏航角、俯仰角、滚转角。三维姿态不仅是评估飞行器飞行平稳性的重要依据,而且对飞行器故障分析、飞行器气动外形设计的完善、武器性能鉴定以及视觉导航等具有非常重要的应用价值。由于飞行器真实图像数据获取难度大、样本少,很多从事姿态测量领域研究的人员都想到了采用三维仿真的方法为姿态测量提供数据样本,建立模板库。采用这种仿真辅助的方法对提高目标识别和提取能力,改进姿态测量算法等方面效果明显,大幅提高了研制效率。
专利公开号为CN105373011A的文献公开了一种飞机飞行姿态的视觉图像识别方法。该方法包括:采集飞机飞行实时图像或离线单帧/序列图像作为输入图像,根据待测目标轮廓特征建立多特征融合匹配度指标,应用该指标从疑似目标集中识别出待测飞机的轮廓;采用局部预测搜索和模板匹配策略,在仿真模板库中获取与目标飞机轮廓最相似的角度编码模板图像;从匹配到的角度编码图像中解算出当前帧飞机飞行的姿态参数。该方法虽然简单且易于实现,但是存在下来问题:1)没有涉及到观测角度;2)没有利用仿真三维目标的显示角度可控性提供对姿态测量精度验证。公开号为CN105373011的文献公开了一种检测光电跟踪设备的实时仿真系统。在光电跟踪设备研制过程中,对各电控系统进行联合测试,提高研制效率;在接近真实环境下训练,针对各种不同目标进行模拟训练,提高操作手技能;在系统维护阶段,对各电控系统进行性能测试,及时发现问题。
目前,采用机器视觉方法进行目标飞行器的三维姿态测量的应用比较普遍。但是,各类三维姿态测量方法都存在获取样本困难,缺乏足够的目标图像数据支持算法的持续改进;同时缺少目标姿态真值,测量结果精度无法验证的问题。所以目前国内各类姿态测量设备或算法测量结果可信度都不高,对同一目标的测量结果也千差万别,没有统一的精度鉴定结果。国内一些姿态测量方法中也会涉及到采用立体仿真目标进行辅助验证或模板匹配的实例,但都只是采用虚拟现实技术,没有真实背景图像,无法仿真飞行目标时光照差别、云层遮档等背景对姿态提取的影响。
针对现有技术中对飞行器姿态测量算法无法进行验证或训练与鉴定的问题,急需一种能够提供大量可控的图像训练数据及对测量算法的结果进行评价和鉴定的基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统及方法。
发明内容
针对现有技术中对飞行器姿态测量算法无法进行验证或训练与鉴定的问题,本发明实施例提供一种能够提供大量可控的图像训练数据及对测量算法的结果进行评价和鉴定的基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统。本发明实施例提供的基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统叠加了真实背景,从而能够模拟出真实背景对待测目标图像处理结果的影响,并且能够为目标姿态测量算法提供改进的数据及评价鉴定。
该基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统的具体方案如下:一种基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统,包括:光学图像采集设备,用于获取目标姿态测量的观测视角和真实背景信息;姿态仿真和处理平台,以图像的形式用于对目标姿态测量进行仿真和处理;姿态测量单元,用于输出目标姿态测量值和接收测量误差信息;所述姿态仿真和处理平台包括:目标模型文件,用于提供目标模型的基本信息;动目标仿真单元,通过载入所述目标模型文件,生成目标模型的三维模型图像;图像采集卡,用于采集所述光学图像采集设备所获取真实背景信息;目标合成单元,在所述真实背景信息上叠加所述三维模型图像,生成合成目标图像和姿态真值信息;图像输出卡,用于将所述目标图像先存储至硬盘后生成事后图像序列,并将所述事后图像序列输出给所述姿态测量单元;测量结果评价单元,用于接收所述姿态真值信息和所述目标姿态测量值,计算姿态测量误差值,并将所述姿态测量误差值传送给所述姿态测量单元和将所述姿态测量误差值记录到硬盘以形成测量结果文件。
优选地,所述光学图像采集设备包括光学镜头及探测器、跟踪架、测角单元和电控单元。
优选地,所述动目标仿真单元还提供所述三维模型图像的观测视角信息和目标姿态测量的控制接口。
优选地,所述目标模型的基本信息包括目标的顶点位置信息和目标的纹理信息。
优选地,所述目标模型文件的格式包括obj文件格式、3ds文件格式或者max文件格式。
优选地,所述测量结果文件包括原始数据和鉴定结果,所述原始数据包括记录序号、测量值标识号、偏航角测量值序列、俯仰角测量值序列、滚转角测量值序列、真值标识号、偏航角真值序列、俯仰角真值序列和滚转角真值序列;所述鉴定结果包括偏航角测量精度、俯仰角测量精度和滚转角测量精度。
本发明实施例还提供一种基于增强现实技术的飞行器姿态测量算法训练与鉴定的方法。该方法包括步骤S1:采用光学图像采集设备采集真实背景图像,并输出真实背景图像数据及所述光学图像采集设备的角度和位置信息;步骤S2:载入目标模型文件,获取目标顶点位置及纹理信息;步骤S3:根据所载入的目标模型文件生成三维仿真目标图像;步骤S4:在所述真实背景图像上叠加所述三维仿真目标图像,生成合成目标图像和姿态真值信息,并将所述合成目标图像输出;步骤S5:姿态测量单元对所述合成目标图像进行图像预处理、目标检测、基线提取和模板匹配的图像处理措施,获得姿态测量结果;步骤S6:目标结果评价单元根据所述姿态测量结果和所述姿态真值信息,鉴定姿态测量算法的精度;步骤S7:生成测量结果文件、计算目标姿态测量误差值变将所述目标姿态测量误差值反馈给姿态测量单元。
优选地,所述目标姿态测量误差值包括偏航角测量误差、俯仰角测量误差和滚转角测量误差。
优选地,所述步骤S2具体包括:定义顶点属性数据;采用Mesh网络表示一个openGL软件渲染的最小实体;读取目标文件,并将所述目标文件转换成Mesh对象。
优选地,所述步骤S3具体包括:保存现有颜色属性;根据设置的变换参数改变仿真模型位置、大小和旋转角度;遍历所述仿真模型中的所有对象并且绘制三维模型;用姿态角控制变量来提供姿态控制接口。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例所提供的基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统及方法叠加了真实背景,从而能够模拟出真实背景对待测目标图像处理结果的影响,并且能够为目标姿态测量算法提供改进的数据及评价鉴定。本发明实施例所提供的基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统及方法能够支持多种目标模型文件的格式,从而能够仿真各类待测目标。本发明实施例所提供的基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统及方法还提供模型控制接口,通过所述模型控制接口可以改变目标测量姿态,从而提供目标姿态的多样数据样本。
附图说明
图1为本发明实施例中提供的一种基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统的模块示意图;
图2为本发明实施例中提供的一种光学图像采集设备的结构示意图;
图3为本发明实施例中提供的一种姿态仿真和处理平台的模块示意图;
图4为本发明实施例中提供的一种目标模型图像示意图;
图5为本发明实施例将图4所示目标模型图像合成至真实背景图像后的合成目标图像的示意图;
图6为本发明实施例中提供的一种基于增强现实技术的飞行器姿态测量算法训练与鉴定的方法步骤流程示意图;
图7为本发明实施例中提供的将模块结构与步骤流程合成的技术构架流程示意图。
附图中的标记说明:
1000、系统 100、光学图像采集设备 200、姿态仿真和处理平台
300、姿态测量单元 101、光学镜头及探测器 102、跟踪架
103、测角单元 104、电控单元 201、目标模型文件
202、动目标仿真单元 203、目标合成单元 204、测量结果评价单元
205、测量结果文件 206、图像采集卡 207、图像输出卡
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,本发明实施例中提供的一种基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统的模块示意图。本发明实施例中,一种基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统1000包括:用于获取目标姿态测量的观测视角和真实背景信息的光学图像采集设备100,以图像的形式用于对目标姿态测量进行仿真和处理的姿态仿真和处理平台200,用于输出目标姿态测量值和接收测量误差信息的姿态测量单元300。
如图2所示,本发明实施例中提供的一种光学图像采集设备的结构示意图。在该实施例总共,光学图像采集设备100用于获取目标姿态测量的观测视角和真实背景信息。将真实背景信息叠加虚拟目标,可以利用真实背景验证姿态测量算法对目标自动识别的能力,以及验证背景变化对自动识别准确程度的影响。光学图像采集设备100包括光学镜头及探测器101、跟踪架102、测角单元103和电控单元104。由于只需要对背景进行采集,并没有特殊的作用距离要求,光学测量设备对作用距离的要求不高,镜头及探测器101的参数的选取范围非常广。一般可用商用成品镜头搭配普通可见光CCD或CMOS探测器。若需仿真其他波段(如紫外、短波、中波、长波等)情况,可更换对应波段的镜头及探测器,以获取的图像与仿真目标为同一波段图像。在该实施例中,目标姿态测量的观测视角可以通过轴角编码器获取。目标姿态测量的观测视角包括垂线测量坐标系下光轴的方位角和俯仰角。优选地,还可以通过GPS定位系统采集光学图像采集设备100的位置信息,位置信息包括测量点位置的经度、纬度、高度信息。最终,将观测视角信息、位置信息叠加至所述真实背景图像数据中。在其他实施例中,真实背景信息也可以采用背景图像序列的方式代替光学图像采集设备100实时采集真实背景信息。
如图3所示,本发明实施例中提供的一种姿态仿真和处理平台的模块示意图。在该实施例中,姿态仿真和处理平台200包括:用于提供目标模型的基本信息的目标模型文件201,通过载入目标模型文件201而生成目标模型的三维模型图像是动目标仿真单元202,用于采集光学图像采集设备100所获取真实背景信息的图像采集卡206,在所述真实背景信息上叠加所述三维模型图像而生成合成目标图像和姿态真值信息的目标合成单元203,用于将所述目标图像先存储至硬盘后生成事后图像序列并将所述事后图像序列输出给姿态测量单元300的图像输出卡207,以及测量结果评价单元204。测量结果评价单元204用于接收所述姿态真值信息和所述目标姿态测量值,计算姿态测量误差值,并将所述姿态测量误差值传送给姿态测量单元300和将所述姿态测量误差值记录到硬盘以形成测量结果文件205。
在该实施例中,目标模型文件201的基本信息包括目标的顶点位置信息和目标的纹理信息。目标模型文件201可以有多种文件格式,具体的格式包括obj文件格式、3ds文件格式或者max文件格式。目标模型文件201能够支持多种目标模型文件的格式,从而本发明实施例所提供的飞行器姿态测量算法训练与鉴定的系统1000能够仿真各类待测目标。
动目标仿真单元202采用c++语言结合opengl(Open Graphics Library)开放图形库开发,通过载入目标模型文件201而生成目标模型的三维模型图像。优选地,动目标仿真单元202还提供所述三维模型图像的观测视角信息和目标姿态测量的控制接口。如图4所示,本发明实施例中提供的一种目标模型图像示意图。在该实施例中,动目标仿真单元202仿真出如图4所示的三维模型图像。
目标合成单元203使用图像采集卡206获取光学图像采集设备100的真实背景图像数据、并在真实背景图像上叠加动目标仿真单元202生成的模型图像,采用图像输出卡207输出实时图像序列或记录图像信息到硬盘生成事后图像序列,提供给姿态测量单元300。根据光学图像采集设备100的观测角度信息控制模型调整到对应的观测视角,通过姿态参数控制模型的显示姿态,并且可以输出姿态参数的设定值,也就是模型姿态的真值。如图5所示,本发明实施例将图4所示目标模型图像合成至真实背景图像后的合成目标图像的示意图。
测量结果评价单元204接收目标合成单元203的姿态真值信息和目标姿态测量值,计算姿态测量误差值,并将所述姿态测量误差值传送给姿态测量单元300和将所述姿态测量误差值记录到硬盘以形成测量结果文件205。姿态测量单元300根据姿态测量误差值进行姿态测量算法的改进。测量结果文件205包括原始数据和鉴定结果。其中,原始数据包括记录序号、测量值标识号、偏航角测量值序列、俯仰角测量值序列、滚转角测量值序列、真值标识号、偏航角真值序列、俯仰角真值序列和滚转角真值序列;鉴定结果包括偏航角测量精度、俯仰角测量精度和滚转角测量精度。
本发明实施例所提供的基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统叠加了真实背景,从而能够模拟出真实背景对待测目标图像处理结果的影响,并且能够为目标姿态测量算法提供改进的数据及评价鉴定。
本发明实施例所提供的基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统能够支持多种目标模型文件的格式,从而能够仿真各类待测目标。
本发明实施例所提供的基于增强现实技术的飞行器姿态测量算法训练与鉴定的系统还提供模型控制接口,通过所述模型控制接口可以改变目标测量姿态,从而提供目标姿态的多样数据样本。
如图6所示,本发明实施例中提供的一种基于增强现实技术的飞行器姿态测量算法训练与鉴定的方法步骤流程示意图。在该实施例中,基于增强现实技术的飞行器姿态测量算法训练与鉴定的方法可以分为七个步骤,具体每个步骤的内容如下所示。
步骤S1:采用光学图像采集设备采集真实背景图像,并输出真实背景图像数据及所述光学图像采集设备的角度和位置信息。在该实施例中,目标姿态测量的观测视角可以通过轴角编码器获取。目标姿态测量的观测视角包括垂线测量坐标系下光轴的方位角和俯仰角。优选地,还可以通过GPS定位系统采集光学图像采集设备的位置信息,位置信息包括测量点位置的经度、纬度、高度信息。最终,将观测视角信息、位置信息叠加至所述真实背景图像数据中。在其他实施例中,真实背景信息也可以采用背景图像序列的方式代替光学图像采集设备实时采集真实背景信息。
步骤S2:载入目标模型文件,获取目标顶点位置及纹理信息。在该实施例中,支持多种文件格式的目标模型文件。步骤S2载入目标模型文件具体包括:定义顶点属性数据;采用Mesh网络表示一个openGL软件渲染的最小实体;读取目标文件,并将所述目标文件转换成Mesh对象。
以目标文件格式为obj格式为例,阐述载入目标文件的具体实现过程:
a)首先定义顶点属性数据:包括顶点位置、纹理坐标和法向量;
Figure BDA0001879125970000081
b)采用Mesh网格表示一个OpenGL渲染的最小实体,包含顶点属性,纹理对象等信息。其中,最小实体指建模时的最小单元,可以是点,线,面。可以根据需要划分。这里是以一个mesh网格作为最小单元。MESH网格是包含顶点信息,纹理对象的一个数据集合
Figure BDA0001879125970000091
c)读取obj文件,转换为Mesh对象。逐行读取obj文件,加载到Mesh网格的数据结构中。
Figure BDA0001879125970000092
Figure BDA0001879125970000101
按照上述载入文件的步骤,根据不同文件格式规定,还可以载入3ds格式文件、max格式文件等各类三维模型文件。
步骤S3:根据所载入的目标模型文件生成三维仿真目标图像。在该实施例总共,生成三维仿真目标图像的过程具体包括:保存现有颜色属性;根据设置的变换参数改变仿真模型位置、大小和旋转角度;遍历所述仿真模型中的所有对象并且绘制三维模型;用姿态角控制变量来提供姿态控制接口。
以载入上述obj格式文件,生成图5所述仿真目标模型为具体实施例,阐述该生成三维仿真目标图像的过程。
a)保存现有颜色属性
glPushAttrib(GL_CURRENT_BIT);
glPushMatrix();
b)根据设置的变换参数改变模型位置、大小、旋转角度,其中旋转角度可以映射到姿态角度信息。
::glTranslatef(tx,ty,tz);
::glScaled(size,size,size);
glRotatef(90,0,1.0f,0);
c)遍历模型中所有对象,绘制三维模型;
Figure BDA0001879125970000102
Figure BDA0001879125970000111
Figure BDA0001879125970000121
d)提供姿态控制接口,姿态角度控制变量采用4字节精度IEEE 754-1985浮点数。
步骤S4:在所述真实背景图像上叠加所述三维仿真目标图像,生成合成目标图像和姿态真值信息,并将所述合成目标图像输出。结合图6所示,生成真实背景上叠加虚拟目标图像。目标合成单元获得真实背景图像后,根据图像中叠加的方位角、俯仰角和测量点位置信息建立目标模型显示角度与实际姿态的对应关系。目标合成单元按照对应关系,通过接口参数设定改变三维目标图像的姿态信息将图像叠加在真实背景上,合成一幅图像,并将姿态真值信息(偏航角、俯仰角、滚转角)发送给测量结果评价单元,每幅图图像和姿态真值一一对应,由同一个序号定义,用做后续数据对齐处理。
目标合成单元控制仿真数据样本的数量,通过三个姿态参数的设定调整样本图像,从而确保用于算法训练或检测的样本充分。
在该实施例中,姿态信息是根据设定参数和坐标转换得到的目标相对于世界坐标系的绝对姿态信息。首先,进行从飞行器的目标体坐标系到光学测量设备为平台的垂线测量坐标系的转换,再将计算结果到世界坐标系。飞行器的初始姿态定义为:当飞行器的目标体坐标系与垂线测量坐标系完全重合,此时,设飞行器的初始姿态为0度,则飞行器的姿态求解表达式如公式1所示:
Figure BDA0001879125970000122
其中,RM为旋转矩阵,α为偏航角,β为俯仰角,γ为滚转角,r0~r8是旋转角(α,β,γ)的三角函数组合。r0~r8具体如下所示:
r0=cosβcosγ-sinβsinαsinγ,
r1=cosαsinγ,
r2=sinβcosγ+cosβsinαsinγ,
r3=-cosβsinγ-sinβsinαcosγ,
r4=cosαcosγ,
r5=-sinβsinγ+cosβsinαcosγ,
r6=-sinβcosα,
r7=-sinα,
r8=cosβcosα
目标合成单元将三维仿真目标图像发送给待改进或待检测的姿态测量单元,具体发送方式可根据该姿态测量单元接口确定。在该实施例中,姿态测量单元接口支持3G/HD/SD-SDI数字图像接口、Cameral ink数字图像接口,PAL模拟图像接口。
步骤S5:姿态测量单元对所述合成目标图像进行图像预处理、目标检测、基线提取和模板匹配的图像处理措施,获得姿态测量结果。图像预处理将叠加的背景图像格式与模型格式匹配,转化到同一色域空间,比如灰度转RGB,USV转RGB,让背景与叠加的目标融合的更自然。目标检测是通过图像处理的手段提取出叠加的三维目标轮廓信息。基线提取根据目标检测的轮廓信息进一步提取目标的基线,为姿态的测量提供基线数据。模板匹配是通过提取的轮廓信息与模板库中的特征信息做比对,确定目标当前的姿态信息。
步骤S6:目标结果评价单元根据所述姿态测量结果和所述姿态真值信息,鉴定姿态测量算法的精度。由于姿态测量值、姿态真值由两个不同的系统发送,处理延迟及发送延迟都不同,因此,首先根据目标合成单元叠加的数据序列号对姿态测量值和姿态真值进行数据对齐检查,并缓存数据后对齐。根据姿态真值和姿态测量值进行精度计算,计算方法如公式2所示:
Figure BDA0001879125970000141
步骤S7:生成测量结果文件、计算目标姿态测量误差值变将所述目标姿态测量误差值反馈给姿态测量单元。测量结果文件包括原始数据和鉴定结果。其中,原始数据包括记录序号、测量值标识号、偏航角测量值序列、俯仰角测量值序列、滚转角测量值序列、真值标识号、偏航角真值序列、俯仰角真值序列和滚转角真值序列;鉴定结果包括偏航角测量精度、俯仰角测量精度和滚转角测量精度。目标姿态测量误差值包括偏航角测量误差Δαi、俯仰角测量误差Δβi和滚转角测量误差Δγi。目标姿态测量误差值具体的计算公式如公式3所示:
Figure BDA0001879125970000142
姿态测量单元根据目标姿态测量误差值持续地改进自身测量算法的缺陷。
如图7所示,本发明实施例中提供的将模块结构与步骤流程合成的技术构架流程示意图。在光学图像采集设备100上进行采集真实背景图像步骤和输出真实背景图像数据及设备角度、位置信息步骤;在姿态仿真和处理平台200上进行载入目标模型文件步骤、生成三维仿真目标图像步骤、生成真实背景并叠加虚拟目标图像的步骤、输出仿真图像步骤、输出目标的姿态参数设定值及生成测量结果文件步骤、反馈目标姿态测量误差值步骤;在姿态测量单元300上计算仿真目标姿态和输出目标姿态测量值步骤。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于增强现实技术的飞行器姿态测量算法训练的系统,其特征在于,所述系统包括:
光学图像采集设备,用于获取飞行器目标姿态测量的观测视角和真实背景信息;
姿态仿真和处理平台,以图像的形式用于对飞行器目标姿态测量进行仿真和处理;
姿态测量单元,用于输出飞行器目标姿态测量值和接收测量误差信息;
所述姿态仿真和处理平台包括:
目标模型文件,用于提供飞行器目标模型的基本信息;
动目标仿真单元,通过载入所述飞行器目标模型文件,生成目标模型的三维模型图像;
图像采集卡,用于采集所述光学图像采集设备所获取真实背景信息;
目标合成单元,在所述真实背景信息上叠加所述三维模型图像,生成合成目标图像和姿态真值信息;
图像输出卡,用于将所述飞行器目标图像先存储至硬盘后生成事后图像序列,并将所述事后图像序列输出给所述姿态测量单元;
测量结果评价单元,用于接收所述姿态真值信息和所述飞行器目标姿态测量值,计算姿态测量误差值,并将所述姿态测量误差值传送给所述姿态测量单元和将所述姿态测量误差值记录到硬盘以形成测量结果文件;
生成目标模型的三维模型图像具体包括:保存现有颜色属性;根据设置的变换参数改变仿真模型位置、大小和旋转角度;遍历所述仿真模型中的所有对象并且绘制三维模型;用姿态角控制变量来提供姿态控制接口;
目标合成单元获得真实背景图像后,根据图像中叠加的方位角、俯仰角和测量点位置信息建立目标模型显示角度与实际姿态的对应关系,目标合成单元按照对应关系,通过接口参数设定改变三维目标图像的姿态信息将图像叠加在真实背景上,合成一幅图像,并将姿态真值信息偏航角、俯仰角、滚转角发送给测量结果评价单元,每幅图图像和姿态真值一一对应,由同一个序号定义,用做后续数据对齐处理,目标合成单元控制仿真数据样本的数量,通过三个姿态参数的设定调整样本图像,从而确保用于算法训练或检测的样本充分。
2.根据权利要求1所述的一种基于增强现实技术的飞行器姿态测量算法训练的系统,其特征在于,所述光学图像采集设备包括光学镜头及探测器、跟踪架、测角单元和电控单元。
3.根据权利要求1所述的一种基于增强现实技术的飞行器姿态测量算法训练的系统,其特征在于,所述动目标仿真单元还提供所述三维模型图像的观测视角信息和目标姿态测量的控制接口。
4.根据权利要求1所述的一种基于增强现实技术的飞行器姿态测量算法训练的系统,其特征在于,所述目标模型的基本信息包括目标的顶点位置信息和目标的纹理信息。
5.根据权利要求1所述的一种基于增强现实技术的飞行器姿态测量算法训练的系统,其特征在于,所述目标模型文件的格式包括obj文件格式、3ds文件格式或者max文件格式。
6.根据权利要求1所述的一种基于增强现实技术的飞行器姿态测量算法训练的系统,其特征在于,所述测量结果文件包括原始数据和鉴定结果,所述原始数据包括记录序号、测量值标识号、偏航角测量值序列、俯仰角测量值序列、滚转角测量值序列、真值标识号、偏航角真值序列、俯仰角真值序列和滚转角真值序列;所述鉴定结果包括偏航角测量精度、俯仰角测量精度和滚转角测量精度。
7.一种基于增强现实技术的飞行器姿态测量算法训练的方法,其特征在于,所述方法包括:
步骤S1:采用光学图像采集设备采集真实背景图像,并输出真实背景图像数据及所述光学图像采集设备的角度和位置信息;
步骤S2:载入飞行器目标模型文件,获取飞行器目标顶点位置及纹理信息;
步骤S3:根据所载入的飞行器目标模型文件生成三维仿真目标图像;
步骤S4:在所述真实背景图像上叠加所述三维仿真目标图像,生成合成目标图像和姿态真值信息,并将所述合成目标图像输出;
步骤S5:姿态测量单元对所述合成目标图像进行图像预处理、目标检测、基线提取和模板匹配的图像处理措施,获得姿态测量结果;
步骤S6:目标结果评价单元根据所述姿态测量结果和所述姿态真值信息,鉴定姿态测量算法的精度;
步骤S7:生成测量结果文件、计算目标姿态测量误差值并将所述目标姿态测量误差值反馈给姿态测量单元;
所述步骤S3具体包括:保存现有颜色属性;根据设置的变换参数改变仿真模型位置、大小和旋转角度;遍历所述仿真模型中的所有对象并且绘制三维模型;用姿态角控制变量来提供姿态控制接口;
所述步骤S4具体包括:目标合成单元获得真实背景图像后,根据图像中叠加的方位角、俯仰角和测量点位置信息建立目标模型显示角度与实际姿态的对应关系,目标合成单元按照对应关系,通过接口参数设定改变三维目标图像的姿态信息将图像叠加在真实背景上,合成一幅图像,并将姿态真值信息偏航角、俯仰角、滚转角发送给测量结果评价单元,每幅图图像和姿态真值一一对应,由同一个序号定义,用做后续数据对齐处理,目标合成单元控制仿真数据样本的数量,通过三个姿态参数的设定调整样本图像,从而确保用于算法训练或检测的样本充分。
8.根据权利要求7所述的一种基于增强现实技术的飞行器姿态测量算法训练的方法,其特征在于,所述目标姿态测量误差值包括偏航角测量误差、俯仰角测量误差和滚转角测量误差。
9.根据权利要求7所述的一种基于增强现实技术的飞行器姿态测量算法训练的方法,其特征在于,所述步骤S2具体包括:定义顶点属性数据;采用Mesh网络表示一个openGL软件渲染的最小实体;读取目标文件,并将所述目标文件转换成Mesh对象。
CN201811414456.7A 2018-11-26 2018-11-26 一种飞行器姿态测量算法训练与鉴定的系统及方法 Active CN109636927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811414456.7A CN109636927B (zh) 2018-11-26 2018-11-26 一种飞行器姿态测量算法训练与鉴定的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811414456.7A CN109636927B (zh) 2018-11-26 2018-11-26 一种飞行器姿态测量算法训练与鉴定的系统及方法

Publications (2)

Publication Number Publication Date
CN109636927A CN109636927A (zh) 2019-04-16
CN109636927B true CN109636927B (zh) 2021-02-12

Family

ID=66069495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811414456.7A Active CN109636927B (zh) 2018-11-26 2018-11-26 一种飞行器姿态测量算法训练与鉴定的系统及方法

Country Status (1)

Country Link
CN (1) CN109636927B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126336B (zh) * 2019-12-31 2023-07-21 潍柴动力股份有限公司 样本采集方法、装置及设备
CN112598617B (zh) * 2020-11-13 2023-09-01 北京遥测技术研究所 一种基于虚拟平台的外弹道光学测量精度分析方法
CN113551639A (zh) * 2021-07-22 2021-10-26 中国人民解放军63921部队 用于姿态测量设备的姿态测量精度的测量系统和方法
CN116564159A (zh) * 2023-07-07 2023-08-08 中国科学院长春光学精密机械与物理研究所 一种光电测控设备跟踪操作仿真训练系统及方法
CN117116113B (zh) * 2023-10-19 2024-01-02 中国科学院长春光学精密机械与物理研究所 舰载光电经纬仪模拟训练器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102955477B (zh) * 2012-10-26 2015-01-14 南京信息工程大学 一种四旋翼飞行器姿态控制系统及控制方法
US9842404B2 (en) * 2013-05-15 2017-12-12 Massachusetts Institite Of Technology Methods and apparatus for refractive flow measurement with three dimensions and uncertainty
CN103984237B (zh) * 2014-06-04 2016-08-17 西北工业大学 基于运动状态综合识别的轴对称飞行器三通道自适应控制系统设计方法
CN105354355B (zh) * 2015-09-28 2018-04-10 中国人民解放军辽宁省军区装备部军械修理所 一种基于三维运动视景的仿真系统设计与实现方法
CN106228615A (zh) * 2016-08-31 2016-12-14 陈昊 基于增强现实的无人飞行器体验系统及其体验方法
CN106530894B (zh) * 2017-01-10 2019-03-08 北京捷安申谋军工科技有限公司 一种飞行训练器虚拟平显方法及系统

Also Published As

Publication number Publication date
CN109636927A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109636927B (zh) 一种飞行器姿态测量算法训练与鉴定的系统及方法
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN104156536B (zh) 一种盾构机刀具磨损的可视化定量标定及分析方法
US8179393B2 (en) Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
CN111553245A (zh) 基于机器学习算法和多源遥感数据融合的植被分类方法
CN109887020B (zh) 一种植株器官分离方法及系统
CN109615611A (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN106683038B (zh) 一种生成火情态势图的方法及装置
CN109544679A (zh) 管道内壁的三维重建方法
CN108344397A (zh) 基于倾斜摄影技术的自动化建模方法、系统及其辅助装置
CN106683039B (zh) 一种生成火情态势图的系统
CN106403904A (zh) 一种基于无人机的景观尺度植被覆盖度的计算方法及系统
CN108761271A (zh) 一种电网树障检测方法及系统
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN113435282A (zh) 基于深度学习的无人机影像麦穗识别方法
CN110426178A (zh) 一种基于尾流示踪的风场测量方法及系统
CN116030208A (zh) 一种真实无人机虚拟仿真输电线路场景搭建方法及系统
WO2022025283A1 (ja) 測定処理装置、方法及びプログラム
CN114332243A (zh) 一种基于透视投影模型的火箭助推器分离姿态测量方法
Zhao et al. Phenotyping of individual apple tree in modern orchard with novel smartphone-based heterogeneous binocular vision and YOLOv5s
CN110580468B (zh) 一种基于影像匹配点云的单木结构参数提取的方法
Mezhenin et al. Using virtual scenes for comparison of photogrammetry software
CN108334697A (zh) 用于评估三维重建软件的仿真实验方法
CN113418448B (zh) 一种破片分布检测系统和方法
Liu et al. Dense three-dimensional color reconstruction with data fusion and image-guided depth completion for large-scale outdoor scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant