CN108917746B - 头盔姿态测量方法、测量装置及测量系统 - Google Patents

头盔姿态测量方法、测量装置及测量系统 Download PDF

Info

Publication number
CN108917746B
CN108917746B CN201810831994.XA CN201810831994A CN108917746B CN 108917746 B CN108917746 B CN 108917746B CN 201810831994 A CN201810831994 A CN 201810831994A CN 108917746 B CN108917746 B CN 108917746B
Authority
CN
China
Prior art keywords
information
helmet
inertial navigation
error
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810831994.XA
Other languages
English (en)
Other versions
CN108917746A (zh
Inventor
肖定邦
王朝光
吴芳
吴学忠
路阔
高凯
管锐
赵启超
岳林峰
唐源江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201810831994.XA priority Critical patent/CN108917746B/zh
Publication of CN108917746A publication Critical patent/CN108917746A/zh
Application granted granted Critical
Publication of CN108917746B publication Critical patent/CN108917746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments

Abstract

本发明公开一种头盔姿态测量方法、测量装置及测量系统,该方法包括:接收头盔惯性导航信息、机体惯性导航信息及图像信息;通过所述机体导航信息对所述头盔惯性导航信息进行标定和相对运动补偿处理获得头盔运动信息;对所述图像信息中标定的特征进行识别和提取获得视觉位姿信息;对所述视觉位姿信息和所述头盔运动信息进行数据融合获得头盔姿态信息。该方案解决了更新率慢、可靠性差及精度不能满足作战要求等缺点,实现了提高更行率和可靠性及精度要求。

Description

头盔姿态测量方法、测量装置及测量系统
技术领域
本发明涉及导航姿态测量技术领域,尤其是一种头盔姿态测量方法、测量装置及测量系统。
背景技术
随着现代战机操作系统及机上雷达等设备操纵日益复杂,飞行员的头盔不仅是一种保护装置,更成为强大的信息平台。现代飞机普遍采用具有头盔瞄准功能的头盔显示器,头盔显示器能随着飞行员头部的转动,实时引导雷达等机上设备,进行目标跟踪、瞄准等操作,极大地提高了飞机的作战性能。另一方面,头盔显示器还能显示当前视角下机舱外的战场环境,使飞行员对战场环境有“浸没感”,眼睛不用频繁对焦,避免了视觉疲劳,大大降低了飞行员的负担。
头盔显示器的关键技术之一是头盔的姿态测量,也就是要准确、快速的测量出头盔与机舱的相对姿态角,由头盔的姿态即可知道飞行员的视角,这样才能将精准的影像传输到头盔显示器,使飞行员和机上设备能够实时感知战场环境。
从已有飞行员头盔装备来看,尽管已经有电磁式、视觉式等头盔姿态测量系统,但普遍存在与红外谱重叠、更新率慢、可靠性差,以及精度不能满足要求等缺点,还不能满足现代作战飞机的要求。
发明内容
本发明提供一种头盔姿态测量方法、测量装置及测量系统,用于克服现有技术中更新率慢、可靠性差及精度不高等缺陷,提高头盔姿态的更新率、可靠性及精度,提高飞机的作战性能。
为实现上述目的,本发明提出一种头盔姿态测量方法,包括:
步骤1,接收头盔惯性导航信息、机体惯性导航信息及图像信息;
步骤2,通过所述机体导航信息对所述头盔惯性导航信息进行标定和相对运动补偿处理获得头盔运动信息;
对所述图像信息中标定的特征进行识别和提取获得视觉位姿信息;
步骤3,对所述视觉位姿信息和所述头盔运动信息进行数据融合获得头盔姿态信息。
为实现发明目的,本发明还提供一种头盔姿态测量装置,包括:
信息接收模块,用于接收头盔惯性导航信息、机体惯性导航信息及图像信息;
信息处理模块,用于通过所述机体导航信息对所述头盔惯性导航信息进行标定和相对运动补偿处理获得头盔运动信息;
还用于对所述图像信息中标定的特征进行识别和提取获得视觉位姿信息;
数据融合模块,对所述视觉位姿信息和所述头盔运动信息进行数据融合获得头盔姿态信息。
为实现发明目的,本发明还提供一种头盔姿态测量系统,包括:
头盔惯性导航装置,用于输出头盔惯性导航信息,设置在头盔上,包括三轴MEMS陀螺、三轴MEMS加表、三轴磁强针;
机体惯性导航装置,用于输出机体惯性导航信息,设置在机体上;
视觉传感器,设置在所述头盔上,用于对机舱内部进行拍摄并输出图像信息;
所述头盔姿态测量装置,用于根据头盔惯性导航信息、机体惯性导航信息、图像信息获得头盔姿态信息。
本发明提供的头盔姿态测量方法、测量装置及测量系统,通过头盔惯性导航装置及机体惯性导航装置的实时测量,对头盔惯性导航信息及机体惯性导航信息进行计算和处理能获得头盔相对于机舱的姿态角,同时,利用头盔随操作者动作时设置在头盔上的视觉传感器对机舱内固定位置的机构或标记进行拍摄,在图像信息中形成标定的特征,利用图像识别技术在头盔达到固定位置时对头盔姿态进行标定,消除累积误差,提高测量精度;采用惯性传感器与视觉技术相结合的跟踪方式能够有效解决单一惯性测量中的累积误差问题,进而消除累积误差,提高测量精度,同时提高整体的动态性能和飞机的作战性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例提供的头盔姿态测量系统的原理图;
图2为图1的结构框架图;
图3为本发明实施例提供的头盔姿态测量方法的信号处理流程图一;
图4a为本发明实施例提供的头盔姿态测量系统中形成图像信号中标记特征的标记测试板;
图4b为使用原理样机对图4a中的标记测试板进行测试的示意图;
图5为本发明实施例提供的头盔姿态测量方法中基于marker标记的相机位姿估计算法流程图;
图6为本发明实施例提供的头盔姿态测量方法的信号处理流程图二;
图7为本发明实施例提供的头盔姿态测量方法中误差补偿的流程图;
图8为本发明实施例提供的头盔姿态测量装置的结构框架图;
图9为为发明实施例提供的头盔姿态测量系统中小型化布局思维导图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提出一种头盔姿态测量方法、测量装置及测量系统。
实施例一
请参照图1至图2,本发明提供一种头盔姿态测量方法,包括:
步骤1,接收头盔惯性导航信息、机体惯性导航信息及图像信息;
头盔惯性导航信息由安装在头盔上的头盔惯性导航装置10发出,头盔惯性导航装置10可选用惯性传感器,用来测量头盔在惯性空间的位置姿态,输出的信号包括X、Y、Z三个轴上的电速率信号,加速度信号、磁强信号,或经过转换后形成一个专有数字校准电路;
机体惯性导航信息由安装在机体上的集体惯性导航装置20发出,具体包括X、Y、Z三个轴上的电速率信号,加速度信号、角速度信号、磁强信号;用来测量机体在惯性空间的位置姿态;
图像信息具体包括视频或图像,由安装在头盔上的视觉传感器30发出,操作者的头部移动时,佩戴于操作者头部的头盔随其移动而移动,通过视觉传感器对机舱内周围可拍摄空间内固定位置的结构特征或具体部件(例如仪表盘)或者是在操作者位置正上方位置设定的标记100(二维码,具体参见图4)进行拍摄,通过在图像信息中检测这些标定的特征以及相机的成像原理估测相机的位置和姿态,具体估测方法参见下面的步骤2。优选地,所述图像信息中标定的特征包括Marker标记、仪表盘特征及机舱内部结构特征中的至少一种。视觉传感器30捕获标定的特征次数越多,对相机的位置姿态估算的误差越小,输出的头盔的姿态精确度越高。
步骤2,参见图3,通过所述机体导航信息对所述头盔惯性导航信息进行标定和相对运动补偿处理获得头盔运动信息;对所述图像信息中标定的特征进行识别和提取获得视觉位姿信息;
由于惯性传感器测量的是载体相对于惯性空间的姿态,因此需要利用机载主惯导信息对头盔上的低精度MEMS惯性传感器进行标定和相对运动补偿计算。同时摄像头综合利用标记、仪表盘特征以及机舱结构特征,进行特征识别和提取。最后,多源信息融合则利用识别特征运动信息,将补偿后MEMS惯性传感器测量的运动信息进行数据融合,得到最优的头盔运动参数。
优选地,所述步骤2中获得头盔运动信息的步骤包括:通过姿态更新算法对所述机体导航信息对所述头盔惯性导航信息进行标定和相对运动补偿处理获得所述头盔运动信息;通过已知技术和算法能获得头盔运动信息,这里的头盔运动信息指的是头盔相对机体的位置姿态;这里的头盔运动信息指的是头盔相对机体的姿态与位置信息;
参见图5,所述步骤2中获得视觉位姿信息的步骤包括:
步骤20,读取新的图像信息;
步骤21,对所述图像信息进行预处理;包括图像颜色转换、图像增强、图像缩放等处理;
步骤22,检测图像信息中的标定的特征;图4中标定的特征以标记Marker为例进行说明,首先判断是否检测到Marker,在检测到Marker时执行下面步骤
步骤23,从图像信息中的标定的特征获取角点的图像坐标;
步骤24,根据标定的特征ID从标定的特征坐标文件中读取角点的空间坐标;
步骤205,根据所述角点的图像坐标以及空间坐标获取相机的位置和姿态,即视觉位姿信息。
本系统的视觉位姿估计技术采用的是基于标记点(marker)的相机位姿估计技术。其具体实施方法是在机舱内部合适位置(比如坐舱顶部)布置结构和尺寸已知的marker标记图案,根据视觉传感器获取的实时图像,检测图像中的多个标记点(大于3个),然后利用相机成像的几何原理,估计相机的位置和姿态。图4a是标记点(marker)测试版的示意图,4b是原理样机基于标记点对自己的位姿进行标记的图片,其工作算法流程图如图5所示。
标记对系统最终的姿态精度有直接影响,在标记设计时,需要根据头盔相对标记的距离,设计合理的标记尺寸和标记分布。为了避免对座舱内其他设备产生红外频谱的干扰,同时避免太阳直射对标记的影响,标记需要避开红外光谱的补光设计。需要通过试验评估并考虑安装的便捷,确定标记的安装位置。
步骤3,对所述视觉位姿信息和所述头盔运动信息进行数据融合获得头盔姿态信息。
优选地,通过姿态补偿算法对所述头盔运动信息和视觉位姿信息进行数据融合获得所述头盔姿态信息的误差,通过所述头盔姿态信息的误差对所述头盔姿态信息进行反馈修正,获得最终的头盔姿态信息。
机载主惯导(机体惯性导航装置)输出机体惯性导航信息、头盔上MEMS惯性传感器(头盔惯性导航装置)输出头盔惯性导航信息,视觉传感器输出图像信息;机体惯性导航信息主要包括机体在惯性系统的姿态和位置,头盔惯性导航信息主要包括头盔的姿态和位置,姿态更新算法主要依据头盔惯性导航信息和机体惯性导航信息进行计算,从而获得头盔相对于机体的姿态运动,即头盔运动信息;对图像信息中标定的特征进行标识和提取,能够获得相机相对机体的位置和姿态,即视觉位姿信息;最后通过姿态补偿算法进一步融合视觉传感器获得姿态或者特征信息,计算头盔惯性传感器获得的姿态信息的误差,并对其进行反馈修正,得到高精度的输出姿态信息。
组合导航算法除了应用于头盔的姿态测量,还需要应用于视觉标记的安装与对准,即确定视觉标记相对于机载主惯导的姿态。视觉标签的对准主要通过主惯导、外部基准以及与外部基准固联的本系统,在事前进行处理完成。参见图5。
优选地,所述步骤3具体包括:
步骤31,对误差进行分析,所述头盔姿态信息的误差包括发出所述头盔惯性导航信息的头盔惯性导航装置与发出所述机体惯性导航信息的机体惯性导航装置之间的对准误差、所述机体惯性导航装置自身的累积误差、所述头盔惯性导航装置自身的累积误差、发出所述图像信息的视觉传感器与所述机体惯性导航装置之间的匹配误差、所述视觉传感器与所述头盔导航装置之间的匹配误差;
步骤32,采用卡尔曼滤波方法对所述对准误差和累积误差进行补偿和抑制;以所述机体惯性导航装置的误差模型为系统方程,以所述图像中的标定的特征或以所述视觉位姿信息为观测量进行滤波处理,获得对机体惯性导航装置的误差估计,通过所述误差估计对所述对准误差和累积误差进行反馈和修正;
采用自适应算法对所述匹配误差进行抑制;在所述图像中标定的特征的可靠性进行监测,在监测值小于或等于预设值时进入惯性保持模式,在监测值大于预设值时,自动切换回组合模式。惯性保持模式是指当图像识别对头盔的姿态测量的可靠性很低时(是指强光下图像识别不可靠时)只采用惯性导航信息进行头盔姿态测量的工作模式;组合模式是当图像识别姿态测量可靠性较高时,采用惯性导航信息和图像识别组合测姿算法对头盔姿态进行测量的工作模式。
头盔姿态测量系统中包括两部分惯性传感器和视觉传感器,惯性传感器分别为机载主惯导与头盔上的MEMS惯性传感器。为了能够准确的测量出头盔的姿态信息,就要将三部分的传感器信息进行融合匹配。影响测量精度的因素主要包括头盔上MEMS惯性传感器与机载主惯导的对准误差、惯性传感器自身的累积误差(包括MEMS惯性传感器自身的累积误差和机载主惯导自身的累积误差)、视觉传感器与惯导信息的匹配误差(包括视觉传感器与MEMS惯性传感器的匹配误差、视觉传感器与机载主惯导的匹配误差)等,针对这些影响因素进行深入研究,确保系统精度。其研究流程如图7所示。
分析误差形成机理,针对系统可能存在的误差源一一进行抑制与补偿,并且探索最优的抑制与补偿方法,从而得到精确的头盔姿态信息。
主要采用卡尔曼滤波的方法,来对对准误差和累积误差进行补偿和抑制。即以惯性系统的误差模型为系统方程,以及以特征或者视觉信息处理后的姿态为观测量,进行滤波计算,获得对惯性系统的误差估计,在此基础上对其进行反馈修正。
考虑到视觉传感器的可靠性以及视场内无标记的情况,可能导致匹配误差的存在。这里主要通过自适应的核心算法来实现,即通过假设检验的方法,来进一步验证视觉标记输出特征或者姿态信息的可靠性,若视场内没有标记,或者监测出视觉信息可靠性低,则系统自动转入惯性保持模式。当视觉信息恢复后,自动切换回组合模式。
与现有头盔姿态测量技术相比,本发明具有以下技术效果:
本作品提出的基于惯性与视觉技术融合的头盔姿态测量方法相对于传统的机电式与电磁式方法具有自主性强、抗干扰能力强、测量高效、不影响飞行员头部运动等优势。相对于图像处理式方案又具有处理算法简单、对飞机本身改动更小、成本较低等优势。利用MEMS微惯性与视觉两种技术相结合组合定位,以视觉测姿技术修正微惯性器件的误差积累,保证了系统精度;微惯性测姿提高了系统的动态性能,在视觉信息短期丢失时,能够保证系统稳定,提高了系统鲁棒性;通过利用机舱内部布局等特征作为视觉定位标记,避免在飞机上安装定位标记。
实施例二
请参照图8,在实施例一的基础上,本发明提供一种头盔姿态测量装置,包括:信息接收模块1、信息处理模块2、数据融合模块3,其中所述信息处理模块2包括头盔姿态子模块21、视觉姿态子模块22;视觉姿态子模块22包括预处理单元221、检测单元222、图像坐标单元223、空间坐标单元224、视觉位姿单元225;所述数据融合模块3包括误差获取子模块31、误差补偿子模块32;其中:
信息接收模块1用于接收头盔惯性导航信息、机体惯性导航信息及图像信息;
信息处理模块2用于通过所述机体导航信息对所述头盔惯性导航信息进行标定和相对运动补偿处理获得头盔运动信息;还用于对所述图像信息中标定的特征进行识别和提取获得视觉位姿信息;头盔姿态子模块21用于通过姿态更新算法对所述机体导航信息对所述头盔惯性导航信息进行标定和相对运动补偿处理获得所述头盔运动信息;预处理单元221用于对所述图像信息进行预处理;检测单元222用于检测图像信息中的标定的特征;图像坐标单元223用于从所述图像信息中的标定的特征获取角点的图像坐标;空间坐标单元224用于根据标定的特征ID从标定的特征坐标文件中读取角点的空间坐标;视觉位姿单元225用于根据所述角点的图像坐标以及空间坐标获取相机的位置和姿态,即视觉位姿信息;
数据融合模块3用于对所述视觉位姿信息和所述头盔运动信息进行数据融合获得头盔姿态信息;
具体用于通过姿态补偿算法对所述头盔运动信息和视觉位姿信息进行数据融合获得所述头盔姿态信息的误差,通过所述头盔姿态信息的误差对所述头盔姿态信息进行反馈修正,获得最终的头盔姿态信息;
误差获取子模块31用于通过姿态补偿算法对所述头盔运动信息和视觉位姿信息进行数据融合获得所述头盔姿态信息的误差,包括发出所述头盔惯性导航信息的头盔惯性导航装置与发出所述机体惯性导航信息的机体惯性导航装置之间的对准误差、所述机体惯性导航装置自身的累积误差、发出所述图像信息的视觉传感器与所述机体惯性导航装置之间的匹配误差;误差补偿子模块32用于采用卡尔曼滤波方法对所述对准误差和累积误差进行补偿和抑制;以所述机体惯性导航装置的误差模型为系统方程,以所述图像中的标定的特征或以所述视觉位姿信息为观测量进行滤波处理,获得对机体惯性导航装置的误差估计,通过所述误差估计对所述对准误差和累积误差进行反馈和修正;还用于采用自适应算法对所述匹配误差进行抑制;在所述图像中标定的特征的可靠性进行监测,在监测值小于或等于预设值时进入惯性保持模式,在监测值大于预设值时,自动切换回组合模式。头盔姿态测量装置的实现参见上述头盔姿态测量方法,在此不再赘述。
实施例三
参照图2,一种头盔姿态测量系统,包括头盔惯性导航装置10、机体惯性导航装置20、视觉传感器30,其中:
头盔惯性导航装置10用于输出头盔惯性导航信息,设置在头盔上,包括三轴MEMS陀螺101、三轴MEMS加速度传感器102、三轴磁强传感器103;
机体惯性导航装置20用于输出机体惯性导航信息,设置在机体上;
视觉传感器30设置在所述头盔上,用于对机舱内部拍摄并输出图像信息;
任意实施例的头盔姿态测量装置40设置在头盔上或机体上,用于根据头盔惯性导航信息、机体惯性导航信息、图像信息获得头盔姿态信息。
研究了3轴MEMS陀螺、3轴MEMS加速度计、3轴磁强计与摄像头之间的小型化、一体化组装办法,对器件的总体布局、连线方式等进行创新性设计,最终实现了系统小型化的总体装配。
MEMS惯性器件小型化设计与加工是本系统设计的重要指标之一。头盔姿态测量系统对小型化提出了更高的要求,通过小型化设计MEMS惯性器件可以减小系统尺寸;根据敏感结构的振动特点,合理规划电极布置方案,减小正交误差;一体化设计微陀螺仪与微加速度计,将单轴MEMS惯性器件组装成三轴,合理布局器件位置与连线方法,可以进一步减小系统体积。
要实现头盔姿态测量系统的小型化,就要对系统器件的分布进行优化,结合连线方法综合减小系统尺寸。系统小型化研究方法如图9所示。
将系统中所包括的多种传感器合理布局、连线后进行初步的连接可靠性测试,通过测试结构反馈,优化布局方法,最终实现整个系统的小型化。
其次,微惯性器件结构误差、三轴MEMS惯性器件基准轴正交误差、测控电路误差、惯性器件累积误差及视觉传感器图像处理误差等误差不可能完成消除,通过建立各误差模型,对模型参数进行辨识,得到各误差的辨识结果便可以对误差进行实时补偿。
最后,测姿系统对头部姿态测量具有良好的实时性、准确性,其不仅可以应用于飞机飞行之中,还可以进一步应用于家居机器人定位和车辆驾驶之中,方便人员对智能系统的操作,推动了智能系统与人的有机结合。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (3)

1.一种头盔姿态测量方法,其特征在于,包括:
步骤1,接收头盔惯性导航信息、机体惯性导航信息及图像信息;
所述图像信息中标定的特征包括Marker标记、仪表盘特征及机舱内部结构特征中的至少一种;
步骤2,通过所述机体导航信息对所述头盔惯性导航信息进行标定和相对运动补偿处理获得头盔运动信息;
对所述图像信息中标定的特征进行识别和提取获得视觉位姿信息;
所述步骤2中获得头盔运动信息的步骤包括:
通过姿态更新算法对所述机体导航信息对所述头盔惯性导航信息进行标定和相对运动补偿处理获得所述头盔运动信息;
所述步骤2中获得视觉位姿信息的步骤包括:
步骤21,对所述图像信息进行预处理;
步骤22,检测图像信息中的标定的特征;
步骤23,从图像信息中的标定的特征获取角点的图像坐标;
步骤24,根据标定的特征ID从标定的特征坐标文件中读取角点的空间坐标;
步骤205,根据所述角点的图像坐标以及空间坐标获取相机的位置和姿态,即视觉位姿信息;
步骤3,对所述视觉位姿信息和所述头盔运动信息进行数据融合获得头盔姿态信息;所述步骤3包括:通过姿态补偿算法对所述头盔运动信息和视觉位姿信息进行数据融合获得所述头盔姿态信息的误差,通过所述头盔姿态信息的误差对所述头盔姿态信息进行反馈修正,获得最终的头盔姿态信息;
所述步骤3具体包括:
步骤31,所述头盔姿态信息的误差包括发出所述头盔惯性导航信息的头盔惯性导航装置与发出所述机体惯性导航信息的机体惯性导航装置之间的对准误差、所述机体惯性导航装置自身的累积误差、发出所述图像信息的视觉传感器与所述机体惯性导航装置之间的匹配误差;
步骤32,采用卡尔曼滤波方法对所述对准误差和累积误差进行补偿和抑制;以所述机体惯性导航装置的误差模型为系统方程,以所述图像信息中的标定的特征或以所述视觉位姿信息为观测量进行滤波处理,获得对机体惯性导航装置的误差估计,通过所述误差估计对所述对准误差和累积误差进行反馈和修正;
采用自适应算法对所述匹配误差进行抑制;在所述图像信息中标定的特征的可靠性进行监测,在监测值小于或等于预设值时进入惯性保持模式,在监测值大于预设值时,自动切换回组合模式。
2.一种头盔姿态测量装置,其特征在于,包括:
信息接收模块,用于接收头盔惯性导航信息、机体惯性导航信息及图像信息;
信息处理模块,用于通过所述机体导航信息对所述头盔惯性导航信息进行标定和相对运动补偿处理获得头盔运动信息;
还用于对所述图像信息中标定的特征进行识别和提取获得视觉位姿信息;
所述信息处理模块包括:
头盔姿态子模块,用于通过姿态更新算法对所述机体导航信息对所述头盔惯性导航信息进行标定和相对运动补偿处理获得所述头盔运动信息;
视觉姿态子模块,包括:
预处理单元,用于对所述图像信息进行预处理;
检测单元,用于检测图像信息中的标定的特征;
图像坐标单元,用于从所述图像信息中的标定的特征获取角点的图像坐标;
空间坐标单元,用于根据标定的特征ID从标定的特征坐标文件中读取角点的空间坐标;
视觉位姿单元,用于根据所述角点的图像坐标以及空间坐标获取相机的位置和姿态,即视觉位姿信息;
数据融合模块,对所述视觉位姿信息和所述头盔运动信息进行数据融合获得头盔姿态信息;
所述数据融合模块:还用于通过姿态补偿算法对所述头盔运动信息和视觉位姿信息进行数据融合获得所述头盔姿态信息的误差,通过所述头盔姿态信息的误差对所述头盔姿态信息进行反馈修正,获得最终的头盔姿态信息;
所述数据融合模块包括:
误差获取子模块,用于通过姿态补偿算法对所述头盔运动信息和视觉位姿信息进行数据融合获得所述头盔姿态信息的误差,包括发出所述头盔惯性导航信息的头盔惯性导航装置与发出所述机体惯性导航信息的机体惯性导航装置之间的对准误差、所述机体惯性导航装置自身的累积误差、发出所述图像信息的视觉传感器与所述机体惯性导航装置之间的匹配误差;
误差补偿子模块,用于采用卡尔曼滤波方法对所述对准误差和累积误差进行补偿和抑制;以所述机体惯性导航装置的误差模型为系统方程,以所述图像信息中的标定的特征或以所述视觉位姿信息为观测量进行滤波处理,获得对机体惯性导航装置的误差估计,通过所述误差估计对所述对准误差和累积误差进行反馈和修正;
还用于采用自适应算法对所述匹配误差进行抑制;在所述图像信息中标定的特征的可靠性进行监测,在监测值小于或等于预设值时进入惯性保持模式,在监测值大于预设值时,自动切换回组合模式。
3.一种头盔姿态测量系统,其特征在于,包括:
头盔惯性导航装置,用于输出头盔惯性导航信息,设置在头盔上,包括三轴MEMS陀螺、三轴MEMS加表、三轴磁强针;
机体惯性导航装置,用于输出机体惯性导航信息,设置在机体上;
视觉传感器,设置在所述头盔上,用于对机舱内部进行拍摄并输出图像信息;
如权利要求2所述头盔姿态测量装置,用于根据头盔惯性导航信息、机体惯性导航信息、图像信息获得头盔姿态信息。
CN201810831994.XA 2018-07-26 2018-07-26 头盔姿态测量方法、测量装置及测量系统 Active CN108917746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810831994.XA CN108917746B (zh) 2018-07-26 2018-07-26 头盔姿态测量方法、测量装置及测量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810831994.XA CN108917746B (zh) 2018-07-26 2018-07-26 头盔姿态测量方法、测量装置及测量系统

Publications (2)

Publication Number Publication Date
CN108917746A CN108917746A (zh) 2018-11-30
CN108917746B true CN108917746B (zh) 2021-01-08

Family

ID=64416122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810831994.XA Active CN108917746B (zh) 2018-07-26 2018-07-26 头盔姿态测量方法、测量装置及测量系统

Country Status (1)

Country Link
CN (1) CN108917746B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110361001B (zh) * 2019-06-20 2023-04-07 河北工业大学 一种用于空间碎片运动测量系统及标定方法
IL267615A (en) * 2019-06-24 2019-11-28 Elbit Systems Ltd Geolocation of head-mounted image sensor using celestial navigation
CN110674888B (zh) * 2019-10-11 2022-04-05 中国人民解放军海军航空大学青岛校区 一种基于数据融合的头部姿态识别方法
CN110926463A (zh) * 2019-11-20 2020-03-27 深圳市优必选科技股份有限公司 一种头盔及定位监控管理系统
CN113295209B (zh) * 2021-05-21 2022-11-18 中国航空工业集团公司北京长城计量测试技术研究所 一种自适应高精度数字测试系统设计方法及测试系统
CN114199239B (zh) * 2022-01-05 2024-04-16 中国兵器工业计算机应用技术研究所 结合北斗导航的双视觉辅助惯性差分座舱内头部测姿系统
CN114416006A (zh) * 2022-01-26 2022-04-29 西安应用光学研究所 一种随动于头盔显示装置的浸入式综合视景生成方法
CN114519744B (zh) * 2022-04-20 2022-06-21 北京万龙精益科技有限公司 用于穿戴器具姿态确定的方法、装置和系统
CN114915772B (zh) * 2022-07-13 2022-11-01 沃飞长空科技(成都)有限公司 飞行器的视景增强方法、系统、飞行器及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104280022A (zh) * 2013-07-13 2015-01-14 哈尔滨点石仿真科技有限公司 视觉辅助惯性测量单元的数字头盔显示设备跟踪系统
US9163933B1 (en) * 2014-03-28 2015-10-20 Rockwell Collins, Inc. Wearable head tracking system
CN105806334A (zh) * 2016-03-07 2016-07-27 苏州中德睿博智能科技有限公司 一种惯性传感器和视觉传感器数据同步采集系统
CN106705965A (zh) * 2017-01-12 2017-05-24 苏州中德睿博智能科技有限公司 场景三维数据配准方法及导航系统误差校正方法
CN207095572U (zh) * 2017-08-17 2018-03-13 苏州中德睿博智能科技有限公司 一种用于飞行系统中头盔姿态测量的硬件平台

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104280022A (zh) * 2013-07-13 2015-01-14 哈尔滨点石仿真科技有限公司 视觉辅助惯性测量单元的数字头盔显示设备跟踪系统
US9163933B1 (en) * 2014-03-28 2015-10-20 Rockwell Collins, Inc. Wearable head tracking system
CN105806334A (zh) * 2016-03-07 2016-07-27 苏州中德睿博智能科技有限公司 一种惯性传感器和视觉传感器数据同步采集系统
CN106705965A (zh) * 2017-01-12 2017-05-24 苏州中德睿博智能科技有限公司 场景三维数据配准方法及导航系统误差校正方法
CN207095572U (zh) * 2017-08-17 2018-03-13 苏州中德睿博智能科技有限公司 一种用于飞行系统中头盔姿态测量的硬件平台

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于惯性与光学技术的头位测量方法设计;王勇军等;《压电与声光》;20141231;第36卷(第6期);正文第1-4节 *
基于摄影测量法的头盔运动姿态测量技术;张虎龙等;《光电工程》;20111031;第38卷(第10期);全文 *

Also Published As

Publication number Publication date
CN108917746A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108917746B (zh) 头盔姿态测量方法、测量装置及测量系统
US10726576B2 (en) System and method for identifying a camera pose of a forward facing camera in a vehicle
EP3158417B1 (en) Sensor fusion using inertial and image sensors
EP2747418B1 (en) Image processor for processing images received from a plurality of image sensors
EP3734394A1 (en) Sensor fusion using inertial and image sensors
JP2019528501A (ja) マルチカメラシステムにおけるカメラ位置合わせ
CN107389968B (zh) 一种基于光流传感器和加速度传感器的无人机定点实现方法和装置
CN109444773B (zh) 一种固连外部磁体和磁传感器阵列的磁源检测装置
EP4155873A1 (en) Multi-sensor handle controller hybrid tracking method and device
CN102944183A (zh) 一种大展弦比柔性机翼测量方法
CN109597086A (zh) 一种非接触式直升机外吊挂物的运动测量方法
JP2001103395A (ja) ヘッド・マウント・ディスプレイ装置
CN111625021A (zh) 一种基于电磁场的无人机电力巡线测距系统及方法
CN207095572U (zh) 一种用于飞行系统中头盔姿态测量的硬件平台
CN114383612B (zh) 一种视觉辅助惯性差分位姿测量系统
CN108872624B (zh) 一种测速方法与装置
KR100648882B1 (ko) 무인 항공기 자동 항법 시스템의 관성 값 계산 장치 및 그방법
Brommer et al. INSANE: Cross-domain UAV data sets with increased number of sensors for developing advanced and novel estimators
EP2972069B1 (en) Method and device for measuring the optical distortion caused by an object
KR20160070384A (ko) 열화상 감지에 의한 비행물체 탐지시스템
CN111207688A (zh) 在载运工具中测量目标对象距离的方法、装置和载运工具
Chen et al. A robust optical/inertial data fusion system for motion tracking of the robot manipulator
US20230044834A1 (en) Micro-electromechanical inertial measurement unit
US10802276B2 (en) Display system, related display method and computer program
US11797127B1 (en) Hybrid tracking with auto-correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Xiao Dingbang

Inventor after: Wang Chaoguang

Inventor after: Wu Xuezhong

Inventor after: Lu Kuo

Inventor after: Gao Kai

Inventor after: Guan Rui

Inventor after: Zhao Qichao

Inventor after: Yue Linfeng

Inventor after: Tang Yuanjiang

Inventor before: Xiao Dingbang

Inventor before: Wang Chaoguang

Inventor before: Wu Xuezhong

Inventor before: Lu Kuo

Inventor before: Gao Kai

Inventor before: Guan Rui

Inventor before: Zhao Qichao

Inventor before: Yue Linfeng

Inventor before: Tang Yuanjiang

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Xiao Dingbang

Inventor after: Tang Yuanjiang

Inventor after: Wang Chaoguang

Inventor after: Wu Fang

Inventor after: Wu Xuezhong

Inventor after: Lu Kuo

Inventor after: Gao Kai

Inventor after: Guan Rui

Inventor after: Zhao Qichao

Inventor after: Yue Linfeng

Inventor before: Xiao Dingbang

Inventor before: Wang Chaoguang

Inventor before: Wu Xuezhong

Inventor before: Lu Kuo

Inventor before: Gao Kai

Inventor before: Guan Rui

Inventor before: Zhao Qichao

Inventor before: Yue Linfeng

Inventor before: Tang Yuanjiang

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant