CN109949655B - 用于头戴式显示系统的双重协调方法和系统 - Google Patents

用于头戴式显示系统的双重协调方法和系统 Download PDF

Info

Publication number
CN109949655B
CN109949655B CN201811570953.6A CN201811570953A CN109949655B CN 109949655 B CN109949655 B CN 109949655B CN 201811570953 A CN201811570953 A CN 201811570953A CN 109949655 B CN109949655 B CN 109949655B
Authority
CN
China
Prior art keywords
matrix
display
aircraft
head
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811570953.6A
Other languages
English (en)
Other versions
CN109949655A (zh
Inventor
B·艾默里克
S·鲁泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of CN109949655A publication Critical patent/CN109949655A/zh
Application granted granted Critical
Publication of CN109949655B publication Critical patent/CN109949655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G01C23/005—Flight directors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Gyroscopes (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明涉及用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法和系统。所述方法包括：通过一系列不同瞄准Vi获取头部姿势的N个测量
Figure DDA0001915502540000011
的步骤，不同瞄准中的每一个对准位于显示器D0上的不同固定位置Pi处的瞄准图案、具有位置Pi的函数的瞄准向量；将处于倾斜位置的显示器D0与跟踪第一元件D1之间的相对定向M01的矩阵计算为右矩阵
Figure DDA0001915502540000012
的步骤，右矩阵为对于i从1变化到N的双重协调方程组
Figure DDA0001915502540000013
的解，左矩阵
Figure DDA0001915502540000014
为固定的第二元件D2与姿态惯性设备D3之间的相对定向的矩阵M23，左矩阵假定根据时间保持恒定，且在其未知时，需要至少四个测量
Figure DDA0001915502540000015
头戴式显示系统配置成实施双重协调方法。

Description

用于头戴式显示系统的双重协调方法和系统
技术领域
本发明涉及一种用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调的方法。
背景技术
本发明属于用于飞行器(例如直升机或飞机)的驾驶人-系统接口(human-systeminterface，HSI)的技术领域，所述飞行器配备有头戴式显示系统(head-worn displaysystem，HWD)或头盔安装式显示系统(helmet-mounted display system，HMD)以及头部姿势检测设备DDP。
平视显示系统，无论是否是穿戴式，都能够使显示(具体来说为“符号”)符合外部世界，也就是说定位于飞行员眼部前方的符号的集合能够与外部世界中的对应元素重叠。该符号的集合可以是例如速度向量、地面上的或空中的目标、地形的合成图示或甚至传感器图像。
这种相符的显示器需要了解飞行器的位置和姿态，并且对于头戴式显示设备，需要了解显示器相对于联接到飞行器的固定参考系的姿态。关于这些各种位置和姿态，由航空电子设备系统提供飞行器的位置和姿态，且由姿势检测设备DDP提供显示器的位置和姿态。
举例来说，且具体地说，用于提供飞行器的位置和姿态的航空电子设备系统可分别是：
-全球定位系统(global positioning system，GPS)类型的全球定位设备；以及
-基于微机电系统(micro electro mechanical system，MEMS)类型或激光陀螺仪类型的陀螺仪和加速度计的惯性参考系统IRS，或姿态和航向参考系统AHRS。
众所周知，在驾驶舱中，在安装显示系统时执行头戴式显示系统的协调，以便计算从显示器参考系切换到飞行器参考系作出的角度校正，从而获得相符的平视显示器。
目前，如今的一些头戴式显示设备在显示设备或显示器与姿势检测系统DDP的穿戴部分之间具有一定的可移动性，这是因为例如当存在用于使显示器单独倾斜在操作员的视场之外的设备时，这两个元件(即显示器和DDP的移动式穿戴部分)之间缺少机械刚度。随后，在显示器再次倾斜进入操作员的视场时，需要再次继续进行协调，以便一旦安装了平视显示器就计算对头部进行的角度的新校正，从而能够在穿戴在头部上的显示设备中显示相符的符号。
为了能够且促进这种相对频繁的重新协调需求，已知的操作是在飞行器上安装专用仪器，称为视轴参考单元或视轴标线单元BRU。
在驾驶舱中面向操作员的头部安装的视轴参考单元BRU以对于平视系统固定且已知的定向显示准直符号。
每当需要重新对准相符的符号(即重新协调)时，操作员以视轴参考单元BRU的准直符号来对准操作员的平视显示器中显示的符号。
在平视显示器(即显示器)中显示的符号与准直符号对准时，检测设备输出协调系统随后根据三个校正角度计算旋转矩阵，以便重新协调显示器的参考系相对于飞行器的参考系的姿态。
这一基于视轴参考单元BRU的使用的协调系统的主要缺陷在于包含额外的一件仅专用于这一重新对准或协调功能的设备，且在安装复杂性、额外体积和重量方面的成本可能受到限制，特别是对于小型民用飞行器来说。这种BRU设备必须通过电导线供电且以稳定方式安装。这种BRU设备在其安装有附加错误项时需要冗长的协调过程。举例来说，在安装时或在维护操作期间，可能存在通过移动而不对准的风险。
此外，在承载件(即飞行器的承载结构)上的这一视轴参考单元BRU的定向的准确参数必须也引入到头盔安装式显示系统HMD中，且所述BRU单元随后相对于承载件必须一直保持完全固定。目前，现行机械技术并不能够保证驾驶舱中的BRU单元的安装不会有随时间推移变化的风险。实际上，振动环境、飞行员且具体来说维护操作员的介入可能轻微引起视轴参考单元BRU的旋转或移动，这导致无法补偿且在许多情况下无法检测到的视线的误差的引入，从而阻碍任何后续的重新协调。
第一个技术难题是如何提供一种头戴式显示系统和一种协调方法，所述协调方法在平视显示器或观察系统HWD/HMD具有用于松开和重新接合飞行员的视场中的显示器的机构、不对准的来源时，使得有可能重新对准外部世界上的符号，并且能够避免使用安装在驾驶舱内的校正地标(也是误差的来源)。
第二个技术难题是在平视显示系统HWD/HMD具有用于松开和重新接合飞行员的视场中的显示器的机构时，如何更精确地确定显示器D0与头部姿势检测子系统DDP的移动式跟踪元件D2之间的相对定向M01。
第三个技术难题是如何校正飞行器的定向(其由飞行器相对于地球的惯性位置提供)，具体为航向，对于相符的显示器通常尚不知晓具有足够精度的所述航向的值。
发明内容
为此，本发明的主题是一种用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法，所述头戴式显示系统包括：透明头戴式显示器D0；头部姿势检测子系统DDP，其具有牢固地附接到透明显示器D0的移动式跟踪第一元件D1、牢固地联接到飞行器的平台的固定的第二元件D2，以及用于测量并确定移动式跟踪第一元件D1相对于联接到平台的固定的第二元件D2的参考系的相对定向M12的装置；姿态惯性设备D3，其用于提供平台相对于联接到地球的地面参考系的相对姿态M3t；协调子系统，其用于使驾驶信息在显示器D0上的显示符合外部现实世界的头戴式显示系统，所述协调子系统具有用于管理和执行双重协调方法的实施的双重协调计算机以及人-系统接口。
双重协调方法的特征在于，其包括以下步骤：
-执行一系列整数N个不同瞄准Vi，N大于或等于3，i从1变化到N，其通过在外部现实世界的任何相同固定目标上对准居中的瞄准视觉图案、通过显示器D0来执行，每一瞄准Vi与显示器D0上的瞄准图案的中心的不同固定位置Pi相对应且具有确定为位置Pi的函数的瞄准向量
Figure GDA0003523730590000031
且对于每一瞄准Vi，获取跟踪元件相对于DDP参考方向的相对角定向的相对应测量
Figure GDA0003523730590000041
DDP参考方向相对于飞行器的平台为固定的，随后
-将处于倾斜位置的显示器D0与跟踪第一元件D1之间的相对定向M01的矩阵计算为右矩阵
Figure GDA0003523730590000042
所述右矩阵
Figure GDA0003523730590000043
为方程组：
Figure GDA0003523730590000044
的解，其中i＝1到N，向量
Figure GDA0003523730590000045
表示与在外部现实世界中瞄准的目标点相对应的平台的惯性参考系中的向量且为未知的，且左矩阵
Figure GDA0003523730590000046
为联接到飞行器的平台的固定的第二元件D2的参考系与姿态惯性设备D3的参考系之间的相对定向的矩阵M23，所述左矩阵可能不按规则但假定根据时间保持恒定，且在其未知时，需要至少四个测量
Figure GDA0003523730590000047
根据具体实施方案，双重协调方法包括以下特征中的一个或多个、单独采用或组合采用：
-测量的数目N大于或等于三，且联接到飞行器的平台的固定的第二元件D2的参考系与姿态惯性设备D3的参考系之间的相对定向的左矩阵
Figure GDA0003523730590000048
已知，并且i从1变化到N的方程组
Figure GDA0003523730590000049
的求解使用迭代过程和校正算子π(.)来确定矩阵
Figure GDA00035237305900000410
和向量
Figure GDA00035237305900000411
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小；
-方程组的求解的步骤包括以下第一组子步骤：在第一初始化子步骤中，通过将
Figure GDA00035237305900000412
设定为等于I3来初始化右矩阵的第一序列
Figure GDA00035237305900000413
[s]表示遍历序列
Figure GDA00035237305900000414
的整数项数，I3表示单位矩阵；随后通过利用以下方程式计算
Figure GDA00035237305900000415
随后
Figure GDA00035237305900000416
来重复第二迭代子步骤，以从[s]迭代到[s+1]：
Figure GDA00035237305900000417
Figure GDA00035237305900000418
序列
Figure GDA00035237305900000419
表示外部方向向量的第二序列，序列
Figure GDA00035237305900000420
和
Figure GDA00035237305900000421
分别朝向
Figure GDA00035237305900000422
和
Figure GDA00035237305900000423
收敛；随后，在第三终止子步骤中，在以由一或两个预定阈值定义的足够精度接近极限
Figure GDA00035237305900000424
和
Figure GDA00035237305900000425
时，终止通过第二子步骤执行的迭代过程；
-所述测量的数目N等于三，且由协调计算机将居中的瞄准视觉图案设定为固定在显示器上三个不同位置P1、P2、P3处，所述三个不同位置P1、P2、P3分别与三个瞄准V1、V2、V3相对应：第一位置P1在显示器的左侧部分中且垂直于中心，第二位置P2在显示器的右侧部分中且垂直于中心，第三位置P3水平于中心且向上；
-测量的数目N大于或等于四，且联接到飞行器的平台的参考系D2与联接到惯性单元D3的参考系之间的相对定向的左矩阵
Figure GDA0003523730590000051
未知，且并不试图确定所述向量
Figure GDA0003523730590000052
i从1变化到N的方程组：
Figure GDA0003523730590000053
的求解，其相当于对于i从1变化到4的方程组：
Figure GDA0003523730590000054
通过表示
Figure GDA0003523730590000055
进行求解，该求解使用迭代过程和校正算子π(.)来确定所述矩阵
Figure GDA0003523730590000056
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小；
-方程组的求解的步骤包括以下第二组子步骤：在第四初始化子步骤中，通过将
Figure GDA0003523730590000057
设定为等于I3来初始化右矩阵的第一序列
Figure GDA0003523730590000058
[s]表示遍历序列
Figure GDA0003523730590000059
的整数项数，I3表示单位矩阵；随后通过利用以下方程式计算第一矩阵序列的值
Figure GDA00035237305900000510
随后值
Figure GDA00035237305900000511
来重复第五迭代子步骤，以从[s]迭代到[s+1]：
Figure GDA00035237305900000512
Figure GDA00035237305900000513
序列
Figure GDA00035237305900000514
表示向量的辅助第二序列，且序列
Figure GDA00035237305900000515
朝向
Figure GDA00035237305900000516
收敛；随后在第六终止子步骤中，在以由预定阈值定义的足够精度接近极限
Figure GDA00035237305900000517
时，终止通过第五子步骤执行的迭代过程；
-测量的数目N等于四，且由协调计算机将居中的瞄准视觉图案设定为固定在显示器上四个不同位置P1、P2、P3、P4处，所述四个不同位置P1、P2、P3、P4分别与四个瞄准V1、V2、V3、V4相对应：第一位置P1在显示器的左侧部分中且垂直于中心，第二位置P2在显示器的右侧部分中且垂直于中心，第三位置P3水平于中心且向上，第四位置P4水平于中心且向下；
-对所确定的矩阵M01的了解用于通过校正显示器与姿势检测子系统DDP的跟踪元件之间的对准误差来重新对准符号；
-设置有中心点的视觉图案是符号的标线。
本发明的另一主题是一种用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的头戴式显示系统，所述头戴式显示系统包括：透明头戴式显示器D0；头部姿势检测子系统DDP，其具有牢固地附接到透明显示器D0的移动式跟踪第一元件D1、牢固地联接到飞行器的平台的固定的第二元件D2，以及用于测量并确定移动式跟踪第一元件D1相对于联接到平台的固定的第二元件D2的参考系的相对定向M12的装置；姿态惯性设备D3，其牢固地固定到平台，用于提供平台相对于联接到地球的地面参考系的相对姿态M3t；协调子系统，其用于使驾驶信息在显示器D0上的显示符合外部现实世界的头戴式显示系统，所述协调子系统具有用于管理和执行双重协调方法的实施的双重协调计算机以及人-系统接口。
头戴式显示系统的特征在于，协调子系统配置成：执行一系列整数N个不同瞄准Vi，N大于或等于3，i从1变化到N，其通过在外部现实世界的任何相同固定目标上对准居中的瞄准视觉图案、通过显示器D0来执行，每一瞄准Vi与显示器D0上的瞄准图案的中心的不同固定位置Pi相对应且具有确定为位置Pi的函数的瞄准向量
Figure GDA0003523730590000061
且对于每一瞄准Vi，获取跟踪元件相对于DDP参考方向的相对角定向的相对应测量
Figure GDA0003523730590000062
所述DDP参考方向相对于飞行器的平台为固定的；随后将处于倾斜位置的显示器D0与跟踪第一元件D1之间的相对定向M01的矩阵计算为右矩阵
Figure GDA0003523730590000063
所述右矩阵
Figure GDA0003523730590000064
为以下方程组的解：
Figure GDA0003523730590000065
其中i＝1到N，向量
Figure GDA0003523730590000066
表示与在外部现实世界中瞄准的目标点相对应的平台的惯性参考系中的向量且为未知的，且左矩阵
Figure GDA0003523730590000067
为联接到飞行器的平台的固定的第二元件D2的参考系与姿态惯性设备D3的参考系之间的相对定向的矩阵M23，所述左矩阵可能不按规则但假定根据时间保持恒定，且在其未知时，需要至少四个测量
Figure GDA0003523730590000068
根据具体实施方案，平视显示系统包括以下特征中的一个或多个、单独采用或组合采用：
-测量的数目N大于或等于三，且联接到飞行器的平台的参考系D2与联接到惯性单元D3的参考系之间的相对定向的左矩阵
Figure GDA0003523730590000071
已知；且i从1变化到N的方程组
Figure GDA0003523730590000072
的求解使用迭代过程和校正算子π(.)来确定矩阵
Figure GDA0003523730590000073
和向量
Figure GDA0003523730590000074
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小；
-方程组的求解的步骤包括以下第一组子步骤：在第一初始化子步骤中，通过将
Figure GDA0003523730590000075
设定为等于I3来初始化右矩阵的第一序列
Figure GDA0003523730590000076
[s]表示遍历序列
Figure GDA0003523730590000077
的整数项数，I3表示单位矩阵；随后通过利用以下方程式计算
Figure GDA0003523730590000078
随后
Figure GDA0003523730590000079
来重复第二迭代子步骤，以从[s]迭代到[s+1]：
Figure GDA00035237305900000710
Figure GDA00035237305900000711
序列
Figure GDA00035237305900000712
表示外部方向向量的第二序列，所述序列
Figure GDA00035237305900000713
和
Figure GDA00035237305900000714
分别朝向
Figure GDA00035237305900000715
和
Figure GDA00035237305900000716
收敛；随后在第三终止子步骤中，在以由一或两个预定阈值定义的足够精度接近极限
Figure GDA00035237305900000717
和
Figure GDA00035237305900000718
时，终止通过第二子步骤执行的迭代过程；
-测量的数目N大于或等于四，且联接到飞行器的平台的参考系D2与联接到惯性单元D3的参考系之间的相对定向的左矩阵
Figure GDA00035237305900000719
未知，并不试图确定向量
Figure GDA00035237305900000720
i从1变化到N的方程组：
Figure GDA00035237305900000721
的求解，其相当于对于i从1变化到4的方程组：
Figure GDA00035237305900000722
通过表示
Figure GDA00035237305900000723
Figure GDA00035237305900000724
进行求解，该求解使用迭代过程和校正算子π(.)来确定矩阵
Figure GDA00035237305900000725
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小；
-方程组的求解的步骤包括以下第二组子步骤：在第四初始化子步骤中，通过将
Figure GDA00035237305900000726
设定为等于I3来初始化右矩阵的第一序列
Figure GDA00035237305900000727
[s]表示遍历序列
Figure GDA00035237305900000728
的整数项数，I3表示单位矩阵；随后通过利用以下方程式计算第一矩阵序列的值
Figure GDA0003523730590000081
随后值
Figure GDA0003523730590000082
来重复第五迭代子步骤，以从[s]迭代到[s+1]：
Figure GDA0003523730590000083
Figure GDA0003523730590000084
序列
Figure GDA0003523730590000085
表示向量的辅助第二序列，且序列
Figure GDA0003523730590000086
朝向
Figure GDA0003523730590000087
收敛；随后在第六终止子步骤中，在以由预定阈值定义的足够精度接近极限
Figure GDA0003523730590000088
时，终止通过第五子步骤执行的迭代过程。
附图说明
通过阅读以下若干实施方案的描述将更好地理解本发明，所述若干实施方案的描述仅借助于示例且通过参考附图给出，在附图中：
图1为根据本发明的头戴式显示系统的图，所述头戴式显示系统用于使飞行器驾驶信息的显示符合外部现实世界，使得能够在不必使用充当驾驶舱内的校正地标的视轴参考单元或视轴标线单元BRU的情况下协调平视显示系统的所有组件；
图2为根据本发明的用于图1的头戴式显示系统的协调方法的第一实施方案的流程图；
图3为根据本发明的用于图1的头戴式显示系统的协调方法的第二实施方案的流程图。
具体实施方式
根据图1，根据本发明的用于使飞行器4的驾驶信息在显示器上的显示符合外部现实世界6的平视显示系统2包括以下设备和装置：
-透明头戴式显示设备或显示器12，表示为D0，其定位于飞行员的眼部14的前方且能够由飞行员用作取景器，例如镜头；
-姿势检测子系统DDP 16，其具有：移动式跟踪第一元件18，表示为D1，所述移动式跟踪第一元件18稳固地附接到头部19或附接到飞行员的头盔20，且在显示器D0位于飞行员的视场中时稳固地附接到显示器D0；固定的第二元件D2 22，其牢固地联接到飞行器4的平台24(又表示为“pl”)且充当相对于姿势检测子系统DDP 16的参考系；以及装置26，其用于测量并确定移动式跟踪第一元件18D1相对于联接到平台的固定的第二元件D2 22的参考系的相对定向M12，
-姿态惯性设备D3 30，例如AHRS惯性单元，其固定到平台，用于提供平台相对于联接到地球的地面参考系“t”的相对姿态M3t，
-设备32Dp，其用于提供飞行器相对于联接到地球的地面参考系的位置，其例如为GPS类型的卫星定位系统或无线电导航系统；
-用于平视显示系统2的双重协调子系统34，其用于使驾驶信息在显示器D0上的显示符合外部现实世界，所述协调子系统34具有用于管理和执行双重协调方法的实施的双重协调计算机36以及人-系统接口38。
双重协调计算机36可以是专门用于实施双重协调方法的电子计算机，或设置成还实施平视显示系统2的其它功能的更通用的电子计算机。
同样地，人-系统接口38可以是仅专用于执行协调方法的人-系统接口，或平视显示系统2的其它功能共用的更通用人-系统接口。
显示系统还包括用于限定、测量或确定固定的第二元件D2 22相对于地球的相对角定向M2t的装置42，以及使得有可能了解联接到平台24的固定的第二元件D2 22相对于姿态惯性设备D3 30的相对定向M23的装置44。
装置44以在安装头戴式显示系统2时执行的程序的形式实施，且假设定向M23随着时间推移保持不变。
装置42使用附接到飞行器的平台上且配置成测量其自身相对于地球的定向M3t的姿态惯性设备D3的数据，以及通过装置44提供的角定向M23。
相符的驾驶信息包括例如速度向量、地面上的目标、地形的合成图示或甚至电磁传感器的图像，所述电磁传感器例如是红外传感器。
值得注意的是，在平视显示系统的现有技术中，姿势检测子系统DDP 16在实践中由于其实施两个测量而相对较复杂：
-固定的第二元件D2相对于地球的相对角定向M2t的惯性测量，以及
-移动式跟踪第一元件D1相对于固定的第二元件D2的相对定向的直接测量，通常呈图像处理的形式，
并且姿势检测子系统DDP 16利用对固定的第二元件D2相对于地球的相对定向M2t的了解。然而，虽然这一特定特征使得算法更复杂，但这一特定特征对本发明的平视显示系统和双重协调方法没有影响，随后将可能会设想跟踪第一元件D1相对于固定的第二元件D2的相对定向M12仅通过姿势检测子系统DDP的直接测量而提供。
在本文中且根据后续优选实施方案，姿势检测子系统DDP 16配置成提供原始DDP输出数据，所述原始DDP输出数据从跟踪第一元件D1相对于固定的第二元件D2的相对定向的直接光学测量优先导出。
还值得注意的是，本文中出于简化目的，平台和姿态惯性设备D3是相关的。通常，用于提供相对定向M23的装置44配置成用两个步骤执行这一功能：第一步骤是通过平台转移，其中，姿态惯性设备D3的三轴参考系与平台的三轴参考系“对准”；然后第二步骤是固定的第二元件D2的定向在平台的参考系上进行协调。
这些评述在本文中对本发明的内容没有影响。
接着，使得有可能知道一个参考系“i”与另一“j”的相对定向的装置Mij在本文中的下文中被比作描述这一定向的矩阵。实际上，一个参考系相对于另一参考系的定向Mij可同等地描述为：
-三个所谓的欧拉角，通常在航空学中对应于这些以下角度的旋转顺序：
*方位角：围绕向下定向的轴z(或朝向地球)旋转；
*俯仰角：围绕向右定向的轴y(或朝向地球的东方)旋转；
*摇摆角：围绕朝向正面定向的轴x(或朝向地球的北方)旋转，
-描述这一旋转的3×3矩阵。
接着，还可能将矩阵Mij表示为M(i/j)，矩阵Mij或M(i/j)描述参考系“i”相对于“j”(或从“i”到“j”)的相对定向。如果vi表述参考系“i”中的向量且vj表述参考系“j”中的这一向量，那么应用所述关系。因此，存在关系：vi＝M(i/j)×vj，以及参考系之间的转移的关系：M(i/k)(从i到k)＝M(j/k)×M(i/j)。
用于根据本发明的平视显示系统的协调方法的基本原理在于使用用作地标的外部地面景观的预定元素和特定数目的瞄准，所述瞄准在于根据显示器上的标线的位置的数目在该外部元素上对准或叠加相对于显示器固定的符号的标线，所述标线的位置的数目取决于受显示器D0相对于紧固到头部的姿势检测子系统的移动式跟踪第一元件D1的相对角定向的误差影响的自由度。
根据图2，用于使飞行器驾驶信息在显示器上的显示符合外部地面世界的头戴式显示系统的双重协调方法包括一组步骤。
在第一启动步骤204中，由头戴式显示系统的用户启动用于协调以使信息的显示符合外部地面世界的程序的触发，例如通过按压并保持位于驾驶舱中并专用于这一重新对准的按钮。显示系统随后设定为协调模式。
随后，在获取瞄准测量的第二步骤206中，例如符号的标线的居中的瞄准视觉图案设定为由计算机固定在显示器的不同位置处，所述不同位置例如为以下三个不同位置：(P1)显示器的左边并垂直于中心，(P2)显示器的右边并垂直于中心，随后(P3)水平于中心并向上。同样地在第二步骤206中，分别表示为V1、V2、V3的相对应的瞄准通过在充当地标的现实外部地面景观的预定元素上对准或叠加位于显示器的不同位置P1、P2、P3处的标线来执行。这些瞄准V1、V2、V3必须通过采用头部摇摆来执行：围绕摇摆轴(即视轴)向右一次，围绕摇摆轴向左一次。对于最优性能，标线的每一位置可产生两个瞄准：头部向左倾斜随后向右倾斜，但这一条件对于实现质量协调是不必要的。
对于每一瞄准Vi(i从1变化到3)，姿势检测子系统DDP的移动部分D1相对于形成子系统的固定部分的设备D2的相对定向的相对应测量矩阵Ki(i从1变化到3)由姿势检测子系统DDP测量并由子系统自身或由子系统连接到的电子协调计算机计算。
随后，在第三步骤208中，协调计算机求解以下双重协调方程式：
Figure GDA0003523730590000111
其中：
-左校正矩阵G正是从设备D2(基准参考系)转移到设备D3的惯性单元的矩阵M23；
-矩阵Ki是与来自每一瞄准V1、V2、V3的姿势检测子系统DDP的数据相对应的测量的矩阵以及与每一瞄准相对应的相同矩阵M12i；
-右校正矩阵D是本文中寻求的使得能够从显示器D0切换到角跟踪元件D1的矩阵M01；
-向量xi是与用于每一瞄准Vi(i从1变化到3)的瞄准标线的位置Pi相对应的向量。如果定位于位置Pi处的标线显示为具有方位角xi°和俯仰角yi°，那么显示器的参考系中表示的向量xi是列向量[cos(xi°)×cos(yi°)；sin(xi°)×cos(yi°)；-sin(yi°)]；
-向量y0是与在外部世界中瞄准的充当地标的点相对应的惯性单元的参考系中的向量。举例来说，精确地定位于惯性单元D3的轴中的充当地标的目标点将具有坐标(1；0；0)。
为求解协调方程式，根据方向y0的计算是否为需要的，第三步骤208使用在与本申请的法国优先权文件同日提交的申请号为FR1701343、名称为“Procédé d’harmonisationduale d’un sous-système de détection de posture DDP intégré dans un systèmede visualisation
Figure GDA0003523730590000121
haute porté”的法国专利中描述的第五和第六实施方案的算法。
在需要方向y0的计算时，矩阵G必须已知且坐标必须以G的参考系表示，第三步骤208使用在申请号为FR1701343、名称为“Procédé d’harmonisation duale d’un sous-système de détection de posture DDP intégrédans un système de visualisation
Figure GDA0003523730590000122
haute porté”的法国专利申请中描述的双重协调算法的第五实施方案，且实施第一、第二、第三计算子步骤214、216、218的第一组212。
双重协调算法的第五实施方案通过第一、第二、第三计算子步骤214、216、218求解i从1变化到3的方程组：
Figure GDA0003523730590000123
在第一初始化子步骤214中，通过将
Figure GDA0003523730590000124
设定为等于I3来初始化右矩阵的第一序列
Figure GDA0003523730590000125
I3表示单位矩阵。
随后，通过利用以下方程式计算
Figure GDA0003523730590000126
然后
Figure GDA0003523730590000127
来重复第二迭代子步骤216，以从[s]迭代到[s+1]：
Figure GDA0003523730590000128
Figure GDA0003523730590000129
序列
Figure GDA00035237305900001210
表示外部方向向量的第二序列。
序列
Figure GDA0003523730590000131
和
Figure GDA0003523730590000132
分别朝向
Figure GDA0003523730590000133
和
Figure GDA0003523730590000134
收敛。
在第三终止子步骤218中，通过第二子步骤216执行的迭代过程在以足够精度接近极限
Figure GDA0003523730590000135
和
Figure GDA0003523730590000136
时终止。
值得注意的是，双重协调计算的第五配置模式要求(作为使用限制)测量N的最小数目大于或等于3且向量族
Figure GDA0003523730590000137
为自由的。这意味着，作为用于图2中描述的显示器的双重协调方法(其中测量的数目等于3)的协调方法的变型，根据第一实施方案的双重协调方法也可获取测量Ki(即瞄准Vi)的严格大于3的数目，其条件为向量族
Figure GDA0003523730590000138
为自由的，且通过使用双重协调算法的第六实施方案来处理测量Ki。
根据图3和第二实施方案，用于协调以使驾驶信息在显示器上的显示符合外部地面世界的方法302包括第四步骤304、第五步骤306、第六步骤308的第二组303。
在第四启动步骤304中，与第一步骤204一致，由头戴式显示系统的用户启动用于协调以使信息的显示符合外部地面世界的程序302的触发，例如通过保持对位于驾驶舱中并专用于这一重新对准的按钮的按压。显示系统随后设定为协调模式。
随后，在获取瞄准测量的第五步骤306中，符号的标线设定为由协调计算机固定在显示器的四个不同位置处，例如以下四个不同位置：(P1)显示器的左边并垂直于中心，(P2)显示器的右边并垂直于中心，(P3)水平于中心并向上，以及(P4)水平于中心并向下。同样地，在第五步骤306中，分别表示为V1、V2、V3、V4的相对应的瞄准通过将设定在显示器上不同位置P1、P2、P3、P4处的标线对准或叠加在充当地标的外部现实地面景观的预定元素上来执行。这些瞄准V1、V2、V3、V4必须通过采用头部摇摆来执行：围绕摇摆轴(即视轴)向右一次，围绕摇摆轴向左一次。对于最优性能，标线的每一位置可产生两个瞄准：头部向左倾斜随后向右倾斜，但这一条件对于实现质量协调是不必要的。
对于每一瞄准Vi(i从1变化到3)，姿势检测子系统DDP的移动部分D1相对于形成子系统的固定部分的设备D2的相对定向的相对应测量的矩阵Ki(i从1变化到4)由姿势检测子系统DDP测量并由子系统自身或由子系统连接到的电子协调计算机计算。
随后，在第六步骤308中，协调计算机求解以下双重协调方程组：
Figure GDA0003523730590000141
其中：
-左校正矩阵G正是从设备D2(基准参考系)转移到设备D3的惯性单元的矩阵M23；
-矩阵Ki是与对于每一瞄准V1、V2、V3、V4的来自姿势检测子系统DDP的数据相对应的测量的矩阵以及与每一瞄准相对应的相同矩阵M12i；
-右校正矩阵D是本文中寻求的使得有可能从显示器D0切换到角跟踪元件D1的矩阵M01；
-向量xi是与用于每一瞄准Vi(i从1变化到4)的瞄准标线的位置Pi相对应的向量。如果定位于位置Pi处的标线显示为具有方位角xi°和俯仰角yi°，那么显示器的参考系中表示的向量xi是列向量[cos(xi°)×cos(yi°)；sin(xi°)×cos(yi°)；-sin(yi°)]；
-向量y0是与在外部世界中瞄准的充当地标的点相对应的惯性单元的参考系中的向量。举例来说，精确地定位于惯性单元D3的轴中的充当地标的目标点将具有坐标(1；0；0)。
本文中，待求解的双重协调方程组与协调方法的第二实施方案的方程组的区别在于：
-瞄准Vi的数目等于4，向量族
Figure GDA0003523730590000142
为自由的，
-矩阵G未知且可采用任何矩阵G；以及
-并不试图计算地标y0的方向。
在这种情况下，为求解协调方程式，第六步骤308使用在与本申请的法国优先权文件同日提交的申请号为FR1701343、名称为“Procédé d’harmonisation duale d’un sous-système de détection de posture DDP intégré dans un système de visualisation
Figure GDA0003523730590000143
haute porté”的法国专利申请中描述的第六配置的算法，且实施第四、第五、第六计算子步骤314、316、318的第二组312中的一个。
第六配置的双重求解协调算法相当于求解对于i从1变化到4的方程组：
Figure GDA0003523730590000144
以通过表示
Figure GDA0003523730590000145
求解对于i从1变化到4的方程组：
Figure GDA0003523730590000146
在第四子步骤314中，通过将
Figure GDA0003523730590000147
设定为等于I3来初始化右矩阵的第一序列
Figure GDA0003523730590000151
I3表示单位矩阵。
随后，通过利用以下方程式计算
Figure GDA0003523730590000152
随后
Figure GDA0003523730590000153
来重复第五迭代子步骤416，以从[s]迭代到[s+1]：
Figure GDA0003523730590000154
Figure GDA0003523730590000155
序列
Figure GDA0003523730590000156
表示外部方向向量的第二序列。
序列
Figure GDA0003523730590000157
朝向
Figure GDA0003523730590000158
收敛。
在第六终止子步骤418中，通过第五子步骤316执行的迭代过程在以足够精度接近极限
Figure GDA0003523730590000159
时终止。
值得注意的是，第六配置的双重协调算法要求(作为使用限制)测量N的最小数目大于或等于4且向量族
Figure GDA00035237305900001510
为自由的。这意味着，作为用于图3中描述的显示器的双重协调方法302(其中测量的数目等于4)的变型，根据本发明的双重协调方法也可获取测量Ki(即瞄准Vi的)严格地大于4的数目，其条件为向量族
Figure GDA00035237305900001511
为自由的，且通过使用双重协调算法的第六实施方案来处理测量Ki。
因此，对BRU单元相对于承载件的定向的了解已用不同瞄准由对基准方向的一致性的假定取代。因此，显示器相对于基准参考系D2的定向的旋转矩阵M03(如果其为完全未知的)在不同瞄准中为相同的。通过使用：
-移动式跟踪元件D1相对于姿势检测子系统DDP的固定元件D2的相对定向的矩阵M12的测量，以及
-对矩阵M23(即左矩阵G)可能不按规则但假定为保持恒定的了解，
能够确定显示器D0相对于姿势检测子系统DDP的移动式跟踪元件的相对定向的矩阵M01，使得对于每一测量：M12×M01×瞄准向量＝恒定向量。本文中，瞄准向量是形成族
Figure GDA00035237305900001512
的向量。
有利的是，除了节省诸如BRU的校正仪器以及特别是校正仪器的复杂的安装以外，根据本发明的双重协调方法还使得有可能获得比通过使用BRU提供的对准精度更好的对准精度，特别是对于在摇摆方面的协调。
上文所描述的双重协调方法也使得有可能免除BRU与惯性设备D3之间的相对定向的误差和偏移。

Claims (14)

1.一种用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法，
所述头戴式显示系统包括：
-透明头戴式显示器D0(12)，
-头部姿势检测子系统(16)，其具有牢固地附接到透明显示器D0(12)的移动式跟踪第一元件D1(18)、牢固地联接到飞行器的平台(24)的固定的第二元件D2(22)，以及用于测量并确定移动式跟踪第一元件D1(18)相对于联接到平台(24)的固定的第二元件D2(22)的参考系的相对定向M12的装置(26)，
-姿态惯性设备D3(30)，其用于提供平台(24)相对于联接到地球的地面参考系的相对姿态M3t，
-协调子系统(34)，其用于使驾驶信息在显示器D0上的显示符合外部现实世界的头戴式显示系统，所述协调子系统(34)具有用于管理和执行所述双重协调方法的实施的双重协调计算机以及人-系统接口，
所述双重协调方法的特征在于，其包括以下步骤：
-执行一系列整数N个不同瞄准Vi，N大于或等于3，i从1变化到N，其通过在外部现实世界的任何相同固定目标上对准居中的瞄准视觉图案经由显示器D0来执行，每一瞄准Vi与显示器D0上的瞄准图案的中心的不同固定位置Pi相对应且具有确定为所述位置Pi的函数的瞄准向量
Figure FDA0003404419570000011
且对于每一瞄准Vi，获取跟踪元件相对于头部姿势检测子系统参考方向的相对角定向的相对应测量
Figure FDA0003404419570000012
所述头部姿势检测子系统参考方向相对于飞行器的平台为固定的，随后
-将处于倾斜位置的显示器D0与跟踪第一元件D1之间的相对定向M01的矩阵计算为右矩阵
Figure FDA0003404419570000013
所述右矩阵
Figure FDA0003404419570000014
为以下方程组的解：
Figure FDA0003404419570000015
其中i＝1到N
向量
Figure FDA0003404419570000016
表示与在外部现实世界中瞄准的目标点相对应的平台的惯性参考系中的向量且为未知的；并且
左矩阵
Figure FDA0003404419570000017
为联接到飞行器的平台的固定的第二元件D2的参考系与姿态惯性设备D3的参考系之间的相对定向的矩阵M23，所述左矩阵可能不按规则但假定根据时间保持恒定，且在其未知时，需要至少四个测量
Figure FDA0003404419570000021
2.根据权利要求1所述的用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法，其中
所述测量的数目N大于或等于三，且联接到所述飞行器的平台的固定的第二元件D2的参考系与姿态惯性设备D3的参考系之间的相对定向的所述左矩阵
Figure FDA0003404419570000022
已知，并且
i从1变化到N的所述方程组
Figure FDA0003404419570000023
的求解使用迭代过程和校正算子π(.)来确定所述矩阵
Figure FDA0003404419570000024
和所述向量
Figure FDA0003404419570000025
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小。
3.根据权利要求2所述的用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法，其中
所述方程组的求解的步骤包括以下第一组子步骤：
-在第一初始化子步骤中，通过将
Figure FDA0003404419570000026
设定为等于I3来初始化右矩阵的第一序列
Figure FDA0003404419570000027
[s]表示遍历序列
Figure FDA0003404419570000028
的整数项数，I3表示单位矩阵；随后
-通过利用以下方程式计算
Figure FDA0003404419570000029
来重复第二迭代子步骤，以从[s]迭代到[s+1]：
Figure FDA00034044195700000210
Figure FDA00034044195700000211
序列
Figure FDA00034044195700000212
表示外部方向向量的第二序列，且所述序列
Figure FDA00034044195700000213
和
Figure FDA00034044195700000214
分别朝向
Figure FDA00034044195700000215
和
Figure FDA00034044195700000216
收敛；随后
-在第三终止子步骤中，在以由一或两个预定阈值定义的足够精度接近极限
Figure FDA00034044195700000217
和
Figure FDA00034044195700000218
时，终止通过第二子步骤执行的所述迭代过程。
4.根据权利要求2和3中任一项所述的用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法，其中
所述测量的数目N等于三，且
由所述协调计算机将居中的瞄准视觉图案设定为固定在所述显示器上三个不同位置P1、P2、P3处，所述三个不同位置P1、P2、P3分别与三个瞄准V1、V2、V3相对应：
第一位置P1在所述显示器的左侧部分中且垂直于所述中心，
第二位置P2在所述显示器的右侧部分中且垂直于所述中心，
第三位置P3水平于所述中心且向上。
5.根据权利要求1所述的用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法，其中
所述测量的数目N大于或等于四，且联接到所述飞行器的平台的参考系D2与联接到所述姿态惯性设备D3的参考系之间的相对定向的所述左矩阵
Figure FDA0003404419570000031
未知，且
并不试图确定所述向量
Figure FDA0003404419570000032
i从1变化到N的所述方程组：
Figure FDA0003404419570000033
的求解，其相当于对于i从1变化到4的方程组：
Figure FDA0003404419570000034
通过表示
Figure FDA0003404419570000035
进行求解，该求解使用迭代过程和校正算子π(.)来确定所述矩阵
Figure FDA0003404419570000036
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小。
6.根据权利要求5所述的用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法，其中
所述方程组的求解的步骤包括以下第二组子步骤：
-在第四初始化子步骤中，通过将
Figure FDA0003404419570000037
设定为等于I3来初始化右矩阵的第一序列
Figure FDA0003404419570000038
[s]表示遍历序列
Figure FDA0003404419570000039
的整数项数，I3表示单位矩阵；随后
-通过利用以下方程式计算第一矩阵序列的值
Figure FDA00034044195700000310
值
Figure FDA00034044195700000311
来重复第五迭代子步骤，以从[s]迭代到[s+1]：
Figure FDA0003404419570000041
Figure FDA0003404419570000042
序列
Figure FDA0003404419570000043
表示向量的辅助第二序列，且所述序列
Figure FDA0003404419570000044
朝向
Figure FDA0003404419570000045
收敛；随后
-在第六终止子步骤中，在以由预定阈值定义的足够精度接近极限
Figure FDA0003404419570000046
时，终止通过第五子步骤执行的所述迭代过程。
7.根据权利要求5和6中任一项所述的用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法，其中
所述测量的数目N等于四，且
由所述协调计算机将居中的瞄准视觉图案设定为固定在所述显示器上四个不同位置P1、P2、P3、P4处，所述四个不同位置P1、P2、P3、P4分别与四个瞄准V1、V2、V3、V4相对应：
-第一位置P1在所述显示器的左侧部分中且垂直于所述中心，
-第二位置P2在所述显示器的右侧部分中且垂直于所述中心，
-第三位置P3水平于所述中心且向上，
-第四位置P4水平于所述中心且向下。
8.根据权利要求1所述的用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法，其中
对所确定的矩阵M01的了解用于通过校正所述显示器与所述姿势检测子系统的跟踪元件之间的对准误差来重新对准符号。
9.根据权利要求1所述的用于使飞行器驾驶信息的显示符合外部现实世界的头戴式显示系统的双重协调方法，其中
设置有中心点的视觉图案是符号的标线。
10.一种用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的头戴式显示系统，其包括：
-透明头戴式显示器D0(12)，
-头部姿势检测子系统(16)，其具有牢固地附接到透明显示器D0的移动式跟踪第一元件D1(18)、牢固地联接到所述飞行器的平台的固定的第二元件D2(22)，以及用于测量并确定所述移动式跟踪第一元件D1(18)相对于联接到所述平台的固定的第二元件D2(22)的参考系的相对定向M12的装置(26)，
-姿态惯性设备D3(30)，其用于提供所述平台相对于联接到地球的地面参考系的相对姿态M3t，所述姿态惯性设备牢固地固定到所述平台，
-协调子系统(34)，其用于使驾驶信息在所述显示器D0上的显示符合外部现实世界的所述头戴式显示系统，所述协调子系统(34)具有用于管理和执行双重协调方法的实施的双重协调计算机(36)以及人-系统接口(38)，
所述头戴式显示系统的特征在于，所述协调子系统(34)配置成：
-执行一系列整数N个不同瞄准Vi，N大于或等于3，i从1变化到N，其通过在外部现实世界的任何相同固定目标上对准居中的瞄准视觉图案经由显示器D0来执行，每一瞄准Vi与显示器D0上的瞄准图案的中心的不同固定位置Pi相对应且具有确定为所述位置Pi的函数的瞄准向量
Figure FDA0003404419570000051
且对于每一瞄准Vi，获取跟踪元件相对于头部姿势检测子系统参考方向的相对角定向的相对应测量
Figure FDA0003404419570000052
所述头部姿势检测子系统参考方向相对于所述飞行器的平台为固定的，随后
-将处于倾斜位置的所述显示器D0与跟踪第一元件D1之间的相对定向M01的矩阵计算为右矩阵
Figure FDA0003404419570000053
所述右矩阵
Figure FDA0003404419570000054
为以下方程组的解：
Figure FDA0003404419570000055
其中i＝1到N
向量
Figure FDA0003404419570000056
表示与在外部现实世界中瞄准的目标点相对应的所述平台的惯性参考系中的向量，且为未知的；并且
左矩阵
Figure FDA0003404419570000057
为联接到所述飞行器的平台的固定的第二元件D2的参考系与所述姿态惯性设备D3的参考系之间的相对定向的矩阵M23，所述左矩阵可能不按规则但假定根据时间保持恒定，且在其未知时，需要至少四个测量
Figure FDA0003404419570000058
11.根据权利要求10所述的用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的头戴式显示系统，其中：
所述测量的数目N大于或等于三，且联接到所述飞行器的平台的固定的第二元件D2的参考系与联接到所述姿态惯性设备D3的参考系之间的相对定向的左矩阵
Figure FDA0003404419570000061
已知，且
i从1变化到N的所述方程组
Figure FDA0003404419570000062
的求解使用迭代过程和校正算子π(.)来确定矩阵
Figure FDA0003404419570000063
和向量
Figure FDA0003404419570000064
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小。
12.根据权利要求11所述的用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的头戴式显示系统，其中：
所述方程组的求解的步骤包括以下第一组子步骤：
-在第一初始化子步骤中，通过将
Figure FDA0003404419570000065
设定为等于I3来初始化右矩阵的第一序列
Figure FDA0003404419570000066
[s]表示遍历序列
Figure FDA0003404419570000067
的整数项数，I3表示单位矩阵；随后
-通过利用以下方程式计算
Figure FDA0003404419570000068
来重复第二迭代子步骤，以从[s]迭代到[s+1]：
Figure FDA0003404419570000069
Figure FDA00034044195700000610
序列
Figure FDA00034044195700000611
表示外部方向向量的第二序列，所述序列
Figure FDA00034044195700000612
和
Figure FDA00034044195700000613
分别朝向
Figure FDA00034044195700000614
和
Figure FDA00034044195700000615
收敛；随后
-在第三终止子步骤中，在以由一或两个预定阈值定义的足够精度接近极限
Figure FDA00034044195700000616
和
Figure FDA00034044195700000617
时，终止通过第二子步骤执行的所述迭代过程。
13.根据权利要求10所述的用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的头戴式显示系统，其中：
-所述测量的数目N大于或等于四，且联接到所述飞行器的平台的固定的第二元件D2的参考系与联接到所述姿态惯性设备D3的参考系之间的相对定向的左矩阵
Figure FDA0003404419570000071
未知，且
-并不试图确定所述向量
Figure FDA0003404419570000072
i从1变化到N的方程组：
Figure FDA0003404419570000073
的求解，其相当于对于i从1变化到4的方程组：
Figure FDA0003404419570000074
通过表示
Figure FDA0003404419570000075
进行求解，该求解使用迭代过程和校正算子π(.)来确定所述矩阵
Figure FDA0003404419570000076
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小。
14.根据权利要求13所述的用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的头戴式显示系统，其中：
所述方程组的求解的步骤包括以下第二组子步骤：
-在第四初始化子步骤中，通过将
Figure FDA0003404419570000077
设定为等于I3来初始化右矩阵的第一序列
Figure FDA0003404419570000078
[s]表示遍历序列
Figure FDA0003404419570000079
的整数项数，I3表示单位矩阵；随后
-通过利用以下方程式计算第一矩阵序列的值
Figure FDA00034044195700000710
值
Figure FDA00034044195700000711
来重复第五迭代子步骤，以从[s]迭代到[s+1]：
Figure FDA00034044195700000712
Figure FDA00034044195700000713
序列
Figure FDA00034044195700000714
表示向量的辅助第二序列，且所述序列
Figure FDA00034044195700000715
朝向
Figure FDA00034044195700000716
收敛；随后
-在第六终止子步骤中，在以由预定阈值定义的足够精度接近极限
Figure FDA00034044195700000717
时，终止通过第五子步骤执行的所述迭代过程。
CN201811570953.6A 2017-12-21 2018-12-21 用于头戴式显示系统的双重协调方法和系统 Active CN109949655B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1701342 2017-12-21
FR1701342A FR3075985B1 (fr) 2017-12-21 2017-12-21 Procede et systeme d'harmonisation duale d'un systeme d'affichage tete haute porte pour rendre conforme l'affichage d'informations de pilotage d'un aeronef avec le monde reel exterieur

Publications (2)

Publication Number Publication Date
CN109949655A CN109949655A (zh) 2019-06-28
CN109949655B true CN109949655B (zh) 2022-05-13

Family

ID=61913217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811570953.6A Active CN109949655B (zh) 2017-12-21 2018-12-21 用于头戴式显示系统的双重协调方法和系统

Country Status (5)

Country Link
US (1) US10761326B2 (zh)
EP (1) EP3502842B1 (zh)
CN (1) CN109949655B (zh)
FR (1) FR3075985B1 (zh)
IL (1) IL263055B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023281488A1 (en) * 2021-07-04 2023-01-12 Elbit Systems Ltd. A conformal display system and a method thereof
IL284600B2 (en) * 2021-07-04 2023-10-01 Elbit Systems Ltd System and method for non-conformal display
US11880503B1 (en) * 2022-12-19 2024-01-23 Rockwell Collins, Inc. System and method for pose prediction in head worn display (HWD) headtrackers

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102753987A (zh) * 2009-12-18 2012-10-24 泰勒斯公司 光电子系统的测量仪器的校准方法
CN103718213A (zh) * 2012-01-13 2014-04-09 索弗特凯耐提克软件公司 自动场景校准
CN103889325A (zh) * 2011-10-17 2014-06-25 皇家飞利浦有限公司 用于监测用户的设备和用于校准该设备的方法
WO2015165838A1 (fr) * 2014-04-30 2015-11-05 Thales Systeme avionique comportant des moyens de designation et de marquage du terrain
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准
CN107014378A (zh) * 2017-05-22 2017-08-04 中国科学技术大学 一种视线跟踪瞄准操控系统及方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5138555A (en) * 1990-06-28 1992-08-11 Albrecht Robert E Helmet mounted display adaptive predictive tracking
US6234799B1 (en) * 1998-04-06 2001-05-22 American Gnc Corporation Real-time IMU simulator
US6449559B2 (en) * 1998-11-20 2002-09-10 American Gnc Corporation Fully-coupled positioning process and system thereof
IL145032A0 (en) * 1999-03-01 2002-06-30 Bae Sys Electronics Ltd Head tracker system
GB9917591D0 (en) * 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
US7409290B2 (en) * 2004-04-17 2008-08-05 American Gnc Corporation Positioning and navigation method and system thereof
US7437223B2 (en) * 2005-08-05 2008-10-14 The Boeing Company Heading reference command and control algorithm and cueing systems and methods for aircraft turn-to-target maneuvers
US8019490B2 (en) * 2006-09-29 2011-09-13 Applied Minds, Llc Imaging and display system to aid helicopter landings in brownout conditions
US8019538B2 (en) * 2007-07-25 2011-09-13 Honeywell International Inc. System and method for high accuracy relative navigation
WO2009081177A2 (en) * 2007-12-21 2009-07-02 Bae Systems Plc Apparatus and method for landing a rotary wing aircraft
CA2765668A1 (en) * 2009-06-16 2010-12-23 Saab Ab Method and arrangement of a flight simulator system
US9298985B2 (en) * 2011-05-16 2016-03-29 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
WO2011143655A1 (en) * 2010-05-14 2011-11-17 Advitech, Inc. System and method for prevention and control of the effects of spatial disorientation
CN103246350A (zh) * 2013-05-14 2013-08-14 中国人民解放军海军航空工程学院 基于感兴趣区实现辅助信息提示的人机接口设备及方法
US9785231B1 (en) * 2013-09-26 2017-10-10 Rockwell Collins, Inc. Head worn display integrity monitor system and methods
US10320073B2 (en) * 2014-01-14 2019-06-11 Viasat, Inc. Mobile terminal antenna alignment using arbitrary orientation attitude
US9766075B2 (en) * 2014-05-02 2017-09-19 Thales Visionix, Inc. Registration for vehicular augmented reality using auto-harmonization
GB2529683A (en) * 2014-08-29 2016-03-02 Bae Systems Plc Image display
GB2529682A (en) * 2014-08-29 2016-03-02 Bae Systems Plc Image display
GB2529684A (en) * 2014-08-29 2016-03-02 Bae Systems Plc Image display
KR101666561B1 (ko) * 2015-07-13 2016-10-24 한국과학기술원 증강 공간 내 부분 공간 획득 시스템 및 방법
US9541763B1 (en) * 2015-07-29 2017-01-10 Rockwell Collins, Inc. Active HUD alignment
US9984586B2 (en) * 2015-11-22 2018-05-29 Victor Popa-Simil Method and device to improve the flying abilities of the airborne devices operator
JP6668170B2 (ja) * 2016-06-07 2020-03-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、およびコンピュータプログラム
US9891705B1 (en) * 2016-08-25 2018-02-13 Rockwell Collins, Inc. Automatic boresighting of head-worn display
JP6732617B2 (ja) * 2016-09-21 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
US10216265B1 (en) * 2017-08-07 2019-02-26 Rockwell Collins, Inc. System and method for hybrid optical/inertial headtracking via numerically stable Kalman filter

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102753987A (zh) * 2009-12-18 2012-10-24 泰勒斯公司 光电子系统的测量仪器的校准方法
CN103889325A (zh) * 2011-10-17 2014-06-25 皇家飞利浦有限公司 用于监测用户的设备和用于校准该设备的方法
CN103718213A (zh) * 2012-01-13 2014-04-09 索弗特凯耐提克软件公司 自动场景校准
WO2015165838A1 (fr) * 2014-04-30 2015-11-05 Thales Systeme avionique comportant des moyens de designation et de marquage du terrain
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准
CN107014378A (zh) * 2017-05-22 2017-08-04 中国科学技术大学 一种视线跟踪瞄准操控系统及方法

Also Published As

Publication number Publication date
EP3502842A1 (fr) 2019-06-26
EP3502842B1 (fr) 2020-05-13
FR3075985A1 (fr) 2019-06-28
CN109949655A (zh) 2019-06-28
FR3075985B1 (fr) 2019-11-15
US10761326B2 (en) 2020-09-01
IL263055A (en) 2019-03-31
IL263055B (en) 2021-01-31
US20190196192A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
US10216265B1 (en) System and method for hybrid optical/inertial headtracking via numerically stable Kalman filter
Azuma et al. A motion-stabilized outdoor augmented reality system
KR102391993B1 (ko) 자동-조화를 이용한 차량용 증강현실을 위한 향상된 레지스트레이션
CN110027717B (zh) 以svs在佩戴式显示器上再调整关于飞行器驾驶且与真实外界相符的符号的方法和系统
CN109949655B (zh) 用于头戴式显示系统的双重协调方法和系统
CN107014378A (zh) 一种视线跟踪瞄准操控系统及方法
KR101017606B1 (ko) 단일영상을 이용한 자세각센서 삼차원 오정렬 보정방법
US10690925B2 (en) Dual harmonization method and system for a worn head-up display system with a removable attitude inertial device in the cockpit
CN110487267A (zh) 一种基于vio&uwb松组合的无人机导航系统及方法
CA2720437C (en) Systems and methods for determining heading
US20150296185A1 (en) Handheld observation device comprising a digital magnetic compass
CN109143303A (zh) 飞行定位方法、装置及固定翼无人机
KR20120039391A (ko) 시선벡터를 이용한 자장계 오차 보정방법 및 이를 이용한 통합 항법 시스템
CN110715673A (zh) 一种光电稳定平台零位自动标校系统及方法
Foxlin et al. Improved registration for vehicular AR using auto-harmonization
KR20130118637A (ko) 항공기 장착 전자광학장비의 좌표지향성능 향상 방법
US20210116247A1 (en) Method for harmonising two inertial measurement units with one another and navigation system implementing this method
RU2464617C2 (ru) Способ определения ориентации шлема пилота и устройство нашлемной системы целеуказания и индикации
Hwang et al. Hybrid helmet attitude tracking system using adaptive complementary filter
CN114199239A (zh) 结合北斗导航的双视觉辅助惯性差分座舱内头部测姿系统
Foxlin et al. Design and error analysis of a vehicular AR system with auto-harmonization
US10802276B2 (en) Display system, related display method and computer program
US20240160278A1 (en) Conformal display system and a method thereof
US11847259B1 (en) Map-aided inertial odometry with neural network for augmented reality devices
CN116558510A (zh) 机载增强现实设备的多源融合定位及增强显示标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant