CN109994015B - 穿戴式平视显示系统及其双重协调方法 - Google Patents
穿戴式平视显示系统及其双重协调方法 Download PDFInfo
- Publication number
- CN109994015B CN109994015B CN201811571339.1A CN201811571339A CN109994015B CN 109994015 B CN109994015 B CN 109994015B CN 201811571339 A CN201811571339 A CN 201811571339A CN 109994015 B CN109994015 B CN 109994015B
- Authority
- CN
- China
- Prior art keywords
- platform
- matrix
- respect
- display
- inertial device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009977 dual effect Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 133
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 238000005259 measurement Methods 0.000 claims abstract description 32
- 230000003190 augmentative effect Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims 2
- 210000003128 head Anatomy 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
- G01C23/005—Flight directors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
- G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Navigation (AREA)
Abstract
本发明涉及用于驾驶舱中的具有可移动姿态惯性设备的穿戴式平视显示系统的双重协调方法和系统。所述双重协调方法包括：步骤(206)，其为通过一系列瞄准Vi获取头部姿势检测的N个测量
所述瞄准Vi与根据由摄像机拍摄的同一张照片的定向Oi来定向的图像相对应，所述摄像机附接到姿态惯性设备D3并与所述姿态惯性设备D3对准；随后步骤(208)，其将相对定向M01和M23的矩阵联合计算为i从1变化到N的双重协调
的联合解，其中
是次序i的image(i)相对于显示器D0的相对定向的矩阵M(image(i)/0)的转置，其中M01和M23分别等于右矩阵
和左矩阵
一种穿戴式平视显示系统配置成实施所述双重协调方法。
Description
技术领域
本发明涉及一种用于使飞行器驾驶信息的显示符合外部现实世界的穿戴式平视显示系统的双重协调的方法。
背景技术
本发明属于用于飞行器(例如直升机或飞机)的驾驶人-系统接口(human-systeminterface，HSI)的技术领域，所述飞行器配备有穿戴式平视显示系统或头盔安装式显示系统(头戴式显示器(Head Worn Display，HWD)或头盔安装式显示器(Helmet MountedDisplay，HMD))以及头部姿势检测设备DDP。
平视显示设备，无论是否是穿戴式，都能够使显示(具体来说为“符号体系”)符合外部世界，也就是说位于飞行员眼部前方的符号的集合能够与外部现实世界中的对应元素重叠。该符号的集合可以是例如速度向量、地面上的目标(诸如表示降落跑道的符号)、地形的合成图示或甚至传感器图像。
这种相符的显示需要了解飞行器的位置和姿态，并且对于头戴式显示设备，需要了解显示器相对于联接到飞行器的固定参考系的姿态。关于这些不同位置和姿态，由航空电子设备系统提供飞行器的位置和姿态，且由姿势检测设备DDP提供显示器的位置和姿态。
举例来说，且具体地说，用于提供飞行器的位置和姿态的航空电子设备系统可以是：
-全球定位系统(Global Positioning System，GPS)类型的全球定位设备；以及
-基于微机电系统(Microelectromechanical System，MEMS)类型或在激光陀螺仪上的陀螺仪和加速度计的惯性参考系统IRS，或姿态和航向参考系统AHRS。
众所周知，在驾驶舱中，在安装平视显示系统(穿戴式或不是穿戴式)时执行平视显示系统的协调，以便计算从显示器参考系切换到飞行器参考系作出的角度校正，从而获得相符的平视显示器。
到目前为止且众所周知的用于提供飞行器相对于地球的姿态的航空电子设备系统(在下文中称为姿态惯性设备)：
-稳固地附接于飞行器的平台，对于在所述平台上对准所述姿态惯性设备需要冗长的协调过程，或
-附接于联接到平台的基准设备，对于在飞行器的平台上对准所述基准设备也需要冗长的协调过程。
如今，例如直升机或轻型飞机的飞行器的多个平台未配备有用于提供该飞行器相对于地球的自身姿态的常规惯性装置，但近来，已可以使用能够以相对合适的性能水平向飞行员提供这一姿态信息的小型惯性设备。这些设备可轻易地封装于能够移动的模块中，所述能够移动的模块可“通过吸力附接”(即使用吸盘固定)到驾驶舱的支撑结构的挡风玻璃上。这类小尺寸的惯性设备也包含用于提供设备的位置(从而提供飞行器的位置)的设备。
根据第一个缺点，每当所述惯性设备移动，具有新固定配置的这一惯性设备的可移动性质需要实施相符的显示系统的准确且快速的新协调过程。
根据第二个缺点，这一惯性设备在不存在平台的移动的情况下了解飞行器的相对不太准确的航向。实际上，并入设备中的GPS类型的定位设备以及融合算法的存在使得能够在飞行器移动的进行期间优化对航向的了解，但在地面上，在起飞之前，得知的航向的值相对较不正确。
第一个技术难题是如何提供一种用于使飞行器驾驶信息的显示符合外部现实世界的穿戴式平视显示系统以及所述平视显示系统的元件的相互协调的方法，所述方法使得能够迅速并准确地了解能够移动的惯性设备(其可轻易地移动)的姿态惯性设备相对于联接到平台的固定基准元件(也构成姿势检测子系统DDP的固定元件)的相对定向。
第二个技术难题是如何提供一种穿戴式平视显示系统和一种协调方法，所述方法使得能够迅速并准确地了解能够移动的惯性设备(其可轻易地移动)的姿态惯性设备相对于联接到平台的固定基准元件的相对定向，以及穿戴式平视显示系统的显示器相对于姿势检测子系统DDP的移动式跟踪元件的相对定向。
第三个技术难题是如何提供一种用于使飞行器驾驶信息的显示符合外部现实世界的平视显示系统以及一种协调方法，所述方法使得能够迅速并准确地了解能够移动的惯性设备(其可轻易地移动)的姿态惯性设备相对于飞行器的平台的相对定向。
发明内容
为此，本发明的主题是一种用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的穿戴式平视显示系统的双重协调方法，所述穿戴式平视显示系统包括：透明穿戴式平视显示器D0；头部姿势检测子系统DDP，其具有牢固地附接到透明显示器D0的移动式跟踪第一元件D1、牢固地联接到飞行器的平台的固定的第二元件D2，以及用于测量并确定移动式跟踪第一元件D1相对于联接到平台的固定的第二元件D2的参考系的相对定向M12的装置；姿态惯性设备D3，其用于提供平台相对于联接到地球的地面参考系的相对姿态M3t，所述姿态惯性设备D3为能够移动且可在飞行器运行的任意时间段牢固地固定到驾驶舱挡风玻璃上的平台；协调子系统，其用于使驾驶信息在显示器D0上的显示符合外部现实世界的穿戴式平视显示系统，所述协调子系统具有用于管理和执行双重协调方法的实施的协调计算机以及人-系统接口。
双重协调方法的特征在于其包括：第一步骤，其为提供扩增惯性设备D3p+，所述扩增惯性设备D3p+牢固地在同一个组合件中集成有飞行器的姿态惯性设备D3以及用于拍摄外部现实世界的一张或多张照片的摄像机，摄像机以及飞行器的姿态惯性设备D3牢固地联接；第二步骤，其为获取测量
其中执行一系列整数N个不同瞄准Vi，N大于或等于3，i从1变化到N，所述瞄准Vi通过与外部现实世界对准次序i的不同图像经由半透明显示器D0来执行，所述次序i的不同图像表示为image(i)、定格在所述显示器D0上且每个图像表示在第一瞄准V1之前由扩增惯性设备D3p+的摄像机拍摄、以预定不同角定向Oi可见的同一张照片，所述不同角定向以与从次序i的图像的参考系“image(i)”到显示器D0的参考系“0”的矩阵M(image(i)/0)相对应的方位角、俯仰角以及横滚角的三个欧拉角表示；且其中对于i从1变化到N的所执行的每一瞄准Vi，姿势检测子系统DDP测量并确定跟踪第一元件D1相对于联接到飞行器的平台的固定的第二元件D2的相对应的相对定向
随后第三步骤，其中双重协调计算机联合地将处于倾斜位置的显示器D0与跟踪第一元件D1之间的相对定向M01的矩阵以及姿势检测子系统DDP的第二元件D2与姿态惯性设备D3之间的相对定向M23的矩阵分别计算为右矩阵
和左矩阵
i从1变化到N的协调方程组：
的联合解，其中
是矩阵M(image(i)/0)的转置。
根据具体实施方案，用于穿戴式平视显示系统的双重协调方法包括单独采用或组合采用的以下特征中的一个或多个：
-所需的最小测量数目N取决于显示系统HMD的有误差的或不可用的旋转M01和M3t的角自由度的数目L，所述数目L是大于或等于1且小于或等于6的整数，i从1变化到N的方程组
的求解使用校正算子π(.)以确定向右的旋转
和向左的旋转
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小；
-数目N大于或等于3，且求解双重协调方程组的第三步骤包括第一子步骤集合，其在于：在第一子步骤中，选择“主元”测量作为N个测量之中的第一测量且对应于i等于1，对于i＝2、…、N，使用方程式
和
计算旋转矩阵
和
随后，在第二子步骤中，对于i＝2、…、N，确定旋转
和
的主要酉向量，其分别表示为
和
随后在第三子步骤中，使用以下方程式计算右矩阵
(即M01)：
-穿戴式平视显示系统还包括飞行器定位设备Dp；且双重协调方法包括第四步骤，其为确定飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)，确定相对定向M(pl/3)的第四步骤包括第二子步骤集合，其在于：在第五子步骤中，水平放置飞行器的平台，且计算矩阵M(pl1/3)(对于补偿姿态惯性设备D3与平台之间的相对俯仰角和横滚角，所述矩阵M(pl1/3)的相对方位未知)使得：
M(3/t)×M(pl1/3)＝M(p/t)，M(p/t)为平台相对于地球的理论相对定向的矩阵，仅包含方位分量且对于该矩阵俯仰角和横滚角为零，且M(3/t)为平台相对于地球的相对定向的矩阵，由姿态惯性设备D3测量；随后，在第六子步骤中，通过使用扩增惯性设备D3p+的摄像机来确定景观中的关注点相对于姿态惯性设备D3的方位，所述景观远离摄像机的正面并在所述摄像机的视野中且纬度和经度已知，通过用摄像机52拍摄照片且将照片传送到协调计算机，随后通过以下过程来处理照片：标注关注点的位置，并且根据对由姿态惯性设备提供的俯仰角和横滚角的了解，以及对飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)的矩阵的了解来确定关注点相对于摄像机、且因此相对于姿态惯性设备D3的方位；随后，在第七子步骤中，根据对关注点的纬度和经度、平台的纬度和经度以及由用于准确地提供平台的航向的装置提供的平台的航向角的了解来确定关注点相对于平台的方位；随后，在第八步骤中，由此推导姿态惯性设备D3相对于平台的方位，补充矩阵M(pl1/3)以获得矩阵M(pl/3)，该矩阵M(pl/3)给出姿态惯性设备D3相对于飞行器的平台的相对定向；随后，在第九子步骤中，根据由第三步骤提供的姿势检测子系统DDP的固定的第二元件D2相对于姿态惯性设备D3的相对定向M23，且根据由第七子步骤提供的给出姿态惯性设备D3相对于平台的相对定向的矩阵M(pl/3)来确定姿势检测子系统DDP的固定的第二元件D2相对于平台(24)的相对定向；
-第六子步骤包括：将水平地放置的平台定位在罗盘上且将所述平台定位成使得景观中的关注点处于扩增惯性设备D3p+的摄像机的视野中，所述景观远离所述罗盘且纬度和经度已知，用摄像机拍摄照片且将所述照片传送到协调计算机；随后通过以下过程来处理照片：标注关注点的位置，并且根据对由姿态惯性设备提供的俯仰角和横滚角的了解，以及根据对飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)的矩阵的了解来确定关注点相对于摄像机、且因此相对于姿态惯性设备D3的方位；以及第七子步骤，包括：根据对关注点的纬度和经度、平台的纬度和经度以及在罗盘上读取的平台的航向角的了解来确定关注点相对于平台的方位。
本发明的另一主题是一种用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的穿戴式平视显示系统，其包括：透明穿戴式平视显示系统D0；头部姿势检测子系统DDP，其具有牢固地附接到透明显示器D0的移动式跟踪第一元件D1、牢固地联接到飞行器的平台的固定的第二元件D2，以及用于测量并确定移动式跟踪第一元件D1相对于联接到平台的固定的第二元件D2的参考系的相对定向M12的装置；姿态惯性设备D3，其用于提供平台相对于联接到地球的地面参考系的相对姿态M3t，所述姿态惯性设备为能够移动且能够在飞行器运行的任意时间段牢固地固定到驾驶舱挡风玻璃上的平台；协调子系统，其用于使驾驶信息在显示器D0上的显示符合外部现实世界的穿戴式平视显示系统，所述协调子系统具有用于管理和执行双重协调方法的实施的双重协调计算机以及人-系统接口。
穿戴式平视显示系统的特征在于：协调子系统还包括用于拍摄外部现实世界的一张或多张照片的摄像机，且飞行器的姿态惯性设备D3和摄像机一起集成在扩增惯性设备D3p+中，所述扩增惯性设备D3p+能够移动且能够迅速且轻易地固定，且飞行器的摄像机和姿态惯性设备D3牢固地联接。
根据具体实施方案，穿戴式平视显示系统包括单独采用或组合采用的以下特征中的一个或多个：
-协调子系统配置成：在获取测量
的第二步骤中，通过与外部现实世界对准次序i的不同图像经由半透明显示器D0来执行一系列整数N个不同瞄准Vi，N大于或等于3，i从1变化到N，所述次序i的不同图像表示为image(i)、定格在所述显示器D0上且每个图像表示在第一瞄准V1之前由扩增惯性设备D3p+的摄像机拍摄、以预定不同角定向Oi可见的同一张照片，所述不同角定向以与从次序i的图像的参考系“image(i)”到显示器D0的参考系“0”的矩阵M(image(i)/0)相对应的方位角、俯仰角以及横滚角的三个欧拉角表示；且其中对于i从1变化到N的所执行的每一瞄准Vi，通过姿势检测子系统DDP测量并确定跟踪第一元件D1相对于联接到飞行器的平台的固定的第二元件D2的相对应相对定向
随后，在第三步骤中，使用协调计算机将处于倾斜位置的显示器D0与跟踪第一元件D1之间的相对定向M01的矩阵以及姿势检测子系统DDP的固定的第二元件D2与姿态惯性设备D3之间的相对定向M23的矩阵分别计算为右矩阵
和左矩阵
i从1变化到N的双重协调方程组：
的联合解，其中
是矩阵M(image(i)/0)的转置；
-所需的最小测量数目N取决于显示系统HMD的有误差的或不可用的旋转M01和M3t的角自由度的数目L，所述数目L是大于或等于1且小于或等于6的整数，且协调计算机配置成在第三步骤中通过使用校正算子π(.)求解i从1变化到N的方程组
来确定向右的旋转
和向左的旋转
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小；
-数目N大于或等于3，且由协调计算机实施的求解双重协调方程组的第三步骤包括第一子步骤集合，其在于：在第一子步骤中，选择“主元”测量作为N个测量之中的第一测量且对应于i等于1，且对于i＝2、…、N，使用方程式
和
计算旋转矩阵
和
随后在第二子步骤中，对于i＝2、…、N确定旋转
和
的主要酉向量，其分别表示为
和
随后，在第三子步骤中，使用以下方程式计算右矩阵
(即M01)：
随后，在第四子步骤中，使用方程式
根据在第三子步骤中计算出的矩阵
确定左旋转矩阵
(即M23)；
-穿戴式平视显示系统还包括飞行器定位设备Dp，且协调子系统的协调计算机和人-系统接口配置成实施第四步骤，其为确定飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)，确定相对定向M(pl/3)的第四步骤包括第二子步骤集合，其在于：在第五子步骤中，水平放置飞行器的平台，且计算矩阵M(pl1/3)使得：M(3/t)×M(pl1/3)＝M(p/t)，对于补偿姿态惯性设备D3与平台之间的相对俯仰角和横滚角，所述矩阵M(pl1/3)的相对方位未知，M(p/t)为平台相对于地球的理论相对定向的矩阵，仅包括方位分量且俯仰角和横滚角为零，且M(3/t)为平台相对于地球的相对定向的矩阵(其由姿态惯性设备D3测量)；随后，在第六子步骤中，通过使用扩增惯性设备D3p+的摄像机来确定景观中的关注点相对于姿态惯性设备D3的方位，所述景观远离摄像机52的正面并在所述摄像机的视野中且纬度和经度已知：通过用摄像机拍摄照片且将照片传送到协调计算机，随后通过以下过程来处理照片：标注关注点的位置，并且根据对由姿态惯性设备提供的俯仰角和横滚角的了解，以及根据对飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)的矩阵的了解来确定关注点相对于摄像机、且因此相对于姿态惯性设备D3的方位；随后，在第七子步骤中，根据对关注点的纬度和经度的了解、根据平台的纬度和经度以及根据由用于准确地提供平台的航向的装置提供的平台的航向角来确定关注点相对于平台的方位；随后，在第八步骤中，通过推导姿态惯性设备D3相对于平台的方位，补充矩阵M(pl1/3)以获得矩阵M(pl/3)，所述矩阵M(pl/3)给出姿态惯性设备(30)D3相对于飞行器的平台的相对定向；随后，在第九子步骤中，根据由第三步骤提供的姿势检测子系统DDP的固定的第二元件D2相对于姿态惯性设备D3的相对定向M23，且根据由第七子步骤提供的给出姿态惯性设备D3相对于平台的相对定向的矩阵M(pl/3)来确定姿势检测子系统DDP的固定的第二元件D2相对于平台的相对定向；
-第六子步骤为：将水平地放置的平台定位在罗盘上且将平台定位成使得景观中的关注点处于扩增惯性设备D3p+的摄像机的视野中，所述景观远离所述罗盘且纬度和经度已知，用摄像机拍摄照片且将所述照片传送到协调计算机；随后通过以下过程来处理照片：标注关注点的位置，并且根据对由姿态惯性设备提供的俯仰角和横滚角的了解，以及根据对飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)的矩阵的了解来确定关注点相对于摄像机、且因此相对于姿态惯性设备D3的方位；以及第七子步骤，其包括：根据对关注点的纬度和经度的了解、根据平台的纬度和经度以及根据在罗盘上读取的平台的航向角来确定关注点相对于平台的方位；
-扩增惯性设备D3p+包括吸盘类型的固定设备。
附图说明
通过阅读以下若干实施方案的描述将更好地理解本发明，所述若干实施方案的描述仅借助于示例且参考附图给出，在附图中：
图1为根据本发明的用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的穿戴式平视显示系统的图，其中飞行器的姿态惯性设备可轻易地在所述飞行器的驾驶舱中移动且需要对显示系统进行新的协调；
图2为根据本发明的用于使飞行器驾驶信息在图1的穿戴式平视显示系统的显示器上的显示符合外部现实世界的双重协调方法的流程图；
图3为图2的联合双重协调方法的第三步骤的详细流程图；
图4为图2的联合双重协调方法的第四步骤的详细流程图。
具体实施方式
根据本发明的平视显示系统和联合双重协调方法的基本原理在于：
-通过添加摄像机来扩增集成了姿态惯性设备和飞行器定位惯性设备的能够移动的惯性设备，所述摄像机的光轴联结到姿态惯性设备的轴的其中一个；
-使用所述摄像机和平视显示系统的姿势检测子系统DDP，以形成一系列双重协调瞄准Vi；
-使用联合求解双重协调方程组的左矩阵
和右矩阵
两个矩阵的算法。
根据图1，根据本发明的用于使飞行器4的驾驶信息在显示器上的显示符合外部现实世界6的平视显示系统2包括以下设备：
-显示设备或透明穿戴式平视显示器12，表示为D0，其定位于飞行员的眼部14的前方且能够充当飞行员的取景器，例如镜头；
-姿势检测子系统DDP 16，其具有：移动式跟踪第一元件18，表示为D1，所述移动式跟踪第一元件18稳固地附接到头部19或附接到飞行员的头盔20，且在显示器D0位于飞行员的视场中时稳固地附接到显示器D0；固定的第二元件22D2，其牢固地联接到飞行器4的平台24(又表示为“pl”)且充当相对于姿势检测子系统DDP 16的参考系；以及装置26，其用于测量并确定移动式跟踪第一元件18D1相对于联接到平台的固定的第二元件22D2的参考系的相对定向M12，
-姿态惯性设备30D3，例如惯性单元AHRS，其提供平台相对于联接到地球的地面参考系“t”的相对姿态M3t，在飞行器运行的任意时间段，所述姿态惯性设备可迅速地移除且可轻易并牢固地固定到驾驶舱中的平台24，例如使用吸盘类型的固定设备31固定到驾驶舱的挡风玻璃，
-设备32Dp，其用于提供飞行器相对于联接到地球的地面参考系的位置，所述地面参考系例如GPS类型的卫星定位系统或无线电导航系统；
-双重协调子系统34，其用于使驾驶信息在显示器D0上的显示符合外部现实世界的平视显示系统2，所述协调子系统具有用于管理和执行双重协调方法的实施的双重协调计算机36以及人-系统接口38。
双重协调计算机36可以是专门用于实施双重协调方法的电子计算机，或设置成还实施平视显示系统2的其它功能的更通用的电子计算机。
类似地，人-系统接口38可以是仅专用于执行双重协调方法的人-系统接口，或与平视显示系统的其它功能共用的更通用人-系统接口。
显示系统还包括用于限定、测量或确定固定的第二元件22D2相对于地球的相对角定向M2t的装置42。
这一装置42使用来自附接到飞行器的平台且配置成测量其自身相对于地球的定向M3t的姿态惯性设备D3的数据，以及固定到姿势检测子系统DDP 16的固定的第二元件22D2相对于姿态惯性设备D3的相对角定向M23，由本发明的双重协调方法确定这一相对定向M23。
相符的驾驶信息包括例如速度向量、地面上的目标、地形的合成图示或甚至电磁传感器的图像，例如红外传感器的图像。
值得注意的是，在平视显示系统的现有技术中，姿势检测子系统DDP 16在实践中由于其实施两个测量而相对较复杂：
-固定的第二元件D2相对于地球的相对角定向M2t的惯性测量，以及
-移动式跟踪第一元件D1相对于固定的第二元件D2的相对定向的直接测量，通常呈图像处理的形式，
并且姿势检测子系统DDP 16利用对固定的第二元件D2相对于地球的相对定向M2t的了解。然而，虽然这一特定特征使得算法更复杂，但这一特定特征对本发明的平视显示系统和双重协调方法没有影响，因此将可能会设想跟踪第一元件D1相对于固定的第二元件D2的相对定向M12仅通过姿势检测子系统DDP的直接测量而提供。
在本文中且根据下文优选实施方案，姿势检测子系统DDP 16配置成提供原始DDP输出数据，所述原始DDP输出数据从跟踪第一元件D1相对于固定的第二元件D2的相对定向的直接光学测量优先导出。
因此，使得能够了解一个参考系“i”相对于另一参考系“j”的相对定向的手段Mij在本文中的下文中被比作描述这一定向的矩阵。实际上，一个参考系相对于另一参考系的定向Mij可同等地描述为：
-称为欧拉角的三个角，通常在航空学中对应于这些以下角度的旋转顺序：
*方位角：围绕向下定向的轴z(或朝向地球)旋转；
*俯仰角：围绕向右定向的轴y(或向地球的东方)旋转；
*横滚角：围绕朝向正面定向的轴x(或朝向地球的北方)旋转；
-描述这一旋转的3×3矩阵。
下文中，还能够将矩阵Mij表示为M(i/j)，矩阵Mij或M(i/j)描述参考系“i”相对于“j”(或“i”到“j”)的相对定向。如果vi表述参考系“i”中的向量且vj表述参考系“j”中的这一向量，那么获得所述关系。因此存在关系：vi＝M(i/j)×vj，以及参考系之间的转移关系：M(i/k)(从i到k)＝M(j/k)×M(i/j)。
双重协调子系统14还包括用于拍摄外部现实世界的一张或多张照片的摄像机52。
飞行器的姿态惯性设备30D3、飞行器的定位设备32Dp以及摄像机52集成在一起且形成扩增惯性设备54D3p+。
飞行器的姿态惯性设备30D3和摄像机52牢固地联接，使得其相关联的参考系的相对定向永久地保持不变。换句话说，从附接到摄像机52的参考系到附接到姿态惯性设备30D3的参考系的转移的旋转矩阵在时间上恒定不变。具体来说，这一旋转矩阵是单位矩阵。
飞行器的姿态惯性设备32D3和定位设备Dp未必牢固地联接。
作为一种变型，飞行器的姿态惯性设备D3和定位设备Dp可以不是一起集成在扩增惯性设备D3p+中，仅姿态惯性设备D3和摄像机一起集成在同一个扩增惯性设备D3+中。
扩增惯性设备54D3p+或D3p能够移动且可迅速并轻易地固定。
摄像机52、飞行器定位设备Dp、姿态惯性设备D3以及人-系统接口HSI 38连接到双重协调计算机36。
扩增惯性设备54D3p+因此形成能够移动的组合件或模块，所述能够移动的组合件或模块可使用姿态惯性设备30D3的固定设备31(例如“吸盘”类型的固定设备)来固定到驾驶舱的挡风玻璃上。
使用摄像机52以及使用用于姿势检测子系统DDP的联合双重协调方法的第一实施方案使得能够通过对外部现实世界的简单的一系列的数目N(N大于或等于3)的瞄准Vi来准确、迅速并联合地了解姿势检测子系统DDP的固定的第二元件D2相对于姿态惯性设备D3的相对定向M23以及显示器D0相对于姿势检测子系统DDP的跟踪第一元件D1的相对定向M12，所述摄像机52与姿态惯性设备30D3集成在扩增惯性设备54D3p+中，所述联合双重协调方法的第一实施方案在与本申请的法国优先权文件同日提交的申请号为FR1701343、名称为“Procédé d’harmonisation duale d’un sous-système de détection de posture DDPintégré dans un système de visualisation
haute porté”的法国专利申请中描述，所述瞄准Vi与根据摄像机拍摄的同一张照片的定向Oi而定向的图像相对应，所述摄像机在工厂进行校正期间与姿态惯性设备D3联接并假定对准。
双重协调子系统34配置成在下文描述的所有实施方案中实施根据本发明的双重协调方法。
根据图2，用于使驾驶信息在显示器上的显示符合外部现实世界的穿戴式平视显示系统的双重协调方法202包括：
-第一步骤204，其为提供扩增惯性设备D3p+，所述扩增惯性设备D3p+牢固地在同一个组合件中集成有飞行器的姿态惯性设备D3、飞行器定位设备Dp以及用于拍摄外部现实世界的一张或多张照片的摄像机，摄像机的参考系假定为在飞行器的姿态惯性设备D3的参考系上对准；
-第二步骤206，其为获取测量
其中执行一系列整数N个不同瞄准Vi，N大于或等于3，i从1变化到N，所述瞄准Vi通过与外部现实世界对准次序i的不同图像、经由半透明显示器D0来执行，所述次序i的不同图像表示为image(i)、定格在所述显示器D0上，且每个图像表示在第一瞄准V1之前由扩增惯性设备D3p+的摄像机拍摄、以预定的不同角定向Oi可见的同一张照片，所述不同角定向以与从次序i的图像的参考系“image(i)”到显示器D0的参考系“0”的矩阵M(image(i)/0)相对应的方位角、俯仰角以及横滚角三个欧拉角表示；且其中对于i从1变化到N的所执行的每一瞄准Vi，姿势检测子系统DDP测量并确定跟踪第一元件D1相对于联接到飞行器的平台的固定的第二元件D2的相对应相对定向
随后
-第三步骤208，其中，协调计算机将处于倾斜位置的显示器D0与跟踪第一元件D1之间的相对定向M01的矩阵以及姿势检测子系统DDP的固定的第二元件D2与姿态惯性设备D3之间的相对定向M23的矩阵分别计算为右矩阵
和左矩阵
该右矩阵
和左矩阵
为以下协调方程组的联合解：
-可任选的第四步骤210。
第一步骤204是在双重协调方法202的实施之前的步骤，一次性执行。
每当扩增惯性设备D3p+在驾驶舱中移动且重新安装时，执行第二步骤206和第三步骤208。
执行第二步骤206和第三步骤208以了解(一方面)姿势检测子系统DDP的固定元件D2与扩增惯性设备D3p+之间的相对定向M23，以及(另一方面)显示器D0相对于姿势检测子系统DDP的移动式跟踪第一元件D1的相对定向M01。
有利的是，连续执行的第二步骤206和第三步骤208的持续时间极其短且并不损害运行的有效性。
仅在安装姿势检测子系统的固定的第二元件D2时执行一次可任选的第四步骤210，所述姿势检测子系统的固定的第二元件D2保持附接到飞行器的平台，例如直升机的平台。执行这一第四步骤210以了解姿势检测子系统的固定的第二元件D2相对于平台的相对定向M2pl。有利的是，这一第四步骤相对较短且使得平视显示系统在平台上的安装非常有效。
因此，在平台投入使用时，模块D3p+可完全自由地移动和重新定位。
在第二步骤206期间，一旦扩增惯性设备D3p+在允许摄像机查看景观的位置固定在飞行器的平台上(优选地朝向驾驶舱的前方但并不一定)，就由摄像机拍摄(即外部现实世界的)景观的照片。
随后，同样地在第二步骤206期间，对于i从1变化到N，N为大于或等于3的整数，双重协调计算机在显示器D0上显示表示为image(i)的次序i的固定图像，所述次序i的固定图像表示以预定角定向Oi可见所拍摄的照片，所述预定角定向由分别表示为方位角(Oi)、俯仰角(Oi)、横滚角(Oi)的方位角、俯仰角、横滚角的三个欧拉角表征，且与次序i的图像的参考系“image(i)”到显示器D0的参考平面“0”的变换的矩阵M(image(i)/0)相对应。通过相对应的瞄准Vi，操作员使显示器D0中可见的次序i的图像(image(i))在穿过显示器D0可见的外部现实世界的相对应景观上对准，且一旦对准完成，操作员就按下IHS的按钮，以命令协调计算机保存移动式跟踪第一元件D1相对于固定的第二元件D2的相对应定向Vi或lm
(其由姿势检测子系统DDP测量)。
对于从1变化到N的每一i，在操作员使显示器D0中感知的image(i)在外部现实景观上“对准”时，其相当于使图像的定向与摄像机的定向相同。这时，从次序i的图像的参考系“image(i)”到摄像机的参考系“c”的转移的矩阵(表示为M(image(i)/c))此时等于单位矩阵。
如先前所指示，认为摄像机定向为与扩增惯性设备D3p+的姿态惯性设备D3一致。对于每一i(i从1变化到N)，满足以下矩阵方程式：
M(i/c)＝M(i/3)＝Id3＝M(0/3)i×M(i/0)，其中M(i/0)已知。
因此，对于每一i(i从1变化到N)，显示器D0相对于姿态惯性设备D3p的相对定向(表示为旋转矩阵M(0/3)i)可根据以下关系来确定：
M(0/3)i＝转置[M(i/0)]。
因此，方程式：M(0/3)i＝M(2/3)×M(1/2)i×M(0/1)是双重协调方程式，其中对于每一定向方向Oi(i从1变化到N)，M(0/3)i已知，且由相对应的瞄准方向Vi确定M(1/2)i，即
随后存在显示器D0相对于提供平台姿态的设备D3的一系列四个已知定向O0、O1、O2、O3，以及四个相对应的测量瞄准V0、V1、V2、V3。
如在与本申请的法国优先权文件同日提交的申请号为FR1701343、名称为“Procédé d’harmonisation duale d’un sous-système de détection de posture DDP intégrédans un système de visualisation
haute porté”的法国专利申请中所描述的，满足用于求解双重协调问题的条件。
本文中，矩阵M(2/3)与左校正矩阵
相对应，且矩阵M(0/1)与右校正矩阵
相对应。
双重协调方法使得能够(仅通过计算)通过实施第三步骤208来使显示系统2的所有设备彼此对准。
所需的最小测量数目N取决于显示系统HMD的有误差的或不可用的旋转M01和M3t的角自由度的数目L，所述数目L是大于或等于1且小于或等于6的整数。
方程组
(i从1变化到N)的求解使用校正算子π(.)以确定向右的旋转
和向左的旋转
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小。
根据图3，假定旋转M01和M3t的角自由度的数目L在1到6之间，且测量的总数目N大于或等于3。
求解双重协调方程组的第三步骤208包括由以下组成的第一子步骤集合232：
-在第一子步骤234中，选择“主元”测量作为N个测量之中的第一测量且对应于i等于1，且对于i＝2、…、N，使用方程式：
和
计算旋转矩阵
和
随后
-在第二子步骤236中，对于i＝2、…、N，确定旋转
和
的主要酉向量(其分别表示为
和
)；随后
-在第三子步骤238中，使用以下方程式计算右矩阵
(即M01)：
随后
-在第四子步骤240中，使用以下方程式根据在第三子步骤318中计算出的矩阵
确定向左的旋转矩阵
(即M23)：
第二步骤206和第三步骤208目前为止并不能够单独知道平台相对于扩增惯性设备D3p+的惯性设备D3的相对定向。因此，在这一阶段，扩增惯性设备D3p+并不能够在显示器D0中显示涉及平台在航向、俯仰、横滚方面的姿态的信息。
为这一目的，可实施第四步骤210，只要固定的第二元件D2相对于平台的相对定向M2pl根据时间固定，通常为这一情况。
该第四步骤210具有以下较大优势：不需要专用于平视显示系统以执行姿态惯性设备D3的协调的装置。
该第四步骤210还具有以下优势：不需要极高性能的姿态惯性设备D3，这是由于在姿态惯性设备D3的协调的这一第四步骤210期间不使用其航向数据。实际上，这些航向数据在不存在平台的移动的情况下通常不准确。
确定飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)的第四步骤210包括第二集合252。
在第五子步骤254中，水平地放置飞行器的平台。对于该第五子步骤，平台具有一水平区，在所述水平区上水平可升高。计算矩阵M(pl1/3)使得：M(3/t)×M(pl1/3)＝M(p/t)，对于补偿姿态惯性设备D3与平台之间的相对俯仰角和横滚角，矩阵M(pl1/3)的相对航向为未知的，M(p/t)是平台相对于地球的理论相对定向的矩阵，其仅包括方位分量且俯仰角和横滚角为零，且M(3/t)是平台相对于地球的相对定向的矩阵(其由姿态惯性设备D3测量)。
随后，在第六子步骤256中，通过使用摄像机52来确定景观中的关注点(point ofnote)相对于惯性设备30D3的方位，所述景观位于摄像机52前方并远离摄像机52且其纬度和经度已知。
第六子步骤256包括：
-由摄像机52拍摄照片且将所述照片传送到协调计算机，随后
-通过以下过程来处理照片：通过标注关注点的位置，以及通过根据对由姿态惯性设备提供的俯仰角和横滚角的了解，以及根据对飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)的矩阵的了解来确定关注点相对于摄像机、且因此相对于姿态惯性设备D3的方位。
随后，在第七子步骤258中，根据对关注点的纬度和经度、根据对平台的纬度和经度以及根据对由用于准确地提供平台的航向的装置提供的平台的航向角的了解来确定关注点相对于平台的方位，所述平台的航向角可在实施第四步骤210时获得。
随后，在第八子步骤260中，推导姿态惯性设备D3相对于平台的方位，且补充矩阵M(pl1/3)以获得矩阵M(pl/3)，该矩阵M(pl/3)给出姿态惯性设备D3相对于飞行器的平台的相对定向。
随后，在第九子步骤262中，根据由第三步骤208提供的姿势检测子系统DDP的固定的第二元件D2相对于姿态惯性设备D3的相对定向M23以及根据由第七子步骤258提供的给出姿态惯性设备D3相对于平台的相对定向的矩阵M(pl/3)来确定姿势检测子系统DDP的固定的第二元件D2相对于平台的相对定向。
根据具体实施方案，在第六子步骤256中，平台水平地定位在通常可在航空地形上使用的罗盘上，且平台定位成使得景观中的关注点处于扩增惯性设备D3p+的摄像机52的视野中，所述景观远离罗盘且纬度和经度已知。
根据相同实施方案，在第七步骤258中，通过读取罗盘来提供平台的航向角。
对固定的第二元件D2相对于平台的相对定向M2pl的了解随后使得能够移除扩增惯性设备D3p+并将其随意重新定位。执行上文所描述的第二步骤206和第三步骤208足以获得形成平视显示系统2的设备的所有相对定向并充分利用平视显示系统。
平视显示系统和双重协调方法使得能够使用一种其具有可轻易地移动和重新定位的姿态惯性设备的平视显示系统。
添加附接到姿态惯性设备D3的摄像机以形成集成的扩增惯性设备D3p+以及使用双重协调算法使得能够迅速并准确地执行对平视显示系统的所有元件的必要协调且能够有效使用所述平视显示系统。
有利的是，根据本发明的协调方法可在极短时间(典型地为一分钟)内执行，这并不影响平视显示系统的运行值。
根据本发明的双重协调方法还使得能够协调平台上的姿态惯性设备D3，且在平视显示系统中显示平台姿态信息。
用于平视显示系统的组成元件的双重协调方法是一种可以在最少三次瞄准中实现的简单的方法，而不使用安装的系统外部的装置。
Claims (11)
1.一种用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的穿戴式平视显示系统(2)的双重协调方法，
所述穿戴式平视显示系统包括：
-透明穿戴式平视显示器(12)D0，
-头部姿势检测子系统DDP(16)，其具有牢固地附接到透明显示器D0的移动式跟踪第一元件(18)D1、牢固地联接到所述飞行器的平台(24)的固定的第二元件(22)D2，以及用于测量并确定移动式跟踪第一元件D1相对于联接到平台(24)的固定的第二元件D2的参考系的相对定向M12的装置，
-姿态惯性设备(30)D3，其用于提供平台(24)相对于联接到地球的地面参考系的相对姿态M3t，所述姿态惯性设备为能够移动且能够在飞行器运行的任意时间段牢固地固定到驾驶舱挡风玻璃上的所述平台(24)，
-双重协调子系统(34)，其用于使驾驶信息在所述显示器D0上的显示符合外部现实世界的所述穿戴式平视显示系统，所述双重协调子系统具有用于管理和执行所述双重协调方法的实施的双重协调计算机(36)以及人-系统接口(38)，
所述双重协调方法的特征在于，其包括：
-第一步骤(204)，其提供扩增惯性设备D3p+，所述扩增惯性设备D3p+牢固地在同一个组合件中集成有飞行器的姿态惯性设备D3以及用于拍摄外部现实世界的一张或多张照片的摄像机，所述摄像机与飞行器的姿态惯性设备D3牢固地联接；
-第二步骤(206)，其获取测量
在该步骤中执行一系列整数N个不同瞄准Vi，N大于或等于3，i从1变化到N，所述瞄准Vi通过与外部现实世界对准次序i的不同图像、经由半透明显示器D0来执行，所述次序i的不同图像表示为image(i)、定格在所述显示器D0上且每个图像表示在第一瞄准V1之前由扩增惯性设备D3p+的摄像机拍摄、以预定不同角定向Oi可见的同一张照片，所述不同角定向以与从次序i的图像的参考系“image(i)”到显示器D0的参考系“0”的矩阵M(image(i)/0)相对应的方位角、俯仰角以及横滚角的三个欧拉角表示；且其中，对于i从1变化到N的所执行的每一瞄准Vi，所述头部姿势检测子系统DDP测量并确定跟踪第一元件D1相对于联接到飞行器的平台的固定的第二元件D2的相对应的相对定向
随后
-第三步骤(208)，其中，所述双重协调计算机联合地将处于倾斜位置的显示器D0与跟踪第一元件D1之间的相对定向M01的矩阵以及头部姿势检测子系统(16)DDP的固定的第二元件D2与姿态惯性设备(30)D3之间的相对定向M23的矩阵分别计算为右矩阵
和左矩阵
i从1变化到N的协调方程组：
的联合解，其中
是所述矩阵M(image(i)/0)的转置。
2.根据权利要求1所述的双重协调方法，其中
所需的最小测量数目N取决于显示系统HMD的有误差的或不可用的旋转M01和M3t的角自由度的数目L，所述数目L是大于或等于1且小于或等于6的整数，并且
i从1变化到N的方程组
的求解使用校正算子π(.)以确定向右的旋转
和向左的旋转
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小。
3.根据权利要求2所述的双重协调方法，其中
所述数目N大于或等于3，且
求解双重协调方程组的第三步骤(208)包括第一子步骤集合(232)，其包括：
-在第一子步骤(234)中，选择“主元”测量作为N个测量之中的第一测量且对应于i等于1，对于i＝2、…、N，使用方程式
和
计算旋转矩阵
和
随后
-对于i＝2、…、N，在第二子步骤(236)中确定旋转
和
的主要酉向量，其分别表示为
和
随后
-在第三子步骤(238)中，利用以下方程式计算右矩阵
即M01：
随后
-在第四子步骤(240)中，根据在第三子步骤(238)中计算出的矩阵
利用以下方程式确定左旋转矩阵
即M23：
4.根据权利要求1到3中任一项所述的双重协调方法，
其中，所述穿戴式平视显示系统还包括飞行器定位设备Dp；且
包括第四步骤(210)，其为确定所述飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)，
确定相对定向M(pl/3)的所述第四步骤(210)包括第二子步骤集合(252)，其包括：
-在第五子步骤(254)中，水平放置所述飞行器的平台，且计算矩阵M(pl1/3)使得：M(3/t)×M(pl1/3)＝M(p/t)，对于所述姿态惯性设备D3与所述平台之间的相对俯仰角和横滚角的补偿，所述矩阵M(pl1/3)的相对方位为未知的，
M(p/t)为所述平台相对于地球的理论相对定向的矩阵，仅包含方位分量且俯仰角和横滚角为零，且
M(3/t)为所述平台相对于地球的相对定向的矩阵，由所述姿态惯性设备D3测量；随后
-在第六子步骤(256)中，通过使用扩增惯性设备D3p+的摄像机来确定景观中的关注点相对于所述姿态惯性设备D3的方位，所述景观远离摄像机(52)的正面并在所述摄像机(52)的视野中且纬度和经度已知，
-通过用所述摄像机(52)拍摄照片且将所述照片传送到双重协调计算机，随后
-通过以下过程来处理所述照片：标注所述关注点的位置，并且根据对由所述姿态惯性设备提供的俯仰角和横滚角的了解，以及对所述飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)的矩阵的了解来确定所述关注点相对于摄像机、且因此相对于姿态惯性设备D3的方位；随后
-在第七子步骤(258)中，根据对所述关注点的纬度和经度、所述平台的纬度和经度，以及由用于准确地提供所述平台的航向的装置提供的所述平台的航向角的了解来确定所述关注点相对于所述平台的方位；
-在第八步骤(260)中，通过推导所述姿态惯性设备D3相对于所述平台的方位，补充矩阵M(pl1/3)以获得矩阵M(pl/3)，该矩阵M(pl/3)给出姿态惯性设备D3相对于所述飞行器的平台的相对定向；随后
-在第九子步骤(262)中，根据由第三步骤(208)提供的头部姿势检测子系统DDP的固定的第二元件D2相对于姿态惯性设备D3的相对定向M23，且根据由第七子步骤(258)提供的给出姿态惯性设备D3相对于所述平台的相对定向的矩阵M(pl/3)来确定头部姿势检测子系统DDP的固定的第二元件D2相对于所述平台(24)的相对定向。
5.根据权利要求4所述的双重协调方法，其中
所述第六子步骤(256)包括：
-将水平地放置的平台(24)定位在罗盘上且将所述平台(24)定位成使得所述景观中的关注点处于扩增惯性设备D3p+的摄像机的视野中，所述景观远离所述罗盘且纬度和经度已知，用所述摄像机(52)拍摄照片且将所述照片传送到所述双重协调计算机(36)，随后
-通过以下过程来处理所述照片：标注所述关注点的位置，并且根据对由所述姿态惯性设备提供的俯仰角和横滚角的了解，以及根据对所述飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)的矩阵的了解来确定所述关注点相对于所述摄像机且因此相对于所述姿态惯性设备D3的方位；以及
所述第七子步骤(258)包括：根据对所述关注点的纬度和经度、所述平台的纬度和经度以及在所述罗盘上读取的所述平台(24)的航向角的了解来确定所述关注点相对于所述平台的方位。
6.一种用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的穿戴式平视显示系统，其包括：
-透明穿戴式平视显示器(12)D0，
-头部姿势检测子系统DDP(16)，其具有牢固地附接到透明显示器D0的移动式跟踪第一元件(18)D1、牢固地联接到所述飞行器(4)的平台(24)的固定的第二元件(22)D2，以及用于测量并确定所述移动式跟踪第一元件(18)D1相对于联接到所述平台(24)的固定的第二元件(22)D2的参考系的相对定向M12的装置(26)，
-姿态惯性设备(30)D3，其用于提供所述平台(24)相对于联接到地球的地面参考系的相对姿态M3t，所述姿态惯性设备为能够移动且能够在飞行器(4)运行的任意时间段牢固地固定到驾驶舱挡风玻璃上的所述平台，
-双重协调子系统(34)，其用于使驾驶信息在显示器D0上的显示符合外部现实世界的所述穿戴式平视显示系统，所述双重协调子系统(34)具有用于管理和执行双重协调方法的实施的双重协调计算机(36)以及人-系统接口(38)，
所述穿戴式平视显示系统的特征在于：
-所述双重协调子系统(34)还包括用于拍摄外部现实世界的一张或多张照片的摄像机(52)，且所述飞行器的姿态惯性设备(30)D3和摄像机(52)一起集成在扩增惯性设备(54)D3p+中，所述扩增惯性设备(54)D3p+能够移动且能够迅速且轻易地固定，且所述飞行器的摄像机(52)和姿态惯性设备(30)D3牢固地联接
其中，所述双重协调子系统(34)配置成：
-在获取测量
的第二步骤(206)中，通过与外部现实世界对准次序i的不同图像经由半透明显示器D0来执行一系列整数N个不同瞄准Vi，N大于或等于3，i从1变化到N，所述次序i的不同图像表示为image(i)、定格在所述显示器D0上且每个图像表示在第一瞄准V1之前由扩增惯性设备(54)D3p+的摄像机(52)拍摄、以预定不同角定向Oi可见的同一张照片，所述不同角定向以与从次序i的图像的参考系“image(i)”到显示器D0的参考系“0”的矩阵M(image(i)/0)相对应的方位角、俯仰角以及横滚角的三个欧拉角表示，且对于i从1变化到N的所执行的每一瞄准Vi，通过头部姿势检测子系统DDP测量并确定跟踪第一元件D1相对于联接到飞行器的平台的固定的第二元件D2的相对应相对定向
随后
-在第三步骤(208)中，使用双重协调计算机将处于倾斜位置的显示器D0与跟踪第一元件D1之间的相对定向M01的矩阵以及头部姿势检测子系统DDP的固定的第二元件D2与姿态惯性设备D3之间的相对定向M23的矩阵分别计算为右矩阵
和左矩阵
i从1变化到N的双重协调方程组：
的联合解，其中
是矩阵M(image(i)/0)的转置。
7.根据权利要求6所述的用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的穿戴式平视显示系统，其中：
所需的最小测量数目N取决于显示系统HMD的有误差的或不可用的旋转M01和M3t的角自由度的数目L，所述数目L是大于或等于1且小于或等于6的整数，并且
所述双重协调计算机(36)配置成在第三步骤中通过使用校正算子π(.)来求解i从1变化到N的方程组
从而确定向右的旋转
和向左的旋转
所述校正算子将任意矩阵A变换为3×3正方形旋转矩阵π(A)，所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的：矩阵π(A)-A的所有项的平方和最小。
8.根据权利要求6所述的用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的穿戴式平视显示系统，其中：
数目N大于或等于3，且
由所述双重协调计算机(36)实施的双重协调方程组的求解的第三步骤(208)包括第一子步骤集合(232)，其包括：
-在第一子步骤(234)中，选择“主元”测量作为N个测量之中的第一测量且对应于i等于1，对于i＝2、…、N，使用方程式
和
计算旋转矩阵
和
随后
-在第二子步骤(236)中，对于i＝2、…、N，确定旋转
和
的主要酉向量，其分别表示为
和
随后
-在第三子步骤(238)中，利用以下方程式计算右矩阵
即M01：
随后
-在第四子步骤(240)中，根据在第三步骤中计算出的矩阵
利用以下方程式确定向左的旋转矩阵
即M23：
9.根据权利要求8所述的用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的穿戴式平视显示系统，
还包括飞行器定位设备Dp(32)，且
其中，所述双重协调子系统(34)的双重协调计算机(36)和人-系统接口(38)配置成实施第四步骤(210)，其确定所述飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)，
确定相对定向M(pl/3)的第四步骤(210)包括第二子步骤集合(252)，其包括：
-在第五子步骤(254)中，水平放置所述飞行器的所述平台，且计算矩阵M(pl1/3)使得：M(3/t)×M(pl1/3)＝M(p/t)，对于补偿所述姿态惯性设备D3与所述平台之间的相对俯仰角和横滚角，所述矩阵M(pl1/3)的相对方位为未知的，
M(p/t)为所述平台相对于地球的理论相对定向的矩阵，仅包括方位分量且俯仰角和横滚角为零，且
M(3/t)是所述平台相对于地球的相对定向的矩阵，由所述姿态惯性设备D3测量；随后
-在第六子步骤(256)中，通过使用所述扩增惯性设备D3p+的所述摄像机(52)来确定景观中的关注点相对于所述姿态惯性设备D3的方位，所述景观远离摄像机(52)的正面并在所述摄像机(52)的视野中且纬度和经度已知，
-通过用所述摄像机(52)拍摄照片且将所述照片传送到所述双重协调计算机，随后
-通过以下来处理所述照片：通过标注所述关注点的位置，以及通过根据对由所述姿态惯性设备提供的所述俯仰角和所述横滚角的了解，以及对所述飞行器(4)的所述平台(24)相对于所述姿态惯性设备D3的相对定向M(pl/3)的所述矩阵的了解来确定所述关注点相对于所述摄像机、且因此相对于所述姿态惯性设备D3的方位；随后
-在第七子步骤(258)中，根据对所述关注点的纬度和经度的了解、根据所述平台(24)的纬度和经度以及根据由用于准确地提供所述平台的航向的装置提供的所述平台的航向角来确定所述关注点相对于所述平台(24)的所述方位；
-在第八步骤(260)中，通过推导所述姿态惯性设备D3相对于所述平台的方位，补充矩阵M(pl1/3)以获得所述矩阵M(pl/3)，所述矩阵M(pl/3)给出姿态惯性设备(30)D3相对于飞行器的平台的相对定向；随后
-在第九子步骤(262)中，根据由第三步骤(208)提供的头部姿势检测子系统DDP(16)的固定的第二元件D2相对于姿态惯性设备D3的相对定向M23，且根据由第七子步骤(258)提供的给出所述姿态惯性设备D3相对于所述平台的相对定向的矩阵M(pl/3)来确定所述头部姿势检测子系统DDP的固定的第二元件D2相对于所述平台的所述相对定向。
10.根据权利要求9所述的用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的穿戴式平视显示系统，其中所述第六子步骤(256)包括：
-将水平地放置的平台(24)定位在罗盘上且将所述平台(24)定位成使得所述景观中的关注点处于扩增惯性设备D3p+的摄像机(52)的视野中，所述景观远离所述罗盘且纬度和经度已知，用所述摄像机(52)拍摄照片且将所述照片传送到所述双重协调计算机，随后
-通过以下过程来处理所述照片：标注所述关注点的位置，并且根据对由所述姿态惯性设备提供的俯仰角和横滚角的了解，以及根据对所述飞行器的平台相对于姿态惯性设备D3的相对定向M(pl/3)的矩阵的了解来确定所述关注点相对于所述摄像机且因此相对于所述姿态惯性设备D3的方位；以及
所述第七子步骤(258)包括：根据对所述关注点的纬度和经度、所述平台的纬度和经度以及在所述罗盘上读取的所述平台的航向角的了解来确定所述关注点相对于所述平台(24)的方位。
11.根据权利要求6到10中任一项所述的用于使飞行器驾驶信息在显示器上的显示符合外部现实世界的穿戴式平视显示系统，其中所述扩增惯性设备(54)D3p+包括吸盘类型的固定设备。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1701341 | 2017-12-21 | ||
| FR1701341A FR3075987B1 (fr) | 2017-12-21 | 2017-12-21 | Procede et systeme d'harmonisation duale d'un systeme d'affichage tete haute avec un dispositif inertiel d'attitude amovible dans le cockpit |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109994015A CN109994015A (zh) | 2019-07-09 |
| CN109994015B true CN109994015B (zh) | 2022-08-09 |
Family
ID=61913216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811571339.1A Active CN109994015B (zh) | 2017-12-21 | 2018-12-21 | 穿戴式平视显示系统及其双重协调方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10690925B2 (zh) |
| EP (1) | EP3502845B1 (zh) |
| CN (1) | CN109994015B (zh) |
| FR (1) | FR3075987B1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111124185B (zh) * | 2019-12-26 | 2023-08-15 | 深圳市多尼卡航空电子有限公司 | 设备的控制方法、装置、服务器和存储介质 |
| EP4367547A1 (en) * | 2021-07-04 | 2024-05-15 | Elbit Systems Ltd. | A conformal display system and a method thereof |
| IL284600B2 (en) * | 2021-07-04 | 2023-10-01 | Elbit Systems Ltd | System and method for non-conformal display |
| US11995228B2 (en) * | 2022-01-11 | 2024-05-28 | Rockwell Collins, Inc. | Head tracking system with extended kalman filter combining absolute and relative navigation |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102162738A (zh) * | 2010-12-08 | 2011-08-24 | 中国科学院自动化研究所 | 摄像头与惯性传感器组合定位定姿系统的标定方法 |
| CN102322859A (zh) * | 2011-08-23 | 2012-01-18 | 中国国土资源航空物探遥感中心 | 一种航空惯性导航测量系统及姿态校正方法 |
| CN104280022A (zh) * | 2013-07-13 | 2015-01-14 | 哈尔滨点石仿真科技有限公司 | 视觉辅助惯性测量单元的数字头盔显示设备跟踪系统 |
| WO2015165838A1 (fr) * | 2014-04-30 | 2015-11-05 | Thales | Systeme avionique comportant des moyens de designation et de marquage du terrain |
| CN106125769A (zh) * | 2016-07-22 | 2016-11-16 | 南阳理工学院 | 一种无线头部运动随动系统设计方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009081177A2 (en) * | 2007-12-21 | 2009-07-02 | Bae Systems Plc | Apparatus and method for landing a rotary wing aircraft |
| US9891705B1 (en) * | 2016-08-25 | 2018-02-13 | Rockwell Collins, Inc. | Automatic boresighting of head-worn display |
| US10216265B1 (en) * | 2017-08-07 | 2019-02-26 | Rockwell Collins, Inc. | System and method for hybrid optical/inertial headtracking via numerically stable Kalman filter |
-
2017
- 2017-12-21 FR FR1701341A patent/FR3075987B1/fr active Active
-
2018
- 2018-10-19 EP EP18201582.6A patent/EP3502845B1/fr active Active
- 2018-12-13 US US16/219,608 patent/US10690925B2/en active Active
- 2018-12-21 CN CN201811571339.1A patent/CN109994015B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102162738A (zh) * | 2010-12-08 | 2011-08-24 | 中国科学院自动化研究所 | 摄像头与惯性传感器组合定位定姿系统的标定方法 |
| CN102322859A (zh) * | 2011-08-23 | 2012-01-18 | 中国国土资源航空物探遥感中心 | 一种航空惯性导航测量系统及姿态校正方法 |
| CN104280022A (zh) * | 2013-07-13 | 2015-01-14 | 哈尔滨点石仿真科技有限公司 | 视觉辅助惯性测量单元的数字头盔显示设备跟踪系统 |
| WO2015165838A1 (fr) * | 2014-04-30 | 2015-11-05 | Thales | Systeme avionique comportant des moyens de designation et de marquage du terrain |
| CN106125769A (zh) * | 2016-07-22 | 2016-11-16 | 南阳理工学院 | 一种无线头部运动随动系统设计方法 |
Non-Patent Citations (1)
| Title |
|---|
| single point active alignment method(SPAAM) for optical see-through HMD calibration for AR;Mihran Tuceryan , Yakup Genc , Nassir Navab;《Presence》;20020630;第11卷(第3期);第259-276页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3075987B1 (fr) | 2019-12-13 |
| CN109994015A (zh) | 2019-07-09 |
| US10690925B2 (en) | 2020-06-23 |
| US20190196198A1 (en) | 2019-06-27 |
| EP3502845B1 (fr) | 2022-03-30 |
| FR3075987A1 (fr) | 2019-06-28 |
| EP3502845A1 (fr) | 2019-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109994015B (zh) | 穿戴式平视显示系统及其双重协调方法 | |
| US9766075B2 (en) | Registration for vehicular augmented reality using auto-harmonization | |
| US7071970B2 (en) | Video augmented orientation sensor | |
| CN111829532B (zh) | 一种飞行器重定位系统和重定位方法 | |
| CN109143303B (zh) | 飞行定位方法、装置及固定翼无人机 | |
| US11815690B2 (en) | Head mounted display symbology concepts and implementations, associated with a reference vector | |
| CN109341686A (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
| US10569897B2 (en) | Method for computing and displaying piloting information including a “relief factor” | |
| EP3642694B1 (en) | Augmented reality system and method of displaying an augmented reality image | |
| CN109375647A (zh) | 微型多源感知计算系统 | |
| CN109949655B (zh) | 用于头戴式显示系统的双重协调方法和系统 | |
| Foxlin et al. | Improved registration for vehicular AR using auto-harmonization | |
| CA3064640A1 (en) | Navigation augmentation system and method | |
| RU2464617C2 (ru) | Способ определения ориентации шлема пилота и устройство нашлемной системы целеуказания и индикации | |
| US10802276B2 (en) | Display system, related display method and computer program | |
| US20240160278A1 (en) | Conformal display system and a method thereof | |
| CN109799363B (zh) | 移动引擎虚拟速度矢量确定方法、存储介质和确定系统 | |
| Lóránd | AUGMENTED REALITY FOR AIRCRAFT CONTROL |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |