CN110027717A - 以svs在佩戴式显示器上再调整关于飞行器驾驶且与真实外界相符的符号的方法和系统 - Google Patents

以svs在佩戴式显示器上再调整关于飞行器驾驶且与真实外界相符的符号的方法和系统 Download PDF

Info

Publication number
CN110027717A
CN110027717A CN201811572654.6A CN201811572654A CN110027717A CN 110027717 A CN110027717 A CN 110027717A CN 201811572654 A CN201811572654 A CN 201811572654A CN 110027717 A CN110027717 A CN 110027717A
Authority
CN
China
Prior art keywords
matrix
display
aircraft
relative
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811572654.6A
Other languages
English (en)
Other versions
CN110027717B (zh
Inventor
T·加尼耶
D·莫莱
O·勒穆瓦安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of CN110027717A publication Critical patent/CN110027717A/zh
Application granted granted Critical
Publication of CN110027717B publication Critical patent/CN110027717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00Arrangements or adaptations of instruments
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G01C23/005Flight directors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/12Avionics applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)
  • Gyroscopes (AREA)

Abstract

本申请涉及以SVS在佩戴式显示器上再调整关于飞行器驾驶且与真实外界相符的符号的方法和系统,所述方法包括由以下组成的步骤:‑通过在重新调整状态中,所述相符驾驶信息中的全部或一些在所述显示器上相对于头部移动定格显示且相对于所述飞行器的移动自由显示,来启动所述重新调整方法;接着‑对对应于瞄准动作Vi的头部的相对定向实行数目N的一系列测量,所述瞄准动作Vi将在所述重新调整状态中显示的驾驶信息的各个要素与真实外部世界的对应地标重叠;然后‑使用所述测量基于双重协调方程组来联合确定(216)所述显示器D0和跟踪移动元件D1之间的相对定向M01及惯性设备D3相对于地球的相对定向M3t。

Description

以SVS在佩戴式显示器上再调整关于飞行器驾驶且与真实外 界相符的符号的方法和系统
技术领域
本发明涉及一种用于通过SVS(法语表达système de visualisation synthétique的首字母缩写)合成视觉系统在平视显示器上重新调整相符符号体系的方法和系统。
本发明涉及用于飞行器(例如直升飞机或飞机)的驾驶的人-系统界面(HSI)的技术领域,所述飞行器配备有HWD(头戴显示器)或HMD(安装在头盔上的显示器)类型的平视显示系统,以及用于检测头部姿势的DDP(法语表达détection de posture的首字母缩写)设备。
背景技术
不管平视显示设备是否是佩戴式的,它们都特别地允许显示符合外部世界的“符号体系”,即,位置在飞行员眼睛的前方的一组符号能够与外部世界中的对应要素重叠。其可能是例如速度向量、地面上或空气中的目标、地形的合成表示或者甚至是传感器图像。
此相符显示器需要知道飞行器的位置和姿态,并且对于佩戴式的显示设备,需要知道显示器相对于与飞行器有关的固定坐标系的姿态。这些不同位置和姿态通过航电系统相对于飞行器提供,并且通过DDP姿势检测设备提供至那些显示器。
例如并且具体地是,用于提供飞行器的位置和姿态的航电系统可分别为:
-全球定位系统(GPS),和
-惯性参考系统(IRS)或姿态和航向参考系统(AHRS)。
众所周知,在驾驶舱中安装平视显示系统时进行协调,不管平视显示系统是否会被佩戴,以便计算从显示器坐标系转移到飞行器坐标系必须进行的角度校正,以及获得相符平视显示器。
然而,目前,一些佩戴式平视显示设备展现出了显示设备或显示器和DDP姿势检测系统的佩戴部分之间的一定的可移动性,因为例如当存在仅将显示器切换到操作者的视场之外的设备时这两个元件之间(即显示器和DDP的佩戴移动部分之间)不具有机械刚性。所以当显示器再一次切换回到操作者的视场时需要进行新的协调,以便计算一旦平视显示器安装好头部就要进行的新的角度校正,并由此使得有可能在头戴显示设备上显示相符符号体系。
为了实现及促进这一相对频繁的重新协调的需要,在飞行器上安装被称作BRU(瞄准参考单元或十字线瞄准单元)的专用仪器是很普遍的。
安装于驾驶舱中面向操作者的头部的BRU以平视系统已知的固定定向显示准直符号。
每次必须重新调整相符符号体系时,即每次重新协调时,操作者对准在平视显示器上显示的符号与BRU的准直符号。
当在平视显示器(即显示器)上显示的符号与准直符号对准时,用于协调检测设备的输出的系统接着根据三个校正角计算旋转矩阵,以便重新协调显示器的坐标系相对于飞行器的坐标系的姿态。
这一基于BRU的使用的协调系统的主要缺点在于需要携载额外的一件专用于这一重新调整或协调功能的设备,这使得在安装复杂度及额外体积和重量方面的成本不能被人们接受,特别是对于小型民用飞行器来说。此BRU必须通过稳固安装的电缆供电。此BRU在其安装期间需要协调程序,并引入了被称作BRU的协调误差的额外误差源。例如在维修操作期间当飞行员进入或离开驾驶舱时,还可能存在因为移动而出现不对准的风险。
此外,在托架上的这一BRU的确切定向参数还必须引入到HMD显示系统中,并且因此,BRU必须始终相对于托架保持完全固定,所述托架即飞行器的承托结构。然而,目前的机械技术并不能以一种保证随着时间推移完全无变化风险的方式将BRU安装于驾驶舱中。确切地说,特别是飞行员和维修操作者的振动环境和动作可能会导致BRU的细微旋转或移动,从而产生无法补偿且在许多情况下无法检测的视线误差,并且因此妨碍了后续的任何重新协调。
第一个技术难题在于提供重新调整系统和方法,所述重新调整系统和方法在HWD/HMD平视显示系统包括用于在飞行员的视场中松开和重新接合显示器(未对准的原因)的机构时使得能够根据外部世界重新调整符号体系,并且不再需要使用安装于驾驶舱中的校准标记,同时还避免了出现误差。
第二个技术难题在于更精确地确定显示器D0和一设备之间的相对定向,所述设备固定地紧固到头部/用于在HWD/HMD平视显示系统包括用于在飞行员的视场中松开和重新接合显示器的机构时检测头部姿势的子系统的移动部分上。
第三个技术难题在于校正通过飞行器的惯性测量单元提供的飞行器相对于地球的定向,具体地说是所提供的航向,当此单元是AHRS时,相符显示器通常并不知晓足够精确的航向的值。
发明内容
为此目的,本发明的一个主题是一种用于通过SVS合成视觉系统重新调整佩戴式平视显示器以查看和飞行器的驾驶有关的信息的方法,所述信息与真实外部世界相符,所述重新调整方法通过佩戴式平视显示系统实施,所述佩戴式平视显示系统包括:佩戴式平视显示器D0;用于检测头部姿势的DDP子系统,其包括固定地附接到显示器D0上的跟踪移动第一元件D1、固定地连接到飞行器的平台的固定第二元件D2及用于测量和确定跟踪移动第一元件D1相对于连接到平台的固定第二元件D2的参考坐标系的相对定向M12的装置;用于提供平台相对于地球的相对姿态M3t的惯性设备D3和用于提供飞行器相对于地球的位置的设备Dp;合成视觉系统,其用于在显示器D0上提供合成地形图像,所述图像取决于分别通过飞行器的惯性设备和定位设备测量的飞行器的位置和相对姿态M3t及姿势检测子系统的跟踪移动第一元件D1相对于固定第二元件D2的相对定向M12并根据它们进行自动控制;以及用于将显示器D0、DDP姿势检测子系统和惯性设备D3彼此对准的双重协调子系统。
重新调整方法的特征在于它包括由以下组成的步骤:通过在重新调整状态开始时间t1c激活重新调整模式来启动重新调整方法,在重新调整状态中,相符驾驶信息中的全部或一些在显示器上相对于跟踪移动元件D1的移动定格显示,且相对于飞行器的移动自由显示,以及共同存储重新调整状态开始时间t1c及对应的DDP姿势检测子系统的跟踪移动第一元件D1和固定第二元件D2之间的相对定向;接着对DDP姿势检测子系统的跟踪第一元件D1相对于固定第二元件D2的相对定向实行预设数目N的一系列测量,i在1到N之间变化,固定第二元件D2即连接到平台的元件,这些测量对应于瞄准动作Vi,i在1到N之间变化,在瞄准动作Vi期间在重新调整状态中所显示的驾驶信息的各个要素与真实外部世界的对应地标重叠;然后假设固定第二元件D2相对于惯性姿态设备D3的相对定向始终等于秩为3的单位矩阵,通过双重协调算法,基于通过DDP子系统测量的旋转矩阵及对应的预期理论DDP旋转矩阵联合确定显示器D0和跟踪移动元件D1之间的相对定向M01及惯性设备D3相对于地球的相对定向M3t。
根据具体实施方案,用于通过SVS合成视觉系统重新调整佩戴式平视显示器以查看和飞行器的驾驶有关的信息的方法包含以下特征中的一个或更多个,所述信息与真实外部世界相符:
-相符驾驶信息包括在由相符符号体系形成的集合中,所述相符符号体系例如合成跑道、SVS合成地形表示和从电磁传感器发出的图像,所述电磁传感器例如是红外摄像机;
-用于重新调整佩戴式平视显示器的方法进一步包括其中进行以下操作的步骤:将经协调右侧校正矩阵M01和左侧校正矩阵M3t提供到SVS合成视觉系统,通过协调子系统停用重新调整模式,且SVS合成视觉系统通过应用重新调整校正矩阵M01和M3t来重新调整它的显示器;
-双重协调算法将提供显示器D0和DDP子系统的跟踪元件之间的相对定向的矩阵M01及提供连接到飞行器的惯性姿态设备D3相对于地球的相对定向的矩阵M3t分别计算为,右侧旋转校正矩阵及左侧旋转校正矩阵为以下双重协调方程组的联合解:i在1到N之间变化;
-最小所需测量数目N取决于HMD显示系统的旋转M01和M3t的错误或不可用的角自由度的数目L,所述数目L是大于或等于1且小于或等于6的整数,并且方程组(i在1到N之间变化)的解使用校正算子π(·)来确定右侧旋转矩阵和左侧旋转矩阵所述校正算子π(.)将任何给定的矩阵A转换为3×3矩形旋转矩阵π(A),所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的:矩阵π(A)-A的所有项的平方和最小;
-数目N大于或等于3,且对双重协调方程组求解的步骤包括由以下组成的第一组子步骤:在第一子步骤中,选择N个测量当中的第一测量作为“主元(pivot)”测量,此主元测量对应于i等于1,并且对于i=2,…,N,使用方程来计算旋转矩阵接着在第二子步骤中,对于i=2,…,N,确定旋转的主要单位向量,所述主要单位向量分别标记为然后在第三子步骤中,使用以下方程计算右侧矩阵即M01:
随后在第四子步骤中,基于在第三子步骤中计算出的矩阵使用以下方程来确定左侧旋转矩阵即M3t:
.-右侧旋转(即矩阵M01)的错误或不可用的角自由度的数目等于3,且左侧旋转(即矩阵M3t)的单个错误或不可用的角自由度是偏航角,假设知晓足够精确的侧倾角和俯仰角;测量总数N大于或等于4;并且对双重协调方程组求解的步骤包括由以下组成的第一组子步骤:在第四子步骤中,对于i=2,…,N,使用以下方程计算矩阵和向量 向量通过方程定义;接着在初始化第五子步骤中,通过将设置成等于I3(I3是恒等矩阵),初始化第一矩阵序列[s]标示序列中的当前遍历整数项数;然后重复迭代性第六子步骤,在第六子步骤中,通过使用以下方程计算向量值然后计算第一矩阵序列的值而从迭代[s]推导到迭代[s+1]:
序列是辅助第二向量序列,且序列收敛到以及在第子步骤中,当足够精确地逼近预设阈值所定义的极限值时,停止贯穿第六子步骤实行的迭代过程;
-依据HMD显示系统的待校正自由度数目L及右侧旋转矩阵和左侧旋转矩阵的估计的所需精度,调整测量总数N。
本发明的另一主题是用于显示和飞行器的驾驶有关的佩戴式平视系统,所述信息与真实外部世界相符且通过SVS合成视觉系统提供,所述佩戴式平视系统包括:佩戴式平视显示器D0;用于检测头部姿势的DDP子系统,其包括固定地附接到显示器D0上的跟踪移动第一元件D1、固定地连接到飞行器的平台的固定第二元件D2及用于测量和确定跟踪移动第一元件D1相对于连接到平台的固定第二元件D2的参考坐标系的相对定向M12的装置;用于提供平台相对于陆地框架的相对姿态M3t的惯性设备D3;用于提供飞行器相对于地球的位置的设备Dp;用于在显示器D0上提供合成地形图像的SVS合成视觉系统,所述图像取决于分别通过惯性姿态设备D3和飞行器的定位设备测量的飞行器的位置和相对姿态M3t及DDP姿势检测子系统的跟踪移动第一元件D1相对于固定第二元件D2的相对定向M12,并根据它们进行自动控制;以及用于将显示器D0、DDP姿势检测子系统和惯性姿态设备D3彼此对准的双重协调子系统。
用于显示与真实的外部陆地世界相符的驾驶信息的佩戴式平视系统的特征在于:
-协调子系统包含双重协调处理器和HSI人-系统界面,所述双重协调处理器和HSI人-系统界面并有对平视显示器进行相符重新调整的功能;以及
-双重协调子系统被配置成:通过在重新调整状态开始时间t1c激活重新调整模式来启动重新调整方法,在重新调整状态中,相符驾驶信息中的全部或一些在显示器上相对于跟踪移动元件D1的移动定格显示,且相对于飞行器的移动自由显示,以及共同存储重新调整状态开始时间t1c及对应的DDP姿势检测子系统的跟踪移动第一元件D1和固定第二元件D2之间的相对定向;接着对DDP姿势检测子系统的跟踪第一元件D1相对于固定第二元件D2的相对定向实行预设数目N的一系列测量,i在1到N之间变化,固定第二元件D2即连接到平台的元件,这些测量对应于瞄准动作Vi,i在1到N之间变化,在瞄准动作Vi期间在重新调整状态中所显示的驾驶信息的各个要素与真实外部世界的对应地标重叠;然后假设固定第二元件D2相对于惯性姿态设备D3的相对定向始终等于秩为3的单位矩阵,通过双重协调算法,基于通过DDP子系统测量的旋转矩阵及对应的预期理论DDP旋转矩阵联合确定显示器D0和跟踪移动元件D1之间的相对定向M01及惯性设备D3相对于地球的相对定向M3t。
根据具体实施方案,佩戴式平视显示系统包含以下特征中的一个或更多个:
-双重协调子系统被配置成将提供显示器D0和DDP子系统的跟踪元件之间的相对定向的矩阵M01及提供连接到飞行器的惯性姿态设备D3相对于地球的相对定向的矩阵M3t分别计算为,右侧旋转校正矩阵及左侧旋转校正矩阵为以下方程组的联合解:i在1到N之间变化;
-最小所需测量数目N取决于HMD显示系统的旋转M01和M3t的错误或不可用的角自由度的数目L,所述数目L是大于或等于1且小于或等于6的整数,并且方程组(i在1到N之间变化)的解使用校正算子π(·)来确定右侧旋转矩阵和左侧旋转矩阵所述校正算子π(.)将任何给定的矩阵A转换为3×3矩形旋转矩阵π(A),所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的:矩阵π(A)-A的所有项的平方和最小;
-数目N大于或等于3,且联合双重协调处理器被配置成通过执行由以下组成的第一组子步骤来实施对双重协调方程组求解的步骤:在第一子步骤中,选择N个测量当中的第一测量作为“主元”测量,此主元测量对应于i等于1,并且对于i=2,…,N,使用方程来计算旋转矩阵接着在第二子步骤中,对于i=2,…,N,分别确定旋转的主要单位向量的主要单位向量然后在第三子步骤中,使用以下方程计算右侧矩阵即M01:
随后在第四子步骤中,基于在第三子步骤中计算出的矩阵使用以下方程来确定左侧旋转矩阵即M3t:
-右侧旋转(即矩阵M01)的错误或不可用的角自由度的数目等于3,且左侧旋转(即矩阵M3t)的单个错误或不可用的角自由度是偏航角,假设知晓足够精确的侧倾角和俯仰角;测量总数N大于或等于4;并且联合双重协调处理器被配置成通过执行由以下组成的第一组子步骤来实施对双重协调方程组求解的步骤:在第四子步骤中,对于i=2,…,N,使用以下方程计算矩阵和向量 向量通过方程定义;接着在初始化第五子步骤中,通过将设置成等于I3(I3是恒等矩阵),初始化第一矩阵序列[s]标示序列中的当前遍历整数项数;然后重复迭代性第六子步骤,在第六子步骤中,通过使用以下方程计算向量值然后计算第一矩阵序列的值而从迭代[s]推导到迭代[s+1]:
序列是辅助第二向量序列,且序列收敛到以及在第七子步骤中,当足够精确地逼近预设阈值所定义的极限值时,停止贯穿第六子步骤实行的迭代过程;
-双重协调子系统被配置成在实施重新调整测量期间用不同的颜色或不同的线条样式以特定于测量模式的表示模式表示作为目标的驾驶信息,即符号体系和/或地形的合成表示和/或电磁传感器的图像。
附图说明
通过阅读以下对多个实施方案的描述将更好地理解本发明,这些实施方案的描述仅作为实例参考附图给出,在附图中:
-图1是用于显示和飞行器的驾驶有关的信息的佩戴式平视系统的视图,所述信息与真实外部世界相符且通过SVS合成视觉系统提供,在所述佩戴式平视系统中实施使用SVS的重新调整方法;
-图2是根据本发明的用于协调图1的佩戴式平视显示系统并用于重新调整驾驶信息的显示的方法的流程图,所述信息与真实外部世界相符且通过SVS合成视觉系统提供;
-图3是图2的根据本发明的重新调整方法的步骤过程的实例的操作视图;
-图4是图2的重新调整方法的对双重协调方程组求解的步骤的第一实施方案的详细流程图;
-图5是图2的重新调整方法的对双重协调方程组求解的步骤的第二实施方案的详细流程图。
具体实施方式
根据本发明的用于重新调整和飞行器的驾驶有关的信息的方法的基本原理是基于以下各项,所述信息与外部世界相符且通过SVS系统提供:
-所飞越的陆地地形的合成表示或符号的使用,所述符号通过相符SVS视觉系统提供;或源自电磁辐射传感器的目标的图像的使用,所述传感器例如是固定的且看向飞行器的前方的或是移动的且根据飞行员的头部定向进行自动控制的IR红外摄像机;或在佩戴式平视显示器上显示的任何其它相符符号的使用;以及
-赋予操作者(在飞行器情况下,操作者即飞行员)进行以下操作的能力:
*移动通过SVS提供的地形的合成表示或传感器图像或相符符号并将其重叠在通过平视显示器看到的实际地形的对应要素上,接着
*一旦获得重叠,就以类似于使用BRU的方式(即以三个DDP头部姿势检测姿态角的形式)将其重新调整存储在存储器中,但是在本文中,这样不会产生任何额外的误差,因为实际地形被用作固定绝对参考;以及
-用于重新调整相符符号体系的系统进行以下操作的能力:
*确定将应用于显示相符符号体系的系统的姿态校正,以便能够校正头部姿势的DDP检测;所述姿态校正采用两个(一个为左侧,另一个为右侧)旋转矩阵的形式;接着
*向任何相符符号体系应用姿态校正。
在图1中,根据本发明的平视显示系统2被配置成在显示器上显示和飞行器4的驾驶有关的信息,同时使得所述信息与真实外部世界6相符。
相符驾驶信息例如包括速度向量、地面上或空气中的目标、地形的合成表示或甚至传感器图像。
佩戴式平视显示系统2包括以下装置和设备:
-透明的佩戴式平视显示设备或显示器12(例如标记为D0的透镜),其定位在飞行员的眼睛14的前方并由此能够用作瞄准器;
-用于检测姿势的DDP检测子系统16,其包括:标记为D1的跟踪移动第一元件18,所述跟踪移动第一元件18刚性地附接到飞行员的头部19或头盔20上并且在显示器D0被放在飞行员的视场中时刚性地附接到显示器D0上;固定第二元件22D2,所述固定第二元件22D2固定地连接到飞行器4的平台24(同样标记为“pl”)并且充当相对于DDP姿势检测子系统16的参考坐标系;以及用于测量和确定跟踪移动第一元件18D1相对于连接到平台的固定第二元件22D2的参考坐标系的相对定向M12的装置26,
-惯性姿态设备30D3,例如AHRS惯性测量单元,其用于提供平台相对于连接到地球的陆地坐标系“t”的相对姿态M3t且紧固到平台上,
-用于提供飞行器相对于连接到地球的陆地坐标系的位置的设备32Dp,例如GPS卫星定位系统或无线电导航系统;
-SVS合成视觉子系统36,其用于提供与真实外部世界6相符的一系列合成图像,所述图像是飞行员通过显示器D0所看到的,且根据通过DDP姿势检测子系统16提供的飞行员的头部姿势的定向的变化,并根据分别通过飞行器的定位设备Dp和惯性姿态设备D3提供的飞行器4相对于地球的位置和姿态的变化而进行自动控制;
-用于双重协调和重新调整平视显示系统2的符号体系以便使显示器12D0上的驾驶信息的显示与真实外部世界6相符并根据真实外部世界6重新调整所述驾驶信息的显示的子系统38,所述双重协调和重新调整子系统36包括双重协调处理器38和人-系统界面48,所述双重协调处理器38和人-系统界面48被配置成在实施双重协调方法和符号体系的重新调整期间实行并管理操作者和平视显示系统2的组件之间的界面操作。
双重协调处理器36可为专门用于实施双重协调方法的电子处理器,或被设置成还实施平视显示系统2的其它功能的更通用的电子处理器。
同样地,人-系统界面38可为专门用于实现双重协调方法的人-系统,或更通用的以共享方式实现平视显示系统的其它功能的人-系统界面。
显示系统还包含用于限定、测量或确定固定第二元件22D2相对于地球的相对角定向M2t的装置42,以及使得连接到平台24的固定第二元件22D2相对于惯性姿态设备30D3的相对定向M23被知晓的装置44。
装置44以在安装佩戴式平视显示系统2时实行的程序的形式实施,且假设定向M23随着时间推移是固定不变的。
装置42使用附接到飞行器的平台上且配置成测量其自身相对于地球的定向M3t的惯性姿态设备D3的数据及通过装置44提供的角定向M23。
相符驾驶信息例如包括速度向量、地面上的目标、地形的合成表示或甚至电磁传感器的图像,所述电磁传感器例如是红外传感器。
应注意,在当前的先前技术佩戴式平视显示系统中,DDP姿势检测子系统16可为电磁的或惯性的,并且惯性姿势检测子系统实际上相对比较复杂,因为它会实施两个测量:
-固定第二元件22D2相对于地球的相对角定向M2t的惯性测量,以及
-跟踪移动第一元件18D1相对于固定第二元件22D2的相对定向的直接测量,通常采用图像处理的形式,
并且使用对固定第二元件22D2相对于地球的相对定向M2t的了解。然而,这一特殊性使得算法更复杂,且这一特殊性对本发明的佩戴式平视显示系统和双重协调方法没有影响,在下文有可能会设想跟踪第一元件D1相对于固定第二元件D2的相对定向M12仅通过DDP姿势检测子系统的直接测量提供。
在本文中,根据下文优选的实施方案,DDP姿势检测子系统16被配置成提供原始DDP输出数据,所述原始DDP输出数据从跟踪第一元件D1相对于固定第二元件D2之间的相对定向的直接光学测量优先发出。
还应注意,在本文中,为了简化,平台和惯性姿态设备D3被视为等同的。一般来说,用于提供相对定向M23的装置44被配置成用两个步骤执行这一功能:第一步骤是通过平台传递,其中惯性姿态设备D3的三轴坐标系与平台的三轴坐标系“对准”,接着第二步骤是固定第二元件D2的定向在平台的坐标系中进行协调。
这些观察结果在本文中不影响本发明的内容。
下文在本文件的其余部分中,使得坐标系“i”相对于另一“j”的相对定向被知晓的装置Mij被视为与描述此定向的矩阵等同。确切地说,坐标系相对于另一坐标系的定向Mij可通过以下各项中的任一项来描述:
-三个所谓的欧拉角,在航空学中通常对应于以下角的旋转次序:
*关于头部姿势的方位角或关于飞行器的偏航角:围绕z轴旋转,z轴朝下(或朝向地球);
*关于头部姿势的仰角或关于飞行器的俯仰角:围绕y轴旋转,y轴朝右(或朝向地球东侧);
*关于头部姿势和飞行器的侧倾角:围绕x轴旋转,x轴向前(或朝向地球北侧),
-或描述此旋转的3x3矩阵。
下文,还可能将矩阵Mij标注为M(i/j),矩阵Mij或M(i/j)描述坐标系“i”相对于“j”(或从“i”到“j”)的相对定向。如果vi表示坐标系“i”中的向量,vj表示坐标系“j”中的同一向量,那么获得以下关系式:vi=M(i/j)*vj,及坐标系之间的变换关系式:M(i/k)(从i到k)=M(j/k)*M(i/j)。
根据本发明的佩戴式平视显示系统2被配置成实施用于重新调整符号体系和/或通过SVS合成视觉子系统提供的地形的合成图像的方法,SVS合成视觉子系统使在显示器上显示的符号体系和/或地形与操作者通过显示器看到的真实外部世界相符,从而允许:
-平视显示系统的操作者实行瞄准动作,以便在瞄准动作开始时间和瞄准动作结束时间之间,在真实地景或真实外部世界上重叠通过SVS合成子系统合成和提供的相符地形图像或相符三维符号,或仅相对于头部移动的在显示器上显示并定格的从例如红外传感器的电磁传感器发出的图像;
-对于每一瞄准动作,在存储器中存储头部姿势在瞄准动作开始时间和瞄准动作结束时间的定向角,并计算在瞄准动作开始时间和瞄准动作结束时间之间测量的旋转矩阵;接着
-使用双重协调算法联合计算两个(一个左侧,一个右侧)旋转矩阵,从而校正头部姿势的DDP检测,然后
-应用这两个姿态校正矩阵,以协调平视显示器的分量并允许SVS合成查看系统使符号体系和地形与真实外部世界相符。
这两个校正旋转矩阵的计算在它的第一实施方案和第二实施方案中使用双重协调方法,所述双重协调方法描述于在与本专利申请的法国优先权文件同日申请的名称为“Procédéd’harmonisation duale d’un sous-système de détection de posture DDPintégrédans un système de visualisation tête haute porté”的申请号为FR1701343的法国专利中。
应注意,可依据平视显示系统的性能性质和所寻求的重新调整质量来限定多个重新调整水平。一般来说,平视显示的符号的与真实外部世界相符的显示大体上取决于由三个头部姿态角和三个飞行器姿态角形成的六个角自由度。通过用于双重协调和重新调整符号体系的方法,理想的是试图校正给出装置M01的三个角度和给出装置M3t的三个角度,但是并不试图校正飞行器的位置或高度的可能误差。
因此,通过单个头部姿态测量,即头部仰角、方位角和侧倾角,并不能获取足够量的数据来校正六个所寻求的角度。但是通过重复测量校正角,有可能获取足够数量的数据来进行所寻求的校正。
因此,为了校正这六个角度,需要至少三个不同姿态测量,每一姿态测量包含头部仰角测量、头部方位角测量和头部侧倾角测量。例如,可定义完整的重新调整程序,其中请求用户或飞行员执行三个连续测量,所述三个连续测量对应于其中头部水平看向飞行器右侧的第一测量站、接着的头部向上或向下倾斜看向中心的第二测量站以及最后的其中头部水平看向左侧的第三测量站。然后,特定的人机界面利用在飞行员的平视显示器上显示的消息辅助他,以便在此程序期间为他导向。
在图2中,用于重新调整显示和飞行器的驾驶有关的信息的佩戴式平视显示器以便使所述信息与真实外部世界相符的方法202包含一组203步骤,所述信息通过SVS子系统提供。
在启动第一步骤204中,在重新调整模式的开始时间t1c,通过平视显示系统2的操作者例如在HSI按钮40上进行第一短暂按压,触发在用于重新调整关于飞行器的驾驶的相符SVS信息(地形和/或符号体系的符号)的程序,所述HSI按钮40位于驾驶舱中且专用于重新调整模式的这一触发。
从这一重新调整开始时间t1c开始,将驾驶信息中的全部或一些置于重新调整状态中,即,通过SVS合成查看的地形的单个图像,或例如红外传感器的电磁传感器的单个图像,或表示地形的特定要素(例如跑道)的符号,或所有相符SVS信息的合成图像(合成地形和符号)。
在此重新调整状态中,依据飞行器的移动并依据固定的头部姿态角(仰角、方位角和侧倾角),所讨论的符号和/或SVS合成地形以所谓的“重新调整”显示模式在显示器上显示,所述头部姿态角通过用于检测头部姿势的DDP子系统在触发重新调整方法的时间t1c进行测量,并被存储在存储器中。
因此,在重新调整方法的整个持续时间中,即直到退出重新调整模式为止,符号体系和通过SVS合成的地形一直被提供飞行器移动参数,即飞行器的位置和姿态,并因此依据飞行器的移动来移动。
任选地,所讨论的符号可例如通过改变颜色、线条样式(例如虚线而不是实线)、SVS地形的表示模式(轮廓为线框、区域要素为实心)来改变它们的代表性方面,以便用符号表示重新调整状态。
在启动第一步骤204中,启动测量模式,其中预设整数N的一系列测量或瞄准动作Vi的遍历计数器将测量的遍历下标i设置成等于1。
接下来,在第二步骤206中,人-系统界面HSI 40使操作者执行项数为i的当前测量“i”。操作者开始并触发项数为i的测量,例如通过在专用于测量的按钮上持续按压,此测量将仅通过确认当前瞄准动作Vi来中止。
在测量第三步骤208中,一旦触发测量并持续按压测量按钮,操作者就将驾驶信息的不同要素重叠在真实外部世界的对应地标上,所述信息在显示器上相对于跟踪第一元件18D1的移动定格。
例如,重叠将为通过进行细微的头部移动来实现的SVS合成地形的一部分的图像在实际地形上的重叠,红外IR传感器的图像在实际地形上的重叠,或跑道的图像或直升机停机坪符号在对应的真实要素上的重叠。
接下来,在确认当前测量的第四步骤210中,当获得图像在地景要素上的重叠时,在本文中通过松开按压的按钮来确认项数为i的当前测量Vi,并将对应于操作者在此瞄准动作Vi期间的头部姿态的三个DDP头部姿势检测角(即,仰角、方位角和侧倾角)存储在存储器中。
接下来,在测试第五步骤212中,检查是否已达到所寻求的N个测量。
假如尚未达到数目N,重新调整模式保持激活,先在第六步骤214中基于以一个单位递增“i”计数器的当前遍历下标i,再重复进行第二步骤206、第三步骤208和第四步骤210。
当已经达到所需测量的总数N时,在第七步骤216中,在第一步骤204中被置于重新调整状态中的符号体系和SVS的地形要素在重新调整状态结束时间t2c从这一重新调整状态停用,并依据头部移动和飞行器移动,返回相符性跟踪状态。
在相同的第七步骤216中,实行平视显示系统的双重协调,其中假设固定第二元件D2相对于惯性姿态设备D3的相对定向始终等于秩为3的单位矩阵,基于在重新调整状态开始时间t1c和重新调整状态结束时间之间通过DDP子系统测量的旋转矩阵及对应的预期理论DDP旋转矩阵联合确定显示器12D0和跟踪移动元件18D1之间的相对定向M01及惯性设备D3相对于地球的相对定向M3t。
作为一种变化形式,当佩戴式平视显示系统因为设计而需要多个测量来进行令人满意的校正时,消息或特定符号体系可在重新调整系统的HSI界面的屏幕上显示,以便令用户看向另一方向以重复进行重新调整,并且可在最后一个迭代之后计算校正矩阵M01和M3t。
应注意,当使用相对于飞行器固定的例如红外摄像机的传感器的图像时,假设传感器的轴线已知且不变,在本文中描述的解决方案校正的只是DDP姿势检测误差,即旋转矩阵M01,而不是飞行器的姿态的误差,即旋转矩阵M3t,并且这种解决方案的优势在于减少了所需测量的数目。
建议在地面上实行此协调程序,或者如果在飞行时需要,那么在不是非常动态的飞行阶段期间实行,理想的是,在飞行器直线水平飞行时实行,以便优化计算的有效性。
接下来,在第八步骤218中,在后续重新调整操作之前,将新校正的旋转矩阵M01和M3t一直应用于所有相符驾驶信息(SVS地形图像和符号体系)。
在重新调整方法的第一实施方案和HMD显示系统的第一配置中,实行由下标“i”(“i”在1到N之间变化)标识的整数数目N(N大于或等于3)的一系列测量,同时假设对应于通过DDP姿势检测子系统提供的头部姿态测量的右侧校正矩阵M01的三个角自由度全部是错误的,且随着时间推移不会变化,并且通过惯性设备D3提供且对应于通过DDP姿势检测子系统提供的头部姿态测量的左侧校正矩阵M3t的飞行器的姿态的三个自由度全部是错误的,且随着时间推移不会变化。
在此第一特定实施方案中及在图4中,第七步骤由附图标记302标记。
在此第七步骤302中,协调处理器对以下双重协调方程组进行求解:i在1到N之间变化,其中:
-矩阵是左侧校正矩阵,正是在本文中寻求的变换矩阵M3t;
-矩阵(i在1到N之间变化)是在通过DDP姿势检测子系统提供的头部姿态角的由遍历下标标识的每一测量的对应的测量和旋转矩阵;
-右侧校正矩阵是在本文中寻求的矩阵M01,即允许从显示器的坐标系变换到DDP姿势检测子系统的跟踪移动第一元件D1的矩阵M01;
-矩阵(i在1到N之间变化)是由遍历下标“i”标识的每一测量的对应的预期或理论适用姿势检测矩阵。
为了对协调方程进行求解,第七步骤302使用第一配置的算法,所述算法描述于在与本专利申请的法国优先权文件同日申请的名称为“Procédéd’harmonisation duale d’un sous-système de détection de posture DDP intégrédans un système devisualisation tête haute porté”的申请号为FR1701343的法国专利中。第七步骤302实施第一组312第一子步骤314、第二子步骤316和第三子步骤318。
在第一子步骤314中,选择“主元(pivot)”测量,例如对应于i等于1的第一测量。
接着,可以验证对于i=2,…,N:
因此,记可以得到:
在第一子步骤314中,由此使用以下方程,对于i=2,…,N,计算旋转矩阵
接下来,在第二子步骤316中,利用以下方程在数学上等同于完成以下方程组的简化:(i在1到N之间变化),其中分别是旋转的主要单位向量。
因此,在第二子步骤316中,对于i=2,…,N,以一种已知的方式确定旋转的主要单位向量,所述向量分别标示为
接下来,在第三子步骤318中,使用以下方程计算右侧矩阵或M01:
其中π(.)是将任何给定的矩阵A转换为3×3矩形旋转矩阵π(A)的校正算子,所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的:矩阵π(A)-A的所有项的平方和最小。接下来,在第四子步骤320中,基于在第三子步骤318中计算出的矩阵使用以下方程来确定左侧旋转矩阵或M3t:
应注意,投射π的数学研究展示出N个测量当中的主元的选择对协调的最终结果没有影响。
还应注意,投射π的数学研究展示出关于首先是确定还是确定的选择同样没有影响;可以通过使来去除从而开始,并同样地进行求解。
作为运算约束,这一能够校正至多六个自由度的第一配置需要测量的最小数目N大于或等于3,且旋转的轴线对于至少三个不同下标值“i”来说是不同的。
这一重新调整方法的第一实施方案对于显示系统的其它配置的情况来说既不是必需的,也不是真正适用的,所述其它配置即其中错误角自由度的数目严格小于6且大于或等于1的配置。
确切地说,相符显示器通常知晓足够精确的通过连接到飞行器的平台的惯性姿态设备提供的飞行器的俯仰角和侧倾角。相比之下,通常知晓的对应于飞行器的航向的飞行器的偏航角的精度较低,特别是在不具有精确惯性测量单元的小型民用航空器中。因此,所关注的仅是校正此偏航角。至于显示器相对于紧固到佩戴式平视设备上且用于姿势检测的DDP元件的定向的误差,自由角可限制在两个或甚至限制在单个角度,例如在使得显示器能够移动到其用户的视场之外的机构由围绕单轴的枢轴组成的情况下。在此情况下,简化成单个瞄准动作的重新调整程序可使得系统的误差能够被校正,并且足以利用易于供用户实施的程序来实现足够的通过平视显示器查看的符号体系的相符性。
在重新调整方法的第二实施方案和HMD显示系统的第一配置中,实行由下标“i”(“i”在1到N之间变化)标识的整数数目N(N大于或等于4)的一系列测量,同时假设对应于通过DDP姿势检测子系统提供的头部姿态测量的右侧校正矩阵M01的三个角自由度全部是错误的,且随着时间推移不会变化,并且通过惯性设备D3提供且对应于通过DDP姿势检测子系统提供的头部姿态测量的左侧校正矩阵M3t的飞行器的姿态角当中的单个自由度(即偏航角的自由度)是错误的,且随着时间推移不会变化。
在此第二特定实施方案中及在图5中,第七步骤由附图标记402标记。
在此第七步骤402中,协调处理器再次对以下双重协调方程组进行求解:i在1到N之间变化,但是此处,同时假设计算出的DDP矩阵只有方位角值是不确切的或没有计算出的,或在任何情况下是不可用的。
对方位角值的这一较差了解在数学上通过在第一步骤中写入以下内容来表示:对于在1到N之间变化的任何i,矩阵可分解如下:其中是方位角的基本形式的未知旋转矩阵:
是已知的旋转矩阵。
因此,一般开始方程(i在1到N之间变化)变成:其中i在1到N之间变化。
为了对协调方程组(i在1到N之间变化)进行求解,第七步骤402使用第二配置的算法,所述算法描述于在与专利申请的法国优先权文件同日申请的名称为“Procédéd’harmonisation duale d’un sous-système de détection de postureDDP intégrédans un système de visualisation tête haute porté”的申请号为FR1701343的法国专利中。第七步骤402实施第一组412第四子步骤414、第五子步骤416和第六子步骤418。
在第四子步骤414中,对于i=2,…,N,使用以下方程来计算矩阵和向量
向量由方程定义。
接下来,在初始化第五子步骤416中,通过将设置成等于I3(I3是恒等矩阵),初始化第一矩阵序列[s]标示序列中的当前遍历项数。
接下来,重复迭代性第六子步骤418,在所述子步骤中,通过使用以下方程计算向量值然后计算第一矩阵序列的值而从迭代[s]推导到迭代[s+1]:
序列是辅助第二向量序列,且序列收敛到
接下来,将计算为收敛的序列的极限值或近似极限值,在第七子步骤420中,当足够精确地逼近预设阈值所定义的极限值时,停止贯穿第六子步骤实行的迭代过程。
类似地,通过首先在方程组(i在1到N之间变化)的右侧形成枢轴,应用计算第七步骤402来确定矩阵
作为运算约束,这一第二配置需要测量的最小数目N大于或等于4,且旋转的轴线对于下标“i”的至少三个不同值来说是不同的。
除了节省一个仪器BRU之外,根据本发明的用于重新调整符号体系的方法和系统还具有增强的校正性能,所述校正性能还涵盖飞行器姿态误差。确切地说,重新调整方法使用外部参考而不是驾驶舱内部的参考使得飞行器的俯仰角和侧倾角的值的剩余误差,尤其是航向值的剩余误差能够被校正。这一优势极其重要,特别是对于小型民用飞行器来说,在小型民用飞行器中,因为所述小型民用飞行器不具有真正精确的AHRS或惯性测量单元,所以所知晓的偏航角的值精度最差。

Claims (14)

1.一种用于通过SVS合成视觉系统重新调整佩戴式平视显示器以查看和飞行器的驾驶有关的信息的方法,所述信息与真实外部世界相符,
所述重新调整方法通过佩戴式平视显示系统实施,所述佩戴式平视显示系统包括:
-佩戴式平视显示器(12)D0,
-用于检测头部姿势的DDP子系统(36),其包括固定地附接到所述显示器D0上的跟踪移动第一元件(18)D1、固定地连接到所述飞行器的平台(24)的固定第二元件(22)D2及用于测量和确定所述跟踪移动第一元件(18)D1相对于连接到所述平台的所述固定第二元件(22)D2的参考坐标系的相对定向M12的装置(26),
-用于提供所述平台相对于地球的相对姿态M3t的惯性设备(30)D3和用于提供所述飞行器相对于地球的位置的设备(32)Dp,
-合成视觉系统(34),其用于在所述显示器D0上提供合成地形图像,所述图像取决于以下各项并根据以下各项进行自动控制:
*分别通过所述飞行器的定位设备和所述惯性设备测量的所述飞行器的位置和相对姿态M3t,及
*所述姿势检测子系统的所述跟踪移动第一元件D1相对于所述固定第二元件D2的相对定向M12;以及
-用于将所述显示器D0、所述DDP姿势检测子系统和所述惯性设备(30)D3彼此对准的双重协调子系统,
所述重新调整方法的特征在于它包括由以下组成的步骤:
-通过在重新调整状态开始时间t1c激活重新调整模式来启动(204)所述重新调整方法,在重新调整状态中,所述相符驾驶信息中的全部或一些在所述显示器上相对于所述跟踪移动元件D1的移动定格显示,且相对于所述飞行器的移动自由显示,以及共同存储所述重新调整状态开始时间t1c及对应的所述DDP姿势检测子系统的跟踪移动第一元件D1和固定第二元件D2之间的相对定向;接着
-对所述DDP姿势检测子系统(16)的所述跟踪第一元件D1相对于所述固定第二元件D2的相对定向实行(206、208、210、212、214)预设数目N的一系列测量,i在1到N之间变化,所述固定第二元件D2即连接到所述平台的元件,这些测量对应于瞄准动作Vi,i在1到N之间变化,在所述瞄准动作Vi期间在所述重新调整状态中所显示的驾驶信息的各个要素与真实外部世界的对应地标重叠;然后
-假设所述固定第二元件D2相对于所述惯性姿态设备D3的相对定向始终等于秩为3的单位矩阵,通过双重协调算法,基于通过所述DDP子系统测量的旋转矩阵及对应的预期理论DDP旋转矩阵联合确定(216)所述显示器D0和所述跟踪移动元件D1之间的相对定向M01及所述惯性设备D3相对于地球的相对定向M3t。
2.根据权利要求1所述的用于通过SVS合成视觉系统重新调整佩戴式平视显示器以查看和飞行器的驾驶有关的信息的方法,所述信息与真实外部世界相符,其中
所述相符驾驶信息包括在由相符符号体系形成的集合中,所述相符符号体系例如是合成跑道、SVS合成地形表示和从电磁传感器发出的图像,所述电磁传感器例如是红外摄像机。
3.根据权利要求1和2中任一项所述的用于通过SVS合成视觉系统重新调整佩戴式平视显示器以查看和飞行器的驾驶有关的信息的方法,所述信息与真实外部世界相符,所述方法进一步包括
其中进行以下操作的步骤(218):将经协调右侧校正矩阵M01和左侧校正矩阵M3t提供到所述SVS合成视觉系统,通过所述协调子系统停用所述重新调整模式,且所述SVS合成视觉系统通过应用所述重新调整校正矩阵M01和M3t来重新调整它的显示器。
4.根据权利要求1到3中任一项所述的用于通过SVS合成视觉系统重新调整佩戴式平视显示器以查看和飞行器的驾驶有关的信息的方法,所述信息与真实外部世界相符,其中
所述双重协调算法将提供所述显示器D0和所述DDP子系统的所述跟踪元件之间的相对定向的所述矩阵M01及提供连接到所述飞行器的所述惯性姿态设备D3相对于地球的相对定向的所述矩阵M3t分别计算为右侧旋转校正矩阵及左侧旋转校正矩阵右侧旋转校正矩阵及左侧旋转校正矩阵为以下双重协调方程组的联合解: i在1到N之间变化。
5.根据权利要求4所述的用于通过SVS合成视觉系统重新调整佩戴式平视显示器以查看和飞行器的驾驶有关的信息的方法,所述信息与真实外部世界相符,其中
最小所需测量数目N取决于所述显示系统的所述旋转M01和M3t的错误或不可用的角自由度的数目L,所述数目L是大于或等于1且小于或等于6的整数,并且
方程组i在1到N之间变化的的解使用校正算子π(.)来确定所述右侧旋转矩阵和所述左侧旋转矩阵所述校正算子π(.)将任何给定的矩阵A转换为3×3矩形旋转矩阵π(A),所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的:矩阵π(A)-A的所有项的平方和最小。
6.根据权利要求5所述的用于通过SVS合成视觉系统重新调整佩戴式平视显示器以查看和飞行器的驾驶有关的信息的方法,所述信息与真实外部世界相符,其中
所述数目N大于或等于3,
对双重协调方程组求解的步骤(302)包括由以下组成的第一组(312)子步骤:
-在第一子步骤(314)中,选择所述N个测量当中的第一测量作为“主元”测量,此主元测量对应于i等于1,并且对于i=2,…,N,使用方程来计算所述旋转矩阵接着
-在第二子步骤(316)中,对于i=2,…,N,确定所述旋转的主要单位向量,所述主要单位向量分别标记为然后
-在第三子步骤(318)中,使用以下方程计算所述右侧矩阵即M01:
随后
-在第四子步骤(320)中,基于在所述第三子步骤(318)中计算出的所述矩阵使用以下方程来确定所述左侧旋转矩阵即M3t:
7.根据权利要求4和5中任一项所述的用于通过SVS合成视觉系统重新调整佩戴式平视显示器以查看和飞行器的驾驶有关的信息的方法,所述信息与真实外部世界相符,其中
所述右侧旋转即所述矩阵M01,其错误或不可用的角自由度的数目等于3;且所述左侧旋转即所述矩阵M3t,其单个错误或不可用的角自由度是偏航角,假设知晓足够精确的侧倾角和俯仰角;并且
测量总数N大于或等于4;并且
对双重协调方程组求解的步骤(402)包括由以下组成的第一组(412)子步骤:
-在第四子步骤(414)中,对于i=2,…,N,使用以下方程计算矩阵和向量
向量通过方程定义;接着
-在初始化第五子步骤(416)中,通过将设置成等于单位矩阵I3,初始化第一矩阵序列[s]标示所述序列中的当前遍历整数项数;然后
-重复迭代性第六子步骤(418),在第六子步骤(418)中,通过使用以下方程计算向量值然后计算所述第一矩阵序列的值而从迭代[s]推导到迭代[s+1]:
所述序列是辅助第二向量序列,且所述序列收敛到
-在第七子步骤(420)中,当足够精确地逼近预设阈值所定义的极限值时,停止贯穿所述第六子步骤(418)实行的迭代过程。
8.根据权利要求1到7中任一项所述的用于通过SVS合成视觉系统重新调整佩戴式平视显示器以查看和飞行器的驾驶有关的信息的方法,所述信息与真实外部世界相符,其中
依据所述显示系统的待校正自由度数目L及所述右侧旋转矩阵和所述左侧旋转矩阵的估计的所需精度,调整测量总数N。
9.一种用于显示和飞行器的驾驶有关的信息的佩戴式平视系统,所述信息与真实外部世界相符且通过SVS合成视觉系统提供,所述佩戴式平视系统包括:
-佩戴式平视显示器(12)D0,及
-用于检测头部姿势的DDP子系统(16),其包括固定地附接到所述显示器D0上的跟踪移动第一元件(18)D1、固定地连接到所述飞行器的平台(24)的固定第二元件(22)D2及用于测量和确定所述跟踪移动第一元件(18)D1相对于连接到所述平台(24)的所述固定第二元件(22)D2的参考坐标系的相对定向M12的装置(26),
-用于提供所述平台相对于陆地框架的相对姿态M3t的惯性设备(30)D3,
-用于提供所述飞行器相对于地球的位置的设备(32)Dp,以及
-SVS合成视觉系统(34),其用于在所述显示器D0上提供合成地形图像,所述图像取决于以下各项并根据以下各项进行自动控制:
*分别通过所述飞行器的定位设备和所述惯性姿态设备D3测量的所述飞行器的位置和相对姿态M3t,及
*所述DDP姿势检测子系统的所述跟踪移动第一元件D1相对于所述固定第二元件D2的相对定向M12;以及
-用于将所述显示器D0、所述DDP姿势检测子系统和所述惯性姿态设备D3彼此对准的双重协调子系统,
所述用于显示与真实的外部陆地世界相符的驾驶信息的佩戴式平视系统的特征在于:
-所述协调子系统(36)包含双重协调处理器(38)和HSI人-系统界面(40),所述双重协调处理器(38)和HSI人-系统界面(40)并有用于重新调整所述相符平视显示器的功能;以及
-所述双重协调子系统(36)被配置成:
-通过在重新调整状态开始时间t1c激活重新调整模式来启动(204)所述重新调整方法,在重新调整状态中,所述相符驾驶信息中的全部或一些在所述显示器上相对于所述跟踪移动元件D1的移动定格显示,且相对于所述飞行器的移动自由显示,以及共同存储所述重新调整状态开始时间t1c及对应的所述DDP姿势检测子系统的跟踪移动第一元件D1和固定第二元件D2之间的相对定向;接着
-对所述DDP姿势检测子系统(16)的所述跟踪第一元件D1相对于所述固定第二元件D2的相对定向实行(206、208、210、212、214)预设数目N的一系列测量,i在1到N之间变化,所述固定第二元件D2即连接到所述平台的元件,这些测量对应于瞄准动作Vi,i在1到N之间变化,在所述瞄准动作Vi期间在所述重新调整状态中所显示的驾驶信息的各个要素与真实外部世界的对应地标重叠;然后
-假设所述固定第二元件D2相对于所述惯性姿态设备D3的相对定向始终等于秩为3的单位矩阵,通过双重协调算法,基于通过所述DDP子系统测量的旋转矩阵及对应的预期理论DDP旋转矩阵联合确定(216)所述显示器D0和所述跟踪移动元件D1之间的相对定向M01及所述惯性设备D3相对于地球的相对定向M3t。
10.根据权利要求9所述的用于显示和飞行器的驾驶有关的信息的佩戴式平视系统,所述信息与真实外部世界相符且通过SVS合成视觉系统提供,其中
所述协调子系统被配置成将提供所述显示器D0和所述DDP子系统的所述跟踪元件之间的相对定向的所述矩阵M01及提供连接到所述飞行器的所述惯性姿态设备D3相对于地球的相对定向的所述矩阵M3t分别计算为右侧旋转校正矩阵及左侧旋转校正矩阵右侧旋转校正矩阵及左侧旋转校正矩阵为以下方程组的联合解:i在1到N之间变化。
11.根据权利要求10所述的用于显示和飞行器的驾驶有关的信息的佩戴式平视系统,所述信息与真实外部世界相符且通过SVS合成视觉系统提供,其中
最小所需测量数目N取决于所述显示系统的所述旋转M01和M3t的错误或不可用的角自由度的数目L,所述数目L是大于或等于1且小于或等于6的整数,并且
方程组i在1到N之间变化的的解使用校正算子π(.)来确定所述右侧旋转矩阵和所述左侧旋转矩阵所述校正算子π(.)将任何给定的矩阵A转换为3×3矩形旋转矩阵π(A),所述π(A)是所有3×3旋转矩阵中在以下意义上最接近矩阵A的:矩阵π(A)-A的所有项的平方和最小。
12.根据权利要求11所述的用于显示和飞行器的驾驶有关的信息的佩戴式平视系统,所述信息与真实外部世界相符且通过SVS合成视觉系统提供,其中
-所述数目N大于或等于3,并且
-所述双重协调处理器被配置成通过执行由以下组成的第一组(312)子步骤来实施对双重协调方程组求解的步骤(302):
-在第一子步骤(314)中,选择所述N个测量当中的第一测量作为“主元”测量,此主元测量对应于i等于1,并且对于i=2,…,N,使用方程来计算所述旋转矩阵接着
-在第二子步骤(316)中,对于i=2,…,N,确定所述旋转的主要单位向量,所述主要单位向量分别标记为然后
-在第三子步骤(318)中,使用以下方程计算所述右侧矩阵即M01:
随后
-在第四子步骤(320)中,基于在所述第三子步骤(318)中计算出的所述矩阵使用以下方程来确定所述左侧旋转矩阵即M3t:
13.根据权利要求11所述的用于显示和飞行器的驾驶有关的信息的佩戴式平视系统,所述信息与真实外部世界相符且通过SVS合成视觉系统提供,其中
-所述右侧旋转即所述矩阵M01,其错误或不可用的角自由度的数目等于3;且所述左侧旋转即所述矩阵M3t,其单个错误或不可用的角自由度是偏航角;假设知晓足够精确的侧倾角和俯仰角;并且
-测量总数N大于或等于4;并且
-所述联合双重协调处理器被配置成通过执行由以下组成的第一组(412)子步骤来实施对双重协调方程组求解的步骤(402):
-在第四子步骤(414)中,对于i=2,…,N,使用以下方程计算矩阵和向量
向量通过方程定义;接着
-在初始化第五子步骤(416)中,通过将设置成等于单位矩阵I3,初始化第一矩阵序列[s]标示所述序列中的当前遍历整数项数;然后
-重复迭代性第六子步骤(418),在第六子步骤(418)中,通过使用以下方程计算向量值然后计算所述第一矩阵序列的值而从迭代[s]推导到迭代[s+1]:
所述序列是辅助第二向量序列,且所述序列收敛到随后
-在第七子步骤(420)中,当足够精确地逼近预设阈值所定义的极限值时,停止贯穿所述第六子步骤(418)实行的迭代过程。
14.根据权利要求9到13中任一项所述的用于显示和飞行器的驾驶有关的信息的佩戴式平视系统,所述信息与真实外部世界相符且通过SVS合成视觉系统提供,其中
所述双重协调子系统被配置成在实施重新调整测量期间用不同的颜色或不同的线条样式以特定于测量模式的表示模式表示作为目标的驾驶信息,即符号体系和/或地形的合成表示和/或电磁传感器的图像。
CN201811572654.6A 2017-12-21 2018-12-21 以svs在佩戴式显示器上再调整关于飞行器驾驶且与真实外界相符的符号的方法和系统 Active CN110027717B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1701340 2017-12-21
FR1701340A FR3075984B1 (fr) 2017-12-21 2017-12-21 Procede et systeme de recalage d'une symbologie de pilotage d'un aeronef sur un afficheur tete haute porte conforme avec le monde reel exterieur via un systeme de vision synthetique svs

Publications (2)

Publication Number Publication Date
CN110027717A true CN110027717A (zh) 2019-07-19
CN110027717B CN110027717B (zh) 2023-12-22

Family

ID=62017305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811572654.6A Active CN110027717B (zh) 2017-12-21 2018-12-21 以svs在佩戴式显示器上再调整关于飞行器驾驶且与真实外界相符的符号的方法和系统

Country Status (5)

Country Link
US (1) US10593303B2 (zh)
EP (1) EP3502844B1 (zh)
CN (1) CN110027717B (zh)
FR (1) FR3075984B1 (zh)
IL (1) IL263057B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3110728B1 (fr) 2020-05-19 2022-04-29 Thales Sa Dispositif électronique d'affichage de symboles exocentrés, procédé d'affichage et produit programme d'ordinateur associés
CN111977006A (zh) * 2020-08-11 2020-11-24 深圳市道通智能航空技术有限公司 一种关节角的初始化方法、装置及飞行器
FR3116351B1 (fr) * 2020-11-18 2023-06-16 Thales Sa Dispositif d'affichage tête haute porté et procédé d'affichage associé
US11851215B2 (en) 2021-05-27 2023-12-26 Honeywell International Inc. Systems and methods for calibrating a synthetic image on an avionic display
WO2023281488A1 (en) * 2021-07-04 2023-01-12 Elbit Systems Ltd. A conformal display system and a method thereof
IL284600B2 (en) * 2021-07-04 2023-10-01 Elbit Systems Ltd System and method for non-conformal display

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040123474A1 (en) * 2002-12-30 2004-07-01 Manfred Mark T. Methods and apparatus for automatic magnetic compensation
US20070297696A1 (en) * 2006-06-27 2007-12-27 Honeywell International Inc. Fusion of sensor data and synthetic data to form an integrated image
CN102162738A (zh) * 2010-12-08 2011-08-24 中国科学院自动化研究所 摄像头与惯性传感器组合定位定姿系统的标定方法
CN102866710A (zh) * 2011-06-30 2013-01-09 通用电气公司 一种操作飞行器中合成视觉系统的方法
CN105139451A (zh) * 2015-08-10 2015-12-09 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于hud的合成视景指引显示系统
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准
US20170053453A1 (en) * 2014-04-30 2017-02-23 Thales Avionic system comprising means for designating and marking land
RU2614192C1 (ru) * 2015-12-02 2017-03-23 Акционерное общество "Раменское приборостроительное конструкторское бюро" Способ оценивания ошибок инерциальной информации и её коррекции по измерениям доплеровского измерителя скорости
CN107036624A (zh) * 2015-12-29 2017-08-11 泰勒斯公司 在飞行器的机载显示系统中图形表示空地相对位置的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009081177A2 (en) * 2007-12-21 2009-07-02 Bae Systems Plc Apparatus and method for landing a rotary wing aircraft
US20170336631A1 (en) * 2016-05-18 2017-11-23 Rockwell Collins, Inc. Dynamic Vergence for Binocular Display Device
US10124907B1 (en) * 2016-08-03 2018-11-13 Rockwell Collins, Inc. Autorotation guidance command system, device, and method
FR3061598B1 (fr) * 2016-12-29 2020-10-16 Thales Sa Procede de calcul et d'affichage d'informations de pilotage comportant un " relief factor"

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040123474A1 (en) * 2002-12-30 2004-07-01 Manfred Mark T. Methods and apparatus for automatic magnetic compensation
US20070297696A1 (en) * 2006-06-27 2007-12-27 Honeywell International Inc. Fusion of sensor data and synthetic data to form an integrated image
CN102162738A (zh) * 2010-12-08 2011-08-24 中国科学院自动化研究所 摄像头与惯性传感器组合定位定姿系统的标定方法
CN102866710A (zh) * 2011-06-30 2013-01-09 通用电气公司 一种操作飞行器中合成视觉系统的方法
US20170053453A1 (en) * 2014-04-30 2017-02-23 Thales Avionic system comprising means for designating and marking land
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准
CN105139451A (zh) * 2015-08-10 2015-12-09 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于hud的合成视景指引显示系统
RU2614192C1 (ru) * 2015-12-02 2017-03-23 Акционерное общество "Раменское приборостроительное конструкторское бюро" Способ оценивания ошибок инерциальной информации и её коррекции по измерениям доплеровского измерителя скорости
CN107036624A (zh) * 2015-12-29 2017-08-11 泰勒斯公司 在飞行器的机载显示系统中图形表示空地相对位置的方法

Also Published As

Publication number Publication date
IL263057B (en) 2022-01-01
FR3075984B1 (fr) 2019-11-15
CN110027717B (zh) 2023-12-22
IL263057A (en) 2019-03-31
EP3502844B1 (fr) 2020-05-27
EP3502844A1 (fr) 2019-06-26
FR3075984A1 (fr) 2019-06-28
US20190197995A1 (en) 2019-06-27
US10593303B2 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
CN110027717A (zh) 以svs在佩戴式显示器上再调整关于飞行器驾驶且与真实外界相符的符号的方法和系统
EP0330184B1 (en) Helmet Mounted Display System
JP4714907B2 (ja) ボアサイティング装置用ジャイロシステム
EP3454008B1 (en) Survey data processing device, survey data processing method, and survey data processing program
TWI522650B (zh) 用於擴增實境裝置之即時導正系統、方法及電腦程式產品
Foxlin et al. Flighttracker: A novel optical/inertial tracker for cockpit enhanced vision
ES2761612T3 (es) Corrección de datos del sensor inercial
JP3403361B2 (ja) ヘッド・マウント・ディスプレイ装置
EP2142875B1 (en) Self-orienting reticle
CN105043392B (zh) 一种飞行器位姿确定方法及装置
CN104704424A (zh) 基础设施测绘系统和方法
US10690925B2 (en) Dual harmonization method and system for a worn head-up display system with a removable attitude inertial device in the cockpit
CN109949655B (zh) 用于头戴式显示系统的双重协调方法和系统
Foxlin et al. Improved registration for vehicular AR using auto-harmonization
CN117647217A (zh) 混合现实设备定向及物体定位方法
JP7018443B2 (ja) ターゲットの定位を支援する方法およびこの方法の実行可能な観察装置
US20240087166A1 (en) Aligning multiple coordinate systems for informaton model rendering
US10795158B2 (en) Method for dual harmonization of a DDP posture-detecting subsystem integrated into a worn/borne head-up viewing system
US11087487B2 (en) Obscuration map generation
US10970853B2 (en) Determining method of a virtual velocity vector of a mobile engine, associated computer program product and determining system
CN116301374A (zh) 一种面向机载的混合现实显示系统及方法
CN109782442A (zh) 显示系统、相关显示方法和计算机程序
Brandstaetter et al. Eyeball: An inertial helmet mounted cueing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant