CN106856566A - 一种基于ar设备的信息同步方法及系统 - Google Patents

一种基于ar设备的信息同步方法及系统 Download PDF

Info

Publication number
CN106856566A
CN106856566A CN201611168836.8A CN201611168836A CN106856566A CN 106856566 A CN106856566 A CN 106856566A CN 201611168836 A CN201611168836 A CN 201611168836A CN 106856566 A CN106856566 A CN 106856566A
Authority
CN
China
Prior art keywords
equipment
time point
relative
driving cabin
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611168836.8A
Other languages
English (en)
Other versions
CN106856566B (zh
Inventor
蒋欣
曾锐
张炯
刘玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commercial Aircraft Corp of China Ltd
Beijing Aeronautic Science and Technology Research Institute of COMAC
Original Assignee
Commercial Aircraft Corp of China Ltd
Beijing Aeronautic Science and Technology Research Institute of COMAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commercial Aircraft Corp of China Ltd, Beijing Aeronautic Science and Technology Research Institute of COMAC filed Critical Commercial Aircraft Corp of China Ltd
Priority to CN201611168836.8A priority Critical patent/CN106856566B/zh
Publication of CN106856566A publication Critical patent/CN106856566A/zh
Application granted granted Critical
Publication of CN106856566B publication Critical patent/CN106856566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
    • G05D1/0825—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability using mathematical models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及基于AR设备的信息同步方法及系统，属于航空技术领域,该方法包括：利用图像匹配定位和惯性导航定位确定AR设备在当前时刻Tn‑1相对驾驶舱的相对位姿，并基于上一时刻Tn‑2的传输延时，及AR设备在当前时刻相对飞行设备的相对加速度信息和相对角速度信息，预测AR设备未来时刻Tn的相对位姿，并基于由飞行指引信息和舱外三维视景合成的驾驶舱的全角度视景虚拟模型画面，来确定未来时刻Tn的视景虚拟模型画面，并同步到AR设备显示。通过提前预测未来时刻Tn的相对位姿并合成视景虚拟模型画面，在实现同步视景虚拟模型画面的同时，能够有效降低由于传输延时带来的画面延迟，实现“所见即所得”，帮助飞行员实现在低可见度环境下的目视参考飞行。

Description

一种基于AR设备的信息同步方法及系统
技术领域
本发明涉及航空技术领域，特别涉及一种基于AR设备的信息同步方法及系统。
背景技术
SVS系统通过对飞机外部的地形、障碍物以及跑道等环境的模拟，在低能见度环境下为飞行员提供情形认识与飞行辅助。
但是在实现本发明的过程中，发明人发现现有的合成视景系统SVS至少存在如下问题：
合成视景系统SVS的呈现信息缺少飞行指引信息提示(例如：机场位置提示、剩余跑道距离提示、擦机尾提示、低能见度引导起飞，III类进近偏差)，没有在降落过程中提供给飞行员,因此现阶段合成视景系统SVS在提高飞行员态势感知能力、辅助着陆方面发挥的作用并不大。实用效能的缺失，导致FAA和CAAC都尚未启动针对合成视景系统SVS降低起飞和降落的最低天气标准的特殊批准程序；同时在目前的民机系统中，合成视景系统SVS显示输出只能呈现在下视显示器上，其显示方式与位置忽视了人体观察习惯，尤其忽视了在飞机进行高速贴地/近地运动时观察重心转换对于飞行员有效操作的影响。总结来说，显示位置位于下视显示器的合成视景系统SVS具有两个主要问题：基于下视显示器的布局位置，其无法在目视飞行状态下为飞行员提供持续的飞行辅助，这无法满足民航安全条例中关于着陆目视飞行条件的相关规定；同样是由于下视显示器的空间布局，使得其无法满足合成视景系统SVS所追求的“所见即所得”标准，可能存在并难以纠正虚拟图景与机外环境的“脱扣”情况，进而可能造成安全隐患。
平视导视系统HGS是在平视显示器上进行飞行数据、指引信息、辅助信息的显示，并且可以和外部视景叠加，增强飞行员情景意识，但是在实现本发明的过程中，发明人发现平视导视系统HGS至少存在如下问题：平视导视系统不具备三维重构与实时地形视景的生成能力，当遭遇恶劣天气时，难以为飞行员提供更好的情景意识。
以飞行头盔形式存在的军用增强现实设备利用其搭载的HMD为飞行员提供实时的全视角战场环境告知与飞行辅助信息显示，但是在实现本发明的过程中，发明人发现至少存在如下问题：
由于功能差异，其系统重点在于与导航系统、雷达系统与火控系统的协调搭配，不会/几乎不会存储巨量的地面场景、障碍物和跑道等信息，同时其功能上并不具有合成视景系统SVS的三维重构与图像合成能力，仅能作为技术手段参考项
因此，在技术和经济性可达的情况下，应为飞行员提供全视场的合成视景信息与飞行指引信息，以实现在低可见度环境下的目视参考飞行。
发明内容
本发明实施例的目的是提供一种基于AR设备的信息同步方法及系统，综合SVS系统和头戴式AR设备的各自优势，同时参考HGS中关于飞行指引的相关功能，将主飞行数据、导航数据、飞行指引数据、起飞降落辅助决策数据通过符合设计和画面布局形成指引画面与三维地形模拟、障碍物模拟、跑道模拟生成的仿真画面重合叠加，结合AR眼镜使得飞行员得以以任意观察角度获取全方位的机外场景信息与飞行指引信息；在低能见度情况下，以大幅度增强飞行员情景意识和态势感知能力。
根据本发明实施例的一个方面，本发明的实施例提供了一种基于AR设备的信息同步方法，应用于机载计算机系统，包括：
实时对平视导视系统HGS的飞行指引图像和合成视景系统SVS的舱外三维视景进行画面重合叠加以合成全角度视景虚拟模型画面；
基于预定定位方式，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿；
基于所述Tn-1时间点的上一时间点Tn-2对应的视景虚拟模型画面在AR设备上的显示时间点Td，获取传输延时Td-Tn-2；
基于所述传输延时Td-Tn-2、AR设备在时间点Tk至时间点Tn-1这一时间段TkTn-1相对于飞行设备的相对加速度和相对角速度及AR设备在Tn-1时间点时在驾驶舱中的相对位姿，构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿；
基于AR设备在Tn时间点时在驾驶舱中的相对位姿，确定AR设备在Tn时间点时的视角方向；
基于AR设备在Tn时间点时的视角方向，从Tn时间点时的全角度视景虚拟模型画面中获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面；
将所述预测视景虚拟模型画面同步至AR设备以显示。
优选地,在所述构建基于卡尔曼滤波的AR设备位姿预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿的步骤之前，所述方法还包括：
获取AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息；
基于获取的AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1，相对于飞行设备的相对加速度信息和相对角速度信息。
优选地,所述基于预定定位方式，确定AR设备在Tn-1时间点时，在驾驶舱中的相对位姿的步骤包括：
确定AR设备在驾驶舱中的初始位姿；
获取所述AR设备在初始位姿下采集的初始图像；
获取AR设备在采样时间点Cn时采集的样本图像；
判断是否存在一个采样时间点Cn与Tn-1时间点重合；
若存在，则基于所述初始图像和图像匹配定位算法，获取所述Tn-1时间点的样本图像相对于所述初始图像的位姿信息；
基于AR设备在驾驶舱中的初始位姿和Tn-1时间点的样本图像相对于所述初始图像的位姿信息，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿。
优选地,所述方法还包括：
若不存在一个采样时间点Cn与Tn-1时间点重合，则基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1的相对加速度和相对角速度；
基于AR设备在时间段TkTn-1的相对加速度和相对角速度、AR设备在驾驶舱中的初始位姿、以及T0时间点至Tn-1时间点的时间间隔，利用惯性导航方法计算AR设备在Tn-1时间点时在驾驶舱中的相对位姿，其中，T0时间点为所述初始位姿对应的初始时间点，T0＜Tk＜Tn-1。
优选地,所述方法还包括：
若不存在一个采样时间点Cn与Tn-1时间点重合，则获取图像采集模块在Tn-1时间点之前的采样时间点Cn采集的样本图像；
基于所述初始图像和图像匹配定位算法，获取所述采样时间点Cn的样本图像相对于所述初始图像的位姿信息；
基于AR设备在驾驶舱中的初始位姿和采样时间点Cn的样本图像相对于所述初始图像的位姿信息，确定在采样时间点Cn时AR设备在驾驶舱中的相对位姿；
基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1的相对加速度和相对角速度；
基于AR设备在时间段TkTn-1的相对加速度和相对角速度、所述AR设备在该采样时间点Cn时在驾驶舱中的相对位姿，以及该采样时间点Cn至Tn-1时间点的时间间隔，利用惯性导航定位计算AR设备在Tn-1时间点时在驾驶舱中的相对位姿。
优选地,所述获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面包括:
基于与驾驶舱相对应的驾驶舱三维模型、Tn时间点时的全角度视景虚拟模型画面及投影定理，获取Tn时间点时的全角度视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面以形成预测视景虚拟模型画面。
优选地,所述确定AR设备在驾驶舱中的初始位姿的方法包括：
获取预估初始位姿下AR设备采集的预估图像；
获取AR设备采集的实际的初始图像；
基于所述预估图像和图像匹配定位算法，获取所述初始图像相对于所述预估图像的位姿信息；
基于AR设备在驾驶舱中的预估初始位姿和所述初始图像相对于所述预估图像的位姿信息，确定AR设备在驾驶舱中实际的初始位姿。
根据本发明实施例的另一个方面，本发明的实施例提供了一种机载计算机系统，包括：
图像生成模块，用于实时对平视导视系统HGS的飞行指引图像和合成视景系统SVS的舱外三维视景进行画面重合叠加以合成全角度视景虚拟模型画面；
定位模块，用于基于预定定位方式，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿；和，
用于基于所述Tn-1时间点的上一时间点Tn-2对应的视景虚拟模型画面在AR设备上的显示时间点Td，获取传输延时Td-Tn-2；和，
用于基于所述传输延时Td-Tn-2、AR设备在时间点Tk至时间点Tn-1这一时间段TkTn-1相对于飞行设备的相对加速度和相对角速度及AR设备在Tn-1时间点时在驾驶舱中的相对位姿，构建基于卡尔曼滤波的AR设备位姿预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿；
所述图像生成模块，还用于基于AR设备在Tn时间点时在驾驶舱中的相对位姿，确定AR设备在Tn时间点时的视角方向；和，
用于基于AR设备在Tn时间点时的视角方向，从Tn时间点时的全角度视景虚拟模型画面中获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面；和，
用于将所述预测视景虚拟模型画面同步至AR设备以显示。
优选地，
所述定位模块，还用于在所述构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿之前，获取AR设备时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息；和,
用于基于获取的AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1，相对于飞行设备的相对加速度信息和相对角速度信息。
优选地，
所述定位模块，还用于确定AR设备在驾驶舱中的初始位姿；和，
用于获取所述AR设备在初始位姿下采集的初始图像；和，
用于获取AR设备在采样时间点Cn时采集的样本图像；和，
用于判断是否存在一个采样时间点Cn与Tn-1时间点重合；
若存在，则基于所述初始图像和图像匹配定位算法，获取所述Tn-1时间点的样本图像相对于所述初始图像的位姿信息；和，
用于基于AR设备在驾驶舱中的初始位姿和Tn-1时间点的样本图像相对于所述初始图像的位姿信息，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿。
优选地，
所述定位模块，还用于在不存在一个采样时间点Cn与Tn-1时间点重合时，基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1的相对加速度和相对角速度；和，
用于基于AR设备在时间段TkTn-1的相对加速度和相对角速度、AR设备在驾驶舱中的初始位姿、以及T0时间点至Tn-1时间点的时间间隔，利用惯性导航方法计算AR设备在Tn-1时间点时在驾驶舱中的相对位姿，其中，T0时间点为所述初始位姿对应的初始时间点，T0＜Tk＜Tn-1。
优选地，
所述定位模块，还用于在不存在一个采样时间点Cn与Tn-1时间点重合时，获取图像采集模块在Tn-1时间点之前的采样时间点Cn采集的样本图像；和，
用于基于所述初始图像和图像匹配定位算法，获取所述采样时间点Cn的样本图像相对于所述初始图像的位姿信息；和，
用于基于AR设备在驾驶舱中的初始位姿和采样时间点Cn的样本图像相对于所述初始图像的位姿信息，确定在采样时间点Cn时AR设备在驾驶舱中的相对位姿；和，
用于基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1的相对加速度和相对角速度；和，
用于基于AR设备在时间段TkTn-1的相对加速度和相对角速度、所述AR设备在该采样时间点Cn时在驾驶舱中的相对位姿，以及该采样时间点Cn至Tn-1时间点的时间间隔，利用惯性导航定位计算AR设备在Tn-1时间点时在驾驶舱中的相对位姿。
优选地，
所述系统还包括：
视景虚拟模型画面处理模块，用于基于与驾驶舱相对应的驾驶舱三维模型、Tn时间点时的全角度视景虚拟模型画面及投影定理，获取Tn时间点时的全角度视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面以形成预测视景虚拟模型画面。
优选地，
所述定位模块，还用于获取预估初始位姿下AR设备采集的预估图像；和，
用于获取AR设备采集的实际的初始图像；和，
用于基于所述预估图像和图像匹配定位算法，获取所述初始图像相对于所述预估图像的位姿信息；和，
用于基于AR设备在驾驶舱中的预估初始位姿和所述初始图像相对于所述预估图像的位姿信息，确定AR设备在驾驶舱中实际的初始位姿。
根据本发明实施例的另一个方面，本发明的实施例提供了一种机载终端，所述机载终端中设有包括以上所述的机载计算机系统。
本发明实施例提供的基于AR设备的信息同步方法及系统，综合SVS系统和头戴式AR设备的各自优势，同时参考了HGS中关于飞行指引的相关功能，将主飞行数据、导航数据、飞行指引数据、起飞降落辅助决策数据通过符合设计和画面布局形成指引画面与三维地形模拟、障碍物模拟、跑道模拟生成的仿真画面重合叠加，结合AR眼镜使得飞行员得以以任意观察角度获取全方位的机外场景信息与飞行指引信息；在低能见度情况下，能大幅度增强飞行员情景意识和态势感知能力，并通过提前预测位姿实现“所见即所得”的技术效果。
附图说明
图1是本发明实施例提供的基于AR设备的信息同步方法的流程图；
图2是本发明实施例提供的基于AR设备的信息同步方法的框架图；
图3是本发明实施例提供的基于AR设备的信息同步系统的模块关系示意图。
附图标记说明：1-图像生成模块；2-定位模块；3-合成视景模块SVS；4-平视导视模块HGS；5-画面处理模块；6-下视显示模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明的实施例提供了一种基于AR设备的信息同步方法，应用于机载计算机系统，包括：
实时对平视导视系统HGS的飞行指引图像和合成视景系统SVS的舱外三维视景进行画面重合叠加以合成全角度视景虚拟模型画面；其中，需要说明的是，飞行指引信息包括：主飞行数据，导航数据、飞行指引数据、起飞降落辅助决策数据(例如：机场位置提示、剩余跑道距离提示、擦机尾提示、低能见度引导起飞，III类进近偏差)，飞行指引信息是从飞行设备的机载计算机系统上的平视导视模块(子系统)HGS中获取的；其中，AR设备优选为AR眼镜；
基于预定定位方式，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿；其中，预定定位方式包括图像识别匹配定位和惯性导航定位，其中，图片识别匹配定位，利用物理尺寸与图像特征已知的标识块或图片确定特征点，利用PNP技术进行标识块定位后，依据已知的相对位置关系定位设备，准确性高，但是由于图片识别匹配定位需依赖于图片的实时采集，而图片的采集的频率相对较低，导致在采集的两张图片之间的时刻，会出现空白图片，导致无法定位，因此，在图片定位的基础上，本发明还结合惯性导航定位方式，因为惯性导航定位是实时的数据采集，其数据采集频率很高，能够很好地弥补上述图片识别匹配定位的不足，结合这两种定位方式，能够准确快速的对AR设备进行相对位姿的定位。
基于所述Tn-1时间点的上一时间点Tn-2对应的视景虚拟模型画面在AR设备上的显示时间点Td，获取传输延时Td-Tn-2；其中，需要说明的是，此处时间点Tn-2对应的视景虚拟模型画面在AR设备上的显示时间点Td是指未经卡尔曼滤波预测时的时间点Tn-2的实际视景虚拟模型画面在考虑到网络延迟等因素在AR设备上显示的实际时间，此处的实际视景虚拟模型画面是是相对于经卡尔曼滤波预测模型预测得到的预测视景虚拟模型画面而言的。也即，在理想状态下，AR设备在Tn-2时间点采集了一组与该时间点对应的样本图像和加速度信息和角速度信息之后，会上传到机载计算机系统，并将短暂处理后(定位)得到的AR设备在Tn-2时间点是的相对位姿用于确定该时刻的视景虚拟模型画面，最终，在时间点Td时，该视景虚拟模型画面被同步到AR设备以显示，也即，在AR设备上显示的视景虚拟模型画面落后于真实场景(即Tn-1时间点时，驾驶舱外的真实的视景)Td-Tn-2时长，为了避免时间延迟带来的用户体验感降低，因此，在计算AR设备的相对位姿时，需要利用上一传输周期得到的延时Td-Tn-2构建基于卡尔曼滤波的AR设备位姿预测器以提前预测AR设备的位姿进而来弥补传输延时。
基于所述传输延时Td-Tn-2、AR设备在时间点Tk至时间点Tn-1这一时间段TkTn-1相对于飞行设备的相对加速度和相对角速度及AR设备在Tn-1时间点时在驾驶舱中的相对位姿，构建基于卡尔曼滤波的AR设备位姿预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿；其中，需要说明的是，Tn-Tn-1＝Td-Tn-2,也即，在当前时刻Tn-1时即预测Tn时间点时AR设备的相对位姿以使得在经过Td-Tn-2时长的传输延时后到达Tn时间点时，AR设备刚好能够显示当前时间点(Tn时间点)的画面，从而实现“所见即所得”。其中，基于卡尔曼滤波构建预测模型基于现有技术手段能够实现，在此不再做进一步说明。
基于AR设备在Tn时间点时在驾驶舱中的相对位姿，确定AR设备在Tn时间点时的视角方向；其中，需要说明的是，AR设备在驾驶舱中的相对位姿确定了，那么AR设备的视角方向也即确定了。
基于AR设备在Tn时间点时的视角方向，从Tn时间点时的全角度视景虚拟模型画面中获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面；
将所述预测视景虚拟模型画面同步至AR设备以显示。
如图2所示，下面结图2进行进一步说明，图2中，飞机外部场景(障碍物、天气情况及跑道信息等)即是指驾驶舱外部场景为外部的真实环境，机载计算机系统中的视景合成模块(系统)SVS，实时对驾驶舱外部场景进行三维场景重构形成舱外三维视景，其具体的舱外三维视景随着飞行设备的位姿变换而变化的；机载计算机系统中的视导视模块(系统)HGS会根据飞行设备当前的位姿信息及飞行指引数据生成飞行指引信息图像，其中，舱外三维视景是带有深度信息的三维画面，飞行指引信息图像是不包含深度信息的二维画面，两种图像叠加时，飞行指引信息图像叠加在舱外三维视景之上以形成全角度视景虚拟模型画面，即图2中展示的机外场景与合成指引信息生成，然后再根据AR眼镜的位姿信息确定视角方向以从全角度视景虚拟模型获取与AR设备在该视角方向上对应的视景虚拟模型画面，最后再根据驾驶舱布局信息也即驾驶舱对该视角方向上的视景虚拟模型画面进行驾驶舱遮挡计算(即获取预测视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面)。
在合成全角度视景虚拟模型画面的步骤之前，还包括：
实时对驾驶舱外部场景进行三维重构，以形成与驾驶舱外部场景相对应的舱外三维视景；其中，需要说明的是，实时对驾驶舱外部场景进行三维重构是基于机载计算机系统中的视景合成模块(系统)SVS实现的，SVS以飞行设备的位置和姿态为基准，将存储的飞行数据库中的(或实时获取的)三维地形-高程数据、障碍物数据，飞机跑道信息等通过三维场景可视化重构技术进行投影形成三维视景，并发送至图像生成模块；再由图像生成模块将获取的三维视景与飞行指引信息进行合成匹配即形成了全角度视景虚拟模型画面，同时，图像生成模块还会将全角度视景虚拟模型画面发送到飞行仪表显示屏(下视显示器HDD)上进行显示。
实时获取飞行设备的飞行指引数据以形成飞行指引信息图像，其中飞行指引信息的形成是基于机载计算机系统中的平视导视模块(系统)HGS实现的，在此不再进一步说明。
在所述构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿的步骤之前，所述方法还包括：
获取AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息；同时，需要说明的是，在获取到AR设备的加速度信息和角速度信息及飞行设备的加速度信息和角速度信息后，会通过卡尔曼滤波进行滤波处理。
基于获取的AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1，相对于飞行设备的相对加速度信息和相对角速度信息。
所述基于预设的驾驶舱和预定定位方式，确定AR设备在Tn-1时间点时，在驾驶舱中的相对位姿的步骤包括：
确定AR设备在驾驶舱中的初始位姿；
获取所述AR设备在初始位姿下采集的初始图像；
获取AR设备在采样时间点Cn时采集的样本图像；
判断是否存在一个采样时间点Cn与Tn-1时间点重合；
若存在，则基于所述初始图像和图像匹配定位算法，获取所述Tn-1时间点的样本图像相对于所述初始图像的位姿信息；其中,需要说明的是,AR设备采集的各个图像均为与各自本身相对应的位姿下的驾驶舱照片,故可通过图片匹配定位技术来实现AR设备定位。
基于AR设备在驾驶舱中的初始位姿和Tn-1时间点的样本图像相对于所述初始图像的位姿信息，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿。
若不存在一个采样时间点Cn与Tn-1时间点重合，则基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1的相对加速度和相对角速度；
基于AR设备在时间段TkTn-1的相对加速度和相对角速度、AR设备在驾驶舱中的初始位姿、以及T0时间点至Tn-1时间点的时间间隔，利用惯性导航方法计算AR设备在Tn-1时间点时在驾驶舱中的相对位姿，其中，T0时间点为所述初始位姿对应的初始时间点，T0＜Tk＜Tn，Tk的具体取值可根据实际计算需要进行取值。
或，若不存在一个采样时间点Cn与Tn-1时间点重合，则获取图像采集模块在Tn-1时间点之前的采样时间点Cn采集的样本图像；
基于所述初始图像和图像匹配定位算法，获取所述采样时间点Cn的样本图像相对于所述初始图像的位姿信息；
基于AR设备在驾驶舱中的初始位姿和采样时间点Cn的样本图像相对于所述初始图像的位姿信息，确定在采样时间点Cn时AR设备在驾驶舱中的相对位姿；
基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1时的相对加速度和相对角速度；
基于AR设备在时间段TkTn-1的相对加速度和相对角速度、所述AR设备在该采样时间点Cn时在驾驶舱中的相对位姿，以及该采样时间点Cn至Tn-1时间点的时间间隔，利用惯性导航定位计算AR设备在Tn-1时间点时在驾驶舱中的相对位姿。
其中，需要说明的是，在通过图像匹配定位算法进行定位之前，会对各个图像进行防抖处理以提高定位精度。
所述获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面包括:
基于与驾驶舱相对应的驾驶舱三维模型、Tn时间点时的全角度视景虚拟模型画面及投影定理，获取Tn时间点时的全角度视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面以形成预测视景虚拟模型画面。其中，需要说明的是，在飞行员头部可随意运动的情况下，透过AR眼镜，飞行员理论上可以看到在飞行员视角方向上(也即AR设备的视角方向上)的虚拟模型画面，但是为了避免虚拟模型画面影响驾驶员对驾驶舱内部仪表板的观察，再将所述预测视景虚拟模型画面同步至AR设备之前，需要结合投影定理将遮挡驾驶舱内部仪表板的部分画面抹去，使得AR设备仅仅显示预测视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面。
在所述确定AR设备在Tn-1时间点时，在驾驶舱中的相对位姿的步骤之后,还包括:
获取AR设备的指北模块在Tn-1时间点采集的指北针信息；
基于Tn-1时间点采集的指北针信息,判断所述AR设备在Tn-1时间点时的相对位姿是否与指北针信息相对应；
若不对应,则发出告警信号以提示AR设备在Tn-1时间点时的相对位姿有误。
所述确定AR设备在驾驶舱中的初始位姿的方法包括：
获取预估初始位姿下AR设备采集的预估图像；其中，需要说明的是，预估初始位姿时基于飞行员的身高数据，飞行员的座位位置，以及驾驶舱布局等信息估算的一个位姿。
获取AR设备采集的实际的初始图像；
基于所述预估图像和图像匹配定位算法，获取所述初始图像相对于所述预估图像的位姿信息；
基于AR设备在驾驶舱中的预估初始位姿和所述初始图像相对于所述预估图像的位姿信息，确定AR设备在驾驶舱中实际的初始位姿。
如图3所示，本发明的实施例还提供了一种机载计算机系统，包括：
图像生成模块1，用于将获取的飞行指引信息和舱外三维视景进行实时画面重合叠加，以合成全角度视景虚拟模型画面；
所述系统还包括：下视显示模块7，用于显示合成的全角度视景虚拟模型画面；
定位模块2，用于基于预定定位方式，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿；和，
用于基于所述Tn-1时间点的上一时间点Tn-2对应的视景虚拟模型画面在AR设备6上的显示时间点Td，获取传输延时Td-Tn-2；和，
用于基于所述传输延时Td-Tn-2、AR设备6在时间点Tk至时间点Tn-1这一时间段TkTn-1相对于飞行设备的相对加速度和相对角速度及AR设备6在Tn-1时间点时在驾驶舱中的相对位姿，构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备6在Tn时间点时在驾驶舱中的相对位姿；
所述图像生成模块1，还用于基于AR设备6在Tn时间点时在驾驶舱中的相对位姿，确定AR设备6在Tn时间点时的视角方向；和，
用于基于AR设备6在Tn时间点时的视角方向，从Tn时间点时的全角度视景虚拟模型画面中获取与AR设备6在该时间点的视角方向上对应的预测视景虚拟模型画面；和，
用于将所述预测视景虚拟模型画面同步至AR设备6以显示。
所述系统，还包括：
合成视景模块SVS3，用于在所述图像生成模块1将获取的飞行指引信息和舱外三维视景进行实时画面重合叠加，以合成全角度视景虚拟模型画面之前，实时对驾驶舱外部场景进行三维重构，以形成与驾驶舱外部场景相对应的舱外三维视景；
平视导视模块HGS4，用于在所述图像生成模块1将获取的飞行指引信息和舱外三维视景进行实时画面重合叠加，以合成全角度视景虚拟模型画面之前，实时获取飞行设备的飞行数据以形成飞行指引信息。
所述定位模块2，还用于在所述构建基于卡尔曼滤波的AR设备6位姿预测模型，以预测AR设备6在Tn时间点时在驾驶舱中的相对位姿之前，获取AR设备6在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息；和基于获取的AR设备6在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备6在时间段TkTn-1，相对于飞行设备的相对加速度信息和相对角速度信息。
所述定位模块2，还用于确定AR设备6在驾驶舱中的初始位姿；和，
用于获取所述AR设备6在初始位姿下采集的初始图像；和，
用于获取AR设备6在采样时间点Cn时采集的样本图像；和，
用于判断是否存在一个采样时间点Cn与Tn-1时间点重合；
若存在，则基于所述初始图像和图像匹配定位算法，获取所述Tn-1时间点的样本图像相对于所述初始图像的位姿信息；和，
用于基于AR设备6在驾驶舱中的初始位姿和Tn-1时间点的样本图像相对于所述初始图像的位姿信息，确定AR设备6在Tn-1时间点时在驾驶舱中的相对位姿。
所述定位模块2，还用于在不存在一个采样时间点Cn与Tn-1时间点重合时，基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备6在时间段TkTn-1的加速度信息和角速度信息，计算AR设备6在时间段TkTn-1的相对加速度和相对角速度；和，
用于基于AR设备6在时间段TkTn-1的相对加速度和相对角速度、AR设备6在驾驶舱中的初始位姿、以及T0时间点至Tn-1时间点的时间间隔，利用惯性导航方法计算AR设备6在Tn-1时间点时在驾驶舱中的相对位姿，其中，T0时间点为所述初始位姿对应的初始时间点，T0＜Tk＜Tn。
所述定位模块2，还用于在不存在一个采样时间点Cn与Tn-1时间点重合时，获取图像采集模块在Tn-1时间点之前的采样时间点Cn采集的样本图像；和，
用于基于所述初始图像和图像匹配定位算法，获取所述采样时间点Cn的样本图像相对于所述初始图像的位姿信息；和，
用于基于AR设备6在驾驶舱中的初始位姿和采样时间点Cn的样本图像相对于所述初始图像的位姿信息，确定在采样时间点Cn时AR设备6在驾驶舱中的相对位姿；和，
用于基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备6在T时间段TkTn-1的加速度信息和角速度信息，计算AR设备6在时间段TkTn-1的相对加速度和相对角速度；和，
用于基于AR设备6在时间段TkTn-1的相对加速度和相对角速度、所述AR设备6在该采样时间点Cn时在驾驶舱中的相对位姿，以及该采样时间点Cn至Tn-1时间点的时间间隔，利用惯性导航定位计算AR设备6在Tn-1时间点时在驾驶舱中的相对位姿。
所述系统还包括：
视景虚拟模型画面处理模块5(即图2中所示画面处理模块5)，用于基于与驾驶舱相对应的驾驶舱三维模型、Tn时间点时的全角度视景虚拟模型画面及投影定理，获取Tn时间点时的全角度视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面以形成预测视景虚拟模型画面。
所述系统还包括：
告警校验模块，用于在所述确定AR设备6在Tn-1时间点时，在驾驶舱中的相对位姿之后,获取AR设备6的指北模块在Tn-1时间点采集的指北针信息；和，
用于基于Tn-1时间点采集的指北针信息,判断所述AR设备6在Tn-1时间点时的相对位姿是否与指北针信息相对应；
若不对应,则发出告警信号以提示AR设备6在Tn-1时间点时的相对位姿有误。
所述定位模块2，还用于获取预估初始位姿下AR设备6采集的预估图像；和，
用于获取AR设备6采集的实际的初始图像；和，
用于基于所述预估图像和图像匹配定位算法，获取所述初始图像相对于所述预估图像的位姿信息；和，
用于基于AR设备6在驾驶舱中的预估初始位姿和所述初始图像相对于所述预估图像的位姿信息，确定AR设备6在驾驶舱中实际的初始位姿。
为了更好地实现上述技术方案，本发明的实施例还提供了一种机载终端，所述机载终端中设有包括以上所述的机载计算机系统。
本发明实施例提供的基于AR设备的信息同步方法及系统，综合SVS系统和头戴式AR设备的各自优势，同时参考了HGS中关于飞行指引的相关功能，将主飞行数据、导航数据、飞行指引数据、起飞降落辅助决策数据通过符合设计和画面布局形成指引画面与三维地形模拟、障碍物模拟、跑道模拟生成的仿真画面重合叠加，结合AR眼镜使得飞行员得以以任意观察角度获取全方位的机外场景信息与飞行指引信息；在低能见度情况下，能大幅度增强飞行员情景意识和态势感知能力，同时实现了“所见即所得”，即解决了画面显示延时的问题，提高了用户体验。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于AR设备的信息同步方法，其特征在于，应用于机载计算机系统，包括：
实时对平视导视系统HGS的飞行指引图像和合成视景系统SVS的舱外三维视景进行画面重合叠加以合成全角度视景虚拟模型画面；
基于预定定位方式，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿；
基于所述Tn-1时间点的上一时间点Tn-2对应的视景虚拟模型画面在AR设备上的显示时间点Td，获取传输延时Td-Tn-2；
基于所述传输延时Td-Tn-2、AR设备在时间点Tk至时间点Tn-1这一时间段TkTn-1相对于飞行设备的相对加速度和相对角速度及AR设备在Tn-1时间点时在驾驶舱中的相对位姿，构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿；
基于AR设备在Tn时间点时在驾驶舱中的相对位姿，确定AR设备在Tn时间点时的视角方向；
基于AR设备在Tn时间点时的视角方向，从Tn时间点时的全角度视景虚拟模型画面中获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面；
将所述预测视景虚拟模型画面同步至AR设备以显示。
2.根据权利要求1所述的方法，其特征在于，在所述构建基于卡尔曼滤波的AR设备位姿预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿的步骤之前，所述方法还包括：
获取AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息；
基于获取的AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1，相对于飞行设备的相对加速度信息和相对角速度信息。
3.根据权利要求1所述的方法，其特征在于，
所述基于预定定位方式，确定AR设备在Tn-1时间点时，在驾驶舱中的相对位姿的步骤包括：
确定AR设备在驾驶舱中的初始位姿；
获取所述AR设备在初始位姿下采集的初始图像；
获取AR设备在采样时间点Cn时采集的样本图像；
判断是否存在一个采样时间点Cn与Tn-1时间点重合；
若存在，则基于所述初始图像和图像匹配定位算法，获取所述Tn-1时间点的样本图像相对于所述初始图像的位姿信息；
基于AR设备在驾驶舱中的初始位姿和Tn-1时间点的样本图像相对于所述初始图像的位姿信息，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若不存在一个采样时间点Cn与Tn-1时间点重合，则基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1的相对加速度和相对角速度；
基于AR设备在时间段TkTn-1的相对加速度和相对角速度、AR设备在驾驶舱中的初始位姿、以及T0时间点至Tn-1时间点的时间间隔，利用惯性导航方法计算AR设备在Tn-1时间点时在驾驶舱中的相对位姿，其中，T0时间点为所述初始位姿对应的初始时间点，T0＜Tk＜Tn-1。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若不存在一个采样时间点Cn与Tn-1时间点重合，则获取图像采集模块在Tn-1时间点之前的采样时间点Cn采集的样本图像；
基于所述初始图像和图像匹配定位算法，获取所述采样时间点Cn的样本图像相对于所述初始图像的位姿信息；
基于AR设备在驾驶舱中的初始位姿和采样时间点Cn的样本图像相对于所述初始图像的位姿信息，确定在采样时间点Cn时AR设备在驾驶舱中的相对位姿；
基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1的相对加速度和相对角速度；
基于AR设备在时间段TkTn-1的相对加速度和相对角速度、所述AR设备在该采样时间点Cn时在驾驶舱中的相对位姿，以及该采样时间点Cn至Tn-1时间点的时间间隔，利用惯性导航定位计算AR设备在Tn-1时间点时在驾驶舱中的相对位姿。
6.根据权利要求1至5任一项所述的方法，其特征在于，
所述获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面包括:
基于与驾驶舱相对应的驾驶舱三维模型、Tn时间点时的全角度视景虚拟模型画面及投影定理，获取Tn时间点时的全角度视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面以形成预测视景虚拟模型画面。
7.根据权利要求3所述的方法，其特征在于，所述确定AR设备在驾驶舱中的初始位姿的方法包括：
获取预估初始位姿下AR设备采集的预估图像；
获取AR设备采集的实际的初始图像；
基于所述预估图像和图像匹配定位算法，获取所述初始图像相对于所述预估图像的位姿信息；
基于AR设备在驾驶舱中的预估初始位姿和所述初始图像相对于所述预估图像的位姿信息，确定AR设备在驾驶舱中实际的初始位姿。
8.一种机载计算机系统，包括：
图像生成模块，用于实时对平视导视系统HGS的飞行指引图像和合成视景系统SVS的舱外三维视景进行画面重合叠加以合成全角度视景虚拟模型画面；
定位模块，用于预定定位方式，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿；和，
用于基于所述Tn-1时间点的上一时间点Tn-2对应的视景虚拟模型画面在AR设备上的显示时间点Td，获取传输延时Td-Tn-2；和，
用于基于所述传输延时Td-Tn-2、AR设备在时间点Tk至时间点Tn-1这一时间段TkTn-1相对于飞行设备的相对加速度和相对角速度及AR设备在Tn-1时间点时在驾驶舱中的相对位姿，构建基于卡尔曼滤波的AR设备位姿预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿；
所述图像生成模块，还用于基于AR设备在Tn时间点时在驾驶舱中的相对位姿，确定AR设备在Tn时间点时的视角方向；和，
用于基于AR设备在Tn时间点时的视角方向，从Tn时间点时的全角度视景虚拟模型画面中获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面；和，
用于将所述预测视景虚拟模型画面同步至AR设备以显示。
9.根据权利要求8所述的系统，其特征在于，
所述定位模块，还用于在所述构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿之前，获取AR设备时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息；和,
用于基于获取的AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1，相对于飞行设备的相对加速度信息和相对角速度信息。
10.一种机载终端，其特征在于，所述机载终端中设有包括权利要求8至权利要求9任一项所述的机载计算机系统。
CN201611168836.8A 2016-12-16 2016-12-16 一种基于ar设备的信息同步方法及系统 Active CN106856566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611168836.8A CN106856566B (zh) 2016-12-16 2016-12-16 一种基于ar设备的信息同步方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611168836.8A CN106856566B (zh) 2016-12-16 2016-12-16 一种基于ar设备的信息同步方法及系统

Publications (2)

Publication Number Publication Date
CN106856566A true CN106856566A (zh) 2017-06-16
CN106856566B CN106856566B (zh) 2018-09-25

Family

ID=59125980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611168836.8A Active CN106856566B (zh) 2016-12-16 2016-12-16 一种基于ar设备的信息同步方法及系统

Country Status (1)

Country Link
CN (1) CN106856566B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109613929A (zh) * 2018-12-12 2019-04-12 北京卫星信息工程研究所 一种航班精密进近与着陆方法及系统
CN110111428A (zh) * 2019-05-28 2019-08-09 艾瑞迈迪科技石家庄有限公司 一种应用于增强现实的虚拟目标标定方法及装置
CN110189578A (zh) * 2019-05-20 2019-08-30 北京悉见科技有限公司 一种基于增强现实进行飞行员训练的方法和装置
CN110648405A (zh) * 2019-10-12 2020-01-03 江南大学 一种基于增强现实的飞行操作辅助方法和系统
WO2020083318A1 (zh) * 2018-10-23 2020-04-30 中兴通讯股份有限公司 平视显示系统、显示方法和汽车
CN111311685A (zh) * 2020-05-12 2020-06-19 中国人民解放军国防科技大学 一种基于imu/单目图像的运动场景重构无监督方法
CN111569414A (zh) * 2020-06-08 2020-08-25 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111638793A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111650953A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 飞行器避障处理方法、装置、电子设备及存储介质
US10861169B2 (en) 2018-03-26 2020-12-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, storage medium and electronic device for generating environment model
CN112129313A (zh) * 2019-06-25 2020-12-25 安波福电子(苏州)有限公司 基于惯性测量单元的ar导航补偿系统
CN112489224A (zh) * 2020-11-26 2021-03-12 北京字跳网络技术有限公司 图像绘制方法、装置、可读介质及电子设备
CN112752119A (zh) * 2019-10-31 2021-05-04 中兴通讯股份有限公司 一种时延误差校正方法、终端设备、服务器及存储介质
CN113419632A (zh) * 2021-07-06 2021-09-21 广州市旗鱼软件科技有限公司 一种混合现实模拟驾驶场景显示方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384730B1 (en) * 2008-09-26 2013-02-26 Rockwell Collins, Inc. System, module, and method for generating HUD image data from synthetic vision system image data
CN103587268A (zh) * 2013-11-13 2014-02-19 江苏可一艺术品发展有限公司 一种书画艺术品数字化复制的色彩还原方法
CN104044745A (zh) * 2013-03-12 2014-09-17 霍尼韦尔国际公司 飞机驾驶舱显示器以及用于组合视景显示中的障碍物的增强显示的系统和方法
CN104469155A (zh) * 2014-12-04 2015-03-25 中国航空工业集团公司第六三一研究所 一种机载图形图像虚实叠加方法
CN104501834A (zh) * 2014-12-16 2015-04-08 西北工业大学 一种基于机载仪表着陆设备的合成视景系统校验方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384730B1 (en) * 2008-09-26 2013-02-26 Rockwell Collins, Inc. System, module, and method for generating HUD image data from synthetic vision system image data
CN104044745A (zh) * 2013-03-12 2014-09-17 霍尼韦尔国际公司 飞机驾驶舱显示器以及用于组合视景显示中的障碍物的增强显示的系统和方法
CN103587268A (zh) * 2013-11-13 2014-02-19 江苏可一艺术品发展有限公司 一种书画艺术品数字化复制的色彩还原方法
CN104469155A (zh) * 2014-12-04 2015-03-25 中国航空工业集团公司第六三一研究所 一种机载图形图像虚实叠加方法
CN104501834A (zh) * 2014-12-16 2015-04-08 西北工业大学 一种基于机载仪表着陆设备的合成视景系统校验方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周艳清等: "合成视景系统完整性与可用性的保证方法研究", 《计算机与现代化》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861169B2 (en) 2018-03-26 2020-12-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, storage medium and electronic device for generating environment model
WO2020083318A1 (zh) * 2018-10-23 2020-04-30 中兴通讯股份有限公司 平视显示系统、显示方法和汽车
CN111086451A (zh) * 2018-10-23 2020-05-01 中兴通讯股份有限公司 一种平视显示系统、显示方法和汽车
CN111086451B (zh) * 2018-10-23 2023-03-14 中兴通讯股份有限公司 一种平视显示系统、显示方法和汽车
CN109613929B (zh) * 2018-12-12 2022-11-25 北京卫星信息工程研究所 一种航班精密进近与着陆方法及系统
CN109613929A (zh) * 2018-12-12 2019-04-12 北京卫星信息工程研究所 一种航班精密进近与着陆方法及系统
CN110189578A (zh) * 2019-05-20 2019-08-30 北京悉见科技有限公司 一种基于增强现实进行飞行员训练的方法和装置
CN110111428A (zh) * 2019-05-28 2019-08-09 艾瑞迈迪科技石家庄有限公司 一种应用于增强现实的虚拟目标标定方法及装置
CN110111428B (zh) * 2019-05-28 2023-06-20 艾瑞迈迪科技石家庄有限公司 一种应用于增强现实的虚拟目标标定方法及装置
CN112129313A (zh) * 2019-06-25 2020-12-25 安波福电子(苏州)有限公司 基于惯性测量单元的ar导航补偿系统
CN110648405A (zh) * 2019-10-12 2020-01-03 江南大学 一种基于增强现实的飞行操作辅助方法和系统
CN110648405B (zh) * 2019-10-12 2022-02-01 江南大学 一种基于增强现实的飞行操作辅助方法和系统
CN112752119A (zh) * 2019-10-31 2021-05-04 中兴通讯股份有限公司 一种时延误差校正方法、终端设备、服务器及存储介质
CN112752119B (zh) * 2019-10-31 2023-12-01 中兴通讯股份有限公司 一种时延误差校正方法、终端设备、服务器及存储介质
CN111311685B (zh) * 2020-05-12 2020-08-07 中国人民解放军国防科技大学 一种基于imu与单目图像的运动场景重构无监督方法
CN111311685A (zh) * 2020-05-12 2020-06-19 中国人民解放军国防科技大学 一种基于imu/单目图像的运动场景重构无监督方法
CN111638793A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111638793B (zh) * 2020-06-04 2023-09-01 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111569414A (zh) * 2020-06-08 2020-08-25 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111569414B (zh) * 2020-06-08 2024-03-29 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111650953A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 飞行器避障处理方法、装置、电子设备及存储介质
CN111650953B (zh) * 2020-06-09 2024-04-16 浙江商汤科技开发有限公司 飞行器避障处理方法、装置、电子设备及存储介质
CN112489224A (zh) * 2020-11-26 2021-03-12 北京字跳网络技术有限公司 图像绘制方法、装置、可读介质及电子设备
CN113419632A (zh) * 2021-07-06 2021-09-21 广州市旗鱼软件科技有限公司 一种混合现实模拟驾驶场景显示方法及系统

Also Published As

Publication number Publication date
CN106856566B (zh) 2018-09-25

Similar Documents

Publication Publication Date Title
CN106856566B (zh) 一种基于ar设备的信息同步方法及系统
RU2481612C2 (ru) Способ и система управления работой устройства с использованием комплексного моделирования с возможностью временного сдвига
US8089375B1 (en) Head-up display/synthetic vision system predicted flight path depiction
US7239311B2 (en) Global visualization process (GVP) and system for implementing a GVP
CN102343980B (zh) 用于增强视觉图像中的姿态辨别的方法和系统
US8896480B1 (en) System for and method of displaying an image derived from weather radar data
EP2647960B1 (en) Synthetic vision systems and methods for displaying detached objects
US11483540B2 (en) Method and corresponding system for generating video-based 3-D models of a target such as a dynamic event
JPH1172350A (ja) 飛行システムおよび航空機用擬似視界形成装置
US9163944B2 (en) System and method for displaying three dimensional views of points of interest
US20230162449A1 (en) Systems and methods for data transmission and rendering of virtual objects for display
EP4040377A2 (en) Display systems and methods
US20220390940A1 (en) Interfaces And Control Of Aerial Vehicle For Automated Multidimensional Volume Scanning
Roganov et al. Main provisions for formation of cognitive model of visually observable environment synthesized for aircraft simulator
CN113238556A (zh) 一种基于虚拟现实的水面无人船控制系统及方法
WO2024087764A1 (zh) eVTOL导航合成视觉方法及系统
WO2014081337A1 (ru) Система отображения информации для управления воздушным судном
RU2392586C1 (ru) Информационно-управляющая система летательного аппарата
CN113298955B (zh) 一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器
CN114964249A (zh) 一种三维数字地图与实时光电视频同步关联方法
WO2014074080A1 (en) Landing assistance method for aircrafts
RU136618U1 (ru) Система имитации внешней визуальной обстановки в бортовых средствах наблюдения земной поверхности космического тренажера
CN112200759A (zh) 直升机终端视景显示的方法
JP7496683B2 (ja) 表示制御装置、表示制御方法及び表示制御用プログラム
CN114518107B (zh) 一种基于无人机遥控震源的无线同步控制系统

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant