CN117322000A - 模拟器的远程指向器 - Google Patents

模拟器的远程指向器 Download PDF

Info

Publication number
CN117322000A
CN117322000A CN202280022787.4A CN202280022787A CN117322000A CN 117322000 A CN117322000 A CN 117322000A CN 202280022787 A CN202280022787 A CN 202280022787A CN 117322000 A CN117322000 A CN 117322000A
Authority
CN
China
Prior art keywords
computer
simulator
region
interest
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280022787.4A
Other languages
English (en)
Inventor
马克·索登
尼克·詹尼亚斯
安德鲁·弗尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CAE Inc
Original Assignee
CAE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CAE Inc filed Critical CAE Inc
Publication of CN117322000A publication Critical patent/CN117322000A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Selective Calling Equipment (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Position Input By Displaying (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种用于远程指向模拟环境内的感兴趣区域的计算机实现的方法，所述方法包括以下步骤：接收在模拟环境的至少一部分的给定图像内选择的至少一个点的坐标，给定图像显示在显示单元上；基于所接收的至少一个点的坐标来识别模拟环境内的感兴趣区域；并向投影仪提供控制信号，以便在视觉上区分模拟环境内的感兴趣区域。

Description

模拟器的远程指向器
技术领域
本发明涉及模拟领域，特别是涉及模拟环境的远程访问和/或控制。
背景技术
飞行器模拟器用于飞行员和副飞行员的训练和评估。为此，负责飞行员或副飞行员培训或评估的人员必须亲自现身在模拟器内。
然而，可能需要向诸如现有客户、潜在客户、监管机构和飞行教员之类的第三方提供对模拟环境的远程视觉访问。在大流行病期间尤其如此。现在已有一些提供此类访问的定制解决方案，但它们的设计和实现都非常耗时和/或昂贵。
因此，需要一种用于远程指向模拟环境内的感兴趣区域的改进方法和系统。
发明内容
根据第一广泛方面，提供一种用于远程指向模拟环境内的感兴趣区域的计算机实现的方法，所述方法包括以下步骤：接收在模拟环境中至少一部分的给定图像内选择的至少一个点的坐标，给定的图像显示在显示单元上；基于所接收的至少一个点的坐标来识别模拟环境内的感兴趣区域；并向投影仪提供控制信号，以便在视觉上区分模拟环境内的感兴趣区域。
在一个实施例中，识别模拟器内的感兴趣区域的步骤包括将所接收的坐标映射到与投影仪相关联的坐标系内的指针区；提供控制信号的步骤包括基于指针区生成叠加图像，叠加图像覆盖感兴趣区域，以及向投影仪提供控制信号以将叠加图像投影到模拟器上。
在一个实施例中，将接收到的坐标映射到指针区的步骤包括：将接收到的坐标映射到模拟环境的坐标系内的至少一个给定点，并将至少一个给定点映射到与投影仪相关联的坐标系内的指针区。
在一个实施例中，所述方法还包括通过电信网络在第一计算机上运行的第一视频会议客户端和第二计算机上运行的第二视频会议客户端之间建立连接；通过第一视频会议客户端将给定图像传输到第二计算机，第二计算机提供给定图像以显示在远程显示单元上，其中接收坐标包括通过第一视频会议客户端从安全公共网络上的第二计算机接收坐标。
在一个实施例中，电信网络包括公共网络、安全公共网络、专用网络和安全专用网络其中之一。
在一个实施例中，提供控制信号的步骤包括基于接收到的坐标在多个可用投影仪中选择投影仪并向所选择的投影仪提供控制信号。
在一个实施例中，提供控制信号的步骤包括确定投影仪的目标位置，并提供进一步指示目标位置的控制信号，目标位置确保感兴趣区域包括在投影仪的视场内。
在一个实施例中，所述方法还包括从位于模拟环境内的摄像头接收模拟环境的至少一部分的给定图像。
在一个实施例中，所述方法还包括生成模拟环境的至少一部分的给定图像。
在一个实施例中，生成给定图像的步骤是使用模拟环境的3D模型来执行的。
在一个实施例中，接收坐标的步骤包括接收在给定图像内选择的多个点的坐标，识别感兴趣区域的步骤包括基于所接收的多个点的坐标来识别多个感兴趣区域；并且提供控制信号的步骤包括向投影仪提供控制信号以在视觉上同时区分模拟环境内的多个感兴趣区域。
在一个实施例中，所述方法还包括选择指针区的至少一种特性，控制信号指示至少一种特性。
在一个实施例中，至少一种特性包括形状、强度和颜色中的至少一种。
在一个实施例中，所述方法还包括通过以下方式提供模拟环境远程可视性，包括：通过安全公共网络在第一计算机上运行的第一视频会议客户端与第二计算机上运行的第二视频会议客户端之间建立连接；在第一计算机处通过安全专用网络接收第一实时摄像头馈送，实时摄像头馈送包含模拟环境的第一部分并且由第一摄像头捕获，第二计算机位于安全专用网络之外；在第一计算机上运行的查看器应用程序内显示第一实时摄像头馈送以及以下中的至少一个：模拟控制界面；计算机生成的模拟环境的第二部分的展示；由第二摄像头捕获的第二实时摄像头馈送，第二实时摄像头馈送包含不同于第一部分的模拟环境的第三部分；并授予第二视频会议客户端通过第一视频会议客户端对查看器应用程序的可视访问权限。
在一个实施例中，所述方法还包括：在第一计算机处接收来自模拟环境中存在的麦克风的实时音频馈送；通过第一视频会议客户端利用安全公共网络将实时音频馈送传输到第二计算机，以允许第二计算机基本实现实时回放实时音频馈送。
在一个实施例中，所述方法还包括：在第一计算机处通过第一视频会议客户端接收来自第二计算机的实时音频馈送；并将所接收的实时音频馈送传输到安装在模拟环境中的扬声器。
在一个实施例中，模拟环境包括飞行模拟器，并且模拟环境的第一部分包含飞行模拟器的仪器和控制器的一部分。
在一个实施例中，至少一个视频馈送包括至少两个视频馈送。
在一个实施例中，至少两个视频馈送中指定一个包含飞行模拟器的内部部分，飞行模拟器的内部部分包括飞行模拟器的屏幕，在屏幕上显示计算机生成的环境的图像。
在一个实施例中，飞行模拟器包括基于运动的飞行模拟器，并且至少两个视频馈送中指定一个包含基于运动的飞行模拟器的外部部分。
在一个实施例中，查看器应用程序还被配置用于提供模拟器的模拟控制界面的视图。
在一个实施例中，模拟控制界面包括教员操控台的界面，第二实时摄像头馈送包含教员操控台。
在一个实施例中，所述方法还包括从模拟引擎接收模拟控制界面的视图。
在一个实施例中，查看器应用程序还被配置用于提供数据分析平台的界面的视图。
在一个实施例中，数据分析平台的界面的视图对应于显示数据分析平台的界面的显示单元的图像，显示器的图像由连接到专用网络的另一个摄像头捕获。
在一个实施例中，所述方法还包括从托管数据分析平台的服务器接收数据分析平台的界面的视图。
在一个实施例中，所述方法还包括授予第二视频会议客户端对查看器应用程序的控制权限。
在一个实施例中，所述方法还包括授予第二视频会议客户端对操作系统的界面的控制权限。
在一个实施例中，所述方法还包括授予第二视频会议客户端对数据分析平台的界面的控制权限。
在一个实施例中，所述方法还包括：从第一视频会议客户端接收在环境内投射视觉指示的指令；并控制安装在模拟器内的投影仪来投射视觉指示。
根据另一广泛方面，提供一种用于远程指向模拟器内的感兴趣区域的系统，所述系统包括：处理器和可操作地连接到处理器的非暂态存储介质，非暂态存储介质包括计算机可读指令；处理器在执行计算机可读指令时被配置用于：接收在模拟环境的至少一部分的给定图像内选择的至少一个点的坐标，给定图像显示在显示单元上；基于所接收的至少一个点的坐标来识别模拟环境内的感兴趣区域；以及向投影仪提供控制信号，以便在视觉上区分模拟环境内的感兴趣区域。
在一个实施例中，所述处理器被配置用于：将所接收的坐标映射到与投影仪相关联的坐标系内的指针区；基于指针区生成叠加图像，叠加图像覆盖感兴趣区域，以及向投影仪提供控制信号以将叠加图像投影到模拟器上。
在一个实施例中，所述处理器还被配置用于：将接收到的坐标映射到模拟环境的坐标系内的至少一个给定点，并将至少一个给定点映射到与投影仪相关联的坐标系内的指针区。
在一个实施例中，所述处理器被配置用于通过电信网络在第一计算机上运行的第一视频会议客户端和第二计算机上运行的第二视频会议客户端之间建立连接；通过第一视频会议客户端将给定图像传输到第二计算机，第二计算机提供给定图像以显示在远程显示单元上，其中接收坐标包括通过第一视频会议客户端从安全公共网络上的第二计算机接收坐标。
在一个实施例中，电信网络包括公共网络、安全公共网络、专用网络和安全专用网络其中之一。
在一个实施例中，所述处理器还被配置用于基于接收到的坐标在多个可用投影仪中选择投影仪并向所选择的投影仪提供控制信号。
在一个实施例中，所述处理器还被配置用于确定投影仪的目标位置，并提供进一步指示目标位置的控制信号，目标位置确保感兴趣区域包含在投影仪的视场内。
在一个实施例中，所述处理器还被配置用于从位于模拟环境内的摄像头接收模拟环境的至少一部分的给定图像。
在一个实施例中，所述处理器还被配置用于生成模拟环境的至少一部分的给定图像。
在一个实施例中，所述处理器还被配置用于使用模拟环境的3D模型来生成给定图像。
在一个实施例中，所述处理器被配置用于接收在给定图像内选择的多个点的坐标，基于所接收的多个点的坐标来识别多个感兴趣区域，并向投影仪提供控制信号以在视觉上同时区分模拟环境内的多个感兴趣区域。
在一个实施例中，所述处理器还被配置用于选择指针区的至少一种特性，控制信号指示至少一种特性。
在一个实施例中，至少一种特性包括形状、强度和颜色中的至少一种。
在一个实施例中，所述系统还适用于提供对模拟环境的远程可视性，所述处理器还被配置用于：通过安全公共网络在第一计算机上运行的第一视频会议客户端与第二计算机上运行的第二视频会议客户端之间建立连接；在第一计算机处通过安全专用网络接收第一实时摄像头馈送，实时摄像头馈送包括模拟环境的第一部分并且由第一摄像头捕获，第二计算机位于安全专用网络之外；在第一计算机上运行的查看器应用程序内显示第一实时摄像头馈送以及以下中的至少一个：模拟控制界面；计算机生成的模拟环境的第二部分的展示；和由第二摄像头捕获的第二实时摄像头馈送，第二实时摄像头馈送包含不同于第一部分的模拟环境的第三部分；并授予第二视频会议客户端通过第一视频会议客户端对查看器应用程序的可视访问权限。
在一个实施例中，所述处理器还被配置用于：在第一计算机处接收来自模拟环境中存在的麦克风的实时音频馈送；并通过第一视频会议客户端通过安全公共网络将实时音频馈送传输到第二计算机，以允许第二计算机基本实现实时回放实时音频馈送。
在一个实施例中，所述处理器还被配置用于：在第一计算机处通过第一视频会议客户端接收来自第二计算机的实时音频馈送；并将所接收的实时音频馈送传输到安装在模拟环境中的扬声器。
在一个实施例中，模拟环境包括飞行模拟器，并且模拟环境的第一部分包括飞行模拟器的仪器和控制器的一部分。
在一个实施例中，至少一个视频馈送包括至少两个视频馈送。
在一个实施例中，至少两个视频馈送中指定一个包括飞行模拟器的内部部分，飞行模拟器的内部部分包括飞行模拟器的屏幕，在屏幕上显示计算机生成的环境的图像。
在一个实施例中，飞行模拟器包括基于运动的飞行模拟器，并且至少两个视频馈送中指定一个包括基于运动的飞行模拟器的外部部分。
在一个实施例中，查看器应用程序还被配置用于提供模拟器的模拟控制界面的视图。
在一个实施例中，模拟控制界面包括教员操控台的界面，第二实时摄像头馈送包括教员操控台。
在一个实施例中，所述处理器还被配置用于从模拟引擎接收模拟控制界面的视图。
在一个实施例中，查看器应用程序还被配置用于提供数据分析平台的界面的视图。
在一个实施例中，数据分析平台的界面的视图对应于显示数据分析平台的界面的显示单元的图像，显示器的图像由连接到专用网络的另一个摄像头捕获。
在一个实施例中，所述处理器还被配置用于从托管数据分析平台的服务器接收数据分析平台的界面的视图。
在一个实施例中，所述处理器还被配置用于授予第二视频会议客户端对查看器应用程序的控制权限。
在一个实施例中，所述处理器还被配置用于授予第二视频会议客户端对操作系统的界面的控制权限。
在一个实施例中，所述处理器还被配置用于授予第二视频会议客户端对数据分析平台的界面的控制权限。
在一个实施例中，所述处理器还被配置用于：从第一视频会议客户端接收在环境内投射视觉指示的指令；并控制安装在模拟器内的投影仪来投射视觉指示。
根据进一步广泛方面，提供一种用于远程指向模拟环境内的感兴趣区域的计算机程序产品，所述计算机程序产品包括其上存储计算机可执行指令的计算机可读存储器，当由处理器执行时，计算机可执行指令执行以下方法步骤：接收在模拟环境的至少一部分的给定图像内选择的至少一个点的坐标，给定图像显示在显示单元上；基于所接收的至少一个点的坐标来识别模拟环境内的感兴趣区域；并向投影仪提供控制信号，以在视觉上区分模拟环境内的感兴趣区域。
在一个实施例中，计算机程序产品还适用于提供对模拟环境的远程可视性，计算机可读存储器在其上存储另外的计算机可执行指令，当由处理器执行时，计算机可执行指令执行以下方法步骤：通过安全公共网络在第一计算机上运行的第一视频会议客户端与第二计算机上运行的第二视频会议客户端之间建立连接；在第一计算机处通过安全专用网络接收包括第一实时摄像头馈送，实时摄像头馈送包括模拟环境的第一部分并且由第一摄像头捕获，第二计算机位于安全专用网络之外；在第一计算机上运行的查看器应用程序内显示第一实时摄像头馈送以及以下中的至少一个：模拟控制界面；计算机生成的模拟环境的第二部分的展示；和由第二摄像头捕获的第二实时摄像头馈送，第二实时摄像头馈送包括不同于第一部分的模拟环境的第三部分；并授予第二视频会议客户端通过第一视频会议客户端对查看器应用程序的可视访问权限。
附图说明
本发明的其他特征和优点可以从以下结合附图的详细描述中显而易见，其中：
图1是示出根据实施例的用于提供对模拟环境的远程可视性的计算机实现的方法的流程图；
图2是安装在驾驶舱内的示例性杆的图像，杆上安装有多个摄像头以捕获驾驶舱的不同部分的图像；
图3是由查看器应用程序生成的并且包括六个部分的示例性图像；
图4示出了示例性的视频会议客户端界面，图3的图像显示在其中；
图5是示出根据实施例的用于提供对模拟环境的远程可视性的系统的框图；
图6是示出根据实施例配备的飞行器模拟器的示例性驾驶舱的概念图；
图7是示出根据实施例的用于同时显示四个不同图像的界面的概念图；
图8是示出根据实施例的每个显示在相应显示单元上的四个界面的概念图；
图9是示出根据实施例的用于对模拟器内的感兴趣区域远程照明的方法的流程图；
图10是示出根据实施例的用于远程控制投影仪以照亮模拟器内的感兴趣区域的方法的流程图；
图11是示出模拟器的一部分的示例性计算机生成图像；
图12是由位于模拟器中的摄像头捕获的示例性图像，模拟器中的感兴趣区域被照亮；和
图13是示出根据实施例的用于远程控制投影仪以照亮模拟器内的感兴趣区域的系统的框图。
应当注意的是，在整个附图中，相似的附图标记标识相似的特征。
具体实施方式
在一个实施例中，下述方法和系统可以在用于训练例如飞行员和/或副飞行员的飞行器模拟器时使用。飞行器模拟器通常包括模拟飞行器驾驶舱的训练室。训练室通常是可移动的，以模拟模拟飞行器的运动。训练室配备的仪器和控制器通常对应于或模拟飞行器上的真实仪器和控制器。训练室通常还设有飞行员和副飞行员的两个座位。此外，训练室通常设有位于飞行员和副飞行员座位后方的教员操控台，允许教员在模拟期间控制模拟和/或监视飞行员和副飞行员的表现。例如，教员可以通过教员操控台设置模拟的参数或加载给定的模拟。教员操控台还可以由诸如联邦航空管理局(FAA)之类的监管机构的代理使用来评估飞行员和/或副飞行员以进行证书换照。
飞行器模拟器的常规架构要求教员或代理人亲自出现在模拟器的训练室中，以在模拟期间指导、引导和/或评估飞行员和/或副飞行员。然而，在一些特定情况下，例如在大流行病期间，在模拟期间远程指导、引导和/或评估飞行员和/或副飞行员可能更便捷有利。为此，本方法和系统向第三方人员(例如教员或代理人)提供对驾驶舱或飞行甲板的至少一部分的远程可视性或视觉访问，驾驶舱或飞行甲板包括位于模拟器内的仪器和控制器。本方法和系统还可使得能够由教员或代理人远程控制模拟引擎。本方法和系统还可以为飞行员和/或副飞行员与第三方之间提供通信。
在一个实施例中，本技术使用现有的视频会议平台来实现，平台连接快速且价格低廉，不论第三方使用的位置和系统如何均可实现。
图1示出了用于提供模拟环境远程可视性的方法10的一个实施例。应当理解，方法10由至少一个处理器执行。如上所述，模拟环境至少包括在模拟期间供诸如飞行员之类的用户使用的仪器和控制器。模拟环境还设置有至少一个摄像头，摄像头被定位和定向以便捕获模拟器的至少一部分，例如仪器和控制器的至少一部分。摄像头通过专用网络连接到第一计算机。第一计算机还通过电信网络连接到位于专用网络之外的第二计算机。第二计算机无法访问专用网络。第一计算机和第二计算机使用电信网络通过视频会议平台进行通信。
步骤12中，第一计算机通过专用网络从摄像头接收第一视频馈送。第一视频馈送覆盖模拟器的至少第一部分，即，摄像头捕获模拟器的内部空间的至少一部分的图像，并且所捕获的图像被传输到第一计算机。例如，摄像头可以定位在飞行员和副飞行员的座位后方，使得视频馈送可以覆盖飞行员、副飞行员和驾驶舱的一部分。
步骤14中，查看器应用程序和第一视频会议客户端在第一计算机上同时运行。第一计算机包括第一显示单元，并且查看器应用程序被配置用于在第一显示单元上显示在步骤12接收的视频馈送。例如，查看器应用程序可以被配置用于生成用于在其中显示至少一个视频馈送的界面和/或格式化视频馈送，使得它们可以显示在连接到第一计算机的第一显示单元上。第一视频会议客户端被配置用于通过电信网络与第二视频会议客户端发送和接收数据。
在一个实施例中，第一计算机在步骤12进一步接收模拟控制界面、模拟器的第二部分的计算机生成的表示和/或由第二摄像头捕获并包括一部分的第二实时摄像头馈送。模拟器的部分不同于第一视频馈送所包括的模拟器的部分。在这种情况下，在步骤14，除了第一视频馈送之外，在查看器应用程序内显示模拟控制界面、模拟器的第二部分的计算机生成的表示和/或第二实时摄像头馈送。
应当理解，查看器应用程序被配置用于显示图像，例如视频馈送或任何图像。在一个实施例中，查看器应用程序能够处理各种图形文件格式。在一个实施例中，查看器应用程序被配置用于根据显示器的属性(例如颜色深度、显示器分辨率和颜色配置文件)来渲染图像。
在步骤16，在第二计算机上运行的第二视频会议客户端被授权通过在第一计算机上运行的第一视频会议客户端访问查看器应用程序。所以，视频馈送由第一视频会议客户端通过电信网络传输到第二视频会议客户端。因此，在连接到第一计算机的第一显示单元上显示的相同图像可以远程地显示在连接到第二计算机的第二显示单元上，并且第三方可以使用视频会议平台。
在一个实施例中，方法10还包括通过安全公共网络在第一计算机上运行的第一视频会议客户端和第二计算机上运行的第二视频会议客户端之间建立连接的步骤。
在一个实施例中，第一视频会议客户端和第二视频会议客户端是现有的视频会议平台的一部分，被配置用于至少在参与视频会议会话的计算机之间传输视频馈送。例如，现有的视频会议平台可以是TeamsTM、WebexTM、Google MeetTM等。
应当理解，摄像头相对于模拟器的位置和方向根据模拟器所需的视图来进行选择。如上所述，摄像头可以位于模拟器内。在这种情况下，可以调整摄像头的位置和方向以便至少捕获飞行员和驾驶舱的一部分。在另一实施例中，可以调整摄像头的位置和方向以便仅捕获驾驶舱的给定部分或部分区域。在另一实施例中，摄像头可以定位在模拟器外部，以便捕获模拟器的外部，从而允许第三方看到模拟器的运动。
在一个实施例中，摄像头的位置和方向是及时固定的。在另一实施例中，摄像头的位置和/或方向可以相对于模拟器改变，使得可以捕获模拟器的不同视图。在这种情况下，摄像头的位置和/或定向可以由第一计算机控制。
虽然以上描述涉及用于捕获模拟器的图像的单个摄像头，但应当理解，可以使用多个摄像头来捕获模拟器的图像。例如，多个摄像头可以安装在模拟器内以捕获模拟器的内部空间的不同视图。在这种情况下，安装在模拟器内的每个摄像头的位置和方向根据模拟器内部空间相应所需的视图来进行选择。例如，第一摄像头可以被定位和定向用于捕获飞行员、副飞行员和驾驶舱的图像，第二摄像头可以被定位和定向用于捕获驾驶舱的给定部分的图像。至少一个另外的摄像头可以安装在模拟器外部，以便捕获模拟器的至少外部部分的图像。
当模拟器的多个视图被多个摄像头捕获时，步骤12包括第一计算机通过专用网络接收来自摄像头的视频馈送。在一个实施例中，查看器应用程序被配置用于选择所接收的视频馈送中的给定一个并提供所选择的视频馈送以用于在连接到第一计算机的第一显示单元上显示。在另一个实施例中，查看器应用程序被配置用于选择所接收的视频馈送中的至少两个、生成包括两个所选择的视频馈送的图像并且提供所生成的图像以用于在连接到第一计算机的第一显示单元上显示。例如，可以在步骤12接收包含模拟器的内部部分的第一视频馈送和包含模拟器的外部部分的第二视频馈送。然后步骤14中，查看器应用程序生成包括来自的第一图像的图像。第一视频馈送和来自第二视频馈送的第二图像。例如，所生成的图像的一半可以对应于第一视频馈送的图像，而所生成的图像的另一半可以对应于第二视频馈送的图像。例如，来自两个视频馈送的图像可以并排放置在所生成的图像内，一个在另一个之上或者之下。然后，查看器应用程序生成的图像被传输到第一显示单元以在其上显示。此外，在与第一计算机连接的第一显示单元上显示所生成的图像的同时，第一视频会议客户端将所生成的图像通过电信网络发送至第二视频会议客户端，从而将所生成的图像显示在第一视频会议客户端上。连接到第一计算机的第一显示单元和在连接到第二计算机的第二显示单元上显示相同生成的图像基本上同时发生。
例如，由查看器应用程序从三个视频馈送生成的图像可以包括其中集成了相应视频馈送的三个部分。所生成的图像的左上部分可以用于显示由第一摄像头捕获的并且包括飞行员、副飞行员以及仪器和控制器的第一视频馈送。生成的图像的右上部分可以用于显示由第二摄像头捕获的第二视频馈送并且包括仪器和控制器的一部分。生成的图像的左下部分可以用于显示由第三摄像头捕获的第三视频馈送，并且包括模拟器中存在的显示单元，用于显示模拟图像，如计算机生成的外部环境的图像。飞行器就像通过真实飞行器的窗户看到的一模一样。
图2示出了示例性杆50，其可用于将多个摄像头51可拆卸地安装在模拟器的驾驶舱内。杆50包括细长主体52，细长主体52在适于邻接驾驶舱地板的第一端和适于邻接驾驶舱的天花板的第二端之间纵向延伸。可以调节细长主体52的长度以适应具有不同高度的驾驶舱。例如，细长主体52可以是可伸缩的。在一个实施例中，相应的橡胶垫安装在细长主体52的第一端和第二端处以加固杆50到驾驶舱的固定程度。应当理解，细长主体52可以具有任何适当的形状。例如，细长主体52可以具有圆形横截面、方形横截面等。
杆50还包括多个摄像头保持装置54，每个摄像头保持装置54可安装在沿细长主体52的长度的相应位置处，并且被配置用于将相应的一个摄像头51固定至其上。每个摄像头固定装置54包括可安装到杆50的夹具60、在可旋转地固定到夹具60的第一端64和可旋转地固定到相应摄像头51的第二端66之间延伸的臂62。当摄像头51相对于臂62的第二端66旋转时，相应的一个摄像头51然后可相对于臂62旋转。在一个实施例中，夹具60可滑动地安装到细长主体52。
在一个实施例中，第一球形接头连接在臂62的第一端64和夹具62之间，以提供臂62绕三个旋转轴线相对于夹具60的旋转。类似地，第二球形接头臂62的第二端66处存在用于将摄像头固定至臂62并提供摄像头绕三个旋转轴相对于臂62的旋转。
为了将杆50安装到驾驶舱，调节细长主体52的长度为驾驶舱的高度，即驾驶舱的天花板和地板之间的距离。杆50被定位成使得其第一端在地板上的期望位置处邻接驾驶舱的地板，并且其第二端邻接驾驶舱的天花板。由于杆50的长度基本等于驾驶舱的地板和天花板之间的距离，所以杆50与驾驶舱的地板和天花板之间存在压缩力，从而将杆50固定到驾驶舱。应当理解，当固定至驾驶舱时，杆50基本上呈现竖直延伸状态。
一旦杆50在地板上的期望位置处被固定到驾驶舱，每个摄像头保持装置54就沿着细长主体52定位在相应的所需纵向位置处。一旦处于所需的纵向位置，夹具60用于将相应的一个摄像头保持装置54固定地固定到细长主体52。然后将相应的一个摄像头51固定到每个摄像头保持装置54。或者，摄像头51可以固定到摄像头保持装置54。在将摄像头保持装置54定位在其所需的纵向位置之前要先调整装置54。
然后每个摄像头51被定向为通过相对于其相应的臂62旋转每个相应的摄像头51和/或相对于其相应的夹具60旋转其相应的臂62来捕获驾驶舱相应所需视图的图像。
在细长主体52具有圆柱形形状的实施例中，夹具60还可围绕细长主体52的纵向轴线旋转。在这种情况下，夹具60可沿细长主体52的纵向轴线定位在所需的径向位置处。在将夹具固定到细长主体之前，先检查细长主体52的圆周，以便充分地定向到对应的摄像头51中。
应当理解，杆50可以可拆卸地固定在驾驶舱内的任何适当的位置，摄像头51在所述位置可以捕获驾驶舱的所需视图。在一个实施例中，杆50固定在驾驶舱内的适当位置处，这允许飞行员和副飞行员在紧急情况下进入他们各自的座位和/或容易地离开驾驶舱。
在一个实施例中，杆50固定在驾驶舱的模拟区域内。例如，杆50可以固定在驾驶舱的中心基座的前方，例如固定在飞行员和副飞行员的座椅之间。在另一个示例中，杆50固定在飞行员和副飞行员座椅的后方且面向中心基座。
在一个实施例中，杆50安装在驾驶舱内的某个位置处，使得安装到杆50的每个摄像头51与其要成像的驾驶舱的相应部分之间的距离包括在大约四英尺至六英尺之间。
应当理解，摄像头保持装置54的数量以及因此摄像头51的数量可以调整，只要杆50包括摄像头保持装置54中的至少一个即可。在一个实施例中，杆50可以调整。飞行器50包括至少三个摄像头保持装置54。在这种情况下，第一个摄像头保持装置54可以被配置成使得其中一个摄像头51安装到其上以提供围绕驾驶舱的中心基座的第一视频馈送。第二摄像头保持装置54可被配置用于使得摄像头51之一安装至其上以提供包括顶部仪表盘的第二视频馈送。第三摄像头保持装置54可被配置成使得摄像头51之一安装至其上以提供围绕飞行员仪表盘的第三视频馈送。可以提供附加的摄像头保持装置54，使得附加的摄像头51提供驾驶舱的其他部分的视频馈送，例如围绕副飞行员仪表板、飞行员或者副飞行员一旦坐在他的座位上的视频馈送，显示装置等部分。
在一些实施例中，方法10还提供对模拟器的模拟控制界面(例如教员操控站的界面)的远程访问。操作系统的模拟控制界面与生成模拟的模拟引擎交换数据。例如，模拟控制界面可用于设置和显示模拟参数。在一个实施例中，第一计算机通过专用网络与模拟引擎通信，并且模拟引擎将模拟控制界面直接传输到查看器应用程序。查看器应用程序将模拟控制界面与从摄像头接收的视频馈送相结合，以将包括视频馈送和模拟控制界面两者的图像显示在第一显示单元上。例如，生成的图像的两个并排部分可以分别用于显示模拟控制界面和视频馈送。
虽然如上所述，操作系统的界面可以由查看器应用直接从模拟引擎接收，但是其他实施例也是可能的。例如，模拟控制界面可以显示在与第一显示单元分离的另一显示单元上，例如，显示单元。在模拟器内的操控站上包括的显示单元上，并且摄像头捕获另一显示单元的图像以提供围绕控制界面的视频馈送。然后，包括模拟控制界面的视频馈送被传输到查看器应用程序，查看器应用程序使用包括模拟控制界面的视频馈送和包括模拟器的一部分的视频馈送来生成图像。
在一个实施例中，由模拟引擎生成的图像也可以被传输到第一计算机，使得查看器应用程序将它们与至少一个视频馈送以及可选的操作系统的界面组合。
在一个实施例中，第一计算机连接到通过专用网络托管数据分析平台的服务器。数据分析平台存储用户与第二计算机的历史交互，例如用户在给定视图上花费的时间量、用户点击第二显示单元上显示的图像的位置等。在这种情况下，方法10还提供对数据分析平台的界面的远程访问。
在本实施例中，第一计算机直接将数据分析平台的界面传输至查看器应用程序。查看器应用程序将数据分析平台的界面与从摄像头接收的视频馈送相结合，以将包括视频馈送和数据分析平台的界面两者的图像显示在第一显示单元上。
虽然如上所述，数据分析平台的界面可以由查看器应用直接从托管数据分析平台的服务器接收，但是其他实施例也是可能的。例如，数据分析平台的界面可以显示在与第一显示单元分离的另一显示单元上，并且另一摄像头可以捕获另一显示单元的图像以提供包括数据分析平台的界面的视频馈送。然后，包括数据分析平台的界面的视频馈送被传输到查看器应用程序，查看器应用程序使用包括数据分析平台的界面的视频馈送和包括模拟器的一部分的视频馈送来生成图像。
图3示出了由查看器应用程序执行的六个不同图像或视频馈送的组合所产生的示例性图像。所示图像被分成六个均匀部分，并且每个部分用于在其上显示相应的图像或视频馈送。右上角显示的是教员操作系统的界面图。在顶部中心，显示了包括模拟器上部的视频馈送。右上角显示了飞行器外部环境的模拟图像。在左下角，显示了包括模拟器外部部分的视频馈送。在底部中心，显示了包括驾驶舱第一部分的视频馈送。在右下角，显示了包括驾驶舱第二部分的视频馈送。
图3所示的图像由第一视频会议客户端通过电信网络传输至第二视频会议客户端。图4示出了在第二计算机的第二显示单元上显示的第二视频会议客户端的示例性界面。所示界面包括由查看器应用生成并传输到第二视频会议客户端的图像，并且还包括图像下方的图标，每个图标对应于视频会议会话中的相应参与者。
例如，由查看器应用程序生成的图像可以组合七个视频馈送和模拟图像。查看器应用程序生成的图像可以分为四个部分，左上部分可用于显示六个不同的视频馈送，每个视频馈送包括模拟器的相应部分。右上部分可用于显示包括命令和控件面板的一部分的视频馈送。图像的右下角可以用于显示覆盖有飞行器位置的模拟地图。图像的左下角可以用于显示在左上角显示的六个图像之一的放大版本。例如，通过双击左上方显示的六个视频馈送之一，可以放大所选视频馈送并显示在左下部分。
在一个实施例中，方法10还包括通过电信网络在第一视频会议客户端和第二视频会议客户端之间传输音频信号。在一个实施例中，模拟器内存在至少一个麦克风和/或至少一个扬声器用于捕获声音和/或发出音频信号。麦克风和扬声器与第一计算机通信。例如，麦克风和扬声器可以通过专用网络连接到第一计算机。在另一实施例中，在第一计算机与麦克风和/或扬声器之间可以使用BluetoothTM通信。
当麦克风位于模拟器内时，麦克风捕获模拟器内发出的声音，并且将音频馈送传输到第一计算机。然后在视频会议期间，第一视频会议客户端通过电信网络将接收到的音频馈送传输到第二视频会议客户端。应当理解，第二计算机设置有至少一个扬声器来回放接收到的音频馈送，使得第三方可以听到模拟器内生成的声音。
类似地，第二计算机可以配备用于捕获音频的麦克风，并且由第二视频会议客户端通过电信网络将相应的音频馈送传输到第一视频会议客户端。然后，第一计算机接收来自第二计算机的音频馈送并将音频馈送传输至模拟器中存在的扬声器。
因此，可以通过视频会议会话在存在于模拟器中的飞行员和/或副飞行员与位于远程的第三方之间建立基本上实时的音频通信。除了听到模拟器内的噪音之外，第三方还可以向飞行员和副飞行员发送声音指令或评价，同时听到飞行员和副飞行员之间的任何讨论。
在一个实施例中，飞行员和副飞行员均配备有连接到第一计算机的相应耳机。在另一实施例中，至少一个麦克风可以固定在模拟器的内部部分内，例如在飞行员和副飞行员之间，以捕获模拟器内的音频，并且至少一个扬声器可以固定在模拟器的内部部分内。
在一个实施例中，方法10还可以提供第三方和飞行员之间的视觉通信。例如，第三方可以在第二计算机内输入命令/请求/指令，诸如文本、图像、绘图等。命令由第二视频会议客户端通过电信网络传输至第一视频会议客户端。当接收到命令时，第一计算机将接收到的命令传输到位于模拟器内的显示单元，以将命令通知给飞行员和/或副飞行员。例如，命令可以显示在模拟器的仪器和控制器中包括的显示单元上。在另一实施例中，显示单元可以包括投影仪，投影仪被配置用于将命令投影在模拟器内以通知飞行员和/或副飞行员。
在一个实施例中，在第一计算机上运行的查看器应用程序可以由第二计算机通过视频会议平台远程控制。在这种情况下，方法10还包括通过第一视频会议客户端授予第二视频会议客户端对查看器应用程序的控制权限的步骤。在这种情况下，第三方可以在第二视频会议客户端内输入命令。这样第三方可以与例如模拟器的教员操作站实现界面交互。当命令被输入到第二计算机的第二视频会议客户端时，由第二视频会议客户端通过电信网络传输到第一视频会议客户端。然后，输入的命令被配置用于执行命令的查看器应用程序接收。例如，当它检测到鼠标点击时，第二视频会议客户端可以确定光标在第二视频会议客户端显示的图像内的位置。然后，第二视频会议客户端将光标位置传输到第一视频会议客户端，第一视频会议客户端将接收到的光标位置传输到查看器应用程序。查看器应用程序将接收到的光标位置解释为在查看器应用程序生成的图像内的相同位置处的鼠标点击。例如，如果光标位置对应于教员操控站的界面上的按钮，则查看器激活按钮，即，它向模拟引擎发送指示必须激活所识别的按钮的命令。第三方可以与数据分析平台实现界面交互。
在第一视频会议客户端和第二视频会议客户端是现有视频会议平台的一部分的一个实施例中，诸如“授予控制”和“取得控制”的现有功能可以用于授予第二视频会议客户端对查看器应用程序。然后将对操作系统的界面和/或数据分析平台的界面的控制权限授予第二视频会议客户端。
应当理解，上述方法10可以是一种用于提供模拟环境远程可视性的系统，系统包括至少一个处理器和可操作地连接到所述处理器的非暂态存储介质，包括计算机可读指令的非暂态存储介质，处理器在执行计算机可读指令时被配置用于执行方法10的步骤。
还应当理解，上述方法10可以被实施为用于提供模拟环境远程可视性的计算机程序产品，当由处理器执行方法10的方法步骤时，计算机程序产品包括其上存储计算机可执行指令的计算机可读存储器。
图5示出了用于提供模拟环境远程可视性的系统100的一个实施例。系统100可以用于执行方法10。
系统100包括模拟环境或模拟器102、专用位置102和远程位置104。模拟器102至少包括模拟器102的用户与之交互以执行模拟的仪器和控制器(未示出)。至少一个摄像头110，用于捕获模拟器102的至少一部分(例如仪器和控制器的至少一部分)的图像，位于模拟器102内的至少一个扬声器112，以及位于模拟器102内的至少一个麦克风104。
专用位置104包括第一计算机120和与其连接的第一显示单元122。查看器应用程序和第一视频会议客户端同时在第一计算机上运行。第一计算机120与模拟器102的摄像头110、扬声器112和麦克风114通信。摄像头110通过专用网络连接到计算机120。在一个实施例中，扬声器112及麦克风114也通过专用网络连接至计算机120。在另一实施例中，如上所述，可以使用诸如BluetoothTM通信之类的无线通信来连接第一计算机与扬声器112和麦克风114。在这种情况下，应当理解，专用位置122位于模拟器附近，以便允许扬声器112和麦克风114与第一计算机120之间的无线通信。
远程位置包括第二计算机130、第二显示单元132、扬声器134和麦克风136。第二视频会议客户端运行在第二计算机130上。可以在运行的第一视频会议客户端之间交换数据。视频会议客户端通过电信网络138在第一计算机120上运行，并且第二视频会议客户端运行在第二计算机130上。应当理解，第二计算机130位于专用网络124之外。
如上所述，在第一计算机120上运行的查看器应用程序通过专用网络124接收来自摄像头110的视频馈送，并提供视频馈送以在第一显示单元122上显示。此外，查看器应用程序发送将视频馈送至第一视频会议客户端，第一视频会议客户端通过电信网络138将视频馈送传输至第二视频会议客户端。
在第二计算机130上运行的第二视频会议客户端从第一视频会议客户端接收视频馈送，并且发送接收到的视频馈送以在第二显示单元132上显示。
如上所述，扬声器112和麦克风114以及扬声器134和麦克风136允许模拟器环境102和远程位置106之间的音频通信。由麦克风114捕获的任何音频信号被传输到第一计算机1210并且随后通过第一视频会议客户端和第二视频会议客户端通过电信网络138被传输到第二计算机130。然后扬声器134回放音频信号，类似地，由麦克风136捕获的任何音频信号利用电信网络138通过第一视频会议客户端和第二视频会议客户端传输到第一计算机120。第一计算机120将接收到的音频信号传输到扬声器112，扬声器112回放音频信号。
在一个实施例中，系统100还包括生成模拟器102的模拟的模拟引擎140。模拟引擎140通过专用网络124与第一计算机120通信。模拟引擎140被配置用于用于通过专用网络124将操作系统的界面传输到第一计算机120。在第一计算机120上运行的查看器应用程序接收模拟引擎140的界面并生成包括从摄像头接收的视频馈送的图像110和操作系统的界面。然后，如上所述，查看器应用程序将生成的图像传输到第一显示单元122并显示，然后传输到第一视频会议客户端，第一视频会议客户端将图像传输到第二视频会议客户端。
在一个实施例中，系统100还包括托管在连接到专用网络的服务器142上的数据分析平台。服务器142被配置用于通过专用网络124将数据分析平台的界面传输到第一计算机120。在第一计算机120上运行的查看器应用程序接收数据分析平台的界面并生成包括以下内容的图像：从摄像头110和数据分析平台的界面接收的视频馈送。然后，如上所述，查看器应用程序将生成的图像传输到第一显示单元122以在其上显示，并且传输到第一视频会议客户端，第一视频会议客户端将图像传输到第二视频会议客户端。
如上所述，命令/请求可以通过电信网络138通过第一视频会议客户端和第二视频会议客户端从第二计算机130传输到第一计算机120。例如，在第二计算机130中输入的预定义输入“命令”可以被识别为命令并被传输到第一计算机120的查看应用程序。例如，鼠标点击或连接到第二计算机130的用户界面的给定键的致动可以被识别为命令。在这种情况下，第二视频会议客户端将命令传输到第一视频会议客户端并且查看器应用程序执行命令。
如上所述，在第一视频会议客户端和第二视频会议客户端是现有视频会议平台的一部分的实施例中，通过使用现成的视频会议平台的预定义功能，可以将查看器应用程序的控制权限授予第二计算机。
图6示出了飞行器模拟器的示例性驾驶舱。模拟器包括：
包括飞行员仪表盘和副飞行员仪表盘的主仪表盘；
位于飞行员和副飞行员座位之间的中心基座；
顶部仪表盘；
至少一个显示单元，用于显示模拟图像；
两个定位在飞行员和副飞行员前方的前置摄像头，并且每个前置摄像头都定向为向飞行员或副飞行员捕获图像；
三个定位在飞行员和副飞行员后方的后置摄像头，并且每个摄像头定向成对飞行员仪表盘、副飞行员仪表盘和驾驶舱的全视图进行成像；
朝上的摄像头，其定位和定向用于对顶部仪表盘成像；
面朝下的摄像头，其定位和定向用于对中心基座成像；
用于对模拟器的外部部分进行成像的外部摄像头；
位于飞行员和副飞行员后方的两个投影仪，用于显示驾驶舱内的图像；
两个麦克风，每个麦克风位于主仪表盘上的相对侧；
位于基座上的中央麦克风；
两个扬声器，每个扬声器位于主仪表盘上的相对侧；和
中央扬声器位于基座上。
所有摄像头、麦克风和扬声器以及投影仪都与第一计算机通信。由摄像头捕获的视频馈送由查看器应用程序接收，查看器应用程序生成组合接收到的视频馈送的图像，并且所生成的图像由第一视频会议客户端传输到第二视频会议客户端并传输到第一显示单元。从麦克风接收到的音频馈送也由第一视频会议客户端传输到第二视频会议客户端。第一视频会议客户端从第二视频会议客户端接收的任何音频馈送被传输到扬声器以进行回放。第一视频会议客户端从第二视频会议客户端接收的诸如文本或图像之类的任何视觉指令被传输到两个投影仪中的至少一个以在驾驶舱内显示。下面将更详细描述投影仪可用于在不同仪表盘上显示图像以指向特定仪器。
在一个实施例中，飞行员和副飞行员可以各自配备有连接到第一计算机的耳机。在这种情况下，可以省略上述扬声器和麦克风。
应当理解，图6中所示的模拟器的一些组件可以被省略或者可以添加其他组件。类似地，组件的位置和定向应当理解为仅是示例性的。
图7示出了由第二视频会议客户端生成的示例性可视界面。使用所述界面，第二计算机的用户可以选择他想要看到的界面的视频馈送和图像。在视觉界面的左上方，用户可以选择显示图像的布局。例如，用户可以选择显示单个视频馈送或界面图像、并排放置的两个不同视频馈送或界面图像、四个视频馈送或界面图像或六个视频馈送或界面图像。
顶部控制栏还包括指示哪些视频馈送和界面图像可用的框。在本示例中，五个不同的视频馈送和四个不同的界面图像可用。由于在所示示例中，布局包括四个窗口，因此用户可以从可用的视频馈送和界面图像中选择四个项目以将每个项目显示在相应的窗口中。
图8示出了当四个显示单元连接到第二计算机时的示例性设置。本实施例中，第二电视会议客户端为每个显示单元提供相同的可视化界面。用户可以为不同的显示单元选择不同的布局。在示出的实施例中，三个显示单元显示包括单个窗口的界面，每个窗口用于显示单个视频馈送或单个界面，而第四显示单元显示包括用于在其中显示四个不同视频馈送或界面的四个窗口的界面。
应当理解，虽然它们是基于飞行模拟器或飞行器模拟器的背景下描述的，但是以上方法和系统可以用于其他类型的模拟器。
在模拟器已经配备有集成摄像头、麦克风和扬声器的实施例中，已经存在的摄像头、麦克风和扬声器可以用于实现本技术。
在一个实施例中，用于对模拟器的至少一部分进行成像的摄像头是网际协议(IP)摄像头以适应流捕获的图像。在一个实施例中，摄像头是具有低光灵敏度的彩色摄像头。在一个实施例中，摄像头配备有用于调整其视场的变焦装置。在这种情况下，可以由第一计算机或第二计算机控制视场。在一个实施例中，摄像头能够以这样一种方式安装，即它不会随着高达3G的抖振而移动。在一个实施例中，摄像头支持1080p和30fps的最小分辨率和/或支持RTSP(流协议)和H.264压缩。
在一个实施例中，摄像头是PanasonicTMWV-S1131。在另一个实施例中，摄像头是微型摄像头，例如Axis摄像头。例如，摄像头可以是笔式摄像头或针孔摄像头，其具有诸如优于90度的宽视场和优异的低光特性。这种微型摄像头可以用在若使用较大摄像头会产生妨碍或侵入性较大的地方。
在一个实施例中，摄像头安装在每个驾驶舱专用的定制或定制组装的支架上，以最大化视场，同时最小化侵入程度。当它是微型摄像头时，摄像头可以安装在主仪表盘(MIP)中或安装在防眩板控制器(GCP)中。
在一个实施例中，在专用网络中创建专用段，以防止本系统的操作影响模拟器的常规操作。
在一个实施例中，虚拟专用网络(VPN)用于通过广域网(WAN)与模拟器进行通信。VPN是一个专用的“配置文件”，允许通过各种网络防火墙/路由器/交换机建立隧道，以确保良好的性能。密码保护是通过标准VPN流程提供的。在一个实施例中，没有加密或VPN也可以在局域网(LAN)上运行系统。
在一个实施例中，摄像头连接到飞行器路由器以访问模拟器网络的专用网段。第一计算机连接到网段以接收来自摄像头的视频馈送。
在一个实施例中，第一计算机能够同时访问模拟器网络和互联网以管理模拟器和第二计算机之间的双向通信。第一计算机充当互联网和模拟器网络之间的桥梁，其防止第二计算机直接访问模拟器网络。例如，第二计算机可以属于客户或监管实体。
在一个实施例中，诸如查看器应用程序之类的应用程序在第一计算机的处理器上本地运行，而第一视频会议客户端可以至少部分地在云中运行。在另一个实施例中，应用程序可以主要在云中运行。
在一个实施例中，第一计算机位于飞行器上，其使得能够有线连接到会议扬声器。在一个实施例中，第一计算机可以与模拟器位于同一地点，例如，当第一计算机位于模拟器附近时，诸如当第一计算机和模拟器位于同一建筑物内时，或者位于远程时，例如就像第一计算机和模拟器位于不同的建筑物中一样。
应当理解，第一计算机和第二计算机可以是配备有至少一个处理器、存储器和通信装置的任何设备。例如，第一或第二计算机可以是笔记本电脑、台式计算机、平板计算机、智能电话等。
在一个实施例中，上述系统内的音频管理考虑以下三个方面：
1)模拟产生的驾驶舱环境声音，例如发动机声音、外部气流、空气动力嘶嘶声、齿轮和襟翼伸展等机械声音等。
2)无线电通信，例如模拟空中交通管制和机组人员之间的对话；和
3)机组人员与教员之间的沟通是教学过程的自然组成部分。
在飞行员和/或副飞行员配备有耳机的实施例中，飞行员或副飞行员通过耳机听到通信和内部通话，并且环境声音由模拟器声音系统生成。飞行员的声音由耳机麦克风捕获。
在飞行员和/或副飞行员配备有耳机的实施例中，专用麦克风与额外的扬声器一起安装在关键位置处，额外的扬声器可以连接到数字信号处理系统以消除回声和环境噪声。模拟飞行器声音由模拟器音响系统产生。
在一个实施例中，至少六个不同的摄像头被用于每个捕获以下六个视图中的相应一个：
飞行员侧主仪表盘；
副飞行员侧主仪表盘；
中心基座；
顶部仪表盘；
主要飞行显示器之一的特写
两名飞行员之间的肩后视图，类似于教员从他们后方向前倾斜的视图。这样的视图提供包括仪器、窗外视觉和飞行员的整体广角。
在一个实施例中，无干扰地安装在面向后方的主仪表盘上的摄像头提供飞行员的面部/反应的视图。
在一个实施例中，数据分析平台托管在云中。分析数据可以下载到模拟器进行查看，例如适应互联网连接有限的模拟器，也可以直接从云端查看。
下面描述了一种用于远程操作至少一个投影仪以指向模拟器内的感兴趣区域的方法和系统。在一个实施例中，下面的方法可以与上述系统100一起使用，以允许诸如上述第三方的用户通过视频会议平台远程操作投影仪以指向模拟器内的感兴趣区域。
下面描述的方法和系统尝试再现当教员与飞行员/副飞行员物理地存在于模拟器内时存在于教员和飞行员/副飞行员之间的部分交互。在训练期间，当教员实际处于模拟器中时，教员通常需要指出飞行器系统操作的具体方面和/或一个或多个多功能显示器上的内容。
所采用的传统方法要求教员从系好安全带的就座位置向前朝向飞行员/副飞行员或点移动，作为配备有运动系统的飞行器模拟器的安全预防措施。然而，在某些情况下，例如在大流行病期间，教员位于远程位置(即位于模拟器外部)可能是有利的，以例如降低感染风险。
图9示出了用于远程指向模拟器或模拟环境内的感兴趣区域的方法150的一个实施例。应当理解，方法150由配备有至少一个处理器、至少一个存储器和通信界面的计算机执行。方法150使得用户(例如不在模拟器内的教员)可通过远程指向模拟器内的给定感兴趣区域来与位于模拟器内的人(例如飞行员或副飞行员)进行视觉交互。如下所述，方法150可以通过安全公共网络上的视频会议平台来执行。
在步骤152，由第一计算机提供模拟器的至少一部分的图像以显示在位于远程的显示单元上。图像表示模拟器内部的至少一部分，例如驾驶舱的至少一部分、仪器和控制器的至少一部分等。
在一个实施例中，图像由安装在模拟器内的至少一个摄像头捕获。例如，在模拟器内可移动的单个摄像头可以用于捕获模拟器内部的视图。在另一实施例中，具有固定位置和/或定向的单个摄像头可以用于捕获模拟器的内部的视图。在另一实施例中，每个都具有固定位置和定向的多个摄像头可以安装在模拟器内。在步骤150提供用于显示的图像可以对应于由给定摄像头捕获的图像。在另一实施例中，图像可以由多个摄像头捕获的多个图像的组合产生。在这种情况下，方法150还包括将从不同摄像头接收的多个图像组合在一起以获得单个图像的步骤。
在另一实施例中，在步骤152处提供用于显示的图像可以是模拟器内部的至少一部分的模拟图像或计算机生成的图像。在一个实施例中，图像可以是模拟器的至少一部分的三维(3D)图像。在这种情况下，方法150还包括生成模拟器内部的至少一部分的图像的步骤。
图像由第一计算机通过通信网络传输至位于模拟器外部的第二或远程计算机。例如，通信网络可以是安全专用网络。在另一实施例中，通信网络可以是诸如互联网之类的公共网络。远程计算机连接到用于向远程计算机输入命令的用户界面和用于在其上显示接收到的模拟器的图像的显示单元。
一旦接收到的模拟器图像被显示，当显示单元包括触摸屏时，远程计算机器的用户可以使用诸如鼠标、键盘、触笔等任何适当的用户界面来选择所显示的图像的至少一个点。
在一个实施例中，在模拟器的显示图像上选择单个点。在另一个实施例中，用户可以选择多个点，多个点可以是离散的，即选择的点可以彼此间隔。或者这些点可以相邻以形成连续的几何形状，例如线、圆、正方形等。
应当理解，可以使用任何适当的方法来选择图像上的至少一个点。例如，鼠标可以用于将光标移动到所需的点上，并且点击鼠标上的右键或左键可以用于创建点击事件并选择所需的点，或者可以按下键盘的键来选择所需的点。在另一实施例中，可以通过在移动鼠标的同时向右或向左点击鼠标来选择多个点，以便将光标移动到所需的点上。在另一个实施例中，远程计算机的用户可以在所显示的图像上绘制以选择一个点或多个点。
显示图像内的所选点的坐标由远程计算机捕获并通过通信网络传输到第一计算机。
应当理解，当远程显示的图像是2D图像时，接收到是2D坐标，当远程显示的图像是3D图像时，接收到是3D坐标。
在步骤154，接收远程显示图像内的选定点的位置，即第一计算机通过通信网络接收选定点的坐标。
在一个实施例中，第一计算机和远程计算机通过公共安全网络连接，并且第一计算机配备有第一视频会议客户端，而第二计算机配备有第二视频会议客户端。在这种情况下，所选择的点的坐标通过第二视频会议客户端传输到第一计算机并且由第一计算机通过第一视频会议客户端接收。
在步骤156，基于所接收的所选点的坐标来识别位于模拟器上的感兴趣区域。例如，如果远程计算机的用户选择了图像上显示的给定按钮或致动器，则步骤156包括识别模拟器上包括所选择的按钮或致动器的感兴趣区域。
在一个实施例中，感兴趣区域的识别是基于远程显示图像的坐标系与模拟器的坐标系之间的映射来执行的。
在一个实施例中，感兴趣区域具有预定义的形状和/或尺寸。在这种情况下，步骤156包括基于接收到的坐标来识别模拟器上感兴趣区域的位置。例如，如果在步骤154接收到单个点的坐标，则步骤156包括基于接收到的单个选定点的坐标来识别模拟器上感兴趣区域的位置，以及为感兴趣区域分配预定义的形状和预定义的尺寸。例如，感兴趣区域可以具有预定义边长的正方形形状。
在接收多于一个点的坐标的实施例中，感兴趣区域的相对尺寸可以大于由所选点形成的几何对象的相对尺寸。例如，如果所选择的点形成具有给定直径的圆，则感兴趣区域也可以具有圆形形状，并且圆形感兴趣区域的直径可以大于所选择的点形成的圆的直径。
在步骤154接收多于一个选定点的坐标的实施例中，基于至少一个选定点的坐标以及区域的形状和尺寸来识别感兴趣区域的位置可以基于所选择的点的坐标来确定感兴趣的点。例如，如果第二计算机的用户进行绘图来选择点，则可以向感兴趣区域提供与绘图相同的形状，并且可以基于绘图在显示图像内的位置来选择感兴趣区域的尺寸，即基于绘图在显示图像内的至少一个点的坐标来识别模拟器内感兴趣区域的位置。
在一个实施例中，第一坐标系被分配给模拟器的内部，第二坐标系被分配给显示的图像。使用接收到的坐标以及第一坐标系和第二坐标系之间的映射(诸如第一坐标系和第二坐标系之间的传递函数)来确定感兴趣区域的位置。坐标系之间的映射使得可将显示图像中的给定点映射到模拟器内的相应点，即用于基于第二坐标系内的给定点的坐标来确定第一坐标系内的相应点的坐标。
在一个实施例中，所述方法还包括用于确定第一坐标系和第二坐标系之间的映射的校准步骤。
一旦在步骤156处已经识别了模拟器内的感兴趣区域的位置，在步骤158处可以在视觉上区分模拟器的感兴趣区域，例如，照亮感兴趣区域。应当理解，可以使用用于在视觉上区分感兴趣区域的任何适当的方法。模拟器可以设置有至少一个光源，光源连接到控制光源的第一计算机。例如，模拟器可以设置有位置和/或方向可调节的单个光源，以便照亮模拟器上的感兴趣区域。在另一实施例中，模拟器可以设置有多个光源，并且所述方法还包括以下步骤：选择要操作的给定光源，以便基于感兴趣区域的位置来照明感兴趣区域。在模拟器有多个光源的实施例中，光源的位置和/或方向可以是固定的。或者可以调节至少一个光源的位置和/或方向。
在使用方法150时，诸如教员的用户可以位于模拟器之外的位置，同时仍然能够与诸如飞行员或副飞行员的模拟器的用户进行视觉交互。例如，通过将光标指向模拟器的显示图像上的给定位置，模拟器内的相应位置被照亮，从而使得教员可直观地指示控制器、命令、按钮或控制器在模拟器内的位置，或者在模拟过程中被激活的可能性。应当理解，方法150基本上实时地执行，使得在所显示的图像上选择的任何区域或点在模拟器中基本上实时地被照亮。
在一个实施例中，方法150还使得第二计算机的用户可以与模拟器的用户交谈。在这种情况下，第二计算机连接到麦克风并且模拟器配备有至少一个扬声器。或者，可以为模拟器的用户提供耳机。第二计算机的用户然后可以对着麦克风讲话并且所生成的实时音频馈送被传送到第一计算机。在第一计算机和第二计算机通过视频会议平台连接的实施例中，实时音频馈送由第二计算机通过第二视频会议客户端发送并且由第一计算机通过第一视频会议客户端接收。然后，第一计算机将接收到的实时音频馈送传输到扬声器，扬声器基本上实时地回放音频馈送。
图10示出了用于远程指向模拟器内的感兴趣区域的方法200的另一实施例。方法200为方法150的特定实现，其中投影仪用于照亮模拟器内的感兴趣区域。
在步骤202并且类似于步骤152，模拟器的至少一部分的图像由第一计算机提供给第二计算机用于远程显示，如上所述。
如上所述，在步骤204并且类似于步骤154，由第一计算机接收在所显示的图像中选择的至少一个点的坐标。
在步骤206，接收到的坐标被映射到投影仪视场内的指针区。指针区对应于投影仪视场的一部分并且由投影仪视场内的位置、形状和尺寸来定义。在步骤206，基于接收到的坐标确定指针区在投影仪视场内的位置。
在一个实施例中并且如方法150所描述的，指针区具有预定义的形状和/或尺寸。
在步骤204接收多于一个选定点的坐标且如方法150所述的实施例中，基于坐标来识别投影仪视场内的指针区的位置可以基于所选择的点的坐标来确定至少一个所选择的点的坐标以及感兴趣区域的形状和尺寸。
在一个实施例中，第一坐标系被分配给投影仪或投影仪的视场，第二坐标系被分配给显示的图像。基于接收到的坐标，使用第一坐标系和第二坐标系之间的映射(诸如第一坐标系和第二坐标系之间的传递函数)来确定指针区在第一坐标系内的位置。坐标系之间的映射使得可基于第二坐标系内的给定点的坐标来确定第一坐标系内的相应点的坐标。然后基于第一坐标系内对应于所选点的点的位置来选择指针区在投影仪视场内的位置。
在一个实施例中，投影仪的坐标系被映射到模拟器的坐标系，使得模拟器的坐标系内的与所显示的图像内的选定点相对应的至少一个给定点被映射为首先使用模拟器的坐标系和显示图像之间的映射来确定。然后通过将模拟器的坐标系内所识别的给定点映射到投影仪的坐标系中来识别指针区在投影仪的坐标系内的位置。
在一个实施例中，所述方法还包括用于确定第一坐标系和第二坐标系之间的映射的校准步骤。
在所显示的图像对应于由投影仪的视场包括的模拟器的部分的实施例中，与投影仪的视场相关联的坐标系可以与所显示的图像的坐标系相同，使得显示图像中具有坐标(x，y)的点在投影仪的视场中也具有坐标(x，y)。在所显示的图像是模拟器的模拟图像的实施例中，所显示的图像可以与投影仪的视场所包括的模拟器的部分相同。
在一个实施例中，所显示的图像和模拟器的被投影仪视场包括的部分之间存在小的差异，使得与投影仪视场相关的坐标系与显示图像的坐标系不相同。投影仪视场内的点的坐标仍然可以被认为与其在显示图像内的对应点相同，并且可以增加指针区的尺寸。在这种情况下，被照明的感兴趣区域可以更大，以确保模拟器的与所选择的点相对应的点包括在感兴趣区域中。这可能是当所显示的图像是由位于模拟器内的摄像头捕获的图像时的情况，摄像头位于投影仪附近并且摄像头具有与投影仪的方向和视场基本上相同的方向和相同的视场。
指针区一旦被识别，下一步骤208包括基于指针区生成覆盖图像。
在一个实施例中，覆盖图像对应于指针区，使得投影仪将仅在指针区内投射光，并且不会将光投射在指针区之外的投影仪视场中。
在另一实施例中，覆盖图像大于指针区。在这种情况下，覆盖图像包括第一部分和第二部分。第一部分对应于指针区，第二部分对应于指针区之外的覆盖图像的剩余部分。在这种情况下，第一部分和第二部分具有至少一个不同的特征，以便在视觉上将指针区与覆盖图像的其余部分区分开。例如，在指针区内生成的光的颜色可以不同于为覆盖图像的剩余部分生成的光的颜色。在同一或另一示例中，光的强度可以不同。例如，指针区内的光强度可被设置为零，而覆盖图像的其余部分的强度可大于零，使得感兴趣区域不被照亮而感兴趣区域周围的区域被照亮而在视觉上区分出感兴趣区域。在另一实施例中，指针区内的光强度可以大于零，而覆盖图像的其余部分的强度可以设置为零，使得感兴趣区域通过被照亮而在视觉上被区分，而感兴趣区域周围的区域未被照亮。
在步骤210，控制投影仪以将覆盖图像投影在模拟器上，即向投影仪提供指示覆盖图像的控制信号，从而在视觉上区分模拟器的感兴趣区域。在一个实施例中，模拟器的被投影仪视场的指针区内投射的光照亮的部分形成模拟器的感兴趣区域。
在覆盖图像包括对应于指针区的单个部分的实施例中，投影仪仅在其视场内识别的指针区内投射光。图11和12说明了这种情况。图11示出了驾驶舱的一部分的示例性远程显示图像。具有方形形状和橙色的光标显示在驾驶舱的图像上。第二计算机的用户可以移动方形光标来选择要在模拟器的驾驶舱上突出显示的感兴趣区域。方形光标的位置被传送到第一计算机，第一计算机基于接收到的方形光标在所显示的图像内的位置来确定指针区在投影仪的视场内的位置。然后投影仪投影对应于指针区的覆盖图像。覆盖图像具有正方形形状和橙色。图12示出了当覆盖图像投影到驾驶舱上时的驾驶舱。然后，橙色正方形被投影到驾驶舱上，其位置与驾驶舱上显示图像中表示的驾驶舱部分上的方形光标的位置基本上相同。
在其中仅覆盖图像的给定部分对应于指针区的另一实施例中，投影仪将图像投影在模拟器上并且感兴趣区域对应于由给定部分照明的模拟器的部分。为了在视觉上区分感兴趣区域，如上所述，指针区内发出的光可以具有第一颜色，例如橙色，而对应于覆盖图像的第二部分的发出的光可以具有第二且不同的颜色，例如白色。
应当理解，可以选择覆盖图像的尺寸，使得其占据投影仪的整个视场，并且指针区则对应于视场的一部分。
在一个实施例中，方法150、200被体现为包括处理器的系统；以及可操作地连接到处理器的非暂态存储介质，非暂态存储介质包括计算机可读指令，处理器在执行计算机可读指令时被配置用于执行方法150、200的步骤。
在另一实施例中，方法150、200被具体化为计算机程序产品，计算机程序产品包括其上存储计算机可执行指令的计算机可读存储器，当由处理器执行时，执行方法150、200的步骤。
图13示出了用于允许用户远程指向模拟器内的感兴趣区域的系统250的一个实施例。
系统250包括模拟环境或模拟器252、专用位置253和远程位置254。模拟器252至少包括模拟器152的用户与之交互以执行模拟的仪器和控制器(未示出)。模拟器还可以配备至少一个摄像头262，用于捕获模拟器252的至少一部分(例如仪器和控制器的至少一部分)的图像，位于模拟器252内的至少一个扬声器266模拟器252和位于模拟器252内的至少一个麦克风264。
专用位置253包括被配置用于执行方法200的步骤的第一计算机270。第一计算机270还配备有第一视频会议客户端。第一计算机270通过专用安全网络274与投影仪260通信。第一计算机270还可以与摄像头262、扬声器266和/或麦克风264(如果存在于模拟器252中)通信。
远程位置254包括第二计算机280、第二显示单元282和用户界面284。应当理解，如果第二显示单元282包括例如触摸屏，则用户界面284可以省略。远程位置254可以选择性地包括扬声器288和麦克风286。在第二计算机280上提供第二视频会议客户端。可以通过公共安全网络290在第一计算机器270上运行的第一视频会议客户端和第二计算机器280上运行的第二视频会议客户端之间交换数据。应当理解，第二计算机280位于专用网络274之外。
在一个实施例中，系统250包括图像生成器292，用于生成模拟器252的至少一部分(例如驾驶舱的一部分)的图像。图像生成器292可以被配置用于从模拟器252的3D模型生成图像。在另一个实施例中，模拟器252包括用于捕获模拟器252的至少一部分的图像的实时图像的摄像头262。
图像通过安全专用网络274传输到第一计算机270。第一计算机270通过第一视频会议客户端通过安全公共网络290将模拟器252的图像传输到第二计算机280。第二计算机280通过第二视频会议客户端接收模拟器252的图像，并将接收到的图像提供给显示单元282以在其上显示。第二计算机280的用户(例如教员)然后可以选择模拟器252的显示图像内的至少一个点。例如，如果用户界面284包括鼠标，则用户可以左键点击给定命令显示在图像中以便向模拟器252的用户提供给定命令在模拟器252内的位置的视觉指示。
第二计算机280捕获所选点的坐标，并通过第二视频会议客户端在安全公共网络290上将接收到的坐标传输到第一计算机270。第一计算机270然后接收坐标如上所述，通过第一视频会议客户端确定所选择的点的坐标，并且在基于指针区生成覆盖图像之前将接收到的坐标映射到投影仪260的视场内的指针区。第一计算机270将覆盖图像传输到投影仪260，投影仪260将覆盖图像投影在模拟器252上以照亮感兴趣区域，如上所述。
在一个实施例中，所显示的图像是静态的。在另一实施例中，所显示的图像是动态的并且可以随时间变化。
在一个实施例中，扬声器266和288以及麦克风264和286允许模拟器252与远程位置之间音频通信，使得教员和飞行员可以在例如模拟训练期间交谈。在这种情况下，由麦克风286捕获的实时音频馈送通过第二视频会议客户端在安全公共网络290上传输到第一计算机270。第一计算机器270通过第一视频会议客户端接收实时音频馈送，并将实时音频馈送发送到扬声器266以在模拟器252内回放。类似地，麦克风264捕获来自模拟器252的实时音频馈送并通过安全专用网络274将捕获的实时音频馈送发送至第一计算机270。然后，第一计算机270通过安全公共网络290上的第一视频会议客户端将实时音频馈送传输到第二计算机280。第二计算机280通过第二视频会议客户端接收实时音频馈送并发送实时音频馈送到扬声器288以进行回放。
在模拟器的显示图像是由位于模拟器内的摄像头捕获的实况视频馈送的实施例中，摄像头的方向、位置和/或变焦可以是可调节的，使得摄像头可以捕获模拟器所需视图。
在模拟器配备有多个摄像头的实施例中，每个摄像头被定位和定向用于捕获模拟器的相应视图，通过选择给定摄像头来获得模拟器的所需视图。
在一个实施例中，当例如通过视频会议平台授予对摄像头的控制权限时，可以从第二计算机远程选择视图。第二计算机的用户可以远程控制位于模拟器内的摄像头的位置、定向和/或变焦和/或选择给定摄像头以获得模拟器的所需视图。
虽然上述描述只涉及如投影仪260的单个投影仪，但是应当理解，模拟器可以配备多个投影仪。多个投影仪可以各自覆盖模拟器的不同区域。在这种情况下，方法200还包括基于所选择的点的坐标来选择给定投影仪的步骤，以便将要区分的感兴趣区域包括在给定投影仪的视场中。
在使用单个投影仪的实施例中，投影仪具有固定的位置和方向。在另一实施例中，投影仪的位置和/或方向是可调节的。在这种情况下，方法200还可以包括以下步骤：当感兴趣区域不在投影仪的视场中时确定投影仪所需的移动，例如所需的平移或所需的旋转，以及根据所确定的所需移动来移动投影仪的步骤。
在一个实施例中，感兴趣区域或指针区的至少一个特征可以由第二计算机的用户选择。例如，可以选择感兴趣区域或指针区的形状、尺寸和/或颜色。例如，感兴趣区域或指针区可以具有圆形、箭头、“X”等形状。
在使用投影仪的实施例中，由投影仪投影的图像可以是动画的。
在一个实施例中，所述方法还包括确定映射参数以确保投影图像与驾驶舱仪器和控制器之间对准的步骤。在这种情况下，映射坐标的步骤包括将映射参数应用于坐标以确定覆盖图像内的指针区的步骤。
在一个实施例中，根据投影仪的位置、投影仪的光学特性以及驾驶舱结构的几何形状来确定参数。
在一个实施例中，通过投影一系列特征并识别模拟器上特征的位置来确定参数。
在一个实施例中，特征位置的识别通过图像处理装置自动执行。
在一个实施例中，投影仪具有以下特征中的至少一项：
(a)它具有以太网供电(POE)功能，因为驾驶舱区域可能不易获得电源；
(b)它具有运行客户端应用程序的内置功能；和
(c)产生的热量低且风扇噪音极小。
在一个实施例中，投影仪包括提供必要的驾驶舱覆盖范围、HD分辨率和亮度的透镜。
在一个实施例中，在板外IOS处，存在用于包括服务器应用程序的指针系统的专用监视器。服务器应用程序直接与每个投影仪上运行的每个客户端交互。服务器应用程序包括UI管理；与导师的界面。在IOS上选择投影仪/视图并显示相应的静态图像。当光标移动到期望位置时，定位数据被传输到投影仪/客户端应用程序。教员使用从驾驶舱返回的摄像头反馈来查看实际的光标。服务器应用程序可以包括针对光标的至少一些特性的不同选择，例如光标符号类型、大小和颜色。
在一个实施例中，服务器应用程序被扩展以捕获预定义的感兴趣区域，区域记录使用情况以用于产品使用分析的目的。
在一个实施例中，使用传送(3D)动态图像的可移动摄像头可以允许减少所需投影仪的数量。驾驶舱区域的3D模型附加额外的逻辑可以按照教员的指示在3D世界中虚拟移动，同时显示指针。这可以通过在摄像头方向(方位角、仰角)和模拟器坐标之间创建映射矩阵来实现。可以通过手动或半自动程序完成，其中摄像头显示测试图案(例如，网格)在其范围内旋转，在每个网格间隔处停止。然后要求用户确认其界面显示上的网格位置。
在一个实施例中，远程指向方法和系统比口头描述感兴趣区域更快、更直观并且更明确。
在一个实施例中，方法10还可以适用于包括方法200的步骤，使得第二计算机的用户可以使用相同的视频会议平台远程指向模拟器内的感兴趣区域。
类似地，系统100可以被配置用于允许第二计算机器130的用户指向模拟器102内的感兴趣区域。在这种情况下，第一计算机120被配置用于传输模拟器102内的感兴趣区域的至少一部分的图像。模拟器102通过安全公共网络138上的第一视频会议客户端，并且第二计算机器130被配置用于通过第二视频会议客户端接收模拟器102的一部分的图像并且在显示单元132上显示接收到的图像。第二计算机器还被配置用于捕获由第二计算机器130的用户在图像内选择的至少一个点的坐标，并通过安全公共网络138通过第二视频会议客户端将捕获到的坐标发送到第一计算机器120。当接收到坐标时，第一计算机器120基于接收到的坐标来识别模拟器102内的相应感兴趣区域，并控制模拟器102中存在的光源(例如投影仪)以照亮模拟器内的感兴趣区域102以便在视觉上区分感兴趣区域。
上述本发明的实施例仅旨在示例。因此，本发明的范围旨在仅由所附权利要求的范围来限制。

Claims (27)

1.一种用于远程指向模拟环境内的感兴趣区域的计算机实现的方法，所述方法包括以下步骤：
接收在所述模拟环境的至少一部分的给定图像内选择的至少一个点的坐标，所述给定图像显示在显示单元上；
基于所接收的所述至少一个点的坐标来识别所述模拟环境内的感兴趣区域；和
向投影仪提供控制信号，以便在视觉上区分所述模拟环境内的感兴趣区域。
2.根据权利要求1所述的计算机实现的方法，其中：
所述识别所述模拟器内的感兴趣区域包括将所接收的坐标映射到与所述投影仪相关联的坐标系内的指针区；且
所述提供控制信号包括基于所述指针区生成叠加图像，所述叠加图像覆盖所述感兴趣区域，并向所述投影仪提供所述控制信号以将所述叠加图像投影到所述模拟器上。
3.根据权利要求2所述的计算机实现的方法，其中所述将所接收的坐标映射到所述指针区包括：
将所接收的坐标映射到所述模拟环境的坐标系内的至少一个给定点；和
将所述至少一个给定点映射到与所述投影仪相关联的坐标系内的所述指针区。
4.根据权利要求1至3中任一项所述的计算机实现的方法，还包括：
通过电信网络在第一计算机上运行的第一视频会议客户端和第二计算机上运行的第二视频会议客户端之间建立连接；和
通过所述第一视频会议客户端将所述给定图像传输到所述第二计算机，所述第二计算机提供所述给定图像以显示在远程显示单元上，
其中所述接收所述坐标包括通过所述第一视频会议客户端从安全公共网络上的所述第二计算机接收所述坐标。
5.根据权利要求4所述的计算机实现的方法，其中所述电信网络包括公共网络、安全公共网络、专用网络和安全专用网络其中之一。
6.根据权利要求1至5中任一项所述的计算机实现的方法，其中所述提供控制信号包括基于所接收的坐标在多个可用投影仪中选择投影仪并向所选择的投影仪提供控制信号。
7.根据权利要求1至5中任一项所述的计算机实现的方法，其中所述提供控制信号包括确定所述投影仪的目标位置，并提供进一步指示所述目标位置的控制信号，所述目标位置确保所述感兴趣区域包括在所述投影仪的视场内。
8.根据权利要求1至7中任一项所述的计算机实现的方法，还包括从位于所述模拟环境内的摄像头接收所述模拟环境的至少一部分的给定图像。
9.根据权利要求1至7中任一项所述的计算机实现的方法，还包括生成所述模拟环境的至少一部分的给定图像。
10.根据权利要求9所述的计算机实现的方法，其中所述生成给定图像是使用所述模拟环境的3D模型来执行的。
11.根据权利要求1至10中任一项所述的计算机实现的方法，其中所述接收所述坐标包括接收在所述给定图像内选择的多个点的坐标，所述识别所述感兴趣区域包括基于所接收的多个点的坐标来识别多个感兴趣区域，并且所述提供控制信号包括向所述投影仪提供所述控制信号以在视觉上同时区分所述模拟环境内的多个感兴趣区域。
12.根据权利要求1至11中任一项所述的计算机实现的方法，还包括选择所述指针区的至少一种特性，所述控制信号指示所述至少一种特性。
13.根据权利要求12所述的计算机实现的方法，其中所述至少一种特性包括形状、强度和颜色中的至少一种。
14.一种用于远程指向模拟器内的感兴趣区域的系统，所述系统包括：
处理器；和
可操作地连接到所述处理器的非暂态存储介质，所述非暂态存储介质包括计算机可读指令，
所述处理器在执行所述计算机可读指令时被配置用于：
接收在模拟环境的至少一部分的给定图像内选择的至少一个点的坐标，所述给定图像显示在显示单元上；
基于所接收的所述至少一个点的坐标来识别所述模拟环境内的感兴趣区域；和
向投影仪提供控制信号，以便在视觉上区分所述模拟环境内的感兴趣区域。
15.根据权利要求14所述的系统，其中所述处理器被配置用于：
将所接收的坐标映射到与所述投影仪相关联的坐标系内的指针区；
基于所述指针区生成叠加图像，所述叠加图像覆盖所述感兴趣区域；和
向所述投影仪提供所述控制信号以将所述叠加图像投影到所述模拟器上。
16.根据权利要求15所述的系统，其中所述处理器被配置用于：
将所接收的坐标映射到所述模拟环境的坐标系内的至少一个给定点；和
将所述至少一个给定点映射到与所述投影仪相关联的坐标系内的所述指针区。
17.根据权利要求14至16中任一项所述的系统，其中，所述处理器被配置用于：
通过电信网络在第一计算机上运行的第一视频会议客户端和第二计算机上运行的第二视频会议客户端之间建立连接；和
通过所述第一视频会议客户端将所述给定图像传输到所述第二计算机，所述第二计算机提供所述给定图像以显示在远程显示单元上，
其中所述接收所述坐标包括通过所述第一视频会议客户端从安全公共网络上的所述第二计算机接收所述坐标。
18.根据权利要求17所述的系统，其中所述电信网络包括公共网络、安全公共网络、专用网络和安全专用网络其中之一。
19.根据权利要求14至18中任一项所述的系统，其中所述处理器还被配置用于基于所接收的坐标在多个可用投影仪中选择投影仪并向所选择的投影仪提供所述控制信号。
20.根据权利要求14至18中任一项所述的系统，其中所述处理器还被配置用于确定所述投影仪的目标位置，并提供进一步指示所述目标位置的控制信号，所述目标位置确保所述感兴趣区域包括在所述投影仪的视场内。
21.根据权利要求14至20中任一项所述的系统，其中所述处理器还被配置用于从位于所述模拟环境内的摄像头接收所述模拟环境的至少一部分的给定图像。
22.根据权利要求14至20中任一项所述的系统，其中所述处理器还被配置用于生成所述模拟环境的至少一部分的给定图像。
23.根据权利要求22所述的系统，其中所述处理器被配置用于使用所述模拟环境的3D模型来生成所述给定图像。
24.根据权利要求14至23中任一项所述的系统，其中所述处理器被配置用于接收在所述给定图像内选择的多个点的坐标，基于所接收的所述多个点的坐标来识别多个感兴趣区域，并且向所述投影仪提供所述控制信号，以在视觉上同时区分所述模拟环境内的多个感兴趣区域。
25.根据权利要求14至24中任一项所述的系统，其中所述处理器还被配置用于选择所述指针区的至少一种特性，所述控制信号指示所述至少一种特性。
26.根据权利要求25所述的系统，其中所述至少一种特性包括形状、强度和颜色中的至少一种。
27.一种用于远程指向模拟环境内的感兴趣区域的计算机程序产品，所述计算机程序产品包括其上存储计算机可执行指令的计算机可读存储器，当由处理器执行时，所述计算机可执行指令执行以下方法步骤：
接收在模拟环境的至少一部分的给定图像内选择的至少一个点的坐标，所述给定图像显示在显示单元上；
基于所接收的至少一个点的坐标来识别所述模拟环境内的感兴趣区域；和
向投影仪提供控制信号，以便在视觉上区分所述模拟环境内的感兴趣区域。
CN202280022787.4A 2021-01-26 2022-01-26 模拟器的远程指向器 Pending CN117322000A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163141804P 2021-01-26 2021-01-26
US63/141,804 2021-01-26
PCT/IB2022/050687 WO2022162560A1 (en) 2021-01-26 2022-01-26 Remote pointer for simulators

Publications (1)

Publication Number Publication Date
CN117322000A true CN117322000A (zh) 2023-12-29

Family

ID=82653051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280022787.4A Pending CN117322000A (zh) 2021-01-26 2022-01-26 模拟器的远程指向器

Country Status (7)

Country Link
US (1) US20240089311A1 (zh)
EP (1) EP4285598A1 (zh)
JP (1) JP2024509045A (zh)
CN (1) CN117322000A (zh)
AU (1) AU2022212918B2 (zh)
CA (1) CA3203334A1 (zh)
WO (1) WO2022162560A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007059301A2 (en) * 2005-11-16 2007-05-24 Integrated Equine Technologies Llc Automated video system for context-appropriate object tracking
US20140057229A1 (en) * 2011-02-22 2014-02-27 Rheinmetall Defence Electronics Gmbh Simulator for training a team, in particular for training a helicopter crew
US10529248B2 (en) * 2014-06-19 2020-01-07 Embraer S.A. Aircraft pilot training system, method and apparatus for theory, practice and evaluation
US10735691B2 (en) * 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
JP7298932B2 (ja) * 2018-02-02 2023-06-27 アクセス ヴァーチャル， エルエルシー 仮想現実に基づくパイロット訓練システム

Also Published As

Publication number Publication date
CA3203334A1 (en) 2022-08-04
EP4285598A1 (en) 2023-12-06
US20240089311A1 (en) 2024-03-14
AU2022212918B2 (en) 2023-10-05
JP2024509045A (ja) 2024-02-29
AU2022212918A1 (en) 2023-08-17
WO2022162560A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
US11127217B2 (en) Shared environment for a remote user and vehicle occupants
KR101918262B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
WO2021098582A1 (en) System and method for displaying virtual reality model
US20100039380A1 (en) Movable Audio/Video Communication Interface System
US20200042284A1 (en) Augmented reality audio mixing
JP2017062598A (ja) 情報処理装置、情報処理方法、およびプログラム
US20110169605A1 (en) System and method for providing remote indication
CA3161088C (en) Method and system for providing remote visibility into a simulation environment
AU2022212918B2 (en) Remote pointer for simulators
US20200359007A1 (en) Information processing apparatus and information processing method
Mendes et al. Collaborative 3d visualization on large screen displays
Schoor et al. Elbe Dom: 360 Degree Full Immersive Laser Projection System.
WO2018216327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7150354B2 (ja) 車両デザイン支援システム
TWI830661B (zh) 線上直播互動場域導覽系統
Harmsen OpenIMPRESS: an open immersive telepresence system
KR101430187B1 (ko) 멀티 디스플레이 제어 장치 및 콘텐츠 제공 방법
JP2023173584A (ja) コミュニケーション支援システム及びオフィス
JP2024039760A (ja) 情報処理システム
TWM646350U (zh) 線上直播互動場域導覽系統
Gröhn et al. An Orientation Experiment Using Auditory Artificial Horizon.
JPH0966489A (ja) 映像提示方向およびカメラ方向操作装置
Herder et al. Spatial Sound Design and Interaction for Virtual Environments in the Promotion of Architectural Designs
KR20090040086A (ko) 디지털 스튜디오

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination