CN106973284A - 用于飞行器具的虚拟窗口 - Google Patents

用于飞行器具的虚拟窗口 Download PDF

Info

Publication number
CN106973284A
CN106973284A CN201610848755.6A CN201610848755A CN106973284A CN 106973284 A CN106973284 A CN 106973284A CN 201610848755 A CN201610848755 A CN 201610848755A CN 106973284 A CN106973284 A CN 106973284A
Authority
CN
China
Prior art keywords
image data
camera
airborne vehicle
display
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610848755.6A
Other languages
English (en)
Inventor
克里斯琴·里德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Operations GmbH
Original Assignee
Airbus Operations GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Operations GmbH filed Critical Airbus Operations GmbH
Publication of CN106973284A publication Critical patent/CN106973284A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • B64D2011/0061—Windows displaying outside view, artificially generated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T50/00—Aeronautics or air transport
    • Y02T50/40—Weight reduction

Abstract

一种用于飞行器具的虚拟窗口组件，包括：至少两个相机，每一个相机均被配置成从朝向器具飞行器具外部的视野捕获全景和时间分辨图像数据流；至少一个图像数据处理器，其联接到所述至少两个相机且被配置成从所述至少两个相机接收所捕获的图像数据流，并使所接收的图像数据流交错以获得自动对应于所述至少两个相机的不同观察角度的自动多视点图像数据流；及至少一个自动多视点电子显示器，其安装于飞行器具的壳体内侧，联接到所述图像数据处理器并被配置成显示所述自动多视点图像数据流。

Description

用于飞行器具的虚拟窗口
发明领域
本发明涉及用于飞行器具的窗口的虚拟化，具体地讲通过收集飞行器具周围的图像和/或视频数据以及在所述飞行器具内的电子显示器上显示所收集的图像和/或视频数据来实现。
背景技术
出于工程学考虑而约束的小型航空器窗口的设计仅允许航空器的乘客对外界的有限观察。然而，窗口在航空器中的实施会增加重量、阻力、制造成本以及航空器的维护工作量。因此，工程学边界条件与期望更高的乘客舒适度之间存在冲突。
这种情况已通过若干尝试来改善。例如，文献US 2013/0169807A1公开了一种包含实际窗口的内部面貌和外观的虚拟窗口，其中内部部分具有折叠的或柔性的高分辨率彩色显示器，其与航空器机身的内部轮廓相贴合，仿佛是实际窗口一般。文献US 2004/0217976A1公开了用于处理对应于器具外部图景的图像的方法和系统，其中第一和第二信号接收部分被配置成接收对应于器具外部图景的图像的信号，且信号处理部分将对应于图像的第一信号引导至第一显示部分，并将对应于图像的第二信号引导至第二显示部分。
文档US 2003/0076279A1公开了一种具有处理器的立体显示系统，所述处理器将立体图形的左眼图像分辨成多个竖直左眼条纹，且将所述立体图像的右眼图像分辨成多个竖直右眼条纹，随后使所述左眼条纹与右眼条纹交错成显示图像以便用一个光导双凸透镜层显示于显示装置上，使得观看者可容易地将所述显示图像感知为三维的。文档DE 102004 027 334A1公开了一种用于机动车辆、航空器、轮船或航空器具的导航系统，其允许在自动立体显示器上显示图形和/或纹理数据。
然而，存在对下述改进的技术方案的需求，以使得飞行器具的乘客能够享受到飞行器具(例如机舱)外部的真实全景视图。
发明内容
此需要是通过具有根据技术方案1所述特征的虚拟窗口组件、具有根据技术方案7所述特征的航空器以及一种具有技术方案9所述特征的用于向航空器内的乘客显示航空器外部图景的方法来满足的。
本公开内容的第一方面涉及一种用于飞行器具的虚拟窗口组件，所述虚拟窗口组件包括：至少两个相机，每一个相机均配置成从朝向飞行器具外部的视野捕获全景的和时间分辨的图像数据流；至少一个图像数据处理器，其联接到所述至少两个相机且配置成从所述至少两个相机接收所捕获的图像数据流，并使所接收的图像数据流交错以获得对应于所述至少两个相机的不同观察角度的自动多视点图像数据流；及至少一个自动多视点电子显示器，其安装于飞行器具的壳体内侧，联接到所述图像数据处理器并被配置成显示所述自动多视点图像数据流。
根据本公开内容的第二方面，一种航空器包括根据本公开内容的第一方面的虚拟窗口组件。
根据本公开内容的第三方面，一种用于向航空器内的乘客显示航空器外部的图景的方法包括：使用至少两个相机从朝向所述航空器外部的视野捕获全景且时间分辨的图像数据流，将所捕获的图像数据流传输到至少一个图像数据处理器，借助所述至少一个图像数据处理器将所接收的图像数据流交错以获得对应于所述至少两个相机的不同观察角度的自动多视角图像数据流，以及在安装于飞行器具壳体内部的至少一个自动多视角电子显示器上显示所述自动多视角图像数据流。
本发明所基于的概念是借助至少两个相机从不同的观察角度收集全景且时间分辨的图像数据。来自不同相机的图像数据随后组合成具有多个视图的交错图像数据流。所述多个视图被压缩成显示于自动多视点电子显示器上的自动多视点图像数据流。取决于观看显示器的乘客的视角，将所述多个视图之一呈现给乘客，使得所述乘客获得从真实的窗口向外看的感知，或者甚至是获得在飞行器具外面看的感知，仿佛显示器是飞行器具壳体的透明部分一般。
此虚拟窗口组件具有数个优点：通常较小的航空器窗口可以在尺寸上虚拟增大，使得乘客可具有增强的向外看的感觉。因此，乘客的舒适度可增加。由于航空器窗口可保持为小的或甚至完全免除，与实体航空器窗口的设计相关联的重量、航空器阻力、制造成本和/或维护工作量可减少。其他乘客座椅也可以放置于诸如锥形区段或本体区段等通常不易实现实体窗口的安装的机身区段。在此类区段中，可通过提供与具有实际实体窗口的其他机身区段中一样的向外看的虚拟全景视图而保持乘客舒适度。
根据所述虚拟窗口组件的实施例，至少两个相机可各自包括超广角镜头相机。在一个实施例中，相机可具有大约180°的视角。可能采用至少四个此类超广角镜头相机，在飞行器具的每一侧两个。
根据虚拟窗口组件的另一实施例，所述自动多视点电子显示器可沿着壳体的侧壁安装。可选地和/或另外地，自动多视点电子显示器可安装成观看方向对着飞行器具的飞行方向。所述侧壁显示器用作虚拟侧窗，实现对飞行器具的侧面的观察，同时前壁显示器可用作实现沿飞行方向进行观察的虚拟前窗，仿佛飞行器具的前方是透明的一样。
根据所述虚拟窗口组件的另一实施例，自动多视点电子显示器可被配置成使用双凸透镜技术、视差屏障技术、立体显示技术、全息技术和光场显示技术之一来显示图像数据。
根据所述虚拟窗口组件的另一实施例，图像数据处理器可被集成到自动多视点电子显示器之一的显示模块中。分散式图像处理提供了如下优势：减少由于待传输和处理的大量图像数据的沉重网络通量对航空器数据网络的负担。
根据所述航空器的实施例，图像数据处理器可被集成到航空器的飞行乘务员控制面板FAP中。FAP中现有的计算能力可有利地用于处理图像数据。此外，与FAP的集成允许实现在航空器中模块化地且更灵活地实施虚拟窗口组件。
根据航空器的实施例，虚拟窗口组件可包括多个自动多视点电子显示器，其可按菊链网络拓扑联接到图像数据处理器。菊链布线具有需要较少的线缆束和较短的布线长度之优势，从而减少整体系统重量，同时在显示器之间实现更好的同步性以及减少延时问题。
根据航空器的另一实施例，航空器可另外包括至少一个形成于航空器机身中的窗口，以及安装于窗口中的不透明窗盖，其中至少一个相机布置于所述窗盖的通孔中。以此方式，对于与安装所述相机的窗口相关联的显示器来说，由于来自相机的捕获图像数据已经对应于穿过所述窗口的图景，因此节省了处理和重新计算特定窗口的图像数据所需的计算工作量。具体地讲，对于超高清分辨率图像数据来讲，工作量的减少等于所需计算功率的显著减少。
附图说明
本发明将参照随附图示中示出的示例性实施例来详细阐释。
包含所述附图旨在提供对本发明的进一步理解，以及结合并构成本说明书的一部分。所述图示示出了本发明的实施例，且连同实施方式一起起到阐释本发明原理的作用。本发明的其他实施例和本发明的诸多要达到的优势将是易于理解的，因为其通过引用以下具体实施方式而变得更易理解。所述图示的元件未必相对于彼此按比例绘制。类似的数字表示对应的类似部分。
图1示意性地示出航空器机身的示例性部分。
图2示意性地示出根据本发明实施例的虚拟窗口组件。
图3示意性地示出根据本发明另一实施例具有虚拟窗口组件的航空器。
图4示意性地示出根据本发明另一实施例用于虚拟窗口组件的相机的图像捕获区段。
图5示意性地示出根据本发明另一实施例适用于具有虚拟窗口组件的航空器的处理环境。
图6示意性地示出根据本发明另一实施例用于向航空器内的乘客显示航空器外部图景的方法的各个阶段。
图7示意性地示出根据本发明另一实施例用于虚拟窗口组件的自动多视点电子显示器。
在图中，类似的数字代表类似部件或功能类似的部件，除非另外指明。诸如“顶部”、“底部”、“左侧”、“右侧”、“上方”、“下方”、“水平”、“竖直”、“后部”、“前部”和类似术语的任何方向性术语仅出于阐释性目的使用，且并非旨在将实施例限制于图中所示的特定布置。
具体实施方式
尽管本文已示出和描述了特定实施例，但本领域的技术人员应当理解，可在不背离本发明范围的情况下用各种替代的和/或等效的实施方案来替代所示出和描述的特定实施例。一般来讲，此专利申请旨在涵盖本文论述的特定实施例的任何调适或变化形式。
本发明含义内的电子显示器包括任何电子控制的显示装置，其能够以光学形式将变化的信息传达给观看者。例如，电子显示器可包含LED显示器、OLED显示器、LCD显示器或类似装置。
自动多视点显示器采用具有一个或多个共面布置的LED、OLED或LCD面板的多层电子显示器。其使用特殊的导光装置以便在用户空间形成单独的观察窗口，这允许用户不使用眼镜查看3D图像。由于指定的观察窗口形成明显大于人眼尺寸的观察空间，因此用户可自由移动其头部，只要其眼睛位于观察空间内即可。自动多视点显示器是多视图自动立体显示器，即允许在用户空间中从显示器前方的多个不同观察位置实现单独观看窗口的自动立体显示器。所述多个不同观察位置中的每一个可与多个自动立体显示器视图中与相应视角相关联的一个对应，所述视角与相应观察位置相对于自动多视点显示器的平面垂直向量形成的角度对应。
自动多视点显示器是一类3D显示器，其在三维成像投影上提供无阻碍视图，也就是说，以允许观看者当其在显示器前方移动头部时获得能够环绕物体的感知的方式同时显示多个图像。此有利地描绘了真实世界图像的更准确显示。自动多视点显示器可使用数个立体显示技术之一来形成观察窗口。例如，此类技术科包含双凸透镜技术、视差屏障技术、立体显示技术、全息技术和光场显示技术。
例如，视差屏障显示器使用前方的针孔阵列以及位于所述针孔阵列后方的发光面板，使得借助适应性的和成角度分辨的孔隙来选择性地阻挡来自后面板的光，从而形成观察窗口。因此，原始显示器的分辨率被多个观察窗口划分，使得为了显示n个视图，单个视图的分辨率变成原始显示器分辨率的1/n。双凸透镜显示器使用放大透镜阵列，以取决于观看显示器的观察角度来放大不同的图像。
另一可能性是使用内容适应性视差屏障，其被配置成取决于当前投影的三维图像来主动优化孔隙的间距和定向。以此方式，可由于消除固定的启发式孔隙几何形状而有利地增加所感知图像的亮度。
图7示例性地示出基于内容适应性视差屏障技术的自动多视点电子显示器SM的示意图。自动多视点电子显示器SM大体包含一对LCD面板，其后面板LB共面堆叠于前面板LF后方。取决于后面板LB处的光学调节，观看者的左眼视图LE和右眼视图RE被前面板LF的主动适应性孔隙阵列选择性地阻挡。以此方式，可呈现与显示器SM前方的观察者的相应视角和位置相关联的不同图像数据，从而形成能够看到三维景象的感知，即通过经由向观察者的每只眼呈现不同图像来提供双眼深度线索，从而在准二维显示系统上形成深度错觉效果。对前面板LF的光学调节器的适应性遮罩选择还与传统的视差屏障相比在亮度和帧频方面优化了每个多视图图像，并允许用户在显示器SM前方倾斜头部以获得所呈现图像的三维效果。
图1示出了飞行器具机身的一部分H的示意图，例如，因为其可在航空器、尤其是客机的前面使用。图3示例性地示出包括如结合图1和2所阐释和描述的机身H的航空器A。当然，也可使用具有本发明的虚拟窗口组件的其他飞行器具，诸如直升航空器、齐柏林飞艇或航空飞船。
飞行器具的机身H可具有由机身面板T制成的不同区段H1、H2。诸如区段H1等一些区段未必具有安装于面板T中的任何实体窗口，而诸如区段H2等其他区段可具有安装于面板T中的实体窗口W。无窗区段H1通常存在于锥形或本体区段中，在其中窗口的安装经常是复杂和昂贵的。对于想要实现额外的乘客座椅但乘客舒适度和接受度被往航空器外部看的可能性严重影响的航空公司来说，此类无窗区段H1是感兴趣的。
如图2(a)示例性地示出，无窗区段H1和具有窗口W的区段H2均可装备有虚拟窗口组件。虚拟窗口组件包含至少一个相机C，其被配置成从朝向航空器外部的视野捕获全景的且时间分辨的图像数据流。如图2(b)所示，例如，相机C可集成到形成于航空器机身H中的至少一个窗口W内。窗口W可覆盖有安装于窗口W中的不透明窗盖WC，例如氧化铝盘片。相机C随后布置于窗盖WC的通孔中，如图2(c)的侧视图中可见。
这些相机C中的两个可随之从不同视角捕获外部图景作为全景图像数据流，并将所捕获的图像传输到飞行器具内的图像数据处理器。所述图像数据处理器接收所捕获的图像数据流并使所接收的图像数据流交错，以获得对应于相机的不同视角的自动多视点图像数据流。自动多视点图像数据流因此包括与全景图像数据流的不同视角相关联的多视图图像数据，使得所述多视图图像数据可用于形成相应外部图景的三维效果。自动多视点图像数据流可传输到一个或多个自动多视点电子显示器SM，所述自动多视点电子显示器安装到飞行器具的机身或壳体H内部。
自动多视点电子显示器SM中的每一个被配置成取决于飞行器具中相应自动多视点电子显示器SM的实体位置，显示同一自动多视点图像数据流或具体来说交错的自动多视点图像数据流，即飞行器具中自动多视点电子显示器SM的实体安装位置对应于交错的自动多视点图像数据流中的相关联相机视角。此有利于通过图像在电子显示器上的数字显示，用朝向航空器舱外部的真实三维全景视图替换经过实体航空器窗口W的光学视图。此外，数字视图甚至可延伸到通常不允许观察航空器外部的无窗机身区段H1。
例如，可能沿着机身的延伸部沿水平线并排安装多个自动多视点电子显示器SM，即，电子显示器SM可类似于沿着机身H的侧壁安装的实体窗口W来布置，以便形成显示器是实际窗口的错觉。例如，可存在形成三维全景视图的侧视图虚拟窗口显示器。对于所有显示器前的所有乘客来讲，视野和侧视角可类似于航空器窗口的视野和侧视角。另外，可存在提供前侧显示器FM的选项，所述前端显示器安装成观察方向对着航空器A的飞行方向，即直接观察方向沿着航空器飞行方向的显示器。这些前侧显示器FM形成乘客能够穿过驾驶舱查看航空器前方的周围环境的无阻挡三维视图的错觉。
自动多视点电子显示器SM可各自被配置成以超高清4K或超高清8K来显示图像数据，即具有16:9的纵横比以及至少一个数字输入端的显示器，所述数字输入端能够以最小分辨率3840×2160像素携载和呈现原生视频。具体地讲，超高清4K是允许实现3840像素宽×2160像素高的分辨率的视频格式，且超高清8K是允许实现7680像素宽×4320像素高的分辨率的视频格式。
例如，来自相机C的图像数据流可使用鱼眼镜头相机捕获，即具有超广角镜头的相机，其形成强烈的视觉畸变，旨在生成广角全景或半球体图像。例如，此类鱼眼镜头相机可具有大约180°的视角。当前的相机技术允许在360°视角上实现超高清4K或超高清8K的芯片传感器分辨率。如果在航空器机身H的每一侧采用具有约180°视角的广角镜头相机C，则分辨率将为芯片传感器分辨率的大致一半。所述图像数据处理器可包含重新计算图像像素的软件，从而与借助超高清4K技术控制自动多视点电子显示器相同。
所述相机C之一的全景视图镜头被分成不同的观察区域，如图4针对航空器的右手侧RH示例性地示出。此等观察区域可对应于相机芯片传感器的某些传感器区域。通过选择性地读出专属传感器区域中捕获的图像数据，可获得相关联的观察区域的图像数据流。飞行方向用参考符号“v”指示。当然，对于左手侧LH，观察区域是类似地形成的。这些观察区域中的每一个对应于飞行器具外侧景象的观察区段上的一个视角，且将图像数据流的源形成为三维视图的一部分。
来自捕获飞行器具外部景象的同一观察区段的图像数据的不同相机的但是来自不同视角的图像数据流可被传输到图像数据处理器供进一步处理和计算。具体地讲，所述计算涉及使来自不同相机的图像数据流交错，以获得自动多视点图像数据流。此计算可由图像数据处理器中的软件、固件和/或硬件来执行。实时交错可在图像数据处理器的帧缓冲器中加以处理。
为了提供实时图像性能而必须考虑在内的关键方面是系统延时和图像数据计算任务的分布。因此，提供可级联扩展的模块化系统可能是有益的。为此，可按自动多视点电子显示器的菊链布置来进行图像数据分布。此系统可减少每个航空器的定制工作量，且可用作改装、线性拟合及独立系统。此外，菊链网络拓扑可减少布线所需的线缆数量和工作量。
为了解决系统延时问题，可直接传输图像数据而不进行编码、压缩和/或封装。在整个航空器机舱内提供特定数据分布单元D可能是有益的，所述特定数据分布单元诸如经由以太网、HDMI、显示端口或其他适合视频的接口而与显示器交接。例如，数据分布单元D可以是航空器内的现有机舱管理系统的一部分，所述现有机舱管理系统初始地被配置成传输和分布数字数据信息供用于在整个航空器机舱内实现机舱管理功能。此机舱管理系统可能已提供用于分布虚拟窗口组件的大量图像数据所需的高速主干数据总线。
在图2(c)所示的实例中，超广角透镜相机C可安装于航空器窗口W的开孔中，所述航空器窗口填充有构造类似于航空器外壁的适合的氧化铝盖WC。相机C随后被安装在窗盖WC的开孔中，使得视角约180°的相机物镜安装于开孔盖中小于5mm直径的小孔中。为每个航空器窗口W使用一个相机C是可能的，且可在这些窗口前方安装所述自动多视点电子显示器中的一个。所捕获的图像数据流可随后被直接传输到相关联的显示器。在这种情况下，相关联电子显示器的解码、重新计算、处理和图像流交错可分散地执行，即，将局部图像数据处理器安装于自动多视点电子显示器的显示模块内。另外，显示模块可以连接到系统的数据分布单元D，使得可传输和/或接收来自网络中的中心数据分布模块的或者到达网络中的中心数据分布模块的类似诸如观看选择、画中画、渲染景观仿真和/或增强现实等视频功能的其他数据。相邻的自动多视点电子显示器可另外地以菊链拓扑连接，从而交换不同相机的图像数据流。此外，自动多视点电子显示器可具有触控屏幕功能，使得触摸电子显示器的若干部分的乘客可对所显示内容施加影响，例如额外的OSD信息、亮度设置、对比度设置或诸如此类。
图5示出了在包括虚拟窗口组件的飞行器具的面板上的处理环境的方框图。所述处理环境可用于结合图1-3所显示和阐释的虚拟窗口组件，且所述处理环境可安装于如图4所示的航空器A中。
用于捕获航空器外部的全景且时间分辨的图像数据流的一个或多个相机C(诸如超广角或鱼眼镜头相机C)联接到图像数据处理器P。图像数据处理器P可以是独立系统，或者作为另外一种选择，集成到航空器的另一处理单元中，例如集成到航空器的飞行乘务员控制面板FAP中。包含至少一个自动多视点电子显示器SM的电子显示器系统S联接到图像数据处理器P。如果在电子显示系统S中使用不止一个自动多视点电子显示器SM，则系统S可(例如)以菊链网络拓扑联接到图像数据处理器P。当然，电子显示系统S也可以另一网络拓扑、例如云网络或星网络连接到图像数据处理器P。尤其是，电子显示系统S可采用基于下述技术之一的自动多视点电子显示器SM：双凸透镜技术、视差屏障技术、立体显示技术、全息技术和光场显示技术。例如，自动多视点电子显示器SM的一个明确实施方案可涉及如结合图7示例性地示出的内容适应性视差屏障技术。
图像数据处理器P可嵌入或以其他方式集成到现有的航空器机舱网络中，所述航空器机舱网络特别是可以包括飞行中娱乐(IFE)模块E、机舱管理模块F和/或人机界面HMI。例如，现有的航空器机舱网络可以是机舱互通数据系统(CIDS)。图像数据处理器P可以装备有具有高速性能的图形处理器。另外，图像数据处理器P可以装备有服务器功能，其可以是独立的服务器片或被集成到航空器网络的HMI控制面板中。
图6示意性地示出用于向航空器A内的乘客显示航空器A外部图景的方法M的各个阶段。例如，方法M可用于如图3所示的航空器A中，且可利用如结合图1、2、4和7所阐释的虚拟窗口组件。方法M可在如图5示例性地示出的处理环境中执行。
在第一阶段M1中，方法M涉及使用至少两个相机从朝向航空器外部的视图捕获全景且时间分辨的图像数据流。例如，所述相机可以是具有大致180°视角的超广角镜头相机。所述相机可安装于飞行器具壳体处或附近的不同位置处，使得两个相机分别从同一场景但从不同的视角捕获图像。在第二阶段M2中，所捕获的图像数据流被传输到至少一个图像数据处理器P，所述图像数据处理器随后能够在阶段M3中使所接收的图像数据流交错，以便获得对应于所述至少两个相机的不同视角的自动多视点图像数据流。此自动多视点图像数据流可随之在阶段M4中显示于至少一个自动多视点电子显示器SM上，所述自动多视点电子显示器安装于飞行器具的壳体H内侧。具体地讲，自动多视点电子显示器SM可使用双凸透镜技术、视差屏障技术、立体显示技术、全息技术和光场显示技术之一，以在方法M的阶段M4中显示自动多视点图像数据流。
在前述详细说明中，出于简化本公开内容的目的在一个或多个实例中将各种特征安排在一起。应当理解，上述说明旨在为示例性而非限制性的。其旨在涵盖所有替代方案、修改形式和等效内容。在回顾上述说明书后，许多其他实例将对本领域的技术人员显而易见。
所述实施例经选择和描述以便最佳地阐释本发明的原理及其实践应用，借此使得本领域的技术人员能够借助适用于预期的特定用途的各种修改形式来最佳地利用本发明和各种实施例。在随附权利要求书和整个说明书中，术语“包含”和“在其中”分别用作相应术语“包括”和“其中”以白话表达的等效内容。此外，“一”或“一个”在本案中并不排除多个。
附图文字：
A 航空器
C 相机
C1 相机
C2 相机
D 数据分布模块
E 飞行中娱乐(IFE)模块
F 机舱管理模块
FM 自动多视点电子显示器
H 机身
H1 机身区段
H2 机身区段
HMI 人机界面
LB 背侧光学调节器
LE 左眼视图
LF 前侧光调节器
LH 左手侧
M 方法
M1 方法步骤
M2 方法步骤
M3 方法步骤
M4 方法步骤
P 图像数据处理器
RE 右眼视图
RH 右手侧
S 虚拟窗口显示布置
SM 自动多视点电子显示器
SM1 自动多视点电子显示器
SM2 自动多视点电子显示器
SM3 自动多视点电子显示器
T 机身表面面板
V 飞行方向
W 窗口
WC 窗盖

Claims (13)

1.一种用于飞行器具的虚拟窗口组件，包括：
至少两个相机(C1、C2)，各自配置成从朝向飞行器具外部的视野捕获全景的且时间分辨的图像数据流；
至少一个图像数据处理器(P)，所述图像数据处理器联接到所述至少两个相机(C1、C2)且被配置成从所述至少两个相机(C1、C2)接收所捕获的图像数据流，并使所接收的图像数据流交错以获得对应于所述至少两个相机(C1、C2)的不同观察角度的自动多视点图像数据流；以及
至少一个自动多视点电子显示器(SM)，所述自动多视点电子显示器安装于所述飞行器具的壳体(H)内侧，联接到所述图像数据处理器(P)并被配置成显示所述自动多视点图像数据流。
2.根据权利要求1所述的虚拟窗口组件，其中所述至少两个相机(C1、C2)各自包括具有大致180°视角的超广角镜头相机。
3.根据权利要求1和2中任一项所述的虚拟窗口组件，其中所述自动多视点电子显示器(SM)沿着所述壳体(H)的侧壁安装。
4.根据权利要求1和2中任一项所述的虚拟窗口组件，其中所述自动多视点电子显示器(SM)安装成观察方向对着所述飞行器具的飞行方向。
5.根据权利要求1至4中任一项所述的虚拟窗口组件，其中所述自动多视点电子显示器(SM)被配置成使用双凸透镜技术、视差屏障技术、立体显示技术、全息技术和光场显示技术之一来显示图像数据。
6.根据权利要求1至5中任一项所述的虚拟窗口组件，其中所述图像数据处理器(P)集成到自动多视点电子显示器(SM)的显示模块中。
7.一种包括根据权利要求1至6中任一项所述的虚拟窗口组件的航空器(A)。
8.根据权利要求7所述的航空器(A)，其中所述图像数据处理器(P)集成到航空器(A)的飞行乘务员控制面板FAP中。
9.根据权利要求7和8中任一项所述的航空器(A)，包括以菊链网络拓扑联接到所述图像数据处理器(P)的多个自动多视点电子显示器(SM)。
10.根据权利要求7至9中任一项所述的航空器(A)，包括：
形成于所述航空器的机身(H)中的至少一个窗口(W)；及
安装于所述窗口(W)中的不透明窗盖(WC)，其中所述相机(C1、C2)中的至少一个布置于所述窗盖(WC)的通孔中。
11.一种用于向航空器(A)内的乘客显示航空器(A)外部的图景的方法(M)，所述方法(M)包括：
使用至少两个相机(C1、C2)从朝向所述航空器外部的视野捕获(M1)全景且时间分辨的图像数据流；
将所捕获的图像数据流传输(M2)到至少一个图像数据处理器(P)；
借助所述至少一个图像数据处理器(P)将所接收的图像数据流交错(M3)以获得对应于所述至少两个相机(C1、C2)的不同观察角度的自动多视角图像数据流；并且
在安装于所述飞行器具的壳体(H)内侧的至少一个自动多视角电子显示器(SM)上显示(M4)所述自动多视角图像数据流。
12.根据权利要求11所述的方法(M)，其中所述至少两个相机(C1、C2)包括具有大致180°视角的超广角镜头相机。
13.根据权利要求11及12中任一项所述的方法(M)，其中显示(M4)所述自动多视点图像数据流包括采用双凸透镜技术、视差屏障技术、立体显示技术、全息技术和光场显示技术之一。
CN201610848755.6A 2015-09-24 2016-09-23 用于飞行器具的虚拟窗口 Pending CN106973284A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15186722.3A EP3148188A1 (en) 2015-09-24 2015-09-24 Virtual windows for airborne verhicles
EP15186722.3 2015-09-24

Publications (1)

Publication Number Publication Date
CN106973284A true CN106973284A (zh) 2017-07-21

Family

ID=54251973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610848755.6A Pending CN106973284A (zh) 2015-09-24 2016-09-23 用于飞行器具的虚拟窗口

Country Status (3)

Country Link
US (1) US20170094167A1 (zh)
EP (1) EP3148188A1 (zh)
CN (1) CN106973284A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111746797A (zh) * 2019-03-29 2020-10-09 B/E航空公司 用于向交通工具乘客提供姿态参考的设备和方法
CN111746796A (zh) * 2019-03-29 2020-10-09 B/E航空公司 提供用于交通工具乘客的姿态参考的装置和方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824889B2 (en) 2014-06-13 2020-11-03 Rockwell Collins, Inc. Passenger rest compartments for remote aircraft spaces
US10909397B2 (en) 2014-06-13 2021-02-02 B/E Aerospace, Inc. Aircraft suite including main cabin compartment and lower lobe rest compartment
US11956414B2 (en) 2015-03-17 2024-04-09 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
US20210335483A1 (en) * 2015-03-17 2021-10-28 Raytrx, Llc Surgery visualization theatre
EP3148186A1 (en) 2015-09-24 2017-03-29 Airbus Operations GmbH Virtual windows for airborne vehicles
US10214287B2 (en) * 2016-02-26 2019-02-26 The Boeing Company Vehicle cabin wayfinding assembly
EP3296204B1 (en) * 2016-09-20 2019-06-26 Airbus Operations GmbH Visual output assembly for aircraft cabin
US20180352196A1 (en) * 2017-06-05 2018-12-06 Te Connectivity Corporation Aircraft display system having a virtual window
WO2018232050A1 (en) * 2017-06-14 2018-12-20 Dpa Ventures, Inc. Artificial window system
US10427792B1 (en) 2018-04-01 2019-10-01 The Boeing Company Vehicle with a simulated window feature
US11235852B2 (en) 2018-09-10 2022-02-01 B/E Aerospace, Inc. Bidirectional hatch for passenger rest compartment
US11447250B2 (en) 2018-09-10 2022-09-20 Rockwell Collins, Inc. Optimized configuration for lower lobe passenger rest cabins
US11167850B2 (en) 2018-09-10 2021-11-09 Rockwell Collins, Inc. Passenger friendly overhead rest cabin configuration
US11136137B2 (en) * 2018-09-10 2021-10-05 Rockwell Collins, Inc. Non-intrusive passenger rest cabin monitoring system
KR102161918B1 (ko) * 2019-06-03 2020-10-05 김근형 항공기의 비행 중 외부 전경 콘텐츠 제공 장치
DE102019122729A1 (de) * 2019-08-23 2021-02-25 Bayerische Motoren Werke Aktiengesellschaft Außensicht-Darstellung auf einer Interieurfläche eines Kraftfahrzeugs
US11094128B2 (en) * 2019-10-08 2021-08-17 Panasonic Avionics Corporation Utilizing virtual reality and hi-definition camera technology to allow passengers to experience flight path
DE102020113157A1 (de) 2020-05-14 2021-11-18 Motherson Innovations Company Limited Bilddatenverarbeitungseinheit, Anzeigesystem und Verfahren zur Visualisierung der Umgebung eines Fahrzeugs
CN115942068B (zh) * 2023-02-27 2023-11-07 蔚来汽车科技(安徽)有限公司 用于生成虚拟现实素材的方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913325A1 (en) * 1997-10-30 1999-05-06 Ioannis Vassilios Constantopoulos Passenger aircraft
JP2000350195A (ja) * 1999-06-04 2000-12-15 Mitsubishi Heavy Ind Ltd 航空機の仮想窓形成装置
CN1299564A (zh) * 1998-06-20 2001-06-13 克里斯托夫·格罗斯曼 用于自动立体成象的方法和装置
CN101518095A (zh) * 2006-09-15 2009-08-26 三星电子株式会社 具有改善的分辨率的多视角自动立体显示器
US20100188506A1 (en) * 2009-01-28 2010-07-29 Honeywell International Inc. Synthetic window for limited visibility vehicles
US20120229462A1 (en) * 2008-11-07 2012-09-13 Dimension Technologies, Inc. Image Data Placement Method for a Time Multiplexed Autostereoscopic Display
US20130169807A1 (en) * 2011-12-23 2013-07-04 Embraer S.A. Virtual window for aircraft
CN103793049A (zh) * 2012-10-26 2014-05-14 波音公司 虚拟现实显示系统
US20140160285A1 (en) * 2012-12-06 2014-06-12 Airbus Operations (Sas) Aircraft fuselage including a window equipped with a system for displaying images of the outside environment
CN103905794A (zh) * 2014-04-10 2014-07-02 哈尔滨飞机工业集团有限责任公司 一种机载3d实时航空观景系统
EP2851281A1 (en) * 2013-09-19 2015-03-25 Airbus Operations GmbH System and method for interactive visualization of information in an aircraft cabin

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6759998B2 (en) 2001-10-19 2004-07-06 Intel Corporation Method and apparatus for generating a three-dimensional image on an electronic display device
US7088310B2 (en) 2003-04-30 2006-08-08 The Boeing Company Method and system for presenting an image of an external view in a moving vehicle
GB2403367A (en) * 2003-06-28 2004-12-29 Sharp Kk Multiple view display
DE102004027334A1 (de) 2004-06-02 2005-12-29 X3D Technologies Gmbh Navigationssystem
JP2007300463A (ja) * 2006-05-01 2007-11-15 Opt Kk カメラ装置および画像処理方法
US8315762B2 (en) * 2007-04-30 2012-11-20 Thales Avionics, Inc. Server design and method
US8287127B2 (en) * 2009-04-03 2012-10-16 Seiko Epson Corporation Aerial three-dimensional image display systems
EP2290969A4 (en) * 2009-05-12 2011-06-29 Huawei Device Co Ltd TELEPRESENCE SYSTEM, METHOD AND VIDEO CAPTURE DEVICE
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
DE102011077421A1 (de) * 2011-06-10 2012-12-13 Airbus Operations Gmbh Verfahren und Vorrichtung zum Darstellen von Informationen mittels eines autostereoskopischen 3D-Displays in einer Passagierkabine eines Luft- oder Raumfahrzeuges
US9565414B2 (en) * 2013-05-24 2017-02-07 Disney Enterprises, Inc. Efficient stereo to multiview rendering using interleaved rendering
US9749542B2 (en) * 2013-05-28 2017-08-29 Mitsubishi Electric Corporation Decoder and monitor system
US10089544B2 (en) * 2014-06-13 2018-10-02 B/E Aerospace, Inc. Apparatus and method for providing attitude reference for vehicle passengers
CN110316381B (zh) * 2014-06-13 2023-05-30 Be航天公司 为车辆乘客提供姿态参照的装置和方法
US9378543B2 (en) * 2014-07-28 2016-06-28 Disney Enterprises, Inc. Temporally coherent local tone mapping of high dynamic range video
US10259580B2 (en) * 2015-05-07 2019-04-16 The Boeing Company Airplane cabin panoramic view system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913325A1 (en) * 1997-10-30 1999-05-06 Ioannis Vassilios Constantopoulos Passenger aircraft
CN1299564A (zh) * 1998-06-20 2001-06-13 克里斯托夫·格罗斯曼 用于自动立体成象的方法和装置
JP2000350195A (ja) * 1999-06-04 2000-12-15 Mitsubishi Heavy Ind Ltd 航空機の仮想窓形成装置
CN101518095A (zh) * 2006-09-15 2009-08-26 三星电子株式会社 具有改善的分辨率的多视角自动立体显示器
US20120229462A1 (en) * 2008-11-07 2012-09-13 Dimension Technologies, Inc. Image Data Placement Method for a Time Multiplexed Autostereoscopic Display
US20100188506A1 (en) * 2009-01-28 2010-07-29 Honeywell International Inc. Synthetic window for limited visibility vehicles
US20130169807A1 (en) * 2011-12-23 2013-07-04 Embraer S.A. Virtual window for aircraft
CN103793049A (zh) * 2012-10-26 2014-05-14 波音公司 虚拟现实显示系统
US20140160285A1 (en) * 2012-12-06 2014-06-12 Airbus Operations (Sas) Aircraft fuselage including a window equipped with a system for displaying images of the outside environment
EP2851281A1 (en) * 2013-09-19 2015-03-25 Airbus Operations GmbH System and method for interactive visualization of information in an aircraft cabin
CN103905794A (zh) * 2014-04-10 2014-07-02 哈尔滨飞机工业集团有限责任公司 一种机载3d实时航空观景系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111746797A (zh) * 2019-03-29 2020-10-09 B/E航空公司 用于向交通工具乘客提供姿态参考的设备和方法
CN111746796A (zh) * 2019-03-29 2020-10-09 B/E航空公司 提供用于交通工具乘客的姿态参考的装置和方法
CN111746797B (zh) * 2019-03-29 2023-12-08 B/E航空公司 用于向交通工具乘客提供姿态参考的设备和方法
CN111746796B (zh) * 2019-03-29 2024-04-26 B/E航空公司 提供用于交通工具乘客的姿态参考的装置和方法

Also Published As

Publication number Publication date
EP3148188A1 (en) 2017-03-29
US20170094167A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
CN106973284A (zh) 用于飞行器具的虚拟窗口
CN106559651B (zh) 飞行器的虚拟窗户
US9762895B1 (en) Dual simultaneous image presentation for a three-dimensional aviation display
US8576286B1 (en) Display system
US9996754B2 (en) Apparatus and method for providing attitude reference for vehicle passengers
EP3090947A1 (en) Airplane cabin panoramic view system
CN108028915A (zh) 用于产生环绕视图的系统和方法
EP2852145B1 (en) Provision of stereoscopic video camera views to aircraft passengers
EP2336027A1 (en) Method and system for enhanced vision in aerial refuelling operations
EP2336028A1 (en) Improved method and system for enhanced vision in aerial refueling operations
US9684166B2 (en) Motor vehicle and display of a three-dimensional graphical object
US7301510B2 (en) Methods and apparatus for reducing frame violations in a stereoscopic display
US10558056B2 (en) Stereoscopic image display device and stereoscopic image display method
CN105991972A (zh) 航拍系统
US20190228245A1 (en) Apparatus and Method for Providing Attitude Reference for Vehicle Passengers
CN113038116B (zh) 一种空中加受油模拟训练视景系统
CN103905794A (zh) 一种机载3d实时航空观景系统
CA3018454C (en) Camera-based display method and system for simulators
EP3716615A1 (en) Apparatus and method for providing attitude reference for vehicle passengers
EP2175661A1 (en) Method and apparatus for producing a visual representation of a region
CA3018465C (en) See-through based display method and system for simulators
US10567743B1 (en) See-through based display method and system for simulators
EP3716616B1 (en) Apparatus and method for providing attitude reference for vehicle passengers
US20240104823A1 (en) System and Method for the 3D Thermal Imaging Capturing and Visualization
EP4125270A1 (en) Device and method to calibrate parallax optical element

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170721

WD01 Invention patent application deemed withdrawn after publication