CN109896028A - 连接飞机的集成成像系统 - Google Patents

连接飞机的集成成像系统 Download PDF

Info

Publication number
CN109896028A
CN109896028A CN201811491536.2A CN201811491536A CN109896028A CN 109896028 A CN109896028 A CN 109896028A CN 201811491536 A CN201811491536 A CN 201811491536A CN 109896028 A CN109896028 A CN 109896028A
Authority
CN
China
Prior art keywords
image stream
aircraft
camera
imaging system
integrated imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811491536.2A
Other languages
English (en)
Inventor
T·斯凯利
J·M·麦基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockwell Collins Inc
Original Assignee
Rockwell Collins Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockwell Collins Inc filed Critical Rockwell Collins Inc
Publication of CN109896028A publication Critical patent/CN109896028A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/0015—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems
    • B64D45/0051—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems by monitoring passengers or crew on aircraft
    • B64D45/0053—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems by monitoring passengers or crew on aircraft using visual equipment, e.g. cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/0015—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems
    • B64D45/0051—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems by monitoring passengers or crew on aircraft
    • B64D45/0056—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems by monitoring passengers or crew on aircraft detecting passenger or crew behavior by sensors, e.g. biometrics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/0015—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems
    • B64D45/0059—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems by communicating emergency situations to ground control or between crew members
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • B64D11/06—Arrangements of seats, or adaptations or details specially adapted for aircraft seats
    • B64D11/062—Belts or other passenger restraint means for passenger seats
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • B64D2011/0038—Illumination systems for cabins as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请公开了一种连接飞机的集成成像系统，该集成成像系统包括安装在飞机的乘客隔舱内以及其他内部和外部区域的相机。每个相机可以具有特定的视场(FOV)，该视场可以包括飞机内的一个或多个限定区。每个相机可以捕获包括乘客、座椅和/或相机的FOV内的直接观察的图像流。该系统包括用于接收原始图像流并组装加强图像流的图像处理器，例如，通过将来自相同区内或来自不同区的图像流拼接在一起或合成，或者通过将图像流与相关环境数据重叠来组装加强图像流。加强或合成图像流可以被无线地发送到固定安装或移动显示设备(例如，平板电脑、智能电话)以供机舱工作人员观察，机舱工作人员可以通过显示设备滚动或选择飞机的不同视图。

Description

连接飞机的集成成像系统
背景技术
商用飞机的乘客隔舱内的某些座椅可以被指定用于飞行乘务员和机组成员。一旦飞机到达安全的巡航高度或飞行段，机组成员可以在整个机舱内移动时直接监控任何乘客的保安和安全问题。例如，理查德·里德(Richard Reid)在乘坐美国63号航班时被机舱工作人员检测到隐藏在他鞋子里的爆炸物而遭到阻碍。然而，在滑行、起飞和着陆(TTL)程序期间，机舱工作人员必须在安全就坐并受约束(例如，系安全带)的位置处监控机舱和指定座椅的乘客的安全性。联邦航空指南规定，每个这样的指定座椅提供占用机组成员负责的机舱区域的直接观察。在实践中，这意味着每个机组成员必须(从就坐并系安全带的位置)与机舱区域(以及乘客的最小百分比)和主要过道直接视觉接触，以便工作人员了解与乘客安全相关的任何新出现的需求或问题。
虽然机舱工作人员应该接近紧急出口，但是由机组成员监督的疏散或其他紧急程序是必要的，直接观察可能是这些程序成功或失败的关键因素。例如，1985年英国航空公司在曼彻斯特(Manchester)机场发生的事故中(由于飞机起飞时发动机故障导致飞机外部和内部发生灾难性火灾)，前方机组成员的TTL直视位置受到厨房舱壁的阻碍。这使得工作人员监控机舱状况和疏散飞机的能力受挫，导致无法通过有限的出口(其中一些被烟雾和/或火灾阻挡)迅速撤离的乘客吸入烟雾而造成大量人员伤亡。此外，现代和下一代商用机舱内部可以提供额外的座椅类别或设施，并且因此可以提供额外的隔板或舱壁，其中任何一个都可能通过阻碍工作人员的视线而妨碍直接观察要求。例如，经济机舱可以进一步划分为标准经济区和高端经济区。在某些情况下，可以进一步划分或封闭商务舱或头等舱座椅以加强隐私。所述隔板、舱壁和墙壁的高度可直接阻碍机舱工作人员在就坐并系安全带的位置处的视线，即使隔板仅是临时性的，例如，用于分开高级舱座椅和经济舱座椅的窗帘。虽然这些窗帘可以在TTL阶段打开，但是加强隐私区和隔舱可以包括不透明的地板到天花板隔板而不是窗帘，并且因此可能无法提高可视性。如果机舱工作人员座椅位于机舱前部(例如，以最大化沿大致向后方向的机舱和过道的直接观察)，并且这种高级或加强隐私座椅直接位于机舱工作人员座椅的后面(例如，在工作人员座椅和经济机舱座椅之间)，则尤其如此。
发明内容
在一个方面，本文公开的发明构思的实施例涉及一种用于连接飞机的集成成像系统。该系统包括安装在飞机的机舱内部的相机。每个相机可以具有特定的视场(FOV)，视场可以包括飞机内的一个或多个限定区。每个相机可以捕获包括相机的FOV内的座椅、过道和乘客的图像流。该系统包括用于接收图像流并组装加强图像流的处理器，例如，通过在整个飞机内将来自相同区域内或来自不同区域的图像流拼接在一起或合成该图像流，或者通过将图像流与相关环境数据重叠来组装加强图像流的处理器。加强或合成图像流可以无线传输或者通过电缆或其他物理链路发送到固定安装或移动显示设备(例如，平板电脑、智能电话)以供机舱工作人员观察。
附图说明
当考虑下面的详细描述时，可以更好地理解本文公开的发明构思的实施方式。这样的描述参考所包括的附图，这些附图不一定按比例绘制，并且为了清楚起见，其中一些特征可以被放大并且一些特征可以被省略或者可以被示意性地表示。附图中相同的附图标记可以表示和指代相同或相似的元件、特征或功能。在附图中：
图1示出了根据本文公开的发明构思的系统的示例性实施例；以及
图2A示出了图1的系统；
图2B示出了图2A的系统；
图3A是图2B的系统的示意图；
图3B是图3A的系统的示意图；
图4示出了图3B的系统的移动设备；以及
图5示出了图3B的系统。
具体实施方式
在详细解释本文公开的发明构思的至少一个实施例之前，应该理解本发明构思不限于其应用于在以下描述中阐述的或在附图中示出的部件或步骤或方法的构造和布置的细节。在本发明构思的实施例的以下详细描述中，阐述了许多具体细节以便提供对本发明构思的更透彻的理解。然而，对于受益于本公开的本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本文公开的发明构思。在其他情况下，可能未详细描述公知的特征以避免使本公开不必要地复杂化。本文公开的发明构思能够具有其他实施例，或者能够以各种方式实践或实施。而且，应该理解本文采用的措辞和术语是为了描述的目的，不应该被认为是限制性的。
如本文所使用的，附图标记后面的字母旨在参考可以与先前描述的具有相同附图标记的元件或特征相似但不一定相同的特征或元件的实施例(例如，1、1a、1b)。这些简写符号仅为了方便，并且不应被解释为以任何方式限制本文公开的发明构思，除非明确地说明。
此外，除非明确地说明，否则“或”是指包含性的或不是排他性的。例如，以下任何一个条件满足条件A或B：A为真(或存在)且B为假(或不存在)，A为假(或不存在)且B为真(或存在)，A和B都为真(或存在)。
另外，使用“一”或“一个”来描述本发明构思的实施例的元件和部件。这样做仅仅是为了方便并且给出一般意义上的发明构思，并且“一”和“一个”旨在包括一个或至少一个，并且该单数也包括复数，除非其意义是显而易见的。
最后，如本文所使用的，对“一个实施例”或“一些实施例”的任何引用意味着结合该实施例描述的特定元件、特征、结构或特性包括在本文公开的发明构思的至少一个实施例中。在说明书中的各个地方出现的短语“在一些实施例中”不一定都指代相同的实施例，并且所公开的发明构思的实施例可以包括本文明确描述或固有存在的一个或多个特征，或两个或多个这样的特征的子组合的任何组合，以及在本公开中可能未必明确描述或固有存在的任何其他特征。
概括地说，本文公开的发明构思的实施例涉及一种用于加强连接飞机上的直接观察能力的集成成像系统。所公开的系统的目的是最大化机舱工作人员从就坐并系安全带的位置可见的乘客、座椅、过道以及其他相关因素的比例(而不是仅仅满足最小直接观察要求)，而不增加机组成员或移除创收(revenue-generating)座椅。此外，该系统可以通过提供对不在其特定视线内的视图和视角的访问来加强每个单独的机组成员的直接观察能力。此外，该系统可以考虑可能阻碍物理视线的附加隔板和舱壁，并且为飞机的两侧提供相同的直接观察能力。最后，系统可以通过基于地面的控制设施提供集中的远程直接观察辅助。
参见图1，根据本文公开的发明构思的集成成像系统100(IIS)的示例性实施例可以包括一个或多个相机102、104、106，该相机安装在飞机114的内部机舱的各个区(例如，头等舱区108、商务舱区110、经济舱区112)内。例如，飞机114可以包括任何尺寸的商用飞机，其受到法规限制要求在滑行、起飞和着陆(TTL)程序期间，机舱工作人员116在从就坐、系安全带的位置(例如，在指定的机舱工作人员座椅中)的直接观察中保持最小比例的乘客118、飞机座椅120和/或过道122。
在TTL程序期间，当机舱工作人员116坐在其指定的机舱工作人员座椅中并系安全带时，相机102、104、106可以通过安装在靠近机舱工作人员座椅的固定方位(例如，前舱壁126)中的监视器124提供机舱工作人员116可见的内部机舱(例如，乘客118、飞机座椅120和过道122)的视图。固定安装监视器124可以安装在任何机舱工作人员座椅附近(机组成员可以在TTL程序期间驻留在机舱工作人员座椅)，或者安装在驾驶舱(未示出)内以显示给指挥人员。例如，相机102、104和106可以捕获分别对应于头等舱区108、商务舱区110和经济舱区112的图像流。机舱工作人员116的每个成员可以看到对应于特定区的图像流，或者可以将图像流集中处理成所有机舱工作人员可访问的加强视频流，而不管它们在飞机114内的位置。IIS 100可以通过由机舱工作人员116的成员保持的移动设备128(例如，平板电脑、智能电话或其他便携式计算或通信设备)来提供所捕获的图像流的显示。例如，机组成员可以通过他/她的移动设备128经由无线连接访问捕获的图像流或增强图像流，并且能够经由移动设备128操纵所显示的图像(例如，滚动来自多个相机102、104、106的流；选择要观看的特定图像流或相应区；摇摆(pan)或缩放特定的相机；放大显示的图像；通过显示的图像访问乘客细节或附加的环境数据)。机舱工作人员116或指挥人员可以通过固定安装监视器124或移动设备128，或者通过飞机114的任何其他适当的命令和控制接口来激活IIS 100以进行直接观察，或者启用IIS的直接观察模式。
现在参考图2A，系统100a可以与图1的IIS 100类似地被实现和起作用，除了IIS100a可以定向相机102、104、106以便最大化每个相机的相应视场102a、104a、106a(FOV)的覆盖范围之外。例如，相机102、104、106中的一个或多个可以被定向在大致横向的方向上(例如，横向、正交，或以其他方式与飞机114的纵向(滚动)轴线成角度)，与每个机组成员从就坐并系安全带的位置(例如，在最低限度的头部运动的情况下大致纵向方向观察)直接可见的并且仅由该特定机组成员可见的相应视场130a-130c相比，大大增加了机舱工作人员116a-116c直接观察的每个区108、110、112(图1)的部分。此外，通过固定安装监视器124和/或连接的移动设备128(图1)，机组成员116a(在头等舱区108中就座并系安全带)除了访问由相机102捕获的头等舱区的图像流之外，还可以对由相机104、106捕获的区110、112的图像流进行直接观察访问。相机102、104、106可以由指挥人员或机舱工作人员116a-116c部分或完全控制(例如，通过摇摆相机以转移其视场，或缩放相机以更仔细地检查在图像流中捕获的乘客118)。每个相机102、104、106可以与在TTL飞行段期间被认证用于直接观察操作的默认配置和取向相关联。例如，当启动直接观察操作时(例如，当IIS 100a被激活或直接观察模式被启用时)，在整个TTL阶段(或直到停用直接观察模式)，相机102、104、106可以恢复到其认证的配置和取向(例如，方向、焦点、设置)。类似地，IIS 100a可以连接到飞机114的内部照明系统，例如主机舱照明系统或补充LED照明系统。例如，当启动直接观察操作或激活IIS 100a时，可以优化机舱内部照明(例如，通过调节一个或多个机舱照明元件的亮度和/或取向)以强调图像清晰度。例如，可以优化(手动或自动)机舱照明，以在人眼观察时提供最大清晰度，以便促进机舱机组成员116a-116c的直接观察或防止对相机102、104、106的干扰(例如，通过防止与LED机舱照明相关的频率干扰或“掩盖(whiting out)”视频捕获或显示设备)。可替代地，与特定区108、110、112或FOV 102a、104a、106a相关联的机舱照明或机舱照明元件可以优化亮度或取向，以在由相关联的相机102、104、106观察时提供最大清晰度。
IIS 100a可以包括安装在飞机的其他内部区域或外部表面内并捕获其他内部区域或外部表面的直接观察的相机。例如，IIS 100a可以捕获(并通过固定安装监视器124和/或移动设备128向机舱工作人员116a-116c显示)货物隔舱、厨房区域、工作人员休息区域，以及飞机的其他远程区域(例如，主机舱、货物隔舱、休息区域的远程区域，以及飞机内部的机舱工作人员不能直接看到的其他部分)的图像流。类似地，IIS 100a可以包括安装到飞机的外部表面的相机，以监视例如货舱门或控制表面。内部相机(诸如相机106)可以被定位和定向，以便通过飞机114的一个或多个窗口114a捕获包括飞机的发动机132的图像流。以这种方式，相机106可以帮助在起飞期间快速检测发动机132的故障(例如，与上述曼彻斯特机场事故相关联的发动机故障)。另外，如果由相机106生成的图像流指示FOV 106a内的大量乘客沿发动机132的方向向窗外看，则这可能表示发动机132存在潜在问题，即使相机106对该潜在问题不直接可见。相机102、104、106中的一个或多个可以包括红外(IR)-光谱(NIR、SWIR、LWIR)热成像仪，以用于捕获外部表面、货物隔舱，以及飞机114的其他区域的热特性(除可见光图像外)(例如，包括发动机132的异常热特性可以指示潜在的问题)。
现在参考图2B，IIS 100b可以与图2A的IIS 100a类似地被实现和起作用，除了IIS100b可以是包括一个或多个可部署相机134的高隐私系统之外。例如，在TTL程序期间，当需要直接观察乘客118和座椅区域120时(例如，当IIS 100b被激活或直接观察模式被启用时)，可部署相机134可以以明显且显眼的方式部署到活动位置或配置134a(例如，来自乘客服务单元136(PSU)或类似的头顶/内部固定装置或结构)，以用于直接观察飞机114的加强隐私部分中的乘客和座椅区域(图2A；例如，头等舱区108(图1))。当TTL程序完成时(例如，IIS100b被停用或解除直接观察模式)，可部署相机134可以显著地缩回到非活动位置或配置(例如，进入PSU 136)以便向占用乘客118强化与头等舱区108相关联的加强的隐私。类似于相机102、104、106(图1)，可部署相机134可以相对于水平方向以大致向下的FOV 134b定向。这可以增加相机134的直接观察内的乘客118和座椅区域120的比例。相比之下，在头等舱区108的前部的机组成员116a最多可以具有从就坐位置由与加强隐私座椅120相关联的舱壁和隔板126、138阻挡的直接观察130a。
参见图3A，IIS 100c可以与图2B的IIS 100b类似地被实现和起作用，除了IIS100c可以包括物理地或无线地连接到每个相机102、104、106、134的处理器140之外。处理器140可以从每个相机102、104、106、134接收原始图像流142以用于进一步处理；例如，处理器140可以通过组合由一个或多个相机102、104、106、134捕获的或者对应于飞机114(图1)的一个或多个区(图1；108、110、112)的一个或多个原始图像流142来生成加强图像流144。由处理器140生成的加强图像流144可以生成虚拟现实环境或增强现实环境，其中一个或多个原始图像流142可以组合成对应于整个飞机114(或其一个或多个区108、110、112)的合成呈现，并且可通过固定安装监视器124或移动设备128由机舱工作人员116(图1)导航，例如，机组成员可以滚动多个图像流或从图像流的选择中进行选择。包括虚拟现实环境或增强现实环境的加强图像流144可以与由IIS100c存储的环境数据146(例如，乘客数据、座椅数据、行李数据、对应于飞机114的三维图像)集成。除了固定安装显示单元124和移动设备128之外，IIS100c还可以包括将IIS 100c无线连接到基于地面的控制设施150的收发器148，以用于实时或接近实时地远程直接观察乘客机舱，以减少机舱工作人员116的工作量。IIS 100c可以包括记录设备，以用于记录和存储由每个相机102、104、106捕获的原始图像流，以及由IIS从原始图像流生成的任何加强图像流或增强/虚拟现实环境。记录设备可以合并到飞机上的IIS 100c中，或者图像流可以被转发到基于地面的控制设施150以进行远程记录和存储。基于通过固定安装显示单元124或移动设备128输入的控制输入152，机舱工作人员116可以部分或完全控制IIS 100c的一个或多个相机102、104、106、134。
现在参考图3B，IIS 100d可以与图3A的IIS 100c类似地被实现和起作用，除了IIS100d可以组合来自安装在飞机114的区Z1 108、Z2 110、Z3 112内的相机102、104、106a-106b的多个图像流142a-142d之外。机舱工作人员116(图1)可以经由移动设备128a-128b访问包含乘客机舱的多个直接观察的合成加强图像流144a-114b，或者访问包含来自单个区Z3 112的多个视图(由相机106a-106b捕获)的合成图像流144b，或者访问包含来自不同区Z1 108和Z2 110的多个视图(由相机102、104捕获)的合成图像流144a。
参见图4，移动设备128c可以与移动设备128(图1)和128a-128b(图3B)类似地被实现和起作用，除了移动设备128c(或固定安装显示单元124，图1)可以显示包含对应于飞机114(图3B)的增强现实环境的加强图像流144c之外。例如，加强图像流144c可以提供乘客118和乘客座椅120的直接观察，乘客118和乘客座椅120与对应于每个被占用(或未被占用)座椅的标签154重叠。机舱工作人员116(图1)的成员可以通过点击、敲击或以其他方式与标签154交互，以访问关于座椅120和/或其占用乘客118的额外环境数据146a(例如，乘客的姓名、相应的身份证照片、连接信息、托运行李、饮食或其他特殊需要、健康考虑因素)。加强图像流144c可以指示(156)飞机114内的附加相机的方位，使得机组成员可以在加强图像流之间切换，例如通过敲击或点击相机指示器156。此外，加强图像流144c可以链接到机载传感器，该机载传感器被配置为提供额外的乘员数据，例如座椅中的重量传感器以指示座椅或模块是否被占用、线束传感器以指示安全带或安全线束是否被紧固，或热成像仪，热成像仪被配置为确定加强隐私套件、远程区域或隔舱是否被占用(例如，不必提供占用乘客的视觉图像)。例如，基于累积的乘客数据，IIS 100d(图3B)可以决定对已经紧固其安全带的乘客占用给定的加强隐私隔舱、远程区域或隔舱的足够高的置信度。
参见图5，IIS 100e可以与图3B的IIS 100d类似地被实现和起作用，除了IIS 100e可以包括结合到乘客服务单元136(PSU)或其支撑结构或轨道中的一个或多个相机158之外。例如，IIS 100e可以集成到“智能PSU”系统中或与之通信，由此可控制相机158和IIS100e的其他相机以捕获飞机114(图3B)上的行李架(overhead bins)160的图像流142(图3A)。例如，相机158可以捕获原始图像流142(图3A)，并且IIS 100e可以组装与相机158相对的行李架160(包括所述行李架的内容，取决于行李架是打开还是关闭)的合成或加强图像流144(图3A)。
应该理解的是，根据本文公开的发明构思的方法的实施例可以包括本文描述的一个或多个步骤。此外，这些步骤可以以任何期望的顺序进行，并且两个或多个步骤可以彼此同时进行。本文公开的两个或多个步骤可以组合成单个步骤，并且在一些实施例中，一个或多个步骤可以作为两个或更多个子步骤进行。此外，除了本文公开的一个或多个步骤之外或作为其替代，可以进行其他步骤或子步骤。
从以上描述中，显然本文公开的发明构思非常适于实现目标并获得本文提及的优点以及本文公开的发明构思中固有的优点。尽管出于本公开的目的描述了本文公开的发明构思的当前优选实施例，但是应该理解，可以进行许多改变，这些改变对于本领域技术人员来说是显而易见的，并且这些改变可以在本文公开和要求保护的发明构思的广泛范围和覆盖范围内完成。

Claims (20)

1.一种连接飞机的集成成像系统，其包括：
多个相机，其安装在飞机内部环境内，所述飞机包括至少一个区，每个相机与至少一个视场即FOV相关联并且被配置为捕获对应于所述FOV的至少一个图像流，所述图像流与所述至少一个区和位于所述至少一个区域内的多个乘客相关联；
至少一个处理器，其耦合到所述多个相机并被配置为：
从所述多个相机接收所述至少一个图像流；以及
基于至少一个接收的图像流生成至少一个加强图像流；以及
至少一个显示单元，其耦合到所述至少一个处理器，并被配置为向至少一个用户显示所述图像流和所述加强图像流中的至少一个。
2.根据权利要求1所述的集成成像系统，其中所述至少一个加强图像流基于以下中的一个或多个：
与第一区相关联的第一图像流，以及
与所述至少一个区相关联的第二图像流；和
与至少一个第二区相关联的第三图像流。
3.根据权利要求1所述的集成成像系统，其中所述至少一个显示单元包括以下中的至少一个：
第一显示单元，当所述至少一个用户在就坐并系安全带位置中占用机舱工作人员座椅时可见所述第一显示单元；以及
第二显示单元，其安装在所述飞机的驾驶舱内。
4.根据权利要求1所述的集成成像系统，其中所述至少一个显示单元包括至少一个移动设备，所述至少一个移动设备无线耦合到所述至少一个处理器。
5.根据权利要求1所述的集成成像系统，其中所述至少一个显示单元被配置为从所述至少一个用户接收控制输入。
6.根据权利要求5所述的集成成像系统，其中：
所述多个相机包括至少一个第一移动相机，所述至少一个第一移动相机可调节地安装到所述内部环境中；以及
所述至少一个第一移动相机被配置为响应于所接收的控制输入执行旋转、摇摆和缩放中的至少一个。
7.根据权利要求5所述的集成成像系统，其中所述至少一个显示单元被配置为响应于所接收的控制输入来操纵至少一个显示加强图像流。
8.根据权利要求7所述的集成成像系统，其中对所述至少一个显示加强图像流的所述操纵包括：
基于相关联的FOV、相关联的区和相关联的相机中的一个或多个来选择第一加强图像流。
9.根据权利要求1所述的集成成像系统，其中所述多个相机包括与以下中的至少一个相关联的至少一个第一相机：
基本正交于所述飞机纵向轴线的横向取向；和
向下的取向。
10.根据权利要求1所述的集成成像系统，其中所述一个或多个区包括以下中的至少一个：
所述飞机的货物隔舱；
所述飞机的厨房区域；
所述飞机的工作人员休息区域；
所述飞机的远程区域；
所述飞机的发动机；以及
所述飞机的外部环境。
11.根据权利要求1所述的集成成像系统，其中所述多个相机包括以下中的至少一个：
安装在所述飞机的外部表面的外部相机；
热成像设备；以及
红外图像传感器即IR图像传感器。
12.根据权利要求1所述的集成成像系统，进一步包括：
至少一个收发器，其耦合到所述至少一个处理器，并且被配置为将所述至少一个图像流和所述至少一个加强图像流中的一个或多个无线传输到接近基于地面的控制设施的至少一个第三显示单元。
13.根据权利要求1所述的集成成像系统，其中：
所述至少一个加强图像流包括增强现实环境和虚拟现实环境中的至少一个；
所述至少一个处理器包括至少一个存储器，所述至少一个存储器被配置为存储与所述飞机、所述一个或多个区和所述多个乘客中的至少一个相关联的环境数据；
所述至少一个处理器被配置为基于所述环境数据和所述至少一个图像流生成所述增强现实环境。
14.根据权利要求13所述的集成成像系统，进一步包括：
至少一个非视觉传感器，其被配置为捕获所述环境数据，所述非视觉传感器被耦合到乘客座椅、乘客座椅安全带和乘客隔舱中的一个或多个。
15.根据权利要求1所述的集成成像系统，进一步包括：
至少一个记录设备，其被耦合到所述多个相机和所述至少一个处理器，所述记录设备被配置为存储所述至少一个图像流和所述至少一个加强图像流中的一个或多个。
16.根据权利要求1所述的集成成像系统，其中所述多个相机包括结合到所述飞机的乘客服务单元即PSU中的至少一个第二相机。
17.根据权利要求1所述的集成成像系统，其中所述系统被配置为由所述至少一个用户经由所述至少一个显示单元激活。
18.根据权利要求17所述的集成成像系统，其中：
所述系统电子耦合到与所述内部环境相关联的至少一个照明系统，所述照明系统包括一个或多个照明元件；以及
在激活所述系统时，所述照明系统被配置为调节所述一个或多个照明元件以优化所述至少一个图像流。
19.根据权利要求17所述的集成成像系统，其中：
所述多个相机包括与默认配置相关联的至少一个第二移动相机，所述默认配置包括默认取向和默认设置中的至少一个；以及
在激活所述系统时，所述至少一个第二移动相机被配置为恢复到所述默认配置。
20.根据权利要求19所述的集成成像系统，其中：
所述至少一个第二移动相机可缩回地设置在所述内部环境的固定装置内，并且与所述固定装置内的缩回位置和从所述固定装置延伸的活动位置中的一个或多个相关联，所述活动位置对应于所述默认配置。
CN201811491536.2A 2017-12-08 2018-12-07 连接飞机的集成成像系统 Pending CN109896028A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/836,773 US20190177004A1 (en) 2017-12-08 2017-12-08 Integrated Imaging System for a Connected Aircraft
US15/836,773 2017-12-08

Publications (1)

Publication Number Publication Date
CN109896028A true CN109896028A (zh) 2019-06-18

Family

ID=64564716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811491536.2A Pending CN109896028A (zh) 2017-12-08 2018-12-07 连接飞机的集成成像系统

Country Status (3)

Country Link
US (1) US20190177004A1 (zh)
EP (1) EP3495275B1 (zh)
CN (1) CN109896028A (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3862275A3 (en) * 2017-03-06 2021-10-13 Safran Seats USA LLC Boarding guidance system
FR3065104B1 (fr) * 2017-04-07 2023-01-20 Zodiac Aerospace Systeme de suivi a distance d'une zone destinee a accueillir au moins un passager d'un avion et cabine d'avion equipee d'un tel systeme de suivi a distance.
US11579744B2 (en) * 2017-06-21 2023-02-14 Navitaire Llc Systems and methods for seat selection in virtual reality
DE202017107834U1 (de) * 2017-12-21 2018-01-12 Airbus Operations Gmbh System zur Überwachung einer Passagierkabine
DE102019204355A1 (de) * 2019-03-28 2020-10-01 Airbus Operations Gmbh Kameramodul und system zur überwachung einer passagierkabine eines luftfahrzeugs sowie luftfahrzeug
US10691955B1 (en) * 2019-04-02 2020-06-23 Boeing Company, The Aircraft cabin artificial intelligence crew assistance
US11347903B2 (en) * 2019-12-17 2022-05-31 The Boeing Company Passenger service unit placement layout system for aircraft
US11465746B2 (en) * 2020-02-17 2022-10-11 Jeff Johnson Method and apparatus for detecting seatbelt compliance in commercial passenger aircraft
US10864996B1 (en) * 2020-02-21 2020-12-15 Husam J. Abdalwahid Apparatus and method of monitoring and securing aircraft
US11640723B2 (en) 2020-10-20 2023-05-02 Rosemount Aerospace Inc. System and method for enhanced surveillance using video analytics
EP4071055A1 (en) * 2021-04-07 2022-10-12 B/E Aerospace, Inc. Virtual open sky in super first-class suites
US20230156055A1 (en) * 2021-11-17 2023-05-18 The Boeing Company System for Transferring Data from a Moving Vehicle to a Remote Monitoring Node
DE102022113261A1 (de) 2022-05-25 2023-11-30 Diehl Aerospace Gmbh Autarke Kameraüberwachung für eine Passagierkabine
US20240017828A1 (en) * 2022-07-14 2024-01-18 Rockwell Collins, Inc. System and method for augmented reality mobile device to select aircraft cabin display and video content for aircraft cabin

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100253781A1 (en) * 2009-04-07 2010-10-07 Sasson Shmuel System and a method for managing events
US20120307057A1 (en) * 2009-10-20 2012-12-06 Airbus Operations Gmbh Control apparatus for a cabin of an aircraft or spacecraft, cabin management system and method for controlling a cabin of an aircraft or spacecraft
WO2015155379A1 (en) * 2014-04-07 2015-10-15 Zodiac Aerotechnics Cabin monitoring system and cabin of aircraft or spacecraft
US20170316664A1 (en) * 2014-10-28 2017-11-02 Latecoere Method and system for monitoring and securing an enclosure of a vehicle, in particular of an aircraft

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6366311B1 (en) * 1996-10-11 2002-04-02 David A. Monroe Record and playback system for aircraft
US20030067542A1 (en) * 2000-10-13 2003-04-10 Monroe David A. Apparatus for and method of collecting and distributing event data to strategic security personnel and response vehicles
US7131136B2 (en) * 2002-07-10 2006-10-31 E-Watch, Inc. Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals
JP3809309B2 (ja) * 1999-09-27 2006-08-16 キヤノン株式会社 カメラ制御システム及びカメラ制御方法及び記憶媒体
US20020093564A1 (en) * 2001-01-12 2002-07-18 Danny Israel Digital camera network for commercial aircraft
US6824317B2 (en) * 2001-11-21 2004-11-30 Thales Avionics, Inc. Universal security camera
US20030117494A1 (en) * 2001-12-21 2003-06-26 Poblete Daniel Dante Airplane cbb/security camera system interface
US20030159143A1 (en) * 2002-02-21 2003-08-21 Peter Chan Systems and methods for generating a real-time video program guide through video access of multiple channels
EP1716308A4 (en) * 2004-02-17 2010-01-20 Thales Avionics Inc MULTI-CAMERA MONITORING SYSTEM AND METHOD FOR THE USE THEREOF
US7880767B2 (en) * 2005-08-22 2011-02-01 Andrew Chinigo Security system for mass transit and mass transportation
US8325232B2 (en) * 2005-09-12 2012-12-04 The Boeing Company Wireless camera surveillance system for an aircraft
FR2904506A1 (fr) * 2006-07-28 2008-02-01 Airbus France Sas Procede et dispositif de transmission d'image dans ou depuis un aeronef et aeronef comportant un tel dipositif
US7874744B2 (en) * 2007-09-21 2011-01-25 Seth Cirker Privacy ensuring camera enclosure
US7936285B2 (en) * 2008-06-18 2011-05-03 The Boeing Company Multipurpose information transfer medium eyepiece
FR2973344B1 (fr) * 2011-04-01 2013-11-29 Latecoere Aeronef pourvu d'un systeme de surveillance
US8849105B2 (en) * 2012-08-06 2014-09-30 EarthCam, Inc. In-ceiling or in-wall retracting camera platform system
EP3059722A1 (en) * 2015-02-20 2016-08-24 Airbus Group India Private Limited Management of aircraft in-cabin activities occuring during turnaround using video analytics
EP3439959B1 (en) * 2016-04-04 2021-08-04 B/E Aerospace, Inc. Aircraft passenger activity monitoring

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100253781A1 (en) * 2009-04-07 2010-10-07 Sasson Shmuel System and a method for managing events
US20120307057A1 (en) * 2009-10-20 2012-12-06 Airbus Operations Gmbh Control apparatus for a cabin of an aircraft or spacecraft, cabin management system and method for controlling a cabin of an aircraft or spacecraft
WO2015155379A1 (en) * 2014-04-07 2015-10-15 Zodiac Aerotechnics Cabin monitoring system and cabin of aircraft or spacecraft
US20170316664A1 (en) * 2014-10-28 2017-11-02 Latecoere Method and system for monitoring and securing an enclosure of a vehicle, in particular of an aircraft

Also Published As

Publication number Publication date
EP3495275B1 (en) 2022-09-21
EP3495275A1 (en) 2019-06-12
US20190177004A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
CN109896028A (zh) 连接飞机的集成成像系统
EP3090947B1 (en) Airplane cabin panoramic view system
US20170113801A1 (en) Cabin monitoring system and cabin of aircraft or spacecraft
US10723481B2 (en) Method and system for monitoring and securing an enclosure of a vehicle, in particular of an aircraft
US10733858B2 (en) Method and system for monitoring and securing an enclosure of a vehicle, in particular of an aircraft
US7180476B1 (en) Exterior aircraft vision system using a helmet-mounted display
US7936285B2 (en) Multipurpose information transfer medium eyepiece
US7302323B2 (en) Transportation data recording system
US6963292B1 (en) System and method for reporting emergencies from an aircraft
US20070252038A1 (en) Aerial Security and Control System
US20140176668A1 (en) Aircraft provided with a surveillance system
JP2018135087A (ja) 航空機の頭上荷物収納棚の使用のステータスを表示するためのシステム
WO2004030336A2 (en) Surveillance system for aircraft interior
CN102371948A (zh) 呈现车内图像的方法
US20060276943A1 (en) Systems and methods for data processing and control in a transportation system
US20090273487A1 (en) Apparatus for interconnecting a pilot station to at least one other aircraft zone, cockpit and aircraft equipped with such an apparatus
US20050225635A1 (en) Video based security system
US20190197748A1 (en) Systems and methods for in-flight virtual reality displays for passenger and crew assistance
US10380801B1 (en) Head wearable device, system, and method for displaying teamed asset information
US8194002B2 (en) Situational awareness components of an enhanced vision system
KR20230074255A (ko) 사람을 검색하기 위한 검색 장치 및 방법
EP2511894B1 (de) Verfahren zum Überwachen eines Luftraums um ein Luftfahrzeug
CN108074422B (zh) 用于分析机场处的转向的系统和方法
US11818821B2 (en) Autonomous light systems and methods for operating autonomous light systems
US20170195634A1 (en) Aircraft provided with a surveillance system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination