CN111183639A - 将合成图像与真实图像组合以进行运载工具操作 - Google Patents

将合成图像与真实图像组合以进行运载工具操作 Download PDF

Info

Publication number
CN111183639A
CN111183639A CN201880065422.3A CN201880065422A CN111183639A CN 111183639 A CN111183639 A CN 111183639A CN 201880065422 A CN201880065422 A CN 201880065422A CN 111183639 A CN111183639 A CN 111183639A
Authority
CN
China
Prior art keywords
image
user
video image
processor
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880065422.3A
Other languages
English (en)
Inventor
P·A·弗伊欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
L3 Technologies Inc
Original Assignee
L3 Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by L3 Technologies Inc filed Critical L3 Technologies Inc
Publication of CN111183639A publication Critical patent/CN111183639A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • B64D2011/0061—Windows displaying outside view, artificially generated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

各种显示系统可以受益于来自多个源的合成图像的组合。例如，用于运载工具操作的显示系统可以受益于将合成图像与真实图像组合。一种方法可以包括，由处理器基于用户的位置获取内部视频图像。该方法还可以包括，由处理器基于用户的位置获取外部视频图像。该方法可以进一步包括将内部视频图像和外部视频图像组合以形成用于用户的组合的单视图。该方法可以附加地包括向用户的显示器提供组合的单视图。

Description

将合成图像与真实图像组合以进行运载工具操作
背景：
领域：
各种显示系统可以受益于来自多个源的合成图像的组合。例如，用于运载工具操作的显示系统可以受益于将合成图像与真实图像组合。
背景技术
自20世纪20年代以来，飞机制造商已将仪器并入飞机，以允许飞机在有限或零能见度条件下操作。传统上，这些仪器位于仪表板上。因此，飞行员有必要从飞机的窗户向外看，以便使用仪器核实飞行状况。
最近，合成图像显示器在仪表板上示出了外部视图。此外，对于某些军用飞机，诸如F18，平视显示器(HUD)可以提供某些飞机参数(诸如姿态、高度等)的视觉显示。此外，在一些情况下，显示眼镜可以向用户提供类似HUD的图像。
安装HUD可能需要对飞机进行重大改装。某些安装通常必须是准向的，并且观察箱可能非常有限。合成图像显示要求飞行员在进场着陆时俯视仪表，并交叉检查挡风玻璃以找到跑道环境。图像的大小是有限的，并且飞行员的焦距必须从近到远、从后到近等改变。显示眼镜可能必须对图像进行准直，以创建与外部环境相同的焦距，否则图像可能会模糊。
发明内容
根据某些实施例，一种方法可以包括，由处理器基于用户的位置获取内部视频图像。该方法还可以包括，由处理器基于用户的位置获取外部视频图像。该方法可以进一步包括，将内部视频图像和外部视频图像组合以形成用于用户的组合的单视图。该方法可以附加地包括向用户的显示器提供组合的单视图。
在某些实施例中，一种装置可以包括至少一个处理器和包括计算机程序代码的至少一个存储器。该至少一个存储器和计算机程序代码可以被配置为与该至少一个处理器一起使该装置至少：基于用户的位置获取内部视频图像。该至少一个存储器和计算机程序代码还可以被配置为与该至少一个处理器一起使该装置至少：基于该用户的位置获取外部视频图像。该至少一个存储器和计算机程序代码可以进一步被配置为与该至少一个处理器一起使该装置至少：将内部视频图像和外部视频图像组合，以形成用于用户的组合的单视图。该至少一个存储器和计算机程序代码可以附加地被配置为与该至少一个处理器一起使该装置至少：向该用户的显示器提供组合的单视图。
在某些实施例中，一种设备可以包括，用于由处理器基于用户的位置获取内部视频图像的装置。该设备还可以包括，用于由处理器基于用户的位置获取外部视频图像的装置。该设备可以进一步包括，用于将内部视频图像和外部视频图像组合以形成用于用户的组合的单视图的装置。该设备可以附加地包括用于向用户的显示器提供组合的单视图的装置。
根据某些实施例，一种系统可以包括第一照相机，第一照相机被配置为提供用户的周围环境的近焦视图。该系统还可以包括第二照相机，第二照相机被配置为提供该用户的该周围环境的远焦视图。该系统可以进一步包括处理器，该处理器被配置为基于该近焦视图和该远焦视图提供该周围环境的组合视图。该系统可以附加地包括显示器，该显示器被配置为向该用户显示该组合视图。
附图说明
为了正确理解本发明，应参考附图，其中：
图1示出了根据本发明的某些实施例的标记。
图2示出了根据本发明的某些实施例的掩蔽区域的映射。
图3示出了根据本发明的某些实施例的显示眼镜。
图4示出了根据本发明的某些实施例的映射到窗户的合成图像。
图5示出了根据本发明的某些实施例的映射到窗户的照相机图像。
图6示出了根据本发明的某些实施例的系统。
图7示出了根据本发明的某些实施例的方法。
图8示出了根据本发明的某些实施例的进一步系统。
具体实施方式
本发明的某些实施例为由于遮蔽而遭遇有限可见性的运载工具(vehicle)操作员提供了机制、系统和方法，以保持对外部环境和运载工具仪表/内部的参考。这种遮蔽可能来自例如，云、烟、雾、夜、雪等。
某些实施例可以在挡风玻璃区域中，而不仅仅是在仪表板上显示合成图像。这种合成图像在飞行员看来可能比传统的合成图像更大。此外，飞行员可以能够避免或限制仪表板和挡风玻璃之间的交叉检查。
合成图像可以是全色的，并且可以包含所有主要特征。此外，仍然可以看到仪表板和内部。此外，可以避免准直光学器件。所有图像都可以在相同的焦距下呈现给用户。
某些实施例可以将合成图像与驾驶舱环境对齐。边缘和/或对象检测可以用于自动更新图像对齐。
某些实施例可以应用于飞行器，诸如飞机。然而，其他实施例可以应用于其他种类的运载工具，诸如船只、两栖运载工具(诸如气垫船)、轮式运载工具(诸如小汽车和卡车)、或履带运载工具(诸如雪地车)。
本发明的某些实施例可以提供用于将外部环境的实时合成图像与实时视频图像组合的设备和方法。如下将描述的，系统的一些组件可以包括系统处理器、标记和显示眼镜。
图1示出了根据本发明的某些实施例的标记。如图1所示，标记可以安装在驾驶舱内的固定位置。这些标记可以被选择为任何可识别形式的标记，诸如具有特定预定义几何形状、颜色、图案或反射率的标记。如所示，可以在整个驾驶舱的预定位置放置多个标记。使用驾驶舱的示例，但其他位置(诸如船舶或游艇的驾驶台或小汽车的驾驶座区域)也可以类似地被装备。标记可以定位在运载工具操作员(例如驾驶员)的整个视觉域中。因此，标记的位置可以被分配，使得至少一个标记通常将在运载工具操作期间在操作员的视场内可见。
图2示出了根据本发明的某些实施例的掩蔽区域的映射。如图2所示，掩蔽区域可以对应于驾驶舱区域内的挡风玻璃和其他窗户。
显示眼镜包含(多个)内置摄像机、红外发射器和三轴角速率陀螺仪。典型的应用是为了运载工具(诸如飞机或小汽车)。
图3示出了根据本发明的某些实施例的显示眼镜。如图3所示，(多个)摄像机可以面向前方安装在显示眼镜上，并且可以为近(内部)处理和远(外部)处理提供聚焦图像。
显示眼镜还可以包括红外(IR)发射器。IR发射器可以用来照亮标记，这些标记可以被设计成特别好地反射红外光。显示眼镜还可以包括速率陀螺仪或其他移动感测设备，诸如微机电传感器(MEMS)等。
图4示出了根据本发明的某些实施例的映射到窗户的合成图像。如图4所示，合成图像只能映射到掩蔽区域(诸如图2所示的那些掩蔽区域)。虽然示出了单个图像，但可选地，可以呈现立体图像，使得每只眼睛看到略有不同的图像。
图5示出了根据本发明的某些实施例的映射到窗户的照相机图像。如图4所示，照相机图像只能映射到掩蔽区域(诸如图2所示的那些掩蔽区域)。虽然示出了单个图像，但可选地，可以呈现立体图像，使得每只眼睛看到略有不同的图像。
图6示出了根据本发明的某些实施例的系统。如图6所示，该系统可以包括近焦(near focus)照相机和远焦(distance focus)照相机。虽然每个照相机只示出一个，但可以提供多个照相机，例如以提供立体图像或长焦(telephoto)选项。
该远焦照相机可以向外部图像掩蔽部分提供外部视频。外部图像掩蔽部分可以在处理器(诸如图形处理器)中实现。外部视频可以指与运载工具外部(诸如飞机的环境)相对应的视频。
该近焦照相机可以向内部图像掩蔽部分提供内部视频。内部图像掩蔽部分可以在处理器(诸如图形处理器)中实现。这可以是与外部视频掩蔽部分相同的处理器，也可以是不同的处理器。在某些情况下，系统可以包括多核处理器，并且内部图像掩蔽部分和外部图像掩蔽部分可以在多核处理器的不同核上的不同线程中实现。
内部视频可以指与运载工具内部(诸如飞机的驾驶舱)相对应的视频。内部视频也可以被提供给标记检测和定位部分。虽然没有示出，但外部视频也可以任选地被提供给该相同的标记检测和定位部分。如果外部视频的焦点被设置为比驾驶舱的内壁长，则外部视频可能对标记检测和定位没有那么有用，因为标记可能调焦不准。标记检测和定位部分可以在与上面讨论的那些处理器相同或不同的(多个)处理器中实现。可选地，该系统的每个处理部分可以在一个或多个处理器中实现，并且在此类处理器上的一个或多个线程中实现。为了便于阅读，本文中每个引用的“部分”都可以类似地单独具体化，或者与任何其他已标识的部分结合地具体化，即使当在下面的讨论中没有明确说明时。
三轴角速率陀螺仪或类似的加速度计(诸如MEMS设备)可以向积分角位移部分提供速率数据。该积分角位移部分还可以从时钟源接收时间数据。时钟源可以是本地时钟源、无线电时钟源或任何其他时钟源，诸如来自全球定位系统(GPS)源的时钟数据。
GPS和飞行数据可以作为输入提供给运载工具地理参考数据部分。运载工具地理参考数据部分可以提供关于飞机位置和取向的详细信息，包括诸如纬度、经度、高度、俯仰、横滚和航向之类的信息。信息可以包括这些的当前值，以及关于这些中的每一个的速率或加速度信息。
来自运载工具地理参考数据部分的信息可以被提供给外部合成图像生成器部分。外部合成图像生成器部分也可以接收来自合成图像数据库的数据。该合成图像数据库可以是本地的或远程的。可选地，本地的合成图像数据库可以存储关于飞机或其他运载工具的紧邻的数据。例如，一个小时或一个油箱(的行程)的距离的所有合成图像数据可以本地地存储，而附加的合成图像数据可以由飞机远程地存储并可检取。
运载工具地图数据库可以向帧内部掩蔽转换部分提供内部掩蔽数据。该运载工具地图数据库还可以向帧外部掩蔽转换部分提供外部掩蔽数据。运载工具地图数据库可以附加地向标记检测和定位部分以及用户观看方向部分提供标记定位。
可以使用一个或多个存储器实现运载工具地图数据库和合成图像数据库中的每一者或两者。存储器可以是任何形式的计算机存储设备，包括光学存储(诸如CD-ROM或DVD存储)、磁存储(诸如磁带驱动器或软盘存储)或固态存储(诸如闪存随机存取存储器(RAM)或固态驱动器(SSD))。任何非瞬态计算机可读介质都可以用来存储数据库。可以使用相同的或任何其他非瞬态计算机可读介质来存储计算机指令(诸如计算机命令)，以实现本文所述的各种计算部分。数据库存储可以从计算机命令存储分离或与计算机命令存储集成。可以采用存储器安全技术，诸如廉价磁盘冗余阵列(RAID)。存储器备份可以在本地执行，也可以在云系统中执行。虽然未示出，但系统的存储器可以与飞行记录器通信，并可以向飞行记录器提供系统的(多个)操作状态的详细信息。
标记检测和定位部分可以将基于近焦照相机和标记定位的信息提供给用户观看方向部分。用户观看方向部分还可以从积分角位移部分接收积分角位移数据。反过来，用户观看方向部分可以向帧内部掩蔽转换部分、帧外部掩蔽转换部分和外部合成图像生成器提供与用户正在观看的当前方向有关的信息。
帧内部掩蔽转换部分可以基于内部掩蔽数据和用户观看方向数据提供内部掩蔽转换数据。可以将内部掩蔽转换数据提供给内部图像掩蔽部分。内部图像掩蔽部分还可以从近焦照相机接收内部视频。内部图像掩蔽部分可以向内部外部图像组合器部分提供内部图像掩蔽数据。
外部合成图像生成器部分可以基于来自运载工具地理参考数据部分、合成图像数据库和用户观看方向部分的数据，向合成图像掩蔽部分提供外部合成图像。
合成图像掩蔽部分可以基于外部合成图像和帧外部掩蔽转换，创建掩蔽的合成图像数据，并将此类数据提供给外部图像混合部分。
外部图像掩蔽部分可以接收帧外部掩蔽转换数据和外部视频，并且可以创建掩蔽的外部图像。掩蔽的外部图像可以被提供给外部图像混合部分以及边缘/对象检测部分。边缘/对象检测部分可以向自动透明度部分提供输出，反过来，该自动透明度部分又可以向外部图像混合部分提供透明度信息。覆盖符号生成器部分可以向外部图像混合部分提供覆盖符号。
基于其多个输入，外部图像混合部分可以向内部外部图像组合器部分提供外部图像。内部外部图像组合器部分可以将内部和外部图像组合起来，并且可以将它们提供给显示眼镜。
因此，如从图6和上述讨论可以看出的，在特定实施例中的系统处理器可以包括运载工具地理参考数据、合成图像数据库、合成图像生成器和用于操纵和显示视频/图像数据的组件。
标记可以定位在运载工具的内部里面用户的正常视场内。标记可以是自然特征(诸如支撑柱)，或者可以是有意放置的基准点。可以在相对于内部的视觉障碍物的固定位置提供这些特征。图1提供了相同的示例标记的图示。
处理器可以在视频图像中定位标记，并且可以使用该信息来确定用户相对于运载工具结构的观看方向。用户的观看方向可以由于头部移动、座椅改变等而改变。
在安装期间，通过使用固定标记，可以相对于运载工具结构确定(多个)外部掩蔽和(多个)内部掩蔽。通常，该(多个)外部掩蔽可以是挡风玻璃和窗户，但是如果需要，可以任意地限定(多个)外部掩蔽。图2提供了外部掩蔽的示例。该(多个)内部掩蔽可以与该(多个)外部掩蔽相反。
因此，(多个)内部掩蔽通常可以是除窗户区域之外的所有东西。也可以任意地限定(多个)内部掩蔽。通常，(多个)内部掩蔽可以包括仪表板、控件和运载工具内部的其余部分。(多个)外部掩蔽、(多个)内部掩蔽和标记定位可以被存储在运载工具地图数据库中。
增强图像可以选择性地仅在(多个)外部掩蔽中显示，并且可以与用户的观看方向对齐。图像增强的级别可以从如图5所示的实时视频向如图4所示的完全合成图像或其任何组合变化。附加信息(诸如运载工具参数、障碍物和交通)也可以作为覆盖物包括在增强图像中。增强级别可以是自动的或用户选择的。
实时视频图像可以总是显示在(多个)内部掩蔽中，并且可以与用户的观看方向对齐。
处理器可以通过定位(多个)照相机图像帧中的(多个)固定标记来保持(多个)掩蔽相对于运载工具结构的取向和对齐。当用户的头部移动时，(多个)掩蔽可以在相反的方向移动。
用户的观看方向、地理参考数据和合成图像数据库可以用于生成实时合成图像。
运载工具的地理参考数据可以包括以下各项中的任何项：纬度、经度、姿态(俯仰、横滚)、航向(偏航)和高度。此类数据可以由例如，GPS、姿态陀螺仪和飞行数据传感器提供。
用户的观看方向的长期取向可以基于在运载工具内定位标记。这可以通过多种方法来实现，诸如IR发射器信号的反射或经由图像分析的对象检测。可以由三轴速率陀螺仪(或类似的)数据提供观看方向的短期稳定。
速率陀螺仪数据的积分可以提供总的角位移。这对于在安装期间表征(多个)标记定位可以是有用的。一旦知道，(多个)标记的移动就可以与用户的实际观看方向关联。
可以通过佩戴显示眼镜并从操作员站扫描整个可允许的观看方向范围来收集用于标记表征的数据。例如，显示眼镜可以完全向左、向右、向上和向下使用。结果可以是球形或半球形的全景图像。
一旦标记已经被表征，就可以确定(多个)外部掩蔽和(多个)内部掩蔽。这些(多个)掩蔽可以是任意的并且可以通过多种方法限定。例如，可以使用软件工具来编辑全景图像。另一个选项是通过将绿色织物应用于窗户或其他区域并自动检测绿色区域作为掩蔽区域来使用色度键。进一步的选项是在运载工具处于明亮日光下时检测和过滤明亮区域。
可以通过各种方式完成帧掩蔽转换。转换向量可以计算为基于用户的观看方向将运载工具地图数据库中的(多个)标记最好地移动到检测到的(多个)标记定位的向量。可以使用转换向量、(多个)外部掩蔽和(多个)内部掩蔽计算(多个)帧外部掩蔽和(多个)帧内部掩蔽。(多个)帧外部掩蔽可以用于裁剪外部视频和合成图像。(多个)帧内部掩蔽可以用于裁剪内部视频。运载工具(多个)外部掩蔽和(多个)内部掩蔽无需被改变。系统可以抖动外部掩蔽和内部掩蔽之间的边界，使得该边界不会很明显或分散注意力。
可变透明度可以通过混合或组合外部掩蔽的视频和合成掩蔽的视频来允许生成增强图像。可以是模拟值的透明度比可以由用户或由自动算法确定。该自动算法可以对掩蔽的外部视频数据进行处理以用于边缘检测。较高的边缘清晰度可以导致外部掩蔽的视频成为主导。相反，较低的边缘检测会导致合成掩蔽的视频成为主导。
如上所提及，该(多个)内部掩蔽可以与该(多个)外部掩蔽相反。因此，对于每个像素使用简单的最大值操作，可以将帧内部掩蔽的图像与增强图像组合。这可以为用户提供与运载工具内部和外侧环境两者一致的图像(真实的和增强的)。
合成图像与外侧环境的对齐可以经由对可见特征的边缘/对象检测来完成。这可以在没有用户输入的情况下连续发生。
太阳相对于观看方向的位置可以是已知的。因此，可以在图像内跟踪太阳并降低其强度，这可以减少和/或消除太阳眩光。
图7示出了根据本发明的某些实施例的方法。如图7所示，一种方法可以包括，在710处，由处理器基于用户的位置获取内部视频图像。内部视频图像可以是实时照相机馈送，例如，如在先前的示例中的驾驶舱内部的实时视频图像。
该方法还可以包括，在720处，由处理器基于用户的位置获取外部视频图像。获取外部视频图像可以包括，在724处，从实时照相机馈送、合成图像、或实时照相机馈送和合成图像的组合中选择。该方法可以包括，在726处，为实时照相机馈送和合成图像的组合选择透明度。该方法还可以包括，在722处，基于用户的位置生成合成图像。如上所述，可以基于来自内部视频图像的边缘检测或图像检测中的至少一个来确定合成图像的对齐。边缘检测和/或对象检测还可用于帮助决定是选择合成图像、实时视频图像还是它们的某个组合。
该方法可以进一步包括，在730处，将内部视频图像和外部视频图像组合以形成用于用户的组合的单视图。该组合的单视图可以是驾驶舱的实时视频图像，该实时视频图像包括仪表板视图和窗户视图，如上所述。该方法可以附加地包括，在740处，向用户的显示器提供组合的单视图。显示器可以是飞机的飞行员所佩戴的眼镜。显示器可以进一步被配置为与在平视显示器上提供信息的方式类似地叠加附加信息。
图8示出了根据本发明的某些实施例的示例性系统。应该理解，图7的示例性方法的每个框可以通过各种手段或其组合来实现，诸如硬件、软件、固件、一个或多个处理器和/或电路。在本发明的一个实施例中，系统可以包括几个设备，诸如例如，设备810和显示设备820。该系统可以包括多于一个的显示设备820和多于一个的设备810，尽管出于说明的目的每种设备仅示出了一个。设备810可以是任何合适的航空电子硬件，诸如航空电子系统的线路可更换单元。显示设备820可以是任何期望的显示设备，诸如显示眼镜，其可以提供单个图像或一对协调的立体图像。
设备810可以包括至少一个处理器或控制单元或模块，指示为814。可以在设备810中提供至少一个存储器，指示为815。存储器815可以包括包含在其中的计算机程序指令或计算机代码，例如，用于执行如上所述的本发明的实施例。可以提供一个或多个收发器816，并且设备810还可以包括天线，指示为817。尽管仅示出了一个天线，但是可以为设备810提供许多天线和多个天线元件。例如，可以提供设备810的其他配置。例如，除了无线通信之外或者作为无线通信的替代，设备810可以被配置为用于有线通信(如图所示以连接到显示设备820)，并且在此类情况下，天线817可以示出任何形式的通信硬件，而不必仅限于天线。
收发器816可以是发射器、接收器、或者是发射器和接收器两者、或者是可以被配置为用于发射和接收两者的单元或设备。
处理器814可以由任何计算或数据处理设备来体现，例如中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、数字增强电路或类似设备或其组合。处理器814可以被实现为单个控制器、或者多个控制器或多个处理器。另外，处理器814可以被实现为本地配置、云配置或其组合中的处理器池。术语“电路”可以指一个或多个电气电路或电子电路。术语“处理器”可以指电路，诸如逻辑电路之类的电路，其响应并处理驱动计算机的指令。
对于固件或软件，该实现可以包括至少一个芯片组的模块或单元(例如，步骤、功能等)。存储器815可以是任何合适的存储设备，诸如非瞬态计算机可读介质。可以使用硬盘驱动器(HDD)、随机存取存储器(RAM)、闪存或其他合适的存储器。存储器815可以组合在单个集成电路上作为处理器，或者可以与之分离。此外，可以存储在存储器815中并由处理器814处理的计算机程序指令可以是计算机程序代码的任何适当形式，例如，以任何适当的编程语言编写的编译或解释的计算机程序。存储器815或数据存储实体通常是内部的，但例如在从服务提供商获得额外的存储容量的情况下也可以是外部的或其组合。存储器可以是固定的或可移除的。
存储器815和计算机程序指令可以与用于特定设备的处理器814一起配置，以使诸如设备810之类的硬件装置执行上述任何过程(例如，参见图1和图2)。因此，在本发明的某些实施例中，非瞬态计算机可读介质可以用计算机指令或一个或多个计算机程序(例如添加或更新的软件例程，小程序或宏)编码，当在硬件中执行时，计算机指令或一个或多个计算机程序可以执行诸如本文所述的一个或多个过程之类的过程。计算机程序可以由任何编程语言编码，该编程语言可以是高级编程语言，例如Objective-C、C、C++、C#、Java等，或者是低级编程语言，例如机器语言或汇编语言。替代地，本发明的某些实施例可以完全以硬件来执行。
对上述实施例的进一步修改是可能的。例如，各种滤波器可以被应用于真实图像和合成图像两者，例如以提供平衡或对比度增强、突出显示感兴趣的对象或抑制视觉干扰。在某些实施例中，左眼视图可以具有与右眼视图不同的图像组合。例如，右眼视图可以是纯实时视频图像，而左眼视图可以具有合成的外部视频图像。替代地，一只眼的视图可以简单地透明地穿过眼镜。
本领域普通技术人员将容易地理解，可以以不同顺序的步骤和/或以与所公开的配置不同的配置的硬件元件来实现如上所述的本发明。因此，尽管根据这些所指的实施例描述了本发明，但本领域技术人员将清楚地理解，在保持本发明的精神和范围的同时，某些修改、变化和替代结构将是显而易见的。

Claims (20)

1.一种方法，包括：
由处理器基于用户的位置获取内部视频图像；
由处理器基于所述用户的所述位置获取外部视频图像；
将所述内部视频图像和所述外部视频图像组合以形成用于所述用户的组合的单视图；以及
向所述用户的显示器提供所述组合的单视图。
2.如权利要求1所述的方法，其特征在于，所述内部视频图像包括实时照相机馈送。
3.如权利要求1所述的方法，其特征在于，获取所述外部视频图像包括从实时照相机馈送、合成图像、或所述实时照相机馈送和所述合成图像的组合中选择。
4.如权利要求3所述的方法，进一步包括：
为所述实时照相机馈送和所述合成图像的所述组合选择透明度。
5.如权利要求3所述的方法，进一步包括：
基于所述用户的所述位置生成所述合成图像。
6.如权利要求5所述的方法，其特征在于，基于来自所述内部视频图像的边缘检测或图像检测中的至少一个确定所述合成图像的对齐。
7.如权利要求1所述的方法，其特征在于，所述组合的单视图包括驾驶舱的实时视频图像，所述实时视频图像包括仪表板视图和窗户视图。
8.一种装置，包括：
至少一个处理器；以及
至少一个存储器，包括计算机程序代码，
其中，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少：
基于用户的位置获取内部视频图像；
基于所述用户的所述位置获取外部视频图像；
将所述内部视频图像和所述外部视频图像组合以形成用于所述用户的组合的单视图；以及
向所述用户的显示器提供所述组合的单视图。
9.如权利要求8所述的装置，其特征在于，所述内部视频图像包括实时照相机馈送。
10.如权利要求8所述的装置，其特征在于，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少：通过从实时照相机馈送、合成图像、或所述实时照相机馈送和所述合成图像的组合中选择来获取所述外部视频图像。
11.如权利要求10所述的装置，其特征在于，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少：为所述实时照相机馈送和所述合成图像的所述组合选择透明度。
12.如权利要求10所述的装置，其特征在于，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少：基于所述用户的所述位置生成所述合成图像。
13.如权利要求12所述的装置，其特征在于，所述合成图像的对齐是基于来自所述内部视频图像的边缘检测或图像检测中的至少一个确定的。
14.如权利要求8所述的装置，其特征在于，所述组合的单视图包括驾驶舱的实时视频图像，所述实时视频图像包括仪表板视图和窗户视图。
15.一种系统，包括：
第一照相机，被配置为提供用户的周围环境的近焦视图；
第二照相机，被配置为提供所述用户的所述周围环境的远焦视图；
处理器，被配置为基于所述近焦视图和所述远焦视图提供所述周围环境的组合视图；以及
显示器，被配置为向所述用户显示所述组合视图。
16.如权利要求15所述的系统，其特征在于，所述近焦视图包括实时照相机馈送。
17.如权利要求15所述的系统，其特征在于，提供所述组合视图包括从实时照相机馈送、合成图像、或所述实时照相机馈送和所述合成图像的组合中选择。
18.如权利要求17所述的系统，其特征在于，所述处理器被配置为为所述实时照相机馈送和所述合成图像的所述组合选择透明度。
19.如权利要求17所述的系统，其特征在于，所述处理器被配置为基于所述用户的所述位置生成所述合成图像。
20.如权利要求17所述的系统，其特征在于，所述处理器被配置为基于来自所述近焦视图的边缘检测或图像检测中的至少一个对齐所述合成图像。
CN201880065422.3A 2017-10-04 2018-10-03 将合成图像与真实图像组合以进行运载工具操作 Pending CN111183639A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/724,667 US20190102923A1 (en) 2017-10-04 2017-10-04 Combining synthetic imagery with real imagery for vehicular operations
US15/724,667 2017-10-04
PCT/US2018/054187 WO2019070869A1 (en) 2017-10-04 2018-10-03 COMBINING SYNTHETIC IMAGES WITH REAL IMAGES FOR VEHICLE OPERATIONS

Publications (1)

Publication Number Publication Date
CN111183639A true CN111183639A (zh) 2020-05-19

Family

ID=64051674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065422.3A Pending CN111183639A (zh) 2017-10-04 2018-10-03 将合成图像与真实图像组合以进行运载工具操作

Country Status (7)

Country Link
US (1) US20190102923A1 (zh)
EP (1) EP3692714A1 (zh)
JP (1) JP2020537390A (zh)
CN (1) CN111183639A (zh)
AU (1) AU2018345666A1 (zh)
CA (1) CA3077430A1 (zh)
WO (1) WO2019070869A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021109082A1 (de) * 2021-04-12 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Posenbestimmung in einer Datenbrille

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09167253A (ja) * 1995-12-14 1997-06-24 Olympus Optical Co Ltd 映像表示装置
CN1849823A (zh) * 2003-09-09 2006-10-18 英国电讯有限公司 视频通信方法及系统
CN103852033A (zh) * 2012-11-30 2014-06-11 株式会社其恩斯 测量显微镜装置、图像产生方法、及计算机可读记录介质
US20150151838A1 (en) * 2013-12-03 2015-06-04 Federal Express Corporation System and method for enhancing vision inside an aircraft cockpit
CN105139451A (zh) * 2015-08-10 2015-12-09 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于hud的合成视景指引显示系统
GB2532464A (en) * 2014-11-19 2016-05-25 Bae Systems Plc Apparatus and method for selectively displaying an operational environment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701415B (zh) * 2016-02-25 2021-08-03 富士胶片株式会社 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
US20170291716A1 (en) * 2016-04-07 2017-10-12 Gulfstream Aerospace Corporation Cockpit augmented vision system for aircraft
JP6877115B2 (ja) * 2016-09-27 2021-05-26 株式会社東海理化電機製作所 車両用視認装置
CN110419063A (zh) * 2017-03-17 2019-11-05 麦克赛尔株式会社 Ar显示装置和ar显示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09167253A (ja) * 1995-12-14 1997-06-24 Olympus Optical Co Ltd 映像表示装置
CN1849823A (zh) * 2003-09-09 2006-10-18 英国电讯有限公司 视频通信方法及系统
CN103852033A (zh) * 2012-11-30 2014-06-11 株式会社其恩斯 测量显微镜装置、图像产生方法、及计算机可读记录介质
US20150151838A1 (en) * 2013-12-03 2015-06-04 Federal Express Corporation System and method for enhancing vision inside an aircraft cockpit
GB2532464A (en) * 2014-11-19 2016-05-25 Bae Systems Plc Apparatus and method for selectively displaying an operational environment
CN105139451A (zh) * 2015-08-10 2015-12-09 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于hud的合成视景指引显示系统

Also Published As

Publication number Publication date
AU2018345666A1 (en) 2020-04-23
US20190102923A1 (en) 2019-04-04
WO2019070869A1 (en) 2019-04-11
JP2020537390A (ja) 2020-12-17
EP3692714A1 (en) 2020-08-12
CA3077430A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
US8218006B2 (en) Near-to-eye head display system and method
EP2133728B1 (en) Method and system for operating a display device
US9594248B2 (en) Method and system for operating a near-to-eye display
EP3438614B1 (en) Aircraft systems and methods for adjusting a displayed sensor image field of view
US20210019942A1 (en) Gradual transitioning between two-dimensional and three-dimensional augmented reality images
CN107010237B (zh) 用于在hud上显示fov边界的系统和方法
EP2317366A2 (en) System for providing a pilot of an aircraft with a visual depiction of a terrain
US11249306B2 (en) System and method for providing synthetic information on a see-through device
CN111183639A (zh) 将合成图像与真实图像组合以进行运载工具操作
US11669088B2 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller
JP2024516481A (ja) リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する装置、方法およびソフトウェア
CN117203596A (zh) 辅助操作人员使用遥控器驾驶无人机的设备、方法和软件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200519

WD01 Invention patent application deemed withdrawn after publication