CN108028914B - 用于支持按第一人称视角(fpv)的三维显示的系统和方法 - Google Patents

用于支持按第一人称视角(fpv)的三维显示的系统和方法 Download PDF

Info

Publication number
CN108028914B
CN108028914B CN201580082965.2A CN201580082965A CN108028914B CN 108028914 B CN108028914 B CN 108028914B CN 201580082965 A CN201580082965 A CN 201580082965A CN 108028914 B CN108028914 B CN 108028914B
Authority
CN
China
Prior art keywords
image
pair
image frames
frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580082965.2A
Other languages
English (en)
Other versions
CN108028914A (zh
Inventor
曹子晟
暴林超
胡攀
王铭钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN108028914A publication Critical patent/CN108028914A/zh
Application granted granted Critical
Publication of CN108028914B publication Critical patent/CN108028914B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本文涉及能够支持三维显示的系统和方法。所述系统能够接收多个图像帧，所述多个图像帧是由可移动物体上的成像装置捕捉到。另外，所述系统能够获得所述可移动物体上的所述成像装置的状态信息，以及使用所述状态信息来基于所述多个图像帧配置一对图像帧以用于支持三维第一人称视角(FPV)。此外，从所述多个图像帧中选择的图像帧能够用于该对图像帧中的第一图像。

Description

用于支持按第一人称视角(FPV)的三维显示的系统和方法
版权声明
本专利文件的一部分披露内容包括受版权保护的材料。版权所有者并不拒绝任何人对所述专利文件或专利披露内容按照其在专利和商标局专利文件或记录中所呈现地进行复制再现，但是在其他情况下版权所有人保留所有版权权利。
发明领域
所披露的实施方式大体上涉及支持数字显示，并且更具体地但非排他地涉及支持三维显示。
背景
诸如无人飞行器(UAV)系统等各种移动平台的普遍显示体验被限制为二维的。这是因为用于大多数移动平台的显示设备(例如，外部显示屏幕、特殊显示屏幕、笔记本计算机显示屏幕、和平板计算机)被设计成用于平板显示。
另一方面，可能需要不同的立体显示设备来用于显示深度信息，这增加了整个系统的复杂性和成本。例如，为了在三维(3D)显示器上显示立体信息，无人飞行器(UAV)系统除可能需要部署各种特殊的3D显示设备之外还需要部署更复杂的图像捕捉模块、编/解码模块和通信模块。
因此，需要开发一种简单且便宜的三维(3D)显示器。这是本发明的实施方式所旨在解决的大体领域。
概述
本文阐述了能够支持三维显示的系统和方法。这种系统能够接收多个图像帧，所述图像帧是由可移动物体上的成像装置捕捉。另外，所述系统能够获得所述可移动物体上的所述成像装置的状态信息，并且使用所述状态信息来基于所述多个图像帧配置一对图像帧，用于支持三维第一人称视角(FPV)。此外，从所述多个图像帧中选择的图像帧能够用于该对图像帧中的第一图像。
附图简要说明
图1示出了根据本发明的各个实施方式的可移动物体环境。
图2示出了根据实施方式的在可移动物体环境中的示例性载体。
图3示出了根据本发明的各个实施方式在可移动物体环境中经由可移动物体支持三维显示。
图4示出了根据本发明的各个实施方式在可移动物体环境中经由终端支持三维显示。
图5示出了根据本发明的各个实施方式在可移动物体环境中支持三维第一人称视角(FPV)。
图6示出了根据本发明的各个实施方式在可移动物体环境中在视场(FOV)从左向右移动时支持三维(3D)第一人称视角(FPV)。
图7示出了根据本发明的各个实施方式在可移动物体环境中在视场(FOV)从右向左移动时支持三维(3D)第一人称视角(FPV)。
图8示出了根据本发明的各个实施方式在可移动物体环境中支持三维显示的流程图。
图9示出了根据本发明的各个实施方式在可移动物体环境中针对不同状态支持三维第一人称视角(FPV)。
图10示出了根据本发明的各个实施方式在可移动物体环境中针对不同状态支持三维第一人称视角(FPV)的流程图。
详细说明
在附图的图式中以举例而非限制的方式来展示本发明，其中，相同的元件符号指代类似的元件。应注意的是，本披露中对“一种”或“一个”或“某些”实施方式的引用不一定指相同实施方式，并且这种引用意味着至少一个。
以下对本发明的描述使用无人飞行器(UAV)作为可移动物体的示例。本领域技术人员将清楚的是，可以不受限制地使用其他类型的可移动物体。
图1示出了根据本发明的各个实施方式的可移动物体环境。如图1中所示，可移动物体环境100中的可移动物体118可以包括载体102和有效载荷104。尽管可移动物体118可以被描绘为飞行器，但是此描绘并不希望是限制性的，并且可以使用任何合适类型的可移动物体。本领域技术人员将认识到，本文在飞行器系统的背景中所描述的任何实施方式可以适用于任何合适的可移动物体(例如UAV)。在某些情形中，有效载荷104可以设置在可移动物体118上而无需载体102。
根据本发明的各个实施方式，可移动物体118可以包括一个或多个移动机构106(例如推进机构)、感测系统108和通信系统110。
移动机构106可以包括旋翼、螺旋桨、桨叶、发动机、电机、轮子、轮轴、磁铁、喷嘴、动物或人类中的一者或多者。例如，所述可移动物体可以具有一个或多个推进机构。移动机构106可以全部是相同的类型。备选地，移动机构106可以是不同类型的移动机构。移动机构106可以使用任何合适的手段(如支撑元件(如传动轴))安装在可移动物体118上(或反之亦然)。移动机构106可以安装在可移动物体118的任何合适的部分上，诸如，在顶部、底部、前面、背面、侧面、或其合适的组合。
在某些实施方式中，移动机构106可以使可移动物体118能够垂直地从表面起飞或者垂直地降落在表面上，而无需可移动物体118做出任何水平移动(如无需在跑道上滑行)。任选地，移动机构106可以是可操作来允许可移动物体118按指定的位置和/或朝向在空中悬停。移动机构106中的一个或多个可以独立于其他移动机构被控制。备选地，移动机构106可以被配置成被同时控制。例如，可移动物体118可以具有多个水平取向的旋翼，所述水平取向的旋翼可以为可移动物体提供升力和/或推力。可以致动所述多个水平取向的旋翼以为可移动物体118提供垂直起飞、垂直降落和悬停能力。在某些实施方式中，所述水平取向的旋翼中的一个或多个旋翼可以沿顺时针方向自旋，而所述水平旋翼中的一个或多个旋翼可以沿逆时针方向自旋。例如，顺时针旋转的旋翼数量可以与逆时针旋转的旋翼数量相等。每个水平取向的旋翼的旋转速率可以独立地变化以控制由每个旋翼产生的升力和/或推力，并且由此调整可移动物体118的空间布局、速度和/或加速度(例如，关于高达三个平移度和高达三个旋转度)。
感测系统108可以包括一个或多个传感器，所述一个或多个传感器可以感测可移动物体118的空间布局、速度和/或加速度(例如，关于各种平移度和各种旋转度)。所述一个或多个传感器可以包括任何传感器，包括GPS传感器、运动传感器、惯性传感器、接近传感器、或图像传感器。由感测系统108提供的感测数据可以用于控制可移动物体118的空间布局、速度和/或朝向(例如，使用合适的处理单元和/或控制模块)。备选地，感测系统108可以用于提供关于可移动物体周围环境的数据，诸如气象条件、对潜在障碍物的接近、地理特征的位置、人造结构的位置等等。
通信系统110能够经由无线信号116与具有通信系统114的终端112进行通信。通信系统110、114可以包括任何数量的适于无线通信的发射器、接收器和/或收发器。所述通信可以为单向通信，使得可以在仅一个方向上传输数据。例如，单向通信可以仅涉及可移动物体118向终端112传输数据，或反之亦然。数据可以从通信系统110的一个或多个发射器传输到通信系统112的一个或多个接收器，或反之亦然。备选地，通信还可以是双向通信，使得可以在可移动物体118与终端112之间在两个方向上传输数据。所述双向通信可以涉及将数据从通信系统110的一个或多个发射器传输到通信系统114的一个或多个接收器，并且反之亦然。
在一些实施方式中，终端112可以提供控制数据给可移动物体118、载体102、以及有效载荷104中的一个或多个并且接收来自可移动物体118、载体102以及有效载荷104中的一个或多个的信息(例如，可移动物体、载体或有效载荷的位置和/或运动信息；由有效载荷感测到的数据，例如由有效载荷相机捕捉的图像数据；以及根据由有效载荷相机捕捉的图像数据而生成的数据)。在某些情形中，来自终端的控制数据可以包括用于可移动物体、载体和/或有效载荷的相对位置、移动、致动或控制的指令。例如，控制数据可以导致可移动物体的位置和/或朝向的修改(例如，经由对移动机构106的控制)或者有效载荷相对于可移动物体的移动(例如，通过对载体102的控制)。来自终端的控制数据可以导致对有效载荷的控制，如对相机或其他图像捕捉装置的操作的控制(例如，拍摄静止或运动照片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视场)。
在某些情形中，来自可移动物体、载体和/或有效载荷的通信可以包括来自(例如，感测系统108的或有效载荷104的)一个或多个传感器的信息和/或基于感测信息生成的数据。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、接近传感器或图像传感器)的所感测的信息。这种信息可以与可移动物体、载体和/或有效载荷的定位(例如，位置、朝向)、移动或加速度有关。来自有效载荷的这种信息可包括有效载荷所捕获的数据或有效载荷的所感测到的状态。由终端112传输的控制数据可以被配置用于控制可移动物体118、载体102或有效载荷104中的一个或多个的状态。备选地或组合地，载体102和有效载荷104还可以各自包括通信模块，所述通信模块被配置成用于与终端112通信，使得所述终端可以独立地与可移动物体118、载体102和有效载荷104中的每一者进行通信并且对其进行控制。
在一些实施方式中，可移动物体118可以被配置成用于与除了终端112之外或者代替终端112的另一个远程装置通信。终端112还可以被配置成用于与另一个远程装置以及可移动物体118通信。例如，可移动物体118和/或终端112可以与另一个可移动物体、或另一个可移动物体的载体或有效载荷通信。如果需要，远程装置可以是第二终端或其他计算装置(例如，计算机、膝上型计算机、平板计算机、智能手机或其他移动装置)。所述远程装置可以被配置成用于将数据传输到可移动物体118、接收来自可移动物体118的数据、将数据传输到终端112、和/或接收来自终端112的数据。任选地，所述远程装置可以连接到因特网或其他电信网络，使得从可移动物体118和/或终端112接收到的数据可以被上传到网站或服务器。
图2示出了根据实施方式的在可移动物体环境中的示例性载体。载体200可以用于将有效载荷202(如图像捕捉装置)联接至可移动物体(诸如UAV)。
载体200可以被配置成用于准许有效载荷202围绕一条或多条轴线(例如，三条轴线：X或俯仰轴、Z或横滚轴、以及Y或偏航轴)相对于可移动物体旋转。例如，载体200可以被配置成仅准许有效载荷202围绕所述轴线中的一条、两条、或三条轴线旋转。所述轴线可以是或者可以不是相互正交的。围绕所述轴线中的任一轴线旋转的范围可以是或者可以不是受限制的并且可以针对每条轴线改变。所述旋转轴线可以是或可以不是彼此相交的。例如，正交轴线可以彼此相交。它们可以是或可以不是相交于有效载荷202处。备选地，它们可以不相交。
载体200可以包括框架组件211，所述框架组件包括一个或多个框架构件。例如，框架构件可以被配置成与有效载荷202(例如图像捕捉装置)相联接并且支撑所述有效载荷。
在某些实施方式中，载体201可以包括一个或多个载体传感器213，所述载体传感器对于确定载体201或由载体201承载的有效载荷202的状态是有用的。所述状态信息可以包括空间布局(例如，位置、朝向或姿态)、速度(例如，线性速度或角速度)、加速度(例如，线性加速度或角加速度)、和/或关于所述载体、其部件和/或有效载荷202的其他信息。在某些实施方式中，如从传感器数据所获取的或计算出的状态信息可以作为反馈数据而用来控制所述载体的部件(例如，框架构件)的旋转。这样的载体传感器的示例可以包括运动传感器(例如，加速度计)、旋转传感器(例如，陀螺仪)、惯性传感器等等。
载体传感器213可以联接至载体的任何适合的部分(例如，框架构件和/或致动器构件)，并且可以是或可以不是可相对于所述UAV移动的。此外或备选地，所述载体传感器中的至少一些传感器可以是直接联接至载体201所承载的有效载荷202。
载体传感器213可以与所述载体的致动器构件中的一些或者全部致动器构件相联接。例如，可以将三个载体传感器分别联接到三轴载体的致动器构件212并且可以被配置成测量所述三轴载体的相应致动器构件212的驱动。这样的传感器可以包括电位计或其他类似的传感器。在一个实施方式中，可以将传感器(例如，电位计)插入在电机的电机轴上以测量电机转子和电机定子的相对位置，由此测量所述转子和定子的相对位置并生成表示所述相对位置的位置信号。在一个实施方式中，每个联接有致动器的传感器被配置成提供其所测量的对应致动器构件的位置信号。例如，可以用第一电位计来生成所述第一致动器构件的第一位置信号，可以用第二电位计来生成所述第二致动器构件的第二位置信号，并且可以用第三电位计来生成所述第三致动器构件的第三位置信号。在某些实施方式中，还可以将载体传感器213联接到所述载体的框架构件中的一些或者全部框架构件。所述传感器可以能够传送关于所述载体的一个或多个框架构件的和/或所述图像捕捉装置的位置和/或朝向的信息。可以用所述传感器数据来确定所述图像捕捉装置相对于所述可移动物体和/或参照系的位置和/或朝向。
载体传感器213能够提供可以被传输给所述载体或可移动物体上的一个或多个控制器(未示出)的位置和/或朝向数据。可以在基于反馈的控制方案中使用所述传感器数据。所述控制方案可以用于控制一个或多个致动器构件(诸如一个或多个电机)的驱动。一个或多个控制器(可以是位于载体上或位于承载所述载体的可移动物体上的)可以生成用于驱动所述致动器构件的控制信号。在某些情形中，可以基于从载体传感器接收到的指示所述载体或所述载体201所承载的有效载荷202的空间布局的数据生成所述控制信号。如本文中先前描述的，所述载体传感器可位于所述载体或有效载荷202上。可以由不同的致动器驱动器接收由所述控制器产生的控制信号。基于所述控制信号，所述不同的致动器驱动器可以控制所述不同的致动器构件的驱动，例如以便实现所述载体的一个或多个部件的旋转。致动器驱动器可以包括适合于控制对应致动器构件的驱动并且从对应传感器(例如，电位计)接收位置信号的硬件部件和/或软件部件。所述控制信号可以被同时传输给所述致动器驱动器，以便产生所述致动器构件的同时驱动。备选地，所述控制信号可以被按顺序地传输或仅被传输给所述致动器驱动器之一。有利地，所述控制方案可以用于为驱动载体的致动器构件提供反馈控制，由此使得所述载体部件能够更精确且准确地旋转。
在某些情形中，载体201可以经由一个或多个阻尼元件而间接联接至UAV。所述阻尼元件可以被配置成减少或消除由所述可移动物体(例如，UAV)的移动所导致的负载(例如，有效载荷、载体，或二者)的移动。所述阻尼元件可以包括适合于减缓所联接的负载的运动的任何元件，例如主动阻尼元件、被动阻尼元件、或具有主动和被动阻尼特性二者的混合阻尼元件。通过本文所提供的阻尼元件减缓的运动可以包括振动、振荡、晃动或冲击中的一者或多者。这类运动可以是源自所述可移动物体的被传递至有效载荷的运动。例如，所述运动可以包括由UAV的推进系统和/或其他部件的操作所造成的振动。
所述阻尼元件可以通过使负载与不想要的运动的源相隔离(例如，振动隔离)使得传递至所述负载的一定量的运动耗散掉或减少而提供运动阻尼。所述阻尼元件可以使得所述负载原本会经历的运动的量值(例如，振幅)减小。由阻尼元件所施加的运动阻尼可以用来使得所述负载稳定，由此改善所述负载(例如，图像捕捉装置)所捕捉到的图像的质量，并且降低基于所捕捉到的图像生成全景图像所要求的图像拼接步骤的计算复杂度。
本文所描述的阻尼元件可以是由任何适合的材料或材料的组合形成，包括固体、液体、或气体材料。用于阻尼元件的材料可以是可压缩的和/或是可变形的。例如，阻尼元件可以由海绵、泡沫、橡胶、凝胶等等制成。例如，阻尼元件可以包括形状为大致球形的橡胶球。所述阻尼元件可以具有任何适合的形状，例如大致球形、长方形、圆柱形等等。备选地或另外，所述阻尼元件可以包括压电材料或形状记忆材料。所述阻尼元件可以包括一个或多个机械元件，例如弹簧、活塞、液压器件、气动器件、缓冲器、减震器、隔离器等等。可以选择所述阻尼元件的特性以提供预定量的运动阻尼。在某些情形中，所述阻尼元件可以具有粘弹性特性。所述阻尼元件的特性可以是各向同性或各向异性的。例如，所述阻尼元件可以沿着所有运动方向同等地提供运动阻尼。相反地，所述阻尼元件可以仅沿着运动方向的子集(例如，沿单个运动方向)提供运动阻尼。例如，所述阻尼元件可以主要沿着Y(偏航)轴提供阻尼。如此，所展示的阻尼元件可以被配置成减少垂直运动。
虽然各个实施方式可以被描绘成利用单一类型的阻尼元件(例如，橡胶球)，但应当理解，可以使用多类阻尼元件的任何适合的组合。例如，可以使用任何适合类型的一个或多个阻尼元件来将载体联接至可移动物体。阻尼元件可以具有相同的或不同的特征或特性，例如硬度、粘弹性等等。可以将每个阻尼元件联接至负载的不同部分或仅联接至负载的某一部分。例如，阻尼元件可以被定位成靠近负载与可移动物体之间的接触点或联接点或表面。在某些情形中，所述负载可以被嵌入一个或多个阻尼元件内或由其包裹。
图3示出了根据本发明的各个实施方式在可移动物体环境中经由可移动物体支持三维(3D)显示。如图3中所示，可移动物体301上的成像装置303可以捕捉多个图像帧，诸如图像流310中的图像帧311-313。
此外，所捕捉到的图像帧在被其他新捕捉的图像帧清除和/或替换之前可以存储在图像高速缓存304中持续某个时间段。例如，具有有限大小的图像高速缓存304可以用于(动态地)保存图像帧流310的一部分，所述图像帧可以是压缩格式的。备选地，图像高速缓存304可以用于(动态地)保存可以不是压缩的帧的缓冲区。
根据本发明的各个实施方式，可以驻留在可移动物体301上的处理器(例如转换器305)可以接收存储在图像高速缓存304中的所捕捉到的图像帧311-313。然后，转换器305可以将所述多个图像帧中所含有的二维(2D)信息转换成伪三维(3D)信息。例如，所述伪3D信息可以呈一对图像帧的形式。
此外，三维(3D)第一人称视角(FPV)设备302可以用于显示所述伪三维信息(3D)。3D FPV设备302可以在分区2D屏幕上显示该对图像帧，其中一个图像显示在所述屏幕的左边部分并且另一个图像显示在所述屏幕的右边部分。此外，3D FPV设备302可以使用两个具有相同焦距的透镜，所述焦距可被配置成基本上接近或等于透镜与显示屏幕之间的距离。而且，每个透镜的视场(FOV)可被配置成仅与一半屏幕相匹配。因此，通过使用3D FPV设备302，所述系统可以利用通常用于处理2D信息的图像捕捉模块、编/解码模块和通信模块。
此外，转换器305可以获得可移动物体301上的成像装置303的状态信息306，例如成像装置303的姿态、瞬时位置、速度和加速度。可基于所述可移动物体的定位和姿态信息确定状态信息306，所述定位和姿态信息可以是从用于可移动物体的控制模块(如，UAV的飞行控制模块)接收到。而且，可以基于从有效载荷稳定控制模块接收到的所述成像装置的姿态信息确定状态信息306。例如，所述有效载荷稳定控制模块可用于控制稳定系统，诸如使UAV上的成像装置稳定的云台系统。
根据本发明的各个实施方式，转换器305可以基于存储在图像高速缓存304中的图像帧311-313来配置一对图像帧，以支持三维(3D)显示。
如图3中所示，从保存在图像高速缓存304中的图像帧中选择的图像帧313可以用作该对图像帧中的第一图像。例如，图像帧313可以是图像帧流310中的最新图像帧。然后，转换器305可以从所述图像帧流中选择和/或生成第二图像帧，所述第二图像帧可以与所述第一图像帧一起显示以产生三维效果。
然后，转换器305可以将该对图像帧311和313提供给显示装置302，所述显示装置适于显示三维FPV。此外，所述系统可以基于该对图像帧中的第一图像帧与第二图像帧之间的估计帧计数差值来配置可移动物体301上的图像高速缓存304的大小以产生三维(3D)效果。
图4示出了根据本发明的各个实施方式在可移动物体环境中经由终端支持三维(3D)显示。如图4中所示，可移动物体401上的成像装置403可以捕捉多个图像帧，诸如图像流410中的图像帧411-413。然后，所述可移动物体可以将所捕捉到的图像帧传输给终端407，所述终端远离可移动物体401。
此外，所捕捉到的图像帧在被其他新捕捉的图像帧清除和/或替换之前可以存储在图像高速缓存404中持续某个时间段。例如，具有有限大小的图像高速缓存404可以用于(动态地)保存图像帧流410的一部分，所述图像帧可以是压缩格式的。备选地，图像高速缓存304可以用于(动态地)保存可以不是压缩的帧的缓冲区。
根据本发明的各个实施方式，处理器(诸如终端407上的转换器405)可以接收存储在图像高速缓存404中的所捕捉到的图像帧411-413。然后，转换器405可以将所捕捉到的图像帧中所含有的二维(2D)信息转换成伪三维(3D)信息。例如，所述伪3D信息可以呈一对图像帧的形式。
此外，三维(3D)第一人称视角(FPV)设备402可以用于显示所述伪三维(3D)信息。3D FPV设备402可以在分区2D屏幕上显示该对图像帧，其中一个图像显示在所述屏幕的左边部分并且另一个图像显示在所述屏幕的右边部分。此外，3D FPV设备402可以使用两个具有相同焦距的透镜，所述焦距可被配置成是透镜与所述显示屏幕之间的距离。而且，每个透镜的视场(FOV)可被配置成仅与一半屏幕相匹配。因此，通过使用3D FPV设备402，所述系统可以利用通常用于处理2D信息的图像捕捉模块、编/解码模块和通信模块。
此外，转换器405可以获得可移动物体401上的成像装置403的状态信息406，例如成像装置403的姿态、瞬时位置、速度和加速度。可基于所述可移动物体的定位和姿态信息确定状态信息406，所述定位和姿态信息可以是从用于所述可移动物体的控制模块(如，UAV的飞行控制模块)接收到。而且，可以基于从有效载荷稳定控制模块接收到的所述成像装置的姿态信息确定状态信息406。例如，所述有效载荷稳定控制模块可用于控制稳定系统，诸如使UAV上的成像装置稳定的云台系统。
根据本发明的各个实施方式，转换器405可以基于存储在图像高速缓存404中的图像帧411-413来配置一对图像帧，以支持三维(3D)显示。
如图4中所示，从保存在图像高速缓存404中的图像帧中选择的图像帧413可以用作该对图像帧中的第一图像。例如，图像帧413可以是图像帧流410中的最新图像帧。然后，转换器405可以从所述图像帧流中选择和/或生成第二图像帧，所述第二图像帧可以与所述第一图像帧一起显示以产生三维效果。
例如，转换器405可以选择图像帧411作为该对图像帧中的第二图像以产生三维(3D)效果。然后，转换器405可以将该对图像帧411和413提供给显示装置402，所述显示装置适于显示三维FPV。
此外，所述系统可以基于各种因素(例如该对图像帧中的第一图像帧与第二图像帧之间的估计帧计数差值)来配置终端407上的图像高速缓存404的大小以产生三维效果。
图5示出了根据本发明的各个实施方式在可移动物体环境中支持三维第一人称视角(FPV)。如图5中所示，在步骤501中，所述系统可以获得适合三维(3D)显示的一对图像帧。
然后，所述系统可以基于所述可移动物体上的所述成像装置的状态信息确定所述三维FPV的视场(FOV)的移动。例如，在步骤502中，所述系统可以确定所述三维FPV的FOV是否从左向右移动。
在步骤503中，如果所述三维(3D)FPV的FOV从左向右移动，那么所述系统可以为所述三维FPV下的观看者的右眼配置该对图像帧中的所述第一图像帧。或者，在步骤504中，如果所述三维(3D)FPV的所述FOV从右向左移动，所述系统可以为所述三维FPV下的观看者的左眼配置该对图像帧中的所述第一图像帧。
图6示出了根据本发明的各个实施方式在可移动物体环境中在视场(FOV)从左向右移动时支持三维(3D)第一人称视角(FPV)。如图6中所示，可移动物体环境600包括三维(3D)第一人称视角(FPV)601，所述第一人称视角通过考虑可移动物体上的用于捕捉图像611-613的成像装置的状态信息来显示左图像602和右图像603以产生三维(3D)效果。
当3D FPV 601的FOV从左向右移动时，所述系统可以从图像帧流610中选择图像帧作为该对图像帧中的右图像。例如，所述系统可以选择最新图像帧613作为该对图像帧中的右图像。备选地，所述系统可以选择最新图像帧613来用于配置(例如，修改/编辑/重新调整)该对图像帧中的右图像。然后，所述系统可以基于存储在图像高速缓存中的另一个图像来配置该对图像帧中的左图像。
根据本发明的各个实施方式，所述系统可以使用不同策略来配置3D FPV 601中的左图像。例如，所述系统可以选择图像帧流610中的另一个图像611作为该对图像帧中的左图像，例如基于与图像帧流610中的图像613相差的预定帧计数差值。备选地，所述系统可以基于图像帧流610中的图像帧611来构建或重新构建左图像602。
根据本发明的各个实施方式，所述系统可以基于可移动物体上的成像装置的状态信息604来动态地重新配置该对图像帧中的第一图像帧与第二图像帧之间的帧计数差值。例如，所述系统可以在所述成像装置(即，可移动物体)以较快速度移动时配置较小的帧计数差值，而在所述成像装置(即，可移动物体)以较慢速度移动时配置较大帧的计数差值。
备选地，为了实现最佳用户体验，所述系统允许用户在观看所述三维FPV时配置该对图像帧中的第一图像帧与第二图像帧之间的帧计数差值。
根据本发明的各个实施方式，所述系统可以通过使用该对图像帧中的第一图像帧与第二图像帧之间的可配置的帧计数差值来提供不同的观看体验，该对图像帧被3D FPV601用来产生3D效果。
例如，帧计数差值越大，邻近物体的视差距离(即视差)可能越大，并且人眼可能感知到邻近物体越靠近(就仍然可以产生3D效果而言)。在另一方面，随着所述帧计数差值改变，对于远处的物体所感知到的距离可能几乎不变。这是因为远处的物体被感知为处于无限远处。因此，当所述帧差值增大时，由人眼感知到的远处的物体的深度变化很微小。
相反地，当所述帧计数差值减小时，人眼可能会感知到邻近物体向远处移动。出于如上所述的相似原因，随着所述帧计数差值减小，对于远处的物体所感知到的距离可能几乎不变。
图7示出了根据本发明的各个实施方式在可移动物体环境中在视场(FOV)从右向左移动时支持三维(3D)第一人称视角(FPV)。如图7中所示，可移动物体环境700包括三维(3D)第一人称视角(FPV)701，所述第一人称视角通过考虑可移动物体上的用于捕捉图像711-713的成像装置的状态信息来显示左图像702和右图像703以产生三维(3D)效果。
当3D FPV 701的FOV从右向左移动时，所述系统可以从图像帧流710中选择图像帧作为该对图像帧中的左图像。例如，所述系统可以选择最新图像帧713作为该对图像帧中的左图像。备选地，所述系统可以选择最新图像帧713来用于配置(如，修改/编辑/重新调整)该对图像帧中的左图像。然后，所述系统可以基于存储在图像高速缓存中的另一个图像来配置该对图像帧中的左图像。
根据本发明的各个实施方式，所述系统可以使用不同策略来配置3D FPV 701中的右图像。例如，所述系统可以选择图像帧流710中的另一个图像711作为该对图像帧中的右图像，例如基于与图像帧流710中的图像713相差的预定帧计数差值。备选地，所述系统可以基于图像帧流710中的图像帧711来构建或重新构建右图像702。
根据本发明的各个实施方式，所述系统可以基于可移动物体上的成像装置的状态信息704来动态地重新配置该对图像帧中的第一图像帧与第二图像帧之间的帧计数差值。例如，所述系统可以在所述成像装置(即，可移动物体)以较快速度移动时配置较小的帧计数差值，而在所述成像装置(即，可移动物体)以较慢速度移动时配置较大的帧计数差值。
备选地，为了实现最佳用户体验，所述系统允许用户在观看所述三维FPV时配置该对图像帧中的第一图像帧与第二图像帧之间的帧计数差值。
图8示出了根据本发明的各个实施方式在可移动物体环境中支持三维显示的流程图。如图8中所示，在步骤801中，所述系统可以接收多个图像帧，所述多个图像帧由可移动物体上的成像装置捕捉到。然后，在步骤802中，所述系统可以获得所述可移动物体上的成像装置的状态信息。另外，在步骤803中，所述系统可以使用所述可移动物体上的成像装置的所述状态信息来基于所述多个图像帧配置一对图像帧，其中，从所述多个图像帧中选择的图像帧可用作该对图像帧中的第一图像。
图9示出了根据本发明的各个实施方式在可移动物体环境中针对不同状态支持三维第一人称视角(FPV)。如图9中所示，可移动物体上的成像装置可以捕捉多个图像帧(例如，对于物体902)，所述多个图像帧包括在可移动物体环境900中沿着轨迹910的图像帧911-915。
根据本发明的各个实施方式，转换器可以获得可移动物体上的成像装置的状态信息。例如，所述状态信息包括基于从用于可移动物体的控制模块接收到的信息的定位信息，例如所述可移动物体的位置、速度和加速度。此外，转换器可以基于从用于可移动物体的控制模块与有效载荷控制模块二者接收到的姿态信息来获得成像装置的姿态信息。因此，所述系统可以通过将从用于所述可移动物体的控制模块接收到的所述定位信息与从有效载荷控制模块接收到的所述姿态信息结合而获得成像装置的实际位置和姿态。
在如图9中所示的示例中，不作限制，3D FPV 901的FOV可以面向物体902沿着一条线从左向右移动(例如，在时间点t1时)。然后，3D FPV 901的FOV朝向物体902移动(例如在时间点t2和t3时)。
在时间点t1时捕捉到的图像帧912可以被选择为3D FPV 901的右图像(即，R1)。
然后，为了支持3D FPV 901，所述系统可以回顾所捕捉到的图像帧以选择图像帧911作为左图像(即，L1)。对左图像(即，L1)的选择可以基于帧计数差值，所述帧计数差值可以是基于所述成像装置的状态信息而预配置。例如，所述系统可以在所述成像装置(即，可移动物体)以较快速度移动时配置较小的帧计数差值，而可以在所述成像装置(即，可移动物体)以较慢速度移动时配置较大的帧计数差值。
因此，图像帧911和图像帧913可以被提供给3D FPV用于产生三维(3D)效果。而且，所述最初的一对图像帧911和913或任何随后的图像帧对可以用作用于确定新时间点时的一对图像帧的依据。
例如，在时间点t2时，所述系统可以选择图像帧914作为3D FPV显示901的右图像(即，R2)。因为在时间点t2时可移动物体和成像装置朝向物体902移动，以便产生3D FPV显示901的三维(3D)效果。所述系统可以基于所捕捉到的图像帧中的基础图像911来构建或重新构建图像916(即，L2)，而不是直接从所捕捉到的图像帧中选择图像作为左图像。
如图9中所示，所述系统可能需要构建第二图像(即，L2)，所述第二图像是(虚拟地)定位在也面向物体902的一条线(即，平行于沿着该对图像帧L1和R1的线)上的图像。
所述系统可以获得图像R2(该对图像帧中的第一图像)与图像R1(一对基础图像帧中的第一图像)之间的变换关系910。例如，变换关系910可以是基于单应性矩阵，所述单应性矩阵是基于在图像帧R1 912与图像帧R2 914之间的匹配特征点而获得。
根据本发明的各个实施方式，所述基于特征点的图像匹配可能会涉及不同步骤，例如特征点检测、特征点表征和特征点匹配。在特征点检测步骤中，所述系统可以检测特征点和其坐标。然后，在特征点表征步骤中，所述系统可以计算特征向量，每个特征向量代表一个特征点周围邻域的图像信息。
另外，在对特征点集进行匹配之后，所述系统可以获得变换关系910。例如，当物体920位于离成像装置很远的位置处时，图像帧R1和R2上的每一对匹配特征点(例如U1和U2)可以满足一致关系U2＝H*U1。因此，所述系统可以基于匹配的特征点集而不是根据整个图像点集(这是高成本的)来估计矩阵H。
如图9中所示，包括姿态变换信息和内部参数信息的矩阵H对于左图像L1与L2之间的变换和右图像R1与R2之间的变换两者而言是相同的。因此，所述系统可以基于变换矩阵H和图像L1(L1是该对基础图像帧中的左图像)来配置该对图像帧中的左图像L2。
另外，所述系统可以基于该对图像帧R2 914和L2 916以及变换关系920而获得在时间点t3时的另一对图像帧R3 915和L3 917。
图10示出了根据本发明的各个实施方式在可移动物体环境中针对不同状态支持三维第一人称视角(FPV)的流程图。如图10中所示，在步骤1001中，所述系统可以将第一对图像帧中的第一图像帧中的特征点与第二对图像帧中的第一图像帧中的特征点匹配。然后，在步骤1002中，所述系统可以获得所述第一对图像帧中的所述第一图像帧与所述第二对图像帧中的所述第一图像帧之间的变换关系。另外，在步骤1003中，所述系统可以使用所获得的变换关系来将所述第一对图像帧中的第二图像帧转换为所述第二对图像帧中的第二图像帧。
可以在硬件、软件、固件或其组合中、使用硬件、软件、固件或其组合或者借助硬件、软件、固件或其组合来执行本发明的许多特征。因此，可以使用处理系统(例如，包括一个或多个处理器)来实现本发明的特征。示例性处理器可以包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等等。
可以在计算机程序产品中、使用计算机程序产品、或借助计算机程序产品来实现本发明的特征，所述计算机程序产品是在其上/其中存储有指令的存储介质或计算机可读介质，所述指令可以用于对处理系统进行编程以执行本文所呈现的任何特征。存储介质可以包括但不限于任何类型的盘(包括软盘、光盘、DVD、CD-ROM、微型驱动器、和磁光盘)、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存装置、磁卡或光卡、纳米系统(包括分子存储器IC)、或适用于存储指令和/或数据的任何类型的介质或装置。
存储在任何一种机器可读介质上的本发明的特征可以结合到软件和/或固件中以用于控制处理系统的硬件以及利用本发明的结果使处理系统能够与其他机构进行交互。这种软件或固件可以包括但不限于应用程序代码、装置驱动程序、操作系统和执行环境/容器。
还可以使用例如硬件部件(如专用集成电路(ASIC)和场可编程门阵列(FPGA)装置)在硬件中实现本发明的特征。为了执行本文所描述的功能而实现硬件状态机对于相关领域技术人员将是显而易见的。
此外，可以使用一个或多个常规的通用或专用数字计算机、计算装置、机器、或微处理器(包括根据本披露的教导进行编程的一个或多个处理器、存储器和/或计算机可读存储介质)来方便地实现本发明。如软件领域的技术人员将显而易见的是，基于本披露的教导，熟练的程序员可以容易地准备适当的软件编码。
虽然以上已描述了本发明的各个实施方式，但是应当理解，它们是通过示例而不是限制的方式来呈现。相关领域技术人员将显而易见的是，在不背离本发明的精神和范围的情况下，可以对其做出形式上和细节上的各种变化。
以上已借助展示指定功能及其关系的执行的功能构建块描述了本发明。为了方便描述，通常在本文任意限定了这些功能构建块的边界。只要适当地执行所述指定功能及其关系，便可以限定替代边界。因此，任何这种替代边界处于本发明的范围和精神内。
出于说明和描述的目的，提供了对本发明的先前描述。所述描述不意欲为详尽的或将本发明限制于所披露的确切形式。本发明的宽度和范围不应由以上所描述的示例性实施方式中的任何一个实施方式所限制。许多修改和变化对于本领域技术人员来说将是明显的。所述修改和变化包括所披露的特征的任何相关组合。选择并描述实施方式是为了最好地解释本发明的原理及其实际应用，由此使得本领域其他技术人员能够理解本发明以实现各种实施方式和进行适合于预期的特定用途的各种修改。希望由所附权利要求书以及其等效物来限定本发明的范围。

Claims (28)

1.一种用于支持三维(3D)显示的方法，所述方法包括：
接收多个图像帧，所述多个图像帧是由可移动物体上的成像装置捕捉到；
获得所述可移动物体上的所述成像装置的状态信息；以及
使用所述可移动物体上的所述成像装置的所述状态信息来基于所述多个图像帧配置一对图像帧，其中，配置所述一对图像帧包括：
从所述多个图像帧中选择图像帧作为一对图像帧中的第一图像帧；
获得所述一对图像帧中的所述第一图像帧与一对基础图像帧中的第一图像帧之间的变换关系，其中，所述一对图像帧中的所述第一图像帧由所述成像装置在与所述一对基础图像帧中的所述第一图像帧和第二图像帧不同的时间捕捉，其中，所述变换关系包括将所述一对基础图像帧中的所述第一图像帧变换为所述一对图像帧中的所述第一图像帧；以及
通过使用所述变换关系变换所述一对基础图像帧中的所述第二图像帧来生成所述一对图像帧中的第二图像帧。
2.如权利要求1所述的方法，其中：
所述状态信息是基于从用于所述可移动物体的控制模块接收到的所述可移动物体的定位和姿态信息以及从有效载荷稳定控制模块接收到的所述成像装置的姿态信息来确定的，其中，所述有效载荷稳定控制模块控制稳定系统，所述稳定系统使所述可移动物体上的所述成像装置稳定。
3.如权利要求1所述的方法，还包括：
将所述一对图像帧提供给显示装置，所述显示装置适于显示三维(3D)第一人称视角(FPV)。
4.如权利要求1所述的方法，其中：
所述一对图像帧中的所述第一图像帧是图像帧流中的最新图像帧。
5.如权利要求3所述的方法，还包括：
基于所述可移动物体上的所述成像装置的状态信息确定所述三维FPV的视场(FOV)的移动。
6.如权利要求5所述的方法，还包括：
如果所述三维FPV的所述FOV从左向右移动，则为所述三维(3D)FPV中的右图像配置所述一对图像帧中的所述第一图像帧，以及
如果所述三维FPV的所述FOV从右向左移动，则为所述三维(3D)FPV中的左图像配置所述一对图像帧中的所述第一图像帧。
7.如权利要求3所述的方法，还包括：
基于帧计数差值在所述多个图像帧中选择另一个图像作为所述一对图像帧中的第二图像。
8.如权利要求7所述的方法，还包括：
基于所述可移动物体上的所述成像装置的所述状态信息来动态地重新配置所述一对图像帧中的所述第一图像帧与所述第一图像帧之间的所述帧计数差值。
9.如权利要求7所述的方法，还包括：
允许用户在观看所述三维FPV时配置所述一对图像帧中的所述第一图像帧与所述第二图像帧之间的所述帧计数差值。
10.如权利要求1所述的方法，其中：
所述变换关系是单应性矩阵，所述单应性矩阵是基于所述一对图像帧中的所述第一图像与所述一对基础图像帧中的所述第一图像之间的匹配特征点而获得。
11.如权利要求1所述的方法，还包括：
基于所述多个图像帧获得另一对图像帧，其中，从所述多个图像帧中选择的图像帧用作所述另一对图像帧中的第一图像，并且基于所述一对图像帧中的所述第二图像和另一个变换关系获得所述另一对图像帧中的第二图像。
12.如权利要求1所述的方法，还包括：
基于存储在图像高速缓存中的图像确定所述一对图像帧中的所述第二图像，其中，所述图像高速缓存操作以存储所述图像帧流的一部分和/或图像帧缓冲区。
13.如权利要求1所述的方法，还包括：
基于所述一对图像帧中的第一图像帧与第二图像帧之间的估计帧计数差值来配置图像高速缓存的大小。
14.一种用于支持三维(3D)显示的系统，所述系统包括：
一个或多个微处理器；
在所述一个或多个微处理器上运行的转换器，其中，所述转换器操作以
接收多个图像帧，所述多个图像帧是由可移动物体上的成像装置捕捉到；
获得所述可移动物体上的所述成像装置的状态信息；以及
使用所述可移动物体上的所述成像装置的所述状态信息来基于所述多个图像帧配置一对图像帧，其中，配置所述一对图像帧包括：
从所述多个图像帧中选择图像帧作为一对图像帧中的第一图像帧；
获得所述一对图像帧中的所述第一图像帧与一对基础图像帧中的第一图像帧之间的变换关系，其中，所述一对图像帧中的所述第一图像帧由所述成像装置在与所述一对基础图像帧中的所述第一图像帧和第二图像帧不同的时间捕捉，其中，所述变换关系包括将所述一对基础图像帧中的所述第一图像帧变换为所述一对图像帧中的所述第一图像帧；以及
通过使用所述变换关系变换所述一对基础图像帧中的所述第二图像帧来生成所述一对图像帧中的第二图像帧。
15.如权利要求14所述的系统，其中：
所述状态信息是基于从用于所述可移动物体的控制模块接收到的所述可移动物体的定位和姿态信息以及从有效载荷稳定控制模块接收到的所述成像装置的姿态信息来确定的，其中，所述有效载荷稳定控制模块控制稳定系统，所述稳定系统使所述可移动物体上的所述成像装置稳定。
16.如权利要求14所述的系统，其中：
所述转换器操作以将所述一对图像帧提供给显示装置，所述显示装置适于显示三维(3D)第一人称视角(FPV)。
17.如权利要求14所述的系统，其中：
所述一对图像帧中的所述第一图像帧是所述多个图像帧中的最新图像帧。
18.如权利要求16所述的系统，其中：
所述转换器操作以基于所述可移动物体上的所述成像装置的状态信息确定所述三维FPV的视场(FOV)的移动。
19.如权利要求18所述的系统，其中：
所述转换器操作以
如果所述三维FPV的所述FOV从左向右移动，则为所述三维(3D)FPV中的右图像配置所述一对图像帧中的所述第一图像帧，以及
如果所述三维FPV的所述FOV从右向左移动，则为所述三维(3D)FPV中的左图像配置所述一对图像帧中的所述第一图像帧。
20.如权利要求16所述的系统，其中：
所述转换器操作以在所述多个图像帧中选择另一个图像作为所述一对图像帧中的第二图像。
21.如权利要求20所述的系统，其中：
所述转换器操作以基于所述可移动物体上的所述成像装置的所述状态信息来动态地重新配置所述一对图像帧中的所述第一图像帧与所述第二图像帧之间的帧计数差值。
22.如权利要求20所述的系统，其中：
允许用户在观看所述三维FPV时配置所述一对图像帧中的所述第一图像帧与所述第二图像帧之间的所述帧计数差值。
23.如权利要求14所述的系统，其中：
所述变换关系是单应性矩阵，所述单应性矩阵是基于所述一对图像帧中的所述第一图像与所述一对基础图像帧中的所述第一图像之间的匹配特征点而获得。
24.如权利要求14所述的系统，其中：
所述转换器操作以基于所述多个图像帧获得另一对图像帧，其中，从所述多个图像帧中选择的图像帧用作所述另一对图像帧中的第一图像，并且基于所述一对图像帧中的所述第二图像和另一个变换关系获得所述另一对图像帧中的第二图像。
25.如权利要求14所述的系统，其中：
所述转换器操作以基于存储在图像高速缓存中的图像来确定所述一对图像帧中的所述第二图像，其中，所述图像高速缓存操作以存储所述图像帧流的一部分和/或图像帧缓冲区。
26.如权利要求14所述的系统，其中：
所述转换器操作以基于所述一对图像帧中的第一图像帧与第二图像帧之间的估计帧计数差值来配置图像高速缓存的大小。
27.一种上面存储有指令的非暂时性计算机可读介质，所述指令在由处理器执行时执行以下步骤，包括：
接收多个图像帧，所述多个图像帧是由可移动物体上的成像装置捕捉到；
获得所述可移动物体上的所述成像装置的状态信息；以及
使用所述可移动物体上的所述成像装置的所述状态信息来基于所述多个图像帧配置一对图像帧，其中，配置所述一对图像帧包括：
从所述多个图像帧中选择图像帧作为一对图像帧中的第一图像帧；
获得所述一对图像帧中的所述第一图像帧与一对基础图像帧中的第一图像帧之间的变换关系，其中，所述一对图像帧中的所述第一图像帧由所述成像装置在与所述一对基础图像帧中的所述第一图像帧和第二图像帧不同的时间捕捉，其中，所述变换关系包括将所述一对基础图像帧中的所述第一图像帧变换为所述一对图像帧中的所述第一图像帧；以及
通过使用所述变换关系变换所述一对基础图像帧中的所述第二图像帧来生成所述一对图像帧中的第二图像帧。
28.一种用于支持第一人称视角(FPV)的系统，包括：
可移动物体上的成像装置，其中，所述成像装置操作以捕捉多个图像帧；以及
所述可移动物体上的传输装置，其中，所述传输装置操作以将一对图像帧提供给显示装置，所述显示装置适于显示三维FPV，其中，
所述一对图像帧基于所述多个图像帧使用所述可移动物体上的所述成像装置的状态信息而生成；
从所述多个图像帧中选择图像帧作为所述一对图像帧中的第一图像帧；
获得所述一对图像帧中的所述第一图像帧与一对基础图像帧中的第一图像帧之间的变换关系，所述一对图像帧中的所述第一图像帧由所述成像装置在与所述一对基础图像帧中的所述第一图像帧和第二图像帧不同的时间捕捉，其中，所述变换关系包括将所述一对基础图像帧中的所述第一图像帧变换为所述一对图像帧中的所述第一图像帧；以及
通过使用所述变换关系变换所述一对基础图像帧中的所述第二图像帧来生成所述一对图像帧中的第二图像帧。
CN201580082965.2A 2015-09-08 2015-09-08 用于支持按第一人称视角(fpv)的三维显示的系统和方法 Expired - Fee Related CN108028914B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/089133 WO2017041227A1 (en) 2015-09-08 2015-09-08 System and method for supporting three-dimensional display in first person view (fpv)

Publications (2)

Publication Number Publication Date
CN108028914A CN108028914A (zh) 2018-05-11
CN108028914B true CN108028914B (zh) 2020-12-22

Family

ID=58190728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580082965.2A Expired - Fee Related CN108028914B (zh) 2015-09-08 2015-09-08 用于支持按第一人称视角(fpv)的三维显示的系统和方法

Country Status (7)

Country Link
US (1) US9894276B2 (zh)
EP (2) EP3873088A1 (zh)
JP (1) JP6628866B2 (zh)
CN (1) CN108028914B (zh)
DK (1) DK3348055T3 (zh)
ES (1) ES2881876T3 (zh)
WO (1) WO2017041227A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102840852A (zh) * 2011-05-23 2012-12-26 株式会社拓普康 航空摄影图像拾取方法和航空摄影图像拾取装置
US8717418B1 (en) * 2011-02-08 2014-05-06 John Prince Real time 3D imaging for remote surveillance

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10052996C2 (de) 2000-10-18 2003-03-20 Demag Ergotech Wiehe Gmbh Spritzgießeinrichtung mit mindestens zwei Steuerungen
US6747686B1 (en) * 2001-10-05 2004-06-08 Recon/Optical, Inc. High aspect stereoscopic mode camera and method
WO2010032058A1 (en) * 2008-09-19 2010-03-25 Mbda Uk Limited Method and apparatus for displaying stereographic images of a region
US8350894B2 (en) 2009-04-17 2013-01-08 The Boeing Company System and method for stereoscopic imaging
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US20110050857A1 (en) * 2009-09-03 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for displaying 3d image in 3d image system
CN102428707B (zh) * 2010-03-19 2015-03-11 松下电器产业株式会社 立体视用图像对位装置和立体视用图像对位方法
US8780174B1 (en) 2010-10-12 2014-07-15 The Boeing Company Three-dimensional vision system for displaying images taken from a moving vehicle
US9483836B2 (en) * 2011-02-28 2016-11-01 Sony Corporation Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
JP5882693B2 (ja) 2011-11-24 2016-03-09 株式会社トプコン 航空写真撮像方法及び航空写真撮像装置
WO2013062557A1 (en) * 2011-10-27 2013-05-02 The Boeing Company Stereo video movies
CN104504748B (zh) * 2014-12-03 2017-09-19 中国科学院遥感与数字地球研究所 一种无人机倾斜摄影红外三维成像系统及建模方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717418B1 (en) * 2011-02-08 2014-05-06 John Prince Real time 3D imaging for remote surveillance
CN102840852A (zh) * 2011-05-23 2012-12-26 株式会社拓普康 航空摄影图像拾取方法和航空摄影图像拾取装置

Also Published As

Publication number Publication date
US20170070722A1 (en) 2017-03-09
WO2017041227A1 (en) 2017-03-16
CN108028914A (zh) 2018-05-11
US9894276B2 (en) 2018-02-13
EP3348055A4 (en) 2018-08-15
DK3348055T3 (da) 2021-07-26
JP6628866B2 (ja) 2020-01-15
EP3348055B1 (en) 2021-05-26
EP3348055A1 (en) 2018-07-18
ES2881876T3 (es) 2021-11-30
EP3873088A1 (en) 2021-09-01
JP2018530949A (ja) 2018-10-18

Similar Documents

Publication Publication Date Title
US11513511B2 (en) Techniques for image recognition-based aerial vehicle navigation
US20230386064A1 (en) Obstacle avoidance during target tracking
US10104300B2 (en) System and method for supporting photography with different effects
US20190324449A1 (en) System and method for supporting synchronization in a movable platform
US20210134001A1 (en) System and method for moment capturing
US20170134631A1 (en) System and method for supporting smooth target following
KR20170089854A (ko) 표시 제어 장치, 표시 제어 방법 및 프로그램
CN109792543B (zh) 根据可移动物捕获的图像数据创建视频抽象的方法和系统
US11475682B2 (en) System and method for controlling an unmanned vehicle with presence of live object
KR20200073784A (ko) 가상 현실 서비스를 제공하는 서버, 단말 및 방법
US11138052B2 (en) System and method for supporting data communication in a movable platform
CN108028914B (zh) 用于支持按第一人称视角(fpv)的三维显示的系统和方法
CN113824885B (zh) 用于光程调节的系统、方法和相关无人机
CN111052020B (zh) 导航设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201222