CN110062916A - 用于模拟可移动平台的操作的视觉模拟系统 - Google Patents

Abstract

用于评估基于视觉的算法的系统和方法。接收在虚拟环境内模拟的可移动平台的第一组数据。所述第一组数据由可移动平台的状态数据和环境的场景数据确定。还接收可移动平台的第二组数据。所述第二组数据基于根据状态数据、场景数据和承载在可移动平台上的一个或多个成像传感器的参数模拟的视觉数据确定。计算与第一组数据相对应的第一指示符以及与第二组数据相对应的第二指示符。输出第一指示符和第二指示符之间的比较结果。

Description

用于模拟可移动平台的操作的视觉模拟系统

技术领域

所公开的实施例通常涉及用于模拟和测试可移动平台的操作的视觉模拟系统。

背景技术

诸如无人机(UAV)之类的可移动平台可以用于执行针对军事和民用应用的监视、侦察和勘探任务。可移动平台通常与被配置为捕获视觉图像的多个成像传感器相关联。可以使用各种基于视觉的算法来处理所捕获的视觉图像以获得用于操作可移动平台(例如，目标跟踪、避障和/或图像/视频捕获)的有用信息。为了测试基于视觉的算法的鲁棒性，可以使用视觉模拟代替真实环境的图像捕获和处理，因为与真实环境的图像捕获、处理和分析相比，视觉模拟成本更低且更省时。

发明内容

需要一种对各种模拟环境中的可移动物体平台的操作进行模拟的视觉模拟系统，用来模拟和测试用于目标跟踪、避障、图像/视频捕获和/或可移动平台的其他适合功能的基于视觉的算法。

根据一些实施例，公开了一种用于对可移动平台的视觉数据进行模拟的方法。所述方法包括获得可移动平台的状态数据，环境的场景数据，以及承载在可移动平台上的一个或多个成像传感器的参数，所述环境是在其中模拟所述可移动平台的环境。所述方法包括改变状态数据、场景数据和参数中的一个或多个以获得变化数据。所述方法还包括基于状态数据、场景数据和参数中的一个或多个的变化数据模拟由一个或多个成像传感器捕获的视觉数据。

根据一些实施例，一种系统可以包括一个或多个处理器；存储器；以及一个或多个程序。所述一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行。所述一个或多个程序包括用于执行上述方法的操作的指令。根据一些实施例，非暂时性计算机可读存储介质已经在其中存储有指令，所述指令在由电子装置执行时使电子装置执行上述方法的操作。

根据一些实施例，公开了一种用于评估基于视觉的算法的方法。所述方法包括接收在虚拟环境内模拟的可移动平台的第一组数据。第一组数据由可移动平台的状态数据和环境的场景数据确定。所述方法包括获得可移动平台的第二组数据。第二组数据基于根据状态数据、场景数据和承载在可移动平台上的一个或多个成像传感器的参数模拟的视觉数据确定。所述方法还包括确定与第一组数据相对应的第一指示符以及与第二组数据相对应的第二指示符。所述方法还包括输出第一指示符和第二指示符之间的比较结果。

根据一些实施例，一种系统可以包括一个或多个处理器；存储器；以及一个或多个程序。所述一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行。所述一个或多个程序包括用于执行上述方法的操作的指令。根据一些实施例，非暂时性计算机可读存储介质已经在其中存储有指令，所述指令在由电子装置执行时使电子装置执行上述方法的操作。

附图说明

图1示出了根据一些实施例的用于模拟可移动平台的操作的可移动平台模拟系统。

图2示出了根据一些实施例的用于模拟可移动平台的操作的示例性计算装置。

图3是示出了根据一些实施例的用于模拟视觉数据的视觉模拟器的框图。

图4是示出了根据一些实施例的模拟可移动平台的视觉数据的方法的流程图。

图5是示出了根据一些实施例的评估可移动平台的基于视觉的算法的方法的流程图。

图6A是根据一些实施例的用于对由可移动平台模拟系统的视觉模拟器模拟的可移动平台的操作进行可视化的说明性界面。

图6B和图6C是根据一些实施例的用于对参考图5中示出的方法讨论的第一指示符和第二指示符之间的比较结果进行可视化的说明性界面。

图7A至图7C是示出了根据一些实施例的用于通过视觉模拟器模拟可移动平台的视觉数据的方法的流程图。

图8A至图8C是示出了根据一些实施例的用于评估可移动平台的基于视觉的算法的方法的流程图。

具体实施方式

现在将详细参考实施例，其示例在附图中示出。在以下详细描述中，阐述了许多具体细节以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践各种所述实施例。在其他实例中，没有详细描述公知的方法、过程、部件、电路和网络，以免不必要地模糊实施例的各方面。

以下描述使用无人机(UAV)(例如，直升机)作为可移动平台的示例。例如，UAV包括固定翼飞行器和旋翼飞行器(如直升机、四旋翼机和具有其他旋翼数量和/或旋翼配置的飞行器)。在一些实施例中，可移动平台还包括但不限于具有相机和图像处理能力的手持式云台、自动驾驶汽车(即，自主性汽车、无人驾驶汽车)、虚拟现实(VR)耳机和增强现实(AR)耳机。对于本领域技术人员而言显而易见的是，其他类型的可移动平台(诸如移动电话、平板电脑或遥控器)可以替代如下所述的UAV。

传统上，从UAV操作获得的各种类型的数据(例如，状态数据、视觉数据和操作参数)用于开发基于视觉的算法。通过在真实环境中的各种情况下操作UAV，在UAV的飞行控制器上测试所开发的基于视觉的算法。在这些测试期间收集各种类型的数据，并将这些数据与用于开发基于视觉的算法的相应数据进行比较，以便测试基于视觉的算法的准确性和鲁棒性。然而，由于来自UAV操作的可用数据有限，并且在真实环境中测试UAV是耗时、昂贵且要求严格的过程，因此上述用于开发和测试基于视觉的算法的过程效率较低、成本高且准确性低。因此，需要一种有效和高效的测试基于视觉的算法的鲁棒性的方法。

本公开提供了关于提供可移动平台操作的模拟可视化以及测试与可移动平台的操作相关联的基于视觉的算法的技术。在一些实施例中，可移动平台模拟系统包括实现一个或多个模型的状态模拟器以模拟虚拟可移动平台的操作和相关状态，模型例如包括可移动平台模型、传感器模型和/或环境模型。在一些实施例中，可移动平台模拟系统还包括视觉模拟器，其模拟来自与虚拟可移动平台相关联的一个或多个虚拟成像传感器的视角的视觉数据。视觉模拟器可以逼真地模拟视觉数据以包括各种类型的图像缺陷，其模仿从承载在真实可移动平台上的一个或多个成像传感器接收的真实图像缺陷。所模拟的视觉数据可以用作各种基于视觉的算法的输入，和/或用于测试各种硬件部件，硬件部件例如是可移动平台、遥控器、一个或多个成像传感器等。

在一些实施例中，基于视觉的算法用于在各种环境下计算可移动平台的操作数据，各种环境例如是目标跟踪和/或避障。在一些实施例中，针对从状态模拟器获得的地面实况(ground truth)数据评估使用基于视觉的算法获得的计算得到的数据，以验证基于视觉的算法的准确性和鲁棒性。通过使用如本公开中所讨论的可移动平台模拟系统，可以有效、高效且经济地模拟可移动平台的操作并且测试与可移动平台的操作相关联的各种基于视觉的算法。

图1示出了根据一些实施例的用于模拟可移动平台的操作的可移动平台模拟系统100。在一些实施例中，可移动平台模拟系统100包括多个部件(例如，软件和/或硬件部件)，这些部件包括彼此通信地耦合的状态模拟器102、视觉模拟器104、飞行控制算法106、基于视觉的算法108和飞行控制器110。在一些实施例中，可移动平台模拟系统100还包括存储装置112，用于存储从状态模拟器102获得的数据(例如，模拟状态数据或地面实况数据)和/或从视觉模拟器104获得的数据(例如，所模拟的视觉数据)。应注意，图1中所示的多个部件可以在一个或多个计算机系统上实现。在一些实施例中，飞行控制算法106、基于视觉的算法108和飞行控制器110在一个计算机系统140上实现，而状态模拟器102和视觉模拟器104通过另一个计算机系统150支持。在一些其他实施例中，每个部件在单独的计算机系统上实现以测试部件的可靠性，并且出于调试目的，将关联于一个部件的问题与关联于另一部件的问题隔离开。在又一些其他实施例中，当可移动平台已经将不同的功能集成在一起时，所有部件在一个计算机系统上实现以模仿最近似于现实操作条件的场景。因此，本领域技术人员将理解，后续讨论用于说明目的，并且不限于具体部件的特定实现。

在一些实施例中，状态模拟器102用于通过实现多个模型来模拟可移动平台的一个或多个状态。在一些实施例中，多个模型包括可移动平台模型、传感器模型和/或环境模型。在一些实施例中，状态模拟器102由单个计算装置(例如，图2的计算装置200)实现，或者由一起工作以执行相关动作的多个装置实现。在一些实施例中，状态模拟器102的功能的一个或多个部分通过云计算来实现。在一些实施例中，使用一个或多个计算装置上的软件来实现多个模型。

在一些实施例中，状态模拟器102获得由飞行控制算法106生成的控制信号128。在一些实施例中，状态模拟器102实现可移动平台模型以基于与控制信号128相关的数据确定与可移动平台的模拟状态(例如，地面实况状态)相关联的状态数据120(例如，地面实况数据)。在一些实施例中，状态数据120包括位置(例如，坐标)、位移、速度、加速度、方位角(或姿态)、角速度和/或其他类型的状态数据。在一些实施例中，状态数据120还包括飞行模式信息，飞行模式信息包跟踪模式(例如，跟踪人、动物或物体)、观看模式(例如，通过实时调整正在工作的UAV的相机的云台配置使得一个或多个物体保持在相机的视场中，从而观看该一个或多个物体)、兴趣点(POI)模式(例如，控制UAV悬停在用户定义的兴趣点和/或拍摄兴趣点的360度视频)等。

在一些实施例中，状态模拟器102实现传感器模型以基于状态数据120和环境数据(例如，通过实现环境模型获得的高度、纬度、经度、时间、地球的磁场强度等)确定传感器数据124。在一些实施例中，传感器数据124包括来自GPS接收器、惯性测量单元(IMU)、加速度计、陀螺仪、罗盘、气压计、温度计和/或与可移动平台相关联的其他类型的传感器的模拟测量值。在一些实施例中，状态模拟器102将传感器数据124发送给飞行控制算法106，以便形成用于测试和模拟可移动平台的操作的硬件在环(HIL)模拟。

在一些实施例中，状态模拟器102将状态数据120发送给视觉模拟器104，用于处理和生成与可移动平台操作的模拟可视化相关联的视觉数据122。在一些实施例中，视觉模拟器104由单个计算装置(例如，图3的视觉模拟器104)实现，或者由一起工作以执行相关动作的多个计算装置实现。在一些实施例中，视觉模拟器104的功能的一个或多个部分通过云计算来实现。

在一些实施例中，视觉数据122包括来自与可移动平台相关联的一个或多个虚拟成像传感器的视角的所模拟的视觉数据，虚拟成像传感器例如是由云台系统承载的主成像装置(搭载物)和/或一个或多个成像传感器(如立体相机、诸如飞行时间(TOF)相机之类的深度相机、红外相机、超声成像传感器、视觉测距系统的多个相机)。至少基于可移动平台的状态数据120和一个或多个虚拟成像传感器的一个或多个参数来模拟和光栅化视觉数据122。在一些实施例中，参数包括一个或多个虚拟成像传感器的固有参数，例如，焦距、缩放信息、焦深(DOF)等。在一些实施例中，参数包括外部参数，例如，一个或多个成像传感器的位置信息(如姿态)。

在一些实施例中，视觉数据122包括与对用户定义环境(例如，包括山、天空、云、建筑物、树、物体、光等)进行可视化有关的数据，模拟可移动平台在该用户定义的环境内操作。在一些实施例中，视觉数据122包括用于对环境进行可视化的三维数据。在一些实施例中，视觉数据122包括用于对可移动平台的模拟状态进行可视化的所模拟的视觉数据。模拟状态的这种可视化的示例包括：可移动平台与环境中的物体的碰撞、来自碰撞的影响、机翼的折断、风对可移动平台施加的力的影响等等。在一些实施例中，将与这种影响相关的数据(例如，视觉反馈数据132)发送给状态模拟器102。

在一些实施例中，视觉模拟器104将与每个图像帧相关联的数据发送到存储装置112并存储在其中。这种存储数据包括每个图像帧的视觉数据122、状态数据120、成像传感器的参数、一个或多个物体的深度信息、每个像素的像素值、一个或多个物体的坐标等。在一些实施例中，存储装置112中存储的数据用于测试和评估基于视觉的算法108。

在一些实施例中，视觉模拟器104进一步处理视觉数据122以包括一种或多种类型的图像缺陷(例如，图像噪声、图像失真和/或不适当的亮度)，这些图像缺陷模仿从承载在可移动平台上的真实成像传感器接收的真实图像缺陷。下面参考图3和图4提供对视觉模拟器104的成像处理的详细描述。

在一些实施例中，飞行控制器110包括用于从用户接收控制命令的一个或多个用户输入装置。控制命令可用于调整可移动平台的状态、用于操作可移动平台、和/或用于调整与可移动平台相关联的一个或多个成像传感器的固有参数和/或外部参数。

在一些实施例中，飞行控制算法106基于从状态模拟器102接收的传感器数据124、从飞行控制器110接收的控制命令以及从基于视觉的算法108接收的计算得到的操作数据130生成控制信号128。在一些实施例中，控制信号128包括脉冲宽度调制(PWM)信号。在一些实施例中，控制信号128包括基于PWM信号生成并且用于控制三相(或AC)电力的数据，三相(或AC)电力包括用于控制可移动平台的一个或多个电机的低压源，以便实现可移动平台的某些移动和/或空间布置。例如，控制信号180可用于加速、减速、扭转或停止可移动平台。控制信号180还可用于调整可移动平台的朝向和/或承载在可移动平台上的云台系统的朝向。在一些实施例中，飞行控制算法106在可移动平台上的逻辑上执行，例如，在如图1中所示的飞行控制器110的逻辑上执行。

在一些实施例中，飞行控制算法106集成来自状态模拟器102的传感器数据124和来自基于视觉的算法108的计算得到的操作数据130，以使用例如卡尔曼滤波器、扩展卡尔曼滤波器或任何合适的传感器融合算法来获得集成数据126。在一些实施例中，集成数据126包括位置、朝向、角速度、线速度、角加速度、线性加速度、可移动平台和环境中的物体(例如，目标)之间的相对位置、可移动平台和环境中的物体之间的相对速度等。请注意，由集成数据126表示的可移动平台的状态不同于与状态数据120相关联的模拟状态(也称为地面实况状态)。在一些实施例中，飞行控制算法106将集成数据126发送给状态模拟器102。

在一些实施例中，基于视觉的算法108用于使用可移动平台执行各种操作，例如，导航、映射、避免碰撞、路径规划、目标跟踪等。在一些实施例中，基于视觉的算法108包括用于映射的同时定位和映射(SLAM)算法、用于确定可移动平台的位置和朝向的视觉测距(VO)算法等。在一些实施例中，基于视觉的算法108在飞行控制器112上执行。备选地，在不同于飞行控制器112的单独计算装置上执行基于视觉的算法108。

在HIL模拟场景的一些实施例中，可移动平台模拟系统100生成虚拟可移动平台和相关联的虚拟传感器(例如，虚拟GPS、虚拟云台、虚拟陀螺仪)，并且向可移动平台上的逻辑(例如，包括在飞行控制器110或基于视觉的算法108中)提供视觉数据122。在一些实施例中，视觉数据122还可以包括非视觉信息(例如，UAV位置、机载相机朝向)。在一些实施例中，可移动平台上的逻辑基于从状态模拟器102接收的模拟传感器数据124和从视觉模拟器104接收的视觉数据122，使用基于视觉的算法108计算操作数据130。在一些实施例中，计算得到的操作数据130包括用于致动可移动平台以执行一个或多个操作的控制命令。在一些实施例中，计算得到的操作数据130包括虚拟可移动平台在模拟操作(例如，导航、映射、避免碰撞、路径规划、目标跟踪等)中的状态数据。例如，计算得到的操作数据130包括虚拟模拟可移动平台的位置或朝向和/或速度。在一些实施例中，可以针对模拟状态数据120(例如，地面实况数据)评估计算得到的操作数据130以测试和改进基于视觉的算法108。在一些实施例中，将计算得到的操作数据130发送给飞行控制算法106。

在一些实施例中，状态模拟器102和视觉模拟器104实现在两个单独的计算装置上。参考图2示出了用于运行状态模拟器102或视觉模拟器104的计算装置的细节。在一些实施例中，状态模拟器102和视觉模拟器104之间的数据通信使用用户数据报协议(UDP)。在一些实施例中，飞行控制算法106和基于视觉的算法在可移动平台上的集成逻辑上(例如，在飞行控制器110中)执行。在一些实施例中，可移动平台上的集成逻辑和状态模拟器102之间的数据通信使用通用异步接收器/发送器(UART)接口和/或通用串行总线(USB)到UART转换器。在一些实施例中，飞行控制算法106使用电子速度控制(ESC)接口将控制信号128发送给状态模拟器102。例如，ESC接口采用PWM信号作为输入，并且输出用于控制可移动物体的一个或多个电机的控制信号128，以便实现可移动物体的某些运动和/或空间布置。在一些实施例中，状态模拟器102的数据采集系统包括用于接收控制信号128的NI PCI6602数据采集板。在一些实施例中，视觉模拟器104使用移动工业处理器接口(MIPI)传输或通用串行总线(USB)传输将视觉数据122发送给基于视觉的算法108。例如，使用MIPI发送来自与可移动平台相关联的一个或多个成像传感器的低分辨率图像数据，并且使用USB发送来自可移动平台的搭载物上的主成像装置的高分辨率图像数据。可移动平台模拟系统100的部件之间的其他类型的数据通信包括使用基于有线/电缆的连接或无线连接(例如，有线、无线电、蓝牙、云连接、4G/LTE或WiFi)、安全数字(SD)卡或USB驱动器、文件传输、传输控制协议(TCP)、用户数据报协议(UDP)、基于UDP的数据传输协议(UDT)或Web套接字协议。

图2示出了根据一些实施例的用于模拟可移动平台的操作的示例性计算装置200。在一些实施例中，计算装置200由提供状态模拟器102的实体、提供视觉模拟器104的实体或者不同的实体(例如，云服务提供商)提供。在一些实施例中，计算装置200包括多个部件，例如存储单元(例如，存储器204)和处理单元202(例如，一个或多个处理器)，其中一些可以是可选的。在一些实施例中，计算装置200被实现为各种装置或各种装置的一部分，各种装置例如是计算机、服务器、平板电脑、移动电话、网络装置、控制器、卫星、信号塔，等等。在一些实施例中，存储单元204被实现为暂时性和/或非暂时性存储介质或存储器，其被配置为存储数据、逻辑、代码和/或程序指令，它们可由处理单元202执行，用于执行一个或多个例程或函数、和/或步骤和方法，例如模拟或光栅化。

在一些实施例中，存储单元204包括用于实现模拟模块(例如，用于状态模拟器102)或光栅化模块(例如，用于视觉模拟器104)的指令。在一些实施例中，光栅化模块或其部分可以由硬件(例如，专用集成电路(ASIC)、图形处理单元(GPU)、现场可编程门阵列(FPGA))或者硬件和软件二者的组合来实现。在一些实施例中，例如，光栅化模块包括虚幻引擎、Unity 3D或CryEngine。在一些实施例中，光栅化模块可以被配置为基于原始图像渲染图像，例如，将3D场景转换为2D图像以供显示。在一些实施例中，光栅化模块是如参考图1所述的视觉模拟器104的一部分。在一些实施例中，存储单元204包括执行本文描述的一个或多个方法(例如，方法400或方法500)的指令。

在一些实施例中，计算装置200包括处理单元202、存储器204、通信系统210以及用于将这些部件互连的一个或多个通信总线212。在一些实施例中，计算装置200包括输入/输出(I/O)接口206，例如，显示器216和/或输入装置214。在一些实施例中，计算装置200可通信地连接到数据库218(例如，经由通信系统210)和/或计算装置200包括数据库218(例如，数据库218连接到通信总线212)。在一些实施例中，通信系统210包括一个或多个网络或其他通信接口。

图3是示出了根据一些实施例的用于模拟视觉数据122的视觉模拟器104的框图。在一些实施例中，视觉模拟器104与物理系统或物理物体相对应。例如，视觉模拟器104体现为专用计算机或服务器系统。又例如，视觉模拟器104是计算机(例如，图2的计算装置200)，其包括由计算机程序指令编程的一个或多个物理处理器，计算机程序在执行时使一个或多个物理处理器执行本公开中描述的一个或多个方法。再例如，视觉模拟器104被实现为计算机、模拟器或智能装置(例如，智能电话或平板电脑)上的应用。再例如，视觉模拟器104实现在单个装置上或作为单个装置的一部分实现，单个装置例如是可移动平台、可移动平台的控制器、虚拟现实头盔、模拟器、一副眼镜、隐形眼镜、可穿戴设备等。再例如，视觉模拟器104由一个以上的装置实现或通过云计算实现。

在一些实施例中，视觉模拟器104包括I/O接口314、通信单元312、处理单元302和存储单元304，其中一些可以是可选的。在一些实施例中，I/O接口314包括输入装置316和显示装置318。在一些实施例中，当视觉模拟器104是服务器盒时，显示装置318和/或I/O接口314可以是可选的。视觉模拟器104的部件可以经由总线320或其他类型的通信通道可操作地彼此连接。视觉模拟器104的部件可以是物理部件。在一些实施例中，视觉模拟器104包括比图3所示更多的部件。然而，为了公开说明性实施例，并不需要示出所有这些部件。

在一些实施例中，I/O接口314包括键盘、打印机、显示器、触摸屏、麦克风等。在一些实施例中，I/O接口314被配置为向视觉模拟器104输入信号或从视觉模拟器104输出信号。例如，I/O接口314被配置为提供用户接口，例如，操纵杆或触摸屏，以接收用于改变模拟图像的视角的信号。

在一些实施例中，通信单元312包括用于有线通信的连接器、用于无线通信的无线发射器和接收器和/或无线收发器。通信可以包括控制信号和/或数据。连接器、发射器/接收器或收发器可以被配置用于视觉模拟器104和各种装置(例如，状态模拟器102和/或可移动平台上提供基于视觉的算法108的逻辑)之间的双向通信。例如，通信单元312可以向可移动平台或提供状态模拟器102的计算装置发送或者从其接收操作信号和/或数据。

在一些实施例中，显示器318可以被配置为向用户提供视觉数据。显示器318可以是可选的。提供的视觉数据可以是原始视觉数据、渲染后的视觉数据、所模拟的视觉数据、变换后的视觉数据等。这样的数据可以包括通过执行本文描述的一个或多个方法中的一个或多个步骤而获得的音频、图像和视频。还可以经由用户接口(例如I/O接口314)控制视觉数据，以基于用户输入操纵、编辑或以其他方式使用视觉数据。

在一些实施例中，存储单元304可以包括暂时性和/或非暂时性存储介质或存储器，其被配置为存储数据、逻辑、代码和/或程序指令，它们可由处理单元302执行，用于执行一个或多个例程或函数、和/或本文公开的步骤和方法。存储单元304可以包括一个或多个存储器单元(例如，闪存卡、随机存取存储器(RAM)、只读存储器(ROM)等)。在一些实施例中，来自I/O接口314的输入可被传送到并存储在存储单元304的存储器单元内。尽管图3描绘了单个存储器304，但是本领域的技术人员将会理解，这不旨在是限制性的，并且视觉模拟器104可以包括多个处理单元和/或存储器的存储器单元。

在一些实施例中，存储单元304可以包括用于实现模拟引擎306、光栅化引擎308和编码器310的指令。处理单元302可以被配置为执行存储单元304中存储的、与模拟引擎306、光栅化引擎308和编码器310相对应的指令。在一些其他实施例中，模拟引擎306、光栅化引擎308和/或编码器310或者模拟引擎306、光栅化引擎308和/或编码器310的部分可以以软件、硬件(例如，GPU、FPGA)或者二者的组合来实现。

在一些实施例中，模拟引擎306可以被配置为执行本文描述的一个或多个方法，例如方法400。光栅化引擎308和编码器310可以是可选的。在一些实施例中，光栅化引擎308或其部分可以由硬件(例如，专用集成电路(ASIC)、图形处理单元(GPU)、现场可编程门阵列(FPGA))或者硬件和软件二者的组合来实现。例如，光栅化引擎308可以包括虚幻引擎、Unity 3D或CryEngine。光栅化引擎308可以被配置为基于原始图像渲染图像，例如将3D场景转换为2D图像以供显示。在一些实施例中，编码器310可以被配置为出于标准化、速度或压缩的目的将数据、信息或信号从一种格式/代码转换为另一种格式/代码。在一些实施例中，编码器234使用的压缩标准可以包括H.264、JPEG或JPEG2000。使用压缩标准可以减少生成数据的响应时间。

在一些实施例中，处理单元302可以包括一个或多个处理器，诸如，可编程处理器(例如，中央处理单元(CPU)、FPGA、ASIC)。在一些实施例中，处理单元302可以包括一个或多个GPU和/或ASIC，用于快速和有效地生成虚拟数据。模拟引擎306可以实现为CPU或GPU或者CPU或GPU的一部分。在一些实施例中，视觉模拟器104的一个或多个部件(例如模拟引擎306)可以被配置为执行存储单元304中存储的一个或多个指令以实现本文描述的一个或多个方法。所实现的方法可以包括模拟、渲染或者变换视觉数据。下面参考图4提供这些方法的详细描述。

图4是示出了根据一些实施例的用于模拟视觉数据122的方法400的流程图。在一些实施例中，方法400的一个或多个步骤由计算装置执行，例如参考图1和图3所讨论的视觉模拟器104。在一些其他实施例中，方法400的一个或多个步骤由其他计算装置执行，例如参考图2所讨论的计算装置200。图4中执行的操作与存储在相应计算装置的计算机存储器或其他计算机可读存储介质中的指令相对应。在一些实施例中，方法400包括多个步骤，其中一些步骤是可选的或者以另一顺序重新排列。

在一些实施例中，视觉模拟器104从参考图1所讨论的状态模拟器102获得(410)可移动平台的状态数据120。

在一些实施例中，视觉模拟器104还获得(410)虚拟环境的场景数据，在该虚拟环境中模拟可移动平台。例如，虚拟环境是用户定义的环境，例如包括山、天空、云、建筑物、树木、物体、光等。在一些实施例中，场景数据是可配置的并且可以由用户(例如，基于使用一个或多个输入装置316接收的用户指令)、配置文件、实时设置等来配置。在一些实施例中，场景数据包括与环境中的静态物体相关联的数据，例如山、建筑物(例如图6A中的建筑物)、树木(例如图6A中的树木)等。在一些其他实施例中，场景数据包括与环境中的移动物体相关联的数据，例如移动的人、汽车(例如图6A中的汽车)、热气球等。在一些实施例中，场景数据包括环境的三维数据。在一些实施例中，场景数据包括与环境中的天气状况和/或照明状况相关的数据。

在一些实施例中，视觉模拟器104还获得(410)与参考图1所讨论的模拟可移动平台相关联的一个或多个成像传感器(也称为视觉传感器、图像传感器)的一个或多个参数。在一些实施例中，成像传感器的一个或多个参数是可配置的，并且可以由用户、配置文件、实时设置等来配置。在一些实施例中，通过网络、存储器传递、用户输入(例如，使用一个或多个输入装置316接收的)、来自飞行控制器110的控制命令等来获得一个或多个参数。

在一些实施例中，成像传感器是被配置为捕获虚拟图像的虚拟成像传感器。在一些实施例中，虚拟成像传感器包括模拟镜头和被配置为通过模拟镜头捕获虚拟图像的模拟检测器，模拟镜头与物理成像传感器的物理镜头相对应，模拟检测器与物理视觉传感器的物理检测器相对应。在一些实施例中，一个或多个参数与虚拟成像传感器(例如，相机)的光学器件(例如，镜头)和/或图像传感器(例如，检测器)相关。例如，与光学器件相关的参数可以包括镜头的焦距、折射率和失真模型(例如，将入射光线方向和输出光线方向相关联的模型)；并且与图像传感器相关的参数可以包括传感器大小、光子噪声和热噪声。在一些实施例中，在虚拟成像传感器中模拟物理镜头和/或检测器的特性(例如，光学特性、材料特性和化学特性)以模仿物理成像传感器。

在一些实施例中，视觉模拟器104获得(410)状态数据120、场景数据以及与模拟可移动平台相关联的虚拟成像传感器的一个或多个参数来模拟视觉数据122。在一些实施例中，视觉模拟器104的模拟引擎306被配置为模拟视觉数据122，并且光栅化引擎308被配置为基于视觉数据122渲染图像(例如，如图6A所示)。在一些实施例中，所模拟的视觉数据和渲染后的图像来自一个或多个虚拟成像传感器的视角(例如，视野)。在一些实施例中，视觉数据122包括与虚拟环境(例如，开放空间、森林、体育场等)相关的数据。如本文其他地方所讨论的，与虚拟环境相关的数据可以从用户处获得、或者由视觉模拟器104外部的另一装置捕获、或者来自其他源(例如，互联网)。在一些实施例中，存储单元304中存储的一个或多个3D模型用于模拟与虚拟环境相关的数据。在一些实施例中，从与虚拟可移动平台相关联的虚拟成像传感器的视角对虚拟环境进行模拟和光栅化。在一些实施例中，视觉模拟器104基于虚拟可移动平台的当前状态(例如，基于状态数据120)和一个或多个虚拟成像传感器的一个或多个参数从一个或多个所选择的3D模型提取3D场景。

在一些实施例中，视觉模拟器104改变(420)状态数据、场景数据和/或操作参数中的一个或多个数据项以获得变化数据。例如，可移动平台的朝向或位置可能因可移动平台的状态改变而改变。在另一示例中，用户可以改变场景数据以在不同的环境中测试虚拟可移动平台。在又一示例中，可以改变虚拟成像传感器的一个或多个操作参数，例如主相机的朝向。

在一些实施例中，视觉模拟器104基于状态数据120、场景数据和/或与模拟可移动平台相关联的虚拟成像传感器的一个或多个参数的变化数据模拟(430)更新的视觉数据。

在一些实施例中，视觉模拟器104处理(440)更新的所模拟的视觉数据以对所模拟的视觉数据的一个或多个图像效果进行模拟。在一些实施例中，对所模拟的视觉数据进行变换以模拟一效果，该效果模仿由物理镜头捕获的图像的相应效果。例如，视觉模拟器104可以重新计算、调整或修改所模拟的视觉数据以模拟一个或多个参数的效果。在一些实施例中，例如，图像效果包括失真效果、噪声效果、光学效果、亮度效果等。在一些实施例中，虚拟成像传感器的一个或多个参数包括用于模拟各种图像效果的一个或多个模型。通过模拟一个或多个参数的效果，变换后的视觉数据可以允许更好地测试基于视觉的算法(例如，如参考图5中的方法500所讨论的)，例如，导航、映射、避免碰撞、路径规划、跟踪等。

在一些实施例中，一个或多个图像缺陷包括图像失真效果。在一些实施例中，失真效果包括桶形失真(例如，鱼眼镜头的)、枕形失真或胡须失真。在一些实施例中，成像传感器的一个或多个参数包括用于模拟产生图像失真效果的物理镜头的光学像差的失真模型。在一些实施例中，视觉模拟器104基于与失真模型相对应的参数模拟图像失真效果。

在一些实施例中，一个或多个图像缺陷包括噪声相关效果。在一些实施例中，噪声相关效果与图像中的亮度或颜色信息的随机变化相关，并且可以与成像传感器的传感器大小、光子噪声和热噪声相关。在一些实施例中，成像传感器的一个或多个参数包括用于模拟光子噪声和热噪声的模型，其中光子噪声与亮度相关且热噪声与曝光时间相关。

在一些实施例中，处理所模拟的视觉数据以在图像中提供均匀的亮度。在一些实施例中，视觉模拟器104计算模拟图像的平均亮度，并且调整图像的亮度，使得模拟图像模仿由物理镜头使用自动曝光模式捕获的图像中的均匀亮度。

在一些实施例中，将模拟的图像效果添加到所模拟的视觉数据，使得模拟图像模仿由物理成像传感器捕获的图像。例如，将与模拟图像效果相关的噪声值添加到相应像素的模拟像素值，以获得模拟图像的变换后的像素值。在一些实施例中，可以根据分布(例如，高斯分布)或基于另一可配置的规则将噪声值均匀地添加到模拟像素值。

图5是示出了根据一些实施例的用于测试和评估基于视觉的算法的方法500的流程图。在一些实施例中，方法500的一个或多个步骤由计算装置(例如，图2的计算装置200)执行。在一些其他实施例中，方法500的一个或多个步骤由可移动平台上的逻辑执行，逻辑例如在飞行控制器或者可移动平台上的其他适合的计算装置内。图5中执行的操作与存储在相应计算装置的计算机存储器或其他计算机可读存储介质中的指令相对应。在一些实施例中，执行方法500的计算装置提供如图1中所讨论的基于视觉的算法108。在一些实施例中，提供基于视觉的算法108的计算装置不同于执行方法500的计算装置。在一些实施例中，方法500包括多个步骤，其中一些步骤是可选的或者以另一顺序重新排列。

在一些实施例中，计算装置从状态模拟器104获得(510)状态数据120(例如，地面实况数据)。在一些实施例中，计算装置获得(520)由基于视觉的算法108提供的计算得到的操作数据130。在一些实施例中，由基于视觉的算法108基于视觉模拟器104模拟的视觉数据122计算操作数据130。在一些实施例中，视觉数据122包括由视觉模拟器104使用方法400模拟的一个或多个图像效果。参考图1讨论了状态数据120和计算得到的操作数据130的细节。

在一些实施例中，计算装置计算(530)与状态数据120相对应的第一指示符、以及与计算得到的操作数据130相对应的第二指示符。参考图6B和图6C说明第一指示符和第二指示符的示例性实施例。在一些实施例中，第一指示符和第二指示符包括相应的视觉指示符(例如，线、框、突出显示的区域等)，这些视觉指示符对从对应数据中去除的相应信息进行可视化。

在一些实施例中，计算装置输出(540)第一指示符和第二指示符之间的比较结果。例如，如图6B所示，使用SLAM算法或VO算法来计算可移动平台和与可移动平台相关联的成像传感器的位置和朝向。在图6B中分别使用实线和虚线示出基于状态数据120和计算得到的操作数据130确定的可移动平台的位置和可移动平台的轨迹。在如图6C所示的另一示例中，在目标跟踪模拟期间，在图6C中分别使用实线框和虚线框示出基于状态数据120和计算得到的操作数据130确定的目标的位置。第一指示符和第二指示符之间的比较结果可以为测试和评估基于视觉的算法提供方便和直观的视图。例如，当第一指示符和第二指示符之间存在显著差异时，可以修改基于视觉的算法，并且可以使用修改后的基于视觉的算法获得更新的计算得到的操作数据130。可以计算与更新的计算得到的操作数据130相对应的更新的第二指示符，并且以与第一指示符对比的形式将更新的第二指示符显示给用户。可以重复该过程，直到第一指示符和第二指示符之间的差异在预定的可接受范围内为止。然后，可以将修改后的基于视觉的算法集成到真实可移动平台的系统中以进行测试，该修改后的基于视觉的算法生成与可接受的第二指示符相对应的操作数据130。

图6A是根据一些实施例的用于可视化由可移动平台模拟系统100(例如，图1)的视觉模拟器模拟的可移动平台的操作的说明性界面600。在一些实施例中，在视觉模拟器104的显示装置318或者计算装置200的显示装置216上显示界面600。在一些实施例中，用户可以通过界面600查看，并且分别使用输入装置316或输入装置214与界面600进行直接用户交互。例如，用户可以在显示屏幕上拖动和/或点击来放大/缩小、选择环境中的物体和/或从不同的视角查看模拟视图。

在如图6A所示的一些示例中，界面600显示在如下环境中操作的可移动平台602，该环境是包括一个或多个建筑物、树木和在街道上行驶的汽车的环境。在一些实施例中，在点602处具有顶点的第一视觉金字塔604表示位于可移动平台前部的一个或多个成像传感器的视场。例如，位于可移动平台前部的一对VO相机可以捕获树木606的图像。在一些其他实施例中，第一视觉金字塔604表示承载在可移动平台的搭载物上的主成像传感器的视场，并且主成像传感器的朝向被调整为面向可移动平台的前下方。在一些实施例中，第二视觉金字塔608表示位于可移动平台底部的一个或多个成像传感器的视场，一个或多个成像传感器例如是位于可移动平台底部的一对VO相机，或者是被定位为捕获可移动平台下方的物体(例如，汽车610)的图像的主成像传感器。尽管未示出，但是界面600还可以可视化与以下内容相关的视觉数据：可移动平台和环境中的物体之间的碰撞、在特定高度飞行的可移动平台、碰撞产生的扭矩、机翼的折断、风对可移动平台施加的力等。

在如图6A所示的一些实施例中，除了模拟图像之外，还可以在界面600的面板620中(例如，与模拟实时地)显示与可移动平台的状态、可移动物体周围的模拟环境和/或模拟传感器测量值相关联的一个或多个数据项。例如，面板620列出了从视觉数据120、环境数据、场景数据、状态数据和/或传感器数据中选择的一个或多个数据项。例如，如图6A所示，面板620列出了模拟可移动物体的操作期间的速度(即，速率)、方位角、纬度(La)、经度(Lo)、高度(H)和风速(Wind)。在一些其他示例中，面板620列出了在模拟视图中检测到的一个或多个物体(例如，树木)的尺寸和/或距离。

在一些实施例中，用户可以直接调整和/或输入数据项的数字，数据项例如是可移动平台的高度。作为响应，将改变模拟期间可移动平台的相应状态，例如高度。在一些实施例中，用户可以直接与模拟图像交互以操纵可移动平台的模拟。例如，用户可以圈出物体，作为响应，可移动平台模拟系统100可以模拟和显示可移动平台的目标跟踪模式。

图6B和图6C是根据一些实施例的用于可视化如参考图5的方法500所讨论的、第一指示符和第二指示符之间的比较结果的说明性界面。在一些实施例中，在计算装置200的显示装置216上显示界面630(图6B)和650(图6C)。

在如图6B所示的一些实施例中，使用基于视觉的算法(例如，SLAM或VO算法)计算操作数据130，操作数据包括可移动平台的位置/朝向和可移动平台的移动轨迹。在一些实施例中，界面630基于计算得到的操作数据130以虚线星形显示可移动平台的位置/朝向636，并且以虚线显示移动轨迹634。在一些实施例中，界面630还基于状态数据120(例如，地面实况数据)以实线星形显示可移动平台的位置/朝向638，并且以实线显示可移动平台的移动轨迹632。从计算得到的操作数据130和状态数据120中去除的相应信息之间的差异可以在界面630上直接可视化。基于可视化的比较结果，可以方便地评估基于视觉的算法的准确性和鲁棒性。在一些实施例中，当修改了基于视觉的算法时，可以实时更新包括可移动平台的位置/朝向636和移动轨迹634在内的计算得到的操作数据130，并且可以在界面630上即时更新包括虚线星形和虚线在内的指示符，以可视化基于视觉的算法的修改效果。

在如图6C所示的一些实施例中，基于视觉的算法可用于计算操作数据130、用于模拟通过可移动平台对环境中的物体(例如，汽车)的跟踪。在一些实施例中，界面650在虚线框中显示跟踪目标(例如，汽车)的位置652，并且基于计算得到的操作数据130确定跟踪目标的位置652。在一些实施例中，界面650还在虚线框中显示跟踪目标(例如，汽车)的位置654，并且基于状态数据120(例如，地面实况数据)确定位置654。基于计算得到的操作数据130获得的虚线框652和基于状态数据120获得的实线框654之间的差异可以在界面650上直接可视化。可以基于比较结果评估基于视觉的算法的准确性和鲁棒性。在一些实施例中，当修改了基于视觉的算法时，可以实时更新计算得到的操作数据130，并且可以在界面650上即时更新包括虚线框在内的指示符，以可视化基于视觉的算法的修改效果。

图7A至图7C是示出了根据一些实施例的用于由视觉模拟器104模拟可移动平台的视觉数据122的方法700的流程图。在一些实施例中，方法700的一个或多个步骤由计算装置执行，例如参考图1和图3所讨论的视觉模拟器104。在一些其他实施例中，方法700的一个或多个步骤由其他计算装置执行，例如参考图2所讨论的计算装置200。图7中执行的操作与存储在相应计算装置的计算机存储器或其他计算机可读存储介质中的指令相对应。

计算装置获得(702)可移动平台的状态数据120，环境的场景数据，以及承载在可移动平台上的一个或多个成像传感器的参数，所述环境是在其中模拟所述可移动平台的环境。

在一些实施例中，一个或多个成像传感器包括(708)视觉测距(VO)系统的一对或多对成像传感器。在一些实施例中，可移动平台的状态数据包括(712)可移动平台的位移、速度、加速度、姿态、角速度、角加速度、经度、纬度或高度。在一些实施例中，状态数据包括(714)从状态模拟器获得的模拟数据，状态模拟器被配置为实现一个或多个模型以模拟可移动平台的一个或多个状态。在一些实施例中，从用户输入获得(716)状态数据。在一些实施例中，场景数据包括(718)与环境中的一个或多个物体相关联的数据。在一些实施例中，从用户输入获得(720)场景数据。在一些实施例中，一个或多个成像传感器的参数包括(726)一个或多个成像传感器的一个或多个固有参数或者一个或多个外部参数，其中固有参数包括焦距、缩放信息或焦深(DOF)，且其中外部参数包括一个或多个成像传感器的位置信息。在一些实施例中，从用户输入获得(728)这些参数。

计算装置改变(704)状态数据、场景数据和参数中的一个或多个以获得变化数据。计算装置基于状态数据、场景数据和参数中的一个或多个的变化数据模拟(706)由一个或多个成像传感器捕获的视觉数据。

在一些实施例中，所模拟的视觉数据与一个或多个成像传感器的第一人称视角相对应(710)。在一些实施例中，计算装置还在监视器上显示(722)所模拟的视觉数据。在一些实施例中，计算装置还基于状态数据、场景数据和参数中的一个或多个的变化模拟(730)一个或多个视觉效果(例如，图像失真、图像噪声等)。在一些实施例中，计算装置还利用模拟视觉效果处理(732)所模拟的视觉数据。在一些实施例中，所模拟的视觉数据包括(734)三维图像数据。

在一些实施例中，计算装置还将与每个图像帧相关联的状态数据、场景数据、参数和所模拟的视觉数据存储(724)在存储器装置中。在一些实施例中，计算装置还处理(736)视觉数据以获得可移动平台的操作数据，并且基于从操作数据模拟的控制信号更新(736)可移动平台的状态数据。可以使用基于视觉的算法处理视觉数据以获得操作数据(例如，如图1所示)。

图8A至图8C是根据一些实施例的用于评估可移动平台的基于视觉的算法的方法800的流程图。在一些实施例中，方法800的一个或多个步骤由参考图2所讨论的计算装置200执行。图8中执行的操作与存储在相应计算装置的计算机存储器或其他计算机可读存储介质中的指令相对应。

计算装置接收(802)在虚拟环境内模拟的可移动平台的第一组数据(例如，状态数据120和/或场景数据)。第一组数据由可移动平台的状态数据和环境的场景数据确定。在一些实施例中，可移动平台的状态数据包括(812)可移动平台的位移、速度、加速度、姿态、角速度、角加速度、经度、纬度或高度。在一些实施例中，场景数据包括(814)与环境中的一个或多个物体相关联的数据。在一些实施例中，一个或多个成像传感器的参数包括(816)一个或多个成像传感器的一个或多个固有参数或者一个或多个外部参数，其中固有参数包括焦距、缩放信息或焦深(DOF)，且其中外部参数包括一个或多个成像传感器的位置信息。在一些实施例中，从用户输入获得(818)状态数据、场景数据或参数。在一些实施例中，状态数据包括(820)从模拟器获得的模拟数据，模拟器被配置为实现一个或多个模型，以模拟在环境中操作的可移动平台的一个或多个状态。

计算装置获得(804)可移动平台的第二组数据。基于从状态数据、场景数据以及承载在可移动平台上的一个或多个成像传感器的参数模拟的视觉数据(例如，视觉数据122)确定第二组数据(例如，计算得到的操作数据130)。

计算装置计算(806)与第一组数据相对应的第一指示符以及与第二组数据相对应的第二指示符。在一些实施例中，第一指示符和第二指示符分别与可移动平台在环境中基于第一组数据和第二组数据的移动轨迹相对应(810)。在一些实施例中，第一指示符和第二指示符突出显示正被跟踪的目标物体。

计算装置输出(808)第一指示符和第二指示符之间的比较结果。在一些实施例中，计算装置还在监视器上同时显示(824)环境内与第一组数据相对应的第一指示符以及与第二组数据相对应的第二指示符。第一指示符和第二指示符在视觉上是能够区分的。在一些实施例中，计算装置还基于第一指示符和第二指示符之间的比较结果优化(826)对操作可移动平台的模拟。例如，计算装置通过改变可移动平台的移动方向、移动速度等，基于第一指示符和第二指示符之间的比较结果修改可移动平台的操作，以便减小两个指示符之间的差异。请注意，该修改可以由或可以不由附加的用户输入驱动。然后，利用计算装置根据修改后的操作更新可移动平台的第二组数据来模拟该修改的效果。可以重复该过程，直到比较结果表明第一指示符和第二指示符之间的差异在可接受的阈值内为止。该过程的迭代次数可用于评估用于控制可移动平台的算法的性能，并且提供如何改进算法的指导。在一些实施例中，第一组数据和第二组数据分别包括(827)操作可移动平台的多个实例的模拟数据。每个实例与一组状态数据、场景数据和一个或多个成像传感器的参数相关联。基于多个实例的模拟数据的比较来更新(827)对操作可移动平台的模拟。例如，在界面630或界面650上显示第一指示符和相应的第二指示符之间的多个比较结果。每对第一指示符和第二指示符是从相应的状态数据和使用相应的基于视觉的算法计算的相应的计算得到的操作数据而获得的。差异最小的第一指示符和第二指示符对与最准确的视觉算法相对应。

在一些实施例中，对操作可移动平台的模拟包括(828)跟踪环境中的物体。第一指示符和第二指示符分别基于第一组数据和第二组数据标识环境中的物体。在一些实施例中，对操作可移动平台的模拟包括(830)规划路线以避开环境中的障碍物。第一指示符指示基于第一组数据的第一规划路线，第二指示符指示基于第二组数据的第二规划路线。

本发明的许多特征可以使用或借助于硬件、软件、固件或其组合来执行。因此，可以使用处理系统来实现本发明的特征。示例性处理系统(例如，一个或多个计算装置的处理器)包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、现场可编程门阵列、图形处理器、物理处理器、数字信号处理器、协处理器、网络处理器、音频处理器、加密处理器等。

本发明的特征可以使用或借助于计算机程序产品(诸如存储有指令的存储介质(媒介)或计算机可读存储介质(媒介)来实现，该计算机程序产品可用于对处理系统编程以执行本文中呈现的任何特征。存储介质可以包括但不限于任何类型的盘(包括软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘)、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、DDR RAM、闪存设备、磁卡或光卡、纳米系统(包括分子存储器IC)或者适于存储指令和/或数据的任何类型的介质或装置。

存储在机器可读介质(媒介)中的任何一个上的本发明的特征可以被结合在用于对处理系统的硬件进行控制的软件和/或固件中，并且用于使得处理系统能够利用本发明的结果与其他机构交互。这样的软件或固件可以包括但不限于应用代码、设备驱动程序、操作系统和执行环境/容器。

为了说明和描述的目的提供了本发明的前述描述。这并不是穷尽性的或将本发明限制于公开的确切形式。本发明的宽度和范围不应该受到任何上述示例性实施例的限制。对于本领域技术人员而言，许多修改和变化将是显而易见的。修改和变化包括公开特征的任何相关组合。选择和描述实施例是为了最好地解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例以及适合于预期的特定用途的各种修改。意图是，本发明的范围由所附权利要求及其等同物限定。

以上借助于功能构建块描述了本发明，功能构建块说明了特定功能及其关系的执行。为了描述的方便，这些功能构建块的边界在本文中经常被任意定义。只要适当地执行了指定的功能和关系，就可以定义替代边界。因此任何这样的替代边界都在本发明的范围和精神之内。

在此描述的各种所描述的实施例中使用的术语仅用于描述特定实施例的目的，而不旨在限制。如在各种描述的实施例和所附权利要求的描述中所使用的，除非上下文另外明确指出，否则单数形式“一”、“一个”和“陔”旨在也包括复数形式。还将理解的是，本文所使用的术语“和/或”是指并且包含一个或多个相关所列项目的任何和所有可能的组合。还应该理解，术语“具有”、“含有”、“包括”和/或“包含”在本说明书中使用时，表明存在所述的特征、整数、步骤、操作、元件和/或部件，但是并没有排除存在或另外添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或其组合。

如本文所使用的，取决于上下文，术语“如果”可以被解释为意指“当”或“一旦”或“响应于确定”或“根据确定”或“响应于检测到”所陈述的先决条件为真。类似地，根据上下文，短语“如果确定[所陈述的先决条件为真]”或“如果[所陈述的先决条件为真]”或“当[所陈述的先决条件为真]时”可以被解释为“一旦确定”或“响应于确定”或“根据确定”或“一旦检测到”或“响应于检测到”所陈述的先决条件为真。

Claims (72)

1.一种方法，包括：

获得可移动平台的状态数据，环境的场景数据，以及承载在所述可移动平台上的一个或多个成像传感器的参数，所述环境是在其中模拟所述可移动平台的环境；

改变所述状态数据、所述场景数据和所述参数中的一个或多个以获得变化数据；以及

基于所述状态数据、所述场景数据和所述参数中的一个或多个的变化数据模拟由所述一个或多个成像传感器捕获的视觉数据。

2.根据权利要求1所述的方法，还包括：

在监视器上显示所模拟的视觉数据。

3.根据权利要求1所述的方法，还包括：

基于所述状态数据、所述场景数据和所述参数中的一个或多个的变化模拟一个或多个视觉效果。

4.根据权利要求3所述的方法，还包括：

利用所模拟的视觉效果来处理所模拟的视觉数据；以及

根据所述处理来模拟所述可移动平台的操作。

5.根据权利要求4所述的方法，其中，所模拟的视觉数据包括三维图像数据。

6.根据权利要求1所述的方法，其中，所述一个或多个成像传感器包括视觉测距系统的一对或多对成像传感器。

7.根据权利要求1所述的方法，其中，所述可移动平台的状态数据包括所述可移动平台的位移、速度、加速度、姿态、角速度、角加速度、经度、纬度和高度。

8.根据权利要求7所述的方法，其中，所述状态数据包括从状态模拟器获得的模拟数据，所述状态模拟器被配置为实现一个或多个操作模型来模拟所述可移动平台的一个或多个操作状态。

9.根据权利要求1所述的方法，其中，所述场景数据包括与所述环境中的一个或多个物体相关联的数据。

10.根据权利要求1所述的方法，其中，所述一个或多个成像传感器的参数包括所述一个或多个成像传感器的一个或多个固有参数和/或一个或多个外部参数，所述固有参数包括焦距、缩放信息或焦深(DOF)，并且所述外部参数包括所述一个或多个成像传感器的位置信息。

11.根据权利要求1所述的方法，其中，所模拟的视觉数据与所述一个或多个成像传感器的第一人称视角相对应。

12.根据权利要求1所述的方法，还包括：

将与每个图像帧相关联的状态数据、场景数据、参数和所模拟的视觉数据存储在存储器装置中。

13.根据权利要求1所述的方法，还包括：

处理所述视觉数据以获得所述可移动平台的操作数据；

基于所述操作数据模拟控制信号；以及

根据所述控制信号更新所述可移动平台的状态数据。

14.一种用于对可移动平台的视觉数据进行模拟的系统，所述系统包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中，所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：

获得可移动平台的状态数据，环境的场景数据，以及承载在所述可移动平台上的一个或多个成像传感器的参数，所述环境是在其中模拟所述可移动平台的环境；

改变所述状态数据、所述场景数据和所述参数中的一个或多个以获得变化数据；以及

基于所述状态数据、所述场景数据和所述参数中的一个或多个的变化数据模拟由所述一个或多个成像传感器捕获的视觉数据。

15.根据权利要求14所述的系统，其中，通过实现可移动物体模型来模拟可移动物体的一个或多个状态的指令还包括在监视器上显示所模拟的视觉数据的指令。

16.根据权利要求14所述的系统，其中，通过实现可移动物体模型来模拟可移动物体的一个或多个状态的指令还包括基于所述状态数据、所述场景数据和所述参数中的一个或多个的变化模拟一个或多个视觉效果的指令。

17.根据权利要求16所述的系统，其中，通过实现可移动物体模型来模拟可移动物体的一个或多个状态的指令还包括利用所模拟的视觉效果来处理所模拟的视觉数据以及根据所述处理来模拟所述可移动平台的操作的指令。

18.根据权利要求17所述的系统，其中，所模拟的视觉数据包括三维图像数据。

19.根据权利要求14所述的系统，其中，所述一个或多个成像传感器包括视觉测距系统的一对或多对成像传感器。

20.根据权利要求14所述的系统，其中，所述可移动平台的状态数据包括所述可移动平台的位移、速度、加速度、姿态、角速度、角加速度、经度、纬度和高度。

21.根据权利要求20所述的系统，其中，所述状态数据包括从状态模拟器获得的模拟数据，所述状态模拟器被配置为实现一个或多个模型来模拟所述可移动平台的一个或多个状态。

22.根据权利要求14所述的系统，其中，所述场景数据包括与所述环境中的一个或多个物体相关联的数据。

23.根据权利要求14所述的系统，其中，所述一个或多个成像传感器的参数包括所述一个或多个成像传感器的一个或多个固有参数或者一个或多个外部参数，其中所述固有参数包括焦距、缩放信息或焦深(DOF)，并且其中所述外部参数包括所述一个或多个成像传感器的位置信息。

24.根据权利要求14所述的系统，其中，所模拟的视觉数据与所述一个或多个成像传感器的第一人称视角相对应。

25.根据权利要求14所述的系统，其中，通过实现可移动物体模型来模拟可移动物体的一个或多个状态的指令还包括将与每个图像帧相关联的状态数据、场景数据、参数和所模拟的视觉数据存储在存储器装置中的指令。

26.根据权利要求14所述的系统，其中，通过实现可移动物体模型来模拟可移动物体的一个或多个状态的指令还包括用于执行以下操作的指令：

处理所述视觉数据以获得所述可移动平台的操作数据；

基于所述操作数据模拟控制信号；以及

根据所述控制信号更新所述可移动平台的状态数据。

27.一种存储一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子装置执行时使所述电子装置执行用于执行以下操作的指令：

获得可移动平台的状态数据，环境的场景数据，以及承载在所述可移动平台上的一个或多个成像传感器的参数，所述环境是在其中模拟所述可移动平台的环境；

改变所述状态数据、所述场景数据和所述参数中的一个或多个以获得变化数据；以及

基于所述状态数据、所述场景数据和所述参数中的一个或多个的变化数据模拟由所述一个或多个成像传感器捕获的视觉数据。

28.根据权利要求27所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序还包括在监视器上显示所模拟的视觉数据的指令。

29.根据权利要求27所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序还包括基于所述状态数据、所述场景数据和所述参数中的一个或多个的变化来模拟一个或多个视觉效果的指令。

30.根据权利要求29所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序还包括利用所模拟的视觉效果来处理所模拟的视觉数据并且根据所述处理来模拟所述可移动平台的操作的指令。

31.根据权利要求30所述的非暂时性计算机可读存储介质，其中，所模拟的视觉数据包括三维图像数据。

32.根据权利要求27所述的非暂时性计算机可读存储介质，其中，所述一个或多个成像传感器包括视觉测距系统的一对或多对成像传感器。

33.根据权利要求27所述的非暂时性计算机可读存储介质，其中，所述可移动平台的状态数据包括所述可移动平台的位移、速度、加速度、姿态、角速度、角加速度、经度、纬度或高度。

34.根据权利要求33所述的非暂时性计算机可读存储介质，其中，所述状态数据包括从状态模拟器获得的模拟数据，所述状态模拟器被配置为实现一个或多个模型来模拟所述可移动平台的一个或多个状态。

35.根据权利要求27所述的非暂时性计算机可读存储介质，其中，所述场景数据包括与所述环境中的一个或多个物体相关联的数据。

36.根据权利要求27所述的非暂时性计算机可读存储介质，其中，所述一个或多个成像传感器的参数包括所述一个或多个成像传感器的一个或多个固有参数或者一个或多个外部参数，其中所述固有参数包括焦距、缩放信息或焦深(DOF)，并且其中所述外部参数包括所述一个或多个成像传感器的位置信息。

37.根据权利要求27所述的非暂时性计算机可读存储介质，其中，所模拟的视觉数据与所述一个或多个成像传感器的第一人称视角相对应。

38.根据权利要求27所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序还包括将与每个图像帧相关联的状态数据、场景数据、参数和所模拟的视觉数据存储在存储器装置中的指令。

39.根据权利要求27所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序还包括用于执行以下操作的指令：

处理所述视觉数据以获得所述可移动平台的操作数据；

基于所述操作数据模拟控制信号；以及

根据所述控制信号更新所述可移动平台的状态数据。

40.一种方法，包括：

接收在虚拟环境内模拟的可移动平台的第一组数据，所述第一组数据由所述可移动平台的状态数据和所述环境的场景数据确定；

获得所述可移动平台的第二组数据，所述第二组数据基于根据所述状态数据、所述场景数据和承载在所述可移动平台上的一个或多个成像传感器的参数模拟的视觉数据确定；

确定与所述第一组数据相对应的第一指示符以及与所述第二组数据相对应的第二指示符；以及

输出所述第一指示符和所述第二指示符之间的比较结果。

41.根据权利要求40所述的方法，还包括：

在监视器上同时显示所述环境内与所述第一组数据相对应的第一指示符以及与所述第二组数据相对应的第二指示符，其中，所述第一指示符和所述第二指示符在视觉上是能够区分的。

42.根据权利要求40所述的方法，还包括：

基于所述第一指示符和所述第二指示符之间的比较结果修改所述可移动平台的操作；以及

根据修改后的操作来更新所述可移动平台的第二组数据。

43.根据权利要求42所述的方法，其中：

所述第一组数据和所述第二组数据分别包括对操作所述可移动平台的多个实例的模拟数据，每个实例与一组状态数据、场景数据和所述一个或多个成像传感器的参数相关联，以及

基于所述多个实例的模拟数据的比较，更新对操作所述可移动平台的模拟。

44.根据权利要求42所述的方法，其中，对操作所述可移动平台的模拟包括：

跟踪所述环境中的物体，其中，所述第一指示符和所述第二指示符分别基于所述第一组数据和所述第二组数据各自标识所述环境中的物体。

45.根据权利要求42所述的方法，其中，对操作所述可移动平台的模拟包括：

规划路线以避开所述环境中的障碍物，其中，所述第一指示符指示基于所述第一组数据的第一规划路线，并且所述第二指示符指示基于所述第二组数据的第二规划路线。

46.根据权利要求40所述的方法，其中，所述第一指示符和所述第二指示符分别与所述可移动平台在所述环境中基于所述第一组数据和所述第二组数据的移动轨迹相对应。

47.根据权利要求40所述的方法，其中，所述可移动平台的状态数据包括所述可移动平台的位移、速度、加速度、姿态、角速度、角加速度、经度、纬度和高度。

48.根据权利要求40所述的方法，其中，所述场景数据包括与所述环境中的一个或多个物体相关联的数据。

49.根据权利要求40所述的方法，其中，所述一个或多个成像传感器的参数包括所述一个或多个成像传感器的一个或多个固有参数或者一个或多个外部参数，所述固有参数包括焦距、缩放信息或焦深(DOF)，并且其中所述外部参数包括所述一个或多个成像传感器的位置信息。

50.根据权利要求40所述的方法，其中，所述状态数据包括从模拟器获得的模拟数据，所述模拟器被配置为实现一个或多个模型来模拟在所述环境中操作的所述可移动平台的一个或多个状态。

51.一种用于对可移动平台的基于视觉的算法进行评估的系统，所述系统包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中，所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：

接收在虚拟环境内模拟的可移动平台的第一组数据，所述第一组数据由所述可移动平台的状态数据和所述环境的场景数据确定；

获得所述可移动平台的第二组数据，所述第二组数据基于根据所述状态数据、所述场景数据和承载在所述可移动平台上的一个或多个成像传感器的参数模拟的视觉数据确定；

确定与所述第一组数据相对应的第一指示符以及与所述第二组数据相对应的第二指示符；以及

输出所述第一指示符和所述第二指示符之间的比较结果。

52.根据权利要求51所述的系统，其中，通过实现可移动物体模型来模拟可移动物体的一个或多个状态的指令还包括用于执行以下操作的指令：

在监视器上同时显示所述环境内与所述第一组数据相对应的第一指示符以及与所述第二组数据相对应的第二指示符，其中，所述第一指示符和所述第二指示符在视觉上是能够区分的。

53.根据权利要求51所述的系统，其中，通过实现可移动物体模型来模拟可移动物体的一个或多个状态的指令还包括用于执行以下操作的指令：

基于所述第一指示符和所述第二指示符之间的比较结果修改所述可移动平台的操作；以及

根据修改后的操作来更新所述可移动平台的第二组数据。

54.根据权利要求53所述的系统，其中：

所述第一组数据和所述第二组数据分别包括对操作所述可移动平台的多个实例的模拟数据，每个实例与一组状态数据、场景数据和所述一个或多个成像传感器的参数相关联，以及

基于所述多个实例的模拟数据的比较，更新对操作所述可移动平台的模拟。

55.根据权利要求53所述的系统，其中，对操作所述可移动平台的模拟包括：

跟踪所述环境中的物体，其中，所述第一指示符和所述第二指示符分别基于所述第一组数据和所述第二组数据标识所述环境中的物体。

56.根据权利要求53所述的系统，其中，对操作所述可移动平台的模拟包括：

规划路线以避开所述环境中的障碍物，其中，所述第一指示符指示基于所述第一组数据的第一规划路线，并且其中所述第二指示符指示基于所述第二组数据的第二规划路线。

57.根据权利要求51所述的系统，其中，所述第一指示符和所述第二指示符分别与所述可移动平台在所述环境中基于所述第一组数据和所述第二组数据的移动轨迹相对应。

58.根据权利要求51所述的系统，其中，所述可移动平台的状态数据包括所述可移动平台的位移、速度、加速度、姿态、角速度、角加速度、经度、纬度或高度。

59.根据权利要求51所述的系统，其中，所述场景数据包括与所述环境中的一个或多个物体相关联的数据。

60.根据权利要求51所述的系统，其中，所述一个或多个成像传感器的参数包括所述一个或多个成像传感器的一个或多个固有参数或者一个或多个外部参数，其中所述固有参数包括焦距、缩放信息或焦深(DOF)，并且其中所述外部参数包括所述一个或多个成像传感器的位置信息。

61.根据权利要求51所述的系统，其中，所述状态数据包括从模拟器获得的模拟数据，所述模拟器被配置为实现一个或多个模型来模拟在所述环境中操作的所述可移动平台的一个或多个状态。

62.一种存储一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子装置执行时使所述电子装置执行用于执行以下操作的指令：

接收在虚拟环境内模拟的可移动平台的第一组数据，所述第一组数据由所述可移动平台的状态数据和所述环境的场景数据确定；

获得所述可移动平台的第二组数据，所述第二组数据基于根据所述状态数据、所述场景数据和承载在所述可移动平台上的一个或多个成像传感器的参数模拟的视觉数据确定；

确定与所述第一组数据相对应的第一指示符以及与所述第二组数据相对应的第二指示符；以及

输出所述第一指示符和所述第二指示符之间的比较结果。

63.根据权利要求62所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序还包括用于执行以下操作的指令：

在监视器上同时显示所述环境内与所述第一组数据相对应的第一指示符以及与所述第二组数据相对应的第二指示符，其中，所述第一指示符和所述第二指示符在视觉上是能够区分的。

64.根据权利要求62所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序还包括用于执行以下操作的指令：

基于所述第一指示符和所述第二指示符之间的比较结果修改所述可移动平台的操作；以及

根据修改后的操作来更新所述可移动平台的第二组数据。

65.根据权利要求64所述的非暂时性计算机可读存储介质，其中：

所述第一组数据和所述第二组数据分别包括对操作所述可移动平台的多个实例的模拟数据，每个实例与一组状态数据、场景数据和所述一个或多个成像传感器的参数相关联，以及

基于所述多个实例的模拟数据的比较，更新对操作所述可移动平台的模拟。

66.根据权利要求65所述的非暂时性计算机可读存储介质，其中，对操作所述可移动平台的模拟包括：

跟踪所述环境中的物体，其中，所述第一指示符和所述第二指示符分别基于所述第一组数据和所述第二组数据标识所述环境中的物体。

67.根据权利要求65所述的非暂时性计算机可读存储介质，其中，对操作所述可移动平台的模拟包括：

规划路线以避开所述环境中的障碍物，其中，所述第一指示符指示基于所述第一组数据的第一规划路线，并且其中所述第二指示符指示基于所述第二组数据的第二规划路线。

68.根据权利要求62所述的非暂时性计算机可读存储介质，其中，所述第一指示符和所述第二指示符分别与所述可移动平台在所述环境中基于所述第一组数据和所述第二组数据的移动轨迹相对应。

69.根据权利要求62所述的非暂时性计算机可读存储介质，其中，所述可移动平台的状态数据包括所述可移动平台的位移、速度、加速度、姿态、角速度、角加速度、经度、纬度和高度。

70.根据权利要求62所述的非暂时性计算机可读存储介质，其中，所述场景数据包括与所述环境中的一个或多个物体相关联的数据。

71.根据权利要求62所述的非暂时性计算机可读存储介质，其中，所述一个或多个成像传感器的参数包括所述一个或多个成像传感器的一个或多个固有参数或者一个或多个外部参数，其中所述固有参数包括焦距、缩放信息或焦深(DOF)，并且其中所述外部参数包括所述一个或多个成像传感器的位置信息。

72.根据权利要求62所述的非暂时性计算机可读存储介质，其中，所述状态数据包括从模拟器获得的模拟数据，所述模拟器被配置为实现一个或多个模型来模拟在所述环境中操作的所述可移动平台的一个或多个状态。