CN110997488A - 动态控制用于处理传感器输出数据的参数的系统和方法 - Google Patents

动态控制用于处理传感器输出数据的参数的系统和方法 Download PDF

Info

Publication number
CN110997488A
CN110997488A CN201880049305.8A CN201880049305A CN110997488A CN 110997488 A CN110997488 A CN 110997488A CN 201880049305 A CN201880049305 A CN 201880049305A CN 110997488 A CN110997488 A CN 110997488A
Authority
CN
China
Prior art keywords
vehicle
processor
sensor data
sensor
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880049305.8A
Other languages
English (en)
Inventor
M·H·特平
S·M·查维斯
D·W·梅林格三世
J·A·多尔蒂
M·J·绍敏
C·W·斯威特三世
H·斯沃特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/662,757 external-priority patent/US20180032042A1/en
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110997488A publication Critical patent/CN110997488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls

Abstract

各种实施例包括基于载具的速度来动态控制用于获得和/或处理从载具上的传感器接收的传感器数据的一个或多个参数。在一些实施例中，可以通过利用与使用传感器数据执行的特定使命/任务相关联的传感器数据中的质量、准确性、置信度和/或其他标准的水平上的差异来单独地调整(例如，减小、增大或维持)用于获得和/或处理传感器数据的参数。例如，碰撞避免所需的传感器数据分辨率可以小于检查任务所需的传感器数据分辨率，而检查任务所需的更新速率可以小于碰撞避免所需的更新速率。可以基于载具的速度和/或任务或使命来单独地调整用于获得和/或处理传感器数据的参数，以改善对功率和/或其他资源的消耗。

Description

动态控制用于处理传感器输出数据的参数的系统和方法
相关申请
本申请是2016年8月1日提交的、标题为“System And Method Of DynamicallyControlling Parameters For Processing Sensor Output Data For CollisionAvoidance And Path Planning”的美国专利申请No.15/224,904的部分继续申请，在此通过引用将该申请的全部内容并入本文。
背景技术
诸如无人飞行器(UAV)之类的无人载具通常配置有能够在传感器面向的方向上感知视场(FOV)内的环境的视野传感器(例如，照相机、雷达等)。来自视野传感器的数据可以由自主式载具用来在环境中导航，包括检测障碍物、确定如何避开障碍物、路径映射和/或路径查找。例如，自主式载具上的立体照相机可以在立体照相机面向的方向上捕获环境的立体图像对。处理器(例如，中央处理单元(CPU)、片上系统(SOC)等)处理立体图像对以生成照相机的视场内的环境的三维(3D)深度图。为了能够对自主式载具周围的环境进行深度测量，可以放置多个立体照相机，使得相应视场的组合可以包围载具周围的360度。然而，使用多个立体照相机或其他视野传感器(例如，雷达、声纳等)增加了对处理器的处理需求。载具移动得越快，传感器数据(例如，图像)需要被处理得越快，以及时检测到障碍物以避免它们。但是，载具的处理器的处理带宽有限(每秒可提供数百万条指令(MIPS))。
发明内容
公开了各种实施例，其用于基于载具的速度和/或使用传感器输出数据(“传感器数据”)执行特定的使命或任务来动态地控制用于获得和/或处理从载具上的传感器(特别是立体传感器)接收的传感器数据的一个或多个参数。例如，在一些实施例中，当载具悬停或缓慢移动时，传感器所感知的周围环境也可能也将缓慢地变化(如果有的话)。因此，在一些实施例中，当载具速度超过阈值时，可以减小或压制获得和/或处理传感器输出数据的更新速率(例如，帧速率)。尽管当载具的速度超过阈值时可以增大一些参数(例如，更新速率)，但是基于使用传感器数据执行的特定使命或任务，可以减小用于处理传感器数据的其他参数。
一些实施例可以包括通过利用与特定使命或任务(例如，映射、检查、本地化、碰撞避免)相关联的传感器数据中的质量、准确性、置信度和/或其他标准的水平上的差异来控制用于获得和/或处理传感器数据的参数。例如，执行碰撞避免所需的传感器数据的分辨率可能小于检查产品是否有缺陷所需的传感器数据的分辨率，而检查任务所需的更新速率可能小于碰撞避免所需的更新速率。因此，在一些实施例中，根据特定任务，可以减小用于获得和/或处理传感器数据的一个或多个参数，而可以维持或增大其他参数。以这种方式，可以基于载具的速度以及使用传感器数据执行的使命或任务来单独地调整(例如，减小、增大或维持)用于获得和/或处理传感器输出的参数。在一些实施例中，例如，这种参数控制可以改善诸如功率、存储器和/或处理时间的各种资源的消耗。
用于动态地控制载具上的传感器的各种实施例可以包括载具(例如，UAV)的处理器，其确定载具的速度，并至少基于载具的速度来控制用于获得或处理从传感器输出的传感器数据的一个或多个参数。在一些实施例中，至少基于载具的速度来控制用于获得或处理从传感器输出的传感器数据的一个或多个参数可以包括判断载具的速度是否超过速度阈值并响应于确定载具的速度未超过速度阈值而减小以下中的一个或多个：(i)传感器的采样速率或帧速率，以及(ii)传感器数据的数据处理速率。在一些实施例中，传感器可以是照相机、立体照相机、图像传感器、雷达传感器、声纳传感器、超声传感器、深度传感器、飞行时间传感器、光达传感器、有源传感器、无源传感器和/或其任何组合。
一些实施例还可以包括由载具使用传感器数据执行的使命或任务，并且基于载具的速度和使用传感器数据执行的使命或任务来控制用于获得或处理传感器数据的一个或多个参数。在一些实施例中，控制一个或多个参数可以包括降低传感器数据的分辨率、传感器的采样速率或帧速率、传感器数据的数据处理速率、在传感器数据中搜索的深度范围或深度相关信息、和/或其任何组合。在一些实施例中，使用传感器数据执行的使命或任务可以包括映射、物体检查、碰撞避免、定位和/或其任何组合。
一些实施例还可以包括：确定到最接近载具的物体的距离，以及基于载具的速度和到最接近载具的物体的距离来控制用于获得或处理传感器数据的一个或多个参数。在一些实施例中，基于载具的速度和到最接近载具的物体的距离来控制用于获得或处理传感器数据的一个或多个参数可以包括判断到最接近载具的物体的距离是否在阈值距离内，以及响应于确定到最接近载具的物体的距离在阈值距离内，减小传感器数据的分辨率。一些实施例还可以包括：响应于确定到最接近载具的物体的距离不在阈值距离内，减小在从立体照相机接收的立体传感器数据中搜索的像素视差的范围。
其他实施例包括载具和/或载具内的计算设备，其包括配置有处理器可执行指令以执行以上概述的实施例方法的操作的处理器。在一些实施例中，载具可以是无人驾驶载具。其他实施例包括其上存储有处理器可执行指令的非暂时性处理器可读存储介质，所述处理器可执行指令被配置为使处理器执行以上概述的实施例方法的操作。其他实施例包括载具和/或载具内的计算设备，该计算设备包括用于执行以上概述的实施例方法的功能的装置。
附图说明
结合在本文中并构成本说明书的部分的附图示出了示例性实施例，并且与以上给出的一般描述和以下给出的详细描述一起用于解释各种实施例的特征。
图1是在可以应用各种实施例的环境中导航的无人飞行器(UAV)的示意性透视图。
图2A和图2B分别示出了根据一些实施例的包括多视野传感器的UAV的正视图和平面图。
图3示出了根据一些实施例的载具的控制单元的部件，其可以被配置为实施动态控制用于处理来自载具上的多个视野传感器的输出数据的参数以用于碰撞避免和/或路径规划的方法。
图4A和图4B示出了根据一些实施例的动态控制用于处理来自UAV上的多个视野传感器的输出数据的参数以用于碰撞避免和/或路径规划的方法。
图5A、图5B和图5C是示出根据一些实施例的控制用于处理来自多个立体照相机的输出数据的参数的处理器的示意图。
图6示出了根据一些实施例的动态控制用于处理来自载具上的多个视野传感器的输出数据的参数以用于碰撞避免和/或路径规划的另一种方法。
图7示出了根据一些实施例的动态控制用于处理来自载具上的多个视野传感器的输出数据的参数以用于碰撞避免和/或路径规划的另一种方法。
图8示出了根据一些实施例的动态控制用于处理传感器数据的参数的方法。
图9是示出根据一些实施例的控制在立体图像之间搜索的视差范围的概念的示意图。
图10示出了根据一些实施例的基于载具的速度以及使用从传感器接收的输出数据执行的使命或任务来动态地控制用于处理传感器数据的参数的方法。
具体实施方式
将参考附图详细描述各种实施例。在所有附图中，将尽可能使用相同的附图标记表示相同或相似的部件。对特定示例和实施方式的引用是出于说明性目的，并且无意于限制权利要求的范围。
如本文所用，术语“载具”是指各种类型的无人驾驶或有人驾驶的载具之一。无人驾驶载具可以是远程控制的、自主的或半自主的。自主(或半自主)载具能够感测其环境并利用最少的来自用户的输入自己进行导航。有人驾驶的载具和自主式的载具可以由操作员定期性地控制，因此是半自动的。适用于实施各种实施例的载具的示例包括无人飞行器(UAV)，包括机器人或无人机；陆地载具，包括汽车；天基飞行器，包括航天器或太空探测器；以及水上载具，包括水面或水下船只。无人驾驶载具在许多军事和商业应用中正变得越来越普遍。
术语“计算设备”在本文中用于指代至少配备有处理器的电子设备。计算设备的示例可以包括UAV机载的UAV飞行控制和/或任务管理计算机，以及与被配置为执行各种实施例的操作的UAV通信的远程计算设备。远程计算设备可以包括无线通信设备(例如，蜂窝电话、可穿戴设备、智能电话、Web平板电脑、平板计算机、支持Internet的蜂窝电话、支持
Figure BDA0002377963260000051
的电子设备、个人数据助理(PDA)、膝上型计算机等)、个人计算机和服务器。在各种实施例中，计算设备可以被配置为具有存储器和/或存储装置以及无线通信能力，诸如被配置为建立广域网(WAN)连接(例如，蜂窝网络连接等)和/或局域网(LAN)连接(例如，经由
Figure BDA0002377963260000052
路由器与Internet的无线连接等)的网络收发器和天线。
公开了各种实施例，其用于基于载具的行进方向、取向和速度来动态地控制用于处理从载具上的各种视野传感器接收的传感器数据的一个或多个参数，包括例如接收和/或处理来自载具上的各种视野传感器的传感器数据的速率。各种实施例对于管理由诸如UAV之类的自主式载具的导航或碰撞避免系统所使用的传感器数据的处理而言可能特别有用。例如，在一些实施例中，处理来自特定视野传感器的数据的速率(或频率)可以取决于当前方向和行进速度以及传感器感知环境的视野方向(即视场)。通过集中处理来自具有包含行进方向的视场的视野传感器的传感器数据，同时降低来自具有除行进方向以外的方向的视场的视野传感器的数据的速率或频率，可以降低处理需求。在一些实施例中，来自载具上的给定视野传感器的数据处理速率可以基于载具处理器可以根据载具的速度和方向以及一个或多个风险因素确定的碰撞风险概率，所述风险因素例如是潜在威胁(例如其他自主式载具、导弹、鸟等)的速度。
在一些实施例中，处理器可以调整视野传感器的采样速率或帧速率，以便减少内部数据总线上承载的信息量(带宽)，并使具有固定带宽的数据总线能够承载更多的来自具有包含行进方向的视场的视野传感器的数据。在一些实施例中，处理器可以不控制视野传感器的采样速率或帧速率，而是调整或压制对来自每个视野传感器的传感器数据进行分析或处理的速率，从而将处理资源集中在来自具有包含行进方向的视场的传感器的数据上。在一些实施例中，处理器可以同时进行以下操作：调整视野传感器的采样速率或帧速率，以及调整或压制对来自每个视野传感器的传感器数据进行分析或处理的速率。
在一些实施例中，处理器可以基于载具的行进方向、取向和速度来动态地控制载具上的各种视野传感器的发射功率。例如，某些视野传感器感知环境的程度(例如，距传感器的距离)可以取决于视野传感器(例如，雷达传感器、声纳传感器等)的发射功率。可以通过增大具有包含行进方向的视场的视野传感器的发射功率，同时减小具有不包含行进方向的方向的视场的传感器的发射功率，来减小功率需求。
图1是在可以应用各种实施例的环境100中导航的UAV 110的示意性透视图。在自主导航的情况下，通常存在无人驾驶载具110将与环境中的沿导航路线定位的结构或物体发生碰撞的风险。例如，UAV 110可能需要避免与沿着其飞行路径的各种障碍物发生碰撞，所述障碍物包括但不限于树木120、建筑物130、电源/电话线140和支撑杆150。UAV 110还可能需要避免移动的物体，例如人、鸟和其他移动的载具。为了应对这种风险，UAV 110可以配置有计算机化的碰撞避免系统，其感测环境100并且使载具110执行防御性机动，以避免与载具110附近的障碍物碰撞。这种机动可以包括紧急制动、悬停、降低速度、改变方向、取向或其任何组合。
图2A和图2B分别示出了根据一些实施例的包括多个视野传感器220a、220b、220c、220d(统称为220)的UAV 200(可以对应于图1中的UAV 110)的正视图和平面图。参考图1-图2B，在一些实施例中，UAV 200可以配备有四个视野传感器220a、220b、220c、220d，以用于碰撞避免系统中。在一些实施例中，UAV 200可以包括多于或少于四个视野传感器220a、220b、220c、220d。在一些实施例中，视野传感器220可以包括能够感知有限视场内的环境(例如100)的任何类型的视野传感器。例如，视野传感器220可以包括照相机(例如，立体照相机)、图像传感器、雷达传感器、声纳传感器、超声传感器、深度传感器、飞行时间传感器、激光雷达传感器(称为“光达传感器”)、有源传感器、无源传感器中的一个或多个或其任何组合。视野传感器可以包括不同视野传感器的组合，例如雷达加机器视觉传感器、双目或三目照相机系统、多光谱照相机系统等。就视角和/或范围灵敏度而言，不同类型的视野传感器(即，使用不同技术的视野传感器)通常具有不同的视场。
在一些实施例中，视野传感器220可以被附接到UAV 200的主壳体210。在一些实施例中，视野传感器220可以被集成到UAV 200的主壳体210中，使得视野传感器220通过主壳体210中的开口被暴露。在一些实施例中，视野传感器220a、220b、220c、220d可以相对于彼此偏移(例如，水平、垂直、或水平和垂直两者)，使得视野传感器可以面向不同的视野方向以感知(或感测)UAV 200周围的环境。
视野传感器220a、220b、220c、220d可以以每个视野传感器面向的方向(在本文中称为视野方向230)和/或每个视野传感器的视场232为特征。视野方向230可以是传感器的视场232的中心线。一些视野传感器可能具有窄视场232，例如激光雷达(称为“光达”)，在这种情况下，各种实施例中评估的特征可能只是视野方向230。一些视野传感器可能具有宽视场232，例如配备有鱼眼镜头的照相机和带有近全向天线的雷达。
即使当视野方向230与行进方向不对准时，具有宽视场232(例如，如图2B所示的90度)的视野传感器也可以包含UAV 200的行进方向。例如，当视野方向230在行进方向的45度以内时，具有90度视场的视野传感器220a、220b、220c、220d(如图2B所示)可以包含UAV 200的行进方向。
在一些实施例中，视野传感器220的相应视场232可以在一定程度上重叠，诸如以提供环境的完整的360度视野。例如，如果图2B所示的四个视野传感器220a、220b、220c、220d具有大于90度的视场232，则相邻传感器的视场将在所示构造中重叠。在一些实施例中，视野传感器220可以倾斜远离旋翼215(例如，向上或向下)，以便防止旋翼215进入传感器220的相应视场中。
UAV 200可以包括在主壳体210内的机载计算设备，其被配置为在没有远程操作指令的情况下(即，自主地)和/或具有来自人类操作员或远程计算设备的一些远程操作指令或对存储在存储器中的指令的更新的情况下(即，半自主地)飞行和/或操作UAV 200。
可以以许多已知方式中的任何一种来推进UAV 200的飞行。例如，两个或更多个推进单元(每个包括一个或多个旋翼215)可以为UAV 200和由UAV 200承载的任何有效载荷提供推进力或提升力。在一些实施例中，UAV 200可以包括轮、油门踏板、或其他非空中运动机制，以实现在地面、水上或水中的运动及其组合。UAV 200可以由一种或多种类型的电源供电，所述电源例如为电、化学、电化学或其他电力储备，其可以为推进单元、机载计算设备和/或其他机载部件供电。为了便于描述和说明，省略了UAV 200的一些详细方面，例如布线、框架结构、电源、着陆柱/起落架或本领域技术人员已知的其他特征。
尽管UAV 200被示为具有四个旋翼的四旋翼直升机，但是UAV 200的一些实施例可以包括多于或少于四个旋翼215。此外，尽管视野传感器220a、220b、220c、220d被示为被附接到UAV 200，但是在一些实施例中，视野传感器220a、220b、220c、220d可以被附接到其他类型的载具，包括有人驾驶和无人驾驶载具。
图3示出了根据一些实施例的用于载具(例如，图1-图2B中的UAV 110、200)的控制单元300的部件，其可以被配置为实施基于行进速度和行进方向来动态地控制用于处理来自载具上的多个视野传感器的输出数据的一个或多个参数的方法。参考图1-图3，控制单元300可以包括用于为载具供电并控制其操作的各种电路和设备。控制单元300可以包括处理器310、存储器312、视野传感器输入/输出(I/O)处理器320、一个或多个导航传感器322、导航处理器324、耦合到天线332的射频(RF)处理器330和电源340。视野传感器输入/输出(I/O)处理器320可以耦合到多个视野传感器220。
在一些实施例中，处理器310可以是专用硬件，其尤其适于实施动态地控制用于处理传感器数据的一个或多个参数的方法，例如根据一些实施例的控制来自载具上的多个视野传感器220的输出数据的数据处理速率以用于碰撞避免和/或路径规划的方法。在一些实施例中，处理器310还可以控制载具的其他操作(例如，UAV 200的飞行)。在一些实施例中，处理器310可以是或包括可编程处理单元311，其可以用处理器可执行指令编程以执行各种实施例的操作。在一些实施例中，处理器310可以是可编程微处理器、微型计算机或多个处理器芯片或芯片，其可以由软件指令配置以执行载具的各种功能。在一些实施例中，处理器310可以是专用硬件和可编程处理单元311的组合。
在一些实施例中，存储器312可以存储处理器可执行指令和/或来自视野传感器I/O处理器320、一个或多个导航传感器322、导航处理器324或其组合的输出。在一些实施例中，存储器312可以是易失性存储器、非易失性存储器(例如，闪存)或其组合。在一些实施例中，存储器312可以包括处理器310中包括的内部存储器、处理器310外部的存储器或其组合。
处理器310、存储器312、视野传感器I/O处理器320、一个或多个导航传感器322、导航处理器324、RF处理器330以及控制单元300的任何其他电子部件可以由电源340供电。在一些实施例中，电源340可以是电池、太阳能电池或其他类型的能量收集电源。
在一些实施例中，处理器310可以耦合到视野传感器I/O处理器320、一个或多个导航传感器322、导航处理器324或其组合。在一些实施例中，处理器310可以进一步被配置为接收和处理视野传感器I/O处理器320、一个或多个导航传感器322、导航处理器324或其组合的相应输出。
处理器310可以被配置为从安装在载具上的视野传感器220接收输出数据。在一些实施例中，处理器310可以直接从可以耦合到视野传感器220的视野传感器I/O处理器320接收输出数据。在一些实施例中，处理器310可以经由存储器312访问来自视野传感器220的输出数据。
处理器310可以被配置为从一个或多个导航传感器322和/或导航处理器324接收导航数据。处理器310可以被配置为使用这样的数据以确定载具的当前位置、取向、速度、速率、行进方向或其任何组合，以及朝向期望目的地的适当路线。一个或多个导航传感器322可以包括一个或多个陀螺仪(通常至少三个)、陀螺罗盘、一个或多个加速度计、位置传感器或可用于检测和控制载具的姿态和运动的其他类型的传感器。耦合到导航处理器324的位置传感器可以包括全球导航卫星系统(GNSS)接收器(例如，一个或多个全球定位系统(GPS)接收器)，其使得载具(例如300)能够使用GNSS信号确定载具坐标、高度、行进方向和速度。替代地或另外，导航处理器324可以配备有无线电导航接收器，其用于接收来自无线电节点的导航信标或其他信号，例如导航信标(例如，甚高频(VHF)全向无线电射程(VOR)信标)、Wi-Fi接入点、蜂窝网络基站、无线电台、远程计算设备、其他UAV等。在其中载具是UAV(例如200)的一些实施例中，一个或多个导航传感器322可以提供姿态信息，包括载具的俯仰、横滚和偏航值。
在一些实施例中，处理器310可以耦合到RF处理器330以便与远程计算设备350通信。例如，在一些实施例中，RF处理器330可以被配置为经由天线332接收信号334，例如来自导航设施等的信号，并将这种信号提供给处理器310和/或导航处理器324以辅助载具(例如200)的操作。RF处理器330可以是仅发射或双向收发器处理器。例如，RF处理器330可以包括单个收发器芯片或多个收发器芯片的组合，以用于发射和/或接收信号。根据所支持的通信类型，RF处理器330可以在多个无线电频带中的一个或多个中操作。
远程计算设备350可以是多种计算设备中的任何一种，包括但不限于蜂窝电话、智能电话、Web平板电脑、平板计算机、支持Internet的蜂窝电话、支持无线局域网(WLAN)的电子设备、膝上型计算机、个人计算机、以及至少配备有处理器和与RF处理器330通信的通信资源的类似电子设备中的处理器。可以使用
Figure BDA0002377963260000101
或其他无线通信协议经由无线链路334从控制单元300(例如处理器310)的一个或多个部件向远程计算设备350发射信息。
虽然在图3中将控制单元300的各种部件示出为单独的部件，但是一些或所有部件可以被一起集成在诸如片上系统模块的单个设备或模块中。
图4A示出了根据一些实施例的部分地基于载具的速度和行进方向来动态地控制用于处理来自载具(例如，UAV 200)上的多个视野传感器(例如，220a、220b、220c)的输出数据的一个或多个参数的方法400。参考图1-图4A，方法400的操作可以由载具的控制单元(例如300)执行。
在框410中，处理器(例如，控制单元300中的处理器310)可以以任何合适的方式确定载具的速度和行进方向。在一些实施例中，处理器可以从导航传感器(例如322)、导航处理器324中的一个或多个或这两者获得载具的当前速度或行进方向。在一些实施例中，处理器可以基于由导航传感器(例如322)、导航处理器324中的一个或多个或这两者提供的导航数据(例如位置、取向、时间等)来计算载具的速度或行进方向。在一些实施例中，行进方向可以表示为二维(2D)矢量(例如，左、右、向前、向后或北、南、东、西、东北等)。在一些实施例中，行进方向可以表示为三维(3D)矢量。
在框420中，处理器可以确定每个视野传感器(例如220a、220b、220c、220d)的视野方向(例如230)和/或视场(例如232)。在每个视野传感器的视野方向和/或视场被预先配置(即固定)的一些实施例中，处理器可以访问存储在存储器312中的关于每个视野传感器的视野方向(例如230)和/或视场(例如，232)的信息。在每个视野传感器的视野方向(即，视场的中心线)由处理器(例如310)控制或由远程计算设备(例如350)远程控制的一些实施例中，处理器(例如310)可以通过直接从每个传感器(例如，经由视野传感器I/O处理器320)请求视野方向信息或者通过访问来自存储器312的每个视野传感器的视野方向信息，来访问有关每个视野传感器的当前视野方向的信息。在一些实施例中，每个视野传感器的视野方向可以表示为二维(2D)矢量(例如，左、右、向前、向后或北、南、东、西、东北等)。在一些实施例中，每个视野传感器的视野方向可以被表示为3D矢量。在一些实施例中，每个视野传感器的视场可以表示为中心线(即，传感器视野方向)的2D或3D矢量以及围绕2D或3D矢量的角度，其定义了视场的扩张。
在框430中，处理器(例如，310)可以基于载具的速度和行进方向、以及视野传感器的视野方向(例如230)和/或视场(例如232)来控制用于处理来自每个视野传感器(例如，220a、220b和220c)的输出数据的一个或多个参数。在各种实施例中，可以由处理器控制的用于处理来自视野传感器的输出数据的一个或多个参数可以包括数据采样速率、传感器帧速率、处理速率(即，传感器数据被处理的速率)、和/或用于发射的视野传感器(例如，雷达、声纳等)的发射功率中的一个或多个。
在一些实施例中，处理器可以压制(或减小)从具有被定向为远离移动的载具的行进方向的视野方向或不包含移动的载具的行进方向的视场的一个或多个视野传感器接收的输出数据的数据采样和/或处理速率。在一些实施例中，处理器可以控制视野传感器，以减小具有被定向为远离载具的行进方向的视野方向或具有不包含载具的行进方向的视场的那些传感器的采样速率或帧速率。在一些实施例中，处理器可以基于每个传感器的视场以及载具的行进方向和行进速度来控制视野传感器的采样速率或帧速率，并调整传感器数据被处理的速率。在一些实施例中，处理器可以维持或增大从具有包含移动的载具的行进方向的视场的一个或多个视野传感器接收的输出数据的数据采样和/或处理速率。因此，可以通过将处理集中于碰撞的概率或可能性较大的行进方向上的传感器数据或包含该行进方向的方向上的传感器数据，同时减小处理来自具有不包含碰撞的可能性/可能性较小的行进方向的视场的视野传感器的数据的采样速率/频率，来减小处理需求。
在可选框440中，处理器(例如310)可以基于载具的速度和行进方向以及视野传感器的视野方向(例如，230)和/或视场(例如，232)来控制每个视野传感器(例如220a、220b和220c)的发射功率。与使用较少发射功率的视野传感器相比，使用较大发射功率的视野传感器(例如，雷达传感器、声纳传感器等)可能能够感知距传感器更大距离处的环境。在一些实施例中，处理器可以减小具有被定向为远离移动的载具的行进方向的视野方向或具有不包含移动的载具的行进方向的视场的一个或多个视野传感器的发射功率。在一些实施例中，处理器可以维持或增大具有与移动的载具的行进方向对准的视野方向或具有包含移动的载具的行进方向的视场的一个或多个视野传感器的发射功率。因此，可以通过将发射功率集中在朝向碰撞的可能性或概率较大的行进方向的视野传感器上，同时减小被定向在除了碰撞的概率/可能性较小的行进方向以外的方向上的视野传感器的发射功率，来减小功率需求。
图4B是示出根据一些实施例的基于速度和行进方向(例如，图4A的框430)来控制用于处理从每个视野传感器接收的输出数据(例如，数据处理速率、传感器帧速率等)的一个或多个参数的方法4300的流程图。例如，在一些实施例中，如果载具在特定方向上快速行进，则可能有很高的概率或可能性载具将继续沿相同方向行进，并且可能在该方向上与其他载具或障碍物碰撞。因此，在一些实施例中，处理器可以压制或减小对来自在不包含当前行进方向的方向上感知环境的视野传感器的输出数据的处理。相反，如果载具在特定方向上缓慢行进，则可能有很高的概率或可能性载具可以改变方向，并且可能在任何方向上发生与其他载具或障碍物碰撞的概率或可能性。因此，在一些实施例中，处理器可以在所有视野传感器上均等地压制或减小数据处理速率。
参考图1-图4B，在判断框4320中，处理器(例如310)可以判断载具(例如UAV 200)的速度是否超过速度阈值(即，载具正在快速行进)。
响应于确定载具的速度未超过速度阈值(即，判断框4320＝“否”)，处理器可以在框4340中调整用于处理从一个或多个视野传感器接收到的输出数据的一个或多个参数(例如，数据处理速率、传感器帧速率等)。例如，在一些实施例中，处理器可以针对来自所有视野传感器的数据将数据处理速率设置为相同。
响应于确定载具的速度超过速度阈值(即，判断框4320＝“是”)，处理器可以在判断框4360中针对每个视野传感器判断传感器的视野方向(例如，230)是否被定向为远离载具的行进方向或者视场(例如232)是否不包含载具的行进方向。
响应于确定一个或多个视野传感器被定向为远离或不包含载具的行进方向(即，判断框4360＝“是”)，处理器可以在框4380中压制从一个或多个视野传感器接收的输出数据的传感器采样速率或帧速率和/或数据处理速率。在一些情况下，处理器可以在低功率模式下将视野传感器定向为远离行进方向。
响应于确定一个或多个视野传感器的视野方向与载具的行进方向对准或包含载具的行进方向(即，判断框4360＝“否”)，如框4400中所述，处理器可以维持或增大从被定向为朝向载具的行进方向的一个或多个视野传感器接收的输出数据的传感器采样速率或帧速率和/或数据处理速率。
图5A、图5B和图5C是示出根据一些实施例的基于载具(例如，UAV200)的速度和行进方向控制用于处理来自多个立体照相机520a、520b和520c(其可以对应于图2A和图3中的视野传感器220和图2B中的视野传感器220a、220b、220c、220d)的输出数据的一个或多个参数(例如，传感器采样或帧速率和/或数据处理速率)的处理器(例如，310)的示意图。参考图1-图5C，载具(例如，机器人、汽车、无人机等)可以配备有面向前方的立体照相机520a、面向左侧的立体照相机520b和面向右侧的立体照相机520c。立体照相机520a、520b、520c可以直接或间接地(例如，经由图3的视野传感器I/O处理器320)耦合到通过处理照相机输出数据来执行障碍物检测的处理器(例如，310)。随着载具移动，处理器处理由立体照相机520a、520b和520c中的每一个捕获的图像帧以生成在碰撞避免和/或路径规划中使用的信息(例如，3D深度图)。
在行进方向上捕获的环境图像可能具有较高的概率或可能性包含用于避免碰撞的信息。特别是，在行进方向上捕获的图像将揭示出可能是潜在碰撞威胁的静止物体。
因此，当载具沿向前方向移动时(例如，如图5A所示)，与面向前方的立体照相机520a相比，处理器(例如310)可以以更低的速率(即，每秒接收和/或处理更少的帧)设置照相机帧速率和/或处理由面向左侧的立体照相机520b和面向右侧的立体照相机520c捕获的图像帧。例如，处理器可以以每秒五帧(fps)的较低速率来设置照相机帧速率和/或处理来自面向左侧的立体照相机520b和面向右侧的立体照相机520c的图像帧，并以每秒三十帧(fps)的标准速率或增大的速率来设置照相机帧速率和/或处理来自面向前方的立体照相机520a的图像帧。
当载具在横向方向上移动时(例如，如图5B所示，向右移动)，与由面向右侧的立体照相机520c所捕获的图像帧相比，处理器可以以更低的速率设置照相机帧速率和/或处理由面向前方的立体照相机520a和面向左侧的立体照相机520b捕获的图像帧。
当载具在不与任何视野传感器的取向完全对准的方向上移动时(例如，在西北方向上移动，例如在图5C中)，与具有不包含行进方向的视场的传感器相比，处理器可以以更高的速率设置照相机帧速率和/或处理由具有包含运动方向的视场的视野传感器捕获的图像帧。在图5C所示的示例中，面向前方的立体照相机520a和面向左侧的立体照相机520b具有重叠并包含行进方向的视场。因此，照相机帧速率和/或处理由所示视野传感器捕获的图像帧可以被设置为大于(例如，成比例地大于)由面向右侧的立体照相机520c捕获和/或处理图像帧的速率。
参考图1-图5C，在一些实施方式中，例如当载具是飞机或水上船只时，处理器(例如310)可以接收从其他船只广播的无线电信号，该无线电信号指示其他船只的位置、速度和方向。例如，商用飞机发射自动相关监视-广播(ADS-B)信号，其告知其他飞机其相应的位置、高度、行进方向和速度。同样，船舶和其他水上船只广播自动识别系统(AIS)信号，其告知其他船只其相应的位置、行进方向、速度和转弯速率。在这样的系统中，每个船只广播其位置、速度和方向，并且每个船只处理从其他船只接收到的信号以计算碰撞的概率和/或最接近点(CPA)。因此，在一些实施例中，除了调整其他视野传感器(例如，雷达)的采样和/或处理速率之外，处理器(例如，310)可以优先处理来自呈现最大碰撞风险的船只的AIS或ADS-B信号。例如，如果载具正在快速移动，则处理器可以压制从不在行进方向上的其他船只(例如，经由一个或多个视野传感器220)接收的AIS或ADS-B信号的数据处理速率，同时增大从行进方向上的其他船只接收的信号的数据处理速率。相反，如果载具与其他船只相比缓慢移动，则从所有其他船只(例如，经由视野传感器220)接收到的信号可以被等同地处理，因为碰撞的威胁可能来自任何方向(即，很少或没有基于行进方向对信号的优先处理)。
图6示出了根据一些实施例的动态控制用于处理来自载具上的多个视野传感器的输出数据的一个或多个参数(例如，传感器采样或帧速率和/或数据处理速率)以用于碰撞避免和/或路径规划的方法600。参考图1-图6，方法600的操作可以由载具的控制单元(例如，图3中的300)执行。方法600可以包括框420中的操作(例如，如参考图4A所描述的)。
在框610中，处理器(例如，控制单元300中的处理器310)可以确定载具的速度和预期的下一行进方向。例如，处理器可以在载具的行进方向改变之前获得有关预期的路线变化或预先配置的导航路径的信息，以确定速度和下一行进方向。在一些实施例中，可以从导航处理器(例如，控制单元300中的324)获得这样的信息或知识。
在框620中，处理器(例如，310)可以基于载具的速度和下一行进方向以及视野传感器(例如，220a、220b、220c或520a、520b、520c)的视野方向(例如230)和/或视场(例如232)来确定用于处理从每个视野传感器接收到的输出数据的下一个或多个参数(例如，传感器采样或帧速率和/或数据处理速率。例如，在一些实施例中，处理器可以选择或计算所压制的(或减少的)传感器采样或帧速率和/或数据处理速率，以用于处理从具有被定向为远离移动的载具的下一行进方向的视野方向和/或不包含该下一行进方向的视场的相关联的一个或多个视野传感器(例如220)接收到的输出数据。在一些实施例中，处理器可以维持当前传感器采样或帧速率和/或数据处理速率，以用于处理从具有被定向为朝向移动的载具的下一行进方向的视野方向和/或包含该下一行进方向的视场的一个或多个视野传感器接收的输出数据。在一些实施例中，处理器可以选择或计算增大的传感器采样或帧速率和/或数据处理速率，以用于处理从具有被定向为朝向移动的载具的下一行进方向的视野方向和/或包含该下一行进方向的视场的一个或多个视野传感器接收的输出数据。
在框630中，处理器(例如，310)可以检测载具是否在下一行进方向上移动。例如，在一些实施例中，处理器可以基于从导航传感器(例如，322)、导航处理器(例如，324)中的一个或多个或这两者获得的信息来检测载具是否在下一行进方向上行进。
在框640中，处理器(例如310)可以根据响应于检测到载具正在下一行进方向上移动而为视野传感器确定的用于处理传感器数据的下一参数(例如，下一传感器采样或帧速率和/或数据处理速率)来处理从每个视野传感器接收的输出数据。以此方式，处理器可以调度速率，以该速率接收和/或处理来自具有在一个或多个预期行进方向上或与预先配置的路径对准的视野方向和/或视场的视野传感器的传感器数据。
图7示出了根据一些实施例的动态控制用于处理来自载具(例如，UAV200)上的多个视野传感器(例如，图2B和图5A-5C中的220、520)的输出数据的一个或多个参数(例如，传感器采样或帧速率和/或数据处理速率)以用于碰撞避免和/或路径规划的方法700。例如，在一些实施例中，可以对载具周围的各种视野传感器(包括不同类型的视野传感器)进行采样和处理的速率基于在视野传感器的每个不同视野方向上发生碰撞的风险。在一些实施例中，除了载具的速度和行进方向之外，在特定方向上发生碰撞的概率或可能性还可以考虑一个或多个不同的碰撞风险因素。
参考图1-7，方法700的操作可以由载具的控制单元(例如300)执行。方法700可以包括框410和420中的操作(例如，如参考图4A所描述的)。
在框710中，处理器(例如310)可以确定每个传感器的视野方向和/或视场中的一个或多个碰撞风险因素。在一些实施例中，一个或多个碰撞风险因素可以包括检测视野方向上的障碍物、视野方向上的所检测到的障碍物的速度(例如，其他UAV、导弹、动物等的速度)、以及传感器的至少一个操作特性、一个或多个载具操纵参数(例如，停止距离、转弯半径等，其作为速度的函数)、处理器的处理特性(例如，带宽、可用存储器等)中的一个或多个、或其任何组合。
在一些实施例中，例如，传感器的操作特性可以包括传感器的检测范围、传感器的帧速率或扫描速率、由传感器产生的要处理的输出数据量(例如，与需要大量处理的来自立体照相机的3D图像数据相比，来自雷达传感器的输出数据可能需要较少的处理)、每个传感器在当前条件下的有效性(例如，雷达传感器通常在夜间和雾中工作得更好，而照相机在晴朗的白天工作得更好)、以及用于检测碰撞威胁的传感器的可靠性(例如，雷达传感器通常对于检测鸟和载具是不可靠的)。
在框720中，处理器可以基于载具的速度和行进方向、以及在传感器的视野方向和/或视场中的一个或多个碰撞风险因素来控制用于处理从每个传感器接收的输出数据的一个或多个参数(例如，传感器采样或帧速率和/或数据处理速率)。在一些实施例中，处理器可以基于载具的速度和行进方向以及每个传感器的视野方向和/或视场中的一个或多个碰撞风险因素来计算碰撞的概率或可能性，并且然后使用所计算碰撞概率来决定是压制、增大还是维持来自特定传感器的输出数据的传感器采样或帧速率和/或数据处理速率。
例如，如果处理器(例如310)确定载具以低速向北行进，并且移动的障碍物以高速从西朝向载具行进，则处理器(例如310)可以压制从被定向为远离移动的障碍物的方向的传感器(例如220)接收的输出数据的传感器采样或帧速率和/或数据处理速率，因为西方向上的碰撞威胁更大。在一个或多个视野传感器(例如220)在碰撞威胁的方向上面向或感知环境的一些实施例中，处理器可以压制来自在当前条件下(例如，夜晚、白天、雾天等)检测障碍物的效率、可靠性不足或速度不够快的一个或多个传感器的数据的传感器采样或帧速率和/或处理。
各个实施例还包括基于载具的速度和/或使用传感器输出数据(在本文中通常称为“传感器数据”)执行的特定使命或任务来动态控制用于获得和/或处理从载具上的传感器(特别是立体传感器(例如，视野传感器220a、220b、220c))接收的传感器数据的一个或多个参数。例如，在一些实施例中，当载具(例如，UAV 100、200)正在悬停或缓慢移动时，传感器感知的周围环境可能也将缓慢改变(如果有的话)。因此，可以减小或压制传感器数据被获得(例如，帧速率)和/或处理的更新速率。尽管当载具的速度超过阈值时可以增大一些参数(例如，更新速率)，但是基于使用传感器数据执行的特定使命或任务，可以减小用于处理传感器数据的其他参数。
在一些实施例中，用于获得和/或处理传感器输出的参数可以通过利用与特定使命或任务(例如，映射、检查、定位、碰撞避免)相关联的传感器数据中的质量、准确性、置信度和/或其他标准的水平上的差异来控制。例如，执行碰撞避免所需的传感器数据的分辨率可能小于检查产品是否有缺陷所需的传感器数据的分辨率，而检查任务所需的更新速率可能小于碰撞避免所需的更新速率。因此，在一些实施例中，根据特定任务，可以减小用于获得和/或处理传感器数据的一个或多个参数，同时可以维持或增大其他参数。以这种方式，可以基于载具的速度以及使用传感器数据执行的使命或任务来单独地调整(例如，减小、增大或维持)用于获得和/或处理传感器输出的参数。在一些实施例中，例如，这种参数控制可以改善诸如功率、存储器和/或处理时间的各种资源的消耗。
图8示出了根据一些实施例的动态控制用于获得和/或处理传感器数据的参数的方法。参考图1-图8，方法800的操作可以由具有传感器(例如，视野传感器220a、220b、220c)的载具(例如，UAV 100、200)的控制单元(例如，300)的处理器(例如，310)执行。为了便于参考，术语“处理器”通常用于指代实施方法800的操作的一个或多个处理器。
在框810中，处理器可以以任何合适的方式确定载具的速度。在一些实施例中，处理器可以从导航传感器(例如322)、导航处理器324、速度计、空速指示器(例如皮托管)、GNSS接收器中的一个或多个或其任何组合获得载具的当前速度。在一些实施例中，处理器可以基于由导航传感器(例如322)、导航处理器324中的一个或多个或两者提供的导航数据(例如位置、取向、时间等)来计算载具的速度。
在框820中，处理器(例如310)可以确定可以使用从传感器输出的数据来执行的任务或使命。可能使用传感器输出的数据的任务或使命的一些示例包括生成环境的二维(2D)和/或三维(3D)地图以用于导航或碰撞避免、检查产品、结构或其他物体的缺陷(例如，管道或其他结构中的裂缝)、将载具定位在3D空间中(例如，确定载具的位置和/或取向)、收集有关监视目标的数据、以及当在环境中进行导航时检测物体和结构以避免碰撞。在一些实施例中，可以在存储在载具(例如，UAV 100、200)的存储器(例如，存储器312)中的任务或使命概述中识别或描述任务或使命。在一些实施例中，任务或使命可以由处理器基于载具正在执行的操作来推断或确定。
在一些实施例中，每个任务或使命可以与和使命或任务相关联的质量、准确性、置信度和/或其他传感器数据标准的不同水平相关联。例如，在一些实施例中，尽管碰撞避免例程可能需要频繁更新传感器数据，但是较低的传感器数据分辨率可能是可接受的，例如用于检测附近的障碍物。其他任务(例如检查任务)可能需要较不频繁地更新传感器数据，而是需要更高的分辨率以观察精细的细节或生成被检查物体的详细模型。在一些实施例中，可以在存储在存储器中或由处理器基于所确定的任务或使命推断出的任务或使命概述中识别出与每个任务或使命相关联的特定传感器数据要求或标准。
在框830中，处理器(例如，310)可以基于载具的速度和/或使用从传感器接收的输出数据执行的任务或使命来控制用于获得和/或处理传感器数据的一个或多个参数。在各种实施例中，用于处理从传感器接收的输出数据的参数可以包括以下一项或多项：数据捕获或采样速率、帧速率(即，成像传感器捕获或输出图像帧的速率)、处理速率(即处理传感器数据的速率)、传感器数据的分辨率以及在传感器数据中搜索的深度范围或深度相关信息。
在一些实施例中，传感器可以是立体照相机，其输出照相机的视场内的场景的立体数字图像(例如，左右图像)。在这样的实施例中，处理器可以控制以下一种或多种：图像捕获速率、照相机输出立体图像的速率、对立体图像执行立体深度(DFS)处理的速率、和/或立体图像的分辨率(例如，每个图像中的像素的总数)。在一些实施例中，使用现有的DFS技术，处理器还可以控制在立体图像之间搜索的视差的范围以提取深度信息。
图9是示出根据一些实施例的控制在立体图像之间搜索的视差的范围的概念的示意图。参考图1-图9，处理器(例如310)可以使用一对立体图像(例如左右立体图像900-L和900-R)执行DFS技术，其涉及识别立体图像之一(例如900-L)中的一个或多个目标像素(例如912-L)，并在另一个立体图像(例如912-R)中搜索一个或多个匹配像素(例如912-R)。行(或列)910-L中的目标像素912-L的像素位置与行(或列)910-R中的匹配像素912-R的像素位置之间的相对差异或视差可以用于确定深度信息(例如，距立体照相机的距离)。例如，物体或物体特征越靠近照相机，目标像素912-L与匹配像素912-R之间的视差越大。
为了识别第二图像(例如，右立体图像900-R)中的与第一图像(例如，左立体图像900-L)中的物体或物体特征匹配的像素，处理器可以评估(例如，颜色和/或亮度)第二图像中的与第一图像中的像素坐标相距多个像素的像素的值，以确定是否存在匹配(例如，在阈值差异内)。当识别出第二图像中的与第一图像中的给定像素匹配的像素时，第一图像中的像素坐标与第二图像中的匹配像素之间的距离或像素数量被称为“像素视差”。评估为匹配的第一图像中的与像素坐标相距的像素的数量被称为“视差范围”。现代数字照相机捕获大量像素，并且像素值的比较需要有限的时间和处理能力。因此，在DFS处理中使用的视差范围越大，对执行该分析的处理器的图像处理需求就越大。
在一些实施例中，处理器(例如，310)可以被配置为基于特定使命或任务所集中的物体的接近度来控制所搜索的像素的视差范围920。如所描述的，靠近图像传感器的物体的像素视差将远大于远处的物体的像素视差。因此，限制在DFS处理中搜索的像素的视差范围920将使得能够在节省处理能力的同时定位远处的物体，但是限制了定位附近的物体的能力。例如，如果使命或任务涉及识别和定位用于导航和碰撞避免的物体，则视差范围920可以减小，从而节省处理能力。因此，当使命或任务集中在远离照相机的物体上时，要搜索的视差的范围920可以减小到最小像素数量NMIN。作为另一个示例，当使命或任务集中在与照相机非常接近的物体上时(例如，用于检查)，可以将要搜索的视差的范围920扩展到最大像素数量NMAX。另一种情况是避开障碍物并检测到附近物体。附近的物体可能在碰撞避免问题中占有重要位置，而远处的障碍物可以被忽略。因此，可以增加最小像素数量NMIN，从而节省处理能力。
在框830中基于载具的速度和/或使用传感器数据执行的使命或任务来控制与获得和/或处理传感器数据相关联的一个或多个参数，可以使得能够减少对载具的控制单元的处理需求(例如300)和/或可以促进与处理传感器数据相关联的其他参数的增大。在一些实施例中，处理器(例如，310)可以被配置为基于载具的速度和/或使用从传感器接收的输出数据执行的使命或任务来减小用于获得和/或处理从传感器(例如，视野传感器220a、220b和/或220c)接收的输出数据的一个或多个参数。例如，当载具(例如，UAV 100、200)悬停或缓慢移动时，传感器(例如，220a、220b、220c)所感知的周围环境可能将缓慢改变(如果有的话)。因此，在这种情况下，处理器(例如310)可以减小用于获得和/或处理传感器数据的一个或多个参数，以便减小从传感器获得冗余输出数据和/或执行冗余数据处理的可能性。例如，获得或接收传感器数据的速率(例如，传感器的数据采样速率或输出帧速率)和/或处理传感器数据的速率(例如，数据处理速率)可以被减小或压制。作为另一示例，获得或接收的传感器数据的量(例如，像素密度、像素信息等)和/或对传感器数据执行的处理的量(例如，像素视差范围、颜色与亮度处理，等)可以被减小或压制。
相反，当载具快速移动时，传感器(例如220a、220b、220c)所感知的周围环境的变化将更快地发生。因此，处理器(例如310)可以维持或增大用于获得或处理传感器数据的一个或多个参数(例如，数据采样速率、输出帧速率和/或数据处理速率)，以避免丢失或无法检测物体或周围环境的变化。尽管可以响应于载具的速度超过特定阈值而增大一个或多个参数，但是处理器(例如310)可以被配置为基于使用传感器数据执行的特定使命或任务来减小其他参数。例如，当使命或任务涉及碰撞避免时，处理器(例如310)可以响应于载具的速度超过阈值速度而增大获得/接收和/或处理传感器数据的速率。但是，当在非常接近的位置检测到障碍物时，处理器也可以减小传感器数据的分辨率。
在一些实施例中，响应于载具的速度超过阈值速度而控制一个或多个参数可以包括将载具的速度与一个或多个阈值速度进行比较并且基于这种比较单独地控制(例如，增大、减小和/或维持)参数。在一些实施例中，可以使用用于基于速度的参数控制的任何形式的决策标准来实施响应于载具的速度来控制一个或多个参数，所述决策标准包括但不限于查找表、比例参数控制器、和/或其他多级检查数据结构或方案。因此，可以基于将载具的速度与各种数据结构中的任何数据结构中配置的任何数量的阈值或决策标准进行比较，从而对各种参数进行调整。在一些实施例中，可以基于使用传感器数据执行的使命或任务，将参数增大或减小不同的量和/或可以改变阈值速度。
如所描述的，通过利用与特定使命或任务相关联的质量、准确性和/或置信度要求，可以调整用于获得和/或处理传感器数据的(多个)参数，从而以可接受的成本(例如，较低的图像捕获速率、缩小的视差搜索范围等)获得性能增益(例如，降低的处理需求)。例如，在碰撞避免的上下文中，如果载具缓慢行进(即，载具的速度低于某个阈值)并且没有检测到附近的障碍物，则处理器可以减小某些参数(例如，图像捕获速率、像素视差范围等)，以便在减小处理需求的同时集中于检测远处的障碍物。
在某些情况下，当用于获得和/或处理传感器数据的参数被设置为小于最大值时，可能错过周围环境中的意外变化(例如，快速接近的物体)。为了避免未能检测到这种意外变化，可以将处理器配置为在一段时间内偶尔将这种参数重置为默认值或最大值，以实现更详细或完整的传感器数据监视或分析。例如，为了避免未能检测到意外的附近障碍物，处理器可以偶尔将图像捕获速率和/或像素视差范围重置为最大或接近最大值，以在较大像素视差范围内扫描从立体照相机输出的图像来寻找障碍物。因此，在一些实施例中，在可选框840中，处理器可以偶尔重置用于处理从传感器接收的输出数据的一个或多个受控参数。例如，在框830中增大和减小的用于获得和/或处理数据的参数可以被暂时重置为默认值或最大值。在一些实施例中，处理器可以被配置为周期性地(例如，每秒一次或以另一种速率)、半周期性地(例如，响应于计时器的到期)和/或基于时间或事件的触发器的激活来重置一个或多个控制器参数。
图10示出了根据一些实施例的基于载具的速度以及使用传感器数据执行的使命或任务来动态控制用于获得和/或处理传感器数据的参数的方法。参考图1-图10，方法1000的操作可以由载具(例如，UAV 100、200)的控制单元(例如，300)的处理器(例如，310)执行。为了便于参考，术语“处理器”通常用于指代实施方法1000的操作的一个或多个处理器。在一些实施例中，当使用传感器数据执行的使命或任务是或涉及碰撞避免时，方法1000可能特别有用。
在框810、820和840中，处理器可以执行如上所述的方法800的相同数量的框的操作。
在判断框1010中，处理器可以判断载具的速度是否超过速度阈值。例如，在一些实施例中，处理器可以将载具的速度与存储在存储器(例如312)中的阈值速度进行比较。在一些实施例中，可以基于将使用传感器数据执行的特定任务来选择或计算阈值速度。例如，在一些实施例中，阈值速度对于可以由载具执行的不同类型的使命或任务(例如，映射、检查、定位、碰撞避免等)中的每一个可以是不同的。例如，较高的速度阈值可能与对载具的速度不太敏感的任务相关联，而较低的阈值速度可能与对载具的速度更敏感的任务相关联。在一些实施例中，可以使用用于基于速度的参数控制的任何形式的决策标准将载具的速度与一个或多个阈值速度进行比较，包括但不限于查找表、比例参数控制器和/或其他多级检查方案。因此，可以基于任何数量的速度阈值以及阈值速度被超过而将参数增大或减小不同的量。
响应于确定载具的速度未超过速度阈值(即，判断框1010＝“否”)，处理器可以在框1020中减小(例如，压制、降低等)用于获得和/或处理传感器数据的一个或多个参数。例如，处理器可以减小传感器的采样速率或帧速率以及从传感器接收的输出数据的数据处理速率中的一个或多个。例如，如果传感器是立体照相机，则处理器可以减小图像捕获速率、照相机输出立体图像的速率、和/或对立体图像执行DFS处理的速率中的一个或多个。
响应于确定载具的速度超过速度阈值(即，判断框1010＝“是”)或在完成框1020中的操作之后，处理器可以在判断框1030判断最接近载具的成像物体是否在阈值距离内。例如，当使用传感器数据执行的使命或任务是碰撞避免任务时，处理器可以判断到最接近载具的物体的距离是否在阈值距离内。在传感器是立体照相机的实施例中，处理器可以使用DFS技术处理从照相机接收的立体图像，以检测在载具的阈值距离(例如，物体构成载具的潜在碰撞风险的距离)内的物体。在一些实施例中，阈值距离可以是相对于载具的固定距离。在一些实施例中，阈值距离可以是与载具速度成反比的可变距离。例如，阈值距离在较低速度下可以更长，而在较高速度下可以更短。在一些实施例中，可以使用用于基于距离的参数控制的任何形式的决策标准来将最接近物体的距离与一个或多个阈值距离进行比较，所述决策标准包括但不限于查找表、比例参数控制器和/或其他多级检查方案。因此，可以基于任何数量的速度阈值以及阈值距离被超过而将参数增大或减小不同的量。
响应于确定最接近载具的物体在阈值距离内(即，判断框1030＝“是”)，处理器可以在框1040中减小从传感器接收的输出数据的分辨率。在一些实施例中，处理器可以按照百万像素的数量或用于生成捕获图像的像素行乘以列的数量来指定降低的照相机分辨率。例如，当传感器是立体照相机时，处理器可以将照相机配置为减小所捕获的立体数字图像的像素分辨率。在一些实施例中，处理器还可以增大像素视差范围以促进对附近物体的定位。在一些实施例中，当任务是碰撞避免时，较低的图像分辨率可能适合于检测到作为潜在碰撞风险的物体，这与可能需要更高的分辨率输出以生成物体的更准确的3D表示的其他任务相反。在一些实施例中，处理器可以指定降低的照相机分辨率的类型(例如，从SVGA到VGA分辨率)。
响应于确定最接近载具的物体不在阈值距离内(即，判断框1030＝“否”)，处理器可以在框1050中减小在立体图像之间搜索的像素视差范围。如所描述的，一对立体图像中的物体的匹配像素之间的距离(即像素视差)与到物体的距离成反比。因此，处理器可以通过搜索较小像素范围来检测和定位远处的物体(例如，在阈值距离之外检测到的物体)。因此，处理器可以减小在立体图像的DFS处理中使用的像素视差范围(例如，减小到NMIN)，从而减小对执行DFS技术的处理器的处理需求。
通过减小框1020、1040和/或1050中的一个或多个参数，处理器可以可选地增大其他参数，以满足传感器数据的质量和/或准确性的其他标准。例如，在一些实施例中，为了检测与载具非常接近的物体(例如，小于阈值距离)，处理器可以可选地增大在立体图像处理中搜索的像素视差范围(例如，920)。在一些实施例中，为了避免丢失或未能检测到朝向载具移动的物体，处理器可以增大立体照相机的图像捕获速率、照相机输出立体图像的速率、对立体图像执行DFS处理的速率，等等。在一些实施例中，为了检测远离载具的物体(例如，大于阈值距离)，处理器可以增大从传感器接收的输出数据的分辨率。
仅作为示例提供了所示出和描述的各种实施例，以示出权利要求的各种特征。然而，关于任何给定实施例所示出和描述的特征不必限于相关联的实施例，并且可以与所示出和描述的其他实施例一起使用或组合。特别地，各种实施例不限于在空中UAV上使用，并且可以在任何形式的UAV上实施，除了飞行器之外，UAV还包括陆地载具、水上载具和太空载具。此外，权利要求不旨在被任何一个示例性实施例所限制。例如，方法400、4300、600和700的一个或多个操作可以代替方法400、4300、600和700的一个或多个操作，或者与之组合，反之亦然。
前述方法描述和过程流程图仅作为说明性示例而提供，并且无意于要求或暗示各种实施例的步骤必须以所呈现的顺序执行。如本领域技术人员将理解的，前述实施例中的操作顺序可以以任何顺序执行。诸如“此后”、“然后”、“接下来”等词语无意限制操作的顺序。这些词语用于指导读者进行方法的描述。此外，例如，使用冠词“一”、“一个”或“所述”以单数形式对权利要求要素的任何引用均不应被解释为将要素限制为单数形式。
结合本文公开的实施例描述的各种说明性的逻辑块、模块、电路和算法操作可以被实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经在其功能方面总体上描述了各种说明性的部件、块、模块、电路和操作。将这种功能性实施为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以各种方式来实施所描述的功能，但是这种实施决策不应被解释为导致脱离权利要求的范围。
用于实施结合本文公开的方面描述的各种说明性逻辑、逻辑块、模块和电路的硬件可以用被设计为执行本文所述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件部件、或其任何组合来实施或执行。通用处理器可以是微处理器，但是替代地，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实施为接收器智能物体的组合，例如，DSP和微处理器的组合，两个或更多个微处理器的组合，一个或多个微处理器与DSP核心的组合、或任何其他这样的配置。替代地，可以通过特定于给定功能的电路来执行一些操作或方法。
在一个或多个方面，可以以硬件、软件、固件或其任何组合来实施所描述的功能。如果以软件实施，则功能可以作为一个或多个指令或代码存储在非暂时性计算机可读存储介质或非暂时性处理器可读存储介质上。本文公开的方法或算法的操作可以体现在处理器可执行软件模块或处理器可执行指令中，它们可以驻留在非暂时性计算机可读或处理器可读存储介质上。非暂时性计算机可读或处理器可读存储介质可以是可由计算机或处理器访问的任何存储介质。作为示例而非限制，这种非暂时性计算机可读或处理器可读存储介质可以包括RAM、ROM、EEPROM、闪存、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁性存储智能物体、或可以用于以指令或数据结构的形式存储所需程序代码并且可由计算机访问的任何其他介质。本文所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘通过激光以光学方式复制数据。以上的组合也包括在非暂时性计算机可读和处理器可读介质的范围内。另外，方法或算法的操作可以作为代码和/或指令的一个或任何组合或集合而驻留在非暂时性处理器可读存储介质和/或计算机可读存储介质上，其可以被并入计算机程序产品中。
提供对所公开的实施例的前述描述以使本领域的任何技术人员能够做出或使用权利要求。对这些实施例的各种修改对于本领域技术人员将是显而易见的，并且在不脱离权利要求的范围的情况下，本文中定义的一般原理可以应用于其他实施例。因此，本公开内容不旨在限于本文中所示的实施例，而是符合与以下权利要求以及本文中公开的原理和新颖特征一致的最宽范围。

Claims (30)

1.一种动态控制载具上的传感器的方法，包括：
由所述载具的处理器确定所述载具的速度；以及
由所述处理器至少基于所述载具的所述速度来控制用于获得或处理从所述传感器输出的传感器数据的一个或多个参数。
2.根据权利要求1所述的方法，其中，至少基于所述载具的所述速度来控制用于获得或处理从所述传感器输出的所述传感器数据的所述一个或多个参数包括：
由所述处理器判断所述载具的所述速度是否超过速度阈值；以及
响应于确定所述载具的所述速度未超过所述速度阈值，由所述处理器减小以下中的一个或多个：(i)所述传感器的采样或帧速率；以及(ii)所述传感器数据的数据处理速率。
3.根据权利要求1所述的方法，还包括：
由所述处理器确定所述载具使用所述传感器数据执行的任务或使命；以及
由所述处理器基于所述载具的所述速度以及使用所述传感器数据执行的所述任务或使命来控制用于获得或处理所述传感器数据的所述一个或多个参数。
4.根据权利要求3所述的方法，其中，基于所述载具的所述速度以及使用所述传感器数据执行的所述任务或使命来控制用于获得或处理所述传感器数据的所述一个或多个参数包括：
由所述处理器减小所述传感器数据的分辨率、所述传感器的采样或帧速率、所述传感器数据的数据处理速率、在所述传感器数据中搜索的深度范围或深度相关信息中的至少一项、或其任何组合。
5.根据权利要求3所述的方法，其中，使用所述传感器数据执行的所述任务或使命包括映射、物体检查、碰撞避免、定位中的一项或多项、或其任何组合。
6.根据权利要求1所述的方法，还包括：
由所述处理器确定距最接近所述载具的物体的距离；以及
由所述处理器基于所述载具的所述速度和所述距最接近所述载具的物体的距离来控制用于获得或处理所述传感器数据的所述一个或多个参数。
7.根据权利要求6所述的方法，其中，基于所述载具的所述速度和所述距最接近所述载具的物体的距离来控制用于获得或处理所述传感器数据的所述一个或多个参数包括：
由所述处理器判断所述距最接近所述载具的物体的距离是否在阈值距离内；以及
响应于确定所述距最接近所述载具的物体的距离在所述阈值距离内，由所述处理器减小所述传感器数据的分辨率。
8.根据权利要求7所述的方法，还包括：
响应于确定所述距最接近所述载具的物体的距离不在所述阈值距离内，由所述处理器减小在从立体照相机接收的立体传感器数据中搜索的像素视差的范围。
9.根据权利要求1所述的方法，其中，所述载具是无人驾驶载具。
10.根据权利要求1所述的方法，其中，所述传感器是照相机、立体照相机、图像传感器、雷达传感器、声纳传感器、超声传感器、深度传感器、飞行时间传感器、光达传感器、主动传感器、被动传感器或其任何组合。
11.一种用于载具的计算设备，包括：
处理器，耦合到传感器并被配置有处理器可执行指令以用于：
确定所述载具的速度；以及
至少基于所述载具的所述速度来控制用于获得或处理从所述传感器输出的传感器数据的一个或多个参数。
12.根据权利要求11所述的计算设备，其中，所述处理器还被配置为：通过以下方式至少基于所述载具的所述速度来控制用于获得或处理从所述传感器输出的所述传感器数据的所述一个或多个参数：
判断所述载具的所述速度是否超过速度阈值；以及
响应于确定所述载具的所述速度未超过所述速度阈值，减小以下中的一个或多个：(i)所述传感器的采样或帧速率；以及(ii)所述传感器数据的数据处理速率。
13.根据权利要求11所述的计算设备，其中，所述处理器还被配置有处理器可执行指令以用于：
确定所述载具使用所述传感器数据执行的任务或使命；以及
基于所述载具的所述速度以及使用所述传感器数据执行的所述任务或使命来控制用于获得或处理所述传感器数据的所述一个或多个参数。
14.根据权利要求13所述的计算设备，其中，所述处理器还被配置有处理器可执行指令，以用于通过如下方式基于所述载具的所述速度以及使用所述传感器数据执行的所述任务或使命来控制用于获得或处理所述传感器数据的所述一个或多个参数：
减小所述传感器数据的分辨率、所述传感器的采样或帧速率、所述传感器数据的数据处理速率、在所述传感器数据中搜索的深度范围或深度相关信息中的至少一项、或其任何组合。
15.根据权利要求11所述的计算设备，其中，所述处理器还被配置有处理器可执行指令以用于：
确定距最接近所述载具的物体的距离；以及
基于所述载具的所述速度和所述距最接近所述载具的物体的距离来控制用于获得或处理所述传感器数据的所述一个或多个参数。
16.根据权利要求15所述的计算设备，其中，所述处理器还被配置有处理器可执行指令，以用于通过如下方式基于所述载具的所述速度和所述距最接近所述载具的物体的距离来控制用于获得或处理所述传感器数据的所述一个或多个参数：
判断所述距最接近所述载具的物体的距离是否在阈值距离内；以及
响应于确定所述距最接近所述载具的物体的距离在所述阈值距离内，减小所述传感器数据的分辨率。
17.根据权利要求16所述的计算设备，其中，所述处理器还被配置有处理器可执行指令以用于：
响应于确定所述距最接近所述载具的物体的距离不在所述阈值距离内，减小在从立体照相机接收的立体传感器数据中搜索的像素视差的范围。
18.一种非暂时性处理器可读存储介质，其上存储有处理器可执行指令，所述处理器可执行指令被配置为使用于载具的计算设备的处理器执行操作，所述操作包括：
确定所述载具的速度；以及
至少基于所述载具的所述速度来控制用于获得或处理从传感器输出的传感器数据的一个或多个参数。
19.根据权利要求18所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令被配置为使所述处理器执行操作，以使得至少基于所述载具的所述速度来控制用于获得或处理从所述传感器输出的所述传感器数据的所述一个或多个参数包括：
判断所述载具的所述速度是否超过速度阈值；以及
响应于确定所述载具的所述速度未超过所述速度阈值，减小以下中的一个或多个：(i)所述传感器的采样或帧速率；以及(ii)所述传感器数据的数据处理速率。
20.根据权利要求18所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令被配置为使所述处理器执行还包括以下操作的操作：
确定所述载具使用所述传感器数据执行的任务或使命；以及
基于所述载具的所述速度以及使用所述传感器数据执行的所述任务或使命来控制用于获得或处理所述传感器数据的所述一个或多个参数。
21.根据权利要求20所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令被配置为使所述处理器执行操作，以使得基于所述载具的所述速度和使用所述传感器数据执行的所述任务或使命来控制用于获得或处理所述传感器数据的所述一个或多个参数包括：
减小所述传感器数据的分辨率、所述传感器的采样或帧速率、所述传感器数据的数据处理速率、在所述传感器数据中搜索的深度范围或深度相关信息中的至少一项、或其任何组合。
22.根据权利要求18所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令被配置为使所述处理器执行还包括以下操作的操作：
确定距最接近所述载具的物体的距离；以及
基于所述载具的所述速度和所述距最接近所述载具的物体的距离来控制用于获得或处理所述传感器数据的所述一个或多个参数。
23.根据权利要求22所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令被配置为使所述处理器执行操作，以使得基于所述载具的所述速度和所述距最接近所述载具的物体的距离来控制用于获得或处理所述传感器数据的所述一个或多个参数包括：
判断所述距最接近所述载具的物体的距离是否在阈值距离内；以及
响应于确定所述距最接近所述载具的物体的距离在所述阈值距离内，减小所述传感器数据的分辨率。
24.根据权利要求23所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令被配置为使所述处理器执行还包括以下操作的操作：
响应于确定所述距最接近所述载具的物体的距离不在所述阈值距离内，减小在从立体照相机接收的立体传感器数据中搜索的像素视差的范围。
25.一种载具，包括：
用于确定所述载具的速度的装置；以及
用于至少基于所述载具的所述速度来控制用于获得或处理从传感器输出的传感器数据的一个或多个参数的装置。
26.根据权利要求25所述的载具，其中，用于至少基于所述载具的所述速度来控制用于获得或处理从所述传感器输出的所述传感器数据的所述一个或多个参数的装置包括：
用于判断所述载具的所述速度是否超过速度阈值的装置；以及
用于响应于确定所述载具的所述速度未超过所述速度阈值而减小以下中的一个或多个的装置：(i)所述传感器的采样或帧速率；以及(ii)所述传感器数据的数据处理速率。
27.根据权利要求25所述的载具，还包括：
用于确定所述载具使用所述传感器数据执行的任务或使命的装置；以及
用于基于所述载具的所述速度以及使用所述传感器数据执行的所述任务或使命来控制用于获得或处理所述传感器数据的所述一个或多个参数的装置。
28.根据权利要求27所述的载具，其中，用于基于所述载具的所述速度以及使用所述传感器数据执行的所述任务或使命来控制用于获得或处理所述传感器数据的所述一个或多个参数的装置包括：
用于减小所述传感器数据的分辨率、所述传感器的采样或帧速率、所述传感器数据的数据处理速率、在所述传感器数据中搜索的深度范围或深度相关信息中的至少一项、或其任何组合的装置。
29.根据权利要求25所述的载具，还包括：
用于确定距最接近所述载具的物体的距离的装置；以及
用于基于所述载具的所述速度和所述距最接近所述载具的物体的距离来控制用于获得或处理所述传感器数据的所述一个或多个参数的装置。
30.根据权利要求29所述的载具，其中，用于基于所述载具的所述速度和所述距最接近所述载具的物体的距离来控制用于获得或处理所述传感器数据的所述一个或多个参数的装置包括：
用于判断所述距最接近所述载具的物体的距离是否在阈值距离内的装置；以及
用于响应于确定所述距最接近所述载具的物体的距离在所述阈值距离内而减小所述传感器数据的分辨率的装置。
CN201880049305.8A 2017-07-28 2018-06-28 动态控制用于处理传感器输出数据的参数的系统和方法 Pending CN110997488A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/662,757 2017-07-28
US15/662,757 US20180032042A1 (en) 2016-08-01 2017-07-28 System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data
PCT/US2018/039951 WO2019022910A2 (en) 2017-07-28 2018-06-28 SYSTEM AND METHOD FOR DYNAMICALLY CONTROLLING PARAMETERS FOR PROCESSING SENSOR OUTPUT DATA

Publications (1)

Publication Number Publication Date
CN110997488A true CN110997488A (zh) 2020-04-10

Family

ID=63143346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880049305.8A Pending CN110997488A (zh) 2017-07-28 2018-06-28 动态控制用于处理传感器输出数据的参数的系统和方法

Country Status (2)

Country Link
CN (1) CN110997488A (zh)
WO (1) WO2019022910A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654832A (zh) * 2020-05-29 2020-09-11 南方电网数字电网研究院有限公司 传感器的发射功率确定方法、装置、系统和传感器设备
CN114630042A (zh) * 2020-12-08 2022-06-14 西屋气动刹车技术公司 自动相机配置系统和方法
US11800246B2 (en) 2022-02-01 2023-10-24 Landscan Llc Systems and methods for multispectral landscape mapping

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4899296A (en) * 1987-11-13 1990-02-06 Khattak Anwar S Pavement distress survey system
US20030169902A1 (en) * 2002-03-05 2003-09-11 Nissan Motor Co., Ltd. Vehicular image processing apparatus and related method
JP2008139491A (ja) * 2006-11-30 2008-06-19 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
GB2464821A (en) * 2008-10-31 2010-05-05 Honeywell Int Inc Micro aerial vehicle with video quality of service based on mission segment
EP2546602A1 (en) * 2010-03-12 2013-01-16 Hitachi Automotive Systems, Ltd. Stereo camera device
US20130038717A1 (en) * 2011-08-09 2013-02-14 The Boeing Company Image Based Position Determination
US20140098990A1 (en) * 2012-10-09 2014-04-10 The Boeing Company Distributed Position Identification
US20140132707A1 (en) * 2011-09-05 2014-05-15 Mitsubishi Electric Corporation Image processing apparatus and image processing method
US20140198977A1 (en) * 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
US20140294289A1 (en) * 2013-03-29 2014-10-02 Sony Computer Entertainment Inc. Image processing apparatus and image processing method
US20150145997A1 (en) * 2013-11-22 2015-05-28 Renesas Electronics Corporation In-Vehicle Image Processing Device and Semiconductor Device
US20160356880A1 (en) * 2015-06-02 2016-12-08 Valentine Research, Inc. Image analysis and radar detectors
CN106461774A (zh) * 2014-02-20 2017-02-22 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
US20170116487A1 (en) * 2015-10-22 2017-04-27 Kabushiki Kaisha Toshiba Apparatus, method and program for generating occupancy grid map
US20170174227A1 (en) * 2015-12-21 2017-06-22 Igor Tatourian Dynamic sensor range in advanced driver assistance systems

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039491A (ja) * 2006-08-02 2008-02-21 Fuji Heavy Ind Ltd ステレオ画像処理装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4899296A (en) * 1987-11-13 1990-02-06 Khattak Anwar S Pavement distress survey system
US20030169902A1 (en) * 2002-03-05 2003-09-11 Nissan Motor Co., Ltd. Vehicular image processing apparatus and related method
JP2008139491A (ja) * 2006-11-30 2008-06-19 Dainippon Printing Co Ltd 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
GB2464821A (en) * 2008-10-31 2010-05-05 Honeywell Int Inc Micro aerial vehicle with video quality of service based on mission segment
EP2546602A1 (en) * 2010-03-12 2013-01-16 Hitachi Automotive Systems, Ltd. Stereo camera device
US20130038717A1 (en) * 2011-08-09 2013-02-14 The Boeing Company Image Based Position Determination
US20140132707A1 (en) * 2011-09-05 2014-05-15 Mitsubishi Electric Corporation Image processing apparatus and image processing method
US20140198977A1 (en) * 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
US20140098990A1 (en) * 2012-10-09 2014-04-10 The Boeing Company Distributed Position Identification
US20140294289A1 (en) * 2013-03-29 2014-10-02 Sony Computer Entertainment Inc. Image processing apparatus and image processing method
US20150145997A1 (en) * 2013-11-22 2015-05-28 Renesas Electronics Corporation In-Vehicle Image Processing Device and Semiconductor Device
CN106461774A (zh) * 2014-02-20 2017-02-22 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
US20160356880A1 (en) * 2015-06-02 2016-12-08 Valentine Research, Inc. Image analysis and radar detectors
US20170116487A1 (en) * 2015-10-22 2017-04-27 Kabushiki Kaisha Toshiba Apparatus, method and program for generating occupancy grid map
US20170174227A1 (en) * 2015-12-21 2017-06-22 Igor Tatourian Dynamic sensor range in advanced driver assistance systems

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654832A (zh) * 2020-05-29 2020-09-11 南方电网数字电网研究院有限公司 传感器的发射功率确定方法、装置、系统和传感器设备
CN114630042A (zh) * 2020-12-08 2022-06-14 西屋气动刹车技术公司 自动相机配置系统和方法
US11800246B2 (en) 2022-02-01 2023-10-24 Landscan Llc Systems and methods for multispectral landscape mapping

Also Published As

Publication number Publication date
WO2019022910A2 (en) 2019-01-31
WO2019022910A3 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
CN109478068B (zh) 动态地控制运载工具的方法、装置和存储介质
US20180032042A1 (en) System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data
US11218689B2 (en) Methods and systems for selective sensor fusion
US20190243376A1 (en) Actively Complementing Exposure Settings for Autonomous Navigation
US9632509B1 (en) Operating a UAV with a narrow obstacle-sensor field-of-view
US11906983B2 (en) System and method for tracking targets
CN111295627B (zh) 水下领航无人机系统
US20200191556A1 (en) Distance mesurement method by an unmanned aerial vehicle (uav) and uav
US20180350086A1 (en) System And Method Of Dynamically Filtering Depth Estimates To Generate A Volumetric Map Of A Three-Dimensional Environment Having An Adjustable Maximum Depth
US10254767B1 (en) Determining position or orientation relative to a marker
JP2015006874A (ja) ３次元証拠グリッドを使用する自律着陸のためのシステムおよび方法
WO2018204772A1 (en) Leading drone system
WO2018204776A1 (en) Leading drone method
US20200117197A1 (en) Obstacle detection assembly for a drone, drone equipped with such an obstacle detection assembly and obstacle detection method
WO2017168423A1 (en) System and method for autonomous guidance of vehicles
KR20150136209A (ko) 다중 영상 기반 장애물 회피 시스템 및 방법
US20190066522A1 (en) Controlling Landings of an Aerial Robotic Vehicle Using Three-Dimensional Terrain Maps Generated Using Visual-Inertial Odometry
US10109074B2 (en) Method and system for inertial measurement having image processing unit for determining at least one parameter associated with at least one feature in consecutive images
CN110997488A (zh) 动态控制用于处理传感器输出数据的参数的系统和方法
CN110673627A (zh) 一种森林无人机搜寻方法
EP3989034B1 (en) Automatic safe-landing-site selection for unmanned aerial systems
US10969786B1 (en) Determining and using relative motion of sensor modules
Nyasulu et al. Comparison study of low-cost obstacle sensing solutions for Unmanned Aerial Vehicles in wildlife scenery
JP2023128381A (ja) 飛行装置、飛行制御方法及びプログラム
KR20220031574A (ko) 3차원 측위 및 지도작성 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200410