CN110192161A - 使用射线投射映射来操作可移动平台的方法和系统 - Google Patents
使用射线投射映射来操作可移动平台的方法和系统 Download PDFInfo
- Publication number
- CN110192161A CN110192161A CN201780083495.0A CN201780083495A CN110192161A CN 110192161 A CN110192161 A CN 110192161A CN 201780083495 A CN201780083495 A CN 201780083495A CN 110192161 A CN110192161 A CN 110192161A
- Authority
- CN
- China
- Prior art keywords
- grid
- grid cell
- moveable platform
- value
- time point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013507 mapping Methods 0.000 title description 3
- 230000004888 barrier function Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 47
- 238000003384 imaging method Methods 0.000 description 31
- 230000007246 mechanism Effects 0.000 description 29
- 238000012545 processing Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- COCAUCFPFHUGAA-MGNBDDOMSA-N n-[3-[(1s,7s)-5-amino-4-thia-6-azabicyclo[5.1.0]oct-5-en-7-yl]-4-fluorophenyl]-5-chloropyridine-2-carboxamide Chemical compound C=1C=C(F)C([C@@]23N=C(SCC[C@@H]2C3)N)=CC=1NC(=O)C1=CC=C(Cl)C=N1 COCAUCFPFHUGAA-MGNBDDOMSA-N 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005036 potential barrier Methods 0.000 description 1
- 230000001141 propulsive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
用于规划可移动平台路线的系统和方法。在第一时间点获取表示可移动平台附近的一个或多个物体的位置信息的传感器数据。通过基于第一时间点的传感器数据来更新在所述第一时间点之前的第二时间点的现有网格图，以生成第一时间点的新网格图。每个网格图包括多个网格单元，每个网格单元具有表示在对应时间点投射通过该网格单元的射线的净空状态的值。基于新网格图的多个网格单元的相应值来更新可移动平台的路线。
Description
技术领域
所公开的实施例总体上涉及操作可移动平台，并且更具体地但非排他地涉及使用射线投射映射来针对可移动平台规划路线。
背景技术
诸如无人飞行器(UAV)的可移动平台可以用于执行针对军事和民用应用的监视、侦察和勘探任务。可移动平台通常与多个传感器相关联，多个传感器被配置为检测可移动平台附近的物体。例如，多个传感器可以包括一个或多个成像传感器，用于捕捉周围环境的图像数据以避开障碍物和/或跟踪周围环境中的目标。有效且准确地处理和管理从多个传感器获得的传感器数据对于规划可移动平台的路线来说是重要的。
发明内容
需要对从与可移动平台相关联的多个传感器获得的传感器数据进行处理的系统和方法。可以有效地处理传感器数据以规划用于目标跟踪、避开障碍物、图像/视频捕捉和/或可移动平台的其他适当功能的路线。这些系统和方法可选地补充或替换用于处理传感器数据和用于为可移动平台规划路线的传统方法。此外，可以在可移动平台沿着路径移动并捕捉传感器数据时实时地执行本文公开的传感器数据处理技术。
根据一些实施例，一种针对可移动平台规划路线的方法，包括：获取对在第一时间点的可移动平台附近的一个或多个物体的位置信息加以表示的传感器数据。该方法还包括：通过基于第一时间点的传感器数据来更新在所述第一时间点之前的第二时间点的现有网格图，生成第一时间点的新网格图。每个网格图包括多个网格单元，每个网格单元具有表示在对应时间点投射通过该网格单元的射线的净空状态的值。该方法还包括：基于新网格图的多个网格单元的相应值来更新针对可移动平台的路线。
根据一些实施例，一种系统可以包括：一个或多个处理器，与成像装置相耦接；存储器；以及一个或多个程序。该一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行。该一个或多个程序包括用于执行上述方法的操作的指令。根据一些实施例，非暂时性计算机可读存储介质已经在其中存储有指令，该指令在由电子装置执行时使电子装置执行上述方法的操作。
附图说明
图1示出了根据一些实施例的可移动平台环境。
图2A示出了根据一些实施例的可移动平台。
图2B示出了根据一些实施例的可移动平台的示例性感测系统。
图3A示出了根据一些实施例的目标跟踪系统的示例控制单元。
图3B示出了根据一些实施例的用于控制可移动物体的示例性计算装置。
图4是示出了根据一些实施例的基于可移动平台的传感器数据更新网格图的过程的图。
图5A示出了根据一些实施例的通过将网格图划分为多个分区来处理可移动平台的传感器数据的示例性实施例。
图5B示出了根据一些实施例的通过将网格图划分为多个网格单元子集来处理可移动平台的传感器数据的示例性实施例。
图6示出了根据一些实施例的用于基于与相应网格单元相关联的射线投射状态来更新可移动平台的网格图中的网格单元的相应值的各种示例性实施例。
图7示出了根据一些实施例的基于可移动平台的射线投射来存储和读取网格图中的相应网格单元的值的示例性实施例。
图8示出了根据一些实施例的用于基于网格图来操作可移动平台的示例性用户界面。
图9A至图9E是示出了根据一些实施例的为可移动平台规划路线的方法的流程图。
具体实施方式
现在将详细参考实施例，其示例在附图中示出。在以下详细描述中，阐述了许多具体细节以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践各种所述实施例。在其他实例中，没有详细描述公知的方法、过程、组件、电路和网络，以免不必要地模糊实施例的方面。
以下描述使用无人飞行器(UAV)(例如，直升机)作为可移动平台的示例。无人飞行器包括例如固定翼飞机和旋翼飞机(例如直升机、四轴飞行器和具有其他数量和/或转子配置的飞机)。在一些实施例中，可移动平台还包括但不限于具有摄像机和图像处理功能的手持式万向节、自动驾驶汽车(即，自主汽车、无人驾驶汽车)、虚拟现实(VR)耳机和增强现实(AR)耳机。对于本领域技术人员而言显而易见的是，其他类型的可移动平台可以替代如下所述的UAV，诸如移动电话、平板电脑或遥控器。
本发明提供涉及以下内容的技术：处理和管理由与可移动平台相关联的多个传感器捕捉的传感器数据，并基于传感器数据操作可移动平台，诸如针对可移动平台规划路线以避开障碍物或跟踪目标。在一些实施例中，当可移动平台沿着路径移动时，基于由与可移动平台相关联的多个传感器实时捕捉的传感器数据来生成和更新网格图。例如，在某个时间点更新网格图包括：基于在对应时间点捕捉的传感器数据来更新网格图的相应网格单元的值，其中相应网格单元的值表示在对应时间点投射通过相应网格单元的射线的状态。此外，为了在实时操作可移动平台的同时有效地处理传感器数据，将网格图划分为多个网格单元子集。基于可移动平台的操作参数，可以选择和更新网格图中的一个或多个网格单元子集，而不是整个网格图。因此，在可移动平台的实时操作期间，传感器数据的处理和可移动平台的路线规划可以更有效和准确。
图1示出了根据一些实施例的可移动平台环境100。可移动平台环境100包括可移动平台102。在一些实施例中，可移动平台102包括搭载物104和/或有效载荷106。
在一些实施例中，搭载物104用于将有效载荷106耦接到可移动平台102。在一些实施例中，搭载物104包括用于将有效载荷106与可移动平台102和/或移动机构114的移动进行隔离的元件(例如，万向节和/或阻尼元件)。在一些实施例中，搭载物104包括用于控制有效载荷106相对于可移动平台102的移动的元件。
在一些实施例中，有效载荷106耦合(例如，刚性耦合)到可移动平台102(例如，经由搭载物104耦合)，使得有效载荷106相对于可移动平台102保持基本静止。例如，搭载物104耦合到有效载荷106，使得有效载荷不能相对于可移动平台102移动。在一些实施例中，有效载荷106被直接安装到可移动平台102而不需要搭载物104。在一些实施例中，有效载荷106部分或完全位于可移动平台102内。
在一些实施例中，遥控器108(例如，如图3A中进一步讨论的)与可移动平台102通信，例如，向可移动平台102提供控制指令和/或在遥控器108的显示器(未示出)上显示从可移动平台102接收的信息。虽然遥控器108通常是便携式(例如，手持式)装置，但遥控器108不需要是便携式的。在一些实施例中，遥控器108是专用控制装置(例如，用于可移动平台102)、膝上型计算机、台式计算机、平板电脑、游戏系统、可穿戴装置(例如，眼镜、手套和/或头盔)、麦克风、便携式通信装置(例如，移动电话)和/或其组合。
在一些实施例中，可移动平台环境100包括计算装置110(例如，如图3B中进一步讨论的)。在一些实施例中，计算装置110例如是服务器计算机、云服务器、台式计算机、膝上型计算机、平板电脑或其他便携式电子装置(例如，移动电话)。在一些实施例中，计算装置110是与可移动平台102和/或遥控器108(例如，无线地)通信的基站。在一些实施例中，计算装置110提供数据存储、数据检索和/或数据处理操作，例如以减少可移动平台102和/或遥控器108的处理功率和/或数据存储需求。例如，计算装置110可通信地连接到数据库，和/或计算装置110包括数据库。在一些实施例中，代替遥控器108或者除了遥控器108之外，使用计算装置110来执行关于遥控器108所描述的任何操作。
在一些实施例中，可移动平台102例如经由无线通信112与遥控器108和/或计算装置110通信。在一些实施例中，可移动平台102从遥控器108和/或计算装置110接收信息。例如，由可移动平台102接收的信息包括例如用于控制可移动平台102的控制指令。在一些实施例中，可移动平台102将信息发送到遥控器108和/或计算装置110。例如，由可移动平台102发送的信息包括例如由可移动平台102捕捉的图像和/或视频。
在一些实施例中，计算装置110、遥控器108和/或可移动平台102之间的通信经由网络(例如，互联网116)和/或无线信号发射机(例如，远程无线信号发射机)(如蜂窝塔118)发送。在一些实施例中，卫星(未示出)是互联网116的部件和/或是除了蜂窝塔118之外还使用的或代替蜂窝塔118使用的。
在一些实施例中，在计算装置110、遥控器108和/或可移动平台102之间传送的信息包括控制指令。在一些实施例中，控制指令包括例如用于控制可移动平台102的导航参数(如可移动平台102、搭载物104和/或有效载荷106的位置、朝向、朝向和/或一个或多个移动特性)的导航指令。在一些实施例中，控制指令包括引导一个或多个移动机构114的移动的指令。例如，控制指令用于控制UAV的飞行。在一些实施例中，控制指令包括用于控制搭载物104的操作(例如，移动)的信息。在一些实施例中，控制指令用于调整有效载荷106的一个或多个操作参数。在一些实施例中，当控制指令被可移动平台102接收时，控制指令改变可移动平台102的参数，和/或控制指令被可移动平台的存储器204(图2A)存储。
图2A示出了根据一些实施例的示例性可移动平台102。可移动平台102通常包括一个或多个处理器202、存储器204、通信系统206、可移动平台感测系统210以及用于互连这些组件的一个或多个通信总线208。
在一些实施例中，可移动平台102是无人飞行器并且包括用于实现飞行和/或飞行控制的组件。在一些实施例中，可移动平台102包括具有一个或多个网络或其他通信接口(例如，通过其接收飞行控制指令)的通信系统206、一个或多个移动机构114和/或一个或多个可移动平台致动器212(例如，以响应于接收到的控制指令而引起移动机构114的移动)。尽管可移动平台102被描述为飞行器，但是该描述并非意在限制，并且可以使用任何合适类型的可移动平台。致动器212例如是马达，诸如液压、气动、电动、热力、磁力和/或机械马达。
在一些实施例中，可移动平台102包括移动机构114(例如，推进机构)。尽管在此为了便于参考而使用复数术语“移动机构”，但“移动机构114”是指单个移动机构(例如，单个螺旋桨)或多个移动机构(例如，多个转子)。移动机构114包括一个或多个移动机构类型，例如转子、螺旋桨、叶片、发动机、马达、轮、轴、磁体、喷嘴等。移动机构114在例如顶、底，前、后和/或侧面处耦合到可移动平台102。在一些实施例中，单个可移动平台102的移动机构114包括相同类型的多个移动机构。在一些实施例中，单个可移动平台102的移动机构114包括具有不同移动机构类型的多个移动机构。移动机构114使用任何适当的装置(诸如支撑元件(例如，驱动轴)和/或其他致动元件(例如，可移动平台致动器212))耦合到可移动平台102。例如，可移动平台致动器212接收来自(一个或多个)处理器202(例如，经由控制总线208)的控制信号，控制信号激活可移动平台致动器212以引起移动机构114的移动。例如，处理器202包括向可移动平台致动器212提供控制信号的电子速度控制器。
在一些实施例中，移动机构114使得可移动平台102能够从表面垂直地起飞或在表面上垂直地着陆，而不需要可移动平台102的任何水平移动(例如，不需要沿跑道行进)。在一些实施例中，移动机构114可操作以允许可移动平台102以指定位置和/或取向悬停在空气中。在一些实施例中，移动机构114中的一个或多个移动机构可独立于其他移动机构114中的一个或多个移动机构来控制。例如，当可移动平台102是四轴飞行器时，四轴飞行器的每个转子都可独立于四轴飞行器的其他转子进行控制。在一些实施例中，多个移动机构114被配置用于同时移动。
在一些实施例中，存储器204存储本文统称为“元件”的一个或多个指令、程序(例如，指令集)、模块、控制系统和/或数据结构。关于存储器204描述的一个或多个元件可选地由遥控器108、计算装置110和/或其他装置来存储。在一些实施例中，成像装置216包括存储器，存储器存储关于存储器204描述的一个或多个参数。
在一些实施例中，存储器204存储包括一个或多个系统设置(例如，如由制造商、管理员和/或用户配置)的控制系统配置。例如，用于可移动平台102的识别信息被存储为系统配置的系统设置。在一些实施例中，控制系统配置包括用于成像装置216的配置。用于成像装置216的配置存储诸如位置、缩放水平和/或对焦参数(例如，对焦量、选择自动对焦或手动对焦和/或调整图像中的自动对焦目标)的参数。成像装置配置存储的成像属性参数包括例如图像分辨率、图像尺寸(例如，图像宽度和/或高度)、长宽比、像素数、质量、焦距、景深、曝光时间、快门速度和/或白平衡。在一些实施例中，响应于(例如，由处理器202生成和/或由可移动平台102从遥控器108和/或计算装置110接收的)控制指令来更新由成像装置配置存储的参数。在一些实施例中，响应于从可移动平台感测系统210和/或成像装置216接收的信息来更新由成像装置配置存储的参数。
在一些实施例中，控制系统执行成像装置调整。成像装置调整模块存储例如用于调整图像传感器与成像装置216的光学器件之间的距离的指令(例如，用于控制成像装置致动器的指令)。在一些实施例中，控制系统执行自动对焦操作。在一些实施例中，控制系统执行图像距离确定，例如以根据本文描述的操作来确定对象距离和/或图像距离。在一些实施例中，用于执行上述操作的一个或多个指令被存储在存储器204中。
上述识别的控制系统、模块和/或程序(例如，指令集)不需要被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子集可以在各种实施例中被组合或以其他方式重新排列并存储在存储器204中。在一些实施例中，控制系统包括上述识别的模块和数据结构的子集。此外，存储器204可以存储上面未描述的附加模块和数据结构。在一些实施例中，存储在存储器204或存储器204的非暂时性计算机可读存储介质中的程序、模块和数据结构提供用于实现下面描述的方法中的相应操作的指令。在一些实施例中，这些模块中的一些或全部可以用包含部分或全部模块功能的专用硬件电路来实现。一个或多个上述标识的元件可以由可移动平台102的一个或多个处理器202执行。在一些实施例中，一个或多个上述标识的模块被存储在远离可移动平台的装置的一个或多个存储装置(诸如遥控器108、计算装置110和/或成像装置216的存储器)上和/或由远离可移动平台102的装置的一个或多个处理器(例如，遥控器108、计算装置110和/或成像装置216的(一个或多个)处理器)执行。
通信系统206例如经由无线信号112实现与遥控器108和/或计算装置110的通信。通信系统206包括例如用于无线通信的发射机、接收机和/或收发机。在一些实施例中，通信是单向通信，使得数据仅由可移动平台102从遥控器108和/或计算装置110接收，或反之亦然。在一些实施例中，通信是双向通信，使得数据在可移动平台102与遥控器108和/或计算装置110之间的两个方向上传送。在一些实施例中，可移动平台102、遥控器108和/或计算装置110连接到互联网116或其他电信网络，例如，使得由可移动平台102、遥控器108和/或计算装置110生成数据被发送到服务器以用于数据存储和/或数据检索(例如，用于由网站显示)。
在一些实施例中，如参考图2B进一步描述的，可移动平台102的感测系统210包括一个或多个传感器。在一些实施例中，可移动平台102和/或控制单元104使用由感测系统210的传感器生成的感测数据，来确定诸如可移动平台102的位置、可移动平台102的朝向、可移动平台102的移动特性(例如，角速度、角加速度、平移速度、平移加速度和/或沿着一个或多个轴的运动方向)、可移动平台102对潜在障碍物的接近度、天气状况、地理特征的位置和/或人造结构的位置的信息。
图2B示出了根据一些实施例的可移动平台102的示例性感测系统210。在一些实施例中，可移动平台感测系统210的一个或多个传感器安装到可移动平台102的外部，位于可移动平台102内或以其他方式耦合到可移动平台102。在一些实施例中，可移动物体感测系统210的一个或多个传感器是搭载物104、有效载荷106和/或成像装置216的部件和/或耦合到搭载物104、有效载荷106和/或成像装置302。在本文中将感测操作描述为由可移动平台感测系统210执行的情况下，将认识到，除了可移动平台感测系统210的一个或多个传感器之外和/或代替可移动平台感测系统210的一个或多个传感器，此类操作可选地由搭载物104、有效载荷106和/或成像装置216的一个或多个传感器执行。在一些实施例中，可移动平台感测系统210生成静态感测数据(例如，响应于接收到的指令而捕捉的单个图像)和/或动态感测数据(例如，以周期性速率捕捉的一系列图像，诸如视频)。
在一些实施例中，可移动平台感测系统210包括一个或多个图像传感器262。在一些实施例中，一个或多个图像传感器262包括多个立体相机，诸如包括左立体图像传感器264和右立体图像传感器266的一对立体相机。图像传感器262捕捉图像、图像流(例如，视频)、立体图像(例如，立体图像)和/或立体图像流(例如，立体图像视频)。在一些实施例中，图像传感器262包括位于可移动平台102的不同部分(例如，侧面、区域等)处的多对立体相机，诸如可移动平台102的顶部、底部、前部、后部、左部和右部的一个或多个部分。例如，可移动平台感测系统210包括位于可移动平台102前部的一对立体相机、位于可移动平台102后部的另一对立体相机以及位于可移动平台102底部的又一对立体相机。图像传感器262检测诸如可见光、红外光和/或紫外光的光。在一些实施例中，可移动平台感测系统210包括一个或多个光学装置(例如，透镜)以将光对焦或以其他方式改变到一个或多个图像传感器262上。在一些实施例中，图像传感器262包括例如半导体电荷耦合器件(CCD)、使用互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS、现场MOS)技术的有源像素传感器或任何其他类型的传感器。
在一些实施例中，可移动平台感测系统210包括一个或多个音频换能器268。例如，音频检测系统包括音频输出换能器270(例如，扬声器)和音频输入换能器272(例如麦克风，诸如抛物线麦克风)。在一些实施例中，麦克风和扬声器被用作声纳系统的组件。在一些实施例中，使用声纳系统来检测环境中的对象(例如，障碍物和/或目标)的位置信息。
在一些实施例中，可移动平台感测系统210包括一个或多个红外传感器274。在一些实施例中，距离测量系统包括一对红外传感器(例如，红外传感器276(诸如左红外传感器)和红外传感器278(诸如右红外传感器))或另一传感器或传感器对。距离测量系统可以用来测量到环境中的物体(例如，目标和/或障碍物)的距离。
在一些实施例中，产生射线投射图的系统包括可移动物体感测系统210的一个或多个传感器或传感器对(诸如，左立体图像传感器264和右立体图像传感器266；音频输出换能器270和音频输入换能器272；和/或左红外传感器276和右红外传感器278)。在一些实施例中，立体声数据系统(例如，立体成像系统)中的一对传感器同时捕捉来自不同位置的数据。在一些实施例中，深度图是由立体数据系统使用同时捕捉的数据而生成的。在一些实施例中，深度图被用于定位和/或检测操作，诸如检测障碍物、检测障碍物的当前位置信息、检测目标和/或检测目标的当前位置信息。在一些实施例中，可移动平台感测系统210包括一个或多个深度传感器，诸如飞行时间(TOF)相机。例如，可移动平台感测系统210包括位于可移动平台102的左侧和右侧处的T0F相机。一个或多个TOF相机也可以定位可移动平台102的其他部分。T0F相机基于光速来计算图像帧中每个点/像素的距离。例如，测量成像系统与图像帧中像素的对象之间的光信号的飞行时间以确定相应像素的距离(例如，深度)。
在一些实施例中，可移动平台感测系统210还包括但不限于一个或多个全球定位系统(GPS)传感器280、运动传感器(例如，加速度计)282、旋转传感器(例如，陀螺仪)、惯性传感器284、接近传感器((例如，红外传感器)和/或天气传感器286(例如，压力传感器、温度传感器、湿度传感器和/或风传感器)、视觉测距(VO)系统288、激光雷达系统290和超声传感器292。在一些实施例中，可移动平台感测系统210包括惯性测量单元(IMU)，惯性测量单元可以包括运动传感器282、旋转传感器和可选的磁强计。
在一些实施例中，由可移动平台感测系统210的一个或多个传感器生成的感测数据和/或使用来自可移动平台感测系统210的一个或多个传感器的感测数据确定的信息被发送到遥控器108(例如，经由通信系统206)。在一些实施例中，由可移动平台感测系统210的一个或多个传感器生成的数据和/或使用来自可移动平台感测系统122的一个或多个传感器的感测数据确定的信息可以由存储器204存储。
图3A示出了根据一些实施例的可移动平台102的示例性遥控器108。在一些实施例中，遥控器108经由通信系统310与可移动平台102通信，例如以向可移动平台102提供控制指令。遥控器108可以是或可以不是便携式的(例如，手持式)。在一些实施例中，遥控器108是专用控制装置(例如，专用于可移动平台102的操作)、膝上型计算机、台式计算机、平板计算机、游戏系统、可穿戴装置(例如，眼镜、手套和/或头盔)、麦克风和/或其组合。
在一些实施例中，遥控器108包括一个或多个处理器302、通信系统310(例如，包括一个或多个网络或其他通信接口)、存储器304、一个或多个输入/输出(I/O)接口(例如，显示器308和/或输入装置306)以及用于将这些部件互连的一个或多个通信总线312。
在一些实施例中，触摸屏显示器包括显示器308和输入装置306。触摸屏显示器和处理器302可选地使用任何合适的触敏技术来检测接触和移动，触敏技术包括但不限于电容式、电阻式、红外和表面声波技术，以及其他接近传感器阵列或用于确定与触摸屏显示器的一个或多个接触点的其他元件。
在一些实施例中，输入装置306包括例如一个或多个操纵杆、开关、旋钮、滑动开关、按钮、拨号盘、键区、键盘、鼠标、音频换能器(例如，用于语音控制系统的麦克风)、运动传感器和/或手势控制。在一些实施例中，遥控器108的I/O接口包括传感器(例如，GPS传感器和/或加速度计)、音频输出换能器(例如，扬声器)和/或一个或多个用于生成触觉输出的触觉输出生成器。在一些实施例中，输入装置306接收用户输入以控制可移动平台102、搭载物104、有效载荷106或其部件的各方面。这些方面包括例如姿态、位置、朝向、速度、加速度、导航、跟踪和/或飞行模式。在一些实施例中，输入装置306用于调整搭载物的操作参数，诸如，搭载物感测系统212的参数(例如，以调整成像装置216的缩放参数)和/或有效载荷106相对于搭载物104和/或可移动平台102的位置。
在一些实施例中，显示装置308显示关于可移动平台102、搭载物104和/或有效载荷106的信息，诸如，可移动平台102的位置、姿态、朝向、移动特性和/或可移动平台102与另一物体(例如，目标和/或障碍物)之间的距离。在一些实施例中，由显示装置308显示的信息包括由成像装置216捕捉的图像、跟踪数据(例如，应用于目标的表示的图形化跟踪指示符)和/或发送到可移动平台102的控制数据的指示。
通信系统310支持经由有线或无线通信连接与可移动平台102的通信系统206、计算装置110的通信系统330和/或基站(例如，计算装置110)进行通信。在一些实施例中，通信系统310发送控制指令(例如，导航控制指令、目标信息和/或跟踪指令)。在一些实施例中，通信系统310接收数据(例如，来自搭载物成像装置216的跟踪数据和/或来自可移动物体感测系统210的数据)。
在一些实施例中，存储器304存储用于自动地生成和/或基于经由输入装置306接收的输入生成控制指令的指令。控制指令包括例如用于操作可移动平台102的移动机构114、调整搭载物104、调整有效载荷106和/或调整可移动物体感测系统210的一个或多个传感器的操作的控制指令。
图3B示出了根据一些实施例的用于控制可移动平台102的示例性计算装置110。计算装置110是例如服务器计算机、膝上型计算机、台式计算机、平板电脑或电话。计算装置110通常包括一个或多个处理单元322、存储器324、通信系统330以及用于将这些部件互连的一个或多个通信总线332。在一些实施例中，计算装置110包括输入/输出(I/O)接口326，例如，显示器336和/或输入装置334。在一些实施例中，计算装置110是与可移动平台102和/或遥控器108(例如，无线地)通信的基站。
在一些实施例中，计算装置110提供数据存储、数据检索和/或数据处理操作，例如以减少可移动平台102和/或遥控器108的处理电力和/或数据存储需求。例如，计算装置110可通信地连接到数据库338(例如，经由通信系统330)，和/或计算装置110包括数据库338(例如，数据库338连接到通信总线332)。
通信系统330包括一个或多个网络或其他通信接口。在一些实施例中，计算装置110从可移动平台102(例如，从可移动物体感测系统210的一个或多个传感器)和/或遥控器108接收数据。在一些实施例中，计算装置110将数据发送到可移动平台102和/或遥控器108。例如，计算装置110向可移动平台102提供控制指令。
图4是示出了根据一些实施例的基于可移动平台102的传感器数据更新网格图的示例过程的图。在一些实施例中，图4中所示的过程由诸如计算装置110(图1和图3B)、遥控器108(图1和图3A)或可移动平台102(图1和图2A至2B)的电子装置执行。在一些其他实施例中，图4的过程由其他电子装置执行，例如，与遥控器108配对以操作可移动平台102的移动装置或计算装置。在一些实施例中，图4中执行的操作与存储在对应装置的计算机存储器或其他计算机可读存储介质(例如，存储器204(图2A)、存储器304(图3A)或存储器324(图3B))中的指令相对应。
在一些实施例中，电子装置在特定时间点生成网格图。在一些实施例中，网格图包括与坐标系统中可移动平台102附近的一个或多个物体的存在和相应位置有关的信息。例如，如图4所示，电子装置在时间点t1生成网格图400，且网格图400包括一个或多个指示符，例如点。网格图400的每个点表示在时间点t1，坐标系(x1，y1，z1)中的对应位置(例如，具有坐标[x，y，z])处存在物体(请注意，一个物体可以与网格图400中的多个点相对应)。在一些实施例中，可移动平台102在时间点t1位于坐标系x1，y1，z1的中心附近(例如，与星形相对应的[0，0，0]处)。
在一些实施例中，可移动平台感测系统210的一个或多个传感器在时间点t1检测一个或多个物体的相应位置。在一个示例中，与可移动平台102相关联的一个或多个图像传感器262(图2B)检测可移动平台102附近的一个或多个物体的相应位置。在另一示例中，与可移动平台102相关联的一个或多个音频换能器268(图2B)使用声纳技术检测一个或多个物体的相应位置。在又一示例中，与可移动平台102相关联的一个或多个红外传感器274(图2B)测量一个或多个物体到可移动平台102的相应距离。在其他示例中，与可移动平台102相关联的VO系统288、LiDar系统290和/或超声传感器292(图2B)用于确定物体的相应位置。
在一些实施例中，可移动平台感测系统210的一个或多个传感器在时间点t2检测一个或多个物体的存在和相应位置，时间点t2是时间点t1之后发生的时间点。在如图4所示的一些实施例中，基于由与可移动平台102相关联的一个或多个传感器在时间点t2获得的传感器数据，获得点云410。在一些实施例中，点云410包括多个指示符(例如，点)，并且点云410中的每个点表示由一个或多个传感器在时间点t2在对应位置处检测到存在物体。在一些实施例中，时间点t2处的点云使用坐标系(x2，y2，z2)，在该坐标系中可移动平台102在时间点t2处位于中心(例如，位于[0，0，0])。在一些实施例中，使用任何适当的算法来确定点云410的一个或多个点，例如基于视觉的算法。
在一些实施例中，电子装置在时间点t2生成网格图420，并且网格图420包括一个或多个点。网格图420中的每个点表示在时间点t2在坐标系(x2，y2，z2)中的对应位置(例如，坐标[x，y，z])处存在物体。网格图中的一个或多个点表示可以在与可移动平台102相关联的一个或多个传感器的可检测范围内检测到相应物体。在一些实施例中，通过(1)将网格图400从坐标系(x1，y1，z1)变换到坐标系(x2，y2，z2)；和(2)将点云410合并到网格图420中来生成网格图420。在一些实施例中，基于运动数据执行坐标系(x1，y1，z1)到坐标系(x2，y2，z2)的变换，例如，可移动平台102从时间点t1到时间点t2的速度和移动方向。例如，如果可移动平台102从时间点t1到时间点t2沿着x1方向并以均匀速度v行进，则两个坐标系之间的变换为：x2＝x1+v(t2-t1)，y2＝y1，且z2＝z1。在一些实施例中，点云410中的一个或多个点被合并到网格图420中，点云410和网格图420使用相同的坐标系。在一些实施例中，当点云410使用与网格图420不同的坐标系时，在两个不同的坐标系之间执行变换以将点云410合并到网格图420中。请注意，变换包括平移和转动中的一个或多个。
在一些实施例中，以与一个或多个传感器的采样率相关联的速率更新网格图。在一些实施例中，基于可移动平台102的移动速度和/或沿着可移动平台102的移动方向分布的物体密度来自适应地更新网格图。例如，当可移动平台102以较快的速度行进时，更新速率可以更高。在另一示例中，当在沿着可移动平台102的移动方向上分布更多的物体时，更新速率可以更高。在一些实施例中，网格图的更新速率是10Hz、50Hz、100Hz、200Hz、500Hz或1000Hz。
图5A示出了根据一些实施例的通过将网格图(例如，网格图420)划分为多个分区来处理可移动平台102的传感器数据的示例性实施例。在一些实施例中，图5A中所示的操作由诸如计算装置110(图l和图3B)、遥控器108(图1和图3A)或者可移动平台102(图1和图2A至2B)的电子装置执行。在一些其他实施例中，图5A中所示的操作由其他电子装置(例如，与遥控器108配对以操作可移动平台102的移动装置或计算装置)执行。在一些实施例中，图5A中执行的操作与存储在对应装置的计算机存储器或其他计算机可读存储介质(例如，存储器204(图2A)、存储器304(图3A)或存储器324(图3B))中的指令相对应。
例如，如图5A所示，网格图420或网格图420的一部分由立方体AHIJ-KLMN表示。在一些实施例中，可移动平台102位于立方体AHIJ-KLMN内的中心，即点O。在一些实施例中，基于与可移动平台102相关联的一个或多个传感器的可检测范围，立方体AHIJ-KLMN的尺寸为25.6米×25.6米×25.6米。在一些实施例中，将立方体AHIJ-KLMN划分为八个分区，且每个分区与三维坐标系的八分体相对应。每个分区表示可移动平台102的一个移动范围，该移动范围与从(1)x＞0，y＞0且z＞0；(2)x＜0，y＞0且z＞0：(3)x＜0，y＜0且z＞0：(4)x＞0，y＜0且z＞0：(5)x＞0，y＞0且z＜0；(6)x＜0，y＞0且z＜0；(7)x＜0，y＜0且z＜0；或者(8)x＞0，y＜0且z＜0中选择的区域相对应。在一些实施例中，由立方体AHIJ-KLMN表示的网格图包括多个网格单元，例如如图5A中所示的网格单元500。在一些实施例中，每个网格单元是尺寸范围在0.1×0.1×0.1立方米至1.0×1.0×1.0立方米内的小立方体(请注意，根据本申请的特定实施例，网格单元可以是任何尺寸的长方体，而不必是立方体)。在一些实施例中，通过将立方体AHIJ-KLMN划分为上述八个分区，仅需要更新一个或多个分区内的网格单元而不是整个立方体AHIJ-KLMN。例如，当操作可移动平台102以避开障碍物时，仅更新与可移动平台102的移动方向相对应的分区内的网格单元。因此，数据处理和更新可以耗时更少。
图5B示出了根据一些实施例的通过将网格图划分为多个网格单元子集来处理可移动平台102的传感器数据的示例性实施例。在一些实施例中，图5B中所示的操作由诸如计算装置110(图1和图3B)、遥控器108(图1和图3A)或者可移动平台102(图1和图2A至2B)的电子装置执行。在一些其他实施例中，图5B中所示的操作由其他电子装置(例如，与遥控器108配对以操作可移动平台102的移动装置或计算装置)执行。在一些实施例中，图5B中执行的操作与存储在对应装置的计算机存储器或其他计算机可读存储介质(例如，存储器204(图2A)、存储器304(图3A)或存储器324(图3B))中的指令相对应。
在一些实施例中，将分区ABCD-EFOG划分为三个网格单元子集，并且每个网格单元子集与三维空间中的相应多面体相对应，例如，多面体O-ABCD、多面体O-EGCA或多面体O-ABFE。在一些实施例中，每个多面体具有位于三维空间的中心(即，中心点O)处的顶点和与三维空间中的顶点相对的基面(例如，ABCD、EGCA或ABFE)。在一些实施例中，可移动平台102位于三维空间的中心，即，三维立方体AHIJ-KLMN的中心点0。在一些实施例中，可移动平台102位于分区ABCD-EFOG的角部，即，角部0。在一些实施例中，可移动平台102位于分区ABCD-EFOG内的每个多面体的顶点处。在一些实施例中，每个多面体包括多个网格单元，例如，网格单元500。在一些实施例中，每个多面体表示可移动平台102的移动范围与三维空间的多面体相对应。在一些实施例中，每个网格单元500与对在当前时间点投射通过对应网格单元的射线的净空状态加以指示的值相关联。在一些实施例中，射线(例如，射线OP)投射对应于自可移动平台102(例如，点O)开始且到在分区ABCD-EFOG内检测到的物体(例如，点P)结束的虚拟射线。在一些实施例中，确定射线OP的净空状态，并且根据下面在图6中讨论的示例性过程更新一个或多个网格单元(包括网格单元500)的相应值。
图6示出了根据一些实施例的用于基于与相应网格单元相关联的射线投射状态来更新可移动平台102的网格图中的网格单元的相应值的各种示例性实施例。在一些实施例中，图6中所示的操作由诸如计算装置110(图1和图3B)、遥控器108(图1和图3A)或者可移动平台102(图1和图2A至2B)的电子装置执行。在一些其他实施例中，图6中所示的操作由其他电子装置(例如，与遥控器108配对以操作可移动平台102的移动装置或计算装置)执行。在一些实施例中，图6中执行的操作与存储在对应装置的计算机存储器或其他计算机可读存储介质(例如，存储器204(图2A)、存储器304(图3A)或存储器324(图3B))中的指令相对应。
在如参考图4所讨论的一些实施例中，在特定时间点ti，基于在时间点ti获得的点云更新网格图内的多个网格单元的单元值。基于传感器数据获得点云，所述传感器数据包括环境中的由与可移动平台102相关联的一个或多个传感器检测到的一个或多个物体(例如，与点P、Q和W相对应)的坐标。
在一些实施例中，存在用于基于与网格图内的相应网格单元相关联的射线投射状态来更新网格单元的多种类型。在一些实施例中，网格图包括在时间点ti被单条射线穿过的一个或多个网格单元(称为“类型A”单元)。在一个示例中，“类型A”单元602被单条射线(即，射线OP)穿过。在一些实施例中，通过将单元值增加一个正数来更新“类型A”单元的单元值(假设正数用于表示物体的存在)。例如，“类型A”单元602的单元值加+1，这对应于在时间点ti单条射线穿过该单元。
在一些实施例中，网格图包括在时间点ti没有任何射线穿过的一个或多个网格单元(称为“类型B”单元)。在一个示例中，在时间点ti，没有任何射线穿过“类型B”单元604。在一些实施例中，不更新“类型B”单元的单元值，或者使其增加的数小于“类型A”单元的增加的数。例如，在时间点ti，将“类型B”单元604的单元值增加+0.5或者不对其进行改变(例如，对应于超时状态)。
在一些实施例中，网格图包括在时间点ti处包含被检测物体(例如，与点P相对应)的一个或多个网格单元(称为“类型C”单元)。在一个示例中，“类型C”单元606包含被检测物体(例如，对应于拦截射线的点P)。在一些实施例中，通过减少单元值来更新“类型C”单元的单元值。例如，在时间点ti，将“类型C”单元606的单元值减少2(或者改变-2)。
在一些实施例中，网格图包括在时间点ti位于射线(例如，射线OP)延长线上的一个或多个网格单元(称为“类型D”单元)。在一个示例中，“类型D”单元608位于射线OP的延长线上，并且由于单元608被包含点P的单元(即，单元606)阻挡，所以射线0P不会穿过单元608。在一些实施例中，以与“类型B”单元类似的方式更新“类型D”单元的单元值。例如，在时间点ti，将“类型D”单元608的单元值增加+0.5或者不对其进行改变(例如，对应于超时状态)。
在一些实施例中，网格图包括在时间点ti被多条射线穿过的一个或多个网格单元(称为“类型E”单元)。在一个示例中，“类型E”单元610被两条射线穿过，即，射线OQ和射线OW。在一些实施例中，通过将单元值增加与穿过这种“类型E”单元的射线的数量相对应的正数来更新“类型E”单元的单元值。例如，将“类型E”单元610的单元值加+2，这对应于在时间点ti两条射线穿过该单元。
在一些实施例中，与时间点ti时的“类型A”单元相比，更多的射线穿过“类型E”单元表示朝向“类型E”单元的路径(例如，优选地，该路径上撞到障碍物的可能性更低)比朝向“类型A”单元的路径更畅通。在一些实施例中，认为朝向具有更大单元值的一个或多个单元的路径更畅通，因此优选为可移动平台102推荐或规划该路径以沿着该路径移动，从而减少在途中撞到障碍物的可能性。
图7示出了根据一些实施例的基于可移动平台102的射线投射将网格图的相应网格单元集的值存储在例如可被可移动平台102访问的存储装置(例如，图2A中所示的存储器204)中的示例性实施例。在一些实施例中，图7中所示的存储操作由诸如计算装置110(图1和图3B)、遥控器108(图1和图3A)或者可移动平台102(图1和图2A至2B)的电子装置执行。在一些其他实施例中，图7中所示的存储操作由其他电子装置(例如，与遥控器108配对以操作可移动平台102的移动装置或计算装置)执行。在一些实施例中，图7中执行的存储操作与存储在对应装置的计算机存储器或其他计算机可读存储介质(例如，存储器204(图2A)、存储器304(图3A)或存储器324(图3B))中的指令相对应。
在一些实施例中，相同分区(例如，图5A中所示的八个分区中的一个)内的网格单元的值存储在存储装置(例如，片上或片外存储器)的物理连续存储区域中。在一些实施例中，还将网格单元子集内的网格单元的值存储在物理连续存储区域中与多面体之一相对应的物理连续子区域中，以便在针对可移动平台102的路线规划期间进行快速的数据存储和检索。例如，存储操作可以从存储位于多面体O-ABCD的中心点O附近的网格单元的值开始，沿着多面体O-ABCD的深度边缘OD一层一层地进行，直到达到多面体O-ABCD的底面为止。在占据相同深度的四边形区域的网格单元层内，存储操作通过在存储装置的物理连续存储区域的预定位置处分配每个网格值来以预定方式(例如，沿着特定方向逐行地)处理网格单元。因为多面体O-ABCD的形状和尺寸已知，所以存储操作可以并行或同时地根据预定公式在不同层执行数据访问过程(例如，存储网格值和检索网格值)，使数据访问过程效率更高。
在一些实施例中，存储操作检查位于多面体O-ABCD的中心点O附近的网格单元的值，并且跳过其值不大于预定阈值的那些网格单元，直到其定位到其值大于预定阈值的第一网格单元或第一层网格单元为止，用于将这些网格单元存储在存储装置的物理连续存储区域中。通过这样做，可以当网格值用于快速确定可移动平台102附近是否存在任何物体时在存储装置的一个物理连续存储区域内存储更多的网格值，且如果可移动平台102附近存在物体，则确定可移动平台102和潜在物体之间的最短距离。基于这种确定，相应地操纵可移动平台102以避开潜在的物体。在一些实施例中，存储操作仅将其值大于预定阈值的网格单元的索引存储在存储装置的物理连续存储区域内，并且使用索引来确定特定位置中的可能物体的位置，因为网格单元的索引值与网格单元在可移动平台102的周围空间中的特定位置相对应。
在一些实施例中，电子装置还为沿着射线OP分布的网格单元的值(例如是网格单元f1的值v1和网格单元f2的值v2)生成查找表704，以在确定或更新可移动102的路线时容易地访问网格单元的值。在一些实施例中，查找表704包括多个条目，且每个条目存储与网格单元有关的信息。例如，相应条目标识网格单元所属的网格单元子集、网格单元所沿的射线、相应网格单元在三维空间中的位置、相应网格单元的值以及用于存储相应条目的存储器位置。查找表704可用于有效地检索与沿着从中心0投射到和三维空间中的物体相对应的点的射线分布的一个或多个网格单元相关联的信息，使得可以在短时间内分析沿着投射射线分布的网格单元的值，以便为可移动平台102有效地进行路线规划。
在一个示例中，如图7所示，用于存储网格单元f1的信息的条目标识出：网格单元f1属于子集O-ABCD、网格单元f1沿着射线0P、网格单元f1的位置(例如，(r1，θ1)，其中，r1是网格单元f1和点O之间的距离，θ1是射线OP和子集O-ABCD的边界之间的夹角)、网格单元f1的值为v1以及用于存储与网格单元f1相关联的该条目的存储器位置L1。
在另一示例中，用于存储网格单元f2的信息的条目标识出：网格单元f2属于子集O-ABCD、网格单元f2沿着射线OP、网格单元f2的位置(例如，(r2，θ2)，其中，r2是网格单元f2和点O之间的距离，θ2是射线OP和子集O-ABCD的边界之间的夹角)、网格单元f2的值为v2以及用于存储与网格单元f2相关联的该条目的存储器位置L2。
图8示出了根据一些实施例的用于控制位于网格图的中心O的可移动平台102的示例性用户界面802。在一些实施例中，图8中所示的操作由诸如计算装置110(图1和图3B)、遥控器108(图1和图3A)或者可移动平台102(图1和图2A至2B)的电子装置执行。在一些其他实施例中，图8中所示的操作由其他电子装置(例如，与遥控器108配对以操作可移动平台102的移动装置或计算装置)执行。在一些实施例中，图8中执行的操作与存储在对应装置的计算机存储器或其他计算机可读存储介质(例如，存储器204(图2A)、存储器304(图3A)或存储器324(图3B))中的指令相对应。在一些实施例中，用户界面802显示在遥控器108(图3A)的显示器308或者计算装置110(图3B)的显示装置336上。
在如参考图5A至图5B所讨论的一些实施例中，将网格图(例如，立方体)划分为八个分区，并且将每个分区进一步划分为三个网格单元子集(例如，多面体)。在一些实施例中，电子装置接收用于请求可移动平台102向用户手指指向的方向移动的用户输入804。响应于用户输入804，电子装置基于所请求的方向从多个网格单元子集中选择一个网格单元子集(例如，多面体O-ABCD)。在一些实施例中，电子装置使用查找表(例如，查找表704，图7)检索与所选择的网格单元子集(例如，多面体O-ABCD)相对应的条目，并且基于所选择的网格单元子集的值相应地更新可移动平台的路线。在一些实施例中，图8中的过程可用于规划可移动平台102的路线以避开障碍物。
图9A至图9E是示出了根据一些实施例的为可移动平台102规划路线的方法的流程图。方法900在诸如可移动平台102、遥控器108和/或计算装置110的电子装置处执行。在一些其他实施例中，方法900由(一个或多个)其他电子装置(诸如与遥控器108配对以操作可移动平台102的移动装置或计算装置)执行。在图9A至图9E中执行的操作对应于存储在(一个或多个)对应设备的计算机存储器或其他计算机可读存储介质中的指令。
电子装置获取(902)对在第一时间点的可移动平台102附近的一个或多个物体的位置信息加以表示的传感器数据。在一些实施例中，传感器数据由可移动平台感测系统210(图2B)的一个或多个传感器来获取。
电子装置通过基于第一时间点的传感器数据更新在第一时间点之前的第二时间点的现有网格图(例如，时间点t1的网格400，图4)来生成(904)第一时间点的新网格图(例如，时间点t2的网格420，图4)。在一些实施例中，传感器数据在点云中示出，例如时间点t2的点云410。在一些实施例中，每个网格图包括多个网格单元，每个网格单元具有表示在对应时间点投射通过该网格单元的射线的净空状态的值。
电子装置基于新网格图的多个网格单元的相应值来更新(906)针对可移动平台102的路线。在一些实施例中，电子装置基于传感器数据识别(910)新网格图中的一个或多个点，一个或多个点表示在第一时间点在可移动平台102附近的三维空间内的相应位置处存在一个或多个物体。在一些实施例中，每个网格图包括一个或多个指示符(例如，点)，并且每个点表示在三维空间的相应位置处存在物体。在一些实施例中，更新现有网格图以生成新网格图包括：(1)将现有图从第二时间点的坐标系变换到第一时间点的坐标系，以及(2)将在第一时间获取的点云合并到第一时间的网格图中。例如，如参考图4所讨论的，为了获得时间点t2的网格图420，将时间点t1的网格图400从坐标系(x1，y1，z1)变换到坐标系(x2，y2，z2)。此外，将时间点t2的点云合并到时间点t2的网格图420中。
在一些实施例中，电子装置基于以下确定来更新(912)现有网格图中相应网格单元的值：从与可移动平台102的位置相对应的点(例如，中心点O，图6)投射到表示存在一个或多个物体的一个或多个点(例如，点P、Q或W，图6)的一条或多条射线是否在第一时间点穿过网格单元。
在一些实施例中，根据一条或多条射线在第一时间点穿过第一网格单元的确定，电子装置将现有网格图中的第一网格单元的值增加(914)穿过第一网格单元的一条或多条射线的数量。例如，如图6所示，因为存在单条射线(例如，射线0P)穿过类型A单元602，所以电子装置将单元602的值增加+1。在另一示例中，因为存在两条射线(例如，射线0Q和射线0W)穿过类型E单元610，所以电子装置将单元610的值增加+2。
在一些实施例中，根据在第一时间点没有新射线穿过现有网格图中的第二网格单元(例如，第二网格单元中根本不存在射线，或者拦截射线到达第二网格单元)的确定，电子装置以常数更新(916)第二网格单元的值。例如，如图6所示，因为没有射线穿过类型B单元604或类型D单元608(请注意，射线终止于单元606)，所以单元604的值或单元的值608保持不变。备选地，电子装置将单元604的值或单元的值608增加+0.5。
在一些实施例中，根据在第一时间点现有网格图中的第三网格单元包含对在三维空间内的对应位置处存在物体加以表示的点的确定，电子装置减少(918)第三网格单元的值。例如，如图6所示，因为类型C单元606包含与三维空间中的物体相对应的点P，所以将单元606的值减小2(或者改变-2)。
在一些实施例中，电子装置基于值高于预定阈值的一个或多个网格单元在网格图上的位置来更新(920)可移动平台102的路线。例如，电子装置识别朝向具有最大值的网格单元的路线。在另一示例中，电子装置识别朝向具有大于预定阈值的值的网格单元的路线。在一些实施例中，电子装置以特定速率(例如，10Hz、50Hz、100Hz、200Hz、500Hz或1000Hz)更新网格图。每次更新网格图之后，电子装置确定朝向具有大于预定阈值的相应值的一个或多个网格单元的一条或多条路线。
在一些实施例中，电子装置调整(908)可移动平台102的一个或多个参数以沿着更新的路线移动。在一些实施例中，可移动平台102的一个或多个参数包括速度、加速度、朝向角(或姿态)、角速度等。
在一些实施例中，将新网格图划分(930)为多个网格单元子集。例如，如图5A所示，将立方体AHIJ-KLMN划分为八个分区。在如图5B所示的另一示例中，进一步将每个分区划分为三个多面体。在一些实施例中，每个网格单元子集与三维空间中的相应多面体相对应，例如，如图5B中所示的多面体O-ABCD。在一些实施例中，相应多面体具有位于三维空间的中心(例如，中心点O)处的顶点和与三维空间中的顶点相对的基面。在一些实施例中，可移动平台102位于三维空间的中心。
在一些实施例中，根据可移动平台102的速度在预定阈值以上的确定，电子装置基于可移动平台的一个或多个参数，从多个网格单元子集中选择(932)位于所述可移动平台在三维空间中的当前路线上的一个网格单元子集。例如，当可移动平台102以15m/s以上的速度行进时，电子装置确定可移动平台102的行进方向。如果行进方向包含在某个多面体(例如，多面体O-ABCD)内，则仅更新多面体O-ABCD内的网格单元。在一些实施例中，电子装置通过仅基于在第一网格单元子集(例如，多面体O-ABCD)内的传感器数据更新(934)以下项来生成(934)新网格图：(1)表示在三维空间内的相应位置处存在一个或多个物体的一个或多个点，和(2)表示第一网格单元子集(例如，多面体O-ABCD)的射线投射的净空状态的值。在一些实施例中，电子装置基于第一网格单元子集(例如，多面体O-ABCD)内具有高于预定阈值的值的一个或多个网格单元的位置来更新(936)可移动平台102的路线。
在一些实施例中，根据在三维空间中的物体的密度高于预定阈值的确定，电子装置基于可移动平台的一个或多个参数，从多个网格单元子集中选择(938)位于所述可移动平台在所述三维空间中的当前路线上的一个网格单元子集。例如，当物体密集地分布在可移动平台102附近时，电子装置基于可移动平台102的当前参数确定可移动平台102的行进方向。如果行进方向包含在某个多面体(例如，多面体O-ABEF)内，则仅更新多面体O-ABEF内的网格单元。在一些实施例中，电子装置通过仅基于在第二网格单元子集(例如，多面体O-ABEF)内的传感器数据更新(940)以下项来生成(940)新网格图：(1)表示在三维空间内的相应位置处存在一个或多个物体的一个或多个点，和(2)表示第二网格单元子集(例如，多面体O-ABEF)的射线投射的净空状态的值。在一些实施例中，电子装置基于第二网格单元子集(例如，多面体O-ABCD)内具有高于预定阈值的值的一个或多个网格单元的位置来更新(942)可移动平台102的路线。
在一些实施例中，电子装置将多个网格单元子集的值分别存储(944)在多个连续存储区域中。例如，如图7中所讨论的，位于相同网格单元子集的网格单元f1和f2存储在连续存储区域702中。在一些实施例中，电子装置生成(946)包括多个条目的查找表(例如，查找表704，图7)。相应条目标识：相应网格单元在三维空间中的位置(例如，网格单元f1的位置(r1，θ1))、相应网格单元的值(例如，网格单元f1的值为v1)以及用于存储相应条目的存储器位置(例如，网格单元f1的位置为L1)。
在一些实施例中，电子装置接收(948)用于请求可移动平台102向第一方向移动的用户输入(例如，用户输入804，图8)。在一些实施例中，电子装置基于第一方向从多个网格单元子集中选择(950)一个网格单元子集(例如，包括在多面体O-ABCD中的网格单元，图8)。在一些实施例中，电子装置使用查找表检索(952)与该网格单元子集相对应的条目。例如，如图7所示，电子装置检索与位于多面体O-ABCD内的网格单元相关联的条目。在一些实施例中，电子装置基于网格单元子集的值来更新(954)可移动平台102的路线。例如，如图7所示，电子装置基于从查找表704中检索出的条目中包括的网格单元的值规划或更新可移动平台102的路线。
在一些实施例中，电子装置将沿着从顶点投射到三维空间内表示物体的存在的点的射线的网格单元的值存储(956)在连续存储区域中。例如，如图7所示，网格单元f1和f2位于沿着射线OP的位置，并且分别将与网格单元f1和f2相关联的信息存储在连续存储区域L1和L2中。
本发明的许多特征可以使用或借助于硬件、软件、固件或其组合来执行。因此，可以使用处理系统来实现本发明的特征。示例性处理系统(例如，处理器202、遥控器108的处理器302和/或计算装置110的处理器322)包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、现场可编程门阵列、图形处理器、物理处理器、数字信号处理器、协处理器、网络处理器、音频处理器、加密处理器等。
本发明的特征可以在使用或借助于计算机程序产品(诸如存储有/其中可以用于编程的存储介质(多个介质)或计算机可读存储介质(多个介质)处理系统以执行本文中呈现的任何特征。存储介质(例如存储器204)可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、DDR RAM、闪存装置、磁卡或光卡、纳米系统(包括分子存储器IC)或适用于存储指令和/或数据的任何类型的介质或装置。
存储在机器可读介质(介质)中的任何一个上，本发明的特征可以被结合在用于控制处理系统的硬件的软件和/或固件中，并且用于使得处理系统能够利用结果与其他机构交互的本发明。这样的软件或固件可以包括但不限于应用程序代码、装置驱动程序、操作系统和执行环境/容器。
本文所指的通信系统(例如，通信系统206)可选地经由有线和/或无线通信连接进行通信。例如，通信系统可选地接收和发送RF信号，也称为电磁信号。通信系统的RF电路将电信号转换为电磁信号/从电磁信号转换出来，并通过电磁信号与通信网络和其他通信装置通信。RF电路可选地包括用于执行这些功能的公知电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户身份模块(SIM)卡、存储器等。通信系统可选地与诸如互联网(也称为万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN))和/或城域网(MAN)、以及其他无线通信装置。无线通信连接可选地使用多种通信标准、协议和技术中的任何一种，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高(EV-DO)、HSPA、HSPA+、双小区HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如、IEEE102.11a、IEEE102.11ac、IEEE102.11ax、IEEE 102.11b、IEEE 102.11g和/或IEEE 102.11n)、因特网协议语音(VoIP)、Wi-MAX、用于电子邮件的协议(例如，因特网消息访问协议(IMAP)和/或邮局协议))、即时消息(例如，可扩展消息和存在协议(XMPP)，用于即时消息的会话发起协议和Prese利用扩展(SIMPLE)、即时消息和存在服务(IMPS))和/或短消息服务(SMS)、扩频技术例如FASST或DESST、或任何其他合适的通信协议、包括尚未开发的通信协议本文档的提交日期。
虽然以上已经描述了本发明的各种实施例，但应该理解，它们已经以示例而非限制的方式呈现。对于相关领域的技术人员来说显而易见的是，在不脱离本发明的精神和范围的情况下，可以在本文中进行形式和细节上的各种改变。
以上借助于功能构建块描述了本发明，功能构建块说明了特定功能及其关系的执行。为了描述的方便，这些功能构建块的边界在本文中经常被任意定义。只要适当地执行了指定的功能和关系，就可以定义替代边界。因此任何这样的替代边界都在本发明的范围和精神之内。
在此描述的各种所描述的实施例中使用的术语仅用于描述特定实施例的目的，而不旨在限制。如在各种描述的实施例和所附权利要求的描述中所使用的，除非上下文另外明确指出，否则单数形式“一”、“一个”和“该”旨在也包括复数形式。还将理解的是，本文所使用的术语“和/或”是指并且包含一个或多个相关所列项目的任何和所有可能的组合。还应该理解，术语“具有”、“含有”、“包括”和/或“包含”在本说明书中使用时，表明存在所述的特征、整体、步骤、操作、元件和/或部件，但是并没有排除存在或另外添加一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组合。
如本文所使用的，术语“如果”可以被解释为意指“何时”或“之上”或“响应于确定”或“根据确定”或“响应于检测”，所陈述的先决条件是真实，取决于上下文。类似地，短语“如果确定[所陈述的先决条件是真实的]”或“如果[所陈述的先决条件是真实的]”或“当[所陈述的先决条件是真实的”)“可以被解释为”根据上下文确定“或”响应于确定“或”根据确定“或”根据检测“或”响应于检测到“所陈述的先决条件为真。
为了说明和描述的目的提供了本发明的前述描述。这并不是穷尽性的或将本发明限制于公开的确切形式。本发明的宽度和范围不应该受到任何上述示例性实施例的限制。对于本领域技术人员而言，许多修改和变化将是显而易见的。修改和变化包括公开特征的任何相关组合。选择和描述实施例是为了最好地解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例以及适合于预期的特定用途的各种修改。本发明的范围旨在由所附权利要求及其等同物限定。
Claims (51)
1.一种规划可移动平台的路线的方法，所述方法包括：
在具有一个或多个处理器和存储用于由所述一个或多个处理器执行的指令的存储器的电子装置处：
获取表示在第一时间点所述可移动平台附近的一个或多个物体的位置信息的传感器数据；
通过基于第一时间点的传感器数据来更新在所述第一时间点之前的第二时间点的现有网格图，生成第一时间点的新网格图，其中每个网格图包括多个网格单元，每个网格单元具有表示在对应时间点投射通过所述网格单元的射线的净空状态的值；以及
基于所述新网格图的多个网格单元的相应值来更新所述可移动平台的路线。
2.根据权利要求1所述的方法，其中，生成所述第一时间点的所述新网格图还包括：
基于所述传感器数据，识别所述新网格图中的一个或多个点，所述一个或多个点表示在所述第一时间点在所述可移动平台附近的三维空间内的相应位置处存在的一个或多个物体。
3.根据权利要求2所述的方法，其中，生成所述第一时间点的所述新网格图还包括：
基于以下确定来更新现有网格图中相应网格单元的值：从与可移动平台的位置相对应的点投射到表示存在所述一个或多个物体的一个或多个点的一条或多条射线是否在所述第一时间点穿过所述网格单元。
4.根据权利要求3所述的方法，还包括：
根据一条或多条射线在所述第一时间点穿过第一网格单元的确定，将所述现有网格图中的所述第一网格单元的值增加穿过所述第一网格单元的一条或多条射线的数量。
5.根据权利要求3所述的方法，还包括：
根据在所述第一时间点没有新射线穿过所述现有网格图中的第二网格单元的确定，以常数更新所述第二网格单元的值。
6.根据权利要求3所述的方法，还包括：
根据在所述第一时间点所述现有网格图中的第三网格单元包含表示在三维空间内的对应位置处存在物体的点的确定，减少所述第三网格单元的值。
7.根据权利要求3所述的方法，其中，基于值高于预定阈值的一个或多个网格单元在网格图上的位置来更新所述可移动平台的路线。
8.根据权利要求1所述的方法，还包括：
调整所述可移动平台的一个或多个参数以沿着更新后的路线移动。
9.根据权利要求1所述的方法，还包括：
将所述新网格图划分为多个网格单元子集，其中每个网格单元子集与三维空间中的相应多面体相对应，其中所述相应多面体的顶点在三维空间的中心处且基面与三维空间内的顶点相对，且其中所述可移动平台位于三维空间的中心处。
10.根据权利要求9所述的方法，还包括：
根据所述可移动平台的速度在预定阈值以上的确定，
基于所述可移动平台的一个或多个参数，从所述多个网格单元子集中选择位于所述可移动平台在所述三维空间中的当前路线上的第一网格单元子集，
其中，生成所述新网格图包括：
仅在所述第一网格单元子集内基于传感器数据更新(1)表示在所述三维空间内的相应位置处存在一个或多个物体的一个或多个值，和(2)表示所述第一网格单元子集的射线投射的净空状态的值。
11.根据权利要求10所述的方法，其中，更新路线包括基于所述第一网格单元子集内的具有高于预定阈值的值的一个或多个网格单元的位置来更新所述可移动平台的路线。
12.根据权利要求9所述的方法，还包括：
根据所述三维空间中的障碍物的密度高于预定阈值的确定，
基于所述可移动平台的一个或多个参数，从所述多个网格单元子集中选择位于所述可移动平台在所述三维空间中的当前路线上的第二网格单元子集，
其中，生成所述新网格图包括：
仅在所述第二网格单元子集内基于传感器数据更新(1)表示在所述三维空间内的相应位置处存在一个或多个物体的一个或多个点，和(2)表示所述第二网格单元子集的射线投射的净空状态的值。
13.根据权利要求12所述的方法，其中，更新路线包括基于所述第二网格单元子集内的具有高于预定阈值的值的一个或多个网格单元的位置来更新所述可移动平台的路线。
14.根据权利要求9所述的方法，还包括：
将多个网格单元子集的值分别存储在多个连续存储区域中。
15.根据权利要求14所述的方法，还包括：
生成包括多个条目的查找表，相应条目标识相应网格单元在所述三维空间中的位置、相应网格单元的值以及用于存储相应条目的存储器位置。
16.根据权利要求15所述的方法，还包括：
接收用于请求所述可移动平台朝向第一方向移动的用户输入；
基于所述第一方向从所述多个网格单元子集中选择第三网格单元子集；
使用所述查找表检索与所述第三网格单元子集相对应的条目；以及
基于所述第三网格单元子集的值来更新所述可移动平台的路线。
17.根据权利要求9所述的方法，还包括：
将所述三维空间内沿着从所述顶点投射到表示物体的存在的点的射线的网格单元的值存储在第一连续存储区域中。
18.一种规划可移动平台的路线的系统，所述系统包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中，所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：
获取表示在第一时间点的所述可移动平台附近的一个或多个物体的位置信息的传感器数据；
通过基于第一时间点的传感器数据来更新在所述第一时间点之前的第二时间点的现有网格图，生成第一时间点的新网格图，其中每个网格图包括多个网格单元，每个网格单元具有表示在对应时间点投射通过所述网格单元的射线的净空状态的值；以及
基于所述新网格图的多个网格单元的相应值来更新所述可移动平台的路线。
19.根据权利要求18所述的系统，其中，生成所述第一时间点的所述新网格图还包括：
基于所述传感器数据识别所述新网格图中的表示在所述第一时间点在所述可移动平台附近的三维空间内的相应位置处存在一个或多个物体的一个或多个点。
20.根据权利要求19所述的系统，其中，生成所述第一时间点的所述新网格图还包括：
基于以下确定来更新现有网格图中相应网格单元的值：从与可移动平台的位置相对应的点投射到表示存在所述一个或多个物体的一个或多个点的一条或多条射线是否在所述第一时间点穿过所述网格单元。
21.根据权利要求20所述的系统，其中所述一个或多个程序还包括用于执行以下操作的指令：
根据一条或多条射线在所述第一时间点穿过第一网格单元的确定，将所述现有网格图中的所述第一网格单元的值增加穿过所述第一网格单元的一条或多条射线的数量。
22.根据权利要求20所述的系统，其中所述一个或多个程序还包括用于执行以下操作的指令：
根据在所述第一时间点没有新射线穿过所述现有网格图中的第二网格单元的确定，以常数更新所述第二网格单元的值。
23.根据权利要求20所述的系统，其中所述一个或多个程序还包括用于执行以下操作的指令：
根据在所述第一时间点所述现有网格图中的第三网格单元包含表示在三维空间内的对应位置处存在物体的点的确定，减少所述第三网格单元的值。
24.根据权利要求20所述的系统，其中，基于值高于预定阈值的一个或多个网格单元在网格图上的位置来更新所述可移动平台的路线。
25.根据权利要求18所述的系统，其中所述一个或多个程序还包括用于执行以下操作的指令：
调整所述可移动平台的一个或多个参数以沿着更新后的路线移动。
26.根据权利要求18所述的系统，其中所述一个或多个程序还包括用于执行以下操作的指令：
将所述新网格图划分为多个网格单元子集，其中每个网格单元子集与三维空间中的相应多面体相对应，其中所述相应多面体的顶点在三维空间的中心处且基面与三维空间内的顶点相对，且其中所述可移动平台位于三维空间的中心处。
27.根据权利要求26所述的系统，其中所述一个或多个程序还包括用于执行以下操作的指令：
根据所述可移动平台的速度在预定阈值以上的确定，
基于所述可移动平台的一个或多个参数，从所述多个网格单元子集中选择位于所述可移动平台在所述三维空间中的当前路线上的第一网格单元子集，
其中，生成所述新网格图包括：
仅在所述第一网格单元子集内基于传感器数据更新(1)表示在所述三维空间内的相应位置处存在一个或多个物体的一个或多个点，和(2)表示所述第一网格单元子集的射线投射的净空状态的值。
28.根据权利要求27所述的系统，其中，更新路线包括基于所述第一网格单元子集内的具有高于预定阈值的值的一个或多个网格单元的位置来更新所述可移动平台的路线。
29.根据权利要求26所述的系统，其中所述一个或多个程序还包括用于执行以下操作的指令：
根据所述三维空间中的障碍物的密度高于预定阈值的确定，
基于所述可移动平台的一个或多个参数，从所述多个网格单元子集中选择位于所述可移动平台在所述三维空间中的当前路线上的第二网格单元子集，
其中，生成所述新网格图包括：
仅在所述第二网格单元子集内基于传感器数据更新(1)表示在所述三维空间内的相应位置处存在一个或多个物体的一个或多个点，和(2)表示所述第二网格单元子集的射线投射的净空状态的值。
30.根据权利要求29所述的系统，其中，更新路线包括基于所述第二网格单元子集内的具有高于预定阈值的值的一个或多个网格单元的位置来更新所述可移动平台的路线。
31.根据权利要求26所述的系统，其中所述一个或多个程序还包括用于执行以下操作的指令：
将多个网格单元子集的值分别存储在多个连续存储区域中。
32.根据权利要求31所述的系统，其中所述一个或多个程序还包括用于执行以下操作的指令：
生成包括多个条目的查找表，相应条目标识相应网格单元在所述三维空间中的位置、相应网格单元的值以及用于存储相应条目的存储器位置。
33.根据权利要求32所述的系统，其中所述一个或多个程序还包括用于执行以下操作的指令：
接收用于请求所述可移动平台朝向第一方向移动的用户输入；
基于所述第一方向从所述多个网格单元子集中选择第三网格单元子集；
使用所述查找表检索与所述第三网格单元子集相对应的条目；以及
基于所述第三网格单元子集的值来更新所述可移动平台的路线。
34.根据权利要求26所述的系统，其中所述一个或多个程序还包括用于执行以下操作的指令：
将所述三维空间内沿着从所述顶点投射到表示物体的存在的点的射线的网格单元的值存储在第一连续存储区域中。
35.一种存储一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备执行时使所述电子设备执行用于执行以下操作的指令：
获取表示在第一时间点的所述可移动平台附近的一个或多个物体的位置信息的传感器数据；
通过基于第一时间点的传感器数据来更新在所述第一时间点之前的第二时间点的现有网格图，生成第一时间点的新网格图，其中每个网格图包括多个网格单元，每个网格单元具有表示在对应时间点投射通过所述网格单元的射线的净空状态的值；以及
基于所述新网格图的多个网格单元的相应值来更新所述可移动平台的路线。
36.根据权利要求35所述的非暂时性计算机可读存储介质，其中，生成所述第一时间点的新网格图还包括：
基于所述传感器数据识别所述新网格图中的表示在所述第一时间点在所述可移动平台附近的三维空间内的相应位置处存在一个或多个物体的一个或多个点。
37.根据权利要求36所述的非暂时性计算机可读存储介质，其中，生成所述第一时间点的所述新网格图还包括：
基于以下确定来更新现有网格图中相应网格单元的值：从与可移动平台的位置相对应的点投射到表示存在所述一个或多个物体的一个或多个点的一条或多条射线是否在所述第一时间点穿过所述网格单元。
38.根据权利要求37所述的非暂时性计算机可读存储介质，其中所述一个或多个程序还包括用于执行以下操作的指令：
根据一条或多条射线在所述第一时间点穿过第一网格单元的确定，将所述现有网格图中的所述第一网格单元的值增加穿过所述第一网格单元的一条或多条射线的数量。
39.根据权利要求37所述的非暂时性计算机可读存储介质，其中所述一个或多个程序还包括用于执行以下操作的指令：
根据在所述所述第一时间点没有新射线穿过所述现有网格图中的第二网格单元的确定，以常数更新所述第二网格单元的值。
40.根据权利要求37所述的非暂时性计算机可读存储介质，其中所述一个或多个程序还包括用于以下操作的指令：
根据在所述第一时间点所述现有网格图中的第三网格单元包含表示在三维空间内的对应位置处存在物体的点的确定，减少所述第三网格单元的值。
41.根据权利要求37所述的非暂时性计算机可读存储介质，其中，基于值高于预定阈值的一个或多个网格单元在网格图上的位置来更新所述可移动平台的路线。
42.根据权利要求35所述的非暂时性计算机可读存储介质，其中所述一个或多个程序还包括用于执行以下操作的指令：
调整所述可移动平台的一个或多个参数以沿着更新后的路线移动。
43.根据权利要求35所述的非暂时性计算机可读存储介质，其中所述一个或多个程序还包括用于执行以下操作的指令：
将所述新网格图划分为多个网格单元子集，其中每个网格单元子集与三维空间中的相应多面体相对应，其中所述相应多面体的顶点在三维空间的中心处且基面与三维空间内的顶点相对，且其中所述可移动平台位于三维空间的中心处。
44.根据权利要求43所述的非暂时性计算机可读存储介质，其中所述一个或多个程序还包括用于执行以下操作的指令：
根据所述可移动平台的速度在预定阈值以上的确定，
基于所述可移动平台的一个或多个参数，从所述多个网格单元子集中选择位于所述可移动平台在所述三维空间中的当前路线上的第一网格单元子集，
其中，生成所述新网格图包括：
仅在所述第一网格单元子集内基于传感器数据更新(1)表示在所述三维空间内的相应位置处存在一个或多个物体的一个或多个点，和(2)表示所述第一网格单元子集的射线投射的净空状态的值。
45.根据权利要求44所述的非暂时性计算机可读存储介质，其中，更新路线包括基于所述第一网格单元子集内的具有高于预定阈值的值的一个或多个网格单元的位置来更新所述可移动平台的路线。
46.根据权利要求43所述的非暂时性计算机可读存储介质，其中所述一个或多个程序还包括用于执行以下操作的指令：
根据所述三维空间中的障碍物的密度高于预定阈值的确定，
基于所述可移动平台的一个或多个参数，从所述多个网格单元子集中选择第二网格单元子集，
其中，生成所述新网格图包括：
仅在所述第二网格单元子集内基于传感器数据更新(1)表示在所述三维空间内的相应位置处存在一个或多个物体的一个或多个点，和(2)表示所述第二网格单元子集的射线投射的净空状态的值。
47.根据权利要求46所述的非暂时性计算机可读存储介质，其中，更新路线包括基于所述第二网格单元子集内的具有高于预定阈值的值的一个或多个网格单元的位置来更新所述可移动平台的路线。
48.根据权利要求43所述的非暂时性计算机可读存储介质，其中所述一个或多个程序还包括用于执行以下操作的指令：
将多个网格单元子集的值分别存储在多个连续存储区域中。
49.根据权利要求48所述的非暂时性计算机可读存储介质，其中所述一个或多个程序还包括用于执行以下操作的指令：
生成包括多个条目的查找表，相应条目标识相应网格单元在所述三维空间中的位置、相应网格单元的值以及用于存储相应条目的存储器位置。
50.根据权利要求49所述的非暂时性计算机可读存储介质，其中所述一个或多个程序还包括用于执行以下操作的指令：
接收用于请求所述可移动平台朝向第一方向移动的用户输入；
基于所述第一方向从所述多个网格单元子集中选择第三网格单元子集；
使用所述查找表检索与所述第三网格单元子集相对应的条目；以及
基于所述第三网格单元子集的值来更新所述可移动平台的路线。
51.根据权利要求43所述的非暂时性计算机可读存储介质，其中所述一个或多个程序还包括用于执行以下操作的指令：
将所述三维空间内沿着从所述顶点投射到表示物体的存在的点的射线的网格单元的值存储在第一连续存储区域中。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2017/086608 WO2018218508A1 (en) | 2017-05-31 | 2017-05-31 | Method and system for operating a movable platform using ray-casting mapping |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110192161A true CN110192161A (zh) | 2019-08-30 |
| CN110192161B CN110192161B (zh) | 2022-04-22 |
Family
ID=64454323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780083495.0A Active CN110192161B (zh) | 2017-05-31 | 2017-05-31 | 使用射线投射映射来操作可移动平台的方法和系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20200106958A1 (zh) |
| EP (1) | EP3631595B1 (zh) |
| CN (1) | CN110192161B (zh) |
| WO (1) | WO2018218508A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7026765B1 (ja) * | 2020-12-28 | 2022-02-28 | 楽天グループ株式会社 | 制御システム、飛行体、及び、方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101634568A (zh) * | 2008-07-25 | 2010-01-27 | 纳夫特克北美有限责任公司 | 开阔区域地图 |
| CN102538811A (zh) * | 2010-11-30 | 2012-07-04 | 通用汽车环球科技运作有限责任公司 | 用于基于安全因素来规划车辆路线的系统和方法 |
| CN102549383A (zh) * | 2009-10-01 | 2012-07-04 | 高通股份有限公司 | 使用示意图的建筑物路线规划图 |
| CN103941243A (zh) * | 2014-04-03 | 2014-07-23 | 电子科技大学 | 一种基于sar三维成像的自旋式飞行器测高方法 |
| CN104075717A (zh) * | 2014-01-21 | 2014-10-01 | 武汉吉嘉伟业科技发展有限公司 | 一种基于改进a*算法的无人机航线规划算法 |
| CN105556408A (zh) * | 2014-09-15 | 2016-05-04 | 深圳市大疆创新科技有限公司 | 一种飞行器的飞行控制方法及相关装置 |
| JP2016133321A (ja) * | 2015-01-16 | 2016-07-25 | 富士重工業株式会社 | 飛行経路探索装置及び飛行経路探索プログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8234234B2 (en) * | 2007-03-20 | 2012-07-31 | International Business Machines Corporation | Utilizing ray tracing for enhanced artificial intelligence path-finding |
| US8514283B2 (en) * | 2010-09-20 | 2013-08-20 | Ajou University Industry Cooperation Foundation | Automatic vision sensor placement apparatus and method |
| EP2704489A1 (en) * | 2012-08-31 | 2014-03-05 | ABB Research Ltd. | Link selection in lossy communication networks |
| CN104950883A (zh) * | 2015-05-14 | 2015-09-30 | 西安电子科技大学 | 一种基于距离网格地图的移动机器人路径规划方法 |
| CN106647769B (zh) * | 2017-01-19 | 2019-05-24 | 厦门大学 | 基于a*提取引导点的agv路径跟踪与避障协调方法 |
-
2017
- 2017-05-31 EP EP17911764.3A patent/EP3631595B1/en active Active
- 2017-05-31 WO PCT/CN2017/086608 patent/WO2018218508A1/en unknown
- 2017-05-31 CN CN201780083495.0A patent/CN110192161B/zh active Active
-
2019
- 2019-11-22 US US16/692,763 patent/US20200106958A1/en not_active Abandoned
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101634568A (zh) * | 2008-07-25 | 2010-01-27 | 纳夫特克北美有限责任公司 | 开阔区域地图 |
| CN102549383A (zh) * | 2009-10-01 | 2012-07-04 | 高通股份有限公司 | 使用示意图的建筑物路线规划图 |
| CN102538811A (zh) * | 2010-11-30 | 2012-07-04 | 通用汽车环球科技运作有限责任公司 | 用于基于安全因素来规划车辆路线的系统和方法 |
| CN104075717A (zh) * | 2014-01-21 | 2014-10-01 | 武汉吉嘉伟业科技发展有限公司 | 一种基于改进a*算法的无人机航线规划算法 |
| CN103941243A (zh) * | 2014-04-03 | 2014-07-23 | 电子科技大学 | 一种基于sar三维成像的自旋式飞行器测高方法 |
| CN105556408A (zh) * | 2014-09-15 | 2016-05-04 | 深圳市大疆创新科技有限公司 | 一种飞行器的飞行控制方法及相关装置 |
| JP2016133321A (ja) * | 2015-01-16 | 2016-07-25 | 富士重工業株式会社 | 飛行経路探索装置及び飛行経路探索プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110192161B (zh) | 2022-04-22 |
| WO2018218508A1 (en) | 2018-12-06 |
| EP3631595B1 (en) | 2021-08-18 |
| EP3631595A4 (en) | 2020-09-23 |
| US20200106958A1 (en) | 2020-04-02 |
| EP3631595A1 (en) | 2020-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10860040B2 (en) | Systems and methods for UAV path planning and control | |
| US11644832B2 (en) | User interaction paradigms for a flying digital assistant | |
| US11797009B2 (en) | Unmanned aerial image capture platform | |
| US11635775B2 (en) | Systems and methods for UAV interactive instructions and control | |
| US20210072745A1 (en) | Systems and methods for uav flight control | |
| CN104854428B (zh) | 传感器融合 | |
| CN109983468A (zh) | 使用特征点检测和跟踪对象的方法和系统 | |
| US11353891B2 (en) | Target tracking method and apparatus | |
| JP2020030204A (ja) | 距離測定方法、プログラム、距離測定システム、および可動物体 | |
| CN109479088A (zh) | 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法 | |
| CN108139758A (zh) | 基于显著性特征的载运工具定位 | |
| CN109791405A (zh) | 用于控制由成像装置捕捉的图像的系统和方法 | |
| CN108292141A (zh) | 用于目标跟踪的方法和系统 | |
| CN108886572A (zh) | 调整图像焦点的方法和系统 | |
| CN108701362A (zh) | 目标跟踪期间的障碍避免 | |
| KR20210104684A (ko) | 측량 및 매핑 시스템, 측량 및 매핑 방법, 장치 및 기기 | |
| CN109716255A (zh) | 用于操作可移动物体以规避障碍物的方法和系统 | |
| CN109792543A (zh) | 根据可移动物捕获的图像数据创建视频抽象的方法和系统 | |
| CN108780262A (zh) | 基于目标检测的自动对焦初始化 | |
| KR20210105345A (ko) | 측량 및 매핑 방법, 장치 및 기기 | |
| CN110192161A (zh) | 使用射线投射映射来操作可移动平台的方法和系统 | |
| CN109073877A (zh) | 光程调节 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |