CN115238018A - 用于管理3d飞行路径的方法和相关系统 - Google Patents

用于管理3d飞行路径的方法和相关系统 Download PDF

Info

Publication number
CN115238018A
CN115238018A CN202210862865.3A CN202210862865A CN115238018A CN 115238018 A CN115238018 A CN 115238018A CN 202210862865 A CN202210862865 A CN 202210862865A CN 115238018 A CN115238018 A CN 115238018A
Authority
CN
China
Prior art keywords
virtual reality
path
virtual
images
uav
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210862865.3A
Other languages
English (en)
Inventor
马岳文
赵开勇
郑石真
潘慈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202210862865.3A priority Critical patent/CN115238018A/zh
Publication of CN115238018A publication Critical patent/CN115238018A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/225—
    • G05D1/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0034—Assembly of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Abstract

本文公开了用于生成针对诸如无人飞行器(UAV)(11，13，20)的可移动平台的三维(3D)飞行路径的方法(500)和相关系统(100a，100b)与装置。所述方法(500)包括接收与虚拟现实环境(501)相关联的3D信息组以及接收虚拟现实环境(503)中的多个虚拟位置。针对各个虚拟位置，系统(100a，100b)接收对应的动作项(505)。所述系统(100a，100b)然后基于所述3D信息组、多个虚拟位置和多个动作项(507)中的至少一项来生成3D路径。所述系统(100a，100b)然后生成与所述3D路径(509)相关联的图像组，并且然后经由虚拟现实设备(511)向操作者视觉呈现所述图像组。所述系统(100a，100b)使操作者能够经由虚拟现实设备来调整3D路径。

Description

用于管理3D飞行路径的方法和相关系统
技术领域
本技术总体上涉及用于生成、分析和验证诸如无人飞行器(UAV)的可移动平台的三维(3D)飞行路径的方法和相关系统。
背景技术
传统上，基于在二维(2D)地图上标识的某些位置点(航路点)来计划UAV的飞行路径。这种方法可能是不准确的，这是因为它无法考虑例如建筑物、结构和UAV的飞行路径中可能存在的其他障碍物的对象的第三维度(例如，高度)。这种方法也无法满足在精密任务(例如，在具有高楼的现代城市中驾驶UAV以传送小件物品)期间精确地控制UAV的需要。此外，UAV的操作者使用传统方法熟悉路径规划任务需要很长时间和大量练习。传统方法不能为UAV的操作者提供在操作UAV时直观的用户体验。因此，需要一种用于生成或计划用于UAV的3D飞行路径的改进方法和系统。
发明内容
以下概述为了读者的方便而提供，并且指出所公开的技术的一些代表性实施例。总体而言，本技术提供了改进的方法和相关系统，其使操作者能够以简单、易于学习和直观的方式生成、分析和验证UAV的3D飞行路径。更具体地，本技术使操作者能够经由虚拟现实设备来创建并观察UAV的3D飞行路径。例如，本技术使操作者能够经由虚拟现实设备从第一人视角观察并验证所生成的3D飞行路径。通过这样做，操作者可以验证所生成的3D飞行路径是否正是他/她为了执行某项任务(例如，拍摄电影或拍摄目标人员或对象的图片)而想要的。此外，本技术使操作者能够生成准确的3D飞行路径，并精确地控制UAV执行精密任务或艰难任务。艰难任务的示例包括将包裹传送到建筑物的某个楼层上朝东的窗户，采集站在特定位置处的演员的面部的图像以及从特定视角拍摄移动目标。
本技术的代表性实施例包括用于生成UAV的3D路径的方法和相关系统。所述方法包括接收与环境(例如，在现实世界中操作UAV的地方，例如城市区域、结构或建筑物中的定义空间、或室外区域)或虚拟现实环境(例如，基于根据现实世界中的对象而生成的)相关联的3D信息组(例如，一组地理信息或对象的坐标)。所述方法还包括接收虚拟现实环境中的多个虚拟位置。在一些实施例中，所述方法可以接收真实世界环境中的物理位置，然后将其转换成虚拟现实环境中的虚拟位置。这可以通过以下项来完成转换：(1)用户输入(例如，用户输入特定位置的坐标)，(2)来自推荐列表中的用户选择(例如，相关系统提供用户从中进行选择的候选位置列表)或者(3)从存储设备中检索数据(例如，UAV先前行进的路径的位置，UAV频繁地飞行到的位置，和/或基于与操作者或UAV相关联的日志或历史文件生成的位置)。对于各虚拟或物理位置，系统接收一个或多个对应的动作项。代表性的动作项包括在各位置处执行预定任务，例如相机瞄准、稳定UAV、采集具有特定尺寸或格式的图像、采集与各位置相关联的信息(例如，在各位置处UAV能否看到对象/个体；在各位置处采集/测量虚拟/真实环境信息)、配置UAV的组件(例如，调整UAV电源组件的电力输出)等。
然后系统接收与多个位置相对应的多个虚拟位置(例如，虚拟现实环境中的位置或坐标)。在一些实施例中，系统可以接收物理位置，然后生成对应的虚拟位置。一旦确定虚拟位置，则系统然后基于该3D信息组来生成3D路径(例如，3D轨迹)。例如，3D路径可以基于以下要求：它可以与通过该3D信息组描述的任何对象保持一定距离。3D路径同样是基于所述多个虚拟位置(例如，基于3D路径经过所有虚拟位置的要求)和所述多个动作项(例如，该动作项可以是UAV围绕目标飞行，并且在这种情况下3D路径包括围绕目标的路径)的。将在下面的具体实施方式中讨论虚拟现实环境的细节。
该系统然后基于所述3D信息组、所述多个虚拟位置和所述多个动作项中的至少一项来生成与3D路径相关联的图像组。例如，所生成的图像可以是在虚拟现实环境中从UAV以第一人视角观察到的图像组。系统然后向操作者视觉呈现该图像组。在特定实施例中，可以经由虚拟现实设备呈现该图像组。因此，该系统使操作者能够以直观的方式观察所建议的3D飞行路径。
在特定实施例中，该系统使操作者能够基于用户设置来手动地或自动地调整所生成的3D路径。例如，操作者可以创建附加位置(例如，通过经由虚拟现实设备、键区、触摸屏、操纵杆和/或其他适当设备进行的输入)以将其包括在虚拟环境中的3D路径中。
在特定实施例中，该系统可以包括耦接到UAV的图像组件，其被配置为基于预定的动作项来采集图像。在一些实施例中，图像组件可以包括采集彩色图像(例如，具有红色、绿色和蓝色(RGB)像素的那些彩色图像)的色彩感测相机。在其他实施例中，图像采集组件可以是采集各种其他类型的图像的相机(例如，热/红外相机或夜视相机)。
本技术的一些实施例可以被实现为用于配置用于规划UAV的飞行路径或路线的系统的方法。所述方法可以包括用指令对计算机可读介质进行编程，所述指令在被执行时接收与虚拟现实环境(或者在一些实施例中为真实世界环境)相关联的3D信息组并且接收虚拟现实环境中的多个虚拟位置(或真实世界环境中的物理位置，其将被转换成虚拟位置)。对于各虚拟位置，指令可以包括接收一个或多个对应的动作项。该指令可以基于所述3D信息组、所述多个虚拟位置和所述多个动作项来生成3D路径。该指令还可以基于所述3D信息组、所述多个虚拟位置和所述多个动作项来生成与3D路径相关联的图像组。该指令可以向操作者视觉呈现该图像组。在特定实施例中，经由虚拟现实设备呈现图像。在一些实施例中，该指令可以响应于经由虚拟现实设备从所述操作者接收到指令而调整所述3D路径。根据本技术的实施例的方法和系统可以包括上述的前述元件中的任何一个元件或前述元件中的任何元件的组合。
附图说明
图1A是示出了根据本技术的代表性实施例配置的系统的框图。
图1B是示出了根据本技术的代表性实施例配置的系统的框图。
图2是根据本技术的代表性实施例配置的UAV的部分示意图。
图3A是示出了根据本技术的代表性实施例生成的3D路径和动作项的部分示意图。
图3B是示出了根据本技术的代表性实施例生成的并且规避障碍物的3D路径的部分示意图。
图4A和图4B是示出了根据本技术的代表性实施例的由UAV的图像组件创建的图像的部分示意图。
图5是示出了根据本技术的代表性实施例的用于生成3D飞行路径的方法的实施例的流程图。
具体实施方式
1、概览
本技术总体上涉及用于生成、分析和验证UAV的3D飞行路径的方法和相关系统。根据本技术配置的代表性系统至少部分地基于(1)UAV要经过的位置，以及(2)UAV要在各位置处执行的动作项来生成虚拟现实环境(例如，是通过测量其中的有形/物理对象的尺寸并且然后生成与所述物理/有形对象相对应的虚拟数据集来基于真实世界环境创建的)中的3D飞行路径。在特定实施例中，位置可以包括真实世界位置和虚拟现实位置。真实世界位置可以是与真实世界环境相对应的一组坐标，并且虚拟现实位置可以是与虚拟现实环境相对应的一组坐标。在特定实施例中，动作项可以包括要由UAV执行的任务(例如，旋转以面向不同方向)或由UAV的组件(例如，相机)执行的任务。动作项的代表性示例包括(1)将UAV的图像组件与目标对准；(2)将UAV的图像组件定位在水平位置(horizontallevel)处；(3)保持UAV的图像组件的视角；(4)将UAV的图像组件向目标瞄准；(5)通过UAV的图像组件来采集与目标相关联的图像；(6)命令UAV围绕目标飞行；和/或(7)命令UAV绕轴旋转。
系统然后生成与3D飞行路径相关联的图像组。在特定实施例中，该图像组包括当UAV在虚拟现实环境中沿着3D飞行路径飞行时将采集(根据位置和对应的动作项)的虚拟现实图像。可以基于最短距离算法或其他适当的算法来生成飞行路径或飞行路径的多个部分，并且可以考虑其他因素中的UAV的预期耐久性。该系统然后向操作者呈现该图像组，并且向操作者提供关于环境看起来仿佛使UAV在对应的真实世界环境中沿着所生成的3D飞行路径飞行的直观体验。该系统为操作者提供了通过查看该图像组来查看所生成的3D飞行路径的机会。在特定实施例中，操作者可以通过经由虚拟现实设备向现有3D飞行路径添加/去除附加/现有位置或动作项来调整3D飞行路径。
在一些实施例中，该系统使操作者能够以实时方式调整3D飞行路径。例如，UAV可以基于所生成的3D飞行路径而起飞和飞行。由耦接到UAV的图像组件采集的真实世界图像可以被传输到该系统，然后被呈现给UAV的操作者。然后操作者可以调整在虚拟现实环境中的3D飞行路径(尚未飞行的部分)。通过这种设置，该系统使操作者能够同时监控和精确地控制UAV以完成精密、精确和/或艰难的任务。
在特定实施例中，系统可以至少部分地基于由操作者提供的一个或多个规则来生成3D飞行路径。例如，这些规则可以与各种因素相关联，例如UAV与障碍物或目标之间的最小/最大距离、用于障碍物规避的算法(例如，基于距离的、基于UAV飞行时间的、基于障碍物的算法等)、用户偏好和/或其它适当的因素。
在一些实施例中，操作者可以经由虚拟现实设备向系统提供位置或动作项。在一些实施例中，操作者可以通过一个或多个手势来提供这样的信息。例如，在他/她的手臂上穿戴虚拟现实设备的操作者可以朝向虚拟现实环境中的某个方向定位他/她的手臂，以指示操作者希望UAV面向该方向或朝向该方向移动。作为另一示例，在他/她的眼前佩戴虚拟现实设备的操作者可以在虚拟现实环境中的特定位置处眨动他/她的眼睛，以便命令系统将该特定位置添加到3D飞行路径。在一个示例中，操作者可以经由输入设备或控制器输入位置信息。在又一示例中，在他/她的手上穿戴虚拟现实设备的操作者可以使用特定的手势(例如，与石头-布-剪刀游戏相关的手势)来指示特定的动作项。
与传统系统不同，本技术的各方面涉及使操作者能够生成、分析和验证适用于精密、高精度和/或其他艰难的UAV飞行任务的UAV的3D飞行路径。此外，本技术的各方面可以提高飞行路径规划的便利性并且提供比传统方法更好和更直观的用户体验。为了清楚起见，在下面的描述中没有阐述若干细节，这些细节用于描述众所周知并经常与UAV以及相应的系统和子系统相关联的但可能不必要地与所公开的技术的一些重要方面相混淆的结构或过程。此外，尽管以下公开内容阐述了本技术的不同方面的若干实施例，但是一些其它实施例可以具有与本部分中所描述的不同的配置或不同的部件。因此，该技术可以具有其他实施例，所述其他实施例具有额外的元件或不具有以下参考图1至图5所描述的元件中的若干元件。
提供了图1-图5以示出所公开的技术的代表性实施例。除非另有规定，否则附图不旨在限制本申请中权利要求的范围。
以下描述的本技术的许多实施例可以采取计算机或控制器可执行指令的形式，包括由可编程计算机或控制器执行的例程。相关领域的技术人员将认识到，本技术可以在除以下所示和所述的之外的计算机或控制器系统上实施。本技术可以体现在被专门编程、配置或构造为执行下面描述的一个或多个计算机可执行指令的专用计算机或数据处理器中。因此，本文通常使用的术语“计算机”和“控制器”是指任何适合数据处理器，并且可以包括互联网设备和手持设备(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程的消费电子产品、网络计算机、迷你计算机、编程计算机芯片等)。由这些计算机和控制器处理的信息可以呈现在包括CRT显示器或LCD在内的任何合适的显示介质上。用于执行计算机或控制器可执行任务的指令可以存储在任何合适的计算机可读介质中或其上，包括硬件、固件、或硬件和固件的组合。指令可以被包含在任何合适的存储设备中，包括例如闪存驱动器、USB设备或其它合适的介质。在具体实施例中，术语“组件”可以是硬件、固件或一组存储在计算机可读介质中的指令。
2、代表性实施例
图1A是示出了根据本技术的代表性实施例配置的系统100a的框图。在一些实施例中，系统100a可以是或可以包括具有计算机可读介质以存储与系统100a的组件相关联的信息/指令的装置。如图1A所示，系统100a包括处理器101、存储组件102、虚拟现实组件103、飞行路径生成组件105、飞行路径分析组件107、飞行路径验证组件109以及通信模块110。如图所示，处理器101与系统100a的其他组件相耦接并且被配置为控制系统100a的其他组件。存储组件102被配置为永久地或临时地存储由系统100a生成的信息(例如，与虚拟现实环境和/或所生成的3D路径有关的数据)。在特定实施例中，存储组件102可以包括磁盘驱动器、硬盘、闪存驱动器、存储器等。
如图1A所示，通信组件110被配置为向UAV 11发送//从UAV11接收信号。如图1A所示，UAV 11包括：被配置为控制UAV 11的UAV控制器111；被配置为向UAV 11提供电力的UAV电源113；被配置为与通信组件110通信的UAV通信组件115；被配置为测量或检测与UAV 11相关联的信息的UAV传感器117；以及被配置为采集UAV 11外部的图像的UAV图像组件119。在特定实施例中，UAV图像组件119可以是用红色、绿色和蓝色(RGB)像素采集二维图像的相机。UAV图像组件119可以包括诸如CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦接器件)图像传感器的图像传感器。下文参考图3A、图4A和图4B进一步描述二维图像的示例。所采集的图像可以被传输到并存储在存储组件102中。在一些实施例中，UAV图像组件119可以是热图像相机、夜视相机或能够采集图像的任何其他适当设备。
如图1A所示，虚拟现实组件103可以用作操作者12与系统100a之间的接口。虚拟现实组件103还被配置为生成/维护与真实世界环境相对应的虚拟现实环境。在特定实施例中，虚拟现实组件103还可以包括(1)被配置为生成虚拟现实环境的虚拟现实引擎和(2)被配置为与用户交互的虚拟现实设备/控制器。例如，虚拟现实引擎可以是一组计算机可读指令或软件应用，其可以(1)处理所采集的与真实世界环境中的物理对象相关联的位置信息；以及(2)因此生成包含与真实世界环境中的物理对象相对应的虚拟对象的虚拟现实环境。在一些实施例中，可以基于一组地理信息(例如，与真实世界环境的特定区域中的一个或多个对象相关联的一组坐标、线或形状)来生成虚拟现实环境。在一些实施例中，可以基于诸如可从英国的Autodesk Inc.获得的3ds
Figure BDA0003757366390000081
的软件或其他适当的3D模型构建应用来生成虚拟现实环境。虚拟现实设备的实施例包括可穿戴式虚拟现实设备、平板电脑、触摸屏、显示器等。在特定实施例中，可穿戴式虚拟现实设备可以包括头戴式耳机、头盔、护目镜、虚拟现实眼镜、手套、袖子、手持设备等。
飞行路线生成组件105被配置为至少部分地基于由操作者12提供或由系统100a建议的一个或多个(虚拟或物理)位置来生成3D路径。在一些实施例中，所述位置可以作为在虚拟现实环境中的虚拟现实位置(例如，操作者12可以经由虚拟现实组件103来识别这些虚拟位置)来提供。在一些实施例中，所述位置可以作为在真实世界环境中的真实世界位置(例如，以真实世界坐标的形式)来提供。在这样的实施例中，虚拟现实组件103可以将所提供的真实世界位置变换成对应的虚拟位置。例如，系统100a可以首先确定真实世界环境和虚拟现实环境中使用的坐标系之间的关系。一旦确定了该关系，系统100a然后可以将所提供的根据真实世界位置变换成对应的虚拟位置(或者在其他实施例中，反之亦然)。
飞行路径生成组件105还被配置为至少部分地基于与所提供的/建议的位置相对应的一个或多个动作项来生成3D路径。在特定实施例中，动作项包括在特定位置处执行预定任务。在一些实施例中，例如，动作项可以涉及UAV移动，诸如引导UAV围绕目标飞行、或命令UAV绕轴线旋转。在一些实施例中，动作项可以涉及由UAV的组件执行的动作。在这样的实施例中，例如，动作项可以包括：将UAV的图像组件与目标对准；将UAV的图像组件定位在水平位置处；保持UAV的图像组件的视角；将UAV的图像组件向目标瞄准；通过UAV的图像组件来采集与目标相关联的图像；通过UAV的传感器来采集信息组；和/或命令UAV的通信组件向远程设备(例如，操作者12的控制下的智能电话)传送信息组。该信息可以包括由UAV传感器测量的UAV信息或由UAV图像组件采集的图像。
当生成3D飞行路径时，飞行路径生成组件105还考虑虚拟现实环境中的对象、目标或障碍物。在特定实施例中，虚拟现实环境中的对象、目标或障碍物可以被识别为3D信息组(例如，以诸如坐标、线、形状等的格式)。飞行路径生成组件105可以基于一个或多个预定规则来生成3D飞行路径。在一些实施例中，这些规则可以包括物理规则，例如3D飞行路径不能穿过虚拟现实环境中的有形对象或穿过虚拟现实环境的地面。在一些实施例中，规则可以与UAV的机动性有关，例如UAV的最小转弯半径、UAV的最大/最小速度和/或UAV的最大/最小加速度。
在生成3D飞行路径之后，飞行路径分析组件107然后可以分析所生成的3D飞行路径并执行模拟，其中UAV在虚拟现实环境中沿着所生成的3D飞行路径飞行。在特定实施例中，所述模拟包括生成虚拟现实图像组，其中所述虚拟现实图像组是UAV可以在虚拟现实环境中沿着该3D飞行路径的每个提供的位置处采集的。飞行路径分析组件107然后向操作者12视觉呈现该图像组。在特定实施例中，可以通过虚拟现实组件103向操作者12视觉呈现该图像组。通过这样做，系统100a使操作者12能够以第一人视角视觉体验3D飞行路径。通过这样做，操作者12可以对UAV将如何在真实世界环境中行进具有清晰直观的感觉或理解。同时，操作者12可以查看和验证UAV是否可以按照他/她的期望(例如，从特定视角拍摄目标)执行动作项。
在所示实施例中，飞行路径验证组件109被配置为进一步验证所生成的3D飞行路径，以确保3D飞行路径满足某些预定要求。这些要求可以是由操作者12设置(例如，基于操作者的偏好或操作UAV时的技能水平)的和/或来自第三方实体(例如，禁止UAV在特定区域中飞行的政府规定)的。通过验证所生成的3D飞行路径，系统100a可以向操作者12提供安全且可行的3D飞行路径。
系统100a还可以使操作者12能够调整所生成的3D飞行路径。在特定实施例中，操作者12可以经由虚拟现实组件103向所生成的3D飞行路径添加/取消附加/现有的位置或调整所生成的3D飞行路径的曲率。在一些实施例中，操作者12可以(例如，经由虚拟现实设备或输入设备)手动地调整3D飞行路径。在一些实施例中，操作者12可以(例如，基于用户偏好，其中该系统已通过对操作者在先前任务/项目期间对所生成3D飞行路径的先前调整进行学习而获得所述用户偏好)以自动方式来调整3D飞行路径。通过这样做，系统100a使操作者12能够精确地控制UAV 11以完成期望的任务。
图1B是示出了根据本技术的代表性实施例配置的系统100b的框图。系统100b包括3D飞行控制系统10和UAV 13。如图1B所示，与图1中描述的系统100a相比，3D飞行控制系统10包括附加输入组件104，其被配置为接收来自操作者12的用户输入。用户输入可以包括：(1)要包括在3D飞行路径中的位置或动作项，或(2)在生成3D飞行路径时要考虑和遵循的一个或多个规则或要求。在特定实施例中，附加输入组件104可以是键区、触摸屏、操纵杆、键盘或任何其他适当的设备。
如图1B所示，与图1A中描述的UAV 11相比，UAV 13还包括UAV存储组件112和UAV图像分析组件114。UAV图像分析组件114被配置为将以下项进行比较：(1)由飞行路径分析组件107在虚拟现实环境中模拟的图像组和(2)当UAV 13在真实世界环境中飞行时由UAV组件119实际采集的图像。在一些实施例中，如果UAV图像分析组件114识别到这两个图像组之间的差异，则其将通知操作者12。在一些实施例中，如果UAV图像分析组件114识别到这两个图像组之间的差异，则UAV图像分析组件114将通知UAV控制器111，然后UAV控制器111将相应地调整UAV 13(或其组件)以便使该差异最小化。例如，位置X处的模拟图像可以包括位于位于模拟图像的中心处的目标人员的面部。当UAV 13飞行到位置X时，UAV图像分析组件114可能发现由UAV图像组件119实际采集的图像不包括目标人员的面部(例如，它可能仅包括该目标人员的身体)。然后，UAV图像分析组件114可以通知UAV控制器111来相应地旋转或移动UAV 13，以使得可以在实际采集的图像的中心处显示目标人员的面部。下文将参考图4A和图4B进一步讨论所采集的图像的实施例。
图2是根据本技术的代表性实施例配置的UAV 20的部分示意图。UAV 20可以包括机身210，机身110可以相应地包括中央部分和一个或多个外部部分。在具体实施例中，机身210可以包括四个外部部分(例如，臂)，该四个外部部分随着它们远离中央部分延伸而彼此间隔开。在其他实施例中，机身210可以包括其他数量的外部部分。在这些实施例中的任何一个中，单独的外部部分可以支撑驱动UAV20的推进系统的组件。例如，单独的臂可以支撑驱动对应螺旋桨206的对应单独电机。
机身210可以携带有效载荷204，例如成像设备。在特定实施例中，成像设备可以包括图像相机(例如，被配置为捕捉视频数据、静止数据或两者的相机)。图像相机可以对各种合适的波段中的任何一个波段中的波长敏感，包括可见、紫外、红外或其组合。在另一实施例中，有效载荷204可以包括其他类型的传感器、其他类型的货物(例如包裹或其他可配送物)或二者。在这些实施例的大部分中，利用云台202来相对于机身210支撑有效载荷204，云台102允许有效载荷相对于机身210独立地定位。因此，例如当有效载荷204包括成像设备时，成像设备可以相对于机身210移动以跟踪目标。更具体地，例如，成像设备可以相对于机身210(或相对于另一参考平面，例如水平面)旋转一个角度。当UAV 20不飞行时，起落架可以在保护有效载荷204的位置支撑UAV 20。
在代表性实施例中，UAV 20包括由UAV 20携带的控制器208。控制器208可以包括机载计算机可读介质203，该机载计算机可读介质103执行命令UAV 20的动作的指令，所述动作包括但不限于推进系统和成像设备的操作。机载计算机可读介质203可以从UAV 20移除。
图3A是示出了根据本技术的代表性实施例的所生成的3D路径301和动作项的部分示意图。在所示实施例中，所生成的3D路径301经过位置A、B、C和D。在所示实施例中，动作项包括由UAV图像组件119在位置A处拍摄操作者30的图片303。该动作项还可以指定要拍摄的图片303的特定格式。例如，动作项可以要求以可以基于水平角度(例如，图3A中的角度Ah)、垂直角度(例如，图3A中的角度Av)或对角线角(图3A中的角度Ad)测量的特定视角拍摄图片303。更具体地，图像相机119的视角确定图片303看起来如何以及操作者30位于图片303中的位置(例如，操作者30可以位于图片303的中心并且占据图片303的总图像面积的一半或四分之一)。
图3B是示出了根据本技术的代表性实施例的规避第一障碍物31和第二障碍物33的所生成的3D路径303的部分示意图。障碍物的形状可以是在生成3D路径303时要考虑的因素之一。在所示实施例中，例如，所生成的3D路径303经过位置A、B、C和D。沿着3D路径303飞行，UAV可以规避第一障碍物31和第二障碍物33。第一障碍物31是具有较低的长高比的“细长型”障碍物。在所示实施例中，沿着3D路径303飞行的UAV通过绕其飞行而规避第一障碍物31。如图所示，第二障碍物33是具有较高的长高比的“宽型”障碍物。沿着3D路径303飞行的UAV通过飞越第二障碍物33而规避第二障碍物33。在一些实施例中，在生成3D路径303时，操作者可以设置他/她自己的规则(例如，保持UAV与“窄型”障碍物之间10米的距离；或者在“宽型”障碍物上方15米飞行)。
图4A和图4B是示出了根据本技术的代表性实施例的由UAV的图像组件创建的图像41和43的部分示意图。图4A所示的图像41表示在系统基于动作项进行调整之前所采集的图像。图4B所示的图像43表示在基于动作项进行调整之后的调整后图像。在图4A中，图像41可以包括特定区域401、目标人员403和背景项405。在所示实施例中，与图像400相关联的动作项可以是“将目标人员403的面部定位在特定区域401的中心”以及“使目标人员403的面部占据超过50％的特定区域401”。基于所述动作项，系统可以调整图像41以成为图像43(例如，通过改变所计划的3D飞行路径)以便满足动作项中指定的要求。使用类似的技术，该系统可以通过针对对应动作项设置参数来使操作者能够精确地控制UAV或UAV的组件以执行其他特定任务。
图5是示出了根据本技术的代表性实施例的用于生成3D飞行路径的方法500的实施例的流程图。方法500可以是通过来自操作者的请求而发起的。在框501处，该方法接收与虚拟现实环境相关联的3D信息组。例如，可以由诸如可从英国的Autodesk Inc.获得的
Figure BDA0003757366390000131
的软件或其他适当的3D模型构建应用来产生该3D信息。框503包括接收虚拟现实环境中的多个虚拟位置。在一些实施例中，方法500可以包括接收物理位置(真实世界环境中)并将其转换为虚拟现实环境中的虚拟位置。可以以3D坐标的格式(例如，点的表格)提供物理位置或虚拟位置。在框505处，对于各个虚拟位置，系统接收至少一个对应的动作项。在特定实施例中，动作项可以包括(1)将UAV的图像组件与目标对准；(2)将UAV的图像组件定位在水平位置(horizontal level)处；(3)保持UAV的图像组件的视角；(4)将UAV的图像组件向目标瞄准；(5)通过UAV的图像组件来采集与目标相关联的图像；(6)命令UAV围绕目标飞行；和/或(7)命令UAV绕轴旋转。
在框507处，系统基于该所述3D信息组、所述多个虚拟位置和所述多个动作项来生成3D路径。方法500接着在框509处继续以基于所述3D信息组、所述多个虚拟位置和所述多个动作项来生成与3D路径相关联的图像组。在一些实施例中，可以由虚拟现实系统生成该图像组。在框511处，系统向操作者视觉呈现该图像组。在特定实施例中，经由虚拟现实设备向操作者视觉呈现该图像组。方法500然后返回以等待其他指令。在一些实施例中，系统还可以当经由虚拟现实设备从操作者接收到指令时调整3D路径。
从上文中可以理解，为了说明的目的，本文已经描述了本技术的具体实施例，但是可以在不偏离本技术的情况下做出各种修改。例如，在UAV的上下文中描述了特定实施例。在其他实施例中，本技术可以通过其他适当的可移动设备来实现，例如无人驾驶地面载运工具(UGV)、无人驾驶表面载运工具(USV)或机器人。
此外，尽管已经在这些实施例的上下文中描述了与本技术的某些实施例相关联的优点，但是其他实施例也可以表现出这样的优点，并且并非所有实施例都需要显示出落入本技术范围内的优点。相应地，本公开和相关技术可以涵盖未在本文中明确示出或描述的其他实施例。
本专利文件的公开的至少一部分包含受到版权保护的材料。版权所有者不反对任何人对专利文献或专利公开的传真复制，因为它出现在专利和商标局的专利文件或记录中，但在其他方面保留所有版权。

Claims (10)

1.一种用于生成可移动平台的三维3D路径的方法，所述方法包括：
接收与虚拟现实环境相关联的3D信息组；
接收所述虚拟现实环境中的多个虚拟位置；
接收多个动作项，其中每个所述虚拟位置对应于所述动作项中的一个或多个；
基于所述多个虚拟位置生成所述虚拟现实环境中的3D路径；
基于所述3D信息组、所述多个虚拟位置和所述多个动作项来生成与所述3D路径相关联的图像组，所述图像组包括当所述可移动平台沿着所述3D路径飞行时将采集的虚拟现实图像；以及
向操作者视觉呈现所述图像组。
2.根据权利要求1所述的方法，还包括通过飞行模拟过程来生成所述图像组。
3.根据权利要求1所述的方法，其中经由虚拟现实设备视觉呈现所述图像组，并且其中基于由所述3D路径确定的顺序向所述操作者视觉呈现所述图像组。
4.根据权利要求1所述的方法，还包括响应于经由虚拟现实设备从所述操作者接收到指令而调整所述3D路径。
5.根据权利要求1所述的方法，其中所述可移动平台包括图像组件，并且其中所述动作项包括：(1)建立或保持所述图像组件的视角、(2)将所述图像组件与目标对齐、(3)将所述图像组件向目标瞄准、(4)经由所述图像组件采集与目标相关联的图像或者(5)将所述图像组件向目标瞄准；以及指示所述可移动平台围绕所述目标移动。
6.根据权利要求1所述的方法，其中所述多个虚拟位置对应于多个物理位置。
7.根据权利要求1-6中任一项所述的方法，还包括：(1)至少部分地基于障碍物规避算法来生成所述3D路径、(2)至少部分地基于最短距离算法来生成所述3D路径、(3)至少部分地基于所述可移动平台的预期移动时间来生成所述3D路径、(4)至少部分地基于所述环境中的障碍物的形状来生成所述3D路径或者(5)至少部分地基于来自所述操作者的输入来生成所述3D路径。
8.根据权利要求1-7中任一项所述的方法，还包括至少部分地基于来自所述操作者的输入来确定所述多个虚拟位置。
9.一种用于控制可移动平台的系统，所述系统包括：
处理器；
存储组件，所述存储组件与所述处理器相耦接并被配置为存储与虚拟现实环境相关联的3D信息组；
输入组件，所述输入组件与所述处理器相耦接并被配置为接收所述虚拟现实环境中的多个虚拟位置和多个动作项，其中每个虚拟位置对应于所述动作项中的一个或多个；
飞行路径生成组件，所述飞行路径生成组件与所述处理器相耦接并被配置为基于所述多个虚拟位置生成所述虚拟现实环境中的3D路径；以及
飞行路径分析组件，所述飞行路径分析组件与所述处理器相耦接并被配置为基于所述3D信息组、所述多个虚拟位置和所述多个动作项来生成与所述3D路径相关联的图像组，所述图像组包括当所述可移动平台沿着所述3D路径飞行时将采集的虚拟现实图像；
其中经由虚拟现实组件向操作者视觉呈现所述图像组。
10.一种用于配置可移动平台控制器的方法，包括：
利用指令对计算机可读介质进行编程，所述指令在被执行时执行以下操作：
接收与虚拟现实环境相关联的3D信息组；
接收所述虚拟现实环境中的多个虚拟位置；
接收多个动作项，其中每个所述虚拟位置对应于所述动作项中的一个或多个；
基于所述多个虚拟位置生成所述虚拟现实环境中的3D路径；
基于所述3D信息组、所述多个虚拟位置和所述多个动作项来生成与所述3D路径相关联的图像组，所述图像组包括当所述可移动平台沿着所述3D路径飞行时将采集的虚拟现实图像；以及
向操作者视觉呈现所述图像组。
CN202210862865.3A 2016-12-01 2016-12-01 用于管理3d飞行路径的方法和相关系统 Pending CN115238018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210862865.3A CN115238018A (zh) 2016-12-01 2016-12-01 用于管理3d飞行路径的方法和相关系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201680091037.7A CN109997091B (zh) 2016-12-01 2016-12-01 用于管理3d飞行路径的方法和相关系统
PCT/CN2016/108300 WO2018098792A1 (en) 2016-12-01 2016-12-01 Methods and associated systems for managing 3d flight paths
CN202210862865.3A CN115238018A (zh) 2016-12-01 2016-12-01 用于管理3d飞行路径的方法和相关系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680091037.7A Division CN109997091B (zh) 2016-12-01 2016-12-01 用于管理3d飞行路径的方法和相关系统

Publications (1)

Publication Number Publication Date
CN115238018A true CN115238018A (zh) 2022-10-25

Family

ID=62240969

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680091037.7A Active CN109997091B (zh) 2016-12-01 2016-12-01 用于管理3d飞行路径的方法和相关系统
CN202210862865.3A Pending CN115238018A (zh) 2016-12-01 2016-12-01 用于管理3d飞行路径的方法和相关系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680091037.7A Active CN109997091B (zh) 2016-12-01 2016-12-01 用于管理3d飞行路径的方法和相关系统

Country Status (3)

Country Link
US (2) US11295621B2 (zh)
CN (2) CN109997091B (zh)
WO (1) WO2018098792A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI657011B (zh) * 2017-11-30 2019-04-21 財團法人工業技術研究院 無人機、無人機控制系統及控制方法
JP2021144260A (ja) * 2018-06-15 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11804052B2 (en) * 2020-03-26 2023-10-31 Seiko Epson Corporation Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path
CN111880561B (zh) * 2020-07-16 2023-03-28 河南大学 城市环境下基于改进鲸鱼算法的无人机三维路径规划方法
JP2023117420A (ja) * 2020-07-16 2023-08-24 ソニーグループ株式会社 情報処理方法、プログラム、及びシステム
CN113419428B (zh) * 2021-07-14 2024-01-16 大连海事大学 基于3d映射制导的机/船协同路径跟踪控制器设计方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7343232B2 (en) * 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
WO2006014974A2 (en) * 2004-07-26 2006-02-09 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
US20100250022A1 (en) * 2006-12-29 2010-09-30 Air Recon, Inc. Useful unmanned aerial vehicle
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
IL188655A (en) * 2008-01-08 2011-09-27 Rafael Advanced Defense Sys System and method for navigating a remote control vehicle past obstacles
US20120256945A1 (en) * 2008-06-17 2012-10-11 Digigage Ltd. System for altering virtual views
US8639666B2 (en) * 2008-09-05 2014-01-28 Cast Group Of Companies Inc. System and method for real-time environment tracking and coordination
TWI408568B (zh) * 2010-06-24 2013-09-11 Hon Hai Prec Ind Co Ltd 手持裝置及利用其控制無人飛行載具的方法
US8676406B2 (en) * 2011-05-03 2014-03-18 Raytheon Company Unmanned aerial vehicle control using a gamepad
US9117104B2 (en) * 2013-07-10 2015-08-25 Cherif Algreatly Object recognition for 3D models and 2D drawings
KR102165450B1 (ko) * 2014-05-22 2020-10-14 엘지전자 주식회사 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법
US20160023602A1 (en) * 2014-07-28 2016-01-28 Honda Motor Co., Ltd. System and method for controling the operation of a wearable computing device based on one or more transmission modes of a vehicle
CN104635579B (zh) * 2015-01-09 2017-07-11 江门市东方智慧物联网科技有限公司 基于虚拟现实机器人遥操作技术的鸟类控制系统及方法
KR20160099917A (ko) * 2015-02-13 2016-08-23 조영철 운전 연습 방법 및 장치
WO2016130994A1 (en) * 2015-02-13 2016-08-18 Unmanned Innovation, Inc. Unmanned aerial vehicle remote flight planning system
WO2016141100A2 (en) * 2015-03-03 2016-09-09 Prenav Inc. Scanning environments and tracking unmanned aerial vehicles
CN104702871A (zh) * 2015-03-19 2015-06-10 世雅设计有限公司 无人机投影显示方法、系统及装置
US9855658B2 (en) * 2015-03-19 2018-01-02 Rahul Babu Drone assisted adaptive robot control
US10696414B2 (en) * 2015-04-21 2020-06-30 Gopro, Inc. Aerial capture platform
AU2016262119A1 (en) * 2015-05-12 2017-11-30 Precision Autonomy Pty Ltd Systems and methods of unmanned vehicle control and monitoring
CN204669545U (zh) * 2015-06-17 2015-09-23 宋克凡 一种无人机模拟驾驶显示装置
US9928649B2 (en) * 2015-08-03 2018-03-27 Amber Garage, Inc. Interface for planning flight path
GB2542434A (en) * 2015-09-21 2017-03-22 Figment Productions Ltd A System for Providing a Virtual Reality Experience
US10762795B2 (en) * 2016-02-08 2020-09-01 Skydio, Inc. Unmanned aerial vehicle privacy controls
CN105739525B (zh) * 2016-02-14 2019-09-03 普宙飞行器科技（深圳）有限公司 一种配合体感操作实现虚拟飞行的系统
US10271021B2 (en) * 2016-02-29 2019-04-23 Microsoft Technology Licensing, Llc Vehicle trajectory determination to stabilize vehicle-captured video
CN105828062A (zh) * 2016-03-23 2016-08-03 常州视线电子科技有限公司 无人机3d虚拟现实拍摄系统
US10191486B2 (en) * 2016-03-28 2019-01-29 Aveopt, Inc. Unmanned surveyor
KR102236339B1 (ko) * 2016-10-24 2021-04-02 에스지 디제이아이 테크놀러지 코., 엘티디 이미징 기기로 캡처한 이미지를 제어하기 위한 시스템 및 방법
CN106485736B (zh) * 2016-10-27 2022-04-12 深圳市道通智能航空技术股份有限公司 一种无人机全景视觉跟踪方法、无人机以及控制终端

Also Published As

Publication number Publication date
WO2018098792A1 (en) 2018-06-07
US11295621B2 (en) 2022-04-05
CN109997091A (zh) 2019-07-09
US11961407B2 (en) 2024-04-16
CN109997091B (zh) 2022-08-09
US20190318634A1 (en) 2019-10-17
US20220198942A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US11106203B2 (en) Systems and methods for augmented stereoscopic display
US11635775B2 (en) Systems and methods for UAV interactive instructions and control
CN109997091B (zh) 用于管理3d飞行路径的方法和相关系统
US11323680B2 (en) Detecting optical discrepancies in captured images
US20210116944A1 (en) Systems and methods for uav path planning and control
US20230257115A1 (en) Image Space Motion Planning Of An Autonomous Vehicle
EP3783454B1 (en) Systems and methods for adjusting uav trajectory
CN109562844B (zh) 自动着陆表面地形评估以及相关的系统和方法
WO2016015251A1 (en) Systems and methods for target tracking
US20180275659A1 (en) Route generation apparatus, route control system and route generation method
US20220137647A1 (en) System and method for operating a movable object based on human body indications
JP7435599B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2022188151A1 (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
EP3631595B1 (en) Method and system for operating a movable platform using ray-casting mapping
WO2022094808A1 (zh) 拍摄控制方法、装置、无人机、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination