CN110162083B - 利用无人机执行三维结构检查及维护任务的方法和系统 - Google Patents

利用无人机执行三维结构检查及维护任务的方法和系统 Download PDF

Info

Publication number
CN110162083B
CN110162083B CN201811158813.8A CN201811158813A CN110162083B CN 110162083 B CN110162083 B CN 110162083B CN 201811158813 A CN201811158813 A CN 201811158813A CN 110162083 B CN110162083 B CN 110162083B
Authority
CN
China
Prior art keywords
drones
task
drone
dimensional structure
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811158813.8A
Other languages
English (en)
Other versions
CN110162083A (zh
Inventor
S·乌拉加纳特汉
M·罗摩钱德拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wipro Ltd
Original Assignee
Wipro Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wipro Ltd filed Critical Wipro Ltd
Publication of CN110162083A publication Critical patent/CN110162083A/zh
Application granted granted Critical
Publication of CN110162083B publication Critical patent/CN110162083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/20—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种利用无人机执行三维结构检查及维护任务的方法和系统。在一种实施方式中，公开一种执行与三维结构相关任务的方法。该方法包括接收所述三维结构的模拟三维视图。该模拟三维视图包括各层次不同程度的增强视图。所述方法还包括根据所述各层次的增强视图、与基本类似任务相关的历史数据以及所述至少一架无人机的能力，设置所述三维结构的一条或多条任务执行路径。该方法还包括：根据与基本类似任务相关的历史数据，针对所述一条或多条路径及所述任务，进行操纵性及操作学习；以及根据通过至少一架无人机的所述学习，实现对所述任务的执行。

Description

利用无人机执行三维结构检查及维护任务的方法和系统
技术领域
本发明总体涉及无人机，尤其涉及一种利用无人机执行三维结构检查及维护任务的方法和系统。
背景技术
无人驾驶飞行器(或称无人机)越来越多地被用于执行监控、搜救、测绘、送货、航空摄影等各种任务。在这些领域当中，无人机可得到有效利用的一种领域为复杂三维结构(如建筑物、工厂、机械等)的检查和维护。可以理解的是，三维结构可能具有隐蔽部分，从而使得高精度的人工检查变得非常繁琐和耗时。与此相比，行动敏捷且体型小巧的无人机可轻易地进入三维结构的此类隐蔽部分以执行各种任务。
然而，现有技术的能力和有用性较为有限。举例而言，现有技术在执行任务(如喷涂)时，需要用户对该无人机进行远程操纵，以使其到达指定区域并执行预定任务。因此，在每次执行任务时，用户必须向空中操作系统提供详细指令。此外，现有技术无法根据日常操作进行情景学习。简言而之，现有技术无法通过对其自身实施的操作进行实时学习而能够临机应变自主地执行任务。
发明内容
在一种实施方式中，公开一种用于执行与三维结构相关的任务的方法。在一个实施例中，该方法可包括接收所述三维结构的模拟三维视图。该模拟三维视图包括各层次不同程度的增强视图。所述方法还可包括根据所述各层次的增强视图、与基本类似任务相关的历史数据以及所述至少一架无人机的能力，设置所述三维结构的一条或多条任务执行路径。该方法还可包括根据与基本类似的任务相关的历史数据，针对所述一条或多条路径及所述任务，进行操纵性(maneuverability)及操作(operation)学习。该方法还可包括由所述至少一架无人机的根据所述学习实现对所述任务的执行。
在一种实施方式中，公开一种用于执行与三维结构相关的任务的系统。在一个实施例中，该系统可包括至少一个处理器，以及与该至少一个处理器以可通信方式连接的存储器。该存储器可存有处理器可执行指令，该指令在执行时，可使得所述处理器接收所述三维结构的模拟三维视图。该模拟三维视图包括各层次不同程度的增强视图。所述处理器可执行指令在执行时，还可使得所述处理器根据所述各层次的增强视图、与基本类似任务相关的历史数据以及所述至少一架无人机的能力，设置所述三维结构的一条或多条任务执行路径。所述处理器可执行指令在执行时，还可使得所述处理器根据与基本类似任务相关的历史数据，针对所述一条或多条路径及所述任务，进行操纵性及操作学习。所述处理器可执行指令在执行时，还可使得所述处理器由所述至少一架无人机根据所述学习实现对所述任务的执行。
在一种实施方式中，公开一种非暂时性计算机可读介质，该介质存有用于执行与三维结构相关的任务的计算机可执行指令。在一个实施例中，所存指令在由处理器执行时，可使得该处理器实施操作，该操作包括接收所述三维结构的模拟三维视图。该模拟三维视图包括各层次不同程度的增强视图。所述操作还可包括根据所述各层次的增强视图、与基本类似任务相关的历史数据以及所述至少一架无人机的能力，设置所述三维结构的一条或多条任务执行路径。所述操作还可包括根据与基本类似任务相关的历史数据，针对所述一条或多条路径及所述任务，进行操纵性及操作学习。所述操作还可包括由所述至少一架无人机的根据所述学习实现对所述任务的执行。
需要理解的是，以上概略描述与以下详细描述均仅在于例示和说明，而不在于限制所要求保护的发明。
附图说明
所附各图并入本发明之内并构成本发明的一部分，用于对例示实施方式进行描述，并与说明书一道阐明所公开的原理。
图1为根据本发明一些实施方式的用于执行与三维结构相关的任务的例示系统的框图。
图2为根据本发明一些实施方式的无人机子系统的功能框图。
图3为根据本发明一些实施方式的用于执行与三维结构相关的任务的例示过程的流程图。
图4为根据本发明一些实施方式的用于执行与三维结构相关的任务的详细例示过程的流程图。
图5为用于实施本发明实施方式的例示计算机系统的框图。
具体实施方式
以下，参考附图，对例示实施方式进行描述。在任何方便之处，各图中均采用相同附图标记指代相同或类似部件。虽然本文中描述了所公开原理的实施例和特征，但是在不脱离所公开实施方式的精神和范围的前提下，还可进行修改、调整以及做出其他实施方式。以下具体描述意在仅视作例示，而真正的范围及精神如权利要求书所述。
首先参考图1，该图所示为根据本发明一些实施方式的用于执行与三维结构102相关的任务的例示系统100的框图。具体而言，系统100可包括无人机子系统101，该系统用于对三维结构102执行各种任务。该任务可包括，但不限于，检查与维护任务、制造任务、民用基础设施相关任务以及灾害管理相关任务。在一些实施方式中，无人机子系统101用于对三维结构102进行检查，了解三维结构102的各种特征，以及对三维结构102进行维护。例如，当三维结构102为建筑物时，则所述无人机可用于通过检查当前喷涂状况并了解当前喷涂特征(如当前涂料颜色、当前涂料色度、当前涂料的涂敷表面、周围区域的当前涂料等)而进行喷涂。类似地，当三维结构102为工业机械时，则所述无人机可用于对该工业机械进行检查与维护。
如以下结合图2～图4所详细描述的，无人机子系统101可接收三维结构102的模拟三维视图。该模拟三维视图可包括各层次不同程度的增强视图。无人机子系统101还可根据所述各层次的增强视图、与基本类似的任务相关的历史数据以及所述至少一架无人机的能力，设置一条或多条路径，以执行关于三维结构102的任务。无人机子系统101还可根据与基本类似的任务相关的历史数据，针对所述一条或多条路径及所述任务，进行操纵性及操作学习，并由所述至少一架无人机根据该学习实现所述任务的执行。由此可见，无人机子系统101能够通过对以往规划和执行的类似任务的执行状况进行不断学习而自主地实施任务(如检查、维护等)的规划和执行。
无人机子系统101可包括与基站105通信的一架或多架无人机。需要注意的是，所述一架或多架无人机既可与基站105直接通信，也可通过中间无人机与其通信。例如，在一些实施方式中，所述一架或多架无人机可包括主无人机(mother drone)103和若干卫星无人机(satellite drone)104。主无人机103与基站105通信，而卫星无人机104可与主无人机103通信。也就是说，卫星无人机104可与基站105间接(即通过主无人机103)通信。本领域技术人员可理解的是，无人机子系统101当中的各部件103～105均可以为基于处理器的计算装置106。例如，基站105可包括但不限于，服务器、台式计算机、膝上型计算机、笔记本、上网本及个人计算设备(如平板电脑、智能手机等)。
计算装置106可包括一个或多个处理器107，计算机可读介质(如存储器108)以及通信接口109。计算机可读存储介质108可存有指令，该指令在由所述一个或多个处理器107处理时，使得该一个或多个处理器107根据本发明的各个方面执行各种操作。计算机可读存储介质102还可存有各种数据(如所捕获的三维结构图像、三维结构的模拟三维视图、设置或因学习而获得的一条或多条路径、操纵性命令、操作命令、情景信息、执行状况信息、以往任务的相关历史数据、每架无人机的信息、情景对话等)，这些数据可以为系统100所捕获、处理或要求的信息。通信接口109可允许部件103～105之间通过有线或无线通信信道进行通信。
在一些部件(如基站105)中，计算装置106还可包括显示器110。如此，计算装置106即可通过用户界面111与用户交互，用户可通过显示器110对用户界面111进行操作。此外，在一些部件(如基站105)中，计算装置106可经有线或无线通信信道及通信接口109与一个或多个外部装置112交互，以发送或接收各种数据，如三维结构102的特点或特征、无人机子系统101学到的内容等。外部装置112可包括但不限于远程服务器、另一计算装置或外围设备。
现在参考图2，该图所示为根据本发明一些实施方式的与图1的无人机子系统101类似的无人机子系统200的功能框图。无人机子系统200可包括各种模块，这些模块通过执行各种功能而在所述三维结构上执行各种任务。在一些实施方式中，无人机子系统200可包括图像捕获模块201，增强现实模块202，任务设置模块203，级联训练模块204，无人机管理模块205以及用户交互模块206。本领域技术人员可理解的是，所有上述模块201～206既可实施为单个模块，也可实施为不同模块的组合。此外，本领域技术人员可理解的是，模块201～206当中的每一模块均可整体设于一个装置内，或分开设于相互通信的多个装置内。例如，模块201～206当中的每一模块均可整体或部分设于主无人机103、卫星无人机104和/或基站105当中的任何一者内。
图像捕获模块201可通过无人机子系统200内的一个或多个无人机，从不同角度捕获所述三维结构的多幅图像。具体而言，图像捕获模块201可指示所述图像捕获无人机当中的所有或部分无人机从不同角度捕获所述三维结构的图像。可以理解的是，所述图像捕获无人机可包括用于捕获所述图像的成像装置(如相机、激光雷达(LIDAR)仪、超声成像装置、红外成像装置等)。之后，图像捕获模块201可经接口INT1从所述图像捕获无人机接收所捕获的图像。
增强现实模块202可经线路C1从图像捕获模块201接收所捕获的图像。随后，增强现实模块202可在增强现实系统中，利用所捕获的图像对所述三维结构进行模拟。在一些实施方式中，所述增强现实系统可提供用于显示各层次不同程度的增强视图的交互式界面，用户可通过该交互式界面提供用户输入。例如，所述增强现实系统可根据经所述交互式界面提供的用户输入，使各对象选择性地显现或消失。
任务设置模块203可经线路C2从增强现实模块202接收所述模拟三维结构以及用户输入。随后，任务设置模块203可根据用户输入以及所述模拟三维结构自动设置用于执行任务的一条或多条路径。任务设置模块203还可利用无人机子系统200所执行的类似任务的相关历史数据自动设置用于执行任务的所述一条或多条路径。在一些实施方式中，任务设置模块203可通过利用所述模拟三维结构、无人机子系统200已执行过或设置过的类似任务的历史数据以及无人机子系统200中各无人机的工作效率，对所述待执行任务的若干路径进行学习而设置所述路径。例如，可根据各种可能路径及各无人机的可用性，为当前任务设置一条或多条执行路径。
级联训练模块204可经线路C3从任务设置模块203接收所设置的一条或多条任务执行路径。随后，级联训练模块204可针对所设置的任务执行路径，对无人机进行训练。在一些实施方式中，级联训练模块204可针对所设置的任务执行路径，对所述主无人机进行训练。需要注意的是，所述训练可包括但不限于与所设置的路径相关的控制指令、操纵性及操作等。在一些实施方式中，所述训练可通过强化学习实现，该强化学习基于与基本类似的任务相关的历史数据，并且基于与当前任务相关的当前数据。换句话说，可基于无人机子系统200从过往类似任务的执行情况以及从与当前任务的执行相关的情境信息中学到的内容，实现所述训练。
无人机管理模块205可经线路C4从级联训练模块204接收训练完成信息。随后，无人机管理模块205可根据所述训练(即学习)，实现对所述任务的执行。可以理解的是，无人机管理模块205可指示各无人机根据所述训练执行所述任务。在一些实施方式中，无人机管理模块205可指示所述主无人机根据所述训练执行所述任务。之后，该主无人机可控制所述卫星无人机执行所述任务。此外，无人机管理模块205可经线路C5从用户交互模块206接收用户输入。如此，无人机管理模块205可实现根据用户输入对各无人机进行动态控制。
此外，一旦训练后的无人机(如主无人机和卫星无人机)开始执行所述任务后，无人机管理模块205可对与正在执行的任务相关的情境信息和执行状况信息(如图像情境)进行存储。可以理解的是，所述任务可包括按顺序执行的若干步骤或子任务。换句话说，所述各步骤或子任务可以为一系列为了完成所述任务而需要执行的操作。因此，无人机管理模块205可利用所述任务中已执行步骤内存储的情境信息和执行状况信息(即已执行子任务的图像情境)，动态指示相应无人机(如特定卫星无人机)采取行动，以执行所述任务的后续步骤(即执行后续子任务)。在一些实施方式中，无人机管理模块205可利用在已完成步骤中存储的无人机的情境信息和执行状况信息，并根据可进入性、接近度、电池电量及无人机可用性的加权和，动态指示相应无人机采取行动。此外，无人机管理模块205可将与当前任务相关的已存储情境信息和执行状况信息经线路C6提供给任务设置模块203，以供后续训练。
用户交互模块206可在所述任务执行过程中，通过情景对话的方式促进用户与无人机子系统200之间的交互。其中，用户可通过情景对话，经接口INT2直接向各无人机提供指令。如上所述，接收自用户的指令随后可经线路C5提供至无人机管理模块205。
可以理解的是，接口INT1可利用通信协议，并经标准的有线或无线数据连接装置，将图像从所述图像捕获无人机传输至图像捕获模块201。例如，接口INT1可采用一个或多个连接协议，这些连接协议包括但不限于IEEE-1394、近场通信(NFC)、FireWire、Camera
Figure BDA0001819547690000081
GigE、串行总线、通用串行总线(USB)、红外、PS/2、BNC、同轴、组件、复合、数字视频接口(DVI)、高清多媒体接口(HDMI)、射频(RF)天线、S-Video、视频图形阵列(VGA)、IEEE802.n/b/g/n/x、蓝牙、蜂窝(如码分多址(CDMA)、高速分组接入(HSPA+)、全球移动通信系统(GSM)、长期演进(LTE)及WiMax)。类似地，接口INT2可利用麦克风或任何其他标准输入设备获取用户数据。此外，可以理解的是，线路C1～C6当中的每条线路均可利用标准的有线或无线数据连接装置将数据从一个模块201～206传输至其他模块201～206。举例而言，线路C1～C6当中的每条线路均可采用一个或多个连接协议，这些协议包括但不限于RS-232、RS-422、RS-485、I2C、SPI、Microwire、1-Wire、IEEE 1284、
Figure BDA0001819547690000082
QuickPathInterconnect，InfiniBand及PCIe.
需要注意的是，无人机子系统200的上述部件当中的至少一部分可在可编程门阵列、可编程阵列逻辑、可编程逻辑设备等的可编程硬件设备中实施。或者，无人机子系统200的此类部件可在由各类型处理器执行的软件内实施。已认定的可执行代码引擎例如可包括计算机指令的一个或多个物理块或逻辑块，这些物理块或逻辑块例如组织为对象、程序、功能、模块或其他构建体。然而，在物理形式上，所认定的引擎的可执行代码无需位于一处，而是可包括存于不同位置处的不同指令，当这些指令在逻辑上相互结合时，可包括所述引擎并实现该引擎的标称目的。实际上，可执行代码引擎可以为单个指令或多个指令，而且甚至可分布于不同应用程序的多个不同代码段上以及可分布于多个存储器装置之上。
举例而言，在执行特定任务之前，可以进行预演。可以理解的是，图像捕获模块201在所述预演过程中获得的特点或特征可随待执行任务的不同而不同。例如，当无人机子系统200用于执行喷涂任务时，可通过捕获待涂敷表面的特写图像而了解当前涂料的变化情况。此外，还可确定待涂敷至特定部分的颜色。如果待涂敷至所述表面的颜色与当前颜色不同时，可进行标准校正。其中，可使用加速计或陀螺仪进行坐标定位。然而，如果待涂敷的颜色与当前颜色相同，则不同坐标(x，y，z)处的喷涂量可能有所变化，此时需要确定相应的喷涂量。此外，还可确定喷涂速度、喷嘴容积及离所述表面的距离。在一些实施方式中，可采用深度学习技术建立旧墙面颜色与新墙面颜色之间的映射关系。类似地，当无人机子系统200用于机械检查时，图像捕获模块201在所述预演过程中获得的特点或特征可与上述不同。无人机子系统200可采用特殊的控制软件，并对来自加速计、气压计、陀螺仪及GPS等的传感器的数据加以使用。这些数据可用于后续的任务规划和执行。
在此之后，增强现实模块202可利用所捕获的图像，对所述三维结构进行模拟。可以理解的是，增强现实(AR)可用于识别出和了解所述三维结构的各种特点和特征，如颜色(当前)是否均匀、颜色是否受到风雨侵蚀等。举例而言，用户可在利用增强现实进行查看的过程中，改变所述三维结构的不同部分的颜色强度，以了解特定部分在颜色强度改变后于不同照明条件下(如夜间、阴天、渐暗、渐亮、月光、不同夜间光)的视觉效果。由此可见，这种交互式查看方式可帮助用户从多种涂料照明组合中做出选择。可以理解的是，还可通过卷积神经网络(CNN)对颜色变化、非均匀性分布等进行预测。在一些实施方式中，用户可划定特定部分(如通过在其上添加圆圈)，并通过提及该部分(如“在该部分上增加涂料”)而实现“对话”。
增强现实模块202还可根据用户抉择，选择性地使各对象显现或消失，从而提供各层次不同程度的增强视图。例如，当从外部聚焦于建筑物时，可令起居室比该建筑物显现地更为突出。此外，当用户选择橱柜时，可令敞开的橱柜突出显现于封闭橱柜之上，而且该封闭橱柜又比所述建筑物显现地更为突出。如此，可为不同对象设置不同增强程度，并将其呈现于同一视图中。在一些实施方式中，可将接受类似处理的各对象或部分呈现于同一视图中。例如，对于底漆喷涂任务，可将橱柜柜壁的内外两侧与所述建筑物的外墙同时显示。这种呈现方式有助于无人机子系统200在相同时间段内对其进行处理。此外，此类相互关联的视图可保存为同一图像视图，并由系统或用户通过设置名称或代码的方式对其进行标记。可以理解的是，在检查后，可以对类似任务进行核验。此外，在一些实施方式中，可对各无人机的实况视频进行增强。随后，可在某一时间点，根据各无人机的可进入性、进入待检查区域的难易程度、待检查区域的重要性、完成检查所需的无人机架数等的多项因素做出关于是否需要进行检查的决定。需要注意的是，可在图像中存在层次的区域上设置超级链接(类似于文本超级链接)，并以不同颜色或以附加边框的方式对其进行显示。通过对所述三维结构的不同视图进行的此类渲染，有助于无人机子系统200及用户在任务规划和执行过程中，更好地理解及了解该三维结构。
在此之后，任务设置模块203可根据与上述模拟三维结构相关的用户输入、与以往执行的类似任务相关的历史数据以及各无人机的工作效率，设置一条或多条任务执行路径。此外，级联训练模块204可训练所述一架或多架无人机针对所设置的路径，进行操纵性学习。如上所述，在一些实施方式中，所述一架或多架无人机可包括主无人机和若干卫星无人机。因此，级联训练模块204可训练所述主无人机针对所设置的路径，进行操纵性学习。如上所述，所述训练可包括无人机子系统200已执行的类似任务的历史数据。
随后，无人机管理模块205可根据所述训练，并通过所述主无人机，实现对所述任务的执行。具体而言，无人机管理模块205可指示所述主无人机根据所述训练执行所述任务。该主无人机还可根据自身所接受的训练，对卫星无人机进行训练，并向其分配任务。例如，当有可能需要在造成遮挡的障碍物后方进行喷涂时，所述主无人机可指示卫星无人机移动至该障碍物后方获取图像。此外，如果上述障碍物的后方还存在其他障碍物时，所述主无人机可指示卫星无人机通过悬停于该其他障碍物的后方而实施检查。如果所述其他障碍物太小，或者如果无法进行检查，则所述主无人机还可指示卫星无人机停止检查，或调遣更次一级的卫星无人机。由此可见，所述主无人机可根据任务要求或卫星无人机要求，训练卫星无人机以完成任务。
此外，无人机管理模块205可实施经验存储及回溯机制。其中，与任务或子任务关联的以往经验可与图像情境一起保存。例如，无人机管理模块205可保存如下信息：上次，在对角落进行喷涂时，无人机花费了更长的时间才能实现所需的颜色。相应地，无人机管理模块205可在执行此类子任务时，确保无人机具有更高的电池电量。类似地，如果之前执行任务时产生了较厚的涂料凸块，则无人机管理模块205可在当前待执行的任务中，确保采用更小的喷嘴直径或更短的喷涂时间。可以理解的是，所述经验存储及回溯机制也可被导入从其他地点(如其他建筑物、其他机械设备等)获得的经验。
此外，在一些实施方式中，用户可通过用户交互模块206，以对话形式向各无人机传达指令。举例而言，用户可指示各无人机在检查过程中：获取特定部分的更多细节，以检查是否存在裂纹；从特定角度拍摄图像；对特定部分进行聚焦特写等等。用户交互模块206可通过用户指令的自然语言处理、视频快照(具有场景及文本、语音或动作)以及当前任务的已完成步骤中保存的图像情境，来了解用户的要求。随后，用户交互模块206可根据可进入性(如小巧性、尺寸等)、接近度(如与目标区域的接近程度)、电池电量(如作用距离)及可用性(如无人机处于自由状态，还是处于某物内部)的加权和，向合适的卫星机传达所需采取的行动。
在用于执行喷涂任务的一种例示实施方式中，所述无人机(如主无人机)可预先加载所述三维结构(如建筑物)的三维数据以及预设的喷涂细节。需要注意的是，所述三维数据可以为无人机子系统200预先构建的数据。此外，所述无人机可载有或供有与用户从所述基站选择的预设的喷涂设计相应的不同颜色的涂料。所述无人机可以以无人驾驶的方式在所述三维结构的内部或周围飞行，并使得或控制喷涂单元根据预先加载的喷涂设计，以更高的精度进行喷涂。其后，所述无人机可根据所述结构的三维动态细节自动进行不同颜色的喷涂、涂料喷射速度的控制等。喷涂任务完成后，或电池电量耗尽后，或涂料耗尽后，所述无人机可返回基站。可以理解的是，所述无人机可根据预先加载的所述结构的三维数据灵巧地避开障碍物。此外，所述无人机可智能化地避开任何其所遇到的意外障碍物。此外，在一些实施方式中，所述无人机可通过输料(输电线路)与涂料罐(动力电池)连接，从而无需更换电池或涂料罐。需要注意的是，这种连接式输料和/或输电方式还可使无人机免于因电池电量下降而返回基站，从而节省电池和时间。
在一些实施方式中，所述无人机可与若干尺寸更小的次级无人机(如卫星机)相结合。这些次级无人机可使得无人机子系统200能够有效地处理所述三维结构的微小动态细节。如上所述，在一些实施方式中，所述次级无人机可由所述主无人机控制。例如，所述主无人机可根据实时要求和判断，出动所述次级无人机。在一些实施方式中，所述次级无人机或卫星机可通过输料和/或输电线路与所述主无人机连接，以获得电力和/或涂料的供应。需要注意的是，并非所有次级无人机均可与所述主无人机连接。也就是说，部分次级无人机可不通过输料和/或输电线路与所述主无人机物理连接，并可独立捕获或检查所述三维结构的极其微小的动态细节。此外，需要注意的是，所述次级无人机可同时工作，或彼此独立地工作、或相互协作，或以其他此类方式工作，以确保任务执行的高效性。
本领域技术人员可理解的是，多种方法可用于执行与三维结构相关的任务。例如，例示系统100及相应的无人机子系统200可通过本文所述方法执行与三维结构相关的任务。具体而言，本领域技术人员可理解的是，用于实施本文所述技术和步骤的控制逻辑和/或自动化程序可由系统100及相应无人机子系统200通过硬件、软件或软硬件的组合实现。例如，系统100或无人机子系统200内的一个或多个处理器可对合适的代码进行访问和执行，以实现本文所述的部分或所有技术。类似地，系统100或无人机子系统200内的所述一个或多个处理器内也可包含有用于实施本文所述的部分或所有方法的专用集成电路(ASIC)。
举例而言，现在参考图3，该图以流程图的形式示出了根据本发明一些实施方式通过系统100等的系统执行与三维结构相关的任务的例示控制逻辑300。如该流程图所示，控制逻辑300可包括在步骤301中接收所述三维结构的模拟三维视图。该模拟三维视图包括各层次不同程度的增强视图。控制逻辑300还可包括：在步骤302中，根据所述各层次的增强视图、与基本类似的任务相关的历史数据以及所述至少一架无人机的能力，设置一条或多条任务执行路径；在步骤303中，根据与基本类似的任务相关的历史数据，针对所述一条或多条路径及所述任务，进操纵性和操作学习；以及在步骤304中，由至少一架无人机根据所述学习实现对所述任务的执行。需要注意的是，在一些实施方式中，所述至少一架无人机可包括主无人机以及至少一架子无人机。此外，需要注意的是，“子无人机”、“次级无人机”及“卫星无人机”三词在本文中可互换使用。
在一些实施方式中，控制逻辑300还可包括如下步骤：接收所述三维结构在多个视角下的多幅图像；以及根据使用增强现实的所述多幅图像，对所述三维结构进行模拟，以生成所述各层次不同程度的增强视图。此外，在一些实施方式中，控制逻辑300可包括如下步骤：从所述多个角度，捕获所述三维结构的所述多幅图像。此外，在一些实施方式中，控制逻辑300可包括如下步骤：通过交互式界面，将所述各层次不同程度的增强视图显示给用户。需要注意的是，该显示可包括：根据用户输入，选择性地使得一个或多个对象显现或消失。此外，在一些实施方式中，控制逻辑300可包括如下步骤：在所述任务的执行过程中，使得所述无人机子系统与用户可通过情景对话的方式进行交互。
在一些实施方式中，所述任务可包括所述三维结构的检查和维护当中的至少一者。需要注意的是，所述维护可包括对所述三维结构的至少一个部分或部件进行喷涂、清洁、修理以及更换当中的至少一者。此外，在一些实施方式中，所述历史数据可包括源自以往对所述基本类似的任务的规划和执行当中至少一者的所设路径、操纵性命令、操作命令及情境信息当中的至少一者。此外，在一些实施方式中，所述至少一架无人机的能力可包括该至少一架无人机的可用电池电量，该至少一架无人机的可用性，该至少一架无人机对目标区域的可进入性，或者该至少一架无人机与所述目标区域的接近度。
在一些实施方式中，在步骤302中对所述一条或多条路径的设置可包括如下步骤：根据所述各层次的增强视图、与已执行或已设置的基本类似的任务相关的历史数据以及所述至少一架无人机的能力，对所述待执行任务的多条路径进行学习。此外，在一些实施方式中，步骤303中的操纵性和操作学习可包括如下步骤：通过基于与基本类似的任务相关的历史数据的强化学习，对与所述一条或多条路径相关的控制指令、操纵或操作当中的至少一个进行学习。此外，在一些实施方式中，步骤304中实现对所述任务的执行可包括如下步骤：根据与所述一条或多条路径相关的控制指令、动作及操作当中的至少一者，指示所述至少一架无人机执行所述任务；以及对与该至少一架无人机所执行的任务相关的情境信息和执行状况信息进行存储。
需要注意的是，在一些实施方式中，对所述至少一架无人机进行的指示可进一步基于所述至少一架无人机的能力。此外，需要注意的是，在一些实施方式中，可基于所述至少一架无人机的作用距离、该至少一架无人机的可用性、该至少一架无人机对目标区域的可进入性以及该至少一架无人机与所述目标区域的接近度当中的至少一者的加权和，推导出该至少一架无人机的能力。在一些实施方式中，控制逻辑300还可包括如下步骤：根据所存储的情境信息和执行状况信息，对学习进行动态更新；以及将更新后的学习动态应用于对所述任务的执行中。
现在参考图4，该图以流程图的形式更加详细地示出了根据本发明一些实施方式执行与三维结构相关的任务的例示控制逻辑400。如该流程图所示，在步骤401中，控制逻辑400可通过至少一架无人机从不同角度捕获所述三维结构的多幅图像。该至少一架无人机可包括主无人机和至少一架卫星机。在步骤402中，控制逻辑400在带交互式界面的增强现实系统内，根据用户输入对所述三维结构进行模拟，以显示各层次不同程度的增强视图。所述增强现实系统可根据用户抉择，选择性地使对象显现或消失。在步骤403中，控制逻辑400可根据与所模拟的三维结构相关的用户输入，自动设置一条或多条任务执行路径。控制逻辑400可根据已执行或已设置的类似任务的历史数据以及各无人机的工作效率，对待执行的所述任务的若干可能路径进行学习。随后，控制逻辑400可根据所述各可能路径及各无人机的可用性，设置所述一条或多条路径。
在步骤404中，控制逻辑400可训练所述主无人机对所设置的任务执行路径进行学习。该训练可包括通过基于所述无人机已学到的内容及情境信息的强化学习，获得与所述路径相关的控制指令、操纵性等。需要注意的是，所述训练可采用所述无人机子系统所执行的类似任务的历史数据。在步骤405中，控制逻辑400可根据上述训练，执行所述任务，并对与所述主无人机和各卫星无人机所执行的所述任务相关的多项情境信息和执行状况信息进行存储。可以理解的是，在以往任务或当前任务的已完成步骤中(即在当前任务的已完成子任务的执行过程中)保存的图像情境可用于根据可进入性、接近度、电池电量及无人机可用性的加权和，指示合适的卫星机采取用于执行当前任务或当前任务的后续步骤(即执行当前任务的后续子任务)的行动。在步骤406中，控制逻辑400可在所述任务的执行过程中，通过情景对话的方式，促进用户与所述无人机子系统之间的交互。也就是说，用户可通过对话向无人机传达指令。
还应理解的是，上述技术可采用如下形式：计算机或控制器实施的方法；以及用于实施这些方法的装置。本发明还可以以含有指令的计算机程序代码的形式实施，所述指令包含于软盘、CD-ROM、硬盘驱动器或其他任何计算机可读存储介质等的有形介质中，其中，当所述计算机程序代码载入计算机或控制器内并由该计算机或控制器执行时，该计算机即成为一种用于实施本发明的装置。本发明还可以以计算机程序代码或信号的形式实施，所述计算机程序代码或信号例如存储于存储介质中，或者载入计算机或控制器内并由该计算机或控制器执行，或者经电线或电缆、光纤或电磁辐射等的传输介质传输，其中，当所述计算机程序代码载入计算机内并由该计算机执行时，该计算机即成为一种用于实施本发明的装置。当在通用微处理器中实施时，所述计算机程序代码的代码段对所述微处理器进行配置，以创建出特定的逻辑电路。
以上公开的方法和系统可在个人计算机(PC)或服务器计算机等的常规或通用计算机系统内实施。现在参考图5，该图为用于实施本发明实施方式的例示计算机系统501的框图。计算机系统501的各种变形可用于实现执行与三维结构相关的任务的系统100。计算机系统501可包括中央处理单元(“CPU”或“处理器”)。处理器502可包括至少一个用于执行程序组件的数据处理器，所述程序组件用于执行用户或系统生成的请求。用户可包括个人、使用设备(例如，本发明范围内的设备)的个人或此类设备本身。所述处理器可包括集成系统(总线)控制器、内存管理控制单元、浮点单元、图形处理单元、数字信号处理单元等的专用处理单元。所述处理器可包括微处理器，例如AMD速龙(Athlon)、毒龙(Duron)或皓龙(Opteron)，ARM应用处理器，嵌入式或安全处理器，IBMPowerPC，Intel Core、安腾(Itanium)、至强(Xeon)、赛扬(Celeron)或其他系列处理器等。处理器502可通过主机、分布式处理器、多核、并行、网格或其他架构实现。一些实施方式可使用专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)等的嵌入式技术。
处理器502可设置为通过输入/输出(I/O)接口503与一个或多个I/O设备进行通信。I/O接口503可采用通信协议/方法，例如但不限于，音频、模拟、数字、单声道、RCA、立体声、IEEE-1394、近场通信(NFC)、FireWire、Camera
Figure BDA0001819547690000171
GigE、串行总线、通用串行总线(USB)、红外、PS/2、BNC、同轴、组件、复合、数字视觉接口(DVI)、高清晰度多媒体接口(HDMI)、射频天线、S-Video、数字图形阵列(VGA)、IEEE802.n/b/g/n/x、蓝牙、蜂窝(如码分多址(CDMA)、高速分组接入(HSPA+)、移动通信全球系统(GSM)、长期演进(LTE)、WiMax等)等。
通过使用I/O接口503，计算机系统501可与一个或多个I/O设备进行通信。举例而言，输入设备504可以为天线、键盘、鼠标、操纵杆、(红外)遥控、摄像头、读卡器、传真机、加密狗、生物计量阅读器、麦克风、触摸屏、触摸板、轨迹球、传感器(如加速度计、光传感器、GPS、高度计、陀螺仪、接近传感器等)、触控笔、扫描仪、存储设备、收发器、视频设备/视频源、头戴式显示器等。输出设备505可以为打印机、传真机、视频显示器(例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、等离子等)、音频扬声器等。在一些实施方式中，收发器506可与处理器502连接。所述收发器可促进各类无线传输或接收。例如，该收发器可包括以可操作方式连接至收发器芯片(如德州仪器(Texas Instruments)WiLinkWL1283、博通(Broadcom)BCM4750IUB8、英飞凌科技(Infineon Technologies)X-Gold 618-PMB9800等)以实现IEEE802.11a/b/g/n、蓝牙、FM、全球定位系统(GPS)、2G/3GHSDPA/HSUPA通信等的天线。
在一些实施方式中，处理器502可设置为通过网络接口507与通信网络508通信。网络接口507可与通信网络508通信。所述网络接口可采用连接协议，该连接协议包括但不限于直接连接、以太网(例如双绞线10/100/1000Base T)、传输控制协议/网际协议(TCP/IP)、令牌环、IEEE802.11a/b/g/n/x等。通信网络508可包括，但不限于，直接互连、局域网(LAN)、广域网(WAN)、无线网络(例如使用无线应用协议)、因特网等。通过网络接口507和通信网络508，计算机系统501可与设备509、510和511通信。这些设备可包括，但不限于，个人计算机，服务器，传真机，打印机，扫描仪，以及各种移动设备，例如蜂窝电话、智能电话(例如苹果(Apple)iPhone、黑莓(Blackberry)、基于安卓(Android)系统的电话等)、平板电脑、电子书阅读器(亚马逊(Amazon)Kindle，Nook等)、膝上型计算机、笔记本电脑、游戏机(微软(Microsoft)Xbox、任天堂(Nintendo)DS，索尼(Sony)PlayStation等)等。在一些实施方式中，计算机系统501可本身包含一个或多个上述设备。
在一些实施方式中，处理器502可设置为通过存储接口512与一个或多个存储设备(例如RAM 513、ROM 514等)进行通信。所述存储接口可采用串行高级技术连接(SATA)、集成驱动电子设备(IDE)、IEEE-1394、通用串行总线(USB)、光纤通道、小型计算机系统接口(SCSI)、STD总线、RS-232、RS-422、RS-485、I2C、SPI、Microwire、1-Wire、IEEE 1284、
Figure BDA0001819547690000191
QuickPathInterconnect、InfiniBand、PCIe等连接协议连接至存储设备，该存储设备包括，但不限于，存储驱动器、可移除磁盘驱动器等。所述存储驱动器还可包括磁鼓、磁盘驱动器、磁光驱动器、光盘驱动器、独立磁盘冗余阵列(RAID)、固态存储设备、固态驱动器等。
所述存储器515可存储一系列程序或数据库组件，包括但不限于，操作系统516、用户界面应用程序517、网页浏览器518、邮件服务器519、邮件客户端520、用户/应用程序数据521(如本发明中所述的任何数据变量或数据记录)等。操作系统516可促进计算机系统501的资源管理和运行。操作系统例如包括，但不限于，苹果Macintosh OS X、Unix、Unix类系统套件(例如伯克利软件套件(BSD)、FreeBSD、NetBSD、OpenBSD等)、Linux套件(如Red Hat、Ubuntu、Kubuntu等)、IBM OS/2、微软Windows(XP，Vista/7/8等)、苹果iOS、谷歌(Google)安卓、黑莓操作系统等。用户界面517可利用文本或图形工具促进程序组件的显示、执行、互动、操控或操作。例如，用户界面可在以可操作方式连接至计算机系统501的显示系统上提供光标、图标、复选框、菜单、滚动条、窗口、窗口部件等计算机交互界面元件。此外，还可采用图形用户界面(GUI)，包括但不限于，苹果Macintosh操作系统的Aqua、IBM OS/2、微软Windows(例如Aero、Metro等)、Unix X-Windows、网页界面库(例如ActiveX、Java、Javascript、AJAX、HTML、AdobeFlash等)等。
在一些实施方式中，计算机系统501可执行网页浏览器518存储的程序组件。所述网页浏览器可以为微软Internet Explorer、谷歌Chrome、谋智(Mozilla)火狐(Firefox)、苹果Safari等的超文本浏览应用程序。其中，可通过HTTPS(安全超文本传输协议)、安全套接字层(SSL)、安全传输层(TLS)等实现安全网页浏览。网页浏览器可使用AJAX、DHTML、Adobe Flash、JavaScript、Java、应用程序编程接口(API)等工具。在一些实施方式中，计算机系统501可执行邮件服务器519存储的程序组件。该邮件服务器可以为微软Exchange等因特网邮件服务器。所述邮件服务器可使用ASP、ActiveX、ANSI C++/C#、微软.NET、CGI脚本、Java、JavaScript、PERL、PHP、Python、WebObjects等工具。所述邮件服务器还可使用因特网信息访问协议(IMAP)，邮件应用程序编程接口(MAPI)，微软Exchange，邮局协议(POP)，简单邮件传输协议(SMTP)等通信协议。在一些实施方式中，计算机系统501可执行邮件客户端520存储的程序组件。所述邮件客户端可为苹果Mail、微软Entourage、微软Outlook、谋智Thunderbird等邮件查看程序。
在一些实施方式中，计算机系统501可存储用户/应用程序数据521，如本发明中所述数据、变量、记录等(如所捕获的三维结构图像、所模拟的三维结构的三维视图、设置或学习而获得的一条或多条路径、操纵性命令、操作命令、情境信息、执行状况信息、与以往任务相关的历史数据、每架无人机的信息、情景对话等)。此类数据库可实施为甲骨文(Oracle)或赛贝斯(Sybase)等容错、关系、可扩展、安全数据库。或者，上述数据库可通过数组、散列、链表、结构、结构化文本文件(例如XML)、表格等标准化数据结构实现，或者实施为面向对象的数据库(例如通过ObjectStore、Poet、Zope等)。此类数据库可以为合并或分布数据库，有时分布于本发明所讨论的上述各种计算机系统之间。可以理解的是，上述任何计算机或数据库组件的结构及操作可以以任何可行的组合形式进行组合、合并或分布。
本领域技术人员可理解的是，以上各种实施方式中描述的技术可实现智能化的无人机子系统，该子系统可对复杂的三维结构(如建筑物，机械等)进行了解，并针对此类三维结构，以更高的精度进行各种任务的规划和执行。所述任务可包括但不限于各部分的检查、维护、操作、修理及更换。具体而言，上述技术可利用深度学习和图像处理技术对包括部件喷涂、机械维护等在内的各种任务进行控制和执行。此外，上述技术还可针对待执行的各种任务，实现无人机的自动规划和训练。其中，所述基站可对主无人机进行训练和控制，而该主无人机又进而可对其卫星机进行训练和控制。卫星机从主无人机学习操纵性，并在主无人机的控制下可进入偏远角落，无需用户干预。
此外，以上各种实施方式中描述的技术还可实现基于以往所执行任务的情境学习。因此，该技术可将以往的偏好或谬误考虑在内。此外，该技术还允许与用户进行实施对话，从而实现用户反馈的即时执行。此外，通过在所述交互式界面上的运用有增强现实的所述三维结构(带各层次的增强视图)，可针对待采取的相同行动，为用户提供单一视图。
本说明书已描述了执行与三维结构相关的任务的系统和方法。所述步骤用于说明所示例示实施方式，并且应当预想到的是，随着技术的不断发展，特定功能的执行方式也将发生改变。本文所呈现的上述实施例用于说明而非限制目的。此外，为了描述的方便性，本文各组成功能段落的划界较为随意，只要能够恰当地实现上述各功能及其关系，所述各功能段落可以其他方式划界。根据本申请内容，对于相关领域技术人员而言，替代方案(包括本申请所述方案的等同方案、扩展方案、变形方案、偏差方案等)是显而易见的。这些替代方案均属于所公开实施方式的范围和精神内。
此外，一个或多个计算机可读存储介质可用于实施本发明的实施方式。计算机可读存储介质是指可对处理器可读取的信息或数据进行存储的任何类型的物理存储器。因此，计算机可读存储介质可对由一个或多个处理器执行的指令进行存储，包括用于使处理器执行根据本申请实施方式的步骤或阶段的指令。“计算机可读介质”一词应理解为包括有形物件且不包括载波及瞬态信号，即为非暂时性介质，例如包括随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、CD-ROM、DVD、闪存驱动器、磁盘以及其他任何已知物理存储介质。
以上公开内容及各实施例旨在仅视为示例性内容及实施例，所公开实施方式的真正范围和精神如权利要求所示。

Claims (19)

1.一种用于执行与三维结构相关的任务的方法，其特征在于，所述方法包括：
由包括多架无人机的无人机子系统，捕获所述三维结构在多个视角下的多幅图像，
由所述无人机子系统，根据所述多幅图像对所述三维结构进行模拟，以生成各层次不同程度的增强视图；
由所述无人机子系统，根据所述各层次的增强视图、与基本类似任务相关的历史数据以及所述多架无人机的能力，设置多条路径以用于执行所述任务；
由所述无人机子系统，根据与基本类似任务相关的所述历史数据，针对所述多条路径以及所述任务，进行操纵性及操作学习；以及
由所述无人机子系统，通过所述多架无人机根据所述操纵性及操作学习实现对所述任务的执行，
其中，所述任务至少包括所述三维结构的维护，所述维护包括对所述三维结构的至少一部分或部件进行喷涂、清洁、修理以及更换当中的至少一者。
2.如权利要求1所述的方法，其特征在于，所述多架无人机包括主无人机和至少一架子无人机。
3.如权利要求1所述的方法，其特征在于，还包括：
通过交互式界面，将所述各层次不同程度的增强视图显示给用户，其中，所述显示包括根据所述用户的输入，选择性地令一个或多个对象显现或消失。
4.如权利要求1所述的方法，其特征在于，所述历史数据包括来自以往对所述基本类似任务进行规划和执行当中的至少一者的路径设置、操控性命令、操作命令及情境信息当中的至少一者。
5.如权利要求1所述的方法，其特征在于，所述多架无人机的所述能力包括所述多架无人机的可用电池电量、所述多架无人机的可用性、所述多架无人机对目标区域的可进入性以及所述多架无人机与所述目标区域的接近度当中的至少一者。
6.如权利要求1所述的方法，其特征在于，设置所述多条路径包括：根据所述各层次的增强视图、与已执行或已设置的基本类似任务相关的历史数据以及所述多架无人机的所述能力，对待执行的所述任务的多条路径进行学习。
7.如权利要求1所述的方法，其特征在于，所述操纵性及操作学习包括：通过基于与基本类似任务相关的历史数据的强化学习，以对与所述多条路径相关的控制指令、操纵性以及操作当中的至少一者进行学习。
8.如权利要求7所述的方法，其特征在于，实现对所述任务的执行包括：
指示所述多架无人机根据与所述多条路径相关的所述控制指令、所述操纵性以及所述操作当中的至少一者执行所述任务；以及
存储与所述多架无人机所执行的所述任务相关的情境信息和执行状况信息。
9.如权利要求8所述的方法，其特征在于，对所述多架无人机的指示进一步基于所述多架无人机的所述能力，其中，根据所述多架无人机的可用电池电量、所述多架无人机的可用性、所述多架无人机对目标区域的可进入性及所述多架无人机与所述目标区域的接近度当中的至少一者，推导出所述能力。
10.如权利要求8所述的方法，其特征在于，还包括：
根据所存储的情境信息和执行状况信息，对所述操纵性及操作学习进行动态更新；以及
将更新后的学习动态地应用于所述任务的执行中。
11.如权利要求1所述的方法，其特征在于，还包括：
在所述任务的执行过程中，通过情景对话的方式使得所述无人机子系统与用户之间可以进行交互。
12.一种用于执行与三维结构相关的任务的系统，所述系统包括：
包含有多架无人机的无人机子系统，处理器以及存有指令的存储器，其特征在于，所述指令在由所述处理器执行时，使得所述处理器：
接收由所述多架无人机捕获的所述三维结构在多个视角下的多幅图像，
根据所述多幅图像对所述三维结构进行模拟，以生成层次不同程度的增强视图；
根据所述各层次的增强视图、与基本类似任务相关的历史数据以及所述多架无人机的能力，设置多条路径以用于执行任务；
根据与基本类似任务相关的所述历史数据，针对所述多条路径及所述任务，进行操纵性及操作学习；以及
由所述多架无人机根据所述操纵性及操作学习实现对所述任务的执行，
其中，所述任务至少包括所述三维结构的维护，所述维护包括对所述三维结构的至少一部分或部件进行喷涂、清洁、修理以及更换当中的至少一者。
13.如权利要求12所述的系统，其特征在于，设置所述多条路径包括：根据所述各层次的增强视图、与已执行或已设置的基本类似任务相关的历史数据以及所述多架无人机的所述能力，对待执行的所述任务的多条路径进行学习。
14.如权利要求12所述的系统，其特征在于，进行所述操纵性及操作学习包括：通过基于与基本类似任务相关的历史数据的强化学习，以对与所述多条路径相关的控制指令、操纵性及操作当中的至少一者进行学习。
15.如权利要求14所述的系统，其特征在于，实现对所述任务的执行包括：
指示所述多架无人机根据与所述多条路径相关的所述控制指令、所述操纵性及所述操作当中的至少一者执行所述任务；以及
存储与所述多架无人机所执行的所述任务相关的情境信息和执行状况信息。
16.如权利要求15所述的系统，其特征在于，对所述多架无人机的指示进一步基于所述多架无人机的能力，其中，根据所述多架无人机的可用电池电量、所述多架无人机的可用性、所述多架无人机对目标区域的可进入性及所述多架无人机与所述目标区域的接近度当中的至少一者，推导出所述能力。
17.如权利要求15所述的系统，其特征在于，指令在由所述处理器执行时，还使得所述处理器：
根据所存储的情境信息和执行状况信息，对所述操纵性及操作学习进行动态更新；以及
将更新后的学习动态地应用于所述任务的执行中。
18.如权利要求12所述的系统，其特征在于，所述指令在由所述处理器执行时，还使得所述处理器：
在所述任务的执行过程中，通过情景对话的方式使得所述无人机子系统与用户之间进行交互。
19.一种存有计算机可执行指令的非暂时性计算机可读介质，其特征在于，所述计算机可执行指令用于：
接收由多架无人机捕获的三维结构在多个视角下的多幅图像，
根据所述多幅图像对所述三维结构进行模拟，以生成层次不同程度的增强视图；
根据所述各层次的增强视图、与基本类似任务相关的历史数据以及所述多架无人机的能力，设置多条路径以用于执行任务；
根据与基本类似任务相关的历史数据，针对所述多条路径及所述任务，进行操纵性及操作学习；以及
由所述多架无人机根据所述操纵性及操作学习实现对所述任务的执行，
其中，所述任务至少包括所述三维结构的维护，所述维护包括对所述三维结构的至少一部分或部件进行喷涂、清洁、修理以及更换当中的至少一者。
CN201811158813.8A 2018-02-12 2018-09-30 利用无人机执行三维结构检查及维护任务的方法和系统 Active CN110162083B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201841005274 2018-02-12
IN201841005274 2018-02-12

Publications (2)

Publication Number Publication Date
CN110162083A CN110162083A (zh) 2019-08-23
CN110162083B true CN110162083B (zh) 2022-06-28

Family

ID=67540749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811158813.8A Active CN110162083B (zh) 2018-02-12 2018-09-30 利用无人机执行三维结构检查及维护任务的方法和系统

Country Status (2)

Country Link
US (1) US10689110B2 (zh)
CN (1) CN110162083B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201808075D0 (en) * 2017-09-13 2018-07-04 Flirtey Holdings Inc Unmanned aerial vehicle and payload delivery system
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
US11435656B1 (en) * 2018-02-27 2022-09-06 Snap Inc. System and method for image projection mapping
CN111194433A (zh) * 2018-04-04 2020-05-22 深圳市大疆创新科技有限公司 用于构图和捕捉图像的方法和系统
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
US20200110560A1 (en) * 2018-10-09 2020-04-09 Nicholas T. Hariton Systems and methods for interfacing with a non-human entity based on user interaction with an augmented reality environment
US11106224B2 (en) * 2019-01-09 2021-08-31 Ford Global Technologies, Llc Multi-drone automotive systems and methods of use
US11857987B1 (en) * 2019-03-25 2024-01-02 RobotArmy, Inc. Systems and method for painting using drones
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
CN110673644A (zh) * 2019-11-05 2020-01-10 深圳市道通智能航空技术有限公司 无人飞行器的控制方法、无人飞行器及遥控装置
WO2021247961A1 (en) * 2020-06-05 2021-12-09 Ppg Industries Ohio, Inc. System for asset management and coating maintenance
CN111984032B (zh) * 2020-07-24 2024-02-23 武汉智会创新科技有限公司 无人机路径规划方法、装置、电子设备及存储介质
WO2022060266A1 (en) * 2020-09-18 2022-03-24 Telefonaktiebolaget Lm Ericsson (Publ) Network node and method for handling inspection of structure
CN112270488B (zh) * 2020-11-09 2023-12-12 中国电子技术标准化研究院 无人机集群任务分配方法、装置及无人机集群系统
ES2958408A1 (es) * 2022-07-05 2024-02-08 Arborea Intellbird S L Metodo para la realizacion de tareas en un objeto y sistema de vehiculos no tripulados
CN115001566A (zh) * 2022-07-07 2022-09-02 浙江天翼通智能科技有限公司 一种无人机集群协同处理方法
CN116050813B (zh) * 2023-03-31 2023-06-06 深圳市城市公共安全技术研究院有限公司 光伏运维系统的控制方法、设备及可读存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100905465B1 (ko) * 2007-10-12 2009-07-02 한국과학기술원 가변적인 프레임 구조를 갖는 건물의 외부관리 무인화 장치
US8060270B2 (en) * 2008-02-29 2011-11-15 The Boeing Company System and method for inspection of structures and objects by swarm of remote unmanned vehicles
US8209152B2 (en) * 2008-10-31 2012-06-26 Eagleview Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
WO2013121344A2 (en) * 2012-02-17 2013-08-22 Balaji Venkatraman Real time railway disaster vulnerability assessment and rescue guidance system using multi-layered video computational analytics
US10068547B2 (en) 2012-06-29 2018-09-04 Disney Enterprises, Inc. Augmented reality surface painting
CN103196430B (zh) * 2013-04-27 2015-12-09 清华大学 基于无人机的飞行轨迹与视觉信息的映射导航方法及系统
CN203620847U (zh) * 2013-08-29 2014-06-04 程涛 基于旋翼飞行器的高空喷涂系统
US10399676B2 (en) 2014-03-31 2019-09-03 Working Drones, Inc. Indoor and outdoor aerial vehicles for painting and related applications
US20170210470A1 (en) 2014-04-03 2017-07-27 Ricard Pardell Agcfds: automated glass cleaning flying drone system
CN104224062B (zh) * 2014-09-03 2017-09-15 深圳市大疆创新科技有限公司 Uav及其清洁墙体的方法、采用该uav的墙体清洁系统
JP6181300B2 (ja) * 2014-09-05 2017-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機の速度を制御するシステム
FR3026508B1 (fr) * 2014-09-26 2017-11-03 Thales Sa Aide contextuelle a la gestion du vol
CN104856618A (zh) * 2015-06-10 2015-08-26 南宁市宝营科技有限公司 飞行式高空作业多用途机
US10475234B2 (en) * 2015-07-15 2019-11-12 George Mason University Multi-stage method of generating 3D civil site surveys
US20170121019A1 (en) 2015-10-29 2017-05-04 Industrial Bank Of Korea Drone-type smart carwash robot
US10343387B2 (en) 2016-01-06 2019-07-09 International Business Machines Corporation Multi-drone based three-dimensional printing
CN105628004A (zh) * 2016-01-16 2016-06-01 深圳先进技术研究院 一种基于无障碍导航飞艇的三维地图自动测绘系统
KR20170101649A (ko) * 2016-02-29 2017-09-06 국민대학교산학협력단 고소 페인팅 작업을 수행하는 드론 장치 및 그의 제어 방법
US10312994B2 (en) * 2016-06-10 2019-06-04 ETAK Systems, LLC Drone network switchover between wireless networks
US10189566B2 (en) * 2016-06-10 2019-01-29 ETAK Systems, LLC 3D coverage mapping of wireless networks with unmanned aerial vehicles
CN206044519U (zh) * 2016-06-27 2017-03-29 广东创新科技职业学院 喷洗无人机
US20180018887A1 (en) * 2016-07-18 2018-01-18 Honeywell International Inc. Routing aircraft ground movements at an airport
CN106501829A (zh) * 2016-09-26 2017-03-15 北京百度网讯科技有限公司 一种无人机导航方法和装置
CN107223199A (zh) * 2016-11-15 2017-09-29 深圳市大疆创新科技有限公司 基于三维地图的导航方法和设备
CN106767706B (zh) * 2016-12-09 2019-05-14 中山大学 一种无人机勘查交通事故现场的航拍图像采集方法及系统
US10388025B2 (en) * 2017-05-25 2019-08-20 OnsiteIQ Inc. Interactive image based 3D panogragh
CN107198498A (zh) * 2017-06-17 2017-09-26 广东容祺智能科技有限公司 一种基于无人机的外墙清洗装置
CN107503502A (zh) * 2017-09-13 2017-12-22 宿松县佳宜装饰有限公司 一种高空喷涂无人机及其操作方法
CN107450587B (zh) * 2017-09-19 2023-03-21 广东电网有限责任公司佛山供电局 一种无人机精细化巡检的智能飞行控制方法及系统

Also Published As

Publication number Publication date
US10689110B2 (en) 2020-06-23
US20190248485A1 (en) 2019-08-15
CN110162083A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110162083B (zh) 利用无人机执行三维结构检查及维护任务的方法和系统
US10023311B2 (en) Automatic painting system with drone, user interface and computer vision
CN108521788B (zh) 生成模拟航线的方法、模拟飞行的方法、设备及存储介质
CN110765620B (zh) 飞行器视景仿真方法、系统、服务器及存储介质
US20210287015A1 (en) Method and apparatus for vehicle re-identification, training method and electronic device
US11676257B2 (en) Method and device for detecting defect of meal box, server, and storage medium
US20190088025A1 (en) System and method for authoring and viewing augmented reality content with a drone
US11713970B2 (en) Positioning method, electronic device and computer readable storage medium
WO2019080113A1 (zh) 无人机的巡检规划方法、控制终端、无人机及无人机系统
CN104731441A (zh) 信息处理的方法、以及电子设备
CN112925348A (zh) 无人机控制方法、无人机控制装置、电子设备及介质
CN113537374B (zh) 一种对抗样本生成方法
CN110796738B (zh) 巡检设备状态跟踪的三维可视化方法及装置
US11119900B2 (en) Modular testing kit and testing framework for testing a human machine interface (HMI) application
EP4141786A1 (en) Defect detection method and apparatus, model training method and apparatus, and electronic device
CN111578951B (zh) 一种自动驾驶中用于生成信息的方法和装置
CN113158116A (zh) 基于移动互联网的无人机控制平台
CN105787920A (zh) 球幕标定方法、标定系统及控制设备
KR20210086583A (ko) 무인 주행 차량의 제어 방법, 장치 및 전자 기기
CN112559884A (zh) 全景图与兴趣点挂接的方法、装置、电子设备及存储介质
US11127309B2 (en) Flight management system operator
CN115866229B (zh) 多视角图像的视角转换方法、装置、设备和介质
CN113516013B (zh) 目标检测方法、装置、电子设备、路侧设备和云控平台
CN114518765A (zh) 基于gis的巡检飞行器航线实时反馈修正系统
US10733676B2 (en) Automatic generation of expense data using facial recognition in digitally captured photographic images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant