CN108885470A - 一种任务执行方法、移动装置、系统及存储介质 - Google Patents
一种任务执行方法、移动装置、系统及存储介质 Download PDFInfo
- Publication number
- CN108885470A CN108885470A CN201780012793.0A CN201780012793A CN108885470A CN 108885470 A CN108885470 A CN 108885470A CN 201780012793 A CN201780012793 A CN 201780012793A CN 108885470 A CN108885470 A CN 108885470A
- Authority
- CN
- China
- Prior art keywords
- task
- breakpoints
- mobile device
- target position
- task breakpoints
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 17
- 230000007812 deficiency Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000005183 dynamical system Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000575 pesticide Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
Abstract
本发明实施例提供了一种任务执行方法、移动装置、系统及存储介质,其中,方法包括:获取任务断点的位置信息,所述任务断点的位置信息包括:所述任务断点的环境图像信息;根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,所述目标位置与所述任务断点的距离小于预置距离;基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点。本发明实施例提供了移动装置在空间的准确位置,通过定位信息和预设算法准确定位任务断点,并与当前的三维环境地图衔接,实现高精度断点连接,实现通过离线断点执行目标任务,快速地实现了目标任务以及基于任务断点找回技术实现多机协同。
Description
技术领域
本发明涉及控制技术领域,尤其涉及一种任务执行方法、移动装置、系统及存储介质。
背景技术
随着计算机技术的发展,类似无人机、无人汽车、能够自主移动的机器人等移动装置的应用越来越广泛。其中,以无人机为例,无人机可用于对地形地貌的快速预览、灾后应急评估、地理测绘辅助、城市规划等,也可应用于农业植保,例如农药喷洒,还可应用于影视拍摄,例如影视素材拼接以及其他大规模行业应用领域。
然而,无人机在上述应用过程中可能会由于无人机电量不足、信号丢失、环境突变等因素导致无人机不得不中断当前的任务,目前在任务中断后,通常是通过手动控制使得该无人机飞往相应的任务中断位置处以执行未完成的任务或者相应的其他任务。
但是,通过手动控制的方式对用户的要求较高,对于操作不熟练的用户来讲,会花费较多时间将飞行器等移动装置移动到任务断点处,耗时耗力,并且还会额外消耗飞行器等移动装置的电量,任务执行效率低下。
发明内容
本发明实施例提供了一种任务执行方法、移动装置、系统及存储介质,可自动控制飞行器等移动装置移动至任务断点处。
第一方面,本发明实施例提供了一种任务执行方法,应用于能够自主移动的移动装置中,所述移动装置挂载有拍摄装置,所述方法包括:
获取任务断点的位置信息,所述任务断点的位置信息包括:所述任务断点的环境图像信息;
根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,所述目标位置与所述任务断点的距离小于预置距离;
基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点。
第二方面,本发明实施例提供了另一种任务执行方法,应用于任务执行系统,所述任务执行系统包括能够自主移动的移动装置中,所述移动装置挂载有拍摄装置,所述方法包括:
所述第一移动装置在执行第一任务过程中设置任务断点的位置信息,所述任务断点的位置信息包括:所述任务断点的环境图像信息;
所述第二移动装置获取所述任务断点的位置信息;
所述第二移动装置根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与衔接位置点的位置关系;其中,所述衔接位置点是根据所述任务断点的环境图像信息所确定的;
所述第二移动装置基于所述位置关系从所述目标位置移动至所述衔接位置点,并基于所述衔接位置点执行第二任务。
第三方面,本发明实施例提供了一种移动装置,所述移动装置挂载有拍摄装置,所述装置包括存储器和处理器;
所述存储器,用于存储程序指令;
所述处理器,执行所述存储器存储的程序指令,当程序指令被执行时,所述处理器用于执行如下步骤:
获取任务断点的位置信息,所述任务断点的位置信息包括:所述任务断点的环境图像信息;
根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,所述目标位置与所述任务断点的距离小于预置距离;
基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点。
第四方面,本发明实施例提供了一种任务执行系统,该系统包括:能够自主移动的第一移动装置和第二移动装置以及分别与所述第一移动装置和所述第二移动装置通信的地面站,所述第一移动装置和第二移动装置均挂载有拍摄装置;
所述第一移动装置,用于在执行第一任务过程中设置任务断点的位置信息,并将所述任务断点的位置信息发送给所述地面站,所述任务断点的位置信息包括:所述任务断点的环境图像信息;
所述地面站,用于将所述任务断点的位置信息发送给所述第二移动装置;
所述第二移动装置,用于获取所述地面站发送的所述任务断点的位置信息;根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与衔接位置点的位置关系;其中,所述衔接位置点是根据所述任务断点的环境图像信息所确定的;基于所述位置关系从所述目标位置移动至所述衔接位置点,并基于所述衔接位置点执行第二任务。
第五方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面或第二方面所述的任务执行方法。
本发明实施例,移动装置通过获取任务断点的位置信息,根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,并基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点,实现了快速对任务断点进行定位的有效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种任务断点找回的场景示意图;
图2是本发明实施例提供的一种断点续飞的方法流程示意图;
图3是本发明实施例提供的一种多机协同执行任务的场景示意图;
图4是本发明实施例提供的另一种多机协同执行任务的场景示意图;
图5是本发明实施例提供的又一种多机协同执行任务的场景示意图;
图6是本发明实施例提供的一种任务执行方法的流程示意图;
图7是本发明实施例提供的另一种任务执行方法的流程示意图;
图8是本发明实施例提供的一种任务执行方法的交互示意图;
图9是本发明实施例提供的一种移动装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
本发明实施例中,移动装置可以是无人飞行器(下文中简称为无人机)、无人汽车、机器人等等可以实现自主移动的装置。通过移动装置能够执行的任务包括:大规模实时地图重建的任务、农业植保的任务、影视拍摄、沿一定轨迹自主飞行等等的任务。下面以无人机为例对本发明实施例中的基于任务断点执行相关任务的方法进行说明,需要说明的是,以下描述的任务执行方法同样可以应用到其他移动装置中。本发明实施例中,所述任务断点是移动装置在执行当前任务过程中,所述当前任务被中断时所对应的位置点。
本发明的一些实施例中,可以通过定位传感器来获取任务断点的位置信息,根据该任务断点的位置信息来找到任务断点所对应的位置,并从所述任务断点开始执行目标任务。其中,所述目标任务是任务断点后的任务,上述当前任务是指该任务断点前的任务。在一个实施例中,还可以通过将在任务断点拍摄得到的环境图像与在当前位置拍摄得到的环境图像进行匹配,根据匹配度来找到任务断点所对应的位置。下面对应用于无人机的任务执行方法进行说明。
本发明一些实施例中,无人机在执行当前任务的过程中,该无人机可以获取到挂载在该无人机上的拍摄装置以一定的时间间隔或以一定的距离间隔拍摄得到的环境图像,并根据获取到的该环境图像采用即时定位与地图构建(Simultaneous Localization AndMapping,SLAM)算法建立三维环境地图。
在一个实施例中,挂载在所述无人机上的拍摄装置可以为设置在无人机上的单目相机、双目相机、通过云台挂载在无人机的相机中的至少一种;
在一些实施例中,无人机的拍摄装置所拍摄的环境图像的图像信息中还包括了拍摄该环境图像时无人机的姿态信息和/或位置信息,所述姿态信息例如可以包括角速度、俯仰角(pitch)、航向角(yaw)、横滚角(roll)、速度、加速度、地磁偏角中的任意一种或多种,所述位置信息例如可以是GPS、地磁夹角。
在一些实施例中,无人机在根据SLAM算法构建三维环境地图时所采用的环境图像称为关键帧,该关键帧可以是无人机的拍摄装置拍摄到的所有环境图像,也可以是从该拍摄到的所有环境图像中挑选出的部分环境图像。其中挑选关键帧的算法为现有技术,在此不做赘述。一般来说,相连两帧关键帧之间的时间间隔很短,且两帧关键帧中的图像内容重叠率大于阈值。
在一个实施例中,该无人机在执行任务的过程中如果产生任务断点,该无人机可以触发所述任务断点的设置。所述无人机在触发产生所述任务断点时,可以触发挂载在所述无人机上的拍摄装置拍摄图像,所述图像是所述拍摄装置拍摄得到的所述任务断点的环境图像。其中,所述任务断点可以包括:主动断点、算法断点或被动断点。其中,所述主动断点是人为触发的任务断点,例如:人为结束或暂停当前任务;所述算法断点可以是指由于环境短时突变,导致该拍摄装置拍摄到的环境图像不清晰,以至于该无人机无法根据该环境图像建立三维环境地图,而触发的任务断点,例如光线突变剧烈、阵飞等导致无人机无法根据拍摄装置拍摄得到的环境图像建立三维环境地图,从而中断当前任务;该被动断点可以是指由于无人机自身原因导致的任务断点,例如:控制信号丢失、能源不足、GPS信号丢失、无人机故障等。
在一些实施例中,无人机触发了任务断点的设置后,还可以获取到任务断点信息,所述任务断点信息可以包括所述任务断点前最近拍摄的至少一帧关键帧的图像信息、无人机在飞行执行所述任务断点前的任务过程中记录的包括航点和航线的航迹信息以及任务完成度中的至少一种。
在一些实施例中,任务断点信息还包括任务断点的定位信息。一些实施例中,关键帧的图像信息还包括拍摄该关键帧时无人机的定位信息,那么在任务断点前最后一次拍摄的关键帧的定位信息为任务断点的定位信息。一些实施例中,无人机触发任务断点的设置时,还获取同一时刻的定位信息,该定位信息为任务断点的定位信息。
一些实施例中,任务断点的定位信息为任务断点的绝对位置信息(例如GPS信息)。一些实施例中,任务断点的定位信息为任务断点的相对位置信息。具体来说,无人机从A点起飞后开始利用SLAM算法构建三维环境地图时,无人机的定位信息包括无人机的当前位置在该构建的三维环境地图中的一个相对位置,例如包括无人机的当前位置相对于起点A点的相对位置。
在任务断点产生后,无人机需要飞行到该任务断点处时,可以通过任务断点的定位信息飞行到该定位信息指示的位置处。若需要飞行到任务断点的无人机确定该无人机的当前位置与起点A点的相对位置,或者需要飞行到任务断点的无人机当前处于该三维环境地图对应的环境内,那么该无人机可以仅仅利用任务断点的相对位置信息飞行到任务断点的定位信息指示的位置处。若任务断点的定位信息为任务断点的绝对位置信息,那么不论无人机当前所处位置在哪,该无人机都可以利用无人机的定位信息飞行到该定位信息指示的位置处。
以图1为例进行说明,图1是本发明实施例提供的一种任务断点找回的场景示意图,如图1所示,第一无人机在从任务起点11开始沿当前的飞行航线执行当前任务,如果该第一无人机在执行当前任务过程中被中断,产生了任务断点12。则无人机可以根据获取到的该任务断点12的定位信息,规划一条到该任务断点的定位信息所对应的位置(即目标位置13)航线,第二无人机按所规划的航线飞行至所述目标位置13,其中,该第二无人机和第一无人机可以为同一无人机,也可以为不同无人机。理论上,该目标位置和任务断点为同一位置,但由于定位传感器存在误差导致目标位置和任务断点之间相隔一定距离,该目标位置13与该任务断点12的距离在预置距离内,该预置距离取决于定位传感器的误差大小。
进一步地,该无人机可以在该目标位置13通过拍摄装置拍摄得到环境图像信息,并可以将在该目标位置13拍摄得到的环境图像信息发送给该无人机。该无人机可以从获取到的任务断点信息中获取到特定图像信息,该特定图像信息对应的特定图像可以是在该任务断点12产生时挂载在无人机上的拍摄装置拍摄得到的环境图像,或者是在该任务断点12产生之前,挂载在无人机上的拍摄装置在与所述任务断点12距离最近的拍摄地点拍摄得到的环境图像。如果在所述目标位置13获取到的环境图像与所述特定图像的匹配度大于所述预置数值,其中,该预置数值例如可以为95%,所述预置数值可根据需要为其他预设数值,该无人机可以基于在该目标位置13获取到的环境图像信息和该特定图像信息,确定所述目标位置13与该任务断点12的位置关系,其中,该位置关系例如可以是该任务断点12所对应的位置在所述目标位置13的左上方。
进一步地,该无人机可以基于该位置关系从目标位置13移动至该任务断点12所对应的位置。该无人机可以在基于所述位置关系向所述任务断点12移动的过程中,继续拍摄环境图像,将所拍摄到的环境图像与所述任务断点12处的环境图像进行比较,如果匹配度大于预置数值,则确认所述无人机到达了所述任务断点12,否则该无人机将继续基于所述位置关系向所述任务断点12处移动。
在所述无人机移动到该任务断点12所对应的位置后,可以获取关于所述任务断点12的任务信息,其中,所述任务信息包括在所述任务断点前的航迹信息和/或在所述任务断点前的任务完成度。该无人机可以基于所述任务信息规划目标任务,其中,所述目标任务包括任务指示信息,所述任务指示信息包括目标移动路线15、拍摄地点、拍摄时间等信息。该无人机可以按照所规划的目标任务中的目标移动路线15从该任务断点12开始移动,以执行所述目标任务。
在一个实施例中,该无人机在确定该目标位置13与该任务断点12的位置关系的过程中,如果检测到在所述目标位置13获取到的环境图像与在所述任务断点12处获取到的特定图像的匹配度低于预置数值,则该无人机可以获取在该任务断点12产生之前挂载在该移动装置上的拍摄装置拍摄得到的n(n>1)个参考图像,该参考图像可以包含在上述提到的关键帧中。其中,所述各个参考图像是指已记录的与该目标位置13的距离在预置距离内的且在该任务断点12附近的环境图像。
在一个实施例中,该无人机可以根据各个参考图像对应的在拍摄时的位置与该目标位置13的距离关系,对各个参考图像进行排序。该无人机可以通过将该目标位置13的环境图像依次与排序后的各个参考图像进行匹配,直到找到与所述环境图像之间的匹配度大于预置数值的参考图像,从而利用该匹配度大于预置数值的参考图像和该目标位置的环境图像,计算出该匹配度大于预置数值的参考图像所对应的位置和该目标位置的位置关系。进一步再根据该匹配度大于预置数值的参考图像和该任务断点12的特定图像,计算出该匹配度大于预置数值的参考图像所对应的位置和该任务断点的位置关系,从而计算出该目标位置和该任务断点的位置关系。
进一步地,在将该目标位置13的环境图像依次与排序后的各个参考图像进行匹配的过程中,该无人机如果检测到在该目标位置13获取到的环境图像与排序后的某一参考图像的匹配度大于预置数值,则可以确定该参考图像(如关键帧14)为目标参考图像,并根据该目标位置13与该目标参考图像所对应位置的位置关系、以及该目标参考图像所对应位置与该任务断点12的位置关系,计算出该目标位置13与该任务断点12的位置关系。在确定该位置关系后,该无人机可以基于该位置关系从目标位置13移动至该任务断点12。
在一个实施例中,该无人机从任务断点开始执行所述目标任务的过程包括:在线断点续飞和离线断点续飞,其中,所述在线断点续飞是指该任务断点的设置和确定该目标位置与该任务断点的位置关系的步骤位于同一次飞行中。一次飞行指的是,以无人机的起飞作为该次飞行的起点,以该起飞之后的第一次降落并停止飞行作为该次飞行的终点。比如在无人机一次执行任务的过程中,由于天气原因使得拍摄装置在某一个位置点(任务断点)拍摄的图像不清晰,则需要该无人机沿当前的航线返回该任务断点,重新执行所述任务拍摄图像,无人机不会降落后重新起飞并飞行到该不清晰的图像的任务断点,这就被认为是在线断点续飞。所述离线断点续飞是指该任务断点的设置和确定该目标位置与该任务断点的位置关系的步骤分别位于不同次飞行中。比如在无人机某一次执行任务时突遇气候变化紧急停止了任务,停止任务时的位置点为任务断点,在一段时间后例如第二天需要继续从任务断点处实施未完成的该任务则被认为是离线断点续飞。
进一步地,该无人机在执行在线断点续飞的过程中,首先需要对该无人机进行初始化,加载配置文件,例如对所述SLAM算法等进行初始化处理。所述SLAM算法可以根据该无人机在执行任务过程中返回的环境图像进行位置估计,获得该无人机在空间中的位置信息,同时基于该位置信息建立三维环境地图,并在该无人机停止执行任务后(即任务完成或用户中断任务)保存完整的三维环境地图。该无人机在寻找该任务断点的过程中,可以根据该任务断点的不同类型以不同的方式找到所需的任务断点。
在一个实施例中,若该任务断点的类型是算法断点,则执行策略一,所述策略一可以是控制无人机沿当前航线往反向飞行直到找到该任务断点。在一个实施例中,若该任务断点的类型不是算法断点,则执行策略二,所述策略二可以是控制无人机自动返航降落,并处理异常事件(如更换电池、故障排除等),然后再向该任务断点方向飞行直到找到该任务断点。
在一个实施例中,该无人机在执行离线断点续飞的过程中,可以在完成初始化处理后选择需要从任务断点开始执行的目标任务,并加载离线三维环境地图。该无人机可以根据该任务断点的定位信息规划一条飞往所述任务断点的航线,并按所规划的航线飞行至任务断点附近找到该任务断点,然后从该任务断点开始执行所述目标任务。
进一步地,该断点续飞的具体实施过程可以图2为例进行说明,图2是本发明实施例提供的一种断点续飞的方法流程示意图,如图2所示,具体的执行步骤如下:
S201:无人机初始化。所述无人机初始化包括上述提到的SLAM算法的初始化等处理。
S202:判断是否为离线断点续飞,如果判断结果为是,则执行步骤S203,否则执行步骤S204。关于所述离线断点续飞的描述如上所述。
S203:加载离线三维环境地图,执行步骤S206。所述离线三维环境地图包括:根据在任务断点前挂载在无人机上的拍摄装置拍摄到的图像所建立的三维环境地图。
S204:通过SLAM算法进行位置估计。
S205:建立并维护三维环境地图。在所述在线断点续飞中,该无人机可以获取到该无人机在执行任务的过程中,所述拍摄装置拍摄到的图像信息,该无人机可以根据所述图像信息建立并维护三维环境地图。
S206:检测是否获取到任务断点触发指令,如果检测结果为是,则执行步骤S207,如果检测结果为否,则执行步骤S212。
S207:判断获取到的任务断点是否为离线断点,如果判断结果为是,则执行步骤S209,如果判断结果为否,则执行步骤S208。如果无人机获取到所述任务断点的触发指令,则可以获取到任务断点信息,并根据所述任务断点信息,判断所述任务断点信息对应的任务断点是否为离线断点。该无人机可以通过判断该任务断点的设置和确定该目标位置与该任务断点的位置关系的步骤是否分别位于不同次飞行中来判断所述任务断点是否为离线断点。例如:在无人机某一次执行任务时突遇气候变化紧急停止了任务,停止任务时的位置点为任务断点,在一段时间后例如第二天需要继续从任务断点处实施未完成的该任务则被认为是离线断点续飞。
S208:检测该任务断点是否为算法断点,如果检测结果为是,则执行步骤S210,如果检测结果为否,则执行步骤S209。无人机在判断出所述任务断点是否为离线断点之后,可以根据所述任务断点的类型执行对应的操作。
S209:执行策略二,并在执行策略二后执行步骤S211。所述策略二可以是控制无人机自动返航降落,并在处理异常事件后,再向该任务断点方向飞行直到找到该任务断点。
S210:执行策略一,并在执行策略一后执行步骤S211。所述策略一可以是沿当前航线往反向飞行直到找到该任务断点。
S211:执行断点续飞。所述无人机可以根据上述策略移动至任务断点后,从该任务断点开始执行所述目标任务。
S212:执行任务直至任务停止。在停止任务后,该无人机可以保存执行该任务的过程中得到的三维环境地图。其中,所述任务包括所述任务断点前的任务和任务断点后的目标任务,所述三维环境地图是在无人机的整个飞行过程中建立的。
在一个实施例中,该无人机可以根据任务断点的类型以不同的方式找到该任务断点:对于主动断点和被动断点,在任务断点产生后,该无人机沿已移动路线往回移动至起点,再根据获取到的该任务断点的位置信息沿所述已移动路线返回找到该任务断点,从而可以保证足够的任务重叠区域以规划新的航线。对于算法断点,该无人机不需要沿已移动路线往回移动至起点和重新规划航线,只需沿已移动路线往回飞直到找到该任务断点。
在一个实施例中,无人机在设置所述任务断点时,可以将所述任务断点的位置信息发送给地面站,所述地面站可以将所述任务断点的位置信息发送给多个无人机,以使多个无人机协同执行目标任务。其中,各个无人机可以均由同一个地面站控制。在多个无人机协同执行所述目标任务的过程中,可以根据执行任务方式的不同可分为:单任务多机协同和多任务多机协同,其中,该单任务多机协同是指同一个任务由多架无人机同时完成;该多任务多机协同是指多个任务由多架无人机同时完成。
在一个实施例中,所述任务断点的位置信息包括目标任务的任务信息,该地面站可以根据获取到的所述任务断点的位置信息获取到所述目标任务的任务信息,并根据所述目标任务的任务信息和无人机的数量,为各无人机规划任务信息。地面站可以将为各无人机规划的所述任务断点的位置信息发送给各个无人机,其中,各任务断点的位置信息中携带各无人机的任务信息。各个无人机可以根据获取到所述任务断点的位置信息,确定出各自的衔接位置点,所述衔接位置点可以是所述任务断点,也可以是所述任务断点附近的关键帧对应的位置点。各无人机可以根据获取到的所述任务断点的位置信息中包括的任务信息,从各自的衔接位置点开始按各自的航线前往各自任务信息中所指示的任务起点执行所对应的目标任务中的子任务。
在一个实施例中,假设有两个无人机协同执行目标任务,其所采用的实施过程可以为:第一台无人机先起飞前往执行第一任务,如果所述第一台无人机在执行所述第一任务的过程中设置了任务断点的位置信息,该第一台无人机可以将所述任务断点的位置信息发送给地面站。该地面站可以将获取到的所述任务断点的位置信息中的任务信息发送给第二台无人机。该第二台无人机可以根据获取到的该任务断点的位置信息确定出衔接位置点,其中,所述衔接位置点可以是任务断点或所述任务断点附近的参考图像所对应的位置点,并获得与该第一台无人机起点的位置关系。该第二台无人机可以从所确定的衔接位置点开始飞往所述任务断点的位置信息中所指示的第二任务的起点,并从所述第二任务的起点开始执行所述第二任务。以此类推地面站可以根据任务断点的位置信息和无人机的个数规划各无人机的任务信息,并将规划后的任务信息发送给各无人机,以使各无人机执行各自任务信息所指示的子任务,从而多个无人机协同执行目标任务。
具体可以图3为例进行说明,图3是本发明实施例提供的一种多机协同执行任务的场景示意图,如图3所示,该示例中需要完成的目标任务包括三个子任务,首先,一号无人机31前往第一任务1的起点311执行所述第一任务1,并在所述一号无人机31执行所述第一任务1的过程中保存三维环境地图。所述一号无人机31在执行所述第一任务1的过程中设置任务断点34,并将所述任务断点34的位置信息发送给地面站。该地面站获取到所述一号无人机31设置的任务断点34的位置信息,其中,所述一号无人机31在设置该任务断点34后继续执行在所述任务断点34后未完成的第一任务1。地面站根据获取到的所述任务断点的位置信息中的任务信息和无人机的个数,规划各无人机的任务信息,并将携带各无人机的任务信息的位置信息发送给各无人机。
在一个实施例中,地面站可以将所述任务断点34的位置信息发送给二号无人机32,其中,所述任务断点的位置信息中包括了指示给二号无人机32的任务信息。二号无人机32可以根据地面站发送的任务断点的位置信息确定出第一衔接位置点321,其中,所述第一衔接位置点312可以是所述任务断点34,也可以是所述任务断点34附近的关键帧,所述关键帧的解释如上所述,在此不再赘述。二号无人机32获取到的所述任务断点34的位置信息包括了指示给所述二号无人机32的任务信息。二号无人机32可以所述第一衔接位置点312所对应的位置作为第二任务2的三维环境地图的原点,从所述第一衔接位置点312飞至所述任务信息所指示的第二任务2的起点以执行所述第二任务2。关于三号无人机33以此类推,地面站可以将所述任务断点34的位置信息发送给三号无人机33,其中,所述任务断点的位置信息中包括了指示给三号无人机33的任务信息。该三号无人机33可根据所述任务断点的位置信息执行第三任务3。可见,本发明实施例提供的该实施方式在大规模无人机中实现了多机协同,提高了执行任务的效率。
进一步地,上述单任务多机协同又可细分为单任务单架次多机协同和单任务多架次多机协同。其中,单任务单架次多机协同的方式是指由多架无人机在一次飞行中完成目标任务。具体可以图4为例进行说明,图4是本发明实施例提供的另一种多机协同执行任务的场景示意图,如图4所示,图中包括:第一无人机42、第二无人机43、第三无人机44以及第四无人机45,所述第一无人机42在飞行过程中设置任务断点41的位置信息,并将所述任务断点41的位置信息发送给地面站。地面站可以根据所述任务断点41的位置信息和无人机的个数,为所述第二无人机43、第三无人机44以及第四无人机45规划任务信息,其中,所述任务信息包括指示给各无人机的任务的起点的位置信息。地面站可以分别向所述第二无人机43、第三无人机44以及第四无人机45发送规划后的任务断点41的位置信息,所述任务断点41的位置信息携带了各自的任务信息。各无人机可根据获取到的任务断点41的位置信息确定出各自的衔接位置点,所述衔接位置点可以是任务断点41,也可以是任务断点附近的关键帧对应的位置点。
在一个实施例中,所述第一无人机42在设置任务断点41的位置信息后继续执行第一任务,所述第二无人机43可以按所规划的航线从所确定的衔接位置点开始飞往所述第二无人机43的任务起点(该举例中所述无人机43的任务起点为所述任务断点41),以执行所述第二无人机43获取到的所述任务信息中指示给所述第二无人机43的第二任务。同理可得,所述第三无人机44可以按所规划的航线从所确定的衔接位置点开始飞往所述第三无人机44的任务起点441执行该第三无人机44获取到的任务信息指示给所述第三无人机44的第三任务。所述第四无人机45可以按所规划的航线从所确定的衔接位置点开始飞往所述第四无人机45的任务起点451,以执行该第四无人机45获取到的所述任务信息所指示给所述第四无人机45的第四任务。可见,本发明实施例通过实现单任务单架次多机协同可提高无人机执行任务的效率。
进一步地,上述单任务多架次多机协同是指由多架无人机多次飞行完成任务,与单任务单架次多机协同不同的是:所述单任务多架次多机协同直接从任务断点开始执行目标任务。例如:两架无人机协同,当一号无人机剩余能源不足时触发任务断点准备返航更换能源,同时另一架无人机起飞前往所述任务断点执行未完成的目标任务。
在一个实施例中,关于多任务多机协同,具体以图5为例进行说明,图5是本发明实施例提供的又一种多机协同执行任务的场景示意图。该多任务多机协同与单任务单架次多机协同类似,如图5所示,包括:第一无人机54、第二无人机55、第三无人机56以及第四无人机57四个无人机。第一无人机54在执行第一任务的过程中设置任务断点51的位置信息,并将所述任务断点51的位置信息发送给地面站。地面站可以根据所述任务断点51的位置信息和无人机的个数,为所述第二无人机55、第三无人机56以及第四无人机57规划任务信息,其中,所述任务信息包括指示给各无人机的任务的起点的位置信息。地面站可以分别向所述第二无人机55、第三无人机56以及第四无人机57发送规划后各自的任务断点51的位置信息,所述任务断点51的位置信息携带了各自的任务信息。各无人机可根据获取到的任务断点51的位置信息确定出各自的衔接位置点,所述衔接位置点可以是任务断点51,也可以是任务断点附近的关键帧对应的位置点。
在一个实施例中,所述第一无人机54在设置任务断点的位置信息后继续执行所述第一任务。该第二无人机55可以从衔接位置点飞至所述第二无人机55的任务起点551,以执行所述第二无人机55获取到的任务信息指示给所述第二无人机55的第二任务。同时该第三无人机56可以从衔接位置点飞至所述第三无人机56的任务起点561,以执行所述第三无人机56获取到的任务信息指示给所述第三无人机56的第三任务。同理,该第四无人机57可以从衔接位置点飞至所述第四无人机57的任务起点571,以执行所述第四无人机57获取到的任务信息指示给所述第四无人机57的第四任务。需要说明的是,同区域之间的任务衔接区52小于航带的宽度53,以确保各个子任务的衔接,例如,在无人机执行植保农药喷洒时,能够确保不出现漏喷的情况。可见,本发明实施例提供的该实施方式在大面积区域使用单架次执行任务时,可以减少耗时以及提高效率。
本发明实施例提供的任务执行方法可以应用于能够自主移动的机器人等移动装置的视频拍摄任务,下面结合附图对应用于移动装置的任务执行方法进行举例说明。
请参见图6,图6是本发明实施例提供的一种任务执行方法的流程示意图,所述方法应用于能够自主移动的移动装置中,所述移动装置挂载有拍摄装置,其中,该移动装置的具体解释如前所述。具体地,本发明实施例的所述方法包括如下步骤。
S601:获取任务断点的位置信息。
本发明实施例中,移动装置可以获取任务断点的位置信息,其中,该任务断点的位置信息包括:该任务断点的环境图像信息,该环境图像信息包括挂载在移动装置上的拍摄装置所拍摄的图像以及该拍摄装置在拍摄图像时的姿态信息。该环境图像可以是在该移动装置在产生任务断点时拍摄到的特定图像,也可以是参考图像,该参考图像可以包含在上述提到的关键帧中。其中,所述各个参考图像是指已记录的与该目标位置的距离在预置距离内的且在该任务断点附近的环境图像。具体可以图1为例进行说明,假设该移动装置是无人机,如图1所示,如果无人机在图1中产生了任务断点12,则该无人机的可以获取到该无人机在任务断点12拍摄到的环境图像信息,该环境图像信息包括该无人机在产生任务断点12时拍摄到的环境图像和/或该无人机在产生该任务断点12之前在该任务断点12附近拍摄到的参考图像如关键帧14,该参考图像是挂载在该无人机上的拍摄装置在该任务断点12产生之前,在根据该任务断点12的定位信息所确定的区域内拍摄到的环境图像。
S602:根据在目标位置获取到的环境图像信息与该任务断点的环境图像信息,确定该目标位置与该任务断点的位置关系。
本发明实施例中,移动装置可以根据在目标位置获取到的环境图像信息与该任务断点的环境图像信息,确定该目标位置与该任务断点的位置关系,其中,该目标位置与该任务断点的距离小于预置距离。
在一个实施例中,该移动装置获取到的该任务断点的位置信息中包括定位信息,该移动装置可以根据该定位信息确定目标位置,以便移动至该目标位置。该移动装置可以获取到挂载在该移动装置上的拍摄装置在该目标位置拍摄到的环境图像信息,并根据在该目标位置获取到的环境图像信息与该任务断点的环境图像信息,确定该目标位置与该任务断点的位置关系。
在一个实施例中,该移动装置获取到的该任务断点的环境图像信息包括特定图像信息,该特定图像信息所包括的特定图像为与该任务断点距离最近的拍摄地点所拍摄的环境图像,即可将该特定图像作为该任务断点处的环境图像。该移动装置在确定该目标位置与该任务断点的位置关系的过程中,可以根据在该目标位置获取到的环境图像信息与该特定图像信息,确定该目标位置与该任务断点的位置关系。具体地,该移动装置可以检测在该目标位置获取到的环境图像信息与该特定图像信息的匹配度,如果检测到该匹配度大于预置数值,则可以基于在该目标位置获取到的环境图像信息和该特定图像信息,计算该目标位置与该任务断点的位置关系。具体可以图1为例,假设该移动装置为无人机,假设该移动装置获取到了挂载在该无人机上的拍摄装置在与该任务断点12距离最近的拍摄地点拍摄到的特定图像,并获取到该拍摄装置在目标位置13拍摄到的环境图像。该移动装置如果检测到在该目标位置13获取到的环境图像与该特定图像的匹配度为98%,即该匹配度大于95%(预置数值),则该移动装置可以基于在该目标位置获取到的环境图像信息和该特定图像信息,计算该目标位置与该任务断点的位置关系。可见,该实施方式可以通过任务断点的位置信息与特定图像信息定位该目标位置与该任务断点的位置关系,从而提高定位精度。
在一个实施例中,该移动装置在确定该目标位置与该任务断点的位置关系的过程中,如果该移动装置检测到在目标位置获取到的环境图像与任务断点处的特定图像的匹配度低于预置数值,则该移动装置可以获取至少一个所述参考图像信息,其中,所述参考图像信息所包括的参考图像为在所述任务断点之前拍摄的环境图像,所述参考图像的拍摄地点与所述任务断点的距离小于所述预置距离,该移动装置可以基于所述在所述目标位置获取到的环境图像信息和各个参考图像信息,确定所述目标位置与所述任务断点的关系。例如,假设在该任务断点产生之前挂载在该移动装置上的拍摄装置拍摄得到n(n>1)个参考图像,该参考图像可以包含在上述提到的关键帧中。其中,所述各个参考图像是指已记录的与该目标位置的距离在预置距离内的且在该任务断点附近的环境图像。该移动装置可以对各个参考图像进行排序,通过将该目标位置的环境图像依次与排序后的各个参考图像按排列顺序进行匹配,直到可以利用某个参考图像和该目标位置的环境图像算出该参考图像所对应的位置和该目标位置所对应的位置关系,以及利用该参考图像和该任务断点处的特定图像算出该参考图像所对应的位置和该任务断点的位置关系,从而可以算出该目标位置和该任务断点的位置关系。
进一步地,在将该目标位置的环境图像依次与排序后的各个参考图像进行匹配的过程中,该移动装置可以检测在该目标位置获取到的环境图像与排序后的各个参考图像的匹配度,如果检测到所述匹配度大于所述预置数值,则可以确定该参考图像为目标参考图像,并根据该目标位置与该目标参考图像所对应的位置关系以及该目标参考图像所对应的位置与该任务断点的位置关系,计算出该目标位置与该任务断点的位置关系。
在一个实施例中,该移动装置在对各个参考图像进行排序的过程中,该移动装置可以根据各个参考图像的定位信息(如GPS信息)以及在目标位置的环境图像的定位信息,获取各个参考图像所对应的位置与该目标位置的距离关系或者获取各个参考图像与该目标位置的环境图像的匹配度,以及获取各个参考图像与任务断点处的特定图像的匹配度。该移动装置可以根据各个参考图像所对应的位置与该目标位置的距离关系、各个参考图像与该目标位置的环境图像的匹配度、各个参考图像与任务断点处的特定图像的匹配度中的任意一种或多种,对各个参考图像进行排序。
具体可以图1为例进行说明,假设该移动装置为无人机,假设该移动装置在该任务断点12产生前获取到该拍摄装置在该任务断点12附近的拍摄地点拍摄到的n(n>1)个参考图像,并获取到该拍摄装置在目标位置13拍摄到的环境图像,该移动装置可以对各个参考图像进行排序,具体排序方式如上述实施例所述,此处不再赘述。如果该移动装置检测到在该目标位置13获取到的环境图像与排序后的关键帧14(参考图像)的匹配度为98%,所述匹配度大于95%(预置数值),因此可以确定该关键帧14为目标参考图像,并根据该目标位置13的环境图像所对应的位置与该目标参考图像(关键帧14)所对应的位置关系以及该目标参考图像所对应的位置与该任务断点的位置关系,计算出该目标位置与该任务断点的位置关系。可见,该实施方式可以确定该目标位置与该任务断点的位置关系,提高了对任务断点的定位精度。
S603:基于该位置关系控制该移动装置从该目标位置移动至该任务断点。
本发明实施例中,移动装置可以在确定该目标位置与该任务断点的位置关系之后,基于该位置关系控制该移动装置从该目标位置移动至该任务断点。具体地,该移动装置可以在确定该目标位置与该任务断点的位置关系之后,基于该位置关系规划该移动装置从该目标位置移动至该任务断点的路线,以及控制该移动装置按照该路线从该目标位置移动至该任务断点。具体可以图1为例进行说明,假设该移动装置为无人机,该无人机的确定了该目标位置13与该任务断点12之间的位置关系,则该无人机的可以根据该位置关系,规划该无人机从该目标位置13飞行至该任务断点12的航线,并根据该航线从该目标位置13飞行至该任务断点12。
在一个实施例中,该移动装置在基于上述位置关系从该目标位置移动至该任务断点之后,可以获取关于该任务断点的任务信息,其中,该任务信息包括在该任务断点前的航迹信息和/或在该任务断点前的任务完成度。该移动装置可基于该任务信息规划目标任务,其中,所述目标任务包括任务指示信息,所述任务指示信息包括目标移动路线、拍摄地点、拍摄时间等信息,该移动装置可以按照所规划的目标任务中的目标移动路线从该任务断点开始移动,以执行所述目标任务。具体可以图1为例进行说明,假设该移动装置为无人机,该无人机的在基于所述位置关系控制所述无人机从所述目标位置13移动至所述任务断点12之后,可以获取关于该任务断点12的任务信息,其中,该任务信息包括在该任务断点12前的航迹信息和/或在该任务断点前的任务完成度。该无人机的可以基于该任务信息规划目标任务,并按照所规划的目标任务中的的目标移动路线15从所述任务断点开始移动,以执行所述目标任务。
本发明实施例,移动装置通过获取任务断点的位置信息,根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,并基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点,以实现快速对任务断点定位的有效性。
请参见图7,图7是本发明实施例提供的另一种任务执行方法的流程示意图,所述方法应用于能够自主移动的移动装置中,所述移动装置挂载有拍摄装置,该任务执行方法可以由移动装置执行,其中,移动装置的具体解释如前所述。所述方法实施例与上述图6所述实施例的区别在于,本发明实施例中,该移动装置通过在获取任务断点的位置信息之前触发该任务断点的设置,并通过判断该任务断点的设置和确定该目标位置与该任务断点的位置关系的步骤是否位于同一次飞行中,来控制该移动装置移动至基于所述任务断点的定位信息所确定的目标位置的移动路线。具体地,本发明实施例的所述方法包括如下步骤。
S701:触发任务断点的设置。
本发明实施例中,移动装置可以触发任务断点的设置,其中,该任务断点的设置和确定目标位置与所述任务断点的位置关系的步骤可以位于同一次飞行中,所述同一次飞行是指从该移动装置没有沿以移动路线返回移动至起点后再次飞行。比如在无人机一次执行任务的过程中,由于天气原因使得拍摄装置在某一个位置点(任务断点)拍摄的图像不清晰,则需要该无人机沿当前的航线返回该任务断点,重新执行所述任务拍摄图像,无人机不会降落后重新起飞并飞行到该不清晰的图像的任务断点,这也被认为是在线断点续飞。在一个实施例中,该任务断点的设置和确定目标位置与所述任务断点的位置关系的步骤可以位于不同次飞行中。比如在无人机某一次执行任务时突遇气候变化紧急停止了任务,停止任务时的位置点为任务断点,一段时间后例如第二天需要继续从任务断点处实施未完成的该任务,这也被认为是离线断点续飞。
进一步地,需要说明的是,所述任务断点可以分为:主动断点、算法断点或被动断点。其中,所述主动断点是人为触发的任务断点,例如:人为结束或暂停当前任务;所述算法断点可以是指由于环境短时突变,导致该拍摄装置拍摄到的环境图像不清晰,以至于该移动装置无法根据该环境图像建立三维环境地图而触发的任务断点,例如光线突变剧烈、阵飞等导致移动装置无法根据拍摄装置拍摄得到的环境图像建立三维环境地图,从而中断当前任务;该被动断点可以是指由于无人机自身原因导致的任务断点,例如:控制信号丢失、能源不足、GPS信号丢失、无人机故障等。
S702:获取任务断点的位置信息。
本发明实施例中,移动装置可以获取任务断点的位置信息,其中,该任务断点的位置信息包括:该任务断点的环境图像信息,该环境图像信息包括挂载在移动装置上的拍摄装置所拍摄的图像以及该拍摄装置在拍摄图像时的姿态信息;该环境图像可以是在该移动装置产生任务断点时拍摄到的环境图像,也可以是参考图像,该参考图像可以包含在上述提到的关键帧中。其中,所述各个参考图像是指已记录的与该目标位置的距离在预置距离内的且在该任务断点附近的环境图像。具体实施方式如上述实施例所述,此处不再赘述。
S703:根据该任务断点规划移动装置的移动路线。
本发明实施例中,移动装置可以根据该任务断点规划移动装置的移动路线。具体地,该移动装置可以根据该任务断点的定位信息以及该移动装置当前位置的定位信息,规划该移动装置从当前位置移动到该任务断点的移动路线。
S704:控制该移动装置按照所规划的移动路线移动至基于该任务断点的定位信息所确定的目标位置。
本发明实施例中,移动装置可以控制该移动装置按照所规划的移动路线移动至基于该任务断点的定位信息所确定的目标位置。具体地,该移动装置可以根据获取到的任务断点的定位信息确定目标位置,以控制该移动装置按照所规划的移动路线移动至该目标位置。
在一个实施例中,如果所述移动装置为无人飞行器,该移动装置获取到的任务断点的设置和确定该目标位置与该任务断点的位置关系的步骤位于同一次飞行中,则该无人飞行器可以沿着已移动路线往回移动至所述目标位置。
在一个实施例中,如果该移动装置获取到的任务断点的设置和确定该目标位置与该任务断点的位置关系的步骤位于不同次飞行中,则该移动装置可以将该任务断点的定位信息所指示的位置确定为该目标位置,并根据该任务断点的定位信息和该目标位置的定位信息规划移动路线,并控制该移动装置按该移动路线移动至该目标位置。
S705:根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系。
本发明实施例中,该移动装置在控制该移动装置移动至该目标位置之后,可以在该目标位置获取到环境图像信息,并根据在该目标位置获取到的环境图像信息与该任务断点的环境图像信息,确定该目标位置与该任务断点的位置关系,其中,该目标位置与该任务断点的距离小于预置距离。具体的实施例如上述实施例所述,此处不再赘述。
S706:基于该位置关系控制该移动装置从该目标位置移动至该任务断点。
本发明实施例中,移动装置可以在确定该目标位置与该任务断点的位置关系之后,基于该位置关系控制该移动装置从该目标位置移动至该任务断点。具体地,该移动装置可以在确定该目标位置与该任务断点的位置关系之后,基于该位置关系规划该移动装置从该目标位置移动至该任务断点的路线,以及控制该移动装置按照该路线从该目标位置移动至该任务断点。在一个实施例中,该任务断点的类型包括:主动断点、被动断点或算法断点,其中,该主动断点、被动断点或算法断点的解释如上述实施例所述,此处不再赘述。如果该任务断点是主动断点或被动断点,则该移动装置可以在该任务断点产生后控制该移动装置沿当前的移动路线返回移动至当前移动路线的起点,再返回移动至该任务断点,以便能够保证足够的任务重叠区域规划该移动装置移动至该目标位置的移动路线。如果该任务断点是算法断点,则不需要控制该移动装置沿当前的移动路线返回起点,只需控制该移动装置沿当前的移动路线往回移动直到找到该任务断点。具体的实施例如上述实施例所述,此处不再赘述。
在一个实施例中,该移动装置在基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点之后,可以获取关于该任务断点的任务信息,其中,该任务信息包括在该任务断点前的航迹信息和/或在该任务断点前的任务完成度。该移动装置可以基于该任务信息规划目标任务,其中,所述目标任务包括任务指示信息,所述任务指示信息包括目标移动路线、拍摄地点、拍摄时间等信息。该移动装置可以控制所述移动装置按照所规划的目标任务中的目标移动路线从所述任务断点开始移动,以执行所述目标任务。具体实施例如上述实施例所述,此处不再赘述。
本发明实施例,移动装置通过触发任务断点的设置,获取该任务断点的位置信息,根据该任务断点规划移动装置的移动路线,控制该移动装置按照所规划的移动路线移动至基于该任务断点的定位信息所确定的目标位置,根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,并基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点,以实现对任务断点快速高效地定位,并在该任务断点的基础上实现多机协作执行任务,提高了执行任务的效率。
请参见图8,图8是本发明实施例提供的一种任务执行方法的交互示意图,所述方法应用于任务执行系统,所述任务执行系统包括能够自主移动的第一移动装置和第二移动装置,所述第一移动装置和第二移动装置均挂载有拍摄装置。其中,所述第一移动装置和第二移动装置可以为无人机、无人汽车等机器人。所述具体地,本发明实施例的所述方法包括如下步骤:
S801:第一移动装置在执行第一任务过程中设置任务断点的位置信息。
本发明实施例中,第一移动装置可以在执行第一任务过程中设置任务断点的位置信息,所述任务断点的位置信息包括:所述任务断点的环境图像信息、所述任务断点的定位信息。一些实施例中,任务断点的定位信息为任务断点的绝对位置信息(例如GPS信息)。一些实施例中,任务断点的定位信息为任务断点的相对位置信息。具体来说,第一移动装置从A点起飞后开始利用SLAM算法构建三维环境地图时,第一移动装置的定位信息包括第一移动装置的当前位置在该构建的三维环境地图中的一个相对位置,例如包括第一移动装置的当前位置相对于起点A点的相对位置。
在一个实施例中,所述第一移动装置可以通过定位传感器来设置所述任务断点的定位信息,以及通过挂载在所述第一移动装置上的拍摄装置在所设置的任务断点拍摄图像,得到所述任务断点的环境图像信息。
S802:第一移动装置将所述任务断点的位置信息发送给所述地面站,以使所述地面站将所述任务断点的位置信息发送给所述第二移动装置。
本发明实施例中,第一移动装置可以将所述任务断点的位置信息发送给所述地面站,以使所述地面站将所述任务断点的位置信息发送给所述第二移动装置。具体地,所述第一移动装置可以将所述任务断点的定位信息和/或环境图像信息发送给地面站。所述任务断点的位置信息中包括了所述任务断点的任务信息,所述地面站可以根据获取到的所述任务断点的位置信息,获取到所述任务断点的任务信息,并将携带所述任务信息的任务断点的位置信息发送给第二移动装置。
S803:第二移动装置获取所述地面站发送的所述任务断点的位置信息。
本发明实施例中,第二移动装置可以获取所述地面站发送的所述任务断点的位置信息,并从所述位置信息中获取到指示给所述第二移动装置的任务信息。所述第二移动装置可以根据所述任务信息获取到指示给所述第二移动装置的任务的起点位置信息。
S804:第二移动装置移动至基于所述任务断点的定位信息所确定的所述目标位置。
本发明实施例中,第二移动装置可以移动至基于所述任务断点的定位信息所确定的所述目标位置,其中,所述目标位置与所述任务断点的距离小于预设的距离。
S805:第二移动装置根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与衔接位置点的位置关系。
本发明实施例中,第二移动装置可以根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与衔接位置点的位置关系。所述衔接位置点可以是所述任务断点或者所述任务断点附近关键帧对应的位置点。所述关键帧的解释如上所述,在此不赘述。
在一个实施例中,所述第二移动装置可以根据获取到的任务断点的位置信息,确定出所述衔接位置点。所述第二移动装置确定所述衔接位置点的方法与确定所述任务断点的方法类似。在一个实施例中,所述第二移动装置可以根据所述任务断点的定位信息,移动至基于所述定位信息确定的目标位置,并通过挂载在所述第二移动装置上的拍摄装置拍摄图像,得到所述目标位置的环境图像信息。所述第二移动装置可以将所述目标位置的环境图像与所述任务断点的环境图像信息进行匹配,将匹配成功的任务断点的环境图像信息所包括的环境图像对应的位置作为所述衔接位置点。具体可以图3为例进行说明,假设所述移动装置为无人机,一号无人机31在执行所述第一任务1的过程中设置任务断点34,并将所述任务断点34的位置信息发送给地面站,该地面站将所述任务断点的位置信息发送给二号无人机32,二号无人机32可以根据所述任务断点的位置信息确定出所述二号无人机32的衔接位置点312。
在一个实施例中,所述任务断点的环境图像信息可以包括参考图像信息,所述参考图像信息所包括的参考图像为挂载在所述第一移动装置上的拍摄装置在执行所述第一任务过程中拍摄的环境图像,所述参考图像的拍摄地点与所述任务断点的距离小于预置距离。所述第二移动装置可以基于所述任务断点的定位信息,获取至少一个所述参考图像信息。根据在所述目标位置获取到的环境图像信息与各个参考图像信息,将所述目标位置的环境图像信息包括的环境图像与各个参考图像信息包括的参考图像进行匹配,并将匹配成功的参考图像确定为目标参考图像,以及将所述目标参考图像对应的位置点确定为衔接位置点。所述第二移动装置可以根据所述目标位置的环境图像与所述目标参考图像的关系,确定所述目标位置与所述衔接位置点的位置关系。
在一个实施例中,所述任务断点的环境图像信息可以包括特定图像信息,所述特定图像信息所包括的特定图像为:挂载在所述第一移动装置上的拍摄装置在与所述任务断点距离最近的拍摄地点所拍摄的环境图像。在一个实施例中,所述第二移动装置可以在所述目标位置获取到的环境图像与所述特定图像的匹配度大于预置数值时,将所述特定图像对应的位置确定为所述衔接位置点。所述第二移动装置可以基于所述在所述目标位置获取到的环境图像信息和所述特定图像信息,确定所述目标位置与所述衔接位置点的位置关系。具体的实施过程如前所述,在此不赘述。
S806:第二移动装置基于所述位置关系从所述目标位置移动至所述衔接位置点,并基于所述衔接位置点执行第二任务。
本发明实施例中,第二移动装置可以基于所述位置关系从所述目标位置移动至所述衔接位置点,并基于所述衔接位置点执行第二任务。在一个实施例中,所述任务断点的位置信息还包括所述第二任务的任务信息,所述第二移动装置可以获取所述任务断点的位置信息中指示给所述第二移动装置的第二任务的任务信息,所述任务信息中包括所述第二任务的起点的位置信息。所述第二移动装置可以基于所述任务信息规划所述第二任务,控制所述第二移动装置从所述衔接位置点移动至所述第二任务的起点位置,并从所述起点位置开始执行所述第二任务。
在一个实施例中,假设所述移动装置为无人机,有两个无人机协同执行目标任务,其所采用的实施过程可以为:第一台无人机先起飞前往执行第一任务,如果所述第一台无人机在执行所述第一任务的过程中设置任务断点,该第一台无人机可以保存三维环境地图,第一台无人机可以将所述任务断点的位置信息发送给地面站。该地面站可以将获取到的所述任务断点的位置信息中的任务信息发送给第二台无人机,该第二台无人机可以根据该任务断点的位置信息确定出衔接位置点,所述衔接位置点可以是任务断点或所述任务断点附近的参考图像所对应的位置点,并获得与该第一台无人机起点的位置关系。该第二台无人机可以从所确定的衔接位置点开始飞往所述任务断点的位置信息中所指示的第二任务的起点,并从所述第二任务的起点开始执行所述第二任务。以此类推地面站可以根据任务断点的位置信息和无人机的个数规划各无人机的任务信息,并控制各个无人机执行各自任务信息所指示的子任务,从而多个无人机协同执行目标任务。
在一个实施例中,所述第二移动装置可以基于所述位置关系从所述目标位置移动至所述衔接位置点,从所述衔接位置点开始执行所述第二任务;其中,所述第一任务和第二任务为同一个任务的两个不同任务阶段。例如:两架无人机协同执行目标任务,当一号无人机在执行所述目标任务过程中剩余能源不足时,触发任务断点准备返航更换能源,同时另一架无人机起飞前往所述任务断点执行未完成的目标任务。
在一个实施例中,所述第二移动装置可以基于所述位置关系从所述目标位置移动至所述衔接位置点,从所述衔接位置点移动到第二任务的起点位置,从所述从起点位置开始执行所述第二任务,其中,所述第一任务和第二任务为同一个任务的两个不同任务阶段。具体可以图4为例进行说明,假设移动装置为无人机,以图中第一无人机42和第二无人机43为例,所述第一无人机42在飞行过程中设置任务断点41,并将所述任务断点41的位置信息发送给地面站。地面站可以根据所述任务断点41的位置信息和无人机的个数,为所述第二无人机43规划任务信息,其中,所述任务信息包括指示给第二无人机的任务的起点的位置信息。地面站可以向所述第二无人机43发送携带任务信息的任务断点41的位置信息。第二无人机43可根据获取到的任务断点41的位置信息确定出衔接位置点。
在一个实施例中,所述第一无人机42在设置任务断点41后继续执行第一任务,所述第二无人机43可以按所规划的航线从所确定的衔接位置点开始飞往所述第二无人机43的任务起点(该举例中所述无人机43的任务起点为所述任务断点41),以执行所述第二无人机43获取到的所述任务信息中指示给所述第二无人机43的第二任务。可见,本发明实施例通过实现单任务单架次多机协同可提高无人机执行任务的效率。
在一个实施例中,所述第二移动装置可以基于所述位置关系从所述目标位置移动至所述衔接位置点,从所述衔接位置点移动到第二任务的起点位置,所述第二移动装置从所述从起点位置开始执行所述第二任务,其中,所述第一任务和第二任务为两个不同的任务。具体可以图5为例,假设所述第一移动装置和第二移动装置为图中第一无人机54和第二无人机55,第一无人机54在执行第一任务的过程中设置任务断点51,并将所述任务断点51的位置信息发送给地面站。地面站可以根据所述任务断点51的位置信息和无人机的个数,为所述第二无人机55规划任务信息,其中,所述任务信息包括指示给所述第二无人机55的任务起点的位置信息。地面站可以向所述第二无人机55发送携带各自任务信息的任务断点51的位置信息。所述第二无人机55可根据获取到的任务断点51的位置信息确定出各自的衔接位置点。
在一个实施例中,所述第一无人机54在设置任务断点后继续执行所述第一任务。该第二无人机55可以从衔接位置点飞至所述第二无人机55的任务起点551,以执行所述第二无人机55获取到的任务信息指示给所述第二无人机55的第二任务。
对于多个移动装置协作执行目标任务的情况,具体可参见上述实施例,此处不再赘述。
请参见图9,图9是本发明实施例提供的一种移动装置的结构示意图。具体的,所述移动装置挂载有拍摄装置,所述装置包括:存储器901、处理器902、输入接口903以及输出接口904。
所述存储器901可以包括易失性存储器(volatile memory);存储器901也可以包括非易失性存储器(non-volatile memory);存储器901还可以包括上述种类的存储器的组合。所述处理器902可以是中央处理器(central processing unit,CPU)。所述处理器902还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA)或其任意组合。
可选地,所述存储器901用于存储程序指令。所述处理器902可以调用存储器901中存储的程序指令,用于执行如下步骤:
获取任务断点的位置信息,所述任务断点的位置信息包括:所述任务断点的环境图像信息;
根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,所述目标位置与所述任务断点的距离小于预置距离;
基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点。
进一步地,所述处理器902,还用于执行如下步骤:
控制所述移动装置移动至基于所述任务断点的定位信息所确定的所述目标位置。
进一步地,所述处理器902,还用于执行如下步骤:
触发所述任务断点的设置;
其中,所述任务断点的设置和所述确定所述目标位置与所述任务断点的位置关系的步骤位于同一次飞行中,或者分别位于不同次飞行中。
进一步地,所述处理器902,还用于执行如下步骤:
根据所述任务断点规划所述移动装置的移动路线;
控制所述移动装置按照所规划的移动路线移动至基于所述任务断点的定位信息所确定的目标位置。
进一步地,所述处理器902,还用于执行如下步骤:
沿着已移动路线往回移动至所述目标位置。
进一步地,所述处理器902,还用于执行如下步骤:
将所述任务断点的定位信息所指示的位置确定为所述目标位置;
控制该移动装置移动至所述目标位置。
进一步地,所述处理器902,还用于执行如下步骤:
当在所述目标位置获取到的环境图像与所述特定图像的匹配度大于预置数值时,基于所述在所述目标位置获取到的环境图像信息和所述特定图像信息确定所述目标位置与所述任务断点的位置关系。
进一步地,所述处理器902,还用于执行如下步骤:
当在所述目标位置获取到的环境图像与所述特定图像的匹配度小于预置数值时,获取至少一个所述参考图像信息;
基于所述在所述目标位置获取到的环境图像信息和各个参考图像信息,确定所述目标位置与所述任务断点的关系。
进一步地,所述处理器902,还用于执行如下步骤:
对所述各个参考图像进行排序;
按排序后各个参考图像的排列顺序,依次将所述排序后的各个参考图像与在所述目标位置获取到的环境图像进行图像匹配;
基于图像匹配成功的参考图像所对应拍摄地点的位置和所述目标位置的位置关系、并根据所述目标参考图像的位置和所述任务断点的位置关系,确定所述目标位置与所述任务断点的关系。
进一步地,所述处理器902,还用于执行如下步骤:
根据所述各个参考图像所对应拍摄地点的位置与所述目标位置的距离、以及所述各个参考图像与所述特定图像的匹配度,对所述各个参考图像进行排序;
或者,根据所述各个参考图像与在所述目标位置获取到的环境图像的匹配度、以及所述各个参考图像与所述特定图像的匹配度,对所述各个参考图像进行排序。
进一步地,所述处理器902,还用于执行如下步骤:
获取所述任务断点的任务信息,所述任务信息包括在所述任务断点前的航迹信息和/或在所述任务断点前的任务完成度;
基于所述任务信息规划目标任务;
控制所述移动装置从所述任务断点开始移动,以执行所述目标任务。
本发明实施例,移动装置通过获取任务断点的位置信息,根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,并基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点,以实现快速对任务断点定位的有效性。
本发明实施例还提供了一种无人飞行器,包括:机身;设置在机身上的动力系统,用于提供飞行动力;处理器,用于获取任务断点的位置信息,所述任务断点的位置信息包括:所述任务断点的环境图像信息;根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,所述目标位置与所述任务断点的距离小于预置距离;基于所述位置关系控制所述无人飞行器从所述目标位置移动至所述任务断点。
所述处理器的具体实现可参考上述图6或图7所对应实施例的任务执行方法,在此不再赘述。其中,所述无人飞行器可以是四旋翼无人机、六旋翼无人机、多旋翼无人机等类型的无人机。所述动力系统可以包括电机、电调、螺旋桨等结构,其中,电机负责带动飞行器螺旋桨,电调负责控制飞行器的电机的转速。
本发明实施例还提供了一种任务执行系统,包括:能够自主移动的第一移动装置和第二移动装置以及分别与所述第一移动装置和所述第二移动装置通信的地面站,所述第一移动装置和第二移动装置均挂载有拍摄装置;
所述第一移动装置,用于在执行第一任务过程中设置任务断点的位置信息,并将所述任务断点的位置信息发送给所述地面站,所述任务断点的位置信息包括:所述任务断点的环境图像信息;
所述地面站,用于将所述任务断点的位置信息发送给所述第二移动装置;
所述第二移动装置,用于获取所述地面站发送的所述任务断点的位置信息;根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与衔接位置点的位置关系;其中,所述衔接位置点是根据所述任务断点的环境图像信息所确定的;基于所述位置关系从所述目标位置移动至所述衔接位置点,并基于所述衔接位置点执行第二任务。
进一步地,所述第二移动装置,用于移动至基于所述任务断点的定位信息所确定的所述目标位置。
进一步地,所述第二移动装置,用于基于所述任务断点的定位信息,获取至少一个所述参考图像信息;根据在所述目标位置获取到的环境图像信息与各个参考图像信息,确定所述目标位置与所述衔接位置点的位置关系。
进一步地,所述第二移动装置,用于将在所述目标位置获取到的环境图像分别与所述各个参考图像信息所包括的参考图像进行匹配;将匹配成功的目标参考图像所对应的位置确定为所述衔接位置点;基于所述目标参考图像对应的位置与所述目标位置的关系,确定所述目标位置与所述衔接位置点的位置关系。
进一步地,所述第二移动装置,用于在所述目标位置获取到的环境图像与所述特定图像的匹配度大于预置数值时,将所述特定图像对应的位置确定为所述衔接位置点;基于所述在所述目标位置获取到的环境图像信息和所述特定图像信息,确定所述目标位置与所述衔接位置点的位置关系。
进一步地,所述第二移动装置,用于获取所述任务断点的位置信息中指示给所述第二移动装置的第二任务的任务信息,所述任务信息中包括所述第二任务的起点的位置信息;基于所述任务信息规划所述第二任务;控制所述第二移动装置从所述衔接位置点移动至所述第二任务的起点位置,并从所述起点位置开始执行所述第二任务。
进一步地,所述第二移动装置,用于基于所述位置关系从所述目标位置移动至所述衔接位置点;从所述衔接位置点开始执行所述第二任务;其中,所述第一任务和第二任务为同一个任务的两个不同任务阶段。
进一步地,所述第二移动装置,用于基于所述位置关系从所述目标位置移动至所述衔接位置点;从所述衔接位置点移动到第二任务的起点位置;从所述从起点位置开始执行所述第二任务;其中,所述第一任务和第二任务为同一个任务的两个不同任务阶段。
进一步地,所述第二移动装置,用于基于所述位置关系从所述目标位置移动至所述衔接位置点;从所述衔接位置点移动到第二任务的起点位置;从所述从起点位置开始执行所述第二任务;其中,所述第一任务和第二任务为两个不同的任务。
在本发明的实施例中还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本发明图6、图7或图8所对应实施例中描述的视频处理方法方式,也可实现图9所述本发明所对应实施例的移动装置,在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的装置的内部存储单元,例如装置的硬盘或内存。所述计算机可读存储介质也可以是所述装置的外部存储设备,例如所述装置上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述装置的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (44)
1.一种任务执行方法,其特征在于,应用于能够自主移动的移动装置中,所述移动装置挂载有拍摄装置,所述方法包括:
获取任务断点的位置信息,所述任务断点的位置信息包括:所述任务断点的环境图像信息;
根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,所述目标位置与所述任务断点的距离小于预置距离;
基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点。
2.根据权利要求1所述的方法,其特征在于,所述任务断点的位置信息还包括所述任务断点的定位信息;
所述根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,之前还包括:
控制所述移动装置移动至基于所述任务断点的定位信息所确定的所述目标位置。
3.根据权利要求1或2所述的方法,其特征在于,所述移动装置为无人飞行器,所述获取任务断点的位置信息,之前还包括:
触发所述任务断点的设置;
其中,所述任务断点的设置和所述确定所述目标位置与所述任务断点的位置关系的步骤位于同一次飞行中,或者分别位于不同次飞行中。
4.根据权利要求2所述的方法,其特征在于,所述控制所述移动装置移动至基于所述任务断点的定位信息所确定的目标位置,包括:
根据所述任务断点规划所述移动装置的移动路线;
控制所述移动装置按照所规划的移动路线移动至基于所述任务断点的定位信息所确定的目标位置。
5.根据权利要求4所述的方法,其特征在于,所述任务断点的设置和所述确定所述目标位置与所述任务断点的位置关系的步骤位于同一次飞行中;
所述控制所述移动装置按照所规划的移动路线移动至基于所述任务断点的定位信息所确定的目标位置,包括:
沿着已移动路线往回移动至所述目标位置。
6.根据权利要求4所述的方法,其特征在于,所述任务断点的设置和所述确定所述目标位置与所述任务断点的位置关系的步骤分别位于不同次飞行中;
所述控制所述移动装置按照所规划的移动路线移动至基于所述任务断点的定位信息所确定的目标位置,包括:
将所述任务断点的定位信息所指示的位置确定为所述目标位置;
控制该移动装置移动至所述目标位置。
7.根据权利要求1所述的方法,其特征在于,所述任务断点的环境图像信息包括特定图像信息,所述特定图像信息所包括的特定图像为:与所述任务断点距离最近的拍摄地点所拍摄的环境图像;
所述根据在所述目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,包括:
当在所述目标位置获取到的环境图像与所述特定图像的匹配度大于预置数值时,基于所述在所述目标位置获取到的环境图像信息和所述特定图像信息确定所述目标位置与所述任务断点的位置关系。
8.根据权利要求7所述的方法,其特征在于,所述任务断点的环境图像信息包括参考图像信息,所述参考图像信息所包括的参考图像为在所述任务断点之前拍摄的环境图像,所述参考图像的拍摄地点与所述任务断点的距离小于所述预置距离;
所述根据在所述目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,包括:
当在所述目标位置获取到的环境图像与所述特定图像的匹配度小于预置数值时,获取至少一个所述参考图像信息;
基于所述在所述目标位置获取到的环境图像信息和各个参考图像信息,确定所述目标位置与所述任务断点的关系。
9.根据权利要求8所述的方法,其特征在于,所述基于所述在所述目标位置获取到的环境图像信息和各个参考图像信息,确定所述目标位置与所述任务断点的关系,包括:
对所述各个参考图像进行排序;
按排序后各个参考图像的排列顺序,依次将所述排序后的各个参考图像与在所述目标位置获取到的环境图像进行图像匹配;
基于图像匹配成功的参考图像所对应拍摄地点的位置和所述目标位置的位置关系、并根据所述目标参考图像的位置和所述任务断点的位置关系,确定所述目标位置与所述任务断点的关系。
10.根据权利要求9所述的方法,其特征在于,所述对所述各个参考图像进行排序,包括:
根据所述各个参考图像所对应拍摄地点的位置与所述目标位置的距离、以及所述各个参考图像与所述特定图像的匹配度,对所述各个参考图像进行排序;
或者,根据所述各个参考图像与在所述目标位置获取到的环境图像的匹配度、以及所述各个参考图像与所述特定图像的匹配度,对所述各个参考图像进行排序。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点之后,包括:
获取所述任务断点的任务信息,所述任务信息包括在所述任务断点前的航迹信息和/或在所述任务断点前的任务完成度;
基于所述任务信息规划目标任务;
控制所述移动装置从所述任务断点开始移动,以执行所述目标任务。
12.一种任务执行方法,其特征在于,应用于任务执行系统,所述任务执行系统包括:能够自主移动的第一移动装置和第二移动装置,所述第一移动装置和第二移动装置均挂载有拍摄装置,所述方法包括:
所述第一移动装置在执行第一任务过程中设置任务断点的位置信息,所述任务断点的位置信息包括:所述任务断点的环境图像信息;
所述第二移动装置获取所述任务断点的位置信息;
所述第二移动装置根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与衔接位置点的位置关系;其中,所述衔接位置点是根据所述任务断点的环境图像信息所确定的;
所述第二移动装置基于所述位置关系从所述目标位置移动至所述衔接位置点,并基于所述衔接位置点执行第二任务。
13.根据权利要求12所述的方法,其特征在于,所述系统还包括:分别与所述第一移动装置和所述第二移动装置通信的地面站;所述第二移动装置获取所述任务断点的位置信息,包括:
所述第一移动装置将所述任务断点的位置信息发送给所述地面站,以使所述地面站将所述任务断点的位置信息发送给所述第二移动装置;
所述第二移动装置获取所述地面站发送的所述任务断点的位置信息。
14.根据权利要求12所述的方法,其特征在于,所述任务断点的位置信息还包括:所述任务断点的定位信息;
所述第二移动装置根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与衔接位置点的位置关系之前,包括:
所述第二移动装置移动至基于所述任务断点的定位信息所确定的所述目标位置。
15.根据权利要求12所述的方法,其特征在于,所述任务断点的环境图像信息包括参考图像信息,所述参考图像信息所包括的参考图像为挂载在所述第一移动装置上的拍摄装置在执行所述第一任务过程中拍摄的环境图像,所述参考图像的拍摄地点与所述任务断点的距离小于预置距离;
所述第二移动装置根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与衔接位置点的位置关系,包括:
所述第二移动装置基于所述任务断点的定位信息,获取至少一个所述参考图像信息;
所述第二移动装置根据在所述目标位置获取到的环境图像信息与各个参考图像信息,确定所述目标位置与所述衔接位置点的位置关系。
16.根据权利要求15所述的方法,其特征在于,所述第二移动装置根据在所述目标位置获取到的环境图像信息与各个参考图像信息,确定所述目标位置与所述衔接位置点的位置关系,包括:
所述第二移动装置将在所述目标位置获取到的环境图像分别与所述各个参考图像信息所包括的参考图像进行匹配;
所述第二移动装置将匹配成功的目标参考图像所对应的位置确定为所述衔接位置点;
所述第二移动装置基于所述目标参考图像对应的位置与所述目标位置的关系,确定所述目标位置与所述衔接位置点的位置关系。
17.根据权利要求12所述的方法,其特征在于,所述任务断点的环境图像信息包括特定图像信息,所述特定图像信息所包括的特定图像为:挂载在所述第一移动装置上的拍摄装置在与所述任务断点距离最近的拍摄地点所拍摄的环境图像;
所述第二移动装置根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与衔接位置点的位置关系,包括:
所述第二移动装置在所述目标位置获取到的环境图像与所述特定图像的匹配度大于预置数值时,将所述特定图像对应的位置确定为所述衔接位置点;
所述第二移动装置基于所述在所述目标位置获取到的环境图像信息和所述特定图像信息,确定所述目标位置与所述衔接位置点的位置关系。
18.根据权利要求12-17任一项所述的方法,其特征在于,所述任务断点的位置信息还包括:所述第二任务的任务信息;
所述第二移动装置基于所述位置关系从所述目标位置移动至所述衔接位置点,并基于所述衔接位置点执行第二任务,包括:
所述第二移动装置获取所述任务断点的位置信息中指示给所述第二移动装置的第二任务的任务信息,所述任务信息中包括所述第二任务的起点的位置信息;
所述第二移动装置基于所述任务信息规划所述第二任务;
所述第二移动装置控制所述第二移动装置从所述衔接位置点移动至所述第二任务的起点位置,并从所述起点位置开始执行所述第二任务。
19.根据权利要求18所述的方法,其特征在于,所述第二移动装置基于所述位置关系从所述目标位置移动至所述衔接位置点,并基于所述衔接位置点执行第二任务,包括:
所述第二移动装置基于所述位置关系从所述目标位置移动至所述衔接位置点;
所述第二移动装置从所述衔接位置点开始执行所述第二任务;
其中,所述第一任务和第二任务为同一个任务的两个不同任务阶段。
20.根据权利要求18所述的方法,其特征在于,所述第二移动装置基于所述位置关系从所述目标位置移动至所述衔接位置点,并基于所述衔接位置点执行第二任务,还包括:
所述第二移动装置基于所述位置关系从所述目标位置移动至所述衔接位置点;
所述第二移动装置从所述衔接位置点移动到第二任务的起点位置;
所述第二移动装置从所述从起点位置开始执行所述第二任务;
其中,所述第一任务和第二任务为同一个任务的两个不同任务阶段。
21.根据权利要求18所述的方法,其特征在于,所述第二移动装置基于所述位置关系从所述目标位置移动至所述衔接位置点,并基于所述衔接位置点执行第二任务,还包括:
所述第二移动装置基于所述位置关系从所述目标位置移动至所述衔接位置点;
所述第二移动装置从所述衔接位置点移动到第二任务的起点位置;
所述第二移动装置从所述从起点位置开始执行所述第二任务;
其中,所述第一任务和第二任务为两个不同的任务。
22.一种移动装置,其特征在于,所述移动装置挂载有拍摄装置,所述装置包括存储器和处理器;
所述存储器,用于存储程序指令;
所述处理器,调用存储器中存储的程序指令,用于执行如下步骤:
获取任务断点的位置信息,所述任务断点的位置信息包括:所述任务断点的环境图像信息;
根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与所述任务断点的位置关系,所述目标位置与所述任务断点的距离小于预置距离;
基于所述位置关系控制所述移动装置从所述目标位置移动至所述任务断点。
23.根据权利要求22所述的装置,其特征在于,所述处理器具体用于执行如下步骤:
控制所述移动装置移动至基于所述任务断点的定位信息所确定的所述目标位置。
24.根据权利要求22或23所述的装置,其特征在于,所述处理器具体用于执行如下步骤:
触发所述任务断点的设置;
其中,所述任务断点的设置和所述确定所述目标位置与所述任务断点的位置关系的步骤位于同一次飞行中,或者分别位于不同次飞行中。
25.根据权利要求23所述的装置,其特征在于,所述处理器具体用于执行如下步骤:
根据所述任务断点规划所述移动装置的移动路线;
控制所述移动装置按照所规划的移动路线移动至基于所述任务断点的定位信息所确定的目标位置。
26.根据权利要求25所述的装置,其特征在于,所述处理器具体用于执行如下步骤:
沿着已移动路线往回移动至所述目标位置。
27.根据权利要求25所述的装置,其特征在于,所述处理器具体用于执行如下步骤:
将所述任务断点的定位信息所指示的位置确定为所述目标位置;
控制该移动装置移动至所述目标位置。
28.根据权利要求22所述的装置,其特征在于,所述处理器具体用于执行如下步骤:
当在所述目标位置获取到的环境图像与所述特定图像的匹配度大于预置数值时,基于所述在所述目标位置获取到的环境图像信息和所述特定图像信息确定所述目标位置与所述任务断点的位置关系。
29.根据权利要求28所述的装置,其特征在于,所述处理器具体用于执行如下步骤:
当在所述目标位置获取到的环境图像与所述特定图像的匹配度小于预置数值时,获取至少一个所述参考图像信息;
基于所述在所述目标位置获取到的环境图像信息和各个参考图像信息,确定所述目标位置与所述任务断点的关系。
30.根据权利要求29所述的装置,其特征在于,所述处理器具体用于执行如下步骤:
对所述各个参考图像进行排序;
按排序后各个参考图像的排列顺序,依次将所述排序后的各个参考图像与在所述目标位置获取到的环境图像进行图像匹配;
基于图像匹配成功的参考图像所对应拍摄地点的位置和所述目标位置的位置关系、并根据所述目标参考图像的位置和所述任务断点的位置关系,确定所述目标位置与所述任务断点的关系。
31.根据权利要求30所述的装置,其特征在于,所述处理器具体用于执行如下步骤:
根据所述各个参考图像所对应拍摄地点的位置与所述目标位置的距离、以及所述各个参考图像与所述特定图像的匹配度,对所述各个参考图像进行排序;
或者,根据所述各个参考图像与在所述目标位置获取到的环境图像的匹配度、以及所述各个参考图像与所述特定图像的匹配度,对所述各个参考图像进行排序。
32.根据权利要求22-31任一项所述的装置,其特征在于,所述处理器具体用于执行如下步骤:
获取所述任务断点的任务信息,所述任务信息包括在所述任务断点前的航迹信息和/或在所述任务断点前的任务完成度;
基于所述任务信息规划目标任务;
控制所述移动装置从所述任务断点开始移动,以执行所述目标任务。
33.根据权利要求22-31任一项所述的装置,其特征在于,所述移动装置为无人飞行器。
34.一种任务执行系统,其特征在于,包括:能够自主移动的第一移动装置和第二移动装置以及分别与所述第一移动装置和所述第二移动装置通信的地面站,所述第一移动装置和第二移动装置均挂载有拍摄装置;
所述第一移动装置,用于在执行第一任务过程中设置任务断点的位置信息,并将所述任务断点的位置信息发送给所述地面站,所述任务断点的位置信息包括:所述任务断点的环境图像信息;
所述地面站,用于将所述任务断点的位置信息发送给所述第二移动装置;
所述第二移动装置,用于获取所述地面站发送的所述任务断点的位置信息;根据在目标位置获取到的环境图像信息与所述任务断点的环境图像信息,确定所述目标位置与衔接位置点的位置关系;其中,所述衔接位置点是根据所述任务断点的环境图像信息所确定的;基于所述位置关系从所述目标位置移动至所述衔接位置点,并基于所述衔接位置点执行第二任务。
35.根据权利要求34所述的系统,其特征在于,
所述第二移动装置,用于移动至基于所述任务断点的定位信息所确定的所述目标位置。
36.根据权利要求34所述的系统,其特征在于,
所述第二移动装置,用于基于所述任务断点的定位信息,获取至少一个所述参考图像信息;根据在所述目标位置获取到的环境图像信息与各个参考图像信息,确定所述目标位置与所述衔接位置点的位置关系。
37.根据权利要求36所述的系统,其特征在于,
所述第二移动装置,用于将在所述目标位置获取到的环境图像分别与所述各个参考图像信息所包括的参考图像进行匹配;将匹配成功的目标参考图像所对应的位置确定为所述衔接位置点;基于所述目标参考图像对应的位置与所述目标位置的关系,确定所述目标位置与所述衔接位置点的位置关系。
38.根据权利要求34所述的系统,其特征在于,
所述第二移动装置,用于在所述目标位置获取到的环境图像与所述特定图像的匹配度大于预置数值时,将所述特定图像对应的位置确定为所述衔接位置点;基于所述在所述目标位置获取到的环境图像信息和所述特定图像信息,确定所述目标位置与所述衔接位置点的位置关系。
39.根据权利要求34-38任一项所述的系统,其特征在于,
所述第二移动装置,用于获取所述任务断点的位置信息中指示给所述第二移动装置的第二任务的任务信息,所述任务信息中包括所述第二任务的起点的位置信息;基于所述任务信息规划所述第二任务;控制所述第二移动装置从所述衔接位置点移动至所述第二任务的起点位置,并从所述起点位置开始执行所述第二任务。
40.根据权利要求39所述的系统,其特征在于,
所述第二移动装置,用于基于所述位置关系从所述目标位置移动至所述衔接位置点;从所述衔接位置点开始执行所述第二任务;其中,所述第一任务和第二任务为同一个任务的两个不同任务阶段。
41.根据权利要求39所述的系统,其特征在于,
所述第二移动装置,用于基于所述位置关系从所述目标位置移动至所述衔接位置点;从所述衔接位置点移动到第二任务的起点位置;从所述从起点位置开始执行所述第二任务;其中,所述第一任务和第二任务为同一个任务的两个不同任务阶段。
42.根据权利要求39所述的系统,其特征在于,
所述第二移动装置,用于基于所述位置关系从所述目标位置移动至所述衔接位置点;从所述衔接位置点移动到第二任务的起点位置;从所述从起点位置开始执行所述第二任务;其中,所述第一任务和第二任务为两个不同的任务。
43.根据权利要求34-42任一项所述的系统,其特征在于,所述第一移动装置和所述第二移动装置均为无人飞行器。
44.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至21任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110899322.4A CN113589850A (zh) | 2017-11-25 | 2017-11-25 | 一种任务执行方法、移动装置、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/112977 WO2019100353A1 (zh) | 2017-11-25 | 2017-11-25 | 一种任务执行方法、移动装置、系统及存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110899322.4A Division CN113589850A (zh) | 2017-11-25 | 2017-11-25 | 一种任务执行方法、移动装置、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108885470A true CN108885470A (zh) | 2018-11-23 |
CN108885470B CN108885470B (zh) | 2021-08-24 |
Family
ID=64325683
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110899322.4A Withdrawn CN113589850A (zh) | 2017-11-25 | 2017-11-25 | 一种任务执行方法、移动装置、系统及存储介质 |
CN201780012793.0A Expired - Fee Related CN108885470B (zh) | 2017-11-25 | 2017-11-25 | 一种任务执行方法、移动装置、系统及存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110899322.4A Withdrawn CN113589850A (zh) | 2017-11-25 | 2017-11-25 | 一种任务执行方法、移动装置、系统及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN113589850A (zh) |
WO (1) | WO2019100353A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109866225A (zh) * | 2019-03-26 | 2019-06-11 | 上海钛米机器人科技有限公司 | 机器人任务处理方法、服务器、机器人及机器人系统 |
CN110119160A (zh) * | 2019-06-04 | 2019-08-13 | 中国人民解放军国防科技大学 | 面向察打一体无人机的快速实时动态任务规划方法 |
CN111142563A (zh) * | 2019-12-31 | 2020-05-12 | 唐山坤翼创新科技有限公司 | 集群植保无人机作业控制方法 |
CN111768235A (zh) * | 2020-06-29 | 2020-10-13 | 京东数字科技控股有限公司 | 监播方法、装置、设备以及存储介质 |
CN113741413A (zh) * | 2020-05-29 | 2021-12-03 | 广州极飞科技股份有限公司 | 一种无人设备的作业方法、无人设备及存储介质 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021035675A1 (zh) * | 2019-08-30 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 一种拍摄方法、装置及拍摄设备 |
CN111338375B (zh) * | 2020-02-27 | 2024-02-23 | 中国科学院国家空间科学中心 | 基于混合策略的四旋翼无人机移动降落的控制方法及系统 |
CN114067424A (zh) * | 2020-07-30 | 2022-02-18 | 中国移动通信有限公司研究院 | 一种人体交互行为识别方法、装置、设备及可读存储介质 |
CN112132466A (zh) * | 2020-09-24 | 2020-12-25 | 中德(珠海)人工智能研究院有限公司 | 基于三维建模的路线规划方法、装置、设备和存储介质 |
CN112612299B (zh) * | 2020-12-01 | 2023-05-23 | 北京麦飞科技有限公司 | 一种微型无人机集群变量植保方法 |
CN114326796B (zh) * | 2021-12-15 | 2023-07-21 | 中国航空工业集团公司成都飞机设计研究所 | 一种适用于航空巡逻反潜的矩形搜索方法 |
CN114326809A (zh) * | 2021-12-29 | 2022-04-12 | 广州极飞科技股份有限公司 | 返航点确定方法、装置、电子设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105460217A (zh) * | 2015-12-03 | 2016-04-06 | 北京奇虎科技有限公司 | 一种基于无人飞行器的续拍方法和无人飞行器 |
CN105468023A (zh) * | 2016-01-20 | 2016-04-06 | 谭圆圆 | 一种无人飞行器的控制方法、设备及系统 |
CN105511488A (zh) * | 2015-12-03 | 2016-04-20 | 北京奇虎科技有限公司 | 一种基于无人飞行器的续拍方法和无人飞行器 |
CN205507548U (zh) * | 2016-01-20 | 2016-08-24 | 谭圆圆 | 一种无人飞行器的控制设备 |
KR20170065925A (ko) * | 2015-12-04 | 2017-06-14 | 주식회사 케이티 | 드론 장치, 관제 서버 및 이에 의한 드론의 교대 방법 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102829785B (zh) * | 2012-08-30 | 2014-12-31 | 中国人民解放军国防科学技术大学 | 基于序列图像和基准图匹配的飞行器全参数导航方法 |
US10386188B2 (en) * | 2015-06-29 | 2019-08-20 | Yuneec Technology Co., Limited | Geo-location or navigation camera, and aircraft and navigation method therefor |
-
2017
- 2017-11-25 CN CN202110899322.4A patent/CN113589850A/zh not_active Withdrawn
- 2017-11-25 CN CN201780012793.0A patent/CN108885470B/zh not_active Expired - Fee Related
- 2017-11-25 WO PCT/CN2017/112977 patent/WO2019100353A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105460217A (zh) * | 2015-12-03 | 2016-04-06 | 北京奇虎科技有限公司 | 一种基于无人飞行器的续拍方法和无人飞行器 |
CN105511488A (zh) * | 2015-12-03 | 2016-04-20 | 北京奇虎科技有限公司 | 一种基于无人飞行器的续拍方法和无人飞行器 |
KR20170065925A (ko) * | 2015-12-04 | 2017-06-14 | 주식회사 케이티 | 드론 장치, 관제 서버 및 이에 의한 드론의 교대 방법 |
CN105468023A (zh) * | 2016-01-20 | 2016-04-06 | 谭圆圆 | 一种无人飞行器的控制方法、设备及系统 |
CN205507548U (zh) * | 2016-01-20 | 2016-08-24 | 谭圆圆 | 一种无人飞行器的控制设备 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109866225A (zh) * | 2019-03-26 | 2019-06-11 | 上海钛米机器人科技有限公司 | 机器人任务处理方法、服务器、机器人及机器人系统 |
CN109866225B (zh) * | 2019-03-26 | 2021-07-13 | 上海钛米机器人股份有限公司 | 机器人任务处理方法、服务器、机器人及机器人系统 |
CN110119160A (zh) * | 2019-06-04 | 2019-08-13 | 中国人民解放军国防科技大学 | 面向察打一体无人机的快速实时动态任务规划方法 |
CN110119160B (zh) * | 2019-06-04 | 2020-05-08 | 中国人民解放军国防科技大学 | 面向察打一体无人机的快速实时动态任务规划方法 |
CN111142563A (zh) * | 2019-12-31 | 2020-05-12 | 唐山坤翼创新科技有限公司 | 集群植保无人机作业控制方法 |
CN113741413A (zh) * | 2020-05-29 | 2021-12-03 | 广州极飞科技股份有限公司 | 一种无人设备的作业方法、无人设备及存储介质 |
CN113741413B (zh) * | 2020-05-29 | 2022-11-08 | 广州极飞科技股份有限公司 | 一种无人设备的作业方法、无人设备及存储介质 |
CN111768235A (zh) * | 2020-06-29 | 2020-10-13 | 京东数字科技控股有限公司 | 监播方法、装置、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113589850A (zh) | 2021-11-02 |
WO2019100353A1 (zh) | 2019-05-31 |
CN108885470B (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108885470A (zh) | 一种任务执行方法、移动装置、系统及存储介质 | |
Borowczyk et al. | Autonomous landing of a quadcopter on a high-speed ground vehicle | |
WO2017211029A1 (zh) | 无人机飞行路径规划方法和装置 | |
US20190235502A1 (en) | Methods and Systems for Determining Flight Plans for Vertical Take-Off and Landing (VTOL) Aerial Vehicles | |
CN111699455B (zh) | 飞行航线生成方法、终端和无人机 | |
CN112789672B (zh) | 控制和导航系统、姿态优化、映射和定位技术 | |
Zhao et al. | Vision-aided estimation of attitude, velocity, and inertial measurement bias for UAV stabilization | |
CN110291483A (zh) | 一种无人机控制方法、设备、无人机、系统及存储介质 | |
CN111650962B (zh) | 一种适用于带状测区的多旋翼无人机航线规划与航摄方法 | |
Nonami | Present state and future prospect of autonomous control technology for industrial drones | |
CN112136137A (zh) | 一种参数优化方法、装置及控制设备、飞行器 | |
US20240176367A1 (en) | Uav dispatching method, server, dock apparatus, system, and storage medium | |
Courbon et al. | Visual navigation of a quadrotor aerial vehicle | |
Mercado et al. | Quadrotor's trajectory tracking control using monocular vision navigation | |
Bailey | Unmanned aerial vehicle path planning and image processing for orthoimagery and digital surface model generation | |
Andersen et al. | Improving MAV pose estimation using visual information | |
Fathian et al. | Vision-based distributed formation control of unmanned aerial vehicles | |
Kaiser et al. | Localization and control of an aerial vehicle through chained, vision-based pose reconstruction | |
Cui et al. | Landmark extraction and state estimation for UAV operation in forest | |
Ajmera et al. | Autonomous visual tracking and landing of a quadrotor on a moving platform | |
Zhao et al. | Design and implementation of homography-based vision-aided inertial navigation of UAVs | |
Mulgaonkar | Small, Safe Quadrotors for Autonomous Flight | |
Denuelle et al. | Snapshot-based Navigation for the Guidance of UAS | |
Bauer et al. | Optimal waypoint guidance, trajectory design and tracking | |
CN112149467A (zh) | 飞机集群执行任务的方法和长机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210824 |