CN110730934A - 轨迹切换的方法和装置 - Google Patents
轨迹切换的方法和装置 Download PDFInfo
- Publication number
- CN110730934A CN110730934A CN201880037381.7A CN201880037381A CN110730934A CN 110730934 A CN110730934 A CN 110730934A CN 201880037381 A CN201880037381 A CN 201880037381A CN 110730934 A CN110730934 A CN 110730934A
- Authority
- CN
- China
- Prior art keywords
- track
- control point
- trajectory
- unmanned aerial
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 17
- 230000002452 interceptive effect Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种轨迹切换的方法和装置,该方法包括:(S110)无人机沿第一轨迹运行,该第一轨迹为圆弧轨迹,该第一轨迹所在圆的圆心为第一圆心,半径为第一半径,该第一圆心位于第一位置;(S120)该无人机确定第二位置,该第二位置是相对该第一位置更新后的兴趣点的位置;(S130)该无人机根据该第二位置确定第二轨迹,该第二轨迹也为圆弧轨迹,该第一轨迹与该第二轨迹相切,该第二轨迹所在圆的圆心为第二圆心,半径为第二半径,该第二圆心位于第二位置;(S140)该无人机由该第一轨迹切换至沿第二轨迹运行。该轨迹切换的方法通过更新兴趣点的位置,在两段圆弧轨迹间进行切换,两段圆弧轨迹相切,使得无人机在自主性飞行时的各段轨迹平滑连接,能够提升无人机的自主性操作,提高用户体验。
Description
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及无人机领域,尤其涉及一种无人机轨迹切换的方法和装置。
背景技术
兴趣点(point of interest,POI)是丰富导航地图的重要资讯。在地理信息系统中,POI可以是一栋房子、一个商铺、一个邮筒或一个公交站等。随着科技的发展,无人机被应用在越来越多的场景中,使无人机自主进行飞行操作是无人机领域发展的一个重要目标。在无人机领域,POI环绕是用户最感兴趣的飞行模式之一。现有的技术中,无人机通常是在获得地图上某个POI的准确坐标后,首先以最高效率例如直线飞行至POI附近,然后以一定的半径进行POI环绕。然而,这种POI环绕方式要求知道POI的准确坐标,飞行轨迹固化,无人机自主性操作差。此外,在POI环绕中,现有的无人机飞行时的各段轨迹联接和切换不平滑,用户体验较差。
发明内容
本申请提供了一种轨迹切换的方法和装置,使得无人机在自主性飞行时的各段轨迹平滑联接,能够提升无人机的自主性操作,提高用户体验。
第一方面,提供了一种轨迹切换的方法,包括:无人机沿第一轨迹运行,所述第一轨迹为圆弧轨迹,所述第一轨迹所在圆的圆心为第一圆心,半径为第一半径,所述第一圆心位于第一位置;所述无人机确定第二位置,所述第二位置是相对所述第一位置更新后的兴趣点的位置;所述无人机根据所述第二位置确定第二轨迹,所述第二轨迹也为圆弧轨迹,所述第一轨迹与所述第二轨迹相切,所述第二轨迹所在圆的圆心为第二圆心,半径为第二半径,所述第二圆心位于第二位置;所述无人机由所述第一轨迹切换至沿第二轨迹运行。
第二方面,提供了一种轨迹切换的装置,包括:处理器和存储器,所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实施以下操作:使无人机沿第一轨迹运行,所述第一轨迹为圆弧轨迹,所述第一轨迹所在圆的圆心为第一圆心,半径为第一半径,所述第一圆心位于第一位置;确定第二位置,所述第二位置是相对所述第一位置更新后的兴趣点的位置;根据所述第二位置确定第二轨迹,所述第二轨迹也为圆弧轨迹,所述第一轨迹与所述第二轨迹相切,所述第二轨迹所在圆的圆心为第二圆心,半径为第二半径,所述第二圆心位于第二位置;使所述无人机由所述第一轨迹切换至沿第二轨迹运行。
第三方面,提供了一种无人机,包括第二方面的轨迹切换的装置。
第四方面,提供了一种计算机可读存储介质,其上存储有指令,当指令在计算机上运行时,使得计算机执行第一方面的方法。
第五方面,提供了一种计算机程序,该计算机程序使得计算机执行第一方面的方法。
第一方面至第五方面,通过更新兴趣点的位置,在两段圆弧轨迹间进行切换,两段圆弧轨迹相切,使得无人机在自主性飞行时的各段轨迹平滑联接,能够提升无人机的自主性操作,提高用户体验。
第六方面,提供了一种轨迹切换的方法,包括:无人机将第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点,所述第二轨迹为无人机待切换至的轨迹;所述无人机从所述N+1个航点中确定距离所述无人机当前所处的位置最近的航点;所述无人机确定所述无人机当前所处的位置到经所述最近的航点做的所述第二轨迹的切线的垂足为目标点;所述无人机经由所述目标点,切换至沿所述第二轨迹运行。
第七方面,提供了一种轨迹切换的装置,包括:处理器和存储器,所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实施以下操作:将第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点,所述第二轨迹为无人机待切换至的轨迹;从所述N+1个航点中确定距离无人机当前所处的位置最近的航点;确定所述无人机当前所处的位置到经所述最近的航点做的所述第二轨迹的切线的垂足为目标点;使所述无人机经由所述目标点,切换至沿所述第二轨迹运行。
第八方面,提供了一种无人机,包括第七方面的轨迹切换的装置。
第九方面,提供了一种计算机可读存储介质,其上存储有指令,当指令在计算机上运行时,使得计算机执行第六方面的方法。
第十方面,提供了一种计算机程序,该计算机程序使得计算机执行第六方面的方法。
第六方面至第十方面,将待切换至的轨迹离散化出多个航点,确定距离该无人机当前所处的位置最近的航点,并经该最近的航点做的轨迹切线,将垂足作为目标点,经由该目标点,将无人机切换至沿该轨迹运行,可以使得无人机平滑地进行轨迹切换,可以提高用户体验。
附图说明
图1是本申请实施例的轨迹切换的方法的示意性流程图。
图2是本申请实施例提供的一种应用场景的示意图。
图3是本申请一个实施例的参考图像的示意图。
图4是本申请一个实施例的无人机的控制方法的示意性流程图。
图5是本申请实施例提供的无人机对参考对象进行环绕飞行的示意图。
图6是本申请另一实施例的无人机的控制方法的示意性流程图。
图7是本申请实施例提供的特征点跟踪的示意图。
图8是本申请实施例提供的三维坐标和像素坐标对应关系的示意图。
图9是本申请实施例提供的无人机对参考对象进行环绕飞行的示意图。
图10是本申请实施例提供的无人机对目标对象进行环绕飞行的示意图。
图11是本申请另一实施例的无人机的控制方法的示意性流程图。
图12是本申请实施例提供的特征点跟踪的示意图。
图13是本申请一个实施例的三阶贝塞尔曲线拟合生成圆形轨迹的原理的示意图。
图14是本申请一个实施例的第一圆心与四个控制点的示意图。
图15是本申请一个实施例的第一轨迹和第二轨迹的示意图。
图16是本申请一个实施例的确定目标点的原理的示意图。
图17是本申请另一实施例的轨迹切换的方法的示意性流程图。
图18是本申请一个实施例的轨迹切换的装置的示意性框图。
图19是本申请另一实施例的轨迹切换的装置的示意性框图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
本申请实施例的轨迹切换的方法和装置可以应用于带有单个或多个摄像头的无人机或其他载具,尤其是具有自主操作功能的载具,例如无人驾驶的汽车、自动飞行的无人机、无人地面机器人和无人船等。为了方便解释,本文以无人机来进行示意性说明。可以理解的是,本文中的无人机可以被同等地替代为上述载具。
在本申请的一些实施例中,无人机逐步精确地测算POI的位置(可以是三维位置也可以是省略高度的二维位置),并可以自动环绕POI进行拍摄。由于初始阶段,无人机可能不知道POI的位置,一般按照预设半径(例如300m)来进行环绕。在随后的测算中,可以每次得到关于POI的位置一个测算结果,该测算结果会随测算次数的增加逐渐准确,直至在满足一定精度条件时,给出最终的测算结果。在这个过程中,因为POI的位置的测算可能不会一次就准确,所以环绕圆心和半径可以是变化的。这给航线规划以及轨迹的切换和控制带来了一定的挑战。
图1是本申请实施例的轨迹切换的方法100的示意性流程图。如图1所示,方法100可以包括以下步骤。
S110,无人机沿第一轨迹运行,该第一轨迹为圆弧轨迹,该第一轨迹所在圆的圆心为第一圆心,半径为第一半径,该第一圆心位于第一位置(POI)。
S120,该无人机确定第二位置,该第二位置是相对该第一位置更新后的兴趣点的位置。
S130,该无人机根据该第二位置确定第二轨迹,该第二轨迹也为圆弧轨迹,该第一轨迹与该第二轨迹相切,该第二轨迹所在圆的圆心为第二圆心,半径为第二半径,该第二圆心位于第二位置。
S140,该无人机由该第一轨迹切换至沿第二轨迹运行。
本申请实施例的轨迹切换的方法,通过更新兴趣点的位置,在两段圆弧轨迹间进行切换,两段圆弧轨迹相切,使得无人机在自主性飞行时的各段轨迹平滑联接,能够提升无人机的自主性操作,提高用户体验。
具体而言,无人机先沿圆心为第一位置(初始的位置或者先测算的POI的位置)、半径为第一半径的圆弧、或圆形或多于一个完整圆形的轨迹运行。之后,无人机再次测算POI的位置,测算结果为第二位置,即第二位置是相对第一位置更新后的POI的位置。无人机根据新的第二位置确定新的轨迹即第二轨迹,该第二轨迹与第一轨迹相切(例如内切或外切)。无人机沿圆心为第二位置、半径为第二半径的圆弧、或圆形或多于一个完整圆形的轨迹运行。
应理解,第一轨迹与第二轨迹相切的切点可以是无人机当前所处的位置,即无人机立即切换轨迹。第一轨迹与第二轨迹相切的切点也可以是第一轨迹上无人机当前所处的位置之后的位置,即无人机继续沿第一轨迹运行一段之后再切换轨迹,本申请各实施例对此不做限定。
还应理解,本文中兴趣点还可以被称作目标对象。
可选地,在本申请一些实施例中,该第一位置和/或该第二位置可以为通过该无人机上设置的双目相机或单目相机根据视觉测量算法计算得到的。即,第一位置和/或第二位置可以是逐步精确地测算POI的位置的过程中测算得到的。
具体地,第一位置和/或第二位置可以是通过以下步骤S1和S2得到的。
步骤S1,无人机获取目标对象的指示信息,其中,所述指示信息包括目标对象在拍摄装置输出的参考图像中的位置信息。
图2是本申请实施例提供的一种应用场景的示意图。如图2所示,无人机20搭载有拍摄装置21,拍摄装置21具体可以是相机、摄像机等。具体的,拍摄装置21可通过云台22搭载在无人机20上,或者,拍摄装置21通过其他固定装置固定在无人机20上。该拍摄装置21可实时拍摄获得视频数据或图像数据,并将该视频数据或图像数据通过无人机20的无线通讯接口23发送给控制终端24,该控制终端24具体可以是无人机20对应的遥控器,也可以是用户终端例如智能手机、平板电脑等。另外,该无人机20还可以包括控制装置,该控制装置可以包括通用或者专用的处理器,此处只是示意性说明,并不限定该无人机的具体结构。
可选的,拍摄装置21拍摄的图像中包括如图2所示的目标对象31,此处,将拍摄装置21输出的某一帧图像记为参考图像,该无人机20的处理器可获取该目标对象的指示信息,该指示信息包括该目标对象在该参考图像中的位置信息。
作为一种可能的方式,所述获取目标对象的指示信息,包括:接收控制终端发送的指示信息,其中,所述指示信息是所述控制终端检测用户在显示所述参考图像的交互界面上的目标对象选择操作确定的。
具体的,拍摄装置21输出该参考图像后,通过无线通讯接口23将该参考图像发送给控制终端24,控制终端24将该参考图像显示在交互界面中,使得用户可以在该交互界面中对该参考图像中的目标对象进行选择。图3是本申请一个实施例的参考图像的示意图。如图3所示,30表示该交互界面中显示的参考图像,参考图像30中包括目标对象31,用户在该交互界面中对目标对象31进行选择的一种可能方式是:用户选择点32,并从点32开始滑动到点33,此处只是示意性说明,本实施例不限定具体的选择操作。控制终端24可根据用户在该交互界面中的选择操作,确定出用户在该交互界面中框选的区域34,并确定出区域34在该参考图像30中的位置信息,例如,控制终端24可确定出该区域34的左上角即点32在该参考图像30中的位置信息和该区域34的大小例如长、宽,或者,控制终端24可确定该区域34的左上角即点32在该参考图像30中的位置信息和该区域34的右下角即点33在该参考图像30中的位置信息。进一步,控制终端24可将该区域34在该参考图像30中的位置信息作为该目标对象31在该参考图像30中的位置信息即该目标对象31的指示信息发送给无人机20。
作为另一种可能的方式,所述获取目标对象的指示信息,包括:对参考图像中的目标对象进行识别以获取目标对象的指示信息。
具体地,无人机的处理器可以对拍摄装置21输出的参考图像中的目标对象进行识别,通过识别获取目标对象的指示信息。进一步地,无人机的处理器可以将参考图像输入到已经训练好的神经网络模型,并获取所述神经网络模型输出的目标对象的指示信息。
步骤S2,根据所述指示信息确定所述目标对象的位置信息。
具体地,在获取到目标对象的指示信息之后,无人机可以根据所述指示信息确定目标对象的位置信息,其中,所述目标对象的位置信息可以为三维位置信息或者二维位置信息;所述目标对象的位置信息可以为基于世界坐标系中的位置信息;另外,所述目标对象的位置信息也可以为基于全局坐标系中的位置信息,所述位置信息可以至少包括经度和纬度;此外,所述目标对象的位置信息还可以为基于无人机的机体坐标系中的位置信息。
作为一种可实现方式,所述根据所述指示信息确定所述目标对象的位置信息包括:根据所述指示信息确定目标对象相对于无人机的朝向,根据所述朝向和无人机与目标对象之间的水平距离或者无人机的对地高度值确定目标对象的位置信息。
具体地,本实施例可根据目标对象31在该参考图像30中的位置信息、承载拍摄装置21的云台的姿态确定目标对象31相对于无人机20的朝向;再根据所述朝向、目标对象31与无人机20之间的水平距离确定目标对象31的位置信息。其中,拍摄装置21具有的视场角(FOV)是已知的,根据目标对象31在参考图像中的位置信息可以确定目标对象31相对于拍摄装置21的光轴的角度,例如:若目标对象31在参考图像的正中心,则说明目标对象31相对于拍摄装置的光轴的角度为0,若拍摄装置21的FOV在水平方向为20度,若目标对象31在参考图像的最左边,则说明目标对象31相对于拍摄装置21的光轴的水平角度为10度,垂直方向上也类似,此处不再赘述;另外,拍摄装置21的云台22的姿态也决定了拍摄装置21的光轴的朝向,结合目标对象31相对于拍摄装置21的光轴的角度以及光轴的朝向,可以获得目标对象31相对于无人机20的朝向。进一步,根据目标对象31相对于无人机20的朝向、目标对象31与无人机20之间的水平距离确定目标对象31的位置信息。在某些实施例中,根据目标对象31相对于无人机20的朝向、目标对象31与无人机20之间的水平距离或者无人机20的对地高度值确定目标对象31的位置信息。
继续参考图2,根据目标对象31相对于无人机20的朝向可确定目标对象31相对于无人机20在俯仰方向上的角度,例如图2所示的α角,然后,可以获取无人机20上配置的距离传感器测量的无人机的对地高度值,例如图2所示的h,根据所述α角和对地高度值即可以确定目标对象相对于无人机在垂直方向上的位置信息,另外,根据目标对象31相对于无人机20的朝向还可确定目标对象31相对于无人机20在偏航方向上的角度例如β角,根据β角和目标对象31与无人机20之间的水平距离L即可以确定目标对象相对于无人机在水平方向上的位置信息;根据目标对象相对于无人机在垂直方向上的位置信息和目标对象相对于无人机在水平方向上的位置信息即可确定出目标对象相对于无人机的位置信息,进一步,根据目标对象相对于无人机的位置信息和无人机的位置信息可确定出目标对象的位置信息,该目标对象的位置信息可以是该目标对象在世界坐标系中的位置,也可以是该目标对象在全局坐标系中的位置。
另外,在某些实施例,也可以根据目标对象31与无人机20之间的水平距离L和所述α角确定目标对象相对于无人机在垂直方向上的位置信息。其中,目标对象的指示信息可以指示目标对象在参考图像中对应的图像区域的大小,所述目标对象31与无人机20之间的水平距离可以根据所述图像区域的大小确定。
在步骤S2后,可以根据所述目标对象的位置信息控制所述无人机环绕所述目标对象移动。
具体的,当无人机20的处理器确定出目标对象31的位置信息后,以该目标对象31为中心,根据无人机20与目标对象31之间的位置关系生成环绕轨迹,并控制无人机20在该环绕轨迹上移动,即控制无人机20在该环绕轨迹上飞行,实现环绕目标对象31飞行。在无人机20环绕该目标对象31飞行的过程中,拍摄装置21可实时拍摄目标对象31,并将拍摄获得的图像数据或视频数据通过无线通讯接口23发送给控制终端24,以便用户浏览观看。
本实施例通过获取拍摄装置拍摄的目标对象在该拍摄装置输出的参考图像中的位置信息,确定该目标对象的位置信息,并根据该目标对象的位置信息控制无人机环绕该目标对象移动,使得无人机不需要移动到环绕中心去记录环绕中心的位置,即可实现该无人机环绕该目标对象移动,简化了无人机实现对目标对象环绕移动的过程,同时提高了无人机的操作安全性。
本申请实施例提供一种无人机的控制方法。图4是本申请另一实施例提供的无人机的控制方法的流程图。如图4所示,在图1所示实施例的基础上,本实施例提供了根据所述指示信息确定所述目标对象的位置信息的另一种可实现方式,具体的,根据所述指示信息确定所述目标对象的位置信息,可以包括如下步骤:
步骤S401、控制所述无人机对参考对象进行环绕移动。
在本实施例中,可在无人机的正前方预设距离处取一个点为参考对象,该参考对象具体为虚拟目标点,控制无人机对该参考对象进行环绕飞行。图5为本申请实施例提供的无人机对参考对象进行环绕飞行的示意图。如图5所示,50表示无人机正前方预设距离处的参考对象,51表示无人机的机头,无人机内的处理器具体可控制该无人机对参考对象50进行环绕飞行。
作为一种可能的方式,所述控制所述无人机对参考对象进行环绕移动,包括:根据预设的环绕半径确定参考对象,控制所述无人机对参考对象进行环绕移动。
具体的,控制该无人机以参考对象50为环绕中心,以预设的环绕半径例如500米为半径,生成一条环形轨迹,如图5所示的环形轨迹53,并控制该无人机在该环形轨迹53上对参考对象50进行环绕飞行。可选的,该无人机可沿着逆时针方向在该环形轨迹53上飞行,也可以沿着顺时针方向在该环形轨迹53上飞行。可选的,当无人机内的处理器接收到控制终端发送的目标对象的指示信息后,即可根据该预设的环绕半径确定参考对象,并控制该无人机对参考对象进行环绕飞行。也就是说,当用户在参考图像中框选出目标对象后,无人机即可对参考对象进行环绕飞行。
作为另一种可能的方式,所述控制所述无人机对参考对象进行环绕移动,包括:在接收到所述控制终端发送的启动控制指令后,控制所述无人机对参考对象进行环绕移动。
具体的,如图3所示,当用户框选目标对象31后,该交互界面中可显示启动控制按键35,该启动控制按键35具体可以是该交互界面中的一个图标,也就是说,当用户框选目标对象31后,无人机并不立即对参考对象进行环绕飞行,而是等到用户在该交互界面中点击该启动控制按键35后,该无人机才开始对参考对象进行环绕飞行。具体的,当用户在该交互界面中点击该启动控制按键35时,控制终端根据用户的点击操作生成启动控制指令,并将该启动控制指令发送给无人机,当无人机内的处理器接收到该启动控制指令后,控制无人机对参考对象进行环绕飞行,具体的环绕控制方式可以是如图5所示的方式,此处不再赘述。
步骤S402、在所述无人机环绕参考对象移动的过程中,获取所述拍摄装置输出的多帧第一目标图像,其中,所述第一目标图像中包括所述目标对象。
如图5所示,以该无人机沿着顺时针方向在该环形轨迹53上飞行为例,当该无人机在对参考对象50进行环绕飞行的过程中,该无人机的拍摄装置还可以对目标对象31进行拍摄,并输出包括该目标对象31的目标图像,本实施例将该无人机在对参考对象50进行环绕飞行的过程中拍摄的目标图像记为第一目标图像,且该无人机的拍摄装置输出的第一目标图像可以是多帧。具体的,该无人机在对参考对象50进行环绕飞行的过程中,该无人机的处理器可获取到拍摄装置输出的多帧第一目标图像,该第一目标图像中包括目标对象31。此处不限定目标对象31相对于拍摄装置的光轴偏移的角度,只要保证目标对象31在拍摄装置的拍摄画面中即可。
步骤S403、根据所述目标对象的指示信息和所述多帧第一目标图像确定所述目标对象的位置信息。
该无人机的处理器可根据上述实施例中获取到的目标对象31的指示信息,以及上述步骤中获取到的多帧第一目标图像确定目标对象31的位置信息。
可选的,所述根据所述目标对象的指示信息和所述多帧第一目标图像确定所述目标对象的位置信息,可以包括如图6所示的如下步骤:
步骤S601、获取所述参考图像的目标区域中的特征点,其中,所述目标区域为所述参考图像中所述指示信息指示的图像区域。
当无人机接收到控制终端发送的目标对象的指示信息后,可根据该目标对象的指示信息确定出该参考图像的目标区域,该目标区域具体为该指示信息指示的图像区域。例如图3所示,无人机接收到控制终端发送的区域34在该参考图像30中的位置信息或者通过识别获取区域34在该参考图像30中的位置信息后,该无人机的处理器可在该参考图像30中确定出目标区域,该目标区域具体可以是区域34,也就是说,无人机可以将用户在交互界面中框选的区域作为该目标区域。进一步,该无人机的处理器可获取该目标区域中的特征点,可选的,该处理器可根据预设的特征点提取算法确定出该目标区域中的特征点,该特征点提取算法包括如下至少一种:Harris角点检测算法、尺度不变特征变换(Scale-invariantfeature transform,SIFT)、加速稳健特征(Speeded Up Robust Features,SURT)算法、快速特征点提取和描述的算法(Oriented FAST and Rotated BRIEF,ORB)等。可选的,本实施例采用Harris角点检测算法提取该目标区域中的特征点。
步骤S602、基于所述参考图像的目标区域中的特征点利用跟踪算法获取每一帧第一目标图像的特征点。
在获取到该目标区域中的特征点后,利用跟踪算法对该目标区域中的特征点进行跟踪,即利用跟踪算法确定该目标区域中的特征点在每一帧第一目标图像中的位置。该跟踪算法具体可以是(Kanade-Lucas-Tomasi Feature Tracker,KLT)特征跟踪算法。
图7是本申请实施例提供的特征点跟踪的示意图。如图7所示,A、B、C、D、E、F、G分别表示参考图像30的目标区域即区域34中的特征点,特征点A、B、C、D、E、F、G也是目标对象31的特征点。71、72、73分别表示在该无人机环绕参考对象飞行的过程中,拍摄装置依次输出的第一目标图像。根据KLT特征跟踪算法可确定出参考图像30中目标对象31的特征点例如A、B、C、D、E、F、G分别在第一目标图像71、第一目标图像72、第一目标图像73中的位置。例如,拍照装置先输出参考图像30,后续依次输出第一目标图像71、第一目标图像72、第一目标图像73;参考图像30、第一目标图像71、第一目标图像72、第一目标图像73可以是相邻图像,也可以是非相邻图像。
如图5所示,在该无人机环绕参考对象50飞行的过程中,目标对象31相对于该无人机的位置不断变化,导致目标对象31在拍摄装置依次输出的第一目标图像中的位置不断变化,从而使得第一目标图像71、第一目标图像72、第一目标图像73中目标对象31对应的特征点在对应的第一目标图像中的位置不断变化。此处只是示意性说明,并不限定区域34中特征点的个数,也不限定第一目标图像的个数,以及区域34中的特征点在每一帧第一目标图像中的位置。
步骤S603、根据每一帧第一目标图像的特征点在对应的第一目标图像中的位置信息确定目标对象的位置信息。
例如,根据第一目标图像71、第一目标图像72、第一目标图像73中目标对象31对应的特征点在对应的第一目标图像中的位置信息确定目标对象31的位置信息,确定出的该目标对象31的位置信息具体为目标对象31在三维空间中的三维坐标。此处,将根据第一目标图像71、第一目标图像72、第一目标图像73中目标对象31对应的特征点在对应的第一目标图像中的位置信息确定出的目标对象31的位置信息记为第一位置信息。
可以理解,在拍摄装置输出第一目标图像73之后还会输出新的第一目标图像,根据KLT特征跟踪算法可确定出目标对象31的特征点在该新的第一目标图像中的位置;进一步根据第一目标图像71、第一目标图像72、第一目标图像73、新的第一目标图像中目标对象31对应的特征点在对应的第一目标图像中的位置信息可确定出又一个目标对象31的位置信息,此处,将该目标对象31的位置信息记为第二位置信息。上述的第一位置信息和此处的第二位置信息可能相同,也可能不同,但可以理解的是,随着拍摄装置不断输出新的第一目标图像,根据第一目标图像71、第一目标图像72、第一目标图像73、以及拍摄装置后续不断输出的第一目标图像中目标对象31对应的特征点在对应的第一目标图像中的位置信息确定出的目标对象31的位置信息的精准度不断提高。一种可能的方式是,拍摄装置每输出一帧新的第一目标图像,无人机的处理器即可确定出该目标对象31的一个新的位置信息。
可选的,所述根据每一帧第一目标图像的特征点在对应的第一目标图像中的位置信息确定目标对象的位置信息,包括:基于每一帧第一目标图像的特征点在对应的第一目标图像中的位置信息利用拟合算法确定所述目标对象的位置信息。
图8是本申请实施例提供的三维坐标和像素坐标对应关系的示意图。如图8所示,80表示目标对象,81、82、83表示拍摄装置环绕目标对象80按照箭头所示的方向移动的过程中,拍摄装置先后输出的第一目标图像,可以理解,目标对象80上的三维点可映射到第一目标图像81、82、83中,该三维点在第一目标图像81、82、83中的映射点具体可以是第一目标图像81、82、83中的特征点,从第一目标图像81到第一目标图像83的过程中,可跟踪到的特征点的个数在减少。
例如,点A、点B和点C分别为目标对象80上的三维点,点a1、点b1和点c1表示第一目标图像81中的特征点,点a1与点A对应,点b1与点B对应,点c1和点C对应;点a2、点b2和点c2表示第一目标图像82中的特征点,点a2与点A对应,点b2与点B对应,点c2和点C对应;点a3和点b3表示第一目标图像83中的特征点,点a3与点A对应,点b3与点B对应。此处只是示意性说明,并不限定目标对象80、目标对象80上的三维点、以及目标对象80上的三维点在第一目标图像中的映射点。可以理解的是,目标对象80在不同第一目标图像中的位置不同,目标对象80上的同一个三维点在不同第一目标图像中的映射点在对应的第一目标图像中的位置也不同。
根据世界坐标系和像素平面坐标系的转换关系,可得到目标对象80上的三维点在世界坐标系中的三维坐标(xw,yw,zw)与该三维点在第一目标图像中的映射点在该第一目标图像中的位置信息例如像素坐标(μ,υ)的关系,该关系具体如下公式(1)所示:
其中,zc表示该三维点在相机坐标系Z轴上的坐标,K表示相机的内参,R表示相机的旋转矩阵,T表示相机的平移矩阵。在本实施例中,(μ,υ)、K、R、T为已知量,zc和(xw,yw,zw)为未知量。在拍摄装置拍摄不同的第一目标图像时,K是不变的,R、T可以是变化的。
具体的,根据点a1在第一目标图像81中的像素坐标、以及该拍摄装置拍摄第一目标图像81时对应的R、T,可建立一个如公式(1)所示的方程,根据点a2在第一目标图像82中的像素坐标、以及该拍摄装置拍摄第一目标图像82时对应的R、T,可建立另一个如公式(1)所示的方程,根据点a3在第一目标图像83中的像素坐标、以及该拍摄装置拍摄第一目标图像83时对应的R、T,可建立再一个如公式(1)所示的方程,随着该拍摄装置不断输出新的第一目标图像,建立的如公式(1)所示的方程逐渐增加,可以理解,当方程组中方程的个数大于未知量的个数时,可求解出相应的未知量。也就是说,利用拟合算法对这些方程进行求解即可计算出三维点A在世界坐标系中的三维坐标。同理,可计算出三维点B和三维点C在世界坐标系中的三维坐标,此处不再赘述。可以理解,该拍摄装置输出的第一目标图像越多,基于该多帧第一目标图像中的特征点的像素坐标利用拟合算法得到的三维点在世界坐标系中的三维坐标越精确。当确定出目标对象80上的多个三维点例如三维点A、B、C在世界坐标系中的三维坐标后,根据三维点A、B、C在世界坐标系中的三维坐标可确定出目标对象80在世界坐标系中的三维坐标。无人机可以根据目标对象80在世界坐标系中的三维坐标获取目标对象的位置信息。例如,当目标对象31的位置信息为基于全局坐标系中的位置时,可以根据无人机的位置信息和目标对象80在世界坐标系中的三维坐标确定目标对象31的位置信息。当目标对象31的位置信息为基于无人机的机体坐标系中的位置时,可以将目标对象80在世界坐标系中的三维坐标转换到机体坐标系以获取基于所述机体坐标系的位置信息。
另外,所述方法还包括:在获取每一帧第一目标图像的特征点之后,从每一帧第一目标图像的特征点中确定满足预设要求的目标特征点;相应的,所述根据每一帧第一目标图像的特征点在对应的第一目标图像中的位置信息确定目标对象的位置信息,包括:根据每一帧第一目标图像的目标特征点在对应的第一目标图像中的位置信息确定所述目标对象的位置信息。
如图7所示,在获取到第一目标图像71、第一目标图像72、第一目标图像73中的特征点例如A、B、C、D、E、F、G之后,从第一目标图像71、第一目标图像72、第一目标图像73的特征点中确定满足预设要求的目标特征点,例如,每个特征点在第一目标图像71和参考图像30之间的偏移量可能是不同的,假设特征点A在第一目标图像71和参考图像30之间的偏移量记为h1、特征点B在第一目标图像71和参考图像30之间的偏移量记为h2、依次类推,特征点G在第一目标图像71和参考图像30之间的偏移量记为h7,计算h1、h2、…h7的平均值和方差,平均值记为u,方差记为δ2,根据高斯分布选取偏移量在[u-3δ,u+3δ]内的特征点为目标特征点,假设h1在[u-3δ,u+3δ]外,则将第一目标图像71中的特征点A删除,保留第一目标图像71中的特征点B、C、D、E、F、G,将第一目标图像71中的特征点B、C、D、E、F、G作为第一目标图像71的目标特征点。同理,可计算出第一目标图像72和第一目标图像73中的目标特征点,此处不再赘述。
在其他实施例中,根据每个特征点在第一目标图像71和参考图像30之间的偏移量例如h1、h2、…h7,计算出h1、h2、…h7的平均值和方差后,根据高斯分布选取偏移量在[u-3δ,u+3δ]内的特征点为有效点,例如,h1在[u-3δ,u+3δ]外,则将第一目标图像71中的特征点A删除,将第一目标图像71中的特征点B、C、D、E、F、G作为有效点,进一步从该有效点中确定出目标特征点,从该有效点中确定出目标特征点的一种可能的方式是,计算有效点对应的偏移量的平均值,即计算h2、…h7的平均值记为u1。此处将区域34在参考图像30中的位置信息记为ROI0,根据ROI0和u1可确定出区域34在第一目标图像71中的位置信息记为ROI1,具体的,ROI1=ROI0+u1,进一步根据区域34在第一目标图像71中的位置信息ROI1,以及有效点B、C、D、E、F、G在第一目标图像71中的位置信息,确定出有效点B、C、D、E、F、G中哪些点在该区域34内,哪些点不在该区域34内,将有效点B、C、D、E、F、G中不在该区域34内的点进一步剔除掉,剩余的有效点作为该第一目标图像71的目标特征点,同理,可计算出第一目标图像72和第一目标图像73中的目标特征点,此处不再赘述。
通过上述方法确定出第一目标图像71、第一目标图像72和第一目标图像73中的目标特征点后,根据目标特征点在对应的第一目标图像中的位置信息确定目标对象31在世界坐标系中的三维坐标,具体原理与图8所示的原理一致,此处不再赘述。
本实施例通过控制无人机对参考对象进行环绕飞行,在无人机环绕参考对象飞行的过程中获取拍摄装置输出的多帧第一目标图像,根据目标对象的指示信息和多帧第一目标图像确定该目标对象的位置信息,在拍摄装置不断输出第一目标图像时,根据目标对象的指示信息和拍摄装置不断输出的第一目标图像可不断的确定出该目标对象的位置信息,且该目标对象的位置信息的准确度不断提高;另外,在获取到拍摄装置输出的每一帧第一目标图像的特征点之后,从每一帧第一目标图像的特征点中确定满足预设要求的目标特征点,在根据每一帧第一目标图像的目标特征点在对应的第一目标图像中的位置信息确定该目标对象的位置信息时,可提高该目标对象的位置信息的精确度,同时去除不满足该预设要求的特征点,还可降低相应的计算量。
本申请实施例提供一种无人机的控制方法。在上述实施例的基础上,所述方法还包括:根据每一帧第一目标图像的特征点在对应的第一目标图像中的位置信息确定所述无人机在环绕参考对象移动过程中所述拍摄装置相对于目标对象的视差;相应的,所述根据所述目标对象的位置信息控制所述无人机环绕所述目标对象移动,包括:当所述视差大于第一预设视差阈值时,根据所述确定出的所述目标对象的位置信息确定所述无人机对所述目标对象进行环绕移动的环绕轨迹,并控制所述无人机在所述环绕轨迹上移动。
如图7所示,在获取到第一目标图像71、第一目标图像72、第一目标图像73中的特征点例如A、B、C、D、E、F、G之后,根据特征点A、B、C、D、E、F、G分别在第一目标图像71、第一目标图像72、第一目标图像73中的位置信息,可确定出如图5所示的无人机在环绕参考对象50飞行过程中,该无人机的拍摄装置相对于目标对象31的视差,例如,第一目标图像71是无人机在m1位置时拍摄装置拍摄的图像,第一目标图像72是无人机在m2位置时拍摄装置拍摄的图像,第一目标图像73是无人机在m3位置时拍摄装置拍摄的图像。根据特征点A、B、C、D、E、F、G分别在第一目标图像71、第一目标图像72中的位置信息,可确定出无人机从m1位置到m2位置的过程中,该无人机的拍摄装置相对于目标对象31的视差;具体的,将特征点A在第一目标图像71中的像素坐标记为(μ1,υ1),将特征点A在第一目标图像72中的像素坐标记为(μ2,υ2),根据如下公式(2)可计算出特征点A的视差,特征点A的视差记为parallaxA:
其中,R21表示相机在拍摄第一目标图像72时的姿态相对于相机在拍摄第一目标图像71时的姿态在旋转方向上的变化。cx和cy表示相机光心位置,可以理解,该相机光心在第一目标图像71和第一目标图像72中的位置相同。f表示该相机的焦距。同理,可计算出特征点B、C、D、E、F、G的视差,对特征点A、B、C、D、E、F、G的视差取平均值,该平均值为第一目标图像72的视差,第一目标图像72的视差为无人机从m1位置到m2位置的过程中,该无人机的拍摄装置相对于目标对象31的视差。
同理,根据特征点A、B、C、D、E、F、G分别在第一目标图像71、第一目标图像73中的位置信息,可确定出第一目标图像73的视差,该第一目标图像73的视差为无人机从m1位置到m3位置的过程中,该无人机的拍摄装置相对于目标对象31的视差。可以理解,随着无人机沿着环形轨迹53飞行的过程中,该无人机的拍摄装置相对于目标对象31的视差不断变大,利用拟合算法不断的确定目标对象31的三维坐标,所述视差越大,确定出的目标对象的三维坐标的准确度越高,当该无人机的拍摄装置相对于目标对象31的视差大于第一预设视差阈值时,停止拟合算法,获取最新确定出的目标对象31的三维坐标,即目标对象31的精准三维坐标,并根据最新确定出的目标对象31的三维坐标确定无人机对该目标对象31进行环绕飞行的环绕轨迹,该环绕轨迹不同于无人机对参考对象50的环绕轨迹53。
图9是本申请实施例提供的无人机对参考对象进行环绕飞行的示意图。如图9所示,假设无人机沿环绕轨迹53飞行到m3位置时,该无人机的拍摄装置相对于目标对象31的视差大于第一预设视差阈值,则根据最新确定出的目标对象31的三维坐标和预设环绕参数例如环绕半径确定无人机对该目标对象31进行环绕飞行的目标轨迹91,并控制无人机沿着目标轨迹91飞行。
另外,所述方法还包括:确定所述视差的变化速度;根据所述视差的变化速度调节所述无人机环绕参考对象移动的速度。
可选的,所述确定所述视差的变化速度,包括:根据多帧第一目标图像中相邻的两帧第一目标图像的特征点在对应的第一目标图像中的位置信息确定所述视差的变化速度。
例如,第一目标图像71和第一目标图像72是拍摄装置拍摄的多帧第一目标图像中相邻的两帧第一目标图像,将第一目标图像71的视差记为PAi-1,第一目标图像72的视差记为PAi,视差的变化速度记为parallax_speed,parallax_speed=(PAi-PAi-1)/t,t表示第一目标图像71和第一目标图像72之间的时间间隔,如果拍摄装置拍摄第一目标图像的频率是固定的例如30HZ,则parallax_speed还可以表示为parallax_speed=(PAi-PAi-1),即在图像频率固定的情况下,衡量(PAi-PAi-1)/t的大小与衡量PAi-PAi-1的大小其意义是一致的。
具体的,当无人机沿着环形轨迹53开始飞行时,该无人机可按照预设的较小的速度例如2m/s飞行,但是,如果目标对象31距离无人机较远,当无人机沿着环形轨迹53飞了较长时间后,目标对象31在拍摄装置拍摄的第一目标图像中的位置可能变化较小,或者几乎没变化,在这种情况下,可以根据视差的变化速度,调整无人机沿着环形轨迹53飞行的飞行速度。例如,第一预设视差阈值记为T1,假设T1=20,无人机从开始沿着环形轨迹53飞行需要在例如t=2秒内确定出目标对象31的三维坐标,也就是说,需要该无人机的拍摄装置相对于目标对象31的视差在t=2秒内达到第一预设视差阈值T1,则期望的视差的变化速度为T1/t=10,假设根据parallax_speed=(PAi-PAi-1)计算出当前的parallax_speed为2.5,则需要提高无人机的飞行速度,无人机需要达到的飞行速度=无人机当前的飞行速度*(期望的视差的变化速度/当前的parallax_speed)即2m/s*(10/2.5)=8m/s,也就是说,需要将无人机的飞行速度提高到8m/s。
此外,所述方法还包括:当所述视差大于第二预设视差阈值时,根据所述确定出的所述目标对象的位置信息调整所述无人机对参考对象进行环绕移动的半径,其中,所述第一预设视差阈值大于所述第二预设视差阈值。
如图9所示,如果无人机沿环绕轨迹53飞行到m3位置时,该无人机的拍摄装置相对于目标对象31的视差大于第一预设视差阈值,则可根据最新确定出的目标对象31的三维坐标确定无人机对该目标对象31进行环绕飞行的目标轨迹91,但是此时无人机距离该目标轨迹91可能较远,无人机需要从当前位置例如m3位置飞行到目标轨迹91上的一点再开始沿着目标轨迹91飞行。
作为一种可替换方式,如图10所示,假设无人机沿环绕轨迹53飞行到m2位置时,该无人机的拍摄装置相对于目标对象31的视差大于第二预设视差阈值,该第二预设视差阈值小于第一预设视差阈值。此时,利用拟合算法已经可以确定出目标对象31的三维坐标,即目标对象31的粗略三维坐标,并根据该目标对象31的三维坐标和预设环绕参数例如环绕半径确定出无人机对该目标对象31进行环绕飞行的目标轨迹91,即粗略的目标轨迹91,则从m2位置开始,可以不断调整无人机对参考对象50进行环绕飞行的半径,例如不断减小无人机对参考对象50进行环绕飞行的半径,在该无人机以不断减小的环绕半径对参考对象50进行环绕飞行的过程中,该无人机的拍摄装置相对于目标对象31的视差还在不断变化。当该无人机的拍摄装置相对于目标对象31的视差大于第一预设视差阈值时,无人机可能会到达目标轨迹91(准确的目标轨迹)上一点例如m4,或者无人机可能会到达距离目标轨迹91较近的一点,使得无人机可以从该点平滑过渡到目标轨迹91上。
本实施例通过每一帧第一目标图像的特征点在对应的第一目标图像中的位置信息确定无人机在环绕参考对象飞行过程中该拍摄装置相对于目标对象的视差,根据该视差的变化速度调节无人机环绕参考对象飞行的飞行速度,使得无人机可以在较短的时间内确定出目标对象的三维坐标,尤其是当目标对象距离无人机较远、无人机环绕参考对象飞行的飞行速度较小时,通过该视差的变化速度可提高该无人机的飞行速度,提高计算目标对象的三维坐标的效率;另外,通过设置至少两个视差阈值例如第一预设视差阈值和第二预设视差阈值,第一预设视差阈值大于第二预设视差阈值,当该视差大于第二预设视差阈值时,通过调整该无人机对参考对象进行环绕飞行的半径,可使得当该视差大于第一预设视差阈值时,无人机到达对目标对象进行环绕飞行的环绕轨迹上,或者到达距离该环绕轨迹较近的位置,从而使得无人机可以从对参考对象进行环绕飞行的环绕轨迹上平滑过渡到对目标对象进行环绕飞行的环绕轨迹上。
本申请实施例提供一种无人机的控制方法。图11为本申请另一实施例提供的无人机的控制方法的流程图。如图11所示,在上述实施例的基础上,所述方法还包括:在获取到所述指示信息之后,根据所述指示信息控制拍摄装置的拍摄姿态以使所述目标对象处于所述拍摄装置的拍摄画面中心。
如图3所示,当用户在参考图像30中框选出目标对象31时,目标对象31可能不在拍摄装置的拍摄画面中心,在本实施例中,当无人机获取到目标对象31的指示信息,例如接收到控制终端24发送的区域34在该参考图像30中的位置信息后,根据区域34在该参考图像30中的位置信息可确定出目标对象31相对于拍摄装置21的光轴的角度,根据该角度可调整无人机的姿态和/或云台的姿态来控制拍摄装置的拍摄姿态,以使目标对象31相对于拍摄装置的光轴的角度为0,即目标对象31处于所述拍摄装置的拍摄画面中心。
在一些实施例中,当用户框选目标对象31后,无人机即可对参考对象进行环绕飞行;因此,当无人机获取到目标对象31的指示信息后即可调整无人机的姿态和/或云台的姿态,以使目标对象31处于所述拍摄装置的拍摄画面中心,也就是说,在无人机对参考对象进行环绕飞行的过程中调整无人机的姿态和/或云台的姿态,以使目标对象31处于所述拍摄装置的拍摄画面中心,直到该无人机确定出目标对象31的三维坐标。
在另外一些实施例中,当用户框选目标对象31后,无人机并不立即对参考对象进行环绕飞行,而是等到用户在该交互界面中点击该启动控制按键35后,该无人机才开始对参考对象进行环绕飞行。例如,无人机在t1时刻获取到该目标对象的指示信息,用户在t1时刻之后的t2时刻点击了启动控制按键35即无人机从t2时刻开始对参考对象进行环绕飞行,无人机在t2时刻之后的t3时刻确定出了目标对象31的三维坐标。
具体的,无人机可以在t1时刻到t2时刻之间调整无人机的姿态和/或云台的姿态,以使目标对象31处于所述拍摄装置的拍摄画面中心,因为在t1时刻到t2时刻之间无人机可能并没有动,但是目标对象31发生了移动,导致目标对象31在所述拍摄装置的拍摄画面中的位置发生了变化。或者,无人机还可以在t2时刻到t3时刻之间调整无人机的姿态和/或云台的姿态,以使目标对象31处于所述拍摄装置的拍摄画面中心。再或者,无人机还可以在t1时刻到t3时刻之间调整无人机的姿态和/或云台的姿态,以使目标对象31处于所述拍摄装置的拍摄画面中心。
另外,所述方法还包括:在获取到所述指示信息之后,获取所述拍摄装置输出的多帧第二目标图像,其中,所述第二目标图像中包括目标对象。
例如,当用户框选目标对象31后即无人机获取到目标对象31的指示信息后,无人机即可对参考对象进行环绕飞行,在无人机对象进行环绕飞行时获取拍摄装置输出的多帧第二目标图像,则此时的所述多帧第二目标图像包括所述多帧第一目标图像。
再例如,当用户框选目标对象31后,无人机并不立即对参考对象进行环绕飞行,而是等到用户在该交互界面中点击该启动控制按键35后,该无人机才开始对参考对象进行环绕飞行,则无人机获取到目标对象31的指示信息后,拍摄装置输出的多帧第二目标图像可能是拍摄装置在t1时刻到t2时刻之间拍摄的,也有可能是在t2时刻到t3时刻之间拍摄的,还有可能是在t1时刻到t3时刻之间拍摄的。也就是说,多帧第二目标图像至少包括多帧第一目标图像。
相应的,所述根据所述指示信息控制拍摄装置的拍摄姿态,包括如下步骤:
步骤S1101、基于所述参考图像的目标区域中的特征点利用跟踪算法获取每一帧第二目标图像的特征点。
具体的,利用跟踪算法计算该目标区域中的每个特征点在相邻目标图像例如第二目标图像之间的偏移量,如果该特征点在前一帧目标图像相对于后一帧目标图像的偏移量和该特征点在后一帧目标图像相对于前一帧目标图像的偏移量大小相等、方向相反,即可确定该特征点是跟踪正确的特征点。
如图12所示,A、B、C、D、E、F、G分别表示参考图像30的目标区域即区域34中的特征点,特征点A、B、C、D、E、F、G也是目标对象31的特征点。121表示无人机在获取到所述指示信息之后,拍摄装置输出的多帧第二目标图像中的一个第二目标图像,此处只是示意性说明。根据KLT特征跟踪算法可确定出参考图像30中目标对象31的特征点例如A、B、C、D、E、F、G分别在第二目标图像121中的位置。
步骤S1102、根据每一帧第二目标图像的特征点确定目标对象在对应第二目标图像的位置信息。
根据特征点例如A、B、C、D、E、F、G分别在第二目标图像121中的位置,可确定出目标对象31在第二目标图像121中的位置信息,例如目标对象31的中心点N1在第二目标图像121中的位置信息。
步骤S1103、根据所述目标对象在对应第二目标图像的位置信息控制拍摄装置的拍摄姿态。
根据目标对象31的中心点N1在第二目标图像121中的位置信息以及第二目标图像121的中心点N的位置信息,可确定出目标对象31的中心点N1相对于第二目标图像121的中心点N在水平方向上的距离Δμ,以及目标对象31的中心点N1相对于第二目标图像121的中心点N在垂直方向上的距离Δυ,进一步,根据Δμ和拍摄装置在水平方向上的FOV,可确定出目标对象31相对于拍摄装置的光轴在水平方向上偏移的角度,根据Δυ和拍摄装置在垂直方向上的FOV,可确定出目标对象31相对于拍摄装置的光轴在垂直方向上偏移的角度。根据目标对象31相对于拍摄装置的光轴在水平方向和垂直方向上偏移的角度,通过调整无人机和/云台的姿态来调整该拍摄装置的拍摄姿态,以使拍摄装置的光轴对准目标对象31,目标对象31位于第二目标图像121的画面中心。
在其他实施例中,可以不限于将目标对象31调整在第一目标图像或第二目标图像的画面中心,还可以将目标对象31调整在第一目标图像或第二目标图像中的预设区域,也就是说,通过调整无人机和/云台的姿态,使得目标对象31相对于拍摄装置的光轴在水平方向和垂直方向上偏移的角度均为非0的预设角度。
本实施例通过控制拍摄装置的拍摄姿态以使目标对象处于所述拍摄装置的拍摄画面中心,可避免无人机在对参考对象进行环绕飞行时该目标对象移动到该拍摄装置的拍摄画面外而导致无法正常确定目标对象的三维坐标;另外,也可以防止目标对象在移动过程中从拍摄装置的拍摄画面中消失。
在本申请一些实施例中,圆弧或圆形的轨迹,例如第一轨迹和/或第二轨迹可以由贝塞尔曲线拟合生成。可选地,贝塞尔曲线可以为三阶贝塞尔曲线。例如,第一轨迹所在圆的M分之一是由三阶贝塞尔曲线拟合生成的,第一轨迹所在圆的M分之一上包括四个控制点;和/或,第二轨迹所在圆的M分之一是由三阶贝塞尔曲线拟合生成的,第二轨迹所在圆的M分之一上包括四个控制点。
首先简单地说明三阶贝塞尔曲线拟合生成圆形轨迹的原理。
三阶贝塞尔曲线的参数方程为:
P(t)=A(1-t)3+B·3(1-t)2·t+C·3(1-t)·t2+D·t3,
其中,t为曲线参数,t∈[0,1];A、B、C、D为由M段三阶贝塞尔曲线拟合圆形时的四个控制点。
图13是本申请一个实施例的三阶贝塞尔曲线拟合生成圆形轨迹的原理的示意图。图13所示的示意图中M=4,即由4段三阶贝塞尔曲线拟合完整的圆形,其圆心为O。如图13所示,P(0)和P(1)分别经过控制点A和控制点D,即曲线的两个端点。为了便于说明,假设控制点A在x轴上,坐标为(1,0),控制点D在y轴上,坐标为(0,1)。控制点B的坐标为(h,1)和控制点C的坐标为(1,h)。选择合适位置的控制点,例如,选择h=(4/3)tan(π/2M),便能生成平滑的M分之一圆。其中,M=4时,h=(4/3)tan(π/8)≈0.552284749831。
应理解,M分之一圆的起始位置即控制点A可以为无人机当前所处的位置。M分之一圆的圆心可以为当前测算的兴趣点的第一位置。无论是圆弧轨迹、圆形轨迹还是,只需要指定圆心和曲线的起始位置两个点,便能使用四段1/4圆,拼接成一个完整的圆。
下面以第一轨迹为例,详细说明由三阶贝塞尔曲线拟合生成轨迹的过程。
取M=4,将第一圆心标记为O1,四个控制点包括第一控制点A1、第二控制点B1、第三控制点C1和第四控制点D1。第一控制点A1为无人机当前所处的位置,第一控制点A1和第四控制点D1为第一轨迹所在圆的四分之一的两个端点。第二控制点B1在经第一控制点A1的第一轨迹所在圆的切线上,并且第二控制点B1和第四控制点D1位于O1A1的同一侧,第二控制点B1和第一控制点A1之间的距离为h。第三控制点C1在经第四控制点D1的第一轨迹所在圆的切线上,并且第三控制点C1和第一控制点A1位于O1D1的同一侧,第三控制点C1和第四控制点D1之间的距离为h。其中
实际中,第一控制点A1可能不会刚好在x轴上,第一圆心O1可能不会刚好在坐标(0,0)处。可以根据第一圆心O1的位置(即兴趣点的二维位置或三维位置)以及第一控制点A1(即无人机当前所处的位置)来推算点第二控制点B1、第三控制点C1和第四控制点D1。图14是本申请一个实施例的第一圆心与四个控制点的示意图。本申请实施例只关心二维平面,所以忽略高度(即z轴)方向。
第一控制点A1、第二控制点B1、第三控制点C1和第四控制点D1满足以下关系:
假设O1的坐标为(x0,y0),A1的坐标为(xA,yB),则
得到第一控制点A1、第二控制点B1、第三控制点C1和第四控制点D1的坐标,将其代入三阶贝塞尔曲线的参数方程
P(t)=A(1-t)3+B·3(1-t)2·t+C·3(1-t)·t2+D·t3,t∈[0,1]
可以得到第一轨迹,展开并整理后记为
T0(t)=a0+a1·t+a2·t2+a3·t3。
应理解,本申请实施例还可以通过其它方法,例如最小二乘法拟合得到第一轨迹。已知第一轨迹的圆弧的圆心、半径以及其经过的点,可以通过各种方式得到第一轨迹的表达式,本申请实施例不再一一列举。
下面详细说明求得第二轨迹的过程。
在一个实施例中,由于能够得到第一轨迹与第二轨迹相切的切点,将该切点作为第五控制点A2。另外,第二圆心标记为O2,位于第二位置,即相对第一位置更新后的兴趣点的位置。得到这两个点的坐标以及第二半径后,就可以依照类似上述第一轨迹的计算过程,得到第二轨迹。
即M=4,第二圆心标记为O2,四个控制点包括第五控制点A2、第六控制点B2、第七控制点C2和第八控制点D2,第五控制点A2为无人机当前所处的位置,第五控制点A2和第八控制点D2为第二轨迹所在圆的四分之一的两个端点,第六控制点B2在经第五控制点A2的第二轨迹所在圆的切线上,并且第六控制点B2和第八控制点D2位于O2A2的同一侧,第六控制点B2和第五控制点A2之间的距离为h,第七控制点C2在经第八控制点D2的第二轨迹所在圆的切线上,并且第七控制点C2和第五控制点A2位于O2D2的同一侧,第七控制点C2和第八控制点D2之间的距离为h,其中具体过程不再赘述。
在另一个实施例中,第二轨迹可以根据第一圆心、第一半径、第二圆心、第二半径和第一轨迹确定。假设第一圆心为O1、第一半径为R1、第二圆心为O2、第二半径为R2。图15是本申请一个实施例的第一轨迹和第二轨迹的示意图。
第二轨迹可以对第一轨迹进行圆心平移变换和半径尺度变换得到。具体而言,第一步对轨迹进行圆心平移变换,第二圆心为O2至第一圆心为O1的变化值为:Δt=O2-O1,则可以得到轨迹的中间结果为S(t)=T0(t)+Δt。第二步对轨迹进行半径尺度变换,变换比例为则可以得到第二轨迹T1(t)=scale·(S(t)-S(0))+S(0),对其进行整理后,可以为T1(t)=b0+b1·t+b2·t2+b3·t3。
应理解,已知第二轨迹的圆弧的圆心、半径以及其经过的点,便可以通过各种方式得到第二轨迹的表达式,本申请实施例不再一一列举。由于第二轨迹和第一始轨迹是相切的,因此两轨迹在位置上是平滑的。
下面详细说明得到第二轨迹后,无人机进行轨迹切换的过程。
应理解,本申请实施例的第一轨迹、第二轨迹等仅是无人机规划的理想的运行轨迹,在实际运行中,无人机的实际位置通常与理想的运行轨迹有偏差。现有一种路径跟随技术,主要对寻找最近点进行一定的约束,使用上次的位置设定初值,迭代找到最近点,进行跟随控制。虽然现在采用路径跟随技术来纠正运行中的偏差,这种偏差仍然难以避免。另外,由于无人机通常具有较高的飞行速度,在真正的切换时刻,无人机会冲出运行轨迹一段距离。这就使得无人机在切换时通常不是平滑切换。
在本申请的一些实施例中,S140无人机由所述第一轨迹切换至沿第二轨迹运行,可以包括:所述无人机在所述第二轨迹上确定距离所述无人机当前所处的位置最近的点,作为目标点;所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。基于现有的方法,在第二轨迹上确定距离无人机当前所处的位置最近的点可以通过求第二轨迹的二阶导数来实现,此处不再赘述。
在本申请的另一些实施例中,S140无人机由所述第一轨迹切换至沿第二轨迹运行,可以包括:所述无人机将所述第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点;所述无人机从所述N+1个航点中确定距离所述无人机当前所处的位置最近的航点;所述无人机确定所述无人机当前所处的位置到经所述最近的航点做的所述第二轨迹的切线的垂足为目标点;所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
在一种具体的实现方式中,可以将第二轨迹上的至少部分轨迹离散化成多个航点。图16是本申请一个实施例的确定目标点的原理的示意图。例如图16所示的,N可以取值为20,那么该部分轨迹可以被20等分。在图16所示的例子中,该部分轨迹以参数t∈[0,1]来表示,但本申请实施例不限于此。除t=0和t=1始末两个点以外,在t=1/20,2/20,3/20,…,19/20处分别取点,共21个航点。将t的取值分别代入第二轨迹的表达式T1(t)=b0+b1·t+b2·t2+b3·t3,则可以得到该21个航点的坐标点。应理解,这里将N取值为20仅是示例而非限定。
遍历该21个航点,找到与无人机当前所处的位置距离最接近的航点,例如图16所示的为第六个航点(t=5/20对应的航点)。经t=5/20对应的航点做切线,并求取无人机当前所处的位置与切线之间的垂足,作为目标点。
具体求解过程可以根据以下步骤。
第一,求第二轨迹的一阶导数的表达式:
第二,将与无人机当前所处的位置距离最接近的航点t=5/20=t6代入一阶导数的表达式,得到切线的斜率:
将与无人机当前所处的位置距离最接近的航点t=5/20=t6代入第二轨迹的表达式T1(t),求得P1(x1,y1)。
根据直线方程截距式y=kx+c,求得c1=y1-k1x1
所以切线方程为:y=k1x+c1
将无人机当前所处的位置记为P2(x2,y2),无人机当前所处的位置与垂足的连线,必然垂直于切线,所以有:
k2=-1/k1
c2=y2-k2x2
所以垂直于切线的直线方程为:
y=k2x+c2
联立方程求解
即可以得到垂足P3(x3,y3),将其作为目标点。经由该目标点,将无人机由第一轨迹切换至沿第二轨迹运行。
应理解,在本申请的另一些实施例中也可以直接以与无人机当前所处的位置距离最接近的航点作为目标点。将垂足作为目标点相较于直接选用最近的航点作为目标点的情况,不会出现无人机后退导致的不平滑的问题。
在本申请的又一些实施例中,S140无人机由所述第一轨迹切换至沿第二轨迹运行,可以包括:所述无人机将所述第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点;所述无人机从所述N+1个航点中确定距离所述无人机当前所处的位置最近的,并且位于所述无人机当前所处的位置的运动的前方的航点,作为目标点;所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。将位于无人机运动的前方且距离无人机当前所处的位置最近的的航点,作为目标点也可以避免在轨迹切换时出现无人机后退的问题。
在本申请一些实施例中,所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行,可以包括:通过比例-积分-微分(proportion-integral-derivative,PID)控制,所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。其中,PID控制是用来纠正系统响应,执行调节控制的一种技术。
应理解,本申请实施例的无人机由当前所处的位置切换至预定轨迹的过程,可以适用于更广泛的场景,而不局限于切换至的轨迹为圆弧轨迹。因此,本申请实施例还提供了一种轨迹切换的方法。图17是本申请另一实施例的轨迹切换的方法1700的示意性流程图。该方法1700可以包括以下步骤。
S1710,无人机将第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点,该第二轨迹为无人机待切换至的轨迹。
S1720,该无人机从该N+1个航点中确定距离该无人机当前所处的位置最近的航点。
S1730,该无人机确定该无人机当前所处的位置到经该最近的航点做的该第二轨迹的切线的垂足为目标点。
S1740,该无人机经由该目标点,切换至沿该第二轨迹运行。
本申请实施例的轨迹切换的方法,将待切换至的轨迹离散化出多个航点,确定距离该无人机当前所处的位置最近的航点,并经该最近的航点做的轨迹切线,将垂足作为目标点,经由该目标点,将无人机切换至沿该轨迹运行,可以使得无人机平滑地进行轨迹切换,可以提高用户体验。
可选地,在本申请的一些实施例中,该无人机经由该目标点,切换至沿该第二轨迹运行,可以包括:通过PID控制,该无人机经由该目标点,由该第一轨迹切换至沿该第二轨迹运行。
可选地,在本申请的一些实施例中,该第二轨迹可以为圆弧轨迹,该第二轨迹所在圆的圆心为第二圆心,半径为第二半径,该第二圆心位于第二位置。
可选地,在本申请的一些实施例中,在该无人机经由该目标点,切换至沿该第二轨迹运行之前,该方法1700还可以包括:该无人机沿第一轨迹运行,该第一轨迹为圆弧轨迹,该第一轨迹所在圆的圆心为第一圆心,半径为第一半径,该第一圆心位于第一位置,该第一轨迹与该第二轨迹相切,该第二位置是相对该第一位置更新后的兴趣点的位置。
可选地,在本申请的一些实施例中,该第二位置可以为通过该无人机上设置的双目相机或单目相机根据视觉测量算法计算得到的。
可选地,在本申请的一些实施例中,该第二轨迹可以是由贝塞尔曲线拟合生成的。
可选地,在本申请的一些实施例中,该贝塞尔曲线可以为三阶贝塞尔曲线。
可选地,在本申请的一些实施例中,该第二轨迹所在圆的M分之一可以是由该三阶贝塞尔曲线拟合生成的,该第二轨迹所在圆的M分之一上包括四个控制点。
可选地,在本申请的一些实施例中,M=4,该第二圆心标记为O2,该四个控制点包括第一控制点A2、第二控制点B2、第三控制点C2和第四控制点D2,该第五控制点A2为该无人机当前所处的位置,该第五控制点A2和该第八控制点D2为该第二轨迹所在圆的四分之一的两个端点,该第六控制点B2在经该第五控制点A2的该第二轨迹所在圆的切线上,并且该第六控制点B2和该第八控制点D2位于O2A2的同一侧,该第六控制点B2和该第五控制点A2之间的距离为h,该第七控制点C2在经该第八控制点D2的该第二轨迹所在圆的切线上,并且该第七控制点C2和该第五控制点A2位于O2D2的同一侧,该第七控制点C2和该第八控制点D2之间的距离为h,其中
可选地,在本申请的一些实施例中,该第二轨迹可以是根据该第一圆心、该第一半径、该第二圆心、该第二半径和该第一轨迹确定的。
可选地,在本申请的一些实施例中,该第二轨迹是对该第一轨迹进行圆心平移变换和半径尺度变换得到的。
上文详细说明了本申请实施例的轨迹切换的方法,下面详细说明本申请实施例的轨迹切换的装置。
图18是本申请一个实施例的轨迹切换的装置1800的示意性框图。如图18所示,轨迹切换的装置1800包括:处理器1810和存储器1820,所述存储器1810用于存储计算机可执行指令,所述处理器1820用于执行所述计算机可执行指令,以实施以下操作:使无人机沿第一轨迹运行,所述第一轨迹为圆弧轨迹,所述第一轨迹所在圆的圆心为第一圆心,半径为第一半径,所述第一圆心位于第一位置;确定第二位置,所述第二位置是相对所述第一位置更新后的兴趣点的位置;根据所述第二位置确定第二轨迹,所述第二轨迹也为圆弧轨迹,所述第一轨迹与所述第二轨迹相切,所述第二轨迹所在圆的圆心为第二圆心,半径为第二半径,所述第二圆心位于第二位置;使所述无人机由所述第一轨迹切换至沿第二轨迹运行。
可选地,在一些实施例中,所述第一位置和/或所述第二位置为通过所述无人机上设置的双目相机或单目相机根据视觉测量算法计算得到的。
可选地,在一些实施例中,所述第一轨迹和/或所述第二轨迹是由贝塞尔曲线拟合生成的。
可选地,在一些实施例中,所述贝塞尔曲线为三阶贝塞尔曲线。
可选地,在一些实施例中,所述第一轨迹所在圆和/或所述第二轨迹所在圆的M分之一是由所述三阶贝塞尔曲线拟合生成的,所述第一轨迹所在圆和/或所述第二轨迹所在圆的M分之一上包括四个控制点。
可选地,在一些实施例中,M=4,所述第一圆心标记为O1,所述四个控制点包括第一控制点A1、第二控制点B1、第三控制点C1和第四控制点D1,所述第一控制点A1为所述无人机当前所处的位置,所述第一控制点A1和所述第四控制点D1为所述第一轨迹所在圆的四分之一的两个端点,所述第二控制点B1在经所述第一控制点A1的所述第一轨迹所在圆的切线上,并且所述第二控制点B1和所述第四控制点D1位于O1A1的同一侧,所述第二控制点B1和所述第一控制点A1之间的距离为h,所述第三控制点C1在经所述第四控制点D1的所述第一轨迹所在圆的切线上,并且所述第三控制点C1和所述第一控制点A1位于O1D1的同一侧,所述第三控制点C1和所述第四控制点D1之间的距离为h,
可选地,在一些实施例中,M=4,所述第二圆心标记为O2,所述四个控制点包括第五控制点A2、第六控制点B2、第七控制点C2和第八控制点D2,所述第五控制点A2为所述无人机当前所处的位置,所述第五控制点A2和所述第八控制点D2为所述第二轨迹所在圆的四分之一的两个端点,所述第六控制点B2在经所述第五控制点A2的所述第二轨迹所在圆的切线上,并且所述第六控制点B2和所述第八控制点D2位于O2A2的同一侧,所述第六控制点B2和所述第五控制点A2之间的距离为h,所述第七控制点C2在经所述第八控制点D2的所述第二轨迹所在圆的切线上,并且所述第七控制点C2和所述第五控制点A2位于O2D2的同一侧,所述第七控制点C2和所述第八控制点D2之间的距离为h,
可选地,在一些实施例中,所述处理器1810具体用于:根据所述第一圆心、所述第一半径、所述第二圆心、所述第二半径和所述第一轨迹确定所述第二轨迹。
可选地,在一些实施例中,所述处理器1810具体用于:对所述第一轨迹进行圆心平移变换和半径尺度变换得到所述第二轨迹。
可选地,在一些实施例中,所述处理器具1810体用于:在所述第二轨迹上确定距离所述无人机当前所处的位置最近的点,作为目标点;使所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
可选地,在一些实施例中,所述处理器1810具体用于:将所述第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点;从所述N+1个航点中确定距离所述无人机当前所处的位置最近的航点;确定所述无人机当前所处的位置到经所述最近的航点做的所述第二轨迹的切线的垂足为目标点;使所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
可选地,在一些实施例中,所述处理器1810具体用于:将所述第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点;从所述N+1个航点中确定距离所述无人机当前所处的位置最近的,并且位于所述无人机当前所处的位置的运动的前方的航点,作为目标点;使所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
可选地,在一些实施例中,所述处理器1810具体用于:通过比例-积分-微分PID控制,使所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
应理解,本申请各实施例的轨迹切换的装置可以基于模块实现。例如,轨迹切换的装置1800可以包括控制模块,用于使无人机沿第一轨迹运行,以及使所述无人机由所述第一轨迹切换至沿第二轨迹运行等。轨迹切换的装置1800可以包括计算模块,用于确定第二位置,以及根据所述第二位置确定第二轨迹,所述第二轨迹也为圆弧轨迹等。轨迹切换的装置中的各模块可以用于执行本申请相应实施例的方法,此处不再赘述。
本申请实施例还提供了一种无人机,包括:上述轨迹切换的装置1800。
图19是本申请一个实施例的轨迹切换的装置1900的示意性框图。如图19所示,轨迹切换的装置1900包括:处理器1910和存储器1920,所述存储器1920用于存储计算机可执行指令,所述处理器1910用于执行所述计算机可执行指令,以实施以下操作:将第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点,所述第二轨迹为无人机待切换至的轨迹;从所述N+1个航点中确定距离无人机当前所处的位置最近的航点;确定所述无人机当前所处的位置到经所述最近的航点做的所述第二轨迹的切线的垂足为目标点;使所述无人机经由所述目标点,切换至沿所述第二轨迹运行。
可选地,在一些实施例中,所述处理器1910具体用于:通过比例-积分-微分PID控制,使所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
可选地,在一些实施例中,所述第二轨迹为圆弧轨迹,所述第二轨迹所在圆的圆心为第二圆心,半径为第二半径,所述第二圆心位于第二位置。
可选地,在一些实施例中,在使所述无人机经由所述目标点,切换至沿所述第二轨迹运行之前,所述处理器1910还用于:使所述无人机沿第一轨迹运行,所述第一轨迹为圆弧轨迹,所述第一轨迹所在圆的圆心为第一圆心,半径为第一半径,所述第一圆心位于第一位置,所述第一轨迹与所述第二轨迹相切,所述第二位置是相对所述第一位置更新后的兴趣点的位置。
可选地,在一些实施例中,所述第二位置为通过所述无人机上设置的双目相机或单目相机根据视觉测量算法计算得到的。
可选地,在一些实施例中,所述第二轨迹是由贝塞尔曲线拟合生成的。
可选地,在一些实施例中,所述贝塞尔曲线为三阶贝塞尔曲线。
可选地,在一些实施例中,所述第二轨迹所在圆的M分之一是由所述三阶贝塞尔曲线拟合生成的,所述第二轨迹所在圆的M分之一上包括四个控制点。
可选地,在一些实施例中,M=4,所述第二圆心标记为O2,所述四个控制点包括第一控制点A2、第二控制点B2、第三控制点C2和第四控制点D2,所述第五控制点A2为所述无人机当前所处的位置,所述第五控制点A2和所述第八控制点D2为所述第二轨迹所在圆的四分之一的两个端点,所述第六控制点B2在经所述第五控制点A2的所述第二轨迹所在圆的切线上,并且所述第六控制点B2和所述第八控制点D2位于O2A2的同一侧,所述第六控制点B2和所述第五控制点A2之间的距离为h,所述第七控制点C2在经所述第八控制点D2的所述第二轨迹所在圆的切线上,并且所述第七控制点C2和所述第五控制点A2位于O2D2的同一侧,所述第七控制点C2和所述第八控制点D2之间的距离为h,
其中
可选地,在一些实施例中,所述处理器1910具体用于:根据所述第一圆心、所述第一半径、所述第二圆心、所述第二半径和所述第一轨迹确定所述第二轨迹。
可选地,在一些实施例中,所述处理器1910具体用于:对所述第一轨迹进行圆心平移变换和半径尺度变换得到所述第二轨迹。
应理解,本申请各实施例的轨迹切换的装置可以基于模块实现。例如,轨迹切换的装置1900可以包括计算模块,用于将第二轨迹上的至少部分轨迹进行N等分得到N+1个航点,从所述N+1个航点中确定距离无人机当前所处的位置最近的航点,以及确定所述无人机当前所处的位置到经所述最近的航点做的所述第二轨迹的切线的垂足为目标点等。轨迹切换的装置1900可以包括控制模块,用于使所述无人机经由所述目标点,切换至沿所述第二轨迹运行等。轨迹切换的装置中的各模块可以用于执行本申请相应实施例的方法,此处不再赘述。
本申请实施例还提供了一种无人机,包括:上述轨迹切换的装置1900。
应理解,本申请实施例中提及的处理器可以是中央处理单元(centralprocessing unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
需要说明的是,当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时,存储器(存储模块)集成在处理器中。
应注意,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供一种计算机可读存储介质,其上存储有指令,当指令在计算机上运行时,使得计算机执行上述各方法实施例的方法。
本申请实施例还提供一种计算机程序,该计算机程序使得计算机执行上述各方法实施例的方法。
本申请实施例还提供一种计算设备,该计算设备包括上述计算机可读存储介质。
应理解,本申请各实施例的电路、子电路、子单元的划分只是示意性的。本领域普通技术人员可以意识到,本文中所公开的实施例描述的各示例的电路、子电路和子单元,能够再行拆分或组合。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital SubscriberLine,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,高密度数字视频光盘(Digital Video Disc,DVD))、或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
应理解,在本申请实施例中,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (52)
1.一种轨迹切换的方法,其特征在于,包括:
无人机沿第一轨迹运行,所述第一轨迹为圆弧轨迹,所述第一轨迹所在圆的圆心为第一圆心,半径为第一半径,所述第一圆心位于第一位置;
所述无人机确定第二位置,所述第二位置是相对所述第一位置更新后的兴趣点的位置;
所述无人机根据所述第二位置确定第二轨迹,所述第二轨迹也为圆弧轨迹,所述第一轨迹与所述第二轨迹相切,所述第二轨迹所在圆的圆心为第二圆心,半径为第二半径,所述第二圆心位于第二位置;
所述无人机由所述第一轨迹切换至沿第二轨迹运行。
2.根据权利要求1所述的方法,其特征在于,所述第一位置和/或所述第二位置为通过所述无人机上设置的双目相机或单目相机根据视觉测量算法计算得到的。
3.根据权利要求1或2所述的方法,其特征在于,所述第一轨迹和/或所述第二轨迹是由贝塞尔曲线拟合生成的。
4.根据权利要求3所述的方法,其特征在于,所述贝塞尔曲线为三阶贝塞尔曲线。
5.根据权利要求3或4所述的方法,其特征在于,所述第一轨迹所在圆和/或所述第二轨迹所在圆的M分之一是由所述三阶贝塞尔曲线拟合生成的,所述第一轨迹所在圆和/或所述第二轨迹所在圆的M分之一上包括四个控制点。
6.根据权利要求5所述的方法,其特征在于,M=4,所述第一圆心标记为O1,所述四个控制点包括第一控制点A1、第二控制点B1、第三控制点C1和第四控制点D1,
所述第一控制点A1为所述无人机当前所处的位置,所述第一控制点A1和所述第四控制点D1为所述第一轨迹所在圆的四分之一的两个端点,
所述第二控制点B1在经所述第一控制点A1的所述第一轨迹所在圆的切线上,并且所述第二控制点B1和所述第四控制点D1位于O1A1的同一侧,所述第二控制点B1和所述第一控制点A1之间的距离为h,
所述第三控制点C1在经所述第四控制点D1的所述第一轨迹所在圆的切线上,并且所述第三控制点C1和所述第一控制点A1位于O1D1的同一侧,所述第三控制点C1和所述第四控制点D1之间的距离为h,
7.根据权利要求5所述的方法,其特征在于,M=4,所述第二圆心标记为O2,所述四个控制点包括第五控制点A2、第六控制点B2、第七控制点C2和第八控制点D2,
所述第五控制点A2为所述无人机当前所处的位置,所述第五控制点A2和所述第八控制点D2为所述第二轨迹所在圆的四分之一的两个端点,
所述第六控制点B2在经所述第五控制点A2的所述第二轨迹所在圆的切线上,并且所述第六控制点B2和所述第八控制点D2位于O2A2的同一侧,所述第六控制点B2和所述第五控制点A2之间的距离为h,
所述第七控制点C2在经所述第八控制点D2的所述第二轨迹所在圆的切线上,并且所述第七控制点C2和所述第五控制点A2位于O2D2的同一侧,所述第七控制点C2和所述第八控制点D2之间的距离为h,
8.根据权利要求1或2所述的方法,其特征在于,所述第二轨迹是根据所述第一圆心、所述第一半径、所述第二圆心、所述第二半径和所述第一轨迹确定的。
9.根据权利要求8所述的方法,其特征在于,所述第二轨迹是对所述第一轨迹进行圆心平移变换和半径尺度变换得到的。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述无人机由所述第一轨迹切换至沿第二轨迹运行,包括:
所述无人机在所述第二轨迹上确定距离所述无人机当前所处的位置最近的点,作为目标点;
所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
11.根据权利要求1至9中任一项所述的方法,其特征在于,所述无人机由所述第一轨迹切换至沿第二轨迹运行,包括:
所述无人机将所述第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点;
所述无人机从所述N+1个航点中确定距离所述无人机当前所处的位置最近的航点;
所述无人机确定所述无人机当前所处的位置到经所述最近的航点做的所述第二轨迹的切线的垂足为目标点;
所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
12.根据权利要求1至9中任一项所述的方法,其特征在于,所述无人机由所述第一轨迹切换至沿第二轨迹运行,包括:
所述无人机将所述第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点;
所述无人机从所述N+1个航点中确定距离所述无人机当前所处的位置最近的,并且位于所述无人机当前所处的位置的运动的前方的航点,作为目标点;
所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
13.根据权利要求10至12中任一项所述的方法,其特征在于,所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行,包括:
通过比例-积分-微分PID控制,所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
14.一种轨迹切换的装置,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实施以下操作:
使无人机沿第一轨迹运行,所述第一轨迹为圆弧轨迹,所述第一轨迹所在圆的圆心为第一圆心,半径为第一半径,所述第一圆心位于第一位置;
确定第二位置,所述第二位置是相对所述第一位置更新后的兴趣点的位置;
根据所述第二位置确定第二轨迹,所述第二轨迹也为圆弧轨迹,所述第一轨迹与所述第二轨迹相切,所述第二轨迹所在圆的圆心为第二圆心,半径为第二半径,所述第二圆心位于第二位置;
使所述无人机由所述第一轨迹切换至沿第二轨迹运行。
15.根据权利要求14所述的装置,其特征在于,所述第一位置和/或所述第二位置为通过所述无人机上设置的双目相机或单目相机根据视觉测量算法计算得到的。
16.根据权利要求14或15所述的装置,其特征在于,所述第一轨迹和/或所述第二轨迹是由贝塞尔曲线拟合生成的。
17.根据权利要求16所述的装置,其特征在于,所述贝塞尔曲线为三阶贝塞尔曲线。
18.根据权利要求16或17所述的装置,其特征在于,所述第一轨迹所在圆和/或所述第二轨迹所在圆的M分之一是由所述三阶贝塞尔曲线拟合生成的,所述第一轨迹所在圆和/或所述第二轨迹所在圆的M分之一上包括四个控制点。
19.根据权利要求18所述的装置,其特征在于,M=4,所述第一圆心标记为O1,所述四个控制点包括第一控制点A1、第二控制点B1、第三控制点C1和第四控制点D1,
所述第一控制点A1为所述无人机当前所处的位置,所述第一控制点A1和所述第四控制点D1为所述第一轨迹所在圆的四分之一的两个端点,
所述第二控制点B1在经所述第一控制点A1的所述第一轨迹所在圆的切线上,并且所述第二控制点B1和所述第四控制点D1位于O1A1的同一侧,所述第二控制点B1和所述第一控制点A1之间的距离为h,
所述第三控制点C1在经所述第四控制点D1的所述第一轨迹所在圆的切线上,并且所述第三控制点C1和所述第一控制点A1位于O1D1的同一侧,所述第三控制点C1和所述第四控制点D1之间的距离为h,
20.根据权利要求18所述的装置,其特征在于,M=4,所述第二圆心标记为O2,所述四个控制点包括第五控制点A2、第六控制点B2、第七控制点C2和第八控制点D2,
所述第五控制点A2为所述无人机当前所处的位置,所述第五控制点A2和所述第八控制点D2为所述第二轨迹所在圆的四分之一的两个端点,
所述第六控制点B2在经所述第五控制点A2的所述第二轨迹所在圆的切线上,并且所述第六控制点B2和所述第八控制点D2位于O2A2的同一侧,所述第六控制点B2和所述第五控制点A2之间的距离为h,
所述第七控制点C2在经所述第八控制点D2的所述第二轨迹所在圆的切线上,并且所述第七控制点C2和所述第五控制点A2位于O2D2的同一侧,所述第七控制点C2和所述第八控制点D2之间的距离为h,
21.根据权利要求14或15所述的装置,其特征在于,所述处理器具体用于:
根据所述第一圆心、所述第一半径、所述第二圆心、所述第二半径和所述第一轨迹确定所述第二轨迹。
22.根据权利要求21所述的装置,其特征在于,所述处理器具体用于:
对所述第一轨迹进行圆心平移变换和半径尺度变换得到所述第二轨迹。
23.根据权利要求14至22中任一项所述的装置,其特征在于,所述处理器具体用于:
在所述第二轨迹上确定距离所述无人机当前所处的位置最近的点,作为目标点;
使所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
24.根据权利要求14至22中任一项所述的装置,其特征在于,所述处理器具体用于:
将所述第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点;
从所述N+1个航点中确定距离所述无人机当前所处的位置最近的航点;
确定所述无人机当前所处的位置到经所述最近的航点做的所述第二轨迹的切线的垂足为目标点;
使所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
25.根据权利要求14至22中任一项所述的装置,其特征在于,所述处理器具体用于:
将所述第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点;
从所述N+1个航点中确定距离所述无人机当前所处的位置最近的,并且位于所述无人机当前所处的位置的运动的前方的航点,作为目标点;
使所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
26.根据权利要求23至25中任一项所述的装置,其特征在于,所述处理器具体用于:
通过比例-积分-微分PID控制,使所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
27.一种无人机,其特征在于,包括:权利要求14至26中任一项所述的轨迹切换的装置。
28.一种轨迹切换的方法,其特征在于,包括:
无人机将第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点,所述第二轨迹为无人机待切换至的轨迹;
所述无人机从所述N+1个航点中确定距离所述无人机当前所处的位置最近的航点;
所述无人机确定所述无人机当前所处的位置到经所述最近的航点做的所述第二轨迹的切线的垂足为目标点;
所述无人机经由所述目标点,切换至沿所述第二轨迹运行。
29.根据权利要求28所述的方法,其特征在于,所述无人机经由所述目标点,切换至沿所述第二轨迹运行,包括:
通过比例-积分-微分PID控制,所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
30.根据权利要求28或29所述的方法,其特征在于,所述第二轨迹为圆弧轨迹,所述第二轨迹所在圆的圆心为第二圆心,半径为第二半径,所述第二圆心位于第二位置。
31.根据权利要求28至30中任一项所述的方法,其特征在于,在所述无人机经由所述目标点,切换至沿所述第二轨迹运行之前,所述方法还包括:
所述无人机沿第一轨迹运行,所述第一轨迹为圆弧轨迹,所述第一轨迹所在圆的圆心为第一圆心,半径为第一半径,所述第一圆心位于第一位置,所述第一轨迹与所述第二轨迹相切,所述第二位置是相对所述第一位置更新后的兴趣点的位置。
32.根据权利要求28至31中任一项所述的方法,其特征在于,所述第二位置为通过所述无人机上设置的双目相机或单目相机根据视觉测量算法计算得到的。
33.根据权利要求28至32中任一项所述的方法,其特征在于,所述第二轨迹是由贝塞尔曲线拟合生成的。
34.根据权利要求33所述的方法,其特征在于,所述贝塞尔曲线为三阶贝塞尔曲线。
35.根据权利要求30所述的方法,其特征在于,所述第二轨迹所在圆的M分之一是由所述三阶贝塞尔曲线拟合生成的,所述第二轨迹所在圆的M分之一上包括四个控制点。
36.根据权利要求35所述的方法,其特征在于,M=4,所述第二圆心标记为O2,所述四个控制点包括第一控制点A2、第二控制点B2、第三控制点C2和第四控制点D2,
所述第五控制点A2为所述无人机当前所处的位置,所述第五控制点A2和所述第八控制点D2为所述第二轨迹所在圆的四分之一的两个端点,
所述第六控制点B2在经所述第五控制点A2的所述第二轨迹所在圆的切线上,并且所述第六控制点B2和所述第八控制点D2位于O2A2的同一侧,所述第六控制点B2和所述第五控制点A2之间的距离为h,
所述第七控制点C2在经所述第八控制点D2的所述第二轨迹所在圆的切线上,并且所述第七控制点C2和所述第五控制点A2位于O2D2的同一侧,所述第七控制点C2和所述第八控制点D2之间的距离为h,
37.根据权利要求31所述的方法,其特征在于,所述第二轨迹是根据所述第一圆心、所述第一半径、所述第二圆心、所述第二半径和所述第一轨迹确定的。
38.根据权利要求37所述的方法,其特征在于,所述第二轨迹是对所述第一轨迹进行圆心平移变换和半径尺度变换得到的。
39.一种轨迹切换的装置,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实施以下操作:
将第二轨迹上的至少部分轨迹进行N等分,得到N+1个航点,所述第二轨迹为无人机待切换至的轨迹;
从所述N+1个航点中确定距离无人机当前所处的位置最近的航点;
确定所述无人机当前所处的位置到经所述最近的航点做的所述第二轨迹的切线的垂足为目标点;
使所述无人机经由所述目标点,切换至沿所述第二轨迹运行。
40.根据权利要求39所述的装置,其特征在于,所述处理器具体用于:
通过比例-积分-微分PID控制,使所述无人机经由所述目标点,由所述第一轨迹切换至沿所述第二轨迹运行。
41.根据权利要求39或40所述的装置,其特征在于,所述第二轨迹为圆弧轨迹,所述第二轨迹所在圆的圆心为第二圆心,半径为第二半径,所述第二圆心位于第二位置。
42.根据权利要求39至41中任一项所述的装置,其特征在于,在使所述无人机经由所述目标点,切换至沿所述第二轨迹运行之前,所述处理器还用于:
使所述无人机沿第一轨迹运行,所述第一轨迹为圆弧轨迹,所述第一轨迹所在圆的圆心为第一圆心,半径为第一半径,所述第一圆心位于第一位置,所述第一轨迹与所述第二轨迹相切,所述第二位置是相对所述第一位置更新后的兴趣点的位置。
43.根据权利要求39至42中任一项所述的装置,其特征在于,所述第二位置为通过所述无人机上设置的双目相机或单目相机根据视觉测量算法计算得到的。
44.根据权利要求39至43中任一项所述的装置,其特征在于,所述第二轨迹是由贝塞尔曲线拟合生成的。
45.根据权利要求44所述的装置,其特征在于,所述贝塞尔曲线为三阶贝塞尔曲线。
46.根据权利要求41所述的装置,其特征在于,所述第二轨迹所在圆的M分之一是由所述三阶贝塞尔曲线拟合生成的,所述第二轨迹所在圆的M分之一上包括四个控制点。
47.根据权利要求46所述的装置,其特征在于,M=4,所述第二圆心标记为O2,所述四个控制点包括第一控制点A2、第二控制点B2、第三控制点C2和第四控制点D2,
所述第五控制点A2为所述无人机当前所处的位置,所述第五控制点A2和所述第八控制点D2为所述第二轨迹所在圆的四分之一的两个端点,
所述第六控制点B2在经所述第五控制点A2的所述第二轨迹所在圆的切线上,并且所述第六控制点B2和所述第八控制点D2位于O2A2的同一侧,所述第六控制点B2和所述第五控制点A2之间的距离为h,
所述第七控制点C2在经所述第八控制点D2的所述第二轨迹所在圆的切线上,并且所述第七控制点C2和所述第五控制点A2位于O2D2的同一侧,所述第七控制点C2和所述第八控制点D2之间的距离为h,
48.根据权利要求42所述的装置,其特征在于,所述处理器具体用于:根据所述第一圆心、所述第一半径、所述第二圆心、所述第二半径和所述第一轨迹确定所述第二轨迹。
49.根据权利要求48所述的装置,其特征在于,所述处理器具体用于:对所述第一轨迹进行圆心平移变换和半径尺度变换得到所述第二轨迹。
50.一种无人机,其特征在于,包括:权利要求39至49中任一项所述的轨迹切换的装置。
51.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被执行以实现如权利要求1至13中任一项所述的方法。
52.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被执行以实现如权利要求28至38中任一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/097944 WO2020024134A1 (zh) | 2018-08-01 | 2018-08-01 | 轨迹切换的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110730934A true CN110730934A (zh) | 2020-01-24 |
Family
ID=69217754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880037381.7A Pending CN110730934A (zh) | 2018-08-01 | 2018-08-01 | 轨迹切换的方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110730934A (zh) |
WO (1) | WO2020024134A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539345A (zh) * | 2020-04-27 | 2020-08-14 | 北京百度网讯科技有限公司 | 用于确定变道动作的方法、装置、设备及可读存储介质 |
CN112731959A (zh) * | 2020-12-01 | 2021-04-30 | 一飞智控(天津)科技有限公司 | 一种无人机编队圆弧引导切换目标动态规划方法 |
WO2021212445A1 (zh) * | 2020-04-24 | 2021-10-28 | 深圳市大疆创新科技有限公司 | 拍摄方法、可移动平台、控制设备和存储介质 |
CN113655813A (zh) * | 2021-10-20 | 2021-11-16 | 北京微纳星空科技有限公司 | 一种飞行纠偏控制方法、系统、存储介质和电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2280241A2 (en) * | 2009-07-30 | 2011-02-02 | Qinetiq Limited | Vehicle control |
CN102358287A (zh) * | 2011-09-05 | 2012-02-22 | 北京航空航天大学 | 一种用于车辆自动驾驶机器人的轨迹跟踪控制方法 |
CN104492066A (zh) * | 2014-12-18 | 2015-04-08 | 中国科学院自动化研究所 | 任务导向式主动训练控制方法及相应的康复机器人 |
CN106657779A (zh) * | 2016-12-13 | 2017-05-10 | 重庆零度智控智能科技有限公司 | 环绕拍摄方法、装置及无人机 |
CN107168305A (zh) * | 2017-04-01 | 2017-09-15 | 西安交通大学 | 路口场景下基于Bezier和VFH的无人车轨迹规划方法 |
CN107272734A (zh) * | 2017-06-13 | 2017-10-20 | 深圳市易成自动驾驶技术有限公司 | 无人机飞行任务执行方法、无人机及计算机可读存储介质 |
CN107924188A (zh) * | 2016-07-04 | 2018-04-17 | 深圳市大疆创新科技有限公司 | 一种无人机的飞行路径规划、控制方法及系统 |
CN107980108A (zh) * | 2017-01-04 | 2018-05-01 | 深圳配天智能技术研究院有限公司 | 机器人运动轨迹规划方法及相关装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7228227B2 (en) * | 2004-07-07 | 2007-06-05 | The Boeing Company | Bezier curve flightpath guidance using moving waypoints |
CN105573315B (zh) * | 2015-12-01 | 2020-04-10 | 珞石(北京)科技有限公司 | 用于工业机器人的笛卡尔空间轨迹的几何平滑方法 |
CN106325294B (zh) * | 2016-08-22 | 2020-03-06 | 上海交通大学 | 基于贝塞尔曲线转接的无人机轨迹平滑方法 |
CN106603970B (zh) * | 2016-11-11 | 2020-12-08 | 北京远度互联科技有限公司 | 视频拍摄方法、系统及无人机 |
WO2018098678A1 (zh) * | 2016-11-30 | 2018-06-07 | 深圳市大疆创新科技有限公司 | 飞行器的控制方法、装置和设备以及飞行器 |
CN107807659A (zh) * | 2017-10-24 | 2018-03-16 | 北京臻迪科技股份有限公司 | 一种无人机飞行控制方法及装置 |
-
2018
- 2018-08-01 WO PCT/CN2018/097944 patent/WO2020024134A1/zh active Application Filing
- 2018-08-01 CN CN201880037381.7A patent/CN110730934A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2280241A2 (en) * | 2009-07-30 | 2011-02-02 | Qinetiq Limited | Vehicle control |
CN102358287A (zh) * | 2011-09-05 | 2012-02-22 | 北京航空航天大学 | 一种用于车辆自动驾驶机器人的轨迹跟踪控制方法 |
CN104492066A (zh) * | 2014-12-18 | 2015-04-08 | 中国科学院自动化研究所 | 任务导向式主动训练控制方法及相应的康复机器人 |
CN107924188A (zh) * | 2016-07-04 | 2018-04-17 | 深圳市大疆创新科技有限公司 | 一种无人机的飞行路径规划、控制方法及系统 |
CN106657779A (zh) * | 2016-12-13 | 2017-05-10 | 重庆零度智控智能科技有限公司 | 环绕拍摄方法、装置及无人机 |
CN107980108A (zh) * | 2017-01-04 | 2018-05-01 | 深圳配天智能技术研究院有限公司 | 机器人运动轨迹规划方法及相关装置 |
CN107168305A (zh) * | 2017-04-01 | 2017-09-15 | 西安交通大学 | 路口场景下基于Bezier和VFH的无人车轨迹规划方法 |
CN107272734A (zh) * | 2017-06-13 | 2017-10-20 | 深圳市易成自动驾驶技术有限公司 | 无人机飞行任务执行方法、无人机及计算机可读存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021212445A1 (zh) * | 2020-04-24 | 2021-10-28 | 深圳市大疆创新科技有限公司 | 拍摄方法、可移动平台、控制设备和存储介质 |
CN111539345A (zh) * | 2020-04-27 | 2020-08-14 | 北京百度网讯科技有限公司 | 用于确定变道动作的方法、装置、设备及可读存储介质 |
CN111539345B (zh) * | 2020-04-27 | 2023-09-26 | 阿波罗智能技术(北京)有限公司 | 用于确定变道动作的方法、装置、设备及可读存储介质 |
CN112731959A (zh) * | 2020-12-01 | 2021-04-30 | 一飞智控(天津)科技有限公司 | 一种无人机编队圆弧引导切换目标动态规划方法 |
CN113655813A (zh) * | 2021-10-20 | 2021-11-16 | 北京微纳星空科技有限公司 | 一种飞行纠偏控制方法、系统、存储介质和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2020024134A1 (zh) | 2020-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210012520A1 (en) | Distance measuring method and device | |
CN108171733B (zh) | 使两个或更多个三维3d点云配准的方法 | |
US10630962B2 (en) | Systems and methods for object location | |
US10339387B2 (en) | Automated multiple target detection and tracking system | |
US9280852B2 (en) | Augmented reality virtual guide system | |
WO2018163898A1 (ja) | 自由視点移動表示装置 | |
CN110799921A (zh) | 拍摄方法、装置和无人机 | |
Hinzmann et al. | Mapping on the fly: Real-time 3D dense reconstruction, digital surface map and incremental orthomosaic generation for unmanned aerial vehicles | |
Weiss et al. | Intuitive 3D maps for MAV terrain exploration and obstacle avoidance | |
US11906983B2 (en) | System and method for tracking targets | |
CN108810473B (zh) | 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统 | |
CN110730934A (zh) | 轨迹切换的方法和装置 | |
WO2020014987A1 (zh) | 移动机器人的控制方法、装置、设备及存储介质 | |
KR20150144729A (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
Caballero et al. | Improving vision-based planar motion estimation for unmanned aerial vehicles through online mosaicing | |
Molina et al. | Persistent aerial video registration and fast multi-view mosaicing | |
JP2017524932A (ja) | ビデオ支援着艦誘導システム及び方法 | |
WO2023180838A1 (en) | Method of 3d reconstruction of dynamic objects by mobile cameras | |
KR102520189B1 (ko) | 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템 | |
CN111581322B (zh) | 视频中兴趣区域在地图窗口内显示的方法和装置及设备 | |
Lukashevich et al. | The new approach for reliable UAV navigation based on onboard camera image processing | |
Fink et al. | Observer design for visual inertial SLAM scale on a quadrotor UAV | |
JP2023110400A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
Oskiper et al. | [Poster] Augmented reality binoculars on the move | |
Zhu et al. | Architecture for Asymmetric Collaborative Navigation–Considerations for Real Time Implementation of the Collaborative Robust Integrated Sensor Positioning (CRISP) System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200124 |
|
WD01 | Invention patent application deemed withdrawn after publication |