CN113906360A - 可移动平台的控制方法、装置、计算机可读存储介质 - Google Patents
可移动平台的控制方法、装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN113906360A CN113906360A CN202080035658.XA CN202080035658A CN113906360A CN 113906360 A CN113906360 A CN 113906360A CN 202080035658 A CN202080035658 A CN 202080035658A CN 113906360 A CN113906360 A CN 113906360A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- movable platform
- pixel area
- loss function
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 230000006870 function Effects 0.000 claims description 142
- 230000008569 process Effects 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 10
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims 2
- 230000007423 decrease Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 52
- 230000000694 effects Effects 0.000 description 21
- 230000004888 barrier function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 3
- 206010034719 Personality change Diseases 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种可移动平台的控制方法、装置、计算机可读存储介质和可移动平台。所述可移动平台包括拍摄装置,所述控制方法包括:获取所述拍摄装置的拍摄目标的位置信息;获取所述可移动平台所处环境中的障碍物的位置信息;至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息,确定所述可移动平台绕行所述障碍物的移动路径。
Description
技术领域
本公开涉及领域,尤其涉及一种可移动平台的控制方法、装置、计算机可读存储介质和可移动平台。
背景技术
无人机等可移动平台具备目标跟踪功能。目标跟踪功能通常涉及可移动平台的路径规划、以及拍摄装置的姿态调整。在进行目标跟踪时,可移动平台可实时规划出移动路径,并沿移动路径移动以对目标进行跟随。在目标跟随的过程中,可移动平台携带的拍摄装置按照预设的规则对目标进行拍摄,使跟踪的目标呈现在拍摄装置的图像中。
发明内容
本公开提供了一种可移动平台的控制方法,所述可移动平台包括拍摄装置,所述控制方法包括:
获取所述拍摄装置的拍摄目标的位置信息;
获取所述可移动平台所处环境中的障碍物的位置信息;
至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息,确定所述可移动平台绕行所述障碍物的移动路径。
本公开还提供了一种可移动平台的控制方法,所述可移动平台包括拍摄装置,所述控制方法包括:
获取所述拍摄装置所拍摄的图像中跟随目标对应的第一像素区域以及背景目标对应的第二像素区域;
根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态。
本公开还提供了一种可移动平台的控制方法,所述控制方法包括:
获取所述可移动平台所处环境中的障碍物的位置信息;
获取所述可移动平台所处环境中的禁飞区的位置信息;
根据所述障碍物的位置信息和所述禁飞区的位置信息,确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
本公开还提供了一种可移动平台的控制装置,所述可移动平台包括拍摄装置,所述控制装置包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述可执行指令,以执行如下操作:
获取所述拍摄装置的拍摄目标的位置信息;
获取所述可移动平台所处环境中的障碍物的位置信息;
至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息,确定所述可移动平台绕行所述障碍物的移动路径。
本公开还提供了一种可移动平台的控制装置,所述可移动平台包括拍摄装置,所述控制装置包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述可执行指令,以执行如下操作:
获取所述拍摄装置所拍摄的图像中跟随目标对应的第一像素区域以及背景目标对应的第二像素区域;
根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态。
本公开还提供了一种可移动平台的控制装置,所述控制装置包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述可执行指令,以执行如下操作:
获取所述可移动平台所处环境中的障碍物的位置信息;
获取所述可移动平台所处环境中的禁飞区的位置信息;
根据所述障碍物的位置信息和所述禁飞区的位置信息,确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
本公开还提供了一种计算机可读存储介质,其存储有可执行指令,所述可执行指令在由一个或多个处理器执行时,可以使所述一个或多个处理器执行上述控制方法。
本公开还提供了一种可移动平台,包括:拍摄装置、以及可移动载体;所述可移动载体包括:上述的控制装置。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种可移动平台的控制方法的流程图。
图2是本公开实施例提供的一种无人机的应用场景示意图。
图3是本公开实施例提供的一种根据拍摄目标的位置信息和障碍物的位置信息确定移动路径的示意图。
图4是本公开实施例提供的一种根据路径点与障碍物之间的距离确定移动路径的示意图。
图5是本公开实施例提供的一种根据路径平滑性确定移动路径的示意图。
图6显示了本公开实施例提供的一种第一像素区域与第二像素区域没有重合时的第一姿态调整策略。
图7显示了本公开实施例提供的一种第一像素区域位于第二像素区域内的第二姿态调整策略的一个示例。
图8显示了本公开实施例提供的一种第一像素区域位于第二像素区域内的第二姿态调整策略的另一个示例。
图9显示了本公开实施例提供的一种线型第二像素区域的第三姿态调整策略。
图10是本公开实施例提供的一种根据拍摄目标的位置信息和禁飞区的位置信息确定移动路径的示意图。
图11是本公开另一实施例可移动平台的控制方法的流程图。
图12是本公开再一实施例可移动平台的控制方法的流程图。
图13是本公开实施例提供的一种根据障碍物的位置信息和禁飞区的位置信息确定移动路径的示意图。
图14是本公开实施例提供的一种可移动平台的控制装置的结构示意图。
图15是本公开实施例提供的一种的可移动平台的结构示意图。
具体实施方式
虽然在现有技术中,可移动平台可沿移动路径运动,并在运动过程中利用拍摄装置对目标进行跟踪,但是现有技术在规划移动路径时,通常只考虑可移动平台所处环境中的障碍物的位置,对可能影响拍摄效果以及安全性的其他因素基本没有考虑,这会影响目标跟踪的拍摄效果、以及可移动平台的安全性。同时,在拍摄装置对目标成像的过程中,通常只关注被跟踪的目标,整个构图过程缺乏对目标所处的环境、以及环境中的目标物的关注,这也会影响目标跟踪的拍摄效果。
本公开提供了一种可移动平台的控制方法、装置、计算机可读存储介质和可移动平台,通过获取拍摄装置的拍摄目标的位置信息、以及可移动平台所处环境中的障碍物的位置信息,并至少部分地根据拍摄目标的位置信息和障碍物的位置信息,确定可移动平台绕行障碍物的移动路径,从而提高目标跟踪的拍摄效果。
下面将结合实施例和实施例中的附图,对本公开技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
本公开一实施例提供了一种可移动平台的控制方法,所述可移动平台包括拍摄装置,如图1所示,该控制方法包括:
S101:获取所述拍摄装置的拍摄目标的位置信息;
S102:获取所述可移动平台所处环境中的障碍物的位置信息;
S103:至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息,确定所述可移动平台绕行所述障碍物的移动路径。
本实施例的控制方法可应用于各种可移动平台。可移动平台例如可以是空中可移动平台。空中可移动平台可以包括但不限于:无人机、固定翼飞行器、旋翼飞行器等。可移动平台例如还可以是地面可移动平台。地面可移动平台可以包括但不限于:无人驾驶车辆、机器人、有人驾驶车辆等。可移动平台例如还可以是手持式设置或移动设备。手持式设置可以包括但不限于手持云台、云台式相机;移动设备可以包括但不限于:遥控器、智能电话/手机、平板电脑、笔记本计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式装置等。
为了方便描述,以下以无人机这种可移动平台为例,对本实施例的控制方法进行说明。参见图2所示,无人机100包括:无人机本体110、云台140和拍摄装置130。
无人机本体110可以包括无人机机身105、以及一个或多个推进单元150。推进单元150可以被配置为无人机100产生升力。推进单元150可以包括旋翼。无人机100能够在三维空间内飞行,并可沿俯仰轴、偏航轴、横滚轴中的至少一个旋转。
无人飞行器110可包括一个或多个传感器。这些传感器例如包括:图像传感器、距离传感器、高度传感器、位置传感器等。作为图像传感器的示例,无人机100可包括一个或多个拍摄装置130。在本实施例中,拍摄装置130可以为可见光相机、红外相机、紫外相机等,拍摄装置130可对其视野范围170内的目标160进行拍摄。
拍摄装置130由无人飞行器110支撑。拍摄装置130可以由无人飞行器110直接支撑,或者可以经由载具140而被无人飞行器110支撑。当拍摄装置130经由载具140而被无人飞行器110支撑时,拍摄装置130可安装于载具140。载具140可以允许拍摄装置130围绕俯仰轴、偏航轴、横滚轴中的至少一个旋转,以调节拍摄装置130的方向。载具140可以包括单轴云台、双轴云台或三轴云台。
无人机100可通过遥控器120控制。遥控器120可与无人机本体110、云台140、拍摄装置130中的至少之一通信。遥控器120包括显示器。显示器用于显示拍摄装置130拍摄的图像。遥控器120还包括输入装置。输入装置可用于接收用户的输入信息。
通过S101获取拍摄装置的拍摄目标的位置信息。
无人机在飞行过程中,拍摄装置可对其周围环境中的各种拍摄目标进行拍摄。本实施例中,所述拍摄目标不仅包括无人机想要跟踪的物体。实际上,所述拍摄目标可以包括上述周围环境中的任何物体。
无人机想要跟踪的物体在本实施例中可称为跟随目标,跟随目标通常指的是可移动的物体。在一些示例中,跟随目标可以包括:人、动物、(空中、地面、水面、水下)车辆等。在一些示例中,人可以是操作无人机的用户本身、或者是该用户之外的其他人;车辆可以包括:机动车、非机动车、无人飞行器、有人飞行器、船舶等。
本实施例中,拍摄目标还可以包括背景目标,所述背景目标可以包括跟随目标之外的任何物体。背景目标通常可以反映出跟随目标所处的场景。在一些示例中,背景目标可包括:山川、河流、湖泊、森林、海面、沙滩、草原、各种建筑、地平线等,还可包括:天空、太阳、月亮、云朵、朝霞、晚霞等。
在拍摄装置对其周围环境中的拍摄目标进行拍摄时,拍摄得到的图像可经遥控器与无人机本体、云台或拍摄装置之间的通信链路,发送给遥控器,并由遥控器的显示器对拍摄的图像进行显示。在一些示例中,拍摄装置可将拍摄得到的图像实时发送给遥控器以供用户观看,或者,也可以将拍摄得到的图像存储在拍摄装置本地,再将图像发送给遥控器显示。
在一些示例中,用户可手动选择图像中的跟随目标。对于跟随目标,用户可通过输入装置将图像显示的一个或多个物体选定为跟随目标。所述输入装置可以是遥控器的按键、摇杆、旋钮;当遥控器的显示器为触摸屏时,用户也可通过显示器选定跟随目标。当跟随目标选定后,无人机在接下来的飞行过程中将会对跟随目标进行跟踪。
在另一些示例中,可能无需用户手动选择跟随目标,而是由无人机、云台、拍摄装置和遥控器的其中一者自动选定跟随目标。例如,当跟随目标由遥控器自动选定时,遥控器可根据预设规则将图像中的一个或多个物体选定为跟随目标。该预设规则可以是:颜色、尺寸、形状等。即当图像中的物体符合预设的颜色、尺寸、或形状时,就将该物体识别为跟随目标。当然,在一些示例中,还可以增加用户确认的步骤。遥控器自动选定的跟随目标作为备选目标并在显示器显示,用户通过输入装置执行一个确认操作。只有用户对某个/某些备选目标确认之后,该备选目标才作为跟随目标。
以上介绍了跟随目标的选定过程,对于背景目标来说,其选定过程与跟随目标是类似的,在此不再赘述。
选定拍摄目标后,可通过多种手段获取拍摄目标的位置信息,该位置信息可以是相对于某个坐标系的位置坐标。
在一些示例中,可通过三维重建模型得到拍摄目标的位置信息。三维重建模型能够反映拍摄装置的图像中的像素与该像素对应的空间点的对应关系。三维重建模型可以如下所示:
其中,(u,v)表示图像中的像素在像素坐标系下的坐标;(XW,YW,ZW)表示与像素(u,v)对应的空间点在无人机坐标系下的坐标;ZC表示与像素(u,v)对应的空间点与拍摄装置光心的距离;A表示拍摄装置的内部参数矩阵;[R T]表示拍摄装置的外部参数矩阵。
例如,对于跟随目标,可将该跟随目标在拍摄装置所拍摄的图像中对应的像素代入上述三维重建模型,从而得到跟随目标在无人机坐标系下的坐标。其中,ZC可通过多种方式得到,例如,无人机或拍摄装置可安装有距离传感器,通过距离传感器可测量出跟随目标与拍摄装置光心之间的距离;A和[R T]可通过标定得到。上述获取的位置信息是相对于无人机坐标系的坐标,当然本实施例不限于此。无人机通常安装有位置传感器和姿态传感器,通过位置传感器和姿态传感器可以得到无人机坐标系与大地坐标系的转换关系,从而可以得到拍摄目标在大地坐标系下的坐标。
对于背景目标,在一些示例中,可通过与跟随目标类似的手段获取到背景目标的位置信息。在另一些示例中,无人机、拍摄装置或遥控器可存储有地图数据,并利用地图数据确定拍摄目标的位置信息。所述地图数据记录有各种区域的地理信息,这些区域至少包括无人机的活动区域。地理信息可包括:活动区域内各个物体的类型、名称、位置坐标等。当用户手动选定或者无人机、云台、拍摄装置和遥控器的其中一者自动选定背景目标后,可在地图数据中查询得到该背景目标的位置坐标。
得到拍摄目标的位置信息后,通过S102获取可移动平台所处环境中的障碍物的位置信息。
无人机在飞行过程中,可通过图像传感器、雷达等探测障碍物,或者,也可通过远程设备(例如云端服务器)直接获得障碍物及其位置信息。可对其周围环境中的各种物体进行探测,无人机、云台、拍摄装置和遥控器的其中一者会对该物体进行识别。当识别结果显示该物体为障碍物时,将该物体标记为障碍物。本实施例不对障碍物的识别方法进行限定,可采用多种图像识别方法对障碍物进行识别,例如但不限于基于特征检测、特征匹配的方法,以及基于人工神经网络的方法。
识别出障碍物后,获取障碍物的位置信息的过程可基本上与S101中获取拍摄目标的位置信息的过程相似。即,可通过三维重建模型得到障碍物的位置信息,也可通过地图数据查询得到障碍物的位置信息。
在一些示例中,障碍物可以例如是电线杆、路灯、户外标志牌、户外广告牌等特征较为明显的物体。在另一些示例中,障碍物与背景目标可能并没有明显的区别,或者说,一些物体可以在一些情况下作为背景目标,而在另一些情况下可作为障碍物,这可能更多地取决于跟随目标、背景目标和障碍物中的一者在图像中的位置,或者至少两者在图像中的相对位置。例如,对于树木来说,如果周围环境中出现大量的树木,可能说明无人机位于森林环境中,此时树木可被认为是背景目标。如果图像中仅出现一根或几根树木且与无人机的距离较近,此时树木可被认为是障碍物。对于建筑来说,如果一些建筑与无人机的距离较远或者比跟随目标更远离无人机,此时这些建筑可被认为是背景目标,如果一些建筑与无人机的距离较近或者比跟随目标更接近无人机,此时这些建筑可被认为是障碍物。
得到拍摄目标的位置信息和障碍物的位置信息后,即可通过S103确定无人机绕行障碍物的移动路径。本实施例在确定无人机的移动路径时,不仅考虑障碍物的位置信息,同时还考虑拍摄目标的位置信息。确定无人机的移动路径可以包括:至少部分地根据拍摄目标的位置信息和障碍物的位置信息建立损失函数,最小化损失函数以确定无人机绕行障碍物的移动路径。
可在目标跟踪的过程中实时生成无人机的移动路径,所述移动路径通常由一系列的路径点组成,无人机沿一系列的路径点飞行。损失函数用于确定一些因素在移动路径中的代价,能够得到量化的代价值。当根据拍摄目标的位置信息和障碍物的位置信息确定移动路径时,所述损失函数可包括如下所示的第一损失函数:
Cost=cost_1(target,obstacle)
其中,Cost表示损失函数,cost_1表示第一损失函数,target表示拍摄目标的位置信息,obstacle表示障碍物的位置信息。
在第一损失函数中,移动路径上越少的路径点与拍摄目标之间的连线经过障碍物所在的区域,则第一损失函数的取值越小。如果路径点与拍摄目标之间的连线没有经过障碍物所在的区域,说明障碍物没有出现在拍摄目标与拍摄装置之间,这样在拍摄的图像中拍摄目标不会被障碍物遮挡;反之,如果路径点与拍摄目标之间的连线经过了障碍物所在的区域,说明障碍物出现在了拍摄目标与拍摄装置之间,这样在拍摄的图像中拍摄目标会被障碍物遮挡。即第一损失函数的原则是,判断路径点与拍摄目标之间是否有障碍物遮挡,如果有遮挡的路径点越多,第一损失函数的代价值就越大,则尽量不选该路径,如果无遮挡的路径点越多,第一损失函数的代价值就越小,则尽量选择该路径。也就是说,当无人机沿根据第一损失函数确定的移动路径飞行时,会使拍摄的图像中拍摄目标尽量甚至完全不被障碍物遮挡。如图3所示,在左侧的虚线路径中,有相当一部分的路径点与背景目标之间的连线经过障碍物,而在右侧的实线路径中,几乎没有与背景目标之间的连线经过障碍物的路径点,所以实线路径的第一损失函数值更小。在不考虑其他因素、或者其他因素的影响基本相同的情况下,将会选择第一损失函数值更小的实线路径。第一损失函数是一种反映拍摄效果的损失函数,当无人机沿实线路径飞行时,在拍摄的图像中,背景目标不会被障碍物遮挡,保证了拍摄效果。
图3以背景目标为例进行了说明,上述过程对于跟随目标也是类似的。即本申请同样能在无人机飞行时,在拍摄的图像中跟随目标不会被障碍物遮挡,从而保证拍摄效果。当图像中同时出现跟随目标和背景目标时,在一些示例中,可以只考虑跟随目标或背景目标的代价值来确定移动路径。在另一些示例中,需要对跟随目标和背景目标的代价同时进行考虑。此时可将跟随目标和背景目标看作同一类目标,如果与目标之间的连线经过障碍物的路径点越多,第一损失函数的代价值就越大,则尽量不选该路径,如果与目标之间的连线经过障碍物的路径点越少,第一损失函数的代价值就越小,则尽量选择该路径。
在一些示例中,所述损失函数还可包括如下所示的第二损失函数:
Cost=cost_2(distance)
其中,cost_2表示第二损失函数,distance表示移动路径中的路径点与障碍物之间的距离。路径点与障碍物的距离越大,则第二损失函数的取值越小。
第二损失函数是一种反映路径安全性的损失函数,所述路径安全性用于表征路径点与障碍物的距离是否满足安全指标。无人机沿移动路径飞行时,其与障碍物的距离不能靠的太近,这样才能保证无人机不与障碍物发生碰撞,提升无人机的飞行安全性。通过第二损失函数,如果一条路径中的路径点与障碍物的距离越大,该条路径就越可能被选为无人机的移动路径,反之,则越不可能被选为无人机的移动路径。如图4所示,对于实线和虚线这两天路径,实线路径的路径点与障碍物的距离更近,如果按照实线路径飞行,无人机可能与障碍物发生碰撞。相对于实线路径,虚线路径的路径点与障碍物的距离更远,如果按照虚线路径飞行,无人机基本不可能与障碍物碰撞。在不考虑其他因素、或者其他因素的影响基本相同的情况下,可将虚线路径作为无人机的移动路径。
在一些示例中,所述损失函数还包括如下所示的第三损失函数:
Cost=cost_3(curv)
其中,cost_3表示第三损失函数,curv表示移动路径的曲率和/或曲率的变化率,且曲率和/曲率的变化率越小,则第三损失函数的取值越小。
第三损失函数是一种反映路径平滑性的损失函数,所述路径平滑性用于表征路径的弯折程度,而弯折程度通常可通过路径的曲率和/或曲率的变化率来表示。如果路径的弯折程度越小,则路径平滑性越好,如果路径的弯折程度越大,则路径平滑性越差。如图5所示,相对于实线路径,虚线路径具有更多的弯折,所以实线路径的平滑性好于虚线路径的平滑性。在不考虑其他因素、或者其他因素的影响基本相同的情况下,实线路径更容易被作为无人机的移动路径。通过第三损失函数,可使规划出的移动路径更加平滑,尽量减少路径中的弯折,如果路径不可避免地出现折弯,也能尽量减小弯折的程度,从而可在一定程度上减小无人机的飞行里程、以及无人机姿态变化的剧烈程度,节省无人机的飞行时间和耗费的能量。
在一些示例中,所述损失函数还包括如下所示的第四损失函数:
Cost=cost_4(range)
其中,cost_4表示第四损失函数,range表示移动路径上的路径点与跟随目标之间的距离,且该距离越接近于预设跟踪距离,则第四损失函数的取值越小。
第四损失函数是一种反映拍摄装置与跟随目标的距离大小的损失函数。在无人机对跟随目标进行跟踪的过程中,为了使跟随目标在拍摄装置所拍摄的图像中对应的像素区域位于预设位置或者具有预设尺寸,对拍摄装置与跟随目标之间的距离通常具有一定的约束,这个距离一般不能太近也不能太远,其应当位于一个预设跟踪距离范围内,否则将会影响跟随目标对应的像素区域的尺寸和/或位置。该预设跟踪距离可由用户通过遥控器设置,或者由无人机、拍摄装置和遥控器的至少一者自动设置。通过第四损失函数,使规划出的路径点与跟随目标的距离尽量接近于预设跟踪距离,这样以保证目标跟踪的拍摄效果。
以上对第一、第二、第三和第四损失函数进行了描述,但并不是说损失函数仅能包括这些损失函数中的其中一个。实际上,损失函数可包括第一、第二、第三和第四损失函数的至少一个。在一个示例中,损失函数可如下所示:
Cost=a*cost_1(target,obstacle)+b*cost_2(distance)+c*cost_3(curv)+d*cost_4(range)
其中,a、b、c、d分别表示第一、第二、第三和第四损失函数的加权系数。通过上述损失函数,可在确定无人机的移动路径时,同时考虑移动路径与拍摄目标之间的连线是否经过障碍物所在的区域、移动路径中的路径点与障碍物之间的距离、路径平滑性、以及移动路径上的路径点与跟随目标之间的距离,从而得到一条使损失函数Cost的代价值最小的移动路径。可分别设定a、b、c、d这四个加权系数,损失函数的加权系数越高,则在确定移动路径时,该损失函数对应的因素占比越重。反之,该损失函数对应的因素占比越轻。用户可通过遥控器手动设置、或者无人机、拍摄装置和遥控器的至少之一可自动设置上述加权系数。通过给加权系数赋予不同的数值,可反映出不同因素在确定移动路径中的重要性。例如,如果用户更关心拍摄目标是否会被障碍物遮挡,可将第一损失函数的加权系数a设置的较大,将其他加权系数设置的较小。这样在规划移动路径时,将首先尽可能保证拍摄目标不被障碍物遮挡,在此基础上再考虑其他几个因素。
以上只是损失函数的一个示例,在其他示例中,损失函数还可以是第一损失函数与第二、第三和第四损失函数中的其中一个或两个的加权和。例如,当用户仅关心拍摄目标是否会被障碍物遮挡、路径点与障碍物之间的距离是否合适时,可将损失函数可以是第一和第二四损失函数的加权和。
由此可见,本实施例的控制方法,在确定移动路径时,将拍摄目标与障碍物之间的关系纳入考量,基于拍摄目标是否会被障碍物遮挡这一因素建立损失函数,并规划出对应的移动路径,从而使无人机沿移动路径对目标进行跟踪时,能使拍摄目标尽量甚至完全不被障碍物遮挡,从而提高了拍摄效果。同时,在确定移动路径时还可以同时考虑路径的安全性、平滑性,以及路径点与跟随目标之间的距离等其他因素,使规划出的路径在各个方面均能保证一定的良好效果。
本实施例的控制方法,还包括:确定无人机所处环境的环境类型,根据环境类型确定无人机的移动参数。
由于跟随目标通常处于移动状态,其可能出现在各种场景中,或者,在各种场景之间切换。当对跟随目标进行跟踪时,无人机所处的环境也会随之变化。场景中的背景目标能够反映出无人机所处环境的类型。
在一些示例中,环境类型可包括障碍物密集类型和障碍物稀疏类型。所述“密集”和“稀疏”用于表征环境中障碍物的疏密程度,疏密程度会在一定程度上影响无人机的飞行状态。也就是说,在障碍物稀疏的环境和在障碍物密集的环境中,无人机应采取不同的飞行状态以保证拍摄效果和无人机的安全。
在一些示例中,根据拍摄装置所拍摄的图像中的背景目标,确定无人机所处环境的环境类型。如前所述,背景目标可包括:山川、河流、湖泊、森林、海面、沙滩、草原、各种建筑、地平线等,还可包括:天空、太阳、月亮、云朵、朝霞、晚霞等。背景目标的类型、位置、数量、尺寸、相对位置关系中的至少之一可决定无人机所处的环境类型。例如,如果背景目标为湖泊、海面、沙滩、草原、天空,则可认为无人机所处环境为障碍物稀疏类型。如果背景目标为森林,则需要进一步判断树木的数量、尺寸等因素。当图像中的树木数量有限且尺寸较大,则可认为无人机处于森林之中,所处环境为障碍物密集类型;当图像中的树木数量很多且尺寸较小,则可认为无人机处于森林之外,所处环境为障碍物稀疏类型。对于建筑物,判断环境类型的方式与森林的情况类似。
在另一些示例中,根据无人机搭载的探测装置的探测数据,确定无人机所处环境的环境类型。探测装置可以是无人机搭载的多种传感器,这些传感器可对外部环境进行感知,得到探测数据。传感器例如但不限于图像传感器、距离传感器、高程传感器等。通过分析传感器的探测数据即可确定环境类型是障碍物密集类型还是障碍物稀疏类型。
无人机的飞行状态通常由移动参数表征。在一些示例中,无人机的移动参数包括无人机的速度,若环境类型为障碍物密集类型,则确定无人机的速度为第一速度;若环境类型为障碍物稀疏类型,则确定无人机的速度为第二速度,且第二速度大于第一速度。也就是说,当无人机在障碍物密集的环境中时,例如森林之中、建筑物群之中,无人机的飞行速度应当较小,这样可避免与障碍物发生碰撞,保证无人机的安全,并有利于保证拍摄装置的稳定性,提高拍摄效果。并且当跟随目标为人或动物时,可避免因无人机以较快的速度突然出现而对跟随目标造成惊吓,保证良好的跟踪效果。当无人机在障碍物稀疏的环境中时,例如沙滩、草原、湖泊等,无人机的飞行速度可较大,以为无人机的飞行提供较大的灵活性。
在另一些示例中,无人机的移动参数还包括拍摄装置的角速度,若环境类型为障碍物密集类型,则确定拍摄装置的角速度为第一角速度;若环境类型为障碍物稀疏类型,则确定拍摄装置的角速度为第二角速度,且第二角速度大于第一角速度。拍摄装置的角速度可包括绕航向轴、横滚轴、俯仰轴的至少之一的角速度,可反映拍摄装置的姿态变化率。角速度越大,则拍摄装置的姿态变化越剧烈,反之,则姿态变化越平缓。当无人机在障碍物密集的环境中时,拍摄装置的角速度可以较小,这样可以保证拍摄装置的稳定性,提高拍摄效果。当无人机在障碍物稀疏的环境中时,拍摄装置的角速度可以较大,以为无人机的飞行提供较大的灵活性。
在无人机沿移动路径绕行障碍物的过程中,本实施例的控制方法还包括:根据第一像素区域和/或第二像素区域调整所述拍摄装置的姿态。第一像素区域为跟随目标在拍摄装置所拍摄的图像中对应的像素区域;第二像素区域为背景目标在拍摄装置所拍摄的图像中对应的像素区域。
本实施例的拍摄装置在拍摄时,不仅考虑跟随目标的位置,同时还将背景目标的位置纳入考量。可根据跟随目标对应的像素区域的位置、背景目标对应的像素区域的位置、或者,跟随目标和背景目标对应的像素区域的相对位置确定拍摄装置的姿态。在有些情况下,上述过程通常可称为构图。
在一些示例中,可根据第一像素区域和第二像素区域的相对位置关系,调整拍摄装置的姿态。所述相对位置关系可以是指第一像素区域和第二像素区域二者之间的距离、二者的像素坐标范围、二者的尺寸等。若相对位置关系为第一位置关系,则基于第一姿态调整策略调整拍摄装置的姿态;若相对位置关系为第二位置关系,则基于第二姿态调整策略调整拍摄装置的姿态;第二姿态调整策略不同于第一姿态调整策略。
在一些示例中,所述相对位置关系可包括:第一像素区域与第二像素区域是否有重合。当第一位置关系为第一像素区域与第二像素区域没有重合时,第一姿态调整策略包括:使图像中心位于第一像素区域与第二像素区域之间。
如图6所示,图像中同时出现了跟随目标与背景目标,跟随目标整体完全出现在图像中。背景目标的尺寸较小、或者距离拍摄装置较远,其整体也完全出现图像中。跟随目标与背景目标之间没有重叠。在这种情况下,通过调节拍摄装置的姿态,使图像中心位于背景目标与跟随目标之间。在一些示例中,可通过以下公式计算拍摄装置的姿态调节量:
Error(pitch)=0-(a*y(target)+b*y(background))/2 (1)
Error(yaw)=0-(a*x(target)+b*x(background))/2 (2)
其中,pitch表示俯仰角,yaw表示航向角;Error()表示拍摄装置的姿态调节量;x(target)、y(target)分别表示跟随目标在预定坐标系下的位置坐标;x(background)、y(background)分别表示背景目标在同一预定坐标系的位置坐标;a、b为加权系数,表示将跟随目标和背景目标留在画面中心位置的权重,在计算图像中心位于背景目标与跟随目标之间的具体位置时,加权系数表示跟随目标与背景目标二者位置的占比。预定坐标系可以是像素坐标系,也可以是图像坐标系。
对于图6所示的示例,用户可通过遥控器手动设置、或者无人机、拍摄装置和遥控器的至少之一可自动设置上述加权系数。通过给加权系数赋予不同的数值,可反映出不同目标在构图中的重要性。例如,如果用户更倾向于使跟随目标靠近图像中心,那么可将加权系数a设置为大于加权系数b。反之,如果用户更倾向于使背景目标靠近图像中心,那么可将加权系数b设置为大于加权系数a。
以上描述中,图像中心位于第一像素区域与第二像素区域之间,但是本实施例不限于此。还可以使图像的其他指定位置位于第一像素区域与第二像素区域之间。其他指定位置可以是用户通过遥控器手动设置、或者无人机、拍摄装置和遥控器的至少之一自动设置的位置。
当第二位置关系为第一像素区域位于第二像素区域内,此时通常可分两种情况考虑。当所述第二像素区域占满整个图像时,第二姿态调整策略可包括:使第一像素区域位于所述图像中的指定位置。当所述第二像素区域未占满整个图像时,第二姿态调整策略可包括:使第二像素区域的边缘像素点与图像的边缘之间的距离小于预设距离阈值。
当背景目标距离拍摄装置距离较近、或尺寸较大时,背景目标对应的第二像素区域很可能会占满整个图像。在这种情况下,可只考虑跟随目标对应的像素区域在图像中的位置。如图7所示,背景目标对应的像素区域占满了整个图像,在这种情况下,可通过以下公式计算拍摄装置的姿态调节量:
Error(pitch)=0-y(target) (3)
Error(yaw)=0-x(target) (4)
其中,各个符号的含义请参见公式(1)和(2)。
当指定位置为图像中心时,拍摄装置分别在航向和俯仰方向旋转上述公式得到的姿态调节量,跟随目标对应的第一像素区域即可位于图像中心。
在另一些情况下,拍摄装置可能拍摄到了背景目标的部分边缘,这时第二像素区域未占满整个图像。在这种情况下,可在跟随目标出现在图像中的前提下,使第二像素区域的边缘像素点与图像的边缘之间的距离小于预设距离阈值,即尽量使更多的背景目标出现的图像中。可通过以下公式计算拍摄装置的姿态调节量:
Error(pitch)=a*(0-y(target))+b*(h-y(boundary)) (5)
Error(yaw)=a*(0-x(target))+b*(w-x(boundary)) (6)
其中,h和w分别表示图像的高度和宽度,其余符号的含义请参见公式(1)和(2)。
如图8所示,背景目标并未占满整个图像。通过上述公式计算姿态调节量,这样可使跟随目标对应的第一像素区域位于图像中的同时,背景目标对应的第二像素区域的边缘像素点与图像的边缘之间的距离小于预设距离阈值。这样可使背景目标尽可能多地出现在图像中。用户可通过遥控器手动设置和调整、或者无人机、拍摄装置和遥控器的至少之一可自动设置或调整所述预设距离阈值。
本领域技术人员应当理解,虽然以上描述了第一位置关系和第二位置关系,以及对应的第一姿态调整策略和第二姿态调整策略,但这只是示例性说明,本实施例并不限于此。第一像素区域和第二像素区域的相对位置关系可以是多种多样的,其对应有不同的姿态调整策略。
在另一些示例中,可根据第二像素区域的形状调整拍摄装置的姿态。若第二像素区域的形状为第一类型,则基于第三姿态调整策略调整拍摄装置的姿态;若第二像素区域的形状为第二类型,则基于第四姿态调整策略调整拍摄装置的姿态,第四姿态调整策略不同于第三姿态调整策略。
在一些示例中,所述第一类型为线型,第三姿态调整策略包括:使第二像素区域经过图像中的指定位置,第一像素区域在图像的至少一个方向上与指定位置重合。
对于一些背景目标,其对应的第二像素区域呈一条直线或曲线。例如,地平线。地平线通常可以是海面、草原、沙漠分别与天空的交界线。如图9所示,对于类似地平线的线型背景目标,使第二像素区域经过图像中的指定位置是指:拍摄装置在俯仰轴方向旋转俯仰角调节量,使地平线经过图像中心;第一像素区域在图像的至少一个方向上与指定位置重合是指:拍摄装置在航向轴方向旋转航向角调节量,使跟随目标的中心在航向方向上与图像中心重合。如果第二像素区域为曲线,则使曲线的沿图像水平方向的中点经过图像中心。这样使地平线位于图像垂直方向的中心位置,且跟随目标在图像水平方向的中心位置,跟随目标呈现在地平线以及两侧的背景前,符合审美习惯,提高了拍摄装置的拍摄效果。
在另一些示例中,所述第二类型为面型,第四姿态调整策略包括:若第一像素区域与第二像素区域没有重合,则调整拍摄装置的姿态以使图像的中心位于第一像素区域与第二像素区域之间;若第一像素区域位于第二像素区域内,则调整拍摄装置的姿态以使第一像素区域位于图像中的指定位置;和/或,使第二像素区域的边缘像素点与图像的边缘之间的距离小于预设距离阈值。
第二像素区域为面型的背景目标有多种,例如,前述提到的山川、湖泊、海面、沙滩、草原、天空等。对于此类目标,可根据第一像素区域与第二像素区域是否有重合来确定姿态调整方式。在一些示例中,当第一像素区域与第二像素区域没有重合,调整拍摄装置的姿态以使图像的中心位于第一像素区域与第二像素区域之间的方式,与前述根据第一像素区域与第二像素区域的相对位置关系为没有重合的方式是类似的。同样,当第一像素区域位于第二像素区域内,调整拍摄装置的姿态以使第一像素区域位于图像中的指定位置;和/或,使第二像素区域的边缘像素点与图像的边缘之间的距离小于预设距离阈值,与前述根据第一像素区域与第二像素区域的相对位置关系为第一像素区域位于第二像素区域内的方式是也类似的。
在另一些示例中,还可根据背景目标的类型调整拍摄装置的姿态。若背景目标的类型为第一背景类型,则基于第五姿态调整策略调整拍摄装置的姿态;若背景目标的类型为第二背景类型,则基于第六姿态调整策略调整拍摄装置的姿态,第六姿态调整策略不同于第五姿态调整策略。
第一背景类型可以为地表类型,第五姿态调整策略可包括:使第一像素区域位于图像宽度方向的上半区域,第二像素区域位于图像宽度方向的下半区域;第二背景类型可以为非地表类型,第六姿态调整策略包括:使第一像素区域位于图像宽度方向的下半区域,第二像素区域位于图像宽度方向的上半区域。
在一些示例中,所述地表类型可包括:山川、河流、湖泊、森林、海面、沙滩、草原、建筑等根植于地面的背景目标,所述非地表类型可包括:天空、太阳、月亮、云朵等背景目标。
当第一背景类型为地表类型时,在一些情况下,跟随目标可能位于背景目标的上方。例如,当背景目标为草原、海面或湖泊,且将鸟类或无人机作为跟随目标时,这些跟随目标通常在这些背景目标上空移动,这时可使第一像素区域位于图像宽度方向的上半区域,第二像素区域位于图像宽度方向的下半区域,这样更加符合用户的观察习惯,有利于拍摄效果的改善。
由此可见,本实施例在确定跟随目标在图像中的位置时,不仅考虑跟随目标本身,同时还考虑背景目标,以及背景目标与跟随目标的相对位置关系、背景目标对应的像素区域的形状等因素,相对于现有技术的在构图中只考虑跟随目标的方式,本申请拍摄的图像的内容更加丰富、层次感更强,提升了拍摄效果,对各种场景都有很强的适应性和通用性。同时本申请可通过调节加权系数灵活地确定跟随目标和背景目标在图像中的位置,为拍摄装置的构图带来了更多的灵活性和便利性。
以上介绍了根据拍摄目标的位置信息和障碍物的位置信息,确定可移动平台绕行障碍物的移动路径的过程。如前所述,其中提到的障碍物可以是电线杆、路灯、户外标志牌、户外广告牌、以及一些情况下的背景目标等。此类障碍物可认为是通常意义上的障碍物,或者说是一种实体障碍物。但是在一些情况下,仅仅在确定移动路径的过程考虑这类障碍物可能是不够的,这可能会在一定程度上影响无人机的目标跟踪效果,尤其是无人机的飞行安全性和拍摄装置的稳定性。因此,在本实施例中,还可将无人机所处环境中的禁飞区作为障碍物,并根据拍摄目标的位置信息和禁飞区的位置信息,确定无人机绕行障碍物和禁飞区的移动路径。
本实施例中,所述禁飞区可看作一种虚拟障碍物,其可以有多种实现方式。在一些示例中,所述禁飞区由电子围栏设备确定。电子围栏设备,又称地理围栏设备,提供在某一位置处并且声称一个或多个电子围栏边界,电子围栏边界围成所述禁飞区,并在电子围栏边界之内管制无人机的活动。
电子围栏设备可固定设立在某一位置处,也可以是可易于移动的和/或可携带的。电子围栏设备可以是任何类型的设备,例如,视觉标识设备、音频标识设备、无线电标识设备。视觉标识设备可以是可被无人机的光学传感器感测的设备;音频标识设备可以是可被无人机的音频采集装置感测的设备;无线电标识设备可以包括:移动终端、台式计算机、便携式计算机等,也可以是另一架无人机或者无人机的停靠站。
电子围栏设备通常与一组或多组飞行管制关联,所述飞行管制用于指示禁飞区的管制内容,例如禁止无人机飞行、限制无人机在一定条件下飞行等。针对不同的无人机、操作无人机的不同用户、不同的电子围栏设备可能会有不同的飞行管制。
无人机周围的禁飞区的位置信息可通过无人机自身的位置信息搜索得到。在一些示例中,无人机自身即可得到禁飞区的位置信息。无人机本地可存储有地图数据,地图数据包括各种地域范围内的禁飞区的位置信息。无人机通过位置传感器得到自身的位置信息后,通过查询本地存储的地图数据,从而得到无人机周围预设范围内的禁飞区的位置信息。或者,无人机本地可能并没有存储地图数据,而是通过远程设备(例如,云端服务器)获取地图数据,通过查询获取的地图数据,从而得到无人机周围预设范围内的禁飞区的位置信息。
根据拍摄目标的位置信息和禁飞区的位置信息确定移动路径的方式,与前述根据拍摄目标的位置信息和障碍物的位置信息确定移动路径的方式是类似的。在确定移动路径时,将禁飞区与障碍物同等看待,或者将禁飞区当做障碍物的一种即可,前述所有适用于障碍物的步骤和操作均适应于禁飞区。例如,移动路径上的路径点与禁飞区的距离越大,则第二损失函数的取值越小。
如图10所示,带箭头的实线表示移动路径。如果无人机周围存在禁飞区,在确定移动路径时,基于拍摄目标的位置信息,并根据禁飞区的位置信息、或禁飞区和障碍物二者的位置信息,来确定移动路径的路径点。由于考虑了禁飞区的因素,禁飞区与障碍物之间的区域可认为是可通行区域,规划出的移动路径从可通信区域穿过,而不会进入禁飞区。
传统方式在确定目标跟踪的移动路径时,通常只考虑障碍物的影响,没有考虑过禁飞区的影响,使得无人机沿移动路径飞行时常常意外地闯入禁飞区,这会导致无人机违反相关的飞行管制,带来一系列的安全问题。有些情况下,当无人机进入禁飞区或者非常接近禁飞区时才会采取相应的行动,这些行动一般包括:立即降落、无人机飞行方向的骤然变化,无人机的速度、姿态等飞行参数会发生剧烈变化,这非常不利于无人机飞行的平滑性和拍摄装置的稳定性。本实施例可通过拍摄目标的位置信息和禁飞区的位置信息确定移动路径,这样当无人机沿移动路径飞行时,如果其周围存在禁飞区,无人机可以像对待障碍物那样在到达禁飞区之间就提前减速,或者提前改变飞行方向绕开禁飞区,从而避免闯入禁飞区,提升飞行安全性,同时提前减速和变向操作使无人机的速度、姿态等飞行参数的变化更加平滑,提升了无人机飞行的平滑性和拍摄装置的稳定性。
本公开另一实施例提供了一种可移动平台的控制方法,所述可移动平台包括拍摄装置,如图11所示,该控制方法包括:
S1101:获取所述拍摄装置所拍摄的图像中跟随目标对应的第一像素区域以及背景目标对应的第二像素区域;
S1102:根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态。
本实施例的可移动平台与上一实施例的可移动平台是类似的。以下以无人机这种可移动平台为例,对本实施例的控制方法进行说明。
在无人机沿移动路径飞行、拍摄装置对拍摄目标进行拍摄时,不仅考虑跟随目标的位置,同时还将背景目标的位置纳入考量。可根据跟随目标对应的第一像素区域与背景目标对应的第二像素区域的相对位置确定拍摄装置的姿态。本实施例控制方法的部分步骤、操作、流程可与上一实施例的对应部分相似。所述相对位置关系可以是指第一像素区域和第二像素区域二者之间的距离、二者的像素坐标范围、二者的尺寸等。
在一些示例中,若第二像素区域的形状为第一类型,则执行根据第一像素区域和第二像素区域的相对位置关系,调整拍摄装置的姿态的步骤。
当第一类型为面型时,若相对位置关系为第一位置关系,则基于第一姿态调整策略调整拍摄装置的姿态;若相对位置关系为第二位置关系,则基于第二姿态调整策略调整拍摄装置的姿态;第二姿态调整策略不同于第一姿态调整策略。
在一些示例中,所述相对位置关系可包括:第一像素区域与第二像素区域是否有重合。当第一位置关系为第一像素区域与第二像素区域没有重合时,第一姿态调整策略包括:使图像中心位于第一像素区域与第二像素区域之间。
如图6所示,图像中同时出现了跟随目标与背景目标,跟随目标整体完全出现在图像中。背景目标的尺寸较小、或者距离拍摄装置较远,其整体也完全出现图像中。跟随目标与背景目标之间没有重叠。在这种情况下,通过调节拍摄装置的姿态,使图像中心位于背景目标与跟随目标之间。在一些示例中,可通过以下公式计算拍摄装置的姿态调节量:
Error(pitch)=0-(a*y(target)+b*y(background))/2 (1)
Error(yaw)=0-(a*x(target)+b*x(background))/2 (2)
其中,pitch表示俯仰角,yaw表示航向角;Error()表示拍摄装置的姿态调节量;x(target)、y(target)分别表示跟随目标在预定坐标系下的位置坐标;x(background)、y(background)分别表示背景目标在同一预定坐标系的位置坐标;a、b为加权系数,表示将跟随目标和背景目标留在画面中心位置的权重,在计算图像中心位于背景目标与跟随目标之间的具体位置时,加权系数表示跟随目标与背景目标二者位置的占比。预定坐标系可以是像素坐标系,也可以是图像坐标系。
对于图6所示的示例,用户可通过遥控器手动设置、或者无人机、拍摄装置和遥控器的至少之一可自动设置上述加权系数。通过给加权系数赋予不同的数值,可反映出不同目标在构图中的重要性。例如,如果用户更倾向于使跟随目标靠近图像中心,那么可将加权系数a设置为大于加权系数b。反之,如果用户更倾向于使背景目标靠近图像中心,那么可将加权系数b设置为大于加权系数a。
以上描述中,图像中心位于第一像素区域与第二像素区域之间,但是本实施例不限于此。还可以使图像的其他指定位置位于第一像素区域与第二像素区域之间。其他指定位置可以是用户通过遥控器手动设置、或者无人机、拍摄装置和遥控器的至少之一自动设置的位置。
当第二位置关系为第一像素区域位于第二像素区域内,此时通常可分两种情况考虑。当所述第二像素区域占满整个图像时,第二姿态调整策略可包括:使第一像素区域位于所述图像中的指定位置。当所述第二像素区域未占满整个图像时,第二姿态调整策略可包括:使第二像素区域的边缘像素点与图像的边缘之间的距离小于预设距离阈值。
当背景目标距离拍摄装置距离较近、或尺寸较大时,背景目标对应的第二像素区域很可能会占满整个图像。在这种情况下,可只考虑跟随目标对应的像素区域在图像中的位置。如图7所示,背景目标对应的像素区域占满了整个图像,在这种情况下,可通过以下公式计算拍摄装置的姿态调节量:
Error(pitch)=0-y(target) (3)
Error(yaw)=0-x(target) (4)
其中,各个符号的含义请参见公式(1)和(2)。
当指定位置为图像中心时,拍摄装置分别在航向和俯仰方向旋转上述公式得到的姿态调节量,跟随目标对应的第一像素区域即可位于图像中心。
在另一些情况下,拍摄装置可能拍摄到了背景目标的部分边缘,这时第二像素区域未占满整个图像。在这种情况下,可在跟随目标出现在图像中的前提下,使第二像素区域的边缘像素点与图像的边缘之间的距离小于预设距离阈值,即尽量使更多的背景目标出现的图像中。可通过以下公式计算拍摄装置的姿态调节量:
Error(pitch)=a*(0-y(target))+b*(h-y(boundary)) (5)
Error(yaw)=a*(0-x(target))+b*(w-x(boundary)) (6)
其中,h和w分别表示图像的高度和宽度,其余符号的含义请参见公式(1)和(2)。
如图8所示,背景目标对应的第二像素区域大致呈三角形,且位于图像的左下方区域,并未占满整个图像。跟随目标在图像中位于背景目标的右上方。通过上述公式计算姿态调节量,使拍摄装置在航向上尽量向左、在俯仰方向上尽量向右旋转,这样可使跟随目标对应的第一像素区域位于图像右上角的同时,背景目标对应的第二像素区域的边缘像素点与图像的边缘之间的距离小于预设距离阈值。在图8中,第二像素区域的边缘像素点可以是三角形的第二图像区域的斜边上的像素点。图像的边缘可以是图像的上边缘和右边缘。这样可使背景目标尽可能多地出现在图像中。用户可通过遥控器手动设置和调整、或者无人机、拍摄装置和遥控器的至少之一可自动设置或调整所述预设距离阈值。
本领域技术人员应当理解,虽然以上描述了第一位置关系和第二位置关系,以及对应的第一姿态调整策略和第二姿态调整策略,但这只是示例性说明,本实施例并不限于此。第一像素区域和第二像素区域的相对位置关系可以是多种多样的,其对应有不同的姿态调整策略。
在另一些示例中,若第二像素区域的形状为第二类型,则根据第一像素区域和第二像素区域的位置,调整拍摄装置的姿态。第二类型可以是线型。根据第一像素区域和第二像素区域的位置,调整拍摄装置的姿态的步骤,包括:使第二像素区域经过图像中的指定位置,第一像素区域在图像的至少一个方向上与指定位置重合。
对于一些背景目标,其对应的第二像素区域呈一条直线或曲线。例如,地平线。地平线通常可以是海面、草原、沙漠分别与天空的交界线。如图9所示,对于类似地平线的线型背景目标,使第二像素区域经过图像中的指定位置是指:拍摄装置在俯仰轴方向旋转俯仰角调节量,使地平线经过图像中心;第一像素区域在图像的至少一个方向上与指定位置重合是指:拍摄装置在航向轴方向旋转航向角调节量,使跟随目标的中心在航向方向上与图像中心重合。如果第二像素区域为曲线,则使曲线的沿图像水平方向的中点经过图像中心。这样使地平线位于图像垂直方向的中心位置,且跟随目标在图像水平方向的中心位置,跟随目标呈现在地平线以及两侧的背景前,符合审美习惯,提高了拍摄装置的拍摄效果。
本公开又一实施例提供了一种可移动平台的控制方法,所述可移动平台包括拍摄装置,如图12所示,该控制方法包括:
S1201:获取所述可移动平台所处环境中的障碍物的位置信息;
S1202:获取所述可移动平台所处环境中的禁飞区的位置信息;
S1203:根据所述障碍物的位置信息和所述禁飞区的位置信息,确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
本实施例的可移动平台与上述实施例的可移动平台是类似的。以下以无人机这种可移动平台为例,对本实施例的控制方法进行说明。
通常可根据障碍物的位置信息,确定可移动平台绕行障碍物的移动路径的过程。这其中的障碍物可以是电线杆、路灯、户外标志牌、户外广告牌、以及一些情况下的背景目标等。但是在一些情况下,仅仅在确定移动路径的过程考虑障碍物可能是不够的,这可能会在一定程度上影响无人机的飞行安全性。在本实施例中,还可将无人机所处环境中的禁飞区作为确定移动路径的因素,并根据障碍物的位置信息和禁飞区的位置信息,确定无人机绕行障碍物和禁飞区的移动路径。
本实施例中,所述禁飞区可以有多种实现方式。在一些示例中,所述禁飞区由电子围栏设备确定。电子围栏设备,又称地理围栏设备,提供在某一位置处并且声称一个或多个电子围栏边界,电子围栏边界围成所述禁飞区,并在电子围栏边界之内管制无人机的活动。
电子围栏设备可固定设立在某一位置处,也可以是可易于移动的和/或可携带的。电子围栏设备可以是任何类型的设备,例如,视觉标识设备、音频标识设备、无线电标识设备。视觉标识设备可以是可被无人机的光学传感器感测的设备;音频标识设备可以是可被无人机的音频采集装置感测的设备;无线电标识设备可以包括:移动终端、台式计算机、便携式计算机等,也可以是另一架无人机或者无人机的停靠站。
电子围栏设备通常与一组或多组飞行管制关联,所述飞行管制用于指示禁飞区的管制内容,例如禁止无人机飞行、限制无人机在一定条件下飞行等。针对不同的无人机、操作无人机的不同用户、不同的电子围栏设备可能会有不同的飞行管制。
无人机周围的禁飞区的位置信息可通过无人机自身的位置信息搜索得到。在一些示例中,无人机自身即可得到禁飞区的位置信息。无人机本地可存储有地图数据,地图数据包括各种地域范围内的禁飞区的位置信息。无人机通过位置传感器得到自身的位置信息后,通过查询本地存储的地图数据,从而得到无人机周围预设范围内的禁飞区的位置信息。或者,无人机本地可能并没有存储地图数据,而是通过远程设备(例如,云端服务器)获取地图数据,通过查询获取的地图数据,从而得到无人机周围预设范围内的禁飞区的位置信息。
本实施例的禁飞区角色类似于障碍物。确定无人机的移动路径可以包括:至少部分地根据障碍物的位置信息和障碍物的位置信息建立损失函数,最小化损失函数以确定无人机绕行障碍物和禁飞区的移动路径。
可在目标跟踪的过程中实时生成无人机的移动路径,所述移动路径通常由一系列的路径点组成,无人机沿一系列的路径点飞行。损失函数用于确定一些因素在移动路径中的代价,能够得到量化的代价值。当根据禁飞区的位置信息和障碍物的位置信息确定移动路径时,所述损失函数可包括如下所示的第五损失函数:
Cost=cost_5(obstacle,no_fly_zone) (7)
其中,Cost表示损失函数,cost_5表示第五损失函数,obstacle表示移动路径中的路径点与障碍物之间的距离,no_fly_zone表示移动路径中的路径点与禁飞区之间的距离,路径点与禁飞区或障碍物的距离越大,则第五损失函数的取值越小。
第五损失函数是一种反映路径安全性的损失函数,所述路径安全性用于表征路径点与障碍物或禁飞区的距离是否满足安全指标。无人机沿移动路径飞行时,其与障碍物的距离不能靠的太近,这样才能保证无人机不与障碍物发生碰撞,提升无人机的飞行安全性。同时,无人机也不能进入禁飞区,这样才能避免违反相关的飞行管制。通过第五损失函数,如果一条路径中的路径点与障碍物和禁飞区的距离越大,该条路径就越可能被选为无人机的移动路径,反之,则越不可能被选为无人机的移动路径。如图13所示,带箭头的实线表示移动路径。如果无人机周围存在禁飞区和障碍物,在确定移动路径时,基于障碍物和禁飞区二者的位置信息来确定移动路径的路径点。由于考虑了禁飞区的因素,禁飞区与障碍物之间的区域可认为是可通行区域,规划出的移动路径从可通信区域穿过,而不会进入禁飞区。
传统方式在确定目标跟踪的移动路径时,通常只考虑障碍物的影响,没有考虑过禁飞区的影响,使得无人机沿移动路径飞行时常常意外地闯入禁飞区,这会导致无人机违反相关的飞行管制,带来一系列的安全问题。有些情况下,当无人机进入禁飞区或者非常接近禁飞区时才会采取相应的行动,这些行动一般包括:立即降落、无人机飞行方向的骤然变化,无人机的速度、姿态等飞行参数会发生剧烈变化,这非常不利于无人机飞行的平滑性和拍摄装置的稳定性。本实施例可通过障碍物的位置信息和禁飞区的位置信息确定移动路径,这样当无人机沿移动路径飞行时,如果其周围存在禁飞区,无人机可以像对待障碍物那样在到达禁飞区之间就提前减速,或者提前改变飞行方向绕开禁飞区,从而避免闯入禁飞区,提升飞行安全性,同时提前减速和变向操作使无人机的速度、姿态等飞行参数的变化更加平滑,提升了无人机飞行的平滑性和拍摄装置的稳定性。
本公开又一实施例还提供了一种可移动平台的控制装置,所述可移动平台包括拍摄装置,如图14所示,所述控制装置包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述可执行指令,以执行如下操作:
获取所述拍摄装置的拍摄目标的位置信息;
获取所述可移动平台所处环境中的障碍物的位置信息;
至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息,确定所述可移动平台绕行所述障碍物的移动路径。
本实施例的控制装置,其基本上可以执行上述实施例控制方法的步骤所对应的各种操作。
在一些示例中,所述处理器还用于执行以下操作:至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息建立损失函数;最小化所述损失函数以确定所述可移动平台绕行所述障碍物的移动路径。
在一些示例中,所述损失函数包括第一损失函数,所述移动路径上越少的路径点与所述拍摄目标之间的连线经过所述障碍物所在的区域,所述第一损失函数的取值越小。
在一些示例中,所述损失函数包括第二损失函数,所述移动路径上的路径点与所述障碍物的距离越大,所述第二损失函数的取值越小。
在一些示例中,所述损失函数包括第三损失函数,所述移动路径的曲率和/或曲率的变化率越小,所述第三损失函数的取值越小。
在一些示例中,所述拍摄目标包括跟随目标,所述损失函数包括第四损失函数,所述移动路径上的路径点与所述跟随目标的距离越接近于预设跟踪距离,所述第四损失函数的取值越小。
在一些示例中,所述处理器还用于执行以下操作:确定所述可移动平台所处环境的环境类型;根据所述环境类型确定所述可移动平台的移动参数。
在一些示例中,所述环境类型包括障碍物密集类型和障碍物稀疏类型。
在一些示例中,所述处理器还用于执行以下操作:根据所述拍摄装置所拍摄的图像中的背景目标,确定所述可移动平台所处环境的环境类型。
在一些示例中,所述处理器还用于执行以下操作:根据所述可移动平台搭载的探测装置的探测数据,确定所述可移动平台所处环境的环境类型。
在一些示例中,所述处理器还用于执行以下操作:若所述环境类型为障碍物密集类型,则确定所述可移动平台的速度为第一速度;若所述环境类型为障碍物稀疏类型,则确定所述可移动平台的速度为第二速度,所述第二速度大于所述第一速度。
在一些示例中,所述处理器还用于执行以下操作:若所述环境类型为障碍物密集类型,则确定所述拍摄装置的角速度为第一角速度;若所述环境类型为障碍物稀疏类型,则确定所述拍摄装置的角速度为第二角速度,所述第二角速度大于所述第一角速度。
在一些示例中,所述拍摄目标包括跟随目标和背景目标。
在一些示例中,所述处理器还用于执行以下操作:根据第一像素区域和/或第二像素区域调整所述拍摄装置的姿态;其中,所述第一像素区域为所述跟随目标在所述拍摄装置所拍摄的图像中对应的像素区域;所述第二像素区域为所述背景目标在所述拍摄装置所拍摄的图像中对应的像素区域。
在一些示例中,所述处理器还用于执行以下操作:根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态。
在一些示例中,所述处理器还用于执行以下操作:若所述相对位置关系为第一位置关系,则基于第一姿态调整策略调整所述拍摄装置的姿态;若所述相对位置关系为第二位置关系,则基于第二姿态调整策略调整所述拍摄装置的姿态;所述第二姿态调整策略不同于所述第一姿态调整策略。
在一些示例中,所述第一位置关系为没有重合,所述第一姿态调整策略包括:使所述图像的中心位于所述第一像素区域与所述第二像素区域之间;所述第二位置关系为所述第一像素区域位于所述第二像素区域内,第二姿态调整策略包括:使所述第一像素区域位于所述图像中的指定位置;和/或,使所述第二像素区域的边缘像素点与所述图像的边缘之间的距离小于预设距离阈值。
在一些示例中,所述处理器还用于执行以下操作:根据所述第二像素区域的形状调整所述拍摄装置的姿态。
在一些示例中,所述处理器还用于执行以下操作:若所述第二像素区域的形状为第一类型,则基于第三姿态调整策略调整所述拍摄装置的姿态;
若所述第二像素区域的形状为第二类型,则基于第四姿态调整策略调整所述拍摄装置的姿态,所述第四姿态调整策略不同于所述第三姿态调整策略。
在一些示例中,所述第一类型为线型,所述第三姿态调整策略包括:使所述第二像素区域经过所述图像中的指定位置,所述第一像素区域在所述图像的至少一个方向上与所述指定位置重合。
在一些示例中,所述第二类型为面型,所述第四姿态调整策略包括:若所述第一像素区域与所述第二像素区域没有重合,则调整所述拍摄装置的姿态以使所述图像的中心位于所述第一像素区域与所述第二像素区域之间;若所述第一像素区域位于所述第二像素区域内,则调整所述拍摄装置的姿态以使所述第一像素区域位于所述图像中的指定位置;和/或,使所述第二像素区域的边缘像素点与所述图像的边缘之间的距离小于预设距离阈值。
在一些示例中,将所述可移动平台所处环境中的禁飞区作为所述障碍物。
在一些示例中,所述处理器还用于执行以下操作:根据所述拍摄目标的位置信息和所述禁飞区的位置信息,确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
本公开又一实施例还提供了一种可移动平台的控制装置,所述可移动平台包括拍摄装置,如图14所示,所述控制装置包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述可执行指令,以执行如下操作:
获取所述拍摄装置所拍摄的图像中跟随目标对应的第一像素区域以及背景目标对应的第二像素区域;
根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态。
本实施例的控制装置,其基本上可以执行上述实施例控制方法的步骤所对应的各种操作。
在一些示例中,所述处理器还用于执行以下操作:若所述第二像素区域的形状为第一类型,则执行所述根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态的步骤。
在一些示例中,所述第一类型包括:面型。
在一些示例中,所述处理器还用于执行以下操作:若所述相对位置关系为第一位置关系,则基于第一姿态调整策略调整所述拍摄装置的姿态;若所述相对位置关系为第二位置关系,则基于第二姿态调整策略调整所述拍摄装置的姿态;所述第二姿态调整策略不同于所述第一姿态调整策略。
在一些示例中,所述第一位置关系为没有重合,所述第一姿态调整策略包括:使所述图像的中心位于所述第一像素区域与所述第二像素区域之间;所述第二位置关系为所述第一像素区域位于所述第二像素区域内,第二姿态调整策略包括:使所述第一像素区域位于所述图像中的指定位置;和/或,使所述第二像素区域的边缘像素点与所述图像的边缘之间的距离小于预设距离阈值。
在一些示例中,若所述第二像素区域的形状为第二类型,则根据所述第一像素区域和所述第二像素区域的位置,调整所述拍摄装置的姿态。
在一些示例中,所述第二类型包括:线型。
在一些示例中,所述处理器还用于执行以下操作:使所述第二像素区域经过所述图像中的指定位置,所述第一像素区域在所述图像的至少一个方向上与所述指定位置重合。
本公开又一实施例还提供了一种可移动平台的控制装置,所述可移动平台包括拍摄装置,如图14所示,所述控制装置包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述可执行指令,以执行如下操作:
获取所述可移动平台所处环境中的障碍物的位置信息;
获取所述可移动平台所处环境中的禁飞区的位置信息;
根据所述障碍物的位置信息和所述禁飞区的位置信息,确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
本实施例的控制装置,其基本上可以执行上述实施例控制方法的步骤所对应的各种操作。
在一些示例中,所述处理器还用于执行以下操作:至少部分地根据所述禁飞区的位置信息和所述障碍物的位置信息建立损失函数;最小化所述损失函数以确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
在一些示例中,所述损失函数包括第五损失函数,所述移动路径上的路径点与所述障碍物和所述禁飞区的距离越大,所述第五损失函数的取值越小。
在一些示例中,所述损失函数包括第二损失函数,所述移动路径的曲率和/或曲率的变化率越小,所述第二损失函数的取值越小。
在一些示例中,所述禁飞区由电子围栏、飞行管制信息确定。
在一些示例中,所述处理器还用于执行以下操作:从所述可移动平台本地、可与所述可移动平台通信的远程装置的至少之一获取所述禁飞区的位置信思。
在一些示例中,所述处理器还用于执行以下操作:通过所述可移动平台的传感器测量所述障碍物的位置信息;和/或,从可与所述可移动平台通信的远程装置获取所述障碍物的位置信息。
本公开再一实施例还提供了一种计算机可读存储介质,其存储有可执行指令,所述可执行指令在由一个或多个处理器执行时,可以使所述一个或多个处理器执行上述实施例所述的控制方法。
计算机可读存储介质,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
本公开再一实施例还提供了一种可移动平台,如图15所示,包括:拍摄装置、以及可移动载体;所述可移动载体包括:上述实施例的控制装置。在一些示例中,所述可移动载体包括:无人机、无人车、无人船或机器人。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述各实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;在不冲突的情况下,本公开实施例中的特征可以任意组合;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。
Claims (79)
1.一种可移动平台的控制方法,所述可移动平台包括拍摄装置,其特征在于,所述控制方法包括:
获取所述拍摄装置的拍摄目标的位置信息;
获取所述可移动平台所处环境中的障碍物的位置信息;
至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息,确定所述可移动平台绕行所述障碍物的移动路径。
2.如权利要求1所述的控制方法,其特征在于,所述至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息,确定所述可移动平台绕行所述障碍物的移动路径,包括:
至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息建立损失函数;
最小化所述损失函数以确定所述可移动平台绕行所述障碍物的移动路径。
3.如权利要求2所述的控制方法,其特征在于,所述损失函数包括第一损失函数,所述移动路径上越少的路径点与所述拍摄目标之间的连线经过所述障碍物所在的区域,所述第一损失函数的取值越小。
4.如权利要求2所述的控制方法,其特征在于,所述损失函数包括第二损失函数,所述移动路径上的路径点与所述障碍物的距离越大,所述第二损失函数的取值越小。
5.如权利要求2所述的控制方法,其特征在于,所述损失函数包括第三损失函数,所述移动路径的曲率和/或曲率的变化率越小,所述第三损失函数的取值越小。
6.如权利要求2-5任一项所述的控制方法,其特征在于,所述拍摄目标包括跟随目标,所述损失函数包括第四损失函数,所述移动路径上的路径点与所述跟随目标的距离越接近于预设跟踪距离,所述第四损失函数的取值越小。
7.如权利要求1所述的控制方法,其特征在于,还包括:
确定所述可移动平台所处环境的环境类型;
根据所述环境类型确定所述可移动平台的移动参数。
8.如权利要求7所述的控制方法,其特征在于,所述环境类型包括障碍物密集类型和障碍物稀疏类型。
9.如权利要求8所述的控制方法,其特征在于,所述确定所述可移动平台所处环境的环境类型,包括:
根据所述拍摄装置所拍摄的图像中的背景目标,确定所述可移动平台所处环境的环境类型。
10.如权利要求8所述的控制方法,其特征在于,所述确定所述可移动平台所处环境的环境类型,包括:
根据所述可移动平台搭载的探测装置的探测数据,确定所述可移动平台所处环境的环境类型。
11.如权利要求8所述的控制方法,其特征在于,所述可移动平台的移动参数包括所述可移动平台的速度,所述根据所述环境类型确定所述可移动平台的移动参数,包括:
若所述环境类型为障碍物密集类型,则确定所述可移动平台的速度为第一速度;
若所述环境类型为障碍物稀疏类型,则确定所述可移动平台的速度为第二速度,所述第二速度大于所述第一速度。
12.如权利要求8所述的控制方法,其特征在于,所述可移动平台的移动参数包括所述拍摄装置的角速度,所述根据所述环境类型确定所述可移动平台的移动参数,包括:
若所述环境类型为障碍物密集类型,则确定所述拍摄装置的角速度为第一角速度;
若所述环境类型为障碍物稀疏类型,则确定所述拍摄装置的角速度为第二角速度,所述第二角速度大于所述第一角速度。
13.如权利要求1所述的控制方法,其特征在于,所述拍摄目标包括跟随目标和背景目标。
14.如权利要求13所述的控制方法,其特征在于,所述可移动平台沿所述移动路径绕行所述障碍物的过程中,还包括:
根据第一像素区域和/或第二像素区域调整所述拍摄装置的姿态;
其中,
所述第一像素区域为所述跟随目标在所述拍摄装置所拍摄的图像中对应的像素区域;
所述第二像素区域为所述背景目标在所述拍摄装置所拍摄的图像中对应的像素区域。
15.如权利要求14所述的控制方法,其特征在于,所述根据第一像素区域和第二像素区域调整所述拍摄装置的姿态,包括:
根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态。
16.如权利要求15所述的控制方法,其特征在于,
若所述相对位置关系为第一位置关系,则基于第一姿态调整策略调整所述拍摄装置的姿态;
若所述相对位置关系为第二位置关系,则基于第二姿态调整策略调整所述拍摄装置的姿态;所述第二姿态调整策略不同于所述第一姿态调整策略。
17.如权利要求15所述的控制方法,其特征在于,
所述第一位置关系为没有重合,所述第一姿态调整策略包括:
使所述图像的中心位于所述第一像素区域与所述第二像素区域之间;
所述第二位置关系为所述第一像素区域位于所述第二像素区域内,第二姿态调整策略包括:
使所述第一像素区域位于所述图像中的指定位置;
和/或,
使所述第二像素区域的边缘像素点与所述图像的边缘之间的距离小于预设距离阈值。
18.如权利要求14所述的控制方法,其特征在于,所述根据第一像素区域和/或第二像素区域调整所述拍摄装置的姿态,包括:
根据所述第二像素区域的形状调整所述拍摄装置的姿态。
19.如权利要求18所述的控制方法,其特征在于,
若所述第二像素区域的形状为第一类型,则基于第三姿态调整策略调整所述拍摄装置的姿态;
若所述第二像素区域的形状为第二类型,则基于第四姿态调整策略调整所述拍摄装置的姿态,所述第四姿态调整策略不同于所述第三姿态调整策略。
20.如权利要求19所述的控制方法,其特征在于,所述第一类型为线型,所述第三姿态调整策略包括:
使所述第二像素区域经过所述图像中的指定位置,所述第一像素区域在所述图像的至少一个方向上与所述指定位置重合。
21.如权利要求19所述的控制方法,其特征在于,所述第二类型为面型,所述第四姿态调整策略包括:
若所述第一像素区域与所述第二像素区域没有重合,则调整所述拍摄装置的姿态以使所述图像的中心位于所述第一像素区域与所述第二像素区域之间;
若所述第一像素区域位于所述第二像素区域内,则调整所述拍摄装置的姿态以使所述第一像素区域位于所述图像中的指定位置;和/或,使所述第二像素区域的边缘像素点与所述图像的边缘之间的距离小于预设距离阈值。
22.如权利要求2所述的控制方法,其特征在于,将所述可移动平台所处环境中的禁飞区作为所述障碍物。
23.如权利要求22所述的控制方法,其特征在于,所述至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息,确定所述可移动平台绕行所述障碍物的移动路径,包括:
根据所述拍摄目标的位置信息和所述禁飞区的位置信息,确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
24.一种可移动平台的控制方法,所述可移动平台包括拍摄装置,其特征在于,所述控制方法包括:
获取所述拍摄装置所拍摄的图像中跟随目标对应的第一像素区域以及背景目标对应的第二像素区域;
根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态。
25.如权利要求24所述的控制方法,其特征在于,
若所述第二像素区域的形状为第一类型,则执行所述根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态的步骤。
26.如权利要求25所述的控制方法,其特征在于,所述第一类型包括:面型。
27.如权利要求25或26所述的控制方法,其特征在于,
若所述相对位置关系为第一位置关系,则基于第一姿态调整策略调整所述拍摄装置的姿态;
若所述相对位置关系为第二位置关系,则基于第二姿态调整策略调整所述拍摄装置的姿态;所述第二姿态调整策略不同于所述第一姿态调整策略。
28.如权利要求27所述的控制方法,其特征在于,
所述第一位置关系为没有重合,所述第一姿态调整策略包括:
使所述图像的中心位于所述第一像素区域与所述第二像素区域之间;
所述第二位置关系为所述第一像素区域位于所述第二像素区域内,第二姿态调整策略包括:
使所述第一像素区域位于所述图像中的指定位置;和/或,使所述第二像素区域的边缘像素点与所述图像的边缘之间的距离小于预设距离阈值。
29.如权利要求24所述的控制方法,其特征在于,
若所述第二像素区域的形状为第二类型,则根据所述第一像素区域和所述第二像素区域的位置,调整所述拍摄装置的姿态。
30.如权利要求29所述的控制方法,其特征在于,所述第二类型包括:线型。
31.如权利要求30所述的控制方法,其特征在于,所述根据所述第一像素区域和所述第二像素区域的位置,调整所述拍摄装置的姿态的步骤,包括:
使所述第二像素区域经过所述图像中的指定位置,所述第一像素区域在所述图像的至少一个方向上与所述指定位置重合。
32.一种可移动平台的控制方法,其特征在于,所述控制方法包括:
获取所述可移动平台所处环境中的障碍物的位置信息;
获取所述可移动平台所处环境中的禁飞区的位置信息;
根据所述障碍物的位置信息和所述禁飞区的位置信息,确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
33.如权利要求32所述的控制方法,其特征在于,所述根据所述障碍物的位置信息和所述禁飞区的位置信息,确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径,包括:
至少部分地根据所述禁飞区的位置信息和所述障碍物的位置信息建立损失函数;
最小化所述损失函数以确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
34.如权利要求33所述的控制方法,其特征在于,所述损失函数包括第五损失函数,所述移动路径上的路径点与所述障碍物和所述禁飞区的距离越大,所述第五损失函数的取值越小。
35.如权利要求33所述的控制方法,其特征在于,所述损失函数包括第二损失函数,所述移动路径的曲率和/或曲率的变化率越小,所述第二损失函数的取值越小。
36.如权利要求32至35任一项所述的控制方法,其特征在于,所述禁飞区由电子围栏、飞行管制信息确定。
37.如权利要求32至35任一项所述的控制方法,其特征在于,所述获取所述可移动平台所处环境中的禁飞区的位置信息,包括:
从所述可移动平台本地、可与所述可移动平台通信的远程装置的至少之一获取所述禁飞区的位置信息。
38.如权利要求32至35任一项所述的控制方法,其特征在于,所述获取所述可移动平台所处环境中的障碍物的位置信息,包括:
通过所述可移动平台的传感器测量所述障碍物的位置信息;和/或,从可与所述可移动平台通信的远程装置获取所述障碍物的位置信息。
39.一种可移动平台的控制装置,所述可移动平台包括拍摄装置,其特征在于,所述控制装置包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述可执行指令,以执行如下操作:
获取所述拍摄装置的拍摄目标的位置信息;
获取所述可移动平台所处环境中的障碍物的位置信息;
至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息,确定所述可移动平台绕行所述障碍物的移动路径。
40.如权利要求39所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
至少部分地根据所述拍摄目标的位置信息和所述障碍物的位置信息建立损失函数;
最小化所述损失函数以确定所述可移动平台绕行所述障碍物的移动路径。
41.如权利要求40所述的控制装置,其特征在于,所述损失函数包括第一损失函数,所述移动路径上越少的路径点与所述拍摄目标之间的连线经过所述障碍物所在的区域,所述第一损失函数的取值越小。
42.如权利要求40所述的控制装置,其特征在于,所述损失函数包括第二损失函数,所述移动路径上的路径点与所述障碍物的距离越大,所述第二损失函数的取值越小。
43.如权利要求40所述的控制装置,其特征在于,所述损失函数包括第三损失函数,所述移动路径的曲率和/或曲率的变化率越小,所述第三损失函数的取值越小。
44.如权利要求40-43任一项所述的控制装置,其特征在于,所述拍摄目标包括跟随目标,所述损失函数包括第四损失函数,所述移动路径上的路径点与所述跟随目标的距离越接近于预设跟踪距离,所述第四损失函数的取值越小。
45.如权利要求39所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
确定所述可移动平台所处环境的环境类型;
根据所述环境类型确定所述可移动平台的移动参数。
46.如权利要求45所述的控制装置,其特征在于,所述环境类型包括障碍物密集类型和障碍物稀疏类型。
47.如权利要求46所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
根据所述拍摄装置所拍摄的图像中的背景目标,确定所述可移动平台所处环境的环境类型。
48.如权利要求46所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
根据所述可移动平台搭载的探测装置的探测数据,确定所述可移动平台所处环境的环境类型。
49.如权利要求46所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
若所述环境类型为障碍物密集类型,则确定所述可移动平台的速度为第一速度;
若所述环境类型为障碍物稀疏类型,则确定所述可移动平台的速度为第二速度,所述第二速度大于所述第一速度。
50.如权利要求46所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
若所述环境类型为障碍物密集类型,则确定所述拍摄装置的角速度为第一角速度;
若所述环境类型为障碍物稀疏类型,则确定所述拍摄装置的角速度为第二角速度,所述第二角速度大于所述第一角速度。
51.如权利要求39所述的控制装置,其特征在于,所述拍摄目标包括跟随目标和背景目标。
52.如权利要求51所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
根据第一像素区域和/或第二像素区域调整所述拍摄装置的姿态;
其中,
所述第一像素区域为所述跟随目标在所述拍摄装置所拍摄的图像中对应的像素区域;
所述第二像素区域为所述背景目标在所述拍摄装置所拍摄的图像中对应的像素区域。
53.如权利要求52所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态。
54.如权利要求53所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
若所述相对位置关系为第一位置关系,则基于第一姿态调整策略调整所述拍摄装置的姿态;
若所述相对位置关系为第二位置关系,则基于第二姿态调整策略调整所述拍摄装置的姿态;所述第二姿态调整策略不同于所述第一姿态调整策略。
55.如权利要求53所述的控制装置,其特征在于,
所述第一位置关系为没有重合,所述第一姿态调整策略包括:
使所述图像的中心位于所述第一像素区域与所述第二像素区域之间;
所述第二位置关系为所述第一像素区域位于所述第二像素区域内,第二姿态调整策略包括:
使所述第一像素区域位于所述图像中的指定位置;
和/或,
使所述第二像素区域的边缘像素点与所述图像的边缘之间的距离小于预设距离阈值。
56.如权利要求52所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
根据所述第二像素区域的形状调整所述拍摄装置的姿态。
57.如权利要求56所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
若所述第二像素区域的形状为第一类型,则基于第三姿态调整策略调整所述拍摄装置的姿态;
若所述第二像素区域的形状为第二类型,则基于第四姿态调整策略调整所述拍摄装置的姿态,所述第四姿态调整策略不同于所述第三姿态调整策略。
58.如权利要求57所述的控制装置,其特征在于,所述第一类型为线型,所述第三姿态调整策略包括:
使所述第二像素区域经过所述图像中的指定位置,所述第一像素区域在所述图像的至少一个方向上与所述指定位置重合。
59.如权利要求57所述的控制装置,其特征在于,所述第二类型为面型,所述第四姿态调整策略包括:
若所述第一像素区域与所述第二像素区域没有重合,则调整所述拍摄装置的姿态以使所述图像的中心位于所述第一像素区域与所述第二像素区域之间;
若所述第一像素区域位于所述第二像素区域内,则调整所述拍摄装置的姿态以使所述第一像素区域位于所述图像中的指定位置;和/或,使所述第二像素区域的边缘像素点与所述图像的边缘之间的距离小于预设距离阈值。
60.如权利要求40所述的控制装置,其特征在于,将所述可移动平台所处环境中的禁飞区作为所述障碍物。
61.如权利要求60所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
根据所述拍摄目标的位置信息和所述禁飞区的位置信息,确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
62.一种可移动平台的控制装置,所述可移动平台包括拍摄装置,其特征在于,所述控制装置包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述可执行指令,以执行如下操作:
获取所述拍摄装置所拍摄的图像中跟随目标对应的第一像素区域以及背景目标对应的第二像素区域;
根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态。
63.如权利要求62所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
若所述第二像素区域的形状为第一类型,则执行所述根据所述第一像素区域和所述第二像素区域的相对位置关系,调整所述拍摄装置的姿态的步骤。
64.如权利要求63所述的控制装置,其特征在于,所述第一类型包括:面型。
65.如权利要求63或64所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
若所述相对位置关系为第一位置关系,则基于第一姿态调整策略调整所述拍摄装置的姿态;
若所述相对位置关系为第二位置关系,则基于第二姿态调整策略调整所述拍摄装置的姿态;所述第二姿态调整策略不同于所述第一姿态调整策略。
66.如权利要求65所述的控制装置,其特征在于,
所述第一位置关系为没有重合,所述第一姿态调整策略包括:
使所述图像的中心位于所述第一像素区域与所述第二像素区域之间;
所述第二位置关系为所述第一像素区域位于所述第二像素区域内,第二姿态调整策略包括:
使所述第一像素区域位于所述图像中的指定位置;和/或,使所述第二像素区域的边缘像素点与所述图像的边缘之间的距离小于预设距离阈值。
67.如权利要求62所述的控制装置,其特征在于,
若所述第二像素区域的形状为第二类型,则根据所述第一像素区域和所述第二像素区域的位置,调整所述拍摄装置的姿态。
68.如权利要求67所述的控制装置,其特征在于,所述第二类型包括:线型。
69.如权利要求68所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
使所述第二像素区域经过所述图像中的指定位置,所述第一像素区域在所述图像的至少一个方向上与所述指定位置重合。
70.一种可移动平台的控制装置,其特征在于,所述控制装置包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述可执行指令,以执行如下操作:
获取所述可移动平台所处环境中的障碍物的位置信息;
获取所述可移动平台所处环境中的禁飞区的位置信息;
根据所述障碍物的位置信息和所述禁飞区的位置信息,确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
71.如权利要求70所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
至少部分地根据所述禁飞区的位置信息和所述障碍物的位置信息建立损失函数;
最小化所述损失函数以确定所述可移动平台绕行所述障碍物和所述禁飞区的移动路径。
72.如权利要求71所述的控制装置,其特征在于,所述损失函数包括第五损失函数,所述移动路径上的路径点与所述障碍物和所述禁飞区的距离越大,所述第五损失函数的取值越小。
73.如权利要求71所述的控制装置,其特征在于,所述损失函数包括第二损失函数,所述移动路径的曲率和/或曲率的变化率越小,所述第二损失函数的取值越小。
74.如权利要求70至73任一项所述的控制装置,其特征在于,所述禁飞区由电子围栏、飞行管制信息确定。
75.如权利要求70至74任一项所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
从所述可移动平台本地、可与所述可移动平台通信的远程装置的至少之一获取所述禁飞区的位置信息。
76.如权利要求70至74任一项所述的控制装置,其特征在于,所述处理器还用于执行以下操作:
通过所述可移动平台的传感器测量所述障碍物的位置信息;和/或,从可与所述可移动平台通信的远程装置获取所述障碍物的位置信息。
77.一种计算机可读存储介质,其特征在于,其存储有可执行指令,所述可执行指令在由一个或多个处理器执行时,可以使所述一个或多个处理器执行如权利要求1至38中任一项权利要求所述的控制方法。
78.一种可移动平台,其特征在于,包括:拍摄装置、以及可移动载体;所述可移动载体包括:如权利要求39-76任一项所述的控制装置。
79.如权利要求78所述的可移动平台,其特征在于,所述可移动载体包括:无人机、无人车、无人船或机器人。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/107825 WO2022027596A1 (zh) | 2020-08-07 | 2020-08-07 | 可移动平台的控制方法、装置、计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113906360A true CN113906360A (zh) | 2022-01-07 |
Family
ID=79186965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080035658.XA Pending CN113906360A (zh) | 2020-08-07 | 2020-08-07 | 可移动平台的控制方法、装置、计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113906360A (zh) |
WO (1) | WO2022027596A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115291607A (zh) * | 2022-08-02 | 2022-11-04 | 柳州城市职业学院 | 复杂未知水域内无人驾驶船路径自主规划生成方法及系统 |
CN115755981A (zh) * | 2022-12-12 | 2023-03-07 | 浙江大学 | 一种交互式的无人机自主航拍方法及装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230259145A1 (en) * | 2022-02-15 | 2023-08-17 | Skydio, Inc. | Enhanced Unmanned Aerial Vehicle Flight With Situational Awareness For Moving Vessels |
CN114637311B (zh) * | 2022-03-17 | 2024-06-07 | 北京航空航天大学 | 基于机动规避多禁飞区的制导方法和系统 |
CN114924585B (zh) * | 2022-05-19 | 2023-03-24 | 广东工业大学 | 基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统 |
CN116468351B (zh) * | 2023-06-16 | 2023-11-07 | 深圳市磅旗科技智能发展有限公司 | 一种基于大数据的智慧物流管理方法、系统以及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106741028A (zh) * | 2016-12-05 | 2017-05-31 | 四川西部动力机器人科技有限公司 | 一种机场智能行李车 |
CN107992052A (zh) * | 2017-12-27 | 2018-05-04 | 纳恩博(北京)科技有限公司 | 目标跟踪方法及装置、移动设备及存储介质 |
CN108496134A (zh) * | 2017-05-31 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 无人机返航路径规划方法及装置 |
CN108519773A (zh) * | 2018-03-07 | 2018-09-11 | 西安交通大学 | 一种结构化环境下无人驾驶车辆的路径规划方法 |
CN108702448A (zh) * | 2017-09-27 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 无人机图像采集方法及无人机 |
CN108931991A (zh) * | 2018-08-30 | 2018-12-04 | 王瑾琨 | 移动载体自动跟随方法及具有自动跟随避障功能移动载体 |
CN109343528A (zh) * | 2018-10-30 | 2019-02-15 | 杭州电子科技大学 | 一种节能的无人机路径规划避障方法 |
CN109739267A (zh) * | 2018-12-21 | 2019-05-10 | 北京智行者科技有限公司 | 跟随路径的确定方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016041110A1 (zh) * | 2014-09-15 | 2016-03-24 | 深圳市大疆创新科技有限公司 | 一种飞行器的飞行控制方法及相关装置 |
CN106325290A (zh) * | 2016-09-30 | 2017-01-11 | 北京奇虎科技有限公司 | 一种基于无人机的监控系统及设备 |
CN112650267B (zh) * | 2016-10-17 | 2024-04-12 | 深圳市大疆创新科技有限公司 | 一种飞行器的飞行控制方法、装置及飞行器 |
CN106981073B (zh) * | 2017-03-31 | 2019-08-06 | 中南大学 | 一种基于无人机的地面运动目标实时跟踪方法及系统 |
CN109493371A (zh) * | 2018-11-29 | 2019-03-19 | 中国计量大学 | 一种基于视觉的四旋翼无人机行人跟踪方法 |
-
2020
- 2020-08-07 WO PCT/CN2020/107825 patent/WO2022027596A1/zh active Application Filing
- 2020-08-07 CN CN202080035658.XA patent/CN113906360A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106741028A (zh) * | 2016-12-05 | 2017-05-31 | 四川西部动力机器人科技有限公司 | 一种机场智能行李车 |
CN108496134A (zh) * | 2017-05-31 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 无人机返航路径规划方法及装置 |
CN108702448A (zh) * | 2017-09-27 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 无人机图像采集方法及无人机 |
CN107992052A (zh) * | 2017-12-27 | 2018-05-04 | 纳恩博(北京)科技有限公司 | 目标跟踪方法及装置、移动设备及存储介质 |
CN108519773A (zh) * | 2018-03-07 | 2018-09-11 | 西安交通大学 | 一种结构化环境下无人驾驶车辆的路径规划方法 |
CN108931991A (zh) * | 2018-08-30 | 2018-12-04 | 王瑾琨 | 移动载体自动跟随方法及具有自动跟随避障功能移动载体 |
CN109343528A (zh) * | 2018-10-30 | 2019-02-15 | 杭州电子科技大学 | 一种节能的无人机路径规划避障方法 |
CN109739267A (zh) * | 2018-12-21 | 2019-05-10 | 北京智行者科技有限公司 | 跟随路径的确定方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115291607A (zh) * | 2022-08-02 | 2022-11-04 | 柳州城市职业学院 | 复杂未知水域内无人驾驶船路径自主规划生成方法及系统 |
CN115291607B (zh) * | 2022-08-02 | 2023-03-14 | 柳州城市职业学院 | 复杂未知水域内无人驾驶船路径自主规划生成方法及系统 |
CN115755981A (zh) * | 2022-12-12 | 2023-03-07 | 浙江大学 | 一种交互式的无人机自主航拍方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2022027596A1 (zh) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113906360A (zh) | 可移动平台的控制方法、装置、计算机可读存储介质 | |
AU2020260445B2 (en) | Unmanned aircraft structure evaluation system and method | |
EP3459238B1 (en) | Need-sensitive image and location capture system and method | |
CN103822635B (zh) | 基于视觉信息的无人机飞行中空间位置实时计算方法 | |
CN108476288A (zh) | 拍摄控制方法及装置 | |
JP7432595B2 (ja) | 連携仮想インターフェース | |
US11912407B1 (en) | Unmanned vehicle morphing | |
US20210112194A1 (en) | Method and device for taking group photo | |
CN111338382A (zh) | 一种安全态势引导的无人机路径规划方法 | |
WO2020225979A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び情報処理システム | |
WO2022188151A1 (zh) | 影像拍摄方法、控制装置、可移动平台和计算机存储介质 | |
CN114995519A (zh) | 一种基于多障碍场景的无人机ai降落方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |