CN107943072B - 无人机飞行路径生成方法、装置、存储介质及设备 - Google Patents

无人机飞行路径生成方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN107943072B
CN107943072B CN201711111924.9A CN201711111924A CN107943072B CN 107943072 B CN107943072 B CN 107943072B CN 201711111924 A CN201711111924 A CN 201711111924A CN 107943072 B CN107943072 B CN 107943072B
Authority
CN
China
Prior art keywords
flight path
landmark
key
local
cost function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711111924.9A
Other languages
English (en)
Other versions
CN107943072A (zh
Inventor
黄惠
谢科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201711111924.9A priority Critical patent/CN107943072B/zh
Priority to US15/884,914 priority patent/US10663300B2/en
Publication of CN107943072A publication Critical patent/CN107943072A/zh
Application granted granted Critical
Publication of CN107943072B publication Critical patent/CN107943072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种无人机飞行路径生成方法、装置、存储介质及设备。该方法包括：根据地标的关键视角集合生成至少一个有序关键视角子集；利用有序关键视角子集生成地标的局部飞行路径；基于局部飞行路径构建并求解广义旅行销售员问题，得到至少一条访问至少一个地标的全局飞行路径；根据局部飞行路径的代价函数和全局飞行路径的代价函数生成总体代价函数，并根据总体代价函数的求解结果选择局部飞行路径和全局飞行路径生成无人机飞行路径。本发明无需指定关键视角顺序，降低了无人机操控难度。

Description

无人机飞行路径生成方法、装置、存储介质及设备
技术领域
本发明涉及计算机图形学技术领域，尤其涉及一种无人机飞行路径生成方法、装置、存储介质及设备。
背景技术
随着四旋翼无人机(UAV)技术的进步和无人机价格的下降，无人机在各种任务中的应用越来越普遍。特别地，四旋翼无人机被专业人士和业余摄影师日益广泛地用于捕获航拍图像和视频。
然而，通过控制无人机拍摄高质量的航拍视频是非常具有挑战性的。在拍摄过程中，不仅需要控制无人机的飞行轨迹，还需要同时控制摄像机的自由度。通常需要两个人来拍摄航拍视频，其中一个人驾驶无人机，同时另一个人控制摄像机。此外，有限的电池容量和快速变化的照明条件使得难以通过反复的飞行排练来提高拍摄质量。而且，在每次飞行途中，只要发生一点差错，就必须重新进行拍摄。
最近，研究人员设计了平滑的无人机飞行路径。该飞行路径中插入了用户指定的观察视角(关键帧)(P.2015.An interactive tool for designing quadrotor camerashots.ACM Trans.Graphics 34,6,238)，并且该飞行路径可以确保动态可行性(P.2016.Generating dynamically feasible trajectories for quadrotorcameras.ACM Transactions on Graphics(Proc.SIGGRAPH 2016)35,4)。在“Aninteractive tool for designing quadrotor camera shots”中，无人机在真实环境中自动执行飞行任务之前，可先在3D模拟器中设计虚拟路径。该虚拟路径是通过创建手动定位的关键帧的有序集合来设计的，而且，关键帧的顺序需要由用户指定。在不同关键帧之间创建一条特定的C4连续的路径，以确保路径遵循四旋翼无人机运动的物理方程，然后，向用户报告该路径的飞行可行性，以使用户迭代地改变关键帧的顺序。
与“An interactive tool for designing quadrotor camera shots”相似，另有研究人员提出了另一种路径设计方法(O.2016.Airways:Optimization-based planningof quadrotor trajectories according to high-level user goals.In Proc.2016CHIConference on Human Factors in Computing Systems,ACM,New York,NY,USA,CHI’16,2508–2519)。在“Airways:Optimization-based planning of quadrotor trajectoriesaccording to high-level user goals”中，在虚拟环境中绘制和编辑无人机飞行路径，然后对路径进行优化，以确保飞行可行性。但由于该设计方法需要给定多个约束(例如避免冲突)，优化过程不能完全尊重用户输入，而需要在用户输入和约束之间进行权衡。
发明内容
本发明提供一种无人机飞行路径生成方法、装置、存储介质及设备，以降低无人机飞行的操控难度。
本发明实施例提供一种无人机飞行路径生成方法，包括：根据场景中地标的关键视角集合生成至少一个有序关键视角子集；根据有序关键视角子集中顺序排列的关键视角生成地标的局部飞行路径，并定义局部飞行路径的代价函数；基于局部飞行路径构建广义旅行销售员问题，求解广义旅行销售员问题，得到至少一条访问至少一个地标的全局飞行路径，并定义全局飞行路径的代价函数；根据局部飞行路径的代价函数和全局飞行路径的代价函数生成总体代价函数，求解总体代价函数，并根据求解结果选择局部飞行路径和全局飞行路径生成无人机飞行路径。
本发明实施例还提供一种无人机飞行路径生成装置，包括：有序关键视角生成单元，用于：根据场景中地标的关键视角集合生成至少一个有序关键视角子集；局部飞行路径生成单元，用于：根据有序关键视角子集中顺序排列的关键视角生成地标的局部飞行路径，并定义局部飞行路径的代价函数；全局飞行路径生成单元，用于：基于局部飞行路径构建广义旅行销售员问题，求解广义旅行销售员问题，得到至少一条访问至少一个地标的全局飞行路径，并定义全局飞行路径的代价函数；无人机飞行路径生成单元，用于：根据局部飞行路径的代价函数和全局飞行路径的代价函数生成总体代价函数，求解总体代价函数，并根据求解结果选择局部飞行路径和全局飞行路径生成无人机飞行路径。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所述方法的步骤。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例所述方法的步骤。
本发明实施例的无人机飞行路径生成方法、装置、存储介质及设备，通过根据关键视角集合生成可能的有序关键视角子集，可使用户不必指定关键视角的顺序。通过构建广义旅行销售员问题，可以确定多条路径最短的全局飞行路径。通过总体代价函数可以兼顾较佳的局部飞行路径和较佳的全局飞行路径，生成最优的无人机飞行路径。因此，用户可以轻松地为每个地标选择一些有趣的关键视角，而得到一条完整的有序的拥有关键视角的序列，可以利用它们得到令人满意的无人机飞行路径。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例的无人机飞行路径生成方法的流程示意图；
图2是本发明一实施例中生成地标的局部飞行路径的方法流程示意图；
图3是本发明一实施例中建立包围地标的柱面的方法流程示意图；
图4是本发明一实施例中生成全局飞行路径的方法流程示意图；
图5是本发明另一实施例的无人机飞行路径生成方法的流程示意图；
图6是本发明又一实施例的无人机飞行路径生成方法的流程示意图；
图7(a)至图7(c)是本发明一实施例中基于地标的形状构建广义柱面的示意图；
图8是本发明一实施例中通过在广义柱坐标体系中对有序关键视角进行插值所得到的适应地标外轮廓的相机路径示意图；
图9是本发明一实施例中图结构示意图；
图10(a)是本发明一实施例中场景中地标的多条局部路径示意图；
图10(b)是本发明一实施例中场景中地标的最优局部路径示意图；
图11是本发明一实施例中DJI无人机相机的控制朝向示意图；
图12是本发明一实施例中根据指定关键视角得到的飞行路径示意图；
图13至图15是利用本发明实施例的方法生成无人机飞行路径的场景示意图；
图16是本发明一实施例中不指定关键视角顺序生成飞行路径的场景示意图；
图17是本发明一实施例中指定关键视角顺序生成飞行路径的场景示意图；
图18是图17所使用飞行路径生成方法的评估结果；
图19是图16所使用飞行路径生成方法的评估结果；
图20是本发明一实施例的无人机飞行路径生成装置的结构示意图；
图21是本发明一实施例中局部飞行路径生成单元的结构示意图；
图22是本发明一实施例中地标柱面生成模块的结构示意图；
图23是本发明一实施例中全局飞行路径生成单元的结构示意图；
图24是本发明一实施例的计算机可读存储介质的示意图；
图25是本发明一实施例的计算机设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1是本发明一实施例的无人机飞行路径生成方法的流程示意图。如图1所示，本实施例的无人机飞行路径生成方法，可包括：
步骤S110：根据场景中地标的关键视角集合生成至少一个有序关键视角子集；
步骤S120：根据有序关键视角子集中顺序排列的关键视角生成地标的局部飞行路径，并定义局部飞行路径的代价函数；
步骤S130：基于局部飞行路径构建广义旅行销售员问题，求解广义旅行销售员问题，得到至少一条访问至少一个地标的全局飞行路径，并定义全局飞行路径的代价函数；
步骤S140：根据局部飞行路径的代价函数和全局飞行路径的代价函数生成总体代价函数，求解总体代价函数，并根据求解结果选择局部飞行路径和全局飞行路径生成无人机飞行路径。
在上述步骤S110中，场景中可包含至少一个地标。地标的关键视角集合中包含至少一个关键视角。该些关键视角可由用户输入。该些关键视角的顺序不需用户指定。实施例中，可根据关键视角集合生成各种可能的有序关键视角子集。有序关键视角子集可包含至少一个关键视角，其中的关键视角顺序排列。在利用无人机进行拍摄时，该关键视角可包括包含相机位置和方向信息。
在上述步骤S120中，该局部飞行路径可表示无人机围绕一个地标飞行的轨迹。对于一个地标，每个有序关键视角子集可对应生成一条局部飞行路径。从而，根据关键视角集合的各种可能的有序关键视角子集可以生成各种可能的局部飞行路径。不同的局部飞行路径可以具有相同的代价函数形式，但可以具有不同的代价函数值。代价函数值可以用来评价局部飞行路径的成本或代价大小。利用局部飞行路径的代价函数可以确定较佳的关键视角顺序。
在上述步骤S130中，全局飞行路径可以表示无人机在不同地标之间的迁移轨迹。不同全局飞行路径的代价函数可以具有相同的表示形式。全局飞行路径的代价函数值可以表示该全局飞行路径的成本或代价。利用全局飞行路径的代价函数可以确定较佳的地标访问顺序。通过求解广义旅行销售员问题，可以得到各种地标访问顺序下的最短迁移轨迹。
在上述步骤S140中，该总体代价函数例如可以是局部飞行路径的代价函数和全局飞行路径的代价函数之和。通过总体代价函数可以反映无人机飞行路径的总体代价或总体成本，可以兼顾较佳的局部飞行路径和较佳的全局飞行路径。根据总体代价函数的求解结果，可以从各有序关键视角子集对应的局部飞行路径中选择出最佳或较佳的局部飞行路径，从而确定地标的至少一个关键视角的最佳或较佳顺序，可以从多条访问至少一个地标的全局飞行路径中选择出最佳或较佳的全局飞行路径，从而确定多个地标的最佳或较佳访问顺序。可以通过连接选出的局部飞行路径和全局飞行路径得到无人机飞行路径。实施例中，对于只有一个关键视角的情况，可以通过插值计算得到多个关键视角，对于只有一个地标的情况可以采用类似的方式处理。
本实施例中，通过根据关键视角集合生成可能的有序关键视角子集，可使用户不必指定关键视角的顺序。通过构建广义旅行销售员问题，可以确定多条路径最短的全局飞行路径。通过将每个局部飞行路径与其代价函数相关联，可以确定较佳的局部飞行路径。通过将每个全局飞行路径与其代价函数相关联，可以确定较佳的全局飞行路径。通过总体代价函数可以兼顾较佳的局部飞行路径和较佳的全局飞行路径，生成最优的无人机飞行路径。因此，用户可以轻松地为每个地标选择一些有趣的关键视角，而得到一条完整的有序的拥有关键视角的序列，可以利用它们得到令人满意的无人机飞行路径。
实施例中，局部飞行路径的代价函数和全局飞行路径的代价函数均与曲率、视角方向及路径长度有关。视角方向例如可以用相邻视角的平均变化或平均角度表示。本实施例中，通过与曲率、视角方向及路径长度有关的代价函数评价飞行路径，可以满足使无人机保持低曲率移动，以平滑方式改变无人机的朝向，使飞行路径保持一定单调性，及拍摄更长飞行路径等用户偏好。
图2是本发明一实施例中生成地标的局部飞行路径的方法流程示意图。如图2所示，在上述步骤S120中，根据有序关键视角子集中顺序排列的关键视角生成地标的局部飞行路径的方法，可包括：
步骤S121：在广义柱坐标系下建立包围地标的柱面；
步骤S122：在关键视角的位置在广义柱坐标系中的极径大于柱面的极径的约束条件下，使用B样线条进行插值计算，连接有序关键视角子集中顺序排列的关键视角的位置，生成地标的局部飞行路径。
本实施例中，利用关键视角的位置在广义柱坐标系中的极径大于柱面的极径的约束条件可以避免无人机在飞行过程中碰撞地标。使用B样线条进行插值计算，连接单个地标的各个关键视角，可使局部飞行路径尽可能平滑，且可以防止插值计算得到局部飞行路径与地标发生冲突。
实施例中，可以利用2.5D模型或3D模型生成无人机飞行路径。
实施例中，在上述步骤S120中，定义的局部飞行路径的代价函数可以表示为：
Figure GDA0001517748460000061
其中，tj表示第j条局部飞行路径，Q表示代价函数，αj表示第j条局部飞行路径权重系数，κj表示局部飞行路径的平均曲率，vj表示局部飞行路径中连续两个视角方向的平均角度，ok表示0或1，lj表示局部飞行路径的长度。可通过对飞行路径进行密集采样计算平均曲率κj和平均角度vj。
实施例中，可以对平均曲率κj、平均角度vj及局部飞行路径的长度lj进行归一化，使得它们对于每个地标的最大值为1。
图3是本发明一实施例中建立包围地标的柱面的方法流程示意图。如图3所示，在上述步骤S121中，在广义柱坐标系下建立包围地标的柱面的方法，可包括：
步骤S1211：以地标为中心建立广义柱坐标系，在广义柱坐标系的平面极坐标下构建地标的地面投影的边界线；
步骤S1212：扩展和平滑边界线，生成地标的地面投影的边界曲线；
步骤S1213：在广义柱坐标系下，基于边界曲线构建地标的柱面。
本实施例中，地标的地面投影的极径通常是地标的最大极径。构建地标的地面投影的边界线可使柱面很好地包围地标。通过扩展边界线，可使无人机飞行路径与地标保持一定距离，使无人机的飞行更安全。
实施例中，地标的地面投影的边界线利用广义柱坐标系的平面极坐标可表示为：
Figure GDA0001517748460000071
其中，φ表示极角，R表示极径，D和Φ表示将直角坐标系下的地标顶点p的二维坐标(Px,Py)转换成相对于广义柱坐标系中心的距离和角度，P表示地标顶点集合，p∈P，ε表示安全空间宽度参数，ε＞0。
实施例中，可以通过迭代计算平滑边界线，迭代公式可以表示为：
Figure GDA0001517748460000072
其中，上标k和k+1表示迭代次数，k为整数，k≥0，max表示取最大，Δφ表示角度变化量。R0(φ)、R0(φ-Δφ)、R0(φ+Δφ)为初始值，为边界线平滑之前的值。
实施例中，给定直角坐标系下的地标顶点集合P＝{(Px,Py,Pz)}，地标的柱面可表示为：
φ(p)＝Φ(px,py)
r(p)＝D(px,py)/R(φ(p))
z(p)＝pz/H
其中，D(px,py)表示最外侧的顶点极径，R(φ(p))表示各顶点的最大极径，φ(p)表示各顶点的角度，r(p)表示归一化后的顶点p的极径，pz表示各顶点的z轴坐标，H表示地标高度最大值，z(p)表示归一化后的顶点p的z轴坐标。
本实施例中，在广义柱坐标系中，地标被包围在单位柱面内，r≤1且0≤z≤1。实施例中，利用r(fi)＞1可以表示地标的第i个关键视角fi在柱面之外，从而可以方便地将无人机飞行路径约束在地标柱面之外，避免碰撞。
图4是本发明一实施例中生成全局飞行路径的方法流程示意图。如图4所示，在上述步骤S130中，基于局部飞行路径构建广义旅行销售员问题，求解广义旅行销售员问题，得到至少一条访问至少一个地标的全局飞行路径的方法，可包括：
步骤S131：生成场景中至少一个地标的各种访问顺序；
步骤S132：根据局部飞行路径生成地标对应的方向相反的两个节点，并根据至少一个地标对应的方向相反的两个节点和访问顺序生成位于地标外空间的图结构；
步骤S133：基于图结构，求解广义旅行销售员问题，得到访问至少一个地标的最短迁移轨迹；
步骤S134：根据最短迁移轨迹，使用B样线条生成全局飞行路径。
在上述步骤S131中，对于仅包含一个地标的情况，可以生成出入方向不同的两种访问顺序。在上述步骤S132中，使生成的图结构位于地标外空间可以避免迁移轨迹碰撞地标。图结构中，方向相反的两个节点对应无人机运动方向相反的局部飞行路径。每个地标的所有局部飞行路径对应一个节点簇，每个地标的所有局部飞行路径对应的方向相反的一对节点构成一个节点簇。在上述步骤S133中，对于每个的一种局部飞行路径和一种地标访问顺序，可以得到一个最短迁移路径。在上述步骤S134中，使用B样线可以生成更平滑的全局飞行路径。
实施例中，在上述步骤S130中，定义的全局飞行路径的代价函数可以表示为：
Figure GDA0001517748460000081
其中，Q'表示全局飞行路径的代价函数，可与局部飞行路径的代价函数Q具有相同或相似的形式。
Figure GDA0001517748460000082
地标m的局部飞行路径
Figure GDA0001517748460000083
和地标m'的局部飞行路径
Figure GDA0001517748460000084
之间的迁移路径，
Figure GDA0001517748460000085
表示迁移路径
Figure GDA0001517748460000086
的平均曲率，
Figure GDA0001517748460000087
表示迁移路径
Figure GDA0001517748460000088
的视角方向的平均变化，
Figure GDA0001517748460000089
表示迁移路径
Figure GDA00015177484600000810
的长度。
图5是本发明另一实施例的无人机飞行路径生成方法的流程示意图。如图5所示，在步骤S110之前，即，根据场景中地标的关键视角集合生成至少一个有序关键视角子集之前，还可包括：
步骤S150：接收场景中地标的至少一个关键视角，用于生成关键视角集合，其中，至少一个关键视角包含必选关键视角和/或可选关键视角。
上述步骤S150中，关键视角集合的关键视角为无序状态。
本实施例中，用户可以输入感兴趣的关键视角。而且用户可以指定必选的视角和可选的视角。用户不需要指定关键视角的顺序。以此，可以很好地满足用户的多种需求，且对用户的技能或经验要求不高。
实施例中，上述步骤S150中，通过手动控制无人机在实际场景中飞行来指定至少一个关键视角。本实施例中，从实际定点飞行中，可以提取每帧的相机姿势和相机姿态，以此，可以更加忠实地预览视觉内容。
实施例中，用户可以使用交互式虚拟场景预览工具来指定关键视角。其他实施例中，可以手动控制无人机在实际场景中飞行，并根据实际视角选择视角关键帧。从实际定点飞行中可以提取每帧的相机的姿势和姿态，从而可以更加忠实地预览视觉内容，而无需详细的场景3D模型。
图6是本发明又一实施例的无人机飞行路径生成方法的流程示意图。如图6所示，在步骤S130之前，即，基于局部飞行路径构建广义旅行销售员问题，求解广义旅行销售员问题，得到至少一条访问至少一个地标的全局飞行路径之前，还可包括：
步骤S160：通过求解地标的各局部飞行路径的代价函数，确定代价最小的设定数量的局部飞行路径，用于构建广义旅行销售员问题。
本实施例中，可以通过计算各局部飞行路径的代价函数的值，筛选出代价较小的一些局部飞行路径。并进一步利用筛选出的局部飞行路径生成无人机飞行路径。以此可以减少可能飞行路径的数量，进而减少后续步骤的计算量。
为使本领域技术人员更好地理解本发明，下面将以利用无人机航拍为例说明本发明的实施过程及有益效果。需要预先说明的是，因为相机设置在无人机上，所以对于涉及轨迹、路径、运动等概念时，相机可等同于无人机。
a.构建局部相机运动轨迹
首先需要说明的是，在给定地标的情况下，基于有序关键视角集合Fs构建相机运动轨迹，目标是产生平滑轨迹，该轨迹从有序关键视角集合Fs中的第一个关键视角开始，并按照有序关键视角集合Fs中剩下的关键视角的顺序，大致通过该些剩下的关键视角。同时，该轨迹能够避免进入靠近地标的区域，防止相机碰撞地标。
为了使相机沿着地标的外轮廓移动，并确保相机运动路径不与地标发生冲突，以地标为中心建立局部柱坐标系，并使用包围地标的广义圆柱坐标来进行所需的计算。圆柱体的原点可设于地标的几何中心。为了定义封闭的广义圆柱体的轮廓，首先构建包围地标的外部折线，并用极坐标来(φ,R(φ))表示，然后平滑外部折线，得到的边界曲线。图7(a)至图7(c)是本发明一实施例中基于地标的形状构建广义柱面的示意图。图7(a)示意性显示地标的形状，如图7(a)所示，可将地标的几何中心设为圆柱体的原点。图7(b)示意性显示在极坐标系中使用边界曲线定义一个广义柱面，如图7(b)所示，首先围绕地标构建外部折线。图7(c)示意性显示经过平滑操作后产生柱面外轮廓。
实施例中，如果地标与给定的2.5D模型(具有高度的2D形状)具有相同的形状，则可以通过定义一个安全空间宽度参数ε>0来膨胀地标外轮廓获得初始的边界曲线。
实施例中，如果地标是一个给定的3D网格模型，则可用P＝{(Px,Py,Pz)}表示3D网格模型所有顶点的集合，然后在极坐标中将边界曲线定义为：
Figure GDA0001517748460000101
其中，D(·)和Φ(·)将2D的点(px,py)转换成相对于地标几何中心的距离和角度。值得注意的是，给定某个方向
Figure GDA0001517748460000102
曲线在这个方向
Figure GDA0001517748460000103
上的点与几何中心的距离R被定义为这个方向上的点与几何中心距离的最大值，从而将3D模型投影到2D平面上，得到2D曲线，如图7(b)所示。
接下来，可通过迭代地执行以下操作来平滑和扩展初始的边界曲线，例如，设置迭代次数k＝5，可以产生围绕地标的广义圆柱体的平滑轮廓(如图7(c)所示)：
Figure GDA0001517748460000104
其中，可以默认设置
Figure GDA0001517748460000105
基于由极径R(φ)定义的广义柱面(公式(2))，可以定义顶点集合P＝{(Px,Py,Pz)}中顶点(Px,Py,Pz)的圆柱坐标为：
φ(p)＝Φ(px,py) (3)
r(p)＝D(px,py)/R(φ(p)) (4)
z(p)＝pz/H (5)
其中，H是地标高度的最大值。根据定义，在圆柱坐标空间中地标被包围在一个单位柱面中，r≤1且0≤z≤1。
实施例中，利用约束r(fi)>1，可以保证关键视角集合Fs中的所有关键视角fi都在该单位柱面之外。相机的位置坐标被从直角坐标系转换到圆柱坐标系，并且可使用级别例如为5的B样条线插值计算，连接各关键视角，获得近似的
Figure GDA0001517748460000111
r和z坐标，产生C4平滑的轨迹。如图8所示，在用户给定关键视角F1、F2、F3、F4及F5后所得的飞行路径很好地适应了地标的形状。实施例中，可进一步优化B样线条的控制点，一方面使得路径尽可能经过关键视角，另一方面使得每六个连续控制点的凸包位于单位柱面之外，以此能够防止曲线进入封闭的广义柱面内。
如果地标由多个塔组成，如图4所示，当它被视为一个地标时，该地标会被一个广义柱面包围。即使在该地标的某个高度上存在安全飞行空间，但由于边界曲线的限制，最后得到的路径不会进入两个塔之间的区域。实施例中，用户可以通过将多个塔分别指定为独立的地标。在这种情况下，每个塔将被单独的柱形包围，通过将关键视角放在两个塔之间可以得到能够经过它们之间空间的路径。
b.评价局部相机轨迹
由上述构建局部相机运动轨迹的过程可以看出，通过给定的有序的关键视角集合Fs可以构建相机飞行路径。然而，提供有序的关键视角集合是一项具有挑战性的任务，特别是对于经验缺乏的用户，因为在给定有序的关键视角集合时，用户需要自己设想最终飞行路径和所产生的航拍视频。此外，在许多情况下，需要选择包含关键视角集合的哪一些子集，以及这些视角要以什么顺序被访问，这致使指定有序关键视角集合比较复杂。而且，要选择哪一个子集也会受哪个地标先被访问以及哪个地标后被访问的影响。因此，实施例中。通过列举所有可能的关键视角的子集和顺序(根据用户的标签)，并量化根据每种子集及顺序产生的飞行路径的质量，可以确定在访问每个地标时使用哪个飞行路径最优(后续说明全局优化过程)，以及计算出访问地标的最优顺序。
用F＝{fi|(0<i≤n)}表示某个地标的所有关键视角的集合。实施例中，集合F可由两个子集组成，F＝Fm∪Fo，其中，Fm表示强制性关键视角集合(结果飞行路径必须经过的关键视角)，Fo表示可选择性关键视角集合(结果飞行路径可以经过，也可以不经过的关键视角)。可生成包含所有强制性关键视角Fm和包含零个或多个可选关键视角Fo的所有可能的集合Fs，同时可规定集合Fs中的总关键视角数量不超过用户指定的最大值。另外，如果用户没有指定关键视角的具体顺序，可在每个集合Fs的子集中生成视角的所有可能的排序。
即使所有生成的相机飞行路径都是平滑的，但每条平滑的相机飞行路径的质量仍然存在差别。实施例中，对飞行路径进行直观评价的标准可包括：(i)更喜欢飞行路径中相机保持低曲率的移动，并以平滑的方式改变飞机的朝向和相机的倾斜度。(ii)飞行路径保持一定的单调性是比较好的，所以无人机应避免交替增加和减少其高度太多次，或交替增加和减少距离地标的距离。(iii)详细的拍摄地标的更长飞行路径更受人喜爱。
基于上面标准，可用代价函数来评价飞行路径的质量，例如，可定义一条飞行路径tj的代价如下：
Figure GDA0001517748460000121
κj衡量的是路径tj的平均曲率，vj计算路径中连续两个相机视角方向的平均角度。实施例中，可先对飞行路径进行密集采样，例如，每10米一个采样点，然后计算κj和vj。权重系数αj取决于飞行路径中飞行高度的局部高度极值数量(局部路径上的点的Z坐标值的局部最大值或最小值的数量)和路径上的点离地标几何中心点的距离。公式(6)的最后一项的值随着需要详细拍摄的地标的路径长度的增加而减少，对于一般的地标反之亦然，即：需要详细拍摄的地标该公式(6)倾向于选择长的路径，不需要详细拍摄的地标该公式(6)倾向于选择短的路径。ok＝0时路径越长，公式(6)中最后一项的值越小；ok＝1时路径越短公式(6)中最后一项的值越小。通过设置ok＝0可以实现前一种情况，通过设置ok＝1可以实现后一种情况。实施例中，可以对κj，vj和lj的值进行归一化，使得它们对于每个地标的最大值为1。
使用上述代价函数(公式(6))可以评估根据不同有序关键视角集合Fs计算得到的所有局部相机飞行路径的质量。实施例中，可将代价函数的计算推迟到后续的全局优化阶段，而不是简单地通过计算代价函数从每个地标对应的候选局部路径中选择代价最低的局部轨迹。以此，可以同时计算局部轨迹选择和全局地标排序的最佳组合，从而缩短计算时间。为了减少搜索空间，实施例中，可只为每个地标保留最低成本的设定数量J(例如J≤4)的局部飞行路径，并舍弃其他路径。
c.全局相机运动路径规划
对于每个地标可构建具有分数最高(代价最低)的候选局部路径集合Tm＝{tj m}，其中，候选局部路径的个数||Tm||≤J。本方案的目标是确定地标的访问顺序，并为每个地标选择一个局部飞行路径，使得所得相机飞行路径的总体代价最小。上述问题是组合优化问题，所以，实施例中，可通过将该问题构建为广义旅行销售员问题来解决(GTSP或称为SetTSP(STSP))。
给定一个具有几个不相交的子节点(簇)的图，STSP的目标是找到一个最短的路径，在这个回路中销售员每次访问每个簇一次。标准TSP可以被视为STSP的特殊情况。
实施例中，每个局部路径可对应STSP中图结构的两个节点，因为每条局部路径包含一个入点和一个出点，所以相机可以在两个方向上移动。与局部路径集合Tm中所有局部路径对应的节点在图中形成一个节点簇。图的每条边对应于将拍摄地m的局部路径tj m的末端连接到拍摄地标m'的局部路径tj m'的始端的迁移轨迹tjj' mm'(如图9所示)。每条迁移路径对应于图中的两个有向边。每个节点(局部路径)的代价可由公式(6)得出，而迁移路径的代价可以用类似的方式定义。
图9是本发明一实施例中图结构示意图。图9的(a)部分显示包含两条局部飞行路径的图结构。每条局部飞行路径对应两个节点，包括一个入点和一个出点。两条局部飞行路径有4种连接方式，即该两条局部飞行路径之间存在4条可能的迁移路径。图9的(b)部分显示包含四条局部飞行路径的图结构，每个地标对应的候选局部路径集合被定义为图的结点，每个结点是至少一个候选路径形成的簇(集合)。
构建好图结构后，将构建平滑无碰撞的迁移路径，并为其定义相关的代价函数。给定两个局部候选路径，地标m的局部飞行路径为tj m，地标m'的局部轨迹为tj' m'。在坐标系中生成一个网格空间，在该网格空间中构建包含几个局部候选路径的簇且不覆盖障碍物的图结构，并利用该图结构计算迁移轨迹tjj' mm'。然后，使用Dijkstra算法计算从包含tj的末端的单元到包含tj'的始端的单元的最短路径。最后，使用例如级别为5的B样条线来产生平滑的迁移路径。
一对局部飞行路径tj m和tj' m'可以使用四条不同的迁移路径连接起来。每个地标m可能具有很多个候选局部路径，多达J个，并且在每对局部路径之间有四条可能的迁移路径，所以地标m和地标m'之间的迁移路径的数量最大可为4×J2。
与局部路径类似，长度较短和曲率较低的迁移路径有利于航拍。因此，迁移路径tjj' mm'的代价函数定义可为：
Figure GDA0001517748460000131
其中，κjj' mm'、vjj' mm'和ljj' mm'分别表示轨迹的平均曲率、相机视角方向的平均变化和路径的长度。
实施例中，用户需要指定应该包含在航拍视频中的一组地标，并且指定每个地标对应的关键视角的集合，每个关键视角包含相机位置和方向信息。关键视角可使用交互式虚拟场景预览工具来指定，该工具使用场景的3D模型呈现从各种视角观看的场景预览图，如图10(a)和图10(b)所示。另一实施例中，可手动控制无人机在实际场景中飞行，并根据实际视角选择关键帧。从实际定点飞行中，可以提取每帧的相机姿势和相机姿态，以此，可以更加忠实地预览视觉内容，而无需详细的场景3D模型。
图10(a)是本发明一实施例中场景中地标的多条局部路径示意图。如图10(a)所示，为每个地标指定强制性关键视角和可选性关键视角后，每个地标可以有4条局部飞行路径。图10(b)是本发明一实施例中场景中地标的最优局部路径示意图。如图10(b)所示，计算出最优迁移路径，并用最优迁移路径连接多个局部路径可得到最后的全局路径。
实施例中，通过连接得到的局部运动路径和迁移轨迹可以得到最终的无人机飞行路径。
用户可以将每个关键视角标记为强制性或可选性。每个地标可以被标记为应仔细或随意观察的属性，表明所得到的视频应花费更多时间观察当前指定的地标或者花费较少时间观察指定的地标。在没有这种偏好的情况下，可平等对待所有选定的地标，并将所有关键视角视为强制性的。
上述场景可以是一个2.5D模型的场景，其中应包括地标，以及应考虑到的任何其它对象，以避免无人机碰撞场景中的物体。在场景模型中，可以指定地标集合以及对应每个地标的一系列关键视角。运动轨迹的计算主要包括两个阶段。
在第一阶段，为每个地标生成候选局部轨迹或局部摄像机移动的集合，如图10(a)所示。每个候选相机移动轨迹大约经过用户指定的关键视角子集中的各个关键视角，并且该候选相机移动轨迹与代价相关联。
在第二阶段，目标是为每个地标选择一个局部相机运动轨迹，并确定连接这些局部轨迹的最佳顺序，根据需要生成连接轨迹。这一阶段通过组合优化，并通过构建和解决集旅行推销员问题实现。在优化中，尝试最小化所选局部相机移动轨迹的代价的总和以及连接轨迹的成本，所得轨迹如图10(b)所示。
下面将利用本发明实施例方法的应用实例说明本发明。
a.无人机系统
使用便携式的无人机DJI Mavic Pro来拍摄航拍视频。无人机的飞行运动包括：沿着水平轴的向前、向后、向左或向右移动，增加和降低飞行高度，以及顺时针或逆时针改变飞行方向(如图11的(a)部分所示)。朝向控制方位是-180度到180度。俯仰角调整范围是-90度到0度。配备4K/30fps 1200万像素的摄像头，由3轴机械平衡环稳定。摄像机倾斜度可以通过程序控制在0度到90度之间，如图11的(b)部分和(c)部分所示。
可使用DJIWaypointMission SDK开发一个APP(应用程序)来自动控制无人机和相机，让无人机自动地沿着生成的路径飞行和拍摄。使用该SDK，可以指定多达99个路径点(无人机飞行的物理位置)的序列。同时可以为每个路径点指定所需的机身朝向和相机倾斜角。然后，无人机以恒定的预设速度从一个路径点到另一个路径点移动，调整高度、机身朝向和相机倾斜度。因此，给定相机飞行路径，可以在路径上采样得到多达99个采样点，得到了包含机身朝向和相机倾斜角还有飞机三维位置信息的路径点。无人机在实际飞行时会经过每一个采样点，这意味着无人机飞行的路径接近于本方案所生成的平滑轨迹。
b.航拍视频
现实中，在使用手动控制来驾驶无人机的情况下，即使是一个看似简单的飞行路径也可能难以执行。例如，通过在螺旋轨迹上指定5个关键视角(如图12所示)，规划沿螺旋轨迹拍摄建筑物的任务。即使是经验丰富的无人驾驶操作员也无法完全按照所需的飞行路径顺利、准确地驾驶无人驾驶飞机。相比之下，本发明在广义柱坐标中，使用对这5个关键视角进行平滑插值，能够成功产生一条平滑的螺旋状飞行路径，实际飞行中无人机沿着生成的路径飞行和拍摄，结果也得到了令人满意的航拍视频。
图13显示利用本发明方法生成的一条无人机飞行路径。给定几个地标和一些关键视角(两侧图像展示了对应的关键视角)，为每个地标生成可行的局部飞行路径，决定一个理想的飞行顺序，并使用迁移路径把所有局部飞行路径连接成一条连续的全局飞行路径。图14显示深圳湾的场景中的无人机飞行路径，该飞行路径包含3个地标和11个指定的关键视角。第5号相机被指定为可选择性关键视角，其他相机被指定为强制性关键视角。对应关键视角的画面展示在图14中最上方的11幅图中。图15显示大学校园的场景中的无人机飞行路径，该飞行路径包含4个地标和20个指定的关键视角。第12号和第16号相机被指定为可选择性关键视角，其他相机被指定为强制性关键视角。对应的关键视角展示在图15中最上方的20幅图中。图13、图14和图15分别显示了三个实际场景。图10(b)显示了一个虚拟场景。如该些图所示，测试场景包含不同形状和不同大小的地标。表1给出了这些测试场景的详细统计数据。如表1所示，测试场景的数据指定了：地标数量(#L)，每个地标对应的关键视角数量(#KV)，采样的路径点数量(#WP)，每相邻两个路径点之间的距离(dω)，局部飞行路径计算时间(Tl)，全局飞行路径计算时间(Tg)。
图号 #L #KV #WP d<sub>ω</sub> T<sub>l</sub> T<sub>g</sub>
10(b) 4 6,3,3,6 99 15 ≈25s ≈12m
14 3 3,3,5 99 20 ≈10s ≈8m
15 4 6,4,4,6 99 35 ≈35s ≈20m
13 3 5,5,5 - - ≈15s ≈5m
表1测试场景的数据
关键视角的指定有两种方法：①使用交互式预览工具在虚拟场景中指定关键视角；②在真实场景中通过探索性飞行捕获关键视角。探索性飞行是手动控制的，因此相机轨迹通常相当复杂，高度不平滑。此外，有些场景是通过几次不同的探索性飞行得到的。因此，用户选择的关键视角的集合不一定具有明确的自然排序。关键视角的选择和其顺序的确定可以通过本发明的方法自动生成。关键视角和完整的飞行路径可在图14和15中得到显示。视频经过加速×4倍或×8倍，相机运动也很平滑，地标之间的大部分过渡都是自然的。
c.用户学习
可以用不同的定性标准来评估根据本发明得到的航拍视频的两个版本。在自动版本下，用户只需指定关键视角，无需指定顺序，使用本发明的方法，将选择的无序的关键视角插值连接起来生成自动相机飞行路径。在手动版本下，用户需要指定关键视角，并确定其顺序，然后以与自动版本相同的方式计算内插路径。因此，这两个版本的不同之处仅在于选择和排序关键视角的方式，跟插值方式无关。
在用户研究中，6名学生被分成两个平等的组。第一组的学生设计一条拍摄单一地标的路径，包含10个关键视角，如图16所示，使用自动版本。第二组的学生设计一条拍摄3个地标的路径(逐个访问拍摄)，每个地标含有五个关键视角，如图17所示，使用手动版本。然后切换版本和任务。自动和手动用户在同一个任务中共享同一组输入的关键视角。
用户研究中，设计了7个等级的李克特量表，每个参与者通过回答四个问题来评估他或她执行的两项任务中每一项的结果：(a)您对生成路径的航拍结果的满意度(Satisfaction)如何？(b)您觉得规划一条路径有多困难(Difficulty)？(c)您觉得生成的路径质量(Quality)怎么样？(d)该工具如何影响您的创造力(Creativity)？研究结果如图18和图19所示(图18显示手动版本的评价结果，图19显示自动版本的评价结果)，结果显示出在难度方面具有重要差异：自动版本中，第一项和第三项在4(中性)至6(非常容易)范围内，而手动版本第一项和第三项在2(非常困难)到4(中性)范围内。在质量方面也有显著差异：手动版本的分数范围在2(一般)到4(好)，而自动版本分数在5(非常好)到6(优)的范围内。在参与研究的用户中，每组中有一人具有驾驶无人机的经验。结果还表明，自动版本在满意度和创造力方面更好。
实施例中，给定一个指定地标的所有可能的关键视角的集合，可自动生成一些可能的相机运动路径。每条相机运动路径基本经过大部分关键视角，同时还能避免碰撞。每条相机运动路径都可由对应的代价来衡量其质量。这些代价可通过结合一些相机运动质量标准计算得到。通过为每个地标选择一条质量较高的局部相机运动路径，并使用平滑的迁移路径将它们连接在一起，能够生成一条能访问和拍摄所有地标的全局连续飞行路径。相机移动的最佳顺序是通过构建和解决广义TSP问题获得的，其中，在TSP问题中，一组城市由几个群集组成，而最优的路径必定是推销员在每个群集中访问一个城市而得到的路径。
用户可以轻松地为每个地标选择一些有趣的关键视角，而得到一条完整的有序的关键视角的序列。通过对它们插值可得到令人满意的无人机飞行路径。用户指定每个地标的可能关键视角的超集，不需要指定关键视角的顺序，将相机围绕每个地标移动的设计和整个飞行路径的规划留给本方案解决。以此，无人机摄影师能够专注于应该由视频捕获的视觉内容，而不是专注于较底层的相机轨迹的精确设计，或者同时进行驾驶无人机和控制相机拍摄这两种复杂操作。本方案为于航拍摄影和无人机路径规划解决了一个普遍存在问题，使得地标的访问顺序不需要受用户限制。由用户提供的视角被组合以产生典型的相机运动航拍视频序列，从而能够为新手用户创建更好质量的视频序列。
简言之，本发明实施例的方法具有如下优点：
1)给出了一种新型的高级无人机轨迹设计方法，可以生成一个平滑的飞行路径，用于连续地拍摄指定地标群的航拍视频。
2)只需用户简单的输入拍摄地标所想要的关键视角，无需设计整个航拍路径的顺序，就能自动生成平滑的飞行路径，自动化程度高。与手动飞行相比，具有极大的便捷性，减少了新手用户的操作难度，以及提供了相当好的拍摄结果。
3)在广义柱坐标下计算地标外型的边界曲线，添加了约束，能够避免局部路径与地标产生冲突。
4)用B样条线连接单个地标对应的关键视角，使得局部路径尽可能的平滑。
5)将求解迁移路径的问题转化为一个STSP问题，通过构建STSP求解器进行全局组合优化，最终有效得到迁移路径和地标访问顺序。
6)交互简单。用户不需要在复杂的三维空间中编辑三维路径，基本不需要设置参数，只需要按照给定的步骤操作就能得到相应的结果。
7)路径效果优秀。在几个不同的场景生成全局无人机路径，并进行实地飞行，得到的航拍视频都非常满意。
基于与图1所示的无人机飞行路径生成方法相同的发明构思，本申请实施例还提供了一种无人机飞行路径生成装置，如下面实施例所述。由于该无人机飞行路径生成装置解决问题的原理与无人机飞行路径生成方法相似，因此该无人机飞行路径生成装置的实施可以参见无人机飞行路径生成方法的实施，重复之处不再赘述。
图20是本发明一实施例的无人机飞行路径生成装置的结构示意图。如图20所示，本实施例的无人机飞行路径生成装置，可包括有序关键视角生成单元210、局部飞行路径生成单元220、全局飞行路径生成单元230及无人机飞行路径生成单元240，上述各单元顺序连接。
有序关键视角生成单元210，用于：根据场景中地标的关键视角集合生成至少一个有序关键视角子集；
局部飞行路径生成单元220，用于：根据有序关键视角子集中顺序排列的关键视角生成地标的局部飞行路径，并定义局部飞行路径的代价函数；
全局飞行路径生成单元230，用于：基于局部飞行路径构建广义旅行销售员问题，求解广义旅行销售员问题，得到至少一条访问至少一个地标的全局飞行路径，并定义全局飞行路径的代价函数；
无人机飞行路径生成单元240，用于：根据局部飞行路径的代价函数和全局飞行路径的代价函数生成总体代价函数，求解总体代价函数，并根据求解结果选择局部飞行路径和全局飞行路径生成无人机飞行路径。
图21是本发明一实施例中局部飞行路径生成单元的结构示意图。如图21所示，局部飞行路径生成单元220，可包括：地标柱面生成模块221和局部飞行路径生成模块222，二者相互连接。
地标柱面生成模块221，用于：在广义柱坐标系下建立包围地标的柱面；
局部飞行路径生成模块222，用于：在关键视角的位置在广义柱坐标系中的极径大于柱面的极径的约束条件下，使用B样线条进行插值计算，连接有序关键视角子集中顺序排列的关键视角的位置，生成地标的局部飞行路径。
图22是本发明一实施例中地标柱面生成模块的结构示意图。如图22所示，地标柱面生成模块221，可包括：边界线构建模块2211、扩展及平滑模块2212及柱面构建模块2213，上述各模块顺序连接。
边界线构建模块2211，用于：以地标为中心建立广义柱坐标系，在广义柱坐标系的平面极坐标下构建地标的地面投影的边界线；
扩展及平滑模块2212，用于：扩展和平滑边界线，生成地标的地面投影的边界曲线；
柱面构建模块2213，用于：在广义柱坐标系下，基于边界曲线构建地标的柱面。
图23是本发明一实施例中全局飞行路径生成单元的结构示意图。如图23所示，全局飞行路径生成单元230，可包括：地标顺序生成模块231、图结构生成模块232、迁移轨迹生成模块233及全局路径生成模块234，上述各模块顺序连接。
地标顺序生成模块231，用于：生成场景中至少一个地标的各种访问顺序；
图结构生成模块232，用于：根据局部飞行路径生成地标对应的方向相反的两个节点，并根据至少一个地标对应的方向相反的两个节点和访问顺序生成位于地标外空间的图结构；
迁移轨迹生成模块233，用于：基于图结构，求解广义旅行销售员问题，得到访问至少一个地标的最短迁移轨迹；
全局路径生成模块234，用于：根据最短迁移轨迹，使用B样线条生成全局飞行路径。
本发明实施例还提供一种计算机可读存储介质，如图24所示，其上存储有计算机程序，该程序被处理器执行时实现上述各实施例所述方法的步骤。
本发明实施例还提供一种计算机设备，如图25所示，计算机设备300包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序，所述处理器320执行所述程序时实现上述各实施例所述方法的步骤。
综上所述，本发明实施例的无人机飞行路径生成方法、装置、存储介质及设备，通过根据关键视角集合生成可能的有序关键视角子集，可使用户不必指定关键视角的顺序。通过构建广义旅行销售员问题，可以确定多条路径最短的全局飞行路径。通过将每个局部飞行路径与其代价函数相关联，可以确定较佳的局部飞行路径。通过将每个全局飞行路径与其代价函数相关联，可以确定较佳的全局飞行路径。通过总体代价函数可以兼顾较佳的局部飞行路径和较佳的全局飞行路径，生成最优的无人机飞行路径。因此，用户可以轻松地为每个地标选择一些有趣的关键视角，而得到一条完整的有序的拥有关键视角的序列，可以利用它们得到令人满意的无人机飞行路径。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人机飞行路径生成方法，其特征在于，包括：
根据场景中地标的关键视角集合生成至少一个有序关键视角子集；
根据有序关键视角子集中顺序排列的关键视角生成地标的局部飞行路径，并定义局部飞行路径的代价函数；
基于局部飞行路径构建广义旅行销售员问题，求解广义旅行销售员问题，得到至少一条访问至少一个地标的全局飞行路径，并定义全局飞行路径的代价函数；
根据局部飞行路径的代价函数和全局飞行路径的代价函数生成总体代价函数，求解总体代价函数，并根据求解结果选择局部飞行路径和全局飞行路径生成无人机飞行路径。
2.如权利要求1所述的无人机飞行路径生成方法，其特征在于，根据有序关键视角子集中顺序排列的关键视角生成地标的局部飞行路径，包括：
在广义柱坐标系下建立包围地标的柱面；
在关键视角的位置在广义柱坐标系中的极径大于柱面的极径的约束条件下，使用B样线条进行插值计算，连接有序关键视角子集中顺序排列的关键视角的位置，生成地标的局部飞行路径。
3.如权利要求2所述的无人机飞行路径生成方法，其特征在于，在广义柱坐标系下建立包围地标的柱面，包括：
以地标为中心建立广义柱坐标系，在广义柱坐标系的平面极坐标下构建地标的地面投影的边界线；
扩展和平滑边界线，生成地标的地面投影的边界曲线；
在广义柱坐标系下，基于边界曲线构建地标的柱面。
4.如权利要求1所述的无人机飞行路径生成方法，其特征在于，基于局部飞行路径构建广义旅行销售员问题，求解广义旅行销售员问题，得到至少一条访问至少一个地标的全局飞行路径，包括：
生成场景中至少一个地标的各种访问顺序；
根据局部飞行路径生成地标对应的方向相反的两个节点，并根据至少一个地标对应的方向相反的两个节点和访问顺序生成位于地标外空间的图结构；
基于图结构，求解广义旅行销售员问题，得到访问至少一个地标的最短迁移轨迹；
根据最短迁移轨迹，使用B样线条生成全局飞行路径。
5.如权利要求1所述的无人机飞行路径生成方法，其特征在于，根据场景中地标的关键视角集合生成至少一个有序关键视角子集之前，还包括：
接收场景中地标的至少一个关键视角，用于生成关键视角集合，其中，至少一个关键视角包含必选关键视角和/或可选关键视角。
6.如权利要求1所述的无人机飞行路径生成方法，其特征在于，基于局部飞行路径构建广义旅行销售员问题，求解广义旅行销售员问题，得到至少一条访问至少一个地标的全局飞行路径之前，还包括：
通过求解地标的各局部飞行路径的代价函数，确定代价最小的设定数量的局部飞行路径，用于构建广义旅行销售员问题。
7.如权利要求1所述的无人机飞行路径生成方法，其特征在于，局部飞行路径的代价函数和全局飞行路径的代价函数均与曲率、视角方向及路径长度有关。
8.一种无人机飞行路径生成装置，其特征在于，包括：
有序关键视角生成单元，用于：根据场景中地标的关键视角集合生成至少一个有序关键视角子集；
局部飞行路径生成单元，用于：根据有序关键视角子集中顺序排列的关键视角生成地标的局部飞行路径，并定义局部飞行路径的代价函数；
全局飞行路径生成单元，用于：基于局部飞行路径构建广义旅行销售员问题，求解广义旅行销售员问题，得到至少一条访问至少一个地标的全局飞行路径，并定义全局飞行路径的代价函数；
无人机飞行路径生成单元，用于：根据局部飞行路径的代价函数和全局飞行路径的代价函数生成总体代价函数，求解总体代价函数，并根据求解结果选择局部飞行路径和全局飞行路径生成无人机飞行路径。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7所述方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7所述方法的步骤。
CN201711111924.9A 2017-11-13 2017-11-13 无人机飞行路径生成方法、装置、存储介质及设备 Active CN107943072B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711111924.9A CN107943072B (zh) 2017-11-13 2017-11-13 无人机飞行路径生成方法、装置、存储介质及设备
US15/884,914 US10663300B2 (en) 2017-11-13 2018-01-31 UAV flight path generating method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711111924.9A CN107943072B (zh) 2017-11-13 2017-11-13 无人机飞行路径生成方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN107943072A CN107943072A (zh) 2018-04-20
CN107943072B true CN107943072B (zh) 2021-04-09

Family

ID=61933828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711111924.9A Active CN107943072B (zh) 2017-11-13 2017-11-13 无人机飞行路径生成方法、装置、存储介质及设备

Country Status (2)

Country Link
US (1) US10663300B2 (zh)
CN (1) CN107943072B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10599161B2 (en) * 2017-08-08 2020-03-24 Skydio, Inc. Image space motion planning of an autonomous vehicle
US10642284B1 (en) * 2018-06-08 2020-05-05 Amazon Technologies, Inc. Location determination using ground structures
US10589423B2 (en) * 2018-06-18 2020-03-17 Shambhu Nath Roy Robot vision super visor for hybrid homing, positioning and workspace UFO detection enabling industrial robot use for consumer applications
CN108958244B (zh) * 2018-06-28 2021-11-09 广州视源电子科技股份有限公司 运动规划方法、装置、设备及计算机可读存储介质
CN108981706B (zh) * 2018-07-20 2021-11-30 深圳大学 无人机航拍路径生成方法、装置、计算机设备和存储介质
WO2020014949A1 (zh) 2018-07-20 2020-01-23 深圳大学 无人机航拍路径生成方法、计算机设备和存储介质
CN109447326B (zh) * 2018-09-30 2021-11-30 深圳眸瞳科技有限公司 无人机迁移轨迹生成方法、装置、电子设备和存储介质
CN109542106A (zh) * 2019-01-04 2019-03-29 电子科技大学 一种移动机器人多约束条件下的路径规划方法
CN109765930B (zh) * 2019-01-29 2021-11-30 理光软件研究所（北京）有限公司 一种无人机视觉导航系统
US11506505B2 (en) * 2019-02-13 2022-11-22 The Boeing Company Methods and apparatus for determining a vehicle path
CN111796586A (zh) * 2019-03-19 2020-10-20 北京奇虎科技有限公司 一种智能移动设备的局部路径规划方法和装置
US11314254B2 (en) * 2019-03-26 2022-04-26 Intel Corporation Methods and apparatus for dynamically routing robots based on exploratory on-board mapping
CN110599583B (zh) * 2019-07-26 2022-03-18 深圳眸瞳科技有限公司 无人机飞行轨迹生成方法、装置、计算机设备和存储介质
CN110632921B (zh) * 2019-09-05 2022-11-18 北京百度网讯科技有限公司 机器人路径规划方法、装置、电子设备和存储介质
CN110969289B (zh) * 2019-11-18 2023-06-23 青岛科技大学 一种无人船气象航线连续动态优化方法和系统
CN111272179B (zh) * 2020-03-20 2021-08-31 中国电子科技集团公司第五十四研究所 一种基于种子搜索的建筑空间无人机航线规划方法
CN111552296B (zh) * 2020-05-14 2021-03-26 宁波智能装备研究院有限公司 一种基于弯曲柱坐标系的局部平滑轨迹规划方法
CN111750859B (zh) * 2020-05-29 2021-11-05 广州极飞科技股份有限公司 过渡路径规划方法及相关装置
CN111984031B (zh) * 2020-07-20 2023-09-26 鹏城实验室 一种无人机路径规划方法、无人机及存储介质
CN112527010B (zh) * 2020-11-09 2022-04-01 福州大学 基于人工势场与粒子优化的室内变电站无人机多机协同巡检方法
CN112504279B (zh) * 2020-11-27 2022-12-30 上海交通大学 适用于无人机的无碰撞路径规划方法、系统及介质
CN113566825B (zh) * 2021-07-07 2023-07-11 哈尔滨工业大学（深圳） 基于视觉的无人机导航方法、系统及存储介质
CN114355981B (zh) * 2022-01-06 2024-01-12 中山大学 一种四旋翼无人机自主探索建图的方法和系统
CN114637305B (zh) * 2022-02-15 2023-08-15 山东省计算中心（国家超级计算济南中心） 一种无人机最短路径规划方法及装置
CN115358497B (zh) * 2022-10-24 2023-03-10 湖南长理尚洋科技有限公司 基于gis技术的智慧全景巡河方法及系统
CN116778094B (zh) * 2023-08-15 2023-11-24 深圳眸瞳科技有限公司 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN117631686B (zh) * 2023-12-07 2024-06-07 浙江大学 面向多旋翼无人机的路径优化方法以及轨迹跟踪控制方法
CN117606489B (zh) * 2024-01-22 2024-05-28 华南农业大学 无人机飞行勘测方法、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298239A (zh) * 2014-09-29 2015-01-21 湖南大学 一种室内移动机器人增强地图学习路径规划方法
US8972057B1 (en) * 2013-01-09 2015-03-03 The Boeing Company Systems and methods for generating a robotic path plan in a confined configuration space
CN104392484A (zh) * 2014-11-13 2015-03-04 中国科学院深圳先进技术研究院 一种三维树木建模方法及装置
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及系统
CN105678683A (zh) * 2016-01-29 2016-06-15 杭州电子科技大学 一种三维模型的二维存储方法
CN105868858A (zh) * 2016-03-31 2016-08-17 华南理工大学 一种用于雕刻机的轨迹优化方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2179385A2 (en) * 2007-07-09 2010-04-28 Technion Research & Development Foundation Ltd. Routing methods for multiple geographical entities
CN102831306B (zh) * 2012-08-13 2015-10-07 东南大学 一种用于喷涂机器人的分层喷涂轨迹规划方法
JP6164917B2 (ja) * 2013-05-10 2017-07-19 キヤノン株式会社 物品処理装置、生成方法およびプログラム
JP2014222386A (ja) * 2013-05-13 2014-11-27 キヤノン株式会社 移動体配置決定方法、測定装置、加工装置、およびプログラム
CN104217118B (zh) * 2014-09-12 2017-04-26 河海大学常州校区 一种船舶引航排班问题模型与求解方法
US9601022B2 (en) * 2015-01-29 2017-03-21 Qualcomm Incorporated Systems and methods for restricting drone airspace access
WO2016154949A1 (en) * 2015-03-31 2016-10-06 SZ DJI Technology Co., Ltd. Authentication systems and methods for generating flight regulations
CN105425795B (zh) * 2015-11-26 2020-04-14 纳恩博（北京）科技有限公司 规划最优跟随路径的方法及装置
CN106845713A (zh) * 2017-01-23 2017-06-13 中南大学 一种无人机快递自动充电桩的设置规划方法
CN107203190B (zh) * 2017-05-18 2019-12-13 广州智能装备研究院有限公司 一种基于复杂路径的惯性导航agv调度方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8972057B1 (en) * 2013-01-09 2015-03-03 The Boeing Company Systems and methods for generating a robotic path plan in a confined configuration space
CN104298239A (zh) * 2014-09-29 2015-01-21 湖南大学 一种室内移动机器人增强地图学习路径规划方法
CN104392484A (zh) * 2014-11-13 2015-03-04 中国科学院深圳先进技术研究院 一种三维树木建模方法及装置
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及系统
CN105678683A (zh) * 2016-01-29 2016-06-15 杭州电子科技大学 一种三维模型的二维存储方法
CN105868858A (zh) * 2016-03-31 2016-08-17 华南理工大学 一种用于雕刻机的轨迹优化方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Dubins Traveling Salesman Problem with Neighborhoods: A Graph-Based Approach;Jason T. Isaacs等;《algorithms》;20131231(第6期);第84-99页 *
Path planning for unmanned aerial vehicles in surveillance tasks under wind fields;ZHANG Xing等;《J. Cent. South Univ. (2014) 》;20141231;第3079-3091页 *
Tracking a Moving Target in Cluttered Environments Using a Quadrotor;Jing Chen等;《2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20161231;第446-453页 *
基于无人机航拍序列的建筑三维模型重建;黄佳彪等;《湖南工业大学学报》;20170930;第31卷(第5期);第6-10页 *

Also Published As

Publication number Publication date
US20190145778A1 (en) 2019-05-16
US10663300B2 (en) 2020-05-26
CN107943072A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107943072B (zh) 无人机飞行路径生成方法、装置、存储介质及设备
Guerra et al. Flightgoggles: Photorealistic sensor simulation for perception-driven robotics using photogrammetry and virtual reality
Galvane et al. Directing cinematographic drones
US9972137B2 (en) Systems and methods for augmented reality preparation, processing, and application
Gebhardt et al. Airways: Optimization-based planning of quadrotor trajectories according to high-level user goals
Bonatti et al. Autonomous drone cinematographer: Using artistic principles to create smooth, safe, occlusion-free trajectories for aerial filming
Mademlis et al. Autonomous unmanned aerial vehicles filming in dynamic unstructured outdoor environments [applications corner]
CN107514993A (zh) 基于无人机的面向单体建筑建模的数据采集方法及系统
US11443639B2 (en) Methods of generating a unmanned aerial vehicle migration trajectory, electronic devices and storage mediums
CN111141264B (zh) 一种基于无人机的城市三维测绘方法和系统
CN108981706B (zh) 无人机航拍路径生成方法、装置、计算机设备和存储介质
WO2020092177A2 (en) Method and apparatus for 3-d auto tagging
US11587446B2 (en) Method and system for generating aerial imaging flight path
CN106973221A (zh) 基于美学评价的无人机摄像方法和系统
Barnett et al. Coordinated crowd simulation with topological scene analysis
KR102387797B1 (ko) 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치
CN108629799A (zh) 一种实现增强现实的方法及设备
KR101870761B1 (ko) 항공통합시뮬레이션을 이용한 드론영상촬영 지원시스템 및 방법
Yang et al. Uncut aerial video via a single sketch
Gebhardt et al. Optimization-based user support for cinematographic quadrotor camera target framing
US20210248287A1 (en) Method and apparatus for generating motion of object
Prima et al. Virtual camera movement with particle swarm optimization and local regression
Sabirova et al. Drone cinematography system design and new guideline model for scene objects interaction
Strothoff et al. Interactive generation of virtual environments using muavs
KR20050085145A (ko) 가상 워크스루를 위한 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant