CN117537799A - 一种用于估算覆盖区域和观测区域的高级辅助飞行系统及其方法 - Google Patents

一种用于估算覆盖区域和观测区域的高级辅助飞行系统及其方法 Download PDF

Info

Publication number
CN117537799A
CN117537799A CN202310958979.2A CN202310958979A CN117537799A CN 117537799 A CN117537799 A CN 117537799A CN 202310958979 A CN202310958979 A CN 202310958979A CN 117537799 A CN117537799 A CN 117537799A
Authority
CN
China
Prior art keywords
point
roi
uav
controller
agl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310958979.2A
Other languages
English (en)
Inventor
阿什什·巴特
迪兰德拉·维潘·萨鲁普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Creative Creation Technology Plc
Original Assignee
Creative Creation Technology Plc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Creative Creation Technology Plc filed Critical Creative Creation Technology Plc
Publication of CN117537799A publication Critical patent/CN117537799A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/006Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3826Terrain data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/656Interaction with payloads or external entities
    • G05D1/689Pointing payloads towards fixed or moving targets
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/80Specific applications of the controlled vehicles for information gathering, e.g. for academic research
    • G05D2105/87Specific applications of the controlled vehicles for information gathering, e.g. for academic research for exploration, e.g. mapping of an area
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/10Outdoor regulated spaces
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/20Aircraft, e.g. drones

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种用于估算无人机104(UAV 104)的覆盖区域和观测区域的系统及其方法,所述方法包括根据导航单元提供的区域覆盖信息,基于禁飞区域多边形数据和海拔数据,来创建与复杂地形相关的起飞点的区域覆盖302的操作地图;所述操作地图使用多个采样点创建,并通过检查这些采样点是否位于禁飞区域或超过最大AGL来验证这些采样点。此外,所述操作地图是以起飞点为中心点绘制的;进一步地,本发明还涉及根据操作地图确定和生成无人机的覆盖区域和观测区域;本发明还公开了一种用于检查起飞适宜性的功能。

Description

一种用于估算覆盖区域和观测区域的高级辅助飞行系统及其 方法
技术领域
本发明涉及无人机(UAV)领域,具体而言,涉及无人机导航领域。更具体地说,本发明是有关一种用于在无人机飞行期间估算覆盖区域和观测区域的高级辅助飞行系统及其方法。
背景技术
背景描述包括有助于理解本发明的信息,这并不表示此处提供的任何信息是先前技术或与当前所要求的发明相关的,也不表示任何特定或隐含引用的出版物是先前技术。
“无人机”(UAV)是指一种可以在没有任何人类飞行员、机组人员或乘客的情况下操作和飞行的飞行器。基本上,无人机属于无人飞行器系统(UAS)的一种类型,可以通过地面遥控器和通信设备进行控制和远程操作。无人机也被称为无人机,并且对于军事人员而言是一项重要资产。此外,无人机在非军事领域如森林火灾监控、航空摄影、产品交付、农业、警务和监控、基础设施检查、科学研究、走私和无人机竞赛等方面发挥着关键作用。通常,传统的无人机由遥控操作员操作。
但是,在未知地形中操控无人机是一项困难的任务,因为未知地形可能是具有不同高度的地表表面。因此,在操控无人机之前了解地形的特征非常重要。然而,仅有地图和海拔数据并不足以实现持续的无人机操控,因为从预加载的地图中找到地形的某些特征(如禁飞区、高度变化)以及估算覆盖区域(即基于起飞点/起飞点和无人机特性的适宜飞行区域)和观测区域(即基于目标位置和无人机特性的适宜飞行区域)的挑战非常大。
本发明的目标
本发明的首要目标是为无人机提供有效的辅助,使其能够在未知和/或复杂的地形上操作。
本发明的又一目标是生成地形的操作地图。
本发明的另一目标是通过操作地图来估算与特定目标相关的无人机的覆盖区域和观测区域。
本发明的另一目标是允许用户选择一个起飞点,并相应地通过将所选的起飞点视为中心来生成操作地图。
本发明的另一目标是使用不同颜色表示无人机的不同飞行高度,从而为用户提供更好的体验。
本发明的另一目标是在生成的操作地图中标识禁飞区,以避免不必要的飞行中断。
本发明的另一目标是提供一种智能、高效且对用户友好的系统和方法,通过估算覆盖区域和观测区域来辅助无人机。
因此,亟需在本技术领域中提供一种智能、有效且用户友好的解决方案,以解决上述问题并促进无人机的连续操控。。
发明内容
一方面,本发明涉及一种用于辅助无人机(Unmanned Aerial Vehicle, UAV)在感兴趣区域(Region of Interest, RoI)生成操作地图的系统。所述系统包括控制器,所述控制器进一步包括连接有存储器的处理器,其中,所述存储器存储有可由所述处理器执行的如下一个或多个指令:(a)通过导航单元获取所述RoI的地形图;(b)从所获得的地形图中提取与所述RoI相关的数据,其中所述数据包括禁飞区多边形数据、海拔数据、RoI的纬度和经度;(c)通过将提取的所述数据与多幅获取到的RoI图像帧进行合并,获得一个或多个度量指标;(d)允许用户通过人机界面(HMI)在所述RoI内选择UAV的起飞点;(e)通过考虑一个或多个获得的所述度量指标和选定的起飞点,生成所述RoI的操作地图,并相应地估算与UAV相关的覆盖区域和观测区域。
一方面,为了监控所述RoI中存在的目标,所述控制器可以确定与生成的所述操作地图相关的三维空间中至少一个位置,以便操控UAV以获得最佳目标视野。
一方面,为了确保在与所述起飞点相关的覆盖区域内操控UAV的适宜性,所述控制器可配置为:检查与覆盖区域相关的禁飞区多边形数据和海拔数据;生成多条覆盖区域线,并将这些线绘制到所述地形图上,同时考虑每条线之间的预定义分隔航向角偏移量;确定基于起飞点,以第一个采样距离分隔的生成覆盖区域线上多个采样点的地面以上(AGL)高度;通过将每个采样点的AGL高度与所有先前采样点的先前确定的AGL高度进行比较,选择具有最大AGL高度的采样点,并相应地计算每个采样点的最低安全高度和最低安全视线高度,其中不同的AGL高度用不同的颜色表示。
一方面,若有采样点被确定与禁飞区相交,控制器可配置为丢弃所述采样点并停止处理相应的线。
另一方面,若有采样点的最大AGL高度超过AGL高度阈值,所述控制器可配置为丢弃所述采样点并停止处理相应的线。
一方面,所述控制器可配置为根据相应点的AGL高度与AGL高度阈值的比例来决定每个采样点的颜色。
一方面,为了确保根据给定目标机动UAV的适宜性,控制器可配置为:允许用户选择目标位置;以及,选择以目标位置为中心的预定义区域,其中,所述预定义区域可以是一个半径自定义的圆形区域,用于搜索合适的观测点;其中,通过考虑第二个采样距离从地形图上的起飞点采样并确定多个观测点。
一方面,若起飞点和观测点之间的距离超过阈值范围时,所述控制器可配置为丢弃这些点。
一方面,若从起飞点到观测点的路径与禁飞区域或任何障碍物相交,所述控制器可配置为丢弃所述观测点。
一方面,所述控制器可配置为使用相应点的计算观察倾斜范围和最大倾斜范围的比例来决定每个采样观测点的颜色,直到无人机(104)的相机有效载荷清楚地分辨目标。
一方面,所述控制器可配置为验证选择的起飞点是否适合无人机起飞;如果选定的起飞点未通过验证,所述系统可以自动建议用户在选定起飞点周围的预定义区域内选择一个或多个适合的起飞点。
一方面,所述系统可以在开始操作无人机之前生成操作地图。
一方面,所述系统可以包括位于无人机上的预定义位置的图像采集单元,并与所述控制器连接,以便将由图像采集单元获取的ROI的多个图像帧传输给所述控制器。所述图像采集单元可以是一台摄像机,可以在捕捉ROI时旋转360度。此外,所述控制器可以是地面控制系统,可以控制与摄像机相关的参数,其中所述参数可以包括摄像机平移和倾斜角度。
另一方面,本发明还涉及一种辅助无人机生成感兴趣区域(ROI)操作地图的方法。所述方法包括:(i)在控制器上,从导航单元获得感兴趣区域的地形图;(ii)在所述控制器上,从所获得的所述地形图提取与所述感兴趣区域相关的数据,所述数据包括所述感兴趣区域的禁飞区多边形数据、海拔数据、经度和纬度数据;(iii)在所述控制器上,获取所述RoI的多个图像帧;(iv)在所述控制器上,通过合并提取的所述数据和获得的所述图像帧来获得一个或多个度量指标;(v)通过人机界面(HMI)允许用户在所述RoI内选择UAV的起飞点;以及(vi)在所述控制器上,考虑一个或多个获得的所述度量指标和所选的起飞点,生成所述RoI的操作地图,并相应估算与UAV相关的覆盖区域和观测区域。
一方面,为了监控ROI中的目标,所述方法可能包括确定与生成的操作地图相关联的三维(3D)空间中的至少一个位置,以便调整无人机的位置以获得最佳视野。
一方面,为确保在与起飞点相关的覆盖区域内机动无人机的适宜性,所述方法可以包括:检查与覆盖区域相关的禁飞区多边形数据和海拔数据;生成多个覆盖区域线,并在地形图上绘制这些线,考虑每条线之间的预定义分隔航向角偏移量;确定相对于起飞点,以第一个采样距离为间隔,在生成的覆盖区域在线的多个采样点的地面以上(AGL)高度;以及,通过将每个样本点的AGL高度与之前确定的所有先前采样点的AGL高度进行比较,选择具有最大AGL高度的样本点,并相应计算每个样本点的最小安全高度和最小安全视线高度,其中不同的AGL高度可以用不同的颜色表示,根据相应点的AGL高度与AGL高度阈值的比例来决定。
一方面,所述方法在以下情況下,包括丢弃多个确定的采样点中的一个或多个:如果确定的样本点与禁飞区相交,和/或,确定的样本点的最大AGL高度超过了AGL高度阈值。所述方法还可以包括终止包括任何所述样本点的覆盖区域线的处理。
另一方面,为确保根据给定目标机动无人机的适宜性,所述方法可以包括:允许用户选择目标位置;选择以所述目标位置为中心的预定义区域,其中所述区域可以是具有自定义半径的圆形区域,用于搜索合适的观测点;通过考虑第二个采样距离,在地形图上从起飞点采样和确定多个观测点;并使用计算得出的相应点的观测斜距比值和无人机相机有效分辨目标的最大斜距之间的比例,为每个采样的观测点决定颜色。
一方面,所述方法(700)在以下情况下包括丢弃多个观测点中的一个或多个:如果起飞点与任何观测点之间的距离超过阈值范围,和/或,从起飞点到任何观测点的路径与禁飞区域或任何障碍物相交。
一方面,所述方法包括验证所选的起飞点对于UAV的起飞是否合适;其中,如果所选的起飞点未通过验证,所述方法还包括自动向用户建议一个或多个适当的起飞点,所选的起飞点位于预定义区域内。
一方面,在开始机动无人机之前生成所述的操作地图。
另一个方面,本发明涉及一种用于生成感兴趣区域 (RoI) 操作地图的无人机(UAV)。所述无人机包括可旋转的摄影机和与摄影机通信连接的控制器。所述摄影机配置为获取RoI的多个图像帧。控制器配置为:通过导航单元获取所述RoI的地形图;从获取的地形图中提取与RoI相关的数据,其中数据包括禁飞区域多边形数据、海拔数据以及RoI的纬度和经度;通过将提取的数据与获取的图像帧合并,获得一个或多个度量;通过与无人机通信连接的人机界面(HMI),允许用户在RoI内选择无人机的起飞点;通过考虑一个或多个获得的度量和所选的起飞点,生成RoI的操作地图,并相应估算与无人机相关的覆盖区域和观测区域。对于监控RoI中存在的目标,控制器确定与生成的操作地图相关联的三维(3D)空间中至少一个位置,以操控无人机以获得最佳视角查看所述目标。
一方面,为了确保无人机在与起飞点相关的覆盖区域内操控的适宜性,所述控制器可配置为:检查与覆盖区域相关联的禁飞区域多边形数据和海拔数据;生成多条覆盖区域线,并将这些线条在地形图上绘制出来,考虑每条线之间的预定义分离航向角偏移;针对起飞点,确定生成的覆盖区域线上多个样本点的地面以上(AGL)高度,每个样本点之间的采样距离为第一个采样距离;通过将每个样本点的AGL高度与所有先前采样点的已确定AGL高度进行比较,选择具有最大AGL高度的样本点,相应计算每个样本点的最小安全高度和最小安全视线高度,其中不同的AGL高度可以用不同的颜色表示,所述颜色根据相应点的AGL高度与AGL高度阈值的比例决定。
在另一方面,为了确保基于给定目标的无人机操控的适宜性,所述控制器可配置为:允许用户选择目标位置;选择以所述目标位置为中心的预定义区域,其中所述区域可以是具有自定义半径的圆形区域,用于搜索合适的观测点;通过考虑第二个采样距离,在地形图上从起飞点上采样和确定多个观测点;对于每个采样的观测点,可以使用计算出的相应点的观测斜距与无人机相机有效分辨目标的最大斜距之比来确定颜色。
在另一方面,所述控制器可配置为验证所选起飞点是否适合无人机起飞;如果所选的起飞点未通过验证,控制器可能会自动向用户建议一个或多个在所选起飞点附近的预定义区域内适合的起飞点。
附图说明
本发明所包含的附图作为本说明书的一部分,有助于进一步理解本发明,所述附图展示了本发明的示例性的实施方式,并与说明书一起用于解释本发明的原理,所述附图仅用于说明,而非对本发明的限制。
图1为根据本发明实施例的一种用于生成操作地图并相应估计覆盖区域和观测区域的提高型飞行员辅助系统(APAS)的网络架构图,用于详细说明其整体工作原理。
图2为根据本发明实施例的与APAS相关联的控制器的功能单元的示意图。
图3A为根据本发明实施例的与APAS相关的无人机的起飞点的示意图。
图3B和图3C为根据本发明实施例的与起飞点相关的区域覆盖的特征示意图。
图4A和图4B为根据本发明实施例所提出系统覆盖的覆盖区域的示意图。
图5为根据本发明实施例的与观测区域相关的特征的示意图。
图6A和图6B为根据本发明实施例所提出系统覆盖的观测区域的示意图。
图7为根据本发明实施例的一种用于生成操作地图并相应估计覆盖区域和观测区域的方法的流程图。
图8A和图8B为根据本发明实施例的与验证无人机104起飞适宜性相关的示意图。
具体实施方式
下面是对附图中表示的本发明的实施例的详细描述。所公开的实施例仅仅是本发明的示例,本发明可以以各种形式来实施。尽管,本发明的实施例对本发明内容进行了如此详细和清楚地描述,但是本发明所提供的细节信息并不旨在限制实施例的预期变化;相反,其目的是涵盖在所附权利要求书定义的属于本公开的精神和范围内的所有修改、等同物和替代方案。
本发明涉及无人机导航领域。 更具体地,本发明涉及一种用于估算覆盖区域和观测区域的用于UAV的高级飞行员辅助系统(APAS)及其方法。
本发明的实施例涉及智能、高效和用户友好的解决方案,以促进无人机在任何地形上的连续操控,甚至是在未知和复杂的地形上。与地形相关的数据通过导航系统(如GPS)预加载,然后通过将与无人机关联的摄影机捕获的图像与预加载的数据进行映射,创建地形的操作地图。如果无人机的操作员选择了特定的起飞点,则通过以所述起飞点为中心生成操作地图。可以通过使用不同颜色表示无人机的不同飞行高度来创建操作地图的用户友好视图。
参考图1,一种先进驾驶员辅助系统100(以下简称系统100或APAS 100)可配置为为无人机104创建操作地图。优选地,所述系统100可以用于在具有不同飞行高度的复杂地形中操作无人机104。此外,所述系统100还可以用于在生成的操作地图中找到禁飞区域。因此,通过事先确定所述地形的特征,所述系统100可以实现对无人机104的连续操控。
在一实施例中,所述系统100包括与无人机104配合工作的地面控制系统(GCS)106(以下简称控制器106)。通过控制器106,无人机操作员/用户/飞行员可以输入起始/起飞点信息。此外,控制器106可以根据接收到的信息提取禁飞区多边形数据和起始位置/起飞点及其周围地区的海拔数据,其中禁飞区多边形数据可涉及称为区域覆盖302的起始位置/起飞点周围的区域相关数据,如图3A中的示意图300所示,在所述区域内禁止无人机104的操控/飞行,而海拔数据则涉及与海平面相对应的地形的不同高度数据。区域覆盖302是无人机根据其起始/起飞点、电池续航能力和高度特征来回飞行的最大范围。此外,所述系统100可以基于提取的禁飞区多边形数据和海拔数据估计区域覆盖302的特征,并相应地在地形图视图上绘制与估计特征相关联的功能,以表示在飞行区域中某个特定位置的适航性。
在一种实施例中,ASAP 100可以通过在无人机104开始操控之前首先预加载地形图视图以及与海拔相关的数据来生成无人机104的操作地图。然后,ASAP 100可以通过用户(例如飞行员/控制系统100的人员)选择一个起始位置来确定起飞点,所述起飞点可能是一个预定义位置,从所述位置可以开始操控无人机104,并作为操作地图生成的基准点。
此外,ASAP 100可以提取与无人机104关联的海拔/平均海平面高度(MSL)数据、电池数据以及起始位置的纬度和经度。进一步,ASAP 100可以根据地形的纬度和经度数据、预加载地图的地形海拔数据、无人机覆盖区域内的障碍物、无人机与地面控制系统之间的视线信息以及禁飞区数据分析无人机104可以穿越的复杂地形区域。
在另一种实施例中,为了监控特定目标,APAS 100可以估算出三维空间中至少一个位置,所述位置是为了获得对所述目标最佳视角而可以操控无人机04的位置。
目标位置数据可以通过地面控制系统(GCS)106直接提供给无人机,也可以使用图像采集单元102来获取与目标相关的感兴趣区域(ROI)的一系列图像帧。在示例实施例中,图像采集单元102可以是一台能够旋转360度并有效捕获ROI区域的摄像机。在另一种实施例中,所述系统100可以包括一个导航单元108,所述导航单元可配置为提供与目标的ROI相关的信息。在示例实施例中,导航单元108可以包括GPS模块、全球导航卫星系统(GLONASS)模块、导航印度星座(NAVIC)模块等任意或组合。
在一种实施例中,地面控制系统106可以与图像采集单元102、导航单元108和无人机104进行操作性连接。通过导航单元108提供的ROI的获得图像帧以及相关信息可以传输到控制器106,其中与控制器106相关联的收发器可以接收传输的图像帧和信息。此外,在基于图像采集单元的目标ROI估算过程中,可能需要无人机位置数据、相机平移和倾斜角度、无人机AGL高度、海拔数据等数据。
在一种实施中,APAS 100可以通过获取与目标及其周围地形的纬度-经度数据、目标及其周围地形的海拔数据、无人机与目标之间的视线、无人机和目标之间的障碍物、无人机104与地面控制系统106之间的视线信息以及禁飞区数据来估算三维空间中的位置。
在另一种实施例中,APAS 100配置为使用不同颜色表示在具有不同颜色的地形中操控无人机104的各个高度区域的可行性。在示例实施例中,APAS 100可以通过不同的颜色(例如红色、绿色和黄色)表示生成的操作区域中的不同高度区域。红色可以用于指示最大可能的地面以上高度(AGL),在相应的区域内,无人机104需要操控至其最大可能的AGL。绿色可以用于指示无人机104需要操控至其最大可能AGL的三分之一。
此外,在另一种实施例中,APAS 100配置为预测从无人机104上方覆盖区域302和目标的观察区域的覆盖区域(即适航性)。
在一种实施方式中,所述系统100可以包括一个“起飞适宜性检查”功能,所述功能可以推荐选择的发射平台/起飞点是否适合起飞。如果发现特定的起飞点不适合起飞,则“起飞适宜性检查”功能可以帮助用户确定所述起飞点周围适合起飞的位置。此外,所述功能还可以建议标记的起飞点是否适合常规起飞,或者是否需要起飞接近点(TOA)。如果起飞点需要TOA点,则GCS 106可以根据地形的高度,在离起飞点500米到2500米的距离内建议多个TOA点。一旦在所述区域内建立了TOA,GCS 106就可以允许UAV 104起飞。
此外,如果标记的起飞点无论是否有TOA都不适合起飞,则“起飞适宜性检查”功能可以建议一个替代的起飞点,所述位置可能适合起飞。在一种实施方式中,选择起飞点时要确保UAV 104所捕捉的感兴趣区域位于UAV 104的范围内/ UAV 104所覆盖的区域范围内。
完成起飞适宜性检查后,所述系统100可以启动“估算覆盖区域功能”,用于检查从起飞点起飞并在其覆盖区域内飞行的适宜性。此外,在完成“估算覆盖区域功能”后,所述系统100可能触发“估算观测范围功能”,以检查对特定目标进行监控时操作UAV 104的适宜性和是否能够正确地看到所述目标。
在一种实施例中,所述控制器106可以通过网络110与所述图像采集单元102、导航单元108和UAV 104进行通信连接。此外,所述网络110可以是无线网络、有线网络或二者的组合,可以作为不同类型的网络之一实现,例如内部网络、局域网(LAN)、广域网(WAN)、互联网等。此外,所述网络110可以是专用网络或共享网络。共享网络可以代表使用各种协议的不同类型网络的关联,例如超文本传输协议(HTTP)、传输控制协议/互联网协议(TCP/IP)、无线应用协议(WAP)等。
在一种实施例中,所述控制器106可以使用硬件组件和软件组件的任意组合来实现,例如云端、服务器112、计算系统、计算设备、网络设备等。此外,所述控制器106可以通过网站或应用程序与所述图像采集单元102、导航单元108和UAV 104进行交互,并驻留在所述系统100中。在一种实施中,可以通过支持任何操作系统(包括但不限于AndroidTM、iOSTM等)的网站或应用程序访问APAS 100。
参考图2,方块图200描述了所述控制器106的示例功能单元,其中包括一个或多个处理器202、存储器204、接口206、处理引擎208和数据库210。一个或多个处理器202可以实现为一个或多个微处理器、微计算机、微控制器、数字信号处理器、中央处理单元、逻辑电路和/或任何根据操作指令来操作数据的设备。除其他功能外,一个或多个所述处理器202配置为获取和执行存储在控制器106的存储器204中的计算机可读指令。所述存储器204可以存储一个或多个计算机可读指令或例程,可以获取和执行这些指令以创建或共享网络服务上的数据单元。所述存储器204可以包括任何非易失性存储设备,例如易失性存储器(如RAM)或非易失性存储器(如EPROM、闪存等)。
在一种实施例中,所述控制器106还可以包括接口206。所述接口206可以包括各种接口,例如数据输入和输出设备的接口,即输入/输出设备(I/O设备)、存储设备等。所述接口206可以促进所述控制器106与连接到所述控制器106的各种设备之间的通信连接。所述接口206还可以为所述控制器106的一个或多个组件提供通信连接路径。所述这些组件的示例包括但不限于处理引擎208和数据库210。
在一个实施例中,所述处理引擎(208)可以被实现为硬件和编程(例如可编程指令)的组合,以实现所述处理引擎(208)的一个或多个功能。在此处描述的示例中,这样的硬件和编程的组合可以以几种不同的方式实现。例如,用于所述处理引擎(208)的编程可以是存储在非暂态机器可读存储介质上的处理器可执行指令,而用于所述处理引擎(208)的硬件可以包括处理资源(例如一个或多个处理器)来执行这些指令。在本实施例中,机器可读存储介质可以存储在指令中,并通过处理资源执行指令来实现所述处理引擎(208)。在这种情况下,所述控制器(106)可以包括存储指令的机器可读存储介质以及执行指令的处理资源,或者机器可读存储介质可以是独立的,但可由所述控制器(106)和处理资源访问。在其他示例中,所述处理引擎(208)可能由电子电路实现。所述数据库(210)可以包含作为处理引擎(208)任何组件实现的功能的结果而存储或生成的数据。
在一个实施例中,所述处理引擎(208)可以包括提取单元(212)、映射单元(214)、操作单元(216)和其他单元(218)。所述其他单元(218)可以实现补充控制器(106)或处理引擎(208)执行的应用程序或功能的功能。
根据一种实施例,所述提取单元(212)可以通过考虑输入到地面控制系统或控制器的起飞点数据,提取与复杂地形相关的禁飞区多边形数据和覆盖区域302的海拔数据。其中,所述禁飞区多边形数据可以涉及围绕起飞点的区域称为覆盖区域302的数据,无人机104在所述区域内禁止操控/飞行,而所述海拔数据可以涉及地形的不同海拔和相对于海平面的高度数据。
在一个实施例中,所述提取单元(212)可以提取与无人机104相关的海拔/平均海平面高度(MSL)数据、电池数据以及起飞点的纬度和经度。此外,APAS 100 可以基于地形的纬度-经度数据、预加载地图的地形海拔数据、无人机覆盖区域内的障碍物存在情况、无人机与GCS之间的视线信息以及禁飞区数据,分析复杂地形中无人机104可以操控的区域。所述提取单元(212)还可以提取与AOI内的特定目标相关的数据。
在另一种实施例中,映射单元(214)可以使用各种偏置和线性技术将提取的数据合并,并基于此创建/生成操作地图。所述映射单元(214)还可以在无人机104开始操控之前,预加载地形图视图以及与海拔相关的数据,为无人机104生成操作地图。
生成覆盖区域
在一个实施例中,所述映射单元(214)可以生成与用户为无人机选择的起飞点(306)相关的覆盖区域302内的飞行适宜性。在一种实施例中,为了生成无人机在称为覆盖区的区域覆盖中的飞行适宜性,首先要为无人机104选择一个起飞点306(也在此处称为起飞点)。此外,映射单元(214)可以确保禁飞区多边形数据和海拔数据存在于一个带有预定义半径(R)的圆形区域302中,所述半径可能与无人机104的最大航程相关,例如以米为单位。这个圆形区域是无人机基于其家庭/起飞点、电池/续航能力和海拔特性来往移动的最大区域。此外,映射单元(214)可以生成多个覆盖区域线,这些线可以在地形图视图上绘制,相应地与每条线之间的预定义分离航向角偏移对应。在一个示例实施例中,可以使用1度的分离航向角来生成地图上的360条线。
在一个实施中,如图3B所示,所述映射单元可以利用采样距离(delta,例如100米)来确定沿线的采样点(308-1、308-2、308-3... 308-N,统称为采样点308,在此分别称为采样点308),相对于起飞点306(AGL高度)。此外,所述映射单元(214)可以确定采样点是否与禁飞区304相交,如图3C所示。如果确定采样点308与禁飞区304相交,则所述映射单元(214)可以舍弃采样点308并停止处理相应的线。
进一步地,对于一个采样点,计算AGL高度作为先前所有采样点的AGL高度之一、最小安全高度和最小安全视线高度中的最大值,其中最小安全高度是沿着从起飞点到采样点的路径进行地形避让时使用海拔数据计算的。此外,最小安全视线高度可以被描述为确保GCS和采样点308之间存在无线电通信连接所需的最低海拔高度,使用海拔数据计算。
在一个实施例中,如果计算出的AGL高度超过了无人机104支持的最大AGL高度,映射单元(214)可以舍弃采样点308并停止处理相应的线。
在另一种实施例中,所述映射单元(214)可以根据计算出的AGL高度与无人机104支持的最大AGL高度之间的比例决定采样点308的颜色。所述比例介于0.0和1.0之间,可以划分为不同的区域,例如小于0.33、介于0.33到0.66之间和介于0.66到小于或等于1.0之间,并相应地分配绿色、橙色和红色等颜色给每个区域,如图4A和4B所示。在一个示例实施例中,图4A表示区域覆盖的操作地图的3D视图400,其中不同海拔用不同颜色表示,而图4B表示所述地图的2D视图420。每种颜色可能表示到达采样点308所需的AGL高度,其中较低的比例值表示更容易操控无人机104到达采样点308。此外,映射单元(214)可以使用线路径连接决定颜色的采样点308与先前的采样点。
生成观测区域
参考图5,所述映射单元214可以生成与起飞点506相关的观测区域,其中,所述映射单元214可以根据给定目标510的侦察需求和所述给定目标是否能够被正确观察来确定操控无人机104的适宜性。在一种实施例中,为了生成观测区域,首先为无人机104选择起飞点506,由无人机用户/驾驶员确定。此外,所述映射单元214可以确保禁飞区多边形数据和海拔数据存在于一个带有预定义半径(R)的圆形区域502内,所述半径可能与无人机104的最大航程相关,例如从起飞点506开始以米为单位。进一步地,在无人机用户/驾驶员选定的无人机104最大航程范围内选择目标的兴趣点(POI)位置510。所述映射单元214还可以选择以POI为中心的圆形搜索区域508,所述区域具有自定义定义的半径,用于搜索合适的观测点。
所述观测点是通过使用所述点之间的采样距离(例如25米)从地形图上的起飞位置506确定的。
在一种实施例中,如果起飞点和观测点之间的距离超过无人机104的最大航程,则所述映射单元214可以舍弃所述样本点。此外,如果从起飞点到观测点的路径与禁飞区或任何障碍物504相交,则所述映射单元214还可以舍弃所述点。
在一种实施例中,对于采样的观测点,所述映射单元214可以计算AGL高度,作为从起飞点到采样观测点沿路径的最小安全高度、最小安全视线高度和最小安全视觉视线高度中的最大值。在一种实施例中,通过使用海拔数据来计算从起飞点到采样观测点的路径上用于地形避让的最小安全高度,并且可以计算出确保GCS 106和无人机104之间存在无线电通信连接所需的最小安全视线高度。此外,可以通过使用海拔数据计算出确保POI位置可以从采样观测点观察到所需的最小安全视觉视线高度。
在一种实施例中,如果计算出的AGL高度超过了无人机104支持的最大AGL高度,所述映射单元(214)可以舍弃采样的观测点308。此外,使用采样观测点处计算的AGL高度,所述映射单元(214)可以计算观测斜距,即POI位置沿地形和采样观测点之间的三维距离。
在另一种实施例中,映射单元(214)可以使用计算的观测斜距与无人机相机有效分辨目标的最大斜距之间的比例来决定采样观测点308的颜色。所述比例介于0.0和1.0之间,可以划分为不同的区域,例如小于0.33、介于0.33到0.66之间和介于0.66到小于或等于1.0之间,并相应地分配绿色、橙色和红色等颜色给每个区域,以指示从观测点到POI位置所需的观测斜距,如图6A和6B所示。在一个示例实施例中,图6A表示目标POI操作地图的观测区域的3D视图600,而图6B表示所述地图的观测区域的2D视图620。此外,每种颜色可能表示不同的观测斜距,其中较低的比例值表示更好的POI位置可见性。但是,如果比例超过1.0,所述映射单元214可以舍弃所述点。
根据另一种实施例,所述操作单元216可以与无人机104进行通信连接,以便可以操作无人机104,并通过操作地图促进无人机104的轻松和平稳操控。
在一种实施例中,为了检查起飞适宜性,首先为无人机104选择起飞点。此外,操作单元216可以确保禁飞区多边形数据和海拔数据存在于与起飞点相关联的圆形区域内,所述圆形区域具有半径R = 无人机的最大航程(以米为单位)。
在一种实施例中,如果发现起飞点位于禁飞区内或起飞点的MSL海拔超过允许的最大起飞MSL海拔,则操作单元216可以得出结论当前起飞点不适合起飞。在其他实施例中,如果无人机类型是四旋翼飞行器,则当前起飞点适合起飞。
在另一种实施例中,如果无人机类型是混合型无人机,在垂直起降(VTOL)模式下像四旋翼飞行器一样起飞,然后过渡到固定翼模式,那么在这种情况下,操作模块214可以首先确定地形避让的最小安全AGL高度,所述高度可以使用以起飞点为中心、半径等于无人机的轨道半径的圆形区域中的海拔数据进行计算。
此外,如果确定的安全AGL高度值高于无人机在起飞后或降落期间绕起飞点进行轨道飞行所需的最小安全AGL高度之一,则操作单元216可以得出结论当前起飞点不适合起飞,否则得出适合起飞的结论。
在一种实施例中,无人机104在起飞后绕起飞点进行轨道飞行所需的最小安全AGL高度通常远低于无人机104在降落期间绕起飞点进行轨道飞行所需的最小安全AGL高度。这是因为无人机104在起飞的VTOL模式下无法爬升到非常高的AGL高度,以防止给无人机104的VTOL电机施加过高的工作负荷,这也会影响无人机104的续航能力。
在另一种实施例中,如果发现当前起飞点不适合起飞后绕其进行轨道飞行,但适合降落期间绕其进行轨道飞行,则操作单元216可以选择起飞接近点(TOA)。此外,如果TOA点不位于由无人机的能力确定的从起飞点到TOA点的最小和最大半径范围内,从起飞点到TOA点的路径经过了禁飞区,则操作单元216可以得出结论选择的TOA点不适合进行起飞。
然而,如果发现TOA点适合,操作单元216可以确定用于地形避让的最小安全AGL高度,所述高度可以使用从起飞点到TOA点的路径上包括TOA点处的轨道圆的海拔数据来计算。如果此值高于无人机在VTOL模式下从起飞点飞往TOA点并在TOA点绕行所需的最小安全AGL高度,则再次得出TOA点不适合进行起飞的结论,否则组合的家庭和TOA点适合进行起飞。
此外,如果选择的TOA点不适合进行起飞,可以以自动化方式在围绕起飞点的圆形区域内搜索备选的TOA点,采用25米的采样距离在搜索点之间进行搜索,使每个搜索点位于由无人机能力确定的从起飞点802以VTOL(垂直起降)模式飞行到TOA点的最小和最大半径范围内,合适的TOA可以在地形图上使用预定义的第一个预定义颜色显示,如图8A所示。
此外,如果仅起飞点802或起飞点和TOA点的组合不适合进行起飞,则操作单元216可以使用用户定义的最大搜索半径,在当前选定的起飞点周围的圆形区域内以25米的采样距离搜索备选家庭点,使用上述逻辑进行搜索。
在一种实施例中,如果备选家庭点适合进行起飞而无需对应的TOA点,则可以将备选家庭点显示在地形图视图中作为可直接使用的家庭点,使用第二个预定义颜色表示,如图8B所示。如果备选家庭点也不适合起飞,可以使用上述逻辑为其搜索相应的TOA点,并且如果找到一个或多个TOA点,则可以将备选家庭点显示在地形图视图中作为间接可用的家庭点,使用第三个预定义颜色表示。
在另一种实施例中,用户可以选择一个可直接使用的备选家庭点作为最终的起飞点,或者选择一个需要TOA点的间接可用的备选家庭点作为最终的起飞点。
熟悉本领域技术的专业人士应当理解,上述用于TOA点的概念同样可以应用于使用着陆接近(LOA)点进行着陆,所述概念同样适用于本发明的范围内。
图7显示了一种用于辅助无人机生成感兴趣区域(RoI)的操作地图的方法700(以下简称为方法700)。所述方法包括步骤702,即在控制器中从导航单元获取RoI的地形图,并在步骤702中从地形图中提取与RoI相关的数据。这些数据可能包括禁飞区多边形数据、海拔数据和RoI的纬度和经度。所述方法700还包括步骤704,即在控制器中获取RoI的多个图像帧。
此外,所述方法700还包括步骤708,在控制器中通过将提取的数据与获取的图像帧合并,获得一个或多个度量指标。
在一种实施例中,所述方法700还包括步骤710,即允许用户通过人机界面(HMI)选择RoI内的起飞点。此外,所述方法700还包括步骤712,在控制器中考虑获得的一个或多个度量指标和所选的起飞点,相应地生成RoI的操作地图,并估计与无人机相关的覆盖区域和观测区域。
在一种实施例中,为了监控RoI中的目标,所述方法700可以包括确定与生成的操作地图相关的三维空间中的至少一个位置,以便操控无人机以获取对所述目标的最佳视野。
在一种实施例中,为确保在与起飞点相关的覆盖区域内操控无人机的适宜性,所述方法700可以包括以下步骤:首先,检查与覆盖区域相关的禁飞区多边形数据和海拔数据;然后,生成多条覆盖区域线,并将这些线绘制在地形图上,考虑到每条线之间的预定义分离航向角偏移量。此外,方法还包括确定相对于起飞点,位于生成的覆盖区域线上,并且彼此之间以第一个采样距离分隔的多个样本点的地面以上(AGL)高度;通过比较每个样本点的AGL高度与先前确定的所有先前采样点的AGL高度,选择具有最大AGL高度的样本点,并相应计算每个样本点的最小安全高度和最小安全视线高度,其中不同的AGL高度使用不同的颜色表示,决定时考虑相应点的AGL高度与AGL高度阈值的比例。
此外,如果发现以下情况之一:(a)确定的采样点与禁飞区相交;和/或者,(b)确定的采样点的最大AGL高度超过AGL高度阈值,则所述方法700可以包括丢弃多个确定的采样点的步骤。在这些情况下,所述方法700可以包括终止包括任何这些点的覆盖区域线的处理步骤。
在另一种实施例中,为了确保根据给定目标操控无人机的适宜性,所述方法700可以包括以下步骤:首先,允许用户选择目标位置,然后选择一个预定义区域,所述区域以目标位置为中心,在地形图上搜索适合的观测点,其中多个观测点通过从起飞点出发采样并确定,并考虑第二个采样距离。为每个采样的观测点使用颜色,使用计算的相应点的观测斜距与无人机的摄像负载能够清晰解析目标的最大斜距之比来决定颜色。
此外,如果满足以下情况之一:(a)起飞点与任何观测点之间的距离超过阈值范围;和/或者(b)从起飞点到任何观测点的路径与禁飞区域或任何障碍物相交,则所述方法700可以包括丢弃多个观测点的步骤。
在一种实施例中,所述方法700还可以包括验证所选起飞点是否适合无人机起飞的步骤。如果所选起飞点未通过验证,则所述方法700还可以包括自动向用户建议在所选起飞点附近的预定义区域内选择一个或多个适合的起飞点。
在一种实施例中,所述方法700可以包括在开始操控无人机之前生成操作地图的步骤。
根据一种实施例,本发明还揭示了一种用于生成感兴趣区域(RoI)操作地图的无人机104,所述无人机可以独立行动并自行执行操作。所述无人机104可以配备旋转摄像机102和控制器106,这些设备集成在所述无人机104内部。旋转摄像机102可配置为获取RoI的多个图像帧。此外,所述控制器106可以与所述摄像机102通信连接,并配置为从所述摄像机102接收获取的图像帧。
在一种实施例中,通过所述控制器106,所述无人机104可以通过导航单元108获取RoI的地形图;然后从获取的地形图中提取与RoI相关的数据,其中所述数据可以包括禁飞区多边形数据、海拔数据以及RoI的纬度和经度。
在另一种实施方式中,通过所述控制器106,所述无人机104可以通过将提取的数据与获取的图像帧进行合并,从而获得一个或多个度量指标。此外,用户可以通过与所述无人机104通信连接的人机界面(HMI)来选择所述无人机104在感兴趣区域(RoI)内的起飞点。
此外,在考虑到一个或多个获得的度量指标和所选的起飞点的基础上,所述无人机104可以生成RoI的操作地图,并相应地估算与所述无人机104相关的覆盖区域和观测区域。而且,为了监控RoI中的目标,所述控制器106可以确定与生成的操作地图相关联的三维空间中的至少一个位置,以便操控所述无人机104以获得对所述目标的最佳视野。
在另一种实施方式中,所述控制器106配置为验证所选的起飞点是否适合所述无人机104起飞;如果所选的起飞点未通过验证,所述控制器106会自动向用户建议位于所选起飞点周围预定义区域内的一个或多个合适的起飞点。
在一种实施方式中,为了确保所述无人机104在与起飞点相关的覆盖区域内进行操控的适宜性,所述无人机104配置为:
检查与覆盖区域相关的禁飞区多边形数据和海拔数据;
生成多条覆盖区域线,并在地形图上绘制这些线,考虑到每条线之间预定义的分隔航向角偏移量;
确定基于起飞点,以第一个采样距离分隔的生成覆盖区域线上多个采样点的地面以上(AGL)高度;以及
通过将每个采样点的AGL高度与所有先前采样点的已确定AGL高度进行比较,选择最大AGL高度的采样点,并相应计算每个采样点的最低安全高度和最低安全视线高度;其中,不同的AGL高度使用不同颜色表示,颜色的决定依据是考虑到相应点的AGL高度与AGL高度阈值的比例。
在另一种实施方式中,为了确保所述无人机104根据给定目标进行操控的适宜性,所述无人机104配置为:
允许用户选择目标位置;以及,
在以目标位置为中心的预定义区域内选择一个圆形区域,所述区域具有自定义半径,用于搜索适合的视点;从起飞点在地形图上按照第二个采样距离考虑采样和确定多个视点,并使用计算得到的相应点视线距离与无人机104相机有效分辨目标的最大视线距离之间的比例为每个采样视点决定颜色。
在某些实施方式中,书面描述和附加权利要求中给出的数值参数是可以变化的近似值,这取决于特定实施方式所寻求获得的期望性质。在某些实施方式中,数值参数应根据报告的有效数字位数并应用普通的舍入技巧进行解释。尽管一些实施方式中设置了涵盖发明范围的数值范围和参数是近似值,但在具体示例中给出的数值尽可能准确地报告。在一些实施方式中呈现的数值可能包含某些误差,这些误差必然会导致各自测试测量中找到的标准偏差。
在本描述和随后的权利要求中使用的术语“一个”,“一种”和“所述”的含义包一个或多个,除非上下文明确指示其他。此外,在本描述中使用的“在”的含义包括“在”和“上”,除非上下文明确指示其他。
这里提及的数值范围仅旨在作为一种简略的方法,以逐个地引用在所述范围内的每个单独数值。除非在此处另有说明,否则每个单独数值都被视为在规范中单独陈述时纳入所述规范中。除非在此处另有说明或上下文明确相矛盾,否则所有描述的方法可以按任何合适的顺序执行。在本描述中提供的任何和所有示例或示例性语言(例如“例如”)仅旨在更好地阐明发明,并不对发明的范围构成限制。本说明书中的任何语言都不应被理解为指示实施发明所必需的非权利要求要素。
此外,在解释规范和权利要求时,所有术语应根据上下文以最广泛的可能方式进行解释。特别是,“包括”和“包含”这些术语应被解释为非排他性地指示元素、组件或步骤,表明所引用的元素、组件或步骤可能与未明确引用的其他元素、组件或步骤一起存在、使用或组合。当规范权利要求涉及至少一项选择自A、B、C…和N等组成的群组时,所述文本应被解释为仅需要群组中的一个元素,而不是A加上N,或B加上N等。
在此披露的发明的备选元素或实施方式的组合不应被理解为限制。每个组成员可以分别引用和主张,或与所述组或本说明书中的其他元素任意组合。由于便利性和/或可专利性原因,可以将群组中的一个或多个成员包含在群组中或从群组中删除。当发生任何这样的包含或删除时,本说明书被视为包含所修改的群组,从而满足附加权利要求中所使用的所有群组的书面描述要求。
虽然上述描述了发明的各种实施方式,但可以构思出其他进一步的实施方式,而不脱离其基本范围。发明的范围由随后的权利要求确定。本发明不限于所述的实施方式、版本或示例,这些示例是为使具有普通技术水平的人员能够结合其所掌握的信息和知识制造和使用发明而包含在内的。
本发明的有益效果
本发明提供了对无人机(UAV)进行有效辅助,使其能够在未知和/或复杂地形上操作。
本发明能够生成地形的操作地图。
本发明利用操作地图估算无人机的覆盖区域和与特定目标相关的观测区域。
本发明允许用户选择一个起飞点,并相应地通过将所选的起飞点视为中心来生成操作地图。
本发明通过使用不同颜色表示无人机的不同飞行高度,为操作地图提供用户友好的视图。
本发明在生成的操作地图中标示禁飞区,有助于避免不必要的飞行中断。
本发明提供了一种智能、高效、用户友好的系统和方法,通过估计覆盖区域和观测区域,对无人机进行辅助。

Claims (24)

1.一种用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100) ,包括一个控制器(106),其特征在于,
所述控制器(106)包括连接有存储器的处理器,其中,所述存储器存储有可由所述处理器执行的如下一个或多个指令:
通过导航单元(108) 获取所述感兴趣区域(RoI)的地形图;
从获取的所述地形图中提取与所述RoI 相关的数据,其中,所述数据包括禁飞区多边形数据、海拔数据、以及所述RoI的经度和纬度;
通过将提取的所述数据与所述RoI的多个获取的图像帧合并,来获得一个或多个度量指标;
允许用户通过人机界面(HMI)选择无人机(104)在所述RoI内的起飞点; 以及,
通过考虑一个或多个获得的所述度量指标和选择的所述起飞点,生成所述RoI的操作地图,并且相应地估算与UAV相关联的覆盖区域和观测区域(104)。
2.根据权利要求1所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,为了监控所述RoI中存在的目标,所述控制器(106)确定与生成的所述操作地图相关的三维(3D)空间中的至少一个位置,来操控UAV(104)以获得的最佳目标视野。
3.根据权利要求1所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,为了确保在与所述起飞点相关联的所述覆盖区域内操控UAV(104)的适宜性,所述控制器(106)配置为:
检查与覆盖区域相关的禁飞区域多边形数据和海拔数据;
生成多条覆盖区域线,并将所述覆盖区域线绘制在所述地形图上,同时考虑每条线之间预定义的分隔航向角偏移量;
确定基于起飞点,以第一个采样距离分隔的生成覆盖区域线上多个采样点的地面以上(AGL)高度;以及,
通过将每个采样点的AGL高度与所有先前采样点的先前确定的AGL高度进行比较,选择具有最大AGL高度的采样点,并相应计算每个采样点的最低安全高度和最低安全视线高度,其中不同的AGL高度用不同的颜色表示。
4.根据权利要求3所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,若有采样点与禁飞区相交的情况下,所述控制器(106)配置为丢弃所述采样点并停止处理相应的线。
5.根据权利要求3所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,若有采样点的最大AGL高度超过AGL高度阈值时,所述控制器(106)配置为丢弃所述采样点并停止处理相应的线。
6.根据权利要求3所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,所述控制器(106)配置为通过考虑相应点的AGL高度和AGL高度阈值的比例来决定每个采样点的颜色。
7.根据权利要求1所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,为了确保在给定目标的基础上操控UAV的适宜性,所述控制器(106)配置为:
允许用户选择目标位置;以及,
选择以所述目标位置为中心的预定义区域,所述预定义区域为具有自定义半径的圆形区域,用于搜索合适的观测点,其中,通过考虑第二个采样距离从地形图上的起飞点采样并确定多个观测点。
8.根据权利要求7所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,若起飞点和观测点之间的距离超过阈值范围时,所述控制器(106)配置为丢弃所述观测点。
9.根据权利要求7所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,若从起飞点到观测点的路径与禁飞区或任何障碍物相交时,所述控制器(106)配置为丢弃所述观测点。
10.根据权利要求7所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,所述控制器(106)配置为使用相应点的计算观察倾斜范围和最大倾斜范围的比例来决定每个采样观测点的颜色,直到无人机(104)的相机有效载荷清楚地分辨目标。
11.根据权利要求7所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,所述控制器(106)配置为验证所选起飞点对UAV(104)起飞的适宜性;
其中,若所选起飞点未通过验证时,所述系统(100)自动向用户建议位于预定义区域内的一个或多个合适的起飞点。
12.根据权利要求7所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,所述系统(100)被配置成在UAV(104)开始机动之前生成操作地图。
13.根据权利要求1所述的用于辅助无人机(UAV)(104)生成感兴趣区域(RoI)的操作地图的系统(100),其特征在于,所述系统(100)包括:位于无人机(104)上的预定位置的图像采集单元(102),并与所述控制器(106)操作性连接,使得所述图像采集单元(102)获取的RoI的多个图像帧被传输到所述控制器(106);
其中,所述图像采集单元(102)为能有效捕获RoI的360度旋转摄像机;
所述控制器(106)为地面控制系统;
其中,所述控制器(106)控制与所述摄像机相关联的参数,所述参数包括摄像机平移和倾斜角度。
14.一种用于辅助无人机(UAV)生成感兴趣区域(RoI)的操作地图的方法(700),其特征在于,所述方法(700)包括:
在控制器上,从导航单元获得感兴趣区域的地形图(702);
在所述控制器上,从所获得的所述地形图提取与所述感兴趣区域相关的数据,所述数据包括所述感兴趣区域的禁飞区多边形数据、海拔数据、经度和纬度数据(704);
在所述控制器上,获取所述RoI的多个图像帧(706);
在所述控制器上,通过合并提取的所述数据和获得的所述图像帧来获得一个或多个度量指标(708);
通过人机界面(HMI)允许用户在所述RoI内选择UAV的起飞点(710);以及,
在所述控制器上,考虑一个或多个获得的所述度量指标和所选的起飞点,生成所述RoI的操作地图,并相应估算与UAV相关的覆盖区域和观测区域(712)。
15.根据权利要求14所述的方法(700),其特征在于,为了监控RoI中的目标时,所述方法(700)包括确定与生成的操作地图相关联的三维(3D)空间中至少一个位置,以便操控UAV以获得对所述目标的最佳视角。
16.根据权利要求14所述的方法(700),其特征在于,为确保在与起飞点相关的覆盖区域内机动无人机的适宜性时,所述方法(700)包括:
检查与覆盖区域相关联的禁飞区多边形数据和海拔数据;
生成多条覆盖区域线,并将这些线画在地形图上,考虑每条线之间的预定分隔航向角偏移量;
确定相对于起飞点,以第一个采样距离为间隔,在生成的覆盖区域在线的多个采样点的地面以上(AGL)高度;以及,
通过将每个采样点的AGL高度与先前确定的所有先前采样点的AGL高度进行比较,从而选择出具有最大AGL高度的采样点,并相应计算每个采样点的最小安全高度和最小安全视线高度;其中不同的AGL高度用不同的颜色表示,根据相应点的AGL高度与AGL高度阈值的比例确定。
17.根据权利要求16所述的方法(700),其特征在于,所述方法(700)在以下情況下,包括丢弃多个确定的采样点中的一个或多个:
所述采样点被确定为与禁飞区相交;和/或
所确定的采样点的最大AGL高度超过AGL高度阈值;
其中,所述方法(700)包括终止处理包括任何此类点的覆盖区域线。
18.根据权利要求14所述的方法(700),其特征在于,在确保根据给定目标进行UAV机动性的适宜性时,所述方法包括:
允许用户选择目标位置;
选择以所述目标位置为中心的预定义区域,所述预定义区域是一个圆形区域,具有用于搜索合适的观测点的自定义半径;通过考虑第二个采样距离,在地形图上从起飞点抽样并确定多个观测点;并使用计算得出的相应点的观测斜距比值和无人机相机有效分辨目标的最大斜距之间的比例,来为每个采样的观测点决定颜色。
19.根据权利要求18所述的方法(700),其特征在于,所述方法(700)在以下情况下包括丢弃多个观测点中的一个或多个:
起飞点与任何观测点之间的距离超过阈值范围;和/或
从起飞点到任何观测点的路径与禁飞区或任何障碍物相交。
20.根据权利要求14所述的方法(700),其特征在于,所述方法(700)包括验证所选的起飞点对于UAV的起飞是否合适;
如果所选的起飞点未通过验证,所述方法还包括自动向用户建议一个或多个适当的起飞点,所选的起飞点位于预定义区域内。
21.根据权利要求14所述的方法(700),其特征在于,所述方法(700)包括在进行无人机机动之前生成所述的操作地图。
22.一种用于生成感兴趣区域 (RoI) 操作地图的无人机 (UAV) (104),其特征在于,所述无人机 (104) 包括:
可旋转的相机 (102),用于获取 RoI 的多个图像帧;
以及
与相机 (102) 通信连接的控制器 (106),所述控制器 (106) 包括与存储器连接的处理器,其中存储器存储着可以由所述处理器执行的一个或多个指令,以使所述处理器执行如下操作:
通过导航单元获取 RoI 的地形图;
从获取的地形图中提取与 RoI 相关的数据,其中所述数据包括禁飞区域多边形数据、海拔数据以及 RoI 的纬度和经度;
通过将提取的数据与获取的图像帧合并,获得一个或多个度量指标;
通过与 UAV (104) 通信连接的人机界面 (HMI),允许用户在 RoI 内选择 UAV 的起飞点;
根据一个或多个获得的度量指标和所选的起飞点生成 RoI 的操作地图,并相应地估算与 UAV (104) 相关的覆盖区域和观测区域;
其中,所述控制器 (106) 配置为验证所选的起飞点是否适合 UAV (104) 起飞,如果所选的起飞点未通过验证,则所述控制器 (106) 自动向用户建议一个或多个适合的起飞点,这些位置位于所选起飞点的预定义区域内;
并且,为了监控 RoI 中的目标,控制器 (106) 确定与生成的操作地图相关联的三维空间中至少一个位置,以操控 UAV (104) 以获得最佳的目标视野。
23.根据权利要求22所述的UAV (104),其特征在于,为确保在与起飞点相关联的覆盖区域内操控无人机(104)的适宜性,所述控制器(106)配置为:
检查与覆盖区域相关的禁飞区域多边形数据和海拔数据;
生成多条覆盖区域线,并将这些线绘制在地形图上,考虑每条线之间预定义的分隔航向角偏移量;
确定基于起飞点,以第一个采样距离分隔的生成覆盖区域线上多个采样点的相对于地面的高度(AGL);并且
通过比较每个采样点的AGL高度与之前确定的所有先前采样点的AGL高度,选择具有最大AGL高度的采样点,并相应计算每个采样点的最低安全高度和最低安全视线高度,其中不同的AGL高度用不同的颜色表示,根据考虑对应点的AGL高度与AGL高度阈值的比例进行决定。
24.根据权利要求22所述的UAV (104),其特征在于,为确保在给定目标的基础上操控无人机 (104) 的适宜性,所述控制器 (106) 配置为:
允许用户选择目标位置;并且
选择以所述目标位置为中心的预定义区域,所述预定义区域是一个圆形区域,具有用于搜索合适的观测点的自定义半径,其中多个观测点通过考虑第二个采样距离从起飞点在地形图上进行采样和确定;对于每个采样的观测点,使用计算的观察斜距离与无人机(104) 相机有效负载明确解析目标的最大斜距离之间的比例来决定其颜色。
CN202310958979.2A 2022-08-01 2023-08-01 一种用于估算覆盖区域和观测区域的高级辅助飞行系统及其方法 Pending CN117537799A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN202221044026 2022-08-01
IN202221044026 2022-08-01

Publications (1)

Publication Number Publication Date
CN117537799A true CN117537799A (zh) 2024-02-09

Family

ID=87553829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310958979.2A Pending CN117537799A (zh) 2022-08-01 2023-08-01 一种用于估算覆盖区域和观测区域的高级辅助飞行系统及其方法

Country Status (3)

Country Link
US (1) US20240038077A1 (zh)
EP (1) EP4318158A1 (zh)
CN (1) CN117537799A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116321389A (zh) * 2023-02-15 2023-06-23 南京邮电大学 一种无人机辅助的联邦学习资源分配方法
CN118113055B (zh) * 2024-04-30 2024-07-02 山东字节信息科技有限公司 一种无人机控制系统及其控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2919734B2 (ja) * 1993-12-28 1999-07-19 川崎重工業株式会社 航空機用地図表示装置
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
WO2016130994A1 (en) * 2015-02-13 2016-08-18 Unmanned Innovation, Inc. Unmanned aerial vehicle remote flight planning system
EP4342792A3 (en) * 2015-12-09 2024-04-17 SZ DJI Technology Co., Ltd. Systems and methods for uav flight control
WO2021003657A1 (zh) * 2019-07-09 2021-01-14 深圳市大疆创新科技有限公司 一种无人机协同作业的控制方法、电子设备及系统

Also Published As

Publication number Publication date
EP4318158A1 (en) 2024-02-07
US20240038077A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US12007792B2 (en) Backup navigation system for unmanned aerial vehicles
CN117537799A (zh) 一种用于估算覆盖区域和观测区域的高级辅助飞行系统及其方法
US9842505B2 (en) Flight control for flight-restricted regions
US9811083B2 (en) System and method of controlling autonomous vehicles
US10474152B2 (en) Path-based flight maneuvering system
EP2244150A2 (en) Methods for generating a flight plan for an unmanned aerial vehicle based on a predicted camera path
US11807362B2 (en) Systems and methods for autonomous navigation and computation of unmanned vehicles
US9892646B2 (en) Context-aware landing zone classification
US10676213B2 (en) Optimal safe landing area determination
US11670181B2 (en) Systems and methods for aiding landing of vertical takeoff and landing vehicle
US10565887B2 (en) Flight initiation proximity warning system
US10054957B2 (en) Haptic feedback for realtime trajectory constraints
KR101863101B1 (ko) 무인항공기의 항로와 비행 스케쥴을 운항 지상국 소프트웨어를 통해 공유하여 무인항공기간 충돌을 방지하기 위한 방법
US10739792B2 (en) Trajectory control of a vehicle
US20220262263A1 (en) Unmanned aerial vehicle search and rescue systems and methods
JP2020170213A (ja) ドローン作業支援システム及びドローン作業支援方法
Tahar Multi rotor UAV at different altitudes for slope mapping studies
Karjalainen et al. Autonomous robotic drone system for mapping forest interiors
EP3907676A1 (en) Systems and methods for flight planning for conducting surveys by autonomous aerial vehicles
Hall et al. Team OSAM-UAV’s design for the 2008 AUVSI student UAS competition
KR20230126649A (ko) 드론 제어 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication