CN117136343A - 用于平衡自动感应交通工具的能源探测和观测时间的系统 - Google Patents

用于平衡自动感应交通工具的能源探测和观测时间的系统 Download PDF

Info

Publication number
CN117136343A
CN117136343A CN202180094725.XA CN202180094725A CN117136343A CN 117136343 A CN117136343 A CN 117136343A CN 202180094725 A CN202180094725 A CN 202180094725A CN 117136343 A CN117136343 A CN 117136343A
Authority
CN
China
Prior art keywords
observation
auto
energy
point
asv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180094725.XA
Other languages
English (en)
Inventor
法尔哈德·拉巴尼亚
亚历山大·波罗杰克
雅各布·威廉·朗格兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shewhart Aerospace Co
Original Assignee
Shewhart Aerospace Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shewhart Aerospace Co filed Critical Shewhart Aerospace Co
Publication of CN117136343A publication Critical patent/CN117136343A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/30—Supply or distribution of electrical power
    • B64U50/31—Supply or distribution of electrical power generated by photovoltaics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63G—OFFENSIVE OR DEFENSIVE ARRANGEMENTS ON VESSELS; MINE-LAYING; MINE-SWEEPING; SUBMARINES; AIRCRAFT CARRIERS
    • B63G8/00—Underwater vessels, e.g. submarines; Equipment specially adapted therefor
    • B63G8/001—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations
    • B63G2008/002—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations unmanned
    • B63G2008/004—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations unmanned autonomously operating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本发明涉及一种优化ASV的“观测”或“感应”时间和ASV的“能量补充”或“能量采集”时间的多目标方法。该方法包括：收集关于感兴趣观测点的数据；确定是否需要进行能量采集；以及在能量采集的搜寻之间有效访问感兴趣观测点。

Description

用于平衡自动感应交通工具的能源探测和观测时间的系统
技术领域
下文涉及自动感应交通工具，更具体地涉及此类自动感应交通工具的能量采集方法。
背景技术
诸如无人机、无人驾驶航空器、可控气球(即，热气球)、遥控操纵车辆和遥控操纵水下交通工具等的自动感应交通工具(ASV)通常是无人驾驶的且通常是高机动性的，并且可以由交通工具附近的用户遥控操纵或自动操纵。自动操纵交通工具不需要用户来对其进行操纵。自动驾驶交通工具有可能极大提高无人驾驶交通工具的航程和续航能力。自动感应交通工具可以用于多种用途，包括但不限于遥感、商业监视、影视制作、救灾、地质勘探、农业、救援行动等。可以注意到的是，对于这些及其他用途，提高ASV的运行时间和续航能力将是理想的。自动感应交通工具可以包含多个传感器，这些传感器可以包括但不限于加速度计、高度计、气压计、陀螺仪、热像仪、照相机、激光雷达(LiDAR)传感器等。这些传感器可以用于提高ASV的运行时间和续航能力或者可以用于上述用途。例如，陀螺仪可以用于测量或保持ASV的方向和角速度，并且可以改善ASV的运行时间；照相机却可以用于在地质勘探期间拍摄图像。
ASV性能的关键限制之一可能是能量。能量会直接影响ASV的续航能力、航程及其有效负载能力。为了更好地管理能量水平，ASV可以从其环境中提取能量，这在本发明中被称为“能量采集”。ASV可以采用任何能量采集方法或者能量采集方法的组合来采集能量，以提高ASV的续航能力和航程。在一个示例中，水下ASV可以利用波流来采集能量。在另一个示例中，陆地ASV可以利用太阳能来采集能量。在又一个示例中，航空ASV可以利用热气流上升(thermal updrafts)和山脊气流上升(ridge lifts)(在本发明中被称为“翱翔”)来采集能量。
翱翔利用热气流来增加航空ASV的飞行时间，并且在过去二十年中一直在对此进行研究和试验。例如，2010年，Edwards和Silverberg于蒙塔古越野挑战赛(Montague CrossCountry Challenge)展示了对抗有人驾驶的竞争对手的用于遥控滑翔机的翱翔。然而，可能存在与翱翔相关的挑战。
一些挑战包括：感应(有效的翱翔系统应当能够感应到周围环境和大气气流的运动)；能量采集(航空ASV应当配备以做出利用能量和避免在空中下坠的决策)；能量水平考虑(即，航空ASV应当能够在其飞行时考虑到其能量状态和环境的能量状态)。
AutoSoar(Depenbusch，Nathan T.，John J.Bird，and Jack W.Langelaan.″TheAutoSOAR autonomous soaring aircraft part 2：Hardware implementation andflight results.″Journal of Field Robotics 35.4(2018)：435-458)解决了其中的一些问题。AutoSoar提出了一种利用热气流上升和山脊气流上升进行自动翱翔的方法。AutoSoar旨在处理热气流翱翔的所有阶段，比如：热探测、热锁定和解锁、热定心控制、测绘、探测以及飞行管理。AutoSoar旨在教导一种通过利用热气流来增加飞行时间的方法并轻松地搜寻到这些热气流。
然而，在同时实现ASV任务的“感应”或“观测”目标的同时，AutoSoar未能优化采用能量采集的ASV的运行时间。仍然需要一种优化/平衡ASV的“观测”或“感应”时间和ASV的“能量补充”或“能量采集”时间的方法。
发明内容
本发明提出了一种优化ASV的“观测”或“感应”时间和ASV的“能量补充”或“能量采集”时间的多目标方法。该方法包括：收集关于感兴趣观测点的数据；确定是否需要进行能量采集；以及在能量采集的搜寻之间有效访问感兴趣观测点。
附图说明
现在将结合附图来描述实施方式，其中：
图1为非机载算法的示意图；
图2为机载路径规划系统的示意图；
图3是时基算法的示意图；
图4是奖励图的示意图；
图5是值函数图的示意图；
图6是在给定区域中先前发现的热气流的概率图的示意图；
图7是组合图的实施方式的示意图；
图8是调整为包括贪婪决策算法的决策AutoSoar系统的示意图；
图9是用于智能决策算法的机载系统的示意图；以及
图10是用于具有强化学习系统的决策算法的机载系统的示意图。
具体实施方式
本发明提出了一种优化/平衡ASV的“观测”或“感应”时间和ASV的“能量补充”或“能量采集”时间的多目标方法。该方法包括：收集关于感兴趣观测点的数据；确定是否需要进行能量采集；以及在能量采集的搜寻之间有效访问感兴趣观测点。
本发明提出的方法可以在有效访问感兴趣观测点的同时提高ASV的续航能力。本发明提出了确定能量采集、能量采集探测和访问观测点之间的平衡。可以注意到的是，通过采用不同的输入信号，ASV被指示以在跟随观测目标的同时扩展其能量水平和运行时间。
本发明提出了一种优化的ASV观测系统。该系统包括非机载计算机软件和本地机载智能系统。非机载计算机软件程序获取历史飞行数据、天气预报、任务目标以及ASV的特性。然后，该程序利用这些信息来生成路径和潜在路径的潜在图谱。这些图谱和路径是利用天气预报感知系统来规划的，但不需要它们来生成图谱。
本地机载智能系统获取来自非机载计算机的信息、来自传感器的信号以及自动驾驶指令。该系统也可以(或不)访问局部天气系统(第三方)。该系统可以根据所呈现的信息来选择下一个路径点。该系统利用智能决策系统来在环境探测和环境利用之间实现平衡。该系统会更新能源图谱。例如，该系统可以选择飞机的倾斜角或速度，以使其以更优化的方式运行。在一个实施方式中，所提出的解决方案允许航空ASV在观测任务中如预期那样表现的同时利用热气流。在另一个实施方式中，所提出的解决方案允许水下ASV在观测任务中如预期那样表现的同时利用波流。
本地机载智能系统获取来自非机载计算机的信息、来自传感器的信号以及自动驾驶指令。该系统也可以(也可以不)从第三方访问局部和全局天气系统。该系统可以根据所呈现的信息来选择下一个路径点。该系统利用智能决策系统来在环境探测和环境利用之间实现平衡。该系统会更新能源图谱。该系统可以选择和/或修改飞机的倾斜角或速度，以使其以更优化的方式运行。在一个实施方式中，所提出的解决方案允许航空ASV在观测任务中按预期那样表现的同时利用热气流。在另一个实施方式中，所提出的解决方案允许水下ASV在观测任务中按预期那样表现的同时利用波流。
该方法能够在达到观测目标的同时提高ASV的续航能力。该方法使任何ASV能够有效地执行其任务并利用大气中可用的免费能源(即，热气流上升、潮汐能、太阳能)。非机载路径规划及图谱生成
图1示出了非机载算法的示意图。所述非机载算法可以为机载计算代理计算和生成所需的路径。非机载算法可以创建潜在动作的轮询，以便机载计算机从中做出决策。非机载计算机可以获取一些输入111并产生输出112。一些输出112包括但不限于：值函数图109或许多路径的值列表110。一些输入111包括但不限于：起点101、终点101、一个或多个感兴趣区域101、禁飞区域、边界、历史飞行数据102、飞行器参数103、ASV的能量容量104、地图(地形、土地覆盖、水下等)105、气象预报106、观测的重要性因子107以及一个或多个所需的能量采集类型100。通过非机载路径规划器108，非机载算法可以获取这些输入111并产生输出112。在一个优选实施方式中，输出112包括潜在值函数图109和/或具有与其相关联的值的路径列表110。
因此，在一个实施方式中，利用动态编程和可用信息比如观测点的位置、历史飞行信息102、风力和天气预报106以及交通工具能量状态104，非机载算法108生成具有与每个网格相关联的值函数的值函数网格109。该系统可以将此作为机载计算机系统的输入，该机载计算机系统管理运行期间的交通工具行为并确定何时改变行为是合适的。
机载路径规划系统
图2示出了机载路径规划系统的示意图。一旦对非机载全局路径规划器108进行了计算，机载控制器就可以利用非机载系统的输出进行决策。机载路径规划器113可以：基于观测点(目标)及到达这些观测点的最快路径，利用值函数图109来生成ASV的潜在行为；说明传感器读数114(即，风向、能量水平、空气限制等)；在热气流的探测及利用与观测点探测之间做出决策和实现平衡；优化热气流和观测点附近的行为(例如，围绕热气流上升和观测点的热序列或循环序列)；生成多个本地路径点、ASV的倾斜角和速度等。
机载路径规划器113的一些输入111包括但不限于：传感器读数114、ASV的能量容量104、能量读数104b、自动驾驶指令115、气象预报106、地图(地形、土地覆盖、水下等)105、来自非机载规划器108的输出112、潜在值函数图109、具有与其相关联的值的路径列表110、路径点116a、一个或多个所需的能量采集类型100以及观测的重要性因子107。机载路径规划器113的输入111还可以包括终点101、一个或多个感兴趣区域101、禁飞区域、边界、历史飞行数据102以及飞行器参数103。在优选实施方式中，机载(本地)路径规划器113的输出包括具有潜在概率的图谱117和/或新路径点列表116。
在本地路径规划器113中可以采用多种方法。这些方法包括：时基算法；贪婪算法决策；以及智能决策系统。
时基算法
时基系统可以用于平衡探测能源和执行任务的时间。在能源探测模式下的限定时间过后，该系统可以直接开始观测最近的任务。例如，采用了时基系统的ASV可以在特定的时间内执行观测任务。如果ASV在这段时间过后仍然处于观测模式，则该系统可以在另一段指定的时间内切换到能源探测模式。该系统可以在探测模式和观测模式之间切换多次。图3示出了时基算法。
ASV系统可以访问观测点列表。在某个时间，在通过爬升118和决策119来完成探测模式之后，ASV将寻找第一观测点(即，最近的观测点120)。然后，ASV可以决定去观测124第一观测点123并更新观测列表125；或者如果ASV从未探测过热气流126的区域，则利用它们来进行能量采集130，并根据需要更新热气流列表131。在一个实施方式中，平衡决策来自机载计时器。如果计时器在观测模式期间超时，则该系统会将ASV切换到探测模式126一段特定的时间。在一个实施方式中，该系统可以重复该动作，直到ASV到达观测点。一旦观测到观测点，该系统就会将该观测点移动到观测点列表的末尾，并将下一个观测点设置为下一个目标。可以重复这个顺序。在另一个实施方式中，如果计时器在探测模式期间超时，则该系统会将ASV切换到观测模式一段特定的时间。
值函数图
由于第一观测点的位置可以是已知的，因此可以创建覆盖整个感兴趣区域的网格图或值函数图。图4示出了由机载或非机载路径规划器108、113创建的潜在值函数图109的一个示例。用户可以输入观测目标的纬度、经度和/或高度信息。然后，该系统将为每个目标赋值。在一个实施方式中，通过将大的正奖励403分配给感兴趣点以及将负奖励401分配给“禁飞”区域(例如，天气恶劣的区域)来创建奖励图。图4示出了位于[6，9]和[10，10]的两个观测点403的一个示例；起点位于[0，0]。每个观测点被赋予大的正值(5)。在一个实施方式中，起点401被赋予负值(-1)。区域402的剩余部分被赋予值0。
图5示出了值函数图的另一个示例。利用图4所示的奖励图和以下定义的值函数方程来制作值函数图。该系统可以计算对应于每个单元/位置的相对值。生成值函数图的方法可以包括：将感兴趣区域分割成网格；添加起点；以及将潜在观测点定义为正值单元。该方法还可以包括定义网格状态的步骤，即将每个单元定义为环境的新状态。注意，每个单元的值404与其在该单元中的“好坏程度”相关。一种方法是定义一个变量，从而通过给每个单元分配奖励来告诉我们每个单元的好坏程度。在一个实施方式中，通过向感兴趣点分配大的正奖励、向“禁飞”区域(例如，天气恶劣的区域)分配负奖励以及向热气流重现的过去位置分配小的正奖励来创建该图谱。当越过观测点时，就会增加奖励。在图5中，最高值403被赋予给单元[11，10]。单元[12，10]；[8，7]等被分配中等级别的奖励408、405。单元[13，10]；[9，6]被分配低级别的奖励406、407。单元[4，10]；[6，0]被分配可忽略级别的奖励401、402。
此处的“好坏程度”404的概念是根据可预期的未来奖励或预期回报来定义的。因此，值函数是相对于策略来定义的。策略是从每个状态和动作到处于该状态时采取动作的概率的映射。
该方法可以进一步包括定义一组可能的动作。由ASV可能作出的八个动作来定义特殊的动作集，所有的动作都具有相同的选中概率。ASV可以在八个方向上从任何单元向其相邻单元移动。可以注意到的是，边缘情况是动作的受限形式(即，只能在三个方向上从[0，0]移动)。
为了定义值函数方程，可以定义状态s∈S，其中s可以是网格尺寸m×n中的点，其表示地理位置。s可以存储天气、能量概率以及观测点存在与否的值。奖励的定义如下：
其中β和θ是正实数。然后，在网格t处定义动作at∈A。
注意，W.P表示“以概率……”。然后，可以定义策略∏(s，a)，该策略为每个状态下的每个动作的概率赋值。为了简单起见，假设从此处开始这是统一的分配策略，但是其可以是任何策略，甚至可以被学习。
将Gf定义为位置t处的预期奖励：
此处的0≤y≤1是未来奖励的折扣因子。
其中rt、rt+1、...是由从状态s开始的策略∏产生的。
那么，每个网格点的值函数可以是：
其中rt、rt+1、...是由从状态s开始的策略∏产生的。
利用值函数来生成值函数网格的图谱。
还可以将上述步骤应用于多个输入源(即，历史飞行信息或风力)。在一个实施方式中，多个输入源之一可以包括历史飞行信息。
图6示出了在给定区域中先前发现的热气流的概率图。单元值越接近1，在该位置处之前遇到热气流的可能性就越大。概率图可以显示从历史飞行/天气信息中找到能源的可能性。例如，在[5，1]602处找到能源的可能性为99％；在[7，2]603处找到能源的可能性为97％；并且在标记为0.38的黑色方块601上找到能源的可能性为38％。
图7示出了组合图的一个实施方式。组合图可以将值函数图和概率图结合起来。组合图可以是动态图，其基于α的用户输入而改变。下面的贪婪决策算法更详细地解释了用户定义的α值。根据用户定义的α值，对每个单元的值赋予不同的权重。例如，如果用户定义的α值更接近观测模式，则观测点将具有更高的相对权重。这使得该系统更有可能默认为观测模式。在另一个情况下，如果用户将α值定义为更接近能量采集探测，则能源将具有更高的相对权重。这使得该系统更有可能默认为探测模式。
值得注意的是，将值函数图和概率图信息结合起来的方式有许多种，比如：为热气流概率高的区域增加高的奖励值，其他情况下则增加低的奖励值。在一个实施方式中，可以引入重要性乘数来平衡与观测点和热气流上升点相关联的奖励。可以根据不同的任务来调整重要性乘数值，其中有时热气流的探测比观测点的观测更重要，反之亦然。
观测点也可能在移动。该算法可以跟踪任何固定或移动的观测点。移动目标可能需要在线连接来刷新图谱。
贪婪决策算法
该贪婪决策算法可以通过贪婪概率来在能源探测和观测模式之间实现平衡。
一旦定义了值函数图，就可以如下定义最佳行为的图谱。定义ASV移动一个或n个单元所采取的步骤或动作。值函数图将最佳行为显示为ASV从每个给定单元到最高值相邻单元可以采取的动作。
然后，该贪婪决策算法可以在观测模式和探测模式之间进行平衡。该算法可以利用各种图谱来决定ASV的行为，比如探测模式和观测模式。在一个实施方式中，该系统会选择访问最高值相邻单元，因为这是定义最佳行为路径的单元。在另一个实施方式中，为了实现更精确的决策和行为，可以采用偏置图来与值函数图相结合。偏置图可以选择与偏置方向匹配的给定最佳值单元。该算法可以通过利用偏置图来缩小可供选择的潜在单元。
然后，该贪婪决策算法可以启动探测模式，以寻找新能源。在一个实施方式中，该算法可以包括与探测图相结合的偏置图，并且将该图向观测点偏置。
在另一实施方式中，该算法可以利用贪婪函数或随机函数来在探测模式和观测模式之间进行切换。可以定义α值。α值可以表示探测和前往观测点之间的平衡。α值在0到1之间变化。在一个实施方式中，α值可以定义为使得其越接近零，就越倾向于探测模式；以及其越接近1，就越倾向于观测模式。随着时间的推移和探测的深入，α值不断接近1。这会强制达到观测点。一旦ASV到达观测点，α值就接近于0(比如0.0001)。这使得ASV继续进行探测。随着时间的推移，当α值的速度下降时，ASV返回到探测模式。α值的增加取决于超参数。超参数可以由用户来选择。其范围可以在1％至99％之间。优选的范围约为5％至15％。例如，10％的超参数会在每次访问观测点时更新图谱。该观测点的奖励降低到接近于0，使得其相对于当前观测点而更倾向于另一个观测点。可以重复该动作，直到观测了所有的观测点。在另一种情况下，一旦达到了下一个观测点，就可以为先前的观测点恢复奖励值。
因为可以定义许多观测点，因此该贪婪决策算法是有利的。可以利用具有不同重要性级别的不同观测点来对其进行概括。它可以包括优先级和风力图信息，以轻松生成值函数并使图谱更加智能。此外，还可以在ASV上运行并提供实时更新。
可以采用以下阶跃函数：
图8提供了调整为包括贪婪决策算法的决策819 AutoSoar系统的状态示意图。“前往观测”标签824只是直接移动到观测模式825。用户可以调整或选择探测模式826所消耗的时间量。用户可以调整或选择观测模式825所消耗的时间量。
1、以概率α，进入“前往观测”状态824。
2、一旦完成观测点825，就从观测状态转到决策状态819，并设置α＝0.001。
3、以概率1-α，进入“探测”状态826。
4、一侧“探测”状态下，按照AutoSoar探测方法的定义进行一次探测。当返回到决策状态819时，提高α＝α+0.1。
5、如果非常接近观测点，将会转到示意图中用5和6标记的观测825。
6、在仅移动一个单元后，回到决策状态819。
7、如果遇到热气流，则锁定该热气流829。
8、一旦完成锁定829，就回到决策状态819。
智能决策系统
该智能决策系统是早期方法的组合。在该算法中，该系统的动作受到飞行前定义的一组规则的影响。可以使用偏置算法来选择最佳动作，以使热气流的几率和观测行为最大化。该系统的动作可能会受到飞行前定义的一组规则的影响。
图9是用于智能决策算法119的机载系统的示意图。该算法结合了时间算法、贪婪算法和传感器读数，以探测环境中更理想的能源。对这些动作进行基于这样的优化，使得该系统针对观测点和历史已知能量源的行为最大化。利用前面优化中定义的偏置来以安全的方式高效地使利用最大化。
该算法可以评估传感器114的读数，并评估其值函数图。在一个实施方式中，如果认为原始图谱不够精确，则该算法可以配置为触发新的全局路径规划器序列。
该智能AI决策系统是在线决策系统。该系统可以是机载或非机载的。该算法利用输入信号来决定ASV的下一个路径点、倾斜角和速度。AI系统132首先检查133来自输入的读数，如果它们是任何不确定性或者读数不同于其值函数，则该AI系统会重新进行计算134并更新其环境值函数。
如果读数在该系统的值函数的可接受范围内，则该系统会生成观测图(比如值函数图)、不确定性图、能量、风力和滑翔图。然后，AI系统132利用飞行前定义的α因子来组合这些图谱。
还可以通过时间因子来修改观测图。时间因子是0到1之间的值。它在更新值函数图之前修改观测点的奖励。如果观测点被观测，则它的奖励就会降低。
由于组合了这些图谱，因此生成的图谱135偏向于能源、观测点、风向和ASV的航向。
然后，智能AI决策系统132计算行进到下一个点的轨迹和方向，并生成路径点116、倾斜角和速度。
强化学习(RL)代理决策系统
RL系统136类似于智能决策系统。图10是用于具有强化学习系统136的决策算法的机载系统的示意图。在该实施方式中，该系统利用信息基于决策来决定是访问观测点还是访问能量采集点。
可以对RL系统136进行训练或设计，以做出决策。一种训练方法是让RL代理在模拟环境中进行训练。可以通过人类的反馈或者将结果与其他系统的结果进行比较来进行评估。
还可以定义奖励函数来训练RL代理，该RL代理评估使用了多少能量、是否访问了观测点以及在它们上消耗的时间。RL系统还可以采用深度神经网络。RL系统根据输入信号、处理后的数据和随后的几个点来进行决策。
为了使说明简单明了，在认为合适的情况下，附图标记可以在附图中重复，以指示对应或类似的元件。此外，还阐述了许多具体细节，以便能全面地理解本发明所述的示例。然而，本领域的普通技术人员应当理解的是，在没有这些具体细节的情况下，也可以实施本发明所述的示例。在其他情况下，没有详细描述众所周知的方法、程序和组件，以免使本发明所述的示例变得晦涩难懂。此外，该描述不应被视为限制了本发明所述的示例的范围。
应当认识到的是，本发明所用的示例和相应的示意图仅用于说明目的。在不脱离本发明所述的原理的情况下，可以采用不同的配置和术语。例如，在不脱离这些原理的情况下，可以添加、删除和修改组件和模块，或者用不同的连接方式来设置这些组件和模块。
还应当认识到的是，本发明举例说明的执行指令的任何模块或组件可以包括或者以其他方式访问计算机可读介质，比如存储介质、计算机存储介质或者数据存储设备(可移动和/或不可移动)，例如磁盘、光盘或磁带。计算机存储介质可以包括以任何方法或技术实现的用于存储信息(比如：计算机可读指令、数据结构、程序模块或者其他数据)的易失性和非易失性、可移动和不可移动介质。计算机存储介质的示例包括RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能光盘(DVD)或其他光学存储介质、盒式磁带、磁带、磁盘存储设备或其他磁性存储设备或者可以用于存储所需信息且可以被应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是系统的一部分、任何组件或与之相关等，或者是可访问的或可与其连接。本发明所述的任何应用程序或模块可以采用计算机可读/可执行指令来实现，这些指令可以由这类计算机可读介质存储或以其他方式保存。
本发明所述的流程图和示意图中的步骤或操作仅是示例性的。在不脱离上述原理的情况下，这些步骤或操作可以有许多变化。例如，这些步骤可以以不同的顺序执行，或者可以添加、删除或修改步骤。
尽管已经结合某些特定的示例对上述原理进行了描述，但是其各种修改对于本领域的技术人员而言是显而易见的，如在所附权利要求书中所述。

Claims (6)

1.一种控制自动感应交通工具的系统，其特征在于，包括：
-所述自动感应交通工具的本地机载系统；
-非机载系统；
-位于所述自动感应交通工具上的至少一个传感器；
-自动驾驶指令系统；
其中所述本地机载系统从所述非机载系统、传感器和自动驾驶指令系统获得信息；并且
其中所述非机载系统包括决策算法以根据接收到的信息选择访问观测点或者访问能量采集点。
2.根据权利要求1所述的系统，其特征在于，所述自动感应交通工具是航空器，并且所述能量采集点是热气流。
3.根据权利要求1所述的系统，其特征在于，所述自动感应交通工具是水下交通工具，并且所述能量采集点是波流。
4.一种控制自动感应交通工具的方法，其特征在于，包括：
-生成对应于至少一个观测点的奖励图；
-生成值函数图；
-生成对应于至少一个能量采集点的概率图；
-通过组合所述价值函数图和所述概率图来生成组合图；
-基于所生成的组合图，做出访问所述观测点或者访问所述能量采集点的决策；以及
-向所述自动感应交通工具上的机载系统发送指令，以根据所述决策访问所述观测点或者访问所述能量采集点。
5.根据权利要求4所述的方法，其特征在于，生成所述值函数图的步骤包括：
-将感兴趣区域分割成网格；
-添加起点；以及
-为所述观测点分配正值。
6.根据权利要求5所述的方法，其特征在于，所述方法进一步包括以下步骤：
-为限制区域分配负值。
CN202180094725.XA 2020-12-23 2021-12-22 用于平衡自动感应交通工具的能源探测和观测时间的系统 Pending CN117136343A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063130308P 2020-12-23 2020-12-23
US63/130,308 2020-12-23
PCT/CA2021/051871 WO2022133605A1 (en) 2020-12-23 2021-12-22 System for balancing energy source exploration and observation time of autonomous sensing vehicles

Publications (1)

Publication Number Publication Date
CN117136343A true CN117136343A (zh) 2023-11-28

Family

ID=82157089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180094725.XA Pending CN117136343A (zh) 2020-12-23 2021-12-22 用于平衡自动感应交通工具的能源探测和观测时间的系统

Country Status (5)

Country Link
US (1) US20240038080A1 (zh)
EP (1) EP4268041A1 (zh)
CN (1) CN117136343A (zh)
CA (1) CA3202847A1 (zh)
WO (1) WO2022133605A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097868B (zh) * 2022-08-24 2022-11-22 深圳市瓴鹰智能科技有限公司 一种飞行控制方法及相关装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8935057B2 (en) * 2012-01-17 2015-01-13 LimnTech LLC Roadway mark data acquisition and analysis apparatus, systems, and methods
US10586464B2 (en) * 2015-07-29 2020-03-10 Warren F. LeBlanc Unmanned aerial vehicles
WO2018175349A1 (en) * 2017-03-19 2018-09-27 Zunum Aero, Inc. Hybrid-electric aircraft, and methods, apparatus and systems for facilitating same

Also Published As

Publication number Publication date
EP4268041A1 (en) 2023-11-01
WO2022133605A1 (en) 2022-06-30
US20240038080A1 (en) 2024-02-01
CA3202847A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
Yan et al. Towards real-time path planning through deep reinforcement learning for a UAV in dynamic environments
San Juan et al. Intelligent UAV map generation and discrete path planning for search and rescue operations
JP6357176B2 (ja) 移動経路設定装置、移動経路設定方法及び移動経路設定プログラム
CN107168380B (zh) 一种基于蚁群算法的无人机群区域覆盖的多步寻优方法
CN109655066A (zh) 一种基于Q(λ)算法的无人机路径规划方法
CN111950873B (zh) 基于深度强化学习的卫星实时引导任务规划方法及系统
US20130124089A1 (en) Spatiotemporal survivability data compression using objective oriented constraints
Yu et al. Probabilistic path planning for cooperative target tracking using aerial and ground vehicles
Maciel-Pearson et al. Online deep reinforcement learning for autonomous UAV navigation and exploration of outdoor environments
CN113342047A (zh) 未知环境中基于障碍物位置预测改进人工势场法的无人机路径规划方法
US20210325891A1 (en) Graph construction and execution ml techniques
Ru et al. Distributed cooperative search control method of multiple UAVs for moving target
Albert et al. UAV path planning using MILP with experiments
KR20160048530A (ko) 자율 이동 차량의 경로 생성 방법 및 경로 생성 장치
CN115060263A (zh) 一种考虑低空风和无人机能耗的航迹规划方法
CN113095504A (zh) 一种目标轨迹预测系统及预测方法
CN117136343A (zh) 用于平衡自动感应交通工具的能源探测和观测时间的系统
Kiam et al. An ai-based planning framework for HAPS in a time-varying environment
Yue et al. Reinforcement learning based approach for multi-UAV cooperative searching in unknown environments
Gao Autonomous soaring and surveillance in wind fields with an unmanned aerial vehicle
Wagner et al. An adaptive real time atmospheric prediction algorithm for entry vehicles
Yue et al. A new search scheme using multi‐bee‐colony elite learning method for unmanned aerial vehicles in unknown environments
Zhang et al. Route planning for unmanned air vehicles with multiple missions using an evolutionary algorithm
Menezes et al. An evaluation of stochastic model-dependent and model-independent glider flight management
Chen et al. Multi-objective monte-carlo tree search based aerial maneuvering control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination