CN117270561A - 基于无人机目标跟踪的赋予诸元方法和系统 - Google Patents

基于无人机目标跟踪的赋予诸元方法和系统 Download PDF

Info

Publication number
CN117270561A
CN117270561A CN202311276911.2A CN202311276911A CN117270561A CN 117270561 A CN117270561 A CN 117270561A CN 202311276911 A CN202311276911 A CN 202311276911A CN 117270561 A CN117270561 A CN 117270561A
Authority
CN
China
Prior art keywords
target
data
aerial vehicle
unmanned aerial
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311276911.2A
Other languages
English (en)
Other versions
CN117270561B (zh
Inventor
孙一鸣
文雪飞
张泽海
陈文璐
王顺科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Maoze Information Technology Co ltd
Original Assignee
Hunan Maoze Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Maoze Information Technology Co ltd filed Critical Hunan Maoze Information Technology Co ltd
Priority to CN202311276911.2A priority Critical patent/CN117270561B/zh
Publication of CN117270561A publication Critical patent/CN117270561A/zh
Application granted granted Critical
Publication of CN117270561B publication Critical patent/CN117270561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请涉及一种基于无人机目标跟踪的赋予诸元方法和系统，该方法包括：构建无线自适应网络；根据红外和RGB图像进行目标识别，基于数学模型计算目标；基于初始数据参数模型将目标位置参数转化为设备诸元，并实时传给用户终端；采用基于深度学习的轨迹预测算法进行轨迹预测，根据轨迹预测结果、既往轨迹、目标位置、性质和地形特征，构建实时可视化数据图，并生成目标重要性顺序；根据目标类型、可视化数据图以及目标重要性顺序进行资源调用以及路径规划；将数据传输指令和更新后的设备诸元发送至用户终端。本方法可以实现准确的目标跟踪，并对用户终端和控制终端进行准确的路径规划，可以保护现场设备及人员安全。

Description

基于无人机目标跟踪的赋予诸元方法和系统
技术领域
本申请涉及目标跟踪技术领域，特别是涉及一种基于无人机目标跟踪的赋予诸元方法和系统。
背景技术
当前基于无人机技术目标定位跟踪的主要方法有：一是通过模型训练的方式预测目标运动速度及方向，如四川中科朗星光电科技有限公司杨博等利用孪生神将网路及红外技术进行定位(CN202111490901.x)；二是通过传感器获得目标实时位置并预测目标运动方向及速度，如陆军工程大学王志平等利用激光测距机进行定位(一种无人机目标定位方法、装置、设备及介质CN202211364545.1)；三是借助卫星导航系统确定目标运动速度和方向，如哈尔滨理工大学李胜明等利用卫星遥感图像技术进行目标定位(CN201610709937.5)
目前基于无人机技术目标定位跟踪方法存在的主要问题：基于模型训练存在的主要问题：一是通过模型训练方式预测目标位置需要大量训练数据，数据不足或超过阈值可能导致判断失误，二是利用较多的数据进行训练使得目标跟踪过程中预测时间较长，导致不能连续跟踪，三是跟踪目标耗费较多计算资源，造成无人机控制平台计算需求超负荷。基于传感器预测存在的主要问题：一是新增的传感器增加了无人机负担，减少了无人机在空中续航时间，二是新增传感器也进一步增加了操控端数据处理的压力。三是增加了使用成本，对系统兼容性也提出了更高的要求。基于卫星导航技术存在的主要问题：卫星导航技术适用于大范围大空间低速目标侦查，对于山地隐蔽目标通过遥感图像可甄别能力较差，且卫星通信带宽较窄，传输文件大小有限，成本较高，不适合告诉移动目标跟踪。
发明内容
基于此，有必要针对上述技术问题，提供一种基于无人机目标跟踪的赋予诸元方法和系统。
一种基于无人机目标跟踪的赋予诸元方法，所述方法包括：
根据部署的若干个用于通信及探测的融合节点，构建无线自适应网络；
根据目标区域的目标红外图像、红外背景图像以及目标图像采用目标检测算法进行目标识别，确定目标类型；
根据无人机采用多种传感器实时采集的观测数据，基于数学模型计算目标位置和用户终端位置；
基于初始数据参数模型将目标位置参数转化为设备诸元，并实时传输至用户终端；
根据目标的既往轨迹和目标区域地形图采用基于深度学习的轨迹预测算法，得到多目标的轨迹预测结果；
根据轨迹预测结果、既往轨迹、目标位置、性质和目标区域地形图，构建实时的可视化数据图，并针对每个用户终端生成目标重要性顺序；
根据目标类型、可视化数据图以及目标重要性顺序基于增强学习算法进行资源调用以及路径规划；
根据变化的用户终端位置和目标位置对设备诸元进行更新，将数据传输指令和更新的设备诸元发送至用户终端；数据传输指令是根据可视化数据图、目标重要性顺序、目标类型、资源调用结果以及路径规划结果提供的。
一种基于无人机目标跟踪的赋予诸元系统，所述系统包括：观测平台、无人机、控制平台以及用户终端。
控制平台，用于根据地形特征及通信载荷需要设计通讯网络节点拓扑地图，将通讯网络节点拓扑地图发送至观测平台；还用于根据目标区域的目标红外图像、红外背景图像以及目标图像采用目标检测算法进行目标识别，确定目标类型；还用于根据无人机采用多种传感器实时采集的观测数据，基于数学模型计算目标位置；还用于基于初始数据参数模型将目标位置参数转化为设备诸元，并实时传输至用户终端；还用于根据既往轨迹和目标区域地形图采用基于深度学习的轨迹预测算法，得到多目标的轨迹预测结果；根据目标的轨迹预测结果、既往轨迹、目标位置、性质和目标区域地形图，构建实时的可视化数据图，并针对每个用户终端生成目标重要性顺序；根据目标类型、可视化数据图以及目标重要性顺序基于增强学习算法进行资源调用以及路径规划；根据变化的用户位置和目标位置对设备诸元进行更新，将数据传输指令和更新的设备诸元发送至用户终端；数据传输指令是根据可视化数据图、目标重要性顺序、目标类型、资源调用以及路径规划结果提供的；
观测平台，用于将接收的通讯网络节点拓扑地图传送至无人机，还用于将获取的无人机采集的目标区域的目标红外图像和拍摄的目标图像发送至控制平台；还用于将无人机采用多种传感器实时采集的观测数据传送至控制平台；
无人机，用于根据通讯网络节点拓扑地图采用携带或空投的方式布置用于通信及探测的融合节点；多个融合节点用于构建无线自适应网络；还用于采用多种传感器实时采集观测数据，并将观测数据发送至观测平台；观测数据是通过红外传感器和/或融合节点对目标进行跟踪的目标跟踪结果；
用户终端，用于根据接收的数据传输指令和设备诸元进行数据传输并进行位置转移。
上述基于无人机目标跟踪的赋予诸元方法和系统，所述方法包括：根据部署的若干个用于通信及探测的融合节点，构建无线自适应网络；根据目标区域的目标红外图像、红外背景图像以及目标图像采用目标检测算法进行目标识别，确定目标类型；根据无人机采用多种传感器实时采集的观测数据，基于数学模型计算目标位置；基于初始数据参数模型将目标位置参数转化为设备诸元，并实时传输至用户终端；根据既往轨迹以及目标区域地形图采用基于深度学习的轨迹预测算法，得到多目标的轨迹预测结果；根据轨迹预测结果、既往轨迹、目标位置、性质和目标区域地形图，构建实时的可视化数据图，并生成目标重要性顺序；根据目标类型、可视化数据图以及目标重要性顺序进行资源调用以及路径规划；根据变化的用户位置和目标位置对设备诸元进行更新，将数据传输指令和更新的设备诸元发送至用户终端。本方法可以实现准确的目标跟踪，并对用户终端和控制终端进行准确的路径规划，采用本方法为山区轨道桥梁建设中的现场交通管理中的人员和工程车辆的作业和移动提高准确的参考路径，可以保护现场设备及人员安全。
附图说明
图1为一个实施例中基于无人机目标跟踪的赋予诸元方法；
图2为另一个实施例中无人机多频分簇网络拓扑模型；
图3为另一个实施例中基于云-边-端逻辑的快速响应决策辅助框架；
图4为另一个实施例中基于数学模型的目标位置测定的示意图；
图5为另一个实施例中基于无人机目标跟踪的赋予诸元系统组成框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
为了保护现场设备及人员安全在山区轨道桥梁建设中的现场交通管理过程中采用本申请提出的基于无人机目标跟踪的赋予诸元方法。在山区轨道桥梁建设中的现场交通管理过程中，通过在山区轨道桥梁建设现场通过部署的若干个用于通信及探测的融合节点，构建无线自适应网络，控制平台根据目标区域的目标红外图像、红外背景图像以及目标图像采用目标检测算法进行目标识别，确定目标类型，通过无人机采集目标区域的观测数据，确定目标位置和用户终端(现场工作人员和工程车辆)的位置；控制平台基于初始数据参数模型将目标位置参数转化为设备诸元，并实时传输至用户终端。控制平台根据目标的既往轨迹和目标区域地形图采用基于深度学习的轨迹预测算法，得到多目标的轨迹预测结果，根据轨迹预测结果、既往轨迹、目标位置、性质和目标区域地形图，构建实时的可视化数据图，并针对每个用户终端生成目标重要性顺序，并根据目标类型、可视化数据图以及目标重要性顺序基于增强学习算法进行资源调用以及路径规划，根据变化的用户终端位置和目标位置对设备诸元进行更新，将数据传输指令和更新的设备诸元发送至用户终端；用户终端根据接收到的数据进行具体作业和发生位移。本方法可以实现准确的目标跟踪，并对用户终端和控制终端进行准确的路径规划，采用本方法为山区轨道桥梁建设中的现场交通管理中的人员和工程车辆的作业和移动提高准确的参考路径，可以保护现场设备及人员安全。
在一个实施例中，如图1所示，提供了一种基于无人机目标跟踪的赋予诸元方法，该方法包括以下步骤：
步骤100：根据部署的若干个用于通信及探测的融合节点，构建无线自适应网络。
具体的，建立局域专用通信信道：使用超距离无线局域网的主要考虑：工作地域环境缺少卫星通讯和移动通信基础条件，电台超短波通信不安全且设备笨重，不易操作。信息安全稳定准确至关重要。
未使用无人机一般通信的主要原因：本方法主要工作在陌生地域，无法借助移动蜂窝网络进行通信，此外，无人机采取的wlan网络容易造成信息传输不稳定，造成严重影响。
无人机多频分簇网络拓扑模型如图2所示。
步骤102：根据目标区域的目标红外图像、红外背景图像以及目标图像采用目标检测算法进行目标识别，确定目标类型。
步骤104：根据无人机采用多种传感器实时采集的观测数据，基于数学模型计算目标位置和用户终端位置。
具体的，无人机起飞后首先确定操控位置和用户终端位置。无人机操控位置通过卫星导航定位获得，用户终端位置为预设位置，由于用户终端位置被隐藏，无法通过成像方法定位获得，因此其工作方法为在用户终端位置建立与控制平台，无人机通信信道，在完成任务后或目标暴露后转进至备用位置，将转进信息发送至平台，平台将信息传送至观测平台，完成目标位置数据更换，从而保持对目标位置跟踪。
目标位置确定，多目标位置确定的主要步骤(如何发现目标)：一是核准控制终端识别，确定目标位置：首先对目标位置信息存入控制平台，控制终端的工作人员携带定位设备使控制终端位置信息实时传送至控制平台。二是基于红外信息特征的目标搜索，首先对范围内所有红外目标进行标定，而后过滤控制终端位置，将相关目标成像发送至控制平台，由操控人员判定，根据判定结果，通过半监督机器学习方法优化目标搜索，逐步较少目标判定错误率。
步骤106：基于初始数据参数模型将目标位置参数转化为设备诸元，并实时传输至用户终端。
具体的，用户终端包括：配备通讯设备的交通现场的人员、车辆、工程车辆等。
设备诸元是指为完成技术工程需要，将数据中的位置，距离，方向以及环境参数转译为可以用于设备操作的特定参数。
步骤108：根据目标的既往轨迹和目标区域地形图采用基于深度学习的轨迹预测算法，得到多目标的轨迹预测结果。
具体的，目标区域地形地图储存在操控端。具体步骤为：
(1)根据工作地域，将计划使用的1:5万、1:10万地图加载到无人机工作平台中，其具体工作方法为：在观测平台工作后，根据平台坐标位置计算在无人机飞行半径内的地幅。
(2)无人机起飞后对飞行位置进行测试，适配无人机坐标位置与图上位置是否一致，若相同则进行下一步工作，若存在差异则人工修正误差。
跟踪目标并实时反馈至用户终端和控制平台。以图像锁定目标后，刻画目标红外特征将目标抽象化并进行跟踪，而后跟踪下一目标，从而减少资源消耗。根据新数据报送至控制平台，将修正后数据传送至用户终端。
通过地面激光雷达(基于无人机空投的融合节点)，无人机红外跟踪，单兵地面雷达，跟踪目标并实时反馈至用户终端和控制平台。以图像锁定目标后，刻画目标红外特征将目标抽象化并进行跟踪，而后跟踪下一目标，从而减少资源消耗。根据新数据报送至控制平台，将修正后数据实时传送至用户终端。
步骤110：根据轨迹预测结果、既往轨迹、目标位置、性质和目标区域地形图，构建实时的可视化数据图，并针对每个用户终端生成目标重要性顺序。
具体的，无人机测定目标位置信息后，控制平台采集风向、温度、湿度，计算用户终端与目标位置方向角，直线距离，海拔差。(其中，部分设备还需要计算直线距离内遮蔽物高度，求解合理行程)，根据数据参数模型计算行程和方向。其中计算的预计目标位置应包括影响半径、误差半径、设备飞行时间，并且识别所有控制终端应位于影响半径和误差半径以外，为此需要对预计的目标进行偏移。
获得上述数据后，将数据传送至控制平台，基于用户使用数据参数模型、将相关参数传输至用户终端，用户终端进入待机状态。构建的目标区域的数据可视化图如图3所示。
步骤112：根据目标类型、可视化数据图以及目标重要性顺序基于增强学习算法进行资源调用以及路径规划。
具体的，资源是指为控制终端、用户终端提供的一切便利，包括数据信息，计算算力及其他实体帮助(比如为工程机械提供油料、物资等)。其中，控制终端是无人机及其他设备的操作人员、探测设备。
步骤114：根据变化的用户终端位置和目标位置对设备诸元进行更新，将数据传输指令和更新的设备诸元发送至用户终端；数据传输指令是根据可视化数据图、目标重要性顺序、目标类型、资源调用结果以及路径规划结果提供的。
本方法可以但不限于采用云-边-端协同的方式对数据获取、数据处理和计算资源进行部署。在端部分主要是用于数据采集的传感器，包括红外传感器、雷达传感器、图像传感器、视频传感器。根据实际计算资源以及模型对计算资源的需求，将计算量小、需要计算资源少的模型(数据归一化处理、目标检测算法、基于深度学习的轨迹预测算法)部署在或边部分完成，将算法计算量大、所需计算资源大的模型(如：构建通信拓扑地图的模型、构建实时的可视化数据图和生成目标重要性顺序)部署在云部分进行计算。
云-边-端协同方式解决的主要问题：数据归一化以及算力统筹。数据归一化是指对各种传感器获得的数据首先进行数据清洗，将数据中存在的噪点以一定阈值下合理调整。而后将目标图像、红外、视频、雷达数据转换为带有目标性质的地图坐标数据并使用统一的坐标体系(其中雷达需要从极坐标转换为直角坐标)，最终形成标准数据集。
算力统筹是指尽管基于不同目的对数据采用不同的算法模型，但通过合并流程的方式简化流程从而提高运算效率。具体实现方式是：一是通信拓扑地图和可视化数据图、优先级均使用哈里斯鹰HHO算法，因此通信拓扑地图形成的数据模型可以作为可视化数据图的预训练模型。目标检测使用的YOLO算法模型成果为RNN+LSTM轨迹预测提供条件，并最终影响设备诸元的测定以及可视化数据图的形成。
上述基于无人机目标跟踪的赋予诸元方法中，所述方法包括：根据部署的若干个用于通信及探测的融合节点，构建无线自适应网络；根据目标区域的目标红外图像、红外背景图像以及目标图像采用目标检测算法进行目标识别，确定目标类型；根据无人机采用多种传感器实时采集的观测数据，基于数学模型计算目标位置；基于初始数据参数模型将目标位置参数转化为设备诸元，并实时传输至用户终端；根据既往轨迹以及目标区域地形图采用基于深度学习的轨迹预测算法，得到多目标的轨迹预测结果；根据轨迹预测结果、既往轨迹、目标位置、性质和目标区域地形图，构建实时的可视化数据图，并生成目标重要性顺序；根据目标类型、可视化数据图以及目标重要性顺序进行资源调用以及路径规划；根据变化的用户位置和目标位置对设备诸元进行更新，将数据传输指令和更新的设备诸元发送至用户终端。本方法可以实现准确的目标跟踪，并对用户终端和控制终端进行准确的路径规划，采用本方法为山区轨道桥梁建设中的现场交通管理中的人员和工程车辆的作业和移动提高准确的参考路径，可以保护现场设备及人员安全。
在其中一个实施例中，方法还包括：用户终端根据接收的数据传输指令和设备诸元进行操作并发生位移；完成操作后，评估操作结果，控制平台根据得到评估结果进行修正操作，并通过改进后的神经网络算法修正数据参数模型。
具体的，用户终端在接收控制平台数据传输指令后，根据实时更新的诸元进行射击，通过观测平台对炸点进行观测，并及时修正参数偏差，为下一次射击做好准备。
数据传输结束后，应完成误差分析，由于人为因素造成的传输误差不再更正，其他原因则修正参数，为下一次数据传输做好准备。
在其中一个实施例中，步骤100包括：根据地形特征及通信载荷需要采用哈里斯鹰算法设计通讯网络节点拓扑地图；根据通讯网络节点拓扑地图通过地面单位携带、无人机空投方式在部署用于通信及探测的融合节点；控制平台根据通信载荷、剩余电量以及工作状态采用动态分簇算法，构建初始簇头和节点，组成初始自适应网络；当对方目标位置发生变化，导致用户终端超出通信范围或对方超出探测范围时：则由平台重新分配通信载荷以其他融合节点暂时接替工作并由无人机携带新的融合节点重新组网；当控制终端或用户终端发生位移而导致各节点通信载荷发生变化或超出通信范围时：则由平台重新分配通信载荷以其他融合节点暂时接替工作并由重新分配通信载荷或由无人机携带新的融合节点重新组网；当融合节点受到破坏而无法正常工作时：则由平台重新分配通信载荷以其他融合节点暂时接替工作并由重新分配通信载荷或由无人机携带新的融合节点重新组网；当融合节点通信量发生变化而超出载荷上限时：由无人机携带通信节点增强并重新分配通信载荷。
具体的，通过空地协同的方式建立分布式网络从而确保网络的稳定性与安全性，具体操作方式为：根据地形及工作需要搭建多频分簇网络拓扑模型，通过地面单位携带，空投(采用降落伞、气囊缓冲，外减震结构等着陆技术)等方式在预定位置布设网络节点(基于融合节点)。由于各使用单位处于实时动态状态，因此各网络节点采用动态分簇算法依据通信载荷、剩余电量、工作状态综合确定簇头，并根据需要进一步补充网络节点。
通信安全策略：物理层上，通过检测信息节点入侵情况，如设备被物理劫持则立即停止工作，并启动自毁程序防止通信被窃取；链路层和网络层上，采用基于入侵容忍路由协议(TIARA)以减少DDoS攻击的影响。
网络拓扑设计中需要满足的条件：
A、相关节点间的距离应小于节点通信的最大稳定网络距离；
B、单一节点预计网络载荷应小于其最大承载能力，并存在足够的备份冗余；
C、节点设计应考虑地形环境对电磁造成的客观影响，即电磁信号传播的方向性要求；
D、使用最少的网络节点；
E、尽量避免将节点部署在运动目标路径上
F、各端口在使用过程中发生位移，需要预设延伸节点或调整节点通信载荷。
为解决上述问题，使用哈里斯鹰优化算法HHO求解网络拓扑结构，其具体步骤为：
A、搜索阶段
设置环境变量(种群数量、最大迭代次数、环境限制条件)，并确定搜索策略
B、搜索与开发转换阶段
将控制终端、无人机及操控端位置设置为目标位置，并设置逃逸能量E＝2E0(1-t/tmax),其中E0为初始能量，t为迭代次数，根据E确定是否进入开发阶段
C、开发阶段
根据E和r在[0,1]的值，分别测试四种HHO策略效果，并进行性能测试。
当|E|≥0.5，r≥0.5时：
Xrabbit(t+1)＝X(t)-X(t)-E|J？Xrabbit(t)-X(t)|
当|E|<0.5，r≥0.5时：
X(t+1)＝Xrabbit(t)-E|Xrabbit(t)-X(t)|
当|E|>0.5，r<0.5时：
Y＝Xrabbit(t)-E|J·Xrabbit(t)-X(t)|
Z＝Y+S·LF(D)
其中，D为空间维度，S是一个1×D的随机向量，
当|E|<0.5，r<0.5时
Z＝Y+S·LF(D)
Y＝Xrabbit(t)-E|J·Xrabbit(t)-X(t)|
D、动态改进阶段，当存在以下条件之一时，应重新启动HHO算法获得新的节点，或重新分配载荷。
当目标位置超过Xrand(目标范围)时；
单一节点载荷超过需求时；
某节点无法正常工作时。
在其中一个实施例中，步骤102包括：通过无人机获取目标区域的多张目标红外图像，在控制平台将目标红外图像与红外背景图像进行背景抑制，将背景抑制后突出的红外特征点根据信噪比结果发送至无人机采集目标图像；红外背景图像是预先获取的不同时间目标区域的红外背景图像；根据背景抑制后的红外图像和无人机拍摄的目标区域的目标图像采用基于云-边-端协同的基于自监督学习的YOLO算法进行目标识别，确定目标类型；云-边-端协同的基于自监督学习的YOLO算法具体步骤包括：在背景抑制后的红外图像和目标区域的目标图像输入YOLO算法之前，由控制平台根据无人机拍摄的目标区域的目标图像划分网格并确定边界框张量，YOLO算法获得图像及边界框后，在云端确定目标置信度完备张量，剔除置信度低于阈值的窗口，输入CNN进行计算；图片上传至云端后，控制平台将多余图片删除，降低存储压力。
具体的，基于深度学习的目标识别相关技术已经十分成熟，本实施例与其他技术的区别在于通过部署在云-边-端协同集群的方式进行检测，将初始化模型参数更加准确，从而提高其响应速度和精度。
基于云-边-端逻辑的快速响应决策辅助框架如图3所示。数据进入操控端后，首先将数据存储在边缘容器，利用设备自有计算能力对响应要求高，算力要求低的需求进行处理，对于响应要求低，算力要求高的需求调度至云计算集成存储平台，由云处理器平台完成计算后反馈至应用端口，同时云处理器平台将调参结果反馈至所有边缘容器，从而进一步提高算法模型的正确率。应用端口收到云处理器平台运算结果后反馈至操控端、用户终端及控制终端，完成任务需求。
本技术区别于其他技术的一点在于，为了平衡检测速度和精度，将目标类向量分级处理，比如，首先判定目标是人员、车辆、飞行器等。然后确定目标的具体性质，从而提高检测速度。在云-边-端协同中，边缘计算只负责第一类别识别，其他子科目类型识别由云端完成。
在其中一个实施例中，步骤104包括：无人机采用多种传感器进行实时观测，并采集观测数据发送至控制平台；在控制平台以无人机操作位置或起飞位置为坐标原点，构建OXYZ坐标系；以无人机控制滞留位置点为球心，以无人机控制滞留位置点到目标位置点的距离为半径，构建球体坐标方程为：
[X-OB'sin(α-90°)]2+[Y-OB'sin(α-90°)]2+[Z-BB']2＝AB
其中，(X,Y,Z)为球面上点的坐标，AB为无人机控制滞留位置点B和目标位置点A之间的距离，α为Z轴负向顺时针到OB'的角度，OB为坐标原点到无人机控制滞留位置点B的距离，B'为无人机控制滞留位置点B到XZ面的投影点，sin(α-90°)＝XB/OB，XB为过B点与X轴平行，到YOZ平面的一条线段，cos(α-90°)＝YB/OB，YB为过B点与Z轴平行，到XOY平面的一条线段。
构建经过无人机控制滞留位置点的一条直线方程为：
tan∠A'B'X'*[X-OBsin(α-90°)]+[Y-OBcos(α-90°)]+tan∠X'BA[Z-OBsin(α-90°)]＝0
其中，tan∠A'B'X'为A'B'与过B'点与X轴平行的夹角，tan∠X'BA为过B点与XOZ平行的平面与BA形成的夹角，A'为目标位置点A到XZ面的投影点，X'为X轴的平行线。
根据球体坐标方程和直线方程进行求解，得到两个交点；根据两个交点、Y轴实际坐标及与坐标原点O的距离，得到目标位置点的坐标。
具体的，基于数学模型的目标位置测定的原理示意图如图4所示，图中坐标原点为无人机操作位置或起飞位置，B点为无人机空中滞留位置，A点为目标位置或用户位置。具体的步骤包括：
1)取得B点的坐标位置
∠YOB＝α-90°根据实际情况OB、BB’已知(B’为B点在XZ平面上的投影)
则sin(α-90°)＝XB/OB XB＝OB*sin(α-90°)
cos(α-90°)＝YB/OB YB＝OB*cos(α-90°)
∴B点的三维坐标为[OB sin(α-90°),OB cos(α-90°),BB’]
2)取得A点的坐标位置
已知∠ZB’A’∠X’BA AB(A’为A点在XZ平面上的投影，X’为X轴的平行线)
(1)设以B为圆心，以AB为半径的球坐标方程为：
[X-OB sin(α-90°)]2+[Y-OBcos(α-90°)]2+[Z-BB’]2＝AB
(2)设经过B点的一条直线方程为
tan∠A’B’X’*[X-OBsin(α-90°)]+[Y-OBcos(α-90°)]+tan∠X’BA[Z-OBsin(α-90°)]＝0
将上述两式联立，可求出两个交点，根据Y轴实际坐标及与0点距离可得出目标位置。
在其中一个实施例中，步骤106包括：采集目标区域的风向、温度以及湿度；通过无人机测定的目标位置信息，并通过无人机计算用户终端与目标位置方向角、直线距离、海拔差以及直线距离内遮蔽物高度；根据用户使用数据参数模型、风向、温度、湿度、用户终端与目标位置方向角、直线距离、海拔差、控制终端目标位置以及直线距离内遮蔽物高度，计算数据模型参数，并传输至用户终端；当控制终端或目标位置发生变化时，更新设备诸元数据。
需要说明的是，对于运动目标的设备诸元是根据目标运动方向上下一运动时刻位置生成的设备诸元，而下一时刻是指用户终端完成工作准备和行程所用时间的总和，部分数据依托轨迹预测获得，从而实现两个部分的数据互通；此外，控制终端位置，地形因素同样对设备诸元造成影响，当控制终端位置靠近投射范围时，应调整诸元避免受到目标影响；同时，较大坡度地形会导致目标影响不可控因此应限制在反斜面区域工作。
在其中一个实施例中，步骤108包括：通过无人机红外传感器对已识别目标进行跟踪，将跟踪轨迹叠加在目标区域地形图上获得其连续准确坐标，构建数据集和测试集；将数据集输入马尔科夫链，并确定目标运动状态的概率；根据目标类型设置目标运动速度的初始参数；根据当前目标运动状态的数据集采用基于云-边-端协同的RNN+LSTM模型进行多目标运动轨迹预测，得到多目标的轨迹预测结果；将获得的预测结果与多传感器跟踪结果进行对比，根据误差调整模型参数，并在达到预设准确度后将单一目标轨迹预测参数放入云端，以便后续使用。
具体的，本实施例对目标运动轨迹与一般预测存在以下区别：一是目标运动轨迹受地形影响较大，不同目标类型受地形影响程度不同；二是目标存在于三维空间中，且坐标高程变化明显；三是目标运动连续性较强，且存在一定程度上的状态转换，符合马尔科夫链的逻辑规律。
因此首先通过马尔科夫链确定目标运动状态，而后通过LSTM确定目标运动的具体方向，预测中添加地形作为约束和权重条件，从而提高预测精度。
其具体步骤为：
(1)对地形及目标信息进行编码。首先依据目标性质(人员、地面物体，空中物体)对其速度进行初始化定义，赋予其一定的初始化速度，而后将目标范围内的地形定义为不同的数据点，目标经过不同的数据点时根据目标性质被施加不同的运动速度权重；
A、通过无人机红外传感器对已识别目标进行跟踪，将跟踪轨迹叠加在地图上获得其连续准确坐标，构建数据集和测试集；
B、将数据集输入马尔科夫链，并确定其状态概率；
C、设置输入层，隐含层和输出层；输入门，遗忘门，输出门参数；
D、根据当前状态将数据坐标集输入LSTM，并给出初始权重；其中，初始权重受到目标性质、地形条件、前一时刻运动方向等条件限制：具体来说一是根据目标性质和地形判断，车辆目标爬坡角度通常不超过30°，因此车辆在30°陡坡附近将限制行动，依托公路将提高其运动速度。人体目标对陡崖、深水附近运动存在限制，因此每个目标获得的运动方向和范围是不规则的。二是根据目标既往运动方向判断，基于卷积神经网络判断目标运动方向，前一时序运动方向会增加目标向该方向运动的可能性；前一时序运动速度对下一运动速度存在影响；
E、通过反向传播算法对LSTM权重进行优化；
F、利用测试集对LSTM模型进行测试，达到拟合要求后终止训练。
传统的LSTM轨迹预测存在的主要问题及本模型解决方法：
(1)在不同地形条件下预测误差偏大的主要原因在于，依托上一时刻地形条件下目标运动速度来预测目标运动下一时刻速度时，其平滑曲线未能将地形因素考虑在内，比如：运动目标上一时刻在平坦地面运动，但下一时刻在陡坡运动时仍按照平坦运动速度预测就会造成预测误差。因此通过地形数据权重干预可以进一步增强预测准确性。(2)传统的目标运动轨迹预测较为依赖初始数据，第一时刻LSTM的赋值通常为0，因此需要测定较多的历史数据进行预测，但本模型中，目标性质已经在上一过程确定，因此其运动速度可根据系统存储的历史数据进行干预，从而更快获得目标运动速度。
云-边-端协同在多目标轨迹预测中主要有以下作用：一是同一大范围工作区域内同类型目标的历史运动数据和地形信息对模型初始权重造成影响；二是在获得目标性质位置后，控制平台向云端发出计算请求，云端根据输入数据完成计算后，将模型调参同步到控制平台，从而降低控制平台的计算压力。
在其中一个实施例中，步骤110包括：根据轨迹预测结果、既往轨迹，将不同目标标定在目标区域地形图上，并根据目标类型对应的目标性质给出该目标的影响范围，在添加限制条件后，将目标影响范围边界点标定在地图上，形成范围坐标矩阵；通过目标类型和目标运动行为推测该目标的速度，根据目标类型推测目标参数；给目标的能力性质赋予初始权重；目标重要性是通过地面探测设备通过无线信号获得，通过分析无线信号频次确定目标权重，并根据目标权重标定多目标可视化数据图；将初始权重输入基于云-边-端协同的增强学习算法进行训练，获得初始目标可视化数据图后人工矫正，由增强学习算法调整权重参数并获得实时的可视化数据图，并针对每一个用户终端生成目标重要性顺序。
具体的，通过目标观察，将目标使用装备拍摄图像传送到控制平台；控制平台基于图像识别技术判断目标的类型，并判断目标的影响范围和移动速度，与控制终端距离，综合判断可能带来的影响；构建实时的可视化数据图，建立近及远的目标重要性顺序。并将可视化数据图共享至所有控制终端。
可视化数据图不同于目标运动态势，主要完成两项工作：一是根据目标性质判断其影响影响范围，其图像为面向控制终端的扇形图像，基本不受地形影响。二是构建可视化数据图，不同的对方目标对于不同的控制终端其重要程度不同，因此，对于不同操控终端的重要程度不同，呈现的排序不同。
需要说明的是，构建可视化数据图后，系统会规划出控制终端和用户终端在不同目标间最佳运动路径。
对于构建可视化数据图，首先对目标要素进行分解，首先确定目标类型和距离，目标类型根据目标识别获得，目标实时距离根据无人机及地面观测设备数据获得。而后通过目标类型和目标运动行为推测其机动速度，根据目标类型推测其影响范围。而后设置各目标要素的初始权重输入BP神经网络进行训练，获得初始目标可视化数据图后人工矫正，由BP调整权重参数并获得合理的可视化数据图及各控制终端独立的目标重要性顺序。
基于神经网络(BP)构建可视化数据图的具体步骤为：
A、确定目标影响范围：将不同目标标定在地图上，并根据目标性质给出其影响范围，受地形影响，目标影响范围并非圆形，而是根据地形而变化，因此添加限制条件后，将目标影响范围边界点标定在地图上，形成范围坐标矩阵。
B、添加权重，根据目标的特性赋予权重；
C、将数据集放入BP模型进行训练，并获得初始可视化数据图，并修正。
D、根据全局情况和局部情况，分别目标，并根据各控制终端请求提供资源。
在其中一个实施例中，步骤112包括：根据目标类型和可视化数据图采用增强学习算法确定通信调度、资源调用；其中增强学习算法是基于双方策略的递归博弈获得的；根据可视化数据图、目标重要性顺序以及目标类型采用哈里斯鹰算法+经验图算法进行路径规划。
具体的，对于调度问题，基于训练后的数据可视化图，通过BP神经网络，主要解决两个问题，一是通信调度问题，对目标探测中，采取无人机红外跟踪＞地面雷达＞融合节点的方式，对一个目标跟踪通常使用不超过两种方式，但当一种传感器失效时，新的跟踪手段应予以补充保证目标连续性，因此需要通过调度算法调度最近的传感器以保持工作连续性。二是资源问题，根据已求解的数据可视化图、路径及各终端需求，附加权重计算提供资源支持的优先级，并确保其相对可行性。
基于HHO+经验图算法的数据传输路径规划本质上与通讯网络节点拓扑地图设计采用的方法相同，其区别在于受地形影响的作用不同，HHO在搜索阶段设置环境变量时将地形影响进一步利用了既有路径，提高在通路的权重，同时增加了数据可视化图对道路的影响，从而提高算法的收敛速度。
对于数据传输路径规划问题，除了HHO+经验图算法以外，还可以通过基于动态的深度神经网络(DNN，Deep Neural Network)的经验图算法Experience Graph(Experience-based)进行求解，由于地形影响首先在加载图像中设置多个道路段并将其连接，而后根据可视化数据图通过DNN获得路径及安全性权重下推荐求解后的多个路径方案并排序，由操控端选择。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于无人机目标跟踪的赋予诸元系统，系统包括：观测平台700、无人机701、控制平台702以及用户终端703；
控制平台702，用于根据地形特征及通信载荷需要设计通讯网络节点拓扑地图，将通讯网络节点拓扑地图发送至观测平台700；还用于根据目标区域的目标红外图像、红外背景图像以及目标图像采用目标检测算法进行目标识别，确定目标类型；还用于根据无人机701采用多种传感器实时采集的观测数据，基于数学模型计算目标位置；还用于基于初始数据参数模型将目标位置参数转化为设备诸元，并实时传输至用户终端703；还用于根据既往轨迹和目标区域地形图采用基于深度学习的轨迹预测算法，得到多目标的轨迹预测结果；根据目标的轨迹预测结果、既往轨迹、目标位置、性质和目标区域地形图，构建实时的可视化数据图，并针对每个用户终端703生成目标重要性顺序；根据目标类型、可视化数据图以及目标重要性顺序基于增强学习算法进行资源调用以及路径规划；根据变化的用户位置和目标位置对设备诸元进行更新，将数据传输指令和更新的设备诸元发送至用户终端703；数据传输指令是根据可视化数据图、目标重要性顺序、目标类型、资源调用以及路径规划结果提供的；
观测平台700，用于将接收的通讯网络节点拓扑地图传送至无人机701，还用于将获取的无人机701采集的目标区域的目标红外图像和拍摄的目标图像发送至控制平台702；还用于将无人机701采用多种传感器实时采集的观测数据传送至控制平台702；
无人机701，用于根据通讯网络节点拓扑地图采用携带或空投的方式布置用于通信及探测的融合节点；多个融合节点用于构建无线自适应网络；还用于采用多种传感器实时采集观测数据，并将观测数据发送至观测平台700；观测数据是通过红外传感器和/或融合节点对目标进行跟踪的目标跟踪结果；
用户终端703，用于根据接收的数据传输指令和设备诸元进行数据传输并进行位置转移，还用于发送资源调用请求至控制平台702。
控制终端根据接收的控制平台发送的路径规划结果和资源调用发生位移。同时将自身位置传输至控制平台702，还发送资源调用请求值控制平台702。
关于基于无人机目标跟踪的赋予诸元系统的具体限定可以参见上文中对于基于无人机目标跟踪的赋予诸元方法的限定，在此不再赘述。上述基于无人机目标跟踪的赋予诸元系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于无人机目标跟踪的赋予诸元方法，其特征在于，所述方法包括：
根据部署的若干个用于通信及探测的融合节点，构建无线自适应网络；
根据目标区域的目标红外图像、红外背景图像以及目标图像采用目标检测算法进行目标识别，确定目标类型；
根据无人机采用多种传感器实时采集的观测数据，基于数学模型计算目标位置和用户终端位置；
基于初始数据参数模型将目标位置参数转化为设备诸元，并实时传输至用户终端；
根据目标的既往轨迹和目标区域地形图采用基于深度学习的轨迹预测算法，得到多目标的轨迹预测结果；
根据所述轨迹预测结果、既往轨迹、目标位置、性质和所述目标区域地形图，构建实时的可视化数据图，并针对每个用户终端生成目标重要性顺序；
根据所述目标类型、所述可视化数据图以及所述目标重要性顺序基于增强学习算法进行资源调用以及路径规划；
根据变化的用户终端位置和目标位置对所述设备诸元进行更新，将数据传输指令和更新的设备诸元发送至用户终端；所述数据传输指令是根据可视化数据图、目标重要性顺序、目标类型、资源调用结果以及路径规划结果提供的。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
用户终端根据接收的所述数据传输指令和设备诸元进行操作并发生位移；
完成操作后，评估操作结果，控制平台根据得到评估结果进行修正操作，并通过改进后的神经网络算法修正数据参数模型。
3.根据权利要求1所述的方法，其特征在于，根据部署的若干个用于通信及探测的融合节点，构建无线自适应网络，包括：
根据地形特征及通信载荷需要采用哈里斯鹰算法设计通讯网络节点拓扑地图；
根据所述通讯网络节点拓扑地图通过地面单位携带、无人机空投方式在部署用于通信及探测的融合节点；
控制平台根据通信载荷、剩余电量以及工作状态采用动态分簇算法，构建初始簇头和节点，组成初始自适应网络；
当对方目标位置发生变化，导致用户终端超出通信范围或对方超出探测范围时：则由平台重新分配通信载荷以其他融合节点暂时接替工作并由无人机携带新的融合节点重新组网；
当控制终端或用户终端发生位移而导致各节点通信载荷发生变化或超出通信范围时：则由平台重新分配通信载荷以其他融合节点暂时接替工作并由重新分配通信载荷或由无人机携带新的融合节点重新组网；
当融合节点受到破坏而无法正常工作时：则由平台重新分配通信载荷以其他融合节点暂时接替工作并由重新分配通信载荷或由无人机携带新的融合节点重新组网；
当融合节点通信量发生变化而超出载荷上限时：由无人机携带通信节点增强并重新分配通信载荷。
4.根据权利要求1所述的方法，其特征在于，根据目标区域的目标红外图像、红外背景图像以及目标图像采用目标检测算法进行目标识别，确定目标类型，包括：
通过无人机获取目标区域的多张目标红外图像，在控制平台将目标红外图像与红外背景图像进行背景抑制，将背景抑制后突出的红外特征点根据信噪比结果发送至无人机采集目标图像；所述红外背景图像是预先获取的不同时间目标区域的红外背景图像；
根据背景抑制后的红外图像和无人机拍摄的目标区域的目标图像采用基于云-边-端协同的基于自监督学习的YOLO算法进行目标识别，确定目标类型；所述云-边-端协同的基于自监督学习的YOLO算法具体步骤包括：
在背景抑制后的红外图像和目标区域的目标图像输入YOLO算法之前，由控制平台根据无人机拍摄的目标区域的目标图像划分网格并确定边界框张量，YOLO算法获得图像及边界框后，在云端确定目标置信度完备张量，剔除置信度低于阈值的窗口，输入CNN进行计算；
图片上传至云端后，控制平台将多余图片删除，降低存储压力。
5.根据权利要求1所述的方法，其特征在于，根据无人机采用多种传感器实时采集的观测数据，基于数学模型计算目标位置，包括：
无人机采用多种传感器进行实时观测，并采集观测数据发送至控制平台；
在控制平台以无人机操作位置或起飞位置为坐标原点，构建OXYZ坐标系；
以无人机控制滞留位置点为球心，以无人机控制滞留位置点到目标位置点的距离为半径，构建球体坐标方程为：
[X-OB'sin(α-90°)]2+[Y-OB'sin(α-90°)]2+[Z-BB']2＝AB其中，(X,Y,Z)为球面上点的坐标，AB为无人机控制滞留位置点B和目标位置点A之间的距离，α为Z轴负向顺时针到OB'的角度，OB为坐标原点到无人机控制滞留位置点B的距离，B'为无人机控制滞留位置点B到XZ面的投影点，sin(α-90°)＝XB/OB，XB为过B点与X轴平行，到YOZ平面的一条线段，cos(α-90°)＝YB/OB，YB为过B点与Z轴平行，到XOY平面的一条线段；
构建经过无人机控制滞留位置点的一条直线方程为：
tan∠A'B'X'*[X-OBsin(α-90°)]+[Y-OBcos(α-90°)]+tan∠X'BA[Z-OBsin(α-90°)]＝0其中，tan∠A'B'X'为A'B'与过B'点与X轴平行的夹角，tan∠X'BA为过B点与XOZ平行的平面与BA形成的夹角，A'为目标位置点A到XZ面的投影点，X'为X轴的平行线；
根据所述球体坐标方程和所述直线方程进行求解，得到两个交点；
根据两个交点、Y轴实际坐标及与坐标原点O的距离，得到目标位置点的坐标。
6.根据权利要求1所述的方法，其特征在于，基于初始数据参数模型将目标位置参数转化为设备诸元，并实时传输至用户终端，包括：
采集目标区域的风向、温度以及湿度；
通过无人机测定的目标位置信息，并通过无人机计算用户终端与目标位置方向角、直线距离、海拔差以及直线距离内遮蔽物高度；
根据用户使用数据参数模型、所述风向、所述温度、所述湿度、所述用户终端与目标位置方向角、所述直线距离、所述海拔差、控制终端位置以及直线距离内遮蔽物高度，计算数据模型参数，并传输至用户终端；
当控制终端或目标位置发生变化时，更新设备诸元数据。
7.根据权利要求1所述的方法，其特征在于，根据目标的既往轨迹和目标区域地形图采用基于深度学习的轨迹预测算法，得到多目标的轨迹预测结果，包括：
通过无人机红外传感器对已识别目标进行跟踪，将跟踪轨迹叠加在目标区域地形图上获得其连续准确坐标，构建数据集和测试集；
将所述数据集输入马尔科夫链，并确定目标运动状态的概率；
根据所述目标类型设置目标运动速度的初始参数；
根据当前目标运动状态的数据集采用基于云-边-端协同的RNN+LSTM模型进行多目标运动轨迹预测，得到多目标的轨迹预测结果；
将获得的预测结果与多传感器跟踪结果进行对比，根据误差调整模型参数，并在达到预设准确度后将单一目标轨迹预测参数放入云端，以便后续使用。
8.根据权利要求1所述的方法，其特征在于，根据所述轨迹预测结果、既往轨迹、目标位置、性质和所述目标区域地形图，构建实时的可视化数据图，并针对每一个用户终端生成目标重要性顺序，包括：
根据所述轨迹预测结果、既往轨迹，将不同目标标定在目标区域地形图上，并根据所述目标类型对应的目标性质给出该目标的影响范围，在添加限制条件后，将目标影响范围边界点标定在地图上，形成范围坐标矩阵；
通过目标类型和目标运动行为推测该目标的速度，根据目标类型推测目标参数；
基于目标的能力性质赋予初始权重；所述目标重要性是通过地面探测设备通过无线信号获得，通过分析无线信号频次确定目标权重，并根据目标权重标定多目标可视化数据图；
将所述初始权重输入基于云-边-端协同的增强学习算法进行训练，获得初始目标可视化数据图后人工矫正，由增强学习算法调整权重参数并获得实时的可视化数据图，并针对每一个用户终端生成目标重要性顺序。
9.根据权利要求1所述的方法，其特征在于，根据所述目标类型、所述可视化数据图以及所述目标重要性顺序基于增强学习算法进行资源调用以及路径规划，包括：
根据所述目标类型和所述可视化数据图采用增强学习算法确定通信调度、资源调用；其中所述增强学习算法是基于双方策略的递归博弈获得的；
根据所述可视化数据图、目标重要性顺序以及目标类型采用哈里斯鹰算法+经验图算法进行路径规划。
10.一种基于无人机目标跟踪的赋予诸元系统，其特征在于，所述系统包括：观测平台、无人机、控制平台以及用户终端；
所述控制平台，用于根据地形特征及通信载荷需要设计通讯网络节点拓扑地图，将所述通讯网络节点拓扑地图发送至所述观测平台；还用于根据目标区域的目标红外图像、红外背景图像以及目标图像采用目标检测算法进行目标识别，确定目标类型；还用于根据无人机采用多种传感器实时采集的观测数据，基于数学模型计算目标位置；还用于基于初始数据参数模型将目标位置参数转化为设备诸元，并实时传输至用户终端；还用于根据既往轨迹和目标区域地形图采用基于深度学习的轨迹预测算法，得到多目标的轨迹预测结果；根据目标的所述轨迹预测结果、既往轨迹、目标位置、性质和所述目标区域地形图，构建实时的可视化数据图，并针对每个用户终端生成目标重要性顺序；根据所述目标类型、所述可视化数据图以及所述目标重要性顺序基于增强学习算法进行资源调用以及路径规划；根据变化的用户位置和目标位置对所述设备诸元进行更新，将数据传输指令和更新的设备诸元发送至用户终端；所述数据传输指令是根据可视化数据图、目标重要性顺序、目标类型、资源调用以及路径规划结果提供的；
所述观测平台，用于将接收的所述通讯网络节点拓扑地图传送至无人机，还用于将获取的无人机采集的目标区域的目标红外图像和拍摄的目标图像发送至控制平台；还用于将无人机采用多种传感器实时采集的观测数据传送至所述控制平台；
所述无人机，用于根据所述通讯网络节点拓扑地图采用携带或空投的方式布置用于通信及探测的融合节点；多个所述融合节点用于构建无线自适应网络；还用于采用多种传感器实时采集观测数据，并将观测数据发送至观测平台；所述观测数据是通过红外传感器和/或融合节点对目标进行跟踪的目标跟踪结果；
所述用户终端，用于根据接收的所述数据传输指令和设备诸元进行数据传输并发生位移。
CN202311276911.2A 2023-09-28 2023-09-28 基于无人机目标跟踪的赋予诸元方法和系统 Active CN117270561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311276911.2A CN117270561B (zh) 2023-09-28 2023-09-28 基于无人机目标跟踪的赋予诸元方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311276911.2A CN117270561B (zh) 2023-09-28 2023-09-28 基于无人机目标跟踪的赋予诸元方法和系统

Publications (2)

Publication Number Publication Date
CN117270561A true CN117270561A (zh) 2023-12-22
CN117270561B CN117270561B (zh) 2024-05-14

Family

ID=89208917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311276911.2A Active CN117270561B (zh) 2023-09-28 2023-09-28 基于无人机目标跟踪的赋予诸元方法和系统

Country Status (1)

Country Link
CN (1) CN117270561B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117764206A (zh) * 2024-02-21 2024-03-26 卓世智星(天津)科技有限公司 一种多模型集成方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150063350A1 (en) * 2013-08-27 2015-03-05 Purdue Research Foundation Tracing message transmissions between communicating network devices
CN108873894A (zh) * 2018-06-11 2018-11-23 上海大学 一种基于多无人艇的目标跟踪协同控制系统和方法
CN111770284A (zh) * 2020-07-10 2020-10-13 广东电网有限责任公司 一种输电杆塔的逆光补偿拍摄方法及相关装置
CN111954281A (zh) * 2020-07-28 2020-11-17 西安理工大学 一种基于无线紫外光通信的蜂群无人机编队分簇路由方法
CN112929940A (zh) * 2021-03-03 2021-06-08 南京航空航天大学 一种基于链路生存时间预测的无人机自组网组播路由协议
CN113240069A (zh) * 2021-05-14 2021-08-10 江苏科技大学 一种基于改进哈里斯鹰算法的rbf神经网络优化方法
CN113867334A (zh) * 2021-09-07 2021-12-31 华侨大学 一种移动机械无人驾驶的路径规划方法和系统
CN114489120A (zh) * 2021-12-31 2022-05-13 杭州电子科技大学 一种面向移动网络的无人机部署与跟踪控制方法
CN114840018A (zh) * 2022-04-11 2022-08-02 浙江科技学院 一种面向监测盲区的无人机轨迹相关性判定方法
WO2022242395A1 (zh) * 2021-05-20 2022-11-24 北京城市网邻信息技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN115833228A (zh) * 2022-11-23 2023-03-21 天津大学 基于哈里斯鹰算法的交直流配电网光伏消纳能力预测方法
CN116721231A (zh) * 2023-05-17 2023-09-08 武汉大学 基于无人机机载定位的可扩展场景三维重建方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150063350A1 (en) * 2013-08-27 2015-03-05 Purdue Research Foundation Tracing message transmissions between communicating network devices
CN108873894A (zh) * 2018-06-11 2018-11-23 上海大学 一种基于多无人艇的目标跟踪协同控制系统和方法
CN111770284A (zh) * 2020-07-10 2020-10-13 广东电网有限责任公司 一种输电杆塔的逆光补偿拍摄方法及相关装置
CN111954281A (zh) * 2020-07-28 2020-11-17 西安理工大学 一种基于无线紫外光通信的蜂群无人机编队分簇路由方法
CN112929940A (zh) * 2021-03-03 2021-06-08 南京航空航天大学 一种基于链路生存时间预测的无人机自组网组播路由协议
CN113240069A (zh) * 2021-05-14 2021-08-10 江苏科技大学 一种基于改进哈里斯鹰算法的rbf神经网络优化方法
WO2022242395A1 (zh) * 2021-05-20 2022-11-24 北京城市网邻信息技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113867334A (zh) * 2021-09-07 2021-12-31 华侨大学 一种移动机械无人驾驶的路径规划方法和系统
CN114489120A (zh) * 2021-12-31 2022-05-13 杭州电子科技大学 一种面向移动网络的无人机部署与跟踪控制方法
CN114840018A (zh) * 2022-04-11 2022-08-02 浙江科技学院 一种面向监测盲区的无人机轨迹相关性判定方法
CN115833228A (zh) * 2022-11-23 2023-03-21 天津大学 基于哈里斯鹰算法的交直流配电网光伏消纳能力预测方法
CN116721231A (zh) * 2023-05-17 2023-09-08 武汉大学 基于无人机机载定位的可扩展场景三维重建方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117764206A (zh) * 2024-02-21 2024-03-26 卓世智星(天津)科技有限公司 一种多模型集成方法及系统
CN117764206B (zh) * 2024-02-21 2024-05-07 卓世智星(天津)科技有限公司 一种多模型集成方法及系统

Also Published As

Publication number Publication date
CN117270561B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
Tisdale et al. Autonomous UAV path planning and estimation
CN110741665B (zh) 对无人飞行器的三维网络覆盖建模
CN108521670B (zh) 面向多机紧密编队飞行基于uwb通信与定位方法及一体化系统
CN117270561B (zh) 基于无人机目标跟踪的赋予诸元方法和系统
US11587445B2 (en) System and method for fusing asynchronous sensor tracks in a track fusion application
Marier et al. Health-aware coverage control with application to a team of small UAVs
JP7106417B2 (ja) 飛行計画算出装置及びプログラム
CN110825112B (zh) 基于多无人机的油田动态侵入目标追踪系统与方法
Wang et al. Intelligent drone-assisted fault diagnosis for B5G-enabled space-air-ground-space networks
An et al. Know where you are: A practical privacy-preserving semi-supervised indoor positioning via edge-crowdsensing
CN111338379A (zh) 自动控制飞行器的协同路径规划方法
Sai et al. A comprehensive survey on artificial intelligence for unmanned aerial vehicles
Kim et al. Real-time path planning to dispatch a mobile sensor into an operational area
CN117389305A (zh) 一种无人机巡检路径规划方法、系统、设备及介质
CN110832274A (zh) 地面坡度计算方法、装置、设备及存储介质
Dovgal Making decisions about the placement of unmanned aerial vehicles based on the implementation of an artificial immune system in relation to information processing
Mahboubi et al. Self-deployment algorithms for field coverage in a network of nonidentical mobile sensors: Vertex-based approach
KR101835262B1 (ko) 교란에 대한 방어 기능을 구비한 무인 항공기 및 그 제어 방법
Sharifi et al. Coverage control in multi-vehicle systems subject to health degradation
Tisdale et al. An autonomous system for cooperative search and localization using unmanned vehicles
Garnett et al. Optimal Control for Improved UAV Communication
Melnychenko et al. A Self-Organized Automated System to Control Unmanned Aerial Vehicles for Object Detection.
CN117930871B (zh) 一种旋翼物流无人机群实时冲突解脱方法
Shan A node localisation method for wireless sensor networks based on an improved bee colony algorithm
JP2020057311A (ja) 移動計画算出装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant