CN116703975B - 一种用于无人机的智能化目标图像跟踪方法 - Google Patents

一种用于无人机的智能化目标图像跟踪方法 Download PDF

Info

Publication number
CN116703975B
CN116703975B CN202310697873.1A CN202310697873A CN116703975B CN 116703975 B CN116703975 B CN 116703975B CN 202310697873 A CN202310697873 A CN 202310697873A CN 116703975 B CN116703975 B CN 116703975B
Authority
CN
China
Prior art keywords
sensor
output
layer
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310697873.1A
Other languages
English (en)
Other versions
CN116703975A (zh
Inventor
胡进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tianjin Technology Co ltd
Original Assignee
Wuhan Tianjin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tianjin Technology Co ltd filed Critical Wuhan Tianjin Technology Co ltd
Priority to CN202310697873.1A priority Critical patent/CN116703975B/zh
Publication of CN116703975A publication Critical patent/CN116703975A/zh
Application granted granted Critical
Publication of CN116703975B publication Critical patent/CN116703975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种用于无人机的智能化目标图像跟踪方法，利用以图像为主的多种传感器感知周围环境，加强图像跟踪智能算法对周围环境的识别力，建立多种传感器的智能图像跟踪模型，提高图像目标跟踪的精度和计算效率。

Description

一种用于无人机的智能化目标图像跟踪方法
技术领域
本发明内容属于目标跟踪技术领域，特别地，涉及一种用于无人机的智能化目标图像跟踪方法。
背景技术
图像跟踪是机器视觉领域的重要内容，被应用于智能视频监控等领域，属于我国大力发展的人工智能技术之一，对于推动智慧城市、智能制造等国家战略的发展具有重要作用，是保障国家财产和人民安全的重要举措。
目标跟踪技术目前主要存在可疑目标、正常目标之间界限不清，频繁遮挡、表观近似等复杂情况导致跟踪不准确等瓶颈问题，而这些瓶颈问题在无人机实际应用的复杂环境下表现得更加突出。相比较于目前较常用的车载环境，无人机视觉应用的环境更加广泛，不仅用于城市道路，还广泛应用于农林植保，电力维修，外场作业等，环境更加复杂多变，为图像跟踪带来了巨大挑战。
现有技术中使用神经网络模型进行目标的跟踪，然而大部分主要集中在目标的识别，对于追踪本身效果不佳，也没有专门用于追踪的网络模型。此外，目前的跟踪神经网络大多数输入为图像数据，这在外界条件理想的情况下可以取得较好效果，但难以适应外部变化的环境，限制了无人机的应用范围。而且，过于庞大的网络规模会带来计算速度低、耗电高的问题，不适合在无人机上使用。
发明内容
为了解决在无人机在复杂环境下实现图像快速、准确、智能跟踪的问题，本发明提出一种新型智能化图像跟踪算法，利用以图像为主的多种传感器感知周围环境，加强图像跟踪智能算法对周围环境的识别力，建立多种传感器的智能图像跟踪模型，提高图像目标跟踪的精度和计算效率。
一种用于无人机的智能化目标图像跟踪方法，
步骤1：基于多传感器的多源数据采集和同步预处理：由一个主传感器按时序采集 图像数据、多个副传感器按时序采集多种其他物理数据，并对上述主传感器和多个副传感 器采集的时序数据进行同步预处理，得到：表示主传感器第s帧采集的图像；表示 在主传感器采集第帧之前一段时间内第个副传感器所采集到的数据的平均期望；
步骤2：建立神经网络模型，推测第s帧中跟踪目标的位置
搜索图像为步骤1获得的第s帧采集的图像，跟踪目标记为；第一隐藏层 为：
其中、为预处理滤波器，分别表示宽、高和深度维，表示 对应图像宽、高维度的坐标，、为截距参数，是激活函数；
在第二隐藏层中，利用利用雨量、雪量、PM2.5传感器的数据、、对 上一层输出进行优化；在第三隐藏层中，对上一层的输出进行累加运算；在第四隐藏层中利 用温度、湿度传感器的数据、对上一层输出进行优化；在第五隐藏层中，对上一 层的输出进行卷积运算；
在输出层中，利用风速传感器数据，对上一层的输出进行修正：
其中，表示风速传感器数据向量的第个元素，为上一层的输出，是 修正线性参数，为神经网络模型的输出，是截距参数。
在神经网络模型训练阶段，对训练样本中跟踪目标在输出中对应的位置的像素 置为1，其它部分像素置为0。
神经网络分类器的代价函数定义为：
表示网络模型的输出值，表示训练样本中的输出标签。
采用上述神经网络模型根据主传感器采集的图像数据、多个副传感器采集的数据进行跟踪，求得模型输出的响应图中的峰值响应，作为跟踪目标的输出位置。
该方法在安装于无人机的处理器上实施。
该处理器与图像传感器、雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物PM2.5传感器连接。
该处理器接收多个传感器数据，并根据步骤2进行处理，输出跟踪目标的位置。
一种实施上述方法的无人机，包括无人机本体、处理器、图像传感器。
还包括图像传感器、雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物PM2.5传感器。
一种无人机跟踪系统，包括上述无人机。
本发明的发明点及技术效果：
1、本发明提出基于多传感器的多源数据采集和同步预处理方法，为多种数据的联合使用打下基础，可以有效降低神经网络的模型规模，提高跟踪的精度。
2、建立并优化神经网络模型，以第一步中获得的主、副传感器联合数据作为输入，并且采用在各隐藏层中逐步输入的方式，可避免传感器数据冗余，提高预测精度和计算速度，使得无人机能够实现目标实时图像精确跟踪。
具体实施方式
步骤1：基于多传感器的多源数据采集和同步预处理方法。
图像本质上是对现实世界的不完备映射，因此现实世界中的目标在图像空间中不可避免地存在二义性，为跟踪带来了困难。现实世界中，当无人机工作在复杂环境下，如雾天、雨天、雪天、沙尘天等环境下，传统算法的局限性更加突出。为此，提出一种基于多传感器的多源数据采集方法。
该多源数据采集方法及装置，包括以图像传感器（摄像机）为主的主传感器，及若干副传感器，包括雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物PM2.5传感器等。
所有传感器采集时序数据，并以时间维度进行同步处理。每种时序数据的时间横断面上，主传感器采集的图像数据为二维结构（矩阵），其它副传感器采集的数据为一维结构（向量）。
对上述传感器采集的时序数据，进行同步预处理。如下。
主传感器采集的时序数据，记为
代表主传感器图像数据的在时间上的横断面，表示传感器采集的时间序 数，。表示相邻采集间隔时间。
副传感器采集的时序数据，记为
表示第个副传感器数据在时间上的横断面，表示第个副传感器采集的时 间序数，，表示相应传感器的相邻采集间隔时间。
不同传感器采集的间隔是不同的，即、、…是不同的。以主传感器图像数 据为基准，对其它副传感器数据进行时间同步。
定义：
表示时间差值，表示在主传感器采集第帧之前一段时间内第个副传感器 所采集到的数据的平均期望，表示满足的的个数，即副传感器 在一段时间内采集到的数据量。
定义：
表示主传感器第s帧采集的图像。
如上述定义的、，表示同步的第s帧主、副传感器联合数据。
步骤2：建立神经网络模型，将上述联合数据作为输入，基于第一步中获得的主、副传感器联合数据实施图像跟踪，推测第s帧中图像目标的位置。
在复杂应用环境下，多源传感器的传感器数据能够为图像数据中的不确定性提供补充。例如雨量、雪量、PM2.5传感器可以用来评估图像的噪声干扰程度，优化预处理滤波器的参数。温度、湿度传感器可用来评估环境照度因子，从而优化光照补偿滤波器的参数。风速传感器可用来评估无人机本体的运动速度，用来优化运动补偿滤波器的参数。
根据上述多源数据，提出一种基于孪生网络的图像跟踪模型和方法，该模型的输 入包括跟踪目标和搜索图像两部分。其中，搜索图像为步骤1获得的第s帧采集的图像， 跟踪目标记为。的尺寸小于。
根据上述输入，定义神经网络模型中的隐藏层计算方法如下。
其中，、被称为预处理滤波器，是3维卷积滤波器，分别表示宽、高（对 应于图像的宽、高）和深度维，尺寸是5*5*32。和分别表 示图像与图像中的一个像素，中括号中的值表示其宽、高维度的坐 标。、为截距参数。是神经网络的激活函数，定义如下。
为线性放大参数，用于调节输出的范围，一般取.
上述、称为预处理滤波后输出，为与输入图像（即搜索图像和跟踪目标图像） 相同大小的两组图像，每组32张图像。通过、可以定位其每个像素的坐 标。
利用雨量、雪量、PM2.5传感器（分别记为、、）对上述输出进行优 化，如下。
其中. 表示传感器数据向量的第个元素，、为上一步的输 出，、是修正线性参数，表示利用传感器数据向量的第个元素对上一步输出的第元素进行修正，获得修正后的第元素。输出、为与上一步等尺寸和维度 的图像集合。、是该步骤的截距参数。
进一步的，定义：
其中、是该步骤的截距参数，、是上一步的输出，、是三维卷积滤波 器，尺寸是13*13*32，通过该滤波器将上一步输出的两组各32张图像映射到两张图像、 中，表示它们中一个像素的坐标。、称为光照补偿滤波器。
利用温度、湿度传感器（分别记为、）对上述输出进行优化，如下。
其中. 表示传感器数据向量的第个元素，、为上一步的输 出，、是修正线性参数，表示利用传感器数据向量的第个元素对上一步输出的第元素进行修正，获得修正后的第元素。输出、为与上一步等尺寸的图像。、是该步骤的截距参数。
进一步的，定义：
式9实际上是图像和的相关滤波器，作为滤波器的卷积核，表示其像 素坐标；是中像素坐标；对应的，是相关滤波结果中的坐标。
利用风速传感器数据（记为），对上述输出进行修正如下。
表示风速传感器数据向量的第个元素，为上一步的输出，是修正 线性参数，表示利用传感器数据向量的第个元素对上一步输出的第元素进行修正， 获得修正后的第元素。输出为神经网络模型的输出层。是该步骤的截距参数。
以上5-10定义了所述的基于孪生网络的图像跟踪模型和计算方法。
根据相关滤波的定义，输出响应值的峰值代表目标在图像中的位置，根据模型定 义，在训练阶段，对训练样本中跟踪目标在输出中对应的位置的像素置为1，其它部分像 素置为0. 为了提高模型的稳定性，将跟踪目标中心位置周围小窗口的像素全部置为1. 神 经网络分类器的代价函数定义为：
表示网络模型的输出值，表示训练样本中的输出标签。
采用上述模型根据主传感器采集的图像数据、副传感器采集的数据进行跟踪，求得模型输出的响应图中的峰值响应，作为跟踪器的输出位置。
对比数据 平均跟踪误差 平均每帧计算速度
SiamFC 2.1像素 0.28s
本发明 1.3像素 0.13s
本发明提出新型智能化图像跟踪算法，利用以图像为主的多种传感器感知周围环境，加强图像跟踪智能算法对周围环境的识别力，建立多种传感器的智能图像跟踪模型，提高图像目标跟踪的精度和计算效率。实验结果表明，本发明提出的方法在复杂环境下具有更高的跟踪精度，且计算速度更快。
无人机系统包括：无人机本体、处理器、图像传感器，还可以包括以下传感器中的一个或多个：雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物PM2.5传感器。其中处理器用于与上述一个或多个传感器连接，接收传感器数据，并根据前述步骤1、步骤2进行处理，输出跟踪目标的位置。
作为另一种情况，无人机系统可不设置以下传感器中的一个或多个：雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物PM2.5传感器。地面系统包含上述一个或多个传感器，从而无人机通过通讯系统接收地面系统发送的有关周边环境的各种数据，作为跟踪的环境基础，同样利用步骤2的神经网络模型进行运算获得跟踪目标的位置。
可以理解，本发明的说明书仅是对技术方案的充分描述，并不是对权利范围的限定。以该说明书提出的发明构思为前提，相关的变形都在本发明的保护范围之内。

Claims (10)

1.一种用于无人机的智能化目标图像跟踪方法，其特征在于：
步骤1：基于多传感器的多源数据采集和同步预处理：由一个主传感器按时序采集图像数据、多个副传感器按时序采集多种其他物理数据，并对上述主传感器和多个副传感器采集的时序数据进行同步预处理，得到：表示主传感器第s帧采集的图像；/>表示在主传感器采集第/>帧之前一段时间/>内第/>个副传感器所采集到的数据的平均期望；
步骤2：建立神经网络模型，推测第s帧中跟踪目标的位置，
搜索图像为步骤1获得的第s帧采集的图像，跟踪目标记为/>；第一隐藏层为：
，
其中、/>为预处理滤波器，/>分别表示宽、高和深度维，/>表示对应图像宽、高维度的坐标，/>、/>为该层的截距参数，/>是激活函数；
在第二隐藏层中，利用利用雨量、雪量、PM2.5传感器的数据、/>、/>对上一层输出进行优化：
，
其中； />表示传感器数据向量的第/>个元素，/>、/>是该层的修正线性参数； />、/>为上一层的输出；/>、/>是该层的截距参数；
在第三隐藏层中，对上一层的输出进行累加运算：
，
其中、/>是该层的截距参数，/>、/>是三维卷积滤波器，/>表示像素的坐标；
在第四隐藏层中利用温度、湿度传感器的数据、/>对上一层输出进行优化：
，
其中； />表示传感器数据向量的第/>个元素，/>、/>为上一层的输出，/>、/>是该层的修正线性参数，/>、/>是该层的截距参数；
在第五隐藏层中，对上一层的输出进行卷积运算：
，
为滤波器的卷积核，/>表示其像素坐标；
在输出层中，利用风速传感器数据，对上一层的输出进行修正：
，
其中，表示风速传感器数据向量的第/>个元素，/>为上一层的输出，/>是该层的修正线性参数，/>为神经网络模型的输出，/>是该层的截距参数。
2.如权利要求1所述方法，其特征在于：在神经网络模型训练阶段，对训练样本中跟踪目标在输出中对应的位置的像素置为1，其它部分像素置为0。
3.如权利要求2所述方法，其特征在于：神经网络分类器的代价函数定义为：
，
表示网络模型的输出值，/>表示训练样本中的输出标签。
4.如权利要求1所述方法，其特征在于：采用上述神经网络模型根据主传感器采集的图像数据、多个副传感器采集的数据进行跟踪，求得模型输出的响应图中的峰值响应，作为跟踪目标的输出位置。
5.如权利要求1所述方法，其特征在于：该方法在安装于无人机的处理器上实施。
6.如权利要求5所述方法，其特征在于：该处理器与图像传感器、雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物PM2.5传感器连接。
7.如权利要求5所述方法，其特征在于：该处理器接收多个传感器数据，并根据步骤2进行处理，输出跟踪目标的位置。
8.一种实施如权利要求1-5任意一项所述方法的无人机，其特征在于：包括无人机本体、处理器、图像传感器。
9.如权利要求8所述无人机，其特征在于：还包括图像传感器、雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物PM2.5传感器。
10.一种无人机跟踪系统，其特征在于包括如权利要求8或9任意一项所述的无人机。
CN202310697873.1A 2023-06-13 2023-06-13 一种用于无人机的智能化目标图像跟踪方法 Active CN116703975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310697873.1A CN116703975B (zh) 2023-06-13 2023-06-13 一种用于无人机的智能化目标图像跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310697873.1A CN116703975B (zh) 2023-06-13 2023-06-13 一种用于无人机的智能化目标图像跟踪方法

Publications (2)

Publication Number Publication Date
CN116703975A CN116703975A (zh) 2023-09-05
CN116703975B true CN116703975B (zh) 2023-12-15

Family

ID=87832149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310697873.1A Active CN116703975B (zh) 2023-06-13 2023-06-13 一种用于无人机的智能化目标图像跟踪方法

Country Status (1)

Country Link
CN (1) CN116703975B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106842128A (zh) * 2017-02-11 2017-06-13 陈昭男 运动目标的声学跟踪方法及装置
KR20200017601A (ko) * 2018-08-01 2020-02-19 문영실 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법
WO2021189507A1 (zh) * 2020-03-24 2021-09-30 南京新一代人工智能研究院有限公司 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
CN114510072A (zh) * 2022-01-18 2022-05-17 香港理工大学深圳研究院 基于进化迁移优化的多无人机路径规划方法、终端及介质
CN115016496A (zh) * 2022-06-30 2022-09-06 重庆大学 基于深度强化学习的水面无人艇路径跟踪方法
CN115704898A (zh) * 2021-08-03 2023-02-17 伟摩有限责任公司 自主交通工具应用中相机图像和雷达数据的关联

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086606A (zh) * 2018-12-05 2022-09-20 深圳阿科伯特机器人有限公司 移动目标的监控方法、装置、系统、存储介质及机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106842128A (zh) * 2017-02-11 2017-06-13 陈昭男 运动目标的声学跟踪方法及装置
KR20200017601A (ko) * 2018-08-01 2020-02-19 문영실 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법
WO2021189507A1 (zh) * 2020-03-24 2021-09-30 南京新一代人工智能研究院有限公司 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
CN115704898A (zh) * 2021-08-03 2023-02-17 伟摩有限责任公司 自主交通工具应用中相机图像和雷达数据的关联
CN114510072A (zh) * 2022-01-18 2022-05-17 香港理工大学深圳研究院 基于进化迁移优化的多无人机路径规划方法、终端及介质
CN115016496A (zh) * 2022-06-30 2022-09-06 重庆大学 基于深度强化学习的水面无人艇路径跟踪方法

Also Published As

Publication number Publication date
CN116703975A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN109034018B (zh) 一种基于双目视觉的低空小型无人机障碍物感知方法
CN110796168A (zh) 一种基于改进YOLOv3的车辆检测方法
CN111368736B (zh) 基于sar和光学遥感数据的水稻精细化估产方法
CN106529493A (zh) 一种基于透视图的鲁棒性多车道线检测方法
CN108960190B (zh) 基于fcn图像序列模型的sar视频目标检测方法
CN105760831A (zh) 一种基于低空航拍红外视频的行人跟踪方法
CN111536970B (zh) 一种用于低能见度大尺度场景的红外惯性组合导航方法
CN102110227A (zh) 基于上下文关系的多分辨率遥感图像复合分类方法
CN115393712B (zh) 基于动态混合池化策略的sar图像道路提取方法及系统
CN112486197B (zh) 基于多源图像自适应选权的融合定位跟踪控制方法
CN104778699B (zh) 一种自适应对象特征的跟踪方法
CN115861591B (zh) 基于transformer关键纹理编码匹配的无人机定位方法
CN114998728A (zh) 无人机多源遥感预测棉花叶面积指数的方法及系统
CN114419146A (zh) 一种多源光学样本生成方法和系统
Zhong et al. Identification and depth localization of clustered pod pepper based on improved Faster R-CNN
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
CN114549642A (zh) 一种低对比度红外弱小目标检测方法
CN116703975B (zh) 一种用于无人机的智能化目标图像跟踪方法
CN102830391B (zh) 一种红外搜索与跟踪系统准确性指标计算方法
CN102800101A (zh) 一种星载红外遥感图像机场roi快速检测方法
CN117333846A (zh) 恶劣天气下基于传感器融合和增量学习的检测方法及系统
CN115294562B (zh) 一种植保机器人作业环境智能感知方法
CN104392209A (zh) 一种目标与背景的图像复杂度评价模型
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
CN115909285A (zh) 一种雷达和视频信号融合的车辆跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant