CN109544597A - 一种基于视觉的四旋翼无人机目标跟踪方法、系统及装置 - Google Patents
一种基于视觉的四旋翼无人机目标跟踪方法、系统及装置 Download PDFInfo
- Publication number
- CN109544597A CN109544597A CN201811355074.1A CN201811355074A CN109544597A CN 109544597 A CN109544597 A CN 109544597A CN 201811355074 A CN201811355074 A CN 201811355074A CN 109544597 A CN109544597 A CN 109544597A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- unmanned plane
- coordinate system
- tracking target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004044 response Effects 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉的四旋翼无人机目标跟踪方法、系统及装置，其中，所述方法包括：获取跟踪目标在单张拍摄画面中的区域信息，以所述区域信息为中心构建矩形搜索框，提取所述矩形搜索框内的多层卷积特征；对所述多层卷积特征中的每层卷积层采用汉明距离与高斯分布相结合的方式进行筛选，滤除不相关和干扰的特征；将筛选后的多层卷积特征作为对应层相关滤波器的输入，并将输出响应图上响应最大值所在的位置作为跟踪目标的位置信息；建立坐标系，根据所述位置信息获取所述跟踪目标的坐标，并计算跟踪目标的姿态角给定值；根据所述跟踪目标的坐标及姿态角给定值控制无人机的跟踪飞行轨迹。
Description
技术领域
本发明涉及无人机领域领域，特别是涉及一种基于视觉的四旋翼无人机目标跟踪方法、系统及装置。
背景技术
无人机是当今军用、民用界技术发展的热点之一。无人机相比于其他交通工具，其优势表现在于：机动性强，反应快速，环境适应能力强，能迅速到达现场。随着图像处理技术的不断发展以及支持图像处理的硬件及设备的不断增多，基于机器视觉的无人机军事及民用任务得到了极大的普及。基于图像目标的检测识别与跟踪定位成为无人机对任务环境的感知与分析的重要手段。将前沿的图像检测与跟踪技术应用于无人机发展领域，实现无人机长时间鲁棒且精确的目标识别与检测是无人机视觉研究领域最为关键的问题之一。
在无人机基于视觉目标跟踪主要面临以下问题：复杂的背景，目标的遮挡，目标的形变，跟踪算法实时性。
跟踪目标所在的背景是一个复杂的模型，当相机静止时，可提取出静态背景模型，但是该模型并不是一成不变的，当目标的运动或者背景中动物的运动都会改变背景模型，并且天气的阴晴，室内的灯光发生的变化，都会给背景的估计带来困难，而当相机是运动时，背景的变化更加増大了跟踪的难度，导致无人机跟踪目标准确性较差。
发明内容
本发明要解决的技术问题在于，针对现有技术的无人机跟踪目标的准确性较差的问题，提供一种基于视觉的四旋翼无人机目标跟踪方法、系统及装置。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于视觉的四旋翼无人机目标跟踪方法，所述方法包括：
获取跟踪目标在单张拍摄画面中的区域信息，以所述区域信息为中心构建矩形搜索框，提取所述矩形搜索框内的多层卷积特征；
对所述多层卷积特征中的每层卷积层采用汉明距离与高斯分布相结合的方式进行筛选，滤除不相关和干扰的特征；
将筛选后的多层卷积特征作为对应层相关滤波器的输入，并将输出响应图上响应最大值所在的位置作为跟踪目标的位置信息；
建立坐标系，根据所述位置信息获取所述跟踪目标的坐标，并计算跟踪目标的姿态角给定值；
根据所述跟踪目标的坐标及姿态角给定值控制无人机的跟踪飞行轨迹。
进一步的，所述滤波器采用判别式模型跟踪算法从所述多层卷积特征中区分跟踪目标，对多层卷积特征中跟踪目标输出高响应，对多层卷积特征中背景信息输出低响应。
进一步的，所述提取所述矩形搜索框内的多层卷积特征的步骤具体为：
利用卷积神经网络对所述矩形搜索框提取多层特征；
利用感知哈希筛选不相关和干扰特征。
进一步的，所述利用卷积神经网络对所述矩形搜索框提取多层特征的方法具体为：
将第l层卷积层输出的特征图矩阵表示为其中Ml、Nl、Dl分别表示特征图的宽度、高度以及特征图的数量；
在滤波器的初始化过程中，训练集通过在宽度、高度两个维度上循环移位拍摄画面中的x，获得每一个训练样本Xl m,n,(m,n)∈{0,1,2,...Ml-1}×{0,1,2,...Nl-1}对应的样本标签可以表示为一个二维高斯分布:
其中σ表示核函数的宽度，σ与目标区域的尺度正相关；
对于每一个训练样本xl m,n，通过与滤波器wl的相关运算输出其样本标签yl(m,n)：
训练样本集及其对应的样本标签，对应于第l层卷积层的滤波器wl：
对应于第d个特征的相关滤波器的频域表示为：
对于跟踪序列，将第l层卷积层输出的特征图矩阵表示为：
得出
进一步的，根据所述跟踪目标的坐标及姿态角给定值控制无人机的跟踪飞行轨迹的方法为：
通过无人机坐标系、摄像机坐标系和图像坐标系三者确定图像中跟踪目标移动距离与无人机飞行轨迹的变换相对关系；
Σs(XS,YSZS)表示导航坐标系，Σb(Xb,Yb,Zb)表示无人机机体坐标系，所述无人机机体坐标系坐标原点选为无人机的质心，Xb轴指向无人机纵轴，机头方向为正，Yb轴指向无人机横轴，右方为正，Zb轴按照右手法则确定，Σc(Xc,Yc,Zc)表示摄像机坐标系，所述摄像机坐标系原点为光心，Zc轴沿光轴方向，与Xc轴和Yc轴满足右手法则，向量sp0＝[sχ0,sy0,sz0]T和向量sp1＝[sχ1,sy1,sz1]T分别表示跟踪目标和无人机在导航坐标系下的位置，bp2＝[bχ2,by2,bz2]T为摄像机在机体坐标系下的安装位置；cp3＝[cχ3,cy3,cz3]T为跟踪目标在摄像机坐标系下的位置，上述各向量几何关系为：
跟踪目标在摄像机坐标系下的位置cp3为：
即：
进一步的，所述将筛选后的多层卷积特征作为对应层相关滤波器的输入的步骤之前，所述方法还包括：对所述滤波器进行更新。
进一步的，所述对所述滤波器进行更新策略为：
其中，t表示帧索引，η表示控制模板更新学习率的参数。滤波器的模型通过使用最新获得的目标区域对相关滤波器的分子和分母分别进行更新。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于视觉的四旋翼无人机目标跟踪系统，所述系统包括摄像头、无人机、处理器、滤波器，所述摄像头、无人机、处理器、滤波器在工作时实现上述的基于视觉的四旋翼无人机目标跟踪方法。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于视觉的四旋翼无人机目标跟踪装置，所述装置包括上述的跟踪系统，所述跟踪系统在被使用时实现上述的基于视觉的四旋翼无人机目标跟踪方法。
本发明的有益效果是：实施本发明的基于视觉的四旋翼无人机目标跟踪方法，通过无人机拍摄获取跟踪目标图像，并对所拍摄的图像进行特征提取，滤除不相关和干扰的特征，计算跟踪目标的坐标及姿态给定值，从而根据跟踪目标的坐标及姿态给定值控制无人机的飞行轨迹，实现精准跟踪。
附图说明
图1是本发明基于视觉的四旋翼无人机目标跟踪方法的第一实施例的流程图；
图2是本发明基于视觉的四旋翼无人机目标跟踪方法中无人机、摄像机和跟踪目标的相对位姿坐标系示意图。
具体实施方式
为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。
请参阅图1，为本发明基于视觉的四旋翼无人机目标跟踪方法的第一实施例的流程图，在基于视觉的四旋翼无人机目标跟踪方法的第一实施例中，该方法包括以下步骤：
步骤101、获取跟踪目标在单张拍摄画面中的区域信息，以该区域信息为中心构建矩形搜索框，提取该矩形搜索框内的多层卷积特征；
步骤102、对该多层卷积特征中的每层卷积层采用汉明距离与高斯分布相结合的方式进行筛选，滤除不相关和干扰的特征；
步骤103、将筛选后的多层卷积特征作为对应层相关滤波器的输入，并将输出响应图上响应最大值所在的位置作为跟踪目标的位置信息；
步骤104、建立坐标系，根据该位置信息获取该跟踪目标的坐标，并计算跟踪目标的姿态角给定值；
步骤105、根据该跟踪目标的坐标及姿态角给定值控制无人机的跟踪飞行轨迹。
具体的，通过手动的或者自动检测的方法获取目标前一帧画面中的区域信息。以目标区域为中心构建一个矩形搜索框，将搜索框区域内提取出的多层卷积特征，来初始化相关滤波器的。并对各特征图利用感知哈希提取摘要。
对于接下来的跟踪序列，对于每一层卷积层，利用汉明距离与高斯分布相结合的方法对多层卷积特征进行筛选略滤除不相关和干扰的特征。
将筛选后多层卷积特征作为对应层相关滤波器的输入，并将输出响应图上响应最大值所在的位置用于当前帧的目标定位。
通过建立大地坐标系、机体坐标系、摄像机坐标系、图像坐标系、机体大地过渡坐标系，通过上述建立的坐标系之间的关系，根据得到的跟踪目标在图像中的坐标，进行跟踪目标的定位及跟踪目标的姿态角给定值和航线跟踪的姿态角给定值的计算，控制飞机飞行轨迹。
在获得当前帧的跟踪结果后，使用此最新的目标区域对相关滤波器进行更新。
重复上述步骤，直到跟踪结束。
进一步的，该滤波器采用判别式模型跟踪算法从该多层卷积特征中区分跟踪目标，对多层卷积特征中跟踪目标输出高响应，对多层卷积特征中背景信息输出低响应。
相关滤波器跟踪算法属于判别式模型跟踪方法。主要思想就是学习从背景中区分目标，对每个感兴趣的目标产生高响应(相关峰(correlation peak))，对于背景则产生低的响应。基于相关滤波器的跟踪算法通过将时域上的相关运算借助于快速傅里叶变换((Fast Fourier Transform,FFT)转换到频域上的阿达玛积(Hadamardproduct)，极大提高运算速度。
相关滤波器跟踪算法本方法对其进行了创新性改进和优化。利用卷积神经网络对目标提取多层特征，然后再利用感知哈希来筛选过滤不相关和干扰特征。
通过卷积神经网络对目标提取多层特征，充分利用了卷积神经网络(Convolutional Neua-al Network,CNN)强大的特征提取能力通过对多个卷积层分别学习一个自适应的相关滤波器，并在目标外观特征描述中使用多层卷积特征而不只是CNN最后一层的输出。卷积神经网络锁提取的特征有更深层的语意，可以进一步提高相关滤波器的鲁棒性和准确性。
利用卷积神经网络提取特征，使用的神经网络VGG-Net-19网络提取出的多层卷积特征可以表示丰富的视觉模型并对多个种类的物体进行描述。
卷积神经网络分层提取特征，卷积神经网络(CNN)中不同卷积层输出的特征具有不同的特性，本方法使用conv3-4,conv4-4,conv5-4层的输出用于目标区域的特征描述。
通过卷积网络分层特图特征，每一个卷积层的输出包含多个通道的特征(即多张特征图),144-145]。将第l层卷积层输出的特征图矩阵表示为其中Ml、Nl、Dl分别表示特征图的宽度、高度以及特征图的数量。在相关滤波器的初始化过程中，训练集通过在宽度、高度两个维度上循环移位第一帧中的x，获得。每一个训练样本Xl m,n,(m,n)∈{0,1,2,...Ml-1}×{0,1,2,...Nl-1}对应的样本标签可以表示为一个二维高斯分布:
其中σ表示核函数的宽度，它与目标区域的尺度正相关。
对于每一个个训练样本xl m,n，通过与相关滤波器wl，的相关运算输出其样本标签yl(m,n)：
关滤波器的跟踪算法通过将时域上的相关运算借助于快速傅里叶变换((FastFourier Transform,FFT)转换到频域上的阿达玛积(Hadamardproduct)，极大提高运算速度。时域上的相关运算可以表示为频域上简单的乘法运算:
训练样本集及其对应的样本标签，对应于第l层卷积层的相关滤波器wl：
对应于第d个特征的相关滤波器的频域表示为:
对于接下来的跟踪序列，将第l层卷积层输出的特征图矩阵表示为：
得出
通过感知哈希来筛选过滤卷积神经网络提取的不相关和干扰特征。通过感知哈希根据人类感知系统特性对多媒体信息进行感知抽象，在保留内容的同时，得到精简的摘要。
对初始帧多层特征感知哈希，和下一帧的多层感知哈希通过利用汉明距离与高斯分布相结合的方法对多层卷积特征进行筛选，滤除大于阈值的特征，提高相关滤波器的精确度。
通过跟踪算法得到目标在二维图像中的坐标后，控制飞机飞行轨迹，主要是通过无人机坐标系、摄像机坐标系和图像坐标系三者的矩阵变换所决定的。
如图2所示，为无人机、摄像机和跟踪目标的相对位姿坐标系示意图。其中，Σs(XS,YSZS)表示导航坐标系，Σb(Xb,Yb,Zb)表示无人机机体坐标系,其原点选为无人机的质心,Xb轴指向无人机纵轴,机头方向为正,Yb轴指向无人机横轴,右方为正,Zb轴按照右手法则确定.Σc(Xc,Yc,Zc)表示摄像机坐标系,其原点为光心,Zc轴沿光轴方向,与Xc轴和Yc轴满足右手法则.。向量sp0＝[sχ0,sy0,sz0]T和向量sp1＝[sχ1,sy1,sz1]T分别表示目标和无人机在导航坐标系下的位置bp2＝[bχ2,by2,bz2]T为摄像机在机体坐标系下的安装位置。cp3＝[cχ3,cy3,cz3]T为目标在摄像机坐标系下的位置.以上各向量几何关系为：
目标在摄像机坐标系下的位置cp3为：
即：
根据上述各坐标系之间的关系可以确定图像中目标移动距离与无人机飞行轨迹的变换相对关系，实现最终的跟踪效果。
本方法具体为主要软件实现是通过ROS机器人操作系统节点细想设计实现。硬件实现通过无人机挂载相机获得视频信息，通过5.2G无线图像传输设备传输到地面站(PC)，经过地面站选取目标并运行跟踪算法，通过2.4G无线传输设备向无人机飞行控制器发送指令，控制无人机飞行轨迹。
对相关滤波器进行更新：在跟踪过程中中的各种光照条件目标外观常常会受到自身的旋转、缩放、位姿变化以及场景甚至是非刚体形变的影响。为了适应跟踪过程中各种因素的影响，需要对相关滤波器进行实时的更新，更新策略为:
其中，t表示帧索引，η表示控制模板更新学习率的参数。可以看到，相关滤波器的模型更新是通过使用最新获得的目标区域对相关滤波器的分子和分母分别进行更新。
本发明第二实施例为一种基于视觉的四旋翼无人机目标跟踪系统，在本发明的第二实施例中，该系统包括摄像头、无人机、处理器、滤波器，该摄像头、无人机、处理器、滤波器在工作时实现上述的基于视觉的四旋翼无人机目标跟踪方法。
本发明第二实施例为一种基于视觉的四旋翼无人机目标跟踪方法，在本发明的第二实施例中，该装置包括上述的跟踪系统，该跟踪系统在被使用时实现上述的基于视觉的四旋翼无人机目标跟踪方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (9)
1.一种基于视觉的四旋翼无人机目标跟踪方法，其特征在于，所述方法包括：
获取跟踪目标在单张拍摄画面中的区域信息，以所述区域信息为中心构建矩形搜索框，提取所述矩形搜索框内的多层卷积特征；
对所述多层卷积特征中的每层卷积层采用汉明距离与高斯分布相结合的方式进行筛选，滤除不相关和干扰的特征；
将筛选后的多层卷积特征作为对应层相关滤波器的输入，并将输出响应图上响应最大值所在的位置作为跟踪目标的位置信息；
建立坐标系，根据所述位置信息获取所述跟踪目标的坐标，并计算跟踪目标的姿态角给定值；
根据所述跟踪目标的坐标及姿态角给定值控制无人机的跟踪飞行轨迹。
2.根据权利要求1所述的方法，其特征在于，所述滤波器采用判别式模型跟踪算法从所述多层卷积特征中区分跟踪目标，对多层卷积特征中跟踪目标输出高响应，对多层卷积特征中背景信息输出低响应。
3.根据权利要求1所述的方法，其特征在于，所述提取所述矩形搜索框内的多层卷积特征的步骤具体为：
利用卷积神经网络对所述矩形搜索框提取多层特征；
利用感知哈希筛选不相关和干扰特征。
4.根据权利要求3所述的方法，其特征在于，所述利用卷积神经网络对所述矩形搜索框提取多层特征的方法具体为：
将第l层卷积层输出的特征图矩阵表示为其中Ml、Nl、Dl分别表示特征图的宽度、高度以及特征图的数量；
在滤波器的初始化过程中，训练集通过在宽度、高度两个维度上循环移位拍摄画面中的x，获得每一个训练样本Xl m,n,(m,n)∈{0,1,2,...Ml-1}×{0,1,2,...Nl-1}对应的样本标签可以表示为一个二维高斯分布:
其中σ表示核函数的宽度，σ与目标区域的尺度正相关；
对于每一个训练样本xl m,n，通过与滤波器wl的相关运算输出其样本标签yl(m,n)：
训练样本集及其对应的样本标签，对应于第l层卷积层的滤波器wl：
对应于第d个特征的相关滤波器的频域表示为：
对于跟踪序列，将第l层卷积层输出的特征图矩阵表示为：
得出
。
5.根据权利要求1所述的方法，其特征在于，根据所述跟踪目标的坐标及姿态角给定值控制无人机的跟踪飞行轨迹的方法为：
通过无人机坐标系、摄像机坐标系和图像坐标系三者确定图像中跟踪目标移动距离与无人机飞行轨迹的变换相对关系；
Σs(XS,YSZS)表示导航坐标系，Σb(Xb,Yb,Zb)表示无人机机体坐标系，所述无人机机体坐标系坐标原点选为无人机的质心，Xb轴指向无人机纵轴，机头方向为正，Yb轴指向无人机横轴，右方为正，Zb轴按照右手法则确定，Σc(Xc,Yc,Zc)表示摄像机坐标系，所述摄像机坐标系原点为光心，Zc轴沿光轴方向，与Xc轴和Yc轴满足右手法则，向量sp0＝[sχ0,sy0,sz0]T和向量sp1＝[sχ1,sy1,sz1]T分别表示跟踪目标和无人机在导航坐标系下的位置，bp2＝[bχ2,by2,bz2]T为摄像机在机体坐标系下的安装位置；cp3＝[cχ3,cy3,cz3]T为跟踪目标在摄像机坐标系下的位置，上述各向量几何关系为：
跟踪目标在摄像机坐标系下的位置cp3为：
即：。
6.根据权利要求1所述的方法，其特征在于，所述将筛选后的多层卷积特征作为对应层相关滤波器的输入的步骤之前，所述方法还包括：对所述滤波器进行更新。
7.根据权利要求6所述的方法，其特征在于，所述对所述滤波器进行更新策略为：
其中，t表示帧索引，η表示控制模板更新学习率的参数。滤波器的模型通过使用最新获得的目标区域对相关滤波器的分子和分母分别进行更新。
8.一种基于视觉的四旋翼无人机目标跟踪系统，其特征在于，所述系统包括摄像头、无人机、处理器、滤波器，所述摄像头、无人机、处理器、滤波器在工作时实现权利要求1至7中任一项所述的基于视觉的四旋翼无人机目标跟踪方法。
9.一种基于视觉的四旋翼无人机目标跟踪装置，其特征在于，所述装置包括权利要求8中所述的跟踪系统，所述跟踪系统在被使用时实现权利要求1至7中任一项所述的基于视觉的四旋翼无人机目标跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811355074.1A CN109544597A (zh) | 2018-11-14 | 2018-11-14 | 一种基于视觉的四旋翼无人机目标跟踪方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811355074.1A CN109544597A (zh) | 2018-11-14 | 2018-11-14 | 一种基于视觉的四旋翼无人机目标跟踪方法、系统及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109544597A true CN109544597A (zh) | 2019-03-29 |
Family
ID=65847426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811355074.1A Withdrawn CN109544597A (zh) | 2018-11-14 | 2018-11-14 | 一种基于视觉的四旋翼无人机目标跟踪方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109544597A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111833378A (zh) * | 2020-06-09 | 2020-10-27 | 天津大学 | 一种基于代理共享网络的多无人机单目标跟踪方法及装置 |
| CN113253755A (zh) * | 2021-05-08 | 2021-08-13 | 广东白云学院 | 一种基于神经网络的旋翼无人机跟踪算法 |
-
2018
- 2018-11-14 CN CN201811355074.1A patent/CN109544597A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111833378A (zh) * | 2020-06-09 | 2020-10-27 | 天津大学 | 一种基于代理共享网络的多无人机单目标跟踪方法及装置 |
| CN113253755A (zh) * | 2021-05-08 | 2021-08-13 | 广东白云学院 | 一种基于神经网络的旋翼无人机跟踪算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106981073B (zh) | 一种基于无人机的地面运动目标实时跟踪方法及系统 | |
| CN113807187B (zh) | 基于注意力特征融合的无人机视频多目标跟踪方法 | |
| Chen et al. | A deep learning approach to drone monitoring | |
| CN109102522B (zh) | 一种目标跟踪方法及装置 | |
| CN104899590B (zh) | 一种无人机视觉目标跟随方法及系统 | |
| CN110660082A (zh) | 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法 | |
| CN107967457A (zh) | 一种适应视觉特征变化的地点识别与相对定位方法及系统 | |
| CN111176309B (zh) | 一种基于球面成像的多无人机自组群互感理解方法 | |
| CN113223045B (zh) | 基于动态物体语义分割的视觉与imu传感器融合定位系统 | |
| Wen et al. | Hybrid semi-dense 3D semantic-topological mapping from stereo visual-inertial odometry SLAM with loop closure detection | |
| CN108009494A (zh) | 一种基于无人机的道路交叉口车辆跟踪方法 | |
| CN110672088A (zh) | 一种仿信鸽地貌感知归巢机制的无人机自主导航方法 | |
| CN106327528A (zh) | 无人机运动目标跟踪方法及无人机的工作方法 | |
| CN111260687A (zh) | 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法 | |
| CN109271927A (zh) | 一种空基多平台的协同监视方法 | |
| CN108089695A (zh) | 一种控制可移动设备的方法和装置 | |
| Zhou et al. | Tracking of multiple pixel targets using multiple cameras | |
| CN105913459A (zh) | 基于高分辨率连拍图像的运动目标检测方法 | |
| Li et al. | Visual slam in dynamic scenes based on object tracking and static points detection | |
| Xiang et al. | UAV based target tracking and recognition | |
| CN109544597A (zh) | 一种基于视觉的四旋翼无人机目标跟踪方法、系统及装置 | |
| Cao et al. | Template matching based on convolution neural network for UAV visual localization | |
| Zhai et al. | Target Detection of Low‐Altitude UAV Based on Improved YOLOv3 Network | |
| CN112069997A (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| Sun et al. | Siamese Transformer Network: Building an autonomous real-time target tracking system for UAV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190329 |