CN114387552A - 基于生物视觉机理的旋翼无人机红外视频跟踪方法 - Google Patents

基于生物视觉机理的旋翼无人机红外视频跟踪方法 Download PDF

Info

Publication number
CN114387552A
CN114387552A CN202210036519.XA CN202210036519A CN114387552A CN 114387552 A CN114387552 A CN 114387552A CN 202210036519 A CN202210036519 A CN 202210036519A CN 114387552 A CN114387552 A CN 114387552A
Authority
CN
China
Prior art keywords
target
frame
current
feature
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210036519.XA
Other languages
English (en)
Other versions
CN114387552B (zh
Inventor
张显石
杨开富
李永杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210036519.XA priority Critical patent/CN114387552B/zh
Publication of CN114387552A publication Critical patent/CN114387552A/zh
Application granted granted Critical
Publication of CN114387552B publication Critical patent/CN114387552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于生物视觉机理的旋翼无人机红外视频跟踪方法，应用于计算机视觉和目标跟踪领域，针对现有技术难以满足旋翼无人机的目标追踪的问题；本发明分别基于运动特征和外观特征对目标进行跟踪，再进行信息整合，获得最终的跟踪结果；本发明的方法良好适应了旋翼无人机在红外视频中信号不稳定、运动自由度多等特点，具有跟踪准确度高、计算实时性强等特点，非常适合于红外视频中旋翼无人机的单目标跟踪。

Description

基于生物视觉机理的旋翼无人机红外视频跟踪方法
技术领域
本发明属于计算机视觉和目标跟踪领域，特别涉及一种旋翼无人机在红外视频中的单目标跟踪技术。
背景技术
近年来，旋翼无人机在国内外发展日益蓬勃，被广泛应用于航拍、表演、遥测、巡防、勘探、救援等诸多领域，但也随之产生了一系列严重的安全管控问题：未经许可闯入公共及敏感区域、意外坠落、影响客机正常起降、碰撞高层建筑等事件不断发生。因此，开展针对复杂环境下无人机的智能感知研究，有助于对无人机进行有效探测和监管，具有重要意义。相对可见光信号，红外信号在恶劣天气下鲁棒性强，对光照不敏感，因此更适合用以在复杂环境中监控具有低慢小特征的旋翼无人机目标。
目前，解决对移动目标的跟踪问题有两个主流途径：基于目标运动特征的方法和基于目标外观特征的方法。典型的基于目标运动特征的方法有航迹法，光流法等。航迹法主要利用飞行物的飞行轨迹进行跟踪，在飞行轨迹容易预测的固定翼飞机上应用效果较好，但不适用于具有多个飞行自由度的旋翼无人机。光流法通过利用视频序列在相邻帧之间的像素关系,寻找像素的位移变化来判断目标的运动状态,实现对运动目标的跟踪。应用该类方法需要满足的前提假设是：图像的光照强度保持不变，背景相对目标保持稳定。在红外监控视频中，由于成像器件的限制，往往难以满足该假设。典型的基于目标外观特征的方法有特征匹配法，相关滤波法等。特征匹配法首先提取目标特征,然后根据最相似的特征在后续视频帧中进行目标定位。由于需要处理整张视频帧，因此该类方法通常难以满足实时性的要求。相关滤波法将通信领域衡量两个信号相似程度的思路引入目标跟踪中，根据跟踪过程中的当前帧以及之前帧的信息训练一个分类器，计算新输入帧的相关性，最大输出响应的位置即为当前帧的目标位置。该类方法要求被跟踪物体在形状和尺寸上保持一定的稳定性。然而旋翼无人机由于其飞行原理，机动时在加速方向上存在较大的倾斜角，难以满足应用相关滤波跟踪的前提要求。近年来，基于深度学习的目标跟踪方法正快速发展，但该类方法对训练数据集和计算资源的需要限制了其在实际场景中的大规模应用。
发明内容
为解决上述技术问题，本发明提出一种基于生物视觉机理的旋翼无人机红外视频跟踪方法。
本发明采用的技术方案为：基于生物视觉机理的旋翼无人机红外视频跟踪方法，包括：
S1.根据输入的视频帧，提取当前运动信息的粗估计；
S2.根据输入的视频帧提取朝向特征和边缘特征，以朝向特征作为实部，与该朝向特征具有相同尺度的边缘特征作为虚部，获得实数域的目标特征图；
S3.根据当前帧的目标特征图，结合前一帧信息，计算特征加权图的粗估计；
S4.加权融合当前运动信息的粗估计、前一帧的运动预测信息、前一帧的检测窗、当前特征加权图，获得对目标当前位置的粗估计。
S5.对目标当前位置的粗估计以其中像素点的最大值减去三倍标准差为门限进行二值化，得到对目标的精细估计；以对目标精细估计中非零像素点的质心位置为中心，检测框容忍系数与目标尺寸值乘积为半径，得到当前帧的检测窗Wt(x,y)。
还包括步骤S6.根据当前帧目标特征图中对应检测窗位置的信息块，更新目标特征信息；根据当前帧的目标位置和前一帧的目标位置，更新速度相关信息；根据当前速度和目标位置，估计下一帧目标位置，计算当前运动预测信息。
步骤S1的计算式为：
Figure BDA0003468559530000021
其中，
Figure BDA0003468559530000022
表示当前运动信息的粗估计，avg_filter为均值滤波器，ft(x,y)为当前时刻t的视频帧，ft-1(x,y)为缓存的t-1时刻的视频帧，object_size表示目标尺寸值。
步骤S2所述的目标特征图表示为：
Fmap(x,y；θ,s)＝Ori(x,y；θ,s)+i×Edge(x,y；s)
其中，Ori(x,y；θ,s)表示朝向特征，θ表示朝向，s表示尺度，Edge(x,y；s)表示边缘特征。
包括十二个朝向和五个尺度；具体的：
Figure BDA0003468559530000023
s∈{0.5,0.8,1,1.2,1.5}×object_size。
所述Edge(x,y；s)由局部亚区去抑制的双高斯差滤波提取，具体计算方式如下：
Figure BDA0003468559530000031
其中，
Figure BDA0003468559530000032
是卷积操作符，
Figure BDA0003468559530000033
是尺度为
Figure BDA0003468559530000034
的二维高斯核函数，
Figure BDA0003468559530000035
是尺度为
Figure BDA0003468559530000036
的二维高斯核函数，Gauss(s)是尺度为s的二维高斯核函数。
步骤S3所述的特征加权图的粗估计计算式为：
Figure BDA0003468559530000037
其中，
Figure BDA0003468559530000038
表示特征加权图的粗估计，⊙是点积操作符，
Figure BDA0003468559530000039
是卷积操作符，OF(θ,s)是目标特征信息，vwt-1是前一帧计算的速度权重，Et-1(x,y)是前一帧计算的运动预测信息。OF(θ,s)在第一帧根据用户设定检测窗初始化，vwt-1和Et-1(x,y)在第一帧初始化为0，随后均由步骤S6逐帧更新。
步骤S4所述加权融合计算式为：
Figure BDA00034685595300000310
其中，
Figure BDA00034685595300000311
是融合权重系数。前一帧检测窗Wt-1(x,y)在第一帧由用户设置，其后由步骤S6逐帧计算。Gauss(object_size)是尺度为目标尺寸的二维Gauss核函数。
步骤S4所述的当前特征加权图Fweight(x,y)根据步骤S3的特征加权图的粗估计
Figure BDA00034685595300000312
得到，具体过程为：以步骤S3的特征加权图的粗估计响应最强的点为中心，将该点距离五倍目标尺寸外的点置0，将该点距离五倍目标尺寸内的点平滑滤波后进行归一化，得到当前特征加权图。
步骤S6所述的目标特征信息更新方式为：
截取出当前帧目标特征图Fmap(x,y；θ,s)中对应当前检测窗Wt(x,y)位置的信息块update(θ,s)，更新目标特征信息OF(θ,s)：
update(θ,s)＝Fmap(x,y；θ,s),(x,y)∈Wt(x,y)＝1
OF(θ,s)＝(1-ρ)×OF(θ,s)+ρ×update(θ,s)
其中，ρ为学习率。
步骤S6所述的速度相关信息更新方式为：
根据当前帧的目标位置(即检测窗中心点)(pt,qt)和前一帧的目标位置(pt-1,qt-1)，更新速度相关信息vwt：
Figure BDA0003468559530000041
Figure BDA0003468559530000042
Figure BDA0003468559530000043
Figure BDA0003468559530000044
步骤S6所述的当前运动预测信息计算方式为：
根据当前速度(vxt,vyt)和目标位置(pt,qt)，估计下一帧目标位置(ext,eyt)：
Figure BDA0003468559530000045
以下一帧目标位置估计(ext,eyt)为中心，将其距离object_size内的像素置1，距离外的像素置0，得到运动信息的粗估计
Figure BDA0003468559530000046
Figure BDA0003468559530000047
再根据
Figure BDA0003468559530000048
得到当前时刻的运动预测信息Et(x,y)：
Figure BDA0003468559530000049
其中，Gauss(ξ)是尺度为目标机动力参数ξ的二维Gauss核函数。
本发明的有益效果：本发明整合跟踪目标的运动特征和外观特征对目标进行跟踪，良好适应了旋翼无人机在红外视频中信号不稳定、运动自由度多等特点，具有跟踪准确度高、计算实时性强等特点，非常适合于红外视频中旋翼无人机的单目标跟踪。
附图说明
图1是本发明的流程示意图。
图2是本发明的跟踪结果图。
具体实施方式
为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。
在下述计算过程中均采用浮点数进行计算。
本发明方法的计算过程从视频第二帧开始，在视频第一帧需由用户初始化设定跟踪窗口并根据该窗口初始化目标特征信息，同时指定目标尺寸值object_size、学习率ρ、检测框容忍系数n、目标机动力ξ、融合权重系数
Figure BDA0003468559530000051
等参数：如图1所示，包括以下实现过程：
S1.根据输入的视频帧，由下式提取当前运动信息的粗估计
Figure BDA0003468559530000052
Figure BDA0003468559530000053
其中，||表示求绝对值，ft(x,y)为当前时刻t的视频帧，(x,y)表示该帧像素点的位置坐标，ft-1(x,y)为缓存的前一时刻的视频帧，avg_filter为均值滤波器，其大小r等于使用者在初始化时根据无人机大小设置目标尺寸值object_size。
S2.根据输入的视频帧提取朝向特征和边缘特征，以朝向特征Ori(x,y；θ,s)作为实部，与该朝向特征具有相同尺度s的边缘特征Edge(x,y；s)作为虚部，获得实数域的目标特征图Fmap(x,y；θ,s)：
Fmap(x,y；θ,s)＝Ori(x,y；θ,s)+i×Edge(x,y；s)
i2＝-1。
朝向特征Ori(x,y；θ,s)包含十二个朝向
Figure BDA0003468559530000054
五个尺度s∈{0.5,0.8,1,1.2,1.5}×object_size，由下式计算：
Figure BDA0003468559530000055
其中，
Figure BDA0003468559530000056
是卷积操作符，Gabor(θ,s)是朝向为θ尺度为s的二维Gabor核函数。本领域的技术人员应注意ft(x,y)在卷积计算中，通常将表示像素坐标点的(x,y)写在括号外。
边缘特征Edge(x,y；s)包含五个尺度s∈{0.5,0.8,1,1.2,1.5}×object_size，由局部去抑制的双高斯差滤波提取，计算式如下：
Figure BDA0003468559530000061
其中，
Figure BDA0003468559530000062
是卷积操作符，
Figure BDA0003468559530000063
Gauss(s)分别是尺度为
Figure BDA0003468559530000064
s的二维高斯核函数。
S3.根据当前帧的目标特征图Fmap(x,y；θ,s)，结合之前帧信息，计算特征加权图的粗估计
Figure BDA0003468559530000065
Figure BDA0003468559530000066
其中，⊙是点积操作符，
Figure BDA0003468559530000067
是卷积操作符，OF(θ,s)是目标特征信息，在第一帧根据用户设定检测窗初始化，其后根据S5所述计算方式逐帧计算。vwt-1是前一帧计算的速度权重，在第一帧初始化为0，其后根据S5所述计算方式逐帧计算。Et-1(x,y)是前一帧计算的运动预测信息，在第一帧初始化为0，其后根据S5所述计算方式逐帧计算。
以
Figure BDA0003468559530000068
响应最强的点为中心，将该点距离外的点置0，并进行归一化，得到特征加权图Fweight(x,y)
Figure BDA0003468559530000069
Figure BDA00034685595300000610
其中，max是取最大值操作符，Gauss(object_size)是尺度为s的二维Gauss核函数。
S4.加权融合当前运动信息的粗估计
Figure BDA00034685595300000611
前一帧的运动预测信息Et-1(x,y)、前一帧的检测窗Wt-1(x,y)、特征加权图Fweight(x,y)，获得对目标的粗估计
Figure BDA00034685595300000612
Figure BDA00034685595300000613
其中，
Figure BDA00034685595300000614
是融合权重系数，由用户在初始化时设置。第一帧检测窗Wt-1(x,y)在第一帧由用户设置，其他帧检测窗根据S5所述方式逐帧计算。Gauss(object_size)是尺度为object_size的二维Gauss核函数。
S5.对目标的粗估计
Figure BDA0003468559530000071
以最大值减三倍标准差为门限进行二值化，得到对目标的精细估计Ot(x,y)：
Figure BDA0003468559530000072
其中，std是取标准差操作符。
取Ot(x,y)中非零点的质心位置，得到当前帧的目标位置(pt,qt)：
Figure BDA0003468559530000073
其中，[]是取整操作符。
以(pt,qt)为中心，n×object_size半径做八边形，得到当前帧的检测框。其中n为检测框容忍系数，由用户在初始化时设置。将该检测框中的像素置1，该检测框中外的像素置0，得到当前帧的检测窗Wt(x,y)。
S6.截取出当前帧目标特征图Fmap(x,y；θ,s)中对应检测窗Wt(x,y)位置的信息块update(θ,s)，更新目标特征信息OF(θ,s)：
update(θ,s)＝Fmap(x,y；θ,s),(x,y)∈Wt(x,y)＝1
OF(θ,s)＝(1-ρ)×OF(θ,s)+ρ×update(θ,s)
其中，ρ为学习率，由用户在初始化时设置。在第一帧由用户初始化跟踪窗口W1(x,y)时，目标特征信息OF(θ,s)初始化为update(θ,s)。
根据当前帧的目标位置(pt,qt)和前一帧的目标位置(pt-1,qt-1)，更新速度相关信息：
Figure BDA0003468559530000081
Figure BDA0003468559530000082
Figure BDA0003468559530000083
Figure BDA0003468559530000084
根据当前速度(vxt,vyt)和目标位置(pt,qt)，估计下一帧目标位置(ext,eyt)：
Figure BDA0003468559530000085
以下一帧目标位置估计(ext,eyt)为中心，将其距离object_size内的像素置1，距离外的像素置0，得到运动信息的粗估计
Figure BDA0003468559530000086
Figure BDA0003468559530000087
再根据
Figure BDA0003468559530000088
得到当前时刻的运动预测信息Et(x,y)：
Figure BDA0003468559530000089
其中，Gauss(ξ)是尺度为ξ的二维Gauss核函数，目标机动力参数ξ由用户根据无人机加速能力在初始化时设置。本领域的技术人员应注意
Figure BDA00034685595300000810
在卷积计算中，通常将表示像素坐标点的(x,y)写在括号外。
图2中白色八边形框是利用本发明生成旋翼无人机目标跟踪框。如图2所示，本发明能够有效排除复杂背景对不稳定小目标的干扰，在红外视频中跟踪以多个自由度移动的旋翼无人机。
本发明整合跟踪目标的运动特征和外观特征对目标进行跟踪，良好适应了旋翼无人机在红外视频中信号不稳定、运动自由度多等特点，具有跟踪准确度高、计算实时性强等特点，非常适合于红外视频中旋翼无人机的单目标跟踪。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.基于生物视觉机理的旋翼无人机红外视频跟踪方法，其特征在于，包括：
S1.根据输入的视频帧，提取当前运动信息的粗估计；
S2.根据输入的视频帧提取朝向特征和边缘特征，以朝向特征作为实部，与该朝向特征具有相同尺度的边缘特征作为虚部，获得实数域的目标特征图；
S3.根据当前帧的目标特征图，结合前一帧信息，计算特征加权图的粗估计；
S4.加权融合当前运动信息的粗估计、前一帧的运动预测信息、前一帧的检测窗、当前特征加权图，获得对目标当前位置的粗估计；
步骤S4所述的当前特征加权图根据步骤S3的特征加权图的粗估计得到，具体过程为：以步骤S3的特征加权图的粗估计响应最强的点为中心，将该点距离五倍目标尺寸外的点置0，将该点距离五倍目标尺寸内的点平滑滤波后进行归一化，得到当前特征加权图；
S5.对目标当前位置的粗估计以其中像素点的最大值减去三倍标准差为门限进行二值化，得到对目标的精细估计；以对目标精细估计中非零像素点的质心位置为中心，检测框容忍系数与目标尺寸值乘积为半径，得到当前帧的检测窗。
2.根据权利要求1所述的基于生物视觉机理的旋翼无人机红外视频跟踪方法，其特征在于，步骤S2所述边缘特征由局部亚区去抑制的双高斯差滤波提取，具体计算方式如下：
Figure FDA0003468559520000011
其中，Edge(x,y；s)表示边缘特征，ft(x,y)为当前时刻t的视频帧，(x,y)表示像素点的位置坐标，
Figure FDA0003468559520000012
是卷积操作符，
Figure FDA0003468559520000013
是尺度为
Figure FDA0003468559520000014
的二维高斯核函数，
Figure FDA0003468559520000015
是尺度为
Figure FDA0003468559520000016
的二维高斯核函数，Gauss(s)是尺度为s的二维高斯核函数，s表示尺度。
3.根据权利要求2所述的基于生物视觉机理的旋翼无人机红外视频跟踪方法，其特征在于，步骤S3所述的特征加权图的粗估计计算式为：
Figure FDA0003468559520000017
其中，
Figure FDA0003468559520000018
表示特征加权图的粗估计，⊙是点积操作符，
Figure FDA0003468559520000019
是卷积操作符，OF(θ,s)是目标特征信息，θ表示朝向，vwt-1是前一帧计算的速度权重，Et-1(x,y)是前一帧计算的运动预测信息。
4.根据权利要求3所述的基于生物视觉机理的旋翼无人机红外视频跟踪方法，其特征在于，步骤S4所述加权融合计算式为：
Figure FDA0003468559520000021
其中，α,β,
Figure FDA0003468559520000023
是融合权重系数，vwt-1是前一帧计算的速度权重，Et-1(x,y)是前一帧计算的运动预测信息，Wt-1(x,y)为前一帧检测窗，Gauss(object_size)是尺度为目标尺寸的二维Gauss核函数，
Figure FDA0003468559520000022
表示当前运动信息的粗估计。
5.根据权利要求4所述的基于生物视觉机理的旋翼无人机红外视频跟踪方法，其特征在于，还包括：
S6.根据当前帧目标特征图中对应检测窗位置的信息块，更新目标特征信息；根据当前帧的目标位置和前一帧的目标位置，更新速度相关信息；根据当前速度和目标位置，估计下一帧目标位置，计算当前运动预测信息。
6.根据权利要求5所述的基于生物视觉机理的旋翼无人机红外视频跟踪方法，其特征在于，目标特征信息在第一帧根据用户设定检测窗初始化，其他情况根据步骤S6进行更新，具体的更新方式为：
截取出当前帧目标特征图Fmap(x,y；θ,s)中对应当前检测窗Wt(x,y)位置的信息块update(θ,s)，更新目标特征信息OF(θ,s)：
update(θ,s)＝Fmap(x,y；θ,s),(x,y)∈Wt(x,y)＝1
OF(θ,s)＝(1-ρ)×OF(θ,s)+ρ×update(θ,s)
其中，ρ为学习率，update(x,y；θ,s)表示当前帧目标特征图Fmap(x,y；θ,s)中对应检测窗Wt(x,y)位置的信息块，Wt(x,y)表示当前帧的检测窗。
7.根据权利要求5所述的基于生物视觉机理的旋翼无人机红外视频跟踪方法，其特征在于，速度权重在第一帧初始化为0，其他情况根据步骤S6进行更新，具体的更新方式为：
根据当前帧的目标位置(pt,qt)和前一帧的目标位置(pt-1,qt-1)，更新vwt：
Figure FDA0003468559520000031
8.根据权利要求5所述的基于生物视觉机理的旋翼无人机红外视频跟踪方法，其特征在于，运动预测信息在第一帧初始化为0，其他情况根据步骤S6进行更新，具体的更新方式为：
根据当前速度(vxt,vyt)和目标位置(pt,qt)，估计下一帧目标位置(ext,eyt)：
Figure FDA0003468559520000032
以下一帧目标位置估计(ext,eyt)为中心，将其距离object_size内的像素置1，距离外的像素置0，得到运动信息的粗估计
Figure FDA0003468559520000033
Figure FDA0003468559520000034
再根据
Figure FDA0003468559520000035
得到当前时刻的运动预测信息Et(x,y)：
Figure FDA0003468559520000036
其中，Gauss(ξ)是尺度为目标机动力参数ξ的二维Gauss核函数。
9.根据权利要求5所述的基于生物视觉机理的旋翼无人机红外视频跟踪方法，其特征在于，步骤S1的计算式为：
Figure FDA0003468559520000037
其中，
Figure FDA0003468559520000038
表示当前运动信息的粗估计，avg_filter为均值滤波器，ft(x,y)为当前时刻t的视频帧，ft-1(x,y)为缓存的t-1时刻的视频帧，object_size表示目标尺寸值。
10.根据权利要求5所述的基于生物视觉机理的旋翼无人机红外视频跟踪方法，其特征在于，步骤S2所述的目标特征图表示为：
Fmap(x,y；θ,s)＝Ori(x,y；θ,s)+i×Edge(x,y；s)
其中，Ori(x,y；θ,s)表示朝向特征，Edge(x,y；s)表示边缘特征。
CN202210036519.XA 2022-01-13 2022-01-13 基于生物视觉机理的旋翼无人机红外视频跟踪方法 Active CN114387552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210036519.XA CN114387552B (zh) 2022-01-13 2022-01-13 基于生物视觉机理的旋翼无人机红外视频跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210036519.XA CN114387552B (zh) 2022-01-13 2022-01-13 基于生物视觉机理的旋翼无人机红外视频跟踪方法

Publications (2)

Publication Number Publication Date
CN114387552A true CN114387552A (zh) 2022-04-22
CN114387552B CN114387552B (zh) 2022-08-26

Family

ID=81202204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210036519.XA Active CN114387552B (zh) 2022-01-13 2022-01-13 基于生物视觉机理的旋翼无人机红外视频跟踪方法

Country Status (1)

Country Link
CN (1) CN114387552B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799871A (zh) * 2012-07-13 2012-11-28 Tcl集团股份有限公司 一种人脸跟踪识别的方法
CN104408742A (zh) * 2014-10-29 2015-03-11 河海大学 一种基于空间-时间频谱联合分析的运动目标检测方法
US20150338204A1 (en) * 2014-05-22 2015-11-26 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
CN106605236A (zh) * 2014-09-15 2017-04-26 三星电子株式会社 用于捕捉图像的方法和图像捕捉装置
CN110660080A (zh) * 2019-09-11 2020-01-07 昆明理工大学 一种基于学习率调整融合多层卷积特征的多尺度目标跟踪方法
CN111402285A (zh) * 2020-01-16 2020-07-10 杭州电子科技大学 一种基于视觉机制暗边缘增强的轮廓检测方法
CN113436229A (zh) * 2021-08-26 2021-09-24 深圳市金大智能创新科技有限公司 一种多目标跨摄像机行人轨迹路径的生成方法
CN113516713A (zh) * 2021-06-18 2021-10-19 广西财经学院 一种基于伪孪生网络的无人机自适应目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799871A (zh) * 2012-07-13 2012-11-28 Tcl集团股份有限公司 一种人脸跟踪识别的方法
US20150338204A1 (en) * 2014-05-22 2015-11-26 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
CN106605236A (zh) * 2014-09-15 2017-04-26 三星电子株式会社 用于捕捉图像的方法和图像捕捉装置
CN104408742A (zh) * 2014-10-29 2015-03-11 河海大学 一种基于空间-时间频谱联合分析的运动目标检测方法
CN110660080A (zh) * 2019-09-11 2020-01-07 昆明理工大学 一种基于学习率调整融合多层卷积特征的多尺度目标跟踪方法
CN111402285A (zh) * 2020-01-16 2020-07-10 杭州电子科技大学 一种基于视觉机制暗边缘增强的轮廓检测方法
CN113516713A (zh) * 2021-06-18 2021-10-19 广西财经学院 一种基于伪孪生网络的无人机自适应目标跟踪方法
CN113436229A (zh) * 2021-08-26 2021-09-24 深圳市金大智能创新科技有限公司 一种多目标跨摄像机行人轨迹路径的生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANIRUDDHA DEY: "A contour based procedure for face detection and tracking from video", 《2016 3RD INTERNATIONAL CONFERENCE ON RECENT ADVANCES IN INFORMATION TECHNOLOGY (RAIT)》 *
林强: "基于交通视频的车辆检测与追踪算法研究", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
CN114387552B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN110007675B (zh) 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法
Roelofsen et al. Reciprocal collision avoidance for quadrotors using on-board visual detection
US20100305857A1 (en) Method and System for Visual Collision Detection and Estimation
CN107352032A (zh) 一种人流量数据的监控方法及无人机
CN105759829A (zh) 基于激光雷达的微型无人机操控方法及系统
Rodríguez-Gomez et al. Asynchronous event-based clustering and tracking for intrusion monitoring in UAS
CN106546233A (zh) 一种面向合作目标的单目视觉定位方法
CN108563236B (zh) 一种基于同心圆特征的纳型无人机目标跟踪方法
CN111666871B (zh) 一种面向无人机的改进yolo与sift相结合的多小目标检测跟踪方法
CN206968975U (zh) 一种无人机
CN110765948A (zh) 一种基于无人机的目标检测识别方法及系统
CN115686052A (zh) 无人机避障路径规划方法、装置、计算机设备及存储介质
CN114332394A (zh) 一种基于语义信息辅助的动态场景三维重建方法
Qureshi et al. Vehicle detection and tracking using kalman filter over aerial images
CN114120150A (zh) 一种基于无人机成像技术的道路目标检测方法
Dolph et al. Sense and avoid for small unmanned aircraft systems
CN114387552B (zh) 基于生物视觉机理的旋翼无人机红外视频跟踪方法
CN111611869B (zh) 一种基于串行深度神经网络的端到端单目视觉避障方法
Grunwald et al. Vehicular control by visual field cues-analytical model and experimental validation
Luo et al. UAV detection based on rainy environment
Zhang et al. Spatial and temporal context information fusion based flying objects detection for autonomous sense and avoid
CN113206951B (zh) 一种基于扑翼飞行系统的实时电子稳像方法
CN114036640A (zh) 飞机姿态确定系统和飞行器
CN109669180B (zh) 一种连续波雷达无人机检测方法
CN114545414A (zh) 一种用于无人机防撞雷达的航迹管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant