CN106780560A - 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法 - Google Patents
一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法 Download PDFInfo
- Publication number
- CN106780560A CN106780560A CN201611246452.3A CN201611246452A CN106780560A CN 106780560 A CN106780560 A CN 106780560A CN 201611246452 A CN201611246452 A CN 201611246452A CN 106780560 A CN106780560 A CN 106780560A
- Authority
- CN
- China
- Prior art keywords
- histogram
- color
- target
- particle
- target template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 39
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 title claims abstract description 25
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 238000005286 illumination Methods 0.000 abstract description 6
- 238000011160 research Methods 0.000 description 7
- 230000009182 swimming Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法。使用本发明能够有效提高跟踪算法对光照变化的适应性,提高目标跟踪算法的鲁棒性,且精度高,能应用于水下环境比较复杂的环境。本发明综合考虑机器鱼的颜色特征和运动情况,将机器鱼的运动信息和边缘信息相结合,通过颜色和运动边缘双特征的融合来构建粒子滤波的观测模型,并通过观测模型来对系统运动模型预测的目标估计结果进行修正,有效降低系统的误差,提高视觉子系统的鲁棒性。
Description
技术领域
本发明涉及视觉跟踪技术领域,具体涉及一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法。
背景技术
随着对海洋资源开发的不断深入,仿生机器鱼协作控制系统引起关注,而视觉子系统作为仿生机器鱼协作控制系统的重要组成部分,是决策子系统的唯一信息来源,视觉跟踪算法决定了目标跟踪的快速准确性和实时性。
机器视觉最早出现于1975年由Winston编辑的论文集中。英国的Marr教授于1973年在麻省理工学院(MIT),创建了一个新的视觉理论研究小组,在1977年,提出了一种新的计算机视觉理论—Marr视觉理论。该理论在20世纪80年代成为计算机视觉研究领域的一个十分重要的理论框架,陆续用于高级视频安全监控技术,如校园监控、交通监控、道路行人统计系统,另外视觉跟踪技术在导弹成像制导、超声波和核磁序列图像的自动分析、人机交互、虚拟现实、机器人视觉导航等方面有广泛重要应用。每种机器视觉系统集成了很多,比如静止背景和运动背景下的实时目标探测与跟踪、目标的分类识别、目标姿势估计、摄像机的自主控制、视频图像处理系统、人体步法分析等等。国内以中科院自动化所模式识别国家重点实验室为代表的很多高校和研究机构也在机器视觉领域取得了不错的科研成果。但无论是国内还是国外,在机器视觉领域的研究重点都基本在于对所获得图像信息的前期处理(去噪、增强、目标检测等)和在复杂环境中对多个视频运动目标进行稳定、快速和准确地跟踪。其难点在于现在的视觉任务多是由2D图像恢复3D场景,而由于成像过程中存在投影、遮挡、各种场景因素的混合、畸变等,要想通过高度结构化的表示获得3D模型的客观描述是很困难的,这些始终是当前机器视觉研究领域中需要不断提升机器视觉算法改进效果的问题。
在机器视觉领域,跟踪算法的主要工作是在连续的视频序列中找到表示目标区域或目标特征的图像结构的连续对应。鲁棒性和实时性是视觉子系统目标跟踪模块的基本要求,也是最大难点。视觉跟踪的目的是要实现目标定位,其实质可归结为目标参数的推导过程。根据推导目标参数的方法,视觉跟踪方法划分为确定性方法和概率估计方法两大类:确定性方法的缺陷在于其鲁棒性不强,不能很好地解决跟踪中常见的光照变化、形变等对目标跟踪的影响;概率估计法中最初发展起来的是卡尔曼滤波(KF),其改进形式扩展卡尔曼滤波(EKF)和无迹卡尔曼滤波(UKF),此后出现了更适合非线性非高斯系统的粒子滤波(PF)算法。与确定性方法相比,概率估计方法鲁棒性更好,近年来成为视觉跟踪算法中的研究热点。在硬件设备已定的条件下,影响鲁棒性的因素主要有两点:一个是先验知识的获取,包括目标建模和对环境信息的了解;另一个是跟踪算法,一般地鲁棒性好的算法要更复杂。
不同于陆地机器人,机器鱼是在水中运动的,由于机器鱼游动时带来的水面波动和反光,颜色信息容易受到某处光照强度的干扰而发生变化,而基于颜色特征的机器视觉识别技术对光照的要求普遍比较高,不稳定的光照条件会影响目标识别的准确性。因此,需要对现有的视觉跟踪技术进行改进。
发明内容
有鉴于此,本发明提供了一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,在粒子滤波算法中融合了目标的颜色特征和运动边缘特征,能够有效提高跟踪算法对光照变化的适应性,提高目标跟踪算法的鲁棒性,且精度高,能应用于水下环境比较复杂的环境。
本发明的基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,包括如下步骤:
步骤1,初始化:利用矩形框手动选定跟踪目标,提取目标的HSV颜色直方图、运动边缘直方图,组成目标模板;选取目标模板中的粒子数量为N,粒子权重为
步骤2,粒子状态估计:
k时刻第i个粒子状态估计为:
其中,分别表示第i个粒子在k-2、k-1、k时刻的状态,表示k-1时刻所有粒子的状态估计值的均值;wk-1为k-1时刻系统随机过程噪声;A1、A2、B为常量;
步骤3,构建以k时刻第i个粒子状态估计的位置为中心的、与目标模板相同大小的候选区域;i=1,2,…,N;提取当前帧所有N个候选区域的HSV颜色直方图和运动边缘直方图;
步骤4,修改粒子权重值:
步骤4.1,采用式(1)计算基于颜色直方图的第i个粒子的权值更新值:
其中,分别为第k-1、k帧基于颜色直方图的第i个粒子的权值更新值, 为颜色信息的观测似然函数;σ为高斯方差;为第i个粒子对应的候选区域与目标模板颜色特征的Bhattacharyya距离,为颜色特征的Bhattacharyya系数,q=(q(u))u=1,2,...,NN为目标模板的颜色直方图,为第k帧第i个粒子对应的候选区域的颜色直方图;NN为颜色直方图的颜色子空间数;
步骤4.2,采用式(2)计算基于运动边缘直方图的第i个粒子的权值更新值:
其中分别为第k-1、k帧基于运动边缘直方图的第i个粒子的权值更新值, 为运动边缘信息的观测似然函数;σ1为高斯方差,为第i个粒子对应的候选区域与目标模板运动边缘特征的Bhattacharyya距离,其中为运动边缘特征的Bhattacharyya系数,γ1=(γ1(u))u=1,2,...,MM为目标模板的运动边缘直方图,为第k帧第i个粒子对应的候选区域的运动边缘直方图;MM为运动边缘直方图的幅度或方向子空间数;
步骤4.3,采用式(3)进行特征融合的粒子权重更新:
其中,分别为第k-1、k帧的特征融合的第i个粒子的权重更新值;为联合似然函数:
其中,η1,η2为归一化权值,其中d1_min,d2_min分别为颜色特征和运动边缘特征中所有候选区域和目标模板之间的最小Bhattacharyya距离;
归一化粒子权重
步骤5,利用步骤4获得的粒子权重得到k时刻目标的状态估计为:
步骤6,目标模板更新:
设定一个Bhattacharyya系数的阈值,若当前帧所有候选区域的颜色特征和运动边缘特征的Bhattacharyya系数中的最大值小于设定的阈值,进行目标模板更新,按照步骤1的方法建立新的目标模板;然后按照下式进行目标模板更新:
M_opt=β×M_old+(1-β)×M_now
其中,M_opt为更新后的目标模板,M_old为更新前的目标模板,M_now为新建的目标模板,β表示更新前的目标模板在更新后的目标模板中所占的比例;
步骤7,重采样粒子:
计算粒子退化程度Neff,并与设定阈值Nth比较,如果Neff<Nth,则重采样粒子,并令新的粒子具有相等的权重值否则,不重采样粒子;
步骤8:读取下一张图像,重复执行步骤2~8。
进一步地,所述目标的HSV颜色直方图的提取方法如下:
从摄像头采集的视频图像获取矩形框区域RGB颜色模型,接着完成RGB向HSV颜色空间的转换;将HSV颜色空间的每个子空间H、S、V分别分成Nh、Ns、Nv个等级,将整个HSV空间的颜色直方图划分为NN=Nh×Ns+Nv个颜色子空间;根据目标区域图像像素的(h,s,v)分量所属的等级,得到该像素属于哪个颜色子空间中,从而得到目标的HSV颜色直方图。
进一步地,所述运动边缘直方图的提取方法如下:
设hk,hk+1为相邻的两帧图像,计算这两帧的绝对差分图像Dk,对差分图像Dk求梯度,得到运动边缘图像Ek,然后利用运动边缘的幅值或方向角获得运动边缘直方图。
进一步地,所述运动边缘直方图为运动边缘方向直方图,运动边缘方向直方图求取方法如下:
将方向空间划分成MM个不同方向,获得MM个方向子空间;对运动边缘的方向角θ(x,y)进行量化,以方向子空间中点的比重作为纵坐标,构建运动边缘方向直方图。
进一步地,所述MM=24~36。
进一步地,所述步骤2中,A1=2、A2=-1、B=1。
进一步地,所述步骤4中,σ=0.1~0.3;σ1=0.1~0.3。
进一步地,所述步骤6中,β=0.1~0.3。
进一步地,所述步骤7中,Nth=2N/3。
有益效果:
(1)本发明综合考虑机器鱼的颜色特征和运动情况,将机器鱼的运动信息和边缘信息相结合,通过颜色和运动边缘双特征的融合来构建粒子滤波的观测模型,并通过观测模型来对系统运动模型预测的目标估计结果进行修正,有效降低系统的误差,提高视觉子系统的鲁棒性。
(2)建立目标状态时考虑到机器鱼游动的非线性特点,采用二阶自回归模型,更接近机器鱼的真实运动情形,应用范围广。
附图说明
图1为本发明流程图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
本发明提供了一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,首先建立目标的运动模型和观测模型,由建立的运动模型进行粒子传播,然后提取目标颜色和运动边缘特征,通过观测模型来对系统运动模型预测的目标估计结果进行修正,得到最优目标位置,有效降低系统的误差,提高视觉子系统的鲁棒性。
本发明流程如图1所示,具体包括如下步骤:
步骤1,初始化:
步骤1.1,手动选定跟踪目标:
在多仿生机器鱼视觉子系统中,最希望得到机器鱼的实时位置,本发明采用矩形框来跟踪机器鱼。首先通过鼠标手动在第一帧图像中利用矩形框选定机器鱼,同时考虑到状态维数与计算量的关系,设定机器鱼的目标状态模型为:
x=[cx,cy,Hw,Hh,s]T
其中cx和cy是矩形框中心的横纵坐标,表征机器鱼的位置;Hw和Hh分别表示初始矩形框的宽和高;s是宽和高的比例因子,Hw×s与Hh×s是在跟踪过程中某一时刻矩形框的宽和高。
步骤1.2,依据目标的颜色和运动边缘特征,建立目标模板:
目标颜色特征提取方法如下:从摄像头采集的视频图像获取目标区域RGB颜色模型,接着完成RGB向HSV颜色空间的转换;将HSV颜色空间的每个子空间H、S、V分别分成Nh、Ns、Nv个等级,将整个HSV空间的颜色直方图划分为NN=Nh×Ns+Nv个颜色子空间。根据目标区域图像像素的(h,s,v)分量所属的等级,可得到该像素属于哪个颜色子空间中,从而完成对目标区域的HSV颜色直方图的计算(用该像素所在的子空间值表示颜色特征直方图)。
具体方法如下:设定Nh=Ns=Nv=10,则空间颜色直方图可划分为Nh×Ns+Nv=10×10+10=110个区间。设定S和V的彩色像素与黑白像素的区分阈值分别为0.1和0.2,当S<0.1或者V<0.2时,便将该像素点投射到颜色直方图[100,109]上,投射公式为:
其余情况就将像素点投射到颜色直方图[0,199]区间上,投射公式为:
根据HSV颜色模型的定义可知:H、S、V的最大取值分别为:H_MAX=360,S_MAX=1,V_MAX=1,这样处理之后便完成了对所选区域的HSV颜色直方图的计算。
目标运动边缘特征提取:
设hk,hk+1为相邻的两帧图像(在初始化中,为第一帧与第二帧图像),计算这两帧的绝对差分图像Dk为:
Dk=|hk-hk+1|
对差分图像Dk求梯度,得到运动边缘图像Ek为:
图像中各个像素的幅度值φ和方向角θ分别为:
当求得运动边缘图像Ek后,就能用其幅值或方向角建立幅值直方图或方向直方图,这样目标的运动边缘特征就提取出来了。在本实施例中,选取方向直方图来提取运动边缘特征。
运动边缘方向直方图的求取方法是:在目标区域中,对方向角θ(x,y)进行量化,以每15度为一个方向,选取MM=24个方向,可以对应得到量化后的角度值θθ(x,y)(其取值范围为1,2,...,24)。一幅二值边缘图像的MM维边缘方向直方图可以定义如下:
P(m)=P[θθ(x,y)=m],其中m=1,2,...,MM
上式中,方向空间被划分成MM个方向子空间,(x,y)代表每一个边缘点坐标,θθ(x,y)表示点(x,y)量化后的边缘方向;P(m)表示边缘点中具有边缘方向m的所有点的比重(以该比重表示边缘方向m的边缘方向直方图),所有MM个方向子空间的比重之和应当为1。
由此,目标模板中包含一个HSV颜色直方图和一个运动边缘方向直方图。
步骤1.3,选取目标模板中的粒子数量为N,粒子权重为
步骤2,粒子状态估计:
在多仿生机器鱼协作控制系统中,考虑到实验中机器鱼自身的游动形态和加速、减速等动作,发现机器鱼的游动兼具有随机性和非线性特征。为了更好的描述机器鱼的运动变化,考虑相邻时刻的运动状态信息,本发明选择二阶自回归模型,在多仿生机器鱼视觉子系统中,k时刻第i个粒子状态估计为:
其中,分别表示第i个粒子在k-2、k-1、k时刻的状态,表示k-1时刻所有粒子的状态估计值的均值,wk-1为k-1时刻系统随机过程噪声;A1、A2、B为常量。这一模型以之前两个时刻的状态作为基准,加入一些随机扰动对下一时刻的状态进行预测。由于加入了对目标当前位置和速度的考虑,该模型相比于一阶模型更接近机器鱼的真实运动情形。本实施例中,选取A1=2、A2=-1、B=1。
步骤3,构建以k时刻第i个粒子状态估计的位置为中心的、与目标模板相同大小的候选区域;i=1,2,…,N;按照步骤1.2的方法提取所有候选区域的颜色和运动边缘特征(HSV颜色直方图和运动边缘方向直方图)。
步骤4,修改粒子权重值:
步骤4.1,基于颜色直方图的粒子权值更新
计算第k帧第i个粒子对应的候选区域与目标模板颜色特征的Bhattacharyya距离
其中为颜色特征的Bhattacharyya系数,q=(q(u))u=1,2,...,NN为目标模板的颜色直方图,为第k帧第i个粒子对应的候选区域的颜色直方图。当d_colour值越小,说明候选区域与目标模板颜色特征匹配程度越高。
则颜色信息的观测似然函数可以表示为:
由此得到基于颜色直方图的粒子权值更新公式为:
根据不同要求可取σ=0.1~0.3,其中
步骤4.2,基于运动边缘的方向直方图的权值更新
计算第k帧第i个粒子对应的候选区域与目标模板运动边缘特征的Bhattacharyya距离为:
其中为运动边缘特征的Bhattacharyya系数,为目标模板的运动边缘方向直方图,为第k帧第i个粒子对应的候选区域的运动边缘方向直方图。d_diffedge值越小,说明候选区域与目标模板颜色特征匹配程度越高。
则运动边缘信息的观测似然函数可以表示为:
由此得到基于运动边缘的幅值直方图的权值更新公式为:
其中σ1为高斯方差,根据不同要求一般取σ1=0.1~0.3,其中ξ_diffedge1=1
步骤4.3,特征融合的粒子权重更新
假设基于不同特征的观测信息是相互独立的,采用加性融合得到联合似然函数为:
上式中η1,η2为归一化权值,其计算方法如下:
其中其中
其中,d1_min,d2_min分别为颜色特征和运动边缘特征中所有候选区域和目标模板之间存在的最小的Bhattacharyya距离。最后,可以根据融合特征的观测似然函数对每一个粒子的权重进行更新:
其中,
归一化粒子权重为:
步骤5,利用步骤4获得的粒子权重得到k时刻目标的状态估计为:
步骤6,模板更新
设定一个Bhattacharyya系数的阈值,当上一帧所有候选区域的颜色特征和运动边缘特征的Bhattacharyya系数中的最大值小于所设定的阈值时,需要进行模板更新工作,按照步骤1.2的方法建立新的目标模板。然后按照下式进行模板更新:
M_opt=β×M_old+(1-β)×M_now
其中,M_opt为更新后的模板,M_old为更新前的模板,M_now为新建的模板,β表示更新前的模板在更新后的模板中所占的比例,一般取β=0.1~0.3。
步骤7,重采样粒子:
计算粒子退化程度Neff,并与设定阈值Nth(一般取2N/3左右)相比较,如果Neff<Nth,则重采样粒子,即,将权重很小的粒子删除,重采样N个粒子,并令新的粒子具有相等的权重值
步骤8:读取下一张图像,重复执行步骤2~8。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,其特征在于,包括如下步骤:
步骤1,初始化:利用矩形框手动选定跟踪目标,提取目标的HSV颜色直方图、运动边缘直方图,组成目标模板;选取目标模板中的粒子数量为N,粒子权重为
步骤2,粒子状态估计:
k时刻第i个粒子状态估计为:
其中,分别表示第i个粒子在k-2、k-1、k时刻的状态,表示k-1时刻所有粒子的状态估计值的均值;wk-1为k-1时刻系统随机过程噪声;A1、A2、B为常量;
步骤3,构建以k时刻第i个粒子状态估计的位置为中心的、与目标模板相同大小的候选区域;i=1,2,…,N;提取当前帧所有N个候选区域的HSV颜色直方图和运动边缘直方图;
步骤4,修改粒子权重值:
步骤4.1,采用式(1)计算基于颜色直方图的第i个粒子的权值更新值:
其中,分别为第k-1、k帧基于颜色直方图的第i个粒子的权值更新值,为颜色信息的观测似然函数;σ为高斯方差;为第i个粒子对应的候选区域与目标模板颜色特征的Bhattacharyya距离,为颜色特征的Bhattacharyya系数,q=(q(u))u=1,2,...,NN为目标模板的颜色直方图,为第k帧第i个粒子对应的候选区域的颜色直方图;NN为颜色直方图的颜色子空间数;
步骤4.2,采用式(2)计算基于运动边缘直方图的第i个粒子的权值更新值:
其中分别为第k-1、k帧基于运动边缘直方图的第i个粒子的权值更新值,为运动边缘信息的观测似然函数;σ1为高斯方差,为第i个粒子对应的候选区域与目标模板运动边缘特征的Bhattacharyya距离,其中为运动边缘特征的Bhattacharyya系数,γ1=(γ1(u))u=1,2,...,MM为目标模板的运动边缘直方图,为第k帧第i个粒子对应的候选区域的运动边缘直方图;MM为运动边缘直方图的幅度或方向子空间数;
步骤4.3,采用式(3)进行特征融合的粒子权重更新:
其中,分别为第k-1、k帧的特征融合的第i个粒子的权重更新值;为联合似然函数:
其中,η1,η2为归一化权值,其中d1_min,d2_min分别为颜色特征和运动边缘特征中所有候选区域和目标模板之间的最小Bhattacharyya距离;
归一化粒子权重
步骤5,利用步骤4获得的粒子权重得到k时刻目标的状态估计为:
步骤6,目标模板更新:
设定一个Bhattacharyya系数的阈值,若当前帧所有候选区域的颜色特征和运动边缘特征的Bhattacharyya系数中的最大值小于设定的阈值,进行目标模板更新,按照步骤1的方法建立新的目标模板;然后按照下式进行目标模板更新:
M_opt=β×M_old+(1-β)×M_now
其中,M_opt为更新后的目标模板,M_old为更新前的目标模板,M_now为新建的目标模板,β表示更新前的目标模板在更新后的目标模板中所占的比例;
步骤7,重采样粒子:
计算粒子退化程度Neff,并与设定阈值Nth比较,如果Neff<Nth,则重采样粒子,并令新的粒子具有相等的权重值否则,不重采样粒子;
步骤8:读取下一张图像,重复执行步骤2~8。
2.如权利要求1所述的基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,其特征在于,所述目标的HSV颜色直方图的提取方法如下:
从摄像头采集的视频图像获取矩形框区域RGB颜色模型,接着完成RGB向HSV颜色空间的转换;将HSV颜色空间的每个子空间H、S、V分别分成Nh、个等级,将整个HSV空间的颜色直方图划分为NN=Nh×Ns+Nv个颜色子空间;根据目标区域图像像素的(h,s,v)分量所属的等级,得到该像素属于哪个颜色子空间中,从而得到目标的HSV颜色直方图。
3.如权利要求1所述的基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,其特征在于,所述运动边缘直方图的提取方法如下:
设hk,hk+1为相邻的两帧图像,计算这两帧的绝对差分图像Dk,对差分图像Dk求梯度,得到运动边缘图像Ek,然后利用运动边缘的幅值或方向角获得运动边缘直方图。
4.如权利要求3所述的基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,其特征在于,所述运动边缘直方图为运动边缘方向直方图,运动边缘方向直方图求取方法如下:
将方向空间划分成MM个不同方向,获得MM个方向子空间;对运动边缘的方向角θ(x,y)进行量化,以方向子空间中点的比重作为纵坐标,构建运动边缘方向直方图。
5.如权利要求4所述的基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,其特征在于,所述MM=24~36。
6.如权利要求1所述的基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,其特征在于,所述步骤2中,A1=2、A2=-1、B=1。
7.如权利要求1所述的基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,其特征在于,所述步骤4中,σ=0.1~0.3;σ1=0.1~0.3。
8.如权利要求1所述的基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,其特征在于,所述步骤6中,β=0.1~0.3。
9.如权利要求1所述的基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法,其特征在于,所述步骤7中,Nth=2N/3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611246452.3A CN106780560B (zh) | 2016-12-29 | 2016-12-29 | 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611246452.3A CN106780560B (zh) | 2016-12-29 | 2016-12-29 | 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106780560A true CN106780560A (zh) | 2017-05-31 |
CN106780560B CN106780560B (zh) | 2020-11-06 |
Family
ID=58928938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611246452.3A Active CN106780560B (zh) | 2016-12-29 | 2016-12-29 | 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106780560B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108182447A (zh) * | 2017-12-14 | 2018-06-19 | 南京航空航天大学 | 一种基于深度学习的自适应粒子滤波目标跟踪方法 |
CN108444478A (zh) * | 2018-03-13 | 2018-08-24 | 西北工业大学 | 一种用于水下航行器的移动目标视觉位姿估计方法 |
CN108492318A (zh) * | 2018-03-01 | 2018-09-04 | 西北工业大学 | 一种基于仿生技术的目标跟踪的方法 |
CN109101872A (zh) * | 2018-06-20 | 2018-12-28 | 济南大学 | 一种3d手势鼠标的生成方法 |
CN109919972A (zh) * | 2018-12-29 | 2019-06-21 | 西安理工大学 | 一种自适应融合特征提取的全景视觉跟踪方法 |
CN112288777A (zh) * | 2020-12-16 | 2021-01-29 | 西安长地空天科技有限公司 | 一种使用粒子滤波算法对激光断点跟踪方法 |
CN113096157A (zh) * | 2021-04-30 | 2021-07-09 | 华侨大学 | 一种可靠的局部目标跟踪方法及跟踪器 |
CN116680656A (zh) * | 2023-07-31 | 2023-09-01 | 合肥海普微电子有限公司 | 基于生成型预训练变换器的自动驾驶运动规划方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040220769A1 (en) * | 2003-05-02 | 2004-11-04 | Yong Rui | System and process for tracking an object state using a particle filter sensor fusion technique |
CN101308607A (zh) * | 2008-06-25 | 2008-11-19 | 河海大学 | 基于视频的混合交通环境下移动目标多特征融合跟踪方法 |
CN102722702A (zh) * | 2012-05-28 | 2012-10-10 | 河海大学 | 多特征融合的粒子滤波视频目标跟踪方法 |
-
2016
- 2016-12-29 CN CN201611246452.3A patent/CN106780560B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040220769A1 (en) * | 2003-05-02 | 2004-11-04 | Yong Rui | System and process for tracking an object state using a particle filter sensor fusion technique |
CN101308607A (zh) * | 2008-06-25 | 2008-11-19 | 河海大学 | 基于视频的混合交通环境下移动目标多特征融合跟踪方法 |
CN102722702A (zh) * | 2012-05-28 | 2012-10-10 | 河海大学 | 多特征融合的粒子滤波视频目标跟踪方法 |
Non-Patent Citations (1)
Title |
---|
代东林: "《基于多特征融合与粒子滤波的目标跟踪》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108182447A (zh) * | 2017-12-14 | 2018-06-19 | 南京航空航天大学 | 一种基于深度学习的自适应粒子滤波目标跟踪方法 |
CN108182447B (zh) * | 2017-12-14 | 2020-04-21 | 南京航空航天大学 | 一种基于深度学习的自适应粒子滤波目标跟踪方法 |
CN108492318A (zh) * | 2018-03-01 | 2018-09-04 | 西北工业大学 | 一种基于仿生技术的目标跟踪的方法 |
CN108492318B (zh) * | 2018-03-01 | 2022-04-26 | 西北工业大学 | 一种基于仿生技术的目标跟踪的方法 |
CN108444478B (zh) * | 2018-03-13 | 2021-08-10 | 西北工业大学 | 一种用于水下航行器的移动目标视觉位姿估计方法 |
CN108444478A (zh) * | 2018-03-13 | 2018-08-24 | 西北工业大学 | 一种用于水下航行器的移动目标视觉位姿估计方法 |
CN109101872A (zh) * | 2018-06-20 | 2018-12-28 | 济南大学 | 一种3d手势鼠标的生成方法 |
CN109101872B (zh) * | 2018-06-20 | 2023-04-18 | 济南大学 | 一种3d手势鼠标的生成方法 |
CN109919972A (zh) * | 2018-12-29 | 2019-06-21 | 西安理工大学 | 一种自适应融合特征提取的全景视觉跟踪方法 |
CN109919972B (zh) * | 2018-12-29 | 2022-09-30 | 西安理工大学 | 一种自适应融合特征提取的全景视觉跟踪方法 |
CN112288777A (zh) * | 2020-12-16 | 2021-01-29 | 西安长地空天科技有限公司 | 一种使用粒子滤波算法对激光断点跟踪方法 |
CN113096157A (zh) * | 2021-04-30 | 2021-07-09 | 华侨大学 | 一种可靠的局部目标跟踪方法及跟踪器 |
CN113096157B (zh) * | 2021-04-30 | 2023-07-28 | 华侨大学 | 一种可靠的局部目标跟踪方法及跟踪器 |
CN116680656A (zh) * | 2023-07-31 | 2023-09-01 | 合肥海普微电子有限公司 | 基于生成型预训练变换器的自动驾驶运动规划方法及系统 |
CN116680656B (zh) * | 2023-07-31 | 2023-11-07 | 合肥海普微电子有限公司 | 基于生成型预训练变换器的自动驾驶运动规划方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106780560B (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106780560B (zh) | 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法 | |
CN108171112B (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
Zhou et al. | Efficient road detection and tracking for unmanned aerial vehicle | |
Apeltauer et al. | Automatic vehicle trajectory extraction for traffic analysis from aerial video data | |
CN106204572B (zh) | 基于场景深度映射的道路目标深度估计方法 | |
CN109598794B (zh) | 三维gis动态模型的构建方法 | |
Azevedo et al. | Automatic vehicle trajectory extraction by aerial remote sensing | |
CN108981672A (zh) | 基于单目机器人与测距传感器结合的舱门实时定位方法 | |
Rout | A survey on object detection and tracking algorithms | |
CN103149939A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
CN103778645B (zh) | 一种基于图像的圆形目标实时跟踪方法 | |
CN108804992B (zh) | 一种基于深度学习的人群统计方法 | |
CN102447835A (zh) | 无盲区多目标协同跟踪方法及系统 | |
CN107808524B (zh) | 一种基于无人机的道路交叉口车辆检测方法 | |
CN111340881A (zh) | 一种动态场景下基于语义分割的直接法视觉定位方法 | |
Li et al. | Road markings extraction based on threshold segmentation | |
CN116879870B (zh) | 一种适用于低线束3d激光雷达的动态障碍物去除方法 | |
CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
CN103198491A (zh) | 室内的视觉定位方法 | |
CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
Roy et al. | A comprehensive survey on computer vision based approaches for moving object detection | |
Qureshi et al. | Vehicle detection and tracking using kalman filter over aerial images | |
CN109558877B (zh) | 基于kcf的海上目标跟踪算法 | |
Shao et al. | A robust method for multi object tracking in autonomous ship navigation systems | |
Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |