CN106447691A - 基于加权多示例学习的加权极限学习机视频目标跟踪方法 - Google Patents
基于加权多示例学习的加权极限学习机视频目标跟踪方法 Download PDFInfo
- Publication number
- CN106447691A CN106447691A CN201610570469.8A CN201610570469A CN106447691A CN 106447691 A CN106447691 A CN 106447691A CN 201610570469 A CN201610570469 A CN 201610570469A CN 106447691 A CN106447691 A CN 106447691A
- Authority
- CN
- China
- Prior art keywords
- training
- network
- total
- weight
- weighted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 85
- 230000006870 function Effects 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000005284 excitation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004806 packaging method and process Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 29
- 238000002474 experimental method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于加权多示例学习的加权极限学习机视频目标跟踪方法,主要解决现有技术中跟踪准确性差的问题,其实现步骤是:1.初始化类哈尔特征模型池并构造多种特征模型块,设置加权极限学习机网络参数;2.在当前帧提取训练样本及其对应于不同特征模型块的特征块;3.计算加权多示例学习权值;4.构建对应于不同特征块的多个网络并选择包的相似性函数值最大的网络与相应的特征模型块;5.计算网络全局输出权值;6.在下一帧提取检测样本及其对应于选择的特征模型块的特征块;7.使用已选择的网络对检测样本进行分类并得到下一帧目标位置;8.重复以上步骤,直到视频结束。本发明提高了跟踪的准确性,可实现对目标的鲁棒跟踪。
Description
技术领域
本发明属于目标跟踪技术领域,特别涉及一种加权极限学习机视频目标跟踪方法,可用于智能视频检索、医学图像处理以及光电武器末端制导。
背景技术
视频目标跟踪是计算机视觉领域与人工智能领域的重要研究方向,它的主要任务是在视频序列中跟踪感兴趣的单目标或多目标。
视频目标跟踪的跟踪模型主要可以分为两类:生成模型与判别模型。生成模型为目标的表观建模得到表观模型,然后在下一帧图像中搜索与当前帧图像建立的目标表观模型匹配度最高的表观模型,并把相应的位置作为跟踪结果,这种方法主要是基于模板或者子空间模型,但这种方法只利用目标信息而不考虑背景信息;而判别模型属于二值分类的范畴,它同时对目标和背景建模,它在当前跟踪结果周围提取正负样本并训练一个在线分类器,当下一帧图像到来,在下一帧图像中对应于上一帧跟踪结果位置附近采样,然后分类器对这些样本进行分类,选取置信度最大的样本对应的位置作为新的跟踪结果。
通过判别模型进行视频目标跟踪已经成为了一种趋势,但是在处理复杂场景如光照变化、部分遮挡、目标姿态变化、运动模糊、快速运动等问题时仍然会出现跟踪偏差甚至跟踪失败,所以基于判别模型的视频目标跟踪算法十分值得研究。
当前一些跟踪算法利用机器学习算法进行视频目标跟踪,但用于视频目标跟踪的许多传统算法存在一些问题。比如反向传播算法BP需要迭代调整参数而且一般只有局部最优解,用于视频跟踪时,它的跟踪准确性不能满足实际要求,同时训练网络时需要较长的训练时间;又如支持向量机算法SVM在理论上只能得出次优解,会导致跟踪偏差,而且数据量较大时需要的学习时间较长。
发明内容
本发明的目的在于针对上述已有技术中跟踪准确性差的问题,提出一种基于加权多示例学习的加权极限学习机视频目标跟踪方法,以提高在复杂环境下,如目标姿态变化、目标快速移动、视频图像模糊、复杂背景与部分遮挡的目标跟踪精度,满足视频目标跟踪的要求。
实现本发明的技术关键是:结合加权多示例学习的方法与加权极限学习机的方法实现鲁棒的跟踪,即在加权极限学习机的跟踪框架下加入加权多示例学习的模块,利用加权多示例学习的方法选取加权极限学习机网络与相应的特征模型块,在加权极限学习机的框架中考虑了正负包中正负样本的分布规律,同时在加权极限学习机的全局输出权值的计算中使用自适应更新参数以充分利用目标与背景的变化信息。其实现步骤如下:
(1)初始化:
(1a)构建包含M种特征模型的特征模型池Φ;
(1b)对特征模型池Φ中的特征模型进行随机分配,得到总的E组特征模型块V;
(1c)选择加权极限学习机作为分类器,并确定它的隐层激励函数g(·)与隐层节点个数L;
(1d)随机产生加权极限学习机的输入权值A与隐层偏置R;
(2)提取训练样本:
(2a)读入第k帧视频图像Ik,判断是否满足k=1,若满足,则直接利用已知的目标位置或者利用目标检测方法得出的跟踪目标位置否则,利用第(k-1)帧预测第k帧的目标位置其对应的置信度为confk;
(2b)在目标位置周围采集带标签的训练正样本与训练负样本,分别放入正包与负包中,并计算训练样本的权重矩阵W,同时构造训练样本标签集合Tk;
(2c)根据总的E组特征模型块V,提取正包与负包中训练正负样本对应的总的E组归一化特征块Fk;
(3)计算加权多示例学习中的正权值ω1i与负权值ω0j;
(4)构建分类器:
(4a)利用隐层激励函数g(·)、输入权值A、隐层偏置R、总的E组归一化特征块Fk、训练样本的权重矩阵W以及作为期望输出的训练样本标签集合Tk,采用加权极限学习机算法对E个网络进行训练,得到E个加权极限学习机网络的总输出权值βk;
(4b)根据E个加权极限学习机网络的总输出权值βk,得到总的E组训练输出Yk;
(4c)根据总的E组训练输出Yk,采用加权多示例学习方法中包的相似性函数从E个加权极限学习机网络中选择函数值最大的加权极限学习机网络与对应的特征模型块V*;
(5)判断是否满足k=1,若是,则此时网络总输出权值βk即为总全局输出权值Pk,否则,根据目标位置的置信度confk,采用分段函数确定自适应更新参数μk,使用μk与网络总输出权值βk计算,得到第k帧的E个网络的总全局输出权值Pk:
Pk=(1-μk)×Pk-1+μk×βk,
其中Pk-1表示第(k-1)帧的E个网络的总全局输出权值;
(6)读入第(k+1)帧视频图像Ik+1,在Ik+1图像中的第k帧目标位置附近提取检测样本,并根据选中的特征模型块V*提取相应的归一化特征块
(7)分类检测样本:
(7a)在得到总全局输出权值Pk后,将选择的加权极限学习机网络作为检测网络,并把提取的归一化特征块输入到检测网络中,采用加权极限学习机算法计算得到检测网络输出值TYk+1;
(7b)寻找检测网络输出值TYk+1中最大值所对应的位置,即为第(k+1)帧的目标位置
(8)检查第(k+1)帧的视频图像是否为最后一帧,若是,则目标跟踪过程结束,否则,令k=k+1,返回步骤(2)。
本发明与现有技术相比,具有以下优点:
1.本发明运用加权极限学习机算法作为跟踪算法,在训练时使用权重矩阵,而且输出权值具有最优解析解,不需要迭代调整参数,并且在全局输出权值的计算中使用自适应更新参数,充分利用了目标与背景的变化信息,提高了跟踪的准确性与鲁棒性;
2.本发明运用加权多示例学习的方法在不同的特征模型块中选择最优特征模型块,该最优特征模型块具有最大区分目标与背景的能力,提高了跟踪的稳定性。
附图说明
图1是本发明的实现流程图;
图2是用本发明对BlurCar4视频序列进行跟踪的实验结果图;
图3是用本发明对MountainBike视频序列进行跟踪的实验结果图;
图4是用本发明对Deer视频序列进行跟踪的实验结果图;
图5是用本发明对Tiger1视频序列进行跟踪的实验结果图。
具体实施方式
以下参照附图,对本发明的技术方案和效果进行进一步说明:
参照图1,本发明的具体实施步骤如下:
步骤1.初始化。
1.1)初始化目标特征:
视频跟踪中常用的特征包括:灰度特征、红、绿、蓝RGB颜色特征、色度,饱和度、亮度HSV颜色特征、梯度特征、尺度不变特征变换SIFT特征、局部二元模式LBP特征、类哈尔Haar-like特征;本实例使用但不限于现有特征中的类哈尔特征作为目标特征,并构建包含M种类哈尔特征模型的特征模型池Φ;
1.2)将特征模型池Φ中的特征模型随机分配,得到总的E组特征模型块其中e为特征模型块的序号,取值为1,...,E,E为特征模型块的总数,Ve为第e组特征模型块,每组包含的特征模型数为U,50≤U≤500;
1.3)选择加权极限学习机作为分类器,确定它的隐层激励函数g(·)为sigmoid函数:
并选定隐层节点个数为L;
1.4)随机产生加权极限学习机网络的输入权值A与隐层偏置R,分别表示如下:
其中Ae为第e个加权极限学习机网络的隐层节点输入权值,表示为:
其中l为隐层节点的序号,ale为第e个加权极限学习机网络的第l个隐层节点对应的输入权值, 是ale的第u个输入权值,Re为第e个加权极限学习机网络的隐层节点偏置,表示为:
Re=[r1e,...,rle,...rLe]T∈RL×1, <5>
其中rle为第e个加权极限学习机网络的第l个隐层节点的隐层偏置,E个网络中不同网络的输入权值Ae是相同的,而且E个网络中不同网络的隐层偏置Re是相同的,T表示向量转置运算。
步骤2.提取训练样本。
2.1)读入第k帧视频图像Ik,判断是否满足k=1,若满足,则直接利用已知的目标位置或者利用目标检测方法得出的跟踪目标位置否则,利用第(k-1)帧预测第k帧的目标位置其对应的置信度为confk;
2.2)采集训练样本:
2.2.1)在目标位置周围采集带标签的训练正样本与训练负样本其中x1i是第i个正样本,x0j是第j个负样本,是正样本的总数,是负样本的总数,并将采集的正样本与负样本分别放入正包与负包中,其表示如下:
其中,R+表示正包中正样本的采样半径,与分别表示负包中负样本的采样内半径与外半径,lk(x1i)表示正样本x1i在图像Ik中的位置,lk(x0j)表示负样本x0j在图像Ik中的位置,并且使正样本x1i的标签与正包的标签t+相同,都为1,负样本x0j的标签与负包的标签t-相同,都为0;
2.2.2)根据步骤2.2.1)采集的正包中训练正样本与负包中训练负样本计算正样本x1i的权重与负样本x0j的权重
2.2.3)根据步骤2.2.2)得到的正样本x1i的权重与负样本x0j的权重得到训练样本的权重矩阵W:
其中diag为对角矩阵符号;
2.2.4)根据步骤2.2.1)采集的正包中训练正样本与负包中训练负样本构造训练样本标签集合Tk:
2.3)提取训练样本的特征:
2.3.1)根据步骤1.2)得到的总的E组特征模型块V,提取正包中所有训练正样本对应的第e组归一化特征块
其中表示正样本x1i对应的第e组归一化特征块,为中的第u个特征分量,u=1,...,U;
2.3.2)根据步骤2.3.1)得到的正包中所有训练正样本对应的第e组特征块得到正包中所有训练正样本对应的E组归一化特征块
2.3.3)根据步骤1.2)得到的总的E组特征模型块V,提取负包中所有训练负样本对应的第e组归一化特征块
其中表示负样本x0j对应的第e组归一化特征块,为中的第u个特征分量;
2.3.4)根据步骤2.3.3)得到的负包中所有训练负样本对应的第e组特征块得到负包中所有训练负样本对应的E组归一化特征块
2.3.5)将步骤2.3.2)中得到的正包中所有训练正样本对应的E组归一化特征块与步骤2.3.4)中得到的负包中所有训练负样本对应的E组归一化特征块结合,得到所有训练样本对应的总的E组归一化特征块Fk:
其中表示所有训练样本对应的第e组归一化特征块。
步骤3.计算多示例权值。
3.1)计算加权多示例学习中的正权值ω1i:
其中,α1表示一个常数,exp(·)表示自然常数e的指数运算,di表示正样本x1i的位置lk(x1i)与目标位置之间的欧几里得距离;
3.2)计算加权多示例学习中的负权值ω0j:
ω0j=ω0, <18>
其中,w0为一个常数。
步骤4.构建分类器。
4.1)计算总输出权值:
4.1.1)根据步骤1.3)得到的隐层激励函数g(·)、步骤1.4)得到的输入权值A与隐层偏置R、步骤2.3.5)得到的总的E组归一化特征块Fk,分别计算第e个网络中正样本x1i的隐层输出向量与负样本x0j的隐层输出向量
4.1.2)根据步骤4.1.1)得到的第e个网络中正样本x1i的隐层输出向量与负样本x0j的隐层输出向量构造第e个网络的隐层输出矩阵He:
4.1.3)根据步骤4.1.2)得到的第e个网络的隐层输出矩阵He,得到E个加权极限学习机网络的总隐层输出矩阵H:
4.1.4)根据步骤2.2.3)得到的训练样本的权重矩阵W与步骤2.2.4)得到的作为期望输出的训练样本标签集合Tk和步骤4.1.3)得到的E个加权极限学习机网络的总隐层输出矩阵计算第e个加权极限学习机网络的输出权值
的计算与的值和L的值相关,即:
当
当 其中C是正则化参数,I是单位矩阵,表示加权极限学习机网络的总输出权值βk的第e个分量;
4.1.5)根据步骤4.1.4)得到的第e个加权极限学习机网络的输出权值得到E个加权极限学习机网络的总输出权值:
4.2)计算总的训练输出:
4.2.1)根据步骤4.1.3)得到的E个加权极限学习机网络的总隐层输出矩阵与步骤4.1.5)得到的E个加权极限学习机网络的总输出权值计算第e个加权极限学习机网络的训练输出计算公式如下:
其中,表示第e个网络中正样本x1i的训练输出,表示第e个网络中负样本x0j的训练输出;
4.2.2)根据步骤4.2.1)得到的第e个网络的训练输出得到总的E组训练输出Yk:
4.3)选择网络与相应的特征模型块:
4.3.1)确定加权多示例学习方法中包的相似性函数
其中:
为第e个网络中第i个正样本x1i的训练输出 为第e个网络中第j个负样本x0j的训练输出ln(·)表示以自然常数e为底数的对数函数;
4.3.2)使用步骤4.3.1)中的函数对步骤4.2.2)得到的总的E组训练输出进行计算,得到函数值
其中表示第e个网络的函数值;
4.3.3)根据步骤4.3.2)中得到的函数值从中选择函数值最大的该最大值对应的第q组网络即为选中的加权极限学习机网络,同时第q组特征模型块Vq即为选中的特征模型块V*,q=1,...,E。
步骤5.计算分类器总全局输出权值。
5.1)对于第1帧(k=1)视频图像,总全局输出权值Pk为网络总输出权值βk,即Pk=βk;
5.2)对于其余帧(k≠1)视频图像,按如下步骤计算:
5.2.1)采用分段函数计算自适应更新参数μk:
其中,c为一个0到1之间的常数,α是一个常数;
5.2.2)根据步骤4.1.5)得到的E个加权极限学习机网络的总输出权值与步骤5.2.1)得到的自适应更新参数μk,计算第e个网络的全局输出权值
其中,表示加权极限学习机网络的总全局输出权值Pk的第e个分量,表示第(k-1)帧的第e个网络的全局输出权值;
5.2.3)根据步骤5.2.2)得到的第e个网络的全局输出权值得到总全局输出权值Pk:
步骤6.提取检测样本。
6.1)读入第(k+1)帧视频图像Ik+1,在Ik+1图像中第k帧目标位置附近采样,提取检测样本
其中是第(k+1)帧检测样本的总数,xs是第s个检测样本,lk+1(xs)表示检测样本xs在图像Ik+1中的位置,Rd是检测样本的采样半径,
6.2)根据步骤4.3.3)选中的特征模型块V*,提取检测样本对应的归一化特征块表示为:
其中表示检测样本xs对应的特征块,为中的第u个特征分量。
步骤7.分类检测样本。
7.1)计算检测网络输出:
7.1.1)将步骤4.3.3)选中的加权极限学习机网络作为检测网络,同时利用步骤1.3)得到的隐层激励函数g(·)、步骤1.4)得到的输入权值A与隐层偏置R,并且将步骤6.2)得到的归一化特征块作为检测网络的输入,计算检测样本xs的隐层输出向量
7.1.2)根据步骤7.1.1)得到的检测样本xs的隐层输出向量构造检测样本的隐层输出矩阵Q:
7.1.3)根据步骤7.1.2)得到的检测样本隐层输出矩阵Q与步骤5.2.3)得到的全局输出权值计算所有检测样本对应的网络输出值TYk+1:
其中,表示检测样本xs对应的网络输出值;
7.2)根据步骤7.1.3)得到的网络输出值TYk+1,寻找其中的最大值confk+1,该最大值confk+1对应的位置即为第(k+1)帧的目标位置
步骤8.检查第(k+1)帧的视频图像是否为最后一帧,若是,目标跟踪过程结束,否则,令k=k+1,返回步骤2。
本发明的效果可通过以下实验进一步说明:
1.实验条件。
实验环境:计算机采用Intel(R)Core(TM)i5-2400CPU@3.1Ghz,4GB内存,软件采用Matlab2013a仿真实验平台。
实验参数:特征模型池中特征模型总数M=1000,特征模型块组数E=10,每组特征模型块中特征模型数U=100;正包中正样本的采样半径R+=4,负包中负样本的采样内半径采样外半径检测样本采样半径Rd=60;加权极限学习机网络中的隐层节点个数L=1000,正则化参数C=27,全局输出权值计算过程中分段函数的参数c=0.3,α=0.1;加权多示例学习中的参数α1=1,ω0等于负包中所有负样本总数的倒数。
2.实验内容与结果。
实验1:用本发明方法在上述实验参数中,对BlurCar4视频序列进行跟踪,结果如图2所示,其中:
图2(a)为用本发明对BlurCar4视频序列第12帧进行跟踪的结果图;
图2(b)为用本发明对BlurCar4视频序列第110帧进行跟踪的结果图;
图2(c)为用本发明对BlurCar4视频序列第231帧进行跟踪的结果图;
图2(d)为用本发明对BlurCar4视频序列第292帧进行跟踪的结果图;
从图2中可以看出,对于目标快速运动与运动模糊的场景,本发明能够得到很好的跟踪效果。
实验2:用本发明方法在上述实验参数中,对MountainBike视频序列进行跟踪,结果如图3所示,其中:
图3(a)为用本发明对MountainBike视频序列第42帧进行跟踪的结果图;
图3(b)为用本发明对MountainBike视频序列第71帧进行跟踪的结果图;
图3(c)为用本发明对MountainBike视频序列第123帧进行跟踪的结果图;
图3(d)为用本发明对MountainBike视频序列第156帧进行跟踪的结果图;
从图3中可以看出,当目标出现在复杂背景中且姿态不断改变时,本发明能够对目标准确跟踪。
实验3:用本发明方法在上述实验参数中,对Deer视频序列进行跟踪,结果如图4所示,其中:
图4(a)为用本发明对Deer视频序列第10帧进行跟踪的结果图;
图4(b)为用本发明对Deer视频序列第28帧进行跟踪的结果图;
图4(c)为用本发明对Deer视频序列第54帧进行跟踪的结果图;
图4(d)为用本发明对Deer视频序列第71帧进行跟踪的结果图;
从图4中可以看出,当目标遇到多种复杂情况如运动模糊、快速运动、姿态改变、复杂背景与视频图像低分辨率时,本发明可以实现对目标的稳定跟踪。
实验4:用本发明方法在上述实验参数中,对Tiger1视频序列进行跟踪,结果如图5所示,其中:
图5(a)为用本发明对Tiger1视频序列第14帧进行跟踪的结果图;
图5(b)为用本发明对Tiger1视频序列第58帧进行跟踪的结果图;
图5(c)为用本发明对Tiger1视频序列第148帧进行跟踪的结果图;
图5(d)为用本发明对Tiger1视频序列第206帧进行跟踪的结果图;
从图5中可以看出,当目标同时遇到光照变化、部分遮挡、姿态改变与快速运动的场景时,本发明可以实现对目标的鲁棒跟踪。
综上可以得出,本发明可以实现对目标准确、稳定与鲁棒的跟踪,尤其在目标运动模糊、快速运动、姿态改变、部分遮挡与复杂背景的场景下。
Claims (10)
1.一种基于加权多示例学习的加权极限学习机视频目标跟踪方法,包括:
(1)初始化:
(1a)构建包含M种特征模型的特征模型池Φ;
(1b)对特征模型池Φ中的特征模型进行随机分配,得到总的E组特征模型块V;
(1c)选择加权极限学习机作为分类器,并确定它的隐层激励函数g(·)与隐层节点个数L;
(1d)随机产生加权极限学习机的输入权值A与隐层偏置R;
(2)提取训练样本:
(2a)读入第k帧视频图像Ik,判断是否满足k=1,若满足,则直接利用已知的目标位置或者利用目标检测方法得出的跟踪目标位置否则,利用第(k-1)帧预测第k帧的目标位置 其对应的置信度为confk;
(2b)在目标位置周围采集带标签的训练正样本与训练负样本,分别放入正包与负包 中,并计算训练样本的权重矩阵W,同时构造训练样本标签集合Tk;
(2c)根据总的E组特征模型块V,提取正包与负包中训练正负样本对应的总的E组归一化特征块Fk;
(3)计算加权多示例学习中的正权值ω1i与负权值ω0j;
(4)构建分类器:
(4a)利用隐层激励函数g(·)、输入权值A、隐层偏置R、总的E组归一化特征块Fk、训练样本的权重矩阵W以及作为期望输出的训练样本标签集合Tk,采用加权极限学习机算法对E个网络进行训练,得到E个加权极限学习机网络的总输出权值βk;
(4b)根据E个加权极限学习机网络的总输出权值βk,得到总的E组训练输出Yk;
(4c)根据总的E组训练输出Yk,采用加权多示例学习方法中包的相似性函数从E个加权极限学习机网络中选择函数值最大的加权极限学习机网络与对应的特征模型块V*;
(5)判断是否满足k=1,若是,则此时网络总输出权值βk即为总全局输出权值Pk,否则,根据目标位置的置信度confk,采用分段函数确定自适应更新参数μk,使用μk与网络总输出权值βk计算,得到第k帧的E个网络的总全局输出权值Pk:
Pk=(1-μk)×Pk-1+μk×βk,
其中Pk-1表示第(k-1)帧的E个网络的总全局输出权值;
(6)读入第(k+1)帧视频图像Ik+1,在Ik+1图像中的第k帧目标位置附近提取检测样本,并根据选中的特征模型块V*提取相应的归一化特征块
(7)分类检测样本:
(7a)在得到总全局输出权值Pk后,将选择的加权极限学习机网络作为检测网络,并把提取的归一化特征块输入到检测网络中,采用加权极限学习机算法计算得到检测网络输出值TYk+1;
(7b)寻找检测网络输出值TYk+1中最大值所对应的位置,即为第(k+1)帧的目标位置
(8)检查第(k+1)帧的视频图像是否为最后一帧,若是,则目标跟踪过程结束,否则,令k=k+1,返回步骤(2)。
2.根据权利要求1所述的方法,其中步骤(1b)中的总的E组特征模型块V,由特征模型池Φ中的特征模型进行随机分配而得到,其表示为:
其中e为特征模型块的序号,取值为1,...,E,E为特征模型块的总数,Ve为第e组特征模型块,每组包含的特征模型数为U,50≤U≤500。
3.根据权利要求1所述的方法,其中步骤(1d)中产生的输入权值A与隐层偏置R,分别表示如下:
其中Ae为第e个加权极限学习机网络的隐层节点输入权值,表示为:
Ae=[a1e T;...;ale T;...;aLe T]∈RL×U,e=1,...,E,l=1,...,L,
其中l为隐层节点的序号,ale为第e个加权极限学习机网络的第l个隐层节点对应的输入权值, 是ale的第u个输入权值,Re为第e个加权极限学习机网络的隐层节点偏置,表示为:
Re=[r1e,...,rle,...rLe]T∈RL×1,
其中rle为第e个加权极限学习机网络的第l个隐层节点的隐层偏置,E个网络中不同网络的输入权值Ae是相同的,而且E个网络中不同网络的隐层偏置Re是相同的,T表示向量转置运算。
4.根据权利要求1所述的方法,其中步骤(2b)中计算训练样本的权重矩阵W,构造训练样本标签集合Tk,通过如下公式进行:
其中diag为对角矩阵符号,表示正包中正样本x1i的权重, 是正样本的总数,表示负包中负样本x0j的权重, 是负样本的总数, 表示正样本x1i的标签,表示负样本x0j的标签。
5.根据权利要求1所述的方法,其中步骤(2c)中提取正包与负包中训练正负样本对应的总的E组归一化特征块Fk,步骤如下:
(2c1)根据步骤(1b)得到的总的E组特征模型块V提取正包中所有训练正样本对应的E组归一化特征块 是正包中所有训练正样本对应的第e组归一化特征块,表示为:
其中表示正样本x1i对应的第e组归一化特征块,为中的第u个特征分量,u=1,...,U;
(2c2)根据步骤(1b)得到的总的E组特征模型块V提取负包中所有训练负样本对应的E组归一化特征块 是负包中所有训练负样本对应的第e组归一化特征块,表示为:
其中表示负样本x0j对应的第e组归一化特征块,为中的第u个特征分量,u=1,...,U;
(2c3)将步骤(2c1)中得到的正包中所有训练正样本对应的E组归一化特征块与步骤(2c2)中得到的负包中所有训练负样本对应的E组归一化特征块结合,得到所有训练样本对应的总的E组归一化特征块Fk,表示为:
其中表示所有训练样本对应的第e组归一化特征块。
6.根据权利要求1所述的方法,其中步骤(3)中加权多示例学习中的正权值ω1i与负权值ω0j,计算公式如下:
ω0j=ω0,
其中ω1i表示对应于正样本x1i的权值,α1表示一个常数,exp(·)表示自然常数e的指数运算,di表示正样本x1i的位置lk(x1i)与目标位置之间的欧几里得距离,ω0j表示对应于负样本x0j的权值,ω0为一个常数,
7.根据权利要求1所述的方法,其中步骤(4a)中的E个加权极限学习机网络的总输出权值βk,通过以下步骤计算:
(4a1)根据步骤(1c)得到的隐层激励函数g(·)、步骤(1d)得到的输入权值A与隐层偏置R、步骤(2c)得到的总的E组归一化特征块Fk,计算第e个网络中正样本x1i的隐层输出向量与负样本x0j的隐层输出向量
其中e=1,...,E,l=1,...,L;
(4a2)根据步骤(4a1)得到的第e个网络中正样本x1i的隐层输出向量与负样本x0j的隐层输出向量构造第e个网络的隐层输出矩阵He:
(4a3)根据步骤(4a2)得到的第e个网络的隐层输出矩阵He,得到E个加权极限学习机网络的总隐层输出矩阵
(4a4)根据步骤(2b)得到的训练样本的权重矩阵W与作为期望输出的训练样本标签集合Tk和步骤(4a3)得到的E个加权极限学习机网络的总隐层输出矩阵H,计算第e个加权极限学习机网络的输出权值
当
当
其中C是正则化参数,I是单位矩阵,表示加权极限学习机网络的总输出权值βk的第e个分量;
(4a5)根据步骤(4a4)得到的第e个加权极限学习机网络的输出权值得到E个加权极限学习机网络的总输出权值:
8.根据权利要求1所述的方法,其中步骤(4b)中总的E组训练输出Yk,其表示如下:
其中,表示第e个加权极限学习机网络的训练输出,计算公式为:
其中,He表示第e个加权极限学习机网络的隐层输出矩阵,为第e个网络的输出权值,表示第e个网络中正样本x1i的训练输出,表示第e个网络中负样本x0j的训练输出,e=1,...,E。
9.根据权利要求1所述的方法,其中步骤(4c)中采用加权多示例学习的方法选择加权极限学习机网络与对应的特征模型块V*,通过如下步骤进行:
(4c1)确定加权多示例学习方法中包的相似性函数
其中:
为第e个网络中正样本x1i的训练输出 为第e个网络中负样本x0j的训练输出ln(·)表示以自然常数e为底数的对数函数,e=1,...,E;
(4c2)使用步骤(4c1)中的函数对E个网络进行计算,得到函数值
其中表示第e个网络的函数值;
(4c3)根据步骤(4c2)中得到的函数值从中选择函数值最大的该最大值对应的第q组网络即为选中的加权极限学习机网络,同时第q组特征模型块Vq即为选中的特征模型块V*,q=1,...,E。
10.根据权利要求1所述的方法,其中步骤(5)中总全局输出权值Pk,计算如下:
(5a)对于第1帧(k=1)视频图像,总全局输出权值Pk为网络总输出权值βk,即Pk=βk;
(5b)对于其余帧(k≠1)视频图像,按如下步骤计算:
(5b1)采用分段函数计算自适应更新参数μk:
其中,confk是目标位置的置信度,c为一个0到1之间的常数,exp(·)表示自然常数e的指数运算,α是一个常数;
(5b2)根据步骤(4a)得到的E个加权极限学习机网络的总输出权值βk与步骤(5b1)得到的自适应更新参数μk,计算第e个网络的全局输出权值
其中,表示加权极限学习机网络的总全局输出权值Pk的第e个分量,表示第(k-1)帧的第e个网络的全局输出权值,为第e个加权极限学习机网络的输出权值即总输出权值βk的第e个分量;
(5b3)根据步骤(5b2)得到的第e个网络的全局输出权值得到总全局输出权值Pk:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610570469.8A CN106447691A (zh) | 2016-07-19 | 2016-07-19 | 基于加权多示例学习的加权极限学习机视频目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610570469.8A CN106447691A (zh) | 2016-07-19 | 2016-07-19 | 基于加权多示例学习的加权极限学习机视频目标跟踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106447691A true CN106447691A (zh) | 2017-02-22 |
Family
ID=58184598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610570469.8A Pending CN106447691A (zh) | 2016-07-19 | 2016-07-19 | 基于加权多示例学习的加权极限学习机视频目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106447691A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537822A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于加权置信度估计的运动目标跟踪方法 |
CN110458887A (zh) * | 2019-07-15 | 2019-11-15 | 天津大学 | 一种基于pca的加权融合室内定位方法 |
CN112598024A (zh) * | 2020-12-03 | 2021-04-02 | 天津理工大学 | 一种基于深度多示例学习和自注意力的医学图像分类方法 |
CN114299345A (zh) * | 2022-01-04 | 2022-04-08 | 北京理工大学 | 一种基于跟踪微分器的极限学习机的图像分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325125A (zh) * | 2013-07-03 | 2013-09-25 | 北京工业大学 | 基于改进多示例学习算法的运动目标跟踪方法 |
CN103646255A (zh) * | 2013-11-13 | 2014-03-19 | 扬州西岐自动化科技有限公司 | 一种基于Gabor特征和极限学习机的人脸检测方法 |
CN104992453A (zh) * | 2015-07-14 | 2015-10-21 | 国家电网公司 | 基于极限学习机的复杂背景下目标跟踪方法 |
CN106296734A (zh) * | 2016-08-05 | 2017-01-04 | 合肥工业大学 | 基于极限学习机和boosting多核学习的目标跟踪算法 |
-
2016
- 2016-07-19 CN CN201610570469.8A patent/CN106447691A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325125A (zh) * | 2013-07-03 | 2013-09-25 | 北京工业大学 | 基于改进多示例学习算法的运动目标跟踪方法 |
CN103646255A (zh) * | 2013-11-13 | 2014-03-19 | 扬州西岐自动化科技有限公司 | 一种基于Gabor特征和极限学习机的人脸检测方法 |
CN104992453A (zh) * | 2015-07-14 | 2015-10-21 | 国家电网公司 | 基于极限学习机的复杂背景下目标跟踪方法 |
CN106296734A (zh) * | 2016-08-05 | 2017-01-04 | 合肥工业大学 | 基于极限学习机和boosting多核学习的目标跟踪算法 |
Non-Patent Citations (3)
Title |
---|
刘威等: ""一种基于压缩感知的在线学习跟踪算法"", 《光学学报》 * |
遇炳杰等: ""加权极限学习机在变压器故障诊断中的应用"", 《计算机工程与设计》 * |
陈东成等: ""在线加权多示例学习实时目标跟踪"", 《光学精密工程》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537822A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于加权置信度估计的运动目标跟踪方法 |
CN108537822B (zh) * | 2017-12-29 | 2020-04-21 | 西安电子科技大学 | 基于加权置信度估计的运动目标跟踪方法 |
CN110458887A (zh) * | 2019-07-15 | 2019-11-15 | 天津大学 | 一种基于pca的加权融合室内定位方法 |
CN110458887B (zh) * | 2019-07-15 | 2022-12-06 | 天津大学 | 一种基于pca的加权融合室内定位方法 |
CN112598024A (zh) * | 2020-12-03 | 2021-04-02 | 天津理工大学 | 一种基于深度多示例学习和自注意力的医学图像分类方法 |
CN112598024B (zh) * | 2020-12-03 | 2022-08-09 | 天津理工大学 | 一种基于深度多示例学习和自注意力的医学图像分类方法 |
CN114299345A (zh) * | 2022-01-04 | 2022-04-08 | 北京理工大学 | 一种基于跟踪微分器的极限学习机的图像分类方法 |
CN114299345B (zh) * | 2022-01-04 | 2024-09-03 | 北京理工大学 | 一种基于跟踪微分器的极限学习机的图像分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108460338B (zh) | 人体姿态估计方法和装置、电子设备、存储介质、程序 | |
Oh et al. | Approaching the computational color constancy as a classification problem through deep learning | |
CN106897738B (zh) | 一种基于半监督学习的行人检测方法 | |
CN112036447B (zh) | 零样本目标检测系统及可学习语义和固定语义融合方法 | |
CN109829449B (zh) | 一种基于超像素时空上下文的rgb-d室内场景标注方法 | |
CN110222686B (zh) | 物体检测方法、装置、计算机设备和存储介质 | |
Yang et al. | An improving faster-RCNN with multi-attention ResNet for small target detection in intelligent autonomous transport with 6G | |
CN106599789A (zh) | 视频类别识别方法和装置、数据处理装置和电子设备 | |
Obinata et al. | Temporal extension module for skeleton-based action recognition | |
Sahoo et al. | HAR-depth: a novel framework for human action recognition using sequential learning and depth estimated history images | |
CN105740915B (zh) | 一种融合感知信息的协同分割方法 | |
CN108038515A (zh) | 无监督多目标检测跟踪方法及其存储装置与摄像装置 | |
Janku et al. | Fire detection in video stream by using simple artificial neural network | |
CN106447691A (zh) | 基于加权多示例学习的加权极限学习机视频目标跟踪方法 | |
Reddy et al. | AdaCrowd: Unlabeled scene adaptation for crowd counting | |
WO2021200392A1 (ja) | データ調整システム、データ調整装置、データ調整方法、端末装置及び情報処理装置 | |
Hsu et al. | Human body motion parameters capturing using kinect | |
CN116258937A (zh) | 基于注意力机制的小样本分割方法、装置、终端及介质 | |
Araga et al. | Real time gesture recognition system using posture classifier and Jordan recurrent neural network | |
Kadim et al. | Deep-learning based single object tracker for night surveillance. | |
Ahmed et al. | Robust Object Recognition with Genetic Algorithm and Composite Saliency Map | |
CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
CN113011513B (zh) | 一种基于通用域自适应的图像大数据分类方法 | |
Sruthi et al. | Double-handed dynamic gesture recognition using contour-based hand tracking and maximum mean probability ensembling (MMPE) for Indian Sign language | |
Ullah et al. | Weakly-supervised action localization based on seed superpixels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170222 |
|
WD01 | Invention patent application deemed withdrawn after publication |