CN102663419A - 基于表示模型和分类模型的云台跟踪方法 - Google Patents

基于表示模型和分类模型的云台跟踪方法 Download PDF

Info

Publication number
CN102663419A
CN102663419A CN2012100776386A CN201210077638A CN102663419A CN 102663419 A CN102663419 A CN 102663419A CN 2012100776386 A CN2012100776386 A CN 2012100776386A CN 201210077638 A CN201210077638 A CN 201210077638A CN 102663419 A CN102663419 A CN 102663419A
Authority
CN
China
Prior art keywords
benchmark
affine matrix
prototype
profile
gray scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100776386A
Other languages
English (en)
Inventor
朱松纯
解易
雷鹏
姚振宇
明安龙
宋桂岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU SHIRUAN INTELLIGENT SYSTEM CO Ltd
Original Assignee
JIANGSU SHIRUAN INTELLIGENT SYSTEM CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU SHIRUAN INTELLIGENT SYSTEM CO Ltd filed Critical JIANGSU SHIRUAN INTELLIGENT SYSTEM CO Ltd
Priority to CN2012100776386A priority Critical patent/CN102663419A/zh
Publication of CN102663419A publication Critical patent/CN102663419A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种基于表示模型和分类模型的云台跟踪方法，主要包括以下步骤：a）目标初始化：生成灰度基准仿射矩阵和轮廓原型基准仿射矩阵；b）根据上述灰度基准仿射矩阵和轮廓原型基准仿射矩阵生成粒子；c）初始化分类器；d）对上述b步骤中生成的粒子进行带重新初始化的粒子滤波；e）估计检测的目标位置；f）利用c步骤中的分类器判断上述检测到的目标位置是否丢失；g）若上述分类器的返回值超过阀值，则更新分类器，返回步骤d，如上述分类器的返回值没有超过阀值，则对目标进行检测。这样，可避免目标在跟踪过程中由于受到光照剧烈变化，快速非平面运动或者被其他物体遮挡等影响而发生漂移。<b/>

Description

基于表示模型和分类模型的云台跟踪方法
技术领域
本发明涉及视频监控领域，确切地说，涉及视觉目标跟踪领域，是一种基于表示模型和分类模型的云台跟踪方法。
背景技术
云台跟踪算法，通过云台摄像机拍摄的视频，跟踪选定的目标。在云台摄像机跟踪目标物体的过程中，由于不能像静态摄像机那样创建静态背景，因此需要通过外观和分类模型等方法来区分前景和背景，以最终确定被跟踪目标的位置，给出准确的目标框。利用此技术可以对被监控区域的感兴趣行人目标进行跟踪，为智能视频分析的上层应用提供重要的目标位置信息。
当前流行的云台跟踪算法主要是通过增量学习被跟踪的目标的灰度外观模型来不断的自适应目标的外观变化。这种方法假设目标灰度外观在任何时刻的状态都是从一个高斯分布中采样得到，因此目标的外观可以通过高斯的期望与主元的加权和来表示。高斯的期望和主元是通过增量主元分析算法（IPCA）完成的，这个方法可以在目标的外观变化不是特别快，没有遮挡的情况下保持非常精确的跟踪效果。然而，在真实的云台监控环境下，往往达不到如此理想的条件，被监控的目标往往会发生迅速的非平面运动，或者因为摄像机运动导致外观变模糊，而且遮挡也经常出现。所以，在实际应用中只采用灰度外观模型的跟踪算法无法发挥有效作用。
发明内容
本发明的目的在于，针对上述问题，提出一种基于表示模型和分类模型的云台跟踪方法，以使目标在受到光照剧烈变化，快速非平面运动或者被其他物体遮挡影响，等情况下避免发生目标跟踪漂移的优点。
为实现上述目的，本发明采用的技术方案是：
一种基于表示模型和分类模型的云台跟踪方法，包括以下步骤：
a）：目标初始化：生成灰度基准仿射矩阵和轮廓原型基准仿射矩阵；
b）：根据上述灰度基准仿射矩阵和轮廓原型基准仿射矩阵生成粒子；
c）：初始化分类器；
d）：对上述b步骤中生成的粒子进行带重新初始化的粒子滤波；
e）：估计检测的目标位置；
f）：利用c步骤中的分类器判断上述检测到的目标位置是否丢失；
g）：若上述分类器的返回值超过阀值，则更新分类器，返回步骤d，如上述分类器的返回值没有超过阀值，则对目标进行检测。
根据本发明的优选实施例，上述生成灰度基准仿射矩阵和轮廓原型基准仿射矩阵包括以下步骤：
定义一个目标框，目标框的左下，左上，右上，右下角坐标表示为                                                
Figure DEST_PATH_IMAGE001
、
Figure 232235DEST_PATH_IMAGE002
、 、
Figure 837791DEST_PATH_IMAGE004
；
计算相对于左下，左上，右上坐标为
Figure DEST_PATH_IMAGE005
、
Figure 555211DEST_PATH_IMAGE006
、的区域的灰度基准仿射矩阵
Figure DEST_PATH_IMAGE007
，因为避免得到过决定问题，计算过程中没有使用右下角坐标：
Figure 950421DEST_PATH_IMAGE008
；
轮廓原型基准仿射矩阵包括正面轮廓原型基准仿射矩阵
Figure DEST_PATH_IMAGE009
和侧面轮廓原型基准仿射矩阵
Figure 951744DEST_PATH_IMAGE010
。正面轮廓的外接矩形的左下，左上，右上，右下角坐标为
Figure DEST_PATH_IMAGE011
，侧面轮廓的外接矩形的左下，左上，右上，右下角坐标为
Figure 774206DEST_PATH_IMAGE012
。计算目标框相对于正面和侧面轮廓圆形的外接矩形区域基准仿射矩阵和。与灰度基准矩阵计算类似，为避免得到过决定问题，计算过程中没有使用右下角坐标：
Figure 177823DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
；
对上述正面轮廓原型基准仿射矩阵和侧面轮廓原型基准仿射矩阵
Figure 543129DEST_PATH_IMAGE016
进行外观似然计算，确定轮廓原型基准仿射矩阵
Figure 235142DEST_PATH_IMAGE018
采用上述正面轮廓原型基准仿射矩阵或侧面轮廓原型基准仿射矩阵的一个。
根据本发明的优选实施例，上述外观似然函数为：
Figure DEST_PATH_IMAGE019
 
Figure 159104DEST_PATH_IMAGE020
是偏移向量的期望，
Figure DEST_PATH_IMAGE021
，
Figure 682489DEST_PATH_IMAGE022
表示偏移向量。
本发明的技术方案中，加入由一组控制点的连线来表示的行人轮廓，因为行人的轮廓具有相似性，所以在学习轮廓特征的时候可以共有的特性为基础开始学习。我们称这个共有特性为原型。为了获得轮廓的原型，收集了一组对齐的正面和侧面的行人图片。通过计算这些行人轮廓的平均位置来获得正面和侧面的轮廓原型。此外，假设这个偏移向量符合一个高斯分布，因此可以通过增量主元分析来获得这个偏移向量的主元。进而，通过偏移向量的主元可以计算一个椭圆分布函数来估计观测的轮廓的似然性。
在灰度和轮廓的增量主元分析表示模型以外，还采用了一个判别式模型来解决跟踪失败后处理问题。因为表示模型只能用来计算观测的似然度，所以对于跟踪失败很难进行目标检测。在此，采用了一个增量的多实例分类器用来判断是否跟踪失败，在跟踪失败后重获检测目标，恢复跟踪。普通的多实例分类器的训练集只要求被训练的目标在图像中，而不需要知道目标在训练图像中的具体位置。而多实例分类器比一般的分类器具有更鲁棒的特性。在多实例分类器的基础上，我们增加增量功能，采用增量多实例分类器。增量多实例分类器可以在学习新的训练集的时候保持之前训练集的分类结果；此外还可以对已经学习的训练集进行反学习操作。这样我们可以维持一个只由最近的观测值训练的检测器。在跟踪的过程通过增量多实例分类器来判断跟踪是否失败和重新获得目标。通过表示和分类模型的共同作用可以有效的捕捉行人目标在特征空间中的流型，有效的克服了跟踪中的目标漂移的问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例所述的基于表示模型和分类模型的云台跟踪方法的流程图；
图2a为本发明实施例所述的行人轮廓的正面轮廓原型的示意图；
图2b为本发明实施例所述的行人轮廓的侧面轮廓原型的示意图；
图3为图2a和图2b中控制点处的RMS误差的曲线图；
图4为本发明实施例中灰度和轮廓模板通过仿射变换映射到目标区域过程的示意图；
图5为本发明实施例中轮廓偏移向量过程的示意图；
图6为本发明实施例中通过分类器标注的样本训练来更新分类器的示意图；
图7为本发明实施例中灰度表示模型在跟踪视频中的更新展示图；
图8为本发明实施例中在跟踪过程中，正面和侧面轮廓的自适应跳转情况图；
图9为跟踪过程中，增量多实例分类器的分类性能（精确度/召回率曲线）的变化情况图；
图10为本发明实施例中跟踪目标通过遮挡物时候的跟踪效果。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，一种基于表示模型和分类模型的云台跟踪方法，包括以下步骤：
a）：目标初始化：生成灰度基准仿射矩阵和轮廓原型基准仿射矩阵；
b）：根据上述灰度基准仿射矩阵和轮廓原型基准仿射矩阵生成粒子；
c）：初始化分类器；
d）：对上述b步骤中生成的粒子进行带重新初始化的粒子滤波；
e）：估计检测的目标位置；
f）：利用c步骤中的分类器判断上述检测到的目标位置是否丢失；
g）：若上述分类器的返回值超过阀值，则更新分类器，返回步骤d，如上述分类器的返回值超过阀值没有超过阀值，则对目标进行检测。
其中，生成灰度基准仿射矩阵和轮廓原型基准仿射矩阵包括以下步骤：
定义一个目标框，目标框的左下，左上，右上，右下角坐标表示为
Figure 50017DEST_PATH_IMAGE001
、
Figure 291642DEST_PATH_IMAGE002
、 
Figure 566766DEST_PATH_IMAGE003
、
Figure 898652DEST_PATH_IMAGE004
；
计算相对于左下，左上，右上，右下角坐标为
Figure 233819DEST_PATH_IMAGE005
、
Figure 962740DEST_PATH_IMAGE006
、
Figure DEST_PATH_IMAGE023
、
Figure 979238DEST_PATH_IMAGE024
的区域的灰度基准仿射矩阵，因为避免得到过决定问题，计算过程中没有使用右下角坐标：
Figure 435813DEST_PATH_IMAGE008
；
轮廓原型基准仿射矩阵包括正面轮廓原型基准仿射矩阵和侧面轮廓原型基准仿射矩阵
Figure 268957DEST_PATH_IMAGE010
。正面轮廓的外接矩形的左下，左上，右上，右下角坐标为，侧面轮廓的外接矩形的左下，左上，右上，右下角坐标为
Figure 501672DEST_PATH_IMAGE012
。计算目标框相对于正面和侧面轮廓圆形的外接矩形区域基准仿射矩阵
Figure 939606DEST_PATH_IMAGE013
和。与灰度基准矩阵计算类似，为避免得到过决定问题，计算过程中没有使用右下角坐标：
Figure 518279DEST_PATH_IMAGE014
，
Figure 631729DEST_PATH_IMAGE015
；
对上述正面轮廓原型基准仿射矩阵
Figure 494642DEST_PATH_IMAGE013
和侧面轮廓原型基准仿射矩阵
Figure 718950DEST_PATH_IMAGE016
进行外观似然计算，确定轮廓原型基准仿射矩阵
Figure 780447DEST_PATH_IMAGE018
采用上述正面轮廓原型基准仿射矩阵或侧面轮廓原型基准仿射矩阵的一个。
 
Figure 664275DEST_PATH_IMAGE020
是偏移向量的期望，
Figure 692274DEST_PATH_IMAGE021
，表示偏移向量。
其中用到的各种模型和公式如下：
1. 表示模型：
行人的外观同时由灰度和轮廓两方面刻画。每一个特定的行人的外观由灰度主元空间中的一个数据点以及轮廓主元空间中的一个数据点加上它们各自的残差组成。
a) 轮廓模型：一个轮廓通过一组控制点的连线来表示。轮廓的演变与其他的动态轮廓算法相同：所有的控制点可以沿着各自的法方向内外移动。每一个控制点的法方向通过相邻的两个点的连线的法方向来近似。
不同的行人个体的轮廓在特定角度看上去都是相似的，所以不同个体的轮廓的子空间具有相同的期望。我们在这里称这个期望为原型，如图2a和图2b所示。为了提高轮廓模型自适应目标轮廓的速度，算法直接基于轮廓原型进行学习。正面和侧面轮廓的原型是通过计算已对齐好且标注好轮廓的训练图片的轮廓平均位置获得的。
轮廓的模板是在轮廓的原型的控制点法方向上设置偏移来获得的。所有控制点上面的偏移量组成一个向量，这里
Figure 1213DEST_PATH_IMAGE026
是一个类型标记。我们假设行人的上半身轮廓可以由正面或者侧面的轮廓原型加上偏移来获得。此外，我们按照动态形状模型算法（ASM）的思路假设偏移向量符合一个高斯分布。因此，行人的上半身轮廓
Figure DEST_PATH_IMAGE027
的计算公式为
Figure 589451DEST_PATH_IMAGE028
，                                         (1)
其中，是偏移向量的期望，
Figure 93245DEST_PATH_IMAGE030
是偏移向量的主元集合，是偏移向量在主元上面的响应值，是一个很小的残差。这个残差无法在主元空间中表示。注意
Figure DEST_PATH_IMAGE033
是演化的轮廓子空间的期望，也就是根据观测得到的行人上半身轮廓的自适应轮廓。
Figure 942438DEST_PATH_IMAGE029
，
Figure 329557DEST_PATH_IMAGE030
和对应的特征值通过IPCA进行更新。因为我们维护了正面和侧面两个轮廓模板，所以它们各自的模型由对应的IPCA来维护。
Figure 637042DEST_PATH_IMAGE034
是轮廓模板。通过学习和维护这个模板来捕捉行人的上半身轮廓的子空间。
b）灰度模型：目标的灰度通过一个向量来表示。这个向量是在目标框内均匀采集的32x32点阵对应位置的灰度值。我们假设这个向量符合一个高斯分布，因此行人的灰度可以表示为
Figure DEST_PATH_IMAGE035
，                                                                    (2)
其中，
Figure 527637DEST_PATH_IMAGE036
是灰度向量的期望，
Figure DEST_PATH_IMAGE037
是灰度向量的主元集合，是灰度在主元上面的响应值，
Figure DEST_PATH_IMAGE039
是一个非常小的不能在灰度主元空间中表示的残差。像轮廓表示一样，
Figure 562556DEST_PATH_IMAGE036
，
Figure 922999DEST_PATH_IMAGE037
和它们对应的特征值通过IPCA进行更新。
显然，
Figure 933681DEST_PATH_IMAGE040
是灰度模板。通过学习和维护这个模板来捕捉行人的上半身灰度的子空间。
2. 分类模型： 
行人目标在初始化后，由一个增量的多实例分类器（INCMIL）来进行检测。INCMIL是通过增量支持向量机（INCSVM）和多实例分类器（mi-SVM）两个算法共同导出的。
INCSVM是一个用来训练支持向量集的在线递归算法，每次可以只训练一个样本。此外，这个算法是一个可逆的过程，所以已经训练的样本可以从判别模型中反学习掉。这个算法在每次获得一个新的训练样本的时候，通过解一个二次规划问题来进行训练。这个凸的二次规划问题的目标公式为
Figure DEST_PATH_IMAGE041
，                                         (3)
其中
Figure 839320DEST_PATH_IMAGE042
是训练数据点的权重。
Figure DEST_PATH_IMAGE043
是核矩阵的一个元素。当对一个新的数据点进行训练的时候，它的权重
Figure DEST_PATH_IMAGE045
被初始化成0。接下选择一个非常小的加入到权重。这个
Figure 200659DEST_PATH_IMAGE046
必须足够小，以使已经训练的数据点不会在支持向量集合，错误向量集合和其他向量集合之间转移。在服从支持向量机的Kuhn-Tucker限制条件下，
Figure 339517DEST_PATH_IMAGE046
带来的影响通过
Figure DEST_PATH_IMAGE047
 的适当的调整来抵消。这个影响抵消的过程叫做增量绝热过程。 的调整应该满足
Figure 110343DEST_PATH_IMAGE048
，                                                                   (4)
其中
Figure DEST_PATH_IMAGE049
是
Figure 282568DEST_PATH_IMAGE050
的变化量。
Figure DEST_PATH_IMAGE051
是核矩阵的支持向量对应的行和列的子矩阵。因为
Figure 530009DEST_PATH_IMAGE052
和与
Figure 600734DEST_PATH_IMAGE054
的数值一起改变，所以一些数据集会在支持向量集合与错误向量集合之间或者支持向量集合与其他向量集合之间发生迁移。如果在这个增量绝热迭代过程中，对于数据集在三个集合之间进行合理的迁移，那么训练就会在有限步结束。类似的，减量绝热过程可以从模型中反学习一个数据点。
mi-SVM是一个基于支持向量机的MIL分类器的实现。MIL是一个泛化的监督分类问题。这个问题中样本标注都是与一个包含许多样本的包相对应的，而不是和单一样本相对应。所以在保持包的标注不变的情况下，包内的样本的各自的标注是存在多组可能。mi-SVM希望找到一组标注，使按照这组标注训练的支持向量机的margin最大。因此mi-SVM的目标公式可以写成
Figure DEST_PATH_IMAGE055
，      (5)
这里
Figure DEST_PATH_IMAGE057
是一个包的标注。
为了在学习新的包的同时保持已经学习的包的分类结果，本发明提出了一种新的增量多实例分类器。它由INCSVM和mi-SVM两个算法组合而成。这个增量多实例分类器的伪代码如下
输入：训练集合
Figure 117089DEST_PATH_IMAGE058
中的所有包，之前训练得到的分类器
输出：更新的分类器
Figure 597749DEST_PATH_IMAGE060
初始化：for   
Repeat
对支持向量机
Figure DEST_PATH_IMAGE063
增量训练集合
Figure 871922DEST_PATH_IMAGE064
中的所有样本;
         计算所有正包中的样本
Figure DEST_PATH_IMAGE065
的预测值;
         对于所有
Figure DEST_PATH_IMAGE067
的样本设置
Figure 906185DEST_PATH_IMAGE068
;
         For 每一个正包
Figure DEST_PATH_IMAGE069
 do
              If 
Figure 889184DEST_PATH_IMAGE070
then
                     计算
Figure DEST_PATH_IMAGE071
;
                     设置
Figure 284394DEST_PATH_IMAGE072
;
               End if
         End for
Until 集合
Figure DEST_PATH_IMAGE073
没有任何变化;
 3. 跟踪过程
跟踪算法通过一个在仿射群上面的粒子滤波算法跟踪行人目标。我们通过相对于初始目标框的仿射矩阵来表示每一个采样位置，所以每一个仿射矩阵
Figure 20137DEST_PATH_IMAGE074
对应一个确定的位置。
目标初始化：目标通过手动或者任何一种最近的行人检测算法（比如Viola Jones检测器，Alpha-Beta-Gamma检测器）来初始化。我们假设目标初始框被准确的指定，所以初始的灰度和轮廓模板可以直接从指定的目标框内的观测获得。为了将灰度采样用的
Figure DEST_PATH_IMAGE075
点阵和轮廓原型映射模板到选定目标框区域，需要对于它们各自计算一个仿射矩阵，如图3所示。因为灰度采样点阵和轮廓原型大小不同，所以需要两个不同的仿射矩阵，分别用
Figure 45862DEST_PATH_IMAGE076
和
Figure DEST_PATH_IMAGE077
表示。另外，需要注意的是正面和侧面的轮廓原型具有不同的外接矩形大小，所以
Figure 312895DEST_PATH_IMAGE077
是从
Figure 191422DEST_PATH_IMAGE078
和
Figure DEST_PATH_IMAGE079
中选择的。具体选择哪一个按照d)中将要介绍的方法分别计算两种轮廓原型与观测值的相似度。哪个相似度高就选择哪个轮廓原型的外接矩形对应的仿射矩阵。之后的所有采样目标框中的灰度点阵和轮廓原型的对应的仿射矩阵都是分别基于和两个仿射矩阵进行变换的。
粒子滤波：粒子滤波的状态包括仿射矩阵
Figure 545677DEST_PATH_IMAGE074
采样和当前轮廓模板所采用的轮廓原型的类别
Figure DEST_PATH_IMAGE081
。包含轮廓原型类别的目的是为了能够处理轮廓类别的突然变化。所以粒子的状态写为，
Figure 469640DEST_PATH_IMAGE082
，                                                 (6)
其中
Figure DEST_PATH_IMAGE083
是在
Figure DEST_PATH_IMAGE085
时刻的状态。轮廓模板的原型类别的跳转通过带重新初始化粒子的条件概率密度传播（ICONDENSATION）算法来实现，因为该算法可以在粒子滤波的重新采样粒子阶段重新初始化随机轮廓原型类别的粒子。通过形式方式表示，基于观测历史条件下对于状态分布函数进行传播的公式为
Figure 930708DEST_PATH_IMAGE086
    (7)
其中
Figure DEST_PATH_IMAGE087
是重新初始化粒子的概率。是从视频中获得的观测的历史。
Figure DEST_PATH_IMAGE089
是重新初始化粒子先验概率。
Figure 25014DEST_PATH_IMAGE090
是标准条件概率密度传播（CONDENSATION）算法的粒子先验概率。
Figure DEST_PATH_IMAGE091
是观测历史的概率密度函数
Figure 503400DEST_PATH_IMAGE092
在
Figure DEST_PATH_IMAGE093
处的取值。如果我们假设观测历史随机变量
Figure 333821DEST_PATH_IMAGE093
符合均匀分布，那么
Figure 668988DEST_PATH_IMAGE094
是一个常量。
c）运动模型：目标的运动状态可以通过一个一阶的自回归模型近似描述：
Figure DEST_PATH_IMAGE095
，                                                                   (8)
其中
Figure 335593DEST_PATH_IMAGE096
是状态转换矩阵，它的估计方法为
Figure DEST_PATH_IMAGE097
，                                                 (9)
其中
Figure 414407DEST_PATH_IMAGE098
是二维仿射变换群Aff(2)的6个基。
Figure DEST_PATH_IMAGE099
是对应基上的噪声参数。这个噪声是从
Figure 597870DEST_PATH_IMAGE100
分布中采样得到的。
Figure DEST_PATH_IMAGE101
是通过运动模型对于状态预测置信度的估计。通过式(8)可以计算出加载在运动系统上面的噪声
Figure 41621DEST_PATH_IMAGE102
。                                                            (10)
通过已知的仿射变换的基，可以将噪声分解获得各个基上面的权重
Figure DEST_PATH_IMAGE103
。所以运动状态预测置信度为
Figure 257839DEST_PATH_IMAGE104
。                                                        (11)
d）外观似然：用来估计似然度。它通过给采样打分来实现。因为我假设过灰度和轮廓的偏移向量都符合高斯分布。所以我们通过两个椭圆分布密度函数的相乘来计算权重
Figure 327295DEST_PATH_IMAGE106
，                    (12)
其中是在时刻
Figure DEST_PATH_IMAGE109
观测到的图象。
Figure 617462DEST_PATH_IMAGE110
是经过仿射变换的模板。从式(12)中可以看到灰度和轮廓模板都被映射到采样
Figure DEST_PATH_IMAGE111
对应的目标框区域。
Figure 248426DEST_PATH_IMAGE112
和
Figure DEST_PATH_IMAGE113
分别由轮廓的偏移向量和灰度向量的主元组成的矩阵。
Figure 686360DEST_PATH_IMAGE114
和
Figure DEST_PATH_IMAGE115
是由轮廓偏移向量和灰度向量的特征值组成的对角矩阵。因此
Figure 44660DEST_PATH_IMAGE116
和分别是轮廓偏移向量和灰度向量的协方差矩阵。
在由仿射矩阵
Figure 704181DEST_PATH_IMAGE074
定义的预测位置处的观测与模板之间的相似度由马氏距离（Mahalanobis distance）进行衡量。
轮廓模板
Figure 552051DEST_PATH_IMAGE118
通过一个
Figure DEST_PATH_IMAGE119
的矩阵进行表示，其中
Figure 414965DEST_PATH_IMAGE120
是
Figure 639273DEST_PATH_IMAGE122
类型的轮廓的控制点的个数。
Figure 966349DEST_PATH_IMAGE118
是由控制点的齐次坐标作为列向量组成的。对于一个给定的仿射矩阵
Figure DEST_PATH_IMAGE123
，仿射变换的轮廓模板通过如下公式映射到采样的区域
。                                                                          (13)
观测的轮廓偏移向量
Figure 354572DEST_PATH_IMAGE025
通过将仿射后的模板
Figure DEST_PATH_IMAGE125
放到Canny响应图上面获得的，如图4所示。我们通过搜索模板上面每一个空间点沿法方向最近一个Canny响应非零点的位置来获得偏移大小，组成偏移向量。我们定义向轮廓模板外部偏移为正偏移，向内部偏移为负偏移。观测的偏移向量的似然计算方法为
   
Figure 54674DEST_PATH_IMAGE126
，                                                                                                                     (14)
其中第一个指数因子是通过马式距离对于观测偏移的评估。第二个指数因子是为了避免与实际轮廓平移偏移过大的采样被打一个很高的分数。
灰度模板
Figure DEST_PATH_IMAGE127
是一个灰度向量。向量的每一个元素都对应
Figure 423208DEST_PATH_IMAGE128
采样点阵中的一个点。这个采样方阵的点的坐标通过矩阵
Figure DEST_PATH_IMAGE129
来表示，其中
Figure 878460DEST_PATH_IMAGE130
是采样点阵中点的总数。对于给定的采样仿射矩阵
Figure DEST_PATH_IMAGE131
，灰度模板被仿射到采样对应的区域与观测灰度
Figure 715966DEST_PATH_IMAGE132
进行比较。观测的灰度向量的似然计算方法为
Figure DEST_PATH_IMAGE133
.               (15)
e） 粒子重新初始化：粒子重新初始化是对于防止各种轮廓类型的粒子灭绝的必要手段。在重新初始化的过程中，轮廓的类别按照均匀分布随机的赋值。也就是说，重新初始化的粒子
Figure 970492DEST_PATH_IMAGE136
在轮廓类型的边缘分布上具有相同的正面和侧面的概率。重新初始化的粒子的仿射矩阵
Figure 6581DEST_PATH_IMAGE123
可以被赋值为上次估计出的仿射状态，因为这个状态是对于目标位置的一个最可靠的猜测。
f）状态估计：如果采样集合表示成
Figure DEST_PATH_IMAGE137
并且具有最大
Figure 570418DEST_PATH_IMAGE138
的粒子表示成
   
Figure DEST_PATH_IMAGE139
，                             (16)
    那么状态估计
Figure 144487DEST_PATH_IMAGE140
可以分别通过采样平均来估计
Figure DEST_PATH_IMAGE141
：
   
Figure 248709DEST_PATH_IMAGE142
            (17)
通过最大后验估计得到
Figure DEST_PATH_IMAGE143
：
   
Figure 342567DEST_PATH_IMAGE144
g）外观学习和检测：行人检测是为了通过学习一个模型来将行人从背景中区分开来。我们选择了灰度向量作为特征向量放入INCMIL进行训练。与P-N学习的框架相似，我们通过已有的分类器将没有标注的数据进行标注，然后用标注的数据更新已有的分类器，如图5所示。如果跟踪估计得到的目标框的大小为
Figure DEST_PATH_IMAGE145
，我们假设当目标框内的灰度观测在分类器的响应值超过1,那么中心与估计目标框中心距离不超过
Figure 825108DEST_PATH_IMAGE146
的目标框内的观测灰度向量都放入正包中，而中心距离超过
Figure DEST_PATH_IMAGE147
的目标框的观测灰度向量都放入负包中。另外，分类器在背景区域进行搜索，寻找困难负样本。也就是在背景中采样目标框，如果分类器结果为正样本，则将采样框内的观测灰度加入困难负样本集合。所有这些被标注的包放入INCMIL进行训练，得到更新的分类器。
因为用来实现INCMIL的INCSVM算法随着训练的数据点的数量的增加，速度有所减慢。所以我们值保持800个训练样本在INCMIL中，而反学习掉多余的。为了最小化分类器因为反学习带来的分类性能的损失，算法首先反学习掉所有在其他训练样本集合中的样本，然后才是最早进入INCMIL训练的样本。这样不但可以维持分类器的训练和分类速度，而且可以实现分类器不断自适应最新的观测，不断排除旧的观测。
当在目标框内的观测灰度向量被分类器分类成负样本时候，目标被认为暂时丢失。跟踪算法通过在所有可能的位置通过分类器检测目标存在来重新获得目标。
具体流程为：
跟踪一个目标，需要线上和线下的准备。
根据已经对齐的正面行人图片，学习行人的一个正面的行人轮廓原型
Figure 433944DEST_PATH_IMAGE148
，学习的方法同主动轮廓模型（ASM）算法学习的方法相同。就是在训练样本上面标记轮廓控制点位置。将训练样本对齐以后，计算对应控制点的期望位置。如图2a。同样的方法训练出行人的侧面轮廓原型，如图2b。
在视频中的某一帧手动或者通过行人检测算法给定一个目标框（左上坐标
Figure 545119DEST_PATH_IMAGE150
，左下坐标
Figure DEST_PATH_IMAGE151
，右下坐标
Figure 742751DEST_PATH_IMAGE152
，右上坐标
Figure DEST_PATH_IMAGE153
）。如图3所示。
首先，计算相对于左下，左上，右上，右下角坐标为
Figure 710707DEST_PATH_IMAGE005
、
Figure 744522DEST_PATH_IMAGE006
、
Figure 190547DEST_PATH_IMAGE023
、
Figure 321314DEST_PATH_IMAGE024
的区域的灰度基准仿射矩阵
Figure 148587DEST_PATH_IMAGE007
，因为避免得到过决定问题，计算过程中没有使用右下角坐标。
Figure 732015DEST_PATH_IMAGE154
轮廓原型基准仿射矩阵包括正面轮廓原型基准仿射矩阵
Figure 981731DEST_PATH_IMAGE009
和侧面轮廓原型基准仿射矩阵
Figure 904688DEST_PATH_IMAGE010
。正面轮廓的外接矩形的左下，左上，右上，右下角坐标为
Figure 214446DEST_PATH_IMAGE011
，侧面轮廓的外接矩形的左下，左上，右上，右下角坐标为。然后，计算目标框相对于正面和侧面轮廓圆形的外接矩形区域基准仿射矩阵
Figure 525528DEST_PATH_IMAGE013
和
Figure 365308DEST_PATH_IMAGE010
。与灰度基准矩阵计算类似，为避免得到过决定问题，计算过程中没有使用右下角坐标。
Figure 845968DEST_PATH_IMAGE014
Figure 76092DEST_PATH_IMAGE015
轮廓的基准仿射矩阵要从
Figure 933189DEST_PATH_IMAGE009
和
Figure 627476DEST_PATH_IMAGE010
中选择一个。选择方式是看正面和侧面轮廓原型哪个通过它们各自的基准仿射矩阵仿射变换后能够与目标的轮廓更为匹配，利用外观似然在目标初始化的时候设置
Figure DEST_PATH_IMAGE155
和
Figure 982101DEST_PATH_IMAGE156
为0，
Figure DEST_PATH_IMAGE157
。
Figure 965101DEST_PATH_IMAGE158
和
Figure DEST_PATH_IMAGE159
的计算方法如具体实施方式3(d)和图3所示。比如下图中的目标初始化的时候经过仿射变换的正面和侧面轮廓原型可以看出
Figure 360310DEST_PATH_IMAGE160
，所以
Figure DEST_PATH_IMAGE161
。
设置若干个形如上述公式（6）的粒子。每个粒子的都设置成单位阵，表示所有的粒子都表示目标初始化的目标框位置，一半粒子的
Figure DEST_PATH_IMAGE163
设置成front，另一半设置成side。表示一半粒子表示选用在正面轮廓原型上进行演化，另一半粒子表示选用在侧面轮廓原型上进行演化。
最后，按照图5所示进行初始化INCMIL分类器。因为第一帧目标框是手工或者行人检测算法提供的。所以人为目标框足够可靠。认为目标区域以及附近的带有稍微偏差的区域（图5中的标注为1目标框）都为目标的正实例。所以把所有红框中的灰度进行下采样到1024维的向量放入正包。然后在距离目标中心水平距离超过w/2，垂直距离超过h/2的区域随机采样目标框（图5中的标注为2目标框）作为目标的负实例。将每一个负实例放入各自的负包。放入INCMIL得到一个分类器，在第一帧中进行穷尽搜索，检查是否有非目标区域但是分类成正例的区域。将改区域中的灰度向量放入负包放入INCMIL进行训练。得到目标的初始检测器。
采用公式（7）所示的概率密度传播公式来对粒子采样。采用的方法为ICONDENSATION方法。
首先，对于所有粒子
Figure 121778DEST_PATH_IMAGE164
按照概率
Figure DEST_PATH_IMAGE165
加入噪声变成
Figure 388812DEST_PATH_IMAGE166
。也就是按照公式（11）中的分布采样随机向量
Figure DEST_PATH_IMAGE167
，然后按照公式（8）将粒子中的
Figure 10548DEST_PATH_IMAGE168
根据状态转换矩阵和噪声矩阵变成
Figure DEST_PATH_IMAGE169
。粒子中的
Figure 617110DEST_PATH_IMAGE170
保持不变。
然后，采一个符合
Figure DEST_PATH_IMAGE171
上符合均匀分布的随机变量。如果随机变量大于
Figure 876053DEST_PATH_IMAGE172
，那么在现有的粒子中进行带放回的权重采样。粒子权重是上次粒子滤波中粒子计算得到的权重，如果是第一帧跟踪，那么
Figure 551754DEST_PATH_IMAGE174
为
Figure DEST_PATH_IMAGE175
。如果随机变量小于，那么创建新的粒子。创建的新粒子中
Figure 15413DEST_PATH_IMAGE162
为上一帧粒子滤波估计目标的位置对应的仿射矩阵。如果是第一帧
Figure 179678DEST_PATH_IMAGE162
为单位阵。新粒子的
Figure 106790DEST_PATH_IMAGE170
按照均匀分布随机在
Figure 647492DEST_PATH_IMAGE176
进行选择。然后对于新粒子按照概率
Figure DEST_PATH_IMAGE177
进行传播。新采样的粒子的数量和原来的一样。
接下来，对于新采样的粒子按照公式（12）计算似然度
Figure 963067DEST_PATH_IMAGE178
。用似然乘以粒子的权重得到更新的粒子的权重。
最后，根据粒子的权重按照公式（16）估计目标的状态。
检测和分类器更新
对于粒子滤波估计的目标位置中的灰度向量进行分类。如果被INCMIL分类为反例那么认为目标丢失。则在全图进行检测。如果估计的目标框内的灰度向量被分类成正例并且分类器的返回值超过阈值就按照目标初始化时候的方式更新分类器。也就是对于目标框周围的若干目标框内的灰度放入正包。远一些的目标框内的灰度放入负包。训练出来的分类器在全图检测。如果检测到非目标框区域的正例，则把虚警区域的灰度放入负包进行训练。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于表示模型和分类模型的云台跟踪方法，主要包括以下步骤：
a）：目标初始化：生成灰度基准仿射矩阵和轮廓原型基准仿射矩阵；
b）：根据上述灰度基准仿射矩阵和轮廓原型基准仿射矩阵生成粒子；
c）：初始化分类器；
d）：对上述b步骤中生成的粒子进行带重新初始化的粒子滤波；
e）：估计目标位置；
f）：利用c步骤中的分类器判断上述检测到的目标位置是否丢失；
g）：若上述分类器的返回值超过阀值，则更新分类器，返回步骤d，如上述分类器的返回值没有超过阀值，则对目标进行检测。
2.根据权利要求1所述的基于表示模型和分类模型的云台跟踪方法，上述生成灰度基准仿射矩阵和轮廓原型基准仿射矩阵包括以下步骤：
定义一个目标框，目标框的左下，左上，右上，右下角坐标表示为                                               
Figure DEST_PATH_IMAGE002
、
Figure DEST_PATH_IMAGE004
、、
Figure DEST_PATH_IMAGE008
；
计算相对于上述左下，左上，右上坐标为、、
Figure DEST_PATH_IMAGE014
的区域的灰度基准仿射矩阵
Figure DEST_PATH_IMAGE016
，为避免得到过决定问题，计算过程中没有使用右下角坐标
Figure 47589DEST_PATH_IMAGE008
：
Figure DEST_PATH_IMAGE018
；
轮廓原型基准仿射矩阵包括正面轮廓原型基准仿射矩阵和侧面轮廓原型基准仿射矩阵
Figure DEST_PATH_IMAGE022
；
正面轮廓的外接矩形的左下，左上，右上，右下角坐标为
Figure DEST_PATH_IMAGE024
，侧面轮廓的外接矩形的左下，左上，右上，右下角坐标为
Figure DEST_PATH_IMAGE026
；
计算目标框相对于正面和侧面轮廓圆形的外接矩形区域基准仿射矩阵
Figure DEST_PATH_IMAGE028
和；
与灰度基准矩阵计算类似，为了避免得到过决定问题，计算过程中没有使用右下角坐标：
Figure DEST_PATH_IMAGE030
，
Figure DEST_PATH_IMAGE032
；
对上述正面轮廓原型基准仿射矩阵
Figure 557515DEST_PATH_IMAGE028
和侧面轮廓原型基准仿射矩阵
Figure DEST_PATH_IMAGE034
进行外观似然计算，确定轮廓原型基准仿射矩阵
Figure DEST_PATH_IMAGE036
采用上述正面轮廓原型基准仿射矩阵或侧面轮廓原型基准仿射矩阵的一个。
3.根据权利要求2所述的基于表示模型和分类模型的云台跟踪方法，上述外观似然公式为：
 
Figure DEST_PATH_IMAGE038
 
Figure DEST_PATH_IMAGE040
是偏移向量的期望，，
Figure DEST_PATH_IMAGE044
表示偏移向量。
CN2012100776386A 2012-03-21 2012-03-21 基于表示模型和分类模型的云台跟踪方法 Pending CN102663419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100776386A CN102663419A (zh) 2012-03-21 2012-03-21 基于表示模型和分类模型的云台跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100776386A CN102663419A (zh) 2012-03-21 2012-03-21 基于表示模型和分类模型的云台跟踪方法

Publications (1)

Publication Number Publication Date
CN102663419A true CN102663419A (zh) 2012-09-12

Family

ID=46772903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100776386A Pending CN102663419A (zh) 2012-03-21 2012-03-21 基于表示模型和分类模型的云台跟踪方法

Country Status (1)

Country Link
CN (1) CN102663419A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915043A (zh) * 2012-10-17 2013-02-06 天津市亚安科技股份有限公司 一种提高云台定位精度的方法
CN107749068A (zh) * 2017-09-20 2018-03-02 天津大学 粒子滤波与感知hash算法实现目标实时跟踪方法
CN107958463A (zh) * 2017-12-04 2018-04-24 华中科技大学 一种改进的多专家熵最小化跟踪算法
CN110619434A (zh) * 2019-09-17 2019-12-27 北谷电子有限公司上海分公司 一种预测还款概率的方法、装置、电子设备和存储介质
CN115953433A (zh) * 2023-02-06 2023-04-11 宿迁学院 一种混合式图像目标跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110002548A1 (en) * 2009-07-02 2011-01-06 Honeywell International Inc. Systems and methods of video navigation
CN102184551A (zh) * 2011-05-10 2011-09-14 东北大学 结合多种特征匹配和粒子滤波的目标自动跟踪方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110002548A1 (en) * 2009-07-02 2011-01-06 Honeywell International Inc. Systems and methods of video navigation
CN102184551A (zh) * 2011-05-10 2011-09-14 东北大学 结合多种特征匹配和粒子滤波的目标自动跟踪方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI XIE等: ""TRACKING PEDESTRIANS WITH INCREMENTAL LEARNED INTENSITY AND CONTOUR TEMPLATES FOR PTZ CAMERA VISUAL SURVEILLANCE", 《IEEE》 *
朱明清等: "基于灰色预测模型和粒子滤波的视觉目标跟踪算法", 《控制与决策》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915043A (zh) * 2012-10-17 2013-02-06 天津市亚安科技股份有限公司 一种提高云台定位精度的方法
CN102915043B (zh) * 2012-10-17 2015-02-11 天津市亚安科技股份有限公司 一种提高云台定位精度的方法
CN107749068A (zh) * 2017-09-20 2018-03-02 天津大学 粒子滤波与感知hash算法实现目标实时跟踪方法
CN107958463A (zh) * 2017-12-04 2018-04-24 华中科技大学 一种改进的多专家熵最小化跟踪算法
CN107958463B (zh) * 2017-12-04 2020-07-03 华中科技大学 一种改进的多专家熵最小化跟踪方法
CN110619434A (zh) * 2019-09-17 2019-12-27 北谷电子有限公司上海分公司 一种预测还款概率的方法、装置、电子设备和存储介质
CN115953433A (zh) * 2023-02-06 2023-04-11 宿迁学院 一种混合式图像目标跟踪方法
CN115953433B (zh) * 2023-02-06 2023-09-19 宿迁学院 一种混合式图像目标跟踪方法

Similar Documents

Publication Publication Date Title
CN110543837B (zh) 一种基于潜在目标点的可见光机场飞机检测方法
CN111508002B (zh) 一种小型低飞目标视觉检测跟踪系统及其方法
JP5227629B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
CN103198493B (zh) 一种基于多特征自适应融合和在线学习的目标跟踪方法
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
Liu et al. Optical flow based urban road vehicle tracking
CN104123544A (zh) 基于视频分析的异常行为检测方法及系统
CN104680559B (zh) 基于运动行为模式的多视角室内行人跟踪方法
CN108445480A (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
CN107784291A (zh) 基于红外视频的目标检测跟踪方法和装置
KR101414670B1 (ko) 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
CN103632382A (zh) 一种基于压缩感知的实时多尺度目标跟踪方法
CN104318258A (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN101493943B (zh) 一种粒子滤波跟踪方法和跟踪装置
CN107424171A (zh) 一种基于分块的抗遮挡目标跟踪方法
CN106778570B (zh) 一种行人实时检测与跟踪方法
CN102663419A (zh) 基于表示模型和分类模型的云台跟踪方法
CN106991686A (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN103065163B (zh) 一种基于静态图片的快速目标检测识别系统及方法
CN102289822A (zh) 一种多摄像机协同跟踪运动目标的方法
CN104537689A (zh) 基于局部对比显著性联合特征的目标跟踪方法
CN106228570A (zh) 一种真值数据确定方法和装置
CN109242019A (zh) 一种水面光学小目标快速检测与跟踪方法
CN108805902A (zh) 一种自适应尺度的时空上下文目标跟踪方法
Feng Mask RCNN-based single shot multibox detector for gesture recognition in physical education

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181121

Address after: Room 217, Building 11-1, Hongyi Road, Xinwu District, Wuxi City, Jiangsu Province

Applicant after: Wuxi Dacheng Consulting Co., Ltd.

Address before: 214122 North Post, University Science Park, 97 Linghu Avenue, Wuxi New District, Jiangsu Province

Applicant before: Jiangsu Shiruan Intelligent System Co.,Ltd.

AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20190628