CN106846355B - 基于提升直觉模糊树的目标跟踪方法及装置 - Google Patents
基于提升直觉模糊树的目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN106846355B CN106846355B CN201611170878.5A CN201611170878A CN106846355B CN 106846355 B CN106846355 B CN 106846355B CN 201611170878 A CN201611170878 A CN 201611170878A CN 106846355 B CN106846355 B CN 106846355B
- Authority
- CN
- China
- Prior art keywords
- target
- result
- intuitive
- intuitive fuzzy
- fuzzy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 143
- 238000003066 decision tree Methods 0.000 claims description 69
- 238000012360 testing method Methods 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 19
- 238000011524 similarity measure Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002087 whitening effect Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 26
- 230000000875 corresponding effect Effects 0.000 description 10
- 241001239379 Calophysus macropterus Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 241000543540 Guillardia theta Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
本发明公开了一种基于提升直觉模糊树的目标跟踪方法，包括：对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行关联，目标包括可靠目标及临时目标；对未被关联的观测结果和预测结果进行轨迹管理，其中包括对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的提升直觉模糊树对候选结果进行匹配；利用关联结果和匹配结果获取当前帧的目标的轨迹，利用当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的可靠目标更新提升直觉模糊树。本发明还公开了一种基于提升直觉模糊树的目标跟踪装置。通过上述方式，本发明能够在发生漏检的情况下改善目标跟踪的性能。
Description
技术领域
本发明涉及目标跟踪领域，特别是涉及一种基于提升直觉模糊树的目标跟踪方法及装置。
背景技术
在线目标跟踪是计算机视觉中的一个热点研究课题，其对于动作识别、行为分析、场景理解等高层次的视觉研究具有重要意义，并且在视频监控、智能机器人、人机交互等领域有着广泛的应用前景。
在复杂场景下，由于目标自身形变、目标间相互遮挡或者背景静物对目标的遮挡等因素的影响，将难以避免的产生漏检。此时，漏检目标找不到与其关联的检测到的观测对象，无法通过数据关联为这些漏检目标的轨迹更新找到有效的信息，轨迹精度降低。
发明内容
本发明主要解决的技术问题是提供一种基于提升直觉模糊树的目标跟踪方法及装置，能够解决现有技术中漏检目标的轨迹精度降低的问题。
为了解决上述技术问题，本发明采用的一个技术方案是：提供一种基于提升直觉模糊树的目标跟踪方法，包括：对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的，目标包括可靠目标及临时目标；对未被关联的观测结果和预测结果进行轨迹管理，其中包括对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的提升直觉模糊树对候选结果进行匹配；利用关联结果和匹配结果获取当前帧的目标的轨迹，其中包括对匹配成功的可靠目标利用其匹配成功的候选结果对其预测结果进行滤波更新以获取轨迹；利用当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的可靠目标更新提升直觉模糊树。
为了解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于提升直觉模糊树的目标跟踪装置，包括：处理器和摄像机，处理器连接摄像机；处理器用于对从摄像机获取的当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的，目标包括可靠目标及临时目标；对未被关联的观测结果和预测结果进行轨迹管理，其中包括对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的提升直觉模糊树对候选结果进行匹配；利用关联结果和匹配结果获取当前帧的目标的轨迹，其中包括对匹配成功的可靠目标利用其匹配成功的候选结果对其预测结果进行滤波更新以获取轨迹；利用当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的可靠目标更新提升直觉模糊树。
本发明的有益效果是：通过对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的提升直觉模糊树对候选结果进行匹配，如果匹配成功，则利用匹配成功的候选结果对该可靠目标的预测结果进行滤波更新以获取其轨迹，使得在发生漏检，目标找不到关联的观测对象的情况下，可以使用提升直觉模糊树找出与其匹配的可用于其轨迹滤波更新的候选结果，从而提高目标轨迹的精度，改善目标跟踪的性能。
附图说明
图1是本发明基于提升直觉模糊树的目标跟踪方法第一实施例的流程图；
图2是本发明基于提升直觉模糊树的目标跟踪方法第二实施例一个例子中分支节点的硬判决函数和模糊判决函数的示意图；
图3是本发明基于提升直觉模糊树的目标跟踪方法第二实施例一个例子中分支节点的模糊判决函数和直觉模糊判决函数的示意图；
图4是本发明基于提升直觉模糊树的目标跟踪方法第三实施例的流程图；
图5是本发明基于提升直觉模糊树的目标跟踪方法第四实施例的流程图；
图6是本发明基于提升直觉模糊树的目标跟踪方法第四实施例中特征选择准则训练的流程图；
图7是本发明基于提升直觉模糊树的目标跟踪方法第五实施例的流程图；
图8是本发明基于提升直觉模糊树的目标跟踪方法第六实施例的流程图；
图9是本发明基于提升直觉模糊树的目标跟踪方法第七实施例的流程图；
图10是本发明基于提升直觉模糊树的目标跟踪装置第一实施例的结构示意图；
图11是本发明基于提升直觉模糊树的目标跟踪装置第二实施例的结构示意图。
具体实施方式
如图1所示，本发明基于提升直觉模糊树的目标跟踪方法第一实施例包括：
S1：对当前视频帧进行运动检测。
使用帧差法、光流法、背景减除法等运动检测算法对当前视频帧进行运动检测，以从中找出属于运动前景的像素，辅以中值滤波和简单的形态学处理，最终得到当前视频帧中的可能运动对象作为观测对象。一个观测对象是当前视频帧中的一个图像块，一般而言，观测对象的形状为矩形。
S2：对观测结果和目标的预测结果进行关联。
目标包括稳定跟踪的可靠目标及不稳定跟踪的临时目标。本步骤中的目标状态，即每个目标被标记为可靠目标还是临时目标，是由前一视频帧的轨迹管理决定的。临时目标包括在前一视频帧为未被关联且不是匹配成功的候选结果的观测结果建立的新的目标，以及连续关联成功的帧数小于或者等于第一帧数阈值且未被删除的目标。可靠目标包括连续关联成功的帧数大于第一帧数阈值且未被删除的目标。目标的预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的。
S3：对未被关联的观测结果和预测结果进行轨迹管理，其中包括对于未被关联的可靠目标，对其预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的提升直觉模糊树对候选结果进行匹配。
具体而言，在可靠目标的预测结果位置及其周围指定范围内选择若干个图像块作为候选结果，图像块的大小一般与预测结果的大小一致，指定范围的大小及候选结果的数量一般由经验值决定。候选结果可以包括在指定范围内的未被关联的观测结果。相邻的候选结果可以彼此不重叠，也可以部分重叠。使用未被关联的可靠目标的提升直觉模糊树作为分类器，该分类器的分类结果有可靠目标和非可靠目标两类。计算候选结果作为测试样本隶属于可靠目标类别的直觉模糊隶属度。若该直觉模糊隶属度大于第一阈值η1，且候选结果与可靠目标的预测结果的外观特征相似性度量大于第二阈值η2，则匹配成功，0.5<η1<1且第一阈值η1大于第六阈值，0.5<η2<1。
当候选结果的数量大于一时，在分别为每个候选结果计算其作为测试样本隶属于可靠目标类别的直觉模糊隶属度之后，可以分别判断每个候选结果的直觉模糊隶属度是否大于第一阈值η1，与预测结果的外观特征相似性度量是否大于第二阈值η2，如果有至少两个候选结果满足前述两个条件，则选择其中直觉模糊隶属度最大的一个(直觉模糊隶属度相同则选择外观特征相似性度量最大的一个)作为匹配成功的候选结果用于后续的目标状态和提升直觉模糊树的更新；当然，也可以从候选结果中选择直觉模糊隶属度最大的一个的候选目标，然后判断选中的候选结果的直觉模糊隶属度是否大于第一阈值η1，与预测结果的外观特征相似性度量是否大于第二阈值η2，如果满足前述两个条件则匹配成功。
此外，根据关联结果和匹配结果对目标状态进行更新，包括目标的建立、删除和状态修改。具体包括：为未被关联且不是匹配成功的候选结果的观测结果建立新的临时目标；将连续关联成功的帧数大于第一帧数阈值λ1的临时目标变为可靠目标；删除连续关联不成功的帧数大于第二帧数阈值λ2的临时目标；删除连续关联不成功的帧数大于第三帧数阈值λ3，且匹配结果为匹配失败的可靠目标，匹配结果为匹配失败是指利用提升直觉模糊树计算候选结果作为测试样本隶属于可靠目标类别的直觉模糊隶属度小于或者等于第六阈值η6，且满足0<η6<η1。其中λ1为大于1的正整数，λ2和λ3均为正整数，且满足λ3≥λ2≥1。
S4：利用关联结果和匹配结果获取当前帧的目标的轨迹，利用当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的可靠目标更新提升直觉模糊树。
对匹配成功的可靠目标利用其匹配成功的候选结果对其预测结果进行滤波更新以获取轨迹。此外对关联成功的目标利用其关联的观测结果对其预测结果进行滤波更新以获取轨迹，对新的临时目标将对应的观测结果作为轨迹，对关联不成功且未被删除的临时目标以及关联不成功且匹配不成功且未被删除的可靠目标将其预测结果作为轨迹。
然后利用当前帧的目标的轨迹进行预测，得到的结果可以作为目标的预测结果用于下一帧的目标跟踪。在本发明一个实施例中，使用卡尔曼滤波器对当前帧的目标的轨迹进行预测以获取下一帧的目标的预测结果，卡尔曼滤波器也可以用于对预测结果和对应的观测结果/候选结果进行滤波以获取目标的轨迹。
利用关联成功或匹配成功的可靠目标对应的目标图像块为其更新提升直觉模糊树。目标图像块可以不包括目标的轨迹信息，例如为关联成功的观测对象或者匹配成功的候选结果，此时更新提升直觉模糊树的步骤与前述目标的轨迹的获取及预测的步骤的执行顺序并无限制。目标图像块也可以包括目标的轨迹信息，例如为可靠目标的轨迹所在位置的图像块，此时更新提升直觉模糊树的步骤应在前述目标的轨迹的获取的步骤之后执行。
通过上述实施例的实施，对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的提升直觉模糊树对候选结果进行匹配，如果匹配成功，则利用匹配成功的候选结果对该可靠目标的预测结果进行滤波更新以获取其轨迹，使得在发生漏检，目标找不到关联的观测对象的情况下，可以使用提升直觉模糊树找出与其匹配的可用于其轨迹滤波更新的候选结果，从而提高目标轨迹的精度，改善目标跟踪的性能。
本发明基于提升直觉模糊树的目标跟踪方法第二实施例，是在本发明基于提升直觉模糊树的目标跟踪方法第一实施例的基础上，候选结果作为测试样本的分类预测值fa(xc)定义为：
其中xc为测试样本，T为提升直觉模糊树中浅层直觉模糊决策树的个数，at为第t个浅层直觉模糊决策树的权重，在提升直觉模糊树的生成过程中确定。
Gt(xc)为第t个浅层直觉模糊决策树对测试样本xc进行分类得到的分类结果，定义为：
其中Gt(xc)＝1表示测试样本属于可靠目标类别，Gt(xc)＝-1表示测试样本属于非可靠目标类别。
φt(c＝m|xc)为利用第t个浅层直觉模糊决策树计算得到的测试样本w隶属于可靠目标类别m的直觉模糊隶属度。
浅层直觉模糊决策树对分支节点输出判决进行了直觉模糊化，使得同一个样本会以不同的直觉模糊隶属度经过分支节点的输出左分支以及输出右分支，最终到达多个叶子节点。因此，浅层直觉模糊决策树的分类结果需要综合考虑多个叶子节点的信息。φt(c＝m|xc)定义为：
在第t个浅层直觉模糊决策树中，Bt为测试样本xc到达的所有叶子节点构成的集合，b为测试样本xc到达的一个叶子节点，h％(xc)为将叶子节点b作为当前节点时测试样本xc隶属于当前节点的直觉模糊隶属度，为叶子节点b预测类别为m的置信度，定义为：
其中xj为到达叶子节点b的训练样本，共有nb个，cj为训练样本xj的类别，δ(·)为狄拉克函数，h％(xj)为将叶子节点b作为当前节点时训练样本xj隶属于当前节点的直觉模糊隶属度。
训练样本和测试样本隶属于当前节点的直觉模糊隶属度的计算方式相同，样本x隶属于当前节点的直觉模糊隶属度h％(x)为其隶属于到达当前节点所经过的所有分支节点的输出路径的直觉模糊隶属度的乘积，具体定义为：
其中D为样本到达当前节点之前经过的所有分支节点的集合，d为集合中的一个分支节点，l表示分支节点的输出左分支，r表示分支节点的输出右分支，为样本到达当前节点所经过的隶属于分支节点d的输出路径的直觉模糊隶属度。
样本包括测试样本和训练样本，训练样本包括正训练样本和负训练样本，正训练样本是指为目标类别的训练样本，负训练样本是指为非目标类别的训练样本。若当前节点为根节点，则D为空，无法使用式(5)计算h％(x)。在这种情况下，当样本x为测试样本时，h％(x)＝1，当样本x为训练样本时，h％(x)等于样本x的权值，该权值在提升直觉模糊树的生成过程中确定。
样本到达当前节点所经过的隶属于分支节点d的输出路径的直觉模糊隶属度定义为：
其中为样本隶属于分支节点d的输出左分支的直觉模糊隶属度，为样本隶属于分支节点d的输出右分支的直觉模糊隶属度。根据式(5)计算时，应当根据样本经过的分支节点d的输出路径是左分支还是右分支，从式(6)中和的表达式中选择对应的一个代入。h(xd)为分支节点d的直觉模糊输出判决函数。
传统的二叉决策树的分支节点采用硬判决，其分支节点输出判决函数的定义为：
其中，xd为分支节点d的样本x的特征值，τ为特征门限值。0对应该分支节点输出左分支，1对应该分支节点输出右分支。采用S型函数(即Sigmoid函数)对式(24)表示的传统的硬判决函数进行模糊化。
其中xd为分支节点d的样本x的特征值，τ为特征门限值，θ为用于控制Sigmoid函数倾斜程度的常量参数，σ为特征值的标准差。
举例说明，xd的取值范围为[0,1]，τ为0.4，θ＝0.25时模糊化前后的硬判决函数和模糊判决函数如图2所示。图中的虚线表示式(24)所定义的硬判决函数，其输出在特征门限处发生跳变；实线表示式(8)所定义的模糊判决函数，其输出根据样本的特征值单调连续变化，且在特征门限处等于0.5。
然后采用直觉模糊点算子，进一步将基于Sigmoid函数的模糊判决函数推广到直觉模糊判决函数。
假设U是一个非空集合，集合U的直觉模糊集合(IFS(U))A的定义为：
A＝{<u,μA(u),νA(u)>|u∈U} (25)
其中μA:U→[0,1]，μA(u)表示集合U中元素u属于A的隶属度，νA:U→[0,1]，νA(u)表示集合U中元素u属于A的非隶属度，且对任意u有：
集合U中元素u属于A的模糊直觉指数定义为：
πA(u)＝1-μA(u)-νA(u) (27)
模糊直觉指数πA(u)表示元素u相对于直觉模糊集A的不确定信息。如果πA(u)的值很小，说明元素u属于A的隶属度值相对精确；如果πA(u)的值很大，则说明元素u属于A的隶属度值具有较大的不确定性。与模糊集合相比，直觉模糊集合能够体现隶属、非隶属和模糊直觉指数三方面的信息，从而有利于更好地处理不确定性的信息。
为了更好地利用模糊直觉指数中的信息，引入直觉模糊点算子。对于任意u∈U，令αu,βu∈[0,1]，且满足αu+βu≤1，直觉模糊点算子定义为：
直觉模糊点算子将直觉模糊集A转化为带有如下模糊直觉指数的直觉模糊集：
记则有：
以此类推，可得对于任意正整数n，若αu+βu≠0，则有：
若对某个u∈U，αu+βu＝0，即αu＝0且βu＝0，则有：
从式(32)以及式(33)可以看出，直觉模糊点算子将模糊直觉指数πA(u)划分为：(1-αu-βu)nπA(u)，αuπA(u)(1-(1-αu-βu)n)/(αu+βu)和βuπA(u)(1-(1-αu-βu)n)/(αu+βu)共三部分，分别表示在原不确定信息中的未知、隶属及非隶属部分。
对于任意u∈U，由于αu,βu∈[0,1]，且满足αu+βu≤1，有：
式(35)表明，直觉模糊点算子能够减小直觉模糊集A的模糊直觉指数。这说明通过直觉模糊点算子可以从元素u相对于直觉模糊集A的不确定信息中提取出新的信息，提高不确定信息的利用程度。
经过直觉模糊推广得到的分支节点d的直觉模糊输出判决函数h(xd)定义为：
其中k为算子次数，为正整数，k的取值越大，消耗的计算量越大。为了计算方便，可以取k∈{1,2,3}。
式(7)中的π(z)为模糊直觉指数，根据Sugeno模糊补，定义为：
其中λ为常量参数，0<λ<1，例如为0.8。当xd≥τ时，z＝g(xd)，当xd<τ时，z＝1-g(xd)。
式(7)中的α为从模糊直觉指数中提取隶属信息的尺度因子，β为从模糊直觉指数中提取非隶属信息的尺度因子，定义为：
式(7)的输出值表示样本隶属于分支节点输出右分支的直觉模糊隶属度。直觉模糊点算子能够从不确定信息中提取新的有用信息，式(7)就是在原模糊隶属度信息g(xd)中加入了从模糊直觉指数π(z)中提取的隶属信息，从而减少了原模糊隶属度信息的不确定性。由于当k＝0时，由式(7)可以得到h(xd)＝g(xd)，此时，直觉模糊判决退化为模糊判决，因此，可以认为式(7)是对式(8)的直觉模糊推广。
举例说明，当k＝1，特征门限值τ＝0.4，λ＝0.8时，分支节点直觉模糊输出判决函数的图形如图3所示。图中虚线表示式(8)所定义的模糊判决函数；实线表示式(7)所定义的直觉模糊判决函数。
式(7)中算子次数k和特征门限值τ的取值可以通过更新提升直觉模糊树过程中的特征选择准则训练确定，也可以通过其他方式例如取经验值确定。
传统的二叉决策树的分支节点采用硬判决，测试样本只能根据特征属性从左右两个分支中选择一个到达下一层节点，最终到达一个叶子节点，测试样本的类别由该到达的叶子节点的类别决定。这样的硬判决决策树对样本噪声的鲁棒性不强，当样本受到强噪声干扰时，其特征值将会发生较大变化，可能导致样本经过的分支发生变化，降低决策树的准确性。
现有技术中提出了模糊决策树，将模糊集理论应用于决策树的训练以及推理过程，利用模糊集理论的表示能力来提高传统决策树对于带噪声的数据以及不完整的数据的处理能力。尽管模糊决策树能够处理带有不确定性的特征值，但是其需要对样本特征进行模糊语义化处理，而在目标跟踪中采用的样本特征大多为数值型特征，并且特征维数较高，使得对样本特征的模糊语义化处理变得困难。
直觉模糊决策树采用Sigmoid函数对传统决策树的硬判决进行模糊化，省略复杂的模糊语义化过程，并且采用直觉模糊点算子将模糊隶属度推广到直觉模糊隶属度，提取有用信息，提高鲁棒性。随着直觉模糊决策树深度的增加，构造直觉模糊决策树所需要的存储量和计算量呈指数增长。考虑到算法的运算效率，可以采用最大深度较小的浅层直觉模糊决策树。由于浅层直觉模糊树对应的分类规则比较简单，属于弱分类器，因此，采用AdaBoost算法将多个浅层直觉模糊决策树组合成强分类器，即提升直觉模糊树。提升直觉模糊树克服了浅层直觉模糊决策树分类性能弱的缺点，同时具有对样本特征值中的不确定性信息进行处理的能力。
如图4所示，本发明基于提升直觉模糊树的目标跟踪方法第三实施例，是在本发明基于提升直觉模糊树的目标跟踪方法第一实施例的基础上，为关联成功或匹配成功的可靠目标更新提升直觉模糊树包括：
S41：更新训练样本集合。
将关联成功或匹配成功的可靠目标在当前视频帧中对应的目标图像块作为新的正训练样本加入正训练样本集中，在正训练样本周围指定范围内选择若干个图像块作为负训练样本，正训练样本集和负训练样本组成训练样本集合。本实施例中的正训练样本集中可以包括可靠目标在当前以及之前视频帧中所有对应的图像块，也可以限制正训练样本集中正训练样本的数量小于或者等于指定阈值以节省存储资源。
得到的训练样本集合W＝{(x1,c1),(x2,c2),...,(xn,cn)}，其中xj为训练样本，cj为训练样本的类别标签，cj∈{-1,1}，j＝1,2,…,n，cj＝1表示训练样本属于可靠目标类别为正训练样本，cj＝-1表示训练样本属于非可靠目标类别为负训练样本。
S42：初始化训练样本集合中的训练样本的权值。
将每个训练样本的权值初始化为1/n，其中n为训练样本集合中训练样本的个数，即令w1,j＝1/n,j＝1,2,...,n。
S43：利用训练样本集合生成浅层直觉模糊决策树。
S44：计算浅层直觉模糊决策树在训练样本集合上的分类误差率。
对于已生成的第t个浅层直觉模糊决策树，其在训练样本集合W上的分类误差率et定义为：
其中wt,j，j＝1,2,…,n为生成第t个浅层直觉模糊决策树所用的训练样本的权值，I(·)为指示函数，Gt(xj)为已生成的第t个浅层直觉模糊决策树对训练样本xj进行分类得到的分类结果，其计算方式与对测试样本进行分类相同，可参考式(2)-(10)。
S45：利用分类误差率计算浅层直觉模糊决策树的权重。
已生成的第t个浅层直觉模糊决策树的权重at定义为：
S46：利用权重更新训练样本的权值。
更新得到的用于生成第t+1个浅层直觉模糊决策树的训练样本的权值wt+1,j为：
其中Zt为归一化因子，计算公式为：
S47：判断生成的浅层直觉模糊决策树的数量是否到达预设数量T或分类误差率小于预设阈值ξ。
若两个条件满足任意一个，则结束流程，生成的浅层直觉模糊决策树组成了新的提升直觉模糊树；若均不满足则返回步骤S43继续循环。
本实施例可以与本发明基于提升直觉模糊树的目标跟踪方法第二实施例相结合。
如图5所示，本发明基于提升直觉模糊树的目标跟踪方法第四实施例，是在本发明基于提升直觉模糊树的目标跟踪方法第三实施例的基础上，步骤S44具体包括：
S441：初始化训练样本集合中训练样本隶属于根节点的直觉模糊隶属度。
以训练样本集合中训练样本的权值作为该训练样本隶属于根节点的直觉模糊隶属度。
S442：对到达当前节点的训练样本进行特征选择准则训练。
初始的当前节点为根节点。
根据直觉模糊信息增益最大原则确认当前节点的最优一维特征及最优一维特征的算子次数和特征门限值的取值，最优一维特征属于训练样本的高维特征矢量。
S443：判断当前节点是否满足停止条件。
浅层直觉模糊决策树的深度越深，其消耗的存储资源越多，需要的计算量也越大，因此，需要设计其生成过程的停止条件。停止条件可以包括：
1)到达当前节点某一类别的训练样本隶属于当前节点的直觉模糊隶属度的和占到达当前节点全部训练样本的直觉模糊隶属度的总和的比重大于第三阈值θr；
2)到达当前节点的训练样本隶属于当前节点的直觉模糊隶属度的总和小于第四阈值θl；
3)当前节点在浅层直觉模糊决策树中的深度达到第五阈值θd。为节省计算资源和存储资源，第五阈值θd为较小的正整数，例如在根节点的深度为0的情况下θd可以取2。
若满足以上三个条件中的任意一个，则跳转到步骤S444，若均不满足，则跳转到步骤S445.
S444：将当前节点转化为叶子节点。
S445：使用最优一维特征将当前节点分裂生成下一层的两个分支节点。
然后将分支节点作为当前节点返回步骤S442继续执行，直至所有的当前节点都变为叶子节点，不再有分支节点生成。浅层直觉模糊决策树的生成过程是从根节点开始，以直觉模糊信息增益最大化作为特征选择准则，递归地构建二叉树的过程。
其中如图6所示，步骤S442具体包括：
S410：从训练样本的高维特征矢量中随机选择一个一维特征。
S420：从候选特征门限值中选择一个，在选中的一维特征和特征门限值条件下计算算子次数取不同数值时的直觉模糊信息增益，记录选中的一维特征、特征门限值的取值、最大的直觉模糊信息增益以及对应的算子次数的取值。
在本发明一个实施例中，候选特征门限值可以包括对训练样本的选中的一维特征的取值进行排序后得到的相邻两个取值的中值，n个训练样本可以得到n-1个中值。候选特征门限值也可以包括所有训练样本的选中的一维特征的取值的平均值。当然也可以是以上两种的组合。
直觉模糊信息增益ΔH定义为：
其中X＝{x1,x2,...,xn}为到达当前节点的训练样本的集合，n为集合X中训练样本的个数。一般来说训练样本能够经过每个分支节点的每条输出路径到达浅层直觉模糊决策树中的每一个节点，因此X与训练样本集合W实质相同。
H(X)为集合X的直觉模糊熵，定义为：
其中δ(·)为狄拉克函数，cj为训练样本的类别标签，mi为训练样本的类别，由于仅需要对目标和非目标进行区分，因此共有两类，i＝1,2。训练样本隶属于当前节点的直觉模糊隶属度h％(xj)的定义及计算方式可参照式(5)-(10)，需要注意的是此时式(5)-(10)中的样本x为集合X中的训练样本，使用的样本特征、特征门限值和算子次数是属于到达当前节点之前的分支节点的。
Hl(X)为当前节点输出左分支所包含的训练样本的集合的直觉模糊熵，定义为：
Hr(X)为当前节点输出右分支所包含的训练样本的集合的直觉模糊熵，定义为：
其中为样本隶属于当前节点的输出左分支的直觉模糊隶属度，为样本隶属于当前节点的输出右分支的直觉模糊隶属度，其计算方式与分支节点d的相同，可参考式(6)-(10)，需要注意的是此时式(6)-(10)中的样本x仍为集合X中的训练样本，但使用是当前节点的选中的一维特征和特征门限值，以及本次指定的算子次数。
在算子次数的取不同数值时分别计算其直觉模糊信息增益ΔH，从中找出最大的直觉模糊信息增益ΔH以记录。
S430：为候选特征门限值中的每一个执行前一步骤(即步骤S420)，找出并保存所有记录中直觉模糊信息增益最大的一条。
该条记录中包括的一维特征即为最优一维特征，特征门限值的取值和算子次数的取值即为最优一维特征的算子次数和特征门限值的取值。
如图7所示，本发明基于提升直觉模糊树的目标跟踪方法第五实施例，是在本发明基于提升直觉模糊树的目标跟踪方法第三实施例的基础上，步骤S44具体包括：
S446：初始化训练样本集合中训练样本隶属于根节点的直觉模糊隶属度。
S447：判断当前节点是否满足停止条件。
初始的当前节点为根节点。
若满足以上三个条件中的任意一个，则跳转到步骤S448，若均不满足，则跳转到步骤S449。
S448：将当前节点转化为叶子节点。
S449：对到达当前节点的训练样本进行特征选择准则训练，使用最优一维特征将当前节点分裂生成下一层的两个分支节点。
然后将分支节点作为当前节点返回步骤S447继续执行，直至所有的当前节点都变为叶子节点，不再有分支节点生成。
本实施例与本发明基于提升直觉模糊树的目标跟踪方法第四实施例的区别在于判断当前节点是否满足停止条件的步骤与对到达当前节点的训练样本进行特征选择准则训练的步骤的执行顺序不同，具体内容可参考本发明基于提升直觉模糊树的目标跟踪方法第四实施例，在此不再赘述。
如图8所示，本发明基于提升直觉模糊树的目标跟踪方法第六实施例，是在本发明基于提升直觉模糊树的目标跟踪方法第一实施例的基础上，步骤S2包括：
S21：计算观测结果和预测结果之间的相似性度量。
相似性度量包括空间距离特征相似性度量以及外观特征相似性度量。
通常，目标在相邻帧图像之间的位置不会发生较大变化，因此，空间距离特征是能够较为有效地匹配目标的观测结果与预测结果的特征之一。观测结果d与预测结果o之间的空间距离特征相似性度量ψ1定义为：
其中||·||2为二范数，(xo,yo)为预测结果o的中心坐标，(xd,yd)为观测结果d的中心坐标，ho为预测结果o的高度，为方差常量，可以取
由于目标的外观可能会随时间发生变化，单一的固定目标模板无法形成对目标外观的准确描述，因此，采用目标模板集来表示目标外观。预测结果o对应的目标模板集为其中的目标模板ei,i＝1,...,n2为经过白化处理且大小缩放至h×w的之前n2个视频帧中的关联/匹配对象图像块，n2为目标模板集中包括的目标模板的总数。为了存储和计算方便，对目标模板集中所包含的目标模板的数量进行限制，n2小于或等于第七阈值γ，可以取γ＝5。
观测结果d与预测结果o之间的外观特征相似性度量ψ2定义为：
其中s(·)为观测结果d与目标模板ei之间的归一化相关性度量，定义为：
其中d(x,y)为观测结果d在坐标(x,y)处的灰度值，ei(x,y)为目标模板ei在坐标(x,y)处的灰度值，并且观测结果d也经过白化处理且大小缩放至h×w。s的取值范围为[0,1]。
S22：利用相似性度量计算观测结果和预测结果之间的关联代价。
观测结果d与预测结果o之间的关联代价定义为：
ρo,d＝1-ψ1×ψ2 (22)
S23：利用关联代价计算观测结果和预测结果之间的最优关联矩阵作为关联结果。
所有观测结果组成的集合为D＝{d1,...,dp}，所有预测结果组成的集合为O＝{o1,...,oq}，观测结果和预测结果的总关联代价定义为：
其中ρij为式(17)定义的观测结果di与预测结果oj之间的关联代价，A＝[aij]p×q为观测结果和预测结果之间的关联矩阵，关联矩阵中的任一元素aij∈{0,1}，当aij＝1时，表示观测结果di与预测结果oj关联成功。
由于一个观测仅能够与一个目标相关联，并且一个目标也仅能够与一个观测相关联，求解得到使得观测结果和预测结果的总关联代价最小的关联矩阵A0即为最优关联矩阵。可以使用匈牙利算法求解得到关联结果。
如图9所示，本发明基于提升直觉模糊树的目标跟踪方法第七实施例，是在本发明基于提升直觉模糊树的目标跟踪方法第六实施例的基础上，步骤S3之后进一步包括：
S5：为关联成功或匹配成功的可靠目标更新目标模板集。
将可靠目标当前帧关联成功或匹配成功的关联/匹配对象图像块经过白化处理且大小缩放至h×w之后加入该可靠目标的目标模板集中。若加入之前目标模板集中目标模板的数量等于第七阈值，则删除目标模板集中最早加入的目标模板。
本步骤与步骤S4的执行可以是相互独立的，也可以是同时进行的。
下面为使用本发明基于提升直觉模糊树的目标跟踪方法一实施例进行实验验证比较的结果，本实施例是本发明第一至第四、第六与第七实施例的结合，并采用卡尔曼滤波器对有效目标轨迹和临时目标轨迹进行滤波和预测，是一种基于提升直觉模糊树的视频多目标跟踪(BIFTMOT)算法。本实施例的BIFTMOT算法选用的模型参数包括：目标模板的大小为64×32，提升直觉模糊树中包括的浅层直觉模糊决策树的最大个数设为50，每个浅层直觉模糊决策树的最大深度为2。提升直觉模糊树以RGB颜色通道图像作为样本特征。
实验对象采用2个具有代表性的公开的测试视频TownCentre与PETS.S2L2，2个测试视频均为公共场景下的监控视频。为了能够全面、准确地评估本实施例的BIFTMOT算法的跟踪性能，采用了6个常用的跟踪性能评价指标，即目标标签变化次数(identity switch,IDS)、多目标跟踪准确性(Multiple Object Tracking Accuracy,MOTA)、多目标跟踪精度(Multiple Object Tracking Precision,MOTP)、长时间跟踪的目标比例(Mostlytracked,MT)、短时间跟踪的目标比例(Mostly lost,ML)以及目标轨迹断开次数(Fragmentation,FG)，其中MOTA、MOTP以及MT的数值越大则说明跟踪性能越好，而IDS、ML以及FG的数值越小则说明跟踪性能越好。本实施例将与TC_ODAL算法(Bae S H,Yoon KJ.Robust online multi-object tracking based on tracklet confidence and onlinediscriminative appearance learning[C].in IEEE Conference on Computer Visionand Pattern Recognition,Columbus,OH,2014:1218-1225)、MDP算法(Xiang Y,Alahi A,Savarese S.Learning to track:Online multi-object tracking by decision making[C].in IEEE International Conference on Computer Vision,2015:4705-4713)、MHT算法(Kim C,Li F,Ciptadi A,et al.Multiple hypothesis tracking revisited[C].inIEEE International Conference on Computer Vision,2015:4696-4704)以及以相同的样本特征和模型参数实现的基于硬判决的提升决策树的视频多目标跟踪算法(BTMOT)进行性能对比。
针对测试视频TownCentre，本实施例的BIFTMOT算法以及对比算法的实验结果如表1所示。
表1
从表1可以看出，BIFTMOT算法在MOTA指标上要明显优于对比算法，说明BIFTMOT算法出现跟踪错误的次数比对比算法要少。与TC_ODAL算法相比，BIFTMOT算法在ML指标上改善了40.4％，在MT指标上提高了18.5％；与MDP算法相比，BIFTMOT算法在ML指标上改善了7.6％，在MT指标上提高了3.1％；与MHT算法相比，BIFTMOT算法在ML指标上改善了15.4％，在MT指标上提高了1.8％。这说明BIFTMOT算法不仅准确跟踪的目标数更多而且输出的目标轨迹也更为完整。与BTMOT算法相比，BIFTMOT算法在ML指标上改进了0.5％，在MT指标上提升了0.5％，在IDS指标上减少了18次目标标签分配错误。这一结果进一步验证了将直觉模糊理论引入到传统决策树模型中的有效性。尽管BIFTMOT算法在IDS指标上要差于TC_ODAL算法、MDP算法以及MHT算法，但BIFTMOT算法估计出了60％以上的目标轨迹。
针对测试视频PETS.S2L2，本实施例的BIFTMOT算法以及对比算法的实验结果如表2所示。
表2
从表2可以看出，BIFTMOT算法在MOTA指标上要明显优于对比算法，说明BIFTMOT算法出现跟踪错误的次数比对比算法要少。与TC_ODAL算法相比，BIFTMOT算法在ML指标上改进了18.6％；与MDP算法相比，BIFTMOT算法在ML指标上改进了2.3％；与MHT算法相比，BIFTMOT算法在ML指标上改进了2.3％，这说明与上述3个算法相比，BIFTMOT算法所准确跟踪的目标轨迹更多。同时，与TC_ODAL算法相比，BIFTMOT算法在MT指标上提高了16.3％；与MDP算法相比，BIFTMOT算法在MT指标上提高了9.3％；与MHT算法相比，BIFTMOT算法在MT指标上略低2.3％，这说明BIFTMOT算法不仅准确跟踪的目标数更多而且输出目标轨迹也较为完整。与BTMOT算法相比，BIFTMOT算法在IDS指标上减少了10次目标标签分配错误。这一结果进一步证明与传统决策树模型相比，提升直觉模糊树目标分类器对不同目标的区分能力更强。尽管视频PETS.S2L2中存在大量目标漏检以及虚假观测，BIFTMOT算法在IDS指标以及FG指标上仅次于MHT算法，而好于其他对比算法。
采用MATLAB编程语言实现BIFTMOT算法，实验平台为Intel双核3.6GHz处理器以及8GB内存的台式机。BIFTMOT算法与对比算法在测试视频上的平均处理速度如表3所示。表3的统计结果中已排除运动检测所消耗的处理时间。
表3
从表3可以看出，BIFTMOT算法在运算效率上略差于TC_ODAL算法和MDP算法，但是与MHT算法的运算效率相等。BIFTMOT算法的运算效率要低于BTMOT算法，但是BIFTMOT算法在跟踪准确性上要比BTMOT算法高。
针对目标轨迹众多并且背景干扰较强的测试视频TownCentre，以及目标密度较大并且光照变化明显的测试视频PETS.S2L2，BIFTMOT算法在多目标跟踪准确性、长时间跟踪的目标比例以及短时间跟踪的目标比例上均取得了优于或者接近于对比算法的跟踪性能，主要是因为尽管测试视频中存在由于背景干扰和光照变化所导致的目标特征的不确定性以及由于目标间高频率遮挡而导致的大量目标漏检，由于BIFTMOT算法所采用的直觉模糊决策树能够较好的处理特征描述的不确定性，并且通过引入AdaBoost算法，多个浅层直觉模糊树有效的组合成了一个分类性能较强的提升直觉模糊树。因此，即使原本稳定跟踪的目标被漏检，本实施例的BIFTMOT算法仍然能够利用提升直觉模糊树对其进行在线跟踪。
如图10所示，本发明基于提升直觉模糊树的目标跟踪装置第一实施例包括：
检测模块11，用于对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果。
关联模块12，用于对观测结果和目标的预测结果进行关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的，目标包括可靠目标及临时目标。
管理模块13，用于对未被关联的观测结果和预测结果进行轨迹管理，其中包括对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的提升直觉模糊树对候选结果进行匹配。
更新模块14，用于利用关联结果和匹配结果获取当前帧的目标的轨迹，其中包括对匹配成功的可靠目标利用其匹配成功的候选结果对其预测结果进行滤波更新以获取轨迹；利用当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的可靠目标更新提升直觉模糊树。
如图11所示，本发明基于提升直觉模糊树的目标跟踪装置第二实施例包括：处理器110和摄像机120。摄像机120可以为本地摄像机，处理器110通过总线连接摄像机120；摄像机120也可以为远程摄像机，处理器110通过局域网或互联网连接摄像机120。
处理器110控制基于提升直觉模糊树的目标跟踪装置的操作，处理器110还可以称为CPU(Central Processing Unit，中央处理单元)。处理器110可能是一种集成电路芯片，具有信号的处理能力。处理器110还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
基于提升直觉模糊树的目标跟踪装置可以进一步包括存储器(图中未画出)，存储器用于存储处理器110工作所必需的指令及数据，也可以存储传输器120拍摄的视频数据。
处理器110用于对从摄像机120获取的当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的，目标包括可靠目标及临时目标；对未被关联的观测结果和预测结果进行轨迹管理，其中包括对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的提升直觉模糊树对候选结果进行匹配；利用关联结果和匹配结果获取当前帧的目标的轨迹，其中包括对匹配成功的可靠目标利用其匹配成功的候选结果对其预测结果进行滤波更新以获取轨迹；利用当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的可靠目标更新提升直觉模糊树。
本发明基于提升直觉模糊树的目标跟踪装置包括的各部分的功能可参考本发明在线目标跟踪方法各对应实施例中的描述，在此不再赘述。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (12)
1.一种基于提升直觉模糊树的目标跟踪方法，其特征在于，包括：
对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；
对所述观测结果和目标的预测结果进行关联，其中所述预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的，所述目标包括可靠目标及临时目标；
对未被关联的所述观测结果和所述预测结果进行轨迹管理，其中包括对未被关联的所述可靠目标的预测结果进行在线跟踪获取候选结果，利用所述未被关联的所述可靠目标的提升直觉模糊树对所述候选结果进行匹配；
利用关联结果和匹配结果获取当前帧的目标的轨迹，其中包括对匹配成功的所述可靠目标利用其匹配成功的所述候选结果对其预测结果进行滤波更新以获取所述轨迹；利用所述当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的所述可靠目标更新所述提升直觉模糊树；
其中，所述对未被关联的所述可靠目标的预测结果进行在线跟踪获取候选结果包括：
在所述可靠目标的预测结果位置及其周围指定范围内选择若干个图像块作为所述候选结果，所述候选结果可以包括未被关联的所述观测结果；
所述利用所述未被关联的所述可靠目标的提升直觉模糊树对所述候选结果进行匹配包括：
利用所述提升直觉模糊树计算所述候选结果作为测试样本的分类预测值；
若所述分类预测值大于第一阈值，且所述候选结果与所述可靠目标的预测结果的外观特征相似性度量大于第二阈值，则匹配成功；
所述候选结果作为测试样本的分类预测值fa(xc)定义为：
其中xc为所述测试样本，T为所述提升直觉模糊树中浅层直觉模糊决策树的个数，at为第t个所述浅层直觉模糊决策树的权重；
Gt(xc)为第t个所述浅层直觉模糊决策树对所述测试样本xc进行分类得到的分类结果，定义为：
其中Gt(xc)＝1表示所述测试样本属于所述可靠目标类别，Gt(xc)＝-1表示所述测试样本属于非所述可靠目标类别，φt(c＝m|xc)为利用第t个所述浅层直觉模糊决策树计算得到的所述测试样本xc隶属于所述可靠目标类别m的直觉模糊隶属度，定义为：
c为所述测试样本的类别标签，m为所述可靠目标类别，在所述第t个所述浅层直觉模糊决策树中，Bt为所述测试样本xc到达的所有叶子节点构成的集合，b为所述测试样本xc到达的一个叶子节点，h％(xc)为将所述叶子节点b作为当前节点时所述测试样本xc隶属于所述当前节点的直觉模糊隶属度，为所述叶子节点b预测类别为m的置信度，定义为：
其中xj为到达所述叶子节点b的训练样本，共有nb个，cj为所述训练样本xj的类别标签，δ(·)为狄拉克函数，h％(xj)为将所述叶子节点b作为当前节点时所述训练样本xj隶属于所述当前节点的直觉模糊隶属度；
其中样本x隶属于当前节点的直觉模糊隶属度定义h％(x)定义为：
所述样本包括所述测试样本和所述训练样本，若所述当前节点为根节点，当所述样本x为所述测试样本时，h％(x)＝1，当所述样本x为所述训练样本时，h％(x)等于所述样本x的权值；
其中D为所述样本到达所述当前节点之前经过的所有分支节点的集合，d为所述集合中的一个分支节点，l表示所述分支节点的输出左分支，r表示所述分支节点的输出右分支，为所述样本到达所述当前节点所经过的隶属于所述分支节点d的输出路径的直觉模糊隶属度，定义为：
其中为所述样本隶属于所述分支节点d的输出左分支的直觉模糊隶属度，为所述样本隶属于所述分支节点d的输出右分支的直觉模糊隶属度，h(xd)为所述分支节点d的直觉模糊输出判决函数，定义为：
其中xd为所述分支节点的所述样本的特征值，k为算子次数，为正整数；
g(xd)为S型函数，定义为：
其中τ为特征门限值，θ为用于控制所述S型函数倾斜程度的常量参数，σ为所述特征值的标准差；
π(·)为模糊直觉指数，定义为：
其中λ为常量参数，0<λ<1，当xd≥τ时，z＝g(xd)，当xd<τ时，z＝1-g(xd)；
α为从模糊直觉指数中提取隶属信息的尺度因子，β为从模糊直觉指数中提取非隶属信息的尺度因子，定义为：
其中所述算子次数k和所述特征门限值τ的取值通过更新所述浅层直觉模糊决策树过程中的特征选择准则训练确定。
2.根据权利要求1所述的方法，其特征在于，
所述为关联成功或匹配成功的所述可靠目标更新所述提升直觉模糊树包括：
将所述关联成功或匹配成功的所述可靠目标在所述当前视频帧中对应的目标图像块作为新的正训练样本加入正训练样本集中，在所述正训练样本周围指定范围内选择若干个图像块作为负训练样本；
初始化所述正训练样本集和所述负训练样本组成的训练样本集合中的训练样本的权值；
以所述训练样本的权值作为所述训练样本隶属于根节点的直觉模糊隶属度，利用所述训练样本集合生成浅层直觉模糊决策树，计算所述浅层直觉模糊决策树在所述训练样本集合上的分类误差率，利用所述分类误差率计算所述浅层直觉模糊决策树的权重，利用所述权重更新所述训练样本的权值以获取下一个所述浅层直觉模糊决策树的所述训练样本的权值；
循环执行前一步骤直至所述分类误差率小于预设阈值或者生成的所述浅层直觉模糊决策树个数达到预设数量，生成的所述浅层直觉模糊决策树组成所述新的提升直觉模糊树。
3.根据权利要求2所述的方法，其特征在于，
所述初始化所述训练样本集合中的训练样本的权值包括：
将每个训练样本的权值初始化为1/n，其中n为所述训练样本集合中训练样本的个数；
所述利用所述训练样本集合生成浅层直觉模糊决策树包括：
以所述训练样本集合中训练样本的权值作为所述训练样本隶属于所述根节点的直觉模糊隶属度；
对到达当前节点的所述训练样本进行特征选择准则训练，根据直觉模糊信息增益最大原则确认当前节点的最优一维特征及所述最优一维特征的算子次数和特征门限值的取值，其中所述最优一维特征属于所述训练样本的高维特征矢量，然后判断所述当前节点是否满足停止条件，若满足，则将所述当前节点转化为叶子节点，若不满足，则使用所述最优一维特征将所述当前节点分裂生成下一层的两个分支节点；或判断所述当前节点是否满足停止条件，若满足，则将所述当前节点转化为叶子节点，若不满足，则对到达当前节点的所述训练样本进行所述特征选择准则训练，然后使用所述最优一维特征将所述当前节点分裂生成下一层的两个分支节点；
将所述分支节点作为当前节点返回前一步骤继续执行。
4.根据权利要求3所述的方法，其特征在于，
所述对到达当前节点的所述训练样本进行特征选择准则训练包括：
从所述训练样本的高维特征矢量中随机选择一个一维特征；
从候选特征门限值中选择一个，在选中的一维特征和特征门限值条件下计算所述算子次数取不同数值时的直觉模糊信息增益，记录所述选中的一维特征、所述特征门限值的取值、最大的所述直觉模糊信息增益以及对应的所述算子次数的取值；
为所述候选特征门限值中的每一个执行前一步骤，找出并保存所有记录中所述直觉模糊信息增益最大的一条；
重复执行上述步骤指定次数，在获取的所有保存的记录中找出所述直觉模糊信息增益最大的一条，其中包括的所述一维特征为所述最优一维特征，所述特征门限值的取值和所述算子次数的取值为所述最优一维特征的算子次数和特征门限值的取值。
5.根据权利要求4所述的方法，其特征在于，
所述直觉模糊信息增益ΔH定义为：
其中X＝{x1,x2,...,xn}为到达所述当前节点的训练样本的集合，n为所述集合中所述训练样本的个数；
H(X)为所述集合X的直觉模糊熵，定义为：
其中δ(·)为狄拉克函数，cj为所述训练样本的类别标签，mi为所述训练样本的类别，由于仅需要对属于目标和不属于目标进行区分，因此共有两类，i＝1,2；
训练样本隶属于所述当前节点的直觉模糊隶属度h％(·)定义为：
其中D为所述训练样本到达所述当前节点之前经过的所有分支节点的集合，d为所述集合中的一个分支节点，为所述训练样本隶属于所述分支节点d的输出左分支的直觉模糊隶属度，为所述训练样本隶属于所述分支节点d的输出右分支的直觉模糊隶属度，定义为：
其中h(xd)为所述分支节点d的直觉模糊输出判决函数，定义为：
其中xd为所述分支节点的所述训练样本的特征值，k为所述算子次数，为正整数；
g(xd)为S型函数，定义为：
其中τ为所述特征门限值，θ为用于控制所述S型函数倾斜程度的常量参数，σ为所述特征值的标准差；
π(·)为模糊直觉指数，定义为：
其中λ为常量参数，0<λ<1，当xd≥τ时，z＝g(xd)，当xd<τ时，z＝1-g(xd)；
α为从模糊直觉指数中提取隶属信息的尺度因子，β为从模糊直觉指数中提取非隶属信息的尺度因子，定义为：
Hl(X)为所述当前节点输出左分支所包含的训练样本的集合的直觉模糊熵，定义为：
Hr(X)为所述当前节点输出右分支所包含的训练样本的集合的直觉模糊熵，定义为：
其中为所述样本隶属于所述当前节点的输出左分支的直觉模糊隶属度，为所述样本隶属于所述当前节点的输出右分支的直觉模糊隶属度，其计算方式与所述分支节点d的相同且使用的参数为所述选中的一维特征、特征门限值和算子次数；
所述计算所述浅层直觉模糊决策树在所述训练样本集合上的分类误差率包括：
对于已生成的第t个所述浅层直觉模糊决策树，其在所述训练样本集合W＝{(x1,c1),(x2,c2),...,(xn,cn)}上的分类误差率et定义为：
其中xj为所述训练样本，cj为所述训练样本的类别标签，cj∈{-1,1}，j＝1,2,…,n，cj＝1表示所述训练样本属于所述可靠目标类别为所述正训练样本，cj＝-1表示所述训练样本属于非所述可靠目标类别为所述负训练样本；wt,j，j＝1,2,…,n为生成第t个所述浅层直觉模糊决策树所用的所述训练样本的权值，I(·)为指示函数，Gt(xj)为已生成的第t个所述浅层直觉模糊决策树对所述训练样本xj进行分类得到的分类结果；
所述利用所述分类误差率计算所述浅层直觉模糊决策树的权重包括：
已生成的第t个所述浅层直觉模糊决策树的权重at定义为：
所述利用所述权重更新所述训练样本的权值包括：
用于生成第t+1个所述浅层直觉模糊决策树的所述训练样本的权值wt+1,j为：
其中Zt为归一化因子，计算公式为：
6.根据权利要求4所述的方法，其特征在于，所述候选特征门限值包括对所述训练样本的所述选中的一维特征的取值进行排序后得到的相邻两个所述取值的中值，和/或所有所述训练样本的所述选中的一维特征的取值的平均值。
7.根据权利要求3所述的方法，其特征在于，
所述停止条件包括：
到达所述当前节点某一类别的所述训练样本隶属于所述当前节点的直觉模糊隶属度的和占到达所述当前节点全部所述训练样本的直觉模糊隶属度的总和的比重大于第三阈值；
或到达所述当前节点的所述训练样本隶属于所述当前节点的直觉模糊隶属度的总和小于第四阈值；
或所述当前节点在所述浅层直觉模糊决策树中的深度达到第五阈值。
8.根据权利要求1-7中任一项所述的方法，其特征在于，
对未被关联的所述观测结果和所述预测结果进行轨迹管理进一步包括：
为未被关联且不是匹配成功的候选结果的所述观测结果建立新的临时目标，将连续关联成功的帧数大于第一帧数阈值的所述临时目标变为可靠目标，删除连续关联不成功的帧数大于第二帧数阈值的所述临时目标，删除连续关联不成功的帧数大于第三帧数阈值，且所述匹配结果为匹配失败的所述可靠目标，其中所述匹配结果为匹配失败是指利用所述提升直觉模糊树计算所述候选结果作为测试样本隶属于所述可靠目标类别的直觉模糊隶属度小于或者等于第六阈值；
所述利用关联结果和匹配结果获取当前帧的目标的轨迹进一步包括：
对关联成功的所述目标利用其关联的所述观测结果对其预测结果进行滤波更新以获取所述轨迹，对所述新的临时目标将对应的所述观测结果作为所述轨迹，对关联不成功且未被删除的所述临时目标以及关联不成功且匹配不成功且未被删除的所述可靠目标将其预测结果作为所述轨迹。
9.根据权利要求1-7中任一项所述的方法，其特征在于，
所述对所述观测结果和目标的预测结果进行关联包括：
计算所述观测结果和所述预测结果之间的相似性度量，所述相似性度量包括空间距离特征相似性度量以及外观特征相似性度量；
利用所述相似性度量计算所述观测结果和所述预测结果之间的关联代价；
利用所述关联代价计算所述观测结果和所述预测结果之间的最优关联矩阵作为关联结果，使得所述观测结果和所述预测结果的总关联代价最小。
10.根据权利要求9所述的方法，其特征在于，包括：
观测结果d与预测结果o之间的所述空间距离特征相似性度量ψ1定义为：
其中||·||2为二范数，(xo,yo)为所述预测结果o的中心坐标，(xd,yd)为所述观测结果d的中心坐标，ho为所述预测结果o的高度，为方差常量；
所述预测结果o对应的目标模板集为其中的目标模板ei,i＝1,...,n2为经过白化处理且大小缩放至h×w的之前n2个视频帧中的关联/匹配对象图像块，n2为所述目标模板集中包括的所述目标模板的总数且小于或等于第七阈值，所述观测结果d与所述预测结果o之间的所述外观特征相似性度量ψ2定义为：
其中s(·)为所述观测结果d与所述目标模板ei之间的归一化相关性度量，定义为：
其中d(x,y)为所述观测结果d在坐标(x,y)处的灰度值，ei(x,y)为所述目标模板在坐标(x,y)处ei的灰度值；
所述观测结果d与所述预测结果o之间的关联代价定义为：
ρo,d＝1-ψ1×ψ2 (22)
所有所述观测结果组成的集合为D＝{d1,...,dp}，所有所述预测结果组成的集合为O＝{o1,...,oq}，所述观测结果和所述预测结果的总关联代价定义为：
其中ρij为观测结果di与预测结果oj之间的关联代价，A＝[aij]p×q为所述观测结果和所述预测结果之间的关联矩阵，所述关联矩阵中的任一元素aij∈{0,1}，当aij＝1时，表示所述观测结果di与所述预测结果oj关联成功；所述最优关联矩阵为求解得到的关联矩阵A0。
11.根据权利要求10所述的方法，其特征在于，进一步包括：
对于关联成功或匹配成功的所述可靠目标，将其关联/匹配对象图像块经过白化处理且大小缩放至h×w之后加入所述可靠目标的所述目标模板集中，并且若加入之前所述目标模板集中所述目标模板的数量等于所述第七阈值，删除所述目标模板集中最早加入的所述目标模板。
12.一种基于提升直觉模糊树的目标跟踪装置，其特征在于，包括：处理器和摄像机，所述处理器连接所述摄像机；
所述处理器用于对从所述摄像机获取的当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对所述观测结果和目标的预测结果进行关联，其中所述预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的，所述目标包括可靠目标及临时目标；对未被关联的所述观测结果和所述预测结果进行轨迹管理，其中包括在未被关联的所述可靠目标的预测结果位置及其周围指定范围内选择若干个图像块作为候选结果，所述候选结果可以包括未被关联的所述观测结果，利用所述未被关联的所述可靠目标的提升直觉模糊树对所述候选结果进行匹配；利用关联结果和匹配结果获取当前帧的目标的轨迹，其中包括对匹配成功的所述可靠目标利用其匹配成功的所述候选结果对其预测结果进行滤波更新以获取所述轨迹；利用所述当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的所述可靠目标更新所述提升直觉模糊树；
其中，所述利用所述未被关联的所述可靠目标的提升直觉模糊树对所述候选结果进行匹配包括：
利用所述提升直觉模糊树计算所述候选结果作为测试样本的分类预测值；
若所述分类预测值大于第一阈值，且所述候选结果与所述可靠目标的预测结果的外观特征相似性度量大于第二阈值，则匹配成功；
所述候选结果作为测试样本的分类预测值fa(xc)定义为：
其中xc为所述测试样本，T为所述提升直觉模糊树中浅层直觉模糊决策树的个数，at为第t个所述浅层直觉模糊决策树的权重；
Gt(xc)为第t个所述浅层直觉模糊决策树对所述测试样本xc进行分类得到的分类结果，定义为：
其中Gt(xc)＝1表示所述测试样本属于所述可靠目标类别，Gt(xc)＝-1表示所述测试样本属于非所述可靠目标类别，φt(c＝m|xc)为利用第t个所述浅层直觉模糊决策树计算得到的所述测试样本xc隶属于所述可靠目标类别m的直觉模糊隶属度，定义为：
c为所述测试样本的类别标签，m为所述可靠目标类别，在所述第t个所述浅层直觉模糊决策树中，Bt为所述测试样本xc到达的所有叶子节点构成的集合，b为所述测试样本xc到达的一个叶子节点，h％(xc)为将所述叶子节点b作为当前节点时所述测试样本xc隶属于所述当前节点的直觉模糊隶属度，为所述叶子节点b预测类别为m的置信度，定义为：
其中xj为到达所述叶子节点b的训练样本，共有nb个，cj为所述训练样本xj的类别标签，δ(·)为狄拉克函数，h％(xj)为将所述叶子节点b作为当前节点时所述训练样本xj隶属于所述当前节点的直觉模糊隶属度；
其中样本x隶属于当前节点的直觉模糊隶属度定义h％(x)定义为：
所述样本包括所述测试样本和所述训练样本，若所述当前节点为根节点，当所述样本x为所述测试样本时，h％(x)＝1，当所述样本x为所述训练样本时，h％(x)等于所述样本x的权值；
其中D为所述样本到达所述当前节点之前经过的所有分支节点的集合，d为所述集合中的一个分支节点，l表示所述分支节点的输出左分支，r表示所述分支节点的输出右分支，为所述样本到达所述当前节点所经过的隶属于所述分支节点d的输出路径的直觉模糊隶属度，定义为：
其中为所述样本隶属于所述分支节点d的输出左分支的直觉模糊隶属度，为所述样本隶属于所述分支节点d的输出右分支的直觉模糊隶属度，h(xd)为所述分支节点d的直觉模糊输出判决函数，定义为：
其中xd为所述分支节点的所述样本的特征值，k为算子次数，为正整数；
g(xd)为S型函数，定义为：
其中τ为特征门限值，θ为用于控制所述S型函数倾斜程度的常量参数，σ为所述特征值的标准差；
π(·)为模糊直觉指数，定义为：
其中λ为常量参数，0<λ<1，当xd≥τ时，z＝g(xd)，当xd<τ时，z＝1-g(xd)；
α为从模糊直觉指数中提取隶属信息的尺度因子，β为从模糊直觉指数中提取非隶属信息的尺度因子，定义为：
其中所述算子次数k和所述特征门限值τ的取值通过更新所述浅层直觉模糊决策树过程中的特征选择准则训练确定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611170878.5A CN106846355B (zh) | 2016-12-16 | 2016-12-16 | 基于提升直觉模糊树的目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611170878.5A CN106846355B (zh) | 2016-12-16 | 2016-12-16 | 基于提升直觉模糊树的目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106846355A CN106846355A (zh) | 2017-06-13 |
| CN106846355B true CN106846355B (zh) | 2019-12-20 |
Family
ID=59139744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611170878.5A Active CN106846355B (zh) | 2016-12-16 | 2016-12-16 | 基于提升直觉模糊树的目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106846355B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018107488A1 (zh) * | 2016-12-16 | 2018-06-21 | 深圳大学 | 基于提升直觉模糊树的目标跟踪方法及装置 |
| WO2018227491A1 (zh) * | 2017-06-15 | 2018-12-20 | 深圳大学 | 视频多目标模糊数据关联方法及装置 |
| CN107423686B (zh) * | 2017-06-15 | 2020-07-31 | 深圳大学 | 视频多目标模糊数据关联方法及装置 |
| CN107545582B (zh) * | 2017-07-04 | 2021-02-05 | 深圳大学 | 基于模糊逻辑的视频多目标跟踪方法及装置 |
| CN107516321B (zh) * | 2017-07-04 | 2020-10-23 | 深圳大学 | 一种视频多目标跟踪方法及装置 |
| WO2019006632A1 (zh) * | 2017-07-04 | 2019-01-10 | 深圳大学 | 一种视频多目标跟踪方法及装置 |
| WO2019006633A1 (zh) * | 2017-07-04 | 2019-01-10 | 深圳大学 | 基于模糊逻辑的视频多目标跟踪方法及装置 |
| CN109697393B (zh) * | 2017-10-23 | 2021-11-30 | 北京京东尚科信息技术有限公司 | 人物跟踪方法、装置、电子装置及计算机可读介质 |
| CN108960047B (zh) * | 2018-05-22 | 2021-09-14 | 中国计量大学 | 基于深度二次树的视频监控中人脸去重方法 |
| CN109344712B (zh) * | 2018-08-31 | 2021-09-24 | 电子科技大学 | 一种道路车辆跟踪方法 |
| CN111179304B (zh) * | 2018-11-09 | 2024-04-05 | 北京京东尚科信息技术有限公司 | 目标关联方法、装置和计算机可读存储介质 |
| CN109919974B (zh) * | 2019-02-21 | 2023-07-14 | 上海理工大学 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
| CN110415277B (zh) * | 2019-07-24 | 2022-03-08 | 中国科学院自动化研究所 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
| CN110947073A (zh) * | 2019-11-01 | 2020-04-03 | 天尊教育科技(广州)有限公司 | 一种脑感潜能开发训练系统以及检测方法 |
| CN111551938B (zh) * | 2020-04-26 | 2022-08-30 | 北京踏歌智行科技有限公司 | 一种基于矿区环境的无人驾驶技术感知融合方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101325691B (zh) * | 2007-06-14 | 2010-08-18 | 清华大学 | 融合不同生存期的多个观测模型的跟踪方法和跟踪装置 |
| CN102270345A (zh) * | 2011-06-02 | 2011-12-07 | 西安电子科技大学 | 基于第二代条带波变换图像特征表示和人体运动跟踪方法 |
| CN102663449A (zh) * | 2012-03-12 | 2012-09-12 | 西安电子科技大学 | 基于最大几何流向直方图的人体运动跟踪方法 |
| CN103679186B (zh) * | 2012-09-10 | 2017-04-05 | 华为技术有限公司 | 检测和跟踪目标的方法和装置 |
| US10286924B2 (en) * | 2013-01-14 | 2019-05-14 | Frank E. Bunn | Rail bus transportation network loop system |
| US20150032589A1 (en) * | 2014-08-08 | 2015-01-29 | Brighterion, Inc. | Artificial intelligence fraud management solution |
| CN104850867A (zh) * | 2015-06-10 | 2015-08-19 | 中国人民武装警察部队工程大学 | 一种基于直觉模糊c均值聚类的目标识别方法 |
-
2016
- 2016-12-16 CN CN201611170878.5A patent/CN106846355B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| Detection and Tracking of Moving Objects by Fuzzy textures;S. Mohamed Mansoor Roomi等;《2013 Fourth International Conference on Computing, Communications and Networking Technologies (ICCCNT)》;20140130;第1-5页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106846355A (zh) | 2017-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106846355B (zh) | 基于提升直觉模糊树的目标跟踪方法及装置 | |
| CN106846361B (zh) | 基于直觉模糊随机森林的目标跟踪方法及装置 | |
| US10451712B1 (en) | Radar data collection and labeling for machine learning | |
| Bianco et al. | Combination of video change detection algorithms by genetic programming | |
| US10248860B2 (en) | System and method for object re-identification | |
| Yang et al. | Temporal dynamic appearance modeling for online multi-person tracking | |
| WO2018107488A1 (zh) | 基于提升直觉模糊树的目标跟踪方法及装置 | |
| Gong et al. | Learning and classifying actions of construction workers and equipment using Bag-of-Video-Feature-Words and Bayesian network models | |
| CN110197502B (zh) | 一种基于身份再识别的多目标跟踪方法及系统 | |
| JP5558412B2 (ja) | 識別器を特定のシーン内のオブジェクトを検出するように適応させるためのシステム及び方法 | |
| Elhamod et al. | Automated real-time detection of potentially suspicious behavior in public transport areas | |
| CN107145862B (zh) | 一种基于霍夫森林的多特征匹配多目标跟踪方法 | |
| Krebs et al. | A survey on leveraging deep neural networks for object tracking | |
| WO2018107492A1 (zh) | 基于直觉模糊随机森林的目标跟踪方法及装置 | |
| WO2020185209A1 (en) | Radar data collection and labeling for machine-learning | |
| Garcia-Fidalgo et al. | Vision-based topological mapping and localization by means of local invariant features and map refinement | |
| Sahoo et al. | Adaptive feature fusion and spatio-temporal background modeling in KDE framework for object detection and shadow removal | |
| CN113869274A (zh) | 基于城市管理的无人机智能跟踪监控方法及系统 | |
| Sreenivas et al. | Modified deep belief network based human emotion recognition with multiscale features from video sequences | |
| Rani et al. | Recognition and Detection of Multiple Objects from Images: A Review | |
| Meena et al. | Hybrid Neural Network Architecture for Multi-Label Object Recognition using Feature Fusion | |
| Thota et al. | Classify vehicles: Classification or clusterization? | |
| SATHYANARAYANAN et al. | Hybrid Deep Learning and Efficient Segmentation Technique for Multiple Object Tracking. | |
| Dang et al. | Removing Out-Of-Distribution Samples on Classification Task | |
| Singh et al. | A Fast-Iterative Data Association Technique for Multiple Object Tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210707 Address after: 215300 no.1689-5 Zizhu Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province Patentee after: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd. Address before: 518060 No. 3688 Nanhai Road, Shenzhen, Guangdong, Nanshan District Patentee before: SHENZHEN University |
|
| TR01 | Transfer of patent right | ||
| CP03 | Change of name, title or address |
Address after: 215300 Room 009, No. 55, Shengchuang Road, Yushan Town, Kunshan, Suzhou, Jiangsu Province Patentee after: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 215300 no.1689-5 Zizhu Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province Patentee before: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |