发明内容
本发明的目的在于提出在弱检测环境中,不增加设备复杂度的前提下,有效的提高跟踪的准确性和可靠性,从而满足视频监控场景中对运动目标的行为进行监控的要求,准确和可靠的视频监控中的运动目标跟踪方法。
为达到上述目的,本发明的技术解决方案是:
一种智能视频监控系统中多目标跟踪方法,其包括步骤:
a)对检测到的目标提取一种稳定的综合特征用于目标匹配;
b)在弱检测的前提下,为解决跟踪丢失问题,创建基于多世代目标的跟踪队列;
c)针对视频监控系统实时性要求,采用生命质量竞争的方式实现快速配准;
d)目标合并与分裂;
e)跟踪队列的维护,最终实现多目标的稳定跟踪。
所述的智能视频监控系统中多目标跟踪方法,其所述a)步中,对检测到的目标提取的稳定综合特征,为在传统颜色空间(color based)特征中加入基于对比度(contrast based)特征的综合特征空间。
所述的智能视频监控系统中多目标跟踪方法,其所述综合特征空间,由于基于对比度(contrast based)特征的加入,为满足实时性要求,采用128维或256维特征维数。
所述的智能视频监控系统中多目标跟踪方法,其所述b)步中,基于多世代目标的跟踪队列,其中的多世代是根据每次跟踪的结果为每个跟踪对象赋予相应的生命质量来划分;目标生命质量,是对目标稳定跟踪状况的量度。
所述的智能视频监控系统中多目标跟踪方法,其所述b)步中,基于多世代目标的跟踪队列,分为临时跟踪队列、稳定跟踪队列、跟踪丢失队列:
临时跟踪队列:初始跟踪到,还未稳定跟踪的目标集合;
稳定跟踪队列:稳定跟踪的目标集合;
跟踪丢失队列:曾经稳定跟踪但多次丢失之后,目标生命周期不再满足稳定跟踪队列要求,为待删除的目标集合,也称为目标丢失回收站。
所述的智能视频监控系统中多目标跟踪方法,其所述c)步中,针对智能系统采用生命质量竞争的方式实现快速配准的方式为:
A)多世代跟踪队列生命质量:稳定跟踪队列最高,临时跟踪队列次之,跟踪丢失队列最低;
B)当前检测目标先与稳定跟踪队列和临时跟踪队列进行目标匹配:
b1.当临时跟踪队列和稳定跟踪队列中的目标满足配准阈值的竞争要求时,以当前帧检测到目标的中心为起点,以速度的正比例数为长度半径选定一个区域,在临时跟踪队列、稳定跟踪队列中寻找有关联的目标;
b2.检测目标与关联跟踪目标通过综合特征进行匹配:匹配成功,则执行c,否则,则执行d;
b3.对不满足竞争要求的临时跟踪队列或稳定跟踪队列中的其他目标,则检测目标直接通过综合特征与跟踪队列目标进行匹配:若匹配成功,执行c,否则,执行d;
C)临时跟踪队列、稳定跟踪队列目标生命质量周期更新;
D)当前检测目标与跟踪丢失队列的目标匹配:检测目标直接通过综合特征与跟踪丢失队列中目标进行匹配:若匹配成功,执行f,否则执行e;
E)增加新目标到临时跟踪队列:不能和临时跟踪队列、稳定跟踪队列或跟踪丢失队列匹配的目标,可认为是新进入场景中的目标,把其添加到临时跟踪队列;
F)对多世代跟踪队列的目标生命质量更新,跟踪对象之间的竞争导致跟踪世代的更迭如下:
f1.当临时跟踪队列满足稳定跟踪队列要求时,临时跟踪队列中的目标将转到稳定跟踪队列;
f2.当稳定跟踪队列不满足稳定跟踪队列要求时,则从稳定跟踪队列转到跟踪丢失队列;
f3.当临时跟踪队列或跟踪丢失队列中的目标生命质量降低到目标保留时间和置信度决定的阈值时,目标信息直接从队列中删除;
f4.当跟踪丢失队列中的目标满足稳定跟踪条件时,目标信息从跟踪丢失队列转到临时跟踪队列。
所述的智能视频监控系统中多目标跟踪方法,其还包括,当有异常事件发生时,运动目标的状态超过用户要求警界范围时,则为监控事件发生,向监控者进行提示,发出警报,表示被监控目标行为异常。
所述的智能视频监控系统中多目标跟踪方法,其所述d)步,目标合并与分裂:当两个跟踪目标同时跟一个检测目标匹配成功,通过检测两个跟踪目标信息是否有合并的可能和目标的特征信息,判断是否存在目标合并的情况:当存在目标合并时,两个跟踪目标的特征信息维持原状;反之,则选择最匹配的跟踪目标与检测目标配准,并更新目标特征信息。
本发明是用于对公共场所的监控系统如高速公路,广场,超市等。对输入的视频流采集、检测,最终对目标实现稳定跟踪,得到目标的轨迹等信息,以用于后期的行为分析,对可疑情况进行报警。本发明方法对视频监控中运动目标的跟踪结果准确可靠,满足高速公路等具体的实现进行运动目标的监控需求,为视频监控的应用研究奠定了基础。
具体实施方式
本发明一种智能视频监控系统中多目标跟踪方法,是摄像机固定情况下的运动目标跟踪技术。
一种智能视频监控系统中多目标跟踪方法,包括以下技术特征:
1.对检测到的目标提取一种稳定的综合传统颜色空间(color based)特征和基于对比度(contrast based)特征的复合特征用于目标匹配;
2.在弱检测的前提下,为解决跟踪丢失问题,创建基于多世代目标的跟踪队列;多世代目标的跟踪队列中的多世代是根据每次跟踪的结果为每个跟踪对象赋予相应的生命质量来划分。多世代跟踪队列分为临时跟踪队列、稳定跟踪队列、跟踪丢失队列,各个队列具体要求详见发明内容。
3.为满足智能监控系统实时性要求,采用生命质量竞争的方式实现快速配准。
视频监控系统目标跟踪系统要求有较高的稳定性和可靠性,本发明方法即是从这两点出发,在已有硬件设备的基础上,完成跟踪系统中的软件模块的设计和编制,实现视频监控中运动目标的跟踪。
本发明的方法包括:
1.针对高速公路等具体环境,对环境内的特定目标(车,人等)进行监控,提出了一种综合颜色空间(color based)特征和基于对比度(contrast based)特征的复合特征,在此基础上实现对各个时刻的运动目标的有效而准确跟踪。
基于mean-shift跟踪的通常使用颜色空间(color based)的颜色直方图作为统计特征,这种类型的特征需要较高的维数才能实现目标的稳定跟踪,而高维特征也是不适应于实时系统的;另外在弱检测、目标较远分辨率不高、目标色彩和背景差异不大等情况下,就暴露出其不稳定性,很难有效的对目标进行标识分类。
本发明方法在颜色直方图的基础上,通过增加基于对比度(contrastbased)特征如边缘信息、角点信息等,得到一种稳定的综合特征空间,有效的提高了特征稳定性。为满足实时系统要求,对稳定的特征空间进行降维,并通过并行处理,有效的提高了特征配准效率。
2.提出了多世代目标的跟踪队列竞争配准机制,用于解决弱检测下跟踪丢失问题。
2.1为每个跟踪目标根据其跟踪结果,赋予其生命质量。而多世代跟踪队列就是根据跟踪对象的生命质量进行划分。
在弱检测情况下,目标检测效果较差,会常出现检测信息不完整或连续几帧图像目标检测丢失。目标的弱检测会造成跟踪丢失、新轨迹的不断增加,对后期的目标行为分析造成很高的误报率、重复报警率。而本发明方法针对这种状况,为每个跟踪目标赋予了其生命质量,对检测暂时丢失、检测信息不完整的目标的生命力进行评估,使跟踪队列不会轻易的丢失目标和任意增加新轨迹。
2.2多世代跟踪队列分为临时跟踪队列、稳定跟踪队列、跟踪丢失队列等三种。其中稳定跟踪队列最高,临时跟踪队列次之,跟踪丢失队列最低。
跟踪队列在长时间执行后,必然造成队列庞大、匹配效率低的问题。为满足监控系统实时性要求,本发明方法为目标跟踪建立多世代队列。通过提取的稳定综合特征进行目标的精准匹配,选择最有可能跟目标匹配的跟踪队列,并通过跟踪目标的生命质量和检测目标特征信息等,设定配准准则,有效提高目标配准效率。
2.3为满足视频监控系统实时性要求,跟踪模块采用生命质量竞争的方式实现监测目标与跟踪对象的快速配准。
检测目标先与满足配准阈值的竞争要求,优先级最高的稳定跟踪队列和临时跟踪队列目标进行匹配,然后与稳定跟踪队列和临时跟踪队列中的其他目标匹配,最后是跟生命质量最低的跟踪丢失队列进行配准。这样能有效的提高匹配效率,从而快速实现目标配准。
3.当有异常事件发生时,运动目标的状态超过用户要求警界范围时,认为监控事件发生,则向监控者进行提示,发出警报,表示监控目标行为异常。
4.最终实现对视频监控中运动目标的准确可靠跟踪。
以下是结合附图和具体实施过程对本发明做进一步说明:
本发明公开了一种智能视频监控系统中的多目标跟踪方法,实现步骤为:
(1)输入视频数据,对视频数据中的序列图像进行采集,并对图像进行预处理;
(2)在序列图像中分割出目标,记录目标的面积、高宽等信息;
(3)对检测到的目标提取稳定的基于传统颜色空间(color based)特征和基于对比度(contrast based)特征相结合的综合特征;
(4)为跟踪目标创建多世代目标的跟踪队列;
(5)采用生命质量竞争机制实现目标的快速匹配;
(6)多世代跟踪队列的更迭;
(7)跟踪队列中目标分裂和合并处理;
(8)跟踪队列的维护;
(9)如视频输入未结束,返回到视频采集,继续执行上述步骤(1)≈(8)。
在具体实施中,摄像机得到的固定场景下的监控视频,首先把视频数据采集到监控系统,通过图像预处理、目标分割、特征提取、创建跟踪队列等算法处理,最终实现多目标的跟踪。本发明视频监控系统中多目标跟踪方法的运行环境:PC机(Intel Core 2 Duo CPU,1.99G内存),视频采集卡,开发工具:VC++2005,实时视频采集图像分辨率352×288,处理速度可达25帧/秒,基本达到实时性要求。
下面将根据步骤详细描述具体实现方法:
采集到的视频因受到天气、光线等各种因素影响,造成目标分割不完整、甚至暂时丢失等弱检测状况。在这种前提下,跟踪性能的好快直接关系到后期视频分析的结果。本发明公布的跟踪方法就是针对这种弱检测情况,实现目标的稳定跟踪。
本发明方法在图(1)中列出了主要的四个步骤:视频采集、目标检测、特征选取、多世代跟踪。在图(2)中对本发明方法的跟踪具体流程进行了详述如下:
a采集视频数据,对图像进行预处理,分割出目标,并进行目标特征。
对分割出的目标,提取出基于传统颜色空间(color based)特征和基于对比度(contrast based)特征的复合特征。
b当前检测到的目标先与稳定跟踪队列和临时跟踪队列进行目标匹配
b1.当临时跟踪队列和稳定跟踪队列中的目标满足配准阈值的竞争要求时,以当前帧检测到目标的中心为起点,以速度的正比例数为长度半径选定一个区域,在临时跟踪队列、稳定跟踪队列中寻找关联目标。检测目标与关联跟踪目标通过综合特征进行匹配。匹配成功,则执行c;否则,则执行d。
b2.对不满足竞争要求的临时跟踪队列或稳定跟踪队列中的其他目标,检测目标直接通过综合特征与跟踪队列目标进行匹配。若匹配成功,执行c;否则,执行d。
c临时跟踪队列、稳定跟踪队列目标生命质量周期更新
d当前检测目标与跟踪丢失队列的目标匹配
检测目标直接通过综合特征与跟踪丢失队列中目标进行匹配。若匹配成功,执行f;否则执行e。
e增加新目标到临时跟踪队列
不能和临时跟踪队列、稳定跟踪队列或跟踪丢失队列匹配的目标,可认为是新进入场景中的目标,把其添加到临时跟踪队列,并执行e。
f对多世代跟踪队列的目标生命质量更新,跟踪对象之间的竞争导致跟踪世代的更迭如图(3)所示:
f1.当临时跟踪队列满足稳定跟踪队列要求时,临时跟踪队列中的目标将转到稳定跟踪队列。
f2.当稳定跟踪队列不满足稳定跟踪队列要求时,则从稳定跟踪队列转到跟踪丢失队列。
f3.当临时跟踪队列或跟踪丢失队列中的目标生命质量降低到目标保留时间和置信度决定的阈值时,目标信息直接从队列中删除。
f4.当跟踪丢失队列中的目标满足稳定跟踪条件时,目标信息从跟踪丢失队列转到临时跟踪队列。
g目标合并与分裂
当目标太近或阴影的原因造成检测结果重合到一起,出现目标的合并;而两重合目标在检测过程中分离后,出现目标分裂。以上两种情况下,很可能出现跟踪队列中两个跟踪目标跟同一个检测目标匹配成功,或者一个跟踪目标跟两个检测目标同时配准成功。
当两个跟踪目标同时跟一个检测目标匹配成功,通过检测两个跟踪目标信息是否有合并的可能和目标的特征信息等,判断是否存在目标合并的情况。当存在目标合并时,两个跟踪目标的特征信息维持原状;反之,则选择最匹配的跟踪目标与检测目标配准,并更新目标特征信息。
h跟踪队列的维护,最终实现多目标的稳定跟踪。