CN112700475A - 不同场景下自适应的多目标视频追踪系统 - Google Patents

Abstract

本发明提出的不同场景下自适应的多目标视频追踪系统，旨在解决视频监控中对多个目标进行同时追踪的问题，并对追踪目标的轨迹进行管理，本发明提出的多目标追踪方法基于单目标追踪改进融合实现，采用连续自适应均值漂移算法和在线学习检测追踪算法，将两种算法用于不同的监控场景中改进融合分别进行多目标追踪，多目标视频追踪系统对多个目标进行追踪解决的问题包括自动提取检测追踪目标，并对目标进行分类，针对不同目标运用不同算法进行追踪，同时对追踪后的轨迹结果进行后处理和统一管理，在提高追踪效果的同时，也大幅提升了系统对目标轨迹的检索效率。

Description

不同场景下自适应的多目标视频追踪系统

技术领域

本发明涉及一种多目标视频追踪系统，特别涉及一种不同场景下自适应的多目标视频追踪系统，属于目标视频追踪技术领域。

背景技术

在国家战略层面，随着平安城市的建设在各地的大力推进，人们对社会治安的期望和要求越来越高，在视频监控范围扩大化和环境复杂化的同时，面向社会综治业务的智慧视频监控系统对目标追踪的要求越来越高，全国各地部署了众多的基于视频监控的综治与安防系统，并在许多重要区域和路段安装监控摄像头。但是，开始随之而来的问题是相关人员无暇兼顾数量巨大的摄像头和海量的监控视频，并且长时间的人工视频监视极易引起人的视觉感知疲劳，监视质量和效率大幅降低，极易漏掉关键的案件细节和线索。在这种背景下，以计算机视觉和人工智能为核心的智慧视频监控系统显得很有必要，这将给整个社会的综合治理和安全提供有力保障。

以活动目标追踪为核心的视频分析是为了在摄像机画面的图像与图像描述间构建一种映射关系，是实现智慧视频监控的关键。在无需人工干预的前提下实时智慧分析监控视频，对众多摄像头拍摄到的画面场景中的有效目标进行检测、追踪、定位和识别，在得到这些结果的基础上对目标的行为理解分析，在完成视频监控系统作为一种有效监管手段来对突发情况进行及时预警和对事件可能够出现的其它结果进行预测之外，能够最大限度的减少社会综治人员的工作量，同时还能避免因人工疲劳导致的错误判断，也能避免遗漏一些突发事件中的非常重要的细节线索。智慧视频分析正在代替人类，在繁琐枯燥的视频监控工作中从事复杂的信息处理工作，并且取得了良好效果。

智慧视频监控技术使得计算机能随时捕获摄像头所看到的一切并实时分析处理，赋予计算机像人类那样能对所看到的事物进行分析理解并进行决策的能力，使得系统能自动完成对场景中感兴趣的目标或区域进行分析描述，而对场景中移动目标和相关区域进行实时检测、追踪和识别是智慧视频分析中分析和行为理解的前提。智慧视频监控技术通过摄像机标定并联合时空和地理位置信息等其它信息和线索，可以完成跨时间跨地域的全方位自动监控，迅速定位关注目标的位置，大大节省了时间，提高了工作效率，有力维护了社会治安和稳定秩序。

视频分析技术来源于计算机视觉，同时又融合了计算机图形学、数字图像处理技术、智能模式识别等多项高科技技术，凭借计算机对信息强大的处理分析能力，对海量数据进行快速分析处理，在滤掉视频图像中的一些无关信息的同时，获得并存储画面中有价值的关键信线索，并且自动锁定关注目标并进行追踪。

移动目标追踪在计算机视觉应用中发挥着重要作用，但由于应用场景的复杂性，其实际效果仍有待提高。例如，随着目标的移动，其外观视觉特征差异很大，目标的形态，尺寸和姿态等都会发生不同程度的变化。伴随时间的向后推移，场景中目标的外观视觉变化较大，对目标实时鲁棒的追踪带来了许多难题，由于影响对目标进行追踪的各种情况非常多，目标追踪也是一个的热点和难点问题。随着计算机性能够的不断提高，多功能摄像头的出现和普及和社会对智慧视频监控需求的不断增长，目标追踪方法的需求越发强烈。但是现有技术的绝大多数目标追踪算法，问题的提出和解决基本上都是针对单个目标进行的，而对两个或者两个以上目标进行同时追踪的多目标追踪算法的研究和应用较少，并且迄今为止还没有一种很好的针对监控视频和面向社会综合治理业务的能同时追踪十个以上目标的解决方案。

现有技术依然没有从根本上解决多目标追踪面临的难题，由于追踪目标数量的不确定性和监控场景的复杂多变，现有的追踪算法很难适应复杂条件下的多目标自动追踪这一难题，现有技术的难点和本发明解决的问题主要集中在以下方面：

第一，视频目标追踪是计算机应用新技术在智慧监控领域的一个热点和难点问题，在视频监控范围扩大化和环境复杂化的同时，面向社会综治业务的智慧视频监控系统对目标追踪的要求越来越高，对目标移动轨迹的应用需求越来越多，移动目标追踪在计算机视觉应用中发挥着重要作用，但由于应用场景复杂，其实际效果仍有待提高，如在实际监控场景下，随着目标的移动，其外观视觉特征差异很大，目标的形态，尺寸和姿态等都会发生不同程度的变化，随时间的推移，光照变化对目标的影响非常显著，这些对目标进行实时、鲁棒的追踪带来巨大困难，由于影响目标追踪的因素多，目标追踪非常具有挑战，现有技术的目标追踪算法绝大多数是在简单场景中基于单个目标的追踪，而实际的监控环境非常复杂，光照背景的变化、活动目标自身特征和统计特征的变化及场景中同时存在多个活动目标并伴随相互遮挡的情况，针对视频监控场景的这种特殊性，现有技术还没有一种性能优异、追踪效果稳定的多目标追踪的解决方法；

第二，监控场景的复杂性：监控场景的变化来自多方面的原因，但光照变化是其主要原因之一，在不同的监控时段，图像画面明暗程度也会不同，由于阳光或灯光的变化会在图像中引入各种噪声，降低了图像质量，同时会损失许多细节信息，最明显的就是图像中同一目标的外观颜色和纹理特征会发生显著变化，现有技术基于视觉特征的检测追踪算法就会变得非常不稳定，无法达到理论效果；

第三，追踪目标的随机性：视频监控画面中活动目标的变化主要是指新目标的随机出现，旧目标的消失和当前画面中的目标由于发生遮挡导致的合并和分裂，在进行多目标追踪时，现有技术很难准确判断当前图像帧中活动目标的数目和类别，无法进行稳定的多目标追踪；

第四，追踪系统的实时性：视频监控系统需要对摄像头传回的海量视频图像数据进行实时处理，分析画面中所有活动目标可能出现的异常行为，及时反馈监控场景可能突发的事件，因此需要保证多目标视频追踪系统的实时性，但是由于对多目标追踪问题的研究长期以来本身就是一个复杂的困难过程，需要考虑的因素太多，简而言之就是在确保追踪算法对多个目标进行准确追踪的同时，对算法时间复杂度方面进行较大提升存在诸多困难；

第五，监控视角的局限性大：在大多数监控环境中，摄像头的位置都是固定的，即使其方向和角度能够进行调整和控制，它能够拍摄并实施有效监控的场景范围也十分有限，并且远远无法达到人眼那种程度的智能化水平，此外，在相邻或具有相关性的多个摄像头之间无法实时进行场景协同和信息共享，容易导致追踪失败进而无法获得目标的移动轨迹。

发明内容

针对现有技术的不足，本发明主要解决在监控场景目标变形遮挡导致的追踪丢失、现有的多目标追踪算法无法满足追踪系统的实时性要求及追踪目标动态变化导致轨迹混乱和断裂等问题，本发明的连续自适应均值漂移算法基于颜色特征，追踪速度快、能够适应多尺度变化；在线学习检测追踪算法将检测、学习和追踪三个过程结合，对监控环境中的遮挡和追踪丢失问题处理效果好，本发明对这两种算法进行改进融合，并将其应用于多目标视频追踪系统，针对不同的监控场景特征，智能选择自适应追踪算法，实现最佳的多目标视频追踪效果，本发明针对多目标视频追踪特征，设计实现多目标轨迹处理单元，针对监控环境中，追踪目标的类别十分复杂，数量也在不断变化，对目标移动轨迹进行分类存储并统一管理，利用本发明提出的多目标轨迹处理单元，有效解决目标追踪过程中的追踪漂移问题，通过对目标轨迹的后处理，提高目标追踪的准确率。

为达到以上技术效果，本发明所采用的技术方案如下：

不同场景下自适应的多目标视频追踪系统，包括多目标视频追踪方法和自适应的多目标视频追踪系统，其中，连续自适应均值漂移算法基于颜色特征，适应多尺度变化，在线学习检测追踪算法将检测、学习和追踪三个过程结合，针对性处理监控环境中的遮挡和追踪丢失问题；本发明对两种算法进行改进融合，并将其应用于多目标视频追踪系统，针对不同的监控场景特征，智能选择自适应追踪算法，实现最佳的多目标视频追踪效果；

多目标视频追踪方包括视频图像的前置处理、移动目标的检测和分类、基于连续自适应均值漂移和在线学习检测追踪算法的多目标追踪方法，采用单目标追踪算法改进融合实现同时对多个目标同时追踪的的具体方法，首先从对监控视频图像清晰度不高，画面质量模糊特征提出对图像帧进行前置处理的步骤，包括图像去噪和图像增强，然后采用对监控场景进行背景模型构建来提取前景目标的方法，根据混合高斯背景模型构建的原理，基于连续自适应均值漂移算法和在线学习检测追踪算法两种算法的各自特征，针对性的提出进行自适应多目标追踪方法；

自适应的多目标视频追踪系统包括系统的功能需求、追踪系统的结构框架、系统的模块单元、系统的数据库，系统的模块单元分为总控单元、跟踪前置处理单元、目标追踪单元和多目标轨迹处理单元四个部分，每个模块单元又按照模块所使用的数据结构、模块类图和处理流程展开，将动态加载OpenCV 2中的部分链接库和系统运行后生成的本地链接库来实现本发明提出的所有功能，数据库通过xml文件格式来离线保存目标的追踪轨迹；

本发明针对多目标视频追踪特征，设计实现多目标轨迹处理单元，针对监控环境中，追踪目标的类别十分复杂，数量也在不断变化，对目标移动轨迹进行分类存储并统一管理，利用本发明提出的多目标轨迹处理单元，解决目标追踪过程中的追踪漂移问题，通过对目标轨迹的后处理，即通过对轨迹进行滤波平滑、曲线拟合及路径预测方式，校正移动目标轨迹，提高目标追踪准确率。

不同场景下自适应的多目标视频追踪系统，进一步的，移动目标的检测和分类：监控视频的移动目标是视频画面中的行人和车辆，对移动目标的提取、检测、分类是自动目标追踪的前提，多目标追踪过程的具体实现途径是先通过构建视频背景模型，将作为前景的移动目标从背景中提取分割出来，然后选取合适特征表达描述移动目标，运用检测算法对目标定位，得到目标完整的特征信息，最后将检测到的目标进行分类，为后续的自动追踪过程奠定基础。

不同场景下自适应的多目标视频追踪系统，进一步的，背景模型构建和目标分割：提出参数化的混合高斯背景建模方法，根据视频中每一个像素在时间域及空间域上的分布情况模拟各个像素的概率分布模型，构建鲁棒的场景表示模型依次达到背景模型构建，在图像中像素i在r时刻取值为x_i的概率为：

表示在r时刻像素i在混合高斯模型中第j个高斯分量的权重值值，W表示高斯分布模型数目，满足如下关系：

其中，

和

分别表示第j个高斯分量的均值和协方差，b表示高斯概率密度函数，在RGB颜色空间中，协方差矩阵可写成：

其中d代表标准差，B代表单位矩阵；

若x_i与第j个高斯分量相匹配，则该高斯分量被x_i更新，其余高斯分量保持不变，更新策略如下：

其中，g代表学习模型率，f代表参数的学习率，该参数表征高斯分布参数变化的收敛速度，其余高斯分量的参数保持不变，它们的权重值按照下式进行更新：

R为预定义的临界值，表示背景高斯分量在该像素概率分布中所占的最小比例，

取值较大者表示该像素值对应的像素点出现的概率较大，根据场景背景的动态变化适时自适应调整W的取值提高背景模型构建效果，参数化的混合高斯背景建模方法应用在监控环境中能很好的适应场景中背景的动态变化，完整提取出移动目标，保证移动目标检测和追踪效果。

不同场景下自适应的多目标视频追踪系统，进一步的，基于连续自适应均值漂移和在线学习检测追踪算法的多目标追踪方法：改进融合连续自适应均值漂移算法和在线学习检测追踪算法，通过自适应滤波的方式对发生变化的目标重新追踪匹配，降低因遮挡变形或追踪漂移导致的追踪结果不稳定；

当场景中移动目标的外观颜色较鲜艳、轮廓较明显或与背景颜色差别较明显，背景和前景之前具有很好的区分性时，采用基于颜色直方图的连续自适应均值漂移算法进行追踪；当监控场景比较复杂，监控画面不是特别清晰，追踪的移动目标发生相互遮挡导致外观特征信息丢失甚至整个目标丢失的情况时，这时在线学习检测追踪算法识别并捕捉从画面中消失后重新进入画面或被遮挡后重新出现的移动目标，并继续保持对它们的追踪；

在目标追踪开始前和进行过程中，不断有旧的追踪目标从画面消失和新的追踪目标进入画面，同时还存在移动目标暂停、目标遮挡而导致的目标外观信息缺失甚至目标丢失的情况，对画面中这些移动目标的动态变化进行及时更新，创建一个待追踪目标管理链表对目标追踪得到的轨迹进行统一管理，给每一个新进入的新目标分配用于区别于其它目标的ID，同时保留从画面中暂时消失的移动目标，直到满足一定条件后通过轨迹管理删除目标ID，对于在追踪过程中发生突变的移动目标，即发生目标的主要特征信息丢失、目标旋转或被部分遮挡情况，通过轨迹匹配和方向检测方式对目标进行识别。

不同场景下自适应的多目标视频追踪系统，进一步的，采用卡尔曼滤波的方法融合到连续自适应均值漂移算法中进行多目标搜索，并按照前景检测的结果进行更新匹配，具体的搜索策略如下：

假设在第W帧图像中存在n个正在被追踪的目标，那么在第W+1帧中，在前景检测的结果上，对所有前景团块运用连续自适应均值漂移算法进行追踪匹配，如果所有目标全部都成功匹配，则表明在这两帧图像之间没有发生目标类别和数量的变化；如果匹配完成后，在第W+1帧中还存在没有被匹配的前景团块或者目标，则表明从第W帧到第W+1帧的过程中发生了目标的突变，需要运用卡尔曼滤波的方法，对目标的移动状态进行相似性对比，并运用排列组合的方法将所有可能结果进行排序，然后再次进行追踪比对，得到可信度较高的追踪结果，在经过多次滤波和对比追踪后，若还存在无法匹配的目标，则标记该目标为新目标，分配新ID并初始化追踪器对该目标进行追踪；

针对可能发生的目标遮挡、变形或目标消失的情况，则在第W+1帧中自动销毁已经从画面中消失的目标对应的追踪器，而对发生遮挡或变形的目标，则重新初始化基于在线学习检测追踪算法的追踪器，保留第W帧中对应目标的追踪结果，并重新对目标进行在线学习，获取并存储该目标最新的外观轮廓模型和视觉特征信息，追踪并匹配这些发生突变的移动目标，结合前置处理部分中的前景检测效果，在检测结果的区域内对目标最终的结果做融合，获得可行度较高的移动轨迹。

不同场景下自适应的多目标视频追踪系统，进一步的，追踪系统的总体结构分成四个基本模块单元，即总控单元、追踪前置处理单元、目标追踪单元和多目标轨迹处理单元，每个模块单元具体包括模块类图、数据结构、处理流程和结构定义；

追踪前置处理单元：实现多目标视频追踪系统得到初始化，对多个目标同时进行自动追踪，首先从视频中获取移动目标的初始位置，追踪前置处理功能对背景模型构建的结果作优化过滤，得到清晰和完整的团块，对前景目标做形态学操作，过滤并除去噪声、提取团块区域，得到追踪团块列表，然后对处理过的团块进行初步检测，确定团块位置，最后判断追踪目标的初始状态，包括目标的类别及目标是新增的还是先前出现过的状态，追踪前置处理单元尽量排除掉无用的移动目标，解决由于错跟和漏跟导致的追踪结果不可靠，提高系统的准确性；

目标追踪单元：在获取移动目标初始位置后，对下一时刻此目标的位置作出预测，得到并更新此目标的位置信息，针对不同的监控场景，目标追踪利用前一帧或者前几帧的结果，预测并更新当前帧的结果，并将其作为下一帧的初始位置；

多目标轨迹处理单元：通过轨迹修改中的方法和措施对追踪结果进行矫正，使得优化后的结果真实反映移动目标的实际移动路线和状态，同时，通过多目标轨迹处理单元方便用户对得到的追踪结果进行操作和处理；

系统的全部设计和实现都是在Microsoft Visual Studio下基于C++和C语言来实现，并借助第三方链接库，其中链接库来源于计算机开源视觉库OpenCV，系统的数据结构采用OpenCV 2和C++标准库中的数据结构。

不同场景下自适应的多目标视频追踪系统，进一步的，总控单元是整个模块单元的核心组成部分，表现模块的整体结构框架，负责控制整个模块的流程管理、参数设置，各个子模块的调用和数据通信，用户根据设置的参数和输入的视频文件，得到相应目标的轨迹及根据需要对轨迹进行各种操作和管理，主要实现包括：

(1)总控单元定义对外的基本结构体，构建追踪和轨迹管理操作需要的主要追踪对象为：一是目标轨迹，二是轨迹状态，三是轨迹列表，四是系统对外参数设置；

(2)总控单元对外提供接口，实现数据通信和信息交换,管理模块内部的参数设置，控制各模块间的处理流程，在输入源视频文件后，程序利用目标的时间和地理位置的初始信息，通过总控单元调用轨迹管理子模块获取目标在相应时间段的轨迹返回给其它模块，用户结合目标外观特征，管理和操作不同场景和时间段的轨迹，追踪以及轨迹管理总控单元负责对外调用的接口以及三个子模块的数据通信，为人机交互提供实现途径；

(3)总控单元调用流程步骤

第一步，追踪前置处理：通过检测，过滤其它类别的团块；

第二步，追踪现有目标；

第三步，利用追踪结果和前置处理结果，更新现有轨迹；

第四步，找出前置处理图块中的新目标，若有，则添加轨迹，并作为新的追踪目标；

第五步，找出追踪目标中已经完成的目标，从追踪列表中删除，并跟新轨迹状态。

不同场景下自适应的多目标视频追踪系统，进一步的，追踪前置处理单元实现多目标的初始化，同时提升图像质量，改善画面效果，通过混合高斯背景模型构建提取出前景，并对目标进行检测，在进行多目标追踪之前需要确定追踪的目标是行人、车辆还是团块，对检测的结果做分类，对不同类别的移动目标采用不同的追踪算法，追踪前置处理单元的设计实现包括模块使用的数据结构、功能类图和处理流程；

(1)数据结构：追踪前置处理单元使用数据全部来自OpenCV 2中定义的数据结构：Mat存储一个矩阵并进行一些矩阵操作，主要存储图像帧；Rect存储一个矩形框，表示目标在图像帧中的空间位置；CvSeq存储blob相关信息，包含团块数量、面积、坐标、外接矩形框数据；map<int,Rect>n表示各个目标的状态和在图像帧中的空间位；

(2)模块类图：追踪前置处理单元主要功能实现类包括ItrackerPreProcess类、TrackerPreProcessInpl类和CDetect类；

(3)处理流程：追踪前置处理单元功能的实现主要分为三个主要步骤，首先是视频图像的前置处理，包括图像去噪和图像增强；然后移动目标的提取和检测，包括混合高斯背景模型构建和移动目标检测；最后对检测到的目标，具体是行人、车辆还是移动团块进行分类，按照类别分配追踪ID并存入待追踪列表。

不同场景下自适应的多目标视频追踪系统，进一步的，目标追踪单元分为单目标追踪子模块和多目标追踪子模块，封装集成三类六种算法，另外，若有新的追踪算法，只要把它作为IObjectTracker的子类，实现其接口，就能加到本发明的框架中，目标追踪单元的主要内容和实现方法为：

(1)模块类图：分为单目标追踪功能类和多目标追踪实现类；

1)单目标追踪单元：在单目标跟踪中，根据OpenCV提供的算法：CamshiftTracker和CvBlobTrackerOne，还有集成的TLD算法，其中CvBlobTrackerOne又有以下几种不同的实现：CvBlobTrackerOneMSFG、CvBlobTrackerOneMS、CvBlobTrackerOneMSPF、CvBlobTrackerOneMSFGS，设计封装集成三类六种算法；

2)多目标追踪子模块：把多目标追踪转化为单目标追踪，经过改动和组合即可实现基本的多目标追踪，而具体的单目标算法，直接利用单目标追踪单元的接口，调用单目标追踪单元的具体算法；

(2)处理流程：目标追踪单元运用不同追踪算法对追踪前置处理单元中处理得到的待追踪的目标进行追踪，并将得到的追踪结果存入目标对应ID的轨迹列表。

不同场景下自适应的多目标视频追踪系统，进一步的，多目标轨迹处理单元主要对追踪得到的轨迹进行统一管理，包括对目标轨迹的浏览查询、添加删除、展示存储操作，同时针对追踪结果不准确导致的轨迹漂移和追踪失败导致的轨迹断裂，通过曲线拟合和轨迹预测方式进行后处理，得到移动目标在一段监控视频中比较完整可靠轨迹，多目标轨迹处理单元的设计主要从模块所使用的数据结构、模块类图和处理流程方面实现；

(1)数据结构：多目标轨迹处理单元中使用的数据都是自定义的，具体定义方式在总控单元中实现，Rect Blob为团块位置，是跟踪得到的结果；Vector<Rect>tag_Trajectory为单个运动目标的轨迹，是多个跟踪框串联起来形成的轨迹；Vector<vector<Rect>>TrajList为轨迹列表，是轨迹管理的操作对象；

(2)处理流程：多目标轨迹处理单元主要分为对目标的追踪轨迹的查询浏览、添加删除基本操作和修改后处理两方面，对模块的处理流程也分成两部分，对轨迹的更新和修改优化追踪结果，提高系统的可靠性，本发明通过流程图和流程步骤的方式对轨迹更新和轨迹修改两种轨迹后处理方法；

1)轨迹更新的处理流程主要步骤：

第1步，利用目标追踪单元输出的追踪结果，得到目标的移动轨迹；

第2步，如果当前帧有追踪结果时，执行第3步，如果没有，则进入待定状态，继续判断后续W帧结果，若W帧内有追踪结果，则直接执行第3步，如果没有，则结束追踪状态并存储轨迹；

第3步，获取移动目标的追踪结果位置，与当前得到的移动轨迹进行匹配，并结合目标外观特征，初步确定目标是否为需要追踪的目标；

第4步，调用追踪前置处理单元的目标位置确定和状态判别方法进一步确定目标是否为已追踪的目标，若是，则将结果插入轨迹；若不是，则重新分配ID并加入追踪队列后执行第1步；

第5步，根据已追踪目标的移动趋势，对插入位置进行约束，在限定范围内将追踪结果插入轨迹。

与现有技术相比，本发明的贡献和创新点在于：

第一，本发明提出的基于单目标追踪算法来改进实现多目标追踪的追踪系统，主要解决在监控场景目标变形遮挡导致的追踪丢失、现有的多目标追踪算法无法满足追踪系统的实时性要求及追踪目标动态变化导致轨迹混乱和断裂等问题，本发明的连续自适应均值漂移算法基于颜色特征，追踪速度快、能够适应多尺度变化；在线学习检测追踪算法将检测、学习和追踪三个过程结合，对监控环境中的遮挡和追踪丢失问题处理效果好，本发明对这两种算法进行改进融合，并将其应用于多目标视频追踪系统，针对不同的监控场景特征，智能选择自适应追踪算法，实现最佳的多目标视频追踪效果，本发明针对多目标视频追踪特征，设计实现多目标轨迹处理单元，针对监控环境中，追踪目标的类别十分复杂，数量也在不断变化，对目标移动轨迹进行分类存储并统一管理，利用本发明提出的多目标轨迹处理单元，有效解决目标追踪过程中的追踪漂移问题，通过对目标轨迹的后处理，提高目标追踪的准确率。本发明系统对额外资源的依赖较少，在实际应用中可行性更强，是一种简洁高效、实用性强的不同场景下自适应的多目标视频追踪系统；

第二，基于检测的单目标追踪算法的自适应融合：本发明是在以连续自适应均值漂移算法和在线学习检测追踪算法两种单目标追踪算法的基础上进行改进融合，针对各自不同的应用场景，两种算法具有显著的追踪效果，但是这两种算法并没有使用来自背景模型构建的前景信息，在进行追踪时算法是在上一帧中目标的附近进行全画面搜索，因此在本发明中，对监控画面进行前置处理之后，加入了背景模型构建和目标检测的环节，在进行追踪之前提取出场景中所有移动的前景团块，然后在前景检测的基础上进行追踪，追踪算法则是依据检测的结果来自适应选择并融合使用；

第三，多个追踪目标的移动轨迹的动态管理：对多个目标进行同时追踪解决的首要问题之一是追踪目标的选取和辨别，在未进行任何约束和处理的前提下，多目标追踪得到的结果往往是一段段杂乱无序、断断续续的轨迹片段。本发明中在前景检测的基础上，提出了一系列方法来自动选取并判定有效的追踪目标，并对追踪过程开始和结束作了约束，同时在追踪过程中，为防止出现同一目标分离产生多条轨迹及相似的不同目标之间合并成一条轨迹，对目标的区分辨别也进行严格的限定，使得追踪结果能尽量得到多个目标的完整的移动轨迹；

第四，本发明改进融合连续自适应均值漂移算法和在线学习检测追踪算法，通过自适应滤波的方式对发生变化的目标重新追踪匹配，降低因遮挡变形或追踪漂移导致的追踪结果不稳定，对于视频监控环境各种特定场景具有较好的适应性，改善可能影响追踪结果的一些不利因素，使本发明提出的多目标追踪方法能在不同监控场景中具有较为鲁棒的追踪效果，考虑到实际监控环境的异常复杂性，当场景中移动目标的外观颜色较鲜艳、轮廓较明显或与背景颜色差别较明显，背景和前景之前具有很好的区分性时，采用基于颜色直方图的连续自适应均值漂移算法进行追踪；当监控场景比较复杂，监控画面不是特别清晰，追踪的移动目标发生相互遮挡导致外观特征信息丢失甚至整个目标丢失的情况时，这时在线学习检测追踪算法识别并捕捉从画面中消失后重新进入画面或被遮挡后重新出现的移动目标，并继续保持对它们的追踪。将连续自适应均值漂移算法和在线学习检测追踪算法应用于多目标追踪，并不是将算法进行简单的重复叠加，对两种方法分别改进后融合，依据对监控视频前置处理和目标检测得到的结果，并根据待追踪目标的类别、数量和主要特征，同时结合系统在实际运行能够同时追踪的目标个数和系统开销多个参考指标来综合评判，选取最合理的算法，多目标视频追踪准确率有较大提高，由此充分体现本发明多目标视频追踪系统的必要性和先进性；

第五，本发明提出的基于视频监控的多目标视频追踪系统旨在解决视频监控中对多个目标进行同时追踪的问题，并对追踪目标的轨迹进行管理，本发明提出的多目标追踪方法基于单目标追踪改进融合实现，采用连续自适应均值漂移算法和在线学习检测追踪算法，将两种算法用于不同的监控场景中改进融合分别进行多目标追踪，多目标视频追踪系统对多个目标进行追踪解决的问题包括自动提取检测追踪目标，并对目标进行分类，针对不同目标运用不同算法进行追踪，同时对追踪后的轨迹结果进行后处理和统一管理，在提高追踪效果的同时，也大幅提升了系统对目标轨迹的检索效率。

附图说明

图1是本发明的多目标视频追踪系统的结构图。

图2是本发明的总控单元调用流程步骤示意图。

图3是本发明的目标追踪单元处理流程示意图。

图4是本发明的多目标轨迹处理单元的轨迹更新的流程图。

图5是本发明的多目标轨迹处理单元的轨迹修改的流程图.

具体实施方式

下面结合附图，对本发明提供的不同场景下自适应的多目标视频追踪系统的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本发明并能予以实施。

视频目标追踪是计算机应用新技术在智慧监控领域的一个热点和难点问题。近年来，随着社会经济的高速发展，人们对社会治安的期望和要求越来越高，在视频监控范围扩大化和环境复杂化的同时，面向社会综治业务的智慧视频监控系统对目标追踪的要求越来越高，对目标移动轨迹的应用需求越来越多，但对于多目标视频追踪问题，现有技术还没有一种有效的多目标追踪方法能够适应复杂多变的监控环境，现有技术的解决方案是通过对多个单目标的追踪来间接实现多目标追踪。

本发明的连续自适应均值漂移算法基于颜色特征，追踪速度快、能够适应多尺度变化；在线学习检测追踪算法将检测、学习和追踪三个过程结合，对监控环境中的遮挡和追踪丢失问题处理效果好。本发明对这两种算法进行改进融合，并将其应用于多目标视频追踪系统。针对不同的监控场景特征，智能选择自适应追踪算法，实现最佳的多目标视频追踪效果。

本发明针对多目标视频追踪特征，设计实现多目标轨迹处理单元，针对监控环境中，追踪目标的类别十分复杂，数量也在不断变化，对目标移动轨迹进行分类存储并统一管理，利用本发明提出的多目标轨迹处理单元，有效解决目标追踪过程中的追踪漂移问题，通过对目标轨迹的后处理，即通过对轨迹进行滤波平滑、曲线拟合及路径预测方式，校正移动目标轨迹，提高目标追踪的准确率。

一、多目标视频追踪方法

移动目标追踪在计算机视觉应用中发挥着重要作用，虽然现有技术的理论和方法在一定条件和范围内取得了一些效果，但由于应用场景复杂，其实际效果仍有待提高。如在实际监控场景下，随着目标的移动，其外观视觉特征差异很大，目标的形态，尺寸和姿态等都会发生不同程度的变化，随时间的推移，光照变化对目标的影响非常显著，这些对目标进行实时、鲁棒的追踪带来巨大困难。由于影响目标追踪的因素多，目标追踪非常具有挑战。随着计算机性能的不断提高，社会对智慧视频监控需求的不断增长，目标追踪作为最为关键的步骤之一，直接影响视频监控系统进行上层语义分析和事件理解高层社会综治业务的最终决策。现有技术的目标追踪算法绝大多数是在简单场景中基于单个目标的追踪，而实际的监控环境非常复杂，光照背景的变化、活动目标自身特征和统计特征的变化及场景中同时存在多个活动目标并伴随相互遮挡的情况。针对视频监控场景的这种特殊性，现有技术还没有一种性能优异、追踪效果稳定的多目标追踪的解决方法。

本发明正是基于这种背景，在对单目标追踪算法改进融合的基础上，优化单目标追踪算法并行融合处理达到多目标追踪的效果，提出一种面向社会综治业务的应用于智慧视频监控系统的多目标视频追踪系统，解决视频监控场景中的多目标追踪问题。

基于视频监控的多目标追踪解决的问题是在一段监控视频中，每个视频帧中有多个目标同时在移动，这些目标可能够是车辆、行人，也可能够是其它类别未知的团块，并且不断的有新目标进入，旧目标消失，及移动目标之间遮挡造成的目标合并和分离，目标是尽量将每个移动目标与其它目标区分开进行追踪，通过特定轨迹后处理方法，得到他们在连续不同帧中的移动轨迹。

(一)视频图像的前置处理

视频图像因为监控环境的复杂性及在监控图像的获取、传输、处理环节，不可避免的存在各种类型的噪声，降低了图像质量，使得计算机无法完整获取画面中活动目标的特征信息，无法准确识别活动目标的位置和类别。为提高多目标视频检测结果的准确性和追踪的可靠性，对不清晰的监控视频图像进行前置处理，除去图像中的噪声，增强图像中前景目标的视觉效果，本发明视频图像的前置处理通过图像滤波去噪和图像增强两种方式实现。

1.图像滤波去噪

图像滤波去噪采用空间域法，不用进行图像变换，通过对图像像素灰度值的处理达到去噪效果，包括中值滤波和均值滤波。

针对监控设备拍摄的数字图像中存在的噪声，用高斯噪声和椒盐噪声作为有效模型表示并进行滤波处理，结合实际监控环境选择去噪方法。

(1)均值滤波，任何一幅数字图像都由一个二元函数f(x,y)表示，其中x和y是图像像素的坐标位置，函数f是其幅度，同时也称之亮度或者灰度，即为一个像素点，均值滤波又分为几何均值滤波和算术均值滤波两种：几何均值滤波是用该像素领域内所有像素点的几何平均值代替该点的像素值来实现滤波；算术均值滤波是用该像素邻域内所有像素点的算术平均值代替该点的像素值实现滤波。

(2)中值滤波，将数字图像中某点的像素的灰度值用该点邻域内若个点像素值的中值代替，过滤图像中引入的椒盐噪声，将像素值附近差值较大像素值换成差值较小的数值，因为根据滤波平滑效果，局部差值越大，滤波器的平滑效果越好，以这种方式消除图像中孤立的噪声点。

2.视频图像增强

视频图像增强使处理后的图像比原始图像更适合特定应用，在本发明中的特定应用是指在监控画面中，尽量突出所有关注目标有用的视觉特征信息，同时削弱或者除去一些不必要的冗余信息。图像增强的方式是改变图像的对比度、亮度和直方图属性达到增强效果，包括：对比度：图像经过二值化后黑与白的比值，比值越大，从黑到白的渐变层次越多，在多通道中图像的色彩表现越丰富；亮度：灰度图像在灰度值中的的占据比例，反映图像的明暗程度，直方图：表示图像中具有每一个灰度级的象素值的统计个数，直方图表征的是图像中该灰度值出现的频率大小；直方图的均衡化：在图像的像素直方图统计范围内，通过调整不同区域的像素大小改变像素统计直方图的统计特征，改变图像中相应的显著性程度达到图像增强的效果。

(二)移动目标的检测和分类

监控视频的移动目标是视频画面中的行人和车辆，对移动目标的提取、检测、分类是自动目标追踪的前提。多目标追踪过程的具体实现途径是先通过构建视频背景模型，将作为前景的移动目标从背景中提取分割出来，然后选取合适特征表达描述移动目标，运用检测算法对目标定位，得到目标完整的特征信息，最后将检测到的目标进行分类，为后续的自动追踪过程奠定基础。

1.背景模型构建和目标分割

本发明提出参数化的混合高斯背景建模方法，根据视频中每一个像素在时间域及空间域上的分布情况模拟各个像素的概率分布模型，构建鲁棒的场景表示模型依次达到背景模型构建，在图像中像素i在r时刻取值为x_i的概率为：

表示在r时刻像素i在混合高斯模型中第j个高斯分量的权重值值，W表示高斯分布模型数目，满足如下关系：

其中，

和

分别表示第j个高斯分量的均值和协方差，b表示高斯概率密度函数，在RGB颜色空间中，协方差矩阵可写成：

其中d代表标准差，B代表单位矩阵；

若x_i与第j个高斯分量相匹配，则该高斯分量被x_i更新，其余高斯分量保持不变，更新策略如下：

其中，g代表学习模型率，f代表参数的学习率，该参数表征高斯分布参数变化的收敛速度，其余高斯分量的参数保持不变，它们的权重值按照下式进行更新：

R为预定义的临界值，表示背景高斯分量在该像素概率分布中所占的最小比例，

取值较大者表示该像素值对应的像素点出现的概率较大，高斯分布模型数目W的取值非常重要，在混合高斯背景模型中，伴随场景的变化，即使同一区域，状态个数也会发生改变，那些不变的高斯分量会造成系统资源的浪费，根据场景背景的动态变化适时自适应调整W的取值提高背景模型构建效果，参数化的混合高斯背景建模方法应用在监控环境中能很好的适应场景中背景的动态变化，完整提取出移动目标，保证移动目标检测和追踪效果。

(三)基于连续自适应均值漂移和在线学习检测追踪算法的多目标追踪方法

本发明改进融合连续自适应均值漂移算法和在线学习检测追踪算法，通过自适应滤波的方式对发生变化的目标重新追踪匹配，降低因遮挡变形或追踪漂移导致的追踪结果不稳定，对于视频监控环境各种特定场景具有较好的适应性，改善可能影响追踪结果的一些不利因素，使本发明提出的多目标追踪方法能在不同监控场景中具有较为鲁棒的追踪效果。

考虑到实际监控环境的异常复杂性，当场景中移动目标的外观颜色较鲜艳、轮廓较明显或与背景颜色差别较明显，背景和前景之前具有很好的区分性时，采用基于颜色直方图的连续自适应均值漂移算法进行追踪；当监控场景比较复杂，监控画面不是特别清晰，追踪的移动目标发生相互遮挡导致外观特征信息丢失甚至整个目标丢失的情况时，这时在线学习检测追踪算法识别并捕捉从画面中消失后重新进入画面或被遮挡后重新出现的移动目标，并继续保持对它们的追踪。

在目标追踪开始前和进行过程中，不断有旧的追踪目标从画面消失和新的追踪目标进入画面，同时还存在移动目标暂停、目标遮挡而导致的目标外观信息缺失甚至目标丢失的情况，对画面中这些移动目标的动态变化进行及时更新，创建一个待追踪目标管理链表对目标追踪得到的轨迹进行统一管理，给每一个新进入的新目标分配用于区别于其它目标的ID，同时保留从画面中暂时消失的移动目标，直到满足一定条件后通过轨迹管理删除目标ID，对于在追踪过程中发生突变的移动目标，即发生目标的主要特征信息丢失、目标旋转或被部分遮挡情况，通过轨迹匹配和方向检测方式对目标进行识别。

将连续自适应均值漂移算法和在线学习检测追踪算法应用于多目标追踪，并不是将算法进行简单的重复叠加，对两种方法分别改进后融合，依据对监控视频前置处理和目标检测得到的结果，并根据待追踪目标的类别、数量和主要特征，同时结合系统在实际运行能够同时追踪的目标个数和系统开销多个参考指标来综合评判，选取最合理的算法。

1.方法实现过程

本发明采用卡尔曼滤波的方法融合到连续自适应均值漂移算法中进行多目标搜索，并按照前景检测的结果进行更新匹配，具体的搜索策略如下：

假设在第W帧图像中存在n个正在被追踪的目标，那么在第W+1帧中，在前景检测的结果上，对所有前景团块运用连续自适应均值漂移算法进行追踪匹配，如果所有目标全部都成功匹配，则表明在这两帧图像之间没有发生目标类别和数量的变化；如果匹配完成后，在第W+1帧中还存在没有被匹配的前景团块或者目标，则表明从第W帧到第W+1帧的过程中发生了目标的突变，需要运用卡尔曼滤波的方法，对目标的移动状态进行相似性对比，并运用排列组合的方法将所有可能结果进行排序，然后再次进行追踪比对，得到可信度较高的追踪结果，在经过多次滤波和对比追踪后，若还存在无法匹配的目标，则标记该目标为新目标，分配新ID并初始化追踪器对该目标进行追踪。

针对可能发生的目标遮挡、变形或目标消失的情况，则在第W+1帧中自动销毁已经从画面中消失的目标对应的追踪器，而对发生遮挡或变形的目标，则重新初始化基于在线学习检测追踪算法的追踪器，保留第W帧中对应目标的追踪结果，并重新对目标进行在线学习，获取并存储该目标最新的外观轮廓模型和视觉特征信息，追踪并匹配这些发生突变的移动目标，结合前置处理部分中的前景检测效果，在检测结果的区域内对目标最终的结果做融合，获得可行度较高的移动轨迹。

二、自适应的多目标视频追踪系统

在面向社会综治业务的智慧视频监控系统中，涉及的业务需求面和应用范围广泛，整个系统功能实现十分庞大，集成度高，不利于一些较为专业的特定应用的场合，因此本发明中提出的自适应的多目标视频追踪系统，是面向视频中人流量和车流量比较密集的主要交通路口和大型公共场所的主要出入口重要监控点，实时监测画面中的关注目标，同时考虑到监控场景的复杂性和追踪算法适用条件的局限性，其得出的追踪结果并不完全可靠，需要对追踪的轨迹进行后处理，使其能真实反映移动目标的实际移动路线和状态，本发明设计一个相对独立和完整的子系统作为补充，实现这些功能应用需要。

(一)系统的功能需求

多目标视频追踪系统作为智慧视频监控系统的子系统，主要针对在当前以图像帧作为主要处理单元的框架中，对新加入以移动目标为线索的多帧追踪，获取目标在不同时段和场景下的轨迹信息，并对追踪结果不可靠的轨迹进行后处理，达到优化的目的，并实现轨迹浏览、更新、查询、修改、删除和存储管理操作。

对移动目标进行追踪是为了得到目标在连续帧之间的移动位置及在视频片段中的移动轨迹，在获得目标比较完整可靠的轨迹后，实现特定的应用，包括：

一是方向检测：检测移动目标的移动方向，在获得移动目标的追踪结果后，直接通过其移动轨迹判断目标的移动方向；

二是特定目标检索：给定一个输入目标，在视频中找出这个目标，并输出这个目标的快照，但特定目标检索算法是基于帧的判定，目标连续多帧出现的情况下，会输出多个连续重复的快照，用户体验较差，加入多目标视频追踪系统后，输出得到目标的移动轨迹，取轨迹中的一张或者多张图，去跟目标图像作比较，判断这条轨迹是否对应着目标，如果是则从轨迹中取一张图作为快照输出，规避快照重复输出问题；

三是轨迹管理：将得到的移动目标的追踪结果按照一定的逻辑关系和约束条件串联起来，形成一条完整的移动轨迹，并对轨迹结果进行动态管理。依据实际需求，轨迹管理的具体内容可包括以下内容：

轨迹浏览：从得到的轨迹列表中浏览对应目标的移动轨迹，查看所有移动目标在不同时段的轨迹信息；

轨迹查询：从轨迹列表所有移动目标轨迹记录中，对于给出的不同查询条件，依据查询条件查询找出该目标，并获取在设定时间段的移动轨迹；

轨迹更新：已知某移动目标在当前帧的位置框和某个时间段的移动轨迹，对于包含该目标的当前帧，将新的追踪结果插入到该段轨迹中；

轨迹删除：已知某移动目标当前的轨迹，分析此目标在相邻前后几帧中，自身的特征信息和出现的地点位置发现此目标并非实际需要追踪的移动目标，则丢弃此目标并从轨迹列表中删除相应的轨迹记录；

轨迹修改：已知某移动目标在当前帧中的追踪框和包含该追踪框的移动轨迹，对于当前帧的追踪结果，通过比较与前后相邻帧间的位置关系，当追踪框结果明显偏离实际位置较远，则通过滤波平滑或曲线拟合的方法，校正追踪框的位置，代替原来追踪得到的位置框，实现轨迹矫正和平滑；

轨迹存储：在进行完轨迹更新、删除和修改操作后，存储轨迹，将结果同步到轨迹列表中。

(二)追踪系统的结构框架

多目标视频追踪系统满足能处理监控场景下的行人和车辆的自动追踪，同时追踪的目标数在十个左右并且自动存储追踪结果的轨迹数据，本发明将追踪系统的总体结构分成四个基本模块单元，即总控单元、追踪前置处理单元、目标追踪单元和多目标轨迹处理单元，每个模块单元具体包括模块类图、数据结构、处理流程和结构定义。图1是多目标视频追踪系统的结构图。

追踪前置处理单元：实现多目标视频追踪系统得到初始化，对多个目标同时进行自动追踪，首先从视频中获取移动目标的初始位置，而在监控视频的图像处理过程中，通过背景模型构建获得的前景目标包含很多噪点，提取到的团块并不是一个很完整的区域，追踪前置处理功能对背景模型构建的结果作优化过滤，得到清晰和完整的团块。本发明中提出的方法是先对前景目标做形态学操作，过滤并除去噪声、提取团块区域，得到追踪团块列表，然后对处理过的团块进行初步检测，确定团块位置，最后判断追踪目标的初始状态，包括目标的类别及目标是新增的还是先前出现过的状态。追踪前置处理单元尽量排除掉无用的移动目标，解决由于错跟和漏跟导致的追踪结果不可靠，提高系统的准确性，适用于各种不同的监控场景。

目标追踪单元：在获取移动目标初始位置后，对下一时刻此目标的位置作出预测，得到并更新此目标的位置信息，针对不同的监控场景，目标追踪利用前一帧或者前几帧的结果，预测并更新当前帧的结果，并将其作为下一帧的初始位置。

多目标轨迹处理单元：由于视频监控的场景多种多样，特别是针对人流量和车流量密集的主要交通路口和大型公共场所的主要出入口重要监控点，移动目标的数量和外观特征变化对追踪结果的影响很大，导致得到的移动轨迹与实际存在较大偏差。通过轨迹修改中的方法和措施对追踪结果进行矫正，使得优化后的结果真实反映移动目标的实际移动路线和状态，同时，通过多目标轨迹处理单元方便用户对得到的追踪结果进行操作和处理。

本发明中提出的多目标视频追踪系统作为智慧视频监控系统的辅助系统，只是一个在功能实现方面相对独立完整的组成部分，提供灵活的功能实现接口，不具备独立的人机交互界面和数据库，系统的全部设计和实现都是在Microsoft Visual Studio下基于C++和C语言来实现，并借助第三方链接库，其中大部分链接库来源于计算机开源视觉库OpenCV，系统的部分数据结构采用OpenCV 2和C++标准库中的数据结构。

(三)系统的模块单元

1.总控单元

总控单元是整个模块单元的核心组成部分，表现模块的整体结构框架，负责控制整个模块的流程管理、参数设置，各个子模块的调用和数据通信，用户根据设置的参数和输入的视频文件，得到相应目标的轨迹及根据需要对轨迹进行各种操作和管理，主要实现包括：

(1)总控单元定义对外的基本结构体，构建追踪和轨迹管理操作需要的主要追踪对象为：一是目标轨迹，二是轨迹状态，三是轨迹列表，四是系统对外参数设置

(2)总控单元对外提供接口，实现数据通信和信息交换,管理模块内部的参数设置，控制各模块间的处理流程，在输入源视频文件后，程序利用目标的时间和地理位置的初始信息，通过总控单元调用轨迹管理子模块获取目标在相应时间段的轨迹返回给其它模块，用户结合目标外观特征，管理和操作不同场景和时间段的轨迹，追踪以及轨迹管理总控单元负责对外调用的接口以及三个子模块的数据通信，为人机交互提供实现途径。

(3)总控单元调用流程步骤

第一步，追踪前置处理：通过检测，过滤其它类别的团块；

第二步，追踪现有目标；

第三步，利用追踪结果和前置处理结果，更新现有轨迹；

第四步，找出前置处理图块中的新目标，若有，则添加轨迹，并作为新的追踪目标；

第五步，找出追踪目标中已经完成的目标，从追踪列表中删除，并跟新轨迹状态；

总控单元调用流程图如图2所示。

2.追踪前置处理单元

追踪前置处理单元实现多目标的初始化，同时提升图像质量，改善画面效果，通过混合高斯背景模型构建提取出前景，并对目标进行检测，在进行多目标追踪之前需要确定追踪的目标是行人、车辆还是团块，因此需要对检测的结果做分类，对不同类别的移动目标采用不同的追踪算法，追踪前置处理单元的设计实现包括模块使用的数据结构、功能类图和处理流程。

(1)数据结构：追踪前置处理单元使用数据全部来自OpenCV 2中定义的数据结构：Mat存储一个矩阵并进行一些矩阵操作，主要存储图像帧；Rect存储一个矩形框，表示目标在图像帧中的空间位置；CvSeq存储blob相关信息，包含团块数量、面积、坐标、外接矩形框数据；map<int,Rect>n表示各个目标的状态和在图像帧中的空间位。

(2)模块类图：追踪前置处理单元主要功能实现类包括ItrackerPreProcess类、TrackerPreProcessInpl类和CDetect类。

(3)处理流程：追踪前置处理单元功能的实现主要分为三个主要步骤，首先是视频图像的前置处理，包括图像去噪和图像增强；然后移动目标的提取和检测，包括混合高斯背景模型构建和移动目标检测；最后对检测到的目标，具体是行人、车辆还是移动团块进行分类，按照类别分配追踪ID并存入待追踪列表。

3.目标追踪单元

本发明分为单目标追踪子模块和多目标追踪子模块，封装集成三类六种算法，另外，若有新的追踪算法，只要把它作为IObjectTracker的子类，实现其接口，就能加到本发明的框架中，目标追踪单元的主要内容和实现方法为：

(1)模块类图：分为单目标追踪功能类和多目标追踪实现类。

1)单目标追踪单元：在单目标跟踪中，根据OpenCV提供的算法：CamshiftTracker和CvBlobTrackerOne，还有集成的TLD算法，其中CvBlobTrackerOne又有以下几种不同的实现：CvBlobTrackerOneMSFG、CvBlobTrackerOneMS、CvBlobTrackerOneMSPF、CvBlobTrackerOneMSFGS，设计封装集成三类六种算法。

2)多目标追踪子模块：把多目标追踪转化为单目标追踪，经过改动和组合即可实现基本的多目标追踪，而具体的单目标算法，直接利用单目标追踪单元的接口，调用单目标追踪单元的具体算法。

(2)处理流程：目标追踪单元运用不同追踪算法对追踪前置处理单元中处理得到的待追踪的目标进行追踪，并将得到的追踪结果存入目标对应ID的轨迹列表。流程图如图3所示。

4.多目标轨迹处理单元

多目标轨迹处理单元主要对追踪得到的轨迹进行统一管理，包括对目标轨迹的浏览查询、添加删除、展示存储操作，同时针对追踪结果不准确导致的轨迹漂移和追踪失败导致的轨迹断裂，通过曲线拟合和轨迹预测方式进行后处理，得到移动目标在一段监控视频中比较完整可靠轨迹，多目标轨迹处理单元的设计主要从模块所使用的数据结构、模块类图和处理流程方面实现。

(1)数据结构：多目标轨迹处理单元中使用的数据都是自定义的，具体定义方式在总控单元中实现，Rect Blob为团块位置，是跟踪得到的结果；Vector<Rect>tag_Trajectory为单个运动目标的轨迹，是多个跟踪框串联起来形成的轨迹；Vector<vector<Rect>>TrajList为轨迹列表，是轨迹管理的操作对象。

(2)模块类图：多目标轨迹处理单元共设计类有四个，分别为TrajMangr类、TrajManagerInple类、TrajList类、TrajectoryOperator类。

1)TrajMangr类是多目标轨迹处理单元对外接口类，也是进行轨迹管理后处理的基类。

2)TrajManagerInple类是多目标轨迹处理单元对外接口类，也是进行对校正轨迹后处理的基类，是一个虚基类，对外将目标追踪得到的结果形成一条完整的移动轨迹，并存储到轨迹列表；对内给多目标轨迹处理单元中其它模块提供接口。

3)TrajList类管理轨迹列表，包括添加轨迹、更新轨迹、删除轨迹、查询轨迹、读取轨迹、存储当前轨迹列表、展示轨迹功能。

(3)处理流程：多目标轨迹处理单元主要分为对目标的追踪轨迹的查询浏览、添加删除基本操作和修改后处理两方面，对模块的处理流程也分成两部分，对轨迹的更新和修改优化追踪结果，提高系统的可靠性，本发明通过流程图和流程步骤的方式对轨迹更新和轨迹修改两种轨迹后处理方法进行详细说明。

1)轨迹更新的处理流程主要步骤：

第1步，利用目标追踪单元输出的追踪结果，得到目标的移动轨迹；

第2步，如果当前帧有追踪结果时，执行第3步，如果没有，则进入待定状态，继续判断后续W帧结果，若W帧内有追踪结果，则直接执行第3步，如果没有，则结束追踪状态并存储轨迹；

第3步，获取移动目标的追踪结果位置，与当前得到的移动轨迹进行匹配，并结合目标外观特征(来自特征层)，初步确定目标是否为需要追踪的目标；

第4步，调用追踪前置处理单元的目标位置确定和状态判别方法进一步确定目标是否为已追踪的目标，若是，则将结果插入轨迹；若不是，则重新分配ID并加入追踪队列后执行第1步；

第5步，根据已追踪目标的移动趋势，对插入位置进行约束，在限定范围内将追踪结果插入轨迹。轨迹更新的流程图如图4所示。

2)轨迹修改的处理流程步骤：

步骤一，利用目标追踪单元输出的追踪结果，得到目标的移动轨迹；

步骤二，观察轨迹是否存在折线形状、追踪位置框出现偏离实际位置较远一些现象，若不存在，则无需修改直接存储轨迹，若存在，则执行具体修改步骤；

步骤三，对出现偏移结果的目标进行位置框检测，并与得到的追踪框作比，判断两个框是否存在重叠区域：若存在，取重叠部分为新位置框的中心并依据目标变化情况自适应框的尺寸；若不存在，则运用滤波方法得到多个可能的位置框；

步骤四，通过构造曲线的函数，在滤波得到的多个框中通过曲线拟合的方法对轨迹进行平滑，选取最优的位置框作为当前的追踪结果。轨迹修改的流程图如图5所示。

(四)系统的数据库

基于视频监控的多目标视频追踪系统是面向社会综治业务的智慧视频监控系统的子系统，作为系统的一个单独完整的模块单元存在，系统中其它模块或者工具直接调用本模块接口，没有直接其它结构化数据需要访问，所以本系统设计不涉及数据库部分，但轨迹管理的轨迹数据做为离线部分数据，以xml文件格式存储，为后续模块服务。

移动目标追踪及其轨迹管理是智慧视频监控中需要解决的关键问题，多目标追踪一直是视频目标追踪技术中的难点，基于这样的背景，本发明提出的基于视频监控的多目标视频追踪系统旨在解决视频监控中对多个目标进行同时追踪的问题，并对追踪目标的轨迹进行管理。本发明提出的多目标追踪方法基于单目标追踪改进融合实现，采用连续自适应均值漂移算法和在线学习检测追踪算法，将两种算法用于不同的监控场景中改进融合分别进行多目标追踪，多目标视频追踪系统对多个目标进行追踪解决的问题包括自动提取检测追踪目标，并对目标进行分类，针对不同目标运用不同算法进行追踪，同时对追踪后的轨迹结果进行后处理和统一管理，在提高追踪效果的同时，也大幅提升了系统对目标轨迹的检索效率。

Claims (10)

1.不同场景下自适应的多目标视频追踪系统，其特征在于，包括多目标视频追踪方法和自适应的多目标视频追踪系统，其中，连续自适应均值漂移算法基于颜色特征，适应多尺度变化，在线学习检测追踪算法将检测、学习和追踪三个过程结合，针对性处理监控环境中的遮挡和追踪丢失问题；本发明对两种算法进行改进融合，并将其应用于多目标视频追踪系统，针对不同的监控场景特征，智能选择自适应追踪算法，实现最佳的多目标视频追踪效果；

多目标视频追踪方包括视频图像的前置处理、移动目标的检测和分类、基于连续自适应均值漂移和在线学习检测追踪算法的多目标追踪方法，采用单目标追踪算法改进融合实现同时对多个目标同时追踪的的具体方法，首先从对监控视频图像清晰度不高，画面质量模糊特征提出对图像帧进行前置处理的步骤，包括图像去噪和图像增强，然后采用对监控场景进行背景模型构建来提取前景目标的方法，根据混合高斯背景模型构建的原理，基于连续自适应均值漂移算法和在线学习检测追踪算法两种算法的各自特征，针对性的提出进行自适应多目标追踪方法；

自适应的多目标视频追踪系统包括系统的功能需求、追踪系统的结构框架、系统的模块单元、系统的数据库，系统的模块单元分为总控单元、跟踪前置处理单元、目标追踪单元和多目标轨迹处理单元四个部分，每个模块单元又按照模块所使用的数据结构、模块类图和处理流程展开，将动态加载OpenCV 2中的部分链接库和系统运行后生成的本地链接库来实现本发明提出的所有功能，数据库通过xml文件格式来离线保存目标的追踪轨迹；

本发明针对多目标视频追踪特征，设计实现多目标轨迹处理单元，针对监控环境中，追踪目标的类别十分复杂，数量也在不断变化，对目标移动轨迹进行分类存储并统一管理，利用本发明提出的多目标轨迹处理单元，解决目标追踪过程中的追踪漂移问题，通过对目标轨迹的后处理，即通过对轨迹进行滤波平滑、曲线拟合及路径预测方式，校正移动目标轨迹，提高目标追踪准确率。

2.根据权利要求1所述的不同场景下自适应的多目标视频追踪系统，其特征在于，移动目标的检测和分类：监控视频的移动目标是视频画面中的行人和车辆，对移动目标的提取、检测、分类是自动目标追踪的前提，多目标追踪过程的具体实现途径是先通过构建视频背景模型，将作为前景的移动目标从背景中提取分割出来，然后选取合适特征表达描述移动目标，运用检测算法对目标定位，得到目标完整的特征信息，最后将检测到的目标进行分类，为后续的自动追踪过程奠定基础。

3.根据权利要求2所述的不同场景下自适应的多目标视频追踪系统，其特征在于，背景模型构建和目标分割：提出参数化的混合高斯背景建模方法，根据视频中每一个像素在时间域及空间域上的分布情况模拟各个像素的概率分布模型，构建鲁棒的场景表示模型依次达到背景模型构建，在图像中像素i在r时刻取值为x_i的概率为：

表示在r时刻像素i在混合高斯模型中第j个高斯分量的权重值值，W表示高斯分布模型数目，满足如下关系：

其中，

和

分别表示第j个高斯分量的均值和协方差，b表示高斯概率密度函数，在RGB颜色空间中，协方差矩阵可写成：

其中d代表标准差，B代表单位矩阵；

若x_i与第j个高斯分量相匹配，则该高斯分量被x_i更新，其余高斯分量保持不变，更新策略如下：

其中，g代表学习模型率，f代表参数的学习率，该参数表征高斯分布参数变化的收敛速度，其余高斯分量的参数保持不变，它们的权重值按照下式进行更新：

R为预定义的临界值，表示背景高斯分量在该像素概率分布中所占的最小比例，

取值较大者表示该像素值对应的像素点出现的概率较大，根据场景背景的动态变化适时自适应调整W的取值提高背景模型构建效果，参数化的混合高斯背景建模方法应用在监控环境中能很好的适应场景中背景的动态变化，完整提取出移动目标，保证移动目标检测和追踪效果。

4.根据权利要求1所述的不同场景下自适应的多目标视频追踪系统，其特征在于，基于连续自适应均值漂移和在线学习检测追踪算法的多目标追踪方法：改进融合连续自适应均值漂移算法和在线学习检测追踪算法，通过自适应滤波的方式对发生变化的目标重新追踪匹配，降低因遮挡变形或追踪漂移导致的追踪结果不稳定；

当场景中移动目标的外观颜色较鲜艳、轮廓较明显或与背景颜色差别较明显，背景和前景之前具有很好的区分性时，采用基于颜色直方图的连续自适应均值漂移算法进行追踪；当监控场景比较复杂，监控画面不是特别清晰，追踪的移动目标发生相互遮挡导致外观特征信息丢失甚至整个目标丢失的情况时，这时在线学习检测追踪算法识别并捕捉从画面中消失后重新进入画面或被遮挡后重新出现的移动目标，并继续保持对它们的追踪；

在目标追踪开始前和进行过程中，不断有旧的追踪目标从画面消失和新的追踪目标进入画面，同时还存在移动目标暂停、目标遮挡而导致的目标外观信息缺失甚至目标丢失的情况，对画面中这些移动目标的动态变化进行及时更新，创建一个待追踪目标管理链表对目标追踪得到的轨迹进行统一管理，给每一个新进入的新目标分配用于区别于其它目标的ID，同时保留从画面中暂时消失的移动目标，直到满足一定条件后通过轨迹管理删除目标ID，对于在追踪过程中发生突变的移动目标，即发生目标的主要特征信息丢失、目标旋转或被部分遮挡情况，通过轨迹匹配和方向检测方式对目标进行识别。

5.根据权利要求4所述的不同场景下自适应的多目标视频追踪系统，其特征在于，采用卡尔曼滤波的方法融合到连续自适应均值漂移算法中进行多目标搜索，并按照前景检测的结果进行更新匹配，具体的搜索策略如下：

假设在第W帧图像中存在n个正在被追踪的目标，那么在第W+1帧中，在前景检测的结果上，对所有前景团块运用连续自适应均值漂移算法进行追踪匹配，如果所有目标全部都成功匹配，则表明在这两帧图像之间没有发生目标类别和数量的变化；如果匹配完成后，在第W+1帧中还存在没有被匹配的前景团块或者目标，则表明从第W帧到第W+1帧的过程中发生了目标的突变，需要运用卡尔曼滤波的方法，对目标的移动状态进行相似性对比，并运用排列组合的方法将所有可能结果进行排序，然后再次进行追踪比对，得到可信度较高的追踪结果，在经过多次滤波和对比追踪后，若还存在无法匹配的目标，则标记该目标为新目标，分配新ID并初始化追踪器对该目标进行追踪；

针对可能发生的目标遮挡、变形或目标消失的情况，则在第W+1帧中自动销毁已经从画面中消失的目标对应的追踪器，而对发生遮挡或变形的目标，则重新初始化基于在线学习检测追踪算法的追踪器，保留第W帧中对应目标的追踪结果，并重新对目标进行在线学习，获取并存储该目标最新的外观轮廓模型和视觉特征信息，追踪并匹配这些发生突变的移动目标，结合前置处理部分中的前景检测效果，在检测结果的区域内对目标最终的结果做融合，获得可行度较高的移动轨迹。

6.根据权利要求1所述的不同场景下自适应的多目标视频追踪系统，其特征在于，追踪系统的总体结构分成四个基本模块单元，即总控单元、追踪前置处理单元、目标追踪单元和多目标轨迹处理单元，每个模块单元具体包括模块类图、数据结构、处理流程和结构定义；

追踪前置处理单元：实现多目标视频追踪系统得到初始化，对多个目标同时进行自动追踪，首先从视频中获取移动目标的初始位置，追踪前置处理功能对背景模型构建的结果作优化过滤，得到清晰和完整的团块，对前景目标做形态学操作，过滤并除去噪声、提取团块区域，得到追踪团块列表，然后对处理过的团块进行初步检测，确定团块位置，最后判断追踪目标的初始状态，包括目标的类别及目标是新增的还是先前出现过的状态，追踪前置处理单元尽量排除掉无用的移动目标，解决由于错跟和漏跟导致的追踪结果不可靠，提高系统的准确性；

目标追踪单元：在获取移动目标初始位置后，对下一时刻此目标的位置作出预测，得到并更新此目标的位置信息，针对不同的监控场景，目标追踪利用前一帧或者前几帧的结果，预测并更新当前帧的结果，并将其作为下一帧的初始位置；

多目标轨迹处理单元：通过轨迹修改中的方法和措施对追踪结果进行矫正，使得优化后的结果真实反映移动目标的实际移动路线和状态，同时，通过多目标轨迹处理单元方便用户对得到的追踪结果进行操作和处理；

系统的全部设计和实现都是在Microsoft Visual Studio下基于C++和C语言来实现，并借助第三方链接库，其中链接库来源于计算机开源视觉库OpenCV，系统的数据结构采用OpenCV 2和C++标准库中的数据结构。

7.根据权利要求1所述的不同场景下自适应的多目标视频追踪系统，其特征在于，总控单元是整个模块单元的核心组成部分，表现模块的整体结构框架，负责控制整个模块的流程管理、参数设置，各个子模块的调用和数据通信，用户根据设置的参数和输入的视频文件，得到相应目标的轨迹及根据需要对轨迹进行各种操作和管理，主要实现包括：

(1)总控单元定义对外的基本结构体，构建追踪和轨迹管理操作需要的主要追踪对象为：一是目标轨迹，二是轨迹状态，三是轨迹列表，四是系统对外参数设置；

(2)总控单元对外提供接口，实现数据通信和信息交换,管理模块内部的参数设置，控制各模块间的处理流程，在输入源视频文件后，程序利用目标的时间和地理位置的初始信息，通过总控单元调用轨迹管理子模块获取目标在相应时间段的轨迹返回给其它模块，用户结合目标外观特征，管理和操作不同场景和时间段的轨迹，追踪以及轨迹管理总控单元负责对外调用的接口以及三个子模块的数据通信，为人机交互提供实现途径；

(3)总控单元调用流程步骤

第一步，追踪前置处理：通过检测，过滤其它类别的团块；

第二步，追踪现有目标；

第三步，利用追踪结果和前置处理结果，更新现有轨迹；

第四步，找出前置处理图块中的新目标，若有，则添加轨迹，并作为新的追踪目标；

第五步，找出追踪目标中已经完成的目标，从追踪列表中删除，并跟新轨迹状态。

8.根据权利要求1所述的不同场景下自适应的多目标视频追踪系统，其特征在于，追踪前置处理单元实现多目标的初始化，同时提升图像质量，改善画面效果，通过混合高斯背景模型构建提取出前景，并对目标进行检测，在进行多目标追踪之前需要确定追踪的目标是行人、车辆还是团块，对检测的结果做分类，对不同类别的移动目标采用不同的追踪算法，追踪前置处理单元的设计实现包括模块使用的数据结构、功能类图和处理流程；

(1)数据结构：追踪前置处理单元使用数据全部来自OpenCV 2中定义的数据结构：Mat存储一个矩阵并进行一些矩阵操作，主要存储图像帧；Rect存储一个矩形框，表示目标在图像帧中的空间位置；CvSeq存储blob相关信息，包含团块数量、面积、坐标、外接矩形框数据；map<int,Rect>n表示各个目标的状态和在图像帧中的空间位；

(2)模块类图：追踪前置处理单元主要功能实现类包括ItrackerPreProcess类、TrackerPreProcessInpl类和CDetect类；

(3)处理流程：追踪前置处理单元功能的实现主要分为三个主要步骤，首先是视频图像的前置处理，包括图像去噪和图像增强；然后移动目标的提取和检测，包括混合高斯背景模型构建和移动目标检测；最后对检测到的目标，具体是行人、车辆还是移动团块进行分类，按照类别分配追踪ID并存入待追踪列表。

9.根据权利要求1所述的不同场景下自适应的多目标视频追踪系统，其特征在于，目标追踪单元分为单目标追踪子模块和多目标追踪子模块，封装集成三类六种算法，另外，若有新的追踪算法，只要把它作为IObjectTracker的子类，实现其接口，就能加到本发明的框架中，目标追踪单元的主要内容和实现方法为：

(1)模块类图：分为单目标追踪功能类和多目标追踪实现类；

1)单目标追踪单元：在单目标跟踪中，根据OpenCV提供的算法：CamshiftTracker和CvBlobTrackerOne，还有集成的TLD算法，其中CvBlobTrackerOne又有以下几种不同的实现：CvBlobTrackerOneMSFG、CvBlobTrackerOneMS、CvBlobTrackerOneMSPF、CvBlobTrackerOneMSFGS，设计封装集成三类六种算法；

2)多目标追踪子模块：把多目标追踪转化为单目标追踪，经过改动和组合即可实现基本的多目标追踪，而具体的单目标算法，直接利用单目标追踪单元的接口，调用单目标追踪单元的具体算法；

(2)处理流程：目标追踪单元运用不同追踪算法对追踪前置处理单元中处理得到的待追踪的目标进行追踪，并将得到的追踪结果存入目标对应ID的轨迹列表。

10.根据权利要求1所述的不同场景下自适应的多目标视频追踪系统，其特征在于，多目标轨迹处理单元主要对追踪得到的轨迹进行统一管理，包括对目标轨迹的浏览查询、添加删除、展示存储操作，同时针对追踪结果不准确导致的轨迹漂移和追踪失败导致的轨迹断裂，通过曲线拟合和轨迹预测方式进行后处理，得到移动目标在一段监控视频中比较完整可靠轨迹，多目标轨迹处理单元的设计主要从模块所使用的数据结构、模块类图和处理流程方面实现；

(1)数据结构：多目标轨迹处理单元中使用的数据都是自定义的，具体定义方式在总控单元中实现，Rect Blob为团块位置，是跟踪得到的结果；Vector<Rect>tag_Trajectory为单个运动目标的轨迹，是多个跟踪框串联起来形成的轨迹；Vector<vector<Rect>>TrajList为轨迹列表，是轨迹管理的操作对象；

(2)处理流程：多目标轨迹处理单元主要分为对目标的追踪轨迹的查询浏览、添加删除基本操作和修改后处理两方面，对模块的处理流程也分成两部分，对轨迹的更新和修改优化追踪结果，提高系统的可靠性，本发明通过流程图和流程步骤的方式对轨迹更新和轨迹修改两种轨迹后处理方法；

1)轨迹更新的处理流程主要步骤：

第1步，利用目标追踪单元输出的追踪结果，得到目标的移动轨迹；

第2步，如果当前帧有追踪结果时，执行第3步，如果没有，则进入待定状态，继续判断后续W帧结果，若W帧内有追踪结果，则直接执行第3步，如果没有，则结束追踪状态并存储轨迹；

第3步，获取移动目标的追踪结果位置，与当前得到的移动轨迹进行匹配，并结合目标外观特征，初步确定目标是否为需要追踪的目标；

第4步，调用追踪前置处理单元的目标位置确定和状态判别方法进一步确定目标是否为已追踪的目标，若是，则将结果插入轨迹；若不是，则重新分配ID并加入追踪队列后执行第1步；

第5步，根据已追踪目标的移动趋势，对插入位置进行约束，在限定范围内将追踪结果插入轨迹。

Images