CN103049751A - 一种改进的加权区域匹配高空视频行人识别方法 - Google Patents

Abstract

本发明公开了一种改进的加权区域匹配高空视频行人识别方法（KS-WRM），其改进体现在1）利用卡尔曼滤波进行候选区域的确定；2）对摄像头固定与否，采用不同的行人检测策略；3）提出多特征融合的HLS模型的行人检测方法；以及4）基于上下文感知的CA显著区域检测的行人分割。本发明在细节模糊、背景杂乱以及噪声影响等复杂场景下能够精确的识别出行人。本发明可以用在如遥感卫星图像、商场、地铁站、火车站、机场等人流量较大的场所的行人检测和识别，以及智能交通控制、智能车辆辅助驾驶、行人流量统计与分析场合中。

Description

一种改进的加权区域匹配高空视频行人识别方法

技术领域

本发明属于图像处理领域，具体涉及一种改进的加权区域匹配高空视频行人识别方法。

背景技术

对于大多数智能视频监控系统来说，场景中所出现的人或车等目标是关注的焦点，而行人目标作为监控场景中最活跃和最重要的元素，使得行人目标检测和识别技术得到许多研究者的关注，成为计算机视觉领域研究的热点一。从上世纪80年代以来，国内外许多学者对行人检测与识别技术做了大量的研究，如美国的VSAM（Visual Surveillance and Monitoring）主要研究用于军事及普通民用场合下的自动视频理解技术；HID（Human Identification at aDistance）项目，主要开发多模式和大范围的视觉监控技术，实现远距离人的检测、分类和识别；欧盟也资助了PROTECTOR和SAVE-U两个行人检测项目，以及用于改善公共交通网络和其他公共场所的安全性的RPRISMATICA系统。IBM公司通过结合目标跟踪和形状分析技术，构建行人外观模型，提出了室外环境下检测和跟踪人群的智能视频监控系统W4。英国也进行了行人及车辆跟踪和交互作用识别的相关研究。国内中科院自动化所在总结英国的VIEWS车辆交通监控系统的基础上，研发了具有自主知识产权的智能交通监控系统、北京奥运会安检中使用的人脸信息识别系统，并突破了面向安全监控的视频内容技术和应用的重大关键技术难题。行人检测就是在视频序列中将人体从背景中分割出来并精确定位，是后继跟踪、识别与行为理解的基础，其效果的好处直接制约着整个视频监控系统的性能，国内外众多学者对此做了大量的研究。目前，常用的行人检测方法可以归纳为以下五种：帧差法、光流法、背景差分法、模板匹配法和基于统计学习的行人检测方法。帧差法通常用于背景静止的情况下。帧差法尽管复杂度低，实时性和自适应性较好，且对环境亮度变化不敏感。但在实际应用中由于运动目标与背景较接近或者目标运动较快时，检测出的前景目标容易产生空洞，容易把一个目标分割成几个目标，且运动目标的获取存在边缘模糊的问题。光流场是将空间中的运动场转移到图像上，它反映了图像上第一点灰度的变化趋势。光流法能够在不知道背景区域任何先验知识的条件下，检测出独立运动的目标，并且可用于动态背景。但在实际应用中，由于外界环境的复杂性与多变性，使得光流场基本方程的灰度守恒假设条件得不到满足，不能正确的求解出光流场；另外光流计算方法比较复杂且需要特殊硬件支持，很难满足实时性的要求，因此一般不适合用于对实时性和精度有一定要求的监控系统。模板匹配方法能应用于静止对象的检测，其中模板可以表示为一个描述对象形状的轮廓或边缘特性的位图。固定模板匹配主要应用于在摄像机视角下监控对象的形状特性不改变的场合。可变形模板匹配方法比较适用于刚体和非刚体对象变形的情况。Ryousuke等人使用可变模板进行行人检测，并且很好的应用在红外图像中。背景差分法是在摄像机静止条件下广泛应用的一种前景目标检测技术。国内外许多学者对背景差分法做了大量研究。针对复杂多变的场景，Nuria等人提出背景特征化建模的方法，对一段时间内的背景图像数据进行主成分分析，然后利用主特征矢量张成的子空间描述背景，用当前图像与子空间的距离作为判别前景的依据，检测效果较好，但算法复杂度高实时性差。Stauffer等人提出了混合高斯模型(Mixtures ofGaussians，简称GMM)，建立参数化的混合高斯分布模型来表示每个像素的概率分布，通过K均值近似算法对模型进行自适应更新，一定程度上能够适应多峰分布的背景变化。Jodoin和Lee等人对GMM又做了改进，提出利用最大似然估计在混合高斯模型中引入高斯分布个数的自动选择和自适应学习机制，但是GMM对参数结构的先验假设和高斯分布依赖性强，描述复杂的背景变化较困难。针对GMM不足，Elgammal等人提出基于核密度估计的非参数背景建模算法(Kernel Density Estimation，简称KDE)，KDE不需要对背景概率模型做任何假设，利用前期得到的像素值估计当前像素点是背景的概率，能够适应复杂像素分布密度，克服像素值在短时间内发生频繁变化的问题。针对KDE算法通过给定假正率来选择阈值需要根据场景人工选择问题，徐东彬等人提出自适应前、背景阈值选择，以解决误报率和漏报率间的矛盾。周恩策等人针对KDE算法中采样样本包含噪声且非典型运动像素也进行核密度估计所造成计算量大，产生估计错误噪声等问题，提出了一种基于像素时间信息窗的核密度估计前景检测算法，该方法针对每个像素维持一个信息窗，利用像素时间窗的信息划定阈值进行背景更新。王兴宝等人提出了一个LST-KDE算法，有效解决了KDE训练时计算量大，数据冗余等问题；并且能够在后期背景更新中有效抑制阴影。背景差分法只适用于静态背景或背景变化不大的情况下行人检测，算法复杂度低、实时性好，能够较完整的分割出行人目标，具有精度高、实时性和反应灵敏等优点。但是在动态背景或者复杂背景的情况下，则检测效果较差，并且只能够检测出运动的行人，若行人停止不前则检测失败。针对人体形状、外貌特征的各式各样、肤色和着装等因素给检测带来的困难，目前比较常用的检测方法为基于统计学习的人体检测方法。其中常用的统计学习方法有SVM(Support Vector Machine)、AdaBoost Cascade和Field Model等；常用的行人特征有轮廓、形状、颜色、纹理、类HARR小波、SIFT(ScaleInvariance Feature Transform)和梯度方向直方图特征(Gradient OrientationHistogram，简称HOG)等特征，如何提取和融合这些特征以及有效选取相应的训练分类器是一个比较重要问题。Leibe等人提出了一种十分新颖的思路，该方法在处理前景分割问题时，通过多摄像头采集样本，并使用多视几何分割的方法对不同平面上物体分割，然后将分割的子图按行人的尺寸和形状要求重新合并与分割，最后根据边缘梯度特征，再结合一个训练得到的全连通的前向反馈神经网络对各个子图进行分类，从而确定行人的区域，鲁棒性和实时性较高。刘俊涛等人依据人眼视觉注意原理，提出基于视觉注意原理局部特征的行人检测，该算法采用基于特征块的行人表示模型，行人被表示为特征块的集合，每一个特征块用基于视觉注意局部特征的统计直方图和位置关系表示，用聚类的方法得到基于特征块的行人模型，其算法对竖直边缘不敏感，可以处理一定程度的遮挡及姿态变化等问题。Dalal等人提出了一种在单帧图像中用梯度方向直方图特征结合SVM分类器的人体检测方法，这种新方法对原始的MIT行人数据库和一个具有大范围姿势和背景变化的人体图像库，都获得了接近完美的检测性能，但是其处理速度较慢，而且对高空拍摄视频处理效果不好。后续对Dalal算法做了相应改进，如使用Adaboost算法去选择冗余的HOG特征，从而加速整个处理过程，并取得较好的检测结果，或者使用HOG的改进方法如PHOG、RHOG及联合HOG-LBP等来提高算法的性能。总而言之，基于统计学习的行人检测方法具有不需要人工设置大量参数、能够在摄像机移动情况下检测出行人和鲁棒性较高的优点，缺点是需要大量的训练样本，实际检测时速度不太理想，另外对于高空中拍摄的视频难以处理等。行人识别算法是将图像序列中所检测出的行人目标与实际库中所要寻找的目标行人进行匹配，若满足要求则识别出该行人。实际应用场景的复杂性（如天气变化、光照不均、行人姿态多变、人流量较大）和行人目标运动的随机性，都会给行人识别带来困难。因此，行人识别难以寻找一个普遍适用的算法，大部分行人识别算法都是针对特定对象和场景进行设计。目前比较常用的行人识别方法主要分为两大类：基于局部生物特征的行人识别方法和基于整体外观特征的行人识别方法。基于局部生物特征的行人识别方法是指利用行人局部生物特征来识别出目标行人，目前常用的生物特征主要包括指纹、虹膜、视网膜、人脸、掌纹、手形、静脉、声音、步态等。Ham等人提出了一种远距离人脸识别方法，该方法通过使用隐马尔科夫随机场模型来最大化后验概率，从而构造出稠密的全局立体图，然后再通过动态外观模型(Active Appearance Model，简称AAM)来装饰立体图像。Kumar等人提出了一种利用人的脸部特征来识别该人的身份并有效地运用到图像检索中。虽然单一生物特征识别比较简单方便，但是随着社会安全以及识别准确性和可靠性要求的提高，单一生物特征识别已经不能够满足社会需求。人们将多个生物特征融合，从而产生多模态生物特征识别。Baig等人采用汉明距匹配器对虹膜和指纹两种生物特征在匹配层进行了融合识别，通过实验分析得到的融合识别结果明显好于虹膜和指纹单独识别结果。Gnanasivam等人融合了人耳和指纹特征，提取出相应的边缘和角点等特征，取得较好效果，并且应用于EIPD系统中。虽然基于局部生物特征的行人识别方法已经取得了一定成果，但是许多技术还处于研究探索阶段，技术不成熟，生物特征种类比较多，目前人们对于生物特征的选取大多属于随机选取，并不能确定哪些种类融合最优，必须是近距离接触并且提取特征，识别范围较小，另外，单一特征识别较差而多特征融合又使得数据处理以及算法复杂度增大，系统实时性也会随之降低。基于整体外观特征的行人识别方法主要是通过提取人体的整体外观特征与所对应目标进行匹配，然后再做出相应的判断。其优点是不需要近距离接触行人，增加了识别的范围，另外受个人干扰因素较少。Douglas等人提出了一种在多视角下通过局部和全局特征组合的行人识别方法，该方法首先通过人类对于问题的直觉意识和机器学习算法来找到能够描述该目标最好的特征，然后再使用AdaBoost算法去学习这些特征，对数据库中的行人进行识别。Iwashita等人提出了一种通过行人影子的识别方法，该方法引入了影子生物学统计法，它通过行人的影子来分析人的形状和姿态的变化规律，再结合行人步态的频率综合识别行人，取得较好的识别效果。针对航空中所拍摄的分辨率比较低并且环境较复杂视频下的行人识别问题，Oreifej等人提出了一种投票选举方法，该方法首先提取出所要识别目标的衣着和简单外观特征，然后相应地在视频序列中通过区域权重算法找出该目标行人，简单地概括为一种投票选举模型，将所训练的目标行人特征集合{vi}称为投票人(voters)，将所要检测的视频序列中所出现的行人集合{cj}称为候选人(candidates)，通过投票人对每一个候选人投票，找出得票数最多的行人，即概率最大的行人为所找目标，该算法能够很好的解决图像分辨率比较低、行人姿态多变和摄像机移动等复杂环境下的目标行人识别问题。总之，基于整体外观特征的行人识别方法识别空间范围广，而且不受人的身体细节部分制约等优点，其应用的领域广泛，具有很高的应用价值，但是受外界影响较大，识别的准确率不高，而且大部分产品还处于实验室研究阶段。尽管行人检测与识别的研究虽然已经取得了较大的进展，但由于行人的特殊性，如非刚体，姿态、着装和肤色的多样性，以及周围的复杂环境，人流量大等都会增加行人检测与识别的设计难度，其难点问题主要表现如下：

1）场景的复杂性问题。复杂的环境主要包括光照不均造成目标阴影以及雨雪大风天气等恶劣环境的影响。背景的局部动态变化，如转动的风扇、流动的水波以及摇动的树枝等容易造成背景误检为前景。常用的背景差分法检测行人时，当出现动态场景变化时，如场景中有运动物体变为静态物体，静态物体变为运动物体时，容易造成场景内前景与背景混乱，影响后续行人检测与识别的准确率。另外，场景中人流量大以及多目标相互遮挡等都给检测与识别带来困难。

2）摄像机移动、拍摄角度和高度的多样性问题。对于行人来说摄像机从正面、侧面和背面不同视角拍摄所得目标变化较大，而且摄像机还会有正视、俯视和斜视的区别，每一个角度拍摄出的行人各部位比例也不一样，同时摄像机的移动与否也会给检测算法带来变化。另外，摄像机在高空和低空拍摄的清晰度也不一样，经常在人流量较大的场合，如广场、商场和球场等，为了调整监控的范围，必须提升摄像机高度，但是所拍摄图像清晰度大大降低，如何在低分辨率的图像中检测与识别行人也是个难点。

3）行人姿态和外观的多样性问题。人是非刚体，拥有丰富的姿态特征，如走、跑、站立、下蹲和拥抱等等，同一个行人所处不同的姿态，在检测与识别时往往相差很大。另外，由于身材和衣着不同，行人的外观也有很大差异，如夏天和冬天，人们是否带墨镜、帽子、背包，一个在不同时间段的高矮胖瘦，穿衣的颜色、穿裤子或者穿裙子都会影响到头部、躯干、手部及腿部的外观。

4）行人目标的快速准确分割问题。通常检测出的行人是用矩形框标记出的，在矩形框中会包含有部分背景噪声区域，而在后期的行人识别算法中需要精确的目标，所以目标行人的分割也很重要。但是在高空中所拍摄到的视频通常都具有分辨率低、目标较小、姿态多变和背景杂乱等特点，这样就给行人目标的快速准确分割带来较大困难。

5）行人特征选取问题。常用的行人特征有轮廓、形状、颜色特征、纹理特征、类Harr小波特征、SIFT特征和梯度方向直方图特征等，这些特征都可用于行人的检测与识别。但是具体需要采用哪种特征能获得较好的检测与识别结果，不仅与采用的算法有关，而且与图像自身的属性有关，所以很难采用特定的特征及通用的算法用于行人检测与识别。

6）系统的实时性和鲁棒性问题。系统的实时性是指要求所使用的算法复杂度低，计算量小，能够快速响应系统的需求。系统的鲁棒性要求系统能够自动连续工作，对周围的噪声、天气、光照和摄像头移动等外界因素不敏感。这样就造成了矛盾，鲁棒性一旦要求过高，算法的复杂度必定提高，这样实时性得不到满足，所以一个好的算法必须要同时兼顾实时性和鲁棒性，要在两者中间取得平衡。

发明内容

本发明目的是：提供一种基于卡尔曼滤波和显著区域检测的加权区域匹配行人识别方法。该方法首先利用卡尔曼滤波进行候选人区域的确定，以便于减少行人检测和分割的时间，为自动确定候选人集合提供依据；其次采用多特征融合思想，充分利用不同特征的互补性改善行人检测的准确性，再次利用人类视觉感知和认知的机理从行人整体性的结构进行行人的准确分割，最终利用加权区域匹配方法（WRM）进行投票人对候选人的投票决策。本发明能够很好的解决高空视频中细节模糊、背景杂乱以及大量噪声区域等问题，并能根据视频内容自动获取投票人数目。通过复杂场景下实验表明，该方法在准确率、实时性和自适应性方面取得较好效果。

本发明的技术方案是：一种改进的加权区域匹配高空视频行人识别方法，其特征在于，包括以下步骤：

（1）读取视频序列中的每一帧，利用卡尔曼滤波算法标记出候选区域，并从人工标记的投票人库中选择投票人（投票人就是需要从视频中找到并识别出来的行人，一个投票人是手工对视频中的同一个行人进行矩形框的标注，然后提取矩形框中的行人图像特征，形成特征向量来表示行人。投票人集合中的每一个投票人由不同姿态、不同大小的行人图像构成，并已知投票人集合中每个投票人是谁。在实验中，每个投票人由4个不同姿态或大小的图像构成，也可以由其他数量的不同姿态或大小的图像构成）；

（2）对步骤（1）中标记出的候选区域进行行人检测，标记出候选人；

（3）从标记出的候选人中分割出行人目标，并使用校正算法对行人目标做相应的校正，从而得到候选人集合；

（4）对候选人集合中的行人目标的区域进行赋权值，衡量投票人和候选人的匹配度，计算出每个候选人所对应的投票人的全概率P(c_j)，再次从计算出来的全概率中选择候选人全概率值最大的行人P_obj＝max{P(c_j)}，并且与阈值T_obj相比较，若P_obj≥T_obj，则说明找到该目标行人，反之则说明该目标消失。

进一步的，所述步骤（2）具体为：根据实际检测场景摄像头是否移动，对于固定摄像头采用局部域时空模型的LST-KDE行人检测算法（固定摄像头的行人检测算法很多，比如基于梯度方向的HOG检测子、基于形状模板匹配的检测方法、基于表观特征向量的检测方法、基于部件检测的方法、多种特征融合的行人检测方法以及结合各种上下文信息的检测方法等，但这些方法都是基于图像的静态行人检测方法，且应用于图像比较清晰的情况下，对于高空模糊图像的行人检测结果不如局部域时空模型的LST-KDE行人检测算法）对步骤（1）中标记出的候选区域进行行人检测并标记出候选人；对于移动摄像头采用多特征融合的HLS模型行人检测算法（移动摄像头下行人检测算法有分层模板匹配的行人检测方法、基于量子演化的行人检测方法、基于特征选择和机器学习的行人检测方法、基于立体视觉的摄像机角度估计自适应图像采样的行人检测方法等，但这些算法大多仅适用于图像比较清晰的情况，且摄像机的拍摄的视频基本和视频帧中的目标对象平行，即使摄像头高于视频帧画面，但高度也比较低。本发明中的方法是针对高空视频，或者说是航空视频，由于这类视频中明显的存在俯视效果，因此不管是固定摄像头还是移动摄像头下的行人检测，以上方法虽然都可以实现本发明，但是效果都不如多特征融合的HLS模型行人检测算法）对步骤（1）中标记出的候选区域进行行人检测并标记出候选人。

进一步的，其特征在于，所述步骤（3）具体为：使用上下文感知的CA显著区域检测算法分割出行人目标，并且使用头肩模型和动态外观模型校正算法（基于显著区域检测的行人分割还可以采用其他的显著区域检测算法来进行，如频域调整（FT）的显著性检测、ITTI98显著性检测算法、GBVS显著性检测方法、基于贝叶斯的显著性检测方法、谱残差（SR）显著性检测方法等，但这些方法要么是从全局特征出发，要么是从局部特征出发，而发明中采用的上下文感知的CA显著区域检测算法是全局特征和局部特征结合，并利用上下文知识的一种显著性检测算法，可以更好的模拟人类视觉系统对模糊的、细节信息缺乏的高空视频中行人的提取，获得符合人类视觉系统所抽取的行人的分割结果，从而取得比以上算法更佳的效果）对行人做相应的校正，从而得到候选人集合。

具体步骤如下：

Step1.读取视频序列中的每一帧，利用Kalman滤波算法标记出候选区域，然后再从人工标记的投票人库中选择投票人{vi}；

Step2.根据实际检测场景摄像头是否移动，对于固定摄像头采用局部域时空模型的LST-KDE行人检测算法，对于移动摄像头采用本发明提出的多特征融合的HLS模型行人检测算法，对Step1中Kalman滤波算法所标记出的候选人区域进行行人检测，标记出候选人；

Step3.使用上下文感知的CA显著区域检测算法分割出行人目标，并且使用头肩模型HST和AAM校正算法对行人做相应的校正，从而得到候选人集合{cj}，为后续的匹配与识别准备；

Step4.行人识别采用Oreifej等人提出的WRD算法进行。首先针对行人不同部位在匹配过程中所承载的信息量不同，使用PR算法对行人的区域进行赋权值；其次在实际匹配过程中，使用EMD算法来衡量两者之间的匹配度，计算出每个候选人所对应的投票人的全概率

再次从计算出来的全概率中选择候选人全概率值最大的行人P_obj＝max{P(c_j)}，并且与T_obj阈值相比较，若P_obj≥T_obj，则说明找到该目标行人，反之则说明该目标消失；

Step5.判断是否继续寻找行人，若继续则返回到step1，否则程序结束。

算法的具体细节如下：

步骤1）确定候选人区域

卡尔曼滤波算法选择候选人的预处理主要包括两个阶段，即预测和更新。

预测模型相关参数设置

预测模型参数设置主要包括目标状态向量x_k、测量向量z_k、状态转移矩阵F和测量矩阵H，如公式（1）-（4）所示，其中状态向量x_k取8维向量，(x₀,y₀)表示所标注区域矩形框的质心点坐标，l和h表示所标注区域矩形框的宽度和高度，其它四个变量分别表示前四个变量的变化速度：

x_k＝[x_0,k,y_0，k，l_k,h_k,v_x，k，v_y，k，v_l,k,v_h，k]^T        (1)

z_k＝[x_0，k，y_0,k,l_k,h_k]^T              (2)

$F=\left[\begin{array}{cccccccc}1& 0& 0& 0& \mathrm{\Δt}& 0& 0& 0\\ 0& 1& 0& 0& 0& \mathrm{\Δt}& 0& 0\\ 0& 0& 1& 0& 0& 0& \mathrm{\Δt}& 0\\ 0& 0& 0& 1& 0& 0& 0& \mathrm{\Δt}\\ 0& 0& 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right]---\left(3\right)$

$F=\left[\begin{array}{cccccccc}1& 0& 0& 0& \mathrm{\Δt}& 0& 0& 0\\ 0& 1& 0& 0& 0& \mathrm{\Δt}& 0& 0\\ 0& 0& 1& 0& 0& 0& \mathrm{\Δt}& 0\\ 0& 0& 0& 1& 0& 0& 0& \mathrm{\Δt}\\ 0& 0& 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right]---\left(4\right)$

候选区域特征匹配和标记

用

和分别表示第k帧时，目标区域i的质心横纵坐标以及面积，用

和

分别表示第k+1帧时目标区域j的质心横纵坐标以及面积，则可以得到质心匹配度D(i，j)和面积匹配度A(i，j)：

$D(i,j)=\frac{\left|\sqrt{{(x_k^i-x_{k+1}^j)}^2+{(y_k^i-y_{k+1}^j)}^2}\right|}{{\mathrm{Max}}_n\left|\sqrt{{(x_k^i-x_{k+1}^n)}^2+{(y_k^i-y_{k+1}^n)}^2}\right|}---)\left(5\right)$

$A(i,j)=\frac{|S_k^i-S_{k+1}^j|}{{\mathrm{Max}}_n|S_k^i-S_{k+1}^n|}---(\left(6\right)$

最后通过最小代价函数C(i，j)，选择出目标区域即为所要找的目标候选人区域，并用矩形框标记出，如公式（7）所示，其中η+λ=1，并且从实验中的结果来看η＝0.3，λ=0.7效果比较好。

C(i，j)＝ηD(i，j)+λA(i，j)        (7)

步骤2）行人检测

对输入的高空视频图像，首先判断是否存在摄像头移动。

1）对于摄像头静止

使用王兴宝等人提出的局部域时空模型的LST-KDE行人检测算法。该方法在前期背景训练学习阶段，通过K均值聚类算法得到L个关键帧为新训练样本集，并选取核密度估计值最大的像素点为背景点，避免了信息冗余和计算量大的问题。在后期背景模型更新中，在时间域利用历史帧和当前帧背景匹配度自动调整时间窗口大小，并在空域利用颜色和LBP描述的纹理特征实时更新背景，消除部分阴影问题，提高检测的实时性和准确率。

固定摄像头下行人检测的具体步骤如下：

Step1.输入N帧训练样本集X，并用K均值聚类算法抽取关键帧建立优化样本集Y，选Y中最大核密度估计值像素点构建参考背景；

Step2.第N帧后的视频帧按照时间域和空间域模型方法，对视频帧中每一个像素点构建局部时空域模型，用于后期更新参考背景；

Step3.当前视频帧与背景参考模型背景差分，分割前景，并统计前景点所占比例；

Step4.更新参考背景：若前景点比率大于70%，背景发生突变，则删除背景参考模型，返回Step1重新进行背景建模；否则对像素点进行判断，如是非动态背景采用渐进式更新；如是动态背景删除当前该背景像素点，且根据局部时空域模型更新该背景像素点；

Step5.根据当前和历史背景帧的匹配度以及空间纹理和颜色特征，更新局部时空域模型；

Step6.对检测出的前景图片进行后续后处理，包括二值化、形态学滤波和大孔噪声去除等；

Step7.采用基于形状特征的分类方法和贝叶斯决策理论对前景目标分类，选择其中概率最大行人目标类别，并标记出行人；

Step8.返回Step3，直到视频全部处理完为止。

2）对于单视点摄像头移动的行人检测

使用本发明提出的多特征融合的HLS模型行人检测算法，该方法采用统计机器学习SVM方法进行训练，获得多特征融合的HLS模型行人检测的SVM分类器；然后利用多尺度技术对检测图像进行预处理，提取不同尺度下的HOG、LBP和SIFT特征，利用训练好的SVM分类器对不同尺度下的图像检测出行人，最后融合不同尺度空间下的检测结果获得最终的行人检测标记区域。大量的实验表明，该方法不仅解决了背景差分法中所出现的问题，而且对于高空视频所存在的图片目标较小、行人姿态多变及背景复杂干扰噪声较大等问题，也取得很好效果。

单视点摄像头移动下行人检测具体步骤如下：

Step1.选择行人样本训练库，要求选择一定数量的正负样本；

Step2.针对训练中的视频中的每一帧，设定不同大小的cell和block，分别提取局部HOG、LBP和SIFT特征，并且使用主成分分析降维，对三种特征分别赋予不同的权值，然后均衡化；

Step3.使用SVM分类器训练学习，将正样本和负样本形成的向量特征代入SVM分类器中，然后不断迭代直到完成SVM指定目标结果为止；

Step4.从视频序列中输入一幅图片并对图片做简单预处理，确定检测窗口的大小和滑动步幅N_s，然后对整幅图片使用滑动窗口机制按照N_s扫描；

Step5.针对每个检测窗口同样采用Step2方法，提取三种特征且融合；

Step6.对所检测图片按照一定尺度进行缩放，计算出金字塔的层数S_n，使用训练好的SVM分类器做出是否为行人的判断，并将初步所有的检测结果存入列表；

Step7.根据在不同尺度空间下所检测的结果列表(x，y，scale)，反复计算平均偏移向量直到聚合到某个指定的模式，最后依据此模式中心点位置以及尺度用矩形框标记出行人目标；

Step8.返回Step4，直到视频全部处理完为止。

行人检测的特色在于：1）对于单视点的高空视频，不管摄像头是否移动，都能够较好的检测出场景中的行人。2）对于移动摄像头采用多特征融合的HLS模型，能够较好的解决背景差分法中所出现的行人静止检测失败、动态背景检测准确率低和高空视频存在的行人目标较小、行人姿态多变、背景复杂及干扰噪声较大等问题。3）对于HLS中需要训练SVM分类器的问题，该发明采用离线训练的方式，这样可以有效的避免机器学习所需要的分类器的学习时间所带来的不能满足实时性的问题。4）在基于HLS模型的行人检测中，采用滑动窗口机制，即检测窗口按照一定尺寸的步幅不断前进，扫描整幅图片。采用检测图像尺寸的缩放策略，在不同尺度下检测行人，然后再将检测的结果融合在一起，最终在原始尺度下标记出行人，以解决图片大小不同带来的行人尺寸差异很大带来的使用同一尺度进行检测效果很差的问题。其具体方法如下：

A：检测图像尺寸的缩放

a.令起始尺度S_s＝1，用S_e=min{W_org/W_win,H_org/H_win}表示金字塔结束的尺度，其中W_org和H_org分别表示当前被检测图片的宽度与高度；W_win和H_win分别表示检测窗口的宽度与高度。

b.计算图像金字塔层数S_n：

$S_n=\mathrm{floor}\frac{\log (S_e/S_s)}{\log S_r}+1---\left(8\right)$

其中S_r表示尺度率。

c.对于每层尺度S_i=[S_s,S_sS_r,...,S_n]，采用双线性插值重新调整输入图像的大小，然后以扫描步幅N_s扫描整幅图片，提取相应的特征使用训练好的SVM分类器做出是否为行人的判断，每个尺度空间中像素点的二维坐标位置与尺度构成3-D空间(x，y，scale)作为每个检测结果的映射空间，并将所有的初始检测结果存入列表。

B：3-D位置和尺度空间检测结果的融合

a.根据不同尺度空间的检测结果，计算每个点p_i=[x_i，y_i，s_i]的不确定矩阵H_i，用diag[H_i]表示不确定矩阵H_i的3个对角元素：

diag[H_i]＝[(exp(S_i)σ_x)²,(exp(S_i)σ_y)²,(σ_s)²]        (9)

其中σ_s，σ_x和σ_y分别为用户给定的尺度s、平面坐标x和y方向的平滑参数，利用exp(S_i)缩放σ_x和σ_y可以增加检测点空间不确定性，σ_s是在尺度空间取对数基础上的平方平滑。

b.对列表中每个点p=[x，y，s]重复地计算与p_i=[x_i，y_i,s_i]的平均偏移向量：

$m\left(p\right)=H_h\frac{\▿f\left(p\right)}{f\left(p\right)}\≡H_h\left(p\right)\left[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i\left(p\right)H_i^{-1}{p}_i\right]-p---\left(10\right)$

其中s_i=log(s_i)，i＝1,…，n，检测信任度w_i作为权重，点p的加权核密度估计为f(p)，为f(p)的梯度值，H_h(p)为在p点的不确定矩阵H_i的加权调和平均值。当偏移量m(p)=0，也即

时，某个指定的模式被计算：

$p_m=H_h\left(p_m\right)\left[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i\left(p_m\right)H_i^{-1}{p}_i\right]---\left(11\right)$

c.所有的模式列表给出了最终融合好的检测结果，然后对于每个模式，依据中心点的位置以及尺度最终给出所标记行人的矩形框尺寸，从而标记出行人目标。

步骤3）行人分割和校正

对通过步骤2）获得的行人检测标记的区域，使用上下文感知的CA显著区域分割算法对标记的行人区域进行分割以及基于头肩模型HST和AAM算法校正，获得分割的单个行人目标。

上下文感知的CA显著区域检测的分割步骤：

A：单一尺度显著值计算

将单帧图像I分成大小相等的n个小块，P_i和P_j分别表示中心点在第i和j像素点位置处的小块，然后提取该块的局部特征，并选用对人眼视觉感受最灵敏的彩色L*a*b空间，计算每两个块P_i和P_j之间的距离d_color(p_i,p_j)作为衡量块是否相似的标准且做相应的归一化处理。如果像素i与图像中的任何一个像素j之间的距离d_color(p_i,p_j)都很大，则i为显著点。如果某个块与其相似的块分布在该块附近时，该块被认为是显著的；相反，如果与其相似的块零散的分布在图像的各个地方则该块被认为是非显著的。d_position(p_i,p_j)表示两个块之间的空间欧氏距离。结合特征距离和空间距离，使用d(p_i,p_j)来作为衡量两个块之间的相似性：

$d(p_i,p_j)=\frac{d_{\mathrm{color}}(p_i,p_j)}{1+c\·d_{\mathrm{position}}(p_i,p_j)}---\left(12\right)$

其中c作为参数。通常对于某一块的显著度进行计算时，只需考虑与该块最相似的K个块，在当前尺度下划分的当前像素点i的显著度计算公式为：

$S_i^r=1-\exp \{-\frac{1}{k}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}d(p_i^r,q_k^r)\}---\left(13\right)$

B：多比例尺度显著值计算

由于人眼视觉观察的多尺度特征，在计算某一像素点的显著度时，选取多种尺度来取其周围的像素块。假令尺度空间R={r₁,r₂,...,r_M}为在像素i周围选取块时所用块的尺度大小，则在每种尺度r_k下该像素相应的显著值：

$S_i^r=1-\exp \{-\frac{1}{k}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}d(p_i^r,q_k^{\mathrm{rk}})\}---\left(14\right)$

当前像素i最终的显著值是其在每个尺度下的平均值：

${\stackrel{\‾}{S}}_{i=}\frac{1}{M}\underset{r\∈R}{\mathrm{\Σ}}{S}_i^r---\left(15\right)$

所求得的值越大，则说明像素i的显著程度越高，该像素越显著。

C：图像上下文感知的显著值计算

显著的区域总有一个或几个聚类中心，则可得到初始显著值矩阵进行中心聚集化操作。假设显著区域的聚类中心已知，则越靠近聚类中心的区域显著性越强，越远离聚类中心的区域显著性越弱。经过公式（15）得到的归一化后的显著值矩阵中，将

的像素点视为图像中显著区域的聚类中心。根据得到的这些聚类中心，将图像中的非聚类中心点的显著值按照式（15）进行更新。

其中

表示初始显著值矩阵中第i个非聚类中心像素点更新后的显著值，d_foci(i)表示第i个非聚类中心到距离最近的聚类中心的欧氏距离。

D：二值化去噪分割出行人

通过上述A、B、C三步可以得到显著区域灰度图I_gray，将其二值化去噪后，可分割出目标前景I_bw，最后再还原到原图像中，即可得到最终分割后的图像I_seg。

在高空中由于拍摄时摄像机的角度差异以及行人各种姿态多样性，所检测的目标很可能发生倾斜，甚至倒置，这样会严重降低后续匹配的准确率。而匹配时需要投票人与Kalman滤波下获得的候选人在同一视角下比较，所以需要对分割出的行人进行校正。由于高空图像中目标较小而且人的肢体细节部分都很模糊，所以采用传统的图像校正方法效果会很差，如三维人体模型或者人体轮廓等，因此本发明采用HST模型Head Shoulderand Torso，简称HST)和动态外观模型(AAM)相结合算法，其步骤如下：

Step1构造出一个简单的由8个点所组成的HST模型；

Step2.选择姿态端正符合标准的图片构成数据集，使用AAM算法训练，得到一个标准的HST模型，用矩阵M_norm表示；

Step3.将分割后的图片加载到AAM模型中，采用AAM中值模型，这时可以获得实际图片中具有倾斜角度的HST模型，用矩阵M_real表示；

Step4.根据实际获得矩阵M_real与标准矩阵M_norm之间的关系，构造一个仿射变换函数f(β)，求出旋转角度β，最后将整个图片旋转β度，获得最终校正后的图像。

M_norm=f(β)*M_real        (17)

步骤4）行人识别

投票人集合对候选人集合投票，通过区域赋权值并计算每个候选目标行人的概率最终找出待识别的目标行人。但是若将行人整体用于匹配，不仅耗时，而且会有大量噪声干扰，影响识别的准确率，因此本发明利用Mean Shift算法先将目标分成N个小区域，针对每个区域提取区域内每个像素的颜色特征(HSV)和区域质心为中心点的外接矩形HOG特征。由于所获得的特征空间维数很高增加了算法的计算量，采用PCA算法对特征空间降维，最终选取前30个固有特征，则目标转换成由多个30维特征表示小区域组成。

对于投票人集合，采用手工标注的方式形成。

对于候选人集合的形成，则首先利用卡尔曼滤波进行候选人区域的预标记，减少行人检测和分割的时间，提高行人检测和分割的精度。然后利用上述步骤2）和步骤3）获得单个行人目标作为候选人集合。最后的行人识别采用加权区域匹配（WRD）算法进行，具体的细节如下：

投票人和候选人匹配度的描述采用Yossi等人在2000年提出的地面移动者距离(Earth Mover Distance，简称EMD)。将候选人表示成P={p_i}集合，投票人表示成Q={q_i}集合，两者的匹配关系变成两个集合的映射关系。对于每个区域对用信息熵和欧几里德距离来表示EMD算法中的地面距离，其中α+β=1根据实际实验α取0.9，β取0.1效果最佳。

D(P，Q)=αJD(P，Q)+βED(R_P,R_Q)        (18)

其中信息熵采用JD距离为：

$\mathrm{JD}(P,Q)=\underset{i}{\mathrm{\Σ}}[p_i{\log }_2\left(\frac{p_i}{(p_i+q_i)/2}\right)+q_i{\log }_2\left(\frac{q_i}{(p_i+q_i)/2}\right)]---\left(19\right)$

对于两个区域的欧几里得距离，用两区域的质心之间的距离：

$\mathrm{ED}(R_P,R_Q)=\sqrt{{(R_{P,x}-R_{Q,x})}^2+{(R_{P,y}-R_{Q,y})}^2}---\left(20\right)$

对于每一个投票人所分割的小区域，都会包含目标相关信息，但是不同的区域所承载的信息量是不一样的，如噪声区域对目标识别所承载的信息量就比较少，而人体主干区域相对较多，如果对每一个区域都赋予同样权值，则必然会影响识别的准确率。针对这种问题，本发明采用页面分级算法(Page Rank，简称PR，将投票人集合V={v_i}中每一个投票人v_i＝{r_k}中的区域r_k看成无向图中一个结点，相互之间的连接看成结点之间所连接的边，即构造一个无向图G=(R，E)，其中R表示区域r_k，而E表示区域之间所连接的边，整个赋权值过程如下：

1)利用EMD算法计算地面距离的公式，计算出无向图G中每个区域与其他区域之间的距离；

2)对于每个投票人v_i，利用K近邻算法找出v_i与v_j，相邻最近的K个区域i≠j，根据实际实验K取4；

3)根据无向图思想，将所得到的权值归一化，可以得出每一个区域的权值

4)最终由（21）式得出每一个区域的权值w_k：

$w_k=w_k^{\mathrm{pr}}\×w_k^s---\left(21\right)$

其中，k＝1，2，...，K，

表示PR算法赋予的权值，

表示区域的面积。

对于目标行人的识别，本发明采用贝叶斯决策理论，计算每一个候选人的全概率，然后再找出概率最大者，即为目标行人。如果有n个投票人，m个候选人，在这里用集合V={v_i|i=1...n}来表示投票人，集合C＝{c_j|j＝1...m}表示候选人，整个过程如下所述：

计算出每一个投票人v_i的归一化权值w_i：

$w_i=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k/\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_j---\left(22\right)$

对于每一个候选人，投票人对他投票，计算出该候选人的全概率：

$P\left(c_j\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}P\left(c_j\right|v_i)P\left(v_i\right)---\left(23\right)$

3)从（23）式可以推出，P(c_j|v_i)表示某投票人所选候选人的概率，可以表示成投票人与候选人之间的匹配度，则可以转换成EMD算法求地面距离D(c_j,v_i)，且满足混合高斯模型，P(v_i)即投票人的权重，那么最终可转换成（24）式来计算每一个候选人概率，其中τ是常量，取1；

$P\left(c_j\right)\∝\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(\exp (-D(c_j,v_i)/\mathrm{\τ})\right)\×w_i---\left(24\right)$

4)最终得出概率最大的候选人P_obj＝max{P(c_j)}，若P_obj≥T_obj，则说明找到该目标行人，反之则说明该目标消失，其中T_obj表示候选人概率阈值。

本发明的优点是：

解决了目前大部分行人检测和识别技术都是依赖于图像细节特征从而导致一旦目标较小、细节比较模糊、背景复杂识别度就很低的技术问题，采用了1）卡尔曼滤波进行候选区域的确定；2）对摄像头固定与否，采用不同的行人检测策略；3）提出多特征融合的HLS模型的行人检测方法；4）基于上下文感知的CA显著区域检测的行人分割技术，实现了高空视频通常具有的特征是分辨率低、拍摄时摄像机移动、图片中目标较小、细节比较模糊、背景复杂、人流较大的场合的行人的精确识别。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明的整体方案框架结构图。

图2为停车场视频目标检测比较视频。

图3为HLS算法行人检测系统框架图。

图4为Dalal等人算法检测结果。

图5为Wang等人算法检测结果。

图6为本发明的HLS算法检测结果。

图7为本发明摄像头移动下行人检测结果。

图8为本发明采用的基于显著性的分割方法与其他算法的比较。

图9为本发明提出的KS-WRM算法与其他算法比较。

具体实施方式

实施例：如图1所示的KS-WRM方法的整体方案，包括以下步骤：

（1）读取视频序列中的每一帧，利用卡尔曼滤波算法标记出候选区域，并从人工标记的投票人库中选择投票人；

（2）对步骤（1）中标记出的候选区域进行行人检测，标记出候选人；

（3）从标记出的候选人中分割出行人目标，并使用校正算法对行人目标做相应的校正，从而得到候选人集合；

（4）对候选人集合中的行人目标的区域进行赋权值，衡量投票人和候选人的匹配度，计算出每个候选人所对应的投票人的全概率P(c_j)，再次从计算出来的全概率中选择候选人全概率值最大的行人P_obj＝max{P(c_j)}，并且与阈值T_obj相比较，若P_obj≥T_obj，则说明找到该目标行人，反之则说明该目标消失。

SVM分类器的参数设置：

本发明所选择的训练环境如下：硬件环境：IntelCore22.0GHz，2G内存，512MNVIDIA显卡；软件境：Windows7.0操作系统，VS2008开发平台，C/C++开发语言，OpenCV2.0和LibSVM开发包。

针对后期检测的环境不同，本发明选择了INRIA和自己截取的两类行人数据库分别进行训练，最后形成两种分类器，详细参数设置如下：

分类器一：选择了INRIA数据库中的训练样本，其中正样本个数为2400张正样本，负样本为1200张，检测窗口大小为64×128，HOGcell为4×4，HOGblock为8×8，LBP半径R=1，8邻域，LBPcell为16×16，SIFT选择25关键点，其中每个关键点取8×8的窗口。因此，每个检测窗口图片可以使用6436维特征向量表示：

{[Y，X_i]_m,n|i∈[1,3600],Y=0∪1,m=2400,n=1200}

其中，

m表示正样本个数，n表示负样本个数，T表示特征值，Y=1表示正样本，Y=0表示负样本。

分类器二：选择了自己截取的行人训练库，其中正样本个数为5000，负样本个数为3000，检测窗口大小为20×40，HOG cel为5×5，HOG block为10×10，LBP半径R=1，8邻域，LBPcell为10×10，SIFT选择15关键点，其中每个关键点取6×6的窗口。因此，每个检测窗口图片可以使用1700维特征向量表示：

{[Y，X_i]_m,n|i∈[1,8000],Y=0∪1,m=5000,n=3000}

其中，m表示正样本个数，n表示负样本个数，T表示特征值，Y=1表示正样本，Y=0表示负样本。

两类分类器对相应SVM训练时的参数设置如下：SVM选择RBF核型核函数，惩罚因子C设置为6，分类的类别数nr_class为2，label标签为0或1。

行人检测：

如图3所示的HLS算法行人检测系统框架图，对于多特征融合的HLS模型行人检测，该算法保留了行人检测效果较好的HOG特征，同时针对高空视频及摄像头移动问题融合LBP和SIFT特征，其中LBP纹理特征能够抑制光照不均、消除阴影等优点，SIFT对旋转、尺度缩放和视角变化等保持不变性，并且对其做主成分分析，降低了特征空间的维数计算量降低；另外在融合特征时并不是简单平均加权，而是根据每种特征在实际检测过程中所占比重不同设置了不同的权值。

对于固定单视点摄像头下行人检测，采用室外停车场监控视频，动态背景，需要自适应更新背景。如图2所示，第1-8行依次为原始视频典型帧，LST-KDE算法背景更新图，Elgammal等人非参数核密度估计方法、徐东彬等人自适应核密度估计方法、周恩策等人时间窗自适应核密度估计方法(时间窗口100)、周恩策等人时间窗自适应核密度估计方法(时间窗口300)，王兴宝等人提出LST-KDE算法前景提取结果和最终行人检测结果。由于受光照不均影响，Elgammal等人算法需要一段时间才能将光照变化更新到背景中，导致背景很容易被误检为前景，含有大量噪声，如图2第3行所示；徐东彬等人采用双阈值方式能够过滤掉很多噪声，但由于背景帧中有物体的移入，如图2第4行第739、965和1158帧所示，造成前景误检，准确率大大降低；周恩策等人采用时间窗方法，弥补了徐东彬等人的方法的不足，但需要在不同的环境下设置阈值，当时间窗取100时，更新时间间隔比较短，由于行人速度比较慢而车辆速度比较快导致前景有拖影污染，当时间窗取300时，虽然不会产生行人的拖影现象，但由于更新间隔长，若有新目标移入就可能被误检为前景，如图2第6行第739帧所示，在第965帧时背景才开始慢慢更新，直到第1158帧时，才完全更新背景；本发明利用王兴宝等人提出的LST-KDE算法弥补了前三种基于核密度估计算法行人检测的不足，通过历史帧信息计算当前帧背景和历史帧背景的匹配度，来自适应更新时间域窗口的大小，不会产生拖影和背景被误检为前景现象，如图2第7行所示。再通过前景后处理去除噪声区域，然后将目标做相应分类，则最终行人检测结果如图2第8行所示。

图4、图5、图6的左中右三幅图给出三种场景分别是校园操场、学校教学楼和足球场的行人检测结果，将本发明的HLS算法检测结果和Dalal等人和Wang等人的方法进行了对比，比较摄像头移动下的行人检测结果。实例中HLS模型特征融合的权重a，β，γ最终分别取0.7，0.1，0.2时，漏检率和误检率最低。Dalal等人的算法使用了单一的HOG特征，检测结果不太理想，其漏检率与误检率都比较高如图4所示。Wang等人的算法使用了HOG与LBP的联合特征，虽然检测结果比Dalal等人的方法有所提高，但是对于高空图片的检测结果也不好，有漏检和误检的情况，而且在联合时候只是简单的融合，效果不佳如图5所示。而本发明使用了融合HOG、LBP和SIFT特征，并且对其不同特征赋予不同权值，使得检测结果较好如图6所示。图7给出了HLS算法在摄像头移动情况下的行人检测，从图7中可以看出摄像头在拍摄过程中是不停移动的，第44（左）、167（中）和338（右）帧分别处于不同的背景下，在这种情况下，使用背景差分法行人检测方法就会失效，而采用HLS算法能够较好的检测出行人，不受摄像头移动和拍摄角度的影响。

基于CA显著区域检测的行人分割：

实验相关参数设置，c取3，K取64，实际实验中把图像大小归一化到长或宽最大250像素，然后取7×7像素块，为模板以50%的重叠在图像内移动，结合多种尺度

R＝{100%，80%，50%，30%}，最终获得图像的初始显著值矩阵。如图8所示，第一行图片是利用第多特征融合的HSL模型的行人检测方法从不同背景下获得的行人图像；第二行是利用上下文感知的CA显著区域检测算法得到的灰度图，从图中可以看出有很多的亮点，显然这些亮点就目标前景点，而背景区域的部分都是比较暗的；第三行是根据显著区域检测的结果再二值化灰度图分割出目标前景；第四行是Oreifej等人所用分割算法得到的结果，可以看出由于传统的分割算法只考虑图像的颜色和纹理等细节特征，而高空图像细节很模糊，基本上和背景区域很接近，导致分割出的结果很差，人体很多区域被遮挡住，影响后续的匹配精确度，第五行本发明所用基于显著性的分割方法结果，而本发明采用上下文感知的CA显著区域分割算法，根据人的意识将一幅图像中吸引人眼球的地方标记出来，克服了只依赖形状、清晰度和外观等传统分割算法的缺点，最终能够较好的分割出目标。

行人识别：

图9是将本发明提出的算法(KS-WRM)和Oreifej等人提出的WRM方法的整个识别过程进行了对比，共分为三组，分别是草地、足球场和广场不同环境，每一组的第一行是KS-WRM算法的结果，第二行是Oreifej等人的WRM算法结果，红色1标识正确，蓝色2标识错误，每一组的第一行是本发明提出的KS-WRM算法识别的结果，第二行是Oreifej等人提出WRM方法识别结果。图中的第一列表示投票人集合选择4个人，第二列是Kalman滤波所标记的候选区域，第三列是候选人集合，通过匹配算法计算出最终的得票率，标记出票数最多的为候选人，红色代表识别正确结果，蓝色代表识别错误结果，第四列是最终识别的结果，第五列是将识别结果放大后的效果。从图中可以看出Oreifej等人所使用传统的分割算法，分割效果很差，导致后面的识别的准确率很低，很多候选人所获得的票数很相近，区分度小，并且第一组和第二组所识别出的行人是错误的，用蓝色方框标记出，而本发明采用显著区域检测分割算法，根据人的意识来分割目标，这样所得到的分割效果较好，提高了后期识别的准确率；另外Oreifej等人所选择的候选人是在监督环境下固定选择六个人，很多时候候选人不用这么多，候选人越多就会导致后期的计算量大，本发明采用Kalman滤波算法先标记出候选区域，然后再选择候选人，这样所标记区域的候选人个数会减少，而且会根据视频内容进行候选人个数的自动调整，有效降低计算量，提高了行人识别的实时性。

通过上述实验结果，可以看出本发明的算法采用了1）卡尔曼滤波进行候选区域的确定；2）对摄像头固定与否，采用不同的行人检测策略；3）提出多特征融合的HLS模型的行人检测方法；4）基于上下文感知的CA显著区域检测的行人分割技术，实现了高空视频通常具有的特征是分辨率低、拍摄时摄像机移动、图片中目标较小、细节比较模糊、背景复杂、人流较大的场合的行人的精确识别。

Claims (7)

1.一种改进的加权区域匹配高空视频行人识别方法，其特征在于，包括以下步骤：

（1）读取视频序列中的每一帧，利用卡尔曼滤波算法标记出候选区域，并从人工标记的投票人库中选择投票人；

（2）对步骤（1）中标记出的候选区域进行行人检测，标记出候选人；

（3）从标记出的候选人中分割出行人目标，并使用校正算法对行人目标做相应的校正，从而得到候选人集合；

（4）对候选人集合中的行人目标的区域进行赋权值，衡量投票人和候选人的匹配度，计算出每个候选人所对应的投票人的全概率P(c_j)，再次从计算出来的全概率中选择候选人全概率值最大的行人P_obj＝max{P(c_j)}，并且与阈值T_obj相比较，若P_obj≥T_obj，则说明找到该目标行人，反之则说明该目标消失。

2.根据权利要求1所述的改进的加权区域匹配高空视频行人识别方法，其特征在于，所述步骤（2）具体为：根据实际检测场景摄像头是否移动，对于固定摄像头采用局部域时空模型的LST-KDE行人检测算法对步骤（1）中标记出的候选区域进行行人检测并标记出候选人；对于移动摄像头采用多特征融合的HLS模型行人检测算法对步骤（1）中标记出的候选区域进行行人检测并标记出候选人。

3.根据权利要求2所述的改进的加权区域匹配高空视频行人识别方法，其特征在于，所述步骤（3）具体为：使用上下文感知的CA显著区域检测算法分割出行人目标，并且使用头肩模型和动态外观模型校正算法对行人做相应的校正，从而得到候选人集合。

4.根据权利要求1所述的改进的加权区域匹配高空视频行人识别方法，其特征在于，所述步骤（1）具体为：

（1）预测模型相关参数设置，预测模型参数设置主要包括目标状态向量x_k、测量向量z_k、状态转移矩阵F和测量矩阵H；

（2）候选区域特征匹配和标记，用

和

分别表示第k帧时，目标区域i的质心横纵坐标以及面积，用

和分别表示第k+1帧时目标区域j的质心横纵坐标以及面积，则可以得到质心匹配度D(i，j)和面积匹配度A(i，j)，最后通过最小代价函数C(i，j)，选择出目标区域即为所要找的目标候选人区域，并用矩形框标记出，C(i，j)＝ηD(i，j)+λA(i，j)，其中η+λ＝1。

5.根据权利要求4所述的改进的加权区域匹配高空视频行人识别方法，其特征在于，η＝0.3，λ=0.7。

6.根据权利要求2所述的改进的加权区域匹配高空视频行人识别方法，其特征在于，所述多特征融合的HLS模型行人检测算法具体包括以下步骤：

（1）选择行人样本训练库，要求选择一定数量的正负样本；

（2）针对训练中的视频中的每一帧，设定不同大小的cell和block，分别提取局部HOG、LBP和SIFT特征，并且使用主成分分析降维，对三种特征分别赋予不同的权值，然后均衡化；

（3）使用SVM分类器训练学习，将正样本和负样本形成的向量特征代入SVM分类器中，然后不断迭代直到完成SVM指定目标结果为止；

（4）从视频序列中输入一幅图片并对图片做简单预处理，确定检测窗口的大小和滑动步幅N_s，然后对整幅图片使用滑动窗口机制按照N_s扫描；

（5）针对每个检测窗口同样采用Step2方法，提取三种特征且融合；

（6）对所检测图片按照一定尺度进行缩放，计算出金字塔的层数S_n，使用训练好的SVM分类器做出是否为行人的判断，并将初步所有的检测结果存入列表；

（7）根据在不同尺度空间下所检测的结果列表(x，y，scale)，反复计算平均偏移向量直到聚合到某个指定的模式，最后依据此模式中心点位置以及尺度用矩形框标记出行人目标；

（8）返回步骤（4），直到视频全部处理完为止。

7.根据权利要求3所述的改进的加权区域匹配高空视频行人识别方法，其特征在于，所述头肩模型和动态外观模型校正算法具体步骤为：

（1）构造出一个简单的由8个点所组成的HST模型；

（2）选择姿态端正符合标准的图片构成数据集，使用AAM算法训练，得到一个标准的HST模型，用矩阵M_norm表示；

（3）将分割后的图片加载到AAM模型中，采用AAM中值模型，这时可以获得实际图片中具有倾斜角度的HST模型，用矩阵M_real表示；

（4）根据实际获得矩阵M_real与标准矩阵M_norm之间的关系，构造一个仿射变换函数f(β)，求出旋转角度β，最后将整个图片旋转β度，获得最终校正后的图像。

Images