CN103646250B - 基于距离图像头肩特征的行人监测方法及装置 - Google Patents

Abstract

本发明提供了一种基于距离图像头肩特征的行人监测方法及装置，该方法通过采集距离图像，计算得出高度图像，采用高度阈值滤除背景，经头肩高度特征模板匹配，彩色图像纹理特征模板匹配，获得行人检测结果，通过行人跟踪及轨迹分析，进行客流参数提取及事件判别。采用该算法进行行人检测的装置包括一体化探头（同时采集距离图像及彩色图像并进行同步校正和视频图像处理及中央控制单元以及高速缓存模块、存储模块、加密芯片、网络传送模块、USB接口和电源模块。

Description

基于距离图像头肩特征的行人监测方法及装置

技术领域

本发明属智能检测领域，尤其涉及一种基于距离图像及彩色图像处理的行人监测的算法和装置。

背景技术

行人检测技术在客流统计、入侵检测、安防等领域都有着广泛的应用，可广泛应用于地铁、车站、博物馆、广场、商场、公园等重要场所及人流密集区域，能够实现对行人的实时检测、个体特征及群体特征与参数的提取等功能，可为基于行人检测的数据采集、异常信息提取、客流统计与预警、商业分析等系统提供了数据获取手段，本发明革新了传统视频监控仅仅进行录像存储的现状，是对监控手段的智能化升级，也是智慧城市的重要体现所在。

国内外很多大学和科研机构也均对行人检测进行过研究，并取得了一定的研究成果。从目前主要的检测方法来看，有压力传感器、红外对射装置检测方法、无线电波监测的方法、基于激光扫描的方法及基于视频图像分析的方法等。由于视频图像包含的信息比较丰富，可以全面获取客流的数量和稠密程度、人员分布位置、客流群体流向、客流所处的区域环境等重要的信息，使得基于视频图像分析的方法成为国内外研究的热点。并且，随着越来越多监控摄像头尤其是高清监控摄像头的普及，基于视频图像分析的行人检测方法将会得到更加广泛的应用和推广。但基于视频分析的行人监测系统也容易受到光照变换、阴影、外界环境等因素的干扰，在一些实际应用中，尤其是环境复杂或高密度人流情况下，往往检测精度不是很高。而，基于激光扫描的方法抗干扰能力较强且检测精度较高，但激光扫描检测手段仅仅能实现断面行人的检测，不适应开放空间的区域检测，无法实现对客流状态及分布信息的获取，且设备价格较高，应用场景收到较大的限制，不便于普遍推广。

发明内容

为了克服上述缺陷，本发明的目的是提供一种基于距离图像处理的行人监测算法和装置，可以克服单纯视频方法易受外界干扰，而激光方法信息量少的不足，实现包括晚上等各种环境下的准确行人检测与跟踪，可满足复杂环境下及客流密集区域的行人监测及统计。

为达到上述目的，本发明的技术解决方案是：

一种基于距离图像头肩特征的行人监测方法，其特征是步骤包括：

1）进行距离图像采集，获取某一监控区域的距离图像，并根据距离图像采集设备的架设高度和倾斜角度，将距离图像转换成高度图像；

2）通过设定高度阈值滤除背景；（与高度阈值相比较，低于该阈值的图像区域即作为背景图像区域，而被滤除，高于该阈值的图像区域作为前景区域，进行进一步检测。）

3）对滤除背景后的前景区域，通过均值漂移确定待检测目标区域，按照各检测目标区域相应位置在距离图像中逐个截取待检测距离图像目标样本，分别计算距离图像头肩特征，并通过加载距离图像头肩特征分类器进行分类判别，判断各目标样本是否为行人：

如果判别为否，直接滤除该目标样本；

如果判别为是，然后进入步骤4）；

4）对判断为是的目标样本对应的彩色图像，计算其彩色图像头肩特征，并通过加载彩色图像头肩特征分类器进行分类判别，进一步判断是否为行人；

如果判别为否，直接滤除；

如果判别为是，确认为行人检测结果（检测结果以矩形目标检测框表示，包括其在在图像中的位置和大小）；然后进入步骤5）；

5）对结合距离图像和彩色图像的判断得到所确认的行人检测结果，以单个行人为目标，进行多目标跟踪，得到各目标的行动轨迹，并对各目标的行动轨迹进行分析，确定目标出现的位置、时间及速度，进而进行客流计数，并提取客流整体及个体速度、密度参数，根据预先设定的异常事件参数预警值，判别是否有异常事件发生。上述方法中，高度阈值一般设置为0.9米，若不考虑儿童因素，可将阈值设置为1.2-1.4米。

上述方法中，根据距离图像采集设备倾斜角度，预先建立一系列的距离图像头肩样本，训练生成距离图像头肩特征分类器；根据所架设的距离图像采集设备的倾斜角度，加载对应的距离图像头肩特征分类器。（见图6）

上述方法中，对滤除背景后的前景区域，通过均值漂移方法确定前景区域中的峰值区域位置，即为人头位置。该峰值区域位置像素大小范围可预先设定。然后对峰值区域位置扩展后作为待检测目标区域，在距离图像中按照待检测目标区域截取待检测样本，计算距离图像头肩特征。

上述方法中，通过目标跟踪轨迹分析进行客流计数时，设置计数线及在计数线一侧设置计数区域，当目标跟踪轨迹首次与计数线相交时，计一人次，根据轨迹跨越计数线的方向，判断该人次运动方向。对于部分不完整轨迹，采用计数区域进行计数。当该轨迹不与计数线相交，并出现在计数区域内时，计一人次，并根据轨迹整体方向判断该人次运动方向。见图5。

上述方法中，行人跟踪的具体步骤为：将每一帧的检测结果（检测结果以矩形目标检测框表示，包括其在在图像中的位置和大小）压入多目标跟踪缓存队列，并从多目标跟踪缓存队列读取前帧检测跟踪及预测结果，通过目标比对，计算距离隶属度矩阵，并根据各目标轨迹的可能情况（共5种情况，一个轨迹的开始，结束，延续，误检，漏检），生成临时假设矩阵，通过假设最优算法，进行轨迹修剪和更新，并输出当前确定结果，连同下一帧预测结果一同存入多目标跟踪缓存队列。下一帧重复前一帧的操作步骤。

一种采用上述方法的基于距离图像头肩特征的行人监测装置，包括一体化探头和视频图像处理及中央控制单元以及高速缓存模块、存储模块、加密芯片、网络传送模块、USB接口和电源模块。视频图像处理及中央控制单元与一体化探头、高速缓存模块、存储模块、加密芯片、网络传送模块、USB接口直接电连接，电源模块与其它各模块电连接。视频图像处理及中央控制单元控制各模块协同工作。

所述的装置中，一体化探头包括一个红外激光二极管、一个红外CMOS、一个彩色CCD（该彩色CCD可用彩色CMOS代替）和距离图像采集及控制单元、彩色图像采集及控制单元以及图像同步校正模块。该一体化探头中的红外激光二极管、红外CMOS和彩色CCD（或彩色CMOS）与距离图像采集及控制单元直接电连接。距离图像采集及控制单元控制激光二极管的发光时间及频率。距离图像采集及控制单元控制与红外CMOS通过控制线和数据线相连，距离图像采集及控制单元通过控制线向红外CMOS发送控制信号，确定其采样帧率及分辨率。红外CMOS获取到的阵列数据逐帧通过数据线传送到视频图像采集及控制单元，并经距离图像采集及控制单元进行预处理及编码，逐帧转换成距离图像。

彩色图像采集及控制单元控制与彩色CCD（或彩色CMOS）通过控制线和数据线相连，彩色图像采集及控制单元通过控制线向彩色CCD（或彩色CMOS）发送控制信号，确定其采样帧率及分辨率。彩色CCD（或彩色CMOS）获取到的二维阵列数据逐帧通过数据线传送到视频图像采集及控制单元，并经视频图像采集及控制单元进行预处理及编码，逐帧转换成普通RGB彩色图像序列。

距离图像采集及控制单元和彩色图像采集及控制单元与图像同步校正模块连接。距离图像采集及控制单元将距离图像逐帧传送到图像同步校正模块，彩色图像采集及控制单元将彩色图像逐帧传送到图像同步校正模块，图像同步校正模块将接收到的距离图像和彩色图像进行时间和空间同步校准后，逐帧发送至视频图像处理及中央控制单元。

所述的装置中，视频图像处理及中央控制单元逐帧接收一体化探头通过图像同步校正模块发送过来的距离图像和彩色图像，按照前述算法进行实时处理，获取行人检测跟踪结果，及客流计数、客流参数及异常事件判别预警结果信息，并将这些结果及距离图像和彩色图像通过网络传送模块发送至远端服务器或远程监控终端。

所述的装置中，视频图像处理及中央控制单元与存储模块、高速缓存模块直接电连接，将客流监控结果及距离图像和彩色图像以视频形式编码后存储到存储模块中，并从存储模块读取系统设置参数及距离图像头肩特征分类器和彩色图像头肩特征分类器，加载到高速缓存模块。

所述的装置中，加密芯片与视频图像处理及中央控制单元连接，作用是对视频图像处理及中央控制单元进行加密保护。

所述的装置，其工作流程为：

步骤a.视频图像处理及中央控制单元控制一体化探头启动。距离图像采集及控制单元控制开启激光二极管，控制红外CMOS工作，接收红外CMOS发送的二维阵列数据，经预处理及编码，转换成距离图像，并发送至图像同步校正模块；同时彩色图像采集及控制单元控制彩色CCD(或CMOS)工作，接收彩色CCD(或CMOS)发送的二维阵列数据，转换为RGB彩色图像，并发送至图像同步校正模块。图像同步校正模块接收距离图像和RGB彩色图像，行时间和空间同步校准后，发送至视频图像处理及中央控制单元。

步骤b.视频图像处理及中央控制单元接收一体化探头通过图像同步校正模块发送过来的距离图像和彩色图像，并从存储模块读取系统设置参数及距离图像头肩特征分类器和彩色图像头肩特征分类器，加载到高速缓存模块,并按照前述算法进行实时处理，获取行人检测结果，存入多目标跟踪缓存队列。

步骤c.从多目标跟踪缓存队列，读取前帧检测跟踪及预测结果，根据前述算法，通过比对及假设最优，进行轨迹修剪和更新，同时将下一帧预测结果存入多目标跟踪缓存队列。

步骤d.各检测目标跟踪轨迹进行分析，确定其出现位置，时间及速度等，进而进行客流计数，并提取客流整体及个体速度，密度等参数，根据预先设定的异常事件参数预警值，判别是否有异常事件发生，并将这些结果及距离图像和彩色图像通过网络传送模块发送至远端服务器或远程监控终端。

步骤e.重复步骤a。

与现有技术相比，本发明可实现行人的高精度检测，能适应开放或封闭区域条件的个体行人特征及群体特征的提取，应用范围广泛，且设备成本较低，有利于提高客流管理服务及安全保障水平。

附图说明：

图1为基于距离图像头肩特征的行人监测方法流程图；

图2为基于距离图像头肩特征的行人检测方法示意图；

图3为行人跟踪方法流程图；

图4为基于距离图像头肩特征的行人监测装置结构原理示意图；

图5为监控界面目标检测框、跟踪轨迹、计数线和计数区域术语含义示意图；

图6a～图6b为所建立的距离图像头肩样本库和彩色图像头肩样本库示例图；

其中，图6a是垂直拍摄时距离图像头肩样本示例图，图6b是倾斜拍摄时距离图像头肩样本示例图，图6c是彩色图像头肩样本示例图；

由于本技术方案涉及对彩色图像进行处理，所以，附图中采用彩色图片。

具体实施方式：

一种基于距离图像头肩特征的行人监测方法，步骤包括：

1）在监控区域内进行彩色图像采集和距离图像采集：

获取的彩色图像用于步骤4）的处理；

获取的距离图像，并根据距离图像采集设备的架设高度和倾斜角度，将距离图像转换成高度图像；

2）对于高度图像，通过设定的高度阈值滤除背景：

把高度图像中的图像与高度阈值相比较，低于该阈值的图像区域即作为背景图像区域被滤除，高于该阈值的图像区域作为前景区域；

3）对滤除背景后的前景区域，先通过均值漂移法确定前景区域中的峰值区域位置即为人头位置，该峰值区域位置像素大小范围是预先设定；然后对峰值区域位置扩展后作为待检测目标区域；

按照各待检测目标区域相应位置，在距离图像中逐个截取待检测目标区域对应的距离图像目标样本，分别计算相应目标样本的距离图像头肩特征，来判断各目标样本是否为行人：

如果判别为否，则直接滤除该目标样本；如果判别为是，然后进入步骤4）；

4）在彩色图像中，对判断为是的目标样本位置对应的彩色图像，计算该彩色图像的彩色图像头肩特征，再一次判断目标样本是否为行人：

如果判别为否，直接滤除该目标样本；如果判别为是，确认该目标样本为行人检测结果，然后进入步骤5）；

5）对行人检测结果，以单个行人为目标进行多目标跟踪，得到各目标的行动轨迹，从而确定目标出现的位置、时间及速度，进而进行客流计数，并提取客流整体及个体的速度、密度参数，这些参数与预先设定的异常事件参数预警值相比较，从而判别是否有异常事件发生；

所述步骤2）中，高度阈值设置为0.9米，或设置为1.2米～1.4米。

所述步骤3）中：

A、均值漂移法是，

首先，将前一步骤滤除背景后的前景区域作为目标区域，分块用矩形框进行标定；

然后，采用统计迭代算法，使目标区域中的每一个点漂移到密度函数的局部极大值点：

计算目标区域中每个特征值的概率密度，均值漂移序列向着概率密度值升高的方向移动；通过反复迭代，搜索特征空间中样本点最密集的区域，搜索点沿着样本点密度增加的方向漂移到局部密度极大点即峰值，继而确定了待检测目标。

B、判断各目标样本是否为行人是通过加载距离图像头肩特征分类器进行分类判别的；根据距离图像采集设备倾斜角度，预先建立一系列的距离图像头肩样本，训练生成距离图像头肩特征分类器；加载对应的距离图像头肩特征分类器，将目标样本的距离图像头肩特征与该分类器中的距离图像头肩特征进行比对，依照符合度来判别。

所述步骤4）中，判断目标样本是否为行人是通过加载彩色图像头肩特征分类器进行分类判别的；通过采集行人彩色图像头肩样本，建立样本库，计算彩色图像头肩特征，训练生成彩色图像头肩特征分类器；加载对应的彩色图像头肩特征分类器，将目标样本的彩色图像头肩特征与该分类器中的彩色图像头肩特征进行比对，依照符合度来判别。

所述步骤4）中，被确认为行人检测结果是以矩形目标检测框表示；行人检测结果包括矩形目标检测框在图像中的位置和大小。

所述步骤5）中，通过目标跟踪轨迹分析进行客流计数时，设置计数线及在计数线一侧设置计数区域，当目标跟踪轨迹首次与计数线相交时，计一人次，根据轨迹跨越计数线的方向，判断该人次运动方向；

对于部分不完整轨迹，采用计数区域进行计数；

当该轨迹不与计数线相交，并出现在计数区域内时，计一人次，并根据轨迹整体方向判断该人次运动方向。

所述步骤5）中，行人跟踪的具体步骤为：将每一帧的检测结果压入多目标跟踪缓存队列，并从多目标跟踪缓存队列读取前一帧检测结果及预测结果；通过目标比对，计算距离隶属度矩阵，并根据各目标轨迹的可能情况，生成临时假设矩阵；通过假设最优算法，进行轨迹修剪和更新，并输出当前确定结果，连同下一帧的预测结果一同存入多目标跟踪缓存队列；

下一帧重复前一帧的操作步骤；

所述可能情况分别是，一个轨迹的开始、结束、延续、误检或漏检。

一种上述方法的基于距离图像头肩特征的行人监测装置，包括一体化探头、视频图像处理及中央控制单元、高速缓存模块、存储模块、接口模块和电源模块；电源模块与其它各模块电连接；

所述一体化探头包括红外激光二极管、红外CMOS、彩色CCD/彩色CMOS、距离图像采集及控制单元、彩色图像采集及控制单元和图像同步校正模块；

距离图像采集及控制单元控制激光二极管的发光时间及频率；距离图像采集及控制单元向红外CMOS发送控制信号，确定其采样帧率及分辨率；红外CMOS获取到的阵列数据逐帧经距离图像采集及控制单元进行预处理及编码，逐帧转换成距离图像；

彩色图像采集及控制单元向彩色CCD/彩色CMOS发送控制信号，确定其采样帧率及分辨率；彩色CCD/彩色CMOS获取到的二维阵列数据逐帧经视频图像采集及控制单元进行预处理及编码，逐帧转换成普通RGB彩色图像；

距离图像采集及控制单元将距离图像逐帧传送到图像同步校正模块，彩色图像采集及控制单元将彩色图像逐帧传送到图像同步校正模块；图像同步校正模块将接收到的距离图像和彩色图像进行时间和空间同步校准后，逐帧发送至视频图像处理及中央控制单元；

视频图像处理及中央控制单元逐帧接收一体化探头通过图像同步校正模块发送过来的距离图像和彩色图像，按照所述基于距离图像头肩特征的行人监测方法进行实时处理，获取行人检测跟踪结果、客流计数、客流参数及异常事件判别预警结果信息，得到客流监控结果；视频图像处理及中央控制单元将客流监控结果及距离图像和彩色图像以视频形式编码后存储到存储模块中，并从存储模块读取系统设置参数及距离图像头肩特征分类器和彩色图像头肩特征分类器，把系统设置参数、距离图像头肩特征分类器和彩色图像头肩特征分类器加载到高速缓存模块；

视频图像处理及中央控制单元将这些客流监控结果及距离图像和彩色图像通过接口模块发送至远端服务器或远程监控终端。

本行人监测装置工作流程为：

步骤a.视频图像处理及中央控制单元控制一体化探头启动；

距离图像采集及控制单元控制开启红外激光二极管，同时控制红外CMOS工作，并接收红外CMOS发送的二维阵列数据，把这些二维阵列数据经预处理及编码，转换成距离图像数据，再发送至图像同步校正模块；

同时，彩色图像采集及控制单元控制彩色CCD彩色/CMOS工作，并接收彩色CCD/彩色CMOS发送的二维阵列数据，把这些转换为RGB彩色图像数据，并发送至图像同步校正模块；

图像同步校正模块接收距离图像数据和RGB彩色图像数据，进行时间和空间同步校准后，发送至视频图像处理及中央控制单元；

步骤b.视频图像处理及中央控制单元接收一体化探头发送过来的距离图像数据和RGB彩色图像数据，并从存储模块读取系统设置参数、头肩高度特征模板和头肩纹理特征模板数据；所述距离图像数据、RGB彩色图像数据、系统设置参数、距离图像头肩特征分类器和彩色图像头肩特征分类器都加载到高速缓存模块，并按照所述基于距离图像头肩特征的行人监测方法进行实时处理，获取行人检测结果，存入多目标跟踪缓存队列；

步骤c.从多目标跟踪缓存队列，读取前帧检测跟踪及预测结果，根据所述基于距离图像头肩特征的行人监测方法，通过比对及假设最优，进行轨迹修剪和更新，同时将下一帧预测结果存入多目标跟踪缓存队列；

步骤d.各检测目标跟踪轨迹进行分析，确定其出现位置、时间及速度，进而进行客流计数，并提取客流整体及个体速度、密度参数，根据预先设定的异常事件参数预警值，判别是否有异常事件发生，并将这些结果及距离图像和彩色图像通过接口模块发送至远端服务器或远程监控终端；

步骤e.返回步骤a。

所述接口模块包括网络传送模块和USB接口模块，它们都与视频图像处理及中央控制单元进行数据交换。

还包括加密芯片；所述加密芯片与视频图像处理及中央控制单元连接，作用是对视频图像处理及中央控制单元进行加密保护。

下面结合附图与具体实施方式对本技术方案进一步说明如下：

“距离图像”是指场景中各点相对于摄象机的距离所组成的二维矩阵，即距离图像中的每一个像素值表示场景中某一点与摄像机之间的距离。高度图像是指将距离图像中每个像素值经校准转换成离地面的实际高度值。

如图1所示，描述了基于距离图像头肩特征的行人（客流）监控方法流程。首先进行距离图像采集，获取某一监控区域的距离图像，并根据距离图像采集设备架设高度及倾斜角度，将距离图像转换成实际高度图像，然后通过设定高度阈值滤除背景。对滤除背景后的前景区域，通过均值漂移确定待检测目标区域，按照各检测目标区域相应位置在距离图像中逐个截取待检测距离图像目标样本，分别计算距离图像头肩特征，并通过加载距离图像头肩特征分类器进行分类判别，判断各目标样本是否为行人。如果判别为否，直接滤除该目标样本。对判断为是的目标样本对应的彩色图像，计算其彩色图像头肩特征，并通过加载彩色图像头肩特征分类器进行分类判别，进一步判断是否为行人。如果判别为否，直接滤除；如果判别为是，确认为行人检测结果（检测结果以矩形目标检测框表示，包括其在在图像中的位置和大小）。然后对结合距离图像和彩色图像的判断得到所确认的行人检测结果，以单个行人为目标，进行多目标跟踪，得到各目标的行动轨迹，并对各目标的行动轨迹进行分析，确定目标出现的位置、时间及速度，进而进行客流计数，并提取客流整体及个体速度、密度参数，根据预先设定的异常事件参数预警值，判别是否有异常事件发生。

如图2所示，为基于距离图像头肩特征的行人检测方法示意图。在分类器设计阶段，通过采集行人距离图像头肩样本，建立样本库，计算距离图像头肩特征，训练生成距离图像头肩特征分类器。通过采集行人彩色图像头肩样本，建立样本库，计算彩色图像头肩特征，训练生成彩色图像头肩特征分类器。检测过程以图示形式表示，步骤为1、采集距离图像，2、根据采集设备架设高度及倾斜角度计算实际高度图像，3、然后通过设定高度阈值滤除背景，图中黑色区域即为滤除的背景区域，4、通过均值漂移确定待待检测目标区域，如图中红框所示，5、按照各检测目标区域相应位置在距离图像中逐个截取待检测距离图像目标样本（红框所示），分别计算距离图像头肩特征，并通过加载距离图像头肩特征分类器进行分类判别，6、对于判别为是的目标样本，选取其区域对应的彩色图像，计算其彩色图像头肩特征，并通过加载彩色图像头肩特征分类器进行分类判别，进一步判断是否为行人。

如图3所示，描述了基于距离图像头肩特征的行人检测跟踪算法。将每一帧的检测结果压入多目标跟踪缓存队列，并从多目标跟踪缓存队列读取前帧检测跟踪及预测结果，通过目标比对，计算距离隶属度矩阵，并根据各目标轨迹的可能情况（共5种情况，一个轨迹的开始，结束，延续，误检，漏检），生成临时假设矩阵，通过假设最优算法，进行轨迹修剪和更新，并输出当前确定结果，连同下一帧预测结果一同存入多目标跟踪缓存队列。下一帧重复前一帧的操作步骤。

如图4所示，描述了基于距离图像头肩特征的行人监测装置结构。该装置包括一体化探头、视频图像处理及中央控制单元以及存储模块、网络传送模块和电源模块。电源模块与其它各模块电连接。一体化探头包括一个红外激光二极管、一个红外CMOS、一个彩色CCD（该彩色CCD可用彩色CMOS代替）和距离图像采集及控制单元、彩色图像采集及控制单元以及图像同步校正模块。

距离图像采集及控制单元控制激光二极管的发射红外激光，并控制其工作时间及频率。红外CMOS获取到的阵列数据通过连接线传送到距离图像采集及控制单元控制，并经视频图像采集及控制单元进行预处理及编码，转换成距离图像序列，并传送到图像同步校正模块。彩色CCD（或彩色CMOS）获取到的二维阵列数据通过连接线传送到彩色图像采集及控制单元，并经视频图像采集及控制单元进行预处理及编码，转换成普通RGB彩色图像序列，并传送到图像同步校正模块。图像同步校正模块将接收到的距离图像和彩色图像进行时间和空间同步校准后，逐帧发送至视频图像处理及中央控制单元。视频图像处理及中央控制单元，并从存储模块读取系统设置参数及距离图像头肩特征分类器和彩色图像头肩特征分类器，加载到高速缓存模块，按照前述算法逐帧处理距离图像和彩色图像，获取行人检测跟踪结果，及客流计数、客流参数及异常事件判别预警结果信息，并将这些结果及距离图像和彩色图像通过网络传送模块发送至远端服务器或远程监控终端，同时存储到存储模块中。

电源模块根据其它各模块需要提供多路电源供电。

如图5所示，每个行人目标处的红色矩形框为检测框，红线为跟踪轨迹线。图中蓝线为所设置的计数线，黄色区域为所设置的计数区域。计数线可以为直线，也可根据需要设置为任意曲线。

如图6所示，图6a为垂直拍摄时距离图像头肩样本示例,图6b为倾斜拍摄时距离图像头肩样本示例，图6c为彩色图像头肩样本示例。由于距离图像采集模块倾斜角度的不同所获取的原始图像中行人头肩特征差异较大，需根据倾斜角度设置多组样本。

Claims (8)

1. 一种基于距离图像头肩特征的行人监测方法，其特征是步骤包括：

1）在监控区域内进行彩色图像采集和距离图像采集：

获取的彩色图像用于步骤4）的处理；

获取的距离图像，并根据距离图像采集设备的架设高度和倾斜角度，将距离图像转换成高度图像；

2）对于高度图像，通过设定的高度阈值滤除背景：

把高度图像中的图像与高度阈值相比较，低于该阈值的图像区域即作为背景图像区域被滤除，高于该阈值的图像区域作为前景区域；

3）对滤除背景后的前景区域，先通过均值漂移法确定前景区域中的峰值区域位置即为人头位置，该峰值区域位置像素大小范围是预先设定；然后对峰值区域位置扩展后作为待检测目标区域；

按照各待检测目标区域相应位置，在距离图像中逐个截取待检测目标区域对应的距离图像目标样本，分别计算相应目标样本的距离图像头肩特征，来判断各目标样本是否为行人：

如果判别为否，则直接滤除该目标样本；如果判别为是，然后进入步骤4）；

4）在彩色图像中，对判断为是的目标样本位置对应的彩色图像，计算该彩色图像的彩色图像头肩特征，再一次判断目标样本是否为行人：

如果判别为否，直接滤除该目标样本；如果判别为是，确认该目标样本为行人检测结果，然后进入步骤5）；

5）对行人检测结果，以单个行人为目标进行多目标跟踪，得到各目标的行动轨迹，从而确定目标出现的位置、时间及速度，进而进行客流计数，并提取客流整体及个体的速度、密度参数，这些参数与预先设定的异常事件参数预警值相比较，从而判别是否有异常事件发生；

所述步骤3）中：

A、均值漂移法是，

首先，将前一步骤滤除背景后的前景区域作为目标区域，分块用矩形框进行标定；

然后，采用统计迭代算法，使目标区域中的每一个点漂移到密度函数的局部极大值点：

计算目标区域中每个特征值的概率密度，均值漂移序列向着概率密度值升高的方向移动；通过反复迭代，搜索特征空间中样本点最密集的区域，搜索点沿着样本点密度增加的方向漂移到局部密度极大点即峰值，继而确定了待检测目标；

B、判断各目标样本是否为行人是通过加载距离图像头肩特征分类器进行分类判别的；根据距离图像采集设备倾斜角度，预先建立一系列的距离图像头肩样本，训练生成距离图像头肩特征分类器；加载对应的距离图像头肩特征分类器，将目标样本的距离图像头肩特征与该分类器中的距离图像头肩特征进行比对，依照符合度来判别；

所述步骤4）中，判断目标样本是否为行人是通过加载彩色图像头肩特征分类器进行分类判别的；通过采集行人彩色图像头肩样本，建立样本库，计算彩色图像头肩特征，训练生成彩色图像头肩特征分类器；加载对应的彩色图像头肩特征分类器，将目标样本的彩色图像头肩特征与该分类器中的彩色图像头肩特征进行比对，依照符合度来判别；

所述步骤5）中，行人跟踪的具体步骤为：将每一帧的检测结果压入多目标跟踪缓存队列，并从多目标跟踪缓存队列读取前一帧检测结果及预测结果；通过目标比对，计算距离隶属度矩阵，并根据各目标轨迹的可能情况，生成临时假设矩阵；通过假设最优算法，进行轨迹修剪和更新，并输出当前确定结果，连同下一帧的预测结果一同存入多目标跟踪缓存队列；

下一帧重复前一帧的操作步骤；

所述可能情况分别是，一个轨迹的开始、结束、延续、误检或漏检。

2.根据权利要求1所述的方法，其特征是所述步骤2）中，高度阈值设置为0.9米，或设置为1.2米～1.4米。

3.根据权利要求1所述的方法，其特征是所述步骤4）中，被确认为行人检测结果是以矩形目标检测框表示；行人检测结果包括矩形目标检测框在图像中的位置和大小。

4.根据权利要求1所述的方法，其特征是所述步骤5）中，通过目标跟踪轨迹分析进行客流计数时，设置计数线及在计数线一侧设置计数区域，当目标跟踪轨迹首次与计数线相交时，计一人次，根据轨迹跨越计数线的方向，判断该人次运动方向；

对于部分不完整轨迹，采用计数区域进行计数；

当该轨迹不与计数线相交，并出现在计数区域内时，计一人次，并根据轨迹整体方向判断该人次运动方向。

5.一种采用权利要求1～4任一所述方法的基于距离图像头肩特征的行人监测装置，其特征是包括一体化探头、视频图像处理及中央控制单元、高速缓存模块、存储模块、接口模块和电源模块；电源模块与其它各模块电连接；

所述一体化探头包括红外激光二极管、红外CMOS、彩色CCD/彩色CMOS、距离图像采集及控制单元、彩色图像采集及控制单元和图像同步校正模块；

距离图像采集及控制单元控制激光二极管的发光时间及频率；距离图像采集及控制单元向红外CMOS发送控制信号，确定其采样帧率及分辨率；红外CMOS获取到的阵列数据逐帧经距离图像采集及控制单元进行预处理及编码，逐帧转换成距离图像；

彩色图像采集及控制单元向彩色CCD/彩色CMOS发送控制信号，确定其采样帧率及分辨率；彩色CCD/彩色CMOS获取到的二维阵列数据逐帧经视频图像采集及控制单元进行预处理及编码，逐帧转换成普通RGB彩色图像；

距离图像采集及控制单元将距离图像逐帧传送到图像同步校正模块，彩色图像采集及控制单元将彩色图像逐帧传送到图像同步校正模块；图像同步校正模块将接收到的距离图像和彩色图像进行时间和空间同步校准后，逐帧发送至视频图像处理及中央控制单元；

视频图像处理及中央控制单元逐帧接收一体化探头通过图像同步校正模块发送过来的距离图像和彩色图像，按照所述基于距离图像头肩特征的行人监测方法进行实时处理，获取行人检测跟踪结果、客流计数、客流参数及异常事件判别预警结果信息，得到客流监控结果；视频图像处理及中央控制单元将客流监控结果及距离图像和彩色图像以视频形式编码后存储到存储模块中，并从存储模块读取系统设置参数及距离图像头肩特征分类器和彩色图像头肩特征分类器，把系统设置参数、距离图像头肩特征分类器和彩色图像头肩特征分类器加载到高速缓存模块；

视频图像处理及中央控制单元将这些客流监控结果及距离图像和彩色图像通过接口模块发送至远端服务器或远程监控终端。

6.根据权利要求5所述的行人监测装置，其特征是本行人监测装置工作流程为：

步骤a. 视频图像处理及中央控制单元控制一体化探头启动；

距离图像采集及控制单元控制开启红外激光二极管，同时控制红外CMOS工作，并接收红外CMOS发送的二维阵列数据，把这些二维阵列数据经预处理及编码，转换成距离图像数据，再发送至图像同步校正模块；

同时，彩色图像采集及控制单元控制彩色CCD/彩色CMOS工作，并接收彩色CCD/彩色CMOS发送的二维阵列数据，把这些转换为RGB彩色图像数据，并发送至图像同步校正模块；

图像同步校正模块接收距离图像数据和RGB彩色图像数据，进行时间和空间同步校准后，发送至视频图像处理及中央控制单元；

步骤b. 视频图像处理及中央控制单元接收一体化探头发送过来的距离图像数据和RGB彩色图像数据，并从存储模块读取系统设置参数、头肩高度特征模板和头肩纹理特征模板数据；所述距离图像数据、RGB彩色图像数据、系统设置参数、距离图像头肩特征分类器和彩色图像头肩特征分类器都加载到高速缓存模块，并按照所述基于距离图像头肩特征的行人监测方法进行实时处理，获取行人检测结果，存入多目标跟踪缓存队列；

步骤c. 从多目标跟踪缓存队列，读取前帧检测跟踪及预测结果，根据所述基于距离图像头肩特征的行人监测方法，通过比对及假设最优，进行轨迹修剪和更新，同时将下一帧预测结果存入多目标跟踪缓存队列；

步骤d. 各检测目标跟踪轨迹进行分析，确定其出现位置、时间及速度，进而进行客流计数，并提取客流整体及个体速度、密度参数，根据预先设定的异常事件参数预警值，判别是否有异常事件发生，并将这些结果及距离图像和彩色图像通过接口模块发送至远端服务器或远程监控终端；

步骤e. 返回步骤a。

7.根据权利要求5或6所述的行人监测装置，其特征是所述接口模块包括网络传送模块和USB接口模块，它们都与视频图像处理及中央控制单元进行数据交换。

8.根据权利要求5或6所述的行人监测装置，其特征是还包括加密芯片；所述加密芯片与视频图像处理及中央控制单元连接，作用是对视频图像处理及中央控制单元进行加密保护。