CN104902258A - 一种基于立体视觉的多场景人流量统计方法、系统以及双目相机 - Google Patents

Abstract

本发明公开了一种基于立体视觉的多场景人流量统计方法、系统以及双目相机，其中人流量统计方法基于双目立体视觉，首先将行平行的双目相机拍摄出的双目图像进行校正，得到极线平行的双目图像；接着将校正过的双目图像进行立体匹配得到视差图像；再者在得到的视差图像中检测行人目标；最后根据检测目标的属性特征，对目标进行跟踪计数。而人流量统计系统由双目相机、DSP双目采集和视频处理模块、网络传输模块以及终端数据分析模块配合构成。通过过本发明提供的人流量统计方法和系统，可以准确的统计不同人流进出口场景下的人数并为决策者提供数据支持。

Description

一种基于立体视觉的多场景人流量统计方法、系统以及双目相机

技术领域

本发明涉及图像监控及处理技术，具体而言，涉及一种基于图像处理的人流量统计技术。

背景技术

人流量的统计可广泛应用于是公交、大巴、商场、展馆，建筑通道等需要统计人流量的场所，从而为管理和决策者们提供不可缺少的数据支持。对于公交大巴等场所而言，人流量可以辅助职能部门对其进行优化设置。对于零售业而言，人流量可以与销售量联系到一起，为商业决策者进行商业依据。

目前的人流量统计方法主要分为人工式、机械式、红外式和单目视频几种，这几种人流量统计方法在实际的应用都存在相应的问题：

人工式工作效率低，浪费人力资源；

机械式需要在通道下埋设感应踏板，当人员通过时触动计数器计数，这种方式在人员密集通过时很容易漏计误计；

红外式是利用红外感应器在人员经过时感应人员进行人数统计，而这种方法在人流有遮挡时很难被红外感应器感应到；同时，机械和红外两种方式只能统计单一方向的人数，不能区分进出两个方向；

单目视频的方式主要是通过采集应用场所的人流量视频，进行人体模板扫描，判断方向进行计数，该方式环境适应性差，在移动场所很难应用。

发明内容

针对现有人流量统计方案所存在的问题，本发明的目的如下：

目的1：提供一种基于立体视觉的多场景人流量统计方法，能够高效、准确的统计不同人流进出口场景下的人数。

目的2：提供一种基于立体视觉的多场景人流量统计系统，该系统整体结构简单，能够准确的统计不同人流进出口场景下的人数并为决策者提供数据支持。

目的3：提供一种双目相机，该双目相机能够应用于各种场合同步采集左右图像。

为了达到上述目的，本发明采用如下的技术方案：

针对目的1：一种基于立体视觉的多场景人流量统计方法，该方法包括如下步骤：

(1)同步采集双目图像；

(2)对双目图像进行校正，生成对应极线平行的双目图像对；

(3)将校正过的双目图像进行立体匹配，生成双目图像视差图；

(4)在生成的视差图中对行人目标进行检测；

(5)在视差图像中对行人目标进行跟踪和计数。

优选的，所述步骤(1)中利用水平平行的双目相机采集图像，使得左右图像的对应水平极线尽可能平行，且左右相机同时进行连续采集。

优选的，所述步骤(2)中校正双目图像的过程如下：

21)采用离线标定的方式对双目相机分别进行标定，得到双目相机的标定参数；

22)通过双目摄像机实时采集图像数据，得到原始的双目图像；

23)再基于Bouguet算法，对双目相机采集的原始的双目图像进行校正，得到极线平行的双目图像。

优选的，所述步骤(3)中对双目图像进行立体匹配的过程如下：

31)首先对校正好的的双目图像进行亮度归一化和加强纹理的预处理；

32)基于SAD窗口进行搜索得到对应匹配点，得到相应的初始视差图；

33)匹配过程结束之后，对匹配得到的初始视差图进行再过滤，去除坏的匹配点，输出视差连续的双目图像视差图。

优选的，步骤(4)中进行行人目标检测时，根据步骤(3)确定的双目图像视差图的特性，对视差图采用分层二值化后再进行连通域检测。进一步的，所述检测过程如下：

41)采用分层阈值的二值化方法，进行连通域扫描，首先扫描阈值最大层的连通域，对符合条件的连通域标记为行人目标；

42)然后依次降低阈值进行二值化，并进行连通域扫描，将扫描结果和上一层进行分析比较，保留新目标，更新旧目标，去除伪目标；

43)当所有层都进行过连通域检测或在某一层出现了目标粘连时，停止检测。

优选的，所述步骤(5)中进行行人目标跟踪和计数时，首先，通过对帧与帧之间的目标进行关联实现目标跟踪，再通过目标跟踪，计算出目标在不同帧中的运动轨迹，并分析目标的进出方向进行计数。进一步的，具体跟踪和计数时，采用基于特征的多目标跟踪方法，得到人的运动轨迹，并根据事先规定的计数规则，当运动到某个地方满足计数要求时进行计数，其中特征采用了人的深度，位置和重叠面积；计数规则为双线计数，即同时通过两条线的运动目标才计数。

针对目的2：一种基于立体视觉的多场景人流量统计系统，所述统计系统包括：

双目相机，所述双目相机用于拍摄行人进出口的双目视频图像；

双目采集模块，所述双目采集模块同步采集双目相机拍摄的双目视频图像；

DSP视频处理模块，所述DSP视频处理模块基于上述的多场景人流量统计方法对双目采集模块采集的双目视频图像进行人流量统计；

网络传输模块，所述网络传输模块将双目采集模块采集的双目视频图像以及DSP视频处理模块统计的结果发送至终端数据分析模块；

终端数据分析模块，所述终端数据分析模块基于时间和空间对DSP视频处理模块统计的结果进行分析。

优选的，所述双目相机水平放置，其镜头焦距和镜头间距可根据应用场景对视野大小限制的条件以及场景的安装条件进行选择和调节。

优选的，所述网络传输模块提供的传输模式包含有线和无线，其中有线模式采用网线和路由的传送方式，无线模式则采用GPS模块和车载2G/3G模块进行传输。

优选的，所述DSP视频处理模块上集成有多场景人流量统计算法，并且其上还具有视频输入接口、IO通信接口、串口通信接口。进一步的，所述DSP视频处理模块采用DSP64X系列处理器。

针对目的3：一种双目相机，其包括双目相机本体，所述本体内设置有DSP双目采集模块和视频处理模块，其中的双目采集模块同步采集双目相机拍摄的双目视频图像；DSP视频处理模块基于上述的多场景人流量统计方法对双目采集模块采集的双目视频图像进行人流量统计。

通过过本发明提供的人流量统计方法和系统，可以准确的统计不同人流进出口场景下的人数并为决策者提供数据支持；其中应用场景中典型的场景分为移动场景和固定场景两种，如公交、大巴的进出口属于移动场景，商场、会馆的进出口等属于固定场景下。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明中人流量计数算法流程图；

图2为本发明中双目立体匹配得到的视差图中灰度值和物体距离之间的关系图；

图3为本发明中目标检测的流程图；

图4为本发明中计数规则线的设置方式；

图5为本发明中跟踪模块的流程图；

图6为本发明中计数判定的流程图；

图7为本发明中人流量系统框架图；

图8为本发明中人流量系统原理图；

图9为双目相机安装示意图；

图10为前端计数设备接口示意图；

图11为终端数据分析软件模型。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

参见图1，其所示为本发明提供的双目视觉人流量统计方法的流程图。

本双目视觉的人流量统计方法能够对多场景进行精确人流量统计，其基于双目立体视觉，主要包括以下几步(参见图1)：

步骤1：采集双目视频图像，利用双目相机同步地采集左右图像；

步骤2：双目图像校正，根据相机间的位置关系对行平行的双目相机拍摄出的双目图像进行校正，得到极线平行的双目图像；

步骤3：双目图像立体匹配，采用快速块匹配的方法对校正过的双目图像进行立体匹配，生成双目视差图；

步骤4：视差图像中目标检测，在得到的视差图像中检测行人目标；

步骤5：视差图像中的目标跟踪和计数，根据检测目标的属性特征，对目标进行跟踪计数。

上述方案的具体实现过程如下:

步骤1：双目视频图像采集。

该步骤中，利用水平平行的双目相机采集图像，使得左右图像的对应水平极线尽可能平行，且左右相机必须同时进行连续采集，以保证左右两幅图像的不会因为时间误差造成匹配误差。

步骤2：双目图像校正。

由于双目相机的光轴之间无法保证严格平行，受摆放位置、角度等因素的影响，存在一定的偏差。将双目相机之间的位置关系用一个旋转矩阵R和一个平移矩阵T来表示，通过引入对极几何约束，左右相机采集的图片上的匹配点对之间存在极线约束，即左相机图像上的一点的匹配点，一定在右相机图像上的某个直线上，该直线称为极线。为了降低匹配的时间复杂度，通常要对左右相机采集的图像进行立体校正，即根据两台相机之间的位置关系(R,T)对其中图像进行变换，使左右相机图像的对应极线平行。

据此，整个双目图像校正包含相机标定和图像校正两个部分：

相机标定部分是指通过特定的方法得到左右相机的内参数和相机之间的外参数，其中内参数包括左右相机的主点，左右相机的畸变向量，外参数包括相机之间的旋转矩阵和平移矩阵，具体的可以参照matlab标定工具箱中的标定方法或者张氏标定法；

图像校正，则是利用得到的标定参数对采集得到的双目图相对进行bouguet算法校正，包括图像去畸变，位置调整和裁剪等，得到左右对应极线平行的双目图像。

基于上述原理，整个的双目图像校正的过程如下：

1)采用离线标定的方式对双目相机分别进行标定，得到相机的内参和外参，包括左右相机的主点，左右相机的畸变向量，外参数包括相机之间的旋转矩阵和平移矩阵。

2)通过标定的双目摄像机实时采集图像数据，得到原始的双目图；

3)根据bouguet算法，对原始的双目图像进行校正，使得左右图中的匹配点都在同一行中，即使双目相机图像的极线平行。

步骤3：双目图像立体匹配。

由于之前已经对双目相机进行了立体校正，从而可以直接在对应的平行的极线上搜索点与点之间的匹配关系。本发明中采用实时性高的BM块匹配算法进行双目立体匹配，该算法是一种局部匹配算法，能够快速的计算出左右相机对应图像点之间的视差，从而得到双目相机的视差图。

具体匹配过程如下：

1)在匹配算法执行之前，首先对校正好的的双目图像进行亮度归一化和加强纹理的预处理，具体的处理方法可以选择水平方向的sobel滤波或者正交化滤波。

2)沿着预处理后的图像的水平极线采用SAD窗口进行搜索得到对应匹配点，由此完成匹配过程。

具体的，对预处理后的图像，以左图为基准，沿着图像的水平极线对每个像素点用SAD窗口进行匹配搜索，获取窗口内的像素点在视差d∈[d_min，d_max]范围内的匹配值，其中最小匹配值即为该像素的视差值。这里的SAD匹配算法采用盒滤波方法进行优化，大大提高了算法的效率。其中SAD的匹配公式如下：

$SAD(i,j,d)=\underset{x=-m/2}{\overset{m/2}{\Σ}}\underset{y=-n/2}{\overset{n/2}{\Σ}}|I_L(i+y,j+x)-I_R(i+y,j+x+d)|$

3)匹配过程结束之后，将2)中得到的视差图进行左右一致性检验并再次过滤，去除不良匹配点，得到视差连续的立体视差图。其中左右一致性检验公式为|e(i，j)-e′(i，j)|＜T，e(i，j)为右图相对于左图在像素点(i，j)的视差，e′(i，j)为左图相对于右图在像素点(i，j)的视差值，T为判断阈值。

由此得到的视差图是一幅灰度图；图中的像素值大小反映了相机距离拍摄物体的远近关系，像素值越大拍摄物体距离相机越近，像素值越小，拍摄物体距离相机越远，其特性曲线见图2。

步骤4：视差图像中行人目标检测。

由于视差图的灰度值反映了场景的深度信息，灰度值和目标与相机的距离呈递增或递减的曲线变化关系，因此场景中的人和物很容易由此信息区分开来。

为此，本发明根据步骤3中确定的立体视差图的特性，对视差图采用自适应分层二值化后进行连通域检测的方法，实现在视差图像中行人目标检测。

这里的分层二值化，是指对视差图按照不同的阈值进行二值化预处理，阈值按照从大到小的顺序，每一个阈值对应一层二值化图，这样做的目的在于每一层二值化图中都保留了视差图中像素的最大值，由上可知，背景点的像素值一般都较小，所以分层二值化可以有效的去掉背景干扰，减少连通域检测的时间，提高效率。同时分层二值化可以有效的区分距离较近出现粘连的人。实现时，由大到小设置n个阈值Th_i，i∈1～n，对第i层进行阈值为Th_i的二值化，并在此基础上进行连通域检测，并循环下去。

这里的自适应分层是指对阈值的选择，采用自适应学习的方法，首先设定第一层的阈值，通过检测到的人的身像素值来进一步确定初始设定的阈值，使其更加合理。由此，n层阈值的设定方法为：将根据人体平均身高在视差图中的亮度值设定为第一层的阈值，其余各层依次递减。其中，人体的平均视差值在不同的相机安装条件下会有所不同，因此，该值的设置在每次执行算法时，以经过摄像机的前5个人的平均视差计算。

所述的连通域目标检测是指，对二值化后的图像进行连通域检测，将符合一定面积大小和连通域外接矩长宽比要求的连通域保留为行人目标区域，并记录该目标的大小，位置和深度等属性；将不符合要求的连通域排除。

据此，视差图像中行人目标检测的具体做法：

1)为了减小环境中行人以外的物体对检测结果造成影响，首先在无人通过的场景下建立背景视差图模型，然后利用背景差分法，生成前景图，消除背景干扰。

2)然后，对得到的前景视差图进行分层二值化，在每层阈值化后的二值图中进行连通域检测：首先扫描阈值最大层的连通域，对符合条件(指符合行人目标的连通域面积和连通域外接矩形长宽比)的连通域标记为目标，并记录目标的大小，位置和深度等属性；然后依次降低阈值进行二值化，并进行连通域扫描，将扫描结果和上一层进行分析比较，保留新目标，更新旧目标，去除伪目标；当所有层都进行过连通域检测或在某一层出现了目标粘连时，停止检测。

基于上述检测方案原理，整个目标检测流程为(参见图3)：

(1)取第i＝1层的阈值对视差图进行二值化，并进行连通域检测，检测目标并记录目标属性，包括面积，位置，中心点，区域内最大值和平均值目标。

(2)i加1，重复步骤1)，如果在第i层的连通域检测中发现有目标为Tⁱ，在第i+1层发现目标Tⁱ⁺¹，如果那么认为Tⁱ⁺¹和第i层中的目标Tⁱ是同一目标，更新其属性；如果Tⁱ⁺¹不包含第i层的任何目标，那么认为Tⁱ⁺¹是新检测到的目标，记录其属性；如果那么认为Tⁱ⁺¹包含了第i层中的两个或以上的目标，在第i+1层中出现了行人的粘连，仍然保留第i层的目标属性。

(3)循环执行2)，直到目标出现粘连层或i＝n时结束循环。

步骤5：对检测到的行人目标进行跟踪计数。

这里的目标跟踪，人流量统计，基于人的运动方向和进出行为的判定。某一帧中检测的目标仅具有空间信息并没有时间信息，因此通过对帧序列中的目标进行时空关联，得到目标的运动轨迹，并判定其进出行为计数。

由于前面的步骤方案，可以检测到每帧图像的行人目标，但仍不能确定通过计数仪的人数以及进出方向，因此需要对目标进行跟踪，对通过计数仪的目标进行计数。这里的目标跟踪即实现帧与帧之间目标的关联，通过目标跟踪，得出目标在不同帧中的运动轨迹，进而判断目标的进出方向并计数。

由此，本发明的具体做法：

采用基于特征的多目标跟踪方法，得到人的运动轨迹，并根据事先规定的计数规则，当运动到某个地方满足计数要求时计数。其中特征采用了人的深度，位置和重叠面积；计数规则为双线计数，即同时通过两条线的运动目标才计数，以避免目标在出入口处徘徊导致的多检。

基于上述跟踪计数方案原理，整个跟踪计数流程为如下：

1)设置计数规则。首先对视频中的区域进行划分，通过两条计数线L₁，L₂，将其分为上中下三个区域，分别标记为上中下A₁，A₂，A₃，并定义进出方向，上进下出或者下进上出，如图4，其中，A₁，A₃为预判区域，A₂为跟踪区域。假设进出方向为上出下进，那么目标由L₂经过L₁，认为目标离开场景，目标由L₁经过L₂，认为目标进入场景。

2)定义目标结构体TarP和当前帧的目标链DC，其中TarP包含目标链DP和疑似目标链DM。目标链中的包含目标标记数组index[]，目标初始位置数组initial[]以及目标人物数组person[],其中person中的属性内容包括目标的中心位置，目标的深度，目标间的重叠面积，以及跟踪属性，如跟踪标记、关联标记和计数标记等。

3)确定目标跟踪策略。本发明选择的目标跟踪方法为基于特征的多目标跟踪方法，采用双向关联的目标关联规则，即当DP中的目标A在DC中可以找到唯一最大相似的的目标B，而目标B在DP中也能找到唯一最大相似的目标A时，A目标和B目标记为强关联即跟踪成功。

4)选择目标特征的相似度判定方法。这里的目标特征包括目标的中心位置，目标的深度，目标间的重叠面积。通过这些特征的相似度的线性组合判断目标之间是否相似，相似度计算公式如下，

ρ＝a*θ(Locat)+b*θ(dept)+c*θ(overlap)  (1)

其中，θ(·)表示欧氏距离相似度函数，a，b，c代表线性系数。当ρ大于相似度阈值，则认为相似，否则不相似。

5)确定计数规则并计数。根据跟踪的结果，如果新的目标链判断目标已经达到计数要求，则根据其运动方向对应的进行计数。其中所述的计数要求为目标当前位置在A₁或A₃，且其初始位置不在当前区域，初始位置与当前位置差距大于设定阈值Th_Gate，且目标在整个目标链中出现3帧以上，否则不予计数。这样做的目的在于消除徘徊的干扰(如图6所示)。

6)进行目标跟踪，当A₁，A₃中有新目标出现时，将其加入目标链DP中，记录其初始位置和初始顺序，对当前帧目标链DC中的目标和DP中的目标做相似性判断，找出DP中的目标在DC中的关联关系，记为DPConf(如图5所示)。

$DPConf=\left\{\begin{array}{cc}1& {\mathrm{DPSimilar}}_{Obj\_n}>{\mathrm{Th}}_{Gate}\\ 12& {\mathrm{DPSimilar}}_{Obj\_n}>0.2\∪\≤{\mathrm{Th}}_{Gate}\\ 13& {\mathrm{DPSimilar}}_{Obj\_n}\≤0.2\\ 3& Increase\\ 4& Disppear\end{array}\right.---\left(2\right)$

其中DPSimilar表示公式(1)中的ρ，Th_Gate表示相似度阈值。

7)根据公式(2)中的关系，确定目标的运动轨迹(如图5所示)：

当DPConf＝1表示第N帧中的目标obj_1与N+1帧中的目标obj_n相似性很高，定义为强关联性即完全匹配。

当DPConf＝12表示第N帧中的目标obj_1与N+1帧中的目标obj_n相似性较弱，定义为弱关联性即可疑区域。

当DPConf＝13表示第N帧中的目标obj_1与N+1帧中的目标obj_n相似性很弱，定义为非关联性。

当DPConf＝3表示第N+1帧中新出现的目标obj_n。

当DPConf＝4表示第N帧中的目标obj_n在第N+1帧中目标消失。

8)根据判断，将DC中与DP强关联的目标更新到目标链中，将弱关联的目标加入可以目标链DM中在下一帧中进行再次判断。

9)当目标链DP中的目标从A₁以外的区域越过了L₁，且该目标满足在视频中出现3帧以上，未计数过，且初始位置和当前位置有一定的差距时，判定该目标离开场景中，该假设建立在上出下进的计数方向上(如图6所示)。

10)同理，当目标链DP中的目标从A₃以外的区域越过了L₂，且该目标满足在视频中出现3帧以上，未计数过，且初始位置和当前位置有一定的差距时，判定该目标进入场景中；该假设建立在上出下进的计数方向上(如图6所示)。

11)在跟踪过程中，还提供了一些目标不连续的情况处理。

参见图7和图8，其所示为本发明基于上述人流量统计方法实现的一种实时的人流量统计系统的示意图。

由图可知，该人流量统计系统主要包括：双目相机，前端客流计数仪、网络传输模块和终端数据分析模块。

本系统中的双目相机用于拍摄行人进出口的双目视频图像。

参见图9，本发明中双目相机的位置关系为水平左右放置，所拍摄的双目图像为左右对应极限水平接近平行。镜头的间距和镜头的焦距符合场景的计数需求和安装需求。具体为：视野要求较小且安装条件固定的场景如公交车，大巴车门等镜头间距一般在5cm左右，镜头焦距一般为3.5-5mm。视野要求大的场景如会馆等通道则选用间距稍大，焦距为5mm以上的镜头。

另外，该双目相机还具有内置的LED照明，即使全黑的条件下也可以使用。

前端客流计数仪，其用于实时采集和处理双目相机拍摄的行人进出口的双目视频图像。

该前端客流计数仪主要由DSP双目采集模块和视频处理模块构成中。

其中，双目采集模块与双目相机数据相接，用于连续且同步采集左右图像。

而DSP视频处理模块与双目采集模块数据相接，其内部集成有基于上述多场景人流量统计方法形成的多场景人流量统计算法，并利用该人流量统计算法对双目采集模块采集的双目视频图像进行人流量统计；

这里的DSP视频处理模块具体实施时采用DSP64X系列处理器，其内集成有基于上述多场景人流量统计方法形成的多场景人流量统计算法，进行实时的处理速度。

另外，该DSP视频处理模块上设置有视频输入接口、IO通信接口、串口通信接口(参见图10)。

DSP视频处理模块上的IO接口模块提供了装置的开关信号通信接口，使得本发明装置可以和其它设备进行连接，并控制装置的开关模式。

DSP视频处理模块上的串口通信接口提供了一系列接口，包括RS232，RS485，以及USB等接口。用户可以通过这些接口，方便的进行算法的参数配置，以及下载计数的记录。

系统中的网络传输模块，其分别与DSP视频处理模块以及终端数据分析模块数据相接，用于将双目采集模块采集的双目视频图像以及DSP视频处理模块统计的结果发送至终端数据分析模块；

该网络传输模块提供了不同的传输模式以满足不同的场景条件，可以将计数结果传输到其它终端，包含有线和无线两种，其中有线模式采用网线和路由的传送方式，无线模式则采用GPS模块和车载2G/3G模块进行传输。

系统中终端数据分析模块，其主要用于后端客流数据的管理，通过强大的数据分析建模功能对DSP视频处理模块统计的结果进行分析，该终端数据分析模块基于时间和空间的参数，提供一系列反应人数和时间和空间关系的数据报表，为决策者提供有利的数据支持和依据。

参见图11，终端数据分析模块除了基本的建模分析功能，其还具记录查询模块、饼状图分析模块、折线图报表模块、柱状图分析模块。由此构成的终端数据分析模块通过网络传输模块或者USB下载记录等方式对前端的计数结果进行进一步分析，构建时空模型，制定出一系列反应用户需求的数据报表，为决策者提供有利的数据支持和依据。

下面针对不同的应用场景分别说明本发明的应用方案。

移动模式，典型场景如公交、大巴等移动出入口。该模式下，双目相机和DSP设备安装在移动的出入口，终端数据分析模块安装在公交公司，方便后台的调度。其中，双目相机模块的安装：一般根据车辆的高度，大约在220cm-240cm，垂直向下安装。根据本发明中双目相机焦距和间距的特性，完全可以符合此场景的要求；DSP模块的连接和安装：DSP处理模块具有视频输入接口以及IO通信接口、RS232、RS485串口，方便和车载设备连接。将双目相机的视频输出输入到DSP视频采集模块中，DSP通过上述人流量计数算法，将结果通过移动GPRS或2G、3G网络传输到后台。DSP处理器的开关状态可以由车门开关信号通过IO接口控制，也可以通过手动控制。通过车门的开关信号控制计数器的开启和关闭可以避免行车期间人头在车门附近的晃动造成的错误。

固定模式，典型场景为商场、展馆、宾馆、车站、路口等。该场景下的实施方式去上一个实施方式的一个差别在于前端相机的安装高度一般在220cm或者更高250cm以上，选择对应场景的双目相机即可；另一个不同之处在于计数设备和后台处理的网络传输方式，由于场景的固定，可选择有线或无线的以太网进行传输，速度快，更安全可靠；计数设备的开关一般只设置手动开关，而不再需要和外部IO接口通信。

在固定模式下，双目相机的安装还可以进行多个级联，针对出入口通道叫宽，双目相机的视野不能够满足拍摄到整个出入口时，可以选择安装多个双目相机，多个计数设备，最后在后台对接收的人流量数据进行整合，实现计数功能。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (14)

1.一种基于立体视觉的多场景人流量统计方法，其特征在于，所述方法包括如下步骤：

(1)同步采集双目图像；

(2)对双目图像进行校正，生成对应极线平行的双目图像对；

(3)将校正过的双目图像进行立体匹配，生成双目图像视差图；

(4)在生成的视差图中对行人目标进行检测；

(5)在视差图像中对行人目标进行跟踪和计数。

2.根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于，所述步骤(1)中利用水平平行的双目相机采集图像，使得左右图像的对应水平极线尽可能平行，且左右相机同时进行连续采集。

3.根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于，所述步骤(2)中校正双目图像的过程如下：

21)采用离线标定的方式对双目相机分别进行标定，得到双目相机的标定参数；

22)通过双目摄像机实时采集图像数据，得到原始的双目图像；

23)再基于Bouguet算法，对双目相机采集的原始的双目图像进行校正，得到极线平行的双目图像。

4.根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于，所述步骤(3)中对双目图像进行立体匹配的过程如下：

31)首先对校正好的的双目图像进行亮度归一化和加强纹理的预处理；

32)基于SAD窗口进行搜索得到对应匹配点，得到相应的初始视差图；

33)匹配过程结束之后，对匹配得到的初始视差图进行再过滤，去除坏的匹配点，输出视差连续的双目图像视差图。

5.根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于，步骤(4)中进行行人目标检测时，根据步骤(3)确定的双目图像视差图的特性，对视差图采用分层二值化后再进行连通域检测。

6.根据权利要求5所述的一种基于立体视觉的多场景人流量统计方法，其特征在于，所述检测过程如下：

41)采用分层阈值的二值化方法，进行连通域扫描，首先扫描阈值最大层的连通域，对符合条件的连通域标记为行人目标；

42)然后依次降低阈值进行二值化，并进行连通域扫描，将扫描结果和上一层进行分析比较，保留新目标，更新旧目标，去除伪目标；

43)当所有层都进行过连通域检测或在某一层出现了目标粘连时，停止检测。

7.根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于，所述步骤(5)中进行行人目标跟踪和计数时，首先，通过对帧与帧之间的目标进行关联实现目标跟踪，再通过目标跟踪，计算出目标在不同帧中的运动轨迹，并分析目标的进出方向进行计数。

8.根据权利要求7所述的一种基于立体视觉的多场景人流量统计方法，其特征在于，具体跟踪和计数时，采用基于特征的多目标跟踪方法，得到人的运动轨迹，并根据事先规定的计数规则，当运动到某个地方满足计数要求时进行计数，其中特征采用了人的深度，位置和重叠面积；计数规则为双线计数，即同时通过两条线的运动目标才计数。

9.一种基于立体视觉的多场景人流量统计系统，其特征在于，所述统计系统包括：

双目相机，所述双目相机用于拍摄行人进出口的双目视频图像；

双目采集模块，所述双目采集模块同步采集双目相机拍摄的双目视频图像；

DSP视频处理模块，所述DSP视频处理模块基于权利要求1-8中任一项所述的多场景人流量统计方法对双目采集模块采集的双目视频图像进行人流量统计；

网络传输模块，所述网络传输模块将双目采集模块采集的双目视频图像以及DSP视频处理模块统计的结果发送至终端数据分析模块；

终端数据分析模块，所述终端数据分析模块基于时间和空间对DSP视频处理模块统计的结果进行分析。

10.根据权利要求9所述的一种基于立体视觉的多场景人流量统计系统，其特征在于，所述双目相机水平放置，其镜头焦距和镜头间距可根据应用场景对视野大小限制的条件以及场景的安装条件进行选择和调节。

11.根据权利要求9所述的一种基于立体视觉的多场景人流量统计系统，其特征在于，所述网络传输模块提供的传输模式包含有线和无线，其中有线模式采用网线和路由的传送方式，无线模式则采用GPS模块和车载2G/3G模块进行传输。

12.根据权利要求9所述的一种基于立体视觉的多场景人流量统计系统，其特征在于，所述DSP视频处理模块上集成有多场景人流量统计算法，并且其上还具有视频输入接口、IO通信接口、串口通信接口。

13.根据权利要求12所述的一种基于立体视觉的多场景人流量统计系统，其特征在于，所述DSP视频处理模块采用DSP64X系列处理器。

14.一种双目相机，其包括双目相机本体，其特征在于，所述本体内设置有DSP双目采集模块和视频处理模块，其中的双目采集模块同步采集双目相机拍摄的双目视频图像；DSP视频处理模块基于上述的多场景人流量统计方法对双目采集模块采集的双目视频图像进行人流量统计。