CN101789077A

CN101789077A - 一种激光引导的视频客流检测方法及设备

Info

Publication number: CN101789077A
Application number: CN 201010110818
Authority: CN
Inventors: 刘峡壁; 周双全; 曹月; 钟新玉; 刘成英; 杜水荣; 马爱民; 张志平; 夏曙东
Original assignee: BEIJING ZHONGJIAO TRAFFIC GUIDE INFORMATION TECHNOLOGY Co Ltd; Beijing Institute of Technology BIT
Current assignee: BEIJING ZHONGJIAO TRAFFIC GUIDE INFORMATION TECHNOLOGY Co Ltd; Beijing Institute of Technology BIT
Priority date: 2010-02-10
Filing date: 2010-02-10
Publication date: 2010-07-28
Anticipated expiration: 2030-02-10
Also published as: CN101789077B

Abstract

本发明涉及一种激光引导的视频客流检测方法及设备，方法包括：从客流上方进行垂直激光扫描和视频拍摄，分别获取激光扫描数据和视频图像；对所述激光扫描数据进行分析，得出被激光扫描到的行人的第一坐标；将所述第一坐标转换为所述行人在视频图像中的第二坐标；在所述视频图像中，根据所述第二坐标得出所述行人头部图像的边缘点，并将所述边缘点的集合拟合成椭圆；以及在所述视频图像中对所述椭圆进行跟踪，得出所述行人的运动轨迹。本发明通过激光扫描来引导在视频图像中定位，继而对行人进行视频跟踪，行为分析来进行客流检测。本发明方法不易受到外界环境干扰，算法简单，便于安装维修，适于宽通道的客流检测，提高了客流检测的效率和准确度。

Description

一种激光引导的视频客流检测方法及设备

技术领域

本发明涉及一种激光引导的视频客流检测方法及设备。

背景技术

目前，随着经济的快速发展、基础设施的不断建设、大规模组织活动日益频繁的举行，流动性人员密集场所，比如公交、地铁、机场、火车站等地方的人员流动量越来越大。与此同时，通过客流检测所获得的客流信息也越来越复杂，信息量也日趋庞大。客流信息是衡量运营状况的重要数据，通过对客流信息的统计分析，不但可以获得该交通区域的客流运行状况，而且可以利用检测数据进行有效的组织运营、调度安排工作。同时，对于人流密度较大的区域，也可以起到很好的预警作用，在紧急情况下还能优化应急措施。

在客流统计中，往往需要对行人进行跟踪，判断其前进方向，以至于确定其运动轨迹。在现有技术中，对行人进行视频跟踪往往需要先确定行人的初始位置。通常，需要对某帧的视频图像进行全面搜索，来确定人体的初始位置，比较复杂且效率不高。而且，人体初始位置的定位往往易受背景、天气、遮挡物、阴影等情况的影响，容易影响定位的准确度，甚至于出现误定位。由于激光扫描具有不易受环境影响、算法简单、利于安装维修等特性，因此在客流检测领域有更好的发展前景。

发明内容

本发明提供了一种能解决以上问题的激光引导的视频客流检测方法及设备。

在第一方面，本发明提供了一种激光引导的视频客流检测方法，包括：步骤a，从客流上方进行垂直激光扫描和视频拍摄，分别获取激光扫描数据和视频图像；步骤b，对所述激光扫描数据进行分析，得出被激光扫描到的行人的第一坐标；步骤c，将所述第一坐标转换为所述行人在视频图像中的第二坐标；步骤d，在所述视频图像中，根据所述第二坐标得出所述行人头部图像的边缘点，并将所述边缘点的集合拟合成椭圆；以及步骤e，在所述视频图像中对所述椭圆进行跟踪，得出所述行人的运动轨迹。

优选地，在激光扫描区域和视频拍摄区域中设立一个高度一定且可见光特征明显的标定物，对其进行激光扫描和视频拍摄，根据所述标定物的激光扫描数据和视频图像得到所述第一坐标和所述第二坐标的对应关系，依照所述对应关系将所述第一坐标转换成所述第二坐标。

优选地，根据所述标定物的角点特征，确定所述标定物上多点的所述第一坐标和所述第二坐标的多组对应关系，其中，所述第一坐标为(X，H)，X是该点在激光扫描线上的物理位置值，H是该点在激光扫描线上的高度值，所述第二坐标为L’，为该点在视频图像中的激光扫描线上的位置值；根据所述多组对应关系，利用最小二乘法得到将所述第一坐标转换成所述第二坐标的转换公式，并根据所述转换公式将所述第一坐标转换成所述第二坐标。

优选地，以所述第二坐标为行人头部图像的中心点，采用射线梯度法找出人头图像的边缘点；和/或采用标准椭圆旋转法将所述边缘点的集合拟合成椭圆。

优选地，采用标准椭圆参数和旋转角度来描述当前视频图像帧中的人头椭圆；按照高斯分布对所述被描述的人头椭圆进行随机扰动，得到若干预测椭圆；针对每个预测椭圆，根据其边缘特性和内部颜色特性，计算其对实际情况的符合概率，进而获得所有预测椭圆的加权和，其中每个预测椭圆的权值为所述预测椭圆所对应的符合概率；利用所述加权和得到初始椭圆，将其作为初始跟踪结果；利用期望-最大化(Expectation-Maximization，EM)算法对所述初始椭圆进行优化，使其更加逼近图像中的人头边缘，从而得到椭圆跟踪结果。

在第二方面，本发明提供了一种激光引导的视频客流检测设备，包括：模块a，用于从客流上方进行垂直激光扫描和视频拍摄，分别获取激光扫描数据和视频图像；模块b，用于对所述激光扫描数据进行分析，得出被激光扫描到的行人的第一坐标；模块c，用于将所述第一坐标转换为所述行人在视频图像中的第二坐标；模块d，用于在所述视频图像中，根据所述第二坐标得出所述行人头部图像的边缘点，并将所述边缘点的集合拟合成椭圆；以及模块e，用于在所述视频图像中对所述椭圆进行跟踪，得出所述行人的运动轨迹。

本发明通过采用激光扫描来帮助在视频图像中进行定位，继而对行人进行视频跟踪，进行行为分析，达到了客流检测的目的。本发明的方法不易受到外界环境的干扰，算法简单，便于安装维修，有利于对宽通道的客流场景进行客流检测，提高了客流检测的效率和准确度。

附图说明

下面将参照附图对本发明的具体实施方案进行更详细的说明，在附图中：

图1是根据本发明的一个实施例的客流检测示意图；

图2是根据本发明的一个实施例的预配置得出坐标转换关系的示意图。

具体实施方式

本发明的方法在于，从客流通道上方对其进行垂直激光扫描和视频拍摄，根据行人通过激光扫描面时的时间和位置，在一帧视频图像中的确定位置进行人头分割并将其拟合成椭圆，继而在连续的视频帧中对该椭圆进行跟踪，最后根据跟踪结果进行行人的行为分析，得出客流检测结果。

图1是根据本发明一个实施例的客流检测示意图。

如图所示，从客流通道上方进行垂直激光扫描，同时进行视频拍摄，分别获得激光扫描数据和视频流数据。每一帧的激光扫描数据和视频流数据都被存储起来以供进行数据分析。

激光扫描原点距离地面的垂直高度一般例如在2米以上。一般来说，激光扫描模块通过逐点扫描方式发射并接收激光光束，从而获取每一帧的激光扫描数据。激光光束在地面上的扫描范围是该断面在地面投影的起点和终点，所述起点和终点可以自由设定，并且可以设定多个。具体地说，激光扫描数据包括被扫描物体距离扫描原点的距离、扫描时间以及扫描频率。将激光扫描数据与人体模型库进行对比，可以得出人体的轮廓信息，包括人体的高度、宽度等等。

视频流数据是当前场景进行拍摄，获取连续多帧的视频图像。应当指出，视频拍摄区域应当包含激光扫描范围在内，即在行人通过激光扫描面的时候能够被视频拍摄到。

当发现有行人通过激光扫描面时，通过对当前帧的激光扫描数据进行分析，可以得知当前帧的时间t₁。在此，可以称激光数据中的坐标系为第一坐标系。

然后，需要在时间临近t₁的一帧视频图像中对行人定位。

在这之前，需要进行坐标转换。具体地说，就是分别根据预配置中确立的第一坐标系与第二坐标系的对应关系，将第一坐标系的行人坐标转换为第二坐标系中的行人坐标。如图1中所示，第一坐标系中的行人坐标(x₁，y₁)被转换成了第二坐标系中的(x₁’，y₁’)，其中，第二坐标系为视频图像中的坐标系。应当理解，虽然行人坐标(x₁’，y₁’)在图像中是处于激光扫描线在视频图像中的位置上，但是该坐标也可能由于摄像头的位置而发生变化，即不一定在激光扫描线在视频图像中的表示线段上。

然后，在时间最接近t₁的一帧转换后的视频图像中进行定位查找。例如，连续3帧激光扫描数据的时间分别为8:13:580、8:13:620、8:13:660，连续3帧视频数据的时间分别为8:13:590、8:13:630、8:13:670，其中秒数以毫秒ms为单位。如果在t₁’时刻，即8:13:620的一帧激光扫描数据中检测到行人，则可以在例如t₂’时刻，即8:13:630的一帧转换后的视频图像中进行查找。

如前所述，第二坐标系中的(x₁’，y₁’)是第二坐标系中的行人坐标，其中，x₁’是该行人在第二坐标系中的横坐标，y₁’是该行人在第二坐标系中的纵坐标。由于人头图像是具有椭圆特征的图像，所以可以将(x₁’，y₁’)作为该行人的头部中心点。

然后，采用射线梯度法找出人头区域的边缘点。射线梯度法是：以人的头部中心点为端点，按指定角度间隔形成辐射直线，共覆盖围绕人头部中心点的360度范围。从人的头部中心点开始，沿着每一条辐射直线逐点向外移动。一旦当前点与其相邻点的灰度差超过预定阈值，则停止在该条直线上的移动，并将当前点作为人头的一个边缘点。以同样方式处理完所有辐射直线，则得到人头的边缘点集合。

应当理解，可以采用各种各样的方法计算人头区域的边缘点。

接下来，采用标准椭圆旋转法将人头边缘点集合拟合为椭圆。标准椭圆旋转法是：按照指定角度间隔旋转标准椭圆方程，得到平面上椭圆旋转状态的集合。针对每一旋转状态，将人头边缘点的集合拟合为相应的标准椭圆，并记录拟合后的中值误差。标准椭圆参数包括椭圆的长半轴a，短半轴b，以及椭圆的中心点坐标(x_c，y_c)。在所有椭圆旋转状态中，选择中值误差最小者对应的椭圆为最后拟合结果。该椭圆由标准椭圆参数和旋转角度描述。

应当理解，将人头边缘点集合拟合为椭圆或标准椭圆可以采用各种各样的方法，拟合误差也可以有各种各样的度量方法。

接下来，在视频图像流中对所拟合的人头椭圆进行跟踪，直到人头椭圆离开跟踪区域为止。人头椭圆跟踪过程是根据前一时刻图像帧中的人头椭圆确定下一时刻图像帧中的对应人头椭圆。跟踪方法是：设在t₁’时刻的视频图像帧中存在所跟踪的人头椭圆E，通过标准椭圆参数和旋转角度来描述人头椭圆E。在得到下一时刻t₂’所对应的视频图像帧时，首先对E按照高斯分布进行随机扰动，得到若干预测椭圆。然后针对每个预测椭圆，根据图像中椭圆的边缘特性和椭圆内的颜色特性，计算每个预测椭圆对实际情况的符合概率，进而获得所有预测椭圆的加权和，其中每个椭圆的权值为该椭圆对应的符合概率。最后，利用期望-最大化(Expectation-Maximization，EM)算法对通过加权和所获得的初始椭圆进行优化，使其更加逼近图像中的人头边缘，得到椭圆跟踪结果。

应当理解，人头椭圆跟踪可以采用各种各样的方法。

依此类推，根据多帧视频图像中的人头的中心点，可以确定该行人在视频拍摄区域中的运动轨迹。

基于在整个视频拍摄区域中的跟踪结果，可以对行人的运动行为进行分析。例如，行人A被激光扫描到，然后在视频跟踪过程中发现该行人A走出了视频区域，可视为该行人A穿过检测区域。又例如，行人B被激光扫描到，然后在视频跟踪过程中发现该行人B在视频区域中停留了预定的时间，可视为该行人B在检测区域中停留。

从统计上，基于单个行人的行为分析结果，可以进行客流量的统计。比如，在一定时间内，有多少行人穿过检测区域，有多少行人朝一个方向行进，有多少行人朝另一个方向行进，有多少起行人滞留事件，等等。

图2是根据本发明的一个实施例的预配置中的得出坐标转换关系的示意图。

由于本发明是用激光定位来帮助在视频图像中进行定位，所以需要将行人坐标从激光数据的坐标系转换到视频图像的坐标系。

如图2所示，首先利用激光测试仪检测激光扫描线上的任意两点，根据这两点在视频图像上的对应点，形成一条直线，将该直线作为视频图像中的激光扫描线。然后利用透视投影原理建立激光数据与视频图像位置之间的转换关系。激光数据包括激光扫描线上的物理位置值X和高度值H。视频图像位置值为视频图像中的激光扫描线上的位置值L’。

为了在预配置时获得将(X，H)变换到L’的计算公式，可以在激光和视频均可检测到的区域中设立一个标定物，该标定物包含明显的角点特征。对于同一个角点特征，分别在激光扫描图像和视频图像中确定该点的激光数据(X，H)和视频图象位置值L’，形成一组对应关系。在得到多组对应关系后，利用最小二乘法获得将(X，H)变换到L’的计算公式。

在根据激光数据获得视频图像位置值以后，由于该位置是在视频图像中的激光扫描线上的，从而可以获得该位置在图像平面上的二维坐标(X’，Y’)，作为启动视频跟踪过程的初始人头中心点。

显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。

Claims

1.一种激光引导的视频客流检测方法，包括：

步骤a，从客流上方进行垂直激光扫描和视频拍摄，分别获取激光扫描数据和视频图像；

步骤b，对所述激光扫描数据进行分析，得出被激光扫描到的行人的第一坐标；

步骤c，将所述第一坐标转换为所述行人在视频图像中的第二坐标；

步骤d，在所述视频图像中，根据所述第二坐标得出所述行人头部图像的边缘点，并将所述边缘点的集合拟合成椭圆；以及

步骤e，在所述视频图像中对所述椭圆进行跟踪，得出所述行人的运动轨迹。

2.根据权利要求1所述的方法，还包括：

在激光扫描区域和视频拍摄区域中设立一个高度一定且可见光特征明显的标定物，对其进行激光扫描和视频拍摄，根据所述标定物的激光扫描数据和视频图像得到所述第一坐标和所述第二坐标的对应关系，依照所述对应关系将所述第一坐标转换成所述第二坐标。

3.根据权利要求2所述的方法，其特征在于：

根据所述标定物的角点特征，确定所述标定物上多点的所述第一坐标和所述第二坐标的多组对应关系，

其中，所述第一坐标为(X，H)，X是该点在激光扫描线上的物理位置值，H是该点在激光扫描线上的高度值，所述第二坐标为L’，为该点在视频图像中的激光扫描线上的位置值；

根据所述多组对应关系，利用最小二乘法得到将所述第一坐标转换成所述第二坐标的转换公式，并根据所述转换公式将所述第一坐标转换成所述第二坐标。

4.根据权利要求3所述的方法，其特征在于：

检测激光扫描线上的任意两点，利用这两点在视频图像上的对应点形成一条直线，将该直线作为视频图像中的激光扫描线。

5.根据权利要求1所述的方法，其中，步骤d的特征在于：

以所述第二坐标为行人头部图像的中心点，采用射线梯度法找出人头图像的边缘点；和/或

采用标准椭圆旋转法将所述边缘点的集合拟合成椭圆。

6.根据权利要求1所述的方法，其中，步骤e的特征在于：

采用标准椭圆参数和旋转角度来描述当前视频图像帧中的人头椭圆；

按照高斯分布对所述被描述的人头椭圆进行随机扰动，得到若干预测椭圆；

针对每个预测椭圆，根据其边缘特性和内部颜色特性，计算其对实际情况的符合概率，进而获得所有预测椭圆的加权和，其中每个预测椭圆的权值为所述预测椭圆所对应的符合概率；

利用所述加权和得到初始椭圆，将其作为初始跟踪结果；

利用期望-最大化(Expectation-Maximization，EM)算法对所述初始椭圆进行优化，使其更加逼近图像中的人头边缘，从而得到椭圆跟踪结果。

7.根据权利要求1所述的方法，其中，步骤b还得出所述行人被激光扫描到的扫描时间，步骤c包括：

在所述视频图像中，选择时间与所述扫描时间接近的一帧视频图像进行所述人头图像分割。

8.一种激光引导的视频客流检测设备，包括：

模块a，用于从客流上方进行垂直激光扫描和视频拍摄，分别获取激光扫描数据和视频图像；

模块b，用于对所述激光扫描数据进行分析，得出被激光扫描到的行人的第一坐标；

模块c，用于将所述第一坐标转换为所述行人在视频图像中的第二坐标；

模块d，用于在所述视频图像中，根据所述第二坐标得出所述行人头部图像的边缘点，并将所述边缘点的集合拟合成椭圆；以及

模块e，用于在所述视频图像中对所述椭圆进行跟踪，得出所述行人的运动轨迹。

9.根据权利要求8所述的设备，其中，模块d包括：

模块，用于以所述第二坐标为行人头部图像的中心点，采用射线梯度法找出人头图像的边缘点；和/或

模块，用于采用标准椭圆旋转法将所述边缘点的集合拟合成椭圆。

10.根据权利要求9所述的设备，其中，模块e包括：

模块，用于采用标准椭圆参数和旋转角度来描述当前视频图像帧中的人头椭圆；

模块，用于按照高斯分布对所述被描述的人头椭圆进行随机扰动，得到若干预测椭圆；

模块，用于针对每个预测椭圆，根据其边缘特性和内部颜色特性，计算其对实际情况的符合概率，进而获得所有预测椭圆的加权和，其中每个预测椭圆的权值为所述预测椭圆所对应的符合概率；

模块，用于利用所述加权和得到初始椭圆，将其作为初始跟踪结果；

模块，用于利用期望-最大化(Expectation-Maximization，EM)算法对所述初始椭圆进行优化，使其更加逼近图像中的人头边缘，从而得到椭圆跟踪结果。