CN107992449B - 一种基于低秩表示的地铁异常流量检测方法 - Google Patents

Abstract

本发明公开一种基于低秩表示的地铁异常流量检测方法，其能够准确检测出异常的流量数据继而对异常继续聚类分析。该方法包括步骤：(1)获取站点进出流量数据矩阵；(2)构建时序变化的异常检测低秩模型；(3)基于聚类方法进行异常聚类分析分组。

Description

一种基于低秩表示的地铁异常流量检测方法

技术领域

本发明属于图像处理和智能交通的技术领域，具体地涉及一种基于低秩表示的地铁异常流量检测方法。

背景技术

数据，已经渗透到当今每一个行业和业务职能领域，现在世界已经进入了大数据时代，如何高效分析和利用这些海量数据成为当前数据挖掘的研究热点。在交通领域，大数据成为提升政府治理能力的新途径，关于交通数据的数据分析工作再次成为新的起点，应用大数据有助于了解城市交通拥堵问题中人的出行规律和原因，实现交通和生活的和谐，提高城市的宜居性，为政府精准管理提供基于数据的科学决策。

随着城市化进程的快速发展，交通运输需求快速增长，城市轨道交通系统承担重载运输任务；地铁通常成为公民在城市内出行的首选，正常的轨道交通功能对于城市的经济发展和人民的日常生活质量至关重要。但是，一些异常事件可能会对轨道交通的正常运转产生带来负面影响，例如，站内设备突发故障导致人群拥堵，乘客意外进入轨道导致列车急停，还有站点附近有大型活动可能会导致站点人流的涌入，这些都会威胁到乘客的人身财产安全。由于城市轨道交通系统具有相对封闭、网络连通的特点,城市轨道交通若发生重大运营事故，其影响往往不仅局限于发生地点，通常其影响范围会快速扩散。

所以检测轨道交通的异常事件是必要的，对于意外事件，如突发的设备故障等，管理人员可以及时推出公告提醒乘客，并采取应急措施；而且对于那些经常造成交通拥堵的活动事件，可以弄清楚其效果规律性，在相似的活动发生前，提取采取限流等措施。轨道交通一卡通数据涵盖了海量丰富的、实时全面的客流刷卡出行信息，对轨道交通一卡通数据进行深入分析和信息挖掘，可以有效的检测出地铁异常。由于城市轨道交通客流有很大部分是由上班、上学等通勤出行者组成，客流会呈现以天、周为循环周期的特征，呈现出有规律的变化，所以在一些事件的影响下，流量可能会产生在一段时间内变高或变低的变化，比如对于音乐会，体育赛事等大型活动，附近站点的流量可能会长时间上升。因此我们通过检测流量的变化来检测异常事件的发生。

对于异常的检测的研究大多是应用于高速公路和城市区域，很少有关于地铁异常检测的研究，而且大多数方法无法获取到特定的位置的异常。我们提出的一种基于低秩表示的地铁异常检测方法是将原始的数据流量分解成无异常的确定流成分流量和异常流量，由于地铁每日客流量呈现比较固定的变化规律，无异常的确定流成分流量矩阵具备低秩特性，而异常事件发生的概率是较小的，异常流量矩阵具备稀疏特性，故该方法可以检测到特定时空点的异常值，根据异常值我们还可以进行异常规律的时空探索。

发明内容

本发明的技术解决问题是，提供一种基于低秩表示的地铁异常流量检测方法，能够使得检测出由异常事件造成的相应的异常流量。

本发明的技术解决方案是：

一种基于低秩表示的地铁异常流量检测方法，利用地铁流量数据矩阵的低秩特性和异常流量数据矩阵的稀疏特性，建立一个正常流量和异常流量分离的通用模型，通过低秩表示将原始数据矩阵分解成正常流量数据矩阵和异常数据流量矩阵，再对异常流量矩阵进行聚类分析，有助于轨道交通管理者对于异常的发现和控制。

为实现上述目的，本发明采用如下的技术方案：

一种基于低秩表示的地铁异常流量检测方法，包括以下步骤：

步骤1、获取站点进出流量数据矩阵；

步骤2、构建时序变化的异常检测低秩模型；

步骤3、基于聚类方法进行异常聚类分析分组。

作为优选，所述异常检测低秩模型为：

其中，D为原始流量数据矩阵，X表示流量的低秩部分，表示无异常的确定流成分流量，A表示流量的异常部分，其中，地铁每日客流量呈现比较固定的变化规律，所以流量的时间周期性使得流量矩阵X具备低秩特性，而异常事件发生的概率是较小的，所以分解出的异常流量矩阵A具备稀疏特性；||X||_*项约束无异常流量本身的低秩特性，||A||₁项约束异常流量的稀疏特性，F＝Toeplitz(0,1,-1)，λ₁与λ₂为平衡因子，

引入变量L，Q，S使得X＝LQ^T,S＝XF^T，(4)式可被写为：

将(5)式转化为无约束问题，其增广拉格朗日函数可以被定义为：

其中Y₁、Y₂和Y₃中的每个元素表示一个拉格朗日乘子，变量μ>0为调节三个误差项的权重参数；

以下(7)-(11)为迭代求解X,A,S,L,Q,使总误差向减小的方向变化，每次迭代求解出X,A,S,L,Q之后，更新Y₁、Y₂和Y₃，当最终误差小于ε时迭代结束，ε是设定的迭代停止条件，μ为权重，

L⁽ⁱ⁺¹⁾＝(μⁱXⁱ+Yⁱ)(2E+μⁱQ^iTQⁱ)^-1

(10)

Q⁽ⁱ⁺¹⁾＝((2E+μⁱL^iTLⁱ)^-1(μⁱL^iTXⁱ+L^iTYⁱ))^T

(11)

作为优选，步骤3具体为：对异常使用k-means方法进行时空聚类，

聚类步骤如下：

Step1：在分解出的异常矩阵A中，经过一定的阈值筛选后，

的点都视为异常点，提取每个异常点的空间信息，时间信息和进出站异常流量值，异常点i的特征向量为F_i＝(s_i,t_i,e_i,o_i)，对站点进行编号，m个连续站点的编号即为1～m,s_i∈{1,2,...,m}，对连续的时间点也进行编号，n个连续的时间点为1～n,t_i∈{1,2,...,n}；

Step2：对每一维数据进行归一化；空间信息值s和时间信息值t映射到[0,1]之间,异常值e和o映射到[-1,1]之间；

Step3：从异常点特征向量集中选择k个异常点作为聚类中心；

Step4：迭代计算每个异常点的欧式距离到聚类中心的距离，直到达到最大迭代次数或收敛；

Step5：采用Calinski-Harabasz准则确定最优分类数,如下(8)式所示，

其中，N为总的样本数，m为所有点的中心点，m_i为某类的中心点，x为类中的样本点，c_i为聚出的第i类，n_i为c_i类中的样本数，SSB是类间方差，SSW是类内方差，(N-k)/(k-1)是复杂度。

本发明将稀疏低秩表示模型应用到了交通流量数据异常检测中，利用交通流量数据的低秩特性和异常流量数据的稀疏特性来检测异常数据，然后将异常值进行聚类以探索异常的潜在规律。通过本发明检测到的异常可以帮助交通管理人员估计主要城市事件对交通产生的影响，并可以采取相应的措施。

附图说明

图1是根据本发明的轨道交通异常流量检测方法的流程图；

图2示出了13个站早高峰的5分钟间隔出站量像素图；

图3(a)为3个站20天1小时间隔进站量像素图，图3(b)为相应的出站量的像素图；

图4(a)是图2数据的异常检测结果中的无异常矩阵的像素图，图4(b)是图2数据的异常检测结果中的异常矩阵的像素图；

图5(a)是图3(a)数据的异常检测结果中的无异常矩阵的像素图，图5(b)是图3(a)数据的异常检测结果中的异常矩阵的像素图；

图5(c)是图3(b)数据的异常检测结果中的无异常矩阵的像素图，图5(d)是图3(b)数据的异常检测结果中的异常矩阵的像素图；

图6示出了异常分类结果图；

图7示出了异常类别中进出站量的规律分布图。

具体实施方式

如图1所示，本发明实施例提供一种基于低秩表示的地铁异常流量检测方法，该方法包括以下步骤：

步骤(1)从地铁刷卡数据中构造地铁站点流量数据矩阵

首先对地铁站的进出站流量数据进行提取，我们提取站点的连续多天的连续相同时间间隔内的进站或出站流量，将流量数据构造成一个M×N的矩阵D，横轴为日期d，纵轴为连续的时间间隔t，所以矩阵的每个元素d_d,t表示在某一天的具体某个时间间隔内的站点流量值。

比如图2为我们得到的1号线的13个站的20个工作日的早高峰(7：00～9：00)每5分钟的出站流量，横轴表示天数，纵轴表示时间间隔，13个站的数据矩阵堆叠而成，旁边的色度条表示相应的数值。图3使用了3个站(森林公园南门站、奥林匹克公园站、奥体中心站)的3个月的工作日的每小时进出站量，横轴表示天数，纵轴表示时间间隔，3个站的数据矩阵堆叠而成，图3(a)和(b)分别表示进站量和出站量，色度条表示相对应的数值。我们发现测得的真实数据矩阵确实在列与列之间有很大的相似性，但很难发现异常流量值的存在。

步骤(2)构建异常检测低秩模型；

上述得到的地铁站点流量矩阵D，由于异常事件的影响，一些元素会被污染(一些站点的时空点流量会呈现较大的异常波动)，出现比正常流量值高或低的情况。那么用x_d,t表示某天某时间间隔的正常流量值，a_d,t则表示异常流量值，所以我们测得的某天某时间间隔的流量值为d_d,t＝x_d,t+a_d,t；所以，流量矩阵的分解可表示为：D＝X+A

地铁每日客流量呈现比较固定的变化规律，比如早高峰和晚高峰的特性比较明显，且不同天的相同时段的流量趋于一致，所以流量的时间周期性使得矩阵X具备低秩特性，而异常事件发生的概率是较小的，且持续较短的时间，所以在获得的矩阵流量数据D中，只有一小部分的元素是异常的，所以分解出的A矩阵具备稀疏特性。对于分解得到的矩阵A，若

则在日期为d的t时刻的流量被认为是异常的，且视为一个异常点，所以，可用经典的RPCA来获得最优的矩阵D和A，即求解下列最优化问题：

引入平衡因子λ₁，将双目标优化问题转化为单目标优化问题:

上述问题是NP难问题，一般的解决方法是把某些目标函数换成某些凸函数，秩函数的凸包络是矩阵的核范数，向量0范数的凸包络是其1范数，做凸包络替换后，得到如下凸规划问题：

模型(3)可以提取出异常矩阵A，但没有考虑交通流量数据的内在特性，矩阵X中，相邻日期的相同时间间隔的流量数据通常大致相等，因此对矩阵X中列与列间的差异进行约束，λ₁范数对于突变元素的检测更具鲁棒性，因此异常检测低秩模型完善如下：

其中，λ₁与λ₂为平衡因子，F＝Toeplitz(0,1,-1)，主对角线元素均为1，以及第一条上对角线为-1。这个时间约束矩阵||XF^T||₁体现了相邻日期中相同时间段的流量值通常相似的特性，且能捕捉到其差异。

算法优化：

交换方向乘子法(ADMM)是机器学习中广泛使用的约束问题最优化方法，我们使用其来解决上述约束(4)问题。首先为方便求解，我们引入变量L，Q，S使得X＝LQ^T,S＝XF^T则公式(4)可以被写为：

我们将(6)式转化为无约束问题，其增广拉格朗日函数可以被定义为：

其中Y₁、Y₂和Y₃中的每个元素表示一个拉格朗日乘子，变量μ>0为调节三个误差项的权重参数，完整的算法流程如下：

(3)基于聚类方法进行异常聚类分析分组

运用异常检测模型对图2中的两种不同时间间隔的数据D进行矩阵分解，得到的矩阵X和A如图4和图5所示。

在图4(a)中，相比于图2中的原始数据矩阵，图4(a)恢复后的矩阵有相对平滑的趋势，证明了低秩性，得到了数据的较好恢复；在图4(b)的异常矩阵得到了稀疏的异常点，也证明了异常矩阵的稀疏性质。在异常矩阵提取出了两个明显的异常，搜索微博数据发现：

异常1：因为4号线的枣园站发生了电梯故障，导致该站的进站量在短时间内锐减，故导致西单站出站量锐减。这与像素图异常1表现的流量减少是一致的。

异常2：因为在军事博物馆站发生了乘客坠轨事故，导致列车运行停止了5～10分钟，所以在像素图上我们发现之后的连续站点的出站量在相应的时间内都有一定的减少。

在图5中，图5(a)和(b)是图3(a)进站量的分解矩阵，图5(a)是恢复的数据矩阵，图5(b)是提取出的异常矩阵；图5(c)和(d)是图3(b)出站量的分解矩阵，图5(c)是恢复的数据矩阵，图5(d)是提取出的异常矩阵。

分析：对比图5(b)和(d)，我们提取了3个明显的异常，并使用微博数据进行了验证，分别是：

异常1：鸟巢在当天举行足协杯比赛，故在该天的下午5时起对奥体中心地铁站进行封站，故出现了异常1中的进站量和出站量都减少的情况。

异常2：鸟巢在这些天举行世界田径比赛，在一些时间段进行封站限流，故在这些站点出现了进出站流量都忽高忽低的情况。

异常3：在这几天，庆祝70周年抗法西斯战争胜利活动，故流量也是出现了许多高低异常。

本发明的方法可以识别出大量的异常，并且大部分的异常都得到了真实数据的初步验证，但是一些异常存在时空相关联的关系，不易直观观察到，故为了探索异常的深层次的关联和规律，对异常使用k-means方法进行时空聚类。

聚类步骤如下：

Step1：在分解出的异常矩阵A中，经过一定的阈值筛选后，

的点都视为异常点，提取每个异常点的空间信息，时间信息和进出站异常流量值，异常点i的特征向量为F_i＝(s_i,t_i,e_i,o_i)，我们对站点进行编号，m个连续站点的编号即为1～m,s_i∈{1,2,...,m}，对连续的时间点也进行编号，n个连续的时间点为1～n,t_i∈{1,2,...,n}；

Step2：对每一维数据进行归一化；空间信息值s和时间信息值t映射到[0,1]之间,异常值e和o映射到[-1,1]之间；

Step3：从异常点特征向量集中选择k个异常点作为聚类中心；

Step4：迭代计算每个异常点的欧式距离到聚类中心的距离，直到达到最大迭代次数或收敛；

Step5：采用Calinski-Harabasz准则确定最优分类数,如下(8)式所示，N为总的样本数，m为所有点的中心点，m_i为某类的中心点，x为类中的样本点，c_i为聚出的第i类，n_i为c_i类中的样本数，其中SSB是类间方差，SSW是类内方差。选择VRC_k最大时的k值。(N-k)/(k-1)是复杂度，VRC_k比率越大，说明数据分离度越大。

对检测出的图5的进出站量的两个异常矩阵的异常值使用上述的步骤进行聚类，选取了k为2到10进行聚类比较，当k＝4，VRC值最大，聚类效果最佳，聚类结果如图6所示。图6中每种颜色表示一类，对比图5(b)和(d)，每一类包含了不同事件引起了相似的进出站量异常。

为了更清晰的看出每类异常的特征，我们提取出每类的进出站量绘图如图7所示，左上、左下、右上、右下分别表示C1、C2、C3、C4类的进出站量，我们定义这4类如下：

C1:进出站量都高于平时，说明可能在站点附近汇集了大量的人流，站点附近可能有大型体育赛事、大型展览等大型活动的举办。

C2:进站量高于平时，出站量无异常，说明站点附近可能有活动结束，导致人流涌入站点离开活动地点。

C3:出站量高于平时，进站量无异常，说明站点附近可能有活动将要开始，导致人流到达该站点去参加活动。

C4:进出站量都低于平时，说明很可能车站因为一些事件进行了封站措施。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (1)

1.一种基于低秩表示的地铁异常流量检测方法，其特征在于，包括以下步骤：

步骤1、获取站点进出流量数据矩阵；

步骤2、构建时序变化的异常检测低秩模型；

步骤2所述异常检测低秩模型为：

其中，D为原始流量数据矩阵，X表示原始流量数据矩阵的无异常部分，A表示原始流量数据矩阵的异常部分，其中，X具备低秩特性，A具备稀疏特性；||X||_*项约束无异常流量的低秩特性，||A||₁项约束异常流量的稀疏特性，F＝Toeplitz(0,1,-1)，λ₁与λ₂为平衡因子，

引入变量L，Q，S使得X＝LQ,S＝XF^T，(4)式被写为：

将(5)式转化为无约束问题，其增广拉格朗日函数被定义为：

其中Y₁、Y₂和Y₃中的每个元素表示一个拉格朗日乘子，变量μ>0为调节三个误差项的权重参数；以下(7)-(11)为迭代求解X,A,S,L,Q,使总误差向减小的方向变化，每次迭代求解出X,A,S,L,Q之后，更新Y₁、Y₂和Y₃，当最终误差小于ε时迭代结束，ε是设定的迭代停止条件，

L⁽ⁱ⁺¹⁾＝(μⁱXⁱ+Yⁱ)(2E+μⁱQ^iTQⁱ)^-1 (10)

Q⁽ⁱ⁺¹⁾＝((2E+μⁱL^iTLⁱ)^-1(μⁱL^iTXⁱ+L^iTYⁱ))^T (11)；

步骤3、基于聚类方法进行异常聚类分析分组；

步骤3具体为：对异常使用k-means方法进行时空聚类，

聚类步骤如下：

Step1：在分解出的异常矩阵A中，经过一定的阈值筛选后，

的点都视为异常点，提取每个异常点的空间信息，时间信息和进出站异常流量值，异常点j的特征向量为F_j＝(s_j,t_j,e_j,o_j)，对站点进行编号，m个连续站点的编号即为1～m，s_j∈{1,2,...,m}，对连续的时间点也进行编号，n个连续的时间点为1～n，t_j∈{1,2,...,n}t_i∈{1,2,...,n}；

Step2：对每一维数据进行归一化；空间信息值s和时间信息值t映射到[0,1]之间,异常值e和o映射到[-1,1]之间；

Step3：从异常点特征向量集中选择k个异常点作为聚类中心；

Step4：迭代计算每个异常点的欧式距离到聚类中心的距离，直到达到最大迭代次数或收敛；

Step5：采用Calinski-Harabasz准则确定最优分类数，如下(12)式所示，

其中，N为总的样本数，m为所有点的中心点，m_z为第z类的中心点，x为类中的样本点，c_z为聚出的第z类，n_z为c_z类中的样本数，SSB是类间方差，SSW是类内方差，(N-k)/(k-1)是复杂度。

Images