CN110147904B - 一种城市聚集事件预测与定位方法及装置 - Google Patents

Abstract

本发明涉及交通监控领域，具体涉及一种城市聚集事件预测与定位方法及装置。本方法及装置对多帧图片利用深度神经网络进行特征提取，提取出多帧图片的时序特征和空间特征，利用多帧图片的时序特征和空间特征进行概率预测和类激活映射，判断出发生城市聚集事件的概率和位置，不仅能检测聚集事件，还可以提前预测城市聚集事件，并对聚集地点定位。其在解决特征提取及分类判断过程中，根据现实情况选取了巧妙的网络结构。本发明是在复杂物联网移动数据下基于深度神经网络的城市聚集事件提前预测与定位，能够对发生过或模拟过聚集事件的重点区域进行长时间跨度的预测与定位。

Description

一种城市聚集事件预测与定位方法及装置

技术领域

本发明涉及交通监控领域，具体而言，涉及一种城市聚集事件预测与定位方法及装置。

背景技术

城市聚集事件是在一段时间内，大量移动物体(出租车、行人等)向小范围区域内汇聚现象。典型的城市聚集事件有交通拥堵、演唱会人群聚集等。大规模的城市聚集事件对城市交通、城市安全有重要影响。提前预测聚集事件的发生与位置可以帮助有关部门规划调整警力等资源，保障城市健康运行，提高人们生活满意度。随着物联网传感器技术的飞速发展，我们已经可以采集到大量的交通、手机等移动数据。但是人类活动非常复杂，目前很多研究只能检测到城市聚集事件，而从杂乱的海量数据中分析出城市聚集事件发生趋势，预测城市聚集事件可能发生地点仍然是一个非常大的挑战。

目前针对城市聚集事件问题，利用深度学习网络系统解决该问题仍为空白，复杂海量数据在建模与特征提取较为困难。现有技术多为启发式算法，定义一两项特征量间接体现聚集程度，前期进行大量数据预处理求得特征量，随后筛选出可能发生聚集的候选区域，然后利用启发式迭代算法进行区域扩展。同时可以结合历史数据中挖掘出来的模式进行检测，形成反馈系统。大部分系统用来检测已经发生的聚集事件，少数系统根据观察到的聚集事件推移演化特征，可以进行算法上加速或短时间内的预测。

现有技术基于观察寻找一两项特征，以此作为后继算法检测城市聚集事件的依据，这个过程可能造成原始信息的大量丢失。另外目前技术在候选位置的判断上只能利用临近有限区域内的数据信息，数据信息较少。且现有技术很难预测聚集事件，因为地理上聚集事件模式挖掘已经很复杂，能够再进行联合时间维度的模式挖掘的系统较少。

发明内容

本发明实施例提供了一种城市聚集事件预测与定位方法及装置，以至少避免现有无法对重点区域进行长时间跨度的预测与定位的技术问题。

根据本发明的一实施例，提供了一种城市聚集事件预测与定位方法，包括：

将一段时间内城市车辆的实际轨迹以预设时间为间隔转换为多帧图片；

对多帧图片利用深度神经网络进行特征提取，提取出多帧图片的时序特征和空间特征；

利用多帧图片的时序特征和空间特征进行概率预测，计算出发生城市聚集事件的概率；

对多帧图片的时序特征和空间特征进行类激活映射，判断出发生城市聚集事件的位置。

进一步地，将一段时间内城市车辆的实际轨迹以预设时间为间隔转换为多帧图片包括：

将城市按经纬度均匀划分为若干小方格，以预设时间为间隔统计一次城市车辆的实际轨迹，每次生成对应若干小方格的多幅图片，每次生成的多幅图片组成一帧图片，在一段时间内生成多帧图片；其中每幅图片表征对应每个小方格前一时间段从邻接方向的车辆转入数目。

进一步地，城市聚集事件预测与定位方法还包括：

对一段时间内城市车辆的实际轨迹进行事件模拟，将模拟的车流加在实际的车流上变为模拟事件样本与多帧图片一起作为深度神经网络的输入数据。

进一步地，深度神经网络包括依次设置的：

卷积层，用于保留局部的空间信息，提取更全面的空间特征；

卷积长短期记忆层，用于对多帧图片进行视觉上的时间序列预测和从多帧图片的图像序列中生成描述性文本，提取更全面的时序特征；

退出层，用于避免深度神经网络过拟合；

扩张卷积层，用于在不做池化的情况下扩张深度神经网络中神经元的视野范围。

进一步地，卷积层中每层卷积在t时刻的运算公式表示为：

H_t＝f(W*X+b)；

H_t代表卷积层的输出，X_t代表卷积层的输入，*代表了卷积操作，W和b是训练参数，f是修正激活函数Relu。

进一步地，卷积长短期记忆层包括：

卷积神经网络层，用于从多帧图片的图像序列中生成描述性文本；

长短时记忆层，用于对多帧图片进行视觉上的时间序列预测；

卷积神经网络层与长短时记忆层相结合进行时序特征提取。

进一步地，利用多帧图片的时序特征和空间特征进行概率预测包括：

将聚集事件发生时的概率设为1，假设整个聚集事件会在n个连续帧图像内发生，n为≥1的整数，训练时候聚集事件发生的第r帧概率设为r/n，r为≤n的整数。

进一步地，类激活映射的层结构由卷积层、平均池化层、全连接层依次连接形成；类激活映射在分类判别中采用二元交叉熵损失函数，具体公式表示为：

其中，yi是分类判别中的预测结果，

是分类判别中的预期结果，i代表输入序列第i帧，k为输入的总序列数；

概率预测中采用最小均方误差作为损失函数：

其中，yi′是概率预测中的预测结果，

是概率预测中的预期结果；

整个深度神经网络的损失为两部分之和：

Loss＝loss₁+loss₂。

根据本发明的另一实施例，提供了一种城市聚集事件预测与定位装置，包括：

图片生成单元，用于将一段时间内城市车辆的实际轨迹以预设时间为间隔转换为多帧图片；

特征提取单元，用于对多帧图片利用深度神经网络进行特征提取，提取出多帧图片的时序特征和空间特征；

概率预测单元，用于利用多帧图片的时序特征和空间特征进行概率预测，计算出发生城市聚集事件的概率；

类激活映射单元，用于对多帧图片的时序特征和空间特征进行类激活映射，判断出发生城市聚集事件的位置。

进一步地，城市聚集事件预测与定位装置还包括：

事件模拟单元，用于对一段时间内城市车辆的实际轨迹进行事件模拟，将模拟的车流加在实际的车流上变为模拟事件样本与多帧图片一起作为深度神经网络的输入数据。

本发明实施例中的城市聚集事件预测与定位方法及装置，对多帧图片利用深度神经网络进行特征提取，提取出多帧图片的时序特征和空间特征，利用多帧图片的时序特征和空间特征进行概率预测和类激活映射，判断出发生城市聚集事件的概率和位置，不仅能检测聚集事件，还可以提前预测城市聚集事件，并对聚集地点定位。其在解决特征提取及分类判断过程中，根据现实情况选取了巧妙的网络结构。本发明是在复杂物联网移动数据下基于深度神经网络的城市聚集事件提前预测与定位，能够对发生过或模拟过聚集事件的重点区域进行长时间跨度的预测与定位。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明城市聚集事件预测与定位方法的流程图；

图2为本发明城市聚集事件预测与定位方法的具体流程图；

图3为本发明城市聚集事件预测与定位方法的示意图；

图4为本发明交通流预测装置的连接框图；

图5为本发明城市聚集事件预测与定位方法的具体连接框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有技术基于观察寻找一两项特征，以此作为后继算法检测城市聚集事件的依据，这个过程可能造成原始信息的大量丢失，而本发明使用的深度神经网络可以自己学习提取特征。另外目前技术在候选位置的判断上只能利用临近有限区域内的数据信息，而本发明使用的深度神经网络，通过指数扩展神经元视野范围，可以利用到更广泛区域的信息。现有技术很难预测聚集事件，因为地理上聚集事件模式挖掘已经很复杂，能够再进行联合时间维度的模式挖掘的系统较少，而本发明借助GPU强大的计算能力，对易发生聚集的区域进行采集或模拟后，可大时间跨度预测聚集事件的发生与定位。

本发明要解决的主要问题是在复杂物联网移动数据下基于深度神经网络的城市聚集事件提前预测与定位，能够对发生过或模拟过聚集事件的重点区域进行长时间跨度的预测与定位。

实施例1

本发明利用一种新的深度神经网络结构进行城市聚集时间的提前预测与定位，将聚集事件预测转化成为分类与回归问题。具体来说，给定一系列观测时间序列Xt，输出表示聚集事件是否发生的预测序列Yt、立即发生聚集事件的概率Pt和可能发生聚集事件地点Lt。

为了达到该目的，本发明主要分为三部分进行：特征提取、概率预测、类激活映射。三者关系是：首先对输入数据集进行特征提取，提取到的特征同时输入到概率预测和类活动映射部分。

根据本发明的实施例，参见图1，提供了一种城市聚集事件预测与定位方法，包括：

步骤S100：将一段时间内城市车辆的实际轨迹以预设时间为间隔转换为多帧图片；

步骤S102：对多帧图片利用深度神经网络进行特征提取，提取出多帧图片的时序特征和空间特征；

步骤S104：利用多帧图片的时序特征和空间特征进行概率预测，计算出发生城市聚集事件的概率；

步骤S106：对多帧图片的时序特征和空间特征进行类激活映射，判断出发生城市聚集事件的位置。

本发明实施例中的城市聚集事件预测与定位方法，对多帧图片利用深度神经网络进行特征提取，提取出多帧图片的时序特征和空间特征，利用多帧图片的时序特征和空间特征进行概率预测和类激活映射，判断出发生城市聚集事件的概率和位置，不仅能检测聚集事件，还可以提前预测城市聚集事件，并对聚集地点定位。其在解决特征提取及分类判断过程中，根据现实情况选取了巧妙的网络结构。本发明是在复杂物联网移动数据下基于深度神经网络的城市聚集事件提前预测与定位，能够对发生过或模拟过聚集事件的重点区域进行长时间跨度的预测与定位。

作为优选的技术方案中，将一段时间内城市车辆的实际轨迹以预设时间为间隔转换为多帧图片包括：

将城市按经纬度均匀划分为若干小方格，以预设时间为间隔统计一次城市车辆的实际轨迹，每次生成对应若干小方格的多幅图片，每次生成的多幅图片组成一帧图片，在一段时间内生成多帧图片；其中每幅图片表征对应每个小方格前一时间段从邻接方向的车辆转入数目。

参见图3，基于深度卷积长短时网络的城市聚集事件预测与定位方法主要包括三大部分，第一是特征提取，第二是概率预测即预测发生聚集事件的概率，第三是类激活映射判断是否有聚集事件发生与定位可能发生事件地点。

训练源数据包括两部分，一部分是真实数据，另外一部分是仿真数据。真实数据来源于公交车和出租车的实时轨迹，主要字段信息包括：车牌、事件、GPS经度、GPS维度、速度、状态等。在预处理时，将整个城市经纬度均匀划分为若干小方格，每隔一个预设的小的时间间隔统计一次，每次生成多幅图片，每幅图片对应每个小格子前一时间段从邻接方向的车辆转入数目。

作为优选的技术方案中，参见图2，城市聚集事件预测与定位方法还包括：

步骤S101：对一段时间内城市车辆的实际轨迹进行事件模拟，将模拟的车流加在实际的车流上变为模拟事件样本与多帧图片一起作为深度神经网络的输入数据。

同时本发明在预处理时进行了事件模拟，一方面由于实际样本中包含事件的样本较少，需要扩展数据集，另一方面为了增加重点监测地点的模拟事件样本。模拟的事件时，将模拟的车流加在实际的车流上变为包含实际事件的模拟事件样本。

作为优选的技术方案中，特征提取以20帧处理后的连续图像作为输入，该部分由四个不同的层组成，依次是：卷积层(convolution layer)、卷积长短期记忆层(convolution LSTM layer)、退出层(dropout layer)、扩张卷积层(dilated convolutionlayer)。

具体的，深度神经网络包括依次设置的：

卷积层，用于保留局部的空间信息，提取更全面的空间特征；

卷积长短期记忆层，用于对多帧图片进行视觉上的时间序列预测和从多帧图片的图像序列中生成描述性文本，提取更全面的时序特征；

退出层，用于避免深度神经网络过拟合；在退出层中每个神经元以一定概率失活，如果一个神经元失活，则它的输出会变为零。退出层是为了避免深度神经网络过拟合，让本发明能够检测到不同特征(如参与者数量不同)的城市聚集事件。

扩张卷积层，用于在不做池化的情况下扩张深度神经网络中神经元的视野范围。扩张卷积层可以在不做池化的情况下扩张神经元的视野范围。传统的卷积神经网络会对输入图像先进行池化扩大感受野，但由于减少了数据尺寸，因此随后需要利用上采样扩大尺寸，这样一来会造成信息的丢失，分辨率下降。扩张卷积层不通过池化，而是通过跳过一些点或在过滤器中加入权重为零的空洞，进而由级联结构达到指数级视野扩张，与此同时保持了数据的尺寸。本发明引入该扩张卷积层，因为扩张卷积层对保持交通信息整合更广范围的信息与数据分辨率有很重要的实际意义。

作为优选的技术方案中，卷积层被广泛利用在图像分类中，本发明在特征提取第一步采用卷积层主要考虑保持临近方格之间的相关性，与图像分类问题类似，在城市聚集检测问题中，临近位置车辆会相互影响。因此使用卷积层可以保留局部的空间信息，能够提取到更全面的空间特征。由于有些相互联系的地理位置跨度比较大，如高速路，因此需要多层卷积层进行特征提取。

卷积层中每层卷积在t时刻的运算公式表示为：

H_t＝f(W*X_t+b)

H_t代表卷积层的输出，X_t代表卷积层的输入，*代表了卷积操作，W和b是训练参数，f是修正激活函数Relu。

作为优选的技术方案中，卷积长短期记忆层包括：

卷积神经网络层，用于从多帧图片的图像序列中生成描述性文本；

长短时记忆层，用于对多帧图片进行视觉上的时间序列预测；

卷积神经网络层与长短时记忆层相结合进行时序特征提取。

卷积长短期记忆层架构包含两部分，一是使用卷积神经网络层(CNN)，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward NeuralNetworks)，是深度学习(deep learning)的代表算法之一，二是长短时记忆层，长短时神经网络是一种特殊的递归神经网络，所谓递归神经网络就是网络能够解决时间序列问题的预测。所谓递归神经网络就是网络中具有循环结构。可以将递归神经网络想象成有多层相同网络结构的神经网络，每一层将信息传递给下一层；两者结合进行特征提取，以支持序列预测。卷积长短期记忆层被开发用于视觉时间序列预测问题和从图像序列(例如视频)生成文本描述的应用，能够提取到更全面的时序特征。由于城市聚集事件发生是伴随时间演化的，利用卷积神经网络层和长短时记忆层相结合可以很好地提取图像特征和时间模式，因此可以很好地发掘时间序列图像中的聚集事件。

作为优选的技术方案中，利用多帧图片的时序特征和空间特征进行概率预测包括：

将聚集事件发生时的概率设为1，假设整个聚集事件会在n个连续帧图像内发生，n为≥1的整数，训练时候聚集事件发生的第r帧概率设为r/n，r为≤n的整数。

具体的，概率预测模型可以输出立即发生城市聚集事件的概率，将事件发生时的概率设为1，本发明假设整个事件会在n个连续帧图像内发生，n为≥1的整数，训练时候聚集事件发生的第r帧概率设为

r为≤n的整数。比如假设一个时间持续20帧的图像，这20帧内第1到20帧的发生概率依次为

另外为了减少该部分最后的全连接层的训练参数，该处卷积时候不进行零填充。由于此处的概率是连续值，不能使用交叉熵，所以提取特征后分为预测概率和进行分类两个部分。损失函数保证两处结果一致，即概率预测为1的时候，类激活映射的分类输出为1。

作为优选的技术方案中，类激活映射的层结构由卷积层、平均池化层、全连接层依次连接形成；类激活映射是为了显示卷积神经网络最后结果由图像中哪一部分区域贡献，换句话说，深度卷积神经网络对决策密切相关的区域会更加关注。在城市聚集事件预测问题中，类激活映射对应了事件发生的位置，因为发生点位置在聚集形成过程中，伴随着参与者不断地前往目的地，聚集事件位置的流量会变动很大。类激活映射能判断事件聚集的贡献区域，即聚集事件发生位置。类激活映射由卷积层、平均池化层、全连接层依次连接形成。

类激活映射在分类判别中采用二元交叉熵损失函数，具体公式表示为：

其中，yi是分类判别中的预测结果，

是分类判别中的预期结果，i代表输入序列第i帧，k为输入的总序列数；

概率预测中采用最小均方误差作为损失函数：

其中，yi′是概率预测中的预测结果，

是概率预测中的预期结果；

整个深度神经网络的损失为两部分之和：

Loss＝loss₁+loss₂。

实施例二

根据本发明的另一实施例，参见图4，提供了一种城市聚集事件预测与定位装置，包括：

图片生成单元200，用于将一段时间内城市车辆的实际轨迹以预设时间为间隔转换为多帧图片；

特征提取单元202，用于对多帧图片利用深度神经网络进行特征提取，提取出多帧图片的时序特征和空间特征；

概率预测单元204，用于利用多帧图片的时序特征和空间特征进行概率预测，计算出发生城市聚集事件的概率；

类激活映射单元206，用于对多帧图片的时序特征和空间特征进行类激活映射，判断出发生城市聚集事件的位置。

本发明实施例中的城市聚集事件预测与定位装置，对多帧图片利用深度神经网络进行特征提取，提取出多帧图片的时序特征和空间特征，利用多帧图片的时序特征和空间特征进行概率预测和类激活映射，判断出发生城市聚集事件的概率和位置，不仅能检测聚集事件，还可以提前预测城市聚集事件，并对聚集地点定位。其在解决特征提取及分类判断过程中，根据现实情况选取了巧妙的网络结构。本发明是在复杂物联网移动数据下基于深度神经网络的城市聚集事件提前预测与定位，能够对发生过或模拟过聚集事件的重点区域进行长时间跨度的预测与定位。

作为优选的技术方案中，参见图5，城市聚集事件预测与定位装置还包括：

事件模拟单元201，用于对一段时间内城市车辆的实际轨迹进行事件模拟，将模拟的车流加在实际的车流上变为模拟事件样本与多帧图片一起作为深度神经网络的输入数据。

参见图3，基于深度卷积长短时网络的城市聚集事件预测与定位装置主要包括三大部分，第一是特征提取，第二是概率预测即预测发生聚集事件的概率，第三是类激活映射判断是否有聚集事件发生与定位可能发生事件地点。

训练源数据包括两部分，一部分是真实数据，另外一部分是仿真数据。真实数据来源于公交车和出租车的实时轨迹，主要字段信息包括：车牌、事件、GPS经度、GPS维度、速度、状态等。在预处理时，将整个城市经纬度均匀划分为若干小方格，每隔一个预设的小的时间间隔统计一次，每次生成多幅图片，每幅图片对应每个小格子前一时间段从邻接方向的车辆转入数目。

同时本发明在预处理时进行了事件模拟，一方面由于实际样本中包含事件的样本较少，需要扩展数据集，另一方面为了增加重点监测地点的模拟事件样本。模拟的事件时，将模拟的车流加在实际的车流上变为包含实际事件的模拟事件样本。

作为优选的技术方案中，特征提取以20帧处理后的连续图像作为输入，该部分由四个不同的层组成，依次是：卷积层(convolution layer)、卷积长短期记忆层(convolution LSTM layer)、退出层(dropout layer)、扩张卷积层(dilated convolutionlayer)。

具体的，深度神经网络包括依次设置的：

卷积层，用于保留局部的空间信息，提取更全面的空间特征；

卷积长短期记忆层，用于对多帧图片进行视觉上的时间序列预测和从多帧图片的图像序列中生成描述性文本，提取更全面的时序特征；

退出层，用于避免深度神经网络过拟合；在退出层中每个神经元以一定概率失活，如果一个神经元失活，则它的输出会变为零。退出层是为了避免深度神经网络过拟合，让本发明能够检测到不同特征(如参与者数量不同)的城市聚集事件。

扩张卷积层，用于在不做池化的情况下扩张深度神经网络中神经元的视野范围。扩张卷积层可以在不做池化的情况下扩张神经元的视野范围。传统的卷积神经网络会对输入图像先进行池化扩大感受野，但由于减少了数据尺寸，因此随后需要利用上采样扩大尺寸，这样一来会造成信息的丢失，分辨率下降。扩张卷积层不通过池化，而是通过跳过一些点或在过滤器中加入权重为零的空洞，进而由级联结构达到指数级视野扩张，与此同时保持了数据的尺寸。本发明引入该扩张卷积层，因为扩张卷积层对保持交通信息整合更广范围的信息与数据分辨率有很重要的实际意义。

作为优选的技术方案中，卷积层被广泛利用在图像分类中，本发明在特征提取第一步采用卷积层主要考虑保持临近方格之间的相关性，与图像分类问题类似，在城市聚集检测问题中，临近位置车辆会相互影响。因此使用卷积层可以保留局部的空间信息，能够提取到更全面的空间特征。由于有些相互联系的地理位置跨度比较大，如高速路，因此需要多层卷积层进行特征提取。

卷积层中每层卷积在t时刻的运算公式表示为：

H_t＝f(W*X_t+b)

H_t代表卷积层的输出，X_t代表卷积层的输入，*代表了卷积操作，W和b是训练参数，f是修正激活函数Relu。

作为优选的技术方案中，卷积长短期记忆层包括：

卷积神经网络层，用于从多帧图片的图像序列中生成描述性文本；

长短时记忆层，用于对多帧图片进行视觉上的时间序列预测；

卷积神经网络层与长短时记忆层相结合进行时序特征提取。

卷积长短期记忆层架构包含两部分，一是使用卷积神经网络层(CNN)，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward NeuralNetworks)，是深度学习(deep learning)的代表算法之一，二是长短时记忆层，长短时神经网络是一种特殊的递归神经网络，所谓递归神经网络就是网络能够解决时间序列问题的预测。所谓递归神经网络就是网络中具有循环结构。可以将递归神经网络想象成有多层相同网络结构的神经网络，每一层将信息传递给下一层；两者结合进行特征提取，以支持序列预测。卷积长短期记忆层被开发用于视觉时间序列预测问题和从图像序列(例如视频)生成文本描述的应用，能够提取到更全面的时序特征。由于城市聚集事件发生是伴随时间演化的，利用卷积神经网络层和长短时记忆层相结合可以很好地提取图像特征和时间模式，因此可以很好地发掘时间序列图像中的聚集事件。

具体的，概率预测模型可以输出立即发生城市聚集事件的概率，将事件发生时的概率设为1，本发明假设整个事件会在n个连续帧图像内发生，n为≥1的整数，训练时候聚集事件发生的第r帧概率设为

r为≤n的整数。比如假设一个时间持续20帧的图像，这20帧内第1到20帧的发生概率依次为

另外为了减少该部分最后的全连接层的训练参数，该处卷积时候不进行零填充。由于此处的概率是连续值，不能使用交叉熵，所以提取特征后分为预测概率和进行分类两个部分。损失函数保证两处结果一致，即概率预测为1的时候，类激活映射的分类输出为1。

作为优选的技术方案中，类激活映射的层结构由卷积层、平均池化层、全连接层依次连接形成；类激活映射是为了显示卷积神经网络最后结果由图像中哪一部分区域贡献，换句话说，深度卷积神经网络对决策密切相关的区域会更加关注。在城市聚集事件预测问题中，类激活映射对应了事件发生的位置，因为发生点位置在聚集形成过程中，伴随着参与者不断地前往目的地，聚集事件位置的流量会变动很大。类激活映射能判断事件聚集的贡献区域，即聚集事件发生位置。类激活映射由卷积层、平均池化层、全连接层依次连接形成。

类激活映射在分类判别中采用二元交叉熵损失函数，具体公式表示为：

其中，yi是分类判别中的预测结果，

是分类判别中的预期结果，i代表输入序列第i帧，k为输入的总序列数；

概率预测中采用最小均方误差作为损失函数：

其中，yi′是概率预测中的预测结果，

是概率预测中的预期结果；

整个深度神经网络的损失为两部分之和：

Loss＝loss₁+loss₂。

基于深度卷积长短时网络的城市聚集事件预测与定位方法及装置可以提前预测城市聚集事件发生与位置得益于两个方面：特征提取能够提取到更全面的时序与空间信息，类激活映射能判断事件聚集区域。

本发明将数据流建模成车流统计图像，转化成深度神经网络可以处理的数据模型。特征提取时利用卷积长短期记忆层从输入图像中获取时序特征，扩张卷积层有效扩展神经元视野范围。

相比现有技术，基于深度卷积长短时网络的城市聚集事件预测与定位方法及装置不仅能检测聚集事件，还可以提前预测城市聚集事件，并对聚集地点定位。其在解决特征提取及分类判断过程中，根据现实情况选取了巧妙的网络结构。本发明的技术方案经过实验，证明可行，其输出结果有较高的参考价值。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种城市聚集事件预测与定位方法，其特征在于，包括：

将一段时间内城市车辆的实际轨迹以预设时间为间隔转换为多帧图片；

对多帧图片利用深度神经网络进行特征提取，提取出多帧图片的时序特征和空间特征；

利用多帧图片的时序特征和空间特征进行概率预测，计算出发生城市聚集事件的概率；

对多帧图片的时序特征和空间特征进行类激活映射，判断出发生城市聚集事件的位置；

所述类激活映射的层结构由卷积层、平均池化层、全连接层依次连接形成；所述类激活映射在分类判别中采用二元交叉熵损失函数，具体公式表示为：

其中，yi是分类判别中的预测结果，

是分类判别中的预期结果，i代表输入序列第i帧，k为输入的总序列数；

所述概率预测中采用最小均方误差作为损失函数：

其中，yi′是概率预测中的预测结果，

是概率预测中的预期结果；

整个深度神经网络的损失为两部分之和：

Loss＝loss₁+loss₂。

2.根据权利要求1所述的城市聚集事件预测与定位方法，其特征在于，所述将一段时间内城市车辆的实际轨迹以预设时间为间隔转换为多帧图片包括：

将城市按经纬度均匀划分为若干小方格，以预设时间为间隔统计一次城市车辆的实际轨迹，每次生成对应若干小方格的多幅图片，每次生成的多幅图片组成一帧图片，在一段时间内生成多帧图片；其中每幅图片表征对应每个小方格前一时间段从邻接方向的车辆转入数目。

3.根据权利要求1所述的城市聚集事件预测与定位方法，其特征在于，所述城市聚集事件预测与定位方法还包括：

对一段时间内城市车辆的实际轨迹进行事件模拟，将模拟的车流加在实际的车流上变为模拟事件样本与多帧图片一起作为深度神经网络的输入数据。

4.根据权利要求1所述的城市聚集事件预测与定位方法，其特征在于，所述深度神经网络包括依次设置的：

卷积层，用于保留局部的空间信息，提取更全面的空间特征；

卷积长短期记忆层，用于对多帧图片进行视觉上的时间序列预测和从多帧图片的图像序列中生成描述性文本，提取更全面的时序特征；

退出层，用于避免深度神经网络过拟合；

扩张卷积层，用于在不做池化的情况下扩张深度神经网络中神经元的视野范围。

5.根据权利要求4所述的城市聚集事件预测与定位方法，其特征在于，所述卷积层中每层卷积在t时刻的运算公式表示为：

H_t＝f(W*X_t+b)

H_t代表卷积层的输出，X_t代表卷积层的输入，*代表了卷积操作，W和b是训练参数，f是修正激活函数Relu。

6.根据权利要求4所述的城市聚集事件预测与定位方法，其特征在于，所述卷积长短期记忆层包括：

卷积神经网络层，用于从多帧图片的图像序列中生成描述性文本；

长短时记忆层，用于对多帧图片进行视觉上的时间序列预测；

所述卷积神经网络层与所述长短时记忆层相结合进行时序特征提取。

7.根据权利要求1所述的城市聚集事件预测与定位方法，其特征在于，所述利用多帧图片的时序特征和空间特征进行概率预测包括：

将聚集事件发生时的概率设为1，假设整个聚集事件会在n个连续帧图像内发生，n为≥1的整数，训练时候聚集事件发生的第r帧概率设为r/n，r为≤n的整数。

8.一种利用权利要求1-7任一项所述城市聚集事件预测与定位方法的城市聚集事件预测与定位装置，其特征在于，包括：

图片生成单元，用于将一段时间内城市车辆的实际轨迹以预设时间为间隔转换为多帧图片；

特征提取单元，用于对多帧图片利用深度神经网络进行特征提取，提取出多帧图片的时序特征和空间特征；

概率预测单元，用于利用多帧图片的时序特征和空间特征进行概率预测，计算出发生城市聚集事件的概率；

类激活映射单元，用于对多帧图片的时序特征和空间特征进行类激活映射，判断出发生城市聚集事件的位置。

9.根据权利要求8所述的城市聚集事件预测与定位装置，其特征在于，所述城市聚集事件预测与定位装置还包括：

事件模拟单元，用于对一段时间内城市车辆的实际轨迹进行事件模拟，将模拟的车流加在实际的车流上变为模拟事件样本与多帧图片一起作为深度神经网络的输入数据。

Images