CN110322693A - 一种交通数据补全方法、系统、设备及介质 - Google Patents

Abstract

本公开公开了一种交通数据补全方法、系统、设备及介质，设定时间间隔Δt，将待补全的交通数据构建成关于路段‑时间间隔‑天的三维交通数据张量，三维交通数据张量中每个元素表示某天某时间间隔某个路段的车辆拥堵程度；所述三维交通数据张量包括若干个缺失值；对三维交通数据张量进行联合矩阵分解，从三维交通数据张量中提取出路段‑时间间隔矩阵和天‑时间间隔矩阵；对路段‑时间间隔矩阵和天‑时间间隔矩阵分别进行分解操作；对联合矩阵分解中的结果进行整合，得到完整的交通拥堵程度张量从而，实现对交通数据的补全。

Description

一种交通数据补全方法、系统、设备及介质

技术领域

本公开涉及交通数据处理领域，特别是涉及一种交通数据补全方法、系统、设备及介质。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

交通拥堵与人们的日常生活和城市的发展有着密不可分的关系。在路段网络中，通常使用嵌入传感器来收集实时交通状况。大量的交通数据使得交通领域的研究成为可能。例如，根据预测的交通状况，管理者可以优化交通信号时间，人们可以动态调整自己的驾驶路线。然而，由于传感器故障、传输错误或其他原因，交通数据的缺失是非常普遍的，而且是不可避免的。从不完整的交通数据中，提取准确、充分的交通信息是极其困难的，这成为现有研究的一个显著障碍。

现有技术中有三种数据补全方法：平均历史数据方法、相似路段交通模式挖掘方法和深度神经网络方法。

(1)平均历史数据方法仅仅利用单一的时间或者空间关系。例如，使用相邻的几个时间间隔的交通数据的均值作为当前时间间隔的交通状况。这类方法仅仅使用了交通数据的局部信息，忽略了周期性和路段相似性特征。因此，它们只可以处理相对简单的缺失情况，并且取得的效果也是有限的。

(2)相似路段交通模式挖掘方法利用不同探测器的记录之间的相似模式补全目标探测器的交通数据记录。它们提升了交通数据补全的效果，但是，当数据集相对较大时，分析和为每一条不完整的交通记录建模的代价是很高的。此外，如果记录的相似模式是受限的，模型将不会取得较好的结果。例如，交通极度拥堵的时段非常罕见。

(3)因为基于神经网络的方法可以取得较好的表现效果，所以它们被广泛认可和应用。其中，有一些方法需要完整数据训练网络。然而，在现实中，获取完整交通数据是不现实的。也有人提出了新的方法解决了这个问题。但是，对于神经网络模型来说，大量的数据训练模型是必不可少的。

发明内容

为了解决现有技术的不足，本公开提供了一种交通数据补全方法、系统、设备及介质；

第一方面，本公开提供了一种交通数据补全方法；

一种交通数据补全方法，包括：

S1：设定时间间隔Δt，将待补全的交通数据构建成关于路段-时间间隔-天的三维交通数据张量，三维交通数据张量中每个元素表示某天某时间间隔某个路段的车辆拥堵程度；所述三维交通数据张量包括若干个缺失值；

S2：对三维交通数据张量进行联合矩阵分解，从三维交通数据张量中提取出路段-时间间隔矩阵和天-时间间隔矩阵；对路段-时间间隔矩阵和天-时间间隔矩阵分别进行分解操作；

S3：对联合矩阵分解中的结果进行整合，得到完整的交通拥堵程度张量从而，实现对交通数据的补全。

第二方面，本公开还提供了一种交通数据补全系统；

一种交通数据补全系统，包括：

三维交通数据张量构建模块，其被配置为：设定时间间隔Δt，将待补全的交通数据构建成关于路段-时间间隔-天的三维交通数据张量，三维交通数据张量中每个元素表示某天某时间间隔某个路段的车辆拥堵程度；所述三维交通数据张量包括若干个缺失值；

联合矩阵分解模块，其被配置为：对三维交通数据张量进行联合矩阵分解，从三维交通数据张量中提取出路段-时间间隔矩阵和天-时间间隔矩阵；对路段-时间间隔矩阵和天-时间间隔矩阵分别进行分解操作；

整合模块，其被配置为：对联合矩阵分解中的结果进行整合，得到完整的交通拥堵程度张量从而，实现对交通数据的补全。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

与现有技术相比，本公开的有益效果是：

本方法同时考虑了交通拥堵程度的周期性、路段相似性和局部连续性特征。充分利用交通拥堵程度的时空信息，基于有限的、已知的拥堵程度数据补全缺失数据。

(1)不同于现存的补全方法，本公开同时考虑了交通拥堵程度的周期性路段相似性和局部连续性特征来补全缺失值。

(2)本公开对标准矩阵因子分解模型进行创新，提出一个联合分解模型，并在此分解模型的基础上加入局部性限制，保持数据的局部连续性。

(3)这一方法不需要大量数据训练，同时，在数据量较小或者缺失率很高时，也会取得相对较好的表现效果。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开实施例一的原理示意图；

图2为本公开实施例一的方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

描述交通状况的指标有多个，如交通流、交通速度和交通拥堵程度等。本实施例以交通拥堵程度为例，解决缺失交通数据补全问题。

在给定时段，路段的拥堵程度c定义为:

其中，t是车辆的在该路段的平均旅行时间，是相同路段在理想状态下的车辆通行时间。拥堵程度适合于可视化，同时也为人们提供了一种更直观的、更易于理解的描述交通状况的方法。

通过分析交通拥堵程度数据，我们发现该序列存在以下三种特征：

(1)周期性。交通拥堵程度在连续的工作日上呈现周期性变化。也就是说，在连续工作日上，相同时间间隔的拥堵程度是相似的。这可能是人们活动的规律性引起的。

(2)局部相关性。一个时间间隔的拥堵程度与其周围时间间隔的拥堵程度具有很强的关联性，并且这种关联性会随间隔之间的距离的增加而减弱。

(3)路段相似性。由于路段的结构和路段的连通性可能是相似的，所以一些路段的交通拥堵程度是相似的。

为了补全拥堵程度缺失值，本公开的所采用的技术方案如下：

一种交通数据补全方法，包括：

S1：设定时间间隔Δt，将待补全的交通数据构建成关于路段-时间间隔-天的三维交通数据张量，三维交通数据张量中每个元素表示某天某时间间隔某个路段的车辆拥堵程度；所述三维交通数据张量包括若干个缺失值；

S2：对三维交通数据张量进行联合矩阵分解，从三维交通数据张量中提取出路段-时间间隔矩阵和天-时间间隔矩阵；对路段-时间间隔矩阵和天-时间间隔矩阵分别进行分解操作；

S3：对联合矩阵分解中的结果进行整合，得到完整的交通拥堵程度张量从而，实现对交通数据的补全。

作为一个或多个实施例，所述方法还包括：

S4：将补全后的数据，发送给交通监管服务器，实现交通情况预测。

作为一个或多个实施例，所述构建交通数据张量，具体包括：

S11：将每一天第i条路段不同时间间隔内的拥堵程度表示为一个向量；第k天第j个时间间隔第i条路段的车辆拥堵程度c_i,j,k即：

其中，t_i,j,k是第k天第j个时间间隔第i条路段的车辆平均通行时长，是相同路段在夜间无拥堵情况下的车辆平均通行时长；

S12：将设定时间范围内，所有天的第i条路段不同时间间隔内的拥堵程度向量进行整合，得到第i条路段的交通拥堵程度矩阵；

第i条路段的交通拥堵程度矩阵，用公式表示为：

其中，i表示第i条路段；j表示第j个时间间隔；k表示第k天；J表示时间间隔数目，K表示天数。

S13：对所有路段执行S11和S12两个步骤，并将形成的交通拥堵程度矩阵按照路段编号顺序从小到大，由底向上的方向堆积形成交通拥堵程度张量C。

所述S2中对交通拥堵程度张量进行联合矩阵分解，具体步骤包括：

S21：从交通拥堵程度张量C中提取天-时间间隔矩阵C_i，并利用因子分解挖掘交通拥堵程度数据的周期性，即通过引入隐因子，将天-时间间隔矩阵C_i分解成两个低维矩阵P_i∈R^K×F和Q_i∈R^J×F；其中，F是隐因子的个数；

其中，第k天与P_i的向量P_k,:,i∈R^F相关联，时间间隔j与Q_i的向量Q_j,:,i∈R^F相关联，天之间的相似性或时间间隔之间的相似性均使用潜在空间中表达的距离衡量，利用点积P_k,:,i·Q_j,:,i表示路段i在第k天的时间段j上的预测拥堵程度

S22：考虑到交通拥堵数据的局部关联性，加入局部限制条件：最小化目标预测值与周围时间间隔预测值均值的差值；

限制条件g₁被描述为：

其中，W表示时间间隔的数目，ω＝1，2，…，W，表示j周围2*W个时间间隔预测值的均值，Q_j-ω,:,i是根据周期性进行分解的结果，表示第j-ω个时间间隔的表达；Q_j+ω,:,i是根据周期性进行分解的结果，表示第j+ω个时间间隔的表达。

S23：为了挖掘路段相似性，从交通拥堵程度张量C中提取路段-时间间隔矩阵C_k，并对路段-时间间隔矩阵C_k执行因子分解，分解成两个低维矩阵S_k和T_k；

其中，S_k∈R^I×F是所有路段的表达，T_k∈R^J×F是时间间隔的表达；路段i与矩阵S_k的向量S_i,:,k∈R^F相关联，时间间隔j与矩阵S_k的向量T_j,:,k∈R^F相关联，点积S_i,:,k·T_j,:,k是路段i在第k天的时间段j上的拥堵程度的近似值

S24：在S23中的限制条件g₂描述为：

其中，W表示时间间隔的数目，表示j周围2*W个时间间隔预测值的均值，T_j-ω,:,k是根据路段相似性进行分解的结果，表示第j-ω个时间间隔的表达；T_j+ω,:,k是根据路段相似性进行分解的结果，表示第j+ω个时间间隔的表达。

对所有的天-时间间隔矩阵执行步骤S21和S22的分解过程；

对所有的路段-时间间隔矩阵执行步骤S23和S24的分解过程；

最终，得到P∈R^K×F×I,Q∈R^J×F×I，S∈R^I×F×K和T∈R^J×F×K四个因子张量。

作为一个或多个实施例，所述对联合矩阵分解中的结果进行整合所采用的方式为线性回归。

所述S3中缺失数据补全具体过程如下：

其中，β表示周期性的效力；1–β表示路段相似性的效力；是原始张量中c_i,j,k的估计值。

因此，原始交通数据中的缺失值均根据上述公式进行估计，缺失值得以补全。

图1为本公开的架构图，介绍了本公开的三个组成部分：形成拥堵程度张量、联合矩阵分解和缺失数据补全。其中联合矩阵分解部分展示了一个天-时间间隔矩阵和路段-时间间隔矩阵的分解过程。在实际实施过程中，应该对初始拥堵程度张量中的所有这两类矩阵执行此分解操作。并且，从图1中我们可以看到，与标准矩阵分解不同，我们设计的矩阵分解过程需要受到局部限制的约束，以保持拥堵程度的局部关联性。

图2是本公开的流程图。输入为I条路段在连续K个工作日上的交通拥堵程度序列。本公开会把这些序列处理为三维张量形式，并将此张量输入到联合矩阵分解组件，然后，结合联合分解组件的输出形成完整的拥堵程度张量，并输出。

实施例二，本实施例还提供了一种交通数据补全系统；

一种交通数据补全系统，包括：

三维交通数据张量构建模块，其被配置为：设定时间间隔Δt，将待补全的交通数据构建成关于路段-时间间隔-天的三维交通数据张量，三维交通数据张量中每个元素表示某天某时间间隔某个路段的车辆拥堵程度；所述三维交通数据张量包括若干个缺失值；

联合矩阵分解模块，其被配置为：对三维交通数据张量进行联合矩阵分解，从三维交通数据张量中提取出路段-时间间隔矩阵和天-时间间隔矩阵；对路段-时间间隔矩阵和天-时间间隔矩阵分别进行分解操作；

整合模块，其被配置为：对联合矩阵分解中的结果进行整合，得到完整的交通拥堵程度张量从而，实现对交通数据的补全。

实施例三，本实施例还提供了还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成方法中的各个操作，为了简洁，在此不再赘述。

所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。

应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本实施例中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种交通数据补全方法，其特征是，包括：

设定时间间隔Δt，将待补全的交通数据构建成关于路段-时间间隔-天的三维交通数据张量，三维交通数据张量中每个元素表示某天某时间间隔某个路段的车辆拥堵程度；所述三维交通数据张量包括若干个缺失值；

对三维交通数据张量进行联合矩阵分解，从三维交通数据张量中提取出路段-时间间隔矩阵和天-时间间隔矩阵；对路段-时间间隔矩阵和天-时间间隔矩阵分别进行分解操作；

对联合矩阵分解中的结果进行整合，得到完整的交通拥堵程度张量

从而，实现对交通数据的补全。

2.如权利要求1所述的方法，其特征是，所述方法还包括：

将补全后的数据，发送给交通监管服务器，实现交通情况预测。

3.如权利要求1所述的方法，其特征是，所述构建交通数据张量，具体包括：

S11：将每一天第i条路段不同时间间隔内的拥堵程度表示为一个向量；第k天第j个时间间隔第i条路段的车辆拥堵程度c_i，j，k即：

其中，t_i，j，k是第k天第j个时间间隔第i条路段的车辆平均通行时长，是相同路段在夜间无拥堵情况下的车辆平均通行时长；

S12：将设定时间范围内，所有天的第i条路段不同时间间隔内的拥堵程度向量进行整合，得到第i条路段的交通拥堵程度矩阵；

第i条路段的交通拥堵程度矩阵，用公式表示为：

其中，i表示第i条路段；j表示第j个时间间隔；k表示第k天；J表示时间间隔数目，K表示天数；

S13：对所有路段执行S11和S12两个步骤，并将形成的交通拥堵程度矩阵按照路段编号顺序从小到大，由底向上的方向堆积形成交通拥堵程度张量C。

4.如权利要求1所述的方法，其特征是，所述对交通拥堵程度张量进行联合矩阵分解，具体步骤包括：

S21：从交通拥堵程度张量C中提取天-时间间隔矩阵C_i，并利用因子分解挖掘交通拥堵程度数据的周期性，即通过引入隐因子，将天-时间间隔矩阵C_i分解成两个低维矩阵P_i∈R^{K ×F}和Q_i∈R^J×F；其中，F是隐因子的个数；

其中，第k天与P_i的向量P_k，：，i∈R^F相关联，时间间隔j与Q_i的向量Q_j，：，i∈R^F相关联，天之间的相似性或时间间隔之间的相似性均使用潜在空间中表达的距离衡量，利用点积P_k，：，i·Q_j，：，i表示路段i在第k天的时间段j上的预测拥堵程度

S22：考虑到交通拥堵数据的局部关联性，加入局部限制条件：最小化目标预测值与周围时间间隔预测值均值的差值；

限制条件g₁被描述为：

其中，W表示时间间隔的数目，ω＝1，2，...，W，表示j周围2*W个时间间隔预测值的均值，Q_{j-ω，：，i}是根据周期性进行分解的结果，表示第j-ω个时间间隔的表达；Q_{j+ω，：，i}是根据周期性进行分解的结果，表示第j+ω个时间间隔的表达；

S23：为了挖掘路段相似性，从交通拥堵程度张量C中提取路段-时间间隔矩阵C_k，并对路段-时间间隔矩阵C_k执行因子分解，分解成两个低维矩阵S_k和T_k；

其中，S_k∈R^I×F是所有路段的表达，T_k∈R^J×F是时间间隔的表达；路段i与矩阵S_k的向量S_i，：，k∈R^F相关联，时间间隔j与矩阵S_k的向量T_j，：，k∈R^F相关联，点积S_i，：，k·T_j，：，k是路段i在第k天的时间段j上的拥堵程度的近似值

S24：在S23中的限制条件g₂描述为：

其中，W表示时间间隔的数目，表示j周围2*W个时间间隔预测值的均值，T_{j-ω，：，k}是根据路段相似性进行分解的结果，表示第j-ω个时间间隔的表达；T_{j+ω，：，k}是根据路段相似性进行分解的结果，表示第j+ω个时间间隔的表达。

5.如权利要求4所述的方法，其特征是，对所有的天-时间间隔矩阵执行步骤S21和S22的分解过程；

对所有的路段-时间间隔矩阵执行步骤S23和S24的分解过程；

最终，得到P∈R^K×F×I，Q∈R^J×F×I，S∈R^I×F×K和T∈R^J×F×K四个因子张量。

6.如权利要求1所述的方法，其特征是，所述对联合矩阵分解中的结果进行整合所采用的方式为线性回归。

7.如权利要求1所述的方法，其特征是，所述缺失数据补全具体过程如下：

其中，β表示周期性的效力；1-β表示路段相似性的效力；是原始张量中c_i，j，k的估计值。

8.一种交通数据补全系统，其特征是，包括：

三维交通数据张量构建模块，其被配置为：设定时间间隔Δt，将待补全的交通数据构建成关于路段-时间间隔-天的三维交通数据张量，三维交通数据张量中每个元素表示某天某时间间隔某个路段的车辆拥堵程度；所述三维交通数据张量包括若干个缺失值；

联合矩阵分解模块，其被配置为：对三维交通数据张量进行联合矩阵分解，从三维交通数据张量中提取出路段-时间间隔矩阵和天-时间间隔矩阵；对路段-时间间隔矩阵和天-时间间隔矩阵分别进行分解操作；

整合模块，其被配置为：对联合矩阵分解中的结果进行整合，得到完整的交通拥堵程度张量从而，实现对交通数据的补全。

9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。