CN111310833B - 一种基于贝叶斯神经网络的出行方式识别方法 - Google Patents

一种基于贝叶斯神经网络的出行方式识别方法 Download PDF

Info

Publication number
CN111310833B
CN111310833B CN202010101845.5A CN202010101845A CN111310833B CN 111310833 B CN111310833 B CN 111310833B CN 202010101845 A CN202010101845 A CN 202010101845A CN 111310833 B CN111310833 B CN 111310833B
Authority
CN
China
Prior art keywords
neural network
data set
travel
vector
approximate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010101845.5A
Other languages
English (en)
Other versions
CN111310833A (zh
Inventor
裴欣
胡坚明
贾邵程
岳云
李力
江逸楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
China Academy of Electronic and Information Technology of CETC
Original Assignee
Tsinghua University
China Academy of Electronic and Information Technology of CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, China Academy of Electronic and Information Technology of CETC filed Critical Tsinghua University
Priority to CN202010101845.5A priority Critical patent/CN111310833B/zh
Publication of CN111310833A publication Critical patent/CN111310833A/zh
Application granted granted Critical
Publication of CN111310833B publication Critical patent/CN111310833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q50/40—

Abstract

本发明涉及一种基于贝叶斯神经网络的出行方式识别方法，其特征在于包括以下步骤：1)对原始交通出行数据进行预处理，得到预处理后的数据集；2)对预处理后的数据集进行速度统计直方图特征抽取，从得到的速度统计直方图特征中随机抽取若干组作为训练数据集，其他数据作为测试数据集；3)根据步骤2)中得到的训练数据集和测试数据集的维度大小，构建贝叶斯神经网络；4)利用步骤2)中的训练数据集对步骤3)中构建的贝叶斯神经网络进行训练，得到训练好的贝叶斯神经网络；5)利用步骤4)中训练好的贝叶斯神经网络对测试数据集进行测试，得到测试数据集的出行方式识别结果。本发明可以广泛应用于智能交通和模式识别领域。

Description

一种基于贝叶斯神经网络的出行方式识别方法
技术领域
本发明属于交通数据分析领域，特别是涉及一种基于贝叶斯神经网络的出行方式识别方法。
背景技术
随着现代计算机技术和智能交通研究的蓬勃发展，模式识别技术得到了极大的扩充，衍生出了很多适应现代数据种类和量级变化的新方法。近年来，神经网络技术成为主流，并成功的被用于各种场景和行业中，取得了前所未有的成功。但是，尽管如此，神经网络技术也逐渐凸显出一些不足。首先，目前所使用的传统神经网络技术非常容易陷入过拟合的困境，尤其是对于小数据集。其次，传统神经网络的泛化能力不强。用某个数据集训练的模型，在相同或者相似数据集上表现尚可，如果换做同一个任务下的不同场景，其表现极差。最后，目前的传统神经网络无法对网络的输出进行评估，即无法对输出进行不确定性评估，而对于实际应用来说，是非常重要的。
出行方式识别是交通领域的一个基础性问题，对于居民出行调查、交通规划、交通管理等方面具有十分重要的意义。随着大数据时代的到来，海量的交通数据分析代替了传统的问卷调查，多源异构交通数据对出行方式识别带来了新的问题，第一，多源异构交通数据质量参差不齐，而传统神经网络对大噪声数据处理能力有限，适用性较低；第二、传统神经网络算法的特征提取方法在处理海量交通数据方面效率低；第三、传统神经网络对出行方式的识别精度有限，且识别方法极易陷入过拟合。
发明内容
针对上述问题，本发明的目的是提供一种基于贝叶斯神经网络的出行方式识别方法，该方法利用基于变分推断的贝叶斯神经网络和反向传播算法，以速度统计直方图特征为输入，得到出行方式的识别结果。有效提高了出行方式识别的稳定性和质量。
为实现上述目的，本发明采取以下技术方案：一种基于贝叶斯神经网络的出行方式识别方法，其包括以下步骤：1)对原始交通出行数据进行预处理，得到预处理后的数据集；2)对预处理后的数据集进行速度统计直方图特征抽取，从得到的速度统计直方图特征中随机抽取若干组作为训练数据集，其他数据作为测试数据集；3)根据步骤2)中得到的训练数据集和测试数据集的维度大小，构建贝叶斯神经网络；4)利用步骤2)中的训练数据集对步骤3)中构建的贝叶斯神经网络进行训练，得到训练好的贝叶斯神经网络；5)利用步骤4)中训练好的贝叶斯神经网络对测试数据集进行测试，得到测试数据集的出行方式识别结果。
进一步的，所述步骤1)中，对原始交通出行数据进行预处理，得到预处理后的数据集的方法，包括以下步骤：1.1)获取原始交通出行数据，所获取的数据字段包含时间、经纬度、出行方式；1.2)按照出行方式对所有原始交通出行数据进行轨迹划分，得到多个出行子轨迹段，并计算各条出行子轨迹段的近似速度向量s；1.3)对步骤1.2)中得到的所有出行子轨迹段的近似速度向量s进行处理，得到预处理后的数据集。
进一步的，所述步骤1.1)中，原始数据中每两个轨迹点之间的时间间隔不超过10秒。
进一步的，所述步骤1.2)中，计算各条出行子轨迹段的近似速度向量s的方法为：1.2.1)计算每条出行子轨迹段中所有出行轨迹点之间的时间间隔，得到每条出行子轨迹段的时间间隔向量t；1.2.2)计算每条出行子轨迹段中所有轨迹点之间的曼哈顿距离值，得到每条出行子轨迹段的距离间隔向量d；1.2.3)用每条出行子轨迹段的距离间隔向量d除以时间间隔向量t，得到每条出行子轨迹段的近似速度向量s。
进一步的，所述步骤1.3)中，对步骤1.2)中得到的所有出行子轨迹段的近似速度向量s进行处理，得到预处理后的数据集的方法，包括以下步骤：1.3.1)计算每个近似速度向量s的平均速度v；1.3.2)计算每个近似速度向量s的标准差δ；1.3.3)对于每个近似速度向量s，遍历其每个元素si，如|si-v|>3δ，则元素si将被视为漂移速度从s中删除，进而得到预处理后的数据集。
进一步的，所述步骤2)中，对步骤1)中得到的预处理后的数据集提取速度统计直方图特征的方法，包括以下步骤：2.1)根据预设速度间隔对每条出行子轨迹段的近似速度向量进行特征向量提取，得到每条出行子轨迹段的特征向量；2.2)对所有出行子轨迹段的特征向量进行归一化，得到归一化后的特征向量；2.3)根据预设长度阈值对所有归一化后的特征向量长度进行处理，去除长度小于最小长度阈值的特征向量；对于长度超过最大长度阈值的特征向量进行切割，使切割后特征向量的长度在最小长度阈值和最大长度阈值构成的有效长度之间；2.4)从得到的特征向量中随机抽取若干组作为训练数据集，其他数据作为测试数据集。
进一步的，所述步骤2.1)中，根据预设速度间隔对每条出行子轨迹段的近似速度向量进行特征向量提取，得到每条出行子轨迹段的特征向量的方法为：
对于处于0到100之间的速度，按照预设速度间隔k进行统计，得到长度为
Figure BDA0002387124410000021
Figure BDA0002387124410000022
的特征向量；
对于超过100的速度进行统一统计，最终形成
Figure BDA0002387124410000023
维的特征向量；
进一步的，所述步骤3)中，根据步骤2)中得到的训练数据集和测试数据集的维度大小，构建贝叶斯神经网络的方法，包括以下步骤：3.1)根据步骤2)中得到的训练数据集和测试数据集的维度大小，确定贝叶斯神经网络的设定输入尺寸和隐藏层数目，进而构建贝叶斯神经网络，并记贝叶斯神经网络中的所有参数为W，训练数据为D，并构成未知分布P(W|D)；3.2)采用变分估计法对贝叶斯神经网络的未知分布P(W|D)进行近似，得到其近似分布q(W|θ)，其中，θ为近似分布q的参数；3.3)根据贝叶斯公式对步骤3.2)中的近似分布q(W|θ)进行转换，并采用蒙特卡洛采样方法得到贝叶斯神经网络结构的损失函数；3.4)基于步骤3.3)得到的损失函数，利用反向传播算法对贝叶斯神经网络进行训练。
进一步的，所述步骤3.2)中，近似分布q(W|θ)的计算公式为：
Figure BDA0002387124410000031
式中，θ*为贝叶斯神经网络中所有参数W的近似解；KL为一种距离度量。
进一步的，所述步骤3.3)中，贝叶斯神经网络的损失函数为：
Figure BDA0002387124410000032
其中，W(i)为W的采样。
本发明由于采取以上技术方案，其具有以下优点：(1)本发明对原始交通出行数据进行预处理时，采用速度统计直方图特征提取，提取方法简单有效。(2)本发明根据由原始交通出行数据提取得到的特征向量的维度确定贝叶斯神经网络输入尺寸和隐藏层数目，通过调整特征向量的预设速度阈值和预设长度阈值大小，对贝叶斯神经网络模型进行调整，进而使得模型识别结果更精确。(3)本发明利用贝叶斯神经网络对出行方式进行识别，具有高抗噪性，可利用少量数据进行较好的预测，具有较强的泛化能力，提高预测精度，并防止训练的过拟合。因此，本发明可以广泛应用于出行方式识别领域。
附图说明
图1是本发明贝叶斯全连接神经网络结构示意图；
图2是本发明实例中的贝叶斯神经网络结构图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
本发明提出的一种基于贝叶斯神经网络的出行方式识别方法，其包括以下步骤：
1)对原始交通出行数据进行预处理，得到预处理后的数据集；
2)根据预设速度间隔对预处理后的数据集进行速度统计直方图特征抽取，从得到的速度统计直方图特征中随机抽取若干组作为训练数据集，其他的作为测试数据集；
3)根据步骤2)确定的训练数据集和测试数据集的维度大小，构建贝叶斯神经网络；
4)利用步骤2)中的训练数据集对步骤3)中构建的贝叶斯神经网络进行训练，得到训练好的贝叶斯神经网络；
5)利用步骤4)中训练好的贝叶斯神经网络对测试数据集进行测试，得到测试数据集的出行方式识别结果。
进一步的，上述步骤1)中，对原始交通出行数据进行预处理，得到预处理后的数据集的方法，包括以下步骤：
1.1)获取原始交通出行数据，所获取的数据字段应当至少包含时间、经纬度、出行方式，为保证方法的有效性，所获取的数据应当保证每两个轨迹点尽可能稠密，本发明中认为每两个轨迹点之间的时间间隔最好不超过10秒；
1.2)按照出行方式对所有原始交通出行数据进行轨迹划分，得到多个出行子轨迹段，并计算各出行子轨迹段的近似速度向量s。
其中，进行轨迹划分时，每个出行子轨迹段只含有一种出行方式，计算各条出行子轨迹段的近似速度向量s的方法，包括以下步骤：
1.2.1)计算每条出行子轨迹段中所有出行轨迹点之间的时间间隔，得到每条出行子轨迹段的时间间隔向量t；
1.2.2)计算每条出行子轨迹段中所有轨迹点之间的曼哈顿距离值，得到每条出行子轨迹段的距离间隔向量d；
1.2.3)用每条出行子轨迹段的距离间隔向量d除以时间间隔向量t，得到每条出行子轨迹段的近似速度向量s。需注意的是，如果某出行子轨迹段的长度为n，则其对应的距离间隔向量d、时间间隔向量t和近似速度向量s的长度均为n-1。
1.3)对步骤1.2)中得到的所有出行子轨迹段的近似速度向量s进行处理，去除漂移速度点，得到的数据即为预处理后的数据集。具体步骤如下：
1.3.1)计算每个近似速度向量s的平均速度v；
1.3.2)计算每个近似速度向量s的标准差δ；
1.3.3)对于每个近似速度向量s，遍历其每个元素si，如|si-v|>3δ，则元素si将被视为漂移速度从近似速度向量s中删除；至此，得到了预处理后的数据集。
进一步的，上述步骤2)中，根据预设速度间隔对步骤1)中得到的预处理后的数据集提取速度统计直方图特征，也即对每个预处理后的近似速度向量s进行速度直方图统计，具体包括以下步骤：
2.1)对每条出行子轨迹段的近似速度向量进行特征向量提取，提取方法为：对于处于0到100之间的速度，按照预设的速度间隔k进行统计，得到长度为
Figure BDA0002387124410000051
(
Figure BDA0002387124410000052
为向上取整符号)的特征向量，对于超过100的速度进行统一统计，最终形成
Figure BDA0002387124410000053
维的特征向量。
2.2)对得到的所有特征向量进行归一化，即令所得的特征向量除以特征向量中所有元素的和，得到归一化的特征向量；
2.3)根据预设长度阈值对所有归一化后的特征向量长度进行处理，方法为：去除长度小于最小长度阈值的特征向量；对于长度超过最大长度阈值的特征向量进行切割，使切割后特征向量的长度在最小长度阈值和最大长度阈值构成的有效长度之间。
对于不同的数据，需根据具体的数据质量确定最小长度阈值和最大长度阈值。具体确定方法为：对所有长度的特征向量进行训练，并在测试集上进行测试。对所有长度的特征向量按向量长度进行划分统计其测试准确率(如长度为0至120，120至240，以此类推分别统计其测试准确率，此处的间隔可自由确定，根据实验推荐60-180)。为保障方法的准确率，发现过短或者过长的向量都会导致准确率低。本发明实施例中，以测试准确率0.8为界限，得到最小长度阈值为190，最大长度阈值为1650。
2.4)从得到的特征向量中随机抽取若干组作为训练数据集，其他数据作为测试数据集。
进一步的，上述步骤3)中，利用步骤2)中得到的训练数据集和测试数据集中特征向量维度大小设计贝叶斯神经网络。具体步骤为：
3.1)构建贝叶斯神经网络，并记贝叶斯神经网络中的所有参数为W，训练数据为D。
如图1所示，为贝叶斯全连接神经网络结构。该贝叶斯权连接神经网络结构包括输入层、隐藏层和输出层。本发明中采用贝叶斯全连接神经网络，根据步骤2)中确定的训练数据集和测试数据集的维度大小为贝叶斯神经网络设定输入尺寸和隐藏层数目。
对贝叶斯神经网络进行训练，即是对贝叶斯神经网络的网络参数W进行最大后验估计，如下：
WMAP＝arg maxWlog P(W|D) (1)
其与传统神经网络的最大似然估计完全不同。但是通常情况下P(W|D)对任何实际的神经网络都是无法直接获得的。即使是非常简单的任务，也无法得知其对应的神经网络的参数分布是如何的。
3.2)采用变分估计法对贝叶斯神经网络中的未知分布P(W|D)进行近似，得到其近似分布q(W|θ)，其中，θ为近似分布q的参数。
因为公式(1)中实际的分布的形式无法得知，于是本发明采用一种形式可表达的已知分布作为未知分布P(W|D)的近似分布，记为q(W|θ)，θ为近似分布q的参数。于是，问题转化为：
Figure BDA0002387124410000061
式中，θ*为优化问题arg minθKL[q(W|θ)||P(W|D)]的解，即近似得到的网络参数；KL为一种距离度量。Kullback-Leibler Divergence，即K-L散度，是一种量化两种概率分布P和Q之间差异的方式，又叫相对熵；arg为求解优化问题的基本符号表达。
3.3)根据贝叶斯公式对步骤3.2)中的近似分布q(W|θ)进行转换，并采用蒙特卡洛采样方法得到贝叶斯神经网络结构的损失函数。
根据贝叶斯公式，可以将上式(2)转换为：
Figure BDA0002387124410000062
记损失函数为Loss，则：
Loss＝KL[q(W|θ)||P(W)]–Eq(W|θ)[log P(D|W)]
＝∫q(W|θ)log q(W|θ)dW–∫q(W|θ)log P(W)dW-∫q(W|θ)log P(D|W)dW (4)
上式(4)中q(W|θ),P(W)和P(D|W)同样无法直接得到，因此，本发明采用蒙特卡洛采样解决如上问题，得到贝叶斯神经网络的损失函数为：
Figure BDA0002387124410000063
其中，W(i)为W的采样。
3.4)基于步骤3.3)得到的损失函数，利用反向传播算法对贝叶斯神经网络进行训练。
记贝叶斯神经网络中每个权重分布均由高斯分布近似，记高斯分布参数为μ和σ，由反向传播算法包括以下计算公式：
ξ～N(0,1) (6)
θ＝(μ,σ) (7)
W＝μ+log(1+eσ)*ξ (8)
l＝log q(W|θ)–log P(W)·P(D|W) (9)
Figure BDA0002387124410000071
Figure BDA0002387124410000072
Figure BDA0002387124410000073
式中，N为高斯分布；ξ为高斯分布的采样；θ代表参数(μ,σ)，μ为平均数，σ为方差；W为贝叶斯神经网络中用于前向传播的实际参数值；log代表底数为e的对数运算；*代表按位乘法运算；q(W|θ)为近似的高斯分布；P(W)为先验分布；P(D|W)为实际的分布；l为损失函数；
Figure BDA0002387124410000074
为梯度算子；
Figure BDA0002387124410000075
为对μ的梯度；e为常数；←表示用后面的式子的值更新前面的变量。
采用反向传播算法对贝叶斯神经网络进行训练为本领域技术人员公知技术，本发明在此不再赘述。
进一步的，上述步骤4)中，利用步骤3)中的反向传播算法和损失函数对所设计的贝叶斯神经网络进行训练时，具体包含设置优化器类型、并设置动量、权重衰减、初始学习率、学习率衰减策略、迭代次数和批次大小。具体训练方法为本领域技术人员公知技术，本发明在此不再赘述。
进一步的，上述步骤5)中，利用步骤4)中训练好的贝叶斯神经网络模型对测试集进行精度测试和应用于实际的预测当中。
实施例一：
本实施例是对由微软亚洲研究院搜集的Geolife数据集进行出行方式识别，步骤如下：
1)对原始交通出行数据进行预处理，得到预处理后的数据集：
Geolife数据集包含182个用户的轨迹数据，其中91.5％的数据为稠密数据，即每两个估计之间的时间间隔在1到5秒之间，距离间隔在5到10米。
按照步骤1.2)对所有数据按照出行方式进行轨迹划分。计算所有出行轨迹点之间的时间间隔，得到每条出行轨迹的时间间隔向量t。同样计算出行轨迹点之间的曼哈顿距离值，得到距离间隔向量d。然后用每条轨迹的距离间隔向量d除以时间间隔向量t，得到每条轨迹的近似速度向量s。注意，如果某轨迹的长度为n，则向量d、t和s的长度均为n-1；
按照步骤1.3)对步骤1.2)中得到的近似速度向量s进行预处理，去除漂移速度点。具体步骤如下：
1.3.1)计算每个近似速度向量s的平均速度v；
1.3.2)计算每个近似速度向量s的标准差δ；
1.3.3)对于每个近似速度向量s，遍历其每个元素si，如|si-v|>3δ，si将被视为漂移速度从s中删除；
至此，得到了预处理后的数据集。
2)对步骤1)中得到预处理后数据提取速度统计直方图特征。对每个预处理后的近似速度向量进行速度直方图统计。具体来说，设置速度间隔k为0.1，从速度0到速度100按照速度间隔k进行统计，得到长度为
Figure BDA0002387124410000081
为1001(
Figure BDA0002387124410000082
为向上取整符号)的特征向量，对于超过100的速度进行统计，最终形成
Figure BDA0002387124410000083
为1002维的特征向量。最后对所得的特征向量除以向量中所有元素的和，得到归一化的特征向量。对所有归一化后的特征向量长度进行统计，去除长度小于190的特征向量。对于长度超过1650的特征向量进行切割，使切割后的长度在有效长度190到1650之间。至此，完成数据的准备工作。如表1所示，为处理完成后的数据集情况。本实例中训练和预测的出行方式包含步行、公交、自行车、汽车和地铁5种。各种方式的数据量如表中所示。其中按比例30％用于测试，70％用于训练。
表1处理后数据集
Figure BDA0002387124410000084
3)利用步骤2)中得到的特征向量维度1002维设计贝叶斯神经网络。具体步骤为：
3.1)贝叶斯神经网络理论设计。
如图2所示，为本实施例中搭建的贝叶斯神经网络模型。
3.2)采用变分估计法对贝叶斯神经网络中的位置分布P(W|D)进行近似，得到其近似分布q(W|θ)，其中，W为贝叶斯神经网络的所有参数，D为训练数据，θ为近似分布q的参数。
记贝叶斯神经网络所有参数为W，训练数据为D。对于贝叶斯神经网络即对参数进行最大后验估计：
WMAP＝arg maxWlog P(W|D)
其与传统神经网络的最大似然估计完全不同。但是通常情况下P(W|D)对任何实际的神经网络都是无法直接获得的。即使是非常简单的任务，也无法得知其对应的神经网络的参数分布是如何的。
为了解决上述问题，本发明采用变分估计去近似P(W|D)。因为实际的分布的形式无法得知，于是采用一种形式可表达的已知分布作为位置分布P(W|D)的近似分布，记为q(W|θ)，θ为近似分布q的参数。于是，问题转化为：
Figure BDA0002387124410000091
3.3)根据贝叶斯公式对步骤3.2)中的近似分布进行转换，并采用蒙特卡洛采样方法得到贝叶斯神经网络结构的损失函数。
根据贝叶斯公式有：
Figure BDA0002387124410000092
记损失函数为Loss：
Loss＝KL[q(W|θ)||P(W)]–Eq(W|θ)[log P(D|W)]
＝∫q(W|θ)log q(W|θ)dW–∫q(W|θ)log P(W)dW-∫q(W|θ)log P(D|W)dW
上式中q(W|θ)，P(W)和P(D|W)同样无法直接得到，这里，采用蒙特卡洛采样解决如上问题，得到：
Figure BDA0002387124410000101
其中W(i)为W的采样。
3.4)基于步骤3.3)得到的损失函数，利用反向传播算法对贝叶斯神经网络进行训练。
得到损失函数后，利用反向传播算法对网络进行训练。记贝叶斯神经网络中每个权重分布均由高斯分布近似，记高斯分布参数为μ和σ。
以上便完成了贝叶斯神经网络的理论设计。
如图2所示，本实施例中采用贝叶斯全连接神经网络，根据2)中设定的参数设定贝叶斯神经网络设定输入尺寸为1002维向量。贝叶斯全连接神经网络结构包含一个输入层、一个输出层和中间三层隐藏层。输出层尺寸为5，隐藏层尺寸均为400。
4)利用步骤3)中的反向传播算法和损失函数对所设计的贝叶斯神经网络进行训练。设置优化器类型为Adam优化器，动量、权重衰减、初始学习率和学习率衰减策略均采用默认值。批次大小为128，迭代次数为60个周期。
5)利用步骤4)中训练好的模型对测试集进行精度测试。结果如表2所示。
表2贝叶斯神经网络测试性能
Figure BDA0002387124410000102
以上给出一种具体的实施方式，但本发明不局限于所描述的实施方式。本发明的基本思路在于上述方案，对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变形仍落入本发明的保护范围内。

Claims (7)

1.一种基于贝叶斯神经网络的出行方式识别方法，其特征在于包括以下步骤：
1)对原始交通出行数据进行预处理，得到预处理后的数据集；
包括以下步骤：
1.1)获取原始交通出行数据，所获取的数据字段包含时间、经纬度、出行方式；
1.2)按照出行方式对所有原始交通出行数据进行轨迹划分，得到多个出行子轨迹段，并计算各条出行子轨迹段的近似速度向量s；
1.3)对步骤1.2)中得到的所有出行子轨迹段的近似速度向量s进行处理，得到预处理后的数据集；
2)对预处理后的数据集进行速度统计直方图特征抽取，从得到的速度统计直方图特征中随机抽取若干组作为训练数据集，其他数据作为测试数据集；
包括以下步骤：
2.1)根据预设速度间隔对每条出行子轨迹段的近似速度向量进行特征向量提取，得到每条出行子轨迹段的特征向量；
2.2)对所有出行子轨迹段的特征向量进行归一化，得到归一化后的特征向量；
2.3)根据预设长度阈值对所有归一化后的特征向量长度进行处理，去除长度小于最小长度阈值的特征向量；对于长度超过最大长度阈值的特征向量进行切割，使切割后特征向量的长度在最小长度阈值和最大长度阈值构成的有效长度之间；
2.4)从得到的特征向量中随机抽取若干组作为训练数据集，其他数据作为测试数据集；
3)根据步骤2)中得到的训练数据集和测试数据集的维度大小，构建贝叶斯神经网络；
包括以下步骤：
3.1)根据步骤2)中得到的训练数据集和测试数据集的维度大小，确定贝叶斯神经网络的设定输入尺寸和隐藏层数目，进而构建贝叶斯神经网络，并记贝叶斯神经网络中的所有参数为W，训练数据为D，并构成未知分布P(W|D)；
3.2)采用变分估计法对贝叶斯神经网络的未知分布P(W|D)进行近似，得到其近似分布q(W|θ)，其中，θ为近似分布q的参数；
3.3)根据贝叶斯公式对步骤3.2)中的近似分布q(W|θ)进行转换，并采用蒙特卡洛采样方法得到贝叶斯神经网络结构的损失函数；
3.4)基于步骤3.3)得到的损失函数，利用反向传播算法对贝叶斯神经网络进行训练；
4)利用步骤2)中的训练数据集对步骤3)中构建的贝叶斯神经网络进行训练，得到训练好的贝叶斯神经网络；
5)利用步骤4)中训练好的贝叶斯神经网络对测试数据集进行测试，得到测试数据集的出行方式识别结果。
2.如权利要求1所述的一种基于贝叶斯神经网络的出行方式识别方法，其特征在于：所述步骤1.1)中，原始数据中每两个轨迹点之间的时间间隔不超过10秒。
3.如权利要求1所述的一种基于贝叶斯神经网络的出行方式识别方法，其特征在于：所述步骤1.2)中，计算各条出行子轨迹段的近似速度向量s的方法为：
1.2.1)计算每条出行子轨迹段中所有出行轨迹点之间的时间间隔，得到每条出行子轨迹段的时间间隔向量t；
1.2.2)计算每条出行子轨迹段中所有轨迹点之间的曼哈顿距离值，得到每条出行子轨迹段的距离间隔向量d；
1.2.3)用每条出行子轨迹段的距离间隔向量d除以时间间隔向量t，得到每条出行子轨迹段的近似速度向量s。
4.如权利要求1所述的一种基于贝叶斯神经网络的出行方式识别方法，其特征在于：所述步骤1.3)中，对步骤1.2)中得到的所有出行子轨迹段的近似速度向量s进行处理，得到预处理后的数据集的方法，包括以下步骤：
1.3.1)计算每个近似速度向量s的平均速度v；
1.3.2)计算每个近似速度向量s的标准差δ；
1.3.3)对于每个近似速度向量s，遍历其每个元素si，如|si-v|>3δ，则元素si将被视为漂移速度从s中删除，进而得到预处理后的数据集。
5.如权利要求1所述的一种基于贝叶斯神经网络的出行方式识别方法，其特征在于：所述步骤2.1)中，根据预设速度间隔对每条出行子轨迹段的近似速度向量进行特征向量提取，得到每条出行子轨迹段的特征向量的方法为：
对于处于0到100之间的速度，按照预设速度间隔k进行统计，得到长度为
Figure FDA0003874232650000021
Figure FDA0003874232650000022
的特征向量；
对于超过100的速度进行统一统计，最终形成
Figure FDA0003874232650000023
维的特征向量。
6.如权利要求1所述的一种基于贝叶斯神经网络的出行方式识别方法，其特征在于：所述步骤3.2)中，近似分布q(W|θ)的计算公式为：
Figure FDA0003874232650000024
式中，θ*为优化问题arg minθKL[q(W|θ)||P(W|D)]的解，即贝叶斯神经网络中所有参数W的近似解；KL为一种距离度量。
7.如权利要求1所述的一种基于贝叶斯神经网络的出行方式识别方法，其特征在于：所述步骤3.3)中，贝叶斯神经网络的损失函数为：
Figure FDA0003874232650000031
其中，W(i)为W的采样。
CN202010101845.5A 2020-02-19 2020-02-19 一种基于贝叶斯神经网络的出行方式识别方法 Active CN111310833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010101845.5A CN111310833B (zh) 2020-02-19 2020-02-19 一种基于贝叶斯神经网络的出行方式识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010101845.5A CN111310833B (zh) 2020-02-19 2020-02-19 一种基于贝叶斯神经网络的出行方式识别方法

Publications (2)

Publication Number Publication Date
CN111310833A CN111310833A (zh) 2020-06-19
CN111310833B true CN111310833B (zh) 2022-11-15

Family

ID=71149194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010101845.5A Active CN111310833B (zh) 2020-02-19 2020-02-19 一种基于贝叶斯神经网络的出行方式识别方法

Country Status (1)

Country Link
CN (1) CN111310833B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022074711A1 (ja) 2020-10-05 2022-04-14 日本電信電話株式会社 学習方法、推定方法、学習装置、推定装置、及びプログラム
CN112650770B (zh) * 2020-12-31 2023-08-01 东北大学 基于query workload分析的MySQL参数推荐方法
CN113221934A (zh) * 2021-01-25 2021-08-06 上海海事大学 一种基于规则和高斯过程分类器检测出行方式的方法
CN112884215A (zh) * 2021-02-02 2021-06-01 国网甘肃省电力公司信息通信公司 一种基于梯度增强树人口预测模型的参数优化方法
CN112966193B (zh) * 2021-03-05 2023-07-25 北京百度网讯科技有限公司 出行意图推断方法、模型训练方法、相关装置及电子设备
CN113063412B (zh) * 2021-03-25 2022-12-02 北京理工大学 一种基于可靠性分析的多机器人协同定位与建图方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339608A (zh) * 2016-11-09 2017-01-18 中国科学院软件研究所 一种基于在线变分贝叶斯支持向量回归的交通事故率预测系统
WO2018122585A1 (zh) * 2016-12-30 2018-07-05 同济大学 一种基于浮动车数据的城市道路交通异常检测方法
CN109522432A (zh) * 2018-09-21 2019-03-26 重庆大学 一种融合自适应相似度和贝叶斯框架的图像检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339608A (zh) * 2016-11-09 2017-01-18 中国科学院软件研究所 一种基于在线变分贝叶斯支持向量回归的交通事故率预测系统
WO2018122585A1 (zh) * 2016-12-30 2018-07-05 同济大学 一种基于浮动车数据的城市道路交通异常检测方法
CN109522432A (zh) * 2018-09-21 2019-03-26 重庆大学 一种融合自适应相似度和贝叶斯框架的图像检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
UGES反向传导算法:一种新的小样本深度机器学习模型;马超等;《黑龙江大学自然科学学报》;20151225(第06期);全文 *
轨迹数据挖掘的方法研究;徐广根;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115;全文 *

Also Published As

Publication number Publication date
CN111310833A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111310833B (zh) 一种基于贝叶斯神经网络的出行方式识别方法
CN106371610B (zh) 一种基于脑电信号的驾驶疲劳的检测方法
CN107103754B (zh) 一种道路交通状况预测方法及系统
Liu Multi-feature fusion for specific emitter identification via deep ensemble learning
Markos et al. Unsupervised deep learning for GPS-based transportation mode identification
CN110444011B (zh) 交通流高峰识别方法、装置、电子设备及存储介质
CN109359135B (zh) 一种基于分段权重的时间序列相似性搜索方法
CN111355675B (zh) 一种基于生成对抗网络的信道估计增强方法、装置和系统
CN105046714A (zh) 一种非监督的基于超像素和目标发现机制的图像分割方法
CN111985383A (zh) 基于改进变分模态分解的瞬变电磁信号噪声分离识别方法
CN105260748A (zh) 一种不确定数据的聚类方法
US20220051075A1 (en) Methods and apparatuses for tracking weak signal traces
CN113312596B (zh) 一种基于深度学习和异步轨迹数据的用户身份识别方法
Kaiser et al. Multiple hypotheses at multiple scales for audio novelty computation within music
Wang et al. Reconstruction of missing trajectory data: a deep learning approach
CN114048792A (zh) 一种基于低精度随机采样数据的轨迹相似度匹配方法
Wang et al. Fuzzy C-means clustering algorithm for automatically determining the number of clusters
WO2022188574A1 (zh) 一种回归任务的深度学习方法和装置
CN112738724B (zh) 一种区域目标人群的精准识别方法、装置、设备和介质
Purnawansyah et al. K-Means clustering implementation in network traffic activities
Divya et al. An Efficient Approach to Determine Number of Clusters Using Principal Component Analysis
Doan et al. Sparse regression-based multiple sequence alignment
CN113111774A (zh) 一种基于主动增量式微调的雷达信号调制方式识别方法
CN113722374B (zh) 基于后缀树的时间序列变长模体挖掘方法
Chen et al. A New Time Series Similarity Measurement Method Based on Fluctuation Features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant