CN112101425A - 交通模式聚类模型训练方法、模式识别方法及存储介质 - Google Patents
交通模式聚类模型训练方法、模式识别方法及存储介质 Download PDFInfo
- Publication number
- CN112101425A CN112101425A CN202010869101.8A CN202010869101A CN112101425A CN 112101425 A CN112101425 A CN 112101425A CN 202010869101 A CN202010869101 A CN 202010869101A CN 112101425 A CN112101425 A CN 112101425A
- Authority
- CN
- China
- Prior art keywords
- clustering
- traffic
- data
- layer
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 28
- 238000012567 pattern recognition method Methods 0.000 title claims abstract description 17
- 239000002131 composite material Substances 0.000 claims abstract description 20
- 238000003909 pattern recognition Methods 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 8
- 230000036461 convulsion Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000007634 remodeling Methods 0.000 claims description 5
- 238000004138 cluster model Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 23
- 238000007418 data mining Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000003064 k means clustering Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010002942 Apathy Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种交通模式聚类模型训练方法、模式识别方法及存储介质，涉及智能交通技术领域。本申请实施例包括：在卷积自编码器网络的嵌入层上附加聚类层以获取复合聚类模型；采用复合聚类模型对无标签交通轨迹数据进行训练，获取交通模式聚类模型。本申请通过对无标签数据进行数据挖掘和算法设计，可以有效地缓解标签数据需求并且节省应用成本；通过在卷积自编码器网络的嵌入层上附加聚类层，能够获取更好的聚类性能；通过无标签交通轨迹数据训练复合聚类模型获取交通模式聚类模型，能够实现在无标签的无监督学习条件下对交通模式的识别。
Description
技术领域
本申请实施例涉及智能交通技术领域，尤其是涉及一种交通模式聚类模型训练方法、模式识别方法及存储介质。
背景技术
交通模式识别是一种通过用户的出行数据来推断其出行方式的一种任务。交通模式识别基于位置的服务，可以根据用户的实时位置和出行信息向用户提供准确、个性化的信息。
全球定位系统(Global Positioning System，GPS)传感器是一种可以捕获具有时间戳和经纬度多元组的传感器。它们被部署在大多数智能手机和汽车上，和用户的行为有较强的相关性，比传统定位传感器覆盖更广泛的路径。然而，仅根据GPS轨迹数据来推断用户的出行方式是十分困难的，因为GPS传感器只能记录用户移动的时空特征，对所使用的出行方式没有明确的信息。
发明内容
本申请旨在一定程度上至少解决现有技术中存在的技术问题之一。为此，本申请实施例提供了一种交通模式聚类模型训练方法、模式识别方法及存储介质，能够有效地利用无标签数据，实现在无标签的无监督学习条件下对交通模式的识别。
第一方面，本申请实施例提供了一种交通模式聚类模型训练方法，包括：在卷积自编码器网络(CAE)的嵌入层上附加聚类层以获取复合聚类模型；采用复合聚类模型对无标签交通轨迹数据进行训练，获取交通模式聚类模型。
本申请实施例提供的交通模式聚类模型训练方法至少具有如下有益效果：
1.通过对无标签数据进行数据挖掘和算法设计，可以有效地缓解标签数据需求并且节省应用成本；
2.通过在卷积自编码器网络的嵌入层上附加聚类层，能够获取更好的聚类性能；
3.通过无标签交通轨迹数据训练复合聚类模型获取交通模式聚类模型，能够实现在无标签的无监督学习条件下对交通模式的识别。
在一些实施例中，无标签交通轨迹数据为多段路径切分的数据集。
在另一些实施例中，无标签交通轨迹数据包括局部特征数据和全局特征数据，局部特征数据包括以下至少之一：速度、加速度、加加速度；全局特征数据包括以下至少之一：平均速度、期望速度、最大速度、停止速率；停止速率为每段路径中速度小于阈值的数据点与全部数据点的数目之比。
在一些实施例中，卷积自编码器网络包括编码器和解码器，编码器包括第一卷积层、最大池化层和嵌入层；解码器包括第二卷积层、重塑层、反卷积层及反池化层。
在一些实施例中，在卷积自编码器网络的嵌入层上附加聚类层之前，还包括：使用无标签交通轨迹数据对卷积自编码器网络进行预训练。
在一些实施例中，采用复合聚类模型对无标签交通轨迹数据进行训练，包括：将无标签交通轨迹数据划分成至少一个嵌入样本；根据嵌入样本和可训练权值获取聚类隶属度；根据聚类隶属度获取归一化目标分布；根据归一化目标分布和聚类隶属度获取相对熵；采用相对熵对嵌入样本进行聚类。
在另一些实施例中，根据聚类隶属度获取归一化目标分布之后，还包括：采用频率更新超参数控制归一化目标分布的更新频率。
第二方面，本申请实施例提供了一种交通模式识别方法，包括：获取无标签交通轨道数据；采用第一方面一些实施例的交通模式聚类模型对无标签交通轨道数据进行处理，获取交通模式识别结果。
本申请实施例提供的交通模式识别方法至少具有如下有益效果：
1.通过对无标签数据进行数据挖掘和算法设计，可以有效地缓解标签数据需求，并且节省应用成本；
2.通过交通模式聚类模型对无标签交通轨道数据进行聚类，能够实现在无标签的无监督学习条件下对交通模式的识别。
第三方面，本申请实施例提供了一种存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现：第一方面一些实施例的交通模式聚类模型训练方法；或，第二方面一些实施例的交通模式识别方法。
本申请实施例提供的存储介质，通过设计自编码器的神经网络模型和聚类算法对无标签数据中的信息进行了有效的挖掘，能够实现在无标签的无监督学习条件下对交通模式的识别，而且能够降低对代价相对昂贵的标签数据的需求和模型应用的成本。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本申请实施例中交通模式聚类模型训练方法的一具体实施例的流程图；
图2是本申请实施例中复合聚类模型的一具体实施例的结构示意图；
图3是图1中步骤S120的一具体实施例的流程图。
具体实施方式
以下将结合实施例对本申请的构思及产生的技术效果进行清楚、完整地描述，以充分地理解本申请的目的、特征和效果。显然，所描述的实施例只是本申请的一部分实施例，而不是全部实施例，基于本申请的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本申请保护的范围。
需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中公开的方法包括用于实现方法的一个或多个步骤或动作。方法步骤和/或动作可以在不脱离权利要求的范围的情况下彼此互换。换句话说，除非指定步骤或动作的特定顺序，否则特定步骤和/或动作的顺序和/或使用可以在不脱离权利要求范围的情况下被修改。
智能交通的管理不仅需要用户移动的特征信息，同时也需要用户所选用交通模式的相关信息。交通模式识别是一种通过用户的出行数据来推断其出行方式的一种任务。交通模式识别基于位置的服务，可以根据用户的实时位置是和出行信息向用户提供准确、个性化的信息。例如，在电子广告牌上张贴有针对性的广告，或者通知用户出行相关的信息以便用户可以准时到达目的地。智能交通系统可以利用一定范围内的用户移动性和交通模式的信息，通过用户出行需求分析、路线建议和交通规划来改善交通管理水平。
交通模式识别的第一步是获取用户的移动数据。全球定位系统(GlobalPositioning System，GPS)传感器是一种可以捕获具有时间戳和经纬度多元组的传感器。它们被部署在大多数智能手机和汽车上，和用户的行为有较强的相关性，比传统定位传感器覆盖更广泛的路径。然而，仅根据GPS轨迹数据来推断用户的出行方式是十分困难的，因为GPS传感器只能记录用户移动的时空特征，对用户所使用的出行方式没有明确的信息。此外，出于缺乏动机以及隐私问题的考虑，用户可能不允许在他们的行程数据上打上相应的出行模式标签。
为了建立一个能够从可用的GPS数据获取有效知识的模型，早期的一些工作广泛地依赖启发式的思路，即将原始的轨迹数据转换为适合训练机器学习模型的表示。一些研究使用了贝叶斯网络、决策树、随机森林和支持向量机等方法。这些方法不仅受到领域专业知识的限制，而且还受到一个事实的限制，即相对距离和速度等基本特征容易受到GPS测量误差以及交通或环境等条件的影响。最近，深度学习模型在计算机视觉和自然语言处理等领域的表现引起了交通模式识别领域的重大兴趣。研究人员成功地使用了多层感知机、递归神经网络、卷积神经网络等技术进行了研究。然而，这些工作还没有严格解决从未标记的GPS数据中推断交通模式的问题。
针对这一问题，考虑到传统的聚类算法如K均值聚类算法(K-means ClusteringAlgorithm)在处理高维数据时表现不佳，无监督深度学习被认为是一个很有前途地解决方案。无监督深度学习包括了在没有任何标记样本的情况下，对深度神经网络进行训练。例如，自编码器(Autoencoder，AE)通常被训练成一种通过编码输入再使用编码后的数据以一个较低的误差重构输入的模型结构。然而，自编码器只是在进行最小化输入和输出数据之间重构误差。因此，经过训练的自编码器在中间层并不一定将始终为输入生成类似的嵌入(Embedding)，即一种集群友好性质的表示。
在最近的研究中，提出了几种使用深度神经网络的深度聚类方法。一些研究通过使用输入数据预训练一个自编码器，接着只优化聚类的损失，通过使用学习到的低维数据嵌入来进行聚类。在另一些研究中，层次聚类(Agglomerative Clustering)方法被应用到了使用自编码器学习到的特征上，层次聚类使用K-means迭代地对神经网络的输出进行分组，并将聚类后得到的分组作为训练标签以更新参数。在另一些研究中，通过首先训练一个去噪自编码器(Denoising Autoencoder，DAE)，然后用一个自定义的聚类层替换解码器，使用均方误差计算聚类损失，并对网络参数、簇以及聚类中心进行单独的迭代更新。最近的一些方法通过联合优化聚类损失和自编码器的筹够损失得到了更好的结果。在另一些研究中，保留了解码器以减少在学习中产生对特征空间的失真。虽然这些方法在图像和文本结构的数据上都产生了很好的效果，但是目前深度聚类方法还没有被应用于基于GPS数据的交通模式识别上。
基于此，本申请实施例提供了一种交通模式聚类模型训练方法、模式识别方法及存储介质，在卷积自编码器网络(CAE)的嵌入层上附加一个聚类层，保存聚类的中心作为可训练权重。训练复合聚类模型，通过在模型重构和聚类损失之间取得平衡，使输入数据的学习表示变得更加的对聚类友好(Clustering-Friendly)。进一步地，通过合并每个路径分段上的数据特征，在不使用任何标签的情况下实现了对测试数据集80.5％的聚类精度。
第一方面，本申请实施例提供了一种交通模式聚类模型训练方法，参照图1，模型训练方法包括如下步骤：
S110.在卷积自编码器网络的嵌入层上附加聚类层以获取复合聚类模型；
对卷积自编码器网络的训练使得经过嵌入层的数据是原始数据的低维表示，并且这种数据可以被用来重构原始数据。因此，嵌入层的数据被认为是原始数据的一种有效并包含了其主要特征的低维潜在表示。直接使用原始数据进行聚类往往容易受到噪音干扰，使用在经过嵌入层后的数据进行聚类，即附加聚类层，能够获得更好的聚类性能。
S120.采用复合聚类模型对无标签交通轨迹数据进行训练，获取交通模式聚类模型。
交通模式的识别往往需要通过基于有标签数据的有监督学习来实现。而对于获取代价相对昂贵的标签数据，在日常生活中有着大量被记录的无标签数据未被利用。通过对无标签数据进行数据挖掘和算法设计，可以有效地缓解标签数据需求并且节省应用成本。训练得到的交通模式聚类模型能够实现在无标签的无监督学习条件下对交通模式的识别。
在一些实施例中，无标签交通轨迹数据为多段路径切分的数据集。
一个GPS轨迹集合T，其中每个轨迹Ti都是一个序列
Li为长度，pj是其中的GPS数据点，pj通过一个由时间戳和经纬度的多元组来表示。因为一个用户在一段轨迹中可能有多种交通方式，因此一个GPS轨迹可以被切分成多段路径。在一些实施例中，将轨迹分段，每当交通模式发生变换，或者在一条轨迹中两个连续的点之间经过的时间超过20分钟，就切分作为一段路径。为了方便后续对交通模式进行聚类，需要对多段路径做进一步的切分得到固定尺寸的分段。也就是说，对于每段轨迹Ti，提取互相不重叠且只含单一交通模式的路径si，si由N个子段组成，
si∈Ti，
可采用离散优化算法或决策树算法对GPS轨迹进行分段。
在另一些实施例中，无标签交通轨迹数据包括局部特征数据和全局特征数据，局部特征数据包括以下至少之一：速度、加速度、加加速度；全局特征数据包括以下至少之一：平均速度、期望速度、最大速度、停止速率；停止速率为每段路径中速度小于阈值的数据点与全部数据点的数目之比。
在获取分段路径后，如果直接使用经度和纬度作为特征来训练聚类模型可能会有一些问题。每当用户移动到模型以前没有出现过的位置，算法就必须重新对聚类模型进行训练。为了解决这一问题，本申请实施例选用除经纬度之外的其它特征作为聚类特征。对每段路径中的GPS数据点提取运动特征，计算每一对GPS数据点之间的距离和运行时间，根据距离和运行时间可以进一步地计算高阶距离导数，例如速度、加速度或加加速度。给定一个GPS数据点pi及后续GPS数据点pi+1，对GPS数据点pi的相对距离
运行时间
速度
加速度Api及加加速度
的计算如式(1)所示：
其中，lat为GPS数据点的纬度，lon为GPS数据点的经度。在一些实施例中，将速度、加速度和加加速度作为时间序列的特征，训练聚类模型。在一些实施例中，可以设定一些标准和阈值用于筛除具有明显误差的GPS数据点。例如，GPS数据点的经纬度不能落在无效范围内，即[-90，90]度或[-180，180]度；当前GPS数据点的时间戳大于下一个GPS数据点的时间戳；给定运输方式，其速度或加速度超过合理的阈值。在另一些实施例中，删除速度超过第99百分位(99％)的数据点，或者其加速度或加加速度不落在第1百分位和第99百分位之间(1％～99％)的数据点。由于速度分布是高度倾斜的，可使用立方根函数对其做初步转化。接下来，将这三个局部特征数据标准化为零均值和单位方差。经过标准化操作后，得到的切分路程，在数据点的数量和长度上有显著差异，部分分段路径甚至跨越数公里。由于卷积自编码器网络需要固定尺寸的输入(1,np,nF)，其中np为每段路径中GPS数据点的数目，nF为每个GPS数据点的特征数。在一些实施例中，np取128，对GPS轨迹进行非重叠路径切分，每段路径的长度为128个GPS数据点，筛除所有GPS数据点的数目小于128的分段路径。在另一些实施例中，还可以设置最小持续时间或距离。
在局部特征数据的基础上，进一步可以计算全局特征数据，全局特征数据可能在训练时为卷积自编码器网络提供有效的信息。对于每段路径si，计算得到平均速度
期望速度
最大速度
和停止速率SRsi，其中停止速率为速度小于阈值的数据点与全部数据点的数目之比，停止速率SRsi的计算如式(2)所示：
其中，
Ps为每段路径中速度小于阈值λ的数据点的数目，可根据实际情况预设阈值λ，在一些实施例中，阈值λ取3，np是每段路径中GPS数据点的数目。在一些实施例中，将全局特征(平均速度、期望速度、最大速度及停止速率)与时间序列的局部特征(速度、加速度和加加速度)组合使用，将全局特征附加到分段路径的每一个数据点中。
在一些实施例中，卷积自编码器网络包括编码器和解码器，编码器包括第一卷积层、最大池化层和嵌入层；解码器包括第二卷积层、重塑层、反卷积层及反池化层。
自编码器是一种用于在某种约束下可以重构输入的神经网络，它可以促进有用的潜在表示或者嵌入(Embedding)的提取。它由一个将输入xi映射到其潜在表示hi的编码器和一个尝试从hi重构xi的解码器组成。卷积自编码器网络是一类使用卷积层处理数据的自编码器。如果嵌入层的维度比输入层的维度低，这样的自编码器会被认为是欠完全的(Undercomplete)。本申请实施例首先训练一个完全卷积的、欠完全的自编码器来学习输入数据的初始低维表示，完全卷积是指不适用密集连接的潜入层。参照图2，复合聚类模型结构中编码器和解码器是完全对称的，编码器由卷积层和最大池化层的连续对组成，编码器最后的卷积层为嵌入层，嵌入层由卷积层和重塑层组成。解码器由反卷积层和反池化层的连续对组成，解码器连接嵌入层的第一层由重塑层和卷积层组成。通过使用卷积和反卷积，使它们的输入和输出具有相同的长度。除最后一层外，每个卷积层和反卷积层后面都有一个批处理归一化层，便于模型训练。
在一些实施例中，在步骤S110之前，还包括：使用无标签交通轨迹数据对卷积自编码器网络进行预训练。
首先选取多层神经网络的输入层和第一个中间层组成一个卷积自编码器网络，然后先进行正向传播，再进行反向传播，计算输入与重构结果的误差，调整参数使得误差收敛于极小值。接下来基于训练输入层与第一个中间层的参数把正向传播的值作为输入，训练其与第二个中间层之间的参数。然后调整参数，使得第一个中间层的值与第二个中间层反向传播的值的误差收敛于极小值。这样就完成第一个中间层的重构，第一个中间层此时是另一个卷积自编码器网络的输入。依次对所有层进行预训练，得到网络的参数初始值。通过对卷积自编码器网络进行预训练，能够找到比较好的初始化参数，便于聚类模型的训练。
在一些实施例中，预训练包括对卷积自编码器网络的重建损失进行最小化处理。
预训练期间，对卷积自编码器网络的重建损失进行最小化处理，表现为原始输入si和重构输出
之间的均方误差(MSE)。
在一些实施例中，参照图3，步骤S120包括如下具体步骤：
S310.将无标签交通轨迹数据划分成至少一个嵌入样本；
S320.根据嵌入样本和可训练权值获取聚类隶属度；
S330.根据聚类隶属度获取归一化目标分布；
S340.根据归一化目标分布和聚类隶属度获取相对熵；
S350.采用相对熵对嵌入样本进行聚类。
在卷积自编码器网络的嵌入层上附加聚类层，聚类层包括可训练权值
其中K为期望簇数，μj对应于第j个质心的坐标。K可根据实际场景设置，在一些实施例中，K可被设为5。在前向传播过程中，聚类层利用t分布将聚类隶属度qij分配给当前所有的嵌入样本，zi对应于嵌入样本的坐标，聚类隶属度qij的计算如式(3)所示：
获取qij后，计算最大概率指标，可得到软标签qi。估计归一化目标分布pij如式(4)所示：
在反向传播过程中，通过对P与Q之间的相对熵(KL散度)进行最小化处理，以对嵌入样本进行聚类，聚类损失函数Lc的计算如式(5)所示：
使用预训练好的卷积自编码器网络对复合聚类模型进行初始化处理，嵌入层与聚类层相连接。训练复合聚类模型，对目标函数L进行最小化处理，目标函数L的计算如式(6)所示：
L＝Lr+γLc (6)
其中，误差函数
聚类损失加权超参数γ被用于控制聚类损失对总损失的影响，在一些实施例中，聚类损失加权超参数γ取0.1。若不使用卷积自编码器网络中的解码器，则会潜在地导致聚类过程对学习到的嵌入产生不利干扰。使用聚类损失加权超参数γ能够限制聚类过程的强度，从而在相同的数据集上可以产生更好的聚类性能。聚类过程中多久更新一次归一化目标分布是至关重要的一个问题，过于频繁的更新会导致聚类过程的不稳定性，反之则会使聚类过程陷入糟糕的局部极小值状态。
在一些实施例中，步骤S330之后，还包括如下步骤：采用频率更新超参数控制归一化目标分布的更新频率。
频率更新超参数F为单个训练epoch的一个分位数，其被用于控制归一化目标分布的更新频率。例如，F＝0.5表示归一化目标分布在每个训练epoch上更新两次，F＝2表示归一化目标分布在每两个训练epoch上更新一次。通过配置频率更新超参数F能够保证聚类过程的稳定性，从而产生更好的聚类性能。
本申请第一方面的实施例包括：在卷积自编码器网络的嵌入层上附加聚类层，获取复合聚类模型；采用复合聚类模型对无标签交通轨迹数据进行训练，获取交通模式聚类模型。本申请实施例通过对无标签数据进行数据挖掘和算法设计，可以有效地缓解标签数据需求并且节省应用成本；通过在卷积自编码器网络的嵌入层上附加聚类层，能够获取更好的聚类性能；通过无标签交通轨迹数据训练复合聚类模型获取交通模式聚类模型，能够实现在无标签的无监督学习条件下对交通模式的识别。
第二方面，本申请实施例提供了一种交通模式识别方法，包括：获取无标签交通轨道数据；采用第一方面一些实施例的交通模式聚类模型对无标签交通轨道数据进行处理，获取交通模式识别结果。
本申请第二方面的实施例通过对无标签数据进行数据挖掘和算法设计，可以有效地缓解标签数据需求，并且节省应用成本；通过交通模式聚类模型对无标签交通轨道数据进行聚类，能够实现在无标签的无监督学习条件下对交通模式的识别。
本申请进一步通过仿真实验测试交通模式聚类模型的聚类性能。仿真实验采用微软亚洲研究院(Microsoft Asia Research)的Geolife数据集，该数据集被广泛应用于基于GPS数据的轨迹研究。数据集中主要的交通方式包括步行、自行车、公共汽车、骑车、出租车、火车、地铁和飞机。实验将骑车和出租车作为一个单独的分类，驾驶、火车和地铁作为一个分类，只保留有足够样本的类，即步行、自行车、公共汽车、驾驶和火车。标签在本申请实施例中仅用于路径切分以及聚类评估。
卷积自编码器网络由32、64、128、256五个卷积层和一个滤波器组成。前三层的卷积核尺寸为1*3，Padding策略为‘same’，而第四层和第五层分别使用了1*7和1*1的卷积步长，且都采用了‘valid’的Padding策略。除线性激活的编码器和解码器的最后一层外，所有卷积和反卷积层都使用整流线性单元(ReLU)激活。卷积自编码器网络使用adam优化器与10-3的初始学习率训练了600个epoch，默认超参数β1＝0.9，β2＝0.999。附加聚类层后，使用10-4学习率对符合模型进行重新训练。在全局和本地即所有的特征上进行聚类时，使用的超参数为γ＝20，F＝2。在一次迭代中，当不到0.1％的样本被重新分配到不同的集群时，训练就会停止。
给定预测标签
和真实标签Y，使用以下指标来评价聚类性能：
(1)准确率
准确率ACC的计算如式(7)所示：
其中，m是数据集中样本的数量，
在
时等于1，否则等于0。
是通过一个函数将预测标签映射到数据集中的标签。使用线性分配问题的公式化方法，
可通过匈牙利算法(Hungarian algorithm)计算得到。
(2)归一化互信息
归一化互信息NMI的计算如式(8)所示：
其中，
是Y和
的互信息，并且H(Y)和
分别表示Y和
相应的熵。所有实验都在一台使用NVIDIA GeForce RTX2080Ti和Intel Xeon Silver4210CPU的服务器上运行。报告得到的ACC和NMI值是运行5次之后平均得到的结果。
为了证明局部特征和全局特征结合的有效性，实验评估了三种情况下的聚类性能：局部特征、全局特征和两者的结合。参照表1，将聚类评估结果与七个基线(Baselines)进行了比较。
表1聚类评估结果
Baseline的选择如下：
(1)原始特征聚类
选择广泛使用的K-Means聚类(KM)、谱聚类Spectral Clustering(SC)和层次聚类(HAC)算法，在Python的“scikit-learn”机器学习库中实现。由于这些实现不是为超过两个维度的数据而设计的(接口一般支持二维聚类)，所以在使用局部特性或它们与全局特性的组合时，取每个数据样本的平均特征值。
(2)嵌入特征聚类
前一类中的算法聚类原始样本si，而这一类中使用卷积自编码器网络(CAE)嵌入样本来进行K-Means聚类(CAE+KM)、谱聚类(CAE+SC)和层次聚类(CAE+HAC)。
(3)半监督分类
针对半监督卷积自动编码器(SECA)，只使用了10％的标签数据来进行半监督分类。从表1所示的实验结果可以看出，本申请实施例取得了明显优于传统聚类算法应用于局部或全部特征时的效果。此外，它的效果也大大超过了SECA，SECA的准确率为62.9％，不仅使用10％的真值标签数据，而且使用的轨迹段的大小几乎是本申请实施例的两倍(248)。结合局部点级的特征和全局分段级的特征使得聚类性能得到了实质性的提升。对于局部特征，除了与“driving”对应的聚类之外，所有聚类通常都被很好地分离。尽管只使用全局特征比只使用局部特征的准确性更高，但前一种情况下的聚类高度不规则，这突出了结合局部特征和全局特征所带来的好处，这种方法产生了更高的准确率和定义更好的聚类。
传统聚类算法在应用于具有局部或全部特征的原始数据时表现最差，这可以部分归因于每个样本在所有128个时间步长的特征被平均，以获得所需的维数。另一方面，同样的算法应用于局部特征或全部特征的CAE-learning嵌入时，取得了较好的效果。在使用全局特征时，在原始数据上也做得比较好，KM的精确度几乎与本申请实施例相匹配，全局特征的低维数更适合传统聚类算法。
由于在无监督学习中缺乏真值标签，这使得任何聚类模型的超参数都难以调优。因此，理想情况下，这种模型应该对合理的超参数变化范围具有鲁棒性。为了评估模型对超参数(Hyperparameters)γ和F的敏感度，首先取F＝2，接下来在0.1到100的范围内取γ值进行测试，表2给出了相应的聚类精度结果。
表2准确率随聚类损失加权超参数γ变化的结果
从表2的结果可以看出，当训练局部特征时，聚类模型对γ<1的情况比较敏感，而训练全局特征时，则对γ>20的情况比较敏感。相比之下，当对所有特征进行训练时，聚类模型对各种类型的神经网络更加健壮。接下来，设置γ＝20，再遍历F的值，对聚类模型进行评估，表3给出了相应的聚类精度结果。
表3准确率随归一化目标分布的频率更新超参数F变化的结果
从表3的结果可以看出，F<1和F<2的值分别在训练局部特征和全局特征时，会导致显著的不稳定性。若取F<0.5，则在使用所有特征时也会较大的影响聚类性能。尽管如此，聚类模型在对所有特征进行训练时，对F的变化是最健壮的。
本申请进一步通过仿真实验测试交通模式聚类模型的聚类性能，仅使用局部时间序列特征，在Geolife上的聚类精度达到70.1％，在交通模式识别方面显著优于传统聚类算法和半监督方法。当将每个轨迹段的局部特征与平均的全局特征相结合时，聚类模型实现了80.5％的更高精度。超参数敏感性测试也表明，聚类损失的强度对重建损失或归一化目标分布的更新频率没有过度敏感。
第三方面，本申请实施例提供了一种存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现：第一方面一些实施例的交通模式聚类模型训练方法；或，第二方面一些实施例的交通模式识别方法。
本申请第三方面的实施例通过设计自编码器的神经网络模型和聚类算法对无标签数据中的信息进行了有效的挖掘，能够实现在无标签的无监督学习条件下对交通模式的识别，而且能够降低对代价相对昂贵的标签数据的需求和模型应用的成本。
存储介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本申请第一方面一些实施例的交通模式聚类模型训练方法或第二方面一些实施例的交通模式识别方法可在电子设备中实现。电子设备包括处理器和存储器，处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是一种交通模式聚类模型训练方法或交通模式识别方法的可运行装置的控制中心，利用各种接口和线路连接整个一种交通模式聚类模型训练方法或交通模式识别方法的可运行装置的各个部分。存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现一种交通模式聚类模型训练方法或交通模式识别方法的可运行装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
电子设备可以包括例如智能电话、平板、个人计算机(personal computer，PC)、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型PC、上网本、计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(Portable Multimedia Player，PMP)、MPEG-1音频层3(MP3)播放器、移动医疗设备、相机和可穿戴设备中的至少一个。可穿戴设备可以包括附件类型(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(Head-MountedDevice，HMD))、织物或服装集成类型(例如，电子服装)、身体安装类型(例如，皮肤垫或纹身)以及生物可植入类型(例如，可植入电路)中的至少一种。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下做出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
Claims (10)
1.交通模式聚类模型训练方法，其特征在于，包括：
在卷积自编码器网络的嵌入层上附加聚类层以获取复合聚类模型；
采用所述复合聚类模型对无标签交通轨迹数据进行训练，获取交通模式聚类模型。
2.根据权利要求1所述的交通模式聚类模型训练方法，其特征在于，所述无标签交通轨迹数据为多段路径切分的数据集。
3.根据权利要求2所述的交通模式聚类模型训练方法，其特征在于，所述无标签交通轨迹数据包括局部特征数据和全局特征数据，所述局部特征数据包括以下至少之一：速度、加速度、加加速度；所述全局特征数据包括以下至少之一：平均速度、期望速度、最大速度、停止速率；所述停止速率为每段路径中速度小于阈值的数据点与全部数据点的数目之比。
4.根据权利要求1所述的交通模式聚类模型训练方法，其特征在于，所述卷积自编码器网络包括编码器和解码器，所述编码器包括第一卷积层、最大池化层和所述嵌入层；所述解码器包括第二卷积层、重塑层、反卷积层及反池化层。
5.根据权利要求1至4任一项所述的交通模式聚类模型训练方法，其特征在于，所述在卷积自编码器网络的嵌入层上附加聚类层之前，还包括：
使用所述无标签交通轨迹数据对所述卷积自编码器网络进行预训练。
6.根据权利要求5所述的交通模式聚类模型训练方法，其特征在于，所述预训练包括对所述卷积自编码器网络的重建损失进行最小化处理。
7.根据权利要求1至4任一项所述的交通模式聚类模型训练方法，其特征在于，所述采用所述复合聚类模型对无标签交通轨迹数据进行训练，包括：
将所述无标签交通轨迹数据划分成至少一个嵌入样本；
根据所述嵌入样本和可训练权值获取聚类隶属度；
根据所述聚类隶属度获取归一化目标分布；
根据所述归一化目标分布和所述聚类隶属度获取相对熵；
采用所述相对熵对所述嵌入样本进行聚类。
8.根据权利要求7所述的交通模式聚类模型训练方法，其特征在于，所述根据所述聚类隶属度获取归一化目标分布之后，还包括：
采用频率更新超参数控制所述归一化目标分布的更新频率。
9.交通模式识别方法，其特征在于，包括：
获取无标签交通轨道数据；
采用权利要求1至8任一项所述的交通模式聚类模型对所述无标签交通轨道数据进行处理，获取交通模式识别结果。
10.存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，其特征在于，所述一个或者多个程序可被一个或者多个处理器执行，以实现：
权利要求1至8任一项所述的交通模式聚类模型训练方法；或，
权利要求9所述的交通模式识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010869101.8A CN112101425A (zh) | 2020-08-26 | 2020-08-26 | 交通模式聚类模型训练方法、模式识别方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010869101.8A CN112101425A (zh) | 2020-08-26 | 2020-08-26 | 交通模式聚类模型训练方法、模式识别方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112101425A true CN112101425A (zh) | 2020-12-18 |
Family
ID=73754562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010869101.8A Pending CN112101425A (zh) | 2020-08-26 | 2020-08-26 | 交通模式聚类模型训练方法、模式识别方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112101425A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699942A (zh) * | 2020-12-30 | 2021-04-23 | 东软睿驰汽车技术（沈阳）有限公司 | 一种运营车辆识别方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476177A (zh) * | 2020-04-10 | 2020-07-31 | 科航（苏州）信息科技有限公司 | 嫌疑人检测方法及装置 |
-
2020
- 2020-08-26 CN CN202010869101.8A patent/CN112101425A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476177A (zh) * | 2020-04-10 | 2020-07-31 | 科航（苏州）信息科技有限公司 | 嫌疑人检测方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| "Unsupervised Deep Learning for GPS-Based Transportation Mode Identification", 《2023 IEEE 23RD INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEM》 * |
| SINA DABIRI 等: "Semi-Supervised Deep Learning Approach for Transportation Mode Identification Using GPS Trajectory Data", 《IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》, vol. 32, no. 5, pages 1011 - 1018 * |
| XIFENG GUO 等: "Deep Clustering with Convolutional Autoencoders", 《24TH INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING (ICONIP)》, vol. 10635, pages 374 - 376 * |
| 史殿习;李勇谋;丁博;: "无监督特征学习的人体活动识别", 国防科技大学学报, no. 05, pages 128 - 134 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699942A (zh) * | 2020-12-30 | 2021-04-23 | 东软睿驰汽车技术（沈阳）有限公司 | 一种运营车辆识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | A survey on deep learning and its applications | |
| Fiaz et al. | Handcrafted and deep trackers: Recent visual object tracking approaches and trends | |
| Endo et al. | Classifying spatial trajectories using representation learning | |
| Salaken et al. | Extreme learning machine based transfer learning algorithms: A survey | |
| WO2020238293A1 (zh) | 图像分类方法、神经网络的训练方法及装置 | |
| Abbas et al. | Video scene analysis: an overview and challenges on deep learning algorithms | |
| JP2021523468A (ja) | ニューラルネットワークの勾配型敵対的訓練 | |
| JP2021531522A (ja) | ３次元視線ベクトルを用いた車両乗員関与の決定 | |
| US20140079297A1 (en) | Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities | |
| Haque et al. | Performance analysis of different neural networks for sentiment analysis on IMDb movie reviews | |
| US9230159B1 (en) | Action recognition and detection on videos | |
| Markos et al. | Unsupervised deep learning for GPS-based transportation mode identification | |
| CN111539941B (zh) | 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端 | |
| US20220249906A1 (en) | On-device activity recognition | |
| Ma et al. | Unsupervised human activity representation learning with multi-task deep clustering | |
| Zhou et al. | Improving human mobility identification with trajectory augmentation | |
| CN111915004A (zh) | 神经网络的训练方法、装置、存储介质及电子设备 | |
| CN113591529A (zh) | 动作分割模型的处理方法、装置、计算机设备和存储介质 | |
| Zhang et al. | Classroom student posture recognition based on an improved high-resolution network | |
| CN112101425A (zh) | 交通模式聚类模型训练方法、模式识别方法及存储介质 | |
| Prasad et al. | ADTBO: Aquila driving training-based optimization with deep learning for skin cancer detection | |
| Deepan et al. | Deep learning algorithm and its applications to ioT and computer vision | |
| Wang et al. | Online convolution network tracking via spatio-temporal context | |
| Mohamed et al. | Convolutional dynamic auto-encoder: a clustering method for semantic images | |
| Amrani et al. | Unsupervised deep learning-based clustering for human activity recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |