CN114969532A - 一种基于异质图神经网络的多模态交通推荐方法 - Google Patents

一种基于异质图神经网络的多模态交通推荐方法 Download PDF

Info

Publication number
CN114969532A
CN114969532A CN202210622315.4A CN202210622315A CN114969532A CN 114969532 A CN114969532 A CN 114969532A CN 202210622315 A CN202210622315 A CN 202210622315A CN 114969532 A CN114969532 A CN 114969532A
Authority
CN
China
Prior art keywords
traffic
layer
data
user
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210622315.4A
Other languages
English (en)
Inventor
钟萍
徐爱昆
王安宁
鲁鸣鸣
高建良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210622315.4A priority Critical patent/CN114969532A/zh
Publication of CN114969532A publication Critical patent/CN114969532A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3423—Multimodal routing, i.e. combining two or more modes of transportation, where the modes can be any of, e.g. driving, walking, cycling, public transport
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于异质图神经网络的多模态交通推荐方法，包括获取历史出行数据并处理得到训练数据集；构建起点‑目的地多二部图嵌入方案；构建异质交通图；设计带有残差网络的分层注意力机制；构建多模态交通推荐初始模型并训练得到基于异质图神经网络的多模态交通推荐模型；采用基于异质图神经网络的多模态交通推荐模型进行实时的多模态交通推荐。本发明方法能够显式捕获实体之间的关联并从多种视角以分层次的方式捕获不同实体之间的潜在联系，同时解决模型无法区分节点特征的问题，能够有效提升多模态交通推荐问题的准确性，推荐准确率高且可靠性好。

Description

一种基于异质图神经网络的多模态交通推荐方法
技术领域
本发明属于数字信息处理领域，具体涉及一种基于异质图神经网络的多模态交通推荐方法。
背景技术
近年来，随着经济技术的发展，交通推荐(导航应用)已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。在交通推荐技术领域中，多模态交通推荐是众多导航应用的核心组成部分；针对多模态交通推荐的研究，已经得到了交通部门、学术界和工业界的广泛关注。
在导航规划中，仅考虑一种交通方式(例如自行车、公共汽车、出租车或地铁)的单模态交通推荐，已被广泛研究。相反，多模态交通推荐研究仍处于初步阶段；该类交通推荐，一般是研究在路网中同时考虑单一交通方式(如自行车、公共汽车、出租车和地铁)和混合交通方式(如出租车-公共汽车、出租车-地铁)，而且单模态交通推荐方案无法直接应用到多模态交通推荐场景。
针对以上问题，研究人员相继提出了个性化路线推荐方法FAVOUR、多模态交通方式推荐方法Trans2vec、多模态交通推荐方案Hydra等技术方案；而且，Trans2vec和Hydra等方案均已经商业化运行。但是，目前的技术方案，均存在着过度平滑的问题：现有技术方案在使用图神经网络时，随着网络层数和迭代次数的增加，最终所有节点收敛于相同的值，导致模型表示能力下降。
发明内容
本发明的目的在于提供一种推荐准确率高且可靠性好的基于异质图神经网络的多模态交通推荐方法。
本发明提供的这种基于异质图神经网络的多模态交通推荐方法，包括如下步骤：
S1.获取历史出行数据，并处理得到训练数据集；
S2.构建起点-目的地多二部图嵌入方案；
S3.根据构建的起点-目的地多二部图嵌入方案，构建异质交通图；
S4.设计带有残差网络的分层注意力机制，以解决过度平滑的问题；
S5.对步骤S4的结果进行汇聚和处理，得到最终的多模态交通推荐结果，构建多模态交通推荐初始模型；
S6.采用步骤S1得到的训练数据集，对步骤S5构建的多模态交通推荐初始模型进行训练，得到基于异质图神经网络的多模态交通推荐模型；
S7.采用步骤S6得到的基于异质图神经网络的多模态交通推荐模型，进行实时的多模态交通推荐。
步骤S1所述的获取历史出行数据，并处理得到训练数据集，具体包括如下步骤：
所述的历史出行数据包括用户属性数据、起点数据、目的地数据、情境感知数据和交通方式数据，并以时间序列格式进行保存；
根据历史出行数据，将对应的起点和目的地的组合为起点-目的地对(OD对)；收集交通数据集，并转化为图结构数据；图结构数据包括用户、交通方式、OD对、起点、目的地点，具有关系的边和行驶语义；节点数据采用如下公式进行形式化表示：
Figure BDA0003675074360000021
Figure BDA0003675074360000031
式中Xu为用户属性数据，且
Figure BDA0003675074360000032
N为导航数据集的总数据量，q为用户属性数据的维度；Xo为起点数据，且
Figure BDA0003675074360000033
p为起点和目的地的维度；Xd为目的地数据，且
Figure BDA0003675074360000034
Xcon为情境感知数据，且
Figure BDA0003675074360000035
k为上下文数据的维度；Xod为OD对数据，且
Figure BDA0003675074360000036
n为OD对的维度，且n＝p+p。
步骤S2所述的构建起点-目的地多二部图嵌入方案，具体包括如下步骤：
提取起点o、目的地d、OD对od、和用户u的特征；
根据OD对，构建起点-目的地二部图，并在GCN层聚合来自邻居节点的信息，用于表征二部图的点；根据用户在OD对行驶过的数据信息，构建用户-OD对二部图，并通过GAT层更新节点信息；
所述的GCN层，具体为在获得起点-目的地二部图后，通过以下GCN模型分别更新起点和目的地的特征：
Figure BDA0003675074360000037
Figure BDA0003675074360000038
式中
Figure BDA0003675074360000039
为起点oi的第l+1层的嵌入；N(oi)为起点oi的度；N(dj)为目的地dj的度；
Figure BDA00036750743600000310
为目的地dj的第l层的嵌入；
Figure BDA00036750743600000311
为目的地di的第l+1层的嵌入；N(di)为目的地di的度；N(oj)为起点oj的度；
Figure BDA00036750743600000312
为起点oj的第l层的嵌入；当OD对存在时，eod＝eo||ed，||为合并操作；
所述的GAT层，具体为在获得用户-OD二部图后，用户-OD二部图的初始化表征矩阵E为
Figure BDA0003675074360000041
式中M为OD对的数量；Q为用户的数量；
Figure BDA0003675074360000042
为第j个OD对的初始化嵌入，j＝1,2,...,M；
Figure BDA0003675074360000043
为第i个用户的初始化嵌入，i＝1,2,...,Q；
为了获取用户的特征信息，通过聚合用户u邻居传播的信息以更新用户u的表征；定义以下聚合函数
Figure BDA0003675074360000044
式中
Figure BDA0003675074360000045
为在第l+1层用户ui的嵌入；N(ui)为ui的邻居聚合；W1 (l)为训练得到的权重矩阵；
Figure BDA0003675074360000046
为用户ui和odj之间的注意力值；
Figure BDA0003675074360000047
为第l层中用户ui和odj之间的注意力值，且
Figure BDA0003675074360000048
softmax()为归一化指数函数softmax，
Figure BDA0003675074360000049
为第l层中第i个用户对第j个OD对的重要性，且
Figure BDA00036750743600000410
ρ()为激活函数LeakyReLU，a为注意力权重向量，
Figure BDA00036750743600000411
和
Figure BDA00036750743600000412
为训练得到的权重参数，
Figure BDA00036750743600000413
为ui在第l层的表征，
Figure BDA00036750743600000414
为odj在第l层的表征；
通过GAT层基于用户-OD二部图用户的特征为eu和eod；上下文信息通过标准归一化后为em。
步骤S3所述的根据构建的起点-目的地多二部图嵌入方案，构建异质交通图，具体包括如下步骤：
根据导航数据存在用户u使用交通方式m在OD对od上行驶的语义结构(u,m,od)构建异质交通图，异质交通图上每个节点的初始化嵌入向量表示为einit＝eu||eod||em，||为合并操作；eu为用户节点的初始化嵌入向量，eod为OD对的初始化嵌入向量，em为交通方式初始化嵌入向量；
交通方式最后的嵌入表示为
Figure BDA0003675074360000051
其中Eu为用户节点嵌入，且
Figure BDA0003675074360000052
Eod为OD对节点嵌入，且
Figure BDA0003675074360000053
Em为交通方式节点嵌入，且
Figure BDA0003675074360000054
f1为用户节点嵌入维度的大小；f2为OD对节点嵌入维度的大小；f3为交通方式节点嵌入维度的大小；e'm∈εm，e'm为每个交通方式的多模态嵌入向量。
步骤S4所述的设计带有残差网络的分层注意力机制，以解决过度平滑的问题，具体包括如下步骤：
带有残差网络的分层注意力机制包括残差网络层、节点注意力层和权重注意力层；
残差网络层用于维持网络训练的稳定性；残差网络层的值
Figure BDA0003675074360000055
直接受第l+1层hx视角交通方式节点嵌入
Figure BDA0003675074360000056
和第l层hx视角交通方式节点嵌入
Figure BDA0003675074360000057
的影响：
Figure BDA0003675074360000058
式中hx为节点类型，包含ho和he，其中ho表示同质节点，he表示异质节点；ψs为给定的元路径集合；σ()为ReLU激活函数；
Figure BDA0003675074360000059
为第l+2层hx视角的可训练权重矩阵；
Figure BDA00036750743600000510
为第l+1层hx视角交通方式节点嵌入；bhx(l+2)为第l+2层hx视角的偏置向量；
节点注意力层：采用如下公式计算第l+1层hx视角的第i个交通方式节点嵌入
Figure BDA00036750743600000511
Figure BDA00036750743600000512
式中mj为第i个交通方式节点mi的邻居节点；N(mi)为第i个交通方式节点mi的邻居节点集合；
Figure BDA0003675074360000061
为mi和mj之间的注意力值；
Figure BDA0003675074360000062
为第l层的可训练权重矩阵；
权重注意力层：每个交通方式m的最终嵌入通过以下公式计算得到：
Figure BDA0003675074360000063
式中softmax()为归一化指数函数softmax。
步骤S5所述的对步骤S4的结果进行汇聚和处理，得到最终的多模态交通推荐结果，构建多模态交通推荐初始模型，具体包括如下步骤：
设计融合神经层，汇聚步骤S4的结果，并将结果输入到全连接层，从而实现多模态交通推荐；
具有若干个全连接层的多模态嵌入e'm用于预测最适合用户u在od上行驶的交通方式m：
Figure BDA0003675074360000064
Figure BDA0003675074360000065
式中
Figure BDA0003675074360000066
为同质视角的交通方式节点嵌入；
Figure BDA0003675074360000067
为异质视角的交通方式节点嵌入；||为合并操作；softmax()为softmax函数；θ()为激活函数ReLU；
Figure BDA0003675074360000068
为训练得到的权重矩阵；
Figure BDA0003675074360000069
为第l层交通方式m的最终表示；b(l)为偏置向量；y'm为最终的预测得分；
对用户使用的若干种交通方式的最后得分进行排序，实现为用户进行多模态交通推荐；
模型训练过程中，进行有监督的训练，采用如下交叉熵损失作为目标函数Loss：
Figure BDA00036750743600000610
式中C为分类的数量；
Figure BDA0003675074360000071
为真实的标签；
Figure BDA0003675074360000072
为预测的标签；
在标签数据的指导下，通过反向传播，优化所提出的多模态交通推荐初始模型。
本发明提供的这种基于异质图神经网络的多模态交通推荐方法，从数据层面出发，将现有交通数据集转化为图结构数据以表征用户、交通方式和OD对等不同实体之间的显式关联；同时，从模型架构角度出发，提出的分层注意力机制实现了从异质和同质视角全面捕获不同类型节点和边之间的潜在关系；此外，设计残差网络参与模型训练，缓解了由于迭代次数增加引起节点特征收敛为相同值的问题；因此，本发明方法能够显式捕获实体之间的关联并从多种视角以分层次的方式捕获不同实体之间的潜在联系，同时解决模型无法区分节点特征的问题，能够有效提升多模态交通推荐问题的准确性，推荐准确率高且可靠性好。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法与现有的推荐方法在F1、Pre、Rec和NDCG上的性能比较结果示意图。
图3为本发明方法的分组鲁棒性验证效果示意图。
图4为本发明方法的消融实验效果示意图。
图5为本发明方法的多二部图嵌入合理性验证效果示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于异质图神经网络的多模态交通推荐方法，包括如下步骤：
S1.获取历史出行数据，并处理得到训练数据集；具体包括如下步骤：
所述的历史出行数据包括用户属性数据(包括年龄、性别、职业等)、起点数据(经纬度坐标数据)、目的地数据(经纬度坐标数据)、情境感知数据(天气数据等)和交通方式数据(交通方式类型等)，并以时间序列格式进行保存；
根据历史出行数据，将对应的起点和目的地的组合为起点-目的地对(OD对)；收集交通数据集，并转化为图结构数据；图结构数据包括用户、交通方式、OD对、起点、目的地点，具有关系的边(具有“Take”和“Travel”等关系)和行驶语义；节点数据采用如下公式进行形式化表示：
Figure BDA0003675074360000081
Figure BDA0003675074360000082
式中Xu为用户属性数据，且
Figure BDA0003675074360000083
N为导航数据集的总数据量，q为用户属性数据的维度；Xo为起点数据，且
Figure BDA0003675074360000084
p为起点和目的地的维度；Xd为目的地数据，且
Figure BDA0003675074360000085
Xcon为情境感知数据，且
Figure BDA0003675074360000086
k为上下文数据的维度；Xod为OD对数据，且
Figure BDA0003675074360000087
n为OD对的维度，且n＝p+p；
S2.构建起点-目的地多二部图嵌入方案；具体包括如下步骤：
提取起点o、目的地d、OD对od、和用户u的特征；
根据OD对，构建起点-目的地二部图，用于挖掘起点和目的地之间的关系以及OD对和用户之间的关系；在GCN层聚合来自邻居节点的信息，用于表征二部图的点；根据用户在OD对行驶过的数据信息，构建用户-OD对二部图，并通过GAT层更新节点信息；
所述的GCN层，基于历史数据构建origin-destination二部图，通过数据分析可知，起点和目的地的组合具有很大的随机性，并且起点和终点的表示是相似的，区分邻居的重要性不再重要，因此GCN适合提取起点和终点的嵌入；具体为在获得起点-目的地二部图后，通过以下GCN模型分别更新起点和目的地的特征：
Figure BDA0003675074360000091
Figure BDA0003675074360000092
式中
Figure BDA0003675074360000093
为起点oi的第l+1层的嵌入；N(oi)为起点oi的度；N(dj)为目的地dj的度；
Figure BDA0003675074360000094
为目的地dj的第l层的嵌入；
Figure BDA0003675074360000095
为目的地di的第l+1层的嵌入；N(di)为目的地di的度；N(oj)为起点oj的度；
Figure BDA0003675074360000096
为起点oj的第l层的嵌入；当OD对存在时，eod＝eo||ed，||为合并操作；
所述的GAT层，基于user-OD二部图学习用户(或OD对)的嵌入；在user-OD二部图中，用户节点和OD对节点的特征空间和维度有很大的不同，并且从数据中发现，用户选择OD是有一定规律的；引入GAT来区分邻居的重要性是关键的；具体为在获得用户-OD二部图后，用户-OD二部图的初始化表征矩阵E为
Figure BDA0003675074360000097
式中M为OD对的数量；Q为用户的数量；
Figure BDA0003675074360000098
为第j个OD对的初始化嵌入，j＝1,2,...,M；
Figure BDA0003675074360000099
为第i个用户的初始化嵌入，i＝1,2,...,Q；
为了获取用户的特征信息，通过聚合用户u邻居传播的信息以更新用户u的表征；定义以下聚合函数
Figure BDA0003675074360000101
式中
Figure BDA0003675074360000102
为在第l+1层用户ui的嵌入；N(ui)为ui的邻居聚合；W1 (l)为训练得到的权重矩阵；
Figure BDA0003675074360000103
为用户ui和odj之间的注意力值；
Figure BDA0003675074360000104
为第l层中用户ui和odj之间的注意力值，且
Figure BDA0003675074360000105
softmax()为归一化指数函数softmax，
Figure BDA0003675074360000106
为第l层中第i个用户对第j个OD对的重要性，且
Figure BDA0003675074360000107
ρ()为激活函数LeakyReLU，a为注意力权重向量，
Figure BDA0003675074360000108
和
Figure BDA0003675074360000109
为训练得到的权重参数，
Figure BDA00036750743600001010
为ui在第l层的表征，
Figure BDA00036750743600001011
为odj在第l层的表征；
通过GAT层基于用户-OD二部图用户的特征为eu和eod；上下文信息通过标准归一化后为em；
S3.根据构建的起点-目的地多二部图嵌入方案，构建异质交通图；具体包括如下步骤：
根据导航数据存在用户u使用交通方式m在OD对od上行驶的语义结构(u,m,od)构建异质交通图，异质交通图上每个节点的初始化嵌入向量表示为einit＝eu||eod||em，||为合并操作；eu为用户节点的初始化嵌入向量，eod为OD对的初始化嵌入向量，em为交通方式初始化嵌入向量；
交通方式最后的嵌入表示为
Figure BDA00036750743600001012
其中Eu为用户节点嵌入，且
Figure BDA00036750743600001013
Eod为OD对节点嵌入，且
Figure BDA00036750743600001014
Em为交通方式节点嵌入，且
Figure BDA00036750743600001015
f1为用户节点嵌入维度的大小；f2为OD对节点嵌入维度的大小；f3为交通方式节点嵌入维度的大小；e'm∈εm，e'm为每个交通方式的多模态嵌入向量；
S4.设计带有残差网络的分层注意力机制，以解决过度平滑的问题；
为充分利用异质交通图的丰富语义，本申请设计一种带有残差块的分层注意机制，它包括ResNet层、节点注意层和权重注意层；该机制可以从同质和异质的视角挖掘潜在的特征，并且保证网络稳定训练；交通方式节点的表征受多种类型邻居节点的影响且影响程度不同；因此，有必要使用节点注意力机制来区分邻居节点的重要性；值得注意的是，邻居之间的边(即元路径)的重要性也会影响交通方式m的表示；不同的元路径对节点的表示有不同的影响；因此，本申请引入一种权重注意力机制来区分不同元路径对节点的重要性；对于深度神经网络，随着网络层数的增加，应该训练得越来越好；但是随着网络层数和迭代次数的增加，过度平滑问题越来越明显；本申请中的ResNet模块能够使得在训练更深的网络时确保良好的性能成为可能；
具体包括如下步骤：
带有残差网络的分层注意力机制包括残差网络层、节点注意力层和权重注意力层；
残差网络层用于维持网络训练的稳定性；残差网络层的值
Figure BDA0003675074360000111
直接受第l+1层hx视角交通方式节点嵌入
Figure BDA0003675074360000112
和第l层hx视角交通方式节点嵌入
Figure BDA0003675074360000113
的影响：
Figure BDA0003675074360000114
式中hx为节点类型，包含ho和he，其中ho表示同质节点，he表示异质节点；ψs为给定的元路径集合；σ()为ReLU激活函数；
Figure BDA0003675074360000115
为第l+2层hx视角的可训练权重矩阵；
Figure BDA0003675074360000116
为第l+1层hx视角交通方式节点嵌入；bhx(l+2)为第l+2层hx视角的偏置向量；
节点注意力层：采用如下公式计算第l+1层hx视角的第i个交通方式节点嵌入
Figure BDA0003675074360000121
Figure BDA0003675074360000122
式中mj为第i个交通方式节点mi的邻居节点；N(mi)为第i个交通方式节点mi的邻居节点集合；
Figure BDA0003675074360000123
为mi和mj之间的注意力值；
Figure BDA0003675074360000124
为第l层的可训练权重矩阵；
权重注意力层：每个交通方式m的最终嵌入通过以下公式计算得到：
Figure BDA0003675074360000125
式中softmax()为归一化指数函数softmax；研究人员可以将最终的嵌入应用到特定的任务中，例如节点分类、节点预测和推荐系统；
S5.对步骤S4的结果进行汇聚和处理，得到最终的多模态交通推荐结果，构建多模态交通推荐初始模型；具体包括如下步骤：
设计融合神经层，汇聚步骤S4的结果，并将结果输入到全连接层，从而实现多模态交通推荐；
具有若干个全连接层的多模态嵌入e'm用于预测最适合用户u在od上行驶的交通方式m：
Figure BDA0003675074360000126
Figure BDA0003675074360000127
式中
Figure BDA0003675074360000128
为同质视角的交通方式节点嵌入；
Figure BDA0003675074360000129
为异质视角的交通方式节点嵌入；||为合并操作；softmax()为softmax函数；θ()为激活函数ReLU；
Figure BDA00036750743600001210
为训练得到的权重矩阵；
Figure BDA00036750743600001211
为第l层交通方式m的最终表示；b(l)为偏置向量；y'm为最终的预测得分；
对用户使用的若干种交通方式的最后得分进行排序，实现为用户进行多模态交通推荐；
模型训练过程中，进行有监督的训练，采用如下交叉熵损失作为目标函数Loss：
Figure BDA0003675074360000131
式中C为分类的数量；
Figure BDA0003675074360000132
为真实的标签；
Figure BDA0003675074360000133
为预测的标签；
在标签数据的指导下，通过反向传播，优化所提出的多模态交通推荐初始模型；
S6.采用步骤S1得到的训练数据集，对步骤S5构建的多模态交通推荐初始模型进行训练，得到基于异质图神经网络的多模态交通推荐模型；
S7.采用步骤S6得到的基于异质图神经网络的多模态交通推荐模型，进行实时的多模态交通推荐。
如图2所示为本发明方法与现有的推荐方法在F1、Pre、Rec和NDCG上的性能比较结果示意图；THAN在常用的4个评测指标上都优于NMTRec、Hydra、HMTRL、HAN和HeCo等基线算法，这展示了所提模型THAN的优势。具体来说，与最先进方案相比，THAN实现了F1(+0.8％)、Pre(+6.2％)、Rec(+0.8％)和NDCG(+4.9％)的改进。这取决于THAN不仅可以学习同质节点之间的关系，还可以从异质性的角度增强特征表示，同时THAN中的残差模块可以稳定模型的训练，保证网络在比较深时同样具有良好的性能。
如图3所示为本发明方法的分组鲁棒性验证效果示意图；为了验证THAN的鲁棒性，本申请将数据随机分成四组，并用每组数据测试THAN模型的性能。结果表明THAN在北京数据集的不同分组上，其F1、Pre、Rec和NDCG四个指标的结果都非常稳定。具体来说，在使用这四个指标的所有测试中，结果值的差异不超过2％。结果验证了THAN框架对于不同的交通方式推荐场景是稳健的。此外，在广州、上海和深圳数据集上的验证结果表明，F1、Pre、Rec和NDCG四个指标的值与在北京数据集上得到的结果相近并且也保持着2％内的差异，进一步说明THAN具有良好的鲁棒性。。
如图4所示为本发明方法的消融实验效果示意图；为了进一步探索多模态融合在THAN模型中的效果，本申请将THAN与其变种THAN(ResNet)(不考虑ResNet层)、THAN(MBigraphE)(不考虑MBigraphE)、THAN(HierAtt)(不考虑HierAtt)和THAN(ResNet&MBigraphE)(不考虑ResNet和MBigraphE)在北京数据集上进行实验测试，并将产生的四个指标的值进行比较，结果如图4所示。结果表明，THAN的性能优于THAN(ResNet)、THAN(MBigraphE)、THAN(HierAtt)和THAN(ResNet&MBigraphE)。此外，THAN(MBigraphE)和THAN(HierAtt)比THAN(ResNet)表现更好，这表明残差块在多模态交通推荐中起着更重要的作用，这是因为ResNet有助于解决过度平滑的问题，让训练变得更好，至少确保当前的结果不比上次差。MBigraphE可以平衡特征的重要性。这是因为MBigraphE不仅可以学习邻居嵌入，还可以区分邻居的重要性。。
如图5所示为本发明方法的多二部图嵌入合理性验证效果示意图；本申请希望通过评估THAN三个变体的性能以验证MBigraphE的合理性，三个变体分别为：(1)THAN_o_d_od_pid在THAN中没有考虑MBigraphE，(2)THAN_o_d表示不考虑o和d之间的相互作用，(3)THAN_od_pid表示不考虑od和u之间的潜在关联。四种方案在北京数据集上四个指标的对比结果如图5所示。由结果可知，考虑o与d或od与u的潜在联系比不考虑o与d或od与u的潜在联系的效果要好。而同时考虑o与d以及od与u之间的相互作用比单独考虑o与d或od与u之间的相互作用效果要好，实验结果进一步证明了MBigraphE的有效性。

Claims (6)

1.一种基于异质图神经网络的多模态交通推荐方法，包括如下步骤：
S1.获取历史出行数据，并处理得到训练数据集；
S2.构建起点-目的地多二部图嵌入方案；
S3.根据构建的起点-目的地多二部图嵌入方案，构建异质交通图；
S4.设计带有残差网络的分层注意力机制，以解决过度平滑的问题；
S5.对步骤S4的结果进行汇聚和处理，得到最终的多模态交通推荐结果，构建多模态交通推荐初始模型；
S6.采用步骤S1得到的训练数据集，对步骤S5构建的多模态交通推荐初始模型进行训练，得到基于异质图神经网络的多模态交通推荐模型；
S7.采用步骤S6得到的基于异质图神经网络的多模态交通推荐模型，进行实时的多模态交通推荐。
2.根据权利要求1所述的一种基于异质图神经网络的多模态交通推荐方法，其特征在于步骤S1所述的获取历史出行数据，并处理得到训练数据集，具体包括如下步骤：
所述的历史出行数据包括用户属性数据、起点数据、目的地数据、情境感知数据和交通方式数据，并以时间序列格式进行保存；
根据历史出行数据，将对应的起点和目的地的组合为起点-目的地对(OD对)；收集交通数据集，并转化为图结构数据；图结构数据包括用户、交通方式、OD对、起点、目的地点，具有关系的边和行驶语义；节点数据采用如下公式进行形式化表示：
Figure FDA0003675074350000011
Figure FDA0003675074350000012
式中Xu为用户属性数据，且
Figure FDA0003675074350000021
N为导航数据集的总数据量，q为用户属性数据的维度；Xo为起点数据，且
Figure FDA0003675074350000022
p为起点和目的地的维度；Xd为目的地数据，且
Figure FDA0003675074350000023
Xcon为情境感知数据，且
Figure FDA0003675074350000024
k为上下文数据的维度；Xod为OD对数据，且
Figure FDA0003675074350000025
n为OD对的维度，且n＝p+p。
3.根据权利要求2所述的一种基于异质图神经网络的多模态交通推荐方法，其特征在于步骤S2所述的构建起点-目的地多二部图嵌入方案，具体包括如下步骤：
提取起点o、目的地d、OD对od、和用户u的特征；
根据OD对，构建起点-目的地二部图，并在GCN层聚合来自邻居节点的信息，用于表征二部图的点；根据用户在OD对行驶过的数据信息，构建用户-OD对二部图，并通过GAT层更新节点信息；
所述的GCN层，具体为在获得起点-目的地二部图后，通过以下GCN模型分别更新起点和目的地的特征：
Figure FDA0003675074350000026
Figure FDA0003675074350000027
式中
Figure FDA0003675074350000028
为起点oi的第l+1层的嵌入；N(oi)为起点oi的度；N(dj)为目的地dj的度；
Figure FDA0003675074350000029
为目的地dj的第l层的嵌入；
Figure FDA00036750743500000210
为目的地di的第l+1层的嵌入；N(di)为目的地di的度；N(oj)为起点oj的度；
Figure FDA00036750743500000211
为起点oj的第l层的嵌入；当OD对存在时，eod＝eo||ed，||为合并操作；
所述的GAT层，具体为在获得用户-OD二部图后，用户-OD二部图的初始化表征矩阵E为
Figure FDA0003675074350000031
式中M为OD对的数量；Q为用户的数量；
Figure FDA0003675074350000032
为第j个OD对的初始化嵌入，j＝1,2,...,M；
Figure FDA0003675074350000033
为第i个用户的初始化嵌入，i＝1,2,...,Q；
为了获取用户的特征信息，通过聚合用户u邻居传播的信息以更新用户u的表征；定义以下聚合函数
Figure FDA0003675074350000034
式中
Figure FDA0003675074350000035
为在第l+1层用户ui的嵌入；N(ui)为ui的邻居聚合；W1 (l)为训练得到的权重矩阵；
Figure FDA0003675074350000036
为用户ui和odj之间的注意力值；
Figure FDA0003675074350000037
为第l层中用户ui和odj之间的注意力值，且
Figure FDA0003675074350000038
softmax()为归一化指数函数softmax，
Figure FDA0003675074350000039
为第l层中第i个用户对第j个OD对的重要性，且
Figure FDA00036750743500000310
ρ()为激活函数LeakyReLU，a为注意力权重向量，
Figure FDA00036750743500000311
和W3 (l)为训练得到的权重参数，
Figure FDA00036750743500000312
为ui在第l层的表征，
Figure FDA00036750743500000313
为odj在第l层的表征；
通过GAT层基于用户-OD二部图用户的特征为eu和eod；上下文信息通过标准归一化后为em。
4.根据权利要求3所述的一种基于异质图神经网络的多模态交通推荐方法，其特征在于步骤S3所述的根据构建的起点-目的地多二部图嵌入方案，构建异质交通图，具体包括如下步骤：
根据导航数据存在用户u使用交通方式m在OD对od上行驶的语义结构(u,m,od)构建异质交通图，异质交通图上每个节点的初始化嵌入向量表示为einit＝eu||eod||em，||为合并操作；eu为用户节点的初始化嵌入向量，eod为OD对的初始化嵌入向量，em为交通方式初始化嵌入向量；
交通方式最后的嵌入表示为
Figure FDA0003675074350000041
其中Eu为用户节点嵌入，且
Figure FDA0003675074350000042
Eod为OD对节点嵌入，且
Figure FDA0003675074350000043
Em为交通方式节点嵌入，且
Figure FDA0003675074350000044
f1为用户节点嵌入维度的大小；f2为OD对节点嵌入维度的大小；f3为交通方式节点嵌入维度的大小；e'm∈εm，e'm为每个交通方式的多模态嵌入向量。
5.根据权利要求4所述的一种基于异质图神经网络的多模态交通推荐方法，其特征在于步骤S4所述的设计带有残差网络的分层注意力机制，以解决过度平滑的问题，具体包括如下步骤：
带有残差网络的分层注意力机制包括残差网络层、节点注意力层和权重注意力层；
残差网络层用于维持网络训练的稳定性；残差网络层的值
Figure FDA0003675074350000045
直接受第l+1层hx视角交通方式节点嵌入
Figure FDA0003675074350000046
和第l层hx视角交通方式节点嵌入
Figure FDA0003675074350000047
的影响：
Figure FDA0003675074350000048
式中hx为节点类型，包含ho和he，其中ho表示同质节点，he表示异质节点；ψs为给定的元路径集合；σ()为ReLU激活函数；
Figure FDA0003675074350000049
为第l+2层hx视角的可训练权重矩阵；
Figure FDA00036750743500000410
为第l+1层hx视角交通方式节点嵌入；bhx(l+2)为第l+2层hx视角的偏置向量；
节点注意力层：采用如下公式计算第l+1层hx视角的第i个交通方式节点嵌入
Figure FDA0003675074350000051
Figure FDA0003675074350000052
式中mj为第i个交通方式节点mi的邻居节点；N(mi)为第i个交通方式节点mi的邻居节点集合；
Figure FDA0003675074350000053
为mi和mj之间的注意力值；
Figure FDA0003675074350000054
为第l层的可训练权重矩阵；
权重注意力层：每个交通方式m的最终嵌入通过以下公式计算得到：
Figure FDA0003675074350000055
式中softmax()为归一化指数函数softmax。
6.根据权利要求5所述的一种基于异质图神经网络的多模态交通推荐方法，其特征在于步骤S5所述的对步骤S4的结果进行汇聚和处理，得到最终的多模态交通推荐结果，构建多模态交通推荐初始模型，具体包括如下步骤：
设计融合神经层，汇聚步骤S4的结果，并将结果输入到全连接层，从而实现多模态交通推荐；
具有若干个全连接层的多模态嵌入e'm用于预测最适合用户u在od上行驶的交通方式m：
Figure FDA0003675074350000056
Figure FDA0003675074350000057
式中
Figure FDA0003675074350000058
为同质视角的交通方式节点嵌入；
Figure FDA0003675074350000059
为异质视角的交通方式节点嵌入；||为合并操作；softmax()为softmax函数；θ()为激活函数ReLU；
Figure FDA00036750743500000510
为训练得到的权重矩阵；
Figure FDA00036750743500000511
为第l层交通方式m的最终表示；b(l)为偏置向量；y'm为最终的预测得分；
对用户使用的若干种交通方式的最后得分进行排序，实现为用户进行多模态交通推荐；
模型训练过程中，进行有监督的训练，采用如下交叉熵损失作为目标函数Loss：
Figure FDA0003675074350000061
式中C为分类的数量；
Figure FDA0003675074350000062
为真实的标签；
Figure FDA0003675074350000063
为预测的标签；
在标签数据的指导下，通过反向传播，优化所提出的多模态交通推荐初始模型。
CN202210622315.4A 2022-06-01 2022-06-01 一种基于异质图神经网络的多模态交通推荐方法 Pending CN114969532A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210622315.4A CN114969532A (zh) 2022-06-01 2022-06-01 一种基于异质图神经网络的多模态交通推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210622315.4A CN114969532A (zh) 2022-06-01 2022-06-01 一种基于异质图神经网络的多模态交通推荐方法

Publications (1)

Publication Number Publication Date
CN114969532A true CN114969532A (zh) 2022-08-30

Family

ID=82960267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210622315.4A Pending CN114969532A (zh) 2022-06-01 2022-06-01 一种基于异质图神经网络的多模态交通推荐方法

Country Status (1)

Country Link
CN (1) CN114969532A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115420299A (zh) * 2022-09-01 2022-12-02 中南大学 基于gps轨迹和图神经网络的出行时间预测方法
CN116561446A (zh) * 2023-07-10 2023-08-08 中国传媒大学 多模态项目推荐方法、系统及设备和存储介质
CN117131938A (zh) * 2023-10-26 2023-11-28 合肥工业大学 基于图深度学习的动态隐性关系挖掘方法和系统
CN117744950A (zh) * 2024-01-24 2024-03-22 深圳宇翊技术股份有限公司 出行需求分析方法、装置、设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115420299A (zh) * 2022-09-01 2022-12-02 中南大学 基于gps轨迹和图神经网络的出行时间预测方法
CN115420299B (zh) * 2022-09-01 2024-07-26 中南大学 基于gps轨迹和图神经网络的出行时间预测方法
CN116561446A (zh) * 2023-07-10 2023-08-08 中国传媒大学 多模态项目推荐方法、系统及设备和存储介质
CN116561446B (zh) * 2023-07-10 2023-10-20 中国传媒大学 多模态项目推荐方法、系统及设备和存储介质
CN117131938A (zh) * 2023-10-26 2023-11-28 合肥工业大学 基于图深度学习的动态隐性关系挖掘方法和系统
CN117131938B (zh) * 2023-10-26 2024-01-19 合肥工业大学 基于图深度学习的动态隐性关系挖掘方法和系统
CN117744950A (zh) * 2024-01-24 2024-03-22 深圳宇翊技术股份有限公司 出行需求分析方法、装置、设备及存储介质
CN117744950B (zh) * 2024-01-24 2024-07-02 深圳宇翊技术股份有限公司 出行需求分析方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN114969532A (zh) 一种基于异质图神经网络的多模态交通推荐方法
Yin et al. DHNE: Network representation learning method for dynamic heterogeneous networks
Zhao et al. Vehicle accident risk prediction based on AdaBoost-SO in VANETs
Gao et al. Contextual spatio-temporal graph representation learning for reinforced human mobility mining
CN116932722A (zh) 一种基于跨模态数据融合的医学视觉问答方法及系统
CN115879473A (zh) 基于改进图注意力网络的中文医疗命名实体识别方法
CN114141375A (zh) 用于疾病预测的异质图表示方法、装置、设备及存储介质
CN115965795A (zh) 一种基于网络表示学习的深暗网群体发现方法
CN112199884A (zh) 物品分子生成方法、装置、设备及存储介质
CN114461934A (zh) 基于动态交通网络的多模态出行方式融合推荐方法
Zhou et al. Spatial-temporal fusion graph framework for trajectory similarity computation
Cai et al. The mining of urban hotspots based on multi-source location data fusion
Yu et al. Graph based embedding learning of trajectory data for transportation mode recognition by fusing sequence and dependency relations
Liu et al. Modeling trajectories with multi-task learning
Wei et al. Diff-rntraj: A structure-aware diffusion model for road network-constrained trajectory generation
CN104036013B (zh) 基于属性拓扑的博客数据的形式概念计算方法
Liao et al. Traj2Traj: A road network constrained spatiotemporal interpolation model for traffic trajectory restoration
Wang et al. Segmented trajectory clustering-based destination prediction in IoVs
CN113205181A (zh) 一种基于图深度学习的图组合优化问题求解方法
Yi et al. Improving synthetic to realistic semantic segmentation with parallel generative ensembles for autonomous urban driving
Wang et al. Doufu: a double fusion joint learning method for driving trajectory representation
Sun et al. Alleviating data sparsity problems in estimated time of arrival via auxiliary metric learning
CN114399048B (zh) 基于图卷积神经网络与类型嵌入的教育领域联合知识点预测方法及系统
Liu et al. Multi-view spatial-temporal model for travel time estimation
Xu et al. A coupled generative graph convolution network by capturing dynamic relationship of regional flow for traffic prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination