CN110928993B - 基于深度循环神经网络的用户位置预测方法及系统 - Google Patents

基于深度循环神经网络的用户位置预测方法及系统 Download PDF

Info

Publication number
CN110928993B
CN110928993B CN201911173251.9A CN201911173251A CN110928993B CN 110928993 B CN110928993 B CN 110928993B CN 201911173251 A CN201911173251 A CN 201911173251A CN 110928993 B CN110928993 B CN 110928993B
Authority
CN
China
Prior art keywords
vector
information
user
hidden state
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911173251.9A
Other languages
English (en)
Other versions
CN110928993A (zh
Inventor
张旭
李浡铭
王迎雪
刘弋锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
China Academy of Electronic and Information Technology of CETC
Original Assignee
Chongqing University of Post and Telecommunications
China Academy of Electronic and Information Technology of CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications, China Academy of Electronic and Information Technology of CETC filed Critical Chongqing University of Post and Telecommunications
Priority to CN201911173251.9A priority Critical patent/CN110928993B/zh
Publication of CN110928993A publication Critical patent/CN110928993A/zh
Application granted granted Critical
Publication of CN110928993B publication Critical patent/CN110928993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度循环神经网络的用户位置预测方法及系统，属于用户移动位置预测领域，所述方法包括：提取出用户的每个轨迹点信息，将用户的每个轨迹点包含的信息元组转化成轨迹点向量表示，将轨迹点向量输入到基于长短期记忆网络LSTM改进的循环神经元、注意力层和SoftMax层，得到预测向量，计算出用户下一步位置的概率分布来预测位置，本发明对GPS数据中所包含的语义信息进行处理，有效的将时空信息输入深度学习模型进行建模，增强历史位置对于用户下一个移动位置的影响，最终得到精准的位置预测结果。

Description

基于深度循环神经网络的用户位置预测方法及系统
技术领域
本发明属于用户移动位置预测领域，特别涉及一种基于深度循环神经网络的用户位置预测方法及系统。
背景技术
随着位置定位技术的发展，人们的移动轨迹得以丰富的保存下来。分析用户的移动轨迹信息，进而预测用户的位置移动，可以进行一些具有意义或巨大商业价值的活动。举个例子，通过分析出行用户的全球定位系统GPS轨迹信息，可以为用户进行路线推荐，位置广告推荐，健康应用服务和城市交通规划。研究用户位置预测可以极大的增强用户的出行体验的好感度和减少社会资源的消耗。人们的轨迹数据不再单纯只记录位置，时间等信息，还有丰富的语义信息，文本描述等。用户使用众多的社交网络媒体时，在记录其移动位置的同时还会记录其社会活动信息，比如位置属性(餐馆，书店)，正在进行的活动属性(打篮球，跳舞，唱歌)。这些语义信息同样对用户下一个位置预测有较大的影响。
循环神经网络RNNs模型最初被设计用于语言模型建模，并取得非常不错的效果。由于轨迹数据也属于序列数据的一种，可以将轨迹数据也输入到RNNs模型中进行序列建模。Zhu等人提出了一种时间-长短期记忆网络Time-LSTM模型，长短期记忆网络LSTM属于一种RNNs的变种，Time-LSTM通过在LSTM神经元中设置时间门，增强了LSTM模型预测的时间关联性。
然而与传统的序列数据不同，GPS轨迹数据中包含有丰富的语义信息，且具有时空特性，用户的移动与空间和时间密切相连。传统的用户位置预测方法，存在没有考虑用户移动的语义方面和用户移动连续性的问题，没有利用轨迹数据中包含的大量的语义信息，没有考虑到历史移动信息对用户下一个位置的影响。
发明内容
本发明为解决上述问题，提出了一种基于深度循环神经网络的用户位置预测方法及系统。本发明使用语句转化向量sen2vec方法将语义信息转化成语义向量，并将地理网格位置和时间戳信息转化成向量，将这三部分进行拼接作为模型的一部分输入。基于长短期记忆网络LSTM对循环神经元进行改进，增加了时间门和距离门，将移动轨迹时间间隔和距离间隔作为另一部分输入。在LSTM层之后加入一个注意力层，通过对基于LSTM改进的循环神经元的输出进行加权计算，增强历史移动位置对用户下一个移动位置的影响。
根据本发明的一个方面，提供一种基于深度循环神经网络的用户位置预测方法，所述方法包括：
步骤1，获取用户的历史全球定位系统GPS轨迹信息，提取出用户的每个轨迹点信息，所述轨迹点信息至少包含用户编号、网格编号、时间信息、语义信息、时间间隔和距离间隔；
步骤2，将用户的每个轨迹点包含的信息元组转化成轨迹点向量表示，得到用户编号向量、网格编号向量、时间信息向量和语义向量，时间间隔和距离间隔仍采用标量表示；
步骤3，将轨迹点向量输入到改进的深度循环神经网络模型中，得到时间窗口中每个时间片的第一隐状态向量hn，将所述第一隐状态向量hn输入到注意力层，得到第二隐状态向量
Figure BDA0002289293540000031
将第二隐状态向量/>
Figure BDA0002289293540000032
与用户编号向量相加，输入到SoftMax层，得到训练预测向量yk，通过减小目标函数的损失来训练模型；
步骤4，将待预测用户的前k-1个位置的轨迹点向量输入训练完成的模型，得出目标预测向量y′k，通过SoftMax计算出概率分布，将概率最大的位置作为用户的预测位置k。
根据本发明的另一方面，提供一种基于深度循环神经网络的用户位置预测系统，所述系统包括：
输入模块，用于获取用户的历史全球定位系统GPS轨迹信息，提取出用户的每个轨迹点信息，所述轨迹点信息至少包含用户编号、网格编号、时间信息、语义信息、时间间隔和距离间隔；
预处理模块，用于将用户的每个轨迹点包含的信息元组转化成轨迹点向量表示，得到用户编号向量、网格编号向量、时间信息向量和语义向量，时间间隔和距离间隔仍采用标量表示；
改进的深度循环神经网络模型模块，包括基于LSTM改进的循环神经元模块，注意力模块，SoftMax模块和训练模块；所述基于LSTM改进的循环神经元模块用于对输入的轨迹点向量进行处理，得到时间窗口中每个时间片的第一隐状态向量hn；所述注意力模块用于对所述第一隐状态向量hn进行处理，得到第二隐状态向量
Figure BDA0002289293540000033
所述SoftMax模块用于将第二隐状态向量/>
Figure BDA0002289293540000034
与用户编号向量相加后进行处理，得到训练预测向量yk；所述训练模块用于更新所述改进的深度循环神经网络模型中的参数，通过减小目标函数的损失来训练所述模型；
预测结果输出模块，用于从训练好的所述改进的深度循环神经网络模型模块中接收目标预测向量y′k，通过SoftMax操作计算出概率分布，将概率最大的位置作为用户的预测位置k，所述目标预测向量y′k为将待预测用户的前k-1个位置的轨迹点向量输入到训练完成的所述模型模块中计算得到的预测向量。
根据本发明的另一个方面，提供一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于深度循环神经网络的用户位置预测方法。
本发明的有益效果在于，提出了一种基于深度循环神经网络的用户位置预测方法及系统，对GPS数据中所包含的语义信息进行处理，体现用户的语义信息对位置移动的影响，表现出用户的个性化移动，有效的将时空信息输入深度学习模型进行建模；增强历史移动位置对用户下一个移动位置的影响，最终得到精准的位置预测结果。
附图说明
图1是本发明实施例提供的一种基于深度循环神经网络的用户位置预测方法流程图；
图2是本发明实施例使用的基于长短期记忆网络LSTM改进的循环神经元的示意图；
图3是本发明实施例中隐层向量输入到注意力层进行计算的流程示意图；
图4是本发明实施例提供的另一种基于深度循环神经网络的用户位置预测方法流程图；
图5是本发明实施例提供的一种基于深度循环神经网络的用户位置预测系统结构图；
图6是本发明实施例提供的一种用于基于深度循环神经网络的用户位置预测的计算机设备结构图。
具体实施方式
下面本发明具体的实施方式进行阐述，来进一步说明本发明的出发点以及相应的技术方案。
图1是本发明实施例提供的一种基于深度循环神经网络的用户位置预测方法流程图，所述方法包括以下步骤：
步骤101，获取用户的历史全球定位系统GPS轨迹信息，提取出用户的每个轨迹点信息，所述轨迹点信息至少包含用户编号、网格编号、时间信息、语义信息、时间间隔和距离间隔；
步骤102，将用户的每个轨迹点包含的信息元组转化成轨迹点向量表示，得到用户编号向量、网格编号向量、时间信息向量和语义向量，时间间隔和距离间隔仍采用标量表示；
优选的，步骤102具体包括以下步骤：
步骤102-1，将网格编号，时间信息，用户编号通过词嵌入方法转化向量表示，得到用户编号向量、网格编号向量、时间信息向量，时间间隔和距离间隔仍为标量表示；
步骤102-2，将语义信息通过语句转向量sen2vec方法转化成语义向量，包括先使用预训练的词向量转化语义信息中的每个单词，根据预训练的词频将每个语义信息的所有单词进行加权处理，再使用主成分分析法对整个语义信息集进行处理，得到每一条语义信息的向量表示；
优选的，所述将语义信息转化成语义向量，具体包括：
对于原始语义信息集合c中的每一条原始语义信息ck，使用预训练词向量
Figure BDA0002289293540000061
来代表语义信息中的每一个单词w∈ck，使用预训练语料库词频作为它的词频统计p(w)，将c中所包含的词向量加权求和并取平均，转化得到中间词向量/>
Figure BDA0002289293540000062
Figure BDA0002289293540000063
其中，a是预设的一个不变参数，如a为10的负4次方，词频统计p(w)越大，表示该单词出现的频率越高，对于没有查询到的单词w，设置p(w)＝1，
Figure BDA0002289293540000064
Figure BDA0002289293540000065
表示预处理中的中间词向量/>
Figure BDA0002289293540000066
的集合；
使用主成分分析法PCA对
Figure BDA0002289293540000067
的集合/>
Figure BDA0002289293540000068
求得主成分/>
Figure BDA0002289293540000069
Figure BDA00022892935400000610
为保持向量的维度不变，获得嵌入向量
Figure BDA00022892935400000611
其中/>
Figure BDA00022892935400000612
为/>
Figure BDA00022892935400000613
的转置；
将
Figure BDA00022892935400000614
进行线性变换为语义嵌入表示为/>
Figure BDA00022892935400000615
其中Bc是线性变换的权重矩阵。
步骤102-3，将网格编号向量、时间信息向量和语义向量进行向量连接，作为模型的第一输入部分，将时间间隔和距离间隔作为模型的第二输入部分，将用户编号向量作为模型的第三输入部分。
步骤103，将轨迹点向量输入到改进的深度循环神经网络模型中，得到时间窗口中每个时间片的第一隐状态向量hn，将所述第一隐状态向量hn输入到注意力层，得到第二隐状态向量
Figure BDA00022892935400000616
将第二隐状态向量/>
Figure BDA00022892935400000617
与用户编号向量相加，输入到SoftMax层，得到训练预测向量yk，通过减小目标函数的损失来训练模型；
优选的，步骤103具体包括以下步骤：
步骤103-1，将轨迹点向量输入到改进的深度循环神经网络模型中，通过基于LSTM改进的循环神经元层计算，得到时间窗口中每个时间片的第一隐状态向量hn，所述基于LSTM改进的循环神经元层中设置有用于接收时间间隔信息和距离间隔信息的时间门和距离门；
图2是本发明实施例使用的基于LSTM改进的循环神经元的示意图，该神经元中加入了时间门和距离门，可以接收时间间隔信息和距离间隔信息。步骤103-1中通过基于LSTM改进的循环神经元层计算，得到时间窗口中每个时间片的第一隐状态向量hn的具体步骤为：
将网格编号向量，语义向量，时间向量拼接而成向量
Figure BDA0002289293540000071
两个轨迹点之间的位置间隔Δdn和时间间隔Δtn，输入到以下公式群中，计算得到第一隐状态向量hn：
Figure BDA0002289293540000072
Figure BDA0002289293540000073
Figure BDA0002289293540000074
Figure BDA0002289293540000075
Figure BDA0002289293540000076
Figure BDA0002289293540000077
Figure BDA0002289293540000078
Figure BDA0002289293540000079
Figure BDA00022892935400000710
其中，hn-1是上一个时间片的隐状态向量，in是输入门，fn是遗忘门，cn是神经元状态，on是输出门，Wi、Wf、
Figure BDA0002289293540000081
Wo、Wxt、Wxd、Wt、Wd、Wto、Wdo、Vi、Vf、/>
Figure BDA0002289293540000082
Vo是该神经元的输入线性变换矩阵，bi、bf、/>
Figure BDA0002289293540000083
bo、bt、bd是输入线性变换偏移，σ()是激活函数sigmod，⊙表示矩阵元素相乘。
步骤103-2，将第一隐状态向量hn输入到注意力层进行计算，通过两个额外的注意力权重向量，以及一个注意力深度对第一隐状态向量hn进行加权计算，获得第二隐状态向量
Figure BDA0002289293540000084
图3是本发明实施例中隐层向量输入到注意力层进行计算的流程示意图。步骤103-2中，将改进的LSTM的神经元的输出hn输入注意力层进行计算的具体步骤包括：
通过注意力深度dr，确定需要进行加权计算的隐层向量
Figure BDA0002289293540000085
为：
Figure BDA0002289293540000086
通过两个额外的注意力权重向量Ws1∈Re*e和Ws2∈Re*1，计算对齐权重向量αi：
αi＝softmax(tanh(HiWs1)Ws2)；
利用注意力深度dr对隐层向量进行加权计算，获得第二隐状态向量
Figure BDA0002289293540000087
Figure BDA0002289293540000088
其中，
Figure BDA0002289293540000089
Re*e、Re*1分别表示维度为dr*e、e*e、e*1的空间，e为第一隐态向量hn的维度，αi T为αi的转置，n为第一隐状态向量的序列号。
步骤103-3，将第二隐状态向量
Figure BDA00022892935400000810
使用线性变换转化成N维向量ok，将ok与用户编号向量相加，输入到SoftMax层进行计算，得到训练预测向量yk；具体通过以下公式计算得到：
Figure BDA00022892935400000811
Figure BDA00022892935400000812
步骤103-4，使用随机梯度下降算法SGD更新所述模型的参数，减小目标函数J的损失来训练所述模型；所述更新模型的参数为更新改进的深度循环神经网络模型的参数，包括基于LSTM改进的循环神经元和注意层公式中的参数；所述目标函数J的公式如下：
Figure BDA0002289293540000091
其中，lk+1表示需要预测的位置的网格编号的向量，K表示训练集的总数，yk为步骤103-3得到的训练预测向量。
步骤104，将待预测用户的前k-1个位置的轨迹点向量输入训练完成的模型，得出目标预测向量y′k，通过SoftMax算法计算出概率分布，将概率最大的位置作为用户的预测位置k，即时刻k的预测位置。
图4是本发明实施例提供的另一种基于深度循环神经网络的用户位置预测方法流程图，具体步骤包括：
步骤401，清洗并获取用户的历史GPS轨迹信息，确定用户停留点位置序列，将待预测区域划分网格，并将轨迹点经纬度信息替换为网格编号，每个轨迹点包含：网格编号，时间信息，语义信息，时间间隔，距离间隔，用户编号。
步骤402，将每个轨迹点包含的信息元组转化成向量表示，包括：
将网格编号，时间信息，用户编号通过词嵌入方法转化向量表示，时间间隔和距离间隔仍为标量；
将语义信息通过sen2vec方法转化成语义向量，使用预训练的词向量转化语义信息中的每个单词，并根据预训练的词频将每个语义信息的所有单词进行加权处理，再使用主成分分析法对整个语义信息集进行处理，得到每一条语义信息的向量表示。
将网格编号向量，时间信息向量，语义向量进行向量连接，作为一部分输入，时间间隔和距离间隔作为另一部分输入，用户编号向量作为第三部分输入。
步骤403，将处理好的轨迹信息输入到改进的RNNs神经元模型中，得到时间窗口中每个时间片的隐状态向量，具体包括：
采用的改进的RNNs神经元处理网格编号向量，时间信息向量，语义向量，该神经元中加入了时间门和距离门，得到第一隐层状态hn，所述基于LSTM改进的循环神经元可以接收时间间隔信息和距离间隔信息；
将改进的RNNs神经元的输出hn输入注意力层进行计算，本发明在RNNs神经元输出hn后加入了一层注意力层，通过两个额外的注意力权重向量，以及一个注意力深度对隐层向量进行加权计算，获得最终的隐层向量结果
Figure BDA0002289293540000101
将向量
Figure BDA0002289293540000102
先使用线性变换转化成N维向量得到ok，将ok与用户编号向量(用户编号向量也是N维)相加，输入到softmax层进行计算，得到最终的向量yk。softmax用于获得预测位置的概率分布。使用随机梯度下降算法(SGD)自动更新参数,减小目标函数的损失训练模型。
步骤404，使用建模好的模型进行预测，将用户前k-1个位置的轨迹信息输入训练好的模型，得出向量o′k，再通过softmax计算出概率分布，取最大的概率的位置作为预测的用户将要移动到的位置k。
图5是本发明实施例提供的一种基于深度循环神经网络的用户位置预测系统结构图，所述系统包括以下模块：
轨迹信息输入模块510，用于获取用户的历史全球定位系统GPS轨迹信息，提取出用户的每个轨迹点信息，所述轨迹点信息至少包含用户编号、网格编号、时间信息、语义信息、时间间隔和距离间隔；
预处理模块520，用于将用户的每个轨迹点包含的信息元组转化成轨迹点向量表示，得到用户编号向量、网格编号向量、时间信息向量和语义向量，时间间隔和距离间隔仍采用标量表示；
改进的深度循环神经网络模型模块530，包括基于LSTM改进的循环神经元模块531，注意力模块532，SoftMax模块533和训练模块534；所述基于LSTM改进的循环神经元模块531用于对输入的轨迹点向量进行处理，得到时间窗口中每个时间片的第一隐状态向量hn；所述注意力模块532用于对所述第一隐状态向量hn进行处理，得到第二隐状态向量
Figure BDA0002289293540000111
所述SoftMax模块533用于将第二隐状态向量/>
Figure BDA0002289293540000112
与用户编号向量相加后进行处理，得到训练预测向量yk；所述训练模块534用于更新所述改进的深度循环神经网络模型中的参数，通过减小目标函数的损失来训练所述模型；
预测结果输出模块540，用于从训练好的所述改进的深度循环神经网络模型中接收目标预测向量y′k，通过SoftMax计算出概率分布，将概率最大的位置作为用户的预测位置k，所述目标预测向量y′k为将待预测用户的前k-1个位置的轨迹点向量输入到训练完成的所述模型中计算得到的预测向量。
优选的，所述预处理模块532具体用于：
将网格编号，时间信息，用户编号通过词嵌入方法转化向量表示，得到用户编号向量、网格编号向量、时间信息向量，时间间隔和距离间隔仍为标量表示；
将语义信息通过语句转向量sen2vec方法转化成语义向量，包括先使用预训练的词向量转化语义信息中的每个单词，根据预训练的词频将每个语义信息的所有单词进行加权处理，再使用主成分分析法对整个语义信息集进行处理，得到每一条语义信息的向量表示；
将网格编号向量、时间信息向量和语义向量进行向量连接，作为模型的第一输入部分，将时间间隔和距离间隔作为模型的第二输入部分，将用户编号向量作为模型的第三输入部分。
优选的，所述改进的深度循环神经网络模型模块530具体包括：
基于LSTM改进的循环神经元模块531，用于接收预处理模块生成的轨迹点向量，通过计算得到时间窗口中每个时间片的第一隐状态向量hn，所述基于LSTM改进的循环神经元模块中设置有用于接收时间间隔信息和距离间隔信息的时间门和距离门；
注意力模块532，用于接收基于LSTM改进的循环神经元模块生成的第一隐状态向量hn，通过两个额外的注意力权重向量，以及一个注意力深度对第一隐状态向量hn进行加权计算，获得第二隐状态向量
Figure BDA0002289293540000121
SoftMax模块533，用于将第二隐状态向量
Figure BDA0002289293540000122
使用线性变换转化成N维向量ok，将ok与用户编号向量相加，进行计算得到训练预测向量yk；
训练模块534，用于使用随机梯度下降算法SGD更新所述模型的参数，减小目标函数J的损失来训练所述模型。
本发明实施例提供的基于深度循环神经网络的用户位置预测系统中各个模块的部分计算过程和操作步骤，可以参考前述说明的基于深度循环神经网络的用户位置预测方法。
图6是本发明实施例提供的一种计算机设备结构图。如图6所示，该计算机设备包括通过系统总线620连接的处理器610、非易失性存储介质630、内存储器650及网络接口640。其中，计算机设备的非易失性存储介质630存储有操作系统631及计算机可执行指令632，该计算机可执行指令632用于实现本发明实施例中提供的基于深度循环神经网络的用户位置预测方法。该处理器610用于提供计算和控制能力，支撑整个计算机设备的运行。计算机设备中的内存储器650为非易失性存储介质630中的操作系统631及计算机可执行指令632的运行提供环境，网络接口640用于与其它的计算机设备进行网络通信。该计算机设备可以是手机、平板电脑、PC(personal computer)等终端，也可以是服务器等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体地计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明另外一个实施例中，本发明采用Python程序设计语言，能够在主流计算机平台上运行。本实施列使用的操作系统为CentOS 6.5，要求CPU为Intel i7，内存16GB以上，硬盘空间要求32GB及以上，GPU为NVIDIA GTX 1080Ti，显存11G。本实施例基于PyTorch 1.2框架实施本发明内容，以RMSprop优化算法来更新模型的参数。
数据集采用来自两个大城市的GPS签到数据集，New York City(NY)和LosAngeles(LA)。第一个数据集NY，包含了2011年1月到2012年1月期间，30万条纽约的Foursquare签到数据记录。第二个数据集是LA，包含了2014年8月到2014年11月期间，140万条tweets签到数据记录。我们将城市划分成网格形式，每个网格代表一个位置，比如将LA划分为。在NY数据集上，我们保留了235位用户共计3107条移动序列，在LA数据集上，我们保留了466位用户共计8691条移动序列。
模型中神经元的维度，输入模型产生网格编号向量，时间向量，语义向量的维度都设置为50，用户编号向量的维度设置为10000，时间间隔和距离间隔为标量，单位是秒和米。
对于每个数据集，采取80％的记录作为训练集，20％的记录作为测试集。模型在所有训练数据上执行一遍梯度下降算法被称为一轮，每一轮都会对模型的参数进行更新，最大轮数被设置为500轮。在训练模型的500轮迭代过程中，在测试数据集上取得最小误差的模型及其参数被保存起来。
与本发明进行对比现有技术包括以下四种：
1)MF:最频繁法，根据用户的历史频繁访问位置信息进行预测。
2)LSTM:基础的LSTM方法，仅仅只使用了位置信息和用户编号信息。
3)SERM:基于LSTM的丰富语义神经网络模型，使用词袋模型产生关键词向量增强预测中的语义信息。
4)STGN:时空LSTM门模型，通过在LSTM中加入时间门和距离门，增强模型捕获时空信息的能力。
对比使用的衡量指标包括：(1)准确率Acc@N，表示预测位置出现在预测候选位置数的比例，例如Acc@5就是预测出5个可能位置，测试数据实际位置出现在这个位置上数量除以数据总量；和(2)网络误差δd/m，表示所有测试数据预测位置的网格中心和测试数据实际位置的网格中心的平均误差。
如表1所示，给出了在不同的数据集下，本发明与四个现有方法的准确率和网格误差率的对比情况。对于New York City(NY)数据集，用户量User为235位用户，轨迹数量Trajs为3107条移动序列，本方法(由OURS表示)的准确率Acc@1、Acc@5、Acc@10分别为0.2052、0.4487和0.5533，均比现有的四个方法高，且网格距离误差δd/m为1419，比现有的四个方法都低；对于Los Angeles(LA)数据集，用户量User为466位用户，轨迹数量Trajs为8691条移动序列，本方法(由OURS表示)的准确率Acc@1、Acc@5、Acc@10、Acc@15和Acc@20，均比现有的四个方法高，且网格距离误差δd/m为2341，比现有的四个方法都低。通过以上对比说明，本发明提供的方法可以有效提高预测的准确率和降低网格距离误差。
表1
Figure BDA0002289293540000151
Figure BDA0002289293540000152
如表2所示，给出了本发明提供的方法在不同的隐层维度(HiddenSize)下的准确率情况。对于Los Angeles(LA)数据集和New York City(NY)数据集，随着隐层维度从50增加到200，整体上可以增大Acc@1、Acc@5和Acc@10的值，即增大预测的准确率。这说明在满足运算能力要求的情况下，选择合适的隐层维度，可以进一步增大本发明提供方法的预测准确率。
表2
Figure BDA0002289293540000161
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (10)

1.一种基于深度循环神经网络的用户位置预测方法，其特征在于，包括：
步骤1，获取用户的历史全球定位系统GPS轨迹信息，提取出用户的每个轨迹点信息，所述轨迹点信息至少包含用户编号、网格编号、时间信息、语义信息、时间间隔和距离间隔；
步骤2，将用户的每个轨迹点包含的信息元组转化成轨迹点向量表示，得到用户编号向量、网格编号向量、时间信息向量和语义向量，时间间隔和距离间隔仍采用标量表示；
步骤3，将轨迹点向量输入到改进的深度循环神经网络模型中，得到时间窗口中每个时间片的第一隐状态向量hn，将所述第一隐状态向量hn输入到注意力层，得到第二隐状态向量
Figure FDA0004199618120000011
将第二隐状态向量/>
Figure FDA0004199618120000012
与用户编号向量相加，输入到SoftMax层，得到训练预测向量yk，通过减小目标函数的损失来训练模型；
步骤4，将待预测用户的前k-1个位置的轨迹点向量输入训练完成的模型，得出目标预测向量y′k，通过SoftMax计算出概率分布，将概率最大的位置作为用户的预测位置k；
其中，所述步骤3包括：
步骤301，将轨迹点向量输入到改进的深度循环神经网络模型中，通过基于LSTM改进的循环神经元层计算，得到时间窗口中每个时间片的第一隐状态向量hn，所述基于LSTM改进的循环神经元层中设置有用于接收时间间隔信息和距离间隔信息的时间门和距离门；
步骤302，将第一隐状态向量hn输入到注意力层进行计算，通过两个额外的注意力权重向量，以及一个注意力深度对第一隐状态向量hn进行加权计算，获得第二隐状态向量
Figure FDA0004199618120000021
2.根据权利要求1所述的方法，其特征在于，所述步骤2包括：
步骤201，将网格编号，时间信息，用户编号通过词嵌入方法转化向量表示，得到用户编号向量、网格编号向量、时间信息向量，时间间隔和距离间隔仍为标量表示；
步骤202，将语义信息通过语句转向量sen2vec方法转化成语义向量，包括先使用预训练的词向量转化语义信息中的每个单词，根据预训练的词频将每个语义信息的所有单词进行加权处理，再使用主成分分析法对整个语义信息集进行处理，得到每一条语义信息的向量表示；
步骤203，将网格编号向量、时间信息向量和语义向量进行向量连接，作为模型的第一输入部分，将时间间隔和距离间隔作为模型的第二输入部分，将用户编号向量作为模型的第三输入部分。
3.根据权利要求2所述的方法，其特征在于，所述将语义信息转化成语义向量，包括：
对于原始语义信息集合c中的每一条原始语义信息ck，使用预训练词向量
Figure FDA0004199618120000022
来代表语义信息中的每一个单词w∈ck，使用预训练语料库词频作为它的词频统计p(w)，将c中所包含的词向量加权求和并取平均，转化得到中间词向量/>
Figure FDA0004199618120000023
Figure FDA0004199618120000024
其中，a是预设的一个不变参数，词频统计p(w)越大，表示该单词出现的频率越高，对于没有查询到的单词w，设置p(w)＝1，
Figure FDA0004199618120000025
Figure FDA0004199618120000026
表示预处理中的中间词向量/>
Figure FDA0004199618120000031
的集合；
使用主成分分析法PCA对
Figure FDA0004199618120000032
的集合/>
Figure FDA0004199618120000033
求得主成分/>
Figure FDA0004199618120000034
Figure FDA0004199618120000035
为保持向量的维度不变，获得嵌入向量
Figure FDA0004199618120000036
其中/>
Figure FDA0004199618120000037
为/>
Figure FDA0004199618120000038
的转置；
将
Figure FDA0004199618120000039
进行线性变换为语义嵌入表示为/>
Figure FDA00041996181200000310
其中Bc是线性变换的权重矩阵。
4.根据权利要求1所述的方法，其特征在于，所述步骤3还包括：
步骤303，将第二隐状态向量
Figure FDA00041996181200000311
使用线性变换转化成N维向量ok，将ok与用户编号向量相加，输入到SoftMax层进行计算，得到训练预测向量yk；
步骤304，使用随机梯度下降算法SGD更新所述模型的参数，减小目标函数J的损失来训练所述模型。
5.根据权利要求1所述的方法，其特征在于，所述计算得到时间窗口中每个时间片的第一隐状态向量hn，包括：
将网格编号向量，语义向量，时间向量拼接而成向量
Figure FDA00041996181200000312
两个轨迹点之间的位置间隔Δdn和时间间隔Δtn，输入到以下公式群中，计算得到第一隐状态向量hn：
Figure FDA00041996181200000313
Figure FDA00041996181200000314
Figure FDA00041996181200000315
Figure FDA00041996181200000316
Figure FDA00041996181200000317
Figure FDA00041996181200000318
Figure FDA0004199618120000041
Figure FDA0004199618120000042
Figure FDA0004199618120000043
其中，hn-1是上一个时间片的隐状态向量，in是输入门，fn是遗忘门，cn是神经元状态，on是输出门，Wi、Wf、
Figure FDA00041996181200000412
Wo、Wxt、Wxd、Wt、Wd、Wto、Wdo、Vi、Vf、/>
Figure FDA0004199618120000044
Vo是该神经元的输入线性变换矩阵，bi、bf、/>
Figure FDA0004199618120000045
bo、bt、bd是输入线性变换偏移，σ()是激活函数sigmod，⊙表示矩阵元素相乘。
6.根据权利要求1所述的方法，其特征在于，将所述第一隐状态向量hn输入到注意力层，得到第二隐状态向量
Figure FDA0004199618120000046
包括：
通过注意力深度dr，确定需要进行加权计算的隐层向量
Figure FDA0004199618120000047
为：
Figure FDA0004199618120000048
通过两个额外的注意力权重向量Ws1∈Re*e和Ws2∈Re*1，计算对齐权重向量αi：
αi＝soft max(tanh(HiWs1)Ws2)；
利用注意力深度dr对隐层向量进行加权计算，获得第二隐状态向量
Figure FDA0004199618120000049
Figure FDA00041996181200000410
其中，
Figure FDA00041996181200000411
Re*e、Re*1分别表示维度为dr*e、e*e、e*1的空间，e为第一隐态向量hn的维度，αi T为αi的转置，n为第一隐状态向量的序列号。
7.一种基于深度循环神经网络的用户位置预测系统，其特征在于，包括：
轨迹信息输入模块，用于获取用户的历史全球定位系统GPS轨迹信息，提取出用户的每个轨迹点信息，所述轨迹点信息至少包含用户编号、网格编号、时间信息、语义信息、时间间隔和距离间隔；
预处理模块，用于将用户的每个轨迹点包含的信息元组转化成轨迹点向量表示，得到用户编号向量、网格编号向量、时间信息向量和语义向量，时间间隔和距离间隔仍采用标量表示；
改进的深度循环神经网络模型模块，包括基于LSTM改进的循环神经元模块，注意力模块，SoftMax模块和训练模块；所述基于LSTM改进的循环神经元模块用于对输入的轨迹点向量进行处理，得到时间窗口中每个时间片的第一隐状态向量hn；所述注意力模块用于对所述第一隐状态向量hn进行处理，得到第二隐状态向量
Figure FDA0004199618120000051
所述SoftMax模块用于将第二隐状态向量/>
Figure FDA0004199618120000052
与用户编号向量相加后进行处理，得到训练预测向量yk；所述训练模块用于更新所述改进的深度循环神经网络模型中的参数，通过减小目标函数的损失来训练所述模型；
预测结果输出模块，用于从训练好的所述改进的深度循环神经网络模型模块中接收目标预测向量y′k，通过SoftMax操作计算出概率分布，将概率最大的位置作为用户的预测位置k，所述目标预测向量y′k为将待预测用户的前k-1个位置的轨迹点向量输入到训练完成的所述模型模块中计算得到的预测向量；
其中，所述改进的深度循环神经网络模型模块，具体用于：
所述基于LSTM改进的循环神经元模块，用于接收预处理模块生成的轨迹点向量，通过计算得到时间窗口中每个时间片的第一隐状态向量hn，所述基于LSTM改进的循环神经元模块中设置有用于接收时间间隔信息和距离间隔信息的时间门和距离门；
所述注意力模块，用于接收基于LSTM改进的循环神经元模块生成的第一隐状态向量hn，通过两个额外的注意力权重向量，以及一个注意力深度对第一隐状态向量hn进行加权计算，获得第二隐状态向量
Figure FDA0004199618120000053
8.根据权利要求7所述的系统，其特征在于，所述预处理模块具体用于：
将网格编号，时间信息，用户编号通过词嵌入方法转化向量表示，得到用户编号向量、网格编号向量、时间信息向量，时间间隔和距离间隔仍为标量表示；
将语义信息通过语句转向量sen2vec方法转化成语义向量，包括先使用预训练的词向量转化语义信息中的每个单词，根据预训练的词频将每个语义信息的所有单词进行加权处理，再使用主成分分析法对整个语义信息集进行处理，得到每一条语义信息的向量表示；
将网格编号向量、时间信息向量和语义向量进行向量连接，作为模型的第一输入部分，将时间间隔和距离间隔作为模型的第二输入部分，将用户编号向量作为模型的第三输入部分。
9.根据权利要求7所述的系统，其特征在于，所述改进的深度循环神经网络模型模块具体还用于：
所述SoftMax模块，用于将第二隐状态向量
Figure FDA0004199618120000061
使用线性变换转化成N维向量ok，将ok与用户编号向量相加，进行计算得到训练预测向量yk；
所述训练模块，用于使用随机梯度下降算法SGD更新所述模型的参数，减小目标函数J的损失来训练所述模型。
10.一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至6任一所述的方法。
CN201911173251.9A 2019-11-26 2019-11-26 基于深度循环神经网络的用户位置预测方法及系统 Active CN110928993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911173251.9A CN110928993B (zh) 2019-11-26 2019-11-26 基于深度循环神经网络的用户位置预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911173251.9A CN110928993B (zh) 2019-11-26 2019-11-26 基于深度循环神经网络的用户位置预测方法及系统

Publications (2)

Publication Number Publication Date
CN110928993A CN110928993A (zh) 2020-03-27
CN110928993B true CN110928993B (zh) 2023-06-30

Family

ID=69851901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911173251.9A Active CN110928993B (zh) 2019-11-26 2019-11-26 基于深度循环神经网络的用户位置预测方法及系统

Country Status (1)

Country Link
CN (1) CN110928993B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915663B (zh) 2016-09-15 2024-04-30 谷歌有限责任公司 图像深度预测神经网络
CN111444243B (zh) * 2020-03-31 2023-08-29 北京信息科技大学 一种基于轨迹信息的用户行为预测画像方法及系统
CN111488984B (zh) * 2020-04-03 2023-07-21 中国科学院计算技术研究所 一种用于训练轨迹预测模型的方法和轨迹预测方法
CN111709754B (zh) * 2020-06-12 2023-08-25 中国建设银行股份有限公司 一种用户行为特征提取方法、装置、设备及系统
CN111654817A (zh) * 2020-06-29 2020-09-11 青岛歌尔智能传感器有限公司 蓝牙定位方法、移动终端及存储介质
CN112037506B (zh) * 2020-07-29 2021-07-09 长安大学 车辆轨迹预测模型构建方法、车辆轨迹预测方法及系统
CN112270349B (zh) * 2020-10-23 2023-02-21 福州大学 基于gcn-lstm的个体位置预测方法
CN112529284A (zh) * 2020-12-08 2021-03-19 湖南大学 基于神经网络的私家车停留时间预测方法、设备及介质
CN112862155A (zh) * 2021-01-05 2021-05-28 东莞理工学院 一种城市移动性预测方法及预测系统
CN112766339A (zh) * 2021-01-11 2021-05-07 中国科学院计算技术研究所 一种轨迹识别模型训练方法及轨迹识别方法
CN112446556B (zh) * 2021-01-27 2021-04-30 电子科技大学 基于表示学习和行为特征的通信网用户呼叫对象预测方法
EP4089610A4 (en) * 2021-03-25 2022-12-28 Rakuten Group, Inc. ESTIMATING SYSTEM, ESTIMATING METHOD AND PROGRAM
CN113111581B (zh) * 2021-04-09 2022-03-11 重庆邮电大学 结合时空因素和基于图神经网络的lstm轨迹预测方法
CN113159430A (zh) * 2021-04-27 2021-07-23 广东电网有限责任公司清远供电局 一种路线规划方法、装置、设备及存储介质
CN113032688B (zh) * 2021-05-26 2021-08-24 南京航空航天大学 针对社交网络用户在未来给定时间的访问位置预测方法
CN113408518B (zh) * 2021-07-06 2023-04-07 世邦通信股份有限公司 音视频采集设备控制方法、装置、电子设备和存储介质
CN113627647A (zh) * 2021-07-08 2021-11-09 广东省农业科学院作物研究所 基于深度学习的烟叶香型预测方法、电子设备和存储介质
CN113722605A (zh) * 2021-11-03 2021-11-30 北京奇岱松科技有限公司 实时兴趣信息的计算方法及系统
CN114936331A (zh) * 2022-04-18 2022-08-23 北京大学 位置预测方法、装置、电子设备及存储介质
CN114885293B (zh) * 2022-04-26 2022-12-20 和智信(山东)大数据科技有限公司 一种基于深度学习的信令轨迹恢复方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018151979A1 (en) * 2017-02-14 2018-08-23 Microsoft Technology Licensing, Llc Parsers for deriving user intents
CN109409499A (zh) * 2018-09-20 2019-03-01 北京航空航天大学 一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法
CN110070239A (zh) * 2019-03-29 2019-07-30 北京航空航天大学 一种基于a星搜索和深度学习的个性化路线推荐方法
CN110147892A (zh) * 2019-02-20 2019-08-20 电子科技大学 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法
CN110399565A (zh) * 2019-07-29 2019-11-01 北京理工大学 基于时空周期注意力机制的递归神经网络兴趣点推荐方法
WO2019221894A1 (en) * 2018-05-15 2019-11-21 Microsoft Technology Licensing, Llc Intelligent device user interactions

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664716B2 (en) * 2017-07-19 2020-05-26 Vispek Inc. Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018151979A1 (en) * 2017-02-14 2018-08-23 Microsoft Technology Licensing, Llc Parsers for deriving user intents
WO2019221894A1 (en) * 2018-05-15 2019-11-21 Microsoft Technology Licensing, Llc Intelligent device user interactions
CN109409499A (zh) * 2018-09-20 2019-03-01 北京航空航天大学 一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法
CN110147892A (zh) * 2019-02-20 2019-08-20 电子科技大学 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法
CN110070239A (zh) * 2019-03-29 2019-07-30 北京航空航天大学 一种基于a星搜索和深度学习的个性化路线推荐方法
CN110399565A (zh) * 2019-07-29 2019-11-01 北京理工大学 基于时空周期注意力机制的递归神经网络兴趣点推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QoS Attributes Prediction with Attention-based LSTM Network for Mobile Services;Qing Wang et.al;《2019 5th International Conference on Big Data Computing and Communications》;20190811;全文 *
基于运营商数据的用户位置预测系统研究;刘奕杉;《中国优秀硕士论文全文数据库信息科技辑》;20190815;全文 *

Also Published As

Publication number Publication date
CN110928993A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110928993B (zh) 基于深度循环神经网络的用户位置预测方法及系统
CN110929164B (zh) 一种基于用户动态偏好与注意力机制的兴趣点推荐方法
Zhang et al. Deep transfer learning for intelligent cellular traffic prediction based on cross-domain big data
CN109062962B (zh) 一种融合天气信息的门控循环神经网络兴趣点推荐方法
CN110032632A (zh) 基于文本相似度的智能客服问答方法、装置及存储介质
CN111091196B (zh) 客流数据确定方法、装置、计算机设备和存储介质
CN111444243A (zh) 一种基于轨迹信息的用户行为预测画像方法及系统
CN113139140B (zh) 基于时空感知gru并结合用户关系偏好的旅游景点推荐方法
CN116010684A (zh) 物品推荐方法、装置及存储介质
CN111241425B (zh) 一种基于层次注意力机制的poi推荐方法
CN112598165B (zh) 基于私家车数据的城市功能区转移流量预测方法及装置
Wan et al. Pre-training time-aware location embeddings from spatial-temporal trajectories
CN115952355A (zh) 基于时空幂律注意力的下一兴趣点推荐系统
Cao et al. Improving the spatial–temporal aware attention network with dynamic trajectory graph learning for next Point-Of-Interest recommendation
Yin et al. ADPR: An attention-based deep learning point-of-interest recommendation framework
Meng et al. POI recommendation for occasional groups Based on hybrid graph neural networks
CN113590971A (zh) 一种基于类脑时空感知表征的兴趣点推荐方法及系统
CN117271899A (zh) 一种基于时空感知的兴趣点推荐方法
CN116150511A (zh) 一种基于时空上下文和类别偏好的下一个位置推荐方法
Alam Recurrent neural networks in electricity load forecasting
CN115225520B (zh) 一种基于元学习框架的多模态网络流量预测方法及装置
Zhao et al. Urban traffic flow forecasting based on memory time-series network
CN116503588A (zh) 一种基于多元关系时空网络的poi推荐方法，装置及设备
Liao et al. Location prediction through activity purpose: integrating temporal and sequential models
CN115510333A (zh) 一种基于时空感知并结合局部和全局偏好的poi预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant