CN114065884A - 一种结合局部注意力机制的红外电子标签位置预测方法 - Google Patents

一种结合局部注意力机制的红外电子标签位置预测方法 Download PDF

Info

Publication number
CN114065884A
CN114065884A CN202111230287.3A CN202111230287A CN114065884A CN 114065884 A CN114065884 A CN 114065884A CN 202111230287 A CN202111230287 A CN 202111230287A CN 114065884 A CN114065884 A CN 114065884A
Authority
CN
China
Prior art keywords
training
base station
data
track
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111230287.3A
Other languages
English (en)
Inventor
向新宇
张屏
祝春捷
李题印
陈超
李可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority to CN202111230287.3A priority Critical patent/CN114065884A/zh
Publication of CN114065884A publication Critical patent/CN114065884A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种结合局部注意力机制的红外电子标签位置预测方法，包括：训练集构建模块和基于局部注意力机制的长短期记忆网络模块。进行移动对象位置预测时201，获取经过预处理的输入向量集合202，读取对象的移动轨迹序列203，逐个读取当前轨迹序列中的基站204，将前t个基站(t为历史轨迹中与当前位置有关的基站数目)作为输入特征，当前基站作为输出标签构建数据集205，将数据集加入训练集中206。在训练过程中将数据集送入局部注意力和长短期记忆网络211，读取前一单元的记忆值304和输出值305，将训练数据送入长短期记忆网络层306，数据通过注意力层307，求解目标函数212与损失函数213，进行反向传播更新网络参数214，至迭代步数更新满足迭代步数判断模块条件217，结束训练218。

Description

一种结合局部注意力机制的红外电子标签位置预测方法
技术领域
本发明涉及一种局部注意力机制和长短期记忆网络的移动对象位置预测技术，可应用于移动对象的预测。
背景技术
移动对象位置预测是位置服务的重要技术部分，使用时间复杂度低、准确率高的算法来处理海量的移动对象数据并进行高效的预测，具有重要的价值和意义。经典的长短期记忆网络模型中隐层之间神经元全相连，导致对输入神经网络的向量维度有所限制，若输入模型的向量维度过大，则会因各层神经元信息传播时的矩阵运算而出现维数灾难问题，进而大大降低模型的学习效率。在长短期记忆神经网络中加入注意力机制，通过对神经网络中间层神经元分配不同的概率权重，使得神经网络模型能够更加关注对预测结果影响较大的数据信息，降低甚至忽略对分类预测影响较小的一些信息的关注。在特定的移动对象位置预测问题上，加入注意力机制的隐层能够提高神经网络模型更加关注对预测结果影响较大的数据信息，引入局部注意力机制也可以加速计算效率，进一步提高预测的准确率。
发明内容
现有技术的移动对象预测算法存在着局限性，即均是针对时间跨度短、信息量小的轨迹数据序列，并没有考虑到将长期历史信息作为输入会导致模型出现维数灾难的问题，以及某些关键的地理位置对未来位置预测的影响。
本发明基于机器学习的方法，提出了一种基于长短期记忆网络并且加入了注意力机制的算法。该模型将位置基站进行独热编码后生成的输入向量进行神经网络降维处理后，同时在长短期记忆网络隐层中引入注意力机制来发掘不同的定位基站对位置预测的权重影响，最后在射频识别数据集上进行位置预测。
根据本发明的一个方面，提供了一种基于局部注意力机制和长短期记忆网络的移动对象位置预测方法，其特征在于包括：
数据预处理模块；
局部注意力机制和长短期记忆网络模块。
本发明基于局部注意力机制和长短期记忆网络，考虑了数据具有多维性和时效性的特点，在考虑不同位置权重对预测精度影响的同时，解决了长序列输入易造成的维数灾难问题。在真实的射频识别数据集上的实验表明，该算法明显提高了预测模型的效率和准确度，具有一定的实用价值。
根据本发明的一个方面，提供了一种结合局部注意力机制的红外电子标签位置预测方法，其特征在于包括：
获取输入向量集合，
读取车辆移动轨迹序列，
逐个读取序列中的基站，
通过将历史轨迹中的前t个基站经过降维后的向量作为输入特征并将当前基站作为输出标签，构建数据集，
将数据集加入训练集中，
判断是否遍历轨迹中的基站，“否”则回到读取序列中的基站的步骤，“是”则判断是否遍历轨迹序列，
判断是否遍历轨迹序列，若“否”则回到读取车辆移动轨迹序列的步骤，若“是”则初始化模型参数，
开始训练，
将数据集送入长短期记忆网络，读取前一单元的记忆值和输出值，将训练数据送入长短期记忆网络层，数据通过注意力层，保存当前记忆值和输出值，随后判断是否输入数据；若“是”则更新迭代并回到读取前一单元的记忆值的步骤；若“否”则输出结果，
求解目标函数，
计算损失函数，
进行反向传播更新网络参数，
判断是否遍历训练集，“是”则回到将数据集送入长短期记忆网络进行训练的步骤，“否”则更新迭代步数；
随后判断迭代步数是否达到预定的总迭代次数，“否”则回到训练开始步骤，“是”则完成训练并保存网络参数。
附图说明
图1显示了根据本发明的数据预处理算法的流程图。
图2显示了本发明算法流程图。
图3显示了根据本发明的局部注意力机制和长短期记忆网络的训练流程图。
具体实施方式
如图1所示，根据本发明的基于局部注意力机制和长短期记忆网络的移动对象预测数据集降维预处理方法包括：
首先将以基站为主体的原始射频识别数据转化为连续的以车辆为主体的基站轨迹数据车辆轨迹信息集合(102)；将轨迹数据进行独热编码(103)，将离散的基站编号编码为神经网络可以识别的输入向量；读取车辆经过的基站轨迹序列(104)，将历史轨迹中车辆当前所在基站的前t个基站作为输入特征，当前所在基站作为输出标签构建数据集(105)；将数据集加入训练集中(106)，直到读取完成所有车辆的轨迹序列(107)。
当数据进行降维预处理时，首先将源域网络模型的参数初始化，并且设定迭代步数s＝0(108)。经过一轮训练(109)，先输入数据集样本并求解目标函数(110)。
由分析可知，该降维模型的输出向量，即预测结果，应该与当前基站所对应的独热编码向量相同。因此该降维神经网络模型的损失函数的计算公式为：
Figure BDA0003312918520000031
其中，
Figure BDA0003312918520000032
为降维网络求出的标签，yi为真实标签。i是基站的序号，i的取值范围是1至n，n表示当前轨迹序列里包含的基站数目。
之后，利用损失函数进行反向传播更新网络参数(111)，迭代步数更新s＝s+1(112)，判断迭代次数是否小于总迭代次数，若是，则进行下一轮训练(109)；若否，则保存参数完成训练(114)。接下来遍历车辆轨迹序列(115)，读取序列中的每个基站(116)，通过保存的参数计算出每个基站的嵌入向量(117)，直到读取完所有车辆轨迹序列(118)，最终获取每个位置对应的位置嵌入向量构成的集合(119)。
射频识别数据集中位置基站共有518个，因此通过独热编码后的向量共有518维。经过降维神经网络进行降维处理，并选取合适的中间嵌入向量，经过实验可知维度降维位置嵌入向量在40～80维之间时，模型的预测精度最高，因此选择中间值60维作为降维模型的嵌入向量。
如图2和图3所示，经过降维神经网络后的向量作为长短期记忆网络模型的输入向量，进行移动对象位置预测时(201)，获取输入向量集合(202)，开始读取车辆移动轨迹序列(203)，逐个读取序列中的基站(204)，将历史轨迹中的前t个基站经过降维后的向量作为输入特征，当前基站作为输出标签构建数据集(205)，将数据集加入训练集中(206)。判断是否遍历轨迹中的基站(207)，“否”则回到读取序列中的基站(204)的步骤，“是”则判断是否遍历轨迹序列(208)；若判断是否遍历轨迹序列(208)的结果为“否”则回到读取车辆移动轨迹序列(203)的步骤，若“是”则初始化模型参数(209)，随后开始训练(210)。在训练过程中将数据集送入长短期记忆网络(211)，读取前一单元的记忆值(304)和输出值(305)，将训练数据送入长短期记忆网络层(306)，数据通过注意力层(307)，保存当前记忆值和输出值(308)。随后判断是否输入数据(309)；若“是”则更新迭代(303)并回到读取前一单元的记忆值(304)的步骤；若“否”则输出结果(310)。求解目标函数(212)与损失函数(213)，进行反向传播更新网络参数(214)，判断是否遍历训练集(215)，“是”则回到将数据集送入长短期记忆网络进行训练(211)的步骤，“否”则更新迭代步数(216)；直到迭代步数更新满足迭代步数判断模块条件(217)，从而结束训练(218)。
根据本发明的一个实施例，在局部注意力-长短期记忆网络模型训练过程中，采用分批次训练的方法，每批大小为32。在一个具体的实施例中，局部注意力-长短期记忆网络模型的准确率随着训练轮次回合的增加而提高。在20次之前随着回合的增加，模型预测准确率明显提高，后期虽然准确率继续提高，但是幅度明显减小，趋于平稳。为了防止出现过拟合现象，即模型对训练数据的预测准确度提高，但是处理数据的能力下降，模型的泛化能力较弱，故选取回合为25进行训练，在保证预测准确率的前提下，提高模型处理一般数据的预测能力，提高模型的综合性能。
根据本发明的局部注意力-长短期记忆网络移动对象预测方法的优点和有益效果包括：
1)神经网络的预测准确率以及召回率明显优于传统的位置预测算法。长短期记忆网络没有考虑过长的历史信息对预测性能的影响，这正说明了神经网络在对路网位置预测以及处理历史时序问题上的优越性；
2)本发明提出的基于注意力机制的长短期记忆网络模型相比普通的长短期记忆网络在性能上有了明显的提升。

Claims (5)

1.一种结合局部注意力机制的红外电子标签位置预测方法，其特征在于包括：
获取输入向量集合(202)，
读取车辆移动轨迹序列(203)，
逐个读取序列中的基站(204)，
通过将历史轨迹中的前t个基站经过降维后的向量作为输入特征并将当前基站作为输出标签，构建数据集(205)，
将数据集加入训练集中(206)，
判断是否遍历轨迹中的基站(207)，“否”则回到读取序列中的基站(204)的步骤，“是”则判断是否遍历轨迹序列(208)，
判断是否遍历轨迹序列(208)，若“否”则回到读取车辆移动轨迹序列(203)的步骤，若“是”则初始化模型参数(209)，
开始训练(210)，
将数据集送入长短期记忆网络(211)，读取前一单元的记忆值(304)和输出值(305)，将训练数据送入长短期记忆网络层(306)，数据通过注意力层(307)，保存当前记忆值和输出值(308)。随后判断是否输入数据(309)；若“是”则更新迭代(303)并回到读取前一单元的记忆值(304)的步骤；若“否”则输出结果(310)，
求解目标函数(212)，
计算损失函数(213)，
进行反向传播更新网络参数(214)，
判断是否遍历训练集(215)，“是”则回到将数据集送入长短期记忆网络进行训练(211)的步骤，“否”则更新迭代步数(216)；
随后判断迭代步数是否达到预定的总迭代次数(217)，“否”则回到训练开始步骤(210)，“是”则完成训练并保存网络参数(218)。
2.根据权利要求1所述的结合局部注意力机制的红外电子标签位置预测方法，其特征在于所述输入向量集合是以包括如下步骤的处理获得的：
将以基站为主体的原始射频识别数据转化为连续的以车辆为主体的基站轨迹数据车辆轨迹信息集合(102)，
将轨迹数据进行独热编码(103)，将离散的基站编号编码为神经网络可以识别的输入向量，
读取车辆经过的基站轨迹序列(104)，
将历史轨迹中车辆当前所在基站的前t个基站作为输入特征，当前所在基站作为输出标签构建数据集(105)；
将数据集加入训练集中(106)，直到读取完成所有车辆的轨迹序列(107)，
对数据进行降维预处理，首先将源域网络模型的参数初始化，并且设定迭代步数s＝0(108)，
经过一轮训练(109)，输入数据集样本并求解目标函数(110)，
由分析可知，该降维预处理的降维神经网络模型的输出向量即预测结果应该与当前基站所对应的独热编码向量相同，因此该降维神经网络模型的损失函数的计算公式为：
Figure FDA0003312918510000021
其中，
Figure FDA0003312918510000022
为降维网络求出的标签，yi为真实标签，i是基站的序号，
i的取值范围是1至n，n表示当前轨迹序列里包含的基站数目，
之后，利用损失函数进行反向传播更新网络参数(111)，
进行迭代步数更新s＝s+1(112)，
判断迭代次数是否小于总迭代次数，若“是”则进行下一轮训练(109)，若“否”则保存参数完成训练(114)，
接下来遍历车辆轨迹序列(115)，
读取序列中的每个基站(116)，
通过保存的参数计算出每个基站的嵌入向量(117)，
进行判断以读取完所有车辆轨迹序列(118)，
最终获取每个位置对应的位置嵌入向量构成的输入向量集合(119)。
3.根据权利要求2所述的结合局部注意力机制的红外电子标签位置预测方法，其特征在于：
射频识别数据集中位置基站共有518个，因此通过独热编码后的向量共有518维，
降维神经网络模型的嵌入向量的维度在40维－80维之间。
4.根据权利要求3所述的结合局部注意力机制的红外电子标签位置预测方法，其特征在于：
降维神经网络模型的嵌入向量的维度是60维。
5.存储有计算机程序的计算机可读存储介质，该计算机程序能使处理器执行根据权利要求1-4之一所述的方法。
CN202111230287.3A 2021-10-20 2021-10-20 一种结合局部注意力机制的红外电子标签位置预测方法 Pending CN114065884A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111230287.3A CN114065884A (zh) 2021-10-20 2021-10-20 一种结合局部注意力机制的红外电子标签位置预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111230287.3A CN114065884A (zh) 2021-10-20 2021-10-20 一种结合局部注意力机制的红外电子标签位置预测方法

Publications (1)

Publication Number Publication Date
CN114065884A true CN114065884A (zh) 2022-02-18

Family

ID=80235184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111230287.3A Pending CN114065884A (zh) 2021-10-20 2021-10-20 一种结合局部注意力机制的红外电子标签位置预测方法

Country Status (1)

Country Link
CN (1) CN114065884A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018161729A1 (zh) * 2017-03-07 2018-09-13 华为技术有限公司 用户轨迹恢复方法及装置
CN109089314A (zh) * 2018-09-30 2018-12-25 哈尔滨工业大学（深圳） 一种基于推荐算法的wifi序列辅助GPS的室内定位方法
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
CN110290582A (zh) * 2019-05-22 2019-09-27 浙江工业大学 一种基于seq2seq框架的基站标号轨迹预测方法
EP3843014A1 (en) * 2019-12-26 2021-06-30 Waymo Llc Generating trajectory labels from short-term intention and long-term result
CN113408588A (zh) * 2021-05-24 2021-09-17 上海电力大学 一种基于注意力机制的双向gru轨迹预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018161729A1 (zh) * 2017-03-07 2018-09-13 华为技术有限公司 用户轨迹恢复方法及装置
CN109089314A (zh) * 2018-09-30 2018-12-25 哈尔滨工业大学（深圳） 一种基于推荐算法的wifi序列辅助GPS的室内定位方法
CN110290582A (zh) * 2019-05-22 2019-09-27 浙江工业大学 一种基于seq2seq框架的基站标号轨迹预测方法
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
EP3843014A1 (en) * 2019-12-26 2021-06-30 Waymo Llc Generating trajectory labels from short-term intention and long-term result
CN113408588A (zh) * 2021-05-24 2021-09-17 上海电力大学 一种基于注意力机制的双向gru轨迹预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘嘉琛;秦小麟;朱润泽: "基于LSTM-Attention的RFID移动对象位置预测", 《计算机科学》, no. 21, 8 March 2021 (2021-03-08), pages 190 - 193 *

Similar Documents

Publication Publication Date Title
Wang et al. Long-term traffic prediction based on lstm encoder-decoder architecture
Tekouabou et al. Improving parking availability prediction in smart cities with IoT and ensemble-based model
CN110738370A (zh) 一种新颖的移动对象目的地预测算法
CN112348081B (zh) 用于图像分类的迁移学习方法、相关装置及存储介质
CN111581519A (zh) 基于会话中用户意图的物品推荐方法和系统
CN112634992A (zh) 分子性质预测方法及其模型的训练方法及相关装置、设备
CN116596095B (zh) 基于机器学习的碳排放量预测模型的训练方法及装置
HajiAkhondi-Meybodi et al. Vit-cat: Parallel vision transformers with cross attention fusion for popularity prediction in mec networks
CN116401549A (zh) 车辆轨迹预测模型训练方法、装置、设备及存储介质
CN114202120A (zh) 一种针对多源异构数据的城市交通行程时间预测方法
US20210239479A1 (en) Predicted Destination by User Behavior Learning
Xu et al. Short‐term traffic flow prediction based on whale optimization algorithm optimized BiLSTM_Attention
CN116484217A (zh) 一种基于多模态预训练大模型的智能决策方法及系统
CN115130598A (zh) 一种训练数据选择方法及相关装置
CN114692972A (zh) 行为预测系统的训练方法及装置
CN113723115A (zh) 基于预训练模型的开放域问答预测方法及相关设备
CN114065884A (zh) 一种结合局部注意力机制的红外电子标签位置预测方法
CN116739787B (zh) 基于人工智能的交易推荐方法及系统
Zhou et al. Content placement with unknown popularity in fog radio access networks
CN112927507A (zh) 一种基于LSTM-Attention的交通流量预测方法
CN113223502A (zh) 语音识别系统优化方法、装置、设备及可读存储介质
CN116304987A (zh) 一种移动用户时空轨迹的挖掘和预测方法及系统
George et al. Fuzzy inspired deep belief network for the traffic flow prediction in intelligent transportation system using flow strength indicators
CN115063597A (zh) 一种基于类脑学习的图像识别方法
CN113220874B (zh) 一种多标签文本分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination