CN116304560B - 一种轨迹表征模型训练方法、表征方法及装置 - Google Patents

一种轨迹表征模型训练方法、表征方法及装置 Download PDF

Info

Publication number
CN116304560B
CN116304560B CN202310078949.2A CN202310078949A CN116304560B CN 116304560 B CN116304560 B CN 116304560B CN 202310078949 A CN202310078949 A CN 202310078949A CN 116304560 B CN116304560 B CN 116304560B
Authority
CN
China
Prior art keywords
track
sample
samples
characterization
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310078949.2A
Other languages
English (en)
Other versions
CN116304560A (zh
Inventor
李莉
司俊俊
赵晓永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202310078949.2A priority Critical patent/CN116304560B/zh
Publication of CN116304560A publication Critical patent/CN116304560A/zh
Application granted granted Critical
Publication of CN116304560B publication Critical patent/CN116304560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control
    • G06F16/2322—Optimistic concurrency control using timestamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多尺度增强对比学习的轨迹表征模型训练方法、表征方法及装置，将经纬度坐标转化为格式一致的Google S2网格编码，能够保证在向量化的过程中保持形式统一再通过双向Transformer的编码器将轨迹各位置向量化后的网格编码和时间戳进行特征提取得到轨迹表征向量。双向Transformer的编码器通过建立正负样本以对比学习的形式进行预训练，最小化各精度层级下所述轨迹样本及其正样本的轨迹表征向量差异、最大化各精度层级下所述轨迹样本及其负样本的轨迹表征向量差异，提升对轨迹表征的稳定性和精确性，提高对原始数据稀疏性和噪音的抗干扰能力。

Description

一种轨迹表征模型训练方法、表征方法及装置
技术领域
本发明涉及空间定位技术领域，尤其涉及一种轨迹表征模型训练方法、表征方法及装置。
背景技术
随着传感器技术、无线通信技术、卫星导航定位如北斗导航定位等基于位置服务技术的高速发展，特别5G技术的全面推广使用，产生了海量的轨迹数据。轨迹数据已经为公共安全、智慧交通、人口统计、智慧旅游、智慧城市等领域提供了关键的数据支撑。轨迹数据通常是由经纬度、时间戳标记的轨迹点序列组成的构成的有序序列组成。而现有的大多数数据挖掘算法均要求输入数据位于稠密的向量空间中，因此原始的轨迹数据不能直接作为算法的输入。并且，现有技术中的轨迹数据编码手段无法完全保留原始轨迹的特征，无法应对原始轨迹数据稀疏性、噪声敏感的缺陷。
发明内容
鉴于此，本发明实施例提供了一种轨迹表征模型训练方法、表征方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷，解决现有技术对轨迹数据表征过程中无法保留原始轨迹特征且易受原始数据稀疏性和噪声影响的问题。
一方面，本发明提供一种基于多尺度增强对比学习的轨迹表征模型训练方法，该方法包括以下步骤：
获取多个轨迹样本，每个轨迹样本为用户在设定时间段内的第一类轨迹数据，所述第一类轨迹数据采用连续的经纬度坐标和时间戳标记；
采用Google S2地理编码，将每个轨迹样本中的经纬度坐标转化为多个精度层级的网格编码，并在各精度层级下采用所述网格编码和所述时间戳标记第二类轨迹数据；
采用预设方法对每个轨迹样本的网格编码进行处理，构建各轨迹样本对应的多个正样本和负样本，并形成训练样本集；
获取预设神经网络模型，所述预设神经网络模型采用双向Transformer的编码器连接平均池化层得到；
对训练样本集中，各轨迹样本及其正样本、负样本的第二类轨迹数据作词嵌入向量化，输入所述预设神经网络模型以输出轨迹表征向量，并基于对比学习的方式，以最小化各精度层级下所述轨迹样本及其正样本的轨迹表征向量差异、最大化各精度层级下所述轨迹样本及其负样本的轨迹表征向量差异构建对比损失，以对所述预设神经网络模型进行参数更新，得到轨迹表征模型。
在一些实施例中，采用Google S2地理编码，将每个轨迹样本中的经纬度坐标转化为多个精度层级的网格编码，包括：采用Google S2地理编码中第13~16精确层级对各经纬度坐标进行网格编码。
在一些实施例中，采用预设方法对每个轨迹样本的网格编码进行处理，构建各轨迹样本对应的多个正样本和负样本，包括：
获取第一指定轨迹样本，在所述第一指定轨迹样本中的随机选取网格编码和对应的时间戳进行重复布置，以构建所述第一指定轨迹样本的正样本；
和/或，对于所述第一指定轨迹样本，在所述第一指定轨迹样本中的随机选取第一设定比例的网格编码和对应的时间戳进行丢弃，以构建所述第一指定轨迹样本的正样本；
和/或，对于所述第一指定轨迹样本，在所述第一指定轨迹样本中的随机选取第二设定比例位置处网格编码并替换为周围设定范围内的随机位置的网格编码，以构建所述第一指定轨迹样本的正样本；
所述第一设定比例和所述第二设定比例的范围是：10%~30%。
在一些实施例中，对于所述第一指定轨迹样本，在所述第一指定轨迹样本中的随机选取第二设定比例位置处网格编码并替换为周围设定范围内的随机位置的网格编码，包括：
在当前精度层级的网格编码集合中，以所要替换的位置为中心点，在所述中心点周围8个点的网格编码中随机选择1个替换所述中心点的网格编码。
在一些实施例中，各轨迹样本及其正样本、负样本的第二类轨迹数据作词嵌入向量化，输入所述预设神经网络模型以输出轨迹表征向量，还包括：采用Dropout机制对所述预设神经网络模型进行随机失活处理，对同一轨迹样本进行重复处理，以得到同一轨迹样本的多个轨迹表征向量并作为正样本。
在一些实施例中，采用预设方法对每个轨迹样本的网格编码进行处理，构建各轨迹样本对应的多个正样本和负样本，包括：
获取每个批次同一精度层级下的多个轨迹样本，采用局部敏感哈希检索每个轨迹样本的相似样本；所述局部敏感哈希的参数杰拉德相似度阈值为0.4；
对于第二指定轨迹样本，在去除所述第二指定轨迹样本的相似样本后，将剩余样本作为所述第二指定轨迹样本的负样本。
在一些实施例中，对训练样本集中，各轨迹样本及其正样本、负样本的第二类轨迹数据作词嵌入进行向量化，包括：
采用Pytorch的Embedding接口对所述第二类轨迹数据中的网格编码进行嵌入编码得到第一向量；
对于所述第二类轨迹数据中的时间戳采用如下公式进行编码得到第二向量：
；
其中，i表示编码维度，表示待学习的参数，t表示时间戳；
将所述第一向量和所述第二向量进行连接。
在一些实施例中，以最小化各精度层级下所述轨迹样本及其正样本的轨迹表征向量差异、最大化各精度层级下所述轨迹样本及其负样本的轨迹表征向量差异构建对比损失，包括：
定义轨迹样本在精度层级/>下经所述预设神经网络模型处理得到的表征向量为/>，所述轨迹样本/>的正样本在精度层级/>下经所述预设神经网络模型处理得到的表征向量为/>，在精度层级/>下损失函数计算式为：
；
其中，sim(.)表示求余弦相似度，为温度系数，N表示精度层级/>下的样本数；
总损失的计算式为：
；
其中，L表示精度层级的数量。
另一方面，本发明还提供一种基于多尺度增强对比学习的轨迹表征方法，包括：
获取待表征轨迹数据，所述待表征轨迹数据采用经纬度坐标和时间戳标记；
采用Google S2地理编码，将所述待表征轨迹数据的经纬度坐标转化至指定精度层级的网格编码；
将所述待表征轨迹数据中各位置网格编码及其时间戳作词嵌入向量化后，输入上述基于多尺度增强对比学习的轨迹表征模型训练方法中的轨迹表征模型，并输出目标轨迹表征向量。
另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本发明的有益效果至少是：
本发明所述轨迹表征模型训练方法、表征方法及装置，将的经纬度坐标转化为格式一致的Google S2网格编码，能够保证在向量化的过程中保持形式统一，在通过双向Transformer的编码器将轨迹各位置向量化后的网格编码和时间戳进行特征提取得到轨迹表征向量。双向Transformer的编码器通过建立正负样本以对比学习的形式进行预训练，最小化各精度层级下所述轨迹样本及其正样本的轨迹表征向量差异、最大化各精度层级下所述轨迹样本及其负样本的轨迹表征向量差异，提升对轨迹表征的稳定性和精确性，提高对原始数据稀疏性和噪音的抗干扰能力。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例中所述基于多尺度增强对比学习的轨迹表征模型训练方法的执行系统示意图。
图2为本发明一实施例所述基于多尺度增强对比学习的轨迹表征模型训练方法的流程示意图。
图3为Google S2编码场景下中心点及周围8个相邻点位token的示例图。
图4为本发明一实施例所述基于多尺度增强对比学习的轨迹表征方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
现阶段，深度学习在各领域广泛应用，成为了科学研究领域的热点。目前在轨迹表征领域，大多数模型都采用的是基于RNN结构的编码器-解码器模型，但这种模型对数据输入的顺序依赖性较强，没办法捕捉远距离数据的信息，视野有限，也无法并行计算。目前也有存在利用预训练模型Bert模型来对轨迹进行表征，但是该类工作并不是以整条轨迹的表征作为训练目标，而是以下游的掩码语言模型为目标，一般都是先得到轨迹的每个位置的表征，再对轨迹的所有位置进行平均池化操作得到轨迹的表征。这种方法对整条轨迹的表征没有正向作用，而且忽略了轨迹在每个空间位置的访问时间特征。本发明采用对比学习的目的是最大限度地减少正样本之间的距离，同时增加负样本之间的距离，对比学习近些年来被广泛地应用于无监督特征学习领域，取得了显著的效果，但是在对比学习中一个关键问题就是如何根据具体应用需求选择数据增强的手段。针对以上问题，本发明提出一种轨迹表征模型训练方法、表征方法及装置，能够效减轻伪标签噪声造成的影响，使模型学习到更具鉴别性的特征表示。
本发明提出所述基于多尺度增强对比学习的轨迹表征模型训练方法的执行系统，如图1所示，具体包括如下模块：
轨迹预处理模块：给定一个用户的在某个时间段内的轨迹，将轨迹的位置点即经纬度按照时间排序，并利用Google S2对经纬度进行编码，通过这种方式，将连续的地理坐标编码为详细的离散单元格表示。
增强轨迹数据正负样本构建模块：正样本按照随机丢弃一定比例的位置点、每个位置点的Google S2编码由周围8个点的编码随机替换以及dropout等机制构建；负样本按照局部敏感哈希技术检索同一个训练批次的数据不相似样本。
掩码语言模型预训练模块：利用双向Transformer编码器连接平均池化层对预处理后的轨迹进行初步表征学习，使用位置编码对各个轨迹点的时序关系进行编码。利用掩码语言模型对双向Transformer编码器进行预训练。
对比学习微调模块：在预训练的基础上，通过对比学习损失微调模型参数，使得来自同一样本的增强样本的表征向量尽量接近，而让每个表征向量和来自其不同样本的表征向量尽量远离。
轨迹表征模块：利用上述学习到的模型参数，对于输入的轨迹序列，得到其轨迹表征。
具体的，本发明提供一种基于多尺度增强对比学习的轨迹表征模型训练方法，如图2所示，该方法包括以下步骤S101~S105：
步骤S101：获取多个轨迹样本，每个轨迹样本为用户在设定时间段内的第一类轨迹数据，第一类轨迹数据采用连续的经纬度坐标和时间戳标记。
步骤S102：采用Google S2地理编码，将每个轨迹样本中的经纬度坐标转化为多个精度层级的网格编码，并在各精度层级下采用网格编码和时间戳标记第二类轨迹数据。
步骤S103：采用预设方法对每个轨迹样本的网格编码进行处理，构建各轨迹样本对应的多个正样本和负样本，并形成训练样本集。
步骤S104：获取预设神经网络模型，预设神经网络模型采用双向Transformer的编码器连接平均池化层得到。
步骤S105：对训练样本集中，各轨迹样本及其正样本、负样本的第二类轨迹数据作词嵌入向量化，输入预设神经网络模型以输出轨迹表征向量，并基于对比学习的方式，以最小化各精度层级下轨迹样本及其正样本的轨迹表征向量差异、最大化各精度层级下轨迹样本及其负样本的轨迹表征向量差异构建对比损失，以对预设神经网络模型进行参数更新，得到轨迹表征模型。
在步骤S101中，原始的轨迹样本就是用户在给定时间段内所产生的轨迹数据，第一类轨迹数据，即原始轨迹数据是通过经纬度坐标和时间戳进行定位，但是经纬度坐标的长度不一，在表征过程中会由于格式不统一导致在向量化表征的过程中，丢失原始轨迹数据中的特征。
示例性的，第一类轨迹数据中轨迹序列Tr可以表示为，i表示时刻的序数，/>为用户在/>时刻的位置，/>，/>和/>分别为经度和纬度，/>为该条轨迹的位置点数。在一些实施例中，在收集到原始轨迹数据后，首先要按照时间排序并去除冗余数据，即去除异常数据、位置点相同的数据等操作。
在步骤S102中，采用Google S2地理编码可以将经纬度坐标统一为一个长度格式的网格编码，同时，可以按照不同的精度层级进行转化。在同一个精度层级下，一个轨迹各位置点的网格编码和时间戳构成第二类轨迹数据。示例性的，将经纬度坐标转化为精度层级/>下的网格编码/>，如经纬度坐标点（116.34511，39.949147）的11级精度层级的网格编码为“51496a4”，在15级精度层级的网格编码为“51496a3ec”。/>表示Google S2编码的精度层级，层级越高，位置的精度越高，覆盖范围越小，层级越低，位置的精度越低，覆盖范围越大。本实施实例中对于GPS轨迹S2编码/>的范围为13~16，16级的覆盖范围约为/>，上面一级的面积是下面一层面积的4倍。
在将经纬度坐标转化为相应精度层级的网格编码后，形成的第二类轨迹数据可以表示为：
。
在步骤S103中，本实施例将引入对比学习的方式训练编码器，用于提取轨迹数据的轨迹表征向量。所以，本发明对于每个轨迹样本均构建正样本和负样本。正样本的构建方式可以包括对轨迹中多个位置进行重复、随机丢弃或替换，也可以通过Dropout机制处理。
具体的，在一些实施例中，采用预设方法对每个轨迹样本的网格编码进行处理，构建各轨迹样本对应的多个正样本和负样本，包括：
获取第一指定轨迹样本，在第一指定轨迹样本中的随机选取网格编码和对应的时间戳进行重复布置，以构建所述第一指定轨迹样本的正样本。具体的，首先设定需要重复设置的位置数量，表示为。基于均匀分布从轨迹序列中选取需要重复/>的个位置，组成重复集合。例如，第1个位置点在重复集合中，则轨迹样本Tr的正样本表示为为：
。
和/或，对于第一指定轨迹样本，在第一指定轨迹样本中的随机选取第一设定比例的网格编码和对应的时间戳进行丢弃，以构建第一指定轨迹样本的正样本。按照一定的比例对当前轨迹的某些位置丢弃。本实施实例中，比例设置为10%至30%之间。
和/或，对于第一指定轨迹样本，在第一指定轨迹样本中的随机选取第二设定比例位置处网格编码并替换为周围设定范围内的随机位置的网格编码，以构建第一指定轨迹样本的正样本；第二设定比例的范围是：10%~30%。具体的，
在一些实施例中，对于第一指定轨迹样本，在第一指定轨迹样本中的随机选取第二设定比例位置处网格编码并替换为周围设定范围内的随机位置的网格编码，包括：在当前精度层级的网格编码集合中，以所要替换的位置为中心点，在中心点周围8个点的网格编码中随机选择1个替换中心点的网格编码。具体的，按照一定的比例对轨迹的某些位置的当前下的Google S2编码随机替换为周围邻居8个点的S2编码。如图3所示，若当前的S2编码为token5，其周围8个点的token分别为token1~ token4，token6~ token9，比例设置为10%至30%之间。
在一些实施例中，各轨迹样本及其正样本、负样本的第二类轨迹数据作词嵌入向量化，输入预设神经网络模型以输出轨迹表征向量，还包括：采用Dropout机制对预设神经网络模型进行随机失活处理，对同一轨迹样本进行重复处理，以得到同一轨迹样本的多个轨迹表征向量并作为正样本。
在一些实施例中，采用预设方法对每个轨迹样本的网格编码进行处理，构建各轨迹样本对应的多个正样本和负样本，包括：获取每个批次同一精度层级下的多个轨迹样本，采用局部敏感哈希检索每个轨迹样本的相似样本；局部敏感哈希的参数杰拉德相似度阈值为0.4；对于第二指定轨迹样本，在去除第二指定轨迹样本的相似样本后，将剩余样本作为第二指定轨迹样本的负样本。
在训练的过程中，在当前下对于每一个批次内的负样本利用局部敏感哈希技术检索。其局部敏感哈希的核心思想是对于原本两个相似的样本，经过局部敏感哈希后有较大概率分配到同一个哈希值，而对于不相似的两个样本，有较低概率分配到同一个哈希值。对于当前批次下的所有轨迹样本首先建立局部敏感哈希索引，然后检索每一个样本的相似样本，将相似样本排除之后，剩下的即为负样本。
在步骤S104中，构建用于执行特征提取的模型，本申请中，采用双向Transformer的编码器作为预设神经网络模型，其中，encoder层优选为2层。第i层encoder的输出隐向量，其中，/>是Pytorch中标准的Transformer编码器层，/>是上一步中得到的轨迹嵌入向量/>。双向Transformer的编码器最后一层encoder输出的轨迹数据隐向量，再通过平均池化层进行平均池化得到轨迹表征向量/>，每层隐向量大小设置为256。
预设神经网络模型可以在其他编码问题场景下进行预训练，再通过迁移学习的方式将参数作为本申请预设神经网络模型的初始参数。
在步骤S105中，首先对第二类轨迹数据进行词嵌入操作，也即embedding操作。
在一些实施例中，对训练样本集中，各轨迹样本及其正样本、负样本的第二类轨迹数据作词嵌入进行向量化，包括步骤S201~S203：
步骤S201：采用Pytorch的Embedding接口对第二类轨迹数据中的网格编码进行嵌入编码得到第一向量。
步骤S202：对于第二类轨迹数据中的时间戳采用如下公式进行编码得到第二向量：
；
其中，i表示编码维度，表示待学习的参数，t表示时间戳。
步骤S203：将第一向量和第二向量进行连接。
对于训练样本集中各轨迹样本及其正样本、负样本对应的第二类轨迹数据，在进行词嵌入操作后，输入预设神经网络模型，并基于对比学习进行训练。以最小化各精度层级下轨迹样本及其正样本的轨迹表征向量差异、最大化各精度层级下轨迹样本及其负样本的轨迹表征向量差异构建对比损失，包括：
定义轨迹样本在精度层级/>下经预设神经网络模型处理得到的表征向量为/>，轨迹样本/>的正样本在精度层级/>下经预设神经网络模型处理得到的表征向量为/>，在精度层级/>下损失函数计算式为：
；
其中，sim(.)表示求余弦相似度，为温度系数，N表示精度层级/>下的样本数；
总损失的计算式为：
；
其中，L表示精度层级的数量。
进一步的，可以采用掩码语言模型对双向Transformer模型进行训练。
进一步的，本发明利用Adam优化器对对比损失进行反向传播，更新双向Transformer模型的模型参数。本实施实例中，优化器学习率设置为0.0001，模型迭代训练次数设置为100。
另一方面，本发明还提供一种基于多尺度增强对比学习的轨迹表征方法，如图4所示，包括步骤S301~S303：
步骤S301：获取待表征轨迹数据，待表征轨迹数据采用经纬度坐标和时间戳标记。
步骤S302：采用Google S2地理编码，将待表征轨迹数据的经纬度坐标转化至指定精度层级的网格编码。
步骤S303：将待表征轨迹数据中各位置网格编码及其时间戳作词嵌入向量化后，输入步骤S101~S105所述基于多尺度增强对比学习的轨迹表征模型训练方法中的轨迹表征模型，并输出目标轨迹表征向量。
另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本发明的有益效果在于：其一，训练方法方面，通过引入对比学习的方法，在训练过程中构造正负训练样本增加额外的训练目标，从而使得模型的目标是学习整条轨迹表征的问题而不是每个位置点的表征；其二，数据方面，通过不同的数据增强构建正的训练样本的方式增强模型的能力；其三，数据方面，通过局部敏感哈希技术快速检索负的样本避免了同一个批次的训练样本中出现本来就相似的样本导致学习目标错误的情况。
综上所述，本发明所述轨迹表征模型训练方法、表征方法及装置，将长短不一的经纬度坐标转化为格式一致的Google S2网格编码，能够保证在向量化的过程中保持形式统一，在通过双向Transformer的编码器将轨迹各位置向量化后的网格编码和时间戳进行特征提取得到轨迹表征向量。双向Transformer的编码器通过建立正负样本以对比学习的形式进行预训练，最小化各精度层级下所述轨迹样本及其正样本的轨迹表征向量差异、最大化各精度层级下所述轨迹样本及其负样本的轨迹表征向量差异，提升对轨迹表征的稳定性和精确性，提高对原始数据稀疏性和噪音的抗干扰能力。
与上述方法相应地，本发明还提供了一种装置/系统，该装置/系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置/系统实现如前所述方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于多尺度增强对比学习的轨迹表征模型训练方法，其特征在于，该方法包括以下步骤：
获取多个轨迹样本，每个轨迹样本为用户在设定时间段内的第一类轨迹数据，所述第一类轨迹数据采用连续的经纬度坐标和时间戳标记；
采用Google S2地理编码，将每个轨迹样本中的经纬度坐标转化为多个精度层级的网格编码，并在各精度层级下采用所述网格编码和所述时间戳标记第二类轨迹数据；
采用预设方法对每个轨迹样本的网格编码进行处理，构建各轨迹样本对应的多个正样本和负样本，并形成训练样本集；
获取预设神经网络模型，所述预设神经网络模型采用双向Transformer的编码器连接平均池化层得到；
对训练样本集中，各轨迹样本及其正样本、负样本的第二类轨迹数据作词嵌入向量化，输入所述预设神经网络模型以输出轨迹表征向量，并基于对比学习的方式，以最小化各精度层级下所述轨迹样本及其正样本的轨迹表征向量差异、最大化各精度层级下所述轨迹样本及其负样本的轨迹表征向量差异构建对比损失，以对所述预设神经网络模型进行参数更新，得到轨迹表征模型；
其中，各轨迹样本及其正样本、负样本的第二类轨迹数据作词嵌入进行向量化，包括：采用Pytorch的Embedding接口对所述第二类轨迹数据中的网格编码进行嵌入编码得到第一向量；对于所述第二类轨迹数据中的时间戳采用如下公式进行编码得到第二向量：
；
其中，i表示编码维度，表示待学习的参数，t表示时间戳；
将所述第一向量和所述第二向量进行连接。
2.根据权利要求1所述基于多尺度增强对比学习的轨迹表征模型训练方法，其特征在于，采用Google S2地理编码，将每个轨迹样本中的经纬度坐标转化为多个精度层级的网格编码，包括：采用Google S2地理编码中第13~16精确层级对各经纬度坐标进行网格编码。
3.根据权利要求1所述基于多尺度增强对比学习的轨迹表征模型训练方法，其特征在于，采用预设方法对每个轨迹样本的网格编码进行处理，构建各轨迹样本对应的多个正样本和负样本，包括：
获取第一指定轨迹样本，在所述第一指定轨迹样本中的随机选取网格编码和对应的时间戳进行重复布置，以构建所述第一指定轨迹样本的正样本；
和/或，对于所述第一指定轨迹样本，在所述第一指定轨迹样本中的随机选取第一设定比例的网格编码和对应的时间戳进行丢弃，以构建所述第一指定轨迹样本的正样本；
和/或，对于所述第一指定轨迹样本，在所述第一指定轨迹样本中的随机选取第二设定比例位置处网格编码并替换为周围设定范围内的随机位置的网格编码，以构建所述第一指定轨迹样本的正样本；
所述第一设定比例和所述第二设定比例的范围是：10%~30%。
4.根据权利要求3所述基于多尺度增强对比学习的轨迹表征模型训练方法，其特征在于，对于所述第一指定轨迹样本，在所述第一指定轨迹样本中的随机选取第二设定比例位置处网格编码并替换为周围设定范围内的随机位置的网格编码，包括：
在当前精度层级的网格编码集合中，以所要替换的位置为中心点，在所述中心点周围8个点的网格编码中随机选择1个替换所述中心点的网格编码。
5.根据权利要求3所述基于多尺度增强对比学习的轨迹表征模型训练方法，其特征在于，各轨迹样本及其正样本、负样本的第二类轨迹数据作词嵌入向量化，输入所述预设神经网络模型以输出轨迹表征向量，还包括：
采用Dropout机制对所述预设神经网络模型进行随机失活处理，对同一轨迹样本进行重复处理，以得到同一轨迹样本的多个轨迹表征向量并作为正样本。
6.根据权利要求1所述基于多尺度增强对比学习的轨迹表征模型训练方法，其特征在于，采用预设方法对每个轨迹样本的网格编码进行处理，构建各轨迹样本对应的多个正样本和负样本，包括：
获取每个批次同一精度层级下的多个轨迹样本，采用局部敏感哈希检索每个轨迹样本的相似样本；所述局部敏感哈希的参数杰拉德相似度阈值为0.4；
对于第二指定轨迹样本，在去除所述第二指定轨迹样本的相似样本后，将剩余样本作为所述第二指定轨迹样本的负样本。
7.根据权利要求1所述基于多尺度增强对比学习的轨迹表征模型训练方法，其特征在于，以最小化各精度层级下所述轨迹样本及其正样本的轨迹表征向量差异、最大化各精度层级下所述轨迹样本及其负样本的轨迹表征向量差异构建对比损失，包括：
定义轨迹样本在精度层级/>下经所述预设神经网络模型处理得到的表征向量为/>，所述轨迹样本/>的正样本在精度层级/>下经所述预设神经网络模型处理得到的表征向量为/>，在精度层级/>下损失函数计算式为：
；
其中，sim(.)表示求余弦相似度，为温度系数，N表示精度层级/>下的样本数；
总损失的计算式为：
；
其中，L表示精度层级的数量。
8.一种基于多尺度增强对比学习的轨迹表征方法，其特征在于，包括：
获取待表征轨迹数据，所述待表征轨迹数据采用经纬度坐标和时间戳标记；
采用Google S2地理编码，将所述待表征轨迹数据的经纬度坐标转化至指定精度层级的网格编码；
将所述待表征轨迹数据中各位置网格编码及其时间戳作词嵌入向量化后，输入如权利要求1至7任意一项所述基于多尺度增强对比学习的轨迹表征模型训练方法中的轨迹表征模型，并输出目标轨迹表征向量。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202310078949.2A 2023-01-17 2023-01-17 一种轨迹表征模型训练方法、表征方法及装置 Active CN116304560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310078949.2A CN116304560B (zh) 2023-01-17 2023-01-17 一种轨迹表征模型训练方法、表征方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310078949.2A CN116304560B (zh) 2023-01-17 2023-01-17 一种轨迹表征模型训练方法、表征方法及装置

Publications (2)

Publication Number Publication Date
CN116304560A CN116304560A (zh) 2023-06-23
CN116304560B true CN116304560B (zh) 2023-11-24

Family

ID=86815854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310078949.2A Active CN116304560B (zh) 2023-01-17 2023-01-17 一种轨迹表征模型训练方法、表征方法及装置

Country Status (1)

Country Link
CN (1) CN116304560B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021151296A1 (zh) * 2020-07-22 2021-08-05 平安科技（深圳）有限公司 多任务分类方法、装置、计算机设备及存储介质
CN113408299A (zh) * 2021-06-30 2021-09-17 北京百度网讯科技有限公司 语义表示模型的训练方法、装置、设备和存储介质
CN113806463A (zh) * 2021-09-06 2021-12-17 李莉 一种基于时空金字塔匹配的轨迹相似度计算方法
CN113849668A (zh) * 2021-09-18 2021-12-28 北京航空航天大学 一种基于视觉语言Transformer的端到端视频时空视觉定位系统
CN114529348A (zh) * 2022-02-22 2022-05-24 携程旅游网络技术（上海）有限公司 车辆行驶路径计费方法、系统、设备及存储介质
CN115049009A (zh) * 2022-06-21 2022-09-13 长三角信息智能创新研究院 基于语义融合表征的轨迹预测方法
CN115147676A (zh) * 2022-06-23 2022-10-04 浙江工商大学 一种基于层级多视角的自监督动作识别方法及装置
CN115374375A (zh) * 2022-10-24 2022-11-22 北京数业专攻科技有限公司 基于深度学习的轨迹聚类方法、系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021151296A1 (zh) * 2020-07-22 2021-08-05 平安科技（深圳）有限公司 多任务分类方法、装置、计算机设备及存储介质
CN113408299A (zh) * 2021-06-30 2021-09-17 北京百度网讯科技有限公司 语义表示模型的训练方法、装置、设备和存储介质
CN113806463A (zh) * 2021-09-06 2021-12-17 李莉 一种基于时空金字塔匹配的轨迹相似度计算方法
CN113849668A (zh) * 2021-09-18 2021-12-28 北京航空航天大学 一种基于视觉语言Transformer的端到端视频时空视觉定位系统
CN114529348A (zh) * 2022-02-22 2022-05-24 携程旅游网络技术（上海）有限公司 车辆行驶路径计费方法、系统、设备及存储介质
CN115049009A (zh) * 2022-06-21 2022-09-13 长三角信息智能创新研究院 基于语义融合表征的轨迹预测方法
CN115147676A (zh) * 2022-06-23 2022-10-04 浙江工商大学 一种基于层级多视角的自监督动作识别方法及装置
CN115374375A (zh) * 2022-10-24 2022-11-22 北京数业专攻科技有限公司 基于深度学习的轨迹聚类方法、系统及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Self-supervised Trajectory Representation Learning with Temporal Regularities and Travel Semantics;Jiawei Jiang等;《arXiv:2211.09510v1》;第1-14页 *
基于自忆性灰色Verhulst模型的暂态稳定受扰轨迹实时预测;黄丹;杨秀媛;陈树勇;;高电压技术(第04期);第251-257页 *

Also Published As

Publication number Publication date
CN116304560A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111079683B (zh) 基于卷积神经网络的遥感图像云雪检测方法
CN110570433B (zh) 基于生成对抗网络的图像语义分割模型构建方法和装置
CN115374375B (zh) 基于深度学习的轨迹聚类方法、系统及存储介质
CN116186358B (zh) 一种深度轨迹聚类方法、系统及存储介质
CN112861842A (zh) 基于ocr的案件文本识别方法及电子设备
CN116978011A (zh) 一种用于智能目标识别的图像语义通信方法及系统
CN116304560B (zh) 一种轨迹表征模型训练方法、表征方法及装置
CN112527959B (zh) 基于无池化卷积嵌入和注意分布神经网络的新闻分类方法
CN116776014B (zh) 多源轨迹数据表示方法及装置
CN115953394B (zh) 基于目标分割的海洋中尺度涡检测方法及系统
CN113239225A (zh) 一种图像检索方法、装置、设备及存储介质
CN117349784A (zh) 遥感数据的处理方法、装置及设备
CN114885293B (zh) 一种基于深度学习的信令轨迹恢复方法、系统及存储介质
CN115984714A (zh) 一种基于双分支网络模型的云检测方法
CN115311553A (zh) 目标检测方法、装置、电子设备及存储介质
CN114120287A (zh) 数据处理方法、装置、计算机设备和存储介质
CN114140446A (zh) 基于语义分割和目标检测的绝缘子缺陷检测方法
CN113487163A (zh) 基于地理位置信息进行业务预测的方法及装置
JP2021103386A (ja) 学習モデルの生成方法、コンピュータプログラム、情報処理装置、及び情報処理方法
CN111506691B (zh) 一种基于深度匹配模型的轨迹匹配方法和系统
CN115169526B (zh) 一种基于深度学习的基站表示学习方法、系统及存储介质
KR102613133B1 (ko) 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치
CN117150369B (zh) 超重预测模型的训练方法及电子设备
KR102616082B1 (ko) 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치
CN116796748A (zh) 信息提取方法及装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant