CN117473337A - 轨迹关联方法及装置、设备及存储介质 - Google Patents

轨迹关联方法及装置、设备及存储介质 Download PDF

Info

Publication number
CN117473337A
CN117473337A CN202311795885.4A CN202311795885A CN117473337A CN 117473337 A CN117473337 A CN 117473337A CN 202311795885 A CN202311795885 A CN 202311795885A CN 117473337 A CN117473337 A CN 117473337A
Authority
CN
China
Prior art keywords
moving object
mode
moving
vector
linear transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311795885.4A
Other languages
English (en)
Other versions
CN117473337B (zh
Inventor
杨旭
陆昱辰
张相凯
孙立国
吕品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202311795885.4A priority Critical patent/CN117473337B/zh
Publication of CN117473337A publication Critical patent/CN117473337A/zh
Application granted granted Critical
Publication of CN117473337B publication Critical patent/CN117473337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种轨迹关联方法及装置、设备及存储介质，所述方法包括：获取同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据；将第一模态和第二模态下各运动目标的轨迹数据输入已知的编码器中，输出各运动目标的特征向量；根据各运动目标的特征向量确定各运动目标的描述向量；根据第一模态下各运动目标与第二模态下各运动目标的描述向量，确定第一模态下各运动目标与第二模态下各运动目标的相似度矩阵，以按照相似度矩阵对第一模态与第二模态下的运动目标进行关联，在实现准确的轨迹关联的同时，克服外点的干扰，具有高鲁棒性的优势。

Description

轨迹关联方法及装置、设备及存储介质
技术领域
本公开涉及模式识别技术领域，尤其涉及一种轨迹关联方法及装置、设备及存储介质。
背景技术
融合来自跨空间（如空、天、地等）的多模数据并构建统一的态势图，成为支撑军事博弈对抗和极端环境探索等任务的重要要素。但多模数据的深度、高效融合目前面临的一大挑战是缺乏目标关联的先决条件。但就目前而言，在同一模态下往往存在不同目标之间辨别性较差的情况，这大大提高了目标关联的难度，在这种情况下，基础的匹配方法（最近邻等）往往就难以发挥作用，此时需要将结构信息、全局信息嵌入目标特征中。
目标轨迹的语义信息，即轨迹所包含的关于运动物体或个体行为的高级语义含义，其包括但不限于目标的运动模式和趋势、运动目标之间的交互行为（相对位置、避让、碰撞等）等，对于轨迹关联的准确性、鲁棒性和上下文理解起着关键作用。除此之外，在复杂的环境中，运动目标的轨迹可能会受到噪声、遮挡或轨迹重叠等干扰，这可能导致传统的轨迹关联方法的性能下降，同时，不同模态间由于传感器的时间分辨率差异导致的信息滞后和目标延迟出现问题也极大地影响了轨迹关联的准确率。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种轨迹关联方法及装置、设备及存储介质。
第一方面，本公开的实施例提供了一种轨迹关联方法，包括：
获取同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据；
将第一模态和第二模态下各运动目标的轨迹数据输入已知的编码器中，输出各运动目标的特征向量；
根据各运动目标的特征向量确定各运动目标的描述向量；
根据第一模态下各运动目标与第二模态下各运动目标的描述向量，确定第一模态下各运动目标与第二模态下各运动目标的相似度矩阵，以按照相似度矩阵对第一模态与第二模态下的运动目标进行关联。
在一种可能的实施方式中，所述根据各运动目标的特征向量确定各运动目标的描述向量，包括：
对于每一个运动目标，执行以下步骤：
将当前运动目标的特征向量输入已知的第一线性变换函数，输出当前运动目标的查询向量、键向量和值向量；
基于已知的Softmax函数，根据当前运动目标的查询向量和其他运动目标的键向量，确定当前运动目标与其他运动目标之间的连接强度；
将当前运动目标与其他运动目标之间的连接强度以及其他运动目标的键向量，输入已知的第二线性变换函数，输出当前运动目标的描述向量。
在一种可能的实施方式中，所述Softmax函数的表达式如下：
其中，为第i个运动目标与第j个运动目标之间的连接强度，/>为第i个运动目标的查询向量，/>为第j个运动目标的键向量。
在一种可能的实施方式中，通过以下表达式，将当前运动目标与其他运动目标之间的连接强度以及其他运动目标的键向量，输入已知的第二线性变换函数，输出当前运动目标的描述向量：
其中，为当前运动目标的描述向量，/>为第i个运动目标与第j个运动目标之间的连接强度，/>为第j个运动目标的值向量，/>为单头注意力输出，/>为第二线性变换函数的参数，/>为连接操作，/>为当前运动目标与其同一模态下其他运动目标之间的注意力输出，/>为当前运动目标与其不同模态下其他运动目标之间的注意力输出，为其他运动目标集合。
在一种可能的实施方式中，所述按照相似度矩阵对第一模态与第二模态下的运动目标进行关联，包括：
基于已知的垃圾箱机制，对相似度矩阵进行预处理；
对预处理后的相似度矩阵进行归一化，得到第一模态下各运动目标与第二模态下各运动目标的匹配矩阵。
在一种可能的实施方式中，所述基于已知的垃圾箱机制，对相似度矩阵进行预处理，包括：
对相似度矩阵增加异常点，其中，通过以下表达式，确定异常点在相似度矩阵中的位置：
其中，为相似度矩阵中第i行第/>列的元素，/>为相似度矩阵中第/>行第j列的元素，/>为相似度矩阵中第/>行第/>列的元素，/>为第一模态下运动目标的数量，/>为第二模态下运动目标的数量，/>为垃圾箱机制的参数。
在一种可能的实施方式中，所述对预处理后的相似度矩阵进行归一化，得到第一模态下各运动目标与第二模态下各运动目标的匹配矩阵，包括：
利用Sinkhorn算法对预处理后的相似度矩阵进行行和列的归一化，经过次迭代，得到第一模态下各运动目标与第二模态下各运动目标的匹配矩阵。
在一种可能的实施方式中，所述已知的编码器、第一线性变换函数、Softmax函数、第二线性变换函数和垃圾箱机制中的参数通过以下步骤训练得到：
将同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据作为待训练编码器的输入，待训练编码器的输出作为待训练第一线性变换函数的输入，待训练第一线性变换函数的输出作为Softmax函数的输入，Softmax函数的输出作为待训练第二线性变换函数的输入，并将已知的第一模态下各运动目标与第二模态下各运动目标的匹配矩阵作为待训练垃圾箱机制参数下输出的匹配矩阵，对待训练的编码器、第一线性变换函数、第二线性变换函数和垃圾箱机制中的参数进行训练，得到已知的编码器、第一线性变换函数、Softmax函数、第二线性变换函数和垃圾箱机制中的参数。
第二方面，本公开的实施例提供了一种轨迹关联装置，包括：
获取模块，用于获取同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据；
输出模块，用于将第一模态和第二模态下各运动目标的轨迹数据输入已知的编码器中，输出各运动目标的特征向量；
第一确定模块，用于根据各运动目标的特征向量确定各运动目标的描述向量；
第二确定模块，用于根据第一模态下各运动目标与第二模态下各运动目标的描述向量，确定第一模态下各运动目标与第二模态下各运动目标的相似度矩阵，以按照相似度矩阵对第一模态与第二模态下的运动目标进行关联。
第三方面，本公开的实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的轨迹关联的方法。
第四方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的轨迹关联的方法。
本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：
本公开实施例所述的轨迹关联方法，获取同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据；将第一模态和第二模态下各运动目标的轨迹数据输入已知的编码器中，输出各运动目标的特征向量；根据各运动目标的特征向量确定各运动目标的描述向量；根据第一模态下各运动目标与第二模态下各运动目标的描述向量，确定第一模态下各运动目标与第二模态下各运动目标的相似度矩阵，以按照相似度矩阵对第一模态与第二模态下的运动目标进行关联，在实现准确的轨迹关联的同时，克服外点的干扰，具有高鲁棒性的优势。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了根据本公开实施例的轨迹关联方法流程示意图；
图2示意性示出了根据本公开另一实施例的轨迹关联方法流程示意图；
图3示意性示出了根据本公开实施例的轨迹关联装置的结构框图；
图4示意性示出了根据本公开实施例的电子设备的结构框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
参见图1，本公开的实施例提供了一种轨迹关联方法，包括以下步骤：
S1，获取同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据。
在本实施例中，轨迹关联问题为求解两个模态下轨迹数据之间元素的对应关系，各运动目标的轨迹数据包含一系列轨迹点位置信息。
在本实施例中，在第一模态或者第二模态的数据为船舶自动识别系统数据的情况下，需要对船舶自动识别系统数据进行清洗剔除干扰数据，对待匹配的运动目标进行筛选。
在本实施例中，第一模态的数据可以为船舶自动识别系统数据，第二模态的数据可以为视频数据。
参见图2，为了充分挖掘轨迹的语义信息，可以将第一模态和第二模态下各运动目标的轨迹数据分别使用第一目标轨迹图和第二目标轨迹图表示，其中，第一目标轨迹图和第二目标轨迹图均为无向图，图中每一个节点对应于一个运动目标，每个节点具有自己特有的属性，对应于该目标的一条轨迹，即一系列轨迹点位置信息，表示为，其中，，P为该条轨迹中轨迹点的总数量，这些点按照时间顺序排列，/>表示第p个轨迹点的位置。基于第一目标轨迹图和第二目标轨迹图的匹配问题进行求解，将两个目标轨迹图分别表示为G1和G2，二者的节点集合分别表示为V1和V2，代表待关联的轨迹数据中的两个运动目标集合，每个节点代表一个运动目标。V1和V2的大小分别为N1和N2，代表运动目标的个数。基于目标轨迹图的图匹配的目标就是在V1和V2之间求取一个分配矩阵/>，/>代表将G1的节点i和G2的节点j匹配到一起。P具体定义为：
S2，将第一模态和第二模态下各运动目标的轨迹数据输入已知的编码器中，输出各运动目标的特征向量。
在本实施例中，对于每个运动目标的轨迹数据，通过以下表达式进行编码：
其中，Enc为网络编码层，将轨迹数据t i转换为低维向量l i，为了处理可变长度的轨迹序列数据，可以使用长短期记忆网络作为编码器。长短期记忆网络非常适合处理长度不同的序列数据，并且能够捕捉轨迹中的长期时间依赖性。
在本实施例中，将各运动目标的特征向量作为初始节点属性信息。
S3，根据各运动目标的特征向量确定各运动目标的描述向量。
在本实施例中，将通过自我注意力和交叉注意力机制得到的各运动目标的描述向量对初始节点属性信息更新，使节点属性包含轨迹的语义信息和上下文信息。
S4，根据第一模态下各运动目标与第二模态下各运动目标的描述向量，确定第一模态下各运动目标与第二模态下各运动目标的相似度矩阵，以按照相似度矩阵对第一模态与第二模态下的运动目标进行关联。
在本实施例，步骤S3中，所述根据各运动目标的特征向量确定各运动目标的描述向量，包括：
对于每一个运动目标，执行以下步骤：
将当前运动目标的特征向量输入已知的第一线性变换函数，输出当前运动目标的查询向量、键向量和值向量；
基于已知的Softmax函数，根据当前运动目标的查询向量和其他运动目标的键向量，确定当前运动目标与其他运动目标之间的连接强度；
将当前运动目标与其他运动目标之间的连接强度以及其他运动目标的键向量，输入已知的第二线性变换函数，输出当前运动目标的描述向量。
在本实施例中，已知的第一线性变换函数为如下表达式：
其中，为第一线性变换函数的参数，l i为当前运动目标的特征向量，qi，ki，vi分别为当前运动目标的查询向量、键向量和值向量。
在本实施例中，所述Softmax函数的表达式如下：
其中，为第i个运动目标与第j个运动目标之间的连接强度，/>为第i个运动目标的查询向量，/>为第j个运动目标的键向量。
在本实施例中，通过以下表达式，将当前运动目标与其他运动目标之间的连接强度以及其他运动目标的键向量，输入已知的第二线性变换函数，输出当前运动目标的描述向量：
其中，为当前运动目标的描述向量，/>为第i个运动目标与第j个运动目标之间的连接强度，/>为第j个运动目标的值向量，/>为单头注意力输出，即第i个运动目标的特征向量与其他运动目标的特征向量进行通信，通过注意力机制从其他运动目标的特征向量中聚合的信息，/>为第二线性变换函数的参数，/>为连接操作，/>为当前运动目标与其同一模态下其他运动目标之间的注意力输出，/>为当前运动目标与其不同模态下其他运动目标之间的注意力输出，/>为其他运动目标集合，即与第i个运动目标传递信息的邻居节点集合，对于同一模态或者同一目标轨迹图内的消息传播，/>表示图中除了节点i之外的所有节点，对于不同模态之间或者不同目标轨迹图之间的消息传播，/>表示节点i所在目标轨迹图之外的另一目标轨迹图中的所有节点。
在本实施例中，描述向量是通过在目标轨迹图的图内和图间交替使用注意力机制获得的，这有助于节点特征之间的相互通信，在向量zi上并行实现T次注意力，可以实现多头注意力机制，增强特征表达能力。
在本实施例，步骤S4中，通过以下表达式，根据第一模态下各运动目标与第二模态下各运动目标的描述向量，确定第一模态下各运动目标与第二模态下各运动目标的相似度矩阵：
其中，为内积运算，/>为第一模态的第i个运动目标与第二模特的第j个运动目标的相似度矩阵。
在本实施例，步骤S4中，所述按照相似度矩阵对第一模态与第二模态下的运动目标进行关联，包括：
基于已知的垃圾箱机制，对相似度矩阵进行预处理；
对预处理后的相似度矩阵进行归一化，得到第一模态下各运动目标与第二模态下各运动目标的匹配矩阵。
在本实施例中，引入垃圾箱点集合，将不匹配的外点剔除。
在本实施例中，所述基于已知的垃圾箱机制，对相似度矩阵进行预处理，包括：
对相似度矩阵增加异常点，其中，通过以下表达式，确定异常点在相似度矩阵中的位置：
其中，为相似度矩阵中第i行第/>列的元素，/>为相似度矩阵中第/>行第j列的元素，/>为相似度矩阵中第/>行第/>列的元素，/>为第一模态下运动目标的数量，/>为第二模态下运动目标的数量，/>为垃圾箱机制的参数，即垃圾箱分数。
在本实施例中，通过引入一个垃圾箱机制来扩展目标轨迹图的节点集合，能够明确地将未匹配的外点分配给它们对应的集合。
在本实施例中，所述对预处理后的相似度矩阵进行归一化，得到第一模态下各运动目标与第二模态下各运动目标的匹配矩阵，包括：
利用Sinkhorn算法对预处理后的相似度矩阵（）进行行和列的归一化，经过/>次迭代，得到第一模态下各运动目标与第二模态下各运动目标的匹配矩阵，匹配矩阵中元素为1的位置对应的两个运动目标匹配，即这两个运动目标的轨迹具有关联关系。
在本实施例中，所述已知的编码器、第一线性变换函数、Softmax函数、第二线性变换函数和垃圾箱机制中的参数通过以下步骤训练得到：
将同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据作为待训练编码器的输入，待训练编码器的输出作为待训练第一线性变换函数的输入，待训练第一线性变换函数的输出作为Softmax函数的输入，Softmax函数的输出作为待训练第二线性变换函数的输入，并将已知的第一模态下各运动目标与第二模态下各运动目标的匹配矩阵作为待训练垃圾箱机制参数下输出的匹配矩阵，对待训练的编码器、第一线性变换函数、第二线性变换函数和垃圾箱机制中的参数进行训练，得到已知的编码器、第一线性变换函数、Softmax函数、第二线性变换函数和垃圾箱机制中的参数。
本公开的轨迹关联方法，通过对轨迹数据进行端到端训练，捕捉了轨迹数据中的复杂模式和关联，充分挖掘了轨迹的语义信息，极大提高了轨迹关联的准确性和鲁棒性。
在一些实施例中，将本公开的轨迹关联方法与基于二分法的轨迹关联算法DeepSORVF在FVessel基准数据集上分别进行了实验。
FVessel数据集主要用于评估船舶自动识别系统数据和视频数据融合算法的可靠性，主要包含摄像机和船舶自动识别系统接收机在某地段拍摄的26个视频和相应的船舶自动识别系统数据。数据集中包含在晴天、多云和弱光条件下在某地段桥区和江边采集的大量图像和视频。表1展示了不同外点水平下本公开的轨迹关联方法和基于二分法的轨迹关联算法DeepSORVF在FVessel数据集上的匹配性能。
表1
如上表1所示，结果证实了本公开提出的轨迹关联方法在轨迹关联问题上准确率、召回率和鲁棒性上的优异性能。
本公开提出的目标轨迹图，能够将轨迹关联问题建模为图匹配问题，该图结构隐含了轨迹语义信息，这对于轨迹上下文理解和匹配的准确性十分有效，在找到图结构之间节点的对应关系的前提下，同时保持边的相似性，能够通过充分考虑目标的环境上下文信息获取匹配结果；另外，本公开使用聚合上下文信息的注意力机制，有效挖掘了目标轨迹图的深层轨迹语义信息；本公开引入了垃圾箱机制，将无关联的轨迹单独进行剔除，能够有效克服噪声和外点干扰下的匹配困难问题，因此，本公开能够在噪声与外点干扰条件下，有效深度挖掘跨空间多模运动目标的轨迹的特征和语义信息。
参见图3，本公开的实施例提供了一种轨迹关联装置，包括：
获取模块11，用于获取同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据；
输出模块12，用于将第一模态和第二模态下各运动目标的轨迹数据输入已知的编码器中，输出各运动目标的特征向量；
第一确定模块13，用于根据各运动目标的特征向量确定各运动目标的描述向量；
第二确定模块14，用于根据第一模态下各运动目标与第二模态下各运动目标的描述向量，确定第一模态下各运动目标与第二模态下各运动目标的相似度矩阵，以按照相似度矩阵对第一模态与第二模态下的运动目标进行关联。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述实施例中，获取模块11、输出模块12、第一确定模块13和第二确定模块14中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。获取模块11、输出模块12、第一确定模块13和第二确定模块14中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块11、输出模块12、第一确定模块13和第二确定模块14中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
参照图4所示，本公开的实施例提供的电子设备，包括处理器1110、通信接口1120、存储器1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信；
存储器1130，用于存放计算机程序；
处理器1110，用于执行存储器1130上所存放的程序时，实现如下所示轨迹关联的方法：
获取同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据；
将第一模态和第二模态下各运动目标的轨迹数据输入已知的编码器中，输出各运动目标的特征向量；
根据各运动目标的特征向量确定各运动目标的描述向量；
根据第一模态下各运动目标与第二模态下各运动目标的描述向量，确定第一模态下各运动目标与第二模态下各运动目标的相似度矩阵，以按照相似度矩阵对第一模态与第二模态下的运动目标进行关联。
上述的通信总线1140可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器1130还可以是至少一个位于远离前述处理器1110的存储装置。
上述的处理器1110可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本公开的示例性实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的轨迹关联的方法。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的轨迹关联的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种轨迹关联方法，其特征在于，所述方法包括：
获取同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据；
将第一模态和第二模态下各运动目标的轨迹数据输入已知的编码器中，输出各运动目标的特征向量；
根据各运动目标的特征向量确定各运动目标的描述向量；
根据第一模态下各运动目标与第二模态下各运动目标的描述向量，确定第一模态下各运动目标与第二模态下各运动目标的相似度矩阵，以按照相似度矩阵对第一模态与第二模态下的运动目标进行关联。
2.根据权利要求1所述的方法，其特征在于，所述根据各运动目标的特征向量确定各运动目标的描述向量，包括：
对于每一个运动目标，执行以下步骤：
将当前运动目标的特征向量输入已知的第一线性变换函数，输出当前运动目标的查询向量、键向量和值向量；
基于已知的Softmax函数，根据当前运动目标的查询向量和其他运动目标的键向量，确定当前运动目标与其他运动目标之间的连接强度；
将当前运动目标与其他运动目标之间的连接强度以及其他运动目标的键向量，输入已知的第二线性变换函数，输出当前运动目标的描述向量。
3.根据权利要求2所述的方法，其特征在于，所述Softmax函数的表达式如下：
其中，为第i个运动目标与第j个运动目标之间的连接强度，/>为第i个运动目标的查询向量，/>为第j个运动目标的键向量。
4.根据权利要求2所述的方法，其特征在于，通过以下表达式，将当前运动目标与其他运动目标之间的连接强度以及其他运动目标的键向量，输入已知的第二线性变换函数，输出当前运动目标的描述向量：
其中，为当前运动目标的描述向量，/>为第i个运动目标与第j个运动目标之间的连接强度，/>为第j个运动目标的值向量，/>为单头注意力输出，/>为第二线性变换函数的参数，/>为连接操作，/>为当前运动目标与其同一模态下其他运动目标之间的注意力输出，/>为当前运动目标与其不同模态下其他运动目标之间的注意力输出，为其他运动目标集合。
5.根据权利要求2所述的方法，其特征在于，所述按照相似度矩阵对第一模态与第二模态下的运动目标进行关联，包括：
基于已知的垃圾箱机制，对相似度矩阵进行预处理；
对预处理后的相似度矩阵进行归一化，得到第一模态下各运动目标与第二模态下各运动目标的匹配矩阵。
6.根据权利要求5所述的方法，其特征在于，所述基于已知的垃圾箱机制，对相似度矩阵进行预处理，包括：
对相似度矩阵增加异常点，其中，通过以下表达式，确定异常点在相似度矩阵中的位置：
其中，为相似度矩阵中第i行第/>列的元素，/>为相似度矩阵中第/>行第j列的元素，/>为相似度矩阵中第/>行第/>列的元素，为第一模态下运动目标的数量，/>为第二模态下运动目标的数量，/>为垃圾箱机制的参数。
7.根据权利要求5所述的方法，其特征在于，所述对预处理后的相似度矩阵进行归一化，得到第一模态下各运动目标与第二模态下各运动目标的匹配矩阵，包括：
利用Sinkhorn算法对预处理后的相似度矩阵进行行和列的归一化，经过次迭代，得到第一模态下各运动目标与第二模态下各运动目标的匹配矩阵。
8.根据权利要求5所述的方法，其特征在于，所述已知的编码器、第一线性变换函数、Softmax函数、第二线性变换函数和垃圾箱机制中的参数通过以下步骤训练得到：
将同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据作为待训练编码器的输入，待训练编码器的输出作为待训练第一线性变换函数的输入，待训练第一线性变换函数的输出作为Softmax函数的输入，Softmax函数的输出作为待训练第二线性变换函数的输入，并将已知的第一模态下各运动目标与第二模态下各运动目标的匹配矩阵作为待训练垃圾箱机制参数下输出的匹配矩阵，对待训练的编码器、第一线性变换函数、第二线性变换函数和垃圾箱机制中的参数进行训练，得到已知的编码器、第一线性变换函数、Softmax函数、第二线性变换函数和垃圾箱机制中的参数。
9.一种轨迹关联装置，其特征在于，包括：
获取模块，用于获取同一时段内分别在第一模态和第二模态下各运动目标的轨迹数据；
输出模块，用于将第一模态和第二模态下各运动目标的轨迹数据输入已知的编码器中，输出各运动目标的特征向量；
第一确定模块，用于根据各运动目标的特征向量确定各运动目标的描述向量；
第二确定模块，用于根据第一模态下各运动目标与第二模态下各运动目标的描述向量，确定第一模态下各运动目标与第二模态下各运动目标的相似度矩阵，以按照相似度矩阵对第一模态与第二模态下的运动目标进行关联。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8中任一项所述的轨迹关联方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的轨迹关联方法。
CN202311795885.4A 2023-12-25 2023-12-25 轨迹关联方法及装置、设备及存储介质 Active CN117473337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311795885.4A CN117473337B (zh) 2023-12-25 2023-12-25 轨迹关联方法及装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311795885.4A CN117473337B (zh) 2023-12-25 2023-12-25 轨迹关联方法及装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117473337A true CN117473337A (zh) 2024-01-30
CN117473337B CN117473337B (zh) 2024-03-22

Family

ID=89635007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311795885.4A Active CN117473337B (zh) 2023-12-25 2023-12-25 轨迹关联方法及装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117473337B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222095A1 (zh) * 2021-04-22 2022-10-27 深圳元戎启行科技有限公司 轨迹预测方法、装置、计算机设备和存储介质
CN115545996A (zh) * 2022-12-02 2022-12-30 成都智元汇信息技术股份有限公司 一种基于相似度矩阵的地铁异常历史客流识别方法及装置
CN116185694A (zh) * 2023-03-06 2023-05-30 重庆大学 一种基于相似度的多元时间序列异常检测与诊断方法
CN116778292A (zh) * 2023-08-18 2023-09-19 深圳前海中电慧安科技有限公司 多模态车辆时空轨迹的融合方法、装置、设备及存储介质
CN117093852A (zh) * 2023-06-15 2023-11-21 重庆大学 工业机器人早期异常监测模型及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222095A1 (zh) * 2021-04-22 2022-10-27 深圳元戎启行科技有限公司 轨迹预测方法、装置、计算机设备和存储介质
CN115545996A (zh) * 2022-12-02 2022-12-30 成都智元汇信息技术股份有限公司 一种基于相似度矩阵的地铁异常历史客流识别方法及装置
CN116185694A (zh) * 2023-03-06 2023-05-30 重庆大学 一种基于相似度的多元时间序列异常检测与诊断方法
CN117093852A (zh) * 2023-06-15 2023-11-21 重庆大学 工业机器人早期异常监测模型及方法
CN116778292A (zh) * 2023-08-18 2023-09-19 深圳前海中电慧安科技有限公司 多模态车辆时空轨迹的融合方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龚畅 等: "基于状态依赖检测的视频运动目标轨迹跟踪算法", 现代电子技术, no. 07, 1 April 2016 (2016-04-01) *

Also Published As

Publication number Publication date
CN117473337B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN108416327B (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
US20220076150A1 (en) Method, apparatus and system for estimating causality among observed variables
CN107851174B (zh) 图像语义标注的设备和方法及其模型的生成方法和系统
KR20190052893A (ko) 뉴럴 네트워크 연산을 위한 전처리 장치 및 방법
CN113539304B (zh) 视频拆条方法和装置
CN111860496A (zh) 车牌识别方法、装置、设备及计算机可读存储介质
Tsintotas et al. Tracking‐DOSeqSLAM: A dynamic sequence‐based visual place recognition paradigm
Luo et al. Kayak and sailboat detection based on the improved YOLO with Transformer
He et al. Real-time vehicle detection from short-range aerial image with compressed mobilenet
KR102189811B1 (ko) 멀티 홉 이웃을 이용한 컨볼루션 학습 기반의 지식 그래프 완성 방법 및 장치
CN114741754A (zh) 一种基于建筑图纸的房间区域识别方法及系统
CN112884118A (zh) 神经网络的搜索方法、装置及设备
CN117473337B (zh) 轨迹关联方法及装置、设备及存储介质
CN116946610B (zh) 一种智能仓储系统货物拾取方法及装置
Qi et al. Unstructured road detection via combining the model‐based and feature‐based methods
CN113239225A (zh) 一种图像检索方法、装置、设备及存储介质
CN111222558A (zh) 图像处理方法及存储介质
CN115098646A (zh) 一种图文数据的多级关系分析与挖掘方法
CN108304467A (zh) 用于文本间匹配的方法
CN115985086A (zh) 一种交通数据补全方法、系统、终端以及存储介质
CN111815627A (zh) 遥感图像变化检测方法、模型训练方法及对应装置
Li et al. MEDMCN: a novel multi-modal EfficientDet with multi-scale CapsNet for object detection
Yang et al. PLSAV: Parallel loop searching and verifying for loop closure detection
CN116665763B (zh) 一种基于多视图多标签学习的代谢途径推断方法
CN112862007B (zh) 基于用户兴趣编辑的商品序列推荐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant