CN114092524A - 物体轨迹的生成方法、相关装置和分类模型的构建方法 - Google Patents

物体轨迹的生成方法、相关装置和分类模型的构建方法 Download PDF

Info

Publication number
CN114092524A
CN114092524A CN202210053756.7A CN202210053756A CN114092524A CN 114092524 A CN114092524 A CN 114092524A CN 202210053756 A CN202210053756 A CN 202210053756A CN 114092524 A CN114092524 A CN 114092524A
Authority
CN
China
Prior art keywords
order
target vertex
vertex
subgraph
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210053756.7A
Other languages
English (en)
Other versions
CN114092524B (zh
Inventor
陈琳
翁仁亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aibee Technology Co Ltd
Original Assignee
Beijing Aibee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibee Technology Co Ltd filed Critical Beijing Aibee Technology Co Ltd
Priority to CN202210053756.7A priority Critical patent/CN114092524B/zh
Publication of CN114092524A publication Critical patent/CN114092524A/zh
Application granted granted Critical
Publication of CN114092524B publication Critical patent/CN114092524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请了提供一种物体轨迹的生成方法、装置、分类模型的构建方法、电子设备及存储介质，其中，在物体轨迹的生成方法中，基于每两个轨迹片段之间的亲密度，生成轨迹片段的K最近邻亲密度图。针对轨迹片段的K最近邻亲密度图中的目标顶点，对目标顶点所连接的每一条边进行分类处理，得到每一条边的分类结果。最后基于每一条边的分类结果，得到目标物体的完整运动轨迹。将获得各个物体在所有摄像头下的完整轨迹转换为边的分类问题，基于每一条边的分类结果，就可得到目标物体的完整运动轨迹。

Description

物体轨迹的生成方法、相关装置和分类模型的构建方法
技术领域
本申请涉及物体识别技术领域，尤其涉及一种物体轨迹的生成方法、装置、分类模型的构建方法、电子设备及存储介质。
背景技术
在当今时代，为了安全保障，监控摄像头已经在我们的日常生活中随处可见。在某些情况下，可以通过摄像头追踪某一个物体的运动轨迹。一些大型场景（如商场、机场和游乐园等）的多目标跟踪任务，会由多个摄像头记录各个物体的运动轨迹，每个摄像头下都会生成各个物体的轨迹片段，之后再对各个摄像头生成的轨迹片段进行数据关联，以获得各个物体在所有摄像头下的完整轨迹。
在现有技术中，在对各个摄像头生成的轨迹片段进行数据关联时，通常只考虑各个轨迹片段中的物体的外观信息，然后通过物体的外观信息来进行数据关联，对多个轨迹片段进行拼接，得到物体的完整轨迹。但是，在较为复杂的场景下，可能会出现比较相似的物体，获取到的物体的外观信息比较难以区分，导致无法准确地对多个轨迹片段进行拼接，得到物体的完整轨迹。
发明内容
有鉴于此，本申请提供一种物体轨迹的生成方法、装置、分类模型的构建方法、电子设备及存储介质，以解决现有技术中只考虑各个轨迹片段中的物体的外观信息，无法准确地获得各个目标物体在所有摄像头下的完整轨迹的问题。
为实现上述目的，本申请提供如下技术方案：
本申请第一方面公开了一种物体轨迹的生成方法，包括：
基于多个轨迹片段之间的亲密度，生成轨迹片段的K最近邻亲密度图；其中，轨迹片段的K最近邻亲密度图中的每一个顶点唯一对应一个轨迹片段；每一个顶点与满足亲密度条件的顶点分别相连；
针对轨迹片段的K最近邻亲密度图中的目标顶点，对目标顶点所连接的每一条边进行分类处理，得到目标顶点所连接的每一条边的分类结果；其中，分类结果用于表征每一条边上的两个顶点对应的轨迹片段是否属于同一个物体；
基于目标顶点所连接的每一条边的分类结果，确定出属于同一个物体的轨迹片段。
可选的，基于每两个轨迹片段之间的亲密度，生成轨迹片段的K最近邻亲密度图，包括：
针对每一个轨迹片段，按照亲密度大小筛选出前K个与轨迹片段亲密度最大的轨迹片段；其中，K为预设的正整数；
采用将每一个轨迹片段对应的顶点，分别与筛选出的K个亲密度最大的轨迹片段对应的顶点相连的方式处理多个轨迹片段，得到轨迹片段的K最近邻亲密度图。
可选的，对目标顶点所连接的每一条边进行分类处理，得到每一条边的分类结果，包括：
基于K最近邻亲密度图，生成目标顶点的C阶子图；其中，C为预设的正整数；目标顶点的C阶子图包括：目标顶点、目标顶点的前C阶邻居、以及目标顶点、目标顶点的前C阶邻居在K最近邻亲密度图中所连接的边；C阶邻居包括：与目标顶点经过C条边可以连接到的所有顶点；
对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果。
可选的，对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果，包括：
调用预先构建的分类模型对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果。
可选的，分类模型的卷积层包括外观图卷积子网络；其中，调用预先构建的分类模型对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果，包括：
获取C阶子图中所有顶点的外观特征向量并组成外观特征矩阵；
将目标顶点的外观特征向量与外观特征矩阵的每一行做差，得到C阶子图的外观差值特征矩阵；
调用外观图卷积子网络处理C阶子图的外观差值特征矩阵，得到外观嵌入矩阵；
通过分类模型的全连接层对外观嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果；
或者，分类模型的卷积层包括时空图卷积子网络；其中，调用预先构建的分类模型对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果，包括：
获取C阶子图中所有顶点的运动特征向量并组成运动特征矩阵；
将目标顶点的运动特征向量与运动特征矩阵的每一行做差，得到C阶子图的运动差值特征矩阵；
调用时空图卷积子网络处理C阶子图的运动差值特征矩阵，得到运动嵌入矩阵；
通过分类模型的全连接层对运动嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果。
可选的，轨迹片段之间的亲密度的计算方法，包括：
获取l个摄像头下的多个轨迹片段，其中，l为摄像头的数量；
计算得到每两个轨迹片段之间的亲密度。
可选的，分类模型的卷积层包括外观图卷积子网络、时空图卷积子网络以及融合图卷积子网络；其中，调用预先构建的分类模型对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果，包括：
获取C阶子图中所有顶点的外观特征向量并组成外观特征矩阵；
将目标顶点的外观特征向量与外观特征矩阵的每一行做差，得到C阶子图的外观差值特征矩阵；
获取C阶子图中所有顶点的运动特征向量并组成运动特征矩阵；
将目标顶点的运动特征向量与运动特征矩阵的每一行做差，得到C阶子图的运动差值特征矩阵；
调用外观图卷积子网络处理C阶子图的外观差值特征矩阵，得到外观嵌入矩阵；
调用时空图卷积子网络处理C阶子图的运动差值特征矩阵，得到运动嵌入矩阵；
调用融合图卷积子网络处理合并嵌入矩阵，得到融合特征嵌入矩阵；其中，合并嵌入矩阵为外观嵌入矩阵和运动嵌入矩阵的合并矩阵；
通过分类模型的全连接层对融合特征嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果。
本申请第二方面公开了一种物体轨迹的生成装置，包括：
生成单元，用于基于多个轨迹片段之间的亲密度，生成轨迹片段K最近邻亲密度图；其中，轨迹片段K最近邻亲密度图中的每一个顶点唯一对应一个轨迹片段；每一个顶点与满足亲密度条件的顶点分别相连；
处理单元，用于针对轨迹片段K最近邻亲密度图中的目标顶点，对目标顶点所连接的每一条边进行分类处理，得到每一条边的分类结果；其中，分类结果用于表征每一条边上的两个顶点对应的轨迹片段是否属于同一个物体；
整合单元，用于基于每一条边的分类结果，确定出属于同一个物体的轨迹片段。
可选的，上述的装置，生成单元，包括：
筛选子单元，用于针对每一个轨迹片段，按照亲密度大小筛选出K个与当前轨迹片段亲密度最大的轨迹片段；其中，K为预设的正整数；
第一生成子单元，用于针对每一个轨迹片段，将轨迹片段对应的顶点分别与筛选出的K个亲密度最大的轨迹片段对应的顶点相连，生成轨迹片段K最近邻亲密度图。
可选的，上述的装置，处理单元，包括：
第一调用子单元，用于基于K最近邻亲密度图，生成目标顶点的C阶子图；其中，C为预设的正整数；目标顶点的C阶子图包括：目标顶点、目标顶点的前C阶邻居、以及目标顶点、目标顶点的前C阶邻居在K最近邻亲密度图中所连接的边；C阶邻居包括：与目标顶点经过C条边可以连接到的所有顶点；并用于对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果。
可选的，上述的装置，第一调用子单元执行对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果，包括：
处理子单元，用于调用预先构建的分类模型对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果。
可选的，上述的装置，处理子单元，包括：
第一获取子单元，用于获取C阶子图中所有顶点的外观特征向量并组成外观特征矩阵；
第一计算子单元，用于将目标顶点的外观特征向量与外观特征矩阵的每一行做差，得到C阶子图的外观差值特征矩阵；
第二调用子单元，用于调用外观图卷积子网络处理C阶子图的外观差值特征矩阵，得到外观嵌入矩阵；
第一分类单元，用于通过分类模型的全连接层对外观嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果。
可选的，上述的装置，处理子单元，包括：
第二获取子单元，用于获取C阶子图中所有顶点的运动特征向量并组成运动特征矩阵；
第二计算子单元，用于将目标顶点的运动特征向量与运动特征矩阵的每一行做差，得到C阶子图的运动差值特征矩阵；
第三调用子单元，用于调用时空图卷积子网络处理C阶子图的运动差值特征矩阵，得到运动嵌入矩阵；
第二分类单元，用于通过分类模型的全连接层对运动嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果。
可选的，上述的装置，处理子单元，包括：
第三获取子单元，用于获取C阶子图中所有顶点的外观特征向量并组成外观特征矩阵；
第三计算子单元，用于将目标顶点的外观特征向量与外观特征矩阵的每一行做差，得到C阶子图的外观差值特征矩阵；
第四获取子单元，用于获取C阶子图中所有顶点的运动特征向量并组成运动特征矩阵；
第四计算子单元，用于将目标顶点的运动特征向量与运动特征矩阵的每一行做差，得到C阶子图的运动差值特征矩阵；
第四调用子单元，用于调用外观图卷积子网络处理C阶子图的外观差值特征矩阵，得到外观嵌入矩阵；
第五调用子单元，用于调用时空图卷积子网络处理C阶子图的运动差值特征矩阵，得到运动嵌入矩阵；
第六调用子单元，用于调用融合图卷积子网络处理合并嵌入矩阵，得到融合特征嵌入矩阵；其中，合并嵌入矩阵为外观嵌入矩阵和运动嵌入矩阵的合并矩阵；
第三分类子单元，用于通过分类模型的全连接层对融合特征嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果。
可选的，上述的装置，整合单元，包括：
确定子单元，用于根据每一条边的分类结果，确定出属于目标物体的运动轨迹的所有轨迹片段；
整合子单元，用于整合属于目标物体的运动轨迹的所有轨迹片段，得到目标物体的完整运动轨迹。
可选的，上述的装置，还包括：
获取单元，用于获取l个摄像头下的多个轨迹片段；其中，l为摄像头的数量；
计算单元，用于计算得到每两个轨迹片段之间的亲密度；
本申请第三方面公开了一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如第一方面中任意一项的方法。
本申请第四方面公开了一种计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如第一方面中任意一项的方法。
本申请第五方面公开了一种分类模型的构建方法，包括：
确定分类模型的原始模型，分类模型的原始模型包括：卷积层和全连接层；
获取样本数据，样本数据包括：样本轨迹片段的K最近邻亲密度图；
利用样本数据对分类模型的原始模型进行训练，直至训练后的分类模型的原始模型对样本数据的检测结果符合模型的收敛条件；其中，训练好的分类模型的卷积层用于对输入数据进行处理，得到嵌入矩阵，训练好的分类模型的全连接层用于对嵌入矩阵进行分类，得到分类结果，输入数据包括进行物体轨迹生成时所用测试数据的K最近邻亲密度图，分类结果用于确定属于同一物体的轨迹片段。
可选的，样本轨迹片段的K最近邻亲密度图包括：样本轨迹片段的K最近邻亲密度图中顶点的C阶子图；
利用样本数据对分类模型的原始模型进行训练，包括：
利用顶点的均方误差来训练分类模型的原始模型。
从上述技术方案可以看出，本申请提供的一种物体轨迹的生成方法中，基于多个轨迹片段之间的亲密度，生成轨迹片段的K最近邻亲密度图；针对轨迹片段的K最近邻亲密度图中的目标顶点，对目标顶点所连接的每一条边进行分类处理，得到目标顶点所连接的每一条边的分类结果；其中，分类结果用于表征每一条边上的两个顶点对应的轨迹片段是否属于同一个物体；基于目标顶点所连接的每一条边的分类结果，确定出属于同一个物体的轨迹片段。由此可知，利用目标顶点所连接的每一条边的分类结果，确定出属于同一个物体的轨迹片段，是将物体的轨迹查找问题转换为聚类问题，利用边的聚类来实现物体在所有摄像头下的完整轨迹的查找，避免现有技术进行轨迹查找时因只考虑各个轨迹片段中的物体的外观信息，无法准确地获得各个目标物体在所有摄像头下的完整轨迹的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种物体轨迹的生成方法的流程图；
图2为本申请另一实施例公开的轨迹片段K最近邻亲密度图；
图3为本申请另一实施例公开的顶点A的2阶子图；
图4为本申请另一实施例公开的对C阶子图中所述目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果的一种实施方式的流程图；
图5为本申请另一实施例公开的分类模型的网络结构的示意图；
图6为本申请另一实施例公开的对C阶子图中所述目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果的另一种实施方式的流程图；
图7为本申请另一实施例公开的另一种分类模型的网络结构的示意图；
图8为本申请另一实施例公开的对C阶子图中所述目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果的另一种实施方式的流程图；
图9为本申请另一实施例公开的另一种分类模型的网络结构的示意图；
图10为本申请另一实施例公开的一种步骤S105的一种实施方式的流程图；
图11为本申请另一实施例公开的一种物体轨迹的生成装置的示意图；
图12为本申请另一实施例公开的一种电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
并且，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
由背景技术可知，在现有技术中，在对各个摄像头生成的轨迹片段进行数据关联时，通常只考虑各个轨迹片段中的物体的外观信息，然后通过物体的外观信息来进行数据关联，对多个轨迹片段进行拼接，得到物体的完整轨迹。但是，在较为的复杂的场景下，可能会出现比较相似的物体，获取到的物体的外观信息比较难以区分，导致无法准确地对多个轨迹片段进行拼接，得到物体的完整轨迹。
鉴于此，本申请提供一种物体轨迹的生成方法、装置、电子设备及存储介质，以解决现有技术中只考虑各个轨迹片段中的物体的外观信息，无法准确地获得各个目标物体在所有摄像头下的完整轨迹的问题。
本申请实施例提供了一种物体轨迹的生成方法，如图1所示，具体包括：
S101、获取l个摄像头下的多个轨迹片段；其中，l为摄像头的数量，通常为正整数。
需要说明的是，在需要获得各个物体在所有摄像头下的完整轨迹时，首先需要获取l个摄像头下的多个轨迹片段，为了避免数据遗漏，可以设定为获取各个摄像头下的每一个轨迹片段，当然，也可以根据实际情况，对各个摄像头下的每一个轨迹片段进行有条件的筛选，比如在某个时间区间内的轨迹片段。其中，l为预设的正整数，具体可根据摄像头的个数进行设定。
具体地，多个摄像头下的轨迹片段可以表示为：
Figure 802147DEST_PATH_IMAGE001
其中，l为摄像头数量；n k 为第k个摄像头下轨迹片段个数，则该时间单位内轨迹总数为
Figure 972097DEST_PATH_IMAGE002
；T i k 为该摄像头下第i个轨迹片段；
Figure 773831DEST_PATH_IMAGE003
为轨迹片段在ti k时刻的平面坐标，上述坐 标通过目标在ti k时刻的检测框经空间几何投影得到，能够反映目标在ti k时刻在场景平面 图中的位置；m为轨迹片段T i k 持续的时间。
S102、计算得到每两个轨迹片段之间的亲密度。
需要说明的是，在获取到l个摄像头下的多个轨迹片段之后，对于每一个轨迹片段，分别计算该轨迹片段与其他轨迹片段的亲密度，得到每两个轨迹片段之间的亲密度。其中，亲密度可以使用两个轨迹片段中物体的外观特征的余弦相似度，具体公式如下：
Figure 853782DEST_PATH_IMAGE004
其中，cos_simi(·,·) 为余弦相似度；f k为轨迹片段T i k 中物体的外观特征，f q为轨迹Ti q中物体的外观特征，外观特征为通过预先训练好的行人重识别卷积神经网络所提取的行人重识别特征。
S103、基于每两个轨迹片段之间的亲密度，生成轨迹片段K最近邻亲密度图；其中，轨迹片段K最近邻亲密度图中的每一个顶点唯一对应一个轨迹片段；每一个顶点与满足亲密度条件的顶点分别相连。
需要说明的是，基于计算得到的每两个轨迹片段之间的亲密度，所有的轨迹片段可以组成为一个轨迹片段K最近邻亲密度图G=(v,ε)。其中，轨迹片段K最近邻亲密度图中的每一个顶点V都唯一对应一个轨迹片段，并且每一个顶点V与满足亲密度条件的顶点分别相连，两顶点间的连线即为边ε。
可选的，在本申请的另一实施例中，步骤S103 的一种实施方式，可以包括：
针对每一个轨迹片段，按照亲密度大小筛选出K个与当前轨迹片段亲密度最大的轨迹片段；其中，K为预设的正整数。
针对每一个轨迹片段，将轨迹片段对应的顶点分别与筛选出的K个亲密度最大的轨迹片段对应的顶点相连，生成轨迹片段的K最近邻亲密度图。
需要说明的是，针对每一个轨迹片段，将其他的轨迹片段按照与当前轨迹片段的亲密度大小进行排序，从中筛选出前K个与当前轨迹片段亲密度最大的轨迹片段，其中，K为预设的正整数，可以根据实际情况进行设定。然后对于每一个轨迹片段，将轨迹片段对应的顶点分别与筛选出的K个亲密度最大的轨迹片段对应的顶点相连，得到轨迹片段的K最近邻亲密度图，可参见图2。
S104、针对轨迹片段K最近邻亲密度图中的目标顶点，对目标顶点所连接的每一条边进行分类处理，得到每一条边的分类结果；其中，分类结果用于表征每一条边上的两个顶点对应的轨迹片段是否属于同一个物体；目标顶点为包含目标物体的轨迹片段。
需要说明的是，在需要获取某个轨迹片段中的目标物体完整的轨迹片段时，则可以根据轨迹片段K最近邻亲密度图查找到该轨迹片段对应的顶点所连接的每一条边，然后对目标顶点所连接的每一条边进行分类处理，得到每一条边的分类结果，其中，分类结果用于表征每一条边上的两个顶点对应的轨迹片段是否是属于同一个物体的运动轨迹。例如，当一条边连接的两个顶点，即轨迹片段，是属于同一个物体的轨迹片段时，该边的分类结果就为1，否则分类结果为0。
可选的，在本申请的另一实施例中，上述步骤S104的一种实施方式，可以包括：
调用预先构建的分类模型对目标顶点所连接的每一条边进行分类处理，得到每一条边的分类结果。
需要说明的是，在对目标顶点所连接的边进行分类时，调用预先构建的分类模型对目标顶点所连接的每一条边进行分类处理，得到每一条边的分类结果。在本实施例中，分类模型为预先构建的图卷积神经网络模型。
通常情况下，分类模型包括输入层、卷积层、全连接层和输出层。输入层用于接收输入到分类模型的数据，输出层用于输出分类模型的输出结果。卷积层用于输入数据进行处理，得到嵌入矩阵，全连接层用于对嵌入矩阵进行分类，得到分类结果。
分类模型可由分类模型的原始模型进行训练得到，该训练方法可如下述内容所述：
获取样本数据，样本数据包括：样本轨迹片段的K最近邻亲密度图。训练数据包括带有标签的训练集，对顶点v i ，若其邻居与该顶点属于同一物体，则两顶点之间的连接设为1，否则设为0，具体公式如下：
Figure 207403DEST_PATH_IMAGE005
其中，C i c 为顶点v i 的前C阶（包含C阶）邻居。
将样本数据输入到分类模型的原始模型，由分类模型的原始模型进行检测，得到检测结果。
需要说明的是，输入到分类模型的原始模型的样本数据，可以为样本轨迹片段的K最近邻亲密度图中顶点的C阶子图，当然，可以选择每一个顶点的C阶子图，或者选择部分顶点的C阶子图。其中：C阶子图包括：顶点、顶点的前C阶邻居、以及顶点、顶点的前C阶邻居在K最近邻亲密度图中所连接的边；C阶邻居包括：与顶点经过C条边可以连接到的所有顶点。需要指出的是，C阶子图是由矩阵来表示，通常包括C阶子图的顶点的特征矩阵，以及顶点的邻接矩阵。C阶子图中的顶点可由顶点的特征矩阵来表示，顶点和顶点的前C阶邻居在K最近邻亲密度图中所连接的边可由邻接矩阵表示。
利用损失函数对检测结果和每个训练样本的标签进行损失值的计算，得到模型的损失值。
判断模型的损失值是否符合模型的收敛条件。
一些实施例中，模型收敛条件可以是，模型的损失值小于或等于预先设定的损失阈值。也就是说，可以将模型的损失值和损失阈值进行比较，若模型的损失值大于损失阈值，则可以判断出模型的损失值不符合模型收敛条件，反之，若模型的损失值小于或等于损失阈值，则可以判断出模型损失值符合模型收敛条件。
还需要说明的是，为了保证分类模型的处理质量，可使用顶点的均方误差来训练网络，具体公式如下：
Figure 661387DEST_PATH_IMAGE006
若模型的损失值符合模型的收敛条件，则说明模型训练结束。训练结束的模型则可用于分类。
若模型的损失值不符合模型的收敛条件，则根据模型的损失值计算得到模型的参数更新值，并以模型的参数更新值，更新告警声检测原始模型。并利用更新后的模型，继续对训练样本进行处理，得到检测结果，继续执行后续过程，直至模型的损失值符合模型的收敛条件。
可选的，在本申请的另一实施例中，上述调用预先构建的分类模型对目标顶点所连接的每一条边进行分类处理，得到每一条边的分类结果的一种实施方式，具体包括：
基于所述K最近邻亲密度图，生成所述目标顶点的C阶子图；其中，C为预设的正整数；所述目标顶点的C阶子图为所述目标顶点、所述目标顶点的前C阶邻居、以及这些顶点在所述K最近邻亲密度图中所连接的边组成；所述C阶邻居为与所述目标顶点经过C条边可以连接到的所有顶点；
调用分类模型，对所述C阶子图中所述目标顶点的一阶邻居进行分类处理，得到所述C阶子图上所述目标顶点的一阶邻居的分类结果。
可知的，利用分类模型对所述C阶子图中所述目标顶点的一阶邻居进行分类处理，是对C阶子图中所述目标顶点的一阶邻居进行分类处理的一种实施方式，但并限于此，可利用目前的其他技术实现对C阶子图中所述目标顶点的一阶邻居进行分类处理。
需要说明的是，在K最近邻亲密图中，包含了所有由轨迹片段构成的顶点，以及它们之间的边。当处理与顶点v i 相关的边的分类时，仅考虑顶点v i 的C阶子图
Figure 719342DEST_PATH_IMAGE007
，上述边分类问题可以转换为C阶子图中顶点vi的一阶邻居的分类问题。并且，仅考虑顶点v i 的C阶子图
Figure 653800DEST_PATH_IMAGE007
，而不用K最近邻亲密度图，可以避免利用K最近邻亲密度图整张图进行计算带来的计算工作量大，效率不高的问题。此外，使用C阶子图进行计算，而当C>1时，子图具有更广的感受，能够感受到更远的邻居的影响，会获得更好的分类结果。
因此，在进行目标顶点所连接的边的分类处理时，首先生成目标顶点的C阶子图；在目标顶点的C阶子图的基础上，计算目标顶点的每个一阶邻居是否与目标顶点为同一个物体的运动轨迹；最终获得C阶子图上目标顶点的每个一阶邻居的分类结果。其中，C i c 为顶点v i 的前C阶（包含C阶）邻居，C为预设的正整数，可根据实际情况进行设定。本实施例以2阶子图为例，例如，基于图2所示的K最近邻亲密度图，生成顶点A的2阶子图，如图3所示。
在顶点A的2阶子图上，计算顶点A直接连接的每一条边是否为同一个物体的运动轨迹，最终获得顶点A的2阶子图上顶点A直接连接的每一条边的分类结果，即边AB，边AC，边AD的分类结果。例如，当某个一阶邻居，即轨迹片段，与目标顶点所对应的轨迹片段属于同一个物体的轨迹片段时，该一阶邻居的分类结果就为1，否则分类结果为0。则，上述一阶邻居的分类结果即可对应上述K最近邻亲密度图上的目标顶点与该一阶邻居所连接的边的分类结果。
还需说明的是，若Fi表示上述C阶子图的特征矩阵，为了编码与顶点vi间的关系，令 Fi的每一行与顶点v i 的特征向量fi相减，得到差值特征矩阵
Figure 53688DEST_PATH_IMAGE008
。
令Ai表示上述C阶子图
Figure 73597DEST_PATH_IMAGE007
的邻接矩阵，通过下述余弦相似度矩阵得到邻接矩阵：
Figure 76188DEST_PATH_IMAGE009
其中，cos_simi(·,·) 为余弦相似度；轨迹间的时空约束可根据实际需求采用不同的定义，也可以省略，比如，有时间重叠的两段轨迹，在重叠时间内的空间距离小于某个设定的阈值，或者两个属于相同摄像头，并且有时间重叠的轨迹片段不能属于同一个人，不应该有边的连接。
则第l层图卷积网络可以表示为：
Figure 377069DEST_PATH_IMAGE010
其中，
Figure 197127DEST_PATH_IMAGE011
；
Figure 235490DEST_PATH_IMAGE012
为对角度矩阵。
Figure 974862DEST_PATH_IMAGE013
为上述子图的原差值 特征矩阵，同时，
Figure 883912DEST_PATH_IMAGE014
为第l层图卷积网络输出的嵌入矩阵。W l 为第l层图卷积网络的可学习 参数，用以将上一层输出的嵌入矩阵转换到新的空间。σ为非线性激活函数，一般使用线性 整流函数ReLU或其变体函数。为了同时利用输入嵌入向量和邻域聚合后的嵌入向量学习可 学习参数，定义g(·,·) 为其二者的并连：
Figure 219079DEST_PATH_IMAGE015
可选的，在本申请的另一实施例中，上述对C阶子图中目标顶点所连接的每一条边进行分类，得到C阶子图中目标顶点所连接的每一条边的分类结果的一种实施方式，如图4所示，具体包括：
S401、获取C阶子图中所有顶点的外观特征向量并组成外观特征矩阵，并将目标顶点的外观特征向量与外观特征矩阵的每一行做差，得到C阶子图的外观差值特征矩阵。
需要说明的是，本实施例的分类模型的卷积层包括外观图卷积子网络，如图5所示。首先提取C阶子图中每个顶点的轨迹片段中的物体的外观特征，再根据外观特征，生成外观特征矩阵；然后将上述外观特征矩阵中的每一行与目标顶点对应的轨迹片段中的物体的外观特征向量相减，得到C阶子图的外观差值特征矩阵，将该外观差值特征矩阵作为外观图卷积子网络的输入。
S402、调用外观图卷积子网络处理C阶子图的外观差值特征矩阵，得到外观嵌入矩阵。
需要说明的是，将C阶子图的外观差值特征矩阵输入到外观图卷积子网络进行处理，得到外观嵌入矩阵。
S403、通过全连接层对外观嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果。
需要说明的是，通过全连接层对外观图卷积子网络输出的外观嵌入矩阵进行分类，得到C阶子图上每个顶点的分类结果，具体分类公式如下：
Figure 744738DEST_PATH_IMAGE016
其中，w为可学习回归参数；b为可学习偏置。
可选的，在本申请的另一实施例中，上述对C阶子图中目标顶点所连接的每一条边进行分类，得到C阶子图中目标顶点所连接的每一条边的分类结果的一种实施方式，如图6所示，具体包括：
S601、获取C阶子图中所有顶点的运动特征向量并组成运动特征矩阵，并将目标顶点的运动特征向量与运动特征矩阵的每一行做差，得到C阶子图的运动差值特征矩阵。
需要说明的是，本实施例的分类模型的卷积层包括时空图卷积子网络，如图7所 示。首先提取C阶子图中每个顶点对应的轨迹片段中的物体的运动特征，再根据运动特征， 生成运动特征矩阵。其中，运动特征为基于平面坐标的轨迹时空特征，具体地，获取各个顶 点对应的轨迹片段中的物体的运动特征时，假设目标顶点v i 对应的轨迹片段的时间开始时 刻为ts，结束时刻为te，则该轨迹片段
Figure 276082DEST_PATH_IMAGE017
中的物体的运动特征为：
Figure 367535DEST_PATH_IMAGE018
然后将上述运动特征矩阵中的每一行与目标顶点对应的轨迹片段中的物体的运动特征向量相减，得到当前边的运动差值特征矩阵，将该运动差值特征矩阵作为时空图卷积子网络的输入。
S602、调用时空图卷积子网络处理C阶子图的运动特征矩阵，得到运动嵌入矩阵。
需要说明的是，将C阶子图的运动差值特征矩阵输入到时空图卷积子网络进行处理，得到运动嵌入矩阵。
S603、通过全连接层对运动嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果。
需要说明的是，通过全连接层对时空图卷积子网络输出的运动嵌入矩阵进行分类，得到C阶子图上每个顶点的分类结果，具体分类公式如下：
Figure 670340DEST_PATH_IMAGE019
其中，w为可学习回归参数；b为可学习偏置。
可选的，在本申请的另一实施例中，上述对C阶子图中目标顶点所连接的每一条边进行分类，得到C阶子图中目标顶点所连接的每一条边的分类结果的一种实施方式，如图8所示，具体包括：
S801、获取C阶子图中所有顶点的外观特征向量并组成外观特征矩阵，并将目标顶点的外观特征向量与外观特征矩阵的每一行做差，得到C阶子图的外观差值特征矩阵。
S802、获取C阶子图中所有顶点的运动特征向量并组成运动特征矩阵，并将目标顶点的运动特征向量与所述运动特征矩阵的每一行做差，得到C阶子图的运动差值特征矩阵。
S803、调用外观图卷积子网络处理C阶子图的外观差值特征矩阵，得到外观嵌入矩阵。
S804、调时空图卷积子网络处理C阶子图的运动差值特征矩阵，得到运动嵌入矩阵。
需要说明的是，本实施例的分类模型的卷积层包括外观图卷积子网络、时空图卷积子网络以及融合图卷积子网络，具体网络结构如图9所示。步骤S801至步骤S804的具体实施方式，可参考上述的实施例内容，此处不在赘述。
S805，针对目标顶点所连接的每一条边，调用融合图卷积子网络处理合并嵌入矩阵，得到融合特征嵌入矩阵；其中，合并嵌入矩阵为外观嵌入矩阵和运动嵌入矩阵的合并矩阵。
需要说明的是，将外观图卷积子网络输出的外观嵌入矩阵和时空图卷积子网络输 出的运动嵌入矩阵进行合并，得到合并嵌入矩阵，即
Figure 761924DEST_PATH_IMAGE020
，得到融合特征嵌 入矩阵。其中，
Figure 910009DEST_PATH_IMAGE021
为外观嵌入矩阵，
Figure 449444DEST_PATH_IMAGE022
为运动嵌入矩阵。
S806、通过全连接层对融合特征嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果。
需要说明的是，通过全连接层对融合图卷积子网络输出的融合特征嵌入矩阵进行分类，得到C阶子图上每个顶点的分类结果，具体分类公式如下：
Figure 923150DEST_PATH_IMAGE016
其中，w为可学习回归参数；b为可学习偏置。
S105、基于每一条边的分类结果，得到目标物体的完整运动轨迹。
其中，本步骤可以理解成是基于每一条边的分类结果，得到属于同一个物体的运行轨迹。
需要说明的是，上述S104获得的是C阶子图上目标顶点的一阶邻居的分类结果，该结果与K最近邻亲密度图上与目标顶点连接的每一条边相对应，因此即可看作与目标顶点相连的每一条边的分类结果。在获得K最近邻亲密度图上所有边的分类结果之后，删除所有分类结果小于预设阈值的边，然后在删边后的K最近邻亲密度图上求取所有连通子图，每个连通子图即对应属于某个目标物体的所有轨迹片段，再对该目标物体的所有轨迹片段进行整合，便可得到该目标物体的完整运动轨迹。
可选的，在本申请的另一实施例中，步骤S105的一种实施方式，如图10所示，可以包括：
S1001、根据每一条边的分类结果，确定出属于目标物体的运动轨迹的所有轨迹片段。
需要说明的是，根据上述设定的分类规则，如果一条边的两个顶点对于的轨迹片段是属于同一个物体的轨迹片段的话，那么分类结果就为1，否则分类结果就为0。网络输出的分类结果为0至1之间的一个小数。给定某个预设的在0至1之间的阈值，只需要查找出目标顶点所连接的所有边中，分类结果大于该阈值的边，即认为该边的分类结果为1，其连接的顶点对应的轨迹片段就是属于目标物体的运动轨迹的轨迹片段，从而确定出属于目标物体的运动轨迹的所有轨迹片段。
S1002、整合属于目标物体的运动轨迹的所有轨迹片段，得到目标物体的完整运动轨迹。
需要说明的是，将所有属于目标物体的运动轨迹的轨迹片段按照时间顺序进行拼接，即可目标物体的完整运动轨迹。
本申请实施例提供的一种物体轨迹的生成方法中，基于多个轨迹片段之间的亲密度，生成轨迹片段的K最近邻亲密度图；针对轨迹片段的K最近邻亲密度图中的目标顶点，对目标顶点所连接的每一条边进行分类处理，得到目标顶点所连接的每一条边的分类结果；其中，分类结果用于表征每一条边上的两个顶点对应的轨迹片段是否属于同一个物体；基于目标顶点所连接的每一条边的分类结果，确定出属于同一个物体的轨迹片段。由此可知，利用目标顶点所连接的每一条边的分类结果，确定出属于同一个物体的轨迹片段，是将物体的轨迹查找问题转换为聚类问题，利用边的聚类来实现物体在所有摄像头下的完整轨迹的查找，避免现有技术进行轨迹查找时因只考虑各个轨迹片段中的物体的外观信息，无法准确地获得各个目标物体在所有摄像头下的完整轨迹的问题。
在本申请的另一实施例还公开了一种物体轨迹的生成装置，如图11所示，包括：
获取单元1101，用于获取l个摄像头下的多个轨迹片段；其中，l为摄像头的数量。
计算单元1102，用于计算得到每两个轨迹片段之间的亲密度。
生成单元1103，用于基于每两个轨迹片段之间的亲密度，生成轨迹片段K最近邻亲密度图；其中，轨迹片段K最近邻亲密度图中的每一个顶点唯一对应一个轨迹片段；每一个顶点与满足亲密度条件的顶点分别相连。
处理单元1104，用于针对轨迹片段K最近邻亲密度图中的目标顶点，对目标顶点所连接的每一条边进行分类处理，得到每一条边的分类结果；其中，分类结果用于表征每一条边上的两个顶点对应的轨迹片段是否是属于同一个物体的运动轨迹；目标顶点为包含目标物体的轨迹片段。
整合单元1105，用于基于每一条边的分类结果，确定出属于同一个物体的轨迹片段。
本实施例中，获取单元1101、计算单元1102、生成单元1103、处理单元1104以及整合单元1105的具体执行过程，可参见对应图1的方法实施例内容，此处不再赘述。
本申请实施例提供的一种物体轨迹的生成装置中，生成单元基于多个轨迹片段之间的亲密度，生成轨迹片段的K最近邻亲密度图；处理单元针对轨迹片段的K最近邻亲密度图中的目标顶点，对目标顶点所连接的每一条边进行分类处理，得到目标顶点所连接的每一条边的分类结果；其中，分类结果用于表征每一条边上的两个顶点对应的轨迹片段是否属于同一个物体；整合单元基于目标顶点所连接的每一条边的分类结果，确定出属于同一个物体的轨迹片段。由此可知，利用目标顶点所连接的每一条边的分类结果，确定出属于同一个物体的轨迹片段，是将物体的轨迹查找问题转换为聚类问题，利用边的聚类来实现物体在所有摄像头下的完整轨迹的查找，避免现有技术进行轨迹查找时因只考虑各个轨迹片段中的物体的外观信息，无法准确地获得各个目标物体在所有摄像头下的完整轨迹的问题。
可选的，在本申请的另一实施例中，生成单元1103的一种实施方式，包括：
筛选子单元，用于针对每一个轨迹片段，按照亲密度大小筛选出K个与当前轨迹片段亲密度最大的轨迹片段；其中，K为预设的正整数。
生成子单元，用于针对每一个轨迹片段，将轨迹片段对应的顶点分别与筛选出的K个亲密度最大的轨迹片段对应的顶点相连，生成轨迹片段K最近邻亲密度图。
本实施例中，筛选子单元、生成子单元的具体执行过程，可参见上述对应的方法实施例内容，此处不再赘述。
可选的，在本申请的另一实施例中，处理单元1104的一种实施方式，包括：
第一调用子单元，用于基于K最近邻亲密度图，生成目标顶点的C阶子图；其中，C为预设的正整数；目标顶点的C阶子图包括：目标顶点、目标顶点的前C阶邻居、以及目标顶点、目标顶点的前C阶邻居在K最近邻亲密度图中所连接的边；C阶邻居包括：与目标顶点经过C条边可以连接到的所有顶点；并用于对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果。
本实施例中，第一调用子单元的具体执行过程，可参见上述对应的方法实施例内容，此处不再赘述。
可选的，在本申请的另一实施例中，第一调用子单元的一种实施方式，执行对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果时，包括：
处理子单元，用于对C阶子图中目标顶点的一阶邻居进行分类处理，得到C阶子图上目标顶点的一阶邻居的分类结果。
本实施例中，第二生成子单元、处理子单元的具体执行过程，可参见上述对应的方法实施例内容，此处不再赘述。
可选的，在本申请的另一实施例中，上述处理子单元的一种实施方式，包括：
第一获取子单元，用于获取C阶子图中所有顶点的外观特征向量并组成外观特征矩阵。
第一计算子单元，用于将目标顶点的外观特征向量与外观特征矩阵的每一行做差，得到C阶子图的外观差值特征矩阵。
第二调用子单元，用于调用外观图卷积子网络处理C阶子图的外观差值特征矩阵，得到外观嵌入矩阵。
第一分类单元，用于通过分类模型的全连接层对外观嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果。
本实施例中，第一获取子单元、第一计算子单元、第二调用子单元以及第一分类单元的具体执行过程，可参见对应图4的方法实施例内容，此处不再赘述。
可选的，在本申请的另一实施例中，上述处理子单元的一种实施方式，包括：
第二获取子单元，用于获取C阶子图中所有顶点的运动特征向量并组成运动特征矩阵。
第二计算子单元，用于将目标顶点的运动特征向量与运动特征矩阵的每一行做差，得到C阶子图的运动差值特征矩阵。
第三调用子单元，用于调用时空图卷积子网络处理C阶子图的运动差值特征矩阵，得到运动嵌入矩阵。
第二分类单元，用于通过分类模型的全连接层对运动嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果。
本实施例中，第二获取子单元、第二计算子单元、第三调用子单元以及第二分类单元的具体执行过程，可参见对应图6的方法实施例内容，此处不再赘述。
可选的，在本申请的另一实施例中，上述处理子单元的一种实施方式，包括：
第三获取子单元，用于获取C阶子图中所有顶点的外观特征向量并组成外观特征矩阵。
第三计算子单元，用于将目标顶点的外观特征向量与外观特征矩阵的每一行做差，得到C阶子图的外观差值特征矩阵。
第四获取子单元，用于获取C阶子图中所有顶点的运动特征向量并组成运动特征矩阵。
第四计算子单元，用于将目标顶点的运动特征向量与运动特征矩阵的每一行做差，得到C阶子图的运动差值特征矩阵。
第四调用子单元，用于调用外观图卷积子网络处理C阶子图的外观差值特征矩阵，得到外观嵌入矩阵。
第五调用子单元，用于调用时空图卷积子网络处理C阶子图的运动差值特征矩阵，得到运动嵌入矩阵。
第六调用子单元，用于调用融合图卷积子网络处理合并嵌入矩阵，得到融合特征嵌入矩阵；其中，合并嵌入矩阵为外观嵌入矩阵和运动嵌入矩阵的合并矩阵。
第三分类子单元，用于通过分类模型的全连接层对融合特征嵌入矩阵进行分类，得到C阶子图上目标顶点的一阶邻居的分类结果。
本实施例中，第三获取子单元、第三计算子单元、第四获取子单元、第四计算子单元、第四调用子单元、第五调用子单元、第六调用子单元以及第三分类子单元的具体执行过程，可参见对应图8的方法实施例内容，此处不再赘述。
可选的，在本申请的另一实施例中，整合单元1106的一种实施方式，包括：
确定子单元，用于根据每一条边的分类结果，确定出属于目标物体的运动轨迹的所有轨迹片段。
整合子单元，用于整合属于目标物体的运动轨迹的所有轨迹片段，得到目标物体的完整运动轨迹。
本实施例中，确定子单元以及整合子单元的具体执行过程，可参见对应图4的方法实施例内容，此处不再赘述。
本申请另一实施例还提供了一种电子设备，如图12所示，具体包括：
一个或多个处理器1201。
存储装置1202，其上存储有一个或多个程序。
当一个或多个程序被一个或多个处理器1201执行时，使得一个或多个处理器1201实现如上述实施例中任意一项方法。
本申请另一实施例还提供了计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如上述实施例中任意一项方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种物体轨迹的生成方法，其特征在于，包括：
基于多个轨迹片段之间的亲密度，生成轨迹片段的K最近邻亲密度图；其中，所述轨迹片段的K最近邻亲密度图中的每一个顶点唯一对应一个轨迹片段；每一个所述顶点与满足亲密度条件的顶点分别相连；
针对所述轨迹片段的K最近邻亲密度图中的目标顶点，对所述目标顶点所连接的每一条边进行分类处理，得到所述目标顶点所连接的每一条边的分类结果；其中，所述分类结果用于表征每一条边上的两个顶点对应的轨迹片段是否属于同一个物体；
基于所述目标顶点所连接的每一条边的分类结果，确定出属于同一个物体的轨迹片段。
2.根据权利要求1所述的方法，其特征在于，所述基于每两个轨迹片段之间的亲密度，生成轨迹片段的K最近邻亲密度图，包括：
针对每一个轨迹片段，按照亲密度大小筛选出前K个与所述轨迹片段亲密度最大的轨迹片段；其中，K为预设的正整数；
采用将每一个所述轨迹片段对应的顶点，分别与筛选出的K个亲密度最大的轨迹片段对应的顶点相连的方式处理所述多个轨迹片段，得到所述轨迹片段的K最近邻亲密度图。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述目标顶点所连接的每一条边进行分类处理，得到每一条边的分类结果，包括：
基于所述K最近邻亲密度图，生成所述目标顶点的C阶子图；其中，C为预设的正整数；所述目标顶点的C阶子图包括：所述目标顶点、所述目标顶点的前C阶邻居、以及所述目标顶点、所述目标顶点的前C阶邻居在所述K最近邻亲密度图中所连接的边；所述C阶邻居包括：与所述目标顶点经过C条边可以连接到的所有顶点；
对所述C阶子图中所述目标顶点的一阶邻居进行分类处理，得到所述C阶子图上所述目标顶点的一阶邻居的分类结果。
4.根据权利要求3所述的方法，其特征在于，分类模型的卷积层包括外观图卷积子网络；其中，所述对所述C阶子图中所述目标顶点的一阶邻居进行分类处理，得到所述C阶子图上所述目标顶点的一阶邻居的分类结果，包括：
获取所述C阶子图中所有顶点的外观特征向量并组成外观特征矩阵；
将所述目标顶点的外观特征向量与所述外观特征矩阵的每一行做差，得到所述C阶子图的外观差值特征矩阵；
调用所述外观图卷积子网络处理所述C阶子图的外观差值特征矩阵，得到外观嵌入矩阵；
通过所述分类模型的全连接层对所述外观嵌入矩阵进行分类，得到所述C阶子图上所述目标顶点的一阶邻居的分类结果；
或者，所述分类模型的卷积层包括时空图卷积子网络；其中，所述对所述C阶子图中所述目标顶点的一阶邻居进行分类处理，得到所述C阶子图上所述目标顶点的一阶邻居的分类结果，包括：
获取所述C阶子图中所有顶点的运动特征向量并组成运动特征矩阵；
将所述目标顶点的运动特征向量与所述运动特征矩阵的每一行做差，得到所述C阶子图的运动差值特征矩阵；
调用所述时空图卷积子网络处理所述C阶子图的运动差值特征矩阵，得到运动嵌入矩阵；
通过所述分类模型的全连接层对所述运动嵌入矩阵进行分类，得到所述C阶子图上所述目标顶点的一阶邻居的分类结果。
5.根据权利要求1所述的方法，其特征在于，所述轨迹片段之间的亲密度的计算方法，包括：
获取l个摄像头下的多个轨迹片段，其中，l为摄像头的数量；
计算得到每两个轨迹片段之间的亲密度。
6.根据权利要求3所述的方法，其特征在于，分类模型的卷积层包括外观图卷积子网络、时空图卷积子网络以及融合图卷积子网络；其中，所述对所述C阶子图中所述目标顶点的一阶邻居进行分类处理，得到所述C阶子图上所述目标顶点的一阶邻居的分类结果，包括：
获取所述C阶子图中所有顶点的外观特征向量并组成外观特征矩阵；
将所述目标顶点的外观特征向量与所述外观特征矩阵的每一行做差，得到所述C阶子图的外观差值特征矩阵；
获取所述C阶子图中所有顶点的运动特征向量并组成运动特征矩阵；
将所述目标顶点的运动特征向量与所述运动特征矩阵的每一行做差，得到所述C阶子图的运动差值特征矩阵；
调用所述外观图卷积子网络处理所述C阶子图的外观差值特征矩阵，得到外观嵌入矩阵；
调用所述时空图卷积子网络处理所述C阶子图的运动差值特征矩阵，得到运动嵌入矩阵；
调用所述融合图卷积子网络处理合并嵌入矩阵，得到融合特征嵌入矩阵；其中，所述合并嵌入矩阵为所述外观嵌入矩阵和所述运动嵌入矩阵的合并矩阵；
通过所述分类模型的全连接层对所述融合特征嵌入矩阵进行分类，得到所述C阶子图上所述目标顶点的一阶邻居的分类结果。
7.一种分类模型的构建方法，其特征在于，包括：
确定分类模型的原始模型，所述分类模型的原始模型包括：卷积层和全连接层；
获取样本数据，所述样本数据包括：样本轨迹片段的K最近邻亲密度图；
利用所述样本数据对所述分类模型的原始模型进行训练，直至训练后的分类模型的原始模型对样本数据的检测结果符合模型的收敛条件；其中，训练好的分类模型的卷积层用于对输入数据进行处理，得到嵌入矩阵，所述训练好的分类模型的全连接层用于对嵌入矩阵进行分类，得到分类结果，所述输入数据包括进行物体轨迹生成时所用测试数据的K最近邻亲密度图，所述分类结果用于确定属于同一物体的轨迹片段。
8.根据权利要求7所述的构建方法，其特征在于，所述样本轨迹片段的K最近邻亲密度图包括：所述样本轨迹片段的K最近邻亲密度图中顶点的C阶子图；
所述利用所述样本数据对所述分类模型的原始模型进行训练，包括：利用顶点的均方误差来训练所述分类模型的原始模型。
9.一种物体轨迹的生成装置，其特征在于，包括：
生成单元，用于基于多个轨迹片段之间的亲密度，生成轨迹片段K最近邻亲密度图；其中，所述轨迹片段K最近邻亲密度图中的每一个顶点唯一对应一个轨迹片段；每一个所述顶点与满足亲密度条件的顶点分别相连；
处理单元，用于针对所述轨迹片段K最近邻亲密度图中的目标顶点，对所述目标顶点所连接的每一条边进行分类处理，得到每一条边的分类结果；其中，所述分类结果用于表征每一条边上的两个顶点对应的轨迹片段是否属于同一个物体；
整合单元，用于基于所述每一条边的分类结果，确定出属于同一个物体的轨迹片段。
10.根据权利要求9所述的装置，其特征在于，所述处理单元，包括：
第一调用子单元，用于基于所述K最近邻亲密度图，生成所述目标顶点的C阶子图；其中，C为预设的正整数；所述目标顶点的C阶子图包括：所述目标顶点、所述目标顶点的前C阶邻居、以及所述目标顶点、所述目标顶点的前C阶邻居在所述K最近邻亲密度图中所连接的边；所述C阶邻居包括：与所述目标顶点经过C条边可以连接到的所有顶点；并用于对所述C阶子图中所述目标顶点的一阶邻居进行分类处理，得到所述C阶子图上所述目标顶点的一阶邻居的分类结果。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任意一项所述的方法。
12.一种计算机存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的方法。
CN202210053756.7A 2022-01-18 2022-01-18 物体轨迹的生成方法、相关装置和分类模型的构建方法 Active CN114092524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210053756.7A CN114092524B (zh) 2022-01-18 2022-01-18 物体轨迹的生成方法、相关装置和分类模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210053756.7A CN114092524B (zh) 2022-01-18 2022-01-18 物体轨迹的生成方法、相关装置和分类模型的构建方法

Publications (2)

Publication Number Publication Date
CN114092524A true CN114092524A (zh) 2022-02-25
CN114092524B CN114092524B (zh) 2022-06-28

Family

ID=80308753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210053756.7A Active CN114092524B (zh) 2022-01-18 2022-01-18 物体轨迹的生成方法、相关装置和分类模型的构建方法

Country Status (1)

Country Link
CN (1) CN114092524B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778647A (zh) * 2014-02-14 2014-05-07 中国科学院自动化研究所 一种基于层次超图优化的多目标跟踪方法
CN109447121A (zh) * 2018-09-27 2019-03-08 清华大学 一种视觉传感器网络多目标跟踪方法、装置及系统
CN111460881A (zh) * 2020-01-16 2020-07-28 华中科技大学 基于近邻判别的交通标志对抗样本检测方法和分类装置
CN112465869A (zh) * 2020-11-30 2021-03-09 杭州海康威视数字技术股份有限公司 一种轨迹关联方法、装置、电子设备及存储介质
CN113536862A (zh) * 2020-04-21 2021-10-22 北京爱笔科技有限公司 一种聚类方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778647A (zh) * 2014-02-14 2014-05-07 中国科学院自动化研究所 一种基于层次超图优化的多目标跟踪方法
CN109447121A (zh) * 2018-09-27 2019-03-08 清华大学 一种视觉传感器网络多目标跟踪方法、装置及系统
CN111460881A (zh) * 2020-01-16 2020-07-28 华中科技大学 基于近邻判别的交通标志对抗样本检测方法和分类装置
CN113536862A (zh) * 2020-04-21 2021-10-22 北京爱笔科技有限公司 一种聚类方法、装置、设备及存储介质
CN112465869A (zh) * 2020-11-30 2021-03-09 杭州海康威视数字技术股份有限公司 一种轨迹关联方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAIRONG LIU 等: "Dense Neighborhoods on Affinity Graph", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *

Also Published As

Publication number Publication date
CN114092524B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
Zou et al. Robust lane detection from continuous driving scenes using deep neural networks
Wang et al. Vehicle type recognition in surveillance images from labeled web-nature data using deep transfer learning
CN109145766B (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN107808111B (zh) 用于行人检测和姿态估计的方法和装置
CN109815843B (zh) 图像处理方法及相关产品
Li et al. Adaptive deep convolutional neural networks for scene-specific object detection
US20140253732A1 (en) Topology determination for non-overlapping camera network
CN112489092B (zh) 细粒度工业运动模态分类方法、存储介质、设备和装置
CN110383291B (zh) 理解机器学习决策的系统、方法、计算机可读介质
US20230095533A1 (en) Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling
CN112132130B (zh) 一种面向全场景的实时性车牌检测方法及系统
JP2021068056A (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN116092183A (zh) 手势识别方法及装置、电子设备、存储介质
Ouyang et al. PV-EncoNet: Fast object detection based on colored point cloud
Mi et al. Research on a fast human-detection algorithm for unmanned surveillance area in bulk ports
CN110969173A (zh) 目标分类方法及装置
CN114092524B (zh) 物体轨迹的生成方法、相关装置和分类模型的构建方法
CN113076963B (zh) 一种图像识别方法、装置和计算机可读存储介质
Velesaca et al. Off-the-shelf based system for urban environment video analytics
CN114972434A (zh) 一种级联检测和匹配的端到端多目标跟踪系统
CN114821188A (zh) 图像处理方法、场景图生成模型的训练方法以及电子设备
Hu et al. Discriminative Context-Aware Network for Target Extraction in Remote Sensing Imagery
CN112686155A (zh) 图像识别方法、装置、计算机可读存储介质及处理器
Rana et al. Selection of object detections using overlap map predictions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant