CN112215423B - 一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统 - Google Patents

Abstract

本发明公开了一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统，属于计算机视觉领域；本发明的方法针对行人交互与轨迹趋势对行人未来轨迹预测的影响，对行人交互和轨迹趋势进行建模，使用自注意力机制构建交互分数，并结合非对称卷积网络构建稀疏交互图，寻找当前人的真正交互对象与对当前人未来轨迹有影响的轨迹趋势；使用一种新的归一化函数来保证交互的稀疏性；使用图卷积神经网络提取特征，最后使用时间卷积网络来预测未来轨迹的分布函数；本发明可以提高轨迹预测的准确率。

Description

一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统

技术领域

本发明属于计算机视觉技术领域，特别涉及一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统。

背景技术

轨迹预测技术是无人驾驶技术的重要组成部分，对无人驾驶的路径规划有很大的影响。人与人之间的交互是影响轨迹预测的重要因素，当场景中一个人影响当前人的轨迹时，这个人与当前人产生交互。

目前，现有的轨迹预测技术普遍存在以下几个问题：

(1)大多数方法聚集于时间点上的人与人交互问题，忽视了轨迹趋势(若干时间顺序轨迹点形成的走向趋势)对轨迹预测的影响；

(2)现有方法考虑人与人之间的交互是基于全体交互或者基于距离交互，而在现实问题中，当前人是由很大可能与远距离的人进行有交互关系的；另外，在密集场景(人数较多)中，当前人与其他所有人交互的可能性也很小；

(3)现有方法在考虑人与人交互时，交互是双向对等的，即当行人A与行人B产生交互时，A对B的交互是等于B对A的交互的；而在现实问题中，这一种情况也不能满足，即A对B的轨迹产生的影响有很高的概率不等于B对A的轨迹产生的影响。

综上，现有方法的轨迹预测准确率较低，亟需一种新的基于趋势引导与稀疏交互的行人轨迹预测方法及系统。

发明内容

本发明的目的在于提供一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统，以解决上述存在的一个或多个技术问题。本发明提出的方法及系统，能够提高轨迹预测的准确率。

为达到上述目的，本发明采用以下技术方案：

本发明的一种基于趋势引导与稀疏交互的行人轨迹预测方法，包括以下步骤：

步骤1，采集获取观测到的行人轨迹点；以行人轨迹点作为图的节点，分别获取空间行人图和时间轨迹图；将空间行人图的邻接矩阵初始化为全1矩阵，获得空间行人完全图；将时间轨迹图的邻接矩阵初始化为上三角全1矩阵，获得时间轨迹完全图；

步骤2，基于步骤1获得的空间行人完全图和时间轨迹完全图，获得空间行人稀疏图和时间轨迹稀疏图；基于空间行人稀疏图和时间轨迹稀疏图，获得空间行人稀疏图的权重邻接矩阵和时间轨迹稀疏图的权重邻接矩阵；

步骤3，将空间行人稀疏图的权重邻接矩阵进行归一化处理，获得空间行人稀疏图的归一化权重邻接矩阵；基于空间行人稀疏图的归一化权重邻接矩阵，获得归一化后的空间行人稀疏图；将时间轨迹稀疏图的权重邻接矩阵进行归一化处理，获得时间轨迹稀疏图的归一化权重邻接矩阵；基于时间轨迹稀疏图的归一化权重邻接矩阵，获得归一化后的时间轨迹稀疏图；

步骤4，基于步骤3获得的归一化后的空间行人稀疏图和时间轨迹稀疏图，构建获得空间时间行人稀疏图与时间空间轨迹稀疏图；

步骤5，基于步骤4获得的空间时间行人稀疏图与时间空间轨迹稀疏图，提取获得稀疏交互特征和趋势特征；

步骤6，基于步骤5获得的稀疏交互特征和趋势特征，预测获得行人的未来轨迹分布，完成行人轨迹预测。

本发明的进一步改进在于，步骤1中，所述以行人轨迹点作为图的节点，分别获取空间行人图和时间轨迹图具体包括：

1.1)以行人轨迹点作为图的节点，分别在每个时间点上建立空间行人图；通过空间行人图的邻接矩阵来表示行人间的交互情况；

1.2)以行人轨迹点作为图的节点，对每个行人的轨迹按照时间顺序建立时间轨迹图；通过时间轨迹图的邻接矩阵表示轨迹点与轨迹点之间的关系，轨迹点与轨迹点之间的关系看作轨迹的趋势。

本发明的进一步改进在于，步骤2具体包括：

2.1)对空间行人完全图使用自注意力机制得到任意两个节点之间的行人交互分数矩阵；对时间轨迹完全图使用自注意力机制得到任意两个节点之间的轨迹点交互分数矩阵；

2.2)对行人交互分数矩阵和轨迹点交互分数矩阵的行与列使用非对称卷积网络提取获得空间行人图和时间轨迹图的深层次的交互特征；

2.3)对获得的空间行人图和时间轨迹图的深层次的交互特征使用逻辑回归并设置阈值来进行分类，得到0/1矩阵来更新空间行人完全图和时间轨迹完全图得到空间行人稀疏图和时间轨迹稀疏图；其中，0表示节点不连接，1表示节点连接；

2.4)对获得的空间行人图和时间轨迹图的深层次的交互特征使用逻辑回归得到空间行人完全图和时间轨迹完全图的权重邻接矩阵；

2.5)将步骤2.3)得到的0/1矩阵与步骤2.4)得到的权重矩阵进行元素间的矩阵相乘，得到空间行人稀疏图和时间轨迹稀疏图的权重邻接矩阵。

本发明的进一步改进在于，步骤3中的归一化处理为，使用归一化函数Zero-Softmax进行归一化；

归一化函数Zero-Softmax表示为，

式中，x为输入向量，∈为一个接近于0的树，用于防止分母为0；D是输入向量x的元素个数。

本发明的进一步改进在于，步骤4中，

构建空间时间行人稀疏图的步骤包括：将空间行人稀疏图按照时间顺序拼接起来得到空间时间行人稀疏图；将空间行人稀疏图的权重邻接矩阵按照时间顺序拼接起来得到空间时间行人稀疏图的权重邻接矩阵；

构建时间空间轨迹稀疏图的步骤包括：将时间轨迹稀疏图拼接起来得到时间空间轨迹稀疏图；将时间轨迹稀疏图的权重邻接矩阵拼接起来得到时间空间轨迹稀疏图的权重邻接矩阵。

本发明的进一步改进在于，步骤5具体包括：根据构建的空间时间行人稀疏图及其权重邻接矩阵，使用图卷积神经来提取稀疏交互特征；在提取的稀疏交互特征的基础上，结合时间空间轨迹稀疏图的权重邻接矩阵来提取获得趋势特征。

本发明的进一步改进在于，步骤6具体包括：

将步骤5提取输出的特征送入时间卷积网络生成服从二元高斯分布的未来轨迹分布，完成行人轨迹预测；

其中，时间卷积网络为：将图卷积神经网络的最终输出特征的时间维度当作卷积网络的通道，然后使用卷积神经网络将其扩大至需要预测的时间维度。

本发明的进一步改进在于，步骤2中，

步骤2.2)的非对称卷积网络表示为，

式中，K_(1×S)是行卷积核，卷积核大小为(1×S)，K_(S×1)是列卷积核，卷积核大小为(S×1)，F^(l-1)是l-1层的特征图，F⁰＝R_spa或者R_tmp，

为行卷积核得到的特征图，/>

为列卷积核得到的特征图，δ为非线性激活函数；R_spa为行人交互分数矩阵，R_tmp为轨迹点交互分数矩阵；

步骤2.3)的0/1矩阵表示为，

M＝II{sigomoid(F)≥ζ}，

式中，ζ为设置的阈值；F为非对称卷积网络最终输出特征；II为指示函数，当满足不等式时输出1，当不满足时输出0；M为0/1矩阵。

本发明的进一步改进在于，步骤5中，提取的稀疏交互特征和趋势特征表示为：

式中，

和/>

为训练参数，H^(l-1)为基于空间时间行人稀疏图图卷积的第l-1层交互特征，H⁽⁰⁾为G_ped，G_ped为空间时间行人稀疏图，A_ped为归一化后的空间时间行人稀疏图的权重邻接矩阵，A_tmp为归一化后的时间空间轨迹稀疏图的权重邻接矩阵，δ为非线性激活函数,/>

为第图卷积神经网络的第l层趋势特征。

本发明的一种基于趋势引导与稀疏交互的行人轨迹预测系统，包括：

完全图获取模块，用于采集获取待预测的行人轨迹点；以行人轨迹点作为图的节点，分别获取空间行人图和时间轨迹图；将空间行人图的邻接矩阵初始化为全1矩阵，获得空间行人完全图；将时间轨迹图的邻接矩阵初始化为上三角全1矩阵，获得时间轨迹完全图；

稀疏图及权重邻接矩阵获取模块，用于根据获得的空间行人完全图和时间轨迹完全图，获得空间行人稀疏图和时间轨迹稀疏图；基于空间行人稀疏图和时间轨迹稀疏图，获得空间行人稀疏图的权重邻接矩阵和时间轨迹稀疏图的权重邻接矩阵；

归一化处理模块，用于将空间行人稀疏图的权重邻接矩阵进行归一化处理，获得空间行人稀疏图的归一化权重邻接矩阵；基于空间行人稀疏图的归一化权重邻接矩阵，获得归一化后的空间行人稀疏图；将时间轨迹稀疏图的权重邻接矩阵进行归一化处理，获得时间轨迹稀疏图的归一化权重邻接矩阵；基于时间轨迹稀疏图的归一化权重邻接矩阵，获得归一化后的时间轨迹稀疏图；

空间时间行人稀疏图与时间空间轨迹稀疏图获取模块，用于根据获得的归一化后的空间行人稀疏图和时间轨迹稀疏图，构建获得空间时间行人稀疏图与时间空间轨迹稀疏图；

特征提取模块，用于根据获得的空间时间行人稀疏图与时间空间轨迹稀疏图，提取获得稀疏交互特征和趋势特征；

轨迹分布获取模块，用于根据获得的稀疏交互特征和趋势特征，预测获得行人的未来轨迹分布，完成行人轨迹预测。

与现有技术相比，本发明具有以下有益效果：

本发明针对现有方法存在的全体交互、距离交互、双向对等交互、缺乏趋势建模等问题，提出了基于趋势引导与稀疏交互的行人轨迹预测算法，有效构建了人与人之间的稀疏单向交互，针对观测轨迹趋势对未来预测轨迹的影响，对轨迹的趋势进行建模，可以提高轨迹预测的准确率。具体的，本发明的方法从轨迹场景的两个方面分别构建人与人之间的交互以及轨迹的趋势，在每个时间点上构建空间行人交互图来对应人与人之间的交互，在每个人的观测轨迹上构建时间轨迹图来对应轨迹的趋势，，对空间行人图和时间轨迹图分别使用注意力机制来生成低级交互特征，然后分别使用非对称卷积网络对两种图的低级交互特征提取深层次交互特征，分别对两种图的深层次交互特征使用逻辑回归并设置阈值来生成稀疏图，使用逻辑回归来生成稀疏图的权重邻接矩阵。在稀疏图上使用图卷积网络进行特征提取，最终使用一个时间卷积网络来生成预测轨迹的分布。本发明的方法与现有方法进行对比实验分析，在ETH和UCY两个公开数据集上验证算法的准确性和有效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种基于趋势引导与稀疏交互的行人轨迹预测方法的流程示意图；

图2是本发明实施例的方法在ETH和UCY数据集的世界坐标系下的轨迹预测结果示意图；

图3是本发明实施例的方法在ETH和UCY数据集的真实场景下的轨迹预测结果示意图；

图4是本发明实施例的方法稀疏交互示意图。

具体实施方式

为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。

请参阅图1，本发明实施例的一种基于趋势引导与稀疏交互的行人轨迹预测方法，包括以下步骤：

步骤1：空间行人图和时间轨迹图表示：1)以行人轨迹点作为图的节点，分别在每个时间点上建立空间行人图，空间行人图的邻接矩阵来表示行人间的交互情况；2)以行人轨迹点作为图的节点，对每个行人的轨迹按照时间顺序建立时间轨迹图，时间轨迹的图邻接矩阵来表示轨迹点与轨迹点之间的关系，使用轨迹点与轨迹点之间的关系看作轨迹的趋势；3)将空间行人图的邻接矩阵初始化为全1矩阵，并且不限制邻接矩阵为对称的。将时间轨迹图的邻接矩阵初始化为上三角全1矩阵，即每个轨迹点只与其后面时间步的轨迹点存在关系。

步骤2：根据构建的完全图来学习稀疏图：1)对空间行人图使用自注意力机制得到任意两个节点之间的行人交互分数矩阵R_spa，对时间轨迹图使用自注意力机制得到任意两个节点之间的轨迹点交互分数矩阵R_tmp；2)分别对分数的矩阵的行与列使用7层非对称卷积网络来提取空间行人图和时间轨迹图的深层次的交互特征；3)对提取的空间行人图和时间轨迹图的深层次特征使用逻辑回归并设置阈值来进行分类，得到0/1矩阵来更新完全图得到稀疏图。0表示节点不连接，1表示节点连接。4)对提取的空间行人图和时间轨迹图的深层次特征使用新的逻辑回归得到完全图的权重邻接矩阵。5)对得到的0/1矩阵和权重矩阵进行元素间的矩阵相乘，得到稀疏图的权重邻接矩阵。并且对时间轨迹稀疏图的权重矩阵的下三角部分(除去对角线部分)置于0。

步骤3：权重邻接矩阵归一化：为了保持稀疏图的稀疏性，即让非连接节点在归一化后仍旧保持非连接性，我们使用一种新的归一化函数Zero-Softmax来对得到的稀疏图的权重邻接矩阵来进行归一化。

步骤4：构建空间时间行人稀疏图与时间空间轨迹稀疏图：1)空间时间行人稀疏图构建：将步骤2得到的空间行人稀疏图按照时间顺序拼接起来得到空间时间行人稀疏图G_ped。同样将步骤3得到的空间行人稀疏图的权重邻接矩阵按照时间顺序拼接起来得到空间时间行人稀疏图的权重邻接矩阵A_ped；2)时间空间轨迹稀疏图构建：将步骤2得到的时间轨迹稀疏图拼接起来得到时间空间轨迹稀疏图G_tra。同样将步骤3得到的时间轨迹稀疏图的权重邻接矩阵拼接起来得到时间空间轨迹稀疏图的权重邻接矩阵A_tra；

步骤5：提取稀疏交互特征和趋势特征：1)交互特征：根据构建的空间时间行人稀疏图及其权重邻接矩阵，使用图卷积神经来提取稀疏交互特征；2)在1)中提取的稀疏交互特征的基础上，结合步骤4中时间空间轨迹稀疏图的权重邻接矩阵来提取趋势特征。

步骤6：预测未来轨迹分布：将步骤5中最终输出的特征送入5层时间卷积网络来生成服从二元高斯分布的未来轨迹分布。

本发明实施例的方法的步骤1中，空间行人图G_spa表示行人与行人之间的交互，每个行人的轨迹坐标代表图的节点，节点与节点之间是双向连接的，即空间行人图为有向图，图的边表示行人与行人之间的交互。起初将G_spa的连接情况即其邻接矩阵初始化为全1矩阵，即G_spa为有向完全图，任意两个行人之间存在交互。时间轨迹图G_tmp表示轨迹趋势,一条观测轨迹的某些遵循时间顺序的轨迹点可以表示为该条轨迹特定的趋势。G_tmp仍然为有向图，由于轨迹点有先后顺序，G_tmp的连接情况即其邻接矩阵初始化上三角全1矩阵。

本发明实施例的方法中，步骤2的步骤2)中，非对称卷积网络如下：

式中，K_(1×S)是行卷积核，卷积核大小为(1×S)，K_(S×1)是列卷积核，卷积核大小为(S×1)，F^(l-1)是l-1层的特征图，F⁰＝R_spa或者R_tmp，

为行卷积核得到的特征图，/>

为列卷积核得到的特征图，δ为非线性激活函数。

本发明实施例的方法中，步骤2的步骤3)中，0/1矩阵如下：

M＝II{sigomoid(F)≥ζ}，

其中，ζ为手动设置的阈值，F为非对称卷积网络最终输出特征，II为指示函数，当满足不等式时输出1，当不满足时输出0，M为0/1矩阵。

本发明实施例的方法，步骤3中，新的归一化函数Zero-Softmax如下：

其中，x输入向量，∈为一个接近于0的树，用来防止分母为0，D是输向量的元素个数。

本发明实施例的方法，步骤5中，提取稀疏交互特征和趋势特征如下：

其中，

和/>

为训练参数，H^(l-1)为基于空间时间行人稀疏图图卷积的第l-1层交互特征，H⁽⁰⁾为G_ped，A_ped为归一化后的空间时间行人稀疏图的权重邻接矩阵，A_tmp为归一化后的时间空间轨迹稀疏图的权重邻接矩阵，δ为非线性激活函数,/>

为第图卷积神经网络的第l层趋势特征。

本发明实施例的方法，步骤6中，时间卷积网络为：将图卷积神经网络的最终输出特征的时间维度当作卷积网络的通道，然后使用经过网络神经网络将其扩大至预测时间维度。

本发明实施例方法的对比验证，包括：

表1为在ETH和UCY数据集下对比方法的实验结果；其中，ETH和HOTEL分别包括一些子数据集。ETH包括ETH和HOTEL数据集，UCY包括UNIV、ZARA1和ZARA2数据集。这里对五个数据子集，使用留一法进行实验，该实验观测轨迹3.2秒的轨迹，预测接下来的4.2秒轨迹。

表1.在ETH和UCY数据集下对比方法的实验结果

本发明实施例的实验使用ADE/FDE作为评测指标。从预测的分布函数中采样20个样本轨迹，ADE为平均位移误差，即20个样本轨迹与真实轨迹在每个时间点上的平均误差，FDE为最终位移误差，即20个样本轨迹与真实轨迹在最后一个时间点上的平均误差。从表1可以看出，除了在HOTEL上的ADE指标外，本发明方法在ADE和FDE指标上均达到了最优。在指标的平均上，本发明方法也达到了最优。

请参阅图2，图2是本发明方法在ETH和UCY数据集的世界坐标系下的预测分布结果，可以看出，本发明方法与Social-GCNN和SGAN方法相比，预测的分布更加贴近真实轨迹的趋势，并且本发明方法的预测分布结果很少存在预测重叠部分，可以更好的避免行人的碰撞现象，更加符合真实轨迹场景下的行人决策。

请参阅图3，图3是本发明方法在ETH和UCY数据集下的真实场景的预测结果，该预测结果采样自预测的分布函数，可以看出该发明方法可以学习到了真实轨迹场景下行人为躲避碰撞而发生的行为。第一列为真实未来轨迹，第二列为采样20个样本中最好的预测结果，第三列和第四列展示了为了躲避碰撞而发生的改变方向和速度的行为。

请参阅图4，图4是本发明方法在ETH和UCY数据集的真实场景下的交互情况，可以看出，本发明方法较好的学习到真实影响行人的交互对象，而对行人轨迹没有影响的行人，本发明方法并没有产生交互。A，B，C为真实行人交互场景，白底图为本发明方法的交互建模，被连接节点为当前人的交互对象。

本发明实施例的一种基于趋势引导与稀疏交互的行人轨迹预测系统，包括：

完全图获取模块，用于采集获取待预测的行人轨迹点；以行人轨迹点作为图的节点，分别获取空间行人图和时间轨迹图；将空间行人图的邻接矩阵初始化为全1矩阵，获得空间行人完全图；将时间轨迹图的邻接矩阵初始化为上三角全1矩阵，获得时间轨迹完全图；

稀疏图及权重邻接矩阵获取模块，用于根据获得的空间行人完全图和时间轨迹完全图，获得空间行人稀疏图和时间轨迹稀疏图；基于空间行人稀疏图和时间轨迹稀疏图，获得空间行人稀疏图的权重邻接矩阵和时间轨迹稀疏图的权重邻接矩阵；

归一化处理模块，用于将空间行人稀疏图的权重邻接矩阵进行归一化处理，获得空间行人稀疏图的归一化权重邻接矩阵；基于空间行人稀疏图的归一化权重邻接矩阵，获得归一化后的空间行人稀疏图；将时间轨迹稀疏图的权重邻接矩阵进行归一化处理，获得时间轨迹稀疏图的归一化权重邻接矩阵；基于时间轨迹稀疏图的归一化权重邻接矩阵，获得归一化后的时间轨迹稀疏图；

空间时间行人稀疏图与时间空间轨迹稀疏图获取模块，用于根据获得的归一化后的空间行人稀疏图和时间轨迹稀疏图，构建获得空间时间行人稀疏图与时间空间轨迹稀疏图；

特征提取模块，用于根据获得的空间时间行人稀疏图与时间空间轨迹稀疏图，提取获得稀疏交互特征和趋势特征；

轨迹分布获取模块，用于根据获得的稀疏交互特征和趋势特征，预测获得行人的未来轨迹分布，完成行人轨迹预测。

综上，本发明实施例公开了一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统，属于计算机视觉领域；本发明针对行人交互与轨迹趋势对行人未来轨迹预测的影响，对行人交互和轨迹趋势进行建模，使用自注意力机制构建交互分数，并结合非对称卷积网络构建稀疏交互图，寻找当前人的真正交互对象与对当前人未来轨迹有影响的轨迹趋势；使用一种新的归一化函数来保证交互的稀疏性；使用图卷积神经网络提取特征，最后使用时间卷积网络来预测未来轨迹的分布函数。本发明针对现有方法存在的全体交互、距离交互、双向对等交互、缺乏趋势建模等问题，提出了基于趋势引导与稀疏交互的行人轨迹预测算法，有效构建了人与人之间的稀疏单向交互，针对观测轨迹趋势对未来预测轨迹的影响，对轨迹的趋势进行建模，可以提高轨迹预测的准确率。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种基于趋势引导与稀疏交互的行人轨迹预测方法，其特征在于，包括以下步骤：

步骤1，采集获取观测到的行人轨迹点；以行人轨迹点作为图的节点，分别获取空间行人图和时间轨迹图；将空间行人图的邻接矩阵初始化为全1矩阵，获得空间行人完全图；将时间轨迹图的邻接矩阵初始化为上三角全1矩阵，获得时间轨迹完全图；

步骤2，基于步骤1获得的空间行人完全图和时间轨迹完全图，获得空间行人稀疏图和时间轨迹稀疏图；基于空间行人稀疏图和时间轨迹稀疏图，获得空间行人稀疏图的权重邻接矩阵和时间轨迹稀疏图的权重邻接矩阵；

步骤3，将空间行人稀疏图的权重邻接矩阵进行归一化处理，获得空间行人稀疏图的归一化权重邻接矩阵；基于空间行人稀疏图的归一化权重邻接矩阵，获得归一化后的空间行人稀疏图；将时间轨迹稀疏图的权重邻接矩阵进行归一化处理，获得时间轨迹稀疏图的归一化权重邻接矩阵；基于时间轨迹稀疏图的归一化权重邻接矩阵，获得归一化后的时间轨迹稀疏图；

步骤4，基于步骤3获得的归一化后的空间行人稀疏图和时间轨迹稀疏图，构建获得空间时间行人稀疏图与时间空间轨迹稀疏图；

步骤5，基于步骤4获得的空间时间行人稀疏图与时间空间轨迹稀疏图，提取获得稀疏交互特征和趋势特征；

步骤6，基于步骤5获得的稀疏交互特征和趋势特征，预测获得行人的未来轨迹分布，完成行人轨迹预测。

2.根据权利要求1所述的一种基于趋势引导与稀疏交互的行人轨迹预测方法，其特征在于，步骤1中，所述以行人轨迹点作为图的节点，分别获取空间行人图和时间轨迹图具体包括：

1.1)以行人轨迹点作为图的节点，分别在每个时间点上建立空间行人图；通过空间行人图的邻接矩阵来表示行人间的交互情况；

1.2)以行人轨迹点作为图的节点，对每个行人的轨迹按照时间顺序建立时间轨迹图；通过时间轨迹图的邻接矩阵表示轨迹点与轨迹点之间的关系，轨迹点与轨迹点之间的关系看作轨迹的趋势。

3.根据权利要求1所述的一种基于趋势引导与稀疏交互的行人轨迹预测方法，其特征在于，步骤2具体包括：

2.1)对空间行人完全图使用自注意力机制得到任意两个节点之间的行人交互分数矩阵；对时间轨迹完全图使用自注意力机制得到任意两个节点之间的轨迹点交互分数矩阵；

2.2)对行人交互分数矩阵和轨迹点交互分数矩阵的行与列使用非对称卷积网络提取获得空间行人图和时间轨迹图的深层次的交互特征；

2.3)对获得的空间行人图和时间轨迹图的深层次的交互特征使用逻辑回归并设置阈值来进行分类，得到0/1矩阵来更新空间行人完全图和时间轨迹完全图得到空间行人稀疏图和时间轨迹稀疏图；其中，0表示节点不连接，1表示节点连接；

2.4)对获得的空间行人图和时间轨迹图的深层次的交互特征使用逻辑回归得到空间行人完全图和时间轨迹完全图的权重邻接矩阵；

2.5)将步骤2.3)得到的0/1矩阵与步骤2.4)得到的权重矩阵进行元素间的矩阵相乘，得到空间行人稀疏图和时间轨迹稀疏图的权重邻接矩阵。

4.根据权利要求1所述的一种基于趋势引导与稀疏交互的行人轨迹预测方法，其特征在于，步骤3中的归一化处理为，使用归一化函数Zero-Softmax进行归一化；

归一化函数Zero-Softmax表示为，

式中，x为输入向量，ε为一个接近于0的数，用于防止分母为0；D是输入向量x的元素个数。

5.根据权利要求1所述的一种基于趋势引导与稀疏交互的行人轨迹预测方法，其特征在于，步骤4中，

构建空间时间行人稀疏图的步骤包括：将空间行人稀疏图按照时间顺序拼接起来得到空间时间行人稀疏图；将空间行人稀疏图的权重邻接矩阵按照时间顺序拼接起来得到空间时间行人稀疏图的权重邻接矩阵；

构建时间空间轨迹稀疏图的步骤包括：将时间轨迹稀疏图拼接起来得到时间空间轨迹稀疏图；将时间轨迹稀疏图的权重邻接矩阵拼接起来得到时间空间轨迹稀疏图的权重邻接矩阵。

6.根据权利要求1所述的一种基于趋势引导与稀疏交互的行人轨迹预测方法，其特征在于，步骤5具体包括：根据构建的空间时间行人稀疏图及其权重邻接矩阵，使用图卷积神经来提取稀疏交互特征；在提取的稀疏交互特征的基础上，结合时间空间轨迹稀疏图的权重邻接矩阵来提取获得趋势特征。

7.根据权利要求1所述的一种基于趋势引导与稀疏交互的行人轨迹预测方法，其特征在于，步骤6具体包括：

将步骤5提取输出的特征送入时间卷积网络生成服从二元高斯分布的未来轨迹分布，完成行人轨迹预测；

其中，时间卷积网络为：将图卷积神经网络的最终输出特征的时间维度当作卷积网络的通道，然后使用卷积神经网络将其扩大至需要预测的时间维度。

8.根据权利要求3所述的一种基于趋势引导与稀疏交互的行人轨迹预测方法，其特征在于，步骤2中，

步骤2.2)的非对称卷积网络表示为，

式中，K_(1×S)是行卷积核，卷积核大小为1×S，K_(S×1)是列卷积核，卷积核大小为S×1，F^{(l -1)}是l-1层的特征图，F⁰＝R_spa或者R_tmp，

为行卷积核得到的特征图，/>

为列卷积核得到的特征图，δ为非线性激活函数；R_spa为行人交互分数矩阵，R_tmp为轨迹点交互分数矩阵；

步骤2.3)的0/1矩阵表示为，

式中，ζ为设置的阈值；F为非对称卷积网络最终输出特征；

为指示函数，当满足不等式时输出1，当不满足时输出0；M为0/1矩阵。

9.根据权利要求3所述的一种基于趋势引导与稀疏交互的行人轨迹预测方法，其特征在于，步骤5中，提取的稀疏交互特征和趋势特征表示为：

式中，

和/>

为训练参数，/>

为基于空间时间行人稀疏图图卷积神经网络的第l-1层交互特征，H⁽⁰⁾为G_ped，G_ped为空间时间行人稀疏图，A_ped为归一化后的空间时间行人稀疏图的权重邻接矩阵，A_tmp为归一化后的时间空间轨迹稀疏图的权重邻接矩阵，δ为非线性激活函数，/>

为基于空间时间行人稀疏图图卷积神经网络的第l层趋势特征。

10.一种基于趋势引导与稀疏交互的行人轨迹预测系统，其特征在于，包括：

完全图获取模块，用于采集获取待预测的行人轨迹点；以行人轨迹点作为图的节点，分别获取空间行人图和时间轨迹图；将空间行人图的邻接矩阵初始化为全1矩阵，获得空间行人完全图；将时间轨迹图的邻接矩阵初始化为上三角全1矩阵，获得时间轨迹完全图；

稀疏图及权重邻接矩阵获取模块，用于根据获得的空间行人完全图和时间轨迹完全图，获得空间行人稀疏图和时间轨迹稀疏图；基于空间行人稀疏图和时间轨迹稀疏图，获得空间行人稀疏图的权重邻接矩阵和时间轨迹稀疏图的权重邻接矩阵；

归一化处理模块，用于将空间行人稀疏图的权重邻接矩阵进行归一化处理，获得空间行人稀疏图的归一化权重邻接矩阵；基于空间行人稀疏图的归一化权重邻接矩阵，获得归一化后的空间行人稀疏图；将时间轨迹稀疏图的权重邻接矩阵进行归一化处理，获得时间轨迹稀疏图的归一化权重邻接矩阵；基于时间轨迹稀疏图的归一化权重邻接矩阵，获得归一化后的时间轨迹稀疏图；

空间时间行人稀疏图与时间空间轨迹稀疏图获取模块，用于根据获得的归一化后的空间行人稀疏图和时间轨迹稀疏图，构建获得空间时间行人稀疏图与时间空间轨迹稀疏图；

特征提取模块，用于根据获得的空间时间行人稀疏图与时间空间轨迹稀疏图，提取获得稀疏交互特征和趋势特征；

轨迹分布获取模块，用于根据获得的稀疏交互特征和趋势特征，预测获得行人的未来轨迹分布，完成行人轨迹预测。

Images