CN115690160A - 一种低帧率视频行人轨迹预测方法与系统 - Google Patents

一种低帧率视频行人轨迹预测方法与系统 Download PDF

Info

Publication number
CN115690160A
CN115690160A CN202211433705.3A CN202211433705A CN115690160A CN 115690160 A CN115690160 A CN 115690160A CN 202211433705 A CN202211433705 A CN 202211433705A CN 115690160 A CN115690160 A CN 115690160A
Authority
CN
China
Prior art keywords
pedestrian
frame
information
video
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211433705.3A
Other languages
English (en)
Other versions
CN115690160B (zh
Inventor
李伟湋
路玉卿
钱薇
高培雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202211433705.3A priority Critical patent/CN115690160B/zh
Publication of CN115690160A publication Critical patent/CN115690160A/zh
Application granted granted Critical
Publication of CN115690160B publication Critical patent/CN115690160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种低帧率视频行人轨迹预测方法与系统。该方法包括：获取视频数据集，并进行预处理；统计每帧图像与该帧图像之后数帧图像之间的行人运动方向分布情况；以相邻的两帧为目标，分别提取视频内容特征信息和轨迹点信息，并与运动方向分布信息进行拼接；使用基于MLP的预测模型来输出相邻两帧之间的缺失帧的信息，并补充行人的观测轨迹信息；基于时空亲和力度量计算目标行人受临近行人的交互影响；结合目标行人轨迹点信息以及受邻近行人的交互影响，使用LSTM解码器来输出预测的行人轨迹。本发明考虑了行人的运动方向分布情况，并补全视频中的缺失帧信息，进而使得模型在处理低帧率视频时能够获得更精确的预测结果。

Description

一种低帧率视频行人轨迹预测方法与系统
技术领域
本发明涉及行人轨迹预测领域，具体是一种处理低帧率视频数据的行人轨迹预测学习方法与系统。
背景技术
行人轨迹预测指的是给定一段行人的观测轨迹序列，预测其将来一段时间的运动轨迹序列。行人轨迹预测能够有效降低行人轨迹变化造成的潜在碰撞事故风险，因此对于导航，自动驾驶，智能交通，城市规划等领域都有广泛的应用价值。然而，大多数现有的行人轨迹预测算法都是针对对高帧率视频数据进行处理，但是，在一些特殊情况或极端环境下，难以为模型提供高帧率的清晰视频数据；另一方面，行人的运动方向往往具有很大的不确定性，而大多数现有的行人轨迹预测算法没有考虑到。
发明内容
发明目的：针对现有技术的不足，本发明的目的在于提供一种处理低帧率视频数据的行人轨迹预测方法与系统，用于降低视频帧率不足对模型训练效果的影响，提高模型预测结果的准确性。
技术方案：为实现上述发明目的，本发明采用如下技术方案：
一种低帧率视频行人轨迹预测方法，包括如下步骤：
(1)获取视频图像数据集，并对视频图像进行预处理，获取视频中行人的观测轨迹序列；
(2)计算每帧图像与该帧图像之后数帧图像之间的行人运动方向分布信息；
(3)以相邻的两帧为目标，分别提取其视频内容特征信息和轨迹点信息，并将提取到的视频内容特征信息，轨迹点信息和运动方向分布信息进行拼接；
(4)使用基于MLP的预测模型来输出相邻两帧之间的缺失帧的信息，并使用生成的缺失帧信息补充行人的观测轨迹序列；
(5)基于补充后的观测轨迹序列计算行人间的时空亲和力，进而得到目标行人受邻近行人的交互影响；
(6)结合目标行人轨迹点信息以及受邻近行人的交互影响，使用LSTM的解码器对行人轨迹进行预测。
进一步地，所述步骤(2)中第t帧图像中第i个行人的运动方向分布信息表示为：
Figure BDA0003946112260000021
其中s表示角度划分区间数，
Figure BDA0003946112260000022
表示该行人在t时刻的运动方向分布在第j个角度区间内的概率。
Figure BDA0003946112260000023
其中
Figure BDA0003946112260000024
分别表示该行人在t时刻、t+k时刻的位置坐标，tpred表示预测的时刻数。C(θ,j,s)是一个计数函数，其具体计算方法为：
Figure BDA0003946112260000025
进一步地，所述步骤(3)中使用卷积神经网络(CNN)来提取行人在视频中的内容特征：对于行人i在t时刻的每个空间位置
Figure BDA0003946112260000026
从以
Figure BDA0003946112260000027
为中心的视频中截取一个图像
Figure BDA0003946112260000028
将
Figure BDA0003946112260000029
输入到卷积神经网络框架中，计算得出计算得出视觉特征信息
Figure BDA00039461122600000210
第i个行人的第t帧视频内容特征
Figure BDA00039461122600000211
其中tobs表示观测的时刻数。
最终将第t帧图像的内容特征信息，轨迹点信息和运动方向分布信息串联起来，形成图像特征信息。
进一步地，所述步骤(4)中使用三层MLP模型来输出缺失帧的信息，可以表示为：
Figure BDA00039461122600000212
式中，fi t表示第t帧视频图像和第t+1帧视频图像的特征信息，表示为
Figure BDA00039461122600000213
W1，W2，W3表示带有ReLU非线性激活函数的三层MLP的权重。用
Figure BDA00039461122600000214
表示第i个行人在第t帧与第t+1帧中间生成的补充帧上的位置，将补充帧中的轨迹信息插入到观测轨迹序列
Figure BDA0003946112260000031
中，补充后的观测轨迹由如下公式表示：
Figure BDA0003946112260000032
进一步地，所述步骤(5)中对于任何第j个行人，将其在第t帧图像中与第i个行人的时空亲和力定义为：
Figure BDA0003946112260000033
其中
Figure BDA0003946112260000034
是对空间位置
Figure BDA0003946112260000035
与
Figure BDA0003946112260000036
求内积操作，Pt表示第t帧图像中除目标行人外所有行人的集合。采用Softmax方式对内积进行归一化，得到时空亲和力度量。
邻近行人对目标行人i的交互影响向量
Figure BDA0003946112260000037
如下所示：
Figure BDA0003946112260000038
其中，Ni(k)表示距离目标行人i最近的k个邻近行人的集合。Oj表示一个长度为k的one-hot向量，只在第j个元素处取1，其余元素取0。
进一步地，所述步骤(6)中的LSTM解码器可以表示为：
Figure BDA0003946112260000039
Figure BDA00039461122600000310
其中
Figure BDA00039461122600000311
表示第i个行人补帧后的观测轨迹序列Xi′中t时刻的轨迹信息和
Figure BDA00039461122600000312
和交互影响
Figure BDA00039461122600000313
拼接后的特征信息，
Figure BDA00039461122600000314
表示预测出的行人轨迹信息，Wl表示模型中的参数。最终的损失函数可表示为
Figure BDA00039461122600000315
其中n表示场景中的行人总数，
Figure BDA00039461122600000316
分别表示预测和真实轨迹序列中的坐标值。
基于相同的发明构思，本发明提供的一种低帧率视频行人轨迹预测系统，包括：
预处理模块，用于获取视频图像数据集，进行视频图像数据的预处理，并从视频中提取出行人的观测轨迹序列；
运动方向分布计算模块，用于计算每帧图像与该帧图像之后数帧图像之间的行人运动方向分布信息；
缺失帧补全模块，用于以相邻的两帧为目标，分别提取其视频内容特征信息和轨迹点信息，并将提取到的视频内容特征信息，轨迹点信息和运动方向分布信息进行拼接；以及使用基于MLP的预测模型来输出相邻两帧之间的缺失帧的信息，并生成的缺失帧信息补充行人的观测轨迹序列；
社会交互模块，用于基于补充后的观测轨迹序列计算行人间的时空亲和力，进而得到目标行人受邻近行人的交互影响；
以及预测模块，用于结合目标行人轨迹点信息以及受邻近行人的交互影响，使用LSTM解码器对行人轨迹进行预测。
基于相同的发明构思，本发明提供的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的低帧率视频行人轨迹预测方法的各个步骤。
有益效果：鉴于大多数现有的行人轨迹预测算法都是针对高帧率视频数据进行处理，但是，在一些特殊情况或极端环境下，难以为模型提供高帧率的清晰视频数据；另一方面，行人的运动方向往往具有很大的不确定性，这种不确定性往往很难用一个具体的方向或数值来表示，而大多数现有的行人轨迹预测算法没有考虑到这种行人运动方向的不确定性。基于这两个问题，本发明提出的低帧率视频行人轨迹预测方法，考虑了行人运动方向分布情况，并将其与视频内容特征信息、轨迹点信息进行融合，以补全低帧率视频中的缺失帧信息，同时还考虑了目标行人受邻近行人的交互影响，使得模型应用在低帧率视频的行人轨迹预测问题中时，能更精确地预测出结果。
附图说明
图1为本发明实施例的方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步说明。
如图1所示，本发明实施例公开的一种低帧率视频行人轨迹预测方法，首先获取视频图像数据集，对视频图像数据进行预处理，获取视频中行人的观测轨迹序列；其次计算每帧图像与该帧图像之后数帧图像之间的行人运动方向分布信息，以相邻的两帧为目标，分别提取其视频内容特征信息和轨迹点信息，并将提取到的视频内容特征信息，轨迹点信息和运动方向分布信息进行拼接；接着使用基于MLP的预测模型来输出相邻两帧之间的缺失帧的信息，并生成的缺失帧信息补充行人的观测轨迹序列；然后基于补充后的观测轨迹序列计算行人间的时空亲和力，进而得到目标行人受邻近行人的交互影响；最后，结合目标行人轨迹点信息以及受邻近行人的交互影响，使用LSTM的解码器对行人轨迹进行预测。本发明在处理低帧率视频的行人轨迹预测项目中，能够获得很好的效果。本发明实施例的各步骤的详细过程如下：
(1)获取视频数据，对视频中的行人观测轨迹进行提取，以便于输入后续的模型中。对行人轨迹预测的问题可以被定义为：在一个场景中，给定场景中n个行人过去的tobs个坐标，预测出每个行人接下来的tpred个坐标。假设一个场景中有n个行人，对第i个行人的观测轨迹被定义为：
Figure BDA0003946112260000051
其中
Figure BDA0003946112260000052
表示该行人在t0时刻的位置坐标，该行人的预测行为轨迹为
Figure BDA0003946112260000053
其中
Figure BDA0003946112260000054
表示模型预测的该行人在tobs+1时刻的位置坐标。
(2)使用一个运动方向分布计算模块来计算每帧图像与该帧图像之后数帧图像之间的行人运动方向分布情况。由于行人的运动方向往往具有很大的不确定性，这种不确定性往往很难用一个具体的方向或数值来表示。因此，本发明用了一个数学分布来描述一个行人的预测运动方向。在第t帧图像中，第i个行人的运动方向分布可以表示为：
Figure BDA0003946112260000055
其中s表示角度划分区间数，
Figure BDA0003946112260000056
表示该行人在t时刻的运动方向分布在第j个角度区间内的概率。
Figure BDA0003946112260000057
其中C(θ,j,s)是一个计数函数，其具体计算方法为：
Figure BDA0003946112260000061
(3)本发明实施例主要使用了卷积神经网络(CNN)来提取行人在视频中的内容特征。具体来说，对于行人i在t时刻的每个空间位置
Figure BDA0003946112260000062
从以
Figure BDA00039461122600000613
为中心的视频中截取一个图像
Figure BDA0003946112260000064
我们将
Figure BDA0003946112260000065
输入到卷积神经网络框架中，输出第i个行人的第t帧视频内容特征
Figure BDA0003946112260000066
即：
Figure BDA0003946112260000067
Wconv表示卷积神经网络参数。
(4)在一些特殊情况或极端环境下，难以为模型提供高帧率的清晰视频数据，而不得不使用较低帧率的视频预测行人的移动轨迹。在低帧率视频数据的行人轨迹预测过程中，由于输入的数据信息不足，会对模型最终行人轨迹预测的准确性起到极大的负面作用。为了解决视频帧率不足的问题，我们采用了视频插帧技术，从视频中相邻的两帧中提取特征，来输出两帧间缺失帧的信息。
为了得出缺失帧视频的信息，本发明实施例使用三层MLP模型来输出缺失帧的信息，可以表示为：
Figure BDA0003946112260000068
式中，W1，W2，W3表示带有ReLU非线性激活函数的三层MLP的权重。
Figure BDA0003946112260000069
表示第i个行人在第t帧与第t+1帧中间生成的补充帧上的位置。
Figure BDA00039461122600000610
表示第t帧视频图像和第t+1帧视频图像的特征信息，主要是将这帧图像中的内容特征信息，轨迹点信息和运动方向分布特征信息串联起来，因此fi t可以表示为：
Figure BDA00039461122600000611
在完成了视频补帧之后，我们将补充帧中的轨迹信息插入到观测轨迹序列
Figure BDA00039461122600000612
中。补充后的观测轨迹由如下公式表示：
Figure BDA0003946112260000071
(5)在现实生活中，行人的运动轨迹不仅受到目的地的影响，还会受到与其相邻的其他行人的影响。因此本发明实施例使用了一个社会交互模块来计算目标行人受到一定范围内其他行人的交互影响。社会交互模块主要将行人的位置作为输入，计算每个目标行人受到的邻居行人的交互影响。
社会交互模块主要由两部分组成：时空亲和力部分和局部池化部分。时空亲和力部分主要用于计算第t帧图像中，目标行人与其他行人之间的时空亲和力度量。我们对所有行人的位置进行线性组合，用于衡量每个行人对目标行人影响的大小。对于任何第j个行人，将其在第t帧图像中与第i个行人的时空亲和力定义为：
Figure BDA0003946112260000072
其中
Figure BDA0003946112260000073
是对
Figure BDA0003946112260000074
与
Figure BDA0003946112260000075
求内积操作，Pt表示第t帧图像中除目标行人外所有行人的集合。采用Softmax方式对内积进行归一化，得到时空亲和力度量。
对于局部池化部分，主要考虑到目标行人的运动只会受到邻近行人的交互影响。本发明寻找到每个目标行人的k个距离最近的行人。然后，可以计算得到其他行人对目标行人i的交互影响向量
Figure BDA0003946112260000076
如下所示：
Figure BDA0003946112260000077
其中，Ni(k)表示距离目标行人i最近的k个邻近行人的集合。Oj表示一个长度为k的one-hot向量，只在第j个元素处取1，其余元素取0。
(6)为了最终得到一个行人的轨迹序列，本发明实施例使用一个LSTM的解码器来将输入的行人特征进行计算，以预测目标行人的未来轨迹。LSTM解码器可以表示为：
Figure BDA0003946112260000078
Figure BDA0003946112260000079
其中
Figure BDA00039461122600000710
表示拼接后的特征信息，
Figure BDA00039461122600000711
表示预测出的行人轨迹信息，Wl表示模型中的参数。
最终的损失函数可表示为
Figure BDA0003946112260000081
其中n表示当前场景中的行人总数，||·||2表示L2范数，
Figure BDA0003946112260000082
和Yi分别表示预测和真实的轨迹序列，
Figure BDA0003946112260000083
分别表示预测和真实轨迹序列中的坐标值。
在完成了模型的训练之后，对于待预测的行人轨迹视频，将其输入到模型中，即可输出目标行人的预测轨迹序列。
基于相同的发明构思，本发明实施例提供的一种低帧率视频行人轨迹预测系统，包括：预处理模块，用于获取视频图像数据集，进行视频图像数据的预处理，并从视频中提取出行人的观测轨迹序列；运动方向分布计算模块，用于计算每帧图像与该帧图像之后数帧图像之间的行人运动方向分布信息；缺失帧补全模块，用于以相邻的两帧为目标，分别提取其视频内容特征信息和轨迹点信息，并将提取到的视频内容特征信息，轨迹点信息和运动方向分布信息进行拼接；以及使用基于MLP的预测模型来输出相邻两帧之间的缺失帧的信息，并生成的缺失帧信息补充行人的观测轨迹序列；社会交互模块，用于基于补充后的观测轨迹序列计算行人间的时空亲和力，进而得到目标行人受邻近行人的交互影响；以及预测模块，用于结合目标行人轨迹点信息以及受邻近行人的交互影响，使用LSTM解码器对行人轨迹进行预测。
基于相同的发明构思，本发明实施例提供的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述方法的各个步骤。

Claims (10)

1.一种低帧率视频行人轨迹预测方法，其特征在于，包括如下步骤：
(1)获取视频图像数据集，并对视频图像进行预处理，获取视频中行人的观测轨迹序列；
(2)计算每帧图像与该帧图像之后数帧图像之间的行人运动方向分布信息；
(3)以相邻的两帧为目标，分别提取其视频内容特征信息和轨迹点信息，并将提取到的视频内容特征信息，轨迹点信息和运动方向分布信息进行拼接；
(4)使用基于MLP的预测模型来输出相邻两帧之间的缺失帧的信息，并生成的缺失帧信息补充行人的观测轨迹序列；
(5)基于补充后的观测轨迹序列计算行人间的时空亲和力，进而得到目标行人受邻近行人的交互影响；
(6)结合目标行人轨迹点信息以及受邻近行人的交互影响，使用LSTM解码器对行人轨迹进行预测。
2.根据权利要求1所述的低帧率视频行人轨迹预测方法，其特征在于，所述步骤(2)中第t帧图像中第i个行人的运动方向分布信息表示为：
Figure FDA0003946112250000011
其中s表示角度划分区间数，
Figure FDA0003946112250000012
表示该行人在t时刻的运动方向分布在第j个角度区间内的概率；
Figure FDA0003946112250000013
其中
Figure FDA0003946112250000014
分别表示该行人在t时刻、t+k时刻的位置坐标，tpred表示预测的时刻数；C(θ,j,s)是一个计数函数，其具体计算方法为：
Figure FDA0003946112250000015
3.根据权利要求2所述的低帧率视频行人轨迹预测方法，其特征在于，所述步骤(3)使用卷积神经网络提取行人在视频中的内容特征：对于行人i在t时刻的每个空间位置
Figure FDA0003946112250000016
从以
Figure FDA0003946112250000017
为中心的视频中截取一个图像
Figure FDA0003946112250000018
将
Figure FDA0003946112250000019
输入到卷积神经网络框架中，计算得出视觉特征信息
Figure FDA00039461122500000110
即第i个行人的第t帧视频内容特征；其中tobs表示观测的时刻数；
将第t帧图像的内容特征信息，轨迹点信息和运动方向分布信息串联起来，形成图像特征信息。
4.根据权利要求3所述的低帧率视频行人轨迹预测方法，其特征在于，所述步骤(4)中使用三层MLP模型来输出缺失帧的信息，表示为：
Figure FDA0003946112250000021
式中，fi t表示第t帧视频图像和第t+1帧视频图像的特征信息，表示为
Figure FDA0003946112250000022
W1，W2，W3表示带有ReLU非线性激活函数的三层MLP的权重；用
Figure FDA0003946112250000023
表示第i个行人在第t帧与第t+1帧中间生成的补充帧上的位置，将补充帧中的轨迹信息插入到观测轨迹序列
Figure FDA0003946112250000024
中，补充后的观测轨迹序列表示为：
Figure FDA0003946112250000025
5.根据权利要求1所述的低帧率视频行人轨迹预测方法，其特征在于，所述步骤(5)中对于第j个行人，将其在第t帧图像中与第i个行人的时空亲和力定义为：
Figure FDA0003946112250000026
其中
Figure FDA0003946112250000027
是对空间位置
Figure FDA0003946112250000028
与
Figure FDA0003946112250000029
求内积操作，Pt表示第t帧图像中除目标行人外所有行人的集合；采用Softmax方式对内积进行归一化，得到时空亲和力度量；邻近行人对目标行人i的交互影响向量
Figure FDA00039461122500000210
定义为：
Figure FDA00039461122500000211
其中，Ni(k)表示距离目标行人i最近的k个邻近行人的集合；Oj表示一个长度为k的one-hot向量，只在第j个元素处取1，其余元素取0。
6.根据权利要求5所述的低帧率视频行人轨迹预测方法，其特征在于，所述步骤(6)中LSTM解码器可以表示为：
Figure FDA0003946112250000031
Figure FDA0003946112250000032
其中
Figure FDA0003946112250000033
表示第i个行人补帧后的观测轨迹序列X′i中t时刻的轨迹信息和
Figure FDA0003946112250000034
和交互影响
Figure FDA0003946112250000035
拼接后的特征信息，
Figure FDA0003946112250000036
表示预测出的行人轨迹信息，Wl表示模型中的参数；
最终的损失函数表示为
Figure FDA0003946112250000037
其中n表示场景中的行人总数，
Figure FDA0003946112250000038
分别表示预测和真实轨迹序列中的坐标值，tobs和tpre分别表示观测和预测的时刻数。
7.一种低帧率视频行人轨迹预测系统，其特征在于，包括：
预处理模块，用于获取视频图像数据集，进行视频图像数据的预处理，并从视频中提取出行人的观测轨迹序列；
运动方向分布计算模块，用于计算每帧图像与该帧图像之后数帧图像之间的行人运动方向分布信息；
缺失帧补全模块，用于以相邻的两帧为目标，分别提取其视频内容特征信息和轨迹点信息，并将提取到的视频内容特征信息，轨迹点信息和运动方向分布信息进行拼接；以及使用基于MLP的预测模型来输出相邻两帧之间的缺失帧的信息，并生成的缺失帧信息补充行人的观测轨迹序列；
社会交互模块，用于基于补充后的观测轨迹序列计算行人间的时空亲和力，进而得到目标行人受邻近行人的交互影响；
以及预测模块，用于结合目标行人轨迹点信息以及受邻近行人的交互影响，使用LSTM的解码器对行人轨迹进行预测。
8.根据权利要求7所述的低帧率视频行人轨迹预测系统，其特征在于，所述运动方法分布计算模块中，第t帧图像中第i个行人的运动方向分布信息表示为：
Figure FDA0003946112250000039
其中s表示角度划分区间数，
Figure FDA00039461122500000310
表示该行人在t时刻的运动方向分布在第j个角度区间内的概率；
Figure FDA0003946112250000041
其中
Figure FDA0003946112250000042
分别表示该行人在t时刻、t+k时刻的位置坐标，tpred表示预测的时刻数；C(θ,j,s)是一个计数函数，其具体计算方法为：
Figure FDA0003946112250000043
9.根据权利要求7所述的低帧率视频行人轨迹预测系统，其特征在于，所述社会交互模块中，对于第j个行人，将其在第t帧图像中与第i个行人的时空亲和力定义为：
Figure FDA0003946112250000044
其中
Figure FDA0003946112250000045
是对空间位置
Figure FDA0003946112250000046
与
Figure FDA0003946112250000047
求内积操作，Pt表示第t帧图像中除目标行人外所有行人的集合；采用Softmax方式对内积进行归一化，得到时空亲和力度量；邻近行人对目标行人i的交互影响向量
Figure FDA0003946112250000048
定义为：
Figure FDA0003946112250000049
其中，Ni(k)表示距离目标行人i最近的k个邻近行人的集合；Oj表示一个长度为k的one-hot向量，只在第j个元素处取1，其余元素取0。
10.一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-6任一项所述的低帧率视频行人轨迹预测方法的各个步骤。
CN202211433705.3A 2022-11-16 2022-11-16 一种低帧率视频行人轨迹预测方法与系统 Active CN115690160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211433705.3A CN115690160B (zh) 2022-11-16 2022-11-16 一种低帧率视频行人轨迹预测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211433705.3A CN115690160B (zh) 2022-11-16 2022-11-16 一种低帧率视频行人轨迹预测方法与系统

Publications (2)

Publication Number Publication Date
CN115690160A true CN115690160A (zh) 2023-02-03
CN115690160B CN115690160B (zh) 2023-12-15

Family

ID=85053248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211433705.3A Active CN115690160B (zh) 2022-11-16 2022-11-16 一种低帧率视频行人轨迹预测方法与系统

Country Status (1)

Country Link
CN (1) CN115690160B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207762A1 (en) * 2009-02-19 2010-08-19 Panasonic Corporation System and method for predicting abnormal behavior
CN108564118A (zh) * 2018-03-30 2018-09-21 陕西师范大学 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
WO2020037965A1 (zh) * 2018-08-21 2020-02-27 北京大学深圳研究生院 一种用于视频预测的多运动流深度卷积网络模型方法
CN112488057A (zh) * 2020-12-17 2021-03-12 北京航空航天大学 一种利用人头点定位和关节点信息的单相机多目标跟踪方法
WO2022022721A1 (zh) * 2020-07-31 2022-02-03 商汤集团有限公司 轨迹预测方法、装置、设备、存储介质及程序

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207762A1 (en) * 2009-02-19 2010-08-19 Panasonic Corporation System and method for predicting abnormal behavior
CN108564118A (zh) * 2018-03-30 2018-09-21 陕西师范大学 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
WO2020037965A1 (zh) * 2018-08-21 2020-02-27 北京大学深圳研究生院 一种用于视频预测的多运动流深度卷积网络模型方法
WO2022022721A1 (zh) * 2020-07-31 2022-02-03 商汤集团有限公司 轨迹预测方法、装置、设备、存储介质及程序
CN112488057A (zh) * 2020-12-17 2021-03-12 北京航空航天大学 一种利用人头点定位和关节点信息的单相机多目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAODONG ZHAO ET AL.: "A Spatial-Temporal Attention Model for Human Trajectory Prediction", 《IEEE/CAA JOURNAL OF AUTOMATICA SINICA》, pages 965 - 973 *

Also Published As

Publication number Publication date
CN115690160B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
Manh et al. Scene-lstm: A model for human trajectory prediction
CN111476822B (zh) 一种基于场景流的激光雷达目标检测与运动跟踪方法
Abualsaud et al. Laneaf: Robust multi-lane detection with affinity fields
CN110276783B (zh) 一种多目标跟踪方法、装置及计算机系统
CN104282020B (zh) 一种基于目标运动轨迹的车辆速度检测方法
CN112750150B (zh) 基于车辆检测和多目标跟踪的车流量统计方法
CN103308058A (zh) 使用加权贝叶斯滤波的融合的增强数据关联
CN115861383A (zh) 一种拥挤空间下多信息融合的行人轨迹预测装置及方法
CN114170680A (zh) 一种基于多细分特征控制的行人轨迹预测方法
CN116630376A (zh) 基于ByteTrack的无人机多目标跟踪方法
CN114742112A (zh) 一种对象关联方法、装置及电子设备
Zhang et al. CR-YOLOv8: Multiscale object detection in traffic sign images
CN113724293A (zh) 一种基于视觉的智能网联公交场景下目标跟踪方法及系统
CN116434150B (zh) 面向拥挤场景的多目标检测跟踪方法、系统及存储介质
CN117037085A (zh) 基于改进YOLOv5的车辆识别及数量统计的监控方法
Qiao et al. Human driver behavior prediction based on urbanflow
CN115100565B (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
CN115690160A (zh) 一种低帧率视频行人轨迹预测方法与系统
CN116052149A (zh) 一种基于CS-ABCNet的电力塔牌检测识别方法
Zhang et al. An efficient and flexible approach for multiple vehicle tracking in the aerial video sequence
Belkin et al. Traffic sign recognition on video sequence using deep neural networks and matching algorithm
Luo et al. Occluded Insulator Detection System Based on YOLOX of Multi-Scale Feature Fusion
CN114612999A (zh) 一种目标行为分类方法、存储介质及终端
Wang et al. YOLOMask: Real-time instance segmentation with integrating YOLOv5 and OrienMask
Duric et al. Estimating relative vehicle motions in traffic scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant