CN116882148B - 基于空间社会力图神经网络的行人轨迹预测方法及系统 - Google Patents

基于空间社会力图神经网络的行人轨迹预测方法及系统 Download PDF

Info

Publication number
CN116882148B
CN116882148B CN202310800399.0A CN202310800399A CN116882148B CN 116882148 B CN116882148 B CN 116882148B CN 202310800399 A CN202310800399 A CN 202310800399A CN 116882148 B CN116882148 B CN 116882148B
Authority
CN
China
Prior art keywords
pedestrian
pedestrians
algorithm
force
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310800399.0A
Other languages
English (en)
Other versions
CN116882148A (zh
Inventor
乔少杰
谢添丞
刘双侨
曾宇
孙吉刚
邓鸿耀
刘一明
郑皎凌
韩楠
王邦平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yifang Intelligent Technology Co ltd
Chengdu University of Information Technology
Original Assignee
Sichuan Yifang Intelligent Technology Co ltd
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yifang Intelligent Technology Co ltd, Chengdu University of Information Technology filed Critical Sichuan Yifang Intelligent Technology Co ltd
Priority to CN202310800399.0A priority Critical patent/CN116882148B/zh
Publication of CN116882148A publication Critical patent/CN116882148A/zh
Application granted granted Critical
Publication of CN116882148B publication Critical patent/CN116882148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于空间社会力图神经网络的行人轨迹预测方法，包括以下步骤：从源图像数据中捕捉行人以及周围障碍物位置信息；建立坐标轴对行人轨迹进行预处理，提取每个行人的位置坐标；利用社会力对行人之间的全域交互作用进行量化并计算行人之间的斥力；以行人为节点、社会关系为边构建行人的空间社会力图神经网络；构建基于空间社会力图神经网络的行人轨迹预测目标方程。本发明在轨迹预测过程中充分考虑环境对行人的影响以及人与人之间的相互作用，融合了行人对周围情景的全域交互作用和自身隐藏状态；利用相邻轨迹点之间加权平均距离和作为输入，可以准确预测连续轨迹点，并且采用轻量级架构执行目标轨迹预测任务，拥有更高的实时性。

Description

基于空间社会力图神经网络的行人轨迹预测方法及系统
技术领域
本发明属于人工智能以及智能交通技术领域，具体涉及一种基于空间社会力图神经网络的行人轨迹预测方法及系统。
背景技术
由于人的社会性、运动的不确定性以及环境因素的影响，移动对象的轨迹预测问题是一项困难的任务。在我们的日常生活中，无论是前往特定的目的地，还是漫无目的地漫游，都可能遵循特定的规律。例如，在交通高峰时段，可以发现人口密集的地区，司机必须停下来让行人过马路。真实世界的运动场景使人们不断估计他们与运动区域内其他行人或障碍物的互动，然后确定他们的运动方向或意图。这对于建模社会规则和环境以预测行人轨迹或智能控制机器人在现实场景中的运动起着至关重要的作用，是智能交通系统中具有挑战性的任务。
目前常用的轨迹预测方法面临两个主要挑战：首先是时空环境的约束，为了避开障碍物或其他运动目标，必须充分考虑全局时空信息和周围重要环境因素。例如，当到达十字路口时，行人会更加注意转弯点；其次，考虑到目标行人与其他行人之间的距离，在不侵犯其私人空间的情况下，行人需要提前了解其他人的运动方向和行进速率，并相应地调整自己的路径或目的地。距离更近的行人对于目标行人未来的运动决策具有更大的影响。例如，一个人越靠近目标行人，就会对他/她未来的轨迹产生更大的影响。
发明内容
有鉴于此，本发明的目的之一是提供一种基于空间社会力图神经网络的行人轨迹预测方法。在轨迹预测过程中充分考虑环境对行人的影响以及人与人之间的相互作用，能够处理行人的历史轨迹并从不同场景中提取特征；提出了社会力的概念量化了行人与环境感知信息的抽象关系，并且融合了行人对周围情景的全域交互作用和自身隐藏状态，充分考虑到真实情景下的预测目标的全域交互作用力，能够成功模拟行人与情景之间的交互；利用相邻轨迹点之间加权平均距离和作为输入，使得可以准确预测连续轨迹点，并且采用轻量级架构执行目标轨迹预测任务，拥有更高的实时性，大大提升了轨迹预测的准确率。
本发明的目的之一是通过以下技术方案实现的：
一种基于空间社会力图神经网络的行人轨迹预测方法，包括以下步骤：
S1：使用图像采集器捕捉行人以及周围障碍物位置信息；
S2：建立坐标轴对行人轨迹进行预处理，提取每个行人的位置坐标；
S3：利用社会力对行人之间的全域交互作用进行量化并计算行人之间的斥力；
S4：以行人为节点、社会关系为边构建行人的空间社会力图神经网络；
S5：构建基于空间社会力图神经网络的行人轨迹预测目标方程。
进一步，所述步骤S1中，使用图像采集器捕捉行人以及周围障碍物位置信息包括以下子步骤：
S101：通过图像采集器捕捉源图像画面，对源图像进行预处理识别图像中的行人；
S102：利用面向场景的特征提取算法从不同场景中提取特征信息识别图像中的障碍物；
S103：捕捉行人互动和环境感知信息。
进一步，所述步骤S2中，建立坐标轴对行人轨迹进行预处理，提取每个行人的位置坐标具体包括以下子步骤：
S201：形式化行人轨迹，对数据进行预处理；
S202：设计加权平均距离算法，计算不同时间点轨迹信息的权重；
S203：设计嵌入向量算法对两个方向的加权平均距离进行图嵌入处理；
S204：设计隐藏状态算法根据嵌入向量计算每个时刻的隐藏状态；
所述步骤S201中，对数据进行预处理需要计算每个时间戳上行人的相对距离，计算公式如下：
其中，t表示时间戳，i表示行人序号，其中与/>分别为行人i在x轴和y轴方向的坐标，Δxi和Δyi为x轴和y轴上的相对距离；
所述步骤S202中，加权平均距离算法公式如下：
其中，wi为加权平均距离，和/>分别表示行人i在x轴和y轴上的加权平均距离，n＝3表示从第三个轨迹时刻开始计算，T表示最后一个轨迹时刻；
所述步骤S203中，设计嵌入向量算法对两个方向的加权平均距离进行图嵌入处理，其中嵌入向量算法公式如下：
其中，为嵌入向量，/>为嵌入函数，We为嵌入权重；
所述步骤S204中，设计隐藏状态算法根据嵌入向量计算每个时刻的隐藏状态，其中隐藏状态算法公式如下：
其中，S-GRU为处理单个行人轨迹信息的门控循环单元，是S-GRU在t时刻行人i的隐藏状态，Wc为S-GRU的权重矩阵，每个行人的轨迹使用一个单独的门控循环单元处理，不同隐藏层中的参数设定为相同的初始值；
进一步，其中所述步骤S3利用社会力对行人之间的全域交互作用进行量化具体包括以下子步骤：
S301：构建社会力算法量化图神经网络中不同行人之间的全域交互作用力；
S302：构建心理力算法计算行人之间的无接触斥力；
S303：构建触碰力算法计算行人之间的有接触斥力；
所述步骤S301中，行人行走通常与他人保持舒适的距离间隔，并尽量避免与其他移动物体碰撞，其中社会力算法公式如下：
其中，为行人i与j的社会力，即相互作用力，由心理力/>和接触力/>组成，将/>附加到图神经网络的边上，以量化不同行人之间的全域交互作用；
所述步骤S302中，为保持行人之间舒适的距离，构建心理力算法，其中心理力算法公式如下：
其中，为行人之间的无接触斥力，即心理力，Ai为可调节参数，e为自然常数，rij为行人i与j的舒适距离之和，dij为行人i与j之间的距离，/>为由i指向j的单位向量；
所述步骤S303中，为避免行人之间发生碰撞，构建触碰力算法，其中触碰力算法公式如下：
其中，为行人之间的有接触斥力，即触碰力，/>为i与j的相对速度，Δdij为行人i与j之间相邻单位时间的距离变化量，k0和k1均为可调节参数。
进一步，步骤S4以行人为节点、社会关系为边构件图神经网络具体包括以下子步骤：
S401：将预处理后的图像信息输入图神经网络；
S402：构建第一层感知机设计全域交互作用系数算法量化行人全域交互作用力；
S403：构建第二层感知机设计聚合算法计算行人与邻居行人之间的社全域交互作用力；
S404：构建第三层感知机加入情境感知模块，设计障碍物影响算法；
S405：构建第四层感知机设计空间全域交互作用算法融合障碍物与行人的相互力量。
所述步骤S402中，量化行人全域交互作用力需要一个通用的系数，需在第一层感知机中构建全域交互作用系数算法，其中全域交互作用系数算法公式如下：
其中，表示t时刻行人j到行人i的全域交互作用系数，PReLu()表示激活函数，W表示权重矩阵，/>为t时刻行人i的隐藏状态，Ni表示对目标行人造成影响的邻居行人集和，exp()表示以自然常数e为底的指数函数；
所述步骤S403中，归一化后需构建第二层感知机设计聚合算法计算行人与邻居行人之间的全域交互作用力，其中聚合算法公式如下：
其中，为t时刻行人i的聚类隐藏状态，包含目标行人与邻居行人之间的全域交互作用力，/>为全域交互作用系数，W为权重矩阵，/>为t时刻行人i的隐藏状态，/>为行人i与行人j的社会力，σ为sigmoid函数；
步骤S404中，加入情景模块扩展上述行人之间全域交互作用的各算法，需构建第三层感知机设计障碍物影响算法获取周围环境的影响力，其中障碍物算法公式如下：
其中,与/>分别为行人i与障碍物o在x轴坐标上的距离和y轴坐标上的距离；rio为行人i与给定障碍物o之间的舒适距离，dio为行人i与给定障碍物o之间的实际距离；/>为行人i与障碍物o间的全域交互作用系数，No为障碍物的数量，j表示另一个行人；
步骤S405中，需构建第四层感知机设计空间全域交互作用算法联合上述障碍物与附近其他行人的共同社会力量，其空间全域交互作用算法如下：
其中，δ()为多层感知机，为障碍物对目标行人的全域交互作用力，/>为目标行人与邻居行人之间的全域交互作用力。
进一步，所述步骤S5构建基于空间社会力图神经网络的行人轨迹预测目标方程具体包括以下子步骤：
S501：由行人之间的全域交互作用力、行人和障碍物的空间影响力以及偏差三部分组成目标函数的初始状态；
S502：构建P-GRU算法完成行人位置预测；
S503：将初始状态输入至P-GRU算法得到行人当前可观察状态与下一个可观察状态之间的距离；
S504：重复S503即可从当前位置预测目标行人的连续位置，获得其后续的短期轨迹。
进一步，所述步骤S501中，目标函数的初始状态由行人之间的全域交互作用、行人和障碍物的空间影响力以及偏差三部分组成，其初始状态计算公式如下：
其中，z为防止过拟合的偏差，为初始状态，obs为最后可观测的时间戳，pi为空间全域交互作用，z为防止过拟合的偏差；
进一步，所述步骤S502和S503中，构建P-GRU算法并将初始状态作为输入完成目标位置预测，其P-GRU算法公式如下：
其中,和/>表示行人i当前可观察状态(用obs表示)与下一个可观察状态(用obs+1表示)之间的距离，根据上述公式可以计算一个预测位置在obs+1时刻的相对位置，Wd为权值矩阵，/>由步骤S203嵌入向量算法计算得到，δ()为多层感知机。
本发明的目的之二是提供一种基于空间社会力图神经网络的行人轨迹预测系统，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的方法。
本发明的目的之三是提供一种计算机可读存储介质，其上储存有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如前所述的方法。
本发明的有益效果是：
(1)本发明提出了一种新型基于空间社会力图神经网络的行人轨迹预测方法，从历史轨迹序列中捕获行人轨迹特征和环境特征，并通过图神经网络准确量化行人的互动和环境感知信息，充分考虑到真实情景下的预测目标的全域交互作用力，能够成功模拟行人与情景之间的交互；
(2)本发明设计了加权平均距离算法，为两个轨迹点之间的距离分配一个权重值，最近的距离指定最大权重值，越远的距离权重值越低，通过为不同时间点的轨迹赋予不同的权重，有益于实时更新并预测新路径，提高轨迹预测的实时性；
(3)本发明结合了全域交互作用和环境状况两者被视为对行人有影响的交互作用，利用图神经网络融合行人之间的全域交互作用和隐藏状态，并通过计算环境对行人的影响以及人与人之间的相互作用，可以更加准确地预测不同场景下的行人轨迹；
(4)本发明通过整合行人之间的距离和行人的移动速度等相关因素，设计了一种新的行人之间的交互函数，能够准确预测连续轨迹点，并通过多层感知机联合周围行人与障碍物对目标行人的影响力，增强了环境交互对轨迹预测影响的准确度，降低了交互场景中的其他因素对目标行人轨迹预测的影响。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和前述的权利要求书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明的一种基于空间社会力图神经网络的行人轨迹预测方法及系统流程图；
图2为本发明的基于图神经网络的轨迹预测框架图；
图3为实施例中图像采集器捕捉的源图像画面；
图4为使用CenterNet对图3进行目标检测识别的结果示意图；
图5为以源图像正上方为y轴建立的坐标系示意图；
图6为嵌入权重We的矩阵表达式；
图7为平均加权距离的嵌入向量的表达式；
图8为S-GRU的权重矩阵Wc；
图9为本发明的图神经网络预测方法过程图。
具体实施方式
以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
在本实施例中，所用图像为ZARA1的权威数据集画面，其数据集包含了来自真实世界场景的人类轨迹和行人之间丰富的交互信息，本次实施例选用了其中4个单位时间的画面进行测试。
如图1所示，本发明提供了一种基于空间社会力图神经网络的行人轨迹预测方法及系统，其预测框架如图2所示，包括以下步骤：
S1：使用图像采集器捕捉行人以及周围障碍物位置信息；具体包括以下子步骤：
S101：通过图像采集器捕捉源图像画面，对源图像进行预处理识别图像中的行人；
S102：利用面向场景的特征提取算法从不同场景中提取特征信息识别图像中的障碍物；
S103：捕捉行人互动和环境感知信息。
在本实施例中，图像采集器捕捉的源图像画面如图3所示，使用CenterNet对其进行目标检测识别图中的行人与障碍物，结果如图4所示；
其中，运动物体边界约束框为粉色，静止物体边界约束框为绿色，约束框的左上角信息为疑似物体类型，约束框下方的CONF为置信度，置信度指该物体符合其识别类型的准确程度，置信度数值越大则表明该物体识别准确率越高；
在本实施例中，图4的每张子图中物体类型为PER的粉色约束框有两个，其置信度较高，代表CenterNet对图3的每张子图识别出两位行人；物体类型为TREE的绿色约束框有一个，其置信度较低，不做考虑；物体类型为CAR的绿色约束框有一个，代表CenterNet对图3识别出一辆车，由于其长期处于静止状态，可视为本次实施例的障碍物。
S2：建立坐标轴对行人轨迹进行预处理，提取每个行人的位置坐标；
对行人轨迹进行预处理具体包括以下子步骤：
S201：形式化行人轨迹，对数据进行预处理；
S202：设计加权平均距离算法，计算不同时间点轨迹信息的权重；
S203：设计嵌入向量算法对两个方向的加权平均距离进行图嵌入处理；
S204：设计隐藏状态算法根据嵌入向量计算每个时刻的隐藏状态；
所述步骤S201中，形式化行人轨迹，对数据进行预处理，计算公式如下：
其中，t表示时间戳，i表示行人序号，其中与/>分别为行人i在x轴和y轴方向的坐标，Δxi和Δyi为x轴和y轴上的相对距离；
所述步骤S202中，加权平均距离算法公式如下：
其中，wi为加权平均距离，和/>分别表示行人i在x轴和y轴上的加权平均距离，n＝3表示从第三个轨迹时刻开始计算，T表示最后一个轨迹时刻；
所述步骤S203中，设计嵌入向量算法对两个方向的加权平均距离进行图嵌入处理，其中嵌入向量算法公式如下：
其中，为嵌入向量，/>为嵌入函数，We为嵌入权重；
所述步骤S204中，设计隐藏状态算法根据嵌入向量计算每个时刻的隐藏状态，其中隐藏状态算法公式如下：
其中，S-GRU为处理单个行人轨迹信息的门控循环单元，是S-GRU在t时刻行人i的隐藏状态，Wc为S-GRU的权重矩阵，每个行人的轨迹使用一个单独的门控循环单元处理，不同隐藏层中的参数设定为相同的初始值。
在本实施例中，以源图像最左下角为坐标系原点，以源图像水平方向为x轴，以源图像垂直方向为y轴建立坐标系，其坐标系如图5所示；
其中，绿色的点o为车，即障碍物；粉色的点i与j为行人，行人i的四个单位时间画面中坐标分别为：(2.5,1)、(3,2)、(3.5,3)以及(4,4)，行人j的四个单位时间画面中坐标分别为：(7,8)、(6,7)、(5,6)以及(4,5)；
在本实施例中，所述步骤S201形式化行人轨迹，对数据进行预处理，代入上述行人i坐标，可得行人i在每个单位时间间隔的相对距离为：
代入上述行人j坐标，可得行人j在每个单位时间间隔的相对距离为：
在本实施例中，所述步骤S202设计加权平均距离算法，计算不同时间点轨迹信息的权重，代入上述行人i与行人j在每个单位时间间隔的相对距离，计算行人i与行人j的加权平均距离为：
可得，行人i在水平方向上的加权平均距离为0.5，行人i在垂直方向上的加权平均距离/>为1，行人j在水平方向上的加权平均距离/>为1，行人j在垂直方向上的加权平均距离/>为1；
在本实施例中，所述步骤S203设计嵌入向量算法对两个方向的加权平均距离进行图嵌入处理，代入上述行人i与j的加权平均距离，计算行人i与j的嵌入向量为：
其中，We为嵌入权重，其矩阵表达式如图6所示，可得行人i的嵌入向量以及行人j的嵌入向量/>以行人i为例，其嵌入向量/>如图7所示；
在本实施例中，所述步骤S204设计隐藏状态算法，根据嵌入向量计算每个时刻的隐藏状态，代入上述行人i与j的嵌入权重，可得行人i与j的隐藏状态为：
其中，Wc为S-GRU的权重矩阵，其矩阵表达式如图8所示，可得行人i的隐藏状态hi t以及行人j的隐藏状态
在历史轨迹信息中，距离当前时刻越近的轨迹对目标行人的未来位置具有更大的影响，上述步骤通过设计加权平均距离算法，赋予不同时间点的轨迹信息不同的权重。为两个轨迹点之间的距离分配一个权重值，最近的距离指定最大权重值，越远的距离权重值越低，为不同时间点的轨迹赋予不同的权重有益于实时更新并预测新路径，提高轨迹预测的实时性。
S3：利用社会力对行人之间的全域交互作用进行量化；
本发明图神经网络简述如图9所示；
S301：构建社会力算法量化图神经网络中不同行人之间的全域交互作用力；
所述步骤S301中，行人行走通常与他人保持舒适的距离间隔，并尽量避免与其他移动物体碰撞，其中社会力算法公式如下：
其中，为行人i与j的社会力，即相互作用力，由心理力/>和接触力/>组成，将/>附加到图神经网络的边上，以量化不同行人之间的全域交互作用力；
S302：构建心理力算法计算行人之间的无接触斥力；
所述步骤S302中，为保持行人舒适的距离，构建心理力算法，其中心理力算法公式如下：
其中，为行人之间的无接触斥力，即心理力，Ai为可调节参数，e为自然常数，rij为行人i与j的舒适距离之和，dij为行人i与j之间的距离，/>为由i指向j的单位向量；
S303：构建触碰力算法计算行人之间的有接触斥力；
所述步骤S303中，为避免行人发生碰撞，构建触碰力算法，其中触碰力算法公式如下：
其中，为行人之间的有接触斥力，即触碰力，/>为i与j的相对速度，Δdij为行人i与j之间相邻单位时间的距离变化量，k0和k1均为可调节参数。
在本实施例中，步骤S302构建心理力算法计算行人之间的无接触斥力，行人i与j的舒适距离之和rij为2，在t＝4时行人i与j之间的距离dij为由i指向j的单位向量/>为则可得行人之间的无接触斥力，即心理力/>如下所示：
其中，Ai为可调节参数，不同行人根据其运动特征可能有不同的舒适距离；
在本实施例中，行人i与j距离变化量Δdij计算如下：
可得，行人i与j距离变化量Δdij约为2.35；
在本实施例中，行人i单位时间内走过的路程为则行人i的行走速度为行人j单位时间内走过的路程为/>则行人j的行走速度为通过计算可得行人i与行人j的相对速度/>表达式如下所示：
在本实施例中，步骤S303构建触碰力算法计算行人之间的有接触斥力，代入上述可计算其行人之间的有接触斥力，即触碰力/>表达式如下：
其中，k0和k1均为可调节参数，交互场景中的舒适距离往往比碰撞距离更大；
考虑到行人通常与他人保持舒适的距离间隔，并尽量避免与其他移动物体碰撞，且行人可能会在一定距离内改变他们的运动状态，该步骤通过融合心理力与触碰力保持行人之间舒适的距离并避免碰撞，能够模拟真实行人社交过程的全域交互作用力，提升对行人移动行为的判断力。
S4：以行人为节点、社会关系为边构件图神经网络；具体包括以下子步骤：
S401：将预处理后的图像信息输入图神经网络；
S402：构建第一层感知机设计全域交互作用系数算法量化行人全域交互作用力；
S403：构建第二层感知机设计聚合算法计算行人与邻居行人之间的全域交互作用力；
S404：构建第三层感知机加入情境感知模块，设计障碍物影响算法；
S405：构建第四层感知机设计空间全域交互作用算法融合障碍物与行人的相互力量；
所述步骤S402中，量化行人全域交互作用力需要一个通用的系数，需在第一层感知机中构建全域交互作用系数算法，其中全域交互作用系数算法公式如下：
其中，表示t时刻行人j到行人i的全域交互作用系数，PReLu()表示激活函数，W表示权重矩阵，/>为t时刻行人i的隐藏状态，Ni表示对目标行人造成影响的邻居行人集和，exp()表示以自然常数e为底的指数函数；
所述步骤S403中，归一化后需构建第二层感知机设计聚合算法计算行人与邻居行人之间的全域交互作用力，其中聚合算法公式如下：
其中，为t时刻行人i的聚类隐藏状态，包含目标行人与邻居行人之间的全域交互作用力，/>为全域交互作用系数，W为权重矩阵，/>为t时刻行人i的隐藏状态，/>为行人i与行人j的社会力，σ为sigmoid函数；
步骤S404中，加入情景模块扩展上述行人之间全域交互作用的各算法，构建第三层感知机设计障碍物影响算法获取周围环境的影响力，其中障碍物算法公式如下：
其中,与/>分别为行人i与障碍物o在x轴坐标上的距离和y轴坐标上的距离；rio为行人i与给定障碍物o之间的舒适距离，dio为行人i与给定障碍物o之间的实际距离；/>为行人i与障碍物o间的全域交互作用系数，No为障碍物的数量，j表示另一个行人；
步骤S405中，需构建第四层感知机设计空间全域交互作用算法联合上述障碍物与附近其他行人的共同社会力量，其空间全域交互作用算法如下：
其中，δ()为多层感知机，为障碍物对目标行人的全域交互作用力，/>为目标行人与邻居行人之间的全域交互作用力。
该步骤不仅考虑到行人对目标的影响，还引入了障碍物全域交互作用力，充分考虑了目标情境中的真实环境，提高了预测的准确率。通过对障碍物的全域交互作用处理并量化行人与障碍物之间的全域交互作用力能够更加精确地预测目标行人的轨迹。
在本实施例中，所述步骤S402构建第一层感知机设计全域交互作用系数算法量化行人全域交互作用力，代入上述行人i与j的隐藏状态，可得t时刻时行人j对行人i的全域交互作用系数
在本实施例中，所述步骤S403归一化后需构建第二层感知机设计聚合算法计算行人与邻居行人之间的全域交互作用力，代入上述t时刻时行人j对行人i的全域交互作用系数可得t时刻行人i与j的聚类隐藏状态/>和/>
S5：建立轨迹预测目标方程。步骤S5具体包括以下子步骤：
S501：由行人之间的全域交互作用力、行人和障碍物的空间影响力以及偏差三部分组成目标函数的初始状态；
目标函数的初始状态由人与人之间的全域交互作用力、行人和障碍物的空间影响力以及偏差三部分组成，其初始状态计算公式如下：
其中，z为防止过拟合的偏差，为初始状态，obs为最后可观测的时间戳；
S502：构建P-GRU算法完成行人位置预测，构建P-GRU算法并将作为输入完成目标位置预测，其P-GRU算法公式如下：
其中,和/>表示行人i当前可观察状态(用obs表示)与下一个可观察状态(用obs+1表示)之间的距离，根据上述公式可以计算一个预测位置在obs+1时刻的相对位置，Wd为权值矩阵，/>由上述嵌入向量算法推导。
S503：将初始状态输入至P-GRU算法得到行人当前可观察状态与下一个可观察状态之间的距离；
S504：重复S503即可从当前位置预测目标行人的连续位置，获得其后续的短期轨迹。
上述步骤采用轻量级网络构建，并每次实时计算目标当前坐标的下一阶段偏移量，能够大大提高预测的实时性，进而使后续获得的短期轨迹路径更加贴近于真实情况，并且充分考虑了可能会出现过拟合情况而提出了偏差z，提升了本发明的健壮性。
在本实施例中，将行人i与j的全局交互作用pi与pj带入初始状态计算公式可得行人i与j的初始状态与/>再将其通过P-GRU计算可得行人i与j的下一时刻状态/>与/>再通过多层感知机输出下一时刻行人i与j的坐标偏移量，最后将行人i与j的偏移量添加到原本的坐标数值上即可获得行人i与j的下一时刻轨迹坐标。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.基于空间社会力图神经网络的行人轨迹预测方法，其特征在于：包括以下步骤：
S1：使用图像采集器捕捉行人以及周围障碍物位置信息；
S2：建立坐标轴对行人轨迹进行预处理，提取每个行人的位置坐标；
S3：利用社会力对行人之间的全域交互作用进行量化并计算行人之间的斥力；所述利用社会力对行人之间的全域交互作用进行量化并计算行人之间的斥力具体包括以下子步骤：
S301：构建社会力算法量化图神经网络中不同行人之间的全域交互作用力；
S302：构建心理力算法计算行人之间的无接触斥力；
S303：构建触碰力算法计算行人之间的有接触斥力；
所述步骤S301中，行人行走通常与他人保持舒适的距离间隔，并尽量避免与其他移动物体碰撞，其中社会力算法公式如下：
其中，为行人i与j的社会力，即相互作用力，由心理力/>和接触力/>组成，将/>附加到图神经网络的边上，以量化不同行人之间的全域交互作用力；
所述步骤S302中，为保持行人之间舒适的距离，构建心理力算法，其中心理力算法公式如下：
其中，为行人之间的无接触斥力，即心理力，Ai为可调节参数，e为自然常数，rij为行人i与j的舒适距离之和，dij为行人i与j之间的距离，/>为由i指向j的单位向量；
所述步骤S303中，为避免行人之间发生碰撞，构建触碰力算法，其中触碰力算法公式如下：
其中，为行人之间的有接触斥力，即触碰力，/>为i与j的相对速度，Δdij为行人i与j之间相邻单位时间的距离变化量，k0和k1均为可调节参数；
S4：以行人为节点、社会关系为边构建行人的空间社会力图神经网络；构建行人的空间社会力图神经网络具体包括以下子步骤：
S401：将预处理后的图像信息输入图神经网络；
S402：构建第一层感知机设计全域交互作用系数算法量化行人全域交互作用力；
S403：构建第二层感知机设计聚合算法计算行人与邻居行人之间的全域交互作用力；
S404：构建第三层感知机加入情境感知模块，设计障碍物影响算法；
S405：构建第四层感知机设计空间全域交互作用算法融合障碍物与行人的相互力量；
所述步骤S402中，量化行人全域交互作用力需要一个通用的系数，需在第一层感知机中构建全域交互作用系数算法，其中全域交互作用系数算法公式如下：
其中，表示t时刻行人j到行人i的全域交互作用系数，PReLu()表示激活函数，W表示权重矩阵，/>为t时刻行人i的隐藏状态，Ni表示对目标行人造成影响的邻居行人集和，exp()表示以自然常数e为底的指数函数；
所述步骤S403中，归一化后需构建第二层感知机设计聚合算法计算行人与邻居行人之间的全域交互作用力，其中聚合算法公式如下：
其中，为t时刻行人i的聚类隐藏状态，包含目标行人与邻居行人之间的全域交互作用力，/>为全域交互作用系数，W为权重矩阵，/>为t时刻行人i的隐藏状态，/>为行人i与行人j的社会力，σ为sigmoid函数；
步骤S404中，加入情景模块扩展上述行人之间全域交互作用的各算法，构建第三层感知机设计障碍物影响算法获取周围环境的影响力，其中障碍物算法公式如下：
其中,与/>分别为行人i与障碍物o在x轴坐标上的距离和y轴坐标上的距离；rio为行人i与给定障碍物o之间的舒适距离，dio为行人i与给定障碍物o之间的实际距离；/>为行人i与障碍物o间的全域交互作用系数，No为障碍物的数量，j表示另一个行人；
步骤S405中，构建第四层感知机设计空间全域交互作用算法联合上述障碍物与附近其他行人的共同社会力，其空间全域交互作用算法如下：
其中，δ()为多层感知机，为障碍物对目标行人的全域交互作用力，/>为目标行人与邻居行人之间的全域交互作用力；
S5：构建基于空间社会力图神经网络的行人轨迹预测目标方程，预测行人运动轨迹；构建基于空间社会力图神经网络的行人轨迹预测目标方程具体包括以下子步骤：
S501：由行人之间的全域交互作用力、行人和障碍物的空间影响力以及偏差三部分组成目标函数的初始状态；所述步骤S501中，目标函数的初始状态由行人之间的全域交互作用力、行人和障碍物的空间影响力以及偏差三部分组成，其初始状态计算公式如下：
di obs＝pi||z
其中，di obs为初始状态，obs为最后可观测的时间戳，pi为空间全域交互作用，z为防止过拟合的偏差；
S502：构建P-GRU算法完成行人位置预测；
S503：将初始状态输入至P-GRU算法得到行人当前可观察状态与下一个可观察状态之间的距离；所述步骤S502和S503中，构建P-GRU算法并将初始状态di obs作为输入完成目标位置预测，其P-GRU算法公式如下：
di obs+1＝P-GRU(di obs,ei obs；Wd)
其中,和/>表示行人i当前可观察状态与下一个可观察状态之间的距离，可观察状态用obs表示，下一个可观察状态用obs+1表示；根据上述公式计算一个预测位置在obs+1时刻的相对位置，Wd为权值矩阵，ei obs由步骤S203嵌入向量算法计算得到，δ()为多层感知机；
S504：重复S503即可从当前位置预测目标行人的连续位置，获得其后续的短期轨迹。
2.根据权利要求1所述的基于空间社会力图神经网络的行人轨迹预测方法，其特征在于：所述步骤S1中，使用图像采集器捕捉行人以及周围障碍物位置信息包括以下子步骤：
S101：通过图像采集器捕捉源图像画面，对源图像进行预处理识别图像中的行人；
S102：利用面向场景的特征提取算法从不同场景中提取特征信息识别图像中的障碍物；
S103：捕捉行人互动和环境感知信息。
3.根据权利要求1所述的基于空间社会力图神经网络的行人轨迹预测方法，其特征在于：所述步骤S2中，建立坐标轴对行人轨迹进行预处理，提取每个行人的位置坐标具体包括以下子步骤：
S201：形式化行人轨迹，对数据进行预处理；
S202：设计加权平均距离算法，计算不同时间点轨迹信息的权重；
S203：设计嵌入向量算法对两个方向的加权平均距离进行图嵌入处理；
S204：设计隐藏状态算法根据嵌入向量计算每个时刻的隐藏状态；
所述步骤S201中，对数据进行预处理需要计算每个时间戳上行人的相对距离，计算公式如下：
其中，t表示时间戳，i表示行人序号，其中与/>分别为行人i在x轴和y轴方向的坐标，Δxi和Δyi为x轴和y轴上的相对距离；
所述步骤S202中，加权平均距离算法公式如下：
其中，wi为加权平均距离，和/>分别表示行人i在x轴和y轴上的加权平均距离，n＝3表示从第三个轨迹时刻开始计算，T表示最后一个轨迹时刻；
所述步骤S203中，设计嵌入向量算法对两个方向的加权平均距离进行图嵌入处理，其中嵌入向量算法公式如下：
其中，为嵌入向量，/>为嵌入函数，We为嵌入权重；
所述步骤S204中，设计隐藏状态算法根据嵌入向量计算每个时刻的隐藏状态，其中隐藏状态算法公式如下：
其中，S-GRU为处理单个行人轨迹信息的门控循环单元，是S-GRU在t时刻行人i的隐藏状态，Wc为S-GRU的权重矩阵，每个行人的轨迹使用一个单独的门控循环单元处理，不同隐藏层中的参数设定为相同的初始值。
4.基于空间社会力图神经网络的行人轨迹预测系统，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-3任一项所述的方法。
5.一种计算机可读存储介质，其上储存有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-3任一项所述的方法。
CN202310800399.0A 2023-07-03 2023-07-03 基于空间社会力图神经网络的行人轨迹预测方法及系统 Active CN116882148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310800399.0A CN116882148B (zh) 2023-07-03 2023-07-03 基于空间社会力图神经网络的行人轨迹预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310800399.0A CN116882148B (zh) 2023-07-03 2023-07-03 基于空间社会力图神经网络的行人轨迹预测方法及系统

Publications (2)

Publication Number Publication Date
CN116882148A CN116882148A (zh) 2023-10-13
CN116882148B true CN116882148B (zh) 2024-01-30

Family

ID=88257847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310800399.0A Active CN116882148B (zh) 2023-07-03 2023-07-03 基于空间社会力图神经网络的行人轨迹预测方法及系统

Country Status (1)

Country Link
CN (1) CN116882148B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105929947A (zh) * 2016-04-15 2016-09-07 济南大学 一种基于场景态势感知的人机交互方法
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法
CN112017265A (zh) * 2020-08-26 2020-12-01 华东师范大学 一种基于图神经网络的虚拟人运动仿真方法
CN114103893A (zh) * 2021-11-26 2022-03-01 河北春玖智能科技有限公司 一种无人车的轨迹预测防撞方法
CN115376103A (zh) * 2022-08-26 2022-11-22 吉林大学 一种基于时空图注意力网络的行人轨迹预测方法
CN115424236A (zh) * 2022-08-15 2022-12-02 南京航空航天大学 一种融合行人意图和社会力模型的行人过街轨迹预测方法
CN115861383A (zh) * 2023-02-17 2023-03-28 山西清众科技股份有限公司 一种拥挤空间下多信息融合的行人轨迹预测装置及方法
CN116080681A (zh) * 2022-12-29 2023-05-09 中国科学技术大学 基于循环卷积神经网络的周车行为识别与轨迹预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3706034A1 (en) * 2019-03-06 2020-09-09 Robert Bosch GmbH Movement prediction of pedestrians useful for autonomous driving

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105929947A (zh) * 2016-04-15 2016-09-07 济南大学 一种基于场景态势感知的人机交互方法
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法
CN112017265A (zh) * 2020-08-26 2020-12-01 华东师范大学 一种基于图神经网络的虚拟人运动仿真方法
CN114103893A (zh) * 2021-11-26 2022-03-01 河北春玖智能科技有限公司 一种无人车的轨迹预测防撞方法
CN115424236A (zh) * 2022-08-15 2022-12-02 南京航空航天大学 一种融合行人意图和社会力模型的行人过街轨迹预测方法
CN115376103A (zh) * 2022-08-26 2022-11-22 吉林大学 一种基于时空图注意力网络的行人轨迹预测方法
CN116080681A (zh) * 2022-12-29 2023-05-09 中国科学技术大学 基于循环卷积神经网络的周车行为识别与轨迹预测方法
CN115861383A (zh) * 2023-02-17 2023-03-28 山西清众科技股份有限公司 一种拥挤空间下多信息融合的行人轨迹预测装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
移动社交网络环境下的真实社会关系估计;吕明琪;王琦晖;胡克用;;《计算机应用与软件》;第32卷(第01期);第51-54页 *

Also Published As

Publication number Publication date
CN116882148A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
Xue et al. SS-LSTM: A hierarchical LSTM model for pedestrian trajectory prediction
Kosaraju et al. Social-bigat: Multimodal trajectory forecasting using bicycle-gan and graph attention networks
US10991156B2 (en) Multi-modal data fusion for enhanced 3D perception for platforms
Ma et al. Forecasting interactive dynamics of pedestrians with fictitious play
Bierlaire et al. Behavioral dynamics for pedestrians
Choi et al. Looking to relations for future trajectory forecast
Choi et al. Drogon: A causal reasoning framework for future trajectory forecast
Choi et al. Drogon: A trajectory prediction model based on intention-conditioned behavior reasoning
CN112106060A (zh) 控制策略确定方法和系统
Bertoni et al. Perceiving humans: from monocular 3d localization to social distancing
CN114970321A (zh) 一种基于动态轨迹流的场景流数字孪生方法及系统
CN110986945B (zh) 基于语义高度地图的局部导航方法和系统
Khosravi et al. Crowd emotion prediction for human-vehicle interaction through modified transfer learning and fuzzy logic ranking
Ma et al. An intelligence-based approach for prediction of microscopic pedestrian walking behavior
US11900257B2 (en) Method for representing an environment of a mobile platform
CN117015792A (zh) 有凹图像放大用于自动驾驶生成物体检测标签的系统和方法
Bisagno et al. Embedding group and obstacle information in lstm networks for human trajectory prediction in crowded scenes
Chen et al. Pedestrian behavior prediction model with a convolutional LSTM encoder–decoder
Antonini A discrete choice modeling framework for pedestrian walking behavior with application to human tracking in video sequences
CN116882148B (zh) 基于空间社会力图神经网络的行人轨迹预测方法及系统
Katuwandeniya et al. Multi-modal scene-compliant user intention estimation in navigation
Palli-Thazha et al. Trajectory Prediction of Traffic Agents: Incorporating context into machine learning approaches
Bera et al. Modeling trajectory-level behaviors using time varying pedestrian movement dynamics
Hussein et al. A methodology for the microscopic calibration of agent-based pedestrian simulation models
Pantrigo et al. Heuristic particle filter: applying abstraction techniques to the design of visual tracking algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant