CN115424236A - 一种融合行人意图和社会力模型的行人过街轨迹预测方法 - Google Patents

一种融合行人意图和社会力模型的行人过街轨迹预测方法 Download PDF

Info

Publication number
CN115424236A
CN115424236A CN202210972400.3A CN202210972400A CN115424236A CN 115424236 A CN115424236 A CN 115424236A CN 202210972400 A CN202210972400 A CN 202210972400A CN 115424236 A CN115424236 A CN 115424236A
Authority
CN
China
Prior art keywords
pedestrian
vehicle
intention
force
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210972400.3A
Other languages
English (en)
Inventor
秦亚娟
王春燕
赵万忠
张自宇
杨睿涵
陈宇帆
李政翰
刘利锋
王展
刘晓强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210972400.3A priority Critical patent/CN115424236A/zh
Publication of CN115424236A publication Critical patent/CN115424236A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

本发明公开了一种融合行人意图和社会力模型的行人过街轨迹预测方法，包括以下步骤：获取自车行驶状态信息、车辆前方图像和行人运动状态信息；对图像中过街行人姿态关键点进行检测并拟合人体姿态骨架；根据人体姿态骨架，选取能表达行人意图的关键点，计算关键点之间的距离和角度参数；判断行人意图；建立行人在过街时受到的自驱动力、目的地吸引力以及人车交互斥力，并求取合力；根据设定的时间步长，对行人过街运动轨迹进行预测。本发明的行人过街轨迹预测方法融合了行人意图识别过程，对传统的社会力模型进行改进，能够反应出真实的行人过街行为，提高行人过街轨迹预测的准确性。

Description

一种融合行人意图和社会力模型的行人过街轨迹预测方法
技术领域
本发明属于智能驾驶安全技术领域，具体涉及一种融合行人意图和社会力模型的行人过街轨迹预测方法。
背景技术
近年来，智能驾驶汽车道路行驶安全逐步成为关注的热点话题。其中，行人作为道路交通参与者的重要组成部分，在无交通信号路段过街时与智能车之间常常存在碰撞冲突。因此，对行人过街轨迹的预测在智能车安全决策中具有非常重要的作用。
目前，对行人过街轨迹预测的方法主要分为两类：一类是基于数据驱动的网络模型，即利用深度学习网络构建行人轨迹预测算法，以此获取行人轨迹的预测值。另一类方法是基于机理建模的力学模型，主要是基于社会力模型的行人轨迹预测算法。
行人作为道路使用的主动决策者，在过街时具有一定的主观感知性，且其运动具有机动性高的特点。然而，上述基于社会力模型的方法在研究中将行人简化成粒子，没有考虑到行人作为主动决策者在面对道路来车时的微观心理变化，在行人过街轨迹预测上出现预测偏差，造成智能车决策失误，严重影响车辆行驶和行人过街的安全性。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种融合行人意图和社会力模型的行人过街轨迹预测方法，以解决现有基于传统社会力模型的行人过街轨迹预测方法难以描述出行人在面对道路来车时的微观心理变化，从而造成行人过街轨迹预测不准确的问题。本发明的方法将行人作为道路使用的决策者，考虑行人在面对道路来车时的微观心理变化，融合行人意图识别和社会力模型实现对行人过街轨迹的预测，提出的基于人体姿态骨架估计的行人意图识别方法，可根据当前过街行人姿态骨架，利用LVQ神经网络模型，识别出行人的过街意图。利用社会力模型描述出行人过街时的自驱动力、目的地吸引力以及人车交互斥力，并将过街意图在模型中进行量化，最后根据设定的时间步长，得到预设时长内行人的预测轨迹，能够提高行人过街轨迹预测的准确性。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种融合行人意图和社会力模型的行人过街轨迹预测方法，包括以下步骤：
(1)获取自车行驶状态信息、车辆前方图像和行人运动状态信息；
(2)根据所述步骤(1)中采集到的车辆前方图像，利用Openpose算法对图像中过街行人姿态关键点进行检测并拟合人体姿态骨架；根据人体姿态骨架，选取能表达行人意图的关键点，计算关键点之间的距离和角度参数；
(3)将所述步骤(2)中的距离和角度参数作为特征向量输入到训练后的LVQ神经网络模型中，判断行人意图；
(4)建立行人在过街时受到的自驱动力、目的地吸引力以及人车交互斥力，并求取合力，将行人意图以权重形式在社会力模型中量化；根据设定的时间步长，对行人过街运动轨迹进行预测。
进一步地，所述步骤(1)的具体步骤如下：
(11)利用车辆CAN总线获取车辆当前行驶状态信息，所述行驶状态信息包括车辆的行驶速度信息、位置信息；
(12)利用安装在车辆前挡风玻璃上的摄像头获取车辆前方图像；
(13)利用安装在车辆前保险杠处的毫米波雷达获取行人的相对运动状态信息，所述行人的相对运动状态信息包括行人相对车辆的位置信息和速度信息；
(14)根据车辆行驶状态信息和行人的相对运动状态信息，利用毫米波雷达坐标系到世界坐标系的参数转换，得到行人运动状态信息。
进一步地，所述步骤(2)的具体步骤如下：
(21)基于Openpose算法，将所述步骤(1)中获取的车辆前方图像经过VGG-19卷积网络的前十层初始化获得特征图F，利用双支线多阶段卷积网络检测出过街行人姿态关键点并拟合人体姿态骨架；
(22)(行人在不同过街意图的驱使下，其人体姿态骨架呈现出不同的特点)根据行人过街时左侧面朝来车的特点，选取能表达行人意图的关键点，具体选取人体姿态骨架中的脖子、左肩、左肘、左腕、左胯、左膝、左踝、右胯、右膝、右踝，分别用数字1、5、6、7、11、12、13、8、9、10表示，且有连接关系1-5-6-7，11-12-13和8-9-10；
(23)计算关键点之间的距离和角度作为特征参数：计算左肩至左腕的距离d1(即关键点5与7之间)、左膝、右膝关节间距d2(即关键点9与12之间)、左踝、右踝关节间距d3(即关键点10与13之间)；计算左前臂与左后臂的夹角α1(即关键点5-6与6-7之间)、左腿关节角度α2(即关键点11-12与12-13之间)、右腿关节角度α3(即关键点8-9与9-10之间)；
上述中某两个关键点之间的距离用欧几里得距离表示：
Figure BDA0003796989920000021
式中，||v||为两个关键点间欧几里得距离，ΔX和ΔY分别为两个关键点在X轴和Y轴方向上的距离差；
两个关键点组成的线段与X轴的夹角记为α，三个关键点构成一个三角形，计算其中夹角：
Figure BDA0003796989920000031
Figure BDA0003796989920000032
进一步地，所述步骤(21)具体包括：
(211)双支线多阶段卷积网络包含两个分支，第一个分支用于预测检测身体部位关键点的置信图St，利用非最大抑制获取候选关键点集，得到图像中人体姿态关键点的位置；第二个分支用于预测连接身体部位肢体关键点之间的部位亲和力场Lt，计算出图像关键点连接的全局最优解，获取人体姿态骨架；
(212)利用L2范数分别表示双分支的损失函数，即用于检测身体部位关键点置信图的损失函数fst和用于预测连接身体部位肢体关键点之间的部位亲和力场的损失函数fLt，使得最终的总损失函数f最小；
Figure BDA0003796989920000033
Figure BDA0003796989920000034
Figure BDA0003796989920000035
式中，
Figure BDA0003796989920000036
表示身体部位关键点置信图的真实值；
Figure BDA0003796989920000037
表示在第t阶段身体部位关键点置信图的预测值；
Figure BDA0003796989920000038
表示部位亲和力场的真实值；
Figure BDA0003796989920000039
表示在第t阶段部位亲和力场的预测值；W(p)表示损失函数的权重；J表示置信图分支的样本数；C表示部位亲和力场分支的样本数；f表示最终的总损失函数；t,T表示迭代阶段。
进一步地，所述步骤(3)的具体步骤如下：
(31)将所述步骤(23)中计算出的6个特征参数作为特征向量输入到训练后的LVQ神经网络模型中，判断行人意图；所述行人意图包括停下避让、正常通行、加速通过三种过街意图。
进一步地，所述步骤(31)具体包括：
(311)构建一个能够根据人体姿态骨架特征向量识别行人当前过街意图的LVQ神经网络模型；
(312)LVQ神经网络模型包含：输入层、竞争层和线性输出层；选取输入层神经元个数为m个，竞争层神经元个数为n个，输出层神经元个数为k个，且输入层神经元个数根据用来识别行人意图用到的特征参数个数来确定，输出层神经元个数根据设定的行人过街意图个数来确定，竞争层神经元个数根据经验估计方法再经试验确定，最大迭代次数为p；
其中，
Figure BDA0003796989920000041
(313)LVQ神经网络模型的训练过程：初始化输入层和竞争层之间的权值ωij和学习率η，输入层向量选取如下：
Figure BDA0003796989920000042
将输入向量
Figure BDA0003796989920000043
归一化，得到归一化输入向量x，并送入到输入层，计算竞争层神经元与输入向量之间的距离li如下：
Figure BDA0003796989920000044
式中，li为竞争层神经元与输入向量之间的距离；ωij为输入层神经元j与竞争层神经元i之间的权值；xj为归一化后的输入层神经元；
选择与权值向量距离最小的竞争层神经元，记为胜出神经元，从而找到与之相连的线性输出层神经元；如果线性输出层神经元对应的类别与输入向量的类别一致，则称为正确分类，权值按照公式(10)调整；否则，称为不正确分类，权值按照公式(11)调整，进入下一轮训练过程，直至满足预先设定的最大迭代次数p时；
ωij_new＝ωij+η(x-ωij) (10)
ωij_new＝ωij-η(x-ωij) (11)
式中，ωij_new为调整后的权重；η为学习率；x为归一化后的输入向量；
(314)在训练LVQ神经网络模型前，制作能表征行人意图的特征向量数据集，作为LVQ神经网络输入数据，并标注出相应的行人意图结果，作为LVQ神经网络输出结果；取其中数据量的75％作为训练数据集，其余25％作为测试数据集，按照所述步骤(313)方法对LVQ神经网络进行训练和测试。
进一步地，所述步骤(4)的具体步骤如下：
(41)行人在无交通信号道路上过街时，用社会力模型描述行人的运动，根据步骤(1)中的车辆行驶状态信息和行人运动状态信息，建立自驱动力
Figure BDA0003796989920000051
目的地对行人的吸引力
Figure BDA0003796989920000052
以及人车之间交互斥力
Figure BDA0003796989920000053
(42)将行人意图以权重形式在社会力模型中量化，求取自驱动力
Figure BDA0003796989920000054
目的地对行人的吸引力
Figure BDA0003796989920000055
以及人车之间交互斥力
Figure BDA0003796989920000056
三者之间的合力
Figure BDA0003796989920000057
根据设定的时间步长，对行人过街运动轨迹进行预测；
Figure BDA0003796989920000058
Figure BDA0003796989920000059
Figure BDA00037969899200000510
其中，
Figure BDA00037969899200000511
为行人在t时刻受到的合力，不考虑行人的质量，上述力均可视为加速度；
Figure BDA00037969899200000512
为行人在t时刻速度的矢量表示；β1、β2和β3为权重参数；
Figure BDA00037969899200000513
和
Figure BDA00037969899200000514
分别为行人在t时刻和t+1时刻所处位置的矢量表示；
Figure BDA00037969899200000515
和
Figure BDA00037969899200000516
分别为行人在t时刻和t+1时刻速度的矢量表示；Δt为时间步长。
进一步地，所述(41)具体包括：
(411)建立行人在过街时的自驱动力
Figure BDA00037969899200000517
如果没有干扰，行人将以速度vd向期望的方向
Figure BDA00037969899200000518
行进；由于面对来车时必要的减速或躲避行为，行人实际速度
Figure BDA00037969899200000519
与期望速度
Figure BDA00037969899200000520
的差通过一定的弛豫时间τd来修正，以接近期望速度
Figure BDA00037969899200000521
Figure BDA00037969899200000522
Figure BDA00037969899200000523
Figure BDA00037969899200000524
其中，
Figure BDA00037969899200000525
为目的地所在位置的矢量表示；
Figure BDA00037969899200000526
为行人在t时刻所在位置的矢量表示；
(412)建立行人在过街时受到的目的地吸引力
Figure BDA00037969899200000527
表示为：
Figure BDA0003796989920000061
Figure BDA0003796989920000062
其中，Aap和Bap为社会力模型参数；Rp为行人的作用力半径；dap(t)为行人在t时刻距离目的地的距离；
Figure BDA0003796989920000063
为作用力单位向量，由行人p指向目的地a；
(413)建立人车之间交互斥力
Figure BDA0003796989920000064
由心理力
Figure BDA0003796989920000065
和物理力
Figure BDA0003796989920000066
组成；
Figure BDA0003796989920000067
Figure BDA0003796989920000068
Figure BDA0003796989920000069
Figure BDA00037969899200000610
Figure BDA00037969899200000611
其中，Avp、Bvp、k和K为社会力模型参数；Rv为车辆的作用力半径；dvp(t)为行人在t时刻与车辆的距离；
Figure BDA00037969899200000612
为车辆在t时刻所在位置的矢量表示；Δvvp(t)为t时刻行人与车辆的瞬时速度差；
Figure BDA00037969899200000613
为法向作用力单位向量；
Figure BDA00037969899200000614
为切向作用力单位向量。
进一步地，所述步骤(42)具体包括：
(421)当判断行人意图为停下避让时，行人此时的速度为0；行人停下等待车辆通过，此时选取β1＝β2＝β3＝0，即此时行人受到的合力为0；同时，车辆可继续当前行驶状态安全通过；
(422)当判断行人意图为正常通行时，选取β1＝β2＝β3＝1，计算此时行人受到的自驱动力、目的地吸引力和人车交互斥力，并求取合力，根据设定的时间步长，获得行人下一时刻的位置矢量和速度矢量；同时，车辆进行避障路径规划；
(423)当判断行人意图为加速通过时，忽略掉车辆对其造成的部分斥力，选取β1＝1，β2＞1，β3＜1，计算此时行人受到自驱动力、目的地吸引力和人车交互斥力，并求取合力，根据设定的时间步长，获得行人下一时刻的位置矢量和速度矢量；同时，车辆进行避障路径规划。
本发明的有益效果：
1、本发明的行人过街轨迹预测方法，考虑了行人在过街时面对来车的主观能动性，利用行人的姿态骨架估计出行人的过街意图，为过街轨迹预测提供基础；
2、本发明的行人过街轨迹预测方法融合了行人意图识别过程，对传统的社会力模型进行改进，能够反应出真实的行人过街行为，提高行人过街轨迹预测的准确性；
3、本发明的方法能够为智能车后续决策规划提供基础，有利于提高智能车行驶和行人过街的安全性。
附图说明
图1为本发明方法的原理框图；
图2为人体姿态骨架示意图；
图3为基于人体姿态骨架估计的行人意图识别示意图；
图4为LVQ神经网络模型结构示意图；
图5为基于社会力模型的行人受力示意图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
参照图1所示，本发明的一种融合行人意图和社会力模型的行人过街轨迹预测方法，包括以下步骤：
(1)获取自车行驶状态信息、车辆前方图像和行人运动状态信息；具体包括：
(11)利用车辆CAN总线获取车辆当前行驶状态信息，所述行驶状态信息包括车辆的行驶速度信息、位置信息；
(12)利用安装在车辆前挡风玻璃上的摄像头获取车辆前方图像；
(13)利用安装在车辆前保险杠处的毫米波雷达获取行人的相对运动状态信息，所述行人的相对运动状态信息包括行人相对车辆的位置信息和速度信息；
(14)根据车辆行驶状态信息和行人的相对运动状态信息，利用毫米波雷达坐标系到世界坐标系的参数转换，得到行人运动状态信息。
(2)根据所述步骤(1)中采集到的车辆前方图像，利用Openpose算法对图像中过街行人姿态关键点进行检测并拟合人体姿态骨架；根据人体姿态骨架，选取能表达行人意图的关键点，计算关键点之间的距离和角度参数；参照图2所示；具体包括：
(21)基于Openpose算法，将所述步骤(1)中获取的车辆前方图像经过VGG-19卷积网络的前十层初始化获得特征图F，利用双支线多阶段卷积网络检测出过街行人姿态关键点并拟合人体姿态骨架；
(22)(行人在不同过街意图的驱使下，其人体姿态骨架呈现出不同的特点)根据行人过街时左侧面朝来车的特点，选取能表达行人意图的关键点，具体选取人体姿态骨架中的脖子、左肩、左肘、左腕、左胯、左膝、左踝、右胯、右膝、右踝，分别用数字1、5、6、7、11、12、13、8、9、10表示，且有连接关系1-5-6-7，11-12-13和8-9-10；
(23)计算关键点之间的距离和角度作为特征参数：计算左肩至左腕的距离d1(即关键点5与7之间)、左右膝关节间距d2(即关键点9与12之间)、左右踝关节间距d3(即关键点10与13之间)；计算左前臂与左后臂的夹角α1(即关键点5-6与6-7之间)、左腿关节角度α2(即关键点11-12与12-13之间)、右腿关节角度α3(即关键点8-9与9-10之间)；
上述中某两个关键点之间的距离用欧几里得距离表示：
Figure BDA0003796989920000081
式中，||v||为两个关键点间欧几里得距离，ΔX和ΔY分别为两个关键点在X轴和Y轴方向上的距离差；
两个关键点组成的线段与X轴的夹角记为α，三个关键点构成一个三角形，计算其中夹角：
Figure BDA0003796989920000082
Figure BDA0003796989920000083
其中，所述步骤(21)具体包括：
(211)双支线多阶段卷积网络包含两个分支，第一个分支用于预测检测身体部位关键点的置信图St，利用非最大抑制获取候选关键点集，得到图像中人体姿态关键点的位置；第二个分支用于预测连接身体部位肢体关键点之间的部位亲和力场Lt，计算出图像关键点连接的全局最优解，获取人体姿态骨架；
(212)利用L2范数分别表示双分支的损失函数，即用于检测身体部位关键点置信图的损失函数fs t和用于预测连接身体部位肢体关键点之间的部位亲和力场的损失函数
Figure BDA0003796989920000084
使得最终的总损失函数f最小；
Figure BDA0003796989920000091
Figure BDA0003796989920000092
Figure BDA0003796989920000093
式中，
Figure BDA0003796989920000094
表示身体部位关键点置信图的真实值；
Figure BDA0003796989920000095
表示在第t阶段身体部位关键点置信图的预测值；
Figure BDA0003796989920000096
表示部位亲和力场的真实值；
Figure BDA0003796989920000097
表示在第t阶段部位亲和力场的预测值；W(p)表示损失函数的权重；J表示置信图分支的样本数；C表示部位亲和力场分支的样本数；f表示最终的总损失函数；t,T表示迭代阶段。
(3)将所述步骤(2)中的距离和角度参数作为特征向量输入到训练后的LVQ神经网络模型中，判断行人意图；参照图3和图4所示；具体包括：
(31)将所述步骤(23)中计算出的6个特征参数作为特征向量输入到训练后的LVQ神经网络模型中，判断行人意图；所述行人意图包括停下避让、正常通行、加速通过三种过街意图。
具体地，所述步骤(31)具体包括：
(311)构建一个能够根据人体姿态骨架特征向量识别行人当前过街意图的LVQ神经网络模型；
(312)LVQ神经网络模型包含：输入层、竞争层和线性输出层；选取输入层神经元个数为m个，竞争层神经元个数为n个，输出层神经元个数为k个，且输入层神经元个数根据用来识别行人意图用到的特征参数个数来确定，输出层神经元个数根据设定的行人过街意图个数来确定，竞争层神经元个数根据经验估计方法再经试验确定，最大迭代次数为p；
其中，
Figure BDA0003796989920000098
(313)LVQ神经网络模型的训练过程：初始化输入层和竞争层之间的权值ωij和学习率η，输入层向量选取如下：
Figure BDA0003796989920000101
将输入向量
Figure BDA0003796989920000102
归一化，得到归一化输入向量x，并送入到输入层，计算竞争层神经元与输入向量之间的距离li如下：
Figure BDA0003796989920000103
式中，li为竞争层神经元与输入向量之间的距离；ωij为输入层神经元j与竞争层神经元i之间的权值；xj为归一化后的输入层神经元；
选择与权值向量距离最小的竞争层神经元，记为胜出神经元，从而找到与之相连的线性输出层神经元；如果线性输出层神经元对应的类别与输入向量的类别一致，则称为正确分类，权值按照公式(10)调整；否则，称为不正确分类，权值按照公式(11)调整，进入下一轮训练过程，直至满足预先设定的最大迭代次数p时；
ωij_new＝ωij+η(x-ωij) (10)
ωij_new＝ωij-η(x-ωij) (11)
式中，ωij_new为调整后的权重；η为学习率；x为归一化后的输入向量；
(314)在训练LVQ神经网络模型前，制作能表征行人意图的特征向量数据集，作为LVQ神经网络输入数据，并标注出相应的行人意图结果，作为LVQ神经网络输出结果；取其中数据量的75％作为训练数据集，其余25％作为测试数据集，按照所述步骤(313)方法对LVQ神经网络进行训练和测试。
(4)建立行人在过街时受到的自驱动力、目的地吸引力以及人车交互斥力，并求取合力，将行人意图以权重形式在社会力模型中量化；根据设定的时间步长，对行人过街运动轨迹进行预测；参照图5所示；具体包括：
(41)行人在无交通信号道路上过街时，用社会力模型描述行人的运动，根据步骤(1)中的车辆行驶状态信息和行人运动状态信息，建立自驱动力
Figure BDA0003796989920000104
目的地对行人的吸引力
Figure BDA0003796989920000105
以及人车之间交互斥力
Figure BDA0003796989920000106
(42)将行人意图以权重形式在社会力模型中量化，求取自驱动力
Figure BDA0003796989920000107
目的地对行人的吸引力
Figure BDA0003796989920000108
以及人车之间交互斥力
Figure BDA0003796989920000109
三者之间的合力
Figure BDA00037969899200001010
根据设定的时间步长，对行人过街运动轨迹进行预测；
Figure BDA0003796989920000111
Figure BDA0003796989920000112
Figure BDA0003796989920000113
其中，
Figure BDA0003796989920000114
为行人在t时刻受到的合力，不考虑行人的质量，上述力均可视为加速度；
Figure BDA0003796989920000115
为行人在t时刻速度的矢量表示；β1、β2和β3为权重参数；
Figure BDA0003796989920000116
和
Figure BDA0003796989920000117
分别为行人在t时刻和t+1时刻所处位置的矢量表示；
Figure BDA0003796989920000118
和
Figure BDA0003796989920000119
分别为行人在t时刻和t+1时刻速度的矢量表示；Δt为时间步长。
其中，所述(41)具体包括：
(411)建立行人在过街时的自驱动力
Figure BDA00037969899200001110
如果没有干扰，行人将以速度vd向期望的方向
Figure BDA00037969899200001111
行进；由于面对来车时必要的减速或躲避行为，行人实际速度
Figure BDA00037969899200001112
与期望速度
Figure BDA00037969899200001113
的差通过一定的弛豫时间τd来修正，以接近期望速度
Figure BDA00037969899200001114
Figure BDA00037969899200001115
Figure BDA00037969899200001116
Figure BDA00037969899200001117
其中，
Figure BDA00037969899200001118
为目的地所在位置的矢量表示；
Figure BDA00037969899200001119
为行人在t时刻所在位置的矢量表示；
(412)建立行人在过街时受到的目的地吸引力
Figure BDA00037969899200001120
表示为：
Figure BDA00037969899200001121
Figure BDA00037969899200001122
其中，Aap和Bap为社会力模型参数；Rp为行人的作用力半径；dap(t)为行人在t时刻距离目的地的距离；
Figure BDA00037969899200001123
为作用力单位向量，由行人p指向目的地a；
(413)建立人车之间交互斥力
Figure BDA00037969899200001124
由心理力
Figure BDA00037969899200001125
和物理力
Figure BDA00037969899200001126
组成；
Figure BDA0003796989920000121
Figure BDA0003796989920000122
Figure BDA0003796989920000123
Figure BDA0003796989920000124
Figure BDA0003796989920000125
其中，Avp、Bvp、k和K为社会力模型参数；Rv为车辆的作用力半径；dvp(t)为行人在t时刻与车辆的距离；
Figure BDA0003796989920000126
为车辆在t时刻所在位置的矢量表示；Δvvp(t)为t时刻行人与车辆的瞬时速度差；
Figure BDA0003796989920000127
为法向作用力单位向量；
Figure BDA0003796989920000128
为切向作用力单位向量。
其中，所述步骤(42)具体包括：
(421)当判断行人意图为停下避让时，行人此时的速度为0；行人停下等待车辆通过，此时选取β1＝β2＝β3＝0，即此时行人受到的合力为0；同时，智能车辆可继续当前行驶状态安全通过；
(422)当判断行人意图为正常通行时，选取β1＝β2＝β3＝1，计算此时行人受到的自驱动力、目的地吸引力和人车交互斥力，并求取合力，根据设定的时间步长，获得行人下一时刻的位置矢量和速度矢量；同时，智能车辆进行避障路径规划；
(423)当判断行人意图为加速通过时，忽略掉车辆对其造成的部分斥力，选取β1＝1，β2＞1，β3＜1，计算此时行人受到自驱动力、目的地吸引力和人车交互斥力，并求取合力，根据设定的时间步长，获得行人下一时刻的位置矢量和速度矢量；同时，智能车辆进行避障路径规划。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (9)

1.一种融合行人意图和社会力模型的行人过街轨迹预测方法，其特征在于，包括以下步骤：
(1)获取自车行驶状态信息、车辆前方图像和行人运动状态信息；
(2)根据所述步骤(1)中采集到的车辆前方图像，利用Openpose算法对图像中过街行人姿态关键点进行检测并拟合人体姿态骨架；根据人体姿态骨架，选取能表达行人意图的关键点，计算关键点之间的距离和角度参数；
(3)将所述步骤(2)中的距离和角度参数作为特征向量输入到训练后的LVQ神经网络模型中，判断行人意图；
(4)建立行人在过街时受到的自驱动力、目的地吸引力以及人车交互斥力，并求取合力，将行人意图以权重形式在社会力模型中量化；根据设定的时间步长，对行人过街运动轨迹进行预测。
2.根据权利要求1所述的融合行人意图和社会力模型的行人过街轨迹预测方法，其特征在于，所述步骤(1)的具体步骤如下：
(11)利用车辆CAN总线获取车辆当前行驶状态信息，所述行驶状态信息包括车辆的行驶速度信息、位置信息；
(12)利用安装在车辆前挡风玻璃上的摄像头获取车辆前方图像；
(13)利用安装在车辆前保险杠处的毫米波雷达获取行人的相对运动状态信息，所述行人的相对运动状态信息包括行人相对车辆的位置信息和速度信息；
(14)根据车辆行驶状态信息和行人的相对运动状态信息，利用毫米波雷达坐标系到世界坐标系的参数转换，得到行人运动状态信息。
3.根据权利要求1所述的融合行人意图和社会力模型的行人过街轨迹预测方法，其特征在于，所述步骤(2)的具体步骤如下：
(21)基于Openpose算法，将所述步骤(1)中获取的车辆前方图像经过VGG-19卷积网络的前十层初始化获得特征图F，利用双支线多阶段卷积网络检测出过街行人姿态关键点并拟合人体姿态骨架；
(22)根据行人过街时左侧面朝来车的特点，选取能表达行人意图的关键点，具体选取人体姿态骨架中的脖子、左肩、左肘、左腕、左胯、左膝、左踝、右胯、右膝、右踝；
(23)计算关键点之间的距离和角度作为特征参数：计算左肩至左腕的距离d1、左膝、右膝关节间距d2、左踝、右踝关节间距d3；计算左前臂与左后臂的夹角α1、左腿关节角度α2、右腿关节角度α3；
上述中某两个关键点之间的距离用欧几里得距离表示：
Figure FDA0003796989910000021
式中，||v||为两个关键点间欧几里得距离，ΔX和ΔY分别为两个关键点在X轴和Y轴方向上的距离差；
两个关键点组成的线段与X轴的夹角记为α，三个关键点构成一个三角形，计算其中夹角：
Figure FDA0003796989910000022
Figure FDA0003796989910000023
4.根据权利要求3所述的融合行人意图和社会力模型的行人过街轨迹预测方法，其特征在于，所述步骤(21)具体包括：
(211)双支线多阶段卷积网络包含两个分支，第一个分支用于预测检测身体部位关键点的置信图St，利用非最大抑制获取候选关键点集，得到图像中人体姿态关键点的位置；第二个分支用于预测连接身体部位肢体关键点之间的部位亲和力场Lt，计算出图像关键点连接的全局最优解，获取人体姿态骨架；
(212)利用L2范数分别表示双分支的损失函数，即用于检测身体部位关键点置信图的损失函数
Figure FDA0003796989910000024
和用于预测连接身体部位肢体关键点之间的部位亲和力场的损失函数
Figure FDA0003796989910000025
使得最终的总损失函数f最小；
Figure FDA0003796989910000026
Figure FDA0003796989910000027
Figure FDA0003796989910000028
式中，
Figure FDA0003796989910000029
表示身体部位关键点置信图的真实值；
Figure FDA00037969899100000210
表示在第t阶段身体部位关键点置信图的预测值；
Figure FDA00037969899100000211
表示部位亲和力场的真实值；
Figure FDA00037969899100000212
表示在第t阶段部位亲和力场的预测值；W(p)表示损失函数的权重；J表示置信图分支的样本数，C表示部位亲和力场分支的样本数；f表示最终的总损失函数；t,T表示迭代阶段。
5.根据权利要求3所述的融合行人意图和社会力模型的行人过街轨迹预测方法，其特征在于，所述步骤(3)的具体步骤如下：
(31)将所述步骤(23)中计算出的6个特征参数作为特征向量输入到训练后的LVQ神经网络模型中，判断行人意图；所述行人意图包括停下避让、正常通行、加速通过三种过街意图。
6.根据权利要求5所述的融合行人意图和社会力模型的行人过街轨迹预测方法，其特征在于，所述步骤(31)具体包括：
(311)构建一个能够根据人体姿态骨架特征向量识别行人当前过街意图的LVQ神经网络模型；
(312)LVQ神经网络模型包含：输入层、竞争层和线性输出层；选取输入层神经元个数为m个，竞争层神经元个数为n个，输出层神经元个数为k个，且输入层神经元个数根据用来识别行人意图用到的特征参数个数来确定，输出层神经元个数根据设定的行人过街意图个数来确定，竞争层神经元个数根据经验估计方法再经试验确定，最大迭代次数为p；
其中，
Figure FDA0003796989910000031
(313)LVQ神经网络模型的训练过程：初始化输入层和竞争层之间的权值ωij和学习率η，输入层向量选取如下：
Figure FDA0003796989910000032
将输入向量
Figure FDA0003796989910000033
归一化，得到归一化输入向量x，并送入到输入层，计算竞争层神经元与输入向量之间的距离li如下：
Figure FDA0003796989910000034
式中，li为竞争层神经元与输入向量之间的距离；ωij为输入层神经元j与竞争层神经元i之间的权值；xj为归一化后的输入层神经元；
选择与权值向量距离最小的竞争层神经元，记为胜出神经元，从而找到与之相连的线性输出层神经元；如果线性输出层神经元对应的类别与输入向量的类别一致，则称为正确分类，权值按照公式(10)调整；否则，称为不正确分类，权值按照公式(11)调整，进入下一轮训练过程，直至满足预先设定的最大迭代次数p时；
ωij_new＝ωij+η(x-ωij) (10)
ωij_new＝ωij-η(x-ωij) (11)
式中，ωij_new为调整后的权重；η为学习率；x为归一化后的输入向量；
(314)在训练LVQ神经网络模型前，制作能表征行人意图的特征向量数据集，作为LVQ神经网络输入数据，并标注出相应的行人意图结果，作为LVQ神经网络输出结果；取其中数据量的75％作为训练数据集，其余25％作为测试数据集，按照所述步骤(313)方法对LVQ神经网络进行训练和测试。
7.根据权利要求1所述的融合行人意图和社会力模型的行人过街轨迹预测方法，其特征在于，所述步骤(4)的具体步骤如下：
(41)行人在无交通信号道路上过街时，用社会力模型描述行人的运动，根据步骤(1)中的车辆行驶状态信息和行人运动状态信息，建立自驱动力
Figure FDA0003796989910000041
目的地对行人的吸引力
Figure FDA0003796989910000042
以及人车之间交互斥力
Figure FDA0003796989910000043
(42)将行人意图以权重形式在社会力模型中量化，求取自驱动力
Figure FDA0003796989910000044
目的地对行人的吸引力
Figure FDA0003796989910000045
以及人车之间交互斥力
Figure FDA0003796989910000046
三者之间的合力
Figure FDA0003796989910000047
根据设定的时间步长，对行人过街运动轨迹进行预测；
Figure FDA0003796989910000048
Figure FDA0003796989910000049
Figure FDA00037969899100000410
其中，
Figure FDA00037969899100000411
为行人在t时刻受到的合力；
Figure FDA00037969899100000412
为行人在t时刻速度的矢量表示；β1、β2和β3为权重参数；
Figure FDA00037969899100000413
和
Figure FDA00037969899100000414
分别为行人在t时刻和t+1时刻所处位置的矢量表示；
Figure FDA00037969899100000415
和
Figure FDA00037969899100000416
分别为行人在t时刻和t+1时刻速度的矢量表示；Δt为时间步长。
8.根据权利要求7所述的融合行人意图和社会力模型的行人过街轨迹预测方法，其特征在于，所述(41)具体包括：
(411)建立行人在过街时的自驱动力
Figure FDA0003796989910000051
如果没有干扰，行人将以速度vd向期望的方向
Figure FDA0003796989910000052
行进；由于面对来车时必要的减速或躲避行为，行人实际速度
Figure FDA0003796989910000053
与期望速度
Figure FDA0003796989910000054
的差通过一定的弛豫时间τd来修正，以接近期望速度
Figure FDA0003796989910000055
Figure FDA0003796989910000056
Figure FDA0003796989910000057
Figure FDA0003796989910000058
其中，
Figure FDA0003796989910000059
为目的地所在位置的矢量表示；
Figure FDA00037969899100000510
为行人在t时刻所在位置的矢量表示；
(412)建立行人在过街时受到的目的地吸引力
Figure FDA00037969899100000511
表示为：
Figure FDA00037969899100000512
Figure FDA00037969899100000513
其中，Aap和Bap为社会力模型参数；Rp为行人的作用力半径；dap(t)为行人在t时刻距离目的地的距离；
Figure FDA00037969899100000525
为作用力单位向量，由行人p指向目的地a；
(413)建立人车之间交互斥力
Figure FDA00037969899100000514
由心理力
Figure FDA00037969899100000515
和物理力
Figure FDA00037969899100000516
组成；
Figure FDA00037969899100000517
Figure FDA00037969899100000518
Figure FDA00037969899100000519
Figure FDA00037969899100000520
Figure FDA00037969899100000521
其中，Avp、Bvp、k和K为社会力模型参数；Rv为车辆的作用力半径；dvp(t)为行人在t时刻与车辆的距离；
Figure FDA00037969899100000526
为车辆在t时刻所在位置的矢量表示；Δvvp(t)为t时刻行人与车辆的瞬时速度差；
Figure FDA00037969899100000523
为法向作用力单位向量；
Figure FDA00037969899100000524
为切向作用力单位向量。
9.根据权利要求7所述的融合行人意图和社会力模型的行人过街轨迹预测方法，其特征在于，所述步骤(42)具体包括：
(421)当判断行人意图为停下避让时，行人此时的速度为0；行人停下等待车辆通过，此时选取β1＝β2＝β3＝0，即此时行人受到的合力为0；同时，车辆可继续当前行驶状态安全通过；
(422)当判断行人意图为正常通行时，选取β1＝β2＝β3＝1，计算此时行人受到的自驱动力、目的地吸引力和人车交互斥力，并求取合力，根据设定的时间步长，获得行人下一时刻的位置矢量和速度矢量；同时，车辆进行避障路径规划；
(423)当判断行人意图为加速通过时，忽略掉车辆对其造成的部分斥力，选取β1＝1，β2＞1，β3＜1，计算此时行人受到自驱动力、目的地吸引力和人车交互斥力，并求取合力，根据设定的时间步长，获得行人下一时刻的位置矢量和速度矢量；同时，车辆进行避障路径规划。
CN202210972400.3A 2022-08-15 2022-08-15 一种融合行人意图和社会力模型的行人过街轨迹预测方法 Pending CN115424236A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210972400.3A CN115424236A (zh) 2022-08-15 2022-08-15 一种融合行人意图和社会力模型的行人过街轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210972400.3A CN115424236A (zh) 2022-08-15 2022-08-15 一种融合行人意图和社会力模型的行人过街轨迹预测方法

Publications (1)

Publication Number Publication Date
CN115424236A true CN115424236A (zh) 2022-12-02

Family

ID=84198153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210972400.3A Pending CN115424236A (zh) 2022-08-15 2022-08-15 一种融合行人意图和社会力模型的行人过街轨迹预测方法

Country Status (1)

Country Link
CN (1) CN115424236A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810203A (zh) * 2022-12-19 2023-03-17 天翼爱音乐文化科技有限公司 一种障碍物躲避识别方法、系统、电子设备及存储介质
CN116882148A (zh) * 2023-07-03 2023-10-13 成都信息工程大学 一种基于空间社会力图神经网络的行人轨迹预测方法及系统
CN115810203B (zh) * 2022-12-19 2024-05-10 天翼爱音乐文化科技有限公司 一种障碍物躲避识别方法、系统、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810203A (zh) * 2022-12-19 2023-03-17 天翼爱音乐文化科技有限公司 一种障碍物躲避识别方法、系统、电子设备及存储介质
CN115810203B (zh) * 2022-12-19 2024-05-10 天翼爱音乐文化科技有限公司 一种障碍物躲避识别方法、系统、电子设备及存储介质
CN116882148A (zh) * 2023-07-03 2023-10-13 成都信息工程大学 一种基于空间社会力图神经网络的行人轨迹预测方法及系统
CN116882148B (zh) * 2023-07-03 2024-01-30 成都信息工程大学 基于空间社会力图神经网络的行人轨迹预测方法及系统

Similar Documents

Publication Publication Date Title
CN110264721B (zh) 一种城市交叉口周边车辆轨迹预测方法
CN109285348B (zh) 基于无人机与长短时记忆网络的车辆行为识别方法及系统
CN109800658B (zh) 基于神经网络的泊车位类型在线识别与定位系统及方法
CN109635793A (zh) 一种基于卷积神经网络的无人驾驶行人轨迹预测方法
CN112347567A (zh) 一种车辆意图和轨迹预测的方法
CN110597086A (zh) 仿真场景生成方法和无人驾驶系统测试方法
CN112085077B (zh) 车辆变道的确定方法、装置、存储介质和电子设备
Hecker et al. Learning accurate, comfortable and human-like driving
CN107310550A (zh) 道路交通工具行驶控制方法和装置
JP7176478B2 (ja) 画像認識装置
CN111583715A (zh) 一种车辆轨迹预测方法、车辆碰撞预警方法、装置及存储介质
CN111645673B (zh) 一种基于深度强化学习的自动泊车方法
CN112863245B (zh) 基于深度神经网络的车辆换道轨迹实时预测方法
JP7345577B2 (ja) 自律走行車両用動的モデル評価パッケージ
CN115424236A (zh) 一种融合行人意图和社会力模型的行人过街轨迹预测方法
CN110175654A (zh) 一种轨迹路标的更新方法及系统
Wang et al. End-to-end driving simulation via angle branched network
CN114179830A (zh) 一种自动驾驶车辆的自主超车方法和系统
CN116304969A (zh) 基于lstm-gnn考虑道路信息的车辆轨迹多模态预测方法
Milanés et al. An approach to driverless vehicles in highways
CN114906154A (zh) 车辆行驶道路类别判断方法、系统、电子设备及存储介质
CN114996116A (zh) 一种针对自动驾驶系统的拟人性评价方法
Fang et al. Driving intention recognition of human drivers in mixed traffic flow
CN113793497A (zh) 一种考虑多因素的行人过街行为预测方法
CN113033902A (zh) 一种基于改进深度学习的自动驾驶换道轨迹规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination