CN114511999A - 一种行人行为预测方法及装置 - Google Patents

Abstract

本发明涉及一种行人行为预测方法及装置，属于行为预测技术领域。本发明除了获取行人历史轨迹数据外，还获取行人周围车辆信息，根据行人周围车辆信息和所述平均速度确定相关时间序列，所述相关时间序列包括行人以当前速行驶通过斑马线的时间、减速至与车辆保持安全距离的时间和保证不发生碰撞且与车辆保持安全距离下行人离开斑马线的时间，根据行人历史轨迹数据、车辆与行人的间距、相关时间序列对行人未来行为状态概率进行预测，利用得到的行为状态概率预测行人行为轨迹，实现对行人行为的预测。本发明充分考虑了行人在过路口斑马线时车辆对行人行为的影响，预测的行人行为与实际情况更加符合，提高了行人行为预测的准确性。

Description

一种行人行为预测方法及装置

技术领域

本发明涉及一种行人行为预测方法及装置，属于行为预测技术领域。

背景技术

行人作为道路交通重要的参与者之一，其行为具有很大的随意性，对具有结构化道路上的行人进行行为预测，自动驾驶车辆根据行人的行为预测提前做出制动、避障等操作，能够极大提升自动驾驶车辆的安全与舒适性能。目前对行人行为的预测主要基于行人的位置、属性等因素。例如申请公布号为CN108172025A的专利申请文件，该文件公开了一种基于辅助驾驶方法、装置、车载终端及车辆，并具体公开了基于图像序列获取行人位置、行人属性、行人运动趋势等，根据行人运动趋势确定行人意图，实现对行人行为的预测；申请公布号为CN107657345A的专利申请文件，该申请文件公开了一种基于于马尔科夫跳变的行人行走行为预测方法，该方法采用一种智能的启发式规则选取行人的移动方向，并利用马尔科夫跳变的规则选取速度大小，同时也考虑到行人在移动过程中的物理环境，从而预测人群的移动行为。上述方案虽然都能够实现对行人行为的预测，但是都未考虑周围车辆对行人的影响，而周围车辆对行人的行为有很大影响，因此，目前的预测方法预测结果准确性低，与实际差异较大。

发明内容

本发明的目的是提供一种行人行为预测方法及装置，以解决目前行人行为预测中没有考虑周围车辆影响导致的预测结果不准的问题。

本发明为解决上述技术问题而提供一种行人行为预测方法，该预测方法包括以下步骤：

1)获取行人历史轨迹，包括行人运动方向序列、运动速度序列和运动加速速度序列，基于获取的行人历史轨迹确定对应的平均速度；

2)获取行人周围车辆信息，包括车辆与行人的间距和车辆的速度；

3)根据行人周围车辆信息和所述平均速度确定相关时间序列，所述相关时间序列包括行人以当前速行驶通过斑马线的时间、减速至与车辆保持安全距离的时间和保证不发生碰撞且与车辆保持安全距离下行人离开斑马线的时间；

4)将得到的行人运动方向序列、运动加速速度序列、车辆与行人的间距、相关时间序列带入到状态空间概率预测模型中，得到行人未来各行为状态的概率，所述状态空间概率预测模型为训练好的机器学习模型；

5)根据行人的可行走区域和当前行人状态信息预测行人未来设定时间内的轨迹，并根据行人行为状态空间概率确定每个轨迹点的速度。

本发明还提供了一种行人行为预测装置，该预测装置包括处理器和存储器，所述处理器执行由所述存储器存储的计算机程序，以实现本发明的行人行为预测方法。

由于行人在穿过路口时，周围车辆对行人行为状态有很大的影响，因此，本发明除了获取行人历史轨迹数据外，还获取行人周围车辆信息，根据行人周围车辆信息和所述平均速度确定相关时间序列，所述相关时间序列包括行人以当前速行驶通过斑马线的时间、减速至与车辆保持安全距离的时间和保证不发生碰撞且与车辆保持安全距离下行人离开斑马线的时间，根据行人历史轨迹数据、车辆与行人的间距、相关时间序列对行人未来行为状态概率进行预测，利用得到的行为状态概率预测行人行为轨迹，实现对行人行为的预测。本发明充分考虑了行人在过路口斑马线时车辆对行人行为的影响，预测的行人行为与实际情况更加符合，提高了行人行为预测的准确性。

进一步地，考虑到红绿灯对行人行为的影响，提高行人行为预测的准确性，若当前路口存在红绿灯，该方法还需获取红绿灯状态，并在当前路口是红灯时，对步骤4)获取的行人未来各行为状态的概率进行修正，修正时根据行人进入斑马线距离对应的继续通行概率的分布函数确定。

进一步地，所述步骤3)中的状态空间概率预测模型采用全连接神经网络模型。

进一步地，为保证模型预测的准确性，所述的全连接神经网络模型包括三个隐藏层。

进一步地，为保证轨迹预测的准确性，所述步骤5)采用Kalman进行轨迹预测。

进一步地，将减少Kalman预测轨迹的误差，该方法还包括对Kalman预测出的轨迹进行直线拟合。

进一步地，所述的行人的可行走区域为斑马线所在区域。

附图说明

图1是本发明行人行为预测方法实现的流程如示意图；

图2是没有红绿灯路口时的行人行走状态示意图；

图3是没有红绿灯路口时的行人行走状态示意图；

图4是行人与车辆相对位置关系示意图；

图5是本发明采用的状态空间概率预测模型的网络结构示意图；

图6是行人与斑马线的路程关系示意图；

图7是本发明行人行为预测装置的结构框图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步地说明。

方法实施例

考虑到行人行为除了受到周围物理环境(道路)影响外，还受到周围车辆和红绿灯的影响，因此，本发明提出了一种行人行为预测方法，该方法的流程如图1所示，该预测方法首先获取行人的历史轨迹数据和周围车辆信息，根据历史轨迹数据和周围车辆信息确定相关时间序列，包括行人以当前速行驶通过斑马线的时间、减速至与车辆保持安全距离的时间和保证不发生碰撞且与车辆保持安全距离下行人离开斑马线的时间，利用得到相关时间序列和历史轨迹数据预测行人行为，此外，还考虑红绿灯的影响，根据红灯时行人进入斑马线距离对应的继续通行概率对行人行为进行修正，下面针对上述过程进行详细说明。

1.获取行人历史轨迹数据，确定行人历史轨迹中行驶过程中的平均速度。

由于行人在行走过程中可能会出现停止，减速行走，加速行走，折返等多种情况，如图2和图3所示，甚至在下一时刻都会变换到另一个动作，所以历史轨迹能够提供的重要信息包括运动方向θ和运动平均加速度a，如果当前状态与历史轨迹信息状态相冲突，历史轨迹信息就会被重置。本发明的获取的历史轨迹信息指的是行人在当前时刻之前若干秒的轨迹数据，例如，获取的是从当前时刻开始到当前时刻前5秒钟的数据。

利用Kalman滤波并结合当前运动状态S_curr，过滤掉偏差较大的历史轨迹点，拟合出行人运动倾向角θ_intention，根据行人的历史轨迹数据，可以得到一系列速度v＝{v₀,v₁,v₂,…,v_n},其中n代表历史轨迹点的数量，计算得到行人历史轨迹中行驶过程中的平均速度：

其中v_i表示第i个轨迹点的速度，v_aver表示平均速度。

2.获取行人周围车辆信息，确定行人行为状态空间概率。

周围车辆是行人改变当前行为状态的重要因素之一，行人在穿越斑马线时与车辆的相对位置关系如图4所示，因此，需要获取行人周围车辆信息，包括车辆与行人的间距(包括横向距离与纵向距离)和车辆自身的车速。根据获取的行人周围车辆信息确定行人与周围车辆最短碰撞距离L，L为min(L1，L2)，其中L1为车辆与行人的横向距离，L2为车辆与行人的纵向距离；根据车辆的速度和当前行人的行驶速度、最短碰撞距离L和步骤1中确定平均速度计算行人以当前速度行驶通过斑马线(长度为L3)的时间t₁，并计算减速至与车辆保持安全距离的时间t₂、保证不发生碰撞且与车辆保持安全距离情况下的行人离开斑马线的时间t₃。具体的计算公式如下：

t1＝L3/vn,(vn代表当前速度)

t2＝L2/vaver,(vaver代表上述的平均速度)

t3＝L3/vaver，这三种时间的计算认为是行人与车辆交互中的潜在特征，所以将三类时间计算并添加到数据集中。

通过模型训练建立行人行为状态空间概率与行人历史加速度、历史运动倾角、车辆速度、车辆与行人的间距、t₁、t₂和t₃之间的关系，具体来说明，本发明采用神经网络模型来训练，数据集为利用自动驾驶车辆在测试过程中采集到的路口具有斑马线的自定义数据集，数据集规模达到5k条左右，基本的训练已经足够，后续的数据集的规模可视工作的时间增长而增加，如图5所示，本实施例采用的神经网络模型包括一个输入层、三个隐藏层和一个输出层，其中输入层的输入数据包括行人历史加速度、历史运动倾角、车辆速度、车辆与行人的间距、t₁、t₂和t₃，输出层用于输出行人的加速概率、减速概率和匀速概率。

构建训练集对上述神经网络模型进行训练，训练集采用过去的数据，构建时需要对数据进行转化处理，以减少不同特征之间量纲的影响，提高模型的收敛速度。其中标准化采用的公式为：

其中x_i为单个特征，为同一特征几何，标准化后的数据均落在0到1之间，X为为同一个特征的集合，标准化后的数据均落在0到1之间。对每个特征都进行标准化处理，将标准化处理后的特征进行组合，形成一维序列，该序列即为全连接神经网络的输入特征，序列形式为：

X＝[a,θ,v,dis,t]

其中a＝[a₁,a₂,a₃,…,a_n]为历史加速度变化序列，θ＝[θ₁,θ₂,θ₃,…,θ_n]为历史运动倾角变化序列，t＝[t₁,t₂,t₃]为相关时间组合序列，v为车辆当前速度，dis为行人与车辆的间距。

该模型采用tensorflow2.0版本进行搭建，其中设置了3个Hidden_Layer(隐藏层)，最后一个输出层采用softmax激活函数，能够有效的进行意图区分。多次训练、验证和调参后获得较好的accuracy(准确率)的情况下，保存模型，计算概率时只需要进行前向传播，便可以得到三种概率结果[P_slow,P_speed,P_aver]。其中P_slow为行人减速行走的概率，P_speed为行人加速行走的概率，P_aver为行人按平均速度行走的概率。

若行人当前所在的路口有红绿灯，还需要根据当前路口红绿灯的状态对状态空间概率进行优化。

如果当前是绿灯，行人通行的概率就会比较大，如果是红灯，或者黄灯的情况下，行人通行的概率较低，但是如果行人已经进入了斑马线，且行人进入斑马线的距离足够远，行人继续通行的概率就会比较大。根据历史数据计算在不同的S1/S情况下的继续通行的概率分布函数f_s(该函数由统计数据得出)，红灯下行人通过的概率P_pass为：

其中S为斑马线的长度，S1为行人已进入斑马线的距离，如图6所示。如果有红绿灯，且当前为红灯时，P_s＝[P_slow,P_speed,P_aver]*P_pass，其他情况下，P_s＝[P_slow,P_speed,P_aver]*P_pass。

3.根据行人的可行走区域和当前行人状态信息预测行人未来设定时间内的轨迹，并根据行人行为状态空间概率确定每个轨迹点的速度。

行人的可行走区域根据斑马线区域信息获取，本发明将斑马线形成的区域作为行人的可行走区域。本发明采用Kalman滤波法预测行人未来的轨迹，为保证预测的精度，只预测未来很短时间内的轨迹，本实施例预测未来2s内的行人轨迹，Kalman滤波的核心处理过程如下：

(1)x为状态向量，x′为预测的状态向量，F是状态转移矩阵，u为扰动量，x＝[x,y,ax,ay],其中分别表达(x坐标，y坐标，加速度ax,加速度ay)加速度的计算是根据历史轨迹点所计算的，x’实际物理意义为下一时刻的轨迹点状态，则：

x′＝Fx+u

P′＝FPF^T

P表示系统的不确定成度，Q表示过程噪声。

(2)计算观测到的观测值z与预测值x′之间的差值：

y＝z-Hx′

(3)计算卡尔曼增益K，即求差值y的权重

S＝HP′H^T+R

K＝P′H^TS^-1

(4)更新当前状态向量x,更新系统的不确定度P

x＝x′+Ky

P＝(1-KH)P′

尽管Kalman预测在预测方面表现的不错，但依然有较大的限制，不能进行长时间的轨迹预测，误差会变得更大，在这种情况下，基于Kalman的预测轨迹，后面加一段直线拟合的轨迹以表征行人的未来轨迹(轨迹的形状为一段曲线加一段直线的方式组成，其中曲线部分为卡尔曼预测的轨迹，直线在曲线之后添加的，即轨迹曲线由曲线与直线组合而成)。

通过上述过程，本发明能够根据行人自身的历史轨迹数据、周围车辆信息和红绿灯信息确定出未来行人行为状态，使得车辆能够根据确定出的未来行人行为状态对车辆进行控制。

装置实施例

本实施例提出的装置，如图7所示，包括处理器、存储器，存储器中存储有可在处理器上运行的计算机程序，所述处理器在执行计算机程序时实现上述方法实施例的方法。也就是说，以上方法实施例中的方法应理解可由计算机程序指令实现行人行为预测方法的流程。可提供这些计算机程序指令到处理器，使得通过处理器执行这些指令产生用于实现上述方法流程所指定的功能。

本实施例所指的处理器是指微处理器MCU或可编程逻辑器件FPGA等的处理装置；本实施例所指的存储器包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。例如：利用电能方式存储信息的各式存储器，RAM、ROM等；利用磁能方式存储信息的的各式存储器，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的各式存储器，CD或DVD。当然，还有其他方式的存储器，例如量子存储器、石墨烯存储器等等。

通过上述存储器、处理器以及计算机程序构成的装置，在计算机中由处理器执行相应的程序指令来实现，处理器可以搭载各种操作系统，如windows操作系统、linux系统、android、iOS系统等。作为其他实施方式，装置还可以包括显示器，显示器用于将诊断结果展示出来，以供工作人员参考。

Claims (8)

1.一种行人行为预测方法，其特征在于，该预测方法包括以下步骤：

1)获取行人历史轨迹，包括行人运动方向序列、运动速度序列和运动加速速度序列，基于获取的行人历史轨迹确定对应的平均速度；

2)获取行人周围车辆信息，包括车辆与行人的间距和车辆的速度；

3)根据行人周围车辆信息和所述平均速度确定相关时间序列，所述相关时间序列包括行人以当前速行驶通过斑马线的时间、减速至与车辆保持安全距离的时间和保证不发生碰撞且与车辆保持安全距离下行人离开斑马线的时间；

4)将得到的行人运动方向序列、运动加速速度序列、车辆与行人的间距、相关时间序列带入到状态空间概率预测模型中，得到行人未来各行为状态的概率，所述状态空间概率预测模型为训练好的机器学习模型；

5)根据行人的可行走区域和当前行人状态信息预测行人未来设定时间内的轨迹，并根据行人行为状态空间概率确定每个轨迹点的速度。

2.根据权利要求1所述的行人行为预测方法，其特征在于，若当前路口存在红绿灯，该方法还需获取红绿灯状态，并在当前路口是红灯时，对步骤4)获取的行人未来各行为状态的概率进行修正，修正时根据行人进入斑马线距离对应的继续通行概率的分布函数确定。

3.根据权利要求1或2所述的行人行为预测方法，其特征在于，所述步骤3)中的状态空间概率预测模型采用全连接神经网络模型。

4.根据权利要求3所述的行人行为预测方法，其特征在于，所述的全连接神经网络模型包括三个隐藏层。

5.根据权利要求1或2所述的行人行为预测方法，其特征在于，所述步骤5)采用Kalman进行轨迹预测。

6.根据权利要求5所述的行人行为预测方法，其特征在于，该方法还包括对Kalman预测出的轨迹进行直线拟合。

7.根据权利要求1或2所述的行人行为预测方法，其特征在于，所述的行人的可行走区域为斑马线所在区域。

8.一种行人行为预测装置，其特征在于，该预测装置包括处理器和存储器，所述处理器执行由所述存储器存储的计算机程序，以实现如上述权利要求1-7任一项所述的行人行为预测方法。

Images