CN114187577A - 一种过街行人轨迹预测的系统及方法 - Google Patents

一种过街行人轨迹预测的系统及方法 Download PDF

Info

Publication number
CN114187577A
CN114187577A CN202111515652.5A CN202111515652A CN114187577A CN 114187577 A CN114187577 A CN 114187577A CN 202111515652 A CN202111515652 A CN 202111515652A CN 114187577 A CN114187577 A CN 114187577A
Authority
CN
China
Prior art keywords
pedestrian
crossing
pedestrians
detected
zebra crossing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111515652.5A
Other languages
English (en)
Inventor
杨睿涵
王春燕
赵万忠
秦亚娟
张自宇
孟琦康
黄恒
张文彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202111515652.5A priority Critical patent/CN114187577A/zh
Publication of CN114187577A publication Critical patent/CN114187577A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Game Theory and Decision Science (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种过街行人轨迹预测的系统及方法，包括：对斑马线区域进行实时识别和检测，获取该区域上行人数量信息以及行人的个体特征；获取行人的当前位置信息和历史轨迹；获取斑马线位置的信号灯信息以及车辆在斑马线等待区的位置信息；对行人轨迹进行预测。本发明具有预测速度快、精度高、适用场景广等特点；本发明通过对场景进行区域划分并构建不同的预测逻辑，减少处理步骤、提高识别精度和速度，有效解决过街行人轨迹预测精度不高、速度慢的问题。

Description

一种过街行人轨迹预测的系统及方法
技术领域
本发明属于行人轨迹预测技术领域，具体涉及一种过街行人轨迹预测的系统及方法。
背景技术
近年来，自动驾驶技术中的决策规划模块一直是车辆工程领域的研究热点。良好的决策规划模块需要能够准确理解行驶环境，并对道路参与者的移动轨迹实时监控并做出预测。行人作为独立、智能且脆弱的道路使用者，具有自主进行决策和运动规划的能力。相对于车辆，行人的决策和运动规划更具有不确定性，如行人可能在移动时突然无规律地加速或减速，甚至出现变换运动方向等行为，所以如何对行人轨迹进行精准预测一直是自动驾驶汽车决策规划模块的一个难点。
目前，对于过街行人的轨迹预测方法主要有两类：即基于运动学建模的预测方法和基于数据驱动的预测方法。基于运动学建模的预测方法通过设定恒定参数对行人的意图和行为进行建模，其中常用的行人运动学模型包括恒速度模型、恒加速度模型和恒位置模型，对于多行人的轨迹预测中通常会加入社交力模型的概念。但是，上述基于恒定参数的建模方法难以描述过街行人轨迹的动态变化特性，且预测精度有待进一步提高。基于数据驱动的预测方法通常利用神经网络模型对过街行人轨迹进行预测，将行人的历史轨迹作为模型的输入，经过训练好的模型对未来轨迹进行输出。常用的神经网络模型有循环神经网络(Recurrent Neural Network，RNN)模型、长短期记忆(Long Short-term Memory，LSTM)神经网络模型等，其神经网络参数能够通过模型自适应学习得到，能够较好地应对行人运动动态变化的挑战，但是因为网络参数较多、模型结构复杂等原因，训练时容易不能收敛且不能有效适用于所有环境。
中国发明专利申请号为CN 201910594913.3中公开了一种行人轨迹预测方法，该方法基于逻辑回归模型和社会力模型对行人个体进行差异性建模，将过街行人轨迹预测运用到自动驾驶汽车决策领域。
中国发明专利申请号为CN201810294015.1中公开了一种行人轨迹预测方法，该方法将数据驱动善于处理连续序列问题的长短期记忆网络结合社会亲和力映射图来进行轨迹预测。
上述两个专利均属于现有轨迹预测方法的技术范畴，一方面受限于建模方法、参数选择等技术，对轨迹预测方法和系统的要求都很高。另一方面通过行人历史轨迹对神经网络进行训练并对未来轨迹进行预测，由于不同场景或环境所适用的网络参数不同，使用同样参数进行预测时存在较大误差，准确率不高。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种过街行人轨迹预测的系统及方法，以克服现有的过街行人轨迹预测方法存在的预测精度低、效率慢、适用场景单一的问题，本发明对行人个体和过街环境进行分类，能够在不同环境下快速、准确地预测过街行人的轨迹。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种过街行人轨迹预测的系统，包括：行人数据库模块、行人识别分类模块、行人轨迹提取模块、周围信息收集模块及行人轨迹预测模块；
所述行人数据库模块，用于存储不同性别、不同年龄段及身高段行人的行走速度以及LSTM(长短期记忆神经网络)、Social LSTM(社交型长短期记忆神经网络)的参数；
所述行人识别分类模块，用于识别斑马线区域内的行人并检测其性别、年龄、身高、心情特征；
所述行人轨迹提取模块，用于获取斑马线区域内行人的当前位置信息和历史轨迹；
所述周围信息收集模块，用于获取斑马线位置的信号灯信息以及斑马线等待区车辆的位置信息；
所述行人轨迹预测模块，用于对行人的未来轨迹进行预测。
进一步地，所述行走速度为同一性别、年龄段及身高段下行走速度的平均值Vm。
本发明还提出了一种过街行人轨迹的预测方法，包括以下步骤：
1)对斑马线区域进行实时识别和检测，获取该区域上行人数量信息以及行人的个体特征；
2)获取行人的当前位置信息和历史轨迹；
3)获取斑马线位置的信号灯信息以及车辆在斑马线等待区的位置信息；
4)根据所述步骤1)-3)中获取到的信息及不同性别、年龄段和身高段下行走速度的平均值Vm，长短期记忆神经网络的参数，社交型长短期记忆神经网络的参数对行人轨迹进行预测。
进一步地，所述行人的个体特征包括：性别、年龄、身高、心情特征。
进一步地，所述步骤1)中的行人数量、性别、年龄、身高、心情特征具体分为：
行人数量：单人、多人；
性别：男、女；
年龄：少儿、少年、青年、中年、老年；
身高：0-1米、1-1.3米、1.3-1.6米、1.6-1.7米、1.7-1.8米、1.8米以上；
心情特征：生气、恐惧、开心、平静、难过、惊讶。
进一步地，所述步骤2)中采用多目标跟踪算法跟踪检测到的行人，并提取收集其当前位置信息和历史轨迹；行人的当前位置信息和历史轨迹表示为斑马线鸟瞰图上的位置坐标(x,y)；其中，鸟瞰图坐标系上Y轴被定义为垂直于斑马线的坐标轴，X轴被定义为平行于斑马线的坐标轴，坐标原点(0,0)被定义为斑马线鸟瞰图的左下角。
进一步地，所述步骤3)中信号灯信息包括绿灯正常或绿灯闪烁两种情况，默认行人遵守交通规则，斑马线位置的信号灯为红灯时斑马线上无行人。
进一步地，所述步骤4)的具体方法为：
41)斑马线区域分为区域Ⅰ和区域Ⅱ，其中区域Ⅰ占比斑马线全域
Figure BDA0003406838660000031
区域Ⅱ占比斑马线全域
Figure BDA0003406838660000032
42)根据斑马线内行人数量和待测行人所在区域Ⅰ或Ⅱ确定预测算法，斑马线内若无行人则停止预测；
43)斑马线内行人数量为单人、待测行人位于区域Ⅰ：
待测行人A，基于社会力模型考虑斑马线等待区车辆对其排斥力
Figure BDA0003406838660000033
过街目标点对其吸引力
Figure BDA0003406838660000034
所述斑马线等待区车辆对其排斥力
Figure BDA0003406838660000035
大小为：
Figure BDA0003406838660000036
式中，α1为车辆对行人影响的权重系数，(x1,y1)为待测行人A的位置坐标，(x2,y2)为等待区车辆的位置坐标，由于行人的可视范围有限，车辆无法在行人视野范围外产生排斥力，排斥力
Figure BDA0003406838660000037
的方向为等待区车辆指向待测行人A方向，e为自然常数；
所述过街目标点对其吸引力
Figure BDA0003406838660000038
大小为：
Figure BDA0003406838660000039
式中，β1，β2为过街目标点对行人影响的权重系数，(x1,y1)为待测行人A当前的位置坐标，(x3,y3)为绿灯正常时目标点的位置坐标，(由于此时行人过街时间充裕，其过街目标点会优先选择斑马线终点的中间点)吸引力
Figure BDA0003406838660000041
的方向为待测行人A指向过街目标点；(x4,y4)为绿灯闪烁时目标点的位置坐标，(由于此时行人过街时间紧张，其过街目标点会优先选择距自己最近的斑马线终点)吸引力
Figure BDA0003406838660000042
的方向为待测行人A指向过街目标点；
作用在待测行人A上的社会力合力为：
Figure BDA0003406838660000043
预测时间Δt后的待测行人A位置(xA t+1,yA t+1)为：
Figure BDA0003406838660000044
式中，VA m为待测行人A性别、年龄段及身高段对应的平均速度，DA为待测行人A的心情特征对应的速度增益系数，ωA为社会力合力与斑马线X轴的夹角，(xA t,yA t)为待测行人A当前位置坐标；
44)斑马线内行人数量为单人、待测行人位于区域Ⅱ：使用鲸鱼算法优化后的长短期神经网络(LSTM)进行预测；
45)斑马线内行人数量为多人、待测行人位于区域Ⅰ：
定义待测行人为B，基于社会力模型考虑斑马线等待区车辆对其排斥力
Figure BDA0003406838660000045
过街目标点对其吸引力
Figure BDA0003406838660000046
其余行人对其社会力
Figure BDA0003406838660000047
所述斑马线等待区车辆对其排斥力
Figure BDA0003406838660000048
大小为：
Figure BDA0003406838660000049
式中，α2、α3分比为等待区车辆对行人影响的权重系数，(x4,y4)为待测行人B当前的位置坐标，(x5,y5)为等待区车辆的位置坐标，(xn,yn)其余行人的位置坐标，排斥力
Figure BDA0003406838660000051
的方向为等待区车辆指向待测行人B方向；
所述过街目标点对其吸引力
Figure BDA0003406838660000052
大小为：
Figure BDA0003406838660000053
式中，β3、β4为过街目标点对行人影响的权重系数，(x4,y4)为行人当前的位置坐标，(x6,y6)为绿灯正常时目标点的位置坐标，(由于此时行人过街时间充裕，其过街目标点会优先选择斑马线终点的中间点)吸引力
Figure BDA0003406838660000054
的方向为待测行人B指向过街目标点，(x7,y7)为绿灯闪烁时目标点的位置坐标，(由于此时行人过街时间紧张，其过街目标点会优先选择距自己最近的斑马线终点)吸引力
Figure BDA0003406838660000055
的方向为待测行人B指向过街目标点；
其余行人对其社会力
Figure BDA0003406838660000056
大小为：
Figure BDA0003406838660000057
式中，λ1，λ2为其余行人对待预测行人影响的权重系数，(x4,y4)为待测行人B当前的位置坐标，(xP,yP)为其余行人的位置坐标(绿灯正常时，行人过街时间充裕会优先选择空旷空间行走，其余行人对待测行人B的社会力为排斥力，排斥力方向为其余行人指向待测行人方向；绿灯闪烁时，行人过街时间紧张且缺乏安全感，会优先选择存在其余行人的空间进行移动，其余行人对待测行人B的社会力为吸引力，吸引力方向为待测行人B指向其余行人方向)；
作用在待测行人B上的社会力合力为：
Figure BDA0003406838660000058
预测时间Δt后的行人B位置(xB t+1,yB t+1)为：
Figure BDA0003406838660000061
式中，VB m为待测行人B性别、年龄段及身高段对应的平均速度，DB为待测行人B的心情特征对应的速度增益系数，ωB为社会力合力与斑马线X轴的夹角，(xB t,yB t)为待测行人B当前位置坐标；
46)斑马线内行人数量为多人、待测行人位于区域Ⅱ：
使用社交型长短期记忆神经网络进行预测，具体预测过程为：
{(x1 pre,y1 pre),(x2 pre,y2 pre)，…,(xn pre,yn pre)}＝Social LSTM{(x1,y1),(x2,y2)，…,(xn,yn)}
式中，(x1 pre,y1 pre),(x2 pre,y2 pre)，…,(xn pre,yn pre)为区域内所有行人1至行人n的预测位置坐标；(x1,y1),(x2,y2)，…,(xn,yn)为区域内行人1至行人n的历史位置坐标；
(x1,y1),(x2,y2)，…,(xn,yn)为社交型长短期记忆神经网络的输入，
(x1 pre,y1 pre),(x2 pre,y2 pre)，…,(xn pre,yn pre)为社交型长短期记忆神经网络的输出。
其中，(xn,yn)代表行人n的五个相邻历史位置坐标(xt,yt)、(xt-1,yt-1)、(xt-2,yt-2)、(xt-3,yt-3)、(xt-4,yt-4)。
进一步地，所述步骤44)中的鲸鱼算法具体优化过程为使用鲸鱼优化算法对长短期神经网络模型的迭代次数、学习率、第一隐藏层神经元个数三个参数进行寻优：
441)收集斑马线区域随机一周内所有的行人轨迹数据；
442)将所述收集到的行人轨迹数据中的行人历史轨迹预处理，划分训练集、验证集、测试集；
443)初始化算法的迭代次数、种群数，并确定迭代次数、学习率、第一隐藏层神经元个数；
444)随机生成10个种群，并用对应的参数来设置长短期记忆网络；
445)将长短期神经网络模型的预测值与实际值的均方差作为适应度，计算每个种群对应的适应度，把其中最小适应度作为此次最优结果，并与全局最优结果进行比较，若效果更好，则替换；
446)开始迭代，利用鲸鱼算法更新种群对应的三个参数；
447)重复445)-446)，直到最大迭代次数；
448)输出最优结果对应的迭代次数、学习率、隐藏层神经元个数。
进一步地，所述步骤44)中的预测过程为：
(xt+1,yt+1)＝LSTM优化{(xt,yt),(xt-1,yt-1),(xt-2,yt-2),(xt-3,yt-3),(xt-4,yt-4)}
式中，(xt+1,yt+1)为行人的预测轨迹，(xt,yt)、(xt-1,yt-1)、(xt-2,yt-2)、(xt-3,yt-3)、(xt-4,yt-4)分别为行人的五个相邻时间步的历史位置坐标，五个相邻时间步的历史位置坐标作为鲸鱼算法优化后的长短期神经网络的输入预测下一时间步的行人位置坐标。
本发明的有益效果：
本发明具有预测速度快、精度高、适用场景广等特点；本发明通过对场景进行区域划分并构建不同的预测逻辑，减少处理步骤、提高识别精度和速度，有效解决过街行人轨迹预测精度不高、速度慢的问题。
附图说明
图1为一种预测过街行人轨迹的系统框架图。
图2为斑马线区域划分示意图。
图3为斑马线内行人数量为单人、待测行人位于区域Ⅰ、绿灯正常时的预测场景图。
图4为斑马线内行人数量为单人、待测行人位于区域Ⅰ、绿灯闪烁时的预测场景图。
图5为斑马线内行人数量为多人、待测行人位于区域Ⅰ、绿灯正常时的预测场景图。
图6为斑马线内行人数量为多人、待测行人位于区域Ⅰ、绿灯闪烁时的预测场景图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
参照图1所示，本发明的一种过街行人轨迹预测的系统，包括：行人数据库模块、行人识别分类模块、行人轨迹提取模块、周围信息收集模块及行人轨迹预测模块；
所述行人数据库模块，用于存储不同性别、不同年龄段及身高段行人的行走速度以及长短期记忆神经网络、社交型长短期记忆神经网络的参数；
其中，所述行走速度为同一性别、年龄段及身高段下行走速度的平均值Vm。
所述行人识别分类模块，用于识别斑马线区域内的行人并检测其性别、年龄、身高、心情特征；
所述行人轨迹提取模块，用于获取斑马线区域内行人的当前位置信息和历史轨迹；
所述周围信息收集模块，用于获取斑马线位置的信号灯信息以及斑马线等待区车辆的位置信息；
所述行人轨迹预测模块，用于对行人的未来轨迹进行预测。
本发明还提出了一种过街行人轨迹的预测方法，包括以下步骤：
1)对斑马线区域进行实时识别和检测，获取该区域上行人数量信息以及行人的个体特征；所述行人的个体特征包括：性别、年龄、身高、心情特征。
具体地，所述步骤1)中的行人数量、性别、年龄、身高、心情特征具体分为：
行人数量：单人、多人；
性别：男、女；
年龄：少儿、少年、青年、中年、老年；
身高：0-1米、1-1.3米、1.3-1.6米、1.6-1.7米、1.7-1.8米、1.8米以上；
心情特征：生气、恐惧、开心、平静、难过、惊讶。
2)获取行人的当前位置信息和历史轨迹；
具体地，所述步骤2)中采用deepsort算法(多目标跟踪算法)跟踪检测到的行人，并提取收集其当前位置信息和历史轨迹；行人的当前位置信息和历史轨迹表示为斑马线鸟瞰图上的位置坐标(x,y)；
其中，参照图2所示，鸟瞰图坐标系上Y轴被定义为垂直于斑马线的坐标轴，X轴被定义为平行于斑马线的坐标轴，坐标原点(0,0)被定义为斑马线鸟瞰图的左下角。
3)获取斑马线位置的信号灯信息以及车辆在斑马线等待区的位置信息；
具体地，所述步骤3)中信号灯信息包括绿灯正常或绿灯闪烁两种情况，默认行人遵守交通规则，斑马线位置的信号灯为红灯时斑马线上无行人。
4)根据所述步骤1)-3)中获取到的信息及不同性别、年龄段和身高段下行走速度的平均值Vm，长短期记忆神经网络的参数，社交型长短期记忆神经网络的参数对行人轨迹进行预测；
具体地，所述步骤4)的具体方法为：
41)斑马线区域分为区域Ⅰ和区域Ⅱ，其中区域Ⅰ占比斑马线全域
Figure BDA0003406838660000081
区域Ⅱ占比斑马线全域
Figure BDA0003406838660000082
参照图2所示；
42)根据斑马线内行人数量和待测行人所在区域Ⅰ或Ⅱ确定预测算法，斑马线内若无行人则停止预测；
43)参照图3～图4所示，斑马线内行人数量为单人、待测行人位于区域Ⅰ：
待测行人A，基于社会力模型考虑斑马线等待区车辆对其排斥力
Figure BDA0003406838660000083
过街目标点对其吸引力
Figure BDA0003406838660000091
所述斑马线等待区车辆对其排斥力
Figure BDA0003406838660000092
大小为：
Figure BDA0003406838660000093
式中，α1为车辆对行人影响的权重系数，(x1,y1)为待测行人A的位置坐标，(x2,y2)为等待区车辆的位置坐标，由于行人的可视范围有限，车辆无法在行人视野范围外产生排斥力，排斥力
Figure BDA0003406838660000094
的方向为等待区车辆指向待测行人A方向，e为自然常数；
所述过街目标点对其吸引力
Figure BDA0003406838660000095
大小为：
Figure BDA0003406838660000096
式中，β1，β2为过街目标点对行人影响的权重系数，(x1,y1)为待测行人A当前的位置坐标，(x3,y3)为绿灯正常时目标点的位置坐标，(由于此时行人过街时间充裕，其过街目标点会优先选择斑马线终点的中间点)吸引力
Figure BDA0003406838660000097
的方向为待测行人A指向过街目标点；(x4,y4)为绿灯闪烁时目标点的位置坐标，(由于此时行人过街时间紧张，其过街目标点会优先选择距自己最近的斑马线终点)吸引力
Figure BDA0003406838660000098
的方向为待测行人A指向过街目标点；
作用在待测行人A上的社会力合力为：
Figure BDA0003406838660000099
预测时间Δt后的待测行人A位置(xA t+1,yA t+1)为：
Figure BDA00034068386600000910
式中，VA m为待测行人A性别、年龄段及身高段对应的平均速度，DA为待测行人A的心情特征对应的速度增益系数，ωA为社会力合力与斑马线X轴的夹角，(xA t,yA t)为待测行人A当前位置坐标；
44)斑马线内行人数量为单人、待测行人位于区域Ⅱ：使用鲸鱼算法优化后的长短期神经网络(LSTM)进行预测；
其中，所述步骤44)中的鲸鱼算法具体优化过程为使用鲸鱼优化算法对长短期神经网络模型的迭代次数、学习率、第一隐藏层神经元个数三个参数进行寻优：
441)收集斑马线区域随机一周内所有的行人轨迹数据；
442)将所述收集到的行人轨迹数据中的行人历史轨迹预处理，划分训练集、验证集、测试集；
443)初始化算法的迭代次数、种群数，并确定迭代次数、学习率、第一隐藏层神经元个数；
444)随机生成10个种群，并用对应的参数来设置长短期记忆网络；
445)将长短期神经网络模型的预测值与实际值的均方差作为适应度，计算每个种群对应的适应度，把其中最小适应度作为此次最优结果，并与全局最优结果进行比较，若效果更好，则替换；
446)开始迭代，利用鲸鱼算法更新种群对应的三个参数；
447)重复445)-446)，直到最大迭代次数；
448)输出最优结果对应的迭代次数、学习率、隐藏层神经元个数。
示例中，所述步骤44)中的预测过程为：
(xt+1,yt+1)＝LSTM优化{(xt,yt),(xt-1,yt-1),(xt-2,yt-2),(xt-3,yt-3),(xt-4,yt-4)}
式中，(xt+1,yt+1)为行人的预测轨迹，(xt,yt)、(xt-1,yt-1)、(xt-2,yt-2)、(xt-3,yt-3)、(xt-4,yt-4)分别为行人的五个相邻时间步的历史位置坐标，五个相邻时间步的历史位置坐标作为鲸鱼算法优化后的长短期神经网络的输入预测下一时间步的行人位置坐标。
45)参照图5～图6所示，斑马线内行人数量为多人、待测行人位于区域Ⅰ：
定义待测行人为B，基于社会力模型考虑斑马线等待区车辆对其排斥力
Figure BDA0003406838660000101
过街目标点对其吸引力
Figure BDA0003406838660000102
其余行人对其社会力
Figure BDA0003406838660000103
所述斑马线等待区车辆对其排斥力
Figure BDA0003406838660000104
大小为：
Figure BDA0003406838660000111
式中，α2、α3分比为等待区车辆对行人影响的权重系数，(x4,y4)为待测行人B当前的位置坐标，(x5,y5)为等待区车辆的位置坐标，(xn,yn)其余行人的位置坐标，排斥力
Figure BDA0003406838660000112
的方向为等待区车辆指向待测行人B方向；
所述过街目标点对其吸引力
Figure BDA0003406838660000113
大小为：
Figure BDA0003406838660000114
式中，β3、β4为过街目标点对行人影响的权重系数，(x4,y4)为行人当前的位置坐标，(x6,y6)为绿灯正常时目标点的位置坐标，(由于此时行人过街时间充裕，其过街目标点会优先选择斑马线终点的中间点)吸引力
Figure BDA0003406838660000115
的方向为待测行人B指向过街目标点，(x7,y7)为绿灯闪烁时目标点的位置坐标，(由于此时行人过街时间紧张，其过街目标点会优先选择距自己最近的斑马线终点)吸引力
Figure BDA0003406838660000116
的方向为待测行人B指向过街目标点；
所述其余行人对其社会力
Figure BDA0003406838660000117
大小为：
Figure BDA0003406838660000121
式中，λ1，λ2为其余行人对待预测行人影响的权重系数，(x4,y4)为待测行人B当前的位置坐标，(xP,yP)为其余行人的位置坐标(绿灯正常时，行人过街时间充裕会优先选择空旷空间行走，其余行人对待测行人B的社会力为排斥力，排斥力方向为其余行人指向待测行人方向；绿灯闪烁时，行人过街时间紧张且缺乏安全感，会优先选择存在其余行人的空间进行移动，其余行人对待测行人B的社会力为吸引力，吸引力方向为待测行人B指向其余行人方向)；
作用在待测行人B上的社会力合力为：
Figure BDA0003406838660000122
预测时间Δt后的行人B位置(xB t+1,yB t+1)为：
Figure BDA0003406838660000123
式中，VB m为待测行人B性别、年龄段及身高段对应的平均速度，DB为待测行人B的心情特征对应的速度增益系数，ωB为社会力合力与斑马线X轴的夹角，(xB t,yB t)为待测行人B当前位置坐标；
46)斑马线内行人数量为多人、待测行人位于区域Ⅱ：
使用社交型长短期记忆神经网络进行预测，具体预测过程为：
{(x1 pre,y1 pre),(x2 pre,y2 pre)，…,(xn pre,yn pre)}＝Social LSTM{(x1,y1),(x2,y2)，…,(xn,yn)}
式中，(x1 pre,y1 pre),(x2 pre,y2 pre)，…,(xn pre,yn pre)为区域内所有行人1至行人n的预测位置坐标；(x1,y1),(x2,y2)，…,(xn,yn)为区域内行人1至行人n的历史位置坐标；
(x1,y1),(x2,y2)，…,(xn,yn)为社交型长短期记忆神经网络的输入，
(x1 pre,y1 pre),(x2 pre,y2 pre)，…,(xn pre,yn pre)为社交型长短期记忆神经网络的输出。
其中，(xn,yn)代表行人n的五个相邻历史位置坐标(xt,yt)、(xt-1,yt-1)、(xt-2,yt-2)、(xt-3,yt-3)、(xt-4,yt-4)。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (8)

1.一种过街行人轨迹预测的系统，其特征在于，包括：行人数据库模块、行人识别分类模块、行人轨迹提取模块、周围信息收集模块及行人轨迹预测模块；
所述行人数据库模块，用于存储不同性别、不同年龄段及身高段行人的行走速度以及长短期记忆神经网络、社交型长短期记忆神经网络的参数；
所述行人识别分类模块，用于识别斑马线区域内的行人并检测其个体特征；
所述行人轨迹提取模块，用于获取斑马线区域内行人的当前位置信息和历史轨迹；
所述周围信息收集模块，用于获取斑马线位置的信号灯信息以及斑马线等待区车辆的位置信息；
所述行人轨迹预测模块，用于对行人的未来轨迹进行预测。
2.根据权利要求1所述的过街行人轨迹预测的系统，其特征在于，所述行走速度为同一性别、年龄段及身高段下行走速度的平均值Vm。
3.一种过街行人轨迹的预测方法，其特征在于，包括以下步骤：
1)对斑马线区域进行实时识别和检测，获取该区域上行人数量信息以及行人的个体特征；
2)获取行人的当前位置信息和历史轨迹；
3)获取斑马线位置的信号灯信息以及车辆在斑马线等待区的位置信息；
4)根据所述步骤1)-3)中获取到的信息及不同性别、年龄段和身高段下行走速度的平均值Vm，长短期记忆神经网络的参数，社交型长短期记忆神经网络的参数对行人轨迹进行预测。
4.根据权利要求3所述的过街行人轨迹的预测方法，其特征在于，所述行人的个体特征包括：性别、年龄、身高、心情特征。
5.根据权利要求3所述的过街行人轨迹的预测方法，其特征在于，所述步骤2)中采用多目标跟踪算法跟踪检测到的行人，并提取收集其当前位置信息和历史轨迹；行人的当前位置信息和历史轨迹表示为斑马线鸟瞰图上的位置坐标(x,y)；其中，鸟瞰图坐标系上Y轴被定义为垂直于斑马线的坐标轴，X轴被定义为平行于斑马线的坐标轴，坐标原点(0,0)被定义为斑马线鸟瞰图的左下角。
6.根据权利要求3所述的过街行人轨迹的预测方法，其特征在于，所述步骤4)的具体方法为：
41)斑马线区域分为区域Ⅰ和区域Ⅱ，其中区域Ⅰ占比斑马线全域
Figure FDA0003406838650000011
区域Ⅱ占比斑马线全域
Figure FDA0003406838650000012
42)根据斑马线内行人数量和待测行人所在区域Ⅰ或Ⅱ确定预测算法，斑马线内若无行人则停止预测；
43)斑马线内行人数量为单人、待测行人位于区域Ⅰ：
待测行人A，基于社会力模型考虑斑马线等待区车辆对其排斥力
Figure FDA0003406838650000021
过街目标点对其吸引力
Figure FDA0003406838650000022
所述斑马线等待区车辆对其排斥力
Figure FDA0003406838650000023
大小为：
Figure FDA0003406838650000024
式中，α1为车辆对行人影响的权重系数，(x1,y1)为待测行人A的位置坐标，(x2,y2)为等待区车辆的位置坐标，排斥力
Figure FDA0003406838650000025
的方向为等待区车辆指向待测行人A方向，e为自然常数；
所述过街目标点对其吸引力
Figure FDA0003406838650000026
大小为：
Figure FDA0003406838650000027
式中，β1，β2为过街目标点对行人影响的权重系数，(x1,y1)为待测行人A当前的位置坐标，(x3,y3)为绿灯正常时目标点的位置坐标，吸引力
Figure FDA0003406838650000028
的方向为待测行人A指向过街目标点；(x4,y4)为绿灯闪烁时目标点的位置坐标，吸引力
Figure FDA0003406838650000029
的方向为待测行人A指向过街目标点；
作用在待测行人A上的社会力合力为：
Figure FDA00034068386500000210
预测时间Δt后的待测行人A位置(xA t+1,yA t+1)为：
Figure FDA00034068386500000211
式中，VA m为待测行人A性别、年龄段及身高段对应的平均速度，DA为待测行人A的心情特征对应的速度增益系数，ωA为社会力合力与斑马线X轴的夹角，(xA t,yA t)为待测行人A当前位置坐标；
44)斑马线内行人数量为单人、待测行人位于区域Ⅱ：使用鲸鱼算法优化后的长短期神经网络进行预测；
45)斑马线内行人数量为多人、待测行人位于区域Ⅰ：
定义待测行人为B，基于社会力模型考虑斑马线等待区车辆对其排斥力
Figure FDA0003406838650000031
过街目标点对其吸引力
Figure FDA0003406838650000032
其余行人对其社会力
Figure FDA0003406838650000033
所述斑马线等待区车辆对其排斥力
Figure FDA0003406838650000034
大小为：
Figure FDA0003406838650000035
式中，α2、α3分比为等待区车辆对行人影响的权重系数，(x4,y4)为待测行人B当前的位置坐标，(x5,y5)为等待区车辆的位置坐标，(xn,yn)其余行人的位置坐标，排斥力
Figure FDA0003406838650000039
的方向为等待区车辆指向待测行人B方向；
所述过街目标点对其吸引力
Figure FDA0003406838650000036
大小为：
Figure FDA0003406838650000037
式中，β3、β4为过街目标点对行人影响的权重系数，(x4,y4)为行人当前的位置坐标，(x6,y6)为绿灯正常时目标点的位置坐标，吸引力
Figure FDA0003406838650000038
的方向为待测行人B指向过街目标点，(x7,y7)为绿灯闪烁时目标点的位置坐标，吸引力
Figure FDA0003406838650000041
的方向为待测行人B指向过街目标点；
其余行人对其社会力
Figure FDA0003406838650000042
大小为：
Figure FDA0003406838650000043
式中，λ1，λ2为其余行人对待预测行人影响的权重系数，(x4,y4)为待测行人B当前的位置坐标，(xP,yP)为其余行人的位置坐标；
作用在待测行人B上的社会力合力为：
Figure FDA0003406838650000044
预测时间Δt后的行人B位置(xB t+1,yB t+1)为：
Figure FDA0003406838650000045
式中，VB m为待测行人B性别、年龄段及身高段对应的平均速度，DB为待测行人B的心情特征对应的速度增益系数，ωB为社会力合力与斑马线X轴的夹角，(xB t,yB t)为待测行人B当前位置坐标；
46)斑马线内行人数量为多人、待测行人位于区域Ⅱ：
使用社交型长短期记忆神经网络进行预测，具体预测过程为：
{(x1 pre,y1 pre),(x2 pre,y2 pre)，…,(xn pre,yn pre)}＝Social LSTM{(x1,y1),(x2,y2)，…,(xn,yn)}
式中，(x1 pre,y1 pre),(x2 pre,y2 pre)，…,(xn pre,yn pre)为区域内所有行人1至行人n的预测位置坐标；(x1,y1),(x2,y2)，…,(xn,yn)为区域内行人1至行人n的历史位置坐标；(x1,y1),(x2,y2)，…,(xn,yn)为社交型长短期记忆神经网络的输入，(x1 pre,y1 pre),(x2 pre,y2 pre)，…,(xn pre,yn pre)为社交型长短期记忆神经网络的输出。
7.根据权利要求6所述的过街行人轨迹的预测方法，其特征在于，所述步骤44)中的鲸鱼算法具体优化过程为使用鲸鱼优化算法对长短期神经网络模型的迭代次数、学习率、第一隐藏层神经元个数三个参数进行寻优：
441)收集斑马线区域随机一周内所有的行人轨迹数据；
442)将所述收集到的行人轨迹数据中的行人历史轨迹预处理，划分训练集、验证集、测试集；
443)初始化算法的迭代次数、种群数，并确定迭代次数、学习率、第一隐藏层神经元个数；
444)随机生成10个种群，并用对应的参数来设置长短期记忆网络；
445)将长短期神经网络模型的预测值与实际值的均方差作为适应度，计算每个种群对应的适应度，把其中最小适应度作为此次最优结果，并与全局最优结果进行比较，若效果更好，则替换；
446)开始迭代，利用鲸鱼算法更新种群对应的三个参数；
447)重复445)-446)，直到最大迭代次数；
448)输出最优结果对应的迭代次数、学习率、隐藏层神经元个数。
8.根据权利要求6所述的过街行人轨迹的预测方法，其特征在于，所述步骤44)中的预测过程为：
(xt+1,yt+1)＝LSTM优化{(xt,yt),(xt-1,yt-1),(xt-2,yt-2),(xt-3,yt-3),(xt-4,yt-4)}
式中，(xt+1,yt+1)为行人的预测轨迹，(xt,yt)、(xt-1,yt-1)、(xt-2,yt-2)、(xt-3,yt-3)、(xt-4,yt-4)分别为行人的五个相邻时间步的历史位置坐标，五个相邻时间步的历史位置坐标作为鲸鱼算法优化后的长短期神经网络的输入预测下一时间步的行人位置坐标。
CN202111515652.5A 2021-12-13 2021-12-13 一种过街行人轨迹预测的系统及方法 Pending CN114187577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111515652.5A CN114187577A (zh) 2021-12-13 2021-12-13 一种过街行人轨迹预测的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111515652.5A CN114187577A (zh) 2021-12-13 2021-12-13 一种过街行人轨迹预测的系统及方法

Publications (1)

Publication Number Publication Date
CN114187577A true CN114187577A (zh) 2022-03-15

Family

ID=80543396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111515652.5A Pending CN114187577A (zh) 2021-12-13 2021-12-13 一种过街行人轨迹预测的系统及方法

Country Status (1)

Country Link
CN (1) CN114187577A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117436937A (zh) * 2023-12-21 2024-01-23 暗物智能科技(广州)有限公司 一种考虑行人画像的路径预测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117436937A (zh) * 2023-12-21 2024-01-23 暗物智能科技(广州)有限公司 一种考虑行人画像的路径预测方法及系统

Similar Documents

Publication Publication Date Title
CN107729799A (zh) 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统
Choi et al. Drogon: A causal reasoning framework for future trajectory forecast
CN113345237A (zh) 一种使用路侧激光雷达数据提取车辆轨迹的变道识别与预测方法、系统、设备及存储介质
CN114446049B (zh) 基于社会价值取向的交通流预测方法、系统、终端及介质
CN111260118A (zh) 一种基于量子粒子群优化策略的车联网交通流量预测方法
CN112487954B (zh) 一种面向平面交叉口的行人过街行为预测方法
Hu et al. Learning a deep cascaded neural network for multiple motion commands prediction in autonomous driving
CN104268546A (zh) 一种基于主题模型的动态场景分类方法
CN114299607A (zh) 一种基于自动驾驶汽车的人车碰撞危险度分析方法
CN111027627A (zh) 一种基于多层感知机的振动信息地形分类识别方法
CN114372503A (zh) 一种集群车辆运动轨迹预测方法
CN114187577A (zh) 一种过街行人轨迹预测的系统及方法
Khalil et al. Exploiting multi-modal fusion for urban autonomous driving using latent deep reinforcement learning
Bharilya et al. Machine learning for autonomous vehicle's trajectory prediction: A comprehensive survey, challenges, and future research directions
Zhang et al. Direction-decision learning based pedestrian flow behavior investigation
Zhou et al. Spatiotemporal attention-based pedestrian trajectory prediction considering traffic-actor interaction
Hegde et al. Vehicle trajectory prediction using gan
Doellinger et al. Environment-aware multi-target tracking of pedestrians
CN111368465A (zh) 基于id3决策树的无人驾驶决策方法
Dudarenko et al. Robot navigation system in stochastic environment based on reinforcement learning on lidar data
Florio et al. Neural network models for classification and forecasting of freeway traffic flow stability
Shi et al. A novel model based on deep learning for Pedestrian detection and Trajectory prediction
Chen et al. Dynamic vehicle graph interaction for trajectory prediction based on video signals
CN112347983B (zh) 车道线检测处理方法、装置、计算机设备和存储介质
CN114492544A (zh) 模型训练方法及装置、交通事件发生概率评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination