CN112487954A - 一种面向平面交叉口的行人过街行为预测方法 - Google Patents

一种面向平面交叉口的行人过街行为预测方法 Download PDF

Info

Publication number
CN112487954A
CN112487954A CN202011357565.7A CN202011357565A CN112487954A CN 112487954 A CN112487954 A CN 112487954A CN 202011357565 A CN202011357565 A CN 202011357565A CN 112487954 A CN112487954 A CN 112487954A
Authority
CN
China
Prior art keywords
pedestrian
layer
behavior
fcn
lstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011357565.7A
Other languages
English (en)
Other versions
CN112487954B (zh
Inventor
李旭
胡锦超
徐启敏
胡玮明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202011357565.7A priority Critical patent/CN112487954B/zh
Publication of CN112487954A publication Critical patent/CN112487954A/zh
Priority to US18/249,715 priority patent/US20230410659A1/en
Priority to PCT/CN2021/086572 priority patent/WO2022110611A1/zh
Application granted granted Critical
Publication of CN112487954B publication Critical patent/CN112487954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种面向平面交叉口的行人过街行为预测方法，包括以下步骤：步骤一：设计即时奖励函数；步骤二：建立全卷积神经网络‑长短期记忆网络(FCN‑LSTM)模型预测动作奖励函数；步骤三：基于强化学习训练全卷积神经网络‑长短期记忆网络(FCN‑LSTM)模型；步骤四：预测行人过街行为及危险预警。该技术方案无需建立复杂的行人运动模型、无需准备海量的带标签数据集，实现自主学习平面交叉口处行人过街行为特征并预测其行走、驻足、快跑等行为，特别是对诱发人车碰撞、擦蹭等危险时行人过街行为的实时预测，对过街行人和来往车辆进行危险预警，有利于减少平面交叉口等重点路段交通事故发生率，保障交通环境中行人的安全。

Description

一种面向平面交叉口的行人过街行为预测方法
技术领域
本发明涉及一种预测方法，具体涉及一种面向平面交叉口的行人过街行为预测方法，属于交通参与者行为建模及预测技术领域。
背景技术
行人作为道路交通的主要参与者，其行为是影响交通安全的重要因素，尤其是在学校出入口、无信号接入口等存在大量过街行为的平面交叉口，行人过街时发生的交通事故数占行人发生交通事故总数近七成。因此，针对平面交叉口处行人过街行为的识别和预测，特别是对诱发人车碰撞、擦蹭等危险时行人过街行为的实时预测，并对过街行人和来往车辆进行危险预警，是构建智能路侧系统的基本要求，也有利于减少平面交叉口等重点路段交通事故发生率，保障交通环境中行人的安全。
目前，主要有两类方法实现对行人过街行为的预测。一类基于模型的方法，如社会力模型、能量函数或者势能场模型、马尔科夫模型，该类模型将行人运动的个性特征、行人与其他交通参与者之间的相互作用转换为社会力、势能场等概念，利用社会力或者势能场的数学解析式构建模型，进而推断行人运动行为；另一类是基于数据驱动的深度学习的方法。如循环神经网络(RNN,recurrent neural network)以及长短期记忆(LSTM,long-shortterm memory)网络、社会长短期记忆(S-LSTM,social long-short tern memory)网络、生成对抗网络(GAN,generativeadversarial network)、图注意力(GAT,graph attention)网络等。其中循环神经网络(RNN,recurrent neural network)以及长短期记忆(LSTM,long-short term memory)将行人的连续行为看作时间序列，实现了行人行为的序列化预测。在此基础上，社会长短期记忆(S-LSTM,social long-short tern memory)网络模型考虑行人与周围行人的相互依赖性，利用周围行人的不同特征预测行人运动轨迹。基于生成对抗网络(GAN,generativeadversarial network)的模型可生成多条可接受的行人运动轨迹。图注意力(GAT,graph attention)网络模型通过使用图注意力机制增强了行人运动轨迹预测的推理能力。
虽然目前方法在预测行人简单行为及行人间相互影响方面取得很好的效果，但是目前两类方法都需要事先建立行人运动的数学模型或构建大量带标签的数据集。对于平面交叉口这类行人共享空间的环境，行人过街行为既是相互依赖的，同时，受年龄、性别、心理、受教育程度等因素影响，行人过街时个体又存在差异性，存在行走、驻足、快跑等具有一定随机性的行为。对基于模型的方法而言，无法构建明确的数学模型描述平面交叉口行人过街行为。对基于数据驱动的深度学习方法而言，难以获取海量的带标签数据集以提取行人过街行为的相互依赖性及随机性特征。针对目前的基于模型的方法和基于数据驱动的深度学习方法在预测平面交叉口行为过街行为时所存在的难点，需要发明一种平面交叉口行人过街行为预测方法，该方法无需事先建立复杂的行人运动模型、无需准备海量的带标签数据集，该方法能够实现自主学习平面交叉口处行人过街行为特征并预测其行走、驻足、快跑等行为。
发明内容
本发明正是针对现有技术中存在的问题，提供一种面向平面交叉口的行人过街行为预测方法，该技术方案无需建立复杂的行人运动模型、无需准备海量的带标签数据集，实现自主学习平面交叉口处行人过街行为特征并预测其行走、驻足、快跑等行为，特别是对诱发人车碰撞、擦蹭等危险时行人过街行为的实时预测，对过街行人和来往车辆进行危险预警，有利于减少平面交叉口等重点路段交通事故发生率，保障交通环境中行人的安全。
为实现本发明的目的，本发明所采用的技术方案是：数据采集的路侧设备选用毫米波雷达和视觉相机。首先，以改进的将要碰撞时间MTTC作为状态的即时奖励；其次建立全卷积神经网络-长短期记忆网络(FCN-LSTM)模型提取行人过街行为的相互依赖及随机性特征，并预测动作奖励函数值；再其次基于强化学习训练全卷积神经网络-长短期记忆网络(FCN-LSTM)模型；最后预测行人过街时行走、快跑、驻足等行为，并对过街行人和来往车辆进行危险预警。本发明的方法具体包括以下步骤：
一种面向平面交叉口的行人过街行为预测方法，步骤一：设计即时奖励函数；
以路侧毫米波雷达当前检测出的改进将要碰撞时间MTTC作为状态的即时奖励rt。TTC定义车辆冲突仅仅考虑后车比前车的速度快，忽略了很多因加速度或减速度的差异造成的冲突。特别是车辆在平面交叉口遇到过街行人时，车辆刹车减速或者加速通过，此时可能会造成危险。因此，定义一种考虑车辆与行人间的相对位置、相对速度、相对加速度的改进将要碰撞时间MTTC：
Figure BDA0002803039040000021
其中，ΔXt表示相对位置，ΔVt表示相对速度，ΔAt表示相对加速度，根据ΔXt、ΔVt、ΔAt的正负情况，且使MTTCt≥0，取公式(1)中±。
如果平面交叉口某一状态内检测到多位行人或者多辆车，则依据公式(1)计算每一位行人与所有车辆间的MTTC，取最小的MTTC作为该行人当前状态的即时奖励rt。
步骤二：建立全卷积神经网络-长短期记忆网络(FCN-LSTM)模型预测动作奖励函数；
考虑到行人行为间的相互依赖关系，这种依赖关系则表现为行人在空间上相互依赖、相互约束，故利用全卷积神经网络FCN实现语义分割，将输入图像中行人从背景中分离出来，保留输入图像中行人的空间信息。同时，考虑行人行为在时间上具有连续性，故利用长短期记忆网络LSTM对行人前向行为信息加以利用。建立全卷积神经网络-长短期记忆网络(FCN-LSTM)模型预测行人行为奖励函数值，即向FCN-LSTM模型输入路侧相机拍摄的平面交叉口行人过街图像，FCN-LSTM模型输出行走、快跑、驻足三种离散行为对应的奖励函数值。FCN-LSTM模型具体结构如下：
1)标准卷积层1_1：第一层的输入是原始图像，像素为Q×Q’，通道数为3，用96个11×11的卷积核与原始输入图像做卷积，步长为4，不扩充边缘。将线性整流单元(RectifiedLinear Units,ReLU)作为神经元的激活函数，经过ReLU激活，输出维度为
Figure BDA0002803039040000031
的特征图；
局部响应规范化层1_2：为防止标准卷积层1_1经ReLU激活之后数据过拟合，进行局部响应归一化。
最大池化层1_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第一层的输出特征图，其维度为：
Figure BDA0002803039040000032
2)标准卷积层2_1：卷积层2的输入为卷积层1的输出特征图，卷积核的个数为256，卷积核大小为：5×5，以padding＝2进行边缘扩充，步长为1。经过ReLU激活，输出维度为
Figure BDA0002803039040000033
的特征图。
局部响应规范化层2_1：为防止标准卷积层2_1经ReLU激活之后数据过拟合，进行局部响应归一化。
最大池化层2_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第二层的输出特征图，其维度为：
Figure BDA0002803039040000034
3)标准卷积层3_1：卷积层3的输入为卷积层2的输出特征图，卷积核的个数为384，卷积核大小为：3×3，以padding＝1进行边缘扩充，步长为1，经过ReLU激活，得到第三层的输出特征图，其维度为：
Figure BDA0002803039040000035
4)标准卷积层4_1：卷积层4的输入为卷积层3的输出特征图，卷积核的个数为384，卷积核大小为：3×3，以padding＝1进行边缘扩充，步长为1，经过ReLU激活，得到第四层的输出特征图，其维度为：
Figure BDA0002803039040000036
5)标准卷积层5_1：卷积层5的输入为卷积层4的输出特征图，卷积核的个数为256，卷积核大小为：3×3，以padding＝1进行边缘扩充，步长为1。过ReLU激活，输出维度为维度为
Figure BDA0002803039040000041
的特征图。
最大池化层5_2：接着连接池化层，进行最大池化，池化层大小为3×3，步长为2，得到第五层的输出特征图，其维度为：
Figure BDA0002803039040000042
6)全卷积层6_1：为允许输入的图片为超过某一尺寸的任意大小。全卷积层6的输入为卷积层5的输出特征图，卷积核的个数为4096，卷积核大小为：1×1，无边缘扩充，步长为1，输出特征图的维度为：
Figure BDA0002803039040000043
7)全卷积层7_1：全卷积层7的输入为卷积层6的输出特征图，卷积核的个数为4096，卷积核大小为：1×1，无边缘扩充，步长为1，输出特征图的维度为：
Figure BDA0002803039040000044
8)上采样与跳级结构处理：将全卷积层7_1的输出特征图进行32倍上采样、将标准卷积层4_1的输出特征图进行16倍的上采样，获得与原始输入图像相同尺寸的图像。由于全卷积层7_1的输出特征图过小，细节损失过多，为使全卷积层7_1的输出图像有更丰富的全局信息和更多的局部细节，采用跳级结构。即将全卷积层7_1输出特征图的32倍上采样图像与标准卷积层4_1输出特征图的16倍上采样图像进行相加融合，实现图像全局预测的同时进行局部图像细节的预测，输出Q×Q'分割图像作为下一层的输入。
9)LSTM层：考虑到行人过街行为具有一定的连续性，为利用行人行为在时间上的连续性，故选用LSTM层，输入维度为Q，时间步为Q'，输出维度为3。
10)输出：输出行人在该状态下行走、快跑、驻足三种行为对应的奖励函数值。
q(s,行走),q(s,快跑),q(s,驻足)，S表示行人当前状态。由q(s,行走),q(s,快跑),q(s,驻足)组成行为奖励函数预测值q_value＝{q(s,行走),q(s,驻足),q(s,快跑)}。
步骤三：基于强化学习训练全卷积神经网络-长短期记忆网络(FCN-LSTM)模型；
基于强化学习思想训练步骤二建立的FCN-LSTM模型。考虑行人过街时行为具有一定的随机性，在迭代训练过程中，以ξ的概率随机选择行人行走、驻足、快跑行为。以1-ξ的概率贪婪的选择行人行为，即选择步骤二10)输出的行为奖励函数最大值所对应的行为。使得FCN-LSTM模型能够学习到行人过街行为既具有一定目的性，同时不同行人个体又具有一定的随机性的特点。其训练具体步骤如下：
子步骤1：初始化q(s,a)＝0。q(s,a)表示行人的动作价值函数值，其中s表示当前状态，a表示当前的行为，a∈{行走、驻足、快跑}。初始化当前状态s。
子步骤2：执行一步行为。随机生成[0,1]的随机数random，若random＜ξ，则随机选择行人行为，即从行人行为动作集{行走,驻足,快跑}中随机选择一行为；random≥ξ，ξ拟取值0,1，则使用贪婪策略选择行人行为，即从行人行为动作集{行走,驻足,快跑}中使q(s,a)值最大的行为。
子步骤3：更新状态和奖励函数值。行人执行一步行为后，进入新的状态s’，利用步骤一设计的即时奖励函数rt，并根据式(2)更新奖励函数值。
q(st,at)←q(st,at)+α(rt+γmaxaq(st+1,a)-q(st,at)) (2)
其中，q(st,at)表示当前状态下动作奖励函数值，t表示时间步，maxaq(st+1,a)表示下一状态最大的动作奖励函数值，α表示探索率，α拟取0.1，rt表示当前状态的即时奖励值，γ表示奖励衰减因子，即后续状态对当前动作的影响逐级递减，γ∈[0,1]，γ拟取值0.95。
子步骤4：取式(2)更新后的q(st,at)作为真值，取步骤二中FCN-LSTM模型输出的q_value＝{q(s,行走),q(s,驻足),q(s,快跑)}的最大值作为预测值。基于梯度下降方法训练步骤二中建立的FCN-LSTM模型，优化FCN-LSTM模型的权重参数。
子步骤5：重复执行子步骤2、子步骤3、子步骤4，直到s终止，即行人完成过街行为。
步骤四：预测行人过街行为及危险预警；
重复执行步骤三，完成FCN-LSTM模型的多轮训练。向训练完成的FCN-LSTM模型输入部署在平面交叉口路侧的相机图像，FCN-LSTM模型输出q_value＝{q(s,行走),q(s,驻足),q(s,快跑)}，取max{q(s,行走),q(s,驻足),q(s,快跑)}所对应的行为即为本发明预测的平面交叉口行人过街的行为。若根据当前状态，预测行为是行走或快跑时，则向平面交叉口处过街行人发出预警信号，提醒其注意可能发生的危险。
相对于现有技术，本发明具有如下优点，1)该技术方案无需事先建立平面交叉口处行人过街的数学模型、无需事先准备带标签的海量数据集，本发明实现自主学习平面交叉口处行人过街时相互依赖性与随机性特征；2)该技术方案预测出平面交叉口处行人过街时行走、驻足、快跑等行为，并在危险时对过街行人和来往车辆进行预警。
附图说明
图1是本发明整体方案示意图；
图2是具体实施例的测试场景图，其中P表示平面交叉口过街行人，C表示车辆；
图3是本发明实施例测试时行人过街行为预测及危险预警准确率结果图。
具体实施方式：
为了加深对本发明的理解，下面结合附图对本实施例做详细的说明。
实施例1：参见图1，行人作为道路交通的主要参与者，其行为是影响交通安全的重要因素，尤其是在学校出入口、无信号接入口等存在大量过街行为的平面交叉口，行人过街时发生的交通事故数占行人发生交通事故总数近七成。因此，针对平面交叉口处行人过街行为的识别和预测，特别是对诱发人车碰撞、擦蹭等危险时行人过街行为的实时预测，并对过街行人和来往车辆进行危险预警，是构建智能路侧系统的基本要求，也有利于减少平面交叉口等重点路段交通事故发生率，保障交通环境中行人的安全。
目前，主要有两类方法实现对行人过街行为的预测。一类基于模型的方法，如社会力模型、能量函数或者势能场模型、马尔科夫模型，该类模型将行人运动的个性特征、行人与其他交通参与者之间的相互作用转换为社会力、势能场等概念，利用社会力或者势能场的数学解析式构建模型，进而推断行人运动行为；另一类是基于数据驱动的深度学习的方法。如循环神经网络(RNN,recurrent neural network)以及长短期记忆(LSTM,long-shortterm memory)网络、社会长短期记忆(S-LSTM,social long-short tern memory)网络、生成对抗网络(GAN,generativeadversarial network)、图注意力(GAT,graph attention)网络等。其中循环神经网络(RNN,recurrent neural network)以及长短期记忆(LSTM,long-short term memory)将行人的连续行为看作时间序列，实现了行人行为的序列化预测。在此基础上，社会长短期记忆(S-LSTM,social long-short tern memory)网络模型考虑行人与周围行人的相互依赖性，利用周围行人的不同特征预测行人运动轨迹。基于生成对抗网络(GAN,generativeadversarial network)的模型可生成多条可接受的行人运动轨迹。图注意力(GAT,graph attention)网络模型通过使用图注意力机制增强了行人运动轨迹预测的推理能力。
虽然目前方法在预测行人简单行为及行人间相互影响方面取得很好的效果，但是目前两类方法都需要事先建立行人运动的数学模型或构建大量带标签的数据集。对于平面交叉口这类行人共享空间的环境，行人过街行为既是相互依赖的，同时，受年龄、性别、心理、受教育程度等因素影响，行人过街时个体又存在差异性，存在行走、驻足、快跑等具有一定随机性的行为。对基于模型的方法而言，无法构建明确的数学模型描述平面交叉口行人过街行为。对基于数据驱动的深度学习方法而言，难以获取海量的带标签数据集以提取行人过街行为的相互依赖性及随机性特征。
针对目前的基于模型的方法和基于数据驱动的深度学习方法在预测平面交叉口行为过街行为时所存在的难点，需要发明一种平面交叉口行人过街行为预测方法，该方法无需事先建立复杂的行人运动模型、无需准备海量的带标签数据集，该方法能够实现自主学习平面交叉口处行人过街行为特征并预测其行走、驻足、快跑等行为。
为实现本发明的目的，发明了一种基于深度强化学习的行人过街行为预测方法。本发明数据采集的路侧设备选用毫米波雷达和视觉相机。首先，以改进的将要碰撞时间MTTC作为状态的即时奖励；其次，建立全卷积神经网络-长短期记忆网络(FCN-LSTM)模型提取行人过街行为的相互依赖及随机性特征，并预测动作奖励函数值；再其次，基于强化学习训练全卷积神经网络-长短期记忆网络(FCN-LSTM)模型；最后预测行人过街时行走、快跑、驻足等行为，并对过街行人和来往车辆进行危险预警。本发明的方法无需建立复杂的行人运动模型、无需准备海量的带标签数据集，实现自主学习平面交叉口处行人过街行为特征并预测其行走、驻足、快跑等行为，特别是对诱发人车碰撞、擦蹭等危险时行人过街行为的实时预测，对过街行人和来往车辆进行危险预警，有利于减少平面交叉口等重点路段交通事故发生率，保障交通环境中行人的安全。
本发明的方法具体包括以下步骤：
步骤一：设计即时奖励函数；
以路侧毫米波雷达当前检测出的改进将要碰撞时间MTTC作为状态的即时奖励rt。TTC定义车辆冲突仅仅考虑后车比前车的速度快，忽略了很多因加速度或减速度的差异造成的冲突。特别是车辆在平面交叉口遇到过街行人时，车辆刹车减速或者加速通过，此时可能会造成危险。因此，定义一种考虑车辆与行人间的相对位置、相对速度、相对加速度的改进将要碰撞时间MTTC：
Figure BDA0002803039040000071
其中，ΔXt表示相对位置，ΔVt表示相对速度，ΔAt表示相对加速度，根据ΔXt、ΔVt、ΔAt的正负情况，且使MTTCt≥0，取公式(1)中±。
如果平面交叉口某一状态内检测到多位行人或者多辆车，则依据公式(1)计算每一位行人与所有车辆间的MTTC，取最小的MTTC作为该行人当前状态的即时奖励rt。
步骤二：建立全卷积神经网络-长短期记忆网络(FCN-LSTM)模型预测动作奖励函数；
考虑到行人行为间的相互依赖关系，这种依赖关系则表现为行人在空间上相互依赖、相互约束，故利用全卷积神经网络FCN实现语义分割，将输入图像中行人从背景中分离出来，保留输入图像中行人的空间信息。同时，考虑行人行为在时间上具有连续性，故利用长短期记忆网络LSTM对行人前向行为信息加以利用。建立全卷积神经网络-长短期记忆网络(FCN-LSTM)模型预测行人行为奖励函数值，即向FCN-LSTM模型输入路侧相机拍摄的平面交叉口行人过街图像，FCN-LSTM模型输出行走、快跑、驻足三种离散行为对应的奖励函数值。FCN-LSTM模型具体结构如下：
1)标准卷积层1_1：第一层的输入是原始图像，像素为Q×Q’，通道数为3，用96个11×11的卷积核与原始输入图像做卷积，步长为4，不扩充边缘。将线性整流单元(RectifiedLinear Units,ReLU)作为神经元的激活函数，经过ReLU激活，输出维度为
Figure BDA0002803039040000081
的特征图；
局部响应规范化层1_2：为防止标准卷积层1_1经ReLU激活之后数据过拟合，进行局部响应归一化。
最大池化层1_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第一层的输出特征图，其维度为：
Figure BDA0002803039040000082
2)标准卷积层2_1：卷积层2的输入为卷积层1的输出特征图，卷积核的个数为256，卷积核大小为：5×5，以padding＝2进行边缘扩充，步长为1。经过ReLU激活，输出维度为
Figure BDA0002803039040000083
的特征图。
局部响应规范化层2_1：为防止标准卷积层2_1经ReLU激活之后数据过拟合，进行局部响应归一化。
最大池化层2_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第二层的输出特征图，其维度为：
Figure BDA0002803039040000084
3)标准卷积层3_1：卷积层3的输入为卷积层2的输出特征图，卷积核的个数为384，卷积核大小为：3×3，以padding＝1进行边缘扩充，步长为1，经过ReLU激活，得到第三层的输出特征图，其维度为：
Figure BDA0002803039040000085
4)标准卷积层4_1：卷积层4的输入为卷积层3的输出特征图，卷积核的个数为384，卷积核大小为：3×3，以padding＝1进行边缘扩充，步长为1，经过ReLU激活，得到第四层的输出特征图，其维度为：
Figure BDA0002803039040000086
5)标准卷积层5_1：卷积层5的输入为卷积层4的输出特征图，卷积核的个数为256，卷积核大小为：3×3，以padding＝1进行边缘扩充，步长为1。过ReLU激活，输出维度为维度为
Figure BDA0002803039040000087
的特征图。
最大池化层5_2：接着连接池化层，进行最大池化，池化层大小为3×3，步长为2，得到第五层的输出特征图，其维度为：
Figure BDA0002803039040000088
6)全卷积层6_1：为允许输入的图片为超过某一尺寸的任意大小。全卷积层6的输入为卷积层5的输出特征图，卷积核的个数为4096，卷积核大小为：1×1，无边缘扩充，步长为1，输出特征图的维度为：
Figure BDA0002803039040000091
7)全卷积层7_1：全卷积层7的输入为卷积层6的输出特征图，卷积核的个数为4096，卷积核大小为：1×1，无边缘扩充，步长为1，输出特征图的维度为：
Figure BDA0002803039040000092
8)上采样与跳级结构处理：将全卷积层7_1的输出特征图进行32倍上采样、将标准卷积层4_1的输出特征图进行16倍的上采样，获得与原始输入图像相同尺寸的图像。由于全卷积层7_1的输出特征图过小，细节损失过多，为使全卷积层7_1的输出图像有更丰富的全局信息和更多的局部细节，采用跳级结构。即将全卷积层7_1输出特征图的32倍上采样图像与标准卷积层4_1输出特征图的16倍上采样图像进行相加融合，实现图像全局预测的同时进行局部图像细节的预测，输出Q×Q'分割图像作为下一层的输入。
9)LSTM层：考虑到行人过街行为具有一定的连续性，为利用行人行为在时间上的连续性，故选用LSTM层，输入维度为Q，时间步为Q'，输出维度为3。
10)输出：输出行人在该状态下行走、快跑、驻足三种行为对应的奖励函数值。
q(s,行走),q(s,快跑),q(s,驻足)，S表示行人当前状态。由q(s,行走),q(s,快跑),q(s,驻足)组成行为奖励函数预测值q_value＝{q(s,行走),q(s,驻足),q(s,快跑)}。
步骤三：基于强化学习训练全卷积神经网络-长短期记忆网络(FCN-LSTM)模型；
基于强化学习思想训练步骤二建立的FCN-LSTM模型。考虑行人过街时行为具有一定的随机性，在迭代训练过程中，以ξ的概率随机选择行人行走、驻足、快跑行为。以1-ξ的概率贪婪的选择行人行为，即选择步骤二10)输出的行为奖励函数最大值所对应的行为。使得FCN-LSTM模型能够学习到行人过街行为既具有一定目的性，同时不同行人个体又具有一定的随机性的特点。其训练具体步骤如下：
子步骤1：初始化q(s,a)＝0。q(s,a)表示行人的动作价值函数值，其中s表示当前状态，a表示当前的行为，a∈{行走、驻足、快跑}。初始化当前状态s。
子步骤2：执行一步行为。随机生成[0,1]的随机数random，若random＜ξ，则随机选择行人行为，即从行人行为动作集{行走,驻足,快跑}中随机选择一行为；random≥ξ，ξ拟取值0,1，则使用贪婪策略选择行人行为，即从行人行为动作集{行走,驻足,快跑}中使q(s,a)值最大的行为。
子步骤3：更新状态和奖励函数值。行人执行一步行为后，进入新的状态s’，利用步骤一设计的即时奖励函数rt，并根据式(2)更新奖励函数值。
q(st,at)←q(st,at)+α(rt+γmaxaq(st+1,a)-q(st,at)) (2)
其中，q(st,at)表示当前状态下动作奖励函数值，t表示时间步，maxa q(st+1,a)表示下一状态最大的动作奖励函数值，α表示探索率，α拟取0.1，rt表示当前状态的即时奖励值，γ表示奖励衰减因子，即后续状态对当前动作的影响逐级递减，γ∈[0,1]，γ拟取值0.95。
子步骤4：取式(2)更新后的q(st,at)作为真值，取步骤二中FCN-LSTM模型输出的q_value＝{q(s,行走),q(s,驻足),q(s,快跑)}的最大值作为预测值。基于梯度下降方法训练步骤二中建立的FCN-LSTM模型，优化FCN-LSTM模型的权重参数。
子步骤5：重复执行子步骤2、子步骤3、子步骤4，直到s终止，即行人完成过街行为。
步骤四：预测行人过街行为及危险预警；
重复执行步骤三，完成FCN-LSTM模型的多轮训练。向训练完成的FCN-LSTM模型输入部署在平面交叉口路侧的相机图像，FCN-LSTM模型输出q_value＝{q(s,行走),q(s,驻足),q(s,快跑)}，取max{q(s,行走),q(s,驻足),q(s,快跑)}所对应的行为即为本发明预测的平面交叉口行人过街的行为。若根据当前状态，预测行为是行走或快跑时，则向平面交叉口处过街行人发出预警信号，提醒其注意可能发生的危险。
为进一步验证本发明的效果，利用智能车与智能交通仿真测试平台prescanv8.5和matlab/simulink 2020a联合仿真平台，构建如附图2所示的平面交叉口场景，数据采集的路侧设备选用毫米波雷达和视觉相机。全卷积神经网络-长短期记忆网络(FCN-LSTM)模型训练完成后，随机改变平面交叉口的行人过街场景，重复测试20次，行人过街行为预测及危险预警准确率如附图3所示。可以看出：本发明方法能够准确地预测出平面交叉口处行人的过街行为。
需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。

Claims (5)

1.一种面向平面交叉口的行人过街行为预测方法，其特征在于，所述方法包括以下步骤：
步骤一：设计即时奖励函数；
步骤二：建立全卷积神经网络-长短期记忆网络(FCN-LSTM)模型预测动作奖励函数；
步骤三：基于强化学习训练全卷积神经网络-长短期记忆网络(FCN-LSTM)模型；
步骤四：预测行人过街行为及危险预警。
2.根据权利要求1所述的面向平面交叉口的行人过街行为预测方法，其特征在于，所述步骤一：设计即时奖励函数，具体如下：
以路侧毫米波雷达当前检测出的改进将要碰撞时间MTTC作为状态的即时奖励rt，TTC定义车辆冲突仅仅考虑后车比前车的速度快，定义一种考虑车辆与行人间的相对位置、相对速度、相对加速度的改进将要碰撞时间MTTC：
Figure FDA0002803039030000011
其中，ΔXt表示相对位置，ΔVt表示相对速度，ΔAt表示相对加速度，根据ΔXt、ΔVt、ΔAt的正负情况，且使MTTCt≥0，取公式(1)中±；
如果平面交叉口某一状态内检测到多位行人或者多辆车，则依据公式(1)计算每一位行人与所有车辆间的MTTC，取最小的MTTC作为该行人当前状态的即时奖励rt。
3.根据权利要求2所述的面向平面交叉口的行人过街行为预测方法，其特征在于，所述步骤二：建立全卷积神经网络-长短期记忆网络(FCN-LSTM)模型预测动作奖励函数，具体如下：
考虑到行人行为间的相互依赖关系，这种依赖关系则表现为行人在空间上相互依赖、相互约束，故利用全卷积神经网络FCN实现语义分割，将输入图像中行人从背景中分离出来，保留输入图像中行人的空间信息，同时，考虑行人行为在时间上具有连续性，故利用长短期记忆网络LSTM对行人前向行为信息加以利用，建立全卷积神经网络-长短期记忆网络(FCN-LSTM)模型预测行人行为奖励函数值，即向FCN-LSTM模型输入路侧相机拍摄的平面交叉口行人过街图像，FCN-LSTM模型输出行走、快跑、驻足三种离散行为对应的奖励函数值，FCN-LSTM模型具体结构如下：
1)标准卷积层1_1：第一层的输入是原始图像，像素为Q×Q’，通道数为3，用96个11×11的卷积核与原始输入图像做卷积，步长为4，不扩充边缘。将线性整流单元(RectifiedLinear Units,ReLU)作为神经元的激活函数，经过ReLU激活，输出维度为
Figure FDA0002803039030000012
的特征图；
局部响应规范化层1_2：为防止标准卷积层1_1经ReLU激活之后数据过拟合，进行局部响应归一化；
最大池化层1_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第一层的输出特征图，其维度为：
Figure FDA0002803039030000021
2)标准卷积层2_1：卷积层2的输入为卷积层1的输出特征图，卷积核的个数为256，卷积核大小为：5×5，以padding＝2进行边缘扩充，步长为1。经过ReLU激活，输出维度为
Figure FDA0002803039030000022
的特征图；
局部响应规范化层2_1：为防止标准卷积层2_1经ReLU激活之后数据过拟合，进行局部响应归一化；
最大池化层2_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第二层的输出特征图，其维度为：
Figure FDA0002803039030000023
3)标准卷积层3_1：卷积层3的输入为卷积层2的输出特征图，卷积核的个数为384，卷积核大小为：3×3，以padding＝1进行边缘扩充，步长为1，经过ReLU激活，得到第三层的输出特征图，其维度为：
Figure FDA0002803039030000024
4)标准卷积层4_1：卷积层4的输入为卷积层3的输出特征图，卷积核的个数为384，卷积核大小为：3×3，以padding＝1进行边缘扩充，步长为1，经过ReLU激活，得到第四层的输出特征图，其维度为：
Figure FDA0002803039030000025
5)标准卷积层5_1：卷积层5的输入为卷积层4的输出特征图，卷积核的个数为256，卷积核大小为：3×3，以padding＝1进行边缘扩充，步长为1。过ReLU激活，输出维度为维度为
Figure FDA0002803039030000026
的特征图；
最大池化层5_2：接着连接池化层，进行最大池化，池化层大小为3×3，步长为2，得到第五层的输出特征图，其维度为：
Figure FDA0002803039030000027
6)全卷积层6_1：为允许输入的图片为超过某一尺寸的任意大小，全卷积层6的输入为卷积层5的输出特征图，卷积核的个数为4096，卷积核大小为：1×1，无边缘扩充，步长为1，输出特征图的维度为：
Figure FDA0002803039030000031
7)全卷积层7_1：全卷积层7的输入为卷积层6的输出特征图，卷积核的个数为4096，卷积核大小为：1×1，无边缘扩充，步长为1，输出特征图的维度为：
Figure FDA0002803039030000032
8)上采样与跳级结构处理：将全卷积层7_1的输出特征图进行32倍上采样、将标准卷积层4_1的输出特征图进行16倍的上采样，获得与原始输入图像相同尺寸的图像。由于全卷积层7_1的输出特征图过小，细节损失过多，为使全卷积层7_1的输出图像有更丰富的全局信息和更多的局部细节，采用跳级结构，即将全卷积层7_1输出特征图的32倍上采样图像与标准卷积层4_1输出特征图的16倍上采样图像进行相加融合，实现图像全局预测的同时进行局部图像细节的预测，输出Q×Q'分割图像作为下一层的输入；
9)LSTM层：考虑到行人过街行为具有一定的连续性，为利用行人行为在时间上的连续性，故选用LSTM层，输入维度为Q，时间步为Q'，输出维度为3；
10)输出：输出行人在该状态下行走、快跑、驻足三种行为对应的奖励函数值；
q(s,行走),q(s,快跑),q(s,驻足)，S表示行人当前状态，由q(s,行走),q(s,快跑),q(s,驻足)组成行为奖励函数预测值q_value＝{q(s,行走),q(s,驻足),q(s,快跑)}。
4.根据权利要求3所述的面向平面交叉口的行人过街行为预测方法，其特征在于，步骤三：基于强化学习训练全卷积神经网络-长短期记忆网络(FCN-LSTM)模型，具体如下：基于强化学习思想训练步骤二建立的FCN-LSTM模型，考虑行人过街时行为具有一定的随机性，在迭代训练过程中，以ξ的概率随机选择行人行走、驻足、快跑行为，以1-ξ的概率贪婪的选择行人行为，即选择步骤二10)输出的行为奖励函数最大值所对应的行为，使得FCN-LSTM模型能够学习到行人过街行为既具有一定目的性，同时不同行人个体又具有一定的随机性的特点，其训练具体步骤如下：
子步骤1：初始化q(s,a)＝0。q(s,a)表示行人的动作价值函数值，其中s表示当前状态，a表示当前的行为，a∈{行走、驻足、快跑}。初始化当前状态s；
子步骤2：执行一步行为，随机生成[0,1]的随机数random，若random＜ξ，则随机选择行人行为，即从行人行为动作集{行走,驻足,快跑}中随机选择一行为；random≥ξ，ξ拟取值0,1，则使用贪婪策略选择行人行为，即从行人行为动作集{行走,驻足,快跑}中使q(s,a)值最大的行为；
子步骤3：更新状态和奖励函数值。行人执行一步行为后，进入新的状态s’，利用步骤一设计的即时奖励函数rt，并根据式(2)更新奖励函数值；
q(st,at)←q(st,at)+α(rt+γmaxa q(st+1,a)-q(st,at)) (2)
其中，q(st,at)表示当前状态下动作奖励函数值，t表示时间步，maxa q(st+1,a)表示下一状态最大的动作奖励函数值，α表示探索率，α拟取0.1，rt表示当前状态的即时奖励值，γ表示奖励衰减因子，即后续状态对当前动作的影响逐级递减，γ∈[0,1]，γ拟取值0.95；
子步骤4：取式(2)更新后的q(st,at)作为真值，取步骤二中FCN-LSTM模型输出的q_value＝{q(s,行走),q(s,驻足),q(s,快跑)}的最大值作为预测值，基于梯度下降方法训练步骤二中建立的FCN-LSTM模型，优化FCN-LSTM模型的权重参数；
子步骤5：重复执行子步骤2、子步骤3、子步骤4，直到s终止，即行人完成过街行为。
5.根据权利要求3或4所述的面向平面交叉口的行人过街行为预测方法，其特征在于，步骤四：预测行人过街行为及危险预警，重复执行步骤三，完成FCN-LSTM模型的多轮训练。向训练完成的FCN-LSTM模型输入部署在平面交叉口路侧的相机图像，FCN-LSTM模型输出q_value＝{q(s,行走),q(s,驻足),q(s,快跑)}，取max{q(s,行走),q(s,驻足),q(s,快跑)}所对应的行为即为本发明预测的平面交叉口行人过街的行为，若根据当前状态，预测行为是行走或快跑时，则向平面交叉口处过街行人发出预警信号，提醒其注意可能发生的危险。
CN202011357565.7A 2020-11-26 2020-11-26 一种面向平面交叉口的行人过街行为预测方法 Active CN112487954B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011357565.7A CN112487954B (zh) 2020-11-26 2020-11-26 一种面向平面交叉口的行人过街行为预测方法
US18/249,715 US20230410659A1 (en) 2020-11-26 2021-04-12 Method for predicting pedestrian crossing behavior for intersection
PCT/CN2021/086572 WO2022110611A1 (zh) 2020-11-26 2021-04-12 一种面向平面交叉口的行人过街行为预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011357565.7A CN112487954B (zh) 2020-11-26 2020-11-26 一种面向平面交叉口的行人过街行为预测方法

Publications (2)

Publication Number Publication Date
CN112487954A true CN112487954A (zh) 2021-03-12
CN112487954B CN112487954B (zh) 2023-12-05

Family

ID=74936212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011357565.7A Active CN112487954B (zh) 2020-11-26 2020-11-26 一种面向平面交叉口的行人过街行为预测方法

Country Status (3)

Country Link
US (1) US20230410659A1 (zh)
CN (1) CN112487954B (zh)
WO (1) WO2022110611A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793497A (zh) * 2021-08-04 2021-12-14 东南大学 一种考虑多因素的行人过街行为预测方法
WO2022110611A1 (zh) * 2020-11-26 2022-06-02 东南大学 一种面向平面交叉口的行人过街行为预测方法
US20230038673A1 (en) * 2021-08-04 2023-02-09 Denso International America, Inc. Sequential pedestrian trajectory prediction using step attention for collision avoidance
CN118627574A (zh) * 2024-08-13 2024-09-10 安徽大学 一种基于上下文状态和动作权重的强化学习方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115402350B (zh) * 2022-08-01 2023-11-07 宁波大学科学技术学院 异质性人车交互行为虚拟仿真方法
CN115294661A (zh) * 2022-10-10 2022-11-04 青岛浩海网络科技股份有限公司 一种基于深度学习的行人危险行为识别方法
CN116612636B (zh) * 2023-05-22 2024-01-23 暨南大学 基于多智能体强化学习的信号灯协同控制方法
CN117057656B (zh) * 2023-08-17 2024-05-31 广东飞翔云计算有限公司 基于数字孪生的智慧城市管理方法及系统
CN117436937B (zh) * 2023-12-21 2024-07-05 暗物智能科技(广州)有限公司 一种考虑行人画像的路径预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614907A (zh) * 2018-11-28 2019-04-12 安徽大学 基于特征强化引导卷积神经网络的行人再识别方法及装置
CN109684933A (zh) * 2018-11-30 2019-04-26 广州大学 一种前方行人窜出马路的预警方法
CN111178584A (zh) * 2019-12-04 2020-05-19 常熟理工学院 一种基于双层融合模型的无人驾驶行为预测方法
US20200247402A1 (en) * 2019-01-31 2020-08-06 Honda Motor Co., Ltd. Reinforcement learning with scene decomposition for navigating complex environments

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678034B (zh) * 2016-03-14 2018-10-02 东南大学 行人过街时间模型及信号交叉口人行横道宽度优化方法
US11579629B2 (en) * 2019-03-15 2023-02-14 Nvidia Corporation Temporal information prediction in autonomous machine applications
CN111860269B (zh) * 2020-07-13 2024-04-16 南京航空航天大学 一种多特征融合的串联rnn结构及行人预测方法
CN112487954B (zh) * 2020-11-26 2023-12-05 东南大学 一种面向平面交叉口的行人过街行为预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614907A (zh) * 2018-11-28 2019-04-12 安徽大学 基于特征强化引导卷积神经网络的行人再识别方法及装置
CN109684933A (zh) * 2018-11-30 2019-04-26 广州大学 一种前方行人窜出马路的预警方法
US20200247402A1 (en) * 2019-01-31 2020-08-06 Honda Motor Co., Ltd. Reinforcement learning with scene decomposition for navigating complex environments
CN111178584A (zh) * 2019-12-04 2020-05-19 常熟理工学院 一种基于双层融合模型的无人驾驶行为预测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022110611A1 (zh) * 2020-11-26 2022-06-02 东南大学 一种面向平面交叉口的行人过街行为预测方法
CN113793497A (zh) * 2021-08-04 2021-12-14 东南大学 一种考虑多因素的行人过街行为预测方法
US20230038673A1 (en) * 2021-08-04 2023-02-09 Denso International America, Inc. Sequential pedestrian trajectory prediction using step attention for collision avoidance
CN118627574A (zh) * 2024-08-13 2024-09-10 安徽大学 一种基于上下文状态和动作权重的强化学习方法
CN118627574B (zh) * 2024-08-13 2024-10-11 安徽大学 一种基于上下文状态和动作权重的强化学习方法

Also Published As

Publication number Publication date
US20230410659A1 (en) 2023-12-21
WO2022110611A1 (zh) 2022-06-02
CN112487954B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN112487954A (zh) 一种面向平面交叉口的行人过街行为预测方法
Gupta et al. Deep learning for object detection and scene perception in self-driving cars: Survey, challenges, and open issues
CN111061277B (zh) 一种无人车全局路径规划方法和装置
CN111311945B (zh) 一种融合视觉和传感器信息的驾驶决策系统及方法
EP3548353B1 (en) System and method for estimating vehicular motion based on monocular video data
US11055544B2 (en) Electronic device and control method thereof
US20220343138A1 (en) Analysis of objects of interest in sensor data using deep neural networks
Min et al. Deep Q learning based high level driving policy determination
US11040714B2 (en) Vehicle controller and method for controlling a vehicle
DE102020127043A1 (de) Sicherheitssystem für ein fahrzeug
US20210150350A1 (en) Agent trajectory prediction using vectorized inputs
US11756309B2 (en) Contrastive learning for object detection
CN113516846B (zh) 车辆换道行为预测模型构建、预测预警方法及系统
CN110646007B (zh) 一种基于形式化表示的车辆驾驶方法
US20230196749A1 (en) Training Neural Networks for Object Detection
CN116977484A (zh) 图像脱敏方法、装置、电子设备及存储介质
Chan et al. The ethical dilemma when (not) setting up cost-based decision rules in semantic segmentation
Abdelraouf et al. Interaction-aware personalized vehicle trajectory prediction using temporal graph neural networks
CN117115690A (zh) 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统
CN116434173A (zh) 道路图像检测方法、装置、电子设备及存储介质
CN115981302A (zh) 车辆跟驰换道行为决策方法、装置及电子设备
CN115719547A (zh) 基于多重交互行为的交通参与者轨迹预测方法及系统
CN114889608A (zh) 一种基于注意力机制的车辆换道预测方法
CN113920166A (zh) 一种选择物体运动模型方法、装置、交通工具及存储介质
Cao et al. Vision navigation for driver cognitive model in ACT-R architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant