CN112232254A - 一种考虑行人激进度的行人风险评估方法 - Google Patents

一种考虑行人激进度的行人风险评估方法 Download PDF

Info

Publication number
CN112232254A
CN112232254A CN202011154776.0A CN202011154776A CN112232254A CN 112232254 A CN112232254 A CN 112232254A CN 202011154776 A CN202011154776 A CN 202011154776A CN 112232254 A CN112232254 A CN 112232254A
Authority
CN
China
Prior art keywords
pedestrian
value
aggressiveness
determining
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011154776.0A
Other languages
English (en)
Other versions
CN112232254B (zh
Inventor
王裕宁
黄荷叶
王建强
许庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011154776.0A priority Critical patent/CN112232254B/zh
Publication of CN112232254A publication Critical patent/CN112232254A/zh
Application granted granted Critical
Publication of CN112232254B publication Critical patent/CN112232254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种考虑行人激进度的行人风险评估方法，包括：步骤S1，检测自车行驶路线上是否有行人正在穿行；若是，则进入步骤S2；步骤S2，调用自车传感器数据和定位数据，获取行人等待时间、行人是否向后退、行人穿行群体人数、行人穿行的速度、加速度和人车间距；步骤S3，根据步骤S2得到的数据，确定特征变量的数值和激进度指数；步骤S4，将步骤S3获得的特征变量的激进度指数作为输入，通过基于多层感知机MLP的深度学习网络，获得行人整体激进度数值；步骤S5，基于所述行人整体激进度数值计算行人风险值。通过采用本发明提供的方法，能够完成行人激进度的识别并转化为行人风险值，以便自车差异化地进行决策，提高通行效率。

Description

一种考虑行人激进度的行人风险评估方法
技术领域
本发明涉及智能网联汽车行人风险评估领域，特别涉及一种考虑行人激进度的行人风险评估方法。
背景技术
智能网联汽车(ICV)的决策方法是自动驾驶的关键技术之一。然而，目前大部分已有的决策方法难以支撑高级别的自动驾驶，尤其在拥挤复杂、人车混合场景下的通行效率较低，而原因之一在于没有根据不同对象个体特征进行差异化处理，导致车辆根据环境决策的动态调整能力较差，差异化程度不足，所以需要对当前的ICV决策方法进行优化。
差异化决策优化的一个关键痛点便是无法对行人等随机性较强的交通参与对象进行精准的风险评估，因此需要一种能够体现行人个体差异性的行人风险评估方法，以便为后续ICV差异化决策提供量化依据。
当前现有的行人风险评估方法主要有两种，一种基于简单物理量映射，将行人速度、人车距离等直观物理量通过函数映射为数值，映射函数的具体形式有势能函数、点电荷函数等。该类方法虽然直观，但考虑的因素太少，无法体现行人个体差异，无法实现对行人个体的精准风险评估；第二种为基于行人轨迹预测的风险评估，该类方法通过提取行人前若干秒的历史轨迹拟合出未来可能的运动轨迹，并以此计算与自车的碰撞概率，以碰撞概率为核心计算风险值。该类方法对行人轨迹信息的精确度要求很高，当实际获取的行人轨迹有偏差时得到的结果鲁棒性不强，同时该类方法也无法体现行人逻辑层面的差异性。
行人激进度是一个较好的反映行人个体特征的值，其定义为：在行为层面上趋向于危险、高风险运动的程度。行人激进度定义与行人在道路中对车辆所产生风险的原因有很大的关联性，适合作为行人风险评估的关键指标。当前已经有一些关于行人个体差异的研究，主要为根据统计学进行回归分析，但尚未提出统一的激进度衡量标准，也未涉及人-车交互算法与决策过程。
因此，当前缺乏一种合适的行人风险评估方法，导致后续的决策难实现精细化、差异化，有必要开发一种能够反映行人个体特征的风险评估方法。
发明内容
本发明的目的在于提供一种考虑行人激进度的行人风险评估方法来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种考虑行人激进度的行人风险评估方法，包括：
步骤S1，检测自车行驶路线上是否有行人正在穿行；若是，则进入步骤S2；
步骤S2，调用自车传感器数据和定位数据，获取行人等待时间、行人是否向后退、行人穿行群体人数、行人穿行的速度、加速度和人车间距；
步骤S3，根据步骤S2得到的数据，确定特征变量的数值和激进度指数；其中，所述特征变量包括是否向后退、平均速度、是否观察车流、是否有干扰物、加速度、等待时间、人群数量，所述特征变量是通过下述方法设置的：通过相关性矩阵分析影响行人激进度的备选变量，在每一组相关性高于预设阈值的变量中保留一种变量设置为所述特征变量；确定所述特征变量的数值和激进度指数包括根据步骤S2得到的数据获取所述特征变量的数值，根据预设的特征变量与激进度之间的对应关系确定所述激进度指数；
步骤S4，将步骤S3获得的特征变量的激进度指数作为输入，通过基于多层感知机MLP的深度学习网络，获得行人整体激进度数值；
步骤S5，基于所述行人整体激进度数值计算行人风险值。
可选的，步骤S3中根据预设的特征变量与激进度之间的对应关系确定所述激进度指数包括：
确定是否向后退的激进度：如果行人后退，所述是否向后退的激进度取第一值，否则取第二值；第一值小于第二值；
确定平均速度的激进度：根据所述平均速度与预设速度的差值以及差值与速度激进度的预设关系得到所述行人的平均速度的激进度指数；
确定是否观察车流的激进度：如果行人观察车流，所述是否观察车流的激进度指数取第三值，否则取第四值；第三值小于第四值；
确定是否有干扰物的激进度：如果存在干扰物，所述是否有干扰物的激进度取指数第五值，否则取第六值；第五值大于第六值；
确定加速度的激进度：如果行人加速度大于预设加速度阈值，确定加速度的激进度指数取第七值，否则取第八值；第七值大于第八值；
确定等待时间的激进度：根据预设等待之间与激进度之间的对应关系确定所述等待时间的激进度指数，其中，等待时间越长，激进度越大；
确定人群数量的激进度：根据预设的人数与激进度之间的关系确定人群数量的激进度指数；其中，人群数量在小于预设人数阈值之前，激进度随人数的增加而减小。
可选的，确定平均速度的激进度包括：
根据下式(1)将所述平均速度进行正则化处理，得到新平均速度：
Figure BDA0002742352200000031
其中
Figure BDA0002742352200000032
为预设速度，σ为样本标准差，～N(0,1)表示标准正态分布；
根据下式(2)确定所述行人的平均速度的激进度指数：
Figure BDA0002742352200000033
其中，Aspd表示平均速度的激进度指数，P表示概率密度函数，X表示随机变量。
可选的，所述第一值、第三值、第六值、第八值为0，所述第二值、第四值、第五值、第七值为1。
可选的，所述确定等待时间的激进度包括根据下式确定所述等待时间的激进度指数：
Figure BDA0002742352200000034
其中，Await表示所述等待时间的激进度指数，twait表示所述等待时间。
可选的，所述确定人群数量的激进度包括根据下式确定人群数量的激进度指数：
Figure BDA0002742352200000035
其中，NG表示人群数量，AG(NG)表示人群数量的激进度指数。
可选的，所述基于MLP的深度学习网络包括输入层、隐藏层和输出层；在所述输入层输入所述步骤S3获得的特征变量的激进度指数；在所述隐藏层中以下参数为超参数：周期数、单层神经元数、隐藏层数、激活函数、学习率和损失函数；在所述输出层输出所述行人整体激进度数值。
可选的，步骤S5包括：根据下式计算行人风险值：
Figure BDA0002742352200000041
其中，Rped为行人风险值，Atotal为步骤S4获得的所述行人整体激进度数值，vi是行人穿行速度，r表示人车之间的距离，i用于标识行人，k和
Figure BDA0002742352200000042
为预设值。
可选的，步骤S5后还包括：
判断行人是否完成穿行行为，若未完成则回到步骤S2。
可选的，在通过相关性矩阵分析影响行人激进度的备选变量之前，还包括：通过逻辑链解释筛选与行人激进度有关的变量，得到直接对行人穿行行为有影响的变量。
本发明由于采取以上技术方案，其具有以下优点：
提供一种在道路场景中对行人进行风险评估的方法，其能够完成行人激进度的识别并转化为行人风险值，以便自车差异化地进行决策，提高通行效率。
附图说明
图1为本发明实施例提供一种考虑行人激进度的行人风险评估方法的流程示意图。
图2示出本发明实施例提供的获取行人等待时间、行人是否向后退、行人穿行群体人数、行人穿行的速度、加速度和人车间距的示意图。
图3示出自车的摄像头像素坐标系以及转化后的坐标系示意图。
图4示出性别的逻辑链示意图。
图5示出人群数量的逻辑链示意图。
图6示出特征相关性矩阵的示意图。
图7示出行人样本平均速度分布示意图。
图8示出等待时间与激进度的函数图像示意图。
图9示出人群数量与激进度的函数曲线示意图。
图10示出深度学习网络的结构示意图。
图11示出ReLU激活函数示意图。
图12示出SeLU激活函数示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
本发明实施例提供一种考虑行人激进度的行人风险评估方法，如图1所示，该方法包括：
步骤S1，检测自车行驶路线上是否有行人正在穿行；若是，则进入步骤S2。如果检测结果为否，可以继续检测。
在一个例子中，自车行驶时，实时探测车辆路线前方30米区域，当自车传感器检测到自车行驶路线上有行人开始穿行，则进入激进度识别流程。
步骤S2，调用自车传感器数据和定位数据，获取行人等待时间、行人是否向后退、行人穿行群体人数、行人穿行的速度、加速度和人车间距。
在一个例子中，对原始图像的处理基于PIE数据集自带算法，使用该算法后每一帧图像都可以转化为一系列行人数据标签，包括行人的编号(ID)、是否看向自车(look)、运动状态(有行走、静止和奔跑三种，即action)、是否正在穿行马路(cross)、手势(gesture)、是否被遮挡(occlusion)。
进而，根据基于PIE数据集自带算法得到的行人数据标签获取行人等待时间、行人是否向后退、行人穿行群体人数、行人穿行的速度、加速度和人车间距。如图2所示，包括下述步骤S21-S24。
需要说明，步骤S21-S24仅是为了方便说明而排序，并不意味着必须要遵循其先后顺序，步骤S21-S24可以根据实际需要灵活设置其先后顺序。
步骤S21，获取行人等待时间。
行人等待时处于静止状态时，其个人标注中的“action”一项应当为静立，因此只需要寻找行人第一帧处于静立状态的帧编号，随后计算从该帧到穿行开始帧之间的时间间隔即可。为避免误识别，本文收紧对静立的判别标准，认为连续10帧为静立方认为该行人确实静止不动。需要说明，可以根据需要设置其它值，本文并不限定帧数为10。
步骤S22，获取行人是否向后退。
只需要判断行人的识别框定位坐标是否产生反向位移即可。由于相对位置关系自车位移也会使得行人产生反向位移，本文中行人坐标为大地坐标系。
步骤S23，获取行人穿行群体人数。
判定行人结伴穿行的标准为穿行关键帧编号之差是否小于30，即两人穿行的时间间隔是否小于1秒。若某行人穿行时刻与已知团体内的任何一人时刻之差小于1秒，则将此行人归并到该团体中。
需要说明，上述30、1秒的设置仅为示例，可以根据需要设置其它取值。
步骤S24，获取行人穿行的速度、加速度、人车间距。
这三项数据涉及自车的摄像头像素坐标与实际大地坐标系之间的坐标转换问题。
如图3所示，在自车的摄像头像素坐标系里，原点O是左上角位置，横向为X轴，纵向为Y轴，本文将其转化为以小车后轴中心点为原点的坐标系。
对于平面问题而言，可以将坐标转换问题如下数学问题，其中(x11,y11)是摄像头图像中的像素坐标，而(x21,y21)是实际自车坐标系中的坐标，a～f是需要拟合标定的摄像头转换参数。
Figure BDA0002742352200000061
Figure BDA0002742352200000062
本文使用最小二乘法来求解这六个转换参数，取一系列图像点并推算出他们的实际坐标，随后根据下式求解：
Figure BDA0002742352200000063
Figure BDA0002742352200000064
经过上述变换，即可将摄像头坐标转化为相距自车的坐标，可以算出行人相对于自车的横向速度、相对纵向速度、相对横向加速度、相对距离。行人穿行的速度方向可以认为垂直于自车速度，因此求得相对行人横向速度与加速度即是绝对横向速度与加速度，纵向速度需要与自车速度进行矢量相加。
由于该数据采集频率较高，有时相邻帧坐标不会发生更新，因此本文中的速度与加速度均以例如10帧为单位进行微分计算，避免出现速度跳变。最终输入到模型中的速度取整个穿行过程中的最大值，而加速度判定则为离散量。
步骤S3，根据步骤S2得到的数据，确定特征变量的数值和激进度指数。其中，所述特征变量包括是否向后退、平均速度、是否观察车流、是否有干扰物、加速度、等待时间、人群数量，所述特征变量是通过下述方法设置的：通过相关性矩阵分析影响行人激进度的备选变量，在每一组相关性高于预设阈值的变量中保留一种变量设置为所述特征变量；确定所述特征变量的数值和激进度指数包括根据步骤S2得到的数据获取所述特征变量的数值，根据预设的特征变量与激进度之间的对应关系确定所述激进度指数。
在步骤S2中获得行人等待时间、行人是否向后退、行人穿行群体人数、行人穿行的速度、加速度和人车间距等数据后，确定各物理量对应激进度指数。
本文中，需要确定激进度指数的物理量为七类特征变量，包括：是否向后退、平均速度、是否观察车流、是否有干扰物、加速度、等待时间和人群数量。
其中，本发明实施例可以采用相关性分析，或者采用相关性分析结合逻辑链解释的双重验证的方式来确定最终需要进行提取的行人特征变量。
首先，经过文献调研可以得到大约20种潜在的与行人激进度有关的变量，随后使用数学相关性分析可以验证两个变量之间的依赖程度，而直观的逻辑链解释则可以从主观上去理解两个变量是否冲突。通过主客观相统一的论证，确保筛选出的变量合理性。
首先通过逻辑链解释进行初筛。以下两个例子说明如何初筛。
例如性别：有研究表明在发生穿行红灯的人群中，36.8％为女性，63.2％为男性，但性别不能直接地解释该行人的激进行为，构成逻辑链需要加入中间变量，例如：“男性的步伐更大，速度更快，因此更加激进”。因此，性别的逻辑链如图4所示，速度才是直接导致其行为激进的原因，因此性别不作为激进度判别依据。
再例如人群数量，其逻辑链如图5所示。由于人群数量众多，在队列中的人会相互监督相互督促，于是人们更加倾向于不违反规则，因此最后该群体中的人都趋于保守。在此链条中，人群数量是距离结果最近的可观测量，因此人群数量被考虑作为激进度判别依据。
本发明希望识别过程中的所有变量都是直接对交通行为有影响的，在保证模型精确的基础之上，最大幅度削减不必要的变量。
进一步精确筛选激进度判别变量需要数值相关性矩阵分析。需要说明，也可以直接根据数值相关性矩阵分析来筛选激进度判别变量，即特征变量。
图6示出特征相关性矩阵的示例。其中，在每一组相关性极高的变量中保留一种变量，例如最易测量的一种，作为特征变量。
确定特征变量后，根据预设的特征变量与激进度之间的对应关系确定所述激进度指数。具体可以包括如下步骤S31-S37。需要说明，步骤S31-S37仅是出于方便说明而编号，并不意味着操作的先后顺序，可以根据实际需要灵活设置步骤S21-S37中各步骤的先后顺序。
步骤S31，确定是否向后退的激进度：如果行人后退，所述是否向后退的激进度取第一值，否则取第二值；第一值小于第二值。
在一个例子中，定义行人是否向后退的激进度为Aback，并且设定行人是否后退的判定为Fback，则行人是否向后退的激进度的量化公式如下式5：
Figure BDA0002742352200000081
步骤S32，确定平均速度的激进度：根据所述平均速度与预设速度的差值以及差值与速度激进度的预设关系得到所述行人的平均速度的激进度指数。
在一个例子中，将行人行走速度考虑为正态分布，首先对预设数量例如1424例行人有效穿行观察进行统计分析，图7示出行人样本平均速度分布。计算可以得到其平均值为1.58米每秒，方差为0.264。
由客观规律易得：行人速度越快，则其行为越激进，因此速度—激进度应当是一个单调增的函数或者映射，本文将速度抽象为正态分布。正态分布的分布函数如式6。假设检测到行人平均速度为vave，其服从正态分布，则将其进行正则化处理则可以得到服从标准正态分布的新变量Vave：
Figure BDA0002742352200000082
其中
Figure BDA0002742352200000083
为统计平均速度，本文示例中取1.58m/s；σ为样本标准差，本文示例中取0.514。定义速度对激进程度的影响指数为Aspd，则若行人的通行平均速度为v0，该速度的激进度指数通过下式7计算：
Figure BDA0002742352200000084
由以式7可以得到一个0至1之间的数值，该数值即为所得行人速度项分值。该分值越小则说明越保守，越大则表示越激进。
步骤S33，确定是否观察车流的激进度：如果行人观察车流，所述是否观察车流的激进度取第三值，否则取第四值；第三值小于第四值。
在一个示例中，定义是否观察车流的激进度表示为Apercp，是否观察车流的判定符为Fpercp，则是否观察车流的激进度的量化公式如式8：
Figure BDA0002742352200000091
其中，行人是否在观察车流可以根据步骤2中的行人数据标签例如gesture确定，例如行人是否转头等姿势。
步骤S34，确定是否有干扰物的激进度：如果存在干扰物，所述是否有干扰物的激进度取第五值，否则取第六值；第五值大于第六值。
在一个示例中，定义干扰物带来的激进指数为Adistb，是否有干扰物的判定符为Fdistb，则是否有干扰物的激进度的量化公式如式9：
Figure BDA0002742352200000092
其中，是否有干扰物可以根据步骤2中的行人数据标签例如gesture确定，例如行人是否一直低头等姿势。
步骤S35，确定加速度的激进度：如果行人加速度大于预设加速度阈值，确定加速度的激进度取第七值，否则取第八值；第七值大于第八值。
在一个例子中，设定一个阈值，当检测到该行人的加速度在某一时刻大于阈值时，则在原本的激进指数之上增加一个偏置值，表示其激进程度比原本的判断还要再高一些。如果定义阈值为thaccel，实际检测到的行人最大加速度为aped，加速度的激进度表示为Aaccel，则其定义式如式10。在当前定义式下，考虑到一个普通身体素质的人在全力加速时的加速度约为4m/s2，thaccel取2.5m/s2。容易理解，根据实际需要，thaccel可以取其它值。
Figure BDA0002742352200000093
步骤S36，确定等待时间的激进度：根据预设等待之间与激进度之间的对应关系确定所述等待时间的激进度指数，其中，等待时间越长，激进度越大。
在一个例子中，随着等待的时间增加，行人激进度具备以下特征：单调递增、梯度下降以及有上界。根据这些特征，定义等待时间的激进度为Await，等待时间为twait，则可以等待时间的激进度的构造函数如式11：
Figure BDA0002742352200000094
图8示出等待时间与激进度的函数图像。
步骤S37，确定人群数量的激进度：根据预设的人数与激进度之间的关系确定人群数量的激进度指数；其中，人群数量在小于预设人数阈值之前，激进度随人数的增加而减小。
在一个例子中，预设人数阈值为4，即当群体人数超过4人时，可以认为其激进程度和人数为4时是一样的，这源自于队列本身的物理约束，人数增加不会使得监督效应提升。图9示出人群数量与激进度的函数曲线。
容易理解，由于本文场景为交通场景，因此采用低行人密度时的数据。定义人数数量为NG，人群数量的激进度为AG，则得到的拟合曲线为式12：
AG＝-0.04NG+1.26(NG≤4) (12)
考虑人数大于等于4时的情况，同时将纵轴扩大十倍以便计算后，得到的人群数量的激进度的表达式为下式13：
Figure BDA0002742352200000101
步骤S4，将步骤S3获得的特征变量的激进度指数作为输入，通过基于多层感知机MLP的深度学习网络，获得行人整体激进度数值。
本文中，将步骤S3所得七个特征变量作为输入，利用基于多层感知机(MLP)的深度学习网络，获得行人整体激进度数值Atotal，并以此作为输出的行人风险值。
图10示出深度学习网络的结构。其中，整体网络分为三个部分：输入层——将步骤S3中获得的特征变量的激进度指数作为网络的输入变量；隐藏层——由中间层的神经元组成，每个神经元可以视作是一个函数，其函数输入由前一层的输出结果加权所得，通过激励函数进行变换，最后输出的结果向后一层的神经元传递函数变化的结果；输出层——将最后一层的隐藏层输出作为输入，通过单个神经元输出最终识别结果，该结果即为该行人的激进指数。
MLP模型中有许多需要手动试验寻找较优组合的参数，这些参数被称为“超参数”。
本发明实施例中，以下参数为超参数：周期数(Epoch)、单层神经元数(CellNumber)、隐藏层数(Layer Number)、激活函数(Activation)、学习率lr和损失函数LossFunction。其中，周期数表示循环优化的次数，单层神经元数表示单层参与验算的神经元个数，隐藏层数表示隐藏层神经元数量，激活函数表示每个神经元变换所使用的函数，学习率表示单次迭代优化时权重优化的变化量，损失函数表示计算输出层误差时使用的函数。
首先是激活函数的选择。在拟合问题中，为防止梯度爆炸和梯度消失问题，常用的激活函数有ReLU与SeLU，本实施例中选择采用这两种激活函数。其函数表达式与曲线分别如下所示：
ReLU:g(z)＝max(0,z) (14)
Figure BDA0002742352200000111
图11示出ReLU激活函数图，图12示出SeLU激活函数图。其中，g(z)是训练单元的输出，z是输入，当z大于0时g(z)＝z，当z小于等于0时g(z)＝0。
α是一个常数，一般取1。
关于损失函数：在拟合问题中使用极大似然法(MLE)得到的解与使用均方误差损失函数(MSE)得到的结果是一致的，本文选择MSE作为损失函数。拟合问题可选择的损失函数相较于分类问题较少，比较常用的除了MSE还有绝对值误差(L1loss)，然而在简单试验了之后整体效果相较于MSE差距较远，因此本文选择MSE。MSE的表达式如下，其中，
Figure BDA0002742352200000112
是训练拟合所得值，y是真值：
Figure BDA0002742352200000113
学习率：代表调整每次优化的步幅有多大，因此对于优化结果有极为重要的影响。在一个例子中，经过试验取初始lr0＝0.1。
随着训练的深入，每次训练的步幅应当越来越小，初期的学习率要大一些以跳出局部最优，后期的学习率应小一些以加快收敛速度，因此本示例采用的学习率是训练周期的函数，避免落入局部最优同时加快训练速度的效果，其表达式如下：
Figure BDA0002742352200000114
上式中，epoch是训练的轮数，lr0是初始学习率，本示例中取0.1。本示例中，需要训练得到的参数有：神经元层数、单层神经元个数，以及在两种激活函数ReLU与SeLU中选择一种。
获取参数的最优组合需要通过训练集样本经过多轮训练得到，本发明实施例中采用PIE数据集的行人穿行数据作为训练样本，在训练过程中，输入变量的获取方法与步骤S2相同，而样本的行人激进度真值获取方法如下：
本发明使用PIE数据集中旁观者观看影像后对影像中行人的穿行概率预测作为行人激进度真值一部分，同时根据人车距离对该值进行修正。定义修正距离Srevise为：若汽车此时全力制动，停止时行人与自车的纵向距离。其计算公式如14式，Sreal为实际自车到行人的距离，vvehicle为自车纵向速度，amax为自车最大制动减速度，在本示例中设置为6m/s2：
Figure BDA0002742352200000121
得到上述的修正人车间距后，整体的行人真实激进度定义如式19所示，其中常数k为修正常数，经验值，本示例中可以直接取1，intention_prob是数据集中的一列标签，即行人穿行道路的概率，即行人穿行道路的概率。该公式符合真实世界的物理规律，人车距离越近激进度越大，同时在相同距离下，穿行概率更高的行人激进度更大。
Figure BDA0002742352200000122
为了使得识别模块能够更加精准得识别，将Areal进行sigmoid函数归一化映射，增加保守与激进行人之间的数值区分度，提高模型精度。归一化后的数值即为深度学习网络训练过程所需要的行人激进度真值，该值取值范围为0到1之间。
对于需要训练得到的参数有：神经元层数、单层神经元个数，以及在两种激活函数ReLU与SeLU中选择一种，经过多次试验，得到结果如表1所示，示出模型训练参数调整结果。其中，在使用SeLU函数训练时调整学习率的初值，结果显示学习率为1时效果最好，而学习率过小时模型不收敛，说明真值函数一个峰值，学习率过小时无法越过该峰值。为直观比较各个参数，在训练时基本保证只有一个参数发生变化，以研究每个参数对训练误差的影响。
Figure BDA0002742352200000123
Figure BDA0002742352200000131
表3
从结果上来看，3号参数组合的测试误差最小，其使用的激活函数是SeLU，一共四层隐藏层，单层神经元数量为30。本发明实施例使用的激进度识别网络参数即为该组参数。
通过以上深度学习网络结合步骤S4，可以输出一个0至1之间的行人激进度数值，完成了单次对行人穿行行为的激进度识别。
步骤S5，基于所述行人整体激进度数值计算行人风险值。
对该行人激进度Atotal进行更新，随后根据激进度识别结果计算该行人在道路场景中带来的风险值。计算完成后判断行人是否已经完成穿行行为，若是则立刻结束风险评估流程，若否则返回步骤S2，进行实时滚动更新。
行人风险值计算方法如式20所示：
Figure BDA0002742352200000132
上式中，Rpe为行人风险评估值，Atotal为行人整体激进度数值，在一个例子中为0至1之间的值，vi是行人速度，r是在人车之间的距离，i用于标识行人，k和
Figure BDA0002742352200000133
为预设值，可以根据实际需要灵活设置。该风险值综合考量速度与位置带来的物理约束又考虑了行人个体差异性，能够较好地量化行人在道路中所产生的风险。
综上，本发明通过数学相关性矩阵以及逻辑分析两个角度进行双重验证，确立了七个用于行人激进度识别的变量，分别为：是否观察车流、是否后退、是否有干扰物、速度、加速度、等待时间、群体人数，并根据物理规律以及文献数据对以上七个变量一一建模，将观测量转化为便于后续处理的量化数值，同时本发明基于MLP深度学习网络实现了行人的激进度识别，根据识别结果行人风险精准评估，为后续智能驾驶车辆差异化决策提供条件。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种考虑行人激进度的行人风险评估方法，其特征在于，包括：
步骤S1，检测自车行驶路线上是否有行人正在穿行；若是，则进入步骤S2；
步骤S2，调用自车传感器数据和定位数据，获取行人等待时间、行人是否向后退、行人穿行群体人数、行人穿行的速度、加速度和人车间距；
步骤S3，根据步骤S2得到的数据，确定特征变量的数值和激进度指数；其中，所述特征变量包括是否向后退、平均速度、是否观察车流、是否有干扰物、加速度、等待时间、人群数量，所述特征变量是通过下述方法设置的：通过相关性矩阵分析影响行人激进度的备选变量，在每一组相关性高于预设阈值的变量中保留一种变量设置为所述特征变量；确定所述特征变量的数值和激进度指数包括根据步骤S2得到的数据获取所述特征变量的数值，根据预设的特征变量与激进度之间的对应关系确定所述激进度指数；
步骤S4，将步骤S3获得的特征变量的激进度指数作为输入，通过基于多层感知机MLP的深度学习网络，获得行人整体激进度数值；
步骤S5，基于所述行人整体激进度数值计算行人风险值。
2.根据权利要求1所述的方法，其特征在于，步骤S3中根据预设的特征变量与激进度之间的对应关系确定所述激进度指数包括：
确定是否向后退的激进度：如果行人后退，所述是否向后退的激进度取第一值，否则取第二值；第一值小于第二值；
确定平均速度的激进度：根据所述平均速度与预设速度的差值以及差值与速度激进度的预设关系得到所述行人的平均速度的激进度指数；
确定是否观察车流的激进度：如果行人观察车流，所述是否观察车流的激进度指数取第三值，否则取第四值；第三值小于第四值；
确定是否有干扰物的激进度：如果存在干扰物，所述是否有干扰物的激进度取指数第五值，否则取第六值；第五值大于第六值；
确定加速度的激进度：如果行人加速度大于预设加速度阈值，确定加速度的激进度指数取第七值，否则取第八值；第七值大于第八值；
确定等待时间的激进度：根据预设等待之间与激进度之间的对应关系确定所述等待时间的激进度指数，其中，等待时间越长，激进度越大；
确定人群数量的激进度：根据预设的人数与激进度之间的关系确定人群数量的激进度指数；其中，人群数量在小于预设人数阈值之前，激进度随人数的增加而减小。
3.根据权利要求2所述的方法，其特征在于，确定平均速度的激进度包括：
根据下式(1)将所述平均速度进行正则化处理，得到新平均速度：
Figure FDA0002742352190000021
其中
Figure FDA0002742352190000022
为预设速度，σ为样本标准差，～N(0,1)表示标准正态分布；
根据下式(2)确定所述行人的平均速度的激进度指数：
Figure FDA0002742352190000023
其中，Aspd表示平均速度的激进度指数，P表示概率密度函数，X表示随机变量。
4.根据权利要求2所述的方法，其特征在于，所述第一值、第三值、第六值、第八值为0，所述第二值、第四值、第五值、第七值为1。
5.根据权利要求2所述的方法，其特征在于，所述确定等待时间的激进度包括根据下式(3)确定所述等待时间的激进度指数：
Figure FDA0002742352190000024
其中，Await表示所述等待时间的激进度指数，twait表示所述等待时间。
6.根据权利要求2所述的方法，其特征在于，所述确定人群数量的激进度包括根据下式(4)确定人群数量的激进度指数：
Figure FDA0002742352190000025
其中，NG表示人群数量，AG(NG)表示人群数量的激进度指数。
7.根据权利要求1所述的方法，其特征在于，所述基于MLP的深度学习网络包括输入层、隐藏层和输出层；在所述输入层输入所述步骤S3获得的特征变量的激进度指数；在所述隐藏层中以下参数为超参数：周期数、单层神经元数、隐藏层数、激活函数、学习率和损失函数；在所述输出层输出所述行人整体激进度数值。
8.根据权利要求1所述的方法，其特征在于，步骤S5包括：根据下式(5)计算行人风险值：
Figure FDA0002742352190000031
其中，Rped为行人风险值，Atotal为步骤S4获得的所述行人整体激进度数值，vi是行人穿行速度，r表示人车之间的距离，i用于标识行人，k和
Figure FDA0002742352190000032
为预设值。
9.根据权利要求1所述的方法，其特征在于，步骤S5后还包括：
判断行人是否完成穿行行为，若未完成则回到步骤S2。
10.根据权利要求1所述的方法，其特征在于，在通过相关性矩阵分析影响行人激进度的备选变量之前，还包括：通过逻辑链解释筛选与行人激进度有关的变量，得到直接对行人穿行行为有影响的变量。
CN202011154776.0A 2020-10-26 2020-10-26 一种考虑行人激进度的行人风险评估方法 Active CN112232254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011154776.0A CN112232254B (zh) 2020-10-26 2020-10-26 一种考虑行人激进度的行人风险评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011154776.0A CN112232254B (zh) 2020-10-26 2020-10-26 一种考虑行人激进度的行人风险评估方法

Publications (2)

Publication Number Publication Date
CN112232254A true CN112232254A (zh) 2021-01-15
CN112232254B CN112232254B (zh) 2021-04-30

Family

ID=74110617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011154776.0A Active CN112232254B (zh) 2020-10-26 2020-10-26 一种考虑行人激进度的行人风险评估方法

Country Status (1)

Country Link
CN (1) CN112232254B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913710A (zh) * 2021-02-07 2022-08-16 清华大学 人车交互决策方法及装置、存储介质、终端

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831495A (zh) * 2012-07-19 2012-12-19 浙江工商大学 一种基于改进蚁群劳动分工模型的物流供应链协同优化方法
CN103927895A (zh) * 2014-04-25 2014-07-16 清华大学 一种基于车路/车车通讯的车辆弯道通行辅助系统
CN105654235A (zh) * 2015-12-24 2016-06-08 安徽融信金模信息技术有限公司 一种中小企业风险评估方法
CN105892471A (zh) * 2016-07-01 2016-08-24 北京智行者科技有限公司 汽车自动驾驶方法和装置
US20170018179A1 (en) * 2015-07-17 2017-01-19 Enrique Gutierrez Infrastructure-to-vehicle communication system and method
CN106710215A (zh) * 2017-02-06 2017-05-24 同济大学 瓶颈上游车道级交通状态预测系统及实现方法
CN107672626A (zh) * 2017-10-09 2018-02-09 颜悦萱 基于时间间隔保持的轨道车辆防碰撞系统及方法
CN109177982A (zh) * 2018-10-31 2019-01-11 吉林大学 考虑驾驶风格的车辆行驶危险度评价方法
CN109820525A (zh) * 2019-01-23 2019-05-31 五邑大学 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法
CN110171361A (zh) * 2019-06-17 2019-08-27 山东理工大学 一种考虑驾驶员情绪和驾驶倾向性的汽车行驶安全预警方法
CN110414831A (zh) * 2019-07-24 2019-11-05 清华大学 基于驾驶人认知视角的人车路耦合风险评估方法及装置
CN110427682A (zh) * 2019-07-26 2019-11-08 清华大学 一种基于虚拟现实的交通场景模拟实验平台和方法
US20190346862A1 (en) * 2011-07-06 2019-11-14 Peloton Technology, Inc. Vehicle platooning systems and methods
CN110733503A (zh) * 2019-11-13 2020-01-31 戴姆勒股份公司 用于运行车辆的自动驾驶系统或辅助驾驶系统的方法及车辆
CN111105110A (zh) * 2018-10-25 2020-05-05 北京嘀嘀无限科技发展有限公司 驾驶风险确定方法、装置、介质和计算设备
CN111267863A (zh) * 2018-12-04 2020-06-12 广州汽车集团股份有限公司 驾驶员驾驶类型识别方法、装置、存储介质及终端设备
CN111311947A (zh) * 2020-03-02 2020-06-19 清华大学 一种网联环境下考虑驾驶人意图的行车风险评估方法和装置
CN111402632A (zh) * 2020-03-18 2020-07-10 五邑大学 一种交叉口行人运动轨迹的风险预测方法
CN111461437A (zh) * 2020-04-01 2020-07-28 北京工业大学 基于生成对抗网络的数据驱动人群运动仿真方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190346862A1 (en) * 2011-07-06 2019-11-14 Peloton Technology, Inc. Vehicle platooning systems and methods
CN102831495A (zh) * 2012-07-19 2012-12-19 浙江工商大学 一种基于改进蚁群劳动分工模型的物流供应链协同优化方法
CN103927895A (zh) * 2014-04-25 2014-07-16 清华大学 一种基于车路/车车通讯的车辆弯道通行辅助系统
US20170018179A1 (en) * 2015-07-17 2017-01-19 Enrique Gutierrez Infrastructure-to-vehicle communication system and method
CN105654235A (zh) * 2015-12-24 2016-06-08 安徽融信金模信息技术有限公司 一种中小企业风险评估方法
CN105892471A (zh) * 2016-07-01 2016-08-24 北京智行者科技有限公司 汽车自动驾驶方法和装置
CN106710215A (zh) * 2017-02-06 2017-05-24 同济大学 瓶颈上游车道级交通状态预测系统及实现方法
CN107672626A (zh) * 2017-10-09 2018-02-09 颜悦萱 基于时间间隔保持的轨道车辆防碰撞系统及方法
CN111105110A (zh) * 2018-10-25 2020-05-05 北京嘀嘀无限科技发展有限公司 驾驶风险确定方法、装置、介质和计算设备
CN109177982A (zh) * 2018-10-31 2019-01-11 吉林大学 考虑驾驶风格的车辆行驶危险度评价方法
CN111267863A (zh) * 2018-12-04 2020-06-12 广州汽车集团股份有限公司 驾驶员驾驶类型识别方法、装置、存储介质及终端设备
CN109820525A (zh) * 2019-01-23 2019-05-31 五邑大学 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法
CN110171361A (zh) * 2019-06-17 2019-08-27 山东理工大学 一种考虑驾驶员情绪和驾驶倾向性的汽车行驶安全预警方法
CN110414831A (zh) * 2019-07-24 2019-11-05 清华大学 基于驾驶人认知视角的人车路耦合风险评估方法及装置
CN110427682A (zh) * 2019-07-26 2019-11-08 清华大学 一种基于虚拟现实的交通场景模拟实验平台和方法
CN110733503A (zh) * 2019-11-13 2020-01-31 戴姆勒股份公司 用于运行车辆的自动驾驶系统或辅助驾驶系统的方法及车辆
CN111311947A (zh) * 2020-03-02 2020-06-19 清华大学 一种网联环境下考虑驾驶人意图的行车风险评估方法和装置
CN111402632A (zh) * 2020-03-18 2020-07-10 五邑大学 一种交叉口行人运动轨迹的风险预测方法
CN111461437A (zh) * 2020-04-01 2020-07-28 北京工业大学 基于生成对抗网络的数据驱动人群运动仿真方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HEYE HUANG等: "An integrated architecture for intelligence evaluation of automated vehicles", 《ACCIDENT ANALYSIS & PREVENTION》 *
ZHEN-XUE LIU等: "Pedestrian movement intention identification model in mixed pedestrian-bicycle sections based on phase-field coupling theory", 《ADVANCES IN MECHANICAL ENGINEERING》 *
宋威龙: "城区动态环境下智能车辆行为决策研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *
李晓飞等: "基于候选区域选择及深度网络模型的骑车人识别", 《清华大学学报(自然科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913710A (zh) * 2021-02-07 2022-08-16 清华大学 人车交互决策方法及装置、存储介质、终端
CN114913710B (zh) * 2021-02-07 2023-12-05 清华大学 人车交互决策方法及装置、存储介质、终端

Also Published As

Publication number Publication date
CN112232254B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN110164128B (zh) 一种城市级智能交通仿真系统
CN111915059B (zh) 基于注意力机制的Seq2seq泊位占有率预测方法
CN111079640B (zh) 一种基于自动扩增样本的车型识别方法及系统
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
CN111738337B (zh) 一种混行交通环境下的驾驶人分心状态检测识别方法
CN114446049B (zh) 基于社会价值取向的交通流预测方法、系统、终端及介质
CN107886043A (zh) 视觉感知的汽车前视车辆和行人防碰撞预警系统及方法
CN113610118B (zh) 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN108256307A (zh) 一种智能商务旅居房车的混合增强智能认知方法
Wang et al. Knowledge transfer for structural damage detection through re-weighted adversarial domain adaptation
CN112232254B (zh) 一种考虑行人激进度的行人风险评估方法
CN108460336A (zh) 一种基于深度学习的行人检测方法
CN111626109A (zh) 一种基于双流卷积神经网络的跌倒行为分析检测方法
CN108182410A (zh) 一种联合目标区域定位和深度特征学习的跌倒识别算法
CN108073978A (zh) 一种人工智能超深度学习模型的构成方法
CN105975982B (zh) 一种前方车辆检测方法
CN110728459A (zh) 出行方式识别系统、方法、装置及模型训练方法、装置
CN111027618A (zh) 一种汽车动力性和经济性期望量化方法
CN104112145B (zh) 基于pwld和d‑s证据理论的人脸表情识别方法
CN108073979A (zh) 一种导入人工智能超深度学习用于图像识别的方法
CN108073985A (zh) 一种导入人工智能超深度学习用于语音识别的方法
CN109934171B (zh) 基于分层网络模型的驾驶员消极驾驶状态在线感知方法
CN116935356A (zh) 基于弱监督的自动驾驶多模态图片和点云实例分割方法
CN117037479A (zh) 应用路网传感器对交通状态进行测量的信号传输系统
CN117274657A (zh) 基于课程知识蒸馏的耐噪声木薯叶病害分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant