CN112487905A - 一种车辆周边行人危险等级预测方法及系统 - Google Patents

一种车辆周边行人危险等级预测方法及系统 Download PDF

Info

Publication number
CN112487905A
CN112487905A CN202011321110.XA CN202011321110A CN112487905A CN 112487905 A CN112487905 A CN 112487905A CN 202011321110 A CN202011321110 A CN 202011321110A CN 112487905 A CN112487905 A CN 112487905A
Authority
CN
China
Prior art keywords
pedestrian
vehicle
danger
prediction
characteristic parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011321110.XA
Other languages
English (en)
Other versions
CN112487905B (zh
Inventor
吕超
张哲雨
张钊
陆军琰
徐优志
龚建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Motor Corp Ltd
Beijing Institute of Technology BIT
Original Assignee
SAIC Motor Corp Ltd
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Motor Corp Ltd, Beijing Institute of Technology BIT filed Critical SAIC Motor Corp Ltd
Priority to CN202011321110.XA priority Critical patent/CN112487905B/zh
Publication of CN112487905A publication Critical patent/CN112487905A/zh
Application granted granted Critical
Publication of CN112487905B publication Critical patent/CN112487905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开的一种车辆周边行人危险等级预测方法及系统，属于智能车辆主动安全技术领域。本发明基于车辆第一视角数据进行行人轨迹预测，使用数据驱动的时序网络建模实现长时轨迹预测，降低计算成本，缩短预测时长；基于聚类分析和分类器的危险等级识别器，能够根据特征参数识别行人危险等级，避免通过人为划分参数范围来判定危险等级带来的不确定性；根据训练得到的行人轨迹拟合器预测行人移动轨迹，提取出行人特征参数集合，将参数集合输入到训练得到的行人危险等级识别器中，对行人危险等级进行预测。本发明有助于理解行车过程中周边行人的行为意图，预估行人和车辆的碰撞风险，为调整行车策略提供依据，以规避行车风险，提升驾驶安全性。

Description

一种车辆周边行人危险等级预测方法及系统
技术领域
本发明属于智能车辆主动安全技术领域，尤其涉及一种车辆周边行人危险等级预测方法及系统。
背景技术
近年来，在智能车辆领域，行人的安全性获得了越来越多的关注。智能车辆需要对道路上的行人进行及时的感知和危险程度预测，来避免可能的碰撞。
现阶段的行人危险程度探测方法，主要是通过复杂动力学拟合的方法，计算出行人相对于行驶车辆的碰撞时间或碰撞区域，然后通过安全系统设计人员手动对不同的碰撞时间或碰撞区域进行危险等级划分，判别行人的危险程度。针对通过复杂动力学模型计算行人碰撞时间或碰撞区域，存在模型计算成本高、拟合效果差、预判性差、适用场景有限等问题。针对设计人员手动划分不同碰撞时间或碰撞区域的危险等级，存在主观性强、适用场景有限、无法大规模推广等问题。
发明内容
为解决现有技术中行人危险等级预测计算成本高、预判性差、主观性强、适用场景有限的问题。本发明目的在于提供一种车辆周边行人危险等级预测方法及系统，能够降低车辆周边危险等级识别计算成本，增强道路行人危险等级预测的准确性、环境适应性。
本发明的目的是通过下述技术方案实现的：
本发明公开的一种车辆周边行人危险等级预测方法，包括离线危险等级预测器训练和在线危险等级预测两个部分。其中，离线危险等级预测器训练包括以下步骤：
使用车载传感器，采集车辆第一视角下的周边环境信息；
进一步地，通过车载图像采集装置采集车辆周边图像信息，通过激光雷达采集3D点云信息。
根据采集的所述第一视角车辆周边环境信息，提取行人特征参数s；行人特征参数s包括但不限于行人相对车辆位置p＝(x,y)、相对车辆移动速度v＝(vx,vy)、估计碰撞时间TTC。由于第一视角下取得的行人相对车辆位置、速度变化取决于车辆和行人的合运动，该相对位置和速度的变化隐含了车辆和行人在不同情况下的交互行为。
根据提取得到的行人特征参数s，对于任意时间节点t，以t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000011
为输入，其中，Tobs为一段固定的观察时长；t至t+Tpred时间段内的行人轨迹
Figure BDA0002792927530000012
为输出，其中，Tpred为一段固定的预测时长；建立行人轨迹时序网络，通过最小化损失函数，对网络权重矩阵W和偏移量b进行迭代优化，训练得到行人轨迹拟合器
Figure BDA0002792927530000021
该拟合器能根据输入的特征参数S预测行人移动轨迹
Figure BDA0002792927530000022
作为优选，所述时序网络为循环神经网络或长短期记忆神经网络。
根据提取得到的行人特征参数s，用数据驱动方法进行数据聚类分析，对数据进行分类，通过不断优化聚类类别数k及分类的相关参数p，使具有相似特征参数的行人聚到同一类别，具有不同特征参数的行人尽可能远离，最后得到具有不同特征参数的k类行人，不同类别的行人所具有的危险等级不同。聚类结果用标签l∈{r1,r2,...rk}来表示，其中{r1,r2,...rk}分别对应不同的危险等级。根据聚类结果，以行人特征参数s为输入，对应的危险等级l为输出，训练行人危险等级识别器
Figure BDA0002792927530000023
能根据特征参数s识别出行人危险等级
Figure BDA0002792927530000024
作为优选，所述数据聚类方法为K-means或谱聚类，所述危险等级识别器为支持向量机或核函数支持向量机。
在线危险等级预测包括以下步骤：
当车辆行驶在道路上时，使用车载传感器，在线采集车辆第一视角下的周边环境信息；
进一步地，通过车载图像采集装置采集车辆周边图像信息，通过激光雷达采集3D点云信息。
根据采集的所述第一视角车辆周边环境信息，提取行人特征参数s；行人特征参数s包括但不限于行人相对车辆位置p＝(x,y)、相对车辆移动速度v＝(vx,vy)、估计碰撞时间TTC。由于第一视角下取得的行人相对车辆位置、速度变化取决于车辆和行人的合运动，该相对位置和速度的变化隐含了车辆和行人在不同情况下的交互行为。对于任意时间节点t，获得行人 t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000025
其中，Tobs为一段固定的观察时长。
将获得的行人特征参数集合
Figure BDA0002792927530000026
输入离线训练得到的行人轨迹拟合器f 中，预测行人未来t至t+Tpred时间段内的移动轨迹
Figure BDA0002792927530000027
并根据
Figure BDA0002792927530000028
计算对应的特征参数集合
Figure BDA0002792927530000029
再使用离线训练得到的危险等级识别器g，根据预测得的行人特征参数
Figure BDA00027929275300000210
识别得到行人t至t+Tpred时间段内的危险等级集合
Figure BDA00027929275300000211
实现行人危险等级的预测。
在行人轨迹拟合器f中，使用数据驱动的时序网络建模方法实现长时轨迹预测，降低传统轨迹预测方法中复杂的动力学建模的计算成本，缩短预测时长；在行人危险等级识别器g 中，结合行人轨迹拟合器f预测得到的行人轨迹，采用数据驱动的聚类分析方法对行人危险等级进行划分和判别，避免传统危险判定方法中通过人为划分参数范围来判定危险等级可能带来的不确定性，在降低计算量的同时，保证行人危险程度的预测的可靠性，提高行人危险等级识别效率。
所识别出的行人危险等级有助于驾驶员或无人驾驶系统理解行车过程中周边行人的行为意图，帮助驾驶员或无人驾驶系统预估当前情况下行人和车辆的碰撞风险，从而为调整行车策略提供依据，以规避行车风险，提升驾驶安全性。
另一方面，本发明还公开一种车辆周边行人危险等级预测系统，该系统包括离线危险等级预测器训练部分和在线危险等级预测部分。
其中，离线训练部分包括车辆周边信息采集模块、行人特征参数提取模块、行人轨迹拟合器训练模块、行人危险程度识别器训练模块。
所述车辆周边信息采集模块，用于采集车辆第一视角下的周边环境信息。
所述行人特征参数提取模块，用于根据采集的车辆周边环境信息，提取行人特征参数s，行人特征参数s包括但不限于行人相对车辆位置p＝(x,y)、相对车辆移动速度v＝(vx,vy)、估计碰撞时间TTC。对于任意时间节点t，得到行人t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000031
其中，Tobs为一段固定的观察时长。
所述行人轨迹拟合器训练模块，用于根据提取得到的行人特征参数
Figure BDA0002792927530000032
以 t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000033
为输入，其中，Tobs为一段固定的观察时长；t至t+Tpred时间段内的行人轨迹
Figure BDA0002792927530000034
为输出，其中，Tpred为一段固定的预测时长；建立行人轨迹时序网络，通过最小化损失函数，对网络权重矩阵W和偏移量b进行迭代优化，训练得到行人轨迹拟合器
Figure BDA0002792927530000035
该拟合器能根据输入的特征参数S预测行人移动轨迹
Figure BDA0002792927530000036
作为优选，所述时序网络为循环神经网络或长短期记忆神经网络。
所述行人危险程度识别器训练模块，用于根据提取得到的行人特征参数s，用数据驱动方法进行数据聚类分析，对数据进行分类，得到具有不同特征参数的k类行人，不同类别的行人所具有的危险等级不同。聚类结果用标签l∈{r1,r2,...rk}来表示，其中{r1,r2,...rk}分别对应不同的危险等级。根据聚类结果，以行人特征参数s为输入，对应的危险等级l为输出，训练行人危险等级识别器
Figure BDA0002792927530000037
能根据特征参数s识别出行人危险等级
Figure BDA0002792927530000038
作为优选，所述数据聚类方法为K-means或谱聚类，所述危险等级识别器为支持向量机或核函数支持向量机。
在线危险等级预测部分包括车辆周边信息在线采集模块、行人特征参数提取模块、行人轨迹预测模块、行人危险程度预测模块。
所述车辆周边信息在线采集模块，用于在线采集车辆第一视角下的周边环境信息。
所述行人特征参数提取模块，用于根据采集的车辆周边环境信息，提取行人特征参数s，行人特征参数s包括但不限于行人相对车辆位置p＝(x,y)、相对车辆移动速度v＝(vx,vy)、估计碰撞时间TTC。对于任意时间节点t，得到行人t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000039
其中，Tobs为一段固定的观察时长。
所述行人轨迹预测模块，用于根据特征参数集合
Figure BDA00027929275300000310
通过行人轨迹拟合器
Figure BDA00027929275300000311
预测行人未来t至t+Tpred时间段内的移动轨迹
Figure BDA00027929275300000312
其中，Tpred为一段固定的预测时长。
所述行人危险程度预测模块，用于根据预测得到的行人移动轨迹
Figure BDA0002792927530000041
计算
Figure BDA0002792927530000042
对应行人特征参数
Figure BDA0002792927530000043
根据预测得的行人特征参数
Figure BDA0002792927530000044
通过行人危险等级识别器
Figure BDA0002792927530000045
识别行人t至 t+Tpred时间段内的危险等级
Figure BDA0002792927530000046
有益效果：
1、本发明公开的一种车辆周边行人危险等级预测方法及系统，基于车载传感器采集车辆第一视角下的周边环境信息，能够提取得到车辆第一视角下周边行人特征参数，包括相对车辆位置信息、速度变化信息，预计碰撞事件信息；所述信息隐含了车辆和行人在不同情况下的交互行为，为驾驶员或无人驾驶系统评估人车碰撞风险程度提供依据。
2、本发明公开的一种车辆周边行人危险等级预测方法及系统，基于车辆第一视角数据进行行人轨迹预测，能够根据提取的行人特征参数对行人的移动轨迹进行预测，使用数据驱动的时序网络建模实现长时轨迹预测，降低传统轨迹预测方法中复杂的动力学建模的计算成本，缩短预测时长，为后续行人危险等级评估提供依据。
3、本发明公开的一种车辆周边行人危险等级预测方法及系统，基于聚类分析和分类器的危险等级识别器，能够使用数据驱动的聚类分析方法将具有不同特征参数的行人聚为k类，不同类别的行人具有不同的危险等级；根据该聚类结果，能够训练行人危险等级识别器，该识别器能够根据特征参数识别行人危险等级，避免传统危险判定方法中通过人为划分参数范围来判定危险等级可能带来的不确定性。
4、本发明公开的一种车辆周边行人危险等级预测方法及系统，是一种基于行人轨迹预测和危险等级识别的行人危险等级预测方法及系统，能够根据训练得到的行人轨迹拟合器预测行人移动轨迹，并根据得到的轨迹提取出行人特征参数集合，根据该特征参数集合，输入到训练得到的行人危险等级识别器中，可对行人危险等级进行预测。所识别出的行人危险等级有助于驾驶员或无人驾驶系统理解行车过程中周边行人的行为意图，帮助驾驶员或无人驾驶系统预估当前情况下行人和车辆的碰撞风险，从而为调整行车策略提供依据，以规避行车风险，提升驾驶安全性。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明公开的一种车辆周边行人危险等级预测方法流程示意图；
图2为本发明公开的一种车辆周边行人危险等级预测系统示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
本实施例公开下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
实施例1
如图1所示，本实施例提供一种车辆周边行人危险等级预测方法，包括离线危险等级预测器训练和在线危险等级预测两个部分。如图1为本实施例所述方法流程示意图。
其中，离线危险等级预测器训练包括以下步骤：
步骤S1101、使用车载传感器，采集车辆第一视角下的周边环境信息；
具体的，通过图像采集装置，如架设在车辆前挡风玻璃处的车载摄像头，采集车辆周边图像信息；通过架设在车辆顶部的激光雷达，采集车辆周边3D点云信息。
步骤S1102、根据采集的车辆周边图像信息、3D点云信息，提取行人特征参数s，包括但不限于：行人相对于数据采集车的空间位置p＝(x,y)、行人相对于数据采集车的移动速度 v＝(vx,vy)、行人相对于数据采集车的估计碰撞时间TTC。
提取行人特征参数s的步骤，具体包括：
使用预设的传感器融合算法，根据采集的图像和3D点云信息，获得不同行人在不同时间段内的空间位置p＝(x,y)，包括：
使用预设的行人图像检测器，在图像信息中检测得到行人图像，并进行逐帧跟踪；根据所得行人图像，使用预设的行人点云检测器，在3D点云信息中匹配图像对应行人点云信息，提取行人相对于数据采集车的空间位置，以相对坐标系下的坐标形式p＝(x,y)来表示。
根据所得行人空间位置，使用预设的算法计算行人相对数据采集车的移动速度，包括：计算行人前后两帧的坐标差，将该差值除以帧间隔，即得到行人相对于数据采集车的移送速度，以v＝(vx,vy)表示。
根据所得行人空间位置p＝(x,y)、移动速度v＝(vx,vy)，使用预设的算法估计行人相对于本车的碰撞时间TTC，包括：根据所得行人空间位置p＝(x,y)，计算行人距离本车直线距离d，根据所得行人速度，计算行人在直线距离上的速度分量v'，通过人车直线距离除以直线距离上的速度分量求取行人相对于本车的估计碰撞时间TTC。
对于任意时间节点t，能够得到行人t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000051
步骤S1103、根据提取得到的行人特征参数S，训练得到行人轨迹拟合器f，该拟合器可对行人未来的移动轨迹进行预测，包括：将所述行人特征参数S输入预设的拟合器，拟合器输出预测的行人移动轨迹
Figure BDA0002792927530000052
具体的，建立上述预设的拟合器f，包括：预先采集车辆周边环境信息，并从所述车辆周边信息中提取出行人特征参数s；对于任意时间节点t，以t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000061
为输入，其中，Tobs为一段固定的观察时长；t至t+Tpred时间段内的行人轨迹
Figure BDA0002792927530000062
为输出，其中，Tpred为一l段固定的预测时长；建立行人轨迹时序网络，通过最小化损失函数，对网络权重矩阵W和偏移量b进行迭代优化，训练得到行人轨迹拟合器P＝f(S,W,b)，该拟合器能根据输入的特征参数S预测行人移动轨迹P。所述时序网络为循环神经网络或长短期记忆神经网络。
步骤S1104、根据预先采集车辆周边环境信息预测得到的行人移动轨迹P，用数据驱动方法进行数据聚类分析，将具有不同特征参数的行人聚为k类，获得具有不同特征行人对应的危险等级。根据此聚类结果，训练行人危险等级识别器
Figure BDA0002792927530000063
该识别器能根据特征参数s识别出行人危险等级
Figure BDA0002792927530000064
所述数据聚类方法为K-means或谱聚类，所述危险等级识别器为支持向量机或核函数支持向量机。
具体的，用数据驱动方法进行数据聚类分析，对数据进行分类，包括：通过不断优化聚类类别数k及分类的相关参数p，使具有相似特征参数的行人聚到同一类别，具有不同特征参数的行人尽可能远离，最后得到具有不同特征参数的k类行人，不同类别的行人所具有的危险等级不同。对于不同的k类行人，基于估计碰撞时间TTC越小、行人速度v＝(vx,vy)越大、行人位置p＝(x,y)越近，则该行人越危险的标准，进行类间危险等级排序，从而给予不同类别的行人不同的危险等级标签l∈{r1,r2,...rk}，其中{r1,r2,...rk}分别对应不同的危险等级。
本发明实施例中，所述的聚类类别k可以等于但不限于4类，所对应的危险等级包括但不限于为：低风险、中等风险、高风险、超高风险。
在线危险等级预测包括以下步骤：
步骤S1201、当车辆行驶在道路上时，使用车载传感器，在线采集车辆第一视角下的周边环境信息；
具体的，通过图像采集装置，如架设在车辆前挡风玻璃处的车载摄像头，采集车辆周边图像信息；通过架设在车辆顶部的激光雷达，采集车辆周边3D点云信息。
步骤S1202、根据采集的车辆周边图像信息、3D点云信息，提取行人特征参数s，包括但不限于：行人相对于数据采集车的空间位置p＝(x,y)、行人相对于数据采集车的移动速度 v＝(vx,vy)、行人相对于数据采集车的估计碰撞时间TTC。
对于任意时间节点t，可得到行人t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000065
步骤S1203、将获得的行人特征参数集合
Figure BDA0002792927530000066
输入离线训练得到的行人轨迹拟合器f，预测行人移动轨迹
Figure BDA0002792927530000067
并根据
Figure BDA0002792927530000068
计算对应的特征参数集合
Figure BDA0002792927530000069
再使用训练得到的危险等级识别器g，根据预测得的行人特征参数
Figure BDA00027929275300000610
识别得到行人t至t+Tpred时间段内的危险等级集合
Figure BDA00027929275300000611
实现行人危险等级的预测。
本发明实施例中，最终所预测的行人危险等级包括但不限于为：低风险、中等风险、高风险、超高风险。
实施例2
如图2所示，本实施例提供一种车辆周边行人危险等级预测系统，包括离线危险等级预测器训练部分和在线危险等级预测部分。
其中，离线训练部分包括车辆周边信息在线采集模块、行人特征参数提取模块、行人轨迹拟合器训练模块、行人危险程度识别器训练模块。
车辆周边信息采集模块，用于采集车辆第一视角下的周边环境信息。
具体的，通过图像采集装置，如架设在车辆前挡风玻璃处的车载摄像头，采集车辆周边图像信息；通过架设在车辆顶部的激光雷达，采集车辆周边3D点云信息。
行人特征参数提取模块，用于根据采集的车辆周边环境信息，提取行人特征参数s，行人特征参数s包括但不限于行人相对车辆位置p＝(x,y)、相对车辆移动速度v＝(vx,vy)、估计碰撞时间TTC。对于任意时间节点t，得到行人t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000071
其中，Tobs为一段固定的观察时长。
具体的，使用预设的传感器融合算法，根据采集的图像和3D点云信息，获得不同行人在不同时间段内的空间位置p＝(x,y)；根据所得行人空间位置p＝(x,y)，使用预设的算法计算行人相对数据采集车的移动速度v＝(vx,vy)；根据所得行人空间位置p＝(x,y)、移动速度 v＝(vx,vy)，使用预设的算法估计行人相对于本车的碰撞时间TTC。
行人轨迹拟合器训练模块，用于根据提取得到的行人特征参数
Figure BDA0002792927530000072
以 t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000073
为输入，其中，Tobs为一段固定的观察时长；t至t+Tpred时间段内的行人轨迹
Figure BDA0002792927530000074
为输出，其中，Tpred为一段固定的预测时长；建立行人轨迹时序网络，通过最小化损失函数，对网络权重矩阵W和偏移量b进行迭代优化，训练得到行人轨迹拟合器
Figure BDA0002792927530000075
该拟合器能根据输入的特征参数S预测行人移动轨迹
Figure BDA0002792927530000076
作为优选，所述时序网络为循环神经网络或长短期记忆神经网络。
行人危险程度识别器训练模块，用于根据提取得到的行人特征参数s，用数据驱动方法进行数据聚类分析，对数据进行分类，得到具有不同特征参数的k类行人，不同类别的行人所具有的危险等级不同。聚类结果用标签l∈{r1,r2,...rk}来表示，其中{r1,r2,...rk}分别对应不同的危险等级。根据聚类结果，以行人特征参数s为输入，对应的危险等级l为输出，训练行人危险等级识别器
Figure BDA0002792927530000077
能根据特征参数s识别出行人危险等级
Figure BDA0002792927530000078
所述数据聚类方法为 K-means或谱聚类，所述危险等级识别器为支持向量机或核函数支持向量机。
在线危险等级预测部分包括车辆周边信息在线采集模块、行人特征参数提取模块、行人轨迹预测模块、行人危险程度预测模块。
车辆周边信息采集模块，用于在线采集车辆第一视角下的周边环境信息；
具体的，通过图像采集装置，如架设在车辆前挡风玻璃处的车载摄像头，采集车辆周边图像信息；通过架设在车辆顶部的激光雷达，采集车辆周边3D点云信息。
行人特征参数提取模块，用于根据采集的车辆周边环境信息，提取行人特征参数s，行人特征参数s包括但不限于行人相对车辆位置p＝(x,y)、相对车辆移动速度v＝(vx,vy)、估计碰撞时间TTC。对于任意时间节点t，得到行人t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000081
其中，Tobs为一段固定的观察时长。
具体的，使用预设的传感器融合算法，根据采集的图像和3D点云信息，获得不同行人在不同时间段内的空间位置p＝(x,y)；根据所得行人空间位置p＝(x,y)，使用预设的算法计算行人相对数据采集车的移动速度v＝(vx,vy)；根据所得行人空间位置p＝(x,y)、移动速度 v＝(vx,vy)，使用预设的算法估计行人相对于本车的碰撞时间TTC。
行人轨迹预测模块，通过行人轨迹拟合器
Figure BDA0002792927530000082
输入行人t-Tobs至t时间段内的特征参数集合
Figure BDA0002792927530000083
预测行人未来t至t+Tpred时间段内的移动轨迹
Figure BDA0002792927530000084
其中，Tobs为一段固定的观察时长，Tpred为一段固定的预测时长；
具体的，将所述行人特征参数
Figure BDA0002792927530000085
输入预设的拟合器
Figure BDA0002792927530000086
拟合器输出行人未来t至t+Tpred时间段内的移动轨迹
Figure BDA0002792927530000087
行人危险程度识别模块，用于根据预测得到的行人移动轨迹
Figure BDA0002792927530000088
计算
Figure BDA0002792927530000089
对应行人特征参数
Figure BDA00027929275300000810
根据预测得的行人特征参数
Figure BDA00027929275300000811
通过行人危险等级识别器
Figure BDA00027929275300000812
识别行人t至t+Tpred时间段内的危险等级
Figure BDA00027929275300000813
本发明实施例中，所述的危险程度等级包括但不限于为：低风险、中等风险、高风险、超高风险。
需要说明的是，上述实施例之间，其相同或相似之处可相互借鉴。尤其对于系统实施例而言，由于其基本相似与方法实施例，所以，描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种车辆周边行人危险等级预测方法，其特征在于：包括离线危险等级预测器训练和在线危险等级预测两个部分；
离线危险等级预测器训练包括以下步骤，
使用车载传感器，采集车辆第一视角下的周边环境信息；
根据采集的所述第一视角车辆周边环境信息，提取行人特征参数s；行人特征参数s包括但不限于行人相对车辆位置p＝(x,y)、相对车辆移动速度v＝(vx,vy)、估计碰撞时间TTC；由于第一视角下取得的行人相对车辆位置、速度变化取决于车辆和行人的合运动，该相对位置和速度的变化隐含了车辆和行人在不同情况下的交互行为；
根据提取得到的行人特征参数s，对于任意时间节点t，以t-Tobs至t时间段内的特征参数集合
Figure FDA00027929275200000113
为输入，其中，Tobs为一段固定的观察时长；t至t+Tpred时间段内的行人轨迹
Figure FDA0002792927520000011
为输出，其中，Tpred为一段固定的预测时长；建立行人轨迹时序网络，通过最小化损失函数，对网络权重矩阵W和偏移量b进行迭代优化，训练得到行人轨迹拟合器
Figure FDA0002792927520000012
该拟合器能根据输入的特征参数S预测行人移动轨迹
Figure FDA0002792927520000013
根据提取得到的行人特征参数s，用数据驱动方法进行数据聚类分析，对数据进行分类，通过不断优化聚类类别数k及分类的相关参数p，使具有相似特征参数的行人聚到同一类别，具有不同特征参数的行人尽可能远离，最后得到具有不同特征参数的k类行人，不同类别的行人所具有的危险等级不同；聚类结果用标签l∈{r1,r2,...rk}来表示，其中{r1,r2,...rk}分别对应不同的危险等级；根据聚类结果，以行人特征参数s为输入，对应的危险等级l为输出，训练行人危险等级识别器
Figure FDA0002792927520000015
能根据特征参数s识别出行人危险等级
Figure FDA0002792927520000014
在线危险等级预测包括以下步骤，
当车辆行驶在道路上时，使用车载传感器，在线采集车辆第一视角下的周边环境信息；
根据采集的所述第一视角车辆周边环境信息，提取行人特征参数s；行人特征参数s包括但不限于行人相对车辆位置p＝(x,y)、相对车辆移动速度v＝(vx,vy)、估计碰撞时间TTC；由于第一视角下取得的行人相对车辆位置、速度变化取决于车辆和行人的合运动，该相对位置和速度的变化隐含了车辆和行人在不同情况下的交互行为；对于任意时间节点t，获得行人t-Tobs至t时间段内的特征参数集合
Figure FDA0002792927520000016
其中，Tobs为一段固定的观察时长；
将获得的行人特征参数集合
Figure FDA0002792927520000017
输入离线训练得到的行人轨迹拟合器f中，预测行人未来t至t+Tpred时间段内的移动轨迹
Figure FDA00027929275200000110
并根据
Figure FDA00027929275200000111
计算对应的特征参数集合
Figure FDA0002792927520000018
再使用离线训练得到的危险等级识别器g，根据预测得的行人特征参数
Figure FDA00027929275200000112
识别得到行人t至t+Tpred时间段内的危险等级集合
Figure FDA0002792927520000019
实现行人危险等级的预测；
在行人轨迹拟合器f中，使用数据驱动的时序网络建模方法实现长时轨迹预测，降低传统轨迹预测方法中复杂的动力学建模的计算成本，缩短预测时长；在行人危险等级识别器g中，结合行人轨迹拟合器f预测得到的行人轨迹，采用数据驱动的聚类分析方法对行人危险等级进行划分和判别，避免传统危险判定方法中通过人为划分参数范围来判定危险等级可能带来的不确定性，在降低计算量的同时，保证行人危险程度的预测的可靠性，提高行人危险等级识别效率。
2.如权利要求1所述的一种车辆周边行人危险等级预测而方法，其特征在于：所识别出的行人危险等级有助于驾驶员或无人驾驶系统理解行车过程中周边行人的行为意图，帮助驾驶员或无人驾驶系统预估当前情况下行人和车辆的碰撞风险，从而为调整行车策略提供依据，以规避行车风险，提升驾驶安全性。
3.如权利要求1或2所述的一种车辆周边行人危险等级预测而方法，其特征在于：通过车载图像采集装置采集车辆周边图像信息，通过激光雷达采集3D点云信息。
4.如权利要求1或2所述的一种车辆周边行人危险等级预测而方法，其特征在于：所述时序网络为循环神经网络或长短期记忆神经网络。
5.如权利要求1或2所述的一种车辆周边行人危险等级预测而方法，其特征在于：所述数据聚类方法为K-means或谱聚类，所述危险等级识别器为支持向量机或核函数支持向量机。
6.一种车辆周边行人危险等级预测系统，其特征在于：包括离线危险等级预测器训练部分和在线危险等级预测部分；
其中，离线训练部分包括车辆周边信息采集模块、行人特征参数提取模块、行人轨迹拟合器训练模块、行人危险程度识别器训练模块；
所述车辆周边信息采集模块，用于采集车辆第一视角下的周边环境信息；
所述行人特征参数提取模块，用于根据采集的车辆周边环境信息，提取行人特征参数s，行人特征参数s包括但不限于行人相对车辆位置p＝(x,y)、相对车辆移动速度v＝(vx,vy)、估计碰撞时间TTC；对于任意时间节点t，得到行人t-Tobs至t时间段内的特征参数集合
Figure FDA0002792927520000021
其中，Tobs为一段固定的观察时长；
所述行人轨迹拟合器训练模块，用于根据提取得到的行人特征参数
Figure FDA0002792927520000024
以t-Tobs至t时间段内的特征参数集合
Figure FDA0002792927520000022
为输入，其中，Tobs为一段固定的观察时长；t至t+Tpred时间段内的行人轨迹
Figure FDA0002792927520000023
为输出，其中，Tpred为一段固定的预测时长；建立行人轨迹时序网络，通过最小化损失函数，对网络权重矩阵W和偏移量b进行迭代优化，训练得到行人轨迹拟合器
Figure FDA0002792927520000025
该拟合器能根据输入的特征参数S预测行人移动轨迹
Figure FDA0002792927520000026
所述行人危险程度识别器训练模块，用于根据提取得到的行人特征参数s，用数据驱动方法进行数据聚类分析，对数据进行分类，得到具有不同特征参数的k类行人，不同类别的行人所具有的危险等级不同；聚类结果用标签l∈{r1,r2,...rk}来表示，其中{r1,r2,...rk}分别对应不同的危险等级；根据聚类结果，以行人特征参数s为输入，对应的危险等级l为输出，训练行人危险等级识别器
Figure FDA0002792927520000031
能根据特征参数s识别出行人危险等级
Figure FDA00027929275200000311
在线危险等级预测部分包括车辆周边信息在线采集模块、行人特征参数提取模块、行人轨迹预测模块、行人危险程度预测模块；
所述车辆周边信息在线采集模块，用于在线采集车辆第一视角下的周边环境信息；
所述行人特征参数提取模块，用于根据采集的车辆周边环境信息，提取行人特征参数s，行人特征参数s包括但不限于行人相对车辆位置p＝(x,y)、相对车辆移动速度v＝(vx,vy)、估计碰撞时间TTC；对于任意时间节点t，得到行人t-Tobs至t时间段内的特征参数集合
Figure FDA0002792927520000032
其中，Tobs为一段固定的观察时长；
所述行人轨迹预测模块，用于根据特征参数集合
Figure FDA00027929275200000310
通过行人轨迹拟合器
Figure FDA0002792927520000033
预测行人未来t至t+Tpred时间段内的移动轨迹
Figure FDA0002792927520000037
其中，Tpred为一段固定的预测时长；
所述行人危险程度预测模块，用于根据预测得到的行人移动轨迹
Figure FDA0002792927520000038
计算
Figure FDA0002792927520000039
对应行人特征参数
Figure FDA0002792927520000035
根据预测得的行人特征参数
Figure FDA0002792927520000036
通过行人危险等级识别器
Figure FDA00027929275200000312
识别行人t至t+Tpred时间段内的危险等级
Figure FDA0002792927520000034
7.如权利要求6所述的一种车辆周边行人危险等级预测系统，其特征在于：所述时序网络为循环神经网络或长短期记忆神经网络。
8.如权利要求6所述的一种车辆周边行人危险等级预测系统，其特征在于：所述数据聚类方法为K-means或谱聚类，所述危险等级识别器为支持向量机或核函数支持向量机。
CN202011321110.XA 2020-11-23 2020-11-23 一种车辆周边行人危险等级预测方法及系统 Active CN112487905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011321110.XA CN112487905B (zh) 2020-11-23 2020-11-23 一种车辆周边行人危险等级预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011321110.XA CN112487905B (zh) 2020-11-23 2020-11-23 一种车辆周边行人危险等级预测方法及系统

Publications (2)

Publication Number Publication Date
CN112487905A true CN112487905A (zh) 2021-03-12
CN112487905B CN112487905B (zh) 2022-02-11

Family

ID=74933652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011321110.XA Active CN112487905B (zh) 2020-11-23 2020-11-23 一种车辆周边行人危险等级预测方法及系统

Country Status (1)

Country Link
CN (1) CN112487905B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065691A (zh) * 2021-03-22 2021-07-02 中国联合网络通信集团有限公司 一种交通行为预测方法及系统
CN113902776A (zh) * 2021-10-27 2022-01-07 北京易航远智科技有限公司 目标行人轨迹预测方法、装置、电子设备及存储介质
CN114067552A (zh) * 2021-11-08 2022-02-18 山东高速建设管理集团有限公司 一种基于路侧激光雷达的行人过街轨迹追踪与预测方法
CN114863685A (zh) * 2022-07-06 2022-08-05 北京理工大学 一种基于风险接受程度的交通参与者轨迹预测方法及系统
CN114889545A (zh) * 2022-05-24 2022-08-12 中国第一汽车股份有限公司 一种基于双目摄像头识别的主动式发罩系统、方法、设备及存储介质
CN117755323A (zh) * 2023-10-24 2024-03-26 清华大学 基于行人车辆动态交互的安全策略确定方法和装置
CN118343118A (zh) * 2024-06-17 2024-07-16 吉林大学 一种考虑行人过街安全意识的车辆驾驶控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160114820A1 (en) * 2014-10-28 2016-04-28 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
CN109969172A (zh) * 2017-12-26 2019-07-05 华为技术有限公司 车辆控制方法、设备及计算机存储介质
CN111104969A (zh) * 2019-12-04 2020-05-05 东北大学 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法
CN111222438A (zh) * 2019-12-31 2020-06-02 的卢技术有限公司 一种基于深度学习的行人轨迹预测方法和系统
CN111401414A (zh) * 2020-02-29 2020-07-10 同济大学 一种基于自然驾驶数据的危险场景提取及分类方法
CN111429754A (zh) * 2020-03-13 2020-07-17 南京航空航天大学 一种行人过街工况下的车辆避撞轨迹风险评估方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160114820A1 (en) * 2014-10-28 2016-04-28 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
CN109969172A (zh) * 2017-12-26 2019-07-05 华为技术有限公司 车辆控制方法、设备及计算机存储介质
CN111104969A (zh) * 2019-12-04 2020-05-05 东北大学 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法
CN111222438A (zh) * 2019-12-31 2020-06-02 的卢技术有限公司 一种基于深度学习的行人轨迹预测方法和系统
CN111401414A (zh) * 2020-02-29 2020-07-10 同济大学 一种基于自然驾驶数据的危险场景提取及分类方法
CN111429754A (zh) * 2020-03-13 2020-07-17 南京航空航天大学 一种行人过街工况下的车辆避撞轨迹风险评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
P. PELTOLA，AND ETC: "Corrective Track Form Matching for Real-Time Pedestrian Navigation", 《2018 INTERNATIONAL CONFERENCE ON INDOOR POSITIONING AND INDOOR NAVIGATION (IPIN)》 *
毕家铭等: "交叉路口环境与行人过街安全分析", 《广州航海学院学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065691A (zh) * 2021-03-22 2021-07-02 中国联合网络通信集团有限公司 一种交通行为预测方法及系统
CN113902776A (zh) * 2021-10-27 2022-01-07 北京易航远智科技有限公司 目标行人轨迹预测方法、装置、电子设备及存储介质
CN113902776B (zh) * 2021-10-27 2022-05-17 北京易航远智科技有限公司 目标行人轨迹预测方法、装置、电子设备及存储介质
CN114067552A (zh) * 2021-11-08 2022-02-18 山东高速建设管理集团有限公司 一种基于路侧激光雷达的行人过街轨迹追踪与预测方法
CN114889545A (zh) * 2022-05-24 2022-08-12 中国第一汽车股份有限公司 一种基于双目摄像头识别的主动式发罩系统、方法、设备及存储介质
CN114863685A (zh) * 2022-07-06 2022-08-05 北京理工大学 一种基于风险接受程度的交通参与者轨迹预测方法及系统
CN114863685B (zh) * 2022-07-06 2022-09-27 北京理工大学 一种基于风险接受程度的交通参与者轨迹预测方法及系统
CN117755323A (zh) * 2023-10-24 2024-03-26 清华大学 基于行人车辆动态交互的安全策略确定方法和装置
CN117755323B (zh) * 2023-10-24 2024-07-16 清华大学 基于行人车辆动态交互的安全策略确定方法和装置
CN118343118A (zh) * 2024-06-17 2024-07-16 吉林大学 一种考虑行人过街安全意识的车辆驾驶控制方法及系统
CN118343118B (zh) * 2024-06-17 2024-09-03 吉林大学 一种考虑行人过街安全意识的车辆驾驶控制方法及系统

Also Published As

Publication number Publication date
CN112487905B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN112487905B (zh) 一种车辆周边行人危险等级预测方法及系统
CN109598066B (zh) 预测模块的效果评估方法、装置、设备和存储介质
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN105892471B (zh) 汽车自动驾驶方法和装置
CN113911129B (zh) 一种基于驾驶行为生成机制的交通车意图识别方法
Zakaria et al. Lane detection in autonomous vehicles: A systematic review
Rezaei et al. Computer vision for driver assistance
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
US11420623B2 (en) Systems for determining object importance in on-road driving scenarios and methods thereof
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN109657599B (zh) 距离自适应的车辆外观部件的图片识别方法
CN114155720B (zh) 一种路侧激光雷达的车辆检测和轨迹预测方法
CN104915642A (zh) 前方车辆测距方法及装置
Ketcham et al. Recognizing the Illegal Parking Patterns of Cars on the Road in Front of the Bus Stop Using the Support Vector Machine
CN114359876A (zh) 一种车辆目标识别方法及存储介质
Chavez-Garcia et al. Fusion at detection level for frontal object perception
CN115451987A (zh) 一种自动驾驶汽车的路径规划学习方法
Kim et al. Semantic point cloud-based adaptive multiple object detection and tracking for autonomous vehicles
Prajwal et al. Object detection in self driving cars using deep learning
Schmuedderich et al. System approach for multi-purpose representations of traffic scene elements
CN117456479A (zh) 一种基于光流估计的车辆异常驾驶行为检测方法及装置
JP7532569B2 (ja) 歩行者の位置を決定する方法及び装置
Venkatesh et al. An intelligent traffic management system based on the Internet of Things for detecting rule violations
JP7538300B2 (ja) 自動運転車のオブジェクト認識率の改善方法およびその装置
Ahmad et al. Comparative study of dashcam-based vehicle incident detection techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant