CN114940166A - 基于轨迹预测的行人防撞保护方法、装置、设备及介质 - Google Patents

基于轨迹预测的行人防撞保护方法、装置、设备及介质 Download PDF

Info

Publication number
CN114940166A
CN114940166A CN202210483601.7A CN202210483601A CN114940166A CN 114940166 A CN114940166 A CN 114940166A CN 202210483601 A CN202210483601 A CN 202210483601A CN 114940166 A CN114940166 A CN 114940166A
Authority
CN
China
Prior art keywords
pedestrian
target
intention
behavior
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210483601.7A
Other languages
English (en)
Inventor
郑四发
吴浩然
王建强
许庆
李克强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210483601.7A priority Critical patent/CN114940166A/zh
Publication of CN114940166A publication Critical patent/CN114940166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians

Abstract

本申请公开了一种基于轨迹预测的行人防撞保护方法、装置、设备及介质，其中，方法包括：获取目标行人的行人姿态和行人速度；根据行人姿态和行人速度识别目标行人的行人行为，并由行人行为推理目标行人的行人意图；根据行人行为和行人意图生成目标行人的意图轨迹，并对比意图轨迹和车辆行驶轨迹，在对比结果满足碰撞条件时，控制车辆对驾驶员和/或目标行人发送碰撞警示。建立了行人行为、行人意图、行人与环境交互过程，将行人行为与行人意图融合到行人轨迹预测，基于行人轨迹预测结果进行决策，由此，解决了相关技术基于行人检测结果进行决策，无法适应行人复杂运动变化的问题。

Description

基于轨迹预测的行人防撞保护方法、装置、设备及介质
技术领域
本申请涉及道路安全技术领域，特别涉及一种基于轨迹预测的行人防撞保护方法、装置、设备及介质。
背景技术
目前，自动驾驶车辆中的行人防撞保护系统主要依赖于无遮挡条件下对行人位置的精确检测。以沃尔沃公司于2013年推出的行人防撞保护系统为例，该系统配备有多个高精度摄像头与激光雷达，通过多目标检测算法，检测目标在地面坐标系中的位置，对行人、骑车人等多种交通参与者均具有保护作用。但是，此类系统存在许多内在问题。行人的运动具有比车辆和骑车人更强的随机性，且可能出现快速的运动状态变化。当行人运动状态突然变化时，此类基于检测的防撞保护系统将面临巨大考验。车辆可能来不及减速，从而导致碰撞的发生。尤其是当行人从车辆视野中消失后再次出现时，仅凭检测结果不足以让智能车辆做出正确决策。为了防止自动驾驶车辆与路侧行人发生交通事故，有必要对行人的未来轨迹进行预测，并建立基于轨迹预测的新型行人防撞保护系统，以解决传统基于检测的行人防撞保护系统的缺陷。
与此同时，在行人轨迹预测领域，部分研究将轨迹预测视为纯粹的运动学过程，他们使用卡尔曼滤波及其扩展方法(例如扩展卡尔曼滤波器和无迹卡尔曼滤波器)检测行人位置，并使用恒速或恒加速度等运动模型进行预测。此类方法在短期(<1.5s)具有相对准确的预测，但缺乏对行人交互和意图的分析，无法用于长期预测。为解决此类缺陷，基于交互的行人轨迹预测方法(动态贝叶斯网络，马尔科夫链，模糊逻辑，神经网络等)应运而生。此类方法有效建模了行人与环境的交互，但对行人自身的行为和意图建模仍存在不足，需要进行进一步的改进。
发明内容
本申请提供一种基于轨迹预测的行人防撞保护方法、装置、设备及介质，以解决相关技术中的行人防撞保护方法主要基于检测结果进行决策，无法适应行人复杂运动变化的问题。
本申请第一方面实施例提供一种基于轨迹预测的行人防撞保护方法，包括以下步骤：获取目标行人的行人姿态和行人速度；根据所述行人姿态和所述行人速度识别所述目标行人的行人行为，并由所述行人行为推理所述目标行人的行人意图；根据所述行人行为和所述行人意图生成所述目标行人的意图轨迹，并对比所述意图轨迹和车辆行驶轨迹，在对比结果满足碰撞条件时，控制所述车辆对驾驶员和/或所述目标行人发送碰撞警示。
可选地，在本申请的一个实施例中，所述根据所述行人姿态和所述行人速度识别所述目标行人的行人行为，包括：利用长短期记忆网络从所述行人姿态的序列化节点信息中提取至少一个姿态特征，并根据所述至少一个姿态特征生成至少一个特征向量，且通过全连接层对所述特征向量进行降维，以利用所述至少一个特征向量得到第一行人向量；对所述行人速度进行数据拟合，得到所述行人速度与所述行人行为的概率关系，并根据所述概率关系得到第二行人向量；通过贝叶斯后验概率公式根据所述第一行人向量和所述第二行人向量计算所述行人行为。
可选地，在本申请的一个实施例中，所述由所述行人行为推理所述目标行人的行人意图，包括：利用动态贝叶斯网络或马尔科夫链建立所述目标行人在当前时刻的观测变量与隐变量间的条件推理关系，基于所述条件推理关系得到所述行人意图，其中，所述观测变量为所述行人行为。
可选地，在本申请的一个实施例中，所述根据所述行人行为和所述行人意图生成所述目标行人的意图轨迹，包括：基于粒子滤波方法对所述目标行人进行轨迹预测，生成所述目标行人的意图轨迹，其中，所述粒子滤波方法的重要性采样函数由所述目标行人的可通行区域和所述行人意图决定。
可选地，在本申请的一个实施例中，所述控制所述车辆对驾驶员和/或所述目标行人发送碰撞警示，包括：控制所述车辆的声音报警装置或光报警装置向驾驶员和/或所述目标行人发送碰撞警示信号的同时，检测预设时间后的车速是否大于等于当前车速，若是，则控制车辆进行减速。
本申请第二方面实施例提供一种基于轨迹预测的行人防撞保护装置，包括：获取模块，用于获取目标行人的行人姿态和行人速度；识别模块，用于根据所述行人姿态和所述行人速度识别所述目标行人的行人行为，并由所述行人行为推理所述目标行人的行人意图；保护模块，用于根据所述行人行为和所述行人意图生成所述目标行人的意图轨迹，并对比所述意图轨迹和车辆行驶轨迹，在对比结果满足碰撞条件时，控制所述车辆对驾驶员和/或所述目标行人发送碰撞警示。
可选地，在本申请的一个实施例中，所述识别模块进一步用于，利用长短期记忆网络从所述行人姿态的序列化节点信息中提取至少一个姿态特征，并根据所述至少一个姿态特征生成至少一个特征向量，且通过全连接层对所述特征向量进行降维，以利用所述至少一个特征向量得到第一行人向量；对所述行人速度进行数据拟合，得到所述行人速度与所述行人行为的概率关系，并根据所述概率关系得到第二行人向量；通过贝叶斯后验概率公式根据所述第一行人向量和所述第二行人向量计算所述行人行为。
可选地，在本申请的一个实施例中，所述识别模块进一步用于利用动态贝叶斯网络或马尔科夫链建立所述目标行人在当前时刻的观测变量与隐变量间的条件推理关系，基于所述条件推理关系得到所述行人意图，其中，所述观测变量为所述行人行为。
可选地，在本申请的一个实施例中，所述根据所述行人行为和所述行人意图生成所述目标行人的意图轨迹，包括：基于粒子滤波方法对所述目标行人进行轨迹预测，生成所述目标行人的意图轨迹，其中，所述粒子滤波方法的重要性采样函数由所述目标行人的可通行区域和所述行人意图决定。
可选地，在本申请的一个实施例中，所述保护模块进一步用于控制所述车辆的声音报警装置或光报警装置向驾驶员和/或所述目标行人发送碰撞警示信号的同时，检测预设时间后的车速是否大于等于当前车速，若是，则控制车辆进行减速。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的基于轨迹预测的行人防撞保护方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的基于轨迹预测的行人防撞保护方法。
本申请的实施例具有以下有益效果：
(1)目前的行人防撞保护系统基于检测进行控制决策，难以在行人运动状态发生突然变化时及时响应，避免与行人的碰撞，本申请的实施例利用基于轨迹预测的行人防撞保护框架，在各种场景下的避撞效果都产生了很大的提升。而且预测部分根据目标过去轨迹对其未来长时域进行预测，很大程度上消除了遮挡带来的问题，能大大降低行人被遮挡后再出现导致的碰撞概率。
(2)目前的行人轨迹预测算法主要问题在于过多关注行人的动力学信息，或仅考虑了行人自身与环境的交互过程，而忽略了对行人本身行为、意图等主观信息的建模。本申请的实施例基于行人行为和行人意图进行轨迹预测，能够有效识别行人行为与意图，且其轨迹预测同时对行人行为、行人意图、环境影响进行考虑，得到预测结果，有效解决了传统方法存在的问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于轨迹预测的行人防撞保护方法的流程图；
图2为根据本申请实施例提供的基于轨迹预测的行人防撞保护方法框架示意图；
图3为根据本申请实施例提供的行人行为识别示意图；
图4为根据本申请实施例提供的行人意图识别示意图；
图5为根据本申请实施例提供的行人轨迹预测示意图；
图6为根据本申请实施例提供的行人防撞保护预警示意图；
图7为根据本申请实施例的基于轨迹预测的行人防撞保护装置的示例图；
图8为申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于轨迹预测的行人防撞保护方法、装置、设备及介质。针对上述背景技术中心提到的目前行人防撞保护系统主要基于检测结果进行决策，无法适应行人复杂运动变化以及目前的行人轨迹预测方案对行人自身的行为和意图建模仍存在不足的问题，本申请提供了一种基于轨迹预测的行人防撞保护方法，在该方法中，将行人行为与行人意图融合到行人轨迹预测，基于对行人未来轨迹预测的结果进行决策，大大提高智能车辆的安全性，且能实时运行，并且具有一定的可扩展性。由此，解决了相关技术中的行人防撞保护方法主要基于检测结果进行决策，无法适应行人复杂运动变化的问题。
具体而言，图1为根据本申请实施例提供的一种基于轨迹预测的行人防撞保护方法的流程图。
如图1所示，该基于轨迹预测的行人防撞保护方法包括以下步骤：
在步骤S101中，获取目标行人的行人姿态和行人速度。
可以理解的是，目前的行人防撞保护方法主要基于检测结果进行决策，无法适应行人复杂运动变化，对行人自身的行为和意图建模存在不足。为了解决该问题，如图2所示，本申请的实施例提出一种基于轨迹预测的行人防撞保护方法，将行人行为与行人意图融合到行人轨迹预测中，基于对行人未来轨迹预测的结果进行决策。为了获取行人行为与行人意图，本申请的实施例获取目标行人的行人姿态及行人速度，进而确定行人行为与行人意图。
在步骤S102中，根据行人姿态和行人速度识别目标行人的行人行为，并由行人行为推理目标行人的行人意图。
如图3所示，当对单个目标行人进行行为识别时，需要同时考虑其运动特征与外观特征，因此，行人行为识别的输入包括由OpenPose等关键点识别算法所得到的行人姿态关键节点KeyPoints和激光雷达所得到的行人速度信息V。
可选地，在本申请的一个实施例中，根据行人姿态和行人速度识别目标行人的行人行为，包括：利用长短期记忆网络从行人姿态的序列化节点信息中提取至少一个姿态特征，并根据至少一个姿态特征生成至少一个特征向量，且通过全连接层对特征向量进行降维，以利用至少一个特征向量得到第一行人向量；对行人速度进行数据拟合，得到行人速度与行人行为的概率关系，并根据概率关系得到第二行人向量；通过贝叶斯后验概率公式根据第一行人向量和第二行人向量计算行人行为。
本申请的实施例将行人的行为定义为站立(Standing)、行走(Walking)与跑步(Running)三种。利用长短期记忆网络(Long Short-Term Memory，LSTM)对序列化节点信息KeyPoints进行特征提取，得到特征向量F，再通过全连接层(Full Connected layer，FC)将特征向量F进行降维，转化为更低维的行为向量BMotion。采用数据拟合方法，对真实场景中行人三类行为的速度分布进行拟合，得到行人速度信息V属于三类行为的概率{PS,PW,PR}，选择概率最高者作为行为向量BVel。最终，通过贝叶斯后验概率计算公式，综合运动特征与外观特征，得到行人行为B。检测部分具体公式如下所示：
F＝LSTM(KeyPoints)
B＝{S,W,R}
BMotion＝FC(F)
BVel＝Index[max(PS,PW,PR)]
B∝BMotion*BVel。
可选地，在本申请的一个实施例中，由行人行为推理目标行人的行人意图，包括：利用动态贝叶斯网络或马尔科夫链建立目标行人在当前时刻的观测变量与隐变量间的条件推理关系，基于条件推理关系得到行人意图，其中，观测变量为行人行为。
如图4所示，意图识别采用动态贝叶斯网络或马尔科夫链等动态推理方法，通过建立目标行人在t时刻观测变量Ot与隐变量Ht间的条件推理关系，推理当前帧的行人意图。在本申请的实施例中，第t帧的输入是当前帧的观测变量Ot、上一帧的观测变量Ot-1和上一帧所识别出的行人意图Ct-1。在一个实施例中，认为行人意图主要受到目的地G、焦虑程度A、纵向危险Lonc、是否在穿行区域Pos、从众效应PE、羊群效应HE等隐变量的影响，由于此类隐变量不可量化，因此需要使用观测变量对其进行条件概率分析。行人目的地G可以通过行人的身体朝向BO推测，行人焦虑程度A主要受到其等待时间WT的影响，纵向危险Lonc与行人和车辆到达路口的时间差ΔT有关，行人是否处于穿行区域Pos可通过其与路缘的距离LatD看出。从众效应PE代表行人众多时，和车辆争夺路权穿行的行为，因此通过车辆与行人的比例N计算。羊群效应HE代表有人带头穿行时，其他行人跟随穿行的行为，可以通过穿行行人比例CN得到。最后，将行人行为识别中所得到的行人行为B作为观测行人意图C的观测变量。行人意图识别部分具体公式如：
Ht＝{G,A,Lonc,Pos,PE,HE}
Ot＝{BO,WT,ΔT,LatD,N,CN}
基于动态贝叶斯网络的推理过程主要分为预测与更新两个步骤，通过上一时刻意图的后验分布
Figure BDA0003628493080000061
和预测本时刻的先验概率
Figure BDA0003628493080000062
再通过更新过程得到本时刻的后验概率
Figure BDA0003628493080000063
其公式如下：
Figure BDA0003628493080000064
Figure BDA0003628493080000065
Figure BDA0003628493080000066
对隐变量的后验概率求和，即可得到本时刻的行人意图概率：
Figure BDA0003628493080000067
在步骤S103中，根据行人行为和行人意图生成目标行人的意图轨迹，并对比意图轨迹和车辆行驶轨迹，在对比结果满足碰撞条件时，控制车辆对驾驶员和/或目标行人发送碰撞警示。
通过上述步骤识别出的行人行为和行人意图得到行人意图轨迹后，将意图轨迹与车辆行驶轨迹进行对比，若两轨迹存在交集或者轨迹间的距离小于设定的阈值时，本申请的实施例可以判定当前存在车辆与行人碰撞的可能，此时，本申请的实施例可以控制车向行人或者驾驶员发出碰撞提醒，避免发生危险，提高安全性能。
可选地，在本申请的一个实施例中，根据行人行为和行人意图生成目标行人的意图轨迹，包括：基于粒子滤波方法对目标行人进行轨迹预测，生成目标行人的意图轨迹，其中，粒子滤波方法的重要性采样函数由目标行人的可通行区域和行人意图决定。
如图5所示，轨迹预测问题需要观测目标过去时刻位置并输出对目标未来时刻位置的预测结果。在之前的步骤中，已经获得了行人的行为B和行人意图C。因此，轨迹预测方法需要综合考虑行人行为、行人意图和环境信息进行预测。本申请的实施例可以采用粒子滤波方法对行人进行轨迹预测，其主要包括初始化、粒子生成、重要性采样、重采样、输出五个步骤。在传统粒子滤波方法中，重要性采样部分主要使用高斯分布考虑目标未来轨迹的不确定性，在本申请的实施例中，重要性采样函数ω将根据可通行区域mi和行人意图决定。当环境为行人可通行区域时，采样权重为1，当环境为行人不可通行区域时，采样权重为0.当环境为机动车道且行人存在穿行意图时，采样权重为1，当当环境为机动车道且行人不存在穿行意图时，采样权重为0。
Figure BDA0003628493080000071
Figure BDA0003628493080000072
完成重要性采样权重分配后，需要对其进行归一化。行人行为则主要通过意图的转变体现。当行人行为判定为站立时，部分粒子将从有穿行意图变为无穿行意图，当行人行为判定为跑步时，部分粒子将从无穿行意图变为有穿行意图。当行人行为判定为行走时，粒子意图不发生改变。
可选地，在本申请的一个实施例中，控制车辆对驾驶员和/或目标行人发送碰撞警示，包括：控制车辆的声音报警装置或光报警装置向驾驶员和/或目标行人发送碰撞警示信号的同时，检测预设时间后的车速是否大于等于当前车速，若是，则控制车辆进行减速。
如图6所示，在完成行人行为识别、意图识别和轨迹预测后，需要根据所得到的预测轨迹进行行人防撞保护预警。行人防撞保护预警主要包括三部分：碰撞预警、驾驶员操控判断及速度控制。当收到行人未来预测轨迹时，检测车辆自身规划轨迹与行人未来轨迹是否发生冲突，若发生冲突，则可以向驾驶员通过声、光等信息发出警报。发出警报后，通过压力传感器获取驾驶员对减速踏板的制动力大小，通过力矩传感器获得驾驶员对方向盘的操纵行为，若发现驾驶员未进行任何避撞操作，则操作车辆进行减速，避免发生危险。除了检测减速踏板外，本申请的实施例还可以直接检测当前车速是否小于预警前车速，例如，以2秒为例，预警2秒后，检测车辆的当前车速，是否小于2秒前的车速，若不小于，则说明车辆未减速，则本申请的实施例进行干预，控制车辆进行减速，或修正方向盘转角，以免发明危险。
根据本申请实施例提出的基于轨迹预测的行人防撞保护方法，将行人行为与行人意图融合到行人轨迹预测架构中，将行人速度与关键点用于行人行为识别，再使用动态贝叶斯网络识别行人穿行意图，最后将行人行为与意图同时进行轨迹预测，使用粒子滤波预测行人未来轨迹。该方法有效建模了行人行为、行人意图、行人与环境交互过程，解决了目前行人轨迹预测方案对行人自身的行为和意图建模仍存在不足的问题。
其次参照附图描述根据本申请实施例提出的基于轨迹预测的行人防撞保护装置。
图7为根据本申请实施例的基于轨迹预测的行人防撞保护装置的示例图。
如图7所示，该基于轨迹预测的行人防撞保护装置10包括：获取模块100、识别模块200和保护模块300。
其中，获取模块100，用于获取目标行人的行人姿态和行人速度。识别模块200，用于根据行人姿态和行人速度识别目标行人的行人行为，并由行人行为推理目标行人的行人意图。保护模块300，用于根据行人行为和行人意图生成目标行人的意图轨迹，并对比意图轨迹和车辆行驶轨迹，在对比结果满足碰撞条件时，控制车辆对驾驶员和/或目标行人发送碰撞警示。
可选地，在本申请的一个实施例中，识别模块200进一步用于，利用长短期记忆网络从行人姿态的序列化节点信息中提取至少一个姿态特征，并根据至少一个姿态特征生成至少一个特征向量，且通过全连接层对特征向量进行降维，以利用至少一个特征向量得到第一行人向量；对行人速度进行数据拟合，得到行人速度与行人行为的概率关系，并根据概率关系得到第二行人向量；通过贝叶斯后验概率公式根据第一行人向量和第二行人向量计算行人行为。
可选地，在本申请的一个实施例中，识别模块200进一步用于利用动态贝叶斯网络或马尔科夫链建立目标行人在当前时刻的观测变量与隐变量间的条件推理关系，基于条件推理关系得到行人意图，其中，观测变量为行人行为。
可选地，在本申请的一个实施例中，根据行人行为和行人意图生成目标行人的意图轨迹，包括：基于粒子滤波方法对目标行人进行轨迹预测，生成目标行人的意图轨迹，其中，粒子滤波方法的重要性采样函数由目标行人的可通行区域和行人意图决定。
可选地，在本申请的一个实施例中，保护模块300进一步用于控制车辆的声音报警装置或光报警装置向驾驶员和/或目标行人发送碰撞警示信号的同时，检测预设时间后的车速是否大于等于当前车速，若是，则控制车辆进行减速。
需要说明的是，前述对基于轨迹预测的行人防撞保护方法实施例的解释说明也适用于该实施例的基于轨迹预测的行人防撞保护装置，此处不再赘述。
根据本申请实施例提出的基于轨迹预测的行人防撞保护装置，将行人行为与行人意图融合到行人轨迹预测架构中，将行人速度与关键点用于行人行为识别，再使用动态贝叶斯网络识别行人穿行意图，最后将行人行为与意图同时进行轨迹预测，使用粒子滤波预测行人未来轨迹。该方法有效建模了行人行为、行人意图、行人与环境交互过程，解决了目前行人轨迹预测方案对行人自身的行为和意图建模仍存在不足的问题。
图8为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序。
处理器802执行程序时实现上述实施例中提供的基于轨迹预测的行人防撞保护方法。
进一步地，车辆还包括：
通信接口803，用于存储器801和处理器802之间的通信。
存储器801，用于存放可在处理器802上运行的计算机程序。
存储器801可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器801、处理器802和通信接口803独立实现，则通信接口803、存储器801和处理器802可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器801、处理器802及通信接口803，集成在一块芯片上实现，则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。
处理器802可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的基于轨迹预测的行人防撞保护方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

Claims (12)

1.一种基于轨迹预测的行人防撞保护方法，其特征在于，包括以下步骤：
获取目标行人的行人姿态和行人速度；
根据所述行人姿态和所述行人速度识别所述目标行人的行人行为，并由所述行人行为推理所述目标行人的行人意图；
根据所述行人行为和所述行人意图生成所述目标行人的意图轨迹，并对比所述意图轨迹和车辆行驶轨迹，在对比结果满足碰撞条件时，控制所述车辆对驾驶员和/或所述目标行人发送碰撞警示。
2.根据权利要求1所述的方法，其特征在于，所述根据所述行人姿态和所述行人速度识别所述目标行人的行人行为，包括：
利用长短期记忆网络从所述行人姿态的序列化节点信息中提取至少一个姿态特征，并根据所述至少一个姿态特征生成至少一个特征向量，且通过全连接层对所述特征向量进行降维，以利用所述至少一个特征向量得到第一行人向量；
对所述行人速度进行数据拟合，得到所述行人速度与所述行人行为的概率关系，并根据所述概率关系得到第二行人向量；
通过贝叶斯后验概率公式根据所述第一行人向量和所述第二行人向量计算所述行人行为。
3.根据权利要求1所述的方法，其特征在于，所述由所述行人行为推理所述目标行人的行人意图，包括：
利用动态贝叶斯网络或马尔科夫链建立所述目标行人在当前时刻的观测变量与隐变量间的条件推理关系，基于所述条件推理关系得到所述行人意图，其中，所述观测变量为所述行人行为。
4.根据权利要求1所述的方法，其特征在于，所述根据所述行人行为和所述行人意图生成所述目标行人的意图轨迹，包括：
基于粒子滤波方法对所述目标行人进行轨迹预测，生成所述目标行人的意图轨迹，其中，所述粒子滤波方法的重要性采样函数由所述目标行人的可通行区域和所述行人意图决定。
5.根据权利要求1所述的方法，其特征在于，所述控制所述车辆对驾驶员和/或所述目标行人发送碰撞警示，包括：
控制所述车辆的声音报警装置或光报警装置向驾驶员和/或所述目标行人发送碰撞警示信号的同时，检测预设时间后的车速是否大于等于当前车速，若是，则控制车辆进行减速。
6.一种基于轨迹预测的行人防撞保护装置，其特征在于，包括：
获取模块，用于获取目标行人的行人姿态和行人速度；
识别模块，用于根据所述行人姿态和所述行人速度识别所述目标行人的行人行为，并由所述行人行为推理所述目标行人的行人意图；
保护模块，用于根据所述行人行为和所述行人意图生成所述目标行人的意图轨迹，并对比所述意图轨迹和车辆行驶轨迹，在对比结果满足碰撞条件时，控制所述车辆对驾驶员和/或所述目标行人发送碰撞警示。
7.根据权利要求6所述的装置，其特征在于，所述识别模块进一步用于，
利用长短期记忆网络从所述行人姿态的序列化节点信息中提取至少一个姿态特征，并根据所述至少一个姿态特征生成至少一个特征向量，且通过全连接层对所述特征向量进行降维，以利用所述至少一个特征向量得到第一行人向量；
对所述行人速度进行数据拟合，得到所述行人速度与所述行人行为的概率关系，并根据所述概率关系得到第二行人向量；
通过贝叶斯后验概率公式根据所述第一行人向量和所述第二行人向量计算所述行人行为。
8.根据权利要求6所述的装置，其特征在于，所述识别模块进一步用于利用动态贝叶斯网络或马尔科夫链建立所述目标行人在当前时刻的观测变量与隐变量间的条件推理关系，基于所述条件推理关系得到所述行人意图，其中，所述观测变量为所述行人行为。
9.根据权利要求6所述的装置，其特征在于，所述根据所述行人行为和所述行人意图生成所述目标行人的意图轨迹，包括：
基于粒子滤波方法对所述目标行人进行轨迹预测，生成所述目标行人的意图轨迹，其中，所述粒子滤波方法的重要性采样函数由所述目标行人的可通行区域和所述行人意图决定。
10.根据权利要求6所述的装置，其特征在于，所述保护模块进一步用于控制所述车辆的声音报警装置或光报警装置向驾驶员和/或所述目标行人发送碰撞警示信号的同时，检测预设时间后的车速是否大于等于当前车速，若是，则控制车辆进行减速。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于轨迹预测的行人防撞保护方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于轨迹预测的行人防撞保护方法。
CN202210483601.7A 2022-05-05 2022-05-05 基于轨迹预测的行人防撞保护方法、装置、设备及介质 Pending CN114940166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210483601.7A CN114940166A (zh) 2022-05-05 2022-05-05 基于轨迹预测的行人防撞保护方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210483601.7A CN114940166A (zh) 2022-05-05 2022-05-05 基于轨迹预测的行人防撞保护方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114940166A true CN114940166A (zh) 2022-08-26

Family

ID=82906988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210483601.7A Pending CN114940166A (zh) 2022-05-05 2022-05-05 基于轨迹预测的行人防撞保护方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114940166A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116872881A (zh) * 2023-08-09 2023-10-13 清华大学 车辆行人主被动安全协同控制方法、装置和计算机设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116872881A (zh) * 2023-08-09 2023-10-13 清华大学 车辆行人主被动安全协同控制方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
JP7140922B2 (ja) マルチセンサデータ融合方法、及び装置
JP6524144B2 (ja) 車両制御システム及び方法、並びに走行支援サーバ
JP5580852B2 (ja) 交通参加者の動きを予測する方法、システム、プログラム及び車両
JP6822752B2 (ja) アクティブ車両制御のための運転支援技術
CN112840350A (zh) 自动驾驶车辆规划和预测
EP2615598B1 (en) Vehicle with computing means for monitoring and predicting traffic participant objects
JP5620147B2 (ja) 可動物予測装置及びプログラム
CN111033510A (zh) 用于运行驾驶员辅助系统的方法和装置以及驾驶员辅助系统和机动车
Ortiz et al. Behavior prediction at multiple time-scales in inner-city scenarios
Bonnin et al. A generic concept of a system for predicting driving behaviors
US11884269B2 (en) Systems and methods for determining future intentions of objects
Zhang et al. A framework for turning behavior classification at intersections using 3D LIDAR
US20220343637A1 (en) Traffic flow machine-learning modeling system and method applied to vehicles
CN114940166A (zh) 基于轨迹预测的行人防撞保护方法、装置、设备及介质
CN113335311B (zh) 一种车辆碰撞检测方法、装置、车辆及存储介质
JP7350188B2 (ja) 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム
US20220126818A1 (en) Systems and methods for identifying high-risk driving situations from driving data
US20240017746A1 (en) Assessing present intentions of an actor perceived by an autonomous vehicle
Otto et al. Long-term trajectory classification and prediction of commercial vehicles for the application in advanced driver assistance systems
JP6796679B2 (ja) 車両制御システム及び方法、並びに走行支援サーバ
US20220388534A1 (en) Method and system for predicting behavior of actors in an environment of an autonomous vehicle
Zeisler et al. A driving path based target object prediction
Zhang et al. Left-turn risk assessment of autonomous vehicles at unsignalized intersections
Zhang et al. Prediction of Pedestrian Risky Level for Intelligent Vehicles
JP7400911B1 (ja) 自動運転装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination