CN112435503A - 一种辨识高危行人意图的智能汽车主动避撞方法 - Google Patents

一种辨识高危行人意图的智能汽车主动避撞方法 Download PDF

Info

Publication number
CN112435503A
CN112435503A CN202011185788.XA CN202011185788A CN112435503A CN 112435503 A CN112435503 A CN 112435503A CN 202011185788 A CN202011185788 A CN 202011185788A CN 112435503 A CN112435503 A CN 112435503A
Authority
CN
China
Prior art keywords
pedestrian
vehicle
pedestrians
network
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011185788.XA
Other languages
English (en)
Other versions
CN112435503B (zh
Inventor
袁朝春
朱昊宇
何友国
张厚忠
孙晓强
陈龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202011185788.XA priority Critical patent/CN112435503B/zh
Publication of CN112435503A publication Critical patent/CN112435503A/zh
Application granted granted Critical
Publication of CN112435503B publication Critical patent/CN112435503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Pure & Applied Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种辨识高危行人意图的智能汽车主动避撞方法，S1获取车辆自身行驶信息与环境信息；识别行人、位置；获取车辆当前行驶状态信息；S2利用深度卷积神经网络模型辨识行人姿态和注意力状态；利用Openpose算法获取行人关键点特征信息，将提取的行人关键点输入到长短时记忆网络模型中，提取行人身体姿态和注意力状态特征，实现对行人注意力状态的分类识别；S3基于动态贝叶斯网络模型，融合S2中行人姿态和注意力状态概率，辨识行人穿行或避让意图；S4若S3中判断行人有穿行马路意图时，计算与前方行人的最小安全距离；S5当车辆与前方行人的距离小于1.5倍最小安全距离时，车辆制动，同时投影灯在车辆前方投影出红色警示区域。

Description

一种辨识高危行人意图的智能汽车主动避撞方法
技术领域
本发明属于行驶安全技术领域，具体涉及一种通过辨识高危行人意图的智能汽车主动避撞方法。
背景技术
随着近年来汽车保有量的快速增加，道路交通安全问题已经成为社会关注的重点。在人车混杂环境下，车辆与行人的碰撞事故频频发生。智能汽车如何有效避免因行人违规横穿马路造成的交通事故，一直困扰着车辆主动安全研究领域人员。
目前，针对人车混杂环境下行人保护问题的研究，可分为两类，一类是把行人当作特殊静态障碍物，利用卷积神经网络等人工智能算法识别行人并获取其位置信息，从而提高行人检测的准确率和运算速度；另一类基于人工智能算法辨识人体姿态特征、追踪行人轨迹并预判行人位置，一定程度上提高了智能车辆在人车混杂环境下的安全性。
中国专利申请公开号CN109117701A的专利公开了一种图卷积的行人意图识别技术，该方法通过图卷积算法提取行人运动特征，再利用神经网络辨识行人行为意图。但这仅仅考虑到了行人的身体姿态，事实上一些处于追逐打闹、打电话聊天的行人，往往会忽视外界其他交通参与者，因而行人的分神状态同样对其运动轨迹影响巨大。
发明内容
为了解决上述问题，本发明提出了一种辨识高危行人意图的智能汽车主动避撞方法。具体技术方案如下：一种辨识高危行人意图的智能汽车主动避撞方法，包括如下步骤：
1)获取车辆自身行驶信息与环境信息；
CCD相机可以安装在车辆前挡风玻璃中间位置，根据相机采集的图像识别行人；毫米波雷达安装在车辆前保险杠处，用于获取行人位置等；利用车辆CAN总线获取车辆当前行驶状态信息，所述车辆行驶状态信息包括车辆行驶速度信息；
2)利用深度卷积神经网络辨识行人行为特征和精神状态特征；
利用Openpose算法获取行人关键点特征信息，将提取的行人关键点输入到长短时记忆网络模型中，提取行人身体姿态和注意力状态特征，实现行人注意力状态的分类识别；
3)基于动态贝叶斯网络，融合步骤2)中行人姿态行为和注意力状态概率，从而辨识行人穿行或避让意图；
以自车对行人行为的影响，行人目的地等作为隐藏变量，以人车相对距离，车辆行驶速度，行人身体朝向，行人注意力状态特征作为观测层变量，搭建动态贝叶斯网络模型；通过后验概率推理，得到动态贝叶斯网络的输出即行人穿行或避让意图的分类，并将该输出作为步骤4的输入；
4)若步骤3中判断行人将有穿行马路意图时，计算与前方行人的最小安全距离；
5)当车辆与前方行人的距离小于1.5倍安全距离时，车辆由电子控制单元控制制动，同时投影灯在车辆前方投影出红色警示区域；
6)单位时间之内，重复步骤1至步骤5直到车辆到达安全地点；
进一步的，上述步骤2)中，利用深度卷积神经网络算法辨识人车混杂环境下行人身体姿态和注意力状态特征；
所述深度卷积神经网络模型包括：
2.1)输入图片先经过VGG19网络的前十层和另外两个卷积层获得特征图，再利用双支线网络预测关键点位置，第一个分支预测身体部位间的亲和度，第二个分支预测身体部位位置的置信度图，利用非极大抑制获取候选关键点集，最后通过贪心推理计算出图像关键点位置的全局最优解，获取图像中所有的人18个人体关键点的位置。双分支的损失函数
Figure BDA0002751396200000021
和
Figure BDA0002751396200000022
分别表示为
Figure BDA0002751396200000023
Figure BDA0002751396200000024
其中，
Figure BDA0002751396200000025
表示亲和度分支的真实值，
Figure BDA0002751396200000026
表示置信图分支的真实值，
Figure BDA0002751396200000027
表示亲和度分支的预测值，
Figure BDA0002751396200000028
表示置信图分支的预测值，W(p)可以取值为0或1，防止算法惩罚那些没有标注信息的关键点，J表示亲和度分支的样本数，C表示置信图分支的样本数。
2.2)利用提取到的行人关键点坐标信息xt作为输入,通过长短期记忆网络进行高层次特征提取，其中长短期记忆网络在每个时间步内采用遗忘门控制上一层细胞的隐藏状态，计算过程如公式所示：
Ft＝σ(WFht-1+UFxt+bF) (3)
式中，Ft表示遗忘门，ht表示短期状态，WF和UF表示遗忘门的权重矩阵，bF表示遗忘门的偏置，σ是sigmod激活函数。
输入门更新细胞状态信息，计算过程如公式所示：
It＝σ(WIht-1+UIxt+bI) (4)
式中，It表示输入门，WI和UI表示输入门的权重矩阵，bI表示输入门的偏置。
输出门结合历史信息和新输入信息得出当前细胞隐藏状态的输出，计算过程如公式所示：
Ot＝σ(WOht-1+UOxt+bO) (5)
式中，Ot表示输出门，WO和UO表示输出门的权重矩阵，bO表示输入门的偏置。
利用输出门和当前时刻的记忆单元状态计算的隐含层输出值如下：
ht＝Ottanh(ct) (6)
式中，ct代表新的单元状态。
最后利用全连接层f计算长短期记忆网络输出向量ht的权重wt，经过softmax层输出行人分神或集中两种注意力状态分类at的预测结果。
进一步的，上述步骤3)中，设计动态贝叶斯网络模型包括如下步骤：
3.1)定义动态贝叶斯网络的节点
隐层节点包含两层信息：第一层是人车碰撞危险、行人目的地、行人位置以及行人注意力状态，第二层是行人是否避让车辆；隐层变量集合E＝{R,D,P}和C＝{I}，均为离散变量，其中R表示人车碰撞危险、D表示行人目的地、P表示行人位置，I表示行人是否避让车辆；
观测层节点主要包括两层信息：行人与车辆的纵向与横向距离，车辆行驶速度，行人身体朝向，行人注意力状态类别；观测层变量集合O＝{Llon,Llat,Vv,OP}和A＝{AP}，其中Op,Ap为离散变量，Llon,Llat,Vv为连续变量，Llon,Llat表示行人与车辆的纵向与横向距离，Vv表示车辆行驶速度，OP行人身体朝向，AP表示行人注意力状态类别；
3.2)网络结构的未知参数训练
给定变量集{Llon,Llat,Vv,Op,Ap}和训练集T，通过学习网络参数找到一个最佳匹配此训练集T的网络N＝(D,θ)，并采用一个匹配性函数度量训练样本和网络的匹配程度；其中，D表示网络结构，θ表示网络的参数；
根据S2中深度卷积神经网络算法可以获得观测层变量的发生概率，隐层和观测层间的条件概率利用训练集T进行参数学习，可以使用最大似然估计法作为匹配性函数来训练。设训练样本T关于网络参数θ的似然函数为L(θ)＝logP(T|θ)，利用梯度优化算法计算最优解
Figure BDA0002751396200000041
3.3)根据观测层变量的后验概率推断
后验概率是指根据观测层变量推断出的隐层变量概率分布，其具体过程如下：
1)预测：用t时刻的概率分布得到t+1时刻的联合概率分布；设t时刻所有离散隐层变量{Et,Ct}的联合分布为
Figure BDA0002751396200000042
条件变量的转移概率为P(Et+1|Et)，上一时刻变量的后验分布是
Figure BDA0002751396200000043
则t+1时刻的离散隐层变量{Et,Ct,Et+1,Ct+1}联合分布为：
Figure BDA0002751396200000044
2)更新：引入t+1时刻的观测变量来获得新的概率分布；其中一个观测变量O为{Llon,Llat,Vv}，另一个观测变量A为{Ap}，则t+1时刻的离散隐层变量{Et,Ct,Et+1,Ct+1}联合分布为：
Figure BDA0002751396200000045
进一步的，上述步骤4)中，设计的行人最小安全距离模型如下：
Figure BDA0002751396200000046
av-max＝μg (10)
式子：Smust—最小安全距离，vv—自车车速，av-max—自车最大制动减速度，d0—人车静止时应具有的最小安全距离，g―重力加速度，μ―路面附着力系数。
进一步的，上述步骤5)中所述的投影灯是安装在车头保险杠中间处，利用将灯光投影到车辆行驶前方，用来警示行人处于人车碰撞风险区域。
本发明的有益效果：
1、针对处于追逐打闹、打电话聊天的行人对外界环境信息感知存在某种程度疏忽的问题，本发明在深度卷积神经网络算法辨识出行人身体姿态特征的基础上，还将行人的注意力状态融合到动态贝叶斯网络中，提前发现前方行人的高危行为，为智能汽车辅助驾驶系统的决策及控制提供准确依据。
2、针对现有的神经网络模型行人意图识别的泛化能力、可解释性差且含标签的数据较少，本文利用动态贝叶斯网络，以人车距离，车辆行驶速度，行人身体朝向等作为观测变量，并融合行人注意力状态特征，实现多时序下行人穿行或避让意图的预测。
附图说明
图1是本发明方法流程图。
图2是行人注意力状态预测框架图。
图3是长短期记忆网络结构图。
图4是动态贝叶斯网络网络。
具体实施方式
下面结合附图对本发明作进一步说明。
本发明提出了一种辨识高危行人意图的智能汽车主动避撞方法。具体技术方案如下：一种辨识高危行人意图的智能汽车主动避撞方法，如图1所示，包括如下步骤：
1)获取车辆自身行驶信息与环境信息；
CCD相机可以安装在车辆前挡风玻璃中间位置，根据相机采集的图像识别行人及其姿态；毫米波雷达安装在车辆前保险杠处，用于获取行人位置等；利用车辆CAN总线获取车辆当前行驶状态信息，所述车辆行驶状态信息包括车辆行驶速度信息；
2)利用深度卷积神经网络辨识行人行为特征和精神状态特征；
利用Openpose算法获取行人关键点特征信息，将提取的行人关键点输入到长短时记忆网络模型中，分别提取行人身体姿态和注意力状态特征，实现对行人注意力状态的分类识别；
3)基于动态贝叶斯网络，融合步骤2)中行人姿态和注意力状态概率，从而辨识行人穿行和避让意图；
以自车对行人行为的影响，行人目的地等作为隐藏变量，以人车相对距离，车辆行驶速度，行人身体朝向，行人注意力状态特征作为观测层变量，搭建动态贝叶斯网络模型；通过后验概率推理，得到动态贝叶斯网络的输出即行人是否穿行的估计概率，并将该输出作为步骤4的输入；
4)若步骤3中判断行人将有穿行马路意图时，计算与前方行人的最小安全距离；
5)当车辆与前方行人的距离小于1.5倍安全距离时，车辆由电子控制单元控制制动，同时投影灯在车辆前方投影出红色警示区域；
6)单位时间之内，重复步骤1至步骤5直到车辆到达安全地点；
进一步的，上述步骤2)中，利用深度卷积神经网络模型算法辨识人车混杂环境下行人身体姿态和分神状态特征，具体如下：
2.1)输入图片先经过VGG19网络的前十层获得特征图。再利用双支线网络预测关键点位置，第一个分支预测身体部位间的亲和度，第二个分支预测身体部位位置的置信度图，利用非极大抑制获取候选关键点集，最后通过贪心推理计算出图像关键点位置的全局最优解，对图像中所有的人生成18个人体关键点。
双分支的损失函数
Figure BDA0002751396200000061
和
Figure BDA0002751396200000062
分别表示为
Figure BDA0002751396200000063
Figure BDA0002751396200000064
其中，
Figure BDA0002751396200000065
表示亲和度分支的真实值，
Figure BDA0002751396200000066
表示置信图分支的真实值，
Figure BDA0002751396200000067
表示亲和度分支的预测值，
Figure BDA0002751396200000068
表示置信图分支的预测值，W(p)可以取值为0或1，防止算法惩罚那些没有标注信息的关键点，J表示亲和度分支的样本数，C表示置信图分支的样本数。
2.2)如图2所示，利用提取到的行人关键点坐标信息xt作为输入,通过长短期记忆网络进行高层次特征提取。如图3所示，长短期记忆网络在每个时间步内采用遗忘门控制上一层细胞的隐藏状态，计算过程如公式所示：
Ft＝σ(WFht-1+UFxt+bF) (3)
式中，Ft表示遗忘门，ht表示短期状态，WF和UF表示遗忘门的权重矩阵，bF表示遗忘门的偏置，σ是sigmod激活函数。
输入门更新细胞状态信息，计算过程如公式所示：
It＝σ(WIht-1+UIxt+bI) (4)
式中，It代表输入门，WI和UI代表输入门的权重矩阵，bI代表输入门的偏置。
输出门结合历史信息和新输入信息得出当前细胞隐藏状态的输出，计算过程如公式所示：
Ot＝σ(WOht-1+UOxt+bO) (5)
式中，Ot代表输出门，WO和UO代表输出门的权重矩阵，bO代表输入门的偏置。
利用输出门和当前时刻的记忆单元状态计算的隐含层输出值如下：
ht＝Ottanh(ct) (6)
式中，ct代表新的单元状态。
最后利用全连接层f计算长短期记忆网络输出向量ht的权重wt，经过softmax层输出行人分神或集中两种注意力状态分类at的预测结果。
进一步的，如图4所示，上述步骤3)中，设计动态贝叶斯网络模型包括如下步骤：
3.1)定义动态贝叶斯网络的节点
隐层节点包含两层信息：第一层是人车碰撞危险、行人目的地、行人位置以及行人注意力状态，第二层是行人是否避让车辆；隐层变量集合E＝{R,D,P}和C＝{I}，均为离散变量，其中R表示人车碰撞危险、D表示行人目的地、P表示行人位置，I表示行人是否避让车辆；
观测层节点主要包括两层信息：行人与车辆的纵向与横向距离，车辆行驶速度，行人身体朝向，行人注意力状态类别；观测层变量集合O＝{Llon,Llat,Vv,OP}和A＝{AP}，其中Op,Ap为离散变量，Llon,Llat,Vv为连续变量，Llon,Llat表示行人与车辆的纵向与横向距离，Vv表示车辆行驶速度，OP行人身体朝向，AP表示行人注意力状态类别；
3.2)网络最优参数的训练
给定变量集{Llon,Llat,Vv,Op,Ap}和训练集T，通过学习网络参数找到一个最佳匹配此训练集T的网络N＝(D,θ)，并采用一个匹配性函数度量训练样本和网络的匹配程度；其中，D表示网络结构，θ表示网络的参数；
根据S2中深度卷积神经网络算法可以获得观测层变量的发生概率，隐层和观测层间的条件概率利用训练集T进行参数学习，可以使用最大似然估计法作为匹配性函数来训练。设训练样本T关于网络参数θ的似然函数为L(θ)＝logP(T|θ)，利用梯度优化算法计算最优解
Figure BDA0002751396200000071
3.3)根据观测层变量的后验概率推断
后验概率是指根据观测层变量推断出的隐层变量概率分布，其具体过程如下：
1)预测：用t时刻的概率分布得到t+1时刻的联合概率分布；设t时刻所有离散隐层变量{Et,Ct}的联合分布为
Figure BDA0002751396200000072
条件变量的转移概率为P(Et+1|Et)，上一时刻变量的后验分布是
Figure BDA0002751396200000073
则t+1时刻的离散隐层变量{Et,Ct,Et+1,Ct+1}联合分布为：
Figure BDA0002751396200000074
2)更新：引入t+1时刻的观测变量来获得新的概率分布；其中一个观测变量O为{Llon,Llat,Vv}，另一个观测变量A为{Ap}，则t+1时刻的离散隐层变量{Et,Ct,Et+1,Ct+1}联合分布为：
Figure BDA0002751396200000081
进一步的，上述步骤4)中，设计的行人最小安全距离模型如下：
Figure BDA0002751396200000082
av-max＝μg (10)
式子：Smust—最小安全距离，vv—自车车速，av-max—自车最大制动减速度，d0—人车静止时应具有的最小安全距离，g―重力加速度，μ―路面附着力系数。
进一步的，上述步骤5)中所述的投影灯是安装在车头保险杠中间处，利用将灯光投影到车辆行驶前方，用来警示行人处于人车碰撞风险区域。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，包括：
S1获取车辆自身行驶信息与环境信息；
采集环境图像，识别行人并获取行人位置；获取车辆当前行驶状态信息，包括车辆行驶速度信息；
S2利用深度卷积神经网络模型辨识行人行为特征和精神状态特征；
利用Openpose算法获取行人关键点特征信息，将提取的行人关键点输入到长短时记忆网络模型中，提取行人身体姿态和注意力状态特征，实现对行人注意力状态的分类识别；
S3基于动态贝叶斯网络模型，融合S2中提出的行人姿态和注意力状态分类，辨识行人过街意图；
S4若S3中判断行人有穿行马路意图时，计算与前方行人的最小安全距离；
S5当车辆与前方行人的距离小于1.5倍最小安全距离时，车辆制动，同时投影灯在车辆前方投影出红色警示区域。
2.根据权利要求1所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S1中，环境图像的采集利用安装在车辆前挡风玻璃中间位置的CCD相机实现；所述获取行人位置利用安装在车辆前保险杠处的毫米波雷达实现。
3.根据权利要求1所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S2的深度卷积神经网络模型的设计包括：
S2.1输入图片先经过VGG19网络的前十层和另外两个卷积层获得特征图，再利用双支线网络预测关键点位置，第一个分支预测身体部位间的亲和度，第二个分支预测身体部位位置的置信度图，利用非极大抑制获取候选关键点集，最后通过贪心推理计算出图像关键点位置的全局最优解，获取图像中所有的人18个人体关键点的位置。双分支的损失函数
Figure FDA0002751396190000011
和
Figure FDA0002751396190000012
分别表示为
Figure FDA0002751396190000013
Figure FDA0002751396190000014
其中，
Figure FDA0002751396190000015
表示亲和度分支的真实值，
Figure FDA0002751396190000016
表示置信图分支的真实值，W(p)可以取值为0或1，防止算法惩罚那些没有标注信息的关键点；
S2.2)利用提取到的行人关键点坐标信息xt作为输入，通过长短期记忆网络进行高层次特征提取，其中长短期记忆网络在每个时间步内采用遗忘门控制上一层细胞的隐藏状态，计算过程如公式所示：
Ft＝σ(WFht-1+UFxt+bF) (3)
式中，Ft代表遗忘门，WF和UF代表遗忘门的权重矩阵，bF代表遗忘门的偏置；
输入门更新细胞状态信息，计算过程如公式所示：
It＝σ(WFht-1+UIxt+bI) (4)
式中，It代表输入门，WI和UI代表输入门的权重矩阵，bI代表输入门的偏置。
输出门结合历史信息和新输入信息得出当前细胞隐藏状态的输出，计算过程如公式所示：
Ot＝σ(WOht-1+UOxt+bO) (5)
式中，Ot代表输出门，WO和UO代表输出门的权重矩阵，bO代表输入门的偏置；
利用输出门和当前时刻的记忆单元状态计算的隐含层输出值如下：
ht＝Ottanh(ct) (6)
S2.3利用全连接层f计算长短期记忆网络输出向量ht的权重wt，经过softmax层输出行人分神或集中两种注意力状态分类at的预测结果。
4.根据权利要求3所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S2利用深度卷积神经网络模型辨识行人行为特征和精神状态特征的方法包括如下：
S2.1输入图片先经过VGG19网络的前十层获得特征图，再利用双支线网络预测关键点位置，第一个分支预测身体部位间的亲和度，第二个分支预测身体部位位置的置信度图，利用非极大抑制获取候选关键点集，最后通过贪心推理计算出图像关键点位置的全局最优解，对图像中所有的人生成18个人体关键点。
S2.2利用提取到的行人关键点坐标信息作为输入，通过长短期记忆网络进行高层次特征提取，实现前后数据帧关联；根据行人关键点坐标信息提取姿态特征，采用具有长短时记忆网络对行人处于分神或集中两种注意力状态进行分类识别。
5.根据权利要求4所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S3中动态贝叶斯网络模型的设计包括如下：
S3.1定义动态贝叶斯网络的节点
隐层节点包含两层信息：第一层是人车碰撞危险、行人目的地、行人位置以及行人注意力状态，第二层是行人穿行意图；隐层变量集合E＝{R,D,P}和C＝{I}，均为离散变量；
观测层节点主要包括两层信息：行人与车辆的纵向与横向距离，车辆行驶速度，行人身体朝向，行人注意力状态类别；观测层变量集合O＝{Llon,Llat,Vv,OP}和A＝{AP}，其中Op,Ap为离散变量，Llon,Llat,Vv为连续变量；
S3.2优化网络结构
给定变量集{Llon,Llat,Vv,Op,Ap}和训练集T，通过学习网络参数找到一个最佳匹配此训练集T的网络N＝(D,θ)，并采用一个匹配性函数度量训练样本和网络的匹配程度；其中，D表示网络结构，θ表示网络的参数；
S3.3网络节点间的未知参数学习
根据深度卷积神经网络算法获得观测层变量的发生概率，隐层和观测层间的条件概率利用训练集进行参数学习，使用最大似然估计法来训练；设训练样本T关于网络参数θ的似然函数为L(θ)＝logP(T|θ)，利用梯度优化算法计算最优解；
S3.4根据观测层变量的后验概率推断
后验概率是指根据观测层变量推断出的隐层变量概率分布，其具体包括：
1)预测：用t时刻的概率分布得到t+1时刻的联合概率分布；设t时刻所有离散隐层变量{Et,Ct}的联合分布为
Figure FDA0002751396190000031
则t+1时刻的离散隐层变量{Et,Ct,Et+1,Ct+1}联合分布为：
Figure FDA0002751396190000032
2)更新：引入t+1时刻的观测变量来获得新的概率分布；其中一个观测变量O为{Llon,Llat,Vv}，另一个观测变量B为{Ap,Gp}，则t+1时刻的离散隐层变量{Et,Ct,Et+1,Ct+1}联合分布为：
Figure FDA0002751396190000033
6.根据权利要求1所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S4中最小安全距离模型设计为：
Figure FDA0002751396190000034
av-max＝μg (10)
式子：Smust—最小安全距离，vv—自车车速，av-max—自车最大制动减速度，d0—人车静止时应具有的最小安全距离，g―重力加速度，μ―路面附着力系数。
7.根据权利要求1所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S5中投影灯安装在车头保险杠中间处，利用将灯光投影到车辆行驶前方，用来警示行人处于人车碰撞风险区域。
8.根据权利要求1所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S1-S5可循环执行。
CN202011185788.XA 2020-10-30 2020-10-30 一种辨识高危行人意图的智能汽车主动避撞方法 Active CN112435503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011185788.XA CN112435503B (zh) 2020-10-30 2020-10-30 一种辨识高危行人意图的智能汽车主动避撞方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011185788.XA CN112435503B (zh) 2020-10-30 2020-10-30 一种辨识高危行人意图的智能汽车主动避撞方法

Publications (2)

Publication Number Publication Date
CN112435503A true CN112435503A (zh) 2021-03-02
CN112435503B CN112435503B (zh) 2022-02-15

Family

ID=74696532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011185788.XA Active CN112435503B (zh) 2020-10-30 2020-10-30 一种辨识高危行人意图的智能汽车主动避撞方法

Country Status (1)

Country Link
CN (1) CN112435503B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034908A (zh) * 2021-03-12 2021-06-25 深圳市雷铭科技发展有限公司 基于智慧路灯的交通状况提示方法、电子设备及存储介质
CN113450595A (zh) * 2021-06-30 2021-09-28 江西昌河汽车有限责任公司 一种人车交互的防碰撞预警系统及预警方法
CN113485102A (zh) * 2021-06-22 2021-10-08 西安法士特汽车传动有限公司 一种基于长短期记忆神经网络识别车辆行驶工况的方法
CN113744524A (zh) * 2021-08-16 2021-12-03 武汉理工大学 一种基于车辆间协同计算通信的行人意图预测方法及系统
CN113792655A (zh) * 2021-09-14 2021-12-14 京东鲲鹏(江苏)科技有限公司 一种意图识别方法、装置、电子设备及计算机可读介质
CN114274980A (zh) * 2022-01-27 2022-04-05 中国第一汽车股份有限公司 轨迹控制方法、装置、车辆及存储介质
CN114550297A (zh) * 2022-02-25 2022-05-27 北京拙河科技有限公司 一种行人的意图分析方法及系统
CN116533992A (zh) * 2023-07-05 2023-08-04 南昌工程学院 基于深度强化学习算法的自动泊车路径规划方法及其系统
CN117062280A (zh) * 2023-08-17 2023-11-14 北京美中爱瑞肿瘤医院有限责任公司 一种神经外科自助式手术灯自动跟随系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096803A (zh) * 2010-11-29 2011-06-15 吉林大学 基于机器视觉的行人安全状态识别系统
CN107731009A (zh) * 2017-11-28 2018-02-23 吉林大学 一种适用于无信号灯交叉路口车辆避人、避撞系统及方法
CN108172025A (zh) * 2018-01-30 2018-06-15 东软集团股份有限公司 一种辅助驾驶方法、装置、车载终端及车辆
CN108501804A (zh) * 2018-03-30 2018-09-07 重庆交通大学 基于行人动作预判的碰撞预警系统
CN109117701A (zh) * 2018-06-05 2019-01-01 东南大学 基于图卷积的行人意图识别方法
US20190287401A1 (en) * 2018-03-19 2019-09-19 Derq Inc. Early warning and collision avoidance
CN110910673A (zh) * 2018-09-14 2020-03-24 海信集团有限公司 一种提醒行人碰撞车辆的方法及系统、摄像头、移动终端
US20200293822A1 (en) * 2017-07-05 2020-09-17 Perceptive Automata Inc. System and method of predicting human interaction with vehicles

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096803A (zh) * 2010-11-29 2011-06-15 吉林大学 基于机器视觉的行人安全状态识别系统
US20200293822A1 (en) * 2017-07-05 2020-09-17 Perceptive Automata Inc. System and method of predicting human interaction with vehicles
CN107731009A (zh) * 2017-11-28 2018-02-23 吉林大学 一种适用于无信号灯交叉路口车辆避人、避撞系统及方法
CN108172025A (zh) * 2018-01-30 2018-06-15 东软集团股份有限公司 一种辅助驾驶方法、装置、车载终端及车辆
US20190287401A1 (en) * 2018-03-19 2019-09-19 Derq Inc. Early warning and collision avoidance
CN108501804A (zh) * 2018-03-30 2018-09-07 重庆交通大学 基于行人动作预判的碰撞预警系统
CN109117701A (zh) * 2018-06-05 2019-01-01 东南大学 基于图卷积的行人意图识别方法
CN110910673A (zh) * 2018-09-14 2020-03-24 海信集团有限公司 一种提醒行人碰撞车辆的方法及系统、摄像头、移动终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KOTA NAKATSUBO等: "Detecting unusual pedestrian behavior toward own vehicle for vehicle-to-pedestrian collision avoidance", 《 2010 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
曾令秋等: "一种城市道路场景下行人危险度评估方法", 《湖南大学学报(自然科学版)》 *
李贤: "基于行人意图识别的智能车辆决策研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034908A (zh) * 2021-03-12 2021-06-25 深圳市雷铭科技发展有限公司 基于智慧路灯的交通状况提示方法、电子设备及存储介质
CN113485102A (zh) * 2021-06-22 2021-10-08 西安法士特汽车传动有限公司 一种基于长短期记忆神经网络识别车辆行驶工况的方法
CN113450595A (zh) * 2021-06-30 2021-09-28 江西昌河汽车有限责任公司 一种人车交互的防碰撞预警系统及预警方法
CN113744524A (zh) * 2021-08-16 2021-12-03 武汉理工大学 一种基于车辆间协同计算通信的行人意图预测方法及系统
CN113792655A (zh) * 2021-09-14 2021-12-14 京东鲲鹏(江苏)科技有限公司 一种意图识别方法、装置、电子设备及计算机可读介质
CN114274980A (zh) * 2022-01-27 2022-04-05 中国第一汽车股份有限公司 轨迹控制方法、装置、车辆及存储介质
CN114550297A (zh) * 2022-02-25 2022-05-27 北京拙河科技有限公司 一种行人的意图分析方法及系统
CN114550297B (zh) * 2022-02-25 2022-09-27 北京拙河科技有限公司 一种行人的意图分析方法及系统
CN116533992A (zh) * 2023-07-05 2023-08-04 南昌工程学院 基于深度强化学习算法的自动泊车路径规划方法及其系统
CN116533992B (zh) * 2023-07-05 2023-09-22 南昌工程学院 基于深度强化学习算法的自动泊车路径规划方法及其系统
CN117062280A (zh) * 2023-08-17 2023-11-14 北京美中爱瑞肿瘤医院有限责任公司 一种神经外科自助式手术灯自动跟随系统
CN117062280B (zh) * 2023-08-17 2024-03-08 北京美中爱瑞肿瘤医院有限责任公司 一种神经外科自助式手术灯自动跟随系统

Also Published As

Publication number Publication date
CN112435503B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN112435503B (zh) 一种辨识高危行人意图的智能汽车主动避撞方法
Gao et al. Trajectory prediction of cyclist based on dynamic Bayesian network and long short-term memory model at unsignalized intersections
US9760806B1 (en) Method and system for vision-centric deep-learning-based road situation analysis
Zhang et al. Modeling pedestrians’ near-accident events at signalized intersections using gated recurrent unit (GRU)
CN106428000A (zh) 一种车辆速度控制装置和方法
Kumagai et al. Prediction of driving behavior through probabilistic inference
CN111860269B (zh) 一种多特征融合的串联rnn结构及行人预测方法
CN114120439B (zh) 一种智能汽车自车视角下的行人意图多任务识别及轨迹预测方法
Jeong et al. Bidirectional long shot-term memory-based interactive motion prediction of cut-in vehicles in urban environments
CN114371707B (zh) 考虑人车交互的行人轨迹预测及主动避撞方法及系统
Hashimoto et al. Probability estimation for pedestrian crossing intention at signalized crosswalks
Zhang et al. A framework for turning behavior classification at intersections using 3D LIDAR
Xue et al. Crossing-road pedestrian trajectory prediction via encoder-decoder lstm
CN114446046A (zh) 一种基于lstm模型的弱势交通参与者轨迹预测方法
Gao et al. Discretionary cut-in driving behavior risk assessment based on naturalistic driving data
CN111160089B (zh) 一种基于不同车辆类型的轨迹预测系统及方法
Aeberhard et al. Object classification in a high-level sensor data fusion architecture for advanced driver assistance systems
Anil et al. Driver behavior analysis using K-means algorithm
CN116501820A (zh) 车辆轨迹预测方法、装置、设备及存储介质
Zhang et al. Prediction of Pedestrian Risky Level for Intelligent Vehicles
Bieshaar et al. Cyclist Motion State Forecasting-Going beyond Detection
Raj et al. Lane Prediction by Autonomous Vehicle in Highway Traffic using Artificial Neural Networks
Kumar et al. Road Traffic Prediction and Optimal Alternate Path Selection Using HBI-LSTM and HV-ABC
Muduli et al. Predicting Pedestrian Movement in Unsignalized Crossings: A Contextual Cue-Based Approach
Zhang et al. Overtaking Behavior Prediction of Rear Vehicle via LSTM Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant