CN118025093A - 一种基于乘客状态识别的公交车自动紧急制动系统及方法 - Google Patents

一种基于乘客状态识别的公交车自动紧急制动系统及方法 Download PDF

Info

Publication number
CN118025093A
CN118025093A CN202410433653.2A CN202410433653A CN118025093A CN 118025093 A CN118025093 A CN 118025093A CN 202410433653 A CN202410433653 A CN 202410433653A CN 118025093 A CN118025093 A CN 118025093A
Authority
CN
China
Prior art keywords
vehicle
passenger
passengers
braking
deceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410433653.2A
Other languages
English (en)
Other versions
CN118025093B (zh
Inventor
薛鹏宇
张宸硕
王洪亮
皮大伟
王显会
王佳宁
孙晓旺
王霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202410433653.2A priority Critical patent/CN118025093B/zh
Publication of CN118025093A publication Critical patent/CN118025093A/zh
Application granted granted Critical
Publication of CN118025093B publication Critical patent/CN118025093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本发明属于自动紧急制动领域,具体涉及一种基于乘客状态识别的公交车自动紧急制动系统及方法。系统包括前方障碍感知设备、车速感知设备、安全时间计算模型、车内乘客状态识别摄像头、乘客状态识别模块、紧急制动决策分析模块、多级报警模块和紧急制动执行模块;本发明增加了识别车内乘客状态的摄像头,建立了综合考虑车外环境与车内乘客状态的公交车紧急制动系统控制架构;通过识别车内乘客姿态和类型,计算出车内乘员危险指数,然后根据车内乘员危险指数计算出合适的目标制动减速度,使车辆以安全的制动减速度制动,避免车内乘客在紧急制动时因惯性发生跌倒等事故,有效保障乘客乘车安全。

Description

一种基于乘客状态识别的公交车自动紧急制动系统及方法
技术领域
本发明属于自动紧急制动领域,具体涉及一种基于乘客状态识别的公交车自动紧急制动系统及方法。
背景技术
随着汽车保有量不断提高,道路上的车辆交通事故也在逐年增加。为了降低车辆发生交通事故的概率,各种汽车主动安全技术已经成为车辆领域研究的热点。对于公交车等营运客车,由于在事故发生时会造成更大的经济损失和人员伤亡,自动紧急制动系统(Automatic Emergency Brake System,AEB)已经成为了必不可少的主动安全技术之一,它能够很大程度上避免或缓解追尾事故的发生,保护驾乘人员安全。我国法规已经强制要求车长大于11米的公路、旅游客车新车型装备AEB。
公交车上搭载的AEB系统一般由感知层、控制层以及执行层组成,主要通过毫米波雷达和视觉摄像头对外界环境信息进行检测,得到本车相对于前车辆、障碍物和行人的距离信息、速度信息等,将其作为输入信号传输到控制器当中,通过安全时间模型或安全距离模型得到相应的安全阈值。若小于预警的安全阈值,则会提醒驾驶员车辆当前处于危险状态,驾驶员应尽快判断路况,选择是否踩下刹车;若达到系统介入制动的阈值,且驾驶员一段时间内尚未对车辆执行任何操作,车辆将启动紧急制动功能,在较短的时间内实现车辆减速制动,由此尽可能避免碰撞事故或者降低危害性。
中国专利CN202211172610.0公开了一种公交智能防碰撞系统及方法,其系统包括:周边范围监控模块、障碍物识别模块、报警提醒模块和决策控制模块,该系统基于车辆模拟碰撞数据和历史碰撞数据,设置碰撞风险等级区间和碰撞风险等级类型;利用车辆与前方障碍物之间的距离、相对速度,计算制动减速度;决策控制模块根据碰撞风险和制动减速度控制车辆紧急制动;该系统设置碰撞风险等级和计算制动减速度时并未考虑车内乘客。
目前应用于公交车等商用车上的AEB技术尚存在一些问题,包括:
公交车AEB系统的感知模块往往只包括毫米波雷达和视觉摄像头,其仅根据车辆外部的交通信息以及车辆自身的信息,来计算制动减速度以及是否进行紧急制动;当进行紧急制动时,如果车辆以较大的减速度制动,则将导致站立在车内的乘客由于惯性而跌倒,或者与车内部件或其他乘客发生碰撞,从而影响乘客自身的生命安全。
发明内容
本发明的目的在于提供一种基于乘客状态识别的公交车自动紧急制动系统及方法,通过对乘客的状态进行识别来进行紧急制动决策,保障公交车紧急制动时乘客的安全。
实现本发明目的的技术解决方案为:一种基于乘客状态识别的公交车自动紧急制动系统,包括前方障碍感知设备,车速感知设备,安全时间计算模型,车内乘客状态识别摄像头,乘客状态识别模块,紧急制动决策分析模块,多级报警模块和紧急制动执行模块;
前方障碍感知设备和车速感知设备用于获取车辆与前方障碍物的相对距离D、相对车速vr、相对加速度ar、车辆加速度a;
安全时间计算模型根据车辆与前方障碍物的相对车速vr、相对加速度ar的不同情况,计算碰撞时间TTC,然后将碰撞时间TTC发送给多级报警模块;
车内乘客状态识别摄像头采集车厢内各个位置的视频信息,将视频信息发送给乘客状态识别模块;
乘客状态识别模块通过检测视频信息,识别车厢内乘客的状态,然后将识别到的乘客状态信息发送给紧急制动决策分析模块;
紧急制动决策分析模块根据乘客状态信息,计算出车内乘员危险指数R,从而计算出目标制动减速度aexp、第一级阈值tw、第二级阈值tb,将目标制动减速度aexp发送给紧急制动执行模块,将第一级阈值tw和第二级阈值tb发送给多级报警模块;
多级报警模块将车辆与前方障碍物的碰撞时间TTC与各级预警阈值进行比较,判断系统应该何时报警,何时介入制动;介入制动时,将制动指令发送给紧急制动执行模块,从而使车辆进行紧急制动。
进一步的,前方障碍感知设备包括毫米波雷达和视觉摄像头;车速感知设备包括车速传感器。
进一步的,安全时间计算模型通过如下公式计算碰撞时间TTC:
进一步的,乘客状态识别模块进行乘客位置检测、人体姿态估计、乘客类型识别,得到乘客状态信息;
乘客状态信息包括:车上共有N名乘客,将每个乘客ri与一个坐标点(pi, qi)对应,其中pi的值对应乘客姿态,坐姿、站立、走动三种姿态的pi分别为0、1、2;qi的值对应乘客类型,普通乘客的qi值为0,弱势乘客的qi值为1,根据识别到的每位乘客的姿态与类型,得到1至N名乘客所对应的坐标(pi, qi)并输出。
进一步的,紧急制动决策分析模块根据下式计算出车内乘员危险指数R:
式中α、β为权重系数。
进一步的,紧急制动决策分析模块根据下式计算出目标制动减速度aexp
式中,ab为基础制动减速度;
紧急制动决策分析模块计算第二级阈值tb的公式如下:
式中ts为预留安全时间;af为前方障碍物加速度;
紧急制动决策分析模块计算第一级阈值tw的公式如下:
进一步的,多级报警模块共分为三级:
若TTC>tw,则系统认为此时车辆与前方障碍物距离处于安全范围,不进行作动;
若tb <TTC<tw,则系统认为车辆与前方障碍物已经处于危险距离,开始对驾驶员进行视觉听觉预警,提醒驾驶员减速;
若TTC<tb,则认为已经需要主动制动,系统立即开始介入制动过程,使车辆开始以大小为aexp的制动减速度进行主动减速。
一种利用上述的公交车自动紧急制动系统进行制动的方法,包括如下步骤:
步骤(1):车辆在行驶时,前方障碍感知设备和车速感知设备获取车辆前方的道路交通信息,包括车辆与前方障碍物的相对距离D、相对车速vr、相对加速度ar;车速感知设备用于获取车辆本身的实时速度,从而得到车辆加速度a;两种感知设备将获取的相对距离D、相对车速vr、相对加速度ar和车辆加速度a传递给安全时间计算模型和紧急制动决策分析模块;
步骤(2):安全时间计算模型考虑车辆与前方障碍物的相对加速度ar的不同情况,计算碰撞时间TTC,然后将碰撞时间TTC发送给多级报警模块;
步骤(3):车内乘客状态识别摄像头,根据公交车车厢内的空间信息,划分前中后三个区域,在各区域安装摄像头,采集车厢内各个位置的视频信息,将视频信息发送给乘客状态识别模块,利用视频信息对车厢内乘客的状态进行识别;
步骤(4):乘客状态识别模块利用视频信息对车厢内乘客的状态进行识别,识别内容包括人体姿态和乘客类型,通过标注人体关键点构建人体骨架,来估计人体姿态,乘员的姿态可分为坐姿、站姿和行走三种,通过图像分类识别来判断乘客类型,乘客类型可分为普通乘客、老人、儿童和孕妇,识别车内乘客状态后,将乘客状态信息发送给紧急制动决策分析模块;
步骤(5):紧急制动决策分析模块计算目标制动减速度aexp、第一级阈值tw和第二级阈值tb;首先根据乘客状态识别模块得到的乘客状态信息,计算出车内乘员危险指数R,然后根据危险指数R计算目标制动减速度aexp、第一级阈值tw和第二级阈值tb;计算完成后,将目标制动减速度aexp发送给紧急制动执行模块,将第一级阈值tw和第二级阈值tb发送给多级报警模块;
步骤(6):多级报警模块将车辆与前方障碍物的碰撞时间TTC与第一级阈值tw和第二级阈值tb进行比较;若TTC>tw,则系统认为此时车辆与前方障碍物距离处于安全范围,不进行作动;若tb <TTC<tw,则系统对驾驶员进行视觉听觉预警,提醒驾驶员减速;若TTC<tb,则系统介入制动过程,并开始以大小为aexp的制动减速度进行主动减速;
步骤(7):紧急制动执行模块根据目标制动减速度aexp和车辆加速度a计算出车辆所需制动压力P,并按照制动压力P控制制动器,使车辆达到目标制动减速度。
进一步的,步骤(4)具体包括如下步骤:
步骤(41)乘客位置检测:摄像头在采集到视频之后,首先分割为若干帧图像序列,使用YOLOv3算法对图像序列进行检测,将检测类别设定为人,从而得到乘客的位置信息以及乘客数量N并输出;
步骤(42)人体姿态估计:获取乘客的位置信息,然后采用AlphaPose算法进行人体姿态估计,通过估计视频信息中所检测到的每个人体区域的姿态,提取左右肩、左右髋部、左右膝盖、左右脚踝的关键点,由这些关键节点和骨架线构成的骨架图来反映乘客人体的姿态特征信息,根据车厢内摄像头的安装位置,构建不同姿态的人体骨架识别特征,以此来识别乘客的三种姿态,即坐姿、站姿和走动对每个位置的乘客进行姿态估计,统计各个位置不同姿态的乘客并输出;
步骤(43)乘客类型识别:获取乘客的位置信息后,通过图像分类识别来判断乘客类型,乘客类型可分为普通乘客、老人、儿童和孕妇,使用GoogleNet模型,模型对每个位置的乘客进行类型识别,判断每位乘客属于普通乘客、老人、儿童和孕妇中的哪一类,分类完成后,统计各个位置不同类型的乘客并输出;
步骤(44)状态识别结果:进行乘客位置检测时,识别到车上共有N名乘客,将每个乘客ri与一个坐标点(pi, qi)对应,其中pi的值对应乘客姿态,坐姿、站立、走动三种姿态的pi分别为0、1、2;qi的值对应乘客类型,普通乘客的qi值为0,弱势乘客的qi值为1,根据识别到的每位乘客的姿态与类型,得到1至N名乘客所对应的坐标(pi, qi)并输出。
进一步的,步骤(7)中,紧急制动执行模块根据目标减速度aexp和车辆加速度a计算出车辆所需制动压力P,并按照制动压力P来控制制动器,使车辆达到目标减速度,通过计算车辆加速度a和目标制动减速度aexp的误差值e,使用PID控制模型实时校正车辆减速度控制量,得到车辆控制减速度acon,然后由车辆逆制动系统模型计算出车辆所需制动压力P,从而实现紧急制动
本发明与现有技术相比,其显著优点在于:
本发明在传统紧急制动系统的基础上,增加了识别车内乘客状态的摄像头,建立了综合考虑车外环境与车内乘客状态的紧急制动系统控制架构;
通过乘客状态识别模块,系统可以获取车内乘客各种姿态和类型,在考虑车外环境信息的基础上,兼顾车内乘客,根据车内乘员危险指数计算出更安全的目标制动减速度和紧急制动介入时间,危险指数越高,目标制动减速度越小;通过紧急制动决策分析模块,系统实时计算更新目标制动减速度和紧急制动介入时间,避免车内乘客在紧急制动时由于减速度过大发生跌倒等事故,有效保障弱势乘客乘车安全。
附图说明
图1为本发明公交车自动紧急制动系统示意图。
图2为本发明车内乘客状态识别模块示意图。
图3为本发明人体骨架关键点标注图。
图4为本发明多级报警模块流程图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
请参阅附图1-4,本发明所述一种基于乘客状态识别的公交车自动紧急制动控制方法,包括:前方障碍感知设备、车速感知设备、安全时间计算模型、车内乘客状态识别摄像头、乘客状态识别模块、紧急制动决策分析模块、多级报警模块和紧急制动执行模块。
参阅附图1,本发明所述的自动紧急制动系统的整体运行步骤为:前方障碍感知设备和车速感知设备用于获取车辆与前方障碍物的相对距离D、相对车速vr、相对加速度ar、车辆加速度a,然后将获取的相对距离D、相对车速vr、相对加速度ar、车辆加速度a传递给安全时间计算模型和紧急制动决策分析模块;安全时间计算模型根据车辆与前方障碍物的相对车速vr、相对加速度ar的不同情况,计算碰撞时间TTC,然后将碰撞时间TTC发送给多级报警模块;车内乘客状态识别摄像头,采集车厢内各个位置的视频信息,将视频信息发送给乘客状态识别模块;乘客状态识别模块通过检测视频信息,识别车厢内乘客的状态,然后将识别到的乘客状态信息发送给紧急制动决策分析模块;紧急制动决策分析模块,根据乘客状态信息,计算出车内乘员危险指数R,从而计算出目标制动减速度aexp、第一级阈值tw、第二级阈值tb;多级报警模块将车辆与前方障碍物的碰撞时间TTC与各级预警阈值进行比较,判断系统应该何时报警,何时介入制动;介入制动时,将制动指令发送给紧急制动执行模块,从而使车辆进行紧急制动。具体的控制方法如下:
(1)所述前方障碍感知设备包括毫米波雷达和视觉摄像头,可以测量车辆与前方障碍物的相对距离和相对车速,工作时,将毫米波雷达和视觉摄像头感知的数据进行融合,然后输出融合后的相对距离D和相对车速vr,通过计算,可以得到相对加速度ar;所述车速感知设备包括车速传感器,用于检测公交车本身的行驶速度,通过计算,可以得到车辆加速度a;最终将获取的相对距离D、相对车速vr、相对加速度ar、车辆加速度a传递给安全时间计算模型和紧急制动决策分析模块;
(2)所述安全时间计算模型用于计算车辆与前方障碍物的碰撞时间TTC,计算碰撞时间TTC时将车辆与前方障碍物的相对车速vr、相对加速度ar分为四种不同情况,如下式所示:
安全时间计算模型计算出各情况下的碰撞时间TTC后,将碰撞时间TTC发送给多级报警模块,用于判断是否报警或介入制动。
(3)所述车内乘客状态识别摄像头,在安装时,根据公交车车厢内的空间信息,将车厢划分为前中后三个区域,在车厢各区域安装摄像头,摄像头角度固定,保证能覆盖全部车厢。各摄像头联合采集车厢内各个区域的视频信息,将视频信息发送给乘客状态识别模块,利用视频信息对车厢内乘客的状态进行识别;
(4)参阅附图2,乘客状态识别模块通过检测车内摄像头实时采集的视频信息,识别车厢内乘客的状态,识别过程中首先检测车内乘客位置,然后在此基础上识别乘客状态,识别内容包括人体姿态估计和乘客类型识别两方面。具体流程如下:
乘客位置检测:摄像头在采集到视频之后,首先将其分割为若干帧的图像序列,使用YOLOv3算法对图像序列进行检测,将检测类别设定为人,从而得到乘客的位置信息以及乘客数量N并输出。
人体姿态估计:获取乘客的位置信息后,采用AlphaPose算法进行人体姿态估计,单独估计视频中所检测到的每个人体区域的姿态,提取人体骨架关键点,包括头部颈部、左右肩、左右手肘、左右手腕、左右髋部、左右膝盖、左右脚踝等,由这些关键节点和骨架线构成的骨架图来反映乘客人体的姿态特征信息,以此来识别乘客的三种姿态,即坐姿、站姿和走动。分析三种乘客姿势特征,可以看出姿态上的明显不同,区分较为容易。参阅附图3,因姿态识别与上肢关系较小,可以对人体骨架进行简化,仅提取左右肩、左右髋部、左右膝盖、左右脚踝的关键点,根据车厢内摄像头的安装位置,构建不同姿态的人体骨架识别特征。工作时,对每个位置的乘客进行姿态估计,统计各个位置不同姿态的乘客并输出。
乘客类型识别:获取乘客的位置信息后,通过图像分类识别来判断乘客类型,乘客类型可分为普通乘客、老人、儿童和孕妇,使用GoogleNet模型,使用大量公交车车内监控视频作为训练集,来对模型进行训练,训练的过程中,模型逐步学习如何准确地识别乘客类型。工作时,模型对每个位置的乘客进行类型识别,判断每位乘客属于普通乘客、老人、儿童和孕妇中的哪一类,分类完成后,统计各个位置不同类型的乘客并输出。
状态识别结果:进行乘客位置检测时,识别到车上共有N名乘客,将每个乘客ri与一个坐标点(pi, qi)对应,其中pi的值对应乘客姿态,坐姿、站立、走动三种姿态的pi分别为0、1、2;qi的值对应乘客类型,普通乘客的qi值为0,弱势乘客(老人、儿童、孕妇)的qi值为1,根据识别到的每位乘客的姿态与类型,可以得到1至N名乘客所对应的坐标(pi, qi)并输出。
(5)紧急制动决策分析模块首先根据乘客状态识别模块得到的乘客状态信息,计算出车内乘员危险指数R。然后根据危险指数R计算目标制动减速度aexp、第一级阈值tw和第二级阈值tb,危险指数R越大表明车内乘员越容易发生危险,需要更高的阈值和更低的目标制动减速度aexp;危险指数R越小表明车内乘员不容易发生危险,允许有更低的阈值和更高的目标制动减速度aexp。具体计算方法如下:
车内乘员危险指数R表示乘客在紧急制动时受到危险的可能性大小,由乘客的姿态和乘客的类型决定,当车内站立、走动的乘客以及弱势乘客的占比更大时,危险指数R也更大,危险指数R的计算公式如下:
式中α、β为权重系数,由试验选定。
目标制动减速度aexp是紧急制动时所期望的车辆减速度,要求能够保证车内乘客的安全,防止因减速度过大导致的惯性造成乘员伤害,目标制动减速度aexp的大小由基础制动减速度ab以及车内乘员危险指数R决定。其中基础制动减速度ab由试验选定,选定标准为,当公交车制动时,能够保证车上站立的乘客不因惯性而摔倒的最大减速度;危险指数R由上述公式计算得出,R值越大,系统允许的目标制动减速度aexp越小。目标制动减速度aexp的计算公式如下:
第二级阈值tb为系统介入制动时间,要求能够保证车辆在未来的系统介入制动时间tb内,以目标制动减速度aexp刹停,且未与前方障碍物发生碰撞,第二级阈值tb计算公式如下:
式中ts为预留安全时间,用于保证车辆与前方障碍物不发生碰撞;af为前方障碍物加速度,根据相对加速度ar和车辆加速度a计算得到。
第一级阈值tw为系统警报时间,在系统警报时间tw至系统介入制动时间tb内,系统将发出危险报警,提醒驾驶员即将发生的危险情况,第一级阈值tw计算公式如下:
计算完成后,将目标制动减速度aexp发送给紧急制动执行模块,将第一级阈值tw和第二级阈值tb发送给多级报警模块。
(6)参阅附图4,所述多级报警模块将车辆与前方障碍物的碰撞时间TTC与第一级阈值tw、第二级阈值tb进行比较,判断车辆是否处于危险情况,从而决定系统是否报警或者介入制动。多级报警模块共分为三级:
若TTC>tw,则系统认为此时车辆与前方障碍物距离处于安全范围,不进行作动;
若tb <TTC<tw,则系统认为车辆与前方障碍物已经处于危险距离,开始对驾驶员进行视觉听觉预警,提醒驾驶员减速;
若TTC<tb,则认为已经需要主动制动,系统立即开始介入制动过程,使车辆开始以大小为aexp的制动减速度进行主动减速。
(7)所述紧急制动执行模块,根据目标制动减速度aexp和车辆加速度a计算出车辆所需制动压力P,并按照制动压力P来控制制动器,使车辆达到目标减速度。具体的,通过计算车辆加速度a和目标制动减速度aexp的误差值e,使用PID控制模型实时校正车辆减速度控制量,消除车辆因自身为线性特性所造成的控制上的误差,从而得车辆控制减速度acon。然后将车辆控制减速度acon发送给车辆逆制动系统模型,由该模型计算出车辆所需制动压力P,从而实现紧急制动。
在整个AEB系统触发过程中,上述过程不断运行,车辆与障碍物相对距离D、相对车速vr、相对加速度ar、第一级阈值tw、第二级阈值tb、碰撞时间TTC、目标制动减速度aexp等信息不断更新调整,直至系统认为车辆处于安全状态或停车。

Claims (10)

1.一种基于乘客状态识别的公交车自动紧急制动系统,其特征在于,包括前方障碍感知设备,车速感知设备,安全时间计算模型,车内乘客状态识别摄像头,乘客状态识别模块,紧急制动决策分析模块,多级报警模块和紧急制动执行模块;
前方障碍感知设备和车速感知设备用于获取车辆与前方障碍物的相对距离D、相对车速vr、相对加速度ar、车辆加速度a;
安全时间计算模型根据车辆与前方障碍物的相对车速vr、相对加速度ar的不同情况,计算碰撞时间TTC,然后将碰撞时间TTC发送给多级报警模块;
车内乘客状态识别摄像头采集车厢内各个位置的视频信息,将视频信息发送给乘客状态识别模块;
乘客状态识别模块通过检测视频信息,识别车厢内乘客的状态,然后将识别到的乘客状态信息发送给紧急制动决策分析模块;
紧急制动决策分析模块根据乘客状态信息,计算出车内乘员危险指数R,从而计算出目标制动减速度aexp、第一级阈值tw、第二级阈值tb,将目标制动减速度aexp发送给紧急制动执行模块,将第一级阈值tw和第二级阈值tb发送给多级报警模块;
多级报警模块将车辆与前方障碍物的碰撞时间TTC与各级预警阈值进行比较,判断系统应该何时报警,何时介入制动;介入制动时,将制动指令发送给紧急制动执行模块,从而使车辆进行紧急制动。
2.根据权利要求1所述的公交车自动紧急制动系统,其特征在于,前方障碍感知设备包括毫米波雷达和视觉摄像头;车速感知设备包括车速传感器。
3.根据权利要求2所述的公交车自动紧急制动系统,其特征在于,安全时间计算模型通过如下公式计算碰撞时间TTC:所示:
4.根据权利要求3所述的公交车自动紧急制动系统,其特征在于,乘客状态识别模块进行乘客位置检测、人体姿态估计、乘客类型识别,得到乘客状态信息;
乘客状态信息包括:车上共有N名乘客,将每个乘客ri与一个坐标点(pi, qi)对应,其中pi的值对应乘客姿态,坐姿、站立、走动三种姿态的pi分别为0、1、2;qi的值对应乘客类型,普通乘客的qi值为0,弱势乘客的qi值为1,根据识别到的每位乘客的姿态与类型,得到1至N名乘客所对应的坐标(pi, qi)并输出。
5.根据权利要求4所述的公交车自动紧急制动系统,其特征在于,紧急制动决策分析模块根据下式计算出车内乘员危险指数R:
式中α、β为权重系数。
6.根据权利要求5所述的公交车自动紧急制动系统,其特征在于,紧急制动决策分析模块根据下式计算出目标制动减速度aexp
式中,ab为基础制动减速度;
紧急制动决策分析模块计算第二级阈值tb的公式如下:
式中ts为预留安全时间;af为前方障碍物加速度;
紧急制动决策分析模块计算第一级阈值tw的公式如下:
7.根据权利要求6所述的公交车自动紧急制动系统,其特征在于,多级报警模块共分为三级:
若TTC>tw,则系统认为此时车辆与前方障碍物距离处于安全范围,不进行作动;
若tb <TTC<tw,则系统认为车辆与前方障碍物已经处于危险距离,开始对驾驶员进行视觉听觉预警,提醒驾驶员减速;
若TTC<tb,则认为已经需要主动制动,系统立即开始介入制动过程,使车辆开始以大小为aexp的制动减速度进行主动减速。
8.一种利用权利要求7所述的公交车自动紧急制动系统进行制动的方法,其特征在于,包括如下步骤:
步骤(1):车辆在行驶时,前方障碍感知设备和车速感知设备获取车辆前方的道路交通信息,包括车辆与前方障碍物的相对距离D、相对车速vr、相对加速度ar;车速感知设备用于获取车辆本身的实时速度,从而得到车辆加速度a;两种感知设备将获取的相对距离D、相对车速vr、相对加速度ar和车辆加速度a传递给安全时间计算模型和紧急制动决策分析模块;
步骤(2):安全时间计算模型考虑车辆与前方障碍物的相对加速度ar的不同情况,计算碰撞时间TTC,然后将碰撞时间TTC发送给多级报警模块;
步骤(3):车内乘客状态识别摄像头,根据公交车车厢内的空间信息,划分前中后三个区域,在各区域安装摄像头,采集车厢内各个位置的视频信息,将视频信息发送给乘客状态识别模块,利用视频信息对车厢内乘客的状态进行识别;
步骤(4):乘客状态识别模块利用视频信息对车厢内乘客的状态进行识别,识别内容包括人体姿态和乘客类型,通过标注人体关键点构建人体骨架,来估计人体姿态,乘员的姿态可分为坐姿、站姿和行走三种,通过图像分类识别来判断乘客类型,乘客类型可分为普通乘客、老人、儿童和孕妇,识别车内乘客状态后,将乘客状态信息发送给紧急制动决策分析模块;
步骤(5):紧急制动决策分析模块计算目标制动减速度aexp、第一级阈值tw和第二级阈值tb;首先根据乘客状态识别模块得到的乘客状态信息,计算出车内乘员危险指数R,然后根据危险指数R计算目标制动减速度aexp、第一级阈值tw和第二级阈值tb;计算完成后,将目标制动减速度aexp发送给紧急制动执行模块,将第一级阈值tw和第二级阈值tb发送给多级报警模块;
步骤(6):多级报警模块将车辆与前方障碍物的碰撞时间TTC与第一级阈值tw和第二级阈值tb进行比较;若TTC>tw,则系统认为此时车辆与前方障碍物距离处于安全范围,不进行作动;若tb <TTC<tw,则系统对驾驶员进行视觉听觉预警,提醒驾驶员减速;若TTC<tb,则系统介入制动过程,并开始以大小为aexp的制动减速度进行主动减速;
步骤(7):紧急制动执行模块根据目标制动减速度aexp和车辆加速度a计算出车辆所需制动压力P,并按照制动压力P控制制动器,使车辆达到目标制动减速度。
9.根据权利要求8所述的方法,其特征在于,步骤(4)具体包括如下步骤:
步骤(41)乘客位置检测:摄像头在采集到视频之后,首先分割为若干帧图像序列,使用YOLOv3算法对图像序列进行检测,将检测类别设定为人,从而得到乘客的位置信息以及乘客数量N并输出;
步骤(42)人体姿态估计:获取乘客的位置信息,然后采用AlphaPose算法进行人体姿态估计,通过估计视频信息中所检测到的每个人体区域的姿态,提取左右肩、左右髋部、左右膝盖、左右脚踝的关键点,由这些关键节点和骨架线构成的骨架图来反映乘客人体的姿态特征信息,根据车厢内摄像头的安装位置,构建不同姿态的人体骨架识别特征,以此来识别乘客的三种姿态,即坐姿、站姿和走动对每个位置的乘客进行姿态估计,统计各个位置不同姿态的乘客并输出;
步骤(43)乘客类型识别:获取乘客的位置信息后,通过图像分类识别来判断乘客类型,乘客类型可分为普通乘客、老人、儿童和孕妇,使用GoogleNet模型,模型对每个位置的乘客进行类型识别,判断每位乘客属于普通乘客、老人、儿童和孕妇中的哪一类,分类完成后,统计各个位置不同类型的乘客并输出;
步骤(44)状态识别结果:进行乘客位置检测时,识别到车上共有N名乘客,将每个乘客ri与一个坐标点(pi, qi)对应,其中pi的值对应乘客姿态,坐姿、站立、走动三种姿态的pi分别为0、1、2;qi的值对应乘客类型,普通乘客的qi值为0,弱势乘客的qi值为1,根据识别到的每位乘客的姿态与类型,得到1至N名乘客所对应的坐标(pi, qi)并输出。
10.根据权利要求9所述的方法,其特征在于,步骤(7)中,紧急制动执行模块根据目标减速度aexp和车辆加速度a计算出车辆所需制动压力P,并按照制动压力P来控制制动器,使车辆达到目标减速度,通过计算车辆加速度a和目标制动减速度aexp的误差值e,使用PID控制模型实时校正车辆减速度控制量,得到车辆控制减速度acon,然后由车辆逆制动系统模型计算出车辆所需制动压力P,从而实现紧急制动。
CN202410433653.2A 2024-04-11 2024-04-11 一种基于乘客状态识别的公交车自动紧急制动系统及方法 Active CN118025093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410433653.2A CN118025093B (zh) 2024-04-11 2024-04-11 一种基于乘客状态识别的公交车自动紧急制动系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410433653.2A CN118025093B (zh) 2024-04-11 2024-04-11 一种基于乘客状态识别的公交车自动紧急制动系统及方法

Publications (2)

Publication Number Publication Date
CN118025093A true CN118025093A (zh) 2024-05-14
CN118025093B CN118025093B (zh) 2024-06-11

Family

ID=90989966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410433653.2A Active CN118025093B (zh) 2024-04-11 2024-04-11 一种基于乘客状态识别的公交车自动紧急制动系统及方法

Country Status (1)

Country Link
CN (1) CN118025093B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919079A (zh) * 2015-12-24 2017-07-04 北京奇虎科技有限公司 一种公交车紧急制动的方法及系统
CN110341594A (zh) * 2019-06-21 2019-10-18 广州浩宁智能设备有限公司 一种客车乘员安全态势监控系统及方法
CN112622892A (zh) * 2020-12-14 2021-04-09 深圳技术大学 基于人脸和肢体姿态识别的紧急制动方法及系统
CN112906515A (zh) * 2021-02-03 2021-06-04 珠海研果科技有限公司 车内异常行为识别方法、系统、电子设备及存储介质
CN114475541A (zh) * 2021-12-23 2022-05-13 南京理工大学 一种考虑乘客安全的自动紧急制动方法
US20230182696A1 (en) * 2021-12-15 2023-06-15 Hyundai Motor Company Braking control system and method for autonomous vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919079A (zh) * 2015-12-24 2017-07-04 北京奇虎科技有限公司 一种公交车紧急制动的方法及系统
CN110341594A (zh) * 2019-06-21 2019-10-18 广州浩宁智能设备有限公司 一种客车乘员安全态势监控系统及方法
CN112622892A (zh) * 2020-12-14 2021-04-09 深圳技术大学 基于人脸和肢体姿态识别的紧急制动方法及系统
CN112906515A (zh) * 2021-02-03 2021-06-04 珠海研果科技有限公司 车内异常行为识别方法、系统、电子设备及存储介质
US20230182696A1 (en) * 2021-12-15 2023-06-15 Hyundai Motor Company Braking control system and method for autonomous vehicle
CN114475541A (zh) * 2021-12-23 2022-05-13 南京理工大学 一种考虑乘客安全的自动紧急制动方法

Also Published As

Publication number Publication date
CN118025093B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
CN107346612B (zh) 一种基于车联网的车辆防碰撞方法和系统
US10332401B2 (en) Running vehicle alerting system and method
CN106530831A (zh) 一种高威胁车辆监测预警系统及方法
CN103080953B (zh) 用于加速的物体检测和/或加速的物体属性检测的方法和系统及所述方法的用途
CN102745194B (zh) 一种高速公路汽车防追尾前车的自适应报警方法
CN104114423B (zh) 用于测定车辆的紧急制动状况的方法
CN109910879B (zh) 一种结合安全距离与碰撞时间的车辆安全防撞控制方法
CN110316198A (zh) 一种用于高速公路提速的安全保障系统及运行方法
CN106240458A (zh) 一种基于车载双目相机的车辆前方碰撞预警方法
CN108447304A (zh) 基于车路协同的施工道路行人车辆避撞预警系统及方法
CN104210489A (zh) 车路协同环境下车辆与行人碰撞规避方法与系统
CN107139919A (zh) 用于车辆防追尾预警的自保护方法、系统及车辆
CN104494550A (zh) 一种车辆主动避撞装置及避撞距离的计算方法
CN110901385B (zh) 一种基于驾驶员疲劳状态的主动限速方法
CN109671299A (zh) 一种基于路口摄像探头对行人危险预警的系统及方法
CN107344552A (zh) 动态监测全方位汽车防撞预警系统
GB2528477A (en) Accident severity estimator for a vehicle
CN110085042A (zh) 一种基于信息融合的车辆驾驶预警系统及方法
CN105905028A (zh) 一种纯电动车的行人警示系统和方法
CN106932806A (zh) 一种基于北斗卫星的山区弯道车辆防撞报警方法及系统
CN113112865B (zh) 一种区域化车辆协同预警避险的交互系统及方法
CN106383918A (zh) 一种辨别紧急制动行为是否合理的系统及辨别方法
CN207106492U (zh) 动态监测全方位汽车防撞预警系统
CN109305125A (zh) 一种安全开车门的控制系统和方法
CN206961331U (zh) 一种高威胁车辆监测预警系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant