CN111605505B - 基于深度学习的主动式气囊拉带装置及其控制方法 - Google Patents

基于深度学习的主动式气囊拉带装置及其控制方法 Download PDF

Info

Publication number
CN111605505B
CN111605505B CN202010115141.3A CN202010115141A CN111605505B CN 111605505 B CN111605505 B CN 111605505B CN 202010115141 A CN202010115141 A CN 202010115141A CN 111605505 B CN111605505 B CN 111605505B
Authority
CN
China
Prior art keywords
network
drawstring
winding drum
child passenger
passenger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010115141.3A
Other languages
English (en)
Other versions
CN111605505A (zh
Inventor
洪亮
刘刚
杜睿
李思远
王子康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202010115141.3A priority Critical patent/CN111605505B/zh
Publication of CN111605505A publication Critical patent/CN111605505A/zh
Application granted granted Critical
Publication of CN111605505B publication Critical patent/CN111605505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B60R21/18—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags the inflatable member formed as a belt or harness or combined with a belt or harness arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B60R21/20—Arrangements for storing inflatable members in their non-use or deflated condition; Arrangement or mounting of air bag modules or components
    • B60R21/207—Arrangements for storing inflatable members in their non-use or deflated condition; Arrangement or mounting of air bag modules or components in vehicle seats
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01204—Actuation parameters of safety arrangents
    • B60R2021/01211—Expansion of air bags
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4866—Displaying or indicating arrangements thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Air Bags (AREA)

Abstract

本发明公开了基于深度学习的主动式气囊拉带装置及其控制方法，气囊回收装置用于回收主动式安全气囊的气囊袋；拉带模块布置在气囊回收装置中；单向电机为卷筒提供动力；转速传感器用于检测单向电机输出轴的旋转圈数；传动轴的两端分别与单向电机的输出轴和卷筒相连，用于将单向电机输出的转矩传递至卷筒，使得单相电机的输出轴与卷筒同步转动；挡板位于卷筒中心，用于隔离卷筒的两端拉带，防止在拉带回收时发生缠绕现象；卷筒固定连接传动轴上，用于在安全气囊泄气时回收拉带；摄像头采集儿童乘员坐姿图像；语音提示模块用于提醒乘员佩戴安全带；主动式安全气囊在校车发生碰撞时，为乘员提供最佳防护；上述装置在ACU内置算法控制下进行相应动作。

Description

基于深度学习的主动式气囊拉带装置及其控制方法
技术领域
本发明属于车辆安全技术领域，具体涉及基于深度学习的主动式气囊拉带装置及其控制方法。
背景技术
当前，我国校车的发展处于初级阶段，主要服务对象是小学生。随着国家对教育资源的重新整合，实行撤点并校，进一步提高了校车的潜在需求量。在当前不断增长的校车需求下，大量不符合相关法律法规的校车不断地涌入市场，导致近些年校车事故频发，对儿童乘员的安全性造成了巨大的潜在危险。据交通等相关部门的抽查发现，小学生在乘坐校车时，常存在未佩戴安全带的现象，同时，由于儿童乘员天性活泼好动，在乘坐校车时，经常出现“离位”现象，使得儿童乘员的伤亡率较高。
安全气囊是乘员约束系统中重要的乘员保护辅助装置，其配合安全带使用，能显著降低乘员死亡率。目前所使用的安全气囊主要是被动触发式的，其在触发的瞬间会产生巨大的冲击力，若将此安全气囊应用于校车，其巨大的冲击力将会对未完全发育的“离位”儿童乘员造成严重的伤害。
发明内容
针对上述情况，本发明提供基于深度学习的主动式气囊拉带装置及其控制方法。
基于深度学习的主动式气囊拉带装置，包括：气囊回收装置、单向电机、电机支架、转速传感器、传动轴、挡板、卷筒、底座、摄像头、语音提示模块、主动式安全气囊、以及拉带模块。所述气囊回收装置安装在座椅靠背中，用于回收主动式气囊袋；所述拉带模块布置在气囊回收装置中；所述单向电机安装在电机支架上端，在拉带回收时，单向电机为卷筒提供动力；所述电机支架与底座相连，为单向电机提供支撑力；所述转速传感器安装在单向电机上，用于检测单向电机输出轴的旋转圈数；所述传动轴的两端分别与单向电机的输出轴和卷筒相连，用于将单向电机输出的转矩传递至卷筒，使得单相电机的输出轴与卷筒同步转动；所述挡板位于卷筒的中心位置，用于隔离卷筒的两端拉带，防止在拉带回收时，拉带发生缠绕现象；所述卷筒固定连接传动轴上，用于在安全气囊泄气时回收拉带；所述底座通过螺栓固定在气囊回收装置上；所述摄像头布置在车内，用于拍摄儿童乘员的坐姿，以采集儿童乘员坐姿图像；语音提示模块布置在座椅靠背内部，用于提醒儿童乘员佩戴安全带；所述主动式安全气囊能够收纳于气囊回收装置中，在校车发生碰撞时，为儿童乘员提供最佳防护。
上述基于深度学习的主动式气囊拉带装置的控制方法如下：
步骤1：在校车开始行驶时，各摄像头采集儿童乘员坐姿图像，将图像信息输入已训练好的Yolo3网络中，输出分类为儿童乘员和安全带的包围框。
步骤2：判别Yolo3网络是否输出儿童乘员和安全带的包围框，若没有检测到儿童乘员，则主动式安全气囊不启动，反之，则主动式安全气囊开始启动；若检测到儿童乘员未佩戴安全带，则发出预警信号，语音提示模块接收到预警信号后，进行语音提示，若检测到儿童乘员已佩戴安全带，则语音提示模块不工作。
步骤3：将Yolo3网络输出的儿童乘员包围框，输入到姿态估计网络中，使用G-RMI算法得到关节点骨架图，将骨架图输入到分类器softmax中，得到人体坐姿图像对应的儿童乘员当前坐姿状态，进而确定出头部、颈部、胸部、髋部、大腿、小腿和前臂等的位置，以及儿童乘员相对于座椅对称面的横向偏移度，同时，对原始图像特征的提取，估算儿童乘员前胸与前排座椅的距离，并将数据传输至主动式安全气囊控制器(简称“ACU”)。
步骤4：ACU根据轮速传感器实时采集车速信息、步骤2中获得的儿童乘员安全带的佩戴信息和步骤3中获得的乘员的姿态信息，其包括头部、颈部、胸部、髋部、大腿、小腿和前臂的坐标信息，结合储存在ACU中的主动式安全气囊包形信息进行匹配，得以匹配最优包形，以便为儿童乘员提供最佳防护。
步骤5：ACU计算各个拉带的长度，以确定单向电机输出轴的旋转圈数，向拉带模块发送信号，通过控制拉带的长度，以达到ACU计算得到的包形。
步骤6：在校车发生碰撞的过程中，ACU根据摄像头C探测到的儿童乘员与主动式安全气囊的接触位置，实时向单向电机发送信号，通过控制各个拉带的长度，以控制主动式安全气囊的包形，极大地降低儿童乘员的损伤。
用于儿童乘员的姿态估计方法，具体包括：
针对于姿态估计，本发明采用自顶向下(Top-Down)的方式，即先使用目标检测方法对图像中的人物进行检测，并将包含人物的目标区域框出，然后对目标区域进行单人姿态估计。具体可分为三个阶段，第一阶段，将原始图像输入YOLO3网络中，输出儿童乘员和安全带的包围框和类别，即使用矩形框框出包含儿童乘员和安全带的区域，将包含儿童乘员的区域进行截取，输入到下一阶段的网络；第二阶段，采用G-RMI方法对儿童乘员进行姿态估计，即采用基于全卷积网络的残差网ResNet对第一阶段截取的目标区域的人物，进行预测密集热图Dense Heatmap和补偿Offset，最后通过Dense Heatmap和Offset的融合得到关键点的精确定位，从而得到儿童乘员的人体骨架图；第三阶段，将人体姿态估计网络输出的人体骨架图，输入分类器Softmax中，得到当前儿童乘员的坐姿类别。
进一步，语音提示模块在语音提示三次后，停止播报。
进一步，在主动式安全气囊充气时，单向电机作为发电机，将充气时卷筒转动产生的动能转化为电能，储存至储能模块中。
进一步，在步骤5中，所述拉带模块的工作原理和过程为：在ACU计算完成后，主动式安全气囊开始充气，在充气过程中，主动式安全气囊拉动拉带，从而拉带受力以带动卷筒转动，此时卷筒产生动能，单向电机将卷筒的动能转化为电能，储存至储能模块中；当转速传感器检测到单向电机输出轴的旋转圈数达到目标圈数后，ACU向单向电机发送启动信号，单向电机开始启动，产生阻力距，使得卷筒停止转动；在拉带回收过程中，储能模块向单向电机提供电能，带动卷筒向回转动，以回收拉带。
本发明的有益效果：
1、在主动式气囊充气的过程中，将卷筒的动能转化为电能，储存至储能模块中，节能环保。
2、实时性、准确性高，本发明利用基于大数据分析的深度学习进行识别儿童乘员坐姿，提高数据的可靠性，以确保为不同坐姿的儿童乘员提供最佳保护。
3、拉带回收时，各拉带间不发生干涉，能够防止各拉带间发生缠绕现象。
附图说明
图1为拉带模块的结构示意图；
图2为拉带装置的总体安装示意图；
图3为基于深度学习的拉带装置的工作流程图；
图4为网络构造基本单元；
图中标号名称为：1、单向电机，2、电机支架，3、转速传感器，4、传动轴，5、挡板，6、卷筒，7、底座，8、座椅，9、主动式安全气囊，10、拉带，11、语音提示模块，12、气囊回收装置，13、拉带模块。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1和2所示，基于深度学习的主动式气囊拉带装置，包括气囊回收装置12、单向电机1、电机支架2、转速传感器3、传动轴4、挡板5、卷筒6、底座7、摄像头、语音提示模块11、主动式安全气囊9、以及拉带模块13、ACU。所述气囊回收装置12安装在座椅8靠背中，用于回收主动式安全气囊9；所述拉带模块13布置在气囊回收装置12中；所述单向电机1安装在电机支架2上端，在拉带10回收时，单向电机1为卷筒6提供动力；所述电机支架2与底座7相连，为单向电机1提供支撑力；所述转速传感器3安装在单向电机1上，用于检测单向电机1输出轴的旋转圈数；所述传动轴4的两端分别与单向电机1的输出轴和卷筒6相连，用于将单向电机1输出的转矩传递至卷筒6，使得单相电机1的输出轴与卷筒6同步转动；所述挡板5位于卷筒6的中心位置，用于隔离卷筒6的两端拉带10，防止在拉带10回收时，拉带10发生缠绕现象；所述卷筒6固定连接传动轴4上，用于在安全气囊9泄气时，回收拉带10；所述底座7通过螺栓固定在气囊回收装置12上；所述摄像头布置在车内，用于拍摄儿童乘员的坐姿，以采集儿童乘员坐姿图像；语音提示模块11布置在座椅8靠背内部，用于提醒儿童乘员佩戴安全带；所述主动式安全气囊9能够收纳于气囊回收装置12中，在校车发生碰撞时，为儿童乘员提供最佳防护。
优选的，摄像头共3个，分别布置在前排座椅靠背上方(摄像头A)、儿童乘员的侧面(摄像头B)和儿童乘员的上方(摄像头C)，分别用于拍摄儿童乘员上半身、下半身和俯视图。
优选的，拉带模块可根据实际情况增加数量，从而增加拉带的根数，形成理想的气囊包形。
上述基于深度学习的主动式气囊拉带装置的控制方法如下：
步骤1：在校车开始行驶时，摄像头采集儿童乘员坐姿图像，将图像信息输入已训练好的Yolo3网络中，输出分类为儿童乘员和安全带的包围框。
步骤2：判别Yolo3网络是否输出儿童乘员和安全带的包围框，若没有检测到儿童乘员的包围框，则主动式安全气囊不启动，反之，则主动式安全气囊系统开始启动；若检测到儿童乘员未佩戴安全带，则发出预警信号，语音提示模块接收到预警信号后，进行语音提示，若检测到儿童乘员已佩戴安全带，则语音提示模块不工作。
步骤3：将Yolo3网络输出的儿童乘员包围框，输入姿态估计的网络中，使用G-RMI算法得到关节点骨架图，将骨架图输入到分类器softmax中，得到人体坐姿图像对应的儿童乘员当前坐姿状态，进而确定出头部、颈部、胸部、髋部、大腿、小腿和前臂等的空间位置，以及儿童乘员相对于座椅对称面的横向偏移度，同时，对原始图像特征的提取，估算儿童乘员前胸与前排座椅的距离，并将数据传输至ACU。
步骤4：ACU根据轮速传感器实时采集车速信息、步骤2中获得的儿童乘员安全带的佩戴信息和步骤3中获得的乘员的姿态信息，其包括头部、颈部、胸部、髋部、大腿、小腿和前臂等坐标信息，结合储存在ACU中的主动式安全气囊包形进行匹配，得以匹配最优包形，以便为儿童乘员提供最佳防护。
步骤5：ACU计算各个拉带的长度，以确定单向电机输出轴的旋转圈数，向拉带模块发送信号，通过控制各个拉带的长度，以达到ACU计算得到的包形。
步骤6：在校车发生碰撞的过程中，ACU根据摄像头C探测到的儿童乘员与主动式安全气囊的接触位置，实时向单向电机发送信号，以控制各拉带的长度，从而改变主动式安全气囊的包形，极大地降低儿童乘员的损伤。
用于儿童乘员的姿态估计方法，具体包括：
针对于姿态估计，本发明采用自顶向下(Top-Down)的方式，即先使用目标检测方法对图像中的人物进行检测，并将包含人物的目标区域框出，然后对目标区域进行单人姿态估计。具体可分为两个阶段，第一阶段，将原始图像输入YOLO3网络中，输出儿童乘员和安全带的包围框和类别，即使用矩形框框出包含儿童乘员和安全带的区域，将包含儿童乘员的区域进行截取，输入到下一阶段的网络；第二阶段，采用G-RMI方法对儿童乘员进行姿态估计，即采用基于全卷积网络的残差网ResNet对第一阶段截取的目标区域的人物，进行预测密集热图Dense Heatmap和补偿Offset，最后通过Dense Heatmap和Offset的融合得到关键点的精确定位，从而得到儿童乘员的人体骨架图；第三阶段，将人体姿态估计网络输出的人体骨架图，输入分类器Softmax中，得到当前儿童乘员的坐姿类别。
在第一阶段中，所述YOLO3网络使用了最新目标算法Yolo V3，采用YOLOv3的Darknet-53网络结构。本发明所使用的DarkNet53网络前52个CBL层,存在有23个残差层结构,设计了3个不同尺度的特征图输出,并且通过上采样将3个不同分辨率的特征图进行了融合；通过聚类先验框尺寸,对每个尺度的输出给定3个先验框，提高了小物体的检测效果，对于儿童乘员和安全带的检测具有较好的鲁棒性。
其中CBL层集合了卷积操作、BatchNormal操作和LeakyReLU激活操作的网络层，如图4(a)所示，Conv2d表示卷积操作，卷积核数量为a，大小为b×b；BN表示批标准化操作；LeakyReLU是激活函数，公式如下：
Figure GDA0002489372180000061
其中，ai是(1，+∞)区间内的固定参数；残差层结构如图4(b)所述。
在将原始图像输入到DarkNet-53网络之前，将其归一化为符合DarkNet-53输入的尺寸，图像归一化处理公式为：
Figure GDA0002489372180000062
其中：xi表示图像像素点值，min(x)，max(x)分别表示图像像素的最大值和最小值。
在经过DarkNet-5网络后，输出儿童乘员与安全带的包围框和标签，即在原始图像上使用矩形框表示包含儿童乘员和安全带的区域，在判别是否存在儿童乘员和安全带的包围框后，将包含儿童乘员矩形框的图像输入姿态估计网络中。
姿态估计采用G-RMI方法，具体为：
(1)对矩形框框出的预测区域进行裁剪，并对矩形框的高度或宽度进行扩展，使得所用图像的矩形框具有相同的长宽比i(1.0～1.5)，保证提取的图像不发生扭曲。例如：从矩形框中裁剪图像的高度设置为353pixels，宽度设置为257pixels，则设置长宽比为353/257＝1.37；
(2)采用基于全卷积网络的残差网络ResNet(共101层)，并使用1*1的卷积层替换它的最后一层，生成3*K个输出通道的热图Dense Heatmap(每个关键点一个通道)和补偿offset(每个关键点两个通道，x和y)，K＝17为关键点数量；生成热图Dense Heatmap和补偿offset后，将两者结合生成高度局部化激活图fk(xi)：
Figure GDA0002489372180000063
Fk(xi)＝lk-xi
其中，G(·)为双线性插值核，这是霍夫投票的形式：图像裁剪网格中的每一个点j投下一张投票，并对每一个关键点的位置进行估计，投票由它在相应关键点的影像盘中的概率加权得到；hk为热图的输出通道，lk为第k个关键点的位置，x为每个点的位置，R为关键点的圆盘半径。
(3)将热图Dense Heatmap和补偿offset通过上述公式进行融合后，可精确地确定关节点的位置，进而得到儿童乘员的骨架图。
基于本发明的背景，需要构建一个具有4000张图片的数据集来训练姿态估计网络，包括：
S1：在校车不同的行驶速度下，使用摄像头从不同的角度对x名儿童乘员的日常坐姿进行采集，每隔时间t拍摄儿童乘员的坐姿，对每一名儿童拍摄p张，总计获得p*x张姿态图片，采用镜像、随机翻转和随机裁剪对采集的图片进行样本量扩充，保证建立的数据库包含的图片超过4000张，同时，对这些图片进行标注，标注信息包含儿童乘员坐姿的关节点坐标和坐姿类别；x＞20。
S2：将YOLO3输出的矩形框进行裁剪，提取出包含儿童乘员的区域，并将其按照一定的长宽比进行扩展，使得提取图像不发生扭曲。
S3：随机抽取儿童乘员姿态数据库中的75％作为训练集，剩余的25％作为测试集。
S4：将训练集作为输入数据，输入到姿态估计网络中，计算相应的损失函数，其中相应的损失函数为Lh(θ)和Lo(θ)，分别表示产生的热图(Dense Heatmap)损失和补偿(offset)损失，根据两者的损失函数得到最终损失函数：
L(θ)＝λhLh(θ)+λoLo(θ)
其中，λh＝4，λo＝1。然后，采用随机梯度下降法来不断更新参数。
S5：将此模型在验证集上进行训练，通过不断的更新调整，最终得到最优的姿态估计模型。
进一步，本发明需训练一个分类器softmax，用于骨架图的分类。将得到的骨架图及其分类作为分类器的输入，通过反向传播算法不断的训练分类器，根据传递误差信号来更新梯度，寻找最优值，并在验证集上不断调整参数，最终得到具有较好鲁棒性的分类器。
进一步，SoftMax分类器分类得到的儿童坐姿包括：佩戴安全带或未佩戴安全带儿童乘员的正常坐姿、低头状态、仰躺状态、站立状态、侧身聊天状态等。
进一步，语音提示模块在语音提示三次后，停止播报。
进一步，在主动式安全气囊充气时，单向电机作为发电机，将充气时，卷筒转动产生的动能转化为电能，储存至储能模块中。
进一步，在步骤5中，所述拉带模块的工作原理和过程为：在ACU计算完成后，主动式安全气囊9开始充气，在充气过程中，主动式安全气囊9拉动拉带10，从而拉带10受力以带动卷筒6转动，此时卷筒6产生动能，单向电机1将卷筒6的动能转化为电能，储存至储能模块中；当转速传感器检测到单向电机1输出轴的旋转圈数达到目标圈数后，ACU向单向电机1发送启动信号，单向电机1开始启动，产生阻力距，使得卷筒6停止转动；在拉带10回收过程中，储能模块向单向电机1提供电能，带动卷筒6向回转动，以回收拉带10。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (5)

1.基于深度学习的主动式气囊拉带装置，其特征在于，包括：气囊回收装置(12)、单向电机(1)、电机支架(2)、转速传感器(3)、传动轴(4)、挡板(5)、卷筒(6)、底座(7)、摄像头、语音提示模块(11)、主动式安全气囊(9)、拉带模块(13)以及ACU；
所述气囊回收装置(12)安装在座椅靠背中，用于回收主动式安全气囊的气囊袋；所述拉带模块布置在气囊回收装置中；所述单向电机(1)安装在电机支架(2)上端，在拉带回收时，单向电机(1)为卷筒(6)提供动力；所述电机支架(2)与底座(7)相连，为单向电机(1)提供支撑力；所述转速传感器(3)安装在单向电机(1)上，用于检测单向电机输出轴的旋转圈数；所述传动轴的两端分别与单向电机的输出轴和卷筒(6)相连，用于将单向电机输出的转矩传递至卷筒(6)，使得单相电机的输出轴与卷筒(6)同步转动；所述挡板(5)位于卷筒(6)的中心位置，用于隔离卷筒(6)的两端拉带，防止在拉带回收时，拉带发生缠绕现象；所述卷筒(6)固定连接传动轴上，用于在安全气囊泄气时回收拉带；所述底座(7)通过螺栓固定在气囊回收装置(12)上；所述摄像头布置在车内，用于拍摄乘员的坐姿，以采集乘员坐姿图像；语音提示模块(11)用于提醒乘员佩戴安全带；所述主动式安全气囊(9)能够收纳于气囊回收装置中，在校车发生碰撞时，为乘员提供最佳防护；
所述ACU根据轮速传感器(3)实时采集车速信息、根据存储的算法获得儿童乘员安全带的佩戴信息和乘员的姿态信息，其包括头部、颈部、胸部、髋部、大腿、小腿和前臂的坐标信息，结合储存在ACU中的主动式安全气囊包形信息进行匹配，得出最优包形，以便为儿童乘员提供最佳防护；
所述ACU计算各个拉带的长度，以确定单向电机输出轴的旋转圈数，向拉带模块发送信号，通过控制拉带的长度，以使得气囊达到ACU计算得到的包形；
所述ACU存储的算法包括：YOLO3网络模型，得出包含儿童乘员和安全带的区域；G-RMI算法模型，对儿童乘员进行姿态估计；以及Softmax分类器模型，用于当前儿童乘员的坐姿类别；具体的算法设置如下：
采用自顶向下的方式，即先使用目标检测方法对图像中的人物进行检测，并将包含人物的目标区域框出，然后对目标区域进行单人姿态估计；具体分为三个阶段，第一阶段，将原始图像输入YOLO3网络中，输出儿童乘员和安全带的包围框和类别，即使用矩形框框出包含儿童乘员和安全带的区域，将包含儿童乘员的区域进行截取，输入到下一阶段的网络；第二阶段，采用G-RMI算法对儿童乘员进行姿态估计，即采用基于全卷积网络的残差网ResNet对第一阶段截取的目标区域的人物，进行预测密集热图Dense Heatmap和补偿Offset，最后通过Dense Heatmap和Offset的融合得到关键点的精确定位，从而得到儿童乘员的人体骨架图；第三阶段，将人体姿态估计网络输出的人体骨架图，输入分类器Softmax中，得到当前儿童乘员的坐姿类别；
所述YOLO3网络使用目标算法Yolo V3，采用YOLOv3的Darknet-53网络结构；采用DarkNet53网络前52个CBL层，存在有23个残差层结构，设计3个不同尺度的特征图输出，并且通过上采样将3个不同分辨率的特征图进行了融合；通过聚类先验框尺寸，对每个尺度的输出给定3个先验框；
其中CBL层集合了卷积操作、BatchNormal操作和LeakyReLU激活操作的网络层，Conv2d表示卷积操作，卷积核数量为a，大小为b×b；BN表示批标准化操作；LeakyReLU是激活函数，公式如下：
Figure FDA0003381209200000021
其中，ai是(1，+∞)区间内的固定参数；
在将原始图像输入到DarkNet-53网络之前，将其归一化为符合DarkNet-53输入的尺寸，图像归一化处理公式为：
Figure FDA0003381209200000022
其中：xi表示图像像素点值，min(x)，max(x)分别表示图像像素的最大值和最小值。
2.基于深度学习的主动式气囊拉带装置的控制方法，其特征在于，包括如下步骤：
步骤1：各摄像头采集儿童乘员坐姿图像，将图像信息输入已训练好的Yolo3网络中，输出分类为儿童乘员和安全带的包围框；
步骤2：判别Yolo3网络是否输出儿童乘员和安全带的包围框，若没有检测到儿童乘员，则主动式安全气囊不启动，反之，则主动式安全气囊开始启动；若检测到儿童乘员未佩戴安全带，则发出预警信号，语音提示模块(11)接收到预警信号后，进行语音提示，若检测到儿童乘员已佩戴安全带，则语音提示模块不工作；
步骤3：将Yolo3网络输出的儿童乘员包围框，输入到姿态估计网络中，使用G-RMI算法得到关节点骨架图，将骨架图输入到分类器softmax中，得到人体坐姿图像对应的儿童乘员当前坐姿状态，进而确定出头部、颈部、胸部、髋部、大腿、小腿和前臂的位置，以及儿童乘员相对于座椅对称面的横向偏移度，同时，对原始图像特征的提取，估算儿童乘员前胸与前排座椅的距离，并将数据传输至主动式安全气囊控制器，即ACU；
步骤4：ACU根据轮速传感器实时采集车速信息、步骤2中获得的儿童乘员安全带的佩戴信息和步骤3中获得的乘员的姿态信息，其包括头部、颈部、胸部、髋部、大腿、小腿和前臂的坐标信息，结合储存在ACU中的主动式安全气囊包形进行匹配，得以匹配最优包形，为儿童乘员提供最佳防护；
步骤5：ACU计算各个拉带的长度，以确定单向电机输出轴的旋转圈数，向拉带模块发送信号，通过控制拉带的长度，以达到ACU计算得到的包形；
步骤6：在校车发生碰撞的过程中，ACU根据摄像头探测到的儿童乘员与主动式安全气囊的接触位置，实时向单向电机发送信号，通过控制各个拉带的长度，以控制主动式安全气囊的包形，极大降低儿童乘员的损伤；
步骤3中，用于儿童乘员的姿态估计方法，具体包括：
采用自顶向下的方式，即先使用目标检测方法对图像中的人物进行检测，并将包含人物的目标区域框出，然后对目标区域进行单人姿态估计；具体分为三个阶段，第一阶段，将原始图像输入YOLO3网络中，输出儿童乘员和安全带的包围框和类别，即使用矩形框框出包含儿童乘员和安全带的区域，将包含儿童乘员的区域进行截取，输入到下一阶段的网络；第二阶段，采用G-RMI算法对儿童乘员进行姿态估计，即采用基于全卷积网络的残差网ResNet对第一阶段截取的目标区域的人物，进行预测密集热图Dense Heatmap和补偿Offset，最后通过Dense Heatmap和Offset的融合得到关键点的精确定位，从而得到儿童乘员的人体骨架图；第三阶段，将人体姿态估计网络输出的人体骨架图，输入分类器Softmax中，得到当前儿童乘员的坐姿类别；
所述YOLO3网络使用目标算法Yolo V3，采用YOLOv3的Darknet-53网络结构；采用DarkNet53网络前52个CBL层,存在有23个残差层结构，设计3个不同尺度的特征图输出，并且通过上采样将3个不同分辨率的特征图进行了融合；通过聚类先验框尺寸，对每个尺度的输出给定3个先验框；
其中CBL层集合了卷积操作、BatchNormal操作和LeakyReLU激活操作的网络层，Conv2d表示卷积操作，卷积核数量为a，大小为b×b；BN表示批标准化操作；LeakyReLU是激活函数，公式如下：
Figure FDA0003381209200000041
其中，ai是(1，+∞)区间内的固定参数；
在将原始图像输入到DarkNet-53网络之前，将其归一化为符合DarkNet-53输入的尺寸，图像归一化处理公式为：
Figure FDA0003381209200000042
其中：xi表示图像像素点值，min(x)，max(x)分别表示图像像素的最大值和最小值；
所述采用G-RMI算法对儿童乘员进行姿态估计的方法如下：
(1)对矩形框框出的预测区域进行裁剪，并对矩形框的高度或宽度进行扩展，使得所用图像的矩形框具有相同的长宽比i，i取值范围1.0～1.5，保证提取的图像不发生扭曲；
(2)采用基于全卷积网络的残差网络ResNet，所述残差网络ResNet共101层，并使用1*1的卷积层替换它的最后一层，生成3*K个输出通道的热图Dense Heatmap(每个关键点一个通道)和补偿offset，K＝17为关键点数量；生成热图Dense Heatmap和补偿offset后，将两者结合生成高度局部化激活图fk(xi)：
Figure FDA0003381209200000043
Fk(xi)＝lk-xi
其中，G(·)为双线性插值核，这是霍夫投票的形式：图像裁剪网格中的每一个点j投下一张投票，并对每一个关键点的位置进行估计，投票由它在相应关键点的影像盘中的概率加权得到；hk为热图的输出通道，lk为第k个关键点的位置，x为每个点的位置；
(3)将热图Dense Heatmap和补偿offset通过上述公式进行融合后，可精确地确定关节点的位置，进而得到儿童乘员的骨架图。
3.根据权利要求2所述的基于深度学习的主动式气囊拉带装置的控制方法，其特征在于，语音提示模块在语音提示三次后，停止播报。
4.根据权利要求2所述的基于深度学习的主动式气囊拉带装置的控制方法，其特征在于，在主动式安全气囊充气时，单向电机作为发电机，将充气时卷筒转动产生的动能转化为电能，储存至储能模块中。
5.根据权利要求2所述的基于深度学习的主动式气囊拉带装置的控制方法，其特征在于，在步骤5中，所述拉带模块的控制方法为：在ACU计算完成后，主动式安全气囊开始充气，在充气过程中，主动式安全气囊拉动拉带，从而拉带受力以带动卷筒转动，此时卷筒产生动能，单向电机将卷筒的动能转化为电能，储存至储能模块中；当转速传感器检测到单向电机输出轴的旋转圈数达到目标圈数后，ACU向单向电机发送启动信号，单向电机开始启动，产生阻力距，使得卷筒停止转动；在拉带回收过程中，储能模块向单向电机提供电能，带动卷筒向回转动，以回收拉带。
CN202010115141.3A 2020-02-25 2020-02-25 基于深度学习的主动式气囊拉带装置及其控制方法 Active CN111605505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010115141.3A CN111605505B (zh) 2020-02-25 2020-02-25 基于深度学习的主动式气囊拉带装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010115141.3A CN111605505B (zh) 2020-02-25 2020-02-25 基于深度学习的主动式气囊拉带装置及其控制方法

Publications (2)

Publication Number Publication Date
CN111605505A CN111605505A (zh) 2020-09-01
CN111605505B true CN111605505B (zh) 2022-03-22

Family

ID=72195927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010115141.3A Active CN111605505B (zh) 2020-02-25 2020-02-25 基于深度学习的主动式气囊拉带装置及其控制方法

Country Status (1)

Country Link
CN (1) CN111605505B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112874463A (zh) * 2021-03-01 2021-06-01 长安大学 一种儿童被困高温车内的保护与报警系统及方法
CN114475501B (zh) * 2022-02-28 2023-10-13 蔚来汽车科技(安徽)有限公司 用于车辆约束系统的控制方法、装置、存储介质和车辆
CN115583213A (zh) * 2022-09-23 2023-01-10 宁波中骏森驰汽车零部件股份有限公司 一种ags主动进气前格栅

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284693A (zh) * 2018-08-31 2019-01-29 深圳壹账通智能科技有限公司 基于字迹关键点的金融行为预测方法、装置、电子设备
CN109398289A (zh) * 2018-11-30 2019-03-01 硅湖职业技术学院 主动式儿童安全气囊装置及其控制方法
CN109591753A (zh) * 2018-11-30 2019-04-09 硅湖职业技术学院 主动式儿童安全气囊拉带控制装置及其控制方法
CN109606303A (zh) * 2018-11-22 2019-04-12 江苏大学 一种可调整包形的连体主动式校车安全气囊及其控制方法
CN109733280A (zh) * 2018-12-05 2019-05-10 江苏大学 基于驾驶员面部特征的车辆安全装置及其控制方法
CN110321786A (zh) * 2019-05-10 2019-10-11 北京邮电大学 一种基于深度学习的人体坐姿实时监视方法和系统
CN110604597A (zh) * 2019-09-09 2019-12-24 李胜利 基于超声四腔心切面智能获取胎儿心动周期图像的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103786681B (zh) * 2014-01-16 2016-04-06 江苏大学 校车用主动式儿童安全气囊装置及其控制方法
CN107472181B (zh) * 2017-07-24 2019-08-27 江苏大学 一种车辆主动式安全气囊气袋的回收装置
US10579788B2 (en) * 2017-08-17 2020-03-03 Waymo Llc Recognizing assigned passengers for autonomous vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284693A (zh) * 2018-08-31 2019-01-29 深圳壹账通智能科技有限公司 基于字迹关键点的金融行为预测方法、装置、电子设备
CN109606303A (zh) * 2018-11-22 2019-04-12 江苏大学 一种可调整包形的连体主动式校车安全气囊及其控制方法
CN109398289A (zh) * 2018-11-30 2019-03-01 硅湖职业技术学院 主动式儿童安全气囊装置及其控制方法
CN109591753A (zh) * 2018-11-30 2019-04-09 硅湖职业技术学院 主动式儿童安全气囊拉带控制装置及其控制方法
CN109733280A (zh) * 2018-12-05 2019-05-10 江苏大学 基于驾驶员面部特征的车辆安全装置及其控制方法
CN110321786A (zh) * 2019-05-10 2019-10-11 北京邮电大学 一种基于深度学习的人体坐姿实时监视方法和系统
CN110604597A (zh) * 2019-09-09 2019-12-24 李胜利 基于超声四腔心切面智能获取胎儿心动周期图像的方法

Also Published As

Publication number Publication date
CN111605505A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111605505B (zh) 基于深度学习的主动式气囊拉带装置及其控制方法
EP3690720B1 (en) Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition
US5983147A (en) Video occupant detection and classification
US6608910B1 (en) Computer vision method and apparatus for imaging sensors for recognizing and tracking occupants in fixed environments under variable illumination
CN204870870U (zh) 能识别乘员类型的安全气囊控制系统
CN113459982B (zh) 用于乘员分类和基于此调节气囊展开的系统和方法
US6493620B2 (en) Motor vehicle occupant detection system employing ellipse shape models and bayesian classification
US6801662B1 (en) Sensor fusion architecture for vision-based occupant detection
US20050196035A1 (en) Method and apparatus for producing classifier training images
CN107428302A (zh) 利用车辆内部相机的占用者尺寸和姿势的检测
CN113147664A (zh) 检测车辆中是否使用了安全带的方法和系统
US20190375312A1 (en) Method and system for controlling a state of an occupant protection feature for a vehicle
JPH1115980A (ja) 自動車内の物体の存在を検知する装置
JP2007022401A (ja) 乗員情報検出システム、乗員拘束装置、車両
Farmer et al. Occupant classification system for automotive airbag suppression
WO2001014910A2 (en) Method for developing a system for identifying the presence and orientation of an object in a vehicle
CN111251950A (zh) 乘员分类保护方法、系统、设备及计算机可读存储介质
JP2020121713A (ja) 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置
US11820320B2 (en) System and method for improving safety of occupant by airbag
CN103057503A (zh) 一种智能气囊装置及其控制方法
CN111907462A (zh) 安全气囊的控制系统、信息处理方法、系统、介质及设备
CN116229427A (zh) 一种车内人员碰撞损伤预警方法、系统及存储介质
US20060030988A1 (en) Vehicle occupant classification method and apparatus for use in a vision-based sensing system
Reyna et al. Head detection inside vehicles with a modified SVM for safer airbags
CN115892031A (zh) 一种汽车乘员安全姿态调整方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant