CN117724137A - 一种基于多模态传感器的汽车事故自动检测系统及方法 - Google Patents
一种基于多模态传感器的汽车事故自动检测系统及方法 Download PDFInfo
- Publication number
- CN117724137A CN117724137A CN202311565063.7A CN202311565063A CN117724137A CN 117724137 A CN117724137 A CN 117724137A CN 202311565063 A CN202311565063 A CN 202311565063A CN 117724137 A CN117724137 A CN 117724137A
- Authority
- CN
- China
- Prior art keywords
- frame
- data
- accident
- driving
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 206010039203 Road traffic accident Diseases 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000006399 behavior Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000002265 prevention Effects 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011425 standardization method Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims 1
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 230000009467 reduction Effects 0.000 claims 1
- 230000007480 spreading Effects 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000005856 abnormality Effects 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及汽车事故自动检测领域，具体提供了一种多模态传感器的汽车事故自动检测系统及方法。本发明直接利用基本的车内网络数据进行事故检测，使用多模态传感融合用以自动驾驶辅助方向，采用基于时序神经网络的深度学习算法建立一个驾驶过程中的事故检测模型，基于时序信息用以驾驶过程中危险行为(主要指碰撞等)检测和预防，实现驾驶员辅助驾驶的功能，辅助驾驶员对行驶过程中的行驶状态进行监控、识别并对驾驶者进行预警，以获得更加舒适、方便和安全的驾驶体验，避免交通事故的发生显得至关重要。该模型能够有效的检测出偏离正常驾驶模式以及极易造成交通事故的驾驶异常情况，并及时地提醒驾驶员驾驶过程中的潜在风险。
Description
技术领域
本发明涉及汽车事故自动检测领域，具体提供了多模态传感器的汽车事故自动检测系统及方法。
背景技术
随着汽车保有量的日益提高，驾驶行为分析的应用已经成为一个重要的研究领域。驾驶行为分析的结果对于汽车和智能交通行业、汽车保险以及控制基础设施和公共交通的政府组织具有重要意义。目前的研究方向主要涉及驾驶员的行为分析，而专门针对事故检测的检测系统仍不够完善。
事故检测是近年来兴起的研究事故模式的应用，即通过安装在汽车上的自动盒子，检测微小事故、碰撞、加速和刹车操纵造成的汽车损害，将车队运营商的服务和开销检查成本降到最低。然而在这方面，关于使用机器学习进行事故检测的研究很少。一方面，在事故检测等研究案例中，往往无法供充足的标记数据，同时准备一个包含事故事件的大型真实世界数据库不仅昂贵和耗时，而且还受到竞争激烈的汽车行业和数据隐私问题的阻碍。另一方面事故事件本身的复杂性也对机器学习提出了巨大的挑战，监测系统需要在极短的时间内完成状态识别并给出提醒才能满足实际工作环境的要求。
发明内容
本发明针对背景技术中的问题，提出了一种基于多模态传感器的汽车事故自动检测系统及方法，可以直接利用基本的车内网络数据进行事故检测，使用多模态传感融合用以自动驾驶辅助方向，实现驾驶过程中危险行为(碰撞等行为)的提前检测预防。
为实现上述目的，本发明提供如下技术方案：
一种基于多模态传感器的汽车事故自动检测系统及方法，所述自动检测系统包括行车记录仪、加速度计、陀螺仪、GPS、led显示器、数据处理模块、事故检测模块和数据存储模块；所述自动检测方法具体步骤如下：
S1、通过数据处理模块采集车辆信息，通过行车记录仪获取车辆行驶过程中的视频数据，采样频率为30Hz；通过加速度计获取车辆的三轴加速度数据，采样频率为10Hz；通过陀螺仪获得车辆的三轴角速度数据，采样频率为10Hz；通过GPS获得车辆的经纬度、海拔高度、速度、水平和垂直加速度、车头方向角，采样频率为1Hz，将采集到的信息传送到数据预处理模块；
S2、对于输入的30Hz数据，采用取平均值的方式，将其下采样至10Hz，对于1Hz数据，采用插值的方式，将其上采样至10Hz；
S3、使用卡尔曼滤波对采集到的原始数据进行降噪处理，通过系统输入和输出的观测状态对系统真实状态进行最优估计，实现对噪声的消除；
S4、采用离差标准化的方法对采集到的数据进行处理，将传感器的值处理到0-1的范围内；
S5、采用滑动时间窗的分割方法对归一化后的数据进行分割，本线段长度设置为T＝100，对应的时间约为2.5S，设置重叠因子为50％来分割时间序列；
S6、对分割后的每个时间窗口Vn＝(vt1,vt2,…,vti,…,vtN,)添加对应的异常驾驶行为类型标签，异常驾驶行为类型包括急加速、急刹车、急转向、急变道、危险超车(蛇形变道)、跟车过近、超速、碰撞，其中T是时间窗的长度取T＝100，S是传感器通道的数量取S＝4；
S7、使用SMOTE算法对标记为1包含事故信息的样本进行上采样，然后在模型的损失函数中提高包含事故信息的样本的权重，使得不同类别样本的总数与权重的乘积相等，最后以3阶张量的形式将采集到的数据输入到神经网络模型中；
S8、将汽车行驶特征信息输入自动检测系统中，通过深度学习网络，实时输出检测结果。
进一步地，所述S3处理算法为：
xk＝A*xk-1+B*uk+wk-1
zk＝H*xk+vk
其中，xk表示真实矩阵状态，zk表示观测状态矩阵，A表示状态转移矩阵，B表示控制输入矩阵，H表示状态观测矩阵，wk-1表示过程噪音，vk表示测量噪音。
进一步地，所述S4处理算法为：
其中X表示样本集合，xi表示第i个样本，表示第i个样本标准化后的值，且
进一步地，所述S8中检测结果由两部分组成，分别为危险驾驶行为检测和交通事故预防检测，具体步骤如下：
S8-1、危险驾驶行为检测
S8-1-1、根据静态符号化算法，基于数据的车辆行驶类型标签将数据划分到多个区间进行符号化处理，并标准化处理，获得标准化静态符号化的时间序列数据{Si[X(i)]|i＝1,2,3,…,N}，作为第2通道中卷积模块2的输入数据；
S8-1-2、根据动态符号化算法，基于异常驾驶行为样本数据集中的时间序列速度值的变化率将数据集中的数据进行动态符号化处理，并标准化处理，获得标准化动态符号化的时间序{Di[X(i)]|i＝1.2,3,…,N}作为第3通道中卷积模块3的输入数据；
S8-1-3、将之前提到的三组数据：标准化的输入数据Vn＝(vt1,vt2,…,vti,…,vtN,)、标准化的静态符号化的时间序列数据{Si[X(i)]|i＝1,2,3,…,N}与标准化的动态符号化时间序列{Di[X(i)]|i＝1.2,3,…,N}分别作为通道1、通道2与通道3的卷积模块的输入，传输分配到各自独立且初始化参数不同的3个卷积神经网络模型中，经过一维卷积层、线性整流层、Dropout层，获得参数
S8-1-4、利用Concatenate函数合并3组独立的卷积神经网络模型输出的参数获得输出参数/>再将/>输入到一个独立的卷积神经网络模型中，其初始参数与上述三个模型不同，其构成组件包括一维卷积层、线性整流层、随机舍弃层、池化层等；
S8-1-5、将合并卷积运算的输出数据，铺展成一维的特征向量，作为全连接层的输入，输入到模型的分类识别结构部分，其有两个全连接层以及softmax函数层组成，最终得到模型的分类识别结果；
S8-1-6、根据模型的分类识别结果在led显示器上显示对应的提醒标识；
S8-2交通事故预防检测
S8-2-1、根据S8输出的视频特征信息计算生成的未来帧和真实帧在RGB像素级的偏差，来计算事故序列中的每一帧之间的PSNR，对每个视频序列中的所有帧之间的PSNR值进行归一化计算，PSNR的值越高，证明预测帧与真实帧在像素级别上越相似即不存在大的偏差，则认为没有发生交通事故，否则该帧是交通事故发生帧；
式中S(t)为预测帧的表观一致性参数，I和分别表示真实帧和预测帧；
S8-2-2、利用预测目标物位置的方法，生成第σ帧后的目标物的边界框，即在每个时间t中，每个目标物都具有从时间t-σ到预测的t-1个边界框，随后计算每一帧内目标物的边界框与真实检测的目标框的位置之间的交并比，然后对每一个序列中计算的所有IoU值进行归一化操作来判断事故发生程度；IoU的值越高说明目标框之间具有较大的一致性，证明目标物位置没有发生明显的变化即不存在交通事故，否则反之，
其中S2(t)为预测框的位置一致性，i和t分别代表第t帧里面的第i个框；和/>分别代表第t帧里面的第i个框的真实检测位置和预测的位置；
S8-2-3、将预测的目标物的边界框映射到对应的未来帧上，提取目标物的未来表观特征，通过计算生成帧和真实帧中同一对象的目标框区域之间的PSNR值评估目标物在RGB像素级上的相似度从而判断是否存在驾驶事故；
S8-2-4、计算前三种判断交通事故的参数的平均值S4(t)，当S4(t)大于设置阈值时则在led显示器提醒司机前方可能发生交通事故，需小心行事提高注意。
优选地，所述S8-2-3具体为：首先将预测帧和真实帧中的信息差异用PSNR表示，然后利用Mask-RCNN对真实帧进行目标检测，最后将相关对象调整为同一大小；计算公式如下：
式中S3(t)为标物的表观相似性参数，PBt为预测帧中获取的未来目标物位置框对应的表观信息，FBt为预测帧对应的真实帧中的目标物的表观特征信息，M为对应帧中目标物位置框的个数。
与现有技术相比，本发明的有益效果是：
本发明基于车辆运动状态数据，采用基于时序神经网络的深度学习算法建立一个驾驶过程中的事故检测模型，基于时序信息用以驾驶过程中危险行为(主要指碰撞等)检测和预防，实现驾驶员辅助驾驶的功能，辅助驾驶员对行驶过程中的行驶状态进行监控、识别并对驾驶者进行预警，以获得更加舒适、方便和安全的驾驶体验，避免交通事故的发生显得至关重要。该模型能够有效的检测出偏离正常驾驶模式以及极易造成交通事故的驾驶异常情况，并及时地提醒驾驶员驾驶过程中的潜在风险。
附图说明
图1为本发明多模态传感器的汽车事故自动检测流程示意图；
图2为本发明危险驾驶行为检测流程示意图；
图3为本发明交通事故预测流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图3所示，本发明提供的一种技术方案：
一种基于多模态传感器的汽车事故自动检测系统，包括行车记录仪、加速度计、陀螺仪、GPS、led显示器、数据处理模块，事故检测模块和数据存储模块；
S1、通过数据处理模块采集车辆的不同信息，通过行车记录仪获取车辆行驶过程中的视频数据，采样频率为30Hz；通过加速度计获取车辆的三轴加速度数据，采样频率为10Hz；通过陀螺仪获得车辆的三轴角速度数据，采样频率为10Hz；通过GPS获得车辆的经纬度、海拔高度、速度、水平和垂直加速度、车头方向角，采样频率为1Hz，将采集到的信息传送到数据预处理模块。
S2、对于输入的30Hz数据，采用取平均值的方式，将其下采样至10Hz，对于1Hz数据，采用插值的方式，将其上采样至10Hz。
S3、使用卡尔曼滤波对采集到的采集到的原始数据进行降噪处理，通过系统输入和输出的观测状态对系统真实状态进行最优估计，实现对噪声的消除；
xk＝A*xk-1+B*uk+wk-1
zk＝H*xk+vk
其中，xk表示真实矩阵状态，zk表示观测状态矩阵，A表示状态转移矩阵，B表示控制输入矩阵，H表示状态观测矩阵，wk-1表示过程噪音，vk表示测量噪音。
S4、采用离差标准化的方法对采集到的数据进行处理，将传感器的值处理到0-1的范围内；
其中X表示样本集合，xi表示第i个样本，表示第i个样本标准化后的值，且
S5、采用滑动时间窗的分割方法对归一化后的数据进行分割，本线段长度设置为T＝100，对应的时间约为2.5S，设置重叠因子为50％来分割时间序列；
S6、对分割后的每个时间窗口Vn＝(vt1,vt2,…,vti,…,vtN,)添加对应的异常驾驶行为类型标签，异常驾驶行为类型包括急加速、急刹车、急转向、急变道、危险超车(蛇形变道)、跟车过近、超速、碰撞，其中T是时间窗的长度取T＝100，S是传感器通道的数量取S＝4。
S7、使用SMOTE算法对标记为1包含事故信息的样本进行上采样，然后在模型的损失函数中提高包含事故信息的样本的权重，使得不同类别样本的总数与权重的乘积相等，最后以3阶张量的形式将采集到的数据输入的神经网络模型中。
深度学习网络
S8、汽车行驶特征信息输入到本发明提出的多模态传感器的汽车事故自动检测系统中，实时输出检测结果。
作为本发明再进一步的方案：所述步骤S8中的多模态传感器的汽车事故自动检测系统由两个部分组成，分别为危险驾驶行为检测和交通事故预防系统。
S8-1危险驾驶行为检测系统
S8-1-1、根据静态符号化算法，基于数据的车辆行驶类型标签将数据划分到多个区间进行符号化处理，并标准化处理，获得标准化静态符号化的时间序列数据{Si[X(i)]|i＝1,2,3,…,N}，作为第2通道中卷积模块2的输入数据。
S8-1-2、根据动态符号化算法，基于异常驾驶行为样本数据集中的时间序列速度值的变化率将数据集中的数据进行动态符号化处理，并标准化处理，获得标准化动态符号化的时间序{Di[X(i)]|i＝1.2,3,…,N}作为第3通道中卷积模块3的输入数据。
S8-1-3、将之前提到的三组数据：标准化的输入数据Vn＝(vt1,vt2,…,vti,…,vtN,)、标准化的静态符号化的时间序列数据{Si[X(i)]|i＝1,2,3,…,N}与标准化的动态符号化时间序列{Di[X(i)]|i＝1.2,3,…,N}分别作为通道1、通道2与通道3的卷积模块的输入，传输分配到各自独立且初始化参数不同的3个卷积神经网络模型中，经过一维卷积层、线性整流层、Dropout层，获得参数
S8-1-4、利用Concatenate函数合并3组独立的卷积神经网络模型输出的参数获得输出参数/>再将/>输入到一个独立的卷积神经网络模型中，其初始参数与上述三个模型不同，其构成组件包括一维卷积层、线性整流层、随机舍弃层、池化层等。
S8-1-5、将合并卷积运算的输出数据，铺展成一维的特征向量，作为全连接层的输入，输入到模型的分类识别结构部分，其有两个全连接层以及softmax函数层组成，最终得到模型的分类识别结果。
S8-1-6、根据模型的分类识别结果在led显示器上显示对应的提醒标识。
S8-2交通事故预测系统
S8-2-1、根据S8输出的视频特征信息计算生成的未来帧和真实帧在RGB像素级的偏差，来计算事故序列中的每一帧之间的PSNR，对每个视频序列中的所有帧之间的PSNR值进行归一化计算，PSNR的值越高，证明预测帧与真实帧在像素级别上越相似即不存在大的偏差，则认为没有发生交通事故，否则该帧是交通事故发生帧。
式中S(t)为预测帧的表观一致性参数，I和分别表示真实帧和预测帧。
S8-2-2、利用预测目标物位置的方法，生成第σ帧后的目标物的边界框，即在每个时间t中，每个目标物都具有从时间t-σ到预测的t-1个边界框。随后计算每一帧内目标物的边界框与真实检测的目标框的位置之间的交并比，然后对每一个序列中计算的所有IoU值进行归一化操作来判断事故发生程度。IoU的值越高说明目标框之间具有较大的一致性，证明目标物位置没有发生明显的变化即不存在交通事故，否则反之。
其中S2(t)为预测框的位置一致性，i和t分别代表第t帧里面的第i个框；Xt i和Yt i分别代表第t帧里面的第i个框的真实检测位置和预测的位置。
S8-2-3、将预测的目标物的边界框映射到对应的未来帧上，提取目标物的未来表观特征。通过计算生成帧和真实帧中同一对象的目标框区域之间的PSNR值评估目标物在RGB像素级上的相似度从而判断是否存在驾驶事故。
具体来说，首先将预测帧和真实帧中的信息差异用PSNR表示，然后利用Mask-RCNN对真实帧进行目标检测，最后将相关对象调整为同一大小。计算公式如下所示
式中S3(t)为标物的表观相似性参数，PBt为预测帧中获取的未来目标物位置框对应的表观信息，FBt为预测帧对应的真实帧中的目标物的表观特征信息，M为对应帧中目标物位置框的个数。
S8-2-4、计算前三种判断交通事故的参数的平均值S4(t)，当S4(t)大于设置阈值时则在led显示器提醒司机前方可能发生交通事故，需小心行事提高注意。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种基于多模态传感器的汽车事故自动检测系统及方法，其特征在于：所述自动检测系统包括行车记录仪、加速度计、陀螺仪、GPS、led显示器、数据处理模块、事故检测模块和数据存储模块；所述自动检测方法具体步骤如下：
S1、通过数据处理模块采集车辆信息，通过行车记录仪获取车辆行驶过程中的视频数据，采样频率为30Hz；通过加速度计获取车辆的三轴加速度数据，采样频率为10Hz；通过陀螺仪获得车辆的三轴角速度数据，采样频率为10Hz；通过GPS获得车辆的经纬度、海拔高度、速度、水平和垂直加速度、车头方向角，采样频率为1Hz，将采集到的信息传送到数据预处理模块；
S2、对于输入的30Hz数据，采用取平均值的方式，将其下采样至10Hz，对于1Hz数据，采用插值的方式，将其上采样至10Hz；
S3、使用卡尔曼滤波对采集到的原始数据进行降噪处理，通过系统输入和输出的观测状态对系统真实状态进行最优估计，实现对噪声的消除；
S4、采用离差标准化的方法对采集到的数据进行处理，将传感器的值处理到0-1的范围内；
S5、采用滑动时间窗的分割方法对归一化后的数据进行分割，本线段长度设置为T＝100，对应的时间约为2.5S，设置重叠因子为50％来分割时间序列；
S6、对分割后的每个时间窗口Vn＝(vt1,vt2,…,vti,…,vtN,)添加对应的异常驾驶行为类型标签，异常驾驶行为类型包括急加速、急刹车、急转向、急变道、危险超车(蛇形变道)、跟车过近、超速、碰撞，其中T是时间窗的长度取T＝100，S是传感器通道的数量取S＝4；
S7、使用SMOTE算法对标记为1包含事故信息的样本进行上采样，然后在模型的损失函数中提高包含事故信息的样本的权重，使得不同类别样本的总数与权重的乘积相等，最后以3阶张量的形式将采集到的数据输入到神经网络模型中；
S8、将汽车行驶特征信息输入自动检测系统中，通过深度学习网络，实时输出检测结果。
2.如权利要求1所述的一种基于多模态传感器的汽车事故自动检测系统及方法，其特征在于：所述S3处理算法为：
xk＝A*xk-1+B*uk+wk-1
zk＝H*xk+vk
其中，xk表示真实矩阵状态，zk表示观测状态矩阵，A表示状态转移矩阵，B表示控制输入矩阵，H表示状态观测矩阵，wk-1表示过程噪音，vk表示测量噪音。
3.如权利要求1或2所述的一种基于多模态传感器的汽车事故自动检测系统及方法，其特征在于：所述S4处理算法为：
其中X表示样本集合，xi表示第i个样本，表示第i个样本标准化后的值，且/>
4.如权利要求1所述的一种基于多模态传感器的汽车事故自动检测系统及方法，其特征在于：所述S8中检测结果由两部分组成，分别为危险驾驶行为检测和交通事故预防检测，具体步骤如下：
S8-1、危险驾驶行为检测
S8-1-1、根据静态符号化算法，基于数据的车辆行驶类型标签将数据划分到多个区间进行符号化处理，并标准化处理，获得标准化静态符号化的时间序列数据{Si[X(i)]|i＝1,2,3,…,N}，作为第2通道中卷积模块2的输入数据；
S8-1-2、根据动态符号化算法，基于异常驾驶行为样本数据集中的时间序列速度值的变化率将数据集中的数据进行动态符号化处理，并标准化处理，获得标准化动态符号化的时间序{Di[X(i)]|i＝1.2,3,…,N}作为第3通道中卷积模块3的输入数据；
S8-1-3、将之前提到的三组数据：标准化的输入数据Vn＝(vt1,vt2,…,vti,…,vtN,)、标准化的静态符号化的时间序列数据{Si[X(i)]|i＝1,2,3,…,N}与标准化的动态符号化时间序列{Di[X(i)]|i＝1.2,3,…,N}分别作为通道1、通道2与通道3的卷积模块的输入，传输分配到各自独立且初始化参数不同的3个卷积神经网络模型中，经过一维卷积层、线性整流层、Dropout层，获得参数
S8-1-4、利用Concatenate函数合并3组独立的卷积神经网络模型输出的参数获得输出参数/>再将/>输入到一个独立的卷积神经网络模型中，其初始参数与上述三个模型不同，其构成组件包括一维卷积层、线性整流层、随机舍弃层、池化层等；
S8-1-5、将合并卷积运算的输出数据，铺展成一维的特征向量，作为全连接层的输入，输入到模型的分类识别结构部分，其有两个全连接层以及softmax函数层组成，最终得到模型的分类识别结果；
S8-1-6、根据模型的分类识别结果在led显示器上显示对应的提醒标识；
S8-2交通事故预防检测
S8-2-1、根据S8输出的视频特征信息计算生成的未来帧和真实帧在RGB像素级的偏差，来计算事故序列中的每一帧之间的PSNR，对每个视频序列中的所有帧之间的PSNR值进行归一化计算，PSNR的值越高，证明预测帧与真实帧在像素级别上越相似即不存在大的偏差，则认为没有发生交通事故，否则该帧是交通事故发生帧；
式中S(t)为预测帧的表观一致性参数，I和分别表示真实帧和预测帧；
S8-2-2、利用预测目标物位置的方法，生成第σ帧后的目标物的边界框，即在每个时间t中，每个目标物都具有从时间t-σ到预测的t-1个边界框，随后计算每一帧内目标物的边界框与真实检测的目标框的位置之间的交并比，然后对每一个序列中计算的所有IoU值进行归一化操作来判断事故发生程度；IoU的值越高说明目标框之间具有较大的一致性，证明目标物位置没有发生明显的变化即不存在交通事故，否则反之，
其中S2(t)为预测框的位置一致性，i和t分别代表第t帧里面的第i个框；和Yt i分别代表第t帧里面的第i个框的真实检测位置和预测的位置；
S8-2-3、将预测的目标物的边界框映射到对应的未来帧上，提取目标物的未来表观特征，通过计算生成帧和真实帧中同一对象的目标框区域之间的PSNR值评估目标物在RGB像素级上的相似度从而判断是否存在驾驶事故；
S8-2-4、计算前三种判断交通事故的参数的平均值S4(t)，当S4(t)大于设置阈值时则在led显示器提醒司机前方可能发生交通事故，需小心行事提高注意。
5.如权利要求4所述的一种基于多模态传感器的汽车事故自动检测系统及方法，其特征在于：所述S8-2-3具体为：首先将预测帧和真实帧中的信息差异用PSNR表示，然后利用Mask-RCNN对真实帧进行目标检测，最后将相关对象调整为同一大小；计算公式如下：
式中S3(t)为标物的表观相似性参数，PBt为预测帧中获取的未来目标物位置框对应的表观信息，FBt为预测帧对应的真实帧中的目标物的表观特征信息，M为对应帧中目标物位置框的个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311565063.7A CN117724137B (zh) | 2023-11-21 | 2023-11-21 | 一种基于多模态传感器的汽车事故自动检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311565063.7A CN117724137B (zh) | 2023-11-21 | 2023-11-21 | 一种基于多模态传感器的汽车事故自动检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117724137A true CN117724137A (zh) | 2024-03-19 |
| CN117724137B CN117724137B (zh) | 2024-08-06 |
Family
ID=90209705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311565063.7A Active CN117724137B (zh) | 2023-11-21 | 2023-11-21 | 一种基于多模态传感器的汽车事故自动检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117724137B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934876A (zh) * | 2017-03-16 | 2017-07-07 | 广东翼卡车联网服务有限公司 | 一种车辆异常驾驶事件的识别方法及系统 |
| CN110942000A (zh) * | 2019-11-13 | 2020-03-31 | 南京理工大学 | 一种基于深度学习的无人驾驶车辆目标检测方法 |
| CN111242015A (zh) * | 2020-01-10 | 2020-06-05 | 同济大学 | 一种基于运动轮廓语义图预测行车危险场景的方法 |
| CN113158835A (zh) * | 2021-03-31 | 2021-07-23 | 华南理工大学 | 一种基于深度学习的交通事故智能检测方法 |
| US20210237724A1 (en) * | 2020-01-31 | 2021-08-05 | International Business Machines Corporation | Prediction of accident risk based on anomaly detection |
| CN113313012A (zh) * | 2021-05-26 | 2021-08-27 | 北京航空航天大学 | 一种基于卷积生成对抗网络的危险驾驶行为识别方法 |
| CN113989787A (zh) * | 2021-10-26 | 2022-01-28 | 北京国家新能源汽车技术创新中心有限公司 | 一种危险驾驶行为的检测方法以及系统 |
| CN114372556A (zh) * | 2021-12-17 | 2022-04-19 | 同济大学 | 一种基于轻量级多模态神经网络的行车危险场景辨识方法 |
| CN114926825A (zh) * | 2022-05-11 | 2022-08-19 | 复旦大学 | 一种基于时空特征融合的车辆驾驶行为检测方法 |
| CN115527076A (zh) * | 2021-06-08 | 2022-12-27 | 河北省交通规划设计研究院有限公司 | 一种营运车辆异常驾驶行为识别模型的构建方法及系统 |
| CN115731715A (zh) * | 2022-12-06 | 2023-03-03 | 华东师范大学 | 一种基于合成视频的交通事故检测方法 |
| CN115909783A (zh) * | 2022-11-24 | 2023-04-04 | 同济大学 | 一种基于交通流的车道级驾驶辅助方法及系统 |
| CN116049668A (zh) * | 2022-12-20 | 2023-05-02 | 东南大学 | 一种基于机器学习的自动驾驶事故严重程度预测方法 |
| CN116229347A (zh) * | 2022-12-28 | 2023-06-06 | 沈阳瞻言科技有限公司 | 一种人群安全异常事件识别方法 |
| KR102540794B1 (ko) * | 2022-11-01 | 2023-06-13 | 주식회사 에이엔제이솔루션 | 도로 사고 검지 시스템 |
| US20230267549A1 (en) * | 2022-02-21 | 2023-08-24 | Carvi Inc. | Method of predicting the future accident risk rate of the drivers using artificial intelligence and its device |
| CN116704444A (zh) * | 2023-06-27 | 2023-09-05 | 东北大学秦皇岛分校 | 一种基于级联注意力U-Net的视频异常事件检测方法 |
| US20230351573A1 (en) * | 2021-03-17 | 2023-11-02 | Southeast University | Intelligent detection method and unmanned surface vehicle for multiple type faults of near-water bridges |
-
2023
- 2023-11-21 CN CN202311565063.7A patent/CN117724137B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934876A (zh) * | 2017-03-16 | 2017-07-07 | 广东翼卡车联网服务有限公司 | 一种车辆异常驾驶事件的识别方法及系统 |
| CN110942000A (zh) * | 2019-11-13 | 2020-03-31 | 南京理工大学 | 一种基于深度学习的无人驾驶车辆目标检测方法 |
| CN111242015A (zh) * | 2020-01-10 | 2020-06-05 | 同济大学 | 一种基于运动轮廓语义图预测行车危险场景的方法 |
| US20210237724A1 (en) * | 2020-01-31 | 2021-08-05 | International Business Machines Corporation | Prediction of accident risk based on anomaly detection |
| US20230351573A1 (en) * | 2021-03-17 | 2023-11-02 | Southeast University | Intelligent detection method and unmanned surface vehicle for multiple type faults of near-water bridges |
| CN113158835A (zh) * | 2021-03-31 | 2021-07-23 | 华南理工大学 | 一种基于深度学习的交通事故智能检测方法 |
| CN113313012A (zh) * | 2021-05-26 | 2021-08-27 | 北京航空航天大学 | 一种基于卷积生成对抗网络的危险驾驶行为识别方法 |
| CN115527076A (zh) * | 2021-06-08 | 2022-12-27 | 河北省交通规划设计研究院有限公司 | 一种营运车辆异常驾驶行为识别模型的构建方法及系统 |
| CN113989787A (zh) * | 2021-10-26 | 2022-01-28 | 北京国家新能源汽车技术创新中心有限公司 | 一种危险驾驶行为的检测方法以及系统 |
| CN114372556A (zh) * | 2021-12-17 | 2022-04-19 | 同济大学 | 一种基于轻量级多模态神经网络的行车危险场景辨识方法 |
| US20230267549A1 (en) * | 2022-02-21 | 2023-08-24 | Carvi Inc. | Method of predicting the future accident risk rate of the drivers using artificial intelligence and its device |
| CN114926825A (zh) * | 2022-05-11 | 2022-08-19 | 复旦大学 | 一种基于时空特征融合的车辆驾驶行为检测方法 |
| KR102540794B1 (ko) * | 2022-11-01 | 2023-06-13 | 주식회사 에이엔제이솔루션 | 도로 사고 검지 시스템 |
| CN115909783A (zh) * | 2022-11-24 | 2023-04-04 | 同济大学 | 一种基于交通流的车道级驾驶辅助方法及系统 |
| CN115731715A (zh) * | 2022-12-06 | 2023-03-03 | 华东师范大学 | 一种基于合成视频的交通事故检测方法 |
| CN116049668A (zh) * | 2022-12-20 | 2023-05-02 | 东南大学 | 一种基于机器学习的自动驾驶事故严重程度预测方法 |
| CN116229347A (zh) * | 2022-12-28 | 2023-06-06 | 沈阳瞻言科技有限公司 | 一种人群安全异常事件识别方法 |
| CN116704444A (zh) * | 2023-06-27 | 2023-09-05 | 东北大学秦皇岛分校 | 一种基于级联注意力U-Net的视频异常事件检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| KHANUM, A. ET AL.: "Deep learning-based decision-making of autonomous vehicles to predict accidents", 2023 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO WORKSHOPS (ICMEW), 14 July 2023 (2023-07-14) * |
| 刘慧敏;关亨;于明鹤;赵志滨;: "一种多特征融合的车辆追踪算法的研究与实现", 小型微型计算机系统, no. 06, 29 May 2020 (2020-05-29) * |
| 杨铮 等: "面向实时视频流分析的边缘计算技术", 中国科学：信息科学, vol. 52, no. 1, 31 December 2022 (2022-12-31) * |
| 黄超 等: "基于视觉的车辆异常行为检测综述", 模式识别与人工智能, vol. 33, no. 3, 31 March 2022 (2022-03-31) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117724137B (zh) | 2024-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113370977B (zh) | 一种基于视觉的智能车辆前向碰撞预警方法及系统 | |
| US7860813B2 (en) | Monitoring driving safety using semi-supervised sequential learning | |
| CN113378741B (zh) | 一种基于多源传感器的飞机牵引车辅助感知方法及其系统 | |
| Sun et al. | An integrated solution for lane level irregular driving detection on highways | |
| US20200369270A1 (en) | Apparatus and method for processing vehicle signals to compute a behavioral hazard measure | |
| DE112021002953T5 (de) | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm | |
| WO2016107876A1 (en) | Vehicular motion monitoring method | |
| CN115588310A (zh) | 一种基于轨迹数据的车辆碰撞风险预测方法 | |
| Hermawan et al. | Acquisition, modeling, and evaluating method of driving behavior based on OBD-II: A literature survey | |
| DE112022001861T5 (de) | Bewegungsbahnkonsistenzmessung für den betrieb eines autonomen fahrzeugs | |
| Sun et al. | Online distraction detection for naturalistic driving dataset using kinematic motion models and a multiple model algorithm | |
| CN116662856A (zh) | 基于模糊逻辑的实时驾驶风格分类及预警方法 | |
| CN110103968A (zh) | 一种基于三维激光雷达的无人车自主超车轨迹规划系统 | |
| CN117724137B (zh) | 一种基于多模态传感器的汽车事故自动检测系统及方法 | |
| Hovorushchenko et al. | Road Accident Prevention System | |
| Abdi Khojasteh et al. | An intelligent safety system for human-centered semi-autonomous vehicles | |
| CN116597516A (zh) | 训练方法、分类方法、检测方法、装置、系统及设备 | |
| Tsai et al. | A safety driving assistance system by integrating in-vehicle dynamics and real-time traffic information | |
| Gao et al. | Perceiving driving hazards in a data-fusion way using multi-modal net and semantic driving trajectory | |
| Balasubramani et al. | A predictive decision model for an efficient detection of abnormal driver behavior in intelligent transport system | |
| Sun et al. | A new algorithm for lane level irregular driving identification | |
| Gheorghe | Development of artificial intelligence in the automotive field | |
| Darwiche et al. | Speed bump detection for autonomous vehicles using signal-processing techniques | |
| US12033399B1 (en) | Turn and brake action prediction using vehicle light detection | |
| Zhou et al. | Driving behavior inference from traffic surveillance data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 223800 No.1, Emeishan Road, Suyu Economic Development Zone, Suyu District, Suqian City, Jiangsu Province Patentee after: Beidou Zhilian (Jiangsu) Technology Co.,Ltd. Country or region after: China Address before: No.1 Emeishan Road, Suyu Economic Development Zone, Suyu District, Suqian City, Jiangsu Province Patentee before: JIANGSU BDSTAR NAVIGATION AUTOMOTIVE ELECTRONICS CO.,LTD. Country or region before: China |