CN113378803A - 一种道路交通事故检测方法、装置、计算机及存储介质 - Google Patents

Abstract

本发明提出一种道路交通事故检测方法、装置、计算机及存储介质，涉及一种交通事故检测方法，属于图像识别技术领域。具体包括，首先输入视频帧，识别视频中的车辆，计算车辆速度、车辆加速度和车头朝向角；其次，将车辆速度、车辆加速度和车头朝向角的时域信号转换为时频信号；再其次，将时频图输入至Resnet50网络中进行训练；最后，提取特征，根据车辆速度、车辆加速度和车头朝向角时频图特征和正常情况下的车辆速度、车辆加速度和车头朝向角时频图特征对比，判断交通事故的发生。解决了现有技术中存在的道路交通事故检测效果不稳定、识别效果不精准的技术问题。实现了对道路交通事故的精准判断，本发明适用性更强，泛化能力更强。

Description

一种道路交通事故检测方法、装置、计算机及存储介质

技术领域

本申请涉及一种交通事故检测方法，尤其涉及一种道路交通事故检测方法、装置、计算机及存储介质，属于图像识别技术领域。

背景技术

随着城市道路的快速发展和居民汽车保有量的逐步提高，人们在享受汽车带来的舒适体验的同时也饱受各种交通事故的困扰。交通事故不仅威胁当事人的生命安全，还会影响道路上其他车辆正常通行。发生事故后车辆的定责也成为一大难题。在交通监督管理系统中，精准地识别道路上发生的交通事故可以减小相关人员的伤亡和财产损失，因此检测道路交通事故具有重要意义。

目前基于视频的交通事故检测方法主要利用视频帧的图像金字塔，构建光流场。从光流场中计算速度流、加速度流等信息再通过设定阈值判断是否发生交通事故。还有学者利用Faster-RCNN检测车辆，在连续帧中判断车辆是否静止，根据车辆停止时间粗略估计是否该车发生异常事故。此外还有直接计算车辆速度，根据车速是否发生异常来判断是否发生交通事故的方法。

现有的方法中直接利用图像金字塔计算光流场的方法在车辆较多时无法准确计算各个车辆的速度，速度流只能对视频场景中的车辆进行大致估计。同时，根据人工设定的阈值判断是否发生交通事故的方法严重依赖主观想法，在实际应用中不具有灵活性。

判断车辆是否停止和计算停止时间判断是否发生交通事故的方法同样需要设定车辆最长停止时间。在实际道路上，堵车或等待转弯等情况下这类方法很可能会发生误报，因此对交通事故的识别不够准确。

对于统计车速，根据车速判断是否发生交通事故的方法，准确度依然不高，主要原因在于只利用了瞬时车速这一单一信息，无法充分反映车辆在一段时间的行驶状况。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，为解决现有技术中存在的道路交通事故检测效果不稳定、识别效果不精准的技术问题，本发明提供了一种道路交通事故检测方法、装置、计算机及存储介质。

一种道路交通事故检测方法，包括以下步骤：

S1输入视频帧，识别视频中的车辆，计算相对车辆速度、相对车辆加速度和车头方向角；具体包括：

S110识别视频帧中的车辆，输出车辆检测框；

S120在连续帧中跟踪车辆位置，得到连续帧中同一车辆移动的检测框；

S130以检测框为车辆中心，计算两帧之间车辆移动的像素距离；

S140计算相对车辆速度和相对车辆加速度；

S150根据检测框的角判断车头方向角

；

S2将车辆速度、车辆加速度和车头方向角的时域信号转换为时频信号图像；

S3将时频图输入至Resnet50网络中进行训练；具体包括：

S310准备训练数据，选定Q条道路，再选定道路上的不同角度的多个时间段视频数据，并将视频数据分割成一分钟的视频数据；

S320将分割后的每个视频经过S1、S2和S3处理得到时频图数据集；

S330将时频图数据集分为训练集和验证集；

S340计算特征向量的距离

，特征向量距离

为验证集和训练集的特征向量最大距离；

S4根据车辆速度、车辆加速度和车头方向角的时频图特征和正常情况下的车辆速度、车辆加速度和车头方向角的时频图特征对比，判断交通事故的发生。

优选的，S140所述计算相对车辆速度和相对车辆加速度具体方法是：

计算相对车辆速度的方法是：

其中，f为视频帧率，t为当前视频帧，t+1为下一刻视频帧；

计算相对车辆加速度的方法是：

其中，f为视频帧率，t为当前视频帧，t+1为下一刻视频帧。

优选的，其特征在于，S150所述根据检测框的角判断车头方向角的具体方法是：以图像竖直方向为起点，车头方向为终点画弧线，经过的角定义为车头方向角，车头方向角

范围是0到2π。

优选的，S2将车辆速度、车辆加速度和车头方向角的时域信号转换为时频信号图像的具体方法是：

其中，x(n)为时刻n的时频信号，即速度、加速度和车头方向角信号；w[n]是傅里叶变换中的窗函数，m为为傅里叶变换中窗函数的窗口大小，j为虚数单位。

优选的，S330所述将时频图数据集分为训练集和验证集的具体方法是：随机选200张时频图像作为验证集，选200张时频图像作为训练集。

优选的，S340计算特征向量的距离

具体方法是：

其中，A为训练集中时频图的特征取平均值，B为验证集中时频图的特征取平均值，a_i为A中训练集特征值的一个值，b_i为验证集中特征值的中的一个值。

优选的，S4根据车辆速度、车辆加速度和车头方向角的时频图特征和正常情况下的车辆速度、车辆加速度和车头方向角的时频图特征对比，判断交通事故的发生的具体方法是：在Resnet50模型中输入时频图，输出预测特征值C，计算预测特征值C和验证集时频图特征B间的距离d，当距离d超过特征向量距离

阈值时，证明车辆特征异常，当车辆速度、车辆加速度和车头方向角三个时频图的预测特征值都异常时，判断发生交通事故。

一种道路交通事故检测装置，包括速度计算模块、时域信号处理模块和异常检测模块；所述速度计算模块用于计算车辆速度、加速度和车头方向角，并将车辆速度、车辆加速度和车头方向角数据传输至所述时域信号处理模块；所述时域信号处理模块用于将车辆速度、车辆加速度和车头方向角数据转换为时频信号图像，并将时频信号图像传输至所述异常检测模块；所述异常检测模块用于判断交通事故的发生。

一种计算机，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现一种道路交通事故检测方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种道路交通事故检测方法。

本发明的有益效果如下：本发明利用视频跟踪算法，得到旋转框估计车辆车头方向角，根据连续帧计算相对速度和加速度，利用车辆速度、车辆加速度和车头方向角三种信息共同判断是否发生事故，使最终的检测结果更准确。应用离散短时傅里叶变换将上述时域信息转换为时频图，可以同时分析车辆速度、车辆加速度和车头方向角三种信息时域和频域联合分布下的特征关系，更好地利用这些信号特征。最后用Resnet神经网络训练学习正常模式的时频图特征信息，用验证集和训练集计算得到特征差异最大距离作为判断是否异常的阈值，相比于人工设定阈值，本方案的适用性更强，通过增加训练集数量会有更好的泛化能力。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例所述的方法流程示意图；

图2位本发明实施例所述的装置结构示意图；

图3为本发明实施例所述的mask检测框结果示意图；

图4为本发明实施例所述的根据检测框的角判断车头方向角的结果示意图；

图5为本发明实施例所述的车辆速度时频图的结构示意图；

图6为本发明实施例所述的时频图在Resnet50网络中训练的流程图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1、参照图1说明本实施方式，本实施例的一种道路交通事故检测方法，包括以下步骤：

S1输入视频帧，识别视频中的车辆，计算相对车辆速度、相对车辆加速度和车头方向角；具体包括：

S110识别视频帧中的车辆，输出车辆检测框；

具体的，使用YOLO目标检测算法，识别视频帧中的车辆，输出车辆检测框，具体可以参照图3。

S120在连续帧中跟踪车辆位置，得到连续帧中同一车辆移动的检测框；

具体的，利用Siammask算法，输入步骤S110检测到的车辆检测框，再输入连续视频帧，Siammask算法输出视频连续帧中车辆的mask检测框，最终得到连续帧中同一车辆移动的检测框。

S130以检测框为车辆中心，计算两帧之间车辆移动的像素距离；

具体的，如在第t帧，车辆中心像素坐标为(x1,y2)，在t+1帧时，车辆中心坐标变为(x2,y2)。根据相机成像原理，像素坐标系下点的移动和真实物体的移动是等比例缩放，因此，采用像素坐标的变化来代替真实车辆的运动。一方面我们的目标是分析车辆行驶速度是否有异常，而不关心车辆真实速度大小，因此计算这种相对速度可以满足需求；另一方面这样做不需要考虑相机坐标系与真实空间的坐标映射关系，无需设定相机参数同时减小计算量。

S140计算相对车辆速度和相对车辆加速度；

具体的，计算相对车辆速度的方法是：

其中，f为视频帧率，t为当前视频帧，t+1为下一刻视频帧；

计算相对车辆加速度的方法是：

其中，f为视频帧率，t为当前视频帧，t+1为下一刻视频帧。

S150根据检测框的角判断车头方向角

；

具体的，Siammask算法输出检测框结果，为了便于区分车辆，每辆车的检测框分别使用不同颜色表示，mask检测框具有一定角度的倾斜框，因此可以根据检测框的角度判断车头方向，以图像竖直方向为起点，车头方向为终点画弧线，经过的角定义为车头方向角，车头方向角

范围是0到2π，具体可以参照图4。

S2将车辆速度、车辆加速度和车头方向角的时域信号转换为时频信号图像；

具体的，将S1中得到相对车辆速度、相对车辆加速度和车头方向角的信息转换成时频信号图像；

具体的，利用短时傅里叶变换，将速度信号，加速度信号和角度信号转换为时频信号图像，实际通过相机计算得到的速度、加速度和角度是离散变量，因此采用离散短时傅里叶变换，公式为：

其中x(n)为时刻n的时频信号，即速度、加速度和角度信号；w[n]是傅里叶变换中的窗函数，m为为傅里叶变换中窗函数的窗口大小，j为虚数单位。经过计算，连续帧中速度、加速度和角度信号可转换成一个和时间n频率w相关的时频分布函数, 时频图可以说明信号在时间n和频率W连个维度上联合分布情况。以速度为例，结果参照图5，时频图横轴表示时间n，单位秒，纵轴表示频率w，图中线条的深浅度不同表示不同的时频信号强度。

S3将时频图输入至Resnet50网络中进行训练；具体可以参照图6理解本步骤，具体包括：

S310准备训练数据，选定Q条道路，再选定道路上的不同角度的多个时间段视频数据，并将视频数据分割成一分钟的视频数据；

具体的，首先选定包括摄像头不同角度的10条道路，在选定道路上0点、6点、12点、18点，分别录制一小时视频数据，之后进行离线处理。将录制的视频分割成一分钟左右短视频，保证视频中有车辆出现在画面直到离开画面范围。可以得到约 10*4*60 = 2400 个视频作为训练数据。

具体的，选定n条道路上不同角度的多个时间段视频数据，这样可以保证训练数据的多样性。

S320将分割后的每个视频经过S1、S2和S3处理得到时频图数据集；

S330将时频图数据集分为训练集和验证集；

具体的，将时频图数据集分为训练集和验证集，随机选择2200张时频图作为训练集，选择200张时频图作为验证集。

S340计算特征向量的距离

，特征向量距离

为验证集和训练集的特征向量最大距离；具体方法是：

将训练集输入至Resnet50神经网络中，训练Resnet50模型，在训练好模型后，输出训练集时频图特征，从2200张时频图特征中随机选200张计算特征，取平均值记为A。

将验证集输入至Resnet50神经网络中，训练Resnet50模型，在训练好模型后，输出验证集时频图特征，计算验证集时频图特征，取平均值记为B。

其中，A为训练集中时频图的特征取平均值，B为特征集中时频图的特征取平均值，a_i为A中训练集特征值的一个值，b_i为验证集中特征值的中的一个值。

具体的，特征向量距离

为验证集和训练集的特征向量最大距离，因为A是随机选取200张图片计算的特征，所以可以多次选取，得到不同的A1，A2，A3，再分别计算这些A和B的距离，选取最大值记为

。

S4根据车辆速度、车辆加速度和车头方向角的时频图特征和正常情况下的车辆速度、车辆加速度和车头方向角的时频图特征对比，判断交通事故的发生。

具体的，应用时，在Resnet50模型中输入时频图，输出预测特征值C，计算预测特征值C和验证集时频图特征B间的距离d，当距离d超过特征向量距离

阈值时，证明车辆特征异常，当车辆速度、车辆加速度和车头方向角三个时频图的预测特征值都异常时，判断发生交通事故。

具体的，将检测到的交通事故信息上传到云端服务器，保存交通事故发生前后的视频，为后期责任判定、处理纠纷提供真实数据。

实施例2，参照图2说明本实施例，本实施例的一种道路交通事故检测装置，包括速度计算模块、时域信号处理模块和异常检测模块；所述速度计算模块用于计算车辆速度、加速度和车头方向角，并将车辆速度、车辆加速度和车头方向角数据传输至所述时域信号处理模块；所述时域信号处理模块用于将车辆速度、车辆加速度和车头方向角数据转换为时频信号图像，并将时频函数图像传输至所述异常检测模块；所述异常检测模块用于判断交通事故的发生。

本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于CREO软件的可修改由关系驱动的推荐数据的推荐方法的步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

计算机可读存储介质实施例

本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。

所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明的工作原理：利用视频数据结合神经网络检测算法识别出车辆，计算车辆速度、加速度和车头方向角度。将车辆速度、加速度和角度这类时域信息用过短时傅里叶变换转换为时频图，再输入到ResNet50神经网络模型中。模型在非交通事故场景下进行非监督训练，最终可以学习到正常行驶的车辆行为模式。通过计算待检测时频图的特征和正常模式时频图特征对比，判断是否发生异常事件。检测到事故后记录并上传事故信息到云端服务器，保存事故发生前后视频，为后期责任判定、处理纠纷提供真实证据。

本发明的关键技术在于：

1、本方案计算速度用像素相对速度，不需要映射到真实世界坐标。依然可以满足计算特征的需求。

2、本技术采用速度、加速度和车头方向角三个维度的信息，再将普通时域信息转换为时频图，进一步丰富信息量。

3、用Resnet学习正常模式的时频图特征，用验证集和训练集计算得到阈值，相比于人工设定阈值，本技术方案更贴合实际，泛用性更强。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种道路交通事故检测方法，其特征在于，包括以下步骤：

S1输入视频帧，识别视频中的车辆，计算相对车辆速度、相对车辆加速度和车头方向角；具体包括：

S110识别视频帧中的车辆，输出车辆检测框；

S120在连续帧中跟踪车辆位置，得到连续帧中同一车辆移动的检测框；

S130以检测框为车辆中心，计算两帧之间车辆移动的像素距离；

S140计算相对车辆速度和相对车辆加速度；

S150根据检测框的角判断车头方向角

；

S2将车辆速度、车辆加速度和车头方向角的时域信号转换为时频信号图像；

S3将时频图输入至Resnet50网络中进行训练；具体包括：

S310准备训练数据，选定Q条道路，再选定道路上的不同角度的多个时间段视频数据，并将视频数据分割成一分钟的视频数据；

S320将分割后的每个视频经过S1、S2和S3处理得到时频图数据集；

S330将时频图数据集分为训练集和验证集；

S340计算特征向量的距离

，特征向量距离

为验证集和训练集的特征向量最大距离；

S4根据车辆速度、车辆加速度和车头方向角的时频图特征和正常情况下的车辆速度、车辆加速度和车头方向角的时频图特征对比，判断交通事故的发生。

2.根据权利要求1所述的方法，其特征在于，S140所述计算相对车辆速度和相对车辆加速度具体方法是：

计算相对车辆速度的方法是：

其中，f为视频帧率，t为当前视频帧，t+1为下一刻视频帧；

计算相对车辆加速度的方法是：

其中，f为视频帧率，t为当前视频帧，t+1为下一刻视频帧。

3.根据权利要求2所述的方法，其特征在于，S150所述根据检测框的角判断车头方向角的具体方法是：以图像竖直方向为起点，车头方向为终点画弧线，经过的角定义为车头方向角，车头方向角

范围是0到2π。

4.根据权利要求3所述的方法，其特征在于，S2将车辆速度、车辆加速度和车头方向角的时域信号转换为时频信号图像的具体方法是：

其中，x(n)为时刻n的时频信号，即速度、加速度和车头方向角信号；w[n]是傅里叶变换中的窗函数，m为为傅里叶变换中窗函数的窗口大小，j为虚数单位。

5.根据权利要求4所述的方法，其特征在于，S330所述将时频图数据集分为训练集和验证集的具体方法是：随机选200张时频图像作为验证集，选200张时频图像作为训练集。

6.根据权利要求5所述的方法，其特征在于，S340计算特征向量的距离

具体方法是：

其中，A为训练集中时频图的特征取平均值，B为验证集中时频图的特征取平均值，a_i为A中训练集特征值的一个值，b_i为验证集中特征值的中的一个值。

7.根据权利要求6所述的方法，其特征在于，S4根据车辆速度、车辆加速度和车头方向角的时频图特征和正常情况下的车辆速度、车辆加速度和车头方向角的时频图特征对比，判断交通事故的发生的具体方法是：在Resnet50模型中输入时频图，输出预测特征值C，计算预测特征值C和验证集时频图特征B间的距离d，当距离d超过特征向量距离

阈值时，证明车辆特征异常，当车辆速度、车辆加速度和车头方向角三个时频图的预测特征值都异常时，判断发生交通事故。

8.一种道路交通事故检测装置，其特征在于，包括速度计算模块、时域信号处理模块和异常检测模块；所述速度计算模块用于计算车辆速度、加速度和车头方向角，并将车辆速度、车辆加速度和车头方向角数据传输至所述时域信号处理模块；所述时域信号处理模块用于将车辆速度、车辆加速度和车头方向角数据转换为时频信号图像，并将时频信号图像传输至所述异常检测模块；所述异常检测模块用于判断交通事故的发生。

9.一种计算机，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1至7任一项所述的一种道路交通事故检测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的一种道路交通事故检测方法。

Images