CN112102615B - 交通事故检测方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种交通事故检测方法、电子设备及存储介质。该方法包括：获取待检测图像序列，待检测图像序列中包括多张连续的待检测图像；利用第一神经网络对待检测图像序列进行特征提取，以得到待检测图像序列中目标的特征，目标的特征包括每张待检测图像中目标的特征；将目标的特征输入第二神经网络，以得到交通事故检测结果。通过上述方式，能够提高交通事故检测结果的准确率。

Description

交通事故检测方法、电子设备及存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种交通事故检测方法、电子设备及存储介质。

背景技术

随着社会不断发展、科技不断进步，人们对便利、流畅、安全的交通道路环境的需求越来越高。但是当发生交通道路事故时会对交通道路的便利性、流畅性、安全性产生很大的影响。例如，当发生交通道路事故时，当事人可能会受伤，还可能会引起道路阻塞，导致其他车辆无法通行。因此需要对道路上发生的交通事故进行及时响应。

然而，现有的交通事故检测方法得到的交通事故检测结果准确率不高，很容易发生漏报、误报交通事故的情况，从而导致存在交通事故时相关人员不能及时赶到处理。

发明内容

本申请提供一种交通事故检测方法、电子设备及存储介质，能够解决现有的交通事故检测方法得到的交通事故检测结果准确率不高的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种交通事故检测方法。该方法包括：获取待检测图像序列，待检测图像序列中包括多张连续的待检测图像；利用第一神经网络对待检测图像序列进行特征提取，以得到待检测图像序列中目标的特征，目标的特征包括每张待检测图像中目标的特征；将目标的特征输入第二神经网络，以得到交通事故检测结果。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。

通过上述方式，本申请先利用第一神经网络提取待检测图像序列中目标的特征，再将目标的特征输入第二神经网络得到交通事故检测结果。故本申请在进行交通事故检测时，考虑了待检测图像序列包括的所有待检测图像中目标的特征，也即考虑了目标在各相邻待检测图像之间的关联，相较于仅对单张待检测图像中目标的特征进行检测的方式，能够提高得到的交通事故检测结果的召回率和准确率。

附图说明

图1是本申请交通事故检测方法第一实施例的流程示意图；

图2是本申请当前待检测图像中目标的特征提取的结构示意图；

图3是本申请交通事故检测方法第二实施例的流程示意图；

图4是本申请当前待检测图像中目标的第一特征提取的结构示意图；

图5是本申请交通事故检测方法第三实施例的流程示意图；

图6是图5中S112的一具体流程示意图；

图7是图5中S112的又一具体流程示意图；

图8是本申请交通事故检测方法第四实施例的流程示意图;

图9是本申请车辆刮擦示意图；

图10是本申请车辆追尾示意图；

图11是本申请撞人/非机动车示意图；

图12是本申请异常停车示意图；

图13是本申请电子设备一实施例的结构示意图；

图14是本申请存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

图1是本申请交通事故检测方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：

S11：获取待检测图像序列。

待检测图像序列中包括多张连续的待检测图像。

可以基于具有拍摄功能的器件获取场景图像序列，场景图像序列中包括多张连续的交通道路的场景图像。待检测图像序列中的待检测图像是基于场景图像得到的。

可以直接将场景图像作为待检测图像，也可以先对场景图像进行预处理，将经预处理的场景图像作为待检测图像。

由于场景图像中除了包括待检测区域（车道区域）之外，还可以包括其他非车道区域，而其他非车道区域可能会对后续待检测区域的检测造成影响。例如，非车道区域上的行人、停放的车辆等会干扰后续对车道区域的检测。因此，可以先对场景图像进行预处理，将经预处理的场景图像作为待检测图像。具体请参见后面实施例的说明。

S12：利用第一神经网络对待检测图像序列进行特征提取，以得到待检测图像序列中目标的特征。

待检测图像序列中目标的特征可以包括每张待检测图像中目标的特征，换句话说，待检测图像序列中目标的特征可以为每张待检测图像中目标的特征的集合。

本申请所涉及的目标可以包括行人、车辆等，每张待检测图像中可能包括一个目标，也可能包括多个目标。

S13：将目标的特征输入第二神经网络，以得到交通事故检测结果。

第二神经网络可以基于待检测图像序列中目标的特征对待检测图像序列进行交通事故检测，得到交通事故检测结果。结合图2进行举例说明，第二神经网络为3D-CNN，将目标的特征（feature）作为5层的3D-CNN的输入（当前层的输入为上一层的输出），3D-CNN可以通过softmax回归输出交通事故检测结果。

交通事故检测结果可以包括不存在交通事故的概率和存在各交通事故类型的概率。

交通事故可以包括车辆刮擦、车辆追尾、撞人/非机动车、异常停车等类型。在交通事故类型包括以上四种类型时，交通事故检测结果包括不存在交通事故的概率，存在车辆刮擦的概率、存在车辆追尾的概率、存在撞人/非机动车的概率、存在异常停车的概率。当存在异常停车的概率大于存在其他类型的交通事故的概率，且大于不存在交通事故的概率时，可以认为该待检测图像序列中有异常停车发生。

在任一种类型的交通事故发生时，可以直接触发报警装置，以提示相关人员进行处理。此外，在触发报警装置之前，还可以进一步对交通事故检测结果进行后处理，以对发生的交通事故进行校验，提高结果的准确性。具体请参见后面实施例的说明。

通过上述方式，本申请先利用第一神经网络提取待检测图像序列中目标的特征，再将目标的特征输入第二神经网络得到交通事故检测结果。本申请在进行交通事故检测时，考虑了待检测图像序列包括的所有待检测图像中目标的特征，也即考虑了目标在各相邻待检测图像之间的关联，相较于仅对单张待检测图像中目标的特征进行检测的方式，能够提高得到的交通事故检测结果的召回率和准确率。

图3是本申请交通事故检测方法第二实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。本实施例是对上述S12的进一步扩展，目标的特征包括第一特征和第二特征，目标的特征的形式为掩膜。如图3所示，本实施例可以包括：

S121：利用第一神经网络对当前待检测图像进行特征提取，得到当前待检测图像中目标的第一特征。

由于待检测图像中可能仅包括一个目标，也可能包括多个目标，因此，利用第一神经网络提取得到的目标的第一特征可能仅包括一个目标的第一特征，也可能仅包括多个目标的第一特征。为简化描述，本申请在特征提取阶段以提取一个目标的第一特征进行说明。

其中，第一特征可以包括目标的位置，即目标在当前待检测图像中的位置。目标的位置可以包括坐标（中心点坐标、左上坐标等）、长度和宽度。此外，第一特征还可以包括目标的预测位移，即目标在当前待检测图像与下一待检测图像之间的预测位移。

在第一特征包括目标的位置的情况下，可以将上一待检测图像及上一待检测图像中目标的位置、当前待检测图像输入第一神经网络，得到当前待检测图像中目标的位置。

在第一特征包括目标的位置和目标的预测位移的情况下，可以将上一待检测图像中目标的位置、当前待检测图像输入第一神经网络，得到当前待检测图像中目标的位置和目标的预测位移。结合图4进行举例说明：

待检测图像序列中包括5张待检测图像。将上一帧待检测图像（左）、上一帧待检测图像中目标的中心点掩膜/中心点坐标（中）和当前帧待检测图像（右）输入第一神经网络（centernet），第一神经网络可以提取得到目标的ID（图未示）、目标的位置（Center_heatmap）和目标的预测位移（offset_pred），其中目标的ID与目标的位置绑定。目标的位置包括中心点坐标、长度、宽度。

S122：基于当前待检测图像中目标的第一特征，得到当前待检测图像中目标的第二特征。

第二特征可以包括目标的图像区域和目标的实际位移，目标的实际位移可以为目标在当前待检测图像与上一待检测图像之间的实际位移。

可以基于当前待检测图像中目标的位置，得到当前待检测图像中目标的第二特征。

具体而言，可以基于当前待检测图像中与目标的位置坐标、长度和宽度对应的区域作为目标的图像区域。其中，可以将当前待检测图像中与目标的位置坐标、长度和宽度对应的区域截取出来，作为目标的图像区域。也可以以目标框的形式将目标在当前待检测图像中的位置标记为目标的图像区域。

可以基于当前待检测图像和上一待检测图像中目标的坐标，得到当前待检测图像中目标的实际位移。

一般而言，目标的实际位移和预测位移相差较大，因此在目标的特征包括目标的实际位移和预测位移时，能够提高后续第二神经网络交通拟合的交通事故类型的层次性。

图5是本申请交通事故检测方法第三实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。本实施例是对上述S11的进一步扩展，并且本实施例中待检测图像序列为经预处理的场景图像序列。如图5所示，本实施例可以包括：

S111：获取场景图像序列。

其中，场景图像序列中包括多张场景图像。

S112：分别对场景图像序列中每张场景图像进行预处理，得到与每张场景图像对应的待检测图像，每张场景图像对应的待检测图像组成待检测图像序列。

其中，待检测图像序列中待检测图像的排序与场景图像序列中场景图像的排序相同。待检测图像可以为带有待检测区域标记的场景图像，也可以为场景图像中的待检测区域。

参阅图6，若待检测图像为带有待检测区域标记的场景图像，S112可以包括以下子步骤，

S1121：将场景图像序列输入第三神经网络，得到场景图像序列中每张场景图像中的待检测区域。

第三神经网络可以为目标分割网络。可以利用第三神经网络对场景图像进行目标(车道）分割，得到场景图像中的车道区域，即待检测区域。

S1122：分别将每张场景图像中的待检测区域标记，并将经标记的场景图像作为待检测图像。

将带有待检测区域标记的场景图像作为待检测图像，意味着后续的检测可以仅针对待检测图像中标记的待检测区域进行。

参阅图7，在另一具体实施方式中，S112可以包括以下子步骤：

S1123：将场景图像序列输入第三神经网络，得到场景图像序列中每张场景图像中的待检测区域。

S1124：分别将每张场景图像中的待检测区域截取出来，作为待检测图像。

可以直接将从场景图像中截取出来的待检测区域作为待检测图像。但为了保证后续输入第二神经网络特征的尺寸一致，还可以将从场景图像中截取出来的待检测区域进行缩放处理，再将经缩放处理的图像作为待检测图像。

图8是本申请交通事故检测方法第四实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图8所示的流程顺序为限。本实施例是对上述实施例的进一步扩展。如图8所示，若交通事故检测结果表明存在交通事故，则在S13之后，本实施例还可以包括：

S14：基于目标的特征对交通事故检测结果进行校验。

结合图9对交通事故检测结果表明存在车辆刮擦的情况进行举例说明。图9中c为机动车的位置框/图像区域，d为行人的位置框/图像区域。在10s内的待检测图像中，相邻车道的两辆机动车c的坐标距离小于第一阈值，且机动车c与行人d的坐标距离小于第二阈值，则可以认为交通事故检测结果准确，否则认为该交通事故检测结果不准确。

结合图10对交通事故检测结果表明存在车辆追尾的情况进行举例说明。在10s内的待检测图像中，同一车道的两辆机动车c的坐标距离持续小于第二阈值，且机动车c与行人d的坐标距离小于第二阈值，则可以认为交通事故检测结果准确，否则认为该交通事故检测结果不准确。

对交通事故检测结果表明存在撞人/非机动车的情况进行举例说明。在存在的交通事故类型为撞人/非机动车的情况下，可以对待检测图像进行分割处理，得到待检测图像中的斑马线区域（图未示），然后对斑马线区域附近目标的状态进行检测。请结合参阅图11，若非机动车e为倒地状态，且处于非机动车e的附近有机动车c，则认为交通事故检验结果准确，否则认为该交通事故检测结果不准确。

结合图12对交通事故检测结果表明存在异常停车的情况进行举例说明。若机动车c在10s内的待检测图像中的位移小于第一阈值，且机动车车门属性为关闭，且机动车c附近第二阈值内没有行人，则认为该交通事故检测结果准确，否则认为该交通事故检测结果不准确。

S15：基于校验结果对交通事故检测结果进行修正。

在交通事故检测结果准确的情况下，可以不对交通事故检测结果进行修正；在交通事故检测结果不准确的情况下，可以对交通事故检测结果进行修正。

另外，在其他实施例中，还可以基于校验结果对第二神经网络的参数进行调整，以提高第二神经网络后续得到交通事故检测结果的准确性。

此外，在本申请其他实施例中，在使用第一/二/三神经网络之前，还可以对第一/二/三神经网络进行训练，以提高使用过程得到的交通事故检测结果的准确性。

通过上述方式对交通事故检测结果进行校验，并基于校验结果对交通事故检测结果进行修正，能够提高最终得到的交通事故检测结果的准确性，进而能够降低将交通事故检测结果误报或者漏报给报警系统的概率。

图13是本申请电子设备一实施例的结构示意图。如图13所示，该电子设备包括处理器21、与处理器耦接的存储器22。

其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为CPU（Central Processing Unit，中央处理单元）。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

图14是本申请存储介质一实施例的结构示意图。如图14所示，本申请实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本申请上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种交通事故检测方法，其特征在于，包括：

获取待检测图像序列，所述待检测图像序列中包括多张连续的待检测图像；

确定所述待检测图像序列中每张所述待检测图像中目标的特征；其中每张所述待检测图像中目标的特征是通过如下方式获得的：利用第一神经网络对每张所述待检测图像进行特征提取，得到每张所述待检测图像中目标的第一特征；基于每张所述待检测图像中所述目标的第一特征，得到每张所述待检测图像中所述目标的第二特征；将每张所述待检测图像中所述目标的第一特征和第二特征，确定为每张所述待检测图像中所述目标的特征；所述第一特征包括所述目标的位置和所述目标的预测位移，所述第二特征包括所述目标的实际位移，所述目标的预测位移为所述目标在所述当前待检测图像与下一待检测图像之间的预测位移，所述目标的实际位移为所述当前待检测图像与上一待检测图像中所述目标的位置之间的实际位移；

将每张所述待检测图像中所述目标的特征的集合，确定为所述待检测图像序列中所述目标的特征；

将所述目标的特征输入第二神经网络，以使所述第二神经网络至少基于所述实际位移与对应的所述预测位移之间的差异，得到交通事故检测结果。

2.根据权利要求1所述的方法，其特征在于，所述利用第一神经网络对每张所述待检测图像进行特征提取，得到每张所述待检测图像中所述目标的第一特征，包括：

将上一待检测图像及所述上一待检测图像中所述目标的位置、当前待检测图像输入所述第一神经网络，得到所述当前待检测图像中所述目标的位置。

3.根据权利要求2所述的方法，其特征在于，所述利用第一神经网络对每张所述待检测图像进行特征提取，得到每张所述待检测图像中所述目标的第一特征，进一步包括：

将所述上一待检测图像中所述目标的位置、当前待检测图像输入所述第一神经网络，得到所述当前待检测图像中所述目标的预测位移。

4.根据权利要求2或3所述的方法，其特征在于，所述基于每张所述待检测图像中所述目标的第一特征，得到每张所述待检测图像中所述目标的第二特征，包括：

基于所述当前待检测图像中所述目标的位置，得到所述当前待检测图像中所述目标的第二特征。

5.根据权利要求4所述的方法，其特征在于，所述目标的位置包括坐标、长度和宽度，所述第二特征还包括所述目标的图像区域，所述基于所述当前待检测图像中所述目标的位置，得到所述当前待检测图像中所述目标的第二特征，包括：

将所述当前待检测图像中与所述目标的坐标、长度和宽度对应的区域作为所述目标的图像区域，并基于所述当前待检测图像和上一待检测图像中所述目标的坐标，得到所述当前待检测图像中所述目标的实际位移。

6.根据权利要求1所述的方法，其特征在于，所述获取待检测图像序列，包括：

获取场景图像序列，其中，所述场景图像序列中包括多张场景图像；

分别对所述场景图像序列中每张所述场景图像进行预处理，得到与每张所述场景图像对应的待检测图像，所述每张所述场景图像对应的待检测图像组成所述待检测图像序列，所述待检测图像序列中所述待检测图像的排序与所述场景图像序列中所述场景图像的排序相同。

7.根据权利要求6所述的方法，其特征在于，所述分别对所述场景图像序列中每张所述场景图像进行预处理，得到与每张所述场景图像对应的待检测图像，包括：

将所述场景图像序列输入第三神经网络，得到所述场景图像序列中每张所述场景图像中的待检测区域；

分别将所述每张所述场景图像中的待检测区域标记，并将经标记的所述场景图像作为所述待检测图像；或者，分别将每张所述场景图像中的所述待检测区域截取出来，作为所述待检测图像。

8.根据权利要求1所述的方法，其特征在于，若所述交通事故检测结果表明存在交通事故，则在所述将所述目标的特征输入第二神经网络，得到交通事故检测结果之后，包括：

基于所述目标的特征对所述交通事故检测结果进行校验；

基于校验结果对所述交通事故检测结果进行修正。

9.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，

所述存储器存储有程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-8中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现如权利要求1-8中任一项所述的方法。

Images