CN113361299A

CN113361299A - 一种异常停车的检测方法、装置、存储介质及电子设备

Info

Publication number: CN113361299A
Application number: CN202010138811.3A
Authority: CN
Inventors: 吴聪; 李聪廷; 刘承文
Original assignee: Zhejiang Uniview Technologies Co Ltd
Current assignee: Zhejiang Uniview Technologies Co Ltd
Priority date: 2020-03-03
Filing date: 2020-03-03
Publication date: 2021-09-07
Anticipated expiration: 2040-03-03
Also published as: CN113361299B

Abstract

本申请实施例公开了一种异常停车的检测方法、装置、存储介质及电子设备。该方法包括：根据视频流中的至少两帧道路监控图像，确定每一帧道路监控图像的运动前景图像和背景图像；并根据所述运动前景图像确定被监控道路的行车兴趣区域；利用图像识别手段确定背景图像中的停止车辆区域；计算所述行车兴趣区域和所述停止车辆区域的重合部分，若所述重合部分大于设定阈值，则确定为异常停车。通过执行本技术方案，可以通过对道路监控图像中运动前景图像和背景图像的识别，将背景图像中存在的停车区域进行判断，进而可以无需考虑场景复杂度，简单有效的对异常停车进行快速并准确的检测。

Description

一种异常停车的检测方法、装置、存储介质及电子设备

技术领域

本申请实施例涉及图像识别技术领域，尤其涉及一种异常停车的检测方法、装置、存储介质及电子设备。

背景技术

随着交通事业的迅速发展，通过道路交通的顺畅程度直接影响着人们的出行效率和出行体验。为了及时对道路交通中出现的问题进行处理，在道路上方安装了各种各样的监控设备，监控设备的工作原理往往是将获取到的图像或者视频传入至服务器，并由人工进行实时监控。这样的监控费时费力，而且人工监控容易出现疏忽现象。

目前市面上现有的异常检测技术，其主要采用图像处理和模式识别技术对异常停车进行检测。其中的异常停车可以是在道路中心或者道路边缘车辆停止时，会对其他车辆的运行造成障碍的情况。目前的检测方式需要依靠大量的场景先验知识，且对场景环境以及视频质量有着较高要求，由于交通视频中存在场景多样、车辆遮挡、光照变化、人车混流等现象，现有的方案存在着识别范围小，识别效率低，识别精度差的缺陷。

发明内容

本申请实施例提供一种异常停车的检测方法、装置、存储介质及电子设备，可以通过对道路监控图像中运动前景图像和背景图像的识别，将背景图像中存在的停车区域进行判断，进而可以无需考虑场景复杂度，简单有效的对异常停车进行快速并准确的检测。

第一方面，本申请实施例提供了一种异常停车的检测方法，该方法包括：

根据视频流中的至少两帧道路监控图像，确定每一帧道路监控图像的运动前景图像和背景图像；并根据所述运动前景图像确定被监控道路的行车兴趣区域；

利用图像识别手段确定背景图像中的停止车辆区域；

计算所述行车兴趣区域和所述停止车辆区域的重合部分，若所述重合部分大于设定阈值，则确定为异常停车。

可选的，根据所述运动前景图像确定被监控道路的行车兴趣区域，包括：

获取每一帧运动前景图像；

根据图像透视原理对所述每一帧运动前景图像进行自适应膨胀处理；

将所有运动前景图像的自适应膨胀处理结果进行合并处理，以得到行车兴趣区域。

可选的，在将所有运动前景图像的自适应膨胀处理结果进行合并处理之后，所述方法还包括：

对合并处理结果进行中值滤波，得到边界平滑结果，将平滑后的区域确定为行车兴趣区域。

可选的，根据图像透视原理对所述每一帧运动前景图像进行自适应膨胀处理，包括：

获取预先设置的自适应卷积核，其中，所述自适应卷积核的大小是根据图像透视原理确定的；

将所述自适应卷积核与当前帧的前景图像做卷积计算，以得到自适应膨胀处理的结果。

可选的，将所述自适应卷积核与当前帧的前景图像做卷积计算，以得到自适应膨胀处理的结果，包括采用如下公式进行计算：

其中，M_dilate自适应膨胀处理完的结果，(x，y)为当前卷积坐标，M_fg为前景图像，K为m阶自适应卷积核，i、j为卷积核K中元素坐标，h为前景图像的高，α为设定系数，[]为取整函数。

可选的，利用图像识别手段确定背景图像中的停止车辆区域，包括：

获取道路监控图像中的背景图像；

采用预先训练的车辆目标识别模型，对背景图像中停止车辆区域进行识别，得到停止车辆区域。

可选的，在获取道路监控图像中的背景图像之后，所述方法还包括：

对所述背景图像进行透视变换分区裁切；

对每个透视变换分区按照预设尺度进行变换处理，得到各透视变换分区的变换结果，作为输入车辆目标识别模型的数据。

可选的，在确定为异常停车之后，所述方法还包括：

上报异常停车的发生时间与坐标位置。

第二方面，本申请实施例提供了一种异常停车的检测装置，该装置包括：

行车兴趣区域确定模块，用于根据视频流中的至少两帧道路监控图像，确定每一帧道路监控图像的运动前景图像和背景图像；并根据所述运动前景图像确定被监控道路的行车兴趣区域；

停止车辆区域识别模块，用于利用图像识别手段确定背景图像中的停止车辆区域；

异常停车确定模块，用于计算所述行车兴趣区域和所述停止车辆区域的重合部分，若所述重合部分大于设定阈值，则确定为异常停车。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的异常停车的检测方法。

第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的异常停车的检测方法。

本申请实施例所提供的技术方案，根据视频流中的至少两帧道路监控图像，确定每一帧道路监控图像的运动前景图像和背景图像；并根据所述运动前景图像确定被监控道路的行车兴趣区域；利用图像识别手段确定背景图像中的停止车辆区域；计算所述行车兴趣区域和所述停止车辆区域的重合部分，若所述重合部分大于设定阈值，则确定为异常停车。通过采用本申请所提供的技术方案，可以通过对道路监控图像中运动前景图像和背景图像的识别，将背景图像中存在的停车区域进行判断，进而可以无需考虑场景复杂度，简单有效的对异常停车进行快速并准确的检测。

附图说明

图1是本申请实施例提供的异常停车的检测方法的流程图；

图2是本申请实施例提供的异常停车的检测方法的示意图；

图3是本申请实施例提供的异常停车的检测装置的结构示意图；

图4是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1是本申请实施例提供的异常停车的检测方法的流程图，本实施例可适用于道路监控的情况，该方法可以由本申请实施例所提供的异常停车的检测装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于用于道路监控的电子设备中。

如图1所示，所述异常停车的检测方法包括：

S110、根据视频流中的至少两帧道路监控图像，确定每一帧道路监控图像的运动前景图像和背景图像；并根据所述运动前景图像确定被监控道路的行车兴趣区域。

其中，视频流中的至少两帧道路监控图像，可以是通过设置在道路上方的道路监控摄像头获取的，该视频流可以是一帧一帧的图像构成的，由于道路监控摄像头设置在道路的上方或者侧上方，因此可以得到该道路中车辆行驶过程中的图像，可以利用相邻或者间隔的抽取其中的两帧或者多帧图像进行比较，来得到其中的运动前景图像和背景图像，其中，运动前景图像可以是车辆在两帧或者多帧的情况下发生运动的图像，背景图像可以是在两帧或者多帧图像中未发生变化的图像，例如没有车辆行驶的区域，以及在道路中间或者道路边上的应急停车道路停止的车辆的区域。

在本实施例中，在确定运动前景图像之后，可以根据运动前景图像确定被监控道路的行车兴趣区域。例如，可以将多帧运动前景图像进行合并，构成一个相对固定的行车区域，进而确定为行车兴趣区域。示例性的，被监控的道路包括机动车行驶道路和应急停车道路，则在车流量较大的情况下，一般可以确定几条机动车行驶道路所形成的区域确定为行车兴趣区域，而在车流量较少的情况下，在几条机动车行驶道路中，例如最左侧为超车道路，严禁长时间行驶，则可能确定的行车兴趣区域不包括应急停车道路和最左侧的超车道路。

S120、利用图像识别手段确定背景图像中的停止车辆区域。

其中，由于背景图像是不存在运动物体所形成的图像，但是并不代表背景图像中不存在车辆，只要车辆处于停止状态，可以将车辆所处的区域确定为背景图像中。因此，在确定背景图像之后，可以将背景图像中是否存在车辆，以及车辆停止的位置和区域进行识别。由于车辆的大小在监控摄像头中往往是随着距离变化而变化的，因此，可以在图像识别过程中考虑到透视的因素影响，从而得到更加准确的停止车辆识别结果。识别完成后，确定停止车辆在道路中所占的区域为停止车辆区域。

在本实施例中，可选的，利用图像识别手段确定背景图像中的停止车辆区域，包括：获取道路监控图像中的背景图像；采用预先训练的车辆目标识别模型，对背景图像中停止车辆区域进行识别，得到停止车辆区域。

其中，车辆目标识别模型可以是预先设置好的，可以是将背景图像输入至车辆目标识别模型中，例如可以根据其中的像素点的像素值和像素值相近的区域的范围大小，对背景图像中是否存在车辆进行判断。由于每一帧道路监控图像均存在背景图像，则可以是将每一帧的背景图像输入至该模型中进行识别，如果道路监控图像选取的是连续数量帧，例如25或30帧，则可以对其中各个帧背景图像进行识别，确定各个帧背景图像存在的停止车辆区域。具体的，对于模型的训练过程可以如下：可以对获得的视频流进行抽帧，获取当前场景背景图像序列共提取500帧不同场景下图片。对提取的帧图像中的车辆进行标注，应将所有准确可判断的车辆标注出来，并将所有模糊不清目标排除不标注。将所述训练样本输入预设车辆目标检测任务学习及卷积神经网络中以计算得到车辆目标检测分类分值以及边界回归的损失函数值。根据所述损失函数值计算所述预设车辆目标检测任务学习及卷积神经网络的反向导数。根据所述反向导数计算所述预设模型中所有节点的权重参数的偏导数，根据所述偏导数对所述预设车辆目标检测任务学习及卷积神经网络的权重参数进行修正并更新，并重复前述过程，直到所述损失函数值收敛到最小值且不再减小，将该损失函数值对应的权重参数作为所述模型的权重参数，以得到车辆目标检测任务学习及卷积神经网络模型，即车辆目标识别模型。本技术方案中，选用预先设置的模型来确定背景图像中的停止车辆区域，可以达到识别速度快，识别效率高的效果。

在本技术方案中，可选的，在获取道路监控图像中的背景图像之后，所述方法还包括：对所述背景图像进行透视变换分区裁切；对每个透视变换分区按照预设尺度进行变换处理，得到各透视变换分区的变换结果，作为输入车辆目标识别模型的数据。

其中，透视变换分区裁切，例如可以根据图像与摄像头距离的远近裁切成多个分区。每个分区可以根据透视原理，对图像进行放大或者缩小处理，以使得各个分区的停止车辆的图像大小相近似，之后再输入至车辆目标识别模型。本技术方案这样设置的好处是可以让车辆目标识别模型的输入数据的规范化，有利于对停止车辆区域的图像进行识别。

S130、计算所述行车兴趣区域和所述停止车辆区域的重合部分，若所述重合部分大于设定阈值，则确定为异常停车。

其中，在确定行车兴趣区域和所述停止车辆区域之后，可以计算两个区域的重合部分的大小，若大于设定阈值，则确定停止车辆区域在其他车辆正常行驶的范围内造成了影响，则确定为异常停车。如果等于设定阈值或者小于设定阈值，则说明没有达到影响车辆正常行驶的范围，如路边停车，不会影响其他车辆的正常行驶，也就不会确定为异常停车。

本发明实施例提供一种面向复杂监控场景的轻量化异常停车智能检测方案，在提取出的背景兴趣区域中进行停车检测，无需传统的车辆跟踪和行为分析模块，大大减少了计算量，提高了检测效率，使得本方法可达到实时检测要求；利用监控视频中的多帧运动前景，计算当前场景中的道路行车兴趣区域，无需对场景区域进行人工标注，提高了该方案的泛化性以及对不同场景的适应性；另外，采用训练后的深度卷积网络进行车辆检测，提高了方法在各种复杂场景中对各类车辆的检测准确率。

在上述各技术方案的基础上，可选的在确定为异常停车之后，所述方法还包括：上报异常停车的发生时间与坐标位置。其中，可以根据摄像头的编号确定摄像头的安装位置，并根据所获取到的道路图像确定异常停车的位置，并通过系统时间确定异常停车的时间。相应的，可以将上报信息绑定到预设的系统或者是异常停车处置人员的监控设备中，以提示工作人员对其进行处理，从而减少异常停车现象，提高道路交通的流畅程度。

图2是本申请实施例提供的异常停车的检测方法的流程图，本技术方案是在上述技术方案的基础上的优化方案。具体优化为：根据所述运动前景图像确定被监控道路的行车兴趣区域，包括：获取每一帧运动前景图像；根据图像透视原理对所述每一帧运动前景图像进行自适应膨胀处理；将所有运动前景图像的自适应膨胀处理结果进行合并处理，以得到行车兴趣区域。

如图2所示，所述异常停车的检测方法包括：

S210、根据视频流中的至少两帧道路监控图像，确定每一帧道路监控图像的运动前景图像和背景图像。

S220、获取每一帧运动前景图像。

其中，运动前景图像可以是结合其他帧图像来共同确定的，由于不同时间相同道路上面行驶车辆的多少存在差异，因此不同时间针对相同路段，或者相同时间针对不同的路段，都会存在前景图像的差异。因此可以针对每一帧道路监控图像确定前景图像，可以为后续确定行车兴趣区域提供更加准确的信息。

S230、根据图像透视原理对所述每一帧运动前景图像进行自适应膨胀处理。

其中，自适应膨胀处理，可以是由于摄像头的视角为向道路边俯视的视角，因此对于不通道路，由于车身高度的不同，会在图像中将本道路的车辆的车身识别到其他道路上去，因此，可以通过自适应膨胀处理，来确定准确的行车兴趣区域。

S240、将所有运动前景图像的自适应膨胀处理结果进行合并处理，以得到行车兴趣区域。

由于自适应膨胀处理是针对每一帧的前景图像进行的，因此可以将多帧的自适应膨胀处理结果进行合并，以得到某一时间段内的行车兴趣区域。

在本技术方案中，可选的，在将所有运动前景图像的自适应膨胀处理结果进行合并处理之后，所述方法还包括：对合并处理结果进行中值滤波，得到边界平滑结果，将平滑后的区域确定为行车兴趣区域。其中，通过中值滤波进行平滑处理，可以使行车兴趣区域的边界更加平滑，有利于后续计算，并且符合客观场景中车辆行驶的情况。

在本技术方案中，可选的，根据图像透视原理对所述每一帧运动前景图像进行自适应膨胀处理，包括：

获取预先设置的自适应卷积核，其中，所述自适应卷积核的大小是根据图像透视原理确定的；将所述自适应卷积核与当前帧的前景图像做卷积计算，以得到自适应膨胀处理的结果。

其中，卷积核中各元素的数值可以是固定的，可以随着图像位置与摄像头位置的变化，调整卷积核的大小，以得到符合透视原理的膨胀效果。具体的，例如可以在图像中，对于距离较近的前景图像的卷积核确定为5*5的大小，较远的前景图像的卷积核确定为4*4的大小，对于更远的前景图像的卷积核，确定为3*3的图像大小。通过这样的设置，可以得到更加准确的前景图像的范围，有利于提高对异常停车的检测的准确性。

在本技术方案中，可选的，将所述自适应卷积核与当前帧的前景图像做卷积计算，以得到自适应膨胀处理的结果，包括采用如下公式进行计算：

通过上述公式的计算，可以确定自适应膨胀处理的结果，并且可以准确的得出行车兴趣区域，以提高停止车辆是否为异常停车的识别结果的准确性。

S250、利用图像识别手段确定背景图像中的停止车辆区域。

S260、计算所述行车兴趣区域和所述停止车辆区域的重合部分，若所述重合部分大于设定阈值，则确定为异常停车。

本技术方案在上述技术方案的基础上，提供了一种通过自适应膨胀处理得到的行车兴趣区域的方法，通过这样的设置，可以考虑到通道路监控摄像头的角度向下俯视道路时车身的高度对行车兴趣区域的影响，从而提高行车兴趣区域的计算准确性，而且提高了本技术方案针对任意复杂场景计算的适应性。

图3是本申请实施例提供的异常停车的检测装置的结构示意图。如图3所示，所述异常停车的检测装置，包括：

行车兴趣区域确定模块310，用于根据视频流中的至少两帧道路监控图像，确定每一帧道路监控图像的运动前景图像和背景图像；并根据所述运动前景图像确定被监控道路的行车兴趣区域；

停止车辆区域识别模块320，用于利用图像识别手段确定背景图像中的停止车辆区域；

异常停车确定模块330，用于计算所述行车兴趣区域和所述停止车辆区域的重合部分，若所述重合部分大于设定阈值，则确定为异常停车。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种异常停车的检测方法，该方法包括：

利用图像识别手段确定背景图像中的停止车辆区域；

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的异常停车的检测操作，还可以执行本申请任意实施例所提供的异常停车的检测方法中的相关操作。

本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的异常停车的检测装置。图4是本申请实施例提供的一种电子设备的结构示意图。如图4所示，本实施例提供了一种电子设备400，其包括：一个或多个处理器420；存储装置410，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器420执行，使得所述一个或多个处理器420实现本申请实施例所提供的异常停车的检测方法，该方法包括：

利用图像识别手段确定背景图像中的停止车辆区域；

当然，本领域技术人员可以理解，处理器420还实现本申请任意实施例所提供的异常停车的检测方法的技术方案。

图4显示的电子设备400仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，该电子设备400包括处理器420、存储装置410、输入装置430和输出装置440；电子设备中处理器420的数量可以是一个或多个，图4中以一个处理器420为例；电子设备中的处理器420、存储装置410、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线450连接为例。

存储装置410作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的异常停车的检测方法对应的程序指令。

存储装置410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏、扬声器等设备。

本申请实施例提供的电子设备，可以通过对道路监控图像中运动前景图像和背景图像的识别，将背景图像中存在的停车区域进行判断，进而可以无需考虑场景复杂度，简单有效的对异常停车进行快速并准确的检测。

上述实施例中提供的异常停车的检测装置、存储介质及电子设备可执行本申请任意实施例所提供的异常停车的检测方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的异常停车的检测方法。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims

1.一种异常停车的检测方法，其特征在于，包括：

利用图像识别手段确定背景图像中的停止车辆区域；

2.根据权利要求1所述的方法，其特征在于，根据所述运动前景图像确定被监控道路的行车兴趣区域，包括：

获取每一帧运动前景图像；

3.根据权利要求2所述的方法，其特征在于，在将所有运动前景图像的自适应膨胀处理结果进行合并处理之后，所述方法还包括：

4.根据权利要求2所述的方法，其特征在于，根据图像透视原理对所述每一帧运动前景图像进行自适应膨胀处理，包括：

5.根据权利要求4所述的方法，其特征在于，将所述自适应卷积核与当前帧的前景图像做卷积计算，以得到自适应膨胀处理的结果，包括采用如下公式进行计算：

6.根据权利要求1所述的方法，其特征在于，利用图像识别手段确定背景图像中的停止车辆区域，包括：

获取道路监控图像中的背景图像；

7.根据权利要求6所述的方法，其特征在于，在获取道路监控图像中的背景图像之后，所述方法还包括：

对所述背景图像进行透视变换分区裁切；

8.根据权利要求1所述的方法，其特征在于，在确定为异常停车之后，所述方法还包括：

上报异常停车的发生时间与坐标位置。

9.一种异常停车的检测装置，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的异常停车的检测方法。

11.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的异常停车的检测方法。