CN113591679A - 一种违停车辆检测方法及装置 - Google Patents

Abstract

本发明提供了一种违停车辆检测方法及装置，该方法包括：对目标区域的视频图像进行车头、车尾旋转目标跟踪检测，得到第一跟踪检测结果；根据该跟踪检测结果进行预违停识别，得到包括预违停车辆的车牌号码的预违停识别结果，同时向该目标车辆绑定的移动终端发送违停告警信息；对该目标区域的视频图像进行车辆跟踪检测车头、车尾旋转目标跟踪检测，得到第二跟踪检测结果；根据该预违停识别结果与该第二跟踪检测结果进行违停车辆检测，可以解决相关技术中由于违停区域车辆朝向杂乱，使用标准矩形框检测目标，造成车辆预违停事件重复上报，从而引发投诉问题，保证了大角度车辆检测的稳定性，避免了预违停处理的重复上报。

Description

一种违停车辆检测方法及装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种违停车辆检测方法及装置。

背景技术

随着社会不断发展，人们的生活水平不断提高，很多人都拥有属于自己的机动车，导致现在的交通越来越拥挤，违法停车现象也越来越多，不按交通法规乱停乱放的现象大有所在，而违法停车，特别容易造成城市道路的大拥堵，特别在上下高峰期，交警部门也制定了相应法规，对违法停车现象进行约束惩罚，但只通过人力贴罚单这种手段，人力成本过大，故开发一种智能违停球机的违停车辆检测跟踪定位抓拍方法迫在眉睫。

违停区域车辆朝向杂乱，而使用标准矩形框检测目标，当车辆大角度倾斜重叠违停时，极易存在检测框不稳定的情况，进而导致车辆跟踪ID不连续，最后造成车辆预违停事件重复上报，进而导致预违停提示短信重复发给车主，引发车主投诉。

针对相关技术中由于违停区域车辆朝向杂乱，使用标准矩形框检测目标，造成车辆预违停事件重复上报，从而引发投诉问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种违停车辆检测方法及装置，以至少解决相关技术中由于违停区域车辆朝向杂乱，使用标准矩形框检测目标，造成车辆预违停事件重复上报，从而引发投诉问题。

根据本发明的一个实施例，提供了一种违停车辆检测方法，包括：

对目标区域的视频图像进行车头、车尾旋转目标跟踪检测，得到第一跟踪检测结果；

根据所述跟踪检测结果进行预违停识别，得到包括预违停车辆的车牌号码的预违停识别结果，同时向所述目标车辆绑定的移动终端发送违停告警信息，其中，所述告警信息用于提示在预设的违停抓拍时间内移动车辆；

对所述目标区域的视频图像进行车辆跟踪检测车头、车尾旋转目标跟踪检测，得到第二跟踪检测结果；

根据所述预违停识别结果与所述第二跟踪检测结果进行违停车辆检测。

可选地，对目标区域的视频图像进行车头、车尾目标跟踪检测包括：

对所述视频图像的多帧图像中的每帧图像进行特征提取，得到每帧图像的图像特征；

采用深度学习特征融合网络对所述每帧图像的图像特征进行特征融合，得到融合后的目标特征图；

对所述目标特征图进行旋转目标检测，得到包括车头和车尾的检侧结果，其中，所述检测结果包括目标框的中心点坐标、目标框的宽度、目标框的高度、目标框的旋转角度、目标框的类别，其中，所述类别包括车头、车尾；

根据所述多帧图像的检测结果进行车头、车尾跟踪。

可选地，根据所述多帧图像的所述检测结果进行车头、车尾跟踪包括：

对所述多帧图像每相邻两帧图像执行以下操作，进行车头、车尾跟踪，其中，正在执行的图像为当前帧图像：

判断所述当前帧图像的目标框的中心点在预设坐标系中的X坐标与上一帧图像的目标框的中心点在所述预设坐标系中的X坐标的差值的绝对值是否小于所述上一帧图像的目标框的高度，且所述当前帧图像的目标框的中心点在所述预设坐标系中的Y坐标与上一帧图像的目标框的中心点在所述预设坐标系中的Y坐标的差值的绝对值是否小于所述上一帧图像的目标框的高度；

判断所述当前帧图像的目标框的旋转角度是否与上一帧图像的目标框的旋转角度的差值的绝对值小于预设旋转角度；

判断所述当前帧图像的目标框是否与上一帧图像的目标框的交并比IOU大于预设阈值；

判断所述当前帧图像的目标框的类别是否与上一帧图像的目标框的类别相同；

在判断结果均为是的情况下，确定所述当前帧图像的目标车辆与所述上一帧图像的目标车辆为同一目标车辆。

可选地，根据所述跟踪检测结果进行预违停识别，得到预违停识别结果包括：

若所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆处于静止状态的第一时间大于预设违停时间阈值，控制球机以旋转目标跟踪检测得到的目标框的中心点为中心切换为近景模式；

在所述近景场景下对所述目标车辆进行车牌检测；

若检测到所述目标车辆的车牌号码，且在预设的重复上报过滤时间内所述目标车辆的车牌号码未上报，确定所述目标车辆为预违停车辆。

可选地，在若所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆处于静止状态的第一时间大于预设违停时间阈值，控制球机切换为近景模式之前，所述方法还包括：

分别确定所述视频图像的多帧图像中的第2帧图像至第n帧图像的目标车辆的目标框与第1帧图像的交并比IOU，得到n-1个IOU；

若所述n-1个IOU均大于预设阈值，确定所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆。

可选地，根据所述预违停识别结果与所述车辆跟踪结果进行违停车辆检测包括：

将所述目标车辆的车牌号码与所述预违停车辆的车牌号码进行对比，得到对比结果；

若所述对比结果为所述目标车辆的车牌号码与所述预违停车辆的车牌号码一致，确定所述目标车辆为违停车辆。

可选地，所述方法还包括：

在所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆的第一静止时间大于预设违停时间阈值的情况下，抓拍包括所述目标车辆的第一图像；

在确定所述目标车辆为预违停车辆之后，抓拍包括所述目标车辆的第二图像；

在所述目标区域内所述目标车辆保持静止状态，且所述目标车辆处于静止状态的第二时间大于所述预设违停时间阈值的情况下，抓拍包括所述目标车辆的第三图像；

在确定所述目标车辆为违停车辆之后，抓拍包括所述目标车辆的第四图像；

根据所述第一图像、所述第二图像、所述第三图像以及所述第四图像生成所述目标车辆的证据链合成图，并将所述目标车辆的车牌号码与所述证据链合成图进行关联并存储。

根据本发明的另一个实施例，还提供了一种违停车辆检测装置，包括：

第一跟踪检测模块，用于对目标区域的视频图像进行车头、车尾旋转目标跟踪检测，得到第一跟踪检测结果；

预违停识别模块，用于根据所述跟踪检测结果进行预违停识别，得到包括预违停车辆的车牌号码的预违停识别结果，同时向所述目标车辆绑定的移动终端发送违停告警信息，其中，所述告警信息用于提示在预设的违停抓拍时间内移动车辆；

第二跟踪检测模块，用于对所述目标区域的视频图像进行车辆跟踪检测车头、车尾旋转目标跟踪检测，得到第二跟踪检测结果；

违停检测模块，用于根据所述预违停识别结果与所述第二跟踪检测结果进行违停车辆检测。

可选地，所述第一跟踪检测模块，或所述第二跟踪检测模块包括：

特征提取子模块，用于对所述视频图像的多帧图像中的每帧图像进行特征提取，得到每帧图像的图像特征；

特征融合子模块，用于采用深度学习特征融合网络对所述每帧图像的图像特征进行特征融合，得到融合后的目标特征图；

目标检测子模块，用于对所述目标特征图进行旋转目标检测，得到包括车头和车尾的检侧结果，其中，所述检测结果包括目标框的中心点坐标、目标框的宽度、目标框的高度、目标框的旋转角度、目标框的类别，其中，所述类别包括车头、车尾；

跟踪子模块，用于根据所述多帧图像的检测结果进行车头、车尾跟踪。

可选地，所述跟踪子模块，还用于

对所述多帧图像每相邻两帧图像执行以下操作，进行车头、车尾跟踪，其中，正在执行的图像为当前帧图像：

判断所述当前帧图像的目标框的中心点在预设坐标系中的X坐标与上一帧图像的目标框的中心点在所述预设坐标系中的X坐标的差值的绝对值是否小于所述上一帧图像的目标框的高度，且所述当前帧图像的目标框的中心点在所述预设坐标系中的Y坐标与上一帧图像的目标框的中心点在所述预设坐标系中的Y坐标的差值的绝对值是否小于所述上一帧图像的目标框的高度；

判断所述当前帧图像的目标框的旋转角度是否与上一帧图像的目标框的旋转角度的差值的绝对值小于预设旋转角度；

判断所述当前帧图像的目标框是否与上一帧图像的目标框的交并比IOU大于预设阈值；

判断所述当前帧图像的目标框的类别是否与上一帧图像的目标框的类别相同；

在判断结果均为是的情况下，确定所述当前帧图像的目标车辆与所述上一帧图像的目标车辆为同一目标车辆。

可选地，所述预违停识别模块包括：

切换子模块，用于若所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆处于静止状态的第一时间大于预设违停时间阈值，控制球机以旋转目标跟踪检测得到的目标框的中心点为中心切换为近景模式；

车牌检测子模块，用于在所述近景场景下对所述目标车辆进行车牌检测；

第一确定子模块，用于若检测到所述目标车辆的车牌号码，且在预设的重复上报过滤时间内所述目标车辆的车牌号码未上报，确定所述目标车辆为预违停车辆。

可选地，所述装置还包括：

第二确定子模块，用于分别确定所述视频图像的多帧图像中的第2帧图像至第n帧图像的目标车辆的目标框与第1帧图像的交并比IOU，得到n-1个IOU；

第三确定子模块，用于若所述n-1个IOU均大于预设阈值，确定所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆。

可选地，所述违停检测模块包括：

对比子模块，用于将所述目标车辆的车牌号码与所述预违停车辆的车牌号码进行对比，得到对比结果；

第四确定子模块，用于若所述对比结果为所述目标车辆的车牌号码与所述预违停车辆的车牌号码一致，确定所述目标车辆为违停车辆。

可选地，所述装置还包括：

第一抓拍模块，用于在所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆的第一静止时间大于预设违停时间阈值的情况下，抓拍包括所述目标车辆的第一图像；

第二抓拍模块，用于在确定所述目标车辆为预违停车辆之后，抓拍包括所述目标车辆的第二图像；

第三抓拍模块，用于在所述目标区域内所述目标车辆保持静止状态，且所述目标车辆处于静止状态的第二时间大于所述预设违停时间阈值的情况下，抓拍包括所述目标车辆的第三图像；

第四抓拍模块，用于在确定所述目标车辆为违停车辆之后，抓拍包括所述目标车辆的第四图像；

生成模块，用于根据所述第一图像、所述第二图像、所述第三图像以及所述第四图像生成所述目标车辆的证据链合成图，并将所述目标车辆的车牌号码与所述证据链合成图进行关联并存储。

根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，对目标区域的视频图像进行车头、车尾旋转目标跟踪检测，得到第一跟踪检测结果；根据所述跟踪检测结果进行预违停识别，得到包括预违停车辆的车牌号码的预违停识别结果，同时向所述目标车辆绑定的移动终端发送违停告警信息，所述告警信息用于提示在预设的违停抓拍时间内移动车辆；对所述目标区域的视频图像进行车辆跟踪检测车头、车尾旋转目标跟踪检测，得到第二跟踪检测结果；根据所述预违停识别结果与所述第二跟踪检测结果进行违停车辆检测，可以解决相关技术中由于违停区域车辆朝向杂乱，使用标准矩形框检测目标，造成车辆预违停事件重复上报，从而引发投诉问题，采用旋转机动车车头车尾检测，保证了大角度车辆检测的稳定性，避免了预违停处理的重复上报，可以大大减少不必要的投诉。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的违停车辆检测方法的移动终端的硬件结构框图；

图2是根据本发明实施例的违停车辆检测方法的流程图；

图3是根据本发明实施例的智能违停球机的违停车辆检测跟踪定位抓拍的框图；

图4是根据本发明实施例的配置违停区域配置线的示意图；

图5是根据本发明实施例的旋转机动车车头车尾检测网络的示意图；

图6是根据本发明实施例的违停球近景车牌检测识别的示意图；

图7是根据本发明实施例的目标禁止判断队列的示意图；

图8是根据本发明实施例的违停车辆抓拍判断的流程图；

图9根据本发明实施例的违停球抓拍证据链的示意图；

图10是根据本发明实施例的违停车辆检测装置的框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的违停车辆检测方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的深度图像增强处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及远程登录的控制，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述移动终端或网络架构的违停车辆检测方法，图2是根据本发明实施例的违停车辆检测方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，对目标区域的视频图像进行车头、车尾旋转目标跟踪检测，得到第一跟踪检测结果；

本实施例中的目标区域，一般指的是违停区域，即不允许停车的区域。

步骤S204，根据所述跟踪检测结果进行预违停识别，得到包括预违停车辆的车牌号码的预违停识别结果，同时向所述目标车辆绑定的移动终端发送违停告警信息，其中，所述告警信息用于提示在预设的违停抓拍时间内移动车辆；

本实施例中，预违停指的是即将违停，预违停识别指的是对即将违停的行为进行识别。

步骤S206，对所述目标区域的视频图像进行车辆跟踪检测车头、车尾旋转目标跟踪检测，得到第二跟踪检测结果；

步骤S208，根据所述预违停识别结果与所述第二跟踪检测结果进行违停车辆检测。

本发明实施例中，上述步骤S208具体可以包括：将所述目标车辆的车牌号码与所述预违停车辆的车牌号码进行对比，得到对比结果；若所述对比结果为所述目标车辆的车牌号码与所述预违停车辆的车牌号码一致，确定所述目标车辆为违停车辆。

通过上述步骤S202至S208，可以解决相关技术中由于违停区域车辆朝向杂乱，使用标准矩形框检测目标，造成车辆预违停事件重复上报，从而引发投诉问题，采用旋转机动车车头车尾检测，保证了大角度车辆检测的稳定性，避免了预违停处理的重复上报，可以大大减少不必要的投诉。

本发明实施例中，上述步骤S202或S204具体可以包括：

S11，对所述视频图像的多帧图像中的每帧图像进行特征提取，得到每帧图像的图像特征；

S12，采用深度学习特征融合网络对所述每帧图像的图像特征进行特征融合，得到融合后的目标特征图；

S13，对所述目标特征图进行旋转目标检测，得到包括车头和车尾的检侧结果，其中，所述检测结果包括目标框的中心点坐标、目标框的宽度、目标框的高度、目标框的旋转角度、目标框的类别，其中，所述类别包括车头、车尾；

S14，根据所述多帧图像的检测结果进行车头、车尾跟踪。

进一步的，上述步骤S14具体可以包括：对所述多帧图像每相邻两帧图像执行以下操作，进行车头、车尾跟踪，其中，正在执行的图像为当前帧图像：判断所述当前帧图像的目标框的中心点在预设坐标系中的X坐标与上一帧图像的目标框的中心点在所述预设坐标系中的X坐标的差值的绝对值是否小于所述上一帧图像的目标框的高度，且所述当前帧图像的目标框的中心点在所述预设坐标系中的Y坐标与上一帧图像的目标框的中心点在所述预设坐标系中的Y坐标的差值的绝对值是否小于所述上一帧图像的目标框的高度；判断所述当前帧图像的目标框的旋转角度是否与上一帧图像的目标框的旋转角度的差值的绝对值小于预设旋转角度；判断所述当前帧图像的目标框是否与上一帧图像的目标框的交并比IOU大于预设阈值；判断所述当前帧图像的目标框的类别是否与上一帧图像的目标框的类别相同；在判断结果均为是的情况下，确定所述当前帧图像的目标车辆与所述上一帧图像的目标车辆为同一目标车辆。

本发明实施例中，上述步骤S204具体可以包括：

S21，若所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆处于静止状态的第一时间大于预设违停时间阈值，控制球机以旋转目标跟踪检测得到的目标框的中心点为中心切换为近景模式；

S22，在所述近景场景下对所述目标车辆进行车牌检测；

S23，若检测到所述目标车辆的车牌号码，且在预设的重复上报过滤时间内所述目标车辆的车牌号码未上报，确定所述目标车辆为预违停车辆。

在一可选的实施例中，在上述步骤S21之前，分别确定所述视频图像的多帧图像中的第2帧图像至第n帧图像的目标车辆的目标框与第1帧图像的交并比(Intersection OverUnion，简称为IOU)，得到n-1个IOU；若所述n-1个IOU均大于预设阈值，确定所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆。

本发明实施例还可以解决相关技术中无法得到完整的证据链的问题，通过抓拍目标车辆从预违停到违停过程中的图像，并将抓拍到的多个图像形成证据链，便于存档与查看记录。具体的，在所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆的第一静止时间大于预设违停时间阈值的情况下，抓拍包括所述目标车辆的第一图像；在确定所述目标车辆为预违停车辆之后，抓拍包括所述目标车辆的第二图像；在所述目标区域内所述目标车辆保持静止状态，且所述目标车辆处于静止状态的第二时间大于所述预设违停时间阈值的情况下，抓拍包括所述目标车辆的第三图像；在确定所述目标车辆为违停车辆之后，抓拍包括所述目标车辆的第四图像；根据所述第一图像、所述第二图像、所述第三图像以及所述第四图像生成所述目标车辆的证据链合成图，并将所述目标车辆的车牌号码与所述证据链合成图进行关联并存储。

本发明实施例的智能违停球机的违停车辆检测跟踪定位抓拍，主要包括：首先将含有违停区域场景的视频作为输入，其次通过配置预违停时间阈值、违停抓拍时间阈值、重复上报过滤时间、车牌字符正确比对率、违停区域画线配置，最后进入车辆违停抓拍，违停球在远景模式下，对输入图像逐帧进行机动车车头车尾旋转目标检测与跟踪，根据违停区域配置线，若在违停区域内出现静止状态的目标，且静止时间>预违停时间阈值，此时预抓拍第一张，同时球机会以该目标的中心点为中心进行变倍至近景，变倍阈值根据场景进行设置，保证变倍后可以看清清晰车牌，其次，在近景场景下进行车牌检测和识别，若识别到国标车牌，则判断在重复上报过滤时间内是否存在该车牌上报，若有则取消，若无则预抓拍第二张，同时向车主发送违停警告短信，提示在违停抓拍时间内移动车辆，接着，球机变倍回远景场景，继续对该目标进行检测跟踪，若在违停区域内该目标一直保持静止状态，且静止时间>违停时间阈值，则预抓拍第三张，并再次变倍到近景场景，对该目标进行车牌检测和识别，若识别到国标车牌且与预违停车牌识别结果比对，匹配率大于配置的车牌字符正确比对率，则认为前后车辆为同一车辆，满足违停抓拍条件，抓拍第四张，完成完整证据链合成图，并将违法结果发给车主。

图3是根据本发明实施例的智能违停球机的违停车辆检测跟踪定位抓拍的框图，如图3所示，主要包括：输入模块32、配置模块34、车辆违停抓拍模块36。

输入模块32，用于输入视频，输入含有违停区域场景的视频。

配置模块34，用于配置预违停时间阈值s_pre、违停抓拍时间阈值s_final、重复上报过滤时间s_filter、车牌字符正确比对率pr、违停区域的配置线如图4所示。

车辆违停抓拍模块36，用于抓拍图像，合成违停车辆的证据链，具体包括：

旋转机动车车头车尾检测跟踪、车牌识别，包括：

旋转机动车车头车尾检测跟踪，用于解决车辆大角度倾斜遮挡情况下，违停抓拍检测不稳定、跟踪ID易跳变导致的重复预抓拍，进而导致车主不断收到预警示短信的问题。

图5是根据本发明实施例的旋转机动车车头车尾检测网络的示意图，如图5所示，backbone采用深度学习特征提取方法不限于如VGGNet(Visual Geometry Group Network，视觉几何组网络)等；encode和decode部分为特征融合模块，采用深度学习特征融合网络将边界模糊、注意力机制特征图、原网络特征图、显著性特征图、二进制特征图等特征图融合，RotationBranch为旋转目标检测下游分支，由R-RPN、R-ROIAlign和回归loss组成；最后输出采用网络管理系统(Network Management System，简称为NMS)得到，目标框的中心点坐标C.x、C.y、宽w、高h以及旋转角度θ，同时区分车头和车尾两种类别。

其次，进行旋转机动车车头车尾跟踪，跟踪可采用不限于传统的相关滤波或深度学习跟踪方法，独特的在这些跟踪基础上，加入跟踪策略，本提案跟踪需满足式1的所有判断条件才会将前后目标框判断为同一目标进行跟踪，其中pre表示前一帧目标，pre_C为前一帧该目标框中心点，pre_θ为前一帧该目标框旋转角度，pre_Class为前一帧目标框类别，cur表示当前帧目标，cur_C为当前帧该目标框中心点，cur_θ为当前帧该目标框中心点，cur_Class为当前帧目标框类别，pre_h为前一帧图像的目标框高度，最后设置跟踪最长间隔为10s，这样考虑到了目标可能被横向被遮挡的情况，被遮挡10s以内一样能跟踪回来，同时严格的跟踪条件也保证了跟踪的准确性。

其次，车牌检测同样采用旋转目标检测方法，图6是根据本发明实施例的违停球近景车牌检测识别的示意图，如图6所示，将检测得到的车牌根据检测输出的角度θ进行旋转变换修正倾斜图像，而后采用传统方法不限于投影分割形态学+支持向量机SVM方法等或深度学习方法等进行车牌识别。

目标静止判断，判断车辆目标是否静止，建立一个长度为n的队列，图7是根据本发明实施例的目标禁止判断队列的示意图，如图7所示，

表示第n帧该目标与第1帧该目标框的IOU，n根据时长进行设置，若第2帧至第n帧与第1帧的IOU均大于0.5则认为该目标为静止的；

有了稳定的车辆检测和跟踪，后续进行抓拍判断逻辑，车辆违停抓拍模块36用于执行违停车辆抓拍判断与抓拍，图8是根据本发明实施例的违停车辆抓拍判断的流程图，如图8所示，包括以下步骤：

步骤S801，机动车车头车尾旋转目标检测与跟踪；

步骤S802，判断远景场景车辆静止时长是否满足预设违停抓拍时间，在判断结果为是的情况下，执行步骤S803，否则取消；

步骤S803，判断变倍到近景模式检测并识别车牌；

步骤S804，判断是否识别到国标车牌号，在判断结果为是的情况下，执行步骤S805，否则取消；

步骤S805，判断在重复上报过滤时间内是否已经上报该车牌号，在判断结果为否的情况下，执行步骤S806，在判断结果为是的情况下取消；

步骤S806，向车主发送告警信息，提示在违停抓拍时间内移动车辆；

步骤S807，继续机动车车头车尾旋转目标检测与跟踪；

步骤S808，判断远景场景该车辆目标静止时长是否满足违停抓拍时间，在判断结果为是的情况下，执行步骤S809，否则取消；

步骤S809，变倍到近景模式检测并识别车牌；

步骤S810，判断车牌识别结果与预违停识别结果比对匹配率是否大于配置的车牌字符正确比对率，在判断结果为是的情况下，执行步骤S811，否则取消；

步骤S811，完整证据链合成，并发送给车主。

图9根据本发明实施例的违停球抓拍证据链的示意图，如图9所示，违停球处于远景模式下，逐帧进行机动车车头车尾旋转目标检测与跟踪，根据违停区域配置线，若在违停区域内出现静止状态的目标，且静止时间>预违停时间阈值s_pre，此时预抓拍第一图像(图像1)，同时球机会以该目标的中心点为中心进行变倍至近景，变倍阈值根据场景进行设置，保证变倍后可以看清清晰车牌，其次，在近景场景下进行车牌检测和识别，若识别到国标车牌，则判断在重复上报过滤时间s_filter内是否存在该车牌上报，若有则取消，若无则预抓拍第二图像(图像2)，同时向车主发送违停警告短信，提示在违停抓拍时间s_final内移动车辆，接着，球机变倍回远景场景，继续对该目标进行检测跟踪，若在违停区域内该目标一直保持静止状态，且静止时间>违停时间阈值s_final，则预抓拍第三图像(图像3)，并再次变倍到近景场景，对该目标进行车牌检测和识别，若识别到国标车牌且与预违停车牌识别结果比对，匹配率大于配置的车牌字符正确比对率pr，则认为前后车辆为同一车辆，满足违停抓拍条件，抓拍第四图像(图像4)，完成完整证据链合成图，并将违法结果发给车主。

实施例2

根据本发明的另一个实施例，还提供了一种违停车辆检测装置，图10是根据本发明实施例的违停车辆检测装置的框图，如图10所示，包括：

第一跟踪检测模块102，用于对目标区域的视频图像进行车头、车尾旋转目标跟踪检测，得到第一跟踪检测结果；

预违停识别模块104，用于根据所述跟踪检测结果进行预违停识别，得到包括预违停车辆的车牌号码的预违停识别结果，同时向所述目标车辆绑定的移动终端发送违停告警信息，其中，所述告警信息用于提示在预设的违停抓拍时间内移动车辆；

第二跟踪检测模块106，用于对所述目标区域的视频图像进行车辆跟踪检测车头、车尾旋转目标跟踪检测，得到第二跟踪检测结果；

违停检测模块108，用于根据所述预违停识别结果与所述第二跟踪检测结果进行违停车辆检测。

可选地，所述第一跟踪检测模块102，或所述第二跟踪检测模块106包括：

特征提取子模块，用于对所述视频图像的多帧图像中的每帧图像进行特征提取，得到每帧图像的图像特征；

特征融合子模块，用于采用深度学习特征融合网络对所述每帧图像的图像特征进行特征融合，得到融合后的目标特征图；

目标检测子模块，用于对所述目标特征图进行旋转目标检测，得到包括车头和车尾的检侧结果，其中，所述检测结果包括目标框的中心点坐标、目标框的宽度、目标框的高度、目标框的旋转角度、目标框的类别，其中，所述类别包括车头、车尾；

跟踪子模块，用于根据所述多帧图像的检测结果进行车头、车尾跟踪。

可选地，所述跟踪子模块，还用于

对所述多帧图像每相邻两帧图像执行以下操作，进行车头、车尾跟踪，其中，正在执行的图像为当前帧图像：

判断所述当前帧图像的目标框的中心点X坐标与上一帧图像的目标框的中心点X坐标的差值的绝对值是否小于所述上一帧图像的目标框的高度，且所述当前帧图像的目标框的中心点Y坐标与上一帧图像的目标框的中心点Y坐标的差值的绝对值是否小于所述上一帧图像的目标框的高度；

判断所述当前帧图像的目标框的旋转角度是否与上一帧图像的目标框的旋转角度的差值的绝对值小于预设旋转角度；

判断所述当前帧图像的目标框是否与上一帧图像的目标框的交并比IOU大于预设阈值；

判断所述当前帧图像的目标框的类别是否与上一帧图像的目标框的类别相同；

在判断结果均为是的情况下，确定所述当前帧图像的目标车辆与所述上一帧图像的目标车辆为同一目标车辆。

可选地，所述预违停识别模块104包括：

切换子模块，用于若所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆处于静止状态的第一时间大于预设违停时间阈值，控制球机以旋转目标跟踪检测得到的目标框的中心点为中心切换为近景模式；

车牌检测子模块，用于在所述近景场景下对所述目标车辆进行车牌检测；

第一确定子模块，用于若检测到所述目标车辆的车牌号码，且在预设的重复上报过滤时间内所述目标车辆的车牌号码未上报，确定所述目标车辆为预违停车辆。

可选地，所述装置还包括：

第二确定子模块，用于分别确定所述视频图像的多帧图像中的第2帧图像至第n帧图像的目标车辆的目标框与第1帧图像的交并比IOU，得到n-1个IOU；

第三确定子模块，用于若所述n-1个IOU均大于预设阈值，确定所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆。

可选地，所述违停检测模块108包括：

对比子模块，用于将所述目标车辆的车牌号码与所述预违停车辆的车牌号码进行对比，得到对比结果；

第四确定子模块，用于若所述对比结果为所述目标车辆的车牌号码与所述预违停车辆的车牌号码一致，确定所述目标车辆为违停车辆。

可选地，所述装置还包括：

第一抓拍模块，用于在所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆的第一静止时间大于预设违停时间阈值的情况下，抓拍包括所述目标车辆的第一图像；

第二抓拍模块，用于在确定所述目标车辆为预违停车辆之后，抓拍包括所述目标车辆的第二图像；

第三抓拍模块，用于在所述目标区域内所述目标车辆保持静止状态，且所述目标车辆处于静止状态的第二时间大于所述预设违停时间阈值的情况下，抓拍包括所述目标车辆的第三图像；

第四抓拍模块，用于在确定所述目标车辆为违停车辆之后，抓拍包括所述目标车辆的第四图像；

生成模块，用于根据所述第一图像、所述第二图像、所述第三图像以及所述第四图像生成所述目标车辆的证据链合成图，并将所述目标车辆的车牌号码与所述证据链合成图进行关联并存储。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，对目标区域的视频图像进行车头、车尾旋转目标跟踪检测，得到第一跟踪检测结果；

S2，根据所述跟踪检测结果进行预违停识别，得到包括预违停车辆的车牌号码的预违停识别结果，同时向所述目标车辆绑定的移动终端发送违停告警信息，其中，所述告警信息用于提示在预设的违停抓拍时间内移动车辆；

S3，对所述目标区域的视频图像进行车辆跟踪检测车头、车尾旋转目标跟踪检测，得到第二跟踪检测结果；

S4，根据所述预违停识别结果与所述第二跟踪检测结果进行违停车辆检测。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

实施例4

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，对目标区域的视频图像进行车头、车尾旋转目标跟踪检测，得到第一跟踪检测结果；

S2，根据所述跟踪检测结果进行预违停识别，得到包括预违停车辆的车牌号码的预违停识别结果，同时向所述目标车辆绑定的移动终端发送违停告警信息，其中，所述告警信息用于提示在预设的违停抓拍时间内移动车辆；

S3，对所述目标区域的视频图像进行车辆跟踪检测车头、车尾旋转目标跟踪检测，得到第二跟踪检测结果；

S4，根据所述预违停识别结果与所述第二跟踪检测结果进行违停车辆检测。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种违停车辆检测方法，其特征在于，包括：

对目标区域的视频图像进行车头、车尾旋转目标跟踪检测，得到第一跟踪检测结果；

根据所述跟踪检测结果进行预违停识别，得到包括预违停车辆的车牌号码的预违停识别结果，同时向所述目标车辆绑定的移动终端发送违停告警信息，其中，所述告警信息用于提示在预设的违停抓拍时间内移动车辆；

对所述目标区域的视频图像进行车辆跟踪检测车头、车尾旋转目标跟踪检测，得到第二跟踪检测结果；

根据所述预违停识别结果与所述第二跟踪检测结果进行违停车辆检测。

2.根据权利要求1所述的违停车辆检测方法，其特征在于，对目标区域的视频图像进行车头、车尾目标跟踪检测包括：

对所述视频图像的多帧图像中的每帧图像进行特征提取，得到每帧图像的图像特征；

采用深度学习特征融合网络对所述每帧图像的图像特征进行特征融合，得到融合后的目标特征图；

对所述目标特征图进行旋转目标检测，得到包括车头和车尾的检侧结果，其中，所述检测结果包括目标框的中心点坐标、目标框的宽度、目标框的高度、目标框的旋转角度、目标框的类别，其中，所述类别包括车头、车尾；

根据所述多帧图像的检测结果进行车头、车尾跟踪。

3.根据权利要求2所述的违停车辆检测方法，其特征在于，根据所述多帧图像的所述检测结果进行车头、车尾跟踪包括：

对所述多帧图像每相邻两帧图像执行以下操作，进行车头、车尾跟踪，其中，正在执行的图像为当前帧图像：

判断所述当前帧图像的目标框的中心点在预设坐标系中的X坐标与上一帧图像的目标框的中心点在所述预设坐标系中的X坐标的差值的绝对值是否小于所述上一帧图像的目标框的高度，且所述当前帧图像的目标框的中心点在所述预设坐标系中的Y坐标与上一帧图像的目标框的中心点在所述预设坐标系中的Y坐标的差值的绝对值是否小于所述上一帧图像的目标框的高度；

判断所述当前帧图像的目标框的旋转角度是否与上一帧图像的目标框的旋转角度的差值的绝对值小于预设旋转角度；

判断所述当前帧图像的目标框是否与上一帧图像的目标框的交并比IOU大于预设阈值；

判断所述当前帧图像的目标框的类别是否与上一帧图像的目标框的类别相同；

在判断结果均为是的情况下，确定所述当前帧图像的目标车辆与所述上一帧图像的目标车辆为同一目标车辆。

4.根据权利要求1所述的违停车辆检测方法，其特征在于，根据所述跟踪检测结果进行预违停识别，得到预违停识别结果包括：

若所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆处于静止状态的第一时间大于预设违停时间阈值，控制球机以旋转目标跟踪检测得到的目标框的中心点为中心切换为近景模式；

在所述近景场景下对所述目标车辆进行车牌检测；

若检测到所述目标车辆的车牌号码，且在预设的重复上报过滤时间内所述目标车辆的车牌号码未上报，确定所述目标车辆为预违停车辆。

5.根据权利要求4所述的违停车辆检测方法，其特征在于，在若所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆处于静止状态的第一时间大于预设违停时间阈值，控制球机切换为近景模式之前，所述方法还包括：

分别确定所述视频图像的多帧图像中的第2帧图像至第n帧图像的目标车辆的目标框与第1帧图像的交并比IOU，得到n-1个IOU；

若所述n-1个IOU均大于预设阈值，确定所述跟踪检测结果为所述目标区域内存在处于静止状态的目标车辆。

6.根据权利要求1所述的违停车辆检测方法，其特征在于，根据所述预违停识别结果与所述车辆跟踪结果进行违停车辆检测包括：

将所述目标车辆的车牌号码与所述预违停车辆的车牌号码进行对比，得到对比结果；

若所述对比结果为所述目标车辆的车牌号码与所述预违停车辆的车牌号码一致，确定所述目标车辆为违停车辆。

7.根据权利要求1至6中任一项所述的违停车辆检测方法，其特征在于，所述方法还包括：

在所述目标区域内存在处于静止状态的目标车辆，且所述目标车辆的第一静止时间大于预设违停时间阈值的情况下，抓拍包括所述目标车辆的第一图像；

在确定所述目标车辆为预违停车辆之后，抓拍包括所述目标车辆的第二图像；

在所述目标区域内所述目标车辆保持静止状态，且所述目标车辆处于静止状态的第二时间大于所述预设违停时间阈值的情况下，抓拍包括所述目标车辆的第三图像；

在确定所述目标车辆为违停车辆之后，抓拍包括所述目标车辆的第四图像；

根据所述第一图像、所述第二图像、所述第三图像以及所述第四图像生成所述目标车辆的证据链合成图，并将所述目标车辆的车牌号码与所述证据链合成图进行关联并存储。

8.一种违停车辆检测装置，其特征在于，包括：

第一跟踪检测模块，用于对目标区域的视频图像进行车头、车尾旋转目标跟踪检测，得到第一跟踪检测结果；

预违停识别模块，用于根据所述跟踪检测结果进行预违停识别，得到包括预违停车辆的车牌号码的预违停识别结果，同时向所述目标车辆绑定的移动终端发送违停告警信息，其中，所述告警信息用于提示在预设的违停抓拍时间内移动车辆；

第二跟踪检测模块，用于对所述目标区域的视频图像进行车辆跟踪检测车头、车尾旋转目标跟踪检测，得到第二跟踪检测结果；

违停检测模块，用于根据所述预违停识别结果与所述第二跟踪检测结果进行违停车辆检测。

9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7中任一项所述的方法。

Images