CN110459058B - 一种多摄像机协同的违停车牌识别方法及装置 - Google Patents

Abstract

本发明公开了一种多摄像机协同的违停车牌识别方法及装置，用于对禁停路段上的违停车辆进行抓怕取证，沿禁停路段安装多个摄像机，各个摄像机在自己的视场画面中设置对应违停区域的拌线，当车辆进入违停区域时触碰所述拌线后抓拍车辆进入姿态图像，并缓存所抓拍的车辆进入姿态图像。在本摄像机无法识别违停车辆车牌时，向相邻摄像机发送协助请求，获取相邻摄像机缓存的车辆进入姿态图像，进行车牌识别。在有其他车辆遮挡车牌的情况下，亦能识别出违停车辆的车牌，大大增加了违停车辆的识别能力。

Description

一种多摄像机协同的违停车牌识别方法及装置

技术领域

本发明属于交通违法管理技术领域，尤其涉及一种多摄像机协同的违停车牌识别方法及装置。

背景技术

视频监控是安全防范系统的重要组成部分，视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控的普及化趋势越来越明显。视频监控在城市安防中起到的作用越来越大，发生的治安、交通违章以及刑事案件，很多都依靠城市内分布的监控摄像机记录的视频影像得到了最终的侦破。

其中，交通违章一般都通过视频监控的摄像头，进行抓拍取证。对于禁停区域，一旦车辆在该其余停留时间超过规定的时间，例如3分钟，则算违停，需要取证并处罚。

针对禁停区域，目前都是利用已经建成的球型监控摄像机作为违停抓拍设备，在违停抓拍设备上设置检测区域，取证违停证据链，抓拍4-6张违停照片，对违停车辆进行抓拍取证。然而车牌号码容易被树木或其他物品遮挡，车辆如果停靠间距太近也会影响车牌识别率。

例如，当路边停放一列汽车，且汽车停放间距较近时会出现有些车牌被其他车辆遮挡现象，传统的违停抓拍设备只能抓拍到露出车牌的汽车，因此会导致无法完全进行抓拍取证的现象。

发明内容

本发明的目的是提供一种多摄像机协同的违停车牌识别方法及装置，能有效避免车牌被树木或其他车辆遮挡情况下的无法对违停车辆车牌进行识别的问题。

为了实现上述目的，本发明技术方案如下：

一种多摄像机协同的违停车牌识别方法，用于对禁停路段上的违停车辆进行抓怕取证，所述禁停路段部署有多台摄像机，所述多摄像机协同的违停车牌识别方法应用于摄像机，包括：

在自己的视场画面中设置对应违停区域的拌线，当车辆进入违停区域时触碰所述拌线后抓拍车辆进入姿态图像，并缓存所抓拍的车辆进入姿态图像；

在检测到违停车辆且不能识别该违停车辆的车牌时，先在本地缓存的车辆进入姿态图像中查找匹配的车辆并进行车牌识别，如果能够识别到对应的车牌信息，则将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器，否则向相邻的摄像机发送含有所述违停车辆的图像的协助请求；

接收到相邻摄像机发送的协助请求时，在本地缓存的车辆进入姿态图像中查找匹配的车辆，发现存在匹配的车辆时，将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机；

接收到相邻摄像机发送的响应消息后，对响应消息中包含的车辆进入姿态图像进行车牌识别，将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器。

进一步的，所述在将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机后，还包括：

在本地缓存中删除所述对应的车辆进入姿态图像。

进一步的，所述在本地缓存的车辆进入姿态图像中查找匹配的车辆，发现存在匹配的车辆时，将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机，还包括：

若存在多张对应的车辆进入姿态图像时，选择距离所述协助请求时间点最近的车辆进入姿态图像，将选择的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机。

进一步的，所述在检测到违停车辆且不能识别该违停车辆的车牌时，还包括：

拍摄含有所述违停车辆的图像，并在图像中标记所述违停车辆。

进一步的，所述在本地缓存的车辆进入姿态图像中查找匹配的车辆，包括：

根据含有所述违停车辆的图像中的标记，获取到所述违停车辆；

在本地缓存的车辆进入姿态图像中查找与所述违停车辆匹配的车辆。

本发明还提出了一种多摄像机协同的违停车牌识别装置，用于对禁停路段上的违停车辆进行抓怕取证，所述禁停路段部署有多台摄像机，所述多摄像机协同的违停车牌识别装置应用于摄像机，包括：

触碰拌线抓拍模块，用于在自己的视场画面中设置对应违停区域的拌线，当车辆进入违停区域时触碰所述拌线后抓拍车辆进入姿态图像，并缓存所抓拍的车辆进入姿态图像；

请求模块，用于在检测到违停车辆且不能识别该违停车辆的车牌时，先在本地缓存的车辆进入姿态图像中查找匹配的车辆并进行车牌识别，如果能够识别到对应的车牌信息，则将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器，否则向相邻的摄像机发送含有所述违停车辆的图像的协助请求；

协助模块，用于接收到相邻摄像机发送的协助请求时，在本地缓存的车辆进入姿态图像中查找匹配的车辆，发现存在匹配的车辆时，将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机；

识别模块，用于接收到相邻摄像机发送的响应消息后，对响应消息中包含的车辆进入姿态图像进行车牌识别，将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器。

进一步的，所述协助模块在将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机后，还执行如下操作：

在本地缓存中删除所述对应的车辆进入姿态图像。

进一步的，所述协助模块在本地缓存的车辆进入姿态图像中查找匹配的车辆，发现存在匹配的车辆时，将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机，还执行如下操作：

若存在多张对应的车辆进入姿态图像时，选择距离所述协助请求时间点最近的车辆进入姿态图像，将选择的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机。

进一步的，所述触碰拌线抓拍模块在检测到违停车辆且不能识别该违停车辆的车牌时，还执行如下操作：

拍摄含有所述违停车辆的图像，并在图像中标记所述违停车辆。

进一步的，所述请求模块或识别模块在本地缓存的车辆进入姿态图像中查找匹配的车辆，执行如下操作：

根据含有所述违停车辆的图像中的标记，获取到所述违停车辆；

在本地缓存的车辆进入姿态图像中查找与所述违停车辆匹配的车辆。

本申请提出的一种多摄像机协同的违停车牌识别方法及装置，沿禁停路段安装多个摄像机，各个摄像机在自己的视场画面中设置对应违停区域的拌线，当车辆进入违停区域时触碰所述拌线后抓拍车辆进入姿态图像，并缓存所抓拍的车辆进入姿态图像。在本摄像机无法识别违停车辆车牌时，向相邻摄像机发送协助请求，获取相邻摄像机缓存的车辆进入姿态图像，进行车牌识别。在有其他车辆遮挡车牌的情况下，亦能识别出违停车辆的车牌，大大增加了违停车辆的识别能力，为交通执法提供了一个有效的技术方案。

附图说明

图1为本发明实施例应用环境示意图；

图2为本发明实施例多摄像机协同的违停车牌识别方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请提供的一种多摄像机协同的违停车牌识别方法及装置，可以应用于如图1所示的应用环境中，在图1中，沿禁停路段安装多个摄像机(例如IPC1-IPC4)，多个摄像机都连接到后台服务器，摄像机在发现违停车辆后，进行抓拍，将抓拍的图像发送到后台服务器，建立违章抓拍证据。

由于现在道路两旁常种植有大树，有时候树枝树叶会对车牌形成遮挡，造成无法进行车牌识别，无法进行抓拍取证。或者，当违停的车辆间距较近时，车牌号被其他车辆遮挡，也无法进行车牌识别，造成无法进行抓拍取证。

在一个实施例中，如图2所示，提供了一种多摄像机协同的违停车牌识别方法，用于对禁停路段上的违停车辆进行抓怕取证，所述禁停路段部署有多台摄像机，所述多摄像机协同的违停车牌识别方法应用于摄像机，包括：

在自己的视场画面中设置对应违停区域的拌线，当车辆进入违停区域时触碰所述拌线后抓拍车辆进入姿态图像，并缓存所抓拍的车辆进入姿态图像；

在检测到违停车辆且不能识别该违停车辆的车牌时，先在本地缓存的车辆进入姿态图像中查找匹配的车辆并进行车牌识别，如果能够识别到对应的车牌信息，则将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器，否则向相邻的摄像机发送含有所述违停车辆的图像的协助请求；

接收到相邻摄像机发送的协助请求时，在本地缓存的车辆进入姿态图像中查找匹配的车辆，发现存在匹配的车辆时，将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机；

接收到相邻摄像机发送的响应消息后，对响应消息中包含的车辆进入姿态图像进行车牌识别，将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器。

以下通过实施例，对本申请的方法进一步进行阐述。

本申请部署在禁停路段上的每台摄像机都有自己的地理位置信息或/和视场范围信息，每台摄像机根据预先设置的地理位置范围都拥有相邻摄像机，或根据视场范围的重叠程度来确定相邻摄像机。例如在图1中，摄像机在注册到后台服务器时，可以上传自身的地理位置信息或/和自身的视野范围信息，从而后台服务器可以根据这些信息来确定每个摄像机的相邻摄像机。本实施例可以将地理位置位于预设范围内的摄像机视为相邻摄像机。例如，将IPC1附近50米的摄像机视为其相邻摄像机，假设IPC2、IPC3都在其附近50米范围内，则IPC2、IPC3是IPC1的相邻摄像机。同理，可以分别得到IPC2、IPC3、IPC4的相邻摄像机。当然对于范围不大的违停路段，该路段仅有4个摄像机，如图1所示，IPC1-IPC4都是相互相邻的摄像机，也适用于本申请，这里不再赘述。

本申请还可以将本摄像机与相邻摄像机组建为组播组，通过组播在相邻摄像机间传递信息。当本摄像机与相邻摄像机都连接在一个局域网中时，还可以通过广播来传递信息，或者本摄像机获取到相邻摄像机的IP地址，通过单播来传递信息，本申请不限于本摄像机与相邻摄像机之间数据包的发送形式，可以是单播、组播或广播。

本申请每个摄像机有自己的视场范围，在自己的视场画面中设置对应违停区域的拌线，该拌线可以是距离禁停路段马路边沿的一条直线，也可以是覆盖禁停区域的一个方框。该拌线是一个虚拟的线条，摄像机在自己的视场画面中设置该拌线，当摄像机检测到车辆触碰该拌线时，会进行抓拍。而记录一张车辆进入姿态图像，在车辆进入姿态图像中必定有进入的车辆，而且因为以一定角度驶入，必定可以看到车牌。摄像机缓存所抓拍的车辆进入姿态图像，由于摄像机本地缓存有限，所以在缓存空间不够时，后面抓拍的车辆进入姿态图像覆盖最早拍摄的车辆进入姿态图像，周而复始。

由于进入禁停区域的车辆并不一定会停留，所以记录的车辆进入姿态图像只是暂存在摄像机本地，只有真正停下来的车辆才需要识别车牌并上报后台服务器。对于停留的车辆，监控到该停留的车辆的摄像机负责识别车牌并将车牌上报后台服务器，但因为车与车的前后重叠，很可能看不到车牌。不过，该车辆在驶入禁停区域时，必然会触发一个摄像机设置的伴线，该摄像机会缓存抓拍的车辆进入姿态图像，该图像中必定含有车牌。因此，监控到该停留的车辆的摄像机，可以向缓存了车辆进入姿态图像的摄像机请求以获得带有车牌的照片。

具体地，在检测到违停车辆且不能识别该违停车辆的车牌时，向相邻的摄像机发送含有该违停车辆图像的协助请求。

仍然以图1为例，一般来说，摄像机监控车辆是否违停的过程如下。摄像机IPC1采集视频图像，对自己监控区域内的违停车辆进行车牌识别。如果能够识别到车牌，就将识别的车牌和采集的视频图像传递给后台服务器，以便后台服务器构建违章抓拍证据保存。后台服务器对识别出的车牌进行登记，并通知识别出车牌的摄像机IPC1关注对应车辆，在该车辆启动离开时，再次抓拍上报，用于违停时长的计时，在超过违停时长(例如3分钟)时，则后台服务器构建违章抓拍证据保存。或者，IPC1在识别出车牌后，在将识别的车牌和采集的视频图像传递给后台服务器时，还主动进行计时，在超过违停时长时，进一步抓拍视频图像发送给后台服务器，由后台服务器构建违章抓拍证据保存。如果IPC1采集视频图像，对自己监控区域内的违停车辆进行车牌识别时，无法识别到车牌(被遮挡)，则需要在自身的缓存中查找，或向相邻的摄像机发送协助请求。

在禁停路段部署有多台摄像机，假设IPC1监控到有违停车辆A，IPC1可能不是发现该车辆A进入违停区域的摄像机，也有可能就是发现该车辆A进入违停区域的摄像机。在检测到违停车辆且不能识别该违停车辆的车牌时，会拍摄含有所述违停车辆的图像，并在图像中标记所述违停车辆。

本申请的一个实施例，本实施例IPC1在检测到违停车辆A且不能识别该违停车辆A的车牌时，先在自身缓存的车辆进入姿态图像中查找匹配的车辆并进行车牌识别。IPC1在无法识别车牌时，会拍摄含有该违停车辆A的图像，在其中标记违停车辆A，如果IPC1自身缓存有N张车辆进入姿态图像，则IPC1在自己缓存的车辆进入姿态图像中查找与违停车辆A匹配的车辆。此时，比对的目标物体是车辆A，容易理解的是，车辆的特征信息除了车牌外，还包括车型、颜色、车内贴的年检标识等等，通过这些特征即可在图像中发现目标物体，这已经是比较成熟的技术，这里不再赘述。

从而，IPC1如果在自身缓存的车辆进入姿态图像中查找到匹配的车辆，即发现违停车辆A，则采用这张车辆进入姿态图像进行车牌识别，识别到车牌信息。然后将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器，以便保存违章证据。容易理解的是，在上报的信息中，还可以包括摄像机IPC1自身抓拍的车辆A图像，以组成完整的证据链，这里不再赘述。

本申请的另一个实施例，本实施例IPC1在检测到违停车辆A且不能识别该违停车辆A的车牌时，在自身缓存中也无法找到对应的车辆进入姿态图像，即无法识别到车牌，则需要向相邻的摄像机发送含有该违停车辆的图像的协助请求。IPC1在无法识别车牌时，会拍摄含有该违停车辆A的图像，在其中标记违停车辆A，本实施例在发送的协助请求中包含该图像。

假设IPC2、IPC3是IPC1的相邻摄像机，则IPC2、IPC3会收到协助请求，分别在自身缓存的车辆进入姿态图像中进行比对查找。关于比对查找的过程，与IPC1在自身缓存的车辆进入姿态图像中进行比对查找类似，这里不再赘述。IPC2、IPC3如果发现存在匹配的车辆时，发现存在匹配的车辆时，将匹配的车辆对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机。如果没有发现匹配的车辆，则响应查找失败信息。

IPC1在接收到相邻摄像机(IPC2、IPC3)发送的响应消息后，对响应消息中包含的车辆进入姿态图像进行车牌识别，将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器，以便保存违章证据，这里不再赘述。

在一个实施例中，本申请摄像机在将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机后，还包括：

在本地缓存中删除所述对应的车辆进入姿态图像。

由于该车辆已经被锁定为违停车辆，且该图像已经发送给需要协助的摄像机，则不需要再保存在图像，删除该图像有利于释放摄像机的缓存空间。

例如IPC2在自身的缓存中发现了IPC1请求协助的车辆，则将对应的车辆进入姿态图像发送给IPC1，并在自身缓存中删除该图像。

在一个实施例中，所述在本地缓存的车辆进入姿态图像中查找匹配的车辆，发现存在匹配的车辆时，将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机，还包括：

若存在多张对应的车辆进入姿态图像时，选择距离所述协助请求时间点最近的车辆进入姿态图像，将选择的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机。

本实施例的方案，基于可能有同一款车型的多辆车辆停放在禁停区域，而时间点与协助请求的时间最相近的那张照片可信度是最高的，识别更为准确。

例如，在IPC2中存在N张车辆进入姿态图像，在与IPC1协助请求中包含的车辆A进行比对时，发现多张车辆进入姿态图像都含有车辆A，优先选择距离所述协助请求时间点最近的车辆进入姿态图像，将选择的车辆进入姿态图像包含在响应消息中发送给IPC1。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多摄像机协同的违停车牌识别方法，用于对禁停路段上的违停车辆进行抓拍取证，其特征在于，所述禁停路段部署有多台摄像机，所述多摄像机协同的违停车牌识别方法应用于摄像机，包括：

在自己的视场画面中设置对应违停区域的拌线，当车辆进入违停区域时触碰所述拌线后抓拍车辆进入姿态图像，并缓存所抓拍的车辆进入姿态图像；

在检测到违停车辆且不能识别该违停车辆的车牌时，先在本地缓存的车辆进入姿态图像中查找匹配的车辆并进行车牌识别，如果能够识别到对应的车牌信息，则将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器，否则向相邻的摄像机发送含有所述违停车辆的图像的协助请求；

接收到相邻摄像机发送的协助请求时，在本地缓存的车辆进入姿态图像中查找匹配的车辆，发现存在匹配的车辆时，将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机；

接收到相邻摄像机发送的响应消息后，对响应消息中包含的车辆进入姿态图像进行车牌识别，将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器。

2.根据权利要求1所述的多摄像机协同的违停车牌识别方法，其特征在于，所述在将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机后，还包括：

在本地缓存中删除所述对应的车辆进入姿态图像。

3.根据权利要求1所述的多摄像机协同的违停车牌识别方法，其特征在于，所述在本地缓存的车辆进入姿态图像中查找匹配的车辆，发现存在匹配的车辆时，将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机，还包括：

若存在多张对应的车辆进入姿态图像时，选择距离所述协助请求时间点最近的车辆进入姿态图像，将选择的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机。

4.根据权利要求1所述的多摄像机协同的违停车牌识别方法，其特征在于，所述在检测到违停车辆且不能识别该违停车辆的车牌时，还包括：

拍摄含有所述违停车辆的图像，并在图像中标记所述违停车辆。

5.根据权利要求4所述的多摄像机协同的违停车牌识别方法，其特征在于，所述在本地缓存的车辆进入姿态图像中查找匹配的车辆，包括：

根据含有所述违停车辆的图像中的标记，获取到所述违停车辆；

在本地缓存的车辆进入姿态图像中查找与所述违停车辆匹配的车辆。

6.一种多摄像机协同的违停车牌识别装置，用于对禁停路段上的违停车辆进行抓拍取证，其特征在于，所述禁停路段部署有多台摄像机，所述多摄像机协同的违停车牌识别装置应用于摄像机，包括：

触碰拌线抓拍模块，用于在自己的视场画面中设置对应违停区域的拌线，当车辆进入违停区域时触碰所述拌线后抓拍车辆进入姿态图像，并缓存所抓拍的车辆进入姿态图像；

请求模块，用于在检测到违停车辆且不能识别该违停车辆的车牌时，先在本地缓存的车辆进入姿态图像中查找匹配的车辆并进行车牌识别，如果能够识别到对应的车牌信息，则将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器，否则向相邻的摄像机发送含有所述违停车辆的图像的协助请求；

协助模块，用于接收到相邻摄像机发送的协助请求时，在本地缓存的车辆进入姿态图像中查找匹配的车辆，发现存在匹配的车辆时，将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机；

识别模块，用于接收到相邻摄像机发送的响应消息后，对响应消息中包含的车辆进入姿态图像进行车牌识别，将识别到的车牌信息和对应的车辆进入姿态图像上报给后台服务器。

7.根据权利要求6所述的多摄像机协同的违停车牌识别装置，其特征在于，所述协助模块在将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机后，还执行如下操作：

在本地缓存中删除所述对应的车辆进入姿态图像。

8.根据权利要求6所述的多摄像机协同的违停车牌识别装置，其特征在于，所述协助模块在本地缓存的车辆进入姿态图像中查找匹配的车辆，发现存在匹配的车辆时，将对应的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机，还执行如下操作：

若存在多张对应的车辆进入姿态图像时，选择距离所述协助请求时间点最近的车辆进入姿态图像，将选择的车辆进入姿态图像包含在响应消息中发送给需要协助的摄像机。

9.根据权利要求6所述的多摄像机协同的违停车牌识别装置，其特征在于，所述触碰拌线抓拍模块在检测到违停车辆且不能识别该违停车辆的车牌时，还执行如下操作：

拍摄含有所述违停车辆的图像，并在图像中标记所述违停车辆。

10.根据权利要求9所述的多摄像机协同的违停车牌识别装置，其特征在于，所述请求模块或识别模块在本地缓存的车辆进入姿态图像中查找匹配的车辆，执行如下操作：

根据含有所述违停车辆的图像中的标记，获取到所述违停车辆；

在本地缓存的车辆进入姿态图像中查找与所述违停车辆匹配的车辆。

Images