CN115909313A - 一种基于深度学习的违停车牌识别方法和装置 - Google Patents

Abstract

本发明公开一种基于深度学习的违停车牌识别方法和装置，该方法包括：步骤一，通过摄像头监控违停区域，进行车辆检测与跟踪并分配唯一的ID，同时进行车牌识别，并将结果保存至本地数据库；步骤二，对进入违停区域的车辆，判断是否违停；步骤三，对违停的车辆查询本地数据库是否存在高分车牌号，若不存在则对停车前后视频进行车牌识别，将模糊的车牌图像进行超分辨率重建后再识别；步骤四，若仍无法正确识别则通过车辆的行驶轨迹来给车辆经过的下一个摄像头发送协助请求；步骤五，接收协助请求的摄像头通过车辆属性识别网络判断是否为同一目标，若是则进行检测并将结果返回。本发明实现了更高效的违停车牌识别，减轻人工操作识别车牌的负担。

Description

一种基于深度学习的违停车牌识别方法和装置

技术领域

本发明涉及深度学习及图像处理技术领域，尤其涉及到一种基于深度学习的违停车牌识别方法和装置。

背景技术

近年来，随着城市化进程的不断推进，汽车数量也在急剧的增加。如此众多的汽车对城市道路交通会造成巨大的交通压力，同时会引发交通堵塞等一系列问题，而其中机动车违停是造成交通事故和交通堵塞的重要因素。不少路段堵塞都是违法停车造成的，当违法停车占用非机动车道时，导致非机动车不得不占用机动车道，从而大大的降低了道路的通行能力，引起交通堵塞，造成交通秩序的混乱。

因此及时对违停车辆做出处理是减少该现象发生的最好办法，而国内大部分违法停车检测均采用人工监控的方式，定点采集数据信息，执法人员通过视频监控发现有违法停车情况时，通过控制摄像头进行拉近拍摄车辆并人工识别车牌最终上报，该方法人工成本过高，且较为低效。

随着深度学习、机器视觉、图像处理等技术的不断向前进步，利用这些关键技术可以很好的自动抓拍以及自动对车牌进行检测，但仍存在部分时刻因光线、障碍物遮挡等因素复杂多变而难以精准有效地对为停车牌进行识别。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于深度学习的违停车牌识别方法和装置，旨在能够利用深度学习、机器视觉、图像处理等技术对监控视频进行更高效的违停车牌识别，并对识别不到车牌进行超分辨率重建以及请求相邻摄像头协助来提高车牌识别的准确率，减轻人工操作识别车牌的负担，其具体技术方案如下：

一种基于深度学习的违停车牌识别方法，包括以下步骤：

步骤一，在禁停区域路段部署多台摄像头，通过摄像头监控其所划定的违停区域，进行车辆检测与跟踪并分配唯一的ID，同时进行车牌识别，并将结果保存至本地数据库；

步骤二，对进入所划定的违停区域的车辆，通过判断是否超过时间阈值来判断是否违停；

步骤三，对违停的车辆查询本地数据库是否存在高分车牌号，若不存在则对停车前后视频进行车牌识别，将模糊的车牌图像输入到超分辨率重建网络进行超分辨率重建后再识别；

步骤四，若仍无法正确识别则通过车辆的行驶轨迹来给车辆经过的下一个摄像头发送协助请求；

步骤五，接收协助请求的摄像头通过车辆属性识别网络判断是否为同一目标，若是则进行检测并将结果返回。

进一步的，所述步骤一，具体为：通过部署的摄像头监控其所划定的违停区域，判断监控的视频画面中的车辆是否处于违停区域，对处于所划定的违停区域的车辆进行目标识别跟踪，每10帧将跟踪的车辆目标框的图像输入车牌识别模型中进行车牌识别，对帧图像中出现的每一个车辆目标分配唯一的ID，即每一辆车都有其唯一的ID编号，再将识别到的车牌号、车牌每一个字符置信度、车牌大小以及车牌模糊度以车辆ID为键值保存至本地数据库。

进一步的，所述判断监控的视频画面中的车辆是否处于违停区域，具体采用以下步骤：

步骤1.1：获取当前图像帧中车辆检测框的左下角点坐标、右下角点坐标及检测框的中心点坐标；

步骤1.2：若车辆检测框的左下角点坐标、右下角点坐标均在违停区域内，则判断车辆在违停区域；

步骤1.3：若车辆检测框的左下角点坐标、右下角点坐标只有一个在违停区域内，则继续判断车辆检测框的中心点坐标，若中心点坐标位于违停区域内，则判断车辆在违停区域。

进一步的，所述步骤二，具体为：在车辆开始进入所划定的违停区域时，摄像头抓拍该车辆进入违停区域时的图像并记录下当前时间，通过设定车辆停车报警的阈值时间来区分临时停车和违法停车，若在大于时刻检测到该车辆仍在违停区域内，则判断为违停，并再一次抓拍违停图像；直至该车辆驶出违停区域为止，该车辆不会再被判定为违停而重复抓拍。

进一步的，所述步骤三，具体为：对于进入违停区域的发生违停行为的车辆，在本地数据库中查找对应ID车辆的车牌信息，即：车牌号、车牌每一个字符置信度、车牌大小以及车牌模糊度，根据所述的车牌每一个字符置信度、车牌大小以及车牌模糊度，对每一个识别到的车牌号进行打分，采用投票制，选取分数最高的车牌号，若该ID车辆最高分车牌号分数大于所设的车牌信息阈值即判断为存在高分车牌号，则将抓拍图像、违停图像和最高分车牌号发送至后台；否则，提取摄像头在时刻前后30秒的停车视频，并提取出该ID车辆每一帧的车牌图像，对其中模糊的车牌图像进行超分辨率重建，并对所有图像进行车牌识别，若车牌识别的结果中存在每一个字符置信度均大于等于90%的车牌号，则将车牌号、抓拍图像、违停图像及识别结果对应的帧图像发送给后台服务器。

进一步的，所述所述车牌大小，即车牌图像的像素面积，像素面积越大，则分数越高；所述车牌每一个字符置信度，置信度越高，则分数越高；所述车牌模糊度，采用以下Brenner 梯度函数来计算车牌图像的清晰度，其中为像素点的灰度值，为图像清晰度结果，表达式为：

图像清晰度的值越大，则分数越高；

按分数大小进行排序，选取分数最高的车牌号作为最终结果。

进一步的，所述超分辨率重建具体为：准备用于字典训练的低分辨率车牌图像LR以及其对应的高分辨率车牌图像MR，对一系列高分辨率车牌图像MR进行HR图块的选取，再对这些高分辨率车牌图像降质，形成一系列低分辨率车牌图像LR的图块，组成训练集，用字典训练算法联合训练高低分辨率图像块对，形成高低分辨率字典对，保证两个字典的稀疏系数一致，用低分辨率字典作为稀疏表示矩阵，提取待求低分辨率图像的稀疏表示系数，再结合用高分辨率字典反向投影出高分辨率图像块，再连接形成高分辨率图像，得到初步重建的图像。

进一步的，所述步骤四，具体为：若在对所有图像进行车牌识别时，仍无法正确识别，则根据该ID车辆的跟踪轨迹来确定车辆的行驶方向，通过行驶方向来判断是向上一个路口的摄像头或下一个路口的摄像头请求协助，并发送违停车辆的信息。

进一步的，所述步骤五，具体为：对该ID车辆出现在摄像头或摄像头的理论时刻前后分钟进行车牌识别，为人为设定的时间，并将识别到的所有车牌号及对应帧图像存储至本地数据库或；从本地数据库或存储的图像数据中分割出对应车辆图像以及车牌图像，将所有该目标ID的车辆图像以及摄像头抓拍图像、违停图像输入到训练好的车辆属性识别网络，将识别到的车辆颜色及车辆型号进行比对，若两者皆相同，则将车辆相似度置为1，否则置为0；同时对所有该目标ID车辆的车牌图像以及其车牌号依次与抓拍图像或违停图像进行比对，若位置的车牌字符相似度为，车牌整体相似度为，其中n为识别到的字符总数；若位置没有识别到字符，则两者不比较；若存在，则车牌整体相似度；进一步得到车辆的联合相似度，若大于设定阈值，则判断车辆匹配成功，将摄像头或识别到的违停车辆的车牌信息、违停抓拍图片等数据上报至服务器后台。

一种基于深度学习的违停车牌识别装置，包括一个或多个处理器，用于实现所述的基于深度学习的违停车牌识别方法。

有益效果：

本发明实现对监控视频进行更高效的违停车牌识别，并对识别不到车牌进行超分辨率重建以及请求相邻摄像头协助来提高车牌识别的准确率，减轻人工操作识别车牌的负担。

附图说明

图1是本发明的一种基于深度学习的违停车牌识别方法的主要流程示意图；

图2是本发明的一种基于深度学习的违停车牌识别方法的具体流程示意图；

图3是本发明方法的车辆跟踪流程图；

图4是本发明方法的车辆属性检测识别结构网络图；

图5是本发明实施例的一种基于深度学习的违停车牌识别装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。

如图1和图2所示，本发明提供一种基于深度学习的违停车牌识别方法，包括以下步骤内容：

步骤一，在禁停区域路段部署多台摄像头，通过摄像头监控其所划定的违停区域，进行车辆检测与跟踪并分配唯一的ID，同时进行车牌识别，并将结果保存至本地数据库。

具体的，通过部署的摄像头监控其所划定的违停区域，判断监控的视频画面中的车辆是否处于违停区域，对处于所划定的违停区域的车辆进行目标识别跟踪，每10帧将跟踪的车辆目标框的图像输入车牌识别模型中进行车牌识别，对帧图像中出现的每一个车辆目标分配唯一的ID，即每一辆车都有其唯一的ID编号，再将识别到的车牌号、车牌每一个字符置信度、车牌大小以及车牌模糊度以车辆ID为键值保存至本地数据库。

所述判断监控的视频画面中的车辆是否处于违停区域，具体采用以下步骤内容：

步骤1.1：获取当前图像帧中车辆检测框的左下角点坐标、右下角点坐标及检测框的中心点坐标；

步骤1.2：若车辆检测框的左下角点坐标、右下角点坐标均在违停区域内，则判断车辆在违停区域；

步骤1.3：若车辆检测框的左下角点坐标、右下角点坐标只有一个在违停区域内，则继续判断车辆检测框的中心点坐标，若中心点坐标位于违停区域内，则判断车辆在违停区域。

步骤二，对进入所划定的违停区域的车辆，通过判断是否超过时间阈值来判断是否违停。

所述步骤二具体为：在车辆开始进入所划定的违停区域时，摄像头抓拍该车辆进入违停区域时的图像并记录下当前时间，通过设定车辆停车报警的阈值时间来区分临时停车和违法停车，若在大于时刻检测到该车辆仍在违停区域内，则判断为违停，并再一次抓拍违停图像，直至该车辆驶出违停区域为止，该车辆不会再被判定为违停而重复抓拍。

步骤三，对违停的车辆查询本地数据库是否存在高分车牌号，若不存在则对停车前后视频进行车牌识别，将模糊的车牌图像输入到超分辨率重建网络进行超分辨率重建后再进行识别。

在本发明实施例中，对于进入违停区域的发生违停行为的车辆，在本地数据库中查找对应ID车辆的车牌信息，即：车牌号、车牌每一个字符置信度、车牌大小以及车牌模糊度，根据所述的车牌每一个字符置信度、车牌大小以及车牌模糊度，对每一个识别到的车牌号进行打分，采用投票制，选取分数最高的车牌号，若该ID车辆最高分车牌号分数大于所设的车牌信息阈值即判断为存在高分车牌号，则将抓拍图像、违停图像和最高分车牌号发送至后台；否则，提取摄像头在时刻前后30秒的停车视频，并提取出该ID车辆每一帧的车牌图像，对其中模糊的车牌图像进行超分辨率重建，并对所有图像进行车牌识别，在对所有图像进行车牌识别时，若车牌识别的结果中存在每一个字符置信度均大于等于90%的车牌号，则将车牌号、抓拍图像、违停图像及识别结果对应的帧图像发送给后台服务器。

所述车牌大小，即车牌图像的像素面积，像素面积越大，则分数越高；所述车牌每一个字符置信度，置信度越高，则分数越高；所述车牌模糊度，采用以下Brenner 梯度函数来计算车牌图像的清晰度，其中为像素点的灰度值，为图像清晰度结果，表达式为：

图像清晰度的值越大，则分数越高；

按分数大小进行排序，选取分数最高的车牌号作为最终结果。

其中，所述超分辨率重建具体为：准备用于字典训练的低分辨率车牌图像LR以及其对应的高分辨率车牌图像MR，对一系列高分辨率车牌图像MR进行HR图块的选取，再对这些高分辨率车牌图像降质，形成一系列低分辨率车牌图像LR的图块，组成训练集，用字典训练算法联合训练高低分辨率图像块对，形成高低分辨率字典对，保证两个字典的稀疏系数一致，用低分辨率字典作为稀疏表示矩阵，提取待求低分辨率图像的稀疏表示系数，再结合用高分辨率字典反向投影出高分辨率图像块，再连接形成高分辨率图像，得到初步重建的图像。

步骤四，若仍无法正确识别则通过车辆的行驶轨迹来给车辆经过的下一个摄像头发送协助请求。

具体的，根据该ID车辆的跟踪轨迹来确定车辆的行驶方向，通过行驶方向来判断是向上一个路口的摄像头或下一个路口的摄像头请求协助，并发送违停车辆的相关信息。如图3所示为本发明的车辆的跟踪及绘制跟踪运行轨迹流程。

步骤五，接收协助请求的摄像头通过车辆属性识别网络判断是否为同一目标，若是则进行检测并将结果返回。

具体的，对该ID车辆出现在摄像头或摄像头的理论时刻前后分钟进行车牌识别，为人为设定的时间，并将识别到的所有车牌号及对应帧图像存储至本地数据库或。其中，所述理论时刻的选取具体为：若目标车辆从摄像头画面消失的时刻为，根据摄像头或摄像头与摄像头之间路段的距离以及该路段车辆的平均车速来计算从摄像头画面中消失到出现在摄像头或摄像头画面中所花费的时间，最终得到目标ID车辆出现的理论时刻。

从本地数据库或存储的图像数据中分割出对应车辆图像以及车牌图像，将所有该目标ID的车辆图像以及摄像头抓拍图像、违停图像输入到训练好的车辆属性识别网络，将识别到的车辆颜色及车辆型号进行比对，若两者皆相同，则将车辆相似度置为1，否则置为0。同时对所有该目标ID车辆的车牌图像以及其车牌号依次与抓拍图像或违停图像进行比对，若位置的车牌字符相似度为，车牌整体相似度为，其中n为识别到的字符总数；若位置没有识别到字符，则两者不比较；若存在，则车牌整体相似度。

进一步可得到车辆的联合相似度，若大于设定阈值，则判断车辆匹配成功，将摄像头或识别到的违停车辆的车牌信息、违停抓拍图片等数据上报至服务器后台。

如图4所示，所述车辆属性识别网络的设计和训练具体如下：

训练数据与测试数据前期准备：一部分数据自行采集各种车辆行驶在不同路段上的监控数据，用标注工具标注车辆的属性信息。另一部分从网上VeRi数据集官网中申请并下载数据直接用来使用。每一个标签都含有车辆颜色及车型，例如“蓝色，公交”，“黑色，SUV”。

为使网络训练的更加充分，需要对图片进行数据增强，将N张图片利用缩放、平移、翻转、旋转来增加数据。将数据集按照6：2：2的比例划分为训练集，验证集和测试集。

模型网络结构设计：车辆属性识别网络模型的主干网络为GoogleLeNet，该网络有22层，更深层的结构可以获得更具有代表性的深层语义特征，在该网络的基础上将全连接层改为多个，其中每一个全连接层对应一个车辆的属性损失层，从而实现车辆属性识别。

模型训练：对网络参数赋初始化数值，设置网络的最大迭代次数m；将准备好的数据集输入网络，进行训练。如果loss值一直下降，则继续训练，直到迭代m次后，得到最终的模型；如果loss值在中途趋于稳定，则停止迭代，得到最终的模型；

模型使用：将测试集数据输入训练好车辆属性检测模型，模型会检测车辆，如果有目标，则会在图片上框出目标车辆并显示属性及其属性的置信度。

与前述一种基于深度学习的违停车牌识别方法的实施例相对应，本发明还提供了一种基于深度学习的违停车牌识别装置的实施例。

参见图5，本发明实施例提供的一种基于深度学习的违停车牌识别装置，包括一个或多个处理器，用于实现上述实施例中的一种基于深度学习的违停车牌识别方法。

本发明一种基于深度学习的违停车牌识别装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明一种基于深度学习的违停车牌识别装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于深度学习的违停车牌识别方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的违停车牌识别方法，其特征在于，包括以下步骤：

步骤一，在禁停区域路段部署多台摄像头，通过摄像头监控其所划定的违停区域，进行车辆检测与跟踪并分配唯一的ID，同时进行车牌识别，并将结果保存至本地数据库；

步骤二，对进入所划定的违停区域的车辆，通过判断是否超过时间阈值来判断是否违停；

步骤三，对违停的车辆查询本地数据库是否存在高分车牌号，若不存在则对停车前后视频进行车牌识别，将模糊的车牌图像输入到超分辨率重建网络进行超分辨率重建后再识别；

步骤四，若仍无法正确识别则通过车辆的行驶轨迹来给车辆经过的下一个摄像头发送协助请求；

步骤五，接收协助请求的摄像头通过车辆属性识别网络判断是否为同一目标，若是则进行检测并将结果返回。

2.如权利要求1所述的一种基于深度学习的违停车牌识别方法，其特征在于，所述步骤一，具体为：通过部署的摄像头监控其所划定的违停区域，判断监控的视频画面中的车辆是否处于违停区域，对处于所划定的违停区域的车辆进行目标识别跟踪，每10帧将跟踪的车辆目标框的图像输入车牌识别模型中进行车牌识别，对帧图像中出现的每一个车辆目标分配唯一的ID，即每一辆车都有其唯一的ID编号，再将识别到的车牌号、车牌每一个字符置信度、车牌大小以及车牌模糊度以车辆ID为键值保存至本地数据库。

3.如权利要求2所述的一种基于深度学习的违停车牌识别方法，其特征在于，所述判断监控的视频画面中的车辆是否处于违停区域，具体采用以下步骤：

步骤1.1：获取当前图像帧中车辆检测框的左下角点坐标、右下角点坐标及检测框的中心点坐标；

步骤1.2：若车辆检测框的左下角点坐标、右下角点坐标均在违停区域内，则判断车辆在违停区域；

步骤1.3：若车辆检测框的左下角点坐标、右下角点坐标只有一个在违停区域内，则继续判断车辆检测框的中心点坐标，若中心点坐标位于违停区域内，则判断车辆在违停区域。

4.如权利要求2所述的一种基于深度学习的违停车牌识别方法，其特征在于，所述步骤二，具体为：在车辆开始进入所划定的违停区域时，摄像头抓拍该车辆进入违停区域时的图像并记录下当前时间，通过设定车辆停车报警的阈值时间来区分临时停车和违法停车，若在大于时刻检测到该车辆仍在违停区域内，则判断为违停，并再一次抓拍违停图像；直至该车辆驶出违停区域为止，该车辆不会再被判定为违停而重复抓拍。

5.如权利要求4所述的一种基于深度学习的违停车牌识别方法，其特征在于，所述步骤三，具体为：对于进入违停区域的发生违停行为的车辆，在本地数据库中查找对应ID车辆的车牌信息，即：车牌号、车牌每一个字符置信度、车牌大小以及车牌模糊度，根据所述的车牌每一个字符置信度、车牌大小以及车牌模糊度，对每一个识别到的车牌号进行打分，采用投票制，选取分数最高的车牌号，若该ID车辆最高分车牌号分数大于所设的车牌信息阈值即判断为存在高分车牌号，则将抓拍图像、违停图像和最高分车牌号发送至后台；否则，提取摄像头在时刻前后30秒的停车视频，并提取出该ID车辆每一帧的车牌图像，对其中模糊的车牌图像进行超分辨率重建，并对所有图像进行车牌识别，若车牌识别的结果中存在每一个字符置信度均大于等于90%的车牌号，则将车牌号、抓拍图像、违停图像及识别结果对应的帧图像发送给后台服务器。

6.如权利要求5所述的一种基于深度学习的违停车牌识别方法，其特征在于，所述所述车牌大小，即车牌图像的像素面积，像素面积越大，则分数越高；所述车牌每一个字符置信度，置信度越高，则分数越高；所述车牌模糊度，采用以下Brenner 梯度函数来计算车牌图像的清晰度，其中为像素点的灰度值，为图像清晰度结果，表达式为：

图像清晰度的值越大，则分数越高；

按分数大小进行排序，选取分数最高的车牌号作为最终结果。

7.如权利要求5所述的一种基于深度学习的违停车牌识别方法，其特征在于，所述超分辨率重建具体为：准备用于字典训练的低分辨率车牌图像LR以及其对应的高分辨率车牌图像MR，对一系列高分辨率车牌图像MR进行HR图块的选取，再对这些高分辨率车牌图像降质，形成一系列低分辨率车牌图像LR的图块，组成训练集，用字典训练算法联合训练高低分辨率图像块对，形成高低分辨率字典对，保证两个字典的稀疏系数一致，用低分辨率字典作为稀疏表示矩阵，提取待求低分辨率图像的稀疏表示系数，再结合用高分辨率字典反向投影出高分辨率图像块，再连接形成高分辨率图像，得到初步重建的图像。

8.如权利要求5所述的一种基于深度学习的违停车牌识别方法，其特征在于，所述步骤四，具体为：若在对所有图像进行车牌识别时，仍无法正确识别，则根据该ID车辆的跟踪轨迹来确定车辆的行驶方向，通过行驶方向来判断是向上一个路口的摄像头或下一个路口的摄像头请求协助，并发送违停车辆的信息。

9.如权利要求8所述的一种基于深度学习的违停车牌识别方法，其特征在于，所述步骤五，具体为：对该ID车辆出现在摄像头或摄像头的理论时刻前后分钟进行车牌识别，为人为设定的时间，并将识别到的所有车牌号及对应帧图像存储至本地数据库或；从本地数据库或存储的图像数据中分割出对应车辆图像以及车牌图像，将所有该目标ID的车辆图像以及摄像头抓拍图像、违停图像输入到训练好的车辆属性识别网络，将识别到的车辆颜色及车辆型号进行比对，若两者皆相同，则将车辆相似度置为1，否则置为0；同时对所有该目标ID车辆的车牌图像以及其车牌号依次与抓拍图像或违停图像进行比对，若位置的车牌字符相似度为，车牌整体相似度为，其中n为识别到的字符总数；若位置没有识别到字符，则两者不比较；若存在，则车牌整体相似度；进一步得到车辆的联合相似度，若大于设定阈值，则判断车辆匹配成功，将摄像头或识别到的违停车辆的车牌信息、违停抓拍图片等数据上报至服务器后台。

10.一种基于深度学习的违停车牌识别装置，其特征在于，包括一个或多个处理器，用于实现权利要求1至9中任一项所述的基于深度学习的违停车牌识别方法。

Images