CN108229473A - 车辆年检标签检测方法及装置 - Google Patents

Abstract

本发明涉及视频监控技术领域，公开了一种车辆年检标签检测方法及装置，其中，方法包括：获取包含有年检标签的待检测图像；利用预先训练得到的多级CNN网络模型逐级对待检测图像进行检测，得到包含有年检标签的区框位置，作为年检标签的位置；对包含有年检标签的区框进行标定点检测，其中，标定点表示年检标签轮廓上的角点；当未检测出标定点，则确定年检标签为椭圆形标签；当检测出标定点，则确定年检标签为矩形标签或菱形标签，其中，标定点之间形成的区域为年检标签的精确位置。本发明在获取到年检标签位置的基础上，对年检标签所在区框进行标定点检测，判断出年检标签的类型，有效减缓了交管部门的监控压力。

Description

车辆年检标签检测方法及装置

技术领域

本发明涉及视频监控技术领域，具体涉及一种车辆年检标签检测方法及装置。

背景技术

随着经济的发展以及人们生活水平的不断提高，道路上机动车辆数量不断增加，大量的机动车辆在道路上行驶，无疑给交通管理部门带来了巨大的管理压力。目前，主要是通过在道路上安装监控摄像头来实现对车辆数据的统计分析，例如通过监控摄像头拍摄的图像来抓取闯红灯的车辆、分析车辆的轨迹等。

但是，判断车辆是否按时交年检的技术尚不成熟，往往还需要依靠人工进行判断，仍需要耗费大量的人力和精力。

为了解决上述问题，公开号为CN105718912A的中国专利文献公开了一种基于深度学习的车辆特征物检测方法，包括以下步骤：步骤1.把车窗内所有需要检测的物体标注出来，设计CNN网络结构，用该结构在Caffe框架上进行训练，得到多分类模型；步骤2.通过统计机器学习的方法粗略定位车脸的位置，并对车窗四个点进行定位，得到车窗的位置；步骤3.提取建议框；步骤4.在建议框的基础上进行多尺度缩放得到不同尺度下的待分类区域，然后利用步骤1得到的多分类模型进行分类；步骤5.利用先验信息进行去误检处理；步骤6.得到车窗上的各种特征物类别与坐标。

虽然上述图像处理方法可以检测出车辆特征物的类别和坐标，但是对于年检标签来说，其具有多个形状，例如椭圆形、矩形和菱形。上述图像处理方法并不能准确检测出年检标签的具体形状，即无法检测识别出年检标签的具体类型。

发明内容

为此，本发明所要解决的技术问题是：如何检测车辆年检标签的具体类型。

为解决上述技术问题，本发明采用的技术方案如下：

本发明提供了一种车辆年检标签检测方法，包括以下步骤：

获取包含有年检标签的待检测图像；

利用预先训练得到的多级CNN网络模型逐级对所述待检测图像进行检测，得到包含有年检标签的区框位置，作为所述年检标签的位置；

对所述包含有年检标签的区框进行标定点检测，其中，所述标定点表示年检标签轮廓上的角点；

当未检测出所述标定点，则确定所述年检标签为椭圆形标签；

当检测出所述标定点，则确定所述年检标签为矩形标签或菱形标签，其中，所述标定点之间形成的区域为所述年检标签的精确位置。

可选地，所述获取包含有年检标签的待检测图像的步骤包括：

获取车辆监控图像中车辆前车窗所在的区域；

对所述车辆前车窗所在的区域进行灰度化处理，以对所述车辆前车窗所在的区域进行边缘检测；

获取所述监控图像的横向投影和纵向投影；

根据所述横向投影和所述纵向投影的直方图确定所述车辆前车窗的左右和上下边界；

按比例提取所述车辆前车窗的左、右、上边界部分区域，作为所述待检测图像。

可选地，所述利用预先训练得到的多级CNN网络模型逐级对所述待检测图像进行检测，得到包含有年检标签的区框位置的步骤包括：

对所述待检测图像进行多尺度缩放，形成图像金字塔；

将所述图像金字塔输入第一级CNN网络模型中，按照对应所述第一级CNN网络模型中的预设阈值进行分类，获取包含有年检标签的边界框；

将所述边界框输入至第二级CNN网络模型中继续分类，以此类推，并以从最后一级CNN网络模型中获取的边界框作为所述年检标签的位置。

可选地，所述当检测出所述标定点，则确定所述年检标签为矩形标签或菱形标签的步骤之后，还包括：

根据所述标定点计算出所述年检标签的第一倾角；

根据所述车辆前车窗的左右和上下边界计算出所述车辆前车窗的第二倾角；

判断所述第一倾角和所述第二倾角的差值是否在预设阈值内；

当所述差值在预设阈值内，则确定所述年检标签为矩形标签；

当所述差值不在预设阈值内，则确定所述年检标签为菱形标签。

可选地，在所述利用预先训练得到的多级CNN网络模型逐级对所述待检测图像进行检测的步骤之前，还包括：

获取训练样本；

通过随机截取框在所述训练样本中随机采集多层标签样本和标定点样本，且每层样本的尺度均不同；

将第一层所述标签样本输入至第一级CNN网络结构中，进行分类训练处理，得到第一分类结果，得到第一级CNN网络模型；

将所述第二层所述标签样本和所述第一分类结果一同输入第二级CNN网络结构中，进行分类训练处理，得到第二分类结果，得到第二级CNN网络模型；

以此类推，直至获取最后一级CNN网络结构的分类结果，并输入所述标定点样本至最后一级CNN网络结构做回归处理，得到最后一级CNN网络模型。

本发明还提供了一种车辆年检标签检测装置，包括：

待检测图像获取单元，用于获取包含有年检标签的待检测图像；

年检标签位置获取单元，用于利用预先训练得到的多级CNN网络模型逐级对所述待检测图像进行检测，得到包含有年检标签的区框位置，作为所述年检标签的位置；

标定点检测单元，用于对所述包含有年检标签的区框进行标定点检测，其中，所述标定点表示年检标签轮廓上的角点；

第一确定单元，用于当未检测出所述标定点时，确定所述年检标签为椭圆形标签，还用于当检测出所述标定点时，确定所述年检标签为矩形标签或菱形标签。

可选地，所述待检测图像获取单元包括：

第一获取单元，用于获取车辆监控图像中车辆前车窗所在的区域；

车辆前车窗处理单元，用于对所述车辆前车窗所在的区域进行灰度化处理，以对所述车辆前车窗所在的区域进行边缘检测；

第二获取单元，用于获取所述监控图像的横向投影和纵向投影；

第二确定单元，用于根据所述横向投影和所述纵向投影的直方图确定所述车辆前车窗的左右和上下边界；

提取单元，用于按比例提取所述车辆前车窗的左、右、上边界部分区域，作为所述待检测图像。

可选地，还包括：

第一倾角计算单元，用于根据所述标定点计算出所述年检标签的第一倾角；

第二倾角计算单元，用于根据所述车辆前车窗的左右和上下边界计算出所述车辆前车窗的第二倾角；

判断单元，用于判断所述第一倾角和所述第二倾角的差值是否在预设阈值内；

第三确定单元，用于当所述差值在预设阈值内时，确定所述年检标签为矩形标签，以及用于当所述差值不在预设阈值内时，确定所述年检标签为菱形标签。

本发明还提供了一种图像处理装置，包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述车辆年检标签检测方法。

本发明还提供了一种非暂态计算机可读存储介质，包括：

所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述车辆年检标签检测方法。

本发明的上述技术方案相对于现有技术具有以下优点：

本发明提供的车辆年检标签检测方法，通过预先训练得到的多级CNN网络模型逐级对输入的待检测图像进行检测，提高了检测精确度，有利于准确地获取年检标签的位置。另外，在获取到年检标签位置的基础上，还对年检标签所在区框进行标定点检测，通过对标定点是否存在的判断，确定年检标签为椭圆形或非椭圆形(即矩形或菱形)，即可判断出年检标签的类型，继而判断出该车辆是否按时缴纳年检费用，有效减缓了交管部门的监控压力。与此同时，当检测出标定点时，即可以检测出的标定点之间形成的区域作为年检标签更精确的位置。

本发明提供的车辆年检标签检测方法，获取到的待检测图像是按比例从车辆前车窗的左、右、上边界部分区域提取得到的，而并不是整个监控图像和整个前车窗，由此，提高了年检标签在整个待检测图像中的占比，减小了后续检测过程中的计算量，提高了检测效率。

本发明提供的车辆年检标签检测方法，通过将多尺度缩放后的图像金字塔输入至第一级CNN网络模型中进行分类处理，得到包含有年检标签的边界框，再将该边界框输入至第二级CNN网络模型中继续分类处理，得到又一边界框，以此类推，以最后一级CNN网络模型中获取的边界框作为年检标签的位置。该车辆年检标签检测方法是以级联的CNN网络模型进行检测，每层CNN网络模型都可以对输入的图像进行独立检测，而非简单的过滤处理，有效提高了检测性能。

本发明提供的车辆年检标签检测方法，当确定出年检标签的形状为矩形或菱形后，还对矩形或菱形进行了判断，即根据标定点计算出年检标签的第一倾角，根据之前确定的车辆前车窗的左右上下边界计算出车辆前车窗的第二倾角，由于矩形年检标签的倾角与前车窗的倾角较为接近，因此当第一倾角和第二倾角的差值在预设阈值内，则确定为矩形年检标签，否则为菱形标签。该判断过程利用了年检标签和前车窗之间的属性进行判断，判断方法较为简单，并且判断速度较快，在能够确定年检标签具体形状的前提下，提高了检测效率。

本发明提供的车辆年检标签检测方法，在获取待检测图像之前还包括训练得到多级CNN网络模型的步骤，在该训练过程中，每级CNN网络结构中的样本尺度均不同，增加了样本的多样性，优化了训练效果。并且，在最后一级CNN网络结构中，还对标定点样本做了回归处理，增加了约束力，提高了后续年检标签位置检测的准确率。

本发明提供的车辆年检标签检测装置，年检标签位置获取单元通过预先训练得到的多级CNN网络模型逐级对输入的待检测图像进行检测，提高了检测精确度，有利于准确地获取年检标签的位置。另外，在获取到年检标签位置的基础上，还通过标定点检测单元对年检标签所在区框进行标定点检测，通过对标定点是否存在的判断，确定年检标签为椭圆形或非椭圆形(即矩形或菱形)，即可判断出年检标签的类型，继而判断出该车辆是否按时缴纳年检费用，有效减缓了交管部门的监控压力。与此同时，当检测出标定点时，即可以检测出的标定点之间形成的区域作为年检标签更精确的位置。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的车辆年检标签检测方法的流程图；

图2为本发明实施例1中步骤S11的流程图；

图3为本发明实施例1中步骤S12的流程图；

图4为本发明实施例1中识别矩形标签和菱形标签的流程图；

图5为本发明实施例1中获取多级CNN网络模型的流程图；

图6为本发明实施例2提供的车辆年检标签检测装置的结构示意图；

图7为本发明实施例2中待检测图像获取单元的结构示意图；

图8为本发明实施例2中一种优选实施方式的结构示意图；

图9为本发明实施例4提供的图像处理装置的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供了一种车辆年检标签检测方法，主要应用于对道路上车辆年检标签的视频监控。如图1所示，包括以下步骤：

步骤S11、获取包含有年检标签的待检测图像。

具体地，如图2所示，本实施例中，步骤S11包括以下步骤:

步骤S111、获取车辆监控图像中车辆前车窗所在的区域。具体地，本实施例中是利用统计机器学习的方法，粗略地定位出前车窗在车辆监控图像中的位置。当然，其他可以实现定位的方法同样适用于本发明。

步骤S112、对车辆前车窗所在的区域进行灰度化处理，以对车辆前车窗所在的区域进行边缘检测。具体地，本实施例中是采用Canny算子对整个车辆监控图像进行边缘检测，故可以检测出车辆监控图像所有的边框，其中包括前车窗的边缘。

步骤S113、获取监控图像的横向投影和纵向投影。

步骤S114、根据横向投影和纵向投影的直方图确定车辆前车窗的左右和上下边界。具体地，由于在步骤S112中对前车窗进行了边缘检测，因此了，在横向投影和纵向投影的投影直方图中前车窗的上下左右边界均存在明显的突变，由此，即可确定车辆前车窗的上下左右边界。

步骤S115、按比例提取车辆前车窗的左、右、上边界部分区域，作为待检测图像。具体地，由于在步骤S114中确定了车辆前车窗的上下左右边界，因此，在监控图像中靠近前车窗左右上边界的区域，按比例提取出整块的年检标签区域，作为包含有年检标签的待检测图像。

由于本发明获取的待检测图像是从车辆前车窗的左、右、上边界部分区域提取得到的整块年检标签区域，而不是整个监控图像或整个前车窗区域，因此，提高了年检标签在整个待检测图像中的占比，减小了后续检测过程中的计算量，提高了检测效率。

步骤S12、利用预先训练得到的多级CNN网络模型逐级对待检测图像进行检测，得到包含有年检标签的区框位置，作为年检标签的位置。

具体地，如图3所示，本实施例中，步骤S12包括以下步骤：

步骤S121、对待检测图像进行多尺度缩放，形成图像金字塔。具体地，以预设的缩放比例对待检测图像进行多尺度缩放，并以金字塔形式排列，形成一个图像合集。例如，缩放比例设置为0.7，即下一层的图像的分辨率都是上一层图像的0.7倍。

需要说明的是，缩放比例可以根据实际需求进行设置，且图像金字塔中最下层图像的分辨率具有下限值，一旦分辨率小于等于下限值时，则不再进行缩放。

步骤S122、将图像金字塔输入第一级CNN网络模型中，按照对应第一级CNN网络模型中的预设阈值进行分类，获取包含有年检标签的边界框。

具体地，本实施例中，第一层CNN网络模型中的预设阈值可以设置为0.6，如此，在保持较高的召回率的同时，可排除大量的非年检标签的边界框。另外，在第一级CNN网络模型中，还利用NMS进行图像的修正。

步骤S123、将边界框输入至第二级CNN网络模型中继续分类，以此类推，并以从最后一级CNN网络模型中获取的边界框作为年检标签的位置。即，将第一级CNN网络模型分类得到的边界框输入第二级及其往后的CNN网络模型中，继续进行分类处理，直到最后一级CNN网络模型分类处理完毕，则以最后一级CNN网络模型中获取的边界框作为年检标签的位置。

其中，在第二级CNN网络模型以及后级CNN网络模型中也均基于预设阈值进行分类。例如第二级CNN网络模型中预设阈值为0.5，第三级CNN网络模型中预设阈值为0.5等。分类的预设阈值可以根据实际情况进行设置。

同样地，在第二级及其往后的CNN网络模型中均采用NMS进行图像的修正。

综上，本发明实施例的车辆年检标签检测方法是以级联的CNN网络模型进行检测，每层CNN网络模型都可以对输入的图像进行独立检测，而非简单的过滤处理，有效提高了检测性能。

步骤S13、对包含有年检标签的区框进行标定点检测，其中，标定点表示年检标签轮廓上的角点。

具体地，本实施例中，标定点的检测是在最后一级CNN网络模型中进行的。

步骤S14、当未检测出标定点，则确定年检标签为椭圆形标签。

目前的年检标签一共有椭圆形、矩形和菱形三种形状，由于椭圆形标签的边界上不存在标定点，而矩形和菱形标签的边界具有标定点，因此当未检测出标定点时，即可确定该年检标签为椭圆形标签。

步骤S15、当检测出标定点，则确定年检标签为矩形标签或菱形标签，其中，标定点之间形成的区域为年检标签的精确位置。

本发明实施例提供的车辆年检标签检测方法，通过预先训练得到的多级CNN网络模型逐级对输入的待检测图像进行检测，提高了检测精确度，有利于准确地获取年检标签的位置。另外，在获取到年检标签位置的基础上，还对年检标签所在区框进行标定点检测，通过对标定点是否存在的判断，确定年检标签为椭圆形或非椭圆形(即矩形或菱形)，即可判断出年检标签的类型，继而判断出该车辆是否按时缴纳年检费用，有效减缓了交管部门的监控压力。与此同时，当检测出标定点时，即可以检测出的标定点之间形成的区域作为年检标签更精确的位置。

作为本实施例的一种优选实施方式，在步骤S15之后，还包括以下步骤：利用年检标签的先验信息进行去误检处理，其中，先验信息为年检标签的大小、颜色和长宽比。如此，有助于进一步提高年检标签的位置精确度。

本实施例中，当步骤S15之后或者在上述去误检处理的步骤之后，如图4所示，还包括以下对矩形标签和菱形标签进行识别的步骤：

步骤S161、根据标定点计算出年检标签的第一倾角。

步骤S162、根据车辆前车窗的左右和上下边界计算出车辆前车窗的第二倾角。

其中，步骤S161中获取的第一倾角和步骤S162中获取的第二倾角都是相对于同一个参考平面进行计算的，可以为水平面，也可以是垂直面，或者是其他的参考面。

步骤S163、判断第一倾角和第二倾角的差值是否在预设阈值内。

步骤S164、当差值在预设阈值内，则确定年检标签为矩形标签。

步骤S165、当差值不在预设阈值内，则确定年检标签为菱形标签。

由于矩形年检标签的倾角与前车窗的倾角较为接近，因此当第一倾角和第二倾角的差值在预设阈值内，则确定为矩形年检标签，否则为菱形标签。该判断过程利用了年检标签和前车窗之间的属性，判断方法较为简单，并且判断速度较快，在能够确定年检标签具体形状的前提下，提高了检测效率。

本实施例中，在步骤S11或步骤S12之前，如图5所示，还包括以下训练得到多级CNN网络模型的步骤：

步骤S101、获取训练样本。

具体地，本实施例中，首先将前车窗内所有的年检标签使用标定框标注出来，一般是手动将前车窗内所有的年检标签以框的形式标定出来，本实施例中将该框称为标定框。其中，年检标签一共有三种形状，椭圆形、矩形以及菱形，以矩形标签和菱形标签的四个角点作为关键点，用于后续样本的获取。

然后在靠近车窗左右上三个边界处获取整块的年检标签区域，作为训练样本。

步骤S102、通过随机截取框在训练样本中随机采集多层标签样本和标定点样本，且每层样本的尺度均不同。其中，随机截取框指的是在训练样本上随机截取获得的框。

具体地，本实施例中，标签样本包括正样本、负样本以及部分样本，其中，负样本为非年检标签，即背景样本；正样本为年检标签；部分样本为部分年检标签，即样本框内有4％-65％的年检标签，当然，该范围值可以根据实际情况设定。标定点样本为标定好四个关键点的年检标签。其中，负样本和正样本用于年检标签的分类，正样本和部分样本用于目标框的回归定位，标定点样本用于关键点的定位。

本实施例中，根据随机截取框和标定框的重合率来判断随机截取框截取的标签样本种类，具体为：

当标定框和随机截取框的重合面积/min(标定框面积，随机截取框面积)<0.3时，该随机截取框截取的为负样本；

当标定框与随机截取框的重合面积/(标定框面积+随机截取框面积-标定框与随机截取框的重合面积)>＝0.65时，该随机截取框截取的为正样本；

当0.65<标定框与随机截取框的重合面积/(标定框面积+随机截取框面积-标定框与随机截取框的重合面积)>0.4时，该随机截取框截取的为部分样本。

本实施例中，负样本、正样本、部分样本和标定点样本的比例为3:1:1:2。当确定了截取的标签样本种类后，将上述样本按比例分为多层，且每层样本的尺度均不同，标定点样本只设置在最后一层。例如，一共分为三层，第一层中的正样本、负样本和部分样本的尺度均为12×12像素，第二层中的正样本、负样本和部分样本的尺度均为24×24像素，第三层中的正样本、负样本、部分样本以及标定点样本的尺度均为48×48像素。

步骤S103、将第一层标签样本输入至第一级CNN网络结构中，进行分类训练处理，得到第一分类结果，得到第一级CNN网络模型。

具体地，将第一层中的正样本和部分样本合并后，与负样本一同输入第一级CNN网络结构中进行分类训练，得到第一分类结果，得到第一级CNN网络模型。

步骤S104、将第二层标签样本和第一分类结果一同输入第二级CNN网络结构中，进行分类训练处理，得到第二分类结果，得到第二级CNN网络模型。

具体地，首先将第一分类结果中满足一定预设阈值的图像提取出来(例如检测率大于60％)，并结合标定框标定的年检标签位置，继续分为正样本和负样本，并将其缩放至第二层样本尺度大小。再将缩放好的正负样本和第二层的标签样本一同输入第二级CNN网络结构中，进行分类处理，得到第二分类结果，得到第二级CNN网络模型。

步骤S105、以此类推，直至获取最后一级CNN网络结构的分类结果，并输入标定点样本至最后一级CNN网络结构做回归处理，得到最后一级CNN网络模型。

具体地，将步骤S104中分好的正负样本缩放至第三层样本尺度大小，再将缩放好的正负样本与第三层标签样本一同输入至第三级CNN网络结构中，继续进行分类处理，得到第三级CNN网络模型。

按上述步骤获取后面各级CNN网络模型，直至获取到最后一级CNN网络结构的分类结果，并输入标定点样本至最后一级CNN网络结构中做回归处理，由此得到最后一级CNN网络模型。

本实施例中，分类的损失函数使用交叉熵损失函数，回归的损失函数使用欧几里得损失函数。

在上述训练过程中，每级CNN网络结构中的样本尺度均不同，增加了样本的多样性，优化了训练效果。并且，在最后一级CNN网络结构中，还对标定点样本做了回归处理，增加了约束力，提高了后续年检标签位置检测的准确率。

需要说明的是，在执行步骤S103之前，需要设计得到级联CNN网络结构。例如，三层级联CNN网络结构，第一层有三个卷积层，一个池化层，三个RELU层；第二层与第一层相似，增加了全连接层，第三层与第二层相似，比第二层多了一层卷积层，网络更深一点，处理更加精细，并且对年检标签区域进行了更多的监督。

实施例2

本实施例提供了一种车辆年检标签检测装置，如图6所示，包括待检测图像获取单元21、年检标签位置获取单元22、标定点检测单元23以及第一确定单元24。其中，

待检测图像获取单元21用于获取包含有年检标签的待检测图像；

年检标签位置获取单元22用于利用预先训练得到的多级CNN网络模型逐级对待检测图像进行检测，得到包含有年检标签的区框位置，作为年检标签的位置；

标定点检测单元23用于对包含有年检标签的区框进行标定点检测，其中，标定点表示年检标签轮廓上的角点；

第一确定单元24用于当未检测出标定点时，确定年检标签为椭圆形标签，还用于当检测出标定点时，确定年检标签为矩形标签或菱形标签。

优选地，如图7所示，待检测图像获取单元21包括第一获取单元211、车辆前车窗处理单元212、第二获取单元213、第二确定单元214以及提取单元215。其中，

第一获取单元211用于获取车辆监控图像中车辆前车窗所在的区域；

车辆前车窗处理单元212用于对车辆前车窗所在的区域进行灰度化处理，以对车辆前车窗所在的区域进行边缘检测；

第二获取单元213用于获取监控图像的横向投影和纵向投影；

第二确定单元214用于根据横向投影和纵向投影的直方图确定车辆前车窗的左右和上下边界；

提取单元215用于按比例提取车辆前车窗的左、右、上边界部分区域，作为待检测图像。

优选地，如图8所示，本实施例的车辆年检标签检测装置还包括第一倾角计算单元251、第二倾角计算单元252、判断单元253以及第三确定单元254。其中，

第一倾角计算单元251用于根据标定点计算出年检标签的第一倾角；

第二倾角计算单元252用于根据车辆前车窗的左右和上下边界计算出车辆前车窗的第二倾角；

判断单元用于253判断第一倾角和第二倾角的差值是否在预设阈值内；

第三确定单元254用于当差值在预设阈值内时，确定年检标签为矩形标签，以及用于当差值不在预设阈值内时，确定年检标签为菱形标签。

本发明实施例提供的车辆年检标签检测装置，年检标签位置获取单元通过预先训练得到的多级CNN网络模型逐级对输入的待检测图像进行检测，提高了检测精确度，有利于准确地获取年检标签的位置。另外，在获取到年检标签位置的基础上，还通过标定点检测单元对年检标签所在区框进行标定点检测，通过对标定点是否存在的判断，确定年检标签为椭圆形或非椭圆形(即矩形或菱形)，即可判断出年检标签的类型，继而判断出该车辆是否按时缴纳年检费用，有效减缓了交管部门的监控压力。与此同时，当检测出标定点时，即可以检测出的标定点之间形成的区域作为年检标签更精确的位置。

实施例3

本实施例提供了上述实施例1中提供的车辆年检标签检测方法的一个示例。包括以下步骤：

步骤1、数据采集

1.1收集监控图像中若干包括前车窗的图片样本。

1.2标注前车窗内各年检标签的区域，以及以矩形和菱形年检标签的四个角作为关键点。

1.3沿着车窗左右上三个边界，获得年检标签的整块区域，作为训练样本。该区域包含全部的年检标签和部分非年检标签部分。

1.4在训练样本上随机提取负样本，正样本，部分样本和标定点样本，比例分别是3:1:1:2，随机采集样本尺度第一层为12*12像素，第二层为24*24像素，第三层为48*48像素。

步骤2：训练

2.1合并第一层的正样本和部分样本，并和其负样本一起输入CNN1中做分类。

2.2提取CNN1分类中阈值大于60％的图像，结合标定的年检标签区域的位置，继续分为正样本和负样本，并缩放为24*24像素，并加上随机采集的第二层的样本，一起输入CNN2做分类。

2.3把步骤2.2中由CNN1分类获得的正负样本进行缩放为48*48像素，并加上随机采集的第三层的样本，继续一起输入到CNN3做分类，并且把关键点样本输入CNN3做回归。分类的损失函数使用交叉熵损失函数，而回归的损失函数使用欧几里得损失函数。

步骤3：检测

3.1把输入的待检测图像，使用统计机器学习方法，canny边缘检测算法，纵横方向投影获得前车窗边界。

3.2在前车窗的左右和上三个区域根据比例分别提取一块，作为待检测的输入图像。

3.3将输入图像进行多尺度缩放，缩放比例设为0.7，并输入到已经训练好的级联CNN网络中，做分类回归，获得年检标签的精确位置。检测时，三个CNN网络的阈值分别设为0.6，0.5,0.5。如该年检标签区域无关键点，则该年检标签为椭圆形的，否则为矩形或菱形的。

3.4通过关键点坐标，计算倾斜角度，获得年检标签的具体形状。

3.5输出检测出的年检标签的位置和形状。

实施例4

本实施例提供了一种图像处理装置，包括一个或多个处理器41以及存储器42，图9中以一个处理器41为例。

处理器41可以为中央处理器(Central Processing Unit，CPU)。处理器41还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器41也可以是任何常规的处理器等。

存储器42作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的信令传输方法对应的程序指令/模块。处理器41通过运行存储在存储器42中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述实施例中的车辆年检标签检测方法。

存储器42可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据车辆年检标签检测装置的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器42可选包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至采用上述车辆年检标签检测方法的车辆年检标签检测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器42中，当被所述一个或者多个处理器41执行时，执行实施例1中所述的车辆年检标签检测方法。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，具体可参见实施例1中的相关描述。

实施例5

本实施例提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行实施例1中所述的车辆年检标签检测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一种计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种车辆年检标签检测方法，其特征在于，包括以下步骤：

获取包含有年检标签的待检测图像；

利用预先训练得到的多级CNN网络模型逐级对所述待检测图像进行检测，得到包含有年检标签的区框位置，作为所述年检标签的位置；

对所述包含有年检标签的区框进行标定点检测，其中，所述标定点表示年检标签轮廓上的角点；

当未检测出所述标定点，则确定所述年检标签为椭圆形标签；

当检测出所述标定点，则确定所述年检标签为矩形标签或菱形标签，其中，所述标定点之间形成的区域为所述年检标签的精确位置。

2.根据权利要求1所述的车辆年检标签检测方法，其特征在于，所述获取包含有年检标签的待检测图像的步骤包括：

获取车辆监控图像中车辆前车窗所在的区域；

对所述车辆前车窗所在的区域进行灰度化处理，以对所述车辆前车窗所在的区域进行边缘检测；

获取所述监控图像的横向投影和纵向投影；

根据所述横向投影和所述纵向投影的直方图确定所述车辆前车窗的左右和上下边界；

按比例提取所述车辆前车窗的左、右、上边界部分区域，作为所述待检测图像。

3.根据权利要求1所述的车辆年检标签检测方法，其特征在于，所述利用预先训练得到的多级CNN网络模型逐级对所述待检测图像进行检测，得到包含有年检标签的区框位置的步骤包括：

对所述待检测图像进行多尺度缩放，形成图像金字塔；

将所述图像金字塔输入第一级CNN网络模型中，按照对应所述第一级CNN网络模型中的预设阈值进行分类，获取包含有年检标签的边界框；

将所述边界框输入至第二级CNN网络模型中继续分类，以此类推，并以从最后一级CNN网络模型中获取的边界框作为所述年检标签的位置。

4.根据权利要求2所述的车辆年检标签检测方法，其特征在于，所述当检测出所述标定点，则确定所述年检标签为矩形标签或菱形标签的步骤之后，还包括：

根据所述标定点计算出所述年检标签的第一倾角；

根据所述车辆前车窗的左右和上下边界计算出所述车辆前车窗的第二倾角；

判断所述第一倾角和所述第二倾角的差值是否在预设阈值内；

当所述差值在预设阈值内，则确定所述年检标签为矩形标签；

当所述差值不在预设阈值内，则确定所述年检标签为菱形标签。

5.根据权利要求1所述的车辆年检标签检测方法，其特征在于，在所述利用预先训练得到的多级CNN网络模型逐级对所述待检测图像进行检测的步骤之前，还包括：

获取训练样本；

通过随机截取框在所述训练样本中随机采集多层标签样本和标定点样本，且每层样本的尺度均不同；

将第一层所述标签样本输入至第一级CNN网络结构中，进行分类训练处理，得到第一分类结果，得到第一级CNN网络模型；

将第二层所述标签样本和所述第一分类结果一同输入第二级CNN网络结构中，进行分类训练处理，得到第二分类结果，得到第二级CNN网络模型；

以此类推，直至获取最后一级CNN网络结构的分类结果，并输入所述标定点样本至最后一级CNN网络结构做回归处理，得到最后一级CNN网络模型。

6.一种车辆年检标签检测装置，其特征在于，包括：

待检测图像获取单元，用于获取包含有年检标签的待检测图像；

年检标签位置获取单元，用于利用预先训练得到的多级CNN网络模型逐级对所述待检测图像进行检测，得到包含有年检标签的区框位置，作为所述年检标签的位置；

标定点检测单元，用于对所述包含有年检标签的区框进行标定点检测，其中，所述标定点表示年检标签轮廓上的角点；

第一确定单元，用于当未检测出所述标定点时，确定所述年检标签为椭圆形标签，还用于当检测出所述标定点时，确定所述年检标签为矩形标签或菱形标签。

7.根据权利要求6所述的车辆年检标签检测装置，其特征在于，所述待检测图像获取单元包括：

第一获取单元，用于获取车辆监控图像中车辆前车窗所在的区域；

车辆前车窗处理单元，用于对所述车辆前车窗所在的区域进行灰度化处理，以对所述车辆前车窗所在的区域进行边缘检测；

第二获取单元，用于获取所述监控图像的横向投影和纵向投影；

第二确定单元，用于根据所述横向投影和所述纵向投影的直方图确定所述车辆前车窗的左右和上下边界；

提取单元，用于按比例提取所述车辆前车窗的左、右、上边界部分区域，作为所述待检测图像。

8.根据权利要求7所述的车辆年检标签检测装置，其特征在于，还包括：

第一倾角计算单元，用于根据所述标定点计算出所述年检标签的第一倾角；

第二倾角计算单元，用于根据所述车辆前车窗的左右和上下边界计算出所述车辆前车窗的第二倾角；

判断单元，用于判断所述第一倾角和所述第二倾角的差值是否在预设阈值内；

第三确定单元，用于当所述差值在预设阈值内时，确定所述年检标签为矩形标签，以及用于当所述差值不在预设阈值内时，确定所述年检标签为菱形标签。

9.一种图像处理装置，其特征在于，包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1至5中任一项所述的车辆年检标签检测方法。

10.一种非暂态计算机可读存储介质，其特征在于，包括：所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至5中任一项所述的车辆年检标签检测方法。