CN104391966A - 基于深度学习的典型车标搜索方法 - Google Patents

Abstract

本发明属于智能交通领域，具体涉及一种基于深度学习的典型车标搜索方法,包括步骤：(1)获取待处理图像；(2)建立深度置信网络，并区分为圆形车标深度置信网络和椭圆形车标置信网络；(3)车标定位：对待处理图像进行检测处理，将检测结果分为包含圆形车标的图像、包含椭圆形车标的图像和其它图像三类；(4)车标预处理：将包含圆形车标的图像进行截图处理，获得圆形车标；将包含椭圆形车标的图像进行截图处理，获得椭圆形车标；并对上述获得的车标图像尺寸进行归一化；(5)车标识别：圆形车标输入圆形车标深度置信网络，获得车标分类结果；将椭圆形车标输入椭圆形车标深度置信网络，获得车标分类结果。

Description

基于深度学习的典型车标搜索方法

技术领域

本发明属于智能交通领域，具体涉及一种基于深度学习的典型车标搜索方法。

背景技术

视频监控广泛应用于交通领域，基于高清卡口视频的车标搜索是智能交通管理的重要功能。其处理流程为：首先在高清视频图像中定位车标区域，然后提取车标图像特征，最后实现车标分类。车标搜索可以增强交管部门对车辆的监管力度，对打击交通肇事逃逸、追查嫌疑车辆、识别套牌车辆等具有重要作用。

现有的车标定位方法如专利201310021485.8，201310251595.3利用形态学方法进行定位，易受汽车前脸中网等其他连续线条影响；专利201310559774.3，201310009960.X利用纹理特征基于模板匹配进行车标定位，易受汽车姿态、车标图像大小等因素影响，存在定位效果较差的问题。

现有的车标识别主要基于模板匹配、特征点匹配等方法实现，如专利201310021839.9采用PCA分析法提取包括多个特征点的集合，专利201310170528.9提取SIFT特征点集，上述两种方法都是针对特征点集合进行识别，易受反光等因素影响；专利201310251595.3将车标模板旋转若干角度后进行比对，在未知真实车标旋转角度的情况下，该方法并不具有旋转鲁棒性；现有方法易受车辆姿态、成像角度、环境光照、遮挡阴影等因素干扰，车标特征提取与分类受影响很大。

发明内容

针对现有车标搜索技术的不足，本发明提出了一种基于深度学习的典型车标搜索方法，该方法包括基于Hough变换的车标轮廓定位方法、基于深度置信网络(Deep Belief Networks，DBNs)的车标识别方法。

具体技术方案为：

一种基于深度学习的典型车标搜索方法，包括以下步骤：

(1)获取待处理图像；

(2)建立深度置信网络：收集已知品牌的车标图像，建立对应的深度置信网络，并区分为圆形车标深度置信网络和椭圆形车标置信网络；

(3)车标定位：对待处理图像进行检测处理，将检测结果分为包含圆形车标的图像、包含椭圆形车标的图像和其它图像三类；

(4)车标预处理：根据所述步骤(3)的定位结果，对包含圆形车标的图像进行截裁剪处理，获得圆形车标；对包含椭圆形车标的图像进行裁剪处理，获得椭圆形车标，并对两类车标图像尺寸进行归一化，将其高度值大小统一；

(5)车标识别：将所述步骤(4)中的圆形车标输入到所述步骤(2)中的圆形车标深度置信网络，获得车标分类结果；将所述步骤(4)中的椭圆形车标输入到所述步骤(2)中的椭圆形车标深度置信网络，获得车标分类结果。

进一步地，所述步骤(3)中的所述车标定位中对待处理图像进行检测处理，采用融合几何特征和Hough变换方法，具体分为，

第一类,融合几何特征和Hough变换的圆形车标定位方法，步骤如下，

(311)根据待处理图像尺寸，预设圆形车标半径大小在范围(R_min，R_max)内，设定Th_min为曲线段长度选择阈值，搜索待处理图像中的连续轮廓曲线，标记曲线的位置，将长度大于阈值Th_min的曲线加入线段集Q＝(Q₁,Q₂,…,Q_n)，其中，Q₁,Q₂,…,Q_n表示曲线段，n为自然数；

(312)对于曲线段Q_i，其中1≤i≤n，记录曲线段上两点之间距离满足(Th_min，R_max)的弦线段，根据圆上弦线段的几何特征来计算圆心，并计算圆参数，同时对符合该组圆参数的圆进行计数，即圆心和半径参数相同的为一组，总共检测到t组,得到圆集C＝(C₁,C₂,…,C_t)，C_j＝(x_j,y_j,r_j),1≤j≤t，t为自然数，其中x_j,y_j,r_j分别表示第j个圆的圆心的横坐标、纵坐标以及半径，圆的序号从1至t；

(313)计算圆集C中各圆之间的相似度，将圆心坐标点距离小于Th_C,和半径之差绝对值小于ThR的圆合并，取O_i＝max(C)，为C中出现最多的圆，其中，Th_C为圆心距离阈值，Th_R为半径差异阈值，二者均可在实际应用中根据精度和速度要求进行调整；

(314)按照步骤(312)至步骤(313)，i取值从1至n，可得圆集O＝(O₁,O₂,…,O_n)，计算O_max＝max(O)，即为检测到圆形车标；

第二类，融合几何特征和Hough变换的椭圆形车标定位方法，步骤如下，

(321)初始化二维累加矩阵E(w,h)＝0，其中w,h为待处理图像的尺寸大小；

(322)对待处理图像进行边缘检测并二值化为图像V，设置背景值为0，边缘值为1；

(323)对V中各非零点计算其切线方向；

(324)在V中遍历切线方向相同的任意两点，计算其中点坐标(x,y),并使对应E(x,y)加1；

(325)选择累加矩阵E(w,h)中值最大的元素，其对应坐标为椭圆形车标的中心坐标,即为检测到的椭圆形车标；

进一步地，所述步骤(5)中的车标识别具体步骤为，圆形车标输入到圆形车标深度置信网络，获得车标分类结果；椭圆形车标输入到椭圆形车标深度置信网络，获得车标分类结果；

进一步的，所述Th_min值取R_min值的六分之一大小。

采用本发明取得的有益效果：本发明所采用的利用深度置信网络(DBNs)进行车标识别的方法，可以快速、准确地识别车标图像，利用DBNs多层抽象，以较少参数表示复杂函数，从微观像素中有效提取抽象特征，在训练样本丰富时，分类效果优于传统神经网络；本发明是基于Hough变换检测定位具有圆形和椭圆形轮廓的若干种车标，相对于现有技术，针对每种车标分别进行检测定位的方法，本方法更具有通用性，定位效果更好；融合了圆形或椭圆形几何特征，相对于原始Hough变换方法，可以进一步提高定位速度和准确性。

附图说明

图1是本发明实现过程的流程图；

图2是圆形的几何特征示意图；

图3是椭圆的几何特征示意图；

图4是深度置信网络DBNs的结构图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

在介绍实施例之前，先将本发明运用到的圆形几何特征和椭圆形几何特征作说明，

1、圆形几何特征。

经统计，多数类型的车标都具有圆形或椭圆形轮廓，因此检测图像中可能存在的圆形或椭圆图案，可实现对具有该类图案车标的精确定位。本发明利用Hough变换结合几何特性实现典型车标定位。

如图2所示，圆具有两条弦垂直平分线的交点为圆心这一几何特征。假设点A(x1，y1)、B(x2，y2)分别为圆上某条弦的两个端点坐标，r_min、r_max为圆的半径下限、上限，则满足下面公式：

|x₁-x₂|≤2r_max,|y₁-y₂|≤2r_max

(x₁-x₂)²+(y₁-y₂)≤4r_max ²

则该线段的垂直平分线可以表示为：

$y=\frac{x_1-x_2}{y_1-y_2}x+\frac{{x_1}^2+{y_1}^2-{x_2}^2-{y_2}^2}{2(y_1-y_2)}$

并且该垂直平分线上的点必须满足：

$r_{\min }^2\≤{(x-x_1)}^2+{(y-y_1)}^2\≤r_{\max }^2$

基于这一特征，通过引入另一条弦CD，可以求出圆形的圆心O′(x₀,y₀)，图2中，E、F分别为AB和CD的线段的中点。

2.椭圆几何特征。

对于任意椭圆，其参数方程可表示为：

$\frac{{[(x-p)\cos \mathrm{\θ}+(y-q)\sin \mathrm{\θ}]}^2}{a^2}+\frac{{[(y-q)\cos \mathrm{\θ}+(x-p)\sin \mathrm{\θ}]}^2}{b^2}=1$

其中(p,q)为椭圆的中心坐标，a,b分别为椭圆的两个半轴，θ为长轴与坐标轴x方向夹角。椭圆具有4个未知参数，采用传统Hough变换计算量更大。考虑到椭圆具有如下的几何性质：如图3所示，椭圆上切线方向相同的两点的中点是椭圆的中心，在图3中，P₁，P₂为椭圆圆周上两点，坐标分别为(x₃,y₃)，(x₄,y₄)，l₁，l₂分别为其对应切线，且l₁，l₂斜率相同，则P₁，P₂连接线段的中点即为椭圆圆心O″，坐标为(x′₀,y′₀)。利用该性质，首先寻找椭圆上斜率相同的边缘点对，边缘点对的中心即为椭圆中心。

如图1所示，为本发明实现过程的流程图；具体步骤为：

(1)获取待处理图像；

(2)建立深度置信网络：收集已知品牌的车标图像，建立对应的深度置信网络，并区分为圆形车标深度置信网络和椭圆形车标深度置信网络；

本实施例，选用现有技术中的深度置信网络为Deep Belief Networks(DBNs)，是一类随机性Deep neural network，可用于统计建模，表征目标的抽象特征或统计分布。DBNs为由多个RBMs(Restricted BoltzmannMachines,限制波尔兹曼机)堆叠所形成的网络结构，图4所示为一个DBNs示例。在图4中，V为输入可观测数据层，h1、h2、h3为隐含层，层间存在连接，各层间连接构成RBMs；层内的单元间不存在连接。隐层单元被训练用于提取可观测层表现出的数据的相关性。

DBNs的基础是RBMs。以圆形车标深度置信网络为例，DBNs训练算法描述如下：

Step1：以初始观测样本X为输入训练第一层RBMs网络。

Step2：通过第一层训练后的RBMs获得初始观测样本X的一种抽象表示，即RBMs的输出,这一输出将作为数据进行后续训练过程。

Step3：将第一层RBMs的输出数据作为新的观测数据v_1，训练第二层RBMs网络,依次类推训练完成所有层RBMs网络。

Step4：通过监督训练过程，对DBNs中所有的参数进行监督训练。

(具体训练算法也可采用参考文献中的方法：Hinton,G.E.,Osindero,S.and Teh,Y.W.A fast learning algorithm for deep beliefnets.Neural Computation,vol 18,pp.1527-1554,2006.)

同理，椭圆形车标深度置信网络的建立也可以采用现有技术中的DBNs训练算法。

(3)车标定位：对待处理图像进行检测处理，将检测结果分为包含圆形车标的图像、包含椭圆形车标的图像和其它图像三类；

(4)车标预处理：根据所述步骤(3)的定位结果，对包含圆形车标的图像进行截裁剪处理，获得圆形车标；对包含椭圆形车标的图像进行裁剪处理，获得椭圆形车标，并对两类车标图像尺寸进行归一化，将其高度值大小统一；通常，为了消除图像大小对识别的影响，使车标居中，然后将图像尺寸大小统一。一般情况下，车标图像归一化后，图像高度值统一大小以后，横向大小也会一致。

(5)车标识别：将所述步骤(4)中的圆形车标输入到所述步骤(2)中的圆形车标深度置信网络，获得车标分类结果；将所述步骤(4)中的椭圆形车标输入到所述步骤(2)中的椭圆形车标深度置信网络，获得车标分类结果。(将待识别车标输入置信网络识别的过程可采用本领域的通用方法，也可采用参考文献中的方法：Hai Wang,Yingfeng Cai,and Long Chen，“A Vehicle Detection Algorithm Based on Deep Belief Network”，TheScientific World Journal，2014；V.Nair and G.E.Hinton,“3D objectrecognition with deep belief nets,”in Proceedings of the 23rdAnnual Conference on Neural Information Processing Systems(NIPS'09),2009.)

为使本发明实施例的目的、技术方案和优点更加清楚，以下实施例进行说明，一种车标定位识别方法，步骤如下：

步骤S101:分别采集具有圆形和椭圆形轮廓的各种车标的样本图片，对其进行尺寸归一化后得到车标模版库；分别针对圆形车标模板库和椭圆形车标模板库进行训练，生成对应的DBNs分类器；

下面，则采用上述形成的DBNs分类器对车辆进行典型车标搜索，具体为：

步骤S102：采集车辆的原始图像；原始图像中包含有车标；采集的具体过程是将拍摄装置安装于公路路口、收费站、停车场或者其他需要监测交通流量的位置，进而对行驶车辆进行图像采集，得到含有车标的原始图像；

步骤S103：结合圆形及椭圆形几何特点，利用Hough检测方法对所述原始图像进行车标定位，得到图像上的车标候选区域；

步骤S104：从原始视频图像中裁剪上一步骤获得的圆形或椭圆形车标候选区域，并对两类车标图像尺寸进行归一化，将其高度值大小统一。

步骤S105：采用所述DBNs分类器，将上述尺寸归一化的圆形或椭圆形车标图像输入分类器，输出其分类结果，与待搜索车标类别进行比对，实现车标搜索。

本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (4)

1.一种基于深度学习的典型车标搜索方法，其特征在于，包括以下步骤：

(1)获取待处理图像；

(2)建立深度置信网络：收集已知品牌的车标图像，建立对应的深度置信网络，并区分为圆形车标深度置信网络和椭圆形车标深度置信网络；

(3)车标定位：对待处理图像进行检测处理，将检测结果分为包含圆形车标的图像、包含椭圆形车标的图像和其它图像三类；

(4)车标预处理：根据所述步骤(3)的定位结果，对包含圆形车标的图像进行截裁剪处理，获得圆形车标；对包含椭圆形车标的图像进行裁剪处理，获得椭圆形车标，并对两类车标图像尺寸进行归一化，将其高度值大小统一；

(5)车标识别：将所述步骤(4)中的圆形车标输入到所述步骤(2)中的圆形车标深度置信网络，获得车标分类结果；将所述步骤(4)中的椭圆形车标输入到所述步骤(2)中的椭圆形车标深度置信网络，获得车标分类结果。

2.如权利要求1所述的一种基于深度学习的典型车标搜索方法，其特征在于：所述步骤(3)中的所述车标定位中对待处理图像进行检测处理，采用融合几何特征和Hough变换方法，具体分为，

第一类,融合几何特征和Hough变换的圆形车标定位方法，步骤如下，

(311)根据待处理图像尺寸，预设圆形车标半径大小在范围(R_min，R_max)内，设定Th_min为曲线段长度选择阈值，搜索待处理图像中的连续轮廓曲线，标记曲线的位置，将长度大于阈值Th_min的曲线加入线段集Q＝(Q₁,Q₂,…,Q_n)，其中，Q₁,Q₂,…,Q_n表示曲线段，n为自然数；

(312)对于曲线段Q_i，其中1≤i≤n，记录曲线段上两点之间距离满足(Th_min，R_max)的弦线段，根据圆上弦线段的几何特征来计算圆心，并计算圆参数，同时对符合该组圆参数的圆进行计数，即圆心和半径参数相同的为一组，总共检测到t组,得到圆集C＝(C₁,C₂,…,C_t)，C_j＝(x_j,y_j,r_j),1≤j≤t，t为自然数，其中x_j,y_j,r_j分别表示第j个圆的圆心的横坐标、纵坐标以及半径，圆的序号从1至t；

(313)计算圆集C中各圆之间的相似度，预先设置圆心距离阈值Th_C，半径差异阈值Th_R，将圆心坐标点距离小于Th_C,和半径之差绝对值小于Th_R的圆合并，取O_i＝max(C)，为C中出现最多的圆；

(314)按照步骤(312)至步骤(313)，i取值从1至n，可得圆集O＝(O₁,O₂,…,O_n)，计算O_max＝max(O)，即为检测到圆形车标；

第二类，融合几何特征和Hough变换的椭圆形车标定位方法，步骤如下，

(321)初始化二维累加矩阵E(w,h)＝0，其中w,h为待处理图像的尺寸大小；

(322)对待处理图像进行边缘检测并二值化为图像V，设置背景值为0，边缘值为1；

(323)对V中各非零点计算其切线方向；

(324)在V中遍历切线方向相同的任意两点，计算其中点坐标(x,y),并使对应E(x,y)加1；

(325)选择累加矩阵E(w,h)中值最大的元素，其对应坐标即为椭圆形车标的中心坐标，即为检测到椭圆形车标。

3.如权利要求1所述的一种基于深度学习的典型车标搜索方法，其特征在于：所述步骤(5)中的车标识别具体步骤为，圆形车标输入到圆形车标深度置信网络，获得车标分类结果；椭圆形车标输入到椭圆形车标深度置信网络，获得车标分类结果。

4.如权利要求2所述的一种基于深度学习的典型车标搜索方法，其特征在于：所述Th_min值取R_min值的六分之一大小。