CN103646241B - 一种基于嵌入式系统的实时出租车识别方法 - Google Patents

Abstract

本发明公开了一种基于嵌入式系统的实时出租车识别方法，该方法包括以下步骤：在视频图像中设定若干检测区域；将检测区域映射为矩阵图像；判断检测区域中是否存在车牌，若是进入下一步骤，若否，对其它检测区域进行判断；得到存在车牌的检测区域中的车顶区域，并提取其特征向量；提取车身颜色分布特征向量；拟合得到关于出租车特征向量的回归方程；根据所述回归方程，以及车顶区域特征向量和车身颜色特征向量组合构成的复合特征向量，来对于出租车进行识别。本发明时空间花销小，故能满足嵌入式系统对于出租车的实时识别要求。

Description

一种基于嵌入式系统的实时出租车识别方法

技术领域

本发明涉及基于嵌入式物联网视频智能监控和车辆类型识别领域，尤其涉及一种基于嵌入式系统的实时出租车识别方法。

背景技术

随着嵌入式系统软硬件功能水平的不断提高，嵌入式系统渐渐进入到现实生活中的方方面面，最常见的莫过于平常所见的各种大大小小摄像机组成的视频监控系统，视频监控系统通过多年来不断的发展，被广泛地应用于各种领域、各种环境、场景下的监控管理任务。而随着计算机视觉和人工智能、模式识别技术理论发展和实践探索，视频监控系统现在正朝智能化这个方向去发展。

智能交通系统是视频智能监控系统在交通领域一个重要的应用。在智能交通系统中，有一个核心功能是对过往车辆进行准确的检测、车辆类型的识别。纵观目前国内外车型识别的研究和应用，主要都是根据车体的三维尺寸来把车辆划分为：大中小这样的类别，这种简单的分类往往难以满足某些监控场景的需求。

据资料显示，在占道路车流机动车中，出租车在其中往往占据比较大的比例。由此可见，合理的出租车管理与调配具有十分重要的现实意义。而要实现这个目的，首要条件是能自动识别路面上的出租车。

目前可查阅到的出租车识别算法主要是通过提取HAAR-LIKE矩形特征、灰度方向直方图(HOG)特征等等，再结合SVM分类器实现的。这类方法的缺点主要就是时空间花销比较大，只能放在一些配置较高的PC端上运行以实现实时检测，在嵌入式系统上是无法做到实时检测的，同时目前市场上还没有发现能在嵌入式系统中实现的出租车识别方法。

发明内容

本发明的目的是针对目前现有出租车识别方法的不足与缺陷，提出一种基于嵌入式系统的实时出租车识别方法，经过多次严格实验数据证明，该出租车识别方法具有较高的实时性、准确性，以及鲁棒性。

为了实现本发明的目的，本发明所提出的一种实时出租车识别方法包括以下步骤：

步骤1，在视频图像中设定若干虚拟线圈，即检测区域；

步骤2，将所述检测区域经过透视变换映射为矩阵图像；

步骤3，判断变换后的检测区域中是否存在车牌，若是，则反映所述检测区域中存在车辆，进入步骤4，若否，则反映所述检测区域中不存在车辆，继续对其它检测区域进行判断；

步骤4，根据车牌与车顶之间的相互位置关系，得到存在车牌的检测区域中的车顶区域，并提取所述车顶区域的特征向量；

步骤5，基于所述车顶区域，勾画出整个车身区域，然后基于RGB色彩空间，通过直方图分析颜色，提取得到车身颜色分布特征向量；

步骤6，通过人工标识汽车图像样本是否为出租车，计算得到出租车特征向量，进一步得到所述出租车特征向量与是否为出租车的相关性，拟合出关于出租车特征向量的回归方程，得到该回归方程的系数向量；

步骤7，根据所述回归方程的系数向量，以及车顶区域特征向量和车身颜色特征向量组合构成的复合特征向量，来判断该车辆是否为出租车，最终实现对于出租车的识别。

本发明基于嵌入式系统的实时出租车识别方法与现有技术中的其他出租车识别方法相比具有以下有益效果：

（1）基于计算机视觉的视频分析，以实现出租车的识别。

（2）在嵌入式前端实现出租车的识别，大幅降低PC服务器的负荷。

（3）特征提取、特征向量判断方法较为简单，时空间花销都比较小，能够满足实时识别的需求。

（4）基于嵌入式系统实现，易于扩展整合其他模块形成大型管理系统，实现出租车资源管理的云计算化。

（5）无需事先建立正负样本库。

附图说明

图1是本发明基于嵌入式系统的实时出租车识别方法的流程图；

图2是根据本发明一实施例的检测区域定义示意图；

图3是检测区域经透视变换后的效果示意图；

图4是车牌定位效果示意图；

图5是车顶灯定位的效果示意图；

图6是车体定位效果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明着重从出租车与普通机动车的外观差异特征来实现出租车的识别，主要体现在出租车都是小型轿车，车顶处有一个标识灯，车身存在两种或两种以上的颜色。

虽然同样是出租车，但不同地区或不同公司所属的出租车之间的外观差异也是不小的，比如说广州的出租车车身就有好几种颜色，有青色、红色、黄色等等，而对于车顶灯的形状更是千奇百怪，有长方形、三角形、正方形等，这样就给出租车的识别增加了难度。

图1是本发明基于嵌入式系统的实时出租车识别方法的流程图，如图1所示，所述出租车识别方法包括以下步骤：

步骤1，在视频图像中设定若干虚拟线圈，即检测区域；

所述步骤1进一步包括以下步骤：

步骤1.1，在所述视频图像的若干车道中，设定多个检测区域，并记录下每个检测区域各个顶点的坐标位置；

在设定检测区域时，首先选定能连接成四边形的任意四个点，这四个点连接形成的四边形就构成了虚拟线圈，即检测区域，如图2所示。值得注意的是，检测区域的设置不宜过大，刚好能框住完整的一辆小型轿车就可以了，这样做的目的主要在于减少检索范围以及减少不必要的干扰，以减小识别时间便于实现实时识别。

步骤1.2，记录多个检测区域中车牌的宽度值int plateWidth，并对不同检测区域中车牌区域的大小进行归一化，该步骤主要是为了后续能够快速的进行车牌定位。

步骤2，将所述检测区域经过透视变换映射为矩阵图像；

由于摄像机架设角度的问题，检测区域通常都不是矩形的，而计算机图像算法操作通常都是基于矩形，为了简化后面的操作，首先必须将检测区域透视变换成矩形形状，所述步骤2进一步包括以下步骤：

步骤2.1，将所述检测区域的四个顶点定义为变换源点，指定所述视频图像内的任意四个点分别对应于四个变换源点，并将这四个点定义为变换目标点，按照以下公式计算出大小为3X3的透视变换矩阵：

$\left\{\begin{array}{c}\mathrm{inputVector}=\left[\begin{array}{c}\mathrm{virtualCoil}\left[i\right].x\\ \mathrm{virtualCoil}\left[i\right].y\\ 1\end{array}\right],i=\mathrm{0,1,2,3}\\ \mathrm{outputVector}=\left[\begin{array}{c}t\left[i\right]*\mathrm{dstRect}\left[i\right].x\\ t\left[i\right]*\mathrm{dstRect}\left[i\right].y\\ t\left[i\right]\end{array}\right],t\left[i\right]=2,i=\mathrm{0,1,2,3}\\ \mathrm{outputVector}=\mathrm{matrixMapping}\×\mathrm{inputVector}\end{array}\right\},$

其中，inputVector表示源向量，virtualCoil[i]表示第i个变换源点，virtualCoil[i].x和virtualCoil[i].y表示该变换源点的横纵坐标，outputVector表示目标向量，t[i]表示形变参数，dstRect[i]表示第i个目标点，dstRect[i].x和dstRect[i].y表示该目标点的横纵坐标，matrixMapping表示透视变换矩阵，i表示点集内标号。

步骤2.2，根据所述透视变换矩阵计算得到所述检测区域经过透视变换后的矩阵图像dst(x,y)，如图3所示：

$\mathrm{dst}(x,y)=\mathrm{src}(\frac{m\left[0\right]\left[0\right]*x+m\left[0\right]\left[1\right]*y+m\left[0\right]\left[2\right]}{m\left[2\right]\left[0\right]*x+m\left[2\right]\left[1\right]*y+m\left[2\right]\left[2\right]},\frac{m\left[1\right]\left[2\right]*x+m\left[1\right]\left[1\right]*y+m\left[1\right]\left[2\right]}{m\left[2\right]\left[0\right]*x+m\left[2\right]\left[1\right]*y+m\left[2\right]\left[2\right]}),$

其中，src()表示检测区域，m=matrixMapping表示透视变换矩阵，src(x，y)表示检测区域中源点的横纵坐标，dst(x，y)表示变换后的矩阵图像中点的横纵坐标。

步骤3，判断变换后的检测区域中是否存在车牌，若是，则反映所述检测区域中存在车辆，进入步骤4，若否，则反映所述检测区域中不存在车辆，继续对其它检测区域进行判断；

之所以该步骤使用车牌存在与否来代表车辆是否存在这种方案，主要是考虑到这种方法的时空间花销比GMM背景建模法（Gaussian mixture model，高斯混合模型）小、鲁棒性高，而且车牌区域的定位结果对后续车顶特征的提取是有帮助的（比如可以简单地通过车牌位置找到车顶区域）。所述步骤3中存在车牌的检测区域的判断进一步包括以下几个步骤：

步骤3.1，对于所述检测区域进行灰度化处理得到灰度图像，然后将所述灰度图像进行均衡化处理，然后基于均衡化处理后的图像使用Sobel算子得到X方向边缘图像，最后在所述边缘图像中搜索满足以下条件的子图像subimg，得到子图像集合：

其中，subimg.cols表示子图像的宽度，subimg.rows表示子图像的高度，AvgLightness(subimg)表示子图像的均亮度。

步骤3.2，对于所述子图像集合，保留其中满足第一预定条件的子图像，据此更新所述子图像集合，其中，所述第一预定条件表示为：

{8＞grayStepTimes(subimg)＞3，即灰度跳变次数介于3次到8次之间}，

其中，grayStepTimes(subimg)表示子图像的灰度跳变次数。

步骤3.3，对于更新后的子图像集合，保留其中满足第二预定条件的子图像，据此更新所述子图像集合，所述第二预定条件表示为：

0.4＞BlueWeight(subimg)＞0.15，即蓝色像素点占总像素数的15%-40%，

其中，BlueWeight(subimg)表示子图像的蓝色像素点占像素点总数的比例。

步骤3.4，经过上面几次筛选，最终得到几个子图像，计算每一子图像的得分，得分最大的子图像即为存在车牌的检测区域，子图像得分的计算方式为：

score=AvgLightness+grayStepTimes*15+BlueWeight*100,

其中，score表示子图像的得分，AvgLightness表示子图像的平均亮度，grayStepTimes表示子图像的灰度跳变次数，BlueWeight表示子图像的蓝色像素点占子图像内像素点总数的比例。

根据本发明一实施例的对于车牌定位的效果示意图如图4所示。

步骤4，根据车牌与车顶之间的相互位置关系，得到存在车牌的检测区域中的车顶区域，并提取所述车顶区域的特征向量；

通过所述步骤3，就获得了车牌的位置信息，由于车牌与车顶的相对距离是固定的，因此可以通过车牌位置再加一个偏移量得到车顶区域中心的位置，其中，所述偏移量可以通过先验知识获取，这样就大大简化了车顶区域的提取过程。提取了车顶区域后，再提取车顶区域的特征向量，所述步骤4进一步包括以下步骤：

步骤4.1，根据车牌与车顶之间的相互位置关系，计算得到车顶区域Rect roff，如图5中的白色方框所示；

$\left\{\begin{array}{c}\mathrm{roff}.x=\mathrm{plateCenter}.x-40\\ \mathrm{roff}.y=\mathrm{plateCenter}.y-285\\ \mathrm{roff}.\mathrm{width}=150,\mathrm{roff}.\mathrm{height}=50\end{array}\right\}$

其中，表示车顶区域roff.x表示车顶区域左上顶点的横坐标，roff.y表示车顶区域左上顶点的纵坐标，plateCenter.x表示车牌重心的横坐标，plateCenter.y表示车牌重心的纵坐标，roff.width表示车顶区域的宽度，roff.height表示车顶区域的高度。

步骤4.2，对所述车顶图像进行中值滤波，使用Sobel算子得到Y方向上的边缘图像，然后对所述边缘图像进行二值化，最后统计二值化图像中的非零元的个数，作为所述车顶区域的边缘纹理特征向量；

步骤4.3，检测所述二值化图像中的轮廓，统计轮廓点的个数，作为所述车顶区域的轮廓细节密度特征向量；

步骤4.4，所述边缘特征与轮廓特征共同组成了所述车顶区域的特征向量：

$\mathrm{roffFeatureVector}=\left[\begin{array}{c}\mathrm{edgeFeature}\\ \mathrm{contoursFeature}\end{array}\right]$

其中，roffFeatureVector表示车顶区域的特征向量，edgeFeature表示边缘纹理特征向量，contoursFeature表示轮廓细节密度特征向量。

提取车顶区域这两个特征向量所需的时空间花销不大，且效果比较好。

步骤5，基于所述车顶区域，勾画出整个车身区域，然后基于RGB色彩空间，通过直方图分析颜色，提取得到车身颜色分布特征向量：

其中，vehicleRegion表示车身区域，vehicleRegion.x表示车身区域左上顶点的横坐标，vehicle.y表示车身区域左上顶点的纵坐标，vehicle.width表示车身区域的宽度，vehicle.height表示车身区域的高度，R[16]表示经对R分量的分布归一化后R通道的16级量化分布表，G[16]表示经对G分量的分布归一化后G通道的16级量化分布表，B[16]表示经对B分量的分布归一化后B通道的16级量化分布表，col表示车身颜色分布特征向量，R[max]、G[max]、B[max]分别表示相应通道的最大分布值。

步骤6，通过人工标识汽车图像样本是否为出租车，计算得到出租车特征向量，进一步得到所述出租车特征向量与是否为出租车的相关性，运用最小二乘法拟合出关于出租车特征向量的回归方程，得到该回归方程的系数向量；

步骤7，根据所述回归方程的系数向量，以及所述步骤4得到的车顶区域的特征向量和所述步骤5得到的车身颜色特征向量组合构成的一复合特征向量，来判断该车辆是否为出租车，最终实现对于出租车的识别，如图6中最外围的白色方框所示：

其中，[0.028 0.0083 120]为回归方程的系数向量，edgeFeature表示边缘纹理特征向量，contoursFeature表示轮廓细节密度特征向量，col表示车身颜色分布特征向量。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种实时出租车识别方法，其特征在于，该方法包括以下步骤：

步骤1，在视频图像中设定若干虚拟线圈，即检测区域；

步骤2，将所述检测区域经过透视变换映射为矩阵图像；

步骤3，判断变换后的检测区域中是否存在车牌，若是，则反映所述检测区域中存在车辆，进入步骤4，若否，则反映所述检测区域中不存在车辆，继续对其它检测区域进行判断；

步骤4，根据车牌与车顶之间的相互位置关系，得到存在车牌的检测区域中的车顶区域，并提取所述车顶区域的特征向量；

步骤5，基于所述车顶区域，勾画出整个车身区域，然后基于RGB色彩空间，通过直方图分析颜色，提取得到车身颜色分布特征向量；

步骤6，通过人工标识汽车图像样本是否为出租车，计算得到出租车特征向量，进一步得到所述出租车特征向量与是否为出租车的相关性，拟合出关于出租车特征向量的回归方程，得到该回归方程的系数向量；

步骤7，根据所述回归方程的系数向量，以及车顶区域特征向量和车身颜色特征向量组合构成的复合特征向量，来判断该车辆是否为出租车，最终实现对于出租车的识别。

2.根据权利要求1所述的方法，其特征在于，所述步骤1进一步包括以下步骤：

步骤1.1，在所述视频图像的若干车道中，设定多个检测区域，并记录下每个检测区域各个顶点的坐标位置；

步骤1.2，记录多个检测区域中车牌的宽度值，并对不同检测区域中车牌区域的大小进行归一化。

3.根据权利要求2所述的方法，其特征在于，在设定检测区域时，首先选定能连接成四边形的任意四个点，这四个点连接形成的四边形就构成了虚拟线圈，即检测区域。

4.根据权利要求1所述的方法，其特征在于，所述步骤2进一步包括以下步骤：

步骤2.1，将所述检测区域的四个顶点定义为变换源点，指定所述视频图像内的任意四个点分别对应于四个变换源点，并将这四个点定义为变换目标点，计算得到透视变换矩阵；

步骤2.2，根据所述透视变换矩阵计算得到所述检测区域经过透视变换后的矩阵图像。

5.根据权利要求4所述的方法，其特征在于，所述透视变换矩阵是根据下式得到的：

$\left\{\begin{array}{c}inputVector=\left[\begin{array}{c}virtualCoil\[i\].x\\ virtualCoil\[i\].y\\ 1\end{array}\right],i=0,1,2,3\\ outputVector=\left[\begin{array}{c}t\[i\]*dst\mathrm{Re}ct\[i\].x\\ t\[i\]*dst\mathrm{Re}ct\[i\].y\\ t\[i\]\end{array}\right],t\[i\]=2,i=0,1,2,3\\ outputVector=matrixMapping\×inputVector\end{array}\right\},$

其中，inputVector表示源向量，virtualCoil[i]表示第i个变换源点，virtualCoil[i].x和virtualCoil[i].y表示该变换源点的横纵坐标，outputVector表示目标向量，t[i]表示形变参数，dstRect[i]表示第i个目标点，dstRect[i].x和dstRect[i].y表示该目标点的横纵坐标，matrixMapping表示透视变换矩阵，i表示点集内标号。

6.根据权利要求4所述的方法，其特征在于，所述矩阵图像根据下式计算得到：

$dst(x,y)=src(\frac{m\[0\]\[0\]*x+m\[0\]\[1\]*y+m\[0\]\[2\]}{m\[2\]\[0\]*x+m\[2\]\[1\]*y+m\[2\]\[2\]},\frac{m\[1\]\[0\]*x+m\[1\]\[1\]*y+m\[1\]\[2\]}{m\[2\]\[0\]*x+m\[2\]\[1\]*y+m\[2\]\[2\]}),$

其中，dst(dx，dy)为所述矩阵图像，src()表示检测区域，m＝matrixMapping表示透视变换矩阵，src(x，y)表示检测区域中源点的横纵坐标，dst(x，y)表示变换后的矩阵图像中点的横纵坐标。

7.根据权利要求1所述的方法，其特征在于，所述步骤3中存在车牌的检测区域的判断进一步包括以下几个步骤：

步骤3.1，对于所述检测区域进行灰度化处理得到灰度图像，然后将所述灰度图像进行均衡化处理，然后基于均衡化处理后的图像使用Sobel算子得到X方向边缘图像，最后在所述边缘图像中搜索满足以下条件的子图像subimg，得到子图像集合：

其中，subimg.cols表示子图像的宽度，subimg.rows表示子图像的高度，AvgLightness(subimg)表示子图像的均亮度；

步骤3.2，对于所述子图像集合，保留其中满足第一预定条件的子图像，据此更新所述子图像集合，其中，所述第一预定条件表示为：

{8＞grayStepTimes(subimg)＞3，即灰度跳变次数介于3次到8次之间}，

其中，grayStepTimes(subimg)表示子图像的灰度跳变次数；

步骤3.3，对于更新后的子图像集合，保留其中满足第二预定条件的子图像，据此更新所述子图像集合，所述第二预定条件表示为：

0.4＞BlueWeight(subimg)＞0.15，即蓝色像素点占总像素数的15％-40％，

其中，BlueWeight(subimg)表示子图像的蓝色像素点占像素点总数的比例；

步骤3.4，经过上面几次筛选，最终得到几个子图像，计算每一子图像的得分，得分最大的子图像即为存在车牌的检测区域，子图像得分的计算方式为：

score＝AvgLightness+grayStepTimes*15+BlueWeight*100，

其中，score表示子图像的得分，AvgLightness表示子图像的平均亮度，grayStepTimes表示子图像的灰度跳变次数，BlueWeight表示子图像的蓝色像素点占子图像内像素点总数的比例。

8.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤：

步骤4.1，根据车牌与车顶之间的相互位置关系，计算得到车顶区域；

步骤4.2，对所述车顶区域进行中值滤波，使用Sobel算子得到Y方向上的边缘图像，然后对所述边缘图像进行二值化，最后统计二值化图像中的非零元的个数，作为所述车顶区域的边缘纹理特征向量；

步骤4.3，检测所述二值化图像中的轮廓，统计轮廓点的个数，作为所述车顶区域的轮廓细节密度特征向量；

步骤4.4，所述边缘特征与轮廓特征共同组成了所述车顶区域的特征向量。

9.根据权利要求1所述的方法，其特征在于，所述步骤5中，根据下式提取得到车身颜色分布特征向量：

其中，vehicleRegion表示车身区域，vehicleRegion.x表示车身区域左上顶点的横坐标，vehicle.y表示车身区域左上顶点的纵坐标，vehicle.width表示车身区域的宽度，vehicle.height表示车身区域的高度，R[16]表示经对R分量的分布归一化后R通道的16级量化分布表，G[16]表示经对G分量的分布归一化后G通道的16级量化分布表，B[16]表示经对B分量的分布归一化后B通道的16级量化分布表，col表示车身颜色分布特征向量，R[max]、G[max]、B[max]分别表示相应通道的最大分布值。

10.根据权利要求1所述的方法，其特征在于，所述步骤7中，根据下式对于出租车进行识别：

其中，[0.028 0.0083 120]为回归方程的系数向量，edgeFeature表示边缘纹理特征向量，contoursFeature表示轮廓细节密度特征向量，col表示车身颜色分布特征向量。