CN110969162B - 一种机动车车窗定位方法 - Google Patents

Abstract

本发明公开了一种机动车车窗定位方法，包括：获取5类机动车车窗图像作为正样本图像，同时获取负样本图像；对图像计算5方向归一化边缘强度统计特征，得到一个特征向量；计算所有训练样本的特征向量，采用LIBSVM工具箱中的线性SVM对样本特征向量进行训练，获取定位车窗右上角和定位车窗左上角的两个分类器；对抓拍的车辆正面图像进行车牌识别，根据车牌大小获取调整图像；对调整图像，以4像素步长遍历，定位车窗右上角位置与车窗左上角位置，并根据左右位置融合得到机动车车窗最终定位。本发明的优点是：解决了车窗尺寸和形状不统一的问题，准确表达车窗边缘的几何特征，结构简单、样本选取方便、容易训练、精度高、计算速度快。

Description

一种机动车车窗定位方法

技术领域

本发明涉及计算机领域中的图像处理与模式识别技术领域，特别涉及一种机动车车窗定位方法。

背景技术

根据GA/T833—2016，即中华人民共和国公共安全行业标准机动车号牌图像自动识别技术规范要求，机动车号牌图像自动识别软件的除了号牌识别、车辆品牌标志、车辆类型、车身颜色等主要功能，还需要覆盖行为特征识别(包括：驾驶人不系安全带、拨打手机、主副驾驶座位放下遮阳板、粘贴临时号牌)、外观特征识别(包括：粘贴年检标志部位、车顶部位、车内挂件装饰等)、提取驾驶人特征图片等扩展功能。如果能够快速、准确定位机动车前部车窗，有利于现实这些比较复杂的扩展功能。

目前在机动车车窗定位方面具有代表性的公开现有技术包括：

中国发明专利：多特征融合的卡口图像前车窗的定位与提取方法，专利号CN201510222612.X；

中国发明专利：一种建立车窗定位模型和车窗定位方法及装置，专利号CN201710039443.5；

中国发明专利：一种基于车窗角点检测和多方向投影的车窗精确定位方法，专利号CN201711134164.3；

中国发明专利：基于车窗特征提取的车辆识别方法与流程，专利号CN201710304643；

基于车窗特征的快速车辆检测算法(青岛大学学报(自然科学版)2019年03期)。

这些资料主要是从三个技术方面来解决车窗定位的问题，第一类提取车窗的各种特征，包括各种边缘以及边缘投影，角点等通过统计方法进行分析定位；第二类构建车窗形状函数模型，结合多种特征进行定位；第三类基于一定的特征设计复杂的网络模型进行训练获得车窗定位结果。

这些技术都可以在一定程度上对机动车车窗进行定位，但是仍然存在一些问题和缺点。这些不足可以总结为两个方面。第一，在对车窗特征的分析和提取方面，基本都把整个车窗边缘轮廓作为处理对象，进行边缘特征、角点特征的分析或者整体轮廓形状建模。以整个车窗为对象进行特征分析，容易受到不同大小、不同形状的车窗干扰，增加计算量和复杂性。第二，分类器的设计都较为复杂，反而影响定位效果。层数较多的神经网络虽然学习能力强，但是网络的结构复杂，不易确定；在训练中也可能陷入局部极值，导致定位偏差。

发明内容

本发明针对现有技术的缺陷，提供了一种机动车车窗定位方法，解决了现有技术中存在的缺陷。

为了实现以上发明目的，本发明采取的技术方案如下：

一种机动车车窗定位方法，包括如下步骤：

步骤A：获取5类机动车车窗图像作为正样本图像，同时获取负样本图像；

步骤B：对160×160像素的图像计算5方向归一化边缘强度统计特征，得到一个7220维的特征向量；

步骤C：计算所有训练样本的特征向量，采用LIBSVM工具箱中的线性SVM对样本特征向量进行训练，获取定位车窗右上角和定位车窗左上角的两个分类器；

步骤D：对抓拍的车辆正面图像进行车牌识别，根据车牌大小获取调整图像；

步骤E：对步骤D中获取的调整图像，以4像素步长遍历，定位车窗右上角位置与车窗左上角位置，并根据左右位置融合得到机动车车窗最终定位。

进一步地，步骤A的子步骤如下：

步骤A1：获取轿车、客车、面包车、重中型货车、轻微型货车车辆正面彩色图像各300张。

步骤A2：对步骤A1得到的图像进行车牌识别，并记录车牌矩形的宽度W，单位：像素。彩色图像灰度化，得到灰度图像。用双线性插值法对灰度图像进行缩小/放大变换，车牌矩形宽度标准为100像素，图像缩放倍数λ＝W/100，得到调整图像。

步骤A3：对步骤A2得到的调整图像进行人工切分。获取机动车车窗右上角，A柱与车窗顶部交点的局部图像，图像大小为160×160像素。得到1500张车窗右上角正样本图像。同理可得到1500张机动车车窗左上角正样本图像。

步骤A4：对步骤A2得到的灰度缩小图像进行随机切分，每一张车辆图像获取4张160×160像素的灰度图像，得到6000张负样本图像。

进一步地，步骤B的子步骤如下：

步骤B1：以(1,0，-1)算子计算每个像素的垂直边缘Y，以(1,0，-1)^T算子计算每个像素的水平边缘X；计算边缘强度e＝sqrt(X²+Y²)；计算每个像素的边缘方向A＝arccot(X/Y)。

T：矩阵转置；sqrt：开方函数；arccot：反余切函数；

步骤B2：对160×160像素的图像按8×8像素进行分块，获得20×20的分块图像；对分块图像在横向和纵向均按块为单位，以1步长、2×2大小标记为单元，即每个单元由4个块组成，每个单元由256个像素组成，由此得到19×19共计361个单元。

步骤B3：以每一个单元为独立单位，计算其中256个像素的边缘强度之和S；对单元内的每一个像素的边缘强度进行归一化计算，得到像素的归一化边缘强度E＝e/S。

步骤B4：一个单元内，按块进行边缘特征统计：首先，把0—180度平均分为5个方向；其次，根据各像素边缘方向A，把属于同一方向的所有像素的归一化边缘强度相加，得到该方向的累计归一化边缘强度。最后，把这5个统计量作为该分块的特征。一个单元有4组块特征。

步骤B5：根据B4，每一个单元得到20个特征，图像一共得到7220个特征。把这7220个特征记为该图像的特征向量，也即是样本的特征向量。

进一步地，步骤C的子步骤如下：

步骤C1：按步骤B计算所有训练样本的特征向量。获取1500个车窗右上角正样本特征向量，1500个车窗左上角正样本特征向量，6000个负样本特征向量。特征向量维数为7220。

步骤C2：以LIBSVM工具箱中的SVM为基础，配置训练参数如下：选择线性核函数；设置惩罚参数C＝1。

步骤C3：对1500个车窗左上角正样本特征向量和6000个负样本特征向量进行训练，得到车窗右上角分类器ω₁；同理可以得到车窗左上角分类器ω₂。

进一步地，步骤D的子步骤如下：

步骤D1：识别车牌，并记录车牌矩形的宽度W(单位：像素)与位置；对图像进行灰度化。

步骤D2：对步骤D1获得的灰度图像进行缩小/放大变化，获得待检测图像。用双线性插值法对图像进行缩小/放大变换，车牌矩形宽度标准为100像素，缩放倍数λ＝W/100。

进一步地，步骤E的子步骤如下：

步骤E1：以4像素步长遍历调整图像，得到若干160×160像素的图像块。每个160×160像素的图像块i按步骤B获取7220个特征，并在最后添加1，形成特征向量x_i。

步骤E2：计算f(x_i)＝x_iω₁，并且获取其中的最大值F(x_m)＝max(f(x_i))。如果F(x_m)>0，记录图像块m的位置：(left_m,right_m,top_m,bottom_m)；否则输出车窗右上角定位失败。

步骤E3：计算g(x_i)＝x_iω₂，并且获取其中的最大值G(x_n)＝max(g(x_i))。如果G(x_n)>0，记录图像块n的位置：(left_n,right_n,top_n,bottom_n)；否则输出车窗左上角定位失败。

步骤E4：如果步骤E2与步骤E3均成功输出定位结果，则输出机动车车窗定位成功,车窗位置为：(left_n,right_m,(top_m+top_n)/2,(bottom_m+bottom_n)/2)；否则，输出机动车车窗定位失败。

与现有技术相比，本发明的优点在于：

以不同车型机动车车窗的左、右上角局部图像作为正样本集，解决了车窗尺寸和形状不统一的问题。车窗左、右上角独立定位，从根本上避免了车窗宽度的影响；样本图像高度的选取以人体特征为依据，图像包含驾驶员信息而不依赖于车窗底部边缘，避免了车窗高度的干扰并且不会对分析驾驶员行为特征带来影响。

采用(1,0，-1)算子与(1,0，-1)^T算子提取边缘，分块归一化边缘强度，并分块在5个方向对边缘强度进行统计，把该统计量作为样本的特征向量进行分类训练。该特征向量计算简单、快速，而且能够准确表达车窗边缘的几何特征。

使用线性SVM构造分类器，采用最大值作为左、右车窗位置输出，从根本上简化了训练集正负样本的选取；并通过左右位置数据融合得到完整车窗定位结果。是一种结构简单、样本选取方便、容易训练、精度高、计算速度快的分类器设计技术。

附图说明

图1是本发明实施例部份正样本图；

图2是本发明实施例部份负样本图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。

一种机动车车窗定位方法，包括如下步骤：

步骤A：获取5类机动车车窗图像作为正样本图像，同时获取负样本图像。

步骤A的子步骤如下：

步骤A1：获取轿车、客车、面包车、重中型货车、轻微型货车车辆正面彩色图像各300张(车牌在图像中宽度为80—120像素，完整清晰可供识别)。

步骤A2：对步骤A1得到的图像进行车牌识别，并记录车牌矩形的宽度W(单位：像素)。彩色图像灰度化，得到灰度图像。用双线性插值法对灰度图像进行缩小/放大变换，车牌矩形宽度标准为100像素，图像缩放倍数λ＝W/100，得到调整图像。

步骤A3：对步骤A2得到的调整图像进行人工切分。获取机动车车窗右上角(A柱与车窗顶部交点)的局部图像，图像大小为160×160像素。得到1500张车窗右上角正样本图像。同理可得到1500张机动车车窗左上角正样本图像。

步骤A4：对步骤A2得到的灰度缩小图像进行随机切分(避开步骤A3正样本的位置)，每一张车辆图像获取4张160×160像素的灰度图像，得到6000张负样本图像。

步骤A完成后得到的正样本和负样本如图1、图2所示(部份样本图像)。

步骤B：对160×160像素的图像计算5方向归一化边缘强度统计特征，得到一个7220维的特征向量。

步骤B的子步骤如下：

步骤B1：以(1,0，-1)算子计算每个像素的垂直边缘Y，以(1,0，-1)^T算子计算每个像素的水平边缘X；计算边缘强度e＝sqrt(X²+Y²)；计算每个像素的边缘方向A＝arccot(X/Y)。(T：矩阵转置；sqrt：开方函数；arccot：反余切函数)

步骤B2：对160×160像素的图像按8×8像素进行分块，获得20×20的分块图像；对分块图像在横向和纵向均按块为单位，以1步长、2×2大小标记为单元，即每个单元由4个块(256个像素)组成，由此得到19×19共计361个单元。

步骤B3：以每一个单元为独立单位，计算其中256个像素的边缘强度之和S；对单元内的每一个像素的边缘强度进行归一化计算，得到像素的归一化边缘强度E＝e/S。

步骤B4：一个单元内，按块进行边缘特征统计：首先，把0—180度平均分为5个方向；其次，根据各像素边缘方向A，把属于同一方向的所有像素的归一化边缘强度相加，得到该方向的累计归一化边缘强度。最后，把这5个统计量作为该分块的特征。一个单元有4组块特征。

步骤B5：根据B4，每一个单元得到20个(5×4)特征，图像一共得到7220个(361×20)特征。把这7220个特征记为该图像的特征向量，也即是样本的特征向量。

步骤C：计算所有训练样本的特征向量，采用LIBSVM工具箱中的线性SVM对样本特征向量进行训练，获取定位车窗右上角和定位车窗左上角的两个分类器。

步骤C的子步骤如下：

步骤C1：按步骤B计算所有训练样本的特征向量。获取1500个车窗右上角正样本特征向量，1500个车窗左上角正样本特征向量，6000个负样本特征向量。特征向量维数为7220。

步骤C2：以LIBSVM工具箱中的SVM为基础，配置训练参数如下：选择线性核函数；设置惩罚参数C＝1。

步骤C3：对1500个车窗左上角正样本特征向量和6000个负样本特征向量进行训练，得到车窗右上角分类器ω₁(7221维列向量)；同理可以得到车窗左上角分类器ω₂(7221维列向量)。

步骤D：对抓拍的车辆正面图像进行车牌识别，根据车牌大小获取调整图像。

步骤D的子步骤如下：

步骤D1：识别车牌，并记录车牌矩形的宽度W(单位：像素)与位置；对图像进行灰度化。

步骤D2：对步骤D1获得的灰度图像进行缩小/放大变化，获得待检测图像。用双线性插值法对图像进行缩小/放大变换，车牌矩形宽度标准为100像素，缩放倍数λ＝W/100。

步骤E：对步骤D中获取的调整图像，以4像素步长遍历，定位车窗右上角位置与车窗左上角位置，并根据左右位置融合得到机动车车窗最终定位。

步骤E的子步骤如下：

步骤E1：以4像素步长遍历调整图像，得到若干160×160像素的图像块。每个160×160像素的图像块i按步骤B获取7220个特征，并在最后添加1，形成特征向量xi(7221维行向量)。

步骤E2：计算f(x_i)＝x_iω₁，并且获取其中的最大值F(x_m)＝max(f(x_i))。如果F(x_m)>0，记录图像块m的位置：(left_m,right_m,top_m,bottom_m)；否则输出车窗右上角定位失败。

步骤E3：计算g(x_i)＝x_iω₂，并且获取其中的最大值G(x_n)＝max(g(x_i))。如果G(x_n)>0，记录图像块n的位置：(left_n,right_n,top_n,bottom_n)；否则输出车窗左上角定位失败。

步骤E4：如果步骤E2与步骤E3均成功输出定位结果，则输出机动车车窗定位成功,车窗位置为：(left_n,right_m,(top_m+top_n)/2,(bottom_m+bottom_n)/2)；否则，输出机动车车窗定位失败。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.一种机动车车窗定位方法，其特征在于，包括如下步骤：

步骤A：获取5类机动车车窗图像作为正样本图像，同时获取负样本图像；

步骤A的子步骤如下：

步骤A1：获取轿车、客车、面包车、重中型货车、轻微型货车车辆正面彩色图像各300张；

步骤A2：对步骤A1得到的图像进行车牌识别，并记录车牌矩形的宽度W，单位：像素；彩色图像灰度化，得到灰度图像；用双线性插值法对灰度图像进行缩小/放大变换，车牌矩形宽度标准为100像素，图像缩放倍数λ＝W/100，得到调整图像；

步骤A3：对步骤A2得到的调整图像进行人工切分；获取机动车车窗右上角，A柱与车窗顶部交点的局部图像，图像大小为160×160像素；得到1500张车窗右上角正样本图像；同理可得到1500张机动车车窗左上角正样本图像；

步骤A4：对步骤A2得到的灰度缩小图像进行随机切分，每一张车辆图像获取4张160×160像素的灰度图像，得到6000张负样本图像；

步骤B：对160×160像素的图像计算5方向归一化边缘强度统计特征，得到一个7220维的特征向量；

步骤C：计算所有训练样本的特征向量，采用LIBSVM工具箱中的线性SVM对样本特征向量进行训练，获取定位车窗右上角和定位车窗左上角的两个分类器；

步骤D：对抓拍的车辆正面图像进行车牌识别，根据车牌大小获取调整图像；

步骤E：对步骤D中获取的调整图像，以4像素步长遍历，定位车窗右上角位置与车窗左上角位置，并根据左右位置融合得到机动车车窗最终定位。

2.根据权利要求1所述的一种机动车车窗定位方法，其特征在于：步骤B的子步骤如下：

步骤B1：以(1,0，-1)算子计算每个像素的垂直边缘Y，以(1,0，-1)^T算子计算每个像素的水平边缘X；计算边缘强度e＝sqrt(X²+Y²)；计算每个像素的边缘方向A＝arccot(X/Y)；

T：矩阵转置；sqrt：开方函数；arccot：反余切函数；

步骤B2：对160×160像素的图像按8×8像素进行分块，获得20×20的分块图像；对分块图像在横向和纵向均按块为单位，以1步长、2×2大小标记为单元，即每个单元由4个块组成，每个单元由256个像素组成，由此得到19×19共计361个单元；

步骤B3：以每一个单元为独立单位，计算其中256个像素的边缘强度之和S；对单元内的每一个像素的边缘强度进行归一化计算，得到像素的归一化边缘强度E＝e/S；

步骤B4：一个单元内，按块进行边缘特征统计：首先，把0—180度平均分为5个方向；其次，根据各像素边缘方向A，把属于同一方向的所有像素的归一化边缘强度相加，得到该方向的累计归一化边缘强度；最后，把这5个统计量作为该分块的特征；一个单元有4组块特征；

步骤B5：根据B4，每一个单元得到20个特征，图像一共得到7220个特征；把这7220个特征记为该图像的特征向量，也即是样本的特征向量。

3.根据权利要求2所述的一种机动车车窗定位方法，其特征在于：步骤C的子步骤如下：

步骤C1：按步骤B计算所有训练样本的特征向量；获取1500个车窗右上角正样本特征向量，1500个车窗左上角正样本特征向量，6000个负样本特征向量；特征向量维数为7220；

步骤C2：以LIBSVM工具箱中的SVM为基础，配置训练参数如下：选择线性核函数；设置惩罚参数C＝1；

步骤C3：对1500个车窗左上角正样本特征向量和6000个负样本特征向量进行训练，得到车窗右上角分类器ω₁；同理可以得到车窗左上角分类器ω₂。

4.根据权利要求3所述的一种机动车车窗定位方法，其特征在于：步骤D的子步骤如下：

步骤D1：识别车牌，并记录车牌矩形的宽度W与位置；对图像进行灰度化；

步骤D2：对步骤D1获得的灰度图像进行缩小/放大变化，获得待检测图像；用双线性插值法对图像进行缩小/放大变换，车牌矩形宽度标准为100像素，缩放倍数λ＝W/100。

5.根据权利要求4所述的一种机动车车窗定位方法，其特征在于：步骤E的子步骤如下：

步骤E1：以4像素步长遍历调整图像，得到若干160×160像素的图像块；每个160×160像素的图像块i按步骤B获取7220个特征，并在最后添加1，形成特征向量x_i；

步骤E2：计算f(x_i)＝x_iω₁，并且获取其中的最大值F(x_m)＝max(f(x_i))；如果F(x_m)>0，记录图像块m的位置：left_m,right_m,top_m,bottom_m；否则输出车窗右上角定位失败；

步骤E3：计算g(x_i)＝x_iω₂，并且获取其中的最大值G(x_n)＝max(g(x_i))；如果G(x_n)>0，记录图像块n的位置：left_n，right_n,top_n，bottom_n；否则输出车窗左上角定位失败；

步骤E4：如果步骤E2与步骤E3均成功输出定位结果，则输出机动车车窗定位成功,车窗位置为：left_n,right_m,(top_m+top_n)/2,(bottom_m+bottom_n)/2；否则，输出机动车车窗定位失败。

Images