CN107316003A - 一种基于自变量线性回归及结构张量行列式的车标检测方法及系统 - Google Patents
一种基于自变量线性回归及结构张量行列式的车标检测方法及系统 Download PDFInfo
- Publication number
- CN107316003A CN107316003A CN201710417394.4A CN201710417394A CN107316003A CN 107316003 A CN107316003 A CN 107316003A CN 201710417394 A CN201710417394 A CN 201710417394A CN 107316003 A CN107316003 A CN 107316003A
- Authority
- CN
- China
- Prior art keywords
- logo
- car plate
- mrow
- determinant
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于自变量线性回归及结构张量行列式的车标检测方法及系统，通过自变量线性回归算法首先提取车牌位置信息，根据车牌背景颜色的特点，提出了回归素的概念，采用回归素对车牌背景颜色进行建模并定位。根据车牌位置信息确定车标检测区域。在车标检测区域内，提出一种基于滑动窗口结构张量行列式的车标检测方法，在特征窗口扫描过程中，通过隐变量支持向量机(Latent‑SVM)，实现对车标检测，并利用强‑弱结构张量行列式筛选缩短了检测时间。由于滑动窗口结构张量行列式利用了HOG特征计算过程中的梯度信息，因此本方法并不需要增加过多的计算开销，且准确率也有明显提高。
Description
技术领域
本发明涉及图形处理技术领域，尤其涉及一种基于自变量线性回归及结构张量行列式的车标检测方法及系统。
背景技术
随着智能交通系统的发展以及城市车辆的增加，对车辆信息特征的自动采集和智能识别要求也成为计算机视觉的一个研究热点。作为智能交通的基础技术之一，车标的检测需要重点研究与解决实时性和准确性两个主要问题。在各种车标特征提取中，HOG(梯度方向直方图)具有较好的检测性能，但存在车标特征向量维数较大，在分类器的训练与检测时计算量都较大等缺点，主要是由于在特征检测时需要在不同尺度多次迭代计算。
发明内容
本发明为克服上述的不足之处，目的在于提供一种基于自变量线性回归及结构张量行列式的车标检测方法及系统，本发明采用回归素对车牌背景颜色进行建模并定位，根据车牌位置信息确定车标检测区域；在特征窗口扫描过程中，通过LSVM实现对车标检测，利用强-弱结构张量行列式筛选缩短了检测时间；由于滑动窗口结构张量行列式利用了HOG特征计算过程中的梯度信息，因此本算法与其他的基于HOG的快速检测算法相比较，并不需要增加过多的计算开销，且准确率也有明显提高。同时，本车标检测系统架构简单，实用性高。
本发明是通过以下技术方案达到上述目的：一种基于自变量线性回归及结构张量行列式的车标检测方法，包括：
1)基于自变量线性回归方法确定车标粗定位区域：
1.1)利用RGB三色回归参数方法进行颜色滤波，提取原始图像中的回归素；
1.2)判断回归素是否满足预设的阈值范围S1：若是，则确定车牌在原始图像的中心位置，并通过栅格块扫描确定车牌位置；否则采用边缘检测算法确定车牌位置；
1.3)根据车标与车牌位置关系的统计学特征确定车标粗定位区域；
2)基于窗口结构张量行列式方法检测车标：
2.1)对得到的车标粗定位区域图像进行预处理，并判断滑动窗口中结构张量行列式绝对值是否在阈值范围S2，若是，则计算车标粗定位区域内的车标HOG特征；否则，返回步骤1)重新选取车标粗定位区域；
2.2)将车标HOG特征模型库中的车标HOG特征与车标粗定位区域内得到的车标HOG特征比较进行车标检测识别。
作为优选，所述步骤1.1)具体如下：
1.1.1)设车牌背景颜色值为Y，背景颜色由两部分组成，一部分是由RGB三种基色自变量共同作用决定，另一部分则由随机因素产生，定义其为随机误差e；则建立多元线性回归的理论模型如下：
Y＝(X+e)Tβ
其中，XT表示向量X的转置；
1.1.2)采用自变量线性回归分析方法分别对车牌背景颜色进行建模：
G＝λ1R+C1
B＝λ2R+C2
G＝λ3B+C3
其中，R表示图像的红色成份，G表示图像的绿色成份，B表示图像的蓝色成份，Ci∈[0,β]分别表示各成份颜色关系的松弛变量，β为松弛边界条件常数，λi表示各颜色通道的回归系数；
1.1.3)提取原始图像中像素的RGB值能满足步骤1.1.2)中三个建模表达式约束条件的像素，提取的像素为回归素H(λ1,λ2,λ3,C1,C2,C3),记为H。
作为优选，所述步骤1.2)确定车牌在原始图像的中心位置的方法为：对原始图像中的H在水平和垂直两个方向进行投影，利用如下公式计算像素的重心位置：
Ox＝E(Px)
Oy＝E(Py)
其中，O表示车牌在图像中的中心位置，Px表示H在水平方向x的投影数量；Py表示H在垂直方向y的投影数量；E(.)表示数学期望。
作为优选，所述步骤1.2)通过栅格块扫描确定车牌位置的方法如下：
a)栅格块为图像扫描过程中的子块，为一维结构，定义为B＝[0,k]，其中k为栅格块边界；利用栅格块B，从车牌在原始图像中的中心位置O分别向水平和垂直两个方向扫原始描整个图像；
(b)分别计算水平和垂直方向回归素的投影均值，公式如下：
其中，T表示栅格块B为边界中包含的图像子块中像素总个数，H(x,y)表示回归素函数为二值函数，当图像(x,y)处的像素值满足H要求时值为1，否则，值为0；n为水平栅格块B边界k的大小，m为垂直栅格块B边界k大小，优选，n＝m＝5；N，M分别表示原始图像的像素总行数和总列数；
(c)从O处依次减少x值，当g(x)＜τx时，即可确定车牌水平左边界；从O处依次增加x值，当g(x')＜τx时，即可确定车牌水平右边界；其中τx的取值为车牌回归素边界条件，优选采用同样以此方法确定车牌的垂直边界，完成车牌位置的确定。
作为优选，所述步骤1.3)具体如下：
A)车标与车牌位置关系的统计学特征为车标位于车牌的上方，车标的大小均小于车牌大小，其垂直方向与车牌相差2-7倍车牌高度距离；B)基于如上统计学特性可根据有效车牌位置信息确定车标区域位置信息Region＝{Rw,Rh}，车标区域位置由水平边界区域和垂直边界区域构成，如下所示：
Rw＝[g(x),g(x')]；
Rh＝[g(y'),(g(y')-g(y))×7]
其中，x为车牌边界区域的左侧坐标，x’为车牌边界区域的右侧坐标；y为车牌边界区域的下侧坐标，y’为车牌边界区域的上侧坐标。
作为优选，所述的窗口结构张量行列式函数的定义如下：窗口结构张量函数为：
其中，Ix,Iy为原图像在x和y方向求得的偏导；则窗口结构张量行列式函数SE定义为：
其中，N，M分别表示图像的像素总行数和总列数；Aij表示第i行第j列上结构张量行列式绝对值大小。
作为优选，还包括训练所述的车标HOG特征模型库：
3.1)构建车标图像种子库；
3.2)计算种子库中各个车标的结构张量行列式绝对值；
3.3)计算种子库中各个车标的HOG特征；
3.4)利用LSVM进行训练，产生车标HOG特征模型。
作为优选，所述步骤2)过程还包括对所述滑动窗口数量进行初步筛选，过滤强结构张量行列式窗口集合和弱结构张量行列式窗口集合，其中所述的强结构张量行列式窗口集合是指若干个检测窗口的集合，且每个检测窗口中平均结构张量行列式值都大于阈值T1，所述的弱结构张量行列式窗口集合是指若干个检测窗口的集合，且每个检测窗口中平均结构张量行列式绝对值都小于阈值T2，其中T1、T2可由车标HOG特征模型库中对应的平均结构张量行列式绝对值加经验调整值获得。
一种基于自变量线性回归及结构张量行列式的车标检测系统，包括：车标定位子系统、车标识别子系统；所述的车标定位子系统包括车牌定位模块和车标定位模块；车牌定位模块包括车辆背景与车牌背景颜色识别单元、车牌位置识别单元I、车牌位置识别单元II，其中，车牌位置识别单元I包括车牌中心位置确定组件、车牌边缘扫描组件；其中，车辆背景与车牌背景颜色识别单元，判断车辆背景与车牌背景颜色是否呈线性回归关系，是，则调用车牌位置识别单元I，否则调用车牌位置识别单元II；车牌中心位置确定组件，用于计算车牌在图像中的中心位置；车牌边缘扫描组件，从车牌在图像中的中心位置分别向水平和垂直两个方向扫描整个图像，确定车牌区域位置；车牌位置识别单元II，采用边缘检测算法，确定车牌区域位置；车标定位模块用于根据车牌与车标位置的统计学关系确定车标位置。
作为优选，所述的车标识别子系统包括车标精细区域检测模块、车标图像特征提取模块、车标识别模块，其中，车标精细区域检测模块，利用滑动窗口判断车标粗区域位置出现车标概率的大小，确定车标精细区域。
作为优选，所述车标检测系统还包括车标识别训练辅助子系统，所述的车标识别训练辅助子系统包括车标种子库模块、车标精细区域检测训练模块、车标图像特征模型建立模块，其中，车标种子库模块，保存各种车标图像；车标精细区域检测训练模块，为车标精细区域检测模块进行车标精细区域检测时提供检测参考依据；车标图像特征模型建立模块，建立各种车标对应的图像特征模型，为车标识别模块提供车标识别对象。
本发明的有益效果在于：本发明方法并不需要增加过多的计算开销，且准确率也有明显提高；同时通过结构张量行列式可以大大缩短了检测时间，快速检测识别输出车标。
附图说明
图1是本发明的总体流程示意图；
图2是本发明实施例确定车标粗定位区域的方法流程示意图；
图3是本发明实施例车牌检测的示意图；
图4是本发明实施例车标的结构张量行列式响应效果示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例：一种基于自变量线性回归及结构张量行列式的车标检测系统，包括车标定位子系统、车标识别子系统、车标识别训练辅助子系统，车标定位子系统用于确定车标粗区域位置，车标识别子系统用于确定车标精细区域并识别车标，其中，车标定位子系统包括车牌定位模块和车标定位模块，车牌定位模块用于确定车牌区域位置，车标定位模块用于根据车牌区域位置确定车标粗区域位置，车牌定位模块包括车辆背景与车牌背景颜色识别单元、车牌位置识别单元I、车牌位置识别单元II，其中车牌位置识别单元I包括车牌中心位置确定组件、车牌边缘扫描组件，车辆背景与车牌背景颜色识别单元，采用自变量线性回归方法确定回归素，判断回归素是否在阈值范围，是，则调用车牌位置识别单元I，否，则调用车牌位置识别单元II，车牌中心位置确定组件，将回归素在水平和垂直两个方向进行投影，计算车牌在图像中的中心位置，车牌边缘扫描组件，利用栅格块，从牌在图像中的中心位置分别向水平和垂直两个方向扫描整个图像，确定车牌区域位置，车牌位置识别单元II，采用边缘检测算法，确定车牌区域位置。
车标识别子系统包括车标精细区域检测模块、车标图像特征提取模块、车标识别模块，车标精细区域检测模块，利用滑动窗口判断车标粗区域位置出现车标概率的大小，确定车标精细区域，车标图像特征提取模块，提取车标的图像特征，车标识别模块，利用车标的图像特征进行车标识别。
车标识别训练辅助子系统，用于优化车标识别子系统的识别效率，车标识别训练辅助子系统包括车标种子库模块、车标精细区域检测训练模块、车标图像特征模型建立模块；车标种子库模块，保存各种车标图像，车标精细区域检测训练模块，为车标精细区域检测模块进行车标精细区域检测时提供检测参考依据，车标图像特征模型建立模块，建立各种车标对应的图像特征模型，为车标识别模块提供提供车标识别对象。
如图1所示，一种基于自变量线性回归及结构张量行列式的车标检测方法，首先提取车牌位置信息，根据车牌背景颜色的特点，提出了回归素的概念，采用回归素对车牌背景颜色进行建模并定位。根据车牌位置信息确定车标检测区域。在车标检测区域内，基于窗口结构张量行列式的方法确定车标区域精细区域，采用LSVM检测方法；该方法通过将视频图像中的车辆信息进行车牌检测以确定车标区域，对区域进行车标特征检测，具体包括如下步骤：
1)基于自变量线性回归方法确定车标粗定位区域，如图2所示，本发明利用了颜色和边缘特征，首先提取车牌位置信息，再根据车牌位置确定车标位置信息，首先利用自变量线性回归方法确定回归素，通过对图像进行一次扫描即可确定车牌位置，提高了检测效率；当车辆背景与车牌背景颜色较接近时，回归素个数多于阈值则采用边缘检测方法进行检测，提高了准确性，具体如下：
1.1)利用RGB三色回归参数方法进行颜色滤波，提取原始图像中的回归素；
由于光照和背景噪声的影响，只考虑图像中RGB的B成份，显示是不合适的，本发明利用RGB三色回归参数方法进行颜色滤波，对车牌在图像中的位置进行定位。
设车牌背景颜色值为Y，由两部分组成，一部分是由红，绿，蓝(RGB)三种基色自变量共同作用决定，另一部分则由其他众多未知因素(包括随机因素)所产生，定义其为随机误差e。多元线性回归的理论模型为：
Y＝(X+e)Tβ (0.1)
XT表示向量X的转置。为进一步加快车牌背景颜色的检测过程，采用自变量回归分析方式分别对车牌背景颜色进行建模：
G＝λ1R+C1 (0.2)
B＝λ2R+C2 (0.3)
G＝λ3B+C3 (0.4)
其中R表示图像的红色成份，G表示图像的绿色成份，B表示图像的蓝色成份，Ci∈[0,β]分别表示各成份颜色关系的松弛变量，β为松弛边界条件常数，λi表示各颜色通道的回归系数。
图像中像素的RGB值能满足公式(1.2),(1.3,)(1.4)的约束条件的像素为回归素H(λ1,λ2,λ3,C1,C2,C3),简化起见记为H。
1.2)判断回归素是否满足预设的阈值范围：若是，则确定车牌在原始图像的中心位置，并通过栅格块扫描确定车牌位置；否则采用边缘检测算法确定车牌位置；
对原始图像中H在水平和垂直两个方向进行投影，利用公式(1.5)计算像素的重心位置，
其中，O表示车牌在图像中的中心位置，Px表示H在水平方向x的投影数量；Py表示H在垂直方向y的投影数量。E(.)表示数学期望。该算法的优点在于仅需要一次扫描即可获取车牌中心位置。
栅格块为图像扫描过程中的子块，它为一维结构，定义为B＝[0,k]，k为栅格块边界。简化起见记为B。
利用栅格块B，从牌在图像中的中心位置O分别向水平和垂直两个方向扫描整个图像，以确定车牌边界区域，分别计算和垂直方向回归素的投影均值。
其中，T为栅格块B为边界中包含的图像子块中像素总个数，H(x,y)表示回归素函数为二值函数，当图像(x,y)处的像素值满足H要求时为1，否则为0；n为水平栅格块B边界k的大小，m为垂直栅格块B边界k大小，实验中n＝m＝5。N，M分别表示图像的像素总行数和总列数。
从O处依次减少x值，当g(x)＜τx时为车牌水平左边界；从O处依次增加x值，当g(x')＜τx时为车牌水平右边界。其中τx的取值为车牌回归素边界条件。实验中采用即车牌中心位置处的回归素总数的5分之1。车牌垂直边界的确定方法类似，不再冗述。
对于车辆背景颜色与车牌接近的情况，其回归素大于阈值时，则采用边缘检测的方法确定车牌位置，一方面回归素可以快速的获取车牌位置信息，当遇到回归素个数大于阈值(实验为检测窗口像素个数的1/10)车牌位置检测算法采用边缘检测算法进行，为进一步说明边缘检测的车牌位置提取算法，描述如下：
(1)图像灰度化；
(2)采用’sobel’算子进行边缘检测；
(3)设置腐蚀算子Fe＝[1；1；1]；
(4)利用腐蚀对非车牌区域的噪声信息进行腐蚀；
(5)利用方形闭环算子进行闭操作，消弥狭窄的间断和长细的鸿沟，消除小的空洞；
(6)将连通域面积小于阈值(2000像素)的区域都删除；
(7)统计每行像素(LP)为1的个数
(8)利用LP计算车牌上边界和下边界。(具体过程为：首先计算LP的最大值和所在行ML，在LP位置依次增加和减少像素个数直到不满足车牌上下边界阈值UDW(实验中取UDW＝50)；同理计算车牌左右边界，车牌左右边界阈值LRW＝15。
车牌信息提取结果如图3所示，其中图中的(A)为原始车辆图像；(B)为基于回归素的车牌区域检测结果；(C)为边缘检测结果；
1.3)根据车标与车牌位置关系的统计学特征确定车标粗定位区域；
根据对已有车辆的图像进行统计，99％以上的车标位于车牌的上方，且车标的大小均小于车牌大小，其垂直方向与车牌相差2-7倍车牌高度距离。根据这一特性，可根据有效车牌位置信息确定车标区域位置信息Region＝{Rw,Rh}，车标区域位置由水平边界区域和垂直边界区域构成。
其中，x为车牌边界区域的左侧坐标，x’为车牌边界区域的右侧坐标；y为车牌边界区域的下侧坐标，y’为车牌边界区域的上侧坐标。
2)基于窗口结构张量行列式方法检测车标：
本发明定义了滑动窗口结构张量行列式函数，当其低于阈值时，则表明窗口中图像背景区域较均匀，出现车标的概率较低，当结构张量行列式函数值较高时，表明图像边缘信息丰富，出现车标的概率也随之提高。结构张量函数为：
其中Ix,Iy就是原对原图像在x和y方向求得的偏导。窗口张量行列式函数SE：
其中，N、M分别表示图像的像素总行数和总列数。Aij表示第i行第j列上结构张量行列式绝对值大小。
2.1)对得到的车标粗定位区域图像进行预处理，并判断滑动窗口中结构张量行列式绝对值是否在阈值范围S2，若是，则计算车标粗定位区域内的车标HOG特征；否则，返回步骤1)重新选取车标粗定位区域；
2.2)将车标HOG特征模型库中的车标HOG特征与车标粗定位区域内得到的车标HOG特征比较进行车标检测识别。
其中，HOG特征的提取方法具体如下：
(1)首先对图像进行归一化，对输入图像进行缩放到固定大小；并对图像进行灰度化(将RGB图像转换为只有一个通道的灰度图像)；
(2)采用Gamma方法对输入图像进行颜色空间的标准化(归一化)；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；
(3)计算图像每个像素的梯度大小和方向；
(4)将图像划分成若干个非重叠的Cell子块，对于边界上小于4像素的子块忽略不计。(实验中Cell选取4×4像素大小)；
(5)统计每个Cell的梯度直方图；
(6)将相邻的几个Cell组成一个Block(实验中每个Block包含取3×3个Cell)，将Block内所有Cell的特征串联起来便得到该Block的HOG特征。
(7)将图像内的所有Block的HOG特征串联起来便可得到图像的HOG特征。
3)进一步地，还包括训练所述的车标HOG特征模型库：
3.1)手工构建车标图像种子库。
3.2)计算种子库中各车标的窗口平均结构张量行列式分布和HOG特征。
3.3)将车标图像作为正样本加入训练集中，利用LSVM进行训练，产生车标HOG特征模型。
对给定输入输出训练集，首先将车标图像作为正样本加入训练集中，为实现了用线性超平面划分非线性可分的样本,具体方法是：根据样本分布的几何位置，确定一个初始的线性分类超平面，旋转这个超平面直至所有的正样本都位于这个超平面的一侧，则另一侧的那些负样本与正样本是线性可分的，利用拉格朗日LSVM找到最优的线性分类超平面，将剩下的负样本与正样本组成新的训练集，重复这些步骤直至所有的负样本都被正确分开。
进一步地，利用HOG中对梯度信息结合结构张量行列式来进行预处理，并不需要过多的特征计算。为此本发明定义了两种检测窗口子集。强结构张量行列式绝对值和弱结构张量行列式绝对值。该值在无需过多计算的情况下，可准确反映图像中目标边缘变化情况，图4所示为车标的结构张量行列式绝对值响应效果示意图，图中的A为车标图像，B为响应效果图。
检测窗口win为若干个块(block)构成其中一个block由4个上下左右相邻的cells构成，窗口的宽度为n*cells*8,高度为n*2*cells*8。
强结构张量行列式绝对值,是在若干个窗口的集合，且每个检测窗口中平均结构张量行列式值都大于阈值T。强结构张量行列式的目的是对窗口数量进行初步筛选，针对复杂背景中，背景区域中像素间梯度变化较快，这类区域在检测时可以进行过滤。
弱结构张量行列式绝对值,是在若干个窗口的集合，且每个检测窗口中平均结构张量行列式绝对值都小于阈值。计算弱结构张量行列式绝对值的目的是对平滑区域进行筛选，针对非车标区域中像素间梯度变化并不明显，在检测时进行过滤，采用窗口平均张量行列式绝对值函数来衡量窗口中梯度分布大小，较小分布出现车标概率较低。
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。
Claims (11)
1.一种基于自变量线性回归及结构张量行列式的车标检测方法，其特征在于，包括：
1)基于自变量线性回归方法确定车标粗定位区域：
1.1)利用RGB三色回归参数方法进行颜色滤波，提取原始图像中的回归素；
1.2)判断回归素是否满足预设的阈值范围S1：若是，则确定车牌在原始图像的中心位置，并通过栅格块扫描确定车牌位置；否则采用边缘检测算法确定车牌位置；
1.3)根据车标与车牌位置关系的统计学特征确定车标粗定位区域；
2)基于窗口结构张量行列式方法检测车标：
2.1)对得到的车标粗定位区域图像进行预处理，并判断滑动窗口中结构张量行列式绝对值是否在阈值范围S2，若是，则计算车标粗定位区域内的车标HOG特征；否则，返回步骤1)重新选取车标粗定位区域；
2.2)将车标HOG特征模型库中的车标HOG特征与车标粗定位区域内得到的车标HOG特征比较进行车标检测识别。
2.根据权利要求1所述的一种基于自变量线性回归及结构张量行列式的车标检测方法，其特征在于：所述步骤1.1)具体如下：
1.1.1)设车牌背景颜色值为Y，背景颜色由两部分组成，一部分是由RGB三种基色自变量共同作用决定，另一部分则由随机因素产生，定义其为随机误差e；则建立多元线性回归的理论模型如下：
<mrow>
<mi>X</mi>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>r</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>g</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>b</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mi>&beta;</mi>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mi>e</mi>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>e</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>e</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>e</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
Y＝(X+e)Tβ
其中，XT表示向量X的转置；
1.1.2)采用自变量线性回归分析方法分别对车牌背景颜色进行建模：
G＝λ1R+C1
B＝λ2R+C2
G＝λ3B+C3
其中，R表示图像的红色成份，G表示图像的绿色成份，B表示图像的蓝色成份，Ci∈[0,β]分别表示各成份颜色关系的松弛变量，β为松弛边界条件常数，λi表示各颜色通道的回归系数；
1.1.3)提取原始图像中像素的RGB值能满足步骤1.1.2)中三个建模表达式约束条件的像素，提取的像素为回归素H(λ1,λ2,λ3,C1,C2,C3),记为H。
3.根据权利要求2所述的一种基于自变量线性回归及结构张量行列式的车标检测方法，其特征在于：所述步骤1.2)确定车牌在原始图像的中心位置的方法为：对原始图像中的H在水平和垂直两个方向进行投影，利用如下公式计算像素的重心位置：
Ox＝E(Px)
Oy＝E(Py)
其中，O表示车牌在图像中的中心位置，Px表示H在水平方向x的投影数量；Py表示H在垂直方向y的投影数量；E(.)表示数学期望。
4.根据权利要求3所述的一种基于自变量线性回归及结构张量行列式的车标检测方法，其特征在于：所述步骤1.2)通过栅格块扫描确定车牌位置的方法如下：
a)栅格块为图像扫描过程中的子块，为一维结构，定义为B＝[0,k]，其中k为栅格块边界；利用栅格块B，从车牌在原始图像中的中心位置O分别向水平和垂直两个方向扫原始描整个图像；
(b)分别计算水平和垂直方向回归素的投影均值，公式如下：
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>T</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>n</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>T</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，T表示栅格块B为边界中包含的图像子块中像素总个数，H(x,y)表示回归素函数为二值函数，当图像(x,y)处的像素值满足H要求时值为1，否则，值为0；n为水平栅格块B边界k的大小，m为垂直栅格块B边界k大小；
(c)从O处依次减少x值，当g(x)＜τx时，即可确定车牌水平左边界；从O处依次增加x值，当g(x')＜τx时，即可确定车牌水平右边界；同样以此方法确定车牌的垂直边界，完成车牌位置的确定。
5.根据权利要求1所述的一种基于自变量线性回归及结构张量行列式的车标检测方法，其特征在于：所述步骤1.3)具体如下：
A)车标与车牌位置关系的统计学特征为车标位于车牌的上方，车标的大小均小于车牌大小，其垂直方向与车牌相差2-7倍车牌高度距离；B)基于如上统计学特性可根据有效车牌位置信息确定车标区域位置信息Region＝{Rw,Rh}，车标区域位置由水平边界区域和垂直边界区域构成，如下所示：
Rw＝[g(x),g(x')]；
Rh＝[g(y'),(g(y')-g(y))×7]
其中，x为车牌边界区域的左侧坐标，x’为车牌边界区域的右侧坐标；y为车牌边界区域的下侧坐标，y’为车牌边界区域的上侧坐标。
6.根据权利要求1所述的一种基于自变量线性回归及结构张量行列式的车标检测方法，其特征在于：所述的窗口结构张量行列式函数的定义如下：窗口结构张量函数为：
<mrow>
<mi>E</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>I</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
</mtd>
<mtd>
<mrow>
<msub>
<mi>I</mi>
<mi>x</mi>
</msub>
<msub>
<mi>I</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>I</mi>
<mi>x</mi>
</msub>
<msub>
<mi>I</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
<mtd>
<msubsup>
<mi>I</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<mi>A</mi>
<mo>=</mo>
<mo>|</mo>
<mi>E</mi>
<mo>|</mo>
<mo>=</mo>
<msubsup>
<mi>I</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>*</mo>
<msubsup>
<mi>I</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msub>
<mi>I</mi>
<mi>x</mi>
</msub>
<msub>
<mi>I</mi>
<mi>y</mi>
</msub>
<msub>
<mi>I</mi>
<mi>x</mi>
</msub>
<msub>
<mi>I</mi>
<mi>y</mi>
</msub>
</mrow>
其中，Ix,Iy为原图像在x和y方向求得的偏导；则窗口结构张量行列式函数SE定义为：
<mrow>
<mi>S</mi>
<mi>E</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msub>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
其中，N，M分别表示图像的像素总行数和总列数；Aij表示第i行第j列上结构张量行列式绝对值大小。
7.根据权利要求1所述的一种基于自变量线性回归及结构张量行列式的车标检测方法，其特征在于：还包括训练所述的车标HOG特征模型库：
3.1)构建车标图像种子库；
3.2)计算种子库中各个车标的结构张量行列式绝对值；
3.3)计算种子库中各个车标的HOG特征；
3.4)利用LSVM进行训练，产生车标HOG特征模型。
8.根据权利要求1所述的一种基于自变量线性回归及结构张量行列式的车标检测方法，其特征在于：所述步骤2)过程还包括对所述滑动窗口数量进行初步筛选，过滤强结构张量行列式窗口集合和弱结构张量行列式窗口集合，其中所述的强结构张量行列式窗口集合是指若干个检测窗口的集合，且每个检测窗口中平均结构张量行列式值都大于阈值T1，所述的弱结构张量行列式窗口集合是指若干个检测窗口的集合，且每个检测窗口中平均结构张量行列式绝对值都小于阈值T2，其中T1、T2可由车标HOG特征模型库中对应的平均结构张量行列式绝对值加经验调整值获得。
9.一种基于自变量线性回归及结构张量行列式的车标检测系统，其特征在于，包括：车标定位子系统、车标识别子系统；所述的车标定位子系统包括车牌定位模块和车标定位模块；车牌定位模块包括车辆背景与车牌背景颜色识别单元、车牌位置识别单元I、车牌位置识别单元II，其中，车牌位置识别单元I包括车牌中心位置确定组件、车牌边缘扫描组件；其中，车辆背景与车牌背景颜色识别单元，判断车辆背景与车牌背景颜色是否呈线性回归关系，是，则调用车牌位置识别单元I，否则调用车牌位置识别单元II；车牌中心位置确定组件，用于计算车牌在图像中的中心位置；车牌边缘扫描组件，从车牌在图像中的中心位置分别向水平和垂直两个方向扫描整个图像，确定车牌区域位置；车牌位置识别单元II，采用边缘检测算法，确定车牌区域位置；车标定位模块用于根据车牌与车标位置的统计学关系确定车标位置。
10.根据权利要求9所述的一种基于自变量线性回归及结构张量行列式的车标检测系统，其特征在于：所述的车标识别子系统包括车标精细区域检测模块、车标图像特征提取模块、车标识别模块，其中，车标精细区域检测模块，利用滑动窗口判断车标粗区域位置出现车标概率的大小，确定车标精细区域。
11.根据权利要求9所述的一种基于自变量线性回归及结构张量行列式的车标检测系统，其特征在于：所述车标检测系统还包括车标识别训练辅助子系统，所述的车标识别训练辅助子系统包括车标种子库模块、车标精细区域检测训练模块、车标图像特征模型建立模块，其中，车标种子库模块，保存各种车标图像；车标精细区域检测训练模块，为车标精细区域检测模块进行车标精细区域检测时提供检测参考依据；车标图像特征模型建立模块，建立各种车标对应的图像特征模型，为车标识别模块提供车标识别对象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710417394.4A CN107316003B (zh) | 2017-06-06 | 2017-06-06 | 一种基于线性回归及结构张量的车标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710417394.4A CN107316003B (zh) | 2017-06-06 | 2017-06-06 | 一种基于线性回归及结构张量的车标检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107316003A true CN107316003A (zh) | 2017-11-03 |
| CN107316003B CN107316003B (zh) | 2019-10-15 |
Family
ID=60183160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710417394.4A Active CN107316003B (zh) | 2017-06-06 | 2017-06-06 | 一种基于线性回归及结构张量的车标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107316003B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109060832A (zh) * | 2018-07-05 | 2018-12-21 | 上海徕木电子股份有限公司 | 一种电子连接器插针工艺缺陷视觉检测方法 |
| CN110763223A (zh) * | 2019-10-31 | 2020-02-07 | 苏州大学 | 基于滑动窗口的室内三维立体栅格地图特征点提取方法 |
| CN111862609A (zh) * | 2020-07-27 | 2020-10-30 | 湖南汽车工程职业学院 | 一种基于5g技术的停车场泊车路径选择方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093201A (zh) * | 2013-01-21 | 2013-05-08 | 信帧电子技术（北京）有限公司 | 车标定位识别方法及系统 |
| US20160139282A1 (en) * | 2012-12-20 | 2016-05-19 | Pavel Dimitrov | Vector Based Geophysical Modeling of Subsurface Volumes |
-
2017
- 2017-06-06 CN CN201710417394.4A patent/CN107316003B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160139282A1 (en) * | 2012-12-20 | 2016-05-19 | Pavel Dimitrov | Vector Based Geophysical Modeling of Subsurface Volumes |
| CN103093201A (zh) * | 2013-01-21 | 2013-05-08 | 信帧电子技术（北京）有限公司 | 车标定位识别方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| ULLRICH KOTHE ETC.: ""Edge and Junction Detection with an Improved Structure Tensor"", 《PATTERN RECOGNITION》 * |
| YUITA ARUM SARI ETC.: ""Color Correction Using Improved Linear Regression Algorithm"", 《2015 INTERNATIONAL CONFERENCE ON INFORMATION,COMMUNICATION TECHNOLOGY AND SYSTEM》 * |
| 赵大可: ""基于视频的车标检测识别技术研究"", 《中国优秀硕士学位论文全文数据库》 * |
| 鲁丰等: ""基于改进HOG特征值的车标检测与识别方法"", 《光通信研究》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109060832A (zh) * | 2018-07-05 | 2018-12-21 | 上海徕木电子股份有限公司 | 一种电子连接器插针工艺缺陷视觉检测方法 |
| CN110763223A (zh) * | 2019-10-31 | 2020-02-07 | 苏州大学 | 基于滑动窗口的室内三维立体栅格地图特征点提取方法 |
| CN111862609A (zh) * | 2020-07-27 | 2020-10-30 | 湖南汽车工程职业学院 | 一种基于5g技术的停车场泊车路径选择方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107316003B (zh) | 2019-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533684B (zh) | 一种染色体核型图像切割方法 | |
| CN103824081B (zh) | 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 | |
| CN103886308B (zh) | 一种使用聚合通道特征和软级联分类器的行人检测方法 | |
| CN104881662B (zh) | 一种单幅图像行人检测方法 | |
| CN103049733B (zh) | 人脸检测方法和人脸检测设备 | |
| CN104809461B (zh) | 结合序列图像超分辨率重建的车牌识别方法及系统 | |
| CN108009518A (zh) | 一种基于快速二分卷积神经网络的层次化交通标识识别方法 | |
| CN108416348A (zh) | 基于支持向量机和卷积神经网络的车牌定位识别方法 | |
| CN106682586A (zh) | 一种复杂光照条件下基于视觉的实时车道线检测的方法 | |
| CN104050684B (zh) | 一种基于在线训练的视频运动目标分类方法与系统 | |
| CN106128115A (zh) | 一种基于双摄像机检测道路交通信息的融合方法 | |
| CN112329569B (zh) | 一种基于图像深度学习系统的货运车辆状态实时识别方法 | |
| CN102087790B (zh) | 一种低空对地车辆检测与运动分析的方法和系统 | |
| CN107316003A (zh) | 一种基于自变量线性回归及结构张量行列式的车标检测方法及系统 | |
| Xia et al. | The study of license plate character segmentation algorithm based on vetical projection | |
| CN104978567A (zh) | 基于场景分类的车辆检测方法 | |
| CN109034024B (zh) | 基于图像目标检测的物流车辆车型分类识别方法 | |
| CN105447503A (zh) | 基于稀疏表示lbp和hog融合的行人检测方法 | |
| CN105184291B (zh) | 一种多类型车牌检测方法及系统 | |
| CN104966049A (zh) | 基于图像的货车检测方法 | |
| CN106650611B (zh) | 一种识别车身颜色的方法及装置 | |
| CN106056078B (zh) | 一种基于多特征回归式集成学习的人群密度估计方法 | |
| CN107886539A (zh) | 一种工业场景下高精度齿轮视觉检测方法 | |
| CN108734131A (zh) | 一种图像中的交通标志对称性检测方法 | |
| CN110598758A (zh) | 训练建模方法、车辆收费方法、管理系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 310012 1st floor, building 1, 223 Yile Road, Hangzhou City, Zhejiang Province Patentee after: Yinjiang Technology Co.,Ltd. Address before: 310030 floor 1, building 1, No. 223, Yile Road, Hangzhou, Zhejiang Patentee before: ENJOYOR Co.,Ltd. |