CN105787466B - 一种车辆类型的精细识别方法及系统 - Google Patents
一种车辆类型的精细识别方法及系统 Download PDFInfo
- Publication number
- CN105787466B CN105787466B CN201610162143.1A CN201610162143A CN105787466B CN 105787466 B CN105787466 B CN 105787466B CN 201610162143 A CN201610162143 A CN 201610162143A CN 105787466 B CN105787466 B CN 105787466B
- Authority
- CN
- China
- Prior art keywords
- vector
- coding
- image
- standardized images
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000013598 vector Substances 0.000 claims abstract description 138
- 239000013604 expression vector Substances 0.000 claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000001413 cellular effect Effects 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003064 k means clustering Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 2
- 239000010931 gold Substances 0.000 claims description 2
- 229910052737 gold Inorganic materials 0.000 claims description 2
- 238000002405 diagnostic procedure Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种车辆类型的精细识别方法及系统,方法包括:对获取的原始车辆图像进行灰度化和标准化处理,得到标准化图像;计算标准化图像每个像素点的梯度和方向;根据计算的梯度和方向对标准化图像进行方向梯度直方图特征提取和局部线性约束编码,得到标准化图像的编码向量;根据得到的编码向量采用权值空间金字塔对局部线性约束编码后的标准化图像进行处理,得到车辆图像的最终表达向量,所述车辆图像的最终表达向量包含有车辆图像的位置信息和语义信息;将车辆图像的最终表达向量送入预先训练好的线性支持向量机分类器进行车辆类型识别。本发明具有准确率高、复杂度低、鲁棒性强和细节特征丰富的优点,可广泛应用于图像处理领域。
Description
技术领域
本发明涉及图像处理领域,尤其是一种车辆类型的精细识别方法及系统。
背景技术
近年来,随着我国汽车的保有量日渐增加,利用汽车进行违法犯罪行为的涉车案件、盗抢车辆案件和各种交通违法行为越来越多,车辆管理与识别工作也得到了越来越多的关注。传统的治安卡口、电子警察等系统,主要还是通过对快速拍摄得到的车辆图像进行车牌识别来获取车辆信息。虽然目前的车牌识别技术已比较成熟与普及,但是其在面对套牌车、遮挡号牌以及无牌车辆时却无能为力。此外,在各种案件中,如果需要根据线索对某个型号车辆进行搜寻,其只能依赖于人工判断及人工检索,一般一个工作人员在一个工作日内可处理的图像数量不超过5000张,而一个车道每天的过车数据可能多达数万,故目前的车牌识别技术对海量的图像数据进行搜索时的工作量极其繁重。因此,研究进一步从车辆图像中识别出更多车辆精细属性,如车辆类型、品牌、型号、年款等,是未来发展的趋势。
对于车辆类型的精细识别问题来说,由于受拍摄时的光照、天气以及拍摄角度等的影响,即便是同一款车辆也可能呈现出不同的图像特征。同时在现实中,车辆的外观会具有较高的相似性(特别是同一品牌的不同年款的车辆),这都给车辆类型的精细识别带来了很大的困难。现有的车辆类型精细识别方法主要可以分为模版匹配法与基于外观的判别法。模版匹配法就是首先构建车辆类型模版库,接着通过分别提取待识别图像与模版库图像的特征进行匹配识别。模版匹配法的准确率一定程度上依赖于待识别的车辆类型在模版库中的数量,若模版数量越多,则识别准确率越高,但算法复杂度也随之增高,无法满足实时识别的要求。基于外观的判别法,这种方法大部分基于传统的模式识别,即首先对车辆图像进行相应的SIFT(尺度不变特征转换)特征提取,然后把SIFT特征描述子直接送入预先训练好的分类器进行识别。且基于外观的判别法大部分采用了SIFT特征提取算法,而SIFT特征提取算法对刚性物体的描述能力较差且提取速度较慢,影响了后续的准确识别基于外观的判别法通常需要提取车辆的特定区域(如车脸区域等),遇到车辆图像背景复杂的情况时其将无法完整提取甚至无法提取车辆的特定区域,影响了后续的车辆类型精细识别的准确率,鲁棒性较低。此外,现有的车辆类型精细识别方法大多基于浅层特征,无法很好地捕捉不同车辆类型之间的细微差异,将会影响到后续识别的准确率。
综上所述,目前业内亟需一种准确率高、复杂度低、鲁棒性强和细节特征丰富的,车辆类型的精细识别方法及系统。
发明内容
为解决上述技术问题,本发明的目的在于:提供一种准确率高、复杂度低、鲁棒性强和细节特征丰富的,车辆类型的精细识别方法。
本发明的另一目的在于:提供一种准确率高、复杂度低、鲁棒性强和细节特征丰富的,车辆类型的精细识别系统。
本发明所采取的技术方案是:
一种车辆类型的精细识别方法,包括以下步骤:
S1、对获取的原始车辆图像进行灰度化和标准化处理,得到标准化图像;
S2、计算标准化图像每个像素点的梯度和方向;
S3、根据计算的梯度和方向对标准化图像进行方向梯度直方图特征提取和局部线性约束编码,得到标准化图像的编码向量;
S4、根据得到的编码向量采用权值空间金字塔对局部线性约束编码后的标准化图像进行处理,得到车辆图像的最终表达向量,所述车辆图像的最终表达向量包含有车辆图像的位置信息和语义信息;
S5、将车辆图像的最终表达向量送入预先训练好的线性支持向量机分类器进行车辆类型识别。
进一步,所述步骤S2包括:
S21、计算标准化图像每个像素点的梯度,所述像素点的梯度计算公式为:
其中,Gx(x,y)、Gy(x,y)和H(x,y)分别代表标准化图像在像素点(x,y)的水平方向梯度、垂直方向梯度以及像素值;
S22、根据计算的水平和垂直梯度计算标准化图像在像素点(x,y)的梯度值G(x,y)和方向α(x,y),所述梯度值G(x,y)和方向α(x,y)的计算公式为:
进一步,所述步骤S3包括:
S31、将标准化图像划分若干个大小相同的图像块,并根据计算的梯度和方向获取各个图像块的方向梯度直方图特征向量以及整幅标准化图像的方向梯度直方图特征集合的表达式;
S32、采用局部线性约束编码的方法对标准化图像的方向梯度直方图特征向量进行编码,得到标准化图像的编码向量,所述标准化图像的编码向量包含有标准化图像的语义信息。
进一步,所述步骤S31包括:
S311、以标准化图像中大小为16×16像素的图像区域为一个图像块,并构建这个图像块的方向梯度直方图;
S312、把每个图像块划分为4×4个元胞,并以像素点的梯度值为权值加权统计每个元胞的8个方向通道的信息,得到每个元胞的8方向梯度直方图;
S313、把每个图像块的16个元胞的直方图按顺序连接起来,然后进行归一化,得到每个图像块的4×4×8=128维的方向梯度直方图特征向量;
S314、从标准化图像的左上角开始,以步长为8像素的提取间隔对整幅图像进行方向梯度直方图特征提取,得到标准化图像的方向梯度直方图特征集合的表达式,所述标准化图像的方向梯度直方图特征集合X的表达式为:
X=[x1,x2,...xN]∈RD×N,
其中,N是标准化图像的图像块总数量,xi为第i个图像块的方向梯度直方图特征向量,i=1,2,…,N;D是方向梯度直方图特征向量的维数,RD×N表示D×N维向量空间。
进一步,所述步骤S32具体为:
采用局部线性约束编码的方法对标准化图像的方向梯度直方图特征向量进行编码,得到标准化图像的编码向量,所述局部线性约束编码的方法所采用的编码公式为:
其中,B=[b1,b2,b3...bK]是预先采用K-Means聚类算法训练好的K个词典向量,C=[c1,c2,c3...cN]是标准化图像的N个编码向量;λ为设定的编码权重,⊙为点乘运算符号,di是用来衡量词典向量与方向梯度直方图特征向量相似度的指标,di的计算公式为:
式中,dist(xi,B)=[dist(xi,b1),...,dist(xi,bK)]T,dist(xi,bj)表示每个方向梯度直方图特征向量与视觉单词的欧氏距离,j=1,2,…,K,K为局部线性约束编码向量的维数;σ用来表征di的衰减速度,s.t.表示约束。
进一步,所述步骤S4包括:
S41、对局部线性约束编码后的标准化图像分别进行一等分、四等分以及十六等分,得到三个层次的21个子区域,所述三个层次中子区域的数量分别是1、4以及16个;
S42、对三个层次的每个子区域的编码向量进行最大池化操作,得到每个子区域的初步表达向量,所述最大池化操作所采用的公式为:
Pe=max{ce1,ce2,…,ceN},
其中,Pe为池化表达向量P的第e个元素,ceN为第N个编码向量中的第e个元素,e=1,2,…,L,L为编码向量的维数;
S43、根据每个子区域的初步表达向量计算每个子区域的最终表达向量,所述每个子区域的最终表达向量计算公式为:
Fg=Wg*Vg;
其中,Vg为第g个子区域的初步表达向量,Fg为第g个子区域的最终表达向量,Wg为第g个子区域的权重,g=1,2,…,21;所述子区域的编号g的编号规则为:第一个层次的1个子区域编号g=1,第二个层次的4个子区域的编号g按自左向右以及自上而下的顺序依次为2,3,4,5;第三个层次的16个子区域的编号g按自左向右以及自上而下的顺序依次为6,7,…,21;
S44、把每个子区域的最终表达向量按顺序连接起来组成车辆图像的最终表达向量。
进一步,所述21个子区域的权重集合
W={w|w=Wg}={1,1,1,2,2,2,2,2,2,2,2,2,2,5,5,5,5,5,5,5,5}。
本发明所采取的另一技术方案是:
一种车辆类型的精细识别系统,包括:
预处理模块,用于对获取的原始车辆图像进行灰度化和标准化处理,得到标准化图像;
计算模块,用于计算标准化图像每个像素点的梯度和方向;
特征提取与编码模块,用于根据计算的梯度和方向对标准化图像进行方向梯度直方图特征提取和局部线性约束编码,得到标准化图像的编码向量;
权值空间金字塔处理模块,用于根据得到的编码向量采用权值空间金字塔对局部线性约束编码后的标准化图像进行处理,得到车辆图像的最终表达向量,所述车辆图像的最终表达向量包含有车辆图像的位置信息和语义信息;
车辆类型识别模块,用于将车辆图像的最终表达向量送入预先训练好的线性支持向量机分类器进行车辆类型识别;
所述预处理模块的输出端依次通过计算模块、特征提取与编码模块以及权值空间金字塔处理模块进而与车辆类型识别模块的输入端连接。
进一步,所述特征提取与编码模块包括:
特征向量提取单元,用于将标准化图像划分若干个大小相同的图像块,并根据计算的梯度和方向获取各个图像块的方向梯度直方图特征向量以及整幅标准化图像的方向梯度直方图特征集合的表达式;
局部线性约束编码单元,用于采用局部线性约束编码的方法对标准化图像的方向梯度直方图特征向量进行编码,得到标准化图像的编码向量,所述标准化图像的编码向量包含有标准化图像的语义信息;
所述计算模块的输出端依次通过特征向量提取单元和局部线性约束编码单元进而与权值空间金字塔处理模块的输入端连接。
进一步,所述特征向量提取单元包括:
创建子单元,用于以标准化图像中大小为16×16像素的图像区域为一个图像块,并构建这个图像块的方向梯度直方图;
加权统计子单元,用于把每个图像块划分为4×4个元胞,并以像素点的梯度值为权值加权统计每个元胞的8个方向通道的信息,得到每个元胞的8方向梯度直方图;
图像块特征向量获取子单元,用于把每个图像块的16个元胞的直方图按顺序连接起来,然后进行归一化,得到每个图像块的4×4×8=128维的方向梯度直方图特征向量;
图像特征提取子单元,用于从标准化图像的左上角开始,以步长为8像素的提取间隔对整幅图像进行方向梯度直方图特征提取,得到标准化图像的方向梯度直方图特征集合的表达式,所述标准化图像的方向梯度直方图特征集合X的表达式为:
X=[x1,x2,...xN]∈RD×N,
其中,N是标准化图像的图像块总数量,xi为第i个图像块的方向梯度直方图特征向量,i=1,2,…,N;D是方向梯度直方图特征向量的维数,RD×N表示D×N维向量空间;
所述计算模块的输出端依次通过创建子单元、加权统计子单元、图像块特征向量获取子单元和图像特征提取子单元进而与局部线性约束编码单元的输入端连接。
本发明的方法有益效果是:先对车辆图像进行方向梯度直方图特征提取和局部线性约束编码,然后采用权值空间金字塔从局部线性约束编码后的图像得到用于车辆图像的最终表达向量,最后将得到的最终表达向量送入预先训练好的线性支持向量机分类器进行车辆类型识别,与待识别的车辆类型在模版库中的数量无关,能在保证识别准确率的同时降低算法复杂度,满足了实时识别的要求;采用方向梯度直方图特征来取代SIFT特征,对刚性物体的描述能力较好,识别率高且提取速度较快;对整个车辆图像进行识别,无需提取车辆的特定区域,鲁棒性强;采用了权值空间金字塔算法,根据每个图像块的层次以及位置来赋予不同的权重,能有效捕捉到不同车辆类型之间的细微差异,细节特征丰富且识别准确率高。
本发明的系统有益效果是:先对车辆图像进行方向梯度直方图特征提取和局部线性约束编码,然后采用权值空间金字塔从局部线性约束编码后的图像得到用于车辆图像的最终表达向量,最后将得到的最终表达向量送入预先训练好的线性支持向量机分类器进行车辆类型识别,与待识别的车辆类型在模版库中的数量无关,能在保证识别准确率的同时降低算法复杂度,满足了实时识别的要求;采用方向梯度直方图特征来取代SIFT特征,对刚性物体的描述能力较好,识别率高且提取速度较快;对整个车辆图像进行识别,无需提取车辆的特定区域,鲁棒性强;采用了权值空间金字塔算法,根据每个图像块的层次以及位置来赋予不同的权重,能有效捕捉到不同车辆类型之间的细微差异,细节特征丰富且识别准确率高。
附图说明
图1为本发明一种车辆类型的精细识别方法的整体流程图;
图2为本发明一种车辆类型的精细识别系统的整体结构图;
图3为本发明特征向量提取单元的结构框图;
图4为本发明实施例一车辆类型的精细识别方法的整体流程图;
图5为本发明实施例一方向梯度直方图特征提取过程示意图;
图6为本发明实施例一局部线性约束编码后的车辆图像;
图7为本发明实施例一的权值空间金字塔算法示意图。
具体实施方式
参照图1,一种车辆类型的精细识别方法,包括以下步骤:
S1、对获取的原始车辆图像进行灰度化和标准化处理,得到标准化图像;
S2、计算标准化图像每个像素点的梯度和方向;
S3、根据计算的梯度和方向对标准化图像进行方向梯度直方图特征提取和局部线性约束编码,得到标准化图像的编码向量;
S4、根据得到的编码向量采用权值空间金字塔对局部线性约束编码后的标准化图像进行处理,得到车辆图像的最终表达向量,所述车辆图像的最终表达向量包含有车辆图像的位置信息和语义信息;
S5、将车辆图像的最终表达向量送入预先训练好的线性支持向量机分类器进行车辆类型识别。
进一步作为优选的实施方式,所述步骤S2包括:
S21、计算标准化图像每个像素点的梯度,所述像素点的梯度计算公式为:
其中,Gx(x,y)、Gy(x,y)和H(x,y)分别代表标准化图像在像素点(x,y)的水平方向梯度、垂直方向梯度以及像素值;
S22、根据计算的水平和垂直梯度计算标准化图像在像素点(x,y)的梯度值G(x,y)和方向α(x,y),所述梯度值G(x,y)和方向α(x,y)的计算公式为:
进一步作为优选的实施方式,所述步骤S3包括:
S31、将标准化图像划分若干个大小相同的图像块,并根据计算的梯度和方向获取各个图像块的方向梯度直方图特征向量以及整幅标准化图像的方向梯度直方图特征集合的表达式;
S32、采用局部线性约束编码的方法对标准化图像的方向梯度直方图特征向量进行编码,得到标准化图像的编码向量,所述标准化图像的编码向量包含有标准化图像的语义信息。
进一步作为优选的实施方式,所述步骤S31包括:
S311、以标准化图像中大小为16×16像素的图像区域为一个图像块,并构建这个图像块的方向梯度直方图;
S312、把每个图像块划分为4×4个元胞,并以像素点的梯度值为权值加权统计每个元胞的8个方向通道的信息,得到每个元胞的8方向梯度直方图;
S313、把每个图像块的16个元胞的直方图按顺序连接起来,然后进行归一化,得到每个图像块的4×4×8=128维的方向梯度直方图特征向量;
S314、从标准化图像的左上角开始,以步长为8像素的提取间隔对整幅图像进行方向梯度直方图特征提取,得到标准化图像的方向梯度直方图特征集合的表达式,所述标准化图像的方向梯度直方图特征集合X的表达式为:
X=[x1,x2,...xN]∈RD×N,
其中,N是标准化图像的图像块总数量,xi为第i个图像块的方向梯度直方图特征向量,i=1,2,…,N;D是方向梯度直方图特征向量的维数,RD×N表示D×N维向量空间。
进一步作为优选的实施方式,所述步骤S32具体为:
采用局部线性约束编码的方法对标准化图像的方向梯度直方图特征向量进行编码,得到标准化图像的编码向量,所述局部线性约束编码的方法所采用的编码公式为:
其中,B=[b1,b2,b3...bK]是预先采用K-Means聚类算法训练好的K个词典向量,C=[c1,c2,c3...cN]是标准化图像的N个编码向量;λ为设定的编码权重,用于控制编码公式中以及||di⊙ci||这两项的相对重要性,⊙为点乘运算符号,di是用来衡量词典向量与方向梯度直方图特征向量相似度的指标,di的计算公式为:
式中,dist(xi,B)=[dist(xi,b1),...,dist(xi,bK)]T,dist(xi,bj)表示每个方向梯度直方图特征向量与视觉单词的欧氏距离,j=1,2,…,K,K为局部线性约束编码向量的维数;σ用来表征di的衰减速度,s.t.表示约束。
进一步作为优选的实施方式,所述步骤S4包括:
S41、对局部线性约束编码后的标准化图像分别进行一等分、四等分以及十六等分,得到三个层次的21个子区域,所述三个层次中子区域的数量分别是1、4以及16个;
S42、对三个层次的每个子区域的编码向量进行最大池化操作,得到每个子区域的初步表达向量,所述最大池化操作所采用的公式为:
Pe=max{ce1,ce2,…,ceN},
其中,Pe为池化表达向量P的第e个元素,ceN为第N个编码向量中的第e个元素,e=1,2,…,L,L为编码向量的维数;
S43、根据每个子区域的初步表达向量计算每个子区域的最终表达向量,所述每个子区域的最终表达向量计算公式为:
Fg=Wg*Vg;
其中,Vg为第g个子区域的初步表达向量,Fg为第g个子区域的最终表达向量,Wg为第g个子区域的权重,g=1,2,…,21;所述子区域的编号g的编号规则为:第一个层次的1个子区域编号g=1,第二个层次的4个子区域的编号g按自左向右以及自上而下的顺序依次为2,3,4,5;第三个层次的16个子区域的编号g按自左向右以及自上而下的顺序依次为6,7,…,21;
S44、把每个子区域的最终表达向量按顺序连接起来组成车辆图像的最终表达向量。
进一步作为优选的实施方式,所述21个子区域的权重集合
W={w|w=Wg}={1,1,1,2,2,2,2,2,2,2,2,2,2,5,5,5,5,5,5,5,5}。
参照图2,一种车辆类型的精细识别系统,包括:
预处理模块,用于对获取的原始车辆图像进行灰度化和标准化处理,得到标准化图像;
计算模块,用于计算标准化图像每个像素点的梯度和方向;
特征提取与编码模块,用于根据计算的梯度和方向对标准化图像进行方向梯度直方图特征提取和局部线性约束编码,得到标准化图像的编码向量;
权值空间金字塔处理模块,用于根据得到的编码向量采用权值空间金字塔对局部线性约束编码后的标准化图像进行处理,得到车辆图像的最终表达向量,所述车辆图像的最终表达向量包含有车辆图像的位置信息和语义信息;
车辆类型识别模块,用于将车辆图像的最终表达向量送入预先训练好的线性支持向量机分类器进行车辆类型识别;
所述预处理模块的输出端依次通过计算模块、特征提取与编码模块以及权值空间金字塔处理模块进而与车辆类型识别模块的输入端连接。
参照图2,进一步作为优选的实施方式,所述特征提取与编码模块包括:
特征向量提取单元,用于将标准化图像划分若干个大小相同的图像块,并根据计算的梯度和方向获取各个图像块的方向梯度直方图特征向量以及整幅标准化图像的方向梯度直方图特征集合的表达式;
局部线性约束编码单元,用于采用局部线性约束编码的方法对标准化图像的方向梯度直方图特征向量进行编码,得到标准化图像的编码向量,所述标准化图像的编码向量包含有标准化图像的语义信息;
所述计算模块的输出端依次通过特征向量提取单元和局部线性约束编码单元进而与权值空间金字塔处理模块的输入端连接。
参照图3,进一步作为优选的实施方式,所述特征向量提取单元包括:
创建子单元,用于以标准化图像中大小为16×16像素的图像区域为一个图像块,并构建这个图像块的方向梯度直方图;
加权统计子单元,用于把每个图像块划分为4×4个元胞,并以像素点的梯度值为权值加权统计每个元胞的8个方向通道的信息,得到每个元胞的8方向梯度直方图;
图像块特征向量获取子单元,用于把每个图像块的16个元胞的直方图按顺序连接起来,然后进行归一化,得到每个图像块的4×4×8=128维的方向梯度直方图特征向量;
图像特征提取子单元,用于从标准化图像的左上角开始,以步长为8像素的提取间隔对整幅图像进行方向梯度直方图特征提取,得到标准化图像的方向梯度直方图特征集合的表达式,所述标准化图像的方向梯度直方图特征集合X的表达式为:
X=[x1,x2,...xN]∈RD×N,
其中,N是标准化图像的图像块总数量,xi为第i个图像块的方向梯度直方图特征向量,i=1,2,…,N;D是方向梯度直方图特征向量的维数,RD×N表示D×N维向量空间;
所述计算模块的输出端依次通过创建子单元、加权统计子单元、图像块特征向量获取子单元和图像特征提取子单元进而与局部线性约束编码单元的输入端连接。
下面结合说明书附图和具体实施例对本发明作进一步详细说明。
实施例一
本发明提供了一个基于HOG特征(即方向梯度直方图特征)和权值空间金字塔的车辆类型精细识别方法,该方法的流程图如图4所示。
该方法首先通过安装在治安卡口的摄像头对过往车辆进行拍摄,然后对得到的原始车辆图像进行HOG特征提取。其中,HOG特征提取步骤如下:
Step 1.对图像进行灰度化并采用Gamma校正法对输入图像进行颜色空间的标准化,调节图像的对比度,抑制噪声的干扰。
Step 2.计算每个像素点的梯度以及方向,其中,像素点的梯度计算如下:
Gx(x,y)=H(x+1,y)-H(x-1,y) (1)
Gy(x,y)=H(x,y+1)-H(x,y-1) (2)
而图像在(x,y)点的梯度值和方向计算如下:
Step 3.以大小为16×16像素的图像区域为一个Block(图像块,是最小的编码单元),构建这个Block的梯度方向的直方图,如图5所示。然后把Block划分为4×4个元胞(Cell),即每个Cell的大小为4×4像素,并加权统计每个Cell的8个方向通道的信息,统计权值为相应像素点的梯度值。这样每个Cell都有一个8方向梯度直方图,接着把这16个Cell的直方图按顺序连接起来,然后归一化,即可得到这个Block的4×4×8=128维的HOG特征向量。
从图像的左上角开始,以步长为8像素的提取间隔对整幅图像进行HOG特征提取后,图像就可以用一组HOG特征的集合X来表示:
X=[x1,x2,...xN]∈RD×N (5)
其中,N是图像Block的总数量,xi为第i个Block的特征向量,D是特征向量的维数,这里D是128。
HOG特征提取后,再利用局部线性约束编码的方法对提取到的HOG特征向量进行编码,得到包含有图像语义信息的表达。局部线性约束编码的原理如下式所示:
其中,X=[x1,x2,...xN]是图像N个特征向量的集合;B=[b1,b2,b3...bK]是K个词典向量,它们是预先利用K-Means聚类算法训练好的;C=[c1,c2,c3...cN]是N个含有图像语义信息的编码向量;di是用来衡量词典向量与特征向量相似度的指标,计算如下式:
式中,dist(xi,B)=[dist(xi,b1),...,dist(xi,bK)]T,dist(xi,bj)表示每个方向梯度直方图特征向量与视觉单词的欧氏距离,j=1,2,…,K,K为局部线性约束编码的维数;σ用来表征di的衰减速度。
在局部线性约束编码完成后,得到如图6所示的图像,其不再通过仅描述图像物理特性的特征向量来表达,而是通过包含有图像语义信息的编码向量进行表达,这种含有图像语义信息的向量将会有助于后续的车辆识别。
捕捉不同车辆类型之间的差异和克服局部约束线性编码丢失图像空间信息的缺点是接下来的目标。传统的方法是采用空间金字塔(Spatial Pyramid Matching,SPM),它首先把图6所示的图像划分为三个层次,划分方式分别是将图像一等分、四等分以及是十六等分,这样三个层次分别有1、4、16个图像块。接着,对每个图像块里的编码向量进行最大池化操作,如下式所示:
Pe=max{ce1,ce2,…,ceN} (8)
其中,Pe为池化表达向量P的第e个元素,ceN为第N个编码向量中的第e个元素,e=1,2,…,L,L为编码向量的维数。这样可以得到每个子区域表达向量,把它们按顺序连接起来即可得到一个含有图像位置信息和语义信息的表达向量。
然而,对车辆图像而言,具有更多纹理边缘信息的车脸是车辆间差异较集中的部分,因此这部分应该给予更多的关注,但是传统的空间金字塔对所有图像块给予一样的权重,这样将无法有效地捕捉车辆之间的差异,影响后续的识别准确率。针对这个问题,本发明提出一种权值空间金字塔的方法,如图7所示,该方法的核心思想是将根据每个图像块的层次以及位置来赋予它们不同的权重。本发明权值空间金字塔算法的前面步骤与传统空间金字塔算法一样,首先把图像划分为3个层次共21个子区域,接着,利用最大池化操作得到每个子区域的表达向量,再接着,计算每个子区域的最终表达向量如下式:
其中,Z是子区域的数量,本实施例中Z的值是21。Vg为第g个子区域的表达向量,Fg为第g个子区域的权重。每个区域的编号规则如图7所示:层次1(即level 0)中子区域为第一个子区域;层次2(即level 1)中的左上区域为第二个子区域,右上区域为第三个子区域,左下为第四个子区域,右下为第五个子区域;后面层次3(即level 2)的区域编号也是如此。经过多次实验后,权重矩阵设置为[1,1,1,2,2,2,2,2,2,2,2,2,2,5,5,5,5,5,5,5,5]时识别准确率最高,如图7所示。最终把每个子区域的表达向量按顺序连接起来可组成图像的最终表达向量。
把图像的最终表达向量送入预先训练好的线性支持向量机分类器即能对车辆类型进行精细识别。
本发明采用基于HOG与权值空间金字塔的方法进行车辆类型精细识别,可以准确快速地对卡口车辆图像进行车辆类型精细识别,可以对全车图像进行识别,无需提取车辆特定区域,增强了算法的鲁棒性。同时,针对车辆图像是刚体的这一特性,本发明以HOG特征代替传统的SIFT特征,不仅使算法对车辆的描述能力加强,而且使特征提取的时间也大大减少。此外,针对车辆的差异主要集中在车脸部分的特性,本发明提出了一种权值空间金字塔算法,根据每个图像块的层次以及位置来赋予它们不同的权重,能有效地捕捉到车辆之间的细微差异,细节特征更丰富且大大提高了识别准确率。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (6)
1.一种车辆类型的精细识别方法,其特征在于:包括以下步骤:
S1、对获取的原始车辆图像进行灰度化和标准化处理,得到标准化图像;
S2、计算标准化图像每个像素点的梯度和方向;
S3、根据计算的梯度和方向对标准化图像进行方向梯度直方图特征提取和局部线性约束编码,得到标准化图像的编码向量;
S4、根据得到的编码向量采用权值空间金字塔对局部线性约束编码后的标准化图像进行处理,得到车辆图像的最终表达向量,所述车辆图像的最终表达向量包含有车辆图像的位置信息和语义信息;
S5、将车辆图像的最终表达向量送入预先训练好的线性支持向量机分类器进行车辆类型识别;
所述步骤S3包括:
S31、将标准化图像划分若干个大小相同的图像块,并根据计算的梯度和方向获取各个图像块的方向梯度直方图特征向量以及整幅标准化图像的方向梯度直方图特征集合的表达式;
S32、采用局部线性约束编码的方法对标准化图像的方向梯度直方图特征向量进行编码,得到标准化图像的编码向量,所述标准化图像的编码向量包含有标准化图像的语义信息;
所述步骤S4包括:
S41、对局部线性约束编码后的标准化图像分别进行一等分、四等分以及十六等分,得到三个层次的21个子区域,所述三个层次中子区域的数量分别是1、4以及16个;
S42、对三个层次的每个子区域的编码向量进行最大池化操作,得到每个子区域的初步表达向量,所述最大池化操作所采用的公式为:
Pe=max{ce1,ce2,…,ceN},
其中,Pe为池化表达向量P的第e个元素,ceN为第N个编码向量中的第e个元素,e=1,2,…,L,L为编码向量的维数;
S43、根据每个子区域的初步表达向量计算每个子区域的最终表达向量,所述每个子区域的最终表达向量计算公式为:
Fg=Wg*Vg;
其中,Vg为第g个子区域的初步表达向量,Fg为第g个子区域的最终表达向量,Wg为第g个子区域的权重,g=1,2,…,21;所述子区域的编号g的编号规则为:第一个层次的1个子区域编号g=1,第二个层次的4个子区域的编号g按自左向右以及自上而下的顺序依次为2,3,4,5;第三个层次的16个子区域的编号g按自左向右以及自上而下的顺序依次为6,7,…,21;
S44、把每个子区域的最终表达向量按顺序连接起来组成车辆图像的最终表达向量;
所述21个子区域的权重集合W={w|w=Wg}={1,1,1,2,2,2,2,2,2,2,2,2,2,5,5,5,5,5,5,5,5}。
2.根据权利要求1所述的一种车辆类型的精细识别方法,其特征在于:所述步骤S2包括:
S21、计算标准化图像每个像素点的梯度,所述像素点的梯度计算公式为:
其中,Gx(x,y)、Gy(x,y)和H(x,y)分别代表标准化图像在像素点(x,y)的水平方向梯度、垂直方向梯度以及像素值;
S22、根据计算的水平和垂直梯度计算标准化图像在像素点(x,y)的梯度值G(x,y)和方向α(x,y),所述梯度值G(x,y)和方向α(x,y)的计算公式为:
3.根据权利要求1所述的一种车辆类型的精细识别方法,其特征在于:所述步骤S31包括:
S311、以标准化图像中大小为16×16像素的图像区域为一个图像块,并构建这个图像块的方向梯度直方图;
S312、把每个图像块划分为4×4个元胞,并以像素点的梯度值为权值加权统计每个元胞的8个方向通道的信息,得到每个元胞的8方向梯度直方图;
S313、把每个图像块的16个元胞的直方图按顺序连接起来,然后进行归一化,得到每个图像块的4×4×8=128维的方向梯度直方图特征向量;
S314、从标准化图像的左上角开始,以步长为8像素的提取间隔对整幅图像进行方向梯度直方图特征提取,得到标准化图像的方向梯度直方图特征集合的表达式,所述标准化图像的方向梯度直方图特征集合X的表达式为:
X=[x1,x2,...xN]∈RD×N,
其中,N是标准化图像的图像块总数量,xi为第i个图像块的方向梯度直方图特征向量,i=1,2,…,N;D是方向梯度直方图特征向量的维数,RD×N表示D×N维向量空间。
4.根据权利要求3所述的一种车辆类型的精细识别方法,其特征在于:所述步骤S32具体为:
采用局部线性约束编码的方法对标准化图像的方向梯度直方图特征向量进行编码,得到标准化图像的编码向量,所述局部线性约束编码的方法所采用的编码公式为:
其中,B=[b1,b2,b3...bK]是预先采用K-Means聚类算法训练好的K个词典向量,C=[c1,c2,c3...cN]是标准化图像的N个编码向量;λ为设定的编码权重,为点乘运算符号,di是用来衡量词典向量与方向梯度直方图特征向量相似度的指标,di的计算公式为:
式中,dist(xi,B)=[dist(xi,b1),...,dist(xi,bK)]T,dist(xi,bj)表示每个方向梯度直方图特征向量与视觉单词的欧氏距离,j=1,2,…,K,K为局部线性约束编码向量的维数;σ用来表征di的衰减速度,s.t.表示约束。
5.一种车辆类型的精细识别系统,其特征在于:包括:
预处理模块,用于对获取的原始车辆图像进行灰度化和标准化处理,得到标准化图像;
计算模块,用于计算标准化图像每个像素点的梯度和方向;
特征提取与编码模块,用于根据计算的梯度和方向对标准化图像进行方向梯度直方图特征提取和局部线性约束编码,得到标准化图像的编码向量;
权值空间金字塔处理模块,用于根据得到的编码向量采用权值空间金字塔对局部线性约束编码后的标准化图像进行处理,得到车辆图像的最终表达向量,所述车辆图像的最终表达向量包含有车辆图像的位置信息和语义信息;
车辆类型识别模块,用于将车辆图像的最终表达向量送入预先训练好的线性支持向量机分类器进行车辆类型识别;
所述预处理模块的输出端依次通过计算模块、特征提取与编码模块以及权值空间金字塔处理模块进而与车辆类型识别模块的输入端连接;
所述特征提取与编码模块包括:
特征向量提取单元,用于将标准化图像划分若干个大小相同的图像块,并根据计算的梯度和方向获取各个图像块的方向梯度直方图特征向量以及整幅标准化图像的方向梯度直方图特征集合的表达式;
局部线性约束编码单元,用于采用局部线性约束编码的方法对标准化图像的方向梯度直方图特征向量进行编码,得到标准化图像的编码向量,所述标准化图像的编码向量包含有标准化图像的语义信息;
所述计算模块的输出端依次通过特征向量提取单元和局部线性约束编码单元进而与权值空间金字塔处理模块的输入端连接;
所述权值空间金字塔处理模块具体用于:
对局部线性约束编码后的标准化图像分别进行一等分、四等分以及十六等分,得到三个层次的21个子区域,所述三个层次中子区域的数量分别是1、4以及16个;
对三个层次的每个子区域的编码向量进行最大池化操作,得到每个子区域的初步表达向量,所述最大池化操作所采用的公式为:
Pe=max{ce1,ce2,…,ceN},
其中,Pe为池化表达向量P的第e个元素,ceN为第N个编码向量中的第e个元素,e=1,2,…,L,L为编码向量的维数;
根据每个子区域的初步表达向量计算每个子区域的最终表达向量,所述每个子区域的最终表达向量计算公式为:
Fg=Wg*Vg;
其中,Vg为第g个子区域的初步表达向量,Fg为第g个子区域的最终表达向量,Wg为第g个子区域的权重,g=1,2,…,21;所述子区域的编号g的编号规则为:第一个层次的1个子区域编号g=1,第二个层次的4个子区域的编号g按自左向右以及自上而下的顺序依次为2,3,4,5;第三个层次的16个子区域的编号g按自左向右以及自上而下的顺序依次为6,7,…,21;
把每个子区域的最终表达向量按顺序连接起来组成车辆图像的最终表达向量;
所述21个子区域的权重集合W={w|w=Wg}={1,1,1,2,2,2,2,2,2,2,2,2,2,5,5,5,5,5,5,5,5}。
6.根据权利要求5所述的一种车辆类型的精细识别系统,其特征在于:所述特征向量提取单元包括:
创建子单元,用于以标准化图像中大小为16×16像素的图像区域为一个图像块,并构建这个图像块的方向梯度直方图;
加权统计子单元,用于把每个图像块划分为4×4个元胞,并以像素点的梯度值为权值加权统计每个元胞的8个方向通道的信息,得到每个元胞的8方向梯度直方图;
图像块特征向量获取子单元,用于把每个图像块的16个元胞的直方图按顺序连接起来,然后进行归一化,得到每个图像块的4×4×8=128维的方向梯度直方图特征向量;
图像特征提取子单元,用于从标准化图像的左上角开始,以步长为8像素的提取间隔对整幅图像进行方向梯度直方图特征提取,得到标准化图像的方向梯度直方图特征集合的表达式,所述标准化图像的方向梯度直方图特征集合X的表达式为:
X=[x1,x2,...xN]∈RD×N,
其中,N是标准化图像的图像块总数量,xi为第i个图像块的方向梯度直方图特征向量,i=1,2,…,N;D是方向梯度直方图特征向量的维数,RD×N表示D×N维向量空间;
所述计算模块的输出端依次通过创建子单元、加权统计子单元、图像块特征向量获取子单元和图像特征提取子单元进而与局部线性约束编码单元的输入端连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610162143.1A CN105787466B (zh) | 2016-03-18 | 2016-03-18 | 一种车辆类型的精细识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610162143.1A CN105787466B (zh) | 2016-03-18 | 2016-03-18 | 一种车辆类型的精细识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105787466A CN105787466A (zh) | 2016-07-20 |
CN105787466B true CN105787466B (zh) | 2019-07-16 |
Family
ID=56394312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610162143.1A Active CN105787466B (zh) | 2016-03-18 | 2016-03-18 | 一种车辆类型的精细识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105787466B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106529542A (zh) * | 2016-09-30 | 2017-03-22 | 中国石油天然气股份有限公司 | 示功图识别方法和装置 |
CN106529424B (zh) * | 2016-10-20 | 2019-01-04 | 中山大学 | 一种基于选择性搜索算法的车标检测识别方法及系统 |
CN106529578A (zh) * | 2016-10-20 | 2017-03-22 | 中山大学 | 一种基于深度学习的车辆品牌型号精细识别方法与系统 |
CN107092912A (zh) * | 2017-04-25 | 2017-08-25 | 北京精英智通科技股份有限公司 | 一种车牌的识别方法和装置 |
CN107622229B (zh) * | 2017-08-29 | 2021-02-02 | 中山大学 | 一种基于融合特征的视频车辆重识别方法与系统 |
CN108154127A (zh) * | 2017-12-27 | 2018-06-12 | 天津智芯视界科技有限公司 | 一种基于视频和雷达的车辆识别方法 |
KR102580062B1 (ko) * | 2018-05-31 | 2023-09-19 | 삼성에스디에스 주식회사 | 이미지 분할 방법 및 장치 |
CN109993134A (zh) * | 2019-04-04 | 2019-07-09 | 中山大学 | 一种基于hog和svm分类器的道路交叉口车辆检测方法 |
CN110598033B (zh) * | 2019-08-14 | 2023-03-28 | 中国平安财产保险股份有限公司 | 智能自核验车方法、装置及计算机可读存储介质 |
CN114838711B (zh) * | 2022-03-16 | 2024-08-23 | 东北大学秦皇岛分校 | 一种海冰综合监测系统及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184299A (zh) * | 2015-08-29 | 2015-12-23 | 电子科技大学 | 基于局部约束线性编码的车身颜色识别方法 |
CN105404859A (zh) * | 2015-11-03 | 2016-03-16 | 电子科技大学 | 一种基于池化车辆图片原始特征的车型识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101395094B1 (ko) * | 2010-09-29 | 2014-05-16 | 안동대학교 산학협력단 | 개체 검출 방법 및 시스템 |
-
2016
- 2016-03-18 CN CN201610162143.1A patent/CN105787466B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184299A (zh) * | 2015-08-29 | 2015-12-23 | 电子科技大学 | 基于局部约束线性编码的车身颜色识别方法 |
CN105404859A (zh) * | 2015-11-03 | 2016-03-16 | 电子科技大学 | 一种基于池化车辆图片原始特征的车型识别方法 |
Non-Patent Citations (4)
Title |
---|
Locality-constrainted Linear Coding for image classification;Jinjun Wang 等;《2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20100805;3360-3367 |
基于LLC与加权SPM的车辆品牌型号识别;李熙莹 等;《计算机工程》;20170531;第43卷(第5期);210-216 |
基于梯度方向二进制模式的空间金字塔模型方法;郭军;《国防科技大学学报》;20140430;第36卷(第2期);129-133 |
基于特征提取与分类的手写数字识别研究;李龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120915(第9期);I138-486 |
Also Published As
Publication number | Publication date |
---|---|
CN105787466A (zh) | 2016-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105787466B (zh) | 一种车辆类型的精细识别方法及系统 | |
CN103810505B (zh) | 基于多层描述子的车辆标识方法与系统 | |
CN109558823B (zh) | 一种以图搜图的车辆识别方法及系统 | |
CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
CN107622229A (zh) | 一种基于融合特征的视频车辆重识别方法与系统 | |
CN106096602A (zh) | 一种基于卷积神经网络的中文车牌识别方法 | |
CN104166841A (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
CN103761531A (zh) | 基于形状轮廓特征的稀疏编码车牌字符识别方法 | |
CN109271991A (zh) | 一种基于深度学习的车牌检测方法 | |
Boyuan et al. | Study on pedestrian detection based on an improved YOLOv4 algorithm | |
CN110728225A (zh) | 一种用于考勤的高速人脸搜索方法 | |
CN111078946A (zh) | 一种基于多目标区域特征聚合的卡口车辆检索方法及系统 | |
CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
CN106156777A (zh) | 文本图片检测方法及装置 | |
CN108664878A (zh) | 基于卷积神经网络的猪只身份识别方法 | |
CN116935447B (zh) | 基于自适应师生结构的无监督域行人重识别方法及系统 | |
CN112052845A (zh) | 图像识别方法、装置、设备及存储介质 | |
Asthana et al. | Vehicle number plate recognition using multiple layer back propagation neural networks | |
CN114332942A (zh) | 基于改进YOLOv3的夜间红外行人检测方法及系统 | |
CN108416270A (zh) | 一种基于多属性联合特征的交通标志识别方法 | |
CN105825233A (zh) | 一种基于在线学习随机蕨分类器的行人检测方法 | |
CN111783896A (zh) | 一种基于核方法的图像识别方法及系统 | |
CN115115908B (zh) | 跨域目标检测模型训练方法、目标检测方法及存储介质 | |
CN110598758A (zh) | 训练建模方法、车辆收费方法、管理系统及存储介质 | |
CN110991374B (zh) | 一种基于rcnn的指纹奇异点检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20160720 Assignee: Jiadu Technology Group Co.,Ltd. Assignor: GUANGDONG FUNDWAY TECHNOLOGY Co.,Ltd. Contract record no.: X2023980047257 Denomination of invention: A Fine Recognition Method and System for Vehicle Types Granted publication date: 20190716 License type: Common License Record date: 20231116 |
|
EE01 | Entry into force of recordation of patent licensing contract |