CN107798335A - 一种融合滑动窗口与Faster R‑CNN卷积神经网络的车标识别方法 - Google Patents
一种融合滑动窗口与Faster R‑CNN卷积神经网络的车标识别方法 Download PDFInfo
- Publication number
- CN107798335A CN107798335A CN201710752741.9A CN201710752741A CN107798335A CN 107798335 A CN107798335 A CN 107798335A CN 201710752741 A CN201710752741 A CN 201710752741A CN 107798335 A CN107798335 A CN 107798335A
- Authority
- CN
- China
- Prior art keywords
- bbox
- logo
- layer
- convolutional neural
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明公开了一种融合滑动窗口与Faster R‑CNN卷积神经网络的车标定位与识别方法,本发明使用计算机视觉技术,通过识别车灯对车标进行粗定位,以应对车牌遮挡与无牌车的情况,并通过基于卷积神经网络解决了车标识别问题,通过RPN动态地生成正负样本,使每一次传入的样本都不一样,减少网络的过拟合程度,提高网络的鲁棒性,改善了以车牌辨车的传统工作模式,为打击汽车套牌、一车多牌、假牌照等违法犯罪行为提供了可靠帮助,进一步提高了智能交通的可靠性,节省了大量的人力成本。
Description
技术领域
本发明属于计算机视觉技术和图像处理技术领域,具体涉及一种 车标定位与识别方法,具体为融合滑动窗口与Faster R-CNN卷积神 经网络的车标定位与识别方法。
背景技术
二十世纪以来,世界各国的经济不断发展,汽车的种类与数量 也越来越多。汽车作为一种便捷的代步和运输工具,与现代人类的生 活息息相关。车辆在提供人们便利生活的同时,其停放和监管也成为 一个急待解决的问题,因此,以人眼识别为主的传统道路监控方式便 无法满足要求,现代化智能交通控制系统已成为未来全球道路交通的 发展趋势和现代化城市的先进标志。近年来,遮挡车牌、汽车套牌等 妨碍交通秩序的违法行为层出不穷,仅依靠车牌识别已不能适应当前 的交通现状了,因此,车标识别技术变得更为重要,它可以弥补车牌 识别的不足,从而进一步提高智能交通系统的可靠性。
目前,国内已有一些车标识别的方法,其中与本发明较为相近 的技术方案包括:专利(陆辉;蒋恋华;张仁辉。车标定位与识别方法。 CN103310231A[P]。2013。)使用车牌来对车牌进行粗定位,犯罪车 辆通常没有车牌或车牌被遮挡,此时无法正确识别车牌,在这种情况 下,该方法无法正确识别车标;专利(叶茂。基于进气格栅定位的 汽车车标样本训练及识别方法。CN104156692A[P]。2014。)使用识 别车辆进气栅的方法识别车标,使用方向梯度直方图(HOG)算法对 车头进气栅部分进行特征提取并用SVM训练与分类,由于不同品牌 的车可能具有相似的进气栅纹理,而同一品牌车的进气栅也有可能不 同,故该方法的识别率较低;发明专利(狄明珠,韩晶,方亚隽。基 于主成分分析卷积神经网络的车标自动识别方法。CN105512684A [P]。2016)通过主成分分析(PCA)提取特征,通过膨胀腐蚀等形态学运算对车标进行定位并通过卷积神经网络对车标进行训练与识 别,但次方法只能适应少部分车标的定位,大多数车标无法准确定位。
综上所述,在对车标进行识别时,当前方法存在如下不足:(1) 在无车牌时无法对车标进行粗定位;(2)识别速度较慢;(3)有 时无法提取到正确的车标区域。本发明针对这些问题提出了一种基于 Faster R-CNN卷积神经网络的车标定位与识别方法。
发明内容
为解决上述问题,本发明的目的在于提供一种车标定位与识别方 法,具体为融合滑动窗口与Faster R-CNN卷积神经网络的车标定位 与识别方法。
所述的一种融合滑动窗口与Faster R-CNN卷积神经网络的车标 识别方法,其特征在于具体步骤如下:
步骤1:定义车标种类集合为C={Ci|i=1,…,t},其中t为车标的 总数,并建立相应的含ground truth的数据集;
步骤2:构建含有10层的卷积神经网络,10层依次是卷积层 Conv1,池化层Pool2,卷积层Conv3,池化层Pool4,卷积层Conv5, 卷积层Conv6,卷积层Conv7,全连接层Fc8,全连接层Fc9,分类 层Softmax及回归层bbox_prediction;为了生成区域建议窗口,在 该网络卷积神经网络卷积层Conv7输出的特征图上滑动一个小网络, 这个网络全连接到全连接层Fc8,对RPN区域建议网络进行初始化, 设定建议窗口的滑动步长,滑动窗口尺寸等初始化信息,其中全连接 层Fc8的输入特征大小为N*N*M,M为卷积层Conv7的输出特征图 的维度,N为归一化后的特征图边长,单位为像素,分类层Softmax 的输出向量大小为t+1,回归层bbox_prediction的输出向量大小为4* (t+1);
步骤3:使用步骤1中的车标数据集对卷积神经网络进行训练, 得到训练好的卷积神经网络:
步骤4:利用训练好的卷积神经网络对输入的车辆图像I进行识 别,具体为:
步骤4.1:识别车灯并根据车灯的位置对车标进行粗定位,得到 车标粗定位区域Rc;
步骤4.2:将图像I输入训练好的卷积神经网络,得到Z个目标 区域包围框集合bbox=(bboxi|i=1,2,...,Z)与该区域的预测概率向量 bboxi=(xi1,yi1,xi2,yi2),i=1,2,...,Z,根据式(19)得到 bboxi的识别结果及其概率
其中,为bboxi区域为车标Ck的概率,k=1,2,...,t,(xi1,yi1)为bboxi左上角的坐标,(xi2,yi2)为bboxi右下角的坐标,单位为像素;
步骤4.3:根据式(20)从上一步所得的集合bbox中筛选新的集 合BBOX:
其中,Nb为集合BBOX中包围框的数量,ρ1,ρ2为比例系数;
步骤4.4:根据式(21),得到车标定位的包围框bboxmaxk与其识别 结果Cmax,完成车标定位与识别:
其中,为bboxmaxk的得分。
所述的融合滑动窗口与Faster R-CNN卷积神经网络的车标识别 方法,其特征在于步骤3中的对卷积神经网络进行训练的具体过程 为:
步骤3.1:将一批数量为Nbatch的训练集传入卷积神经网络并进行 前7层的卷积与池化操作,得到Nbatch张M维特征图;
步骤3.2:将上一步得到的特征图传入RPN区域建议网络,建议 窗口对特征图进行目标提取并传入全连接层Fc8,具体为:
步骤3.2.1:采用2种不同尺寸和3种不同比例合成的6种规格 的滑动窗口在特征图上自上而下、自左而右提取目标窗口其中i=1,2,...,Nbatch,j=1,2,...,nj,nj为第j张特征图提取到的目标窗口的总 数,窗口的滑动步长为1;
步骤3.2.2:将ground truth区域映射到M维特征图上,记为GTi, 其中i=1,2,...,Nbatch;
步骤3.2.3:根据式(1),(2)划分前景样本集合PS与背景样本 集合BS并从中剔除不属于PS与BS的样本:
其中,为与GTi的交集占并集的比例,μ1,μ2为分类系数, 0<μ2<μ1<1;
步骤3.2.4:将分割平均为N*N个小矩阵如式(3)所示:
其中,x=1,2,...,N,y=1,2,...,N;
步骤3.2.5:根据式(4),(5)将窗口归一化为并输入Fc8:
其中,为窗口第x行第y列的像素值,x=1,2,...,N, y=1,2,...,N;
步骤3.3:全连接层Fc8输出的特征向量输入全连接层Fc9, 构成一般神经网络;
步骤3.4:将全连接层Fc9输出的特征向量输出至分类层Softmax 与回归层bbox_prediction,Softmax用于判断特征的类型, bbox_prediction用于确定特征的目标位置,根据式(6),(7),(8), (9),(10)计算损失函数L({pij},{tij}),并根据链式法则逐步计算反向误差,更新各层的权重参数值,完成训练:
其中,为GTi标签,设第i张特征图的标签为k=1,2,...,t, 则pij为是车标Ck的预测概率,tij为一个4维向量,表示预测包围 框的4个参数坐标,为GTi的包围框坐标向量,Ncls为分类层Softmax 的归一化系数,Nreg为回归层bbox_prediction的归一化系数,λ为平 衡权重,Lcls为分类层Softmax的损失函数,Lreg为回归层 bbox_prediction的损失函数。
所述的融合滑动窗口与Faster R-CNN卷积神经网络的车标识别 方法,其特征在于步骤4.1中的识别车灯并根据车灯的位置对车标进 行粗定位的具体过程为:
步骤4.1.1:根据公式(11)对车灯进行粗定位,得到左车灯区 域Il与右车灯区域Ir:
其中,图像I的高度为height,宽度为width,为比例系数, k=1,2,3,(xl,yl)为Il左上角的坐标,hl与wl分别为Il的高和 宽,(xr,yr)为Ir左上角的坐标,hr与wr分别为Ir的高和宽,单位为像 素;
步骤4.1.2:根据Il与Ir从I中提取并得到图像ROIl与ROIr;
步骤4.1.3:根据式(13)得到差值图像Difl与Difr,并选取合适 的阈值进行二值化,得到Bl与Br:
其中,Difp为灰度图,Difp为Difl或Difr,ROIp为Difl或Difr, Difp(i,j)为图像Difp上第i行第j列的像素值,ROIp(i,j,k)为图像ROIp上 第k个通道的第i行第j列的像素值,temp1与temp2为中间值,abs为 取绝对值;
步骤4.1.4:统计Bl与Br中每一行白色像素点的个数Tl,i与Tr,i,i=1,2,...,wl,并根据式(14)(15)更新Tl,k,并将Bk中Tk,i=0的行置为 黑色:
Tk,max=max(Tk,i) (14)
其中,Tk,i为Tl,i或Tr,i,Bk为Bl或Br,Tk,max为Tk,i中的最大值, threshold为系数;
步骤4.1.5:根据式(16)对Bk进行处理:
其中,e1,e2为结构元,为膨胀运算,Θ为腐蚀运算;
步骤4.1.6:扫描整幅二值图像Bk,计算各白色区域的像素面积, 得到连通区域的候选集合lk,i={li|i=1,2,…,m},m为过滤后连通区域的 总数,并计算各个连通域面积ak,i={ai|i=1,2,…,m};
步骤4.1.7:通过比较筛选出面积最大的区域ak,max,使其满足公 式(7),得到ak,max的外接矩形Rk(x'k,y'k,w'k,h'k),并根据Ik在I中的位 置,更新Rk的坐标,完成车灯识别:
ak,max=max{ak,1,ak,2,......,ak,n} (17)
其中,Rk(x'k,y'k,w'k,h'k)为Rl(x'l,y'l,w'l,h'l)或Rr(x'r,y'r,w'r,h'r),Rl为左车灯外接矩形,Rr为右车灯外接矩形,(x'k,y'k)为Rk左上角的坐 标,h'k与w'k分别为Rk的高和宽;
步骤4.1.8:根据式(18)得到车标粗定位区域Rc:
其中,为扩展系数,y'min为y'l与y'r中的较小值,y'max为Rl与Rr下边界竖直方向的较大值,(x1c,y1c)为Rc左上角的坐标,(x2c,y2c)为Rc右下角的坐标。
本发明的有益效果为:与现有的车标识别方法相比,本发明使用 计算机视觉技术,通过识别车灯对车标进行粗定位,以应对车牌遮挡 与无牌车的情况,并通过基于卷积神经网络解决了车标识别问题,通 过RPN动态地生成正负样本,使每一次传入的样本都不一样,减少网 络的过拟合程度,提高网络的鲁棒性,改善了以车牌辨车的传统工作 模式,为打击汽车套牌、一车多牌、假牌照等违法犯罪行为提供了可 靠帮助,进一步提高了智能交通的可靠性,节省了大量的人力成本。
附图说明
图1为本发明的流程图;
图2为卷积神经网络模型示意图;
图3为滑动窗口示意图;
图4为样本分类示意图;
图5为具体实施例示例用图;
图6为车灯粗定位图;
图7为车灯区域二值化图;
图8为剔除较少白色像素行的结果图;
图9为图8经过膨胀与腐蚀后的结果图;
图10为车灯定位示意图;
图11为车标粗定位图;
图12为示例图通过卷积神机网络得到的初步识别图;
图13为剔除不在车标粗定位框内的识别结果示意图
图14为最终车标定位与识别示意图。
具体实施方式
下面结合实施例来详细阐述一种基于Faster R-CNN卷积神经网 络的车标定位与识别方法。应当理解,此处所描述的具体实例仅用于 解释本发明,并不用于限定本发明。
本发明的一种基于Faster R-CNN卷积神经网络的车标定位与识 别方法的具体过程如图1所示,具体步骤如下:
步骤1:定义车标种类集合为C={Ci|i=1,…,t},其中t为车标的 总数,并建立相应的含ground truth的数据集,在本实施例中,t取 10,C={Ci|i=1,2,...,t}=
{audi,bmw,benz,cadillac,chevloret,jord,volks,hyundai,mitsubishi,volvo};
步骤2:构建含有10层的卷积神经网络,10层依次是卷积层 Conv1,池化层Pool2,卷积层Conv3,池化层Pool4,卷积层Conv5, 卷积层Conv6,卷积层Conv7,全连接层Fc8,全连接层Fc9,分类 层Softmax以及回归层bbox_prediction,
为了生成区域建议窗口,在该网络卷积神经网络卷积层Conv7 输出的特征图上滑动一个小网络,这个网络全连接到Fc8,对RPN 区域建议网络进行初始化,设定建议窗口的滑动步长,滑动窗口尺寸 等初始化信息,其中Fc8的输入特征大小为N*N*M,M为卷积层Conv7的输出特征图的维度,N为归一化后的特征图边长,单位为像 素,Softmax的输出向量大小为t+1,bbox_prediction的输出向量大小 为4*(t+1),在本实施例中,M取256,N取3,卷积神经网络结构 如图2所示;
步骤3:使用步骤1中的车标数据集对卷积神经网络进行训练, 具体为:
步骤3.1:将一批数量为Nbatch的训练集传入卷积神经网络并进行 前7层的卷积与池化操作,得到Nbatch张M维特征图,在本实施例中, Nbatch取100;
步骤3.2:将上一步得到的特征图传入RPN区域建议网络,建议 窗口对特征图进行目标提取并传入Fc8,具体为:
步骤3.2.1:采用2种不同尺寸和3种不同比例合成的6种规格 的滑动窗口在特征图上自上而下、自左而右提取目标窗口其中 i=1,2,...,Nbatch,j=1,2,...,nj,nj为第j张特征图提取到的目标窗口的总 数,窗口的滑动步长为1,在本实施例中,6种滑动窗口的规格分别 为1*1,1*2,2*2,2*4,3*3,3*6,单位为像素*像素,滑动窗口如图3所示;
步骤3.2.2:将ground truth区域映射到M维特征图上,记为GTi, 其中i=1,2,...,Nbatch;
步骤3.2.3:根据式(1),(2)划分前景样本集合PS与背景样本 集合BS并从中剔除不属于PS与BS的样本:
其中,为与GTi的交集占并集的比例,μ1,μ2为分类系数, 0<μ2<μ1<1,在本实施例中,μ1取0.7,μ2取0.3,样本分类示意图 如图4所示;
步骤3.2.4:将分割平均为N*N个小矩阵如式(3)所示:
其中,x=1,2,...,N,y=1,2,...,N;
步骤3.2.5:根据式(4),(5)将窗口归一化为并输入 Fc8:
其中,为窗口第x行第y列的像素值,x=1,2,...,N, y=1,2,...,N;
步骤3.3:全连接层Fc8输出的特征向量输入Fc9,构成一般神 经网络;
步骤3.4:将全连接层Fc9输出的特征向量输出至分类层Softmax 与回归层bbox_prediction,Softmax用于判断特征的类型, bbox_prediction用于确定特征的目标位置,根据式(6),(7),(8), (9),(10)计算损失函数L({pij},{tij}),并根据链式法则逐步计算反向误差,更新各层的权重参数值,完成训练:
其中,为GTi标签,设第i张特征图的标签为k=1,2,...,t, 则pij为是车标Ck的预测概率,tij为一个4维向量,表示预测包围 框的4个参数坐标,为GTi的包围框坐标向量,Ncls为分类层Softmax 的归一化系数,Nreg为回归层bbox_prediction的归一化系数,λ为平 衡权重,Lcls为分类层Softmax的损失函数,Lreg为回归层 bbox_prediction的损失函数,在本实施例中,所述的卷积神经网络训 练方法在申请号为CN201610906708.2的文件中已公开,在此不再详 述;
步骤4:利用训练好的卷积神经网络对输入的车辆图像I进行识 别,图5为具体实施例示例用图,具体为:
步骤4.1:识别车灯并根据车灯的位置对车标进行粗定位,具体 为:
步骤4.1.1:根据公式(11)对车灯进行粗定位,得到左车灯区 域Il与右车灯区域Ir:
其中,图像I的高度为height,宽度为width,为比例系数, k=1,2,3,(xl,yl)为Il左上角的坐标,hl与wl分别为Il的高和 宽,(xr,yr)为Ir左上角的坐标,hr与wr分别为Ir的高和宽,单位为像 素,在本实施例中,取 取 取
步骤4.1.2:根据Il与Ir从I中提取并得到图像ROIl与ROIr,处理 结果如图6所示;
步骤4.1.3:根据式(13)得到差值图像Difl与Difr,并用OTSU 进行二值化处理,得到Bl与Br:
其中,Difp为灰度图,Difp为Difl或Difr,ROIp为Difl或Difr, Difp(i,j)为图像Difp上第i行第j列的像素值,ROIp(i,j,k)为图像ROIp上 第k个通道的第i行第j列的像素值,temp1与temp2为中间值,abs为 取绝对值,处理结果如图7所示;
步骤4.1.4:统计Bl与Br中每一行白色像素点的个数Tl,i与Tr,i, i=1,2,...,wl,并根据式(14)(15)更新Tl,k,并将Bk中Tk,i=0的行置为 黑色:
Tk,max=max(Tk,i) (14)
其中,Tk,i为Tl,i或Tr,i,Bk为Bl或Br,Tk,max为Tk,i中的最大值, threshold为系数,在本实施例中,threshold取40,处理结果如图8 所示;
步骤4.1.5:根据式(16)对Bk进行处理:
其中,e1,e2为结构元,为膨胀运算,Θ为腐蚀运算,在本实施 例中,e1,e2为核为7*7的结构元,处理结果如图9所示;
步骤4.1.6:扫描整幅二值图像Bk,计算各白色区域的像素面积, 得到连通区域的候选集合lk,i={li|i=1,2,…,m},m为过滤后连通区域的 总数,并计算各个连通域面积ak,i={ai|i=1,2,…,m};
步骤4.1.7:通过比较筛选出面积最大的区域ak,max,使其满足公 式(7),得到ak,max的外接矩形Rk(x'k,y'k,w'k,h'k),并根据Ik在I中的位 置,更新Rk的坐标,完成车灯识别:
ak,max=max{ak,1,ak,2,......,ak,n} (17)
其中,Rk(x'k,y'k,w'k,h'k)为Rl(x'l,y'l,w'l,h'l)或Rr(x'r,y'r,w'r,h'r),Rl为左车灯外接矩形,Rr为右车灯外接矩形,(x'k,y'k)为Rk左上角的坐 标,h'k与w'k分别为Rk的高和宽,处理结果如图参照图10;
步骤4.1.8:根据式(18)得到车标粗定位区域Rc:
其中,为扩展系数,y'min为y'l与y'r中的较小值,y'max为Rl与Rr下边界竖直方向的较大值,(x1c,y1c)为Rc左上角的坐标,(x2c,y2c)为Rc右下角的坐标,在本实施例中,取2,处理结果参照图11;
步骤4.2:将图像I输入训练好的卷积神经网络,得到Z个目标 区域包围框集合bbox=(bboxi|i=1,2,...,Z)与该区域的预测概率向量 bboxi=(xi1,yi1,xi2,yi2),i=1,2,...,Z,根据式(19)得到 bboxi的识别结果及其概率
其中,为bboxi区域为车标Ck的概率,k=1,2,...,t,(xi1,yi1)为bboxi左上角的坐标,(xi2,yi2)为bboxi右下角的坐标,单位为像素,处理结 果参照图12;
步骤4.3:根据式(20)从上一步所得的集合bbox中筛选新的集 合BBOX:
其中,Nb为集合BBOX中包围框的数量,ρ1,ρ2为比例系数,在 本实施例中,ρ1取0.1,ρ2取0.5,处理结果参照图13;
步骤4.4:根据式(21),得到车标定位的包围框bboxmaxk与其识别 结果Cmax,完成车标定位与识别:
其中,为bboxmaxk的得分,处理结果参照图14。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列 举,本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形 式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够 想到的等同技术手段。
Claims (3)
1.一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法,其特征在于具体步骤如下:
步骤1:定义车标种类集合为C={Ci|i=1,…,t},其中t为车标的总数,并建立相应的含ground truth的数据集;
步骤2:构建含有10层的卷积神经网络,10层依次是卷积层Conv1,池化层Pool2,卷积层Conv3,池化层Pool4,卷积层Conv5,卷积层Conv6,卷积层Conv7,全连接层Fc8,全连接层Fc9,分类层Softmax及回归层bbox_prediction;为了生成区域建议窗口,在该网络卷积神经网络卷积层Conv7输出的特征图上滑动一个小网络,这个网络全连接到全连接层Fc8,对RPN区域建议网络进行初始化,设定建议窗口的滑动步长,滑动窗口尺寸等初始化信息,其中全连接层Fc8的输入特征大小为N*N*M,M为卷积层Conv7的输出特征图的维度,N为归一化后的特征图边长,单位为像素,分类层Softmax的输出向量大小为t+1,回归层bbox_prediction的输出向量大小为4*(t+1);
步骤3:使用步骤1中的车标数据集对卷积神经网络进行训练,得到训练好的卷积神经网络:
步骤4:利用训练好的卷积神经网络对输入的车辆图像I进行识别,具体为:
步骤4.1:识别车灯并根据车灯的位置对车标进行粗定位,得到车标粗定位区域Rc;
步骤4.2:将图像I输入训练好的卷积神经网络,得到Z个目标区域包围框集合bbox=(bboxi|i=1,2,...,Z)与该区域的预测概率向量bboxi=(xi1,yi1,xi2,yi2),i=1,2,...,Z,根据式(19)得到bboxi的识别结果及其概率
其中,为bboxi区域为车标Ck的概率,k=1,2,...,t,(xi1,yi1)为bboxi左上角的坐标,(xi2,yi2)为bboxi右下角的坐标,单位为像素;
步骤4.3:根据式(20)从上一步所得的集合bbox中筛选新的集合BBOX:
其中,Nb为集合BBOX中包围框的数量,ρ1,ρ2为比例系数;
步骤4.4:根据式(21),得到车标定位的包围框bboxmaxk与其识别结果Cmax,完成车标定位与识别:
其中,为bboxmaxk的得分。
2.根据权利要求1所述的融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法,其特征在于步骤3中的对卷积神经网络进行训练的具体过程为:
步骤3.1:将一批数量为Nbatch的训练集传入卷积神经网络并进行前7层的卷积与池化操作,得到Nbatch张M维特征图;
步骤3.2:将上一步得到的特征图传入RPN区域建议网络,建议窗口对特征图进行目标提取并传入全连接层Fc8,具体为:
步骤3.2.1:采用2种不同尺寸和3种不同比例合成的6种规格的滑动窗口在特征图上自上而下、自左而右提取目标窗口其中i=1,2,...,Nbatch,j=1,2,...,nj,nj为第j张特征图提取到的目标窗口的总数,窗口的滑动步长为1;
步骤3.2.2:将ground truth区域映射到M维特征图上,记为GTi,其中i=1,2,...,Nbatch;
步骤3.2.3:根据式(1),(2)划分前景样本集合PS与背景样本集合BS并从中剔除不属于PS与BS的样本:
其中,为与GTi的交集占并集的比例,μ1,μ2为分类系数,0<μ2<μ1<1;
步骤3.2.4:将分割平均为N*N个小矩阵如式(3)所示:
其中,x=1,2,...,N,y=1,2,...,N;
步骤3.2.5:根据式(4),(5)将窗口归一化为并输入Fc8:
其中,为窗口第x行第y列的像素值,x=1,2,...,N,y=1,2,...,N;
步骤3.3:全连接层Fc8输出的特征向量输入全连接层Fc9,构成一般神经网络;
步骤3.4:将全连接层Fc9输出的特征向量输出至分类层Softmax与回归层bbox_prediction,Softmax用于判断特征的类型,bbox_prediction用于确定特征的目标位置,根据式(6),(7),(8),(9),(10)计算损失函数L({pij},{tij}),并根据链式法则逐步计算反向误差,更新各层的权重参数值,完成训练:
其中,为GTi标签,设第i张特征图的标签为k=1,2,...,t,则pij为是车标Ck的预测概率,tij为一个4维向量,表示预测包围框的4个参数坐标,为GTi的包围框坐标向量,Ncls为分类层Softmax的归一化系数,Nreg为回归层bbox_prediction的归一化系数,λ为平衡权重,Lcls为分类层Softmax的损失函数,Lreg为回归层bbox_prediction的损失函数。
3.根据权利要求1所述的融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法,其特征在于步骤4.1中的识别车灯并根据车灯的位置对车标进行粗定位的具体过程为:
步骤4.1.1:根据公式(11)对车灯进行粗定位,得到左车灯区域Il与右车灯区域Ir:
其中,图像I的高度为height,宽度为width,为比例系数,k=1,2,3,(xl,yl)为Il左上角的坐标,hl与wl分别为Il的高和宽,(xr,yr)为Ir左上角的坐标,hr与wr分别为Ir的高和宽,单位为像素;
步骤4.1.2:根据Il与Ir从I中提取并得到图像ROIl与ROIr;
步骤4.1.3:根据式(13)得到差值图像Difl与Difr,并选取合适的阈值进行二值化,得到Bl与Br:
其中,Difp为灰度图,Difp为Difl或Difr,ROIp为Difl或Difr,Difp(i,j)为图像Difp上第i行第j列的像素值,ROIp(i,j,k)为图像ROIp上第k个通道的第i行第j列的像素值,temp1与temp2为中间值,abs为取绝对值;
步骤4.1.4:统计Bl与Br中每一行白色像素点的个数Tl,i与Tr,i,i=1,2,...,wl,并根据式(14)(15)更新Tl,k,并将Bk中Tk,i=0的行置为黑色:
Tk,max=max(Tk,i)(14)
其中,Tk,i为Tl,i或Tr,i,Bk为Bl或Br,Tk,max为Tk,i中的最大值,threshold为系数;
步骤4.1.5:根据式(16)对Bk进行处理:
其中,e1,e2为结构元,为膨胀运算,Θ为腐蚀运算;
步骤4.1.6:扫描整幅二值图像Bk,计算各白色区域的像素面积,得到连通区域的候选集合lk,i={li|i=1,2,…,m},m为过滤后连通区域的总数,并计算各个连通域面积ak,i={ai|i=1,2,…,m};
步骤4.1.7:通过比较筛选出面积最大的区域ak,max,使其满足公式(7),得到ak,max的外接矩形Rk(x'k,y'k,w'k,h'k),并根据Ik在I中的位置,更新Rk的坐标,完成车灯识别:
ak,max=max{ak,1,ak,2,......,ak,n} (17)
其中,Rk(x'k,y'k,w'k,h'k)为Rl(x'l,y'l,w'l,h'l)或Rr(x'r,y'r,w'r,h'r),Rl为左车灯外接矩形,Rr为右车灯外接矩形,(x'k,y'k)为Rk左上角的坐标,h'k与w'k分别为Rk的高和宽;
步骤4.1.8:根据式(18)得到车标粗定位区域Rc:
其中,为扩展系数,y'min为y'l与y'r中的较小值,y'max为Rl与Rr下边界竖直方向的较大值,(x1c,y1c)为Rc左上角的坐标,(x2c,y2c)为Rc右下角的坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710752741.9A CN107798335B (zh) | 2017-08-28 | 2017-08-28 | 一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710752741.9A CN107798335B (zh) | 2017-08-28 | 2017-08-28 | 一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107798335A true CN107798335A (zh) | 2018-03-13 |
CN107798335B CN107798335B (zh) | 2020-02-18 |
Family
ID=61531654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710752741.9A Active CN107798335B (zh) | 2017-08-28 | 2017-08-28 | 一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107798335B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108416287A (zh) * | 2018-03-04 | 2018-08-17 | 南京理工大学 | 一种基于遗漏负样本挖掘的行人检测方法 |
CN108416394A (zh) * | 2018-03-22 | 2018-08-17 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
CN108537286A (zh) * | 2018-04-18 | 2018-09-14 | 北京航空航天大学 | 一种基于关键区域检测的复杂目标精准识别方法 |
CN108615049A (zh) * | 2018-04-09 | 2018-10-02 | 华中科技大学 | 一种车辆部件检测模型压缩方法及系统 |
CN108647682A (zh) * | 2018-05-17 | 2018-10-12 | 电子科技大学 | 一种基于区域卷积神经网络模型的品牌Logo检测与识别方法 |
CN108866934A (zh) * | 2018-08-13 | 2018-11-23 | 济南大学 | 一种基于人工智能的洗衣模式控制系统及方法 |
CN108956153A (zh) * | 2018-04-27 | 2018-12-07 | 东华大学 | 一种基于rbf径向基神经网络的汽车防抱死检测方法 |
CN108985145A (zh) * | 2018-05-29 | 2018-12-11 | 同济大学 | 小尺寸交通标志检测识别的反向连接深度神经网络模型方法 |
CN109033652A (zh) * | 2018-08-02 | 2018-12-18 | 江苏艾佳家居用品有限公司 | 一种基于滑动窗特征与回归预测的室内自动布局方法 |
CN109166107A (zh) * | 2018-04-28 | 2019-01-08 | 北京市商汤科技开发有限公司 | 一种医学图像分割方法及装置、电子设备和存储介质 |
CN109344802A (zh) * | 2018-10-29 | 2019-02-15 | 重庆邮电大学 | 一种基于改进的级联卷积神经网的人体疲劳检测方法 |
CN109410598A (zh) * | 2018-11-09 | 2019-03-01 | 浙江浩腾电子科技股份有限公司 | 一种基于计算机视觉的交通路口拥堵检测方法 |
CN109740478A (zh) * | 2018-12-26 | 2019-05-10 | 山东创科自动化科技有限公司 | 车辆检测及识别方法、装置、计算机设备及可读存储介质 |
CN109816024A (zh) * | 2019-01-29 | 2019-05-28 | 电子科技大学 | 一种基于多尺度特征融合与dcnn的实时车标检测方法 |
CN110400370A (zh) * | 2019-07-17 | 2019-11-01 | 北京航空航天大学 | 一种构建三维cad模型的语义级部件模板的方法 |
CN110414299A (zh) * | 2018-04-28 | 2019-11-05 | 中山大学 | 一种基于计算机视觉的猴脸亲缘关系分析方法 |
CN111062384A (zh) * | 2019-11-08 | 2020-04-24 | 博云视觉(北京)科技有限公司 | 一种基于深度学习的车窗精确定位方法 |
CN111652214A (zh) * | 2020-05-26 | 2020-09-11 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的垃圾瓶分选方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512684A (zh) * | 2015-12-09 | 2016-04-20 | 江苏大为科技股份有限公司 | 基于主成分分析卷积神经网络的车标自动识别方法 |
CN105868774A (zh) * | 2016-03-24 | 2016-08-17 | 西安电子科技大学 | 基于选择性搜索和卷积神经网络的车标识别方法 |
CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
-
2017
- 2017-08-28 CN CN201710752741.9A patent/CN107798335B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512684A (zh) * | 2015-12-09 | 2016-04-20 | 江苏大为科技股份有限公司 | 基于主成分分析卷积神经网络的车标自动识别方法 |
CN105868774A (zh) * | 2016-03-24 | 2016-08-17 | 西安电子科技大学 | 基于选择性搜索和卷积神经网络的车标识别方法 |
CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
Non-Patent Citations (3)
Title |
---|
WANG YUNQIONG: "A Fast Coarse-to-Fine Vehicle Logo Detection and Recognition Method", 《IEEE》 * |
张绍华: "基于图像的车标定位与识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
李侠: "车标定位技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108416287A (zh) * | 2018-03-04 | 2018-08-17 | 南京理工大学 | 一种基于遗漏负样本挖掘的行人检测方法 |
CN108416394B (zh) * | 2018-03-22 | 2019-09-03 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
CN108416394A (zh) * | 2018-03-22 | 2018-08-17 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
CN108615049A (zh) * | 2018-04-09 | 2018-10-02 | 华中科技大学 | 一种车辆部件检测模型压缩方法及系统 |
CN108537286A (zh) * | 2018-04-18 | 2018-09-14 | 北京航空航天大学 | 一种基于关键区域检测的复杂目标精准识别方法 |
CN108537286B (zh) * | 2018-04-18 | 2020-11-24 | 北京航空航天大学 | 一种基于关键区域检测的复杂目标精准识别方法 |
CN108956153A (zh) * | 2018-04-27 | 2018-12-07 | 东华大学 | 一种基于rbf径向基神经网络的汽车防抱死检测方法 |
CN110414299B (zh) * | 2018-04-28 | 2024-02-06 | 中山大学 | 一种基于计算机视觉的猴脸亲缘关系分析方法 |
CN109166107A (zh) * | 2018-04-28 | 2019-01-08 | 北京市商汤科技开发有限公司 | 一种医学图像分割方法及装置、电子设备和存储介质 |
CN110414299A (zh) * | 2018-04-28 | 2019-11-05 | 中山大学 | 一种基于计算机视觉的猴脸亲缘关系分析方法 |
CN108647682A (zh) * | 2018-05-17 | 2018-10-12 | 电子科技大学 | 一种基于区域卷积神经网络模型的品牌Logo检测与识别方法 |
CN108985145A (zh) * | 2018-05-29 | 2018-12-11 | 同济大学 | 小尺寸交通标志检测识别的反向连接深度神经网络模型方法 |
CN109033652A (zh) * | 2018-08-02 | 2018-12-18 | 江苏艾佳家居用品有限公司 | 一种基于滑动窗特征与回归预测的室内自动布局方法 |
CN109033652B (zh) * | 2018-08-02 | 2019-09-20 | 江苏艾佳家居用品有限公司 | 一种基于滑动窗特征与回归预测的室内自动布局方法 |
CN108866934A (zh) * | 2018-08-13 | 2018-11-23 | 济南大学 | 一种基于人工智能的洗衣模式控制系统及方法 |
CN108866934B (zh) * | 2018-08-13 | 2021-04-23 | 济南大学 | 一种基于人工智能的洗衣模式控制系统及方法 |
CN109344802B (zh) * | 2018-10-29 | 2021-09-10 | 重庆邮电大学 | 一种基于改进的级联卷积神经网的人体疲劳检测方法 |
CN109344802A (zh) * | 2018-10-29 | 2019-02-15 | 重庆邮电大学 | 一种基于改进的级联卷积神经网的人体疲劳检测方法 |
CN109410598A (zh) * | 2018-11-09 | 2019-03-01 | 浙江浩腾电子科技股份有限公司 | 一种基于计算机视觉的交通路口拥堵检测方法 |
CN109740478A (zh) * | 2018-12-26 | 2019-05-10 | 山东创科自动化科技有限公司 | 车辆检测及识别方法、装置、计算机设备及可读存储介质 |
CN109740478B (zh) * | 2018-12-26 | 2023-04-28 | 杨先明 | 车辆检测及识别方法、装置、计算机设备及可读存储介质 |
CN109816024B (zh) * | 2019-01-29 | 2021-08-31 | 电子科技大学 | 一种基于多尺度特征融合与dcnn的实时车标检测方法 |
CN109816024A (zh) * | 2019-01-29 | 2019-05-28 | 电子科技大学 | 一种基于多尺度特征融合与dcnn的实时车标检测方法 |
CN110400370A (zh) * | 2019-07-17 | 2019-11-01 | 北京航空航天大学 | 一种构建三维cad模型的语义级部件模板的方法 |
CN110400370B (zh) * | 2019-07-17 | 2021-04-16 | 北京航空航天大学 | 一种构建三维cad模型的语义级部件模板的方法 |
CN111062384A (zh) * | 2019-11-08 | 2020-04-24 | 博云视觉(北京)科技有限公司 | 一种基于深度学习的车窗精确定位方法 |
CN111062384B (zh) * | 2019-11-08 | 2023-09-08 | 博云视觉(北京)科技有限公司 | 一种基于深度学习的车窗精确定位方法 |
CN111652214A (zh) * | 2020-05-26 | 2020-09-11 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的垃圾瓶分选方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107798335B (zh) | 2020-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107798335A (zh) | 一种融合滑动窗口与Faster R‑CNN卷积神经网络的车标识别方法 | |
CN105930791B (zh) | 基于ds证据理论的多摄像头融合的路面交通标志识别方法 | |
Gou et al. | Vehicle license plate recognition based on extremal regions and restricted Boltzmann machines | |
CN105809138B (zh) | 一种基于分块识别的道路警告标志检测与识别方法 | |
Tian et al. | Rear-view vehicle detection and tracking by combining multiple parts for complex urban surveillance | |
Sirmacek et al. | Building detection from aerial images using invariant color features and shadow information | |
CN106682586A (zh) | 一种复杂光照条件下基于视觉的实时车道线检测的方法 | |
CN104318258B (zh) | 一种基于时域模糊和卡尔曼滤波器的车道线检测方法 | |
Roy et al. | License plate detection and character recognition system for commercial vehicles based on morphological approach and template matching | |
CN107545239A (zh) | 一种基于车牌识别与车辆特征匹配的套牌检测方法 | |
JP7206082B2 (ja) | 交通標識を認識するためのシステムおよび方法 | |
CN106384345B (zh) | 一种基于rcnn的图像检测以及流量统计方法 | |
CN106650731A (zh) | 一种鲁棒的车牌、车标识别方法 | |
Guo et al. | Nighttime vehicle lamp detection and tracking with adaptive mask training | |
CN110334634A (zh) | 一种车道线类别的检测方法和预警装置 | |
CN106529532A (zh) | 一种基于积分特征通道与灰度投影的车牌识别系统 | |
CN102799859A (zh) | 一种交通标志识别方法 | |
CN106778742B (zh) | 一种基于Gabor滤波器背景纹理抑制的车标检测方法 | |
CN105224945B (zh) | 一种基于联合检测与辨识算法的车标识别方法 | |
CN105117726A (zh) | 基于多特征区域累积的车牌定位方法 | |
CN106503748A (zh) | 一种基于s‑sift特征和svm训练器的车型识别算法 | |
Joshi et al. | Moving shadow detection with low-and mid-level reasoning | |
CN107292933A (zh) | 一种基于bp神经网络的车辆颜色识别方法 | |
CN102142090B (zh) | 车辆检测方法和系统 | |
Chen et al. | License plate recognition for moving vehicles using a moving camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |