CN105740855A - 一种基于深度学习的前后车牌检测识别方法 - Google Patents

一种基于深度学习的前后车牌检测识别方法 Download PDF

Info

Publication number
CN105740855A
CN105740855A CN201610168035.5A CN201610168035A CN105740855A CN 105740855 A CN105740855 A CN 105740855A CN 201610168035 A CN201610168035 A CN 201610168035A CN 105740855 A CN105740855 A CN 105740855A
Authority
CN
China
Prior art keywords
picture
car plate
target
motor vehicles
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610168035.5A
Other languages
English (en)
Inventor
张如高
刘丹
赵晓萌
刘洋
陈江林
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bocom Smart Information Technology Co ltd
Original Assignee
Bocom Smart Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bocom Smart Information Technology Co ltd filed Critical Bocom Smart Information Technology Co ltd
Priority to CN201610168035.5A priority Critical patent/CN105740855A/zh
Publication of CN105740855A publication Critical patent/CN105740855A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Abstract

本发明公开了一种基于深度学习的前后车牌检测识别方法,包括:通过摄像机实时采集路面图像;基于运动目标识别技术,从所述路面图像中确定出机动车目标;开启对所述机动车目标的跟踪及抓拍,获取所述机动车目标的前拍图片和后拍图片,并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片;将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中,进行网络卷积核计算,提取特征信息;将所述前车牌图片和后车牌图片的特征信息进行特征比对,获得比对相似度;根据所述比对相似度与预设阈值的差值,输出所述机动车目标是否为套牌车的判定结果;本发明有效改善一车两牌的违法行为的监控捕获准确率,增强执法力度。

Description

一种基于深度学习的前后车牌检测识别方法
技术领域
本发明涉及机动车车牌检测技术领域,特别是指一种基于深度学习的前后车牌检测识别方法。
背景技术
目前交通智能管控中,多是依赖单一的电警或卡口的单向管控。当出现不法分子通过单一的更替、遮挡、损坏车头或者车尾的车牌(一车两牌的违法行为)进行违法活动时,单向管控将无法有效捕获此类违法行为。
发明内容
有鉴于此,本发明的目的在于提出一种基于深度学习的前后车牌检测识别方法,有效对改善一车两牌的违法行为的监控捕获准确率,增强了执法力度。
基于上述目的本发明提供的一种基于深度学习的前后车牌检测识别方法,包括:
通过摄像机实时采集路面图像;所述摄像机以与地面成90°夹角的顶拍方式安装,镜头配备视角大于90°的广角镜头;
基于运动目标识别技术,从所述路面图像中确定出机动车目标;
开启对所述机动车目标的跟踪及抓拍,获取所述机动车目标的前拍图片和后拍图片,并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片;
将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中,进行网络卷积核计算,提取出特征信息;将所述前车牌图片和后车牌图片的特征信息进行特征比对,获得比对相似度;根据所述比对相似度与预设阈值的差值,输出所述机动车目标是否为套牌车的判定结果。
优选的,所述基于运动目标识别技术,从所述路面图像中确定出机动车目标的步骤包括:
基于深度学习的目标检测算法,预先搜集大量顶拍场景下的不同车型的机动车样本,按照车型类别进行样本标注获取训练样本集;设置深度网络层、网络结构及损失函数;将训练样本集输入网络,进行基于方向梯度的迭代卷积核计算,直至网络收敛以获取机动车目标检测网络,并将提取的各款型的机动车特征映射至已标注的对应款型的标签内,获取机动车模型;
将所述路面图像逐帧进行每帧图像内的全图、多尺度的滑动窗检测,获得多个待判别的目标窗口,然后将所述待判别的目标窗口的位置坐标及图片送入所述机动车目标检测网络,进行特征提取,将提取的特征与所述机动车模型进行特征比对,筛选出所述机动车目标。
优选的,所述开启对所述机动车目标的跟踪及抓拍,获取所述机动车目标的前拍图片和后拍图片的步骤包括:
设置目标监控区域;所述目标监控区域位于所述摄像机下方位置,沿所述机动车目标的运动方向依次包括:第一车牌监控区域、跟踪区域、第二车牌监控区域;
监控所述机动车目标在所述第一车牌监控区域内,监测车牌区域像素点数,当数量达到特征识别需求时,抓拍获得前拍图片,保存所述前拍图片中的前车牌位置坐标;
跟踪所述机动车目标经过所述跟踪区域到达所述第二车牌监控区域后,监测车牌区域像素点数,数量达到特征识别需求时,抓拍获得后拍图片,保存所述后拍图片中的后车牌位置坐标。
优选的,所述第一车牌监控区域的宽度为所述目标监控区域的默认宽度,长度为所述目标监控区域起始线至所述机动车目标行驶方向1.0~2.0m;所述第二车牌监控区域的宽度为所述目标监控区域的默认宽度,长度为所述目标监控区域终止线至所述机动车目标行驶反方向1.0~2.0m。
优选的,所述由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片的步骤包括:
根据上述前车牌位置坐标和后车牌位置坐标,提取所述前拍图片和后拍图片中的车牌区域图片,然后左右扩充0.5个车牌宽度,上下扩充0.25的车牌宽度,作为最终的前车牌图片和后车牌图片。
优选的,在所述将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中,进行网络卷积核计算,提取出特征信息的步骤之前,还包括:
将所述前车牌图片和后车牌图片通过Sobel等边缘特征检测算法,获取车牌的精确定位,再在精确定位的车牌区域内采用图像去噪、图像增强、灰度值转换、尺度变换、图像旋转的图像预处理操作获取高辨识度车牌图片。
优选的,所述将所述前车牌图片和后车牌图片的特征信息进行特征比对,获得比对相似度的步骤包括:
将前车牌的N*M维的特征PFj与后车牌的N*M维的特征PBj,进行相应维度的特征比对,取各个特征比对结果的差值得比对相似度Pro。其中,N为车牌特征提取的种类,M为每类特征下提取的特征数;
所述比对相似度Pro为:
其中,
其中,x为前车牌图片的待检测样本,x′为后车牌图片的待检测样本,w为优化后的网络层参数,b为偏置项。
另一方面,本发明还提供了一种基于深度学习的前后车牌检测识别装置,包括:
摄像机,用于实时采集路面图像;所述摄像机以与地面成90°夹角的顶拍方式安装,镜头配备视角大于90°的广角镜头;
运动目标识别模块,用于基于运动目标识别技术,从所述路面图像中确定出机动车目标;
车牌图片获取模块,用于开启对所述机动车目标的跟踪及抓拍,获取所述机动车目标的前拍图片和后拍图片,并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片;
特征比对判定模块,用于将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中,进行网络卷积核计算,提取出特征信息;将所述前车牌图片和后车牌图片的特征信息进行特征比对,获得比对相似度;根据所述比对相似度与预设阈值的差值,输出所述机动车目标是否为套牌车的判定结果。
从上面所述可以看出,本发明提供的基于深度学习的前后车牌检测识别方法,基于深度学习的前后车牌检测识别方法,实现对一辆车的前、后车牌的双向监控;具体的,选用了基于深度学习的车牌级联定位及车牌区域内字符特征的识别比对方法,改善了传统识别方法因车牌定位不准确或字符切割不准确引发的车牌误识别及后续联动的比对误判别。有效改善一车两牌的违法行为的监控捕获准确率,增强了执法力度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于深度学习的前后车牌检测识别方法流程图;
图2为本发明实施例中的摄像机设置方式示意图;
图3为本发明实施例中的目标监控区域设置示意图;
图4为本发明实施例的基于深度学习的前后车牌检测识别装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
本发明实施例提供了一种基于深度学习的前后车牌检测识别方法,包括以下步骤:
通过摄像机实时采集路面图像;所述摄像机以与地面成90°夹角的顶拍方式安装,镜头配备视角大于90°的广角镜头;
基于运动目标识别技术,从所述路面图像中确定出机动车目标;
开启对所述机动车目标的跟踪及抓拍,获取所述机动车目标的前拍图片和后拍图片,并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片;
将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中,进行网络卷积核计算,提取出特征信息;将所述前车牌图片和后车牌图片的特征信息进行特征比对,获得比对相似度;根据所述比对相似度与预设阈值的差值,输出所述机动车目标是否为套牌车的判定结果。
其中,在识别机动车目标和前、后车牌图片特征比对的步骤中,均是基于深度学习算法,深度学习算法具体实现原理展开如下:
1)样本预处理
假设已搜集到m组样本集X∈(x(1),x(2)...x(m)),在设置网络结构前,需对搜集到的样本加注标签,获得实际于训练的样本集X′∈{(x(1),y(1)),(x(2),y(2))...(x(m),y(m))),其中,y(k),k=1,2,...,m表示每组样本的类别标签。
2)设置网络结构
对于预处理的样本X′,假设深度学习网络的层数为L,则网络的数学建模如下:
A ( 0 ) = X ′ ( 0 ) ( 1 ) z ( k + 1 ) = w ( k ) a ( k ) + b ( k ) ( 2 ) a ( k + 1 ) = f ( z ( k + 1 ) ) ( 3 ) Loss = J ( w , b ; x , y ) ( 4 )
其中,k=0,1,...,L-1表示网络层数,公式(1)用于实现网络的初始化,具体表示训练样本集X′经0层网络后获取的结果A;公式(2)表示各网络层间输出结果的线性映射关系,w为网络层各个节点间的权系数,b为偏置项,a表示上一层网络的输出结果;公式(3)表示网络内,表征各类别的类别节点间的非线性映射关系函数;公式(4)是反应网络学习趋势的损失函数。
3)网络调参
网络调参过程,实质是对网络层参数的优化过程,最终获取最优的网络结构。网络调参的算法很多,本发明中选取了基于梯度下降的网络迭代方式,实现对网络参数的调优。数学建模如下:
w n + 1 ( k ) = w n ( k ) - η * ▿ w n ( k ) * J - - - ( 5 ) b n + 1 ( k ) = b n ( k ) - η * ▿ b n ( k ) * J - - - ( 6 )
其中,k=0,1,...,L-1表示网络层数;b为偏置项;J为损失函数同步骤2);η为学习率;为方向梯度迭代函数;n为具体的迭代次数,每迭代一次,n加“1”。当时,网络收敛。网络收敛时,求得的网络参数w*,b*,即为最优的网络参数。网络结构,亦为最优的网络结构。
4)推断判别
推断判别过程是先将待识别的目标样本,输入经步骤2)及步骤3)获取的最优网络结构中,获取目标特征的特征,再将获得目标样本特征与模型样本特征进行比对,获得目标样本特征与模型样本特征的比对结果,并输出结果。
参考图1,为本发明实施例的基于深度学习的前后车牌检测识别方法流程图。
所述基于深度学习的前后车牌检测识别方法,包括以下步骤:
步骤101、通过摄像机实时采集路面图像。
本步骤中,所述摄像机采用与地面成90°夹角的顶拍方式安装,镜头配备视角大于90°的广角镜头,安装效果参考图2所示。
步骤102、基于运动目标识别技术,从所述路面图像中确定出机动车目标。
本步骤中,对路面图像中运动目标检测算法选用的目标检测技术为基于深度学习的目标检测算法,其具体的实现步骤为:
在检测前,先搜集大量顶拍场景下的不同车型的机动车样本,按照车型类别进行样本标注获取训练样本集;然后按照前述的深度学习算法中的公式(1)~(4)分别设置深度网络层、网络结构及损失函数;将训练样本集输入网络,进行基于方向梯度的迭代卷积核计算,直至网络收敛,网络收敛条件参见公式(5)~(6),获取机动车特征检测的最优网络即所述的机动车目标检测网络,并将提取的各款型的机动车特征映射至已标注的对应款型的标签内,获取机动车模型。
在检测时,摄像机在监控区域内的拍摄到路面图像后,将路面图像逐帧送入目标检测单元,进行每帧图像内的全图、多尺度的滑动窗检测,获得多个待判别的目标窗口,然后将获取的目标窗口的位置坐标及图片送入所述机动车目标检测网络,进行特征提取,将提取的特征与已有的机动车模型进行特征比对,筛选出机动车目标。
本实施例中选用的基于深度学习的目标检测算法,其特征的提取完全依赖于采集到的样本数据本身,而非预先设置的计算规则,故其采集到的特征更丰富,更能反映目标本身的特性。
步骤103、开启对所述机动车目标的跟踪及抓拍,获取所述机动车目标的前拍图片和后拍图片,并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片。
本步骤中,在确定机动车目标后,首先对其进行跟踪及抓拍获取前拍图片(包括前车牌图像)和后拍图片(包括后车牌图像)。
具体的,先设置目标监控区域;所述目标监控区域位于所述摄像机下方位置,沿所述机动车目标的运动方向依次包括:第一车牌监控区域Area1、跟踪区域Area0、第二车牌监控区域Area2,具体的设置方式参考图3所示。其中,监控区域Aera0通常与相机的监控视角参数相关,需根据具体的应用场景灵活设定;所述第一车牌监控区域Aera1的宽度为所述目标监控区域的默认宽度,长度为所述目标监控区域起始线至所述机动车目标行驶方向1.0~2.0m;所述第二车牌监控区域Aera2的宽度为所述目标监控区域的默认宽度,长度为所述目标监控区域终止线至所述机动车目标行驶反方向1.0~2.0m。
监控所述机动车目标在所述第一车牌监控区域Aera1内,监测车牌区域像素点数,当数量达到特征识别需求时,抓拍获得前拍图片,保存所述前拍图片中的前车牌位置坐标。
跟踪所述机动车目标经过所述跟踪区域Aera0到达所述第二车牌监控区域Aera2后,监测车牌区域像素点数,数量达到特征识别需求时,抓拍获得后拍图片,保存所述后拍图片中的后车牌位置坐标。
根据抓拍所得的前、后车牌图片,以及前、后拍车牌位置坐标,提取所述前拍图片和后拍图片中的车牌区域图片,目标检测所得的车牌区域,较真实的车牌区域会存在一定的偏差,故提取的车牌区域会在检测到的车牌位置坐标的基础上,左右各扩充0.5个车牌宽度,上下扩充0.25的车牌宽度,提取区域扩充后的前、后拍车牌图片。
步骤104、将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中,进行网络卷积核计算,提取出特征信息;将所述前车牌图片和后车牌图片的特征信息进行特征比对,获得比对相似度;根据所述比对相似度与预设阈值的差值,输出所述机动车目标是否为套牌车的判定结果。
本步骤中,首先将所述前车牌图片和后车牌图片通过Sobel等边缘特征检测算法,获取车牌的精确定位,再在精确定位的车牌区域内采用图像去噪、图像增强、灰度值转换、尺度变换、图像旋转的图像预处理操作获取高辨识度车牌图片。
然后,通过基于深度学习的特征提取算法进行车牌特征提取,具体实现过程为:
特征提取前,先搜集大量顶拍场景下的不同款型车辆车的车牌区域图片样本;然后按照前述的深度学习算法中的公式(1)~(4)分别设置深度网络层、网络结构及损失函数;将训练样本集输入网络,进行基于方向梯度的迭代卷积核计算,直至网络收敛,网络收敛条件参见公式(5)~(6);收敛时的网络即为车牌特征提取的最优网络。
特征提取时,将已经调参后的车牌特征提取网络,分别加载至两个车牌特征提取子单元,子单元接收到前、后车牌区域图片时,通过网络卷积核运算,分别获取前、后车牌区域的特征。
深度特征提取网络较深度检测网络,在实现中无需对提取的特征进行分类判别。特征提取网络是将提取的特征直接应用于前、后车牌一对一的特征比对,故采集到的车牌样本集只需覆盖前后车牌的多种组合,而无需进行类别标签标注,提取特征后无需进行样本模型的特征匹配,无特征结果标签输出。
将上述过程中提取的,多维度的前、尾车牌特征,进行特征比对,求解特征比对相似度。
将前车牌的N*M维的特征PFj与后车牌的N*M维的特征PBj,进行相应维度的特征比对,取各个特征比对结果的差值得比对相似度Pro。其中,N为车牌特征提取的种类,M为每类特征下提取的特征数;
所述比对相似度Pro为:
其中,
其中,x为前车牌图片的待检测样本,x′为后车牌图片的待检测样本,w为优化后的网络层参数,b为偏置项,求解原理同深度学习算法原理。
最后,将比对相似度与经验阈值求差,根据差值结果判定目标是否为一车两牌的疑似套牌车目标。若差值为负,则判定该车是一车两牌的疑似套牌车,否则,不是一车两牌的疑似套牌车。
本实施例中,对前车牌图片和后车牌图片进行的预处理、以及后续的基于深度学习的特征提取处理过程,均采用并行的方式,即对前车牌图片和后车牌图片同时进行上述处理过程。
由步骤104中所述的内容可见,传统的车牌识别算法需要经历车牌定位、字符分割、车牌识别三步骤,其中车牌定位及字符分割直接影响到后续用于识别的车牌字符的完整性。如车牌定位不准确,则字符分割一定不准确,识别结果必然不准确。又如车牌定位准确,但字符分割不准确,识别结果亦不准确。故传统的车牌识别实质是对字符切割区域内车牌字符的识别。
本实施例中选用的前后车牌识别比对算法,其车牌识别算法的实现是对整个车牌区域图片的特征提取及比对。车牌定位选用级联定位方法,即先用基于深度的检测及跟踪抓拍技术粗定位目标车牌,再将粗定位的车牌区域抠图传入车牌识别比对模块,在车牌识别比对模块结合车牌图像预处理操作精确定位到车牌区域。车牌识别算法的实现是对整个车牌区域的特征提取,无需进行字符分割,避免了因字符分割不准确引起的车牌识别错误。前后车牌的比对,则是对前、后车牌区域提取的多维特征进行特征取差,获取的特征比对相似度。结果输出,则是将比对相似度与经验阈值求差,通过判定差值结果进行判别输出。
另一方面,本发明实施例还提供了一种基于深度学习的前后车牌检测识别装置。参考图4,为本发明实施例的基于深度学习的前后车牌检测识别装置结构示意图。
所述基于深度学习的前后车牌检测识别装置,包括:
摄像机401,用于实时采集路面图像;所述摄像机以与地面成90°夹角的顶拍方式安装,镜头配备视角大于90°的广角镜头;
运动目标识别模块402,用于基于运动目标识别技术,从所述路面图像中确定出机动车目标;
车牌图片获取模块403,用于开启对所述机动车目标的跟踪及抓拍,获取所述机动车目标的前拍图片和后拍图片,并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片;
特征比对判定模块404,用于将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中,进行网络卷积核计算,提取出特征信息;将所述前车牌图片和后车牌图片的特征信息进行特征比对,获得比对相似度;根据所述比对相似度与预设阈值的差值,输出所述机动车目标是否为套牌车的判定结果。
在优选实施例中,所述运动目标识别模块402还用于:基于深度学习的目标检测算法,预先搜集大量顶拍场景下的不同车型的机动车样本,按照车型类别进行样本标注获取训练样本集;设置深度网络层、网络结构及损失函数;将训练样本集输入网络,进行基于方向梯度的迭代卷积核计算,直至网络收敛以获取机动车目标检测网络,并将提取的各款型的机动车特征映射至已标注的对应款型的标签内,获取机动车模型;将所述路面图像逐帧进行每帧图像内的全图、多尺度的滑动窗检测,获得多个待判别的目标窗口,然后将所述待判别的目标窗口的位置坐标及图片送入所述机动车目标检测网络,进行特征提取,将提取的特征与所述机动车模型进行特征比对,筛选出所述机动车目标。
在优选实施例中,所述车牌图片获取模块403还用于:设置目标监控区域;所述目标监控区域位于所述摄像机下方位置,沿所述机动车目标的运动方向依次包括:第一车牌监控区域、跟踪区域、第二车牌监控区域;监控所述机动车目标在所述第一车牌监控区域内,监测车牌区域像素点数,当数量达到特征识别需求时,抓拍获得前拍图片,保存所述前拍图片中的前车牌位置坐标;跟踪所述机动车目标经过所述跟踪区域到达所述第二车牌监控区域后,监测车牌区域像素点数,数量达到特征识别需求时,抓拍获得后拍图片,保存所述后拍图片中的后车牌位置坐标。
其中,所述第一车牌监控区域的宽度为所述目标监控区域的默认宽度,长度为所述目标监控区域起始线至所述机动车目标行驶方向1.0~2.0m;所述第二车牌监控区域的宽度为所述目标监控区域的默认宽度,长度为所述目标监控区域终止线至所述机动车目标行驶反方向1.0~2.0m。
在优选实施例中,所述车牌图片获取模块403还用于:根据上述前车牌位置坐标和后车牌位置坐标,提取所述前拍图片和后拍图片中的车牌区域图片,然后左右扩充0.5个车牌宽度,上下扩充0.25的车牌宽度,作为最终的前车牌图片和后车牌图片。
在优选实施例中,特征比对判定模块404还用于:将所述前车牌图片和后车牌图片通过Sobel等边缘特征检测算法,获取车牌的精确定位,再在精确定位的车牌区域内采用图像去噪、图像增强、灰度值转换、尺度变换、图像旋转的图像预处理操作获取高辨识度车牌图片。
在优选实施例中,特征比对判定模块404还用于:将前车牌的N*M维的特征PFj与后车牌的N*M维的特征PBj,进行相应维度的特征比对,取各个特征比对结果的差值得比对相似度Pro。其中,N为车牌特征提取的种类,M为每类特征下提取的特征数;
所述比对相似度Pro为:
其中,
其中,x为前车牌图片的待检测样本,x′为后车牌图片的待检测样本,w为优化后的网络层参数,b为偏置项,求解原理同深度学习算法原理。
上述实施例的基于深度学习的前后车牌检测识别装置用于实现前述实施例中相应的基于深度学习的前后车牌检测识别方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的前后车牌检测识别方法,其特征在于,包括:
通过摄像机实时采集路面图像;所述摄像机以与地面成90°夹角的顶拍方式安装,镜头配备视角大于90°的广角镜头;
基于运动目标识别技术,从所述路面图像中确定出机动车目标;
开启对所述机动车目标的跟踪及抓拍,获取所述机动车目标的前拍图片和后拍图片,并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片;
将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中,进行网络卷积核计算,提取出特征信息;将所述前车牌图片和后车牌图片的特征信息进行特征比对,获得比对相似度;根据所述比对相似度与预设阈值的差值,输出所述机动车目标是否为套牌车的判定结果。
2.根据权利要求1所述的,其特征在于,所述基于运动目标识别技术,从所述路面图像中确定出机动车目标的步骤包括:
基于深度学习的目标检测算法,预先搜集大量顶拍场景下的不同车型的机动车样本,按照车型类别进行样本标注获取训练样本集;设置深度网络层、网络结构及损失函数;将训练样本集输入网络,进行基于方向梯度的迭代卷积核计算,直至网络收敛以获取机动车目标检测网络,并将提取的各款型的机动车特征映射至已标注的对应款型的标签内,获取机动车模型;
将所述路面图像逐帧进行每帧图像内的全图、多尺度的滑动窗检测,获得多个待判别的目标窗口,然后将所述待判别的目标窗口的位置坐标及图片送入所述机动车目标检测网络,进行特征提取,将提取的特征与所述机动车模型进行特征比对,筛选出所述机动车目标。
3.根据权利要求1所述的方法,其特征在于,所述开启对所述机动车目标的跟踪及抓拍,获取所述机动车目标的前拍图片和后拍图片的步骤包括:
设置目标监控区域;所述目标监控区域位于所述摄像机下方位置,沿所述机动车目标的运动方向依次包括:第一车牌监控区域、跟踪区域、第二车牌监控区域;
监控所述机动车目标在所述第一车牌监控区域内,监测车牌区域像素点数,当数量达到特征识别需求时,抓拍获得前拍图片,保存所述前拍图片中的前车牌位置坐标;
跟踪所述机动车目标经过所述跟踪区域到达所述第二车牌监控区域后,监测车牌区域像素点数,数量达到特征识别需求时,抓拍获得后拍图片,保存所述后拍图片中的后车牌位置坐标。
4.根据权利要求3所述的方法,其特征在于,所述第一车牌监控区域的宽度为所述目标监控区域的默认宽度,长度为所述目标监控区域起始线至所述机动车目标行驶方向1.0~2.0m;所述第二车牌监控区域的宽度为所述目标监控区域的默认宽度,长度为所述目标监控区域终止线至所述机动车目标行驶反方向1.0~2.0m。
5.根据权利要求3所述的方法,其特征在于,所述由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片的步骤包括:
根据上述前车牌位置坐标和后车牌位置坐标,提取所述前拍图片和后拍图片中的车牌区域图片,然后左右扩充0.5个车牌宽度,上下扩充0.25的车牌宽度,作为最终的前车牌图片和后车牌图片。
6.根据权利要求1所述的方法,其特征在于,在所述将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中,进行网络卷积核计算,提取出特征信息的步骤之前,还包括:
将所述前车牌图片和后车牌图片通过Sobel等边缘特征检测算法,获取车牌的精确定位,再在精确定位的车牌区域内采用图像去噪、图像增强、灰度值转换、尺度变换、图像旋转的图像预处理操作获取高辨识度车牌图片。
7.根据权利要求1所述的方法,其特征在于,所述将所述前车牌图片和后车牌图片的特征信息进行特征比对,获得比对相似度的步骤包括:
将前车牌的N*M维的特征PFj与后车牌的N*M维的特征PBj,进行相应维度的特征比对,取各个特征比对结果的差值得比对相似度Pro。其中,N为车牌特征提取的种类,M为每类特征下提取的特征数;
所述比对相似度Pro为:
其中,
其中,x为前车牌图片的待检测样本,x′为后车牌图片的待检测样本,w为优化后的网络层参数,b为偏置项。
8.一种基于深度学习的前后车牌检测识别装置,其特征在于,包括:
摄像机,用于实时采集路面图像;所述摄像机以与地面成90°夹角的顶拍方式安装,镜头配备视角大于90°的广角镜头;
运动目标识别模块,用于基于运动目标识别技术,从所述路面图像中确定出机动车目标;
车牌图片获取模块,用于开启对所述机动车目标的跟踪及抓拍,获取所述机动车目标的前拍图片和后拍图片,并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片;
特征比对判定模块,用于将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中,进行网络卷积核计算,提取出特征信息;将所述前车牌图片和后车牌图片的特征信息进行特征比对,获得比对相似度;根据所述比对相似度与预设阈值的差值,输出所述机动车目标是否为套牌车的判定结果。
CN201610168035.5A 2016-03-24 2016-03-24 一种基于深度学习的前后车牌检测识别方法 Pending CN105740855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610168035.5A CN105740855A (zh) 2016-03-24 2016-03-24 一种基于深度学习的前后车牌检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610168035.5A CN105740855A (zh) 2016-03-24 2016-03-24 一种基于深度学习的前后车牌检测识别方法

Publications (1)

Publication Number Publication Date
CN105740855A true CN105740855A (zh) 2016-07-06

Family

ID=56251939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610168035.5A Pending CN105740855A (zh) 2016-03-24 2016-03-24 一种基于深度学习的前后车牌检测识别方法

Country Status (1)

Country Link
CN (1) CN105740855A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107635188A (zh) * 2017-09-08 2018-01-26 安徽四创电子股份有限公司 一种基于Docker平台的视频车辆跟踪分析方法
TWI621071B (zh) * 2017-08-31 2018-04-11 國立勤益科技大學 使用深度學習於車牌與人臉辨識之門禁管理系統
CN107976319A (zh) * 2017-10-13 2018-05-01 上海眼控科技股份有限公司 一种轿车加装脚踏板的智能检测系统及方法
CN108009557A (zh) * 2017-12-25 2018-05-08 浙江工业大学 一种基于共享权重卷积网络的三维模型局部特征描述方法
CN108256547A (zh) * 2016-12-29 2018-07-06 伊莱比特汽车有限责任公司 生成用于基于机器学习的对象识别系统的训练图像
CN109948419A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法停车自动审核方法
CN109948416A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法占用公交车道自动审核方法
CN109948612A (zh) * 2019-03-19 2019-06-28 苏州怡林城信息科技有限公司 基于卷积网络的车牌检测方法、存储介质和检测设备
TWI672639B (zh) * 2018-11-22 2019-09-21 台達電子工業股份有限公司 使用模擬物件影像之物件辨識系統及其方法
CN110659545A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆识别模型的训练方法、车辆识别方法、装置和车辆
CN110738225A (zh) * 2018-07-19 2020-01-31 杭州海康威视数字技术股份有限公司 图像识别方法及装置
CN110942525A (zh) * 2019-11-01 2020-03-31 泊圣智慧停车管理有限公司 一种路侧停车管理系统及方法
CN111340856A (zh) * 2018-12-19 2020-06-26 杭州海康威视系统技术有限公司 车辆的跟踪方法、装置、设备及存储介质
CN111444840A (zh) * 2020-03-26 2020-07-24 中科海微(北京)科技有限公司 一种套牌车辆自动检测方法及系统
CN113807344A (zh) * 2020-06-11 2021-12-17 济南市公安局交通警察支队 一种渣土车车牌的识别方法及其实现系统
CN115909526A (zh) * 2022-11-29 2023-04-04 广州柏瀚信息科技有限公司 一种高速公路收费方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488973A (zh) * 2013-09-12 2014-01-01 上海依图网络科技有限公司 基于图像的车辆品牌识别方法和系统
CN105303883A (zh) * 2015-11-25 2016-02-03 智慧互通科技有限公司 一种路侧停车管理系统及其方法
WO2016025207A1 (en) * 2014-08-13 2016-02-18 3M Innovative Properties Company Optically active articles and systems in which they may be used

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488973A (zh) * 2013-09-12 2014-01-01 上海依图网络科技有限公司 基于图像的车辆品牌识别方法和系统
WO2016025207A1 (en) * 2014-08-13 2016-02-18 3M Innovative Properties Company Optically active articles and systems in which they may be used
CN105303883A (zh) * 2015-11-25 2016-02-03 智慧互通科技有限公司 一种路侧停车管理系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈亮: "基于神经网络的车牌识别技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256547A (zh) * 2016-12-29 2018-07-06 伊莱比特汽车有限责任公司 生成用于基于机器学习的对象识别系统的训练图像
TWI621071B (zh) * 2017-08-31 2018-04-11 國立勤益科技大學 使用深度學習於車牌與人臉辨識之門禁管理系統
CN107635188A (zh) * 2017-09-08 2018-01-26 安徽四创电子股份有限公司 一种基于Docker平台的视频车辆跟踪分析方法
CN107976319B (zh) * 2017-10-13 2020-06-16 上海眼控科技股份有限公司 一种轿车加装脚踏板的智能检测系统及方法
CN107976319A (zh) * 2017-10-13 2018-05-01 上海眼控科技股份有限公司 一种轿车加装脚踏板的智能检测系统及方法
CN108009557A (zh) * 2017-12-25 2018-05-08 浙江工业大学 一种基于共享权重卷积网络的三维模型局部特征描述方法
CN110659545B (zh) * 2018-06-29 2023-11-14 比亚迪股份有限公司 车辆识别模型的训练方法、车辆识别方法、装置和车辆
CN110659545A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆识别模型的训练方法、车辆识别方法、装置和车辆
CN110738225A (zh) * 2018-07-19 2020-01-31 杭州海康威视数字技术股份有限公司 图像识别方法及装置
TWI672639B (zh) * 2018-11-22 2019-09-21 台達電子工業股份有限公司 使用模擬物件影像之物件辨識系統及其方法
CN111340856B (zh) * 2018-12-19 2024-04-02 杭州海康威视系统技术有限公司 车辆的跟踪方法、装置、设备及存储介质
CN111340856A (zh) * 2018-12-19 2020-06-26 杭州海康威视系统技术有限公司 车辆的跟踪方法、装置、设备及存储介质
CN109948419A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法停车自动审核方法
CN109948416A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法占用公交车道自动审核方法
CN109948612A (zh) * 2019-03-19 2019-06-28 苏州怡林城信息科技有限公司 基于卷积网络的车牌检测方法、存储介质和检测设备
CN110942525A (zh) * 2019-11-01 2020-03-31 泊圣智慧停车管理有限公司 一种路侧停车管理系统及方法
CN111444840A (zh) * 2020-03-26 2020-07-24 中科海微(北京)科技有限公司 一种套牌车辆自动检测方法及系统
CN113807344A (zh) * 2020-06-11 2021-12-17 济南市公安局交通警察支队 一种渣土车车牌的识别方法及其实现系统
CN115909526A (zh) * 2022-11-29 2023-04-04 广州柏瀚信息科技有限公司 一种高速公路收费方法及装置
CN115909526B (zh) * 2022-11-29 2023-10-20 广州柏瀚信息科技有限公司 一种高速公路收费方法及装置

Similar Documents

Publication Publication Date Title
CN105740855A (zh) 一种基于深度学习的前后车牌检测识别方法
Dhiman et al. Pothole detection using computer vision and learning
CN103971097B (zh) 一种基于多尺度笔画模型的车牌识别方法与系统
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN103824066B (zh) 一种基于视频流的车牌识别方法
CN103279756B (zh) 基于集成分类器的车辆检测分析系统及其检测分析方法
CN107305627A (zh) 一种车辆视频监控方法、服务器及系统
CN105654733A (zh) 一种基于视频检测的前后车牌识别方法及装置
CN105512683A (zh) 基于卷积神经网络的目标定位方法及装置
CN101859382A (zh) 一种基于最大稳定极值区域的车牌检测与识别的方法
CN105488453A (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN104778474A (zh) 一种用于目标检测的分类器构建方法及目标检测方法
CN102254428B (zh) 一种基于视频处理的交通拥塞检测方法
CN105809184A (zh) 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN104537360A (zh) 车辆未让行违章检测方法及其检测系统
CN106203237A (zh) 集装箱拖车编号的识别方法和装置
CN104574993B (zh) 一种道路监控的方法及装置
CN105184229A (zh) 一种动态场景下基于在线学习的实时行人检测方法
CN111178161A (zh) 一种基于fcos的车辆追踪方法及系统
CN110826415A (zh) 一种场景图像中车辆的重识别方法及设备
CN109190639A (zh) 一种车辆颜色识别方法、装置及系统
Ketcham et al. Recognizing the Illegal Parking Patterns of Cars on the Road in Front of the Bus Stop Using the Support Vector Machine
CN103778790B (zh) 一种基于视频序列的车流量方波统计法
CN105913034A (zh) 车辆识别方法、装置及车辆

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160706