CN104951784B - 一种车辆无牌及车牌遮挡实时检测方法 - Google Patents

一种车辆无牌及车牌遮挡实时检测方法 Download PDF

Info

Publication number
CN104951784B
CN104951784B CN201510299097.5A CN201510299097A CN104951784B CN 104951784 B CN104951784 B CN 104951784B CN 201510299097 A CN201510299097 A CN 201510299097A CN 104951784 B CN104951784 B CN 104951784B
Authority
CN
China
Prior art keywords
vehicle
character
car plate
track
chain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510299097.5A
Other languages
English (en)
Other versions
CN104951784A (zh
Inventor
杨英仓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Police Officer Vocational College
Original Assignee
Guizhou Police Officer Vocational College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Police Officer Vocational College filed Critical Guizhou Police Officer Vocational College
Priority to CN201510299097.5A priority Critical patent/CN104951784B/zh
Publication of CN104951784A publication Critical patent/CN104951784A/zh
Application granted granted Critical
Publication of CN104951784B publication Critical patent/CN104951784B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Abstract

本发明公开了一种车辆无牌及车牌遮挡实时检测方法。包括步骤：（1）单帧进行车牌识别和车辆检测；（2）将每帧识别到的车牌，与以往帧识别得到的车牌进行关联，综合识别后输出车牌轨迹链；（3）将多帧出现的同一个车辆关联起来，去除误检目标，在车辆驶出画面时输出车辆轨迹链；（4）对车牌轨迹链的综合识别结果进行分析，判断是否存在字符被遮挡的情况并给出被遮挡的字符位；（5）将车牌轨迹链和车辆轨迹链进行匹配，当没有匹配到车牌的车辆轨迹链被判断为车辆无牌。本发明不仅可以有效地自动检测出无牌或车牌遮挡，还可以判断遮挡字符在车牌中的位置，并且可以做到实时处理，若车牌存在遮挡严重不能进行车牌识别时，会被判断为车辆无牌。

Description

一种车辆无牌及车牌遮挡实时检测方法
技术领域
本发明涉及一种车辆无牌及车牌遮挡实时检测方法，属于计算机视觉领域。
背景技术
智能交通系统(ITS)将先进的信息技术、数据通讯传输技术、电子传感器技术、电子控制技术及计算机处理技术等有效地集成运用于整个交通运输管理体系，事实证明智能交通系统的应用大大提高了交通运输的效率，它对于机动车流量监控、道路规划设计和交通指挥引导起到了越来越重要的作用。
基于视频分析的道路卡口系统是智能交通系统的重要组成部分。该系统主要应用于城市道路或高速公路治安卡口及重点治安地段，结合高清摄像机，依靠视频图像处理技术，实时地对经过卡口的车辆进行全天候检测、抓拍与记录。
车辆无牌是指车辆没有悬挂车牌，车牌遮挡是指车牌字符被光盘、纸张等物品部分或完全遮挡。在监控场景下，车牌是每个车辆独有的身份证明，故意不悬挂车牌或遮挡车牌都是常见的违法行为。但目前卡口系统使用的车牌识别技术和车辆检测技术没有结合使用来对无牌车辆进行智能报警，也不能对遮挡车牌的行为进行智能报警，使得此类违法事件只能通过肉眼观察发现。
有学者对被部分遮挡的车牌进行了专门的算法设计，以便能有效识别其余未被遮挡字符，但该方法不能判断该车牌是否被遮挡。
发明内容
本发明的目的在于提供一种车辆无牌及车牌遮挡实时检测方法，主要解决常规卡口系统的上述缺陷。
为了实现上述目的，本发明采用的技术方案如下：
一种车辆无牌及车牌遮挡实时检测方法，包括步骤：
(1)分别对视频每个单帧进行车牌识别和车辆检测；
(2)将每帧识别到的车牌，与以往帧识别得到的车牌进行关联，综合识别后并在合适的时机输出车牌轨迹链；
(3)同时，将每帧检测到的车辆，送入车辆跟踪模块，将多帧出现的同一个车辆关联起来，去除误检目标，在车辆驶出画面时输出车辆轨迹链；
(4)对车牌轨迹链的综合识别结果进行分析，判断是否存在字符被遮挡的情况并给出被遮挡的字符位；
(5)将车牌轨迹链和车辆轨迹链进行匹配，当没有匹配到车牌的车辆轨迹链被判断为车辆无牌。
具体地，当车牌识别和车辆检测均采用训练分类器识别时，在步骤(1)识别和检测前，分别在线下对车牌字符样本库和车辆图像样本库提取特征，分别学习并建立识别模型对字符进行分类和用于判断目标是否为车辆。
进一步地，车牌字符提取特征并学习建立识别模型在车牌字符样本学习模块中进行，该模块是对一批车牌字符样本提取特征以训练分类模型的过程。车牌字符样本学习模块根据车牌字符样本类型将字符样本分组，训练多个模型，字符样本为二值图或灰度图，提取的特征为网格特征、轮廓特征、投影特征、过线数特征、密度特征、LBP特征中的多种特征的排列组合，可以采用机器学习方法如神经网络、SVM方法等。
车辆图像提取特征并学习建立识别模型在车辆样本学习模块中进行，该模块提取一批车辆图像样本作为正样本，提取一批不包含车辆的多场景背景图像样本作为负样本用于训练模型，提取的特征为HOG、Haar-like窗口区域特征。
更进一步地，所述步骤(1)车牌识别和车辆检测分别在车牌识别模块和车辆检测模块中进行，其中，车牌识别模块的工作过程如下：
C11、进行车牌定位，在帧图像上找出车牌；
C12、计算出车牌倾斜角和错切角将图像校正；
C13、进行字符分割，先去掉字符区域以外的车牌图像，再进行二值化、反色和去噪处理，对字符进行切分；
C14、将切分后的字符图像依次进行识别；
车辆检测模块是在整幅帧图像中找出车辆区域的过程，工作过程如下：
D11、根据待检测车辆的尺寸范围确定检测尺度；
D12、在每个尺度上滑动窗口，提取窗口内图像的特征，识别该特征是否是车辆，去掉被识别为背景的窗口；
D13、将属于同一个目标的窗口融合成一个，得到最终的检测目标。
再进一步地，所述步骤(2)在车辆关联模块中进行，该模块将多帧出现的同一个车辆关联起来并进行综合识别结果，并得到车牌轨迹链，车辆关联模块的工作过程如下：
21、通过各帧定位得到的车牌位置和字符识别结果，对以往帧中识别到的车牌轨迹链进行关联，将未关联上的车牌设置为新车牌轨迹链，将关联上的车牌用于旧车牌轨迹链的更新；
22、当旧车牌轨迹链较长时间没有新的车牌关联而认为轨迹结束时，对该车牌的所有帧识别结果进行综合统计识别和计算置信度。
再进一步地，所述步骤(3)在车辆跟踪模块中进行，该模块是将多帧间检测到的同一个车辆关联起来并输出其车辆轨迹链的过程，车辆跟踪模块的工作过程如下：
31、根据车辆检测结果将新检测到的车辆位置与以往帧分析到的车辆轨迹链进行匹配，若匹配上则更新旧车辆轨迹链数据，若没有匹配上则认为是新目标；
32、对于旧车辆轨迹链来说，若当前帧没有新的车牌检测结果与其匹配，则预测其在当前帧的位置，若超过图像边界则认为车辆轨迹链结束；若没有超过图像边界则分析其是否为误检目标，若是误检则删除该车辆轨迹链。
再进一步地，所述步骤(4)在车牌遮挡检测模块中进行，该模块用于判断存在车牌识别结果的被遮挡车牌，车牌遮挡检测模块的工作过程如下：
41、将车牌关联中得到的综合识别结果及各字符的置信度作为输入，将置信度相对较低的字符标记为可疑字符；
42、分析可疑字符的分布是否合理，然后观察其他非可疑字符的置信度是否足够高，确认可疑字符是否为被遮挡字符。
最后，所述步骤(5)在车辆无牌检测模块中进行，该模块是根据车牌轨迹链和车辆轨迹链进行匹配，判断某车辆是否挂有车牌的过程，车辆无牌检测模块的工作过程如下：将车辆跟踪得到的车辆轨迹链与车牌关联得到的车牌轨迹链进行比对，如果车辆轨迹链可以匹配上一条车牌轨迹链，则认为是车辆有车牌，否则认为该车辆无车牌。
与现有技术相比，本发明具有以下有益效果：
本发明不仅可以有效地自动检测出中小型车辆无牌或车牌遮挡，还可以判断遮挡字符在车牌中的位置，并且可以做到实时处理，若车牌存在遮挡严重不能进行车牌识别时，会被判断为车辆无牌，若遮挡后仍然有车牌识别结果则本方法可以自动判断其为遮挡车牌。
附图说明
图1是本发明的工作流程图。
图2是车牌字符样本学习模块框图。
图3是车牌识别模块框图。
图4是车牌关联模块框图。
图5是车牌遮挡检测模块框图。
图6是车辆样本学习模块框图。
图7是车辆检测模块框图。
图8是车辆跟踪模块框图。
图9是车辆无牌检测模块框图。
图10是车辆样本学习中提取的Haar-like特征原型。
图11是本发明对测试素材的车辆无牌检测结果示例。
图12是本发明对测试素材车牌遮挡检测结果示例。
具体实施方式
下面结合实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
实施例
如图1所示，一种车辆无牌及车牌遮挡实时检测方法，包括步骤：
(1)分别对视频每个单帧进行车牌识别和车辆检测；
(2)将每帧识别到的车牌，与以往帧识别得到的车牌进行关联，综合识别后并在合适的时机输出车牌轨迹链；
(3)同时，将每帧检测到的车辆，送入车辆跟踪模块，将多帧出现的同一个车辆关联起来，去除误检目标，在车辆驶出画面时输出车辆轨迹链；
(4)对车牌轨迹链的综合识别结果进行分析，判断是否存在字符被遮挡的情况并给出被遮挡的字符位；
(5)将车牌轨迹链和车辆轨迹链进行匹配，当没有匹配到车牌的车辆轨迹链被判断为车辆无牌。
在步骤(1)中，车牌识别和车辆检测均采用训练分类器识别，在识别前，分别在线下对车牌字符样本库和车辆图像的样本库提取特征，分别学习并建立识别模型对字符进行分类和用于判断目标是否为车辆。
车牌字符提取特征并学习建立识别模型在车牌字符样本学习模块中进行，车辆图像提取特征并学习建立识别模型在车辆样本学习模块中进行。
车牌字符样本学习模块，如图2所示。该模块使用车牌字符样本提取特征后进行训练得到分类模型，本实施例中是在字符二值图上提取网格特征、轮廓特征和密度特征，使用SVM方法进行训练，得到分类模型。
其中，车牌字符样本采用了50324个车牌字符样本，其中车牌汉字19911个，不同字符数量分布较为均匀；字母数字合计30413个，各字符数量分布符合实际出现概率。车牌字符可以通过手动截取，也可以根据车牌识别模块的字符分割自动提取。
A11、车牌字符在提取特征前，需要进行预处理操作，算法步骤如下：
A111：将字符图像灰度化；
A112：将原来黄底、白底的车牌字符各像素点灰度值取反，即用255减去原像素值的结果作为新的灰度值；
A113：将灰度字符图像尺寸归一化为宽24×高48；
A114：将灰度字符图像二值化；
A115：对二值化字符图像进行去噪处理；
A116：重新定位二值化字符图像内前景点的边界，切除四周背景区域；
A117：尺寸再次归一化为宽24×高48。
A12、提取特征，本实施例采用网格特征、轮廓特征和密度特征描述字符图像，各特征提取算法步骤如下：
A121：提取网格特征，将24×48的二值化字符图像划分为72个4×4的小格子，求得每个格子里前景点的数量，将前景点数作为该格子的特征值，这样可以得到72维特征；
A122：提取轮廓特征，从左开始依次查找每行第一个前景点的位置，将其在该行中的序号作为特征值，得到左轮廓特征，共48维；同理可得48维右轮廓特征、24维上轮廓特征和24维下轮廓特征，轮廓特征共计144维；
A123：提取密度特征，密度特征统计字符图像在水平、垂直、正45°、负45°四个方向上每一条线上的跳变情况，密度特征共计61维；
A124：将上述三种特征串联起来共181维用于描述各个字符样本。
A13、训练得到分类模型，本实施例采用libSVM工具来训练SVM分类模型，根据车牌上不同位置的字符类型不同的特点，训练三个分类模型，分别是：
(1)用车牌首字符汉字及军车车牌首字母样本训练的模型；
(2)用所有字母数字样本和“警”、“学”等尾汉字样本训练的模型；
(3)用所有汉字、字母和数字样本训练的模型。
车辆样本学习模块，如图6所示。该模块使用正负样本(其中正样本是车辆图像)提取特征后进行训练得到分类模型，根据分类模型的结构来设计分类器。本实施例中采用人脸检测中较为常用的Haar-like特征，使用级联Gentleboost方法进行训练，得到级联分类器模型。本实施例中，训练正样本采用卡口监控视频中截取到的4013个车辆正样本，包含中、小车型的车头和车尾，不包含公交车、货车等大型车辆。正样本的归一化尺寸为宽32×高32，需要进行灰度化处理。负样本是3309幅各类没有车辆的各个场景背景大图。
B11、提取特征，本实施例采用Haar-like特征描述车辆区域图像，Haar-like特征提取算法的步骤如下：
B111：根据附图10原型确定所有候选弱分类器的矩形块位置和大小块权重；
B112：记RecSum为矩形区域内灰度值之和，则按以下公式计算弱分类器特征值：
feature＝w1·Re cSum(bigrect)+w2·Re cSum(smallrect)
B113：将所有弱分类器的特征串联起来用于描述一个样本图像。
B12、训练得到分类模型，本实施例采用级联Gentleboost来训练分类模型，得到的级联模型包含若干级强分类器，每级强分类器由Gentleboost训练得到的若干个单一阈值弱分类器组成。
步骤(1)分别在车牌识别模块和车辆检测模块中进行。
车牌识别模块，如图3所示，该模块识别单帧图像上的所有车牌，包含车牌定位、倾斜校正、字符分割、字符识别四个子模块。
C11、车牌定位，本实施是在全景图中检测车牌区域，算法步骤如下：
C111：兴趣区域查找，可利用运动检测或梯度能量方法，为提高速度这一步可在缩小后的图像上进行；
C112：基于边缘投影法的粗定位，计算各兴趣区域的垂直边缘图，分别进行水平和垂直方向投影，找出投影密度值较为丰富的区域；
C113：边缘膨胀和连通域分析，对上一步区域内计算边缘点间距，根据间距统计值来对每一行做自适应膨胀，然后进行连通域分析，根据尺寸、宽高比、位置、边缘密度等特征，筛选出车牌区域。
C12、倾斜校正，计算出车牌倾斜角和错切角，然后将图像校正，对于摄像头架设情况较好的场景可不进行本项操作，本实施例主要步骤如下：
C121：提取车牌边缘图，并进行预处理，减少噪声；
C122：对边缘图进行Radon变换计算倾斜角，投影角度范围由接口传入参数控制，可计算-45～45度的倾斜角，对Radon投影数据进行分析，查找投影值较为显著的项，倾斜角即为其序号；
C123：对边缘图进行Radon变换计算错切角，根据水平倾斜角度和卡口车牌倾斜的实际情况限定投影角度范围，Radon曲线分析方法同步骤222；
C124：仿射变换校正图像，仿射变换矩阵由原车牌位置、倾斜角和错切角结合计算。
C13、字符分割，得到车牌的精确边界，在此基础上对车牌图像进行二值化和去噪处理，最后进行字符切分，本实施例算法步骤如下：
C131：对车牌图像提取边缘图，根据跳变和投影精确定位车牌四周边界；
C132：对车牌图像二值化；
C133：将原来的黄底、白底车牌图像的二值图反色；可利用占空比等特征自动判断；
C134：去噪，去掉残留的车牌边框、铆钉、颗粒噪声等干扰；
C135：进行字符切法，采用二值图投影方法或模板法，也可以将二者结合使用。
C14、字符识别，本实施例采用线下训练得到的分类器进行识别，具体算法步骤如下：
C141：将字符分割得到的字符图像进行预处理和归一化；
C142：根据高宽比及占空比等特征识别字符是否为“1”，若判断为“1”则不再使用分类器进行识别；
C143：根据车牌分隔出的字符个数、车牌二值图是否经过反色处理、当前字符的序号选择各个字符的分类模型；
C144：提取字符二值图像的网格特征、轮廓特征和密度特征；
C145：依次将各个字符特征送入各自的分类模型，得到字符识别结果和SVM识别值，将SVM识别值作为字符识别结果的置信度；
C146：整理并输出车牌识别结果。
车辆检测模块，如图7所示，本实施例包括运动检测、窗口扫描和窗口融合三个步骤。
D11、运动检测，本实施例具体算法步骤如下：
D111：在启动卡口视频监控前，初始化帧缓存容器为空；
D112：设当前帧时间戳为T(x)。将当前帧图像进行长宽等比例缩放为尺寸的1/8；
D113：若帧缓存容器为空，则放入缩放后的当前帧图像；
D114：若不为空，则计算当前帧与容器中第一帧图像的帧差图像，设两帧图像对应位置的某一个像素点RGB值分别为R1、G1、B1，R2、G2、B2，则该点帧差值＝
(R1-R2)+>>10；
D115：将帧差图像二值化；
D116：将二值化后的图像使用3×3的算子进行形态学开运算，以去除噪点并保有运动区域，得到运动前景图像；
D117：若当前帧时间戳与容器第一帧时间戳差距超过0.1s，或者容器内已存入3帧图像，则删除前面第一帧并将当前帧从后面放入，否则直接将当前帧从后面放入容器。
D12、窗口扫描，本实施例是在多个尺度的帧图像上，使用32×32窗口滑动，使用分类器判断该窗口是否含有车辆的过程，具体算法步骤如下：
D121：根据卡口实际情况设定待检测车辆的最大尺寸MaxS×MaxS，最小尺寸固定设置为250×250，在MaxS到250之间，设置等比数列为待检测车辆尺寸的多个尺度；
D122：对于每个尺度，计算该尺度下车辆尺寸于32的比例，相应的把帧图像按该比例缩小；
D123：在缩小后的帧图像上使用32×32窗口滑动，使用分类器判断该窗口是否含有车辆；
D124：依次完成各个尺寸的窗口滑动扫描，输出所有被判断为含有车辆的窗口对应到原图上的位置信息。
D13、窗口融合，把含有相同车辆目标的窗口融合为一个窗口，本实施例具体算法步骤如下：
D131：设多尺度检测中保存的窗口数为N，设置一个长度为N的类别标识序列C与各窗口对应，初始化Ck＝k，k∈[0,N-1]，即初始化为N类；设每个目标至少需要被MinNeighbor个窗口检测到；
D132：对窗口坐标进行两两相互比较，如果两个窗口Winp,Winq距离较小属于同一目标，则将C中所有等于Cp或Cq的值都替换为min(Cp,Cq)；
D133：对于类别k∈[0,N-1]，查找类别标识为k的窗口，若窗口数少于MinNeighbor，则排除这些窗口，认为是噪声，若窗口数不少于MinNeighbor，则对这些窗口进行融合，新窗口的中心为该类别所有窗口的几何平均值，新窗口的宽度和高度也为平均值；
D134：对融合后的新窗口进行两两比较，如果两窗口重合宽度、高度、重合面积都较大，则认为两新窗口中至少有一个是非车辆，排除融合前窗口数较小的那一个。
步骤(2)在车牌关联模块中进行，如图4所示，该模块将单帧识别的所有车牌关联起来并进行综合识别以提高识别率，并输出车牌轨迹链，包括两个任务，多帧关联和综合识别。
21、多帧关联，本实施例具体算法步骤如下：
211：将第一帧识别到的每个车牌分别设置相应的车牌轨迹链，并初始化为车牌匹配数据库；
212：对新一帧定位到的车牌，分别与车牌匹配数据库中的车牌轨迹链进行匹配，可采用位置特征，匹配上则根据时间间隔判断当前时刻定位到的车牌是否需要进行号牌识别，并更新车牌轨迹链，未匹配上则将车牌设置为新的轨迹链；
213：若车辆匹配数据库中的某条车牌轨迹链长时间没有新车牌与其匹配，则认为该车牌目标已驶出画面，将车牌轨迹链送入综合识别。
22、综合识别，将车牌轨迹链中的各帧车牌识别结果进行统计分析，获得综合识别结果和置信度，并输出车牌轨迹链，本实施例的具体算法步骤如下：
221：将各帧识别结果按照车牌字符位分别进行直方图统计，直方图累加值为字符识别结果的置信度；
222：将各个车牌字符位中，直方图值最大项对应的字符作为该位上的综合识别结果；
223：若综合识别结果不合理，则重新识别，比如说第二位车牌字符识别结果是数字，则将直方图次大值，观察其对应的字符是否为字母，若为字母则置为第二位车牌字符的综合识别结果，若不是则继续查找次次大值，依此类推；
224：将综合识别结果字符在各帧识别结果中的最大置信度作为该字符的最终置信度，并计算其平均置信度；
225：依次完成各位字符的综合识别，将结果附加到车牌轨迹链中输出。
步骤(3)在车辆跟踪模块中进行，如图8所示，在本实施例中包含目标匹配关联和误检目标去除两个子模块。
31、目标匹配关联，是将多帧间检测到的同一辆车关联在一起，本实施例具体算法步骤如下：
311：将第一帧检测到的车辆分别设置为车辆轨迹链，初始化匹配数据库；
312：新一帧检测到的车辆，根据特征将其与匹配数据库中的各个车辆轨迹链进行关联匹配，匹配的特征是位置，还可以结合颜色直方图；
313：匹配上的车辆用于旧轨迹链的更新，没有匹配上的车辆设置为新的轨迹链；
314：没有被匹配的旧轨迹链，根据已有轨迹预测该车辆当前帧的位置，若位置出界，则认为该车辆已消失，把车辆轨迹链送入下一步误检判断。
32、误检目标去除，车辆检测不能保证零误检率，因此该模块使用轨迹进行进一步判断，尽量不输出伪车辆轨迹，减少车辆无牌的误报，若不满足以下两个条件则认为是伪车辆：
(1)在该目标的整个轨迹中，实际检测到的次数必须大于3次；
(2)该目标在垂直方向上必须经过一定长度的移动，移动距离大于图像高度/3.5；
输出满足以上两个条件的车辆轨迹链。
步骤(4)在车牌遮挡检测模块中进行，如图5所示，该模块包含查找可疑字符和确认遮挡字符两个任务。
41、查找可疑字符，本实施例中，可疑字符是根据综合识别结果的置信度确定的，具体算法步骤如下：
411：设置低阈值LowTH、中阈值MidTH、高阈值HighTH，取值范围都是0～1之间；
412：将综合识别结果平均置信度低于LowTH的字符，标记为可疑字符，其他字符标记为非可疑字符；
413：查找可疑字符中平均置信度最小值LowMinAve；
414：查找非可疑字符平均置信度最小值HighMinAve；
415：查找非可疑字符中置信度最小值HighMinAlpha；
416：分析各个可疑字符，若其置信度大于HighMinAve–0.5，且大于HighMinAlpha，则取消其可疑标识。
42、确认遮挡字符，根据可疑字符分布及其他非可疑字符的置信度，确认可疑字符是否就是被遮挡的字符，具体算法步骤如下：
421：当可疑字符数超过4个，或第一个可疑字符到最后一个可疑字符的序号差值大于3时，判断为非遮挡车牌；
422：将可疑字符两侧的其他非可疑字符同时标记为受害字符；
423：依次分析所有非可疑字符，若每个都任意满足以下条件之一，则认为该车牌存在遮挡：
(1)置信度大于HighTH；
(2)是受害字符，且平均置信度小于MidTH；
424：若被判断为车牌遮挡，则可疑字符即为被遮挡字符。可直接用给定字符替换被遮挡字符的识别结果，也可以只输出遮挡标记。
步骤(5)在车辆无牌检测模块中进行，如图9所示，该模块输入为车辆轨迹链和车牌轨迹链，车辆轨迹链是车辆已经驶出画面后的跟踪结果；车牌轨迹链是车牌关联模块中的匹配数据库，包含车牌目标已消失但还未删除的轨迹链、以及车牌目标还未消失的轨迹链。
车牌无牌判断方法如下：将车辆轨迹中各帧车辆位置与车牌轨迹各帧车牌位置一一比对，若在相同的一帧结果中，车牌坐标在车辆区域之内，则匹配成功，该车辆是一个有牌车；若一一比对结束后，每帧车辆区域都没有在车牌轨迹链中找到对应帧的车牌，则判断该车辆无牌。
图11是本发明对测试素材的车辆无牌检测结果示例。图12是本发明对测试素材车牌遮挡检测结果示例。
按照上述实施例，便可很好地实现本发明。

Claims (9)

1.一种车辆无牌及车牌遮挡实时检测方法，其特征在于，包括步骤：
(1)分别对视频每个单帧进行车牌识别和车辆检测；
(2)将每帧识别到的车牌，与以往帧识别得到的车牌进行关联，综合识别后并在合适的时机输出车牌轨迹链；
(3)同时，将每帧检测到的车辆，送入车辆跟踪模块，将多帧出现的同一个车辆关联起来，去除误检目标，在车辆驶出画面时输出车辆轨迹链；
(4)对车牌轨迹链的综合识别结果进行分析，判断是否存在字符被遮挡的情况并给出被遮挡的字符位；
步骤(4)包含查找可疑字符和确认遮挡字符两个任务；
41、查找可疑字符，可疑字符是根据综合识别结果的置信度确定的，具体算法步骤如下：
411：设置低阈值LowTH、中阈值MidTH、高阈值HighTH，取值范围都是0～1之间；
412：将综合识别结果平均置信度低于LowTH的字符，标记为可疑字符，其他字符标记为非可疑字符；
413：查找可疑字符中平均置信度最小值LowMinAve；
414：查找非可疑字符平均置信度最小值HighMinAve；
415：查找非可疑字符中置信度最小值HighMinAlpha；
416：分析各个可疑字符，若其置信度大于HighMinAve–0.5，且大于HighMinAlpha，则取消其可疑标识；
42、确认遮挡字符，根据可疑字符分布及其他非可疑字符的置信度，确认可疑字符是否就是被遮挡的字符，具体算法步骤如下：
421：当可疑字符数超过4个，或第一个可疑字符到最后一个可疑字符的序号差值大于3时，判断为非遮挡车牌；
422：将可疑字符两侧的其他非可疑字符同时标记为受害字符；
423：依次分析所有非可疑字符，若每个都任意满足以下条件之一，则认为该车牌存在遮挡：
(1)置信度大于HighTH；
(2)是受害字符，且平均置信度小于MidTH；
424：若被判断为车牌遮挡，则可疑字符即为被遮挡字符，直接用给定字符替换被遮挡字符的识别结果或只输出遮挡标记；
(5)将车牌轨迹链和车辆轨迹链进行匹配，当没有匹配到车牌的车辆轨迹链被判断为车辆无牌；
步骤(5)车牌无牌具体的判断方法如下：将车辆轨迹中各帧车辆位置与车牌轨迹各帧车牌位置一一比对，若在相同的一帧结果中，车牌坐标在车辆区域之内，则匹配成功，该车辆是一个有牌车；若一一比对结束后，每帧车辆区域都没有在车牌轨迹链中找到对应帧的车牌，则判断该车辆无牌。
2.根据权利要求1所述的一种车辆无牌及车牌遮挡实时检测方法，其特征在于，当车牌识别和车辆检测均采用训练分类器识别时，在步骤(1)识别和检测前，分别在线下对车牌字符样本库和车辆图像样本库提取特征，分别学习并建立识别模型对字符进行分类和用于判断目标是否为车辆。
3.根据权利要求2所述的一种车辆无牌及车牌遮挡实时检测方法，其特征在于，车牌字符提取特征并学习建立识别模型在车牌字符样本学习模块中进行，车牌字符样本学习模块根据车牌字符样本类型将字符样本分组，训练多个模型，字符样本为二值图或灰度图，提取的特征为网格特征、轮廓特征、投影特征、过线数特征、密度特征、LBP特征中的多种特征的排列组合。
4.根据权利要求3所述的一种车辆无牌及车牌遮挡实时检测方法，其特征在于，车辆图像提取特征并学习建立识别模型在车辆样本学习模块中进行，车辆样本学习模块提取一批车辆图像样本作为正样本，提取一批不包含车辆的多场景背景图像样本作为负样本用于训练模型，提取的特征为HOG、Haar-like窗口区域特征。
5.根据权利要求4所述的一种车辆无牌及车牌遮挡实时检测方法，其特征在于，所述步骤(1)车牌识别和车辆检测分别在车牌识别模块和车辆检测模块中进行，其中，车牌识别模块的工作过程如下：
C11、进行车牌定位，在帧图像上找出车牌；
C12、计算出车牌倾斜角和错切角将图像校正；
C13、进行字符分割，先去掉字符区域以外的车牌图像，再进行二值化、反色和去噪处理，对字符进行切分；
C14、将切分后的字符图像依次进行识别；
车辆检测模块的工作过程如下：
D11、根据待检测车辆的尺寸范围确定检测尺度；
D12、在每个尺度上滑动窗口，提取窗口内图像的特征，识别该特征是否是车辆，去掉被识别为背景的窗口；
D13、将属于同一个目标的窗口融合成一个，得到最终的检测目标。
6.根据权利要求5所述的一种车辆无牌及车牌遮挡实时检测方法，其特征在于，所述步骤(2)在车辆关联模块中进行，车辆关联模块的工作过程如下：
21、通过各帧定位得到的车牌位置和字符识别结果，对以往帧中识别到的车牌轨迹链进行关联，将未关联上的车牌设置为新车牌轨迹链，将关联上的车牌用于旧车牌轨迹链的更新；
22、当旧车牌轨迹链较长时间没有新的车牌关联而认为轨迹结束时，对该车牌的所有帧识别结果进行综合统计识别和计算置信度。
7.根据权利要求6所述的一种车辆无牌及车牌遮挡实时检测方法，其特征在于，所述步骤(3)在车辆跟踪模块中进行，车辆跟踪模块的工作过程如下：
31、根据车辆检测结果将新检测到的车辆位置与以往帧分析到的车辆轨迹链进行匹配，若匹配上则更新旧车辆轨迹链数据，若没有匹配上则认为是新目标；
32、对于旧车辆轨迹链来说，若当前帧没有新的车牌检测结果与其匹配，则预测其在当前帧的位置，若超过图像边界则认为车辆轨迹链结束；若没有超过图像边界则分析其是否为误检目标，若是误检则删除该车辆轨迹链。
8.根据权利要求7所述的一种车辆无牌及车牌遮挡实时检测方法，其特征在于，所述步骤(4)在车牌遮挡检测模块中进行，车牌遮挡检测模块的工作过程如下：
401、将车牌关联中得到的综合识别结果及各字符的置信度作为输入，将置信度相对较低的字符标记为可疑字符；
402、分析可疑字符的分布是否合理，然后观察其他非可疑字符的置信度是否足够高，确认可疑字符是否为被遮挡字符。
9.根据权利要求8所述的一种车辆无牌及车牌遮挡实时检测方法，其特征在于，所述步骤(5)在车辆无牌检测模块中进行，车辆无牌检测模块的工作过程如下：将车辆跟踪得到的车辆轨迹链与车牌关联得到的车牌轨迹链进行比对，如果车辆轨迹链可以匹配一条车牌轨迹链，则认为是车辆有车牌，否则认为该车辆无车牌。
CN201510299097.5A 2015-06-03 2015-06-03 一种车辆无牌及车牌遮挡实时检测方法 Expired - Fee Related CN104951784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510299097.5A CN104951784B (zh) 2015-06-03 2015-06-03 一种车辆无牌及车牌遮挡实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510299097.5A CN104951784B (zh) 2015-06-03 2015-06-03 一种车辆无牌及车牌遮挡实时检测方法

Publications (2)

Publication Number Publication Date
CN104951784A CN104951784A (zh) 2015-09-30
CN104951784B true CN104951784B (zh) 2018-10-12

Family

ID=54166425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510299097.5A Expired - Fee Related CN104951784B (zh) 2015-06-03 2015-06-03 一种车辆无牌及车牌遮挡实时检测方法

Country Status (1)

Country Link
CN (1) CN104951784B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105321352A (zh) * 2015-11-16 2016-02-10 深圳市哈工大交通电子技术有限公司 一种机动车遮挡号牌违章行为检测及取证方法
CN105488484B (zh) * 2015-12-07 2018-11-27 北京航空航天大学 一种基于无人机航拍图像的车辆轨迹提取方法
CN107346448B (zh) 2016-05-06 2021-12-21 富士通株式会社 基于深度神经网络的识别装置、训练装置及方法
CN107977596A (zh) * 2016-10-25 2018-05-01 杭州海康威视数字技术股份有限公司 一种车牌状态识别方法及装置
CN106845341B (zh) * 2016-12-15 2020-04-10 南京积图网络科技有限公司 一种基于虚拟号牌的无牌车辆识别方法
CN106778886A (zh) * 2016-12-26 2017-05-31 深圳市捷顺科技实业股份有限公司 一种车牌的定位方法及定位装置
CN106874954A (zh) * 2017-02-20 2017-06-20 佛山市络思讯科技有限公司 一种信息获取的方法以及相关装置
CN109001833A (zh) * 2018-06-22 2018-12-14 天和防务技术（北京）有限公司 一种基于深度学习的太赫兹危险品检测方法
CN109683360B (zh) * 2019-02-14 2022-02-22 宁波轻蜓视觉科技有限公司 液晶面板缺陷检测方法及装置
CN111627224A (zh) * 2019-02-28 2020-09-04 杭州海康威视数字技术股份有限公司 车辆速度异常检测方法、装置、设备及存储介质
CN110502990B (zh) * 2019-07-17 2022-06-03 上海展湾信息科技有限公司 利用图像处理进行数据采集的方法及系统
CN110491133B (zh) * 2019-08-08 2020-10-16 善泊科技(珠海)有限公司 一种基于置信度的车辆信息校正系统和方法
CN111369790B (zh) * 2019-10-16 2021-11-09 杭州海康威视系统技术有限公司 过车记录校正方法、装置、设备及存储介质
CN111192461B (zh) * 2020-01-21 2022-06-28 北京筑梦园科技有限公司 一种车牌识别方法、服务器、停车收费方法及系统
CN112541501B (zh) * 2020-12-18 2021-09-07 北京中科研究院 一种基于视觉语言建模网络的场景文字识别方法
CN113343880A (zh) * 2021-06-21 2021-09-03 广州大学 一种车辆遮挡号牌的识别方法、装置、设备及介质
CN113256991B (zh) * 2021-07-14 2021-09-24 智广海联(天津)大数据技术有限公司 基于车流量统计的汽车厂周边道路拥堵治理系统及方法
CN114724128B (zh) * 2022-03-21 2023-10-10 北京卓视智通科技有限责任公司 一种车牌识别方法、装置、设备和介质
CN116229374A (zh) * 2023-05-06 2023-06-06 浪潮数字粮储科技有限公司 一种针对粮仓偷换入库车辆的识别方法、设备及存储介质
CN116740661B (zh) * 2023-08-11 2023-12-22 科大国创软件股份有限公司 一种基于车脸识别反向追踪蒙牌车辆的方法
CN116977949A (zh) * 2023-08-24 2023-10-31 北京唯行科技有限公司 车辆停车巡检方法、装置和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568202A (zh) * 2011-12-23 2012-07-11 北京易华录信息技术股份有限公司 车牌遮挡检测系统及检测方法
CN102637257A (zh) * 2012-03-22 2012-08-15 北京尚易德科技有限公司 一种基于视频的交通车辆检测识别系统和方法
CN102722704A (zh) * 2012-06-12 2012-10-10 厦门宸天电子科技有限公司 一种融合视频动态跟踪的车牌识别方法和系统
CN102902957A (zh) * 2012-09-05 2013-01-30 佳都新太科技股份有限公司 一种基于视频流的自动车牌识别方法
CN104239867A (zh) * 2014-09-17 2014-12-24 深圳市捷顺科技实业股份有限公司 车牌定位方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568202A (zh) * 2011-12-23 2012-07-11 北京易华录信息技术股份有限公司 车牌遮挡检测系统及检测方法
CN102637257A (zh) * 2012-03-22 2012-08-15 北京尚易德科技有限公司 一种基于视频的交通车辆检测识别系统和方法
CN102722704A (zh) * 2012-06-12 2012-10-10 厦门宸天电子科技有限公司 一种融合视频动态跟踪的车牌识别方法和系统
CN102902957A (zh) * 2012-09-05 2013-01-30 佳都新太科技股份有限公司 一种基于视频流的自动车牌识别方法
CN104239867A (zh) * 2014-09-17 2014-12-24 深圳市捷顺科技实业股份有限公司 车牌定位方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Based on Image Processing Technology of Trajectory Monitoring Analysis Research;Hongmei Li;《Applied Mechanics and Materials》;20140206;第526卷(第2014期);308-311 *

Also Published As

Publication number Publication date
CN104951784A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN104951784B (zh) 一种车辆无牌及车牌遮挡实时检测方法
CN105373794B (zh) 一种车牌识别方法
CN105261017B (zh) 基于路面约束的图像分割法提取行人感兴趣区域的方法
CN101872416B (zh) 对道路图像进行车牌识别的方法和系统
CN102043945B (zh) 基于车辆实时跟踪和二进指数分类车牌字符识别的方法
US20090309966A1 (en) Method of detecting moving objects
CN108549864A (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
Romdhane et al. An improved traffic signs recognition and tracking method for driver assistance system
CN106709530A (zh) 基于视频的车牌识别方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
Sheikh et al. Traffic sign detection and classification using colour feature and neural network
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN104134079A (zh) 一种基于极值区域和极限学习机的车牌识别方法
CN105205480A (zh) 一种复杂场景中人眼定位方法及系统
CN103903018A (zh) 一种复杂场景中对车牌进行定位的方法和系统
CN107180230B (zh) 通用车牌识别方法
CN102915433A (zh) 基于字符组合的车牌定位和识别方法
CN104978567A (zh) 基于场景分类的车辆检测方法
CN107103303A (zh) 一种基于gmm背景差分与联合特征的行人检测方法
CN104050684A (zh) 一种基于在线训练的视频运动目标分类方法与系统
CN104463232A (zh) 一种基于hog特征和颜色直方图特征的密度人群计数的方法
CN107590500A (zh) 一种基于色彩投影分类的车牌颜色识别方法及装置
Ingole et al. Characters feature based Indian vehicle license plate detection and recognition
Sheng et al. Real-time anti-interference location of vehicle license plates using high-definition video
CN102142090B (zh) 车辆检测方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171207

Address after: 550000 Longdong Road, Nanming District, Guiyang, Guizhou Province, Longdong Road No. 180

Applicant after: Guizhou Police Officer Vocational College

Address before: 550000 Nanming District, Guiyang, Guizhou Province, see Longdong Road No. 198 (political and law teacher)

Applicant before: Yang Yingcang

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181012

Termination date: 20190603

CF01 Termination of patent right due to non-payment of annual fee