CN111027558A - 一种违章车辆车型及车牌识别的方法 - Google Patents

一种违章车辆车型及车牌识别的方法 Download PDF

Info

Publication number
CN111027558A
CN111027558A CN201911010388.2A CN201911010388A CN111027558A CN 111027558 A CN111027558 A CN 111027558A CN 201911010388 A CN201911010388 A CN 201911010388A CN 111027558 A CN111027558 A CN 111027558A
Authority
CN
China
Prior art keywords
vehicle
license plate
violation
type
recognizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911010388.2A
Other languages
English (en)
Inventor
黄诗盛
袁明冬
张力元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart City Research Institute Of China Electronics Technology Group Corp
Original Assignee
Smart City Research Institute Of China Electronics Technology Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart City Research Institute Of China Electronics Technology Group Corp filed Critical Smart City Research Institute Of China Electronics Technology Group Corp
Priority to CN201911010388.2A priority Critical patent/CN111027558A/zh
Publication of CN111027558A publication Critical patent/CN111027558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种违章车辆车型及车牌识别的方法，包括以下步骤：S10：基于深度学习的目标检测方法检测出车辆；S20：基于视频前后两帧的车辆包围框重叠度，进行车辆跟踪，并计算出车辆的运动轨迹；S30：根据车辆的跟踪轨迹分析是否有违章行为；S40：对违章的车辆进行车型识别；S50：对违章车辆用预训练的Faster‑rcnn检测模型检测车牌；S60：对车牌进行识别，并返回识别的车牌结果；S70：输出车型识别及车牌识别结果。本发明中，车型检测精度高，方法简单，极易实现；车牌识别准确率高，在识别车牌之前，先对车牌用深度学习进行检测，使得只识别车牌区域，排除了其他区域的干扰；实时性强，本方法可以实时识别视频中的车型及车牌。

Description

一种违章车辆车型及车牌识别的方法
技术领域
本发明涉及车牌识别技术领域，尤其涉及一种违章车辆车型及车牌识别的方法。
背景技术
现有的车型识别及车牌识别的主要方法如下：
1、车型识别目前主要是一些基于车辆部件纹理特征的方法，；
2、车牌识别主要是对整张图进行边缘提取，找出车牌区域，再识别现有技术中存在的技术问题。
现有方法中，基于车辆部件纹理特征的车型识别方法算法复杂，不易实现且运算时间长，不利于实时识别；对整张图提取边缘找出车牌的方法，由于环境复杂，容易提取不出车牌区域，导致无法识别。
为解决上述问题，本申请中提出一种违章车辆车型及车牌识别的方法。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种违章车辆车型及车牌识别的方法，车型检测精度高，方法简单，极易实现；车牌识别准确率高，在识别车牌之前，先对车牌用深度学习进行检测，使得只识别车牌区域，排除了其他区域的干扰；实时性强，本方法可以实时识别视频中的车型及车牌。
(二)技术方案
为解决上述问题，本发明提供了一种违章车辆车型及车牌识别的方法，包括以下步骤：
S10：基于深度学习的目标检测方法检测出车辆；
S20：基于视频前后两帧的车辆包围框重叠度，进行车辆跟踪，并计算出车辆的运动轨迹；
S30：根据车辆的跟踪轨迹分析是否有违章行为；
S40：对违章的车辆进行车型识别；
S50：对违章车辆用预训练的Faster-rcnn检测模型检测车牌；
S60：对车牌进行识别，并返回识别的车牌结果；
S70：输出车型识别及车牌识别结果。
优选的，在S30中，根据车辆的跟踪轨迹分析是否有违章行为的具体计算过程如下：S31：判断车辆的轨迹是否在短时间内跨越三条及以上的车道，如果是，则判定为连续变道的违章行为；S32：判断车辆的轨迹是否在较长的时间没有发生移动，如果是，则判定为违章停车的行为；S33：判断车辆的轨迹是否跟正常行驶的轨迹方向相反，如果是，则判定为逆行的违章行为。
优选的，在S40中，对违章的车辆进行车型识别的具体计算过程如下：S41：收集下载不同车型的数据集，总共196类，并将数据集分为训练集与测试集；S42：对训练集的数据进行数据增强；S43：用训练集训练InceptionResnetV2分类网络，训练网络的最后两层参数，冻结其他网络的参数；S44：导出训练好的模型；S45：通过导出的模型识别违章车辆的车型。
优选的，在S50中，对违章的车辆进行车型识别的具体计算过程如下：S51：收集下载具有车牌的车辆数据集，并对车牌进行标记；S52：对标记后的数据进行数据增强；S53：车牌检测器采用Faster-rcnn，特征提取网络采用InceptionV1；S54：导出训练好的模型；S55：通过导出的模型进行车牌检测。
优选的，在S60中，对违章的车辆进行车型识别的具体计算过程如下：S61：使用Canny算法提取车牌边缘；S62：使用Hough变换求出车牌的倾斜角；S63：利用仿射变换矫正倾斜的车牌图像；S64：用垂直投影法分割出车牌的每一个字符；S65：对分割出来的字符，用预先训练好的cnn网络进行识别；S65：输出车牌识别的结果。
本发明的上述技术方案具有如下有益的技术效果：。
附图说明
图1为本发明提出的违章车辆车型及车牌识别的方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明提出的一种违章车辆车型及车牌识别的方法，包括以下步骤：
S10：基于深度学习的目标检测方法检测出车辆；
S20：基于视频前后两帧的车辆包围框重叠度，进行车辆跟踪，并计算出车辆的运动轨迹；
S30：根据车辆的跟踪轨迹分析是否有违章行为；
S40：对违章的车辆进行车型识别；
S50：对违章车辆用预训练的Faster-rcnn检测模型检测车牌；
S60：对车牌进行识别，并返回识别的车牌结果；
S70：输出车型识别及车牌识别结果。
本发明中，车型检测精度高，方法简单，极易实现；车牌识别准确率高，在识别车牌之前，先对车牌用深度学习进行检测，使得只识别车牌区域，排除了其他区域的干扰；实时性强，本方法可以实时识别视频中的车型及车牌。
在一个可选的实施例中，在S30中，根据车辆的跟踪轨迹分析是否有违章行为的具体计算过程如下：
S31：判断车辆的轨迹是否在短时间内跨越三条及以上的车道，如果是，则判定为连续变道的违章行为；
S32：判断车辆的轨迹是否在较长的时间没有发生移动，如果是，则判定为违章停车的行为；
S33：判断车辆的轨迹是否跟正常行驶的轨迹方向相反，如果是，则判定为逆行的违章行为。
需要说明的是，对车辆的行驶轨迹进行判断分析，并判定是否违章，判断精确无误，判断迅速。
在一个可选的实施例中，在S40中，对违章的车辆进行车型识别的具体计算过程如下：
S41：收集下载不同车型的数据集，总共196类，并将数据集分为训练集与测试集；
S42：对训练集的数据进行数据增强；
S43：用训练集训练InceptionResnetV2分类网络，训练网络的最后两层参数，冻结其他网络的参数；
S44：导出训练好的模型；
S45：通过导出的模型识别违章车辆的车型。
需要说明的是，对车型的数据集分为训练集与测试集，对训练集的数据进行数据增强，如：翻转、小角度旋转、叠加、亮暗变化方面的加强，以保证数据更加精确，通过导出的模型识别违章车辆的车型，识别更加准确和高效。
在一个可选的实施例中，在S50中，对违章的车辆进行车型识别的具体计算过程如下：
S51：收集下载具有车牌的车辆数据集，并对车牌进行标记；
S52：对标记后的数据进行数据增强；
S53：车牌检测器采用Faster-rcnn，特征提取网络采用InceptionV1；
S54：导出训练好的模型；
S55：通过导出的模型进行车牌检测。
需要说明的是，在S52中，对标记后的数据进行数据增强，如：翻转、小角度旋转、叠加、亮暗变化方面的加强，以保证数据更加精确，通过导出的模型进行车牌检测，检测结果准确且高效。
在一个可选的实施例中，在S60中，对违章的车辆进行车型识别的具体计算过程如下：
S61：使用Canny算法提取车牌边缘；
S62：使用Hough变换求出车牌的倾斜角；
S63：利用仿射变换矫正倾斜的车牌图像；
S64：用垂直投影法分割出车牌的每一个字符；
S65：对分割出来的字符，用预先训练好的cnn网络进行识别；
S65：输出车牌识别的结果。
需要说明的是，实现车型的精准识别，系统工作无误，且工作效率高，节省劳动力。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (5)

1.一种违章车辆车型及车牌识别的方法，其特征在于，包括以下步骤：
S10：基于深度学习的目标检测方法检测出车辆；
S20：基于视频前后两帧的车辆包围框重叠度，进行车辆跟踪，并计算出车辆的运动轨迹；
S30：根据车辆的跟踪轨迹分析是否有违章行为；
S40：对违章的车辆进行车型识别；
S50：对违章车辆用预训练的Faster-rcnn检测模型检测车牌；
S60：对车牌进行识别，并返回识别的车牌结果；
S70：输出车型识别及车牌识别结果。
2.根据权利要求1所述的违章车辆车型及车牌识别的方法，其特征在于，在S30中，根据车辆的跟踪轨迹分析是否有违章行为的具体计算过程如下：
S31：判断车辆的轨迹是否在短时间内跨越三条及以上的车道，如果是，则判定为连续变道的违章行为；
S32：判断车辆的轨迹是否在较长的时间没有发生移动，如果是，则判定为违章停车的行为；
S33：判断车辆的轨迹是否跟正常行驶的轨迹方向相反，如果是，则判定为逆行的违章行为。
3.根据权利要求1所述的违章车辆车型及车牌识别的方法，其特征在于，在S40中，对违章的车辆进行车型识别的具体计算过程如下：
S41：收集下载不同车型的数据集，总共196类，并将数据集分为训练集与测试集；
S42：对训练集的数据进行数据增强；
S43：用训练集训练InceptionResnetV2分类网络，训练网络的最后两层参数，冻结其他网络的参数；
S44：导出训练好的模型；
S45：通过导出的模型识别违章车辆的车型。
4.根据权利要求1所述的违章车辆车型及车牌识别的方法，其特征在于，在S50中，对违章的车辆进行车型识别的具体计算过程如下：
S51：收集下载具有车牌的车辆数据集，并对车牌进行标记；
S52：对标记后的数据进行数据增强；
S53：车牌检测器采用Faster-rcnn，特征提取网络采用InceptionV1；
S54：导出训练好的模型；
S55：通过导出的模型进行车牌检测。
5.根据权利要求1所述的违章车辆车型及车牌识别的方法，其特征在于，在S60中，对违章的车辆进行车型识别的具体计算过程如下：
S61：使用Canny算法提取车牌边缘；
S62：使用Hough变换求出车牌的倾斜角；
S63：利用仿射变换矫正倾斜的车牌图像；
S64：用垂直投影法分割出车牌的每一个字符；
S65：对分割出来的字符，用预先训练好的cnn网络进行识别；
S65：输出车牌识别的结果。
CN201911010388.2A 2019-10-23 2019-10-23 一种违章车辆车型及车牌识别的方法 Pending CN111027558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911010388.2A CN111027558A (zh) 2019-10-23 2019-10-23 一种违章车辆车型及车牌识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911010388.2A CN111027558A (zh) 2019-10-23 2019-10-23 一种违章车辆车型及车牌识别的方法

Publications (1)

Publication Number Publication Date
CN111027558A true CN111027558A (zh) 2020-04-17

Family

ID=70201284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911010388.2A Pending CN111027558A (zh) 2019-10-23 2019-10-23 一种违章车辆车型及车牌识别的方法

Country Status (1)

Country Link
CN (1) CN111027558A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489436A (zh) * 2020-10-29 2021-03-12 浙江预策科技有限公司 一种车辆身份识别方法、装置、系统、以及电子装置
CN112949465A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆连续变道识别方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722704A (zh) * 2012-06-12 2012-10-10 厦门宸天电子科技有限公司 一种融合视频动态跟踪的车牌识别方法和系统
CN104504908A (zh) * 2015-01-14 2015-04-08 苏州科达科技股份有限公司 一种违章停车监控方法及系统
CN106571039A (zh) * 2016-08-22 2017-04-19 中海网络科技股份有限公司 一种高速公路违章行为自动抓拍系统
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN108335489A (zh) * 2018-03-11 2018-07-27 西安电子科技大学 高速公路车辆行为语义分析及异常行为监控系统及方法
CN109726717A (zh) * 2019-01-02 2019-05-07 西南石油大学 一种车辆综合信息检测系统
CN109740420A (zh) * 2018-11-22 2019-05-10 深圳市华尊科技股份有限公司 车辆违法识别方法及相关产品
CN110136449A (zh) * 2019-06-17 2019-08-16 珠海华园信息技术有限公司 基于深度学习的交通视频车辆违停自动识别抓拍的方法
CN110321814A (zh) * 2019-06-18 2019-10-11 浙江大华技术股份有限公司 一种车辆违章取证方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722704A (zh) * 2012-06-12 2012-10-10 厦门宸天电子科技有限公司 一种融合视频动态跟踪的车牌识别方法和系统
CN104504908A (zh) * 2015-01-14 2015-04-08 苏州科达科技股份有限公司 一种违章停车监控方法及系统
CN106571039A (zh) * 2016-08-22 2017-04-19 中海网络科技股份有限公司 一种高速公路违章行为自动抓拍系统
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN108335489A (zh) * 2018-03-11 2018-07-27 西安电子科技大学 高速公路车辆行为语义分析及异常行为监控系统及方法
CN109740420A (zh) * 2018-11-22 2019-05-10 深圳市华尊科技股份有限公司 车辆违法识别方法及相关产品
CN109726717A (zh) * 2019-01-02 2019-05-07 西南石油大学 一种车辆综合信息检测系统
CN110136449A (zh) * 2019-06-17 2019-08-16 珠海华园信息技术有限公司 基于深度学习的交通视频车辆违停自动识别抓拍的方法
CN110321814A (zh) * 2019-06-18 2019-10-11 浙江大华技术股份有限公司 一种车辆违章取证方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑树泉等编著: "《基于深度学习的图像语义分割技术》", 上海：上海科学技术出版社, pages: 171 - 172 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489436A (zh) * 2020-10-29 2021-03-12 浙江预策科技有限公司 一种车辆身份识别方法、装置、系统、以及电子装置
CN112949465A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆连续变道识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
KR102054061B1 (ko) 차량번호판 자동인식 방법
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
US8903133B2 (en) Periodic stationary object detection system and periodic stationary object detection method
US9971941B2 (en) Person counting method and device for same
CN104268596B (zh) 一种车牌识别器及其车牌检测方法与系统
CN103136528B (zh) 一种基于双边缘检测的车牌识别方法
CN109241938B (zh) 道路拥堵检测方法及终端
CN111382704A (zh) 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN110909692A (zh) 异常车牌识别方法、装置及计算机存储介质、电子设备
CN104318263A (zh) 一种实时高精度人流计数方法
CN105303153A (zh) 一种车辆车牌识别方法及装置
CN106095104A (zh) 基于目标模型信息的连续手势轨迹分割方法及系统
CN107644206A (zh) 一种道路异常行为动作检测装置
CN108196680B (zh) 一种基于人体特征提取与检索的机器人视觉跟随方法
CN102332094A (zh) 半监督在线学习人脸检测方法
CN111027558A (zh) 一种违章车辆车型及车牌识别的方法
CN105512618A (zh) 视频跟踪方法
CN111986226A (zh) 一种目标轨迹异常检测方法
CN108830204B (zh) 面对目标的监控视频中异常检测方法
CN112215154B (zh) 一种应用于人脸检测系统的基于蒙版的模型评估方法
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN111950546A (zh) 一种车牌识别方法、装置、计算机设备和存储介质
CN103996207A (zh) 一种物体跟踪方法
CN105335985B (zh) 一种基于机器视觉的入坞飞机实时捕获方法及系统
CN117058634A (zh) 一种高速路场景自适应交通违法行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417

RJ01 Rejection of invention patent application after publication