CN111950547A - 一种车牌的检测方法、装置、计算机设备和存储介质 - Google Patents

一种车牌的检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111950547A
CN111950547A CN202010785611.7A CN202010785611A CN111950547A CN 111950547 A CN111950547 A CN 111950547A CN 202010785611 A CN202010785611 A CN 202010785611A CN 111950547 A CN111950547 A CN 111950547A
Authority
CN
China
Prior art keywords
license plate
image data
vehicle
key point
character recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010785611.7A
Other languages
English (en)
Inventor
刘榆厚
杨威
刘湘明
丘仕旺
吴丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Flying Cloud Computing Co ltd
Original Assignee
Guangdong Flying Cloud Computing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Flying Cloud Computing Co ltd filed Critical Guangdong Flying Cloud Computing Co ltd
Priority to CN202010785611.7A priority Critical patent/CN111950547A/zh
Publication of CN111950547A publication Critical patent/CN111950547A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种车牌的检测方法、装置、计算机设备和存储介质，该方法包括：当车辆到达停车场的入口时，对车辆采集原始图像数据，将原始图像数据输入预置的关键点检测模型中检测车辆的关键点，根据关键点识别车辆的朝向与车牌的类型，查找为车辆的朝向训练的校正模型、为车牌的类型训练的字符识别模型，将原始图像数据输入校正模型中、校正关键点所在的区域，获得车辆图像数据，在车辆图像数据中识别车牌所在的区域，作为目标车牌图像数据，将目标车牌图像数据输入字符识别模型中识别车牌中的字符，不断地挖掘车辆的全局以及局部的特征，保证识别车牌的字符的准确性，提高识别车牌中字符的速度，减少车辆在停车场入口等待的时间。

Description

一种车牌的检测方法、装置、计算机设备和存储介质
技术领域
本发明实施例涉及智慧停车场的技术领域，尤其涉及一种车牌的检测方法、装置、计算机设备和存储介质。
背景技术
在停车场的入口处通常设置有检测设备，如强光灯、摄像机等，用以检测驶入停车场的车辆的车牌，以该车牌中的字符标识车辆，统计该车辆在停车场停车的时间，从而对该车辆进行计费。
在不同的停车场中，由于入口处地理位置的限制，某些情况下，检测设备设置在入口的左侧，某些情况下，检测设备设置在入口的右侧，导致同一套检测设备对车辆采集的图像数据各有不同。
并且，车辆的车牌类型众多，加大了图像数据的复杂度。
为了保证准确识别车辆的车牌，从而保证计费的准确性，一般是使用更大型的模型进行识别，提高车辆及其车牌的特征的丰富度，但是，模型越大，运行的时间越长，导致车辆在入口处增加等待的时间。
发明内容
本发明实施例提出了一种车牌的检测方法、装置、计算机设备和存储介质，以解决在保证检测车牌的准确性的情况下，如何减少检测车牌的时间的问题。
第一方面，本发明实施例提供一种车牌的检测方法，包括：
当车辆到达停车场的入口时，对所述车辆采集原始图像数据；
将所述原始图像数据输入预置的关键点检测模型中检测所述车辆的关键点；
根据所述关键点识别所述车辆的朝向与车牌的类型；
查找为所述车辆的朝向训练的校正模型、为所述车牌的类型训练的字符识别模型；
将所述原始图像数据输入所述校正模型中、校正所述关键点所在的区域，获得车辆图像数据；
在所述车辆图像数据中识别所述车牌所在的区域，作为目标车牌图像数据；
将所述目标车牌图像数据输入所述字符识别模型中识别所述车牌中的字符。
可选地，所述根据所述关键点识别所述车辆的朝向与车牌的类型，包括：
采用所述关键点计算所述车辆的姿态角；
基于所述姿态角确定所述车辆的朝向；
在所述原始图像数据中，基于所述关键点定位车牌所在的区域，作为原始车牌图像数据；
在所述原始车牌图像数据中检测所述车牌的底色；
基于所述底色识别车牌的类型。
可选地，所述在所述原始车牌图像数据中检测所述车牌的底色，包括：
对所述原始车牌图像数据进行下采样，作为候选车牌图像数据；
在候选车牌图像数据中，查询各个像素点的所在的色度范围；
统计各个所述色度范围包含的像素点的数量；
以所述数量最高的所述色度范围对应的颜色，作为所述车牌的底色。
可选地，所述基于所述底色识别车牌的类型，包括：
若所述底色为第一颜色，则将所述第一颜色对应的类型设置为车牌的类型；
若所述底色为第二颜色，则计算所述原始车牌图像数据中长边与宽边之间的比例；
将所述第二颜色与所述比例均对应的类型设置为车牌的类型。
可选地，所述将所述原始图像数据输入所述校正模型中、校正所述关键点所在的区域，获得车辆图像数据，包括：
查找实际位置相对的所述关键点，作为关键点对；
在维持所述关键点在所述原始图像数据中相对位置的条件下，对所述所述关键点所在的区域进行校正，以使所述关键点对在水平方向对称。
可选地，所述查找实际位置相对的所述关键点，作为关键点对，包括：
查找表示挡风玻璃左上角的关键点、表示挡风玻璃右上角的关键点，作为关键点对；
查找表示挡风玻璃左下角的关键点、表示挡风玻璃右下角的关键点，作为关键点对。
可选地，所述将所述目标车牌图像数据输入所述字符识别模型中识别所述车牌中的字符，包括：
在所述字符识别模型中的第一卷积层中对所述目标车牌图像数据进行卷积处理，以输出第一车牌特征；
在所述字符识别模型中的第二卷积层中对所述第一车牌特征进行卷积处理，以输出第二车牌特征；
在所述字符识别模型中的池化层中对所述第二车牌特征进行池化处理，以输出第三车牌特征；
在所述字符识别模型中的全连接层中对所述第三车牌特征进行映射，以输出所述车牌中的字符。
第二方面，本发明实施例还提供了一种车牌的检测装置，包括：
原始图像数据采集模块，用于当车辆到达停车场的入口时，对所述车辆采集原始图像数据；
关键点检测模块，用于将所述原始图像数据输入预置的关键点检测模型中检测所述车辆的关键点；
车辆参数识别模块，用于根据所述关键点识别所述车辆的朝向与车牌的类型；
模型查找模块，用于查找为所述车辆的朝向训练的校正模型、为所述车牌的类型训练的字符识别模型；
车辆图像数据校正模块，用于将所述原始图像数据输入所述校正模型中、校正所述关键点所在的区域，获得车辆图像数据；
目标车牌图像数据识别模块，用于在所述车辆图像数据中识别所述车牌所在的区域，作为目标车牌图像数据；
车牌字符识别模块，用于将所述目标车牌图像数据输入所述字符识别模型中识别所述车牌中的字符。
可选地，所述车辆参数识别模块还用于：
采用所述关键点计算所述车辆的姿态角；
基于所述姿态角确定所述车辆的朝向；
在所述原始图像数据中，基于所述关键点定位车牌所在的区域，作为原始车牌图像数据；
在所述原始车牌图像数据中检测所述车牌的底色；
基于所述底色识别车牌的类型。
可选地，所述车辆参数识别模块还用于：
对所述原始车牌图像数据进行下采样，作为候选车牌图像数据；
在候选车牌图像数据中，查询各个像素点的所在的色度范围；
统计各个所述色度范围包含的像素点的数量；
以所述数量最高的所述色度范围对应的颜色，作为所述车牌的底色。
可选地，所述车辆参数识别模块还用于：
若所述底色为第一颜色，则将所述第一颜色对应的类型设置为车牌的类型；
若所述底色为第二颜色，则计算所述原始车牌图像数据中长边与宽边之间的比例；
将所述第二颜色与所述比例均对应的类型设置为车牌的类型。
可选地，所述车辆图像数据校正模块还用于：
查找实际位置相对的所述关键点，作为关键点对；
在维持所述关键点在所述原始图像数据中相对位置的条件下，对所述所述关键点所在的区域进行校正，以使所述关键点对在水平方向对称。
可选地，所述车辆图像数据校正模块还用于：
查找表示挡风玻璃左上角的关键点、表示挡风玻璃右上角的关键点，作为关键点对；
查找表示挡风玻璃左下角的关键点、表示挡风玻璃右下角的关键点，作为关键点对。
可选地，所述车牌字符识别模块还用于：
在所述字符识别模型中的第一卷积层中对所述目标车牌图像数据进行卷积处理，以输出第一车牌特征；
在所述字符识别模型中的第二卷积层中对所述第一车牌特征进行卷积处理，以输出第二车牌特征；
在所述字符识别模型中的池化层中对所述第二车牌特征进行池化处理，以输出第三车牌特征；
在所述字符识别模型中的全连接层中对所述第三车牌特征进行映射，以输出所述车牌中的字符。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的车牌的检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一所述的车牌的检测方法。
在本实施例中，当车辆到达停车场的入口时，对车辆采集原始图像数据，将原始图像数据输入预置的关键点检测模型中检测车辆的关键点，根据关键点识别车辆的朝向与车牌的类型，查找为车辆的朝向训练的校正模型、为车牌的类型训练的字符识别模型，将原始图像数据输入校正模型中、校正关键点所在的区域，获得车辆图像数据，在车辆图像数据中识别车牌所在的区域，作为目标车牌图像数据，将目标车牌图像数据输入字符识别模型中识别车牌中的字符，提供了关键点检测模型、校正模型、字符识别模型这三层组成的级联网络，级联网络由粗到精，不断地挖掘车辆的全局以及局部的特征，可以保证识别车牌的字符的准确性，并且，通过车牌的类型划分不同的分支，可以降低识别车牌中字符的计算量，提高识别车牌中字符的速度，减少车辆在停车场入口等待的时间。
附图说明
图1为本发明实施例一提供的一种车牌的检测方法的流程图；
图2为本发明实施例一提供的一种级联网络的架构示意图；
图3为本发明实施例一提供的一种字符识别模型的示例图；
图4为本发明实施例二提供的一种车牌的检测装置的结构示意图；
图5为本发明实施例三提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种车牌的检测方法的流程图，本实施例可适用于使用多个级联的模型对车牌进行检测的情况，该方法可以由车牌的检测装置来执行，该车牌的检测装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，个人电脑、服务器，等等，具体包括如下步骤：
步骤101、当车辆到达停车场的入口时，对车辆采集原始图像数据。
在实际应用中，在停车场的入口可以设置有检测设备及道闸，检测设备包括强光灯、摄像头等，其中，强光灯可用于发射白光，增加车牌的可辨别性，摄像头用于采集视频数据，以便后续从视频数据中提取原始图像数据，从原始图像数据中将车牌中的字符识别出来。
当识别出车辆的车牌中的字符之后，可驱动道闸升起，允许车辆进入停车场。
步骤102、将原始图像数据输入预置的关键点检测模型中检测车辆的关键点。
在本实施例中，如图2所示，可以提供关键点检测模型210、校正模型220和字符识别模型230这三层的级联网络。
首先，关键点检测模型210为第一层网络，将原始图像数据输入至关键点检测模型210进行处理，可输出车辆的关键点。
关键点检测模型210可用于初步获取车辆轮廓、车牌轮廓、挡风玻璃轮廓等主要的关键点，关键点的位置粗糙即可，可能不是很精准，但是，对于描述整个车辆在原始图像数据中的位置来说，是相对比较准确的，考虑到后续校正模型220的校正，关键点检测模型210可以设计得相对较小，如一到两层的卷积神经网络，从而保证检测关键点的速度。
步骤103、根据关键点识别车辆的朝向与车牌的类型。
检测设备可以安装在停车场入口的左侧、也可以安装在停车场入口的右侧，使得车辆在到达停车场的入口时，其朝向相对于检测设备而言有所不同，具体可以分为相对于检测设备朝左，使得车辆右侧显露较多，相对于检测设备朝右，使得车辆左侧显露较多。
一般情况下，检测设备并不以龙门架的形式安装，因此，车辆朝正的情况可忽略。
而车牌的类型包括小轿车、大型车辆、驾校教练车，等等，其颜色、尺寸、字符排列均会有一定的差异。
在本实施例中，可以分析关键点所表征的特性，从而识别车辆的朝向与车牌的类型。
在本发明的一个实施例中，步骤103可以包括如下子步骤：
步骤1031、采用关键点计算车辆的姿态角。
在具体实现中，可将关键点输入姿态角估计模型中，即可识别车辆的姿态角，该姿态角包括俯仰角(PICTH)、横滚角(ROLL)、航向角(YAW)。
需要说明的是，姿态角估计模型相对简单，如一到两层的全连接网络，计算的耗时少，几乎可以忽略不计。
步骤1032、基于姿态角确定车辆的朝向。
在具体实现中，可以在预设的映射表中确定航向角(YAW)归属的角度范围，将角度范围对应的朝向设置为车辆的朝向。
其中，映射表记录有角度范围与朝向之间的映射关系。
在一个示例中，映射表记录如下表所示：
角度范围 朝向
YAW≤-15° 朝右
YAW≥15° 朝左
步骤1033、在原始图像数据中，基于关键点定位车牌所在的区域，作为原始车牌图像数据。
在具体实现中，可以查找表征车牌的关键点，将其在原始图像数据中所处的区域，设置为原始车牌图像数据。
步骤1034、在原始车牌图像数据中检测车牌的底色。
车牌的底色为识别车牌的类型的一个主要特征，识别车牌的底色有助于识别车牌的类型。
在一个检测底色的示例中，可对原始车牌图像数据进行下采样，作为候选车牌图像数据，在降低数据量的情况下，底色依然占据主要的位置，可保证精确度，并提高计算速度。
由于底色一般为主色，因此，可在候选车牌图像数据中，查询各个像素点的所在的色度范围，统计各个色度范围包含的像素点的数量，以数量最高的色度范围对应的颜色，作为车牌的底色。
当然，上述检测底色的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他人检测底色的方式，例如，基于直方图统计主要的颜色作为底色，等等，本发明实施例对此不加以限制。另外，除了上述检测底色的方式外，本领域技术人员还可以根据实际需要采用其它检测底色的方式，本发明实施例对此也不加以限制。
步骤1035、基于底色识别车牌的类型。
在本实施例中，通过当前车牌的底色与预设类型的车牌的底色进行比较，可以得知当前车牌的类型。
在具体实现中，若底色为第一颜色，第一颜色对应一种车牌的类型，如蓝底白字的车牌、绿底黑字的车牌等，则将第一颜色对应的类型设置为车牌的类型。
若底色为第二颜色，第一颜色对应两种或两种以上车牌的类型，如蓝底白字的车牌，如黑底白字的车牌等，则计算原始车牌图像数据中长边与宽边之间的比例，将第二颜色与比例均对应的类型设置为车牌的类型。
步骤104、查找为车辆的朝向训练的校正模型、为车牌的类型训练的字符识别模型。
在本实施例中，预先为不同的朝向训练相应的校正模型、在确定当前车辆的朝向之后，可以从云端或本地加载为当前车辆的朝向训练的校正模型。
此外，预先为不同车牌的类型训练相应的字符识别模型、在确定当前车牌的类型之后，可以从云端或本地加载为当前车牌的类型训练的字符识别模型。
步骤105、将原始图像数据输入校正模型中、校正关键点所在的区域，获得车辆图像数据。
如图2所示，校正模型220属于第二层网络，将携带关键点的原始图像数据输入至校正模型220进行处理，可输出位置校正后的车辆图像数据。
例如，如图2所示，假设车辆的朝向分为朝左、朝右，则可以相应地训练朝左校正模型221、朝右校正模型222作为校正模型，其中，朝左校正模型221用于对车辆朝左的原始图像数据进行位置校正，朝右校正模型222用于对车辆朝右的原始图像数据进行位置校正。
对于关键点检测模型的粗定位而言，不同车辆朝向的校正模型属于多个不同的分支，可对粗定位进行修正，即调用校正模型进行校正相当于运行一个分支网络，所以不会增加耗时，相反地，通过对车辆的朝向进行区分后，位置修正会变得更加简单，用一个较小的网络即可达到较佳的效果。
在本发明实施例中，可查找实际位置相对的关键点，作为关键点对。
例如，查找表示挡风玻璃左上角的关键点、表示挡风玻璃右上角的关键点，作为关键点对。
又例如，查找表示挡风玻璃左下角的关键点、表示挡风玻璃右下角的关键点，作为关键点对。
当然，除了挡风玻璃之外，还可以采用其他部位的关键点作为关键点对，例如，采用表示保险杠左侧的关键点与表示保险杠右侧的的关键点作为关键点对，等等，本实施例对此不加以限制。
在维持关键点在原始图像数据中相对位置的条件下，对关键点所在的区域进行校正，以使关键点对在水平方向对称。
进一步而言，车辆朝向并非正向时，车牌会存在一定程度的畸变，通过维持关键点的相对位置，可以维持车辆整体的结构，保证对车牌的校正的准确性，避免发生二次畸变。
步骤106、在车辆图像数据中识别车牌所在的区域，作为目标车牌图像数据。
基于校正之后的关键点可以得到包围车牌的检测框，如将表征车牌官的、所有校正之后的关键点包含在内的最小矩形框，该检测框可以精确地定位出车牌的位置。
由于检测框在定位车牌时会有一定的偏差，通常需要基于检测框向四周扩展一定比例来截取车牌所在的区域，作为标车牌图像数据，来保证车牌能够完全被截取到，可减少背景噪声，并简化字符的识别。
步骤107、将目标车牌图像数据输入字符识别模型中识别车牌中的字符。
如图2所示，字符识别模型230属于第三层网络，将目标车牌图像数据输入至字符识别模型230进行处理，可输出车牌中的字符。
对于车牌而言，局部区域范围较小，因此，输入的目标车牌图像数据很小且类型单一，可实现对车牌中的字符进行细定位，改善在特殊情况下的大量的局部识别错误，例如，数字“0”与字母“Q”，数字“3”与数字“5”，等等。
在本发明的一个实施例中，如图3所示，字符识别模型包括第一卷积层410、第二卷积层320、池化层(Pooling)330、全连接层(fully connected layers，FC)340。
其中，第一卷积层310、第二卷积层320均属于CNN(Convolutional NeuralNetwork，卷积神经网络)，CNN是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，CNN具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks,SIANN)”。
CNN仿造生物的视知觉(visual perception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征。
池化层330实际上是一种形式的降采样，包括多种不同形式的非线性池化函数，例如，最大池化(Max pooling)、最小池化(Min pooling)、平均池化(Avg pooling)，等等。其中，最大池化(Max pooling)、最小池化(Min pooling)、平均池化(Avg pooling)分别是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值、最小值、平均值。
池化层330能够有效地原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。
全连接层340的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，从而整合卷积层或者池化层中具有类别区分性的局部信息。
在本实施例中，在字符识别模型中的第一卷积层中对目标车牌图像数据进行卷积处理，以输出第一车牌特征；在字符识别模型中的第二卷积层中对第一车牌特征进行卷积处理，以输出第二车牌特征；在字符识别模型中的池化层中对第二车牌特征进行池化处理，以输出第三车牌特征；在字符识别模型中的全连接层中对第三车牌特征进行映射，以输出车牌中的字符。
当然，上述字符识别模型只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他字符识别模型，例如，字符识别模型依次包括三个卷积层、池化层、两个全脸基层，等等，本发明实施例对此不加以限制。另外，除了上述字符识别模型外，本领域技术人员还可以根据实际需要采用其它字符识别模型，本发明实施例对此也不加以限制。
在本实施例中，当车辆到达停车场的入口时，对车辆采集原始图像数据，将原始图像数据输入预置的关键点检测模型中检测车辆的关键点，根据关键点识别车辆的朝向与车牌的类型，查找为车辆的朝向训练的校正模型、为车牌的类型训练的字符识别模型，将原始图像数据输入校正模型中、校正关键点所在的区域，获得车辆图像数据，在车辆图像数据中识别车牌所在的区域，作为目标车牌图像数据，将目标车牌图像数据输入字符识别模型中识别车牌中的字符，提供了关键点检测模型、校正模型、字符识别模型这三层组成的级联网络，级联网络由粗到精，不断地挖掘车辆的全局以及局部的特征，可以保证识别车牌的字符的准确性，并且，通过车牌的类型划分不同的分支，可以降低识别车牌中字符的计算量，提高识别车牌中字符的速度，减少车辆在停车场入口等待的时间。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例二
图4为本发明实施例三提供的一种车牌的检测装置的结构框图，具体可以包括如下模块：
原始图像数据采集模块401，用于当车辆到达停车场的入口时，对所述车辆采集原始图像数据；
关键点检测模块402，用于将所述原始图像数据输入预置的关键点检测模型中检测所述车辆的关键点；
车辆参数识别模块403，用于根据所述关键点识别所述车辆的朝向与车牌的类型；
模型查找模块404，用于查找为所述车辆的朝向训练的校正模型、为所述车牌的类型训练的字符识别模型；
车辆图像数据校正模块405，用于将所述原始图像数据输入所述校正模型中、校正所述关键点所在的区域，获得车辆图像数据；
目标车牌图像数据识别模块406，用于在所述车辆图像数据中识别所述车牌所在的区域，作为目标车牌图像数据；
车牌字符识别模块407，用于将所述目标车牌图像数据输入所述字符识别模型中识别所述车牌中的字符。
在本发明的一个实施例中，所述车辆参数识别模块403还用于：
采用所述关键点计算所述车辆的姿态角；
基于所述姿态角确定所述车辆的朝向；
在所述原始图像数据中，基于所述关键点定位车牌所在的区域，作为原始车牌图像数据；
在所述原始车牌图像数据中检测所述车牌的底色；
基于所述底色识别车牌的类型。
在本发明的一个实施例中，所述车辆参数识别模块403还用于：
对所述原始车牌图像数据进行下采样，作为候选车牌图像数据；
在候选车牌图像数据中，查询各个像素点的所在的色度范围；
统计各个所述色度范围包含的像素点的数量；
以所述数量最高的所述色度范围对应的颜色，作为所述车牌的底色。
在本发明的一个实施例中，所述车辆参数识别模块403还用于：
若所述底色为第一颜色，则将所述第一颜色对应的类型设置为车牌的类型；
若所述底色为第二颜色，则计算所述原始车牌图像数据中长边与宽边之间的比例；
将所述第二颜色与所述比例均对应的类型设置为车牌的类型。
在本发明的一个实施例中，所述车辆图像数据校正模块405还用于：
查找实际位置相对的所述关键点，作为关键点对；
在维持所述关键点在所述原始图像数据中相对位置的条件下，对所述所述关键点所在的区域进行校正，以使所述关键点对在水平方向对称。
在本发明的一个实施例中，所述车辆图像数据校正模块405还用于：
查找表示挡风玻璃左上角的关键点、表示挡风玻璃右上角的关键点，作为关键点对；
查找表示挡风玻璃左下角的关键点、表示挡风玻璃右下角的关键点，作为关键点对。
在本发明的一个实施例中，所述车牌字符识别模块407还用于：
在所述字符识别模型中的第一卷积层中对所述目标车牌图像数据进行卷积处理，以输出第一车牌特征；
在所述字符识别模型中的第二卷积层中对所述第一车牌特征进行卷积处理，以输出第二车牌特征；
在所述字符识别模型中的池化层中对所述第二车牌特征进行池化处理，以输出第三车牌特征；
在所述字符识别模型中的全连接层中对所述第三车牌特征进行映射，以输出所述车牌中的字符。
本发明实施例所提供的车牌的检测装置可执行本发明任意实施例所提供的车牌的检测方法，具备执行方法相应的功能模块和有益效果。
实施例三
图5为本发明实施例四提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的车牌的检测方法。
实施例四
本发明实施例四还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述车牌的检测方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种车牌的检测方法，其特征在于，包括：
当车辆到达停车场的入口时，对所述车辆采集原始图像数据；
将所述原始图像数据输入预置的关键点检测模型中检测所述车辆的关键点；
根据所述关键点识别所述车辆的朝向与车牌的类型；
查找为所述车辆的朝向训练的校正模型、为所述车牌的类型训练的字符识别模型；
将所述原始图像数据输入所述校正模型中、校正所述关键点所在的区域，获得车辆图像数据；
在所述车辆图像数据中识别所述车牌所在的区域，作为目标车牌图像数据；
将所述目标车牌图像数据输入所述字符识别模型中识别所述车牌中的字符。
2.根据权利要求1所述的方法，其特征在于，所述根据所述关键点识别所述车辆的朝向与车牌的类型，包括：
采用所述关键点计算所述车辆的姿态角；
基于所述姿态角确定所述车辆的朝向；
在所述原始图像数据中，基于所述关键点定位车牌所在的区域，作为原始车牌图像数据；
在所述原始车牌图像数据中检测所述车牌的底色；
基于所述底色识别车牌的类型。
3.根据权利要求2所述的方法，其特征在于，所述在所述原始车牌图像数据中检测所述车牌的底色，包括：
对所述原始车牌图像数据进行下采样，作为候选车牌图像数据；
在候选车牌图像数据中，查询各个像素点的所在的色度范围；
统计各个所述色度范围包含的像素点的数量；
以所述数量最高的所述色度范围对应的颜色，作为所述车牌的底色。
4.根据权利要求2所述的方法，其特征在于，所述基于所述底色识别车牌的类型，包括：
若所述底色为第一颜色，则将所述第一颜色对应的类型设置为车牌的类型；
若所述底色为第二颜色，则计算所述原始车牌图像数据中长边与宽边之间的比例；
将所述第二颜色与所述比例均对应的类型设置为车牌的类型。
5.根据权利要求1所述的方法，其特征在于，所述将所述原始图像数据输入所述校正模型中、校正所述关键点所在的区域，获得车辆图像数据，包括：
查找实际位置相对的所述关键点，作为关键点对；
在维持所述关键点在所述原始图像数据中相对位置的条件下，对所述所述关键点所在的区域进行校正，以使所述关键点对在水平方向对称。
6.根据权利要求5所述的方法，其特征在于，所述查找实际位置相对的所述关键点，作为关键点对，包括：
查找表示挡风玻璃左上角的关键点、表示挡风玻璃右上角的关键点，作为关键点对；
查找表示挡风玻璃左下角的关键点、表示挡风玻璃右下角的关键点，作为关键点对。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述将所述目标车牌图像数据输入所述字符识别模型中识别所述车牌中的字符，包括：
在所述字符识别模型中的第一卷积层中对所述目标车牌图像数据进行卷积处理，以输出第一车牌特征；
在所述字符识别模型中的第二卷积层中对所述第一车牌特征进行卷积处理，以输出第二车牌特征；
在所述字符识别模型中的池化层中对所述第二车牌特征进行池化处理，以输出第三车牌特征；
在所述字符识别模型中的全连接层中对所述第三车牌特征进行映射，以输出所述车牌中的字符。
8.一种车牌的检测装置，其特征在于，包括：
原始图像数据采集模块，用于当车辆到达停车场的入口时，对所述车辆采集原始图像数据；
关键点检测模块，用于将所述原始图像数据输入预置的关键点检测模型中检测所述车辆的关键点；
车辆参数识别模块，用于根据所述关键点识别所述车辆的朝向与车牌的类型；
模型查找模块，用于查找为所述车辆的朝向训练的校正模型、为所述车牌的类型训练的字符识别模型；
车辆图像数据校正模块，用于将所述原始图像数据输入所述校正模型中、校正所述关键点所在的区域，获得车辆图像数据；
目标车牌图像数据识别模块，用于在所述车辆图像数据中识别所述车牌所在的区域，作为目标车牌图像数据；
车牌字符识别模块，用于将所述目标车牌图像数据输入所述字符识别模型中识别所述车牌中的字符。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的车牌的检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的车牌的检测方法。
CN202010785611.7A 2020-08-06 2020-08-06 一种车牌的检测方法、装置、计算机设备和存储介质 Pending CN111950547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010785611.7A CN111950547A (zh) 2020-08-06 2020-08-06 一种车牌的检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010785611.7A CN111950547A (zh) 2020-08-06 2020-08-06 一种车牌的检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111950547A true CN111950547A (zh) 2020-11-17

Family

ID=73331794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010785611.7A Pending CN111950547A (zh) 2020-08-06 2020-08-06 一种车牌的检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111950547A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191653A (zh) * 2019-12-25 2020-05-22 北京精英路通科技有限公司 车牌识别方法、装置、计算机设备及存储介质
CN112766139A (zh) * 2021-01-14 2021-05-07 北京迈格威科技有限公司 目标识别方法及装置、存储介质及电子设备
CN114913690A (zh) * 2022-07-13 2022-08-16 北京融信数联科技有限公司 交通精细化监控方法、系统和可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012063869A (ja) * 2010-09-14 2012-03-29 Nippon Signal Co Ltd:The ナンバープレート読み取り装置
CN103413147A (zh) * 2013-08-28 2013-11-27 庄浩洋 一种车牌识别方法和系统
CN109657664A (zh) * 2017-10-12 2019-04-19 杭州海康威视数字技术股份有限公司 一种车牌类型的识别方法、装置及电子设备
CN110163199A (zh) * 2018-09-30 2019-08-23 腾讯科技（深圳）有限公司 车牌识别方法、车牌识别装置、车牌识别设备及介质
CN110728283A (zh) * 2019-10-11 2020-01-24 高新兴科技集团股份有限公司 一种车牌类型识别方法及设备
CN111144405A (zh) * 2019-12-13 2020-05-12 国网江苏省电力有限公司 一种新能源车辆识别方法及装置
CN111191653A (zh) * 2019-12-25 2020-05-22 北京精英路通科技有限公司 车牌识别方法、装置、计算机设备及存储介质
CN111339846A (zh) * 2020-02-12 2020-06-26 深圳市商汤科技有限公司 图像识别方法及装置、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012063869A (ja) * 2010-09-14 2012-03-29 Nippon Signal Co Ltd:The ナンバープレート読み取り装置
CN103413147A (zh) * 2013-08-28 2013-11-27 庄浩洋 一种车牌识别方法和系统
CN109657664A (zh) * 2017-10-12 2019-04-19 杭州海康威视数字技术股份有限公司 一种车牌类型的识别方法、装置及电子设备
CN110163199A (zh) * 2018-09-30 2019-08-23 腾讯科技（深圳）有限公司 车牌识别方法、车牌识别装置、车牌识别设备及介质
CN110728283A (zh) * 2019-10-11 2020-01-24 高新兴科技集团股份有限公司 一种车牌类型识别方法及设备
CN111144405A (zh) * 2019-12-13 2020-05-12 国网江苏省电力有限公司 一种新能源车辆识别方法及装置
CN111191653A (zh) * 2019-12-25 2020-05-22 北京精英路通科技有限公司 车牌识别方法、装置、计算机设备及存储介质
CN111339846A (zh) * 2020-02-12 2020-06-26 深圳市商汤科技有限公司 图像识别方法及装置、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191653A (zh) * 2019-12-25 2020-05-22 北京精英路通科技有限公司 车牌识别方法、装置、计算机设备及存储介质
CN112766139A (zh) * 2021-01-14 2021-05-07 北京迈格威科技有限公司 目标识别方法及装置、存储介质及电子设备
CN114913690A (zh) * 2022-07-13 2022-08-16 北京融信数联科技有限公司 交通精细化监控方法、系统和可读存储介质

Similar Documents

Publication Publication Date Title
CN108509859B (zh) 一种基于深度神经网络的无重叠区域行人跟踪方法
JP6842520B2 (ja) 物体検出方法、装置、機器、記憶媒体及び車両
CN110427937B (zh) 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
CN111950547A (zh) 一种车牌的检测方法、装置、计算机设备和存储介质
WO2021103721A1 (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
CN110197146B (zh) 基于深度学习的人脸图像分析方法、电子装置及存储介质
CN109165589B (zh) 基于深度学习的车辆重识别方法和装置
CN111027504A (zh) 人脸关键点检测方法、装置、设备及存储介质
CN108428248B (zh) 车窗定位方法、系统、设备及存储介质
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
Molina-Moreno et al. Efficient scale-adaptive license plate detection system
US9613272B2 (en) Image analyzing device, image analyzing method, and recording medium storing image analyzing program
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN104778699B (zh) 一种自适应对象特征的跟踪方法
CN113947766A (zh) 一种基于卷积神经网络的实时车牌检测方法
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
WO2021138893A1 (zh) 车牌识别方法、装置、电子设备及存储介质
CN110020688B (zh) 基于深度学习的遮挡行人检测方法
CN116912517A (zh) 相机视野边界的检测方法及装置
CN115527083B (zh) 图像标注方法、装置和电子设备
CN114627339B (zh) 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质
CN112818837B (zh) 一种基于姿态校正和困难样本感知的航拍车辆重识别方法
CN114296545A (zh) 一种基于视觉的无人机手势控制方法
CN111639640A (zh) 基于人工智能的车牌识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination