CN106971185A - 一种基于全卷积网络的车牌定位方法及装置 - Google Patents
一种基于全卷积网络的车牌定位方法及装置 Download PDFInfo
- Publication number
- CN106971185A CN106971185A CN201710188171.5A CN201710188171A CN106971185A CN 106971185 A CN106971185 A CN 106971185A CN 201710188171 A CN201710188171 A CN 201710188171A CN 106971185 A CN106971185 A CN 106971185A
- Authority
- CN
- China
- Prior art keywords
- license plate
- car plate
- region
- convolutional layer
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000003475 lamination Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000006740 morphological transformation Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种基于全卷积网络的车牌定位方法及装置。该方法包括：采用预先基于第一全卷积神经网络结构训练得到的车牌定位模型，确定待检测车辆图片中包含的至少一个车牌图片初分区域；对包含至少一个车牌图片初分区域的待检测车辆图片进行处理，得到待检测车辆图片中包含的候选车牌区域；采用预先基于第二全卷积神经网络结构训练得到的车牌首字识别模型，确定候选车牌区域的首字符是否为车牌首字符；若候选车牌区域的首字符为车牌首字符，则确定候选车牌区域是车牌，并在待检测车辆图片中绘制车牌所在位置。本发明实施例可以从自然场景的待检测车辆图片中定位出车牌区域，提高了车牌区域的定位效率和精度。
Description
技术领域
本发明实施例涉及计算机视觉和机器学习技术领域，尤其涉及一种基于全卷积网络的车牌定位方法及装置。
背景技术
目前，在智能交通领域，车牌定位具有较高的研究和应用价值，如停车场自动收费，交通监控中自动搜索车牌信息等。尽管近些年来该研究取得了很大的进展，但仍无法很好地解决如自然场景下，低亮度、低分辨率和多车辆，车辆倾斜等环境下的车牌定位问题。因此，如何能从自然场景的车辆视频图像中定位出车牌区域，是车牌识别系统及交通监控、车辆门禁等应用中的重要课题。
发明内容
本发明实施例提供一种基于全卷积网络的车牌定位方法及装置，可以提高车牌区域的定位效率和精度。
一方面，本发明实施例提供了一种基于全卷积网络的车牌定位方法，包括：
采用预先基于第一全卷积神经网络结构训练得到的车牌定位模型，确定待检测车辆图片中包含的至少一个车牌图片初分区域；
对包含所述至少一个车牌图片初分区域的待检测车辆图片进行处理，得到所述待检测车辆图片中包含的候选车牌区域；
采用预先基于第二全卷积神经网络结构训练得到的车牌首字识别模型，确定所述候选车牌区域的首字符是否为车牌首字符；
若所述候选车牌区域的首字符为车牌首字符，则确定所述候选车牌区域是车牌，并在所述待检测车辆图片中绘制车牌所在位置。
另一方面，本发明实施例还提供了一种基于全卷积网络的车牌定位装置，包括：
车牌初分模块，用于采用预先基于第一全卷积神经网络结构训练得到的车牌定位模型，确定待检测车辆图片中包含的至少一个车牌图片初分区域；
候选车牌模块，用于对包含所述至少一个车牌图片初分区域的待检测车辆图片进行处理，得到所述待检测车辆图片中包含的候选车牌区域；
车牌首字符模块，用于采用预先基于第二全卷积神经网络结构训练得到的车牌首字识别模型，确定所述候选车牌区域的首字符是否为车牌首字符；
车牌定位模块，用于若所述候选车牌区域的首字符为车牌首字符，则确定所述候选车牌区域是车牌，并在所述待检测车辆图片中绘制车牌所在位置。
本发明实施例提供的技术方案，预先基于全卷积神经网络结构训练得到车牌定位模型和车牌首字识别模块，将待检测车辆图片作为车牌定位模型的输入得到待检测车辆图片中包含的至少一个车牌图片初分区域，对车牌图片初分区域进行筛选得到待检测车辆图片中包含的候选车牌区域，随后采用车牌首字识别模型确定候选车牌区域的首字符是否为车牌首字符，若是，则确定候选车牌区域是车牌，并在待检测车辆图片中绘制车牌所在位置。该方案可以从自然场景的待检测车辆图片中定位出车牌区域，提高了车牌区域的定位效率和精度。
附图说明
图1为本发明实施例一中提供的一种基于全卷积网络的车牌定位方法的流程图；
图2为本发明实施例二中提供的一种基于全卷积网络的车牌定位方法的流程图；
图3为本发明实施例三中提供的一种基于全卷积网络的车牌定位装置的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中提供的一种基于全卷积网络的车牌定位方法的流程图。本实施例的方法可以由基于全卷积网络的车牌定位装置来执行，该装置可通过硬件和/或软件的方式实现。参考图1，本实施例提供的基于全卷积网络的车牌定位方法具体可以包括如下：
步骤11、采用预先基于第一全卷积神经网络结构训练得到的车牌定位模型，确定待检测车辆图片中包含的至少一个车牌图片初分区域。
其中，第一全卷积神经网络结构可以是自定义的FCN8全卷积网络，例如可以通过将VGG16模型里Pool5层之后的全连接层结构修改为卷积层结构得到。VGG16模型的第一卷积层包括1个卷积层、1个ReLU层、1个Pool层和1个LRN层；第二卷积层包括1个卷积层、1个ReLU层、1个Pool层和1个LRN层；第三卷积层包括1个卷积层和1个ReLU层；第四卷积层包括1个卷积层和1个ReLU；第五卷积层包括1个卷积层、1个ReLU层和1个Pool层；第六层至第八层均是全连接层。
示例性的，所述第一全卷积神经网络结构可以为：第一卷积层包括1个卷积层、1个ReLU层、1个Pool层和1个LRN层；第二卷积层包括1个卷积层、1个ReLU层、1个Pool层和1个LRN层；第三卷积层包括1个卷积层和1个ReLU层；第四卷积层包括1个卷积层和1个ReLU；第五卷积层包括1个卷积层、1个ReLU层和1个Pool层；第六卷积层的滤波器尺寸为7，输出数据形体为[1x 1x 4096]；第七卷积层的滤波器尺寸为1x 1，输出数据形体为[1x 1x4096]；第八卷积层的滤波器尺寸为1x 1，输出数据形体为[1x 1x 2]；第九反卷积放大层用于将所述第八卷积层的输出结果放大到第一卷积层的输入图片的尺寸。
具体的，通过调整VGG16模型里Pool5层之后的全连接层结构实现fine-tune(微调)。Pool5原形状为[7x7x512]，修改Pool5层后第1个全连接层FC6为卷积层(原形状为[7x7x4096])，设置其滤波器尺寸为7，这样第六卷积层接受Pool5层的输入，输出数据形状体就为[1x1x4096]；修改Pool5层后第2个全连接层FC7形成第七卷积层(原形状为[4096])，设置其滤波器尺寸为1x1，这样输出数据体就为[1x1x4096]；修改Pool5层后第3个全连接层FC8形成第八卷积层(原形状为[21])，设置其滤波器尺寸为1x1，这样输出数据体就为[1x1x2]。另外，第一全卷积神经网络结构还包括第九反卷积放大层，第九反卷积放大层用于将第八卷积层的输出结果放大到第一卷积层的输入图片的尺寸。
需要说明的是，该第一全卷积神经网络结构可以接受超过VGG16模型设定的227x227分辨率大小的图片如接收尺寸为w*h的待检测车辆图片，第八卷积层输出两张宽w＇和高h＇尺寸为：w＇＝(w-227)/32+1，h＇＝(h-227)/32+1的缩略图片，其中一张缩略图片是滤除车牌的背景缩略图，一张缩略图是滤除背景的车牌缩略图。第九反卷积层将第八卷积层输出的背景缩略图和车牌缩略图放大到待检测车辆图片的尺寸，得到背景图片和车牌图片。
具体的，预先将包含车牌的样本车辆图片作为训练样本集，对全卷积神经网络结构进行训练得到车牌定位模型。待检测车辆图片的尺寸与样本车辆图片的尺寸相同，如剪裁原车辆图片至640*480大小，若原车辆图片的长宽比不为4:3，则以图片中心开始剪裁得到640*480的待检测车辆图片。将640*480的待检测车辆图片输入到车牌定位模型中，车牌定位模型基于全卷积神经网络处理确定待检测车辆图片中包含的图片初分区域，以及图片初分区域中包含车牌的概率，且将概率大于概率阈值的图片初分区域确定为车牌图片初分区域。
步骤12、对包含所述至少一个车牌图片初分区域的待检测车辆图片进行处理，得到所述待检测车辆图片中包含的候选车牌区域。
具体的，可以依据预设的车牌筛选条件对待检测车辆图片中包含的车牌图片初分区域进行处理，如滤除不符合车牌筛选条件的车牌图片初分区域得到待检测车辆图片中包含的候选车牌区域。其中车牌筛选条件可以是车牌区域内像素数量大于200，车牌区域的长宽比在2.5-4之间。
步骤13、采用预先基于所述全卷积神经网络结构训练得到的车牌首字识别模型，确定所述候选车牌区域的首字符是否为车牌首字符。
其中，第二全卷积神经网络结构可以接受的图片尺寸，与第一全卷积神经网络结构可以接受的图片尺寸相同。第二全卷积神经网络结构可以与第一全卷积神经网络结构相同，也是自定义的FCN8全卷积网络；第二全卷积神经网络结构也可以与第一全卷积神经网络结构不同，如第二全卷积神经网络结构是自定义的FCN32全卷积网络。
具体的，还预先将包含车牌的样本车辆图片作为训练样本集，对第二全卷积神经网络结构进行训练得到车牌首字识别模型，设置车牌首字识别模型的输出数目为车牌首字的字符集数，以中文车牌为例，车牌首字的字符集数是29，车牌首字符有29种。将包含候选车牌区域的待检测车辆图片输入到车牌首字识别模型中，车牌首字识别模型确定每个候选车牌区域的首字是否为车牌首字符。
步骤14、若所述候选车牌区域的首字符为车牌首字符，则确定所述候选车牌区域是车牌，并在所述待检测车辆图片中绘制车牌所在位置。
具体的，针对每一候选车牌区域，若该候选车牌区域的首字符为车牌首字符，则将该候选车牌区域确定为车牌；否则丢弃该候选车牌区域。需要说明的是，该方法适用于多车牌定位，即可以在待检测车辆图片中绘制多个车牌所在的位置。
本实施例提供的技术方案，预先基于全卷积神经网络结构训练得到车牌定位模型和车牌首字识别模块，将待检测车辆图片作为车牌定位模型的输入得到待检测车辆图片中包含的至少一个车牌图片初分区域，对车牌图片初分区域进行筛选得到待检测车辆图片中包含的候选车牌区域，随后采用车牌首字识别模型确定候选车牌区域的首字符是否为车牌首字符，若是，则确定候选车牌区域是车牌，并在待检测车辆图片中绘制车牌所在位置。该方案可以从自然场景的待检测车辆图片中定位出车牌区域，提高了车牌区域的定位效率和精度。
示例性的，基于全卷积神经网络结构训练得到车牌定位模型，可以包括：
A、收集包含车牌的样本车辆图片，并标注所述样本车辆图片中包含的车牌区域，作为所述车牌定位模型的训练样本集。
具体的，选择自然场景下人眼可见的样本车辆图片，车牌所在位置不能有遮挡。剪裁样本车辆图至统一大小640*480，若原始图片比例不为4:3，则以图片中心开始，剪裁成640*480的图片。并且标注样本车辆图片中包含的车牌区域，得到车牌定位模型的训练样本集。
B、采用所述训练样本集对第一全卷积神经网络结构进行训练，得到所述车牌定位模型。
具体的，将样本车辆图片作为第一全卷积神经网络结构的输入进行训练，并结合样本车辆图片中车牌区域的特征，得到车牌定位模型。
示例性的，步骤12可以包括：
A、采用形态学变换技术滤除所述待检测车辆图片中除所述至少一个车牌图片初分区域外的噪声区域。
具体的，采用腐蚀，膨胀，开运算和闭运算中的至少一种形态学组合变换，去掉车牌定位模型输出数值为0的噪声区域。
B、采用轮廓算法，对包含所述至少一个车牌图片初分区域的待检测车辆图片进行边框查找，得到多个边框区域。
其中，轮廓算法可以是OpenCV轮廓算法。
C、滤除像素数量小于预设像素阈值的边框区域，并滤除长宽比不属于预设的车牌长宽比范围的边框区域，得到所述候选车牌区域。
其中，预设像素阈值可以是200，预设的车牌长宽比范围可以是2.5-4。
示例性的，基于第二全卷积神经网络结构训练得到车牌首字识别模型，可以包括：收集包含车牌的样本车辆图片，并标注所述样本车辆图片中包含的车牌首字符区域，作为所述车牌首字识别模型的训练样本集；采用该训练样本集对第二全卷积神经网络结构进行训练，得到所述车牌首字识别模型。
实施例二
图2为本发明实施例二中提供的一种基于全卷积网络的车牌定位方法的流程图。参考图2，该方法具体可以包括：
步骤21、采用预先基于第一全卷积神经网络结构训练得到的车牌定位模型，确定待检测车辆图片中包含的至少一个车牌图片初分区域。
步骤21、对包含所述至少一个车牌图片初分区域的待检测车辆图片进行处理，得到所述待检测车辆图片中包含的候选车牌区域。
步骤23、采用预先基于第二全卷积神经网络结构训练得到的车牌首字识别模型，确定所述候选车牌区域的首字符是否为车牌首字符。
步骤24、若所述候选车牌区域的首字符为车牌首字符，则确定所述首字符的特征点坐标以及所述候选车牌区域的宽度和高度。
其中，首字符的特征点坐标可以是首字符左上角点的坐标和首字符右下角点的坐标。具体的，可以采用轮廓算法确定候选车牌区域对应的边框区域，将边框区域的宽度和高度作为候选车牌区域的宽度和高度。
25、依据所述候选车牌区域的宽度和高度以及所述首字符的特征点坐标，确定所述首字符是否位于所述候选车牌区域内部。
具体的，以(x1，y1)和(x2，y2)分别表示一首字符的特征点坐标，W表示该首字符所属候选车牌区域的宽度，H表示候选车牌区域的高度，若x1>0、x1<W、y1>0且y1<H同时成立，则确定首字符位于候选车牌区域内部；否则，确定首字符不位于候选车牌区域内部。
26、若是，则确定所述候选车牌区域是车牌，并在所述待检测车辆图片中绘制车牌所在位置；否则，滤除所述候选车牌区域。
本实施例提供的技术方案，将待检测车辆图片作为车牌定位模型的输入得到待检测车辆图片中包含的至少一个车牌图片初分区域，对车牌图片初分区域进行筛选得到待检测车辆图片中包含的候选车牌区域，随后采用车牌首字识别模型确定候选车牌区域的首字符是否为车牌首字符，若是，则依据候选车牌区域的宽度和高度以及首字符的特征点坐标，继续确定首字符是否位于候选车牌区域内部，并依据确定结果在待检测车辆图片中绘制车牌所在位置。该方案避免了车牌不存在于待检测车辆图片的情况，进一步提高了车牌定位的准确度。
实施例三
本实施例提供了一种基于全卷积网络的车牌定位装置。图3为本发明实施例三中提供的一种基于全卷积网络的车牌定位装置的结构图，如图3所示，该基于全卷积网络的车牌定位装置可以包括：
车牌初分模块31，用于采用预先基于第一全卷积神经网络结构训练得到的车牌定位模型，确定待检测车辆图片中包含的至少一个车牌图片初分区域；
候选车牌模块32，用于对包含所述至少一个车牌图片初分区域的待检测车辆图片进行处理，得到所述待检测车辆图片中包含的候选车牌区域；
车牌首字符模块33，用于采用预先基于第二全卷积神经网络结构训练得到的车牌首字识别模型，确定所述候选车牌区域的首字符是否为车牌首字符；
车牌定位模块34，用于若所述候选车牌区域的首字符为车牌首字符，则确定所述候选车牌区域是车牌，并在所述待检测车辆图片中绘制车牌所在位置。
示例性的，所述候选车牌模块32具体可以用于：
采用形态学变换技术滤除所述待检测车辆图片中除所述至少一个车牌图片初分区域外的噪声区域；
采用轮廓算法，对包含所述至少一个车牌图片初分区域的待检测车辆图片进行边框查找，得到多个边框区域；
滤除像素数量小于预设像素阈值的边框区域，并滤除长宽比不属于预设的车牌长宽比范围的边框区域，得到所述候选车牌区域。
示例性的，所述车牌定位模块34具体可以用于：
若所述候选车牌区域的首字符为车牌首字符，则确定所述首字符的特征点坐标以及所述候选车牌区域的宽度和高度；
依据所述候选车牌区域的宽度和高度以及所述首字符的特征点坐标，确定所述首字符是否位于所述候选车牌区域内部；
若是，则确定所述候选车牌区域是车牌，并在所述待检测车辆图片中绘制车牌所在位置；否则，滤除所述候选车牌区域。
示例性的，上述基于全卷积网络的车牌定位装置还可以包括车牌定位模型训练模块，所述车牌定位模型训练模块用于：
收集包含车牌的样本车辆图片，并标注所述样本车辆图片中包含的车牌区域，作为所述车牌定位模型的训练样本集；
采用所述训练样本集对第一全卷积神经网络结构进行训练，得到所述车牌定位模型。
示例性的，所述第一全卷积神经网络结构可以为：
第一卷积层包括1个卷积层、1个ReLU层、1个Pool层和1个LRN层；
第二卷积层包括1个卷积层、1个ReLU层、1个Pool层和1个LRN层；
第三卷积层包括1个卷积层和1个ReLU层；
第四卷积层包括1个卷积层和1个ReLU；
第五卷积层包括1个卷积层、1个ReLU层和1个Pool层；
第六卷积层的滤波器尺寸为7，输出数据形体为[1x 1x 4096]；
第七卷积层的滤波器尺寸为1x 1，输出数据形体为[1x 1x 4096]；
第八卷积层的滤波器尺寸为1x 1，输出数据形体为[1x 1x 2]；
第九反卷积放大层用于将所述第八卷积层的输出结果放大到第一卷积层的输入图片的尺寸。
本实施例提供的基于全卷积网络的车牌定位装置，与本发明任意实施例所提供的基于全卷积网络的车牌定位方法属于同一发明构思，可执行本发明任意实施例所提供的基于全卷积网络的车牌定位方法，具备执行基于全卷积网络的车牌定位方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的基于全卷积网络的车牌定位方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于全卷积网络的车牌定位方法，其特征在于，包括：
采用预先基于第一全卷积神经网络结构训练得到的车牌定位模型，确定待检测车辆图片中包含的至少一个车牌图片初分区域；
对包含所述至少一个车牌图片初分区域的待检测车辆图片进行处理，得到所述待检测车辆图片中包含的候选车牌区域；
采用预先基于第二全卷积神经网络结构训练得到的车牌首字识别模型，确定所述候选车牌区域的首字符是否为车牌首字符；
若所述候选车牌区域的首字符为车牌首字符，则确定所述候选车牌区域是车牌，并在所述待检测车辆图片中绘制车牌所在位置。
2.根据权利要求1所述的方法，其特征在于，对包含所述至少一个车牌图片初分区域的待检测车辆图片进行处理，得到所述待检测车辆图片中包含的候选车牌区域，包括：
采用形态学变换技术滤除所述待检测车辆图片中除所述至少一个车牌图片初分区域外的噪声区域；
采用轮廓算法，对包含所述至少一个车牌图片初分区域的待检测车辆图片进行边框查找，得到多个边框区域；
滤除像素数量小于预设像素阈值的边框区域，并滤除长宽比不属于预设的车牌长宽比范围的边框区域，得到所述候选车牌区域。
3.根据权利要求1所述的方法，其特征在于，若所述候选车牌区域的首字符为车牌首字符，则确定所述候选车牌区域是车牌，并在所述待检测车辆图片中绘制车牌所在位置，包括：
若所述候选车牌区域的首字符为车牌首字符，则确定所述首字符的特征点坐标以及所述候选车牌区域的宽度和高度；
依据所述候选车牌区域的宽度和高度以及所述首字符的特征点坐标，确定所述首字符是否位于所述候选车牌区域内部；
若是，则确定所述候选车牌区域是车牌，并在所述待检测车辆图片中绘制车牌所在位置；否则，滤除所述候选车牌区域。
4.根据权利要求1所述的方法，其特征在于，基于第一全卷积神经网络结构训练得到车牌定位模型，包括：
收集包含车牌的样本车辆图片，并标注所述样本车辆图片中包含的车牌区域，作为所述车牌定位模型的训练样本集；
采用所述训练样本集对第一全卷积神经网络结构进行训练，得到所述车牌定位模型。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述第一全卷积神经网络结构为：
第一卷积层包括1个卷积层、1个ReLU层、1个Pool层和1个LRN层；
第二卷积层包括1个卷积层、1个ReLU层、1个Pool层和1个LRN层；
第三卷积层包括1个卷积层和1个ReLU层；
第四卷积层包括1个卷积层和1个ReLU；
第五卷积层包括1个卷积层、1个ReLU层和1个Pool层；
第六卷积层的滤波器尺寸为7，输出数据形体为[1x1x4096]；
第七卷积层的滤波器尺寸为1x1，输出数据形体为[1x1x4096]；
第八卷积层的滤波器尺寸为1x1，输出数据形体为[1x1x2]；
第九反卷积放大层用于将所述第八卷积层的输出结果放大到第一卷积层的输入图片的尺寸。
6.一种基于全卷积网络的车牌定位装置，其特征在于，包括：
车牌初分模块，用于采用预先基于第一全卷积神经网络结构训练得到的车牌定位模型，确定待检测车辆图片中包含的至少一个车牌图片初分区域；
候选车牌模块，用于对包含所述至少一个车牌图片初分区域的待检测车辆图片进行处理，得到所述待检测车辆图片中包含的候选车牌区域；
车牌首字符模块，用于采用预先基于第二全卷积神经网络结构训练得到的车牌首字识别模型，确定所述候选车牌区域的首字符是否为车牌首字符；
车牌定位模块，用于若所述候选车牌区域的首字符为车牌首字符，则确定所述候选车牌区域是车牌，并在所述待检测车辆图片中绘制车牌所在位置。
7.根据权利要求6所述的装置，其特征在于，所述候选车牌模块具体用于：
采用形态学变换技术滤除所述待检测车辆图片中除所述至少一个车牌图片初分区域外的噪声区域；
采用轮廓算法，对包含所述至少一个车牌图片初分区域的待检测车辆图片进行边框查找，得到多个边框区域；
滤除像素数量小于预设像素阈值的边框区域，并滤除长宽比不属于预设的车牌长宽比范围的边框区域，得到所述候选车牌区域。
8.根据权利要求6所述的装置，其特征在于，所述车牌定位模块具体用于：
若所述候选车牌区域的首字符为车牌首字符，则确定所述首字符的特征点坐标以及所述候选车牌区域的宽度和高度；
依据所述候选车牌区域的宽度和高度以及所述首字符的特征点坐标，确定所述首字符是否位于所述候选车牌区域内部；
若是，则确定所述候选车牌区域是车牌，并在所述待检测车辆图片中绘制车牌所在位置；否则，滤除所述候选车牌区域。
9.根据权利要求6所述的装置，其特征在于，还包括车牌定位模型训练模块，所述车牌定位模型训练模块用于：
收集包含车牌的样本车辆图片，并标注所述样本车辆图片中包含的车牌区域，作为所述车牌定位模型的训练样本集；
采用所述训练样本集对第一全卷积神经网络结构进行训练，得到所述车牌定位模型。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述第一全卷积神经网络结构为：
第一卷积层包括1个卷积层、1个ReLU层、1个Pool层和1个LRN层；
第二卷积层包括1个卷积层、1个ReLU层、1个Pool层和1个LRN层；
第三卷积层包括1个卷积层和1个ReLU层；
第四卷积层包括1个卷积层和1个ReLU；
第五卷积层包括1个卷积层、1个ReLU层和1个Pool层；
第六卷积层的滤波器尺寸为7，输出数据形体为[1x1x4096]；
第七卷积层的滤波器尺寸为1x1，输出数据形体为[1x1x4096]；
第八卷积层的滤波器尺寸为1x1，输出数据形体为[1x1x2]；
第九反卷积放大层用于将所述第八卷积层的输出结果放大到第一卷积层的输入图片的尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710188171.5A CN106971185B (zh) | 2017-03-27 | 2017-03-27 | 一种基于全卷积网络的车牌定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710188171.5A CN106971185B (zh) | 2017-03-27 | 2017-03-27 | 一种基于全卷积网络的车牌定位方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106971185A true CN106971185A (zh) | 2017-07-21 |
| CN106971185B CN106971185B (zh) | 2020-03-13 |
Family
ID=59335452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710188171.5A Active CN106971185B (zh) | 2017-03-27 | 2017-03-27 | 一种基于全卷积网络的车牌定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106971185B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107561738A (zh) * | 2017-08-30 | 2018-01-09 | 湖南理工学院 | 基于fcn的tft‑lcd表面缺陷快速检测方法 |
| CN108509954A (zh) * | 2018-04-23 | 2018-09-07 | 合肥湛达智能科技有限公司 | 一种实时交通场景的多车牌动态识别方法 |
| CN108681693A (zh) * | 2018-04-12 | 2018-10-19 | 南昌大学 | 基于可信区域的车牌识别方法 |
| CN108764365A (zh) * | 2018-06-06 | 2018-11-06 | 国网福建省电力有限公司厦门供电公司 | 一种设备标识牌检测方法 |
| CN109034266A (zh) * | 2018-08-16 | 2018-12-18 | 新智数字科技有限公司 | 一种目标图像检测方法、装置及系统 |
| CN109215358A (zh) * | 2018-08-16 | 2019-01-15 | 武汉元鼎创天信息科技有限公司 | 基于全息投影技术的城市信号交叉口安全导向方法和系统 |
| CN109325487A (zh) * | 2018-08-27 | 2019-02-12 | 电子科技大学 | 一种基于目标检测的全种类车牌识别方法 |
| CN110020651A (zh) * | 2019-04-19 | 2019-07-16 | 福州大学 | 基于深度学习网络的车牌检测定位方法 |
| CN110717365A (zh) * | 2018-07-13 | 2020-01-21 | 杭州海康威视数字技术股份有限公司 | 一种获取图片的方法及装置 |
| CN113159204A (zh) * | 2021-04-28 | 2021-07-23 | 深圳市捷顺科技实业股份有限公司 | 车牌识别模型生成方法、车牌识别方法及相关组件 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201447773A (zh) * | 2013-06-13 | 2014-12-16 | Univ Nat Yunlin Sci & Tech | 車牌辨識方法及其手持式電子裝置 |
| CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及系统 |
| CN106022232A (zh) * | 2016-05-12 | 2016-10-12 | 成都新舟锐视科技有限公司 | 基于深度学习的车牌检测方法 |
-
2017
- 2017-03-27 CN CN201710188171.5A patent/CN106971185B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201447773A (zh) * | 2013-06-13 | 2014-12-16 | Univ Nat Yunlin Sci & Tech | 車牌辨識方法及其手持式電子裝置 |
| CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及系统 |
| CN106022232A (zh) * | 2016-05-12 | 2016-10-12 | 成都新舟锐视科技有限公司 | 基于深度学习的车牌检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 罗斌等: "复杂环境下基于角点回归的全卷积神经网络的车牌定位", 《JOURNAL OF DATA ACQUISITION AND PROCESSING》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107561738B (zh) * | 2017-08-30 | 2020-06-12 | 湖南理工学院 | 基于fcn的tft-lcd表面缺陷快速检测方法 |
| CN107561738A (zh) * | 2017-08-30 | 2018-01-09 | 湖南理工学院 | 基于fcn的tft‑lcd表面缺陷快速检测方法 |
| CN108681693A (zh) * | 2018-04-12 | 2018-10-19 | 南昌大学 | 基于可信区域的车牌识别方法 |
| CN108681693B (zh) * | 2018-04-12 | 2022-04-12 | 南昌大学 | 基于可信区域的车牌识别方法 |
| CN108509954A (zh) * | 2018-04-23 | 2018-09-07 | 合肥湛达智能科技有限公司 | 一种实时交通场景的多车牌动态识别方法 |
| CN108764365A (zh) * | 2018-06-06 | 2018-11-06 | 国网福建省电力有限公司厦门供电公司 | 一种设备标识牌检测方法 |
| CN110717365A (zh) * | 2018-07-13 | 2020-01-21 | 杭州海康威视数字技术股份有限公司 | 一种获取图片的方法及装置 |
| CN110717365B (zh) * | 2018-07-13 | 2022-05-31 | 杭州海康威视数字技术股份有限公司 | 一种获取图片的方法及装置 |
| CN109215358A (zh) * | 2018-08-16 | 2019-01-15 | 武汉元鼎创天信息科技有限公司 | 基于全息投影技术的城市信号交叉口安全导向方法和系统 |
| CN109034266A (zh) * | 2018-08-16 | 2018-12-18 | 新智数字科技有限公司 | 一种目标图像检测方法、装置及系统 |
| CN109325487A (zh) * | 2018-08-27 | 2019-02-12 | 电子科技大学 | 一种基于目标检测的全种类车牌识别方法 |
| CN109325487B (zh) * | 2018-08-27 | 2021-12-03 | 电子科技大学 | 一种基于目标检测的全种类车牌识别方法 |
| CN110020651A (zh) * | 2019-04-19 | 2019-07-16 | 福州大学 | 基于深度学习网络的车牌检测定位方法 |
| CN110020651B (zh) * | 2019-04-19 | 2022-07-08 | 福州大学 | 基于深度学习网络的车牌检测定位方法 |
| CN113159204A (zh) * | 2021-04-28 | 2021-07-23 | 深圳市捷顺科技实业股份有限公司 | 车牌识别模型生成方法、车牌识别方法及相关组件 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106971185B (zh) | 2020-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106971185A (zh) | 一种基于全卷积网络的车牌定位方法及装置 | |
| CN108921089A (zh) | 车道线检测方法、装置和系统及存储介质 | |
| CN107944403B (zh) | 一种图像中的行人属性检测方法及装置 | |
| KR20170056474A (ko) | 건축물 높이 산출 방법, 장치 및 저장 매체 | |
| CN111191570B (zh) | 图像识别方法和装置 | |
| CN109635768A (zh) | 一种图像帧中停车位状态检测方法、系统及相关设备 | |
| CN110443212B (zh) | 用于目标检测的正样本获取方法、装置、设备及存储介质 | |
| CN106934455B (zh) | 基于cnn的遥感影像光学适配结构选取方法及系统 | |
| CN111915583B (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
| CN112084869A (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
| CN105868708A (zh) | 一种图像目标识别方法及装置 | |
| CN103577828B (zh) | 一种基于边缘特征的道路检测方法 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN112052782A (zh) | 基于环视的停车位识别方法、装置、设备及存储介质 | |
| CN109190639A (zh) | 一种车辆颜色识别方法、装置及系统 | |
| CN110008900A (zh) | 一种由区域到目标的可见光遥感图像候选目标提取方法 | |
| CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及系统 | |
| CN107292346A (zh) | 一种基于局部子空间学习的mr图像海马体分割算法 | |
| CN114708566A (zh) | 一种基于改进YOLOv4的自动驾驶目标检测方法 | |
| CN109448058A (zh) | 装载位置三维坐标获取方法、系统及图像识别设备 | |
| CN114781514A (zh) | 一种融合注意力机制的漂浮物目标检测方法及系统 | |
| CN106529471B (zh) | 车脸定位方法和系统 | |
| CN116486312B (zh) | 一种视频图像的处理方法、装置、电子设备和存储介质 | |
| CN111292331B (zh) | 图像处理的方法与装置 | |
| CN117522801A (zh) | 道路图像的坑洞检测方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191230 Address after: 410-412, building g, gangshenchuangxinyuan, No. 38, Huaning Road, Xinshi community, Dalang street, Longhua District, Shenzhen City, Guangdong Province Applicant after: Zhang Dongsen Address before: 518000 Guangdong Province, Shenzhen New District of Longhua City, Dalang street, Li Rong Road No. 1 (Chang Yi Industrial Factory Building 1 floor 4-5) Applicant before: SHENZHEN FIGIGANTIC ELECTRONIC CO., LTD. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |