CN111027564A - 基于深度学习一体化的低照度成像车牌识别方法及装置 - Google Patents
基于深度学习一体化的低照度成像车牌识别方法及装置 Download PDFInfo
- Publication number
- CN111027564A CN111027564A CN201911325609.5A CN201911325609A CN111027564A CN 111027564 A CN111027564 A CN 111027564A CN 201911325609 A CN201911325609 A CN 201911325609A CN 111027564 A CN111027564 A CN 111027564A
- Authority
- CN
- China
- Prior art keywords
- license plate
- low
- illumination
- layer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 40
- 238000003384 imaging method Methods 0.000 title claims abstract description 31
- 230000010354 integration Effects 0.000 title claims abstract description 29
- 238000012937 correction Methods 0.000 claims abstract description 63
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000002708 enhancing effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 239000010410 layer Substances 0.000 description 74
- 210000004027 cell Anatomy 0.000 description 53
- 238000010586 diagram Methods 0.000 description 11
- 210000005266 circulating tumour cell Anatomy 0.000 description 10
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
- G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种基于深度学习一体化的低照度成像车牌识别方法及装置，所述方法包括：基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强；通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正；通过一体化的深度网络模型对倾斜校正后的车牌区域进行识别；所述一体化的深度网络模型包括卷积层、BRNN层、线性变换层和CTC层。通过本发明实施例，能够提高提高低照度车牌识别的效率、实时性及准确度。
Description
技术领域
本发明属于计算机视觉与智慧交通技术领域，具体是涉及到一种基于深度学习一体化的低照度成像车牌识别方法、装置、终端设备及计算机可读介质。
背景技术
目前，低照度下获取的图像灰度范围窄、灰度变化不明显，且相邻像素的空间关联性高，这些特点使得图像中的细节、背景和噪声等都包含在较窄的灰度范围之内。因此为了改善低照度下获取的图像的视觉效果，将其转换为一种更适于人眼观察和计算机处理的形式，便于提取有用信息，需要对被拍摄物在低照度下的成像进行处理。具体的在车牌识别应用中,当车牌图像质量不高时,目前主要的技术思路是针对单帧图像利用相关的数字图像处理技术(如图像滤波等)进行相应的处理，以提高图像的质量。这些方法，大都是传统的思路，通常来说，会存在图像细节不够清晰，识别细节不够准确，处理效果往往根据环境不同而变化较大。再者，现有技术需要对低照度成像车牌中的字符进行切割，计算量巨大，从而会极大地影响车牌识别效率和准确度。
发明内容
有鉴于此，本发明实施例提供一种基于深度学习一体化的低照度成像车牌识别方法、装置、终端设备及计算机可读介质，能够提高提高低照度车牌识别的效率、实时性及准确度。
本发明实施例的第一方面提供了一种基于深度学习一体化的低照度成像车牌识别方法，包括：
基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强；
通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正；所述多信息包括所述车牌区域的边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上；
通过一体化的深度网络模型对倾斜校正后的车牌区域进行识别；所述一体化的深度网络模型包括卷积层、BRNN层、线性变换层和CTC层。
本发明实施例的第二方面提供了一种基于深度学习一体化的低照度成像车牌识别装置，包括：
图像增强模块，用于基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强；
定位校正模块，用于通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正；所述多信息包括所述车牌区域的边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上；
识别模块，用于通过一体化的深度网络模型对倾斜校正后的车牌区域进行识别；所述一体化的深度网络模型包括卷积层、BRNN层、线性变换层和CTC层。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于深度学习一体化的低照度成像车牌识别方法的步骤。
本发明实施例的第四方面提供了一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现上述基于深度学习一体化的低照度成像车牌识别方法的步骤。
本发明实施例提供的基于深度学习一体化的低照度成像车牌识别方法中，可基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强，通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，对定位后的所述车牌区域进行倾斜校正，并通过一体化的深度网络模型对倾斜校正后的车牌区域进行识别，从而可提高提高低照度车牌识别的效率、实时性及准确度
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于深度学习一体化的低照度成像车牌识别方法的流程图；
图2是本发明实施例提供的深度卷积神经网络的结构示意图；
图3是本发明实施例提供的对低照度车辆图像做可辨识度处理前后的对比图；
图4是本发明实施例提供的通过一体化的深度网络模型对经倾斜校正后的车牌区域进行识别的过程示意图；
图5是本发明实施例提供的基于深度学习一体化的低照度成像车牌识别装置的结构示意图；
图6是图5中的图像增强模块的细化结构图；
图7是图5中的定位校正模块的细化结构图；
图8是图5中的识别模块的细化结构图；
图9是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
请参阅图1，图1是本发明实施例提供的基于深度学习一体化的低照度成像车牌识别方法。如图1所示，本实施例的基于深度学习一体化的低照度成像车牌识别方法包括以下步骤：
S101：基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强。
在本发明实施例中，可通过自适应时空滤波方式对低照度车牌图像进行去噪处理，基于改进的深度卷积神经网络，将去噪后的低照度车牌图像进行卷积自编码处理，提高所述去噪后的低照度车牌图像的对比度，并保留所述去噪后的低照度车牌图像的图像细节，再可通过伽马校正对经过卷积自编码处理的低照度车牌图像进行亮度增强处理。
进一步地，关于去噪处理，通常来说，去除噪声和亮度映射过程中均会损失图像的细节信息，因此本发明实施例选取保边去噪效果比较好的自适应时空滤波去除低照度车辆图像中的噪声，自适应时空滤波方法同现有技术，故在此不再赘述。经过自适应时空滤波之后，低照度车辆图像的噪声可以得到很大的改善。
进一步地，关于将去噪后的低照度车牌图像进行卷积自编码处理，现行的深度神经网络结构，诸如AlexNet、ResNet等基于图像分类和目标检测的研究，并不可能被直接应用于微光图像复原。本发明算法采用了一种包含并行卷积层、跳跃结构和子像素卷积层的改进的深度卷积神经网络，其结构如图2所示。结构图中所示结构网络主要为卷积层和子像素卷积层，其中，W1为并行卷积层，W2、W4和W5为卷积层，W3为子像素卷积层，卷积层和子像素卷积层可采用编码-解码模式进行连接，卷积层主要用来进行特征提取和增强，实现去噪和对比度提升。网络中还包括非线性激活层，主要结合卷积层和子像素卷积层来逼近任意函数，这里采用近似生物神经激活的ReLU(x)＝max(0，x)函数。
本发明系统实施例设计的深度卷积神经网络的输入和输出的图像具有相同的尺寸w×h×d，其中w，h，d分别为图像的宽度、高度和维度，由于微光图像为灰度图像，因此其维度d＝1。设F0(x)＝x表示输入，Fl(0＜l≤L)表示卷积层或子像素卷积层的输出，Wl，bl分别表示卷积层或子像素卷积层的卷积核的权重和偏差，*表示卷积或子像素卷积操作，W11＝3×3×128、W12＝5×5×128和W13＝7×7×128分别表示第一并行卷积层包含的3种不同尺度大小的卷积核的权重，深度卷积神经网络的第W1、W2、W3层的输出F1(x)、F2(x)、F3(x)可表示为：
F2(x)＝max(0，W2*F1(x)+b2) (2)
F3(x)＝max(0，W3*F2(x)+b3) (3)
其中，
对于第W4层，由于跳跃结构的引入，涉及到求和操作，其输出可表示为：
F4(x)＝max(0，W4*(F2(x)+F3(x))+b4) (4)
对于第W5层，由于主要目的是进行输出地转换，仅对前一层进行线性组合，因此没有使用Re-LU激活函数，其输出可表示为：
F5(x)＝W5*F4(x)+b5 (5)
进一步地，关于亮度增强处理，Gamma校正可包含以下三个步骤：1)归一化：将像素值转换为0～1之间的实数；2)求输出值：根据预设的Gamma值所绘制的符合需求的Gamma曲线，将归一化后的像素值代入曲线中，求得相应的输出值；3)反归一化：将经过预补偿的实数值反变换为图像的整数值。最后可得出相应的校正结果，Gamma校正主要为了提高图像的亮度，最后输出高质量清晰的低照度车辆图像。图3为低照度车辆图像处理前后的对比图，其中，左边竖直排列的四幅为处理前的图像，右边竖直排列的四幅为相应的处理后的图像，可以发现本发明实施例提供的算法在增强图像对比度的同时更多的保留了场景细节信息，且图像亮度有明显提升，是一种高效的基于深度学习的低照度成像算法。
S102：通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正。
在本发明实施例中，判断一个区域是否为车牌时可以借鉴人类定位物体方式。车牌区域的边缘密度(车牌区域的边缘位置处的密度)与其周围区域，特别是其下方区域相比较大，是一项重要的环境信息。通过环境信息，可以排除大量非车牌区域；对于单层车牌，所有字符分布在一条直线上，对于双层车牌，下层车牌所有字符分布在一条直线上，这是车牌的结构信息；车牌除汉字外的每个字符都是字母或者数字，这是车牌的部件信息。通过这3类信息的融合运用，可以获得很好的车牌定位效果。
首先可基于环境信息对车牌区域进行粗定位(或称为初步定为)，具体可采用灰度图像进行车牌的粗定位，通过梯度算子[-1 0 1]得到车牌图像的边缘图：1)车牌区域的边缘密度较大，但是如果密度值过大则不属于车牌区域；2)车牌区域边缘密度相对其相邻区域较大；3)车牌区域边缘密度分布较均匀。同时，一般对于大多数车牌定位的场景来说，车牌区域在图像中的大小分布在某一已知范围内。根据上述分析，可设图像中车牌最小尺寸为Wmin，Hmin，最大尺寸为Wmax，Hmax，其中Wmin，Hmin，Wmax，Hmax分别是图像中的最小宽度和高度以及最大宽度和高度，通过如下步骤可实现车牌的粗定位：
1)将整幅图像分为小的单元(cell)，并计算每个单元(cell)的边缘密度。每个单元的尺寸为w×h，其中w＝h＝Hmin/2。对于每个小单元(cell)，计算其边缘密度：
式中，Em,n表示第m行，第n列单元(cell)的边缘密度。ei,j表示边缘图中第i行，第j列的像素值。
2)根据边缘密度值过滤背景区域。车牌区域边缘密度分布在一定范围内可以根据：
过滤背景区域，其中Ai,j＝1表示第i行第j列的单元(cell)属于车牌的候选区域，Ai,j＝0表示该单元(cell)属于背景区域，t1和t2为边缘密度的低阈值和高阈值。
3)根据当前单元(cell)同其下方单元(cell)的边缘密度对比过滤背景区域。通过观察，车牌区域的边缘密度大于其他周围区域的边缘密度，尤其大于其下方区域的边缘密度。因此，在这一步主要通过对比每个单元(cell)同其下方单元(cell)的边缘密度来过滤背景区域。选择当前单元(cell)同其下方第Hmax/h个单元(cell)进行比对。如果当前单元(cell)同其下方第Hmax/h个单元(cell)的边缘密度对比大于给定阈值，认为其属于车牌候选区域，否则将齐过滤。
4)根据车牌区域边缘密度分布是否均匀过滤背景区域。由于车牌区域边缘密度分布比较均匀，因此当有一个单元(cell)属于车牌区域时，其邻域中应存在与其边缘密度比较接近的单元(cell)。因此，可以计算当前单元(cell)左侧及右侧邻域中与当前单元(cell)边缘密度接近的单元(cell)个数，如果该个数大于给定阈值，则判定当前单元(cell)属于车牌候选区域，否则当前单元(cell)属于背景区域，并将其过滤。
5)根据车牌区域的尺寸过滤背景区域。车牌区域具有一定的尺寸，当一个单元(cell)所在的连通区域包含的单元(cell)个数小于(Wmin/w)×(Hmin/h)，或大于(Wmax/w)×(Hmax/h)时，则将该单元(cell)所在的连通区域过滤。
经过上述几个步骤，所述低照度车牌图像中的大部分背景区域会被过滤掉。
进一步地，在对车牌区域进行初步定位后，可基于车牌结构信息对车牌区域做精确定位(二次定位)。通过粗定位过程，大部分背景区域被过滤，对于没有被过滤的剩余区域，通过车牌结构信息可进行精确定位。所述车牌结构信息包括车牌上的字符分布在一条直线或两条直线上，即一个车牌由分布在一条直线或者两条直线上的字符构成，通过车牌字符的分布信息，可以精确定位车牌区域。车牌图像具有亮底暗字和暗底亮字两种类型，仅适用单一形态学操作无法同时成功提取出字符区域进行车牌定位。因此，可提出伪字符的概念，即将车牌字符之间的间隔部分看做是伪字符，通过成对的形态学操作(对于暗底亮字车牌，高帽运算提取其字符区域，低帽运算提取其伪字符区域；对于亮底暗字车牌，高帽运算提取其伪字符区域，低帽运算提取其字符区域)，将字符信息和车牌背景信息(伪字符)进行显式结合，能够在统一的框架下检测两种类型的车牌。这里的高帽运算(top-hat)通过原图像和开运算图像作差，能够提取局部较亮的区域；而低帽变换(bot-hat)通过原图像和闭运算图像作差，能够提取出局部较暗的区域。具体地，首先通过成对的形态学操作算子(高帽运算，低帽运算)对车牌候选区域进行运算，并对结果进行二值化以及连通成分分析，获取每个字符和伪字符的候选区域，提取车牌字符和伪字符，对于所有候选区域，通过霍夫变换进行直线检测，进而得到车牌的精确位置。由于大部分背景区域已经被滤除，小范围内的形态学操作能够很快地完成。粗定位结合细定位的车牌定位方法可以有效的提高车牌定位的速度，并通过排除大部分的背景图像提高了车牌定位的准确率。最后，将精确定位后的车牌图像进行截取并输出。
进一步地，在将精确定位后输出的车辆图像进行非极大值抑制处理，并将进行非极大值抑制处理后的低照度车牌图像中的车牌区域进行基于霍夫变换的倾斜校正，得到最终定位后的车牌图像。本发明实施例使用的是现行简单高效的基于贪心策略的非极大值抑制算法，故在此不做多赘述。经过非极大值抑制处理后的车牌图像可再进行基于霍夫变换的倾斜校正。霍夫变换是一种强有力的特征提取方法，它利用局部图像信息有效的积累所有可能的模型实例的依据，这使得它既能方便的从外部数据中获得额外的信息，又能敏锐的从只有一部分的实例中呈现出有效信息。霍夫变换普遍应用在计算机视觉中形状，位置，几何变换参数的判断中。自霍夫变换提出以来，其得到了广泛的应用。近些年，专家学者们对霍夫变换的理论性质与应用方法又进行了进一步的探讨。霍夫变换作为一种有效的识别直线的算法，具有良好的抗干扰性及鲁棒性。霍夫变换方法包含一个从图像空间中的特征到参数空间中点的集合的映射。每一个参数空间中的点表征着图像空间中模型的一个实例，图像特征利用一个函数被映射到参数空间当中去，这个函数产生能够兼容观察到的图像特征与假设的模型的所有的参数组合。每一个图像特征将在多维的参数空间中产生一个不同的平面，但是由所有图像特征产生的属于同一个模型的实例的一切平面都会相交在描绘共同的实例的点。霍夫变换的根本是产生这些平面并且识别与之相交的参数点。
S103：通过一体化的深度网络模型对倾斜校正后的车牌区域进行识别。
在本发明实施例中，所述一体化的深度网络模型包括卷积层、双向循环神经网络(BRNN)层、线性变换层和联结主义时间分类(CTC)层。具体地，可结合图4，对通过一体化的深度网络模型对倾斜校正后的车牌区域进行识别的具体方法进行理解，如下：
第一步，对倾斜校正后的车牌区域(例如，桂A.02U10)进行RoI(感兴趣区域)池化后的特征提取，将提取的特征(例如，为区域特征C×X×Y)通过两个卷积层，以及两个卷积层之间的矩形池化层进行处理，以将所述提取的特征变换为特征序列D×L；其中，D＝512,L＝19，所述特征序列使用V＝(V1,V2,...,VL)表示。
第二步，在BRNN层应用所述特征序列V，形成两个相互分离的循环神经网络(RNN)，其中一个RNN前向处理所述特征序列V，另外一个RNN后向处理所述特征序列V，将两个隐含的状态级联一起，输入到具有37个输出的线性变换层中，并转到Softmax层，将所述37个输出转换到概率，所述概率对应26个字母、10个数字及一个非字符类的概率，所述概率经过BRNN层编码，使所述特征序列V转换到与L具有相同长度的概率估计q＝(q1,q2,...,qL)，同时使用长短期记忆网络(LSTM)定义包含三个乘法门的记忆细胞，以选择性地保存相关信息，解决RNN训练中的梯度消失问题。
第三步，通过CTC层对所述概率估计q做序列解码，并通过解码后的概率估计q寻找具有最大概率的近似最优路径：
其中，π*是具有最大概率的近似最优路径(例如，*A02U10)，B算子用于一处重复的标记及非字符标记，P为概率运算，示例为：B(a-a-b-)＝B(-a--a-bb)＝(aab)，而CTC的具体细节为现有CTC的构造，故在此不做赘述。
第四步，通过所述近似最优路径确定一体化的深度网络模型的损失函数，并通过所述损失函数对经倾斜校正后的车牌区域进行识别。通过模型整体的损失函数对经倾斜校正后的车牌区域进行识别的方法同现有技术，故在此不再赘述。需要指出的是，所述一体化的深度网络模型除了包括主要的卷积层(两个)、BRNN层、线性变换层和CTC层之外，还可包括Softmax层和两个卷积层之间的矩形池化层，且所述卷积层也可以看做是卷积神经网络。
此外，在本发明的一个实施例中，在上述第一步之前，还可包括对倾斜校正后的车牌区域进行检测的步骤，具体可以为：对所述倾斜校正后的车牌区域进行RoI池化，再通过在循环神经网络(RNN)中的两个fc层(全连接层)中加一个提取层，以将所述池化后的特征(或称为区域特征)转化为特征向量，该特征向量用于车牌打分和车牌的边框回归，从而可检测出所述车牌图像中的RoI是否为车牌，再进行下一步骤的车牌的具体识别。可以理解的是，由于在两个FC层中加一个提取层，并通过打分及边框回归的方式对车牌进行检测，因此本发明实施例构建了新的与现有技术不同的RNN。
本发明中提出的方法实际上可嵌入FPGA实现，运用于具有实时输出图像功能的低照度成像车牌识别功能的夜视相机或摄像机监控系统中。
在图1提供的基于深度学习一体化的低照度成像车牌识别方法中，可基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强，通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并利用一体化的深度网络模型对倾斜校正后的车牌区域进行识别，从而可使本发明达到提高信噪比，增强车牌显示图像细节，在低照度环境下更清晰成像车牌的目的，且可避免进行大计算量的字符分割运算，提高低照度车牌的识别效率、实时性及准确度。
请参阅图5，图5是本发明实施例提供的一种基于深度学习一体化的低照度成像车牌识别装置的结构框图。如图5所示，本实施例的基于深度学习一体化的低照度成像车牌识别50包括图像增强模块501、定位校正模块502和识别模块503。图像增强模块501、定位校正模块502和识别模块503分别用于执行图1中的S101、S102和S103中的具体方法，详情可参见图1的相关介绍，在此仅作简单描述：
图像增强模块501，用于基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强。
定位校正模块502，用于通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正；所述多信息包括所述车牌区域的边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上。
识别模块503，用于通过一体化的深度网络模型对倾斜校正后的车牌区域进行识别；所述一体化的深度网络模型包括卷积层、BRNN层、线性变换层和CTC层。
进一步地，可参见图6，图像增强模块501可具体包括去噪单元5011、卷积单元5012和伽马校正单元5013：
去噪单元5011，用于通过自适应时空滤波方式对低照度车牌图像进行去噪处理。
卷积单元5012，用于基于改进的深度卷积神经网络，将去噪后的低照度车牌图像进行卷积自编码处理，提高所述去噪后的低照度车牌图像的对比度，并保留所述去噪后的低照度车牌图像的图像细节。
伽马校正单元5013，用于通过伽马校正对经过卷积自编码处理的低照度车牌图像进行亮度增强处理。
进一步地，可参见图7，定位校正模块502可具体包括初步定位单元5021、二次定位单元5022和倾斜校正单元5023：
初步定位单元5021，用于通过所述低照度车牌图像中的车牌区域的边缘位置处的密度比周围区域的密度更大的特征，初步定位增强了辨识度后的低照度车牌图像中的车牌区域；
二次定位单元5022，用于通过车牌结构信息对经初步定为后的低照度车牌图像中的车牌区域进行二次定位；所述车牌结构信息包括车牌上的字符分布在一条直线或两条直线上；
倾斜校正单元5023，用于将经二次定位后的低照度车牌图像进行非极大值抑制处理，并将进行非极大值抑制处理后的低照度车牌图像中的车牌区域进行基于霍夫变换的倾斜校正。
进一步地，可参见图8，识别模块503可具体包括特征提取单元5031、概率估计单元5032、最优路径单元5033和识别单元5034：
特征提取单元5031，用于对倾斜校正后的车牌区域进行RoI池化后的特征提取，将提取的特征通过两个卷积层，以及两个卷积层之间的矩形池化层进行处理，以将所述提取的特征变换为特征序列D×L；其中，D＝512,L＝19，所述特征序列使用V＝(V1,V2,...,VL)表示。
概率估计单元5032，用于在BRNN层应用所述特征序列V，形成两个相互分离的RNN，其中一个RNN前向处理所述特征序列V，另外一个RNN后向处理所述特征序列V，将两个隐含的状态级联一起，输入到具有37个输出的线性变换层中，并转到Softmax层，将所述37个输出转换到概率，所述概率对应26个字母、10个数字及一个非字符类的概率，所述概率经过BRNN层编码，使所述特征序列V转换到与L具有相同长度的概率估计q＝(q1,q2,...,qL)，同时使用LSTM定义包含三个乘法门的记忆细胞，以选择性地保存相关信息，解决RNN训练中的梯度消失问题。
最优路径单元5033，用于通过CTC层对所述概率估计q做序列解码，并通过解码后的概率估计q寻找具有最大概率的近似最优路径：
其中，π*是具有最大概率的近似最优路径，B算子用于一处重复的标记及非字符标记，P为概率运算。
识别单元5034，用于通过所述近似最优路径确定一体化的深度网络模型的损失函数，并通过所述损失函数识别出所述倾斜校正后的车牌。
图5提供的基于深度学习一体化的低照度成像车牌识别装置，可基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强，通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并利用一体化的深度网络模型对倾斜校正后的车牌区域进行识别，从而可使本发明达到提高信噪比，增强车牌显示图像细节，在低照度环境下更清晰成像车牌的目的，且可避免进行大计算量的字符分割运算，提高低照度车牌的识别效率、实时性及准确度。
图9是本发明一实施例提供的终端设备的示意图。如图9所示，该实施例的终端设备9包括：处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92，例如进行基于深度学习一体化的低照度成像车牌识别的程序。所述处理器90执行所述计算机程序92时实现上述方法实施例中的步骤，例如，图1所示的S101至S103。或者，所述处理器90执行所述计算机程序92时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块501至503的功能。
示例性的，所述计算机程序92可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器91中，并由所述处理器90执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序92在终端设备9中的执行过程。例如，所述计算机程序92可以被分割成图像增强模块501、定位校正模块502和识别模块503。(虚拟装置中的模块)，各模块具体功能如下：
图像增强模块501，用于基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强。
定位校正模块502，用于通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正；所述多信息包括所述车牌区域的边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上。
识别模块503，用于通过一体化的深度网络模型对倾斜校正后的车牌区域进行识别；所述一体化的深度网络模型包括卷积层、BRNN层、线性变换层和CTC层。
所述终端设备9可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备9可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是终端设备9的示例，并不构成对终端设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器90可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91可以是终端设备9的内部存储单元，例如终端设备9的硬盘或内存。所述存储器91也可以是终端设备9的外部存储设备，例如所述终端设备9上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括终端设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及终端设备9所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习一体化的低照度成像车牌识别方法，其特征在于，包括：
基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强；
通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正；所述多信息包括所述车牌区域的边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上；
通过一体化的深度网络模型对倾斜校正后的车牌区域进行识别；所述一体化的深度网络模型包括卷积层、双向循环神经网络BRNN层、线性变换层和联结主义时间分类CTC层。
2.根据权利要求1所述的基于深度学习一体化的低照度成像车牌识别方法，其特征在于，所述基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强，包括：
通过自适应时空滤波方式对低照度车牌图像进行去噪处理；
基于改进的深度卷积神经网络，将去噪后的低照度车牌图像进行卷积自编码处理，提高所述去噪后的低照度车牌图像的对比度，并保留所述去噪后的低照度车牌图像的图像细节；所述改进的深度卷积神经网络包含并行卷积层、跳跃结构和子像素卷积层；
通过伽马校正对经过卷积自编码处理的低照度车牌图像进行亮度增强处理。
3.根据权利要求1所述的基于深度学习一体化的低照度成像车牌识别方法，其特征在于，所述通过多信息融合对增强了辨识度后的所述低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正，包括：
通过所述低照度车牌图像中的车牌区域的边缘位置处的密度比周围区域的密度更大的特征，初步定位增强了辨识度后的低照度车牌图像中的车牌区域；
通过车牌结构信息对经初步定为后的低照度车牌图像中的车牌区域进行二次定位；所述车牌结构信息包括车牌上的字符分布在一条直线或两条直线上；
将经二次定位后的低照度车牌图像进行非极大值抑制处理，并将进行非极大值抑制处理后的低照度车牌图像中的车牌区域进行基于霍夫变换的倾斜校正。
4.根据权利要求1所述的基于深度学习一体化的低照度成像车牌识别方法，其特征在于，所述通过一体化的深度网络模型对倾斜校正后的车牌区域进行识别，包括：
对倾斜校正后的车牌区域进行感兴趣区域RoI池化后的特征提取，将提取的特征通过两个卷积层，以及两个卷积层之间的矩形池化层进行处理，以将所述提取的特征变换为特征序列D×L；其中，D＝512,L＝19，所述特征序列使用V＝(V1,V2,...,VL)表示；
在BRNN层应用所述特征序列V，形成两个相互分离的循环神经网络RNN，其中一个RNN前向处理所述特征序列V，另外一个RNN后向处理所述特征序列V，将两个隐含的状态级联一起，输入到具有37个输出的线性变换层中，并转到Softmax层，将所述37个输出转换到概率，所述概率对应26个字母、10个数字及一个非字符类的概率，所述概率经过BRNN层编码，使所述特征序列V转换到与L具有相同长度的概率估计q＝(q1,q2,...,qL)，同时使用长短期记忆网络LSTM定义包含三个乘法门的记忆细胞，以选择性地保存相关信息，解决RNN训练中的梯度消失问题，
通过CTC层对所述概率估计q做序列解码，并通过解码后的概率估计q寻找具有最大概率的近似最优路径：
其中，π*是具有最大概率的近似最优路径，B算子用于一处重复的标记及非字符标记，P为概率运算；
通过所述近似最优路径确定一体化的深度网络模型的损失函数，并通过所述损失函数识别出所述倾斜校正后的车牌。
5.一种基于深度学习一体化的低照度成像车牌识别装置，其特征在于，包括：
图像增强模块，用于基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强；
定位校正模块，用于通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正；所述多信息包括所述车牌区域的边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上；
识别模块，用于通过一体化的深度网络模型对倾斜校正后的车牌区域进行识别；所述一体化的深度网络模型包括卷积层、双向循环神经网络BRNN层、线性变换层和联结主义时间分类CTC层。
6.根据权利要求5所述的基于深度学习一体化的低照度成像车牌识别装置，其特征在于，所述图像增强模块包括：
去噪单元，用于通过自适应时空滤波方式对低照度车牌图像进行去噪处理；
卷积单元，用于基于改进的深度卷积神经网络，将去噪后的低照度车牌图像进行卷积自编码处理，提高所述去噪后的低照度车牌图像的对比度，并保留所述去噪后的低照度车牌图像的图像细节；所述改进的深度卷积神经网络包含并行卷积层、跳跃结构和子像素卷积层；伽马校正单元，用于通过伽马校正对经过卷积自编码处理的低照度车牌图像进行亮度增强处理。
7.根据权利要求5所述的基于深度学习一体化的低照度成像车牌识别装置，其特征在于，所述定位校正模块包括：
初步定位单元，用于通过所述低照度车牌图像中的车牌区域的边缘位置处的密度比周围区域的密度更大的特征，初步定位增强了辨识度后的低照度车牌图像中的车牌区域；
二次定位单元，用于通过车牌结构信息对经初步定为后的低照度车牌图像中的车牌区域进行二次定位；所述车牌结构信息包括车牌上的字符分布在一条直线或两条直线上；
倾斜校正单元，用于将经二次定位后的低照度车牌图像进行非极大值抑制处理，并将进行非极大值抑制处理后的低照度车牌图像中的车牌区域进行基于霍夫变换的倾斜校正。
8.根据权利要求5所述的基于深度学习一体化的低照度成像车牌识别装置，其特征在于，所述识别模块包括：
特征提取单元，用于对倾斜校正后的车牌区域进行RoI池化后的特征提取，将提取的特征通过两个卷积层，以及两个卷积层之间的矩形池化层进行处理，以将所述提取的特征变换为特征序列D×L；其中，D＝512,L＝19，所述特征序列使用V＝(V1,V2,...,VL)表示；
概率估计单元，用于在BRNN层应用所述特征序列V，形成两个相互分离的循环神经网络RNN，其中一个RNN前向处理所述特征序列V，另外一个RNN后向处理所述特征序列V，将两个隐含的状态级联一起，输入到具有37个输出的线性变换层中，并转到Softmax层，将所述37个输出转换到概率，所述概率对应26个字母、10个数字及一个非字符类的概率，所述概率经过BRNN层编码，使所述特征序列V转换到与L具有相同长度的概率估计q＝(q1,q2,...,qL)，同时使用LSTM定义包含三个乘法门的记忆细胞，以选择性地保存相关信息，解决RNN训练中的梯度消失问题；
最优路径单元，用于通过CTC层对所述概率估计q做序列解码，并通过解码后的概率估计q寻找具有最大概率的近似最优路径：
其中，π*是具有最大概率的近似最优路径，B算子用于一处重复的标记及非字符标记，P为概率运算；
识别单元，用于通过所述近似最优路径确定一体化的深度网络模型的损失函数，并通过所述损失函数识别出所述倾斜校正后的车牌。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述方法的步骤。
10.一种计算机可读介质，所述计算机可读介质存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现如权利要求1-4中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911325609.5A CN111027564A (zh) | 2019-12-20 | 2019-12-20 | 基于深度学习一体化的低照度成像车牌识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911325609.5A CN111027564A (zh) | 2019-12-20 | 2019-12-20 | 基于深度学习一体化的低照度成像车牌识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111027564A true CN111027564A (zh) | 2020-04-17 |
Family
ID=70211208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911325609.5A Pending CN111027564A (zh) | 2019-12-20 | 2019-12-20 | 基于深度学习一体化的低照度成像车牌识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111027564A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022121039A1 (zh) * | 2020-12-10 | 2022-06-16 | 广州广电运通金融电子股份有限公司 | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 |
| CN114758179A (zh) * | 2022-04-19 | 2022-07-15 | 电子科技大学 | 一种基于深度学习的压印字符识别方法及系统 |
| US11948279B2 (en) | 2020-11-23 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and device for joint denoising and demosaicing using neural network |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065142A (zh) * | 2012-12-30 | 2013-04-24 | 信帧电子技术（北京）有限公司 | 车标分割方法及装置 |
| CN106845487A (zh) * | 2016-12-30 | 2017-06-13 | 佳都新太科技股份有限公司 | 一种端到端的车牌识别方法 |
| CN108229474A (zh) * | 2017-12-29 | 2018-06-29 | 北京旷视科技有限公司 | 车牌识别方法、装置及电子设备 |
| CN108416348A (zh) * | 2018-01-29 | 2018-08-17 | 重庆邮电大学 | 基于支持向量机和卷积神经网络的车牌定位识别方法 |
| CN110097515A (zh) * | 2019-04-22 | 2019-08-06 | 苏州千视通视觉科技股份有限公司 | 基于深度学习与时空滤波的低照度图像处理算法及装置 |
| CN110097044A (zh) * | 2019-05-13 | 2019-08-06 | 苏州大学 | 基于深度学习的一阶段车牌检测识别方法 |
-
2019
- 2019-12-20 CN CN201911325609.5A patent/CN111027564A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065142A (zh) * | 2012-12-30 | 2013-04-24 | 信帧电子技术（北京）有限公司 | 车标分割方法及装置 |
| CN106845487A (zh) * | 2016-12-30 | 2017-06-13 | 佳都新太科技股份有限公司 | 一种端到端的车牌识别方法 |
| CN108229474A (zh) * | 2017-12-29 | 2018-06-29 | 北京旷视科技有限公司 | 车牌识别方法、装置及电子设备 |
| CN108416348A (zh) * | 2018-01-29 | 2018-08-17 | 重庆邮电大学 | 基于支持向量机和卷积神经网络的车牌定位识别方法 |
| CN110097515A (zh) * | 2019-04-22 | 2019-08-06 | 苏州千视通视觉科技股份有限公司 | 基于深度学习与时空滤波的低照度图像处理算法及装置 |
| CN110097044A (zh) * | 2019-05-13 | 2019-08-06 | 苏州大学 | 基于深度学习的一阶段车牌检测识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| HUI LI 等: "Toward End-to-End Car License Plate Detection and Recognition With Deep Neural Networks", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
| 王永杰 等: "多信息融合的快速车牌定位", 《中国图象图形学报》 * |
| 王瑞刚: "基于递归神经网络的英文手写输入法的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11948279B2 (en) | 2020-11-23 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and device for joint denoising and demosaicing using neural network |
| WO2022121039A1 (zh) * | 2020-12-10 | 2022-06-16 | 广州广电运通金融电子股份有限公司 | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 |
| CN114758179A (zh) * | 2022-04-19 | 2022-07-15 | 电子科技大学 | 一种基于深度学习的压印字符识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Park et al. | Single image dehazing with image entropy and information fidelity | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN106846339A (zh) | 一种图像检测方法和装置 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN109871845B (zh) | 证件图像提取方法及终端设备 | |
| Khalifa et al. | Malaysian Vehicle License Plate Recognition. | |
| CN111104943A (zh) | 基于决策级融合的彩色图像感兴趣区域提取方法 | |
| CN108665417B (zh) | 一种车牌图像去模糊方法、装置及系统 | |
| CN107705254B (zh) | 一种基于街景图的城市环境评估方法 | |
| CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 | |
| CN112149476B (zh) | 目标检测方法、装置、设备和存储介质 | |
| CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
| Wang et al. | An efficient method for image dehazing | |
| CN116052090A (zh) | 图像质量评估方法、模型训练方法、装置、设备及介质 | |
| Jeon et al. | Low-light image enhancement using inverted image normalized by atmospheric light | |
| Gupta et al. | Fast single image haze removal method for inhomogeneous environment using variable scattering coefficient | |
| CN101739667A (zh) | 基于非下采样轮廓波变换的遥感图像道路增强方法 | |
| Ding et al. | Restoration of single sand-dust image based on style transformation and unsupervised adversarial learning | |
| WO2022121021A1 (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
| CN110633705A (zh) | 一种低照度成像车牌识别方法及装置 | |
| CN116311212B (zh) | 基于高速摄像机实现运动状态下的船号识别方法及装置 | |
| CN114926348B (zh) | 一种去除低照度视频噪声的装置和方法 | |
| CN115830567A (zh) | 一种弱光条件下道路目标融合感知方法及系统 | |
| Chi et al. | Single image dehazing using a novel histogram tranformation network | |
| Taha et al. | Moving shadow removal for multi-objects tracking in outdoor environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200417 |
|
| RJ01 | Rejection of invention patent application after publication |