CN105069765B - 一种基于特征学习的模糊车牌重建方法 - Google Patents
一种基于特征学习的模糊车牌重建方法 Download PDFInfo
- Publication number
- CN105069765B CN105069765B CN201510437563.1A CN201510437563A CN105069765B CN 105069765 B CN105069765 B CN 105069765B CN 201510437563 A CN201510437563 A CN 201510437563A CN 105069765 B CN105069765 B CN 105069765B
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- character
- sample
- separating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 21
- 101100421296 Caenorhabditis elegans set-6 gene Proteins 0.000 claims description 4
- 101150055297 SET1 gene Proteins 0.000 claims description 4
- 101150117538 Set2 gene Proteins 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000005336 cracking Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征学习的模糊车牌重建方法，包括：获取覆盖所有车牌字符类型的大量清晰字符样本并获得其对应的模糊字符样本，建立模糊字符样本库并进行特征训练；获取模糊车牌图像并标定其后五位字符的四个角点，进行几何校正并进行字符分割，获得五个分割字符；获取每个分割字符对应的清晰字符样本和模糊字符样本；根据每个分割字符对应的清晰字符样本和模糊字符样本，对该分割字符进行字符重建后获得重建结果，并对重建结果进行直方图处理。本发明极大地提升了重建结果的可识别性，重建效果较好，可以较为清晰、准确地对车牌图像进行复原，可广泛应用于车牌号码识别领域中。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种基于特征学习的模糊车牌重建方法。
背景技术
车牌信息是视频监控领域中非常重要的信息之一，常常成为案件侦破的关键因素。然而实际场景中采集的监控视频，经常会因为各种复杂原因导致车牌图像信息丢失，人眼难以识别车牌信息，对案件侦破等产生巨大阻碍。因此车牌图像超分辨率重建已经成为视频监控场景中亟需解决的一个问题。
通常的车牌图像恢复方法，一般使用去模糊、对比度增强等针对性图像恢复方法，这些方法对于恶劣复杂的实际监控场景的实用性较低，因为真实的监控视频往往包含光照、距离、模糊、监控设备清晰度及编码方式等多种问题的混合，而其中模糊现象又包含运动模糊、散焦模糊、衍射模糊等，情况非常复杂，目前的图像复原方法往往效果不佳，无法清晰、准确地对车牌图像进行复原。
发明内容
为了解决上述的技术问题，本发明的目的是提供一种基于特征学习的模糊车牌重建方法。
本发明解决其技术问题所采用的技术方案是：
一种基于特征学习的模糊车牌重建方法，包括：
S1、获取覆盖所有车牌字符类型的大量清晰字符样本并获得其对应的模糊字符样本，进而建立模糊字符样本库后，对模糊字符样本库进行特征训练；
S2、获取模糊车牌图像并标定其后五位字符的四个角点，进行几何校正并进行字符分割后，获得五个分割字符；
S3、分别计算每个分割字符与每个清晰字符样本之间的相关度，并判断该分割字符与某一清晰字符样本的相关度是否高于其它清晰字符样本的相关度的0.5倍，若是，则判断该分割字符为清晰字符并获取对应的清晰字符样本和模糊字符样本后直接执行步骤S5，否则，执行步骤S4；
S4、结合特征训练结果获取每个分割字符对应的清晰字符样本和模糊字符样本；
S5、根据每个分割字符所对应的清晰字符样本和模糊字符样本对该分割字符进行字符重建后获得重建结果，并对重建结果进行直方图处理。
进一步，所述步骤S1，其具体为：
获取覆盖所有车牌字符类型的大量清晰字符样本后，将每个清晰字符样本卷积各种模拟现实场景的降质函数后生成对应的模糊字符样本，进而将所有模糊字符样本建立模糊字符样本库后，对模糊字符样本库进行特征训练。
进一步，所述步骤S1中所述对模糊字符样本库进行特征训练的步骤，其具体为：
根据下式分别对模糊字符样本库的每类模糊字符样本进行训练：
上式中，k表示该类模糊字符样本的标签，Xk表示该类模糊字符样本的列向量组成的矩阵，Mk表示该类模糊字符样本的训练结果。
进一步，所述步骤S2，其具体为：
获取模糊车牌图像并标定其后五位字符的角点后，利用几何变换，将四个角点内的图像转化为一个标准矩阵，根据几何比例及垂直投影采用下式五等分地进行字符分割后，获得五个分割字符：
上式中，P*表示进行五等分的任一分隔线的横坐标，hei表示标准矩阵的高度，p0表示利用几何比例五等分找到的该分割线的理论分割位置，range表示预设的搜索范围，row表示行数，p表示列数，x(row,p)表示标准矩阵的第row行第p列的点。
进一步，所述步骤S3中所述分别计算每个分割字符与每个清晰字符样本之间的相关度的步骤，其具体为：
根据下式，分别计算每个分割字符与每个清晰字符样本的经过平移、伸缩后形成的模板图像集合之间的最大相关值，将该最大相关值作为该分割字符与该清晰字符样本之间的相关度：
上式中，x表示分割字符，n表示该分割字符的维数，charkm表示第k类清晰字符样本经过第m种平移、伸缩后的模板图像。
进一步，所述步骤S4，其具体为：
将每个分割字符逐一与每类模糊字符样本的训练结果进行匹配后获得该分割字符的分类结果，进而获取对应的清晰字符样本和模糊字符样本。
进一步，所述将每个分割字符逐一与每类模糊字符样本的训练结果进行匹配后获得该分割字符的分类结果的步骤，其具体为：
根据下式，将每个分割字符的列向量逐一与每类模糊字符样本的训练结果相乘，并将稀疏度最高的结果向量作为该分割字符的分类结果：
上式中，k*表示该分割字符的分类结果，Mk表示该类模糊字符样本的训练结果，X表示该分割字符的列向量。
进一步，所述步骤S4，包括：
S41、将每个分割字符分割为均匀的六小块，并将每一小块逐一与每类模糊字符样本的对应小块进行匹配后，获得最可能的前三种分类；
S42、根据各相邻小块间的连通性先验条件判断该六小块分别取何种分类时整体可能性最大，确定每小块的分类结果；
S43、获得每个分割字符的六小块的分类结果后，分别获取每小块的分类结果相对应的清晰字符样本和模糊字符样本的对应小块后，拼接成该分割字符对应的清晰字符样本和模糊字符样本。
进一步，所述步骤S42，其具体为：
根据下式，判断该六小块分别取何种分类时整体可能性最大，进而确定每小块的分类结果：
其中
上式中，k1*,k2*,…,k6*依次表示六小块的分类结果，set1,set2,…,set6依次表示六小块最可能的前三种分类的分类集合，K1,K2,…,K6依次表示六小块在各自的分类集合中的选择，p表示相邻两小块分别取当前分类时的综合概率。
进一步，所述步骤S5中所述重建结果为：
上式中，xH表示该分割字符的重建结果，w表示编码向量，YH、YL依次表示该分割字符所对应的清晰字符样本和模糊字符样本，xL表示该分割字符的原始图像，D表示该分割字符的模糊字符样本序列与该分割字符的原始图像之间的欧氏距离组成的对角阵，λ、q分别表示预设的计算参数。
本发明的有益效果是：本发明的一种基于特征学习的模糊车牌重建方法，包括：获取覆盖所有车牌字符类型的大量清晰字符样本并获得其对应的模糊字符样本，进而建立模糊字符样本库后，对模糊字符样本库进行特征训练；获取模糊车牌图像并标定其后五位字符的四个角点，进行几何校正并进行字符分割后，获得五个分割字符；分别计算每个分割字符与每个清晰字符样本之间的相关度，并判断该分割字符与某一清晰字符样本的相关度是否高于其它清晰字符样本的相关度的0.5倍，若是，则判断该分割字符为清晰字符并获取对应的清晰字符样本和模糊字符样本后直接进行字符重建，否则，结合特征训练结果获取每个分割字符对应的清晰字符样本和模糊字符样本；根据每个分割字符所对应的清晰字符样本和模糊字符样本对该分割字符进行字符重建后获得重建结果，并对重建结果进行直方图处理。本方法极大地提升了重建结果的可识别性，重建效果较好，可以较为清晰、准确地对车牌图像进行复原。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明的一种基于特征学习的模糊车牌重建方法的流程示意图；
图2是本发明的一种基于特征学习的模糊车牌重建方法中对分割字符进行分块的示意图；
图3是本发明的实施例一中用于进行重建的较清晰车牌示意图；
图4是本发明的实施例一中对图3的车牌进行重建的重建结果；
图5是本发明采用的用于进行重建的模糊车牌的示意图；
图6是本发明的实施例一中对图5的车牌进行重建的重建结果；
图7是本发明的实施例二中对图5的车牌进行重建的重建结果。
具体实施方式
参照图1，本发明提供了一种基于特征学习的模糊车牌重建方法，包括：
S1、获取覆盖所有车牌字符类型的大量清晰字符样本并获得其对应的模糊字符样本，进而建立模糊字符样本库后，对模糊字符样本库进行特征训练；
S2、获取模糊车牌图像并标定其后五位字符的四个角点，进行几何校正并进行字符分割后，获得五个分割字符；
S3、分别计算每个分割字符与每个清晰字符样本之间的相关度，并判断该分割字符与某一清晰字符样本的相关度是否高于其它清晰字符样本的相关度的0.5倍，若是，则判断该分割字符为清晰字符并获取对应的清晰字符样本和模糊字符样本后直接执行步骤S5，否则，执行步骤S4；
S4、结合特征训练结果获取每个分割字符对应的清晰字符样本和模糊字符样本；本步骤根据是否进行分块处理，选择执行不同的步骤来获取每个分割字符的分类结果；
S5、根据每个分割字符所对应的清晰字符样本和模糊字符样本对该分割字符进行字符重建后获得重建结果，并对重建结果进行直方图处理。
进一步作为优选的实施方式，所述步骤S1，其具体为：
获取覆盖所有车牌字符类型的大量清晰字符样本后，将每个清晰字符样本卷积各种模拟现实场景的降质函数后生成对应的模糊字符样本，进而将所有模糊字符样本建立模糊字符样本库后，对模糊字符样本库进行特征训练。
进一步作为优选的实施方式，所述步骤S1中所述对模糊字符样本库进行特征训练的步骤，其具体为：
根据下式分别对模糊字符样本库的每类模糊字符样本进行训练：
上式中，k表示该类模糊字符样本的标签，Xk表示该类模糊字符样本的列向量组成的矩阵，Mk表示该类模糊字符样本的训练结果。
进一步作为优选的实施方式，所述步骤S2，其具体为：
获取模糊车牌图像并标定其后五位字符的角点后，利用几何变换，将四个角点内的图像转化为一个标准矩阵，根据几何比例及垂直投影采用下式五等分地进行字符分割后，获得五个分割字符：
上式中，P*表示进行五等分的任一分隔线的横坐标，hei表示标准矩阵的高度，p0表示利用几何比例五等分找到的该分割线的理论分割位置，range表示预设的搜索范围，row表示行数，p表示列数，x(row,p)表示标准矩阵的第row行第p列的点。
进一步作为优选的实施方式，所述步骤S3中所述分别计算每个分割字符与每个清晰字符样本之间的相关度的步骤，其具体为：
根据下式，分别计算每个分割字符与每个清晰字符样本的经过平移、伸缩后形成的模板图像集合之间的最大相关值，将该最大相关值作为该分割字符与该清晰字符样本之间的相关度：
上式中，x表示分割字符，n表示该分割字符的维数，charkm表示第k类清晰字符样本经过第m种平移、伸缩后的模板图像。模板图像的维数与分割字符的维数相等。
进一步作为优选的实施方式，所述步骤S4，其具体为：
将每个分割字符逐一与每类模糊字符样本的训练结果进行匹配后获得该分割字符的分类结果，进而获取对应的清晰字符样本和模糊字符样本。
进一步作为优选的实施方式，所述将每个分割字符逐一与每类模糊字符样本的训练结果进行匹配后获得该分割字符的分类结果的步骤，其具体为：
根据下式，将每个分割字符的列向量逐一与每类模糊字符样本的训练结果相乘，并将稀疏度最高的结果向量作为该分割字符的分类结果：
上式中，k*表示该分割字符的分类结果，X表示该分割字符的列向量。sparse表示计算矩阵整体稀疏度，Mk表示该类模糊字符样本的训练结果，为通过最优化方法得到的使乘积矩阵最稀疏的结果，作为第k类模糊字符样本的特征，上式表示，求得矩阵变量M与Xk的乘积矩阵的值最小时的类别k作为该类分割字符的分类结果。
进一步作为优选的实施方式，参照图2，所述步骤S4，包括：
S41、将每个分割字符分割为均匀的六小块，并将每一小块逐一与每类模糊字符样本的对应小块进行匹配后，获得最可能的前三种分类；
S42、根据各相邻小块间的连通性先验条件判断该六小块分别取何种分类时整体可能性最大，确定每小块的分类结果；
S43、获得每个分割字符的六小块的分类结果后，分别获取每小块的分类结果相对应的清晰字符样本和模糊字符样本的对应小块后，拼接成该分割字符对应的清晰字符样本和模糊字符样本。
进一步作为优选的实施方式，所述步骤S42，其具体为：
根据下式，判断该六小块分别取何种分类时整体可能性最大，进而确定每小块的分类结果：
其中
上式中，k1*,k2*,…,k6*依次表示六小块的分类结果，set1,set2,…,set6依次表示六小块最可能的前三种分类的分类集合，K1,K2,…,K6依次表示六小块在各自的分类集合中的选择，p表示相邻两小块分别取当前分类时的综合概率。
进一步作为优选的实施方式，所述步骤S5中所述重建结果为：
上式中，xH表示该分割字符的重建结果，w表示编码向量，YH、YL依次表示该分割字符所对应的清晰字符样本和模糊字符样本，xL表示该分割字符的原始图像，D表示该分割字符的模糊字符样本序列与该分割字符的原始图像之间的欧氏距离组成的对角阵，λ、q分别表示预设的计算参数。
以下结合具体实施例对本发明做详细说明。
实施例一
参照图1，一种基于特征学习的模糊车牌重建方法，包括：
S1、获取覆盖所有车牌字符类型的大量清晰字符样本并获得其对应的模糊字符样本，进而建立模糊字符样本库后，对模糊字符样本库进行特征训练，具体为：
获取覆盖所有车牌字符类型的大量清晰字符样本后，将每个清晰字符样本卷积各种模拟现实场景的降质函数后生成对应的模糊字符样本，进而将所有模糊字符样本建立模糊字符样本库后，对模糊字符样本库进行特征训练。其中，对模糊字符样本库进行特征训练的步骤，如下：根据下式分别对模糊字符样本库的每类模糊字符样本进行训练：
上式中，k表示该类模糊字符样本的标签，Xk表示该类模糊字符样本的列向量组成的矩阵，Mk表示该类模糊字符样本的训练结果。
本实施例中，按照目前车牌号码的使用习惯，覆盖所有车牌字符类型表示包括数字‘0’-‘9’以及字母‘A’-‘Z’中除去‘I’和‘O’的共计34个字符类型。
S2、获取模糊车牌图像并标定其后五位字符的四个角点，进行几何校正并进行字符分割后，获得五个分割字符，具体为：
获取模糊车牌图像并标定其后五位字符的角点后，利用几何变换，将四个角点内的图像转化为一个标准矩阵，根据几何比例及垂直投影采用下式五等分地进行字符分割后，获得五个分割字符：
上式中，P*表示进行五等分的任一分隔线的横坐标，hei表示标准矩阵的高度，p0表示利用几何比例五等分找到的该分割线的理论分割位置，range表示预设的搜索范围，row表示行数，p表示列数，x(row,p)表示标准矩阵的第row行第p列的点。上式实际上表示求整列像素和最小时的p值。通过设定预设的搜索范围range，可以避免分割结果严重偏离五等分而导致出错。
本步骤中，标定模糊车牌图像的后五位字符的四个角点可以由用户交互式标定。
S3、分别计算每个分割字符与每个清晰字符样本之间的相关度，并判断该分割字符与某一清晰字符样本的相关度是否高于其它清晰字符样本的相关度的0.5倍，若是，则判断该分割字符为清晰字符并获取对应的清晰字符样本和模糊字符样本后直接执行步骤S5，否则，执行步骤S4。
分别计算每个分割字符与每个清晰字符样本之间的相关度的步骤，具体如下：根据下式，分别计算每个分割字符与每个清晰字符样本的经过平移、伸缩后形成的模板图像集合之间的最大相关值，将该最大相关值作为该分割字符与该清晰字符样本之间的相关度：
上式中，x表示分割字符，n表示该分割字符的维数，charkm表示第k类清晰字符样本经过第m种平移、伸缩后的模板图像。模板图像的维数与分割字符的维数相等。
每个清晰字符样本的经过平移、伸缩后形成的模板图像集合表示每一个清晰字符样本经过上下左右不同程度的平移、伸缩后形成的一套模板图像的结合。例如对清晰字符样本‘0’，我们对‘0’这个标准图像进行上下左右不同程度的平移、伸缩后，组成一套模板图像，并记录其中每一个模板图像的变化情况，例如分割字符与第m个模板图像的相关度最高，而第m个模板图像是标准图像通过向上移动得到，则该分割字符可能是一个偏靠上方的‘0’。本步骤中，如果判断获得的某分割字符是清晰字符，则无需再对分割字符进行分类，直接获取对应的清晰字符样本和模糊字符样本后执行步骤S5进行字符重建，反之，若判断某分割字符不是清晰字符，则需要执行步骤S4对该分割字符进行分类后，再执行步骤S5进行字符重建。
S4、结合特征训练结果获取每个分割字符对应的清晰字符样本和模糊字符样本：将每个分割字符逐一与每类模糊字符样本的训练结果进行匹配后获得该分割字符的分类结果，进而获取对应的清晰字符样本和模糊字符样本。区别于实施例二，本实施例采用的是不分块的分类方法，直接将整个分割字符与特征训练结果进行匹配从而获得分类结果。
其中，将每个分割字符逐一与每类模糊字符样本的训练结果进行匹配后获得该分割字符的分类结果的步骤，具体如下：根据下式，将每个分割字符的列向量逐一与每类模糊字符样本的训练结果相乘，并将稀疏度最高的结果向量作为该分割字符的分类结果：
上式中，k*表示该分割字符的分类结果，X表示该分割字符的列向量。sparse表示计算矩阵整体稀疏度，Mk表示该类模糊字符样本的训练结果，为通过最优化方法得到的使乘积矩阵最稀疏的结果，作为第k类模糊字符样本的特征，上式表示，求得矩阵变量M与Xk的乘积矩阵的值最小时的类别k作为该类分割字符的分类结果。
S5、根据每个分割字符所对应的清晰字符样本和模糊字符样本对该分割字符进行字符重建后获得重建结果，并对重建结果进行直方图处理，使得结果更接近二值化，增强识别能力。
重建结果是根据下式计算获得的：
上式中，xH表示该分割字符的重建结果，w表示编码向量，YH、YL依次表示该分割字符所对应的清晰字符样本和模糊字符样本，xL表示该分割字符的原始图像，D表示该分割字符的模糊字符样本序列与该分割字符的原始图像之间的欧氏距离组成的对角阵，λ、q分别表示预设的计算参数。
采用本实施例对图3中的较清晰车牌进行重建，直接执行步骤S3获得该分割字符并获取对应的清晰字符样本和模糊字符样本后，执行步骤S5进行重建，所获得的重建结果如图4所示，结果清晰准确。
采用本实施例对图5中的模糊车牌进行重建，通过执行步骤S4中的不分块方法获得每个分割字符获取对应的清晰字符样本和模糊字符样本后，执行步骤S5进行重建，所获得的重建结果如图6所示，相对原始车牌图像具有一定识别能力的提升，极大地提升了重建结果的可识别性，重建效果较好，可以较为清晰、准确地对车牌图像进行复原。
实施例二
本实施例与实施例一基本类似，区别在于，步骤S4中，本实施例对分割字符采用的是分块的分类方法，步骤S4，包括：
S41、参照图2所示，将每个分割字符分割为均匀的六小块，并将每一小块逐一与每类模糊字符样本的对应小块进行匹配后，获得最可能的前三种分类；具体到34种车牌字符类型，则每个小块都逐一地与34个对应位置的小块的训练结果进行匹配，匹配的方法与实施例一中步骤S4的匹配方法类似，相当于将每个小块逐一地与34个对应位置的小块的特征矩阵(训练结果)相乘，然后依据结果稀疏度分类，将稀疏度最高的三个结果向量作为该小块的前三种分类。
S42、根据各相邻小块间的连通性先验条件判断该六小块分别取何种分类时整体可能性最大，确定每小块的分类结果，具体根据下式，判断该六小块分别取何种分类时整体可能性最大，进而确定每小块的分类结果：
其中
上式中，k1*,k2*,…,k6*依次表示六小块的分类结果，set1,set2,…,set6依次表示六小块最可能的前三种分类的分类集合，K1,K2,…,K6依次表示六小块在各自的分类集合中的选择，p表示相邻两小块分别取当前分类时的综合概率。
获得每个分割字符的每小块的前三种分类可能后，每个字符共有3^6＝729种分类方法。因此，需要根据所获得的分类可能判断每个分割字符的最可能的分类结果。参照图2所示，每个分割字符被分割线分割成六小块，图中的分割线可以看作是7段分割线，包括横向的4段和纵向的3段，任意相邻两小块实际上相当于对应的一段分割线旁边的两小块。预先根据各种字符的特性，计算标准的字符图像的任意两相邻小块分别取34个分类中每一个时，每段分割线的相邻两小块的相关度并归一化后作为这两小块分别属于这两类情况下的综合概率，根据所有的分块情况，建立与七段分割线对应的表格，因而可以通过该综合概率来计算获得分割字符的具体分类情况。
具体的，对图2中的分割字符进行分块后，左边的小块可能是‘F’、‘Y’、‘U’的左上角，右边的小块有可能是‘5’、‘6’、‘7’的右上角。这种现象比较极端，可以发现右侧的小块‘5’、‘6’、‘7’的右上角均希望与左上角连通，而左侧小块中‘Y’、‘U’均不希望与右侧连通，此时我们取出预先计算好的对应这段分隔线的表格，发现在以上3*3＝9种配对方式中，左侧是‘F’而右侧是‘5’的相关性是最高的(因为F的左上角与5的左上角也非常接近)，其次可能是‘F’和‘7’、F和‘6’等，三种情况不会差太多。则判断这两个小块最接近于‘F’和‘5’。同理对六小块进行判断，只不过每一小块均受到与其紧邻的2-3段分隔线的约束，本步骤的公式将这七项相乘取使得结果最大的分类作为最终分类结果。
S43、获得每个分割字符的六小块的分类结果后，分别获取每小块的分类结果相对应的清晰字符样本和模糊字符样本的对应小块后，拼接成该分割字符对应的清晰字符样本和模糊字符样本。具体的，例如获得一分割字符的一小块为‘F’的左上角，则分别获取‘F’相对应的清晰字符样本和模糊字符样本的左上角小块，与其它小块一起拼接成该分割字符对应的清晰字符样本或模糊字符样本。拼接时，判断每小块样本是否需要进行特定的位移、伸缩，如果需要则进行相应的位移、伸缩处理后再将六个清晰或模糊小块对应地拼成一个完整的样本对。
采用本实施例对图5中的模糊车牌进行重建，通过执行步骤S41～S43的分块方法获得每小块的分类结果相对应的清晰字符样本和模糊字符样本的对应小块后进行拼接，然后执行步骤S5进行重建，所获得的重建结果如图7所示，相对原始车牌图像具有一定识别能力的提升，极大地提升了重建结果的可识别性，重建效果较好，可以较为清晰、准确地对车牌图像进行复原。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种基于特征学习的模糊车牌重建方法，其特征在于，包括：
S1、获取覆盖所有车牌字符类型的大量清晰字符样本并获得其对应的模糊字符样本，进而建立模糊字符样本库后，对模糊字符样本库进行特征训练；
S2、获取模糊车牌图像并标定其后五位字符的四个角点，进行几何校正并进行字符分割后，获得五个分割字符；
S3、分别计算每个分割字符与每个清晰字符样本之间的相关度，并判断该分割字符与某一清晰字符样本的相关度是否高于其它清晰字符样本的相关度的0.5倍，若是，则判断该分割字符为清晰字符并获取对应的清晰字符样本和模糊字符样本后直接执行步骤S5，否则，执行步骤S4；
S4、结合特征训练结果获取每个分割字符对应的清晰字符样本和模糊字符样本；
S5、根据每个分割字符所对应的清晰字符样本和模糊字符样本对该分割字符进行字符重建后获得重建结果，并对重建结果进行直方图处理；
所述步骤S4，包括：
S41、将每个分割字符分割为均匀的六小块，并将每一小块逐一与每类模糊字符样本的对应小块进行匹配后，获得最可能的前三种分类；
S42、根据各相邻小块间的连通性先验条件判断该六小块分别取何种分类时整体可能性最大，确定每小块的分类结果；
S43、获得每个分割字符的六小块的分类结果后，分别获取每小块的分类结果相对应的清晰字符样本和模糊字符样本的对应小块后，拼接成该分割字符对应的清晰字符样本和模糊字符样本。
2.根据权利要求1所述的一种基于特征学习的模糊车牌重建方法，其特征在于，所述步骤S1，其具体为：
获取覆盖所有车牌字符类型的大量清晰字符样本后，将每个清晰字符样本卷积各种模拟现实场景的降质函数后生成对应的模糊字符样本，进而将所有模糊字符样本建立模糊字符样本库后，对模糊字符样本库进行特征训练。
3.根据权利要求1所述的一种基于特征学习的模糊车牌重建方法，其特征在于，所述步骤S1中所述对模糊字符样本库进行特征训练的步骤，其具体为：
根据下式分别对模糊字符样本库的每类模糊字符样本进行训练：
<mrow>
<msub>
<mi>M</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<munder>
<mi>argmax</mi>
<mi>M</mi>
</munder>
<mi>s</mi>
<mi>p</mi>
<mi>a</mi>
<mi>r</mi>
<mi>s</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<mi>M</mi>
<mo>&times;</mo>
<msub>
<mi>X</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
上式中，M表示该类模糊字符样本，k表示该类模糊字符样本的标签，Xk表示该类模糊字符样本的列向量组成的矩阵，Mk表示该类模糊字符样本的训练结果。
4.根据权利要求1所述的一种基于特征学习的模糊车牌重建方法，其特征在于，所述步骤S2，其具体为：
获取模糊车牌图像并标定其后五位字符的角点后，利用几何变换，将四个角点内的图像转化为一个标准矩阵，根据几何比例及垂直投影采用下式五等分地进行字符分割后，获得五个分割字符：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>P</mi>
<mo>*</mo>
<mo>=</mo>
<munder>
<mi>argmin</mi>
<mi>p</mi>
</munder>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>r</mi>
<mi>o</mi>
<mi>w</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>h</mi>
<mi>e</mi>
<mi>i</mi>
</mrow>
</munderover>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mi>o</mi>
<mi>w</mi>
<mo>,</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<mi>p</mi>
<mo>-</mo>
<msub>
<mi>p</mi>
<mn>0</mn>
</msub>
<mo>|</mo>
<mo><</mo>
<mi>r</mi>
<mi>a</mi>
<mi>n</mi>
<mi>g</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
上式中，P*表示进行五等分的任一分割线的横坐标，hei表示标准矩阵的高度，p0表示利用几何比例五等分找到的该分割线的理论分割位置，range表示预设的搜索范围，row表示行数，p表示列数，x(row,p)表示标准矩阵的第row行第p列的点。
5.根据权利要求1所述的一种基于特征学习的模糊车牌重建方法，其特征在于，所述步骤S3中所述分别计算每个分割字符与每个清晰字符样本之间的相关度的步骤，其具体为：
根据下式，分别计算每个分割字符与每个清晰字符样本的经过平移、伸缩后形成的模板图像集合之间的最大相关值，将该最大相关值作为该分割字符与该清晰字符样本之间的相关度：
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>r</mi>
<mi>r</mi>
<mo>=</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</munder>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>char</mi>
<mrow>
<mi>k</mi>
<mi>m</mi>
<mi>i</mi>
</mrow>
</msub>
</mrow>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>&CenterDot;</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msubsup>
<mi>char</mi>
<mrow>
<mi>k</mi>
<mi>m</mi>
<mi>i</mi>
</mrow>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
</mfrac>
</mrow>
上式中，x表示分割字符，n表示该分割字符的维数，charkm表示第k类清晰字符样本经过第m种平移、伸缩后的模板图像。
6.根据权利要求1所述的一种基于特征学习的模糊车牌重建方法，其特征在于，所述步骤S4，其具体为：
将每个分割字符逐一与每类模糊字符样本的训练结果进行匹配后获得该分割字符的分类结果，进而获取对应的清晰字符样本和模糊字符样本。
7.根据权利要求6所述的一种基于特征学习的模糊车牌重建方法，其特征在于，所述将每个分割字符逐一与每类模糊字符样本的训练结果进行匹配后获得该分割字符的分类结果的步骤，其具体为：
根据下式，将每个分割字符的列向量逐一与每类模糊字符样本的训练结果相乘，并将稀疏度最高的结果向量作为该分割字符的分类结果：
<mrow>
<mi>k</mi>
<mo>*</mo>
<mo>=</mo>
<munder>
<mi>argmax</mi>
<mi>k</mi>
</munder>
<mi>s</mi>
<mi>p</mi>
<mi>a</mi>
<mi>r</mi>
<mi>s</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>M</mi>
<mi>k</mi>
</msub>
<mo>&times;</mo>
<mi>X</mi>
<mo>)</mo>
</mrow>
</mrow>
上式中，k*表示该分割字符的分类结果，Mk表示该类模糊字符样本的训练结果，X表示该分割字符的列向量。
8.根据权利要求7所述的一种基于特征学习的模糊车牌重建方法，其特征在于，所述步骤S42，其具体为：
根据下式，判断该六小块分别取何种分类时整体可能性最大，进而确定每小块的分类结果：
<mrow>
<mo>{</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<mo>*</mo>
<mo>,</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<mo>*</mo>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>k</mi>
<mn>6</mn>
</msub>
<mo>*</mo>
<mo>}</mo>
<mo>=</mo>
<munder>
<mi>argmax</mi>
<mrow>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<mo>&Element;</mo>
<mi>s</mi>
<mi>e</mi>
<mi>t</mi>
<mn>1</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>k</mi>
<mn>6</mn>
</msub>
<mo>&Element;</mo>
<mi>s</mi>
<mi>e</mi>
<mi>t</mi>
<mn>6</mn>
</mrow>
</munder>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>K</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>K</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>K</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>K</mi>
<mn>3</mn>
</msub>
<mo>=</mo>
<msub>
<mi>k</mi>
<mn>3</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>...</mo>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>K</mi>
<mn>5</mn>
</msub>
<mo>=</mo>
<msub>
<mi>k</mi>
<mn>5</mn>
</msub>
<mo>,</mo>
<msub>
<mi>K</mi>
<mn>6</mn>
</msub>
<mo>=</mo>
<msub>
<mi>k</mi>
<mn>6</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中
上式中，k1*,k2*,…,k6*依次表示六小块的分类结果，set1,set2,…,set6依次表示六小块最可能的前三种分类的分类集合，K1,K2,…,K6依次表示六小块在各自的分类集合中的选择，p表示相邻两小块分别取当前分类时的综合概率。
9.根据权利要求1所述的一种基于特征学习的模糊车牌重建方法，其特征在于，所述步骤S5中所述重建结果为：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>H</mi>
</msub>
<mo>=</mo>
<msub>
<mi>Y</mi>
<mi>H</mi>
</msub>
<mi>w</mi>
<mo>*</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>w</mi>
<mo>*</mo>
<mo>=</mo>
<munder>
<mi>argmin</mi>
<mi>w</mi>
</munder>
<mo>{</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>L</mi>
</msub>
<mo>-</mo>
<msub>
<mi>Y</mi>
<mi>L</mi>
</msub>
<mi>w</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>D</mi>
<mi>w</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mi>q</mi>
</msub>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
上式中，xH表示该分割字符的重建结果，w表示编码向量，YH、YL依次表示该分割字符所对应的清晰字符样本和模糊字符样本，xL表示该分割字符的原始图像，D表示该分割字符的模糊字符样本序列与该分割字符的原始图像之间的欧氏距离组成的对角阵，λ、q分别表示预设的计算参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510437563.1A CN105069765B (zh) | 2015-07-22 | 2015-07-22 | 一种基于特征学习的模糊车牌重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510437563.1A CN105069765B (zh) | 2015-07-22 | 2015-07-22 | 一种基于特征学习的模糊车牌重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105069765A CN105069765A (zh) | 2015-11-18 |
| CN105069765B true CN105069765B (zh) | 2017-12-22 |
Family
ID=54499123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510437563.1A Active CN105069765B (zh) | 2015-07-22 | 2015-07-22 | 一种基于特征学习的模糊车牌重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105069765B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108241859B (zh) * | 2016-12-26 | 2021-12-28 | 浙江宇视科技有限公司 | 车牌的校正方法及装置 |
| CN107563978A (zh) * | 2017-08-31 | 2018-01-09 | 苏州科达科技股份有限公司 | 人脸去模糊方法及装置 |
| CN108710878B (zh) * | 2018-04-18 | 2021-11-26 | 武汉工程大学 | 一种铁路接触网支柱号牌字符分割方法及系统 |
| CN109934134A (zh) * | 2019-02-28 | 2019-06-25 | 中山安信通机器人制造有限公司 | 识别车辆的方法、计算机装置以及计算机可读存储介质 |
| CN110659638B (zh) * | 2019-09-24 | 2023-04-07 | 北京精英路通科技有限公司 | 车牌的识别方法、装置、计算机设备及存储介质 |
| CN110956170A (zh) * | 2019-09-30 | 2020-04-03 | 京东数字科技控股有限公司 | 生成护照机读码样本的方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010002630A2 (en) * | 2008-06-30 | 2010-01-07 | Intel Corporation | Computing higher resolution images from multiple lower resolution images |
| CN102436757A (zh) * | 2010-09-29 | 2012-05-02 | 北京紫光百会科技有限公司 | 一种车位引导和反向寻车系统和方法 |
| CN102521965A (zh) * | 2011-12-09 | 2012-06-27 | 同济大学 | 基于车牌识别数据的交通需求管理措施效果评价方法 |
| CN104156731A (zh) * | 2014-07-31 | 2014-11-19 | 成都易默生汽车技术有限公司 | 基于人工神经网络的车牌识别系统与方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9779284B2 (en) * | 2013-12-17 | 2017-10-03 | Conduent Business Services, Llc | Privacy-preserving evidence in ALPR applications |
-
2015
- 2015-07-22 CN CN201510437563.1A patent/CN105069765B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010002630A2 (en) * | 2008-06-30 | 2010-01-07 | Intel Corporation | Computing higher resolution images from multiple lower resolution images |
| CN102436757A (zh) * | 2010-09-29 | 2012-05-02 | 北京紫光百会科技有限公司 | 一种车位引导和反向寻车系统和方法 |
| CN102521965A (zh) * | 2011-12-09 | 2012-06-27 | 同济大学 | 基于车牌识别数据的交通需求管理措施效果评价方法 |
| CN104156731A (zh) * | 2014-07-31 | 2014-11-19 | 成都易默生汽车技术有限公司 | 基于人工神经网络的车牌识别系统与方法 |
Non-Patent Citations (3)
| Title |
|---|
| Car plate recognition by neural networks and image processing;Parisi R 等;《Proceedings of the 1998 IEEE International Symposium on Circuits and Systems》;19981231;195-198 * |
| 基于学习的车牌图像超分辨重建技术研究;王鹏;《中国优秀硕士学位论文全文数据库_信息科技辑》;20121015(第10期);第2.2节，第4.3节 * |
| 基于改进模板匹配的车牌字符识别算法实现;邹明明 等;《国外电子测量技术》;20100122;第29卷(第1期);第2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105069765A (zh) | 2015-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105069765B (zh) | 一种基于特征学习的模糊车牌重建方法 | |
| CN109299274B (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
| CN108416377B (zh) | 柱状图中的信息提取方法及装置 | |
| CN112541503B (zh) | 基于上下文注意力机制和信息融合的实时语义分割方法 | |
| CN111325165B (zh) | 考虑空间关系信息的城市遥感影像场景分类方法 | |
| CN110084249A (zh) | 基于金字塔特征注意的图像显著性检测方法 | |
| CN110363134B (zh) | 一种基于语义分割的人脸遮挡区定位方法 | |
| Fu et al. | Contextual deconvolution network for semantic segmentation | |
| CN106372648A (zh) | 基于多特征融合卷积神经网络的浮游生物图像分类方法 | |
| CN107657257A (zh) | 一种基于多通道卷积神经网络的语义图像分割方法 | |
| CN107808129A (zh) | 一种基于单个卷积神经网络的面部多特征点定位方法 | |
| CN113239954B (zh) | 基于注意力机制的图像语义分割特征融合方法 | |
| CN111401384A (zh) | 一种变电设备缺陷图像匹配方法 | |
| CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN108875076A (zh) | 一种基于Attention机制和卷积神经网络的快速商标图像检索方法 | |
| CN112581414A (zh) | 一种卷积神经网络、图像处理的方法及电子设备 | |
| Kang et al. | Ddcolor: Towards photo-realistic image colorization via dual decoders | |
| Kölsch et al. | Recognizing challenging handwritten annotations with fully convolutional networks | |
| CN105550712A (zh) | 基于优化卷积自动编码网络的极光图像分类方法 | |
| CN104598898B (zh) | 一种基于多任务拓扑学习的航拍图像快速识别系统及其快速识别方法 | |
| CN115331024A (zh) | 一种基于深度监督和逐步学习的肠道息肉检测方法 | |
| CN103295019A (zh) | 一种基于概率统计的中文碎片自适应恢复方法 | |
| CN112883926B (zh) | 表格类医疗影像的识别方法及装置 | |
| CN102163336B (zh) | 一种图像识别码的编码和解码方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20201110 Granted publication date: 20171222 |
|
| PP01 | Preservation of patent right | ||
| PD01 | Discharge of preservation of patent |
Date of cancellation: 20231110 Granted publication date: 20171222 |
|
| PD01 | Discharge of preservation of patent | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20231110 Granted publication date: 20171222 |
|
| PP01 | Preservation of patent right |