CN116386023B - 基于时空扩散的高位相机车牌识别方法、系统及电子设备 - Google Patents

基于时空扩散的高位相机车牌识别方法、系统及电子设备 Download PDF

Info

Publication number
CN116386023B
CN116386023B CN202310608741.7A CN202310608741A CN116386023B CN 116386023 B CN116386023 B CN 116386023B CN 202310608741 A CN202310608741 A CN 202310608741A CN 116386023 B CN116386023 B CN 116386023B
Authority
CN
China
Prior art keywords
image
license plate
resolution
time
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310608741.7A
Other languages
English (en)
Other versions
CN116386023A (zh
Inventor
刘寒松
王永
王国强
刘瑞
董玉超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202310608741.7A priority Critical patent/CN116386023B/zh
Publication of CN116386023A publication Critical patent/CN116386023A/zh
Application granted granted Critical
Publication of CN116386023B publication Critical patent/CN116386023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/164—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于图像处理技术领域，涉及一种基于时空扩散的高位相机车牌识别方法、系统及电子设备，通过高位相机拍摄的车牌照片得到多尺度多时间图像后再提取受光线影响的车牌的条件信息，定义用于后续模型训练的图像补丁块和标签，再将图像补丁块输入基于自注意力机制的扩散模型进行训练得到多分辨率扩散模型；最后在多分辨率扩散模型中任意输入一张车牌照片得到高质量的、不受光线影响的车牌图像，使用轻量级的光学字符识别模型识别出车牌号；可有效消除光线造成的炫光、重影等问题，从而在各种光线条件下提高车牌识别的准确性，具有较强的环境适应性，能够更好的应用于边缘识别设备，便于在各种硬件环境下部署。

Description

基于时空扩散的高位相机车牌识别方法、系统及电子设备
技术领域
本发明属于图像处理技术领域，涉及一种高位相机车牌识别方法、系统及电子设备，特别是一种基于时空扩散的高位相机车牌识别方法、系统及电子设备。
背景技术
随着城市交通压力不断加大，车辆迅速增多，合理有效地进行停车管理成为了城市交通治理的重要环节。街边停车场地紧张，传统的人工管理方式无法满足停车场的实际需求。因此，采用智能化的停车管理系统，通过车牌识别技术来自动收费，提高管理效率，降低人工成本，显得尤为重要。
高位摄像头在街道停车管理中具有更广泛的视野和监控能力，为解决城市停车难问题提供了一定的技术支持。但是在实际应用过程中，车牌识别技术面临很多挑战，其中之一便是高位摄像头所拍摄的图片可能受到阳光直射、夜晚对面车灯照射等光线因素的影响，造成图像炫光、重影等问题，从而降低车牌识别的准确性和可靠性。为应对这一问题，人们开始关注如何在复杂光线环境下提高车牌识别准确率，其中，光线补偿技术、图像预处理技术和深度学习算法在这一领域取得了一定的进展，例如，光线补偿技术可以通过自适应地调整摄像头的曝光时间和增益，降低图像的过曝和欠曝问题；图像预处理技术可以通过去噪、去炫光等方法减轻光线干扰，提高车牌识别的准确性；深度学习算法通过对大量复杂光线环境下的车牌图像进行训练，使得识别模型具备更强的泛化能力和鲁棒性。
综上所述，在高位摄像头车牌识别应用背景下，复杂光线环境是一个值得关注的问题。为了提高车牌识别的准确性和稳定性，亟需一种新的高位相机车牌识别方法，以期为城市停车管理提供更有效的技术手段。
发明内容
为了解决高位相机受复杂光线环境干扰的问题，本发明提出了一种基于时空扩散的高位相机车牌识别方法、系统及电子设备，基于条件扩散模型，充分融合多时间、多光线照射、多尺度的条件信息，使用图像块而不是整个图像输入到模型中，基于自注意力机制构建的扩散模型来消除复杂光线的影响，得到高质量的车牌图像，最后使用轻量级光学字符识别（OCR）方法得到高质量的识别结果。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供了一种基于时空扩散的高位相机车牌识别方法，包括以下步骤：
图像获取：车辆驶入停车场时，高位相机按照固定间隔时间拍摄车牌照片，获得车牌在时间维度上的多分辨率信息，将时间维度上的多分辨率信息融合到单个图像中得到多尺度多时间图像；
时空多尺度图像块获取：从多尺度多时间图像提取受光线影响的车牌的条件信息，定义用于后续模型训练的图像补丁块和标签，即为时空多尺度图像块；
基于扩散模型的图像去噪：将上述步骤中定义好的图像补丁块输入基于自注意力机制的扩散模型进行训练，在多次训练中，对多分辨率图像进行重建，得到多分辨率扩散模型；
车牌图像识别：在多分辨率扩散模型中任意输入一张车牌照片得到高质量的、不受光线影响的车牌图像，使用轻量级的光学字符识别模型识别出车牌号。
作为本发明的进一步技术方案，所述图像获取步骤中将时间维度上的多分辨率信息融合到单个图像中得到多尺度多时间图像的具体过程为：将所有照片上采样至分辨率最大的图像，再沿通道维度将所有图像叠加，得到用于后续模型处理的多尺度多时间图像。
作为本发明的进一步技术方案，从多尺度多时间图像提取受光线影响的车牌的条件信息的具体过程为：
先从多尺度多时间图像中选定训练图像对, 其中/>是受光线影响的低质量图像，/>是不受光线影响的高质量图像，再设置一个遵循离散均匀分布的集合/>，从集合/>中随机采样一个尺度/>，并使用函数/>，其中/>是分辨率集合/>，获得与尺度/> 匹配的用于后续模型训练的图像补丁块的分辨率，然后定义三个条件输入/>，/>和/>，其中/>是复杂光线条件下的测量值，即待重建的低光图像，/>是从上一个尺度获得的干净光线且低分辨率的预测，/>是从/>尺度获得的干净光线且低分辨率的预测，三个条件输入/>，/>和/>在训练阶段用于引导图像重建过程，对于每个尺度 />，将/>下采样到分辨率/>，并将下采样的图像作为图像重建的输入，/>提供一个接近标签值的曝光水平，但具有明亮的干净光线的高频细节，为获得，先将原始的干净图像/>下采样到/>分辨率，再将其上采样到分辨率，并添加高斯噪声/>；/>提供一个全局统一的曝光水平，进一步约束恢复的曝光水平，在训练过程中，如果采样的尺度/>不是0，那么用于组成/>的/>输出将重新计算得到，为获得/>，先将原始的明亮图像/>下采样到/>分辨率，然后将其上采样到/>分辨率，并添加高斯噪声/>。
作为本发明的进一步技术方案，定义图像补丁块的具体过程为：
先根据所选尺度从训练图像对/>中随机选择一个区域，通过随机选择一个左上角像素点/>并根据尺度/>提取一个大小为/>的图像块来实现，定义随机函数，在a和 b之间返回一个随机整数，则/>，其中/>和/>分别是/>的宽度和高度；
再从原始图像和/>中提取选定区域，以创建图像块 />和/>，通过以下方式实现：
，
，
然后再计算基于图像块的三个条件输入：
，
，
，
其中，是一个下采样函数，将输入/>降维到/>大小，相反，U/>是一个上采样函数，将输入/>升维到/>大小，/>为高斯噪声；
最后将三个条件输入、/>和 />与图像块 />结合，在通道维度上连接得到，其中/>为图像补丁块，/>为标签。
作为本发明的进一步技术方案，基于扩散模型的图像去噪的具体过程为：
扩散模型采用基于自注意力机制的扩散模型，该模型的网络架构包括编码器和解码器两部分，编码器包括输入层和下采样层，输入层包括一个卷积层，用于将带有条件输入的训练输入传递到网络，下采样层包括16个下采样单元，每个单元都包含一个自注意力层、批量归一化层和激活函数，在每个下采样单元之后，使用跳跃连接将特征图传递到解码器的对应层，相邻下采样单元之间串行连接，上一个下采样单元的输出是当前下采样单元的输入；解码器包括上采样层和输出层，上采样层包括16个上采样单元，每个单元都包含一个自注意力层、批量归一化层和激活函数，这些层的数量与下采样层相同，在每个上采样单元之前，通常会使用跳跃连接将编码器对应层的特征图与当前层进行连接，以保留更多的空间信息，相邻上采样单元之间串行连接，上一个上采样单元的输出是当前上采样单元的输入，输出层是一个卷积层，后面接一个恒等激活函数来生成最终的输出图像；
将定义好的图像补丁块输入基于自注意力机制的扩散模型进行训练，每次训练都从集合中随机选定的尺度/>得到定义的图像补丁块后，输入到扩散模型中得到大小为的重建结果，在多次训练中，通过对多分辨率图像进行图像重建，得到鲁棒的多分辨率扩散模型。
作为本发明的进一步技术方案，车牌图像识别的具体过程为：
对于任意一张高位相机拍摄的车牌照片，将其均匀分割成的图像块，边界处用0填充补齐，所有图像块以级联方式进行多尺度恢复，即将把每个图像块作为基于自注意力机制的扩散模型的解码器的输入，将训练过程中的解码器作为编码器，训练过程中的编码器作为解码器，输出一个更高分辨率的高质量图像，对每个尺度应用基于自注意力机制的扩散模型的反向扩散过程，并将预测值作为下一个尺度的输入；所有的图像块并行进行这个过程，在整个车牌图像识别阶段，使用迭代潜变量细化方法来确保在每个尺度上的图像片段具有一致的曝光水平和白平衡，将最后一个尺度的输出拼接回原始图像，组合成最终的/>图像，得到一个高清、不受光线影响的高质量图像，再使用轻量级光学字符识别方法对重建后的高质量图像进行车牌识别。
第二方面，本发明提供一种基于时空扩散的高位相机车牌识别系统，包括：
图像获取模块，用于获取高位相机按照固定间隔时间拍摄车牌照片，获得车牌在时间维度上的多分辨率信息，将时间维度上的多分辨率信息融合到单个图像中得到多尺度多时间图像；
时空多尺度图像块获取模块，用于提取多尺度多时间图像中受光线影响的车牌的条件信息，定义用于后续模块训练的图像补丁块和标签；
基于扩散模型的图像去噪模块，用于将图像补丁块输入基于自注意力机制的扩散模型进行训练，在多次训练中，对多分辨率图像进行重建，得到多分辨率扩散模型；
车牌图像识别模块，用于识别车牌图像，训练好网络后，任意输入一张车牌照片得到高质量的、不受光线影响的车牌图像，使用轻量级的光学字符识别模型识别出车牌号。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明提出了基于时空扩散的高位相机车牌识别方法、系统及电子设备，以解决由阳光照射、夜晚对面车灯照耀等光线原因导致的图像炫光、重影等问题，从而提高车牌识别的准确性，融合了车牌在不同光线照射下的不同分辨率的时间信息，采用了基于多种条件信息下的基于图像块的处理方式和基于自注意力机制的扩散模型，其优点如下：
（1）通过时空条件信息融合策略，可以有效消除光线造成的炫光、重影等问题，从而在各种光线条件下提高车牌识别的准确性；
（2）基于自注意力机制的时空扩散方法在不同光线条件下都能实现稳定的识别效果，具有较强的环境适应性；
（3）图像块训练模型来减少模型对参数量的依赖，提高模型的推理速度，能够更好的应用于边缘识别设备；
（4）在处理完时空扩散后，使用轻量级网络进行车牌识别，这样可以降低计算资源需求，便于在各种硬件环境下部署。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本公开，并不构成对本发明的不当限定。
图1为本发明提供的高位相机车牌识别方法流程示意图。
图2为本发明提供的高位相机车牌识别系统结构框图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，本实施例提供一种基于时空扩散的高位相机车牌识别方法，包括如下步骤：
S1、图像获取：
车辆驶入停车场时，高位相机按照固定间隔时间，由远到近拍摄车牌照片，获得车牌在时间维度上的多分辨率信息，将所有照片上采样至分辨率最大的图像，然后沿通道维度将所有图像叠加，得到用于后续模型处理的多尺度多时间图像；
S2、时空多尺度图像块获取：
先从多尺度多时间图像中选定训练图像对, 其中/>是受光线影响的低质量图像，/>是不受光线影响的高质量图像，再设置一个遵循离散均匀分布的集合/>，从集合/>中随机采样一个尺度/>，并使用函数/>，其中/>是分辨率集合/>，获得与尺度 /> 匹配的用于后续模型训练的图像补丁块的分辨率，然后定义三个条件输入/>，/>和 />，其中/>是复杂光线条件下的测量值，包括炫光、重影等情况，即待重建的低光图像，/>是从上一个尺度获得的干净光线且低分辨率的预测，是从/>尺度获得的干净光线且低分辨率的预测，基于训练图像对/>以及三个条件输入/>，/>和 />，根据选定的尺度/>，定义用于后续模型训练的图像补丁块/>和标签；
三个条件输入，/>和 />在训练阶段用于引导图像重建过程，对于每个尺度 />，将/>下采样到相应的操作分辨率/>，并将下采样的图像作为图像重建的输入，提供了一个接近标签值的曝光水平，但具有明亮的干净光线的高频细节，为了获得/>，先将原始的干净图像/>下采样到 />分辨率，然后将其上采样到分辨率，并添加高斯噪声/>；/>提供了一个全局统一的曝光水平，进一步约束了恢复的曝光水平，在训练过程中，如果采样的尺度/>不是0，那么用于组成/>的/>输出将重新计算得到，为了获得/>，先将原始的明亮图像/>下采样到/>分辨率，然后将其上采样到/>分辨率，并添加高斯噪声/>；
定义用于后续模型训练的图像补丁块和标签/>的过程为：
先根据所选尺度从训练图像对/>中随机选择一个区域，通过随机选择一个左上角像素点/>并根据尺度/>提取一个大小为/>的图像块来实现，定义随机函数，在a和b之间返回一个随机整数，则，其中/>和/>分别是/>的宽度和高度；
再从原始图像和/>中提取选定区域，以创建图像块 />和/>，通过以下方式实现：
，
，
然后再计算基于图像块的三个条件输入：
，
，
，
其中，是一个下采样函数，将输入/>降维到/>大小，相反，U/>是一个上采样函数，将输入/>升维到/>大小，/>为高斯噪声；
最后将三个条件输入、/>和 />与图像块 />结合，在通道维度上连接得到；
S3、基于扩散模型的图像去噪：
扩散模型采用基于自注意力机制的扩散模型，该模型的网络架构包括编码器和解码器两部分，编码器包括输入层和下采样层，输入层包括一个卷积层，用于将带有条件输入的训练输入传递到网络，下采样层包括16个下采样单元，每个单元都包含一个自注意力层、批量归一化（BN）层和激活函数（如 ReLU），在每个下采样单元之后，使用跳跃连接将特征图传递到解码器的对应层，相邻下采样单元之间串行连接，上一个下采样单元的输出是当前下采样单元的输入；解码器包括上采样层和输出层，上采样层包括16个上采样单元，每个单元都包含一个自注意力层、批量归一化（BN）层和激活函数（如 ReLU），这些层的数量与下采样层相同，在每个上采样单元之前，通常会使用跳跃连接将编码器对应层的特征图与当前层进行连接，以保留更多的空间信息，相邻上采样单元之间串行连接，上一个上采样单元的输出是当前上采样单元的输入，输出层是一个卷积层，后面接一个恒等激活（Identityactivation）函数来生成最终的输出图像；
将步骤S3中定义好的图像补丁块输入基于自注意力机制的扩散模型进行训练，每次训练都从集合中随机选定的尺度/>得到定义的图像补丁块后，输入到扩散模型中得到大小为/>的重建结果，在多次训练中，通过对多分辨率图像进行图像重建，得到鲁棒的多分辨率扩散模型；
S4、 车牌图像识别：
训练好模型后，对于任意一张高位相机拍摄的车牌照片，将其均匀分割成的图像块，边界处用0填充补齐，所有图像块以级联方式进行多尺度恢复，即将把每个图像块作为基于自注意力机制的扩散模型的解码器的输入，将训练过程中的解码器作为编码器，训练过程中的编码器作为解码器，输出一个更高分辨率的高质量图像，对每个尺度应用基于自注意力机制的扩散模型的反向扩散过程，并将预测值作为下一个尺度的输入；所有的图像块并行进行这个过程，在整个车牌图像识别阶段，使用迭代潜变量细化（ILVR）方法来确保在每个尺度上的图像片段具有一致的曝光水平和白平衡，将最后一个尺度的输出拼接回原始图像，组合成最终的/>图像，得到一个高清、不受光线影响的高质量图像，再使用简单的轻量级光学字符识别方法对重建后的高质量图像进行车牌识别，提高识别效果。
表1是本实施例所述方法的一个仿真实验结果，该实验采用准确率、召回率和F1指标进行度量，本实施例所使用的数据集中共包含约800组高位相机拍摄的车牌照片，每组照片包括间隔1秒拍摄的由远及近的车牌照片，其中，在车牌识别操作中，使用开源的轻量级模型chineseocr，与现有算法相比，本实施例的方法极大地提高了车牌识别的准确率。
表1：本实施例所述方法与其他算法准确度比较
。
实施例2：
如图2所示，本实施例提供一种基于时空扩散的高位相机车牌识别系统，包括：
图像获取模块，用于获取高位相机按照固定间隔时间拍摄车牌照片，获得车牌在时间维度上的多分辨率信息，将时间维度上的多分辨率信息融合到单个图像中得到多尺度多时间图像；
时空多尺度图像块获取模块，用于提取多尺度多时间图像中受光线影响的车牌的条件信息，定义用于后续模块训练的图像补丁块；
基于扩散模型的图像去噪模块，用于将图像补丁块输入基于自注意力机制的扩散模型进行训练，在多次训练中，对多分辨率图像进行重建，得到多分辨率扩散模型；
车牌图像识别模块，用于识别车牌图像，训练好网络后，任意输入一张车牌照片得到高质量的、不受光线影响的车牌图像，使用轻量级的光学字符识别模型识别出车牌号。
此处需要说明的是，上述模块对应于实施例1中的步骤S1至S4，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。
应理解，本实施例中处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器，例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成，软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤，为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于时空扩散的高位相机车牌识别方法，其特征在于，包括以下步骤：
S1、图像获取：车辆驶入停车场时，高位相机按照固定间隔时间拍摄车牌照片，获得车牌在时间维度上的多分辨率信息，将时间维度上的多分辨率信息融合到单个图像中得到多尺度多时间图像；
S2、时空多尺度图像块获取：从多尺度多时间图像提取受光线影响的车牌的条件信息，定义用于后续模型训练的图像补丁块和标签，即为时空多尺度图像块；其中定义图像补丁块的具体过程为：
先根据所选尺度从训练图像对/>中随机选择一个左上角像素点/>并根据尺度/>提取一个大小为/>的图像块得到选定区域；
再定义随机函数，在a和 b之间返回一个随机整数，则，其中/>和/>分别是/>的宽度和高度；
然后从原始图像和/>中提取选定区域，以创建图像块 />和/>，具体为：，/>；
随后计算基于图像块的三个条件输入：
，
，
，
其中，是一个下采样函数，将输入/>降维到/>大小， U/>是一个上采样函数，将输入/>升维到/>大小，/>为高斯噪声；
最后将三个条件输入、/>和 />与图像块 />结合，通过在通道维度上连接得到，其中/>为图像补丁块，/>为标签；
S3、基于扩散模型的图像去噪：将步骤S2中定义好的图像补丁块输入基于自注意力机制的扩散模型进行训练，在多次训练中，对多分辨率图像进行重建，得到多分辨率扩散模型；所述基于自注意力机制的扩散模型的网络架构包括编码器和解码器两部分，编码器包括输入层和下采样层，输入层包括一个卷积层，用于将带有条件输入的训练输入传递到网络，下采样层包括16个下采样单元，每个单元都包含一个自注意力层、批量归一化层和激活函数，在每个下采样单元之后，使用跳跃连接将特征图传递到解码器的对应层，相邻下采样单元之间串行连接，上一个下采样单元的输出是当前下采样单元的输入；解码器包括上采样层和输出层，上采样层包括16个上采样单元，每个单元都包含一个自注意力层、批量归一化层和激活函数，在每个上采样单元之前，使用跳跃连接将编码器对应层的特征图与当前层进行连接，相邻上采样单元之间串行连接，上一个上采样单元的输出是当前上采样单元的输入，输出层是一个卷积层，后面接一个恒等激活函数来生成最终的输出图像；
S4、车牌图像识别：在多分辨率扩散模型中任意输入一张车牌照片得到高质量的、不受光线影响的车牌图像，使用轻量级的光学字符识别模型识别出车牌号。
2.根据权利要求1所述基于时空扩散的高位相机车牌识别方法，其特征在于，步骤S1中将时间维度上的多分辨率信息融合到单个图像中得到多尺度多时间图像的具体过程为：将所有照片上采样至分辨率最大的图像，再沿通道维度将所有图像叠加，得到用于后续模型处理的多尺度多时间图像。
3.根据权利要求2所述基于时空扩散的高位相机车牌识别方法，其特征在于，步骤S2从多尺度多时间图像提取受光线影响的车牌的条件信息的具体过程为：
（2-1）从多尺度多时间图像中选定训练图像对, 其中/>是受光线影响的低质量图像，/>是不受光线影响的高质量图像；
（2-2）设置一个遵循离散均匀分布的集合，从集合/>中随机采样一个尺度/>，并使用函数/>，其中/>是分辨率集合/>，获得与尺度 /> 匹配的用于后续模型训练的图像补丁块的分辨率；
（2-3）定义三个条件输入，/>和 />，其中/>是复杂光线条件下的测量值，即待重建的低光图像，/>是从上一个尺度获得的干净光线且低分辨率的预测，/>是从/>尺度获得的干净光线且低分辨率的预测，三个条件输入/>，/>和 />在训练阶段用于引导图像重建过程；其中对于每个尺度 />，将/>下采样到分辨率/>，并将下采样的图像作为图像重建的输入；/>通过将原始的干净图像/>下采样到 />分辨率，再将其上采样到/>分辨率，并添加高斯噪声/>得到；/>通过将原始的明亮图像下采样到/>分辨率，然后将其上采样到/>分辨率，并添加高斯噪声得到。
4.根据权利要求3所述基于时空扩散的高位相机车牌识别方法，其特征在于，步骤S3中对多分辨率图像进行重建的过程为：每次训练时，从集合中随机选定的尺度/>得到定义的图像补丁块后，输入到基于自注意力机制的扩散模型中得到大小为/>的重建结果。
5.根据权利要求4所述基于时空扩散的高位相机车牌识别方法，其特征在于，步骤S4的具体过程为：
（4-1）对于任意一张高位相机拍摄的车牌照片，将其均匀分割成的图像块，边界处用0填充补齐，所有图像块以级联方式进行多尺度恢复，即将把每个图像块作为基于自注意力机制的扩散模型的解码器的输入，将训练过程中的解码器作为编码器，训练过程中的编码器作为解码器，输出一个更高分辨率的高质量图像，对每个尺度应用基于自注意力机制的扩散模型的反向扩散过程，并将预测值作为下一个尺度的输入；
（4-2）将所有的图像块并行进行步骤（4-1）所述过程；
（4-3）在整个车牌图像识别阶段，使用迭代潜变量细化方法使每个尺度上的图像片段具有一致的曝光水平和白平衡，并将最后一个尺度的输出拼接回原始图像，组合成最终的图像，得到一个高质量的、不受光线影响的车牌图像；
（4-4）使用轻量级光学字符识别方法对步骤（4-3）得到的车牌图像进行车牌识别。
6.一种基于时空扩散的高位相机车牌识别系统，其特征在于，能完成权利要求1-5任一方法，包括：
图像获取模块，用于获取高位相机按照固定间隔时间拍摄车牌照片，获得车牌在时间维度上的多分辨率信息，将时间维度上的多分辨率信息融合到单个图像中得到多尺度多时间图像；
时空多尺度图像块获取模块，用于提取多尺度多时间图像中受光线影响的车牌的条件信息，定义用于后续模块训练的图像补丁块和标签；
基于扩散模型的图像去噪模块，用于将图像补丁块输入基于自注意力机制的扩散模型进行训练，在多次训练中，对多分辨率图像进行重建，得到多分辨率扩散模型；
车牌图像识别模块，用于识别车牌图像，训练好网络后，任意输入一张车牌照片得到高质量的、不受光线影响的车牌图像，使用轻量级的光学字符识别模型识别出车牌号。
7.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-5任一项所述的方法。
CN202310608741.7A 2023-05-29 2023-05-29 基于时空扩散的高位相机车牌识别方法、系统及电子设备 Active CN116386023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310608741.7A CN116386023B (zh) 2023-05-29 2023-05-29 基于时空扩散的高位相机车牌识别方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310608741.7A CN116386023B (zh) 2023-05-29 2023-05-29 基于时空扩散的高位相机车牌识别方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN116386023A CN116386023A (zh) 2023-07-04
CN116386023B true CN116386023B (zh) 2023-08-25

Family

ID=86963679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310608741.7A Active CN116386023B (zh) 2023-05-29 2023-05-29 基于时空扩散的高位相机车牌识别方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN116386023B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101355201B1 (ko) * 2013-09-12 2014-01-29 주식회사 넥스파시스템 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법
CN106600536A (zh) * 2016-12-14 2017-04-26 同观科技（深圳）有限公司 一种视频图像超分辨率重建方法及装置
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN111915490A (zh) * 2020-08-14 2020-11-10 深圳清研智城科技有限公司 一种基于多尺度特征的车牌图像超分辨率重建模型及方法
KR20220003925A (ko) * 2020-07-02 2022-01-11 한국전자통신연구원 시공간 유형 분석을 통한 전염병 확산 방지 시스템 및 방법
CN114092926A (zh) * 2021-10-20 2022-02-25 杭州电子科技大学 一种复杂环境下的车牌定位和识别方法
WO2022111355A1 (zh) * 2020-11-30 2022-06-02 展讯通信（上海）有限公司 车牌识别方法及装置、存储介质、终端
CN115063786A (zh) * 2022-08-18 2022-09-16 松立控股集团股份有限公司 一种高位远景模糊车牌检测方法
CN115223158A (zh) * 2022-07-15 2022-10-21 杭州电子科技大学 基于自适应扩散先验变分自编码器的车牌图像生成方法及系统
CN115239602A (zh) * 2022-09-22 2022-10-25 松立控股集团股份有限公司 一种基于空洞卷积扩大感受野的车牌图像去模糊方法
CN115410189A (zh) * 2022-10-31 2022-11-29 松立控股集团股份有限公司 一种复杂场景车牌检测方法
CN116091322A (zh) * 2023-04-12 2023-05-09 山东科技大学 超分辨率图像重建方法和计算机设备
CN116152603A (zh) * 2023-02-21 2023-05-23 汇客云(上海)数据服务有限公司 属性识别模型训练方法、系统、介质及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101355201B1 (ko) * 2013-09-12 2014-01-29 주식회사 넥스파시스템 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법
CN106600536A (zh) * 2016-12-14 2017-04-26 同观科技（深圳）有限公司 一种视频图像超分辨率重建方法及装置
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
KR20220003925A (ko) * 2020-07-02 2022-01-11 한국전자통신연구원 시공간 유형 분석을 통한 전염병 확산 방지 시스템 및 방법
CN111915490A (zh) * 2020-08-14 2020-11-10 深圳清研智城科技有限公司 一种基于多尺度特征的车牌图像超分辨率重建模型及方法
WO2022111355A1 (zh) * 2020-11-30 2022-06-02 展讯通信（上海）有限公司 车牌识别方法及装置、存储介质、终端
CN114092926A (zh) * 2021-10-20 2022-02-25 杭州电子科技大学 一种复杂环境下的车牌定位和识别方法
CN115223158A (zh) * 2022-07-15 2022-10-21 杭州电子科技大学 基于自适应扩散先验变分自编码器的车牌图像生成方法及系统
CN115063786A (zh) * 2022-08-18 2022-09-16 松立控股集团股份有限公司 一种高位远景模糊车牌检测方法
CN115239602A (zh) * 2022-09-22 2022-10-25 松立控股集团股份有限公司 一种基于空洞卷积扩大感受野的车牌图像去模糊方法
CN115410189A (zh) * 2022-10-31 2022-11-29 松立控股集团股份有限公司 一种复杂场景车牌检测方法
CN116152603A (zh) * 2023-02-21 2023-05-23 汇客云(上海)数据服务有限公司 属性识别模型训练方法、系统、介质及装置
CN116091322A (zh) * 2023-04-12 2023-05-09 山东科技大学 超分辨率图像重建方法和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"海量车牌识别数据集上基于时空划分的旅行时间计算方法";赵卓峰等;《电子学报》;全文 *

Also Published As

Publication number Publication date
CN116386023A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
US11138444B2 (en) Methods and devices for processing images of a traffic light
CN110120024B (zh) 图像处理的方法、装置、设备和存储介质
US11967052B2 (en) Systems and methods for image processing
US11687773B2 (en) Learning method and recording medium
CN113505772B (zh) 基于生成对抗网络的车牌图像生成方法及系统
KR102628115B1 (ko) 영상 처리 방법, 장치, 기록 매체 및 전자 장치
CN111062347B (zh) 一种自动驾驶中交通要素分割方法、电子设备及存储介质
CN117058007A (zh) 利用类特定修复神经网络的数字图像中的对象类修复
CN111680580A (zh) 一种闯红灯的识别方法、装置、电子设备及存储介质
Cui et al. Exploring the potential of channel interactions for image restoration
CN116386023B (zh) 基于时空扩散的高位相机车牌识别方法、系统及电子设备
CN117173070A (zh) 一种基于fpga的图像处理融合方法及系统
CN116993987A (zh) 一种基于轻量级神经网络模型的图像语义分割方法及系统
CN116433903A (zh) 实例分割模型构建方法、系统、电子设备及存储介质
CN116342446A (zh) 多聚焦图像融合方法及装置、电子设备、存储介质
CN113643173A (zh) 水印去除方法、装置、终端设备及可读存储介质
CN117184105B (zh) 一种基于多模态数据融合的转向角速度预测方法及装置
Wang et al. Night Vision Enhancement for License Plate Recognition based on Deep Learning
CN114359069A (zh) 一种图像恢复方法、系统、装置和存储介质
CN116310692A (zh) 多特征融合遥感图像变化检测方法及系统
CN116188307A (zh) 适用于全天的图像低照度增强和语义分割联合方法和系统
CN114648468A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN116311207A (zh) 模糊车牌识别方法、装置、电子设备及存储介质
Zhao et al. Structure-Texture Dual Preserving for Remote Sensing Image Super-Resolution
CN118052739A (zh) 一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant