CN111915490A - 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 - Google Patents
一种基于多尺度特征的车牌图像超分辨率重建模型及方法 Download PDFInfo
- Publication number
- CN111915490A CN111915490A CN202010820206.4A CN202010820206A CN111915490A CN 111915490 A CN111915490 A CN 111915490A CN 202010820206 A CN202010820206 A CN 202010820206A CN 111915490 A CN111915490 A CN 111915490A
- Authority
- CN
- China
- Prior art keywords
- scale
- resolution
- features
- license plate
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 98
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 230000004931 aggregating effect Effects 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims abstract description 5
- 238000012795 verification Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008485 antagonism Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 18
- 230000009286 beneficial effect Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 7
- 230000000452 restraining effect Effects 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 230000008034 disappearance Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度特征的车牌图像超分辨率重建模型及方法，该模型包括：数据集构建模块，用于构建训练用车牌图像超分辨率重建数据集，所述数据集中的数据以低分辨率图像和对应高分辨率真值为一个训练样本；训练样本加载模块，用于加载训练样本；多尺度特征模型，用于使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以RDB为基础块进行堆叠，并通过上采样网络输出重建后的高分辨率图像；判别器，用于对经所述多尺度特征模型重建得到的高分辨率图像与所述训练样本的高分辨率真值进行判别，输出判别结果。
Description
技术领域
本发明涉及计算机图像处理技术领域，特别是涉及一种使用生成对抗网络对车牌图像的多尺度特征进行学习进而实现超分辨率重建的基于多尺度特征的车牌图像超分辨率重建模型及方法。
背景技术
有监督的自然图像的超分辨率重建技术已经发展的比较成熟，目前已有多种技术可以实现，如RDN、EDSR、SRGAN等基于深度学习的超分辨率重建方法，但这些方法未对待重建图像的多尺度特征进行关注，导致低分辨率的车牌图像超分重建的效果不理想。
举例来说，现有超分辨率重建方法在特征提取模块只对单一尺度的特征进行编码解码，忽略了其他尺度语义信息对超分辨率重建过程的贡献。在这种情况下，要得到高质量的超分辨率重建结果，必须加大模型深度导致参数量很大。此外，现有超分辨率重建方法判别器部分基于全连接层或者PatchGAN进行类别判断，未从多尺度特征的角度进行判别器设计，导致车牌图像部分小区域的重建质量不高，有显著伪影存在。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种基于多尺度特征的车牌图像超分辨率重建模型及方法，以达到使用生成对抗网络对车牌图像的多尺度特征进行学习进而实现超分辨率重建的目的。
为达上述目的，本发明提出一种基于多尺度特征的车牌图像超分辨率重建模型，包括：
数据集构建模块，用于构建训练用车牌图像超分辨率重建数据集，所述数据集中的数据以低分辨率图像和对应高分辨率真值为一个训练样本；
训练样本加载模块，用于加载训练样本；
多尺度特征模型，用于使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以residual dense block为基础块进行堆叠，并通过上采样网络输出重建后的高分辨率图像；
判别器，用于对经所述多尺度特征模型重建得到的高分辨率图像与所述训练样本的高分辨率真值进行判别，输出判别结果。
优选地，所述多尺度特征模型包括：
多尺度特征提取模块，用于加载训练样本的低分辨率图像，对所述低分辨率图像使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取输入的低分辨率图像的各尺度特征语义信息，并在提取完各尺度的特征最后进行级联以实现聚合；
多尺度特征编码解码网络，用于获取所述多尺度特征提取模块输出的多尺度特征级联在一起的特征图，提取高层语义特征和高频信息；
上采样模块，连接在所述多尺度特征编码解码网络后，使用pixelshuffle模块作为上采样网络，输出重建后高分辨率图像。
优选地，所述训练样本加载模块采用批量加载，每次加载若干个样本，每个训练样本包括一远景图像以及随机抽取的近景图像，在加载时调整每帧图片尺寸，使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。
优选地，所述判别器对输入的真值和所述多尺度特征模型的重建结果，先提取各自多尺度特征，然后对每一种尺度的特征进行判断，最后将不同尺度特征的判别结果进行加权求和，输出判别结果。
优选地，使用生成对抗的方式对所述重建模型进行完整过程的训练。
优选地，利用Adam作为所述多尺度特征模型和所述判别器的优化器，学习率衰减方式使用ReduceLROnPlateau方式。
为达到上述目的，本发明还提供一种基于多尺度特征的车牌图像超分辨率重建方法，包括如下步骤：
步骤S1，加载训练样本，并于加载时对加载的训练样本进行预处理，所加载的训练样本包括远景图像和近景图像；
步骤S2，以迭代方式加载训练样本的低分辨率图像输入到多尺度特征模型，使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以residualdense block为基础块进行堆叠，并通过上采样网络输出重建后的高分辨率图像；
步骤S3，将经多尺度特征模型重建得到的高分辨率图像与所述训练样本中对应高分辨率真值输入到判别器，输出判别结果；
步骤S4，计算判别器损失，并根据该损失进行反向传播更新判别器参数；
步骤S5，计算作为生成器的所述多尺度特征模型的损失，根据求得的损失进行反向传播更新生成器参数；
步骤S6，在每一轮训练后利用验证集中的样本进行一轮验证，并于验证过程中，根据生成器和判别器的平均损失减小生成器和判别器学习率；
步骤S7，重复步骤S1-S6，进行迭代优化直到训练完毕。
优选地，于步骤S1中，批量加载若干训练样本，并在加载时调整每帧图片尺寸，并使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。
优选地，于步骤S3中，对输入的真值和所述多尺度特征模型的重建结果，先提取各自的多尺度特征，然后对每一种尺度的特征进行判断，最后将不同尺度特征的判别结果进行加权求和。
优选地，利用Adam作为生成器和判别器的优化器，学习率衰减方式使用ReduceLROnPlateau方式。
优选地，于步骤S6中，判断生成器的平均损失是否一直减小，若保持连续patience次不减小，则以设定倍数减小生成器学习率；若判别器的的平均损失连续patience次不减小，则以设定倍数减小判别器学习率。
与现有技术相比，本发明一种基于多尺度特征的车牌图像超分辨率重建模型及方法通过以迭代方式加载训练样本的低分辨率图像到多尺度特征模型，使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以residual dense block为基础块进行堆叠，并通过上采样网络输出重建后的高分辨率图像，并将经多尺度特征模型重建得到的高分辨率图像与所述训练样本中对应高分辨率真值输入到判别器，从而实现使用生成对抗网络对车牌图像的多尺度特征进行学习进而达到超分辨率重建的目的。
附图说明
图1为本发明一种基于多尺度特征的车牌图像超分辨率重建模型的系统架构图；
图2为本发明具体实施例中多尺度特征模型的网络示意图；
图3为本发明一种基于多尺度特征的车牌图像超分辨率重建方法的步骤流程图；
图4为本发明实施例中一种基于多尺度特征的车牌图像超分辨率重建流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种基于多尺度特征的车牌图像超分辨率重建模型的系统架构图。如图1所示本发明一种基于多尺度特征的车牌图像超分辨率重建模型，包括：
数据集构建模块101，用于构建训练用车牌图像超分辨率重建数据集。
在本发明具体实施例中，数据集构建模块101通过分别采集抓拍到的低分辨率图像和静止下的高分辨率车牌图像构建训练用车牌图像超分辨率重建数据集，所构建的数据集中的数据配对低分辨率图像和对应高分辨率真值为一个训练样本，数据集包括训练集、验证集和测试集三部分，在本发明具体实施例中，将获得的图像随机按比例1：1：3分别分成测试集、验证集和训练集，其中训练集在训练的时候使用，验证集在每进行一个epoch(当前训练轮数)的训练后，输入模型分别计算生成器损失函数和判别器损失函数，通过损失函数来判断目前模型训练的效果，测试集则用于最终评估模型的超分辨率重建效果。.
训练样本加载模块102，用于加载训练样本，并于加载时对所加载的训练样本进行预处理。
在本发明具体实施例中，加载训练样本采用批量加载，每次加载若干个样本，在加载时调整每帧图片尺寸为256*256，并使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。
多尺度特征模型103，用于使用不同扩张率的dilate卷积(空洞卷积)在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以residual dense block为基础块进行堆叠，在有利于在学习到更深更高语义的特征的同时，减少网络计算复杂度和避免梯度消失，并通过上采样网络输出重建后的高分辨率图像。多尺度特征模型103即指生成器，包括多尺度特征提取和上采样两个环节。
具体地，如图2所示，多尺度特征模型103进一步包括：
多尺度特征提取模块(Dilated Feature Extractor)，用于加载训练样本的低分辨率图像，对所述低分辨率图像使用不同扩张率的dilate卷积(空洞卷积)在不引入额外参数的情况下扩大感受野来提取输入的低分辨率图像的各尺度特征语义信息，并在提取完各尺度的特征最后进行concatation(级联)以实现聚合。
在本发明具体实施例中，多尺度特征提取模块具有7个层，这些层应用具有不同膨胀因子的3×3卷积。膨胀为1、1、2、4、8、16和1。每个卷积都在所有层上运行：严格来说，这些是3×3×C卷积，且在前两个维中都有膨胀。这些卷积中的每一个随后是逐点截断max(〃，0)。最后一层执行1×1×C卷积产生模块的输出。如下表1总结了该体系结构。需注意的是，向上下文网络提供输入的前端模块会生成特征图，分辨率为64×64，因此，停止了第6层之后感受野的指数扩展。
表1
多尺度特征编码解码网络(RDN)，用于获取多尺度特征提取模块输出的多尺度特征级联在一起的特征图，提取高层语义特征和高频信息。如图2所示，RDN模块负责提取高层语义特征和高频信息，主要实现编码器的作用，其以residual dense block为基础块进行堆叠，RDB为超分辨率领域常见的block块，是将残差模块residual block和dense block模块进行了整合,将两者集合起来形成了residual dense block，由于这里的RDN模块以及RDB均不是本发明的创新点，在此不予赘述。本发明利用RDN模块可以在有利于在学习到更深更高语义的特征的同时，减少网络计算复杂度和避免梯度消失。
上采样模块(PixelShuffle)，连接在多尺度特征编码解码网络后，使用pixelshuffle模块作为上采样网络，输出重建后高分辨率图像，也就是说，这里的上采样用于从低分辨率映射到高分辨率，因为上采样之前的特征编码解码都在低分辨率尺度下进行的。
判别器104，用于对经多尺度特征模型103重建得到的高分辨率图像与所述训练样本的高分辨率真值进行判别，输出判别结果。具体地，将真值和多尺度特征模型103的重建结果输入到判别器104中，先提取各自多尺度特征，然后对每一种尺度的特征进行判断，最后将不同尺度特征的判别结果进行加权求和，输出判别结果。
本发明在训练策略上，使用生成对抗的方式对模型进行训练，首先对多尺度特征模型103(也可称之为生成器)进行预训练，获得预训练后多尺度特征模型权重，接着使用生成对抗方式进行微调(fine-tune)，将真值和多尺度特征模型的重建结果输入到判别器中，先提取各自多尺度特征，然后对每一种尺度的特征进行判断，最后将不同尺度特征的判别结果进行加权求和，在本发明具体实施例中，判别器和多尺度特征模型(即生成器)都使用谱归一化，生成器激活函数使用PRELU，判别器激活函数使用LeakyRELU。
本发明中，在每一轮的训练完成后，还利用验证集中的样本进行验证步骤，即将模型切换为评估模式，然后从验证集加载数据，计算损失函数和PSNR、SSIM评价指标。测试步骤则在整个训练过程完成后进行，具体过程和验证步骤类似，由于验证和测试的过程与训练类似，在此不予赘述。
具体地，本发明使用Adam作为生成器和判别器的优化器，学习率衰减方式使用ReduceLROnPlateau方式。在损失函数部分，生成器采用的损失函数包含三部分：对抗损失、均方差损失和内容损失，对抗损失有助于提升生成对抗方式的结果，均方差损失负责在像素尺度对生成帧进行约束，内容损失在特征尺度对生成帧进行约束，有助于提升生成中间帧的结构化信息和纹理信息，求取损失后进行反向传播更新网络参数，重复完成迭代优化直到训练完毕。
图3为本发明一种基于多尺度特征的车牌图像超分辨率重建重建方法的步骤流程图。如图3所示，本发明一种基于多尺度特征的车牌图像超分辨率重建方法，包括如下步骤：
步骤S1，加载训练样本，并于加载时对加载的训练样本进行预处理，所加载的训练样本包括配对的低分辨率图像和对应高分辨率真值。
在本发明具体实施例中，首先需构建训练用车牌图像超分辨率重建数据集，该数据集中的数据以配对低分辨率图像和对应高分辨率真值为一个训练样本，数据集包括训练集、验证集和测试集三部分。
在本发明具体实施例中，加载训练样本采用批量加载，每次加载若干个样本，每个训练样本包括一配对的低分辨率图像和对应高分辨率真值，在加载时调整每帧图片尺寸为256*256，并使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。
步骤S2，以迭代方式加载训练样本的低分辨率图像输入到多尺度特征模型，使用不同扩张率的dilate卷积(空洞卷积)在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以residual dense block为基础块进行堆叠，在有利于在学习到更深更高语义的特征的同时，减少网络计算复杂度和避免梯度消失，并通过上采样网络输出重建后的高分辨率图像。
步骤S3，将经多尺度特征模型重建得到的高分辨率图像与所述训练样本中对应高分辨率真值输入到判别器，输出判别结果。
在本发明具体实施例中，于判别器中，先提取各自的多尺度特征，然后对每一种尺度的特征进行判断，最后将不同尺度特征的判别结果进行加权求和。
在训练策略上，本发明使用生成对抗的方式进行训练，首先对生成器部分(多尺度特征模型)进行预训练，获得预训练后生成器模型权重，接着使用生成对抗方式进行fine-tune，这里将真值和重建结果输入到判别器中，先提取各自多尺度特征，然后对每一种尺度的特征进行判断，最后将不同尺度特征的判别结果进行加权求和，判别器和生成器都使用谱归一化，生成器激活函数使用PRELU，判别器激活函数使用LeakyRELU。
步骤S4，计算判别器损失，并根据该损失进行反向传播更新判别器参数。
在本发明中，判别器损失为典型的生成对抗网络的判别器损失，损失函数可形如如下公式：
由于该判别器损失的损失函数为现有技术中典型的生成对抗网络的判别器损失函数，在此不予赘述
步骤S5，计算多尺度特征模型(即生成器)损失，根据求得的损失进行反向传播更新多尺度特征模型(即生成器)参数。
在本发明具体实施例中，多尺度特征模型(即生成器)采用的损失函数包含三部分：对抗损失、均方差损失和内容损失，对抗损失有助于提升生成对抗方式的结果，均方差损失负责在像素尺度对生成帧进行约束，内容损失在特征尺度对生成帧进行约束，有助于提升生成中间帧的结构化信息和纹理信息，求取损失后进行反向传播更新网络参数，重复完成迭代优化直到训练完毕。由于本发明所采用的生成器网络为现有典型的生成器网络结构，其损失函数也是现有技术中已经揭露的，在此不予赘述
步骤S6，在每一轮训练后利用验证集中的样本进行一轮验证，并于验证过程中，判断多尺度特征模型(即生成器)的平均损失是否一直减小，若保持连续patience次不减小，则以设定倍数减小生成器学习率(即当验证集上损失连续patience次不减少时，则减小学习率)，这里生成器的平均损失指一轮训练迭代下来的生成器损失的平均值；若判别器的的平均损失连续patience次不减小，则以设定倍数减小判别器学习率，这里判别器的平均损失指一轮训练迭代下来的判别器损失的平均值。减小学习率是用于减小搜索步长来寻找模型局部最优点，一开始设定大的学习率用于加速训练过程。调整学习率的目的则是为了在验证集上获得更好地评价指标。
在本发明中，验证过程与训练过程一样，只是验证过程加载的是验证集中的验证数据，在此不予赘述。
步骤S7，重复步骤S1-S6，进行迭代优化直到训练完毕，例如达到设定轮数训练停止。
实施例
如图4所示，在本实施例中，一种基于多尺度特征的车牌图像超分辨率重建流程如下：
S1，制作训练用车牌图像超分辨率重建数据集，数据集包括训练集、验证集和测试集三部分，数据以配对低分辨率图像和对应高分辨率真值为一个训练样本。
S2，加载数据采用批量加载，每次加载若干个样本，在加载时调整每帧图片尺寸为256*256，使用旋转、翻转进行数据增强，然后对像素值进行归一化。
S3，将低分辨率车牌图像输入到多尺度特征模型中，这里多尺度特征模型首先使用不同扩张率的dilate卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，接着以residual dense block为基础块进行堆叠，在有利于在学习到更深更高语义的特征的同时，减少网络计算复杂度和避免梯度消失。
S4，紧接多尺度特征编码解码网络的是上采样模块，这里使用pixelshuffle模块作为上采样网络，输出重建后高分辨率图像。
S5，使用生成对抗的方式进行训练，首先对生成器部分(即多尺度特征模型)进行预训练，获得预训练后生成器模型权重，接着使用生成对抗方式进行fine-tune，这里将真值和重建结果输入到判别器中，先提取各自多尺度特征，然后对每一种尺度的特征进行判断，最后将不同尺度特征的判别结果进行加权求和，判别器和生成器都使用谱归一化，生成器激活函数使用PRELU，判别器激活函数使用LeakyRELU。
S6，使用Adam作为生成器和判别器的优化器，学习率衰减方式使用ReduceLROnPlateau方式。在损失函数部分，生成器采用的损失函数包含三部分：对抗损失、均方差损失和内容损失，对抗损失有助于提升生成对抗方式的结果，均方差损失负责在像素尺度对生成帧进行约束，内容损失在特征尺度对生成帧进行约束，有助于提升生成中间帧的结构化信息和纹理信息，求取损失后进行反向传播更新网络参数，重复完成迭代优化直到训练完毕。
S7，重复S2到S6步骤，进行迭代优化直到训练完毕，在训练过程中采用生成对抗的思想，将上述网络部分定义为生成器，同时设计了一个多尺度判别器，在同一个epoch下交替对抗训练，其中Epoch表示当前训练轮数，epochs表示总的要训练多少轮。
综上所述，本发明一种基于多尺度特征的车牌图像超分辨率重建模型及方法通过以迭代方式加载训练样本的低分辨率图像到多尺度特征模型，使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以residual dense block为基础块进行堆叠，并通过上采样网络输出重建后的高分辨率图像，并将经多尺度特征模型重建得到的高分辨率图像与所述训练样本中对应高分辨率真值输入到判别器，从而实现使用生成对抗网络对车牌图像的多尺度特征进行学习进而达到超分辨率重建的目的。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
Claims (10)
1.一种基于多尺度特征的车牌图像超分辨率重建模型，包括：
数据集构建模块，用于构建训练用车牌图像超分辨率重建数据集，所述数据集中的数据以低分辨率图像和对应高分辨率真值为一个训练样本；
训练样本加载模块，用于加载训练样本；
多尺度特征模型，用于使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以residual dense block为基础块进行堆叠，并通过上采样网络输出重建后的高分辨率图像；
判别器，用于对经所述多尺度特征模型重建得到的高分辨率图像与所述训练样本的高分辨率真值进行判别，输出判别结果。
2.如权利要求1所述的一种基于多尺度特征的车牌图像超分辨率重建模型，其特征在于，所述多尺度特征模型包括：
多尺度特征提取模块，用于加载训练样本的低分辨率图像，对所述低分辨率图像使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取输入的低分辨率图像的各尺度特征语义信息，并在提取完各尺度的特征最后进行级联以实现聚合；
多尺度特征编码解码网络，用于获取所述多尺度特征提取模块输出的多尺度特征级联在一起的特征图，提取高层语义特征和高频信息；
上采样模块，连接在所述多尺度特征编码解码网络后，使用pixelshuffle模块作为上采样网络，输出重建后高分辨率图像。
3.如权利要求2所述的一种基于多尺度特征的车牌图像超分辨率重建模型，其特征在于：所述训练样本加载模块采用批量加载，每次加载若干个样本，每个训练样本包括一远景图像以及随机抽取的近景图像，在加载时调整每帧图片尺寸，使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。
4.如权利要求1所述的一种基于多尺度特征的车牌图像超分辨率重建模型，其特征在于：所述判别器对输入的真值和所述多尺度特征模型的重建结果，先提取各自多尺度特征，然后对每一种尺度的特征进行判断，最后将不同尺度特征的判别结果进行加权求和，输出判别结果；使用生成对抗的方式对所述重建模型进行完整过程的训练。
5.如权利要求1所述的一种基于多尺度特征的车牌图像超分辨率重建模型，其特征在于：利用Adam作为所述多尺度特征模型和所述判别器的优化器，学习率衰减方式使用ReduceLROnPlateau方式。
6.一种基于多尺度特征的车牌图像超分辨率重建方法，包括如下步骤：
步骤S1，加载训练样本，并于加载时对加载的训练样本进行预处理，所加载的训练样本包括远景图像和近景图像；
步骤S2，以迭代方式加载训练样本的低分辨率图像输入到多尺度特征模型，使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以residual denseblock为基础块进行堆叠，并通过上采样网络输出重建后的高分辨率图像；
步骤S3，将经多尺度特征模型重建得到的高分辨率图像与所述训练样本中对应高分辨率真值输入到判别器，输出判别结果；
步骤S4，计算判别器损失，并根据该损失进行反向传播更新判别器参数；
步骤S5，计算作为生成器的所述多尺度特征模型的损失，根据求得的损失进行反向传播更新生成器参数；
步骤S6，在每一轮训练后利用验证集中的样本进行一轮验证，并于验证过程中，根据生成器和判别器的平均损失减小生成器和判别器学习率；
步骤S7，重复步骤S1-S6，进行迭代优化直到训练完毕。
7.如权利要求6所述的一种基于多尺度特征的车牌图像超分辨率重建方法，其特征在于，于步骤S1中，批量加载若干训练样本，并在加载时调整每帧图片尺寸，并使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。
8.如权利要求6所述的一种基于多尺度特征的车牌图像超分辨率重建方法，其特征在于：于步骤S3中，对输入的真值和所述多尺度特征模型的重建结果，先提取各自的多尺度特征，然后对每一种尺度的特征进行判断，最后将不同尺度特征的判别结果进行加权求和。
9.如权利要求6所述的一种基于多尺度特征的车牌图像超分辨率重建方法，其特征在于：利用Adam作为生成器和判别器的优化器，学习率衰减方式使用ReduceLROnPlateau方式。
10.如权利要求6所述的一种基于多尺度特征的车牌图像超分辨率重建方法，其特征在于：于步骤S6中，判断生成器的平均损失是否一直减小，若保持连续patience次不减小，则以设定倍数减小生成器学习率；若判别器的的平均损失连续patience次不减小，则以设定倍数减小判别器学习率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010820206.4A CN111915490A (zh) | 2020-08-14 | 2020-08-14 | 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010820206.4A CN111915490A (zh) | 2020-08-14 | 2020-08-14 | 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111915490A true CN111915490A (zh) | 2020-11-10 |
Family
ID=73283108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010820206.4A Pending CN111915490A (zh) | 2020-08-14 | 2020-08-14 | 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915490A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529058A (zh) * | 2020-12-03 | 2021-03-19 | 北京百度网讯科技有限公司 | 图像生成模型训练方法和装置、图像生成方法和装置 |
| CN112528782A (zh) * | 2020-11-30 | 2021-03-19 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| CN112529159A (zh) * | 2020-12-09 | 2021-03-19 | 北京百度网讯科技有限公司 | 网络训练方法、装置及电子设备 |
| CN112669216A (zh) * | 2021-01-05 | 2021-04-16 | 华南理工大学 | 一种基于联邦学习的并行空洞新结构的超分辨率重构网络 |
| CN112785499A (zh) * | 2020-12-31 | 2021-05-11 | 马培峰 | 超分辨率重建模型训练方法及计算机设备 |
| CN112949636A (zh) * | 2021-03-31 | 2021-06-11 | 上海电机学院 | 一种车牌超分辨率识别方法、系统及计算机可读介质 |
| CN113139899A (zh) * | 2021-03-31 | 2021-07-20 | 桂林电子科技大学 | 高质量轻量级超分辨率重建网络模型设计方法 |
| CN113159158A (zh) * | 2021-04-16 | 2021-07-23 | 西安建筑科技大学 | 一种基于生成对抗网络的车牌矫正与重构方法及系统 |
| CN113269256A (zh) * | 2021-05-26 | 2021-08-17 | 广州密码营地科技有限公司 | 一种MiSrc-GAN模型的构建方法及应用 |
| CN115546780A (zh) * | 2022-11-29 | 2022-12-30 | 城云科技（中国）有限公司 | 车牌识别方法、模型及装置 |
| CN116386023A (zh) * | 2023-05-29 | 2023-07-04 | 松立控股集团股份有限公司 | 基于时空扩散的高位相机车牌识别方法、系统及电子设备 |
| CN116543377A (zh) * | 2023-07-05 | 2023-08-04 | 西南民族大学 | 一种基于多尺度特征的车牌清晰度提升方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106508048B (zh) * | 2011-12-05 | 2014-08-27 | 中国科学院自动化研究所 | 一种基于多尺度基本形式的相似尺度图像融合方法 |
| WO2019109262A1 (en) * | 2017-12-06 | 2019-06-13 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for determining new roads on a map |
| CN110223234A (zh) * | 2019-06-12 | 2019-09-10 | 杨勇 | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 |
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
| US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN111028147A (zh) * | 2019-11-25 | 2020-04-17 | 天津大学 | 基于级联空洞卷积的三维医学图像超分辨率重建方法 |
| CN111461134A (zh) * | 2020-05-18 | 2020-07-28 | 南京大学 | 一种基于生成对抗网络的低分辨率车牌识别方法 |
-
2020
- 2020-08-14 CN CN202010820206.4A patent/CN111915490A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106508048B (zh) * | 2011-12-05 | 2014-08-27 | 中国科学院自动化研究所 | 一种基于多尺度基本形式的相似尺度图像融合方法 |
| WO2019109262A1 (en) * | 2017-12-06 | 2019-06-13 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for determining new roads on a map |
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
| US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN110223234A (zh) * | 2019-06-12 | 2019-09-10 | 杨勇 | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 |
| CN111028147A (zh) * | 2019-11-25 | 2020-04-17 | 天津大学 | 基于级联空洞卷积的三维医学图像超分辨率重建方法 |
| CN111461134A (zh) * | 2020-05-18 | 2020-07-28 | 南京大学 | 一种基于生成对抗网络的低分辨率车牌识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李诚等: "改进的生成对抗网络图像超分辨率重建", 计算机工程与应用, vol. 56, no. 4, pages 191 - 196 * |
| 温佩芝等: "基于卷积神经网络改进的图像自动分割方法", 计算机应用研究, no. 9, pages 294 - 298 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528782A (zh) * | 2020-11-30 | 2021-03-19 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| CN112528782B (zh) * | 2020-11-30 | 2024-02-23 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| CN112529058A (zh) * | 2020-12-03 | 2021-03-19 | 北京百度网讯科技有限公司 | 图像生成模型训练方法和装置、图像生成方法和装置 |
| CN112529159A (zh) * | 2020-12-09 | 2021-03-19 | 北京百度网讯科技有限公司 | 网络训练方法、装置及电子设备 |
| CN112529159B (zh) * | 2020-12-09 | 2023-08-04 | 北京百度网讯科技有限公司 | 网络训练方法、装置及电子设备 |
| CN112785499A (zh) * | 2020-12-31 | 2021-05-11 | 马培峰 | 超分辨率重建模型训练方法及计算机设备 |
| CN112669216B (zh) * | 2021-01-05 | 2022-04-22 | 华南理工大学 | 一种基于联邦学习的并行空洞新结构的超分辨率重构网络 |
| CN112669216A (zh) * | 2021-01-05 | 2021-04-16 | 华南理工大学 | 一种基于联邦学习的并行空洞新结构的超分辨率重构网络 |
| CN112949636B (zh) * | 2021-03-31 | 2023-05-30 | 上海电机学院 | 一种车牌超分辨率识别方法、系统及计算机可读介质 |
| CN113139899A (zh) * | 2021-03-31 | 2021-07-20 | 桂林电子科技大学 | 高质量轻量级超分辨率重建网络模型设计方法 |
| CN112949636A (zh) * | 2021-03-31 | 2021-06-11 | 上海电机学院 | 一种车牌超分辨率识别方法、系统及计算机可读介质 |
| CN113159158A (zh) * | 2021-04-16 | 2021-07-23 | 西安建筑科技大学 | 一种基于生成对抗网络的车牌矫正与重构方法及系统 |
| CN113269256A (zh) * | 2021-05-26 | 2021-08-17 | 广州密码营地科技有限公司 | 一种MiSrc-GAN模型的构建方法及应用 |
| CN115546780A (zh) * | 2022-11-29 | 2022-12-30 | 城云科技（中国）有限公司 | 车牌识别方法、模型及装置 |
| CN115546780B (zh) * | 2022-11-29 | 2023-04-18 | 城云科技（中国）有限公司 | 车牌识别方法、模型及装置 |
| CN116386023A (zh) * | 2023-05-29 | 2023-07-04 | 松立控股集团股份有限公司 | 基于时空扩散的高位相机车牌识别方法、系统及电子设备 |
| CN116386023B (zh) * | 2023-05-29 | 2023-08-25 | 松立控股集团股份有限公司 | 基于时空扩散的高位相机车牌识别方法、系统及电子设备 |
| CN116543377A (zh) * | 2023-07-05 | 2023-08-04 | 西南民族大学 | 一种基于多尺度特征的车牌清晰度提升方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915490A (zh) | 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 | |
| CN111476717B (zh) | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 | |
| CN111028146B (zh) | 基于双判别器的生成对抗网络的图像超分辨率方法 | |
| CN112001847A (zh) | 相对生成对抗超分辨率重建模型生成高质量图像的方法 | |
| CN112580782B (zh) | 基于通道增强的双注意力生成对抗网络及图像生成方法 | |
| CN111340046A (zh) | 基于特征金字塔网络和通道注意力的视觉显著性检测方法 | |
| CN113538616B (zh) | 一种联合PUGAN与改进U-net的磁共振图像重构方法 | |
| CN110533591B (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN111127316A (zh) | 一种基于sngan网络的单幅人脸图像超分辨方法及系统 | |
| CN109949200B (zh) | 基于滤波器子集选择和cnn的隐写分析框架构建方法 | |
| CN109920013A (zh) | 基于渐进式卷积测量网络的图像重构方法及装置 | |
| CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
| CN117575915B (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| CN112365405A (zh) | 一种基于生成对抗网络的无监督超分辨率重建方法 | |
| CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及系统 | |
| CN111523483A (zh) | 中餐菜品图像识别方法及装置 | |
| CN116385454A (zh) | 一种基于多阶段聚合的医学图像分割方法 | |
| CN116168197A (zh) | 一种基于Transformer分割网络和正则化训练的图像分割方法 | |
| CN114626984A (zh) | 中文文本图像的超分辨率重建方法 | |
| CN113096015A (zh) | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 | |
| CN116705073A (zh) | 一种基于双模态与注意力机制的语音情感识别方法 | |
| CN116343109A (zh) | 基于自监督掩码模型和跨模态码本的文本行人搜索方法 | |
| CN116593980A (zh) | 雷达目标识别模型训练方法、雷达目标识别方法及装置 | |
| CN116051861A (zh) | 一种基于重参数化的无锚框目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |