CN113763282B - 一种车牌图像的模糊图像生成方法 - Google Patents

一种车牌图像的模糊图像生成方法 Download PDF

Info

Publication number
CN113763282B
CN113763282B CN202111106284.9A CN202111106284A CN113763282B CN 113763282 B CN113763282 B CN 113763282B CN 202111106284 A CN202111106284 A CN 202111106284A CN 113763282 B CN113763282 B CN 113763282B
Authority
CN
China
Prior art keywords
image
fuzzy
generator
blurred
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111106284.9A
Other languages
English (en)
Other versions
CN113763282A (zh
Inventor
杨一明
瞿洪桂
隋煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinonet Science and Technology Co Ltd
Original Assignee
Beijing Sinonet Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinonet Science and Technology Co Ltd filed Critical Beijing Sinonet Science and Technology Co Ltd
Priority to CN202111106284.9A priority Critical patent/CN113763282B/zh
Publication of CN113763282A publication Critical patent/CN113763282A/zh
Application granted granted Critical
Publication of CN113763282B publication Critical patent/CN113763282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种车牌图像的模糊图像生成方法，包括以下步骤：建立非真实场景的清晰‑模糊图像对样本集合；对模糊图像生成器模型进行预训练；将预训练的模糊图像生成器模型，迁移到真实场景的清晰‑模糊图像对样本集合中进行进一步训练，得到最终训练完成的模糊图像生成器模型。具有以下优点：(1)模糊图像生成器模型，可以生成足够多的模拟真实场景的模糊图像，形成清晰‑模糊配对图像，解决了大批量收集真实场景下的清晰‑模糊配对图像难度大的问题。(2)模糊图像生成器模型，学习了运动模糊、高斯模糊、图像金字塔模糊、真实场景图形模糊的多样特征，解决模糊图像模式单一、无法模拟真实环境中复杂的模糊图像的问题。

Description

一种车牌图像的模糊图像生成方法
技术领域
本发明属于计算机视觉、深度学习技术领域，具体涉及一种车牌图像的模糊图像生成方法。
背景技术
使用深度学习方法进行图像去模糊时，需要使用大量图像内容相同的清晰-模糊配对图像数据进行模型的训练和测试，但是，大批量收集真实场景下的清晰-模糊配对图像数据难度大，或者现实中无法大批量收集。现有清晰-模糊配对图像数据获取方法主要是：通过单一模糊算法，将清晰图像生成模糊图像。此种方法形成的配对模糊图像的模式过于单一，无法模拟真实环境中复杂的模糊图像，由此种数据训练的模型在真实场景中图像去模糊效果不理想。
发明内容
针对现有技术存在的缺陷，本发明提供一种车牌图像的模糊图像生成方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种车牌图像的模糊图像生成方法，包括以下步骤：
步骤1，建立非真实场景的清晰-模糊图像对样本集合S；
所述非真实场景的清晰-模糊图像对样本集合S表示为：S＝{(s01,s11),(s02,s12),....(s0n,s1n)}；其中，n代表样本集合S中的清晰-模糊图像对的数量；令i＝1,2,...,n，第i个清晰-模糊图像对(s0i,s1i)含义为：s0i代表第i个清晰-模糊图像对中的清晰图像样本，s1i代表第i个清晰-模糊图像对中的模糊图像样本，并且，清晰图像样本s0i和模糊图像样本s1i为配对图像，图像内容相同，仅清晰度不相同；模糊图像样本s1i获取方法为：通过模糊算法对清晰图像样本s0i进行模糊处理后生成的模糊图像；
步骤2，构建模糊图像生成器模型；
所述模糊图像生成器模型包括：生成器、鉴别器、鉴别器优化器和生成器优化器；
步骤3，采用步骤1建立的非真实场景的清晰-模糊图像对样本集合S，预训练所述模糊图像生成器模型，得到预训练后的模糊图像生成器模型；
对所述模糊图像生成器模型进行预训练的训练方法为：
步骤3.1，令k＝1；
步骤3.2，将清晰图像样本s0k输入生成器；所述生成器对所述清晰图像样本s0k进行特征提取，输出与清晰图像样本s0k相同尺寸的生成图像U0k；
步骤3.3，将所述生成图像U0k输入鉴别器；所述鉴别器对所述生成图像U0k进行多次下采样，并进一步提取所述生成图像U0k的抽象特征信息，输出特征向量W0k；
将所述模糊图像样本s1k输入鉴别器；所述鉴别器对所述模糊图像样本s1k进行多次下采样，并进一步提取所述模糊图像样本s1k的抽象特征信息，输出特征向量W1k；
步骤3.4，令k＝k+1，判断k是否大于n；如果不大于，则返回步骤3.2；如此不断循环，直到当k大于n时，执行步骤3.5；
步骤3.5，由此得到n组特征向量，分别为：(W01,W11),(W02,W12),...,(W0n,W1n)；
步骤3.6，计算每组特征向量的偏差，并求和，得到总偏差；根据总偏差，分别得到鉴别器损失函数D_loss和生成器损失函数G_loss；
步骤3.7，鉴别器损失函数D_loss经过鉴别器优化器计算，得到对鉴别器网络参数的更新值，进而更新鉴别器网络参数，得到本轮优化后的鉴别器；
生成器损失函数G_loss经过生成器优化器计算，得到对生成器网络参数的更新值，进而更新生成器网络参数，得到本轮优化后的生成器；
步骤3.8，判断生成器网络是否收敛，如果没有收敛，返回步骤3.1，进行下一轮的预训练；如果收敛，则停止训练，得到预训练后的模糊图像生成器模型；
步骤4，建立真实场景的清晰-模糊图像对样本集合P；
所述真实场景的清晰-模糊图像对样本集合P表示为：P＝{(p01,p11),(p02,p12),....(p0m,p1m)}；其中，m代表样本集合P中的清晰-模糊图像对的数量；令j＝1,2,...,m，第j个清晰-模糊图像对(p0j,p1j)含义为：p0j代表第j个清晰-模糊图像对中的清晰图像样本，p1j代表第j个清晰-模糊图像对中的模糊图像样本，并且，清晰图像样本p0j和模糊图像样本p1j为配对图像，图像内容相同，仅清晰度不相同；模糊图像样本p1j和清晰图像样本p0j均为真实场景下直接拍摄得到的图像；
步骤5，迁移学习训练：
将步骤3预训练后的模糊图像生成器模型，迁移到步骤4建立的真实场景的清晰-模糊图像对样本集合P中进行进一步训练，得到最终训练完成的模糊图像生成器模型；
步骤6，从步骤5训练完成的模糊图像生成器模型中，提取出生成器，为训练完成的生成器；
当需要得到一张清晰图像Tu(0)的模糊图像时，将所述清晰图像Tu(0)输入所述训练完成的生成器中，所述训练完成的生成器输出与所述清晰图像Tu(0)配对的模糊图像Tu(1)，所述模糊图像Tu(1)为模拟真实场景，对清晰图像Tu(0)进行模糊处理后生成的图像。
优选的，步骤1中，模糊图像样本s1i获取方法为：通过模糊算法对清晰图像样本s0i进行模糊处理后生成的模糊图像，具体为：
对于每张清晰图像样本s0i：采用运动模糊算法，生成一张运动模糊图像样本；采用高斯模糊算法，生成一张高斯模糊图像样本；采用图像金字塔模糊算法，生成一张图像金字塔模糊图像样本，由此共生成三张模糊图像样本。
优选的，所述非真实场景的清晰-模糊图像对样本集合S中的每个清晰图像样本，为经过预处理后的清晰图像样本，预处理方法为：
对原始清晰图像进行透视变换，将原始清晰图像转为正向视角，并均缩放为统一尺寸。
本发明提供的一种车牌图像的模糊图像生成方法具有以下优点：
(1)模糊图像生成器模型，可以生成足够多的模拟真实场景的模糊图像，形成清晰-模糊配对图像，解决了大批量收集真实场景下的清晰-模糊配对图像难度大的问题。
(2)模糊图像生成器模型，学习了运动模糊、高斯模糊、图像金字塔模糊、真实场景图形模糊的多样特征，解决模糊图像模式单一、无法模拟真实环境中复杂的模糊图像的问题。
附图说明
图1为本发明提供的一种车牌图像的模糊图像生成方法的流程示意图；
图2为本发明提供的生成器的网络结构图；
图3为本发明提供的鉴别器的网络结构图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种车牌图像的模糊图像生成方法，可用于生成与清晰车牌图像配对的模糊车牌图像，由此将清晰车牌图像和模糊车牌图像组成配对的训练数据，进而训练车牌图像识别模型。
本发明提供一种车牌图像的模糊图像生成方法，利用清晰图像生成图像内容相匹配的模糊图像，同时解决模糊图像模式单一、无法模拟真实环境中复杂的模糊图像的问题，解决了大批量收集真实场景下的清晰-模糊配对的数据难度大的问题。
本发明提供一种车牌图像的模糊图像生成方法，包括以下步骤：
步骤1，建立非真实场景的清晰-模糊图像对样本集合S；
所述非真实场景的清晰-模糊图像对样本集合S表示为：S＝{(s01,s11),(s02,s12),....(s0n,s1n)}；其中，n代表样本集合S中的清晰-模糊图像对的数量；令i＝1,2,...,n，第i个清晰-模糊图像对(s0i,s1i)含义为：s0i代表第i个清晰-模糊图像对中的清晰图像样本，s1i代表第i个清晰-模糊图像对中的模糊图像样本，并且，清晰图像样本s0i和模糊图像样本s1i为配对图像，图像内容相同，仅清晰度不相同；模糊图像样本s1i获取方法为：通过模糊算法对清晰图像样本s0i进行模糊处理后生成的模糊图像；
本发明中，模糊图像样本s1i获取方法为：通过模糊算法对清晰图像样本s0i进行模糊处理后生成的模糊图像，具体为：
对于每张清晰图像样本s0i：采用运动模糊算法，生成一张运动模糊图像样本；采用高斯模糊算法，生成一张高斯模糊图像样本；采用图像金字塔模糊算法，生成一张图像金字塔模糊图像样本，由此共生成三张模糊图像样本。
另外，本发明中，采用的清晰图像样本，为经过预处理后的清晰图像样本，预处理方法为：对原始清晰图像进行透视变换，将原始清晰图像转为正向视角，并均缩放为统一尺寸。
作为一种实施例，以车牌图像为例，方法为：
首先获取到3万张清晰车牌图像，进行以下预处理操作：标注出清晰车牌图像的四个角点，通过四个角点位置信息对清晰车牌图像进行透视变换，将清晰车牌图像转为正向视角，并均缩放为96*96大小，从而得到清晰车牌图像样本。
然后采用运动模糊、高斯模糊、图像金字塔模糊算法，生成3万张运动模糊图像样本、3万张高斯模糊图像样本、3万张图像金字塔模糊图像样本。图像金字塔模糊是将图像进行下采样，使图像缩小造成信息损失，然后将其放大至原来尺寸，这样造成的图像信息损失就形成了图像金字塔模糊图像。
因此，形成3万个清晰-运动模糊图像对、3万个清晰-高斯模糊图像对、3万个清晰-图像金字塔模糊图像对，共形成9万对非真实场景下的清晰-模糊配对图像。
步骤2，构建模糊图像生成器模型；
模糊图像生成器模型，用于利用清晰图像生成图像内容相匹配的模糊图像。
参考图1，为模糊图像生成器模型的训练框架，所述模糊图像生成器模型包括：生成器、鉴别器、鉴别器优化器(D优化器)和生成器优化器(G优化器)；
其中：生成器的网络结构如图2所示，用于对输入图像进行以下处理：输入图像经过一层卷积层处理之后，得到特征图1；进入两层卷积层将特征图1缩小4倍，得到特征图2；特征图2进入残差网络模块，进一步提取特征图2的特征信息，得到特征图3；特征图3再进入两层反卷积层，将特征图3放大4倍，最后经过卷积层和激活层tanh将特征图的维度变成与输入图像的维度一致，输出特征图。
鉴别器的网络结构如图3所示，用于对输入图像进行以下处理：输入图像经过一层卷积层，将输入图像缩小2倍，得到特征图T1；特征图T1再进入三层卷积层，将特征图T1缩小8倍，得到特征图T2；特征图T2进入一层卷积层进行特征提取，同时保持特征图尺寸不变，得到特征图T3；特征图T3最后进入一层卷积层和激活层sigmod，输出特征向量。
步骤3，采用步骤1建立的非真实场景的清晰-模糊图像对样本集合S，预训练所述模糊图像生成器模型，得到预训练后的模糊图像生成器模型；
对所述模糊图像生成器模型进行预训练的训练方法为：
步骤3.1，令k＝1；
步骤3.2，将清晰图像样本s0k输入生成器；所述生成器对所述清晰图像样本s0k进行特征提取，输出与清晰图像样本s0k相同尺寸的生成图像U0k；
步骤3.3，将所述生成图像U0k输入鉴别器；所述鉴别器对所述生成图像U0k进行多次下采样，并进一步提取所述生成图像U0k的抽象特征信息，输出特征向量W0k；
将所述模糊图像样本s1k输入鉴别器；所述鉴别器对所述模糊图像样本s1k进行多次下采样，并进一步提取所述模糊图像样本s1k的抽象特征信息，输出特征向量W1k；
步骤3.4，令k＝k+1，判断k是否大于n；如果不大于，则返回步骤3.2；如此不断循环，直到当k大于n时，执行步骤3.5；
步骤3.5，由此得到n组特征向量，分别为：(W01,W11),(W02,W12),...,(W0n,W1n)；
步骤3.6，计算每组特征向量的偏差，并求和，得到总偏差；根据总偏差，分别得到鉴别器损失函数D_loss和生成器损失函数G_loss；
步骤3.7，鉴别器损失函数D_loss经过鉴别器优化器计算，得到对鉴别器网络参数的更新值，进而更新鉴别器网络参数，得到本轮优化后的鉴别器；
生成器损失函数G_loss经过生成器优化器计算，得到对生成器网络参数的更新值，进而更新生成器网络参数，得到本轮优化后的生成器；
步骤3.8，判断生成器网络是否收敛，如果没有收敛，返回步骤3.1，进行下一轮的预训练；如果收敛，则停止训练，得到预训练后的模糊图像生成器模型；
经过本步骤，模糊图像生成器模型预训练结束后，得到非真实场景的模糊图像生成器，到此，生成器生成的模糊图像具备运动模糊、高斯模糊、图像金字塔模糊的特征，但是不具备真实场景中复杂的模糊特征。
在模糊图像生成器模型预训练过程中，通过不断调节生成器网络参数和鉴别器网络参数，向生成器输入清晰图像样本，生成器输出的模糊图像，不断接近作为标签的模糊图像样本，从而使生成器学习到清晰图像样本转变为作为标签的模糊图像样本的特征。
步骤4，建立真实场景的清晰-模糊图像对样本集合P；
所述真实场景的清晰-模糊图像对样本集合P表示为：P＝{(p01,p11),(p02,p12),....(p0m,p1m)}；其中，m代表样本集合P中的清晰-模糊图像对的数量；令j＝1,2,...,m，第j个清晰-模糊图像对(p0j,p1j)含义为：p0j代表第j个清晰-模糊图像对中的清晰图像样本，p1j代表第j个清晰-模糊图像对中的模糊图像样本，并且，清晰图像样本p0j和模糊图像样本p1j为配对图像，图像内容相同，仅清晰度不相同；模糊图像样本p1j和清晰图像样本p0j均为真实场景下直接拍摄得到的图像；
下面介绍一个实施例：
具体的，大批量收集真实场景下的清晰-模糊配对的图像样本难度较大，或者在现实中无法大批量收集。
所以，本发明选取少量ID车牌图像(2000个ID)，每个ID图像都有一个清晰图像和真实场景中模糊图像。
对相同ID的车牌图像(清晰图像和模糊图像)均标注出四个角点，通过四个角点位置对车牌图像进行透视变换，将车牌图像转为正向视角，并均缩放为96*96大小。这样两张图像(清晰图像和模糊图像)的内容和位置近似一致，可以匹配为一组图像。从而形成2000对真实场景下的清晰-模糊配对的图像对。
步骤5，迁移学习训练：
将步骤3预训练后的模糊图像生成器模型，迁移到步骤4建立的真实场景的清晰-模糊图像对样本集合P中进行进一步训练，得到最终训练完成的模糊图像生成器模型；
具体的，2000对真实场景下的清晰-模糊配对的图像对，数据量非常少，如果直接训练模糊图像生成器模型，信息量不足，模糊图像生成器模型容易出现过拟合或者难以收敛的情况，同时模糊图像生成器模型的性能比较差，不能实际使用。
本步骤迁移学习非常关键。将步骤3中预训练后的生成器和鉴别器形成的模糊图像生成器模型，迁移在2000对真实场景下的清晰-模糊配对的图像对进行下一步训练，一方面，模型经过预训练容易收敛，一方面模型学习了2000张真实场景下模糊图像的模糊特征。模糊图像生成器模型再次收敛时训练结束。
到此得到了模拟真实场景模糊图像的生成器，可以利用足够多的清晰图像，产生足够多的模拟真实场景的模糊图像，形成足够多的配对数据集，进行下一步的应用例如图像去模糊。
步骤6，从步骤5训练完成的模糊图像生成器模型中，提取出生成器，为训练完成的生成器；
当需要得到一张清晰图像Tu(0)的模糊图像时，将所述清晰图像Tu(0)输入所述训练完成的生成器中，所述训练完成的生成器输出与所述清晰图像Tu(0)配对的模糊图像Tu(1)，所述模糊图像Tu(1)为模拟真实场景，对清晰图像Tu(0)进行模糊处理后生成的图像。
本发明提出一种车牌图像的模糊图像生成方法，主要思路为：
采用运动模糊、高斯模糊、图像金字塔模糊算法，形成非真实场景的清晰-模糊配对数据集，预训练模糊图像生成器模型。然后，采集少量的ID车牌图像，每个ID车牌图像都对应有一个清晰图像和真实场景中模糊图像，形成真实场景下的清晰-模糊配对数据集，将预训练的模糊图像生成器模型迁移到真实的场景的数据集，通过迁移学习训练一个可以模拟真实场景的模糊图像生成器，从而得到最终的生成器，该生成器可将清晰图像生成图像内容相匹配的模糊图像，并且，生成的模糊图像既具备运动模糊、高斯模糊、图像金字塔模糊的特征，又具备真实场景中复杂的模糊特征。
本发明提出一种车牌图像的模糊图像生成方法，主要技术创新包括：
1.模糊图像生成器模型的训练框架和训练流程。
2.模糊图像生成器模型的迁移学习机制。
3.使用多种模糊算法生成模糊数据训练模糊图像生成器的方法。
4.模糊图像生成器生成模拟真实场景模糊图像的方法流程。
与现有技术相比，本发明有益效果是：
(1)模糊图像生成器模型，可以生成足够多的模拟真实场景的模糊图像，形成清晰-模糊配对图像，解决了大批量收集真实场景下的清晰-模糊配对图像难度大的问题。
(2)模糊图像生成器模型，学习了运动模糊、高斯模糊、图像金字塔模糊、真实场景图形模糊的多样特征，解决模糊图像模式单一、无法模拟真实环境中复杂的模糊图像的问题。
(3)根据训练数据分布和数量的增加，模糊图像生成器模型可以进一步优化的更好。相比而言，运动模糊、高斯模糊、图像金字塔模糊算法，没有优化的空间。
(4)模糊图像生成器模型，利用了GAN网络和迁移学习的训练机制，因此具备了两种机制的优点。GAN超越了传统神经网络分类和特征提取的功能，能够按照真实数据的特点生成新的数据。迁移学习可以解决训练数据少的问题、而且可靠性好。两种机制联合，只需要少量真实数据即可生成大量可靠的数据。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (3)

1.一种车牌图像的模糊图像生成方法，其特征在于，包括以下步骤：
步骤1，建立非真实场景的清晰-模糊图像对样本集合S；
所述非真实场景的清晰-模糊图像对样本集合S表示为：S＝{(s01,s11),(s02,s12),....(s0n,s1n)}；其中，n代表样本集合S中的清晰-模糊图像对的数量；令i＝1,2,...,n，第i个清晰-模糊图像对(s0i,s1i)含义为：s0i代表第i个清晰-模糊图像对中的清晰图像样本，s1i代表第i个清晰-模糊图像对中的模糊图像样本，并且，清晰图像样本s0i和模糊图像样本s1i为配对图像，图像内容相同，仅清晰度不相同；模糊图像样本s1i获取方法为：通过模糊算法对清晰图像样本s0i进行模糊处理后生成的模糊图像；
步骤2，构建模糊图像生成器模型；
所述模糊图像生成器模型包括：生成器、鉴别器、鉴别器优化器和生成器优化器；
步骤3，采用步骤1建立的非真实场景的清晰-模糊图像对样本集合S，预训练所述模糊图像生成器模型，得到预训练后的模糊图像生成器模型；
对所述模糊图像生成器模型进行预训练的训练方法为：
步骤3.1，令k＝1；
步骤3.2，将清晰图像样本s0k输入生成器；所述生成器对所述清晰图像样本s0k进行特征提取，输出与清晰图像样本s0k相同尺寸的生成图像U0k；
步骤3.3，将所述生成图像U0k输入鉴别器；所述鉴别器对所述生成图像U0k进行多次下采样，并进一步提取所述生成图像U0k的抽象特征信息，输出特征向量W0k；
将所述模糊图像样本s1k输入鉴别器；所述鉴别器对所述模糊图像样本s1k进行多次下采样，并进一步提取所述模糊图像样本s1k的抽象特征信息，输出特征向量W1k；
步骤3.4，令k＝k+1，判断k是否大于n；如果不大于，则返回步骤3.2；如此不断循环，直到当k大于n时，执行步骤3.5；
步骤3.5，由此得到n组特征向量，分别为：(W01,W11),(W02,W12),...,(W0n,W1n)；
步骤3.6，计算每组特征向量的偏差，并求和，得到总偏差；根据总偏差，分别得到鉴别器损失函数D_loss和生成器损失函数G_loss；
步骤3.7，鉴别器损失函数D_loss经过鉴别器优化器计算，得到对鉴别器网络参数的更新值，进而更新鉴别器网络参数，得到本轮优化后的鉴别器；
生成器损失函数G_loss经过生成器优化器计算，得到对生成器网络参数的更新值，进而更新生成器网络参数，得到本轮优化后的生成器；
步骤3.8，判断生成器网络是否收敛，如果没有收敛，返回步骤3.1，进行下一轮的预训练；如果收敛，则停止训练，得到预训练后的模糊图像生成器模型；
步骤4，建立真实场景的清晰-模糊图像对样本集合P；
所述真实场景的清晰-模糊图像对样本集合P表示为：P＝{(p01,p11),(p02,p12),....(p0m,p1m)}；其中，m代表样本集合P中的清晰-模糊图像对的数量；令j＝1,2,...,m，第j个清晰-模糊图像对(p0j,p1j)含义为：p0j代表第j个清晰-模糊图像对中的清晰图像样本，p1j代表第j个清晰-模糊图像对中的模糊图像样本，并且，清晰图像样本p0j和模糊图像样本p1j为配对图像，图像内容相同，仅清晰度不相同；模糊图像样本p1j和清晰图像样本p0j均为真实场景下直接拍摄得到的图像；
步骤5，迁移学习训练：
将步骤3预训练后的模糊图像生成器模型，迁移到步骤4建立的真实场景的清晰-模糊图像对样本集合P中进行进一步训练，得到最终训练完成的模糊图像生成器模型；
步骤6，从步骤5训练完成的模糊图像生成器模型中，提取出生成器，为训练完成的生成器；
当需要得到一张清晰图像Tu(0)的模糊图像时，将所述清晰图像Tu(0)输入所述训练完成的生成器中，所述训练完成的生成器输出与所述清晰图像Tu(0)配对的模糊图像Tu(1)，所述模糊图像Tu(1)为模拟真实场景，对清晰图像Tu(0)进行模糊处理后生成的图像。
2.根据权利要求1所述的一种车牌图像的模糊图像生成方法，其特征在于，步骤1中，模糊图像样本s1i获取方法为：通过模糊算法对清晰图像样本s0i进行模糊处理后生成的模糊图像，具体为：
对于每张清晰图像样本s0i：采用运动模糊算法，生成一张运动模糊图像样本；采用高斯模糊算法，生成一张高斯模糊图像样本；采用图像金字塔模糊算法，生成一张图像金字塔模糊图像样本，由此共生成三张模糊图像样本。
3.根据权利要求1所述的一种车牌图像的模糊图像生成方法，其特征在于，所述非真实场景的清晰-模糊图像对样本集合S中的每个清晰图像样本，为经过预处理后的清晰图像样本，预处理方法为：
对原始清晰图像进行透视变换，将原始清晰图像转为正向视角，并均缩放为统一尺寸。
CN202111106284.9A 2021-09-22 2021-09-22 一种车牌图像的模糊图像生成方法 Active CN113763282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111106284.9A CN113763282B (zh) 2021-09-22 2021-09-22 一种车牌图像的模糊图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111106284.9A CN113763282B (zh) 2021-09-22 2021-09-22 一种车牌图像的模糊图像生成方法

Publications (2)

Publication Number Publication Date
CN113763282A CN113763282A (zh) 2021-12-07
CN113763282B true CN113763282B (zh) 2023-07-14

Family

ID=78796722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111106284.9A Active CN113763282B (zh) 2021-09-22 2021-09-22 一种车牌图像的模糊图像生成方法

Country Status (1)

Country Link
CN (1) CN113763282B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508817A (zh) * 2020-12-16 2021-03-16 西北工业大学 一种基于循环生成对抗网络的图像运动盲去模糊方法
CN112686119A (zh) * 2020-12-25 2021-04-20 陕西师范大学 基于自注意力生成对抗网络的车牌运动模糊图像处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508817A (zh) * 2020-12-16 2021-03-16 西北工业大学 一种基于循环生成对抗网络的图像运动盲去模糊方法
CN112686119A (zh) * 2020-12-25 2021-04-20 陕西师范大学 基于自注意力生成对抗网络的车牌运动模糊图像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结合GAN的轻量级模糊车牌识别算法;段宾;符祥;江毅;曾接贤;;中国图象图形学报(第09期);全文 *

Also Published As

Publication number Publication date
CN113763282A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
Sankaranarayanan et al. Generate to adapt: Aligning domains using generative adversarial networks
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN109359526B (zh) 一种人脸姿态估计方法、装置和设备
CN111582059A (zh) 一种基于变分自编码器的人脸表情识别方法
CN111340738A (zh) 一种基于多尺度渐进融合的图像去雨方法
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
Wang et al. Multiscale deep alternative neural network for large-scale video classification
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN112070727A (zh) 一种基于机器学习的金属表面缺陷检测方法
CN114241422A (zh) 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法
CN114626476A (zh) 基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置
CN114283325A (zh) 一种基于知识蒸馏的水下目标识别方法
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
CN112905828A (zh) 一种结合显著特征的图像检索器、数据库及检索方法
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
Daihong et al. Facial expression recognition based on attention mechanism
CN110851627B (zh) 一种用于描述全日面图像中太阳黑子群的方法
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN114187506A (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN116823983A (zh) 基于风格收集机制的一对多风格书法图片生成方法
CN113763282B (zh) 一种车牌图像的模糊图像生成方法
CN111209886A (zh) 一种基于深度神经网络的快速行人再识别方法
CN112784800B (zh) 一种基于神经网络和形状约束的人脸关键点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant