CN116543377A - 一种基于多尺度特征的车牌清晰度提升方法 - Google Patents
一种基于多尺度特征的车牌清晰度提升方法 Download PDFInfo
- Publication number
- CN116543377A CN116543377A CN202310814438.2A CN202310814438A CN116543377A CN 116543377 A CN116543377 A CN 116543377A CN 202310814438 A CN202310814438 A CN 202310814438A CN 116543377 A CN116543377 A CN 116543377A
- Authority
- CN
- China
- Prior art keywords
- license plate
- image
- definition
- loss
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 65
- 230000006872 improvement Effects 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 239000003623 enhancer Substances 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000008485 antagonism Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 abstract description 2
- 238000006731 degradation reaction Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000020442 loss of weight Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度特征的车牌清晰度提升方法，属于智慧交通和图像超分辨率重构技术领域，所述方法包括以下步骤：数据集制备；车牌图像清晰度提升器构建和训练，车牌图像清晰度提升器包括已预先训练且包含先验信息的车牌图像生成器（采用StyleGAN2网络）和基于U‑net网络的车牌信息提取器；验证车牌图像清晰度提升器。车牌信息提取器以U‑net网络作为降解去除模块，降解去除图像上的模糊，并提取多尺度语义特征，将提取到的多尺度语义特征输入到车牌图像生成器中，预测并重建出清晰度提升后的车牌图像原貌，实现了对模糊车牌的清晰度提升。
Description
技术领域
本发明属于智慧交通和图像超分辨率重构技术领域，具体涉及一种基于多尺度特征的车牌清晰度提升方法。
背景技术
车牌识别技术，作为识别车辆身份的主要手段，能够将运动中的汽车牌照从复杂背景中提取并识别出来。当前车牌识别方案的主要阶段包括：车牌检测、字符分割和字符识别。当前的车牌识别方案在应用中显现出了两大主要问题：其一、只能提取字符而无法还原样貌，进而无法更加精准的锁定车辆，如无法识别出车牌变形和污损剐蹭等；其二、过于模糊的车牌无法识别。
为提升车牌图像的清晰度，业内进行了大量研究，并提出了下述两种方式：第一种方式、根据图像的模糊原因按一定规律进行复原；第二种方式、直接使用基于卷积神经网络的超分辨率重构网络生成清晰图片。第一种方式有局限性且需要人为判断，第二种方式还原效果差，且还原细节不到位。
可见，一种快速且能够有效提升车牌图像清晰度的方案亟待提出。
发明内容
有鉴于此，本发明的目的在于克服现有技术的一项或多项不足，提供一种基于多尺度特征的车牌清晰度提升方法。
本发明的目的是通过以下技术方案来实现的：
一种基于多尺度特征的车牌清晰度提升方法，包括：
S100.获取历史数据集，并裁剪得到历史数据集中各个车牌图像的关键区域，所述关键区域中包含车牌；
S200.使用透视变换进行车牌的位置矫正；
S300.基于超分辨率重构网络对透视变换后的所述关键区域进行清晰度增强处理，生成各个关键区域自身对应的清晰车牌图像；
S400.使用预设的模糊处理算法对每个清晰车牌图像进行模糊处理，生成各个清晰车牌图像自身对应的模糊图像；
S500.将所有清晰车牌图像输入StyleGAN2网络中进行训练，得到包含先验信息的车牌图像生成器；
S600.连接训练后的车牌图像生成器和基于U-net网络的车牌信息提取器，得到车牌图像清晰度提升器，所述车牌信息提取器用于将模糊图像作为输入，并提取模糊图像中的多尺度语义特征，多尺度语义特征将作为车牌图像生成器的输入数据。
S700.将所有模糊图像作为输入数据，以及将所有清晰车牌图像作为标签数据，对车牌图像清晰度提升器进行训练；
S800.验证训练好的车牌图像清晰度提升器，验证通过后的车牌图像清晰度提升器用于在获取到真实的车牌图像后，生成该车牌图像的重建清晰图。
优选地，所述关键区域中还包含靠近车牌的车标、排气孔和保险杠。
优选地，所述S200中基于第一公式进行透视变换，所述第一公式为：，其中，/>表示透视变换后关键区域的矩阵，为透视变换函数；/>为关键区域的原始矩阵，/>为关键区域内车牌四个角点的原始位置，/>为透视变换后车牌四个角点的目标位置，/>为透视变换后的图片尺寸。
优选地，所述超分辨率重构网络为Real-ESRGAN网络；
优选地，所述S300中，基于超分辨率重构网络对透视变换后的所述关键区域进行清晰度增强处理，包括下述步骤：
S301.基于第二公式进行清晰度增强处理，第二公式为：，其中，/>为清晰度增强后的关键区域，/>为Real-ESRGAN网络对应的函数表达，/>为输入的初始清晰度状态的关键区域，/>为选取的Real-ESRGAN网络以及该网络的权重设置，/>为上采样比率。
优选地，所述S400包括下述步骤：
S401.清晰车牌图像用高斯模糊核卷积；
S402.卷积后用比例因子进行下采样操作；
S403.将加性高斯白噪声添加到下采样操作后的清晰车牌图像中；
S404. 用质量因子进行/>压缩；
S405.对压缩后的清晰车牌图像添加运动模糊，生成各个清晰车牌图像自身对应的模糊图像。
优选地，所述S500中，将所有清晰车牌图像输入StyleGAN2网络中进行训练，得到包含先验信息的车牌图像生成器，包括下述步骤：
S501.选取StyleGAN2的训练框架；
S502.将所有清晰车牌图像作为数据集输入选取得到的训练框架中，对训练框架进行训练，训练过程的数学表达式定义为：
；
其中，表示训练好的车牌图像生成器，/>表示训练器，/>表示所有清晰车牌图像构成的数据集，/>表示训练过程中是否翻转数据集作为补充，/>表示训练过程中采取的数据标准化参数，/>表示车牌图像生成器输出图片的尺寸，/>表示训练过程中所采取的训练策略，/>表示对所述训练框架进行训练时的损失函数；
此外，训练好的车牌图像生成器的输出层表达式定义为：
；
其中，表示车牌图像生成器的输出，/>和/>分别表示固定大小的随机数。
优选地，所述车牌信息提取器包括U-net网络、MLP结构（多层全连接神经网络）和CS-SFT结构（通道分割空间特征变换结构），所述U-net网络用于提取模糊图像中的潜在特征和多分辨率空间特征，所述潜在特征通过MLP结构映射得到车牌图像生成器输入编码范围内的潜在码，所述潜在码和所述多分辨率空间特征构成车牌信息提取器的多尺度语义特征输出且作为车牌图像生成器的输入数据，所述CS-SFT结构用于对潜在码经车牌图像生成器内的卷积层后得到的GAN特征执行空间调制。
优选地，所述S700中，对车牌图像清晰度提升器进行训练时定义的损失函数包括重建损失、车牌清晰度提升器恢复真实纹理的对抗性损失、车牌ROI区域损失以及车牌识别损失，所述重建损失为车牌清晰度提升器输出的重建清晰图与地面真相标签进行比较所得到的损失值，所述地面真相标签为训练时该重建清晰图对应的清晰车牌图像，所述车牌ROI区域损失为车牌清晰度提升器内局部鉴别器的判别损失，所述局部鉴别器用于鉴别车牌ROI区域的真实性，所述车牌ROI区域为具有感知意义的车牌区域；
其中，对车牌图像清晰度提升器进行训练时定义的损失函数表示为Ltotal=Lrec+Ladv+LROI+Lid；
重建损失表示为/>，/>是一种映射关系，/>表示重建清晰图，/>表示地面真相标签，/>表示像素点差值损失的损失权重，/>表示感知损失的损失权重，其中，所述映射关系为输入用于预训练的VGG-19网络模型中的图像到未经激活的深层次的图像表达之间的映射；
对抗性损失表示为/>，D表示车牌清晰度提升器内用于鉴别真实纹理的整体鉴别器，/>表示对抗性失重；
车牌ROI区域损失表示为，ROI表示车牌ROI区域，表示所述局部鉴别器，/>表示从阶段性训练完成的局部鉴别器提取多层特征的映射，/>表示局部判别损失的损失权重，/>表示特征样式损失的损失权重，Gram表示Gram矩阵统计，Gram矩阵统计用于计算特征相关性和捕获纹理信息；
车牌识别损失表示为/>，/>表示车牌识别损失权重，/>表示识别错误的字符数，识别错误的字符数通过预设的车牌识别工具对重建清晰图进行识别后得到。
优选地，所述S800中，验证训练好的车牌图像清晰度提升器，包括下述步骤：
将训练时车牌图像清晰度提升器输出的各个重建清晰图输入预设的车牌识别工具，得到第一车牌识别结果；
根据第一车牌识别结果计算各个重建清晰图对应的字符识别正确率以及第一平均值，所述第一平均值为所有该字符识别正确率的平均值，字符识别正确率为正确识别的字符数量的占比；
根据第一车牌识别结果计算车牌识别正确率，车牌识别正确率为正确识别的车牌的占比；
将各个模糊图像输入所述车牌识别工具，得到第二车牌识别结果；
根据第二车牌识别结果计算各个模糊图像对应的字符识别正确率以及第二平均值，所述第二平均值为所有该字符识别正确率的平均值；
根据第二车牌识别结果计算车牌识别正确率。
优选地，所述S800中，验证训练好的车牌图像清晰度提升器，还包括下述步骤：
基于训练时车牌图像清晰度提升器输出的所有重建清晰图和各个重建清晰图对应的标签数据，计算第一PSNR得分和第一SSIM得分；
基于训练时输入车牌图像清晰度提升器的模糊图像和各个模糊图像对应的清晰车牌图像，计算第二PSNR得分和第二SSIM得分；
若第一平均值与第二平均值的差值大于第一预设值，且根据第一车牌识别结果计算出的车牌识别正确率与根据第二车牌识别结果计算出的车牌识别正确率的差值大于第二预设值，且第一PSNR得分与第二PSNR得分的差值大于第三预设值，且第一SSIM得分与第二SSIM得分的差值大于第四预设值，则车牌图像清晰度提升器验证通过，否则车牌图像清晰度提升器验证不通过。
本发明具有的有益效果为：
（1）车牌信息提取器以U-net网络作为降解去除模块，降解去除图像上的模糊，并提取到多尺度语义特征，而后将提取到的多尺度语义特征输入到事先训练好的包含先验信息的车牌图像生成器中（采用StyleGAN2网络），预测并重建出清晰度提升后的车牌图像原貌（重建清晰图），据此，由车牌信息提取器和车牌图像生成器构成的车牌图像清晰度提升器实现了对模糊车牌的清晰度提升，与现有技术中单纯的去除车牌图像模糊相比，细节更加丰富，可用于参考的信息更多，有效解决了车牌识别任务中应用场景多样而导致的识别错误率高的问题；
（2）通过透视变换的方式矫正车牌位置，避免了使用常规的仿射变换而产生的车牌图像扭曲变形失真问题；
（3）在训练车牌图像清晰度提升器时，为数据集叠加了多种模糊，模糊处理中应用了不同程度的高斯模糊、运动模糊、JPEG伪影、低分辨率模糊核和噪声模糊，使得最终训练好的车牌图像清晰度提升器能够自适应处理多种类型的模糊，与背景技术中人工选择模糊类型相比，降低了人工消耗；
（4）本发明实现的车牌图像清晰度提升方案作为预处理模块添加到车牌识别系统中，可显著提升其准确率，因此具备良好的应用前景；
（5）由于本发明实现的车牌清晰度提升方法的输出结果是基于封装在StyleGAN2生成器（生成模块）中的车牌图像先验得到的，因此，输入的图像即使再模糊也会生成一个对应的重建清晰图，避免了现有技术中对车牌处理后仍然会出现误判或漏判，从而导致无法得到车牌识别结果的问题；
（6）本发明实现的车牌清晰度提升方法在提升车牌清晰度的同时，也降低了车牌识别算法对输入数据的要求，特别适用于社区安防和车辆追踪等应用场景。
附图说明
图1为车牌图像清晰度提升器的一种组件图；
图2为基于多尺度特征的车牌清晰度提升方法的一种流程图；
图3为车牌图像生成器的一种构建示意图；
图4为车牌图像清晰度提升器的一种构建示意图。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1-图4，本实施例提供了一种基于多尺度特征的车牌清晰度提升方法，包括以下步骤：数据集制备；车牌图像清晰度提升器构建和训练；验证车牌图像清晰度提升器。
具体的，数据集制备的一种具体实施过程为：
S100.获取历史数据集，并裁剪得到历史数据集中各个车牌图像的关键区域，关键区域中包含车牌、靠近车牌的车标、排气孔和保险杠。历史数据集的构成可以为：获取到若干车牌图片，筛选出其中清晰度较高、拍摄角度小的车牌图片作为历史数据集。优选的，历史数据集选取为开源数据集CCPD，开源数据集CCPD中给出了车牌图片中车牌的位置以及角点坐标。裁剪时将车牌图像裁剪为正方形，得到正方形的关键区域。此外，为尽可能的去除非车牌的额外信息，同时保证图片不失真，裁剪得到的关键区域中保留了车牌、靠近车牌的车标、排气孔和保险杠。
S200.使用透视变换进行车牌的位置矫正。具体的，通过透视变换将车牌垂直居中，车牌边框与关键区域的边框相平行，便于后续步骤中准确的找到车牌的位置以及缩减车牌字符的倾斜多样性。
特别的，运用OpenCV的透视变换工具执行步骤S200，因此步骤S200中的透视变换基于第一公式进行，第一公式为：，其中，/>表示透视变换后关键区域的矩阵，/>为透视变换函数；/>为关键区域的原始矩阵，为关键区域内车牌四个角点的原始位置，/>为透视变换后车牌四个角点的目标位置，即预设的应该放置的位置，/>为透视变换后的图片尺寸。通常标准车牌的宽高比为440:140，因此将透视变换后的图片尺寸设定为440*440，/>所表示的四个角点的目标位置坐标，分别为（440，290）、（0，290）、（0，150）和（440，150）。
S300.基于超分辨率重构网络对透视变换后的关键区域进行清晰度增强处理，生成各个关键区域自身对应的清晰车牌图像。
特别的，超分辨率重构网络优选为Real-ESRGAN网络。
基于超分辨率重构网络对透视变换后的关键区域进行清晰度增强处理，包括下述步骤：
基于第二公式进行清晰度增强处理，第二公式为：，其中，/>为清晰度增强后的关键区域，/>为Real-ESRGAN网络对应的函数表达，/>为输入的初始清晰度状态的关键区域，/>为选取的Real-ESRGAN网络以及该网络的权重设置，/>为上采样比率。上采样比率/>优选为4，选取的Real-ESRGAN网络优选为RealESRGAN_x2plus。
S400.使用预设的模糊处理算法对每个清晰车牌图像进行模糊处理，生成各个清晰车牌图像自身对应的模糊图像。
特别的，模糊处理算法的数学表达式为，基于该数学表达式的模糊处理过程如下：
S401.清晰车牌图像用高斯模糊核卷积；
S402.卷积后用比例因子进行下采样操作；
S403.将加性高斯白噪声添加到下采样操作后的清晰车牌图像中；
S404. 用质量因子进行/>压缩；
S405.对压缩后的清晰车牌图像添加运动模糊，生成各个清晰车牌图像自身对应的模糊图像；
其中，为卷积运算符号，/>表示清晰车牌图像y用高斯模糊核/>作卷积运算。
作为一种优选，的取值范围分别设定为0.2~10、0.8~8、0~15、60~100。
S500.将所有清晰车牌图像输入StyleGAN2网络中进行训练，得到包含先验信息的车牌图像生成器。一般的，StyleGAN2网络包括鉴别模块（整体鉴别器D和局部鉴别器）和生成模块。
特别的，步骤S500的一种具体实施过程为：
S501.选取StyleGAN2的训练框架。本实施例中使用BasicSR作为StyleGAN2的训练框架。
S502.将所有清晰车牌图像作为数据集输入选取得到的训练框架中，对初始化后的网络模型进行训练，训练过程的数学表达式定义为：
；
其中，表示训练好的车牌图像生成器；/>表示训练器；DATA表示所有清晰车牌图像构成的数据集；/>表示训练过程中是否翻转数据集作为补充，由于车牌图像翻转会导致失真，因此此处取否；/>表示训练过程中采取的数据标准化参数，优选为默认设置；/>表示训练过程中所采取的训练策略，优选为默认设置；/>表示对BasicSR训练框架进行训练时的损失函数，优选为默认设置；/>表示车牌图像生成器输出图片的尺寸，此处优选为512；
此外，训练好的车牌图像生成器的输出层表达式定义为：
；
其中，表示车牌图像生成器的输出，/>和/>分别表示固定大小的随机数。
S600.连接S500中得到的车牌图像生成器和基于U-net网络且权重初始化后的车牌信息提取器，得到车牌图像清晰度提升器。车牌信息提取器用于提取模糊图像中的多尺度语义特征，多尺度语义特征将作为车牌图像生成器的输入数据。
特别的，车牌信息提取器包括U-net网络、MLP结构和CS-SFT结构，U-net网络用于提取模糊图像中的潜在特征Flatent和多分辨率空间特征Fspatial，潜在特征Flatent通过MLP结构映射得到车牌图像生成器输入编码范围内的潜在码，潜在码/>和多分辨率空间特征Fspatial构成车牌信息提取器的多尺度语义特征输出且作为车牌图像生成器的输入数据，CS-SFT结构用于将潜在码/>经车牌图像生成器内的卷积层后得到的GAN特征执行空间调制。
具体的，潜在特征Flatent为U-net网络中下采样过程的最后一层的输出特征，多分辨率空间特征Fspatial为U-net网络中上采样过程的每一层的输出特征。上述对应潜在码/>，/>对应多分辨率空间特征Fspatial。潜在码/>通过预训练的StyleGAN2网络中的每个卷积层，为每个分辨率尺度生成GAN特征。潜在码表示为/>，GAN特征表示为/>。车牌图像生成器在接收到潜在码/>和多分辨率空间特征Fspatial后，车牌图像生成器在每个分辨率尺度上，通过多个卷积层从输入特征空间生成一对仿射变换参数/>和/>之后，再通过缩放和移动FGAN来执行调制，具体公式如下所示：
（式一）；
（式二）。
为了更好地平衡真实性和保真度，和/>只作用于GAN特征的部分通道，这部分有助于保真度，保证生成的图像是以输入图像为基础，其余通道不做处理，直接与前者拼接，这部分有助于真实性，保证生成的是真实的车牌图像，因此将上述式二变换为：
（式三）。
上述式三中，和/>是/>在通道维度上的平均划分，切片索引为/>通道数的二分之一，Concat表示级联操作。CS-SFT结构具有下述优点：可直接结合先验信息和对输入图像进行有效调制的优点，从而实现纹理对应性和保真度之间的良好平衡。此外，CS-SFT结构还可以降低复杂性，因为它需要更少的通道进行调制。
S700.将所有模糊图像作为输入数据，以及将所有清晰车牌图像作为标签数据，对车牌图像清晰度提升器进行训练。
特别的，步骤S700中，对车牌图像清晰度提升器进行训练时定义的损失函数包括重建损失、车牌清晰度提升器恢复真实纹理的对抗性损失、车牌ROI区域损失以及车牌识别损失。重建损失为车牌清晰度提升器输出的重建清晰图接近地面真相标签时的损失。地面真相标签为训练时该重建清晰图对应的清晰车牌图像，即：对应的标签数据。车牌ROI区域损失为车牌清晰度提升器内局部鉴别器的判别损失，局部鉴别器用于鉴别车牌ROI区域的真实性，车牌ROI区域是指具有感知意义的车牌区域。
其中，对车牌图像清晰度提升器进行训练时定义的损失函数表示为Ltotal=Lrec+Ladv+LROI+Lid。
重建损失表示为/>，/>是一种映射关系，/>表示重建清晰图，/>表示地面真相标签，/>表示像素点差值损失的损失权重，表示感知损失的损失权重，其中，上述映射关系为输入用于预训练的VGG-19网络模型中的图像到未经激活的深层次的图像表达之间的映射。
对抗性损失表示为/>，D表示车牌清晰度提升器内用于鉴别真实纹理的整体鉴别器，/>表示对抗性失重，/>表示双期望符号，/>表示分布。
车牌ROI区域损失表示为，ROI表示车牌ROI区域，表示局部鉴别器，/>表示从阶段性训练完成的局部鉴别器提取多层特征的映射，表示局部判别损失的损失权重，/>表示特征样式损失的损失权重，Gram表示Gram矩阵统计，Gram矩阵统计用于计算特征相关性和捕获纹理信息。
车牌识别损失表示为/>，/>表示车牌识别损失权重，/>表示识别错误的字符数，识别错误的字符数通过预设的车牌识别工具对重建清晰图进行识别后得到。车牌识别工具优选为Hyperlpr。
S800.验证训练好的车牌图像清晰度提升器，验证通过后的车牌图像清晰度提升器用于在获取到真实的车牌图像后，生成该车牌图像的重建清晰图。
特别的，步骤S800中，以车牌图像清晰度提升器对模糊车牌图像质量的提升效果，以及车牌识别准确率的提升效果作为验证目标。
在对车牌识别准确率的提升效果进行验证时，将字符识别正确率和车牌识别正确率作为验证方向，对训练好的车牌图像清晰度提升器进行验证，具体过程如下：
将训练时车牌图像清晰度提升器输出的各个重建清晰图输入预设的车牌识别工具，得到第一车牌识别结果；
根据第一车牌识别结果计算各个重建清晰图对应的字符识别正确率以及第一平均值，第一平均值为所有该字符识别正确率的平均值，字符识别正确率为正确识别的字符数量的占比；
根据第一车牌识别结果计算车牌识别正确率，车牌识别正确率为正确识别的车牌的占比；
将各个模糊图像输入车牌识别工具，得到第二车牌识别结果；
根据第二车牌识别结果计算各个模糊图像对应的字符识别正确率以及第二平均值，第二平均值为所有该字符识别正确率的平均值，字符识别正确率为正确识别的字符数量的占比；
根据第二车牌识别结果计算车牌识别正确率。
其中，各个重建清晰图对应的字符识别正确率表示为，表示字符识别正确率，/>表示正确识别的字符数量；根据第一车牌识别结果计算的车牌识别正确率表示为/>，/>表示根据第一车牌识别结果计算的车牌识别正确率，1000为训练车牌图像清晰度提升器使用的数据集的容量，/>表示单张重建清晰图的识别结果，识别正确取1，识别错误取0。
计算各个模糊图像对应的字符识别正确率和第二平均值的原理，以及根据第二车牌识别结果计算车牌识别正确率的原理同上。
在对车牌图像清晰度提升器对模糊车牌图像质量的提升效果进行验证时，将超分辨率重构质量评价指标PSNR和SSIM作为验证方向，对训练好的车牌图像清晰度提升器进行验证，具体过程如下：
基于训练时车牌图像清晰度提升器输出的所有重建清晰图和各个重建清晰图对应的标签数据，计算第一PSNR得分和第一SSIM得分；
基于训练时输入车牌图像清晰度提升器的模糊图像和各个模糊图像对应的清晰车牌图像，计算第二PSNR得分和第二SSIM得分。
验证是否通过的评价过程如下：若第一平均值与第二平均值的差值大于第一预设值，且根据第一车牌识别结果计算出的车牌识别正确率与根据第二车牌识别结果计算出的车牌识别正确率的差值大于第二预设值，且第一PSNR得分与第二PSNR得分的差值大于第三预设值，且第一SSIM得分与第二SSIM得分的差值大于第四预设值，则车牌图像清晰度提升器验证通过，否则车牌图像清晰度提升器验证不通过。
本实施例的验证结果如表一至表四所示，通过表一至表四可知，本实施例实现的车牌图像清晰度提升方案在PSNR和SSIM两个指标上都有较大幅度的改善，提升了对模糊车牌图像的车牌识别准确率。其中，表一为下采样模糊时的第一平均值、第二平均值和车牌识别正确率，表二为下采样模糊时的第一PSNR得分、第一SSIM得分、第二PSNR得分和第二SSIM得分，表三为复杂模糊时的第一平均值、第二平均值和车牌识别正确率，表四为复杂模糊时的第一PSNR得分、第一SSIM得分、第二PSNR得分和第二SSIM得分。表三和表四中的模糊参数设置以逗号为分界，分别代表高斯模糊核的取值范围、噪声点添加取值区间、JPEG伪影添加取值区间、运动模糊强度取值区间和运动模糊方向取值区间。
特别说明，为验证车牌图像清晰度提升器的模型鲁棒性，测试过程选取了模糊程度更大的参数。
表一
表二
表三
表四
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种基于多尺度特征的车牌清晰度提升方法，其特征在于，包括：
S100.获取历史数据集，并裁剪得到历史数据集中各个车牌图像的关键区域，所述关键区域中包含车牌；
S200.使用透视变换进行车牌的位置矫正；
S300.基于超分辨率重构网络对透视变换后的所述关键区域进行清晰度增强处理，生成各个关键区域自身对应的清晰车牌图像；
S400.使用预设的模糊处理算法对每个清晰车牌图像进行模糊处理，生成各个清晰车牌图像自身对应的模糊图像；
S500.将所有清晰车牌图像输入StyleGAN2网络中进行训练，得到包含先验信息的车牌图像生成器；
S600.连接车牌图像生成器和基于U-net网络的车牌信息提取器，得到车牌图像清晰度提升器，所述车牌信息提取器用于提取模糊图像中的多尺度语义特征，所述多尺度语义特征将作为车牌图像生成器的输入数据；
S700.将所有模糊图像作为输入数据，以及将所有清晰车牌图像作为标签数据，对车牌图像清晰度提升器进行训练；
S800.验证训练好的车牌图像清晰度提升器，验证通过后的车牌图像清晰度提升器用于在获取到真实的车牌图像后，生成该车牌图像的重建清晰图。
2.根据权利要求1所述的一种基于多尺度特征的车牌清晰度提升方法，其特征在于，所述关键区域中还包含靠近车牌的车标、排气孔和保险杠。
3.根据权利要求1所述的一种基于多尺度特征的车牌清晰度提升方法，其特征在于，所述S200中基于第一公式进行透视变换，所述第一公式为：，其中，/>表示透视变换后关键区域的矩阵，/>为透视变换函数，/>为关键区域的原始矩阵，/>为关键区域内车牌四个角点的原始位置，/>为透视变换后车牌四个角点的目标位置，/>为透视变换后的图片尺寸。
4.根据权利要求1所述的一种基于多尺度特征的车牌清晰度提升方法，其特征在于，
所述超分辨率重构网络为Real-ESRGAN网络；
所述S300中，基于超分辨率重构网络对透视变换后的所述关键区域进行清晰度增强处理，包括下述步骤：
S301.基于第二公式进行清晰度增强处理，第二公式为：，其中，/>为清晰度增强后的关键区域，/>为Real-ESRGAN网络对应的函数表达，/>为输入的初始清晰度状态的关键区域，/>为选取的Real-ESRGAN网络以及该网络的权重设置，/>为上采样比率。
5.根据权利要求1所述的一种基于多尺度特征的车牌清晰度提升方法，其特征在于，所述S400包括下述步骤：
S401.清晰车牌图像用高斯模糊核卷积；
S402.卷积后用比例因子进行下采样操作；
S403.将加性高斯白噪声添加到下采样操作后的清晰车牌图像中；
S404. 用质量因子进行/>压缩；
S405.对压缩后的清晰车牌图像添加运动模糊，生成各个清晰车牌图像自身对应的模糊图像。
6.根据权利要求1所述的一种基于多尺度特征的车牌清晰度提升方法，其特征在于，所述S500中，将所有清晰车牌图像输入StyleGAN2网络中进行训练，得到包含先验信息的车牌图像生成器，具体包括下述步骤：
S501.选取StyleGAN2的训练框架；
S502.将所有清晰车牌图像作为数据集输入选取得到的训练框架中，对训练框架进行训练，训练过程的数学表达式定义为：；
其中，表示训练好的车牌图像生成器，/>表示训练器，/>表示所有清晰车牌图像构成的数据集，/>表示训练过程中是否翻转数据集作为补充，/>表示训练过程中采取的数据标准化参数，/>表示车牌图像生成器输出图片的尺寸，/>表示训练过程中所采取的训练策略，/>表示对所述训练框架进行训练时的损失函数；
此外，训练好的车牌图像生成器的输出层表达式定义为：；
其中，表示车牌图像生成器的输出，/>和/>分别表示固定大小的随机数。
7.根据权利要求1所述的一种基于多尺度特征的车牌清晰度提升方法，其特征在于，所述车牌信息提取器包括U-net网络、MLP结构和CS-SFT结构，所述U-net网络用于提取模糊图像中的潜在特征和多分辨率空间特征，所述潜在特征通过MLP结构映射得到车牌图像生成器输入编码范围内的潜在码，所述潜在码和所述多分辨率空间特征构成车牌信息提取器的多尺度语义特征输出且作为车牌图像生成器的输入数据，所述CS-SFT结构用于对潜在码经车牌图像生成器内的卷积层后得到的GAN特征执行空间调制。
8.根据权利要求1所述的一种基于多尺度特征的车牌清晰度提升方法，其特征在于，所述S700中，对车牌图像清晰度提升器进行训练时定义的损失函数包括重建损失、车牌清晰度提升器恢复真实纹理的对抗性损失、车牌ROI区域损失以及车牌识别损失，所述重建损失为车牌清晰度提升器输出的重建清晰图与地面真相标签进行比较所得到的损失值，所述地面真相标签为训练时该重建清晰图对应的清晰车牌图像，所述车牌ROI区域损失为车牌清晰度提升器内局部鉴别器的判别损失，所述局部鉴别器用于鉴别车牌ROI区域的真实性，所述车牌ROI区域为具有感知意义的车牌区域；
其中，对车牌图像清晰度提升器进行训练时定义的损失函数表示为Ltotal=Lrec+Ladv+LROI+Lid；
重建损失表示为/>，/>表示一种映射关系，/>表示重建清晰图，/>表示地面真相标签，/>表示像素点差值损失的损失权重，/>表示感知损失的损失权重，其中，所述映射关系为输入用于预训练的VGG-19网络模型中的图像到未经激活的深层次的图像表达之间的映射；
对抗性损失表示为/>，D表示车牌清晰度提升器内用于鉴别真实纹理的整体鉴别器，/>表示对抗性失重；
车牌ROI区域损失表示为/>，ROI表示车牌ROI区域，/>表示所述局部鉴别器，/>表示从阶段性训练完成的局部鉴别器提取多层特征的映射，/>表示局部判别损失的损失权重，/>表示特征样式损失的损失权重，Gram表示Gram矩阵统计，Gram矩阵统计用于计算特征相关性和捕获纹理信息；
车牌识别损失表示为，/>表示车牌识别损失权重， />表示识别错误的字符数，识别错误的字符数通过预设的车牌识别工具对重建清晰图进行识别后得到。
9.根据权利要求1所述的一种基于多尺度特征的车牌清晰度提升方法，其特征在于，所述S800中，验证训练好的车牌图像清晰度提升器，包括下述步骤：
将训练时车牌图像清晰度提升器输出的各个重建清晰图输入预设的车牌识别工具，得到第一车牌识别结果；
根据第一车牌识别结果计算各个重建清晰图对应的字符识别正确率以及第一平均值，所述第一平均值为所有该字符识别正确率的平均值，字符识别正确率为正确识别的字符数量的占比；
根据第一车牌识别结果计算车牌识别正确率，车牌识别正确率为正确识别的车牌的占比；
将各个模糊图像输入所述车牌识别工具，得到第二车牌识别结果；
根据第二车牌识别结果计算各个模糊图像对应的字符识别正确率以及第二平均值，所述第二平均值为所有该字符识别正确率的平均值；
根据第二车牌识别结果计算车牌识别正确率。
10.根据权利要求9所述的一种基于多尺度特征的车牌清晰度提升方法，其特征在于，所述S800中，验证训练好的车牌图像清晰度提升器，还包括下述步骤：
基于训练时车牌图像清晰度提升器输出的所有重建清晰图和各个重建清晰图对应的标签数据，计算第一PSNR得分和第一SSIM得分；
基于训练时输入车牌图像清晰度提升器的模糊图像和各个模糊图像对应的清晰车牌图像，计算第二PSNR得分和第二SSIM得分；
若第一平均值与第二平均值的差值大于第一预设值，且根据第一车牌识别结果计算出的车牌识别正确率与根据第二车牌识别结果计算出的车牌识别正确率的差值大于第二预设值，且第一PSNR得分与第二PSNR得分的差值大于第三预设值，且第一SSIM得分与第二SSIM得分的差值大于第四预设值，则车牌图像清晰度提升器验证通过，否则车牌图像清晰度提升器验证不通过。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310814438.2A CN116543377A (zh) | 2023-07-05 | 2023-07-05 | 一种基于多尺度特征的车牌清晰度提升方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310814438.2A CN116543377A (zh) | 2023-07-05 | 2023-07-05 | 一种基于多尺度特征的车牌清晰度提升方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116543377A true CN116543377A (zh) | 2023-08-04 |
Family
ID=87451011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310814438.2A Pending CN116543377A (zh) | 2023-07-05 | 2023-07-05 | 一种基于多尺度特征的车牌清晰度提升方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543377A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690120A (zh) * | 2023-12-15 | 2024-03-12 | 北京卓视智通科技有限责任公司 | 一种移动设备抓拍车牌的车辆监控方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549892A (zh) * | 2018-06-12 | 2018-09-18 | 东南大学 | 一种基于卷积神经网络的车牌图像清晰化方法 |
| CN111915490A (zh) * | 2020-08-14 | 2020-11-10 | 深圳清研智城科技有限公司 | 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 |
| CN113538254A (zh) * | 2020-12-14 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 图像恢复方法、装置、电子设备及计算机可读存储介质 |
| KR102338912B1 (ko) * | 2021-08-11 | 2021-12-15 | 주식회사 아프로시스템즈 | 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법 |
| CN114708170A (zh) * | 2022-06-06 | 2022-07-05 | 松立控股集团股份有限公司 | 一种基于增强多尺度特征的车牌图像去模糊方法 |
| CN115205122A (zh) * | 2022-09-06 | 2022-10-18 | 深圳大学 | 保持结构和纹理的超分图像生成方法、系统、装置和介质 |
| CN115797997A (zh) * | 2022-11-22 | 2023-03-14 | 辽宁工程技术大学 | 复杂场景下的遮挡及模糊人脸检测方法 |
| CN115984117A (zh) * | 2023-02-13 | 2023-04-18 | 西安邮电大学 | 基于通道注意力的变分自编码图像超分辨率方法及系统 |
-
2023
- 2023-07-05 CN CN202310814438.2A patent/CN116543377A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549892A (zh) * | 2018-06-12 | 2018-09-18 | 东南大学 | 一种基于卷积神经网络的车牌图像清晰化方法 |
| CN111915490A (zh) * | 2020-08-14 | 2020-11-10 | 深圳清研智城科技有限公司 | 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 |
| CN113538254A (zh) * | 2020-12-14 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 图像恢复方法、装置、电子设备及计算机可读存储介质 |
| KR102338912B1 (ko) * | 2021-08-11 | 2021-12-15 | 주식회사 아프로시스템즈 | 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법 |
| CN114708170A (zh) * | 2022-06-06 | 2022-07-05 | 松立控股集团股份有限公司 | 一种基于增强多尺度特征的车牌图像去模糊方法 |
| CN115205122A (zh) * | 2022-09-06 | 2022-10-18 | 深圳大学 | 保持结构和纹理的超分图像生成方法、系统、装置和介质 |
| CN115797997A (zh) * | 2022-11-22 | 2023-03-14 | 辽宁工程技术大学 | 复杂场景下的遮挡及模糊人脸检测方法 |
| CN115984117A (zh) * | 2023-02-13 | 2023-04-18 | 西安邮电大学 | 基于通道注意力的变分自编码图像超分辨率方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| XINTAO WANG 等: "Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data", 《2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW)》, pages 1905 - 1914 * |
| XINTAO WANG 等: "Towards Real-World Blind Face Restoration with Generative Facial Prior", 《2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 9164 - 9174 * |
| 倪申龙;曾接贤;周世健;: "整体车牌图像超分辨率重建研究", 《计算机技术与发展》, vol. 29, no. 04, pages 195 - 199 * |
| 骆立志 等: "图像超分辨率在模糊车牌识别系统中的应用", 《软件导刊》, vol. 18, no. 5, pages 177 - 180 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690120A (zh) * | 2023-12-15 | 2024-03-12 | 北京卓视智通科技有限责任公司 | 一种移动设备抓拍车牌的车辆监控方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jourabloo et al. | Face de-spoofing: Anti-spoofing via noise modeling | |
| CN111275637B (zh) | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 | |
| CN110084757B (zh) | 一种基于生成对抗网络的红外深度图像增强方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN109903223B (zh) | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 | |
| Qazi et al. | Survey on blind image forgery detection | |
| CN116645569B (zh) | 一种基于生成对抗网络的红外图像彩色化方法和系统 | |
| CN103020898B (zh) | 序列虹膜图像超分辨率重建方法 | |
| Tong et al. | Learning no-reference quality metric by examples | |
| CN116543377A (zh) | 一种基于多尺度特征的车牌清晰度提升方法 | |
| CN113159158B (zh) | 一种基于生成对抗网络的车牌矫正与重构方法及系统 | |
| CN112950458B (zh) | 基于对抗生成网络的图像印章去除方法、装置及相关设备 | |
| CN111951164A (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN117151990B (zh) | 一种基于自注意力编码解码的图像去雾方法 | |
| CN115909172A (zh) | 深度伪造视频检测分割识别系统、终端及存储介质 | |
| CN114202460B (zh) | 面对不同损伤图像的超分辨率高清重建方法和系统及设备 | |
| CN113269167B (zh) | 一种基于图像分块打乱的人脸伪造检测方法 | |
| CN117496019B (zh) | 一种驱动静态图像的图像动画处理方法及系统 | |
| CN117994133A (zh) | 车牌图像超分辨率重建模型构建方法及车牌图像重建方法 | |
| CN113901916A (zh) | 一种基于可视化光流特征的面部欺诈动作识别方法 | |
| CN114170086A (zh) | 一种基于双重注意力机制的超分辨率算法 | |
| Xu et al. | Joint Learning of Deep Texture and High-Frequency Features for Computer-Generated Image Detection | |
| Psaila et al. | Image matching using enhancement offsets with adaptive parameter selection via histogram analysis | |
| CN118411313B (zh) | 一种基于叠加注意力特征融合的sar光学图像去云方法 | |
| CN114067399B (zh) | 面向非配合场景的人脸重建与识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230804 |
|
| RJ01 | Rejection of invention patent application after publication |