CN116542884A - 模糊图像清晰化模型的训练方法、装置、设备及介质 - Google Patents
模糊图像清晰化模型的训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116542884A CN116542884A CN202310831788.XA CN202310831788A CN116542884A CN 116542884 A CN116542884 A CN 116542884A CN 202310831788 A CN202310831788 A CN 202310831788A CN 116542884 A CN116542884 A CN 116542884A
- Authority
- CN
- China
- Prior art keywords
- training
- blurred
- images
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003707 image sharpening Methods 0.000 claims abstract description 100
- 238000012795 verification Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims description 33
- 239000004973 liquid crystal related substance Substances 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种模糊图像清晰化模型的训练方法、装置、设备及介质，方法包括获取拍摄场景的多个图像样本；对多个图像样本进行分类，以获取清晰图像和模糊图像；对多个清晰图像和多个模糊图像进行数据划分，以获取图像样本的训练数据、验证数据；以及将训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，以生成完全训练后的多层卷积模糊图像清晰化模型。本发明可进行图样样本的模糊图像清晰化模型的训练，以提高光照强度分布不均的图像的清晰化处理的效率。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种模糊图像清晰化模型的训练方法、装置、设备及介质。
背景技术
图像在拍摄的过程中，当图像中大部分面积光照明亮并且分布均匀时，图像特征容易被识别。而在某些特定场景中，图像中的光照通常具有任意的强度，并且在图像中分布不均匀。例如，在低照度路桥的场景下，获取的图像是车辆行驶方向的侧上方视角图像，灯光照明明暗不一。为此，监控人员提取出监控画面中的图像，手动送至图像清晰化系统中进行分析。或者，将每个摄像头采集的图像自动输送至图像清晰化系统中进行分析，但受限于人力以及摄像头的角度，缺乏针对性，不能很好的过滤掉大部分非必要的图像以及应对突发事件。因此，存在待改进之处。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种模糊图像清晰化模型的训练方法、装置、设备及介质，用于解决现有技术中路桥图像拍摄不清晰的问题。
为实现上述目的及其他相关目的，本发明提供一种模糊图像清晰化模型的训练方法，包括：
获取拍摄场景的多个图像样本；
对多个所述图像样本进行分类，以获取清晰图像和模糊图像；
对多个所述清晰图像和多个所述模糊图像进行数据划分，以获取图像样本的训练数据、验证数据；以及
将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，以生成完全训练后的多层卷积模糊图像清晰化模型。
在本发明的一个实施例中，所述对多个所述清晰图像和多个所述模糊图像进行数据划分，以获取图像样本的训练数据、验证数据的步骤，包括：
对多个所述清晰图像和多个所述模糊图像进行90度、180度、270度随机翻转处理；
对翻转处理后的多个所述清晰图像和多个所述模糊图像进行数据划分，得到所述训练数据、所述验证数据。
在本发明的一个实施例中，所述将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证的步骤，包括：
设置所述图像样本的训练数据为m张图像为，设置m张图像对应的标签为/>，其中/>表示所述训练数据中第/>张图像，/>表示所述训练数据中第/>张图像的标签，/>；
设置所述图像样本的所述验证数据为n张图像，设置n张图像对应的标签为/>，其中/>表示所述验证数据中第/>张图像，/>表示所述验证数据中第/>张图像的标签，/>；
将所述训练数据输入至初始多层卷积模糊图像清晰化模型中，通过设定优化器，在全部所述图像样本训练预设次数后更新学习率，使用平方损失函数进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证。
在本发明的一个实施例中，所述平方损失函数满足：
；
其中，为第/>个图像中标签的真值，/>为第/>个图像中标签的预测值。
在本发明的一个实施例中，所述将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练的步骤，包括：
将训练数据送入深度卷积模块进行卷积处理提取特征；
将卷积后的特征分别沿高维度和宽维度进行信息聚合，并通过特征的幅度和相位对特征赋值权重；
对特征进行采样，得到特征图；
对不同尺寸的特征图进行融合，得到融合特征图。
在本发明的一个实施例中，所述对不同尺寸的特征图进行融合，得到融合特征图的步骤，包括：
利用编码器和解码器进行特征结合，对不同尺寸的特征图进行融合，得到融合特征，所述融合特征/>满足：
；
；
；
其中，为编码阶段第/>层融合特征图，/>为解码阶段第/>层融合特征图，/>为编码阶段第/>层融合特征图，/>为编码阶段第/>层融合特征图，Connect为编码器与解码器中不同尺寸的特征进行融合的张量拼接。
在本发明的一个实施例中，所述将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，以生成完全训练后的多层卷积模糊图像清晰化模型的步骤之后，包括：
将所述清晰图像和所述模糊图像对应的测试数据，分批次输入至训练后的所述多层卷积模糊图像清晰化模型，以进行所述多层卷积模糊图像清晰化模型的测试。
本发明还提出一种模糊图像清晰化模型的训练装置，包括：
获取单元，用以获取拍摄场景的多个图像样本；
分类单元，用以对多个所述图像样本进行分类，以获取清晰图像和模糊图像；
提取单元，用以对多个所述清晰图像和多个所述模糊图像进行数据划分，以获取图像样本的训练数据、验证数据；
训练单元，用以将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，以生成完全训练后的多层卷积模糊图像清晰化模型。
本发明还提出一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述模糊图像清晰化模型的训练方法的步骤。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述模糊图像清晰化模型的训练方法的步骤。
如上所述，本发明的模糊图像清晰化模型的训练方法、装置、设备及介质，具有以下有益效果：本发明可进行图样样本的模糊图像清晰化模型的训练，以提高光照强度分布不均的图像的清晰化处理的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明模糊图像清晰化模型的训练方法的步骤示意图。
图2显示为本发明图1中步骤S30的一步骤示意图。
图3显示为本发明图1中步骤S30的又一步骤示意图。
图4显示为本发明图1中步骤S40的一步骤示意图。
图5显示为本发明模糊图像清晰化模型的训练方法的一流程示意图。
图6显示为本发明模糊图像清晰化模型的训练方法的算法示意图。
图7显示为本发明模糊图像清晰化模型的训练方法的又一流程示意图。
图8显示为本发明模糊图像清晰化模型的训练方法的又一流程示意图。
图9显示为本发明模糊图像清晰化模型的训练装置的结构示意图。
图10显示为本发明模糊图像清晰化模型的训练方法的一计算机设备结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。下列实施例中未注明具体条件的试验方法，通常按照常规条件，或者按照各制造商所建议的条件。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
请参阅图1至图10所示，本发明提供一种模糊图像清晰化模型的训练方法、装置、设备及介质，可应用于图像处理技术领域，例如可应用于基于改进MLP（MultilayerPerceptron，多层感知机）网络的低照度路桥图像清晰化领域，在改进多层感知机网络构建之后，使用者可以通过卷积多层感知机提取更加精确的特征。首先通过深度卷积进行局部注意力识别光照暗度不一的区域，再通过进行全局的注意力识别全局中存在的光照暗度不一的情况，能够准确的获取到整个图像中的低照度情况，准确的进行图像清晰化处理。本发明的技术方案可以嵌入至监控系统摄像头当中，进行实时的图像清晰化，通过监控摄像头的配置，从而实现灵活地调整图像清晰化推断算法，达到更高的图像清晰化精度。
请参阅图1所示，在本发明的一些实施例中，本发明可提出一种模糊图像清晰化模型的训练方法，可包括以下的步骤。
步骤S10、获取拍摄场景的多个图像样本。
步骤S20、对多个所述图像样本进行分类，以获取清晰图像和模糊图像。
步骤S30、对多个所述清晰图像和多个所述模糊图像进行数据划分，以获取图像样本的训练数据、验证数据。
步骤S40、将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，以生成完全训练后的多层卷积模糊图像清晰化模型。
模糊图像清晰化模型步骤S10、获取拍摄场景的多个图像样本。
在一些实施例中，获取拍摄场景的多个图像样本，准备足够的训练集，可用于进行图像的训练、测试等处理。可按照预先设定的时间间隔，对拍摄场景获取多个图像样本。在获取拍摄场景的多个图像样本后，可通过分类、对比或者卷积模糊图像清晰化模型的方式进行图像样本的处理，以获取清晰图像。
步骤S20、对多个所述图像样本进行分类，以获取清晰图像和模糊图像。
在一些实施例中，对多个图像样本进行分类，可按照拍摄场景进行分类，将同一个拍摄场景的图像样本集合在一起。还可按照拍摄时间进行分类，将同一个时间段的图像样本集合在一起。还可在将同一个拍摄场景的图像样本集合在一起之后，对同一个拍摄场景的图像样本进行进一步的分类，可按照清晰度进行划分，以获取清晰图像和模糊图像。对于清晰图像和模糊图像而言，对不同清晰度的图像可采取不同的训练方式进行处理，以获取处理后的清晰图像。
步骤S30、对多个所述清晰图像和多个所述模糊图像进行数据划分，以获取图像样本的训练数据、验证数据。
在一些实施例中，对多个清晰图像和多个模糊图像进行特征提取，例如图像特征可主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。通过对图像的颜色特征、纹理特征、形状特征和空间关系特征进行数据划分，可获取图像样本的训练数据、验证数据。训练数据是指输入至初始多层卷积模糊图像清晰化模型中进行训练的数据。针对输入至初始多层卷积模糊图像清晰化模型中的训练数据之后，验证数据是指对训练数据起到验证作用的数据。将所述训练数据、所述验证数据输入至初始多层卷积模糊图像清晰化模型中进行训练，生成训练后的多层卷积模糊图像清晰化模型，测试数据是指输入至完全训练后的多层卷积模糊图像清晰化模型进行测试的数据。
步骤S40、将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，以生成完全训练后的多层卷积模糊图像清晰化模型。
在一些实施例中，将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，例如可通过导师学习训练方法进行训练，或者可通过无导师学习训练方法进行训练，或者还可通过灌输式学习训练方法进行训练。卷积神经网络（Convolutional NeuralNetworks,CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（FeedforwardNeural Networks），是深度学习（deep learning）的代表算法之一。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类。卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层）。
在一些实施例中，在初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，以生成完全训练后的多层卷积模糊图像清晰化模型之后，将所述清晰图像和所述模糊图像对应的测试数据，分批次输入至训练后的所述多层卷积模糊图像清晰化模型，以进行所述多层卷积模糊图像清晰化模型的验证。
请参阅图2所示，在本发明的一些实施例中，步骤S30可包括如下的步骤。首先，可执行步骤S310，对多个所述清晰图像和多个所述模糊图像进行90度、180度、270度随机翻转处理。多个清晰图像和多个模糊图像可按照顺时针方向或者逆时针的方向，进行随机翻转处理。在多个清晰图像和多个模糊图像中，可对每个清晰图像和每个模糊图像，分别按照90度、180度、270度随机翻转处理，还可对多个清晰图像和多个模糊图像，都按照90度、180度、270度随机翻转处理。其次，可执行步骤S320，对翻转处理后的多个所述清晰图像和多个所述模糊图像进行数据划分，得到所述训练数据、所述验证数据。
请参阅图3所示，在本发明的一些实施例中，步骤S30可包括如下的步骤。首先，可执行步骤S311，将训练数据送入深度卷积模块进行卷积处理提取特征。其次，可执行步骤S312，将卷积后的特征分别沿高维度和宽维度进行信息聚合，并通过特征的幅度和相位对特征赋值权重。其次，可执行步骤S313，对特征进行采样，得到特征图。然后，可执行步骤S314，对不同尺寸的特征图进行融合，得到融合特征图/>。融合特征图的计算公式为：
；
；
。
其中，为编码阶段第/>层融合特征图，/>为编码阶段第/>层卷积特征图，为深度卷积，PATM为分别沿高维度和宽维度的聚合空间信息，通过重新加权模块来求和不同的分支。
在本发明的一些实施例中，利用编码器和解码器进行特征结合，对不同尺寸的特征图进行融合，得到融合特征，融合特征/>满足：
；
；
；
其中，为编码阶段第/>层融合特征图，/>为解码阶段第/>层融合特征图，/>为编码阶段第/>层融合特征图，/>为编码阶段第/>层融合特征图，Connect为编码器与解码器中不同尺寸的特征进行融合的张量拼接。
请参阅图4所示，在本发明的一些实施例中，步骤S40可包括如下的步骤。获取特定场景的图像样本数据，划分训练数据、验证数据。所述图像样本数据包括m对图像的训练数据、n张图像的验证数据，以及若干张图像的测试数据。所述训练数据与验证数据包括与原图像对应的标签。可采用多台摄像设备，摄像头等进行样本采集，同时可利用进行图像的标注，得到标签。对输入的图像样本进行随机翻转和随机裁剪，增加训练过程的鲁棒性，使其有利于训练模型的收敛，然后再进行损失函数和优化器的配置，并训练深度模型，具体步骤如下。首先，可执行步骤S410，设置所述图像样本的训练数据为m张图像为，设置m张图像对应的标签为/>，其中/>表示所述训练数据中第/>张图像，/>表示所述训练数据中第/>张图像的标签，/>。其次，可执行步骤S420设置所述图像样本的所述验证数据为n张图像/>，设置n张图像对应的标签为/>，其中/>表示所述验证数据中第/>张图像，/>表示所述验证数据中第/>张图像的标签，/>。其次，可执行步骤S430，将所述训练数据输入至初始多层卷积模糊图像清晰化模型中，通过设定优化器，在全部所述图像样本训练预设次数后更新学习率，使用平方损失函数进行训练。验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证。并且，将所述清晰图像和所述模糊图像的测试数据，分批次输入至训练后的所述多层卷积模糊图像清晰化模型，以生成目标图像。
在一些实施例中，可制定深度模型训练策略，设定训练集与测试集的比例为m：n=4:1。具体的，从第10个epoch（训练）开始，每次epoch结束后在验证集上计算精度并保留该模型。之后每一轮epoch后都计算精度并且与之前模型的精度进行比较，若后一个模型精度超过之前的模型，则替换之前的模型。精度以PSNR,SSIM作为评估标准，即用待测区域图片与模型所清晰后的图片基于误差敏感的图像质量评价和从亮度、对比度、结构三方面度量图像相似性评估标准。例如可设定100个epoch，在其中70，90的时刻设定学习率衰减，衰减因子为5.0。再对输入的图像样本随机翻转处理。例如可对一个batch（批处理）中的图片进行一定概率的翻转，25%不翻转，25%垂直翻转，25%水平翻转，25%水平垂直翻转。然后可将优化器设定为Adam，再根据平方差损失函数，获得最终的损失函数。Adam的时间更短，更有助于快速收敛。其中，初始学习率设定为，其他参数不变。平方损失函数/>满足：
；
其中，为第/>个图像中标签的真值，/>为第/>个图像中标签的预测值。
请参阅图5所示，在本发明的一些实施例中，首先，可执行流程110，获取训练数据，并对数据进行划分。其次，可执行流程120，可构建基于卷积和MLP（MultilayerPerceptron，多层感知机）融合的UNET神经网络。其次，可执行流程130，初始多层卷积模糊图像清晰化模型中进行训练，生成训练后的多层卷积模糊图像清晰化模型。其次，可执行流程140，将多层卷积模糊图像清晰化模型嵌入至设备中。然后，可执行流程150，将所述测试数据输入至训练后的所述多层卷积模糊图像清晰化模型，以生成目标图像，实现图像清晰化。
请参阅图6所示，在本发明的一些实施例中，利用搭建的网络编码器进行特征提取，获得融合特征。首先，可搭建编码器的第一路，先将特征送入深度卷积模块进行卷积。其次，搭建编码器的第二路，将卷积后的特征分别沿高维度和宽维度进行信息聚合，令牌混合块由建议的相位感知令牌混合 (PATM) 模块组成，该模块通过考虑幅度和相位信息来聚合不同的令牌。通过重新加权模块来求和不同的分支，PATM将每个令牌视为具有振幅和相位的波，并且可以在MLP中动态调整令牌与固定权重之间的关系，以便更适当地聚合令牌。共计进行5次下采样，得到特征图。对不同尺寸的特征图进行融合，得到融合特征图/>，对融合特征图进行数据划分，以获取图像样本的训练数据、验证数据。融合特征图的计算公式为：
；
；
。
其中，为编码阶段第/>层融合特征图，/>为编码阶段第/>层卷积特征图，为深度卷积，PATM为分别沿高维度和宽维度的聚合空间信息，通过重新加权模块来求和不同的分支。
请参阅图7所示，在本发明的一些实施例中，首先，可执行流程310，对于第一融合特征和第二融合特征进行拼接，其次，可执行流程320，对拼接后的第一融合特征和第二融合特征进行平均池化，其次，可执行流程330，对平均池化后的图像特征进行多层感知机算法，然后可执行流程340，对图像特征进行最大池化处理。利用搭建的网络解码器和编码器进行特征结合，获得更精确的解码特征图。利用编码器与解码器中对应尺度的特征图，采用我们提出的通道注意力的方式将编码阶段的 特征与解码阶段的 特征结合，即采用Channel AttentionFusion（CAF）操作以获得融合特征。
；
；
；
其中，为特征图上采样操作，/>为编码阶段第/>层融合特征图，/>为解码阶段第/>层融合特征图，/>为编码阶段第/>层融合特征图，/>为编码阶段第/>层融合特征图。Connect为沿通道方向进行张量拼接，即对应元素的相加。通过/>的操作将编码器与解码器中不同尺寸的特征进行融合，/>，在前3个不同尺寸的特征图上进行/>操作。
对所述融合特征进行上采样，在上采样的过程中，特征图的尺寸扩大为原特征图尺寸的2倍，特征通道数缩减为原通道数的一半， 表示表示特征图上采样操作：
；
其中，表示上采样之前的特征图，其维度表示为/>，/>表示上采样之后的特征图，其维度表示为/>，/>表示特征图通道数，/>表示特征图的高，表示特征图的宽，经过上采样/>操作之后，特征图的通道数由/>变化为/>，特征图的宽和高分别由/>、/>变化为/>、/>。
根据所得的解码阶段融合特征图之后接上提出的通道注意力机制模块，通过区域信息对特征图通道进行重新加权：
；
；
其中，表示压缩完的注意力权重模块，首先对拼接好的特征进行平均池化，去除冗余信息、对特征进行压缩、简化网络复杂度，MLP()是经过通道扩大后进行3*3卷积然后在进行通道放大到原来的3倍。然后在使用同样的卷积方式压缩回原来的维度，MAX（）是对进行过通道注意力的特征进行最大池化，原有维度保持不变。最后在把此特征与原来进行通道拼接的特征进行残差连接得到最终输出特征/>。最后利用/>进行1*1卷积后与解码阶段融合特征图/>进行/>操作获得最后的精细化的通道注意力特征图。
请参阅图8所示，在本发明的一些实施例中，对于图像特征，可先后进行流程410至460的处理，即先后进行norm约束、深度卷积、norm约束、混合令牌、norm约束和MLP（Multilayer Perceptron，多层感知机）处理。通过已训练的深度模型判断输入的图像中的像素点是否属于待提取目标，将模型嵌入设备，配合进行实时的图像清晰，同时对交叠区域进行测试增强操作，获得更清晰的图像结果。利用在解码器的最后一层之后不直接与原图进行残差连接，而是继续进行卷积在送入CWMLP块进行特征提取，确保最终图像清晰化结果较好。将模型嵌入摄像设备之中，进行实时图像清晰化，通过摄像头位置以及路桥图像光照强度，进行不同的实时图像清晰化推断。
请参阅图9所示，在本发明的一些实施例中，本发明可提出一种模糊图像清晰化模型的训练装置，可包括获取单元510、分类单元520、提取单元530、训练单元540。其中，获取单元510可用以获取拍摄场景的多个图像样本。分类单元520可用以对多个所述图像样本进行分类，以获取清晰图像和模糊图像。提取单元530可用以对多个所述清晰图像和多个所述模糊图像进行数据划分，以获取图像样本的训练数据、验证数据。训练单元540可用以将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，生成完全训练后的多层卷积模糊图像清晰化模型。
请参阅图10所示，本发明一实施例中计算机设备的一结构示意图。在一个实施例中，提供了一种计算机设备，该计算机设备600可以是服务端。该计算机设备600包括通过系统总线连接的处理器610、存储器620、网络接口640和数据库。其中，该计算机设备600的处理器610用于提供计算和控制能力。该计算机设备600的存储器620包括非易失性和/或易失性存储介质、内存储器630。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备600的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种模糊图像清晰化模型的训练方法服务端侧的功能或步骤。
在一个实施例中，提供了一种计算机设备600，包括存储器620、处理器610及存储在存储器上并可在处理器上运行的计算机程序，处理器610执行计算机程序时实现以下步骤：
获取拍摄场景的多个图像样本；对多个所述图像样本进行分类，以获取清晰图像和模糊图像；对多个所述清晰图像和多个所述模糊图像进行数据划分，以获取图像样本的训练数据、验证数据；将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，生成完全训练后的多层卷积模糊图像清晰化模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取拍摄场景的多个图像样本；对多个所述图像样本进行分类，以获取清晰图像和模糊图像；对多个所述清晰图像和多个所述模糊图像进行特征提取，以获取图像样本的训练数据、验证数据；将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，生成完全训练后的多层卷积模糊图像清晰化模型。
需要说明的是，上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤，可对应参阅前述方法实施例中，服务端侧以及客户端侧的相关描述，为避免重复，这里不再一一描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明，本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案，例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
除说明书所述的技术特征外，其余技术特征为本领域技术人员的已知技术，为突出本发明的创新特点，其余技术特征在此不再赘述。
Claims (10)
1.一种模糊图像清晰化模型的训练方法，其特征在于，包括：
获取拍摄场景的多个图像样本；
对多个所述图像样本进行分类，以获取清晰图像和模糊图像；
对多个所述清晰图像和多个所述模糊图像进行数据划分，以获取图像样本的训练数据、验证数据；以及
将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，以生成完全训练后的多层卷积模糊图像清晰化模型。
2.根据权利要求1所述的模糊图像清晰化模型的训练方法，其特征在于，所述对多个所述清晰图像和多个所述模糊图像进行数据划分，以获取图像样本的训练数据、验证数据的步骤，包括：
对多个所述清晰图像和多个所述模糊图像进行90度、180度、270度随机翻转处理；
对翻转处理后的多个所述清晰图像和多个所述模糊图像进行数据划分，得到所述训练数据、所述验证数据。
3.根据权利要求1所述的模糊图像清晰化模型的训练方法，其特征在于，所述将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证的步骤，包括：
设置所述图像样本的训练数据为m张图像为，设置m张图像对应的标签为/>，其中/>表示所述训练数据中第/>张图像，/>表示所述训练数据中第/>张图像的标签，/>；
设置所述图像样本的所述验证数据为n张图像，设置n张图像对应的标签为/>，其中/>表示所述验证数据中第/>张图像，/>表示所述验证数据中第/>张图像的标签，/>；
将所述训练数据输入至初始多层卷积模糊图像清晰化模型中，通过设定优化器，在全部所述图像样本训练预设次数后更新学习率，使用平方损失函数进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证。
4.根据权利要求3所述的模糊图像清晰化模型的训练方法，其特征在于，所述平方损失函数满足：
；
其中，为第/>个图像中标签的真值，/>为第/>个图像中标签的预测值。
5.根据权利要求1所述的模糊图像清晰化模型的训练方法，其特征在于，所述将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练的步骤，包括：
将训练数据送入深度卷积模块进行卷积处理提取特征；
将卷积后的特征分别沿高维度和宽维度进行信息聚合，并通过特征的幅度和相位对特征赋值权重；
对特征进行采样，得到特征图；
对不同尺寸的特征图进行融合，得到融合特征图。
6.根据权利要求5所述的模糊图像清晰化模型的训练方法，其特征在于，所述对不同尺寸的特征图进行融合，得到融合特征图的步骤，包括：
利用编码器和解码器进行特征结合，对不同尺寸的特征图进行融合，得到融合特征，所述融合特征/>满足：
；
；
；
其中，为编码阶段第/>层融合特征图，/>为解码阶段第/>层融合特征图，/>为编码阶段第/>层融合特征图，/>为编码阶段第/>层融合特征图，Connect为编码器与解码器中不同尺寸的特征进行融合的张量拼接。
7.根据权利要求1所述的模糊图像清晰化模型的训练方法，其特征在于，所述将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，以生成完全训练后的多层卷积模糊图像清晰化模型的步骤之后，包括：
将所述清晰图像和所述模糊图像对应的测试数据，分批次输入至训练后的所述多层卷积模糊图像清晰化模型，以进行所述多层卷积模糊图像清晰化模型的测试。
8.一种模糊图像清晰化模型的训练装置，其特征在于，包括：
获取单元，用以获取拍摄场景的多个图像样本；
分类单元，用以对多个所述图像样本进行分类，以获取清晰图像和模糊图像；
提取单元，用以对多个所述清晰图像和多个所述模糊图像进行数据划分，以获取图像样本的训练数据、验证数据；
训练单元，用以将所述训练数据输入至初始多层卷积模糊图像清晰化模型中进行训练，验证数据对训练部分阶段后的多层卷积模糊图像清晰化模型进行准确性验证，以生成完全训练后的多层卷积模糊图像清晰化模型。
9.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述模糊图像清晰化模型的训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述模糊图像清晰化模型的训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310831788.XA CN116542884B (zh) | 2023-07-07 | 2023-07-07 | 模糊图像清晰化模型的训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310831788.XA CN116542884B (zh) | 2023-07-07 | 2023-07-07 | 模糊图像清晰化模型的训练方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116542884A true CN116542884A (zh) | 2023-08-04 |
| CN116542884B CN116542884B (zh) | 2023-10-13 |
Family
ID=87443978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310831788.XA Active CN116542884B (zh) | 2023-07-07 | 2023-07-07 | 模糊图像清晰化模型的训练方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542884B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019192338A1 (zh) * | 2018-04-04 | 2019-10-10 | 腾讯科技（深圳）有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
| CN113592736A (zh) * | 2021-07-27 | 2021-11-02 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
| CN115019173A (zh) * | 2022-06-13 | 2022-09-06 | 南京邮电大学 | 基于ResNet50的垃圾识别与分类方法 |
| US20230080693A1 (en) * | 2020-05-15 | 2023-03-16 | Samsung Electronics Co., Ltd. | Image processing method, electronic device and readable storage medium |
| CN116051438A (zh) * | 2022-12-20 | 2023-05-02 | 深圳供电局有限公司 | 图像融合方法及装置、计算机设备和可读存储介质 |
| WO2023070447A1 (zh) * | 2021-10-28 | 2023-05-04 | 京东方科技集团股份有限公司 | 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质 |
-
2023
- 2023-07-07 CN CN202310831788.XA patent/CN116542884B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019192338A1 (zh) * | 2018-04-04 | 2019-10-10 | 腾讯科技（深圳）有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
| US20230080693A1 (en) * | 2020-05-15 | 2023-03-16 | Samsung Electronics Co., Ltd. | Image processing method, electronic device and readable storage medium |
| CN113592736A (zh) * | 2021-07-27 | 2021-11-02 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
| WO2023070447A1 (zh) * | 2021-10-28 | 2023-05-04 | 京东方科技集团股份有限公司 | 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质 |
| CN115019173A (zh) * | 2022-06-13 | 2022-09-06 | 南京邮电大学 | 基于ResNet50的垃圾识别与分类方法 |
| CN116051438A (zh) * | 2022-12-20 | 2023-05-02 | 深圳供电局有限公司 | 图像融合方法及装置、计算机设备和可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ZHIKUN CHENG ET AL.: "Dynamic hierarchical multi-scale fusion network with axial MLP for medical image segmentation", 《SCIENTIFIC REPORTS》, pages 3 - 6 * |
| 虞志军等: "基于增强多尺度特征网络的图像去模糊", 《激光与光电子学进展》, pages 2 - 3 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116542884B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101967089B1 (ko) | 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가 | |
| Rijal et al. | Ensemble of deep neural networks for estimating particulate matter from images | |
| CN109886282A (zh) | 对象检测方法、装置、计算机可读存储介质和计算机设备 | |
| US11847775B2 (en) | Automated machine vision-based defect detection | |
| CN108875821A (zh) | 分类模型的训练方法和装置、移动终端、可读存储介质 | |
| CN108764372A (zh) | 数据集的构建方法和装置、移动终端、可读存储介质 | |
| JP2022509034A (ja) | ニューラルネットワークを使用した輝点除去 | |
| CN113012155B (zh) | 髋关节图像中骨骼分割方法、电子设备及存储介质 | |
| CN111368342A (zh) | 图像篡改识别模型训练方法、图像篡改识别方法及装置 | |
| WO2021249351A1 (zh) | 一种基于rgbd图像的目标检测方法、装置及计算机设备 | |
| CN113592726A (zh) | 高动态范围成像方法、装置、电子设备和存储介质 | |
| CN111666800A (zh) | 一种行人重识别模型训练方法及行人重识别方法 | |
| CN110766027A (zh) | 图像的区域定位方法和目标区域定位模型的训练方法 | |
| CN113554630A (zh) | 芯片表面缺陷检测方法、系统、计算机设备和存储介质 | |
| CN114078127B (zh) | 物件的缺陷检测及计数方法、装置、设备和存储介质 | |
| CN115375991A (zh) | 一种强/弱光照和雾环境自适应目标检测方法 | |
| CN115731597A (zh) | 一种人脸口罩掩膜图像自动分割与修复管理平台及方法 | |
| CN117671509B (zh) | 遥感目标检测方法、装置、电子设备及存储介质 | |
| Gwon et al. | CNN-based image quality classification considering quality degradation in bridge inspection using an unmanned aerial vehicle | |
| CN115019181A (zh) | 遥感图像旋转目标检测方法、电子设备及存储介质 | |
| CN113139915A (zh) | 人像修复模型的训练方法和装置、电子设备 | |
| CN116542884B (zh) | 模糊图像清晰化模型的训练方法、装置、设备及介质 | |
| CN111179245B (zh) | 图像质量检测方法、装置、电子设备和存储介质 | |
| CN116664694A (zh) | 图像亮度获取模型的训练方法、图像获取方法及移动终端 | |
| CN113034432B (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |