CN113344110A - 一种基于超分辨率重建的模糊图像分类方法 - Google Patents

一种基于超分辨率重建的模糊图像分类方法 Download PDF

Info

Publication number
CN113344110A
CN113344110A CN202110713780.4A CN202110713780A CN113344110A CN 113344110 A CN113344110 A CN 113344110A CN 202110713780 A CN202110713780 A CN 202110713780A CN 113344110 A CN113344110 A CN 113344110A
Authority
CN
China
Prior art keywords
model
resolution
image
layer
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110713780.4A
Other languages
English (en)
Other versions
CN113344110B (zh
Inventor
李俊峰
胡捷
李筱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Minglong Electronic Technology Co ltd
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110713780.4A priority Critical patent/CN113344110B/zh
Publication of CN113344110A publication Critical patent/CN113344110A/zh
Application granted granted Critical
Publication of CN113344110B publication Critical patent/CN113344110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于超分辨率重建的模糊图像分类方法，包括如下步骤：步骤1、在上位机中，对原始高分辨率图像指定类别标签，然后将原始高分辨率图像进行高斯平滑后再进行下采样，获得带有标签的低分辨率图像作为步骤2的输入；步骤2、构建融合模型，包括串联的超分辨率重建模型和分类模型，超分辨率重建模型包括串联的生成模型和鉴别模型；步骤3、分别建立超分辨率重建模型和分类模型的损失函数，利用训练集来训练步骤2建立的融合模型，利用测试集测试融合模型获得具有在线生产能力的融合模型。本发明的方法用以将超分辨率重建的模糊图像进行分类识别。

Description

一种基于超分辨率重建的模糊图像分类方法
技术领域
本发明涉及图像识别领域，具体是一种基于超分辨率重建的模糊图像分类方法。
背景技术
图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像往往包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。近年来，随着社会发展，科技进步，人们越来越趋向于用照片或视频的形式进行记录，无论是Vlog还是监控视频，但受限于拍摄设备和拍摄环境及技术的影响，最终获取的图像可能会出现模糊不清的现象，即分辨率较低，这在很多场合会给辨识带来很大的困难。
目前，研究人员对于超分辨率重建技术的研究都是集中在对图像的恢复上，而没有关注对重建后的高清图像如何进行有效的信息获取或识别检测，而在图像分类算法中往往需要较高分辨率的图像提供更多的细节使模型更容易获取图像的特征，将低分辨率的图像直接应用在常见的分类模型中往往效果不佳，难以满足应用需求。因此，需要针对现有技术进行改进。
此外，目前对低分辨率的图像的分类识别算法主要包括两类，一类为直接对低分辨率的图像进行建模训练，该方法往往因图像包含信息较少而效果不佳；另一类是将低分辨率的图像重建为高分辨率的图像，通过超分辨率重建技术为其补清细节，再对高分辨率的图像进行分类识别，该方法效果较好，所以本发明在该方法的思路上设计改进。
发明内容
本发明要解决的技术问题是提供一种基于超分辨率重建的模糊图像分类方法，用以将超分辨率重建的模糊图像进行分类识别。
为了解决上述技术问题，本发明提供一种基于超分辨率重建的模糊图像分类方法包括步骤如下：
步骤1、在上位机中，对原始高分辨率图像指定类别标签，然后将原始高分辨率图像进行高斯平滑后再进行下采样，获得带有标签的低分辨率图像作为步骤2的输入；
步骤2、构建融合模型，包括串联的超分辨率重建模型和分类模型，超分辨率重建模型包括串联的生成模型和鉴别模型；
步骤3、分别建立超分辨率重建模型和分类模型的损失函数，利用训练集来训练步骤2建立的融合模型，利用测试集测试融合模型获得具有在线生产能力的融合模型。
作为本发明的一种基于超分辨率重建的模糊图像分类方法的改进：
步骤2中所述生成模型包括：首先使输入的图像数据经过一层尺寸为9，步长为1的卷积层，并采用PReLU作为激活函数，然后再利用16层残差卷积层提取低分辨率图像的特征，使残差块的输出经过一层3×3的卷积层并进行归一化处理；最后对输出数据加上第一层9×9卷积层的输出后，根据原始高分辨率图像与对应的低分辨率图像的放大倍数的一半设置上采样层的层数，并对上采样块的输出通过一层9×9卷积层从64通道缩小到3通道内。
作为本发明的一种基于超分辨率重建的模糊图像分类方法的进一步改进：
步骤2中所述鉴别模型为：输入的图像经过8层3×3卷积层再经过一层1×1卷积层和二维池化层，最终输出得到鉴别分类结果，前八层的卷积层采用PReLU作为激活函数，二维池化层采用sigmoid作为激活函数，除第一层的3×3卷积层和第九层的1×1卷积层其余卷积层后都进行批规范化BN层处理；
步骤2中所述分类模型为残差网络ResNet50。
作为本发明的一种基于超分辨率重建的模糊图像分类方法的进一步改进：
步骤1中所述下采样的方式为：
Pk＝∑i∈kIi/(w×h) (1)
其中，k为尺寸为w*h的窗口，Pk为生成的像素点，Ii为原始高分辨率图像的像素点；
所述带有标签的低分辨率图像带有标签之一为对应的原始高分辨率图像，带有的标签之二为对应的原始高分辨率图像的类别标签。
作为本发明的一种基于超分辨率重建的模糊图像分类方法的进一步改进：
所述生成模型中的卷积层是对读入的图像数据或上一层输出用卷积核进行卷积操作，3×3卷积核为：
Figure BDA0003134557920000021
其中，
Figure BDA0003134557920000022
为卷积核输出图像位置为(u,v)的像素点，
Figure BDA0003134557920000023
为卷积核输入图像位置为(i+u,j+v)的像素点，
Figure BDA0003134557920000024
为卷积核对应位置的权重，b(l+2)为卷积核对应位置的偏置，i为相对卷积核中心的横向位置，j为相对卷积核中心的纵向位置，l为卷积核所在卷积层序数，u为卷积核中心的横向位置，v为为卷积核中心的纵向位置，i、j、l、u、v均只能取整数，9×9卷积核将i，j的取值范围由[-1,1]改为[-4,4]，fa()为激活函数：
Figure BDA0003134557920000031
其中，x为激活函数的输入，a为激活函数负向的斜率。
作为本发明的一种基于超分辨率重建的模糊图像分类方法的进一步改进：
步骤3中所述训练集和测试集的建立过程为：获取基础数据集并按8：2的比例划分为训练集和测试集，然后将基础数据集中的原图像插值成原始高分辨率图像并进行两次所述下采样获得低分辨率图像。
作为本发明的一种基于超分辨率重建的模糊图像分类方法的进一步改进：
步骤3中建立的所述超分辨率重建模型的损失函数包括：
生成模型的损失函数采用感知损失Lperceptual(xo)：
Lperceptual(xo)＝10-3×Ladver(xg)+Lcont(freal,ffake) (6)
其中，Ladver(xg)为：
Figure BDA0003134557920000032
其中，N为每批次图像测试张数，
Figure BDA0003134557920000033
为生成模型生成的高分辨率假图像被鉴别模型鉴别的结果；
Lcont(freal,ffake)为内容损失，为生成图像和原始高分辨率图像的语义特征差异，将VGG-19模型的全连接层部分舍弃，利用VGG-19模型的卷积层部分对生成模型重建的高分辨率假图像和原始高分辨率图像分别进行特征提取获取包含语义特征的特征图ffake和freal，对对应的特征图计算均方误差：
Figure BDA0003134557920000034
其中H，W为低分辨率图像的宽和高，r为超分辨率倍数，x,y为像素点位置的横纵坐标；
鉴别模型采用二分类交叉熵BCELoss作为损失函数，其表达式为：
Figure BDA0003134557920000035
其中，xi，yi分别为鉴别模型预测的结果和实际结果；
所述分类模型的损失函数采用了负对数似然损失函数NLLLoss：
LNLL(x,y)＝-logx[y] (10)
其中，x为分类结果概率分布，y为类别标签。
作为本发明的一种基于超分辨率重建的模糊图像分类方法的进一步改进：
所述融合模型进行训练的同时训练一个单独的生成模型，在每一批次数据用于训练时，先用原始高分辨率图像和生成模型生成的高分辨率假图像对鉴别模型进行训练；再利用下采样获取的低分辨率图像和对应的原始高分辨率图像训练生成模型，用生成模型训练更新过的参数替换掉融合模型中的超分辨率重建模型的对应参数；最后，利用低分辨率图像和对应分类标签训练整个融合模型，并将融合模型的超分辨率重建部分更新过的参数再替换掉生成模型的全部参数，如此反复训练直至模型在训练集上的损失不再有明显下降；
所述融合模型根据输入的低分辨率图像正向传播计算网络模型的中间变量，从超分辨率重建模型部分的输出层获取高分辨率假图像，从分类模型部分的输出层获取分类结果标签；根据提取出的高分辨率假图像和对应的真实高分辨率图像标签所计算的损失值反向传播计算出超分辨率重建模型的梯度，利用随机梯度下降(SGD)算法进行参数的更新，权值和偏置的更新公式如下：
Figure BDA0003134557920000041
Figure BDA0003134557920000042
其中，
Figure BDA0003134557920000043
是第l层第j个神经元与前一层第k个神经元之间的权重，
Figure BDA0003134557920000044
为第l层第j个神经元的偏置，α为学习率，C(θ)为最终损失值；
根据最后输出的分类识别结果标签和真实标签所计算的损失值反向传播算法计算出整个融合模型的新的梯度，利用SGD算法进行整个融合模型的权重参数的更新，循环训练至训练集上准确率不再提高。
作为本发明的一种基于超分辨率重建的模糊图像分类方法的进一步改进：
所述测试融合模型的过程为：将测试集中的低分辨率图像作为融合模型的输入，测试融合模型的泛化能力，获得所述具有在线生产能力的融合模型。
本发明的有益效果主要体现在：
(1)本发明适应性好，针对不同场景只需更换不同训练集均可实现较好的重建分类效果，适应范围广；
(2)本发明的双回路式训练策略能够充分利用低分辨率图像的两个标签使得模型拥有大量先验经验，提高图像重建和分类效果，解决低分辨率图像特征信息提取困难的问题，使最终的分类效果更好；
(3)本发明通过设计超分辨率重建模型及分类模型，有效的提高分类识别精度，降低误判率；与其他分类方法相比，具备适应性强、准确率高、稳定性强的特点。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明实施例1中的融合模型的结构示意图；
图2为本发明的融合模型中的生成模型的结构示意图；
图3为本发明的生成模型的感知损失函数示意图；
图4为本发明的融合模型中的鉴别模型的结构示意图；
图5为本发明的融合模型中的分类模型示意图；
图6为本发明实施例1中的融合模型的训练策略示意图；
图7为本发明实施例1中的训练策略具体实现示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例1、一种基于超分辨率重建的模糊图像分类方法，如图1-7所示，包括步骤具体如下：
步骤1、在上位机中，将获取的数据集的原始高分辨率图像进行高斯平滑后再进行下采样，通过下采样获得原始高分辨率图像对应的低分辨率图像，下采样的方式为把一个位于原始高分辨率图像上的w*h的窗口变成一个像素，其表达式为：
Pk＝∑i∈kIi/(w×h) (1)
其中，k为尺寸为w*h的窗口，Pk为生成的像素点，Ii为原始高分辨率图像的像素点。
考虑到训练集每一幅低分辨率图像需要有两个标签，所以第一次在制作数据集时需要对每一张原始高分辨率图像指定类别标签；
低分辨率图像由高分辨率图像下采样获得，所以低分辨率图像的标签之一就是对应的原始高分辨率图像，对应高分辨率图像的类别标签就是低分辨率图像的第二个标签。
步骤2、构建融合模型
本发明用于模糊图像分类的融合模型包括超分辨率重建模型和分类模型，且将超分辨率重建模型和分类模型串联设计，分类结果的损失可以通过梯度下降算法直接作用于超分辨率重建模型的权重参数，这可以使得超分辨率重建模型不再作为独立的存在，而是起到对分类模型的输入起到自适应预处理的作用。
步骤2.1、构建超分辨率重建模型
超分辨率重建模型包括生成模型和鉴别模型两部分，生成模型如图2所示，步骤1获得的低分辨率图像作为生成模型的输入，首先经过一层尺寸为9步长为1的卷积层，并采用PReLU作为激活函数，之后再利用16层残差卷积层提取低分辨率图像的特征，使残差块的输出经过一层3×3的卷积层并进行归一化处理；最后对输出数据加上第一层9×9卷积层的输出后按分辨率扩大倍数的一半设置上采样层的层数，并对上采样块的输出通过一层9×9卷积层从64通道缩小到3通道内，从而输出高分辨率假图像。
生成模型中的卷积层是对读入的图像数据或上一层输出用卷积核进行卷积操作，如3×3卷积核的计算表达式为：
Figure BDA0003134557920000061
其中，
Figure BDA0003134557920000062
为卷积核输出图像位置为(u,v)的像素点，
Figure BDA0003134557920000063
为卷积核输入图像位置为(i+u,j+v)的像素点，
Figure BDA0003134557920000064
为卷积核对应位置的权重，b(l+2)为卷积核对应位置的偏置，i为相对卷积核中心的横向位置，j为相对卷积核中心的纵向位置，l为卷积核所在卷积层序数，u为卷积核中心的横向位置，v为为卷积核中心的纵向位置，i、j、l、u、v均只能取整数，本实例中9×9卷积核计算表达式类似，只需将i，j的取值范围由[-1,1]改为[-4,4]即可。
fa()为激活函数，PReLU函数的表达式为：
Figure BDA0003134557920000065
其中，x为激活函数的输入，a为激活函数负向的斜率；
鉴别模型的网络设计的优劣会直接影响生成模型生成图像的质量，如附图4，使输入的图像经过8层3×3卷积层后再经过一层1×1卷积层和二维池化层，最终输出得到鉴别分类结果，前八层的卷积层采用PReLU作为激活函数，最后一层(二维池化层)采用sigmoid作为激活函数，除第一层的3×3卷积层和第九层的1×1卷积层其余卷积层(第二层3×3卷积层--第八层的3×3卷积层)后都进行批规范化BN层处理；激活函数sigmoid表达式为：
Figure BDA0003134557920000071
其中x为激活函数的输入。
步骤2.2、构建分类模型
采用残差网络ResNet50作为分类模型，如附图5，首先对在一层7×7的卷积层后接有4组残差网络，分别包含3、4、6、3个残差块(ResidualBlock)，最后再经过一层全局平均池化层进行分类任务获得分类结果。
每个残差块(ResidualBlock)由第一层的1×1卷积层、第二层的3×3卷积层和最后一层的1×1卷积层三层网络结构组成，其表达式为：
H(x)＝F(x)+x (5)
其中，x为残差块(ResidualBlock)的输入，F(x)为输入数据经残差块(ResidualBlock)的三层卷积网络计算后的结果，H(x)为残差块(ResidualBlock)的输出。
步骤3、训练融合模型
步骤3.1、建立训练集、测试集
本实例以ORL Faces数据集作为基础数据集，共有40个不同对象的人脸，每个对象有十张不同角度不同光线条件的照片，共有400张图像，将其按8：2的比例划分为训练集和测试集。原图像尺寸为92×112，将其插值到256×256作为原始高分辨率图像(HR)，对其进行两次下采样获得64×64的低分辨率图像(LR)，除此之外每一张原始高分辨率图像(HR)及其下采样获取的低分辨率图像(LR)均有对应的人脸分类标签。本发明适应性好，针对不同场景只需更换不同训练集均可实现较好的重建分类效果，对于其他数据集应用于本发明时，需确保数据集经下采样后每一份数据可以同时有高分辨率图像、低分辨率图像、分类标签存在，再根据高分辨率图像与对应低分辨率图像的放大倍数设置上采样层的层数即可。
步骤3.2、建立超分辨率重建模型的损失函数
超分辨率重建模型包含的生成模型和鉴别模型两部分，采用不同的损失函数用于计算模型结果的误差损失。生成模型的损失函数采用感知损失的定义，如图3所示，感知损失包括对抗损失和内容损失两部分，对抗损失即为由原始高分辨率图像xo下采样获取的低分辨率图像(LR)经过生成模型生成出来的高分辨率假图像xg(SR)被鉴别模型正确判断的损失，而内容损失定义为生成图像和原始高分辨率图像的语义特征差异，其计算方式是将VGG-19模型的全连接层部分舍弃，利用VGG-19模型的卷积层部分对生成模型重建的图像(高分辨率假图像(SR))和原始高分辨率图像(HR)分别进行特征提取获取包含语义特征的特征图ffake和freal，对对应的特征图计算均方误差，该误差即为内容损失。
感知损失的表达式为：
Lperceptual(xo)＝10-3×Ladver(xg)+Lcont(freal,ffake) (6)
其中，Lperceptual(xo)为感知损失，Lcont(freal,ffake)为内容损失，Ladver(xg)为对抗损失，
内容损失的表达式为：
Figure BDA0003134557920000081
其中H，W为低分辨率图像的宽和高，r为超分辨率倍数，x,y为像素点位置的横纵坐标。
对抗损失的表达式为：
Figure BDA0003134557920000082
其中，N为每批次图像测试张数，
Figure BDA0003134557920000083
为生成模型生成的高分辨率假图像被鉴别模型鉴别的结果；
鉴别模型采用二分类交叉熵BCELoss作为损失函数，其表达式为：
Figure BDA0003134557920000084
其中，xi，yi分别为鉴别模型预测的结果和实际结果。
步骤3.3、分类模型的损失函数采用了负对数似然损失函数NLLLoss，其表达式为：
LNLL(x,y)＝-logx[y] (10)
其中，x为分类结果概率分布，y为类别标签。
步骤3.4、训练融合模型
训练过程和策略如图6-7所示，具体为：在对融合模型进行训练的同时训练一个单独的生成模型，在每一批次数据用于训练时，先用真实高分辨率图像(即原始高分辨率图像(HR))和生成高分辨率图像(即生成模型生成的高分辨率假图像(SR))对鉴别模型进行训练；再利用下采样获取的低分辨率图像(LR)和对应的原始高分辨率图像(HR)训练生成模型，用生成模型训练更新过的参数替换掉融合模型中的超分辨率重建模型的对应参数；最后，利用低分辨率图像(LR)和对应分类标签训练整个融合模型，并将融合模型的超分辨率重建部分更新过的参数再替换掉生成模型的全部参数，如此反复训练直至模型在训练集上的损失不再有明显下降。
训练过程中利用双回路式训练策略，能够充分利用低分辨率图像的两个标签使得模型拥有大量先验经验，提高图像重建和分类效果。融合模型根据输入的低分辨率图像正向传播计算网络模型的中间变量，从超分辨率重建模型部分的输出层获取高分辨率假图像(SR)，从分类模型部分的输出层获取分类结果标签；根据提取出的高分辨率假图像(SR)和对应的原始高分辨率图像(HR)图像标签所计算的损失值反向传播计算出超分辨率重建模型的梯度，利用随机梯度下降(SGD)算法进行参数的更新，权值和偏置的更新公式如下：
Figure BDA0003134557920000091
Figure BDA0003134557920000092
其中，
Figure BDA0003134557920000093
是第l层第j个神经元与前一层第k个神经元之间的权重，
Figure BDA0003134557920000094
为第l层第j个神经元的偏置，α为学习率，C(θ)为最终损失值。
根据最后输出的分类识别结果标签和真实标签所计算的损失值反向传播算法计算出整个融合模型的新的梯度，利用SGD算法进行整个融合模型的权重参数的更新，循环训练训练集上准确率不再提高。
步骤3.5、测试融合模型
将测试集中的低分辨率图像作为融合模型的输入，测试融合模型的泛化能力，若能达到和训练集相差不大的识别准确率，则代表获得了可以实际生产使用的融合模型。本发明实例中在ORL Faces数据集划分的测试集上可以达到91.25％的准确率，在整个ORLFaces数据集数据集上可以达到88.75％的准确率。
实验1：
将本发明所设计的融合模型与利用ResNet50训练单独分离的超分辨率重建模型生成的高分辨率图像假图像这一方案进行对比实验，数据集采用改造的ORL Faces数据集，训练集共320张图像，测试集共80张图像，在训练阶段提供低分辨率图像及其对应的高分辨率图像标签和分类标签，测试阶段仅提供低分辨率图像。对比实验基于Ubuntu 18.04系统、Python 3.8编程语言和PyTorch深度学习框架，设置迭代次数各50次，批次数为16，训练所采用GPU为NVIDIA GeForce RTX 3090(M)。
经测试，本发明提出的融合模型在训练集上可以达到88.125％的准确率，测试集上达到91.25％的准确率，在整个ORL Faces数据集上准确率为88.75％；而对比方案利用ResNet50训练单独分离的超分辨率重建模型生成的高分辨率图像假图像在训练集上的准确率为78.75％，测试集上准确率为83.75％，在整个ORL Faces数据集上准确率仅为79.75％，通过对比可以看出本发明所提出的模型对低分辨率图像的识别效果有显著提升，对图像信息的获取效果更好。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (9)

1.一种基于超分辨率重建的模糊图像分类方法，其特征在于，包括步骤如下：
步骤1、在上位机中，对原始高分辨率图像指定类别标签，然后将原始高分辨率图像进行高斯平滑后再进行下采样，获得带有标签的低分辨率图像作为步骤2的输入；
步骤2、构建融合模型，包括串联的超分辨率重建模型和分类模型，超分辨率重建模型包括串联的生成模型和鉴别模型；
步骤3、分别建立超分辨率重建模型和分类模型的损失函数，利用训练集来训练步骤2建立的融合模型，利用测试集测试融合模型获得具有在线生产能力的融合模型。
2.根据权利要求1所述的一种基于超分辨率重建的模糊图像分类方法，其特征在于：
步骤2中所述生成模型包括：首先使输入的图像数据经过一层尺寸为9，步长为1的卷积层，并采用PReLU作为激活函数，然后再利用16层残差卷积层提取低分辨率图像的特征，使残差块的输出经过一层3×3的卷积层并进行归一化处理；最后对输出数据加上第一层9×9卷积层的输出后，根据原始高分辨率图像与对应的低分辨率图像的放大倍数的一半设置上采样层的层数，并对上采样块的输出通过一层9×9卷积层从64通道缩小到3通道内。
3.根据权利要求2所述的一种基于超分辨率重建的模糊图像分类方法，其特征在于：
步骤2中所述鉴别模型为：输入的图像经过8层3×3卷积层再经过一层1×1卷积层和二维池化层，最终输出得到鉴别分类结果，前八层的卷积层采用PReLU作为激活函数，二维池化层采用sigmoid作为激活函数，除第一层的3×3卷积层和第九层的1×1卷积层其余卷积层后都进行批规范化BN层处理；
步骤2中所述分类模型为残差网络ResNet50。
4.根据权利要求3所述的一种基于超分辨率重建的模糊图像分类方法，其特征在于：
步骤1中所述下采样的方式为：
Pk＝∑i∈kIi/(w×h) (1)
其中，k为尺寸为w*h的窗口，Pk为生成的像素点，Ii为原始高分辨率图像的像素点；
所述带有标签的低分辨率图像带有标签之一为对应的原始高分辨率图像，带有的标签之二为对应的原始高分辨率图像的类别标签。
5.根据权利要求4所述的一种基于超分辨率重建的模糊图像分类方法，其特征在于：
所述生成模型中的卷积层是对读入的图像数据或上一层输出用卷积核进行卷积操作，3×3卷积核为：
Figure FDA0003134557910000011
其中，
Figure FDA0003134557910000021
为卷积核输出图像位置为(u,v)的像素点，
Figure FDA0003134557910000022
为卷积核输入图像位置为(i+u,j+v)的像素点，
Figure FDA0003134557910000023
为卷积核对应位置的权重，b(l+2)为卷积核对应位置的偏置，i为相对卷积核中心的横向位置，j为相对卷积核中心的纵向位置，l为卷积核所在卷积层序数，u为卷积核中心的横向位置，v为为卷积核中心的纵向位置，i、j、l、u、v均只能取整数，9×9卷积核将i，j的取值范围由[-1,1]改为[-4,4]，fa()为激活函数：
Figure FDA0003134557910000024
其中，x为激活函数的输入，a为激活函数负向的斜率。
6.根据权利要求5所述的一种基于超分辨率重建的模糊图像分类方法，其特征在于：
步骤3中所述训练集和测试集的建立过程为：获取基础数据集并按8：2的比例划分为训练集和测试集，然后将基础数据集中的原图像插值成原始高分辨率图像并进行两次所述下采样获得低分辨率图像。
7.根据权利要求6所述的一种基于超分辨率重建的模糊图像分类方法，其特征在于：
步骤3中建立的所述超分辨率重建模型的损失函数包括：
生成模型的损失函数采用感知损失Lperceptual(xo)：
Lperceptual(xo)＝10-3×Ladver(xg)+Lcont(freal,ffake) (6)
其中，Ladver(xg)为：
Figure FDA0003134557910000025
其中，N为每批次图像测试张数，
Figure FDA0003134557910000026
为生成模型生成的高分辨率假图像被鉴别模型鉴别的结果；
Lcont(freal,ffake)为内容损失，为生成图像和原始高分辨率图像的语义特征差异，将VGG-19模型的全连接层部分舍弃，利用VGG-19模型的卷积层部分对生成模型重建的高分辨率假图像和原始高分辨率图像分别进行特征提取获取包含语义特征的特征图ffake和freal，对对应的特征图计算均方误差：
Figure FDA0003134557910000027
其中H，W为低分辨率图像的宽和高，r为超分辨率倍数，x,y为像素点位置的横纵坐标；
鉴别模型采用二分类交叉熵BCELoss作为损失函数，其表达式为：
Figure FDA0003134557910000031
其中，xi，yi分别为鉴别模型预测的结果和实际结果；
所述分类模型的损失函数采用了负对数似然损失函数NLLLoss：
LNLL(x,y)＝-logx[y] (10)
其中，x为分类结果概率分布，y为类别标签。
8.根据权利要求7所述的一种基于超分辨率重建的模糊图像分类方法，其特征在于，所述训练融合模型的过程为：
所述融合模型进行训练的同时训练一个单独的生成模型，在每一批次数据用于训练时，先用原始高分辨率图像和生成模型生成的高分辨率假图像对鉴别模型进行训练；再利用下采样获取的低分辨率图像和对应的原始高分辨率图像训练生成模型，用生成模型训练更新过的参数替换掉融合模型中的超分辨率重建模型的对应参数；最后，利用低分辨率图像和对应分类标签训练整个融合模型，并将融合模型的超分辨率重建部分更新过的参数再替换掉生成模型的全部参数，如此反复训练直至模型在训练集上的损失不再有明显下降；
所述融合模型根据输入的低分辨率图像正向传播计算网络模型的中间变量，从超分辨率重建模型部分的输出层获取高分辨率假图像，从分类模型部分的输出层获取分类结果标签；根据提取出的高分辨率假图像和对应的真实高分辨率图像标签所计算的损失值反向传播计算出超分辨率重建模型的梯度，利用随机梯度下降(SGD)算法进行参数的更新，权值和偏置的更新公式如下：
Figure FDA0003134557910000032
Figure FDA0003134557910000033
其中，
Figure FDA0003134557910000034
是第l层第j个神经元与前一层第k个神经元之间的权重，
Figure FDA0003134557910000035
为第l层第j个神经元的偏置，α为学习率，C(θ)为最终损失值；
根据最后输出的分类识别结果标签和真实标签所计算的损失值反向传播算法计算出整个融合模型的新的梯度，利用SGD算法进行整个融合模型的权重参数的更新，循环训练至训练集上准确率不再提高。
9.根据权利要求8所述的一种基于超分辨率重建的模糊图像分类方法，其特征在于：
所述测试融合模型的过程为：将测试集中的低分辨率图像作为融合模型的输入，测试融合模型的泛化能力，获得所述具有在线生产能力的融合模型。
CN202110713780.4A 2021-06-26 2021-06-26 一种基于超分辨率重建的模糊图像分类方法 Active CN113344110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110713780.4A CN113344110B (zh) 2021-06-26 2021-06-26 一种基于超分辨率重建的模糊图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110713780.4A CN113344110B (zh) 2021-06-26 2021-06-26 一种基于超分辨率重建的模糊图像分类方法

Publications (2)

Publication Number Publication Date
CN113344110A true CN113344110A (zh) 2021-09-03
CN113344110B CN113344110B (zh) 2024-04-05

Family

ID=77478920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110713780.4A Active CN113344110B (zh) 2021-06-26 2021-06-26 一种基于超分辨率重建的模糊图像分类方法

Country Status (1)

Country Link
CN (1) CN113344110B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359053A (zh) * 2022-01-07 2022-04-15 中国电信股份有限公司 图像处理方法、装置、设备及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN109993072A (zh) * 2019-03-14 2019-07-09 中山大学 基于超分辨图像生成的低分辨率行人重识别系统和方法
CN110084119A (zh) * 2019-03-26 2019-08-02 安徽艾睿思智能科技有限公司 基于深度学习的低分辨率人脸图像识别方法
CN110321939A (zh) * 2019-06-21 2019-10-11 中国电子科技集团公司第二十八研究所 一种基于超分辨率重建的图像分类方法
CN110490802A (zh) * 2019-08-06 2019-11-22 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN110706157A (zh) * 2019-09-18 2020-01-17 中国科学技术大学 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN110992262A (zh) * 2019-11-26 2020-04-10 南阳理工学院 一种基于生成对抗网络的遥感图像超分辨重建方法
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111369442A (zh) * 2020-03-10 2020-07-03 西安电子科技大学 基于模糊核分类与注意力机制的遥感图像超分辨重建方法
CN111461134A (zh) * 2020-05-18 2020-07-28 南京大学 一种基于生成对抗网络的低分辨率车牌识别方法
CN111583109A (zh) * 2020-04-23 2020-08-25 华南理工大学 基于生成对抗网络的图像超分辨率方法
CN112001847A (zh) * 2020-08-28 2020-11-27 徐州工程学院 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
CN112215119A (zh) * 2020-10-08 2021-01-12 华中科技大学 一种基于超分辨率重建的小目标识别方法、装置及介质
CN112733716A (zh) * 2021-01-11 2021-04-30 杭州电子科技大学 基于srocrn网络的低分辨率文本图像识别方法
CN112818764A (zh) * 2021-01-15 2021-05-18 西安交通大学 一种基于特征重建模型的低分辨率图像人脸表情识别方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN109993072A (zh) * 2019-03-14 2019-07-09 中山大学 基于超分辨图像生成的低分辨率行人重识别系统和方法
CN110084119A (zh) * 2019-03-26 2019-08-02 安徽艾睿思智能科技有限公司 基于深度学习的低分辨率人脸图像识别方法
CN110321939A (zh) * 2019-06-21 2019-10-11 中国电子科技集团公司第二十八研究所 一种基于超分辨率重建的图像分类方法
CN110490802A (zh) * 2019-08-06 2019-11-22 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN110706157A (zh) * 2019-09-18 2020-01-17 中国科学技术大学 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN110992262A (zh) * 2019-11-26 2020-04-10 南阳理工学院 一种基于生成对抗网络的遥感图像超分辨重建方法
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111369442A (zh) * 2020-03-10 2020-07-03 西安电子科技大学 基于模糊核分类与注意力机制的遥感图像超分辨重建方法
CN111583109A (zh) * 2020-04-23 2020-08-25 华南理工大学 基于生成对抗网络的图像超分辨率方法
CN111461134A (zh) * 2020-05-18 2020-07-28 南京大学 一种基于生成对抗网络的低分辨率车牌识别方法
CN112001847A (zh) * 2020-08-28 2020-11-27 徐州工程学院 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
CN112215119A (zh) * 2020-10-08 2021-01-12 华中科技大学 一种基于超分辨率重建的小目标识别方法、装置及介质
CN112733716A (zh) * 2021-01-11 2021-04-30 杭州电子科技大学 基于srocrn网络的低分辨率文本图像识别方法
CN112818764A (zh) * 2021-01-15 2021-05-18 西安交通大学 一种基于特征重建模型的低分辨率图像人脸表情识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIMING WU: "BIOMEDICAL IMAGE SEGMENTATION AND OBJECT DETECTION USING DEEP CONVOLUTIONAL NEURAL NETWORKS", THE PURDUE UNIVERSITY GRADUATE SCHOOL STATEMENT OF COMMITTEE APPROVAL《》, pages 12 - 20 *
贾洁: "基于生成对抗网络的人脸超分辨率重建及识别", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 138 - 767 *
陈紫媚等: "基于超分辨率重建的隐藏物品检测", 《电脑知识与技术》, pages 182 - 184 *
骆立志等: "图像超分辨率在模糊车牌识别系统中的应用", 《软件导刊》, pages 177 - 180 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359053A (zh) * 2022-01-07 2022-04-15 中国电信股份有限公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113344110B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN106683048B (zh) 一种图像超分辨率方法及设备
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN111339903A (zh) 一种多人人体姿态估计方法
CN112633382B (zh) 一种基于互近邻的少样本图像分类方法及系统
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
Tian et al. Small object detection via dual inspection mechanism for UAV visual images
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN110826462A (zh) 一种非局部双流卷积神经网络模型的人体行为识别方法
CN115082293A (zh) 一种基于Swin Transformer和CNN双分支耦合的图像配准方法
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN116758340A (zh) 基于超分辨率特征金字塔和注意力机制的小目标检测方法
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN114882537A (zh) 一种基于神经辐射场的手指新视角图像生成方法
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN114170526A (zh) 基于轻量化网络的遥感影像多尺度目标检测识别方法
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN115761552B (zh) 面向无人机机载平台的目标检测方法、设备及介质
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN112232102A (zh) 一种基于深度神经网络和多任务学习的建筑物目标识别方法和系统
Li et al. A new algorithm of vehicle license plate location based on convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240617

Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 310018, No. 2, No. 5, Xiasha Higher Education Park, Hangzhou, Zhejiang

Patentee before: ZHEJIANG SCI-TECH University

Country or region before: China