CN113240586A - 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法 - Google Patents

一种可自适应调节放大倍数的螺栓图像超分辨率处理方法 Download PDF

Info

Publication number
CN113240586A
CN113240586A CN202110671531.3A CN202110671531A CN113240586A CN 113240586 A CN113240586 A CN 113240586A CN 202110671531 A CN202110671531 A CN 202110671531A CN 113240586 A CN113240586 A CN 113240586A
Authority
CN
China
Prior art keywords
image
resolution
features
resolution image
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110671531.3A
Other languages
English (en)
Inventor
赵振兵
耿劭锋
戚银城
聂礼强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
North China Electric Power University
NARI Group Corp
Zhejiang Dahua Technology Co Ltd
Zhiyang Innovation Technology Co Ltd
Original Assignee
Shandong University
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, North China Electric Power University filed Critical Shandong University
Priority to CN202110671531.3A priority Critical patent/CN113240586A/zh
Publication of CN113240586A publication Critical patent/CN113240586A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种可自适应调节放大倍数的螺栓图像超分辨率处理方法，包括步骤：构建螺栓数据集，得到不同缩放倍数的低分辨率图像；提取低分辨率图像的浅层特征；利用密集残差模块提取层次特征；将多个密集残差模块输出的层次特征进行融合得到局部融合特征，再将局部融合特征与提取的浅层特征拼接在一起进行全局特征融合；设定对应图像不同大小输出不同放大倍数的阈值，根据图片尺寸确定放大倍数，再根据不同的放大倍数，预测生成高分辨率图像的滤波器权重；基于融合得到的全局特征以及预测得到的滤波器权重，生成高分辨率图像。本发明利用图像超分辨率处理技术对低分辨率图像进行处理，根据不同图像大小自适应调整放大倍数，生成尺寸大小近似的高分辨率图像。

Description

一种可自适应调节放大倍数的螺栓图像超分辨率处理方法
技术领域
本发明涉及螺栓缺陷分析技术领域，特别是涉及一种可自适应调节放大倍数的螺栓图像超分辨率处理方法。
背景技术
螺栓作为输电线路必不可少的紧固件，主要用于输电线路中电力部件的固定与连接，而输电线路长期暴露在野外恶劣环境下，螺栓极易发生锈蚀、破损等问题，如果问题严重可能造成线路停运或跳闸，直接影响到电力系统的安全性与稳定性，所以对其进行智能检修非常重要。
近年来，深度学习不断发展，利用无人机智能巡检对螺栓缺陷进行诊断已成为当下的主要手段，但深度学习需要充足且优良的训练样本才能保证最后检测识别结果的准确率。但受环境等因素影响无人机航拍采集到的样本中总存在一些质量不高的图像，而图像模糊、分辨率低会造成模型训练过程中特征学习不佳。而且由于电力系统的特殊性，若要重新采集高质量的图像需要大量的成本及时间。
图像超分辨率处理技术可以利用低质量、低分辨率图像，通过对图像特征的学习生成高质量、高分辨率图像。这种技术可以分为三类，第一类是基于插值的方法，这种方法较为简单但这种线性的模型很难对图像高频细节进行恢复；第二类基于重建的超分技术根据低分辨率图像的采样信号对高分辨率信号进行预估，一般采用基于频域或空域的方法实现；最后是基于学习的超分方法，这种方法以高分辨率图像为基础构造学习库，生成学习模型，在对低分辨率图像进行超分时根据模型学习到的图像特点还原高频细节，从而获得清晰度较高的图像。在计算机视觉领域，图像超分辨率处理技术可以提高图像的识别能力和识别精度，实现从图像层次识别到细粒度层次识别的转化。
保障螺栓图像质量是实现其检测和识别等操作的重要前提，优化数据集，利用图像超分辨率处理技术对数据集中低分辨率图像进行处理，提升图像分辨率、清晰度，提高图像的可分析性十分必要。
发明内容
本发明的目的是提供一种可自适应调节放大倍数的螺栓图像超分辨率处理方法，解决螺栓图像数据集分辨率低，从而导致检测和识别的效果不佳、图像可分析性差等问题，利用图像超分辨率处理技术对数据集中低分辨率图像进行处理，根据图像尺寸大小不一的情况，在超分中根据不同图像大小自适应调整放大倍数，生成分辨率高、尺寸大小近似的螺栓图像，提升图像分辨率、清晰度以及可分析性。
为实现上述目的，本发明提供了如下方案：
一种可自适应调节放大倍数的螺栓图像超分辨率处理方法，包括以下步骤：
S1，构建螺栓数据集，得到不同缩放倍数的低分辨率图像；
S2，提取低分辨率图像的浅层特征；
S3，利用密集残差模块提取层次特征；
S4，将多个密集残差模块输出的层次特征进行融合得到局部融合特征，再将局部融合特征与提取的浅层特征拼接在一起进行全局特征融合；
S5，设定对应图像不同大小输出不同放大倍数的阈值，根据图片尺寸确定放大倍数，再根据不同的放大倍数，预测生成高分辨率图像的滤波器权重；
S6，基于融合得到的全局特征以及预测得到的滤波器权重，生成高分辨率图像。
进一步的，所述步骤S1中，构建螺栓数据集，得到不同缩放倍数的低分辨率图像，具体包括：
将航拍图像中螺栓部分裁剪下来，再选取其中图像清晰、分辨率高的图像进行下采样处理得到不同缩放倍数的低分辨率的图像。
进一步的，所述步骤S2中，提取低分辨率图像的浅层特征，具体包括：
使用两个特征提取层来提取浅层特征，第一层从低分辨率输入中提取的浅层全局特征f0：
f0＝H(ILR) (1)
式中，ILR表示输入的低分辨率图像，通过H()卷积运算对输入图片特征进行提取；
第二层再经过一个浅层特征提取得到：
F0＝H(f0) (2)
式中，F0为浅层特征提取的最终结果，作为密集残差模块的输入。
进一步的，所述步骤S3中，利用密集残差模块提取层次特征，具体包括：
密集残差模块提取层次特征的公式如下：
Fd,c＝δ(W[Fd-1,Fd,1,…,Fd,c-1]) (3)
式中，δ表示ReLU激活函数，W表示权重，Fd,c表示该密集残差块第c个卷积加ReLU层的输出，Fd-1为前一密集残差模块的输出特征；
上一密集残差模块输出与当前密集残差模块每层输出的特征进行融合的公式如下：
Fd＝H([Fd-1,Fd,1,…,Fd,c])+Fd-1 (4)
式中，通过一个1×1的卷积层控制输出信息再进行融合，Fd为该密集残差模块最终的输出。
进一步的，所述步骤S4中，将多个密集残差模块输出的层次特征进行融合得到局部融合特征，再将局部融合特征与提取的浅层特征拼接在一起进行全局特征融合，具体包括：
在使用多个密集残差模块提取层次特征后，将多个密集残差模块的输出拼接在一起进行全局特征融合，公式如下：
FD＝HF([F1,…,Fd]) (5)
式中，FD为局部融合特征，HF()表示1×1与3×3卷积的复合函数，1×1卷积层用于融合不同层次特征，3×3卷积层进一步提取特征用于全局残差学习：
FLR＝f0+FD (6)
式中，f0为提取的浅层特征，最终生成的低分辨率图像特征用FLR表示。
进一步的，所述步骤S5中，设定对应图像不同大小输出不同放大倍数的阈值，根据图片尺寸确定放大倍数，再根据不同的放大倍数，预测生成高分辨率图像的滤波器权重，具体包括：
设定输入图像在64×64以下设置放大倍数r为1.5，输入图像在32×32以下设置放大倍数r为3，输入图像在16×16以下设置放大倍数r为6；
根据不同的放大倍数，预测生成高分辨率图像的滤波器权重，预测公式如下：
Figure BDA0003119487880000041
式中，W(i,j)为生成的高分辨率图像中像素(i,j)的滤波器权重，
Figure BDA0003119487880000042
代表权重预测，θ是权重预测的参数，vij是与i和j的相关向量，其公式为：
Figure BDA0003119487880000043
为区分不同放大倍数对应的权重，将尺度因子
Figure BDA0003119487880000044
加入其中。
进一步的，所述步骤S6中，基于融合得到的全局特征以及预测得到的滤波器权重，生成高分辨率图像，具体包括：
生成的高分辨率图像上的每个像素(i,j)都是由低分辨率图像上像素(i′,j′)的特征和相应滤波器权重决定的，上采样模块看作一个对应低分辨率图像到高分辨率图像的映射函数；高分辨率图像的生成公式如下：
ISR(i,j)＝Φ(FLR(i′,j′),W(i,j)) (9)
其中，ISR(i,j)为生成的高分辨率图像的像素，FLR(i′,j′)是低分辨图像上像素(i′,j′)经过步骤S2-S4得到的全局特征，Φ()为计算像素值的特征映射函数；
在生成高分辨率图像时，对于高分辨率图像上每个像素点都需要找到对应低分辨率图像上的像素(i′,j′)，通过向下取整得到，公式如下：
Figure BDA0003119487880000045
对于生成的高分辨率图像上的每个像素，都可以在低分辨率图像上找到对应的唯一像素点。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的可自适应调节放大倍数的螺栓图像超分辨率处理方法，优化数据集，利用图像超分辨率处理技术对数据集中低分辨率图像进行处理，采用针对不同大小尺度螺栓图像可自适应放大倍数的图像超分辨率网络，该网络可以通过残差密集模块连接提取图像整体与局部的特征，最后通过全局残差学习将低分辨图像的浅层特征与深层特征相结合，充分利用原始低分辨率图像的层次特征，在生成高分辨率图像时达到分辨率更高、还原度更逼真的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例可自适应调节放大倍数的螺栓图像超分辨率处理方法的流程图；
图2是本发明实施例密集残差模块的网络结构示意图；
图3为本发明实施例密集残差模块的结构示意图；
图4为本发明实施例上采样模块的结构示意图；
图5为本发明实施例1.5倍上采样映射简化图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种可自适应调节放大倍数的螺栓图像超分辨率处理方法，利用图像超分辨率处理技术对数据集中低分辨率图像进行处理，根据图像尺寸大小不一的情况，在超分中根据不同图像大小自适应调整放大倍数，生成分辨率高、尺寸大小近似的螺栓图像，提升图像分辨率、清晰度以及可分析性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的可自适应调节放大倍数的螺栓图像超分辨率处理方法，以下步骤：
S1，构建螺栓数据集，得到不同缩放倍数的低分辨率图像；
S2，提取低分辨率图像的浅层特征；
S3，利用密集残差模块提取层次特征；
S4，将多个密集残差模块输出的层次特征进行融合得到局部融合特征，再将局部融合特征与提取的浅层特征拼接在一起进行全局特征融合；
S5，设定对应图像不同大小输出不同放大倍数的阈值，根据图片尺寸确定放大倍数，再根据不同的放大倍数，预测生成高分辨率图像的滤波器权重；
S6，基于融合得到的全局特征以及预测得到的滤波器权重，生成高分辨率图像。
其中，模型在进行训练时需要螺栓的高分辨率图像与低分辨率图像做映射，由于无人机航拍图像采集到的大多为输电线路全局图像，没有直接针对螺栓进行采集的样本。因此，所述步骤S1中，构建螺栓数据集，得到不同缩放倍数的低分辨率图像，具体包括：
将航拍图像中螺栓部分裁剪下来，再选取其中图像清晰、分辨率高的图像进行下采样处理得到不同缩放倍数的低分辨率的图像。
本发明在对图像进行超分时会自动调节放大权重但也需要在训练时根据不同放大倍数进行训练，所以要下采样到不同倍数为训练集提供训练样本，最后要将高分辨率图像与不同下采样倍数的低分辨率图像命名一致，并且分开放在不同的文件夹中。
在实际超分变率处理过程中首先要提取图像特征，其中，所述步骤S2中，提取低分辨率图像的浅层特征，具体包括：
使用两个特征提取层来提取浅层特征，第一层从低分辨率输入中提取的浅层全局特征f0：
f0＝H(ILR) (1)
式中，ILR表示输入的低分辨率图像，通过H()卷积运算对输入图片特征进行提取；f0用于进一步的特征提取和后续的全局特征融合中与密集残差块提取出的局部特征进行融合；
第二层再经过一个浅层特征提取得到：
F0＝H(f0) (2)
式中，F0为浅层特征提取的最终结果，作为密集残差模块的输入。
其中，如图2和图3所示，每个密集残差模块中都有多个卷积加ReLU层，将上一个密集残差模块的输出与各层的输出直接密集连接到该模块的后续各层中，既保留了前馈性质又提取出了局部密集特征，为进一步提升网络的表达能力，本方法先将这些得到的输出特征进行融合，再作为输入输送到下一个密集残差模块中。
所述步骤S3中，利用密集残差模块提取层次特征，具体包括：
密集残差模块提取层次特征的公式如下：
Fd,c＝δ(W[Fd-1,Fd,1,…,Fd,c-1]) (3)
式中，δ表示ReLU激活函数，W表示权重，Fd,c表示该密集残差块第c个卷积加ReLU层的输出，Fd-1为前一密集残差模块的输出特征；
上一密集残差模块输出与当前密集残差模块每层输出的特征进行融合的公式如下：
Fd＝H([Fd-1,Fd,1,…,Fd,c])+Fd-1 (4)
式中，通过一个1×1的卷积层控制输出信息再进行融合，Fd为该密集残差模块最终的输出；能够节省模型空间，更好的利用局部特征。
其中，所述步骤S4中，将多个密集残差模块输出的层次特征进行融合得到局部融合特征，再将局部融合特征与提取的浅层特征拼接在一起进行全局特征融合，具体包括：
在使用多个密集残差模块提取层次特征后，将多个密集残差模块的输出拼接在一起进行全局特征融合，公式如下：
FD＝HF([F1,…,Fd]) (5)
式中，FD为局部融合特征，HF()表示1×1与3×3卷积的复合函数，1×1卷积层用于融合不同层次特征，3×3卷积层进一步提取特征用于全局残差学习：
FLR＝f0+FD (6)
式中，f0为提取的浅层特征，最终生成的低分辨率图像特征用FLR表示。
所述步骤S5中，设定对应图像不同大小输出不同放大倍数的阈值，根据图片尺寸确定放大倍数，再根据不同的放大倍数，预测生成高分辨率图像的滤波器权重，具体包括：
要实现不同放大倍数的图像超分辨率处理，首先要有不同的放大权重，根据输入低分辨率图像的大小尺度，本方法设定一个对应图像不同大小输出不同放大倍数的阈值，设定输入图像在64×64以下设置放大倍数r为1.5，输入图像在32×32以下设置放大倍数r为3，输入图像在16×16以下设置放大倍数r为6；
根据不同的放大倍数，预测生成高分辨率图像的滤波器权重，预测公式如下：
Figure BDA0003119487880000081
式中，W(i,j)为生成的高分辨率图像中像素(i,j)的滤波器权重，
Figure BDA0003119487880000082
代表权重预测，θ是权重预测的参数，vij是与i和j的相关向量，其公式为：
Figure BDA0003119487880000083
为区分不同放大倍数对应的权重，将尺度因子
Figure BDA0003119487880000084
加入其中。
所述步骤S6中，基于融合得到的全局特征以及预测得到的滤波器权重，生成高分辨率图像，具体包括：
生成的高分辨率图像上的每个像素(i,j)都是由低分辨率图像上像素(i′,j′)的特征和相应滤波器权重决定的，上采样模块看作一个对应低分辨率图像到高分辨率图像的映射函数，如图4所示；高分辨率图像的生成公式如下：
ISR(i,j)＝Φ(FLR(i′,j′),W(i,j)) (9)
其中，ISR(i,j)为生成的高分辨率图像的像素，FLR(i′,j′)是低分辨图像上像素(i′,j′)经过步骤S2-S4得到的全局特征，Φ()为计算像素值的特征映射函数；
在生成高分辨率图像时，对于高分辨率图像上每个像素点都需要找到对应低分辨率图像上的像素(i′,j′)，通过向下取整得到，公式如下：
Figure BDA0003119487880000091
这里也可以看作是对于不同的放大倍数，每个像素对应映射的像素点数的变化，对于放大2倍来说，低分辨率图像中每个像素决定两个点，放大1.5倍时，则一些像素决定两个点一些像素决定一个点，如图5所示。对于生成的高分辨率图像上的每个像素，都可以在低分辨率图像上找到对应的唯一像素点。
本发明提供的可自适应调节放大倍数的螺栓图像超分辨率处理方法，通过裁剪航拍图像中的螺栓部分得到大量螺栓图像作为数据集，选取其中清晰度高的进行下采样生成低分辨率图像，在下采样过程中根据不同的下采样倍数将高分辨图像与低分辨率图像放到不同文件夹中作为训练集对模型进行训练。在实际超分辨率处理过程中，将低分辨图像输入到密集残差网络中进行特征提取，再根据输入图像的尺度大小自动调节放大权重，上采样生成高分辨率图像。
本方法能够实现对螺栓数据集的优化，提高螺栓图像的分辨率，提升图像的可分析性。通过密集残差模块构建的网络提取图像中丰富的局部特征信息，再将局部特征与全局特征进行融合，充分利用原始低分辨率图像中各层次特征，将图像超分还原的更加清晰且逼真。同时，根据原图像的尺寸大小实现对图像放大倍数权重的自适应调节，不需要再根据不同放大倍数单独训练模型，也不需要手动设置放大倍数，使数据集的优化更加高效。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种可自适应调节放大倍数的螺栓图像超分辨率处理方法，其特征在于，包括以下步骤：
S1，构建螺栓数据集，得到不同缩放倍数的低分辨率图像；
S2，提取低分辨率图像的浅层特征；
S3，利用密集残差模块提取层次特征；
S4，将多个密集残差模块输出的层次特征进行融合得到局部融合特征，再将局部融合特征与提取的浅层特征拼接在一起进行全局特征融合；
S5，设定对应图像不同大小输出不同放大倍数的阈值，根据图片尺寸确定放大倍数，再根据不同的放大倍数，预测生成高分辨率图像的滤波器权重；
S6，基于融合得到的全局特征以及预测得到的滤波器权重，生成高分辨率图像。
2.根据权利要求1所述的可自适应调节放大倍数的螺栓图像超分辨率处理方法，其特征在于，所述步骤S1中，构建螺栓数据集，得到不同缩放倍数的低分辨率图像，具体包括：
将航拍图像中螺栓部分裁剪下来，再选取其中图像清晰、分辨率高的图像进行下采样处理得到不同缩放倍数的低分辨率的图像。
3.根据权利要求1所述的可自适应调节放大倍数的螺栓图像超分辨率处理方法，其特征在于，所述步骤S2中，提取低分辨率图像的浅层特征，具体包括：
使用两个特征提取层来提取浅层特征，第一层从低分辨率输入中提取的浅层全局特征f0：
f0＝H(ILR) (1)
式中，ILR表示输入的低分辨率图像，通过H()卷积运算对输入图片特征进行提取；
第二层再经过一个浅层特征提取得到：
F0＝H(f0) (2)
式中，F0为浅层特征提取的最终结果，作为密集残差模块的输入。
4.根据权利要求3所述的可自适应调节放大倍数的螺栓图像超分辨率处理方法，其特征在于，所述步骤S3中，利用密集残差模块提取层次特征，具体包括：
密集残差模块提取层次特征的公式如下：
Fd,c＝δ(W[Fd-1,Fd,1,…,Fd,c-1]) (3)
式中，δ表示ReLU激活函数，W表示权重，Fd,c表示该密集残差块第c个卷积加ReLU层的输出，Fd-1为前一密集残差模块的输出特征；
上一密集残差模块输出与当前密集残差模块每层输出的特征进行融合的公式如下：
Fd＝H([Fd-1,Fd,1,…,Fd,c])+Fd-1 (4)
式中，通过一个1×1的卷积层控制输出信息再进行融合，Fd为该密集残差模块最终的输出。
5.根据权利要求4所述的可自适应调节放大倍数的螺栓图像超分辨率处理方法，其特征在于，所述步骤S4中，将多个密集残差模块输出的层次特征进行融合得到局部融合特征，再将局部融合特征与提取的浅层特征拼接在一起进行全局特征融合，具体包括：
在使用多个密集残差模块提取层次特征后，将多个密集残差模块的输出拼接在一起进行全局特征融合，公式如下：
FD＝HF([F1,…,Fd]) (5)
式中，FD为局部融合特征，HF()表示1×1与3×3卷积的复合函数，1×1卷积层用于融合不同层次特征，3×3卷积层进一步提取特征用于全局残差学习：
FLR＝f0+FD (6)
式中，f0为提取的浅层特征，最终生成的低分辨率图像特征用FLR表示。
6.根据权利要求5所述的可自适应调节放大倍数的螺栓图像超分辨率处理方法，其特征在于，所述步骤S5中，设定对应图像不同大小输出不同放大倍数的阈值，根据图片尺寸确定放大倍数，再根据不同的放大倍数，预测生成高分辨率图像的滤波器权重，具体包括：
设定输入图像在64×64以下设置放大倍数r为1.5，输入图像在32×32以下设置放大倍数r为3，输入图像在16×16以下设置放大倍数r为6；
根据不同的放大倍数，预测生成高分辨率图像的滤波器权重，预测公式如下：
Figure FDA0003119487870000031
式中，W(i,j)为生成的高分辨率图像中像素(i,j)的滤波器权重，
Figure FDA0003119487870000032
代表权重预测，θ是权重预测的参数，vij是与i和j的相关向量，其公式为：
Figure FDA0003119487870000033
为区分不同放大倍数对应的权重，将尺度因子
Figure FDA0003119487870000034
加入其中。
7.根据权利要求6所述的可自适应调节放大倍数的螺栓图像超分辨率处理方法，其特征在于，所述步骤S6中，基于融合得到的全局特征以及预测得到的滤波器权重，生成高分辨率图像，具体包括：
生成的高分辨率图像上的每个像素(i,j)都是由低分辨率图像上像素(i′,j′)的特征和相应滤波器权重决定的，上采样模块看作一个对应低分辨率图像到高分辨率图像的映射函数；高分辨率图像的生成公式如下：
ISR(i,j)＝Φ(FLR(i′,j′),W(i,j)) (9)
其中，ISR(i,j)为生成的高分辨率图像的像素，FLR(i′,j′)是低分辨图像上像素(i′,j′)经过步骤S2-S4得到的全局特征，Φ()为计算像素值的特征映射函数；
在生成高分辨率图像时，对于高分辨率图像上每个像素点都需要找到对应低分辨率图像上的像素(i′,j′)，通过向下取整得到，公式如下：
Figure FDA0003119487870000035
对于生成的高分辨率图像上的每个像素，都可以在低分辨率图像上找到对应的唯一像素点。
CN202110671531.3A 2021-06-17 2021-06-17 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法 Pending CN113240586A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110671531.3A CN113240586A (zh) 2021-06-17 2021-06-17 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110671531.3A CN113240586A (zh) 2021-06-17 2021-06-17 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法

Publications (1)

Publication Number Publication Date
CN113240586A true CN113240586A (zh) 2021-08-10

Family

ID=77140274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110671531.3A Pending CN113240586A (zh) 2021-06-17 2021-06-17 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法

Country Status (1)

Country Link
CN (1) CN113240586A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936071A (zh) * 2021-10-18 2022-01-14 清华大学 图像处理方法及装置
CN114612470A (zh) * 2022-05-10 2022-06-10 浙江浙能航天氢能技术有限公司 一种基于改进图像自适应yolo的氢敏胶带变色检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN109064398A (zh) * 2018-07-14 2018-12-21 深圳市唯特视科技有限公司 一种基于残差密集网络的图像超分辨率实现方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN110866870A (zh) * 2019-10-29 2020-03-06 中山大学 一种医学图像任意倍数放大的超分辨处理方法
CN111080531A (zh) * 2020-01-10 2020-04-28 北京农业信息技术研究中心 一种水下鱼类图像的超分辨率重建方法、系统及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN109064398A (zh) * 2018-07-14 2018-12-21 深圳市唯特视科技有限公司 一种基于残差密集网络的图像超分辨率实现方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN110866870A (zh) * 2019-10-29 2020-03-06 中山大学 一种医学图像任意倍数放大的超分辨处理方法
CN111080531A (zh) * 2020-01-10 2020-04-28 北京农业信息技术研究中心 一种水下鱼类图像的超分辨率重建方法、系统及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936071A (zh) * 2021-10-18 2022-01-14 清华大学 图像处理方法及装置
CN114612470A (zh) * 2022-05-10 2022-06-10 浙江浙能航天氢能技术有限公司 一种基于改进图像自适应yolo的氢敏胶带变色检测方法
CN114612470B (zh) * 2022-05-10 2022-08-02 浙江浙能航天氢能技术有限公司 一种基于改进图像自适应yolo的氢敏胶带变色检测方法

Similar Documents

Publication Publication Date Title
EP4414890A1 (en) Model training and scene recognition method and apparatus, device, and medium
CN114627360B (zh) 基于级联检测模型的变电站设备缺陷识别方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN110674688A (zh) 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN114066831B (zh) 一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法
CN113033570A (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN112581409B (zh) 一种基于端到端的多重信息蒸馏网络的图像去雾方法
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN112435191A (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN115439857A (zh) 一种基于复杂背景图像的倾斜字符识别方法
CN113240586A (zh) 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法
CN116778165A (zh) 基于多尺度自适应语义分割的遥感影像灾害检测方法
CN113902620A (zh) 一种基于可变形卷积网络的视频超分辨率系统及方法
CN109034198A (zh) 基于特征图恢复的场景分割方法和系统
CN114926682A (zh) 一种基于局部离群因子的工业图像异常检测与定位方法及系统
CN114359948A (zh) 基于重叠滑窗机制与yolov4的电网接线图图元识别方法
Ma et al. MHGAN: A multi-headed generative adversarial network for underwater sonar image super-resolution
CN112418229A (zh) 一种基于深度学习的无人船海上场景图像实时分割方法
CN114565764B (zh) 基于舰船实例分割的港口全景感知系统
CN115131414B (zh) 基于深度学习的无人机图像对齐方法、电子设备和存储介质
CN116823610A (zh) 一种基于深度学习的水下图像超分辨率生成方法和系统
CN117152630A (zh) 一种基于深度学习的光学遥感图像变化检测方法
CN113962332B (zh) 基于自优化融合反馈的显著目标识别方法
CN113920455B (zh) 一种基于深度神经网络的夜间视频着色方法
CN117197530A (zh) 一种基于改进YOLOv8模型及余弦退火学习率衰减法的绝缘子缺陷识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhao Zhenbing

Inventor after: Geng Shaofeng

Inventor after: Luo Wang

Inventor after: Nie Liqiang

Inventor after: Zhao Yanqing

Inventor after: Xiong Jianping

Inventor after: Zhang Wanzheng

Inventor after: Qi Yincheng

Inventor before: Zhao Zhenbing

Inventor before: Geng Shaofeng

Inventor before: Qi Yincheng

Inventor before: Nie Liqiang

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20220223

Address after: 071003 Hebei province Baoding Yonghua No. 619 North Street

Applicant after: NORTH CHINA ELECTRIC POWER University (BAODING)

Applicant after: NARI Group Corp.

Applicant after: SHANDONG University

Applicant after: Zhiyang Innovation Technology Co.,Ltd.

Applicant after: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.

Address before: 071000 619 Yonghua North Street, lotus pool, Baoding, Hebei

Applicant before: NORTH CHINA ELECTRIC POWER University (BAODING)

Applicant before: Shandong University

TA01 Transfer of patent application right