CN115619643A - 一种用于旋转体图像超分辨率网络模型的构建方法 - Google Patents

一种用于旋转体图像超分辨率网络模型的构建方法 Download PDF

Info

Publication number
CN115619643A
CN115619643A CN202211361055.6A CN202211361055A CN115619643A CN 115619643 A CN115619643 A CN 115619643A CN 202211361055 A CN202211361055 A CN 202211361055A CN 115619643 A CN115619643 A CN 115619643A
Authority
CN
China
Prior art keywords
feature
features
super
input
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211361055.6A
Other languages
English (en)
Inventor
王森
祝阳
王庆健
张印辉
何自芬
霍琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202211361055.6A priority Critical patent/CN115619643A/zh
Publication of CN115619643A publication Critical patent/CN115619643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于旋转体图像超分辨率网络模型的构建方法，属于旋转体图像超分辨率重建领域。本发明利用浅层特征提取模块、深层特征提取模块、特征重建模块，构建图像超分辨率网络模型。本发明浅层特征提取模块通过对输入低分辨率图像进行多次特征处理，可更有效地对图像内重要特征进行处理；深度特征提取模块，可对一帧图像进行多尺度下特征信息提取，并且在深度特征提取模块中通过使用特征融合块用以聚合不同尺度下的特征信息，以达到更优的特征重建效果；通过特征重建模块能更好地细化及重建图像特征；通过该模型能获得足够的图像特征信息，并进一步用于提取位移信号，且振动位移信号相对平滑。

Description

一种用于旋转体图像超分辨率网络模型的构建方法
技术领域
本发明涉及一种用于旋转体图像超分辨率网络模型的构建方法，属于旋转体图像超分辨率重建领域。
背景技术
在工业生产中，旋转机械结构占所有机械结构的40％以上，因此对旋转体进行安全检测必不可少。基于视觉的结构体振动位移监测方法因其远距离、无接触、多点测量等诸多优势受到越来越多的关注。但在在实际工程应用中，基于视觉的旋转体振动测量往往因采集硬件性能过低或采集现场环境的约束，导致采集得到的旋转体振动图像数据存在低分辨率、失真、噪点等现象，而这些现象会导致在后续振动位移视觉测量步骤所回归出的旋转体位移数据与真实数据产生严重的偏差。如何有效的增强低分辨率旋转体振动位移图像数据特征新界信息，减少因外部因素导致的图像数据分辨率低的问题，对基于视觉的工程测量项目有重大意义。
发明内容
本发明提供了一种用于旋转体图像超分辨率网络模型的构建方法，通过浅层特征提取模块、深层特征提取模块和特征重建模块，构建图像超分辨率网络模型，并进一步用于实现图像超分辨率重建。
本发明的技术方案是：一种用于旋转体图像超分辨率网络模型的构建方法，利用浅层特征提取模块、深层特征提取模块、特征重建模块，构建图像超分辨率网络模型。
所述浅层特征提取模块，包括：利用一个卷积操作作为浅层特征提取模块，将输入至网络的原始低分辨率图像作为浅层特征提取模块的输入，获得浅层特征。
所述深层特征提取模块由m个Transformer块串联构成，第一个Transformer块的输入为经浅层特征提取模块输出后的浅层特征，而后m-1个Transformer块的输入均为前一个Transformer块的输出。
所述Transformer块包括：对输入特征进行Swin-Transformer操作得到特征S1，再对特征S1进行下采样操作得到特征D1，同时将特征S1输入至注意力块进行操作得到特征C1；对下采样得到的特征D1进行Swin-Transformer操作得到特征S2，对特征S2进行下采样操作得到特征D2，同时将特征S2输入至注意力块中操作得到特征C2；对下采样得到的特征D2进行Transformer操作得到特征T1，再对特征T1进行Transformer操作得到特征T2，将特征T2与特征D2输入至特征融合块得到特征F1，再对特征F1进行上采样操作得到特征U1；将经过上采样得到的特征U1与注意力块输出特征C2进行相加得到特征A2，再将特征A2进行Swin-Transformer操作得到特征S3，将特征S3与特征D1输入至特征融合块得到特征F2，再对特征F2进行上采样操作得到特征U2；将经过上采样得到的特征U2与注意力块输出特征C1进行相加得到特征A1，再将特征A1进行Swin-Transformer操作得到特征S4，特征S4即为单个Transformer块的输出特征。
所述注意力块，包括：注意力块对输入特征依次经过卷积操作、PReLU激活函数操作、卷积操作，得到特征P1，对特征P1依次进行全局平均池化操作、卷积操作、PReLU激活函数操作、卷积操作、Sigmoid激活函数操作，得到特征P2，将特征P2与注意力块原始输入特征进行相乘得到特征P3，再将特征P3与特征P1相加即为输出特征；
所述特征融合块，包括：对单个Transformer块中经过下采样操作的输出特征D1、D2，经过Swin-Transformer操作的输出特征S3，以及经过Transformer操作的输出特征T2进行组合，按(S3，D1)和(T2，D2)的方式，两两组合为两对输入，以每对输入中排在前的为特征融合块的输入特征1，排在后的为特征融合块的输入特征2；将输入特征1分别进行两次相同的卷积核大小的卷积操作，得到特征Co1和特征Co2，将特征Co2与输入特征2相加得到特征Ad1，对特征Ad1依次进行卷积操作以及Sigmoid激活函数操作得到特征Si1，将特征Si1与特征Co1进行相乘得到特征Mu1，再将特征Mu1与输入特征1相加即可得到特征融合块的输出特征。
所述特征重建模块，包括：将深层特征提取模块输出的特征作为特征重建模块的输入特征，对特征重建模块的输入特征依次进行，卷积操作、LeakyReLU激活函数操作、卷积操作、PixelShuffle操作、卷积操作，输出即为特征重建模块的输出。
本发明的有益效果是：本发明针对视觉测振任务的痛点，提出了对采集图像数据进行超分辨率重建的概念，很好的缓解了因图像分辨率过低导致的视觉测振任务的偏差过大的问题；进一步的本发明提出了一种适用于旋转体的图像超分辨率网络，通过对采集的旋转体低分辨率图像数据进行超分辨率重建，可以很好的缓解因采集设备或采集环节干扰导致的采集图像数据分辨率过低的问题。具体地：本发明将图像超分辨率过程分为三个模块，浅层特征提取模块、深层特征提取模块、特征重建模块，通过对输入低分辨率图像进行多次特征处理，可更有效地对图像内重要特征进行处理；进一步地，本发明提出的基于编码-解码架构的深度特征提取模块，可对一帧图像进行多尺度下特征信息提取，并且在深度特征提取模块中通过使用特征融合块用以聚合不同尺度下的特征信息，以达到更优的特征重建效果；再者通过选用Transformer代替传统卷积操作可以更充分地学习图像特征信息，而通过采用两种Transformer能更充分的提取图像种的特征细节信息；再进一步地，通过特征重建模块能更好地细化及重建图像特征；通过该模型能获得足够的图像特征信息，并进一步用于提取位移信号，且振动位移信号相对平滑。基于上述将本发明提出的模型用于视觉测振的数据收集阶段，有效降低了数据采集所需相机的分辨率等性能；通过对比经过本发明处理后的数据生成的振动信号图和未经处理的数据生成的振动信号图，证明了本发明的实际工程应用价值。
附图说明
图1为本发明的模型及应用过程框图；
图2为深层特征提取模块结构图；
图3为单个Transformer块结构图；
图4为单个Transformer块中注意力块结构图；
图5为单个Transformer块中特征融合块结构图；
图6为特征重建模块结构图；
图7为本发明模型的应用流程图；
图8为经过不同算法重建后的转子高分辨率图像对比图；
图9为经过超分辨率重建的图像数据和模糊图像数据回归出的转子在X轴上的位移数据；
图10为经过超分辨率重建的图像数据和模糊图像数据回归出的转子在Y轴上的位移数据。
具体实施方式
下面结合附图和实施例，对发明做进一步的说明，但本发明的内容并不限于所述范围。
如图1所示，一种用于旋转体图像超分辨率网络模型的构建方法，利用浅层特征提取模块、深层特征提取模块、特征重建模块，构建图像超分辨率网络模型。
进一步地，所述浅层特征提取模块，包括：利用一个卷积操作作为浅层特征提取模块，将输入至网络的原始低分辨率图像作为浅层特征提取模块的输入，获得浅层特征。在本实施例中，卷积操作的卷积核大小为3×3。
进一步地，所述深层特征提取模块，包括：将浅层特征提取模块输出的浅层特征，输入至深层特征提取模块中；其中，深层特征提取模块由m个Transformer块串联构成，第一个Transformer块的输入为经浅层特征提取模块输出后的浅层特征，而后m-1个Transformer块的输入均为前一个Transformer块的输出。
如图2所示，在本发明的实施例中，深层特征提取模块由6个Transformer块串联构成，第一个Transformer块的输入为经浅层特征提取模块输出后的浅层特征，而后5个Transformer块的输入均为前一个Transformer块的输出。
进一步地，如图3所示，所述单个Transformer块包括：对输入特征进行Swin-Transformer操作得到特征S1，再对特征S1进行2倍下采样操作得到特征D1，同时将特征S1输入至注意力块进行操作得到特征C1；对下采样得到的特征D1进行Swin-Transformer操作得到特征S2，对特征S2进行2倍下采样操作得到特征D2，同时将特征S2输入至注意力块中操作得到特征C2；对下采样得到的特征D2进行Transformer操作得到特征T1，再对特征T1进行Transformer操作得到特征T2，将特征T2与特征D2输入至特征融合块得到特征F1，再对特征F1进行2倍上采样操作得到特征U1；将经过上采样得到的特征U1与注意力块输出特征C2进行相加得到特征A2，再将特征A2进行Swin-Transformer操作得到特征S3，将特征S3与特征D1输入至特征融合块得到特征F2，再对特征F2进行2倍上采样操作得到特征U2；将经过上采样得到的特征U2与注意力块输出特征C1进行相加得到特征A1，再将特征A1进行Swin-Transformer操作得到特征S4，特征S4即为单个Transformer块的输出特征。另外，在实验过程中，将下采样倍数设置为2倍，可以避免重建的时候难以还原真实信息的不足。
进一步地，如图4所示，所述注意力块，包括：注意力块将单个Transformer块中经过Swin-Transformer处理后的特征作为输入；注意力块对输入特征依次经过卷积操作、PReLU激活函数操作、卷积操作，得到特征P1，对特征P1依次进行全局平均池化操作、卷积操作、PReLU激活函数操作、卷积操作、Sigmoid激活函数操作，得到特征P2，将特征P2与注意力块原始输入特征进行相乘得到特征P3，再将特征P3与特征P1相加即为输出特征；
进一步地，如图5所示，所述特征融合块，包括：对单个Transformer块中经过下采样操作的输出特征D1、D2，经过Swin-Transformer操作的输出特征S3，以及经过Transformer操作的输出特征T2进行组合，按(S3，D1)和(T2，D2)的方式，两两组合为两对输入，以每对输入中排在前的为特征融合块的输入特征1，排在后的为特征融合块的输入特征2；即对第一对输入而言，以S3为输入特征1，以D1为输入特征2，对第二对输入而言，以T2为输入特征1，以D2为输入特征2；将输入特征1分别进行两次相同的卷积核大小为3×3的卷积操作，得到特征Co1和特征Co2，将特征Co2与输入特征2相加得到特征Ad1，对特征Ad1依次进行卷积核大小为3×3的卷积操作以及Sigmoid激活函数操作得到特征Si1，将特征Si1与特征Co1进行相乘得到特征Mu1，再将特征Mu1与输入特征1相加即可得到特征融合块的输出特征。
进一步地，如图6所示，所述特征重建模块，包括：将深层特征提取模块输出的特征作为特征重建模块的输入特征，对特征重建模块的输入特征依次进行，卷积操作、LeakyReLU激活函数操作、卷积操作、PixelShuffle操作、卷积操作，输出即为特征重建模块的输出。
进一步地，如图7所示，将本发明方法构建的图像超分辨率网络模型用于旋转体振动位移视觉测量，具体的步骤如下：收集高速转动转子图像数据集并将其划分为训练数据集和验证数据集；构建图像超分辨率网络模型雏形；正式训练之前，修改配置文件中相对应的参数，获得训练参数；调用训练数据集和配置文件开始对选择的图像超分辨率网络模型进行训练，训练结束，筛选出最优的候选权重；用验证数据集对最优的候选权重进行性能评估，以量化权重的性能，根据量化结果获得的最优权重载入图像超分辨率网络模型；将载入了最优权重的图像超分辨率网络模型用于处理新收集的高速转动转子图像数据集，并提取高速振动转子的振动位移信号。
具体而言：
S1、在ZT-3转子振动模拟试验台上，使用5F01高速相机以2000帧/秒的采集速度对高速转动转子进行图像采集，构建高速转动转子图像数据集，其图像分辨率为512×512，对采集的高速转动转子图像依次进行4倍下采样处理得到128×128的图像数据，获得原始低分辨率图像数据集；接着将经过下采样处理的得到的原始低分辨率图像数据集按比例划分为训练数据集和验证数据集；在本实施例中，我们对采集了1000帧高速转动转子图像数据及对应下采样处理得到1000帧低分辨率图像数据集，进行数据集划分，其中，训练数据集为700帧高速转动转子图像数据及对应的700帧低分辨率图像数据集，验证数据集为300帧高速转动转子图像数据及对应的300帧低分辨率图像数据集(即划分的比例还可以为70％和30％)。另外，对高速转动转子进行图像采集时，使用EF-200LED灯对采集对象进行光补偿；划分的比例还可以为90％和10％等。需要说明的是，也可以采用其它的方式获取高速转动转子图像数据集，而后再将其转为128×128的图像数据。
S2，利用浅层特征提取模块、深层特征提取模块、特征重建模块，构建图像超分辨率网络模型雏形；
S3、正式训练之前，修改配置文件中相对应的参数，获得训练参数；
S4，调用训练数据集和配置文件开始对选择的图像超分辨率网络模型进行训练，训练结束，筛选出最优的候选权重；在本实施例中，先在配置文件设置训练参数为BatchSize＝8、初始学习率设置为10-4、迭代次数设为50万次，直至训练结束后学习率降为10-7。开始训练，载入图像超分辨率的网络模型，根据BatchSize的大小按批次调入图像进行训练，根据设定的参数，当迭代次数达所设定的次数到后输出一次权重，然后筛选出最优的权重。
S5，用验证数据集对最优的候选权重进行性能评估，以量化权重的性能，根据量化结果获得的最优权重载入图像超分辨率网络模型；
S6、将载入了最优权重的图像超分辨率网络模型用于处理待重建的低分辨率高速转动转子图像数据集，并引入YOLOv5x网络来识别经重建后的转子图像数据集中转子的边界框，通过汇总一个序列内每帧图像中转子边界框中心点的位移变化，得到高速振动转子的振动位移数据。
在本实施例中，本发明取S1中经过下采样处理得到1000帧分辨率为128×128图片作为待重建的低分辨率高速转动转子图像数据集；将1000帧待重建的低分辨率高速转动转子图像分为检测所用的训练集1共700帧图像和验证集1共300帧图像；将训练集1和验证集1输入到本发明提出的图像超分辨率网络模型中得到训练集2和验证集2，如图8为经过不同算法重建后的转子高分辨率图像对比图，不同的算法针对的是同一帧图片重建后的对比结果，通过对比结果可知，本发明重建图像的PNSR优于其它传统算法(需要说明的是，本发明给出的几种传统算法不仅涵盖了传统方法，还包括了基于CNN和Swin-Transformer的算法，进一步彰显了本发明在高速转动转子图像处理上的优势)；使用Labelimg软件对训练集2和验证集2图像中的转子进行边界框标注，生成txt文件；将训练集2和验证集2和标注生成的txt文件输入YOLOv5x进行训练得到权重参数模型，得到最优的pt格式权重文件；利用得到的权重文件对新采集的经过超分辨率重建的图像数据进行检测，得到每帧图像中转子重心坐标txt文件，提取多个txt文件里中心点坐标；将多帧中心点坐标绘制成曲线图即为高速振动转子的振动位移信号。
由于采集高速振动体图像数据时，会受到采集设备硬件限制或采集现场环节干扰等问题，这些问题会导致最终采集到的目标位移图像数据产生模糊或分辨率低的问题；并且由于未经超分辨率重建的图像数据其特征边界较为模糊，用检测的方法提取信号时在标注阶段很难保证标注的边界框的边界精准的落在目标边界上，导致生成的位移振动信号精度较差、与真实情况会产生巨大偏差。而本发明提出的网络模型，通过对采集图像数据进行超分辨率重建，很好的缓解了采集图像时的图像清晰度问题，进而可使目标边界清晰，在标注时可以准确的标出贴合目标边界的边界框。再进一步地，使用标注精准的标签训练后的模型可以很好的计算出测试集数据的边界框坐标信息，从而使生成的信号更符合真实振动位移信号。
通过图9和图10对比可知，经过超分辨率重建后的图像数据所采集到的振动位移信号，相比于未经过超分辨率重建的图像数据所采集到的数据更加平顺。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (7)

1.一种用于旋转体图像超分辨率网络模型的构建方法，其特征在于：利用浅层特征提取模块、深层特征提取模块、特征重建模块，构建图像超分辨率网络模型。
2.根据权利要求1所述的用于旋转体图像超分辨率网络模型的构建方法，其特征在于：所述浅层特征提取模块，包括：利用一个卷积操作作为浅层特征提取模块，将输入至网络的原始低分辨率图像作为浅层特征提取模块的输入，获得浅层特征。
3.根据权利要求1所述的用于旋转体图像超分辨率网络模型的构建方法，其特征在于：所述深层特征提取模块由m个Transformer块串联构成，第一个Transformer块的输入为经浅层特征提取模块输出后的浅层特征，而后m-1个Transformer块的输入均为前一个Transformer块的输出。
4.根据权利要求3所述的用于旋转体图像超分辨率网络模型的构建方法，其特征在于：所述Transformer块包括：
对输入特征进行Swin-Transformer操作得到特征S1，再对特征S1进行下采样操作得到特征D1，同时将特征S1输入至注意力块进行操作得到特征C1；
对下采样得到的特征D1进行Swin-Transformer操作得到特征S2，对特征S2进行下采样操作得到特征D2，同时将特征S2输入至注意力块中操作得到特征C2；
对下采样得到的特征D2进行Transformer操作得到特征T1，再对特征T1进行Transformer操作得到特征T2，将特征T2与特征D2输入至特征融合块得到特征F1，再对特征F1进行上采样操作得到特征U1；
将经过上采样得到的特征U1与注意力块输出特征C2进行相加得到特征A2，再将特征A2进行Swin-Transformer操作得到特征S3，将特征S3与特征D1输入至特征融合块得到特征F2，再对特征F2进行上采样操作得到特征U2；
将经过上采样得到的特征U2与注意力块输出特征C1进行相加得到特征A1，再将特征A1进行Swin-Transformer操作得到特征S4，特征S4即为单个Transformer块的输出特征。
5.根据权利要求4所述的用于旋转体图像超分辨率网络模型的构建方法，其特征在于：所述注意力块，包括：
注意力块对输入特征依次经过卷积操作、PReLU激活函数操作、卷积操作，得到特征P1，对特征P1依次进行全局平均池化操作、卷积操作、PReLU激活函数操作、卷积操作、Sigmoid激活函数操作，得到特征P2，将特征P2与注意力块原始输入特征进行相乘得到特征P3，再将特征P3与特征P1相加即为输出特征。
6.根据权利要求4所述的用于旋转体图像超分辨率网络模型的构建方法，其特征在于：所述特征融合块，包括：
对单个Transformer块中经过下采样操作的输出特征D1、D2，经过Swin-Transformer操作的输出特征S3，以及经过Transformer操作的输出特征T2进行组合，按(S3，D1)和(T2，D2)的方式，两两组合为两对输入，以每对输入中排在前的为特征融合块的输入特征1，排在后的为特征融合块的输入特征2；
将输入特征1分别进行两次相同的卷积核大小的卷积操作，得到特征Co1和特征Co2，将特征Co2与输入特征2相加得到特征Ad1，对特征Ad1依次进行卷积操作以及Sigmoid激活函数操作得到特征Si1，将特征Si1与特征Co1进行相乘得到特征Mu1，再将特征Mu1与输入特征1相加即可得到特征融合块的输出特征。
7.根据权利要求1所述的用于旋转体图像超分辨率网络模型的构建方法，其特征在于：所述特征重建模块，包括：将深层特征提取模块输出的特征作为特征重建模块的输入特征，对特征重建模块的输入特征依次进行，卷积操作、LeakyReLU激活函数操作、卷积操作、PixelShuffle操作、卷积操作，输出即为特征重建模块的输出。
CN202211361055.6A 2022-11-02 2022-11-02 一种用于旋转体图像超分辨率网络模型的构建方法 Pending CN115619643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211361055.6A CN115619643A (zh) 2022-11-02 2022-11-02 一种用于旋转体图像超分辨率网络模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211361055.6A CN115619643A (zh) 2022-11-02 2022-11-02 一种用于旋转体图像超分辨率网络模型的构建方法

Publications (1)

Publication Number Publication Date
CN115619643A true CN115619643A (zh) 2023-01-17

Family

ID=84877344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211361055.6A Pending CN115619643A (zh) 2022-11-02 2022-11-02 一种用于旋转体图像超分辨率网络模型的构建方法

Country Status (1)

Country Link
CN (1) CN115619643A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422614A (zh) * 2023-12-19 2024-01-19 华侨大学 基于混合特征交互Transformer的单帧图像超分辨率方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422614A (zh) * 2023-12-19 2024-01-19 华侨大学 基于混合特征交互Transformer的单帧图像超分辨率方法及装置
CN117422614B (zh) * 2023-12-19 2024-03-12 华侨大学 基于混合特征交互Transformer的单帧图像超分辨率方法及装置

Similar Documents

Publication Publication Date Title
CN111524135B (zh) 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN113139989B (zh) 一种基于深度学习的粒子图像测速方法与装置
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN111127325B (zh) 基于循环神经网络的卫星视频超分辨率重建方法及系统
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN114463183A (zh) 基于频域和空域的图像超分辨率方法
CN115147426B (zh) 基于半监督学习的模型训练与图像分割方法和系统
CN115619643A (zh) 一种用于旋转体图像超分辨率网络模型的构建方法
CN107392855B (zh) 基于稀疏自编码网络与极速学习的图像超分辨重建方法
Li Image super-resolution using attention based densenet with residual deconvolution
CN107622476B (zh) 基于概率生成模型的图像超分辨处理方法
CN109584194B (zh) 基于卷积变分概率模型的高光谱图像融合方法
CN116188272A (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN114972072A (zh) 基于注意力机制的图像去马赛克方法
CN114529450A (zh) 基于改进深度迭代协作网络的人脸图像超分辨方法
Lv et al. Improved SRCNN for super-resolution reconstruction of retinal images
JP7070308B2 (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
Ooi et al. Enhanced dense space attention network for super-resolution construction from single input image
Kasem et al. DRCS-SR: Deep robust compressed sensing for single image super-resolution
CN115861099B (zh) 一种引入物理成像先验知识约束的卫星云图图像复原方法
CN115293963A (zh) 一种基于超分辨率重建的高频转子视觉测振方法及系统
CN117372720B (zh) 一种基于多特征交叉掩码修复的无监督异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination