CN114723608A - 基于流体粒子网络的图像超分辨率重建方法 - Google Patents

基于流体粒子网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN114723608A
CN114723608A CN202210393353.7A CN202210393353A CN114723608A CN 114723608 A CN114723608 A CN 114723608A CN 202210393353 A CN202210393353 A CN 202210393353A CN 114723608 A CN114723608 A CN 114723608A
Authority
CN
China
Prior art keywords
layer
image
network
convolution
fluid particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210393353.7A
Other languages
English (en)
Other versions
CN114723608B (zh
Inventor
张铭津
郑玲萍
吴芊芊
郭杰
李云松
高新波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210393353.7A priority Critical patent/CN114723608B/zh
Publication of CN114723608A publication Critical patent/CN114723608A/zh
Application granted granted Critical
Publication of CN114723608B publication Critical patent/CN114723608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13—Differential equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于流体粒子网络的图像超分辨率重建方法，实现步骤为：(1)获取训练样本集和测试样本集；(2)构建基于流体粒子网络的图像重建模型O；(3)对流体粒子网络重建网络模型O进行迭代训练；(4)获取图像重建结果。本发明在对流体粒子网络模型进行训练以及获取图像重建结果的过程中，混合二阶残差提取网络可以有效地学习代表性特征，而引导分支网络通过引导像素移动方向实现对图像超分辨率的调整，有利于获得更清晰的细节的和参数性能，有效提高了重建图像的分辨率。

Description

基于流体粒子网络的图像超分辨率重建方法
技术领域
本发明属于图像处理技术领域，涉及一种图像超分辨率重建方法，具体涉及一种基于流体粒子网络的图像超分辨率重建方法，可用于硬件特洛伊木马检测技术等技术领域。
背景技术
在成像过程中，由于成像系统各种因素的影响，可能使获得的图像不是真实景物的完善影像。图像重建就是重建退化的图像，使其最大限度恢复景物原貌的处理，图像重建只能尽量使图像接近其原始图像，但由于噪声干扰等因素，很难精确还原。而由于成像系统或者传输带宽的限制，获得的图像的分辨率往往较低，图像超分辨率重建(SR)就是利用已有的图像重建出更高分辨率的图像。在硬件特洛伊木马检测等技术对成像质量有严格要求的领域中，不仅要求图像具有较高分辨率，而且图像结构不应出现结构失真以及边缘纹理错误，使目标清晰，容易识别。衡量重建图像质量指标采用峰值信噪比和结构相似度来衡量。在实际情况中大多数图像超分辨率重建网络通过改进的残差学习思想来学习从LR图像到HR图像的映射，并增加层数来提高网络的重建能力，图像超分辨率重建网络仅通过梯形公式为不同的映射分配权重，而流体粒子网络SR过程中从图像演化的角度研究SR任务，这对于建立一个可解释且有效的模型至关重要，同时也提供了一个潜在的研究方向。
深圳赛陆医疗科技有限公司在其申请的专利文献“逐步融合特征的图像超分辨率重建方法及电子设备”(专利申请号：202110842925.0，申请公布号为CN111461983A)中，提出了一种逐步融合特征的图像超分辨率重建方法，该方法包括：获取原始图像和重建网络，利用第一特征提取模块对原始图像进行特征提取，原始特征图顺次经过多个所第二特征提取模块和多个第三特征提取模块，利用图像重建模块对所述中间特征图进行超分辨率重建得到分辨率更大的目标图像，通过多次融合特征，多次逐步地筛选出对图像超分辨率重建有用的特征，最终输入图像重建模块。该方法虽然提升了重建图像的分辨率，但是随着网络层数的增加，重建网络的驱动力不足，限制了神经网络重建图像分辨率的进一步提升。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于流体粒子网络的图像超分辨率重建方法，旨在通过提高流体粒子网络的驱动力，使重建图像具有更好的边缘细节重建效果和参数性能。
为实现上述目的，本发明采取的技术方案包括以下步骤：
1.一种基于流体粒子网络的图像超分辨率重建方法，其特征在于，包括以下步骤：
(1)获取训练样本集和测试样本集：
(1a)获取K幅RGB图像，并对每幅RGB图像进行预处理，对处理后的每幅图像进行1/4降采样，得到降采样后的K幅RGB图像；
(1b)将每幅RGB图像裁剪为大小为H×H的图像块，同时将该幅RGB图像对应的降采样后的RGB图像裁剪为大小为
Figure BDA0003596416450000021
的图像块，并将每幅RGB图像裁剪的图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中半数以上的降采样后的图像块及其标签组成训练样本集R1，将剩余降采样后的图像块及其标签组成测试样本集E1，其中，K≥600，H≥256；
(2)构建流体粒子网络模型O：
构建包括顺次连接的第一卷积层、D个流体粒子子网络、上采样模块的流体粒子网络模型O；每个流体粒子子网络包括并行排布的引导分支网络和混合二阶残差网络，D≥10；引导分支网络包括特征补偿层、特征扩展块和多个卷积层，特征扩展块包括顺次级联的多个卷积层；混合二阶残差网络包括特征补偿层、混合二阶残差提取层、通道注意力模块和多个卷积层，通道注意力模块包括池化层、多个卷积层和多个非线性激活层；
(3)对流体粒子网络模型O进行迭代训练：
(3a)初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的流体粒子网络模型为Os，Os中可学习参数的权值、偏置参数分别为ws、bs，并令s＝1，Os＝O；
(3b)将从训练样本集R1中随机且有放回的选取N个训练样本作为流体粒子网络模型Os的输入，第一卷积层对每个训练样本进行特征提取，得到N个特征图，流体粒子子网络中的引导分支网络对每个特征图进行图像重建，得到N个补偿图像，同时混合二阶残差网络对每个特征图进行图像重建，得到N个中间图像，并对每个补偿图像与其对应位置的中间图像逐元素相加，重复D次，得到N个包含丰富细节和边缘信息的图像，模块对每个包含丰富细节和边缘信息的图像进行上采样，得到N个重建图像，其中，N≥600；
(3c)采用L1范数计算损失函数，并通过重建图像和其对应训练样本标签计算Os的损失值Ls，通过链式法则分别计算Ls对网络中的权值参数ωs及偏置参数bs的偏导
Figure BDA0003596416450000031
和
Figure BDA0003596416450000032
并根据
Figure BDA0003596416450000033
对ωs、bs进行更新。
(3d)判断s≥S是否成立，若是，得到训练好的流体粒子网络模型O*，否则，令s＝s+1，并执行步骤(3b)；
(4)获取图像重建结果：
将测试样本集E1作为训练好的流体粒子网络模型O*的输入进行前向传播，得到所有测试样本对应的重建图像。
本发明与现有技术相比，具有以下优点：
本发明所构建的流体粒子网络模型包括多个流体粒子子网络，每个流体粒子子网络包括并行排布的引导分支网络和混合二阶残差网络，在对该模型进行训练以及图像重建结果的过程中，混合二阶残差提取网络可以有效地学习代表性特征，而引导分支网络通过引导像素移动方向实现对图像超分辨率的调整，有利于获得更清晰的细节的和参数性能，实验结果表明，本发明能够有效提高自然图像和真实文字显微芯片图像重建的分辨率。
附图说明
图1为本发明的实现流程图；
图2为本发明流体粒子网络模型的结构示意图；
图3为本发明实施例的引导分支网络结构示意图；
图4为本发明实施例的残差二阶提取网络结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤：
步骤1)获取训练样本集R1和测试样本集E1：
步骤1a)从DIV2K数据集中获取K幅RGB图像，其中，K≥600。在本实施例中，K＝600；
步骤1b)对K幅RGB图像中每幅RGB图像各通道的值减去DIV2K数据集中每幅RGB图像各通道的平均灰度值进行处理后得到每幅RGB图像，然后将每幅RGB图像随机水平翻转和90旋转进行数据增强。对处理后的每幅图像进行1/4降采样，得到降采样后的K幅RGB图像。
实现步骤为：假设第一幅图像RGB通道的图像数值为[R1,G2,B3]，对K幅RGB图像所有的R、G、B通道上的每个像素点分别取平均，其值为[r,g,b]，处理后的第一幅RGB图像的R、G、B通道上图像数值为[R1,G2,B3]-[r,g,b]，对每幅RGB图像进行这样的处理，每幅RGB图像减去平均值，凸显每幅RGB图像的差异，然后将每幅RGB图像随机水平翻转和90旋转进行数据增强，增加训练的数据量，对处理后的每幅图像进行1/4降采样，得到降采样后的K幅RGB图像。
步骤1b)将每幅RGB图像裁剪为大小为H×H的图像块，同时将该幅RGB图像对应的降采样后的RGB图像裁剪为大小为
Figure BDA0003596416450000041
的图像块，并将每幅RGB图像裁剪的图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中半数以上的降采样后的图像块及其标签组成训练样本集R1，将残差降采样后的图像块及其标签组成测试样本集E1。
步骤2)构建基于流体粒子网络的图像重建模型O，其结构如图2所示；
构建包括顺次连接的第一卷积层、D个流体粒子子网络和上采样模块的流体粒子网络模型O；每个流体粒子子网络包括并行排布的引导分支网络和混合二阶残差网络，D≥10，在本实施例中，D＝10；引导分支网络包括特征补偿层、特征扩展块和多个卷积层，特征扩展块包括顺次级联的多个卷积层；混合二阶残差主干特征提取网络包括特征补偿层、混合二阶残差提取层、通道注意力模块和多个卷积层，通道注意力模块包括池化层、多个卷积层和多个非线性激活层；
其中，本实施例引导分支网络的结构如图3所示；
引导分支网络包括顺次级联的特征补偿层、第二卷积层、特征扩展块、第三卷积层，其中扩展块包括顺次级联的第四卷积层、第五卷积层、第六卷积层；网络参数设置为：第二卷积层、第四卷积层卷积核大小3*3，其通道数设置为64，第三卷积层卷积核大小1*1，其通道数设置为64；第五卷积层、第六卷积层是两个步长分别为1和2的卷积层，其通道数设置为64；
特征补偿层：受流体力学相关理论的启发。通过研究流体场(FD)微观粒子的运动与图像场(SR)中图像像素之间的相似性。具体而言，SR过程中像素的移动类似于FD中的流体流动。这种相似性体现在两个方面。从微观角度来看，FD研究的基本单元粒子在温度、压力和周围粒子的共同作用下移动。以及图像中的像素在诸如卷积和池等操作以及周围像素的影响下以有针对性的方式改变。从宏观角度看，同一截面在流体中的分布随时间有规律地变化。在SR过程中，经过多次特征提取和重构后，二维特征映射向目标HR图像方向变化。图像SR重建过程可视为流体粒子运动过程。FD中的N-S方程建立了粒子在时间和空间上的各种性质之间的关系，它可以将不同的信息相互转换。可以将N-S方程应用到图像SR处理中，以转换图像。
由于普通的cnn网络获得的HR图像的结构边界不清晰。为了解决这个问题，使用额外的约束来约束SR过程。残差提取过程主要是从结构特征的角度设计的，除了结构特征外，像素值随时间的变化率是另一个重要信息。考虑从动态像素值分布的角度设计引导分支以指导残余提取过程。
N-S方程启发的引导分支：FD中的连续性方程可分为四种形式，即积分方程、偏微分方程、保守型和非保守型。由于它们可以相互转换，以保守形式的偏微分方程为例：
Figure BDA0003596416450000051
其中ρ是流体密度，
Figure BDA0003596416450000052
是速度向量，
Figure BDA0003596416450000053
利用哈密顿算子和向量函数的乘法定律，等式(8)可以改写为：
Figure BDA0003596416450000061
在SR过程中，提取的特征映射会随着网络深度的变化而变化。这一过程可视为三维流体中横截面的变化，从而将三维流场的运动方程导出为二维图像域的运动方程，其中粒子的运动规律可表示为：
Figure BDA0003596416450000062
它可以改写为：
Figure BDA0003596416450000063
Figure BDA0003596416450000064
的散度变化是单位面积内像素数的变化。在图像重建过程中，没有多幅图像的融合，不同特征区域的像素不会流入或流出。因此假设
Figure BDA0003596416450000065
即速度分量u和w沿各自方向的偏导数为0。然后等式(11)可以改写为：
Figure BDA0003596416450000066
在图像域中，ρ表示像素值。偏导数
Figure BDA0003596416450000067
和
Figure BDA0003596416450000068
代表像素值在不同方向上的梯度。例如，边缘区域具有较大的渐变，而平滑区域具有较小的渐变。等式(12)中的目标变量是对时间的偏导数，可以用差分形式表示：
Figure BDA0003596416450000069
在特征提取过程中建立了时间和空间维度之间的关系。由于使用神经层来计算二维偏导数，等式(13)可以改写为：
Figure BDA00035964164500000610
受N-S控制方程的启发，引导分支将N-S控制方程中的时间和空间关系应用于特征提取和重建。N-S方程可以转化为等式(12)的形式，其中第一项是时间维度上密度函数的变化率，后两项是空间维度上密度函数的变化率。利用等式(14)可以将空间信息(沿x方向和y方向)转换为时间信息(沿i方向)，从而实现主干提取结果的引导并获得更多细节。根据某一时刻的密度信息和二维偏导数，可以得到下一时刻的近似密度分布信息。密度函数在空间维度上的变化率可作为补充特征信息，用于预测下一时刻的像素点分布，以指导SR过程。
其中，本实施例混合二阶残差网络的结构如图4所示；
混合二阶残差网络的具体结构包括两个并行排布的分支，第一分支的具体结构是特征补偿层，第二分支的具体结构是顺次级联的第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、混合二阶残差提取层、通道注意力模块，且特征补偿层的输出端与混合二阶残差提取层的输入端连接；通道注意力模块包括顺次级联的池化层、第十二卷积层、第一非线性激活层、第十三卷积层、第二非线性激活层；网络参数设置为：第八卷积层、第十卷积层是步长为2，第七卷积层、第九卷积层、第十一卷积层是步长为1/2，其通道数设置为64，第十二卷积层、第十三卷积层卷积核大小1*1，其通道数设置为32，池化层设置为最大池化，第一非线性激活层由LeakyReLU函数实现，第二非线性激活层由Sigmoid函数实现。
混合二阶残差提取层：在流体场(FD)中，粒子的位置随时间变化，并且流体的切割表面在不同时间呈现不同的分布图像；类似地，SR过程可以被认为是一系列在时间上演化的中间图像；由于流体场和图像场中元素运动的相似性，用流体场中的差分方程来描述图像SR的过程，有限差分方程中的一阶表达式与经典残差网络的表达式相同，将有限差分方程系统引入到网络的设计中，高阶差分方程在特征项之间建立了更多的关系，有限差分方程中的二阶混合导数可以相互作用并提取不同维度的信息，使用二阶混合结构来设计网络结构；根据二阶混合微分方程(一种扩展的二维微分运算)提出了一种新的残差结构；将j+1＝m维度设置为时间方向，即多特征提取过程；j-1＝n维度为引导分支网络设置，对二阶混合差分方程进行变形；得到残差减法形式，残差的残差是网络中需要学习的信息。在这种结构中，第n个残差是n-1层和n-2层的特征之间的差异。
二阶混合差定义为：
Figure BDA0003596416450000071
其中Δx和Δy是常数，代表其各自方向上的步长。
定义x方向作为时间方向，它描述了特征提取的过程。同时，y方向被定义为多种图像数据处理方法。一个维度(j+1＝m)利用卷积层来提取整体特征，另一个维度(j-1＝n)利用卷积层来提取整体特征。利用引导分支网络提取详细的补偿信息。这些二维信息可以在特征提取和传输方面相互补充。基于此设置，方程式转换为以下形式：
Figure BDA0003596416450000081
其中m表示混合二阶残差网络的主干特征提取，n表示用引导分支网络提取补充特征。
为了简化公式(16)，用h来代替阶跃项，并进一步推导公式如下：
Figure BDA0003596416450000082
其中ui+1,m和ui-1,m表示在i+1和i-1处混合二阶残差网络主干结构的提取结果。ui+1,n-ui-1,n是引导分支网络提取的特征信息，可以用Δui+1表示。因此：
Figure BDA0003596416450000083
Δui+1是引导分支网络提取的特征信息，
Figure BDA0003596416450000084
是混合二阶残差网络要学习并简化为二维函数f(x,y)i,j的残差部分，通过对卷积层的整体特征和补偿特征的结果融合得到。基于二阶混合差分的残差结构最终表示为：
ui+1,m＝ui-1,m+Δui+1+hf(x,y)i,j (19)
混合二阶残差网络提取结果ui-1,m+hf(x,y)i,j和引导分支网络的提取结果Δui+1在y方向上融合,然后沿着x方向从ui-1,m到ui+1,m向前传播。
利用高阶差分方程多个项之间的相关性构建一个网络，这样网络中的每一层都可以接收来自更多层的信息。有效减少特征提取过程中图像信息的丢失，网络结构可以获得更强的特征提取能力。
将最终的重建结果送入上采样模块，上采样模块由PixelShuffle实现，放大参数设置为4。
步骤3)对基于流体粒子网络的图像超分辨率重建网络进行迭代训练；
步骤3a)初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的流体粒子网络模型为Os，Os中可学习参数的权值及偏置为ws bs，并令s＝1，Os＝O；
步骤3b)将从训练样本集R1中随机且有放回的选取N个训练样本作为流体粒子网络模型Os的输入；
步骤3c)第一卷积层对输入图像进行卷积，得到输入图像的特征图Y1，其中fm表示第m个训练样本卷积后的第一特征图；引导分支网络将每个特征图fm顺次送入特征补偿层，得到补偿特征图Y2，其中fm'表示第m个训练样本卷积后的补偿特征图，补偿特征图对特征进行优化和增强；补偿特征图Y2送入第二卷积层，得到深度特征图Y3，将深度特征图Y3送入特征扩展块，通过第四卷积层和两个步长分别为1和2的卷积层，恢复图像的更多细节信息，得到深度特征图Y4，第三卷积层将深度特征图Y4的通道进行投影至64，得到补偿图像的深度特征图Y5。
特征图Y1经过混合二阶残差网络中步长为1/2第七卷积层、步长为2的第八卷积层、步长为1/2的第九卷积层、步长为2的第十卷积层、步长为1/2的第十一卷积层，得到m个包含丰富上下文相互依赖信息的的深度特征图Y7，特征图Y1经过特征补偿层得到深度特征图Y8，将深度特征图Y7、Y8送入混合二阶残差提取层得到深度特征图Y9，深度特征图Y9融合了混合二阶残差网络的特征图和补偿特征图，得到时间和空间维度上更详细的信息，混合二阶残差网络的通道注意力模块能够为不同通道特征图分配不同的权重，能够使特征图包含的信息更加准确，得到中间图像特征图Y10，补偿图像深度特征图Y5和中间图像深度特征图Y10进行通道逐元素相加后得到特征图
Figure BDA0003596416450000091
经过10个流体子网络后将得到的特征图
Figure BDA0003596416450000092
经过上采样层得到重建图像。
步骤3d)采用L1范数计算损失函数，并通过重建图像和其对应训练样本标签计算Os的损失值Ls，通过链式法则分别计算损失函数Ls的表达式，以及根据
Figure BDA0003596416450000101
对ωs、bs进行更新的更新公式分别为：
Figure BDA0003596416450000102
Figure BDA0003596416450000103
Figure BDA0003596416450000104
其中，
Figure BDA0003596416450000105
表示重建图像，I表示训练样本集中样本的标签,ws、bs表示Os所有可学习参数的权值、偏置参数，ws'、bs'表示更新后的可学习参数，lr表示学习率，Ls是损失函数，
Figure BDA0003596416450000106
表示求导操作。
步骤3e)判断s≥S是否成立，若是，得到训练好的流体粒子网络模型O*，否则，令s＝s+1，并执行步骤(3c)；
步骤3f)获取图像重建结果：
将测试样本集E1作为训练好的流体粒子网络模型O*的输入进行前向传播，得到所有测试样本对应的重建图像。
本发明提出的混合二阶残差网络可以有效地学习代表性特征，而引导分支网络通过引导像素移动方向来调整SR过程，有利于特征进行优化和增强，获得清晰的细节。在自然图像SR和真实文字显微芯片图像SR的基准测试上的实验都验证了所提出的粒子网络的有效性。它在客观指标和视觉质量方面都优于有代表性的方法。本发明提出的流体粒子网络为硬件特洛伊木马检测等现实应用提供了巨大潜力。
结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件与内容：
仿真实验的硬件平台为：处理器为Intel(R)Core i9-9900K CPU，主频为3.6GHz，内存为32GB、显卡为NVIDIA GeForce RTX 2080Ti。仿真实验的软件平台为：Ubuntu 16.04操作系统，python版本为3.7，Pytorch版本为1.7.1。
仿真实验中用到的RGB图像数据集为DIV2K数据集。仿真实验选取800幅RGB图像组成数据集，且在数据集中选取每个目标类别对应RGB图像组成数据集R0，将进行预处理后的R0组成训练样本集R1，Set5数据集和BSD100数据集的RGB图像组成测试样本集E1。
本发明提出的流体粒子网络由两部分组成：混合二阶残差网络和引导分支网络。为了验证这两种网络结构的有效性，进行了消融研究。结果列于表1。现有技术在测试样本集Set5数据集和BSD100数据集上的峰值信噪比分别为32.33dB、27.65dB，本发明在测试样本集Set5数据集上的峰值信噪比分别为32.54dB、27.71dB，结果列于表2和表3。本发明相对于现有技术，峰值信噪比有显著提高。
表1
Figure BDA0003596416450000111
表2
现有技术 本发明
PSNR 32.33dB 32.54dB
SSIM 0.8970 0.8979
表3
现有技术 本发明
PSNR 27.65dB 27.71dB
SSIM 0.7388 0.7422
综合上述仿真实验中的结果分析，本发明提出提出了一种在系统层面改进的混合二阶残差结构的一种方法，混合二阶残差网络的结果中边缘区域的像素值可能会出现波动。在引导分支网络的引导下，边缘变得更加锐利。由于引导分支网络只从每一层提取特征的导数，不会带来太多成本，能有效地解决传统超分辨率图像重建方法的驱动力不足的问题，具有更好的边缘细节重建效果和参数性能，进一步解决重建图像边缘信息丢失、纹理细节模糊、结构失真的问题。

Claims (4)

1.一种基于流体粒子网络的图像超分辨率重建方法，其特征在于，包括以下步骤：
(1)获取训练样本集和测试样本集：
(1a)获取K幅RGB图像，并对每幅RGB图像进行预处理，对处理后的每幅图像进行1/4降采样，得到降采样后的K幅RGB图像；
(1b)将每幅RGB图像裁剪为大小为H×H的图像块，同时将该幅RGB图像对应的降采样后的RGB图像裁剪为大小为
Figure FDA0003596416440000011
的图像块，并将每幅RGB图像裁剪的图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中半数以上的降采样后的图像块及其标签组成训练样本集R1，将剩余降采样后的图像块及其标签组成测试样本集E1，其中，K≥600，H≥256；
(2)构建流体粒子网络模型O：
构建包括顺次连接的第一卷积层、D个流体粒子子网络、上采样模块的流体粒子网络模型O；每个流体粒子子网络包括并行排布的引导分支网络和混合二阶残差网络，D≥10；引导分支网络包括特征补偿层、特征扩展块和多个卷积层，特征扩展块包括顺次级联的多个卷积层；混合二阶残差网络包括特征补偿层、混合二阶残差提取层、通道注意力模块和多个卷积层，通道注意力模块包括池化层、多个卷积层和多个非线性激活层；
(3)对流体粒子网络模型O进行迭代训练：
(3a)初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的流体粒子网络模型为Os，Os中可学习参数的权值、偏置参数分别为ws、bs，并令s＝1，Os＝O；
(3b)将从训练样本集R1中随机且有放回的选取N个训练样本作为流体粒子网络模型Os的输入，第一卷积层对每个训练样本进行特征提取，得到N个特征图，流体粒子子网络中的引导分支网络对每个特征图进行图像重建，得到N个补偿图像，同时混合二阶残差网络对每个特征图进行图像重建，得到N个中间图像，并对每个补偿图像与其对应位置的中间图像逐元素相加，重复D次，得到N个包含丰富细节和边缘信息的图像，模块对每个包含丰富细节和边缘信息的图像进行上采样，得到N个重建图像，其中，N≥600；
(3c)采用L1范数计算损失函数，并通过重建图像和其对应训练样本标签计算Os的损失值Ls，通过链式法则分别计算Ls对网络中的权值参数ωs及偏置参数bs的偏导
Figure FDA0003596416440000021
和
Figure FDA0003596416440000022
并根据
Figure FDA0003596416440000023
对ωs、bs进行更新。
(3d)判断s≥S是否成立，若是，得到训练好的流体粒子网络模型O*，否则，令s＝s+1，并执行步骤(3b)；
(4)获取图像重建结果：
将测试样本集E1作为训练好的流体粒子网络模型O*的输入进行前向传播，得到所有测试样本对应的重建图像。
2.根据权利要求1所述的基于流体粒子网络的图像超分辨率重建方法，其特征在于，步骤(1a)中所述的对每幅RGB图像进行预处理，具体为：对每幅RGB图像减去DIV2K数据集中各通道的平均灰度值，然后随机水平翻转和90旋转进行数据增强。
3.根据权利要求1所述的基于流体粒子网络的图像超分辨率重建方法，其特征在于，步骤(2)中所述的流体粒子网络模型O，包含10个流体粒子子网络，其中：
引导分支网络，其中卷积层个数为3，特征扩展块包含的卷积层个数为3，该引导分支网络的具体结构为：顺次级联的特征补偿层、第二卷积层、特征扩展块、第三卷积层，其中扩展块包括顺次级联的第四卷积层、第五卷积层、第六卷积层；网络参数设置为：第一卷积层、第二卷积层、第四卷积层卷积核大小3*3，其通道数设置为64，第三卷积层卷积核大小1*1，其通道数设置为64；第五卷积层、第六卷积层是两个步长分别为1和2的卷积层，其通道数设置为64；
混合二阶残差网络，其中卷积层个数为5，通道注意力模块包含的卷积层个数为2，非线性激活层个数为2；该混合二阶残差网络的具体结构包括两个并行排布的分支，第一分支的具体结构是特征补偿层，第二分支的具体结构是顺次级联的第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、混合二阶残差提取层、通道注意力模块，且特征补偿层的输出端与混合二阶残差提取层的输入端连接；通道注意力模块包括顺次级联的池化层、第十二卷积层、第一非线性激活层、第十三卷积层、第二非线性激活层；网络参数设置为：第七卷积层卷积核大小3*3，其通道数设置为64，第八卷积层、第十卷积层是步长为2，第九卷积层、第十一卷积层是步长为1/2，其通道数第二非线性激活层设置为64，第十二卷积层、第十三卷积层卷积核大小1*1，其通道数设置为32，池化层设置为最大池化，第一非线性激活层由LeakyReLU函数实现，第二非线性激活层由Sigmoid函数实现。
上采样模块由PixelShuffle实现，放大参数为4。
4.根据权利要求1所述的基于流体粒子网络的图像超分辨率重建方法，其特征在于，步骤(3c)中所述的L1范数计算损失函数Ls的表达式，以及根据
Figure FDA0003596416440000031
Figure FDA0003596416440000032
对ωs、bs进行更新的更新公式分别为：
Figure FDA0003596416440000033
Figure FDA0003596416440000034
Figure FDA0003596416440000035
其中，
Figure FDA0003596416440000036
表示重建图像，I表示训练样本集中样本的标签,ws、bs表示Os所有可学习参数的权值、偏置参数，ws'、bs'表示更新后的可学习参数，lr表示学习率，Ls是损失函数，
Figure FDA0003596416440000037
表示求导操作。
CN202210393353.7A 2022-04-14 2022-04-14 基于流体粒子网络的图像超分辨率重建方法 Active CN114723608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210393353.7A CN114723608B (zh) 2022-04-14 2022-04-14 基于流体粒子网络的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210393353.7A CN114723608B (zh) 2022-04-14 2022-04-14 基于流体粒子网络的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN114723608A true CN114723608A (zh) 2022-07-08
CN114723608B CN114723608B (zh) 2023-04-07

Family

ID=82243745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210393353.7A Active CN114723608B (zh) 2022-04-14 2022-04-14 基于流体粒子网络的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN114723608B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228546A (zh) * 2023-05-04 2023-06-06 北京蔚领时代科技有限公司 基于通道重组的图像超分方法和系统
CN116257852A (zh) * 2023-03-21 2023-06-13 西安电子科技大学 基于差分曲率的芯片硬件木马检测方法
CN117522687A (zh) * 2023-11-03 2024-02-06 西安电子科技大学 基于粒子动力学的高光谱图像超分辨重建方法
CN117541471A (zh) * 2023-11-09 2024-02-09 西安电子科技大学 基于sph启发的pg-spect图像超分辨重建方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146792A (zh) * 2018-09-25 2019-01-04 西安电子科技大学 基于深度学习的芯片图像超分辨率重建方法
CN109669049A (zh) * 2019-02-01 2019-04-23 浙江大学 一种基于卷积神经网络的粒子图像测速方法
US20190277989A1 (en) * 2018-03-08 2019-09-12 Chevron U.S.A. Inc. System and method for improving resolution of digital seismic images
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
US20200250312A1 (en) * 2019-02-04 2020-08-06 Pathtronic Inc. Systems and methods of security for trusted artificial intelligence hardware processing
EP3709255A1 (en) * 2017-11-09 2020-09-16 Boe Technology Group Co. Ltd. Image processing method, processing apparatus and processing device
US20200410098A1 (en) * 2019-06-26 2020-12-31 Hrl Laboratories, Llc System and method for detecting backdoor attacks in convolutional neural networks
CN112288714A (zh) * 2020-10-28 2021-01-29 西安电子科技大学 基于深度学习的硬件木马检测方法
US20210209730A1 (en) * 2017-05-08 2021-07-08 Boe Technology Group Co., Ltd. Image processing system, image processing method and display device
CN113139989A (zh) * 2021-06-22 2021-07-20 浙江大学 一种基于深度学习的粒子图像测速方法与装置
US20210312630A1 (en) * 2018-11-09 2021-10-07 University Of Florida Research Foundation, Incorporated Histogram-based method for auto segmentation of integrated circuit structures from sem images
CN113496499A (zh) * 2021-04-26 2021-10-12 上海理工大学 一种基于卷积神经网络的低质量粒子速度场图像修正方法
WO2021246968A1 (en) * 2020-06-05 2021-12-09 National University Of Singapore Deep fluorescence imaging by laser-scanning excitation and artificial neural network processing
US20220053005A1 (en) * 2020-08-17 2022-02-17 International Business Machines Corporation Detecting trojan neural networks

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210209730A1 (en) * 2017-05-08 2021-07-08 Boe Technology Group Co., Ltd. Image processing system, image processing method and display device
EP3709255A1 (en) * 2017-11-09 2020-09-16 Boe Technology Group Co. Ltd. Image processing method, processing apparatus and processing device
US20190277989A1 (en) * 2018-03-08 2019-09-12 Chevron U.S.A. Inc. System and method for improving resolution of digital seismic images
CN109146792A (zh) * 2018-09-25 2019-01-04 西安电子科技大学 基于深度学习的芯片图像超分辨率重建方法
US20210312630A1 (en) * 2018-11-09 2021-10-07 University Of Florida Research Foundation, Incorporated Histogram-based method for auto segmentation of integrated circuit structures from sem images
CN109669049A (zh) * 2019-02-01 2019-04-23 浙江大学 一种基于卷积神经网络的粒子图像测速方法
US20200250312A1 (en) * 2019-02-04 2020-08-06 Pathtronic Inc. Systems and methods of security for trusted artificial intelligence hardware processing
US20200410098A1 (en) * 2019-06-26 2020-12-31 Hrl Laboratories, Llc System and method for detecting backdoor attacks in convolutional neural networks
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
WO2021246968A1 (en) * 2020-06-05 2021-12-09 National University Of Singapore Deep fluorescence imaging by laser-scanning excitation and artificial neural network processing
US20220053005A1 (en) * 2020-08-17 2022-02-17 International Business Machines Corporation Detecting trojan neural networks
CN112288714A (zh) * 2020-10-28 2021-01-29 西安电子科技大学 基于深度学习的硬件木马检测方法
CN113496499A (zh) * 2021-04-26 2021-10-12 上海理工大学 一种基于卷积神经网络的低质量粒子速度场图像修正方法
CN113139989A (zh) * 2021-06-22 2021-07-20 浙江大学 一种基于深度学习的粒子图像测速方法与装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116257852A (zh) * 2023-03-21 2023-06-13 西安电子科技大学 基于差分曲率的芯片硬件木马检测方法
CN116257852B (zh) * 2023-03-21 2023-11-14 西安电子科技大学 基于差分曲率的芯片硬件木马检测方法
CN116228546A (zh) * 2023-05-04 2023-06-06 北京蔚领时代科技有限公司 基于通道重组的图像超分方法和系统
CN117522687A (zh) * 2023-11-03 2024-02-06 西安电子科技大学 基于粒子动力学的高光谱图像超分辨重建方法
CN117522687B (zh) * 2023-11-03 2024-05-14 西安电子科技大学 基于粒子动力学的高光谱图像超分辨重建方法
CN117541471A (zh) * 2023-11-09 2024-02-09 西安电子科技大学 基于sph启发的pg-spect图像超分辨重建方法
CN117541471B (zh) * 2023-11-09 2024-06-07 西安电子科技大学 基于sph启发的pg-spect图像超分辨重建方法

Also Published As

Publication number Publication date
CN114723608B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN114723608B (zh) 基于流体粒子网络的图像超分辨率重建方法
CN111738091A (zh) 一种基于多任务深度学习的姿态估计与人体解析系统
CN108765282B (zh) 基于fpga的实时超分辨方法及系统
Ren et al. PhySR: Physics-informed deep super-resolution for spatiotemporal data
KR102543690B1 (ko) 사전 정보 학습 기반 영상 업스케일링 장치 및 방법
Qin et al. Lightweight single image super-resolution with attentive residual refinement network
Xu et al. Super-resolution reconstruction of turbulent flows with a transformer-based deep learning framework
Sharma et al. An efficient image super resolution model with dense skip connections between complex filter structures in Generative Adversarial Networks
Tomar et al. Attentive exfeat based deep generative adversarial network for noise robust face super-resolution
Lee et al. Optimizing image focus for 3D shape recovery through genetic algorithm
Zeyada et al. Resolving phase unwrapping in interferometric synthetic aperture radar using deep recurrent residual U-Net
Benfenati et al. Neural blind deconvolution with Poisson data
Ahn et al. Remove and recover: deep end-to-end two-stage attention network for single-shot heavy rain removal
Gao et al. Lightweight image super-resolution via multi-branch aware CNN and efficient transformer
Ghasemi-Falavarjani et al. Particle filter based multi-frame image super resolution
Franchi et al. Supervised deep Kriging for single-image super-resolution
Lu et al. Group-based single image super-resolution with online dictionary learning
Shang et al. Super-resolution restoration of MMW image based on sparse representation method
Liu et al. Fine-grained scale space learning for single image super-resolution
Jeon et al. PDE-guided reservoir computing for image denoising with small data
Liang et al. Multiband image fusion using total generalized variation regularization
Wang et al. A contrastive learning-based iterative network for remote sensing image super-resolution
Tomar et al. ENHANCING IMAGE SUPER-RESOLUTION WITH DEEP CONVOLUTIONAL NEURAL NETWORKS.
Li et al. Multi-scale cross-fusion for arbitrary scale image super resolution
Zhu et al. Multiframe blind restoration with image quality prior

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant