CN111369466B - 基于可变形卷积的卷积神经网络的图像畸变矫正增强方法 - Google Patents

基于可变形卷积的卷积神经网络的图像畸变矫正增强方法 Download PDF

Info

Publication number
CN111369466B
CN111369466B CN202010149075.1A CN202010149075A CN111369466B CN 111369466 B CN111369466 B CN 111369466B CN 202010149075 A CN202010149075 A CN 202010149075A CN 111369466 B CN111369466 B CN 111369466B
Authority
CN
China
Prior art keywords
convolution
neural network
layer
deformable
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010149075.1A
Other languages
English (en)
Other versions
CN111369466A (zh
Inventor
张乾
李�根
张辰晟
童同
罗鸣
高钦泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Imperial Vision Information Technology Co ltd
Original Assignee
Fujian Imperial Vision Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Imperial Vision Information Technology Co ltd filed Critical Fujian Imperial Vision Information Technology Co ltd
Priority to CN202010149075.1A priority Critical patent/CN111369466B/zh
Publication of CN111369466A publication Critical patent/CN111369466A/zh
Application granted granted Critical
Publication of CN111369466B publication Critical patent/CN111369466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，利用深度残差网络直接从低分辨率的真实低清图像执行卷积神经网络的卷积计算阶段，卷积神经网络的卷积残差块组计算阶段，可变形卷积残差块组计算阶段，逐步利用反卷积和卷积运算的方式重建出高分辨率图像，对于RealSR数据集这类采用不同焦距所采取的真实低清高清图像对中，由于镜头畸变，图像对之间存在变形问题，通过使用可变形卷积能够减轻不同焦距镜头拍摄下的真实图像对之间的图像变形问题对超分辨率重建效果的影响，提高图像的超分辨率重建效果。

Description

基于可变形卷积的卷积神经网络的图像畸变矫正增强方法
技术领域
本发明涉及图像超分辨率领域，特别是一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法。
背景技术
单帧超分辨率成像(Single image super-resolution,SISR)技术旨在基于低分辨率图像重建出其对应的高分辨率图像。单帧超分辨率成像技术作为计算机视觉领域的经典技术，近几十年以来都是热门的研究主题。与一般的图像锐化或清晰度调整不同，单帧超分辨率成像技术能根据图像整体的语义信息增强欠缺的图像细节，勾勒出图像纹理。因此，该技术具有很高的实用价值并具有广泛的研究前景。
近年来，许多学者通过设计新颖的神经卷积网络架构和改进损失函数来提高生成的高分辨率图像质量。目前基于深度学习的单帧超分辨率成像有以下较具代表性的方法：Dong等人提出SRCNN结构，首先使用双三次(bicubic)插值将低分辨率图像放大成目标尺寸，接着通过基于深度学习的三层卷积网络拟合非线性映射，最后重建出其对应的一张高分辨率图像。Kim等人提出VDSR结构，该结构通过学习高分辨率和低分辨率图像之间的高频部分残差产生高分辨率图像。Ledig等人将生成对抗网络(Generative AdversarialNetwork,GAN)应用到超分辨率问题上，提出以SRResNet作为生成网络部分的SRGAN生成对抗网络。该生成对抗网络利用感知损失和对抗损失提高生成的超分辨率图像的真实感，并使生成图片和原始的低分辨率图片在语义和风格上更为接近。
然而，现在大多的是SISR技术是基于从高分辨率图像下采样得到的低分辨率图像数据集进行训练，通过这种训练集得到的结果不太具有实用价值，因为真实场景往往更为复杂，而上述训练过程和实际应用场景相差甚远。
为了解决这个问题，一些学者将研究重心放在收集和创建更接近于真实场景的训练数据集。Cai等人提出用不同焦距的镜头拍摄同一场景制作RealSR数据集，并使用三种主流超分算法在RealSR数据集和传统超分数据集上进行比对，发现通过RealSR数据集产生的超分辨率图像效果更好。Zhang等人提出使用单反相机拍摄的真实的原始传感数据进行超分辨率训练，从而产生具有更高保真度的超分辨率图像。Chen等人在前人的基础上，提出使用R-V降质(R-V degradation)图像对来产生超分辨率图像。其中R和V分别代表分辨率(Resolution)和视野域(field-of-view),研究人员从视野域小的图像中提取出高分辨率图像，从视野域大的图像中提取出低分辨率图像并制作成City100数据集。研究人员在该数据集基础上提出Camera SR模型并验证了这是一种提高现有SR方法性能的实用解决方案。
虽然相关研究已经取得了较好的单帧超分辨率成像效果，但由于不同的照相机间的配置不同问题，从真实场景拍摄采集得到的数据集存在镜头畸变，即所采集到的真实图像对之间存在图像变形问题。
发明内容
有鉴于此，本发明的目的是提供一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，能够减小不同焦距拍摄下的真实图像对之间的图像变形问题对超分辨率重建效果的影响，提高图像的超分辨率重建效果。
本发明采用以下方案实现：一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，包括以下步骤：
步骤S1：将长焦距镜头所拍摄的低分辨图像Il作为基于可变形卷积的卷积神经网络的输入，而短焦距镜头所拍摄的高分辨率图像Ih作为基于可变形卷积的卷积神经网络所学习的目标；
步骤S2：所述基于可变形卷积的卷积神经网络包括卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段；将低分辨图像Il分别执行卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段，最终得到一幅其对应的高分辨率图像Isr；
步骤S3：利用重建的高分辨率图像Isr与步骤S1的短焦镜头所拍摄得到的高分辨率图像Ih图像进行比较，计算两幅图像之间的L1损失，即计算两幅图像各个像素值的绝对值之差的和,公式如下；
Figure GDA0004185430040000031
(1)
其中i为图片像素点下标，m为图片的像素点总数；
步骤S4：基于步骤S3所得到的L1损失值，利用该损失值，采用Adam优化算法，进行梯度反向传播，不断更新并优化获得新的卷积权值参数和偏置参数；新的卷积权值参数和偏置参数再通过基于可变形卷积的卷积神经网络生成新的重建高分辨率图像，不断重复反向传播更新，即不断重复步骤S2；当完成预设的重复次数后，则停止反向传播，获取出训练过程中的最优的卷积权值参数和偏置参数，利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，用以实现图像畸变矫正增强的目的。
进一步地，所述步骤S2具体包括以下步骤：
步骤S21：卷积神经网络的卷积计算阶段：输入的低分辨率图像Il进行卷积神经网络的卷积运算和激活函数运算得到其对应的第一层输出结果F1，其计算公式为：
F1＝LR(W1*Il+B1) (2)
其中，W1、B1、LR分别是第一层的卷积权值参数，第一层的偏置参数和RELU激活函数；
步骤S22：卷积神经网络的卷积残差块组计算阶段：所述卷积神经网络的卷积残差块组由3个卷积神经网络的卷积残差运算块组成，其中每个卷积神经网络的卷积残差运算块是由2次卷积神经网络的卷积运算、2次激活函数运算和1次相加运算组成，其中一个卷积神经网络的卷积残差运算块的计算公式为：
Figure GDA0004185430040000041
其中Wl 1和Wl 2分别是第l层的第1个和第2个卷积权值参数；
Figure GDA0004185430040000042
和/>
Figure GDA0004185430040000043
分别是第l层的第1个和第2个偏置参数；Fl和Fl-1分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果Fl；
步骤S23：可变形卷积残差块组计算阶段：所述可变形卷积残差块组由13个可变形卷积残差运算块组成，每个可变形卷积残差运算块是由2次可变形卷积运算、1次激活函数运算和1次相加运算组成，其中可变形卷积描述如下：
所述可变形卷积为在卷积神经网络的卷积中通过增加一个偏移量，从而进行扩张，同样的位置P0变为：
Figure GDA0004185430040000051
其中P0为卷积神经网络中的卷积的中心坐标，Pn为卷积神经网络中的卷积的规则坐标偏移量，P0+Pn即为卷积神经网络的卷积的位置表达，Δpn为基于可变性卷积的卷积神经网络的自适应学习偏移量，采样的位置从而变成了不规则位置，P0+Pn+Δpn即为可变形卷积的位置表达；此处引入可变形卷积后，在输入层Fl将会增加一个额外的卷积层来学习偏移量，该偏移量的特征图宽高将与输入层的特征图一样，但通道数为2N2的自适应学习偏移层，其中2N2代表N2个二维偏移量，即X，Y两个方向上的偏移量，因此偏移层的每一位置就代表了卷积神经网络的卷积核在输入特征图上对应位置的偏移量，此处所说的偏移量即为公式(4)中的Δpn；一个可变形卷积残差运算块计算公式为：
Figure GDA0004185430040000052
其中Wl 1(ΔP1)，Wl 2(ΔP2)分别为第l层的第1个经偏移的卷积权值参数和第2个经偏移的卷积权值参数；
Figure GDA0004185430040000061
和Bl 2分别是第l层的第1个和第2个偏置参数；Fl和Fl-1分别是第l层和l-1层的输出结果；第l-1层的输出结果Fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果Fl；
步骤S24：反卷积计算阶段：所述反卷积计算由2次反卷积运算、2次激活函数运算和1次卷积神经网络的卷积运算组成，其计算公式是：
Isr＝W3*(LR(W2*(LR(W1*F1+B1))+B2)+B3 (6)
其中W1和B1分别是第1层反卷积层的卷积权值参数和偏置参数；W2和B2分别是第2反卷积层的卷积权值参数和偏置参数；W3和B3分别是第3卷积层的卷积权值参数和偏置参数；Isr是重建的高分辨率图像。
进一步地，所述步骤S4具体包括以下步骤：
预设将进行1000次步骤S2周期运算，其中每进行若干个步骤S2周期后，将当前基于可变形卷积的卷积神经网络的卷积权值参数和偏置参数进行保存，同时利用基于此卷积权值参数和偏置参数的基于可变形卷积的卷积神经网络，将预先准备的测试集中所有低分辨率图像重建成高分辨率图像，然后将重建后的高分辨率图像与其对应的真实高分辨率图像进行计算PSNR和SSIM并记录，其中PSNR公式如下：
Figure GDA0004185430040000062
此处假设给定一个大小为m*n的真实高分辨率图像I和重建后的高分辨图像K,公式中的
Figure GDA0004185430040000063
为图片的最大像素值，MSE为均方误差，其定义如下：
Figure GDA0004185430040000071
SSIM公式如下：
Figure GDA0004185430040000072
其中的x代表在真实高分辨率图像I图片中所取的一个N*N的窗口样本集合，y代表在重建后的高分辨率图像K图片中所取的一个与真实高分辨率图像I对应的N*N的窗口样本集合，m为一张图片所能取的窗口个数，μx为样本x的均值，μy为样本y的均值,δx为样本x的方差，δy为样本y的方差，δxy为样本x,y的协方差，c1＝(0.01L)2和c2＝(0.03L)2为两个常数，L为图像的最大像素值；
当运算完所有计算周期后，选择记录中最优的PSNR和SSIM，并找到该次记录中所保存的的卷积权值参数和偏置参数，此即为最优的卷积权值参数和偏置参数，
利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，即实现图像畸变矫正增强的目的。
与现有技术相比，本发明具有以下有益效果：
本发明对于RealSR数据集这类采用不同焦距所采取的真实低清高清图像对中，由于镜头畸变，图像对之间存在变形问题，通过使用可变形卷积能够减轻不同焦距镜头拍摄下的真实图像对之间的图像变形问题对超分辨率重建效果的影响，提高图像的超分辨率重建效果。
附图说明
图1为本发明实施例的原理示意图。
图2为本发明实施例的所使用的可变形卷积示意图。
图3为本发明实施例的与现有技术2倍图像超分辨率重建效果比较图,其中图3(a)为原始输入图像，图3(b)为双三次插值法(psnr:25.642,ssim:0.782)，图3(c)为双三次插值法(psnr:25.642,ssim:0.782)，图3(d)为本实施例(psnr:29.476,ssim:0.912)，图3(e)真实高清图。
图4为本发明实施例的现有技术3倍图像超分辨率重建效果比较图；其中图4(a)为原始输入图像，图4(b)为双三次插值法图像，图4(c)为SRResnet图像，图4(d)为本实施例图像，图4(e)为真实高清图。
图5为本发明实施例的与现有技术4倍图像超分辨率重建效果比较图，其中图5(a)为原始输入图像，图5(b)为双三次插值法图像，图5(c)为SRResent图像，图5(d)为本实施例图像，图5(e)为真实高清图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，包括以下步骤：
步骤S1：将长焦距镜头所拍摄的低分辨图像Il作为基于可变形卷积的卷积神经网络的输入，而短焦距镜头所拍摄的高分辨率图像Ih作为基于可变形卷积的卷积神经网络所学习的目标；
步骤S2：所述基于可变形卷积的卷积神经网络包括卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段；将低分辨图像Il分别执行卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段，最终得到一幅其对应的高分辨率图像Isr；
步骤S3：利用重建的高分辨率图像Isr与步骤S1的短焦镜头所拍摄得到的高分辨率图像Ih图像进行比较，计算两幅图像之间的L1损失，即计算两幅图像各个像素值的绝对值之差的和,公式如下；
Figure GDA0004185430040000091
其中i为图片像素点下标，m为图片的像素点总数；
步骤S4：基于步骤S3所得到的L1损失值，利用该损失值，采用Adam优化算法，进行梯度反向传播，不断更新并优化获得新的卷积权值参数和偏置参数；新的卷积权值参数和偏置参数再通过基于可变形卷积的卷积神经网络生成新的重建高分辨率图像，不断重复反向传播更新，即不断重复步骤S2；当完成预设的重复次数后，则停止反向传播，获取出训练过程中的最优的卷积权值参数和偏置参数，利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，用以实现图像畸变矫正增强的目的。
在本实施例中，所述步骤S2具体包括以下步骤：
步骤S21：卷积神经网络的卷积计算阶段：输入的低分辨率图像Il进行卷积神经网络的卷积运算和激活函数运算得到其对应的第一层输出结果F1，其计算公式为：
F1＝LR(W1*Il+B1) (2)
其中，W1、B1、LR分别是第一层的卷积权值参数，第一层的偏置参数和RELU激活函数；
步骤S22：卷积神经网络的卷积残差块组计算阶段：所述卷积神经网络的卷积残差块组由3个卷积神经网络的卷积残差运算块组成，其中每个卷积神经网络的卷积残差运算块是由2次卷积神经网络的卷积运算、2次激活函数运算和1次相加运算组成，其中一个卷积神经网络的卷积残差运算块的计算公式为：
Figure GDA0004185430040000101
其中Wl 1和Wl 2分别是第l层的第1个和第2个卷积权值参数；
Figure GDA0004185430040000112
和/>
Figure GDA0004185430040000113
分别是第l层的第1个和第2个偏置参数；Fl和Fl-1分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果Fl；
步骤S23：可变形卷积残差块组计算阶段：所述可变形卷积残差块组由13个可变形卷积残差运算块组成，每个可变形卷积残差运算块是由2次可变形卷积运算、1次激活函数运算和1次相加运算组成，其中卷积神经网络的卷积和可变形卷积区别描述如下：
卷积神经网络的卷积：以本实施例使用的3*3卷积为例，卷积神经网络的卷积其会在输入上使用规则网格R进行采样，进行加权运算，R定义了感受野的大小和扩张，其中R为:
{(-1,-1),(-1,0)........(0,1),(1,1)} (4)
卷积神经网络的卷积在输入的每个位置P0,通过下列式子进行计算：
Figure GDA0004185430040000114
其中Pn是对R中所列位置的枚举，Fl为当前层输入，Fl+1为卷积结果后的输出结果，Fl(p0)为当前层卷积位置，Fl+1(P0)为当次卷积结果后的输出值，W(Pn)为当次卷积权重值，此处n＝9；
如图2所示，所述可变形卷积为在卷积神经网络的卷积中通过增加一个偏移量，从而进行扩张，同样的位置P0变为：
Figure GDA0004185430040000121
其中P0为卷积神经网络中的卷积的中心坐标，Pn为卷积神经网络中的卷积的规则坐标偏移量，P0+Pn即为卷积神经网络的卷积的位置表达，Δpn为基于可变性卷积的卷积神经网络的自适应学习偏移量，采样的位置从而变成了不规则位置，P0+Pn+Δpn即为可变形卷积的位置表达；此处引入可变形卷积后，在输入层Fl将会增加一个额外的卷积层来学习偏移量，该偏移量的特征图宽高将与输入层的特征图一样，但通道数为2N2的自适应学习偏移层，其中2N2代表N2个二维偏移量，即X，Y两个方向上的偏移量，因此偏移层的每一位置就代表了卷积神经网络的卷积核在输入特征图上对应位置的偏移量，此处所说的偏移量即为公式(4)中的Δpn；一个可变形卷积残差运算块计算公式为：
Figure GDA0004185430040000122
其中Wl 1(ΔP1)，Wl 2(ΔP2)分别为第l层的第1个经偏移的卷积权值参数和第2个经偏移的卷积权值参数；
Figure GDA0004185430040000123
和Bl 2分别是第l层的第1个和第2个偏置参数；Fl和Fl-1分别是第l层和l-1层的输出结果；第l-1层的输出结果Fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果Fl；
步骤S24：反卷积计算阶段：所述反卷积计算由2次反卷积运算、2次激活函数运算和1次卷积神经网络的卷积运算组成，其计算公式是：
Isr＝W3*(LR(W2*(LR(W1*F1+B1))+B2)+B3
(6)
其中W1和B1分别是第1层反卷积层的卷积权值参数和偏置参数；W2和B2分别是第2反卷积层的卷积权值参数和偏置参数；W3和B3分别是第3卷积层的卷积权值参数和偏置参数；Isr是重建的高分辨率图像。
在本实施例中，所述步骤S4具体包括以下步骤：
预设将进行1000次步骤S2周期运算，其中每进行若干个步骤S2周期后，将当前基于可变形卷积的卷积神经网络的卷积权值参数和偏置参数进行保存，同时利用基于此卷积权值参数和偏置参数的基于可变形卷积的卷积神经网络，将预先准备的测试集中所有低分辨率图像重建成高分辨率图像，然后将重建后的高分辨率图像与其对应的真实高分辨率图像进行计算PSNR和SSIM并记录，其中PSNR公式如下：
Figure GDA0004185430040000131
此处假设给定一个大小为m*n的真实高分辨率图像I和重建后的高分辨图像K,公式中的
Figure GDA0004185430040000132
为图片的最大像素值，MSE为均方误差，其定义如下：
Figure GDA0004185430040000133
SSIM公式如下：
Figure GDA0004185430040000134
其中的x代表在真实高分辨率图像I图片中所取的一个N*N的窗口样本集合，y代表在重建后的高分辨率图像K图片中所取的一个与真实高分辨率图像I对应的N*N的窗口样本集合，m为一张图片所能取的窗口个数，μx为样本x的均值，μy为样本y的均值,δx为样本x的方差，δy为样本y的方差，δxy为样本x,y的协方差，c1＝(0.01L)2和c2＝(0.03L)2为两个常数，L为图像的最大像素值；
当运算完所有计算周期后，选择记录中最优的PSNR和SSIM，并找到该次记录中所保存的的卷积权值参数和偏置参数，此即为最优的卷积权值参数和偏置参数，
利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，即实现图像畸变矫正增强的目的。
如图3-5所示，为了验证本实施例的有效性，采用realsr公开数据库进行实验，该数据库为利用佳能相机的不同焦距镜头所拍摄的真实低清和高清图相对。本实施例得到的重建效果与一些现有技术进行比较，例如双三次插值法(Bicubic interpolation)和SRResnet。
本实施例采用峰值信噪比(PSNR:Peak Signal to Noise Ratio)和结构相似性(SSIM:Structural Similarity Index)来衡量视频图像重建性能。
Figure GDA0004185430040000141
Figure GDA0004185430040000151
表1本实施例与现有技术对于RealSR数据集的PSNR和SSIM平均值；
从表1中可以看出，在三种不同的缩放比例下，本实施例比现有技术中经典的超分辨率算法的(SRResnet)的PSNR值和SSIM值中分别提高了0.133dB、0.099dB、0.069dB和0.0009、0.0034、0.0017。由此可见，本实施例采用以上技术方案，较其他现有技术相比，获得了更高质量的图像，能够减轻不同焦距镜头拍摄下的真实图像对之间的图像变形问题对超分辨率重建效果的影响，提高图像的超分辨率重建效果。
较佳的，本实施例提出的基于可变形卷积网络的图像畸变增强算法的创新性主要体现在，利用深度残差网络直接从低分辨率的真实低清图像执行卷积神经网络的卷积计算阶段，卷积神经网络的卷积残差块组计算阶段，可变形卷积残差块组计算阶段，逐步利用反卷积和卷积运算的方式重建出高分辨率图像，对于RealSR数据集这类采用不同焦距所采取的真实低清高清图像对中，由于镜头畸变，图像对之间存在变形问题，通过使用可变形卷积能够减轻不同焦距镜头拍摄下的真实图像对之间的图像变形问题对超分辨率重建效果的影响，提高图像的超分辨率重建效果。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (3)

1.基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，其特征在于：包括以下步骤：
步骤S1：将长焦距镜头所拍摄的低分辨图像Il作为基于可变形卷积的卷积神经网络的输入，而短焦距镜头所拍摄的高分辨率图像Ih作为基于可变形卷积的卷积神经网络所学习的目标；
步骤S2：所述基于可变形卷积的卷积神经网络包括卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段；将低分辨图像Il分别执行卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段，最终得到一幅其对应的高分辨率图像Isr；
步骤S3：利用重建的高分辨率图像Isr与步骤S1的短焦镜头所拍摄得到的高分辨率图像Ih图像进行比较，计算两幅图像之间的L1损失，即计算两幅图像各个像素值的绝对值之差的和,公式如下；
Figure FDA0004185430030000011
其中i为图片像素点下标，m为图片的像素点总数；
步骤S4：基于步骤S3所得到的L1损失值，利用该损失值，采用Adam优化算法，进行梯度反向传播，不断更新并优化获得新的卷积权值参数和偏置参数；新的卷积权值参数和偏置参数再通过基于可变形卷积的卷积神经网络生成新的重建高分辨率图像，不断重复反向传播更新，即不断重复步骤S2；当完成预设的重复次数后，则停止反向传播，获取出训练过程中的最优的卷积权值参数和偏置参数，利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，用以实现图像畸变矫正增强的目的。
2.根据权利要求1所述的基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，其特征在于：所述步骤S2具体包括以下步骤：
步骤S21：卷积神经网络的卷积计算阶段：输入的低分辨率图像Il进行卷积神经网络的卷积运算和激活函数运算得到其对应的第一层输出结果F1，其计算公式为：
F1＝LR(W1*Il+B1) (2)
其中，W1、B1、LR分别是第一层的卷积权值参数，第一层的偏置参数和RELU激活函数；
步骤S22：卷积神经网络的卷积残差块组计算阶段：所述卷积神经网络的卷积残差块组由3个卷积神经网络的卷积残差运算块组成，其中每个卷积神经网络的卷积残差运算块是由2次卷积神经网络的卷积运算、2次激活函数运算和1次相加运算组成，其中一个卷积神经网络的卷积残差运算块的计算公式为：
Figure FDA0004185430030000021
其中Wl 1和Wl 2分别是第l层的第1个和第2个卷积权值参数；
Figure FDA0004185430030000022
和/>
Figure FDA0004185430030000023
分别是第l层的第1个和第2个偏置参数；Fl和Fl-1分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果Fl；
步骤S23：可变形卷积残差块组计算阶段：所述可变形卷积残差块组由13个可变形卷积残差运算块组成，每个可变形卷积残差运算块是由2次可变形卷积运算、1次激活函数运算和1次相加运算组成，其中可变形卷积描述如下：
所述可变形卷积为在卷积神经网络的卷积中通过增加一个偏移量，从而进行扩张，同样的位置P0变为：
Figure FDA0004185430030000031
其中P0为卷积神经网络中的卷积的中心坐标，Pn为卷积神经网络中的卷积的规则坐标偏移量，P0+Pn即为卷积神经网络的卷积的位置表达，Δpn为基于可变性卷积的卷积神经网络的自适应学习偏移量，采样的位置从而变成了不规则位置，P0+Pn+Δpn即为可变形卷积的位置表达；此处引入可变形卷积后，在输入层Fl将会增加一个额外的卷积层来学习偏移量，该偏移量的特征图宽高将与输入层的特征图一样，但通道数为2N2的自适应学习偏移层，其中2N2代表N2个二维偏移量，即X，Y两个方向上的偏移量，因此偏移层的每一位置就代表了卷积神经网络的卷积核在输入特征图上对应位置的偏移量，此处所说的偏移量即为公式(4)中的Δpn；一个可变形卷积残差运算块计算公式为：
Figure FDA0004185430030000032
其中Wl 1(ΔP1)，Wl 2(ΔP2)分别为第l层的第1个经偏移的卷积权值参数和第2个经偏移的卷积权值参数；
Figure FDA0004185430030000033
和Bl 2分别是第l层的第1个和第2个偏置参数；Fl和Fl-1分别是第l层和l-1层的输出结果；第l-1层的输出结果Fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果Fl；
步骤S24：反卷积计算阶段：所述反卷积计算由2次反卷积运算、2次激活函数运算和1次卷积神经网络的卷积运算组成，其计算公式是：
Isr＝W3*(LR(W2*(LR(W1*F1+B1))+B2)+B3) (6)
其中W1和B1分别是第1层反卷积层的卷积权值参数和偏置参数；W2和B2分别是第2反卷积层的卷积权值参数和偏置参数；W3和B3分别是第3卷积层的卷积权值参数和偏置参数；Isr是重建的高分辨率图像。
3.根据权利要求1所述的基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，其特征在于：所述步骤S4具体包括以下步骤：
预设将进行1000次步骤S2周期运算，其中每进行若干个步骤S2周期后，将当前基于可变形卷积的卷积神经网络的卷积权值参数和偏置参数进行保存，同时利用基于此卷积权值参数和偏置参数的基于可变形卷积的卷积神经网络，将预先准备的测试集中所有低分辨率图像重建成高分辨率图像，然后将重建后的高分辨率图像与其对应的真实高分辨率图像进行计算PSNR和SSIM并记录，其中PSNR公式如下：
Figure FDA0004185430030000041
此处假设给定一个大小为m*n的真实高分辨率图像I和重建后的高分辨图像K,公式中的
Figure FDA0004185430030000042
为图片的最大像素值，MSE为均方误差，其定义如下：
Figure FDA0004185430030000043
SSIM公式如下：
Figure FDA0004185430030000044
其中的x代表在真实高分辨率图像I图片中所取的一个N*N的窗口样本集合，y代表在重建后的高分辨率图像K图片中所取的一个与真实高分辨率图像I对应的N*N的窗口样本集合，m为一张图片所能取的窗口个数，μx为样本x的均值，μy为样本y的均值,δx为样本x的方差，δy为样本y的方差，δxy为样本x,y的协方差，c1＝(0.01L)2和c2＝(0.03L)2为两个常数，L为图像的最大像素值；
当运算完所有计算周期后，选择记录中最优的PSNR和SSIM，并找到该次记录中所保存的卷积权值参数和偏置参数，此即为最优的卷积权值参数和偏置参数，
利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，即实现图像畸变矫正增强的目的。
CN202010149075.1A 2020-03-05 2020-03-05 基于可变形卷积的卷积神经网络的图像畸变矫正增强方法 Active CN111369466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010149075.1A CN111369466B (zh) 2020-03-05 2020-03-05 基于可变形卷积的卷积神经网络的图像畸变矫正增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010149075.1A CN111369466B (zh) 2020-03-05 2020-03-05 基于可变形卷积的卷积神经网络的图像畸变矫正增强方法

Publications (2)

Publication Number Publication Date
CN111369466A CN111369466A (zh) 2020-07-03
CN111369466B true CN111369466B (zh) 2023-06-16

Family

ID=71208747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010149075.1A Active CN111369466B (zh) 2020-03-05 2020-03-05 基于可变形卷积的卷积神经网络的图像畸变矫正增强方法

Country Status (1)

Country Link
CN (1) CN111369466B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118388B (zh) * 2020-08-04 2022-07-26 绍兴埃瓦科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN112102306B (zh) * 2020-09-25 2022-10-25 西安交通大学 一种基于双重gan的边缘修复特征融合的缺陷检测方法
CN113538307B (zh) * 2021-06-21 2023-06-20 陕西师范大学 基于多视角超分辨深度网络的合成孔径成像方法
CN115115552B (zh) * 2022-08-25 2022-11-18 腾讯科技（深圳）有限公司 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN116246209B (zh) * 2023-03-09 2024-02-13 彩虹鱼科技(广东)有限公司 基于偏移卷积核的广角镜头生物目标检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN110443755A (zh) * 2019-08-07 2019-11-12 杭州智团信息技术有限公司 一种基于高低频信号量的图像超分辨率的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10944996B2 (en) * 2019-08-19 2021-03-09 Intel Corporation Visual quality optimized video compression

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN110443755A (zh) * 2019-08-07 2019-11-12 杭州智团信息技术有限公司 一种基于高低频信号量的图像超分辨率的方法

Also Published As

Publication number Publication date
CN111369466A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111369466B (zh) 基于可变形卷积的卷积神经网络的图像畸变矫正增强方法
CN109102462B (zh) 一种基于深度学习的视频超分辨率重建方法
Anwar et al. Densely residual laplacian super-resolution
CN111539879B (zh) 基于深度学习的视频盲去噪方法及装置
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN112801877B (zh) 一种视频帧的超分辨率重构方法
CN107784628B (zh) 一种基于重建优化和深度神经网络的超分辨率实现方法
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
Chang et al. Low-light image restoration with short-and long-exposure raw pairs
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
CN114418853B (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
He et al. SRDRL: A blind super-resolution framework with degradation reconstruction loss
Shen et al. Deeper super-resolution generative adversarial network with gradient penalty for sonar image enhancement
CN111489305B (zh) 基于强化学习的图像增强方法
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
Mehta et al. Gated multi-resolution transfer network for burst restoration and enhancement
CN113487482A (zh) 一种基于元迁移学习的自适应超分辨率方法
WO2018119565A1 (zh) 一种桶形畸变图像的矫正重构方法及装置
CN116208812A (zh) 一种基于立体事件和强度相机的视频插帧方法及系统
CN116452431A (zh) 基于多分支渐进式深度网络的弱光图像增强方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法
Cheng et al. Large-scale blind face super-resolution via edge guided frequency aware generative facial prior networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant