CN109064394B - 一种基于卷积神经网络的图像超分辨率重建方法 - Google Patents

一种基于卷积神经网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN109064394B
CN109064394B CN201810596676.XA CN201810596676A CN109064394B CN 109064394 B CN109064394 B CN 109064394B CN 201810596676 A CN201810596676 A CN 201810596676A CN 109064394 B CN109064394 B CN 109064394B
Authority
CN
China
Prior art keywords
image
resolution image
resolution
feature
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810596676.XA
Other languages
English (en)
Other versions
CN109064394A (zh
Inventor
邵晓鹏
刘飞
王锦涛
周俊
徐卓
陈浩
赵小明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810596676.XA priority Critical patent/CN109064394B/zh
Publication of CN109064394A publication Critical patent/CN109064394A/zh
Application granted granted Critical
Publication of CN109064394B publication Critical patent/CN109064394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种基于卷积神经网络的图像超分辨率重建方法，包括：获取第一分辨率图像；对所述第一分辨率图像进行上采样处理得到第二分辨率图像；将所述第二分辨率图像输入特征增强层得到第三分辨率图像；将所述第三分辨率图像输入卷积神经网络得到第四分辨率图像。本发明利用最近邻插值算法对图像进行上采样操作，并在输入至卷积神经网络之前使用单输入单输出的特征增强层对图像进行处理，从而避免了图像信息的损失，获取了更适用于卷积神经网络处理的特征输入，得到了更优的重建结果。

Description

一种基于卷积神经网络的图像超分辨率重建方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于卷积神经网络的图像超分辨率重建方法。
背景技术
随着数字成像技术在卫星遥感、生物医疗、公共安全等领域的广泛应用，人们对数字图像质量的要求也越来越高，现有成像设备的分辨率往往不能满足实际需求。图像超分辨率重建技术能够在不改变现有成像设备的前提下，只采用合适的数字信号处理方法，即可提升图像的分辨率，在成本和易用性上具有很大的优势，因此近年来受到了广泛的关注。如今，卷积神经网络技术的应用范围不断扩大，使用卷积神经网络技术进行超分辨率重建具有较为重大的理论意义。
卷积神经网络算法可以将大量图像作为输入，将大量与输入图像对应的标签或其他图像作为标准输出，使用卷积神经网络模型对输入图像进行处理得到输出结果，再将输出结果与标准输出进行比较得到二者的误差，使用随机梯度下降和误差反向传播等算法最小化误差，从而对模型中的权重进行更新，迭代得到最终的模型参数。
但是，现有的利用卷积神经网络对图像进行超分辨率重建的方法在一定程度上损失了图像的信息，而损失掉的图像信息使得重建效果受到限制，影响了重建效果。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于卷积神经网络的图像超分辨率重建方法。
本发明的一个实施例提供了一种基于卷积神经网络的图像超分辨率重建方法，包括：
获取第一分辨率图像；
对第一分辨率图像进行上采样处理得到第二分辨率图像；
将所述第二分辨率图像输入特征增强层得到第三分辨率图像；
将所述第三分辨率图像输入卷积神经网络得到第四分辨率图像。
在本发明的一个实施例中，所述特征增强层包括一个卷积核。
在本发明的一个实施例中，在获取第一分辨率图像之后，还包括：
对所述第一分辨率图像进行转置处理。
在本发明的一个实施例中，在对所述第一分辨率图像进行上采样处理得到第二分辨率图像之前，还包括：
根据双三次插值算法对所述第一分辨率图像进行降采样处理得到降采样图像。
在本发明的一个实施例中，根据双三次插值算法对所述第一分辨率图像进行降采样处理得到降采样图像，包括：
对所述第一分辨率图像均进行缩小处理得到第一目标图像；
查找所述第一目标图像的像素点在所述第一分辨率图像上对应像素点的位置；
选取所述第一分辨率图像上对应像素点预设区域的m个采样像素点；
根据所述双三次插值算法计算每个所述采样像素点对应的权重值；
根据所述m个采样像素点的权重值和所述m个采样点的像素值进行加权求和处理得到所述降采样图像。
在本发明的一个实施例中，对所述第一分辨率图像进行上采样处理得到第二分辨率图像，包括：
根据最近邻插值算法对所述第一分辨率图像进行上采样处理得到第二分辨率图像。
在本发明的一个实施例中，根据最近邻插值算法对所述第一分辨率图像进行上采样处理得到第二分辨率图像，包括：
对所述第一分辨率图像进行放大处理得到第二目标图像；
根据最近邻插值算法计算所述第二目标图像的像素点的像素值得到第二分辨率图像。
在本发明的一个实施例中，将所述第三分辨率图像输入至卷积神经网络得到第四分辨率图像，包括：
将所述第三分辨率图像输入至所述卷积神经网络的特征提取层进行卷积操作得到第一特征图集；
将所述第一特征图集输入至所述卷积神经网络的非线性映射层进行卷积操作得到第二特征图集；
将所述第二特征图集输入至所述卷积神经网络的重建层进行卷积操作得到所述第四分辨率图像。
与现有技术相比，本发明的有益效果：
本发明利用最近邻插值算法对图像进行上采样操作，并在输入至卷积神经网络之前使用单输入单输出的特征增强层对图像进行处理，从而避免了图像信息的损失，获取了更适用于卷积神经网络处理的特征输入，得到了更优的重建结果。
附图说明
图1为本发明实施例提供的一种基于卷积神经网络的图像超分辨率重建方法的流程示意图；
图2为本发明实施例提供的一种图像转置方法的示意图；
图3a-图3d为本发明实施例提供的一种预设区域的示意图；
图4为本发明实施例提供的一种特征增强层的滤波器的可视化结果示意图；
图5为现有技术提供的一种基于卷积神经网络的双三次插值算法的滤波器示意图；
图6为本发明实施例提供的一种基于卷积神经网络的图像超分辨率重建方法的图像处理效果示意图；
图7为现有技术提供的一种基于卷积神经网络的图像超分辨率重建方法的图像处理效果示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1为本发明实施例提供的一种基于卷积神经网络的图像超分辨率重建方法的流程示意图。本发明实施例提供的一种基于卷积神经网络的图像超分辨率重建方法，包括：
获取第一分辨率图像；
对第一分辨率图像进行上采样处理得到第二分辨率图像；
将所述第二分辨率图像输入特征增强层得到第三分辨率图像；
将所述第三分辨率图像输入卷积神经网络得到第四分辨率图像。
本发明实施例对图像上采样操作之后，增加了一层单输入单输出的特征增强层对图像进行处理，从而避免了输入至卷积神经网络的图像信息的损失，获取了更适用于卷积神经网络处理的特征输入，从而得到了更优的重建结果。
实施例二
本发明实施例在上述实施例的基础上，对本发明实施例提供的图像超分辨率重建方法进行具体介绍，该重建方法具体包括：
步骤一、获取第一分辨率图像；
具体地，建立分辨率图像集，分辨率图像集包括N幅第一分辨率图像，其中，N为大于0的自然数。
步骤二、处理第一分辨率图像；
请参见图2，图2为本发明实施例提供的一种图像转置方法的示意图。具体地，当分辨率图像集的数量不大的情况下，对第一分辨率图像进行转置操作，将第一分辨率图像的原始图像和经转置处理的第一分辨率图像的集合组成分辨率图像集，以提升分辨率图像集数据的丰富程度；
在分辨率图像集内的第一分辨率图像得数量较少时，通过将第一分辨率图像进行转置操作后重新加入分辨率图像集，有利于充分利用分辨率图像集中的数据，得到更好的重建效果。
步骤三、对第一分辨率图像降采样处理得到降采样图像；
步骤3.1、根据双三次插值算法对第一分辨率图像进行降采样处理，得到降采样图像；
步骤3.1.1、将第一分辨率图像缩小至原来的a倍，将缩小之后的第一分辨率图像作为第一目标图像；
步骤3.1.2、查找第一目标图像的像素点在第一分辨率图像上对应像素点的位置；
具体地，假设第一分辨率图像的大小为m*n，第一目标图像的大小为M*N，第一目标图像的某个像素点的位置为B(X1,Y1)，该像素点B(X1,Y1)在第一分辨率图像上对应像素点的位置为A(x1,y1)，根据缩小比例得到像素点B(X1,Y1)在第一分辨率图像上对应像素点A(x1,y1)的坐标为：A(x1,y1)＝A(X1*(m/M),Y1*(n/N))；
步骤3.1.3、选取第一分辨率图像上对应像素点预设区域的m个采样像素点；
具体地，在第一分辨率图像上对应像素点A(x1,y1)预设区域选取m个采样像素点，将m个采样像素点作为像素点B(X1,Y1)的像素值的参数；
优选地，m为16；
请参见图3a-图3d，图3a-图3d为本发明实施例提供的一种预设区域的示意图。其中，黑色方框代表对应像素点A(x1,y1)，方框内填充为斜杠的区域代表采样像素点。
步骤3.1.4、根据双三次插值算法计算每个采样像素点对应的权重值；
具体地，利用双三次插值算法的权值函数计算每个采样点对应的权重值；
权值函数为：
其中，x为采样像素点与对应像素点A(x1,y1)的距离，a取-0.5
步骤3.1.5、根据m个采样像素点的权重值和m个采样点的像素值进行加权求和处理得到所述降采样图像；
具体地，将每个采样像素点的权重值与该采样像素点的像素值相乘，再将所有采样像素点的权重值与该采样像素点的像素值相乘的结果进行求和，求和之后所得到的结果即为像素点B(X1,Y1)的像素值，以此类推，从而确定第一目标图像的所有像素点的像素值，将得到所有像素点的像素值之后的第一目标图像作为降采样图像。
需要说明的是，在实际引用的过程中可以不对第一分辨率图像进行降采样操作，而在卷积神经网络的训练过程和质量评价过程中需要对第一分辨率图像进行降采样操作。
步骤四、根据最近邻插值算法对降采样图像进行上采样处理得到第二分辨率图像；
步骤4.1、将降采样图像放大至原来的b倍，将放大之后的降采样图像作为第二目标图像；
步骤4.2、查找第二目标图像的像素点在降采样图像上对应像素点的位置；
具体地，假设降采样图像的大小为p*q，第二目标图像的大小为P*Q，第二目标图像的某个像素点的位置为D(X2,Y2)，该像素点D(X2,Y2)在降采样图像上对应像素点的位置为C(x2,y2)，根据缩小比例得到像素点D(X2,Y2)在降采样图像上对应像素点C(x2,y2)的坐标为：C(x2,y2)＝A(X2*(m/M),Y2*(n/N))；
步骤4.3、将降采样图像上的像素点C(x2,y2)的像素值作为第二目标图像上的像素点D(X2,Y2)的像素值；
步骤4.4、根据最近邻插值算法计算所述第二目标图像的像素点的像素值得到第二分辨率图像；
具体地，假设降采样图像上的待求像素点为f(x2+u,y2+v)，与像素点f(x2+u,y2+v)距离最小的像素点为C(x2,y2)，则根据最近邻插值算法可知像素点f(x2+u,y2+v)的像素值与像素点C(x2,y2)的像素值相等，依次类推，从而确定第二目标图像的所有像素点的像素值，将得到所有像素点的像素值之后的第二目标图像作为第二分辨率图像。
步骤五、将第二分辨率图像输入至特征增强层得到第三分辨率图像；
具体地，利用特征增强层对第三分辨率图像进行特征增强，将第二分辨率图像输入至特征增强层进行卷积操作，特征增强层的特征增强过程如特征增强层的操作公式所示，即将输入至特征增强层的第二分辨率图像与特征增强层的系数进行卷积操作后再加上偏置，对加上偏置后的结果应用ReLU(Rectified Linear Unit,线性整流函数)进行处理，经ReLU处理之后的特征增强层的输出即为第三分辨率图像，第三分辨率图像与第二分辨率图像的大小相同，特征增强层的操作公式为：
F0(Y0)＝max(0,W0*Y0+B0)
式中，F0(Y0)表示特征增强层输出的第三分辨率图像，Y0表示第二分辨率图像，W0和B0分别表示特征增强层的系数和偏置，*表示卷积；
其中，特征增强层包括1个大小为9×9的卷积核，特征增强层输出为第三分辨率图像，第三分辨率图像是由第二分辨率图像与对应的9×9的卷积核通过卷积操作之后再加上偏置，之后再执行ReLU操作得到的；
将经最近邻插值算法进行上采样处理得到的第二分辨率图像输入至单输入单输出的特征增强层，通过特征增强层对第二分辨率图像进行处理得到第三分辨率图像，从而得到更有利于卷积神经网络处理的第三分辨率图像，改善卷积神经网络的重建效果。
步骤六、将第三分辨率图像输入至卷积神经网络得到第四分辨率图像；
其中，卷积神经网络包括特征提取层、非线性映射层和重建层；
步骤6.1、将第三分辨率图像输入至特征提取层进行卷积操作得到第一特征图集；
利用特征提取层对第三分辨率图像进行特征提取，特征提取层的特征提取过程如特征提取层的操作公式所示，即将输入至特征提取层的第三分辨率图像与特征提取层的系数进行卷积操作后再加上偏置，对加上偏置后的结果应用ReLU(Rectified Linear Unit,线性整流函数)进行处理，经ReLU处理之后特征提取层的输出为第一特征图，特征提取层输出的所有第一特征图组成第一特征图集，第一特征图与第三分辨率图像的大小相同，特征提取层的操作公式为：
F1(Y1)＝max(0,W1*F0(Y0)+B1)
式中，F1(Y1)表示特征提取层输出的第一特征图，Y1＝F0(Y0)，F0(Y0)表示第三分辨率图像，W1和B1分别表示特征提取层的系数和偏置，*表示卷积；
其中，特征提取层包括64个大小为9×9的卷积核，即对应于特征提取层的第三分辨率图像有64个9×9的卷积核，因此特征提取层共输出64幅与第三分辨率图像的大小相同的第一特征图，每幅第一特征图是由第三分辨率图像与对应的9×9的卷积核通过卷积操作之后再加上偏置，之后再执行ReLU操作得到的，64幅第一特征图组成第一特征图集；
步骤6.2、将第一特征图集输入至非线性映射层进行卷积操作得到第二特征图集：
利用非线性映射层将经对n1维特征的第一特征图映射到n2维的第二特征图，非线性映射层的映射过程如非线性映射层的操作公式所示，即将第一特征图与非线性映射层的系数进行卷积操作后再加上偏置，对加上偏置后的结果应用ReLU(Rectified LinearUnit,线性整流函数)进行处理，经ReLU处理之后非线性映射层的输出为第二特征图，非线性映射层输出的所有第二特征图组成第二特征图集，非线性映射层输出的第二特征图与第三分辨率图像的大小相同，非线性映射层的计算公式为：
F2(Y2)＝max(0,W2*F1(Y1)+B2)
式中，F2(Y2)表示非线性映射层输出的第二特征图，Y2＝F1(Y1)，W2和B2分别表示非线性映射层的系数和偏置，*表示卷积；
其中，非线性映射层包括64×32个大小为1×1的卷积核，即对应于特征提取层的每个第一特征图有32个1×1的卷积核，非线性映射层共输出32幅与第三分辨率图像的大小相同的第二特征图，32幅第二特征图组成第一特征图集，每幅第二特征图由64幅第一特征图与对应的64个1×1的卷积核通过卷积操作之后再加上偏置，之后再执行ReLU操作得到的；
步骤6.3、将第二特征图集输入至重建层进行卷积操作得到第四分辨率图像：
利用重建层对第二特征图集中的第二特征图进行重建，重建层的重建过程如重建层的操作公式所示，即将输入至特征提取层的第二特征图与重建层的系数进行卷积操作后再加上偏置，对加上偏置后的结果应用ReLU(Rectified Linear Unit,线性整流函数)进行处理，经ReLU处理之后重建层的输出为第四分辨率图像，第四分辨率图像即为重建结果，第四分辨率图像与第三分辨率图像的大小相同，非线性映射层的计算公式为：
F3(Y3)＝max(0,W3*F2(Y2)+B3)
式中，F3(Y3)表示第四分辨率图像，Y3＝F2(Y2)，W3和B3分别表示重建层的系数和偏置，*表示卷积；
其中，重建层包括32个大小为5×5的卷积核，即对应于非线性映射层的每个第二特征图有1个5×5的卷积核，重建层输出为第四分辨率图像，第四分辨率图像是由32幅第二特征图与对应的5×5的卷积核通过卷积操作之后再加上偏置，之后再执行ReLU操作得到的；
请同时参见图4和图5，图4为本发明实施例提供的一种特征增强层的滤波器的可视化结果示意图；图5为现有技术提供的一种基于卷积神经网络的双三次插值算法的滤波器示意图。图4中的滤波器中心区域权重超过1，周边区域占比较大，靠近边缘的负值区域占比超过0.4，这意味着该滤波器能够充分利用周边区域和中心区域的像素信息，强化图像边缘。图5的滤波器的周边区域像素权重占比极小，边缘处负值部分最大占比甚至不足0.1，这就造成了周边信息和中心信息利用不充分，从而导致原始SRCNN网络在重建时的信息丢失。因此本发明实施例使用的在原始卷积神经网络处理前利用最近邻插值算法进行上采样操作并利用特征增强层对图像进行处理，能够完整保留原始图像的信息留待单输入单输出的网络进行特征强化，再进行后续重建过程，有效的提高了重建质量。
请同时参见图6和图7，图6为本发明实施例提供的一种基于卷积神经网络的图像超分辨率重建方法的图像处理效果示意图，图7为现有技术提供的一种基于卷积神经网络的图像超分辨率重建方法的图像处理效果示意图。通过对比可以看出，利用最近邻插值算法进行上采样操作得到的第二分辨率图像最大限度地保留了第一分辨率图像的信息，从而保证卷积神经网络利用更可靠的原始信息获取更有用的特征信息；从特征增强层处理结果得到的第三分辨率图像能够较大程度地还原重建信息，减轻了第三分辨率图像的锯齿效应，使其边缘得到了强化，从而使该实施例的卷积神经网络得到的重建结果优于原始卷积神经网络的重建结果。
本发明实施例针对卷积神经网络使用双三次插值算法进行降采样和最近邻插值算法进行上采样，再在进入卷积神经网络的特征提取层之前增加一层特征增强层，对最近邻上采样的结果进行处理和特征增强，并将特征增强的结果输入到卷积神经网络中，从而能够避免原始的卷积神经网络利用双三次插值算法进行上采样而丢失图像信息的问题，并且将利用最近邻插值算法进行上采样和特征增强层进行特征增强处理后的图像的参数置入卷积神经网络中进行学习时，能够获得更有利于图像进行重建的参数信息，能够使得图像预处理操作和重建操作有更好的结合，进而提升重建效果。
实施例三
本发明实施例在上述实施例的基础上，对本发明实施例提供的另一种图像超分辨率重建方法进行具体介绍，该重建方法具体包括：
步骤一、获取第一分辨率图像；
具体地，建立分辨率图像集，分辨率图像集包括N幅第一分辨率图像，其中，N为大于0的自然数。
步骤二、处理第一分辨率图像；
具体地，当分辨率图像集的数量不大的情况下，对第一分辨率图像进行转置操作，将第一分辨率图像的原始图像和经转置处理的第一分辨率图像的集合组成分辨率图像集，以提升分辨率图像集数据的丰富程度；
在分辨率图像集内的第一分辨率图像得数量较少时，通过将第一分辨率图像进行转置操作后重新加入分辨率图像集，有利于充分利用分辨率图像集中的数据，得到更好的重建效果。
步骤三、根据最近邻插值算法对第一分辨率图像进行上采样处理得到第二分辨率图像；
步骤3.1、将第一分辨率图像放大至原来的b倍，将放大之后的第一分辨率图像作为第二目标图像；
步骤3.2、查找第二目标图像的像素点在第一分辨率图像上对应像素点的位置；
具体地，假设第一分辨率图像的大小为p*q，第二目标图像的大小为P*Q，第二目标图像的某个像素点的位置为D(X2,Y2)，该像素点D(X2,Y2)在第一分辨率图像上对应像素点的位置为C(x2,y2)，根据放大比例得到像素点D(X2,Y2)在第一分辨率图像上对应像素点C(x2,y2)的坐标为：C(x2,y2)＝A(X2*(m/M),Y2*(n/N))；
步骤3.3、将第一分辨率图像上的像素点C(x2,y2)的像素值作为第二目标图像上的像素点D(X2,Y2)的像素值；
步骤3.4、根据最近邻插值算法计算所述第二目标图像的像素点的像素值得到第二分辨率图像；
具体地，假设第一分辨率图像上的待求像素点为f(x2+u,y2+v)，与像素点f(x2+u,y2+v)距离最小的像素点为C(x2,y2)，则根据最近邻插值算法可知像素点f(x2+u,y2+v)的像素值与像素点C(x2,y2)的像素值相等，依次类推，从而确定第二目标图像的所有像素点的像素值，将得到所有像素点的像素值之后的第二目标图像作为第二分辨率图像。
步骤四、将第二分辨率图像输入至特征增强层得到第三分辨率图像；
具体地，利用特征增强层对第三分辨率图像进行特征增强，将第二分辨率图像输入至特征增强层进行卷积操作，特征增强层的特征增强过程如特征增强层的操作公式所示，即将输入至特征增强层的第二分辨率图像与特征增强层的系数进行卷积操作后再加上偏置，对加上偏置后的结果应用ReLU(Rectified Linear Unit,线性整流函数)进行处理，经ReLU处理之后的特征增强层的输出即为第三分辨率图像，第三分辨率图像与第二分辨率图像的大小相同，特征增强层的操作公式为：
F0(Y0)＝max(0,W0*Y0+B0)
式中，F0(Y0)表示特征增强层输出的第三分辨率图像，Y0表示第二分辨率图像，W0和B0分别表示特征增强层的系数和偏置，*表示卷积；
其中，特征增强层包括1个大小为9×9的卷积核，特征增强层输出为第三分辨率图像，第三分辨率图像是由第二分辨率图像与对应的9×9的卷积核通过卷积操作之后再加上偏置，之后再执行ReLU操作得到的；
将经最近邻插值算法进行上采样处理得到的第二分辨率图像输入至单输入单输出的特征增强层，通过特征增强层对第二分辨率图像进行处理得到第三分辨率图像，从而得到更有利于卷积神经网络处理的第三分辨率图像，改善卷积神经网络的重建效果。
步骤五、将第三分辨率图像输入至卷积神经网络得到第四分辨率图像；
其中，卷积神经网络包括特征提取层、非线性映射层和重建层；
步骤5.1、将第三分辨率图像输入至特征提取层进行卷积操作得到第一特征图集；
利用特征提取层对第三分辨率图像进行特征提取，特征提取层的特征提取过程如特征提取层的操作公式所示，即将输入至特征提取层的第三分辨率图像与特征提取层的系数进行卷积操作后再加上偏置，对加上偏置后的结果应用ReLU(Rectified Linear Unit,线性整流函数)进行处理，经ReLU处理之后特征提取层的输出为第一特征图，特征提取层输出的所有第一特征图组成第一特征图集，第一特征图与第三分辨率图像的大小相同，特征提取层的操作公式为：
F1(Y1)＝max(0,W1*F0(Y0)+B1)
式中，F1(Y1)表示特征提取层输出的第一特征图，Y1＝F0(Y0)，F0(Y0)表示第三分辨率图像，W1和B1分别表示特征提取层的系数和偏置，*表示卷积；
其中，特征提取层包括64个大小为9×9的卷积核，即对应于特征提取层的第三分辨率图像有64个9×9的卷积核，因此特征提取层共输出64幅与第三分辨率图像的大小相同的第一特征图，每幅第一特征图是由第三分辨率图像与对应的9×9的卷积核通过卷积操作之后再加上偏置，之后再执行ReLU操作得到的，64幅第一特征图组成第一特征图集；
步骤5.2、将第一特征图集输入至非线性映射层进行卷积操作得到第二特征图集：
利用非线性映射层将经对n1维特征的第一特征图映射到n2维的第二特征图，非线性映射层的映射过程如非线性映射层的操作公式所示，即将第一特征图与非线性映射层的系数进行卷积操作后再加上偏置，对加上偏置后的结果应用ReLU(Rectified LinearUnit,线性整流函数)进行处理，经ReLU处理之后非线性映射层的输出为第二特征图，非线性映射层输出的所有第二特征图组成第二特征图集，非线性映射层输出的第二特征图与第三分辨率图像的大小相同，非线性映射层的计算公式为：
F2(Y2)＝max(0,W2*F1(Y1)+B2)
式中，F2(Y2)表示非线性映射层输出的第二特征图，Y2＝F1(Y1)，W2和B2分别表示非线性映射层的系数和偏置，*表示卷积；
其中，非线性映射层包括64×32个大小为1×1的卷积核，即对应于特征提取层的每个第一特征图有32个1×1的卷积核，非线性映射层共输出32幅与第三分辨率图像的大小相同的第二特征图，32幅第二特征图组成第一特征图集，每幅第二特征图由64幅第一特征图与对应的64个1×1的卷积核通过卷积操作之后再加上偏置，之后再执行ReLU操作得到的；
步骤5.3、将第二特征图集输入至重建层进行卷积操作得到第四分辨率图像：
利用重建层对第二特征图集中的第二特征图进行重建，重建层的重建过程如重建层的操作公式所示，即将输入至特征提取层的第二特征图与重建层的系数进行卷积操作后再加上偏置，对加上偏置后的结果应用ReLU(Rectified Linear Unit,线性整流函数)进行处理，经ReLU处理之后重建层的输出为第四分辨率图像，第四分辨率图像即为重建结果，第四分辨率图像与第三分辨率图像的大小相同，非线性映射层的计算公式为：
F3(Y3)＝max(0,W3*F2(Y2)+B3)
式中，F3(Y3)表示第四分辨率图像，Y3＝F2(Y2)，W3和B3分别表示重建层的系数和偏置，*表示卷积；
其中，重建层包括32个大小为5×5的卷积核，即对应于非线性映射层的每个第二特征图有1个5×5的卷积核，重建层输出为第四分辨率图像，第四分辨率图像是由32幅第二特征图与对应的5×5的卷积核通过卷积操作之后再加上偏置，之后再执行ReLU操作得到的。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于卷积神经网络的图像超分辨率重建方法，其特征在于，包括：
获取第一分辨率图像；
根据双三次插值算法对所述第一分辨率图像进行降采样处理得到降采样图像；
根据最近邻插值算法对降采样图像进行上采样处理得到第二分辨率图像；
将所述第二分辨率图像输入特征增强层，所述特征增强层将所述第二分辨率图像与所述特征增强层的系数进行卷积操作后，加上所述特征增强层的偏置，并采用ReLu对加上偏置后的结果进行处理，得到第三分辨率图像；所述特征增强层包括一个9*9大小的卷积核；
将所述第三分辨率图像输入至所述卷积神经网络的特征提取层进行卷积操作得到第一特征图集；
将所述第一特征图集输入至所述卷积神经网络的非线性映射层进行卷积操作得到第二特征图集；
将所述第二特征图集输入至所述卷积神经网络的重建层进行卷积操作得到第四分辨率图像。
2.如权利要求1所述的重建方法，其特征在于，在获取第一分辨率图像之后，还包括：
对所述第一分辨率图像进行转置处理。
3.如权利要求1所述的重建方法，其特征在于，根据双三次插值算法对所述第一分辨率图像进行降采样处理得到降采样图像，包括：
对所述第一分辨率图像均进行缩小处理得到第一目标图像；
查找所述第一目标图像的像素点在所述第一分辨率图像上对应像素点的位置；
选取所述第一分辨率图像上对应像素点预设区域的m个采样像素点；
根据所述双三次插值算法计算每个所述采样像素点对应的权重值；
根据所述m个采样像素点的权重值和所述m个采样点的像素值进行加权求和处理得到所述降采样图像。
4.如权利要求1所述的重建方法，其特征在于，根据最近邻插值算法对所述降采样图像进行上采样处理得到第二分辨率图像，包括：
对所述降采样图像进行放大处理得到第二目标图像；
根据最近邻插值算法计算所述第二目标图像的像素点的像素值得到第二分辨率图像。
CN201810596676.XA 2018-06-11 2018-06-11 一种基于卷积神经网络的图像超分辨率重建方法 Active CN109064394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810596676.XA CN109064394B (zh) 2018-06-11 2018-06-11 一种基于卷积神经网络的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810596676.XA CN109064394B (zh) 2018-06-11 2018-06-11 一种基于卷积神经网络的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN109064394A CN109064394A (zh) 2018-12-21
CN109064394B true CN109064394B (zh) 2023-07-18

Family

ID=64820160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810596676.XA Active CN109064394B (zh) 2018-06-11 2018-06-11 一种基于卷积神经网络的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN109064394B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110068302A (zh) * 2019-03-07 2019-07-30 中科院微电子研究所昆山分所 一种基于深度神经网络的车辆测距方法
CN110087092B (zh) * 2019-03-11 2020-06-05 西安电子科技大学 基于图像重构卷积神经网络的低码率视频编解码方法
CN111667499A (zh) * 2020-06-05 2020-09-15 济南博观智能科技有限公司 一种交通信号灯的图像分割方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976318A (zh) * 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
WO2017219263A1 (zh) * 2016-06-22 2017-12-28 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295197B (zh) * 2013-05-21 2016-01-20 西安电子科技大学 基于字典学习和双边正则的图像超分辨率重建方法
TWI624804B (zh) * 2016-11-07 2018-05-21 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN107169925B (zh) * 2017-04-21 2019-10-22 西安电子科技大学 无级缩放超分辨率图像的重建方法
CN107358575A (zh) * 2017-06-08 2017-11-17 清华大学 一种基于深度残差网络的单幅图像超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976318A (zh) * 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法
WO2017219263A1 (zh) * 2016-06-22 2017-12-28 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法

Also Published As

Publication number Publication date
CN109064394A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN109146788A (zh) 基于深度学习的超分辨率图像重建方法和装置
CN109064394B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN111784582B (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN112419150B (zh) 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
CN111553867B (zh) 一种图像去模糊方法、装置、计算机设备及存储介质
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN111242846A (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
Chen et al. Single image super-resolution using deep CNN with dense skip connections and inception-resnet
CN106169174B (zh) 一种图像放大方法
CN107833182A (zh) 基于特征提取的红外图像超分辨率重建方法
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN113298716B (zh) 基于卷积神经网络的图像超分辨率重建方法
CN111861884A (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN114581347B (zh) 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN111145102A (zh) 一种基于卷积神经网络的合成孔径雷达图像去噪方法
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
CN113793289A (zh) 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN113222819A (zh) 一种基于深度卷积神经网络的遥感图像超分辨重建方法
CN116934592A (zh) 一种基于深度学习的图像拼接方法、系统、设备及介质
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
CN115511705A (zh) 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
CN111899166A (zh) 一种基于深度学习的医学高光谱显微图像超分辨重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant