CN110942425A - 一种超分辨率图像的重构方法、重构系统和电子设备 - Google Patents
一种超分辨率图像的重构方法、重构系统和电子设备 Download PDFInfo
- Publication number
- CN110942425A CN110942425A CN201911169190.9A CN201911169190A CN110942425A CN 110942425 A CN110942425 A CN 110942425A CN 201911169190 A CN201911169190 A CN 201911169190A CN 110942425 A CN110942425 A CN 110942425A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- neural network
- network model
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 175
- 238000012545 processing Methods 0.000 claims abstract description 82
- 238000012360 testing method Methods 0.000 claims abstract description 78
- 238000003062 neural network model Methods 0.000 claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 claims description 68
- 238000007781 pre-processing Methods 0.000 claims description 44
- 230000009466 transformation Effects 0.000 claims description 44
- 238000013507 mapping Methods 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000013215 result calculation Methods 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种超分辨率图像的重构方法和重构系统，该超分辨率图像的重构方法和重构系统通过将传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式两者进行有机结合，其首先根据像素插值图像重构方式分别对训练图像和测试图像进行预插值重构处理以初步提高该训练图像和该测试图像的分辨率，再根据处理后的该训练图像对深度卷积神经网络模型进行优化学习训练处理，最后基于优化学习训练处理后的该深度卷积神经网络模型对该测试图像进行相应的图像重构处理，从而输出相应的超分辨率图像，其能够有效地减少深度卷积神经网络模型的运算量，以及降低图像重构的成本和提高图像重构的速度。
Description
技术领域
本发明涉及图像重建的技术领域，特别涉及一种超分辨率图像的重构方法、重构系统和电子设备。
背景技术
超分辨率图像重构技术是指将一幅低分辨率图像或者图像序列进行重构处理以获得与之对应的超分辨率图像。其中，由于图像中的高频分量信息与图像中的细节相关，故超分辨率图像重构的关键在于将图像中的高频分量信息重构出来。现有的超分辨率图像的重构方法主要包括基于插值的方法、基于像素重构的方法和基于模型学习的方法；其中，基于双三次插值算法的超分辨率图像重构具有算法处理速度快和对平滑区域处理效果好的特点，但是其在处理边缘和纹理区域的过程中很容易引入模糊和噪声，从而造成图像重建质量的下降；而基于深度卷积神经网络模型的学习方法，则需要利用大量的高分辨率图像及其对应的低分辨率图像组成相应的训练样本对模型进行训练，虽然该方法能够获得较好的重构效果，但是其通常需要占用大量的运算内存和耗费较长的运算时间。可见，现有的关于超分辨率图像的重构技术普遍存在使用图像区域范围小、容易引入模糊与噪声、占用大量运算内存和耗时较长的缺点，其不能提供一种同时具有重构噪声小、重构成本较低和重构速度快的超分辨率图像重构方法。
发明内容
针对现有技术存在的缺陷，本发明提供一种超分辨率图像的重构方法和重构系统，该超分辨率图像的重构方法和重构系统通过将传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式两者进行有机结合，其首先根据像素插值图像重构方式分别对训练图像和测试图像进行预插值重构处理以初步提高该训练图像和该测试图像的分辨率，再根据处理后的该训练图像对深度卷积神经网络模型进行优化学习训练处理，最后基于优化学习训练处理后的该深度卷积神经网络模型对该测试图像进行相应的图像重构处理，从而输出相应的超分辨率图像；可见，该超分辨率图像的重构方法和重构系统同时利用了传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式各自的在图像重构中的优点，这样能够保证其在对图像的不同区域范围进行相应的图像重构操作的同时不会引用模糊和噪声，并且还能够减少深度卷积神经网络模型的运算量，从而降低该深度卷积神经网络模型的内存占用量和缩短运算时间，以降低图像重构的成本和提高图像重构的速度。
本发明提供一种超分辨率图像的重构方法，其特征在于，所述超分辨率图像的重构方法包括如下步骤：
步骤S1，对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集；
步骤S2，根据所述预处理图像训练集，对深度卷积神经网络模型进行学习训练处理，并根据所述学习训练处理得到的关于所述深度卷积神经网络模型的特征图和/或映射结果，优化所述深度卷积神经网络模型；
步骤S3，对图像测试集中的测试图像进行关于插值变换的第二图像预处理后，将所述测试图像输入至经过优化的所述卷积神经网络中，以输出得到与所述测试图像对应的超分辨率图像；
进一步，在所述步骤S1中，对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集具体包括，
步骤S101，将所述图像训练集中的每一个训练图像转换至YCbCr颜色空间，以对应得到若干YCbCr颜色训练图像；
步骤S102，对每一个YCbCr颜色训练图像进行关于Y分量的降采样处理；
步骤S103，对经过所述降采样处理的每一个所述YCbCr颜色训练图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成所述预处理图像训练集；
进一步，在所述步骤S103中，对经过所述降采样处理的每一个所述YCbCr颜色训练图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成所述预处理图像训练集具体包括，
步骤S1031，确定每一个所述YCbCr颜色训练图像中对应的待插值像素点以及所述待插值像素点附件像素区域对应的九个参考像素点；
步骤S1032，根据所述九个参考像素点，在水平方向和垂直方向上对所述待插值像素点进行三阶插值处理；
步骤S1033，根据下面公式(1)，计算经过所述三阶插值处理后的所述待插值像素点对应的像素值f(i+u，j+v)
在上述公式(1)中，i和j为预设中心点对应的坐标，row为所述像素值的行数，col为所述像素值的列数，u和v分别为所述待插值像素点与所述预设中心点在水平方向和垂直方向上的距离，w(x)为一分段函数，其具体表达式如下面公式(2)
步骤S1034，根据计算得到的所述像素值，将所述训练图像转换成具有比所述训练图像初始分辨率高的分辨率的预处理图像，以构成所述预处理图像训练集；
进一步，在所述步骤S2中，根据所述预处理图像训练集，对深度卷积神经网络模型进行学习训练处理，并根据所述学习训练处理得到的关于所述深度卷积神经网络模型的特征图和/或映射结果，优化所述深度卷积神经网络模型具体包括，
步骤S201，根据TensorFlow架构，构建具有四层结构的所述深度卷积神经网络模型，同时对所述预处理图像训练集进行筛选处理以获得输入图像训练集；
步骤S202，将所述输入图像训练集的每一个图像的输入至所述深度卷积神经网络模型的循环网络模块中，以对所述输入图像训练集的每一个图像进行单次学习训练处理，以获得关于所述输入图像训练集的每一个图像对应的降维化学习训练结果；
步骤S203，对所述降维化学习训练结果进行特征和/或非线性映射的提取处理，以此优化所述深度卷积神经网络模型；
进一步，在所述步骤S203中，对所述降维化学习训练结果进行特征和/或非线性映射的提取处理具体包括，
步骤S2031，根据下面公式(3)，计算得到所述输入图像训练集的每一个图像对应的特征块F1(N)
F1(N)＝max(0，W1*N+B1) (3)
在上述公式(3)中，W1为权值矩阵，其中W1＝c×f1×f1×n1，c为所述输入图像训练集的每一个图像对应的通道数，f1为所述深度卷积神经网络模型的第一层中单个卷积核的尺寸，n1为所述深度卷积神经网络模型中第一层的卷积核的个数，B1为一偏置向量，max()为取最大值运算，
将所述特征块F1(N)组合形成所述卷积神经网络中第一层对应的特征图；
步骤S2032，根据下面公式(4)，将所述卷积神经网络中第一层对应的特征图映射到所述卷积神经网络中第二层中，以获得对应的非线性映射特征图F2(N)
F2(N)＝max(0，W2*F1(N)+B2) (4)
在上述公式(4)中，W2为权值矩阵，其中W2＝n1×f2×f2×n2，n1为所述深度卷积神经网络模型中第一层的卷积核的个数，n2为所述深度卷积神经网络模型中第二层的卷积核的个数，f2为所述深度卷积神经网络模型的第二层中单个卷积核的尺寸，B2为一偏置向量，max()为取最大值运算；
进一步，在所述步骤S3中，对图像测试集中的测试图像进行关于插值变换的第二图像预处理后，将所述测试图像输入至经过优化的所述卷积神经网络中，以输出得到与所述测试图像对应的超分辨率图像具体包括，
步骤S301，对所述图像测试集中的每一个测试图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成预处理图像测试集；
步骤S302，基于上述步骤S2031和步骤S2032，获取关于所述预处理图像测试集中每一个图像对应的特征块F1(N)和非线性映射特征图F2(N)；
步骤S303，根据下面公式(5)，计算出所述预处理图像测试集中每一个图像对应的超分辨率特征图
F3(N)＝W3*F2(N)+B3 (5)
在上述公式(5)中，W3为权值矩阵，其中W3＝n2×f3×f3×c，n2为所述深度卷积神经网络模型中第二层的卷积核的个数，f3为所述深度卷积神经网络模型的第三层中单个卷积核的尺寸，c为超分辨率图像于所述深度卷积神经网络模型的输出通道数，B3为一维度为c的偏置向量；
步骤S304，将步骤S303计算得到的所有超分辨率特征图进行组合，以得到与所述测试图像对应的所述超分辨率图像。
本发明还提供一种超分辨率图像的重构系统，其特征在于：
所述超分辨率图像的重构系统包括第一图像预处理模块，神经网络模型训练模块、特征图/映射结果计算模块、第二图像预处理模块和超分辨率图像计算模块；其中，
所述第一图像预处理模块用于对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集；
所述神经网络模型训练模块用于根据所述预处理图像训练集，对深度卷积神经网络模型进行学习训练处理；
所述特征图/映射结果计算模块用于计算所述预处理图像训练集对应于所述深度卷积神经网络模型的特征图和/或映射结果，并以此优化所述深度卷积神经网络模型；
所述第二图像预处理模块用于对图像测试集中的测试图像进行关于插值变换的第二图像预处理；
所述超分辨率图像计算模块用于将经所述第二图像预处理的图像测试集中的测试图像输入至经过优化的所述卷积神经网络中，以输出得到与所述测试图像对应的超分辨率图像；
进一步，所述第一图像预处理模块包括颜色空间变换子模块、降采样处理子模块和第一插值变换子模块；其中，
所述颜色空间变换子模块用于将所述图像训练集中的每一个训练图像转换至YCbCr颜色空间，以对应得到若干YCbCr颜色训练图像；
所述降采样处理子模块用于对每一个YCbCr颜色训练图像进行关于Y分量的降采样处理；
所述第一插值变换子模块用于对经过所述降采样处理的每一个所述YCbCr颜色训练图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成所述预处理图像训练集；
进一步，所述第二图像预处理模块包括第二插值变换子模块；其中
所述第二插值变换子模块用于对所述图像测试集中的每一个测试图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成预处理图像测试集。
本发明还提供一种电子设备，其特征在于：
所述电子设备包括摄像镜头、CCD传感器和主控芯片；其中，
所述摄像镜头用于形成关于目标对象的成像光信号；
所述CCD传感器用于将所述成像光信号转换为数字信号；
所述主控芯片用于根据前述的超分辨率图像的重构方法对所述数字信号对应的低分辨率图像进行图像重构操作，以获得相应的超分辨率图像。
相比于现有技术，该超分辨率图像的重构方法和重构系统通过将传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式两者进行有机结合，其首先根据像素插值图像重构方式分别对训练图像和测试图像进行预插值重构处理以初步提高该训练图像和该测试图像的分辨率，再根据处理后的该训练图像对深度卷积神经网络模型进行优化学习训练处理，最后基于优化学习训练处理后的该深度卷积神经网络模型对该测试图像进行相应的图像重构处理，从而输出相应的超分辨率图像；可见，该超分辨率图像的重构方法和重构系统同时利用了传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式各自的在图像重构中的优点，这样能够保证其在对图像的不同区域范围进行相应的图像重构操作的同时不会引用模糊和噪声，并且还能够减少深度卷积神经网络模型的运算量，从而降低该深度卷积神经网络模型的内存占用量和缩短运算时间，以降低图像重构的成本和提高图像重构的速度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种超分辨率图像的重构方法的流程示意图。
图2为本发明提供的一种超分辨率图像的重构系统的结构示意图。
图3为本发明提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种超分辨率图像的重构方法的流程示意图。该超分辨率图像的重构方法包括如下步骤：
步骤S1，对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集。
优选地，在该步骤S1中，对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集具体包括，步骤S101，将该图像训练集中的每一个训练图像转换至YCbCr颜色空间，以对应得到若干YCbCr颜色训练图像；
步骤S102，对每一个YCbCr颜色训练图像进行关于Y分量的降采样处理；
步骤S103，对经过该降采样处理的每一个该YCbCr颜色训练图像进行九宫格插值处理，并根据该九宫格插值处理的结果形成该预处理图像训练集。
优选地，在该步骤S103中，对经过该降采样处理的每一个该YCbCr颜色训练图像进行九宫格插值处理，并根据该九宫格插值处理的结果形成该预处理图像训练集具体包括，
步骤S1031，确定每一个该YCbCr颜色训练图像中对应的待插值像素点以及该待插值像素点附件像素区域对应的九个参考像素点；
步骤S1032，根据该九个参考像素点，在水平方向和垂直方向上对该待插值像素点进行三阶插值处理；
步骤S1033，根据下面公式(1)，计算经过该三阶插值处理后的该待插值像素点对应的像素值f(i+u，j+v)
在上述公式(1)中，i和j为预设中心点对应的坐标，row为该像素值的行数，col为该像素值的列数，u和v分别为该待插值像素点与该预设中心点在水平方向和垂直方向上的距离，w(x)为一分段函数，其具体表达式如下面公式(2)
步骤S1034，根据计算得到的该像素值，将该训练图像转换成具有比该训练图像初始分辨率高的分辨率的预处理图像，以构成该预处理图像训练集。
步骤S2，根据该预处理图像训练集，对深度卷积神经网络模型进行学习训练处理，并根据该学习训练处理得到的关于该深度卷积神经网络模型的特征图和/或映射结果，优化该深度卷积神经网络模型。
优选地，在该步骤S2中，根据该预处理图像训练集，对深度卷积神经网络模型进行学习训练处理，并根据该学习训练处理得到的关于该深度卷积神经网络模型的特征图和/或映射结果，优化该深度卷积神经网络模型具体包括，
步骤S201，根据TensorFlow架构，构建具有四层结构的该深度卷积神经网络模型，同时对该预处理图像训练集进行筛选处理以获得输入图像训练集；
步骤S202，将该输入图像训练集的每一个图像的输入至该深度卷积神经网络模型的循环网络模块中，以对该输入图像训练集的每一个图像进行单次学习训练处理，以获得关于该输入图像训练集的每一个图像对应的降维化学习训练结果；
步骤S203，对该降维化学习训练结果进行特征和/或非线性映射的提取处理，以此优化该深度卷积神经网络模型。
优选地，在该步骤S203中，对该降维化学习训练结果进行特征和/或非线性映射的提取处理具体包括，
步骤S2031，根据下面公式(3)，计算得到该输入图像训练集的每一个图像对应的特征块F1(N)
F1(N)＝max(0，W1*N+B1) (3)
在上述公式(3)中，W1为权值矩阵，其中W1＝c×f1×f1×n1，c为该输入图像训练集的每一个图像对应的通道数，f1为该深度卷积神经网络模型的第一层中单个卷积核的尺寸，n1为该深度卷积神经网络模型中第一层的卷积核的个数，B1为一偏置向量，max()为取最大值运算，
将该特征块F1(N)组合形成该卷积神经网络中第一层对应的特征图；
步骤S2032，根据下面公式(4)，将该卷积神经网络中第一层对应的特征图映射到该卷积神经网络中第二层中，以获得对应的非线性映射特征图F2(N)
F2(N)＝max(0，W2*F1(N)+B2) (4)
在上述公式(4)中，W2为权值矩阵，其中W2＝n1×f2×f2×n2，n1为该深度卷积神经网络模型中第一层的卷积核的个数，n2为该深度卷积神经网络模型中第二层的卷积核的个数，f2为该深度卷积神经网络模型的第二层中单个卷积核的尺寸，B2为一偏置向量，max()为取最大值运算。
步骤S3，对图像测试集中的测试图像进行关于插值变换的第二图像预处理后，将该测试图像输入至经过优化的该卷积神经网络中，以输出得到与该测试图像对应的超分辨率图像。
优选地，在该步骤S3中，对图像测试集中的测试图像进行关于插值变换的第二图像预处理后，将该测试图像输入至经过优化的该卷积神经网络中，以输出得到与该测试图像对应的超分辨率图像具体包括，
步骤S301，对该图像测试集中的每一个测试图像进行九宫格插值处理，并根据该九宫格插值处理的结果形成预处理图像测试集；
步骤S302，基于上述步骤S2031和步骤S2032，获取关于该预处理图像测试集中每一个图像对应的特征块F1(N)和非线性映射特征图F2(N)；
步骤S303，根据下面公式(5)，计算出该预处理图像测试集中每一个图像对应的超分辨率特征图
F3(N)＝W3*F2(N)+B3 (5)
在上述公式(5)中，W3为权值矩阵，其中W3＝n2×f3×f3×c，n2为该深度卷积神经网络模型中第二层的卷积核的个数，f3为该深度卷积神经网络模型的第三层中单个卷积核的尺寸，c为超分辨率图像于该深度卷积神经网络模型的输出通道数，B3为一维度为c的偏置向量；
步骤S304，将步骤S303计算得到的所有超分辨率特征图进行组合，以得到与该测试图像对应的该超分辨率图像。
参阅图2，为本发明实施例提供的一种超分辨率图像的重构系统的结构示意图。该超分辨率图像的重构系统包括第一图像预处理模块，神经网络模型训练模块、特征图/映射结果计算模块、第二图像预处理模块和超分辨率图像计算模块；其中，
该第一图像预处理模块用于对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集；
该神经网络模型训练模块用于根据该预处理图像训练集，对深度卷积神经网络模型进行学习训练处理；
该特征图/映射结果计算模块用于计算该预处理图像训练集对应于该深度卷积神经网络模型的特征图和/或映射结果，并以此优化该深度卷积神经网络模型；
该第二图像预处理模块用于对图像测试集中的测试图像进行关于插值变换的第二图像预处理；
该超分辨率图像计算模块用于将经该第二图像预处理的图像测试集中的测试图像输入至经过优化的该卷积神经网络中，以输出得到与该测试图像对应的超分辨率图像。
优选地，该第一图像预处理模块包括颜色空间变换子模块、降采样处理子模块和第一插值变换子模块；
优选地，该颜色空间变换子模块用于将该图像训练集中的每一个训练图像转换至YCbCr颜色空间，以对应得到若干YCbCr颜色训练图像；
优选地，该降采样处理子模块用于对每一个YCbCr颜色训练图像进行关于Y分量的降采样处理；
优选地，该第一插值变换子模块用于对经过该降采样处理的每一个该YCbCr颜色训练图像进行九宫格插值处理，并根据该九宫格插值处理的结果形成该预处理图像训练集；
优选地，该第二图像预处理模块包括第二插值变换子模块；
优选地，该第二插值变换子模块用于对该图像测试集中的每一个测试图像进行九宫格插值处理，并根据该九宫格插值处理的结果形成预处理图像测试集。
参阅图3，为本发明实施例提供的一种电子设备的结构示意图。该电子设备包括摄像镜头、CCD传感器和主控芯片；其中，
该摄像镜头用于形成关于目标对象的成像光信号；
该CCD传感器用于将该成像光信号转换为数字信号；
该主控芯片用于根据前述的超分辨率图像的重构方法对该数字信号对应的低分辨率图像进行图像重构操作，以获得相应的超分辨率图像。
从上述实施例的内容可知，该超分辨率图像的重构方法和重构系统通过将传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式两者进行有机结合，其首先根据像素插值图像重构方式分别对训练图像和测试图像进行预插值重构处理以初步提高该训练图像和该测试图像的分辨率，再根据处理后的该训练图像对深度卷积神经网络模型进行优化学习训练处理，最后基于优化学习训练处理后的该深度卷积神经网络模型对该测试图像进行相应的图像重构处理，从而输出相应的超分辨率图像；可见，该超分辨率图像的重构方法和重构系统同时利用了传统的像素插值图像重构方式与深度卷积神经网络模型学习训练图像重构方式各自的在图像重构中的优点，这样能够保证其在对图像的不同区域范围进行相应的图像重构操作的同时不会引用模糊和噪声，并且还能够减少深度卷积神经网络模型的运算量，从而降低该深度卷积神经网络模型的内存占用量和缩短运算时间，以降低图像重构的成本和提高图像重构的速度。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种超分辨率图像的重构方法，其特征在于，所述超分辨率图像的重构方法包括如下步骤：
步骤S1，对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集；
步骤S2，根据所述预处理图像训练集，对深度卷积神经网络模型进行学习训练处理，并根据所述学习训练处理得到的关于所述深度卷积神经网络模型的特征图和/或映射结果，优化所述深度卷积神经网络模型；
步骤S3，对图像测试集中的测试图像进行关于插值变换的第二图像预处理后，将所述测试图像输入至经过优化的所述卷积神经网络中，以输出得到与所述测试图像对应的超分辨率图像。
2.如权利要求1所述的超分辨率图像的重构方法，其特征在于：
在所述步骤S1中，对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集具体包括，
步骤S101，将所述图像训练集中的每一个训练图像转换至YCbCr颜色空间，以对应得到若干YCbCr颜色训练图像；
步骤S102，对每一个YCbCr颜色训练图像进行关于Y分量的降采样处理；
步骤S103，对经过所述降采样处理的每一个所述YCbCr颜色训练图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成所述预处理图像训练集。
3.如权利要求2所述的超分辨率图像的重构方法，其特征在于：
在所述步骤S103中，对经过所述降采样处理的每一个所述YCbCr颜色训练图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成所述预处理图像训练集具体包括，
步骤S1031，确定每一个所述YCbCr颜色训练图像中对应的待插值像素点以及所述待插值像素点附件像素区域对应的九个参考像素点；
步骤S1032，根据所述九个参考像素点，在水平方向和垂直方向上对所述待插值像素点进行三阶插值处理；
步骤S1033，根据下面公式(1)，计算经过所述三阶插值处理后的所述待插值像素点对应的像素值f(i+u，j+v)
在上述公式(1)中，i和j为预设中心点对应的坐标，row为所述像素值的行数，col为所述像素值的列数，u和v分别为所述待插值像素点与所述预设中心点在水平方向和垂直方向上的距离，w(x)为一分段函数，其具体表达式如下面公式(2)
步骤S1034，根据计算得到的所述像素值，将所述训练图像转换成具有比所述训练图像初始分辨率高的分辨率的预处理图像，以构成所述预处理图像训练集。
4.如权利要求1所述的超分辨率图像的重构方法，其特征在于：
在所述步骤S2中，根据所述预处理图像训练集，对深度卷积神经网络模型进行学习训练处理，并根据所述学习训练处理得到的关于所述深度卷积神经网络模型的特征图和/或映射结果，优化所述深度卷积神经网络模型具体包括，
步骤S201，根据TensorFlow架构，构建具有四层结构的所述深度卷积神经网络模型，同时对所述预处理图像训练集进行筛选处理以获得输入图像训练集；
步骤S202，将所述输入图像训练集的每一个图像的输入至所述深度卷积神经网络模型的循环网络模块中，以对所述输入图像训练集的每一个图像进行单次学习训练处理，以获得关于所述输入图像训练集的每一个图像对应的降维化学习训练结果；
步骤S203，对所述降维化学习训练结果进行特征和/或非线性映射的提取处理，以此优化所述深度卷积神经网络模型。
5.如权利要求4所述的超分辨率图像的重构方法，其特征在于：
在所述步骤S203中，对所述降维化学习训练结果进行特征和/或非线性映射的提取处理具体包括，
步骤S2031，根据下面公式(3)，计算得到所述输入图像训练集的每一个图像对应的特征块F1(N)
F1(N)＝max(0，W1*N+B1) (3)
在上述公式(3)中，W1为权值矩阵，其中W1＝c×f1×f1×n1，c为所述输入图像训练集的每一个图像对应的通道数，f1为所述深度卷积神经网络模型的第一层中单个卷积核的尺寸，n1为所述深度卷积神经网络模型中第一层的卷积核的个数，B1为一偏置向量，max()为取最大值运算，将所述特征块F1(N)组合形成所述卷积神经网络中第一层对应的特征图；
步骤S2032，根据下面公式(4)，将所述卷积神经网络中第一层对应的特征图映射到所述卷积神经网络中第二层中，以获得对应的非线性映射特征图F2(N)
F2(N)＝max(0，W2*F1(N)+B2) (4)
在上述公式(4)中，W2为权值矩阵，其中W2＝n1×f2×f2×n2，n1为所述深度卷积神经网络模型中第一层的卷积核的个数，n2为所述深度卷积神经网络模型中第二层的卷积核的个数，f2为所述深度卷积神经网络模型的第二层中单个卷积核的尺寸，B2为一偏置向量，max()为取最大值运算。
6.如权利要求5所述的超分辨率图像的重构方法，其特征在于：
在所述步骤S3中，对图像测试集中的测试图像进行关于插值变换的第二图像预处理后，将所述测试图像输入至经过优化的所述卷积神经网络中，以输出得到与所述测试图像对应的超分辨率图像具体包括，
步骤S301，对所述图像测试集中的每一个测试图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成预处理图像测试集；
步骤S302，基于上述步骤S2031和步骤S2032，获取关于所述预处理图像测试集中每一个图像对应的特征块F1(N)和非线性映射特征图F2(N)；
步骤S303，根据下面公式(5)，计算出所述预处理图像测试集中每一个图像对应的超分辨率特征图
F3(N)＝W3*F2(N)+B3 (5)
在上述公式(5)中，W3为权值矩阵，其中W3＝n2×f3×f3×c，n2为所述深度卷积神经网络模型中第二层的卷积核的个数，f3为所述深度卷积神经网络模型的第三层中单个卷积核的尺寸，c为超分辨率图像于所述深度卷积神经网络模型的输出通道数，B3为一维度为c的偏置向量；
步骤S304，将步骤S303计算得到的所有超分辨率特征图进行组合，以得到与所述测试图像对应的所述超分辨率图像。
7.一种超分辨率图像的重构系统，其特征在于：
所述超分辨率图像的重构系统包括第一图像预处理模块，神经网络模型训练模块、特征图/映射结果计算模块、第二图像预处理模块和超分辨率图像计算模块；其中，
所述第一图像预处理模块用于对图像训练集中的训练图像进行关于颜色空间变换和插值变换的第一图像预处理，以对应地获得预处理图像训练集；
所述神经网络模型训练模块用于根据所述预处理图像训练集，对深度卷积神经网络模型进行学习训练处理；
所述特征图/映射结果计算模块用于计算所述预处理图像训练集对应于所述深度卷积神经网络模型的特征图和/或映射结果，并以此优化所述深度卷积神经网络模型；
所述第二图像预处理模块用于对图像测试集中的测试图像进行关于插值变换的第二图像预处理；
所述超分辨率图像计算模块用于将经所述第二图像预处理的图像测试集中的测试图像输入至经过优化的所述卷积神经网络中，以输出得到与所述测试图像对应的超分辨率图像。
8.如权利要求7所述的超分辨率图像的重构系统，其特征在于：
所述第一图像预处理模块包括颜色空间变换子模块、降采样处理子模块和第一插值变换子模块；其中，
所述颜色空间变换子模块用于将所述图像训练集中的每一个训练图像转换至YCbCr颜色空间，以对应得到若干YCbCr颜色训练图像；
所述降采样处理子模块用于对每一个YCbCr颜色训练图像进行关于Y分量的降采样处理；
所述第一插值变换子模块用于对经过所述降采样处理的每一个所述YCbCr颜色训练图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成所述预处理图像训练集。
9.如权利要求7所述的超分辨率图像的重构系统，其特征在于：
所述第二图像预处理模块包括第二插值变换子模块；其中
所述第二插值变换子模块用于对所述图像测试集中的每一个测试图像进行九宫格插值处理，并根据所述九宫格插值处理的结果形成预处理图像测试集。
10.一种电子设备，其特征在于：
所述电子设备包括摄像镜头、CCD传感器和主控芯片；其中，所述摄像镜头用于形成关于目标对象的成像光信号；
所述CCD传感器用于将所述成像光信号转换为数字信号；
所述主控芯片用于根据前述权利要求1-6中任一项所述的超分辨率图像的重构方法对所述数字信号对应的低分辨率图像进行图像重构操作，以获得相应的超分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911169190.9A CN110942425A (zh) | 2019-11-26 | 2019-11-26 | 一种超分辨率图像的重构方法、重构系统和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911169190.9A CN110942425A (zh) | 2019-11-26 | 2019-11-26 | 一种超分辨率图像的重构方法、重构系统和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110942425A true CN110942425A (zh) | 2020-03-31 |
Family
ID=69908523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911169190.9A Pending CN110942425A (zh) | 2019-11-26 | 2019-11-26 | 一种超分辨率图像的重构方法、重构系统和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110942425A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348742A (zh) * | 2020-11-03 | 2021-02-09 | 北京信工博特智能科技有限公司 | 一种基于深度学习的图像非线性插值获取方法及获取系统 |
| CN113917401A (zh) * | 2021-09-30 | 2022-01-11 | 中国船舶重工集团公司第七二四研究所 | 一种基于重构的多功能微波超视距雷达系统资源配置方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102842130A (zh) * | 2012-07-04 | 2012-12-26 | 贵州师范大学 | 由合成孔径雷达图像中检测建筑和提取数目信息的方法 |
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
| CN106920214A (zh) * | 2016-07-01 | 2017-07-04 | 北京航空航天大学 | 空间目标图像超分辨率重建方法 |
| CN107464216A (zh) * | 2017-08-03 | 2017-12-12 | 济南大学 | 一种基于多层卷积神经网络的医学图像超分辨率重构方法 |
| CN107705249A (zh) * | 2017-07-19 | 2018-02-16 | 苏州闻捷传感技术有限公司 | 基于深度度量学习的图像超分辨方法 |
| CN108122196A (zh) * | 2016-11-28 | 2018-06-05 | 阿里巴巴集团控股有限公司 | 图片的纹理贴图方法和装置 |
| CN109214985A (zh) * | 2018-05-16 | 2019-01-15 | 长沙理工大学 | 用于图像超分辨率重构的递归密集残差网络 |
| CN109360148A (zh) * | 2018-09-05 | 2019-02-19 | 北京悦图遥感科技发展有限公司 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
| CN110246084A (zh) * | 2019-05-16 | 2019-09-17 | 五邑大学 | 一种超分辨率图像重构方法及其系统、装置、存储介质 |
| CN110443754A (zh) * | 2019-08-06 | 2019-11-12 | 安徽大学 | 一种数字图像分辨率提升的方法 |
| CN110490196A (zh) * | 2019-08-09 | 2019-11-22 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
-
2019
- 2019-11-26 CN CN201911169190.9A patent/CN110942425A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102842130A (zh) * | 2012-07-04 | 2012-12-26 | 贵州师范大学 | 由合成孔径雷达图像中检测建筑和提取数目信息的方法 |
| CN106920214A (zh) * | 2016-07-01 | 2017-07-04 | 北京航空航天大学 | 空间目标图像超分辨率重建方法 |
| CN108122196A (zh) * | 2016-11-28 | 2018-06-05 | 阿里巴巴集团控股有限公司 | 图片的纹理贴图方法和装置 |
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
| CN107705249A (zh) * | 2017-07-19 | 2018-02-16 | 苏州闻捷传感技术有限公司 | 基于深度度量学习的图像超分辨方法 |
| CN107464216A (zh) * | 2017-08-03 | 2017-12-12 | 济南大学 | 一种基于多层卷积神经网络的医学图像超分辨率重构方法 |
| CN109214985A (zh) * | 2018-05-16 | 2019-01-15 | 长沙理工大学 | 用于图像超分辨率重构的递归密集残差网络 |
| CN109360148A (zh) * | 2018-09-05 | 2019-02-19 | 北京悦图遥感科技发展有限公司 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
| CN110246084A (zh) * | 2019-05-16 | 2019-09-17 | 五邑大学 | 一种超分辨率图像重构方法及其系统、装置、存储介质 |
| CN110443754A (zh) * | 2019-08-06 | 2019-11-12 | 安徽大学 | 一种数字图像分辨率提升的方法 |
| CN110490196A (zh) * | 2019-08-09 | 2019-11-22 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 侯敬轩等: "基于卷积网络的帧率提升算法研究", 《计算机应用研究》, no. 02 * |
| 朱秀昌: "《数字图像处理与图像信息》", 北京邮电大学出版社, pages: 163 - 164 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348742A (zh) * | 2020-11-03 | 2021-02-09 | 北京信工博特智能科技有限公司 | 一种基于深度学习的图像非线性插值获取方法及获取系统 |
| CN112348742B (zh) * | 2020-11-03 | 2024-03-26 | 北京信工博特智能科技有限公司 | 一种基于深度学习的图像非线性插值获取方法及获取系统 |
| CN113917401A (zh) * | 2021-09-30 | 2022-01-11 | 中国船舶重工集团公司第七二四研究所 | 一种基于重构的多功能微波超视距雷达系统资源配置方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN110992265B (zh) | 图像处理方法及模型、模型的训练方法及电子设备 | |
| WO2020108009A1 (en) | Method, system, and computer-readable medium for improving quality of low-light images | |
| US11887218B2 (en) | Image optimization method, apparatus, device and storage medium | |
| CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
| CN112889069B (zh) | 用于提高低照度图像质量的方法、系统和计算机可读介质 | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| CN110163801A (zh) | 一种图像超分辨和着色方法、系统及电子设备 | |
| US11972543B2 (en) | Method and terminal for improving color quality of images | |
| CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
| CN111145102A (zh) | 一种基于卷积神经网络的合成孔径雷达图像去噪方法 | |
| CN110942425A (zh) | 一种超分辨率图像的重构方法、重构系统和电子设备 | |
| CN111222453B (zh) | 基于密集连接和几何结构约束的遥感影像变化检测方法 | |
| CN115187456A (zh) | 基于图像强化处理的文本识别方法、装置、设备及介质 | |
| CN114862679A (zh) | 基于残差生成对抗网络的单图超分辨率重建方法 | |
| CN115004220A (zh) | 用于原始低光图像增强的神经网络 | |
| CN117292017A (zh) | 一种草图到图片跨域合成方法、系统及设备 | |
| CN109996085B (zh) | 模型训练方法、图像处理方法、装置及电子设备 | |
| CN113256528B (zh) | 基于多尺度级联深度残差网络的低照度视频增强方法 | |
| CN112396598B (zh) | 一种基于单阶段多任务协同学习的人像抠图方法及系统 | |
| CN115222606A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| CN117808707B (zh) | 多尺度图像去雾方法、系统、设备及存储介质 | |
| CN118379197A (zh) | 一种图像处理方法、装置及电子设备 | |
| CN117670705A (zh) | 一种自适应拜尔图像的降噪方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200331 |
|
| RJ01 | Rejection of invention patent application after publication |