CN108109109A - 一种超分辨率图像重构方法、装置、介质及计算设备 - Google Patents
一种超分辨率图像重构方法、装置、介质及计算设备 Download PDFInfo
- Publication number
- CN108109109A CN108109109A CN201711407058.8A CN201711407058A CN108109109A CN 108109109 A CN108109109 A CN 108109109A CN 201711407058 A CN201711407058 A CN 201711407058A CN 108109109 A CN108109109 A CN 108109109A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- msub
- convolution
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000003384 imaging method Methods 0.000 claims abstract description 55
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000003860 storage Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000007935 neutral effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004040 coloring Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种超分辨率图像重构方法、装置、介质及计算设备，该方法包括：提取原始图像的亮度图像以及颜色图像；对所述亮度图像进行上采样处理，得到第一亮度图像；将所述第一亮度图像输入预先训练得到的用于输出高频图像的N层卷积神经网络，在所述N层卷积神经网络中，对所述第一亮度图像进行N层卷积前向处理，得到第一高频图像；其中，N为大于3的整数；将所述第一亮度图像与所述第一高频图像进行融合，得到第二亮度图像；将所述第二亮度图像与所述颜色图像进行融合，得到所述原始图像的超分辨率图像。本发明重构得到原始图像的超分辨率图像能够包含较多的图像细节，超分辨率图像效果较好。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种超分辨率图像重构方法、装置、介质及计算设备。
背景技术
目前，图像超分辨率重建技术指的是从一幅或多幅低分辨率、低质量图像中产生高分辨率、高质量图像的数字图像处理技术。这里的数字图像的分辨率指的图像的空间分辨率，即是每英寸图像含有的像素点个数，分辨率的单位为dpi(dots per inch)。不难理解，分辨率越大，图像信息量越大，图像也越清晰。而从低分辨率图像中获得更高分辨率图像是一种“无中生有”过程，即从现有的信息量中去估计得到更多的信息量。
作为一种无需改善硬件设备,却可显著提高图像质量的方法,超分辨率在视频监控、医学成像、遥感图像等领域中有着广泛的应用前景，例如：(1)视频监控领域：视频中的定格画面和对特定区域的放大显示(例如，识别录像中的汽车)，对目标识别进行分辨率的增强(例如，识别嫌疑犯的面容)；(3)医学图像(CT，MRI等)领域：已知若干幅有限分辨率的医学图像，可以获得高分辨率的医学图像；(4)视频标准转换领域：例如，从NTSC视频信号变为HDTV视频信号。
现有技术主要采用非均匀插值方法得到超分辨率图像，该方法是一种最为直观的超分辨率算法。将有亚像素位移的低分辨率图像配准后映射到高分辨率网格上，形成一幅不完全均匀间隔采样网格上的复合图像，将复合图像进行内插和重采样后可得到超分辨率网格上的采样点值，这样得到超分辨率图像的方法即为非均匀插值方法。常用的内插方法有：最邻近插值、双线性插值、双三次插值和自适应插值等。
发明人发现，采用非均匀插值方法重建得到的超分辨率图像中的高频信息不足、包含的图像细节较少，从而导致超分辨率图像的效果较差，进而使得得到的超分辨率图像具有锯齿效果且超分辨率图像较模糊不能满足实际的需求。
发明内容
本发明提供一种超分辨率图像重构方法、装置、介质以及计算设备，用以解决现有技术中采用非均匀插值方法重建得到的超分辨率图像效果较差，得到的超分辨率图像具有锯齿效果且超分辨率图像较模糊不能满足实际的需求的问题。
一种超分辨率图像重构方法，包括：
提取原始图像的亮度图像以及颜色图像；
对所述亮度图像进行上采样处理，得到第一亮度图像；
将所述第一亮度图像输入预先训练得到的用于输出高频图像的N层卷积神经网络，在所述N层卷积神经网络中，对所述第一亮度图像进行N层卷积前向处理，得到第一高频图像；其中，N为大于3的整数；
将所述第一亮度图像与所述第一高频图像进行融合，得到第二亮度图像；
将所述第二亮度图像与所述颜色图像进行融合，得到所述原始图像的超分辨率图像。
一种超分辨率图像重构装置，包括：
提取模块，用于提取原始图像的亮度图像以及颜色图像；
采样模块，用于对所述亮度图像进行上采样处理，得到第一亮度图像；
卷积模块，用于将所述第一亮度图像输入预先训练得到的用于输出高频图像的N层卷积神经网络，在所述N层卷积神经网络中，对所述第一亮度图像进行N层卷积前向处理，得到第一高频图像；其中，N为大于3的整数；
第一融合模块，用于将所述第一亮度图像与所述第一高频图像进行融合，得到第二亮度图像；
第二融合模块，用于将所述第二亮度图像与所述颜色图像进行融合，得到所述原始图像的超分辨率图像。
一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现任一超分辨率图像重构方法的步骤。
一种计算设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序时实现超分辨率图像重构方法的步骤。
利用本发明提供的超分辨率图像重构方法、装置、介质以及计算设备，具有以下有益效果：将分辨率较原始图像高的第一亮度图像进行N层卷积前向处理后，可得到该第一亮度图像的高频图像，即第一高频图像，由于第一亮度图像包括较多低频信息，第一高频图像包括较多高频信息，因此，第一亮度图像和第一高频图像融合得到的第二亮度图像既保持原始图像中的低频信息又增加了较多的高频信息，进而使得重构得到原始图像的超分辨率图像能够包含较多的图像细节，超分辨率图像效果较好，避免了现有技术中由于采用非均匀插值方法重建得到超分辨率图像的方式导致的得到的超分辨率图像具有锯齿效果且超分辨率图像较模糊不能满足实际的需求的问题。
附图说明
图1为本发明实施例提供的超分辨率图像重构方法的流程示意图；
图2为本发明实施例提供的超分辨率图像重构方法的算法示意图；
图3为本发明实施例提供的对第一亮度图像进行N层卷积前向处理的方法流程示意图；
图4为本发明实施例提供的超分辨率图像重构装置的结构示意图；
图5为本发明实施例提供的计算设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明提供的超分辨率图像重构方法进行更详细地说明。
本发明实施例提供一种超分辨率图像重构方法，如图1所示，包括：
步骤101，提取原始图像的亮度图像以及颜色图像。
具体的，原始图像为彩色图像的情况下，该原始图像包括亮度信息和颜色信息均不为空；原始图像为黑白图像的情况下，该原始图像包括亮度信息不为空，而该原始图像的颜色信息为空，即该原始图像不包括颜色信息。本发明实施例将原始图像中的亮度信息作为原始图像的亮度图像，将原始图像的颜色信息作为原始图像的颜色图像。具体的提取图像中亮度信息和颜色信息的过程可参考现有技术，这里不做限定。
步骤102，对所述亮度图像进行上采样处理，得到第一亮度图像。
具体的，对原始图像的亮度图像进行上采样处理，以得到分辨率比原始图像的亮度图像高的第一亮度图像，第一亮度图像包含的低频信息较多，高频信息较少，第一亮度图像可看做亮度图像的低频图像。为了保证重构得到的超分辨率图像不缺失高频信息，针对得到的第一亮度图像进行步骤103的处理。可选地，对所述亮度图像进行双三次上采样处理，也可采用其他上采样处理方式，这里不做限定。
步骤103，将所述第一亮度图像输入预先训练得到的用于输出高频图像的N层卷积神经网络，在所述N层卷积神经网络中，对所述第一亮度图像进行N层卷积前向处理，得到第一高频图像；其中，N为大于3的整数。
具体的，将第一亮度图像输入N层卷积神经网络后，得到第一亮度图像的高频图像，即第一高频图像。其中，N层卷积神经网络中N为大于3的整数，具体的N的取值可根据实际应用场景设定，这里不做限定。需要说明的是，第一高频图像中仅包括亮度信息，即第一高频图像为包括较多高频信息的亮度图像。
步骤104，将所述第一亮度图像与所述第一高频图像进行融合，得到第二亮度图像。
具体的，将第一亮度图像中各个像素点的亮度值与第一高频图像中对应像素点的亮度值进行相加，得到第二亮度图像，其中，原始图像、第一亮度图像、第一高频图像以及第二亮度图像的尺寸大小均相同。举例说明将第一亮度图像中各个像素点的亮度信息与第一高频图像中对应像素点的亮度信息进行相加的过程：比如，将第一亮度图像第一行第一列的像素点的亮度值与第一高频图像第一行第一列的像素点的亮度值相加。
步骤105，将所述第二亮度图像与所述颜色图像进行融合，得到所述原始图像的超分辨率图像。
具体的，将原始图像的第二亮度图像与原始图像的颜色图像进行融合，得到原始图像的超分辨率图像，从而达到重构得到原始图像的超分辨率图像的目的。其中，将亮度图像与颜色图像融合的过程可参考现有技术，这里不做详述。
如图2所示，为本发明实施例提供的超分辨率图像重构方法的算法示意图，可结图2提供的示意图，理解本发明实施例中步骤102-步骤104。
本发明实施例，将分辨率较原始图像高的第一亮度图像进行N层卷积前向处理后，可得到该第一亮度图像的高频图像，即第一高频图像，由于第一亮度图像包括较多低频信息，第一高频图像包括较多高频信息，因此，第一亮度图像和第一高频图像融合得到的第二亮度图像既保持原始图像中的低频信息又增加了较多的高频信息，进而使得重构得到原始图像的超分辨率图像能够包含较多的图像细节，超分辨率图像效果较好，避免了现有技术中由于采用非均匀插值方法重建得到超分辨率图像的方式导致的得到的超分辨率图像具有锯齿效果且超分辨率图像较模糊不能满足实际的需求的问题。
可选地，采用如下方式对所述第一亮度图像进行N层卷积前向处理：
利用c个大小为r*r的滤波器，对所述第一亮度图像进行第1层卷积前向处理，得到c个通道输出的第1层卷积后图像；
从第2层卷积后图像开始，循环执行以下步骤，直到得到第N-1层卷积后图像：
利用c*c个大小为r*r的滤波器，对各幅第t-1层卷积后图像进行第t层卷积前向处理，得到c个通道输出的第t层卷积后图像，令t＝t+1并执行利用c*c个大小为r*r的滤波器，对各幅第t-1层卷积后图像进行第t层卷积前向处理的步骤，其中，t为不大于2且不小于N-1的整数；
利用c个大小为r*r的滤波器，将c幅第N-1层卷积后图像进行第N层卷积前向处理，得到第一高频图像。
具体的，第1层卷积中包括c个大小为r*r的滤波器，第一亮度图像经过第1层卷积前向处理后，会输出c幅第1层卷积后图像，即得到c个通道输出的第1层卷积后图像，其中，一个通道对应输出一幅第1层卷积后图像。
可选地，c为不小于16且不大于128的整数，r为不小于3且不大于7的奇数。
经过第1层卷积后，依次进行第2层、第3层、……、第N-1层卷积前向处理，其中，针对第2层到第N-1层卷积前向处理，在每一层利用c*c个大小为r*r的滤波器进行卷积前向处理，本发明实施例中，在当前层卷积前向处理时，在当前层利用c*c个大小为r*r的滤波器，对当前层卷积前向处理的上一层卷积后图像进行当前层卷积前向处理。比如，假设N等于4，则利用c*c个大小为r*r的滤波器，对各幅第1层卷积后图像进行第2层卷积前向处理，得到c个通道输出的第2层卷积后图像，由于“2”小于4，则继续利用c*c个大小为r*r的滤波器，对各幅第2层卷积后图像进行第3层卷积前向处理，得到c个通道输出的第3层卷积后图像，由于“3”等于“4-1”，此时得到第3层卷积后图像则退出该循环，并执行利用c个大小为r*r的滤波器，将c个通道输出的第3层卷积后图像合并为一幅图像，得到第一高频图像的步骤。
具体的，c个通道输出的第t层卷积后图像为c幅，即每个通道对应输出一幅第t层卷积后图像。相应地，第N-1层卷积后图像为c幅，在第N层卷积前向处理过程中，利用c个大小为r*r的滤波器，将第N-1层的c幅卷积后图像合并为一幅图像，将合并后的该幅图像作为得第一高频图像。需要说明的是，本发明实施例中的卷积神经网络为全卷积神经网络，一共需要N层卷积运算，每层卷积运算完后需要进行ReLu激活处理。
需要说明的时，具体的N层卷积前向处理中每层卷积前向处理的实现过程可参考现有的深度学习神经网络中卷积神经网络的实现过程，这里不做详述。
下面结合图3详细介绍本发明实施例中，对所述第一亮度图像进行N层卷积前向处理的实现过程，如图3所示，包括：
步骤301，利用c个大小为r*r的滤波器，对所述第一亮度图像进行第1层卷积前向处理，得到c个通道输出的第1层卷积后图像。
步骤302，利用c*c个大小为r*r的滤波器，对各幅第t-1层卷积后图像进行第t层卷积前向处理，得到c个通道输出的第t层卷积后图像，其中，t为不大于2且不小于N-1的整数。
步骤303，判断t是否等于N-1，若是，执行步骤304，否则，执行步骤305。
步骤304，利用c个大小为r*r的滤波器，将c幅第N-1层卷积后图像进行第N层卷积前向处理，得到第一高频图像。
步骤305，令t＝t+1并执行步骤302。
可选地，采用如下公式对所述第一亮度图像进行第1层卷积前向处理：
其中，Y表示所述第一亮度图像，Y1,j表示第1层第j个通道输出的卷积后图像，ω1,j表示第1层第j个通道的滤波器的权值，b1,j表示第1层第j个通道的偏置。
可选地，采用如下公式对各幅第t-1层卷积后图像进行第t层卷积前向处理：
其中，Yt,j表示第t层第j个通道输出的卷积后图像，Y(t-1),i表示第t-1层第i个通道输出的卷积后图像，ωt,i,j表示第t层第j个通道第i个滤波器，bt,j表示第t层第j个通道的偏置，c表示滤波器个数，其中，i和j的取值范围均为。
可选地，采用如下公式对c个通道输出的第N-1层卷积后图像进行第N层卷积前向处理，得到第一高频图像：
其中，YN表示第一高频图像，Y(N-1),j表示第N-1层第j个通道输出的卷积后图像，ωN,j表示第N层第j个通道的滤波器，bN表示第N层的偏置，c表示通道个数。
其中，第一高频图像与第一亮度图像进行融合得到第二亮度图像的公式参考如下：
Yhr＝Y+YN
其中，Yhr表示第二亮度图像，YN表示第一高频图像，Y表示第一亮度图像。
基于与上述实施例提供的超分辨率图像重构方法同样的发明构思，本发明实施例还提供一种超分辨率图像重构装置，如图4所示，包括：
提取模块401，用于提取原始图像的亮度图像以及颜色图像；
采样模块402，用于对所述亮度图像进行上采样处理，得到第一亮度图像；
卷积模块403，用于将所述第一亮度图像输入预先训练得到的用于输出高频图像的N层卷积神经网络，在所述N层卷积神经网络中，对所述第一亮度图像进行N层卷积前向处理，得到第一高频图像；其中，N为大于3的整数；
第一融合模块404，用于将所述第一亮度图像与所述第一高频图像进行融合，得到第二亮度图像；
第二融合模块405，用于将所述第二亮度图像与所述颜色图像进行融合，得到所述原始图像的超分辨率图像。
可选地，所述采样模块，具体用于：
对所述亮度图像进行双三次上采样处理。
可选地，所述卷积模块，具体用于：
利用c个大小为r*r的滤波器，对所述第一亮度图像进行第1层卷积前向处理，得到c个通道输出的第1层卷积后图像；
从第2层卷积后图像开始，循环执行以下步骤，直到得到第N-1层卷积后图像：
利用c*c个大小为r*r的滤波器，对各幅第t-1层卷积后图像进行第t层卷积前向处理，得到c个通道输出的第t层卷积后图像，令t＝t+1并执行利用c*c个大小为r*r的滤波器，对各幅第t-1层卷积后图像进行第t层卷积前向处理的步骤，其中，t为不大于2且不小于N-1的整数；
利用c个大小为r*r的滤波器，将c个通道输出的第N-1层卷积后图像进行第N层卷积前向处理，得到第一高频图像。
可选地，采用如下公式对所述第一亮度图像进行第1层卷积前向处理：
其中，Y表示所述第一亮度图像，Y1,j表示第1层第j个通道输出的卷积后图像，ω1,j表示第1层第j个通道的滤波器的权值，b1,j表示第1层第j个通道的偏置。
可选地，采用如下公式对各幅第t-1层卷积后图像进行第t层卷积前向处理：
其中，Yt,j表示第t层第j个通道输出的卷积后图像，Y(t-1),i表示第t-1层第i个通道输出的卷积后图像，ωt,i,j表示第t层第j个通道第i个滤波器，bt,j表示第t层第j个通道的偏置，c表示滤波器个数。
可选地，采用如下公式对c个通道输出的第N-1层卷积后图像进行第N层卷积前向处理，得到第一高频图像：
其中，YN表示第一高频图像，Y(N-1),j表示第N-1层第j个通道输出的卷积后图像，ωN,j表示第N层第j个通道的滤波器，bN表示第N层的偏置，c表示通道个数。
本发明实施例还提供一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现上述实施例提供的任一超分辨率图像重构方法的步骤。
本发明实施例还提供一种计算设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序时实现上述任一超分辨率图像重构方法的步骤。
本发明实施例提供一种计算设备，用于执行上述实施例中的超分辨率图像重构方法，如图5所示，为本发明实施四中所述的计算设备的硬件结构示意图，该计算设备具体可以为的桌面计算机、便携式计算机、智能手机、平板电脑等。具体地，该计算设备可以包括存储器501、处理器502及存储在存储器上的计算机程序，所述处理器执行所述程序时实现上述实施例的超分辨率图像重构方法的步骤。其中，存储器501可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器502提供存储器501中存储的程序指令和数据。
进一步地，本发明实施例中所述的计算设备还可以包括输入装置503以及输出装置504等。输入装置503可以包括键盘、鼠标、触摸屏等；输出装置504可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)，触摸屏等。存储器501，处理器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器502调用存储器501存储的程序指令并按照获得的程序指令执行上述实施例提供的超分辨率图像重构方法。
利用本发明实施例提供的超分辨率图像重构方法、装置、介质及计算设备，具有以下有益效果：将分辨率较原始图像高的第一亮度图像进行N层卷积前向处理后，可得到该第一亮度图像的高频图像，即第一高频图像，由于第一亮度图像包括较多低频信息，第一高频图像包括较多高频信息，因此，第一亮度图像和第一高频图像融合得到的第二亮度图像既保持原始图像中的低频信息又增加了较多的高频信息，进而使得重构得到原始图像的超分辨率图像能够包含较多的图像细节，超分辨率图像效果较好，避免了现有技术中由于采用非均匀插值方法重建得到超分辨率图像的方式导致的得到的超分辨率图像具有锯齿效果且超分辨率图像较模糊不能满足实际的需求的问题。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (14)
1.一种超分辨率图像重构方法，其特征在于，包括：
提取原始图像的亮度图像以及颜色图像；
对所述亮度图像进行上采样处理，得到第一亮度图像；
将所述第一亮度图像输入预先训练得到的用于输出高频图像的N层卷积神经网络，在所述N层卷积神经网络中，对所述第一亮度图像进行N层卷积前向处理，得到第一高频图像；其中，N为大于3的整数；
将所述第一亮度图像与所述第一高频图像进行融合，得到第二亮度图像；
将所述第二亮度图像与所述颜色图像进行融合，得到所述原始图像的超分辨率图像。
2.根据权利要求1所述的方法，其特征在于，对所述亮度图像进行上采样处理，具体包括：
对所述亮度图像进行双三次上采样处理。
3.根据要求1所述的方法，其特征在于，对所述第一亮度图像进行N层卷积前向处理，具体包括：
利用c个大小为r*r的滤波器，对所述第一亮度图像进行第1层卷积前向处理，得到c个通道输出的第1层卷积后图像；
从第2层卷积后图像开始，循环执行以下步骤，直到得到第N-1层卷积后图像：
利用c*c个大小为r*r*的滤波器，对各幅第t-1层卷积后图像进行第t层卷积前向处理，得到c个通道输出的第t层卷积后图像，令t＝t+1并执行利用c*c个大小为r*r的滤波器，对各幅第t-1层卷积后图像进行第t层卷积前向处理的步骤，其中，t为不小于2且不大于N-1的整数；
利用c个大小为r*r的滤波器，对c个通道输出的第N-1层卷积后图像进行第N层卷积前向处理，得到第一高频图像。
4.根据权利要求3所述的方法，其特征在于，采用如下公式对所述第一亮度图像进行第1层卷积前向处理：
<mrow>
<msub>
<mi>Y</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo>&lsqb;</mo>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>&CircleTimes;</mo>
<msub>
<mi>&omega;</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mn>0</mn>
<mo>&rsqb;</mo>
</mrow>
其中，Y表示所述第一亮度图像，Y1,j表示第1层第j个通道输出的卷积后图像，ω1,j表示第1层第j个通道的滤波器的权值，b1,j表示第1层第j个通道的偏置。
5.根据权利要求3所述的方法，其特征在于，采用如下公式对各幅第t-1层卷积后图像进行第t层卷积前向处理：
<mrow>
<msub>
<mi>Y</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo>&lsqb;</mo>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>c</mi>
</munderover>
<mo>(</mo>
<msub>
<mi>Y</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>&CircleTimes;</mo>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mn>0</mn>
<mo>&rsqb;</mo>
</mrow>
其中，Yt,j表示第t层第j个通道输出的卷积后图像，Y(t-1),i表示第t-1层第i个通道输出的卷积后图像，ωt,i,j表示第t层第j个通道第i个滤波器，bt,j表示第t层第j个通道的偏置，c表示滤波器个数。
6.根据权利要求3所述的方法，其特征在于，采用如下公式对c个通道输出的第N-1层卷积后图像进行第N层卷积前向处理，得到第一高频图像：
<mrow>
<msub>
<mi>Y</mi>
<mi>N</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>c</mi>
</munderover>
<mo>(</mo>
<msub>
<mi>Y</mi>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>&CircleTimes;</mo>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>N</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mi>N</mi>
</msub>
</mrow>
其中，YN表示第一高频图像，Y(N-1),j表示第N-1层第j个通道输出的卷积后图像，ωN,j表示第N层第j个通道的滤波器，bN表示第N层的偏置，c表示通道个数。
7.一种超分辨率图像重构装置，其特征在于，包括：
提取模块，用于提取原始图像的亮度图像以及颜色图像；
采样模块，用于对所述亮度图像进行上采样处理，得到第一亮度图像；
卷积模块，用于将所述第一亮度图像输入预先训练得到的用于输出高频图像的N层卷积神经网络，在所述N层卷积神经网络中，对所述第一亮度图像进行N层卷积前向处理，得到第一高频图像；其中，N为大于3的整数；
第一融合模块，用于将所述第一亮度图像与所述第一高频图像进行融合，得到第二亮度图像；
第二融合模块，用于将所述第二亮度图像与所述颜色图像进行融合，得到所述原始图像的超分辨率图像。
8.根据权利要求7所述的装置，其特征在于，所述采样模块，具体用于：
对所述亮度图像进行双三次上采样处理。
9.根据要求7所述的装置，其特征在于，所述卷积模块，具体用于：
利用c个大小为r*r的滤波器，对所述第一亮度图像进行第1层卷积前向处理，得到c个通道输出的第1层卷积后图像；
从第2层卷积后图像开始，循环执行以下步骤，直到得到第N-1层卷积后图像：
利用c*c个大小为r*r的滤波器，对各幅第t-1层卷积后图像进行第t层卷积前向处理，得到c个通道输出的第t层卷积后图像，令t＝t+1并执行利用c*c个大小为r*r的滤波器，对各幅第t-1层卷积后图像进行第t层卷积前向处理的步骤，其中，t为不大于2且不小于N-1的整数；
利用c个大小为r*r的滤波器，将c个通道输出的第N-1层卷积后图像进行第N层卷积前向处理，得到第一高频图像。
10.根据权利要求9所述的装置，其特征在于，采用如下公式对所述第一亮度图像进行第1层卷积前向处理：
<mrow>
<msub>
<mi>Y</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo>&lsqb;</mo>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>&CircleTimes;</mo>
<msub>
<mi>&omega;</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mn>0</mn>
<mo>&rsqb;</mo>
</mrow>
其中，Y表示所述第一亮度图像，Y1,j表示第1层第j个通道输出的卷积后图像，ω1,j表示第1层第j个通道的滤波器的权值，b1,j表示第1层第j个通道的偏置。
11.根据权利要求9所述的装置，其特征在于，采用如下公式对各幅第t-1层卷积后图像进行第t层卷积前向处理：
<mrow>
<msub>
<mi>Y</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo>&lsqb;</mo>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>c</mi>
</munderover>
<mo>(</mo>
<msub>
<mi>Y</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>&CircleTimes;</mo>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mn>0</mn>
<mo>&rsqb;</mo>
</mrow>
其中，Yt,j表示第t层第j个通道输出的卷积后图像，Y(t-1),i表示第t-1层第i个通道输出的卷积后图像，ωt,i,j表示第t层第j个通道第i个滤波器，bt,j表示第t层第j个通道的偏置，c表示滤波器个数。
12.根据权利要求9所述的装置，其特征在于，采用如下公式对c个通道输出的第N-1层卷积后图像进行第N层卷积前向处理，得到第一高频图像：
<mrow>
<msub>
<mi>Y</mi>
<mi>N</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>c</mi>
</munderover>
<mo>(</mo>
<msub>
<mi>Y</mi>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>&CircleTimes;</mo>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>N</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mi>N</mi>
</msub>
</mrow>
其中，YN表示第一高频图像，Y(N-1),j表示第N-1层第j个通道输出的卷积后图像，ωN,j表示第N层第j个通道的滤波器，bN表示第N层的偏置，c表示通道个数。
13.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现权利要求1-6任一所述方法的步骤。
14.一种计算设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序时实现权利要求1-6任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711407058.8A CN108109109B (zh) | 2017-12-22 | 2017-12-22 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711407058.8A CN108109109B (zh) | 2017-12-22 | 2017-12-22 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108109109A true CN108109109A (zh) | 2018-06-01 |
| CN108109109B CN108109109B (zh) | 2021-11-16 |
Family
ID=62212370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711407058.8A Active CN108109109B (zh) | 2017-12-22 | 2017-12-22 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108109109B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154474A (zh) * | 2017-12-22 | 2018-06-12 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及设备 |
| CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
| CN110136066A (zh) * | 2019-05-23 | 2019-08-16 | 北京百度网讯科技有限公司 | 面向视频的超分辨率方法、装置、设备和存储介质 |
| CN112345251A (zh) * | 2020-11-04 | 2021-02-09 | 山东科技大学 | 基于信号分辨率增强的机械智能故障诊断方法 |
| CN112465698A (zh) * | 2019-09-06 | 2021-03-09 | 华为技术有限公司 | 一种图像处理方法和装置 |
| CN116452466A (zh) * | 2023-06-14 | 2023-07-18 | 荣耀终端有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| GB2615849A (en) * | 2021-10-29 | 2023-08-23 | Nvidia Corp | Image upsampling using one or more neural networks |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
| CN106067161A (zh) * | 2016-05-24 | 2016-11-02 | 深圳市未来媒体技术研究院 | 一种对图像进行超分辨的方法 |
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN106952228A (zh) * | 2017-03-10 | 2017-07-14 | 北京工业大学 | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 |
| US9836484B1 (en) * | 2015-12-30 | 2017-12-05 | Google Llc | Systems and methods that leverage deep learning to selectively store images at a mobile image capture device |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
-
2017
- 2017-12-22 CN CN201711407058.8A patent/CN108109109B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9836484B1 (en) * | 2015-12-30 | 2017-12-05 | Google Llc | Systems and methods that leverage deep learning to selectively store images at a mobile image capture device |
| CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
| CN106067161A (zh) * | 2016-05-24 | 2016-11-02 | 深圳市未来媒体技术研究院 | 一种对图像进行超分辨的方法 |
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN106952228A (zh) * | 2017-03-10 | 2017-07-14 | 北京工业大学 | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
Non-Patent Citations (1)
| Title |
|---|
| 机器之心: "学界|深度学习在单图像超分辨率上的应用：SRCNN、Perceptual loss、SRResNet", 《HTTPS://WWW.SOHU.COM/A/202825073_465975》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154474A (zh) * | 2017-12-22 | 2018-06-12 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及设备 |
| CN108154474B (zh) * | 2017-12-22 | 2021-08-27 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及设备 |
| CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
| CN108961186B (zh) * | 2018-06-29 | 2022-02-15 | 福建帝视信息科技有限公司 | 一种基于深度学习的老旧影片修复重制方法 |
| CN110136066A (zh) * | 2019-05-23 | 2019-08-16 | 北京百度网讯科技有限公司 | 面向视频的超分辨率方法、装置、设备和存储介质 |
| CN110136066B (zh) * | 2019-05-23 | 2023-02-24 | 北京百度网讯科技有限公司 | 面向视频的超分辨率方法、装置、设备和存储介质 |
| CN112465698A (zh) * | 2019-09-06 | 2021-03-09 | 华为技术有限公司 | 一种图像处理方法和装置 |
| CN112345251A (zh) * | 2020-11-04 | 2021-02-09 | 山东科技大学 | 基于信号分辨率增强的机械智能故障诊断方法 |
| CN112345251B (zh) * | 2020-11-04 | 2022-03-04 | 山东科技大学 | 基于信号分辨率增强的机械智能故障诊断方法 |
| GB2615849A (en) * | 2021-10-29 | 2023-08-23 | Nvidia Corp | Image upsampling using one or more neural networks |
| CN116452466A (zh) * | 2023-06-14 | 2023-07-18 | 荣耀终端有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN116452466B (zh) * | 2023-06-14 | 2023-10-20 | 荣耀终端有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108109109B (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108109109A (zh) | 一种超分辨率图像重构方法、装置、介质及计算设备 | |
| Jo et al. | Deep video super-resolution network using dynamic upsampling filters without explicit motion compensation | |
| Sun et al. | Learned image downscaling for upscaling using content adaptive resampler | |
| CN110070511B (zh) | 图像处理方法和装置、电子设备及存储介质 | |
| CN110163237B (zh) | 模型训练及图像处理方法、装置、介质、电子设备 | |
| CN108154474A (zh) | 一种超分辨率图像重构方法、装置、介质及设备 | |
| CN110136066B (zh) | 面向视频的超分辨率方法、装置、设备和存储介质 | |
| CN103034973B (zh) | 基于双三次插值的自适应图像缩放方法 | |
| CN103854268B (zh) | 基于多核高斯过程回归的图像超分辨重建方法 | |
| Wen et al. | Video super-resolution via a spatio-temporal alignment network | |
| Li et al. | Video super-resolution using non-simultaneous fully recurrent convolutional network | |
| CN107481192B (zh) | 图像处理方法、装置、存储介质、计算机程序和电子设备 | |
| EP4207051A1 (en) | Image super-resolution method and electronic device | |
| US11887218B2 (en) | Image optimization method, apparatus, device and storage medium | |
| López-Tapia et al. | A single video super-resolution GAN for multiple downsampling operators based on pseudo-inverse image formation models | |
| CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
| DE102020133244A1 (de) | Kantenbewusste Aufwärtsskalierung für verbesserte Bildschirminhaltsqualität | |
| CN108416736A (zh) | 一种基于二次锚点邻域回归的图像超分辨率重建方法 | |
| Liu et al. | Learning noise-decoupled affine models for extreme low-light image enhancement | |
| Yang et al. | Hierarchical accumulation network with grid attention for image super-resolution | |
| CN104732491B (zh) | 一种边缘先验引导的单帧遥感图像超分辨率处理方法 | |
| RU2583725C1 (ru) | Способ и система для обработки изображения | |
| Zeng et al. | Real-time video super resolution network using recurrent multi-branch dilated convolutions | |
| Ning et al. | Multi-frame image super-resolution reconstruction using sparse co-occurrence prior and sub-pixel registration | |
| Liu et al. | Video image scaling technology based on adaptive interpolation algorithm and TTS FPGA implementation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |