CN110136057A - 一种图像超分辨率重建方法、装置及电子设备 - Google Patents
一种图像超分辨率重建方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110136057A CN110136057A CN201810130089.1A CN201810130089A CN110136057A CN 110136057 A CN110136057 A CN 110136057A CN 201810130089 A CN201810130089 A CN 201810130089A CN 110136057 A CN110136057 A CN 110136057A
- Authority
- CN
- China
- Prior art keywords
- image
- reconstructed
- pixel
- component
- side information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 177
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 102
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000001914 filtration Methods 0.000 claims abstract description 35
- 238000005070 sampling Methods 0.000 claims description 58
- 238000013139 quantization Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 16
- 108091026890 Coding region Proteins 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 14
- 108700026244 Open Reading Frames Proteins 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004040 coloring Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像超分辨率重建方法、装置及电子设备，包括：生成待重建图像对应的边信息分量，其中，待重建图像为对原始图像进行图像处理得到的，边信息分量表示待重建图像相对原始图像的处理质量特征；将待重建图像的待重建图像颜色分量以及边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到超分辨率图像颜色分量；其中，卷积神经网络模型为基于预设训练集进行训练得到的，预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量。从而实现使用一种不同于现有技术的卷积神经网络模型对待重建图像进行超分辨率处理。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像超分辨率重建方法，以及一种卷积神经网络模型训练方法，及相关装置和电子设备。
背景技术
目前，在图像处理技术中，为降低待传输或待存储图像或视频的大小，通常可以将图像或者视频按缩放比例进行下采样后，得到低分辨率的图像或者视频，再将低分辨率的图像或者视频压缩保存或进行传输。
在需要使用或接收端接收到图片或者视频后，对压缩的图像或视频进行解压缩得到低分辨率的图像或者视频，然后通过深度学习网络(例如，卷积神经网络)将低分辨率的图像或者视频重建成高分辨率图像或者视频，供用户观看。
传递或者存储低分辨率图片或者视频，并利用深度学习网络进行超分辨率处理，有效节省了带宽和存储成本，且进行超分辨率处理得到的超分辨率图像，更接近原始图像，即超分辨率的处理质量更高，效果更佳。
发明内容
本发明实施例的目的在于提供一种图像超分辨率重建方法，以实现使用一种不同于现有技术的卷积神经网络模型对待重建图像进行超分辨率处理。
本发明实施例提供一种图像超分辨率重建方法，包括：
生成待重建图像对应的边信息分量，其中，所述待重建图像为对原始图像进行图像处理得到的，所述边信息分量表示所述待重建图像相对所述原始图像的处理质量特征；
将所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到超分辨率图像颜色分量，所述超分辨率图像颜色分量包括的像素数量，大于所述待重建图像的待重建图像颜色分量包括的像素数量；
其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量。
进一步的，所述处理质量特征为所述待重建图像相对所述原始图像的失真特征。
进一步的，所述边信息分量至少表示如下失真特征之一：
表示所述待重建图像相对所述原始图像的失真程度；
表示所述待重建图像相对所述原始图像的失真位置；
表示所述待重建图像相对所述原始图像的失真类型。
进一步的，生成待重建图像对应的边信息分量，包括：
确定待重建图像每个像素点的失真程度值；
基于所述待重建图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述待重建图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述待重建图像上相同位置的像素点相对应。
进一步的，所述确定待重建图像每个像素点的失真程度值，包括：
针对通过编解码得到的待重建图像，获取每个编码区域的量化参数，将所述待重建图像每个像素点所在编码区域的量化参数，确定为所述待重建图像每个像素点的失真程度值；或者
针对通过下采样处理得到的待重建图像，将与所述下采样处理相关的下采样信息，确定为所述待重建图像每个像素点的失真程度值，所述下采样信息至少包括所述下采样处理中滤波器的抽头系数，截止频率和同频带的波动程度中之一；或者
使用无参考图像质量评价方法对待重建图像进行评估，得到所述待重建图像每个像素点的失真程度值。
进一步的，基于所述待重建图像各像素点的位置，使用获取的所述各像素点的失真程度值，生成所述待重建图像对应的边信息分量，包括：
基于所述待重建图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值；或者
基于所述待重建图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述待重建图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值。
进一步的，所述原始图像为视频中的视频帧图像；
在将所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理之前，还包括：
获取对所述原始图像在所述视频中的相邻视频帧图像进行所述图像处理得到的处理后图像，作为参考图像；
将所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，包括：
将所述参考图像的参考图像颜色分量、所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理；
其中，所述预设训练集中的原始样本图像为视频中的视频帧图像，所述预设训练集还包括每个待重建图像对应的参考图像的参考图像颜色分量，该参考图像为对原始样本图像在其所属视频中的相邻视频帧图像进行图像处理得到的处理后图像，且进行该图像处理的方式与得到该待重建图像的图像处理方式相同。
本发明实施例还提供一种图像超分辨率重建装置，包括：
生成模块，用于生成待重建图像对应的边信息分量，其中，所述待重建图像为对原始图像进行图像处理得到的，所述边信息分量表示所述待重建图像相对所述原始图像的处理质量特征；
重建模块，用于将所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到超分辨率图像颜色分量，所述超分辨率图像颜色分量包括的像素数量，大于所述待重建图像的待重建图像颜色分量包括的像素数量；
其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量。
进一步的，所述处理质量特征为所述待重建图像相对所述原始图像的失真特征。
进一步的，所述边信息分量至少表示如下失真特征之一：
表示所述待重建图像相对所述原始图像的失真程度；
表示所述待重建图像相对所述原始图像的失真位置；
表示所述待重建图像相对所述原始图像的失真类型。
进一步的，所述生成模块，具体用于确定待重建图像每个像素点的失真程度值；以及基于所述待重建图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述待重建图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述待重建图像上相同位置的像素点相对应。
进一步的，所述生成模块，具体用于针对通过编解码得到的待重建图像，获取每个编码区域的量化参数，将所述待重建图像每个像素点所在编码区域的量化参数，确定为所述待重建图像每个像素点的失真程度值；或者，针对通过下采样处理得到的待重建图像，将与所述下采样处理相关的下采样信息，确定为所述待重建图像每个像素点的失真程度值，所述下采样信息至少包括所述下采样处理中滤波器的抽头系数，截止频率和同频带的波动程度中之一；或者，使用无参考图像质量评价方法对待重建图像进行评估，得到所述待重建图像每个像素点的失真程度值。
进一步的，所述生成模块，具体用于基于所述待重建图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述待重建图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述待重建图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值。
进一步的，所述原始图像为视频中的视频帧图像；
所述装置还包括：
图像获取模块，用于获取对所述原始图像在所述视频中的相邻视频帧图像进行所述图像处理得到的处理后图像，作为参考图像；
所述重建模块，具体用于将所述参考图像的参考图像颜色分量、所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理；
其中，所述预设训练集中的原始样本图像为视频中的视频帧图像，所述预设训练集还包括每个待重建图像对应的参考图像的参考图像颜色分量，该参考图像为对原始样本图像在其所属视频中的相邻视频帧图像进行图像处理得到的处理后图像，且进行该图像处理的方式与得到该待重建图像的图像处理方式相同。
本发明实施例还提供一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一图像超分辨率重建方法的步骤。
本发明实施例还一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像超分辨率重建方法的步骤。
本发明实施例提供的图像超分辨率重建方法中，所使用的卷积神经网络模型为基于预设训练集进行训练得到的，预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量，边信息分量能够表示待重建图像相对原始样本图像的处理质量特征；在进行超分辨率重建的过程中，针对待重建图像，首先生成待重建图像对应的边信息分量，然后将待重建图像的待重建图像颜色分量以及边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到超分辨率图像颜色分量。从而实现了使用卷积神经网络模型对待重建图像进行超分辨率处理。
本发明实施例还提供一种卷积神经网络模型训练方法，包括：
获取预设训练集，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量，其中，待重建图像对应的边信息分量表示该待重建图像相对原始样本图像的处理质量特征；
将所述预设训练集中的每个待重建图像的待重建图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该待重建图像对应的超分辨率图像颜色分量，该超分辨率图像颜色分量包括的像素数量，大于该待重建图像的待重建图像颜色分量包括的像素数量；
基于所述原始样本图像的原始图像颜色分量和得到的超分辨率图像颜色分量，确定所述超分辨率图像的损失值；
当基于所述损失值确定所述预设结构的卷积神经网络收敛时，完成训练，得到卷积神经网络模型。
进一步的，所述处理质量特征为该待重建图像相对原始样本图像的失真特征。
进一步的，所述边信息分量至少表示如下失真特征之一：
表示所述待重建图像相对所述原始样本图像的失真程度；
表示所述待重建图像相对所述原始样本图像的失真位置；
表示所述待重建图像相对所述原始样本图像的失真类型。
进一步的，采用如下步骤生成一个待重建图像对应的边信息分量：
确定待重建图像每个像素点的失真程度值；
基于所述待重建图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述待重建图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述待重建图像上相同位置的像素点相对应。
进一步的，所述确定待重建图像每个像素点的失真程度值，包括：
针对通过编解码得到的待重建图像，获取每个编码区域的量化参数，将所述待重建图像每个像素点所在编码区域的量化参数，确定为所述待重建图像每个像素点的失真程度值；或者
针对通过下采样处理得到的待重建图像，将与所述下采样处理相关的下采样信息，确定为所述待重建图像每个像素点的失真程度值，所述下采样信息至少包括所述下采样处理中滤波器的抽头系数，截止频率和同频带的波动程度中之一；或者
使用无参考图像质量评价方法对待重建图像进行评估，得到所述待重建图像每个像素点的失真程度值。
进一步的，基于所述待重建图像各像素点的位置，使用获取的所述各像素点的失真程度值，生成所述待重建图像对应的边信息分量，包括：
基于所述待重建图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值；或者
基于所述待重建图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述待重建图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值。
进一步的，所述原始样本图像为视频中的视频帧图像；
所述预设训练集还包括每个待重建图像对应的参考图像的参考图像颜色分量，该参考图像为对所述原始样本图像在所述视频中的相邻视频帧图像进行图像处理得到的处理后图像，且进行该图像处理的方式与得到该待重建图像的图像处理方式相同；
将所述预设训练集中的每个待重建图像的待重建图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，包括：
将所述预设训练集中的每个待重建图像的待重建图像颜色分量、对应的边信息分量以及对应的参考图像的参考图像颜色分量，输入预设结构的卷积神经网络进行卷积滤波处理。
本发明实施例还提供一种卷积神经网络模型训练装置，包括：
训练集获取模块，用于获取预设训练集，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量，其中，待重建图像对应的边信息分量表示该待重建图像相对原始样本图像的处理质量特征；
计算模块，用于将所述预设训练集中的每个待重建图像的待重建图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该待重建图像对应的超分辨率图像颜色分量，该超分辨率图像颜色分量包括的像素数量，大于该待重建图像的待重建图像颜色分量包括的像素数量；
损失值确定模块，用于基于所述原始样本图像的原始图像颜色分量和得到的超分辨率图像颜色分量，确定所述超分辨率图像的损失值；
模型确定模块，用于当基于所述损失值确定所述预设结构的卷积神经网络收敛时，完成训练，得到卷积神经网络模型。
进一步的，所述处理质量特征为该待重建图像相对原始样本图像的失真特征。
进一步的，所述边信息分量至少表示如下失真特征之一：
表示所述待重建图像相对所述原始样本图像的失真程度；
表示所述待重建图像相对所述原始样本图像的失真位置；
表示所述待重建图像相对所述原始样本图像的失真类型。
进一步的，还包括：
生成模块，用于采用如下步骤生成一个待重建图像对应的边信息分量：
确定待重建图像每个像素点的失真程度值；
基于所述待重建图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述待重建图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述待重建图像上相同位置的像素点相对应。
进一步的，所述生成模块，具体用于针对通过编解码得到的待重建图像，获取每个编码区域的量化参数，将所述待重建图像每个像素点所在编码区域的量化参数，确定为所述待重建图像每个像素点的失真程度值；或者，针对通过下采样处理得到的待重建图像，将与所述下采样处理相关的下采样信息，确定为所述待重建图像每个像素点的失真程度值，所述下采样信息至少包括所述下采样处理中滤波器的抽头系数，截止频率和同频带的波动程度中之一；或者，使用无参考图像质量评价方法对待重建图像进行评估，得到所述待重建图像每个像素点的失真程度值。
进一步的，所述生成模块，具体用于基于所述待重建图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述待重建图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述待重建图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值。
进一步的，所述原始样本图像为视频中的视频帧图像；
所述预设训练集还包括每个待重建图像对应的参考图像的参考图像颜色分量，该参考图像为对所述原始样本图像在所述视频中的相邻视频帧图像进行图像处理得到的处理后图像，且进行该图像处理的方式与得到该待重建图像的图像处理方式相同；
所述计算模块，具体用于将所述预设训练集中的每个待重建图像的待重建图像颜色分量、对应的边信息分量以及对应的参考图像的参考图像颜色分量，输入预设结构的卷积神经网络进行卷积滤波处理。
本发明实施例还提供一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一卷积神经网络模型训练方法的步骤。
本发明实施例还一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一卷积神经网络模型训练方法的步骤。
本发明实施例提供的卷积神经网络模型训练方法中，训练所使用的预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量，边信息分量能够表示待重建图像相对原始样本图像的处理质量特征。从而提供了一种用于对待重建图像进行超分辨率处理的卷积神经网络模型。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的技术方案的系统架构图；
图2A为本发明实施例提供的技术方案的数据流示意图之一；
图2B为本发明实施例提供的技术方案的数据流示意图之二；
图3为本发明实施例中获得待重建图像的待重建图像颜色分量的示意图；
图4A为本发明实施例中边信息分量的示意图之一；
图4B为本发明实施例中边信息分量的示意图之二；
图5为本发明实施例提供的图像超分辨率重建方法的流程图；
图6为本发明实施例提供的图像超分辨率重建方法的流程图；
图7为本发明实施例中卷积神经网络模型的输出层的上采样处理的示意图；
图8为本发明实施例提供的卷积神经网络模型训练方法的流程图；
图9为本发明实施例提供的图像超分辨率重建装置的结构示意图；
图10为本发明实施例提供的电子设备的结构示意图；
图11为本发明实施例提供的卷积神经网络模型训练的结构示意图；
图12为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对如何使用卷积神经网络对待重建图像进行超分辨率处理的问题，本发明实施例提供一种解决方案，该方案中，针对由对原始图像进行图像处理得到的待重建图像，生成对应的边信息分量，且该边信息分量能够表示该待重建图像相对原始图像的处理质量特征，并将生成的边信息分量与该待重建图像的待重建图像颜色分量，共同作为预先建立的卷积神经网络模型的输入，在经过该卷积神经网络模型进行卷积滤波处理之后，输出超分辨率图像颜色分量，用于生成超分辨率图像，且超分辨率图像颜色分量包括的像素数量，大于待重建图像的待重建图像颜色分量包括的像素数量，即生成的超分辨率图像的分辨率高于待重建图像。
进一步的，原始图像可以为视频中的视频帧图像，那么还可以获取对该原始图像在视频中的相邻视频帧图像进行图像处理得到的处理后图像，作为参考图像，并将参考图像的参考图像颜色分量也作为卷积神经网络模型的输入，即将参考图像的参考图像颜色分量、待重建图像的待重建图像颜色分量以及边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理。
在该解决方案中，卷积神经网络模型为基于预设训练集进行训练得到的，且该预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量，基于初始化的网络参数，按照上述网络结构进行多次迭代训练获得。
进一步的，原始样本图像可以为视频中的视频帧图像，那么预设训练集还可以包括每个待重建图像对应的参考图像的参考图像颜色分量，该参考图像为对原始样本图像在视频中的相邻视频帧图像进行图像处理得到的处理后图像，且进行该图像处理的方式与得到该待重建图像的图像处理方式相同。
进一步的，训练集可以包括一个原始样本图像，针对该原始样本图像进行上述图像处理，得到处理质量特征不同的多个待重建图像，进而得到多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量；
训练集也可以包括多个原始样本图像，分别针对每个原始样本图像进行上述图像处理，得到处理质量特征不同的多个待重建图像，进而得到多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量。
在进行卷积神经网络模型的训练，以及使用训练的卷积神经网络模型对待重建图像进行超分辨率处理时，均将表示待重建图像相对原始图像的处理质量特征的边信息分量作为模型的输入，即引入了能够表示待重建图像的处理质量特征的信息，并通过针对各种边信息分量进行模型训练以及实际应用的试验，确定出在使用一些特定的边信息分量时，能够训练出具备更强泛化能力的卷积神经网络模型，即在平均意义上，对大量的处理质量具有差异性的待重建图像的超分辨率处理的效果会更佳，进而能够对待重建图像进行更好的超分辨率处理，得到更接近原始图像颜色分量的超分辨率图像颜色分量。
进一步的，在本发明实施例提供的方案中，边信息分量所表示的处理质量特征，可以为表示待重建图像相对原始图像的失真特征。
虽然目前已经存在多种基于卷积神经网络模型进行图像超分辨率处理的方法，但当前公开的大多数基于卷积神经网络的图像超分辨率处理技术中，若使用单一预训练网络对不同处理质量程度的图像进行超分辨率处理，在某些处理质量程度的图像上，会存在超分辨率处理的质量提升有限或质量损失的问题，说明网络的泛化能力存在一定问题。
因此，在一种确定的数字图像系统的处理过程下，发明一种单一的，能适应不同处理质量程度图像的超分辨率处理的卷积神经网络，具有重要的价值。
针对现有技术中仅采用一套网络参数的卷积神经网络，无法应对不同处理质量程度的待重建图像的超分辨率处理问题，进一步的，本发明实施例提出的上述解决方案中，可以生成表示待重建图像相对原始图像的失真程度的边信息分量，预设训练集中可以包括多个不同失真程度的待重建图像，则在进行卷积神经网络模型的训练，以及使用训练的卷积神经网络模型对待重建图像进行超分辨率处理时，即引入了能够准确表示待重建图像的失真程度的信息，从而能够训练出适应于各种不同失真程度的待重建图像的卷积神经网络模型，进而能够针对不同失真程度的待重建图像，仅使用一套网络参数即可以获得较佳的超分辨率处理效果。
图1为实现该解决方案的系统架构图，包括：边信息分量生成模块11，卷积神经网络12，网络训练模块13；
其中，卷积神经网络12的网络结构，可以采用具备超分辨率处理能力的各种结构，例如，可以包括如下三层结构：
输入层处理单元121，用于接收卷积神经网络的输入，本方案中包括待重建图像的待重建图像颜色分量，以及待重建图像的边信息分量；并对输入的数据进行第一层的卷积滤波处理；
隐含层处理单元122，对输入层处理单元121的输出数据，进行至少一层的卷积滤波处理；
输出层处理单元123，对隐含层处理单元122的输出数据，进行最后一层的超分辨率处理，输出结果作为超分辨率图像颜色分量，用于生成超分辨率图像。
图2A为实现该解决方案的数据流的示意图，其中，待重建图像的待重建图像颜色分量，以及待重建图像的边信息分量作为输入数据，输入到预先训练的卷积神经网络模型中，卷积神经网络模型可以由预设结构的卷积神经网络和配置的网络参数集进行表示，输入数据经过输入层、隐含层和输出层的处理之后，得到超分辨率图像数据。
图2B为实现该解决方案的数据流的另一个示意图，其中，参考图像的参考图像颜色分量，待重建图像的待重建图像颜色分量，以及待重建图像的边信息分量作为输入数据，输入到预先训练的卷积神经网络模型中，卷积神经网络模型可以由预设结构的卷积神经网络和配置的网络参数集进行表示，输入数据经过输入层、隐含层和输出层的处理之后，得到超分辨率图像数据。
本发明实施例提供的上述解决方案中，作为卷积神经网络模型的输入数据，根据实际需要，可以包括一种或多种边信息分量，也可以包括一种或多种待重建图像颜色分量，例如，至少包括R颜色分量、G颜色分量和B颜色分量之一，相应的，得到一种或多种超分辨率图像颜色分量。
例如，在一些图像处理中，可能仅针对全部颜色分量中的一种颜色分量存在失真情况，则可以在超分辨率处理时，仅将待重建图像的该颜色分量作为输入数据，如两种颜色分量存在失真情况，则将待重建图像的该两种颜色分量均作为输入数据，相应的，均输出对应的超分辨率图像颜色分量。
一个图像的每个像素点的存储数据，包括该像素点的所有颜色分量的值，本发明实施例中，在获得待重建图像的待重建图像颜色分量时，可以根据需要，从每个像素点的存储数据中，提取出需要的一种或多种颜色分量的值，从而得到待重建图像的待重建图像颜色分量。
如图3所示，以RGB颜色空间为例，从中提取出每个像素点的R颜色分量的值，从而得到待重建图像的R颜色分量。
对于边信息分量，其可以表示待重建图像相对原始图像的失真特征，是一种由图像处理过程确定的失真特征的表达。
在实际应用中，上述失真特征可以至少包括如下失真特征之一：
失真程度、失真位置，失真类型：
首先，边信息分量可以表示待重建图像相对原始图像的失真程度。
其次，边信息分量也可以表示待重建图像相对原始图像的失真位置，例如在主流的视频编解码应用中，图像通常被划分为多个不重叠且不固定大小的编码单元，编码单元分别进行预测编码及不同程度的量化处理，编码单元之间的失真通常不具有一致性，在编码单元的边界处通常会产生像素突变，因此，编码单元的边界坐标可以作为一种先验的表征失真位置的边信息。
再次，边信息分量也可以表示待重建图像相对原始图像的失真类型，例如在视频编解码应用中，图像中不同编码单元可能采用不同预测模式，不同预测模式会影响残差数据的分布，从而影响待重建图像的特征，因此，编码单元的预测模式可以作为一种表征失真类型的边信息；又如，可以使用不同的下采样处理方式对原始图像处理，得到不同的待重建图像，下采样处理方式不同，失真特征也就不同，进一步的，也可以认为失真类型也就不同，所以，针对不同的待重建图像，得到该待重建图像的下采样处理方式的标识信息，也可以作为一种表征失真类型的边信息，标识信息可以是编号。
本发明实施例提供的上述解决方案中，边信息分量可以为上述一种或多种的组合，也可以为上述一种的多个边信息分量，例如，经过图像处理后，可能通过一种物理含义的参量表示待重建图像的失真程度，也可能通过不同物理含义的两种参量表示待重建图像的失真程度，相应的，即可以根据实际需要，将一种或多种均表示失真程度的边信息分量作为输入数据。
如图4A所示，边信息分量的矩阵结构与待重建图像颜色分量的矩阵结构相同，其中，坐标[0,0]、[0,1]表示失真位置，矩阵的元素值1表示失真程度，即边信息分量同时能表示失真程度与失真位置。
又如图4B所示，坐标[0,0]、[0,1]、[2,0]、[2,4]表示失真位置，矩阵的元素值1、2表示失真类型，即边信息分量同时能表示失真类型与失真位置。
并且，本发明实施例提供的上述解决方案中，可以同时包括图4A和图4B分别所示意的两个边信息分量。
进一步的，根据方案的实际应用情况和需要，当待重建图像颜色分量包括多种时，边信息分量可以包括分别与每种待重建图像颜色分量对应的边信息分量。
本发明实施例提供的上述解决方案，可以应用于目前已知的各种实际应用场景中，即待重建图像是对原始图像进行如何图像处理所得到的，本发明在此不做限定。
在本发明实施例提供的上述解决方案中，提出了一种图像超分辨率重建方法，如图5所示，具体包括如下处理步骤：
步骤51、生成待重建图像对应的边信息分量，其中，待重建图像为对原始图像进行图像处理得到的，边信息分量表示待重建图像相对原始图像的处理质量特征。
边信息分量，表示待重建图像相对原始图像的处理质量特征，是一种由图像处理过程确定的处理质量特征的表达。
进一步的，该处理质量特征可以为失真特征。
步骤52、将待重建图像的待重建图像颜色分量以及生成的边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到超分辨率图像颜色分量，超分辨率图像颜色分量包括的像素数量，大于待重建图像的待重建图像颜色分量包括的像素数量；
其中，卷积神经网络模型为基于预设训练集进行训练得到的，预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量。
下面结合附图，以边信息分量表示待重建图像相对原始图像的失真程度为例，对上述图像超分辨率重建方法进行详细描述。
图6所示为本发明实施例提供的一种图像超分辨率重建方法的流程图，具体包括如下处理步骤：
步骤61、针对需要进行超分辨率处理的待重建图像，确定待重建图像每个像素点的失真程度值。
在实际应用中，对原始图像进行不同方式的图像处理之后，表示失真程度的物理参量也可能不同，因此，本步骤中，可以基于不同的图像处理方式，确定出对应的能够准确表示像素点失真程度的失真程度值，具体可以如下：
第一种方式：针对通过编解码得到的待重建图像，每个编码区域的量化参数都是已知的，即可以获取每个编码区域的量化参数，将待重建图像每个像素点所在编码区域的量化参数，确定为待重建图像每个像素点的失真程度值；
第二种方式：针对通过下采样处理得到的待重建图像，可以将与该下采样处理相关的下采样信息，确定为待重建图像每个像素点的失真程度值；例如，下采样信息可以为该下采样处理中滤波器的抽头系数，截止频率或同频带的波动程度等。
上述两种方式，均是在图像失真程度已知的情况下采用的，对于通过其他图像处理方式得到的待重建图像，只要其失真程度已知，均可以采用类似的方式，直接将进行图像处理时所使用的能够表示失真程度的参数，确定为表示像素点失真程度的失真程度值。
对于失真程度未知的待重建图像，可以采用如下第三种方式：
第三种方式：使用无参考图像质量评价方法对待重建图像进行评估，得到待重建图像每个像素点的失真程度值。
例如，无参考图像质量评价方法可以为图像主观质量评价方法。受测者根据主观观看感受对当前待重建图像的质量进行评分，该评分分值可确定为待重建图像每个像素点的失真程度值。
步骤62、基于待重建图像各像素点的位置，使用获取的各像素点的失真程度值，生成待重建图像对应的边信息分量，其中，边信息分量包括的每个分量值与待重建图像上相同位置的像素点相对应。
由于边信息分量包括的每个分量值与待重建图像上相同位置的像素点相对应，则边信息分量与待重建图像的待重建图像颜色分量的结构相同，即表示边信息分量的矩阵与表示待重建图像颜色分量的矩阵是同型的。
本步骤中，可以基于待重建图像各像素点的位置，将获取的每个像素点的失真程度值，确定为待重建图像对应的边信息分量中该像素点相同位置的分量值，即直接将每个像素点的失真程度值，确定为该像素点对应的分量值。
当待重建图像的像素值范围与像素点的失真程度值的取值范围不同时，也可以基于待重建图像的像素值范围，对获取的各像素点的失真程度值进行标准化处理，得到处理后失真程度值，处理后失真程度值的取值范围与像素值范围相同；
然后基于待重建图像各像素点的位置，将每个像素点的处理后失真程度值，确定为待重建图像对应的边信息分量中该像素点相同位置的分量值。
本步骤中，可以采用如下公式对像素点的失真程度值进行标准化处理：
其中，norm(x)为标准化处理后得到的处理后失真程度值，x为像素点的失真程度值，待重建图像的像素值范围为[PIEXLMIN,PIXELMAX]，像素点的失真程度值的取值范围为[QPMIN,QPMAX]。
通过上述步骤61和步骤62，即生成了待重建图像的边信息分量，生成边信息分量的过程，也可以理解为生成了待重建图像对应的边信息引导图，该边信息引导图通过其边信息分量表示待重建图像的失真程度，且该边信息引导图与待重建图像是等高等宽的。
本发明实施例中，以卷积神经网络模型包括输入层、隐含层和输出层的结构为例，对方案进行描述。
步骤63、将待重建图像的待重建图像颜色分量以及生成的边信息分量，作为预先建立的卷积神经网络模型的输入数据，由输入层进行第一层的卷积滤波处理，具体可以如下：
在卷积神经网络模型中，输入数据可以是通过各自的通道输入到网络中，本步骤中，可以将cy通道的待重建图像颜色分量Y与cm通道的边信息分量M，在通道的维度上进行合并，共同组成cy+cm通道的输入数据I，并采用如下公式对输入数据I进行多维卷积滤波和非线性映射，产生n1个以稀疏形式表示的图像块：
F1(I)＝g(W1*I+B1)；
其中，F1(I)为输入层的输出，I为输入层中卷积层的输入，*为卷积操作，W1为输入层的卷积层滤波器组的权重系数，B1为输入层的卷积层滤波器组的偏移系数，g()为非线性映射函数。
其中，W1对应于n1个卷积滤波器，即有n1个卷积滤波器作用于输入层的卷积层的输入，输出n1个图像块；每个卷积滤波器的卷积核的大小为c1×f1×f1，其中c1为输入通道数，f1为每个卷积核在空间上的大小。
在一个具体的实施例中，该输入层的参数可以为：c1＝2，f1＝5，n1＝64，使用ReLU(Rectified linear unit)函数作为g()，它的函数表达式为：
g(x)＝max(0,x)；
则该实施例中输入层卷积处理表达式为：
F1(I)＝max(0,W1*I+B1)；
步骤64、隐含层对输入层输出的稀疏表示的图像块F1(I)进行进一步的高维映射。
本发明实施例中，不对隐含层中包含的卷积层层数、卷积层连接方式、卷积层属性等作限定，可以采用目前已知的各种结构，但隐含层中包含至少1个卷积层。
例如，隐含层包含N-1(N≥2)层卷积层，隐含层处理由下式表示：
Fi(I)＝g(Wi*Fi-1(I)+Bi),i∈{2,3,…,N}；
其中，Fi(I)表示卷积神经网络中第i层卷积层的输出，*为卷积操作，Wi为第i层卷积层滤波器组的权重系数，Bi为卷积层滤波器组的偏移系数，g()为非线性映射函数。
其中，Wi对应于ni个卷积滤波器，即有ni个卷积滤波器作用于第i层卷积层的输入，输出ni个图像块；每个卷积滤波器的卷积核的大小为ci×fi×fi，其中ci为输入通道数，fi为每个卷积核在空间上的大小。
在一个具体的实施例中，该隐含层可以包括2个卷积层，其中第一个卷积层的卷积滤波器参数为：c2＝64，f2＝1，n2＝32，第二个卷积层的卷积滤波器参数为：c2＝32，f2＝3，n3＝4，两个卷积层均使用ReLU(Rectified linear unit)函数作为g()，则该实施例中隐含层的卷积处理表达式为：
F2(I)＝max(0,W2*F1(I)+B2)；
F3(I)＝max(0,W3*F2(I)+B3)。
步骤65、输出层对隐含层输出的高维图像块FN(I)进行超分辨率处理，输出超分辨率图像颜色分量，用于生成超分辨率图像。
本步骤65，具体采用如下两种方式：
第一种方式：输出层可以采用Sub-pixel convolutional layer(子像素卷积层)，用以将隐含层输出的高维图像块FN(I)进行超分辨率处理。
Sub-pixel convolutional layer实际上并没有卷积操作，只是将前一层输出的ni个图像块数据(通道数据)重新进行排列，得到超分辨率图像颜色分量，即将ni＝r2个图像块数据(W*H)重新进行排列成(rW*rH)的超分辨率图像颜色分量，其中，r为上采样倍数。例如，以图7为例，上述实例中隐含层输出n3＝4个图像块，可以将这22个图像块数据(W*H)重新进行排列成(2W*2H)的超分辨率图像颜色分量，即上采样倍数为2，长宽各上采样2倍。
第二种方式：输出层对隐含层输出的高维图像块FN(I)进行聚合，得到聚合图像颜色分量，然后对聚合图像颜色分量进行上采样，输出超分辨率图像颜色分量，用于生成超分辨率图像。
本发明实施例中不对输出层中用于聚合的结构作限定，其可以是具有聚合功能的各种网络结构。
针对得到的聚合图像颜色分量F(I)，进行上采样，具体可以使用各种可行的上采样方式，输出超分辨率图像颜色分量。
在本发明实施例提供的上述解决方案中，还提出了一种卷积神经网络模型训练方法，如图8所示，具体包括如下处理步骤：
步骤81、获取预设训练集，预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量，其中，待重建图像对应的边信息分量表示该待重建图像相对原始样本图像的处理质量特征。该多个待重建图像的处理质量特征不同。
进一步的，该处理质量特征可以是失真特征。
本步骤中，可以预先对原始样本图像(即未处理的自然图像)，进行不同失真程度的一种图像处理，得到各自对应的待重建图像，并按照上述图像超分辨率重建方法中的步骤，针对每个待重建图像，生成对应的边信息分量，从而将每个原始样本图像、对应的待重建图像以及对应的边信息分量组成图像对，由这些图像对组成预设训练集Ω。
进一步的，训练集可以包括一个原始样本图像，针对该原始样本图像进行上述图像处理，得到处理质量特征不同的多个待重建图像，以及每个待重建图像对应的边信息分量；
训练集也可以包括多个原始样本图像，分别针对每个原始样本图像进行上述图像处理，得到处理质量特征不同的多个待重建图像，以及每个待重建图像对应的边信息分量。
步骤82、针对预设结构的卷积神经网络CNN，初始化该卷积神经网络CNN的网络参数集中的参数，初始化的参数集可以由Θ1表示，初始化的参数可以根据实际需要和经验进行设置。
本步骤中，还可以对训练相关的高层参数如学习率、梯度下降算法等进行合理的设置，具体可以采用各种可行方式，在此不再进行详细描述。
步骤83、进行前向计算，具体如下：
将预设训练集中的每个待重建图像的待重建图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该待重建图像对应的超分辨率图像颜色分量。
本步骤中，具体可以为对预设训练集Ω进行参数集为Θi的卷积神经网络CNN的前向计算，获取卷积神经网络的输出F(Y)，即每个待重建图像对应的超分辨率图像颜色分量。
第一次进入本步骤处理时，当前参数集为Θ1，后续再次进入本步骤处理时，当前参数集Θi为对上一次使用的参数集Θi-1进行调整后得到的，详见后续描述。
步骤84、基于多个原始样本图像的原始图像颜色分量和得到的超分辨率图像颜色分量，确定超分辨率图像的损失值。
具体可以使用均方误差(MSE)公式作为损失函数，得到损失值L(Θi)，详见如下公式：
其中，H表示单次训练中从预设训练集中选取的图像对个数，Ih表示第h个待重建图像对应的由边信息分量和待重建图像颜色分量合并后的输入数据，F(Ih|Θi)表示针对第h个待重建图像，卷积神经网络CNN在参数集Θi下前向计算得到的超分辨率图像颜色分量，Xh表示第h个待重建图像对应的原始图像颜色分量，i为当前已进行前向计算的次数计数。
步骤85、基于损失值确定采用当前参数集的该预设结构的卷积神经网络是否收敛，如果不收敛，进入步骤86，如果收敛，进入步骤87。
具体的，可以当损失值小于预设损失值阈值时，确定收敛；也可以当本次计算得到损失值与上一次计算得到的损失值之差，小于预设变化阈值时，确定收敛，本发明在此不做限定。
步骤86，对当前参数集中的参数进行调整，得到调整后的参数集，然后进入步骤83，用于下一次前向计算。
具体可以利用反向传播算法对当前参数集中的参数进行调整。
步骤87、将当前参数集作为输出的最终参数集Θfinal，并将采用最终参数集Θfinal的该预设结构的卷积神经网络，作为训练完成的卷积神经网络模型。
基于同一发明构思，根据本发明上述实施例提供的图像超分辨率重建方法，相应地，本发明另一实施例还提供了一种图像超分辨率重建装置，其结构示意图如图9所示，具体包括：
生成模块91，用于生成待重建图像对应的边信息分量，其中，所述待重建图像为对原始图像进行图像处理得到的，所述边信息分量表示所述待重建图像相对所述原始图像的处理质量特征；
重建模块92，用于将所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到超分辨率图像颜色分量，所述超分辨率图像颜色分量包括的像素数量，大于所述待重建图像的待重建图像颜色分量包括的像素数量；
其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量。
进一步的，所述处理质量特征为所述待重建图像相对所述原始图像的失真特征。
进一步的，所述边信息分量至少表示如下失真特征之一：
表示所述待重建图像相对所述原始图像的失真程度；
表示所述待重建图像相对所述原始图像的失真位置；
表示所述待重建图像相对所述原始图像的失真类型。
进一步的，所述生成模块91，具体用于确定待重建图像每个像素点的失真程度值；以及基于所述待重建图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述待重建图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述待重建图像上相同位置的像素点相对应。
进一步的，所述生成模块91，具体用于针对通过编解码得到的待重建图像，获取每个编码区域的量化参数，将所述待重建图像每个像素点所在编码区域的量化参数，确定为所述待重建图像每个像素点的失真程度值；或者，针对通过下采样处理得到的待重建图像，将与所述下采样处理相关的下采样信息，确定为所述待重建图像每个像素点的失真程度值，所述下采样信息至少包括所述下采样处理中滤波器的抽头系数，截止频率和同频带的波动程度中之一；或者，使用无参考图像质量评价方法对待重建图像进行评估，得到所述待重建图像每个像素点的失真程度值。
进一步的，所述生成模块91，具体用于基于所述待重建图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述待重建图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述待重建图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值。
进一步的，所述原始图像为视频中的视频帧图像；
所述装置还包括：
图像获取模块93，用于获取对所述原始图像在所述视频中的相邻视频帧图像进行所述图像处理得到的处理后图像，作为参考图像；
所述重建模块，具体用于将所述参考图像的参考图像颜色分量、所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理；
其中，所述预设训练集中的原始样本图像为视频中的视频帧图像，所述预设训练集还包括每个待重建图像对应的参考图像的参考图像颜色分量，该参考图像为对原始样本图像在其所属视频中的相邻视频帧图像进行图像处理得到的处理后图像，且进行该图像处理的方式与得到该待重建图像的图像处理方式相同。
基于同一发明构思，根据本发明上述实施例提供的图像超分辨率重建方法，相应地，本发明另一实施例还提供了一种电子设备，其结构示意图如图10所示，具体包括：处理器101和存储器102；
存储器102，用于存放计算机程序；
处理器101，用于执行存储器上所存放的程序时，实现上述任一图像超分辨率重建方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像超分辨率重建方法的步骤。
基于同一发明构思，根据本发明上述实施例提供的卷积神经网络模型训练方法，相应地，本发明另一实施例还提供了一种卷积神经网络模型训练装置，其结构示意图如图11所示，具体包括：
训练集获取模块111，用于获取预设训练集，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量，其中，待重建图像对应的边信息分量表示该待重建图像相对原始样本图像的处理质量特征；
计算模块112，用于将所述预设训练集中的每个待重建图像的待重建图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该待重建图像对应的超分辨率图像颜色分量，该超分辨率图像颜色分量包括的像素数量，大于该待重建图像的待重建图像颜色分量包括的像素数量；
损失值确定模块113，用于基于所述原始样本图像的原始图像颜色分量和得到的超分辨率图像颜色分量，确定所述超分辨率图像的损失值；
模型确定模块114，用于当基于所述损失值确定所述预设结构的卷积神经网络收敛时，完成训练，得到卷积神经网络模型。
进一步的，所述处理质量特征为该待重建图像相对原始样本图像的失真特征。
进一步的，所述边信息分量至少表示如下失真特征之一：
表示所述待重建图像相对所述原始样本图像的失真程度；
表示所述待重建图像相对所述原始样本图像的失真位置；
表示所述待重建图像相对所述原始样本图像的失真类型。
进一步的，还包括：
生成模块115，用于采用如下步骤生成一个待重建图像对应的边信息分量：
确定待重建图像每个像素点的失真程度值；
基于所述待重建图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述待重建图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述待重建图像上相同位置的像素点相对应。
进一步的，所述生成模块115，具体用于针对通过编解码得到的待重建图像，获取每个编码区域的量化参数，将所述待重建图像每个像素点所在编码区域的量化参数，确定为所述待重建图像每个像素点的失真程度值；或者，针对通过下采样处理得到的待重建图像，将与所述下采样处理相关的下采样信息，确定为所述待重建图像每个像素点的失真程度值，所述下采样信息至少包括所述下采样处理中滤波器的抽头系数，截止频率和同频带的波动程度中之一；或者，使用无参考图像质量评价方法对待重建图像进行评估，得到所述待重建图像每个像素点的失真程度值。
进一步的，所述生成模块115，具体用于基于所述待重建图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述待重建图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述待重建图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值。
进一步的，所述原始样本图像为视频中的视频帧图像；
所述预设训练集还包括每个待重建图像对应的参考图像的参考图像颜色分量，该参考图像为对所述原始样本图像在所述视频中的相邻视频帧图像进行图像处理得到的处理后图像，且进行该图像处理的方式与得到该待重建图像的图像处理方式相同；
所述计算模块112，具体用于将所述预设训练集中的每个待重建图像的待重建图像颜色分量、对应的边信息分量以及对应的参考图像的参考图像颜色分量，输入预设结构的卷积神经网络进行卷积滤波处理。
基于同一发明构思，根据本发明上述实施例提供的卷积神经网络模型训练方法，相应地，本发明另一实施例还提供了一种电子设备，其结构示意图如图12所示，具体包括：处理器121和存储器122；
存储器122，用于存放计算机程序；
处理器121，用于执行存储器上所存放的程序时，实现上述任一卷积神经网络模型训练方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一卷积神经网络模型训练方法的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备和计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (32)
1.一种图像超分辨率重建方法，其特征在于，包括：
生成待重建图像对应的边信息分量，其中，所述待重建图像为对原始图像进行图像处理得到的，所述边信息分量表示所述待重建图像相对所述原始图像的处理质量特征；
将所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到超分辨率图像颜色分量，所述超分辨率图像颜色分量包括的像素数量，大于所述待重建图像的待重建图像颜色分量包括的像素数量；
其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量。
2.如权利要求1所述的方法，其特征在于，所述处理质量特征为所述待重建图像相对所述原始图像的失真特征。
3.如权利要求2所述的方法，其特征在于，所述边信息分量至少表示如下失真特征之一：
表示所述待重建图像相对所述原始图像的失真程度；
表示所述待重建图像相对所述原始图像的失真位置；
表示所述待重建图像相对所述原始图像的失真类型。
4.如权利要求2所述的方法，其特征在于，生成待重建图像对应的边信息分量，包括：
确定待重建图像每个像素点的失真程度值；
基于所述待重建图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述待重建图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述待重建图像上相同位置的像素点相对应。
5.如权利要求4所述的方法，其特征在于，所述确定待重建图像每个像素点的失真程度值，包括：
针对通过编解码得到的待重建图像，获取每个编码区域的量化参数，将所述待重建图像每个像素点所在编码区域的量化参数，确定为所述待重建图像每个像素点的失真程度值；或者
针对通过下采样处理得到的待重建图像，将与所述下采样处理相关的下采样信息，确定为所述待重建图像每个像素点的失真程度值，所述下采样信息至少包括所述下采样处理中滤波器的抽头系数，截止频率和同频带的波动程度中之一；或者
使用无参考图像质量评价方法对待重建图像进行评估，得到所述待重建图像每个像素点的失真程度值。
6.如权利要求4所述的方法，其特征在于，基于所述待重建图像各像素点的位置，使用获取的所述各像素点的失真程度值，生成所述待重建图像对应的边信息分量，包括：
基于所述待重建图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值；或者
基于所述待重建图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述待重建图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值。
7.如权利要求1所述的方法，其特征在于，所述原始图像为视频中的视频帧图像；
在将所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理之前，还包括：
获取对所述原始图像在所述视频中的相邻视频帧图像进行所述图像处理得到的处理后图像，作为参考图像；
将所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，包括：
将所述参考图像的参考图像颜色分量、所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理；
其中，所述预设训练集中的原始样本图像为视频中的视频帧图像，所述预设训练集还包括每个待重建图像对应的参考图像的参考图像颜色分量，该参考图像为对原始样本图像在其所属视频中的相邻视频帧图像进行图像处理得到的处理后图像，且进行该图像处理的方式与得到该待重建图像的图像处理方式相同。
8.一种图像超分辨率重建装置，其特征在于，包括：
生成模块，用于生成待重建图像对应的边信息分量，其中，所述待重建图像为对原始图像进行图像处理得到的，所述边信息分量表示所述待重建图像相对所述原始图像的处理质量特征；
重建模块，用于将所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到超分辨率图像颜色分量，所述超分辨率图像颜色分量包括的像素数量，大于所述待重建图像的待重建图像颜色分量包括的像素数量；
其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量。
9.如权利要求8所述的装置，其特征在于，所述处理质量特征为所述待重建图像相对所述原始图像的失真特征。
10.如权利要求9所述的装置，其特征在于，所述边信息分量至少表示如下失真特征之一：
表示所述待重建图像相对所述原始图像的失真程度；
表示所述待重建图像相对所述原始图像的失真位置；
表示所述待重建图像相对所述原始图像的失真类型。
11.如权利要求9所述的装置，其特征在于，所述生成模块，具体用于确定待重建图像每个像素点的失真程度值；以及基于所述待重建图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述待重建图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述待重建图像上相同位置的像素点相对应。
12.如权利要求11所述的装置，其特征在于，所述生成模块，具体用于针对通过编解码得到的待重建图像，获取每个编码区域的量化参数，将所述待重建图像每个像素点所在编码区域的量化参数，确定为所述待重建图像每个像素点的失真程度值；或者，针对通过下采样处理得到的待重建图像，将与所述下采样处理相关的下采样信息，确定为所述待重建图像每个像素点的失真程度值，所述下采样信息至少包括所述下采样处理中滤波器的抽头系数，截止频率和同频带的波动程度中之一；或者，使用无参考图像质量评价方法对待重建图像进行评估，得到所述待重建图像每个像素点的失真程度值。
13.如权利要求11所述的装置，其特征在于，所述生成模块，具体用于基于所述待重建图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述待重建图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述待重建图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值。
14.如权利要求8所述的装置，其特征在于，所述原始图像为视频中的视频帧图像；
所述装置还包括：
图像获取模块，用于获取对所述原始图像在所述视频中的相邻视频帧图像进行所述图像处理得到的处理后图像，作为参考图像；
所述重建模块，具体用于将所述参考图像的参考图像颜色分量、所述待重建图像的待重建图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理；
其中，所述预设训练集中的原始样本图像为视频中的视频帧图像，所述预设训练集还包括每个待重建图像对应的参考图像的参考图像颜色分量，该参考图像为对原始样本图像在其所属视频中的相邻视频帧图像进行图像处理得到的处理后图像，且进行该图像处理的方式与得到该待重建图像的图像处理方式相同。
15.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
17.一种卷积神经网络模型训练方法，其特征在于，包括：
获取预设训练集，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量，其中，待重建图像对应的边信息分量表示该待重建图像相对原始样本图像的处理质量特征；
将所述预设训练集中的每个待重建图像的待重建图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该待重建图像对应的超分辨率图像颜色分量，该超分辨率图像颜色分量包括的像素数量，大于该待重建图像的待重建图像颜色分量包括的像素数量；
基于所述原始样本图像的原始图像颜色分量和得到的超分辨率图像颜色分量，确定所述超分辨率图像的损失值；
当基于所述损失值确定所述预设结构的卷积神经网络收敛时，完成训练，得到卷积神经网络模型。
18.如权利要求17所述的方法，其特征在于，所述处理质量特征为该待重建图像相对原始样本图像的失真特征。
19.如权利要求18所述的方法，其特征在于，所述边信息分量至少表示如下失真特征之一：
表示所述待重建图像相对所述原始样本图像的失真程度；
表示所述待重建图像相对所述原始样本图像的失真位置；
表示所述待重建图像相对所述原始样本图像的失真类型。
20.如权利要求17所述的方法，其特征在于，采用如下步骤生成一个待重建图像对应的边信息分量：
确定待重建图像每个像素点的失真程度值；
基于所述待重建图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述待重建图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述待重建图像上相同位置的像素点相对应。
21.如权利要求20所述的方法，其特征在于，所述确定待重建图像每个像素点的失真程度值，包括：
针对通过编解码得到的待重建图像，获取每个编码区域的量化参数，将所述待重建图像每个像素点所在编码区域的量化参数，确定为所述待重建图像每个像素点的失真程度值；或者
针对通过下采样处理得到的待重建图像，将与所述下采样处理相关的下采样信息，确定为所述待重建图像每个像素点的失真程度值，所述下采样信息至少包括所述下采样处理中滤波器的抽头系数，截止频率和同频带的波动程度中之一；或者
使用无参考图像质量评价方法对待重建图像进行评估，得到所述待重建图像每个像素点的失真程度值。
22.如权利要求20所述的方法，其特征在于，基于所述待重建图像各像素点的位置，使用获取的所述各像素点的失真程度值，生成所述待重建图像对应的边信息分量，包括：
基于所述待重建图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值；或者
基于所述待重建图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述待重建图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值。
23.如权利要求17所述的方法，其特征在于，所述原始样本图像为视频中的视频帧图像；
所述预设训练集还包括每个待重建图像对应的参考图像的参考图像颜色分量，该参考图像为对所述原始样本图像在所述视频中的相邻视频帧图像进行图像处理得到的处理后图像，且进行该图像处理的方式与得到该待重建图像的图像处理方式相同；
将所述预设训练集中的每个待重建图像的待重建图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，包括：
将所述预设训练集中的每个待重建图像的待重建图像颜色分量、对应的边信息分量以及对应的参考图像的参考图像颜色分量，输入预设结构的卷积神经网络进行卷积滤波处理。
24.一种卷积神经网络模型训练装置，其特征在于，包括：
训练集获取模块，用于获取预设训练集，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个待重建图像的待重建图像颜色分量，以及每个待重建图像对应的边信息分量，其中，待重建图像对应的边信息分量表示该待重建图像相对原始样本图像的处理质量特征；
计算模块，用于将所述预设训练集中的每个待重建图像的待重建图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该待重建图像对应的超分辨率图像颜色分量，该超分辨率图像颜色分量包括的像素数量，大于该待重建图像的待重建图像颜色分量包括的像素数量；
损失值确定模块，用于基于所述原始样本图像的原始图像颜色分量和得到的超分辨率图像颜色分量，确定所述超分辨率图像的损失值；
模型确定模块，用于当基于所述损失值确定所述预设结构的卷积神经网络收敛时，完成训练，得到卷积神经网络模型。
25.如权利要求24所述的装置，其特征在于，所述处理质量特征为该待重建图像相对原始样本图像的失真特征。
26.如权利要求25所述的装置，其特征在于，所述边信息分量至少表示如下失真特征之一：
表示所述待重建图像相对所述原始样本图像的失真程度；
表示所述待重建图像相对所述原始样本图像的失真位置；
表示所述待重建图像相对所述原始样本图像的失真类型。
27.如权利要求24所述的装置，其特征在于，还包括：
生成模块，用于采用如下步骤生成一个待重建图像对应的边信息分量：
确定待重建图像每个像素点的失真程度值；
基于所述待重建图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述待重建图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述待重建图像上相同位置的像素点相对应。
28.如权利要求27所述的装置，其特征在于，所述生成模块，具体用于针对通过编解码得到的待重建图像，获取每个编码区域的量化参数，将所述待重建图像每个像素点所在编码区域的量化参数，确定为所述待重建图像每个像素点的失真程度值；或者，针对通过下采样处理得到的待重建图像，将与所述下采样处理相关的下采样信息，确定为所述待重建图像每个像素点的失真程度值，所述下采样信息至少包括所述下采样处理中滤波器的抽头系数，截止频率和同频带的波动程度中之一；或者，使用无参考图像质量评价方法对待重建图像进行评估，得到所述待重建图像每个像素点的失真程度值。
29.如权利要求27所述的装置，其特征在于，所述生成模块，具体用于基于所述待重建图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述待重建图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述待重建图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述待重建图像对应的边信息分量中该像素点相同位置的分量值。
30.如权利要求24所述的装置，其特征在于，所述原始样本图像为视频中的视频帧图像；
所述预设训练集还包括每个待重建图像对应的参考图像的参考图像颜色分量，该参考图像为对所述原始样本图像在所述视频中的相邻视频帧图像进行图像处理得到的处理后图像，且进行该图像处理的方式与得到该待重建图像的图像处理方式相同；
所述计算模块，具体用于将所述预设训练集中的每个待重建图像的待重建图像颜色分量、对应的边信息分量以及对应的参考图像的参考图像颜色分量，输入预设结构的卷积神经网络进行卷积滤波处理。
31.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求17-23任一所述的方法步骤。
32.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求17-23任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810130089.1A CN110136057B (zh) | 2018-02-08 | 2018-02-08 | 一种图像超分辨率重建方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810130089.1A CN110136057B (zh) | 2018-02-08 | 2018-02-08 | 一种图像超分辨率重建方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110136057A true CN110136057A (zh) | 2019-08-16 |
| CN110136057B CN110136057B (zh) | 2023-06-09 |
Family
ID=67567871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810130089.1A Active CN110136057B (zh) | 2018-02-08 | 2018-02-08 | 一种图像超分辨率重建方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136057B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111640061A (zh) * | 2020-05-12 | 2020-09-08 | 哈尔滨工业大学 | 一种自适应图像超分辨率系统 |
| CN111784580A (zh) * | 2020-06-30 | 2020-10-16 | 北京金山云网络技术有限公司 | 图像的超分辨率方法、装置和服务器 |
| CN112419153A (zh) * | 2020-11-23 | 2021-02-26 | 深圳供电局有限公司 | 图像超分辨率重建方法、装置、计算机设备和存储介质 |
| CN112468830A (zh) * | 2019-09-09 | 2021-03-09 | 阿里巴巴集团控股有限公司 | 视频图像处理方法、装置及电子设备 |
| WO2021046752A1 (en) * | 2019-09-11 | 2021-03-18 | Covidien Lp | Systems and methods for neural-network based color restoration |
| CN113033616A (zh) * | 2021-03-02 | 2021-06-25 | 北京大学 | 高质量视频重建方法、装置、设备及存储介质 |
| WO2023274392A1 (en) * | 2021-07-01 | 2023-01-05 | Beijing Bytedance Network Technology Co., Ltd. | Utilizing Coded Information During Super Resolution Process |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015203952A (ja) * | 2014-04-14 | 2015-11-16 | 日本放送協会 | 超解像装置及びプログラム |
| CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
-
2018
- 2018-02-08 CN CN201810130089.1A patent/CN110136057B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015203952A (ja) * | 2014-04-14 | 2015-11-16 | 日本放送協会 | 超解像装置及びプログラム |
| CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张顺岚等: "基于卷积神经网络的超分辨率重建", 《计算机工程与设计》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112468830A (zh) * | 2019-09-09 | 2021-03-09 | 阿里巴巴集团控股有限公司 | 视频图像处理方法、装置及电子设备 |
| WO2021046752A1 (en) * | 2019-09-11 | 2021-03-18 | Covidien Lp | Systems and methods for neural-network based color restoration |
| CN111640061A (zh) * | 2020-05-12 | 2020-09-08 | 哈尔滨工业大学 | 一种自适应图像超分辨率系统 |
| CN111784580A (zh) * | 2020-06-30 | 2020-10-16 | 北京金山云网络技术有限公司 | 图像的超分辨率方法、装置和服务器 |
| CN112419153A (zh) * | 2020-11-23 | 2021-02-26 | 深圳供电局有限公司 | 图像超分辨率重建方法、装置、计算机设备和存储介质 |
| CN113033616A (zh) * | 2021-03-02 | 2021-06-25 | 北京大学 | 高质量视频重建方法、装置、设备及存储介质 |
| CN113033616B (zh) * | 2021-03-02 | 2022-12-02 | 北京大学 | 高质量视频重建方法、装置、设备及存储介质 |
| WO2023274392A1 (en) * | 2021-07-01 | 2023-01-05 | Beijing Bytedance Network Technology Co., Ltd. | Utilizing Coded Information During Super Resolution Process |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110136057B (zh) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136057A (zh) | 一种图像超分辨率重建方法、装置及电子设备 | |
| CN108932697A (zh) | 一种失真图像的去失真方法、装置及电子设备 | |
| Ying et al. | From patches to pictures (PaQ-2-PiQ): Mapping the perceptual space of picture quality | |
| CN109120937A (zh) | 一种视频编码方法、解码方法、装置及电子设备 | |
| CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| CN111861961B (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
| CN109559276B (zh) | 一种基于质量评价和特征统计的图像超分辨率重建方法 | |
| CN101065970B (zh) | 用于仿真胶片颗粒的方法与设备 | |
| CN109151475A (zh) | 一种视频编码方法、解码方法、装置及电子设备 | |
| CN112862689B (zh) | 一种图像超分辨率重建方法及系统 | |
| CN111127331B (zh) | 基于像素级全局噪声估计编解码网络的图像去噪方法 | |
| CN110198444A (zh) | 视频帧编码方法、视频帧编码设备及具有存储功能的装置 | |
| CN117011194B (zh) | 一种基于多尺度双通道注意力网络的低光图像增强方法 | |
| KR20190139781A (ko) | 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법 | |
| CN109102461A (zh) | 低采样分块压缩感知的图像重构方法、装置、设备及介质 | |
| DE60118491T2 (de) | Kodiergerät und Kodierverfahren für einen Orientierungsinterpolationsknoten | |
| CN111105357B (zh) | 一种失真图像的去失真方法、装置及电子设备 | |
| DE102016209125A1 (de) | Verfahren zur Erstellung und Distribution von art-directable Videos mit einem kontinuierlichen Dynamikbereich | |
| CN116703752A (zh) | 融合近红外的Transformer结构的图像去雾方法及装置 | |
| Reddy et al. | Image Compression and reconstruction using a new approach by artificial neural network | |
| CN110047038B (zh) | 一种基于层级递进网络的单图像超分辨重建方法 | |
| Yang et al. | Blind VQA on 360° video via progressively learning from pixels, frames, and video | |
| CN106888374A (zh) | 一种三维视频编码方法、装置及视频处理设备 | |
| Yang et al. | Semantic preprocessor for image compression for machines | |
| CN115665413A (zh) | 图像压缩最优量化参数的估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |