CN108154474A - 一种超分辨率图像重构方法、装置、介质及设备 - Google Patents
一种超分辨率图像重构方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN108154474A CN108154474A CN201711405030.0A CN201711405030A CN108154474A CN 108154474 A CN108154474 A CN 108154474A CN 201711405030 A CN201711405030 A CN 201711405030A CN 108154474 A CN108154474 A CN 108154474A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- frequency
- luminance picture
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003384 imaging method Methods 0.000 claims abstract description 119
- 238000002156 mixing Methods 0.000 claims abstract description 56
- 238000005070 sampling Methods 0.000 claims description 162
- 238000012545 processing Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 description 11
- 238000013507 mapping Methods 0.000 description 10
- 230000003321 amplification Effects 0.000 description 5
- 238000004040 coloring Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种超分辨率图像重构方法、装置、介质及设备，该方法包括：提取原始图像的亮度图像和颜色图像；确定所述亮度图像的第一低频图像、所述亮度图像的高频图像、所述亮度图像的第二低频图像以及所述亮度图像对应的N幅低频图像；根据所述第一低频图像、所述亮度图像的高频图像、第二低频图像以及N幅低频图像，确定所述第二低频图像对应的高频图像；将第二低频图像以及所述第二低频图像对应的高频图像进行融合，得到第一融合图像；若所述第一融合图像的分辨率等于目标分辨率，则将所述第一融合图像与所述颜色图像进行融合，得到原始图像的超分辨率图像。本申请重构得到的超分辨率图像既能具有较高的分辨率又能包含较多的图像细节。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种超分辨率图像重构方法、装置、介质及设备。
背景技术
目前，图像超分辨率重建技术指的是从一幅或多幅低分辨率、低质量图像中产生高分辨率、高质量图像的数字图像处理技术。这里的数字图像的分辨率指的图像的空间分辨率，即是每英寸图像含有的像素点个数，分辨率的单位为dpi(dots per inch)。不难理解，分辨率越大，图像信息量越大，图像也越清晰。而从低分辨率图像中获得更高分辨率图像是一种“无中生有”过程，即从现有的信息量中去估计得到更多的信息量。
作为一种无需改善硬件设备,却可显著提高图像质量的方法,超分辨率在视频监控、医学成像、遥感图像等领域中有着广泛的应用前景，例如：(1)视频监控领域：视频中的定格画面和对特定区域的放大显示(例如，识别录像中的汽车)，对目标识别进行分辨率的增强(例如，识别嫌疑犯的面容)；(3)医学图像(CT，MRI等)领域：已知若干幅有限分辨率的医学图像，可以获得高分辨率的医学图像；(4)视频标准转换领域：例如，从NTSC视频信号变为HDTV视频信号。
现有技术主要采用非均匀插值方法得到超分辨率图像，该方法是一种最为直观的超分辨率算法。将有亚像素位移的低分辨率图像配准后映射到高分辨率网格上，形成一幅不完全均匀间隔采样网格上的复合图像，将复合图像进行内插和重采样后可得到超分辨率网格上的采样点值，这样得到超分辨率图像的方法即为非均匀插值方法。常用的内插方法有：最邻近插值、双线性插值、双三次插值和自适应插值等。
发明人发现，采用非均匀插值方法重建得到的超分辨率图像中的高频信息不足、包含的图像细节较少，从而导致超分辨率图像的效果较差，进而使得得到的超分辨率图像具有锯齿效果且超分辨率图像较模糊不能满足实际的需求。
发明内容
本申请提供一种超分辨率图像重构方法、装置、介质及设备，用以解决现有技术中采用非均匀插值方法重建得到的超分辨率图像中的高频信息不足、包含的图像细节较少，从而导致超分辨率图像的效果较差，进而使得得到的超分辨率图像具有锯齿效果且超分辨率图像较模糊不能满足实际的需求的问题。
第一方面，本申请实施例提供一种超分辨率图像重构方法，包括：
提取原始图像的亮度图像和颜色图像；
确定所述亮度图像的第一低频图像、所述亮度图像的高频图像、所述亮度图像的第二低频图像以及所述亮度图像对应的N幅低频图像，其中，所述第一低频图像的分辨率等于所述亮度图像的分辨率，所述第二低频图像的分辨率比所述亮度图像的分辨率高设定数目倍，N幅低频图像中每幅低频图像的分辨率均与所述第二低频图像的分辨率不同；
根据所述第一低频图像、所述亮度图像的高频图像、第二低频图像以及N幅低频图像，确定所述第二低频图像对应的高频图像；
将第二低频图像以及所述第二低频图像对应的高频图像进行融合，得到第一融合图像；
若所述第一融合图像的分辨率等于目标分辨率，则将所述第一融合图像与所述颜色图像进行融合，得到原始图像的超分辨率图像。
第二方面，本申请实施例提供一种超分辨率图像重构装置，包括：
提取模块，用于提取原始图像的亮度图像和颜色图像；
第一确定模块，用于确定所述亮度图像的第一低频图像、所述亮度图像的高频图像、所述亮度图像的第二低频图像以及所述亮度图像对应的N幅低频图像，其中，所述第一低频图像的分辨率等于所述亮度图像的分辨率，所述第二低频图像的分辨率比所述亮度图像的分辨率高设定数目倍，N幅低频图像中每幅低频图像的分辨率均与所述第二低频图像的分辨率不同；
第二确定模块，用于根据所述第一低频图像、所述亮度图像的高频图像、第二低频图像以及N幅低频图像，确定所述第二低频图像对应的高频图像；
第一融合模块，用于将第二低频图像以及所述第二低频图像对应的高频图像进行融合，得到第一融合图像；
第二融合模块，用于若所述第一融合图像的分辨率等于目标分辨率，则将所述第一融合图像与所述颜色图像进行融合，得到原始图像的超分辨率图像。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现上述实施例提供的任一超分辨率图像重构方法的步骤。
第四方面，本申请实施例提供一种计算设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序时实现上述实施例提供的任一超分辨率图像重构方法的步骤。
本申请提供的超分辨率图像重构方法、装置、介质及设备，根据与原始图像的亮度图像具有相同分辨率的第一低频图像、与原始图像的亮度图像具有相同分辨率的该亮度图像的高频图像、比原始图像的亮度图像分辨率高设定数目倍的第二低频图像以及原始图像的亮度图像对应的N幅低频图像，确定第二低频图像对应的高频图像，将第二低频图像以及第二低频图像对应的高频图像进行融合，根据融合后得到的第一融合图像得到原始图像的超分辨率图像；由于第二低频包括较多低频信息且分辨率较高，第二低频图像对应的高频图像包括较多高频信息，因此，二者融合得到的第一融合图像既保留了较多的低频信息又增加了较多的高频信息，进而使得重构得到原始图像的超分辨率图像既能具有较高的分辨率又能包含较多的图像细节，超分辨率图像效果较好，避免了现有技术中由于采用非均匀插值方法重建得到超分辨率图像的方式导致的得到的超分辨率图像具有锯齿效果且超分辨率图像较模糊不能满足实际的需求的问题。
附图说明
图1为本申请实施例提供的超分辨率图像重构方法的流程示意图；
图2为本申请实施例提供的确定第二低频图像对应的高频图像的方法流程示意图；
图3为本申请实施例提供的确定亮度图像的第一低频图像的方法流程示意图；
图4为本申请实施例提供的确定亮度图像的第二低频图像的方法流程示意图；
图5为本申请实施例提供的对图像进行下采样的过程示意图；
图6为本申请实施例提供的对图像进行上采样的过程示意图；
图7为本申请实施例提供的超分辨率图像重构装置的结构示意图；
图8为本申请实施例提供的计算设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本申请提供的超分辨率图像重构方法进行更详细地说明。
本申请实施例提供一种超分辨率图像重构方法，如图1所示，包括：
步骤101，提取原始图像的亮度图像和颜色图像。
具体的，原始图像为彩色图像的情况下，该原始图像包括亮度信息和颜色信息均不为空；原始图像为黑白图像的情况下，该原始图像包括亮度信息不为空，而该原始图像的颜色信息为空，即该原始图像不包括颜色信息。本申请实施例将原始图像中的亮度信息作为原始图像的亮度图像，将原始图像的颜色信息作为原始图像的颜色图像。具体的提取图像中亮度信息和颜色信息的过程可参考现有技术，这里不做限定。
步骤102，确定所述亮度图像的第一低频图像、所述亮度图像的高频图像、所述亮度图像的第二低频图像以及所述亮度图像对应的N幅低频图像，其中，所述第一低频图像的分辨率等于所述亮度图像的分辨率，所述第二低频图像的分辨率比所述亮度图像的分辨率高设定数目倍，N幅低频图像中每幅低频图像的分辨率均与所述第二低频图像的分辨率不同。
本步骤中可先按照一定上采样比例，对原始图像的亮度图像进行上采样，得到上采样后图像，再按照一定下采样比例，针对得到的上采样后图像进行下采样，得到亮度图像的第一低频图像，其中，上采样比例与下采样比例互为倒数关系，以使得到的第一低频图像的分辨率与亮度图像的分辨率相等。
本步骤中，可按照设定数目倍对应的上采样比例，对亮度图像进行上采样处理，得到第二低频图像。可分别按照预先设置N个上采样比例对亮度图像进行上采样处理，得到亮度图像对应的N幅低频图像，其中N个上采样比例均与设定数目倍对应的上采样比例不同，可选地，N个上采样比例均小于重构得到的超分辨率图像相对于原始图像的放大倍数(目标分辨率与原始图像的分辨率的比值)。其中，N为正整数，N的大小可根据实际应用场景设定，这里不做限定，可选地N不小于3。
举例说明，假设N为3，N个上采样比例分别为2:3、3:4、4:5，则按照比例2:3对亮度图像进行上采样，得到比例2:3对应的低频图像；按照比例3:4对亮度图像进行上采样，得比例3:4对应的低频图像；按照比例4:5对亮度图像进行上采样，得比例4:5对应的低频图像；从而得到3幅亮度图像对应的低频图像，其中，设定数目倍对应的数值为2:3、3:4以及4:5之外的数值。
需要说明的是，原始图像的亮度图像中包括高频信息和低频信息，对原始图像的亮度图像进行上采样处理所得到的图像中的低频信息较多，高频信息较少，因此对原始图像的亮度图像进行上采样处理所得到的图像可看做原始图像的亮度图像的低频图像。
可选地，亮度图像的高频图像的分辨率与亮度图像的分辨率相等，当然，亮度图像的高频图像的分辨率与亮度图像的分辨率也可以不相等，这里不做限定。在亮度图像的高频图像的分辨率与亮度图像的分辨率相等的情况下，可按照以下方式确定亮度图像的高频图像：将所述亮度图像与所述第一低频图像作差，得到所述亮度图像的高频图像。具体的，由于亮度图像、第一低频图像以及亮度图像的高频图像的分辨率相同，可将亮度图像中各个像素点的亮度值与第一低频图像中相应像素点的亮度值作差，得到亮度图像的高频图像。
可选地，设定数目为非整数且为正数，对原始图像的亮度图像进行非整数倍放大后得到的图像中保留的低频信息较多，从而使得在执行步骤103的过程中能够得到较准确的第二低频图像对应的高频图像。进一步可选地，上述N个N个上采样比例对应的数值均为非整数且为正数，这样可以使得到的N幅低频图像保留较多的低频信息，从而使得在执行步骤103的过程中能够得到较准确的第二低频图像对应的高频图像。
步骤103，根据所述第一低频图像、所述亮度图像的高频图像、第二低频图像以及N幅低频图像，确定所述第二低频图像对应的高频图像。
具体实施时，可针对第二低频图像中的每个像素点，根据第一低频图像、亮度图像的高频图像以及N幅低频图像，利用预设的匹配算法，确定第二低频图像对应的高频图像，其中，第二低频图像对应的高频图像的分辨率与第二低频图像的分辨率相同，第二低频图像对应的高频图像的尺寸与第二低频图像的尺寸也相同。
步骤104，将第二低频图像以及所述第二低频图像对应的高频图像进行融合，得到第一融合图像。
具体的，第二低频图像对应的高频图像中包含的高频信息较多，为了保证重构得到的超分辨率图像中的高频信息和低频信息均不缺失，本步骤将第二低频图像和第二低频图像对应的高频图像进行融合，从而得到低频信息和高频信息均不缺失的第一融合图像。其中，将第二低频图像中各个像素点的亮度值与第二低频图像对应的高频图像中对应像素点的亮度值进行相加，得到第一融合图像。举例说明将第二低频图像中各个像素点的亮度值与第二低频图像对应的高频图像中对应像素点的亮度值进行相加的过程：比如，将第二低频图像第一行第一列的像素点的亮度值与第二低频图像对应的高频图像第一行第一列的像素点的亮度值相加，以此类推。
需要说明的是，第一低频图像、亮度图像的高频图像、第二低频图像、N幅低频图像、第二低频图像对应的高频图像以及第一融合图像的实质均为亮度图像，只不过是对原始图像的亮度图像进行处理后所得到的亮度图像。
步骤105，若所述第一融合图像的分辨率等于目标分辨率，则将所述第一融合图像与所述颜色图像进行融合，得到原始图像的超分辨率图像。
具体的，在第一融合图像的分辨率等于目标分辨率的情况下，将第一融合图像与原始图像的颜色图像进行融合，得到原始图像的超分辨率图像。其中，目标分辨率即为想要重构得到的超分辨率图像的分辨率。在实际应用中，可预先设置想要重构得到的超分辨率图像的分辨率，将该分辨率作为目标分辨率。其中，第一融合图像实际为亮度图像，将亮度图像与颜色图像融合的过程可参考现有技术，这里不做详述。
本申请实施例，根据与原始图像的亮度图像具有相同分辨率的第一低频图像、与原始图像的亮度图像具有相同分辨率的该亮度图像的高频图像、比原始图像的亮度图像分辨率高设定数目倍的第二低频图像以及原始图像的亮度图像对应的N幅低频图像，确定第二低频图像对应的高频图像，将第二低频图像以及第二低频图像对应的高频图像进行融合，根据融合后得到的第一融合图像得到原始图像的超分辨率图像；由于第二低频包括较多低频信息且分辨率较高，第二低频图像对应的高频图像包括较多高频信息，因此，二者融合得到的第一融合图像既保留了较多的低频信息又增加了较多的高频信息，进而使得重构得到原始图像的超分辨率图像既能具有较高的分辨率又能包含较多的图像细节，超分辨率图像效果较好，避免了现有技术中由于采用非均匀插值方法重建得到超分辨率图像的方式导致的得到的超分辨率图像具有锯齿效果且超分辨率图像较模糊不能满足实际的需求的问题。
可选地，本申请实施例提供的超分辨率图像重构方法，还包括：
若所述第一融合图像的分辨率大于目标分辨率，则对所述第一融合图像进行双三次下采样处理，得到分辨率等于目标分辨率的第二融合图像；将所述第二融合图像与所述颜色图像进行融合，得到原始图像的超分辨率图像。
具体的，也可利用双三次下采样处理之外的其它下采样处理方式对第一融合图像进行下采样处理，已得到分辨率等于目标分辨率的第二融合图像。
可选地，本申请实施例提供的超分辨率图像重构方法，还包括：
若所述第一融合图像的分辨率小于目标分辨率，则将所述第一融合图像作为原始图像的亮度图像，并执行确定所述亮度图像的第一低频图像、所述亮度图像的高频图像、所述亮度图像的第二低频图像以及所述亮度图像对应的N幅低频图像的步骤。
可选地，按照图2提供的内容，确定所述第二低频图像对应的高频图像：
步骤201，针对第二低频图像中的每个像素点，确定以该像素点为中心且大小为n*n的基准图像块。
具体的，大小为n*n的基准图像块中包括n*n个像素点，且该基准图像块的中心为第二低频图像中的像素点。具体实施时，遍历第二低频图像中的每个像素点，得到第二低频图像中每个像素点对应的基准图像块。
步骤202，从所述第一低频图像和N幅低频图像中分别提取大小为m*m的待匹配图像块，其中，n和m为正整数，且n小于m。
具体的，从第一低频图像中提取一个大小为m*m的待匹配图像块，从N幅低频图像的每幅图像中分别提取一个大小为m*m的待匹配图像块，得到N+1个待匹配图像块。其中，n和m均为正整数，且，n小于m。
可按照以下方式从所述第一低频图像和N幅低频图像中的任一低频图像中提取大小为m*m的待匹配图像块：
确定第二低频图像与该任一低频图像的缩放倍数；根据第二低频图像中该像素点在第二低频图像中的位置以及该缩放倍数，利用线性映射关系，确定映射后该像素点在该任一低频图像中对应的映射像素点；以该映射像素点为中心且大小为m*m的待匹配图像块。具体的映射方式为现有技术，这里不做赘述。
步骤203，利用预设匹配算法，从提取的各个待匹配图像块中确定与所述基准图像块匹配度最高的参考图像块，该参考图像块的大小为n*n。
具体的，针对提取的每个待匹配图像块，利用预设匹配算法，确定该待匹配图像块中与所述基准像素块的匹配度超过预设匹配度的图像块，作为该待匹配图像块对应的参考图像块；确定各个待匹配图像块对应的各个参考图像块中，与所述基准图像块的匹配度最高的参考图像块，作为从提取的各个待匹配图像块中确定出的与所述基准图像块匹配度最高的参考图像块。其中，参考图像块的大小与基准图像块的大小相同，均为n*n的图像块。
其中，预设匹配算法可以为SAD(Sum of Absolute Differences，绝对误差和算法)、SSD(Sum of Squared Differences，误差平方和算法)或NCC(Normalized CrossCorrelation，归一化积相关算法)等，这里不做限定。
其中，在设定数目为非整数且为正数的情况下，对原始图像的亮度图像进行非整数倍放大后得到的图像中保留的低频信息较多，从而能够使得利用预设匹配算法匹配得到的参考图像块更加准确。
步骤204，根据该参考图像块在其所属的低频图像中的位置以及所述亮度图像的高频图像，确定该像素点对应的高频图像块。
可选地，按照以下方式确定该像素点对应的高频图像块：
确定与所述基准图像块匹配度最高的参考图像块在其所属的低频图像中的位置，作为参考位置；提取所述亮度图像的高频图像中与该参考位置相对应的位置处的图像块，作为该像素点对应的高频图像块。
具体实施时，若与所述基准图像块匹配度最高的参考图像块所属的低频图像的分辨率与原始图像的亮度图像的分辨率相同，即与所述基准图像块匹配度最高的参考图像块所属的低频图像的分辨率与亮度图像的高频图像的分辨率相同，则亮度图像的高频图像中与该参考位置相对应的位置处的图像块即为亮度图像的高频图像中该参考位置处的图像块；其中，若与所述基准图像块匹配度最高的参考图像块所属的低频图像为第一低频图像，则与所述基准图像块匹配度最高的参考图像块所属的低频图像的分辨率与原始图像的亮度图像的分辨率相同。
若与所述基准图像块匹配度最高的参考图像块所属的低频图像的分辨率与原始图像的亮度图像的分辨率不相同，即与所述基准图像块匹配度最高的参考图像块所属的低频图像的分辨率与亮度图像的高频图像的分辨率不相同，则确定与所述基准图像块匹配度最高的参考图像块所属的低频图像与原始图像的亮度图像的缩放倍数；根据参考位置以及该缩放倍数，利用线性映射关系，确定映射后与所述基准图像块匹配度最高的参考图像块在原始图像的高频图像中对应的映射参考位置；以该映射参考位置在原始图像的高频图像中的对应像素块，作为该像素点对应的高频图像块。具体的映射方式为现有技术，这里不做赘述。
可选地，参考位置可以为该参考图像块中每个像素点在其所属的低频图像中的位置组成的位置集合，也可以为该参考图像块的中心像素点在其所属的低频图像中位置。
步骤205，根据第二低频图像中的每个像素点对应的高频图像块，确定所述第二低频图像对应的高频图像。
具体实施时，确定出第二低频图像中每个像素点对应的高频图像块之后，利用各个像素点对应的高频图像块确定第二低频图像对应的高频图像，其中，第二低频图像对应的高频图像的分辨率与第二低频图像的分辨率相同。具体的，可按照以下方式执行步骤205：
确定第二低频图像中每个像素点对应的高频图像块的中心像素点；将确定的各个中心像素点组成的图像，作为所述第二低频图像对应的高频图像。
当然，也可确定第二低频图像中每个像素点对应的高频图像块的处于非中心位置的像素点，将确定的各个处于非中心位置的像素点组成的图像，作为所述第二低频图像对应的高频图像，其中，第二低频图像中每个像素点对应的高频图像块的非中心位置均相同，比如均为高频图像块中的第一行第一列的像素点。
可选地，按照图3提供的内容，确定所述亮度图像的第一低频图像：
步骤301，从多种下采样比例中选取一种下采样比例。
具体的，预先设置多种下采样比例，在确定亮度图像的第一低频图像时，可从中选择任意一种下采样比例。
其中，预先设置的各个下采样比例对应的倍数均为非整数，且，所述下采样比例均为正数，这样可以使得到的低频图像保留更多的低频信息。可选地，预先设置的下采样比例为3:2、4:3、5:4。
步骤302，利用与选取的下采样比例对应的滤波器，对所述亮度图像进行下采样滤波处理，得到下采样后图像。
步骤303，利用与所述选取的下采样比例成倒数的上采样比例对应的滤波器，对所述下采样后图像进行上采样滤波处理，得到所述亮度图像的第一低频图像。
具体的，利用与所述选取的下采样比例成倒数的上采样比例对应的滤波器，对所述下采样后图像进行上采样滤波处理后，可得到分辨率与原始图像的亮度图像相同的第一低频图像，由于下采样和上采样均使用了非整数倍的下采样比例和上采样比例，使得得到的第一低频图像中的保留了更多的低频信息。从而能够使第二低频图像中的像素点匹配得到更加准确的高频图像块，进而能够得到更加准确的第二低频图像对应的高频图像。
可选地，所述下采样比例对应的倍数为非整数，且，所述下采样比例为正数。在预先设置的下采样比例为3:2、4:3、5:4的情况下，则相应的与下采样比例成倒数的上采样比例分别为2:3、3:4、4:5。
可选地，步骤302和步骤303中涉及的滤波器均具有系数对称的特性，这样可以使得经过上采样或下采样处理后得到的图像中保留更多的低频信息。更具体的，步骤302和步骤303中涉及的滤波器均具有系数具有轴对称的特性。
可选地，按照图4提供的内容，确定所述亮度图像的第二低频图像：
步骤401，从多种上采样比例中选取一种上采样比例。
具体的，预先设置多种上采样比例，在确定亮度图像的第二低频图像时，可从中选择任意一种上采样比例，所选择的该任意一种上采样比例作为步骤102中所涉及的设定数目倍。可选地，从预先设置的多种上采样比例中选择对应倍数最小的一个上采样比例作为设定数目倍，这样可以增加放大次数，从而经过多次放大后得到超分辨率图像，进而使得到的超分辨率图像的效果更好。
其中，预先设置的各个上采样比例对应的倍数均为非整数，且，所述上采样比例均为正数，这样可以使得到的低频图像保留更多的低频信息。可选地，预先设置的上采样比例为2:3、3:4、4:5。
步骤402，利用与选取的上采样比例对应的滤波器，对所述亮度图像进行上采样滤波处理，得到所述亮度图像的第二低频图像。
由于上采样处理使用了非整数倍的上采样比例，使得得到的第二低频图像中的保留了更多的低频信息，从而能够得到更加准确的第二低频图像对应的高频图像，进而使得到超分辨率图像中即包含了较多的低频信息又包含了较多的高频信息，具有更好的显示效果。
可选地，步骤402中涉及的滤波器具有系数对称的特性，这样可以使得经过上采样处理后得到的图像中保留更多的低频信息。更具体的，步骤402中涉及的滤波器具有系数具有轴对称的特性。
下面介绍利用与选取的下采样比例对应的滤波器，对所述亮度图像进行下采样滤波处理，得到下采样后图像的过程：采用选取的下采样比例对应的滤波器，按照行对所述亮度图像进行下采样处理，得到行处理后图像；采用选取的下采样比例对应的滤波器，按照列对得到的行处理后图像进行下采样处理，得到下采样处理后图像。
以下采样比例为3:2为例，如图5所示，其中，像素点X0-X8为原始图像的亮度图像的像素点，像素点Y0-Y5为以3:2为下采样比例，对X0-X8进行下采样处理后得到的像素点。
以3:2为下采样比例对应的下采样公式如下：
其中，n为自然数，d0和d1分别为3:2对应的滤波器的系数。
若下采样比例为4:3，则以4:3为下采样比例对应的下采样公式如下：
其中，n为自然数，d0、d1和d2分别为4:3对应的滤波器的系数。
若下采样比例为5:4，则以5:4为下采样比例对应的下采样公式如下：
其中，n为自然数，d0、d1、d2和d3分别为5:4对应的滤波器的系数。
如表一所示，为下采样比例为3:2、4:3、5:4时对应的滤波器系数表。
表一
下面介绍利用与选取的上采样比例对应的滤波器，对图像进行上采样滤波处理的过程：采用选取的上采样比例对应的滤波器，按照行对图像进行上采样处理，得到行处理后图像；采用选取的上采样比例对应的滤波器，按照列对得到的行处理后图像进行上采样处理，得到上采样处理后图像。
以上采样比例为2:3为例，如图6所示，其中，像素点X0-X1为需要进行上采样处理的图像中的像素点，像素点Y0-Y2为以2:3为上采样比例，对X0-X1按照行进行上采样处理后得到的像素点，图6中u0代表第一组滤波器系数，u1代表第二组滤波器系数。
以2:3为上采样比例对应的上采样公式如下：
Y(0)＝X0*u03+X1*u12+X0*u00
Y(1)＝X0*u04+X1*u13+X0*u01+X1*u10
Y(2)＝X1*u14+X0*u02+X1*u11
其中，u00、u01、u02、u03、u04、u10、u11、u12、u13、u14分别为2:3对应的滤波器的系数。
以3:4和以4:5为上采样比例对应的上采样公式对应的计算方式与以2:3为上采样比例对应的上采样公式对应的计算方式类似，可根据以2:3为上采样比例对应的上采样公式推导出以3:4和以4:5为上采样比例对应的上采样公式，这里不做详述。
如表二所示，为上采样比例为2:3、3:4、4:5时对应的滤波器系数表。
表二
介绍了本申请实施例提供的超分辨率图像重构方法之后，下面介绍本申请实施例提供的超分辨率图像重构装置。
本申请实施例提供一种超分辨率图像重构装置，如图7所示，包括：
提取模块701，用于提取原始图像的亮度图像和颜色图像；
第一确定模块702，用于确定所述亮度图像的第一低频图像、所述亮度图像的高频图像、所述亮度图像的第二低频图像以及所述亮度图像对应的N幅低频图像，其中，所述第一低频图像的分辨率等于所述亮度图像的分辨率，所述第二低频图像的分辨率比所述亮度图像的分辨率高设定数目倍，N幅低频图像中每幅低频图像的分辨率均与所述第二低频图像的分辨率不同；
第二确定模块703，用于根据所述第一低频图像、所述亮度图像的高频图像、第二低频图像以及N幅低频图像，确定所述第二低频图像对应的高频图像；
第一融合模块704，用于将第二低频图像以及所述第二低频图像对应的高频图像进行融合，得到第一融合图像；
第二融合模块705，用于若所述第一融合图像的分辨率等于目标分辨率，则将所述第一融合图像与所述颜色图像进行融合，得到原始图像的超分辨率图像。
可选地，所述第二确定模块703，包括：
第一确定单元7031，用于针对第二低频图像中的每个像素点，确定以该像素点为中心且大小为n*n的基准图像块；
提取单元7032，用于从所述第一低频图像和N幅低频图像中分别提取大小为m*m的待匹配图像块，其中，n和m为正整数，且n小于m；
第二确定单元7033，用于利用预设匹配算法，从提取的各个待匹配图像块中确定与所述基准图像块匹配度最高的参考图像块，该参考图像块的大小为n*n；
第三确定单元7034，用于根据该参考图像块在其所属的低频图像中的位置以及所述亮度图像的高频图像，确定该像素点对应的高频图像块；
第四确定单元7035，用于根据第二低频图像中的每个像素点对应的高频图像块，确定所述第二低频图像对应的高频图像。
可选地，所述第二确定单元7033，具体用于：
针对提取的每个待匹配图像块，确定该待匹配图像块中，与所述基准像素块的匹配度超过预设匹配度的图像块，作为该待匹配图像块对应的参考图像块；
确定各个待匹配图像块对应的各个参考图像块中，与所述基准图像块的匹配度最高的参考图像块。
可选地，所述第二确定模块703具体用于采用如下方式确定所述亮度图像的高频图像：
将所述亮度图像与所述第一低频图像作差，得到所述亮度图像的高频图像。
可选地，所述第三确定单元7034，具体用于：
确定该参考图像块在其所属的低频图像中的位置，作为参考位置；
提取所述亮度图像的高频图像中与该参考位置相对应的位置处的图像块，作为该像素点对应的高频图像块。
可选地，所述n为奇数，则所述第四确定单元7035，具体用于：
确定第二低频图像中每个像素点对应的高频图像块的中心像素点；
将确定的各个中心像素点组成的图像，作为所述第二低频图像对应的高频图像。
可选地，所述第一确定模块702具体用于采用如下方式确定所述亮度图像的第一低频图像：
从多种下采样比例中选取一种下采样比例；
利用与选取的下采样比例对应的滤波器，对所述亮度图像进行下采样滤波处理，得到下采样后图像；
利用与所述选取的下采样比例成倒数的上采样比例对应的滤波器，对所述下采样后图像进行上采样滤波处理，得到所述亮度图像的第一低频图像。
可选地，所述第一确定模块702具体用于采用如下方式确定所述亮度图像的第二低频图像：
从多种上采样比例中选取一种上采样比例；
利用与选取的上采样比例对应的滤波器，对所述亮度图像进行上采样滤波处理，得到所述亮度图像的第二低频图像。
可选地，所述下采样比例对应的倍数为非整数，且，所述下采样比例为正数。
可选地，所述上采样比例对应的倍数为非整数，且，所述下采样比例为正数。
可选地，所述滤波器具有系数对称的特性。
可选地，所述第二融合模块705还用于：
若所述第一融合图像的分辨率大于目标分辨率，则对所述第一融合图像进行双三次下采样处理，得到分辨率等于目标分辨率的第二融合图像；
将所述第二融合图像与所述颜色图像进行融合，得到原始图像的超分辨率图像。
可选地，所述第二融合模块705还用于：
若所述第一融合图像的分辨率小于目标分辨率，则将所述第一融合图像作为原始图像的亮度图像，并通知所述第一确定模块执行确定所述亮度图像的第一低频图像、所述亮度图像的高频图像、所述亮度图像的第二低频图像以及所述亮度图像对应的N幅低频图像的步骤。
介绍了本申请实施例提供的超分辨率图像重构方法和装置之后，下面介绍本申请实施例提供的用于超分辨率图像重构的介质。
本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现上述实施例提供的任一超分辨率图像重构方法的步骤。可选地，该计算机存储介质为非易失型的计算机可存储介质。
介绍了本申请实施例提供的超分辨率图像重构方法、装置和介质之后，下面结合附图8介绍本申请实施例提供的用于超分辨率图像重构的计算设备。
本申请实施例提供一种计算设备包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序时实现上述任一超分辨率图像重构方法的步骤。
本申请实施例提供一种计算设备，用于执行实施例中的超分辨率图像重构方法，如图8所示，为本申请实施中所述的计算设备的硬件结构示意图，该计算设备具体可以为的桌面计算机、便携式计算机、智能手机、平板电脑等。具体地，该计算设备可以包括存储器801、处理器802及存储在存储器上的计算机程序，所述处理器执行所述程序时实现实施例的超分辨率图像重构方法的步骤。其中，存储器801可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器802提供存储器801中存储的程序指令和数据。
进一步地，本申请实施例中所述的计算设备还可以包括输入装置803以及输出装置804等。输入装置803可以包括键盘、鼠标、触摸屏等；输出装置804可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)，触摸屏等。存储器801，处理器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
处理器802调用存储器801存储的程序指令并按照获得的程序指令执行实施例提供的超分辨率图像重构方法。
本申请提供的超分辨率图像重构方法、装置、介质及设备，根据与原始图像的亮度图像具有相同分辨率的第一低频图像、与原始图像的亮度图像具有相同分辨率的该亮度图像的高频图像、比原始图像的亮度图像分辨率高设定数目倍的第二低频图像以及原始图像的亮度图像对应的N幅低频图像，确定第二低频图像对应的高频图像，将第二低频图像以及第二低频图像对应的高频图像进行融合，根据融合后得到的第一融合图像得到原始图像的超分辨率图像；由于第二低频包括较多低频信息且分辨率较高，第二低频图像对应的高频图像包括较多高频信息，因此，二者融合得到的第一融合图像既保留了较多的低频信息又增加了较多的高频信息，进而使得重构得到原始图像的超分辨率图像既能具有较高的分辨率又能包含较多的图像细节，超分辨率图像效果较好，避免了现有技术中由于采用非均匀插值方法重建得到超分辨率图像的方式导致的得到的超分辨率图像具有锯齿效果且超分辨率图像较模糊不能满足实际的需求的问题。
应当注意，尽管在上文详细描述中提及了超分辨率图像重构装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (28)
1.一种超分辨率图像重构方法，其特征在于，包括：
提取原始图像的亮度图像和颜色图像；
确定所述亮度图像的第一低频图像、所述亮度图像的高频图像、所述亮度图像的第二低频图像以及所述亮度图像对应的N幅低频图像，其中，所述第一低频图像的分辨率等于所述亮度图像的分辨率，所述第二低频图像的分辨率比所述亮度图像的分辨率高设定数目倍，N幅低频图像中每幅低频图像的分辨率均与所述第二低频图像的分辨率不同；
根据所述第一低频图像、所述亮度图像的高频图像、第二低频图像以及N幅低频图像，确定所述第二低频图像对应的高频图像；
将第二低频图像以及所述第二低频图像对应的高频图像进行融合，得到第一融合图像；
若所述第一融合图像的分辨率等于目标分辨率，则将所述第一融合图像与所述颜色图像进行融合，得到原始图像的超分辨率图像。
2.根据权利要求1所述的方法，其特征在于，确定所述第二低频图像对应的高频图像，具体包括：
针对第二低频图像中的每个像素点，确定以该像素点为中心且大小为n*n的基准图像块；
从所述第一低频图像和N幅低频图像中分别提取大小为m*m的待匹配图像块，其中，n和m为正整数，且n小于m；
利用预设匹配算法，从提取的各个待匹配图像块中确定与所述基准图像块匹配度最高的参考图像块，该参考图像块的大小为n*n；
根据该参考图像块在其所属的低频图像中的位置以及所述亮度图像的高频图像，确定该像素点对应的高频图像块；
根据第二低频图像中的每个像素点对应的高频图像块，确定所述第二低频图像对应的高频图像。
3.根据权利要求2所述的方法，其特征在于，从提取的各个待匹配图像块中确定与所述基准图像块匹配度最高的参考图像块，具体包括：
针对提取的每个待匹配图像块，确定该待匹配图像块中，与所述基准像素块的匹配度超过预设匹配度的图像块，作为该待匹配图像块对应的参考图像块；
确定各个待匹配图像块对应的各个参考图像块中，与所述基准图像块的匹配度最高的参考图像块。
4.根据权利要求1所述的方法，其特征在于，确定所述亮度图像的高频图像，具体包括：
将所述亮度图像与所述第一低频图像作差，得到所述亮度图像的高频图像。
5.根据权利要求2-3任一所述的方法，其特征在于，确定该像素点对应的高频图像块，具体包括：
确定该参考图像块在其所属的低频图像中的位置，作为参考位置；
提取所述亮度图像的高频图像中与该参考位置相对应的位置处的图像块，作为该像素点对应的高频图像块。
6.根据权利要求2-3任一所述的方法，其特征在于，所述n为奇数，则根据第二低频图像中的每个像素点对应的高频图像块，确定所述第二低频图像对应的高频图像，具体包括：
确定第二低频图像中每个像素点对应的高频图像块的中心像素点；
将确定的各个中心像素点组成的图像，作为所述第二低频图像对应的高频图像。
7.根据权利要求1所述的方法，其特征在于，确定所述亮度图像的第一低频图像，具体包括：
从多种下采样比例中选取一种下采样比例；
利用与选取的下采样比例对应的滤波器，对所述亮度图像进行下采样滤波处理，得到下采样后图像；
利用与所述选取的下采样比例成倒数的上采样比例对应的滤波器，对所述下采样后图像进行上采样滤波处理，得到所述亮度图像的第一低频图像。
8.根据权利要求1所述的方法，其特征在于，确定所述亮度图像的第二低频图像，具体包括：
从多种上采样比例中选取一种上采样比例；
利用与选取的上采样比例对应的滤波器，对所述亮度图像进行上采样滤波处理，得到所述亮度图像的第二低频图像。
9.根据权利要求7所述的方法，其特征在于，所述下采样比例对应的倍数为非整数，且，所述下采样比例为正数。
10.根据权利要求7或8所述的方法，其特征在于，所述上采样比例对应的倍数为非整数，且，所述下采样比例为正数。
11.根据权利要求7或8所述的方法，其特征在于，所述滤波器具有系数对称的特性。
12.根据权利要求1所述的方法，其特征在于，还包括：
若所述第一融合图像的分辨率大于目标分辨率，则对所述第一融合图像进行双三次下采样处理，得到分辨率等于目标分辨率的第二融合图像；
将所述第二融合图像与所述颜色图像进行融合，得到原始图像的超分辨率图像。
13.根据权利要求1或12所述的方法，其特征在于，还包括：
若所述第一融合图像的分辨率小于目标分辨率，则将所述第一融合图像作为原始图像的亮度图像，并执行确定所述亮度图像的第一低频图像、所述亮度图像的高频图像、所述亮度图像的第二低频图像以及所述亮度图像对应的N幅低频图像的步骤。
14.一种超分辨率图像重构装置，其特征在于，包括：
提取模块，用于提取原始图像的亮度图像和颜色图像；
第一确定模块，用于确定所述亮度图像的第一低频图像、所述亮度图像的高频图像、所述亮度图像的第二低频图像以及所述亮度图像对应的N幅低频图像，其中，所述第一低频图像的分辨率等于所述亮度图像的分辨率，所述第二低频图像的分辨率比所述亮度图像的分辨率高设定数目倍，N幅低频图像中每幅低频图像的分辨率均与所述第二低频图像的分辨率不同；
第二确定模块，用于根据所述第一低频图像、所述亮度图像的高频图像、第二低频图像以及N幅低频图像，确定所述第二低频图像对应的高频图像；
第一融合模块，用于将第二低频图像以及所述第二低频图像对应的高频图像进行融合，得到第一融合图像；
第二融合模块，用于若所述第一融合图像的分辨率等于目标分辨率，则将所述第一融合图像与所述颜色图像进行融合，得到原始图像的超分辨率图像。
15.根据权利要求14所述的装置，其特征在于，所述第二确定模块，包括：
第一确定单元，用于针对第二低频图像中的每个像素点，确定以该像素点为中心且大小为n*n的基准图像块；
提取单元，用于从所述第一低频图像和N幅低频图像中分别提取大小为m*m的待匹配图像块，其中，n和m为正整数，且n小于m；
第二确定单元，用于利用预设匹配算法，从提取的各个待匹配图像块中确定与所述基准图像块匹配度最高的参考图像块，该参考图像块的大小为n*n；
第三确定单元，用于根据该参考图像块在其所属的低频图像中的位置以及所述亮度图像的高频图像，确定该像素点对应的高频图像块；
第四确定单元，用于根据第二低频图像中的每个像素点对应的高频图像块，确定所述第二低频图像对应的高频图像。
16.根据权利要求15所述的装置，其特征在于，所述第二确定单元，具体用于：
针对提取的每个待匹配图像块，确定该待匹配图像块中，与所述基准像素块的匹配度超过预设匹配度的图像块，作为该待匹配图像块对应的参考图像块；
确定各个待匹配图像块对应的各个参考图像块中，与所述基准图像块的匹配度最高的参考图像块。
17.根据权利要求14所述的装置，其特征在于，所述第二确定模块具体用于采用如下方式确定所述亮度图像的高频图像：
将所述亮度图像与所述第一低频图像作差，得到所述亮度图像的高频图像。
18.根据权利要求15-16任一所述的装置，其特征在于，所述第三确定单元，具体用于：
确定该参考图像块在其所属的低频图像中的位置，作为参考位置；
提取所述亮度图像的高频图像中与该参考位置相对应的位置处的图像块，作为该像素点对应的高频图像块。
19.根据权利要求15-16任一所述的装置，其特征在于，所述n为奇数，则所述第四确定单元，具体用于：
确定第二低频图像中每个像素点对应的高频图像块的中心像素点；
将确定的各个中心像素点组成的图像，作为所述第二低频图像对应的高频图像。
20.根据权利要求14所述的装置，其特征在于，所述第一确定模块具体用于采用如下方式确定所述亮度图像的第一低频图像：
从多种下采样比例中选取一种下采样比例；
利用与选取的下采样比例对应的滤波器，对所述亮度图像进行下采样滤波处理，得到下采样后图像；
利用与所述选取的下采样比例成倒数的上采样比例对应的滤波器，对所述下采样后图像进行上采样滤波处理，得到所述亮度图像的第一低频图像。
21.根据权利要求14所述的装置，其特征在于，所述第一确定模块具体用于采用如下方式确定所述亮度图像的第二低频图像：
从多种上采样比例中选取一种上采样比例；
利用与选取的上采样比例对应的滤波器，对所述亮度图像进行上采样滤波处理，得到所述亮度图像的第二低频图像。
22.根据权利要求20所述的装置，其特征在于，所述下采样比例对应的倍数为非整数，且，所述下采样比例为正数。
23.根据权利要求20或21所述的装置，其特征在于，所述上采样比例对应的倍数为非整数，且，所述下采样比例为正数。
24.根据权利要求20或21所述的装置，其特征在于，所述滤波器具有系数对称的特性。
25.根据权利要求14所述的装置，其特征在于，所述第二融合模块还用于：
若所述第一融合图像的分辨率大于目标分辨率，则对所述第一融合图像进行双三次下采样处理，得到分辨率等于目标分辨率的第二融合图像；
将所述第二融合图像与所述颜色图像进行融合，得到原始图像的超分辨率图像。
26.根据权利要求14或25所述的方法，其特征在于，所述第二融合模块还用于：
若所述第一融合图像的分辨率小于目标分辨率，则将所述第一融合图像作为原始图像的亮度图像，并通知所述第一确定模块执行确定所述亮度图像的第一低频图像、所述亮度图像的高频图像、所述亮度图像的第二低频图像以及所述亮度图像对应的N幅低频图像的步骤。
27.一种计算机存储介质，其特征在于，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现权利要求1-13任一所述方法的步骤。
28.一种计算设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序时实现权利要求1-13任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711405030.0A CN108154474B (zh) | 2017-12-22 | 2017-12-22 | 一种超分辨率图像重构方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711405030.0A CN108154474B (zh) | 2017-12-22 | 2017-12-22 | 一种超分辨率图像重构方法、装置、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108154474A true CN108154474A (zh) | 2018-06-12 |
| CN108154474B CN108154474B (zh) | 2021-08-27 |
Family
ID=62464305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711405030.0A Active CN108154474B (zh) | 2017-12-22 | 2017-12-22 | 一种超分辨率图像重构方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108154474B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886875A (zh) * | 2019-01-31 | 2019-06-14 | 深圳市商汤科技有限公司 | 图像超分辨率重建方法及装置、存储介质 |
| CN110211193A (zh) * | 2019-05-17 | 2019-09-06 | 山东财经大学 | 三维ct层间图像插值修复与超分辨处理方法及装置 |
| CN111344736A (zh) * | 2018-12-18 | 2020-06-26 | 深圳市大疆创新科技有限公司 | 图像处理方法、图像处理装置和无人机 |
| CN111429371A (zh) * | 2020-03-23 | 2020-07-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置及终端设备 |
| CN111462268A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 图像重建方法及装置、电子设备和存储介质 |
| CN111724422A (zh) * | 2020-06-29 | 2020-09-29 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN112241744A (zh) * | 2020-10-20 | 2021-01-19 | 北京字跳网络技术有限公司 | 图像颜色迁移方法、装置、设备和计算机可读介质 |
| WO2021088473A1 (en) * | 2019-11-04 | 2021-05-14 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium |
| CN112862732A (zh) * | 2021-01-19 | 2021-05-28 | 华中科技大学 | 多分辨率图像融合方法、装置、设备、介质及产品 |
| CN113344831A (zh) * | 2021-05-26 | 2021-09-03 | 中国农业大学 | 图像增强方法及装置 |
| CN114187213A (zh) * | 2021-12-14 | 2022-03-15 | 成都微光集电科技有限公司 | 图像融合方法及其装置、设备和存储介质 |
| CN114266696A (zh) * | 2020-09-16 | 2022-04-01 | 广州虎牙科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN114827482A (zh) * | 2021-01-28 | 2022-07-29 | 北京字节跳动网络技术有限公司 | 图像亮度的调整方法、装置、电子设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010108205A (ja) * | 2008-10-30 | 2010-05-13 | Hitachi Ltd | 超解像画像作成方法 |
| WO2012106062A2 (en) * | 2011-02-03 | 2012-08-09 | Massachusetts Institute Of Technology | Kinetic super-resolution imaging |
| CN103020897A (zh) * | 2012-09-28 | 2013-04-03 | 香港应用科技研究院有限公司 | 基于多区块的单帧图像的超分辨率重建的装置、系统和方法 |
| CN103871041A (zh) * | 2014-03-21 | 2014-06-18 | 上海交通大学 | 基于认知正则化参数构建的图像超分辨率重构方法 |
| CN104079914A (zh) * | 2014-07-02 | 2014-10-01 | 山东大学 | 基于深度信息的多视点图像超分辨方法 |
| CN104299193A (zh) * | 2014-09-29 | 2015-01-21 | 杭州电子科技大学 | 一种基于高频和中频信息的图像超分辨率重建方法 |
| CN104517273A (zh) * | 2013-09-26 | 2015-04-15 | 浙江大华技术股份有限公司 | 一种图像超分辨率处理方法及装置 |
| CN106780330A (zh) * | 2016-12-08 | 2017-05-31 | 中国人民解放军国防科学技术大学 | 一种基于彩色与黑白双摄像头的超分辨率重建方法 |
| CN107302657A (zh) * | 2017-05-16 | 2017-10-27 | 苏州大学 | 适用于物联网的图像采集系统 |
| CN108109109A (zh) * | 2017-12-22 | 2018-06-01 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
-
2017
- 2017-12-22 CN CN201711405030.0A patent/CN108154474B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010108205A (ja) * | 2008-10-30 | 2010-05-13 | Hitachi Ltd | 超解像画像作成方法 |
| WO2012106062A2 (en) * | 2011-02-03 | 2012-08-09 | Massachusetts Institute Of Technology | Kinetic super-resolution imaging |
| CN103020897A (zh) * | 2012-09-28 | 2013-04-03 | 香港应用科技研究院有限公司 | 基于多区块的单帧图像的超分辨率重建的装置、系统和方法 |
| CN104517273A (zh) * | 2013-09-26 | 2015-04-15 | 浙江大华技术股份有限公司 | 一种图像超分辨率处理方法及装置 |
| CN103871041A (zh) * | 2014-03-21 | 2014-06-18 | 上海交通大学 | 基于认知正则化参数构建的图像超分辨率重构方法 |
| CN104079914A (zh) * | 2014-07-02 | 2014-10-01 | 山东大学 | 基于深度信息的多视点图像超分辨方法 |
| CN104299193A (zh) * | 2014-09-29 | 2015-01-21 | 杭州电子科技大学 | 一种基于高频和中频信息的图像超分辨率重建方法 |
| CN106780330A (zh) * | 2016-12-08 | 2017-05-31 | 中国人民解放军国防科学技术大学 | 一种基于彩色与黑白双摄像头的超分辨率重建方法 |
| CN107302657A (zh) * | 2017-05-16 | 2017-10-27 | 苏州大学 | 适用于物联网的图像采集系统 |
| CN108109109A (zh) * | 2017-12-22 | 2018-06-01 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
Non-Patent Citations (3)
| Title |
|---|
| YU YANG 等: "Super-resolution processing of computational reconstructed images", 《 IEEE 10TH INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING PROCEEDINGS》 * |
| 练秋生 等: "基于两级字典与分频带字典的图像超分辨率算法", 《自动化学报》 * |
| 胥妍: "图像超分辨率重建算法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111344736A (zh) * | 2018-12-18 | 2020-06-26 | 深圳市大疆创新科技有限公司 | 图像处理方法、图像处理装置和无人机 |
| CN109886875A (zh) * | 2019-01-31 | 2019-06-14 | 深圳市商汤科技有限公司 | 图像超分辨率重建方法及装置、存储介质 |
| CN110211193A (zh) * | 2019-05-17 | 2019-09-06 | 山东财经大学 | 三维ct层间图像插值修复与超分辨处理方法及装置 |
| US11151690B2 (en) | 2019-11-04 | 2021-10-19 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium |
| WO2021088473A1 (en) * | 2019-11-04 | 2021-05-14 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium |
| CN111429371A (zh) * | 2020-03-23 | 2020-07-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置及终端设备 |
| CN111429371B (zh) * | 2020-03-23 | 2023-09-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置及终端设备 |
| CN111462268A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 图像重建方法及装置、电子设备和存储介质 |
| CN111724422A (zh) * | 2020-06-29 | 2020-09-29 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN111724422B (zh) * | 2020-06-29 | 2024-01-09 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN114266696A (zh) * | 2020-09-16 | 2022-04-01 | 广州虎牙科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN114266696B (zh) * | 2020-09-16 | 2024-06-11 | 广州虎牙科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN112241744A (zh) * | 2020-10-20 | 2021-01-19 | 北京字跳网络技术有限公司 | 图像颜色迁移方法、装置、设备和计算机可读介质 |
| CN112862732A (zh) * | 2021-01-19 | 2021-05-28 | 华中科技大学 | 多分辨率图像融合方法、装置、设备、介质及产品 |
| CN112862732B (zh) * | 2021-01-19 | 2024-03-19 | 华中科技大学 | 多分辨率图像融合方法、装置、设备、介质及产品 |
| CN114827482A (zh) * | 2021-01-28 | 2022-07-29 | 北京字节跳动网络技术有限公司 | 图像亮度的调整方法、装置、电子设备及介质 |
| CN114827482B (zh) * | 2021-01-28 | 2023-11-03 | 抖音视界有限公司 | 图像亮度的调整方法、装置、电子设备及介质 |
| CN113344831A (zh) * | 2021-05-26 | 2021-09-03 | 中国农业大学 | 图像增强方法及装置 |
| CN113344831B (zh) * | 2021-05-26 | 2024-05-14 | 中国农业大学 | 图像增强方法及装置 |
| CN114187213A (zh) * | 2021-12-14 | 2022-03-15 | 成都微光集电科技有限公司 | 图像融合方法及其装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108154474B (zh) | 2021-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108154474A (zh) | 一种超分辨率图像重构方法、装置、介质及设备 | |
| US6178272B1 (en) | Non-linear and linear method of scale-up or scale-down image resolution conversion | |
| CN108109109B (zh) | 一种超分辨率图像重构方法、装置、介质及计算设备 | |
| US6741251B2 (en) | Method and apparatus for varying focus in a scene | |
| US8538200B2 (en) | Systems and methods for resolution-invariant image representation | |
| US8861895B2 (en) | Image processing apparatus | |
| US8873889B2 (en) | Image processing apparatus | |
| US20080055338A1 (en) | Multi-stage edge-directed image scaling | |
| CN102881000A (zh) | 一种视频图像的超分辨率方法、装置和设备 | |
| EP4207051A1 (en) | Image super-resolution method and electronic device | |
| TW201246124A (en) | Image generation apparatus | |
| CN108876716B (zh) | 超分辨率重建方法及装置 | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| Trentacoste et al. | Blur‐aware image downsampling | |
| DE102020133244A1 (de) | Kantenbewusste Aufwärtsskalierung für verbesserte Bildschirminhaltsqualität | |
| EP2059900B1 (en) | Image scaling method | |
| CN108335265B (zh) | 一种基于样本学习的快速图像超分辨率重建方法及装置 | |
| CN106846250A (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
| US9928577B2 (en) | Image correction apparatus and image correction method | |
| CN112237002A (zh) | 图像处理方法和设备 | |
| KR102470242B1 (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 | |
| CN113689333A (zh) | 一种图像增强的方法及装置 | |
| Okuhata et al. | Implementation of super-resolution scaler for Full HD and 4K video | |
| Lee et al. | GPU-based real-time super-resolution system for high-quality UHD video up-conversion | |
| JP2002506600A (ja) | 画像補間法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |