CN104160421B - 用于执行对输入图像的分层超分辨率的方法和装置 - Google Patents
用于执行对输入图像的分层超分辨率的方法和装置 Download PDFInfo
- Publication number
- CN104160421B CN104160421B CN201380012742.XA CN201380012742A CN104160421B CN 104160421 B CN104160421 B CN 104160421B CN 201380012742 A CN201380012742 A CN 201380012742A CN 104160421 B CN104160421 B CN 104160421B
- Authority
- CN
- China
- Prior art keywords
- piecemeal
- sampling
- ppn
- resolution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000005070 sampling Methods 0.000 claims description 74
- 238000005054 agglomeration Methods 0.000 claims description 13
- 238000003780 insertion Methods 0.000 claims description 8
- 230000037431 insertion Effects 0.000 claims description 8
- 238000009825 accumulation Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 238000005192 partition Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000898323 Microtus irani Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
超分辨率(SR)指的是恢复给定的低分辨率(LR)图像的丢失的高频细节的处理。对于大多数实际应用来讲，已知的单一图像SR算法通常在计算上是难以处理的或不可使用的。本发明涉及一种用于基于自内容邻域分块信息执行分层超分辨率的方法，所述方法基于金字塔分解。输入LR分块邻域的固有几何属性是根据输入LR分块及其从LR图像的不同尺寸减小版本获取的K个最近邻域获得的。
Description
技术领域
本发明涉及用于执行输入图像的分层超分辨率的方法，以及用于执行输入图像的分层超分辨率的装置。本发明还涉及通过使用基于块的预测在执行超分辨率中对像素进行平均的方法，以及通过使用基于块的预测在执行超分辨率中对像素进行平均的设备。
背景技术
超分辨率(SR)指的是恢复给定的低分辨率(LR)图像的丢失的高频细节的处理。换言之，SR使用一个或更多个LR观察(observation)生成具有清晰且细致的内容的高分辨率(HR)图像。SR处理的一种类别涉及单一图像超分辨率。
已知多种图像上采样技术，其中包括一些使用单一低分辨率图像的技术和一些不使用任何外部信息或数据库的技术。一些SR技术使用对空间纹理分块(patch)的上采样来给出LR和HR图像分块空间的局部几何相似度。
以下是对当前如何解决这一问题的概述。经典SR方法(例如[1]-[3])尝试通过融合一组LR图像来恢复未知HR图像。这些算法假定丢失的高频信息是隐式地按LR观察分布的，并且如果存在足够数目的LR图像，则能够成功恢复HR图像。因此，重构的HR图像的质量高度依赖于LR图像中的可用数据量。
然而，实际上，LR观察的数目不足、配准(即运动估计)误差、以及未知的点扩散函数(PSF)将这些多图像SR方法的应用限制为小的分辨率增大比，在一般条件下，该分辨率增大比小于2[4]。
为了克服经典多图像SR中的限制，已经提出了基于示例的方法。在[5]中，从其它自然图像收集LR和HR图像分块对，并通过使用置信传播经由Markov网络获悉这些分块的低频和高频关系。在[6]中随后对这一方法进行了简化，给出了针对Markov网络的快速且近似的解决方案，其中具有通过对所收集的训练示例的数据库进行最近邻域(NN)搜索得到的HR分块的预测序列。根据局部LR图像信息和HR图像的最近恢复部分的高频分块相容性来估计(“虚构”)丢失的高频细节。在基于示例的纹理合成的情况下，大量使用了类似的基于NN的方案([7]-[9])，并且已经证明了其在不同图像处理应用中(例如，在[10]-[12]中)是有益的。
尽管如此，为了足以进行SR，这里需要构造具有大量训练LR和HR分块对的数据库，从而对于大多数实际应用而言，这在计算上是难以处理的或不可使用的。
发明内容
本发明通过在不使用任何外部信息或数据库的情况下使用根据单一低分辨率图像的超分辨率(SR)方法来改进已知的图像上采样技术。本发明的至少一个实施例主要涉及使用空间纹理分块，以给出低分辨率(LR)和高分辨率(HR)图像分块空间的局部几何相似度。
本发明的至少一个实施例通过在不使用任何外部信息或数据库的情况下使用根据单一LR图像的金字塔超分辨率方法来改进图像上采样技术。在一个实施例中，在处理每一个块之前计算并减去该块的均值，以及之后再次加上该均值。注意到，与本领域中的惯常用法一样，这里将术语块和分块作为同义词使用。
通常，本发明涉及固有单一图像SR，并且依赖于LR和HR图像分块空间的局部几何相似度。从输入LR分块及其从LR图像的跨尺度(即从不同的尺度)获取的K个最近邻域(K-NN)获得输入(参见下文，已经减去或尚未减去均值)LR分块邻域的固有几何属性。
根据本发明的一个实施例，一种用于执行对输入图像的分层SR的方法包括以下步骤：将输入图像划分成分块；将输入图像空间分解到至少两个较低分解级别，其中获得至少两个较低分解级别图像；以及生成空上采样帧，其中针对输入图像的每个分块，生成上采样帧中的相应上采样分块。然后，针对输入图像的每个当前分块，该方法还包括以下步骤：在较低分解级别图像中搜索与当前分块具有相同尺寸的一个或更多个相似分块；针对在搜索步骤中找到的每个相似分块，确定其在下一较高分解级别中的相应母分块；对所确定的母分块进行加权；累积经过加权的所确定的母分块，以便获得上采样的高分辨率分块；以及在上采样帧中使用上采样的高分辨率分块替换与当前分块相对应的上采样分块。
在一个实施例中，本发明涉及一种相应的装置，如权利要求12以及下文所示。
在一个实施例中，局部LR几何形状是使用根据输入LR分块的K-NN的该输入LR分块的局部线性嵌入(LLE)[13]重构系数来线性表征的。然后，假定已经在HR分块空间中保留了局部LR几何形状，根据输入LR分块的所找到的K-NN的相应的(参见下文，已经减去或尚未减去均值)HR母分块来估计(“虚构”)HR嵌入。于是通过加上输入LR分块的均值获得对当前HR分块的估计。
在一个实施例中，本发明涉及一种用于通过使用基于块的预测在执行超分辨率中对像素进行平均的方法，其中使用了LLE，以及其中像素来自重叠的源块。该方法包括以下步骤：确定源块的稀疏度因子；以及根据加权因子对来自源块的像素进行组合，其中每个源块的稀疏度因子被用作该源块的像素的加权因子。
在一个实施例中，本发明涉及一种用于通过使用基于块的预测在执行超分辨率中对像素进行平均的装置，其中使用了LLE，以及其中像素来自重叠的源块。该装置包括用于确定源块的稀疏度因子的第一处理单元，以及用于根据加权因子对来自源块的像素进行组合的第二处理单元，其中每个源块的稀疏度因子被用作该源块的像素的加权因子。第一处理单元和第二处理单元可以被实现为单个处理单元。
结合附图考虑以下描述以及所附的权利要求，本发明的其他目的、特征和优势将变得显而易见。
附图说明
下面将参照附图描述本发明的示例性实施例，其中：
图1示出了为了通过跨尺度邻域嵌入实现超分辨率而对单一图像进行上采样的结构；
图2示出了块中的非零系数的数目与要用于该块的归一化加权因子之间的示例性关系；
图3示出了根据本发明的一个实施例的用于执行对输入图像的分层超分辨率的方法的流程图；
图4示出了在较低分解级别图像中搜索相似分块的步骤的具体流程图；
图5示出了在上采样帧中替换上采样分块的步骤的具体流程图；
图6示出了根据本发明的一个实施例的用于在执行超分辨率中对像素进行平均的方法的流程图；
图7示出了用于执行对输入图像的分层超分辨率的装置的结构；
图8示出了用于在执行超分辨率中对像素进行平均的装置的结构；以及
图9示出了根据本发明的一个实施例的方法的高级流程图。
具体实施方式
如下文所述，图1示出了通过跨尺度邻域嵌入的单一图像超分辨率。为了执行对低分辨率输入I0图像的超分辨率，可以如下继续算法。
如图9所示，算法的高级流程图至少包括以下步骤：步骤A1，L+1个级别的金字塔构造；步骤A2，LR分块估计以及相应的HR分块重构；以及步骤A3，LR/HR分块估计的重叠。
首先，描述L+1个级别的金字塔构造过程A1。其包括以下步骤(参照图1进行说明)。
通过低通滤波器以给定的比rd对输入I0(LR，金字塔级别I＝0)图像进行滤波和下采样，其中获得低频图像I-1。通过低通滤波器对之前经过下采样的图像I-1再次进行滤波和下采样，其中获得低频图像I-2，等等。通过重复这一过程，能够获得更多的空间分解级别。最终，通过低通滤波器对经过下采样的图像I-L+2进行滤波和下采样，其中获得最终的低频图像I-L+1。创建空HR图像I1，其中I1与I0的尺寸比是I0与I-1的反比，即I1/I0＝I0/I-1，或者说：上采样因子ru是下采样因子rd的倒数。
最终，金字塔由以下级别组成：级别1(图1中所示的倒置金字塔的底部)，作为HR图像分辨率(要被重构)；级别0，作为输入LR图像；以及级别-L+2，作为最低分辨率图像(图1中的倒置金字塔的顶部)。
其次，描述步骤A2，即LR分块估计和从最低频分块的HR分块重构。公开了两个备选实施例：一种称为“基于亮度的”，另一种称为“基于梯度的”。
基于亮度的方案包括如下所述的LR分块估计、HR分块重构和HR图像重构。
LR分块估计包括以下步骤：在输入图像I0中确定第一位置处的第一分块Pn，其中n是I0中的当前路径的索引；搜索从LR图像I0的较低尺度I-1、I-2、...、I-L+1获取的K个最接近邻域(K-NN)；以及使用根据输入LR分块Pn的K-NN PNn，k(具有相应的加权因子Wn，k)的该输入LR分块Pn的局部线性嵌入(例如来自[13]的局部线性嵌入LLE)重构系数来进行线性表征。K-NN是根据给定标准(例如，SAD、SSE)的K个最佳匹配的(与之前的第一分块P0)分块PNn，k。SAD(绝对差之和)和SSE(均方误差之和)是所涉及的技术领域中的公知标准。
HR分块重构包括根据输入LR分块的所找到的K-NN PNn，k(具有相应的加权因子wn，k)的相应的HR母分块PPNn，k来构建(也称为合成)HR分块PHn嵌入，其中I1图像的当前HR PHn分块与输入图像I0的Pn分块严格地对应(homologous)，且源于(issue)金字塔的I0、I-1、...、I-L+2图像的HR母分块PPNn，k与源于金字塔的I-1、I-2、...、I-L+1图像的PNn，k分块是对应的。
HR图像重构包括针对LR/HR图像的分块的所有分块/分块对重复LR分块估计和HR分块重构。
基于梯度的方案(即减去亮度均值)包括如下LR分块估计、HR分块重构和HR图像重构。
LR分块估计包括：在输入图像I0中确定第一位置处的第一分块Pn，其中n是I0中的当前路径的索引，并且减去了块的均值；搜索从LR图像I0的较低尺度I-1、I-2、...、I-L+1中获取的K个最接近邻域K-NN；以及使用根据输入LR分块Pn的K-NN PNn，k(具有相应的加权因子wn，k)的该输入LR分块Pn的局部线性嵌入(例如LLE)重构系数来进行线性表征。K-NN是根据给定标准(例如，SAD、SSE)的K个最佳匹配的(与之前的第一分块P0)分块PNn，k，其中在每个块PNn，k处，害减去均值(即其自己的单独平均)。
HR分块重构包括根据输入LR分块的所找到的K-NN PNn，k(具有相应的加权因子wn，k)的相应的(减去均值，即，其自身的均值)HR母分块PPNn，k来构建(也称为合成)HR分块PHn嵌入，其中I1图像的当前HR PHn分块与输入图像I0的Pn分块严格地对应，且源于金字塔的I0、I-1、...、I-L+2图像的HR母分块PPNn，k与源于金字塔的I-1、I-2、...、I-L+1图像的PNn，k分块是对应的。最后，将输入LR(输入I0图像)分块的均值添加到当前重构的HR分块。
HR图像重构包括针对LR/HR图像的所有分块/分块对重复LR分块估计和HR分块重构。
在L+1个级别的金字塔重构A1和LR分块估计及HR分块重构A2之后，下一步骤A3是LR/HR分块估计的重叠，即根据最低频分块的合成。在一个实施例中，这包括均值平均与稀疏度加权平均中的至少一个。
均值平均包括，在已经针对LR图像I0中的每个分块计算了HR嵌入之后，允许分块之间的重叠，以便针对每个HR像素对源于重叠每个当前像素的重构块的所有像素贡献进行平均。
稀疏度加权平均包括，为了保留主要(dominant)结构，根据基于稀疏度的测量对所估计的重叠区域像素进行加权。然后，根据重叠像素所源于的块的稀疏程度来实现加权平均。稀疏度加权因子可以是块的DCT系数的数目的函数，或者更为复杂的，在诸如“匹配追踪”(MP)或“正交匹配追踪”(OMP)的稀疏表示的情况中是表示块的原子数目的函数。
在一个实施例中，附加的最后步骤是迭代反投影(图9中未示出)。这一步骤在于应用已知的迭代反投影处理，这确保所恢复的HR图像产生与所观察到的相同的参考LR图像。该方法在于，将原始输入LR图像I0和下采样HRk-1图像之间的经过上采样(以及低通滤波)的差异递归地加(k次迭代)到所重构的HRk图像结果。将该操作重复预定义的最大迭代次数。通常，20次迭代是足够的。一般适用的范围是10-30次迭代，在一些情况中，更少的迭代也足够了。
可以使用多种分块尺寸。具体地，低分辨率的有益分块尺寸是3×3、5×5和7×7像素(其中5×5至少针对2×2的尺寸增大给出最佳结果)。对于HR，对应尺寸是：6×6、10×10和14×14像素。同样，可以使用从一个图像到下一个图像的不同于2的多个其它子采样因子。可以将该方法扩展用于例如3或4的因子。这一扩展通过调整LR和HR分块尺寸和LR图像的尺寸减小版本来实现。此外，作为另一选择，为了获得因子4的上采样可以应用两次因子为2的上采样，或者为了获得因子6的上采样可以应用两次因子为3的上采样，等等。
针对LR图像中的每个分块，计算保留LR邻域的局部几何形状的HR嵌入。为了在目标HR图像中实现局部相容性和平滑度约束，尽可能地允许分块之间的重叠。示例性地，分块在每个维度重叠1个像素或2个像素。
因此，能够根据基于稀疏表示的加权测量对重叠区域像素进行线性组合。在这种方法中，可通过信息库来分解输入LR分块与估计的HR分块的级联，所述信息库由从LR图像及其跨尺度所获取的LR和HR图像分块构成。
在一个实施例中，根据分块的表示的稀疏度来对分块进行加权，即最稀疏的表示给予最高权重，以此类推。在一个实施例中，权重取决于分块的非零系数(例如DCT系数)(在阈值处理之后)的数目。在一个实施例中，如图2所示，使用根据下式的指数函数计算权重：
W＝exp(f(非零系数的数目))
图2示出了块中的非零(实际上，“非零”指的是在零附近的最小阈值之上)系数的数目与要用于该块的归一化加权因子之间的示例性关系。如图所示，块所具有的非零系数越多，加权因子就越低。
如果使用分块的稀疏表示(例如MP、OMP)，则这里在稀疏表示的情况下，“原子”(源于由N个原子组成的信息库)和DCT的“基本函数”相似(已知原子和基本函数是在空域表示的)。这里，权重还取决于非零系数的数目。
最后，为了满足全局重构约束(即，所恢复的HR图像应该生成与所观察到的相同的参考LR图像)，在一个实施例中，采用迭代反投影方法[1]、[2]。从而，假定最终HR图像估计是反投影算法的结果S9。
在一个实施例中，总体算法包括：
·金字塔SR算法，例如基于LLE的，
·加上(对所重构的重叠块的)稀疏平均，
·以及(可选)+反投影。
有益地，根据本发明的算法优于本领域已知的算法。
图3示出了根据本发明的一个实施例的用于执行对输入图像的分层超分辨率的方法的流程图。在本实施例中，用于执行对输入图像I0的分层超分辨率的方法10包括以下步骤：将输入图像I0划分S1成分块Pn；将输入图像I0空间分解S2到至少两个较低分解级别，其中获得至少两个较低分解级别图像I-1、I-2；以及生成S3空上采样帧I1，其中针对输入图像的每个分块Pn，生成上采样帧I1中的相应上采样分块。然后，针对输入图像I0的每个当前分块Pn，执行以下步骤。
在较低分解级别图像I-1、I-2中，搜索S4与当前分块具有相同尺寸的一个或更多个相似分块PNn，1、PNn，2、PNn，3。针对在搜索步骤中找到的每个相似分块PNn，1、PNn，2、PNn，3，确定S5其在下一较高分解级别I0、I-1中的相应母分块PPNn，1、PPNn，2、PPNn，3。使用加权因子w1、w2、w3对所确定的母分块PPNn，1、PPNn，2、PPNn，3进行加权S6，其中获得经过加权的所确定的母分块。累积S7经过加权的所确定的母分块，其中获得上采样的高分辨率分块PHn。最后，在上采样帧I1中使用上采样高分辨率分块PHn替换S8对应于当前分块I0的上采样分块。
第一决定步骤D1确定是否已经调查了更多潜在相似分块(在多个较低级别中)，以及第二决定步骤D2确定是否已经处理了输入图像的全部分块。
注意到，在确定步骤S5中，在下一个较高分解级别I0、I-1中找到的母分块PPNn，1、PPNn，2、PPNn，3大于相应的当前分块。
图4示出了在较低分解级别图像中搜索相似分块的步骤的一个实施例的具体流程图。在本实施例中，计算S41每个当前分块的均值，并计算S42每个相似分块的均值。从当前分块的每个像素值中减去S43当前分块的均值。从相应相似分块的每个像素值中减去S44每个相似分块的均值。这是在在较低分解级别图像I-1、I-2中搜索一个或更多个相似分块PNn，1、PNn，2、PNn，3的步骤中执行的。注意到，步骤S43可在步骤S42之前或之后执行。
图5示出了在上采样帧中替换上采样分块的步骤的一个实施例的具体流程图。在本实施例中，将每个当前分块的均值与对应于当前分块的上采样分块的每个像素值相加S81，然后完成在上采样帧I1中实际插入S82上采样分块，由此上采样分块替换了HR图像中的默认分块。
图6示出了根据本发明的一个实施例的用于在执行SR中对像素进行平均的方法的流程图。用于通过使用基于块的预测在执行超分辨率中对像素进行平均的方法60(其中使用LLE，并且其中像素来自重叠的源块)包括以下步骤：确定S6_1源块的稀疏度因子；以及根据加权因子对来自源块的像素进行组合S6_2，其中每个源块的稀疏度因子被用作该源块的像素的加权因子。
图7示出了用于执行对输入图像的分层超分辨率的装置的结构，其中输入图像I0被划分成分块Pn。装置70包括空间分解单元SDU、上采样单元UPU以及处理单元PU。其它的单元(可以是分离的单元或处理单元的一部分)是搜索单元P_SU、母分块确定单元P_PDU、加权单元P_WU、累积单元P_AU以及分块插入单元P_PIU(或分块替换单元，参见上文)。
空间分解单元SDU将输入图像I0空间分解到至少两个较低分解级别，其中获得具有不同空间分辨率的至少两个较低分解级别图像I-1、I-2。
上采样单元UPU生成空上采样帧I1，其中针对输入图像的每个分块Pn，生成上采样帧I1中的相应上采样分块。
在一个实施例中，处理单元PU针对输入图像I0的每个当前分块Pn执行以下步骤：在较低分解级别图像I-1、I-2中搜索与当前分块具有相同尺寸的一个或更多个相似分块PNn，1、PNn，2、PNn，3；针对在搜索步骤中找到的每个相似分块PNn，1、PNn，2、PNn，3，确定其在下一较高分解级别I0、I-1中的相应母分块PPNn，1、PPNn，2、PPNn，3，其中母分块大于当前分块；对所确定的母分块PPNn，1、PPNn，2、PPNn，3进行加权，其中获得经过加权的所确定的母分块；累积经过加权的所确定的母分块，其中获得上采样的高分辨率分块PHn；以及在上采样帧I1中使用上采样的高分辨率分块PHn替换对应于当前分块I0的上采样分块。
在其它实施例中，可以使用以下分离单元中的一个或更多个。
在一个实施例中，由搜索单元P_SU来完成在较低分解级别图像I-1、I-2中搜索与当前分块具有相同尺寸的一个或更多个相似分块PNn，1、PNn，2、PNn，3的步骤。
在一个实施例中，由母分块确定单元P_PDU来完成针对在搜索步骤中找到的每个相似分块PNn，1、PNn，2、PNn，3确定在下一较高分解级别I0、I-1中的相应母分块PPNn，1、PPNn，2、PPNn，3的步骤。注意到，一般来讲，母分块大于当前分块(参见图1)。
在一个实施例中，由加权单元P_WU来完成对所确定的母分块PPNn，1、PPNn，2、PPNn，3进行加权以获得经过加权的所确定的母分块的步骤。
在一个实施例中，由累积单元P_AU完成为了获得上采样的高分辨率分块PHn而累积经过加权的所确定的母分块的步骤。
在一个实施例中，由插入单元P_PIU完成在上采样帧I1中使用上采样高分辨率分块PHn替换对应于当前分块I0的上采样分块的步骤。
图8示出了一种用于在执行超分辨率中对像素进行平均的装置的结构，其中使用了局部线性嵌入(LLE)，以及其中像素来自重叠的源块。装置80包括
第一处理单元，例如稀疏度确定处理单元SFPU，用于确定源块的稀疏度因子，以及
第二处理单元，例如像素组合处理单元PCPU，用于根据加权因子对来自源块的像素进行组合，其中每个源块的稀疏度因子被用作该源块的像素的加权因子。
一般来讲，本发明涉及以下中的至少一个
基于自内容邻近分块信息的分层SR算法，其中减去或不减去块的均值，其中所述自内容邻近分块信息基于金字塔分解，以及
使用稀疏度因子对基于块的预测进行最优像素平均，以代替在LLESR技术的背景下的经典平均。
本发明的一个好处是，本发明改善了呈现上采样图像的性能。上采样图像能够更快地呈现，并且降低了计算量。
本发明的可能有益应用包括视频分发和显示技术，以及涉及视频压缩(例如空间可缩放性)和内容表示的应用。
所公开的方法能够在用于执行该方法的装置中实现，该装置具有分离的单元，每个单元用于执行一个步骤。此外，该方法可以是计算机实现的，以用于在处理器上执行。
在本发明的一个实施例中，一种计算机可读存储介质包括程序数据，该程序数据当在处理器上执行时会使得处理器执行一种用于执行对输入图像的分层超分辨率的方法(如参照图1和3所公开的)。
在本发明的一个实施例中，一种计算机可读存储介质包括程序数据，该程序数据当在处理器上执行时会使得处理器执行一种用于通过使用基于块的预测在执行超分辨率中对像素进行平均的方法(如参照图6所公开的)。
在一个实施例中，本发明涉及一种用于基于自内容邻近分块信息执行分层超分辨率的方法，该方法包括金字塔分解的步骤。在一个实施例中，减去块的均值。在另一个实施例中，不减去块的均值。在一个实施例中，金字塔超分辨率算法包括给出了加权组合的算法(比如邻域嵌入算法)，其中通过求解约束最小二乘问题来确定用于所述加权组合的权重。在一个实施例中，金字塔超分辨率算法是诸如LLE或非负矩阵分解(NMF)的邻域嵌入算法。
在一个实施例中，本发明涉及一种用于使用稀疏度因子对基于块的预测进行最优像素平均(取代经典平均)的方法(尤其是在LLE超分辨率的情况下)。在一个实施例中，稀疏度因子被用作加权因子。
在本发明的一个实施例中，用于执行对输入图像I0的分层超分辨率的方法10包括以下步骤：
将输入图像I0划分S1成分块Pn，
将输入图像I0空间分解S2到至少两个较低分解级别，其中获得至少两个较低分解级别图像，
生成S3空上采样帧I1，其中针对输入图像的每个分块Pn，生成上采样帧I1中的相应上采样分块，以及
针对输入图像I0的每个当前分块Pn，执行以下步骤，
在较低分解级别图像I-1、I-2中，搜索S4与当前分块具有相同尺寸的一个或更多个相似分块PNn，1、PNn，2、PNn，3，
针对在搜索步骤中找到的每个相似分块PNn，1、PNn，2、PNn，3，确定S5其在下一较高分解级别I0、I-1中的相应母分块PPNn，1、PPNn，2、PPNn，3，其中母分块大于当前分块，
使用对应的权重w1、w2、w3对所确定的母分块PPNn，1、PPNn，2、PPNn，3进行加权S6，其中获得经过加权的所确定的母分块，
累积S7经过加权的所确定的母分块，其中获得上采样的高分辨率分块PHn，以及
在上采样帧I1中使用上采样的高分辨率分块PHn替换S8对应于当前分块I0的上采样分块。
在一个实施例中，该方法在在较低分解级别图像中搜索相似分块的步骤中包括：计算每个当前分块的均值以及每个相似分块的均值S41、S42，以及将所计算的均值从相应分块的每个像素值中减去S43、S44。此外，在该替换步骤中，将每个当前分块的均值与对应于当前分块的上采样分块的每个像素值相加S81。
在一个实施例中，该方法在在较低分解级别图像中搜索一个或更多个相似分块的步骤中包括根据分块中的像素的亮度值确定相似度。
在一个实施例中，该方法在在较低分解级别图像中搜索一个或更多个相似分块的步骤中包括根据分块的亮度梯度确定相似度。
在一个实施例中，该方法包括根据分块的稀疏度确定用于所述加权的权重，其中稀疏度对应于分块中的非零DCT系数的数目。
在一个实施例中，该方法包括输入图像中的分块部分重叠，因此上采样图像中的相应上采样分块也部分重叠。
在一个实施例中，该方法在加权和累积的步骤中包括计算加权组合，其中通过求解约束最小二乘问题来确定用于所述加权组合的权重。上文提及的一个示例是熟知的最小二乘算法。
在一个实施例中，该方法在金字塔超分辨率算法中包括邻域嵌入算法。示例为局部线性嵌入(LLE)或非负矩阵分解(NMF)。
在一个实施例中，该方法包括执行迭代反投影(IBP)的附加最终步骤。
在一个实施例中，该方法包括根据下一较高分解级别中的母分块的相对坐标来确定下一较高分解级别中的母分块。也就是说，较低级别中的分块的相对坐标和其在较高分解级别中的母分块的相对坐标相同(比如，高度的10％处，以及宽度的40％处)。这在原理上可包括：确定较低级别中的分块的相对坐标，确定较高分解级别中的具有相同相对坐标的位置，以及将母分块置于较高分解级别中的所确定的位置处。
在一个实施例中，本发明涉及用于通过使用基于块的预测在执行超分辨率中对像素进行平均的方法60，其中使用了局部线性嵌入并且其中像素来自重叠的源块。该方法包括以下步骤：确定S6_1源块的稀疏度因子；以及根据加权因子对来自源块的像素进行组合S6_2，其中每个源块的稀疏度因子被用作该源块像素的加权因子。
在一个实施例中，本发明涉及一种用于执行对输入图像I0的分层超分辨率的装置70，其中输入图像I0被划分成分块Pn。该装置包括
空间分解单元SDU，用于将输入图像I0空间分解到至少两个较低分解级别，其中获得至少两个较低分解级别图像(I-1、I-2)，
上采样单元UPU，用于生成空上采样帧I1，其中针对输入图像的每个分块Pn，生成上采样帧I1中的相应上采样分块，以及
处理单元PU，用于针对输入图像I0的每个当前分块Pn执行以下步骤：
在较低分解级别图像I-1、I-2中搜索与当前分块具有相同尺寸的一个或更多个相似分块PNn，1、PNn，2、PNn，3，
针对在搜索期间找到的每个相似分块PNn，1、PNn，2、PNn，3，确定其在下一较高分解级别I0、I-1中的相应母分块PPNn，1、PPNn，2、PPNn，3，其中母分块大于当前分块，
对所确定的母分块PPNn，1、PPNn，2、PPNn，3进行加权，其中获得经过加权的所确定的母分块，
累积经过加权的所确定的母分块，其中获得上采样的高分辨率分块PHn，以及
在上采样帧I1中使用上采样的高分辨率分块PHn替换或插入对应于当前分块I0的上采样分块。一般地，该装置还可以包括图像划分单元，用于将输入图像I0划分成分块Pn，这样也可以处理尚未被划分的图像。
如上文所述，该装置可以包括以下一个或更多个分离单元：搜索单元P_SU、母分块确定单元P_PDU、加权单元P_WU、累积单元P_AU和分块插入单元P_PIU。
在该装置的一个实施例中，在用于在较低分解级别图像I-1、I-2中搜索一个或更多个相似分块PNn，1、PNn，2、PNn，3的单元中，计算每个当前分块的均值和每个相似分块的均值，并将所计算的均值从相应分块的每个像素值中减去，以及在用于分块插入或分块替换的单元P_PIU中，将每个当前分块的均值与对应于当前分块的上采样分块的每个像素值相加。
在一个实施例中，该装置还包括附加的迭代反投影单元。
在一个实施例中，本发明涉及通过使用基于块的预测在执行超分辨率中对像素进行平均的装置80，其中使用了局部线性嵌入以及其中像素来自重叠的源块。该装置包括：第一处理单元SFPU，用于确定源块的稀疏度因子；以及第二处理单元PCPU，用于根据加权因子对来自源块的像素进行组合，其中每个源块的稀疏度因子被用作其源块的像素的加权因子。
虽然本发明的主要新颖特征已经随着应用于本发明的优选实施例而被示出、描述和指出，但应该理解的是，在不偏离本发明的精神的情况下，本领域普通技术人员可以对所描述的装置和方法、所公开的设备的形式和细节及其操作进行多种省略、替换和改变。这里明确表示，那些以实质上相同的方式执行实质上相同的功能以实现相同的结果的元素的所有组合都在本发明的范围内。从一个所描述的实施例到另一个所描述的实施例的元素替换也属于本发明所设想并想要保护的范围。
应该理解的是，仅仅通过示意的方式描述了本发明，在不偏离本发明的范围的情况下能够对细节进行修改。
说明书和(在适当的情况下)权利要求和附图中所公开的每个特征可以使独立提供的或以任何适当的组合提供的。在适当的情况下，可以以硬件、软件或二者的组合来实现这些特征。在适当的情况下，连接可以实现为无线连接或有线连接(不必是直接连接或专用连接)。
参考文献
[1]Irani，M.，Peleg，S.：Improving resolution by imageregistration.CVGIP：Graphical Models Image Process.53(1991)
[2]M.Irani and S.Peleg，“Motion analysis for image enhancement：resolution，occlusion and transparency，”JVCIP，(1993)
[3]Farsiu，S.，Robinson，M.，Elad，M.，Milanfar，P.：Fast and robustmultiframe super resolution.IEEE Trans.Image Process.13(2004)
[4]Lin，Z.，Shum，H.Y.：Fundamental limits of reconstruction-based superresolution algorithms under local translation.IEEE Trans.Pattern Anal.Mach.(2004)
[5]Freeman，W.T.，Pasztor，E.C.，Carmichael，O.T.：Learning low-levelvision.Int.J.Comp.Vis.40(2000)
[6]Freeman，W.T.，Jones，T.R.，Pasztor，E.C.：Example-based super-resolution.IEEE Comp.Graph.Appl.22(2002)
[7]Efros，A.A.，Leung，T.K.：Texture synthesis by non-parametricsampling.In：IEEE Int.Conf.Computer Vis.(1999)
[8]Wei，L.Y.，Levoy，M.：Fast texture synthesis using tree-structuredvector quantization.In：ACM Comp.Graphics Interactive Tech.(2000)
[9]Ashikhmin，M.：Synthesizing natural textures.In：ACM Symp.Interactive3D Graph.(2001)
[10]Hertzmann，A.，Jacobs，C.E.，Oliver，N.，Curless，B.，Salesin，D.H.：Imageanalogies.In：ACM Comp.Graphics Interactive Tech.(2001)
[11]Criminisi，A.，Perez，P.，Toyama，K.：Region-lling and object removalby examplar-based image inpainting.IEEE Trans.Image Process.13(2004)
[12]Sugimoto，K.，Kobayashi，M.，Suzuki，Y.，Kato，S.，Boon，C.S.：Inter framecoding with template matching spatio-temporal prediction.In：IEEEInt.Conf.Image Process.(2004)
[13]S.Roweis and L.Saul，“Nonlinear dimensionality reduction bylocally linear embedding”，Science，vol.290，(2000).
Claims (16)
1.一种用于执行对输入图像(I0)的分层超分辨率的方法(10)，包括以下步骤：
-将输入图像(I0)划分(S1)成分块(Pn)；
-将输入图像(I0)空间分解(S2)到至少两个较低分解级别，其中获得至少两个较低分解级别图像(I-1、I-2)；以及
针对输入图像(I0)的每个(D2)当前分块(Pn)，执行以下步骤：
-在较低分解级别图像(I-1、I-2)中，搜索(S4)与当前分块具有相同尺寸的一个或更多个相似分块(PNn，1、PNn，2、PNn，3)；
-针对在搜索步骤中找到的每个(D1)相似分块(PNn，1、PNn，2、PNn，3)，确定(S5)其在下一较高分解级别(I0、I-1)中的相应母分块(PPNn，1、PPNn，2、PPNn，3)，其中母分块大于当前分块；
-对所确定的母分块(PPNn，1、PPNn，2、PPNn，3)进行加权(w1、w2、w3)(S6)，其中根据分块的稀疏度确定用于加权分块的权重，其中稀疏度对应于分块中非零DCT系数的数目，以及其中获得经过加权的所确定的母分块；
-累积(S7)经过加权的所确定的母分块，其中获得上采样的高分辨率分块(PHn)；以及
-使用上采样的高分辨率分块(PHn)替换(S8)上采样帧的与当前分块(I0)相对应的上采样分块。
2.根据权利要求1所述的方法，其中，在在较低分解级别图像(I-1、I-2)中搜索一个或更多个相似分块(PNn，1、PNn，2、PNn，3)的步骤中，计算(S41、S42)每个当前分块的均值和每个相似分块的均值，以及将所计算的均值从相应分块的每个像素值中减去(S43、S44)每个当前分块的均值和每个相似分块的均值，以及其中在所述替换步骤中，将每个当前分块的均值与对应于当前分块的上采样分块的每个像素值相加(S81)。
3.根据权利要求1所述的方法，其中，在在较低分解级别图像中搜索一个或更多个相似分块的步骤中，根据分块中的像素的亮度确定相似度。
4.根据权利要求1所述的方法，其中，在在较低分解级别图像中搜索一个或更多个相似分块的步骤中，根据分块的亮度梯度确定相似度。
5.根据权利要求1所述的方法，其中输入图像(I0)中的分块部分重叠，以及上采样图像(I1)中的相应上采样分块部分重叠。
6.根据权利要求1所述的方法，其中加权和累积步骤包括计算加权组合，其中通过求解约束最小二乘问题来确定用于所述加权组合的权重。
7.根据权利要求1所述的方法，还包括执行反投影的附加步骤。
8.根据权利要求1所述的方法，其中下一较高分解级别的母分块根据其相对坐标来确定。
9.一种用于执行对输入图像(I0)的分层超分辨率的装置(70)，其中输入图像(I0)被划分成分块(Pn)，所述装置包括：
-空间分解单元(SDU)，用于将输入图像(I0)空间分解到至少两个较低分解级别，其中获得至少两个较低分解级别图像(I-1、I-2)；以及
处理单元(PU)，用于针对输入图像(I0)的每个当前分块(Pn)执行以下步骤：
-在搜索单元(P_SU)中，在较低分解级别图像(I-1、I-2)中搜索与当前分块具有相同尺寸的一个或更多个相似分块(PNn，1、PNn，2、PNn，3)；
-针对在搜索步骤中找到的每个相似分块(PNn，1、PNn，2、PNn，3)，在母分块确定单元(P_PDU)中确定其在下一较高分解级别(I0、I-1)中的相应母分块(PPNn，1、PPNn，2、PPNn，3)，其中母分块大于当前分块；
-在加权单元(P_WU)中，对所确定的母分块(PPNn，1、PPNn，2、PPNn，3)进行加权(w1、w2、w3)，其中根据分块的稀疏度确定用于加权分块的权重，其中稀疏度对应于分块中非零DCT系数的数目，以及其中获得经过加权的所确定的母分块；
-在累积单元(P_AU)中，累积经过加权的所确定的母分块，其中获得上采样的高分辨率分块(PHn)；以及
-在插入单元(P_PIU)中，使用上采样的高分辨率分块(PHn)替换上采样帧的与当前分块(I0)相对应的上采样分块。
10.根据权利要求9所述的装置，其中在用于在较低分解级别图像(I-1、I-2)中搜索一个或更多个相似分块(PNn，1、PNn，2、PNn，3)的搜索单元(P_SU)中，计算每个当前分块的均值和每个相似分块的均值，并将所计算的均值从相应分块的每个像素值中减去，以及其中在插入单元(P_PIU)中，将每个当前分块的均值与对应于当前分块的上采样分块的每个像素值相加。
11.根据权利要求9所述的装置，其中在用于在较低分解级别图像(I-1、I-2)中搜索一个或更多个相似分块(PNn，1、PNn，2、PNn，3)的搜索单元(P_SU)中，根据分块中的像素的亮度确定相似度。
12.根据权利要求9所述的装置，其中在用于在较低分解级别图像(I-1、I-2)中搜索一个或更多个相似分块(PNn，1、PNn，2、PNn，3)的搜索单元(P_SU)中，根据分块的亮度梯度确定相似度。
13.根据权利要求9所述的装置，其中输入图像(I0)中的分块部分重叠，以及上采样图像(I1)中的相应上采样分块部分重叠。
14.根据权利要求9所述的装置，其中加权和累积步骤包括计算加权组合，其中通过求解约束最小二乘问题来确定用于所述加权组合的权重。
15.根据权利要求9所述的装置，还包括用于最终的反投影的装置。
16.根据权利要求9所述的装置，其中下一较高分解级别的母分块根据其相对坐标来确定。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP12305264.9 | 2012-03-05 | ||
| EP12305264 | 2012-03-05 | ||
| PCT/EP2013/054272 WO2013131851A2 (en) | 2012-03-05 | 2013-03-04 | Method and apparatus for performing hierarchical super-resolution of an input image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104160421A CN104160421A (zh) | 2014-11-19 |
| CN104160421B true CN104160421B (zh) | 2017-09-22 |
Family
ID=47757635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380012742.XA Active CN104160421B (zh) | 2012-03-05 | 2013-03-04 | 用于执行对输入图像的分层超分辨率的方法和装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9652830B2 (zh) |
| EP (1) | EP2823460B1 (zh) |
| JP (1) | JP6192670B2 (zh) |
| KR (1) | KR102061923B1 (zh) |
| CN (1) | CN104160421B (zh) |
| WO (1) | WO2013131851A2 (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9984440B2 (en) * | 2013-06-18 | 2018-05-29 | Adobe Systems Incorporated | Iterative patch-based image upscaling |
| US9317903B1 (en) * | 2013-08-27 | 2016-04-19 | Pixelworks, Inc. | Self-similarity based single frame super-resolution |
| CN103700062B (zh) * | 2013-12-18 | 2017-06-06 | 华为技术有限公司 | 图像处理方法和装置 |
| JP2017505951A (ja) | 2014-01-30 | 2017-02-23 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 画像の品質を高める方法及びデバイス |
| CN103824272B (zh) * | 2014-03-03 | 2016-08-17 | 武汉大学 | 基于k近邻重识别的人脸超分辨率重建方法 |
| CN103854269B (zh) * | 2014-03-28 | 2016-08-17 | 国家测绘地理信息局卫星测绘应用中心 | 基于多角度、多分辨率的影像超分辨率重建方法及装置 |
| EP2985992A1 (en) * | 2014-08-13 | 2016-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for providing an image |
| US9538126B2 (en) | 2014-12-03 | 2017-01-03 | King Abdulaziz City For Science And Technology | Super-resolution of dynamic scenes using sampling rate diversity |
| JP2018506106A (ja) | 2014-12-22 | 2018-03-01 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 再帰的階層処理を使用して外挿画像を生成するための装置および方法 |
| CN104602025B (zh) | 2015-01-09 | 2018-11-20 | 华为技术有限公司 | 处理图像的方法和装置 |
| US10410398B2 (en) * | 2015-02-20 | 2019-09-10 | Qualcomm Incorporated | Systems and methods for reducing memory bandwidth using low quality tiles |
| US11221990B2 (en) * | 2015-04-03 | 2022-01-11 | The Mitre Corporation | Ultra-high compression of images based on deep learning |
| US10007970B2 (en) | 2015-05-15 | 2018-06-26 | Samsung Electronics Co., Ltd. | Image up-sampling with relative edge growth rate priors |
| US9911178B2 (en) | 2015-05-22 | 2018-03-06 | Samsung Electronics Co., Ltd. | System and method for content-adaptive super-resolution via cross-scale self-learning |
| CN108780570B (zh) | 2016-01-16 | 2022-12-06 | 特利丹菲力尔有限责任公司 | 使用迭代协同滤波的图像超分辨率的系统和方法 |
| KR102580519B1 (ko) | 2016-09-07 | 2023-09-21 | 삼성전자주식회사 | 영상처리장치 및 기록매체 |
| KR102271285B1 (ko) * | 2016-11-09 | 2021-07-01 | 삼성전자주식회사 | 영상처리장치 및 영상처리방법 |
| CN106780331B (zh) * | 2016-11-11 | 2020-04-17 | 浙江师范大学 | 一种新的基于邻域嵌入的超分辨率方法 |
| CN108550109A (zh) * | 2018-01-31 | 2018-09-18 | 中南林业科技大学 | 一种基于nsct的积分平差遥感影像超分辨率重建方法 |
| US11004178B2 (en) | 2018-03-01 | 2021-05-11 | Nvidia Corporation | Enhancing high-resolution images with data from low-resolution images |
| RU2697928C1 (ru) | 2018-12-28 | 2019-08-21 | Самсунг Электроникс Ко., Лтд. | Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее |
| CN110443755B (zh) * | 2019-08-07 | 2023-05-30 | 杭州智团信息技术有限公司 | 一种基于高低频信号量的图像超分辨率的方法 |
| CN110852950B (zh) * | 2019-11-08 | 2023-04-07 | 中国科学院微小卫星创新研究院 | 基于稀疏表示和图像融合的高光谱图像超分辨率重建方法 |
| US11288771B2 (en) * | 2020-04-29 | 2022-03-29 | Adobe Inc. | Texture hallucination for large-scale image super-resolution |
| CN111652804B (zh) * | 2020-05-28 | 2023-04-07 | 西安电子科技大学 | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 |
| CN113933111B (zh) * | 2021-09-30 | 2022-08-19 | 南京大学 | 一种实现图像尺寸放大的上采样装置及其方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540045A (zh) * | 2009-03-25 | 2009-09-23 | 湖南大学 | 基于同步正交匹配追踪的多源图像融合方法 |
| CN101980284A (zh) * | 2010-10-26 | 2011-02-23 | 北京理工大学 | 基于两尺度稀疏表示的彩色图像降噪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010122502A1 (en) * | 2009-04-20 | 2010-10-28 | Yeda Research And Development Co. Ltd. | Super-resolution from a single signal |
-
2013
- 2013-03-04 WO PCT/EP2013/054272 patent/WO2013131851A2/en active Application Filing
- 2013-03-04 EP EP13707014.0A patent/EP2823460B1/en active Active
- 2013-03-04 CN CN201380012742.XA patent/CN104160421B/zh active Active
- 2013-03-04 KR KR1020147027775A patent/KR102061923B1/ko active IP Right Grant
- 2013-03-04 US US14/382,569 patent/US9652830B2/en active Active
- 2013-03-04 JP JP2014560321A patent/JP6192670B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540045A (zh) * | 2009-03-25 | 2009-09-23 | 湖南大学 | 基于同步正交匹配追踪的多源图像融合方法 |
| CN101980284A (zh) * | 2010-10-26 | 2011-02-23 | 北京理工大学 | 基于两尺度稀疏表示的彩色图像降噪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6192670B2 (ja) | 2017-09-06 |
| KR102061923B1 (ko) | 2020-01-02 |
| US9652830B2 (en) | 2017-05-16 |
| KR20140136019A (ko) | 2014-11-27 |
| US20150093045A1 (en) | 2015-04-02 |
| WO2013131851A3 (en) | 2014-02-13 |
| CN104160421A (zh) | 2014-11-19 |
| WO2013131851A2 (en) | 2013-09-12 |
| JP2015513151A (ja) | 2015-04-30 |
| EP2823460A2 (en) | 2015-01-14 |
| EP2823460B1 (en) | 2018-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104160421B (zh) | 用于执行对输入图像的分层超分辨率的方法和装置 | |
| Trinh et al. | Novel example-based method for super-resolution and denoising of medical images | |
| CN111275626B (zh) | 一种基于模糊度的视频去模糊方法、装置及设备 | |
| Bredies | Recovering piecewise smooth multichannel images by minimization of convex functionals with total generalized variation penalty | |
| Xue et al. | Wavelet-based residual attention network for image super-resolution | |
| Jiji et al. | Single‐frame image super‐resolution using learned wavelet coefficients | |
| CN110969577A (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
| EP2979242B1 (en) | Method and apparatus for generating a super-resolved image from a single image | |
| CN104620582A (zh) | 利用连续坐标系的运动补偿和运动估计 | |
| CN111724307B (zh) | 一种基于最大后验概率和非局部低秩先验的图像超分辨重建方法，终端及可读存储介质 | |
| Thapa et al. | A performance comparison among different super-resolution techniques | |
| Unger et al. | A convex approach for variational super-resolution | |
| Xu et al. | DCT-FANet: DCT based frequency attention network for single image super-resolution | |
| Xing et al. | Scale-arbitrary invertible image downscaling | |
| Zhai et al. | Image reconstruction from random samples with multiscale hybrid parametric and nonparametric modeling | |
| Barzigar et al. | A video super-resolution framework using SCoBeP | |
| Choudhary et al. | Pyramid method in image processing | |
| Huang et al. | Simultaneous super-resolution and cross-modality synthesis in magnetic resonance imaging | |
| Qi et al. | Subband adaptive image deblocking using wavelet based convolutional neural networks | |
| Wang et al. | Resolution-invariant coding for continuous image super-resolution | |
| Oh et al. | Super-resolution texture synthesis using stochastic PAR/NL model | |
| Deepak et al. | Analysis of Single Image Super-Resolution Techniques: An Evolutionary Study | |
| Starck et al. | Numerical issues when using wavelets | |
| Luo et al. | Super-resolving compressed images via parallel and series integration of artifact reduction and resolution enhancement | |
| Ramadevi et al. | FPGA realization of an efficient image scalar with modified area generation technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190201 Address after: Paris France Patentee after: International Digital Madison Patent Holding Co. Address before: I Si Eli Murli Nor, France Patentee before: THOMSON LICENSING Effective date of registration: 20190201 Address after: I Si Eli Murli Nor, France Patentee after: THOMSON LICENSING Address before: I Si Eli Murli Nor, France Patentee before: THOMSON LICENSING |