CN105408935A - 上采样和信号增强 - Google Patents

上采样和信号增强 Download PDF

Info

Publication number
CN105408935A
CN105408935A CN201480036339.5A CN201480036339A CN105408935A CN 105408935 A CN105408935 A CN 105408935A CN 201480036339 A CN201480036339 A CN 201480036339A CN 105408935 A CN105408935 A CN 105408935A
Authority
CN
China
Prior art keywords
signal
hfs
sparse
sampling
approximation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480036339.5A
Other languages
English (en)
Other versions
CN105408935B (zh
Inventor
哈里查兰·拉克希曼
海科·施瓦茨
德特勒夫·马佩
托马斯·维甘徳
吉塔·库蒂尼奥克
旺-Q·林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN105408935A publication Critical patent/CN105408935A/zh
Application granted granted Critical
Publication of CN105408935B publication Critical patent/CN105408935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

要提高质量的信号通常在空间高频区域内比在空间低频区域内经受更多的质量退化。因此，通过将要提高质量的信号与从要提高质量的信号的稀疏逼近中提取的高频部分合并有效执行质量提高。

Description

上采样和信号增强
技术领域
本申请涉及上采样和信号增强，例如，在图像/视频编码领域中。
背景技术
图像上采样表示从输入的低分辨率(LR)图像中生成高分辨率(HR)图像。由于在不同尺寸的显示器(例如，移动电话、平板电脑、膝上型电脑、PC等)上查看图像/视频，所以这个任务重新获得关注。例如，1920x1080显示器的内容仅仅在1280x720格式中可用，并且需要上采样。最近，流行4K显示器，并且需要显示具有更低分辨率(例如，1920x1080)的内容。
图像上采样也称为图像内插、放大、改变大小、再采样、超分辨率等。很多确定的方法可用于实现上采样，例如，由于容易实现，所以使用双线性滤波器(2抽头)或双三次(4抽头)的FIR过滤普遍使用。这些技术可以造成几个伪影，最常见的是所产生的HR图像模糊。本发明的主要目的在于，恢复清晰的边缘和纹理，同时减少模糊、响声、混淆或其他视觉伪影。对于视频，具有额外的要求，以保持时间相干性，并且在回放期间，避免图片到图片闪烁。
图像/视频上采样广泛应用于图像处理、计算机视觉以及图形(例如，压缩、编辑、监视以及纹理映射)中。对于图像浏览和视频回放软件至关重要。还可以使用细节合成，而不上采样，例如，在视频编码背景中作为环路滤波器或后置滤波器阶段。
用于带宽限制的信号的信号处理理论提倡比尼奎斯特速率和正弦插值【Shannon1949、Unser2000】更高的采样。由于具有清晰的边缘，所以带宽限制性的设想不适用于大部分图像。然而，传统的方案坚持这个哲理并且接近理想的低通滤波器，以产生很多实际的应用可接受的结果。双线性、双三次内插等技术是具有低计算复杂性的一些普遍实例。在没有带限约束的情况下，将采样理论扩展到平移不变空间，造成普遍的内插框架，例如，B样条【Unser1999】、MOMS内插【Blu2001】，其提高了图像质量，用于提供支持基本函数。然而，这些现象模型不能在边缘周围获得快速演进的统计。在这线性模型中提高基本函数的程度，有助于获得更高的次序统计，但是在空间域内造成更长的有效支持，因此，在边缘周围产生伪影，例如，响声。
为了提高线性模型，提出了方向内插方案，其沿着边缘方向执行内插，例如，NEDI【Li2001】。这通过计算在输入图像内的局部协方差并且使用这些局部协方差来通过高分辨率调整内插来实现，以便内插器的支持沿着边缘。然而，所产生的图像依然显示了一些伪影。在已知下采样处理时，迭代反投影【Irani1991】技术提高了图像内插。其基本理念在于，如果通过相同的模糊和下采样处理穿过，那么从LR图像中重构的HR图像应产生相同的观察的LR图像。然而，在很多情况下不知道下采样滤波器，或者输入图像可以是摄像头捕捉的，其中，在后续图像处理阶段，不知道在采样系统内使用的光学抗混叠滤波器。因此，可取地设计一种方法，该方法不直接依赖于下采样处理。
上采样图像是图像增强的一种形式。图像增强的目的在于，提高图像的质量。换言之，图像增强的目的在于，至少部分逆转(例如)由有损编码造成的图像经受的质量退化。
发明内容
因此，本申请的目标在于，提供一种更有效的用于上采样信号和信号增强的概念。这个目标由所附独立权利要求的主题实现。
本申请利用发明人的以下发现：一种要提高质量的信号通常通过高频比通过低频经受更多的质量退化，因此，通过合并要提高质量的信号和从要提高质量的信号的稀疏逼近中提取的高频部分合并，最有效地进行质量提高。根据本申请的一个方面，例如，所述发现用于上采样第一信号，其中，在第一信号上应用上采样处理，以便获得具有比第一信号的分辨率更高的分辨率的第二信号。在此处，上采样处理往往显示了，与更低频率相比，更高频率具有更低质量。根据本申请的另一个方面，用于信号增强的上述想法(例如)通过有损编码的方式造成质量退化。实际上，本申请的信号增强的概念可以被视为本申请的上采样概念的一部分，在上采样结果上应用信号增强。
附图说明
本申请的有利实现方式是从属权利要求的主题，并且下面参照附图，更详细地描述本申请的优选实施方式，其中：
图1示出了根据一个实施方式的用于上采样要上采样的信号的装置的框图；
图2示出了根据一个实施方式的图1的细节提取器(detailextractor)或高频部分提取器30的内部结构的框图；
图3a-3f示出了根据图1和图2的实例，使用一个示例性图像实例的的在上采样程序中的连续阶段之后的图像内容；
图4示出了根据一个实施方式的用于信号增强的装置的框图；
图5示出了根据一个可替换的实施方式的用于上采样的非迭代操作的装置；
图6a和6b分别示出了混合视频编码器和混合视频解码器的框图，其中，用于信号增强的装置可以用作环路滤波器；以及
图7a和7b分别示出了视频编码器/解码器，其支持空间可扩展性，其中，可以使用根据本申请的上采样装置以提供层间预测源。
具体实施方式
在描述本申请的某些实施方式之前，概述造成后面描述的实施方式的一些想法。
首先，要注意的是，线性模型(例如，基于FIR滤波器的内插)忠实用于内插低频元件，但是使在上采样图像中的高频元件失真。因此，在下面概述的实施方式中，这种初始内插器的输出与稀疏逼近的细节元件合并。例如，这可以通过执行合并的迭代框架的方式实现。可以在一些域中稀疏表示自然图像这一事实激起将稀疏逼近的细节元件用于信号增强的积极性【Olshausen1996】。稀疏逼近的阶段可以被视为通过仅仅一些变换系数逼近信号，例如，通过将信号变换成特定域，将变换系数设置为低于某个幅度，设为0，并且逆变换系数，以恢复近似。例如，用于变换的域可以是离散余弦变换(DCT)、或使用小波的多分辨率表示、或使用曲线波、轮廓波、剪切波等的多分辨率方向表示、或其他固定的或基于培训的词典。参照下面陈述的描述。
即，并未明确检测内插的方向，下面概述的实施方式使用稀疏逼近。例如，方向变换系数的迭代阈值变换沿着主要边缘/方向产生更清晰的图像。
图1示出了一种用于上采样具有第一分辨率的第一信号s的装置5，其中，该装置5包括：上采样器10、稀疏执行器20、高频部分提取器30以及合成器40。上采样器10接收第一信号s并且被配置为在第一信号上应用上采样处理，以便获得具有比第一分辨率更高的第二分辨率的第二信号。合成器40具有连接至上采样器10的输出的第一输入，并且合成器40、稀疏执行器20以及高频部分提取器30按照其提及的顺序彼此串联，以便分别在合成器40的输出与合成器40的输入之间形成环路。合成器40的输出同时形成装置5的输出。
尤其地，首先，可以设置由高频部分提取器30从逼近信号a中提取高频部分h，以便第二信号u穿过未修改的合成器40，即，在合成器的输出40上的信号，即，x，等于u。稀疏执行器20被配置为使用稀疏逼近，生成具有第二分辨率并且接近入站信号x的逼近信号a。高频部分提取器30从逼近信号a中提取高频部分h，然后，该高频部分通过合成器40与第二信号u合并，以便产生增强的/上采样的上采样信号x。
下面更详细地描述作为图1的装置5的基础的操作模式、优点以及想法，然而，要注意的是，要上采样的信号(即，s)可以是任何类型的信号。例如，信号s可以是视频或图片，即，可以通过装置5来二维空间采样场景，提高信号s的空间分辨率。然而，交替地，信号s可以是在空间上或者在时间上取样(例如)某个物理性能的一维信号。例如，信号s可以是表面光度仪的输出信号，并且在空间取样表面轮廓。目前，描述图1的实施方式，用于1D信号。对于图像上采样，下面提出的描述可以(例如)扩展为使用逐行和逐列操作的2D，或者在图像样本上使用2D操作，来直接实现。由装置5执行的细节合成可以在整个图像上或逐块或者逐个区域地进行。
考虑尺寸为Nx1的输入LR信号表示为矢量s∈RN。最终目标是生成尺寸为Mx1的输出HR信号，其中，M>N。
上采样器10接收输入LR信号，并且执行s∈RN的初始上采样，以产生信号u∈RM，例如，使用基于FIR滤波器的内插。
因此，上采样器10形成装置5的处理的第一阶段。
作为一个实例，假设LR图像的列由4个样本构成，由s＝[abcd]T表示。考虑使样本的数量翻倍的任务。假设通过重复最后可用的样本，获得超过规定的图像边界的样本。还能够具有其他类型的边界扩展。
如果需要在样本b和c的中间产生新样本x1，那么双三次滤波器的系数是[-1，9，9，-1]/16，即，x1＝(-a+9b+9c-d)/16。将这个扩展到其他样本，引起矢量表达式u＝U·s，，其中，U称为上采样矩阵。
a x 0 b x 1 c x 2 d x 3 = 1 16 0 16 0 0 0 0 0 - 1 9 9 - 1 0 0 0 0 0 16 0 0 0 0 0 - 1 9 9 - 1 0 0 0 0 0 16 0 0 0 0 0 - 1 9 9 - 1 0 0 0 0 0 16 0 0 0 0 0 - 1 9 9 - 1 a a b c d d d
还可以使用其他形式的初始近似值，例如，使用B样条或非线性技术。为了保持初始上采样的复杂度较低并且同时实现初始上采样图像的良好质量，可以优选6抽头或8抽头FIR滤波器。
概述与目前提供的上采样器10相关的注释，上采样器10可以相应地被配置为使用FIR滤波器、IIR滤波器或这两者的合并，执行初始上采样处理。
在图1的实施方式中，稀疏执行器20、高频部分提取器30以及合成器40共同作用，以便执行由装置5输出的信号x的迭代优化。即，信号x的质量从一个迭代到下一个迭代稳步提高。下面进一步描述其有关细节。
在迭代程序中，初始上采样信号u与估计的优化信号h(i)∈RM，合并，其中，i表示迭代数量，以产生优化的信号x(i)∈RM，即，
x(i)＝u+h(i).
对于第一次迭代，优化信号h(0)初始化为0，因此，x(0)＝u.。然后，由稀疏执行器20在x(i)上操作稀疏实施步骤，以产生逼近信号a(i).。接下来，表示为h(i+1)的a(i)的高频细节由高频部分提取器30提取，并且由合成器40用于更新估计的HR信号，以产生x(i+1).。该程序重复某个迭代数量，并且在最后一个阶段之后在x(i+1).内的样本形成输出的HR图像。
概述迭代优化，假设
x(i)→a(i)→h(i+1)→x(i+1).。
即，稀疏执行器20、高频部分提取器30以及合成器40被配置为在迭代中反复进行生成、提取以及合并，所述稀疏执行器20在通过合成器40执行的合并获得的合并式信号x上应用稀疏逼近。
应注意的是，合成器40示例性实现，作为在上采样信号u与当前优化信号h之间的加法，其中，当前优化信号h首先(即，在第一次迭代的开头)设置为等于中间元素。交替地，合成器40可以使用另一种形式的合并，例如，乘法，在这种情况下，信号h(例如)在第一次迭代的开头设置为等于中间元素，即，1。
由稀疏执行器20执行的稀疏逼近是用于表示占据大部分信号的近似的术语，少量称为原子的基本信号具有线性合并。基本信号可以由基本函数(例如，DCT、DFT、小波)、过完全函数(例如，轮廓波、剪切波等)构成。
例如，具有几种方法来执行稀疏逼近：
正向变换、阈值变换、逆变换(迭代阈值变换【Blumensath2008】)；
通过正规化来优化成本函数(L0最小化、L1最小化、基追踪【Chen1998】)；
连续组成信号近似，一次具有一个系数(匹配追踪【Mallat1993】、正交匹配追踪)。
在此处，首先，简单介绍信号扩展，然后，描述用于稀疏逼近的优选实施方式，即，阈值变换方案。
考虑尺寸为MxP的矩阵B，其列是{b0，b1，b2，...，bP-1}.。矩阵B也称为词典。在DCT的情况下，{b0，b1，b2，...，bP-1}.是具有不同频率的余弦函数。如上所述，信号x(i)具有尺寸Mx1。每个矢量bi也具有尺寸Mx1，并且在词典B内具有P个这种矢量。
所谓的信号扩展的任务是按照矢量bi表示信号x，即，
x＝w0*b0+w1*b1+w2*b2+…+wP-1*bP-1，
其中，{w0，w1，w2...wP-1}称为权重或变换系数。
这可以简洁地写成：
x＝B·w，
其中，w＝[w0，w1，w2...wP-1]T.。
如果P<M，那么词典不能表示尺寸为Mx1的某些矢量。如果P＝M并且选择矢量bi，以便矢量是线性独立的，那么称为基本矢量，并且可以表示尺寸为Mx1的任何x，例如，B由DCT或DFT基础构成。如果P>M，那么词典被认为过完全。在本发明的实施方式中，词典可以是3个可能类型中的任一个。
图像的子带分解(即，将图像分成多个信道)是用于表示正向变换的任何术语。一个或多个变换系数可以被视为子带。
稀疏逼近的任务是仅仅使用一些非零权重{wk}，来生成x的紧密表示，因此，w是稀疏的。
在示例性阈值变换方法中，由x的正向变换找出w，并且具有低于某个阈值的幅度的权重wk设置为0。假设A是词典B的正向变换，即，
w＝A·x.
在正交词典(例如，DCT或DFT)的情况下，正向变换A仅仅是矩阵B的转置矩阵。对于其他词典，具有几种方法来确定合适的正向变换。
限定进行逐个元素的阈值变换的阈值运算符T，以便
T ( w k ) = 0 , w k < &tau; w k , w k &GreaterEqual; &tau; .
也能够具有其他形式的阈值变换，例如，软、牢固、或者自适应阈值变换。
在阈值变换之后的权重在信号扩展中用于产生逼近信号，即，a＝B·T(A·x).。由于稀疏逼近是总体迭代程序的一部分，所以在每个迭代期间，假设
a(i)＝B·T(A·x(i))，。
可以在每个迭代中不同地设置阈值。而且，不同的阈值可以用于对应于不同的词典元素的权重。
即，换言之，稀疏执行器20可以被配置为通过顺序执行正向变换，即，使用A，以获得变换系数w，阈值变换所述变换系数，以获得阈值变换的变换系数，即，T(wk).，并且使用B在阈值变换系数上执行逆变换，来执行稀疏逼近。然而，还如上所述，用于执行稀疏逼近的阈值变换概念是在几个可能性之中的仅仅一个可能性。例如，可以使用用于执行稀疏逼近的成本函数优化方案来代替。例如，成本函数可以合并非零变换系数的数量或变化系数的能量的一个措施和在一方面的稀疏逼近与另一方面要接近的入站信号x之间的差异性的另一个措施。交替地，稀疏执行器被配置为通过顺序优化参数化函数的系数，来连续组成所述逼近信号，从而执行稀疏逼近。
继续描述图1的装置的功能，高频部分提取器30如下执行细节提取。这基于以下假设：在RM内的低频元件由在U内的滤波器忠实地上采样，即，由上采样器10。因此，这些元件不改变，确切地说，近似a(i)的细节(高频部分)用于优化上采样的信号。为此，估计并且减去a(i)的低频部分，以产生具有细节h(i+1).的信号。
在一个实施方式中，通过下采样，然后上采样所述下采样的信号，来估计a(i)的低频部分。
为此，高频部分提取器30可以实现，如图2中所示，图2显示了高频部分提取器的相应内部结构的一个实例。在信号a进入的高频部分提取器30的输入与输出信号h的高频部分提取器30的输出之间，减法器70分别与其非反相输入和输出连接。在信号a进入的输入与减法器70的输出之间，下采样器50和上采样器60按照其提及的顺序的串联。
换言之，然后，从a(i)中减去由下采样a并且然后上采样所述下采样的信号造成的信号，以生成具有细节h(i+1).的信号，即，
h(i+1)＝a(i)-V·D·a(i).。
在一个优选的实施方式中，在细节提取阶段30中使用的上采样器60(即，V)与用于前述初始上采样的上采样器10(即，U)相同。提取的细节(即，h)用于在下一个迭代中更新估计的HR信号x。
x(i+1)＝u+h(i+1).
在最后的迭代之后在x(i+1)中的样本相乘输出的HR信号。
图3a-3f示出了上面参照作为信号s的一个实例的图像描述的实施方式的操作模式。图3a示出了在上采样器10的上采样程序之前输入的LR图像s。由于具有更低的空间分辨率，所以该图像更小。在上采样器10上采样之后，产生估计的HR图像s，由于上采样程序造成更高数量的像素，所以该图像显示为具有比图3a的图像更大的尺寸。如上所述，通过u＝U·s.，可以获得u。在这个初始上采样程序之后，目前要增强的信号(即，x)经受稀疏逼近。要记住的是，例如，在第一次迭代的开头，x等于u。图3c示出了在第一次迭代之后的u的稀疏逼近的结果，即，a(0)，在上述示例性阈值实施方式中使用10％的非零权重。
然后，稀疏逼近(即，a)经受高频部分提取或细节提取，如上所述，所述提取可以由在上采样程序之前的下采样程序的连续应用实现，以便产生a的估计的低频元件。图3d示出了使用图2的实施方式的第一次迭代的这个结果，即，U·D·a(0).。然后，在图2内的减法器产生a(0)的估计细节，即，高频部分h(1)＝a(0)-U·D·a(0).。最后，通过在合成器40内合并，更新信号x，并且图3f示出了在第一次迭代之后的结果，即，x(1)＝u+h(1).。即，图3f示出了具有细节的更新的HR图像，并且可以看出，在图像内的对角线比在图3b中显示的初始上采样结果更清晰。
现在，讨论用于稀疏逼近内的可能词典。广泛地研究了构造和实现方向变换，旨在获得分段光滑数据的稀疏表示。曲线波变换是一种方向变换，其可以显示为提供分段光滑图像的最佳稀疏逼近【Candes2004】。然而，由于曲线波的带宽有限，所以曲线波在空间域内提供有限的本地化。轮廓波是根据方向滤波器组构成的紧凑支持的方向部件【Do2005】。由通常造成伪影的滤波器组的采样规则，人为施加在这种方法中的方向选择性。而且，分段光滑图像的稀疏逼近没有理论保证。
近来，出现了一种新型方向表示系统，即，所谓的剪切波，该系统提供连续的以及离散模式的统一处理，允许分段光滑图像具有最佳稀疏表示【Kutyniok2011】。剪切波的一个不同特征在于，通过剪切(代替旋转)，实现方向选择性；这实际上对源自剪切矩阵在某些条件下保留整数晶格这一事实的在连续和离散的世界之间的明显连接具有决定性。而且，由于可以紧凑地支持，所以剪切波在空间域内提供高度本地化。
使用一组实例，通过培训，还可以生成词典【Aharon2006】。
实施方式目前讨论了所有相关的信号上采样。然而，在用于增强要增强的信号的高频部分提取之前使用稀疏逼近，可以在另外获得的信号上传输，无论出于何种原因，这些信号都需要或者利用加强。参照图4，讨论用于信号增强的实施方式，尤其是用于增强输入信号的装置的实施方式。在此处，上面参照图1到图3f讨论的细节合成框架用于产生增强版本的输入信号，如上所述，该输入信号可以是输入图像。增强信号的样本分辨率可以与输入信号的样本分辨率相同。在图像的情况下，增强图像可以具有与输入图像相同的分辨率。
在讨论图4时，要注意的是，重新使用与在以上示图中已经讨论的参考符号相同的参考符号。这样做是因为，这些部件的功能与上面已经讨论的功能一致，因此，关于功能、可能替换物及其实现方式等的以上所有陈述还适用于现在讨论的图4的实施方式。
即，图4示出了用于增强输入信号s的装置，该装置包括按照其提及的顺序连接成在合成器40的输出与第一输入之间的环路的稀疏执行器20、高频部分提取器30以及合成器40，其中，合成器40的第二输入接收入站信号。合成器40的输出同时形成图4的装置的输出。
通过比较图1和图4，可以清晰地看出，图4的装置实际上可以是图1的上采样装置5的一个元件，在图4的情况下，初始上采样信号u表示要增强的信号s。换言之，在图4中，不使用初始上采样器10。就如在图1中的情况一样，图4也将迭代操作模式用于增强入站信号。在图4的情况下，高通滤波器可以用于实现细节提取器或高通部分提取器30。
在视频编码背景下，例如，例如，可以使用由图4的装置执行的信号增强，以便实现细节合成。例如，在混合视频编解码器(例如，H.264或HEVC)的DPCM重构阶段之后，可以应用这种细节合成，例如，作为环路滤波器或后置滤波器。
现在，提供以上实施方式的一些一般注释。
关于上采样概念，例如，要注意的是，除了在以上部分中概述，细节合成处理不必反复操作。换言之，仅仅一次迭代就足够。然后，如图5中所示，可以停止环路结构，因此，图5示出了上采样装置的一个可替换的实施方式。再次，通过停止初始上采样器10，可以获得相应的信号增强装置，即，图4的实施方式的替换物，以便信号增强装置的入站信号直接获得s。
而且，稀疏执行器20使用的稀疏逼近不必在由上采样器10获得的第二信号(即，u)上操作，以便获得接近这个第二信号的逼近信号a。确切地说，根据替换物，稀疏执行器20可以被配置为直接在第一信号上操作。例如，在图1中显示的迭代配置中，至少就第一次迭代而言，稀疏执行器20可以将初始信号s用作其输入。因此，在如图1中所示，使用上采样处理的迭代实现方式的情况下，例如，可以在第一次迭代中直接在第一信号s上执行由稀疏执行器20执行的稀疏逼近，同时使用合并的结果，即，在以下迭代中的合并式/更新的信号x。为了在第一信号上直接应用稀疏逼近，例如，稀疏执行器20可以使用与上采样器10不同的上采样处理，以便将第一信号上采样为第二分辨率。交替地，稀疏执行器可以修改正向变换，即，A，以便从第一分辨率过渡到第二分辨率，例如，通过使用词典的基本函数的内插版本。进一步，请注意的是，单纯增加第二信号和逼近信号，仅仅是一个实例，并且可以修改。
同样，关于增强概念，要注意的是，除了在以上部分中所概述的，增强处理不必反复操作。换言之，仅仅一次迭代就足够。进一步，请注意的是，单纯增加第二信号和逼近信号，仅仅是一个实例，并且可以修改。
上面已经概述的是，不仅可以在一维采用的信号上，而且还可以在而且采用的信号上(例如，图像，例如，静止图片或视频帧)，应用以上实施方式。如果应用于图片/图像中，那么如上所述，初始上采样器10可以体现为FIR滤波器、IIR滤波器等，并且例如，这个滤波器可以而且地或者顺序操作，首先沿着一个方向过滤入站信号，然后，进入另一个方向，与第一方面垂直，例如，逐行地，然后，逐列地，反之亦然。同样，由稀疏执行器20执行的稀疏逼近可以二维地操作或者作为一维稀疏逼近的串联，例如，首先，逐行地，然后，逐列地，反之亦然。例如，设想稀疏逼近的上述阈值变换实现方式：在这种情况下，正向和逆变换A和B可以是一维变换，首先在图像的列部分上，然后，逐行地应用，反之亦然。理论上，在沿着一个方向执行稀疏逼近与沿着另一个方向执行稀疏逼近之间的切换可以在一次迭代内执行，即，在高频部分提取的前面或者在迭代之间。
初始上采样、稀疏逼近、细节提取以及合并均可以交替地首先沿着一个轴执行，然后，为横轴再次执行这个处理，例如，首先逐行地，然后，逐列地，反之亦然。因此，首先，MxN图像s上采样为沿着行轴(即，对于每行)上采样的尺寸为2MxN的增强的上采样图像x，然后，沿着列(即，对于每列)，根据任何上述实施方式，尺寸为2MxN的增强的上采样图像x应用于增强的上采样处理中，以便产生二维上采样图像2Mx2N。因此，通过给二维信号的行和列中的一个顺序指定第一信号，上采样装置上采样二维信号，执行这个第一信号的上采样，以便获得一维上采样的二维信号。然后，上采样装置随后给一维上采样的二维信号的行和列中的另一个指定第一信号，执行这个第一信号的上采样。
如上所述，可以在当前信号版本x上局部或全面应用稀疏逼近。即，在稀疏逼近阈值变换实现方式的情况下，可以在图像上局部(在图像之上移动变换窗口，以便覆盖整个图像)或全面应用正向和逆变换。
为了完整性起见，图6a和6b分别示出了混合视频编码器100和混合视频解码器200的实例，以便显示在DPCM(差分脉码调制)型的这种混合视频编解码器中使用图4的信号增强装置的上述可能性。图6a和6b示出了这种混合视频编码器/解码器的典型结构：编码器100包括减法器102、量化器104以及熵编码器106，其在信号s进入的视频输入与输出视频数据流的视频输出之间按照其提及的顺序的串联。在减法器102的另一个反相输入上，应用预测信号s，例如，使用几个预测模式(例如，包括空间和/或时间预测模式)，获得该预测信号。因此，在减法器102的输出上，产生残余信号e，即，经受量化器104的量化的预测残余。虽然未显示，但是通过在量化之前，使残余信号e经受频谱变换，量化器104可以在频谱域内执行量化。然后，与量化造成的原始残余信号e不同的剩余残余信号e′由熵编码器106无损地编码成视频数据流。因此，残余信号e′也可用于解码器上，并且输入编码器100的预测环路108内，该编码器包括按照其提及的顺序彼此串联的合成器110、环路滤波器114以及预测器112的串联，以便合成器110的第一输入接收残余信号e′，并且其另一个输入接收预测信号以便通过加法，合成器110计算DPCM重构信号s′。环路滤波器114提高DPCM重构信号s′，以产生最终重构信号这个最终信号可以可选地储存在图片缓冲器内，并且用作后续预测的参考，因此，称为参考信号。预测器112执行预测，即，根据这参考信号获得并且为此，如上所述，例如，使用空间和/或时间预测。因此，环路滤波器114提高了预测源，并且如上所述，可以包括图4的信号增强装置。
如图6b中所示，解释相应的混合视频解码器200：熵编码器202可以在其输入上接收视频数据流，以便输出残余信号e′，该残余信号反过来由与编码器100的预测环路108一致构成的解码器200的预测环路210接收。预测环路208包括合成器210、环路滤波器214以及预测器212，以便合成器210的第一输入在其第一输入上接收预测信号s，并且在其第二输入上接收残余信号e′，其中，在合成器210的输出上的信号s′构成DPCM重构信号。信号s′穿过在图6a中表现为114的环路滤波器214，因此，可以包括图4的信号增强装置，以产生解码器输出信号如上所述，这个最终信号可以可选地储存在图片缓冲器内，并且用作后续预测的参考，因此，称为参考信号。预测器212根据这参考信号s″执行预测，并且重新进行预测器112的预测，即，使用(例如)空间和/或时间预测，从而产生预测信号
为了完整性起见，图7a和7b示出了图1或图5或任何其他上述上采样实施方式的上采样装置可以用于支持空间可扩展性的视频编解码器中。图7a输出了视频编码器，其中，视频进入并且直接到达增强编码器300，并且通过下采样器302间接地到达基站编码器304。如上面在图6a和6b中所示，基站编码器304使用(例如)混合视频编码，将下采样视频编码成基本数据流308。增强编码器300在还未下采样的原始视频上操作，但是为了层间冗余减少，增强编码器300使用从基本层数据流306中可获得的下采样视频的重构。为此，上采样器308上采样重构的基本层信号，并且将上采样信号作为层间预测源提供给增强编码器300，该编码器反过来使用层间预测，以便更有效地预测性地编码具有更高的空间分辨率的视频。例如，如在图1或图5中所示，可以如上所述，分别体现上采样器308。增强编码器300将层间预测残余编码成增强层数据流310，增强层数据流310和基本层数据流306构成可扩展的数据流312。图7b示出了相应的视频解码器，该解码器接收由基本层数据流306和增强层数据流310构成的视频数据流312并且包括增强解码器314和基站解码器316。基站解码器316使用基本层数据流306，以便重构由上采样器320上采样的更低空间分辨率视频318，以便构成预测源，用于增强解码器314进行层间预测，该增强解码器反过来使用层间预测重构高空间分辨率视频，所述层间预测使用分别由上采样器320和增强层数据流310提供的预测源。上采样器320和上采样器308相同，即，如上面在图1或图5或上采用装置的任何其他实例中所述，可以体现采样器320。
虽然在装置的背景下描述了一些方面，但是显然，这些方面还表示相应方法的描述，其中，块体或装置对应于方法步骤或方法步骤的特征。同样，在方法步骤的背景下描述的方面还表示相应装置的相应块体或项目或特征的描述。一些或所有方法步骤可以由(或者使用)硬件装置执行，例如，微处理器、可编程计算机或电子电路。在一些实施方式中，某个或多个最重要的方法步骤可以由这种装置执行。
根据某些实现要求，本发明的实施方式可以在硬件内或者在软件内实现。可以使用在其上储存了在电子上可读的控制信号的数字储存介质，执行实现方式，例如，软盘、DVD、蓝光光盘、CD、ROM、PROM、EPROM、EEPROM或FLASH存储器，所述控制信号与可编程计算机系统配合(或者能够与其配合)，以便执行相应方法。因此，数字储存介质可以使计算机可读的
根据本发明的一些实施方式包括数据载体，其具有在电子上可读的控制信号，这些信号能够与可编程计算机系统配合，以便执行在本文中描述的一种方法。
通常，本发明的实施方式可以用作具有程序代码的计算机程序产品，在计算机程序产品在计算机上运行时，该程序代码可操作，用于执行一种方法。例如，程序代码可以储存在计算可读载体上。
其他实施方式包括储存在机器可读载体上的计算机程序，用于执行在本文中描述的一种方法。
换言之，因此，本发明的实施方式是具有程序代码的计算机程序，在计算机程序在计算机上运行时，用于执行在本文中描述的一种方法。
因此，本发明方法的进一步实施方式是数据载体(或数字储存介质或计算机可读介质)，其包括在其上记录的计算机程序，用于执行在本文中描述的一种方法。数据载体、数字储存介质或记录介质通常是有形的和/或永久的。
因此，本发明方法的进一步实施方式是数据流或一系列信号，表示计算机程序，用于执行在本文中描述的一种方法。例如，数据流或这系列信号可以被配置为通过数据通信连接(例如，通过互联网)传输。
进一步实施方式包括处理装置，例如，计算机或可编程逻辑装置，其被配置为或者适合于执行在本文中描述的一种方法。
进一步实施方式包括计算机，其具有在其上安装的计算机程序，用于执行在本文中描述的一种方法。
根据本发明的进一步实施方式包括装置或系统，其被配置为将用于执行在本文中描述的一种方法的计算机程序传输(例如，电子地或光学地)给接收器。例如，接收器可以是计算机、移动装置、存储器装置等。例如，该装置或系统可以包括文件服务器，用于将计算机程序传输给接收器。
在一些实施方式中，可编程逻辑装置(例如，现场可编程门阵列)可以用于执行在本文中描述的方法的一些或所有功能。在一些实施方式中，现场可编程门阵列可以与微处理器配合，以便执行在本文中描述的一种方法。通常，所述方法优选地由任何硬件装置执行。
使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的合并，可以实现在本文中描述的装置。
使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的合并，可以实现在本文中描述的方法。
上面描述的实施方式仅仅说明本发明的原理。要理解的是，在本文中描述的设置和细节的修改和变化对于本领域的技术人员显而易见。因此，其目的在于，仅仅受到即将发生的专利权利要求的范围的限制，而非受到通过描述和解释在本文中的实施方式来提出的具体细节的限制。
参考文献
PAT.NO.Title
8,290,251Imagestylizationusingsparserepresentation
8,165,215Systemandmethodfordesigningofdictionariesforsparserepresentation7,526,123Estimatingfacialposefromasparserepresentation
7,401,006MethodandsystemforsignalprocessingusingasparseapproximationoftheS-transform
8,369,653Systemandmethodforimageupsamplingusingnaturalimagestatisticsoffirstandsecondderivatives
8,260,087Imageupsamplingtechnique
8,233,734Imageupsamplingwithtrainingimages
[Shannon1949]C.E.Shannon,"Communicationinthepresenceofnoise,"Proc.InstituteofRadioEngineers,vol.37,no.1,pp.10-21,Jan.1949.
[Unser2000]M.Unser,"Sampling-50YearsAfterShannon",Proc.IEEE,vol.88,no.4,pp.569-587,Apr.2000.
[Unser1999]M,Unser,"Splines:APerfectFitforSignalandImageProcessing",IEEESignalProc.Magazine,vol.16,no.6,pp.22-38,Nov.1999.
[Blu2001]T.Blu,P.ThevenazandM.Unser,"MOMS:Maximal-OrderInterpolationofMinimalSupport",IEEETrans.OnImageProc,vol,10,no.7,Jul.2001.
[Li2001]X.LiandM.T.Orchard,"Newedge-directedinterpolation."IEEETrans,onImageProc,10(10):1521-1527,2001.
[Irani1991]M.IraniandS.Peleg,"Improvingresolutionbyimageregistration,"GraphicalModelsandImageProcessing,53:231-239,1991.
[Olshausen1996]B.A.OlshausenandD.J.Field,′Naturalimagestatisticsandefficientcoding,"Network:ComputationinNeuralSystems,no.7.pp.333-339,1996,
[Mallat1993]S.G.Mallat,"Matchingpursuitswithtime-frequencydictionaries,"IEEETrans.On.SignalProa,Vol41,no.12.Pp.3397-3415,Dec1993.
[Chen1998JS.S.Chen,D.L.Donoho,M.A.Saunders,"AtomicDecompositionbyBasisPursuit,"SIAMJournalonScientificComputing,Vol.20,no.1,1998
[Blumensath2008]T.Blumensath,M.E.Davies,"IterativeThresholdingforSparseApproximations",TheJournalofFourierAnalysisandApplications,vol.14,no5,pp.629-654,Dec2008.
[Kutyniok2011]G.KutyniokandW.-QLim"CompactlySupportedShearietsareOptimallySparse",J.Approx.Theory,Vol.163,pp.1564-1589,2011.
[Candes2004]E.J.CandesandD.L.Donoho,"NewtightframesofcurveletsandoptimalrepresentationsofobjectswithC2singularities,"Comm.PureAppl.Math.,vol,57,no2,pp.219-266,2004.
[Do2005]M.N.DoandM.Vetterii,′Thecontourlettransform:anefficientdirectionalmultiresolutionimagerepresentation,"IEEETrans,onImageProa,vol.14,no.12,Dec.2005.
[Aharon2006]M.Aharon,M.EladandA.M.Bruckstein,"TheK-SVD:AnAlgorithmforDesigningofOvercompleteDictionariesforSparseRepresentation,"IEEETrans.OnSignalProa,vol.54,no.11,pp.4311-4322,Nov.2006.

Claims (29)

1.一种用于上采样具有第一分辨率的第一信号(s)的装置，包括：
上采样器(10)，被配置为在所述第一信号上应用上采样处理，以便获得具有比所述第一分辨率高的第二分辨率的第二信号(u)；
稀疏执行器(20)，被配置为使用稀疏逼近生成具有所述第二分辨率的逼近信号(a)；
高频部分提取器(30)，被配置为从所述逼近信号(a)中提取高频部分(h)；以及
合成器(40)，被配置为将所述第二信号(u)和所提取的高频部分(h)合并。
2.根据权利要求1所述的装置，其中，所述上采样器(10)被配置为使用FIR滤波器、IIR滤波器或二者的组合来执行上采样处理。
3.根据权利要求1或2所述的装置，其中，所述稀疏执行器(20)被配置为通过对所述第二信号应用稀疏逼近生成逼近信号。
4.根据前述权利要求中任一项所述的装置，其中，所述稀疏执行器(20)被配置为通过顺序执行正向变换以获得变换系数，阈值变换所述变换系数以获得阈值变换的变换系数，并且在所述阈值变换的变换系数上执行逆变换来执行稀疏逼近。
5.根据权利要求1到3中任一项所述的装置，其中，所述稀疏执行器(20)被配置为通过优化成本函数来执行稀疏逼近。
6.根据权利要求1到3中任一项所述的装置，其中，所述稀疏执行器(20)被配置为通过顺序优化参数化函数的系数依次增强所述逼近信号，从而执行所述稀疏逼近。
7.根据前述权利要求中任一项所述的装置，其中，所述高频部分提取器(30)是高通滤波器。
8.根据权利要求1到6中任一项所述的装置，其中，所述高频部分提取器(30)被配置为通过估计(50，60)所述逼近信号的低频部分并且从所述逼近信号中减去(70)所述低频部分，来从所述逼近信号中提取所述高频部分。
9.根据权利要求8所述的装置，其中，所述高频部分提取器(30)被配置为通过下采样(50)并且然后上采样(60)所述逼近信号，来估计所述低频部分。
10.根据权利要求9所述的装置，其中，所述高频部分提取器被配置为在上采样(60)经下采样的逼近信号时，使用所述上采样器(10)的上采样处理。
11.根据前述权利要求中任一项所述的装置，其中，所述合成器(40)被配置为在将所述第二信号和所述逼近信号的所述高频部分合并时，将所述第二信号和所述逼近信号的所述高频部分加入彼此中。
12.根据前述权利要求中任一项所述的装置，其中，当所述稀疏执行器(20)在由所述合成器合并获取的合并信号(x)上应用稀疏逼近时，所述稀疏执行器(20)、所述高频部分提取器(30)以及所述合成器(40)被配置为在迭代中反复执行生成、提取以及合并。
13.根据前述权利要求中任一项所述的装置，其中，所述第一信号、所述第二信号和所述逼近信号是二维信号。
14.根据权利要求1到13中任一项所述的装置，其中，所述装置被配置为通过使用一系列一维逐行和逐列上采样步骤上采样二维信号。
15.一种用于增强输入信号(s)的装置，包括：
稀疏执行器(20)，被配置为使用稀疏逼近生成接近于所述输入信号的逼近信号(a)；
高频部分提取器(30)，被配置为从所述逼近信号(a)中提取高频部分(h)；以及
合成器(40)，被配置为将所述输入信号(s)和从逼近信号提取的高频部分(h)合并。
16.根据权利要求15所述的装置，其中，所述稀疏执行器(20)被配置为通过对所述输入信号应用稀疏逼近生成逼近信号。
17.根据权利要求15或16所述的装置，其中，所述稀疏执行器(20)被配置为通过顺序执行正向变换以获得变换系数，阈值变换所述变换系数以获得阈值变换的变换系数，并且在所述阈值变换的变换系数上执行逆变换来执行稀疏逼近。
18.根据权利要求15到19中任一项所述的装置，其中，所述稀疏执行器(20)被配置为通过优化成本函数来执行稀疏逼近。
19.根据权利要求15到18中任一项所述的装置，其中，所述稀疏执行器(20)被配置为通过顺序优化参数化函数的系数依次增强所述逼近信号，从而执行稀疏逼近。
20.根据权利要求15到19中任一项所述的装置，其中，所述高频部分提取器(30)是高通滤波器。
21.根据权利要求15到20中任一项所述的装置，其中，所述高频部分提取器(30)被配置为通过估计(50，60)所述逼近信号的低频部分并且从所述逼近信号中减去(70)所述低频部分，来从所述逼近信号中提取所述高频部分。
22.根据权利要求21所述的装置，其中，所述高频部分提取器(30)被配置为通过下采样(50)并且然后上采样(60)所述逼近信号，来估计所述低频部分。
23.根据权利要求15到22中任一项所述的装置，其中，所述合成器(40)被配置为在将所述输入信号和所述逼近信号的高频部分合并时，将所述第二信号和所述逼近信号的所述高频部分加入彼此中。
24.根据权利要求15到23中任一项所述的装置，其中，当所述稀疏执行器(20)在由所述合成器合并获取的合并信号(x)上应用稀疏逼近时，所述稀疏执行器(20)、所述高频部分提取器(30)以及所述合成器(40)被配置为在迭代中反复执行生成、提取以及合并。
25.根据权利要求15到24中任一项所述的装置，其中，所述第一信号、所述第二信号和所述逼近信号是二维信号。
26.根据权利要求15到24中任一项所述的装置，其中，所述装置被配置为通过使用一系列一维逐行和逐列上采样步骤增强二维信号。
27.一种用于上采样具有第一分辨率的第一信号(s)的方法，包括：
在所述第一信号上应用上采样处理，以便获得具有比所述第一分辨率高的第二分辨率的第二信号(u)；
使用稀疏逼近生成具有所述第二分辨率的逼近信号(a)；
从所述逼近信号(a)中提取高频部分(h)；以及
将所述第二信号(u)和所提取的高频部分(h)合并。
28.一种用于增强输入信号(s)的方法，包括：
使用稀疏逼近生成接近于所述输入信号的逼近信号(a)；
从所述逼近信号(a)中提取高频部分(h)；以及
将所述输入信号(s)和从逼近信号中提取的高频部分(h)合并。
29.一种计算机程序或计算机程序产品，当在计算机上运行时，用于执行根据权利要求27或权利要求28所述的方法。
CN201480036339.5A 2013-04-26 2014-04-23 上采样和信号增强 Active CN105408935B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13165601.9 2013-04-26
EP13165601 2013-04-26
PCT/EP2014/058267 WO2014173970A1 (en) 2013-04-26 2014-04-23 Upsampling and signal enhancement

Publications (2)

Publication Number Publication Date
CN105408935A true CN105408935A (zh) 2016-03-16
CN105408935B CN105408935B (zh) 2018-12-21

Family

ID=48193139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480036339.5A Active CN105408935B (zh) 2013-04-26 2014-04-23 上采样和信号增强

Country Status (7)

Country Link
US (1) US9830682B2 (zh)
EP (1) EP2989606B1 (zh)
JP (1) JP6170614B2 (zh)
KR (1) KR101773279B1 (zh)
CN (1) CN105408935B (zh)
BR (1) BR112015026986B1 (zh)
WO (1) WO2014173970A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369725A (zh) * 2017-03-13 2018-08-03 深圳市大疆创新科技有限公司 处理图像的方法、芯片、处理器、计算机系统和移动设备
WO2022021025A1 (zh) * 2020-07-27 2022-02-03 华为技术有限公司 图像增强方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105263027B (zh) * 2015-09-17 2019-01-29 东南大学 一种视频帧的下采样方法和上采样方法以及传输处理方法
CN106851399B (zh) * 2015-12-03 2021-01-22 阿里巴巴（中国）有限公司 视频分辨率提升方法及装置
JP6427480B2 (ja) * 2015-12-04 2018-11-21 日本電信電話株式会社 画像検索装置、方法、及びプログラム
US11302035B2 (en) * 2019-09-06 2022-04-12 Intel Corporation Processing images using hybrid infinite impulse response (TTR) and finite impulse response (FIR) convolution block
KR102363939B1 (ko) 2020-04-27 2022-02-17 중앙대학교 산학협력단 주기적 동작을 가지는 진동체의 감지시스템
CN117730339A (zh) * 2021-07-01 2024-03-19 抖音视界有限公司 超分辨率定位与网络结构
CN114640796B (zh) * 2022-03-24 2024-02-09 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0677821A2 (en) * 1994-04-14 1995-10-18 Hewlett-Packard Company Magnify a digital image using feedback
CN102047287A (zh) * 2008-06-17 2011-05-04 株式会社Ntt都科摩 利用稀疏变换的图像/视频质量增强和超分辨率

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446804A (en) * 1994-04-14 1995-08-29 Hewlett-Packard Company Magnifying digital image using edge mapping
US20050105817A1 (en) * 2003-11-17 2005-05-19 Guleryuz Onur G. Inter and intra band prediction of singularity coefficients using estimates based on nonlinear approximants
US7526123B2 (en) 2004-02-12 2009-04-28 Nec Laboratories America, Inc. Estimating facial pose from a sparse representation
US8165215B2 (en) 2005-04-04 2012-04-24 Technion Research And Development Foundation Ltd. System and method for designing of dictionaries for sparse representation
US7401006B2 (en) 2005-05-31 2008-07-15 Calgary Scientific Inc. Method and system for signal processing using a sparse approximation of the S-transform
US8260087B2 (en) 2007-01-22 2012-09-04 Sharp Laboratories Of America, Inc. Image upsampling technique
US8743963B2 (en) * 2007-08-13 2014-06-03 Ntt Docomo, Inc. Image/video quality enhancement and super-resolution using sparse transformations
US8290251B2 (en) 2008-08-21 2012-10-16 Adobe Systems Incorporated Image stylization using sparse representation
US8233734B2 (en) 2008-09-22 2012-07-31 Microsoft Corporation Image upsampling with training images
US8369653B1 (en) 2009-02-27 2013-02-05 Adobe Systems Incorporated System and method for image upsampling using natural image statistics of first and second derivatives
US8179445B2 (en) * 2010-03-03 2012-05-15 Eastman Kodak Company Providing improved high resolution image
US8539012B2 (en) * 2011-01-13 2013-09-17 Audyssey Laboratories Multi-rate implementation without high-pass filter

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0677821A2 (en) * 1994-04-14 1995-10-18 Hewlett-Packard Company Magnify a digital image using feedback
CN102047287A (zh) * 2008-06-17 2011-05-04 株式会社Ntt都科摩 利用稀疏变换的图像/视频质量增强和超分辨率

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JULIEN MAIRAL ET AL: "Discriminitive Sparse Image Models For Class-specific Edge Detection and Image Interpretation", 《COMPUTER VISION,ECCV 2008》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369725A (zh) * 2017-03-13 2018-08-03 深圳市大疆创新科技有限公司 处理图像的方法、芯片、处理器、计算机系统和移动设备
WO2022021025A1 (zh) * 2020-07-27 2022-02-03 华为技术有限公司 图像增强方法及装置

Also Published As

Publication number Publication date
JP6170614B2 (ja) 2017-07-26
EP2989606B1 (en) 2020-06-03
US20160048947A1 (en) 2016-02-18
KR101773279B1 (ko) 2017-08-30
BR112015026986A2 (pt) 2017-07-25
KR20160005723A (ko) 2016-01-15
EP2989606A1 (en) 2016-03-02
JP2016517118A (ja) 2016-06-09
US9830682B2 (en) 2017-11-28
WO2014173970A1 (en) 2014-10-30
BR112015026986B1 (pt) 2022-05-03
CN105408935B (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN105408935A (zh) 上采样和信号增强
Jiang et al. An end-to-end compression framework based on convolutional neural networks
CN110087092A (zh) 基于图像重构卷积神经网络的低码率视频编解码方法
CN108737823B (zh) 基于超分辨技术的图像编码方法和装置、解码方法和装置
CN102640497B (zh) 视频编码设备和视频解码设备
CN101883280B (zh) 一种恢复噪声的视频编解码方法和系统
Hung et al. Novel DCT-Based Image Up-Sampling Using Learning-Based Adaptive ${k} $-NN MMSE Estimation
CN101668196A (zh) 基于下采样和插值的低码率图像压缩方法
Harikrishna et al. Satellite image resolution enhancement using DWT technique
Kountchev et al. Inverse pyramidal decomposition with multiple DCT
Zhou et al. $\ell_ {2} $ Restoration of $\ell_ {\infty} $-Decoded Images Via Soft-Decision Estimation
CN111726638A (zh) 一种结合去压缩效应与超分辨率的hevc编码优化方法
Tan et al. Image compression algorithms based on super-resolution reconstruction technology
Gao et al. Extremely Low Bit-rate Image Compression via Invertible Image Generation
CN110072105B (zh) 一种联合边信息的分布式视频压缩采样重建方法
JP5463250B2 (ja) 画像再構成装置、符号化装置、復号装置及びプログラム
Rao et al. Discrete wavelet transforms
JP5351094B2 (ja) 画像符号化方法，画像符号化装置および画像符号化プログラム
Basha et al. A robust approach for qualitative compression in JPEG 2000 standard
Cai et al. Jointly Optimizing Image Compression with Low-light Image Enhancement
CN115358954B (zh) 一种注意力引导的特征压缩方法
Hu et al. Efficient image compression method using image super-resolution residual learning network
Bao et al. Image Compression Based on Hybrid Domain Attention and Postprocessing Enhancement
Anbarjafari et al. Resolutıon enhancement based image compression technique using singular value decomposition and wavelet transforms
Ahir et al. Quality controlled image compressor using tiny block size encoding cellular automata

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant