CN104160422A - 执行超分辨率的方法和装置 - Google Patents

执行超分辨率的方法和装置 Download PDF

Info

Publication number
CN104160422A
CN104160422A CN201380012743.4A CN201380012743A CN104160422A CN 104160422 A CN104160422 A CN 104160422A CN 201380012743 A CN201380012743 A CN 201380012743A CN 104160422 A CN104160422 A CN 104160422A
Authority
CN
China
Prior art keywords
frame
piecemeal
size
frequency
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380012743.4A
Other languages
English (en)
Inventor
乔迪·萨尔瓦多
阿克塞尔·科哈尔
西格弗里德·施魏德勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN104160422A publication Critical patent/CN104160422A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

一种用于执行超分辨率的方法，包括以下步骤：通过内插生成输入视频序列(LR)的高分辨率低频的空间和时间带(HRLF)；通过跨帧空间高频外插来合成高分辨率高频的空间带(HRHF)；以及融合这两个带以生成空时超分辨率的视频序列(HR)。一种用于执行超分辨率的相应系统，包括：通过内插生成输入视频序列(LR)的高分辨率低频的空间和时间带(HRLF)的级；通过跨帧空间高频外插来合成高分辨率高频的空间带(HRHF)的级，以及将这两个带融合以生成空时超分辨率的视频序列(HR)的级。

Description

执行超分辨率的方法和装置
技术领域
本发明涉及用于在时域中或者在空域和时域中执行超分辨率(SR)的方法和装置。
背景技术
在O.Shahar、A.Faktor和M.Irani的“Space-Time Super-Resolutionfrom a Single Video”(IEEE Conf.on Computer Vision and PatternRecognition，2011)[1]中，以不同的空间和时间尺寸创建包含输入视频序列的若干版本的输入视频序列的空时金字塔。于是，针对每个空时视频分块(具有5×5像素的空间维度和3帧的时间维度)，在金字塔上搜索一组最佳匹配。通过成本很高的随机搜索加速这一操作。因此，使用经典的基于重构的SR技术来生成超分辨率的视频分块，超分辨率的视频分块一旦放在一起将导致超分辨率的视频序列。尽管该方法在所提供的结果中的作用是显著的，然而随着不同性质的运动以不同的空间和时间尺寸非递归地出现在输入视频序列中，不清楚该方法是否将在通常的序列中恰当地工作。此外，即便不是穷举的，空时搜索也是一种高成本的程序，使得该方法不能用于实时应用。
在U.Mudenagudi、S.Banerjee和P.Kalra的“On improvingspace-time super resolution using a small set of video inputs”(IndianConf.on Computer Vision，Graphics and Image Processing，2008)[2]中，提出一种用于生成序列的超分辨率的版本的方法，该序列在各个空时变换处存在若干版本，该方法使用图像切割来求解经典的基于重构的超分辨率方程式的MRF-MAP(Markov Random Field-Maximum APosteriori)模型。该方法要求同一视频序列在不同空-时变换处存在若干版本，这在大多数可用记录材料中不会发生。
在M.Haseyama、D.Izumi和M.Takizawa的“Spatio-temporalresolution enhancement of video sequence based in super-resolutionreconstruction”(ICASSP 2010)[3]中，提出一种用于生成联合帧速率上变换和增大尺寸的方法，该方法基于经典的基于重构的超分辨率模型。尽管作者声称所提出的方法能够获得时间上的超分辨率，描述这种行为的方程式指示所获得的是最邻近的空间超分辨率的帧的平滑线性内插，最邻近的空间超分辨率的帧在通常的运动下将产生不正确内插的帧。
在H.Takeda、P.Milanfar、M.Protter和M.Elad的“Super-ResolutionWithout Explicit Subpixel Motion Estimation”(IEEE Trans.on ImageProcessing，vol.18，no.9，2009)[4]中，在已经通过块匹配对齐了匹配的分块之后，通过在局部区域使用空时转向滤波器来实现视频序列的空-时超分辨率。这种方法有两个问题：首先，空时转向滤波器的作用是要超分辨率的区域的非线性过度平滑，这需要高成本的非线性后校正并损失细节；以及第二，由于运动补偿的机制(块匹配)，该方法仅能在运动范围的受限子集下产生正确内插的帧。
发明内容
本发明涉及一种新方法，用于改进视频序列中的每一帧的分辨率和视频序列的帧速率中的至少一个。该方法使用在编号为12305046.0的共同未决的欧洲专利申请中描述的部分方法。如在该申请中所述，超分辨率技术足够灵活，以应用于不同维度的信号(给定信号被正确采样的情况，即不显示严重的混叠伪像)。本发明的创造性贡献至少包括一种用于应对在典型视频序列(例如15至30fps)中呈现的严重时间混叠的机制。在一个实施例中，该机制被包括在根据上述应用的通用超分辨率框架中。在图像处理文献中，相关的方法落入超分辨率和帧速率向上变换的分类中。
作为通常的想法，首先将输入序列的视频帧堆叠在立体结构中，该立体结构具有表示每一帧中的垂直和水平轴的前两个维度以及表示时间的第三维度。然后，分别生成超分辨率视频序列的低频空时带和空间高频带。超分辨率视频序列的低频空时带是通过鲁棒迭代块匹配(Robust Iterative BlockMatching)方法和解析内插生成的。在下一级中，通过在视频序列中采用局部空时自相似度来合成空间高频带。最后，将低频空时带与空间高频带相结合，以生成最终的超分辨率的视频序列。
在本发明的一个实施例中，一种用于对低分辨率输入视频序列执行执行超分辨率的方法包括以下步骤：通过内插生成输入视频序列的高分辨低频(HRLF)的空间和时间带；通过跨帧空间高频外插来合成高分辨率高频(HRHF)的空间带；以及融合这些带以生成空时超分辨率的视频序列。
在本发明的一个实施例中，一种用于对低分辨率输入视频序列执行超分辨率的系统包括：通过内插生成输入视频序列的高分辨低频的空间和时间带的级；通过跨帧空间高频外插来合成高分辨率高频的空间带(HRHF)的级；以及将低频的空间和时间带(HRLF)与高分辨率高频的空间带融合以生成空时超分辨率的视频序列的级。
本发明还涉及一种具有可执行指令的计算机可读介质，该可执行指令使得计算机执行如上面所提及的以及下面进一步描述的方法。
所提出的方法的一个优点在于：该方法能够以适于现代GPU中可用的大规模并行硬件的方式在大运动范围内提供正确运动补偿。采用这种方法所获得的帧内插结果甚至可以与用于光流估计的高成本的现有技术方法的结果相媲美。换句话说，该方法能够正确地在视频序列中内插时间轴，从而有效地引起帧速率上变换。
所提出的方法的一个优点在于：该方法还能够改善通过在此前在编号为12305043.0的欧洲专利申请中所提及的高频外插机制而得到的输入视频序列的空间分辨率。在本发明中，用于合成输出视频序列的高频带的机制考虑扩展至3D域的更广阔的搜索范围。
在从属权利要求、以下描述和附图中，公开了本发明的有益实施例。
附图说明
参照附图描述了本发明的示例性实施例，附图中：
图1示出了一个实施例中所提出的系统的结构；
图2示出了一个实施例中的空时内插子系统；
图3示出了迭代鲁棒块匹配的一个实施例的流程图；
图4示出了原则上如何在所期望的归一化时间位置τ处创建新帧；
图5示出了原则上如何获得HR/上采样的帧的概述；
图6示出了两个示例性的连续低分辨率输入帧；
图7示出了相应的超分辨率的输出帧；
图8示出了通过传统的块匹配所产生的伪像对比本发明的无伪像结果；
图9示出了用于执行空间超分辨率处理的方法的一个实施例的流程图；
图10示出了通过以原始分辨率尺度对相似分块的高频信息进行外插来合成超分辨率图像的高频带；
图11示出了搜索窗的示例性使用和位置；
图12示出了在2D输入数据结构中选择连续分块(包括重叠)，以及确定连续分块的匹配块的原理；
图13示出了将经内插的低频带L1与经外插的高频带H1融合以生成超分辨率的图像S；
图14示出了帧内内插的原理结果；以及
图15示出了一种用于执行对低分辨率输入数据结构的超分辨率处理的装置的结构。
具体实施方式
图1示出了在一个实施例中所提出的系统的结构。在图1中，LR 10是低分辨率输入视频序列，HRLF 15是高分辨率低频内插带，HRHF 16是高分辨率高空间频率合成带，以及HR 17是所得到的超分辨率的视频序列(是在融合HRLF 15和HRHF 16带之后获得的)。高分辨率低频HRLF内插带15是在空时内插11中生成的，空时内插11应用于低分辨率输入视频序列10。向HRLF内插带15应用空间HF合成12，其中也使用原始输入序列10。空间HF合成12产生高分辨率高空间频率合成带16。将HRLF内插带15与HRHF合成带16融合13，这产生超分辨率的视频序列14。
在下文中，描述了空时内插11的细节。系统的空时内插部分获得高分辨率输出序列(HRLF)的低频带。在图2中描述了系统的框图。一大挑战是视频序列的时间内插。作为一种解决方案，当输出时刻t不是整数时，使用低分辨率的当前帧以及其前一帧来生成内插的帧。这通过运动估计(迭代鲁棒块匹配框，IRBM框)和帧内内插来实现的；否则，对于整数的输出时刻，获得当前时刻的高分辨率低频带作为当前帧的解析内插。
接下来，描述了迭代鲁棒块匹配(IRBM)。由于标准视频序列中的高时间混叠，不能将解析内插应用于连续帧之间的序列的内插，因为当输入视频序列中存在高的运动和对比度时，那将导致严重的重影伪像。本发明使用块匹配算法，通过以迭代的方式应用大尺度线性滤波器和局部尺度非线性滤波器来改进该算法。这在此处称为迭代鲁棒块匹配(IRBM)。在一个实施例中，IRBM也用于高频合成级，见下文。
图3示例性地示出了迭代鲁棒块匹配过程的流程图。IRBM的输入是两个连续的视频帧I1，I2，并且输出是运动矢量的密集(即，运动场，MF)310，该密集将第一输入图像I1(过去的帧)中的每个重叠的5×5分块与其在第二输入图像I2(将来的帧)中的估计位置相连。还可以使用除5×5像素之外的其他分块尺寸，但是5×5对于快速处理及高图像质量特别有利。第一步骤是通过对图像应用块匹配(BM)301来获得运动场(MF)的初始估计。然后，向动作场的估计应用特定次数i的迭代精炼305(通常5-15，例如10次迭代)。这些在于大尺度线性滤波302、具有缩小的搜索窗大小的引导块匹配303、以及局部尺度非线性滤波304的级联应用。
对图像的块匹配301是利用初始的搜索窗(例如，大小为41×41像素的搜索窗)来完成的。大尺度线性滤波302对运动矢量进行平均，例如使用大小为81×81的核。引导块匹配303使用缩小的搜索窗大小：使用MF作为搜索范围的偏移，因此允许每次迭代时的减小的搜索窗。示例性地，在一个实施例中，搜索窗以指数式衰减从21×21变成3×3。局部尺度非线性滤波304使用具有线性降低的核大小的中值滤波器。在一个实施例中，核的大小例如在15×15到5×5之间变化。
上面提到的至少一些参数(例如，块匹配301的初始搜索窗大小、引导块匹配303的搜索窗大小、以及局部尺度非线性滤波304的中值滤波器的核大小)至少随分块大小而变化；例如，对于更大的分块和/或对于比CIF大的图像，该值中的一个或更多个可以更高。
在大尺度线性滤波302中的(第一滤波器)线性滤波器的一个效果在于：它在运动场的估计中引入了平滑性。在局部尺度非线性滤波304中的(第二滤波器)非线性滤波器的一个效果在于：它在保留了边缘的同时引入了局部稳定性，或者实际上它引入了针对噪声的鲁棒性。具有平均效果(在大尺度线性滤波302中)的平滑滤波器、引导块匹配303、以及在局部尺度非线性滤波304中的具有减小的窗大小的鲁棒滤波器(例如中值滤波器)的迭代级联应用提供了对实际运动场310的平滑且鲁棒的近似。
为了使用来自两个可用视图(即帧)中的数据来内插新视图(即帧)，IRBM将第二图像I2作为当前图像I1的参考。用这种方式，获得将每个图像与其前一图像/后一图像相关的密集的运动场。
接下来，描述图2中所示的帧间内插102。给定两个图像以及将它们彼此相关的相应运动，帧间内插102的输出是缺少高频时间信息的内插帧q102，并且该内插帧处于在0与1之间的归一化的时间位置τ处(0对应于第一图像，1对应于第二图像)。
在图4中示意了帧间内插102过程。首先在帧间内插102处，将输出图像初始化401为例如0。然后，将来自输入视频序列10的两个输入图像fr1、fr2中的第一个划分为重叠的分块，例如，大小为5×5。针对这些分块中的每一个，通过线性内插根据τ×MV1(每个分块在其中心处的运动矢量)来计算每个分块在时间内插图像中的位置，即每个分块相对于其在输入图像中的位置平移(即，移动)了τ乘以MV1。然后，用1-τ的加权因子在中间输出图像403中累积平移后的(即，移动后的)分块。即，新帧的时间位置离第一帧fr1越近，针对第一帧fr1中的分块的加权因子越高。被初始化为0的加权因子累积缓冲器Bw，acc累积被应用于输出图像中的每个像素的加权因子。
以相同的方式处理第二图像fr2，除了平移幅度的值变为1-τ以及加权因子变为τ。也就是说，新帧的时间位置离第二帧fr2越近，针对第二帧fr2中的分块的加权因子越高。
一旦已经处理了图像fr1、fr2中的全部分块，则通过在加权因子累积缓冲器Bw，acc中获得的所累积的加权因子来对所累积的中间输出图像403进行归一化，得到时间内插帧404。
在图4中，在所期望的归一化的时间位置τ处通过组合其两个最接近图像来创建新帧。此前已经通过IRBM获得了两个方向上的运动场。从在时间t1和t2处所示出的帧fr1、fr2中获得第一运动矢量MV1。在上述实施例中，相同的运动矢量MV1用于两个帧fr1、fr2的贡献。在另一实施例中，第二运动矢量MV2用于内插，第二运动矢量MV2是从时间t2处的帧fr2及其接下来在时间t3(未示出)处的下一帧中获得的。
在一个实施例中，低频的空间和时间带的时间内插帧是通过以下操作获得的：在至少两个输入帧fr1、fr2之间生成运动场；初始化401输出图像缓冲器；确定输出图像的时间位置τ；将两个输入帧fr1、fr2中的每一个划分为重叠的分块；以及针对输入帧fr1、fr2二者执行以下步骤：
针对每一个分块，根据所确定的时间位置，通过对运动矢量的线性内插来计算该分块在输出图像中的空间位置；针对每一个分块，根据所确定的时间位置来计算加权因子，并将该加权因子乘以当前分块的像素值，其中获得每一个分块的经加权的像素值；在输出图像缓冲器中，累积在所计算的各个分块的空间位置处的分块的经加权的像素值，其中每一个分块将其像素的加权值贡献给所计算的位置处的输出图像的像素；然后，在加权因子累积缓冲器中，累积贡献给输出图像的每一个像素的加权因子，其中针对每一个像素获得累积的加权因子，并且当图像fr1和fr2二者的全部分块都已经被处理时，通过加权因子累积缓冲器中所包含的并能够从中获得的累积的加权因子来对所累积的中间输出图像403进行归一化。
接下来，描述了在图2中示出的帧内内插103。如在此前提及的在编号为12305046.0的共同未决的欧洲专利申请中所描述的并在下面总结的，该模块相当于通过任何期望的合理的尺寸增大因子来生成增大尺寸的低频带。帧内内插103用于获得那些HR帧的HRHF部分，对于那些HR帧的在时间上重合的LR输入帧是可用的。因此，帧内内插103仅作用于空间域。
在图14中示出了帧内内插103的原理结构。更多细节在下面描述，并在图9中示出。根据本发明的这部分，对单一图像的超分辨率包括三个级141-143。在第一级141中，执行输入图像的基于内插的增大尺寸，随后对低分辨率图像执行等同的低通滤波操作。第二级142包括：搜索高分辨率图像的被检查的分块与在低分辨率低频图像中的局部邻域中的分块(包括部分重叠的分块)之间的低频匹配，并累积从低分辨率图像中获得的相应高频贡献。第三级143包括：将高分辨率图像的低频带和外插的高频带的贡献相加。
在一个实施例中，根据本发明的一个方面的一种用于生成单一低分辨率数字输入数据结构S0的超分辨率版本的方法包括以下步骤：将单一低分辨率数字输入数据结构S0增大尺寸并在随后进行低通滤波，以获得增大尺寸后的高分辨率数据结构的低频部分L1。此外，将低分辨率数字输入数据结构S0分为低频部分L0和高频部分H0。创建了增大尺寸后的高分辨率数据结构的高频部分H1，init，其初始为空。然后，针对增大尺寸后的高分辨率的数据结构的低频部分L1的多个分块中的每一个，搜索低分辨率数字输入数据结构的低频部分L0中的最佳匹配块，并确定其在低分辨率数字输入数据结构的高频部分H0中的相应块。然后，在增大尺寸后的高分辨率的数据结构的低频部分L1中的上面提及的分块所具有的位置处，将低分辨率的数字输入数据结构的高频部分H0中的所确定的块与增大尺寸后的高分辨率数据结构的高频部分H1，acc相加。最后，对所得到的增大尺寸后的高分辨率数据结构的高频部分H1，acc进行归一化，并且在一个实施例中对其进行高通滤波195。将增大尺寸后的高分辨率的数据结构的归一化的经高通滤波的高频部分H1与增大尺寸后的高分辨率的数据结构的低频部分L1相加，这得到单一低分辨数字输入数据结构S0的改进的超分辨率版本S1。该数字输入数据结构可以是1维(1D)、2维(2D)或3维(3D)的。在本发明的一实施例中，该数字输入数据结构是具有两个空间维度和一个时间维度的3D。
为了更好的可读性，下文中将术语“块”用于低分辨率的数据结构中的一组相邻值，而将术语“分块”用于高分辨率的数据结构中的一组相邻值。然而，块和分块具有相同的大小(即，相邻值的数目和形状)，并且实质相同。
在本发明的一个实施例中，帧内内插103通过一种装置执行，该装置用于执行对数字数据的低分辨输入数据结构S0的超分辨率处理，具有如图15所示的结构。这种用于执行对数字数据的低分辨率输入数据结构S0的超分辨率处理的装置900包括：第一低通滤波器F1，0970，用于对输入数据结构S0进行滤波，其中获得了低频输入数据结构L0；差集单元(例如加法器、减法器、比较器或微分器)980，用于计算在输入数据结构S0与低频输入数据结构L0之间的差，其中生成了高频输入数据结构H0；尺寸增大器920，用于将输入数据结构S0增大尺寸；第二低通滤波器F1，1930，用于对增大尺寸后的输入数据结构进行滤波，其中获得低频增大尺寸后的数据结构L1；第一确定单元951，用于在低频增大尺寸后的数据结构L1中确定在第一位置处的第一分块；搜索单元952，用于在低频输入数据结构L0中搜索与第一分块最佳匹配的第一块；以及第二确定单元954，用于确定所述第一块在低频输入数据结构L0中的位置；选择器955，用于在高频输入数据结构H0中在所确定的位置处选择第二块；累积器957，用于将所选的第二块的像素数据累积到第二分块，该第二分块是高频增大尺寸后的数据结构中的在第一位置处的分块；控制单元950，用于控制针对低频增大尺寸后的数据结构L1和H1，acc中的多个分块的处理的重复；归一化单元990，用于在高频增大尺寸后的数据结构中对所累积的像素值进行归一化，由此获得归一化的高频增大尺寸后的数据结构H1，uf；高通滤波器995，用于对已经归一化的高频增大尺寸后的数据结构H1，uf进行滤波；以及组合单元999，用于将经HP滤波的归一化后的高频增大尺寸后的数据结构H1与低频增大尺寸后的数据结构L1相结合(例如相加)，由此获得超分辨率的数据结构S1。当用于执行超分辨率处理的装置900用在帧内内插103单元中时，该超分辨率的数据结构S1是在图2中示出的LRLF。下面将提供关于滤波器995的更多细节。
本发明的至少本实施例的一个优点在于：与传统方法相比，由于所采用的自平均，在增大尺寸后的数据结构中引入的噪声较少。帧内内插103的本实施例的另一优点在于：其工作于单一图像，并且有利地不需要数据库、码本等，并且不需要任何训练或训练数据；传统的单一图像方法需要数据库来对高频示例进行训练检索。
图9示出了本发明的一个实施例中的一种用于执行对数字1D、2D或3D数据的低分辨率输入数据结构S0的超分辨率处理的方法的流程图。在本实施例中，该方法包括以下步骤：通过第一低通滤波器F1，0对输入数据结构S0进行滤波170，其中获得低频输入数据结构L0，在加法器/减法器180中计算输入数据结构S0与低频输入数据结构L0之间的差，由此生成了高频输入数据结构H0，将输入数据结构S0增大尺寸120，并且通过第二低通滤波器F1，1对增大尺寸后的数据结构进行滤波130，其中获得低频的增大尺寸后的数据结构L1，在低频增大尺寸后的的数据结构L1中确定在第一位置处的第一分块Pn，L1，在低频输入数据结构L0中搜索151、152、154与第一分块Pn，L1最佳匹配的第一块Bn，L0，以及确定所述第一块Bn，L0在低频输入数据结构L0中的位置，在高频输入数据结构H0中选择155所确定的位置处的第二块Bn，H0，将所选择的第二块Bn，L0的数据值(例如像素值)累积157到第二分块Pn，H1，第二分块是在高频的增大尺寸后的数据结构H1，acc中在第一位置(上面针对第一分块Pn，L1确定的)处的分块，重复150以下步骤：在低频增大尺寸后的数据结构L1中确定新分块Pn，L1；在低频输入数据结构L0中搜索151、152、154与所选择的分块Pn，L1最佳匹配的块Bn，L0；在高频输入数据结构H0中选择155相应的块Bn，H0，以及将所选择的相应块Bn，H0的像素数据累积157到在高频的增大尺寸后的数据结构H1，acc中所述新分块Pn，L1的位置处的分块Pn，H1，以及对在高频增大尺寸后的数据结构H1，acc中的累积的像素值进行归一化190和HP滤波195，由此获得已经归一化的高频增大尺寸后的数据结构H1。最后，通过向低频增大尺寸后的数据结构L1添加归一化后的高频增大尺寸后的数据结构H1，获得超分辨率的数据结构S1。
在一些实施例中，通过尺寸减小因子d(n＞d)对经第二低通滤波器F1，1滤波130后的增大尺寸后的输入数据结构进行尺寸减小140。因此，针对低频增大尺寸后的数据结构L1获得整个非整数的增大尺寸的因数n/d。高频的增大尺寸后的数据结构H1，init(或者H1分别地)具有与低频增大尺寸后的数据结构L1相同的尺寸。H1的大小可以是预定义的，或者从L1中导出。H1在初始化步骤160中被初始化为该大小的空的数据结构H1，init。在这种实施例中，通过以尺寸增大因子n对输入数据结构S0进行尺寸增大120来获得低频的增大尺寸的数据结构L1，通过所述第二低通滤波器F1，1对增大尺寸后的输入数据结构进行滤波130，以及在尺寸减小单元940中以尺寸减小因子d(其中n＞d)对滤波后的增大尺寸后的输入数据结构进行尺寸减小140。因此，获得最终的非整数的尺寸增大因子n/d。
图10示出了超分辨率的(即高分辨率)图像的高频带H1的合成的原理。该原理通过以原始分辨率尺度H0对相似像素的高频信息进行外插来实现。应注意，如果在以下描述中提及了高频高分辨率数据结构H1，则实际上指的是未滤波的、未归一化的高频高分辨率的数据结构H1，acc。
首先，将高分辨率图像L1的低频带划分为具有一定重叠的小分块Pn，L1(例如5×5像素)。重叠量的选择在针对高频伪像的鲁棒性(在重叠较多的情况下)与计算速度(在重叠较少的情况下)之间折衷。在一个实施例中，选择每个方向上的20-30％的重叠，即针对相邻分块具有例如值为5、值为2的重叠。在其他实施例中，重叠更高，例如30-40％、40-50％，约为50％(例如45-55％)或者高达90％。对于低于分块尺寸的20％的重叠，本发明的以下描述的效果通常较低。
在通过贡献于每个像素的像素的数目来进行归一化之后，获得最终的高频带H1，由此得到平均值。分块之间的重叠越大，对于由高频外插过程所导致的高频伪像的抑制越好，并且累积更多的值。然后，针对每个低频高分辨率的分块Pn，L1，在低分辨率图像的低频带L0上的局部搜索窗(例如，11×11像素)中的穷尽搜索后，获得关于平均绝对差(MAD，从运动估计中获知)的最佳匹配。最佳匹配是来自低频高分辨率图像L0的与低频高分辨率分块Pn，L1具有相同尺寸(例如5×5像素)的块Pn，L0。
为了理解下一步，很重要的是应注意，低分辨率低频的数据结构L0与低分辨率高频的数据结构H0具有相同的维度，并且高分辨率低频的数据结构L1具有与高分辨率高频数据结构H1相同的维度，如图10中所示。对于每个分块，确定所匹配的低频低分辨率的分块Pn，L0(在L0中)的位置，并提取在所匹配的低频低分辨率的分块Pn，L0的位置处的相应的低分辨率高频分块Pn，H0(在H0中)。然后，在高分辨率低频数据结构L1中的当前分块Pn，L1所具有的相同位置处，在高分辨率图像H1中的高频带上累积从H0中提取的低分辨率高频的分块Pn，H0，具体地，从H0提取的低分辨率高频分块Pn，H0的每个值(例如像素)在高分辨率图像H1的高频带的各个分块中的相应的值(例如，像素)上累积。以这种方式，通过逐分块累积，合成高分辨率图像H1的高频带。图11示出了将高分辨率图像L1的低频带划分为重叠分块、找到最佳低频匹配以及累积相应的高频贡献的过程，并且下面对其进行描述。
结果，在所得到的(初级的)高分辨率数据结构H1的高频带中的每个值，是来自多个贡献的分块的值的总和。由于L1中的分块重叠(并且由于二者均具有相同的维度，因此也在H1中)，来自至少两个分块的值贡献于H1中的多个或者全部值。因此，对高分辨率的数据结构H1的所得到的(初始的)高频带进行归一化190。为此，在合成过程期间，对来自在高频高分辨率的数据结构H1中的每个值的H0的贡献值的数目进行计数，并且最终将在H1，acc中所累积的每个值除以贡献的数目。
图11示例性地示出了在低分辨率低频数据结构L0内的搜索窗的使用和定位。对于L1中的第一分块P11，L1，在第一搜索窗W11内的L0中搜索第一最佳匹配块P11，L0。两个分块具有相同的尺寸。搜索窗在每个方向上(除了对于第一分块，在边缘上)比分块大至少一个值。在本示例中，在第一搜索窗W11的左上角在L0中找到第一最佳匹配块P11，L0。该分块和块的进一步过程如上所述。然后，水平地和/或垂直地移动后续分块，其中每个分块与前一分块重叠。在本发明中，将搜索扩展到一个或更多个相邻帧。在一个实施例中，搜索直接邻域，即，使用±1帧的帧范围。在一个实施例中，搜索直接邻域和直接邻域的直接邻域中的至少一个，即，使用±1帧或±2帧的帧范围。
在图11中所示的示例中，在被水平移动给定分块提前量(advance)的位置处选择第二分块P12，L1。分块提前量是分块大小与重叠之间的差异。不同维度(例如对于2D数据结构的水平和垂直)的分块提前量可能不同，这可能导致在高分辨输出数据结构的维度上的不同效果和质量，但通常是相同的。根据新分块的位置确定新的搜索窗W12。原则上，搜索窗在与分块相同的方向上前进，但是更为缓慢。因此，当前的搜索窗可以在与前一搜索窗相同的位置，如这里的情形。然而，由于在搜索窗中搜索另一分块P12，L1，最佳匹配分块P12，L1的位置将通常不同。然后，如上所述，将最佳匹配分块P12，L0累积到高分辨率高频数据结构H1的低频高分辨率的分块P12，L1的位置处。确定后续的分块P13，L1、P14，L1，并以相同的方式搜索其最佳匹配。如图11中所示，最佳匹配块在搜索窗内的位置是任意的，并且取决于输入数据(图像内容)。
上面的描述对于1-维(1D)数据结构是足够的。对于2D数据结构，通过垂直分块提前量，找到进一步后续分块的位置。垂直分块提前量可以与水平分块提前量相结合，也可以不与水平分块提前量相结合。垂直分块提前量还包括如上面提及并在图11中示出的针对P21，L1、...、P23，L1的重叠。
根据当前分块的位置确定搜索窗的位置。如图11中所示，不同分块的搜索窗W11、...、W22重叠。由于L0是比L1小的数据结构，搜索窗在每个维度的提前量非常小。在一个实施例中，如果搜索窗的相应分块在L1的边缘，则搜索窗在L0的边缘，并且可以在这些边缘之间均匀地或者成比例地移动。
在一个实施例(图11中未示出)，搜索窗的中心设置在实质上与分块中心成比例的位置处。例如，其中分块的中心在高分辨的数据结构L1的大约3％处，搜索窗的中心设置为在低分辨率数据结构L0的大约3％(四舍五入)处。在这种情况下，对于靠近边缘的分块，可以减小搜索窗大小，或者可以将搜索窗完全地移动到低分辨率的数据结构L0中。
通常，搜索窗越大，越可能找到非常相似的分块。然而，实际上通过大幅增大搜索窗，精确度几乎没有改变，这是因为局部分块结构在通常的自然图像中的非常局部的区域中被找到。此外，更大的搜索窗在搜索期间需要更多的处理。
图12示出了图像中连续分块的选择(即2D输入数据结构)、重叠、以及确定连续分块的匹配块的原理的详情。示例性地，像素和块具有5×5像素，并且搜索窗具有12×12像素。对于L1中的第一分块P1，L1，如上述那样，在L0或者在相邻的LF帧中确定搜索窗W1。在搜索窗W1内，执行不同块位置处的第一分块的比较，并且确定具有最小平均绝对差(MAD)的块B1，L0。这是最佳匹配块。确定其在低分辨率低频数据结构L0内的位置，例如，其左上角在第3列第3行。然后，确定在相应的高频低分辨率图像H0(即，它可能是邻域)的相同位置处的相应分块。因此，它是左上角位于第3列第3行的5×5像素的分块。从H0中提取该分块，并且将该分块添加到H1中的当前的低频高分辨率分块P1，L1的位置(即，H1的左上角(参见图12a))处。
如图12b中所示，根据所采用的分块提前，选择第二分块P2，L1。分块提前在这种情况下是在两个维度上的两个像素，这意味着：由于像素大小是5×5像素，重叠为3。因此，在这个示例中，垂直重叠vv等于水平重叠vh。由于更慢的搜索窗提前，搜索窗W2与前一分块的是相同的。然而，由于不同的像素值(根据任意图像内容)，找到搜索窗内的另一最佳匹配块B2，L0。用与上述相同的方式，确定其位置(例如，左上角在第7列第2行)，从H0中提取相应的5×5块(左上角在第7列第2行)，并且将从H0提取的块添加到高频高分辨率图像H1中的第二分块P2，L1的位置处，即，其左上角在第1行第3列。因此，从对应于最佳匹配块的像素累积属于两个或更多个分块的特定像素。即，示例性地，高分辨率高频图像H1的第4列第5行的特定像素(对应于图12中所示的L1中的位置)在所述的过程的当前级中具有从第6列第7行的像素(来自第一分块的最佳匹配块B1，L0)以及从第8列第6行的像素(来自第二分块的最佳匹配块B2，L0)所累积的值。如上面提及的，该搜索窗通常仅在已经处理多个分块之后前进。如在针对上述配置在图12c中示例性示出的，在搜索窗W3在水平方向上移动一个像素之前，需要三分块的提前量(例如，第4分块)。此外，这里应注意，分块前进的各种维度的序列顺序(以及因此的搜索窗前进)没有区别。因此，在图12d中所描述的分块可以在先前的分块已经移动到L1的右手边缘后处理，但是也可以在图12a中所示的第一分块后直接处理。
在下文中，描述了空间HF合成12(见图1)。在空间HF合成的输入处，存在多个帧速率上变换的增大尺寸后的输入视频帧(确认HRLF带)，这些输入视频帧堆叠在立体结构中。两个轴对应于空间图像维度，并且第三个对应于时间维度。
在一个实施例中，采用了一种用于空间HF合成的方法，非常类似于在关于帧间内插102的部分中的上述方法。不同之处在于，在本实施例中，HF示例可以取自应当获得高频带的分块的局部邻域中的任何图像。换句话说，搜索窗是中心在每个分块处的3D立体。
尽管该技术也可以应用于恢复时间高频(通过考虑3D分块而非2D分块)，在时间混叠中可能出现大量混叠，这可能引入可视的重影伪像。因此，将需要更有效的方法。为了解决这个问题，在本发明的一个实施例中，只在空间维度(而不在时间维度)进行超分辨率(即，合成高频带)。本实施例的优点在于：也可以通过探索低分辨率的相邻帧来获得生成内插的帧的高分辨率版本所需的高频分量。
接下来，描述了HRLF内插带15与HRHF合成带16的融合13。在融合单元中执行的该融合13得到超分辨率的视频序列14。在一个实施例中，将高通滤波器995应用于这一部分的空间维度，以保证合成的HRHF带与内插的HRLF带的谱兼容性。图13a)示例性地示出HRLF(高分辨率低频)带L1与归一化后的高频高分辨率(HRHF)带H1的融合，以便生成超分辨率的图像S1。使用高通滤波器995对归一化后的高频带H1进行滤波，以确保与低频带之间的谱兼容性。下面描述高分辨率高通滤波器995。滤波器Fh，1995用在上述提及的滤波步骤195中，并且优选地以与在第一级11中的滤波器F1，0，F1，1930、970相同的方式设计。在这种情况下，目标是获得具有截止频率Ω1，h＝d/max(n，d)＝d/n的高通滤波器。将该高通滤波器的阶设置为低分辨率滤波器阶的缩放版本：N1，h＝round(N0n/d)，并且其幅值为σ1，h＝1。将可分离高通滤波器的最终参数设置为与汉明窗的中心对齐的克罗内克(Kronecker)增量减去具有相同的截止频率的的互补低通滤波器的系数。也就是说，将高通滤波器定义为全通滤波器(参数集等于克罗内克增量)减去与所期望的高通滤波器具有相同的截止频率的低通滤波器。这在图13b)中以图形示出，在图13b)中左手边是所期望的高通滤波器的频率响应HP，并且右手边是全通滤波器AP与上述低通滤波器LP的响应的差异。实际的融合可以实现为带的叠加，其中LF与HF频带简单地彼此相加。由于从上述描述中已经清楚，在原则上通过内插获得高分辨率(HRLF)图像L1的低频带，而原则上通过外插获得高分辨率(HRHF)H1图像的高频带。
作为一示例，给定在图6中示出的两个连续低分辨率输入帧f61，f62，图7中示出了超分辨率的输出帧f71、f72、f73(2x空间和1x时间放大倍数)。图7中，从具有超分辨率的空间维度的第一输入帧f61获得第一帧f71。第二帧f72是具有超分辨率的空间维度的新帧。第三帧f73是从具有超分辨率的空间维度的第二输入帧f62获得的。
本发明的总体思想是在原则上也适用于其他技术领域。该运动补偿技术可用于确定两个给定的图像之间的运动，以及向更精确的鲁棒的束调整算法提供输入，以确定在两个视图之间的相对姿势是有用的。在编码应用中，密集的多视图序列可以通过探索中间视图能够快速并且精确地从两个相邻视图中猜测出的事实来抽取。这也可以有助于提供在空间(在给定的时刻生成新视图)和时间上(跟踪在连续时刻之间的位置)的更好的3D重构。
本发明的一个优点在于：本发明比已知的能够产生具有与所提出的技术相似的质量等级的内插视频帧的已知光流估计技术更简单和便宜。可以将这一点与空间超分辨率算法联系起来，该空间超分辨率算法进而将不在视频序列中采用更丰富、冗余的可用信息。本发明具有处理自然复杂运动的优点。通常，经典的基于重构的多帧超分辨率技术无法处理自然复杂的运动。
在现有技术中，通常引入产生不需要的效果(如移除靠近轮廓的纹理或者过度锐化)的任意先前的模型。此外，当相比于传统的用于帧内插的块匹配时，所公开的技术在与局域邻域具有类似分块的区域中产生正确内插的分块。示例性地，图8示出了(左手侧)通过这种区域(在其局域邻域中具有类似的分块)中的块匹配所产生的伪像对于(右手侧)正确处理显著少的伪像(如通过所公开的鲁棒迭代块匹配所获得的)。该图对应于从它的两个最接近的邻域内插得到的帧的细节。
进一步的优点在于，相对于光流技术，不需要初始建立针对大规模运动估计的图像金字塔，而是可以直接作用于输入图像；所得到的光流提供整数位移，而不是如光流技术所做的浮点位移；以及不需要迭代大量的次数(如在能量最小化结构中典型的)，以获得运动估计。
图5示出了根据本发明的如何获得高分辨率上采样的帧的概述。如上所述，首先对低分辨率的帧f1、...、f4进行时间内插，其中获得时间内插的帧i1、…、i3。然后，通过如下的上采样和内插从低分辨率(LR)帧f1、i1、...、i3、f4中获得高分辨率(HR)帧F1、I1、...、I3、F4：
HR帧的低频(LF)部分(HRLF带)是从其各自的在时间上重合的LR帧(包括时间内插的帧)中空间上采样的。例如，从f1中上采样LF(F1)，从i1等中上采样LF(I1)等。
在输入序列中具有在时间上重合帧的HR帧的高频(HF)部分/带(例如F1、...、F4)是从输入序列的LR帧(即，f1、...、f4)中空间上采样的。
在输入序列中不具有时间上重合帧的HR帧的HF部分/带(例如I1、I2、I3)是从输入序列的相邻LR帧(即，f1、...、f4)中空间上采样然后内插的。例如，将f1和f2上采样然后内插，以获得I1。
在一个实施例中，非整数时间位置τ处的每一个新的HF图像I1、...I3时间内插在两个分开的部分(即，LF部分和HF部分)中。LF部分是从时间内插的LR图像i1中获得的(参见图5)，然后通过空间超分辨率(在图9中的步骤)来对该时间内插的LR图像进行尺寸增大。HF部分是从没有时间内插的相邻帧f1、...、f4中获得的。然后，也通过空间超分辨率(利用图9中的步骤)来对相邻帧f1、...、f4进行尺寸增大。优点在于：可以在相邻帧中找到更好匹配的分块。
在一个实施例中，本发明提供了一种基于分块的框架，用于增大视频序列的帧速率以及对每一个输出帧进行空间超分辨率。基于分块的(或者基于块的)图像处理已经在各式各样的问题(例如降噪或者空间超分辨率)中显示出优异的性能。这里，采用适用能力来解决在单个基于分块的框架中所提到的两个问题。本发明适用于增强所有类型的视频序列，甚至在时间维度具有大量混叠的视频序列。也就是说，本发明不仅仅致力于具有周期性或者高度冗余的空间和时间特征的序列。时间采样频率几乎比空间维度中的低两个数量级。有利地，避免了现有技术中的空间超分辨率的问题(可能导致不能很好地适应于特定情况的过度拟合的图像模型)。使用具有线性及非线性正则项的MAP模型来表示严重病态的时间超分辨率问题。在下文中，提供了关于时间内插的更多详细信息。
时间内插。在将视频序列考虑为立体方法的情况下，将希望在三个可用维度(两个空间的和一个时间的)中应用相同的内插机制，以便生成超分辨率视频序列的低频带。然而，通过这样做，我们不能正确地内插时间事件。通常，时间域以低于奈奎斯特限制的频率进行采样，在多数情况下已经足以让我们的视觉系统感知连续动作。
为了改善时间分辨率(即便在时间事件不会在场景下反复出现的情况下)，我们建议遵循以下思想：首先，估计连续帧之间的运动；并且然后，通过线性内插在任意期望时间位置处生成中间帧。
与我们的方法的余下部分中所考虑的框架相一致，我们使用基于分块的方法，该方法利用维度为5×5像素的小的重叠分块。假设Pi，j是与中心位于在空间位置(i，j)中的像素的分块相吻合的像素组，并且分块中所包括的元素的数目为#Pi，j。还假设ui，j和vi，j分别是在这种空间位置处的水平和垂直的运动分量。然后，给定两个连续的颜色帧I1(x，y)和I2(x，y)，以及颜色距离||I1(x1，y1)-I2(x2，y2)||2，可以使用以下变化的公式来估计运动场：
min u , v Σ i , j 1 # P i , j Σ i ′ , j ′ ∈ P i , j | | I 1 ( i ′ , j ′ ) - I 2 ( i ′ + u i , j , j ′ + v i , j ) | | 2 + λ 1 Σ i , j Σ i ′ , j ′ ∈ N i , j 1 | u i , j - u i ′ , j ′ | + | v i , j - v i ′ , j ′ | + λ 2 Σ i , j Σ i ′ , j ′ ∈ N i , j 2 | u i , j - u i ′ , j ′ | 2 + | v i , j - v i ′ , j ′ | 2 - - - ( 1 )
和是局部尺度和大尺度邻域，中心位于位置(i，j)处，并且分别用于在它们的范围内拒绝变化和粗糙度(施加恒定性和平滑性)。请注意，不通过使用传统的光流公式对所提出的数据项进行线性化。相反，我们考虑块匹配(BM)数据项，块匹配数据项使用比光流更大数目的观察，并且允许考虑不需要多尺度处理的运动估计方案。缺点是：这种功能性的最小化是NP问题。
我们考虑处理这一问题的第一种选项是：凸出(convexify)数据项。将每一个像素周围的结构化数据成本替换为其更低的凸包(表示为三角形网格)，并将预计的最速下降与指数递减更新步骤一起用于数据项凸出功能。在最后一次迭代之后，选取较低的凸包的最接近的顶点(局部极小值)作为每个位置的优选候选。
然而，注意到这种方法对于所选的参数非常敏感。如果将方程式1(非线性)中的第一正则项的权重λ1设置为较大值，则更新步骤必须大幅收缩以达到收敛，从而导致运行时间较长。因此，我们考虑进一步的近似，更好地适用于GPU的计算能力，这导致提供良好质量相对于运行时间的折衷的迭代块匹配(迭代-BM)。
一旦已经在两个方向(I1到I2，反之亦然)计算了运动场，则获得时间内插的帧作为每个图像的在由中心像素的运动矢量所指的方向上的重叠位移的分块(大小为5×5像素)的加权的线性组合。
在实验中，将针对BM的初始窗大小设置为41×41像素，并且在迭代-BM的10次迭代期间指数下降至3×3像素。大尺度线性滤波器的区域，在这10次迭代期间保持不变，大小为81×81像素，而局部尺度非线性滤波器的区域，以指数式衰减从21×21像素降到3×3像素。滤波器区域与搜索窗大小在近似中的相对变化可以解释为正则化权值以由粗到精的变化方法的变化(如在许多光流估计技术中得到)。然而，初始地，平滑滤波器的权值(方程式1中的λ2)稍大于数据成本项的权值，它在相应的优化期间经历指数式增长(随着BM搜索窗大小的指数式衰减)。边缘保留滤波器的权值λ2从小于数据成本项的权值向上变化到实际上相同，对应于在最后一级中施加于BM搜索窗大小和具有相同维度的滤波器区域二者的指数式衰减。然而，对于不同搜索窗大小的更精确的调谐将提供边缘的改进，所使用的值足以在我们的试验中提供合理的结果。
一种采用大小为3×3像素的小搜索窗大小的附加的偏差BM步骤用于确保在呈现内插帧之前匹配的分块是实际的局域极小。呈现内插帧的操作直接在GPU上实现。
注意，在方程式(1)中，将乘以λ1和λ2的第二和第三被加数施加于块等级，而不施加于像素等级(即，单像素)。这是例如与光流方法之间的区别。
可以将所公开的算法看作贪婪算法，即作出局部最优选择的算法，而不是通常尝试作出整体最优选择的算法。在无法针对“最优方法”应用足够次数的迭代以收敛的情况下，贪婪算法甚至能够提供比这些“最优”方法更好的解。
所提出的解决方案的一个优点在于：可以使用适于不要求高成本全局优化的当前大规模并行硬件的算法，分别地或者以联合方式获得帧速率上变换以及进行空间尺寸增大。
作为另一个优点，本发明提供了一种鲁棒块匹配算法，该算法特别是在图形硬件中能够容易地实现，这是因为该算法被设计为适用于在大规模并行平台上可用的硬件，并且该算法提供具有高质量等级的帧内插，这足以与高成本的光流估计方法相媲美。
作为另一个优点，本发明允许在用于利用跨尺度自相似性对信号进行超分辨率的通用框架中的集成，这导致共同获得超分辨率的视频帧和帧速率上变换。此外，能够以任意期望值实现帧速率上变换。所公开的方法能够改进例如传统的电影电视技术，比如2∶3下拉等。
将几个示例性实施例概括如下：
一种用于对低分辨率输入视频帧序列执行超分辨率的装置，包括：空间内插模块，用于对输入视频帧序列的帧进行空间内插，其中生成高分辨率低频的空间和时间带；空间外插模块，用于对输入数据序列的视频帧执行跨帧空间高频外插，其中生成高分辨率高频的空间带；以及融合模块，用于将高分辨率低频的空间和时间带与高分辨率高频的空间带融合，其中获得空时超分辨率的视频序列。
在一个实施例中，在跨帧空间高频外插中，使用低频的空间和时间带的时间内插的帧。
在一个实施例中，该装置还包括用于获得低频的空间和时间带的时间内插的帧的模块，所述模块包括：运动场生成器模块，用于在至少两个输入帧之间生成运动场；输出图像缓冲器；控制单元，用于确定输出图像的时间位置；划分模块，用于将两个输入帧中的每一个划分为重叠的分块；线性内插器，针对一个或两个输入帧的每一个分块，根据所确定的时间位置，通过对运动矢量的线性内插来计算该分块在输出图像中的空间位置；加权因子计算器，针对一个或两个输入帧的每一个分块，根据所确定的时间位置来计算加权因子，并将该加权因子乘以当前分块的像素值，其中获得每一个分块的经加权的像素值；第一累积器，用于在输出图像缓冲器中累积在所计算的各个分块的空间位置处的分块的经加权的像素值，其中每一个分块将其像素的加权值贡献给所计算的位置处的输出图像的像素；加权因子累积缓冲器；第二累积器，用于在加权因子累积缓冲器中累积贡献给输出图像的每一个像素的加权因子，其中针对每一个像素获得累积的加权因子；以及归一化模块，在两个图像的全部分块都已经被处理之后，通过从加权因子累积缓冲器中检索到的累积的加权因子来对所累积的中间输出图像进行归一化。
在一个实施例中，该装置还包括：IRBM单元，其中运动场是通过IRBM获得的。
在一个实施例中，用于将高分辨率低频(HRLF)的空间和时间带与高分辨率高频(HRHF)的空间带(融合)的融合模块包括：高通滤波器995，用于对高分辨率高频(HRHF)的空间带进行滤波，其中获得经HP滤波的高分辨率高频(HRHF)的空间带；以及组合器，用于将经HP滤波的高分辨率高频(HRHF)的空间带与高分辨率低频(HRLF)的空间和时间带相加。
在一个实施例中，用于对输入视频帧序列进行空间内插的空间内插模块包括：第一低通滤波器F1，0，用于对输入视频帧序列的输入视频帧进行滤波，其中获得低频输入视频帧；差分器980，用于计算输入视频帧与低频输入视频帧之间的差，其中生成高频输入视频帧；尺寸增大器920，用于增大输入视频帧的尺寸，以及第二低通滤波器F1，1，用于对增大尺寸后的输入视频帧进行滤波，其中获得低频的增大尺寸后的视频帧；处理模块，用于在低频的增大尺寸后的视频帧中确定第一位置处的第一分块Pn，L1；搜索单元952，用于在低频输入视频帧中搜索与第一分块Pn，L1最佳匹配的第一块Bn，L0，并确定所述第一块Bn，L0在低频输入视频帧(L0)中的位置；选择器955，用于选择在确定的位置处的高频输入视频帧(H0)中的第二块(Bn，H0)；累积器957，用于将所选择的第二块(Bn，H0)的像素数据累积到第二分块(Pn，H1)，所述第二分块是在第一位置处的高频的增大尺寸后的视频帧(H1，acc)中的分块；控制单元950，用于控制搜索单元952、选择器955、累积器957中的一个或更多个，其中处理低频的增大尺寸后的视频帧中的所有分块；归一化单元990，用于对高频的增大尺寸后的视频帧(H1，acc)中的累积的像素值进行归一化，其中获得归一化的高频的增大尺寸后的视频帧；以及组合单元999，用于将归一化的高频的增大尺寸后的视频帧中的至少一个与低频的增大尺寸后的视频帧中的至少一个相加，由此获得空间超分辨率的视频帧。
虽然本发明的主要新颖特征已经随着应用于本发明的优选实施例而被示出、描述和指出，但应该理解的是，在不偏离本发明的精神的情况下，本领域普通技术人员可以对所描述的装置和方法、所公开的设备的形式和细节及其操作进行多种省略、替换和改变。这里明确表示，那些以实质上相同的方式执行实质上相同的功能以实现相同的结果的元素的所有组合都在本发明的范围内。从一个所描述的实施例到另一个所描述的实施例的元素替换也属于本发明所设想并想要保护的范围。所提及的全部图像和/或分块可以是，但是不一定是，彩色图像和/或彩色分块。应该理解的是，仅仅通过示意的方式描述了本发明，在不偏离本发明的范围的情况下能够对细节进行修改。说明书和(在适当的情况下)权利要求和附图中所公开的每个特征可以使独立提供的或以任何适当的组合提供的。在适当的情况下，可以以硬件、软件或二者的组合来实现这些特征。在适当的情况下，连接可以实现为无线连接或有线连接(不必是直接连接或专用连接)。权利要求书中出现的参考标记仅作为示意，并且不应对权利要求的范围有限制作用。
引用的参考文献
[1]“Space-Time Super-Resolution from a Single Video”，O.Shahar，A.Faktor and M.Irani，IEEE Conf.on Computer Vision and PatternRecognition，2011
[2]“On improving space-time super resolution using a small set of videoinputs”，U.Mudenagudi，S.Banerjee and P.Kalra，Indian Conf.onComputer Vision，Graphics and Image Processing，2008
[3]“Spatio-temporal resolution enhancement of video sequence based insuper-resolution reconstruction”，M.Haseyama，D.Izumi and M.Takizawa，ICAS SP 2010
[4]“Super-Resolution Without Explicit Subpixel Motion Estimation”，H.Takeda，P.Milanfar，M.Protter and M.Elad，IEEE Trans.on ImageProcessing，vol.18，no.9，2009

Claims (13)

1.一种用于对低分辨率输入视频帧序列执行超分辨率的方法，包括以下步骤：
-对输入视频帧序列(10)的帧进行空间内插(103)，其中生成高分辨率低频的空间和时间带(15)；
-对输入数据序列(10)的视频帧执行跨帧空间高频外插(12)，其中生成高分辨率高频的空间带(16)；以及
-将高分辨率低频的空间和时间带(15)与高分辨率高频的空间带(16)融合(13)，其中获得空时超分辨率的视频序列(14)。
2.根据权利要求1所述的方法，其中在跨帧空间高频外插(12)中，使用低频的空间和时间带(15)的时间内插的帧。
3.根据权利要求2所述的方法，其中低频的空间和时间带(15)的时间内插的帧是通过以下步骤获得的：
-在至少两个输入帧fr1、fr2之间生成运动场；
-对输出图像缓冲器进行初始化(401)；
-确定输出图像的时间位置(τ)；
-将两个输入帧fr1、fr2中的每一个划分为重叠的分块；
以及针对输入帧fr1、fr2二者执行以下步骤：
-针对每一个分块，根据所确定的时间位置，通过对运动矢量(MV1)的线性内插来计算该分块在输出图像中的空间位置；
-针对每一个分块，根据所确定的时间位置(1-τ)来计算加权因子，并将该加权因子乘以当前分块的像素值，其中获得每一个分块的经加权的像素值；
-在输出图像缓冲器中，累积在所计算的各个分块的空间位置处的分块的经加权的像素值，其中每一个分块将其像素的加权值贡献给所计算的位置处的输出图像的像素；
-在加权因子累积缓冲器中，累积贡献给输出图像的每一个像素的加权因子，其中针对每一个像素获得累积的加权因子；
当图像fr1和fr2二者的全部分块都已经被处理时，
-通过从加权因子累积缓冲器中检索到的累积的加权因子来对所累积的中间输出图像(403)进行归一化。
4.根据权利要求3所述的方法，其中运动场是通过IRBM获得的。
5.根据权利要求1到4中任一项所述的方法，其中所述高分辨率低频(HRLF)的空间和时间带(15)与高分辨率高频(HRHF)的空间带(16)的融合(13)包括：
-对高分辨率高频(HRHF)的空间带(16)进行高通滤波(195)，其中获得经HP滤波的高分辨率高频(HRHF)的空间带；以及
-将经HP滤波的高分辨率高频(HRHF)的空间带(16)与高分辨率低频(HRLF)的空间和时间带(15)相加。
6.根据权利要求1到5中任一项所述的方法，其中对输入视频帧序列(10)进行空间内插(103)的步骤包括以下步骤：
-通过第一低通滤波器(F1，0)对输入视频帧序列(10)的输入视频帧(S0)进行滤波(170)，其中获得低频输入视频帧(L0)；
-计算输入视频帧(S0)与低频输入视频帧(L0)之间的差(180)，其中生成高频输入视频帧(H0)；
-增大输入视频帧(S0)的尺寸(120)，以及通过第二低通滤波器(F1，1)对增大尺寸后的输入视频帧进行滤波(130)，其中获得低频的增大尺寸后的视频帧(L1)；
-在低频的增大尺寸后的视频帧(L1)中确定第一位置处的第一分块(Pn，L1)；
-在低频输入视频帧(L0)中搜索(152，154)与第一分块(Pn，L1)最佳匹配的第一块(Bn，L0)，并确定所述第一块(Bn，L0)在低频输入视频帧(L0)内的位置；
-选择(155)在所确定的位置处的高频输入视频帧(H0)中的第二块(Bn，H0)；
-将所选择的第二块(Bn，H0)的像素数据累积(157)到第二分块(Pn，H1)，所述第二分块是在第一位置处的高频的增大尺寸后的视频帧(H1，acc)中的分块；
-重复(150)以下步骤：在低频的增大尺寸后的视频帧(L1)中确定新分块(Pn，L1)，在低频输入视频帧(L0)中搜索(152，154)与所选择的分块(Pn，L1)最佳匹配的块(Bn，L0)，在高频输入视频帧(H0)中选择相应块(Bn，H0)，以及将所选择的相应块(Bn，H0)的像素数据累积(157)到在所述新分块(Pn，L1)的位置处的高频的增大尺寸后的视频帧(H1，acc)中的分块(Pn，H1)；
-对高频的增大尺寸后的视频帧(H1，acc)中的累积的像素值进行归一化(190)，其中获得归一化的高频的增大尺寸后的视频帧(H1)；以及
-将归一化的高频的增大尺寸后的视频帧(H1)中的至少一个与低频的增大尺寸后的视频帧(L1)中的至少一个相加，由此获得空间超分辨率的视频帧(15，S1)。
7.一种用于执行超分辨率的系统，包括：
-通过内插生成输入视频序列(LR)的高分辨率低频的空间和时间带(HRLF)的级；
-通过跨帧空间高频外插来合成高分辨率高频的空间带(HRHF)的级；以及
-将这两个带融合以生成空时超分辨率的视频序列(HR)的级。
8.一种用于对低分辨率输入视频帧序列执行超分辨率的装置，包括：
-空间内插模块，用于对输入视频帧序列(10)的帧进行空间内插(103)，其中生成高分辨率低频的空间和时间带(15)；
-空间外插模块，用于对输入数据序列(10)的视频帧执行跨帧空间高频外插(12)，其中生成高分辨率高频的空间带(16)；以及
-融合模块，用于将高分辨率低频的空间和时间带(15)与高分辨率高频的空间带(16)融合(13)，其中获得空时超分辨率的视频序列(14)。
9.根据权利要求8所述的装置，其中在跨帧空间高频外插(12)中，使用低频的空间和时间带(15)的时间内插的帧。
10.根据权利要求9所述的装置，还包括用于获得低频的空间和时间带(15)的时间内插的帧的模块，所述模块包括：
-运动场生成器模块，用于在至少两个输入帧(fr1，fr2)之间生成运动场；
-输出图像缓冲器；
-控制单元，用于确定输出图像的时间位置(τ)；
-划分模块，用于将两个输入帧(fr1，fr2)中的每一个划分为重叠的分块；
-线性内插器，针对一个或两个输入帧(fr1，fr2)的每一个分块，根据所确定的时间位置，通过对运动矢量(MV1)的线性内插来计算该分块在输出图像中的空间位置；
-加权因子计算器，针对一个或两个输入帧(fr1，fr2)的每一个分块，根据所确定的时间位置(1-τ)来计算加权因子，并将该加权因子乘以当前分块的像素值，其中获得每一个分块的经加权的像素值；
-第一累积器，用于在输出图像缓冲器中累积在所计算的各个分块的空间位置处的分块的经加权的像素值，其中每一个分块将其像素的加权值贡献给所计算的位置处的输出图像的像素；
-加权因子累积缓冲器(Bw，acc)；
-第二累积器，用于在加权因子累积缓冲器中累积贡献给输出图像的每一个像素的加权因子，其中针对每一个像素获得累积的加权因子；以及
-归一化模块，在两个图像(fr1，fr2)的全部分块都已经被处理之后，通过从加权因子累积缓冲器中检索到的累积的加权因子来对所累积的中间输出图像(403)进行归一化。
11.根据权利要求10所述的装置，还包括IRBM单元，其中运动场是通过IRBM获得的。
12.根据权利要求8到11中任一项所述的装置，其中所述用于将高分辨率低频(HRLF)的空间和时间带(15)与高分辨率高频的(HRHF)的空间带(16)融合(13)的融合模块包括：
-高通滤波器(995)，用于对高分辨率高频(HRHF)的空间带(16)进行滤波，其中获得经HP滤波的高分辨率高频(HRHF)的空间带；以及
-组合器，用于将经HP滤波的高分辨率高频(HRHF)的空间带(16)与高分辨率低频(HRLF)的空间和时间带(15)相加。
13.根据权利要求8到12中任一项所述的装置，其中所述用于对输入视频帧序列(10)进行空间内插(103)的空间内插模块包括：
-第一低通滤波器(F1，0)(970)，用于对输入视频帧序列(10)的输入视频帧(S0)进行滤波(170)，其中获得低频输入视频帧(L0)；
-差分器(980)，用于计算输入视频帧(S0)与低频输入视频帧(L0)之间的差(180)，其中生成高频输入视频帧(H0)；
-尺寸增大器(920)，用于增大输入视频帧(S0)的尺寸(120)，以及第二低通滤波器(F1，1)，用于对增大尺寸后的输入视频帧进行滤波(130)，其中获得低频的增大尺寸后的视频帧(L1)；
-处理模块，用于在低频的增大尺寸后的视频帧(L1)中确定第一位置处的第一分块(Pn，L1)；
-搜索单元(952)，用于在低频输入视频帧(L0)中搜索(152，154)与第一分块(Pn，L1)最佳匹配的第一块(Bn，L0)，并确定所述第一块(Bn，L0)在低频输入视频帧(L0)中的位置；
-选择器(955)，用于选择(155)在确定的位置处的高频输入视频帧(H0)中的第二块(Bn，H0)；
-累积器(957)，用于将所选择的第二块(Bn，H0)的像素数据累积(157)到第二分块(Pn，H1)，所述第二分块是在第一位置处的高频的增大尺寸后的视频帧(H1，acc)中的分块；
-控制单元(950)，用于控制搜索单元(952)、选择器(955)、累积器(957)中的一个或更多个，其中处理低频的增大尺寸后的视频帧(L1)中的所有分块；
-归一化单元(990)，用于对高频的增大尺寸后的视频帧(H1，acc)中的累积的像素值进行归一化(190)，其中获得归一化的高频的增大尺寸后的视频帧(H1)；以及
-组合单元(999)，用于将归一化的高频的增大尺寸后的视频帧(H1)中的至少一个与低频的增大尺寸后的视频帧(L1)中的至少一个相加，由此获得空间超分辨率的视频帧(15，S1)。
CN201380012743.4A 2012-03-05 2013-03-05 执行超分辨率的方法和装置 Pending CN104160422A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12305265 2012-03-05
EP12305265.6 2012-03-05
PCT/EP2013/054447 WO2013131929A1 (en) 2012-03-05 2013-03-05 Method and apparatus for performing super-resolution

Publications (1)

Publication Number Publication Date
CN104160422A true CN104160422A (zh) 2014-11-19

Family

ID=47827208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380012743.4A Pending CN104160422A (zh) 2012-03-05 2013-03-05 执行超分辨率的方法和装置

Country Status (6)

Country Link
US (1) US9258518B2 (zh)
EP (1) EP2823461A1 (zh)
JP (1) JP6085620B2 (zh)
KR (1) KR20140135968A (zh)
CN (1) CN104160422A (zh)
WO (1) WO2013131929A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820966A (zh) * 2015-04-30 2015-08-05 河海大学 一种空时配准解卷积的非同步多视频超分辨率方法
CN110896492A (zh) * 2018-09-13 2020-03-20 传线网络科技（上海）有限公司 图像处理方法、装置及存储介质
CN113747242A (zh) * 2021-09-06 2021-12-03 海宁奕斯伟集成电路设计有限公司 图像处理方法、装置、电子设备及存储介质
CN115578255A (zh) * 2022-09-22 2023-01-06 北京航空航天大学 一种基于帧间亚像素块匹配的超分辨率重建方法
CN117061826A (zh) * 2023-10-12 2023-11-14 深圳云天畅想信息科技有限公司 流媒体时空视频渲染方法、装置及计算机设备

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014207500A1 (en) 2013-06-24 2014-12-31 Nintendo European Research And Development Brightness-compensating safe pixel art upscaler
US10147350B2 (en) * 2013-07-26 2018-12-04 Darwin Hu Method and apparatus for increasing perceived display resolutions from an input image
KR20160115925A (ko) * 2014-01-30 2016-10-06 톰슨 라이센싱 이미지 품질을 강화하는 방법 및 장치
TWI543586B (zh) * 2014-05-30 2016-07-21 國立交通大學 影像增強的方法及其影像處理裝置與電腦程式產品
CN104159119A (zh) * 2014-07-07 2014-11-19 大连民族学院 一种视频图像实时共享播放的超分辨率重构方法和系统
CN104660951A (zh) * 2015-01-21 2015-05-27 上海交通大学 一种高清转超高清视频图像的超分辨率放大方法
CN104580931A (zh) * 2015-01-22 2015-04-29 成都索贝数码科技股份有限公司 一种图像、视频超分辨率放大的系统与方法
GB201604345D0 (en) * 2016-03-14 2016-04-27 Magic Pony Technology Ltd Super resolution using fidelity transfer
EP3225026A4 (en) 2015-07-31 2017-12-13 SZ DJI Technology Co., Ltd. Method of sensor-assisted rate control
EP3207708B1 (en) * 2015-07-31 2021-10-13 SZ DJI Technology Co., Ltd. Method and system of modifying search areas
CN108780570B (zh) * 2016-01-16 2022-12-06 特利丹菲力尔有限责任公司 使用迭代协同滤波的图像超分辨率的系统和方法
US10719921B2 (en) * 2016-05-04 2020-07-21 Tel Hashomer Medical Research, Infrastructure And Services Ltd. Method and system for providing a locally-consistent enhancement of a low-quality image
EP3249652B1 (en) * 2016-05-25 2020-07-15 Axis AB Method and apparatus for playing back recorded video
US10366480B2 (en) 2016-07-01 2019-07-30 Analytical Mechanics Associates, Inc. Super-resolution systems and methods
US20180020229A1 (en) * 2016-07-14 2018-01-18 Sharp Laboratories Of America, Inc. Computationally efficient motion compensated frame rate conversion system
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체
US9607365B1 (en) * 2016-10-31 2017-03-28 HDRlog SARL Systems and methods for enhancing quality of image media
US10621446B2 (en) * 2016-12-22 2020-04-14 Texas Instruments Incorporated Handling perspective magnification in optical flow processing
US10546521B2 (en) * 2017-05-16 2020-01-28 Darwin Hu Resolutions by modulating both amplitude and phase in spatial light modulators
US10284810B1 (en) * 2017-11-08 2019-05-07 Qualcomm Incorporated Using low-resolution frames to increase frame rate of high-resolution frames
WO2020057648A1 (zh) * 2018-09-21 2020-03-26 华为技术有限公司 一种帧间预测方法和装置
WO2020056798A1 (zh) 2018-09-21 2020-03-26 华为技术有限公司 一种视频编解码的方法与装置
US10499009B1 (en) * 2018-09-25 2019-12-03 Pixelworks, Inc. Realistic 24 frames per second output from high frame rate content
WO2020150264A1 (en) * 2019-01-15 2020-07-23 Portland State University Feature pyramid warping for video frame interpolation
CN109949221B (zh) * 2019-01-30 2022-05-17 深圳大学 一种图像处理方法及电子设备
KR102350273B1 (ko) * 2019-04-29 2022-01-17 주식회사 휴윈 트랜션트 분석을 위한 대역 제한된 s-매개변수 처리방법
CN111246250B (zh) * 2020-03-13 2022-07-01 广州市百果园信息技术有限公司 视频处理方法、装置、设备及存储介质
KR20220163994A (ko) * 2020-04-24 2022-12-12 엘지전자 주식회사 Pov 디스플레이 장치 및 그 제어방법
CN112950470B (zh) * 2021-02-26 2022-07-15 南开大学 基于时域特征融合的视频超分辨率重建方法及系统
CN113014817B (zh) * 2021-03-04 2022-11-29 维沃移动通信有限公司 高清高帧视频的获取方法、装置及电子设备
KR20220141543A (ko) * 2021-04-13 2022-10-20 삼성전자주식회사 전자 장치 및 그 제어 방법
CN117121468A (zh) 2021-04-13 2023-11-24 三星电子株式会社 电子装置及其控制方法
CN113938575B (zh) * 2021-07-23 2023-06-13 东莞理工学院 一种视频超分辨率重构方法、装置、终端设备及存储介质
CN115564653A (zh) * 2022-09-30 2023-01-03 江苏济远医疗科技有限公司 一种多因子融合的图像超分辨率方法
CN116091322B (zh) * 2023-04-12 2023-06-16 山东科技大学 超分辨率图像重建方法和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345870A (zh) * 2008-09-04 2009-01-14 上海交通大学 低码率视频超分辨率重构的编码装置和解码装置
CN101938656A (zh) * 2010-09-27 2011-01-05 上海交通大学 基于关键帧超分辨率重建的视频编解码系统
US20110206110A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100493174C (zh) * 2004-01-09 2009-05-27 松下电器产业株式会社 图像处理方法和图像处理装置
JP2009267446A (ja) * 2008-04-21 2009-11-12 Hitachi Ltd 動画像情報処理方法、及び装置
US20100135395A1 (en) * 2008-12-03 2010-06-03 Marc Paul Servais Efficient spatio-temporal video up-scaling
JP2011035450A (ja) * 2009-07-29 2011-02-17 Toshiba Corp 画像表示装置及び画像表示方法
US8867858B2 (en) * 2010-01-28 2014-10-21 Yissum Research Development Company Of The Hebrew University Of Jerusalem, Ltd. Method and system for generating an output image of increased pixel resolution from an input image
EP2615579A1 (en) 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345870A (zh) * 2008-09-04 2009-01-14 上海交通大学 低码率视频超分辨率重构的编码装置和解码装置
US20110206110A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
CN101938656A (zh) * 2010-09-27 2011-01-05 上海交通大学 基于关键帧超分辨率重建的视频编解码系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BRANDI F ET AL: "《Super resolution of video using key frames》", 《2008 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820966A (zh) * 2015-04-30 2015-08-05 河海大学 一种空时配准解卷积的非同步多视频超分辨率方法
CN104820966B (zh) * 2015-04-30 2016-01-06 河海大学 一种空时配准解卷积的非同步多视频超分辨率方法
CN110896492A (zh) * 2018-09-13 2020-03-20 传线网络科技（上海）有限公司 图像处理方法、装置及存储介质
CN110896492B (zh) * 2018-09-13 2022-01-28 阿里巴巴（中国）有限公司 图像处理方法、装置及存储介质
CN113747242A (zh) * 2021-09-06 2021-12-03 海宁奕斯伟集成电路设计有限公司 图像处理方法、装置、电子设备及存储介质
CN113747242B (zh) * 2021-09-06 2023-03-24 海宁奕斯伟集成电路设计有限公司 图像处理方法、装置、电子设备及存储介质
CN115578255A (zh) * 2022-09-22 2023-01-06 北京航空航天大学 一种基于帧间亚像素块匹配的超分辨率重建方法
CN117061826A (zh) * 2023-10-12 2023-11-14 深圳云天畅想信息科技有限公司 流媒体时空视频渲染方法、装置及计算机设备
CN117061826B (zh) * 2023-10-12 2024-02-02 深圳云天畅想信息科技有限公司 流媒体时空视频渲染方法、装置及计算机设备

Also Published As

Publication number Publication date
JP2015515179A (ja) 2015-05-21
US20150104116A1 (en) 2015-04-16
EP2823461A1 (en) 2015-01-14
KR20140135968A (ko) 2014-11-27
US9258518B2 (en) 2016-02-09
WO2013131929A1 (en) 2013-09-12
JP6085620B2 (ja) 2017-02-22

Similar Documents

Publication Publication Date Title
CN104160422A (zh) 执行超分辨率的方法和装置
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
Lin et al. Cascaded feature network for semantic segmentation of RGB-D images
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
US10896356B2 (en) Efficient CNN-based solution for video frame interpolation
CN101877143B (zh) 一种二维图像组的三维场景重建方法
CN103426148A (zh) 生成低分辨率输入数据结构的超分辨率版本的方法和设备
CN112700392A (zh) 一种视频超分辨率处理方法、设备及存储介质
Yang et al. Self-supervised learning of depth inference for multi-view stereo
JP2019523509A (ja) 暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法
CN108932725B (zh) 基于卷积神经网络的场景流估计方法
CN103856727A (zh) 一种多路实时视频拼接处理系统
CN112508794B (zh) 医疗图像超分辨率重建方法及系统
CN113538243B (zh) 基于多视差注意力模块组合的超分辨图像重建方法
CN111696033A (zh) 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
CN105931189A (zh) 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置
CN114155145A (zh) 一种基于深度展开网络的空谱同时超分辨率重建方法
US20220368829A1 (en) Image super-resolution with reference images from one or more cameras
Yeh et al. VDNet: video deinterlacing network based on coarse adaptive module and deformable recurrent residual network
Liu et al. Semantic information supplementary pyramid network for dynamic scene deblurring
Kwan et al. Practical digital terrain model extraction using image inpainting techniques
CN114730455A (zh) 似真日尺度延时生成方法和计算装置
Yan et al. Mixpred: video prediction beyond optical flow
Pucci et al. Pro-ccaps: progressively teaching colourisation to capsules
CN112529975A (zh) 图像生成的方法、装置以及计算机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141119

WD01 Invention patent application deemed withdrawn after publication