CN102037489B - 图像分辨率增强 - Google Patents

图像分辨率增强 Download PDF

Info

Publication number
CN102037489B
CN102037489B CN200980118293.0A CN200980118293A CN102037489B CN 102037489 B CN102037489 B CN 102037489B CN 200980118293 A CN200980118293 A CN 200980118293A CN 102037489 B CN102037489 B CN 102037489B
Authority
CN
China
Prior art keywords
image
resolution
pixel
group
pixel groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980118293.0A
Other languages
English (en)
Other versions
CN102037489A (zh
Inventor
C·达姆卡特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TP Vision Holding BV
Original Assignee
TP Vision Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TP Vision Holding BV filed Critical TP Vision Holding BV
Publication of CN102037489A publication Critical patent/CN102037489A/zh
Application granted granted Critical
Publication of CN102037489B publication Critical patent/CN102037489B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及图像的升尺度，例如将视频图像从标准清晰度升尺度到高清晰度。通过依赖于组合两个匹配度量的匹配度量对输入图像中的像素值加权而将输入图像升尺度为分辨率增强图像(207)。第一图像生成器(103)产生输入图像的模糊版本并且第二图像生成器(103)产生升尺度的5插值版本。通过比较模糊图像和升尺度的插值图像的像素组而产生第一度量。通过比较输入图像的像素组以及分辨率增强图像(207)的已经合成的像素值而产生第二度量。对于搜索区域中的每个位置，分辨率增强处理器(107)产生组合匹配度量并且当10产生分辨率增强图像(207)的未知像素值时使用该度量对该位置的像素值加权。

Description

图像分辨率增强
技术领域
本发明涉及图像分辨率增强，特别地但非排他性地，涉及用于视频序列的帧的分辨率增强。
背景技术
提高图像的分辨率通常称为升尺度(upscale)并且正变得越来越受关注。例如，由于各种高清晰度(HD)电视标准的出现，存在对于用于从标准清晰度(SD)图像产生HD图像的适当方法和算法的需要。例如，离线处理已经被用来从原始SD视频序列产生HD视频序列并且已经开发了能够动态地将SD视频内容实时地升尺度到HD视频内容的电视和DVD播放器等等。
这种升尺度典型地使用插值产生新的像素值，其使用例如双线性或双三次插值或者多相缩放。然而，尽管这样的方法增加了图像中的像素数量，但是它们未在图像中引入新的高频细节并且因而升尺度的图像出现模糊。为了将标准清晰度(SD)视频转换成高清晰度(HD)，需要近似200％的升尺度因子，并且对于这个以及更高的尺度因子，模糊趋向于清晰可见并且是不希望的。
为了减轻或补偿这种感知的模糊，在分辨率增强中经常使用高级非线性技术以便产生具有更详细和鲜明印象的图像。这样的方法包括例如如T.Kondo，和K.Kawaguchi的“Adaptive dynamic range encoding methodand apparatus”，美国专利5,444,487，1995年8月，以及T.Kondo等人的“Method and apparatus for adaptive filter tap selection according to aclass”，美国专利6,192,161，2001年2月中所描述的使用训练和结构分类而优化的数据相关插值滤波器，如Li和Orchard的“New edge-directedinterpolation，”IEEE Transactions on Image Processing 10：1521-1527 2001中所描述的针对边缘的插值技术。这些技术中许多技术的综述和评价可以见诸van Ouwerkerk的“Image super-resolution survey”，Image andVision Computing 24(10)：1039-1052，2006以及de M.Zhao，M.Bosma和G.de Haan的“Making the Best of Legacy Video on Modern Displays”，Journalof the Society for Information Display--January 2007 Volume 15，Issue 1，pp.49-60。
电视中使用的用于分辨率增强的方法的一个特定实例称为利用峰化的瞬态亮度改进(LTI)。LTI是一种通过在不创建过冲的情况下增大瞬态值，从而在信号中引入新的高频内容而改进边缘锐度的技术。峰化旨在增强信号中已经存在的高频分量，以便赋予图像更鲜明的印象。LTI的描述可以见诸J.Tegenbosch，P.Hofman和M.Bosma的“Improvingnonlinear up-scaling by adapting to the local edge orientation”，Proceedingsof the SPIE，Vol.5308，pp.1181-1190，Jan.2004以及美国专利US4414564A。
然而，典型地这些方法主要着眼于产生更清晰的边缘过渡，结果，它们倾向于在诸如纹理之类的细节密集区域缺乏足够的增强能力。这种纹理/细节增强的缺乏对于增大尺度因子以及尤其是对于200％以上的尺度因子可能变得更加可见。
例如Wei，L.-Y.的“Texture synthesis by fixed neighborhoodsearching”，2002以及Ashikhmin，M的“Fast Texture Transfer”；ComputerGraphics and Applications，IEEE Volume 23，Issue 4，July-Aug.2003Page(s)：38-43中提出了用于纹理合成的方法。这些文章中的第一篇公开了基本的基于实例的纹理合成的实例，这是一种旨在基于用作实例的小纹理片扩展图像区域中的纹理的技术。然而，尽管这样的方法对于通过适当的纹理覆盖一定区域是有用的，但是它们并不针对升尺度或者分辨率增强，并且针对将纹理扩展到更宽的区域，而不是提高现有纹理区域的分辨率。第二篇文献公开了称为纹理传递(或者有时称为约束纹理合成)的技术，其中合成通过额外目标图像操控。
另一种用于升尺度的方法称为基于实例的超分辨率并且记载于“Example-Based Super-Resolution”；Freeman，W.T.；Jones，T.R.；Pasztor，E.C.，Computer Graphics and Applications，IEEE，vol.22，no.2，PP.56-65，Mar/Apr 2002以及William T.Freeman and Thouis R.Jones，“One-passsuper-resolution images”，美国专利6766067 July 20，2004。
基于实例的超分辨率使用具有若干组预存储的图像的数据库，其中每组图像包括相同场景的低分辨率和高分辨率版本。要升尺度的输入图像经过逐片处理，并且对于每片，在数据库中找到最佳匹配的实例。所述匹配通过比较该片的低分辨率内容以及数据库中存储的针对实例图像的相应低分辨率片来确定。此外，可以将升尺度图像的已经合成的像素值与数据库中作为与低分辨率片相应的高分辨率图像实例而存储的像素进行比较。这通过让合成的片具有小的重叠来实现，其事实上施加了更好的空间一致性。用于最佳匹配的存储的高分辨率图像的高频分量然后用来合成高分辨率输出，从而产生改进的升尺度图像。特别地，可以从最佳匹配实例的存储的高分辨率图像拷贝像素值。
然而，尽管这种方式对于某些图像可以提供良好的结果，但是它也倾向于具有某些缺点。特别地，产生的高分辨率图像可能不具有最优的质量。例如，由于所述过程是在逐片的基础上执行的，因而输出中的空间一致性不受保证。此外，所述实例图像可能不与被处理的图像精确地对应，从而引入不一致性。再者，为了对于许多不同输入图像实现足够高的质量，有必要具有大量存储的实例图像，从而增大了资源要求、复杂性和成本。例如，存储要求以及搜索大小和时间特性可能较高。
因此，一种改进的图像分辨率增强将是有利的，特别地，一种允许灵活性增大、复杂性降低、图像质量提高、资源消耗减少和/或性能改善的系统将是有利的。
发明内容
因此，本发明寻求更可取地单独地或者以任意组合地缓解、减轻或者消除上述缺点中的一个或多个。
依照本发明的一个方面，提供了一种用于图像的分辨率增强的方法，该方法包括：接收第一分辨率的第一图像；产生第一分辨率的第二图像，作为第一图像的模糊图像；通过将第一图像升尺度到第二分辨率而产生第三图像；通过对于分辨率增强图像的多个像素组迭代以下步骤来合成第二分辨率的分辨率增强图像：选择分辨率增强图像的第一像素组；选择第三图像的与第一像素组具有第一预定空间关系的比较像素组，该比较像素组具有第二分辨率的分辨率；选择分辨率增强图像的与第一像素组具有第二空间关系的合成像素组，该合成像素组具有第二分辨率的分辨率；对于图像区域中的多个位置：选择第一位置；确定第二图像的与第一位置具有第三空间关系的第一样本像素组和比较像素组之间的第一匹配度量，第一样本像素组具有第一分辨率的分辨率；确定第一图像和第三图像中的至少一个的与第一位置具有第四空间关系的第二样本像素组和合成像素组之间的第二匹配度量，第二样本像素组具有第一分辨率的分辨率；通过组合第一匹配度量和第二匹配度量产生针对第一位置的组合匹配度量；并且响应于组合匹配度量以及第一图像和第三图像中的至少一个的源图像区域的像素值产生第一像素组的至少一个像素值。
本发明可以允许改进诸如视频序列的图像之类的图像的分辨率增强。本发明可以允许便利的和/或低复杂度的实现。在许多情况下，本发明可以提供分辨率增强图像的改进的图像质量，尤其是可以提高图像的细节水平和高频内容。
例如，本发明可以允许产生/增强纹理(例如头发、软毛、规则纹理等等)和边缘。特别地，所述方法并不限于改进边缘过渡。此外，本发明可以允许边缘增强无混叠，即该方法可以实现更清晰的边缘过渡，而不引入锯齿状图形作为锐化的一部分。
本发明可以组合和提供由基于实例的超分辨率和基于实例的纹理合成提供的一些优点和益处。特别地，该方式可以利用自相似性和尺度不变性的假设以提供改进的升尺度并且特别地产生和引入附加的细节、边缘和较高的分辨率纹理。
此外，可以在无需提供和存储实例图像的情况下实现图像分辨率增强。事实上，第二图像和/或第一图像可以用作用于合成分辨率增强图像中的像素的实例图像。
因此，该方式可以避免需要具有匹配低分辨率和高分辨率图像对的实例的数据库。此外，无需存储纹理图像实例。
所述方法在升尺度中使用了图像实例，其从被升尺度的图像本身产生。因此，该方法可以利用图像具有一定程度的自相似性并且具有尺度不变元素的假设以便在升尺度的图像中产生附加的细节。通过使用原始图像作为高分辨率图像的细节和纹理的源，通常可以实现改进的增强图像质量。此外，由于可以限制对细节的搜索，这可以充分地降低复杂度，因为可以假设在许多情形下，相关的细节位于与被合成的图像位置靠近的位置。
第二图像可以包括比第一图像更少的高频分量。第二图像特别地可以变模糊，这意味着图像数据的空间频率带宽远小于第二分辨率下可用的空间频率带宽。例如，图像数据的空间频率带宽可以小于可用带宽的70％，并且特别地可以限制为对于升尺度因子2而言仅仅可用带宽的一半。
合成像素组包括已经在一次或多次前面的迭代中合成的像素。所述第一和第二空间关系可以相同和/或可以不同。类似地，所述第三和第四空间关系可以相同和/或可以不同。空间关系可以例如规定邻近被合成的像素位置的像素区域和/或图像区域。
第一样本像素组可以包括在第一分辨率下子采样的第二图像的线性升尺度的和/或插值的样本。这可以实现等效于第二分辨率的子像素精度。特别地，第一样本像素组的像素的像素尺寸可以小于第一分辨率的像素，并且特别地可以具有与第二分辨率的像素相同的尺寸。特别地，第一样本像素组的像素可以与分辨率增强图像的像素处于相同的像素网格上。
第二样本像素组可以包括在第一分辨率下子采样的第一图像的线性升尺度的和/或插值的样本。这可以实现等效于第二分辨率的子像素精度。特别地，第二样本像素组的像素的像素尺寸可以小于第一分辨率的像素，并且特别地可以具有与第二分辨率的像素相同的尺寸。特别地，第二样本像素组的像素可以与分辨率增强图像的像素处于相同的像素网格上。
这些不同像素组和图像区域中的像素数可以静态和/或动态地确定。例如，合成像素组和/或比较像素组中的像素数可以响应于第一图像的特性而动态地确定。
依照本发明的一个可选的特征，产生至少一个像素值的步骤包括通过与多个位置关联的源图像区域的多个像素值的加权组合而产生第一像素组的像素的像素值，所述多个像素值的每个像素值的加权取决于该像素值的组合匹配度量。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。例如，可以合成没有伪像和/或噪声降低的更自然的图像。
依照本发明的一个可选的特征，产生至少一个像素值的步骤包括：选择所述多个位置的位置组，其包含组合匹配度量匹配一定准则的位置；为所述位置组的每个位置选择源像素值；并且响应于这些源像素值而产生所述至少一个像素值。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。特别地，它可以例如允许对分辨率增强图像的像素值的贡献限制为源图像中特别适当的位置的像素值。所述准则可以例如包括以下要求：组合匹配度量超过给定阈值和/或组合匹配度量必须是确定的最高匹配度量。
依照本发明的一个可选的特征，产生第二图像的步骤包括：对第一图像降尺度以便产生较低分辨率图像；并且通过将该较低分辨率图像升尺度到第一分辨率而产生第二图像。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。特别地，它可以允许高效地产生模糊图像。该方式可以允许产生这样的第二图像，该第二图像相对于第一图像与第三图像相对于分辨率增强图像具有类似的质量退化。因此，该特征可以允许基于自相似性和尺度不变性的假设特别适当地产生对于添加细节有用的实例图像。
所述升尺度特别地可以包括插值或者其他空间滤波。因此，该升尺度特别地可以是不向较低分辨率图像引入任何附加空间频率的升尺度。该升尺度可以使用用于从第一图像产生第三图像的相同算法和/或设置。
依照本发明的一个可选的特征，较低分辨率图像的分辨率和第一分辨率之间的比值与第一分辨率和第二分辨率之间的比值基本上相同。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。特别地，它可以允许图像精确地反映跨第一分辨率与第二分辨率之间的分辨率差值的自相似性和尺度不变性。
在许多实施例中，这些比值可以相同和/或可以处于彼此的10％以内。
依照本发明的一个可选的特征，提供了权利要求6。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。
依照本发明的一个可选的特征，第一图像与分辨率增强图像之间的升尺度因子为2。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。
依照本发明的一个可选的特征，第二样本像素组选自第三图像。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。特别地，它在许多情形下可以允许补偿分辨率增强图像与第一图像之间的像素边缘位置的偏移差。
依照本发明的一个可选的特征，第二样本像素组的选择包括在第一分辨率下对第三图像的区域的像素子采样。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。特别地，这可以允许分辨率增强引入附加的细节。
依照本发明的一个可选的特征，第二样本像素组的像素的像素中心在空间上相对于第一图像的像素的像素中心偏移。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。该空间偏移特别地可以小于第一分辨率下的像素宽度。该特征在许多情形下可以允许补偿分辨率增强图像与第一图像之间的像素边缘位置的偏移差。
依照本发明的一个可选的特征，所述组合匹配度量包括第一匹配度量和第二匹配度量的加权总和。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。特别地，它在许多情形下可以允许补偿分辨率增强图像与第一图像之间的像素边缘位置的偏移差。
依照本发明的一个可选的特征，所述比较像素组包含不足40个像素。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。特别地，已经发现，对于这样的小比较像素组可以实现特别高的图像质量和细节添加。
依照本发明的一个可选的特征，所述合成像素组包含不足15个像素。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。特别地，已经发现，对于这样的小合成像素组可以实现特别高的图像质量和细节添加。合成像素组中的像素数可以响应于被合成的图像纹理的周期/尺度/元素尺寸而设置。
依照本发明的一个可选的特征，确定第一匹配度量的步骤包括通过将第二图像升尺度到第二分辨率并且在第一分辨率下对像素子采样而确定第二图像的第一样本像素组。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利的实现和/或降低资源的使用。所述空间偏移特别地可以小于第一分辨率的像素宽度。该特征在许多情形下可以允许补偿分辨率增强图像与第一图像之间的像素边缘位置的偏移差。
依照本发明的一个方面，提供了一种用于图像的分辨率增强的设备，该设备包括：用于接收第一分辨率的第一图像的装置；用于产生第一分辨率的第二图像作为第一图像的模糊图像的装置；用于通过将第一图像升尺度到第二分辨率而产生第三图像的装置；以及用于通过对于分辨率增强图像的多个像素组迭代以下步骤来合成第二分辨率的分辨率增强图像的装置：选择分辨率增强图像的第一像素组；选择第三图像的与第一像素组具有第一预定空间关系的比较像素组，该比较像素组具有第二分辨率的分辨率；选择分辨率增强图像的与第一像素组具有第二空间关系的合成像素组，该合成像素组具有第二分辨率的分辨率；对于图像区域中的多个位置：选择第一位置；确定第二图像的与第一位置具有第三空间关系的第一样本像素组和比较像素组之间的第一匹配度量，第一样本像素组具有第一分辨率的分辨率；确定第一图像和第三图像中的至少一个的与第一位置具有第四空间关系的第二样本像素组和合成像素组之间的第二匹配度量，第二样本像素组具有第一分辨率的分辨率；通过组合第一匹配度量和第二匹配度量产生针对第一位置的组合匹配度量；并且响应于组合匹配度量以及第一图像和第三图像中的至少一个的源图像区域的像素值产生第一像素组的至少一个像素值。
本发明的这些和其他方面、特征和优点根据以下描述的实施例将是清楚明白的，并且将参照该(这些)实施例进行阐述。
附图说明
下面将仅通过实例参照附图描述本发明的实施例，在附图中
图1为依照本发明一些实施例的图像升尺度器的实例的图示；
图2为依照本发明一些实施例的图像处理的实例的图示；
图3为依照本发明一些实施例的图像升尺度方法的实例的图示；
图4为依照本发明一些实施例的图像升尺度方法中的合成未知像素值的实例的图示；以及
图5为依照本发明一些实施例的图像升尺度方法中的像素组匹配的实例的图示。
具体实施方式
下面的描述着眼于可应用于对视频序列的图像升尺度的本发明实施例。然而，应当理解的是，本发明并不限于该应用，而是可以应用到许多其他图像。
图1示出了依照本发明一些实施例的图像升尺度器的实例。
图像升尺度器包括接收要升尺度和增强的第一图像的接收器101。在该实例中，接收视频序列中的图像并且在该实例中，接收器101被设置成接收数字编码的视频信号(例如MPEG-2信号)并且解码该信号以便产生之后在像素域单独地处理的各图像。
应当理解的是，可以从任何适当的内部或外部源接收第一图像和视频序列。
第一图像在第一分辨率下接收，该第一分辨率在该特定实例中为标准清晰度(SD)分辨率。作为一个特定实例，图像可以是720x576像素图像，其要以尺度因子2进行上转换以便产生1440x1152像素的高清晰度(HD)图像。应当理解的是，该升尺度的图像随后可以例如通过使用线性插值例如降尺度到更广泛使用的1366x768像素的HD分辨率。
接收器101耦合到产生第二图像的第一图像生成器103，该第二图像与第一图像处于相同的分辨率下，但是为第一图像的缺乏某些高频分量的模糊版本。因此，第二图像与第一图像处于相同的分辨率下，但是通过移除第一图像的某些较高空间频率而被模糊。
因此，在第二图像中，只有频谱的较低部分被填充，即其没有填充到图像分辨率允许的水平。这典型地为(线性)升尺度(而没有全分辨率增强)之后的情况，因为图像的分辨率在没有利用前面的较低分辨率下不可用的新的高频分量(完全地)填充可用的较宽频谱的情况下增大。
结果，例如边缘过渡变得较不陡峭并且因而看起来是模糊或平滑的，即较不清晰，并且不存在图像中存在的(新)细微细节。因此，对于第二图像而言，没有完全利用第二分辨率的全分辨率。
此外，接收器101耦合到第二图像生成器105，其继续通过将第一图像升尺度到与输出分辨率增强图像的分辨率相应的第二分辨率而产生第三图像。因此，第二图像生成器105产生HD图像。第二图像生成器105使用的升尺度技术是线性升尺度技术，例如基于插值的升尺度。第三图像在第二分辨率下被感知为相对模糊，因为它没有包含比第一图像更高的空间频率。
接收器101、第一图像生成器103和第二图像生成器105耦合到分辨率增强处理器107，该处理器继续通过基于第一、第二和第三图像合成图像的像素值来产生输出分辨率增强图像。此外，像素合成附加地基于分辨率增强图像的已经合成的像素值。
因此，如图2中所示，分辨率增强处理器107在分辨率增强中使用四幅图片：
-第一图像201，其为第一(SD)分辨率的接收的原始图像。
-第二图像203，其为第一图像201的模糊版本并且处于第一(SD)分辨率下。
-第三图像205，其为第一图像201在第二(HD)分辨率下的线性升尺度的版本。
-分辨率增强图像207，其处于第二(HD)分辨率下。
图像升尺度器使用的算法使用了与基于实例的超分辨率和基于实例的纹理合成的元素类似的元素。然而，与这些现有技术方式形成对照的是，当前的方式在许多情形下允许改进图像质量。此外，该方式不使用或不需要实例图像数据库以便提供分辨率增强，而是使该增强基于图像本身。特别地，第一和第二图像201、203用作用于分辨率增强的实例图像段。
该方式寻求利用图像的图像区域的自相似性和尺度不变性的性质以产生增强的高分辨率图像。特别地，本发明人已经认识到，许多图像/场景包含大量的尺度不变元素和跨尺度的自相似性，并且这可以用来提供分辨率增强。例如，边缘是尺度不变的，在每个尺度下看起来相同并且基本上可以从低分辨率图像拷贝到高分辨率图像，许多诸如头发之类的纹理在不同的尺度下看起来是相似的，等等。当前的方式允许这种实现不仅用来产生较清晰的边缘，而且用来产生诸如额外的头发等的附加细节。
图像升尺度器的操作将在下文中参照图3-5中所示的示例性流程图加以描述。
所述方法开始于步骤301，其中第一图像201被接收器101接收。
步骤301之后是步骤303，其中第二图像生成器105继续对第一图像201升尺度以产生具有与分辨率增强图像207相等的分辨率的第三图像205。所述升尺度是线性升尺度，其产生第二分辨率的插值图像(即它是HD图像)。因此，在该实例中，第三图像205不包含任何比第一图像201中存在的空间频率更高的空间频率。然而，应当理解的是，在一些实施例中，一些非线性分辨率增强技术可以应用到第三图像205。如果这样的话，相同的非线性分辨率增强技术可以应用到第二图像203。
步骤303之后是步骤305，其中第一图像生成器103继续产生第二图像203作为第一图像201的模糊图像，但是其具有相同的分辨率。第二图像203特别地可以代表第一图像201的模糊，这相应于第三图像205相对于基本场景(即相应于第二分辨率下原始捕获的清晰图像)的理论上理想的分辨率增强图像的模糊。特别地，第二图像203的空间频率可以限制为具有相对于第一图像201的带宽的比值的低频带宽，该比值相应于第三图像205与全带宽高分辨率图像的空间频率带宽之间的比值。
作为一个特定实例，对于升尺度因子2而言，第三图像205可以仅包含为第二分辨率下可能的带宽一半的带宽内的空间频率。相应地，第二图像203可以限制为仅包含为第一分辨率下可能的带宽一半的带宽内的空间频率。
结果，第二图像203相对于第一图像201的相对模糊紧密地相应于第三图像205相对于与第一图像201相应的理论理想高分辨率图像的相对模糊。因此，在跨尺度自相似性的假设下，第一和第二图像203之间的关系可以有效地用来估计第三图像205与分辨率增强图像207之间的关系。
应当理解的是，模糊第二图像203的产生可以例如通过对第一图像201进行空间低通滤波来实现。然而，在该特定实例中，第一图像生成器103被设置成通过首先将第一图像201降尺度到较低分辨率并且然后将该图像往回升尺度到第一分辨率来产生第二图像203。
特别地，所述降尺度可以按照一定因子来进行，该因子等效于第二分辨率(即第三图像205和分辨率增强图像207的分辨率)与第一分辨率(即第一和第二图像201、203的分辨率)之间的比值。这可以允许第一和第二图像对201、203更好地反映第三和分辨率增强图像对205、207之间的相关性。
在许多实施例中，第一图像201与降尺度的低分辨率图像之间的尺度因子被选择成等于分辨率增强图像207与第一图像201之间的尺度因子。在该特定实例中，按照因子2来降尺度被应用以得到具有360x 288像素的分辨率的降尺度图像。
所述降尺度特别地可以是通过应用空间抗混叠低通滤波器、移除高频分量、之后进行因子为2的向下采样而实现的线性降尺度。
然后，使用线性升尺度算法按照相同的尺度因子对降尺度的图像升尺度。特别地，可以使用用来将第一图像201升尺度为第三图像205的相同升尺度算法。
因此，在第二图像203中，只有频谱的较低部分被填充，即它没有填充到第一分辨率允许的水平。这典型地为(线性)升尺度(而没有全分辨率增强)之后的情况，因为图像的分辨率在没有利用前面的较低分辨率下不可用的新的高频分量(完全地)填充可用的较宽频谱的情况下增大。
结果，例如边缘过渡变得较不陡峭并且因而看起来是模糊或平滑的，即较不清晰，并且不存在图像中存在的(新)细微细节。因此，对于第二图像203而言，没有完全利用第二分辨率的全分辨率。
然后，所述方法继续产生分辨率增强图像207。该方法使用基于序列像素的方式，其中一次合成一组像素，该方法迭代该合成，直到产生整个分辨率增强图像207。此外，像素组的合成包括考虑已经在前面的迭代中合成的像素。
在该特定实例中，一次合成分辨率增强图像207的一个像素，但是应当理解的是，在其他实施例中，可以一起合成包含两个或更多像素的像素组。
这样，步骤305之后是步骤307，其中分辨率增强图像207的下一个像素被选择和合成。步骤307之后是步骤309，其中评估是否已经合成了分辨率增强图像207的所有像素。如果是这样的话，那么方法在步骤311中停止，否则，方法回到步骤307以处理下一个像素。
图4示出了分辨率增强处理器107用来合成像素值的方法。图4特别地示出了当已经合成一定数量的像素，从而允许在合成当前像素中使用这些像素时由分辨率增强处理器107使用的方法。然而，应当理解的是，可以使用在不利用任何已经合成的像素启动该方法的任何适当的方法和方式。例如，可以简单地从第一图像201、第三图像拷贝初始像素组或者将其设置为零值。
图4的方法将参照图2以及所示未知像素209的合成来描述。该方法特别地继续逐行且从左到右地(即以光栅扫描顺序)合成像素。因此，当合成未知像素209时，已经合成了分辨率增强图像207中该未知像素209之上和左边的所有像素。
图4的方法继续针对当前像素在第一图像201和第二(模糊)图像203中搜索适当的匹配。特别地，该方法搜索分辨率增强图像207中的相邻合成像素与第一图像201中的相应像素组之间的匹配，并且搜索第三图像205中的相邻像素与第二图像203中的相应像素组之间的匹配。这些匹配针对两幅图像201、203中的相应位置而确定，并且组合成组合匹配度量。因此，利用包含来自两幅清晰图片(已经合成的分辨率增强图像207与第一图像201)之间以及两幅模糊图像(第二和第三图像203、205)之间的比较的分量的匹配度量执行搜索。
此外，所述匹配跨第一和第二分辨率之间的分辨率边界而执行。特别地，通过假设自相似性和尺度不变性，直接将不同分辨率下的像素组相互比较，并且用来产生较高图像中的附加细节。例如，对于升尺度因子2而言，发现在第三图像205的像素组的图案或像素变化与第二图像203的像素组的匹配的情况下，即在其事实上具有两倍高的相应空间频率的情况下，出现模糊的第二和第三图像203、205之间的匹配。
图4的方法在步骤401启动，其中选择下一个未知(尚未合成的)像素209。如前所述，下一个像素被选择为紧邻分辨率增强图像207中前一个合成像素的右边的像素。
步骤401之后是步骤403，其中选择第三图像205的比较像素组211。比较像素组211被选择为这样的像素组，其包含与合成像素209具有第一预定空间关系的像素。在该特定实例中，比较像素组211简单地被选择为第三图像205的处于未知像素209的给定半径内的像素。
例如，比较像素组211可以包含离开合成像素的位置1个像素或更少的所有像素。因此，在该特定实例中，这将得到与包含9个像素的正方形图像区域(包括第三图像205的与未知像素209具有相同位置的像素)相应的比较像素组211。应当理解的是，在其他实施例中，可以使用其他像素组尺寸。例如，在许多实施例中，对于1-6个像素的半径发现了有利的性能。例如，相应于像素组中的24个像素的像素半径3通常提供高性能。
应当理解的是，可以使用用于比较像素组211的任何适当的像素选择并且该像素组不一定需要与邻近图像区域相应。此外，应当理解的是，其他数量的以及特别是更大数量的像素可以包含在比较像素组211中。然而，已经发现，对于许多图像而言，通过保持像素数量相对较低实现了特别良好的分辨率增强。对于包含少于40个像素的比较像素组已经发现了特别有利的性能。产生的比较像素组211之后用来搜索第二图像203中的匹配，如后面将要更详细地描述的。
步骤403之后是步骤405，其中选择分辨率增强图像207的合成像素组213。合成像素组213被选择为分辨率增强图像207的与合成像素209具有第二预定空间关系的已经合成的像素组。在该特定实例中，比较像素组211简单地选择为分辨率增强图像207的已经被合成并且处于未知像素209的给定半径内的像素。
例如，合成像素组213可以包含与未知像素209邻近的所有合成像素。因此，在该特定实例中，这将导致与包含4个像素的L形区域相应的L形合成像素组213。产生的合成像素组213之后用来搜索第一图像201(或第三图像205)中的匹配，如后面将要更详细地描述的。
应当理解的是，可以使用用于合成的像素组213的任何适当的像素选择，并且该像素组不一定需要与邻近图像区域相应。此外，应当理解的是，其他数量的以及特别是更大数量的像素可以包含在合成像素组213中。然而，已经发现，对于许多图像而言，通过保持像素数量相对较低实现了特别良好的分辨率增强。对于包含少于15个像素的合成像素组已经发现了特别有利的性能。
比较像素组211和合成像素组213处于第三图像205和分辨率增强图像207的第二分辨率下。因此，比较像素组211和合成像素组213都处于输出图像的高分辨率下。该方法继续将这些高分辨率像素组与第一和第二图像201、203中的相应像素组匹配。然而，这些像素组处于第一分辨率下并且因而执行跨分辨率间隙的匹配。
特别地，该方法继续搜索包含一定数量的位置的图像区域。对于每个位置，计算组合匹配度量，其考虑了该位置处对于比较像素组211和合成像素组213的匹配。
特别地，步骤405之后是步骤407，其中选择适当的搜索图像区域215。搜索图像区域215可以例如选择为第一分辨率下包含20x 20像素(相应于第二分辨率下40x 40像素)的正方形图像区域。应当理解的是，在其他实施例中，可以使用其他搜索图像区域，并且特别地可以使用更大的搜索图像区域(或者事实上整个图像)。然而，已经发现，对于第一分辨率下625个或者更少像素的图像区域，经常可以实现特别有利的性能。事实上，这样的相对较小的搜索图像区域不仅可以降低复杂度和资源要求，而且在许多情形下可以提高识别相同图像对象内(例如相同纹理内)的适当匹配的概率。因此，它可以降低当产生未知像素209的像素值时考虑不与相同可视对象有关的图像区域内的虚假匹配的概率。
该方法继续顺序地评估搜索图像区域215中的每个位置以便确定匹配度量。特别地，该方法在步骤409继续，其中对于搜索图像区域215的下一个位置确定组合匹配度量。
然后，该方法在步骤411中继续，其中评估当前位置是否是搜索图像区域215中的最后位置(即评估了所有位置)。如果是这样的话，该方法在步骤413中继续，其中确定合成像素的像素值。否则，该方法返回到步骤409，其中确定针对下一个位置的匹配度量。
图5更详细地示出了步骤409的处理。
该过程在步骤501中开始，其中针对当前位置确定第二图像203的第一样本像素组217。在该特定实例中，第一样本像素组217被设置为与第三图像205中的比较像素组211直接相应的像素组。因此，在该特定实例中，第一样本像素组217与第二图像203中的9像素正方形相应。然而，由于第二图像203处于第一分辨率下，而第三图像205处于第二分辨率下，因而跨这些分辨率执行匹配。然而，在图像区域的自相似性假设下，该比较与纹理的不同尺度之间的比较相应，从而允许在第二分辨率下产生更多细节的纹理。这可以通过从第一图像201拷贝和重复清晰纹理元素来实现。类似地，尺度不变性的假设允许从第一图像201拷贝边缘，因为边缘在每个尺度下看起来相同。
在该实例中，可以使用相同的空间关系，即第一样本像素组217可以选择为包围当前位置的9个像素。
步骤501之后是步骤503，其中对于第一样本像素组217和比较像素组211计算第一匹配度量。应当理解的是，任何适当的匹配度量和距离准则都可以用来确定所述匹配度量。例如，可以产生9个像素对的倒数平均平方像素值差值。
因此，第一匹配度量表示两幅模糊图像中相应位置的像素组在多大程度上彼此匹配。由于第三图像205与理论理想分辨率增强图像的模糊版本相应，因此第三图像205的像素与第二图像203的像素之间的强匹配表示第一图像201在该位置匹配理论理想分辨率增强图像。此外，由于两幅图像同等地模糊，因而尺度不变性假设导致这很可能反映第一图像201的相应像素是未知像素值的精确反映。因此，如果模糊图像203、205跨分辨率间隙匹配，那么很可能在分辨率间隙之间在第一图像201与理论理想分辨率增强图像之间也存在强匹配。
步骤503之后是步骤505，其中针对当前位置确定第一图像201的第二样本像素组219。在该特定实例中，第二样本像素组219被设置为直接与分辨率增强图像207中的合成像素组213相应的像素组。因此，在该特定实例中，第二样本像素组219与包含4个像素(当前位置之上和左边的4个像素)的L形相应。然而，由于第一图像201处于第一分辨率下，而分辨率增强图像207处于第二分辨率下，因而跨这些分辨率执行匹配。然而，在图像区域的尺度不变性假设下，该比较与纹理的不同尺度之间的比较相应，从而允许在第二分辨率下产生更多细节的纹理。
步骤505之后是步骤507，其中对于第二样本像素组219和合成像素组213计算第二匹配度量。应当理解的是，任何适当的匹配度量和距离准则都可以用来确定所述匹配度量。例如，可以产生9个像素对的倒数平均平方像素值差值。
因此，第二匹配度量表示两幅清晰图像207、201中相应位置的像素组在多大程度上彼此匹配。由于假设分辨率增强图像207与理论理想分辨率增强图像的估计版本相应，因此该图像的像素与第一图像201的像素之间的强匹配表示第一图像201在该位置匹配理论理想分辨率增强图像。此外，由于两幅图像同等地清晰，因而尺度不变性假设导致这很可能反映第一图像201的相应像素是未知像素209的精确反映。
此外，由于合成像素组213选自输出图像中已经合成的值，因而所述匹配确保了在分辨率增强图像207中合成的像素之间的空间一致性，特别是从第一图像201施加邻近像素之间的约束。此外，这允许通过重复纹理元素/周期而实现纹理(再)合成。
步骤507之后是步骤509，其中针对当前位置通过组合第一匹配度量和第二匹配度量而计算组合匹配度量。特别地，该组合匹配度量可以产生为第一匹配度量和第二匹配度量的加权总和，权重分别反映清晰图像与模糊图像之间的匹配的相对重要性。
特别地，组合匹配度量w(i，j)可以确定为：
w ( i , j ) = exp ( - ( w N · d ( v ( N i , IHR ) , v ( N j , ILR ) ) + w L · d ( v ( L i , HR ) , v ( L j , LR ) ) ) 2 f · σ 2 ( i ) )
其中i代表未知像素209的位置，j为搜索图像区域215中的当前位置，d(·，·)为差值度量(例如绝对平均差值(MAD))，Ni，IHR代表比较像素组211，Nj，ILR代表第一样本像素组217，Li，HR代表合成像素组213，Lj，LR代表第二样本像素组219。wN和wL为可以调节以改变所述两个不同匹配的相对影响。作为一个特定实例，这些值可以分别设置为1和0.75。此外，f为控制平均的模糊度并且可以例如设置为0.2的设计参数。
σ(i)为使相似性函数适于局部对比度的补偿因子，其例如由下式给出：
σ ( i ) = min j ′ ∈ S i ( w N d ( v ( N i , IHR ) , v ( N j ′ , ILR ) ) + w L d ( v ( L i , HR ) , v ( L j ′ , LR ) ) )
其中Si为图像搜索区域。
权重wN和wL和可以用来平衡组合匹配度量中模糊和清晰图像匹配的影响。增大清晰图像的匹配提供空间一致性的更强烈的实施。由于该空间一致性跨分辨率施加，因而它实施在分辨率增强图像207中具有与原始第一图像201中相同的像素周期的周期纹理的合成，即它简单地加倍纹理中纹理周期的数量。这允许纹理的再合成，例如更多头发的生成。
因此，对于搜索图像区域215的每个位置，产生组合匹配度量，其反映跨尺度的清晰和模糊图像的匹配。其优点在于，可以应用基于实例的超分辨率和纹理合成。使用模糊匹配，可以在不同尺度下在清晰的第一图像201中发现被合成的清晰等效结构(例如给定模糊边缘，发现清晰边缘)并且其可以约束纹理合成，即清晰分辨率增强图像207中的合成纹理类似模糊的、升尺度的第三图像205。同时，清晰匹配通过重复纹理元素而施加分辨率增强图像207的空间一致性并且允许各种不同纹理的(再)合成，因为局部空间关系跨尺度被维持。
在针对搜索图像区域215的不同位置生成组合匹配度量之后，所述方法在步骤413中继续，其中响应于组合匹配度量以及第一图像201的源图像区域的相应像素值而产生针对未知像素209的像素值。在该特定实例中，源图像区域与搜索图像区域215相同，但是应当理解的是，在其他实施例中，可以使用其他源图像区域。例如，可以基于组合匹配度量选择更小的区域。
作为一个特定实例，分辨率增强处理器107可以简单地选择搜索图像区域215中具有最高组合匹配度量的位置并且然后继续将未知像素值设置为该位置的像素值。
然而，在图2的特定实例中，未知像素值通过组合源/搜索图像区域215中的多个像素值的像素值而产生。特别地，可以执行多个像素值的加权组合，其中每个像素值的加权取决于该像素值的组合匹配度量。这样的平均可以降低分辨率增强图像207中的伪像并且可以得到看起来更自然或柔和的图像。此外，平均可以降低噪声，因为从不同的位置对相似的结构进行平均并且从而降低了不相关的噪声。
作为一个特定实例，搜索区域中的所有像素值可以与上面给定的特定权重w(i，j)来组合。因此，未知像素值可以产生为：
v HR ( i ) = Σ j ∈ S i w ( i , j ) v LR ( j ) Σ j ∈ S i w ( i , j )
在一些实施例中，分辨率增强处理器107可以被设置成首先选择具有满足给定准则的组合匹配度量的一组位置。例如，在产生未知像素值时，可以丢弃组合匹配度量低于给定值的所有位置而仅包含组合匹配度量高于阈值的位置。
例如，未知像素值可以通过仅包含满足上述加权总和中的准则的位置的源像素值而产生。
应当理解的是，包含在不同像素组中的像素数在不同实施例和情形中可以是不同的。例如，用于与第一图像201比较的合成像素组213的尺寸可以被选择成使得它反映被合成的纹理的特性和性质。典型地，合成像素组可以被选择成包括1-6个(或者甚至更多)像素的半径内的像素，从而提供足够的纹理细节和空间一致性。应当理解的是，这些像素组的尺寸可以静态地确定，但是在一些实施例中也可以响应于第一图像的特性而动态地选择。例如，可以通过分析第一图像的图像区域中指示纹理元素的纹理周期和尺寸的像素图案估计纹理性质，并且可以相应地设置合成像素组213的尺寸。例如，对于细微的纹理和边缘，可以设置较低的半径。
在前面描述的实例中，合成像素组213直接与第一图像201匹配。然而，在一些实施例中，当产生第二匹配度量时，合成像素组213可以与第三图像205匹配。然而，在这些情况下，仍然在第二分辨率下的合成像素组213与处于第一分辨率下的第二样本像素组219之间执行匹配。因此，合成像素组213和第二样本像素组219仍然覆盖了图像代表的场景的不同尺寸的可视区域。
特别地，分辨率增强处理器107可以继续对第三图像205子采样以便产生第二样本像素组219。例如，为了产生4个像素的L形组，分辨率增强处理器107可以继续选择第三图像205的在未知像素左边两个像素的像素、其上面两个像素的像素、未知像素209上面两个像素的像素以及其右边两个像素的像素。
特别地，选择第二样本像素组219作为第三图像205的向下采样的像素组可以允许补偿分辨率增强图像207中未知像素的像素位置与第一图像201的像素边缘之间的像素边缘偏移。特别地，由于第一和第二图像位于比第三图像205和分辨率增强图像207更粗糙的网格上，因而匹配过程的精度可能降低，因为第一和第二图像位置中像素的像素中心将不会与高分辨率下像素的像素中心相同。这在一些情形下可能引入可见的伪像。
相应地，第一和/或第二图像201、203可以升尺度到第二分辨率(使用升尺度算法，特别地使用线性插值)。所述匹配现在可以利用具有与分辨率增强图像207的像素相同的尺寸以及因而相同边缘和中心的更小的像素来执行。然而，所述匹配仍然利用第一分辨率的第一样本像素组217和第二样本像素组219来执行。因此，当选择第一样本像素组217和第二样本像素组219、且被选样本具有与未知像素209的被选位置相应的边缘和中心时执行子采样。因此，在一些实施例中，第一样本像素组217和第二样本像素组219可以包括第二分辨率的升尺度的像素，但是其在第一分辨率下被子采样。因此，在该实例中，第一样本像素组217和第二样本像素组219也将处于第一分辨率。
应当理解的是，当产生未知像素值时，可以应用相同的原理。例如，胜过在第一图像201中选择用于组合的像素值的是，这些像素值可以在第三图像205中被选择成与插值像素位置相应。
因此，所描述的系统可以提供改进的分辨率增强。特别地，所提供的系统可以提供全面的增强，增强纹理以及边缘和其他细节，而不像大多数现有技术方法一样仅仅提供边缘增强。此外，这通过综合解决方案来实现，其组合了基于实例的超分辨率和约束纹理合成的元素，同时通过利用输入图像的元素的自相似性和尺度不变性而保持资源为低。
应当理解的是，上面的说明出于清楚的原因参照不同功能单元和处理器描述了本发明的实施例。然而，应当清楚的是，可以使用不同功能单元或处理器之间的任何适当的功能分布而不减损本发明。例如，被示出由单独的处理器或控制器执行的功能可以由相同的处理器或控制器执行。因此，对于特定功能单元的引用应当仅仅视作对于用于提供所描述的功能的适当装置的引用，而不是表示严格的逻辑或物理结构或组织。
本发明可以以任何适当的形式实现，包括硬件、软件、固件或者这些的任意组合。可选地，本发明可以至少部分地实现为运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。本发明的实施例的元件和部件可以在物理上、功能上和逻辑上以任何适当的方式实现。事实上，所述功能可以在单个单元中、在多个单元中或者作为其他功能单元的一部分而实现。同样地，本发明可以在单个单元中实现，或者可以在物理上和功能上分布在不同单元和处理器之间。
尽管已经结合一些实施例描述了本发明，但是本发明并不预期限于本文阐述的特定形式。相反地，本发明的范围仅由所附权利要求书限制。此外，虽然特征可能看起来结合特定实施例而被描述，但是本领域技术人员应当认识到，依照本发明可以组合所描述的实施例的各种特征。在权利要求书中，措词包括/包含并没有排除其他元件或步骤的存在。
此外，尽管单独地被列出，但是多个装置、元件或方法步骤可以由例如单个单元或处理器实现。此外，尽管单独的特征可以包含于不同的权利要求中，但是这些特征可以可能地有利地加以组合，并且包含于不同的权利要求中并不意味着特征的组合不可行和/或不是有利的。此外，特征包含于一种权利要求类别中并不意味着限于该类别，而是表示该特征同样可适当地应用于其他权利要求类别。此外，权利要求中特征的顺序并不意味着其中特征必须以任何特定顺序起作用，并且特别地，方法权利要求中各步骤的顺序并不意味着这些步骤必须按照该顺序来执行。相反地，这些步骤可以以任何适当的顺序执行。此外，单数引用并没有排除复数。因此，对于“一”、“一个”、“第一”、“第二”等等的引用并没有排除复数。权利要求中的附图标记仅仅作为澄清的实例而被提供，不应当以任何方式被视为限制了权利要求的范围。

Claims (14)

1.一种用于图像的分辨率增强的方法，该方法包括：
接收(301)第一分辨率的第一图像(201)；
产生(303)第一分辨率的第二图像(203)，作为第一图像(201)的模糊图像；
通过将第一图像(201)升尺度到第二分辨率而产生(305)第三图像(205)；
通过对于分辨率增强图像(207)的多个像素组迭代以下步骤来合成(307)第二分辨率的分辨率增强图像(207)：
-选择(401)分辨率增强图像(207)的第一像素组(209)；
-选择(403)第三图像(205)的与第一像素组(209)具有第一预定空间关系的比较像素组(211)，该比较像素组(211)具有第二分辨率的分辨率；
-选择(405)分辨率增强图像(207)的与第一像素组(209)具有第二空间关系的合成像素组(213)，该合成像素组(213)具有第二分辨率的分辨率；
对于第一图像(201)和第二图像(203)内的图像区域(215)中的多个位置：
选择第一位置；
确定(501，503)第二图像(203)的与第一位置具有第三空间关系的第一样本像素组(217)和比较像素组(211)之间的第一匹配度量，第一样本像素组(217)具有第一分辨率的分辨率；
确定(505，507)第一图像(201)和第三图像(205)中的至少一个的与第一位置具有第四空间关系的第二样本像素组(219)和合成像素组(213)之间的第二匹配度量，第二样本像素组(219)具有第一分辨率的分辨率；
通过组合第一匹配度量和第二匹配度量产生(509)针对第一位置的组合匹配度量；并且
响应于组合匹配度量以及第一图像(201)和第三图像(205)中的至少一个的图像区域(215)的像素值产生(413)第一像素组(209)的至少一个像素值。
2.权利要求1的方法，其中产生第一像素组(209)的至少一个像素值的步骤包括通过与多个位置关联的图像区域(215)的多个像素值的加权组合而产生第一像素组(209)的像素的像素值，所述多个像素值的每个像素值的加权取决于该像素值的组合匹配度量。
3.权利要求1的方法，其中产生(413)第一像素组(209)的至少一个像素值的步骤包括：
选择所述多个位置的位置组，其包含组合匹配度量匹配一定准则的位置；
为所述位置组的每个位置选择源像素值；并且
响应于这些源像素值而产生所述至少一个像素值。
4.权利要求1的方法，其中产生(303)第二图像(203)的步骤包括：
对第一图像(201)降尺度以便产生较低分辨率图像；并且
通过将该较低分辨率图像升尺度到第一分辨率而产生第二图像(203)。
5.权利要求4的方法，其中较低分辨率图像的分辨率和第一分辨率之间的比值与第一分辨率和第二分辨率之间的比值相同。
6.权利要求1的方法，其中第一图像(201)与分辨率增强图像(207)之间的升尺度因子为2。
7.权利要求1的方法，其中第二样本像素组选自第一图像(201)和第三图像(205)中的至少一个。
8.权利要求7的方法，其中第二样本像素组(219)的选择包括在第一分辨率下对第三图像(205)的区域的像素子采样。
9.权利要求7的方法，其中第二样本像素组(219)的像素的像素中心在空间上相对于第一图像(201)的像素的像素中心偏移。
10.权利要求1的方法，其中产生(509)所述组合匹配度量的步骤包括第一匹配度量和第二匹配度量的加权总和。
11.权利要求1的方法，其中所述比较像素组(211)包含不足40个像素。
12.权利要求1的方法，其中所述合成像素组(213)包含不足15个像素。
13.权利要水1的方法，其中确定(501，503)第一匹配度量的步骤包括通过将第二图像(203)升尺度到第二分辨率并且在第一分辨率下对像素子采样来确定第二图像(203)的第一样本像素组(217)。
14.一种用于图像的分辨率增强的设备，该设备包括：
用于接收第一分辨率的第一图像(201)的装置(101)；
用于产生第一分辨率的第二图像(203)作为第一图像(201)的模糊图像的装置(103)；
用于通过将第一图像(201)升尺度到第二分辨率而产生第三图像(205)的装置(105)；以及
用于通过对于分辨率增强图像(207)的多个像素组迭代以下步骤来合成第二分辨率的分辨率增强图像(207)的装置(107)：
-选择(401)分辨率增强图像(207)的第一像素组(209)；
-选择(403)第三图像(205)的与第一像素组(209)具有第一预定空间关系的比较像素组(211)，该比较像素组(211)具有第二分辨率的分辨率；
-选择(405)分辨率增强图像(207)的与第一像素组(209)具有第二空间关系的合成像素组(213)，该合成像素组(213)具有第二分辨率的分辨率；
对于第一图像(201)和第二图像(203)内的图像区域(215)中的多个位置：
选择第一位置；
确定(501，503)第二图像(203)的与第一位置具有第三空间关系的第一样本像素组(217)和比较像素组(211)之间的第一匹配度量，第一样本像素组(217)具有第一分辨率的分辨率；
确定(505，507)第一图像(201)和第三图像(205)中的至少一个的与第一位置具有第四空间关系的第二样本像素组(219)和合成像素组(213)之间的第二匹配度量，第二样本像素组(219)具有第一分辨率的分辨率；
通过组合第一匹配度量和第二匹配度量产生(509)针对第一位置的组合匹配度量；并且
响应于组合匹配度量以及第一图像(201)和第三图像(205)中的至少一个的图像区域(215)的像素值产生第一像素组(209)的至少一个像素值。
CN200980118293.0A 2008-05-21 2009-05-14 图像分辨率增强 Expired - Fee Related CN102037489B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08156628 2008-05-21
EP08156628.3 2008-05-21
PCT/IB2009/051999 WO2009141770A1 (en) 2008-05-21 2009-05-14 Image resolution enhancement

Publications (2)

Publication Number Publication Date
CN102037489A CN102037489A (zh) 2011-04-27
CN102037489B true CN102037489B (zh) 2013-08-21

Family

ID=41180933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980118293.0A Expired - Fee Related CN102037489B (zh) 2008-05-21 2009-05-14 图像分辨率增强

Country Status (5)

Country Link
US (1) US8538201B2 (zh)
EP (1) EP2291822A1 (zh)
JP (1) JP5450600B2 (zh)
CN (1) CN102037489B (zh)
WO (1) WO2009141770A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8310592B2 (en) * 2008-10-10 2012-11-13 Panasonic Corporation Signal processing apparatus, signal processing method, and program for signal processing
JP5337250B2 (ja) * 2009-09-04 2013-11-06 株式会社東芝 画像処理装置及びその方法
WO2011097013A1 (en) * 2010-02-02 2011-08-11 Thomson Licensing Methods and apparatus for reducing vector quantization error through patch shifting
WO2011111819A1 (ja) * 2010-03-12 2011-09-15 国立大学法人名古屋工業大学 画像処理装置、画像処理プログラム、および、画像を生成する方法
WO2011158419A1 (ja) * 2010-06-18 2011-12-22 パナソニック株式会社 解像度判定装置、画像処理装置、及び画像表示装置
JP5654867B2 (ja) * 2010-12-27 2015-01-14 パナソニックＩｐマネジメント株式会社 映像信号処理装置及び映像信号処理方法
JP2012244395A (ja) * 2011-05-19 2012-12-10 Sony Corp 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP2013021635A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
US9208610B2 (en) * 2011-07-29 2015-12-08 Pixar Alternate scene representations for optimizing rendering of computer graphics
US8483516B2 (en) * 2011-08-16 2013-07-09 National Taiwan University Super resolution system and method with database-free texture synthesis
TWI470580B (zh) * 2011-09-01 2015-01-21 Univ Nat Taiwan 無資料庫之紋理合成的超解析度系統及方法
EP2805521B1 (en) * 2012-01-19 2018-12-26 Hewlett-Packard Development Company, L.P. Right sizing enhanced content to generate optimized source content
US8675999B1 (en) * 2012-09-28 2014-03-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system, and method for multi-patch based super-resolution from an image
CN103914807B (zh) * 2012-12-31 2017-05-03 北京大学 一种缩放尺度补偿的非局部性图像超分辨率方法及系统
KR102080859B1 (ko) 2013-04-08 2020-02-24 삼성전자주식회사 이미지 프로세서 및 이미지 프로세서의 이미지 처리 방법
US9123138B2 (en) * 2013-06-18 2015-09-01 Adobe Systems Incorporated Adaptive patch-based image upscaling
US9984440B2 (en) 2013-06-18 2018-05-29 Adobe Systems Incorporated Iterative patch-based image upscaling
US10147350B2 (en) * 2013-07-26 2018-12-04 Darwin Hu Method and apparatus for increasing perceived display resolutions from an input image
NL2013417A (en) 2013-10-02 2015-04-07 Asml Netherlands Bv Methods & apparatus for obtaining diagnostic information relating to an industrial process.
KR102158390B1 (ko) * 2013-10-22 2020-09-22 삼성전자주식회사 영상 처리 방법 및 장치
CN103632359B (zh) * 2013-12-13 2016-03-30 清华大学深圳研究生院 一种视频超分辨率处理方法
CN103700062B (zh) * 2013-12-18 2017-06-06 华为技术有限公司 图像处理方法和装置
KR102194635B1 (ko) 2014-01-29 2020-12-23 삼성전자주식회사 디스플레이 컨트롤러 및 이를 포함하는 디스플레이 시스템
US10026010B2 (en) 2014-05-14 2018-07-17 At&T Intellectual Property I, L.P. Image quality estimation using a reference image portion
US9478007B2 (en) 2015-01-21 2016-10-25 Samsung Electronics Co., Ltd. Stable video super-resolution by edge strength optimization
US9767533B2 (en) * 2015-02-16 2017-09-19 Adobe Systems Incorporated Image resolution enhancement based on data from related images
JP6961139B2 (ja) * 2015-07-24 2021-11-05 エーテーハー チューリッヒ 知覚的な縮小方法を用いて画像を縮小するための画像処理システム
US10880566B2 (en) * 2015-08-28 2020-12-29 Boe Technology Group Co., Ltd. Method and device for image encoding and image decoding
US11089280B2 (en) * 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
EP3610453B1 (en) * 2017-05-16 2023-05-10 Apple Inc. Synthetic long exposure image with optional enhancement using a guide image
US10546521B2 (en) * 2017-05-16 2020-01-28 Darwin Hu Resolutions by modulating both amplitude and phase in spatial light modulators
US10306139B2 (en) * 2017-05-16 2019-05-28 Apple Inc. Target image quality enhancement using a guide image
CN107563978A (zh) * 2017-08-31 2018-01-09 苏州科达科技股份有限公司 人脸去模糊方法及装置
GB201800811D0 (en) * 2018-01-18 2018-03-07 Univ Oxford Innovation Ltd Localising a vehicle
KR20210112042A (ko) * 2020-03-04 2021-09-14 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US11288771B2 (en) * 2020-04-29 2022-03-29 Adobe Inc. Texture hallucination for large-scale image super-resolution
CN111696041B (zh) * 2020-06-04 2023-06-30 北京字节跳动网络技术有限公司 图像处理方法、装置及电子设备
CN115358927B (zh) * 2022-08-22 2023-12-26 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法
CN118314054B (zh) * 2024-06-11 2024-09-20 国家林业和草原局林草调查规划院 基于林草湿地图斑的图像增强方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4414564A (en) * 1981-12-28 1983-11-08 Magnavox Consumer Electronics Company Nonlinear edge peaking system and method
JP3106749B2 (ja) * 1992-12-10 2000-11-06 ソニー株式会社 適応型ダイナミックレンジ符号化装置
JP3753197B2 (ja) * 1996-03-28 2006-03-08 富士写真フイルム株式会社 画像データの補間演算方法およびその方法を実施する装置
US6192161B1 (en) * 1999-02-12 2001-02-20 Sony Corporation Method and apparatus for adaptive filter tap selection according to a class
GB2349460B (en) * 1999-04-29 2002-11-27 Mitsubishi Electric Inf Tech Method of representing colour images
GB9929364D0 (en) * 1999-12-10 2000-02-02 Microbar Security Limited Improvements in or relating to coding techniques
US6717622B2 (en) * 2001-03-30 2004-04-06 Koninklijke Philips Electronics N.V. System and method for scalable resolution enhancement of a video image
US6766067B2 (en) 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US7113223B2 (en) * 2001-04-20 2006-09-26 Mti Film Llc High resolution color conforming
WO2003047234A2 (en) * 2001-11-30 2003-06-05 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for providing multi-sensor super-resolution
US7729563B2 (en) * 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US7218796B2 (en) * 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
JP4547869B2 (ja) * 2003-05-06 2010-09-22 ソニー株式会社 画像処理方法、および画像処理装置
JP4686388B2 (ja) * 2006-03-20 2011-05-25 株式会社東芝 画像拡大装置及び画像拡大方法
JP4116649B2 (ja) * 2006-05-22 2008-07-09 株式会社東芝 高解像度化装置および方法
JP4818053B2 (ja) * 2006-10-10 2011-11-16 株式会社東芝 高解像度化装置および方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
Hong Chang et al..Super-Resolution Through Neighbor Embedding.《Computer Vision and Pattern Recognition,2004.CVPR 2004.Proceedings of the 2004 IEEE Computer Society Conference on》.2004,第1卷全文.
Image Hallucination with Primal Sketch Priors;jian Sun et al.;《Computer Vision and Pattern Recognition,2003.Proceedings.2003 IEEE Computer Society Conference on》;20030620;第2卷;全文 *
jian Sun et al..Image Hallucination with Primal Sketch Priors.《Computer Vision and Pattern Recognition,2003.Proceedings.2003 IEEE Computer Society Conference on》.2003,第2卷全文.
JP特开2008-98803A 2008.04.24
MICHAL IRANI et al..Improving Resolution by Image Registration.《CVGIP：GRAPHICAL MODELS AND IMAGE PROCESSION》.1991,第53卷(第3期),全文. *
Patch Based Blind Image Super Resolution;Qiang Wang et al.;《Computer Vision,2005.ICCV 2005.Tenth IEEE International Conference on》;20051021;第1卷;全文 *
Qiang Wang et al..Patch Based Blind Image Super Resolution.《Computer Vision,2005.ICCV 2005.Tenth IEEE International Conference on》.2005,第1卷全文.
Super-Resolution Through Neighbor Embedding;Hong Chang et al.;《Computer Vision and Pattern Recognition,2004.CVPR 2004.Proceedings of the 2004 IEEE Computer Society Conference on》;20040702;第1卷;全文 *
基于小波变换的全向图像分辨率增强方法;彭启民 等;《电子学报》;20041130;第32卷(第11期);全文 *
彭启民 等.基于小波变换的全向图像分辨率增强方法.《电子学报》.2004,第32卷(第11期),全文.

Also Published As

Publication number Publication date
JP2011523275A (ja) 2011-08-04
CN102037489A (zh) 2011-04-27
WO2009141770A1 (en) 2009-11-26
EP2291822A1 (en) 2011-03-09
JP5450600B2 (ja) 2014-03-26
US20110081094A1 (en) 2011-04-07
US8538201B2 (en) 2013-09-17

Similar Documents

Publication Publication Date Title
CN102037489B (zh) 图像分辨率增强
US9547887B2 (en) Visual-experience-optimized super-resolution frame generator
US8989519B2 (en) Super resolution from a single signal
Chan et al. Neighbor embedding based super-resolution algorithm through edge detection and feature selection
US8655109B2 (en) Regression-based learning model for image upscaling
US8620073B2 (en) Upscaling natural images
US9652830B2 (en) Method and apparatus for performing hierarchical super-resolution of an input image
US7257271B2 (en) Noise reduction in color digital images using pyramid decomposition
US20120281923A1 (en) Device, system, and method of image processing utilizing non-uniform image patch recurrence
US9256920B1 (en) Image enhancement using a patch based technique
JP2003018398A (ja) ピクセル画像から超解像度画像を生成する方法
US20100026897A1 (en) Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution
Kim et al. Example-based learning for single-image super-resolution and JPEG artifact removal
US9317903B1 (en) Self-similarity based single frame super-resolution
George Robust single image super resolution using neighbor embedding and fusion in wavelet domain
Jagdale et al. A novel algorithm for video super-resolution
CN114219714A (zh) 一种基于相机阵列深度估计的超分辨率重建方法
Yang Research on the single image super-resolution method based on sparse Bayesian estimation
CN106780331B (zh) 一种新的基于邻域嵌入的超分辨率方法
Chan et al. A novel content-adaptive interpolation
Luong et al. An image interpolation scheme for repetitive structures
Tang et al. Coupled dictionary learning on common feature space for medical image super resolution
Wang et al. Video super-resolution using edge-based optical flow and intensity prediction
Lin et al. Image super-resolution by estimating the enhancement weight of self example and external missing patches
KR102597298B1 (ko) 국부 텍스처 추정을 이용한 이미지 워핑 네트워크 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: TP VISION HOLDING B.V.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS N.V.

Effective date: 20120821

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20120821

Address after: Holland Ian Deho Finn

Applicant after: Tp Vision Holding B. V.

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130821

Termination date: 20140514