CN102025959A - 从低清晰度视频产生高清晰度视频的系统与方法 - Google Patents

Abstract

提供了一种从低清晰度视频产生高清晰度视频的系统与方法。根据一个或多个实施例，所述方法只关于低清晰度视频的先前帧的特征区域像素(不同于先前帧的所有像素)执行轨迹估计和匹配操作，从而降低计算量以提高存储器的效率，实时产生高清晰度视频，并产生关于特征区域的更精确的高清晰度视频。

Description

从低清晰度视频产生高清晰度视频的系统与方法

本申请要求于2009年9月22日在韩国知识产权局提交的10-2009-0089503号韩国专利申请的优先权，该申请全部公开于此以资参考。

技术领域

一个或多个实施例涉及一种从低清晰度视频产生高清晰度视频的系统与方法，更具体地说，涉及一种利用轨迹估计和插值来产生高清晰度视频的系统与方法。

背景技术

从低清晰度视频到高清晰度视频的图像放大可能是图像设备的重要功能，也可以是在日常生活用品(如可携式摄像机)中或在专业领域(如天文学、保健等)中广泛应用的同样重要的元素。最近，应用图像放大的实例的数量已经增加，如当将从数码相机或可携式摄像机中获得的低清晰度视频变换为高清晰度视频时，在高清晰度显示装置中再产生低清晰度视频内容，或将高清晰度视频压缩为低清晰度视频，再将已压缩的低清晰度视频还原成高清晰度视频。因此，对从低清晰度视频获得高清晰度视频的图像放大的期望正在增大。

作为一个示例，可使用镜头组合来执行图像放大。然而，当使用这样的光学倍率方案来实施高放大倍率的放大时，这使得在体积、重量、成本等上有明显增加。为克服这些问题，可使用利用数字图像处理的图像放大方案。当使用这样的数字图像处理时，可使用半导体芯片来满意地执行图像放大，从而与光学放大倍率方案相比，表现出相对较低的成本。另外，当结合现有的光学倍率方案来使用图像放大时，可获得以高放大倍率而更有效地放大的图像。此外，在信号处理方面，利用与彼此不同数量级的图像，图像放大方案可被用于维持系统之间的兼容性，以及用于增加图像的分辨率或大小。图像放大方案可被用于减少与图像压缩关联的表达图像所需的数据量。

在信号处理或图像处理方面，图像放大方案可有若干种方法。在一种方法中，利用信号插值的图像放大方案可易被执行且实用。图像的插值可以是可扩大原始图像的离散像素之间的间隔，估计被扩大的间隔之间的值并将估计值插入被扩大的间隔中，以获得放大图像的效果的方案。在这种情况下，根据估计被扩大的间隔之间的值的方式，可确定图像放大方法，并根据已确定的图像放大方法，可改变放大的图像。

例如，图14示出传统的图像处理系统，其中，将视频序列的多个帧输入到多帧存储器，更具体地说，每一帧都需要单独的帧存储器，例如，当基于从10个先前帧的运动估计对当前帧内的像素进行插值时，在多帧存储器中就需要10个单独的帧存储器。多帧运动估计单元12对当前帧的每个像素或块相对于从所有先前帧的对应的像素或块的运动进行估计。例如，每个像素的运动估计可基于至少10个先前帧，需要10次基于每个先前帧的每个像素或块的单独的运动估计。通过检查所有先前帧的每个像素或块，可对每个像素或块进行运动估计，使得高分辨率插值单元14可执行对当前帧的像素或块的插值。

然而，这样的方法也需要大量的存储器和处理资源，从而引起增加的成本、延迟以及对在更大量的存储器和处理环境中完成图像转换的限制。正如，每个先前帧都需要单独的帧存储器，并且先前帧的每个像素或块都被存储在每个单独的帧存储器中。此外，由于依赖每个先前帧的运动估计的当前帧的每个像素或块都需要运动估计，所以需要大量的处理，也需要大量的时间。所以，由于这样的缺陷，一般不能在更多紧凑移动设备中实现这样的图像转换方法，并且一般也不能以实时方式执行这样的图像转换方法。因此，用于图像放大的当前图像处理方法存在大量缺陷。

发明内容

根据一个或多个实施例，提供了一种图像处理方法，包括：对当前帧的像素或块(包括与当前帧的特征区域对应的像素或块)执行轨迹估计，当先前帧的轨迹信息可用时，识别轨迹估计的像素；将轨迹估计的像素或块划分到特征区域并且根据每个当前帧的除轨迹估计的像素或块以外的像素或块的各自的空间谱，将当前帧的除轨迹估计的像素或块以外的像素或块逐一分别划分到特征区域和统一区域之一；将特征区域的特征区域像素或块与至少一个先前帧的特征区域像素或块进行匹配；将至少一个先前帧的匹配的特征区域像素或块和对应的轨迹估计的像素或块投射到比当前帧具有更高清晰度的高清晰度帧；基于匹配的特征区域像素或块和对应的轨迹估计的像素或块，以及基于统一区域的像素或块，对高清晰度帧的除投射的匹配的特征区域像素或块和对应的轨迹估计的像素或块以外的像素进行插值。

根据一个或多个实施例，提供了一种从低清晰度视频产生高清晰度视频的图像处理方法，所述方法包括：根据每个像素或块的各自的空间谱，将低清晰度视频的当前帧的像素或块逐一划分到特征区域和统一区域，被划分到特征区域的像素或块分别是特征区域像素或块；基于关于特征区域的低清晰度视频的多个帧以及基于从至少一个先前帧到当前帧的像素值信息来产生与特征区域对应的高清晰度视频；使用至少在被划分为统一区域的当前帧的像素或块之间的插值来产生与统一区域对应的高清晰度视频。

根据一个或多个实施例，提供了一种从低清晰度视频产生高清晰度视频的图像处理方法，所述方法包括：通过对低清晰度视频的第i-1帧的特征区域像素执行各自的轨迹估计来确定低清晰度视频的第i帧的特征区域像素；通过将第i帧的特征区域像素和与第i帧的特征区域像素对应的至少一个先前帧的特征区域像素进行匹配来确定与第i帧对应的高清晰度视频的帧的像素的像素值；使用插值，确定与第i帧对应的高清晰度视频的帧的通过匹配没被确定的像素值，其中，将第i帧的特征区域像素与至少一个先前帧的特征区域像素进行匹配的步骤包括：将第i帧的特征区域像素仅与至少一个先前帧的特征区域像素进行匹配，至少一个先前帧包括除特征区域像素以外的像素。

根据一个或多个实施例，提供了一种图像处理方法，包括：接收所接收图像的图像信息和轨迹信息；根据每个像素或块的各自的空间谱，将接收的图像的像素或块逐一划分到特征区域和统一区域，被划分到特征区域的像素或块分别是特征区域像素或块；通过基于接收的轨迹信息，至少在统一区域内的像素或块之间进行插值以及至少在与特征区域像素对应的像素或块之间进行插值来产生高清晰度图像。

根据一个或多个实施例，提供了一种图像处理方法，包括：根据每个像素或块的各自的空间谱，将第一帧的像素或块逐一分别划分到第一帧的特征区域和统一区域之一，并且将被划分到第一帧的特征区域的像素或块的像素值和位置存储到注册存储器(registration memory)中，作为第一帧的特征区域像素或块；继第一帧后，对第二帧的像素或块执行轨迹估计的步骤包括：从注册存储器中获得第一帧的特征区域像素或块的像素值和位置；基于获得的第一帧的特征区域像素或块来识别第二帧的轨迹估计的像素或块；将第二帧的轨迹估计的像素或块的像素值和位置存储在注册存储器中；将第二帧的轨迹估计的像素或块划分到特征区域并且根据每个像素或块的各自的空间谱，将第二帧的除第二帧的轨迹估计的像素或块以外的像素或块逐一分别划分到第二帧的特征区域和统一区域之一；将第二帧的特征区域的特征区域像素或块与第一帧的特征区域像素或块进行匹配，并且将匹配的第一帧的特征区域像素或块和对应的第二帧的轨迹估计的像素或块投射到比第二帧具有更高清晰度的高清晰度帧上；基于第一帧的匹配的特征区域像素或块和对应的第二帧的轨迹估计的像素或块，对高清晰度帧的除投射的匹配的第一帧的特征区域像素或块和对应的第二帧的轨迹估计的像素或块以外的像素进行插值，并且基于第二帧的统一区域的像素或块，对高清晰帧的像素进行插值。

根据一个或多个实施例，提供了一种图像处理系统，包括：轨迹估计单元，用于对当前帧的像素或块执行轨迹估计，当前帧的像素或块包括与当前帧的特征区域对应的像素或块，并且将轨迹估计的像素或块划分到特征区域；区域分类单元，根据每个像素或块的各自的空间谱，将当前帧的除当前帧的轨迹估计的像素或块以外的像素或块逐一分别划分到特征区域和统一区域之一；注册单元，用于将当前帧的特征区域的特征区域像素或块与至少一个先前帧的特征区域像素或块进行匹配，并且将匹配的至少一个先前帧的特征区域像素或块和对应的轨迹估计的像素或块投射到比当前帧具有更高清晰度的高清晰度帧上；高分辨率插值单元，基于匹配的特征区域像素或块和对应的轨迹估计的像素或块，并且基于统一区域的像素或块，对高清晰度帧的除投射的匹配的特征区域像素或块和对应的轨迹估计的像素或块以外的像素或块进行插值。

根据一个或多个实施例，提供了一种从低清晰度视频产生高清晰度视频的图像处理系统，所述系统包括：区域分类单元，根据每个像素或块的各自的空间谱，逐一将低清晰度视频的当前帧的像素或块划分到特征区域和统一区域，被划分到特征区域的像素或块分别是特征区域像素或块；高分辨率插值单元，基于关于特征区域的低清晰度视频的多个帧和基于从至少一个先前帧的像素值信息，产生与特征区域对应的高清晰度视频，并且使用至少在被划分到统一区域的当前帧的像素或块之间的插值来产生与统一区域对应的高清晰度视频。

根据一个或多个实施例，提供了一种从低清晰度视频产生高清晰度视频的图像处理系统，所述系统包括：轨迹估计单元，通过对低清晰度视频的第i-1帧的特征区域像素执行各自的轨迹估计来确定低清晰度视频的第i帧的特征区域像素；注册单元，通过将第i帧的特征区域像素和与第i帧的特征区域像素对应的至少一个先前帧的特征区域像素进行匹配并且将匹配的特征区域像素存储在注册存储器中来确定与第i帧对应的高清晰度视频的帧的像素的像素值；以及插值单元，使用插值，确定与第i帧对应的高清晰度视频的帧通过匹配没被确定的像素值，其中，将第i帧的特征区域像素与至少一个先前帧的特征区域像素进行匹配的步骤包括：将第i帧的特征区域像素仅与至少一个先前帧的每一个的特征区域像素进行匹配，至少一个先前帧包括除特征区域像素以外的像素。

本发明的另外方面和/或优点将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本发明的一个或多个实施例的实施可以被理解。

附图说明

通过结合附图，从一个或多个实施例的下面描述中，这些和/或其它方面将会变得清楚，并且更易于理解，其中：

图1是示出根据一个或多个实施例的从低清晰度视频产生高清晰度视频的方法的流程图；

图2示出根据一个或多个实施例的保持特征区域像素之间的最小距离的分类操作的调整；

图3示出根据一个或多个实施例的同样保持特征区域像素之间的最小距离的分类操作的调整；

图4示出根据一个或多个实施例的将当前帧划分为N×M个块以确定特征区域像素；

图5示出根据一个或多个实施例将部分当前帧划分为特征区域和统一区域中的一个；

图6A和图6B示出根据一个或多个实施例的对特征区域像素执行的轨迹估计；

图7示出根据一个或多个实施例的以子像素单元对特征区域像素执行的轨迹估计；

图8示出根据一个或多个实施例的将被存储的低清晰度视频帧的特征区域像素，以及相邻或邻近像素的像素值和位置；

图9示出根据一个或多个实施例匹配特征区域像素；

图10示出根据一个或多个实施例的防止在特征区域像素的匹配中产生差错的方法；

图11示出根据一个或多个实施例的与低清晰度视频的帧对应的高清晰度视频的帧；

图12示出根据一个或多个实施例对高清晰度视频的帧的像素执行插值；

图13A-图13C示出根据一个或多个实施例的从低清晰度图像产生高清晰度图像的图像处理系统；

图14示出用于产生高清晰度视频的传统图像处理系统。

具体实施方式

现在，详细描述本发明的一个或多个实施例，其一个或多个实施例在附图中示出，其中，相同的标号始终表示相同的部件。在这方面，可以以许多不同的形式实现本发明的实施例，并且本发明不应该被解释为受限于阐述于此的实施例。所以，以下通过参考附图描述示例性实施例以解释本发明的多方面。

整个本说明书中使用的术语“视频”可表示所有类型的多个屏幕或图像，如在显示器上可再现的屏幕或图像。“图像”可以是(例如)由复数个连续帧一起组成的视频的单个帧，虽然不需要所有帧都是连续的以使采集的图像被理解为视频。

图1是示出根据一个或多个实施例的从低清晰度视频产生高清晰度视频的方法的流程图。

参考图1，在操作S110中，例如，可根据空间谱，将低清晰度视频的当前帧或图像划分为特征区域和统一区域之一。‘特征区域’可表示在图像信息中变化相对显著的部分帧。例如，当(例如)由于具有不同的亮度和/或颜色的部分帧中的图像信息(如当部分帧具有棋盘外观时)，仅从相邻像素的像素值难以提取对应的部分帧中的像素的像素值时，可将该部分帧划分到特征区域。‘统一区域’可表示在图像信息中变化可能相对不明显的部分帧。例如，当(例如)由于一般具有相同的亮度和/或颜色的部分帧的图像信息，仅从相邻像素的像素值易于提取对应的部分帧中的像素的像素值时，可将该部分帧划分到统一区域。以下将更详细地描述将部分的当前帧划分为特征区域和统一区域。另外，如以下更详细地讨论的，可将帧中的像素选择性地划分到特征区域和统一区域之一，使得当前帧的一些像素被认为在特征区域中，当前帧的一些像素被认为在统一区域中。在一个或多个实施例中，被划分到特征区域的像素不同于被划分到统一区域的像素，并且不是所有的低清晰度视频的像素都需要被划分到特征区域或统一区域。

在一个或多个实施例中，如果先前帧的轨迹信息可用，则在操作S110中或在操作S110之前可执行轨迹估计。如果在操作S110中或在操作S110之前执行低清晰度视频的像素的轨迹估计，并且最终确定像素是由先前帧的另一像素追踪的，则可将低清晰度帧的任何产生的轨迹估计的像素自动划分为低清晰度帧的特征区域像素。例如，如果正在检查低清晰度视频的第一低清晰度帧，则这样的先前帧的轨迹信息可能不可用。然而，当分析下一个低清晰度帧时，则基于当前低清晰度帧的像素的分类，下一个低清晰度帧的轨迹估计的像素的轨迹信息可能可用。可将低清晰度帧的其余的像素仍划分到特征区域或统一区域。类似地，由于例如基于在划分的特征区域像素之间的最小距离的潜在的保持，可选择性地不将已经被划分的特征区域像素周围的一些像素进行划分，因此只可对低清晰度帧的选择的像素执行操作S110的分类。至少一些这些周围的像素的像素值仍可被存储为被划分到特征区域的像素的相邻或邻近像素。在一个或多个实施例中，在划分到统一区域的像素之间可能没有保持的最小距离。

所以，在操作S120中，可基于特征区域产生基于高清晰度帧的特征区域。根据一个或多个实施例，可基于低清晰度视频的多个帧，来产生关于特征区域的相应的高清晰度视频。

在操作S130中，可基于统一区域产生基于高清晰度帧的统一区域。根据一个或多个实施例，可使用插值来产生关于被划分在统一区域中的当前帧的像素的相应的高清晰度视频。也就是说，可基于低清晰度视频的每个单个帧本身来产生关于在每个帧的统一区域中的像素的相应的高清晰度视频。。可同时执行操作S120和操作S130。

在操作S140中，可基于上述的处理S110-S130来产生高清晰度视频。根据一个或多个实施例，可单独地产生关于每个低清晰度帧的每个划分的特征区域和统一区域的高清晰度视频，例如，分析产生各自的被组合而成的高清晰度帧以产生基于高清晰度视频的特征区域和基于高清晰度视频的统一区域，然后将基于特征区域的高清晰度视频和基于统一区域的高清晰度视频组合来产生代表特征区域和统一区域的单个高清晰度视频。

现在将更详细地描述根据一个或多个实施例的将当前帧划分为特征区域和统一区域。可单独执行或组合执行以下任何将像素的一个像素或块划分到特征区域或统一区域的分类操作以将像素的像素或块至少划分到特征区域和统一区域。

所以，在一个或多个实施例中，可将具有相对较高的空间谱的当前帧的像素或块划分到特征区域，并且将具有相对较低的空间谱的当前帧的像素或块划分到统一区域。

根据一个或多个实施例，可根据当前帧的像素的各自的梯度值，将低清晰度视频的当前帧的各自的像素划分为特征区域和/或统一区域。当像素的梯度值符合(meets)或等于或大于参考值(或一个或多个参考值)时，可将当前帧的像素划分到特征区域，而当梯度值不符合或小于参考值时，可将当前帧的像素划分到统一区域。例如，‘梯度值’可以是关于像素的亮度、颜色等的信息的变化率。根据一个或多个实施例，可使用包括在x轴上的变化率和在y轴上的变化率的梯度值。例如，梯度值可被表示为|G|＝|G_X|+|G_Y|，其中，|G|表示梯度值，|G_X|表示在x轴上的变化率，且|G_y|表示在y轴上的变化率。根据一个或多个实施例，可基于在x轴上的变化率或在y轴上的变化率或两者同时来确定梯度值。虽然这些实施例描述了关于任意像素的梯度，但梯度可涉及多个像素的一个像素和/或一个或多个块，例如，基于块的一个或多个像素或块作为整体的计算的梯度值的块的梯度(如通过对块中的像素求平均的处理)。例如，虽然可由可选技术来产生块中的块或像素的可选代表，但像素的块的亮度或像素的块的颜色可基于对块中的像素值求平均。为避免在这里重复以下描述的实施例，上述的梯度的意思以及如何计算梯度同样确定被应用于也使用术语“梯度”的以下的实施例中。

根据一个或多个实施例，可根据当前帧的像素的各自的二阶微分值，将低清晰度视频的当前帧的各自的像素划分到特征区域和/或统一区域。在实施例中，当当前帧的像素的二阶微分值符合或等于或大于参考值(或一个或多个参考值)时，当前帧的像素可被划分到特征区域，而当该二阶微分值不符合或小于参考值时，当前帧的像素可被划分到统一区域。根据一个或多个实施例，例如，可根据拉普拉斯算子技术，高斯拉普拉斯算子(LOG)技术等计算‘二阶微分值’。与上述内容类似，虽然这些实施例描述了关于任意像素的二阶微分，但二阶微分可涉及多个像素的一个像素和/或一个或多个块。为避免在这里重复以下描述的实施例，上述的二阶微分的意思以及如何计算二阶微分同样确定被应用于也使用术语“二阶微分”的以下的实施例中。

根据一个或多个实施例，可根据当前帧的像素与各自的相邻或邻近像素之间的亮度差的离散差，将低清晰度视频的当前帧的各自的像素划分到特征区域和/或统一区域。

这里，术语‘邻近像素’可表示与当前像素相邻(意思是直接相邻)的一个或多个像素以及与当前像素邻近的像素，例如，与当前像素分离限定的程度的像素。在一个或多个实施例中，邻近像素是在任意像素附近并且以限定的程度与任意像素邻分离的像素，其中这个程度潜在的可调。例如，在实施例中，当程度为3时，邻近像素可包括与当前像素相邻的像素以及与当前像素相距到程度3中的像素，即与任意像素相距三个或三个以下像素的像素。分离的程度也不需要在任意像素周围的所有方向中都相等。以下，虽然参照像素的一个或多个相邻像素，但除非明确指出，否则应该理解，具有与一个或多个邻近像素更大的分离的程度的这样的实施例同样可用，即，根据在每个实施例中的一个或多个相邻像素的各自的考虑，参考相邻像素的每个实施例也确定可用于除相邻像素以外的邻近像素(或作为可选方式)。

所以，当当前帧的像素与相邻像素之间的亮度差的离散差符合或等于或大于参考值(或一个或多个参考值)时，当前帧的像素可被划分到特征区域，而当当前帧像素与相邻像素之间的亮度差的离散差不符合或小于参考值时，当前帧的像素可被划分到统一区域。根据一个或多个实施例，‘亮度差的离散差’可表示当前帧的像素与相邻像素之间的亮度差与亮度差的平均值的差，并可以是基于平均值的亮度差的离散度的测量。与以上类似，虽然这些实施例描述了关于任意像素和另一相邻或邻近像素的离散差，但离散差可涉及像素中的一个像素和/或一个或多个块(与另一相邻或邻近像素和/或块或像素相比)。为避免在这里重复以下描述的实施例，上述的离散差的意思以及如何计算离散差同样确定被应用于也使用术语“离散差”的以下的实施例中。

根据一个或多个实施例，可根据当前帧的像素与一个或多个其各自的相邻像素之间的像素值差，将低清晰度视频的当前帧的像素或块划分到特征区域和/或统一区域。当像素值差符合或等于或大于参考值(或一个或多个参考值)时，当前帧的相应的像素可被划分到特征区域，而当像素值差不符合或小于参考值时，当前帧的相应的像素可被划分到统一区域。在一个实施例中，如果考虑多个相邻像素，可单独使用一个或多个相邻像素或可基于对来自相邻像素的信息求平均来确定像素值差(仅作为示例)。根据一个或多个实施例，‘像素值’可以是关于像素的(例如)颜色值和亮度值等的信息。与以上类似，虽然这些实施例描述了关于任意像素和至少一个其它相邻或邻近像素的像素值差，但像素值差可涉及多个像素的一个像素和/或一个或多个块(与另一相邻或邻近像素和/或块或像素相比)。为避免在这里重复以下描述的实施例，关于像素值差的意思、如何计算像素值差以及术语“像素值”同样确定被应用于也使用术语“像素值”和“像素值差”的以下的实施例中。

另外，在一个或多个实施例中，基于将当前帧的一个像素划分到特征区域的分类，可不需要根据空间谱将划分的特征区域像素附近的像素划分到特征区域和统一区域，即，由于对已经划分的特征区域像素附近的像素的分类处理可被跳过，以及这些跳过的像素可既不被划分到特征区域又不被划分到统一区域，或仅作为特征区域像素附近的像素被划分到特征区域，所以可不需要对当前帧的所有像素都执行分类处理。无论如何，在一个或多个实施例中，至少一些所述的邻近的像素的像素信息仍可被存储为(例如)划分的特征区域像素的相邻或邻近的像素的像素信息。可执行所选择的分类方法，从而保持被划分到特征区域的像素(以下，称为‘特征区域像素’)之间的最小距离。最小距离可等同于或取决于上述的邻近像素的分离程度，或最小距离可直接对应于邻近像素的分离程度。

因此，根据一个或多个实施例，可根据空间谱，将任意像素划分到特征区域和/或统一区域。接下来，当任意像素已被划分到特征区域时，接下来只需要对与任意像素相距离一定最小距离的像素进行划分到特征区域或统一区域的分类，从而保持特征区域像素之间的最小距离。相反，当任意像素被划分为包括在统一区域中的像素(以下，称为‘统一区域像素’)时，与任意像素相邻或任意像素附近的像素仍可被划分到特征区域和统一区域(无论最小距离)。通过调整最小距离，可调整当前帧的特征区域像素的数量。

根据一个或多个实施例，所述方法还可包括接收最小距离的输入，和/或接收控制像素是否被认为邻近的分离程度的输入。仅作为示例，最小距离可基于特征区域像素之间的距离，设计这个最小距离以防止各自的轨迹的重叠，即，如果在空间上特征区域像素太接近彼此，则从一些这些特征区域像素的轨迹估计可能重叠。

以下，将参考图2和图3进一步描述保持特征区域像素之间的最小距离的分类操作的调整。

图2示出根据一个或多个实施例的保持特征区域像素之间的最小距离的分类操作的调整。

参考图2，在一个或多个实施例中，可根据各自的空间谱，将当前帧210的任意像素220划分到特征区域和统一区域中的任何一个。当像素220被划分到统一区域时，接下来可执行将与像素220相邻的像素划分到特征区域或统一区域的进一步分类，以根据相邻像素的每个像素各自的空间谱将相邻像素的每个像素划分到特征区域和统一区域中的任何一个(即，不管统一区域像素之间的任何最小距离)。当像素220被划分到特征区域时，可选择性地不执行将与像素220相距最小距离250的半径内的像素划分到特征区域或统一区域的分类。相反，对与像素230相距最小距离250以外的像素执行划分到特征区域或统一区域的分类。在一个或多个实施例中，当像素220被划分为特征区域像素时，虽然(例如)为随后进行插值的目的，关于像素的信息被存储为(例如)特征区域像素220相邻、邻近或附近的像素，但在最小距离250内的像素可不被划分。作为可选方式，虽然与像素220不同，但在最小距离250内的像素可自动被划分到特征区域。这里，在一个或多个实施例中，当应用这样的最小距离时，术语特征区域像素将指的是从最小距离初始的像素。

这里，再次，如果像素230被划分为特征区域像素之一，则可执行与像素230相距最小距离半径以外的像素240的分类，而不执行对与像素230相距最小距离以内的像素的分类。所以，可调整或控制像素的分类以保持特征区域像素220、230和240之间的最小距离(例如，当像素240被划分到特征区域时)。

图3示出根据一个或多个实施例的保持特征区域像素之间的最小距离的分类操作的调整。

参考图3，可根据各自的空间谱，将低清晰度视频的当前帧310的任意像素320划分到特征区域和统一区域中的任何一个。当像素320被划分到统一区域时，仍可执行对与像素320相邻的像素的分类(不管统一区域像素之间的任何最小距离)。当像素320被划分到特征区域时，可不执行对在x轴上与像素320相距最小距离370或更小的像素的分类，而可执行对在x轴上与像素320相距至少最小距离370的像素330的分类。

接下来，不管像素330被划分为统一区域像素还是被划分为特征区域像素，可执行对在x轴上与像素330相距至少最小距离的像素340的分类。

根据图3的一个或多个实施例，可调整最小距离，根据最小距离确定是否执行分类，所以，仅基于在x轴上的最小距离的保持来执行分类，而在y轴上的最小距离可能无法控制是否执行分类。所以，当像素320和像素340都被划分为特征区域像素之一时，由于像素350在x轴上与像素340相距至少最小距离(与y轴距离不同)，可执行对像素340的分类。类似地，当像素340被划分为特征区域像素之一时，如果像素360在x轴上与像素340相距至少最小距离(与y轴距离不同)，则可执行将像素360划分到特征区域和统一区域中的任何一个的分类。

根据一个或多个实施例，可选择地调整最小距离，根据最小距离确定是否执行分类，所以，仅基于在x轴上的一个最小距离的保持或仅基于在y轴上的最小距离的保持来执行分类，或可基于在x轴上的至少一个最小距离(不同于在y轴上的最小距离)和在y轴上的至少一个最小距离来调整最小距离以确定是否执行分类。类似地，在x或y轴距离中的正或负方向的最小距离可能是不同的，并且可基于当前帧的区域不同地被调整。仅作为示例，可预定感兴趣的区域，从而可调整最小距离以将比另一区域更大的优选权提供给一个区域。

根据一个或多个实施例，与划分的特征区域像素相距至少这样的最小距离并且分别具有相对较高的空间谱的像素，可被划分到特征区域。所以，在一个或多个实施例中，与划分的特征区域像素相距在最小距离内的像素，即使它们可分别具有相对较低的空间谱(例如，典型地可被用于划分到统一区域)，所述像素可能也无法被划分到特征区域或统一区域。在一个或多个实施例中，即使在最小距离内的像素可被划分到统一区域，但在最小距离内的像素自动被划分到特征区域。仍可将与特征区域像素相距最小距离以外并且具有相对较低的空间谱的像素划分到统一区域。与各自最近的划分的特征区域像素相距至少最小距离的像素可被定义为‘分离像素’。

根据一个或多个实施例，可根据如上讨论的分离像素各自的梯度值，将分离像素分别划分到特征区域和统一区域。在这种情况下，当分离像素的各自的梯度值符合或等于或大于参考值(或一个或多个参考值)时，可将分离像素分别划分到特征区域，并且当分离像素的各自的梯度值不符合或小于参考值时，可将分离像素划分到统一区域。根据一个或多个实施例，可根据如上讨论的分离像素的二阶微分值，将分离像素分别划分到特征区域和统一区域中的任何一个。当分离像素的二阶微分值符合或等于或大于参考值(或一个或多个参考值)时，可将分离像素划分到特征区域，并且当分离像素的二阶微分值不符合或小于参考值时，可将分离像素划分到统一区域。

根据一个或多个实施例，可根据如上讨论的在分离像素与相邻像素之间的亮度差的离散差，将分离像素分别划分到特征区域和统一区域中的任何一个。当如以上讨论的在分离像素与各自的相邻像素之间的亮度差的离散差符合或等于或大于参考值(一个或多个参考值)时，可将分离像素分别划分到特征区域，并且当在分离像素与各自的相邻像素之间的亮度差的离散差不符合或小于参考值时，可将分离像素分别划分到统一区域。

根据一个或多个实施例，可根据如上讨论的在分离像素与各自相邻像素之间的像素值差，将分离像素分别划分到特征区域和统一区域中的任何一个。在这种情况下，当像素值差符合或等于或大于参考值(一个或多个参考值)时，可将分离像素分别划分到特征区域，并且当像素值差不符合或小于参考值时，可将分离像素分别划分到统一区域。‘

在一个或多个实施例中，可将当前帧分在N×M个块，其中N和M中的至少一个大于1。在一个或多个实施例中，N×M个块中的任何一个块的任何一个像素可被划分为包括特征区域像素，并且基于块的其它的划分的特征区域像素之间的比较或仅基于作为块的第一划分的特征区域像素的特征区域像素(例如)，可将具有被划分为特征区域像素的块的至少一个像素的整个块划分到特征区域。例如，可将特征区域块的一个像素划分为特征区域像素并且可将该块的其余像素划分为该块的特征区域像素的邻近像素。类似地，可将统一区域块的一个像素划分为统一区域像素并且可将该块的其余像素划分为该块的统一区域像素的邻近像素(例如)，从而可使用统一区域像素来代表在插值期间该块的一个或多个像素。

图4示出根据一个或多个实施例的将当前帧410划分为这样的N×M个块以确定特征区域像素。在以下的一个或多个实施例中，如果N×M个块中的块的一个像素被划分为该块的特征区域像素，则该块内的其余像素可被划分到特征区域，并且潜在地，该块内的所有像素都可被识别为该块的特征区域像素的相邻或邻近像素。类似地，该块内没有像素符合一个或多个或所有的上述的分类操作要求，则整个块可被划分到统一区域。

参考图4，根据一个或多个实施例的从低清晰度视频产生高清晰度视频的方法可包括：将当前帧410沿x轴分成M个块，沿y轴分成N个块。可估计关于N×M个块中的块420的所有像素的梯度值。当在块420中具有最大梯度值的像素具有符合或等于或大于参考值(或一个或多个参考值)的梯度值时，可将该像素划分为特征区域像素。当在块420中具有最大梯度值的像素不符合或小于参考值的梯度值时，可将该像素划分为统一区域像素。这里，在一个或多个实施例中，可基于块的附加像素的梯度值和/或在块中的相对于具有最大梯度值的像素的近似值来将块的附加像素划分为特征区域像素。通过调整N或M的大小，可控制当前帧中的划分的特征区域像素的潜在数量。

根据一个或多个实施例，可输入或接收用于将在对应块中的具有最大梯度值的像素划分为特征区域像素和统一区域像素中的任何一个的参考值。

在一个或多个实施例中，可将在块中(例如，在N×M个块中)具有最大空间谱并且该空间谱符合或等于或大于参考值(或一个或多个参考值)的像素划分为特征区域像素。当在块中具有最大空间谱的像素具有不符合或小于参考值的空间谱时，可将该块内的所有像素划分到统一区域。这里，在一个或多个实施例中，可基于块的附加像素的各自的空间谱和/或在块中的相对于具有最大空间谱的像素的近似值来将块的附加像素划分为特征区域像素。

根据一个或多个实施例，可将在块中(例如，在N×M个块中)具有如上所述的最大二阶微分值并且具有符合或等于或大于参考值(或一个或多个参考值)的二阶微分值的像素划分为特征区域像素之一。当在块中具有最大二阶微分值的像素具有不符合或小于参考值的二阶微分值时，可将该块内的所有像素划分到统一区域。这里，在一个或多个实施例中，可基于块的附加像素的各自的二阶微分值和/或在块中的相对于具有最大二阶微分值的像素的近似值来将块的附加像素划分为特征区域像素。

根据一个或多个实施例，可将在块中(例如，在N×M个块中)具有与各自相邻像素的如上所述的最大亮度差的离散差并且具有符合或等于或大于参考值(或一个或多个参考值)的亮度差的离散差的像素划分为特征区域像素之一。当在块中具有与各自相邻像素的最大亮度差的离散差的像素具有不符合或小于参考值的亮度差的离散差时，可将该块内的所有像素划分到统一区域。这里，在一个或多个实施例中，可基于块的附加像素的离散差和/或在块中的相对于具有最大离散差的像素的近似值来将块的附加像素划分为特征区域像素。

根据一个或多个实施例，可将在块中(例如，在N×M个块中)具有与各自相邻像素的最大像素值差并且具有符合或等于或大于参考值(或一个或多个参考值)的像素值差的像素划分为特征区域像素之一。当在块中具有与各自相邻像素的最大像素值差的像素具有不符合或小于参考值的像素值差时，可将该块内的所有像素划分到统一区域。这里，在一个或多个实施例中，可基于块的附加像素的像素值差和/或在块中的相对于具有最大像素值差的像素的近似值来将块的附加像素划分为特征区域像素。

图5示出根据一个或多个实施例将部分当前帧划分为特征区域和统一区域之一。在一个或多个实施例中，部分帧可以是像素或像素的块，并且可将帧的像素的块的所有像素划分到特征区域和统一区域。可选地，在一个或多个实施例中，如果不符合最小距离，可能无法对块中的一些像素进行划分(仅作为示例)。

参考图5，像素511是在先前帧510中的先前划分的特征区域像素，像素521和像素522可以是当前帧520的将要被划分的像素。基于(例如)在注册存储器中存储的信息，可基于像素511的轨迹估计530来确定像素521与像素511对应。由于先前帧510的像素511是特征区域像素，可将像素521类似地划分为当前帧520的特征区域像素(即，不需要分类)。像素521可被认为已被轨迹估计530追踪。然而，在没有这样的在先前帧510中的特征区域像素的轨迹追踪的指示(indication)的情况下，仍需要对像素522执行分类，其中，根据像素522的空间谱将像素522划分到特征区域和统一区域中的一个。被划分为特征区域像素的每个像素的信息和相邻或邻近像素以及在划分的特征区域像素的最小间距中的像素的信息一起被存储到上述的注册存储器中。

根据一个或多个实施例，可仅从先前帧的特征区域像素到当前帧的特征区域像素执行轨迹估计。可先于将当前帧的像素划分到特征区域和统一区域的分类来执行轨迹估计，基于先前帧的特征区域像素的轨迹估计的当前帧的像素可被自动划分到特征区域，并且可被进一步划分为特征区域的特征区域像素。因此，由于轨迹估计的像素已经被划分到特征区域，可不对轨迹估计的像素进行分类。

也就是说，可能没有从先前帧的被划分到统一区域的像素到当前帧的像素的轨迹估计。相反，(例如)可使用采用仅关于当前帧的信息的插值，仅基于统一区域的像素来分别地产生与当前帧的统一区域对应的高清晰度视频。所以，在一个或多个实施例中，可使用单个帧(例如，当前帧)来执行对当前帧统一区域和/或当前帧的统一区域像素的插值。‘轨迹估计’可为当前帧的像素和先前帧的特征区域像素而保留。所以，可只需要存储先前帧的特征区域像素以及各自的相邻或邻近像素的像素值和位置。如果先前帧的特征区域像素也是轨迹估计的特征区域像素，即，先前帧的特征区域像素从更先前帧的特征区域像素被估计，然后轨迹信息也可被存储，则识别更先前帧的特征区域像素。所以，通过执行从先前帧中的这个特征区域像素到当前帧中的像素的轨迹估计，可对当前帧的像素进行轨迹估计，并且可知道与轨迹估计的像素对应的至少两个先前特征区域像素的像素信息。例如，图9示出相同后代(lineage)的三个先前帧。

轨迹估计可包括：指定一个帧(例如，当前帧)的与另一帧(例如，先前帧)的特征区域像素具有最高相关性的选择的像素。在先前帧的各自的像素和当前帧的各自的像素之间的这个相关性可基于包括像素的亮度值、梯度值、二阶微分值、空间谱值及像素值等的信息(例如，基于相同术语的上述讨论)。例如，根据一个或多个实施例，(例如)可使用利用亮度差来执行轨迹估计的绝对差的和(SAM)的方法。在一个或多个实施例中，轨迹估计可为基于轨迹估计的先前帧的特征区域像素来识别当前帧的最可能的像素坐标，并且可执行校正来进一步地从可能的像素坐标(例如，为先前帧的特征区域像素与当前帧对应的侯选坐标)中识别最适当的像素。

在存在被检测的过渡(transition)、遮挡(occlusion)等的情况下，关于与先前帧的特征区域像素对应的当前帧的像素的轨迹估计的任何结果可不存储在注册存储器中，或至少与当前帧对应的高清晰度帧的插值将不基于这个轨迹估计。由于过渡、遮挡等，如果在高清晰度帧的像素的插值中使用相应的轨迹估计结果，则更可能存在错误插值。在实施例中，当存在被检测的过渡、遮挡等时，执行关于与先前帧的特征区域像素对应的当前帧的像素的轨迹估计可能失败。所以，这里，由于没有执行轨迹估计，所以也不使用先前帧的特征区域像素和当前像素之间的对应信息来更新注册存储器。当轨迹估计结果没有被存储或对当前帧的特定像素的轨迹估计执行失败时，除了当前帧的特定像素之外的已执行轨迹的与先前帧的特征区域像素对应的像素可根据它们各自的空间谱被划分到特征区域和统一区域。如果当前帧已被分为N×M个块，然后作为特定像素的相同的块的另一像素(所述特定像素例如，由于过渡、遮挡等被确定为不适合轨迹估计)可基于空间谱和/或从先前帧的特征区域像素的估计的轨迹被划分到特征区域。如上所述，在一个或多个实施例中，这个其它特征区域像素可被认为是块的所有像素的特征区域像素。

图6A和图6B示出根据一个或多个实施例的对特征区域像素执行的轨迹估计。

参考图6A和图6B，在一个或多个实施例中，可执行(例如)从先前帧610的特征区域像素601到当前帧640的像素的轨迹估计。在一个或多个实施例中，当前帧640的像素的轨迹可仅基于先前帧630的特征区域像素，或仅基于多个先前帧的特征区域像素。类似地如图6B中所示，仅为简单的示例，当前帧640可被认为是在时间t上的帧(t)，先前帧630可被认为是帧(t-1)，先前帧620可被认为是帧(t-2)，先前帧610可被认为是帧(t-3)。所以，如果考虑基于10帧的轨迹估计，例如，如图6B中所示，对帧(t)的像素的估计可最终基于从帧(t-9)中的特征区域像素的轨迹估计的对帧(t-8)的估计，...，从帧(t-3)中的特征区域像素的轨迹估计的对帧(t-2)的估计，从帧(t-2)中的特征区域像素的轨迹估计的对帧(t-1)的估计以及从帧(t-1)中的特征区域像素的轨迹估计的对帧(t)的估计。由于已知先前帧的特征区域像素的信息(用于下一帧的特征区域像素的轨迹估计)，(例如)在以下讨论的匹配操作之后，来自通过若干帧的有关特征区域像素的后代的像素信息可用于直接投射到高清晰度帧或可用于在高清晰度帧中的像素的插值。

使用子像素分析，在一个或个实施例中，并且参考图6A作为示例，在帧610中选择的特征区域像素601可追踪到帧620中相应的特征区域像素602，例如，潜在追踪到帧620中的子像素单元位置，在帧620中的估计的特征区域像素601可以以子像素单元追踪到帧630中相应的特征区域像素603，估计的特征区域像素603可以以子像素单元追踪到帧640中相应的特征区域像素604。可通过基于在帧630中的像素603的轨迹来从在640中的若干候选像素中选择具有最大相关性的帧640的像素来执行追踪到帧640中的特征区域像素的选择，例如，像素604从在帧640中的若干候选像素中被选为具有最大相关性的像素。所以，在这样的实施例中，可仅关于先前帧610、620和630的特征区域像素601、602、603，对当前帧640的像素执行轨迹估计，可不需要执行关于先前帧610、620和630的其余像素(如统一区域像素)的轨迹估计。

如以下将更详细地讨论地，根据一个或多个实施例，使用特征区域像素的各自的轨迹信息作为追踪每一帧的信息，例如，通过后代或相关的特征区域像素，可执行各自的注册操作来将关于轨迹估计的特征区域像素的像素值和位置的信息和相应的相邻或邻近像素的像素值和位置的潜在类似注册以及估计轨迹估计的像素的先前帧的特征区域像素的信息存储(例如)在注册存储器中。

例如，参考图6B，示出了从帧(t-9)到帧(t-1)的每个帧的与每个特征区域像素相邻的像素的位置。对于每一帧，除了各自的特征区域像素之外，相邻像素的位置和使用的邻近像素的数量可基于注册操作的精确度、系统的复杂度等而改变。

在一个或多个实施例中，在上述的基于先前帧的特征区域像素的轨迹估计中，可仅需要存储先前帧的各自的特征区域像素的信息和每个先前帧的相应的相邻像素的值，与需要将每一帧的所有像素或块的信息存储在单独的帧存储器中的上述的传统图像处理技术相比，即，每一帧的信息被存储在单独的帧存储器中，并且需要从每一先前帧的所有像素或块的轨迹估计。另外，如以上也指出的，在传统的图像处理技术中，仅在所有运动估计之后执行当前帧的任何帧注册，这与参考帧的数量一样被要求，例如，对当前帧的每个运动估计的像素或块的10次估计导致实时处理通常不可用。相反，在一个或多个实施例中，可能需要为当前帧的轨迹估计像素存储来自先前帧的有限的像素信息和仅来自每个特征区域像素的轨迹估计。另外，在一个或多个实施例中，可以每帧都更新相应的特征区域像素的任何先前轨迹，使得可以以实时方式执行基于每个先前帧的每个特征区域像素的轨迹估计。所以，在一个或多个实施例中，可实时地完成特征区域的特征区域像素的轨迹估计和插值、统一区域的插值和两者插值的结果的合并。

将传统地需要对存储的先前帧的每个像素或块的信息执行运动估计以追踪当前帧中的运动估计的像素，并且不得不对每一先前帧执行运动估计，将依赖每一先前帧产生高清晰度帧。然而，这里的来自先前帧的先前相关的特征区域像素的信息(即，每次对下一帧中的特征区域像素的轨迹估计)可用于插值(无需每个可用先前帧的多级运动估计)。相反，通过为当前帧的轨迹估计的像素访问先前帧的特征区域像素的信息，(例如)来自注册存储器的特征区域像素的整个后代的像素信息可变得可用。所以，在一个或多个实施例中，实际上可需要少量的存储器来存储仅每个先前帧的特征区域像素和潜在的相应的相邻或邻近像素的信息，以及先前帧的特征区域像素的各自的更新的轨迹信息，使得可执行实时处理。

图7示出根据示例性实施例的以子像素单元对特征区域像素执行的轨迹估计。

参考图7，根据一个或多个实施例，可基于由从当前帧710的先前帧的特征区域像素执行的轨迹估计得到的像素701来将当前帧710的像素701划分为特征区域像素，并且也可基于由从当前帧710的先前帧的特征区域像素以子像素单元执行的轨迹估计得到的像素702来将当前帧710的子像素702也划分为特征区域像素，例如，当前帧的估计的像素可以是当前帧的子像素(即，位于当前帧的现有像素之间的子像素位置)。这里，根据一个或多个实施例，通过执行关于先前帧的特征区域像素的轨迹估计来确定当前帧的特征区域像素的步骤可包括：以子像素单元级执行轨迹估计。可基于(例如)从相邻像素的插值来确定包括子像素702的亮度值、梯度值、二阶微分值、空间谱值和像素值的信息。根据一个或多个实施例，可由整数单元插值以确定包括子像素的亮度值、梯度值、二阶分值、空间谱值和像素值的信息。

图8示出根据一个或多个实施例的将被存储的低清晰度视频的帧的特征区域像素和相邻像素的像素值和位置。

参考图8，根据一个或多个实施例，可基于先前帧810的特征区域像素811来对当前帧830的像素执行轨迹估计，例如，帧(t-2)或早于当前帧830两帧。可将作为先前帧810的特征区域像素的像素811的像素值和位置(例如)存储在上述的注册存储器中。如上所讨论的，特征区域像素的‘像素值’可以是包括特征区域像素的亮度值、梯度值、二阶分值、空间谱值及像素值等的信息。这里，特征区域像素的‘位置’可表示在低清晰度视频的帧中特征区域像素的位置，并根据一个或多个实施例，可被表示为坐标、矢量等。

另外，还可将特征区域像素811的相邻像素812的像素值和位置存储(例如)在注册存储器中。相邻或邻近像素的位置可同样被表示为每个都有关于特征区域像素的位置的相对值的坐标或矢量(例如，具有基于特征区域像素的相对值的坐标，或表示为距特征区域像素的距离和角度的矢量)，还可被表示为每个都有绝对值的坐标，矢量等(例如，基于0的坐标，或表示为距0的距离和角度的矢量)。如上讨论的，可基于系统的匹配精确度和复杂度来调整邻近像素的数量。为确定相邻或邻近像素，当特征区域像素是子像素单元的像素时，可利作下舍入运算来计算坐标，并且可基于计算的坐标来确定相邻或邻近像素。例如，在特征区域像素具有坐标(2，2.5)的情况下，可利用下舍入运算获得坐标(2，2)，并且与坐标(2，2)相邻或邻近的像素可被确定为相邻或邻近像素。根据一个或多个实施例，也可利用上舍入运算或可选的运算来计算坐标。

可同样地存储先前帧820的特征区域像素821的像素值和位置(例如，帧(t-1)或早于低清晰度视频的当前帧830一帧)以及也可存储像素821的相邻或邻近像素822的像素值和位置。类似地，还可将当前帧830的划分的特征区域像素831的像素值和位置以及像素831的相邻或邻近像素832的像素值和位置存储(例如)在注册存储器中。

因此，在一个或多个实施例中，低清晰度帧(如当前帧830)的轨迹估计的特征区域像素可仅代表存储在这样的注册存储器中的来自一个或多个先前帧中的特征区域像素和相应的相邻或邻近像素，例如，所述一个或多个先前帧将或应该对应于低清晰度视频帧中的特征区域的像素。如下所述，然后可通过先前帧的这些指定的特征区域像素基于存储在注册存储器中的这些像素的信息来进行匹配操作，通过将低清晰度帧的像素与指定的特征区域像素进行更特别地匹配以实际产生适当的像素值并且转换指定的特征区域像素的坐标以用于投射到高清晰度帧上，以及低清晰度帧的特征区域像素信息也可用于投射到高清晰度帧上。所以，基于轨迹估计和相应的匹配，将大大增加可用于对高清晰度帧的任何一个区域进行插值的像素和像素信息。匹配也可直接从当前帧或相应的先前帧的一个特征区域像素来识别高清晰度帧的像素值。相反，在一个或多个实施例中，低清晰度帧的统一区域的插值可只基于统一区域中的像素，从而插值可推断像素值的像素的数量是有限的。

以下，将进一步描述当前帧的特征区域像素与先前帧的特征区域像素的匹配。

图9示出根据一个或多个实施例的特征区域像素的匹配。

参考图9，在轨迹估计之后，例如，在一个或多个实施例中，将当前帧940的轨迹估计的特征区域像素941和与当前帧940的特征区域像素941对应的至少一个先前帧910、920和930的特征区域像素911、921和931进行匹配，从而确定来自先前特征区域像素和相应的相邻或邻近像素的哪个像素值应该被用于对与当前帧940对应的高清晰度视频的像素进行插值。因此，在轨迹估计之后，如果仍然发现特征区域像素911与特征区域像素941充分地匹配，则特征区域像素911和来自帧910的相应的相邻或邻近像素的像素值可直接被投射到高清晰度帧中和/或在对高清晰度帧的像素进行插值期间可被使用。

因此，根据一个或多个实施例，可将关于的先前帧910(例如，帧(t-3)或早于当前帧940三帧)的特征区域像素的像素911的像素值和位置以及与像素911相邻的相邻像素912(如示出的菱形)的像素值和位置存储(例如)在注册存储器中。可执行从先前帧920(例如，帧(t-2)或早于当前帧940两帧)的像素到先前帧910的特征像素911的轨迹估计，并可存储先前帧920的特征区域像素921的像素值和位置以及与特征区域像素921相邻的相邻像素922(如示出的三角形)的像素值和位置。可执行从先前帧930(例如，帧(t-1)或早于当前帧940一帧)的像素到先前帧920的特征像素921的轨迹估计，并且可存储先前帧930的估计的特征区域像素931的像素值和位置以及与特征区域像素931相邻的相邻像素932(如示出的正方形)的像素值和位置。还可执行从先前帧930的特征像素931到当前帧940的像素的轨迹估计，并且可存储估计的特征区域像素941的像素值和位置以及与特征区域像素941相邻的相邻像素的像素值和位置。

在一个或多个实施例中，可输入低清晰度视频的复数帧，并且直到将预定的帧的数量输入到图像处理系统时才执行轨迹估计。例如，仍实时地对每个低清晰度帧执行分类，但是直到输入了足够数量的帧才执行轨迹估计以及存储相应的结果。仅作为示例，仅将第一输入帧划分到特征区域和统一区域，并不对第一输入帧执行轨迹估计。可更适合地从第二输入帧开始执行轨迹估计以及轨迹估计的像素和相应的相邻或邻近像素的注册。在随后的帧上可类似地执行第一轨迹估计和轨迹估计像素的注册，并且还可对先前帧执行第一轨迹估计和轨迹估计像素的注册，例如，如果预定的数量为4，则可输入四帧，继而将四帧划分到统一区域或特征区域，并且在第四帧的输入时，可执行对从第二到第三输入帧的轨迹估计(例如)，同时执行当前输入帧4的分类。

所以，在当前帧940中，(例如)来自注册存储器的关于先前帧910、920和930的特征区域像素911、921和931及相邻像素912、922和932，以及关于当前帧940的特征区域像素941的像素值和位置的信息是可用的，使得各自的先前相邻像素912、922、932可被投射到当前帧940上或可通过插值单元(如图13A-图13C的高分辨率插值单元1350)从注册存储器中直接被访问。因此，使用关于像素值和位置的这个信息，可确定与当前帧940对应的高清晰度视频的帧的每个像素的像素值，从而产生高清晰度视频。

根据一个或多个实施例，如图9所示，先前帧910的特征区域像素911可具有坐标(2，2)，并且相邻坐标912可具有关于特征区域像素911的相对坐标(-1，1)。先前帧920的特征区域像素921可具有坐标(2，2.5)，并且相邻坐标922可具有关于特征区域像素921的相对坐标(-1，0.5)。此外，先前帧930的特征区域像素931可具有坐标(5.5，1.5)，并且相邻坐标932可具有关于特征区域像素931的相对坐标(-0.5，-1.5)。在这种情况下，可储存相邻像素912、922和932的位置的像素值。在当前帧940中已执行轨迹估计的特征区域像素941可具有坐标(4.5，2)。

根据一个或多个实施例，可将当前帧940的特征区域像素941和先前帧910、920和930的特征区域像素911、921和931并且潜在地与相邻像素912、922和932进行匹配。利用储存的表示相邻像素912定位于关于特征区域像素911的相对坐标(-1，1)的位置信息，当前帧940的相邻像素942可定位于关于当前帧940的特征区域像素941的相对坐标(-1，1)，从而可确定相邻像素942具有坐标(3.5，3)。类似地，可确定当前帧940的特征区域像素943具有坐标(3.5，2.5)，及可确定当前帧940的特征区域像素944具有坐标(4，0.5)。还可将来自先前帧910、920和930的特征区域像素911、921和931以及相邻的相邻像素912、922和932的更新的像素坐标存储在注册存储器中。这里，在一个或多个实施例中，基于与当前帧940相关的特征区域像素的所有坐标，如果输入下一个低清晰度帧，并且应用了上述的轨迹估计和插值，则先前帧的潜在的仅有的注册信息(即，当前帧940)和先前帧的特征区域像素的更新的各自的轨迹信息可能需要被检查以将下一个低清晰度帧插值成为高清晰度帧。

通过上述方式，低清晰度视频的当前帧940可具有多个关于特征区域像素941的估计的相邻像素的像素值和位置，基于从先前帧选择的像素值和位置，可利用所述多个相邻像素的像素值和位置产生精确的高清晰度帧。

根据一个或多个实施例，仅当已执行轨迹估计的先前帧的特征区域像素和当前帧的特征区域像素之间的像素值差不符合或小于参考值(或一个或多个参考值)时，才可选择性地执行上述的匹配操作。在这种情况下，当该差值很大时，先前帧的特征区域像素和当前帧的特征区域像素值之间可能不存在相关性，并且当前帧的特征区域像素可能不适合被用于产生与当前帧对应的高清晰度视频。也就是说，在一个或多个实施例中，仅当像素之间的差值不符合或小于参考值时，可执行匹配操作(例如)以防止关于特征区域像素的匹配操作的差错。

例如，当先前帧920的特征区域像素921的像素值(例如，亮度值)和当前帧940的特征区域像素941的像素值之间的差大于参考值时，可确定在特征区域像素921和特征区域像素941之间不存在相关性，并且当执行匹配操作时，关于特征区域像素921和相邻像素922的信息就不能作为用于产生与当前帧940对应的高清晰度视频的信息。这里，仍可基于先前帧920的其余特征区域像素和各自的相邻像素来产生高清晰度帧。不对特征区域像素921和相邻像素922进行匹配可表示为在注册存储器中特征区域像素921和相邻像素922的信息不应被使用在插值操作中或特征区域像素921和相邻像素922可不被存储在注册存储器的确定特征区域像素和相应的相邻像素或邻近像素可被用于插值处理期间的相应的部分。

根据一个或多个实施例，所述方法还可包括接收用于为这个匹配操作确定在当前帧的特征区域像素和先前帧的各自的特征区域像素之间的需要的相关的一个或多个参考值的输入。

图10示出根据一个或多个实施例的防止在特征区域像素的匹配中产生的差错的方法。

参考图10，在操作S1010中，根据一个或多个实施例，可进一步将当前帧的特征区域像素划分到纹理区域和边缘区域。

根据一个或多个实施例，可根据当前帧的特征区域像素是否分别被包括在纹理区域或边缘区域，来不同地确定以下讨论的参考值Th_texture和Th_edge。当特征区域像素被包括到纹理区域时，匹配操作的差错不容易被察觉，而当特征区域像素被包括到边缘区域时，由于在边缘的匹配操作的差错导致图像质量的恶化容易被察觉。所以，在一个或多个实施例中，参考值Th_texture可被用于校正或防止在纹理区域中的匹配操作的差错，参考值Th_edge可被用于校正或防止在边缘区域中的匹配操作的差错。在一个或多个实施例中，Th_texture和Th_edge参考值可以分别是纹理区域和边缘区域的注册差错的亮度值的参考值。一般来说，在一个或多个实施例中，可将用Th_texture确定得高于Th_edge。

所以，当当前帧的特征区域像素被划分到纹理区域时，在操作S1020中，(例如)可确定纹理区域的特征区域像素和与该特征区域像素对应的先前帧的特征区域像素之间的像素值差是否小于参考值Th_texture。当该像素值差小于Th_texture时，在操作S1021中，可在纹理区域的特征区域像素和先前帧的特征区域像素之间执行以上讨论的匹配操作。然而，当该像素值大于Th_texture时，在操作S1022中，当执行上述的匹配操作时就可排除先前帧的特征区域像素，并且与以上类似地，(例如)根据先前帧的特征区域像素在注册存储器中的存储/非存储，或根据注册存储器的控制使用像素信息对与特征区域对应的高清晰度帧的像素进行插值的部分，关于特征区域像素的信息可能不被用于插值操作。

当当前帧的特征区域像素被划分到边缘区域时，在操作S1030中，可确定边缘区域的特征区域像素和与该特征区域像素对应的先前帧的特征区域像素之间的像素值差是否小于Th_edge参考值。当该像素值差小于Th_edge时，在操作S1031中，可执行边缘区域的特征区域像素与先前帧的特征区域像素的以上讨论的匹配操作。然而，当该像素值差大于Th_edge时，在操作S1032中，当执行上述的匹配操作时就可排除先前帧的特征区域像素，并且与以上类似地，关于特征区域像素的信息可能不被用于插值操作，(例如)根据先前帧的特征区域像素作为对与特征区域对应的高清晰度帧的像素进行插值的期间被访问的像素信息在注册存储器中的存储/非存储，先前帧的特征区域像素可不被存储在注册存储器中。此外，根据一个或多个实施例，边缘保留低通滤波器可应用于防止边缘区域的特征区域像素的匹配操作的差错(如图13C所示)。用于边缘保护的低通滤波器可进一步试图减少注册误差。

图11示出根据一个或多个实施例的与低清晰度视频的帧对应的高清晰度视频的帧。如图11中示出，基于上述的轨迹估计、特征区域像素分类以及匹配，已将示出的像素定位到当前帧(即，低清晰度视频的低清晰度帧)的坐标系统(仅作为示例)。可通过插值单元(如图13A-图13C的高分辨率插值单元1350)仅从注册存储器同样地获得定位的坐标，或可将定位的坐标投射到当前帧上(如图11所示)。

参考图11，根据实施例的低清晰度视频的当前帧1110可具有特征区域像素1111、1112、1113、1114、1115、1116和1117。特征区域像素1111可具有坐标(0，0)，特征区域像素1112可具有坐标(1，0.5)，特征区域像素1113可具有坐标(3，1)，特征区域像素1114可具有坐标(1.5，1.5)，特征区域像素1115可具有坐标(1，2)，特征区域像素1116可具有坐标(3，2)，特征区域像素1117可具有坐标(2，3)。这里，(例如)所述坐标基于当前帧1110的半像素单元，使得一些像素具有一半的x轴或y轴坐标。如上所述，可存储(例如)特征区域像素1111、1112、1113、1114、1115、1116和1117的像素值和位置。图9的示图代表包括各自相邻像素的不同帧，并且使用钻石、三角形和正方形代表特征像素911的相邻像素，与图9的示图类似，图11示出根据代表特征区域像素1113的钻石、代表特征区域像素1115和1117的三角形、代表特征区域像素1111的正方形、代表像素1114的加点圆圈以及代表像素1116的双圆圈，示出以代表来自不同先前(或当前)帧的投射的轨迹估计的特征区域像素或划分的特征区域像素。

所以，如上所述，在一个或多个实施例中，低清晰度视频的当前帧1110可以是包括当前帧1110的特征区域像素和与当前帧1110的一个或多个先前帧对应的至少一个特征区域像素的帧，即，先前帧的特征区域像素可被投射到当前帧1110上。在一个或多个实施例中，特征区域像素1111、1112、1113、1114、1115、1116和1117可以(可选的)是当前帧1110的特征区域像素的相邻像素和/或先前帧的被投射到当前帧1110上的至少一个特征区域像素的相邻像素。

在插值期间，当产生的与低清晰度视频的当前帧1110对应的高清晰度帧与低清晰度视频相比具有两倍的分辨率时，与低清晰度视频的当前帧1110的特征区域像素1111、1112、1113、1114、1115、1116和1117对应的高清晰度视频的帧1120的特征区域像素1121、1122、1123、1124、1125、1126和1127，可具有与特征区域像素1111、1112、1113、1114、1115、1116和1117的坐标对应的在x轴和y轴上分别增长两倍的坐标。也就是说，在高清晰度视频的高清晰度帧1120中，帧1120的特征区域像素1121现在可具有坐标(0，0)，特征区域像素1122现在可具有坐标(2，1)，特征区域像素1123现在可具有坐标(6，2)，特征区域像素1124现在可具有坐标(3，3)，特征区域像素1125现在可具有坐标(2，4)，特征区域像素1126现在可具有坐标(6，4)，以及特征区域像素1127现在可具有坐标(4，6)。

可通过插值来获得与特征区域像素1121、1122、1123、1124、1125、1126和1127不同的像素1128的像素值，注意到与高清晰度帧1120中的特征区域像素1121、1122、1123、1124、1125、1126和1127中的任何像素对应的像素值同样可基于进一步的插值操作。(例如)以下，图12将进一步讨论对像素1128的这样的插值操作。

图12示出根据一个或多个实施例对高清晰度视频的帧的像素执行插值。

参考图12，高清晰度视频的帧1210可具有与低清晰度视频的特征区域像素对应的特征区域像素1211以及插值的像素1212(如图12所示的白色像素1211)。如图12所示，特征区域像素1211可基于轨迹估计已经具有像素值。然而，需要通过插值获得白色像素1212的像素值。

考虑到高清晰度视频的帧1210的特征像素1211和白色像素1212之间的相关性，可由以下公式对白色像素1212的像素值进行插值：

$I_{\mathrm{out}}(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i{I}_i$

其中，w_i表示权值。在一个或多个实施例中，权值可被表示为：

$w_i=\frac{d_i^{-p}}{{\mathrm{\Σ}}_{i=1}^n{d}_i^{-p}}$

其中，di表示黑色像素1211和白色像素1212之间的距离，p表示控制距离的数量级的常数值。也就是说，可基于将要被插值的像素与附近的特征区域像素以及潜在的各自的相邻像素的距离(用作权值)，来执行关于高清晰度视频的帧的像素值的插值。如示图1220所示，可使用示出的在白色像素1212与附近的特征区域像素或各自的相邻像素之间的不同的距离来对白色像素1212的像素值进行插值。可(例如)基于可用的资源来预定或改变用于对白色像素1212的这样的插值的特征区域像素和潜在的相应的相邻或邻近像素数量和/或接近度。

以下，将进一步描述根据一个或多个示例性实施例从低清晰度视频产生高清晰度视频。

在一个或多个实施例中，可对低清晰度视频的第i-1帧(等同于上述的帧(t-1))的特征区域像素执行轨迹估计，从而确定低清晰度视频的第i帧(类似等同于上述的帧(t))的特征区域像素。

随后可将第i帧的特征区域像素和与第i帧的特征区域像素对应的先前帧的至少一个特征区域像素进行匹配，以确定与第i帧对应的高清晰度视频的帧的像素的像素值。

所以，使用插值，(例如)可对相应的高清晰度帧的没被确定的像素(如来自低清晰度帧的特征区域像素之间的像素、来自先前低清晰度帧的投射到低清晰度帧的特征区域像素之间的像素或重叠的像素)进行插值得到像素值。

根据一个或多个实施例，可已执行从低清晰度视频的第i-2帧的特征区域像素对第i-1帧的特征区域像素的轨迹估计，或第i-1帧的特征区域像素可以是第i-1帧中的具有相对较高的空间谱的像素。也就是说，可将已被执行从被确定为第i-2帧的特征区域像素的像素的轨迹估计的第i-1帧的像素划分为第i-1帧中的特征区域像素，并且如以上讨论的，可根据第i-1帧的其余像素的各自的空间谱，将第i-1帧的其余像素划分到特征区域和统一区域。

类似地，根据一个或多个实施例，可已执行从低清晰度视频的第i-3帧的特征区域像素对第i-2帧的特征区域像素的轨迹估计，或第i-2帧的特征区域像素可以是第i-2帧的具有相对较高的空间谱的像素。也就是说，可将已被执行从被确定为第i-3帧的特征区域像素的像素的轨迹估计的第i-2帧的像素划分为第i-2帧中的特征区域像素，并且如以上讨论的，可根据第i-2帧的其余像素的各自的空间谱，将第i-2帧的其余像素划分到特征区域和统一区域。

所以，可基于从到当前帧的轨迹估计的至少一个先前帧的特征区域像素(作为当前帧的特征区域像素)，并且使用基于当前帧的其余像素的各自的空间谱被划分到特征区域或统一区域的当前帧的其余像素，来执行将当前帧的像素划分到特征区域和统一区域之一的分类。从低清晰度视频产生高清晰度视频可通过以下几个步骤：应用(例如基于选择的匹配操作)当前帧的划分的特征区域像素的已知像素信息和先前帧的特征区域像素以及潜在的相邻或邻近像素的已知像素信息；将来自先前帧的已知像素信息的坐标定位；将来自先前帧和当前帧的已知像素信息投射到高清晰度帧；以及对在高清晰度帧中其余的有待确定的像素进行插值。在实施例中，所述插值同样可包括对特征区域像素的已知像素信息进行插值，如当通过上述的基于关于高清晰度帧的未知像素的插值的距离，估计在高清晰度帧中两个或更多的像素重叠或过于接近时。

以上提及的关于视频的当前帧的清晰度或分辨率的转换(例如，将低清晰度视频转换为高清晰度视频)的实施例同样可应用于基于附加信息(例如，另一图像或先前图像的像素信息和轨迹信息)的将单个图像转换为高清晰度或高分辨率的图像，虽然附加信息并非必需来自另一图像或先前图像，并且附加信息可以是来自当前帧先前压缩为低清晰度图像的信息，注意可选项同样可用。所以，一个或多个实施例包括一种系统和方法，所述系统和方法：基于高清晰图像的分类将高清晰度图像划分为特征区域和统一区域之一，并且基于以上可用的分类操作产生分类到特征区域的像素的轨迹信息；基于与低清晰度图像对应的特征区域像素以及潜在的相邻或邻近像素的产生的轨迹信息和位置和值，对压缩的低清晰度图像进行相应的解压缩，从而基于描述于此的一个或多个实施例再现高清晰度图像。

以下，将进一步描述根据一个或多个实施例的从低清晰度视频产生高清晰度视频的方法。

第一，可输入低清晰度视频的第一帧。

在实施例中，可将第一帧分为N×M个块。在一个或多个实施例中，通过调整N或M的大小，可调整第一帧的特征区域像素的数量。

可单独或组合地执行上述操作，上述操作用于将第一帧的像素划分到特征区域或统一区域，并可存储第一帧的特征区域像素的像素值和位置。此外，还可存储与第一帧的划分的特征区域像素相邻的像素的像素值和位置。类似地，在一个或多个实施例中，如果第一帧被分为N×M个块，则将第一帧的像素划分到特征区域或统一区域的执行：可只将每个块的单个像素划分为特征区域像素，从而代表该块的所有像素，如果根据上述的操作将该块的至少一个像素确定为特征区域像素，则该块的特征区域像素可以是该块的最符合标准或相对于用于上述的划分操作的各自的参考值具有最大值的像素(仅作为示例)。相同块的作为划分的特征区域像素的其余像素可被划分为各自特征区域像素的相邻或邻近像素。根据上述操作的一项或多项没有像素被确定为特征区域像素的块可被划分到统一区域，随之将各自块的所有像素划分到统一区域。

另外，可输入低清晰度视频的第二帧。

根据一个或多个实施例，可将第二帧分为N×M个块。

可执行从第一帧的各自的特征区域像素的轨迹估计，从而估计第二帧中的与第一帧的特征区域像素对应的像素。如上讨论的，第二帧的特征区域像素的估计不需要在先前帧中的已被划分为统一区域像素的像素，因此，只执行第一帧的特征区域像素的轨迹估计。

另外，根据一个或多个实施例，‘轨迹估计’可包括：选择与第一帧的特征区域像素和第二帧的像素具有最高相关性的像素；使用包括像素的亮度值、梯度值、二阶微分值、空间谱值和像素值等的信息；以及使用亮度差来执行轨迹估计的SAM方法，如当第一或第二帧被分为N×M个块时(仅作为示例)。

根据一个或多个实施例，所述方法可对在第一帧中的子像素执行轨迹估计，从而将第二帧的子像素确定为轨迹估计的特征区域像素。还可通过利用插值从一个或多个相邻像素确定包括第二帧的子像素单元的像素的亮度值、梯度值、二阶微分值、空间谱值和像素值的信息(仅作为示例)。

在有过渡、遮挡、检测或预期等的情况下，不可执行关于与第一帧的特征区域像素对应的第二帧的像素的轨迹估计。在这种情况下，可能没有与第一帧的特征区域像素对应的第二帧的像素，并且可能需要由特征区域像素附近的另一像素(例如，当第一帧被分为N×M个块时在相同块中的另一像素)来代表将要由第一帧的特征区域像素定义的像素。

因此，根据一个或多个实施例，可将已执行轨迹估计的第二帧的像素分类为第二帧的特征区域像素，并且可存储特征区域像素的像素值和位置。还可存储第二帧的特征区域像素的一个或多个相邻像素的像素值和位置。此外，同样可存储第二帧的虽然没通过轨迹估计的估计，而被划分到特征区域的像素的像素值和位置，并且还可存储一个或多个相应的相邻像素的像素值和位置。与以上类似，如果第二帧被分为N×M个块，除代表块的特征区域像素的像素值和位置外，还可存储块的其余像素的像素值和位置。

以下，可输入低清晰度视频的第i帧。

根据一个或多个实施例，可将第i帧分为N×M个块。

可执行从被划分为第i-1帧(如第二帧当i＝2时)中的特征区域像素的像素的轨迹估计以估计与第i-1帧的特征区域像素对应的第i帧的像素。对第i-1帧中的子像素单元执行轨迹估计，从而将第i帧的子像素估计为特征区域像素。

因此，在高清晰度视频的与第i帧对应的高清晰度帧中，可对其像素值没被确定的像素的像素值进行插值。

可输出与低清晰度视频的第i帧对应的(例如)具有估计的像素和插值的像素的高晰度视频的帧。类似地，可实时产生高清晰度视频的帧(如第i+1帧，第i+2帧等)。

另外，(例如)可通过图13A-图13C的高分辨率插值单元1350可产生与复数高清晰度帧对应的高清晰度视频。(例如)可以以其x轴和y轴坐标值的几倍来将每一帧的统一区域中的各自的像素投射到与统一区域对应的高清晰度帧。在一个或多个实施例中，(例如)可使用在仅基于来自相同的低清晰度帧的被投射到与统一区域对应的高清晰度帧的像素的高清晰度帧的像素值的插值，来估计在与统一区域的高清晰度帧中的未知的像素。

在实施例中，在与统一区域对应的高清晰度帧中的像素的插值可受限于对在被划分到统一区域的像素之间的像素(而不与特征区域对应的高清晰度帧的像素重叠)进行插值，类似地，在特征区域像素的高清晰度帧中的像素的插值可受限于对不与统一区域对应的高清晰度帧的像素重叠的像素进行插值，从而可容易地将基于特征区域的高清晰度视频和基于统一区域的高清晰度视频进行组合，而不需要进一步的实质的插值。作为可选方式，由于与特征区域对应的高清晰度帧和与统一区域对应的高清晰度帧之间的重叠，可执行附加的插值。同样，如果将与特征区域对应的高清晰度视频和与统一区域对应的高清晰度视频合并，则可执行插值。

所以，然后可将与特征区域像素对应的高清晰度视频和与统一区域像素对应的高清晰度视频合并，并且可输出代表输入的低清晰视频的所有部分的单个高清晰度视频。

在一个或多个实施例中，在产生高清晰度帧中，基于将统一区域的像素划分为不同于特征区域像素的像素，只要用于被划分到统一区域的像素的像素估计和/或插值技术的必要处理和/或存储器需要小于或不同于特征区域的估计和/或插值处理，就可使用对与低清晰度帧的统一区域对应的像素进行像素估计和/或可选的插值技术来产生基于统一区域的高清晰度帧。在一个或多个实施例中，与统一区域对应的高清晰度帧的产生基于不对低清晰度帧的附加像素进行估计操作，而仅基于对在被划分到统一区域的现有像素之间的像素进行插值，即，与统一区域对应的高清晰度帧仅来自低清晰度帧的统一区域中提供的像素信息。另外，同样还可将每一帧的每个特征区域和/或统一区域的像素进一步划分到各自的子区域，其中，可执行选择的估计和/或插值。例如，虽然可将实施例描述为对特征区域中的所有像素应用相同的估计和插值技术并且对统一区域中的所有像素应用相同的插值技术，但是基于附加因素(如当前帧中的每个像素的位置或潜在的定义的感兴趣区域)，对特征区域和统一区域的像素的各自的估计和/或插值技术可选择性地不同。

图13A-图13C示出根据一个或多个实施例的从低清晰度图像产生高清晰度图像的图像处理系统。根据一个或多个实施例，图13A-图13C图像处理系统执行一个或多个上述的实施例。

仅作为示例，参考图13A-图13B，区域分类单元1320可将低清晰度帧的像素划分到特征区域和统一区域并且可将划分的特征区域像素和邻近像素的信息存储到注册存储器中。(例如)如果高分辨率插值单元1350不直接访问来自低清晰度帧的识别的统一区域像素，则还可存储划分的统一区域像素。参考图13C，单独示出的区域分类单元1320可以是执行划分到特征区域和统一区域的分类的单个单元，或是分别将像素划分到特征区域和统一区域的分离的单元。图13C的复数区域分类1320的安排同样可用于图13A-图13的实施例。

另外，区域分类单元1320可执行上述的将当前帧分为N×M个块的操作，并且执行对N×M个块的各自的分类，和/或当控制将当前帧划分为特征区域还是统一区域时检查特征区域像素之间的最小距离(仅作为示例)。区域分类单元1320还可控制特征区域像素之间的最小距离，并且可选择性地划分最小距离内的像素。

参考图13A-图13C，轨迹估计单元1330可从先前帧到低清晰度帧的划分的特征区域像素执行特征区域像素的轨迹估计，并且可选择性地将它们的轨迹估计的位置存储在注册存储器中，潜在地将轨迹估计的位置选择性地存储在注册存储器中的步骤还包括：将低清晰度视频的轨迹估计的特征区域像素与先前帧的相应的特征区域像素进行匹配的操作。轨迹估计单元1310的轨迹估计的操作可类似于上述的轨迹估计单元1330。

如图13B所示，在一个或多个实施例中，可在通过区域分类单元1320将像素划分到特征区域或统一区域之前，通过轨迹估计单元1310执行轨迹估计，并且可将任何得到的低清晰度帧的轨迹估计的像素划分为低清晰度帧的特征区域像素，并且可通过区域分类单元1320执行仅将其余像素划分到特征区域或统一区域，即，由于轨迹估计的像素是从先前帧的特征区域像素被估计的，所以它可自动被划分到特征区域。可存储轨迹估计的像素的信息。所以，区域分类单元1320可不对轨迹估计的像素执行任何操作，而仅仅对下一个像素进行划分。在这个实施例中，可将轨迹估计单元1310安排在区域分类单元1320之前，并且在接下来的区域分类单元中示出另一轨迹估计单元1330。这里，轨迹估计单元1310和轨迹估计单元1330可以是相同的单元，它们可执行不同的职责，如轨迹估计单元1330潜在地更新轨迹或可能不需要轨迹估计单元1330。在图13B的实施例中，当轨迹信息不可用时(如当输入帧是一系列帧的第一帧并且没有可用的先前帧信息时)，可不执行轨迹估计单元1310。然而，当输入下一帧时，由于来自先前帧的轨迹信息现在可用，可执行轨迹估计单元1310。

一旦被识别，可使用低清晰度帧的轨迹估计的像素和相邻或邻近像素的像素值和位置以及轨迹估计的先前帧的特定特征区域像素的像素值和位置来将当前帧的特征区域像素和若干先前帧的特征区域像素进行匹配。通过了解先前帧的特定特征区域像素，来自所有先前帧的相应的特征区域像素也可用。例如，如果先前帧的特征区域像素也是从更先前帧的特征区域像素的轨迹估计的结果，则可能已经在之前就存储了更先前帧的特征区域像素的像素值和位置。基于在低清晰度帧中的像素的从先前帧的特征区域像素的轨迹估计，可了解来自先前帧的先前特征区域像素的有关后代。基于这个已知的后代，可仅通过访问这些特征区域像素的存储的信息和它们的轨迹信息(例如，识别它们是从先前帧的哪个特征区域像素估计得到的)，容易地将来自若干先前帧的像素信息投射到高清晰度帧的区域上。

图13B中的轨迹估计单元1310和图13A-图13C中的轨迹估计单元1330可基于检测的过渡、遮掩等来选择性地执行轨迹估计。还可将轨迹估计单元1310或轨迹估计单元1330与区域分类单元1320合并。此外，在一个或多个实施例中，轨迹估计单元1330可仅对特征区域像素(即，被区域分类单元1320划分到特征区域的像素)执行轨迹估计。

注册单元1340可控制哪些像素值信息最终可用于插值，并还可组织特征区域像素信息和用于下一帧的转换的各自的轨迹。例如，注册单元1340可执行上述的匹配操作。图13C示出的注册单元1340包括至少纹理注册单元1342、边缘注册单元1344和低通滤波器1346。纹理注册单元1342、边缘注册单元1344和低通滤波器1346的操作与以上讨论的操作相同。

与以上讨论的关于图10的注册操作类似，注册单元1340，和注册单元1340包括的潜在的纹理注册单元1342、边缘注册单元1344和低通滤波器1346可限制基于先前帧的各自的特征区域像素和当前帧的轨迹估计的像素之间的比较的匹配操作。在一个或多个实施例中，可(例如)根据存储在存储器(如注册存储器)中的先前帧的特征区域像素的像素值和当前帧的轨迹估计的像素的亮度的比较，基于先前帧的特征区域像素来进行各自的匹配操作。在一个或多个实施例中，图13A的注册单元1340(仅作为示例)可执行这个比较。

图13A-图13C的高分辨率插值单元1350可产生与特征区域对应的高清晰度帧和与统一区域像素对应的高清晰度帧，并且可将两个高清晰度帧合并到一起以产生高清晰度视频。高分辨率插值单元1350可根据它们各自的产生的帧，选择性地产生特征区域和统一区域的分离的高清晰度视频，并且将分离的高清晰度视频合并。

与以上类似，再次参考图13A-图13C，在一个或多个实施例中，高分辨率插值单元1350可基于在注册存储器中的先前帧的特征区域像素的像素信息的存储(如在以上的匹配操作中所述)以及存储的被划分到低清晰度帧中的特征区域的低清晰度帧的特征区域像素和潜在的各自的相邻或邻近像素的像素信息，来直接投射来自先前帧的特征区域像素和潜在的各自的相邻或邻近像素。高分辨率插值单元1350还可基于来自先前帧的特征区域像素和各自的相邻或邻近像素以及低清晰度帧的分类的特征区域像素和各自的相邻或邻近像素来对与特征区域对应的高清晰度帧的其余像素值进行插值。注册存储器可在图像处理系统的外部，或可包括在轨迹估计单元1310、区域分类单元1320、轨迹估计单元1330、注册单元1340或高分辨率插值单元1350的任何一个中。当对在高清晰度帧中的与低清晰度帧和先前帧的特征区域像素对应的像素进行插值时，高分辨率插值单元可选择性地访问注册存储器。可同时执行与特征区域对应的高清晰度帧的产生和与统一区域对应的高清晰度帧的产生。

此外，高分辨率插值单元1350可将分别与特征区域和统一区域对应分开产生的高清晰度帧合并，将由对各自的与特征区域对应的每个复数高清晰度帧分别排序和对与统一区域对应的每个复数高清晰度帧排序产生的高清晰度视频，(例如)，就如从输入到图像处理系统的低清晰度视频的复数相应的帧分别产生。在一个或多个实施例中，高分辨率插值单元1350可仅不同地基于由(例如)轨迹估计、分类和将输入的低清晰度帧和先前的低清晰度帧的特征区域进行的匹配提供的注册信息和输入的低清晰度帧的统一区域中的像素的像素信息，来执行单个高清晰度帧的插值，(例如)从而完整的高清晰度帧产生于来自特征区域的像素信息和来自统一区域的像素信息，(例如)而无需产生高清晰度特征区域帧和高清晰度统一区域帧。然后，可将复数的单个高清晰度帧合并以产生高清晰度视频。

在图13B的图像处理系统中，仅作为示例，轨迹估计单元1310、区域分类单元1320、轨迹估计单元1330、注册单元1340和高分辨率插值单元1350中的每一个可具有各自的缓冲器，或所有的单元具有单个缓冲器，并且在对与特征区域对应的高清晰度帧的像素进行插值的操作期间，来自这些缓冲器的信息可被选择性地提供给由高分辨率插值单元1350查看的注册存储器或注册存储器的一部分。

例如，来自先前图像的通过上述匹配操作而匹配的特征区域像素和潜在的相应的相邻或邻近像素可在注册存储器中被识别，从而图13A-图13C的高分辨率插值单元1350可选择性地选择适当的存储的信息并且执行在与特征区域对应的高清晰度帧中的像素的插值。

参考图13A-图13C，如果输入高清晰度图像的压缩的图像，该高清晰度图像是基于一个或多个上述的可用的分类操作将高清晰度图像划分到特征区域或统一区域的分类并且基于被划分到特征区域的像素产生的轨迹信息而被压缩的，则可基于输入的轨迹信息和特征区域像素和潜在的相应的相邻或邻近像素的位置和值(由高清晰度图像的压缩定义的)，来对压缩的图像进行解压为恢复的高清晰度或高分辨率图像，从而基于一个或多个上述的实施例，再现高清晰度图像。例如，可将定义的信息提供给图13A-图13C的注册存储器，区域分类单元1320可执行输入图像的区域分类，轨迹估计单元1310和轨迹估计单元1330可基于存储在注册存储器中的提供的信息来执行轨迹估计，注册单元1340(以及潜在的纹理注册单元1342、边缘注册单元1344和低通滤波器1346)可执行图像的注册操作(例如)(如将输入图像的特征区域像素和存储在注册存储器中的特征区域像素信息进行选择的匹配)，高分辨率插值单元1350可从统一区域的插值的像素信息和特征区域的插值的像素信息来产生恢复的高清晰度图像。

在一个或多个实施例中，描述于此的设备、系统和单元包括一个或多个硬件处理元件。例如，每个描述的单元可包括一个或多个执行描述操作的处理元件、期望的存储器和任何期望的硬件输入/输出发送装置。此外，术语“设备”应该被视为与物理系统的元件同义，并不受限于单个装置或在所有实施例中的单个各自的装置中实现的所有描述的元件，打开以在不同的装置和/或通过不同的硬件元件的位置一起或分开实现。

除上述的实施例外，可通过在非临时性的介质(例如，计算机可读介质)中/上的计算机可读代码/指令以控制至少一个处理装置(如处理器或计算机)来实现任何上述的实施例。所述介质可关于允许存储和/或发送计算机可读代码的任何已定义的、可测量的和有形的结构。

所述介质还可包括(例如)计算机可读代码、数据文件、数据结构等的结合。计算机可读介质的一个或多个实施例包括磁介质(如硬盘、软盘和磁带)；光介质(如CD ROM和DVD)；磁光介质(如光盘)；以及存储和执行程序指令的专门配置的硬件装置(如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。计算机可读代码可包括(例如)机器代码(如由编译器产生的)和包含由计算机使用编译器执行的高级代码的文件。所述介质也可以是分布式的网络，从而可以以分布式方式存储和执行计算机可读代码。此外，仅作为示例，处理元件可包括处理器或计算机处理器，并且处理元件可分布在和/或包括在单个装置中。

计算机可读介质还可被实现为至少一个执行(像处理器一样处理)程序指令的专用集成电路(ASIC)或现场可编程门阵列(FPGA)中。

虽然本发明的得方面是参照其不同的实施例被特定显示和描述的，但应该理解，这些实施例被视为只具有描述性意义而并非出于限制的目的。在每个实施例中的特征或方面的描述应典型地被视为可用于在其余实施例中的其它类似的特征和方面。如果以不同的顺序执行描述的技术和/或如果以不同的方式组合或由其它组件或其等同物代替或执行在描述的系统、建筑、装置或电路中的组件，则同样可实现适当的结果。

因此，虽然一些实施例以及同样可用的附加的实施例被显示和描述的，但是本领域的技术人员应该理解，在不脱离本发明的原理和精神的情况下，可以在这此实施例中进行改变，本发明的范围由权利要求及其等同物限定。

Claims (42)

1.一种图像处理方法，所述方法包括：

当先前帧的轨迹信息可用时，对当前帧的像素或块执行轨迹估计，以识别轨迹估计的像素，所述当前帧的像素或块包括与当前帧的特征区域对应的像素或块；

将轨迹估计的像素或块划分到特征区域，并且根据每个像素或块的各自的空间谱，逐个将当前帧中除包括轨迹估计的像素或块之外的像素或块分别划分到特征区域和统一区域之一；

将特征区域的特征区域像素或块与至少一个先前帧的特征区域像素或块进行匹配，并且将至少一个先前帧的匹配的特征区域像素或块和相应的轨迹估计的像素或块投射到比当前帧具有更高清晰度的高清晰度帧；

基于匹配的特征区域像素或块和相应的轨迹估计像素或块并且基于统一区域的像素或块来对高清晰度帧的除投射的匹配的特征区域像素或块和相应的轨迹估计的像素或块以外的像素进行插值。

2.一种从低清晰度视频产生高清晰度视频的方法，所述方法包括：

根据每个像素或块的各自的空间谱，将低清晰度视频的当前帧的像素或块逐个划分到特征区域和统一区域，被划分特征区域的像素或块分别为特征区域像素或块；

基于低清晰度视频的关于特征区域的多个帧并且基于至少一个帧到当前帧的像素值信息来产生与特征区域对应的高清晰度视频，并使用至少在被划分到统一区域的当前帧的像素或块之间的插值来产生与统一区域对应的高清晰度视频。

3.如权利要求2所述的方法，其中，产生与特征区域对应的高清晰度视频的步骤包括：通过将当前帧的特征区域像素和确定为与当前帧的特征区域像素对应的至少一个先前帧的特征区域像素进行匹配，来确定与特征区域对应的高清晰度视频的帧的像素的像素值。

4.如权利要求3所述的方法，其中：

确定像素值的步骤是基于当前帧的特征区域像素和至少一个先前帧的相应的特征区域像素之间的确定的像素值差等于或小于参考值，对至少一个先前帧的特征区域像素进行匹配，其中，根据当前帧的特征区域像素是否被确定包括在纹理或边缘区域来改变参考值。

5.如权利要求2所述的方法，其中，分类的步骤包括：将已执行从先前帧的特征区域的特征区域像素的轨迹估计的当前帧的像素划分为特征区域像素。

6.如权利要求2所述的方法，其中，控制将当前帧的像素或块分别划分到特征区域和统一区域之一的分类以保持组成特征区域像素之间的最小距离。

7.如权利要求6所述的方法，其中，当当前帧的像素中的第一像素被划分为特征区域像素时，所述分类步骤包括根据每个第二像素的空间谱，将与第一像素相距至少最小距离的当前帧的第二像素划分到特征区域和统一区域。

8.如权利要求7所述的方法，其中，所述分类步骤还包括不将与第一像素相距不到至少最小距离的第二像素划分到特征区域或统一区域。

9.如权利要求2所述的方法，还包括：

将当前帧分成N×M个块；

对于每个N×M个块，将在每个各自的N×M个块的像素中具有最大梯度值并且其最大梯度值等于或大于参考值的像素确定为特征区域像素。

10.如权利要求2所述的方法，其中，将当前帧的像素的多个像素或多个块分别划分到特征区域和统一区域的步骤包括：将具有相对较高的空间谱的当前帧的多个像素的一个像素或一个块划分到特征区域，并且将具有比高空间谱相对低的空间谱的当前帧的多个像素的一个像素或一个块划分为统一区域。

11.如权利要求2所述的方法，其中，将当前帧的像素的多个像素或多个块划分到特征区域和统一区域的步骤包括：当当前帧的像素和当前帧的相邻像素的像素值差大于或等于参考值时，将当前帧的像素划分到特征区域；并且当像素值差小于参考值时，将当前帧的像素划分到统一区域。

12.一种从低清晰度视产生高清晰度视频的方法，所述方法包括：

通过在低清晰度视频的第i-1帧的特征区域像素上执行各自的轨迹估计来确定低清晰度视频的第i帧的特征区域像素；

通过将第i帧的特征区域像素和与第i帧的特征区域像素对应的至少一个先前帧的特征区域像素进行匹配来确定与第i帧对应的高清晰度视频的帧的像素的像素值；

使用插值，确定高清晰度视频的与第i帧对应的帧中通过匹配没被确定的像素值，

其中，将第i帧的特征区域像素与至少一个先前帧的特征区域像素进行匹配的步骤包括：将第i帧的特征区域像素仅与至少一个先前帧的特征区域像素进行匹配，至少一个先前帧包括除特征区域像素外的像素。

13.如权利要求12所述的方法，其中，第i-1帧的特征区域像素是从低清晰度视频的第i-2帧的特征区域像素执行轨迹估计的像素，或是具有相对较高的空间谱的第i-1帧的像素。

14.如权利要求13所述的方法，其中，具有相对较高的空间谱的像素是具有等于或大于参考值的像素的各自的梯度值的像素。

15.如权利要求13所述的方法，其中，每个第i-1帧的特征区域像素相距至少最小距离。

16.如权利要求13所述的方法，其中，所述方法还包括：

将第i-1帧分成N×M个块；

对于每个N×M个块，将在每个各自的N×M个块的复数个块中具有最大空间谱并且其空间谱等于或大于参考值的像素确定为第i-1帧的特征区域像素中的一个。

17.如权利要求16所述的方法，其中，当在各自的N×M个块的复数个块中具有最大空间谱的像素的空间谱小于参考值时，将该像素排除出(i-1)帧的特征区域像素。

18.如权利要求12所述的方法，其中，所述方法还包括：

将第i帧分成N×M个块；

对于每个N×M个块，将在每个各自的N×M个块的复数个块中具有最大空间谱并且其空间谱等于或大于参考值的像素确定为第i帧的特征区域像素中的一个。

19.如权利要求18所述的方法，其中，当在各自的N×M个块的复数个像素中具有最大空间谱的像素的空间谱小于参考值时，这各自的N×M个块的所有像素被排除在第i帧的特征区域像素之外。

20.如权利要求12所述的方法，还包括：

存储第i-1帧的特征区域像素的像素值和位置；

存储与第i-1帧的特征区域像素邻近的像素的像素值以及邻近像素的位置。

21.如权利要求12所述的方法，其中，确定第i帧的特征区域像素的步骤包括：通过第i帧的子像素单元对第i-1帧的特征区域像素执行轨迹估计。

22.一种图像处理方法，所述方法包括：

接收所接收图像的图像信息和轨迹信息；

根据每个像素或块的各自的空间谱，将接收的图像的像素或块逐个划分到特征区域和统一区域，被划分到特征区域的像素或块分别为特征区域像素或块；

通过基于接收的轨迹信息至少在统一区域中的像素或块之间进行插值并且至少在与特征区域像素对应的像素或块之间进行插值，来产生高清晰度图像。

23.如权利要求21所述的方法，其中，接收的图像的轨迹信息是用于来自包括接收的图像的图像序列中的另一图像的轨迹估计的像素的轨迹信息。

24.一种图像处理方法，所述方法包括：

根据第一帧的每个像素或块的各自的空间谱将第一帧的像素或块逐个分别划分为第一帧的特征区域和统一区域之一，并且将被划分到第一帧的特征区域的像素和块的像素值和位置作为第一帧的特征区域像素或块存储到注册存储器中；

对第一帧之后的第二帧的像素或块执行轨迹估计的步骤包括：从注册存储器获得第一帧的特征区域像素或块的像素值和位置，基于获得的第一帧的特征区域像素或块来识别第二帧的轨迹估计的像素或块，并且将第二帧的轨迹估计的像素或块的像素值和位置存储到注册存储器中；

将第二帧的轨迹估计的像素或块划分到特征区域，并且根据除第二帧的轨迹估计的像素或块以外的每个第二帧的像素或块的各自的空间谱，将的第二帧的像素或块逐个分别划分到第二帧的特征区域和统一区域之一。

将第二帧的特征区域的特征区域像素或块与第一帧的特征区域像素或块进行匹配，并且将第一帧的匹配的特征区域像素或块和第二帧的相应的轨迹估计的像素或块投射到比第二帧具有更高清晰度的高清晰度帧上；

基于第一帧的匹配的特征区域像素或块和第二帧的相应的轨迹估计的像素或块，来对高清晰度帧的除第一帧的投射的匹配的特征区域像素或块和第二帧的相应的轨迹估计的像素或块以外的像素进行插值，并且基于第二帧的统一区域的像素或块对高清晰度帧的像素进行插值。

25.至少一种非临时性的计算机可读记录介质，包括：计算机可读代码，控制至少一个处理装置以实现权利要求1的方法。

26.至少一种非临时性的计算机可读记录介质，包括：计算机可读代码，控制至少一个处理装置以实现权利要求2的方法。

27.至少一种非临时性的计算机可读记录介质，包括：计算机可读代码，控制至少一个处理装置以实现权利要求12的方法。

28.至少一种非临时性的计算机可读记录介质，包括：计算机可读代码，控制至少一个处理装置以实现权利要求22的方法。

29.至少一种非临时性的计算机可读记录介质，包括：计算机可读代码，控制至少一个处理装置以实现权利要求24的方法。

30.一种图像处理系统，所述系统包括：

轨迹估计单元，对当前帧的像素或块执行轨迹估计，并且将轨迹估计的像素或块划分到特征区域，所述当前帧包括与当前帧的特征区域对应的像素或块；

区域分类单元，根据每个当前帧的除当前帧的轨迹估计的像素或块以外的像素或块的各自的空间谱，将当前帧的除当前帧的轨迹估计的像素或块以外的像素或块逐个分别划分到特征区域和统一区域之一；

注册单元，将当前帧的特征区域的特征区域像素或块和至少一个先前帧的特征区域像素或块进行匹配，并且将至少一个先前帧的匹配的特征区域像素或块和相应的轨迹估计的像素或块投射到比当前帧具有更高清晰度的高清晰度帧上；

高分辨率插值单元，基于匹配的特征区域像素或块和相应的轨迹估计的像素或块并且基于统一区域的像素或块，来对高清晰度帧的除投射的匹配的特征区域像素或块和相应的轨迹估计的像素或块以外的像素或块进行插值。

31.如权利要求30所述的系统，其中，注册单元基于当前帧的特征区域像素和至少一个先前帧的相应的特征区域像素的像素值之间的确定的差等于或小于参考值，来选择性地对至少一个先前帧的特征区域像素进行匹配。

32.如权利要31所述的系统，其中，注册单元还包括：

纹理注册单元，基于确定当前帧的像素或块代表纹理来选择性地控制匹配操作，其中参考值是第一参考值；

边缘注册单元，基于确定当前帧的像素或块代表边缘来选择性地控制匹配操作，其中参考值是小于第一参考值的第二参考值；

低通滤波器，对边缘注册单元的结果进行低通过滤。

33.一种从低清晰度视频产生高清晰度视频的图像处理系统，所述系统包括：

区域分类单元，根据每个像素或块的各自的空间谱，将低清晰度视频的当前帧的像素或块逐个划分到特征区域和统一区域，被划分到特征区域的像素或块分别为特征区域像素或块；

高分辨率插值单元，基于低清晰度视频的关于特征区域的多个帧并且基于来自至少一个先前帧的像素值信息来产生与特征区域对应的高清晰度视频，并且使用至少在被划分到统一区域的当前帧的像素或块之间的插值来产生与统一区域对应的高清晰度视频。

34.一种从低清晰度视频产生高清晰度视频的图像处理系统，所述系统包括：

轨迹估计单元，通过对低清晰度视频的第i-1帧的特征区域像素执行各自的轨迹估计来确定低清晰度视频的第i帧的特征区域像素；

注册单元，通过将第i帧的特征区域像素和与第i帧的特征区域像素对应的至少一个先前帧的特征区域像素进行匹配并且将匹配的特征区域像素存储到注册存储器中，来确定与第i帧对应的高清晰度视频的帧的像素的像素值；

插值单元，使用插值来确定与i帧对应的高清晰度视频的帧的通过匹配没被确定的像素值，

其中，将第i帧的特征区域像素与至少一个先前帧的特征区域像素进行匹配的步骤包括：将第i帧的特征区域像素仅与至少一个先前帧的每一个的特征区域像素进行匹配，至少一个先前帧包括除特征区域像素以外的像素。

35.如权利要求34所述的系统，其中，第i-1帧的特征区域像素是如注册存储器中指示的已执行从低清晰度视频的第i-2帧的特征区域像素的轨迹估计的像素或是具有相对较高的空间谱的第i-1帧的像素。

36.如权利要求35所述的系统，其中，第i帧的轨迹估计的像素是已执行从第i-1帧特征区域像素的轨迹估计的像素。

37.如权利要求35所述的系统，其中，具有相对较高的空间谱的像素是具有等于或大于参考值的各自的梯度值的像素。

38.如权利要求34所述的系统，其中，第i帧的每个特征区域像素都相距至少最小距离。

39.如权利要求34所述的系统，还包括：区域分类单元，将第i帧分成N×M个块，并且对于每个N×M个块，将在每个各自的N×M个块的复数个块中具有最大空间谱并且其空间谱等于或大于参考值的像素确定为第i帧的特征区域像素中的一个。

40.如权利要求39所述的系统，其中，当在各自的N×M个块的复数个像素中具有最大空间谱的像素的空间谱小于参考值时，其像素被排除在第i帧的特征区域像素之外。

41.如权利要求34所述的系统，还包括：注册存储器，存储第i-1帧和第i-2帧的特征区域像素的像素值和位置，并且存储与第i-1帧和第i-2帧的特征区域像素邻近的像素的像素值和邻近像素的位置，

其中，注册单元基于将第i帧的特征区域像素和与第i帧的特征区域像素对应的第i-1帧和第i-2帧的特征区域像素进行匹配来执行匹配，并且匹配单元从注册存储器获得第i-1帧和第i-2帧的特征区域像素的像素值和位置信息。

42.如权利要求34所述的系统，其中，轨迹估计单元通过执行以第i帧的子像素单元对第i-1帧的特征区域像素执行轨迹估计，来确定第i帧的特征区域像素。

Images