CN100562920C

CN100562920C - 高分辨率化装置和方法

Info

Publication number: CN100562920C
Application number: CNB2007101048347A
Authority: CN
Inventors: 井田孝; 五十川贤造; 松本信幸; 金子敏充; 竹岛秀则
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-05-22
Filing date: 2007-05-22
Publication date: 2009-11-25
Anticipated expiration: 2027-05-22
Also published as: US7764848B2; US20070269137A1; JP4116649B2; CN101079254A; EP1860875A2; JP2007310837A; EP1860875A3

Abstract

一种装置，包括：从图像源获取由指示亮度级的像素值表示的图像的单元，将一个帧设置为参考帧的单元，将一个或多个帧中的各个像素顺序地设置为目标像素的单元，设置包含所述目标像素的目标图像区域的单元，在所述参考帧中搜索在像素值的变化模式上与各个所述目标图像区域相似的相似目标图像区域的单元，从相似目标图像区域中选择对应于各个目标像素的对应点的单元，将在对应点的有关亮度的样本值设置成对应于该对应点的目标像素的像素值的单元，以及基于所述样本值和所述对应点，计算对应于所述参考帧的高分辨率图像的像素值的单元，其中所述高分辨率图像包含了比所述参考帧中的像素更大数目的像素。

Description

高分辨率化装置和方法

技术领域

本发明涉及一种高分辨率化装置和方法，其用于将利用照相机通过拍照获取的图像数据或者通过电视机接收的图像数据转换为更高分辨率的图像数据。

背景技术

最近，具有大量像素，即，具有高分辨率的电视机和显示器得到广泛使用。当在电视机或显示器上显示图像时，在图像数据中包含的像素的数目被转换为在画面中包含的像素的数目。具体地，在像素的数目被增加的高分辨率化转换中，已知一种帧退化逆转换方法，可以获取比通过线性插值更清晰的图像(例如，参见JP-A 2000-188680(公开)[第3到7页，图22]，S.Park，et al.“Super-Resolution Image Reconstruction：A TechnicalOverview”，IEEE Signal Proceeding Magazine，USA，IEEE，May 2003，pp.21-36)。

在所述帧退化逆转换方法中，可以关注这样的事实，在参考帧中出现的对象也出现在另一帧中，并且以比像素间距的等级更高的准确度检测所述对象的运动，从而获取在略微互相分开的位置检测到的多个样本值，其中所述对象的某局部部分位于此位置。通过此处理，获得更高分辨率。

现在将更加详细地描述所述帧退化逆转换方法。在此方法中，当以时序方式排列低分辨率的帧时，将其依序转换为高分辨率的帧。例如，将通过对运动汽车拍照所获得的运动图像的三个连续帧用作为低分辨率图像，并且将所述三个帧中的一个用作为将被实现为高分辨率图像的参考帧。例如，将所述参考帧的水平和垂直像素加倍为高分辨率图像。关于未知的高分辨率图像的像素，仅准备少量的低分辨率图像的像素，即，仅准备少量的已知样本值。即使在这种状态下，也能够估计高分辨率图像的每个像素值。然而，如果增加已知样本值的数目，能够获得更准确的高分辨率图像。为此，在所述帧退化逆转换方法中，检测位于除所述参考帧之外的低分辨率图像的某像素位置处的对象在所述参考帧中的位置。进一步，将所述对象的像素值用作为参考帧中对应点的样本值。

具体地，从低分辨率图像中提取包含某像素作为中心的块(几个像素×几个像素)，并且在参考帧中搜索与所提取的块具有相同大小并且包含接近于所提取块的像素值的像素值的块。进行所述搜索的准确度等级为亚像素(例如，参见Masao Shimizu和Masatoshi Okutomi的“Significanceand Attributes of Sub-Pixel Estimation on Area-Based Matching”IEICETran.Information and Systems.PT.2，December 2002，NO.12，vol.J85-D-II，pp.1791-1800)。所搜索的块的中心被设置为对应于所述某个像素的点。于是，对应于另一个帧的点A和对应于所述参考帧的点B被作为对象的同一个部分互相关联。通过以点A作为起点、点B作为终点的运动向量表示此关系。由于进行此搜索的准确度级别为亚像素，各个运动向量的起点通常是某个像素的位置，而所述终点是在不存在像素的位置。为所述低分辨率图像的所有像素获取这样的运动向量。进一步，在另一个低分辨率图像中检测以各自的像素作为其起点并且与所述参考帧相关的运动向量。此后，将所述运动向量的终点和起点设置为样本值。最后，从这样设置的非均匀样本值获取在网格中均匀排列的高分辨率图像的像素值。例如，利用非均匀插值或POSC方法(例如，参见JP-A 2000-188680(公开)[第3页到第7页，图22]，S.Park et al.“Super-Resolution ImageReconstruction：A Technical Overview”，IEEE Signal ProceedingMagazine，USA，IEEE，May 2003，pp.21-36)进行这些处理。

尽管上述帧退化逆转换方法能够提供清晰的高分辨率图像，但其需要大量的低分辨率图像来获取足够数目的样本值，从而需要大存储容量。

发明内容

根据本发明的一个方面，提供了一种高分辨率化装置，其包括：获取单元，其被配置为从图像源获取由指示亮度级的像素值表示的图像；第一设置单元，其被配置为将所述图像中包含的一个帧设置为参考帧；第二设置单元，其被配置为分别将所述图像中包含的一个或多个帧中所包含的多个像素顺序地设置为多个目标像素；第三设置单元，其被配置为分别设置包含所述目标像素的多个目标图像区域；搜索单元，其被配置为在所述参考帧搜索在像素值的变化模式上与各个所述目标图像区域相似的多个相似目标图像区域；选择单元，其被配置为从所述参考帧的所述相似目标图像区域选择对应于各个所述目标像素的多个对应点；第四设置单元，其被配置为将在所述对应点的多个有关亮度的样本值设置为对应于所述对应点的目标像素的像素值；以及计算单元，其被配置为基于所述样本值和所述对应点，来计算在对应于所述参考帧的高分辨率图像中包含的多个像素值，所述高分辨率图像包含了比所述参考帧中包含的像素更大数目的像素。

根据本发明另一个方面，提供了一种高分辨率化装置，其包括：获取单元，其被配置为从图像源获取由指示亮度级的像素值表示的图像；分割单元，其被配置为将所述图像中包含的一个帧分割为多个垂直或水平像素线；第一设置单元，其被配置为将所述像素线中包含的一个像素线设置为参考像素线；第二设置单元，其被配置为分别将除所述参考像素线之外的、在所述图像中包含的一个或多个帧中包含的多个像素顺序地设置为多个目标像素；第三设置单元，其被配置为分别设置包含所述目标像素的多个目标图像区域；搜索单元，其被配置为在所述参考像素线中搜索在像素值的变化模式上与各个所述目标图像区域相似的多个相似目标图像区域；选择单元，其被配置为从所述参考像素线的所述相似目标图像区域中选择对应于各个所述目标像素的多个对应点；第四设置单元，其被配置为将在所述对应点的多个有关亮度的样本值设置为对应于所述对应点的目标像素的像素值；以及计算单元，其被配置为基于所述样本值和所述对应点，计算对应于所述参考像素线的高分辨率图像中包含的多个像素值，所述高分辨率图像包含了比所述参考像素线中包含的像素更大数目的像素。

附图说明

图1A是框图，其阐明了根据实施例的高分辨率化装置；

图1B是框图，其阐明了当采用过采样方法时的高分辨率化装置的构造；

图2是流程图，其阐明了根据第一实施例的高分辨率化装置的操作例；

图3是视图，其用于解释从两个低分辨率帧生成高分辨率帧；

图4是视图，其用于解释从单个低分辨率帧生成高分辨率帧；

图5是视图，其阐明了在低分辨率图像的像素之间的位置关系；

图6是视图，其阐明了通过增加图5的图像的分辨率所获得的图像；

图7是视图，其阐明了通过将图5的图像的像素间隔调整为图6的图像的像素间隔而得到的低分辨率图像；

图8是视图，其阐明了图5和6所示的图像的像素的位置关系；

图9是视图，其用于解释图2所示的步骤S202和S203；

图10是示图，其阐明了在某个参考帧的水平轴位置和亮度之间的关系；

图11是示图，其阐明了在通过将图10所示的亮度级转换为像素值而获得的图像数据中的位置坐标和像素值之间的关系；

图12是示图，其阐明了另一帧上的水平轴位置和亮度之间的关系；

图13是示图，其阐明了在通过将图12所示的亮度级转换为像素值而获得的图像数据中的位置坐标和像素值之间的关系；

图14是示图，其阐明了这样的状态，在其中，通过将图13的目标块的坐标相对于图11的参考帧移动一个像素来获取所述误差；

图15是示图，其阐明了这样的状态，在其中，作为图14所示的移动的结果，所述误差最小；

图16是示图，其阐明了这样的状态，在其中，所述误差小于图15的情况；

图17是视图，其阐明了在某照相数据的亮度和坐标之间的关系；

图18是视图，其阐明了从图9的帧中提取的目标块；

图19是视图，其用于解释在其中搜索相对于图18的目标块的误差的搜索范围；

图20是视图，其阐明了指示图19的搜索范围的向量搜索空间；

图21是视图，其阐明了图18的目标块的变型例；

图22是视图，其阐明了图18的目标块的另一种变型例；

图23是视图，其阐明了图18的目标块的再一种变型例；

图24是视图，其阐明了表达图像空间的坐标系；

图25是视图，其用于解释抛物线拟合；

图26是示图，其阐明了假设在过采样中对图13的帧进行线性插值时在所述坐标和像素值之间的关系；

图27是对应于图26的示图，其阐明了假设在增加图11的参考帧的数据密度时在所述坐标和像素值之间的关系；

图28是示图，其对应于图16，并基于图26和27得到；

图29是示图，其对应于图15，并基于图26和27得到；

图30是流程图，其阐明了利用拟合获取对应点的操作例；

图31是流程图，其阐明了利用过采样获取对应点的操作例；

图32是视图，其阐明了获取对应点的搜索范围的例子，其在亮度在水平方向上变化时具有优势；

图33是视图，其阐明了获取对应点的搜索范围的另一个例子，其在亮度在水平方向上变化时具有优势；

图34是视图，其阐明了获取对应点的搜索范围的再一个例子，其在亮度在水平方向上变化时具有优势；

图35是视图，其阐明了获取对应点的搜索范围的进一步的例子，其在亮度在水平方向上变化时具有优势；

图36是视图，其阐明了获取对应点的搜索范围的例子，其在亮度在垂直方向上变化时具有优势；

图37是视图，其阐明了获取对应点的搜索范围的例子，其在亮度在倾斜方向上变化时具有优势；

图38是视图，其阐明了获取对应点的搜索范围是矩形的情况；

图39是流程图，其阐明了检测多个对应点的操作例；

图40是视图，其阐明了在图像空间中检测到的多个对应点；

图41是流程图，其阐明了通过叠加获取高分辨率图像的像素值的操作例；

图42是视图，其阐明了用于解释计算临时样本值的方法的图像空间、像素以及矩形部分；

图43是流程图，其阐明了通过以样本值为单位建立条件表达式来实现高分辨率的操作例；

图44是流程图，其阐明了在接近图像边缘处进行的图43的操作；

图45是流程图，其阐明了仅在边缘实现高分辨率的操作例；

图46是流程图，其阐明了在图45的步骤S4501进行的详细操作的例子；

图47是视图，其用于解释在低分辨率帧的数目和对应点的数目之间的关系；

图48是流程图，其阐明了用于实现高分辨率运动图像的操作例；

图49是流程图，其阐明了实现依序被设置为参考帧的运动图像帧的高分辨率的操作例；

图50是视图，其阐明了用来描述本发明第二实施例的图像；

图51是用于实现高分辨率图像的视图像素线；

图52A是视图，其用于解释图像的自动全等(auto-congruence)；

图52B是视图，其用于解释如何实现具有自动全等的图像部分的高分辨率；

图53是流程图，其阐明了利用低分辨率像素线实现高分辨率的操作例；

图54是视图，其阐明了低分辨率图像；

图55是视图，其通过在垂直方向将图54的图像的分辨率加倍而得到；

图56是视图，其通过在水平方向和垂直方向将图54的图像的分辨率加倍而得到；

图57是视图，其通过在水平方向将图54的图像的分辨率加倍而得到；

图58是流程图，其阐明了用于获取图56的高分辨率图像的操作例；

图59是视图，其阐明了用于描述第三实施例的图像；

图60是流程图，其阐明了通过将图像分成块来实现高分辨率的操作例；

图61是视图，其阐明了通过常规方法所获取的高分辨率图像；

图62是视图，其阐明了通过在所述实施例中使用的方法所获取的高分辨率图像；以及

图63是视图，其阐明了仅对边缘进行实现高分辨率的处理而获取的高分辨率图像。

具体实施方式

下面将参考附图详细描述根据本发明实施例的高分辨率化装置和方法。

通过注意到这样的事实，即，在临近对象的一部分的该对象的一部分附近存在与前述第一部分的亮度变化模式相似的亮度变化模式，已经开发出根据本实施例的高分辨率化装置和方法。也就是说，所述高分辨率化装置和方法检测在单个帧中包含的各个亮度变化模式中所包含的样本值的位置。

根据本实施例的高分辨率化装置和方法能够提供一种简单地利用小容量存储器的清晰的高分辨率图像。

参考图1A，将给出根据实施例的高分辨率化装置的描述。

根据所述实施例的高分辨率化装置包括存储器101、候选指定单元102、匹配误差计算单元103、误差比较单元104、存储器105、高分辨率像素值计算单元106、抛物线拟合单元107和存储器108。在以下描述中，类似的参考数字指示类似的元件。

存储器101获取并存储低分辨率图像数据。所述低分辨率图像数据可以是运动图像数据或静止图像数据，并且，其可从图像源，即，诸如照相机或电视机的图像数据生成单元(未示出)获取。更具体地，所述低分辨率图像数据是利用照相机拍照获得的或者由电视机接收的图像数据。进一步，存储器101从候选指定单元102接收指示将被进行误差计算的图像部分的信号，以及指示目标像素的位置的信号，并且向匹配误差计算单元103输出在所述目标像素周围的图像数据以及与将被进行误差计算的图像部分相对应的图像数据。存储器101还向高分辨率像素值计算单元106提供低分辨率图像数据。此时，存储器101以图像为单位(例如，以帧为单位)(第一实施例)，或者以各图像(帧)中的线为单位(第二实施例)，或者以各图像(帧)中的块为单位(第三实施例)，来提供图像数据。在以线为单位提供图像数据的情况下，存储器101包括线存储器(未示出)，并在其中存储对应于一帧的线图像数据。存储器101进一步设置参考帧，稍后描述。

候选指定单元102接收包括指定搜索范围的数据的控制数据，然后基于所述搜索范围，生成指示将进行误差计算的图像部分的信号以及指示目标像素的位置的信号，并向存储器101和105输出这些信号。稍后将参考图19描述所述搜索范围。

匹配误差计算单元103从存储器101获取所述目标像素周围的图像数据以及与将进行误差计算的图像部分相对应并且包含在所述搜索范围中的图像数据，以及，利用，例如，差值的绝对和或者差值的平方和来计算其间的误差。所述目标像素周围的图像数据是，例如，有关目标块的数据。匹配误差计算单元103从一个到另一个接连改变落在所述搜索范围之内并且将被进行误差计算的图像部分，从而接连检测在每个目标像素周围的图像数据和与将被进行误差计算的图像部分相对应的图像数据之间的误差。

误差比较单元104比较与落在所述搜索范围以内的多个图像部分相对应的误差。例如，单元104获取其间的误差基本上最小的对应于所述图像部分的多个位置，作为多个对应像素点。

存储器105从候选指定单元102获取由误差比较单元104计算的对应像素点。

基于所述对应像素点，抛物线拟合单元107利用抛物线拟合进行亚像素估计，从而确定对应点。对于各个目标像素，获取两个或更多对应点。稍后将参考图25和30描述有关抛物线拟合单元107的细节。

存储器108存储指示由抛物线拟合单元107获取的对应点的位置信息。

在确定了在低分辨率图像中包含的预设像素的对应点之后，高分辨率像素值计算单元106从存储器101获取对应于所述低分辨率图像的图像数据，并从存储器108获取所述对应点。例如，计算单元106以低分辨率图像的像素为单位建立基于各个对应点的条件表达式，然后作为联立方程求解所有条件表达式，以确定将被实现的高分辨率图像的像素值，并输出所确定的像素值。

参考图1B，将给出对假设使用过采样而不是抛物线拟合时所述高分辨率化装置的构造的描述。

图1B所示的构造和图1A所示的差别在于前者使用过采样单元109和存储器110，而不是抛物线拟合单元107。

过采样单元109通过减小误差计算的间隔来增加低分辨率数据的量。稍后将参考图26和31描述有关过采样的细节。

存储器110暂时存储由过采样单元109采样得到的数据，并将其提供给匹配误差计算单元103。

(第一实施例)

现在参考图2，将描述根据所述实施例的高分辨率化装置的操作例。此后将图像称为帧。

在步骤S201，候选指定单元102以预设顺序将低分辨率图像中的像素设置为目标像素。在静止图像的情况下，例如，使用所谓屏面顺序(rasterorder)，在其中，以从左上方像素开始到右下方像素结束的顺序，通过向右扫描水平像素线来接连选择所述目标像素。在运动图像的情况下，接连地选择帧，并且以上述屏面顺序选择各帧中的像素。稍后将参考图3到图8描述运动图像的低分辨率帧和高分辨率帧之间的关系。

在步骤S202，匹配误差计算单元103、误差比较单元104和抛物线拟合单元107检测与参考帧的图像空间中的目标像素相对应的点(此后称为“对应像素点”或“对应点”)。

在步骤S203，匹配误差计算单元103确定是否为目标像素获取预设数量个对应点。如果仍然没有获取到它们，则程序返回到步骤S202，检测另一个对应点，然而，如果已经获取到它们，则程序进行到步骤S204。稍后将参考图9到17详细描述步骤S202和S203。

在步骤S204，匹配误差计算单元103确定是否已经为用于实现高分辨率的低分辨率图像中的所有像素获取了对应点。如果这个问题的答案是“否”，则程序返回步骤S201，执行有关下一个像素的处理，然而如果答案是“是”，则程序进行到步骤S205。

在步骤S205，高分辨率像素值计算单元106利用低分辨率图像的像素值和所获取的对应点，计算参考帧的高分辨率图像的像素值，从而终止所述处理。稍后将参考图40描述计算高分辨率图像的像素值的方法。

现在参考图3到8，给出对运动图像中的高分辨率帧和低分辨率帧之间的关系的描述。

所述实施例的高分辨率化装置利用输入的低分辨率帧接连生成高分辨率帧。图3示出了当所述高分辨率化装置生成第5个高分辨率帧的时间。此后将此正在被处理以实现高分辨率的低分辨率帧，即，图3中的第5帧称为“参考帧”。在图3的情况下，为了增强所述参考帧的分辨率，对所述参考帧和紧邻所述参考帧之前生成的两帧进行所述处理。另一方面，在图4的情况下，仅对所述参考帧进行所述处理。进一步，在静止图像的情况下，由于仅输入一个低分辨率图像，其对应于所述参考帧，并且受到用于实现高分辨率的处理。为了方便描述，将静止图像表述为帧。

图5示出了作为参考帧的低分辨率图像的图像空间501和像素502之间的位置关系。一般而言，在图像的图像空间中，亮度分布是均匀的。然而，在所述实施例中处理的数字图像的情况下，作为离散采样点在所述图像空间中排列像素，并且某亮度级表示其周围的一些亮度级。在图5的情况下，将图像空间划分为24(＝6[列]×4[行])个正方形，并且在该24个正方形的中心部分作为采样点排列24个像素，用黑点指示。图6示出了在水平和垂直方向将图5的低分辨率图像空间的分辨率加倍的情况，用白点601指示。结果，所得到的高分辨率图像的像素间隔变为所述低分辨率图像的像素间隔的1/2。如果原始的低分辨率图像被利用与所述高分辨率图像相同的像素间隔来表达，如图7所示，前者的尺寸将小于后者。

如上所述，如果所述低分辨率图像被用与所述高分辨率图像相同的尺寸描绘，则前者比后者具有更宽的像素间隔。相反，如果所述低分辨率图像被用与所述高分辨率图像相同的像素间隔描绘，则前者尺寸比后者小。这表示相同的事情。为了方便描述，如图5或7所示描绘所述低分辨率图像。

图8示出了用黑点表示所述低分辨率图像的样本点(像素点)，以及用白点表示所述高分辨率图像的样本点的情况。实现高分辨率的处理是基于由黑点表示的样本点的亮度级来获取由白点表示的样本点的亮度级。

参考图9到17，将给出步骤S202和S203的详细描述。尽管图像空间904和906包含少量像素以便于观看，它们实际上在水平和垂直方向各自包含几百个像素。进一步，为便于观看，将所述空间的图像表述为数字图像。然而，实际上，它们是密度可变的图像。在所述高分辨率图像的图像空间908中，用白点表示高分辨率图像的像素909，而用黑点表示低分辨率图像的像素910。

在图9的情况下，假设通过拍摄运动车辆907所获得的运动图像包含两个连续帧901和903。所述高分辨率化装置使用帧903作为参考帧，并对其进行用于实现高分辨率的处理。图9示出了在帧903的图像空间906中检测出与帧901的图像空间中的目标像素911相对应的点914的情况。稍后将参考图24描述所述图像空间。

通过利用目标像素911作为其起点且利用对应点914作为其终点的对应向量915将帧901的图像空间904中的目标像素911与参考帧903的图像空间906中的对应点914相关联。为检测所述对应点，候选指定单元102从帧901中提取，例如，(5×5)或(3×3)个像素的正方形块，其包含位于中心的目标像素911，并作为目标块。匹配误差计算单元103在参考帧903中搜索与所提取的目标块具有相似像素值变化模式的部分。稍后将参考图18和19描述关于所述搜索的具体细节。

然后参考图10到13，利用假设通过拍照来获取参考帧时的状态作为例子，描述步骤S202和S203。在图10中，固定图像空间的垂直轴，从而包含所述低分辨率图像的样本点。水平轴指示所述图像空间的水平轴h，而垂直轴指示亮度。进一步，虚线指示对象的亮度变化，且黑点指示在拍照期间通过像素采样的点。将样本点的间隔设为1。图11示出了所述参考帧的图像数据，其中，采样的亮度级被获取为像素值。在图11所示的图像数据中，采样使得亮度变化比实际变化更加柔和，例如，如通过从左数的第2个和第3个样本点之间的变化1101所指示的。这意味着仅利用参考帧像素不能生成清晰图像。

图12示出了这样的状态，其假设通过拍照获取指示所述对象的相同部分的另一个帧，而图13示出了对应于此帧的图像数据。一般而言，在不同的帧中，在发生相同的亮度改变的位置进行采样，所述位置相互间略有偏移，在所述实施例中，相互偏移约半个像素。例如，将这种状态称为“异相采样”。相反，当不同帧中的相同亮度变化发生在相同位置或者在刚好偏移一个像素的位置时，例如，将其称为“同相采样”。

通过计算图11的参考帧和图13的目标块之间的误差来获得在步骤S202和S203所获取的对应像素点，同时将目标块中的位置坐标对相对于所述参考帧一个一个进行移动。图14和15示出了此处理。为简化描述，假设所述块具有五个像素(5×1)，并仅在x方向进行搜索。假设图15示出了匹配误差最小(x＝m)的情况。另一方面，图14示出了将x设置为(m-1)的情况。“x＝m”表示对应像素点。为了使所述目标块和参考帧的变化模式更加准确地一致，应该检测提供图16的状态的位置，在该位置，相位被移动半个像素。抛物线拟合是用来估计亚像素点的方法(例如，参见Masao Shimizu和Masatoshi Okutomi的“Significance and Attributes ofSub-Pixel Estimation on Area-Based Matching”)。稍后将参考图25描述抛物线拟合。注意到，如图9所示，通过亚像素估计来确定块913，且块913的中心是对应点914。基于此信息，排列对应于点914的目标像素的像素值，作为在通过扩展图像空间906而获得的图像空间908中的对应点916的样本值。

为实现高分辨率，需要大量像素值，这通过异相采样从不同帧的部分进行采样，所述不同帧的部分示出了相同的亮度改变，如图10和12中的虚线所指示。因此，检测不同帧中的相同对象的相同部分(其具有相同的亮度变化)，并且使得检测到的位置相互对应，这是有利的。然而，可能存在所述对象的另一个部分也具有相同的亮度变化。图17中示出了对应于实际照片的高分辨率图像数据。在图17中，水平轴指示像素的x方向坐标，垂直轴指示亮度。用不同的曲线表示x方向的五个数据项。从此图可以理解，即使x方向中的不同部分呈现出非常相似的亮度变化，这也是可能的。考虑到此性质，认为局部图形(local pattern)具有自相关。在第二实施例中将描述使用局部图形中的自相关的方法。

一般而言，由图像中包含的边缘导致亮度的空间变化，如果边缘较长，此变化持续几百个像素，而即使边缘较短，此变化也持续几个像素。可以使用通过对边缘像素进行采样而得到的像素值作为所述图像中包含的、并且位于前述边缘附近的另一个边缘的样本值，以实现高分辨率。基于同样的理由，当确定与参考帧中的目标像素相对应的该参考帧中的点时，也可以使用所述目标像素来再现所述目标像素附近的亮度变化。据此，在所述实施例中，为一个目标像素确定位于不同位置的多个对应点。进一步，在所述实施例中，不仅将在其检测出最小误差(匹配误差)的对应点，还将在其检测出第二和第三最小匹配误差的位置，设置为对应误差点。基于所述对应误差点，进行亚像素估计。稍后将参考图32到39描述更具体的操作。

再次参考图9，用对应向量918表示如上所述得到的另一个对应点917，并且相应地安排样本值919。当检测到对应点917时检测到块920，并且块920的像素模式与块913的像素模式非常相似。

参考图18和19，将给出对这样的方法的描述，此方法在参考帧903中搜索与所提取的目标块具有相似像素值变化模式的部分。

首先，将更加具体地描述所述目标块。图18示出了从帧901中提取的(3×3)像素的目标块，而图19示出了参考帧903中的搜索范围。例如，所述搜索范围是具有预设尺寸的矩形或正方形部分，其以对应于目标像素911的位置作为中心。匹配误差计算单元103计算在(3×3)目标块和每个(3×3)搜索范围之间的误差。此误差(匹配误差)是通过对目标块中的9个像素和各个搜索范围中的对应像素之间的差的绝对值求和得到的差值的绝对和，或者是通过对所述差的平方求和得到的差值的平方和。具体地，首先，计算在帧901的目标块和参考帧903中的左上搜索范围1901之间的误差。其次，计算在所述目标块和与搜索范围1901右向相邻的搜索范围1902之间的误差。此后，进行相似的误差获取计算，同时以像素为单位以屏面顺序移动搜索范围，直到获得所述目标块和右下方搜索范围1903之间的误差。

参考图20到23，现在将描述指示搜索范围的向量搜索空间。

图20示出了所述搜索空间。在图20中，x轴是水平轴，y轴是垂直轴，原点表示图19中的块1904的中心。在搜索处理期间，可以沿着x轴设置三个与块1904具有相同尺寸的搜索范围，并且可以沿着y轴设置两个与块1904具有相同尺寸的搜索范围。图20中的黑点表示能够设置的搜索范围的中心点。位置2001指示图19中的搜索范围1901，而位置2002指示搜索范围1902。在所述搜索空间中，将具有最小误差的位置设置为对应像素点。在此阶段，对应像素点位于参考帧上的某像素。所述搜索范围不限于正方形或矩形。其可以是图21所示的水平线，或者图22所示的垂直线，或者图23所示的斜线。

参考图24，将描述所述图像空间。图24示出了用于所述图像空间的坐标系。在图24中，假设将所述图像空间的左上点设置为原点，h是水平轴，v是垂直轴。如下给出由黑点表示的低分辨率图像的样本像素点(h，v)：

(h，v)＝(0.5，0.5)，(1.5，0.5)，(2.5，0.5)，...，(0.5，1.5)，...

即，h是用(^＊.5)(^＊＝0，1，2，3，...)表示的位置，且v也是用(^＊.5)(^＊＝0，1，2，3，...)表示的位置。相反，如下给出由白点表示的高分辨率图像的样本像素点(h，v)：

(h，v)＝(0.25，0.25)，(0.75，0.25)，...，(0.25，0.75)，...

即，h和v是由(^＊.25)或(^＊.75)表示的位置。

参考图25，将描述抛物线拟合。

在图25所示的抛物线拟合中，水平轴是x轴，垂直轴表示匹配误差。在这种情况下，在抛物线上点示出在x方向位置(m)的最小误差，以及在紧邻m前后的x方向位置(m-1)和(m+1)所获取的误差，并且将抛物线呈现最小值的x的值设置为对应点。如果存在半个像素的相移，需要在x＝m和x＝m-1获取相同的误差，并且假设所述最小值在这些x值的中心。然而，在图25中，呈现所述最小值的位置从所述中心稍微偏移，从而实现对于抛物线拟合的更加普遍的解释。

取代抛物线拟合，也可以使用等角拟合，这已经在Masao Shimizu和Masatoshi Okutomi的“Significance and Attributes of Sub-PixelEstimation on Area-Based Matching”中公开了。

进一步，过采样方法是另一种实现亚像素估计的方法。在过采样方法中，首先，准备图26所示的数据，其通过对图13所示的另一个帧的块数据进行线性插值以加倍数据密度而获得。另一方面，如图27所示，将图11所示的参考帧的数据加倍。如果在此状态下进行搜索，即使不进行拟合，也可直接计算对应于x＝m-0.5的匹配误差，并且其比在图29所示的x＝m处获取的匹配误差低。结果，x＝m-0.5被检测为最小误差位置，即，对应点。

如上所述，在所述过采样方法中，为了将计算误差的间隔减小到1/2，需要将数据量加倍，以及为了将计算误差的间隔减小到1/4，需要将数据量增加到四倍。然而，可以利用简单的算法获得对应点。图30和31分别是利用拟合方法(诸如抛物线拟合或等角拟合)以及过采样方法来获取对应点的流程图。在图30和31中，用对应的参考数字表示与上述步骤相似的步骤，并且在此不再给出详细描述。

在步骤S3001，当以像素为单位移动参考帧中的块的位置时计算目标块和参考帧中的所述块之间的误差，并且检测参考帧中在其处误差最小的对应块。

在步骤S3002，基于在步骤S3001的检测结果，通过抛物线拟合或等角拟合来检测对应点，这是所述处理的终点。

在步骤S3101，对目标块和参考帧进行像素插值，从而将它们的像素密度加倍。此后，程序进行到步骤S3001，然后进行到步骤S3102。

在步骤S3102，将对应块中存在的某点设置为对应点，从而结束所述处理。例如，将对应块的中心设置为对应点。

参考图32到39，将给出对于用以获取不同位置的多个对应点的方法的描述。

在图20所示的搜索空间中，将在其获取了第2和第3最小匹配误差的位置，以及在其获取了最小匹配误差的位置，设置为对应误差点，以及利用对应误差点进行亚像素估计。可以预设对应点的数目。可选地，可以将误差不超过预设值的所有位置设置为对应点。再或者，可以将搜索范围限制为图32中的黑点所指示的范围，以及在该搜索范围以内获取到最小误差的位置确定第一对应点。之后，在图33、34和35所示的搜索范围中获取各个对应点。例如，在图17的亮度在水平方向上变化的情况下，所述当在垂直方向移动所述搜索范围时搜索对应点的方法特别有优势。

相反，在亮度在垂直方向上变化的情况下，当在水平方向上移动所述搜索范围时搜索对应点的方法特别有优势。由于此，具有优势的是，候选指定单元102在目标边缘垂直地扩展时设置水平搜索范围，并且在垂直地移动所述搜索范围时搜索对应点。另一方面，当所述目标边缘水平地扩展时，具有优势的是，候选指定单元102设置垂直搜索范围并且在水平地移动所述搜索范围时搜索对应点。再或者，可以为倾斜边缘设置图37所示的倾斜搜索范围。即，检测目标像素的像素值的梯度方向，并基于梯度方向搜索对应点。

可选地，可以如图38所示限制矩形搜索范围的外形，并且当改变搜索范围的尺寸时确定对应点。在任何情况下，通过基于对应误差点进行亚像素估计来获取对应点。

图39是当关于一个目标像素将搜索范围从一个改变为另一个时检测多个对应点的流程图。

在步骤S3901，当固定水平和垂直坐标之一并改变另一个坐标时检测对应点。

在步骤S3092，当切换所述固定的坐标时检测对应点。

参考图40，将给出对于在步骤S205进行的高分辨率图像的像素值的计算的描述。

在步骤S204之后，获取在图40中用标记“x”指示的这种对应点。有很多方法从非均匀分布的对应点(样本点)确定在矩阵中排列的像素值。例如，当使用叠加方法(诸如S.Park等的“Super-Resolution ImageReconstruction：A Technical Overview”，第25页中描述的非均匀插值)时，并且当确定在图9的高分辨率图像中包含的像素921的值时，检查位于像素921附近的样本值919、916和922等，以检测最接近像素921的样本值，并将其用作为像素921的值。或者，通过向样本值授予权重，使得当距像素921的距离变得更长时授予更大的权重，并且将所得到的样本值的加权平均值作为像素921的值，来确定像素921的值。再或者，将落在预设距离范围以内的样本值的平均值作为像素921的值。

图41示出了利用所述叠加方法获取高分辨率图像的像素值的流程图。

在步骤S4101，以像素为单位获取目标像素和对应于该目标像素的各个样本点之间的距离。

在步骤S4102，将各像素值设置为样本点的加权平均值。此时，距各像素的距离越近，各样本值的加权越大。

如果使用POCS方法(例如，参见S.Park等的“Super-ResolutionImage Reconstruction：A Technical Overview”，第29页)而不是所述叠加方法，尽管处理很复杂，但能够获得更清晰的图像。在所述POCS方法中，首先，利用，例如，双线性插值或三阶插值向高分辨率图像908的各个像素授予临时值。此后，假设当所述高分辨率图像的临时像素值时，计算样本值(此后称为“临时样本值”)。

现在参考图42，将描述一种计算所述临时样本值的方法。如参考图6所述，图像空间4201被分为多个矩形部分4202。位于各矩形部分中心的像素值4203表示其亮度分布。从像素的密度确定各个矩形部分的尺寸。如果，例如，将分辨率降低为1/2，则各个矩形部分的尺寸加倍。在图42中，白点表示高分辨率图像的像素，黑点表示对应于分辨率是所述高分辨率图像一半的低分辨率图像的样本点。当向高分辨率图像的像素授予临时像素值时，获取在样本点4204的临时样本值，作为像素4205到4208的像素值的平均值。这是因为样本点4204位于高分辨率图像的四个像素的中心。

相反，在样本点4209偏离所述高分辨率图像的四个像素的中心的情况下，通过样本点4209表示的矩形部分4210所重叠的部分的加权平均被用作为临时样本值。例如，授予给像素4211的权重对应于阴影部分4212的面积。关于与矩形部分4210相重叠的九个矩形部分，成比例于重叠面积向它们授予权重，并且获取所得到的九个像素值的加权平均值，作为所述临时样本值。如果所述高分辨率图像是准确的，则所述临时样本值必须等于从低分辨率图像获取的对应样本值。

然而，一般而言，它们相互不相等。因此，为使它们相互相等，更新所述临时样本值。计算样本值和临时样本值之间的差，对相对应的临时像素值进行加法/减法，从而消除所述差。由于存在多个像素值，向对所述样本值所进行的一样，对相对应的差进行加权，并对像素值进行加法/减法，以消除它们各自的差。关于当前计算的样本点，它们的样本值和临时样本值互相相等。然而，在更新另一个样本点的过程中，可以更新相同的高分辨率图像像素。例如，如果在将图9中的像素921更新为与样本值916相等之后再将其更新为等于样本值919，则其不再等于样本值916。由于此，对于所有样本点中的每一个，所述更新处理被反复几次。在所述反复之后，所述高分辨率图像接近准确的图像。将通过以预定次数反复进行上述处理所得到的图像作为高分辨率图像输出。

如上所述，所述POCS方法用来将高分辨率图像的像素值设置为临时样本值，并求解这样的条件表达式，即，所述临时样本值必须基本上等于从低分辨率图像获取的样本值，其中从实际的照片获取所述低分辨率图像，从而获得高分辨率图像的像素值。可以通过另一种方法，诸如迭代反向投影方法(例如，参见S.Park等的“Super-Resolution Image Reconstruction：A Technical Overview”，第31页)或MAP方法(例如，参见S.Park等的“Super-Resolution Image Reconstruction：A Technical Overview”，第28页)来求解所述条件表达式。

图43是流程图，其用于使用如上的条件表达式来实现高分辨率的情况。

在步骤S4301，以包含在低分辨率图像中的像素，即，样本值，为单位建立上述条件表达式。

在步骤S4302，作为联立方程解决多个所得到的条件表达式，以获取用于高分辨率图像的像素值。

图44是流程图，其用于通过对图像的边缘周围进行处理从而简单地减少处理量的情况。可以通过双线性插值或三阶插值主要地处理除所述边缘之外的图像部分，即，没有像素值变化的部分。于是，可以在除所述边缘之外的部分忽略利用所述条件表达式的上述处理。结果，可以降低处理量，而不会降低图像的清晰度。

在步骤S4401，其中在步骤S4301之后进行此步骤，以像素为单位对低分辨率图像进行边缘检测。例如，在Sobel滤波器的情况下，如果水平或垂直相邻的像素的值之间的差比预设值更高，则确定存在边缘，然而如果所述差不高于该预设值，则确定不存在边缘。换言之，如果像素值梯度高于预设值，则确定存在边缘，然而如果梯度不高于该预设值，则确定不存在边缘。

在步骤S4402，求解与被确定包含在边缘中的像素相对应的条件表达式。例如，当采用POCS方法时，仅进行更新，其与对应于被确定包含在边缘中的像素的条件表达式相关。

然后参考图45，将给出对于仅处理边缘部分的另一个方法的描述。

在步骤S4501，其中在步骤S4401之后进行此步骤，仅检测被确定包含在边缘中的像素的对应点，并建立与它们相关的条件表达式。此后，程序进行到步骤S4402。

取代执行步骤S4501和S4402，可以采用叠加方法，在其中向更清晰的边缘(即，更大的像素值梯度)授予更大的权重。再或者，仅对在包含目标像素的局部图形中包含的、样本值梯度大于预定值的样本值进行加权平均获取处理。

参考图46，将详细描述步骤S4501。

在步骤S4401，以像素为单位对低分辨率图像进行边缘检测，其后是步骤S201。例如，存储与所述低分辨率图像具有相同尺寸的数字图像作为检测结果，其中，用“1”表示包含在边缘中的像素，用“0”表示没有包含在边缘中的像素。

如果在步骤S4601确定边缘中包含目标像素，程序进行到步骤S202，然而如果边缘中不包含目标像素，程序返回步骤S201。具体地，当以数字图像的形式存储所述边缘检测结果时，如果目标像素的值是“1”，则程序进行到步骤S202，然而如果所述值是“0”，则程序返回步骤S201。

参考图47，将给出对于在低分辨率图像的数目与为一个目标像素获取的对应点的数目之间的关系的描述。

根据将被实现的高分辨率的放大倍率预先确定用来获取单个高分辨率图像的低分辨率图像的数目N，以及一个目标像素的对应点的数目P。例如，在以四倍同时放大所述低分辨率图像的长度和宽度的情况下，所得到的高分辨率图像中包含的像素的数目是所述低分辨率图像的像素数目的16倍，并且相应地，需要16倍的样本点。N和P应被确定以满足如下条件：

NP＝16

例如，如果存储器能够存储8(＝N)个低分辨率图像，将P设置为2，如果其仅能存储2(＝N)个低分辨率图像，则必须将P设置为8。注意到常规的帧退化逆变换方法对应于P＝1且N＝16的情况。相反，在本发明的实施例中，如上所述，可以将所需要的存储量减小为1/2(＝8/16)或1/8(＝2/16)。

图47示出了N＝1的情况。在图47中，参考数字4701表示相同的低分辨率帧。如果在图像空间4705中选择目标像素4709，在帧4701中检测相对于目标像素周围的块4702具有最小匹配误差的多个部分，从而进行亚像素估计。结果，检测到块4703和4704。在这种情况下，块4702自身相对于块4702具有为零的匹配误差，即，最小误差，这是当然的。因此，可以从搜索范围中去除此块，或者选择具有第二或第三最小误差的块作为对应点。图47中示出了块4704的对应向量4708。对应向量4708的起点和终点存在于同一帧中。图47中未示出与块4703相对应的向量。结果，安排像素4709的值，作为图像空间4710中的样本值4706和4707。

图48是流程图，其用于解释，特别是，运动图像的具体情况。

在步骤S4801，将赋给低分辨率帧的编号n设置为1。

在步骤S4802，将第n帧中包含的一个像素设置为目标像素。

在步骤S4803，在参考帧的图像空间中检测对应于所述目标像素的点。

在步骤S4804，确定所使用的低分辨率图像的数目N是否等于n。如果答案为“否”，则程序进行到步骤S4805，然而如果答案为“是”，则程序进行到步骤S4806。

在步骤S4805，增加n，程序返回到步骤S4802。

在步骤S4806，利用低分辨率图像的像素值和检测到的对应点，计算对应于参考帧的高分辨率图像的像素值，这是所述处理的终点。

图49是接连利用运动图像帧作为参考帧来实现高分辨率的流程图。

在步骤S4901，将第一帧设置为参考帧。

在步骤S4902，通过在图48中的步骤S4800的处理来生成对应于所设置的参考帧的高分辨率图像。

在步骤S4903，确定是否已经生成了对应于所有参考帧的高分辨率图像。如果答案为“否”，程序进行到步骤S4904，然而如果答案为“是”，程序结束。

在步骤S4904，将下一帧设置为参考帧，且程序进行到步骤S4902。

(第二实施例)

参考图50到58，将给出对在其中使用局部图形自相关的第二实施例的描述。

图50示出了静止图像的一部分或运动图像的一帧的一部分，其被输入为用于实现高分辨率的低分辨率图像5006。黑点表示像素。阴影部分表示低亮度部分，其包含从左下方延伸到右上方的边缘5007。所述边缘表示在采样之前和拍摄期间获得的亮度边界。低分辨率图像5006的像素仅呈现出亮度，这是当然的。为了尽可能准确地再现边缘5007的光照和阴影，在常规技术中，从对象的不同图像帧获取该对象的某个部分的样本值。然而，如上参考图17所述，图50中的虚线包围的五个线5001到5005应该具有非常相似的亮度变化。即，可以使用通过异相采样获得的像素值作为用于实现高分辨率的样本值。

鉴于此，在所述第二实施例中，将图像5006分割为多个线，所述线逐一被用作为参考线，并且利用每个参考线邻近的低分辨率像素线对其实现高分辨率。进一步，使用每个像素线实现其它线的高分辨率。例如，在图51中，像素线5102被至少用于实现像素线5103和5104的高分辨率。图52A示出了自相关的具体例子，更具体地，示出了具有自动全等部分的图像例子。图52B是视图，其用于解释实现具有自动全等并在图52A中示出的图像部分的高分辨率。

参考图50和53，将给出对利用低分辨率像素线实现高分辨率的操作的描述。

在步骤S5301，将图像空间的线中所包含的端线设置为将进行高分辨率的最初实现的参考线。

在步骤S4801，将赋给用于实现所设置的参考线的高分辨率的低分辨率像素线的编号n设置为1。在图50中，使用线5003作为参考线，并且使用像素线5001到5005来实现所述参考线的高分辨率。例如，首先，选择像素线5001。

在步骤S5302，将第n个线中包含的一个像素设置为目标像素。在图50中，假设将像素5008设置为目标像素。

在步骤S5303，在参考线的图像空间中检测对应于所述目标像素的点，然后，程序进行到步骤S204。在图50中，点5009被检测为目标像素5008的对应点。在图50中，准备图像空间5010，以便于观看，其与图像空间5006相同。

在步骤S204，确定是否已经对在第n个线中包含的所有像素检测了对应点。如果答案为“否”，程序进行到步骤S4805，然而如果答案为“是”，程序进行到步骤S5304。

在步骤S4805，n被增加，程序进行到步骤S5304。基于位于所述边缘附近并包含在像素线5001、5002、5004和5005中的像素，图50仅示出了在参考线5003中检测出的对应点。

在步骤S5304，利用低分辨率像素线的像素值以及检测到的对应点，计算对应于所述参考线的高分辨率图像的像素值，然后，程序进行到步骤S5305。

在步骤S5305，确定是否已经处理了将被进行高分辨率处理的所有线。如果答案为“否”，程序进行到步骤S5306，然而如果答案为“是”，程序结束。

在步骤S5306，将下一个线设置为参考线，并且程序进行到步骤S4801。

在图53的流程图中，在各像素线的方向上增强图像的分辨率。具体地，在图50中，垂直地进行高分辨率处理。例如，在输入的低分辨率图像是图54所示(6×4)像素的图像的情况下，如果利用垂直线将所述图像的分辨率加倍，则生成如图55中的白点指示的(6×8)像素的图像。进一步，如果利用水平线将所得到的图像的分辨率加倍，则生成如图56中的白点指示的(12×8)像素的图像。结果，所获得的图像是图54所示图像的两倍大。另一方面，如果首先利用水平线将所述图像的分辨率加倍，生成诸如图57所示的(12×4)像素的图像。此后，如果利用垂直线将所得到的图像的分辨率加倍，生成诸如图56所示的(12×8)像素的图像。因而，不管高分辨率实现方向的顺序怎样，都能够实现相同的高分辨率。

参考图58的流程图，将给出对于首先在水平方向然后在垂直方向实现高分辨率的处理的描述。

在步骤S5801，将分割图像空间得到的水平线中包含的末端水平线设置为将被进行高分辨率的最初实现的参考线。随后，程序进行到步骤S5802。

在步骤S5802，通过由图53所示的步骤S4801到S5304所指示的过程来实现所述参考线的高分辨率。此后，程序进行到步骤S5803。

在步骤S5803，确定是否已经处理了将被进行高分辨率处理的所有水平线。如果答案为“否”，程序进行到步骤S5804，然而如果答案为“是”，程序进行到步骤S5805。

在步骤S5804，将下一个水平线设置为参考线，并且程序进行到步骤S5802。

在步骤S5805，将分割图像空间得到的垂直线中包含的末端垂直线设置为将被进行高分辨率的最初实现的参考线。随后，程序进行到步骤S5806。

在步骤S5806，通过由图53所示的步骤S4801到S5304所指示的过程来实现所述参考线的高分辨率。此后，程序进行到步骤S5807。

在步骤S5807，确定是否已经处理了将被进行高分辨率处理的所有垂直线。如果答案为“否”，程序进行到步骤S5808，然而如果答案为“是”，程序结束。

在步骤S5808，将下一个垂直线设置为参考线，并且程序进行到步骤S5806。

(第三实施例)

参考图59和60，将给出对第三实施例的描述，在其中，在利用局部图形自相关时，用块来代替线。

如图59所示，将(9×9)像素的图像分割为(3×3)像素的块5901，并且使用块5901中的一个作为参考块5902，其中，确定对应于其它块的像素的点(对应点)。

参考图60的流程图，将描述第三实施例的操作。

在步骤S6001，将分割所述图像空间得到的块中包含的末端块设置为将被进行高分辨率的最初实现的参考块。然后，程序进行到步骤S4801。

在步骤S4801，将赋给用于实现所设置的参考块的高分辨率的低分辨率块的编号n设置为1。随后，程序进行到步骤S6002。在图59中，块5902被设置为参考块，并且与参考块5902相邻的八个块被用于实现参考块5902的高分辨率。

在步骤S6002，将第n个块中包含的一个像素设置为目标像素，并且程序进行到步骤S6003。

在步骤S6003，在参考块的图像空间中检测对应于所述目标像素的点，然后，程序进行到步骤S204。

在步骤S204，确定是否已经关于第n个块中包含的所有像素检测了对应点。如果答案为“否”，程序返回到步骤S6002，然而如果答案为“是”，程序进行到步骤S4804。

在步骤S4804，确定所使用的低分辨率块的数目N是否等于n。如果答案为“否”，则程序进行到步骤S4805，然而如果答案为“是”，则程序进行到步骤S6004。

在步骤S4805，增加n，程序返回到步骤S6002。

在步骤S6004，利用低分辨率图像的像素值和检测到的对应点，计算对应于参考块的高分辨率图像的像素值。此后，程序进行到步骤S6005。

在步骤S6005，将下一个块设置为参考块，并且程序进行到步骤S4801。

最后，将描述呈现效果的例子。图61示出了利用常规的三阶插值对静止图像进行实现高分辨率的处理而获得的图像。具体地，通过扩大大密度变化的图像的黑线部分来获取所示的图像，并且每个小方块部分对应于一个像素。图62示出了通过提高图61的图像的分辨率所获得的图像。很明显，图62中的黑线部分显然比图61中的更清晰。进一步，图63示出了在其中仅对边缘部分进行处理的实施例的结果。很明显，尽管获得图63的图像所需要的处理次数少于获取图62的图像所需要的处理次数，但是，图63的图像比图61更清晰。

在上述实施例中，可以使用低分辨率图像中的一个像素值作为多个对应点值，即，样本点值。这意味着与常规技术相比，所述实施例能够利用更少数量的低分辨率图像提供更清晰的高分辨率图像。于是，可以减少所需要的存储容量。

进一步，具体地，当在一个帧进行处理时，可以缩小搜索对应点的范围，从而减小所需要的处理的次数。具体地，当在帧之间获取对应点时，由于对应点在帧之间运动，通常需要十个到几十个搜索范围。相反，当在一个帧中进行处理时，由于在一个帧的相邻线中检测对应点，仅准备几个搜索范围就足够了。此外，虽然利用多个帧的方法不能用于静止图像，但是，利用单个帧的方法能够用于诸如照片的静止图像。

Claims

1.一种高分辨率化装置，包括：

获取单元，其被配置为从图像源获取由指示亮度级的像素值表示的图像；

第一设置单元，其被配置为将所述图像中包含的一个帧设置为参考帧；

第二设置单元，其被配置为分别将所述图像中包含的一个或多个帧中所包含的多个像素顺序地设置为多个目标像素；

第三设置单元，其被配置为分别设置包含所述目标像素的多个目标图像区域；

搜索单元，其被配置为在所述参考帧搜索在像素值的变化模式与各个所述目标图像区域相似的多个相似目标图像区域；

选择单元，其被配置为从所述参考帧的所述相似目标图像区域选择对应于各个所述目标像素的多个对应点；

第四设置单元，其被配置为将在所述对应点的多个有关亮度的样本值设置为与该对应点相对应的目标像素的像素值；以及

计算单元，其被配置为基于所述样本值和所述对应点，计算在对应于所述参考帧的高分辨率图像中包含的多个像素值，所述高分辨率图像包含了比所述参考帧中包含的像素更大数目的像素。

2.根据权利要求1所述的装置，其中：

所述获取单元被配置为获取由多个帧形成的运动图像，作为所述图像；

所述第一设置单元被配置为将所述帧之一设置为所述参考帧；以及

所述第二设置单元被配置为将除所述参考帧之外的一个或多个帧中包含的像素设置为所述目标像素。

3.根据权利要求1所述的装置，其中：

所述第二设置单元被配置为将所述参考帧中包含的像素设置为多个目标像素。

4.根据权利要求1所述的装置，其中：

所述获取单元被配置为获取由一个帧形成的静止图像，作为所述图像；

所述第一设置单元被配置为将所述静止图像设置为所述参考帧；以及

5.根据权利要求1所述的装置，其中：

所述第三设置单元被配置为将位于所述目标像素周围的m×n个像素设置为各个所述目标图像区域，其中所述m和n是不小于1的整数；

所述搜索单元包括：设置模块，其被配置为设置所述参考帧中的多个m×n像素的对应候选图像区域；检测模块，其被配置为检测所述对应候选图像区域中的对应像素区域，该对应像素区域具有在所述对应像素区域和所述目标图像区域之间像素值的最小误差和，并且其对应于所述相似目标图像区域；拟合模块，其被配置为在曲线上拟合从当在第一方向上将所述对应像素区域移动几个像素时所得到的区域获得的所述最小误差和，以及从当在与所述第一方向相反的第二方向上将所述对应像素区域移动几个像素时所得到的另一个区域获得的另一个误差和；以及

选择单元，其被配置为将所述曲线指示最小值的位置设置为所述对应点之一。

6.根据权利要求1所述的装置，其中，所述搜索单元包括：生成模块，其被配置为通过在所述图像中包含的多个像素之间内插多个其它像素来生成插值图像；第一设置模块，其被配置为将位于所述插值图像中的目标像素周围的m×n像素区域设置为各个所述目标图像区域，其中所述m和n是不小于1的整数；第二设置模块，其被配置为将各自包含m×n个像素的多个对应候选图像区域设置成所述插值图像中包含的参考帧；检测模块，其被配置为从所述对应候选图像区域中检测对应像素区域，该对应像素区域具有在所述对应像素区域和所述各个目标图像区域之间像素值的最小误差和，并且对应于所述相似目标图像区域；以及

所述选择单元被配置为将与所述对应像素区域相对应的点设置为所述对应点之一。

7.根据权利要求1所述的装置，其中，所述搜索单元包括确定模块，其被配置为，在固定水平和垂直坐标之一，并改变所述水平和垂直坐标中的另一个时，顺序地确定在所述参考帧的各个图像区域的像素值的变化模式和各个所述目标图像区域的像素值的所述变化模式之间的差，以获得多个差，并且确定在所述水平和垂直坐标中的所述另一个中包含的、在预设范围内提供所述差的最小一个的坐标是第一个所述对应点；以及切换模块，其被配置为在所述水平和垂直坐标之间切换被固定的坐标，并通过改变除所述被固定的坐标之外的坐标来获取第二个所述对应点。

8.根据权利要求1所述的装置，其中，所述计算单元被配置为将所述高分辨率图像的像素值设置为未知值，以所述样本值为单位建立条件表达式，并且通过作为联立方程求解所述条件表达式来计算所述高分辨率图像的像素值，所述条件表达式指示从所述未知值计算得到的临时样本值等于所述样本值。

9.根据权利要求8所述的装置，其中，所述搜索单元被配置为，如果包含所述目标像素之一的局部图形中的像素值的梯度小于预设值，则不能在所述参考帧搜索到所述相似目标图像区域。

10.根据权利要求8所述的装置，其中，所述计算单元被配置为使用指示包含所述目标像素之一的局部图形中的像素值的梯度大于预设值的条件表达式作为所述条件表达式。

11.根据权利要求1所述的装置，其中，所述计算单元被配置为作为所述样本值的加权平均值来计算所述高分辨率图像的各个像素的值，所述样本值包括所述高分辨率图像的所述各个像素，并且落在预设范围以内。

12.根据权利要求11所述的装置，其中，所述搜索单元被配置为，如果包含所述目标像素之一的局部图形中的像素值的梯度小于预设值，则不能在所述参考帧搜索到所述相似目标图像区域。

13.根据权利要求11所述的装置，其中，所述计算单元被配置为依照包含所述目标像素之一的局部图形中的像素值的梯度，增加所述加权平均值的权重。

14.根据权利要求13所述的装置，其中，所述计算单元被配置为，当所述包含所述目标像素之一的局部图形中的像素值的梯度大于某值时，仅利用该局部图形中包含的那些样本值来计算所述加权平均值。

15.根据权利要求1所述的装置，其中，所述选择单元被配置为检测各个所述目标像素的像素值的梯度方向，并根据所述检测的梯度方向选择所述对应点。

16.一种高分辨率化装置，包括：

分割单元，其被配置为将所述图像中包含的一个帧分割为多个垂直或水平像素线；

第一设置单元，其被配置为将所述像素线中包含的一个像素线设置为参考像素线；

第二设置单元，其被配置为分别将除所述参考像素线之外的、在所述图像中包含的一个或多个帧中包含的多个像素顺序地设置为多个目标像素；

搜索单元，其被配置为在所述参考像素线中搜索在像素值的变化模式与各个所述目标图像区域相似的多个相似目标图像区域；

选择单元，其被配置为从所述参考像素线的所述相似目标图像区域中选择对应于各个所述目标像素的多个对应点；

第四设置单元，其被配置为将在所述对应点的多个有关亮度的样本值设置为对应于该对应点的目标像素的像素值；以及

计算单元，其被配置为基于所述样本值和所述对应点，计算对应于所述参考像素线的高分辨率图像中包含的多个像素值，所述高分辨率图像包含了比所述参考像素线中包含的像素更大数目的像素。

17.根据权利要求16所述的装置，其中：

如果所述分割单元首先将所述一个帧分割为垂直像素线，则所述计算单元被配置为计算多个像素值，然后所述分割单元被配置为将所述一个帧分割为水平像素线，并且所述计算单元被配置为计算多个像素值；

如果所述分割单元首先将所述一个帧分割为水平像素线，则所述计算单元被配置为计算多个像素值，然后所述分割单元被配置为将所述一个帧分割为垂直像素线，并且所述计算单元被配置为计算多个像素值。

18.一种高分辨率化方法，包括以下步骤：

从图像源获取由指示亮度级的像素值表示的图像；

将所述图像中包含的一个帧设置为参考帧；

分别将所述图像中包含的一个或多个帧中所包含的多个像素顺序地设置为多个目标像素；

分别设置包含所述目标像素的多个目标图像区域；

在所述参考帧搜索在像素值的变化模式与各个所述目标图像区域相似的多个相似目标图像区域；

从所述参考帧的所述相似目标图像区域选择对应于各个所述目标像素的多个对应点；

将在所述对应点的多个有关亮度的样本值设置成与该对应点相对应的目标像素的像素值；以及

基于所述样本值和所述对应点，计算在对应于所述参考帧的高分辨率图像中包含的多个像素值，所述高分辨率图像包含了比所述参考帧中包含的像素更大数目的像素。

19.一种高分辨率化方法，包括以下步骤：

从图像源获取由指示亮度级的像素值表示的图像；

将所述图像中包含的一个帧分割为多个垂直或水平像素线；

将所述像素线中包含的一个像素线设置为参考像素线；

分别将除所述参考像素线之外的、在所述图像中包含的一个或多个帧中包含的多个像素顺序地设置为多个目标像素；

分别设置包含所述目标像素的多个目标图像区域；

在所述参考像素线中搜索在像素值的变化模式与各个所述目标图像区域相似的多个相似目标图像区域；

从所述参考像素线的所述相似目标图像区域中选择对应于各个所述目标像素的多个对应点；

将在所述对应点的多个有关亮度的样本值设置成对应于该对应点的目标像素的像素值；以及

基于所述样本值和所述对应点，计算对应于所述参考像素线的高分辨率图像中包含的多个像素值，所述高分辨率图像包含了比所述参考像素线中包含的像素更大数目的像素。