CN101103375A - 产生并显示在空间上偏移的子帧 - Google Patents

Abstract

提供了一种用于利用显示设备(26)来显示图像(14)的方法。所述方法包括产生对应于所述图像的图像数据(16)的第一子帧(301)和第二子帧(302)，包括使用第一锐化系数来计算第一子帧中的第一子帧像素值，第一锐化系数与来自所述图像数据的第一多个梯度相关联；并且在第一位置中显示所述第一子帧(301)和在空间上偏离第一位置的第二位置中显示第二子帧(302)之间交替。

Description

产生并显示在空间上偏移的子帧

相关申请的交叉引用

本申请涉及于2002年8月7日提交的美国专利申请序号10/213,555题目为“IMAGE DISPLAY SYSTEM AND METHOD”；于2002年9月11日提交的美国专利申请序号10/242,195题目为“IMAGE DISPLAYSYSTEM AND METHOD”；于2002年9月11日提交的美国专利申请序号10/242,545题目为“IMAGE DISPLAY SYSTEM ANDMETHOD”；于2003年7月31日提交的美国专利申请序号10/631,681题目为“GENERATING AND DISPLAYING SPATIALLY OFFSETSUB-FRAMES”；于2003年7月31日提交的美国专利申请序号10/632,042题目为“GENERATING AND DISPLAYING SPATIALLYOFFSET SUB-FRAMES”；于2003年9月26日提交的美国专利申请序号10/672,845题目为“GENERATING AND DISPLAYINGSPATIALLY OFFSET SUB-FRAMES”；于2003年9月26日提交的美国专利申请序号10/672,544题目为“GENERATING ANDDISPLAYING SPATIALLY OFFSET SUB-FRAMES”；于2003年10月30日提交的美国专利申请序号10/697,605题目为“GENERATINGAND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON ADIAMOND GRID”；于2003年10月30日提交的美国专利申请序号10/696,888题目为“GENERATING AND DISPLAYING SPATIALLYOFFSET SUB-FRAMES ON DIFFERENT TYPES OF GRIDS”；于2002年10月30日提交的美国专利申请序号10/697,830题目为“IMAGEDISPLAY SYSTEM AND METHOD”；于2003年12月31日提交的美国专利申请与10/750,591题目为“DISPLAYING SPATIALLYOFFSET SUB-FRAMES WITH A DISPLAY DEVICE HAVING A SETOF DEFECTIVE DISPLAY PIXELS”；于2004年1月30日提交的美国专利申请序号10/768,621题目为“GENERATING ANDDISPLAYING SPATIALLY OFFSET SUB-FRAMES”；于2004年1月30日提交的美国专利申请序号10/768,215题目为“GENERATINGAND DISPLAYING SUB-FRAMES AT SPATIALLY OFFSETPOSITIONS ON A CIRCLE”；于2004年4月8日提交的美国专利申请序号10/821,135题目为“GENERATING AND DISPLAYINGSPATIALLY OFFSET SUB-FRAMES”；于2004年4月8日提交的美国专利申请序号10/821,130题目为“GENERATING ANDDISPLAYING SPATIALLY OFFSET SUB-FRAMES”；于2004年4月8日提交的美国专利申请序号10/820,952题目为“GENERATINGAND DISPLAYING SPATIALLY OFFSET SUB-FRAMES”；于2004年6月9日提交的美国专利申请序号10/864,125概要号200401412-1且题目为“GENERATING AND DISPLAYING SPATIALLY OFFSETSUB-FRAMES”；于2004年6月15日提交的美国专利申请序号10/868,719题目为“GENERATING AND DISPLAYING SPATIALLYOFFSET SUB-FRAMES”以及于2004年6月15日提交的美国专利申请序号10/868,638题目为“GENERATING AND DISPLAYINGSPATIALLY OFFSET SUB-FRAMES”。上述美国专利申请中的每个被转让给本发明的受让人，并且在此通过引用加以结合以供参考。

背景技术

用于显示图像的常规系统或设备(诸如显示器、投影仪或其它成像系统)通过寻址在水平行和垂直列中所布置的单个画面元素或像素的阵列来生成所显示的图像。所显示图像的分辨率被定义为用于形成所显示图像的单个像素的水平行和垂直列的数目。所显示图像的分辨率受显示设备本身的分辨率以及图像数据的分辨率的影响，所述图像数据是由所述显示设备所处理并用来生成所显示图像的。

典型地，为了增加所显示图像的分辨率，必须增加显示设备的分辨率以及用于生成所显示图像的图像数据的分辨率。然而，增加显示设备的分辨率增加了显示设备的成本和复杂度。另外，可能无法获得和/或可能难于产生较高分辨率的图像数据。

发明内容

本发明的一种形式提供了一种用于利用显示设备来显示图像的方法。所述方法包括产生对应于所述图像的图像数据的第一子帧和第二子帧，其中包括使用与来自所述图像数据的第一多个梯度(gradient)相关联的第一锐化系数来计算所述第一子帧中的第一子帧像素值，并且在第一位置显示所述第一子帧和在第二位置显示所述第二子帧之间交替，所述第二位置在空间上偏离所述第一位置。

附图说明

图1是图示依照本发明一个实施例的图像显示系统的框图。

图2A-2C是图示依照本发明一个实施例的两个子帧的显示的示意图。

图3A-3E是图示依照本发明一个实施例的四个子帧的显示的示意图。

图4A-4E是图示依照本发明一个实施例的利用图像显示系统来显示像素的示意图。

图5是图示依照本发明一个实施例的使用最邻近算法来从原始的高分辨率图像产生低分辨率子帧的图。

图6是图示依照本发明一个实施例的使用双线性算法来从原始的高分辨率图像产生低分辨率子帧的图。

图7是图示依照本发明一个实施例的用于产生模拟高分辨率图像的系统的框图。

图8是图示依照本发明一个实施例的用于根据可分离的上采样来产生模拟的高分辨率图像以用于二位置处理的系统的框图。

图9是图示依照本发明一个实施例的用于根据不可分离的上采样来产生模拟的高分辨率图像以用于二位置处理的系统的框图。

图10是图示依照本发明一个实施例的用于产生模拟的高分辨率图像以用于四位置处理的系统的框图。

图11是图示依照本发明一个实施例的把模拟的高分辨率图像和所需高分辨率图像相比较的框图。

图12是图示依照本发明一个实施例的在上采样子帧的频域中的影响的图。

图13是图示依照本发明一个实施例的在上采样的子帧的移位的频域中的影响的图。

图14是图示依照本发明一个实施例的上采样的图像中像素的影响区域的图。

图15是图示依照本发明一个实施例的根据自适应多遍历算法来产生初始模拟的高分辨率图像的图。

图16是图示依照本发明一个实施例的根据自适应多遍历算法来产生校正数据的图。

图17是图示依照本发明一个实施例的根据自适应多遍历算法来产生更新的子帧的图。

图18是图示依照本发明另一实施例的根据自适应多遍历算法来产生校正数据的图。

图19是图示依照本发明一个实施例的产生噪声降低而分辨率增强的子帧的框图。

图20A-20B是图示用于估算梯度的过滤器的图。

图21是图示依照本发明一个实施例的产生噪声降低而分辨率增强的子帧的方法的流程图。

图22是图示依照本发明一个实施例的通过调节锐化系数来产生子帧的方法的流程图。

具体实施方式

在下面对优选实施方式的详细描述中，参考作为其一部分的附图，并且其中借助插图示出了可以实施本发明的具体实施例。应当理解的是，可以利用其它实施例，并且可以在不脱离本发明范围的情况下进行结构或逻辑上的改变。因此，以下详细说明不应当被认为是限制意义上的，并且本发明的范围是通过所附的权利要求而限定的。

I.子帧的空间和时间移位

一些显示系统(例如一些数字光投射器)可能没有足够的分辨率来显示某些高分辨率图像。这种系统可以被配置为通过显示在空间和时间上移位(shift)的较低分辨率图像来向人眼呈现更高分辨率的图像。所述较低分辨率图像被称作子帧。子帧产生的问题(将由本发明的实施例解决)是确定所述子帧的适当值，使得所显示的子帧表面上接近于从其导出子帧的高分辨率图像在直接显示的情况下会呈现出的那个样子。

在上面所引用的美国专利申请中，描述了通过时间和空间移位子帧来提供增强分辨率的表现的显示系统的一个实施例，并且在下面参考图1-4E对其进行概括。

图1是图示依照本发明一个实施例的图像显示系统10的框图。图像显示系统10促进和方便对图像12的处理来创建显示的图像14。图像12被定义为包括任何图画、图形和/或文本字符、符号、插图和/或其它信息表示。图像12例如由图像数据16来表示。图像数据16包括图像12的单个画面元素或像素。虽然只有一个图像被图示并描述为由图像显示系统10来处理，然而应当理解的是，可以由图像显示系统10处理并显示多个图像或图像序列。

在一个实施例中，图像显示系统10包括帧速率转换部件20和图像帧缓冲器22、图像处理部件24和显示设备26。如下所述，帧速率转换部件20和图像帧缓冲器22接收并缓冲图像12的图像数据16来创建图像12的图像帧28。图像处理部件24处理图像帧28来定义图像帧28的一个或多个图像子帧30，并且显示设备26在时间和空间上显示图像子帧30来生成所显示的图像14。

包括帧速率转换部件20和/或图像处理部件24的图像显示系统10包括硬件、软件、固件或其组合。在一个实施例中，包括帧速率转换部件20和/或图像处理部件24的图像显示系统10的一个或多个组件包括于计算机、计算机服务器或其它基于微处理器的系统中，所述系统能够执行逻辑运算序列。另外，处理可以遍及系统而分布，所述系统具有在分离系统组件中实现的多个单独部分。

图像数据16可以包括数字图像数据161或模拟图像数据162。为了处理模拟图像数据162，图像显示系统10包括模拟到数字(analog-to-digital A/D)转换器32。如此，A/D转换器32把模拟图像数据162转换为数字形式以供后续处理。从而，图像显示系统10可以接收并处理图像12的数字图像数据161和/或模拟图像数据162。

帧速率转换部件20接收图像12的图像数据16并且把图像数据16缓冲或存储在图像帧缓冲器22中。更具体地说，帧速率转换部件20接收用于表示图像12的单独线(line)或场(field)的图像数据16，并且把图像数据16缓冲到图像帧缓冲器22中来创建图像12的图像帧28。图像帧缓冲器22通过接收并存储图像帧28的所有图像数据来缓冲图像数据16，并且帧速率转换部件20通过随后从图像帧缓冲器22获取或提取图像帧28的所有图像数据来创建图像帧28。如此，图像帧28被定义为包括表示整个图像12的图像数据16的多个单独线或场。从而，图像帧28包括表示图像12的单个像素的多个列和多个行。

帧速率转换部件20和图像帧缓冲器22可以接收并处理图像数据16作为逐行的图像数据和/或隔行的图像数据。利用逐行的图像数据，帧速率转换部件20和图像帧缓冲器22接收并存储图像12的图像数据16的顺序场。从而，帧速率转换部件20通过获取图像12的图像数据16的顺序场来创建图像帧28。利用隔行的图像数据，帧速率转换部件20和图像帧缓冲器22接收并存储图像12的图像数据16的奇数场和偶数场。例如，图像数据16的所有奇数场被接收并存储，并且图像数据16的所有偶数场被接收并存储。如此，帧速率转换部件20通过获取图像12的图像数据16的奇数和偶数场对图像数据16进行解交错(de-interlaces)并且创建图像帧28。

图像帧缓冲器22包括用于存储各自图像12的一个或多个图像帧28的图像数据16的存储器。从而，图像帧缓冲器22构成一个或多个图像帧28的数据库。图像帧缓冲器22的例子包括非易失性存储器(例如，硬盘驱动器或其它持久性存储设备)并且可以包括易失性存储器(例如，随机存取存储器(RAM))。

通过在帧速率转换部件20接收图像数据16并且利用图像帧缓冲器22缓冲图像数据16，可以把图像数据16的输入计时与显示设备26的计时要求相分离。更具体地说，由于用于图像帧28的图像数据16由图像帧缓冲器22接收并存储，所以图像数据16无论如何都能够作为输入而被接收。如此，图像帧28的帧速率可以被转换为显示设备26的计时要求。从而，可以以显示设备26的帧速率从图像帧缓冲器22中提取图像帧28的图像数据16。

在一个实施例中，图像处理部件24包括分辨率调整部件34和子帧产生部件36。如下所述，分辨率调整部件34接收用于图像帧28的图像数据16并且调节图像数据16的分辨率，以便在显示设备26上显示，并且子帧产生部件36产生图像帧28的多个图像子帧30。更具体地说，图像处理部件24以原始分辨率接收用于图像帧28的图像数据16并且对图像数据16进行处理，以便使图像数据16的分辨率增加、减少和/或保持不变。据此，利用图像处理部件24，图像显示系统10能够接收并显示分辨率变化的图像数据16。

子帧产生部件36接收并处理用于图像帧28的图像数据16，来定义图像帧28的多个图像子帧30。如果分辨率调整部件34已经调节了图像数据16的分辨率，则子帧产生部件36以所调整的分辨率接收图像数据16。图像数据16的所调整的分辨率可以被增加、减小或与用于图像帧28的图像数据16的原始分辨率相同。子帧产生部件36产生图像子帧30，所述图像子帧30具有与显示设备26的分辨率相匹配的分辨率。图像子帧30是等同于图像帧28的每个区域。子帧30均包括表示图像12的图像数据16的子集的单个像素的多个列和多个行，并且具有与显示设备26的分辨率相匹配的分辨率。

每个图像子帧30包括图像帧28的像素的矩阵或阵列。图像子帧30在空间上彼此偏离，使得每个图像子帧30包括不同的像素和/或像素部分。如此，如下所述，图像子帧30彼此相互偏离一垂直距离和/或水平距离。

显示设备26从图像处理部件24接收图像子帧30，并且顺序地显示图像子帧30来创建所显示的图像14。更具体地说，因为图像子帧30在空间上彼此偏离，所以显示设备26依照图像子帧30的空间偏移在不同的位置上显示图像子帧30，如下所述。如此，显示设备26在显示图像帧28的图像子帧30之间进行交替来创建所显示的图像14。据此，显示设备26一次显示图像帧28的整个子帧30。

在一个实施例中，显示设备26执行显示每个图像帧28的图像子帧30的一个周期。显示设备26显示图像子帧30从而在空间和时间上彼此偏离。在一个实施例中，显示设备26在光学上操纵图像子帧30来创建所显示的图像14。如此，显示设备26的单个像素被编址到多个位置。

在一个实施例中，显示设备26包括图像移位器38。图像移位器38在空间上改变或偏移由显示设备26显示的图像子帧30的位置。更具体地说，如下所述，图像移位器38改变图像子帧30的显示位置来生成所显示的图像14。

在一个实施例中，显示设备26包括用于调制入射光的光调制器。所述光调制器例如包括多个微镜像器件，所述多个微镜像器件被安排以形成微镜像器件阵列。如此，每个微镜像器件构成显示设备26的一个单元或像素。显示设备26可以形成显示器、投影仪或其它成像系统的一部分。

在一个实施例中，图像显示系统10包括计时发生器40。计时发生器40例如与帧速率转换部件20、包括分辨率调整部件34和子帧产生部件36的图像处理部件24、以及包括图像移位器38的显示设备26通信。如此，计时发生器40使得缓冲并转换图像数据16以创建图像帧28、处理图像帧28以调节图像数据16的分辨率并且产生图像子帧30，以及定位并显示图像子帧30以生成所显示图像14同步。据此，计时发生器40控制图像显示系统10的计时，使得图像12的完整子帧被显示设备26在时间和空间上显示为所显示的图像14。

在一个实施例中，如图2A和2B中所图示，图像处理部件24为图像帧28定义了两个图像子帧30。更具体地说，图像处理部件24为图像帧28定义了第一子帧301和第二子帧302。如此，第一子帧301和第二子帧302均包括图像数据16的单个像素18的多个列和多个行。从而，第一子帧301和第二子帧302均构成图像数据16的子集的图像数据阵列或像素矩阵。

在一个实施例中，如图2B中所图示，第二子帧302相距第一子帧301偏离垂直距离50和水平距离52。如此，第二子帧302在空间上相距第一子帧301偏离预定距离。在一个说明性实施例中，垂直距离50和水平距离52均近似为二分之一个像素。

如图2C中所图示，显示设备26在第一位置中显示第一子帧301和第二位置中显示第二子帧302之间交替，所述第二位置在空间上偏离所述第一位置。更具体地说，显示设备26把第二子帧302的显示相对于第一子帧301的显示移位垂直距离50和水平距离52。如此，第一子帧301的像素与第二子帧302的像素重叠。在一个实施例中，对于图像帧28，显示设备26执行在第一位置中显示第一子帧301并且在第二位置中显示第二子帧302的一个周期。从而，相对于第一子帧301在空间和时间上显示第二子帧302。依照这种方式显示两个在时间和空间上移位的子帧，在此可以被称作二位置处理。

在另一实施例中，如图3A和3D中所图示，图像处理部件24为图像帧28定义了四个图像子帧30。更具体地说，图像处理部件24为图像帧28定义了第一子帧301、第二子帧302、第三子帧303和第四子帧304。如此，第一子帧301，第二子帧302、第三子帧303和第四子帧304均包括图像数据16的单个像素18的多个列和多个行。

在一个实施例中，如图3B-3D中所图示，第二子帧302相距第一子帧301偏离垂直距离50和水平距离52，第三子帧303相距第一子帧301偏离水平距离54，并且第四子帧304相距第一子帧301偏离垂直距离56。如此，第二子帧302、第三子帧303和第四子帧304均在空间上彼此偏离，并且在空间上相距第一子帧301偏离预定距离。在一个说明性实施例中，垂直距离50、水平距离52、水平距离54和垂直距离56均近似为二分之一个像素。

如图3E示意性所示，显示设备26在第一位置P₁中显示第一子帧301、在空间上偏离所述第一位置的第二位置P₂中显示第二子帧302、在空间上偏离所述第一位置的第三位置P₃中显示第三子帧303以及在空间上偏离所述第一位置的第四位置P₄中显示第四子帧304之间交替。更具体地说，显示设备26相对于第一子帧301把第二子帧302、第三子帧303和第四子帧304的显示移位各自预定的距离。如此，第一子帧301、第二子帧302、第三子帧303和第四子帧304的像素彼此重叠。

在一个实施例中，对于图像帧28，显示设备26执行在第一位置中显示第一子帧301、在第二位置中显示第二子帧302、在第三位置中显示第三子帧303以及在四位置中显示第四子帧304的一个周期。从而，在空间和时间上相对于彼此并且相对于第一子帧301来显示第二子帧302、第三子帧303和第四子帧304。依照这种方式显示四个在时间和空间上移位的子帧，在此可以被称作四位置处理。

图4A-4E图示了用于完成在第一位置中显示来自第一子帧301的像素181、在第二位置中显示来自第二子帧302的像素182、在第三位置中显示来自第三子帧303的像素183以及在第四位置中显示来自第四子帧304的像素184的一个周期的一个实施例。更具体地说，图4A图示了在第一位置中显示来自第一子帧301的像素181，图4B图示了在第二位置中显示来自第二子帧302的像素182(所述第一位置由短划线图示)，图4C图示了在第三位置中显示来自第三子帧303的像素183(所述第一位置和第二位置由短划线图示)，图4D图示了在第四位置中显示来自第四子帧304的像素184(第一位置、第二位置和第三位置由短划线图示)，并且图4E图示了在第一位置中显示来自第一子帧301的像素181(第二位置、第三位置和第四位置由短划线图示)。

子帧产生部件36(图1)根据图像帧28中的图像数据来产生子帧30。本领域普通技术人员应当理解，由子帧产生部件36所执行的功能可以用硬件、软件、固件或其任意组合来实现。所述实现可以经由微处理器、可编程逻辑器件或状态机。本发明的组件可以存在于一个或多个计算机可读介质上的软件中。如这里所用的术语计算机可读介质被定义为包括任何种类的存储器(易失性或非易失性)，诸如软盘、硬盘、CD-ROM、闪速存储器、只读存储器(ROM)和随机存取存储器。

在本发明的一种形式中，子帧30具有比图像帧28更低的分辨率。从而，子帧30在此还被称为低分辨率图像30，并且图像帧28在此还被称为高分辨率图像28。本领域普通技术人员应当理解，这里依照比较方式来使用术语低分辨率和高分辨率，而不局限于任何特定的最小或最大的像素数目。在一个实施例中，子帧产生部件36被配置成根据五种算法之一来产生子帧30。这五种算法在此可以被称作为：(1)最近邻；(2)双线性；(3)空间域；(4)频域；和(5)自适应多遍历。

依照本发明一个形式的最近邻算法和双线性算法，通过对来自高分辨率图像28的像素进行组合来产生子帧30。依照本发明一个形式的空间域算法和频域算法，根据使全局误差量度最小化来产生子帧30，所述全局误差量度表示在模拟的高分辨率图像和想要的高分辨率图像28之间的差异。依照本发明一个形式的自适应多遍历算法根据局部误差量度的最小化来产生子帧30。在一个实施例中，子帧产生部件36包括用于存储子帧值和高分辨率图像值之间的关系的存储器，其中所述关系基于高分辨率图像值和模拟的高分辨率图像之间的误差量度最小化，所述模拟的高分辨率图像为子帧值的函数。下面将参考图5-18描述这五种算法中的每个实施例。

II.最近邻

图5是图示依照本发明一个实施例的使用最近邻算法从原始的高分辨率图像28来产生低分辨率子帧30A和30B(被总称为子帧30)的图。在所图示的实施例中，高分辨率图像28包括用于总共十六个像素H1-H16的四列和四行像素。在最近邻算法的一个实施例中，第一子帧30A是通过在高分辨率图像28的第一行中每隔一个获取像素，跳过高分辨率图像28的第二行，在所述高分辨率图像28的第三行中每隔一个获取像素，并且遍及所述高分辨率图像28重复此过程产生的。从而，如图5所示，子帧30A的第一行包括像素H1和H3，并且子帧30A的第二行包括像素H9和H11。依照本发明的一种形式，依照与第一子帧30A相同的方式来产生第二子帧30B，但是所述过程在像素H6开始，即从第一像素H1下移一行并且移过一列。从而，如图5所示，子帧30B的第一行包括像素H6和H8，并且子帧30B的第二行包括像素H14和H16。

在一个实施例中，利用具有三个过滤系数“0”和第四过滤系数“1”的2×2过滤器来执行最近邻算法，以便从高分辨率图像产生像素值的加权和。使用如上所述的二位置处理来显示子帧30A和30B，呈现出较高分辨率的图像。最近邻算法还适用于四位置处理，并且不局限于具有在图5中所示出的像素数目的图像。

III.双线性

图6是图示依照本发明一个实施例的使用双线性算法从原始的高分辨率图像28来产生低分辨率子帧30C和30D(被总称子帧30)的示图。在所图示的实施例中，高分辨率图像28包括用于总共十六个像素H1-H16的四列和四行像素。子帧30C包括用于总共四个像素L1-L4的两列和两行像素。并且子帧30D包括用于总共四个像素L5-L8的两列和两行像素。

在一个实施例中，基于下列方程式I-VIII从图像28的像素值H1-H16来产生子帧30C和30D中的像素L1-L8的值：

方程式I

Ll＝(4H1+2H2+2H5)/8

方程式II

L2＝(4H3+2H4+2H7)/8

方程式III

L3＝(4H9+2H10+2H13)/8

方程式IV

L4＝(4H11+2H12+2H15)/8

方程式V

L5＝(4H6+2H2+2H5)/8

方程式VI

L6＝(4H8+2H4+2H7)/8

方程式VII

L7＝(4H14+2H10+2H13)/8

方程式VIII

L8＝(4H16+2H12+2H15)/8

从以上方程式I-VIII中可以看出，子帧30C中的像素L1-L4的值分别主要受像素H1、H3、H9和H11的值影响，原因在于像素H1、H3、H9和H11的值被乘以四。但是，子帧30C中的像素L1-L4的值还受对角邻近的像素H1、H3、H9和H11的值的影响。类似地，子帧30D中的像素L5-L8的值分别主要受像素H6、H8、H14和H16的值影响，原因在于像素H6、H8、H14和H16的值被乘以四。但是，子帧30D中像素l5-L8的值还受对角邻近的像素H6、H8、H14和H16的值的影响。

在一个实施例中，利用具有一个过滤系数“0”和三个具有非零值(例如，4、2和2)过滤系数的2×2过滤器来执行双线性算法，来从高分辨率图像产生像素值的加权和。在另一实施例中，使用其它值作为过滤系数。使用如上所述的二位置处理来显示子帧30C和30D，使较高分辨率的图像得以呈现。双线性算法还适用于四位置处理，并且不局限于具有在图6中所示出的像素数目的图像。

依照最近邻和双线性算法的一种形式，如上所述，根据来自原始高分辨率图像的像素值的线性组合来产生子帧30。在另一实施例中，根据来自原始高分辨率图像的像素值的非线性组合来产生子帧30。例如，如果原始高分辨率图像被伽马校正，那么在一个实施例中使用适当的非线性组合来消除伽马曲线的影响。

IV.用于产生模拟高分辨率图像的系统

图7-10图示了产生模拟高分辨率图像的系统。根据这些系统，开发了用于产生子帧的空间域、频域和自适应多遍历算法，如下面进一步的详细描述。

图7是图示依照本发明一个实施例的根据两个4×4像素低分辨率子帧30E产生模拟高分辨率图像412的系统400的框图。系统400包括上采样级402、移位级404、卷积级406和求和级410。子帧30E由上采样级402根据采样矩阵M进行上采样，由此产生上采样图像。上采样的图像由移位级404根据空间移位矩阵S进行移位，由此产生移位的上采样图像。所移位的上采样图像在卷积级406利用内插过滤器来卷积，由此产生成块的图像408。在所图示的实施例中，所述内插过滤器是具有过滤系数“1”的2×2过滤器，并且卷积的中心是2×2矩阵中的左上位置。所述内插过滤器在高分辨率网格上模拟低分辨率子帧的叠加。扩展低分辨率子帧像素数据，使得可以在所述高分辨率网格上表示所述子帧。所述内插过滤器填充由上采样所生成的丢失像素数据。成块的(blocked)图像408由求和块410加权并求和，来产生8×8像素的模拟的高分辨率图像412。

图8是图示依照本发明一个实施例的根据两个4×4像素低分辨率子帧30F和30G的可分离的上采样使用二位置处理来产生模拟的高分辨率图像512的系统500的框图。系统500包括上采样级502和514、移位级518、卷积级506和522、求和级508和相乘级510。子帧30F由上采样级502按照系数2进行上采样，由此产生8×8像素上采样的图像504。上采样图像504中的深色像素表示来自子帧30F的十六个像素，并且上采样图像504中的浅色像素表示零值。子帧30G由上采样级514按照系数2进行上采样，由此产生8×8像素上采样的图像516。上采样图像516中的深色像素表示来自子帧30G的十六个像素，并且上采样图像516中的浅色像素表示零值。在一个实施例中，上采样级502和514分别使用对角线采样矩阵对子帧30F和30G进行上采样。

上采样图像516由移位级518根据空间移位矩阵S进行移位，由此产生移位的上采样图像520。在所图示的实施例中，移位级518执行一个像素的对角线移位。分别在卷积级506和522利用内插过滤器对图像504和520进行卷积，由此产生成块的图像。在所图示的实施例中，在卷积级506和522的内插过滤器是具有过滤系数“1”的2×2过滤器，并且卷积的中心是2×2矩阵中的左上位置。在卷积级506和522所产生的成块图像由求和块508进行求和，并且在相乘级510乘以系数0.5，来产生8×8像素的模拟高分辨率图像512。图像数据在相乘级510乘以系数0.5，这是因为在一个实施例中，在每个分配给彩色的周期中仅在半个时隙显示每个子帧30F和30G。在另一实施例中，不是在相乘级510乘以系数0.5，而是以系数0.5降低处于级506和522的内插过滤器的过滤系数。

在如图8所示并在上面描述的一个实施例中，低分辨率子帧数据由两个独立的子帧30F和30G来表示，其根据对角线采样矩阵分离地进行上采样(即，可分的上采样)。在如下面参考图9所描述的另一实施例中，低分辨率子帧数据由单个子帧来表示，其根据非对角线采样矩阵进行上采样(即，不可分的上采样)。

图9是图示依照本发明一个实施例的根据8×4像素的低分辨率子帧30H的不可分上采样产生用于二位置处理的模拟高分辨率图像610的系统600的框图。系统600包括五点形上采样级602、卷积级606和相乘级608。子帧30H由五点形上采样级602根据五点形采样矩阵Q进行上采样，由此产生上采样图像604。在上采样图像604中的深色像素表示来自子帧30H的三十二个像素，并且上采样图像604中的浅色像素表示零值。子帧30H包括用于二位置处理的两个4×4像素子帧的像素数据。上采样图像604的第一、第三、第五和第七行中的深色像素表示第一个4×4像素子帧的像素，并且上采样图像604的第二、第四、第六和第八行中的深色像素表示第二个4×4像素子帧的像素。

在卷积级606利用内插过滤器对上采样图像604进行卷积，由此产生成块的图像。在所图示的实施例中，所述内插过滤器是具有过滤系数“1”的2×2过滤器，并且卷积的中心是2×2矩阵中的左上位置。由卷积级606所产生的成块图像在相乘级608乘以系数0.5，来产生8×8像素模拟高分辨率图像610。

图10是图示依照本发明一个实施例的根据子帧301产生用于四位置处理的模拟高分辨率图像的系统700的框图。在图10所图示的实施例中，子帧30I是8×8像素阵列。子帧301包括用于四位置处理的四个4×4像素子帧的像素数据。像素A1-A16表示第一4×4像素子帧的像素，像素B1-B16表示第二4×4像素子帧的像素，像素C1-C16表示第三4×4像素子帧的像素，并且像素D1-D16表示第四4×4像素子帧的像素。

在卷积级702利用内插过滤器对子帧30I进行卷积，由此产生成块的图像。在所图示的实施例中，所述内插过滤器是具有过滤系数“1”的2×2过滤器，并且卷积的中心是2×2矩阵中的左上位置。由卷积级702所产生的成块图像在相乘级704乘以系数0.25，来产生8×8像素模拟的高分辨率图像706。图像数据在相乘级704乘以系数0.25，这是因为在一个实施例中，在每个被分配给彩色的周期中仅在四分之一时隙显示由子帧30I所表示的四个子帧中的每一个。在另一实施例中，不是在相乘级704乘以系数0.25，而是相应地降低所述内插过滤器的过滤系数。

V.根据误差最小化产生子帧

如上所述，系统400、500、600和700分别根据低分辨率子帧来产生模拟高分辨率图像412、512、610和706。如果子帧是最优的，那么模拟的高分辨率图像将尽可能地接近于原始的高分辨率图像28。可以使用各个误差量度来确定模拟的高分辨率图像有多么接近原始的高分辨率图像，所述误差包括均方误差、加权均方误差以及其它误差。

图11是图示依照本发明一个实施例的把模拟的高分辨率图像412/512/610/706和所想要的高分辨率图像28进行比较的框图。在减法级802逐像素地从高分辨率图像28中减去模拟的高分辨率图像412、512、610或706。在一个实施例中，由人类视觉系统(human visual system，HVS)加权过滤器(W)804对所产生的误差图像数据进行过滤。依照本发明的一个形式，HVS加权过滤器804根据人类视觉系统的特性对所述误差图像数据进行过滤。在一个实施例中，HVS加权过滤器804降低或消除高频率误差。然后在级806确定所过滤数据的均方误差，来提供模拟的高分辨率图像412、512、610或706是多么接近于所想要的高分辨率图像28的量度。

在一个实施例中，在误差价值方程式中数学表示系统400、500、600和700，所述方程式用于测量模拟的高分辨率图像412、512、610或706和原始的高分辨率图像28之间的差异。通过对子帧数据求解误差代价方程式来标识最优的子帧，所述误差代价方程式提供了模拟高分辨率图像和想要的高分辨率图像之间的最小误差。在一个实施例中，在空间域和频域中获得全局最优解，并且使用自适应多遍历算法来获得局部最优解。下面参考图12-18进一步详细描述空间域、频域和自适应多遍历算法。

VI.空间域

以图9所示的系统600为背景描述用于依照一个实施例来产生最优子帧的空间域解。图9所示的系统600可以由下列方程式IX在误差代价函数中数学表示：

方程式IX

$l_Q^{*}=\underset{l_Q}{\arg \min }J=\underset{l_Q}{\arg \min }\underset{n}{\mathrm{\Σ}}{(\underset{k}{\mathrm{\Σ}}{l}_Q\left(k\right)f(n-k)-h\left(n\right))}^2$

其中：

l^* _Q＝子帧30H的最优低分辨率数据；

J＝将要最小化的误差代价函数；

n和k＝标识图像604和610的高分辨率像素位置的下标；

l_Q(k)＝来自在位置k的上采样图像604的图像数据；

f(n-k)＝在位置n-k的内插过滤器的过滤系数；和

h(n)＝在位置n的所需高分辨率图像28的图像数据。

在方程式IX中“l_Q(k)f(n-k)”的求和表示在系统600中的级606所执行的上采样图像604和内插过滤器f的卷积。过滤操作通过对上采样图像604的每个像素基本上使2×2内插过滤器的右下方像素滑动而执行。2×2内插过滤器窗口内的上采样图像604的四个像素被乘以相应的过滤系数(即，在所图示的实施例中“1”)。对四个乘法的结果求和，并且用四个乘法结果的和来代替对应于内插过滤器的右下方位置的、上采样图像604的像素值。从卷积值l_Q(k)f(n-k)减去来自高分辨率图像28的高分辨率数据h(n)来提供误差值。对所有高分辨率像素位置上均方误差的求和提供了一种使误差最小化的方法。

最优的空间域解可以通过取方程式IX相对于每个低分辨率像素的导数，并且如下列方程式X所示把它设置为零来获得：

方程式X

$\frac{\∂J}{\∂l_Q^{*}\left(t\right)}=0,t\∈\mathrm{\Θ}$

其中：Θ＝五点形格点的集合

从而，从方程式X中可以看出，只在五点形格点集合取导数，所述五点形格点对应于图9的上采样图像604中的深色像素。把用于方程式IX中所给出的J的方程式插入到方程式X中，并且如方程式X中所规定的那样进行取导数，产生下列方程式XI：

方程式XI

$\underset{k}{\mathrm{\Σ}}{l}_Q^{*}\left(k\right)C_{\mathrm{ff}}(t-k)=\underset{n}{\mathrm{\Σ}}h\left(n\right)f(n-t),t\∈\mathrm{\Θ}$

方程式XI中的符号C_ff表示内插过滤器f的自相关系数，如下列方程式XII所定义：

方程式XII

$C_{\mathrm{ff}}\left(n\right)=\underset{k}{\mathrm{\Σ}}f\left(n\right)f(n+k)$

如下列方程式XIII所示，方程式XI可以被转换成向量形式：

方程式XIII

$C_{\mathrm{ff}}{l}_Q^{*}=h_f,t\∈\mathrm{\Θ}$

其中：

C_ff＝内插过滤器f的自相关系数的矩阵。

l^* _Q＝表示子帧30H的未知图像数据以及“不关心”数据(即，对应于上采样图像604中浅色像素的图像数据)的向量；

h_f＝表示模拟的高分辨率图像610使用内插过滤器f的经过滤的版本的向量。

删除对应于“不关心”数据(即，不处于五点形格点Θ集合中的数据)的行和列，产生下列方程式XIV：

方程式XIV

${\tilde{C}}_{\mathrm{ff}}{\tilde{l}}_Q^{*}={\tilde{h}}_f$

其中：

＝只表示子帧30H的未知图像数据的向量。

上述方程式XIV是表示稀疏线性方程系统的稀疏非托普利茨系统(non-Toeplitz system)。由于自相关系数的矩阵是已知的，并且表示模拟高分辨率图像610的经过滤的版本的向量是已知的，所以可以求解方程式XIV来确定子帧30H的最优图像数据。在一个实施例中，子帧产生部件36被配置成求解方程式XIV来产生子帧30。

VII.频域

以图8所示的系统600为背景描述了依照一个实施例来产生最优子帧30的频域解。在描述所述频域解之前，参考图12和13描述了快速傅里叶变换(fast fourier transform，FFT)的几个适用于所述频域解的属性。

图12是图示依照本发明一个实施例的4×4像素子帧30J的上采样的频域中的影响的图。如图12所示，由上采样级902按照系数二对子帧30J进行上采样，来产生8×8像素的上采样图像904。上采样图像904中的深色像素表示来自子帧30J的十六个像素，并且上采样图像904中的浅色像素表示零值。对子帧30J进行FFT产生图像(L)906。对上采样图像904进行FFT产生图像(L_U)908。图像(L_U)908包括四个4×4像素部分，它们是图像部分(L₁)910A、图像部分(L₂)910B、图像部分(L₃)910C和图像部分(L₄)910D。如图12所示，图像部分910A-910D均与图像906相同(即，L₁＝L₂＝L₃＝L₄＝L)。

图13是图示依照本发明一个实施例的8×8像素上采样子帧904的移位的频域中影响的图。如图13所示，由移位级1002对上采样子帧904进行移位，来产生所移位的图像1004。对上采样子帧904进行FFT产生图像(L_U)1006。对移位图像1004进行FFT产生图像(L_US)1008。图像(L_US)1008包括四个4×4像素部分，它们是图像部分(LS₁)1010A、图像部分(LS₂)1010B、图像部分(LS₃)1010C和图像部分(LS₄)1010D。如图13所示，图像1008与乘以复指数W的图像1006相同，(即，L_US＝W·L_U)，其中“·”标示逐点相乘。复指数W的值由下列方程式XV给出：

方程式XV

${\left[W\right]}_{\left(k_{1,}{k}_2\right)}=e^{\frac{j2\mathrm{\π}(k_1+k_2)}{\mathrm{MN}}}$

其中：

k₁＝FFT域中的行坐标；

k₂＝FFT域中的列坐标；

M＝图像中的列数；和

N＝图像中的行数。

图8所示的系统500可以在误差代价函数中由下列方程式XVI数学表示：

方程式XVI

其中：

(L^* _A，L^* _B)＝分别表示图8所示的子帧30F和30G的最优FFT的向量；

J＝将要最小化的误差代价函数；

i＝用于标识求过平均的FFT块的下标(例如，对于图12中的图像908来说，求平均四个块，i＝1对应于块910A，i＝2对应于块910B，i＝3对应于块910C3并且i＝4对应于块910D)；

F＝表示内插过滤器f的FFT的矩阵；

L_A＝表示图8所示的子帧30F的FFT的向量；

L_B＝表示图8所示的子帧30G的FFT的向量；

W＝表示由方程式XV所给出的复系数的FFT的矩阵；

H＝表示所想要的高分辨率图像28的FFT的向量。

方程式XVI中的上标“H”表示厄密共轭(Hermitian)(即，X^H是X的厄密共轭)。方程式XVI中字母上的“帽子”表明那些字母代表对角矩阵，如在下面方程式XVII中所定义：

方程式XVII

相对于LA的复共轭取方程式XVI的导数并且把它设置为等于零，产生下列方程式XVIII：

方程XVIII

相对于L_B的复共轭取方程式XVI的导数并且把它设置为等于零，产生下列方程式XIX：

方程式XIX

方程式XVIII和XIX中字母上的单杠表明那些字母表示复共轭(即，表示A的复共轭)。

对方程式XVIII和XIX求解L_A和L_B，产生下列方程式XX和XXI。

方程式XX

方程式XXI

可以使用伪逆过滤在频域中实现方程式XX和XXI。在一个实施例中，子帧产生部件36被配置成根据方程式XX和XXI来产生子帧30。

VIII.自适应多道

依照一个实施例产生子帧30的自适应多遍历算法使用过去误差来更新对子帧数据的估计，并且提供了快速会聚和低存储器要求。以图9所示的系统600为背景描述了依照一个实施例的自适应多遍历解。图9所示的系统600可以在误差代价函数中由下列方程式XXII数学表示：

方程式XXII

$J^{\left(n\right)}\left(n\right)={\left|e^{\left(n\right)}\left(n\right)\right|}^2={(\underset{k}{\mathrm{\Σ}}{l}_Q^{\left(n\right)}\left(k\right)f(n-k)-h\left(n\right))}^2$

其中：

n＝标识当前迭代的指数；

J⁽ⁿ⁾(n)＝在迭代n的误差代价函数；

e⁽ⁿ⁾(n)＝误差代价函数J⁽ⁿ⁾(n)的平方根；

n和k＝在图像604和610中标识高分辨率像素位置的指数；

l_Q ⁽ⁿ⁾(k)＝来自在位置k的上采样图像604的图像数据；

f(n-k)＝在位置n-k的内插过滤器的过滤系数；和

h(n)＝在位置n的所需高分辨率图像28的图像数据。

从方程式XXII中可以看出，不是如上面方程式IX所示的那样通过对整个高分辨率图像求和来使全局空间域最小化，而是使作为n的函数的局部空间域误差最小化。

在一个实施例中，使用最小均方(least mean squares，LMS)算法来确定所述更新，其表示于下列方程式XXIII中：

方程式XXIII

$l_Q^{(n+1)}\left(t\right)=L_Q^{\left(n\right)}\left(t\right)+\mathrm{\α}\frac{{\∂J}^{\left(n\right)}\left(n\right)}{{\∂l}_Q^{\left(n\right)}\left(t\right)},t\∈\mathrm{\Θ}$

其中：

Θ＝五点形格点集合(即，图9的上采样图像604中的深色像素)；和

α＝锐化系数。

取方程式XXII的导数提供了方程式XXIII中的导数值，所述值在下列方程式XXIV中给出：

方程式XXIV

$\frac{{\∂J}^{\left(n\right)}\left(n\right)}{{\∂l}_Q^{\left(n\right)}\left(t\right)}=2(\underset{k}{\mathrm{\Σ}}{l}_Q^{\left(n\right)}\left(k\right)f(n-k)-h\left(n\right))f(n-t)$

在一个实施例中，使用“影响区域”上的平均梯度的块LMS算法被用来执行更新，如由下列方程式XXV所示：

方程式XXV

$l_Q^{(n+1)}\left(t\right)=l_Q^{\left(n\right)}\left(t\right)+\mathrm{\α}\underset{n\∈\mathrm{\Ω}}{\mathrm{\Σ}}\frac{{\∂J}^{\left(n\right)}\left(n\right)}{{\∂l}_Q^{\left(n\right)}\left(t\right)}$

其中：

Ω＝影响范围

图14是图示依照本发明一个实施例的上采样图像1100中的像素的影响区域(Ω)1106和1108的图。图像1100的像素1102对应于第一子帧的像素，并且图像1100的像素1104对应于第二子帧的像素。包括2×2像素阵列(其中像素1102处于所述2×2阵列的左上角)的区域1106是像素1102的影响区域。类似地，包括2×2像素阵列(其中像素1104处于所述2×2阵列的左上角)的区域1108是像素1104的影响区域。

图15是图示依照本发明一个实施例的根据自适应多遍历算法产生初始的模拟高分辨率图像1208的图。根据原始的高分辨率图像28来产生初始的低分辨率子帧组30k-1和30L-1。在所图示的实施例中，初始的子帧组30K-1和30L-1是使用上面参考图5所描述的最近邻算法的实施例产生的。对子帧30K-1和30L-1上采样，来产生上采样的图像1202。利用内插过滤器1204对上采样的图像1202进行卷积，由此产生成块的图像，所述成块的图像接着被乘以系数0.5来产生模拟的高分辨率图像1208。在所图示的实施例中，内插过滤器1204是具有过滤系数“1”的2×2过滤器，并且卷积的中心是2×2矩阵中的左上位置。内插过滤器1204的右下方像素1206被定位在图像1202中的每个像素上方，来确定该像素位置的成块值。如图15所示，内插过滤器1204的右下方像素1206被定位在图像1202的第三行和第四列中的像素的上方，其中所述像素具有值“0”。通过把过滤系数乘以过滤器1204的窗口内的像素值并且相加结果，来确定该像素位置的成块值。乱帧(out-of-frame)值被认为是“0”。对于所图示的实施例来说，图像1202的第三行和第四列中的像素的成块值由下列方程式XXVI给出。

方程式XXVI

(1×0)+(1×5)+(1×5)+(1×0)-10

接着，方程式XXVI中的值被乘以系数0.5，并且所述结果(即，5)是初始的模拟高分辨率图像1208中第三行和第四列中像素1210的像素值。

产生的初始模拟高分辨率图像1208之后，产生校正数据。图16是图示依照本发明一个实施例的根据自适应多遍历算法来产生校正数据的图。如图16所示，从原始的高分辨率图像28中减去初始的模拟高分辨率图像1208来产生误差图像1302。通过对误差图像1302中的2×2像素块进行平均来产生校正子帧1312和1314。例如，误差图像1302的第一列和第一行中的像素1308具有影响区域1304。对影响区域1304内的像素值进行平均来产生第一校正值(即，0.75)。所述第一校正值被用来校正子帧1312的第一列和第一行中的像素。类似地，误差图像1302的第二列和第二行中的像素1310具有影响区域1306。对影响区域1306内的像素值进行平均来产生第二校正值(即，0.75)。所述第二校正值被用来校正子帧1314的第一列和第一行中的像素。

通过基本上使所示的影响区域框1304向右滑动两列，并且对框1304内的那四个像素进行平均，来产生校正子帧1312的第一行和第二列中的校正值(即，1.38)。通过基本上使所示的影响区域框1304向下滑动两行，并且对框1304内的那四个像素进行平均，来产生校正子帧1312的第二行和第一列中的校正值(即，0.50)。通过基本上使所示的影响区域框1304向右滑动两列并向下滑动两行，并且对框1304内的那四个像素进行平均，来产生校正子帧1312的第二行和第二列中的校正值(即，0.75)。

通过基本上使所示的影响区域框1306向右滑动两列，并且对框1306内的那些像素进行平均，来产生校正子帧1314的第一行和第二列中的校正值(即，0.00)。乱帧值被认为是“0”。通过基本上使所示的影响区域框1306向下滑动两行，并且对框1306内的那些像素进行平均，来产生校正子帧1314的第二行和第一列中的校正值(即，0.38)。通过基本上使所示的影响区域框1306向右滑动两列并向下滑动两行，并且对框1306内的那四个像素进行平均，来产生校正子帧1314的第二行和第二列中的校正值(即，0.00)。

校正子帧1312和1314被用来产生更新的子帧。图17是图示依照本发明一个实施例的根据自适应多遍历算法来产生所更新的子帧30K-2和30L-2的图。如图17所示，通过把校正子帧1312乘以锐化系数α并且加上初始子帧30K-1来产生更新的子帧30K-2。通过把校正子帧1314乘以锐化系数α并且加上初始子帧30L-1来产生更新的子帧30L-2。在所图示的实施例中，所述锐化系数α等于0.8。

在一个实施例中，更新的子帧30K-2和30L-2被用于在自适应多遍历算法的下次迭代中产生进一步更新的子帧。可以执行任何所想要的次数的迭代。在多次迭代之后，使用自适应多遍历算法所产生的子帧值会聚到最优值。在一个实施例中，子帧产生部件36被配置成根据自适应多遍历算法来产生子帧30。

上面参考图15-17所描述的自适应多遍历算法的实施例是用于二位置处理的。对于四位置处理来说，方程式XXIV变为下列方程式XXVII：

方程式XXVII

$\frac{{\∂J}^{\left(n\right)}\left(n\right)}{{\∂l}^{\left(n\right)}\left(t\right)}=2(\underset{k}{\mathrm{\Σ}}{l}^{\left(n\right)}\left(k\right)f(n-k)-h\left(n\right))f(n-t)$

其中：l⁽ⁿ⁾＝四个子帧30的低分辨率数据；

并且方程式XXIII变为下列方程式XXVIII：

方程式XXVIII

$l^{(n+1)}\left(t\right)=l^{\left(n\right)}\left(t\right)+\mathrm{\α}\frac{\∂J^{\left(n\right)}\left(n\right)}{\∂l^{\left(n\right)}\left(t\right)}$

对于四位置处理来说，存在四个子帧，因此低分辨率数据的量与高分辨率数据的量相同。每个高分辨率网格点贡献一个误差，并且如上面方程式XXV中所表示，不必对梯度更新进行平均。更确切地讲，给定位置的误差直接给出了更新。

如上所述，在一个实施例中，自适应多遍历算法使用最小均方(LMS)技术来产生校正数据。在另一实施例中，自适应多遍历算法使用凸集(projection on a convex set，POCS)投射技术来产生校正数据。以图9所示的系统600为背景描述了依照一个实施例基于POCS技术的自适应多遍历解。图9所示的系统600可以由下列方程式XXIX在误差代价函数中数学表示：

方程式XXIX

$|e\left(n\right)|=\left|(\underset{k}{\mathrm{\Σ}}{l}_Q\left(k\right)f(n-k)-h\left(n\right))\right|$

其中：

e(n)＝误差代价函数；

n和k＝标识高分辨率像素位置的指数；

l_Q(k)＝来自在位置k的上采样图像604的图像数据；

f(n-k)＝在位置n-k的内插过滤器的过滤系数；和

h(n)＝在位置n的所想要的高分辨率图像28的图像数据。

POCS技术的约束集由下列方程式XXX所定义：

方程式XXX

$C\left(n\right)=\{l_Q\left(n\right):\left|(\underset{k}{\mathrm{\Σ}}{l}_Q\left(k\right)f(n-k)-h\left(n\right))\right|\≤\mathrm{\η}\}$

其中：

C(n)＝包括来自上采样图像604的所有子帧数据的约束集，所述上采样图像604由参数η来划界；和

η＝误差幅度界限约束。

当前迭代的子帧像素值根据下列方程式XXXI来确定：

方程式XXXI

$l_Q^{(n+1)}\left(t\right)=\left\{\begin{array}{c}(1-\mathrm{\&lambda;})l_Q^{\left(n\right)}\left(t\right)+\mathrm{\&lambda;}\frac{e\left(n^{*}\right)-\mathrm{\&eta;}}{{\left|\left|f\right|\right|}^2},e\left(n^{*}\right)>\mathrm{\&eta;}(t\&Element;\mathrm{\&Theta;})\\ (1-\mathrm{\&lambda;})l_Q^{\left(n\right)}\left(t\right)+\mathrm{\&lambda;}\frac{e\left(n^{*}\right)+\mathrm{\&eta;}}{{\left|\left|f\right|\right|}^2},e\left(n^{*}\right)<\mathrm{\&eta;}\\ l_Q^{\left(n\right)}\left(t\right),e\left(n^{*}\right)=\mathrm{\&eta;}\end{array}\right.$

其中：

n＝标识当前迭代的指数；

λ＝松弛参数；和

||f||＝内插过滤器系数的范数。

方程式XXXI中的符号n^*表示其中误差最大的影响区域中的位置Ω，并且由下列方程式XXXII来定义：

方程式XXXII

n^*＝argmax{n∈Ω：|e(n)|}

图18是图示依照本发明一个实施例的使用POCS技术根据自适应多遍历算法来产生校正数据的图。在一个实施例中，依照与上面参考图15所描述的相同方式来产生初始的模拟高分辨率图像1208，并且从原始的高分辨率图像28中减去初始的模拟高分辨率图像1208来产生误差图像1302。然后使用上面的方程式XXXI来根据误差图像1302中的数据产生更新的子帧30K-3和30L-3。对于所示的实施例，假定方程式XXXI中的松弛参数λ等于0.5，并且误差幅度界限约束η等于1。

利用POCS技术，不是如上面参考图16所述的那样对影响区域内的像素值进行平均来确定校正值，而是标识出影响区域内的最大误差e(n^*)。然后，根据方程式XXXI使用适当的公式来产生更新的像素值，所述公式取决于所述影响区域内的最大误差e(n^*)是大于1、小于1还是等于1(这是由于对于此例子来说，η＝1)。

例如，误差图像1302的第一列和第一行中的像素具有影响区域1304。此影响区域1304内的最大误差是1(即，e(n^*)＝1)。参照方程式XXXI，对于其中e(n^*)＝1的情况来说，更新的像素值等于此像素的先前值。参照图15，子帧30K-1的第一列和第一行中像素的先前值为2，所以此像素在更新的子帧30K-3中保持具有值2。误差图像1302的第二列和第二行中的像素具有影响区域1306。此影响区域1306内的最大误差是1.5(即，e(n^*)＝1.5)。参照方程式XXXI，对于其中e(n^*)＞1的情况来说，更新的像素值等于此像素先前值的一半，加上量(e(n^*)-1)的一半，结果等于1.25。参照图15，子帧30L-1的第一列和第一行中像素的先前值为2，所以此像素更新的值在更新的子帧30L-3中为1.25。

基本上依照与上面参考图16所描述的相同方式，在误差图像1302周围移动影响区域框1302和1304，来根据方程式XXXI在更新的子帧30K-3和30L-3中产生其余的更新值。

IX.使用梯度的噪声降低和分辨率增强

图像数据16可以由图像显示系统10使用相对有噪声的源信号来接收，由此使图像帧28包括噪声。在根据图像帧28产生子帧30中，在使模拟图像和图像帧28之间的误差最小化的过程中可以反映来自图像数据16的任何噪声。结果，子帧30也可以包括所述噪声。

为了努力使子帧30中的任何噪声最小化，在子帧30的产生期间使误差最小化的过程中，图像处理部件24对于子帧30中的每个子帧像素值调节锐化系数α的值(在上面的方程式XXV中所示出)。对于每个子帧像素值，图像处理部件24使用影响区域中的一组多标度(multi-scale)梯度的平均值来调节锐化系数值。图像处理部件24通过使用多标度梯度估算器并且使跨过标度的梯度估算相关，来产生所述多标度梯度以检测图像帧28中跨过多个标度的的边缘，以计算所述多标度梯度。图像处理部件24根据所述多标度梯度为子帧30中的每个子帧像素值调节锐化系数。通过调节锐化系数值，可以在子帧30的产生中使图像帧28的有噪声区域平滑。另外，在子帧30的产生中，可以使图像帧28的边缘区域(也被称为高对比度区域)锐化。

如上所述，使用影响区域上的平均梯度的块LMS算法被用来执行更新，如方程式XXV所示。考虑到噪声在子帧30的产生中的影响，方程式XXV的导数值包括表示无噪图像的项h(n)和表示噪声的项Ψ(n)，如方程式XXXIII所示。

方程式XXXIII

$\frac{\&PartialD;J}{\&PartialD;l_Q^{\left(n\right)}\left(t\right)}=2\underset{n}{\mathrm{\&Sigma;}}(\underset{k}{\mathrm{\&Sigma;}}{l}_Q^{\left(n\right)}\left(k\right)f(n-k)-h\left(n\right)-\mathrm{\&psi;}\left(n\right))f(n-t)$

据此，可以使用项Δ_noise在误差项中表示噪声在方程式XXV的块LMS算法中的影响，如方程式XXXIV所示。

方程式XXXIV

$l_Q^{(n+1)}\left(t\right)=l_Q^{\left(n\right)}\left(t\right)+a({\mathrm{\&Delta;}}_{\mathrm{noise}-\mathrm{free}}+{\mathrm{\&Delta;}}_{\mathrm{noise}})$

使用方程式XXXIV，图像处理部件24通过把锐化系数α调节到对于子帧30的有噪声区域来说相对较低的值，来平滑在误差最小化过程中所反映的噪声。图像处理部件24还通过把锐化系数α调节到相对较高值来锐化或增强子帧30的边缘区域。在无噪声并且不包括边缘的子帧30的区域中，图像处理部件24把锐化系数α调节到相对适度的值。通过调节锐化系数α，图像处理系统可以在子帧30产生中有效地降低噪声并且增强分辨率。

图19是图示产生噪声降低而分辨率增强的子帧30的框图。在图19中，图像处理部件24包括梯度估算器模块1402和相关模块1404。梯度估算器模块1402和相关模块1404均包括软件、硬件、固件或其组合，并且可以被包括作为能够执行逻辑运算序列或执行软件或固件指令的计算机、计算机服务器或其它基于处理器的系统的一部分。

梯度估算器模块1402对图像帧28中的像素值组估算多个标度处的梯度。在一个实施例中，梯度估算器模块1402包括过滤器，所述过滤器被配置成使用不同标度来估算x和y方向上梯度。过滤器h_x ^small和h_y ^small分别使用相对较小的标度(例如1/1024)来估算在x和y方向上的梯度。过滤器h_x ^large和h_y ^large分别使用相对较大的标度(例如1/2048)来为每个方向估算在x和y方向上的梯度。在图20A和20B中所示的曲线图分别图示过滤器h_x ^small和h_x ^large的示例性幅度响应。过滤器h_x ^small、h_y ^small、h_x ^large和h_y ^large分别为来自子帧30的每组子帧像素值生成梯度估算e_x ^small、e_y ^small、e_x ^large和e_y ^large。对于来自子帧30的每组子帧像素值，梯度估算器模块1402向相关模块1404提供来自每个过滤器的梯度估算。

相关模块1404使跨过标度的梯度估算相关，以便为来自图像帧28的每组像素值产生多标度梯度估算。为了使跨过标度的梯度估算相关，相关模块1404分别使用方程式XXXV和方程式XXXVI为x和y方向计算有效梯度估算。

方程式XXXV

$e_x^{\mathrm{eff}}\left(n\right)={|e_x^{\mathrm{small}}\left(n\right)\&times;e_x^{l\arg e}\left(n\right)\&times;e_x^{l\arg e}\left(n\right)|}^{1/3}$

方程式XXXVI

$e_y^{\mathrm{eff}}\left(n\right)={|e_y^{\mathrm{small}}\left(n\right)\&times;e_y^{l\arg e}\left(n\right)\&times;e_y^{l\arg e}\left(n\right)|}^{1/3}$

在方程式XXXV和方程式XXXVI中，大标度梯度比小标度梯度被更重地加权，来抑制小标度噪声。

根据方程式XXXV和方程式XXXVI使用x和y方向的有效梯度估算，相关模块1404使用方程式XXXVII来计算多标度梯度e^eff(n)。

方程式XXXVII

$e^{\mathrm{eff}}\left(n\right)=\sqrt{{\left(e_x^{\mathrm{eff}}\left(n\right)\right)}^2+{\left(e_y^{\mathrm{eff}}\left(n\right)\right)}^2}$

使用来自方程式XXXVII的多标度梯度，相关模块1404通过使用方程式XXXVIII和方程式XXXIX对在子帧像素值的各自影响区域中的多标度梯度进行平均，来为子帧30的每个子帧像素值计算锐化系数。

方程式XXXVIII

${\mathrm{\&alpha;}}^{\&prime;}\left(t\right)=-{\mathrm{\&beta;}}_1+{\mathrm{\&beta;}}_2\frac{\underset{n\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{e}^{\mathrm{eff}}(n-t)}{\left|\mathrm{\&Omega;}\right|}$

其中：β₁和β₂＝参数设置；

Ω＝影响范围。

方程式XXXIX

$\mathrm{\&alpha;}\left(t\right)=\left\{\begin{array}{cc}{\mathrm{\&alpha;}}^{\&prime;}\left(t\right)& {\mathrm{\&alpha;}}_{\min }<{\mathrm{\&alpha;}}^{\&prime;}\left(t\right)<{\mathrm{\&alpha;}}_{\max }\\ {\mathrm{\&alpha;}}_{\min }& {\mathrm{\&alpha;}}_{\min }>{\mathrm{\&alpha;}}^{\&prime;}\left(t\right)\\ {\mathrm{\&alpha;}}_{\max }& {\mathrm{\&alpha;}}^{\&prime;}\left(t\right)>{\mathrm{\&alpha;}}_{\max }\end{array}\right.$

其中：a_min和a_max＝最小和最大锐化系数值。

在一个实施例中，β₁是0.75，β₂是0.2，α_min是-0.5，并且a_max＝2.0。在其它实施例中，可以使用其它参数设置和最小和最大锐化系数值。特别地，可以针对特定的显示设备26，调谐参数设置和最小和最大锐化系数值。

图21是图示使用自适应多遍历算法来产生噪声降低而分辨率增强的子帧的方法的流程图。在图21中，如在块1502中所表明的，图像处理部件24接收来自图像帧28的像素值。如在块1504中所表明的，图像处理部件24使用至少两个标度来估算像素值中的梯度。如在块1506中所表明的，图像处理部件24使来自标度的梯度相关，来产生多标度梯度。如在块1508中所表明的，图像处理部件24使用多标度梯度来调节与来自子帧30的每个子帧像素值相关联的锐化系数。如在块1510中所表明的，图像处理部件24使用锐化系数来计算子帧像素值。

图22是图示通过调节在计算子帧像素值中所使用的锐化系数来产生子帧的方法的流程图。在图22中，如在块1602中所表明的，由图像处理部件24确定图像帧28中的像素值组是否与初始子帧的边缘区域相关联。如果像素值组与边缘区域相关联，那么图像处理部件24把子帧30中相应的子帧像素值的锐化系数设置为相对较高值，如在块1604中所表明的。如果像素值组不与边缘区域相关联，那么由图像处理部件24确定所述像素值组是否与平滑区域相关联，如在块1606中所表明的。如果像素值组与平滑区域相关联，那么图像处理部件24把子帧30中相应的子帧像素值的锐化系数设置为相对较低值，如在块1608中所表明的。如果像素值组不与平滑区域相关联，那么图像处理部件24把子帧30中相应的子帧像素值的锐化系数设置为相对适度的值，如在块1610中所表明的。

尽管为了描述优选实施例，已经在此图示并描述了具体实施例，然而本领域普通技术人员应当理解，在不脱离本发明范围的情况下，可以用各种候选方式和/或等效实现方式来代替所示出并描述的具体实施例。那些机械、电子机械、电和计算机领域内的技术人员易于理解的是，可以在各种实施例中实现本发明。本申请旨在覆盖这里所论述的优选实施例的任何修改或变化。因此，其意图显然是，本发明仅仅由下列权利要求及其等效物来限定。

Claims (10)

1.一种利用显示设备(26)显示图像(14)的方法，所述方法包括：

产生对应于所述图像的图像数据(16)的第一子帧(30)和第二子帧(30)，其中产生第一子帧包括使用第一锐化系数来计算所述第一子帧中的第一子帧像素值，所述第一锐化系数与来自所述图像数据的第一多个梯度相关联；并且

在第一位置中显示第一子帧(301)和在空间上偏离所述第一位置的第二位置中显示所述第二子帧(302)之间交替。

2.如权利要求1所述的方法，其中第一多个梯度中的每个包括多标度梯度。

3.如权利要求2所述的方法，进一步包括：

使用第一多个梯度的平均值来产生第一锐化系数。

4.如权利要求1所述的方法，其中产生第一子帧包括使用第一锐化系数和误差项来计算第一子帧中的第一子帧像素值。

5.如权利要求4所述的方法，其中所述误差项包括在所述图像数据和模拟的图像之间的差异。

6.如权利要求1所述的方法，其中第一锐化系数被配置成对包括第一子帧像素值的第一子帧的区域进行锐化。

7.如权利要求1所述的方法，其中第一锐化系数被配置成对包括第一子帧像素值的第一子帧的区域进行平滑。

8.如权利要求1所述的方法，其中产生第二子帧包括使用第二锐化系数来计算第二子帧中的第一子帧像素值，第二锐化系数与来自所述图像数据的第二多个梯度相关联。

9.如权利要求1所述的方法，进一步包括：

产生对应于所述图像数据的第三子帧(30)和第四子帧(30)；并且

其中在显示第一子帧和显示第二子帧之间交替进一步包括在第一位置中显示第一子帧、在第二位置中显示第二子帧、在空间上偏离第一位置和第二位置的第三位置(303)中显示第三子帧、以及在空间上偏离第一位置、第二位置和第三位置的第四位置(304)中显示第四子帧之间交替。

10.一种用于显示图像(14)的系统(10)，所述系统包括：

图像处理部件(24)，所述图像处理部件被配置成通过向第一和第二子帧中的每个子帧像素值的误差项应用与多个梯度相关联的锐化系数，来产生对应于所述图像的图像数据(16)的第一和第二子帧(30)；和

显示设备(26)，所述显示设备适于交替地在第一位置中显示第一子帧(301)和在空间上偏离第一位置的第二位置中显示所述第二子帧(302)。

Images