CN101569241A - 显示光辐射的系统、方法、计算机可读介质和用户界面 - Google Patents

Abstract

给出了一种提供更加身临其境的图像序列观看感受的系统。这是通过扩展图像序列的当前呈现帧来实现的。背面照明效果用于显示当前呈现的帧的扩展部分。还提供了一种方法和计算机可读介质。

Description

显示光辐射的系统、方法、计算机可读介质和用户界面

技术领域

本发明总体上涉及适用于结合或者添加到诸如电视机这样的显示装置的视觉显示系统。而且，本发明涉及操作这样的视觉显示系统的方法、计算机可读介质和图形用户界面。

背景技术

视觉显示装置为大家所熟知并且包括电影放映机、电视机、监视器、等离子体显示器、液晶显示LCD电视、监视器和投影仪等。经常会采用这些装置来将图像或图像序列呈现给观众。

背面照明(backlighting)领域出现在二十世纪60年代，其原因在于电视需要″较黑的″房间才能得到最好的观看效果。背面照明最简单的形式是由例如灯泡发出的投射到视觉显示装置后面的表面上的白光。建议使用背后照明来舒缓虹膜和减小视疲劳。

近年来，背面照明技术已经变得更加复杂并且市场上有多种显示装置具有集成的背面照明功能，其能够依据显示装置上呈现的视觉信息发出具有不同亮度的多种颜色。

背面照明的优点总地来说包括：更强烈且更身临其境的观看感受；色彩、对比度和细节得到改善从而达到最佳画面质量以及视疲劳减小从而实现了更为轻松的观看效果。背面照明的不同优点要求背面照明系统的不同设置。减小视疲劳可能需要缓慢改变颜色和或多或少固定的亮度，而更加身临其境的观看感受可能需要屏幕内容的扩展，即，与屏幕内容速度相同的相同亮度变化。

目前背面照明系统的问题是真正扩展所呈现图像序列的图像内容来实现更加身临其境的观看感受。

因此，经过改进的系统、方法、计算机可读介质、用户界面应该是有益的。

发明内容

由此，本发明优选地寻求以单一地或任何组合缓解、减轻或消除上面认定的现有技术的一个或多个不足和缺点，并且通过提供根据所附专利权利要求的系统、方法和计算机可读介质来解决至少前面提到的问题。

根据本发明的一个方面，提供了一种系统。该系统包括改造单元，其被配置成根据图像序列的第一帧的运动向量与该图像序列的第二帧的运动向量之间的关系(correlation)来改造该图像序列的第一图像帧。而且该系统包括重构单元，其被配置成通过对经过改造的帧与第二帧进行图像拼接(stitch)来为第二帧重构扩展图像。此外，该系统还包括：监视单元，其被配置成监视包含在该扩展图像中的至少一个监视区域内的图像信息以及生成第一信号；以及控制单元，其被配置成响应于该第一信号来控制从与该监视区域连接的照明区域在使用时发出的光辐射。

根据本发明的另一个方面，提供了一种方法。该方法包括根据图像序列的第一帧的运动向量与该图像序列的第二帧的运动向量之间的关系改造该图像序列的第一图像帧。而且，该方法包括通过对经过改造的帧与第二帧进行图像拼接来为第二帧重构扩展图像。此外，该方法包括监视扩展图像中所包含的至少一个监视区域内的图像信息以及生成第一信号，并且响应于该第一信号来控制从与该监视区域连接的照明区域在使用时发出的光辐射。

根据本发明的再一个方面，提供了一种计算机可读介质，该计算机可读介质具有包含在其上的用于由处理器处理的计算机程序。该计算机程序包括改造代码段，其被配置成根据图像序列的第一帧的运动向量与该图像序列的第二帧的运动向量之间的关系改造该图像序列的第一图像帧。而且，该计算机程序包括重构代码段，其被配置成通过对经过改造的帧与第二帧进行拼接来为第二帧重构扩展图像。此外，该计算机程序包括：监视代码段，其被配置成监视扩展图像中所包含的至少一个监视区域内的图像信息以及生成第一信号；以及控制代码段，其被配置成响应于该第一信号来控制从与该监视区域连接的照明区域在使用时发出的光辐射。

根据本发明的又一个方面，提供了一种与根据权利要求1到9中的任一项所述的系统结合使用的用户界面。图形用户界面被配置成控制与监视区域和/或运动向量相关联的用户定义的或预定的设置。

本发明的某些实施例提议了包括各种单元的显示系统，这些单元被配置以根据例如在显示装置上显示的图像内容的当前图像帧生成扩展图像内容。这一扩展图像内容随后可以用于驱动背面照明效果。这样，背面照明效果不再仅仅是当前呈现的帧的图像内容的重复，而是真正的扩展。这还使得背面照明效果真正适应运动。

在本发明的某些实施例中，包含在显示系统中的背面照明照明区域用于显示图像内容的扩展部分，同时显示系统仍然正常显示当前帧。扩展图像内容本质上指由显示系统显示的标准图像内容在背面照明照明区域上延续。

在某些实施例中，这些单元利用包括拼接技术的算法来将至少两个相继帧拼接起来，以创建扩展图像。

在某些实施例中，所提供的系统、方法和计算机可读介质能够实现性能、灵活性、成本效率的提高以及更加强烈且更加身临其境的观看感受。

附图说明

参照附图，本发明的这些和其它方面、特征和优点将会从下面对本发明的实施例的描述中明显看出并且加以阐明，其中：

图1是根据一个实施例的系统的框图；

图2是根据一个实施例的系统的示意图；

图3是根据一个实施例的系统的示意图；

图4是根据一个实施例的系统的示意图；

图5是根据一个实施例的方法的框图；以及

图6是根据一个实施例的计算机可读介质的框图。

具体实施方式

下面将参照附图更加详细地描述本发明的一些实施例，以便本领域的技术人员能够实现本发明。不过，本发明可以以多种不同的形式实现，并且不应将本发明解释为局限于此处所给出的实施例。相反，这些实施例被提供用以使得本公开详尽且完整，并且将向本领域技术人员完全传达本发明的范围。这些实施例并不限制本发明，而本发明仅受到所附专利权利要求的限制。此外，在对附图所示具体实施例的详细描述中所使用的术语并非用来本发明。

下面的描述将重点放在可应用于视觉显示装置(比如电影放映机、电视机、监视器、等离子体显示器、液晶显示LCD电视、投影仪等)的背面照明的本发明的实施例上。不过，将会意识到，本发明并不局限于这一应用而是也可以应用于很多其它需要背面照明的领域。

根据某些实施例，本发明提供了更加身临其境的观看感受。这是通过使用背面照明来扩展显示装置上呈现的图像内容来实现的。背面照明效果用于在显示装置仍显示图像内容的同时显示内容的扩展部分。

通过为显示装置扩展背面照明效果，消费者得到了比显示装置本身大的印象，这种印象类似于在拥有大屏幕的电影院中的相同感受。扩展显示装置本质上指的是，屏幕上显示的图像内容在背面照明显示系统上得到延续。不过，这一扩展的图像内容并非真实存在，因为进入显示装置的视频信号并不包含它。

而且，本发明提供了一种将扩展图像内容与显示系统的照明区域相关联(correlate)的途径，并且因此将扩展图像呈现给用户。根据某些实施例，本发明基于拼接图像的可能性。图像拼接是图像分析领域中的公知技术，其中可以将数个图像相互粘贴起来。图像拼接实现的效果是例如，可以创建全景的数个较小图像的一个大全景图像。大多数可通过商业手段得到的数码相机具有这一功能并且拼接效果是由软件控制的。

拼接算法在视频处理领域中也是公知的。通过创建图像内容的连续帧的运动向量场，可以计算出相机的动作，例如摇动、变焦和滚动。某些算法可以由该信息生成真实的3D世界。其它算法仅关注2D相机动作。

在一个实施例中，提供了根据图1的显示系统10。该系统与包括能够将图像序列的当前帧呈现给观看者的显示区域的显示装置结合起来使用。该系统包括：

-运动计算单元11，用于计算图像序列的至少两个相继帧的运动向量，

-改造单元12，用于根据运动向量以使得该运动向量与当前帧的相机参数相匹配的方式改造图像序列中的在前帧，

-重构单元13，用于通过将经过改造的帧与当前帧拼接起来，为当前帧重构扩展图像，

-监视单元14，用于监视扩展图像中的一个或多个监视区域内的至少强度和颜色并且生成第一信号，其中各个监视区域的大小和位置取决于所述运动向量，以及

-控制单元15，用于响应于第一信号控制从照明区域13在使用时发出的光辐射和该系统内各个照明区域13的位置。

通过包括与当前帧相组合的在前帧的部分，连续地改变扩展图像。由此，扩展图像可以基于参照在前帧与在前扩展图像相比较的运动，随着所遇到的各个新帧出现。只有当有理由相信当前新帧与在前扩展图像没有关联时，例如，在场景改变之后，才重置(即删除)在前扩展图像并且处理循环重新开始。连续不断出现的拼接结果还方便了以下情形：当相机首先向右进行摇动，然后再向摇动时。在这种情况下，首先场景在左侧扩展(向右摇动)，然后当相机返回时，在右侧仍然进行扩展的同时，左侧的扩展保持不变，直到相机经过原始出发点(因为场景的这一部分左侧还没有可用的信息)。

图2图示根据本发明的实施例的显示系统。正如在图2中可以观察到的那样，显示区域21被分成数个监视区域，各个监视区域与至少一个照明区域连接。图2图示包括四个监视区域2a、2b、2c和2d以及六个照明区域22、23、24、25、26、27的显示系统20。各个照明区域经由控制单元和监视单元(比如电子驱动电路)根据下面的表1与至少一个监视区域连接。

表1

照明区域	监视区域
		22	2a和2b
23	2a
		24	2c
25	2c和2d
		26	2d
27	2b

从表1中可以看出，照明区域22与监视区域2a和2b的组合颜色信息相关联。类似地，照明区域25与监视图块(segment)2c和2d的组合颜色信息相关联。照明区域23、24、26和27分别与监视区域2a、2c、2d和2b相对应。

运动计算单元

运动向量定义它所属的对象的方向和‘能量’。对于运动而言，能量定义的是‘速度’。运动向量的维度取决于应用的维度，在2D应用中，运动向量是2D向量，在3D应用中，运动向量因而是3D向量。一般来说，要创建运动向量，就要用某种网格将帧划分为数个宏块。使用现有技术，在其运动方向上以及根据其运动速度从每个宏块得出运动向量。这一信息可以用来预测该宏块未来将会处于哪里，或者用在不可得到的信息中，例如，在将24Hz电影素材转换为50Hz素材时，在这种情况下，各个帧是不同的。由于某一宏块内的内容可以是具有不同运动向量的不同真实物体，因此可以将这个宏块运动向量解释为在块内部发生的平均运动。理想地，可能希望各个内容像素都具有运动向量，但是这需要非常高的计算量。非常大的宏块也会造成误差，因为它们可能包含内容中不同对象的过多信息。

提取动作(比如从图像内容中提取运动)的一种方式是，通过比较不同的帧并且这样做，生成表示像素运动的方向和速度的运动向量场。在实践中，宏块是由数个像素和行组成的，例如128×128，因为基于像素的处理会需要过多的计算量。于是可以使用这一运动向量场来认定运动存在于哪里。

在一个实施例中，由运动计算单元计算出来的运动向量用相机参数来描述相机动作摇动、变焦和/或滚动。

在一个实施例中，运动计算单元11生成馈送给监视单元14的运动向量信号，监视单元14随后可以通过使用控制单元得出扩展图像的经过改变的监视区域位置、尺寸和/或形状。在该实施例中，运动向量信号被合并在第一信号中。

在一个实施例中，运动计算单元将运动向量信号直接转送给控制单元15，控制单元15随后可以得出照明区域反应时间的变化。

可以基于与显示区域中的动作相对应的运动向量信号，测量触发监视区域位置、尺寸和/或形状改变的运动或动作，作为阈值。如果运动向量信号低于该阈值，则不改变监视区域。不过，当运动向量信号高于该阈值时，则可以改变监视区域。

改造单元

在一个实施例中，改造单元被配置成根据所计算出来的运动向量改造在前帧，使得该在前帧与当前帧的相机参数相匹配。这样做的一种方式是考虑当前帧的运动向量并且将这些运动向量与在前帧的运动向量相比较并且提取出定义相机动作的全局运动向量。通过将包括当前帧的所有运动向量的结果运动向量‘画面’与以前使用在前帧计算出来的在前运动向量‘画面’进行比较，可以得出相机动作，并且因此可以得出相机参数。这之所以是因为或者相机拍摄的对象是静止的或运动的，或者相机是静止的或运动的，或者是二者的组合。于是可以计算出当前帧与在前帧的区别，例如，对于向右摇动的相机，相机速度可能是每帧向右100个像素。然后使用这一信息来改造，即转换在前帧，从而使得它与当前帧匹配。对于所提到的向右100像素的相机速度的例子，经过改造的帧将会包括在前帧的左侧100个像素。

图3参照通过相机跟踪桥梁上的卡车和直升机得出的图像序列来表示根据某些实施例的系统的功能。例如，对于各个帧，来自包含卡车和直升机的宏块的运动向量将会是近乎不动的，而所有其它宏块具有指向左侧的能量相同的运动向量，并且在多个帧之内，随着时间变化，这些运动向量也具有相同的能量和方向。由此可以得出，要么是相机固定在固定物体上并且一些非常大的物体正在以非常高的速度向左运动，要么是相机以与卡车和直升机大致相同的速度非常迅速地向右摇动。由于示例场景的最大的部分正在运动，因此可以判定，有一架相机正在以某一速度向右摇动。通过这一速度，可以得出各个新帧有多少个像素向右平移，或者更加重要地，在前图像有多少个像素应当位于当前呈现的图像左侧，以便创建扩展图像。

重构单元

在改造了在前帧之后，重构单元被配置成将当前帧与在前帧拼接在一起。

例如，在相机拉近到屏幕中间的物体上的情况下，要由运动向量画面以及屏幕中心向外的所有运动向量点得出经过改造的帧。本质上可以将此解释为事实：各个新帧是在前帧的一部分，该部分被放大到全屏幕尺寸。由此，为了将在前帧与当前帧拼接起来，在将在前帧放在当前帧后面之前，还需要对在前帧进行拉近、放大。

在一个实施例中，在前帧的改造和扩展图像的重构是使用公知的现有技术算法来进行的。使用这些算法可能会出现一些图像误差，不过，由于背面照明效果并不是高度清晰的，因此这些误差对于用户而言是不可见的。由此，当所呈现的图像序列中发生运动时，用户将总是会看显示区域中的当前帧。不过，当运动发生时，比如相机快速向右摇动，由重构单元构造的扩展图像使得由显示区域左侧的照明区域根据该扩展图像产生背面照明效果成为可能。由此，扩展图像仅仅影响由照明区域造成的背面照明，而不会影响当前帧。

监视区域

如果监视区域在某一时刻主要包含绿色，那么来自监视单元的第一信号将会包括发射绿色的信息等等。经由控制单元与照明区域连接的监视单元对监视区域内呈现的颜色和亮度信息做出响应，并且产生用于这些照明区域的信号，这些信号被馈送给控制单元，用来控制显示系统中各个照明区域的颜色和亮度。

也可以使用提取监视区域内的主色并且将该颜色转换为第一信号的其它算法。举例来说，可以使用对监视区域内的所有颜色求平均的求平均算法。

在一个实施例中，各个监视区域的尺寸取决于从所呈现的图像序列中计算出来的描述相机动作的运动向量。举例来说，监视区域的宽度可以取决于相机的水平运动，高度可以取决于相机的垂直运动。换句话说，快速相机运动会导致较小的监视区域，使得重复几乎看不见，而较慢的运动或不运动会导致较宽的监视区域。

在一个实施例中，也可以将其它相机运动转换为监视区域的改造宽度。事实上，如果没有拼接信息存在，则所有的相机动作都可以转换为改造宽度。例如，当场景开始并且相机然后拉远时，不可能创建扩展图像，因为新的帧覆盖的场景部分比在前帧覆盖的部分要大。不过，监视区域中的运动向量将会全部指向内部，朝向相机的中心焦点。在这种情况下，仍然可以改造监视区域的尺寸，因为尺寸参数并行地取决于运动向量。在这种情况下，监视区域的尺寸会变得更小。

举例来说，在会有快速向右摇动的情况下，运动向量应该指向左侧，并且因此显示区域右侧的监视区域的宽度将会较小，因为在监视区域的右侧没有拼接图像内容可用，这是因为还没有广播该内容并且没有与运动向量信息相结合起来，这导致使这一区域的宽度变窄，以保持高相关度。在拉远的情况下，这一特定监视区域(仍然位于显示区域的右侧)的运动向量也指向左侧，并且同样没有该区域外的在前拼接信息可用，由此使得宽度更小。这样，根据该实施例，任何相机动作都可以转换为监视区域尺寸的改造。

在一个实施例中，如果计算出来的运动向量值高于预定的向量值阈值，则可以使用监视单元更改监视区域的尺寸、形状和/或位置。

图3a描述图像序列的第一个帧31a。由于背景快速地摇向左侧，即相机非常快速地向右摇动，因此所计算出来的运动向量将会具有指向左侧的方向。图3a此外还图示四个监视区域33a、34a、35a和36a。监视区域的尺寸和位置是按照示范性的默认设置示出的。这意味着，如果在图像序列中没有检测到运动，则使用这些默认监视区域来创建第一信号，随后由控制单元处理该第一信号，以控制与这些照明区域连接的照明区域的颜色和亮度。图3b图示后续帧32a。使用运动向量的计算结果，即相机运动，来扩展图3b中用32a表示的帧的左侧的场景，使用经过改造的在前帧31b和重构单元13来创建扩展图像30。

在一个实施例中，扩展图像将会包括当前帧的图像内容，还有来源于在前帧的扩展图像信息。扩展图像的尺寸将会取决于相机动作的量值(例如快速摇动会导致比慢速摇动大的图像)并且取决于改造步骤中使用的(在前)帧的个数。

在检测到运动时，监视区域的尺寸和位置被从默认设置改变为例如由33b、34b、35b和36b表示的相应监视区域设置。在一个实施例中，这意味着，位于显示装置的显示区域左侧和右侧的照明区域将会发射分别取决于监视区域35b和36b的颜色和亮度。位于显示装置的显示区域上方和下方的照明区域将会发射分别取决于监视区域33b和34b的颜色和亮度。通过使用这一拼接全景作为左侧背面照明的基础，较早场景中的树木会从显示区域移动到显示区域左侧的照明区域。在显示区域的右侧，也有运动信息，不过由于运动向量指向其它方向，因此不可能将在前帧拼接在当前帧的右侧来创建额外的内容，因为运动向量指向左侧，原因在于相机跟踪的是向右行驶的卡车，并且因此对于显示区域的这一侧，没有在前帧给出图像信息。在最终得到的帧中，卡车近乎不动地处于帧的中间。从卡车的角度看，背景向左侧移动，因为从背景的角度看，卡车是向右移动的，因此背景运动向量指向左侧。这意味着，可以使用在前帧的背景来在当前帧的左侧扩展当前帧的背景。由于相机运动，右侧监视区域的宽度可能会变窄，使用监视单元14使得细小的细节对右侧背面照明具有很大的影响。这导致右侧的背面照明效果非常疾速，就象用户真正看到树木一闪而过一样。由于在所呈现的图像序列中没有垂直运动，因此与位于显示区域上方和下方的照明区域相连接的监视区域33a和34a保持不变，即监视区域33a和34a在所呈现的图像序列期间分别等于监视区域33b和34b。

根据某些实施例，本发明提供了一种通过将在前帧与当前帧拼接起来，将图像内容扩展到屏幕外部的途径。这样，参照图4，有可能将监视区域从默认位置42朝向理想位置43移动。出于实际应用的原因，位置42上的监视区域的尺寸可以不同于位置43上的监视区域的尺寸。这可能与相机的运动无关，并且可能仅仅取决于实际情况：照明区域的尺寸可能不同于位置42处的默认监视区域的尺寸。在一个极端的例子中，假设照明区域具有对角线为1m的尺寸，但是在例如32英寸的电视机上没有对角线为1m的内容可用。当监视区域从其默认位置42朝向它的理想位置43移动时，尺寸可以从默认尺寸变形为理想尺寸。这样，相机动作与这一调整没有关系，除了它允许扩展图像的拼接和创建之外。在这个例子中，根据图4，当拼接图像内容仅仅是所示内容的一半时，监视区域应该处于位置42和43之间的中间位置上，它应该会具有这样的尺寸：是位置42上的监视区域的尺寸和位置43上的监视区域的尺寸的平均值。

由于根据某些实施例，运动信息即相机动作是可用的，所以可以根据上述实施例使用这一信息来改变监视区域的尺寸。正常情况下，仅仅在监视区域位于显示区域内部时才需要尺寸的调整，因为没有拼接信息可用。不过，在图4中所示的情况下，如果相机向左移动，即显示区域向左平移，则监视区域与显示区域一起移动，所以这一监视区域点的左侧下面并不具有任何虚拟的内容。由此，可以有两个选项，要么可以从左侧减小监视区域43的宽度，但是尽可能长时间地保持这一监视区域与紧挨着的显示区域的相对位置，要么可以朝向默认位置改变监视区域的尺寸和位置。

在一个实施例中，第一个选项涉及尽可能长时间地将位置保持在理想位置上，并且最初仅仅改变尺寸，随后由于相机运动和在监视区域内没有扩展图像信息可用，开始朝向默认尺寸和/或位置改变尺寸和/或位置，于是可以将第一个选项看作非线性过渡。后一个选项涉及朝向默认尺寸/位置改变尺寸和/或位置，可以将这个选项看作默认和理想位置之间的线性过渡。由此，从理想向默认模式的改变可以是线性过渡和非线性过渡。这一能力提供了控制该系统的监视区域的位置和尺寸的多种不同途径。

在一个实施例中，取决于相机动作等方面的不同情形，存在监视区域的理想位置和尺寸，并且监视区域可以具有默认尺寸和位置。在实践中，与某一照明区域相关联的监视区域将会取决于情形在两个参数之间变化。此外，在默认情形下，可以根据相机动作并且当在那一侧还没有任何拼接内容可用时，改造监视区域的尺寸，即宽度和高度。

在一个实施例中，理想地，监视区域位于照明区域所在的位置。所以，如果照明区域相对于真实的电视而言是处于左上方，则在要将图像虚拟地延伸到墙上的情况下，监视区域应当位于同样的点上。在没有检测到运动(即缺省模式)，并且没有扩展图像可用的时候，所有的监视区域位于显示区域内。如果检测到运动并且创建了扩展图像，则监视位置可以朝着左上方的位置移动。如果在两个或更多个相继帧之间没有检测到运动，但是从较早的在前帧可以得到扩展图像，则监视区域的位置可以保持为与以前一样。图4图示了显示区域45，其示出与位于显示区域的左上方的照明区域41相连接的监视区域的默认位置42。还示出了监视区域的理想位置43，理想位置43需要很大的扩展图像并且因此需要图像序列中有很大的运动。如果图像内容仅仅得到略微扩展，则监视区域应该具有介于位置42和43之间某处的位置。如前面所提到的，可以以线性方式和非线性方式得出这一确切位置。

在一个实施例中，提供了一种控制监视区域的尺寸和/或位置的方法。该系统的控制单元或监视单元可以利用该方法。在步骤1)中，得出相机动作，例如如前面所提到的那样。在步骤2a)中，如果没有相机动作，则监视区域的尺寸和位置将会与在前帧设置的尺寸和位置相同，因此如果有拼接内容，则使用与以前相同的设置，并且在其它情况下，使用默认监视区域参数。在步骤2b)中，如果有相机动作，则要改变监视区域，如果还没有处于这一状态，则将监视区域改变到理想状态的位置和尺寸，其中监视区域位于与它所连接的照明区域相同的点上。在可能的情况下，这一改变可以是线性的或者非线性的，并且当不可能时，例如因为动作是这样的：使得在监视区域的位置上没有拼接图像信息，则由此将与相机运动向量平行的尺寸改变为默认位置。

在一个实施例中，各个监视区域的尺寸还适合于扩展图像内容的可用性。在某些实施例中，监视区域是位于照明区域的具有照明区域的尺寸的方框。在某些实施例中，默认尺寸是位于显示区域内部的小方框。

控制单元

控制单元能够控制显示系统的照明区域的光辐射。它从监视单元连续接收与各个照明区域的颜色和亮度有关的信号，并且可以与其它标准一起使用这一信息来控制照明区域的光辐射颜色和亮度。

在一个实施例中，控制单元还依据显示区域呈现的图像或图像序列内容来控制监视区域。这意味着监视区域是依据图像或图像序列内容和它们在扩展图像和/或显示系统内部各自的位置二者而变化的。

在一个实施例中，控制单元能够随着时间的过去为受到影响的照明区域对从监视单元接收的信号进行积分，相当于所呈现图像内容的多个帧上的颜色总和。较长的积分时间对应于帧数量增加。这提供了这样的优点：利用长积分时间来平滑改变照明区域的颜色，以及利用短积分时间来快速改变照明区域的颜色。

除了前面描述的以外，显示系统的其它构造同样有可能，并且对于本领域技术人员而言是显而易见的，并且落在本发明的范围之内，比如构造包括不同数量的监视区域、不同的监视区域位置、尺寸和形状、不同数量的照明区域、不同的反应时间等。

场景变化检测器

在一个实施例中，显示系统还包括利用场景变化检测器来重置当前的扩展图像和重新开始。在重置扩展图像之后，扩展图像仅仅包括当前呈现的帧，并且因此除掉了任何经过改造的帧。由此，如果检测到场景变化，则显然以任何方式对在前帧(经过扩展的或没有扩展的)进行变换都无法与新的帧匹配(新场景的第一个帧)。因此，重置拼接算法并且从这个新的帧开始，以尝试从这个帧向前再次扩展整个场景。如果检测到场景变化，则这意味着将要把监视区域设置为默认位置、形状和/或尺寸，例如，如图2和图4中所示的那样，处于显示区域21内部。

根据上述实施例的显示系统的优点是，考虑到了运动和背景二者的延续，但是没有干扰显示区域21的观看感受。由于人眼在视场的中心部分提供最高分辨率，但是在更远离视场中心的位置上分辨率较低，因此观看者对显示区域上发生的动作，比如运动，的感受将会得到增强。

运动计算单元、改造单元、重构单元、监视单元和控制单元可以包括一个或数个带有一个或数个存储器的处理器。处理器可以是多种多样的处理器中的任何处理器，比如Intel或AMD处理器、CPU、微处理器、可编程智能计算机(PIC)微控制器、数字信号处理器(DSP)、电子可编程逻辑器件(EPLD)等等。不过，本发明的范围并不局限于这些具体的处理器。处理器可以运行包括代码段的计算机程序，所述代码段用于进行显示区域内的图像内容的图像分析，以便依据图像内容的颜色和亮度产生馈送给照明区域的输入信号。存储器可以是能够存储信息的任何存储器，比如随机存取存储器(RAM)，比如双密度RAM(DDR，DDR2)、单密度RAM(SDRAM)、静态RAM(SRAM)、动态RAM(DRAM)、视频RAM(VRAM)等等。存储器也可能是闪存存储器，比如USB、小型闪存、SmartMedia、MMC存储器、记忆棒、SD卡、MiniSD、MicroSD、xD卡、TransFlash和微驱动存储器等等。不过，本发明的范围并不局限于这些具体的存储器。

在一个实施例中，监视单元和控制单元被包括在一个单元中。

在某些实施例中，显示系统中可以包括数个监视单元和控制单元。

根据某些实施例，显示系统可以包括具有显示区域的显示装置，比如电视机、平板电视、阴极射线管CRT、液晶显示器LCD、等离子放电显示器、投影显示器、薄膜印刷光学活性聚合物显示器或使用同等功能显示技术的显示器。

在一个实施例中，该显示系统基本上位于图像显示区域后面并且被设置为朝向设置在显示区域后面的表面投射光辐射。在使用中，该显示系统提供至少部分围绕显示装置的显示区域的照明。

在使用中，该显示系统发挥空间上扩展显示区域的作用，增强观看感受。照明区域根据在所呈现图像序列中出现的运动来使用不同的监视区域。

照明区域

在一个实施例中，照明区域包括至少一个照明源和一个用于接收信号的输入端，例如从监视单元接收信号，该信号控制照明源的亮度和或颜色。

有数种如何创建照明区域输入信号的方式，使用哪些算法等等。在一个简单的例子中，算法只是将某一监视区域的平均或峰值颜色重复到其相应照明区域，不过，在这方面已知数种算法，并且根据本发明的某些实施例的显示系统可以利用这些算法。

照明源可以例如是发光二极管，LED，用于基于显示装置上的图像内容发光。LED是在受到正向电偏置的时候发射不连贯窄光谱光的半导体器件。所发光的颜色取决于所使用的半导体材料的成分和条件，并且可以是近紫外光、可见光或红外光。通过数个LED的组合，并且通过改变各个LED的输入电流，可以呈现出从近紫外到红外波长范围的光谱。

本发明并不局限于使用哪种照明源来创造背面照明效果。可以使用任何能够发光的源。

在一个实施例中，显示装置和照明区域可以包括在投影仪中，在使用时，投影仪将图像投影在一个表面的区域上，比如墙壁上。投影图像包括能够将图像或图像序列呈现给观看者的显示区域。显示区域可以位于投影图像的中央，同时围绕着它的投影区域的剩余部分被背面照明效果加以利用，背面照明效果包括至少两个取决于它们在投影图像内的位置而具有不同反应速度的照明区域。在这一实施例中，仍然可以与靠近投影显示区域的区域不同地生成外部区域。

在一个实施例中，照明区域与显示装置集成在一起。

在其它一些实施例中，照明区域可以是独立的，与显示装置之间可连接。

在另一个实施例中，可以通过用户交互来改变不同的背面照明设置，比如″运动增强″，例如在处理集成显示系统的时候使用显示装置的菜单系统，或者在使用独立显示系统的时候使用外部设置装置。背面照明设置可以例如是运动向量值阈值。通过减小这一参数，显示系统变得对运动更加灵敏，并且由此这将会由照明区域发射的光辐射反映出来。另一个背面照明设置可以是系统的监视区域的尺寸和位置。

在一个实施例中，提供了一种与该系统结合使用的用户界面。图形用户界面被配置成控制用户定义的或预定的与监视区域和/或运动向量相关联的设置。

用户定义的或预定的设置可以涉及a)监视区域的理想位置和尺寸，b)监视区域的默认位置和尺寸，c)在理想和默认情形之间的变换′路径′以及d)在相机运动但是没有拼接图像信息的情况下，(默认)监视区域尺寸的变更程度。而且可以使用该用户界面控制不同的观看感受模版，比如‘缓和’、‘适中’或‘动作’模板。在某些实施例中，对于不同的观看模板，设置a)-c)中的参数可以是不同的。例如，对于′缓和′观看感受，可以将设置d)的参数组设置为零，意思是说，相机动作不影响默认宽度，并且默认尺寸全部相当大，意思是说，使用大量像素来使得画面中的运动细节具有相对低的影响。

在一个实施例中，该用户界面是与所述系统结合使用的图形用户界面，用来控制受影响的设置。

在一个实施例中，将该用户界面被集成到具有使得用户能够改变设置的‘开/关’和‘模式’按钮的遥控器中。

在一个实施例中，可以将各个帧的运动向量信息包含在图像序列中。这样，不是像当前的MPEG格式那样仅保存每个像素的RGB值，而是还保存每像素或每像素组的运动向量。由此，根据该实施例，运动计算单元可以可选地不包含在该系统中。

在一个实施例中，根据图5，给出了一种方法。该方法包括根据图像序列的第一帧的运动向量与该图像序列的第二帧的运动向量之间的关系改造(52)该图像序列的第一图像帧。该方法还包括通过将经过改造的帧拼接到第二帧来为第二帧重构扩展图像。此外，该方法包括监视(54)扩展图像中包含的至少一个监视区域内的图像信息，并且生成第一信号，和响应于该第一信号；以及控制(55)从与该监视区域连接的照明区域(16)在使用时发出的光辐射。

在一个实施例中，该方法还包括计算(51)图像序列的至少第一图像帧和第二图像帧的运动向量。

在另一个实施例中，提供了一种方法。该方法包括：

-计算图像序列的至少两个相继帧的运动向量。该方法还包括：

-根据运动向量以使得这些运动向量与当前帧的相机状态相匹配的方式改造图像序列的在前帧。而且该方法包括：

-通过将经过改造的帧与当前帧拼接起来，为当前帧重构扩展图像。由此，扩展图像将会包括当前帧的图像内容，以及来源于在前帧的扩展图像信息。扩展图像的尺寸将会取决于相机动作的量值，例如快速摇动会导致比慢速摇动大的图像，并且取决于改造步骤中使用的(在前)帧的个数。该方法还包括：

-根据扩展图像产生背面照明效果。

在一个实施例中，根据图6，提供了一种计算机可读介质80，该计算机可读介质80具有包含在其上的用于由处理器处理的计算机程序。该计算机程序包括改造代码段(62)，被配置成根据图像序列的第一帧的运动向量与该图像序列的第二帧的运动向量之间的关系改造该图像序列的第一图像帧。该计算机可读介质可以还包括重构代码段(63)，被配置成通过对经过改造的帧与第二帧进行拼接来为第二帧重构扩展图像。而且，该计算机可读介质包括监视代码段(64)，被配置成监视扩展图像所包含的至少一个监视区域内的图像信息以及生成第一信号；以及控制代码段(65)，被配置成响应于该第一信号，控制从与该监视区域连接的照明区域(16)在使用时发出的光辐射。

在一个实施例中，该计算机可读介质还包括运动计算代码段(61)，用于计算图像序列的至少第一图像帧和第二图像帧的运动向量。

在一个实施例中，该计算机可读介质包括被设置为用于在由具有计算机处理属性的装置运行时执行在某些实施例中定义的所有方法步骤的代码段。

在一个实施例中，该计算机可读介质包括被设置为用于在由具有计算机处理属性的装置运行时执行在某些实施例中定义的所有显示系统功能的代码段。

上面描述的根据本发明的实施例的应用和使用是各种各样的，并且包括需要背面照明的所有情况。

本发明可以以任何适当的形式实现，包括硬件、软件、固件或这些的任何组合。本发明的实施例的元件或部件在物理上、功能上和逻辑上可以以任何适当的方式实现。甚至，功能可以在单独一个单元中实现、在多个单元中实现或者作为其它功能单元的一部分实现。同样，本发明可以在单独一个单元中实现，或者可以在物理上和功能上分布在不同的单元和处理器之间。

虽然本发明是参照具体的实施例来描述的，但是并不打算受到此处所提出的具体形式的限制。而是，本发明仅仅受到所附权利要求的限制。

在权利要求中，术语″包括″并不排除还存在其它元件或步骤。而且，虽然是分开列出的，但是多个构件、元件或方法步骤可以由例如单独一个单元或处理器实现。此外，虽然单独的特征可能被包括在不同的权利要求中，但是有可能对这些特征加以有益组合，并且包括在不同的权利要求中并不表明特征的组合不可行和/或没有益处。此外，单数形式并不排除存在多个。术语“一”、“第一”、“第二”等并不排除存在多个。权利要求中的附图标记仅仅作为澄清实例而给出，并且不应被解释为以任何方式限制权利要求的范围。

Claims (13)

1.一种系统(10)，包括：

-改造单元(12)，其被配置成根据图像序列的第一帧的运动向量与所述图像序列的第二帧的运动向量之间的关系改造所述图像序列的所述第一图像帧；

-重构单元(13)，其被配置成通过对经过改造的帧与第二帧进行图像拼接，为所述第二帧重构扩展图像；

-监视单元(14)，其被配置成监视包含在所述扩展图像中的至少-个监视区域内的图像信息以及生成第一信号；以及

-控制单元(15)，其被配置成响应于所述第一信号，控制从与所述监视区域连接的照明区域(16)在使用时发出的光辐射。

2.根据权利要求1所述的系统，其中所述控制单元还被配置成根据所述第一和第二帧的运动向量，控制包含在所述系统中的各个监视区域的位置或尺寸或形状。

3.根据前述权利要求中任何一项所述的系统，其中所述图像信息是各个监视区域中包含的强度和/或颜色，并且其中所述第一信号包括与各个监视区域的至少所述强度和颜色相关的信息。

4.根据权利要求4所述的系统，其中监视区域对应于至少一个或多个照明区域。

5.根据前述权利要求中任何一项所述的系统，还包括场景变化检测器，其被配置成在检测到场景变化时，重置所述扩展图像。

6.根据前述权利要求中任何一项所述的系统，其中所述控制单元还被配置成在所述扩展图像除了所述第二帧之外还包括至少附加图像信息时，依据扩展图像控制所述监视区域的位置或尺寸。

7.根据前述权利要求中任何一项所述的系统，其中至少一个照明区域包括照明源。

8.根据前述权利要求中任何一项所述的系统被包含在投影仪中。

9.根据前述权利要求中任何一项所述的系统，还包括运动计算单元(11)，其被配置成计算所述图像序列的至少所述第一图像帧和所述第二图像帧的运动向量。

10.一种方法，包括：

-根据图像序列的第一帧的运动向量与所述图像序列的第二帧的运动向量之间的关系改造所述图像序列的所述第一图像帧；

-通过对经过改造的帧与第二帧进行图像拼接，为所述第二帧重构扩展图像；

-监视包含在所述扩展图像中的至少一个监视区域内的图像信息以及生成第一信号；以及

-响应于所述第一信号，控制从与所述监视区域连接的照明区域在使用时发出的光辐射。

11.一种上面包含有由处理器处理的计算机程序的计算机可读介质(60)，所述计算机程序包括：

-改造代码段(62)，其被配置成根据图像序列的第一帧的运动向量与所述图像序列的第二帧的运动向量之间的关系改造所述图像序列的所述第一图像帧；

-重构代码段(63)，其被配置成通过对经过改造的帧与第二帧进行拼接，为所述第二帧重构扩展图像；

-监视代码段(64)，其被配置成监视包含在所述扩展图像中的至少一个监视区域内的图像信息以及生成第一信号；以及

-控制代码段(65)，其被配置成响应于所述第一信号，控制从与所述监视区域连接的照明区域在使用时发出的光辐射。

12.根据权利要求11所述的计算机可读介质，包括被设置成用于在由具有计算机处理属性的装置运行时执行所有权利要求1-9所定义的所有系统功能的代码段。

13.与根据权利要求1到9中任何一项所述的系统结合使用的用户界面，被配置用来控制用户定义的或预定的与所述监视区域和/或运动向量相关联的设置。

Images