CN102279701A - 图像稳定化装置、图像稳定化方法和程序 - Google Patents

Abstract

本发明提供了图像稳定化装置、图像稳定化方法和程序。用于图像稳定化的技术可包括检测被配置为显示图像数据的装置的运动，该图像数据包括一个或多个帧，所述一个或多个帧中的第一帧包括多个层。可处理所述多个层以针对检测到的运动进行校正。所述处理可包括向所述多个层中的第一层应用与所述多个层中的第二层不同程度的运动校正。这种技术可经由一种装置来执行，该装置包括被配置为使图像数据被显示的显示控制单元，以及被配置为执行所述处理的运动校正单元。

Description

图像稳定化装置、图像稳定化方法和程序

技术领域

本申请中描述的一些实施例涉及图像稳定化(image stabilization)装置、图像稳定化方法和程序。

背景技术

近年来，诸如移动电话、便携式游戏机、便携式信息终端、笔记本计算机(以下称为笔记本PC)、便携式音乐播放器、数码摄像机、数码相机(以下称为图像拍摄装置)等等之类的小型电子设备(以下称为便携设备)已被广泛使用。这些便携设备被用在各种场所。例如，已看到用户在乘交通工具移动的同时、在办公楼中的等待室中、在家中的起居室中等等使用便携设备。

这样，随着便携设备被制作得更小并且其便携性被增强，使用场景正变得更加多样。然而，虽然增强便携性的效果增强了携带的便利性，但其却没有增强对各种使用场景的应用性。例如，虽然便携设备较小并从而易于携带到交通工具上，但在摇晃的交通工具上却难以对其进行迅速且准确的操作。因此，制造便携设备的公司正在改进例如便携设备的握持部分的结构或者操作装置的形态。

另外，还存在这样的问题，即，当在摇晃的交通工具上时或在行走时，难以正确地感知在便携设备的显示装置上显示的图像、文字等等。即，在显示装置上显示的图像、文字等等由于便携设备的振动而变得模糊，从而导致难以看清显示的内容。图像、文字等等的这种模糊很容易引起用户的视神经的疲劳。从而，已经开发了一种技术，其在与便携设备的振动抵消的方向上移动图像、文字等等，从而减轻图像、文字等等的模糊。

关于上述技术，JP-A-2000-221954公开了一种技术，用于检测便携设备的振动，并且在抵消该振动的方向上移动显示图像。该专利文献还公开了一种技术，用于截去在移动显示图像时不在画面上显示的区域。另外，该专利文献公开了一种技术，用于通过使用加速度计来检测便携设备的振动。这里，该专利文献中公开的技术用于计算与便携设备的振动的相位相反的相位的振动，并且添加此振动来抵消便携设备的振动。

发明内容

然而，由于计算处理等等，在便携设备的振动发生的时刻与显示图像的运动补偿的时刻之间发生延迟。从而，在便携设备的振动较弱的情况下，便携设备的振动的相位和赋予显示图像的振动的相位将大致相反，但在便携设备的振动较强的情况下，振动相位将不是相反的。在一些情况下，振动的相位相互加强。结果，从用户的视点来看显示图像的振动增大了，并且甚至会更引起用户视神经的疲劳。

例如，当在摇晃的交通工具上使用便携设备时，在便携设备上可能发生细微的振动。因此，如果应用上述专利文献的技术，则在便携设备的振动和为抵消上述振动而向显示图像赋予的振动之间频繁发生相位的差异，从而显示图像相对于用户视点的振动甚至更增大了。另外，人类的眼睛具有追随观看对象的运动的功能。从而，即使显示图像相对于用户视点不是完全静止的，也可以正确地观看显示图像。

鉴于上述情况，希望提供一种新颖且改进的图像稳定化装置、图像稳定化方法和程序，其能够在发生便携设备的振动的情况下以层为单位减轻显示图像相对于用户视点的振动，从而进一步减轻用户的疲劳。

根据上述实施例，在发生便携设备的振动的情况下可以以层为单位减轻显示图像相对于用户视点的振动，从而进一步减轻用户的疲劳。在一些实施例中，图像稳定化可包括检测被配置为显示图像数据的装置的运动，并且处理图像数据以针对检测到的运动进行校正。在一些实施例中，处理可包括通过使图像数据的层在与检测到的运动相反的方向上移动来向这些层应用运动校正。在一些实施例中，对不同的层和/或不同类型的层可以应用不同程度的运动校正。

附图说明

图1是示出根据第一实施例的便携设备的功能配置的说明图；

图2是示出根据该实施例的形成便携设备的状态检测单元的操作的说明图；

图3是示出根据该实施例的所应用抵消强度的计算方法的说明图；

图4是示出根据该实施例的所应用抵消强度的计算方法的说明图；

图5是示出根据该实施例的用于振动抵消方法的每层的校正量的确定方法的说明图；

图6是示出根据该实施例的用于振动抵消方法的每层的校正量的确定方法的说明图；

图7是示出根据该实施例的用于振动抵消方法的每层的校正量的确定方法的说明图；

图8是示出根据该实施例的形成便携设备的滤波器单元的操作的说明图；

图9是示出根据该实施例的在应用振动抵消时使用的校正量的计算方法的说明图；

图10是示出根据该实施例的在应用振动抵消时使用的校正量的计算方法的说明图；

图11是示出FIR滤波器的示例性电路配置的说明图；

图12是示出根据该实施例的运动补偿方法的说明图；

图13是示出根据该实施例的层复用方法的说明图；

图14是示出根据该实施例的形成便携设备的滤波器单元的操作(修改例)的说明图；

图15是示出根据该实施例的用于振动抵消方法的每层的校正量的确定方法的说明图；

图16是示出根据该实施例的用于振动抵消方法的每层的校正量的确定方法的说明图；

图17是示出根据该实施例的用于振动抵消方法的每层的校正量的确定方法的说明图；

图18是示出根据第二实施例的便携设备的功能配置的说明图；

图19是示出根据该实施例的振动抵消方法的说明图；

图20是示出根据该实施例的振动抵消方法的说明图；

图21是示出根据该实施例的振动抵消方法的说明图；

图22是示出根据第三实施例的便携设备的功能配置的说明图；

图23是示出根据该实施例的振动抵消方法的说明图；

图24是示出根据该实施例的振动抵消方法的说明图；

图25是示出根据该实施例的振动抵消方法的说明图；

图26是示出根据该实施例的振动抵消方法的说明图；

图27是示出根据该实施例的振动抵消方法的说明图；并且

图28是示出能够实现根据第一至第三实施例的便携设备的功能的硬件配置的说明图。

具体实施方式

下面，将参考附图详细描述优选实施例。注意，在本说明书和附图中，用相同的标号来标示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

<描述流程>

这里将简要介绍以下所述的实施例的描述流程。

首先，将参考图1来描述根据第一实施例的便携设备10的功能配置。接下来，将参考图2来描述根据该实施例的状态检测单元115的操作。然后，将参考图3至7来描述根据该实施例的所应用抵消强度的计算方法。

接下来，将参考图8来描述根据该实施例的滤波器单元117的操作。然后，将参考图9和10来描述根据该实施例的在应用振动抵消时使用的校正量的计算方法。同时，将参考图11来描述根据该实施例的在应用振动抵消时使用的滤波器的示例。另外，将参考图12来描述根据该实施例的运动补偿方法。此外，将参考图13来描述根据该实施例的层复用方法。

接下来，将参考图14来描述根据该实施例的修改例的滤波器单元117的操作。然后，将参考图15至17来描述根据该实施例的在应用振动抵消时使用的校正量的计算方法。

接下来，将参考图18来描述根据第二实施例的便携设备10的功能配置。然后，将参考图19至21来描述根据该实施例的滤波器强度的确定方法。然后，将参考图22来描述根据第三实施例的便携设备10的功能配置。然后，将参考图23至25来描述根据该实施例的对三维计算机图形(以下称为3DCG)应用振动抵消的方法。

然后，将参考图28来描述能够实现根据第一至第三实施例的便携设备的功能的硬件的配置。最后，将总结本实施例的技术思想，并且将简要描述通过这些技术思想获得的作用效果。

(描述项目)

1：第一实施例

1-1：便携设备10的功能配置

1-2：状态检测单元115的操作

1-2-1：处理的流程

1-2-2：振动系数的计算方法

1-2-3：所应用抵消强度的计算方法

1-3：滤波器单元117的操作

1-3-1：处理的流程

1-3-2：预测值的计算

1-3-3：校正量的计算

1-4：(修改例)滤波器117的操作

1-4-1：处理的流程

1-4-2：校正量的衰减

2：第二实施例

2-1：便携设备10的功能配置

2-2：所应用抵消强度的调整方法

3：第三实施例

3-1：便携设备10的功能配置

3-2：校正量的调整方法

4：硬件配置

5：总结

<1：第一实施例>

将描述第一实施例。本实施例涉及在导致便携设备10振动的情形中减轻相对于用户的视点发生的显示图像振动的方法。注意，此方法不是用于使显示图像相对于用户的视点“静止”，而是用于“减轻”显示图像的振动以减轻用户的疲劳。

[1-1：便携设备10的功能配置]

首先，将参考图1来描述根据本实施例的便携设备10的功能配置。图1是示出根据本实施例的便携设备10的功能配置的说明图。

如图1所示，便携设备10主要包括图像稳定化模块11、复用单元12和显示单元13。图像稳定化模块11是用于减轻显示图像相对于用户视点的振动的装置。复用单元12是用于复用多个层并且创建显示图像的装置。显示单元13是用于显示由复用单元12创建的显示图像的装置。根据本实施例的便携设备10的特征主要在于图像稳定化模块11的配置。从而，在下文中，将更详细描述图像稳定化模块11的配置。

如图1所示，图像稳定化模块11主要包括图像数据获取单元111、运动传感器112、坐标变换单元113、FIFO缓冲器114和状态检测单元115。另外，图像稳定化模块11包括用户输入单元116、滤波器单元117、校正向量生成单元118和运动补偿单元119。此外，包括滤波器单元117、校正向量生成单元118和运动补偿单元119在内的块以层为单位执行处理。

(图像数据获取单元111)

图像数据获取单元111是用于获取图像数据的装置。例如，图像数据获取单元111获取时间系列帧群组。顺便说一下，可以按固定时间间隔(固定帧间隔)放置形成此帧群组的帧，或者可以按任意时间间隔(可变帧间隔)放置形成此帧群组的帧。另外，每个帧由多个层构成。

此外，指示在覆盖顺序中的位置的号码和用途信息与每个层相关联。例如，号码0与顶部层相关联，并且号码1与次一层相关联。另外，用途信息用于规定在层上显示的图像的用途，例如菜单画面、视频画面、操作对象等等。由图像数据获取单元111获取的图像数据被输入到运动补偿单元119。在以下说明中，每个帧或每个层有时可被称为图像数据。

(运动传感器112)

运动传感器112是用于检测便携设备10的运动的装置。例如，运动传感器112是由六轴传感器、二轴传感器之类的构成的。此外，六轴传感器是能够检测沿三个正交轴方向的加速度和绕三个正交轴的旋转的传感器。另外，二轴传感器是能够检测沿两个正交轴方向的加速度的传感器。在以下说明中，示出由运动传感器112检测到的运动的数据将被称为运动数据。

运动传感器112以预定的采样周期输出运动数据。此采样周期与图像数据的帧率无关。另外，此采样速率可以是固定速率或可以是可变速率。然而，根据采样定理，采样速率必须是用于移动图像数据以抵消便携设备10的振动的频率的两倍以上。另外，从运动传感器112输出的运动数据被输入到坐标变换单元113。

(坐标变换单元113)

坐标变换单元113是用于把从运动传感器112输入的运动数据变换成能够被后级中的滤波器单元117使用的数据格式的装置。例如，在运动传感器112是六轴传感器的情况下，获得包括重力加速度的运动数据。即，输入到坐标变换单元113的运动数据不是单纯表达便携设备10的运动的运动数据。因此，坐标变换单元113从输入自运动传感器112的运动数据中去除重力加速度的成分，并且生成表达便携设备10的运动的运动数据。由坐标变换单元113生成的运动数据被输入到FIFO缓冲器114。

(FIFO缓冲器114)

FIFO缓冲器114是用于累积由坐标变换单元113输入的运动数据的装置。此外，当下一运动数据在预定累积量已满的状态中被输入时，FIFO缓冲器114丢弃最旧的运动数据。此累积量例如被设定成一秒的数据量(例如，在帧率为30fps的情况下是30个帧)。在FIFO缓冲器114中累积的运动数据被状态检测单元115和滤波器单元117读取。

(状态检测单元115)

状态检测单元115是用于计算所应用抵消强度的装置。此外，这里的所应用抵消强度是指示出图像数据相对于用户视点的振动的抵消的强度的值。首先，状态检测单元115从FIFO缓冲器114获取运动数据(D_t，...，D_t+n)。此外，D_t是在时刻t检测到的运动数据。获取了运动数据(D_t，...，D_t+n)的状态检测单元115将运动数据(D_t，，...，D_t+n)输入到预定的函数中并且计算振动系数s，如以下的公式(1)所示。

「方程式1

s＝f(D_t，…，D_t+n)            ...(1)

此函数f是用于量化由运动数据(D_t，...，D_t+n)表达的运动的强度的变换公式。另外，振动系数s是表达由运动数据(D_t，...，D_t+n)表达的运动的强度的数值。例如，上述的函数f是用于对运动数据(D_t，...，D_t+n)进行正交变换并且输出预定的频率域中的最大幅度值的变换公式。此外，作为正交变换的示例，可以采取傅立叶变换等等。

以上述方式计算出振动系数s的状态检测单元115基于振动系数s来计算所应用抵消强度。例如，如果只考虑两个状态，亦即应用抵消的情况和不应用抵消的情况，则状态检测单元115基于振动系数s与两个阈值T₁和T₂之间的比较结果来计算所应用抵消强度，如图3所示。此外，在应用抵消状态的情况下所应用抵消强度是1.0。另一方面，在不应用抵消状态的情况下所应用抵消强度是0.0。

如上所述，振动系数s较大的情况是便携设备10的振动强烈的状态。在便携设备10的振动强烈的情况下，如果在抵消该振动的方向上移动图像数据，则图像数据相对于用户视点的振动不减轻，而是相反，图像数据相对于用户视点的振动有可能增强。另外，如果图像数据被大幅移动，则图像区域中的很大部分将移出到画面外，并且图像数据的未显示区域将变得太大。从而，在便携设备10的振动强烈的情况下，最好不应用振动的抵消。

另一方面，振动系数s较小的情况是便携设备10的振动缓和的状态。在便携设备10的振动缓和的情况下，用户可以容易地追随图像数据的运动。从而，在振动系数s较小的情况下不必进行抵消。

由于上述原因，最好如下来确定阈值T₁和T₂。例如，阈值T₁最好被确定成使得振动系数s所指示的振动的范围大约是画面大小的1％。即，阈值T₁最好被确定成使得图像数据相对于用户视点的振动将是可忽略的值。另一方面，关于阈值T₂，振动系数s所指示的振动的范围最好大约是画面大小的10％。即，其最好被确定为这样一个值：根据该值，在应用了抵消的情况下，能够获得抵消的效果，并且未显示区域不会太大。

此外，阈值T₁和T₂的数值不限于上述示例。另外，阈值T₁和T₂可以是固定的值，或者它们可以是可变的。

上述的所应用抵消强度的确定方法只考虑了两个状态，即应用抵消的状态和不应用抵消的状态。与之不同，也可以设想根据振动系数s连续确定所应用抵消强度的方法。

例如，可以用0.0至1.0之间的实数来定义所应用抵消强度，如图4所示。在此情况下，不应用抵消状态被定义为所应用抵消强度是0.0的状态。另外，所应用抵消强度的特性由如图4所示的曲线或其他曲线或直线表达。当然，根据振动系数s确定所应用抵消强度的特性的形态并不限于图4中的示例。此外，在下文中，将在假定使用由连续值定义的所应用抵消强度的情况下给出说明。

如上所述，状态检测单元115通过使用从FIFO缓冲器114读取的运动数据(D_t，...，D_t+n)为运动传感器112的每个轴计算振动系数s，并且基于振动系数s计算所应用抵消强度。由状态检测单元115以这种方式计算出的所应用抵消强度被输入到滤波器单元117。

(用户输入单元116)

用户输入单元116是供用户输入各类数据的装置。

(滤波器单元117)

滤波器单元117是用于计算为了抵消图像数据相对于用户视点的振动而移动图像数据的量(以下称为校正量)的装置。首先，滤波器单元117从FIFO缓冲器114读取运动数据(D_t，...，D_t+n)，并且计算在下一帧的显示时间点t+n+1的运动数据D_t+n+1。此时，为运动传感器112的每个轴计算运动数据D_t+n+1(预测值)。

此外，运动数据D_t+n+1的计算方法例如可以是如图9所示的使用两个相邻样本(D_t+n-1，D_t+n)的线性预测方法，或者可以是使用运动数据(D_t，...，D_t+n)的样条曲线的预测方法。

然后，滤波器单元117将包括预测值的运动数据(D_t，...，D_t+n，D_t+n+1)应用到预定的滤波器。作为此滤波器，可以使用具有低通特性或带通特性的滤波器，例如平均化滤波器、双边滤波器等等。例如，可以使用图11所示的FIR滤波器。此外，滤波器单元117根据由状态检测单元115输入的所应用抵消强度、由用户经由用户输入单元116输入的滤波器强度以及每个层的属性信息(参见图5至7)来改变滤波器的抽头长度。

例如，在所应用抵消强度较强的情况下，滤波器单元117增大滤波器的抽头长度。另一方面，在所应用抵消强度较弱的情况下，滤波器单元117减小滤波器的抽头长度。另外，在用户输入的滤波器强度较强的情况下，滤波器单元117增大滤波器的抽头长度。另一方面，在用户输入的滤波器强度较弱的情况下，滤波器单元117减小滤波器的抽头长度。例如，滤波器单元117决定标准抽头长度是30个样本之类的，并且根据所应用抵消强度，相对于该标准抽头长度增大或减小抽头长度。

另外，滤波器单元117根据每个层的属性信息来调整滤波器的抽头长度。由图像数据获取单元111获取的每个层的属性信息被输入到滤波器单元117。该每个层的属性信息是指示出层的用途的信息。

在一些实施例中，要应用到一层的运动校正的程度可基于其层类型来确定，并且不同程度的运动校正可被应用到不同类型的层。例如，如图5所示，在便携设备10是便携式游戏机的情况下，在图像数据中包括用途是“游戏的主画面”的层和用途是“诸如得分之类的覆盖”的层。在游戏的主画面的情况下，认为应用抵消将有助于改善用户的观看，从而在此情况下设定1.0的加权系数。所应用抵消强度被乘以此加权系数。因此，该加权系数越大，滤波器的抽头长度被设定得越长。另一方面，在诸如得分之类的覆盖的显示的情况下，认为不应用抵消将有助于改善用户的观看，从而在此情况下设定0.0的加权系数。

另外，有时包括了操作按钮对象。在此情况下，如果操作按钮由于抵消的应用而相对于便携设备10移动，则认为可操作性会降低。从而，如图6所示，对于用途是“操作按钮对象”的层设定0.0的加权系数，从而防止应用抵消。另外，在便携设备10是诸如eBookReader之类的用于显示文本的终端的情况下，认为对用途是“文本显示画面”的层应用抵消将有助于改善用户的观看。从而，如图7所示，对用途是文本显示画面的层设定1.0的加权系数。

如上所述，通过根据层的用途来执行抵消应用控制，可以改善用户的可操作性或观看。层的属性信息和根据每条属性信息的加权系数是如图5至7所示预先设定的，并且滤波器单元117将所应用抵消强度乘以加权系数以根据乘法结果来确定滤波器的抽头长度。从而，不同的滤波器(例如具有不同数目的抽头)可被应用到不同的层和/或不同类型的层。通过此处理实现了根据层的用途的抵消应用控制。

现在，被应用到包括预测值的运动数据(D_t，...，D_t+n，D_t+n+1)的滤波器的输出值将是如同图10所示的滤波器应用后的内插线那样。此外，在以下说明中，滤波器应用后的内插线上的值将被称为滤波器应用后数据。获得了滤波器应用后数据的滤波器单元117把下一帧的显示时间点t+n+1的滤波器应用后数据与预测值D_t+n+1之间的差异设定为校正量。另外，滤波器单元117将校正量的单位从运动数据的单位(英寸之类的单位)转换成图像数据的单位(像素)。以这种方式以图像数据的单位获得每个轴的校正量。从而，由于在一些实施例中不同的加权系数可被应用到所应用抵消强度以确定不同的层和/或层类型的抽头长度，因此具有不同抽头长度的滤波器可产生不同的输出值，从而对于不同的层和/或层类型得出不同的校正量。

接下来，滤波器单元117计算图像数据可在画面上移动的距离的最大值(以下称为最大画面移动量)。最大画面移动量是根据为图像数据设定的受保护区域与图像帧的位置之间的关系来确定的。这里的受保护区域是被预先设定为即使应用抵消也必定要显示的区域的区域。在此情况下，最大画面移动量是根据受保护区域的边界与图像帧之间的距离来确定的。

在以上述方式计算最大画面移动量之后，滤波器单元117对于每个轴的方向比较校正量和最大画面移动量。然后，在校正量大于最大画面移动量的情况下，滤波器单元117重设校正量，以使得校正量将是最大画面移动量。在以这种方式重设校正量的情况下，即使基于校正量移动图像数据，受保护区域也必定被显示在画面内。此外，在没有受保护区域的情况下或者在通过某种其他限制来确定最大画面移动量的情况下，在必要时重设基于最大画面移动量的校正量。

如上所述，由滤波器单元117计算出的校正量或者基于最大画面移动量重设的校正量被输入到校正向量生成单元118。顺便说一下，在以上说明中，使用了图像数据的校正量和图像数据的最大画面移动量这些表述。这里，以上所述的处理是针对每个层执行的。即，针对每个层设定的校正量被从滤波器单元117输入到校正向量生成单元118。

(校正向量生成单元118、运动补偿单元119)

校正向量生成单元118是用于通过使用从滤波器单元117输入的校正量来生成用于对层的位置进行校正的校正向量的装置。此校正向量是通过运动补偿把应用抵消前的层变换成应用抵消后的层的变换手段。当以形成应用抵消前的层的每个像素的坐标为X并且以应用抵消后的每个像素的坐标为X’时，坐标X’是利用以下的公式(2)至(7)来表达的。顺便说一下，参数(h、v、θ、p、h_c、v_c)是与由滤波器单元117输入的每个轴的校正量有关的参数。

[方程式2]

X′＝C^-1P^-1MPCX              ...(2)

$X=\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)...\left(3\right)$

$X^{\&prime;}=\left(\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right)...\left(4\right)$

$M=\left(\begin{array}{ccc}1& 0& h\\ 0& 1& v\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& 0\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ 0& 0& 1\end{array}\right)...\left(5\right)$

$P=\left(\begin{array}{ccc}p& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)...\left(6\right)$

$C=\left(\begin{array}{ccc}1& 0& {-h}_c\\ 0& 1& -v_c\\ 0& 0& 1\end{array}\right)...\left(7\right)$

校正向量生成单元118利用以上的公式(2)至(7)，根据由滤波器单元117输入的每个轴的校正量来计算参数(h、v、θ、p、h_c、v_c)，并且把由以下的公式(8)表达的校正矩阵V输入到运动补偿单元119。运动补偿单元119通过使用由校正向量生成单元118输入的校正矩阵V来执行层的运动补偿。例如，如图12所示，运动补偿单元119通过使用线性内插、以低于整数像素的精度执行运动补偿。已被运动补偿单元119执行运动补偿的层被输入到复用单元12。

[方程式3]

V＝C^-1P^-1MPC          ...(8)

以上，已经详细描述了图像稳定化模块11的配置。从运动补偿单元119输入到复用单元12的层群组被进行阿尔法混合并复用成一个帧，如图13所示。顺便说一下，阿尔法值(指示透明量的值)是以像素为单位或以层为单位针对每个层设定的。然后，由复用单元12获得的一个帧被显示在显示单元13上。

以上，已经描述了根据本实施例的便携设备10的功能配置。

[1-2：状态检测单元115的操作]

接下来，将参考图2来补充说明状态检测单元115的操作。图2是示出状态检测单元115进行的处理的流程的说明图。

(1-2-1：处理的流程)

如图2所示，运动传感器112从FIFO缓冲器114获取运动数据(S101)。然后，状态检测单元115基于在步骤S101中获取的运动数据来计算振动系数(S102)。接下来，状态检测单元115基于在步骤S102中计算出的振动系数来计算所应用抵消强度(S103)。

(1-2-2：振动系数的计算方法)

这里将描述步骤S102中的振动系数s的计算方法。此外，假定在步骤S101中状态检测单元115获取运动数据(D_t，...，D_t+n)。振动系数s是表达由运动数据(D_t，...，D_t+n)表达的运动的强度的数值。运动的强度可由高频成分的强度来表达。从而，状态检测单元115对运动数据(D_t，...，D_t+n)进行傅立叶变换并计算频率数据，并且使用高频成分的幅度。例如，状态检测单元115计算频率数据之中在预定的频率域中的最大幅度值来作为振动系数s。

(1-2-3：所应用抵消强度的计算方法)

接下来，将描述步骤S103中的所应用抵消强度的计算方法。

(只考虑两个状态的情况)

如图3所示，如果只考虑两种情况，即应用抵消的情况和不应用抵消的情况，则状态检测单元115基于振动系数s与两个阈值T₁和T₂之间的比较结果来计算所应用抵消强度。此外，在应用抵消状态的情况下所应用抵消强度是1.0。另一方面，在不应用抵消状态的情况下中所应用抵消强度是0.0。

如上所述，在振动系数s较大的情况下，便携设备10的振动强烈。在便携设备10的振动强烈的情况下，如果在抵消该振动的方向上移动图像数据，那么由于由计算处理等等导致的延迟，图像数据相对于用户视点的振动不减轻，而是相反，图像数据相对于用户视点的振动有可能增强。另外，如果图像数据被大幅移动，则图像区域中的很大部分将移出到画面外，并且图像数据的未显示区域将太大。从而，在便携设备10的振动强烈的情况下，最好不应用振动的抵消。

另一方面，在振动系数s较小的情况下，便携设备10的振动缓和。在便携设备10的振动缓和的情况下，用户可以追随图像数据的运动而不会疲劳。从而，在振动系数s较小的情况下不必进行抵消。

由于上述原因，最好如下来确定阈值T₁和T₂。例如，阈值T₁最好被确定成使得振动系数s所指示的振动的范围大约是画面大小的1％。即，阈值T₁被确定成使得图像数据相对于用户视点的振动将是可忽略的值。另一方面，关于阈值T₂，振动系数s所指示的振动的范围最好大约是画面大小的10％。即，其被确定为这样一个值：根据该值，在应用了抵消的情况下，能够获得抵消的效果，并且未显示区域不会太大。此外，阈值T₁和T₂的数值不限于上述示例。另外，阈值T₁和T₂可以是固定的值，或者它们可以是可变的。

(所应用抵消强度是连续值的情况)

另外，也可以设想根据振动系数s来连续地确定所应用抵消强度的方法。例如，如图4所示，可以用0.0至1.0之间的实数来定义所应用抵消强度。此时，不应用抵消状态被定义为所应用抵消强度是0.0的状态。根据图4所示的所应用抵消强度的特性曲线，所应用抵消强度随着振动系数s的增大而平滑地增大或减小。但是所应用抵消强度的特性不限于此。例如，其可以是这样的特性：根据该特性，所应用抵消强度从振动系数s₁起线性增大，并且在在振动系数s₂(s₂＞s₁)处到达1.0的所应用抵消强度之后，从振动系数s₃(s₃＞s₂)起线性减小。

以上，已经描述了状态检测单元115的操作

[1-3：滤波器单元117的操作]

接下来，将参考图8补充说明滤波器单元117的操作。图8是示出滤波器单元117进行的处理的流程的说明图。

(1-3-1：处理的流程)

如图8所示，滤波器单元117基于从FIFO缓冲器114读取的运动数据来预测在下一帧的显示时间点的运动数据(预测值；参见图9)(S111)。然后，滤波器单元117根据所应用抵消强度选择抽头长度(S112)。此时，滤波器单元117将所应用抵消强度乘以针对每种层用途设定的加权系数，并且基于乘法结果选择抽头长度。

接下来，滤波器单元117将包括预测值的运动数据应用到预定的滤波器，并且计算应用抵消后的预测值(S113)。然后，滤波器单元117从应用抵消后的预测值之中减去应用滤波器前的预测值，并且计算校正量(参见图10)(S114)。然后，滤波器单元117将校正量的单位从运动数据的单位(英寸之类的)转换成图像数据的单位(像素)(S115)。

接下来，滤波器单元117基于最大画面移动量重设校正量(限幅处理)(S116)。例如，在校正量超过最大画面移动量的情况下，最大画面移动量被设定成新的校正量，而在校正量不超过最大画面移动量的情况下，维持在步骤S114中计算出的校正量。

(1-3-2：预测值的计算)

这里将描述步骤S111的预测值的计算方法。

作为预测值的计算方法，例如有如图9所示的使用两个相邻样本(D_t+n-1，D_t+n)的线性预测方法。根据此方法，延长连接两个相邻样本(D_t+n-1，D_t+n)的直线，并且预测在下一帧的显示时间点t+n+1的运动数据D_t+n+1。

另外，作为预测值的计算方法，例如也可设想使用运动数据(D_t，...，D_t+n)的样条曲线的预测方法。根据此方法，计算基于运动数据(D_t，...，D_t+n)的样条曲线，并且通过将该样条曲线延长到下一帧的显示时间点t+n+1来预测运动数据D_t+n+1。

(1-3-3：校正量的计算)

接下来，将描述步骤S113和S114的校正量的计算方法。

在计算校正量时，首先如图10所示计算滤波器应用后的内插线。此滤波器应用后的内插线是被应用了包括预测值的运动数据(D_t，...，D_t+n，D_t+n+1)的滤波器的输出值。滤波器应用后的内插线对应于图像数据相对于用户视点的振动被抑制的振动状态。即，在下一帧的显示时间点t+n+1的滤波器应用后数据对应于在应用抵消后将获得的运动数据的预测值。从而，获得了滤波器应用后数据的滤波器单元117把下一帧的显示时间点t+n+1的滤波器应用后数据与预测值D_t+n+1之间的差异设定为校正量。

以上，已经描述了滤波器单元117的操作。

[1-4：(修改例)滤波器单元117的操作]

这里，将参考图14来描述根据本实施例的修改例的滤波器单元117的操作。图14是示出根据修改例的滤波器单元117执行的处理的流程的说明图。

(1-4-1：处理的流程)

如图14所示，滤波器单元117基于从FIFO缓冲器114读取的运动数据来预测在下一帧的显示时间点的运动数据(预测值；参见图9)(S121)。接下来，滤波器单元117将包括预测值的运动数据应用到预定的滤波器，并且计算应用抵消后的预测值(S122)。然后，滤波器单元117从应用抵消后的预测值之中减去应用滤波器前的预测值，并且计算校正量(参见图10)(S123)。

然后，滤波器单元117将校正量的单位从运动数据的单位(英寸之类的单位)转换成图像数据的单位(像素)(S124)。接下来，滤波器单元117根据下文中描述的衰减系数来执行校正量的衰减处理(S125)。接下来，滤波器单元117基于最大画面移动量重设校正量(限幅处理)(S126)。例如，在校正量超过最大画面移动量的情况下，最大画面移动量被设定成新的校正量，而在校正量不超过最大画面移动量的情况下，维持在步骤S123中计算出的校正量。

(1-4-2：校正量的衰减)

接下来，将补充说明在步骤S125中根据衰减系数对校正量的衰减处理。如上所述，属性信息与每个层相关联。另外，在上述示例中，对于每个属性，加权系数与每个层相关联。在本修改例中，取代用于调整所应用抵消强度的加权系数，引入了用于调整校正量的衰减系数。如图15至17所示，在本修改例的情况下，例如，根据属性信息的类型来预先设定衰减系数。

例如，如图15所示，在便携设备10是便携式游戏机的情况下，在图像数据中包括用途是“游戏主画面”的层和用途是“诸如得分之类的覆盖”的层。在游戏主画面的情况下，认为应用抵消将有助于改善用户的观看，从而在此情况下设定1.0的衰减系数。(没有加权系数的)基本校正量被乘以此衰减系数。因此，该衰减系数越大，应用的抵消越强。另一方面，在诸如得分之类的覆盖的显示的情况下，认为不应用抵消将有助于改善用户的观看，从而在此情况下设定0.0的衰减系数。

另外，有时包括了操作按钮对象。在此情况下，如果操作按钮由于抵消的应用而相对于便携设备10移动，则认为可操作性会降低。从而，如图16所示，对于用途是“操作按钮对象”的层设定0.0的衰减系数，从而防止应用抵消。另外，在便携设备10是诸如eBookReader之类的用于显示文本的终端的情况下，认为向用途是“文本显示画面”的层应用抵消将有助于改善用户的观看。从而，如图17所示，向用途是文本显示画面的层设定1.0的衰减系数。

如上所述，通过根据层的用途来执行抵消应用控制，可以改善用户的可操作性或观看。层的属性信息和根据每条属性信息的衰减系数是如图15至17所示预先设定的，并且滤波器单元117将校正量乘以衰减系数并且向校正向量生成单元118输入乘法结果作为新的校正量。通过此处理实现了根据层的用途的抵消应用控制。

以上，已经描述了根据本修改例的滤波器单元117的操作。

以上，已经描述了第一实施例，本实施例的特征在于基于振动系数s来计算所应用抵消强度并且基于所应用抵消强度来执行振动的抵消的方法。通过采用此方法，即使便携设备10由于手的颤动等等而移动，也能够减轻用户的疲劳。另外，本实施例的另一特征在于根据层的用途来执行抵消应用控制。通过采用这种配置，可以根据所显示的内容来改善用户的可操作性或观看。

<2：第二实施例>

接下来，将描述第二实施例。本实施例涉及根据用户的操作状态对操作对象调整所应用抵消强度的方法。

[2-1：便携设备10的功能配置]

首先，将参考图18来描述根据本实施例的便携设备10的功能配置。图18是示出根据本实施例的便携设备10的功能配置的说明图。此外，用相同的标号来标示具有与上述根据第一实施例的便携设备10的结构元件基本相同的功能的结构元件，并且将省略对这些结构元件的详细说明。

如图18所示，便携设备10主要包括图像稳定化模块11、复用单元12和显示单元13。图像稳定化模块11是用于减轻显示图像相对于用户视点的振动的装置。复用单元12是用于复用多个层并且创建显示图像的装置。显示单元13是用于显示由复用单元12创建的显示图像的装置。根据本实施例的便携设备10的特征主要在于图像稳定化模块11的配置。从而，在下文中，将更详细描述图像稳定化模块11的配置。

如图18所示，图像稳定化模块11主要包括图像数据获取单元111、运动传感器112、坐标变换单元113、FIFO缓冲器114和状态检测单元115。另外，图像稳定化模块11包括用户输入单元116、滤波器单元117、校正向量生成单元118、运动补偿单元119和距离传感器120。与上述根据第一实施例的图像稳定化模块11的主要差异在于距离传感器120的存在和滤波器单元117的功能。从而，将详细描述距离传感器120和滤波器单元117的功能。

(距离传感器120)

如图19所示，距离传感器120是用于在操作工具14(例如用户的手指或触笔)靠近显示单元13的表面的情况下检测操作工具14与显示单元13的表面之间的距离的装置。这种距离例如可以用光学方式来检测或者可以基于由操作工具14的靠近引起的电容变化来检测。由距离传感器120检测到的距离输入到滤波器单元117。

(滤波器单元117)

如上所述，滤波器单元117根据由状态检测单元115计算出的所应用抵消强度、经由用户输入单元116输入的滤波器强度、以及为每个层设定的加权系数来选择滤波器的抽头长度。然后，滤波器单元117根据通过使运动数据经过具有所选抽头长度的滤波器而获得的滤波器应用后数据来计算校正量。此外，与上述的修改例一样，根据为每个层设定的衰减系数来执行校正量的衰减处理的配置也是可能的。根据此配置，实现了根据层的用途对所应用抵消强度的控制。

在本实施例中，将进一步考虑在考虑到由距离传感器120检测到的距离的同时控制抵消的应用强度的方法。最好从抵消的应用对象中排除诸如操作按钮之类的操作对象。这是因为用户基于显示单元13的位置来感知操作对象的位置并尝试使操作工具14更靠近操作对象。例如，如图19所示，如果在使操作工具14靠近显示单元13的表面时，由于应用抵消而移动了操作对象，则用户必须进行移动以用操作工具14来追随操作对象的运动。

从而，考虑到用户的可操作性，滤波器单元117执行控制，以使得包括操作对象的层的所应用抵消强度或校正量随着由距离传感器120输入的距离h变小而变小。例如，如图20所示，滤波器单元117执行控制，以使得加权系数或衰减系数随着距离h变小而变小。根据(A)的特性，所应用抵消强度或校正量根据距离h线性地变小。根据(B)的特性，所应用抵消强度或应用抵消根据距离h非线性地变小。另外，如图21所示，也可以设想一种方法，其执行控制以使得在距离h降到某个阈值Th以下时停止应用抵消。

如上所述，根据本实施例的滤波器单元117具有根据操作工具14与显示单元13之间的距离h来控制所应用抵消强度的功能。具有这种功能使得能够在例如使用诸如触摸面板之类的要利用显示单元13上显示的操作对象来操作的装置的情况下大幅改善用户的可操作性。

[2-2：所应用抵消强度的调整方法]

这里，将参考图19至21来描述根据本实施例的所应用抵消强度的调整方法。作为所应用抵消强度的调整方法，有调整加权系数的方法和调整衰减系数的方法。以下，将描述每种方法。

(调整加权系数的方法)

与上述第一实施例一样，通过把与包括操作对象的层相对应的加权系数设定到0.0并且不对该层应用抵消，可以改善用户的可操作性。然而，如果不应用抵消，则用户对该层中包括的显示内容的观看将会较差。例如，操作对象上显示的文字的可见性将会较差。从而，执行如下控制即可：不是始终不对包括操作对象的层应用抵消，而是在用户操作时不对包括作为操作目标的操作对象的层应用抵消。

如上所述，加权系数是用来乘以由状态检测单元115计算出的所应用抵消强度的参数。另外，在选择滤波器的抽头长度(相当于抵消的强度)时使用所应用抵消强度。从而，可以通过根据由距离传感器120检测到的距离h调整加权系数来调整抵消的强度。例如，距离h变得越小，加权系数就被设定得越小，如图20所示。根据这种设定，操作工具14越靠近显示单元13，对包括操作对象的层的抵消的强度就变得越弱。此外，加权系数与距离h之间的关系可如图21所示那样设定。

(调整衰减系数的方法)

与调整加权系数的情况类似，也可以通过调整衰减系数来根据距离h调整抵消的强度。如上所述，指示抵消强度的校正量被乘以衰减系数。即，操作工具14越靠近显示单元13，对包括操作对象的层的抵消的强度就变得越弱。例如，距离h变得越小，衰减系数就被设定得越小，如图20所示。另外，衰减系数与距离h之间的关系可如图21所示那样设定。

通过使用这种方法，在例如使用诸如触摸面板之类的要利用显示单元13上显示的操作对象来操作的装置的情况下，可以改善用户的观看和可操作性。

<3：第三实施例>

接下来，将描述第三实施例。本实施例涉及根据三维虚拟空间的透视的深度(深度)来确定滤波器强度的方法。

[3-1：便携设备10的功能配置]

首先，将参考图22来描述根据本实施例的便携设备10的功能配置。图22是示出根据本实施例的便携设备10的功能配置的说明图。此外，用相同的标号来标示具有与上述根据第一实施例的便携设备10的结构元件基本相同的功能的结构元件，并且将省略对这些结构元件的详细说明。

如图22所示，便携设备10主要包括图像稳定化模块11、复用单元12和显示单元13。图像稳定化模块11是用于减轻显示图像相对于用户视点的振动的装置。复用单元12是用于复用多个层并且创建显示图像的装置。显示单元13是用于显示由复用单元12创建的显示图像的装置。根据本实施例的便携设备10的特征主要在于图像稳定化模块11的配置。从而，在下文中，将更详细描述图像稳定化模块11的配置。

如图22所示，图像稳定化模块11主要包括图像数据获取单元111、运动传感器112、坐标变换单元113、FIFO缓冲器114和状态检测单元115。另外，图像稳定化模块11包括用户输入单元116、滤波器单元117、校正向量生成单元118、运动补偿单元119、虚拟空间获取单元121和虚拟相机呈现单元122。与上述根据第一实施例的图像稳定化模块11的主要差异在于虚拟空间获取单元121和虚拟相机呈现单元122的存在。另外，它们的存在改变了滤波器单元117和校正向量生成单元118的功能。

在除了由图像数据获取单元111获取的二维平面帧的群组以外，由3DCG描绘的画面也被包括作为呈现对象的情况下，虚拟空间获取单元121获取由3DCG描绘的画面的数据(以下称为3D数据)。然后，由虚拟空间获取单元121获取的3D数据被输入到虚拟相机呈现单元122和滤波器单元117。滤波器单元117基于由虚拟空间获取单元121获取的3D数据，计算拍摄三维虚拟空间的虚拟相机的位置和角度的校正量。然后，由滤波器单元117计算出的校正量被输入到校正向量生成单元118。

当滤波器单元117输入校正量时，校正向量生成单元118为二维平面帧的群组计算校正矩阵V，并且还基于虚拟相机的位置和角度的校正量来生成视图矩阵。由校正向量生成单元118生成的视图矩阵被输入到虚拟相机呈现单元122。虚拟相机呈现单元122使用由校正向量生成单元118输入的视图矩阵，并且呈现由虚拟空间获取单元121输入的3D数据。然后，虚拟相机呈现单元122进行的呈现的结果被输入到复用单元12。

以上，已经描述了便携设备10的功能配置。

[3-2：校正量的调整方法]

这里，将参考图23至27来描述由滤波器单元117调整与虚拟相机的位置和角度有关的校正量的方法。如上所述，在3DCG的情况下，所呈现的图像数据不被校正，而是在呈现之前，虚拟相机的位置和角度被作为校正对象。然后，当由虚拟相机捕捉的三维空间的视图被呈现单元122呈现为二维图像时，这个所呈现的图像数据可被复用单元12与其他二维图像层组合。从而，被复用来创建显示图像的层中的一层或多层可表示被呈现来产生该层的三维空间。此外，在对所呈现的图像数据进行校正的情况下，所呈现的图像数据可被认为是一个平面层并且可在呈现后被校正，其方法与上述第一实施例的方法相同。

现在，根据虚拟空间的透视方向上的距离(以下称为深度)来调整虚拟相机的位置和角度的校正量。例如，如图23所示，深度变得越大，就使校正系数越小。这里，校正系数是用来乘校正量的参数。即，校正系数变得越大，校正量就变得越大并且抵消强度就变得越大。在图23和24的示例中，校正系数随着深度变大而变小，并且当到达最深部分(虚拟空间的消失点)时，校正系数变成0.0。即，此示例是这样一种方法：根据该方法，即使如图25所示便携设备10发生了移动，消失点相对于用户的视点也是静止的，如图26所示。

例如，在诸如赛车游戏之类的消失点被设定在无穷远处的游戏的情况下，希望在无穷远处没有相对于用户视点的运动。在这种情况下，通过设定如图24所示的校正系数的特性，可以使与无穷远相对应的消失点相对于用户视点静止。此外，利用图23和24所示的设定，加强了三维虚拟空间的真实感，并且可向用户赋予3D效果的深刻印象。此外，如图27所示，也有一种方法，其使深度最小的画面最前方相对于用户视点静止并且对消失点应用最强抵消。根据实施例的模式，也可适当地采用这种方法。

以上，已经描述了第三实施例。

<4：硬件配置>

以上所述的便携设备10的每个结构元件的功能可利用例如图28所示的信息处理装置的硬件配置来实现。即，每个结构元件的功能可通过利用计算机程序控制图28所示的硬件来实现。此外，此硬件的模式是任意的，并且可以是个人计算机、移动信息终端(比如移动电话、PHS或PDA)、游戏机或者各类信息家电。而且，PHS是个人手持电话系统的缩写。另外，PDA是个人数字助理的缩写。

如图28所示，此硬件主要包括CPU 902、ROM 904、RAM 906、主机总线908以及桥接器910。另外，此硬件包括外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱动器922、连接端口924以及通信单元926。而且，CPU是中央处理单元的缩写。另外，ROM是只读存储器的缩写。此外，RAM是随机访问存储器的缩写。

CPU 902例如充当运算处理单元或控制单元，并且基于记录在ROM904、RAM 906、存储单元920或可移除记录介质928上的各种程序来控制每个结构元件的全部操作或一部分操作。ROM 904是用于存储例如要加载到CPU 902上的程序或者在运算操作中要使用的数据等等的装置。RAM 906临时或永久地存储例如要加载到CPU 902上的程序或者程序执行中任意改变的各种参数等等。

这些结构元件例如通过能够执行高速数据传输的主机总线908相互连接。就其本身而言，主机总线908例如通过桥接器910连接到数据传输速度相对较低的外部总线912。另外，输入单元916例如是鼠标、键盘、触摸面板、按钮、开关或控制杆。另外，输入单元916可以是能够利用红外线或其他无线电波来发送控制信号的遥控器。

输出单元918例如是能够从视觉上或听觉上将所获取的信息通知给用户的显示装置(比如CRT、LCD、PDP或ELD)、音频输出装置(比如扬声器或耳机)、打印机、移动电话、或者传真机。而且，CRT是阴极射线管的缩写。LCD是液晶显示器的缩写。PDP是等离子显示面板的缩写。另外，ELD是电致发光显示器的缩写。

存储单元920是用于存储各种数据的装置。存储单元920例如是磁存储装置(比如硬盘驱动器(HDD))、半导体存储装置、光存储装置、或者磁光存储装置。HDD是硬盘驱动器的缩写。

驱动器922是读取可移除记录介质928(例如磁盘、光盘、磁光盘或半导体存储器)上记录的信息或者在可移除记录介质928中写入信息的装置。可移除记录介质928例如是DVD介质、蓝光介质、HD-DVD介质、各类半导体存储介质，等等。当然，可移除记录介质928例如可以是其上安装有非接触式IC芯片的IC卡或电子装置。IC是集成电路的缩写。

连接端口924是一个端口，例如USB端口、IEEE1394端口、SCSI、RS-232C端口、或者用于连接外部连接装置930(比如光音频端子)的端口。外部连接装置930例如是打印机、移动音乐播放器、数码相机、数码摄像机、或者IC记录器。而且，USB是通用串行总线的缩写。另外，SCSI是小型计算机系统接口的缩写。

通信单元926是要连接到网络932的通信装置，并且例如是用于有线或无线LAN、蓝牙(注册商标)或WUSB的通信卡、光通信路由器、ADSL路由器、或者各种通信调制解调器。连接到通信单元926的网络932是由有线连接的或无线连接的网络构成的，并且例如是因特网、家用LAN、红外通信、可见光通信、广播或者卫星通信。而且，LAN是局域网的缩写。另外，WUSB是无线USB的缩写。此外，ADSL是非对称数字订户线的缩写。

<5：总结>

这里所述的技术内容可应用到各种信息处理装置，例如个人计算机、移动电话、便携式游戏机、便携式信息终端、信息家电、车辆导航系统，等等。

上述信息处理装置的功能配置可如下来表述。此信息处理装置由以下所述的振动传感器、图像数据获取单元、图像数据显示单元和运动校正单元构成。振动传感器用于从时间系列运动数据检测振动。另外，图像数据获取单元用于获取由多个层形成的图像数据。另外，图像数据显示单元用于显示由图像数据获取单元获取的图像数据。

另外，运动校正单元用于根据按照形成所述图像数据的每个层的类型的程度来对所述图像数据获取单元执行控制，以在抵消由所述振动传感器检测到的振动的方向上移动所述每个层。例如，运动校正单元对包括操作对象的层减小抵消强度，并且对于包括主画面的层增大抵消强度。通过如上所述根据层的类型改变抵消的强度，可以使用户的观看和可操作性相互兼容。

(注释)

状态检测单元115、滤波器单元117、校正向量生成单元118和运动补偿单元119是运动校正单元的示例。另外，距离传感器120是触摸传感器的示例。图像稳定化模块11是图像稳定化装置的示例。

一些实施例可包括编码有一个或多个程序(包括多个指令)的一计算机可读存储介质(或多个计算机可读介质)(例如计算机存储器、一个或多个软盘、压缩盘(CD)、光盘、数字视频盘(DVD)、磁带、闪存、现场可编程门阵列或其他半导体器件中的电路配置、或者其他有形计算机存储介质)，所述程序当在一个或多个计算机或其他处理器上运行时，执行实现上述各种实施例的方法。从前述示例可见，计算机可读存储介质可将信息保存足够长的时间，以提供非暂态形式的计算机可运行指令。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于权利要求或其等同物的范围之内即可。

在权利要求中使用诸如“第一”、“第二”、“第三”等等之类的序数词修饰一权利要求要素不是自动意味着一个权利要求要素相对于另一权利要求要素的任何优先、居先或顺序，或者执行方法的动作的时间顺序。这种序数词只是用作区分具有某个名称的权利要求要素与具有相同名称(如果没有序数词的话)的另一要素以便区分这些权利要求要素。

另外，这里使用的措辞和术语是用于描述的，而不应当被认为是限制性的。这里使用“包括”、“具有”、“包含”、“涉及”及其变体是想要涵盖其后列出的项目及其等同物，以及额外的项目。

本申请包含与2010年6月8日向日本专利局提交的日本优先权专利申请JP2010-131342中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。

Claims (20)

1.一种装置，包括：

显示控制单元，被配置为使图像数据被显示，所述图像数据包括一个或多个帧，所述一个或多个帧中的第一帧包括多个层；以及

运动校正单元，被配置为处理所述多个层以针对检测到的运动进行校正，所述处理包括向所述多个层中的第一层应用与所述多个层中的第二层不同程度的运动校正。

2.如权利要求1所述的装置，其中，所述运动校正包括使各个层在与检测到的运动相反的方向上移动。

3.如权利要求2所述的装置，其中，所述处理包括确定用来移动所述多个层中的一层或多层的校正量，其中为所述第一层确定与所述第二层不同的校正量。

4.如权利要求3所述的装置，其中，确定校正量包括为所述第一帧确定基本校正量，并且对于所述第一层用与所述第二层不同的系数来调整所述基本校正量。

5.如权利要求3所述的装置，其中，确定校正量包括对于所述多个层中的一层或多层，向检测到的运动数据应用滤波器，其中对于所述第一层应用与所述第二层不同的滤波器。

6.如权利要求5所述的装置，其中，对于所述第一层应用的滤波器具有与对于所述第二层应用的滤波器不同数目的抽头。

7.如权利要求5所述的装置，其中，检测到的运动数据包括至少一个预测的运动样本。

8.如权利要求1所述的装置，其中，所述第一层和所述第二层是不同类型的，并且所述处理包括基于所述第一层和第二层的类型来确定要向所述第一层和第二层的每一个应用的运动校正的程度。

9.如权利要求8所述的装置，其中，所述第一层是主画面型层，并且所述第二层是覆盖型层，其中所述处理包括向所述第一层应用比所述第二层更大程度的运动校正。

10.如权利要求9所述的装置，其中，所述主画面型层包括文本显示画面和/或游戏主画面，并且所述覆盖型层包括对得分的显示。

11.如权利要求1所述的装置，其中，所述第二层包括操作对象。

12.如权利要求11所述的装置，其中，所述处理包括不向所述第二层应用运动校正。

13.如权利要求11所述的装置，其中，所述装置还包括距离传感器，该距离传感器被配置为检测操作工具与显示所述图像数据的显示单元之间的距离，并且所述处理包括基于检测到的距离来调整应用到所述第二层的运动校正的程度。

14.如权利要求13所述的装置，其中，所述处理包括随着检测到的距离减小而减小应用到所述第二层的运动校正的程度。

15.如权利要求1所述的装置，其中，所述第一层表示三维虚拟空间，并且所述处理包括调整拍摄所述三维虚拟空间的虚拟相机的位置和/或角度以针对检测到的运动进行校正。

16.如权利要求15所述的装置，其中，所述处理包括基于所述三维虚拟空间的深度来调整所述虚拟相机的位置和/或角度。

17.如权利要求16所述的装置，其中，调整所述虚拟相机的位置和/或角度包括向检测到的运动数据应用滤波器，其中应用滤波器包括基于所述三维虚拟空间的深度来确定所述滤波器的强度。

18.如权利要求16所述的装置，其中，所述处理包括调整所述虚拟空间的位置和/或深度以使得在所述三维虚拟空间的所呈现图像中所得到的校正随着所述深度增大而减小。

19.一种方法，包括：

检测被配置为显示图像数据的装置的运动，所述图像数据包括一个或多个帧，所述一个或多个帧中的第一帧包括多个层；以及

处理所述多个层以针对检测到的运动进行校正，所述处理包括向所述多个层中的第一层应用与所述多个层中的第二层不同程度的运动校正。

20.编码有多个计算机可运行指令的至少一个计算机可读存储介质，所述指令在被运行时执行一种方法，该方法包括：

检测被配置为显示图像数据的装置的运动，所述图像数据包括一个或多个帧，所述一个或多个帧中的第一帧包括多个层；以及

处理所述多个层以针对检测到的运动进行校正，所述处理包括向所述多个层中的第一层应用与所述多个层中的第二层不同程度的运动校正。

Images