CN102271220A - 图像稳定装置、图像稳定方法和程序 - Google Patents

Abstract

本发明提供一种图像稳定装置、图像稳定方法和程序。图像稳定装包括：运动传感器，用于检测运动数据；图像数据显示单元，用于显示图像数据；振动系数计算单元，用于基于运动传感器所检测的时序运动数据来计算指示振动强度的振动系数；以及运动校正单元，用于在振动系数计算单元所计算的振动系数变得小于预定的第一阈值的情况下，对图像数据显示单元执行控制，以使图像数据沿抵消振动的方向运动。

Description

图像稳定装置、图像稳定方法和程序

技术领域

本发明涉及图像稳定装置、图像稳定方法和程序。

背景技术

近年来，小型电子设备(以下称为便携式设备)，例如移动电话、便携式游戏机、便携式信息终端、笔记本计算机(以下称为笔记本PC)、便携式音乐播放器、数字视频相机和数字静止相机(以下称为图像拍摄装置)等已经得到广泛使用。这些便携式设备用在各种场所。例如，已经看到用户在运动的车辆上、在街角、在办公楼的等候室内、在家里的客厅内等等场所使用便携式设备。

就这点而言，随着便携式设备变得越来越小并且其便携性提高，使用场景也变得越来越多样化。然而，尽管便携性提高的效果使携带更方便，但是其并未提高对各种使用场景的适用性。例如，尽管便携式设备较小并因此易于携带到车辆上，但是在晃动的车辆上难以对其进行快速和精确的操作。因此，制造便携式设备的公司正在完善例如便携式设备的持握部分的结构或者操作方法的形式。

另外，还存在这样的问题：在晃动的车辆上或者在步行时，难以正确地感知便携式设备的显示装置上所显示的图像、文本等。也就是说，显示在显示装置上的图像、文本等由于便携式设备的振动而变得模糊，因此难以看到显示的内容。这样的图像、文本等的模糊会使用户的视神经非常疲劳。因此，已经开发出使图像、文本等沿抵消便携式设备的振动的方向运动，从而减少图像、文本等的模糊的技术。

关于上述技术，JP 2000-221954A公开了一种检测便携式设备的振动并使显示图像沿抵消该振动的方向运动的技术。该专利文献还公开了一种当显示图像运动时截除未显示在屏幕上的区域的技术。另外，该专利文献公开了一种利用加速计检测便携式设备的振动的技术。这里，该专利文献中所公开的技术是用于计算相位与便携式设备的振动的相位相反的振动，并将此振动与显示图像相加以抵消便携式设备的振动。

发明内容

然而，由于计算处理等，便携式设备的振动出现的时间与显示图像的运动补偿的时间之间存在延迟。因此，在便携式设备的振动较弱的情况下，便携式设备的振动的相位和给予显示图像的振动的相位将大致相反，但是在便携式设备的振动较强的情况下，振动的相位将不相反。在一些情况下，振动的相位彼此增强。结果，显示图像相对于用户注视点的振动增大，并且将使用户的视神经更疲劳。

例如，当在晃动的车辆上使用便携式设备时，便携式设备上可能出现细微的振动。因此，如果应用上述专利文献中的技术，则便携式设备的振动与为抵消上述振动而给予显示图像的振动之间将频繁发生相位间的不一致，因此显示图像相对于用户注视点的振动将进一步增大。另外，人的眼睛具有跟随观察目标的运动的功能。因此，即使显示图像相对于用户注视点并不完全静止，但是显示图像可被正确地观看。

根据上述分析，期望提供一种新颖的、改进的图像稳定装置、图像稳定方法和程序，其能够在便携式设备发生振动的情况下减少显示图像相对于用户注视点的振动，从而减轻用户的疲劳。

根据本发明的实施例，提供一种图像稳定装置，其包括：运动传感器，其用于检测运动数据；图像数据显示单元，其用于显示图像数据；振动系数计算单元，其用于基于所述运动传感器所检测的时序运动数据来计算指示振动强度的振动系数；以及运动校正单元，其用于在所述振动系数计算单元所计算的振动系数变得小于预定的第一阈值的情况下，对所述图像数据显示单元执行控制，以使图像数据沿抵消振动的方向运动。

在振动系数计算单元所计算的振动系数变得小于预定的第二阈值的情况下，运动校正单元可结束使图像数据沿抵消振动的方向运动的控制，所述第二阈值小于所述预定的第一阈值。

运动校正单元可在振动系数变得小于所述预定的第一阈值的情况下以振动抵消的程度逐渐增大的方式执行使图像数据运动的控制，并在振动系数接近所述预定的第二阈值的情况下以振动抵消的程度逐渐减小的方式执行使图像数据运动的控制。

图像稳定装置还可包括：运动估计单元，用于从运动传感器当前及过去所检测的运动数据估计将在下一时间点检测的运动数据；以及抵消程度确定单元，用于基于运动估计单元所估计的运动数据确定振动抵消的程度。在这种情况下，运动校正单元根据抵消程度确定单元所确定的振动抵消的程度来执行使图像数据运动的控制。

运动校正单元可执行使图像数据在显示图像数据中设定的受保护区域的范围内运动的控制。

图像稳定装置还可包括：最大运动量计算单元，用于基于显示图像数据的显示屏幕的框架位置与受保护区域的框架位置之间的关系来计算图像数据的最大运动量。在这种情况下，运动校正单元可执行使图像数据在不超过最大运动量计算单元所计算的最大运动量的范围内运动的控制。

所述图像数据可由多层形成。可针对每一层设定不同的用途。可针对每一层设定不同的振动抵消程度。在这种情况下，运动校正单元可根据针对每一层的用途设定的振动抵消程度来执行使形成图像数据的每一层运动的控制。

在振动系数计算单元所计算的振动系数小于所述预定的第一阈值的状态下经过预定时间的情况下，运动校正单元可在对图像数据执行缩放之后执行使图像数据沿抵消振动的方向运动的控制。

根据本发明的另一实施例，提供一种图像稳定方法，其包括步骤：检测运动数据；显示图像数据；基于检测步骤中所检测的时序运动数据来计算指示振动强度的振动系数；以及在计算步骤中所计算的振动系数变得小于预定的第一阈值的情况下，使在显示步骤中所显示的图像数据沿抵消振动的方向运动。

根据本发明的另一实施例，提供一种使计算机实现以下功能的程序：检测运动数据的运动传感器功能；显示图像数据的图像数据显示功能；基于所述运动传感器功能所检测的时序运动数据来计算指示振动强度的振动系数的振动系数计算功能；以及在所述振动系数计算功能所计算的振动系数变得小于预定的第一阈值的情况下，与所述图像数据显示功能相关地执行使图像数据沿抵消振动的方向运动的运动校正功能。

根据本发明的另一实施例，提供一种记录有所述程序的计算机可读记录介质。

根据上述本发明的实施例，在便携式设备发生振动的情况下，可减少显示图像相对于用户注视点的振动，从而减轻用户的疲劳。

附图说明

图1是描述根据本发明第一实施例的便携式设备的功能构造的说明图；

图2是描述形成根据该实施例的便携式设备的状态检测单元的操作的说明图；

图3是描述根据该实施例的所应用抵消强度的计算方法的说明图；

图4是描述根据该实施例的所应用抵消强度的计算方法的说明图；

图5是描述形成根据该实施例的便携式设备的滤波器单元的操作的说明图；

图6是描述根据该实施例的在应用振动抵消时所使用的校正量的计算方法的说明图；

图7是描述根据该实施例的在应用振动抵消时所使用的校正量的计算方法的说明图；

图8是示出FIR滤波器的示例电路构造的说明图；

图9是描述根据该实施例的在应用振动抵消时所考虑的受保护区域和最大屏幕运动量的设定方法的说明图；

图10是描述根据该实施例的在应用振动抵消时所考虑的受保护区域和最大屏幕运动量的设定方法的说明图；

图11是描述根据该实施例的运动补偿方法的说明图；

图12是描述根据该实施例的层复用方法的说明图；

图13是描述根据本发明第二实施例的便携式设备的功能构造的说明图；

图14是描述根据该实施例的滤波强度的确定方法的说明图；

图15是描述根据第三实施例的便携式设备的功能构造的说明图；

图16是描述根据该实施例的振动抵消方法的说明图；以及

图17是描述能够实现根据本发明第一至第三实施例的便携式设备的功能的硬件构造的说明图。

具体实施方式

以下，将参照附图详细描述本发明的优选实施例。需要注意的是，在该说明书和附图中，具有基本上相同的功能和结构的结构元件用相同附图标记指代，并将省略对这些结构元件的重复说明。

[描述流程]

这里将简要说明下面所描述的本发明的实施例的描述流程。

首先，将参照图1描述根据本发明第一实施例的便携式设备10的功能构造。接下来，将参照图2描述根据该实施例的状态检测单元115的操作。然后，将参照图3和图4描述根据该实施例的所应用抵消强度的计算方法。

接下来，将参照图5描述根据该实施例的滤波器单元117的操作。然后，将参照图6和图7描述根据该实施例的在应用振动抵消时所使用的校正量的计算方法。此时，将参照图8描述根据该实施例的在应用振动抵消时所使用的滤波器的例子。

接下来，将参照图9和图10描述根据该实施例的在应用振动抵消时所考虑的受保护区域和最大屏幕运动量的设定方法。另外，将参照图11描述根据该实施例的运动补偿方法。另外，将参照图12描述根据该实施例的层复用方法。

接下来，将参照图13描述根据本发明第二实施例的便携式设备10的功能构造。然后，将参照图14描述根据该实施例的滤波强度的确定方法。然后，将参照图15描述根据本发明第三实施例的便携式设备10的功能构造。然后，将参照图16描述根据该实施例的振动抵消的应用方法。

然后，将参照图17描述能够实现根据本发明第一至第三实施例的便携式设备10的功能的硬件的构造。最后，将总结本发明的技术构思并将简要描述该技术构思所获得的操作效果。

(描述项目)

1：第一实施例

1-1：便携式设备10的功能构造

1-2：状态检测单元115的操作

1-2-1：处理流程

1-2-2：振动系数的计算方法

1-2-3：所应用抵消强度的计算方法

1-3：滤波器单元117的操作

1-3-1：处理流程

1-3-2：预测值的计算

1-3-3：校正量的计算

1-3-4：受保护区域和最大屏幕运动量的确定方法

2：第二实施例

2-1：便携式设备10的功能构造

2-2：滤波强度的确定方法

3：第三实施例

3-1：便携式设备10的功能构造

4：硬件构造

5：总结

<1：第一实施例>

将描述本发明的第一实施例。本实施例涉及一种在便携式设备10上引起振动的情况下减少显示图像相对于用户注视点发生的振动的方法。需要注意的是，此方法不是为了使显示图像相对于用户注视点“静止”，而是为了“减少”显示图像的振动以减轻用户的疲劳。

[1-1：便携式设备10的功能构造]

首先，将参照图1描述根据本实施例的便携式设备10的功能构造。图1是描述根据本实施例的便携式设备10的功能构造的说明图。

如图1所示，便携式设备10主要包括图像稳定模块11、复用单元12、和显示单元13。图像稳定模块11是用于减少显示图像相对于用户注视点的振动的装置。复用单元12是用于将多个层复用并创建显示图像的装置。显示单元13是用于显示复用单元12所创建的显示图像的装置。根据本实施例的便携式设备10的特征主要在于图像稳定模块11的构造。因此，下面将更详细地描述图像稳定模块11的构造。

如图1所示，图像稳定模块11主要包括图像数据获取单元111、运动传感器112、坐标变换单元113、FIFO缓冲器114和状态检测单元115。另外，图像稳定模块11包括用户输入单元116、滤波器单元117、校正矢量生成单元118和运动补偿单元119。

(图像数据获取单元111)

图像数据获取单元111是用于获取图像数据的装置。例如，图像数据获取单元111获取时序帧组。顺便提一句，形成此帧组的帧可按照恒定的时间间隔(固定帧间隔)布置，或者可按照任意时间间隔(可变帧间隔)布置。另外，每一帧由多层构造。

另外，按重叠次序指示位置的编号以及用途信息与各层相关联。例如，编号0与顶层相关联，编号1与下一层相关联。另外，用途信息是用于指定层上所显示图像的用途的信息，例如菜单屏幕、视频屏幕、操作对象等。图像数据获取单元111所获取的图像数据被输入至运动补偿单元119。在以下说明中，每一帧或每一层有时可称为图像数据。

(运动传感器112)

运动传感器112是用于检测便携式设备10的运动的装置。例如，运动传感器112由六轴传感器、两轴传感器等构造而成。另外，六轴传感器是能够检测沿三个正交轴方向的加速度和绕三个正交轴的旋转的传感器。此外，两轴传感器是能够检测沿两个正交轴方向的加速度的传感器。在以下说明中，表明运动传感器112所检测的运动的数据将称为运动数据。

运动传感器112按照预定的采样周期输出运动数据。该采样周期与图像数据的帧频无关。另外，该采样频率可为固定频率，或可为可变频率。然而，根据采样定理，采样频率是为抵消便携式设备10的振动而使图像数据运动的频率的两倍或更多倍将是必要的。另外，从运动传感器112输出的运动数据被输入至坐标变换单元113。

(坐标变换单元113)

坐标变换单元113是用于将从运动传感器112输入的运动数据变换为可在稍后的阶段由滤波器单元117使用的数据格式的装置。例如，在运动传感器112为六轴传感器的情况下，获得包括重力加速度的运动数据。即，输入到坐标变换单元113的运动数据不完全是表示便携式设备10的运动的运动数据。因此，坐标变换单元113从运动传感器112所输入的运动数据中移除重力加速度分量，并生成表示便携式设备10的运动的运动数据。坐标变换单元113所生成的运动数据被输入至FIFO缓冲器114。

(FIFO缓冲器114)

FIFO缓冲器114是用于累积坐标变换单元113所输入的运动数据的装置。另外，在预定累积量已满的状态下输入了下一运动数据时，FIFO缓冲器114丢弃最早的运动数据。例如，该累积量被设定为一秒钟的数据量(例如，在帧频为30 fps的情况下，为三十帧)。FIFO缓冲器114中累积的运动数据被状态检测单元115和滤波器单元117读取。

(状态检测单元115)

状态检测单元115是用于计算所应用抵消强度的装置。另外，这里所应用抵消强度是指示对图像数据相对于用户注视点的振动的抵消强度的值。首先，状态检测单元115从FIFO缓冲器114获取运动数据(D_t，...，D_t+n)。另外，D_t为在时间t检测的运动数据。已获取运动数据(D_t，...，D_t+n)的状态检测单元115将运动数据(D_t，...，D_t+n)输入预定函数f，并计算振动系数s，如下面的公式(1)所示。

[等式1]

s＝f(D_t，..，D_t+n)                                       ...(1)

该函数f是用于对运动数据(D_t，...，D_t+n)所表示的运动的强度进行量化的变换公式。此外，振动系数s是表示运动数据(D_t，...，D_t+n)所表示的运动的强度的数值。例如，上述函数f是用于对运动数据(D_t，...D_t+n)进行正交变换并输出预定频域中的最大幅度值的变换公式。另外，作为正交变换的例子，可采用傅里叶变换等。

已以上述方式计算出振动系数s的状态检测单元115基于振动系数s计算所应用抵消强度。例如，在仅考虑两个状态(即，应用抵消的状态和不应用抵消的状态)的情况下，状态检测单元115基于振动系数s与两个T₁和T₂之间的比较结果来计算所应用抵消强度，如图3所示。另外，在应用抵消的状态下，所应用抵消强度为1.0。相反，在不应用抵消的状态下，所应用抵消强度为0.0。

如上所述，振动系数s较大的情况是便携式设备10的振动较强的状态。在便携式设备10的振动较强的情况下，如果使图像数据沿抵消振动的方向运动，则图像数据相对于用户注视点的振动没有减少，相反，图像数据相对于用户注视点的振动可能增大。另外，如果图像数据运动很大，则大部分图像区域将移出屏幕之外，图像数据的未显示区域将过大。因此，假设优选的是，在便携式设备10的振动较强的情况下不应用振动抵消。

在另一方面，振动系数s较小的情况是便携式设备10的振动较慢的状态。在便携式设备10的振动较慢的情况下，用户可跟随图像数据的运动而不会变得疲劳。因此，在振动系数s较小的情况下不需要抵消。

出于上述原因，如下优选地确定阈值T₁和T₂。例如，阈值T₁优选被确定为使得由振动系数s指示的振动的范围将为屏幕尺寸的约1％。即，阈值T₁优选被确定为使得图像数据相对于用户注视点的振动将是可忽略的值。另一方面，对于阈值T₂，由振动系数s指示的振动的范围优选为屏幕尺寸的约10％。即，其优选被确定为这样的值：根据该值，在已应用抵消的情况下，获得抵消的效果并且未显示区域没有过大。

另外，阈值T₁和T₂的数值不限于上述例子。此外，阈值T₁和T₂可为固定的值，或者它们可以是可变的。

上述所应用抵消强度的确定方法仅考虑两个状态，即应用抵消的状态和不应用抵消的状态。相比之下，根据振动系数s连续地确定所应用抵消强度的方法也是可以想到的。

例如，所应用抵消强度可由0.0至1.0之间的实数定义，如图4所示。在这种情况下，不应用抵消的状态被定义为所应用抵消强度为0.0的状态。另外，所应用抵消强度的特性通过如图4所示的曲线或其他曲线或直线来表达。当然，根据振动系数s确定所应用抵消强度的特性曲线的形式不限于图4中的例子。另外，在以下描述中，将假设使用由连续值定义的所应用抵消强度的情况进行说明。

如上所述，状态检测单元115利用从FIFO缓冲器114读取的运动数据(D_t，...，D_t+n)针对运动传感器112的每一轴计算振动系数s，并基于振动系数s计算所应用抵消强度。由状态检测单元115以该方式计算的所应用抵消强度被输入至滤波器单元117。

(用户输入单元116)

用户输入单元116是便于用户输入各种类型的数据的装置。

(滤波器单元117)

滤波器单元117是用于计算为抵消图像数据相对于用户注视点的振动而使图像数据运动的量(以下称为校正量)的装置。首先，滤波器单元117从FIFO缓冲器114读取运动数据(D_t，...，D_t+n)，并计算在下一帧的显示时间点t+n+1的运动数据D_t+n+1。此时，针对运动传感器112的每一轴计算运动数据D_t+n+1(预测值)。

另外，例如，运动数据D_t+n+1的计算方法可以是如图6所示使用两个相邻采样(D_t+n-1，D_t+n)的线性预测方法，或者是使用运动数据(D_t，...，D_t+n)的样条曲线的预测方法。

然后，滤波器单元117将包括预测值的运动数据(D_t，...，D_t+n，D_t+n+1)应用到预定滤波器。作为该滤波器，可使用具有低通特性或带通特性的滤波器，例如平均滤波器、双边滤波器等。例如，可使用图8所示的FIR滤波器。另外，滤波器单元117根据由状态检测单元115输入的所应用抵消强度，或者根据由用户经由用户输入单元116输入的滤波强度，来改变滤波器的抽头长度。

例如，在所应用抵消强度较强的情况下，滤波器单元117增大滤波器的抽头长度。另一方面，在所应用抵消强度较弱的情况下，滤波器单元117减小滤波器的抽头长度。此外，在用户所输入的滤波强度较强的情况下，滤波器单元117增大滤波器的抽头长度。另一方面，在用户所输入的滤波强度较弱的情况下，滤波器单元117减小滤波器的抽头长度。例如，滤波器单元117将标准抽头长度确定为三十个采样等，并根据所应用抵消强度增大或减小与标准抽头长度有关的抽头长度。

已应用了包括预测值的运动数据(D_t，...，D_t+n，D_t+n+1)的滤波器的输出值将作为应用滤波后的插值线，如图7所示。另外，在下面的说明中，应用滤波后的插值线上的值将称为应用滤波后数据。已获得应用滤波后数据的滤波器单元117将下一帧的显示时间点t+n+1的应用滤波后数据与预测值D_t+n+1之间的差值设定为校正量。此外，滤波器单元117将校正量的单位从运动数据单位(英寸等)转换为图像数据单位(像素)。以该方式以图像数据单位获得每一轴的校正量。

接下来，滤波器单元117计算图像数据可在屏幕上运动的最大距离值(以下称为最大屏幕运动量)。如图9所示，例如，根据针对图像数据设定的受保护区域与图像框架的位置之间的关系来计算最大屏幕运动量。受保护区域是预先设定的区域，作为图像数据中肯定会被显示的区域。在这种情况下，根据受保护区域的边界与图像框架之间的距离来确定最大屏幕运动量。

在以上述方式计算出最大屏幕运动量之后，滤波器单元117针对每一轴的方向比较校正量和最大屏幕运动量。然后，在校正量大于最大屏幕运动量的情况下，滤波器单元117重新设定校正量以使得校正量将为最大屏幕运动量。通过以该方式重新设定校正量，即使图像数据基于校正量而运动，受保护区域也将肯定显示在屏幕内，如图9所示。

另外，如图10所示，滤波器单元117可设定最大屏幕运动量，使得图像数据总是显示在整个屏幕上。图10所示的图像数据大于屏幕尺寸。在这种情况下，即使图像数据运动了如图10所示的最大屏幕运动量A，图像数据也显示在整个屏幕上。即，为了使图像数据总是显示在整个屏幕上，最大屏幕运动量可被设定为图10所示的最大屏幕运动量A。另一方面，为了总是显示受保护区域，最大屏幕运动量可被设定为图10所示的最大屏幕运动量B。

如上所述，由滤波器单元117计算的校正量或基于最大屏幕运动量重新设定的校正量被输入至校正矢量生成单元118。顺便提一句，在上述说明中，使用了图像数据的校正量和图像数据的最大屏幕运动量这样的表达，但是上述处理可针对每一层进行。即，针对每一层设定受保护区域，或者针对每一层计算最大屏幕运动量，并且针对每一层设定校正量。然后，针对每一层设定的校正量从滤波器单元117输入至校正矢量生成单元118。

(校正矢量生成单元118，运动补偿单元119)

校正矢量生成单元118是利用从滤波器单元117输入的校正量生成用于校正层的位置的校正矢量的装置。该校正矢量是用于通过运动补偿将应用抵消之前的层变换为应用抵消之后的层的变换手段。当取形成应用抵消之前的层的每一像素的坐标为X，取应用抵消之后的每一像素的坐标为X’时，坐标X’利用下面的公式(2)至(7)来表示。顺便提一句，参数(h、v、θ、p、h_c、v_c)是与滤波器单元117所输入的每一轴的校正量有关的参数。

[等式2]

X′＝C^-1P^-1MPCX                      ...(2)

$X=\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)...\left(3\right)$

$X^{\&prime;}=\left(\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right)...\left(4\right)$

$M=\left(\begin{array}{ccc}1& 0& h\\ 0& 1& v\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& 0\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ 0& 0& 1\end{array}\right)...\left(5\right)$

$P=\left(\begin{array}{ccc}p& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)...\left(6\right)$

$C=\left(\begin{array}{ccc}1& 0& {-h}_c\\ 0& 1& -v_c\\ 0& 0& 1\end{array}\right)...\left(7\right)$

校正矢量生成单元118利用上面的公式(2)至(7)，从滤波器单元117所输入的每一轴的校正量来计算参数(h、v、θ、p、h_c、v_c)，并将由下面的公式(8)表示的校正矩阵V输入至运动补偿单元119。运动补偿单元119利用校正矢量生成单元118所输入的校正矩阵V对层执行运动补偿。例如，如图11所示，运动补偿单元119利用线性插值以低于整数像素的精度执行运动补偿。已经由运动补偿单元119进行了运动补偿的层被输入至复用单元12。

[等式3]

V＝C^-1P^-1MPC    ...(8)

前面已经详细描述了图像稳定模块11的构造。从运动补偿单元119输入至复用单元12的层组被α混合(Alpha Blended)，并复用为一帧，如图12所示。顺便提一句，假设α值(指示透明度的参数)针对每一层逐像素地或逐层地设定。然后，由复用单元12获得的一帧被显示在显示单元13上。

前面已经描述了根据本实施例的便携式设备10的功能构造。

[1-2：状态检测单元115的操作]

接下来，将参照图2补充说明状态检测单元115的操作。图2是描述状态检测单元115的处理流程的说明图。

(1-2-1：处理流程)

如图2所示，状态检测单元115从FIFO缓冲器114获取运动数据(S101)。然后，状态检测单元115基于在步骤S101中获取的运动数据计算振动系数(S102)。接下来，状态检测单元115基于在步骤S102中计算出的振动系数计算所应用抵消强度(S103)。

(1-2-2：振动系数的计算方法)

这里将描述步骤S102中的振动系数s的计算方法。另外，假设在步骤S101中由状态检测单元115获取运动数据(D_t，...，D_t+n)。振动系数是表示运动数据(D_t，...，D_t+n)所表示的运动的强度的数值。运动强度可由高频分量的强度表示。因此，状态检测单元115对运动数据(D_t，...，D_t+n)进行傅里叶变换并计算频率数据，并使用高频分量的幅度。例如，状态检测单元115计算在频率数据中预定频域中的最大幅度值，作为振动系数s。

(1-2-3：所应用抵消强度的计算方法)

接下来，将描述步骤S103中的所应用抵消强度的计算方法。

(仅考虑两个状态的情况)

如图3所示，在仅考虑两个状态(即，应用抵消的状态和不应用抵消的状态)的情况下，状态检测单元115基于振动系数s与两个阈值T₁和T₂之间的比较结果来计算所应用抵消强度。另外，在应用抵消的状态下，所应用抵消强度为1.0。另一方面，在不应用抵消的状态下，所应用抵消强度为0.0。

如上所述，在振动系数s较大的情况下，便携式设备10的振动较强。在便携式设备10的振动较强的情况下，如果图像数据沿抵消振动的方向运动，则图像数据相对于用户注视点的振动没有减少，相反，由于计算处理等所导致的延迟，图像数据相对于用户注视点的振动可能增大。另外，如果图像数据运动很大，则大部分图像区域将移出屏幕之外，图像数据的未显示区域将过大。因此，优选的是，在便携式设备10的振动较强的情况下不应用振动抵消。

在另一方面，在振动系数s较小的情况下，便携式设备10的振动较慢。在便携式设备10的振动较慢的情况下，用户可跟随图像数据的运动而不会变得疲劳。因此，在振动系数s较小的情况下不需要抵消。

出于上述原因，如下优选地确定阈值T₁和T₂。例如，对于阈值T₁，由振动系数s指示的振动的范围为屏幕尺寸的约1％。即，阈值T₁被设定为这样的值：根据该值，图像数据相对于用户注视点的振动将是可忽略的。另一方面，对于阈值T₂，由振动系数s指示的振动的范围为屏幕尺寸的约10％。即，其被设定为这样的值：根据该值，在已应用抵消的情况下，获得抵消的效果并且未显示区域没有过大。另外，阈值T₁和T₂的数值不限于上述例子。此外，阈值T₁和T₂可为固定的值，或者它们可以是可变的。

(所应用抵消强度为连续值的情况)

另外，根据振动系数s连续地确定所应用抵消强度的方法也是可以想到的。例如，所应用抵消强度可由0.0至1.0之间的实数定义，如图4所示。此时，不应用抵消的状态被定义为所应用抵消强度为0.0的状态。根据图4所示的所应用抵消强度的特性曲线，所应用抵消强度随着振动系数s的增大而平滑地增大或减小。但是，所应用抵消强度的特性不限于此。例如，其可为这样的特性：根据该特性，所应用抵消强度从振动系数s₁开始线性增大，在振动系数s₂(s₂＞s₁)处到达所应用抵消强度1.0之后，从振动系数s₃(s₃＞s₂)开始线性减小。

上面已经描述了状态检测单元115的操作。

[1-3：滤波器单元117的操作]

接下来，将参照图5补充说明滤波器单元117的操作。图5是描述滤波器单元的处理流程的说明图。

(1-3-1：处理流程)

如图5所示，滤波器单元117基于从FIFO缓冲器114读取的运动数据预测下一帧的显示时间点处的运动数据(预测值；参见图6)(S111)。接下来，滤波器单元117将包括预测值的运动数据应用到预定滤波器，并计算应用抵消后的预测值(S112)。然后，滤波器单元117从应用抵消后的预测值中减去应用滤波前的预测值，并计算校正量(参见图7)(S113)。

然后，滤波器单元117将校正量的单位从运动数据单位(英寸等)转换为图像数据单位(像素)(S114)。接下来，滤波器单元117基于如图9或图10所示的最大屏幕运动量重新设定校正量(剪辑处理)(S115)。例如，在校正量大于最大屏幕运动量的情况下，最大屏幕运动量被设定为新的校正量，在校正量不大于最大屏幕运动量的情况下，维持步骤S114中计算的校正量。

(1-3-2：预测值的计算)

这里将描述步骤S111的预测值的计算方法。

作为预测值的计算方法，有例如使用两个相邻采样(D_t+n-1，D_t+n)的线性预测方法，如图6所示。根据该方法，连接两个相邻采样(D_t+n-1，D_t+n)的直线被延伸，预测下一帧的显示时间点t+n+1的运动数据D_t+n+1。

另外，作为预测值的计算方法，例如使用运动数据(D_t，...，D_t+n)的样条曲线的预测方法也是可以想到的。根据该方法，计算基于运动数据(D_t，...，D_t+n)的样条曲线，通过将样条曲线延伸至下一帧的显示时间点t+n+1来预测运动数据D_t+n+1。

(1-3-3：校正量的计算)

接下来，将描述步骤S112和S113的校正量的计算方法。

在计算校正量时，首先如图7所示计算应用滤波后的插值线。该应用滤波后的插值线是已应用到包括预测值的运动数据(D_t，...，D_t+nD_t+n+1)的滤波器的输出值。应用滤波后的插值线对应于图像数据相对于用户注视点的振动被抑制的振动状态。即，下一帧的显示时间点t+n+1处的应用滤波后数据对应于应用抵消后将获得的运动数据的预测值。因此，已获得应用滤波后数据的滤波器单元117将下一帧的显示时间点t+n+1处的应用滤波后数据与预测值D_t+n+1之间的差值设定为校正量。

(1-3-4：受保护区域和最大屏幕运动量的确定方法)

接下来，参照图9和图10，将与步骤S115的剪辑处理相关地描述图像数据的受保护区域和最大屏幕运动量的确定方法。

(用于保护受保护区域的配置)

图像数据包括期望被显示在屏幕内的区域。因此，此区域将被设定为受保护区域。例如，在便携式设备10为电子书阅读器(eBookReader)的情况下，正文所在的区域等被设定为受保护区域。此外，在便携式设备10为便携式游戏机的情况下，显示用户所扮演的主要角色的区域等被设定为受保护区域。为了在屏幕内显示受保护区域，如果在应用振动抵消之后受保护区域的边界与图像框架之间的距离为0或更大就可以了。因此，如果受保护区域的边界与当前图像框架之间的距离被设定为最大屏幕运动量就可以了。此外，如果校正量不超过最大屏幕运动量就可以了。因此，在校正量超过最大屏幕运动量的情况下，滤波器单元117将校正量重新设定为最大屏幕运动量。

(用于在整个屏幕上显示图像数据的配置)

可能存在比屏幕尺寸大的图像数据。例如，游戏的背景图像等有时被设定为比屏幕尺寸大。此外，有时期望图像数据被显示在整个屏幕上。在这种情况下，最大屏幕运动量不是由受保护区域的边界与图像框架之间的距离确定，而是由图像数据的边界与图像框架之间的距离确定。如图10所示，如果最大屏幕运动量由受保护区域的边界与图像框架之间的距离确定，则最大屏幕运动量将为B。另一方面，如果最大屏幕运动量由图像数据的边界与图像框架之间的距离确定，则最大屏幕运动量将为A。

如果基于最大屏幕运动量B应用振动抵消，则屏幕的一部分中可能包括没有显示图像数据的区域。相反，当基于最大屏幕运动量A应用振动抵消时，将不可能在屏幕的一部分中包括不显示图像数据的区域。因此，在图像数据期望被显示在整个屏幕上的情况下，最大屏幕运动量被确定为A。然后，如果校正量大于该最大屏幕运动量A，则校正量基于最大屏幕运动量A重新设定。通过以该方式确定最大屏幕运动量，变得可以在将图像数据显示在整个屏幕上的同时应用振动抵消。

前面已经描述了滤波器单元117的操作。

前面已经描述了本发明的第一实施例。本实施例的特征在于基于振动系数s计算所应用抵消强度并基于所应用抵消强度执行振动抵消的方法。通过采用该方法，即使便携式设备10由于手的振动等而运动，也可减轻用户的疲劳。

<2：第二实施例>

接下来，将描述本发明的第二实施例。本实施例涉及一种根据层的用途确定滤波强度的方法。

[2-1：便携式设备10的功能构造]

首先，将参照图13描述根据本实施例的便携式设备10的功能构造。图13是描述根据本实施例的便携式设备10的功能构造的说明图。另外，与根据第一实施例的便携式设备10具有基本上相同功能的那些结构元件将用相同参考附图标记指代，这些结构元件的详细说明将省略。

如图13所示，便携式设备10主要包括图像稳定模块11、复用单元12和显示单元13。图像稳定模块11是用于减少显示图像相对于用户注视点的振动的装置。复用单元12是用于复用多个层并创建显示图像的装置。显示单元13是用于显示复用单元12所创建的显示图像的装置。根据本实施例的便携式设备10特征主要在于图像稳定模块11的构造。因此，在以下描述中，将更详细地描述图像稳定模块11的构造。

如图13所示，图像稳定模块11主要包括图像数据获取单元111、运动传感器112、坐标变换单元113、FIFO缓冲器114和状态检测单元115。另外，图像稳定模块11包括用户输入单元116、滤波器单元117、校正矢量生成单元118、运动补偿单元119和内容信息分析单元120。与上面根据第一实施例的图像稳定模块11的主要不同在于存在内容信息分析单元120。因此，将详细描述内容信息分析单元120。

(内容信息分析单元120)

图像数据从图像数据获取单元111输入至内容信息分析单元120。当输入图像数据时，内容信息分析单元120分析输入的图像数据，并识别形成图像数据的每一层的用途。然后，内容信息分析单元120根据识别出的层用途为每一层分配滤波强度加权系数，并将分配的滤波强度加权系数输入至滤波器单元117。预先针对每一用途设定滤波强度加权系数，如图14所示。此外，滤波强度加权系数在滤波器单元117确定滤波器的抽头长度时使用。例如，在滤波强度加权系数较大的情况下，滤波器的抽头长度被设定为较长，在滤波强度加权系数较小的情况下，滤波器的抽头长度被设定为较短。

前面已经描述了便携式设备10的功能构造。

[2-2：滤波强度的确定方法]

现在，将参照图14描述确定滤波强度的具体方法。图14是示出具体滤波强度加权系数的示例配置的说明图。

如上所述，根据本实施例，根据每一层的用途来确定滤波强度。图14所示的滤波强度加权系数的大小确定了此滤波强度。例如，针对用于视频的层设定滤波强度加权系数1。此外，针对用于文本的层设定滤波强度加权系数3。另外，针对用于属性信息显示的层设定滤波强度加权系数0。因此，在图14所示的设置的情况下，以相对于用户注视点有力地抵消振动的方式控制用于文本的层的运动。另一方面，对用于属性信息显示的层不应用抵消。这样，根据层的用途确定滤波强度，并控制抵消的应用强度。

前面已经描述了滤波强度的确定方法。

前面已经描述了本发明的第二实施例。在本实施例中，通过根据层的用途调节抵消的应用强度，可以针对期望有力地抑制其相对于用户注视点的振动的信息适当地控制振动抵消，并且可以针对期望跟随便携式设备10的运动的信息适当进行控制。结果，可改善用户的可视性。

<3：第三实施例>

接下来，将描述本发明的第三实施例。本实施例涉及一种在稍后描述的缩放状态和非缩放状态之间切换的方法。

[3-1：便携式设备10的功能构造]

首先，将参照图15描述根据本实施例的便携式设备10的功能构造。图15是描述根据本实施例的便携式设备10的功能构造的说明图。另外，与根据第一实施例的便携式设备10具有基本上相同功能的那些结构元件将用相同参考附图标记指代，这些结构元件的详细说明将省略。

如图15所示，便携式设备10主要包括图像稳定模块11、复用单元12和显示单元13。图像稳定模块11是用于减少显示图像相对于用户注视点的振动的装置。复用单元12是用于复用多个层并创建显示图像的装置。显示单元13是用于显示复用单元12所创建的显示图像的装置。根据本实施例的便携式设备10特征主要在于图像稳定模块11的构造。因此，在以下描述中，将更详细地描述图像稳定模块11的构造。

如图15所示，图像稳定模块11主要包括图像数据获取单元111、运动传感器112、坐标变换单元113、FIFO缓冲器114和状态检测单元115。另外，图像稳定模块11包括用户输入单元116、滤波器单元117、校正矢量生成单元118和运动补偿单元119。与上面根据第一实施例的图像稳定模块11的主要不同在于由状态检测单元115计算的所应用抵消强度被输入至校正矢量生成单元118以及校正矢量生成单元118的功能。因此，将详细描述校正矢量生成单元118的功能。

(校正矢量生成单元118)

如上所述，校正矢量生成单元118是利用滤波器单元117所输入的校正量生成用于校正层的位置的校正矢量的装置。上述根据第一实施例的校正矢量生成单元118利用指示旋转、平移、原点的运动、宽高比的转换等的矩阵M、P和C来表示校正矩阵V。另一方面，根据本实施例的校正矢量生成单元118在稍后描述的缩放状态和非缩放状态之间进行区分，并通过在其中包括下面的公式(9)所指示的矩阵S来表示校正矢量V，矩阵S指示缩放比例(参见下面的公式(10))。

[等式4]

$S=\left(\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right)...\left(9\right)$

V＝SC^-1P^-1MPC    ...(10)

上述缩放是利用上面的公式(10)所表示的校正矩阵V(已经应用了矩阵S)来执行运动补偿。另一方面，上述非缩放是利用上述根据第一实施例的校正矩阵V来执行运动补偿。以下面所述的方式来决定是否应用缩放。

首先，如图16所示，校正矢量生成单元118在特定时间段内累积由状态检测单元115输入的所应用抵消强度。接下来，校正矢量生成单元118确定在特定时间段内累积的所应用抵消强度中，超过阈值T₁的值的数量是否大于预定数量。当超过阈值T₁的所应用抵消强度的数量大于所述预定数量时，校正矢量生成单元118开始应用缩放。校正矢量生成单元118以类似的方式确定在特定时间段内累积的所应用抵消强度中，超过阈值T₂的值的数量是否大于预定数量。当超过阈值T₂的所应用抵消强度的数量小于所述预定数量时，校正矢量生成单元118结束应用缩放。

前面已经描述了便携式设备10的功能构造。

前面已经描述了第三实施例。通过采用本实施例的构造，可减小观看目标的运动，从而不引起用户疲劳，并且可改善可视性。

<4：硬件构造>

上述便携式设备10的每一结构元件的功能可利用例如图17所示的信息处理设备的硬件构造来实现。即，每一结构元件的功能可通过利用计算机程序控制图17所示的硬件来实现。另外，此硬件的模式为任意的，并且可以是个人计算机，诸如移动电话、PHS或PDA的移动信息终端，游戏机，或各种类型的信息设备。另外，PHS是个人手持电话系统的缩写。此外，PDA是个人数字助理的缩写。

如图17所示，该硬件主要包括CPU 902、ROM 904、RAM 906、主机总线908和桥910。另外，此硬件包括外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱动器922、连接端口924和通信单元926。另外，CPU是中央处理单元的缩写。此外，ROM是只读存储器的缩写。另外，RAM是随机存取存储器的缩写。

CPU 902用作例如算法处理单元或控制单元，并且基于记录在ROM904、RAM 906、存储单元920或可移除记录介质928上的各种程序控制每一结构元件的全部操作或一部分操作。ROM 904是用于存储例如待加载到CPU 902上的程序或算术运算中所使用的数据等的装置。RAM 906临时或永久地存储例如加载到CPU 902上的程序或程序运行中任意变化的各种参数等。

这些结构元件通过例如能够执行高速数据传输的主机总线908彼此连接。就这一点，例如，主机总线908通过桥910连接到数据传输速度相对低的外部总线912。另外，输入单元916是例如鼠标、键盘、触摸面板、按钮、开关或操作杆。此外，输入单元916可以是能够利用红外线或其他无线电波来传输控制信号的远程控制器。

例如，输出单元918是能够视觉上或听觉上将获取的信息通知给用户的诸如CRT、LCD、PDP或ELD的显示装置，诸如扬声器或和或头戴受话器的音频输出装置，打印机，移动电话，或传真机。此外，CRT是阴极射线管的缩写。LCD是液晶显示器的缩写。PDP是等离子显示面板的缩写。此外，ELD是电致发光显示器的缩写。

存储单元920是用于存储各种数据的装置。例如，存储单元920是诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光学存储装置或磁光存储装置。HDD是硬盘驱动器的缩写。

驱动器922是用于读取记录在可移除记录介质928(例如，磁盘、光盘、磁光盘或半导体存储器)上的信息，或将信息写在可移除记录介质928中的装置。可移除记录介质928是例如DVD介质、蓝光介质、HD-DVD介质、各种类型的半导体存储介质等。当然，可移除记录介质928可以是例如电子装置或安装有非接触IC芯片的IC卡。IC是集成电路的缩写。

连接端口924是诸如USB端口、IEEE1394端口、SCSI、RS-232C端口的端口或用于连接外部连接装置930(例如光学音频端子)的端口。外部连接装置930是例如打印机、移动音乐播放器、数字相机、数字视频相机或IC记录器。此外，USB是通用串行总线的缩写。此外，SCSI是小型计算机系统接口的缩写。

通信单元926是连接到网络932的通信装置，并且是例如用于有线或无线LAN、蓝牙(注册商标)、或WUSB的通信卡，光学通信路由器，ADSL路由器，或各种通信调制解调器。连接到通信单元926的网络932由有线连接或无线连接的网络构造，并且是例如因特网、家用LAN、红外通信、可见光通信、广播或卫星通信。此外，LAN是局域网的缩写。此外，WUSB是无线USB的缩写。另外，ADSL是不对称数字用户线的缩写。

<5：总结>

最后，将简要描述根据本发明实施例的技术内容。这里所述的技术内容可应用于各种信息处理设备，例如个人计算机、移动电话、便携式游戏机、便携式信息终端、信息设备、汽车导航系统等。

上述信息处理设备的功能构造可如下所示。该信息处理设备包括如下的运动传感器、图像数据显示单元、振动系数计算单元和运动校正单元。运动传感器用于检测运动数据。此外，图像数据显示单元用于显示图像数据。振动系数计算单元用于基于运动传感器所检测的时序运动数据计算指示振动强度的振动系数。例如，振动系数计算单元参考运动数据的高频分量，并计算高频分量的最大幅度值作为振动系数。

另外，运动校正单元用于在振动系数计算单元所计算的振动系数变得小于预定的第一阈值的情况下，对图像数据显示单元执行控制，以使图像数据沿抵消振动的方向运动。例如，在如果图像数据沿抵消振动的方向运动，则图像数据的运动将无法跟随设备的运动，并且将导致干扰图像数据可视性的强烈振动的情况下(振动系数高于预定的第一阈值的情况)，其使得抵消振动的处理不被执行。根据此构造，可防止可视性由于抵消振动而变差，并且可减轻用户的疲劳。

(注释)

显示单元13是图像数据显示单元的例子。状态检测单元115是振动系数计算单元的例子。状态检测115、滤波器单元117、校正矢量生成单元118和运动补偿单元119是运动校正单元的例子。状态检测单元115和滤波器单元117是运动估计单元和抵消程度确定单元的例子。滤波器单元117是最大运动量计算单元的例子。图像稳定模块11是图像稳定装置的例子。

本领域技术人员应当理解的是，在不脱离所附权利要求或其等同物的范围的情况下，根据设计要求和其他因素可进行各种修改、组合、子组合和替代。

本申请包含的主题涉及2010年6月7日提交到日本专利局的日本优先权专利申请JP 2010-130437中公开的主题，所述申请的全部内容通过引用合并于此。

Claims (12)

1.一种图像稳定装置，包括：

运动传感器，其用于检测运动数据；

图像数据显示单元，其用于显示图像数据；

振动系数计算单元，其用于基于所述运动传感器所检测的时序运动数据来计算指示振动强度的振动系数；以及

运动校正单元，其用于在所述振动系数计算单元所计算的振动系数变得小于预定的第一阈值的情况下，对所述图像数据显示单元执行控制，以使图像数据沿抵消振动的方向运动。

2.根据权利要求1所述的图像稳定装置，

其中在所述振动系数计算单元所计算的振动系数变得小于预定的第二阈值的情况下，所述运动校正单元结束使图像数据沿抵消振动的方向运动的控制，所述第二阈值小于所述预定的第一阈值。

3.根据权利要求2所述的图像稳定装置，

其中所述运动校正单元在振动系数变得小于所述预定的第一阈值的情况下以振动抵消的程度逐渐增大的方式执行使图像数据运动的控制，并在振动系数接近所述预定的第二阈值的情况下以振动抵消的程度逐渐减小的方式执行使图像数据运动的控制。

4.根据权利要求2所述的图像稳定装置，还包括：

运动估计单元，其用于从所述运动传感器当前及过去所检测的运动数据估计将在下一时间点检测的运动数据；以及

抵消程度确定单元，其用于基于所述运动估计单元所估计的运动数据确定振动抵消的程度，

其中所述运动校正单元根据所述抵消程度确定单元所确定的振动抵消的程度来执行使图像数据运动的控制。

5.根据权利要求3所述的图像稳定装置，

其中所述运动校正单元在显示图像数据中设定的受保护区域的范围内执行使图像数据运动的控制。

6.根据权利要求5所述的图像稳定装置，还包括：

最大运动量计算单元，其用于基于显示图像数据的显示屏幕的框架位置与受保护区域的框架位置之间的关系来计算图像数据的最大运动量，

其中所述运动校正单元在不超过所述最大运动量计算单元所计算的最大运动量的范围内执行使图像数据运动的控制。

7.根据权利要求1所述的图像稳定装置，

其中所述图像数据由多层形成，

其中针对每一层设定不同的用途，

其中针对每一层设定不同的振动抵消程度，以及

其中所述运动校正单元根据针对每一层的用途设定的振动抵消程度来执行使形成图像数据的每一层运动的控制。

8.根据权利要求5所述的图像稳定装置，

其中所述图像数据由多层形成，

其中针对每一层设定不同的用途，

其中针对每一层设定不同的振动抵消程度，以及

其中所述运动校正单元根据针对每一层的用途设定的振动抵消程度来执行使形成图像数据的每一层运动的控制。

9.根据权利要求1所述的图像稳定装置，

其中在所述振动系数计算单元所计算的振动系数小于所述预定的第一阈值的状态下经过预定时间的情况下，所述运动校正单元在对图像数据执行缩放之后执行使图像数据沿抵消振动的方向运动的控制。

10.根据权利要求6所述的图像稳定装置，

其中在所述振动系数计算单元所计算的振动系数小于所述预定的第一阈值的状态下经过预定时间的情况下，所述运动校正单元在对图像数据执行缩放之后执行使图像数据沿抵消振动的方向运动的控制。

11.一种图像稳定方法，包括步骤：

检测运动数据；

显示图像数据；

基于检测步骤中所检测的时序运动数据来计算指示振动强度的振动系数；以及

在计算步骤中所计算的振动系数变得小于预定的第一阈值的情况下，使在显示步骤中所显示的图像数据沿抵消振动的方向运动。

12.一种用于使计算机实现以下功能的程序：

检测运动数据的运动传感器功能；

显示图像数据的图像数据显示功能；

基于所述运动传感器功能所检测的时序运动数据来计算指示振动强度的振动系数的振动系数计算功能；以及

在所述振动系数计算功能所计算的振动系数变得小于预定的第一阈值的情况下，与所述图像数据显示功能相关地执行使图像数据沿抵消振动的方向运动的运动校正功能。

Images