CN102271221B - 图像稳定装置和图像稳定方法 - Google Patents

Abstract

本发明涉及图像稳定装置、图像稳定方法和程序。一种图像稳定装置，包括：图像捕捉单元，用于捕捉用户的脸的图像；运动检测单元，用于检测其图像已经被图像捕捉单元所捕捉的脸的运动；运动预测单元，用于基于由运动检测单元按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；图像数据显示单元，用于显示图像数据；运动校正单元，用于对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据。

Description

图像稳定装置和图像稳定方法

技术领域

本发明涉及一种图像稳定装置、图像稳定方法和程序。

背景技术

近年来，小型电子机器(以下，称为便携式机器)(诸如，移动电话、便携式游戏机、便携式信息终端、笔记本计算机(以下，称作笔记本PC))、便携式音乐播放器、数字视频照相机和数字静止照相机(以下，称作图像捕捉装置)等已被广泛使用。这些便携式机器用于各种地点。例如，可看见用户在移动中的车辆上、在街角、在办公楼的等候室、在家里的起居室等处使用便携式机器。

如此，随着便携式机器变得更小并且它们的便携性增加，使用场所变得更加多种多样。然而，虽然增加便携性的效果增加了携带的方便，但它并未增加对各种使用场所的适用性。例如，虽然便携式机器很小并且因此容易携带到车辆上，但在颠簸的车辆上难以执行快速而准确的操作。因此，制造便携式机器的公司改进例如便携式机器的把持部分的结构或操作装置的形式。

另外，还存在这样的问题，即在颠簸的车辆上或者在行走的同时难以正确地感知便携式机器的显示装置上显示的图像、文本等。也就是说，显示装置上显示的图像、文本等由于便携式机器的振动而变得模糊，由此使得难以看见显示的内容。对于用户的视神经而言，图像、文本等的这种模糊非常令人疲劳。因此，已开发沿消除便携式机器的振动的方向移动图像、文本等，由此减小图像、文本等的模糊的技术。

关于以上技术，JP2000-221954A公开了一种检测便携式机器的振动并沿消除振动的方向移动显示图像的技术。该专利文件还公开了一种当移动显示图像时截除未在屏幕上显示的区域的技术。另外，该专利文件公开了一种通过使用加速度计检测便携式机器的振动的技术。这里，该专利文件中公开的技术用于计算与便携式机器的振动的相位相反的相位的振动并把这种振动加入到显示图像以消除便携式机器的振动。

发明内容

然而，便携式机器的振动的发生时刻和显示图像的运动补偿的时刻之间由于计算处理等导致存在延迟。因此，在便携式机器的振动较弱的情况下，便携式机器的振动的相位和给予显示图像的振动的相位将会近似地相反，但是在便携式机器的振动很强烈的情况下，振动的相位将不会是相反的。在一些情况下，振动的相位使彼此增强。结果，显示图像相对于用户的注视点的振动增加并且对于用户的视神经而言甚至更加令人疲劳。

例如，当在颠簸的车辆上使用便携式机器时，在便携式机器上可能发生细微的振动。因此，如果应用上述专利文件的技术，则在便携式机器的振动和为了消除上述振动给予显示图像的振动之间将会频繁发生相位之间的差异，因此显示图像相对于用户的注视点的振动甚至会增加更多。另外，人眼具有跟随观看目标的运动的功能。因此，即使显示图像未相对于用户的注视点完全静止，也能够正确地观看显示图像。

考虑到上述情况，希望提供一种新颖的、改进的图像稳定装置、图像稳定方法和程序，并且能够在发生便携式机器的振动的情况下减小显示图像相对于用户的注视点的振动，由此减小用户的疲劳。

根据本发明的实施例，提供了一种图像稳定装置，包括：图像捕捉单元，用于捕捉用户的脸的图像；运动检测单元，用于检测其图像已经被图像捕捉单元所捕捉的脸的运动；运动预测单元，用于基于由运动检测单元按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；图像数据显示单元，用于显示图像数据；运动校正单元，用于对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据。

图像稳定装置还可以包括：注视点检测单元，用于从由图像捕捉单元捕捉的脸的图像检测注视点的位置；保护区域设置单元，用于在图像数据中设置以由注视点检测单元检测的注视点的位置为中心的预定范围的图像区域作为保护区域。其中运动校正单元对图像数据显示单元执行控制，以在允许显示由保护区域设置单元设置的全部保护区域的范围内，沿消除由运动预测单元预测的脸的运动的方向移动图像数据。

图像稳定装置还可以包括：注视点检测单元，用于从由图像捕捉单元捕捉的脸的图像检测注视点的位置；以及注视区域确定单元，用于在图像数据中确定包括存在于由注视点检测单元检测的注视点的位置的显示对象的预定尺寸的注视区域。其中运动校正单元对图像数据显示单元执行控制，以在允许显示由注视区域确定单元确定的注视区域的范围内，沿消除由运动预测单元预测的脸的运动的方向移动图像数据。

运动校正单元对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据，使得随着显示图像数据的显示屏幕的框和注视区域之间的距离变得更短，脸的运动的消除的程度逐渐变得更小。

根据本发明的另一实施例，提供了一种图像稳定方法，包括下述步骤：图像捕捉步骤，捕捉用户的脸的图像；运动检测步骤，检测其图像已经在图像捕捉步骤中被捕捉的脸的运动；运动预测步骤，基于在运动检测步骤中按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；图像数据显示步骤，显示图像数据；以及运动校正步骤，在图像数据显示步骤中执行控制，以沿消除在运动预测步骤中预测的脸的运动的方向移动图像数据。

根据本发明的另一实施例，提供了一种使计算机实现下述功能的程序：图像捕捉功能，捕捉用户的脸的图像；运动检测功能，检测其图像已经在图像捕捉功能中被捕捉的脸的运动；运动预测功能，基于在运动检测功能中按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；图像数据显示功能，显示图像数据；运动校正功能，相对于图像数据显示功能执行控制，以沿消除在运动预测功能中预测的脸的运动的方向移动图像数据。

根据本发明的另一实施例，提供了一种记录程序的计算机可读记录介质。

根据上述本发明的实施例，可以在发生便携式机器的振动的情况下减小显示图像相对于用户的注视点的振动，由此减小用户的疲劳。

附图说明

图1是用于描述在应用振动消除时出现的问题的解释示图，其中在用户的振动和机器的振动之间不存在相关性；

图2是用于描述在应用振动消除时出现的问题的解释示图，其中在用户的振动和机器的振动之间存在相关性；

图3是用于描述根据本发明实施例的便携式机器的功能结构的解释示图；

图4是用于描述根据实施例的图像稳定模块的操作的解释示图；

图5是用于描述根据实施例的振动消除应用的控制方法的解释示图；

图6是用于描述根据实施例的振动消除应用的控制方法的解释示图；

图7是用于描述根据实施例的用于振动消除的校正量的计算方法的解释示图；

图8是用于描述根据实施例的用于振动消除的校正量的计算方法的解释示图；

图9是用于描述根据实施例的用于振动消除的校正量的计算方法的解释示图；

图10是显示FIR滤波器的示例性电路结构的解释示图，其中示出了具有低通特性的FIR滤波器的例子；

图11是用于描述根据实施例的振动消除方法的解释示图；

图12是用于描述根据实施例的振动消除方法的解释示图；

图13是用于描述根据实施例的振动消除方法的解释示图；

图14是用于描述根据实施例的振动消除方法的解释示图；

图15是用于描述根据实施例的振动消除方法的解释示图；

图16是用于描述根据实施例的振动消除方法的解释示图；

图17是用于描述根据实施例的振动消除方法的解释示图；

图18是用于描述根据实施例的振动消除方法的解释示图；

图19是用于描述根据实施例的振动消除方法的解释示图；

图20是用于描述根据实施例的层复用方法的解释示图；

图21是用于描述根据实施例的滤波强度的确定方法的解释示图；

图22是用于描述根据实施例能够实现便携式机器的结构元件的功能的硬件结构的解释示图。

具体实施方式

以下，将参照附图详细描述本发明的优选实施例。需要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的结构元件以相同的标号表示，并且省略这些结构元件的重复解释。

[描述的流程]

这里简要提及以下描述的本发明的实施例的描述的流程。

首先，参照图1和图2考虑用户和机器的振动对图像数据的可见性的影响。接下来，参照图3描述根据本发明实施例的便携式机器10的功能结构。然后，参照图4描述根据实施例的用户状态检测单元115的操作。然后，参照图5和图6描述根据实施例的应用的消除强度的计算方法。

接下来，参照图7描述根据实施例的滤波单元116的操作。然后，参照图8和图9描述根据实施例在应用振动消除时使用的校正量的计算方法。此时，参照图10描述根据实施例在应用振动消除时使用的滤波器的例子。

接下来，参照图11和图12描述根据实施例设置在应用振动消除时考虑的保护区域和最大屏幕移动量的方法。然后，参照图13至18描述根据实施例设置在应用振动消除时考虑的注视区域、保护区域和最大屏幕移动量的方法。然后，参照图19描述根据实施例的运动补偿方法。另外，参照图20描述根据实施例的层复用方法。

另外，参照图21描述根据实施例的变型的根据层的用途的应用的消除强度的控制方法。接下来，参照图22描述根据实施例实现便携式机器10的功能的硬件的结构。最后，总结实施例的技术思想并且简要描述通过该技术思想获得的操作效果。

(描述项)

1：介绍

2：实施例

2-1：便携式机器10的功能结构

2-2：用户状态检测单元115的操作

2-2-1：处理的流程

2-2-2：振动系数的计算方法

2-2-3：应用的消除强度的计算方法

2-3：滤波单元116的操作

2-3-1：处理的流程

2-3-2：预测位置的计算

2-3-3：校正量的计算

2-3-4：考虑保护区域等的最大屏幕移动量的确定方法

2-3-5：考虑注视区域的最大屏幕移动量的确定方法

2-4：变型(根据层用途的应用的消除强度的控制方法)

3：硬件结构

4：总结

<1：介绍>

首先，参照图1和图2考虑当便携式机器10和用户20都进行振动时对图像数据(显示对象14)的可见性的影响。如上所述，可以在颠簸的车辆上或者在行走的同时使用便携式机器10(诸如，移动电话、便携式游戏机等)。在这种情况下，便携式机器10相对于用户20的注视点振动，并且屏幕上显示的显示对象14的可见性降低。

因此，为了防止这种可见性的降低，设计了检测便携式机器10的振动并移动显示对象14以消除这种振动的技术。然而，如图1中所示，如果在便携式机器10的振动和用户20的振动之间不存在相关性，则即使显示对象14以消除便携式机器10的振动的方式进行移动也无法消除显示对象14相对于用户20的注视点的振动。

另一方面，如图2中所示，如果在便携式机器10的振动和用户20的振动之间存在相关性，则如果显示对象14以消除便携式机器10的振动的方式进行移动则消除显示对象14相对于用户20的注视点的振动。也就是说，便携式机器10和用户20之间的相对位置关系由于便携式机器10和用户20的振动而改变，并且如果显示对象14未以消除这种改变的方式进行移动，则不能消除显示对象14相对于用户的注视点的振动。

因此，本申请的发明者设计一种沿消除从便携式机器10看见的用户20的运动(相对运动)的方向移动显示对象14的方法。以下详细描述这种方法。

<2：实施例>

描述本发明的实施例。本实施例涉及一种在便携式机器10上引起振动的情况下减小相对于用户20的注视点发生的显示对象14的振动的方法。特别地，本实施例涉及一种即使在便携式机器10和用户20以不相关的方式振动的情况下也减小显示对象14相对于用户20的注视点的振动的方法。需要注意的是，这种方法并非用于使显示对象14相对于用户20的注视点“静止”，而是用于“减小”显示对象14的振动以减小用户的疲劳。

[2-1：便携式机器10的功能结构]

首先，参照图3描述根据本实施例的便携式机器10的功能结构。图3是用于描述根据本实施例的便携式机器10的功能结构的解释示图。

如图3中所示，便携式机器10主要包括：图像稳定模块11、复用单元12和显示单元13。图像稳定模块11是用于减小显示对象14相对于用户20的注视点的振动的装置。复用单元12是用于复用多个层并创建显示对象14的装置。显示单元13是用于显示由复用单元12创建的显示对象14的装置。根据本实施例的便携式机器10的特征主要在于图像稳定模块11的结构。因此，在下面，将更详细地描述图像稳定模块11的结构。

如图3中所示，图像稳定模块11主要包括：图像数据获取单元111、捕捉图像数据获取单元112、用户输入单元113、FIFO缓冲器114和用户状态检测单元115。另外，图像稳定模块11包括：滤波单元116、校正矢量产生单元117和运动补偿单元118。

(图像数据获取单元111)

图像数据获取单元111是用于获取图像数据的装置。例如，图像数据获取单元111获取时间序列帧组。顺便地，形成这个帧组的帧可以按照恒定时间间隔(固定帧间隔)布置或者可以按照任意时间间隔(可变帧间隔)布置。此外，每个帧由多个层构成。

另外，每个层关联有指示叠加次序中的位置的数字和用途信息。例如，数字0与顶层关联，数字1与下一层关联。此外，用途信息用于指定层上显示的图像的用途，诸如菜单屏幕、视频屏幕、操作对象等。由图像数据获取单元111获取的图像数据被输入到运动补偿单元118。在下面的解释中，每个帧或每个层有时可称为图像数据。

(捕捉图像数据获取单元112)

捕捉图像数据获取单元112是用于获取通过拍摄用户20的图像获得的捕捉图像数据的装置。例如，捕捉图像数据获取单元112获取指示用户20的脸的运动的运动数据。此外，捕捉图像数据获取单元112获取指示用户20的眼睛的运动的运动数据。从这些条运动数据中能够检测脸的运动和注视点的位置。能够检测用户20的注视点。另外，捕捉图像数据获取单元112也可以包括用于捕捉用户20的图像的图像捕捉装置和用于从捕捉的图像数据检测用户20的运动数据的图像处理装置。另外，由捕捉图像数据获取单元112获取的用户20的运动数据被输入到FIFO缓冲器114。

(用户输入单元113)

用户输入单元113是用户20输入各种类型数据的装置。

(FIFO缓冲器114)

FIFO缓冲器114是用于积累由捕捉图像数据获取单元112输入的运动数据的装置。另外，当在预定积累量已满的状态下输入接下来的运动数据时，FIFO缓冲器114丢弃最旧的运动数据。这个积累量设置为例如一秒的数据量(例如，在帧速为30fps的情况下为三十帧)。FIFO缓冲器114中积累的运动数据由用户状态检测单元115和滤波单元116读取。

(用户状态检测单元115)

用户状态检测单元115是用于计算应用的消除强度的装置。另外，在这里，应用的消除强度是指示图像数据相对于用户20的注视点的振动的消除的强度的值。首先，用户状态检测单元115从FIFO缓冲器114获取运动数据(D_t，...，D_t+n)。另外，D_t是在时间t检测的运动数据。获取了运动数据(D_t，...，D_t+n)的用户状态检测单元115把运动数据(D_t...，D_t+n)输入到预定函数f并计算振动系数s，如以下公式(1)中所示。

[方程1]

s＝f(D_t，…，D_t+n)...(1)

这个函数f是量化由运动数据(D_t，...，D_t+n)表达的运动的强度的变换公式。此外，振动系数s是表示由运动数据(D_t，...，D_t+n)表达的运动的强度的数值。例如，上述函数f是对运动数据(D_t，...，D_t+n)进行正交变换并输出预定频域中的最大振幅值的变换公式。另外，作为正交变换的例子，可以采用Fourier变换等。

已按照以上方式计算振动系数s的用户状态检测单元115基于振动系数s计算应用的消除强度。例如，在仅考虑两个状态(即，应用消除的情况和不应用消除的情况)的情况下，用户状态检测单元115基于振动系数s与两个阈值T₁和T₂之间的比较结果计算应用的消除强度，如图5中所示。另外，在应用消除状态的情况下，应用的消除强度是1.0。另一方面，在非应用消除状态的情况下，应用的消除强度是0.0。

如上所述，振动系数s较大的情况是便携式机器10的振动强烈的状态。在便携式机器10的振动强烈的情况下，如果沿消除振动的方向移动图像数据，则图像数据相对于用户20的注视点的振动不减小，而是相反地，图像数据相对于用户20的注视点的振动可能增加。另外，如果图像数据移动很大，则图像区域的很大一部分将会移出屏幕并且图像数据的非显示区域将会太大。因此，假设优选地在便携式机器10的振动强烈的情况下不应用振动的消除。

另一方面，振动系数s较小的情况是便携式机器10的振动缓慢的状态。在便携式机器10的振动缓慢的情况下，用户20能够跟随图像数据的运动而不会变得疲劳。因此，在振动系数s较小的情况下不需要消除。

由于以上原因，优选地如下确定阈值T₁和T₂。例如，优选地确定阈值T₁以使得由振动系数s指示的振动的范围为屏幕尺寸的大约1％。也就是说，优选地确定阈值T₁以使得图像数据相对于用户20的注视点的振动为可忽略的值。另一方面，关于阈值T₂，由振动系数s指示的振动的范围优选地为屏幕尺寸的大约10％。也就是说，优选地把它确定为这样的值：根据该值，在已应用消除的情况下，获得消除的效果并且非显示区域不太大。

另外，阈值T₁和T₂的数值不限于上述例子。此外，阈值T₁和T₂可以是固定值或者它们可以是可变的。

上述应用的消除强度的确定方法仅考虑两个状态，即应用消除的状态和不应用消除的状态。相比之下，还可以设想根据振动系数s连续确定应用的消除强度的方法。

例如，应用的消除强度能够由0.0和1.0之间的实数定义，如图6中所示。在这种情况下，非应用消除状态定义为应用的消除强度为0.0的状态。另外，应用的消除强度的特性由如图6中所示的曲线或其它曲线或直线表示。当然，根据振动系数s确定应用的消除强度的特性曲线的形式不限于图6中的例子。另外，在下面，将在假设使用由连续的值定义的应用的消除强度的情况下进行解释。

如上所述，用户状态检测单元115通过使用从FIFO缓冲器114读取的运动数据(D_t，...，D_t+n)计算振动系数s，并基于振动系数s计算应用的消除强度。由用户状态检测单元115以这种方式计算的应用的消除强度输入到滤波单元116。

另外，用户状态检测单元115基于从FIFO缓冲器114读取的用户20的眼睛的运动数据来检测用户20的注视点。例如，用户状态检测单元115通过使用JPH10-91325A中描述的视线检测系统的技术从指示眼睛的运动的运动数据检测用户20的注视点。指示由用户状态检测单元115以这种方式检测到的用户20的注视点(用户20正在观看的屏幕上的位置)的注视点数据输入到滤波单元116。

(滤波单元116)

滤波单元116是用于计算为了消除图像数据相对于用户20的注视点的振动而使图像数据移动的量(以下，称为校正量)的装置。首先，滤波单元116从FIFO缓冲器114读取脸的运动数据(D_t，...，D_t+n)，并计算在下一帧的显示时间点t+n+1的脸的运动数据D_t+n+1。另外，脸的运动数据(D_t，...，D_t+n)指示在每个时间点从便携式机器10观看的用户20的脸的相对位置(坐标值)。

另外，脸的运动数据D_t+n+1指示从由捕捉图像数据获取单元112获取的脸的运动数据预测的脸的预测位置。另外，运动数据D_t+n+1的计算方法可以是例如如图8中所示使用两个相邻样本(D_t+n-1，D_t+n)的线性预测方法或者使用运动数据(D_t，...，D_t+n)的样条曲线(splinecurve)的预测方法。

然后，滤波单元116把包括预测位置的运动数据(D_t，...，D_t+n，D_t+n+1)应用于预定滤波器。作为这个滤波器，能够使用具有低通特性或带通特性的滤波器，诸如平均滤波器、双边滤波器等。例如，能够使用图10中显示的FIR滤波器。另外，滤波单元116根据由用户状态检测单元115输入的应用的消除强度或者根据由用户20经用户输入单元113输入的滤波强度改变滤波器的抽头长度。

例如，在应用的消除强度较强的情况下，滤波单元116增加滤波器的抽头长度。另一方面，在应用的消除强度较弱的情况下，滤波单元116减小滤波器的抽头长度。此外，在由用户20输入的滤波强度较强的情况下，滤波单元116增加滤波器的抽头长度。另一方面，在由用户20输入的滤波强度较弱的情况下，滤波单元116减小滤波器的抽头长度。例如，滤波单元116把标准抽头长度决定为三十个样本等，并且根据应用的消除强度来相对于标准抽头长度而增加或减小抽头长度。

现在，已应用包括脸的预测位置的运动数据(D_t，...，D_t+n，D_t+n+1)的滤波器的输出值将被作为图9中显示的在滤波应用之后的内插线。另外，在下面的解释中，在滤波应用之后的内插线上的值将会称为滤波应用数据。已获得滤波应用数据的滤波单元116把在下一帧的显示时间点t+n+1的滤波应用数据和预测位置D_t+n+1之差设置为校正量。此外，滤波单元116把校正量的单位从运动数据的单位(英寸等)转换成图像数据的单位(像素)。

接下来，滤波单元116计算图像数据在屏幕上能够移动的距离的最大值(以下，称为最大屏幕移动量)。如图11中所示，例如，从为图像数据设置的保护区域和图像框的位置之间的关系计算最大屏幕移动量。保护区域是预先设置为图像数据中明确地将要被显示的区域的区域。在这种情况下，根据图像框和保护区域的边界之间的距离确定最大屏幕移动量。

在按照上述方式计算最大屏幕移动量之后，滤波单元116关于每个轴的方向比较校正量和最大屏幕移动量。然后，在校正量大于最大屏幕移动量的情况下，滤波单元116重置校正量以使得校正量是最大屏幕移动量。利用以这种方式重置的校正量，即使图像数据基于校正量移动，保护区域也不会移出屏幕，如图11中所示。

另外，如图12中所示，滤波单元116可以设置最大屏幕移动量以使得图像数据总是显示在整个屏幕上。图12中表示的图像数据大于屏幕尺寸。在这种情况下，即使图像数据移动图12中显示的最大屏幕移动量A，图像数据也显示在整个屏幕上。也就是说，为了使图像数据总是显示在整个屏幕上，最大屏幕移动量能够设置为图12中显示的最大屏幕移动量A。另一方面，为了总是显示保护区域，最大屏幕移动量可以设置为图12中显示的最大屏幕移动量B。

另外，例如在游戏屏幕、数字图书的屏幕等的情况下，在如图12中所示的图像框外面存在图像数据。另一方面，例如在很多视频内容(诸如，电影、个人视频等)的情况下，在图像框外面不存在图像数据。因此，是如图11中所示基于保护区域选择最大屏幕移动量还是如图12的A所示基于显示区域选择最大屏幕移动量取决于作为应用目标的图像数据的类型。另外，即使在图像框外面存在图像数据，也可以选择基于保护区域的最大屏幕移动量，并且可以基于最大屏幕移动量设置校正量。

如上所述，由滤波单元116计算的校正量或基于最大屏幕移动量重置的校正量输入到校正矢量产生单元117。顺便地，在以上解释中，使用表达式、图像数据的校正量和图像数据的最大屏幕移动量，但对于每个层执行上述处理。也就是说，为每个层设置保护区域或者为每个层计算最大屏幕移动量，并且为每个层设置校正量。然后，为每个层设置的校正量从滤波单元116输入到校正矢量产生单元117。

(校正矢量产生单元117、运动补偿单元118)

校正矢量产生单元117是通过使用从滤波单元116输入的校正量产生用于校正层的位置的校正矢量的装置。这个校正矢量是用于通过运动补偿把应用消除之前的层变换成应用消除之后的层的变换手段。当采用形成应用消除之前的层的每个像素的坐标作为X并且采用应用消除之后的每个像素的坐标作为X’时，通过使用以下公式(2)至(7)表示坐标X’。顺便地，参数(h，v，θ，p，h_c，v_c)是与由滤波单元116输入的每个轴的校正量相关的参数。

[方程2]

X′＝C^-1P^-1MPCX...(2)

$X=\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)...\left(3\right)$

$X^{\&prime;}=\left(\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right)...\left(4\right)$

$M=\left(\begin{array}{ccc}1& 0& h\\ 0& 1& v\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& 0\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ 0& 0& 1\end{array}\right)...\left(5\right)$

$P=\left(\begin{array}{ccc}p& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)...\left(6\right)$

$C=\left(\begin{array}{ccc}1& 0& -h_c\\ 0& 1& -v_c\\ 0& 0& 1\end{array}\right)...\left(7\right)$

校正矢量产生单元117通过使用以上公式(2)至(7)从由滤波单元116输入的每个轴的校正量计算参数(h，v，θ，p，h_c，v_c)，并把由以下公式(8)表示的校正矩阵V输入到运动补偿单元118。运动补偿单元118通过使用由校正矢量产生单元117输入的校正矩阵V对层执行运动补偿。例如，如图19中所示，运动补偿单元118通过使用线性内插并且按照低于整数像素的准确性执行运动补偿。已由运动补偿单元118执行运动补偿的层输入到复用单元12。

[方程3]

V＝C^-1P^-1MPC...(8)

在前面，已详细描述了图像稳定模块11的结构。从运动补偿单元118输入到复用单元12的层组经受阿尔法(α)混合并复用到一帧，如图20中所示。顺便地，假设在每像素的基础上或者在每层的基础上为每个层设置阿尔法值(指示透明度的参数)。然后，由复用单元12获得的一帧显示在显示单元13上。

在前面，已描述了根据本实施例的便携式机器10的功能结构。

[2-2：用户状态检测单元115的操作]

接下来，将参照图4补充关于用户状态检测单元115的操作的解释。图4是用于描述用户状态检测单元115的处理的流程的解释示图。

(2-2-1：处理的流程)

如图4中所示，用户状态检测单元115从FIFO缓冲器114获取运动数据(S101)。然后，用户状态检测单元115基于在步骤S101中获取的运动数据计算振动系数(S102)。接下来，用户状态检测单元115基于在步骤S102中计算的振动系数计算应用的消除强度(S103)。

(2-2-2：振动系数的计算方法)

这里将描述步骤S102中的振动系数s的计算方法。另外，假设在步骤S101中由用户状态检测单元115获取运动数据(D_t，...，D_t+n)。振动系数s是表示由运动数据(D_t，...，D_t+n)表达的运动的强度的数值。运动的强度能够由高频分量的强度表示。因此，用户状态检测单元115对运动数据(D_t，...，D_t+n)进行傅里叶变换并计算频率数据，并且使用高频分量的振幅。例如，用户状态检测单元115在频率数据之中计算预定频域中的最大振幅值作为振动系数s。

(2-2-3：应用的消除强度的计算方法)

接下来，将描述步骤S103中的应用的消除强度的计算方法。

(仅考虑两个状态的情况)

如图5中所示，在仅考虑两种情况(即，应用消除的情况和不应用消除的情况)的情况下，用户状态检测单元115基于振动系数s与两个阈值T₁和T₂之间的比较结果计算应用的消除强度。另外，在应用消除状态的情况下，应用的消除强度是1.0。另一方面，在非应用消除状态的情况下，应用的消除强度是0.0。

如上所述，在振动系数s较大的情况下，便携式机器10的振动强烈。在便携式机器10的振动强烈的情况下，如果沿消除振动的方向移动图像数据，则图像数据相对于用户20的注视点的振动不减小，而是相反地，由于计算处理等所导致的延迟，图像数据相对于用户的注视点的振动可能增加。另外，如果图像数据移动很大，则图像区域的很大一部分将会移出屏幕并且图像数据的非显示区域将会太大。因此，优选地在便携式机器10的振动强烈的情况下不应用振动的消除。

另一方面，在振动系数s较小的情况下，便携式机器10的振动缓慢。在便携式机器10的振动缓慢的情况下，用户能够跟随图像数据的运动而不会变得疲劳。因此，在振动系数s较小的情况下不需要消除。

由于以上原因，优选地如下确定阈值T₁和T₂。例如，关于阈值T₁，由振动系数s指示的振动的范围为屏幕尺寸的大约1％。也就是说，阈值T₁设置为这样的值：根据该值，图像数据相对于用户的注视点的振动是可忽略的。另一方面，关于阈值T₂，由振动系数s指示的振动的范围为屏幕尺寸的大约10％。也就是说，把它设置为这样的值：根据该值，在已应用消除的情况下，获得消除的效果并且非显示区域不太大。另外，阈值T₁和T₂的数值不限于上述例子。此外，阈值T₁和T₂可以是固定值或者它们可以是可变的。

(应用的消除强度是连续值的情况)

另外，还可以设想根据振动系数s连续确定应用的消除强度的方法。例如，应用的消除强度能够由0.0和1.0之间的实数定义，如图6中所示。此时，非应用消除状态定义为应用的消除强度为0.0的状态。根据图6中表示的应用的消除强度的特性曲线，应用的消除强度随着振动系数s的增加而增大或减小。但是应用的消除强度的特性不限于此。例如，它可以是这样的特性：根据该特性，应用的消除强度从振动系数s₁线性增加，并且当在振动系数s₂(s₂＞s1)达到应用的消除强度1.0之后从振动系数s₃(s₃＞s₂)线性减小。

在前面，已描述了用户状态检测单元115的操作。

[2-3：滤波单元116的操作]

接下来，将参照图7补充关于滤波单元116的操作的解释。图7是用于描述滤波单元116的处理的流程的解释示图。

(2-3-1：处理的流程)

如图7中所示，滤波单元116基于从FIFO缓冲器114读取的运动数据预测在下一帧的显示时间点的运动数据(脸的预测位置；见图8)(S111)。接下来，滤波单元116把包括脸的预测位置的运动数据应用于预定滤波器并计算应用消除之后的预测位置(S112)。然后，滤波单元116从应用消除之后的预测位置中减去应用滤波之前的预测位置并计算校正量(见图9)(S113)。

然后，滤波单元116计算如图11和图12中所示的图像数据的有效区域(包括关于图像的信息的区域)(S114)。接下来，滤波单元116基于如图11或图12中所示的最大屏幕移动量重置校正量(裁剪处理)(S115)。例如，在校正量高于最大屏幕移动量的情况下，把最大屏幕移动量设置为新的校正量，并且在校正量不高于最大屏幕移动量的情况下，保持步骤S113中计算的校正量。

(2-3-2：预测位置的计算)

这里，将描述步骤S111的预测位置的计算方法。

作为预测位置的计算方法，例如，存在如图8中所示使用两个相邻样本(D_t+n-1，D_t+n)的线性预测方法。根据这种方法，把连接两个相邻样本(D_t+n-1，D_t+n)的直线延长，并且预测在下一帧的显示时间点t+n+1的运动数据D_t+n+1。

另外，作为预测位置的计算方法，例如，还可以设想使用运动数据(D_t，...，D_t+n)的样条曲线的预测方法。根据这种方法，计算基于运动数据(D_t，...，D_t+n)的样条曲线，并且通过把样条曲线延长到下一帧的显示时间点t+n+1来预测运动数据D_t+n+1。

(2-3-3：校正量的计算)

接下来，将描述步骤S112和S113的校正量的计算方法。

在计算校正量时，首先计算如图9中所示的滤波应用之后的内插线。这种滤波应用之后的内插线是已应用包括预测位置的运动数据(D_t，...，D_t+n，D_t+n+1)的滤波器的输出值。这种滤波应用之后的内插线对应于图像数据相对于用户的注视点的振动被抑制的振动状态。也就是说，在下一帧的显示时间点t+n+1的滤波应用数据对应于在应用消除之后获得的运动数据的预测位置。因此，已获得滤波应用数据的滤波单元116把在下一帧的显示时间点t+n+1的滤波应用数据和预测位置D_t+n+1之差设置为校正量。

(2-3-4：考虑保护区域等的最大屏幕移动量的确定方法)

接下来，参照图11和12，结合步骤S115的裁剪处理描述图像数据的保护区域和最大屏幕移动量的确定方法。

(用于保护保护区域的结构)

图像数据包括希望在屏幕内显示的区域。因此，这个区域将会被设置为保护区域。例如，在便携式机器10是电子书阅读器(eBookReader)的情况下，放置正文的区域等被设置为保护区域。此外，在便携式机器10是便携式游戏机的情况下，显示用户担任其角色的主要人物等的区域被设置为保护区域。为了在屏幕内显示保护区域，需要满足这样的条件：在应用振动的消除之后，保护区域的边界和图像框之间的距离是0或更大。因此，如果当前的保护区域的边界和图像框之间的距离设置为最大屏幕移动量，则足够了。此外，如果校正量不超过最大屏幕移动量，则足够了。因此，在校正量超过最大屏幕移动量的情况下，滤波单元116把校正量重置为最大屏幕移动量。

(用于在整个屏幕上显示图像数据的结构)

可能存在大于屏幕尺寸的图像数据。例如，游戏的背景图像等有时设置为大于屏幕尺寸。此外，有时希望图像数据显示在整个屏幕上。在这种情况下，最大屏幕移动量不由保护区域的边界和图像框之间的距离确定而是由图像数据的边界和图像框之间的距离确定。如图12中所示，如果最大屏幕移动量由保护区域的边界和图像框之间的距离确定，则最大屏幕移动量将会是B。另一方面，如果最大屏幕移动量由图像数据的边界和图像框之间的距离确定，则最大屏幕移动量将会是A。

如果基于最大屏幕移动量B应用振动的消除，则不显示图像数据的区域可能被包括在屏幕的一部分中。相比之下，当基于最大屏幕移动量A应用振动的消除时，不显示图像数据的区域不可能被包括在屏幕的一部分中。因此，在希望在整个屏幕上显示图像数据的情况下，最大屏幕移动量被确定为A。然后，如果校正量大于这个最大屏幕移动量A，则基于最大屏幕移动量A重置该校正量。通过以这种方式确定最大屏幕移动量，可以在整个屏幕上显示图像数据的同时应用振动的消除。

(2-3-5：考虑注视区域的最大屏幕移动量的确定方法)

顺便地，在本实施例中，用户20的注视点由用户状态检测单元115检测。因此，能够在考虑用户20的注视点的情况下确定最大屏幕移动量和校正量。因此，将参照图13至图18讨论考虑了用户20的注视点的最大屏幕移动量的确定方法。

首先，参照图13。用户20正在关注的包括显示对象14的区域称为注视区域15。这个注视区域15是用户20关注的目标，并且它必须被控制以免在应用振动消除之后移出显示单元13的框。如图13中所示，在不应用振动消除的情况下，注视区域15相对于显示单元13静止，并且它并未移出显示单元13的框。

另一方面，在应用振动消除的情况下，以相对于用户20的注视点抑制显示对象14的振动的方式移动显示对象14，因此存在注视区域15移出显示单元13的框的可能性。因此，如图14中所示，滤波单元16执行控制以削弱在包括注视区域15的层上应用的消除强度，从而注视区域15留在显示单元13的框内。另外，滤波单元116能够从由用户状态检测单元115检测的用户20的注视点识别注视区域15的位置。因此，滤波单元116能够在考虑显示单元13的框和注视区域15之间的位置关系的情况下确定应用的消除强度。

例如，如图15中所示，滤波单元116计算注视区域15中所包括的显示对象14和显示单元13的框之间的距离d。然后，滤波单元116基于如图16或图17中所示的特性曲线确定用于控制应用的消除强度的加权系数。应用的消除强度与这个加权系数相乘。如图16和图17中所示，特性曲线具有这样的形状：根据该形状，当距离d变得更短时，加权系数变得更小。也就是说，设置这种特性曲线以使得当注视区域15靠近显示单元13的框时应用的消除强度变得更弱。因此，通过基于该特性曲线调整应用的消除强度，能够控制注视区域15以免移出显示单元13的框。

接下来，将描述基于用户20的注视点(注视点16)确定保护区域的方法。迄今为止，假设为每个层设置保护区域。然而，如图18中所示，还可以设想基于注视点16确定保护区域的方法。例如，还可以设想这样的方法，其中预先设置保护区域的尺寸并且按照使注视点16成为中心的方式确定保护区域，如图18中所示。在这种情况下，滤波单元116按照使由用户状态检测单元115检测的注视点16成为保护区域的中心的方式确定保护区域，并执行控制以使得在应用振动消除之后保护区域不移出显示单元13的框。

首先，滤波单元116检测确定的保护区域和显示单元13的框之间的距离，并根据检测结果计算最大屏幕移动量B，如图18中所示。此时，滤波单元116针对显示单元13的框的每一侧计算最大屏幕移动量B。然后，滤波单元116重置校正量以使得校正量落在最大屏幕移动量B的范围内。使用以注视点16作为中心而确定的保护区域，能够防止用户20注视的区域移出显示单元13的框。例如，在用户20正在阅读数字图书的情况下，能够防止正被阅读的部分由于振动消除而被隐藏在显示单元13的框外面。

在前面，已描述了滤波单元116的操作。

[2-4：变型(根据层用途的应用的消除强度的控制方法)]

接下来，参照图21，将描述根据层的用途的应用的消除强度的控制方法作为本实施例的变型。通常，在很多情况下，对于形成图像数据的每个层确定用途。

例如，通过复用用于各种用途的层(诸如，用于视频的层、用于文本的层、用于属性信息显示的层等)形成图像数据。根据显示内容(诸如，视频、文本和属性信息)，由用户20所希望的可见性的程度是不同的。例如，即使视频相对于用户20的注视点稍微振动，也能够令人满意地观看视频。另一方面，如果文本相对于用户20的注视点振动，则将会难以阅读文本。此外，如果显示对象14(诸如，操作按钮)不跟随便携式机器10的运动，则将会难以操作显示对象14。由于这些原因，优选地根据层的用途控制应用的消除强度。

作为根据层的用途实现应用的消除强度的控制的方法，本变型引入图21中显示的滤波强度加权系数。这种滤波强度加权系数是用于调整应用的消除强度的系数。也就是说，当滤波强度加权系数更大时，应用的消除强度更强并且滤波器的抽头长度设置为更长。相比之下，当滤波强度加权系数更小时，应用的消除强度更弱并且滤波器的抽头长度设置为更短。换句话说，当滤波强度加权系数较大时，强烈地应用振动消除，并且当滤波强度加权系数较小时，振动消除的应用强度被削弱。

在图21的例子中，对于用于视频的层设置滤波强度加权系数1。此外，对于用于文本的层设置滤波强度加权系数3。另外，对于用于属性信息显示的层设置滤波强度加权系数0。因此，在图21中例示的设置的情况下，以这样的方式控制用于文本的层的运动，即相对于用户20的注视点强烈地消除振动。另一方面，对于用于属性信息显示的层，不应用消除。以这种方式，通过根据层的用途调整消除的应用强度，能够提高用户的可见性。

在前面，已描述本发明的实施例。

<3：硬件结构>

通过使用例如图22中表示的信息处理设备的硬件结构能够实现上述便携式机器10的每个结构元件的功能。也就是说，通过使用计算机程序控制图22中显示的硬件能够实现每个结构元件的功能。另外，这种硬件的模式是任意的，并且可以是个人计算机、移动信息终端(诸如移动电话、PHS或PDA)、游戏机或各种类型的信息机器。此外，PHS是个人手提电话系统的缩写。此外，PDA是个人数字助手的缩写。

如图22中所示，这种硬件主要包括CPU902、ROM904、RAM906、主机总线908和桥910。另外，这种硬件包括外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱动器922、连接端口924和通信单元926。此外，CPU是中央处理单元的缩写。此外，ROM是只读存储器的缩写。另外，RAM是随机存取存储器的缩写。

CPU902用作例如算术处理单元或控制单元，并基于记录在ROM904、RAM906、存储单元902或可移动记录介质928上的各种程序控制每个结构元件的全部操作或一部分操作。ROM904是用于存储例如将要载入到CPU902上的程序或者算术运算中使用的数据等的装置。RAM906暂时或永久地存储例如将要载入到CPU902上的程序或者在程序的执行中任意改变的各种参数等。

这些结构元件通过例如能够执行高速数据传输的主机总线908彼此连接。对于主机总线908而言，主机总线908通过桥910连接到例如数据传输速度相对较慢的外部总线912。另外，输入单元916是例如鼠标、键盘、触摸面板、按钮、开关或操纵杆。此外，输入单元916可以是能够通过使用红外线或其它无线电波发送控制信号的遥控器。

输出单元918是例如能够在视觉上或者在听觉上向用户通知获取的信息的显示装置(诸如，CRT、LCD、PDP或者ELD)、音频输出装置(诸如，扬声器或头戴式耳机)、打印机、移动电话或传真机。此外，CRT是阴极射线管的缩写。LCD是液晶显示器的缩写。PDP是等离子显示面板的缩写。此外，ELD是电致发光显示器的缩写。

存储单元920是用于存储各种数据的装置。存储单元920是例如磁存储装置(诸如，硬盘驱动器(HDD))、半导体存储装置、光学存储装置或磁光存储装置。HDD是硬盘驱动器的缩写。

驱动器922是这样的装置：该装置读取记录在可移动记录介质928(诸如，磁盘、光盘、磁光盘或半导体存储器)上的信息或者把信息写到可移动记录介质928中。可移动记录介质928是例如DVD介质、蓝光介质、HD-DVD介质、各种类型半导体存储介质等。当然，可移动记录介质928可以是例如电子装置或安装了非接触IC芯片的IC卡。IC是集成电路的缩写。

连接端口924是诸如USB端口、IEEE1394端口、SCSI、RS-232C端口的端口或者用于连接外部连接的装置930(诸如，光学音频终端)的端口。外部连接的装置930是例如打印机、移动音乐播放器、数字照相机、数字视频照相机或者IC记录器。此外，USB是通用串行总线的缩写。此外，SCSI是小型计算机系统接口的缩写。

通信单元926是用于连接到网络932的通信装置并且是例如用于有线或无线LAN、蓝牙(注册商标)、或WUSB的通信卡、光学通信路由器、ADSL路由器或各种通信调制解调器。连接到通信单元926的网络932由有线连接或无线连接网络构成并且是例如互联网、家用LAN、红外通信、可见光通信、广播或卫星通信。此外，LAN是局域网的缩写。此外，WUSB是无线USB的缩写。另外，ADSL是非对称数字用户线的缩写。

<4：总结>

最后，将会简要描述根据本发明实施例的技术内容。这里陈述的技术内容能够应用于各种信息处理设备，诸如个人计算机、移动电话、便携式游戏机、便携式信息终端、信息机器、汽车导航系统等。

上述信息处理设备的功能结构能够如下表示。该信息处理设备如下包括图像捕捉单元、运动检测单元、运动预测单元、图像数据显示单元和运动校正单元。图像捕捉单元用于捕捉用户的脸的图像。此外，运动检测单元用于检测其图像已经由图像捕捉单元捕捉的脸的运动。以这种方式，由运动检测单元检测脸的运动，由此检测信息处理设备和用户的脸之间的相对运动。

此外，运动预测单元用于基于由运动检测单元按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动。另外，图像数据显示单元用于显示图像数据。另外，运动校正单元用于对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据。也就是说，按照消除脸对于信息处理设备的相对运动的方式移动图像数据。结果，即使信息处理设备和用户的脸都移动，也能够减小图像数据相对于用户的注视点的运动并且能够减小用户的疲劳。

(注释)

捕捉图像数据获取单元112是图像捕捉单元、运动检测单元和注视点检测单元的例子。用户状态检测单元115和滤波单元116是运动预测单元的例子。滤波单元116、校正矢量产生单元117和运动补偿单元118是运动校正单元的例子。滤波单元116是保护区域设置单元和注视区域确定单元的例子。

本领域技术人员应该理解，在不脱离权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。

本申请包含与2010年6月7日提交给日本专利局的日本优先权专利申请JP2010-130436公开的主题相关的主题，该专利申请的全部内容包含于此以资参考。

Claims (5)

1.一种图像稳定装置，包括：

图像捕捉单元，用于捕捉用户的脸的图像；

运动检测单元，用于检测其图像已经被图像捕捉单元所捕捉的脸的运动；

运动预测单元，用于基于由运动检测单元按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；

图像数据显示单元，用于显示图像数据；

运动校正单元，用于对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据；

注视点检测单元，用于从由图像捕捉单元捕捉的脸的图像检测注视点的位置；以及

保护区域设置单元，用于在图像数据中设置以由注视点检测单元检测的注视点的位置为中心的预定范围的图像区域作为保护区域，

其中运动校正单元对图像数据显示单元执行控制，以在允许显示由保护区域设置单元设置的全部保护区域的范围内，沿消除由运动预测单元预测的脸的运动的方向移动图像数据。

2.一种图像稳定装置，包括：

图像捕捉单元，用于捕捉用户的脸的图像；

运动检测单元，用于检测其图像已经被图像捕捉单元所捕捉的脸的运动；

运动预测单元，用于基于由运动检测单元按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；

图像数据显示单元，用于显示图像数据；

运动校正单元，用于对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据；

注视点检测单元，用于从由图像捕捉单元捕捉的脸的图像检测注视点的位置；以及

注视区域确定单元，用于在图像数据中确定包括存在于由注视点检测单元检测的注视点的位置的显示对象的预定尺寸的注视区域，

其中运动校正单元对图像数据显示单元执行控制，以在允许显示由注视区域确定单元确定的注视区域的范围内，沿消除由运动预测单元预测的脸的运动的方向移动图像数据。

3.如权利要求2所述的图像稳定装置，其中运动校正单元对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据，使得随着显示图像数据的显示屏幕的框和注视区域之间的距离变得更短，脸的运动的消除的程度逐渐变得更小。

4.一种图像稳定方法，包括下述步骤：

图像捕捉步骤，捕捉用户的脸的图像；

运动检测步骤，检测其图像已经在图像捕捉步骤中被捕捉的脸的运动；

运动预测步骤，基于在运动检测步骤中按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；

图像数据显示步骤，显示图像数据；

运动校正步骤，在图像数据显示步骤中执行控制，以沿消除在运动预测步骤中预测的脸的运动的方向移动图像数据；

注视点检测步骤，从由图像捕捉步骤捕捉的脸的图像检测注视点的位置；以及

保护区域设置步骤，在图像数据中设置以由注视点检测步骤检测的注视点的位置为中心的预定范围的图像区域作为保护区域，

其中在运动校正步骤中对图像数据显示单元执行控制，以在允许显示由保护区域设置步骤设置的全部保护区域的范围内，沿消除由运动预测步骤预测的脸的运动的方向移动图像数据。

5.一种图像稳定方法，包括下述步骤：

图像捕捉步骤，捕捉用户的脸的图像；

运动检测步骤，检测其图像已经在图像捕捉步骤中被捕捉的脸的运动；

运动预测步骤，基于在运动检测步骤中按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；

图像数据显示步骤，显示图像数据；

运动校正步骤，在图像数据显示步骤中执行控制，以沿消除在运动预测步骤中预测的脸的运动的方向移动图像数据；

注视点检测步骤，用于从由图像捕捉步骤捕捉的脸的图像检测注视点的位置；以及

注视区域确定步骤，用于在图像数据中确定包括存在于由注视点检测步骤检测的注视点的位置的显示对象的预定尺寸的注视区域，

其中在运动校正步骤中对图像数据显示单元执行控制，以在允许显示由注视区域确定步骤确定的注视区域的范围内，沿消除由运动预测步骤预测的脸的运动的方向移动图像数据。