CN101123445B - 便携式终端及其用户界面控制方法 - Google Patents

Abstract

提供一种便携式终端及其用户界面控制方法。在所述终端和方法中，识别并分析相机拍摄的对象图像的模式。由相机模块拍摄根据便携式终端的动作(移动、远离或靠近用户)改变的第一图像和第二图像。识别第一图像和第二图像的模式。基于识别的模式来分析便携式终端的动作。选择与分析的动作相应的控制命令。执行与选择的控制命令相应的功能。因为便携式终端的动作被直接应用于用户界面控制，所以可直观和简单地使用便携式终端。通过使用安装在便携式终端的相机，可在不需要额外的部分的情况下控制用户界面。此外，本发明可解决当操作传统导航键时造成的问题。

Description

便携式终端及其用户界面控制方法

技术领域

本发明涉及一种便携式终端的用户界面控制技术。更具体地说，本发明涉及一种用于基于对相机拍摄的对象图像的模式识别和模式分析来控制便携式终端的用户界面的方法以及采用该方法的便携式终端。

背景技术

随着通信技术和半导体技术的发展，便携式终端配备有通信功能、用于提供信息的功能、游戏功能等，并且能够在世界范围内使用。所述便携式终端包括：便携式电话、个人数字助理(PDA)、MP3播放器、便携式多媒体播放器(PMP)、数字多媒体广播(DMB)接收机等。

便携式终端已经发展为除了具有它们的通信功能之外，还具有各种功能。例如，便携式终端目前采用相机功能来拍摄图片。然而，传统便携式终端仅具有使用安装在其上的相机拍摄的静止图像或运动图像。

传统便携式终端包括具有四个方向键的导航键，其允许用户搜索菜单或文件，或将它们的相机聚焦。此外，当图像或文本包括多于可在一屏上进行显示的信息时，传统导航键还用于滚动图像或文本。然而，传统导航键的缺点在于：由于它仅允许沿上/下/左/右四种方向的移动，所以难以控制屏幕沿特定方向移动。

发明内容

本发明的一方面在于至少解决上述问题和/或缺点，并至少提供以下描述的优点。因此，本发明的一方面在于提供一种用于增强安装在便携式终端中的相机的使用的方法和设备。

本发明的另一方面在于提供一种用于克服在操作便携式终端的导航键时的限制和不便的设备和方法。

本发明的另一方面在于提供一种用于更加直观和方便地控制便携式终端的用户界面的设备和方法。

根据本发明的一方面，提供一种用于基于对相机拍摄的对象图像的模式识别和模式分析来控制便携式终端的用户界面的便携式终端和方法。

根据本发明的另一方面，提供一种用于控制包括相机模块的便携式终端的用户界面的方法。所述方法包括：通过相机模块拍摄第一图像和第二图像，分别识别第一图像和第二图像的模式，分析识别的模式，基于分析结果选择控制命令并执行与控制命令相应的功能。

根据本发明的另一方面，提供一种用于控制包括相机模块的便携式终端的用户界面的方法。所述方法包括：通过相机模块拍摄根据便携式终端的移动而改变的第一图像和第二图像，分别识别第一图像和第二图像的模式，基于识别的模式分析便携式终端的移动，基于分析结果选择与便携式终端的移动相应的控制命令并执行与控制命令相应的功能。

根据本发明的另一方面，提供一种便携式终端。所述便携式终端包括：相机模块，用于拍摄第一图像和第二图像；模式识别单元，用于分别识别第一图像和第二图像的模式；模式分析单元，用于基于模式识别单元的模式识别结果来分析识别的模式，并用于基于分析结果选择控制命令；以及控制器，用于执行与控制命令相应的功能。

附图说明

通过下面结合附图进行的详细描述，本发明特定示例性实施例的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1A和图1B是示出根据本发明示例性实施例的对相机拍摄的图像的模式识别的概念的示图；

图2是示出根据本发明示例性实施例的便携式终端的示意性框图；

图3是示出根据本发明示例性实施例的用户界面控制方法的流程图；

图4是示出根据本发明示例性实施例的用户界面控制方法的流程图；

图5是示出在图4的示例性控制方法中进行比较的目标点和位移角的位置的示图；

图6A到图6C是示出图4的示例性控制方法的屏幕；

图7A和图7B是示出图4的示例性控制方法的另外的屏幕；

图8A和图8B是示出图4的示例性控制方法的另外的屏幕；

图9是示出根据本发明示例性实施例的用户界面控制方法的流程图；

图10是示出在图9的示例性控制方法中进行比较的目标点的位置以及它们之间的距离增量/减量的示图；

图11A和图11B是示出图9的示例性控制方法的屏幕；

图12A和图12B是示出图9的示例性控制方法的另外的屏幕；

图13是示出根据本发明示例性实施例的用户界面控制方法的流程图；

图14A和图14B是示出图13的示例性控制方法的屏幕；

图15是示出根据本发明示例性实施例的用户界面控制方法的流程图；

图16是示出根据本发明示例性实施例的用户界面控制方法的流程图；以及

图17A到图17C是示出图15和图16的示例性控制方法的屏幕。

在整个附图中，应注意到：相同的标号用于指示相同或相似的部件、特点和结构。

具体实施方式

提供以下参照附图进行的描述，以便有助于全面理解由权利要求及其等同物限定的本发明的示例性实施例。所述描述包括各种有助于理解本发明的具体细节，但是这些细节仅被看作是示例性的。因此，本领域的普通技术人员将认识到：在不脱离本发明的范围和精神的情况下，可对在此描述的实施例进行各种改变和修改。此外，为了清楚和简明，将省略对已知功能和结构的描述。

对相机拍摄的图像的模式识别和模式分析

根据本发明示例性实施例的便携式终端的用户界面控制技术对相机拍摄的图像的基于模式识别和模式分析。因此，示例性便携式终端包括用于拍摄图像的相机(更确切地说，具有图像传感器和信号处理单元等的相机模块)。相机正拍摄的图像必然根据相机的移动而轻微改变。在当前描述中，模式识别指的是识别相机正拍摄的图像的改变，而模式分析指的是从识别的图像改变来检测便携式终端的移动。

可将对相机拍摄的图像的模式识别分为两种类型。一种类型为识别位置改变，另一种类型为识别距离改变。图1A和图1B是示出根据本发明示例性实施例的对相机拍摄的图像的模式识别的概念的示图。具体说来，图1A是示出对位置改变的识别的示图，图1B是示出对距离改变的识别的示图。

以下描述对位置改变的识别。在如图1A所示的示例性实施例中，通过便携式终端100的相机(未示出)拍摄图像10。然后，在便携式终端相对于拍摄图像10的位置移动之后，由便携式终端100拍摄另一图像12。这里，当分别在作为两个图像10和12中的相同对象的点A和A’的位置(x，y)和(x’，y’)之间进行比较时(以下，图像10为第一图像，图像12为第二图像)，第二图像12的点A’相对于第一图像10的点A位于左侧。因此，可确定便携式终端100已向右侧移动。这样，从两个图像10和12中相应点的位置改变，可估计便携式终端100移动的方向。

以下描述对距离改变的识别。在如图1B所示的示例性实施例中，通过便携式终端100的相机拍摄图像14。然后，在便携式终端100向用户靠近之后拍摄另一图像16。这里，当将图像14的两个点A和B之间的距离d与图像16的两个点A’和B’之间的距离d’进行比较时，第二图像16的距离d’小于第一图像14的距离d。因此，可断定便携式终端100从拍摄图像14的位置移开。这样，从与两个图像14和16中的点相应的距离d与d’之间的距离改变，可估计出便携式终端向用户靠近还是远离用户。

这样，本发明的示例性实施例可基于对相机拍摄的图像的模式识别及其模式分析来确定便携式终端是否移动，并允许用户更加容易地控制便携式终端的用户界面。以下，便携式终端的推拉表示便携式终端沿着与它的显示器的屏幕垂直的方向移动(靠近或远离用户)。而便携式终端的移动表示便携式终端沿着除了推拉方向的方向移动。

便携式终端

图2是示出根据本发明示例性实施例的便携式终端的示意性框图。

参照图2，便携式终端100包括：相机模块110、显示器120、键输入单元130、控制器140和存储单元150。

相机模块110实时拍摄对象的图像。也就是说，相机模块110按照顺序拍摄第一图像和第二图像。众所周知，相机模块110可包括：图像传感器、信号处理单元、图像处理单元等。图像传感器将对象图像转换为电信号。信号处理单元将模拟信号转换为数字信号。图像处理单元处理数字信号，以将图像数据显示在显示器120上或将其存储在存储单元150中。

显示器120显示在便携式终端100中执行的各种应用以及应用被执行时所创建的数据。通常，当相机模块110被操作时，图像数据被实时地显示在显示器120上。然而，在执行本发明的示例性控制方法期间，图像数据没有被显示在显示器120上。

键输入单元130输入用户的操作信号以控制便携式终端100的操作。具体说来，键输入单元130包括模式识别执行键132，其允许用户选择是否执行模式识别功能。模式识别执行键132可以通过额外的键来实现，或者通过允许经由给定键之一执行模式识别功能来实现。或者，可通过除用户选择之外的方式来执行模式识别功能，从而可省略模式识别执行键132。

控制器140控制便携式终端100的各个部件的操作。具体说来，控制器140包括模式识别单元142和模式分析单元144。示例性的模式识别单元142接收通过相机模块110拍摄的图像数据以执行模式识别。模式分析单元144基于来自模式识别单元142的模式识别结果来分析模式。模式分析单元144还从所述分析确定便携式终端的移动，以选择与确定的移动相应的控制命令。控制器140执行与在模式分析单元144中选择的控制命令相应的功能。

在示例性实施例中，模式识别单元142可确定两个图像的位置改变。从所述位置改变，模式分析单元144计算图像的移动方向以确定便携式终端100沿着与计算出的图像的移动方向相对的方向移动。响应于此，模式分析单元144选择用于使得显示器120的屏幕的焦点类似于便携式终端100的移动进行移动的控制命令。在另一示例性实施例中，模式识别单元142可识别两个图像的距离改变。对于距离改变，模式分析单元144确定距离增量/减量以确定便携式终端100是远离用户还是靠近用户，响应于此，模式分析模块144选择用于放大或缩小显示器120的屏幕的控制命令。

存储单元150存储在便携式终端100中执行的各种程序和应用以及与其相关的数据。在示例性实施例中，存储单元150包括控制命令列表152。控制命令列表152包括被映射到便携式终端的移动的各种控制命令，所述便携式终端的移动基于模式识别和模式分析而确定。在示例性实施例中，可根据具体应用，将便携式终端的相似移动映射到不同的控制命令。存储单元150还可临时存储由相机模块110拍摄的图像数据。

以下是对便携式终端的示例性控制方法的详细描述。

便携式终端的用户界面控制方法

图3是示出根据本发明示例性实施例的用户界面控制方法的流程图。

参照图2和图3，在步骤S210键入模式识别执行键132。也就是说，用户键入模式识别执行键132，从而便携式终端100可执行模式识别功能。然而，在便携式终端的控制方法中，步骤S210并不总是必要的。也就是说，可在没有步骤S210的情况下实现根据本发明的示例性控制方法。此外，在执行步骤S210之前，可另外执行其它的步骤，下面将在本发明的其它示例性实施例中对此进行描述。

在步骤S220，相机模块110在控制器140的控制下获取第一图像和第二图像，并将它们发送到模式识别单元142。第一图像和第二图像指的是时域中邻近的帧图像。图1A和图1B示出第一图像和第二图像的示例，其中，10和14指的是第一图像，12和16指的是第二图像。

在步骤S230，模式识别单元142分别识别第一图像和第二图像的模式。也就是说，模式识别单元142从第一图像和第二图像提取将被进行比较的相似模式，随后从提取的模式确定信息。例如，如图4所示，模式识别单元142从各个图像提取对比目标点，并确定提取的点的位置，将在下面对此进一步描述。

在步骤S240，模式分析单元144分析识别的模式。也就是说，模式分析单元144对由模式识别单元142确定的第一图像和第二图像的模式信息进行比较，以计算模式改变，并基于模式改变执行确定处理。例如，如图4所示，模式分析单元144计算位移角以确定应用的类型，将在下面对此进一步描述。

在步骤S250，模式分析单元144根据分析结果从控制命令列表152选择相应的控制命令。例如，如图4所示，模式分析单元144根据应用的类型选择涉及四种方向的移动的控制命令或涉及自由方向的移动的控制命令，将在下面对此进一步描述。

在步骤S260，控制器140执行与控制命令相应的功能。例如，如图4所示，当涉及四种方向的移动的控制命令被选择时，控制器140根据所选择的控制命令进行操作。

图4是示出根据本发明示例性实施例的用户界面控制方法的流程图。

参照图4，在步骤S220，相机模块拍摄第一图像和第二图像并将它们发送到模式识别单元。

在步骤S232，模式识别单元分别从第一图像和第二图像提取对比目标点。对比目标点可以是能够容易地区别于其它点的点，例如，具体图案的顶点、交叉点等。对于描述示例性实施例的情况，以下将图1A中所示的两个图像分别称为第一图像10和第二图像12，将A和A’称为对比目标点。

当确定对比目标点时，模式识别单元在步骤S234确定对比目标点的位置。如图1A所示，点A的位置为(x，y)，点A’的位置为(x’，y’)。可将两个位置(x，y)与(x’，y’)之间的关系表示为下面的等式1。

X′＝x+a和Y′＝y+b.           [等式1]

当确定对比目标点的位置时，模式分析单元在步骤S242确定位移角θ。图5示出对比目标点的位置A(x，y)和A’(x’，y’)以及位移角θ。位移角指示位置改变的方向，并且可使用等式2从对比目标点的位置确定位移角。

θ＝tan^-1(b/a)                 [等式2]

例如，如果θ＝30°，则表示相机图像移动了30°或便携式终端沿与相机图像的移动方向相对的方向移动了210°。

在步骤S244，模式分析单元确定当前执行的应用的类型。因为尽管存在便携式终端的相似移动，但是可根据采用的应用将它们映射到不同的控制命令，所以进行对应用的类型的确定。存在各种可应用本发明的控制方法的应用，例如，图6A到图6C中示出的菜单列表300、图7A和图7B中示出的文件列表400以及图8A和图8B中示出的图像文件500等。本发明可应用于其它应用，诸如，消息书写/检查窗口、文档文件、音乐文件和游戏等，由于本发明的控制方法可应用于各种应用，所以有必要在选择控制命令之前确定应用的类型。

根据确定的位移角和应用的类型，模式分析单元在步骤S252或S254选择与其相应的控制命令。表1描述根据本发明示例性实施例的控制命令列表。

[表1]

如表1所述，当应用的类型是菜单列表或文件列表时，模式分析单元在步骤S252根据位移角选择涉及四种方向的移动的控制命令。当应用的类型是图像文件时，模式分析单元在步骤S254不受方向限制地根据位移角选择涉及自由方向的移动的控制命令。

在步骤S260，控制器执行与选择的控制命令相应的功能。通过图6A到图6C、图7A和图7B以及图8A和图8B中的屏幕示出执行上述过程的示例。

当应用是菜单列表并且位移角处于45°<θ<135°的条件下时，如表1中所述，控制命令为“将焦点移到下面的菜单”。也就是说，如图6A所示，在焦点320位于主菜单I310的第一菜单的状态下，便携式终端向下移动，从而位移角处于45°<θ<135°的条件下。因此，控制器将焦点320向下移动，如图6B所示。

当应用是菜单列表并且位移角处于135°<θ<225°的条件下时，如表1中所述，控制命令为“显示下一列表”。也就是说，如图6A所示，在焦点320位于主菜单I310的第一菜单的状态下，便携式终端向右移动，从而位移角处于135°<θ<225°的条件下。因此，控制器显示下一主菜单II330和它的子菜单，如图6C所示。

当应用是文件列表并且位移角处于135°<θ<225°的条件下时，如表1中所述，控制命令为“将焦点移到下一文件”。也就是说，如图7A所示，在焦点410位于一文件上的状态下，便携式终端向右移动，从而位移角处于135°<θ<225°的条件下。因此，控制器将焦点410移到下一文件，如图7B所示。

当应用是如表1所示的图像文件时，控制命令为“根据相应的位移角来移动焦点”。如图8A所示，焦点510位于显示窗口520的一部分，显示屏幕530详细显示焦点510中的图像。在这种状态下，当便携式终端沿任何方向移动时，位移角被确定为基于与便携式终端的移动相对的方向的值。作为示例，在相应于便携式终端的移动方向而移动光标510时，如图8B，控制器将光标510中的图像显示在显示屏幕530上。这里，焦点可沿任何方向自由地移动，类似于计算机鼠标的移动。

图9是示出根据本发明示例性实施例的用户界面控制方法的流程图。

参照图9，检测从拍摄的第一图像和第二图像提取的对比目标点的位置，如先前示例的步骤S234所示。在示例性实施例中，将两个目标点进行比较。例如，将图1B中所示的两个图像分别称为第一图像14和第二图像16。点A和B是第一图像14的对比目标点，点A’和B’是第二图像16的对比目标点。此外，点A和B分别具有位置(x，y)和(u，v)。此外，点A’和B’分别具有位置(x’，y’)和(u’，v’)。

当确定对比目标点的位置时，模式分析单元在步骤S642确定距离增量/减量Δd。如果将d定义为第一图像14中的两个点A与B之间的距离，将d’定义为第二图像16中的两个点A’与B’之间的距离，则可将距离增量/减量Δd表示为下面的等式3。图10示出对比目标点的位置以及它们之间的距离增量/减量。

$d=\sqrt{{(x-u)}^2+{(y-v)}^2},$ Δd＝d-d′[等式3]

当距离增量/减量被确定时，模式分析单元在步骤S644确定距离增量/减量为正还是负。当距离增量/减量大于0时，或第一图像14中的距离d大于第二图像16中的距离d’时，表示便携式终端向用户靠近。相反，当距离增量/减量小于0时，或第一图像14中的距离d小于第二图像16中的距离d’时，表示便携式终端远离用户。

在步骤S652和S654，模式分析单元选择与距离增量/减量的确定结果相应的控制命令。也就是说，当距离增量/减量为正时，模式分析单元在步骤S652选择用于屏幕放大的控制命令，当距离增量/减量为负时，模式分析单元在步骤S654选择用于屏幕缩小的控制命令。如先前所述，可按照以下方式实现模式分析单元：确定应用的类型，随后仅为适当的应用选择控制命令。

在选择控制命令之后，控制器在步骤S260执行与其相应的功能，其中，通过图11A和图11B以及图12A和图12B中的屏幕示出上述过程。

图11A示出便携式终端的屏幕，其中，多个图像文件420被列在文件列表400上，并且焦点410位于特定文件。在这种状态下，当便携式终端向用户靠近时，距离增量/减量被确定为正值，由此，控制命令放大屏幕上的图像。所以，如图11B所示，控制器基于焦点410所在的文件在屏幕上放大并显示图像。

图12A示出显示图像文件500的屏幕，其中，焦点510所在的显示窗口520被显示，并且显示屏幕530详细显示焦点510中的图像。在这种状态下，当便携式终端远离用户时，距离增量/减量被计算为负值，由此，控制命令缩小屏幕上的图像。如图12B所示，随着焦点510的大小被放大，控制器缩小在焦点510中的图像以将其显示在显示屏幕530上。

作为另一示例，如果应用是用于包括字符或消息书写/检查(附图中未示出)的文档文件的窗口时，则使用屏幕放大/缩小功能来增加或减少字符的字体大小。

图13是示出根据本发明示例性实施例的用户界面控制方法的流程图。

在示例性实施例中，根据便携式终端的移动来控制焦点和屏幕的移动方向，随着便携式终端远离和靠近用户，控制焦点和屏幕的放大/缩小。

参照图13，检测从拍摄的第一图像和第二图像提取的对比目标点的位置，类似于如先前所述的步骤S234。对比目标点的数量至少为两个或以上。

在步骤S742，模式分析单元计算平均位移和距离改变。如图10所示，两个点A和B在第一图像中并分别具有位置(x，y)和(u，v)。另两个点A’和B’在第二图像中并分别具有位置(x’，y’)和(u’，v’)。这里，可使用等式4表示点A与A’之间的距离p以及点B与B’之间的距离q。

$p=\sqrt{{(x-x\&prime;)}^2+{(y-y\&prime;)}^2}$ [等式4]

这里，p和q分别是位移。此外，m表示平均位移或p与q之间的平均值。

平均位移基于第一图像指示第二图像的移动。距离改变被定义为距离增量/减量的绝对值。距离改变基于第一图像指示第二图像远离或靠近用户的程度。

当平均位移和距离改变被确定时，模式分析单元在步骤S744将它们彼此比较。当平均位移大于距离改变时，表示便携式终端的移动距离大于推或拉的距离。相反，当平均位移小于距离改变时，表示便携式终端的移动距离小于推或拉的距离。

在步骤S752和S754，模式分析单元确定适当的与比较结果相应的控制命令。也就是说，当平均位移大于距离改变时，模式分析单元在步骤S752选择用于方向移动的控制命令。当距离改变大于平均位移时，模式分析单元在步骤S754选择用于放大/缩小图像的控制命令。

如图所示，当具有相机的便携式终端被移动以控制其自身时，本发明的示例性实施例可同时执行方向移动功能和放大/缩小功能。也就是说，可如先前参照图4所述来控制便携式终端的方向移动功能，并如先前参照图9所述来控制便携式终端的放大/缩小功能。因此，为了简明，将省略对控制所述功能的描述。

在步骤S260，控制器执行与选择的控制命令相应的功能，其中，通过图14A和图14B示出上述过程。

图14A示出显示文档文件800的屏幕，其中，焦点810位于显示窗口820内，并且显示屏幕830显示来自焦点810的文档内容。在这种情况下，当便携式终端向用户靠近时，如图14B所示，随着焦点810的大小的缩小，控制器放大来自焦点810的内容，并将其显示在显示屏幕830上。在这种状态下，当便携式终端被移动时，随着焦点810改变它的位置，显示屏幕830还显示其改变的文档内容。

图15是示出根据本发明示例性实施例的用户界面控制方法的流程图。

在示例性实施例中，向用户通知是否可通过模式识别来控制便携式终端的当前状态。

参照图15，在如先前参照图3所述的模式识别执行键在步骤S210被输入以拍摄图像之前，示例性实施例在步骤S202执行特定应用。

在特定应用在控制器的控制下被执行的状态下，控制器在步骤S204确定当前执行的应用是否可执行模式识别。当应用可执行模式识别时，控制器在步骤S206使用图标等将“模式可识别”显示在显示屏幕上。当应用不能执行模式识别时，控制器在步骤S208将“模式不可识别”显示在显示屏幕上。

图17A和图17B示出本发明的上述示例性实施例的示例。图17A示出指示可进行模式识别的应用900正在执行的状态的模式识别图标910。根据随后是否在步骤S210输入了模式识别执行键，模式识别图标910可被显示为其它形式。例如，图17A的图标910指示模式识别执行键被输入之前的状态，图17B的图标920指示模式识别执行键被输入的状态。可按照以下方式来实现910和920这两个图标：可通过亮度、颜色等将所述两个图标彼此区分。

同时，当执行的应用不能执行模式识别时，显示屏显示指示不能执行模式识别的图标(未示出)或者不显示910或920中的任何一个。

可在不进行模式识别执行键被输入的步骤S210的情况下实现本发明的上述实施例。在这种情况下，在图3的拍摄图像的步骤S220之前，执行通过步骤S204、S206和S208确定并显示执行的应用是否能够执行模式识别的状态的处理。

图16是示出根据本发明示例性实施例的用户界面控制方法的流程图。

如参照图16所述，示例性实施例包括在相机的图像中，模式识别失败的情况。例如，如果拍摄的对象(诸如白墙)的图像没有显示出其中的明显特点，则难以提取模式。因此，在这种图像的情况下，模式识别会失败。

参照图16，在步骤S230执行关于各个图像的模式识别，如先前参照图3所述。在步骤S236，确定模式识别是否已经成功。当模式识别已经成功时，在步骤S240执行模式分析，如在图3的实施例中所述。相反，当模式识别失败时，显示屏幕在步骤S238将失败状态显示在显示器上。

图17C示出当模式识别失败时的屏幕。如图所示，显示屏幕使用图标930和/或短语940来指示模式不可识别。

如上所述，实现便携式终端的示例性实施例，以按照与便携式终端移动的相同方向在显示屏幕上移动焦点，并当便携式终端远离和靠近用户时缩小/放大显示的图像。也就是说，当分析结果确定便携式终端被移动时，控制器选择涉及作为便携式终端移动的相同方向的方向的控制命令。当分析结果确定便携式终端远离和靠近用户时，控制器选择涉及当便携式终端远离和靠近用户时，分别缩小和放大显示的图像的控制命令。

同时，可按照以下方式来修改根据本发明的便携式终端的示例性实施例：可与便携式终端的移动方向相对地移动显示屏幕上的焦点，并且当便携式终端远离和靠近用户时，可放大/缩小显示图像。也就是说，当分析结果确定便携式终端被移动时，控制器选择涉及与便携式终端的移动方向相对的移动方向的控制命令。当分析结果确定便携式终端远离和靠近用户时，控制器选择涉及当便携式终端远离和靠近用户时，分别放大和缩小显示的图像的控制命令。

可分别将上述两种选择定义为一般模式和相对模式。可将本发明的控制方法实现为还包括选择这两种模式中的一种。

此外，根据本发明的便携式终端包括：便携式电话、PDA、MP3播放器、PMP、DMB接收机等。然而，本发明并不受限于所列出的装置，而且，可将本发明应用于采用按钮但不将键盘和鼠标用作一般输入装置的各种类型的便携式终端。

本发明可使用安装在便携式终端中的相机来控制用户界面。具体说来，本发明扩展了便携式终端的相机的应用以及对静止图像或运动图像的拍摄。由于本发明实际上使用相机拍摄的图像，所以不需要额外的部分，诸如运动识别传感器等。因此，本发明可减小便携式终端的大小，简化生产过程并降低价格等。

此外，本发明可解决当传统导航键被操作时造成的问题。也就是说，显示在屏幕上的焦点可不受移动方向的限制自由地操作并且可在上/下/左/右方向进行操作，如同通过鼠标进行操作。

另外，由于将便携式终端的移动或便携式终端相对于用户的远离和靠近直接应用于用户界面控制，所以可直观和简单地使用便携式终端。

尽管已参照本发明的某些示例性实施例示出和描述了本发明，但是本领域的技术人员将理解：在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。

Claims (23)

1.一种包括相机模块的便携式终端的用户界面控制方法，所述方法包括：

通过相机模块拍摄第一图像和第二图像；

通过计算分别从第一图像和第二图像提取的目标点的位置来识别第一图像和第二图像的模式；

通过基于所述目标点的位置计算位移角θ来分析识别的模式；

基于分析结果选择控制命令；以及

执行与控制命令相应的功能，

其中，第一图像中的目标点的位置为(x，y)，第二图像中的目标点的位置为(x+a，y+b)，位移角θ指示目标点(x，y)与目标点(x+a，y+b)之间的位置改变的方向。

2.如权利要求1所述的方法，其中，拍摄第一图像和第二图像的步骤包括：输入模式识别执行键。

3.如权利要求1所述的方法，其中，计算位移角θ的步骤包括：通过θ＝tan^-1(b/a)来确定θ。

4.如权利要求3所述的方法，其中，分析识别的模式的步骤还包括：确定当前执行的应用的类型。

5.如权利要求4所述的方法，其中，应用包括以下内容的至少一种：菜单列表、文件列表、图像文件、消息书写/检查窗口、文档文件、音乐文件和游戏。

6.如权利要求1所述的方法，其中，选择控制命令的步骤包括：根据位移角θ选择涉及四种方向的移动的控制命令以及涉及自由方向的移动的控制命令中的至少一个。

7.如权利要求1所述的方法，其中，控制命令包括显示前一列表、将焦点移到下面的菜单、显示下一列表和将焦点移到上面的菜单中的至少一个，所述控制命令分别对应于以下条件：-45°＜θ＜45°、45°＜θ＜135°、135°＜θ＜225°和225°＜θ＜315°。

8.如权利要求1所述的方法，其中，控制命令包括将焦点移到前一文件、将焦点移到下面的文件、将焦点移到下一文件和将焦点移到上面的文件中的至少一个，所述控制命令分别对应于以下条件：-45°＜θ＜45°、45°＜θ＜135°、135°＜θ＜225°和225°＜θ＜315°。

9.如权利要求1所述的方法，其中，控制命令为根据相应的位移角来移动焦点。

10.如权利要求1所述的方法，还包括：

确定当前执行的应用是否能够执行模式识别；以及

显示当前执行的应用是否能够执行模式识别的状态。

11.如权利要求10所述的方法，其中，显示状态的步骤包括：当当前执行的应用能够执行模式识别时，显示模式识别图标。

12.如权利要求1所述的方法，还包括：

确定模式识别是否已成功；以及

当模式识别没有成功时，显示“模式不可识别”。

13.如权利要求12所述的方法，其中，显示“模式不可识别”的步骤包括：显示图标和短语中的至少一个。

14.一种包括相机模块的便携式终端的用户界面控制方法，所述方法包括：

通过相机模块拍摄第一图像和第二图像；

通过计算分别从第一图像和第二图像提取的目标点的位置来识别第一图像和第二图像的模式；

通过从所述目标点的位置计算距离增量/减量Δd，并确定距离增量/减量Δd包括正值还是负值来分析识别的模式；

基于分析结果选择控制命令；以及

执行与控制命令相应的功能，

其中，第一图像中的目标点的位置为(x，y)和(u，v)，第二图像中的目标点的位置为(x′，y′)和(u′，v′)，距离增量/减量Δd的绝对值基于第一图像指示第二图像远离或靠近用户的程度。

15.如权利要求14所述的方法，其中，计算距离增量/减量Δd的步骤包括通过以下等式确定Δd：

$d=\sqrt{{(x-u)}^2+{\left(y-v\right)}^2},d^{\&prime;}=\sqrt{{(x^{\&prime;}-u^{\&prime;})}^2+{(y^{\&prime;}-v^{\&prime;})}^2},$ Δd＝d-d′。

16.如权利要求14所述的方法，其中，选择控制命令的步骤包括：当距离增量/减量为正时选择屏幕放大，当距离增量/减量为负时选择屏幕缩小。

17.一种包括相机模块的便携式终端的用户界面控制方法，所述方法包括：

通过相机模块拍摄第一图像和第二图像；

通过计算分别从第一图像和第二图像提取的目标点的位置来识别第一图像和第二图像的模式；

通过从所述目标点的位置计算平均位移m和距离改变，并将平均位移m与距离改变进行比较来分析识别的模式；

基于分析结果选择控制命令；以及

执行与控制命令相应的功能，

其中，第一图像中的目标点的位置为(x，y)和(u，v)，第二图像中的目标点的位置为(x′，y′)和(u′，v′)，平均位移m基于第一图像指示第二图像的移动，距离改变基于第一图像指示第二图像远离或靠近用户的程度。

18.如权利要求17所述的方法，其中，计算平均位移m的步骤包括通过下面的等式来计算m：

$p=\sqrt{{\left({x-x}^{\&prime;}\right)}^2+{\left({y-y}^{\&prime;}\right)}^2},q=\sqrt{{\left({u-u}^{\&prime;}\right)}^2+{\left({v-v}^{\&prime;}\right)}^2},$

其中，距离改变是通过下面的等式计算的距离增量/减量Δd的绝对值： $d=\sqrt{{(x-u)}^2+{\left(y-v\right)}^2},d^{\&prime;}=\sqrt{{(x^{\&prime;}-u^{\&prime;})}^2+{(y^{\&prime;}-v^{\&prime;})}^2},$ Δd＝d-d′。

19.如权利要求17所述的方法，其中，选择控制命令的步骤包括：当平均位移大于距离改变时选择方向移动，当距离改变大于平均位移时选择屏幕放大/缩小。

20.一种包括相机模块的便携式终端的用户界面控制方法，所述方法包括：

通过相机模块拍摄与便携式终端的动作相应的第一图像和第二图像；

通过计算分别从第一图像和第二图像提取的目标点的位置来识别第一图像和第二图像的模式；

通过基于所述目标点的位置计算位移角θ来基于识别的模式分析便携式终端的动作；

选择与所分析的便携式终端的动作相应的控制命令；以及

执行与控制命令相应的功能，

其中，第一图像中的目标点的位置为(x，y)，第二图像中的目标点的位置为(x+a，y+b)，位移角θ指示目标点(x，y)与目标点(x+a，y+b)之间的位置改变的方向。

21.如权利要求20所述的方法，其中，选择控制命令的步骤包括：当分析确定便携式的动作为移动时，选择与便携式终端移动的方向相应的方向移动。

22.如权利要求20所述的方法，其中，选择控制命令的步骤包括：当分析确定便携式的动作为移动时，选择与便携式终端的移动方向相对的方向移动。

23.一种便携式终端，包括：

相机模块，用于拍摄第一图像和第二图像；

模式识别单元，用于通过计算分别从第一图像和第二图像提取的目标点的位置来分别识别第一图像和第二图像的模式；

模式分析单元，用于通过基于所述目标点的位置计算位移角θ来基于模式识别单元的模式识别结果来分析识别的模式，并用于基于分析结果选择控制命令；以及

控制器，用于执行与控制命令相应的功能，

其中，第一图像中的目标点的位置为(x，y)，第二图像中的目标点的位置为(x+a，y+b)，位移角θ指示目标点(x，y)与目标点(x+a，y+b)之间的位置改变的方向。

Images