CN100383717C - 便携式终端及用于其的数据输入方法 - Google Patents

Abstract

一种用于通过简单地使用二维图像传感器而不用将虚拟输入装置投影来检测和分析用户输入装置的动作从而从虚拟输入装置接收数据的方法和设备。在用于通过虚拟输入装置从用户输入装置接收数据的便携式终端中，图像传感器感测用户输入装置的图像。图像分析器从该图像检测用户输入装置的位置和动作。数据输入判定器基于该位置和动作判定输入的数据。显示器将虚拟输入装置和用户输入装置的图像一起显示。初始化器设置用于用户输入装置的初始动作范围和初始特征图像。

Description

便携式终端及用于其的数据输入方法

技术领域

本发明总体上涉及一种便携式终端及用于其的数据输入方法，更具体地讲，涉及一种用于通过使用二维图像传感器而不用将虚拟输入装置投影来检测和分析用户输入装置的动作来从虚拟输入装置接收数据的方法和设备。

背景技术

由于便携式终端的小型化，所以一般用于便携式终端的输入装置具有有限的输入能力。为了扩展输入能力，外部扩展的输入装置连接到便携式终端。例如，现有外部输入装置包括广泛使用的英文键盘和虚拟输入装置。

图1示出连接到外部输入装置的传统的便携式终端。参照图1，外部输入装置12通过用于有线/无线通信的通信端口连接到便携式终端11。用户分开携带外部输入装置12但是需要用于将外部输入装置12连接到便携式终端11的连接器13。因此，这类外部输入装置引起不便并妨碍易便携性。

图2示出使用虚拟输入装置的另一传统的便携式终端。参照图2，虚拟输入装置22的图像从便携式终端21的投影器27投影。当用户在虚拟输入装置22上打字时，传感器23、24和25感测用户手26的动作并识别输入的数据。这种输入方法需要投影器27和用于感测用户手26的动作的传感器23、24和25，并且传感器23、24和25感测手的动作的精确程度是重要的。

如图2所示，使用虚拟输入装置接收数据的传统的便携式终端通常使用多个传感器三维地感测手的动作。然而，需要投影器和多个传感器使便携式终端的结构复杂，从而便携式终端不方便用户使用。另外，部件的增加会增加装置的成本。而且，虚拟输入装置的使用取决于投影器和传感器的位置而受到限制。

发明内容

因此，提出本发明主要解决至少上述问题和/或缺点并提供至少下面的优点。因此，本发明的一个目的是在便携式终端中使用虚拟输入装置来提供数据接收，不需要将附加的外部输入装置连接到便携式终端。

本发明的另一个目的是在便携式终端中通过分析用户的动作而不用将虚拟输入装置的图像投影来提供数据接收。

本发明的另一个目的是在便携式终端中通过二维图像传感器感测用户的动作来提供虚拟数据接收。

通过提供一种用于通过简单地使用二维图像传感器不用将虚拟输入装置投影来检测和分析用户输入装置的动作从而从虚拟输入装置接收数据的方法和设备，来实现上述和其它目的。

根据本发明的一方面，在一种用于通过虚拟输入装置从用户输入装置接收数据的便携式终端中，图像传感器感测用户输入装置的图像并输出图像数据。图像分析器从图像数据检测用户输入装置的位置数据和动作数据。数据输入判定器基于位置数据和动作数据判定通过虚拟输入装置接收的数据。显示器将虚拟输入装置和用户输入装置的图像数据一起显示。初始化器根据虚拟输入装置的尺寸和用户输入装置的动作范围之间的比率设置用于用户输入装置的初始动作范围，并且根据虚拟输入装置的类型设置用于用户输入装置的初始特征图像，以用于数据输入。

根据本发明的另一方面，在一种在具有图像传感器和显示器的便携式终端中通过虚拟输入装置从用户输入装置接收数据的方法中，根据显示器的尺寸和用户输入装置的动作范围之间的比率设置用于用户输入装置的初始动作范围，并根据虚拟输入装置的类型设置用于用户输入装置的初始特征图像，以用于数据输入。从由图像传感器感测到的用户输入装置的图像数据检测用户输入装置的特征图像的位置数据，并通过分析特征图像的光流来检测用户输入装置的特征图像的动作数据。基于位置数据和动作数据判定通过虚拟输入装置接收的数据。

根据本发明的另一方面，在一种用于通过虚拟输入装置从用户输入装置接收数据的便携式终端中，图像传感器感测用户输入装置的图像并输出图像数据。图像分析器从图像数据检测用户输入装置的位置和动作。数据输入判定器基于用户输入装置的位置和动作判定通过虚拟输入装置接收的数据。初始化器设置用于用户输入装置的初始动作范围和初始图像。可还包括用于显示虚拟输入装置的形状的显示器。初始化器根据由显示在显示器上的点限定的区域和用户输入装置的动作范围之间的比率来设置用于用户输入装置的初始动作范围。

根据本发明的另一方面，在一种在具有图像传感器和显示器的便携式终端中通过虚拟输入装置从用户输入装置接收数据的方法中，设置用于用户输入装置的初始图像和初始动作范围。感测用户输入装置的图像。从感测的图像检测用户输入装置的位置和动作。基于用户输入装置的位置和动作判定通过虚拟输入装置接收的数据。

附图说明

从下面结合附图对本发明详细的描述中，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1示出连接到外部输入装置的传统的便携式终端；

图2示出使用虚拟输入装置的另一传统的便携式终端；

图3是示出根据本发明的便携式终端的框图；

图4示出根据本发明的对用户输入装置的图像初始化的示例性显示；

图5示出根据本发明的对用户输入装置的动作范围初始化的示例性显示；

图6示出为了用户输入装置的动作范围初始化而显示的例子；

图7示出用于用户输入装置的动作范围初始化的用户操作的例子；

图8是图3中示出的图像分析器的框图；

图9示出根据本发明的被识别的原始图像数据的例子；

图10示出根据本发明的被边缘检测的图像数据的例子；

图11示出根据本发明的被识别的原始图像数据的另一例子；

图12示出根据本发明的被颜色检测的图像数据的例子；

图13示出根据本发明的被边缘检测的图像数据的另一例子；

图14示出根据本发明的检测到最终位置的图像数据的例子；

图15示出根据本发明的光流分析的例子；

图16是示出根据本发明的使用虚拟输入装置的数据输入方法的流程图。

具体实施方式

下面将参照附图在这里描述本发明的优选实施例。在下面的描述中，由于公知的功能或结构可在非必要的细节上使本发明变得模糊，所以将省略对其的详细描述。

这里使用的术语“虚拟输入装置”指与传统的输入装置相似的输入装置，与用户通过其直接输入数据的例如按钮、鼠标或触摸屏等具有硬件配置的标准输入装置相比，虽然虚拟输入装置没有以硬件的方式配置，但是认为它虚拟地存在于便携式终端外部。因此，为了使用肉眼看不见的虚拟输入装置，需要感测在虚拟输入装置上输入数据的用户输入装置的图像。

另外，“用户输入装置”指用于通过用户输入数据的装置。在本发明中，它可以是例如用户的手或手指等人身体的一部分或象笔或杆类物的随着用户的手移动的工具。

图3是示出根据本发明的便携式终端的框图。参照图3，本发明的便携式终端包括图像传感器31、初始化器32、图像分析器33、显示器34和数据输入判定器35。图像传感器31是用于感测用户输入装置的动作的二维传感器。数据输入判定器35能够根据用户的请求使用户选择将被使用的虚拟输入装置的类型，并根据选择的虚拟输入装置控制初始化器32。因为该选择是在虚拟输入装置对用户仍然不可用的状态下做出的，所以用户最好通过按下特定键或通过语音识别来选择虚拟输入装置的类型。如果仅有一种虚拟输入装置可用，则可以省略该操作。任何虚拟形式的现有输入装置例如键盘、鼠标、操纵杆和遥控器等可被设置为虚拟输入装置类型。

在用户使用虚拟输入装置输入数据之前，初始化器32预先检测用户输入装置的动作范围和图像，并和图像传感器31一起设置用于用户输入装置的初始图像和动作范围。在本发明中，因为必须不用将虚拟输入装置投影来分析用户输入装置的动作，所以在通过虚拟输入装置输入数据之前找出用户输入装置的位置和图像是重要的。这样做是为了使当用户一边观看在显示装置34上的虚拟输入装置和用户输入装置的图像一边输入数据时可产生的误差最小。

初始化分为图像初始化和动作范围初始化，在图像初始化中，初始设置用户输入装置的图像以有利于根据用户输入装置的类型感测来自用户输入装置的动作的数据输入动作，在动作范围初始化中，初始设置用户输入装置的动作范围。在图像初始化中，因为用户输入装置的类型根据选择的虚拟输入装置的类型确定，并且用户输入装置根据用户在尺寸和形状上不同，所以为了更加精确的数据输入，在数据输入之前预先感测用户输入装置的图像。可预料的是对于每一虚拟输入装置类型，仅数据输入所需要的用户输入装置的部分的特征被检测，从而当在图像分析器33中相对于数据输入来分析用户输入装置的图像时，可减少将被处理的图像数据的量。例如，如果用户选择键盘作为虚拟输入装置，则显示器34将键盘的图像和手图像一起显示为用户输入装置，如图4所示。然后，用户将他的手与手图像对齐，并且初始化器32存储用户手指的形状。因为键盘通过手指触碰来输入数据，所以初始化器32专门存储手指甲部分。图像分析器33从用户输入装置接收的图像数据中仅分析由初始化器32设置的手指甲部分的图像，而不处理全部图像数据。可重复这种图像初始化以增加初始化精度。

图5示出根据本发明的用于用户输入装置的动作范围初始化的示例性显示。在动作范围初始化中，如图5所示，计算显示器34的屏幕尺寸和用户输入装置在虚拟输入装置上的动作范围之间的比率，并且根据该比率将用户输入装置显示在屏幕上。因此，沿着x轴和y轴将用户输入装置的动作范围初始化。初始化器32显示用户输入装置的图像和用于在显示器34上初始化所需要的点，并且提示用户选择相应的初始化点。例如，参照图6，点a、b、c、d和e显示在显示器34上，并且用户使用用户输入装置(这里指手)在将使用虚拟输入装置的位置触碰点a、b、c、d和e。参照图7，用户在将使用虚拟输入装置的位置准确地按下点a′、b′、c′、d′和e′。图像传感器31感测这些点，并且初始化器32计算由点a、b、c、d和e限定的区域和由点a′、b′、c′、d′和e′限定的区域之间的比率，然后确定用户输入装置的动作范围。

可对任何类型的虚拟输入装置执行上述初始化过程。例如，虽然用于传统计算机的键盘和用于象个人数字助理(PDA)的小尺寸终端的键盘在尺寸上不同，但是根据本发明的初始化能够基于键盘和屏幕尺寸之间的尺寸比率使这些键盘显示在显示器34上。因此，为了使初始化更加精确，可重复用于用户输入装置的动作范围初始化。

与选择虚拟输入装置类型相似，当用户使用特定键或通过语音识别请求初始化时，可执行图像初始化和动作范围初始化。因为在选择虚拟输入装置类型之后执行这些初始化，所以可通过在显示器34上为虚拟输入装置设置的菜单执行这些初始化。

在初始化之后，选择的虚拟输入装置和用户输入装置显示在显示器34上。因此，用户在显示器34上在观看他的输入装置的同时可通过虚拟输入装置输入数据。

图像分析器33通过边缘检测、颜色检测和光流分析从自图像传感器31接收的图像数据分析用户输入装置的动作和位置。为了这个目的，如图8所示，图像分析器33设置有边缘检测器81、颜色检测器82和光流分析器83。

参照图8，边缘检测器81通过从图像数据检测边缘来确定用户输入装置的位置。在作为光的分布的图像数据的边缘，像素值变化很大，并且具有不同明度的另一物体或边在边缘开始。边缘检测器81计算相邻像素之间的明度差，并且如果该明度差等于或大于预定阈值，则确定它们是边缘。例如，如果从图9中所示的原始图像中检测到边缘，则如图10中所示，在图中的背景和物体的边界变得更加明显。

颜色检测器82从图像数据中检测颜色，并确定用户输入装置的位置。为了检测颜色，物体颜色分量的范围，即，亮度分量Y和两个色差分量U和V被设置，图像数据的像素颜色与颜色阈值范围相比较，处理的像素按组和尺寸划分，接着通过区域中心方法计算用户输入装置的位置。更具体地讲，设置用于物体(即，用户输入装置)的各个颜色分量的颜色范围。对于RGB(红、绿和蓝)颜色空间，最好使用颜色的直方图分布来设置RGB分量的上下界限。二维图像数据的每个像素与颜色范围相比较，并且存储落在该颜色范围内的所有像素的位置。从图11中所示的原始图像中检测作为用户输入装置的用户手的颜色产生如图12中所示的图像。

根据本发明，可用边缘检测或颜色检测来确定用户输入装置的位置。优选地，使用两种检测方法以精确地定位用户输入装置。即，使用从边缘检测器81和颜色检测器82输出的数据最终确定用户输入装置的位置。

例如，在颜色检测方法中，从自图像传感器31接收的全部图像数据中检测用户输入装置的位置，这将使用相对短的时间，并且这部分被设置为搜索区域121，如图12所示。接着，边缘检测方法仅仅应用于如图13所示的全部图像数据中的搜索区域121内的图像，从而更精确地检测用户输入装置的位置。

如果虚拟输入装置是键盘，并且用户输入装置是用户的手，则颜色检测器82从全部图像中检测手的位置，然后边缘检测器81在检测的位置处检测手的边缘。因此，精确快速地检测到直接与打字相关的手指的位置。

边缘检测和颜色检测在数据输入判定器35的控制下执行。根据虚拟输入装置和用户输入装置的类型，可适当地使用边缘检测器81和颜色检测器82，从而精确地定位用户输入装置。

光流分析器83使用光流分析用户输入装置的动作。因此，可基于由边缘检测器81和颜色检测器82检测到的用户输入装置的位置检测数据输入动作。然而，为了更加精确地分析，本发明还使用光流。

在检测运动物体中必不可少的光流指速度矢量，即，相邻的图像数据之间的像素的相对位移。使用光流，在连续的图像数据中提取在预定位置处的连续帧之间的映射关系。因此，在本发明中，光流能够将用户输入装置的数据输入动作与任何其它动作区分。

更具体地讲，象在键盘上打字或按下按钮的数据输入动作表现的特征在于与任何其它标准动作相比，在数据输入时间点该动作迅速地保持静态。因此，在本发明中通过光流可将数据输入动作和任何其它标准动作区分。使用键盘作为虚拟输入装置，指尖是用户输入装置最重要的部分。因此，如图14所示，一旦通过边缘检测和颜色检测确定了手指的位置，则计算在手指部分的光流，从而容易地确定数据是否已经被输入。

图15示出为了获得手指部分的光流而从当前帧图像数据的光流中减去先前帧图像数据的光流得到的差。即，本发明基于涉及数据输入的手指的光流变化率与其它手指的光流变化率不同的原理。从其检测光流的帧的数量根据虚拟输入装置和用户输入装置的类型变化。将光流检测结果和上述边缘检测以及颜色检测结果结合导致用户输入装置的动作的更精确的检测。

图像分析器33使用学习软件通过学习用户的习惯和输入模式可分析用户输入装置的动作。

如果光流变化率等于或大于预定阈值，则数据输入判定器35基于关于从图像分析器33接收的用户输入装置的动作和位置的信息确定用户输入装置已经做出了数据输入动作。通过将检测到的用户输入装置的位置和在显示器34上显示的用户输入装置在虚拟输入装置上的位置相比较来检测输入的数据，然后命令便携式终端执行与输入的数据相应的功能。

此外，数据输入判定器35确定用户是否想使用虚拟输入装置。如果用户想使用虚拟输入装置，则数据输入判定器35控制图像传感器31和初始化器32执行初始化。如果从用户输入数据，则为了检测输入的数据(例如，在键盘上的字母或阿拉伯数字)，数据输入判定器35控制图像分析器33分析来自图像传感器31的图像数据。

此外，数据输入判定器35根据用户输入装置的动作和虚拟输入装置的形状将来自图像传感器31的图像数据显示在显示器34上，从而用户在虚拟输入装置上可容易地识别用户输入装置的动作并且准确地选择数据。数据输入判定器35在显示器34上或通过语音通知用户接收的数据。

用户可在显示器34上看到输入的数据或通过语音听到输入的数据。此外，用户可取消输入的数据，输入下一数据或结束数据输入。例如，如果用户想输入字母A，但是数据输入判定器35通知他输入字母S，则用户通过在虚拟输入装置上按下取消按钮来取消字母S，然后输入下一数据。如果数据输入判定器35通知用户输入字母A，则用户接着输入下一数据。

图16是示出在根据本发明的便携式终端中的数据输入方法的流程图。参照图16，如果用户将使用虚拟输入装置，则在步骤S161中，数据输入判定器35提示用户选择虚拟输入装置。在步骤S162中，初始化器32根据选择的虚拟输入装置对用户输入装置执行图像初始化，接着在步骤S163中，初始化器32对用户输入装置的初始图像执行动作范围初始化。

当需要时，可重复步骤S162和S163以增加图像识别和分析的精确度。如果便携式终端仅提供一种虚拟输入装置，则可省略步骤S161。

在步骤S163之后，在步骤S164中，图像传感器31实时感测用户输入装置的图像。在步骤S165中，图像分析器33通过分析感测的图像数据检测用户输入装置的位置和动作。

在步骤S166中，如果结合用户输入装置的位置基于分析的动作数据确定已经做出了数据输入动作，则数据输入判定器35通过将检测到的用户输入装置的位置和在显示器34上显示的用户输入装置在虚拟输入装置上的位置相比较来确定输入的数据。

当需要时，数据输入判定器35在显示器34上或通过语音通知用户检测到的输入数据，以允许用户检查数据是否已经被准确地输入。另一种方式是，通过将输入数据的通知和检查步骤省略可连续地输入数据。

根据如上所述的本发明，因为便携式终端不用将虚拟输入装置投影而从虚拟输入装置接收数据，所以用户输入装置可不受空间限制而做出动作。因此，可实现用户方便和输入数据的扩展性。

此外，使用光流对图像的动作进行的检测避免使用多个图像传感器，并且二维图像数据对分析图像动作已经足够了。因此，简化了提供虚拟输入装置的便携式终端的结构，并且减少了将被处理的图像数据的量。

虽然已经参照本发明的特定优选实施例表示和描述了本发明，但本领域技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可对这些实施例进行形式和细节上的各种变化。

Claims (14)

1.一种用于通过虚拟输入装置从用户输入装置接收数据的便携式终端，包括：

图像传感器，用于感测所述用户输入装置的图像并输出图像数据；

图像分析器，用于从所述图像数据检测所述用户输入装置的位置数据和动作数据；

数据输入判定器，用于基于所述位置数据和所述动作数据判定通过所述虚拟输入装置接收的数据；

显示器，用于将所述用户输入装置的图像数据和所述虚拟输入装置一起显示；

初始化器，用于根据所述虚拟输入装置的尺寸和所述用户输入装置的动作范围之间的比率设置用于所述用户输入装置的初始动作范围，并且根据所述虚拟输入装置的类型设置用于所述用户输入装置的初始特征图像，以用于数据输入；

其中，所述初始化器便用显示在所述显示器上的点和由所述用户输入装置输入的点的图像数据计算所述比率。

2.如权利要求1所述的便携式终端，其中，所述图像分析器包括：

边缘检测器，用于通过使用所述图像数据的边缘检测来检测所述用户输入装置的位置数据；

颜色检测器，用于通过使用所述图像数据的颜色检测来检测所述用户输入装置的位置数据；

光流分析器，用于通过分析所述图像数据的光流来检测所述用户输入装置的动作数据。

3.如权利要求2所述的便携式终端，其中，所述光流分析器分析所述图像数据的多个帧中的光流变化率。

4.如权利要求3所述的便携式终端，其中，如果所述光流变化率至少等于可检测到所述用户输入装置的数据输入动作的阈值，则所述数据输入判定器确定数据已经从所述用户输入装置被接收。

5.如权利要求1所述的便携式终端，其中，所述图像传感器是二维图像传感器。

6.一种在具有图像传感器和显示器的便携式终端中通过虚拟输入装置从用户输入装置接收数据的方法，该方法包括以下步骤：

根据所述显示器的尺寸和所述用户输入装置的动作范围之间的比率设置用于所述用户输入装置的初始动作范围；

根据所述虚拟输入装置的类型设置用于所述用户输入装置的初始特征图像，以用于数据输入；

从由所述图像传感器感测到的所述用户输入装置的图像数据检测所述用户输入装置的特征图像的位置数据；

通过分析所述特征图像的光流来检测所述用户输入装置的特征图像的动作数据；

基于所述位置数据和所述动作数据确定通过所述虚拟输入装置接收的数据。

7.如权利要求6所述的方法，其中，所述设置用于用户输入装置的初始动作范围的步骤包括使用显示在所述显示器上的点和由所述用户输入装置输入的点的图像数据来计算比率的步骤。

8.如权利要求6所述的方法，其中，所述检测用户输入装置的特征图像的位置数据的步骤包括通过使用所述图像数据的边缘检测来检测所述用户输入装置的位置数据的步骤。

9.如权利要求6所述的方法，其中，通过使用所述图像数据的颜色检测来检测所述用户输入装置的位置数据。

10.如权利要求6所述的方法，其中，通过分析所述图像数据的多个帧中的光流变化率来检测所述动作数据。

11.如权利要求10所述的方法，其中，所述确定通过虚拟输入装置接收的数据的步骤包括：如果所述光流变化率至少等于可检测到所述用户输入装置的数据输入动作的阈值，则确定数据已经从所述用户输入装置被接收。

12.如权利要求6所述的方法，其中，所述图像传感器是二维图像传感器。

13.如权利要求6所述的方法，还包括确定是否将设置初始动作范围和设置初始特征图像的步骤重复的步骤。

14.如权利要求6所述的方法，还包括在所述设置初始动作范围的步骤之前提供菜单的步骤，所述虚拟输入装置的类型通过所述菜单被选择。

Images