CN105528086A - 虚拟键盘输入装置及其输入方法 - Google Patents

Abstract

本发明实施例提供一种虚拟键盘输入装置及其输入方法。所述的虚拟键盘输入装置及其输入方法，可以适用于任何计算机装置，其中所述的虚拟键盘输入装置包括一个或多个电路，用以配置成投射模块、摄像模块、影像分析模块以及处理模块。投射模块用以投影出虚拟键盘至表面上。摄像模块用以连续获取此虚拟键盘上的复数个参考图像。影像分析模块则基于这些参考图像检测出使用者的至少一手指对于虚拟键盘的操作。处理模块用以将操作转换为相对应的输入信息，并且执行输入信息对应的功能或控制输出装置输出输入信息的内容。

Description

虚拟键盘输入装置及其输入方法

技术领域

本发明关于一种虚拟键盘输入装置及其输入方法，且特别关于一种使用摄像模块以检测出对于使用者于虚拟键盘上的操作动作的虚拟键盘输入装置及其输入方法。

背景技术

键盘目前仍作为电子产品上最普遍使用的输入设备，然由于传统的实体键盘具有体积过大、不易收纳与携带不便等缺点。因此，近年来越来越多厂商致力于开发出投影式的虚拟键盘，以取代传统的实体键盘。

目前常见的虚拟键盘输入装置大多是利用发射出的红外线光源，以形成出一键盘影像于平面上，并且通过红外线传感器接收反射回来的红外线，进而检测出手指在键盘影像上的操作动作。举例来说，当有手指按压于此键盘影像上的某一按键时，就会阻扰到反射回来的红外线，而红外线传感器则依据接收到的反射光的角度与时间等，进而可以计算出是哪一按键被按压，并且输出对应于此按键的字符或是指令。

然而，先前技术尚有问题仍需解决，此种虚拟键盘输入装置容易因其他光源或是其他物体产生的反光，而造成误判按键的情况发生。另外，倘若在此键盘影像上同一直线的复数个按键需要同时按压，阻扰到反射的红外线，则虚拟键盘输入装置将无法精准地判断出所有被按压到的按键，进而容易造成误判的情况发生。

发明内容

本发明实施例提供一种虚拟键盘输入装置。所述虚拟键盘输入装置包括一个或多个电路，用以配置成投射模块、摄像模块、影像分析模块以及处理模块。所述投射模块用以投影出一虚拟键盘至表面上。所述摄像模块用以连续获取此虚拟键盘上的复数个参考图像。所述影像分析模块则基于这些参考图像检测出使用者的至少一手指对于此虚拟键盘的操作。所述处理模块用以将此操作转换为相对应的一输入信息，并且执行此输入信息对应的功能或控制输出装置输出此输入信息的内容。

本发明实施例另提供一种输入方法，适用于一虚拟键盘输入装置，且具有以下步骤。首先，于表面上投影出一虚拟键盘。其次，连续获取此虚拟键盘上的复数个参考图像。接者，基于参考图像检测出使用者的至少一手指对于虚拟键盘的操作。最后，将此操作转换为相对应的输入信息，并且执行此输入信息对应的功能或控制输出装置输出此输入信息的内容。

综上所述，本发明实施例所提供的虚拟键盘输入装置及其输入方法可以通过摄像模块所获取到的多个参考图像，来进行分析运算以检测出使用者对于虚拟键盘的操作，而藉此避免造成误判的情况发生。

为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，但是此等说明与所附图式仅用来说明本发明，而非对本发明的权利范围作任何的限制。

附图说明

图1是本发明实施例所提供的虚拟键盘输入装置的功能方块示意图。

图2是本发明实施例所提供的虚拟键盘输入装置的示意图。

图3是本发明实施例所提供的区块匹配演算法的示意图。

图4是本发明实施例所提供的输入方法的流程示意图。

【符号说明】

1：虚拟键盘输入装置

11：投射模块

13：摄像模块

15：影像分析模块

17：处理模块

30、31：参考图像

302：目标区块

311：搜寻视窗

312：最相似的区块

S401～S407：流程步骤

具体实施方式

在下文中，将藉由附图说明本发明的各种实施例来详细描述本发明。然而，本发明概念可能以许多不同形式来体现，且不应解释为限于本文中所阐述的例示性实施例。此外，在附图中相同参考数字可用以表示类似的元件。

本发明实施例提供的虚拟键盘输入装置及其输入方法可以藉由摄像模块所撷取到的多张参考图像来进行运算与分析，以检测出使用者对于虚拟键盘的操作，从而藉此避免造成误判的情况发生。

本发明实施例所提供的虚拟键盘输入装置及其输入方法可以适用于任何计算机装置。举例来说，所述计算机装置可以为行动通讯装置、桌上型电脑以及笔记本型电脑等等，但本发明并不以此为限。值得一提的是，虚拟键盘输入装置与计算机装置可以整合或分开设置，且本发明也不限制。此外，于实务上，虚拟键盘输入装置可以有线或无线方式连接计算机装置，以进行数据的传递。

请参阅图1，图1是本发明实施例所提供的虚拟键盘输入装置的功能方块示意图。虚拟键盘输入装置1可以包括一个或多个电路，用以配置成投射模块11、摄像模块13、影像分析模块15以及处理模块17。上述各元件可以通过纯硬件电路来实现，或者通过硬件电路搭配固件或软件来实现，总之，本发明并不限制虚拟键盘输入装置1的具体实现方式。

首先，投射模块11用以投影出虚拟键盘至表面上。举例来说，此表面可以为塑料、玻璃、金属以及木头等材质的平台桌面，或者甚至是张纸等，总之本发明并不以此为限。

请同时参阅图2，图2是本发明实施例所提供的虚拟键盘输入装置的示意图。在本发明实施例中，投射模块11可以设置于虚拟键盘输入装置1的主体外侧，利用投射模块11内的光源照射表面，以投射出虚拟键盘在此表面上。具体来说，所述的投射模块11的光源可以雷射光来实现。

另外，投射模块11在虚拟键盘输入装置1的设置位置或数量并不限于图2所例示的位置或数量。在设计上，若为了清楚地投射出较清晰的虚拟键盘的影像，可以如上述设置于虚拟键盘输入装置1的主体上顶端的位置。另外，若为了避免因投射距离过长，使得投射模块11的光源太容易受到衰弱与干扰的影响，也可以视需求将投射模块11设置在虚拟键盘输入装置1的主体较低的位置，或者调整投射模块11的光源照射角度。换言之，只要投射模块11能投射出清晰可见的虚拟键盘的影像即可。

摄像模块13则用以连续获取虚拟键盘上的复数个参考图像。同样在设计上，若为了方便撷取到此虚拟键盘上的参考图像，可以如图2所示将摄像模块13设置于虚拟键盘输入装置1的主体上顶端且与投射模块11分开的位置。总之，摄像模块13在虚拟键盘输入装置1的设置位置或数量也并不限于图2所例示的位置或数量。在本发明实施例中，摄像模块13可以VGA相机镜头来实现，以连续地获取此虚拟键盘上的多张参考图像。

影像分析模块15则基于摄像模块13所获取到的参考图像，用以检测出使用者的至少一手指对于此虚拟键盘的操作。详细来说，在本发明实施例中摄像模块13连续地获取此虚拟键盘上的多张参考图像，为了依序找出使用者手指在此虚拟键盘上的位置，而影像分析模块15则基于这些连续参考图像进行运算与分析，以计算出使用者手指在此虚拟键盘上的位移信息，进而检测出使用者手指对于此虚拟键盘的操作。

举例来说，当摄像模块13所获取到的第一帧参考图像中，显示为使用者一手指(例如食指)按压在虚拟键盘上按键「A」的位置，并且在摄像模块13获取到的第二帧参考图像中，则显示为使用者的同一手指(食指)改按压在虚拟键盘上按键「H」的位置。对此，影像分析模块15可以根据第一与第二帧参考图像间的差异，计算出使用者此手指(食指)的位移信息为向右五格，并且检测出使用者此手指对于虚拟键盘的操作为依序按压「AH」键。换句话说，摄像模块13在于获取出手指打字动作的连续参考图像，而影像分析模块15在藉由计算与分析手指打字动作的位移信息，进而检测出使用者手指对于此虚拟键盘的操作。

最后，处理模块17用以将操作转换为相对应的输入信息，并且执行此输入信息对应的功能或控制输出装置输出此输入信息的内容。举例来说，当影像分析模块15检测出使用者手指对于虚拟键盘的操作为依序按压有「AH」键时，处理模块17可以将此操作转换为相应的输入信息，假如目前与虚拟键盘输入装置1连接的计算机装置(未绘示)进行的是显示输入文字的功能，则处理模块17就会再控制输出装置(未绘示)输出此输入信息的内容给此计算机装置，使得此计算机装置上的显示屏幕可以依序显示出内容为「AH」的字串。另外，本技术领域中具有通常知识者应可依据实际需求或应用来进行设计处理模块17所进行的操作的详细实现方式，且本发明并不以此所述的详细实现方式为限。

另外一方面，此输出装置与虚拟键盘输入装置1可以整合或分开设置，且本发明也不限制。对此，本发明实施例中控制此输出装置的目的在于，使得虚拟键盘输入装置1可以通过此输出装置，传输此输入信息给与虚拟键盘输入装置1所连接的计算机装置。对此，本技术领域中具有通常知识者应可依据实际需求或应用来进行设计此输出装置的详细实现方式，且本发明并不以此为限。

由此可知，相较于一般传统的红外线感应的虚拟键盘输入装置，本发明实施例的虚拟键盘输入装置则是利用数字图像处理的技巧，不用藉由判断反射的红外线是否受到阻扰，而直接使用摄像模块所获取到的参考图像，来进行运算与分析以检测出使用者对于虚拟键盘的操作。除此之外，一般传统的摄像模块内大多需要设置有适当的光学元件，以用来滤除掉不必要的红外光线干扰，因人体易产生出能量较强的红外光线，所以本发明实施例中的摄像模块，可以不需要搭配有适当的光学元件，藉此避免光学元件滤除掉手指所产生出的能量较强的红外光线，故可使得手指与虚拟键盘的背景的对比能得到强化，将更有利于图像处理的分析。对此，本发明实施例的虚拟键盘输入装置，将可以更精准地检测出使用者对于虚拟键盘的操作，并且有效地避免误判的情况发生。

另外一方面，由上述内容可以得知，运算出手指的移动轨迹是检测出对于虚拟键盘操作的关键。简单来说，目前数字图像处理技术中完成目标跟踪(objecttracking)解决方案，大多是采用区块匹配(block-matching)演算法来实现。因此，本发明的影像分析模块还可以进一步对参考图像执行区块匹配演算法，用以计算出手指的移动轨迹，并且基于移动轨迹检测出手指对于虚拟键盘的操作。

请参阅图3，图3是本发明实施例所提供的区块匹配演算法的示意图。举例来说，首先把尺寸WxH的第一帧参考图像30分割成区块尺寸固定为NxN的复数个区块，其中目标所在的区块定义为目标区块(objectblock)302。接着，在第二帧参考图像31中设定一大小为(N+r)x(N+r)的搜寻视窗(searchwindoe)311，并且在搜寻视窗311中找到与第一帧参考图像30中的目标区块302最相似的区块312，因此计算出此目标的移动轨迹。值得注意的是，上述实施例的区块匹配演算法的设计方式并非用以限制本发明。本技术领域中具有通常知识者应可依据实际需求或应用来进行区块匹配演算法的设计，本发明并不限制区块匹配演算法的详细设计方式。

更具体地说，本发明实施例的虚拟键盘输入装置可以采用区块匹配演算法，以计算出使用者手指在虚拟键盘上的移动轨迹。因此，区块匹配演算法中追踪的目标为使用者的手指，故参考图像分割出的区块尺寸必须要能涵盖住手指，也就是说，区块匹配演算法中的区块尺寸将可以根据手指大小而决定，然本发明并不限制区块尺寸的详细实现方式。

另外一方面，在一般常见的区块匹配演算法中，搜寻视窗必须是逐步地位移在下一帧的参考图像上进行比对，以寻找出两个连续帧的最佳匹配块。因此，在每一次撷取参考图像后的计算出位移信息的追踪运作皆须要耗费相当多的运算时间，而当虚拟键盘输入装置操作在高帧率的情况下，势必会进而影响到对使用者手指的整体追踪效能。因此，本发明实施例的虚拟键盘输入装置所采用的区块匹配演算法，可以从前一帧参考图像的最佳匹配块附近开始进行比对，或者基于前一帧的操作预测出下一帧参考图像的最佳匹配块的可能位置，从而大幅度的提高追踪效率。除此之外，本发明实施例的虚拟键盘输入装置还可以在开机时，先将虚拟键盘投射至的表面的背景图像进行储存，使得在影像分析模块进行运算分析时，可以作为去除背景图像的参考。因此，在进行区块匹配演算法的过程中，可以排除与过滤掉一些除了目标物手指外的干扰对像，从而提高追踪的准确度。

另外，大多数使用者手指按压键盘时的动作是采用固定方式，例如有些使用者会习惯同时将双手的十支手指放在键盘上偏好的位置，某部份的特定按键就经由特定的手指来负责按压，因此藉由小幅度的手指位移，来提升整体的打字速率。对此，基于这种较细微的手指动作，本发明实施例的虚拟键盘输入装置可以根据十支手指的动作建立特征值，用以加速检测出手指对于虚拟键盘的操作的速度。也就是说，本发明实施例的虚拟键盘输入装置可以将特征值与参考图像中的手指的动作进行比对，并且检测出使用者手指对于虚拟键盘的操作。具体来说，所建立的此特征值可以包括用以指出手指移动前与移动后的位置以及角度等信息。值得注意的是，本发明并非限制特征值的详细建立方式。本技术领域中具有通常知识者应可依据实际需求或应用来进行建立特征值的设计，本发明并不限制特征值的详细建立方式。

因此，本发明实施例中基于手指动作建立特征值的精神在于，将复杂的手指移动前后动作藉由简化的某些特征值来表示，并且通过与目前参考图像中的手指动作进行比较和分析，以判定出目前手指对于虚拟键盘的操作。

如前述，虚拟键盘输入装置可以适用于任何计算机装置。为了更进一步说明关于虚拟键盘输入装置的运作流程，本发明进一步提供其输入方法的一种实施方式。请参阅图4，图4是本发明实施例所提供的输入方法的流程示意图。本例所述的方法可以在图1与图2所示的虚拟键盘输入装置执行，因此请一并照图1与图2以利理解。

首先，在步骤S401中，于表面上投影出一虚拟键盘。其次，在步骤S403中，连续获取虚拟键盘上的复数个参考图像。接着，在步骤S405中，基于这些参考图像检测出使用者的至少一手指对于虚拟键盘的操作。最后，在步骤S407中，将操作转换为相对应的一输入信息，并且执行输入信息对应的功能或控制输出装置输出输入信息的内容。

详细来说，在本实施例中，可以藉由虚拟键盘输入装置1上的投射模块11，用以投影出此虚拟键盘至表面上(步骤S401)。附带一提的是，本发明并不限制投射模块11的具体实现方式，只要投射模块11能投射出清晰可见的虚拟键盘的影像即可。对此，所述的投射模块11的光源可以雷射光来实现。当投射模块11投影出此虚拟键盘后，虚拟键盘输入装置1上的摄像模块13，则用以连续获取此虚拟键盘上的复数个参考图像(步骤S403)。对此，所述的摄像模块13可以采用VGA相机镜头来实现，用以连续地获取此虚拟键盘上的多张参考图像。虚拟键盘输入装置1上的影像分析模块15，则基于摄像模块13所获取到的参考图像，用以检测出使用者的至少一手指对于此虚拟键盘的操作(步骤S405)。最后，虚拟键盘输入装置1上的处理模块17用以将操作转换为相对应的输入信息，并且执行此输入信息对应的功能或控制输出装置输出此输入信息的内容(步骤S407)。

除此之外，在步骤S405中，影像分析模块15还可以针对这些参考图像进行区块匹配演算法，用以计算出使用者手指的移动轨迹，并且基于此移动轨迹检测出使用者手指对于虚拟键盘的操作。区块匹配演算法的细节已于图3所对应的实施例说明，于此不再重述。具体来说，本发明实施例中进行区块匹配演算法的精神在于，将复杂的目标跟踪解决方案藉由精细的区块匹配演算法完成，并且通过找出两个连续帧的最佳匹配块，从而计算出使用者手指在虚拟键盘上的移动轨迹，进而检测出使用者对于虚拟键盘的操作。对此，区块匹配演算法中的区块尺寸将可以根据手指大小而决定，然本发明并不限制区块尺寸的详细实现方式。

另外一方面，于步骤S405中，影像分析模块15还可以对十支手指的动作建立特征值，将复杂的手指移动前后动作藉由简化的某些特征值来表示之，并且通过与目前参考图像中的手指动作进行比较和分析，以检测出目前使用者手指对于虚拟键盘的操作，进而提升检测出手指对于虚拟键盘的操作的速度。对此，所建立的此特征值可以包括用以指出手指移动前与移动后的位置以及角度等信息，然本发明并不限制特征值的详细建立方式。

综合以上所述，本发明实施例所提供的一种虚拟键盘输入装置及其输入方法，可以直接经由摄像模块所获取到的参考图像，来进行分析运算以检测出使用者对于虚拟键盘的操作，相较于一般传统的反射红外线感应的虚拟键盘输入装置，更能有效地避免误判的情况发生。另外，本发明实施例所提供的虚拟键盘输入装置及其输入方法，在对所获取到的参考图像进行图像处理的过程中，采用区块匹配演算法与比对手指动作特征值的技术，将可以从而提高追踪的准确度，以及更精准地检测出使用者对于虚拟键盘的操作。

以上所述仅为本发明的实施例，其并非用以限定本发明的专利保护范围。任何熟习相像技艺者，在不脱离本发明的精神与范围内，所作的更动及润饰的等效替换，仍为本发明的专利保护范围内。

Claims (18)

1.一种虚拟键盘输入装置，其特征在于，所述虚拟键盘输入装置包括：

一个或多个电路，用以配置成：

一投射模块，用以投影出一虚拟键盘至一表面上；

一摄像模块，用以连续获取所述虚拟键盘上的复数个参考图像；

一影像分析模块，基于所述参考图像检测出使用者的至少一手指对于所述虚拟键盘的一操作；以及

一处理模块，用以将所述操作转换为相对应的一输入信息，并且执行所述输入信息对应的功能或控制一输出装置输出所述输入信息的内容。

2.根据权利要求1所述的虚拟键盘输入装置，其中所述影像分析模块执行一区块匹配(block-matching)演算法于所述参考图像，以计算出所述至少一手指的一移动轨迹，并且基于所述移动轨迹检测出所述至少一手指对于所述虚拟键盘的所述操作。

3.根据权利要求2所述的虚拟键盘输入装置，其中所述区块匹配演算法中的区块尺寸基于所述至少一手指的大小而决定。

4.根据权利要求3所述的虚拟键盘输入装置，其中所述影像分析模块还基于所述至少一手指的动作建立特征值，并且将所述特征值与所述参考图像中的所述至少一手指的动作进行比对，以检测出所述至少一手指对于所述虚拟键盘的所述操作。

5.根据权利要求4所述的虚拟键盘输入装置，其中基于所述至少一手指的动作所建立的所述特征值包括所述至少一手指移动前与移动后的位置以及角度的至少其中之一。

6.根据权利要求1所述的虚拟键盘输入装置，其中所述投射模块的光源为一雷射光。

7.根据权利要求1所述的虚拟键盘输入装置，其中所述摄像模块为一VGA相机镜头。

8.根据权利要求1所述的虚拟键盘输入装置，其中于所述摄像模块中不用设置有复数个光学元件以去除所述至少一手指所产生的红外光线。

9.根据权利要求1所述的虚拟键盘输入装置，其中在所述虚拟键盘输入装置开机时，对所述表面的一背景图像进行储存，并且在所述影像分析模块进行检测时，对所述参考图像进行去除所述背景图像的处理，且所述影像分析模块基于去除所述背景图像后的所述参考图像检测出所述至少一手指对于所述虚拟键盘的所述操作。

10.一种输入方法，适用于一虚拟键盘输入装置，其特征在于，所述输入方法包括：

(a)于一表面上投影出一虚拟键盘；

(b)连续获取所述虚拟键盘上的复数个参考图像；

(c)基于所述参考图像检测出使用者的至少一手指对于所述虚拟键盘的操作；以及

(d)将所述操作转换为相对应的一输入信息，并且执行所述输入信息对应的功能或控制一输出装置输出所述输入信息的内容。

11.根据权利要求10所述的输入方法，其中步骤(c)包括：

执行一区块匹配演算法于所述参考图像，以计算出所述至少一手指的一移动轨迹，并且基于所述移动轨迹检测出所述至少一手指对于所述虚拟键盘的所述操作。

12.根据权利要求11所述的输入方法，其中所述区块匹配演算法中的区块尺寸基于所述至少一手指的大小而决定。

13.根据权利要求12所述的输入方法，其中于步骤(c)中还基于所述至少一手指的动作建立特征值，并且将所述特征值与所述参考图像中的所述至少一手指的动作进行比对，以检测出所述至少一手指对于所述虚拟键盘的所述操作。

14.根据权利要求13所述的输入方法，其中基于所述至少一手指的动作所建立的所述特征值包括所述至少一手指移动前与移动后的位置以及角度的至少其中之一。

15.根据权利要求10所述的输入方法，其中于步骤(a)中，使用为一雷射光的一光源投影出所述虚拟键盘。

16.根据权利要求10所述的输入方法，其中于步骤(b)中，使用一VGA相机镜头获取所述参考图像。

17.根据权利要求10所述的输入方法，其中于步骤(b)中，不使用复数个光学元件以去除所述至少一手指所产生的红外光线。

18.根据权利要求10所述的输入方法，其中在所述虚拟键盘输入装置开机时，对所述表面的一背景图像进行储存，并且于步骤(c)中，对所述参考图像进行去除所述背景图像的处理，且基于去除所述背景图像后的所述参考图像检测出所述至少一手指对于所述虚拟键盘的所述操作。