CN107797748A - 虚拟键盘输入方法和装置及机器人 - Google Patents

Abstract

本发明公开了一种虚拟键盘输入方法和装置及机器人。该虚拟键盘输入方法包括：检测目标图像中是否有用于确定虚拟键盘的键盘区域的标识信息，其中，目标图像为通过拍摄得到的图像，虚拟键盘为用于接收输入操作并生成操作指令的虚拟界面；当检测到目标图像中有标识信息时，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键，其中，虚拟按键信息为用于在键盘区域中生成虚拟按键的信息，虚拟按键与操作指令具有对应关系；捕捉虚拟按键上的输入操作，得到状态标记信息，其中，状态标记信息为用于标记虚拟按键的操作状态的信息；根据状态标记信息生成操作指令。通过本发明，达到了扩大虚拟键盘的使用场景的效果。

Description

虚拟键盘输入方法和装置及机器人

技术领域

本发明涉及图像处理领域，具体而言，涉及一种虚拟键盘输入方法和装置及机器人。

背景技术

目前，主流的人机交互方式依然是键盘输入设备，键盘的使用极大地提高了人机交互的准确度和速度。由于键盘占用空间大，在设备上需要有专门的接口和驱动，随着移动设备和机器人的快速发展，智能设备的体积越来越小，可移动性和可携带性也越来越强，传统的键盘由于其体积的限制已不能很好的在这些设备上使用了，取而代之的是其它更灵活的指令输入方式，如触屏和语音识别等。当遇到大量数据快速输入时其输入精度和速度明显低于传统键盘的输入方式。

现有的虚拟键盘大多由红外投影模组、红外线摄像头来实现对按键位置的定位和输入指令的识别，需要设备具有红外发射能力和红外光反射检测能力，对设备的硬件有特定的要求，通常的连接方式是将红外发射其和红外线摄像镜头以及微处理器、无限蓝牙模组等模块封装在一个小的设备上，然后使用蓝牙或无限网与移动设备连接实现指令的输入，这种方式，依然需要一个携带一个额外的硬件装置，对虚拟键盘的使用场景依然有较大限制。

针对相关技术中虚拟键盘的使用场景的局限性比较大的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种虚拟键盘输入方法和装置及机器人，以至少解决相关技术中虚拟键盘的使用场景的局限性比较大的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种虚拟键盘输入方法。该虚拟键盘输入方法包括：检测目标图像中是否有用于确定键盘区域的标识信息，其中，目标图像为通过拍摄到得到的图像，虚拟键盘为用于接收输入操作并生成操作指令的虚拟界面；当检测到目标图像中有标识信息时，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键，其中，虚拟按键信息为用于在键盘区域中生成虚拟按键的信息，虚拟按键与操作指令具有对应关系；捕捉虚拟按键上的输入操作，得到状态标记信息，其中，状态标记信息为用于标记虚拟按键的操作状态的信息；根据状态标记信息生成操作指令。

进一步地，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键包括：根据标识信息在目标图像中确定键盘区域；根据虚拟按键信息计算虚拟按键在键盘区域中的位置信息；根据位置信息确定虚拟按键在虚拟键盘中的位置。

进一步地，捕捉虚拟按键上的输入操作，得到状态标记信息包括：当捕捉到虚拟按键被遮挡时，确定状态标记信息为第一预设值；当捕捉到虚拟按键未被遮挡时，确定状态标记信息为第二预设值，其中，根据状态标记信息生成操作指令包括：根据第一预设值生成虚拟按键被遮挡时的操作指令，根据第二预设值生成虚拟按键未被遮挡时的操作指令。

进一步地，状态标记信息包括操作状态标记信息，在根据状态标记信息生成操作指令之前，该虚拟键盘输入方法还包括：获取虚拟按键上的历史输入操作，其中，历史输入操作为对虚拟按键已经执行过的输入操作；获取历史输入操作的操作状态标记信息；根据状态标记信息和虚拟按键在键盘区域中的位置信息按照预设算法模型计算虚拟按键上的不同输入操作的概率，得到分布概率，其中，根据状态标记信息生成操作指令包括：按照分布概率中的最大概率对应的输入操作生成操作指令。

进一步地，预设算法模型为贝叶斯网络模型。

进一步地，检测目标图像中是否有用于确定键盘区域的标识信息包括：判断目标图像中是否有预设颜色区域；如果判断出目标图像中有预设颜色区域，确定目标图像中有标识信息；如果判断出目标图像中没有预设颜色区域，确定目标图像中没有标识信息。

进一步地，在确定目标图像中有标识信息之后，该虚拟键盘输入方法还包括：从目标图像中提取预设颜色区域；通过预设颜色区域确定虚拟键盘的位置和大小，其中，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键包括：根据虚拟键盘的位置和大小以及虚拟按键信息生成虚拟键盘的虚拟按键。

进一步地，通过预设颜色区域确定虚拟键盘的位置和大小包括：获取预设颜色区域中的目标点，其中，目标点用于确定虚拟键盘的位置和大小；根据目标点确定虚拟键盘的位置和大小。

进一步地，在通过预设颜色区域确定虚拟键盘的位置和大小之后，该虚拟键盘输入方法还包括：接收用于调整虚拟键盘大小的调整指令；根据调整指令调整虚拟键盘至预设大小，其中，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键包括：根据虚拟按键信息在预设大小的虚拟键盘上生成虚拟按键。

为了实现上述目的，根据本发明的另一方面，还提供了一种虚拟键盘输入装置。该一种虚拟键盘输入装置包括：检测单元，用于检测目标图像中是否有用于确定虚拟键盘的键盘区域的标识信息，其中，目标图像为通过拍摄得到的图像，虚拟键盘为用于接收输入操作并生成操作指令的虚拟界面；第一生成单元，用于当检测到目标图像中有标识信息时，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键，其中，虚拟按键信息为用于在键盘区域中生成虚拟按键的信息，虚拟按键与操作指令具有对应关系；捕捉单元，用于捕捉虚拟按键上的输入操作，得到状态标记信息，其中，状态标记信息为用于标记虚拟按键的操作状态的信息；第二生成单元，用于根据状态标记信息生成操作指令。

进一步地，该第一生成单元包括：第一确定模块，用于根据标识信息在目标图像中确定键盘区域；计算模块，用于根据虚拟按键信息计算虚拟按键在键盘区域中的位置信息；第二确定模块，用于根据位置信息确定虚拟按键在虚拟键盘中的位置。

进一步地，该捕捉单元包括：第三确定模块，用于当捕捉到虚拟按键被遮挡时，确定状态标记信息为第一预设值；第四确定模块，用于当捕捉到虚拟按键未被遮挡时，确定状态标记信息为第二预设值，其中，第二生成单元用于根据第一预设值生成虚拟按键被遮挡时的操作指令，根据第二预设值生成虚拟按键未被遮挡时的操作指令。

进一步地，状态标记信息包括操作状态标记信息，该虚拟键盘输入装置还包括：第一获取单元，用于在根据状态标记信息生成操作指令之前，获取虚拟按键上的历史输入操作，其中，历史输入操作为对虚拟按键已经执行过的输入操作；第二获取单元，用于获取历史输入操作的操作状态标记信息；计算单元，用于根据状态标记信息和虚拟按键在键盘区域中的位置信息按照预设算法模型计算虚拟按键上的不同输入操作的概率，得到分布概率，其中，第二生成单元用于按照分布概率中的最大概率对应的输入操作生成操作指令。

进一步地，该检测单元包括：判断模块，用于判断目标图像中是否有预设颜色区域；第五确定模块，用于在判断出目标图像中有预设颜色区域，确定目标图像中有标识信息；第六确定模块，用于在判断出目标图像中没有预设颜色区域，确定目标图像中没有标识信息。

进一步地，该虚拟键盘输入装置还包括：提取单元，用于在确定目标图像中有标识信息之后，从目标图像中提取预设颜色区域；确定单元，用于通过预设颜色区域确定虚拟键盘的位置和大小，其中，第一生成单元用于根据虚拟键盘的位置和大小虚拟按键信息以及生成虚拟键盘的虚拟按键。

为了实现上述目的，根据本发明的另一方面，还提供了一种机器人。该机器人包括本发明的虚拟键盘输入装置。

通过本发明，采用检测目标图像中是否有用于确定键盘区域的标识信息，目标图像为通过拍摄得到的图像，虚拟键盘为用于接收输入操作并生成操作指令的虚拟界面；当检测到目标图像中有标识信息时，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键，其中，虚拟按键信息为用于在键盘区域中生成虚拟按键的信息，虚拟按键与操作指令具有对应关系；捕捉虚拟按键上的输入操作，得到状态标记信息，状态标记信息为用于标记虚拟按键的操作状态的信息；根据状态标记信息生成操作指令，解决了相关技术中虚拟键盘的使用场景的局限性比较大的问题，进而达到了扩大虚拟键盘的使用场景的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明第一实施例的虚拟键盘输入方法的流程图；

图2是根据本发明第二实施例的虚拟键盘输入方法的流程图；

图3是根据本发明第一实施例的虚拟键盘输入装置的示意图；

图4是根据本发明第二实施例的虚拟键盘输入装置的示意图；

图5是根据本发明第三实施例的虚拟键盘输入装置的示意图；

图6是根据本发明第四实施例的虚拟键盘输入装置的示意图；

图7是根据本发明第五实施例的虚拟键盘输入装置的示意图；以及

图8是根据本发明第六实施例的虚拟键盘输入装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供了一种虚拟键盘输入方法。

图1是根据本发明第一实施例的虚拟键盘输入方法的流程图。如图1所示，该虚拟键盘输入方法包括以下步骤：

步骤S101，检测目标图像中是否有用于确定虚拟键盘的键盘区域的标识信息。

目标图像为通过拍摄得到的图像，可以通过摄像头对目标图像进行检测，该摄像头可以为接收操作指令的智能设备自带的摄像头。可选地，目标图像包括由投影装置投影到的键盘影像，比如，投射出电脑键盘，手机键盘等，也可以包括绘制有键盘键位的纸张。虚拟键盘为用于接收输入操作并生成操作指令的虚拟界面。通过键盘区域可以确定出虚拟键盘在目标图像中的位置和大小。标识信息用于确定虚拟键盘在目标图像的键盘区域，比如，通过目标图像中的预设颜色信息确定目标图像的键盘区域。

该实施例通过检测目标图像中是否有用于确定键盘区域的标识信息，目标图像为通过拍摄得到的图像，从而确定出目标图像中是否有标识信息。

步骤S102，当检测到目标图像中有标识信息时，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键。

虚拟按键为与设备的操作指令相对应的并且区别于实体按键的按键。虚拟按键信息为用于在键盘区域生成虚拟按键的信息。可选地，虚拟按键包括多个虚拟按键，不同的虚拟按键在键盘区域中的位置不同，可以通过虚拟按键信息在键盘区域计算出虚拟按键的位置信息，从而根据虚拟按键的位置信息确定多个虚拟按键在键盘区域中的排列位置。虚拟按键与操作指令具有对应关系，操作指令可以通过单独的虚拟按键生成，也可以通过多个虚拟按键结合起来生成。

当检测到目标图像中有标识信息时，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键。可选地，标识信息为预设颜色信息，该预设颜色信息对应的区域为键盘区域，方便用户的手指进行操作。过滤目标图像中除了预设颜色信息之外的其它颜色信息，只保留目标图像中的预设颜色信息。比如，当检测到目标图像中有红色区域时将该红色区域确定为键盘区域，该红色区域方便用户的手指触碰，过滤目标图像中除了红色信息之外的其它颜色信息，只保留目标图像中的红色信息，根据虚拟按键信息在该红色区域生成虚拟键盘的虚拟按键。

该实施例当检测到目标图像中有标识信息时，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键，从而实现虚拟按键的生成。

步骤S103，捕捉虚拟按键上的输入操作，得到状态标记信息。

在根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键之后，通过虚拟按键得到操作指令，该操作指令用于对与虚拟键盘相对应的设备进行操作的指令。虚拟按键上的输入操作包括按下操作、弹起操作。捕捉虚拟按键上的输入操作，可以通过摄像头捕捉虚拟按键上的输入操作。当标识信息为预设颜色信息时，如果摄像头检测到虚拟按键上的预设颜色，则该虚拟按键没有被手指遮挡，确定该虚拟按键没有被按下，摄像头捕捉到虚拟按键的弹起操作，如果摄像头没有检测到虚拟按键上的预设颜色，则该虚拟按键被遮挡，可以确定该按键被按下。可选地，通过摄像头捕捉虚拟按键上的输入操作为初步确定的输入操作，可以通过预设算法模型进一步地确定虚拟按键上的输入操作，以提高虚拟按键上的输入操作的准确性。

通过摄像头捕捉虚拟按键上的输入操作，得到状态标记信息。该状态标记信息可以通过不同的值进行区分，比如，通过0和1来区分虚拟按键为按下状态或者弹起状态。可选地，当通过摄像头捕捉到虚拟按键上的输入操作为按下操作时，确定状态标记信息为按下状态0，当通过摄像头捕捉到虚拟按键上的输入操作为弹起操作时，确定状态标记信息为弹起状态1。

步骤S104，根据状态标记信息生成操作指令。

在通过摄像头捕捉虚拟按键上的输入操作，得到状态标记信息之后，检测该状态标记信息，如果检测到状态标记信息为按下状态的信息时，生成虚拟按键被按下的操作指令，如果检测到状态标记信息为弹起状态的信息时，生成虚拟按键弹起的操作指令，从而通过虚拟键盘上的虚拟按键生成的操作指令控制虚拟键盘对应的设备运行，而不需要红外投影模组、红外摄像头来实现对虚拟按键的定位和输入指令的识别，不需要设备具有红外发射能力和红外检测能力，不需要红外发射器和红外摄像镜头以及微处理器、无线蓝牙模组等模块封装为小的设备，降低了对设备的要求，不需要在使用虚拟键盘时再携带额外的硬件装置，从而达到了扩大虚拟键盘的使用场景的效果。

该实施例通过检测目标图像中是否有用于确定键盘区域的标识信息，目标图像为通过拍摄得到的图像，虚拟键盘为用于接收输入操作并生成操作指令的虚拟界面；当检测到目标图像中有标识信息时，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键，虚拟按键信息为用于在键盘区域中生成虚拟按键的信息，虚拟按键与操作指令具有对应关系；捕捉虚拟按键上的输入操作，得到状态标记信息，状态标记信息为用于标记虚拟按键的操作状态的信息；根据状态标记信息生成操作指令，达到了扩大虚拟键盘的使用场景的效果。

作为一种可选的实施方式，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键包括：根据标识信息在目标图像中确定键盘区域；根据虚拟按键信息计算虚拟按键在键盘区域中的位置信息；根据位置信息确定虚拟按键在虚拟键盘中的位置。

虚拟键盘在目标图像上对应的位置为虚拟键盘的键盘区域，标识信息为用于确定键盘区域的信息，比如，预设颜色信息，可选地，标识信息还包括用于确定键盘区域的位置和大小的信息。在检测目标图像中是否有标识信息之后，根据标识信息在目标图像中确定键盘区域，可选地，根据标识信息将键盘区域从目标图像中提取出来，过滤掉除了标识信息之外的其它信息，然后通过常规的图像处理方法对键盘区域进行定位并对键盘区域的大小进行调整，缩放键盘区域到预设大小。根据虚拟按键信息计算虚拟按键在键盘区域中的位置信息，比如，根据虚拟按键信息计算虚拟按键在键盘区域中的坐标信息等。根据位置信息确定虚拟按键在虚拟键盘中的位置，从而实现了根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键。

作为一种可选的实施方式，捕捉虚拟按键上的输入操作，得到状态标记信息包括：当捕捉到虚拟按键被遮挡时，确定状态标记信息为第一预设值；当捕捉到虚拟按键未被遮挡时，确定状态标记信息为第二预设值，其中，根据状态标记信息生成操作指令包括：根据第一预设值生成虚拟按键被遮挡时的操作指令，根据第二预设值生成虚拟按键未被遮挡时的操作指令。

当虚拟按键被遮挡时，摄像头检测不到目标图像中的标识信息，虚拟按键上的输入操作可以为按下操作，确定状态标记信息为第一预设值；当虚拟按键未被遮挡时，摄像头可以检测到目标图像中的标识信息，虚拟按键上的输入操作为弹起操作，确定状态标记信息为第二预设值，当检测到状态标记信息为第二预设值时，生成虚拟按键未被遮挡时的操作指令，其中，第一预设值和第二预设值为不同的值以区分虚拟按键不同的操作状态。可选地，标识信息为预设颜色信息，比如，红色信息。当虚拟按键被遮挡时，摄像头检测不到目标图像中的红色信息，确定状态标记信息为0；当虚拟按键未被遮挡时，摄像头可以检测到目标图像中的红色信息，确定状态标记信息为1，当检测到状态标记信息为1时生成虚拟按键未被遮挡时的操纵指令。

可选地，通过摄像头捕捉虚拟按键上的输入操作为初步确定的输入操作，可以通过预设算法模型进一步地确定虚拟按键上的输入操作，以提高虚拟按键上的输入操作的准确性。

作为一种可选的实施方式，状态标记信息包括操作状态标记信息，在根据状态标记信息生成操作指令之前，虚拟键盘输入方法还包括：获取虚拟按键上的历史输入操作，其中，历史输入操作为对虚拟按键已经执行过的输入操作；获取历史输入操作的操作状态标记信息；根据状态标记信息和虚拟按键在键盘区域中的位置信息按照预设算法模型计算虚拟按键上的不同输入操作的概率，得到分布概率，其中，根据状态标记信息生成操作指令包括：按照分布概率中的最大概率对应的输入操作生成操作指令。

当虚拟按键被遮挡时，可能仅仅是由于手背的移动而导致虚拟按键被遮挡的情况，也可能是虚拟按键被手指按下导致虚拟按键被遮挡的情况，需要综合虚拟键盘的位置信息和虚拟键盘的状态标记信息进行分析和判断。状态标记信息包括操作状态标记信息，在根据状态标记信息生成操作指令之前，获取虚拟按键上的历史输入操作，历史输入操作为对虚拟按键已经执行过的输入操作。搭建预设数学模型，获取历史输入操作的操作状态标记信息，根据状态标记信息和虚拟按键在键盘区域中的位置信息按照预设算法模型计算虚拟按键上的不同输入操作的概率，从而通过大量的样本学习来确定虚拟按键被手背遮挡的概率和虚拟按键被手指按下的概率，得到分布概率，按照分布概率中的最大概率对应的输入操作生成操作指令，确定虚拟按键的位置和对应的输入信息。

作为一种可选的实施方式，预设算法模型为贝叶斯网络模型。也即，搭建贝叶斯网络模型，获取历史输入操作的状态标记信息。贝叶斯网络是一种概率网络，为基于概率推理的图形化网络，通过一些变量的信息来获取其它的概率信息的过程。该贝叶斯网络对于解决复杂设备不确定性和关联性引起的故障有很好的优势。根据状态标记信息和虚拟按键在键盘区域中的位置信息按照贝叶斯网络模型计算虚拟按键上的不同输入操作的概率，从而通过大量的样本学习来确定虚拟按键被手背遮挡的概率和虚拟按键被手指按下的概率，得到分布概率。

作为一种可选的实施方式，检测目标图像中是否有用于确定键盘区域的标识信息包括：判断目标图像中是否有预设颜色区域；如果判断出目标图像中有预设颜色区域，确定目标图像中有标识信息；如果判断出目标图像中没有预设颜色区域，确定目标图像中没有标识信息。

标识信息为用于确定虚拟键盘的键盘区域，该标识信息可以为预设颜色信息，比如，红色信息，该红色信息在目标图像中占据部分区域，该部分区域用于形成虚拟键盘的键盘区域。通过摄像头检测目标图像，判断目标图像中是否有预设颜色区域以确定出目标图像中有标识信息；如果判断出目标图像中有预设颜色区域，确定目标图像中有标识信息。当标识信息为红色信息时，提取目标图像中的红色信息对应的区域，过滤掉目标图像中除了红色信息对应的区域以外的其它背景颜色，得到键盘区域，然后根据虚拟按键信息在键盘区域中生成虚拟键盘的虚拟按键。如果判断出目标图像中没有预设颜色区域，确定目标图像中没有标识信息，该目标图像不能用于生成虚拟键盘。

作为一种可选的实施方式，在确定目标图像中有标识信息之后，虚拟键盘输入方法还包括：从目标图像中提取预设颜色区域；通过预设颜色区域确定虚拟键盘的位置和大小，其中，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键包括：根据虚拟键盘的位置和大小虚拟按键信息生成虚拟键盘的虚拟按键。

当标识信息为预设颜色信息时，在确定目标图像中有预设颜色信息之后，从目标图像中提取预设颜色区域，可以通过在目标图像中过滤除了预设颜色信息以外的其它颜色信息来提取预设颜色区域。在提取预设颜色区域之后，按照常规的图像处理方法对键盘区域进行定位以及调整，缩放键盘区域到预设大小，从而确定虚拟键盘的位置和大小，还可以根据不同的虚拟按键在虚拟键盘中的排列信息计算出不同的虚拟按键在虚拟键盘中的位置，从而根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键。

作为一种可选的实施方式，通过预设颜色区域确定虚拟键盘的位置和大小包括：获取预设颜色区域中的目标点，其中，目标点用于确定虚拟键盘的位置和大小；根据目标点确定虚拟键盘的位置和大小。

获取预设颜色区域的目标点。可选地，该目标点为虚拟键盘的三个点，从而通过虚拟键盘的三个点确定虚拟键盘的位置和大小。

作为一种可选的实施方式，在通过预设颜色区域确定虚拟键盘的位置和大小之后，虚拟键盘输入包括：接收用于调整虚拟键盘大小的调整指令；根据调整指令调整虚拟键盘至预设大小，其中，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键包括：根据虚拟按键信息在预设大小的虚拟键盘上生成虚拟按键。

调整指令用于调整虚拟键盘的大小，在通过预设颜色区域确定虚拟键盘的位置和大小之后，接收用于调整虚拟键盘大小的调整指令，根据该调整指令调整虚拟键盘至预设大小。在根据该调整指令调整虚拟键盘至预设大小之后，根据虚拟按键信息在预设大小的虚拟键盘上生成虚拟按键。

下面结合一种优选的实施方式对本发明的技术方案进行说明。

图2是根据本发明第二实施例的虚拟键盘输入方法的流程图。如图2所示，该虚拟键盘输入方法包括以下步骤：

步骤S201，通过摄像头检测目标图像，判断目标图像中是否有预设颜色信息。

预设颜色信息为用于确定虚拟键盘的键盘区域的信息，将该预设颜色信息定义为红色，通过摄像头检测目标图像中的红色信息。可选地，目标图像中包括由纸张绘制的红色键盘，也可以包括由红色发光器在桌面或者其它平面上投影得到的键盘，通过摄像头检测目标图像，可以检测到由纸张绘制的红色键盘，或者检测到红色发光器在桌面或者其它平面上投影得到的键盘。

步骤S202，提取目标图像中的预设颜色信息对应的区域，得到键盘区域。

在通过摄像头检测目标图像，判断目标图像中是否有预设颜色信息之后，当检测到目标图形中有预设颜色信息时，过滤掉目标图像中除了预设颜色区域之外的其它颜色信息，只保留预设颜色信息，从而提取出目标图像中的预设颜色信息对应的区域，得到键盘区域。

获取键盘区域中的目标点，进而锁定目标点，该目标点为用于确定虚拟键盘的大小和位置的特定点。可选地，该目标点为虚拟键盘的三个角，通过该虚拟键盘的三个角确定虚拟键盘的大小和位置，达到对虚拟键盘的尺寸进行确定，对虚拟键盘进行定位的目的。

步骤S203，对键盘区域的大小进行调整，得到预设大小的键盘区域。

在得到键盘区域之后，在目标图像中剪切出键盘区域，然后接收调整指令，根据调整指令对键盘区域的大小进行调整。可选地，根据调整指令对键盘区域进行缩小，或者根据调整指令对键盘区域进行放大，从而得到预设大小的键盘区域。

步骤S204，根据虚拟按键信息在预设大小的键盘区域中生成虚拟按键。

虚拟按键信息包括不同虚拟按键在虚拟键盘中的排列信息。在对键盘区域的大小进行调整，得到预设大小的键盘区域之后，根据不同虚拟按键在虚拟键盘中的排列信息计算出不同虚拟按键在虚拟键盘中的位置。

步骤S205，对虚拟按键建立状态标记信息。

对虚拟按键建立状态标记信息，状态标记信息为用于标记虚拟按键的操作状态的信息，比如，通过不同的状态标记信息标记虚拟按键的按下状态和虚拟按键的弹起状态。可选地，当虚拟按键被遮挡时，状态标记信息为0，虚拟按键可以为按下状态，当虚拟按键未被遮挡时，该虚拟按键的状态标记信息为1，虚拟按键为弹起状态。

步骤S206，根据虚拟键盘的位置信息和状态标记信息确定虚拟按键的操作状态。

根据虚拟键盘的位置信息和状态标记信息确定虚拟按键的操作状态。虚拟键盘的位置信息包括虚拟键盘中的每个虚拟按键在键盘区域中的位置。可选地，当用户对虚拟键盘进行操作时，检测虚拟按键的状态标记信息，当检测到该虚拟按键的状态标记信息为0时，确定该虚拟按键被遮挡，该虚拟按键可以为按下操作，当检测到该虚拟按键的状态标记信息为1时，确定该虚拟按键未被遮挡，该虚拟按键为弹起操作，从而根据虚拟按键的状态标记信息判断虚拟按键是被按下的按下操作，还是被弹起的弹起操作。

虚拟按键被遮挡的情况可能为虚拟按键被手指按下导致虚拟按键被遮挡的情况，也可能为由于手背移动导致虚拟按键被遮挡的情况，从而不能初步根据虚拟按键被遮挡的状态标记信息准确地确定虚拟按键的操作状态。可选地，搭建贝叶斯网络，通过大量样本的学习以确定当前被遮挡的虚拟按键是被手指按下导致虚拟按键被遮挡的概率和由于手背移动导致虚拟按键被遮挡的概率，得到分布概率。根据分布概率计算出最大概率值，确定当前虚拟按键的位置和对应的输入信息。

步骤S207，根据虚拟按键的操作状态生成操作指令。

根据整个虚拟键盘的位置信息和状态标记信息分析和判断虚拟键盘中被按下的虚拟按键，被弹起的虚拟按键以及由于手背移动导致被遮挡的虚拟按键，从而生成当前针对于虚拟按键的操作指令。

该实施例可以通过智能设备自带的摄像头来捕捉手指在虚拟键盘上的运动实现指令的输入，该虚拟键盘可以由一个投影装置将键盘布局投影在桌面上，或者直接由一个绘制有键盘键位的纸张上来提示用户的输入位置。其中，投影装置或键盘纸占用体积小，可以十分方便的携带或者嵌入到智能设备上，既保留的键盘输入的快捷性也兼顾了设备的可携带性。

该实施例通过摄像头检测目标图像，判断目标图像中是否有预设颜色信息，当判断出目标图像中有预设颜色信息时，提取目标图像中的预设颜色信息对应的区域，得到键盘区域，然后对键盘区域的大小进行调整，得到预设大小的键盘区域，根据虚拟按键信息在预设大小的键盘区域中生成虚拟按键，对虚拟按键建立状态标记信息，再根据虚拟键盘的位置信息和状态标记信息确定虚拟按键的操作状态，最后根据虚拟按键的操作状态生成操作指令，不需要红外投影模组、红外摄像头来实现对虚拟按键的定位和输入指令的识别，不需要设备具有红外发射能力和红外检测能力，不需要红外发射器和红外摄像镜头以及微处理器、无线蓝牙模组等模块封装为小的设备，降低了对设备要求，不需要在使用虚拟键盘时再携带额外的硬件装置，达到了扩大虚拟键盘的使用场景的效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例还提供了一种虚拟键盘输入装置。需要说明的是，该实施例的虚拟键盘输入装置可以用于执行本发明实施例的虚拟键盘输入方法。

图3是根据本发明第一实施例的虚拟键盘输入装置的示意图。如图3所示，该虚拟键盘输入装置包括：检测单元10，第一生成单元20，捕捉单元30和第二生成单元40。

检测单元10，用于检测目标图像中是否有用于确定虚拟键盘的键盘区域的标识信息，其中，目标图像为通过拍摄得到的图像，虚拟键盘为用于接收输入操作并生成操作指令的虚拟界面。

第一生成单元20，用于当检测到目标图像中有标识信息时，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键，其中，虚拟按键信息为用于在键盘区域中生成虚拟按键的信息，虚拟按键与操作指令具有对应关系。

捕捉单元30，用于捕捉虚拟按键上的输入操作，得到状态标记信息，其中，状态标记信息为用于标记虚拟按键的操作状态的信息。

第二生成单元40，用于根据状态标记信息生成操作指令。

该实施例通过检测单元10检测目标图像中是否有用于确定键盘区域的标识信息，目标图像为通过摄像头拍摄到的图像，虚拟键盘为用于接收输入操作并生成操作指令的虚拟界面，第一生成单元20用于当检测到目标图像中有标识信息时，根据标识信息和虚拟按键信息生成虚拟键盘的虚拟按键，其中，虚拟按键信息为用于在键盘区域中生成虚拟按键的信息，虚拟按键与操作指令具有对应关系，捕捉单元30用于通过摄像头捕捉虚拟按键上的输入操作，得到状态标记信息，其中，状态标记信息为用于标记虚拟按键的操作状态的信息，通过第二生成单元40根据状态标记信息生成操作指令，达到了扩大虚拟键盘的使用场景的效果。

图4是根据本发明第二实施例的虚拟键盘输入装置的示意图。如图4所示，该虚拟键盘输入装置包括：检测单元10，第一生成单元20，捕捉单元30和第二生成单元40。其中，第一生成单元20包括：第一确定模块21，计算模块22和第二确定模块23。

该实施例中的检测单元10，第一生成单元20，捕捉单元30和第二生成单元40与本发明第一实施例的虚拟键盘输入装置中的作用相同，此处不再赘述。

第一确定模块21，用于根据标识信息在目标图像中确定键盘区域。

计算模块22，用于根据虚拟按键信息计算虚拟按键在键盘区域中的位置信息。

第二确定模块23，用于根据位置信息确定虚拟按键在虚拟键盘中的位置。

图5是根据本发明第三实施例的虚拟键盘输入装置的示意图。如图5所示，该虚拟键盘输入装置包括：检测单元10，第一生成单元20，捕捉单元30和第二生成单元40。其中，第一生成单元20包括：第一确定模块21，计算模块22，第二确定模块23，第一生成单元20包括：第一确定模块21，计算模块22和第二确定模块23，其中，捕捉单元30包括：第三确定模块31和第四确定模块32。

该实施例中的检测单元10，第一生成单元20，捕捉单元30和第二生成单元40，第一确定模块21，计算模块22和第二确定模块23与本发明第二实施例的虚拟键盘输入装置中的作用相同，此处不再赘述。

第三确定模块31，用于当捕捉到虚拟按键被遮挡时，确定状态标记信息为第一预设值。

第四确定模块32，用于当捕捉到虚拟按键未被遮挡时，确定状态标记信息为第二预设值。

第二生成单元40用于根据第一预设值生成虚拟按键被遮挡时的操作指令，根据第二预设值生成虚拟按键未被遮挡时的操作指令。

图6是根据本发明第四实施例的虚拟键盘输入装置的示意图。如图6所示，该虚拟键盘输入装置包括：检测单元10，第一生成单元20，捕捉单元30和第二生成单元40。该虚拟键盘输入装置还包括第一获取单元50，第二获取单元60和计算单元70。

该实施例中的检测单元10，第一生成单元20，捕捉单元30和第二生成单元40与本发明第一实施例的虚拟键盘输入装置中的作用相同，此处不再赘述。

第一获取单元50，用于在根据状态标记信息生成操作指令之前，获取虚拟按键上的历史输入操作，其中，历史输入操作为对虚拟按键已经执行过的输入操作。

第二获取单元60，用于获取历史输入操作的操作状态标记信息。其中，状态标记信息包括操作状态标记信息。

计算单元70，用于根据状态标记信息和虚拟按键在键盘区域中的位置信息按照预设算法模型计算虚拟按键上的不同输入操作的概率，得到分布概率。

第二生成单元40用于按照分布概率中的最大概率对应的输入操作生成操作指令。

图7是根据本发明第五实施例的虚拟键盘输入装置的示意图。如图7所示，该虚拟键盘输入装置包括：检测单元10，第一生成单元20，捕捉单元30和第二生成单元40。其中，检测单元10包括：判断模块11，第五确定模块12和第六确定模块13。

该实施例中的检测单元10，第一生成单元20，捕捉单元30和第二生成单元40与本发明第一实施例的虚拟键盘输入装置中的作用相同，此处不再赘述。

判断模块11，用于判断目标图像中是否有预设颜色区域。

第五确定模块12，用于在判断出目标图像中有预设颜色区域，确定目标图像中有标识信息。

第六确定模块13，用于在判断出目标图像中没有预设颜色区域，确定目标图像中没有标识信息。

图8是根据本发明第六实施例的虚拟键盘输入装置的示意图。如图8所示，该虚拟键盘输入装置包括：检测单元10，第一生成单元20，捕捉单元30和第二生成单元40，检测单元10包括：判断模块11，第五确定模块12和第六确定模块13，该虚拟键盘输入装置还包括：提取单元80和确定单元90。

该实施例的检测单元10，第一生成单元20，捕捉单元30和第二生成单元40，判断模块11，第五确定模块12和第六确定模块13与本发明第五实施例中的作用相同，此处不再赘述。

提取单元80，用于在确定目标图像中有标识信息之后，从目标图像中提取预设颜色区域。

确定单元90，用于通过预设颜色区域确定虚拟键盘的位置和大小。

第一生成单元20用于根据虚拟键盘的位置和大小以及虚拟按键信息生成虚拟键盘的虚拟按键。

本发明实施例还提供了一种机器人。需要说明的是，该机器人包括本发明实施例的虚拟键盘输入装置，可以用于执行本发明实施例的虚拟键盘输入方法。

本发明实施例通过摄像头对目标图像进行拍摄并对目标图像进行检测，从目标图像中检测标识信息，查找虚拟键盘的位置，也即，查找虚拟键盘的键盘区域。在查找到虚拟键盘的键盘区域之后，将虚拟键盘从目标图像中的背景图像中提取出来。可选地，标识信息为预设颜色信息，预设颜色为虚拟键盘的颜色，该预设颜色可以为红色。按照预设算法过滤掉目标图像中的大部分背景颜色，仅仅保留红色的键盘区域，从而提取目标图像中的红色区域，使计算机容易检测到，进而保证计算机将虚拟键盘从目标图像中准确地提取出来。再通过常规的图像处理方法对键盘区域进行定位和调整，通过接收调整指令缩放键盘区域的大小到预设大小，得到预设大小的键盘区域，然后计算出虚拟按键在键盘区域中的位置信息。用户的手指通过虚拟键盘进行输入操作，通过摄像头对虚拟按键的输入操作进行检测。在用户的手指按下虚拟键盘中的虚拟按键的情况下，被按下的虚拟按键对应的区域中的图像由于被手指遮挡了，预设算法将不能再检测到红色的虚拟键盘的信息，对比前后目标图像中该区域中的颜色信息可以判断出虚拟键盘中是否有虚拟按键被按下，从而通过虚拟按键被按下生成操作指令，得到输入信息。

本发明实施例不需要红外投影模组、红外摄像头来实现对虚拟按键的定位和输入指令的识别，不需要设备具有红外发射能力和红外检测能力，不需要红外发射器和红外摄像镜头以及微处理器、无线蓝牙模组等模块封装为小的设备，降低了对设备要求，不需要在使用虚拟键盘时再携带额外的硬件装置，达到了扩大虚拟键盘的使用场景的效果。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种虚拟键盘输入方法，其特征在于，包括：

检测目标图像中是否有用于确定虚拟键盘的键盘区域的标识信息，其中，所述目标图像为通过拍摄得到的图像，所述虚拟键盘为用于接收输入操作并生成操作指令的虚拟界面；

当检测到所述目标图像中有所述标识信息时，根据所述标识信息和虚拟按键信息生成所述虚拟键盘的虚拟按键，其中，所述虚拟按键信息为用于在所述键盘区域中生成虚拟按键的信息，所述虚拟按键与所述操作指令具有对应关系；

捕捉所述虚拟按键上的输入操作，得到状态标记信息，其中，所述状态标记信息为用于标记所述虚拟按键的操作状态的信息；以及

根据所述状态标记信息生成所述操作指令。

2.根据权利要求1所述的方法，其特征在于，根据所述标识信息和所述虚拟按键信息生成所述虚拟键盘的虚拟按键包括：

根据所述标识信息在所述目标图像中确定所述键盘区域；

根据所述虚拟按键信息计算所述虚拟按键在所述键盘区域中的位置信息；以及

根据所述位置信息确定所述虚拟按键在所述虚拟键盘中的位置。

3.根据权利要求2所述的方法，其特征在于，捕捉所述虚拟按键上的输入操作，得到所述状态标记信息包括：

当捕捉到所述虚拟按键被遮挡时，确定所述状态标记信息为第一预设值；

当捕捉到所述虚拟按键未被遮挡时，确定所述状态标记信息为第二预设值，

其中，根据所述状态标记信息生成所述操作指令包括：根据所述第一预设值生成所述虚拟按键被遮挡时的操作指令，根据所述第二预设值生成所述虚拟按键未被遮挡时的操作指令。

4.根据权利要求1所述的方法，其特征在于，所述状态标记信息包括操作状态标记信息，在根据所述状态标记信息生成所述操作指令之前，所述方法还包括：

获取所述虚拟按键上的历史输入操作，其中，所述历史输入操作为对所述虚拟按键已经执行过的输入操作；

获取所述历史输入操作的所述操作状态标记信息；

根据所述操作状态标记信息和所述虚拟按键在所述键盘区域中的位置信息按照预设算法模型计算所述虚拟按键上的不同输入操作的概率，得到分布概率，

其中，根据所述状态标记信息生成所述操作指令包括：按照所述分布概率中的最大概率对应的输入操作生成所述操作指令。

5.根据权利要求4所述的方法，其特征在于，所述预设算法模型为贝叶斯网络模型。

6.根据权利要求1所述的方法，其特征在于，检测所述目标图像中是否有用于确定所述键盘区域的标识信息包括：

判断所述目标图像中是否有预设颜色区域；

如果判断出所述目标图像中有所述预设颜色区域，确定所述目标图像中有所述标识信息；以及

如果判断出所述目标图像中没有所述预设颜色区域，确定所述目标图像中没有所述标识信息。

7.根据权利要求6所述的方法，其特征在于，在确定所述目标图像中有所述标识信息之后，所述方法还包括：

从所述目标图像中提取所述预设颜色区域；

通过所述预设颜色区域确定所述虚拟键盘的位置和大小，

其中，根据所述标识信息和所述虚拟按键信息生成所述虚拟键盘的虚拟按键包括：根据所述虚拟键盘的位置和大小以及所述虚拟按键信息生成所述虚拟键盘的虚拟按键。

8.根据权利要求7所述的方法，其特征在于，通过所述预设颜色区域确定所述虚拟键盘的位置和大小包括：

获取所述预设颜色区域中的目标点，其中，所述目标点用于确定所述虚拟键盘的位置和大小；以及

根据所述目标点确定所述虚拟键盘的位置和大小。

9.根据权利要求7所述的方法，其特征在于，在通过所述预设颜色区域确定所述虚拟键盘的位置和大小之后，所述方法还包括：

接收用于调整所述虚拟键盘大小的调整指令；

根据所述调整指令调整所述虚拟键盘至预设大小，

其中，根据所述标识信息和所述虚拟按键信息生成所述虚拟键盘的虚拟按键包括：根据所述虚拟按键信息在所述预设大小的虚拟键盘上生成所述虚拟按键。

10.一种虚拟键盘输入装置，其特征在于，包括：

检测单元，用于检测目标图像中是否有用于确定键盘区域的标识信息，其中，所述目标图像为通过拍摄得到的图像，所述虚拟键盘为用于接收输入操作并生成操作指令的虚拟界面；

第一生成单元，用于当检测到所述目标图像中有所述标识信息时，根据所述标识信息和虚拟按键信息生成所述虚拟键盘的虚拟按键，其中，所述虚拟按键信息为用于在所述键盘区域中生成虚拟按键的信息，所述虚拟按键与所述操作指令具有对应关系；

捕捉单元，用于捕捉所述虚拟按键上的输入操作，得到状态标记信息，其中，所述状态标记信息为用于标记所述虚拟按键的操作状态的信息；以及

第二生成单元，用于根据所述状态标记信息生成所述操作指令。

11.根据权利要求10所述的装置，其特征在于，所述第一生成单元包括：

第一确定模块，用于根据所述标识信息在所述目标图像中确定所述键盘区域；

计算模块，用于根据所述虚拟按键信息计算所述虚拟按键在所述键盘区域中的位置信息；以及

第二确定模块，用于根据所述位置信息确定所述虚拟按键在所述虚拟键盘中的位置。

12.根据权利要求11所述的装置，其特征在于，所述捕捉单元包括：

第三确定模块，用于当捕捉到所述虚拟按键被遮挡时，确定所述状态标记信息为第一预设值；

第四确定模块，用于当捕捉到所述虚拟按键未被遮挡时，确定所述状态标记信息为第二预设值，

其中，所述第二生成单元用于根据所述第一预设值生成所述虚拟按键被遮挡时的操作指令，根据所述第二预设值生成所述虚拟按键未被遮挡时的操作指令。

13.根据权利要求10所述的装置，其特征在于，所述状态标记信息包括操作状态标记信息，所述装置还包括：

第一获取单元，用于在根据所述状态标记信息生成所述操作指令之前，获取所述虚拟按键上的历史输入操作，其中，所述历史输入操作为对所述虚拟按键已经执行过的输入操作；

第二获取单元，用于获取所述历史输入操作的所述操作状态标记信息；

计算单元，用于根据所述状态标记信息和所述虚拟按键在所述键盘区域中的位置信息按照预设算法模型计算所述虚拟按键上的不同输入操作的概率，得到分布概率，

其中，所述第二生成单元用于按照所述分布概率中的最大概率对应的输入操作生成所述操作指令。

14.根据权利要求10所述的装置，其特征在于，所述检测单元包括：

判断模块，用于判断所述目标图像中是否有预设颜色区域；

第五确定模块，用于在判断出所述目标图像中有所述预设颜色区域，确定所述目标图像中有所述标识信息；以及

第六确定模块，用于在判断出所述目标图像中没有所述预设颜色区域，确定所述目标图像中没有所述标识信息。

15.根据权利要求14所述的装置，其特征在于，所述装置还包括：

提取单元，用于在确定所述目标图像中有所述标识信息之后，从所述目标图像中提取所述预设颜色区域；

确定单元，用于通过所述预设颜色区域确定所述虚拟键盘的位置和大小，

其中，所述第一生成单元用于根据所述虚拟键盘的位置和大小以及所述虚拟按键信息生成所述虚拟键盘的虚拟按键。

16.一种机器人，其特征在于，包括权利要求10至15中任一项所述的虚拟键盘输入装置。