CN105260024A - 一种在屏幕上模拟手势运动轨迹的方法及装置 - Google Patents

Abstract

本发明公开了一种在屏幕上模拟手势运动轨迹的方法及装置。所述方法包括利用终端中的超声波传感器识别进入超声波识别空间的超声波反射体，获取所述超声波反射体轮廓的坐标，通过所述坐标确定所述超声波反射体的形状，在确定所述超声波反射体是手指时，通过屏幕显示手指端部对应的图示点，以通过所述图示点在屏幕上的运动轨迹模拟手势在所述超声波识别空间中的运动轨迹。本发明实现准确识别手势的运动轨迹的目的，达到了提升用户体验度的效果。

Description

一种在屏幕上模拟手势运动轨迹的方法及装置

技术领域

本发明实施例涉及人机交互技术，尤其涉及一种在屏幕上模拟手势运动轨迹的方法及装置。

背景技术

随着电子产品向智能化发展的趋势，越来越多的电子产品具备了智能识别技术，特别是手势识别，应用非常普遍，如现有的手机，很多手机厂家在手机中添加了非接触式手势识别的功能，用户无需接触手机，只需做出相应的手势即可对手机进行操作。

现有的非接触式手势识别的方式中，有些是采用红外传感器检测用户手势的方式，红外线在传输过程中接触到用户的手指端部会反射，反射信号在空气中传输并回到红外传感器，可以通过红外线发射信号和反射信号识别手势。但是，红外线容易被深色的物体吸收而影响手势的识别，并且，由于手部面积较大，红外线往往还会被手部中除手指端部之外的其余位置反射，而导致手势的识别准确度降低，不能实现准确识别手势的运动轨迹的目的，容易因误检测而执行误操作，用户体验度不佳。

发明内容

本发明提供一种在屏幕上模拟手势运动轨迹的方法及装置，以实现准确识别手势的运动轨迹的目的，提升了用户体验度。

第一方面，本发明实施例提供了一种在屏幕上模拟手势运动轨迹的方法，包括：

利用终端中的超声波传感器识别进入超声波识别空间的超声波反射体；

获取所述超声波反射体轮廓的坐标，通过所述坐标确定所述超声波反射体的形状；

在确定所述超声波反射体是手指时，通过屏幕显示手指端部对应的图示点，以通过所述图示点在屏幕上的运动轨迹模拟手势在所述超声波识别空间中的运动轨迹。

第二方面，本发明实施例还提供了一种在屏幕上模拟手势运动轨迹的装置，该装置包括：

超声波反射体识别单元，用于利用终端中的超声波传感器识别进入超声波识别空间的超声波反射体；

形状确定单元，用于获取所述超声波反射体轮廓的坐标，通过所述坐标确定所述超声波反射体的形状；

运动轨迹模拟单元，用于在确定所述超声波反射体是手指时，通过屏幕显示手指端部对应的图示点，以通过所述图示点在屏幕上的运动轨迹模拟手势在所述超声波识别空间中的运动轨迹。

本发明通过利用终端中的超声波传感器识别进入超声波识别空间的超声波反射体，获取所述超声波反射体轮廓的坐标，通过所述坐标确定所述超声波反射体的形状，在确定所述超声波反射体是手指时，通过屏幕显示手指端部对应的图示点，以通过所述图示点在屏幕上的运动轨迹模拟手势在所述超声波识别空间中的运动轨迹，解决因手部的多个位置均反射超声波影响手势运动轨迹的识别准确度的问题，实现准确识别手势的运动轨迹的目的，达到了提升用户体验度的效果。

附图说明

图1a是本发明实施例一中的一种在屏幕上模拟手势运动轨迹的方法的流程图；

图1b是本发明实施例中超声波传感器的结构示意图；

图1c是本发明实施例一中在屏幕上模拟手势运动轨迹的方法的显示效果图；

图2是本发明实施例二中的一种在屏幕上模拟手势运动轨迹的方法中确定超声波反射体的形状的步骤的流程图；

图3是本发明实施例三中的一种在屏幕上模拟手势运动轨迹的装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1a为本发明实施例一提供的一种在屏幕上模拟手势运动轨迹的方法的流程图，本实施例可适用于在屏幕上显示手指端部运动轨迹的情况，该方法可以由在屏幕上模拟手势运动轨迹的装置来执行，该装置被配置于终端内，且所述终端上设置有至少两个超声波传感器。

所述在屏幕上模拟手势运动轨迹的方法具体包括如下步骤：

步骤110、利用终端中的超声波传感器识别进入超声波识别空间的超声波反射体。

其中，所述超声波传感器包括至少一个接收端和至少一个发射端。通过发射端发射超声波信号，并通过接收端接收经手反射回来的超声波反射信号，其中，如图1b所示，还可以将所述移动终端的扬声器101作为发射端，所述移动终端的麦克风102作为接收端。所述扬声器101发射的超声波信号经过玻璃盖板传出移动终端，在经过障碍物时被该障碍物反射，通过麦克风102接收超声波反射信号。例如，可以在终端的正面上端设置至少一个发射端和至少一个接收端，在正面下端设置至少一个发射端和至少一个接收端，通过所述发射端发射的超声波信号经用户的手部反射后传播到所述接收端。对于通过用户的手势进行应用控制的示例中，用户的手指端部的运动轨迹是有效的轨迹，但是，用户的手部面积较大，往往会出现，不仅是经用户的手指端部反射产生了超声波反射信号，还会产生经手指其余位置反射或手掌反射的超声波反射干扰信号，且所述超声波反射信号和所述超声波反射干扰信号均可能被所述接收端接收，因此，终端可能将干扰点误用于确定用户手势的运动轨迹，进而影响用户手势运动轨迹的识别准确度。

其中，通过终端将现实空间分为两侧，所述超声波识别空间是终端的正面朝向的一侧的空间。如图1c所示，所述超声波识别空间为x轴正方向对应的空间。

其中，所述超声波反射体是超声波识别空间内反射超声波的物体，包括进入超声波识别空间的用户的手指、进入超声波识别空间的用户的手掌或超声波识别空间内用户的手势以外的其它物体。

终端利用设置于自身上的超声波传感器发射超声波信号，并接收超声波反射信号，确定当前发射的超声波信号与接收到当前超声波信号对应的超声波反射信号的时间差。根据所述时间差和超声波在空气中的传播速度确定进入超声波识别空间内的超声波反射体上各点的位置坐标。

步骤120、获取所述超声波反射体轮廓的坐标，通过所述坐标确定所述超声波反射体的形状。

终端通过所确定的超声波反射体上各点的位置坐标，将表示边界的坐标确定为该超声波反射体轮廓的坐标。根据所述超声波反射体轮廓的坐标绘制所述超声波反射体的轮廓。判断所述超声波反射体的轮廓是否是具有长度相差较大的长边和短边的矩形，若是，则确定所述超声波反射体为手指，若否，则继续判断所述超声波反射体是否是长轴和短轴的长度相差较小的椭圆形，若是，则确定所述超声波反射体为手掌，若否，则确定所述超声波反射体不是用户的手势。

步骤130、在确定所述超声波反射体是手指时，通过屏幕显示手指端部对应的图示点，以通过所述图示点在屏幕上的运动轨迹模拟手势在所述超声波识别空间中的运动轨迹。

终端根据超声波反射体轮廓的坐标确定手指端部的坐标，确定所述手指端部的坐标是否在预设的屏幕映射区域内，若是，则确定所述手指端部的坐标在屏幕上的映射坐标，在所述映射坐标的位置显示图示点，以通过所述图示点表示所述手指端部。其中，屏幕映射区域是预先设置的与终端的屏幕显示区域对应的超声波识别空间内的子区域，为了方便手指的识别和滑动可以扩大所述屏幕映射区域在所述超声波识别空间占据的范围。终端通过显示所述图示点在屏幕映射区内的运动轨迹，模拟用户的手指的端部在所述超声波识别空间中的运动轨迹，如图1c所示，手指端部位置由位置A沿曲线运动到位置B，则屏幕101上显示的图示点102由位置a沿屏幕上相同的曲线运动到位置b，排除了手部除手指端部外的其它位置对准确确定运动轨迹的干扰。

本实施例的技术方案，通过利用终端中的超声波传感器识别进入超声波识别空间的超声波反射体，获取所述超声波反射体轮廓的坐标，通过所述坐标确定所述超声波反射体的形状，在确定所述超声波反射体是手指时，通过屏幕显示手指端部对应的图示点，以通过所述图示点在屏幕上的运动轨迹模拟手势在所述超声波识别空间中的运动轨迹，解决因手部的多个位置均反射超声波影响手势运动轨迹的识别准确度的问题，实现准确识别手势的运动轨迹的目的，达到了提升用户体验度的效果。

实施例二

图2是本发明实施例二中的一种在屏幕上模拟手势运动轨迹的方法中确定超声波反射体的形状的步骤的流程图。本实施例的技术方案在上述实施例的基础上，优选对通过超声波反射体轮廓的坐标确定所述超声波反射体的形状的步骤作进一步说明，具体包括如下步骤：

步骤210、利用终端中的超声波传感器发射的超声波信号和超声波反射信号确定进入超声波识别空间内的超声波反射体的位置坐标。

例如，终端通过设置于终端的正面上端的一个发射端发射超声波信号，并通过设置于终端正面上端一个接收端接收经反射体上的某一点反射的超声波反射信号。通过当前发射超声波信号与接收到当前超声波信号对应的超声波反射信号的时间差，以及超声波在空气中的传播速度确定所述超声波反射体上该点距离终端的正面上端的距离。通过设置于终端的正面下端的一个发射端发射超声波信号，并通过设置于终端正面下端一个接收端接收经反射体上某一点反射的超声波反射信号。通过当前发射超声波信号与接收到当前超声波信号对应的超声波反射信号的时间差，以及超声波在空气中的传播速度确定所述超声波反射体上该点距离终端的正面下端的距离。根据所述超声波反射体上每个点与终端正面上端的距离以及所述超声波反射体上每个点与正面下端的距离，通过三角函数运算可以确定所述超声波反射体上各点的位置坐标。

步骤220、根据超声波反射体的位置坐标获取所述超声波反射体轮廓的坐标，通过所述超声波反射体轮廓的坐标获得所述超声波反射体的轮廓。

终端比较所确定的超声波反射体上各点的位置坐标，确定其中表示边界的坐标，将所述表示边界的坐标确定为所述超声波反射体轮廓的坐标。如图1c所述，根据y轴分量的取值确定表示所述超声波反射体的边界的坐标。可以得知，不同的坐标系中表示超声波反射体的边界的坐标的坐标轴分量是不同的，对于变换坐标轴而获得的采用其它坐标轴分量确定表示超声波反射体的边界坐标的方式仍相当于本申请的中确定表示超声波反射体的边界的坐标的方法。

步骤230、将所述超声波反射体的轮廓与预设的手部模型库进行匹配。

其中，手部模型库为采集不同国家、不同性别以及不同动作(包括伸出大拇指、食指、中指、无名指和小指中的至少一根)的手部信息创建的手部模型库，或者下载第三方提供的包括不同国家、不同性别以及不同动作的手部信息的手部模型库。

采集所述超声波反射体的轮廓中的多个点作为特征点，将所述特征点与所述手势模型库进行匹配。在所述特征点与所述手势模型库包括的手指模型均不匹配时，判断所述特征点与所述手势模型库中的手掌模型的坐标点是否相同或成比例关系。

步骤240、确定所述超声波反射体的轮廓与手部模型库中的手指模型是否匹配，若是，则执行步骤250，若否，则执行步骤260。

终端判断所述特征点与所述手势模型库中的手指模型的坐标点是否相同或成比例关系；若所述特征点与所述手势模型库中的手指模型的坐标点相同或对应成比例，则执行步骤250；若所述特征点与所述手势模型库中的手指模型的坐标点不相同且不对应成比例，则执行步骤260。

步骤250、确定所述超声波反射体为手指。

在确定所述超声波反射体的轮廓与手部模型库中的手指模型匹配时，终端确定所述超声波反射体为手指。

步骤260、确定所述超声波反射体的轮廓与手部模型库中的手掌模型是否匹配，若是，则执行步骤280，若否，则执行步骤270。

终端判断所述特征点与所述手势模型库中的手掌模型的坐标点是否相同或成比例关系；若所述特征点与所述手势模型库中的手掌模型的坐标点相同或对应成比例，则执行步骤280；若所述特征点与所述手势模型库中的手掌模型的坐标点不相同且不对应成比例，则执行步骤270。

步骤270、确定所述超声波反射体不是用户的手势。

在确定所述超声波反射体的轮廓与手部模型库中的手指模型和手掌模型均不匹配时，终端确定所述超声波反射体不是用户的手势。

步骤280、确定所述超声波反射体为手掌。

在确定所述超声波反射体的轮廓与手部模型库中的手掌模型匹配时，终端确定所述超声波反射体为手掌。

本实施例的技术方案，通过详细说明通过超声波反射体轮廓的坐标确定所述超声波反射体的形状的步骤，实现了准确判定反射体的形状的目的，避免出现因判定错误而影响在屏幕上模拟手势运动轨迹的准确度的问题。

实施例三

图3是本发明实施例三中的一种在屏幕上模拟手势运动轨迹的装置的结构示意图。所述装置包括：

超声波反射体识别单元310，用于利用终端中的超声波传感器识别进入超声波识别空间的超声波反射体；

形状确定单元320，用于获取所述超声波反射体轮廓的坐标，通过所述坐标确定所述超声波反射体的形状；

运动轨迹模拟单元330，用于在确定所述超声波反射体是手指时，通过屏幕显示手指端部对应的图示点，以通过所述图示点在屏幕上的运动轨迹模拟手势在所述超声波识别空间中的运动轨迹。

本实施例的技术方案，通过超声波反射体识别单元310利用终端中的超声波传感器识别进入超声波识别空间的超声波反射体，并通过形状确定单元320获取所述超声波反射体轮廓的坐标，通过所述坐标确定所述超声波反射体的形状，然后，通过运动轨迹模拟单元330在确定所述超声波反射体是手指时，通过屏幕显示手指端部对应的图示点，以通过所述图示点在屏幕上的运动轨迹模拟手势在所述超声波识别空间中的运动轨迹，解决因手部的多个位置均反射超声波影响手势运动轨迹的识别准确度的问题，实现准确识别手势的运动轨迹的目的，达到了提升用户体验度的效果。

进一步的，所述超声波反射体识别单元310具体用于：

利用终端中的超声波传感器发射的超声波信号和超声波反射信号确定进入超声波识别空间内的超声波反射体的位置坐标，其中，通过终端将现实空间分为两侧，所述超声波识别空间是终端的正面朝向的一侧的空间。

进一步的，所述形状确定单元320具体用于：

根据超声波反射体的位置坐标获取所述超声波反射体轮廓的坐标，通过所述超声波反射体轮廓的坐标获得所述超声波反射体的轮廓；

将所述超声波反射体的轮廓与预设的手部模型库进行匹配；

若所述超声波反射体的轮廓与手部模型库中的手指模型匹配成功，则确定所述超声波反射体为手指，若匹配不成功，则将所述超声波反射体的轮廓与手部模型库中的手掌模型进行匹配；

若所述超声波反射体的轮廓与手掌模型匹配成功，则确定所述超声波反射体为手掌。

进一步的，所述运动轨迹模拟单元330具体用于：

根据超声波反射体轮廓的坐标确定手指端部的坐标；

确定所述手指端部的坐标是否在预设的屏幕映射区域内；

确定所述屏幕映射区域内的所述手指端部的坐标映射到屏幕上的映射坐标，在所述映射坐标的位置显示图示点，以通过所述图示点表示所述手指端部。

进一步的，所述超声波传感器包括至少一个接收端和至少一个发射端；其中，所述发射端为移动终端的扬声器，所述接收端为移动终端的麦克风。

上述在屏幕上模拟手势运动轨迹的装置可执行本发明任意实施例所提供的在屏幕上模拟手势运动轨迹的方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种在屏幕上模拟手势运动轨迹的方法，其特征在于，包括：

利用终端中的超声波传感器识别进入超声波识别空间的超声波反射体；

获取所述超声波反射体轮廓的坐标，通过所述坐标确定所述超声波反射体的形状；

在确定所述超声波反射体是手指时，通过屏幕显示手指端部对应的图示点，以通过所述图示点在屏幕上的运动轨迹模拟手势在所述超声波识别空间中的运动轨迹。

2.根据权利要求1所述的方法，其特征在于，利用终端中的超声波传感器识别进入超声波识别空间的超声波反射体，包括：

利用终端中的超声波传感器发射的超声波信号和超声波反射信号确定进入超声波识别空间内的超声波反射体的位置坐标，其中，通过终端将现实空间分为两侧，所述超声波识别空间是终端的正面朝向的一侧的空间。

3.根据权利要求2所述的方法，其特征在于，获取所述超声波反射体轮廓的坐标，通过所述坐标确定所述超声波反射体的形状，包括：

根据超声波反射体的位置坐标获取所述超声波反射体轮廓的坐标，通过所述超声波反射体轮廓的坐标获得所述超声波反射体的轮廓；

将所述超声波反射体的轮廓与预设的手部模型库进行匹配；

若所述超声波反射体的轮廓与手部模型库中的手指模型匹配成功，则确定所述超声波反射体为手指，若匹配不成功，则将所述超声波反射体的轮廓与手部模型库中的手掌模型进行匹配；

若所述超声波反射体的轮廓与手掌模型匹配成功，则确定所述超声波反射体为手掌。

4.根据权利要求1所述的方法，其特征在于，在确定所述超声波反射体是手指时，通过屏幕显示手指端部对应的图示点，包括：

根据超声波反射体轮廓的坐标确定手指端部的坐标；

确定所述手指端部的坐标是否在预设的屏幕映射区域内；

确定所述屏幕映射区域内的所述手指端部的坐标映射到屏幕上的映射坐标，在所述映射坐标的位置显示图示点，以通过所述图示点表示所述手指端部。

5.根据权利要求1-4任一所述的方法，其特征在于，

所述超声波传感器包括至少一个接收端和至少一个发射端；其中，所述发射端为移动终端的扬声器，所述接收端为移动终端的麦克风。

6.一种在屏幕上模拟手势运动轨迹的装置，其特征在于，包括：

超声波反射体识别单元，用于利用终端中的超声波传感器识别进入超声波识别空间的超声波反射体；

形状确定单元，用于获取所述超声波反射体轮廓的坐标，通过所述坐标确定所述超声波反射体的形状；

运动轨迹模拟单元，用于在确定所述超声波反射体是手指时，通过屏幕显示手指端部对应的图示点，以通过所述图示点在屏幕上的运动轨迹模拟手势在所述超声波识别空间中的运动轨迹。

7.根据权利要求6所述的装置，其特征在于，所述超声波反射体识别单元具体用于：

利用终端中的超声波传感器发射的超声波信号和超声波反射信号确定进入超声波识别空间内的超声波反射体的位置坐标，其中，通过终端将现实空间分为两侧，所述超声波识别空间是终端的正面朝向的一侧的空间。

8.根据权利要求7所述的装置，其特征在于，所述形状确定单元具体用于：

根据超声波反射体的位置坐标获取所述超声波反射体轮廓的坐标，通过所述超声波反射体轮廓的坐标获得所述超声波反射体的轮廓；

将所述超声波反射体的轮廓与预设的手部模型库进行匹配；

若所述超声波反射体的轮廓与手部模型库中的手指模型匹配成功，则确定所述超声波反射体为手指，若匹配不成功，则将所述超声波反射体的轮廓与手部模型库中的手掌模型进行匹配；

若所述超声波反射体的轮廓与手掌模型匹配成功，则确定所述超声波反射体为手掌。

9.根据权利要求6所述的装置，其特征在于，所述运动轨迹模拟单元具体用于：

根据超声波反射体轮廓的坐标确定手指端部的坐标；

确定所述手指端部的坐标是否在预设的屏幕映射区域内；

确定所述屏幕映射区域内的所述手指端部的坐标映射到屏幕上的映射坐标，在所述映射坐标的位置显示图示点，以通过所述图示点表示所述手指端部。

10.根据权利要求6-9任一所述所述的装置，其特征在于，

所述超声波传感器包括至少一个接收端和至少一个发射端；其中，所述发射端为移动终端的扬声器，所述接收端为移动终端的麦克风。