CN104777900A - 一种基于手势趋势的图形界面响应方法 - Google Patents

Abstract

本发明公开了一种基于手势趋势判断的图形界面响应方法。计算机设备通过识别用户在其联接的摄像头前的手势趋势，并结合用户手势所对应的当前界面元素与界面中其他元素间的关系，通过计算确定用户将要操作的下一个界面元素。从而不需要用户在具有全自由度的手势操作中模拟类似鼠标的全部行程即可完成非触控界面元素的点选，提高了人机交互的体验。

Description

一种基于手势趋势的图形界面响应方法

技术领域

本发明涉及计算机或智能设备的交互控制技术领域，更具体地说，涉及通过手势识别的非接触式方式，对计算机或智能设备的图形界面进行操作的方法。

背景技术

随着芯片计算能力的提高及能耗的降低，越来越多的传统屏幕设备嵌入了完整的计算机系统，拥有典型的操作系统及主要的I/O接口，还能联网进行通信。但与传统的计算机使用场景不同，很多大屏幕设备，如液晶电视、投影仪、户外LED广告展板等，使用键盘与鼠标进行输入时是极为不便捷的，需要新的输入及输出响应方式来提高用户对设备的使用效率。

在传统上，对电视等大屏幕设备的操作都是通过典型的红外遥控器来完成的。这在电视、投影仪等设备还只执行简单的视频播放处理、频道切换的阶段是合理的，但是在智能电视、智能投影仪时代，这些设备已经拥有了完整的操作系统，在显示上有了较为完整的图形界面，固定按键的传统遥控器已经无法满足对无限组合的功能设定的需求。

目前，对遥控器的一个常用替代技术是通过在用户所携带的智能手机上安装虚拟遥控器应用来实现的。用户通过手机上的遥控器应用，通过局域网或者手机自带的红外模块来对智能电视进行操作。但是这种方法，需要辅助以手机这一用户个人所有的终端设备，不但不能保证在用户需要时就在电视、投影仪周围，也无法在一群用户间方便地传递使用，拥有诸多不便，也依然没有从根本上改变交互控制方式。

进一步地，对于在原生于桌面现移植于智能电视等设备的图形操作系统，出现了利用智能手机或改进的遥控器的所谓空鼠装置，这种遥控设备通过手持遥控装置进行角度摆动来改变智能电视上的红外感应点，从而模拟鼠标的移动。这种遥控方式的缺点在于需要用户在没有依托的立体空间里进行精确的稳定操作以选中界面元素，容易出现感应点的抖动，极易造成用户的疲劳。

在另一方面，从电视游戏应用领域发展而来的纯体感技术，已经不需要任何介质就能感应人体的行为并且执行交互，目前常用的方式是用通过检测出人的手势来在3D场景中反应人的真实操作。但是在更为精确的应用界面控制的应用领域，传统体感技术没有界定标准的手势反馈的界面反应方法，而只是简单地复用于桌面界面或触摸式终端设备界面，这使得其使用的疲劳度还大于前述的空鼠装置。因此，较为实用的场景也只是对翻页、起始、停止等特定指令进行了识别，适用面很窄。

综上所述，现有的主流交互技术或方法都无法有效解决在非触控条件下的大屏幕设备的交互问题，人机交互体验差、界面定位反馈不准确、使用疲劳度高。这是目前阻碍大屏幕智能设备进一步发展的主要技术问题。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于手势趋势判断的图形界面响应方法，从而不需要用户在具有全自由度的手势操作中模拟类似鼠标的全部行程即可完成非触控界面元素的点选，并获得良好的界面反馈以及使用导引。本方法通过计算机设备联接的普通摄像头，来识别用户的手势的移动趋势或变形趋势，并包括以下步骤：

A、确定手势所对应的界面元素；

B、判断手势的移动趋势；

C、确定手势所对应的下一个界面元素。

所述步骤A中，对手势对应元素的确定，可以为当计算机设备初始检测到手势时，预先选定某特定界面元素为操作焦点，或者为当计算机设备在检测到手势的状态保持之后，选定所述步骤C所得到的下一个界面元素作为焦点。

所述步骤B中手势的移动趋势，包括且不限于在保持手势姿态下在立体空间中的全方向上的移动及在向第二手势姿态改变的过程中在立体空间内的全方向上的移动。进一步地，在步骤B中，对手势移动趋势的判断，其参数包括但不限于手势在立体空间中的整体移动垂直于计算机设备的显示界面的二维空间所得到的映射的速度矢量及整体姿态变化的角速度。

所述步骤C中，对手势所应当对应的下一个界面元素的确定，包括对所述下一个界面元素的聚焦反馈及界面中用于提示手势在界面中相应位置的界面反馈元素的非用户自主变化。所述聚焦反馈包括但不限于所述界面元素的高亮或其所对应的具体应用的激活亦或者是其所指示的功能的执行。所述非用户自主变化包括但不限于根据在步骤A中所述的界面元素及步骤C中所述的下一个界面元素的相对位置，经过计算后得到的移动路径所进行的线性移动。

本方法所描述的计算机设备，其检测手势趋势改变的方法为通过计算机设备所联接的一个或多个光学镜头，以普通CCD或CMOS感应器来获得图片流信息，通过图片帧序列的比对来获得。

进一步地，该计算机设备可以以机顶盒的形式通过高清媒体接口(HDMI)与电视、投影仪等设备进行联接，也可以通过嵌入式集成的方式与电视、投影仪等构成一体的智能电视、智能投影仪等。

本发明所述的方法，不需要借助任何特殊的手势传感设备以及物理遥控装置，同时对目前的界面反馈手势的方法进行了重大的优化，能主动为用户引导手势对界面的操作，有着很强的实用价值，并为基于手势的界面的大规模实用推广打下了基础。

附图说明

图1为本发明的基于手势趋势判断的图形界面响应方法的一个较佳实施例的流程图；

图2为本发明的实施例中计算机设备对手势进行捕获并在界面进行识别反馈的示意图；

图3为本发明所述的方法中，对手势趋势的角度的判断几何示意图；

图4为对图3所示手势的具体移动趋势及姿态变化可能的示意图。

具体实施方式

下面结合附图对所述方法进行更为详细的说明以体现本方法的优势。

图1所示为本发明所公开方法的一个较佳实施例的流程图。该流程包括以下步骤：

101确定手势所对应的界面元素。

102判断手势的移动趋势。

103确定手势所对应的下一个界面元素。

在实际的应用场景中，图1所示流程可以由图2所示的用户操作示意图来实施。

如图2所示，带有通用界面的计算机设备以挂载方式与电视进行结合，以电视屏幕作为输出显示，并通过201所示的设备所配备的普通光学摄像头来摄取用户的手势。

用户以202所示手势直面摄像头进行移动或者改变手势姿态。此时，101所示的手势所对应的界面元素的确定，在图2中表达为204所示元素的确定。并且，203所示的手势界面反馈元素以重叠的方式显示在204上方。

接着，202所示的用户手势以稳定的姿态向左的大致方向上做出移动的趋势。计算机设备执行步骤102判断出手势的移动趋势。

下一步，计算机执行步骤103确定手势所对应的下一个界面元素。在图2中，此元素为205所示元素。同时，203所示的手势的反馈元素以动画形式被导航引导到206所示位置，并且，205所示元素的边框发生高亮变化的反馈变化。

在102所示手势的移动判断中，对用户手势的大致方向的归一操作可以由图3所示意的方向角划分的判断方法来进行实施。

图3为202所示手势在立体空间中的整体移动垂直于计算机设备的显示界面的二维空间所得到的映射的速度矢量的一个可能的检测到的方向。

若上述方向被检测到处于301所示角度区域内，计算机则判断界面元素中下一个被操作元素位于当前确定元素的右方。

若上述方向被检测到处于302所示角度区域内，计算机则判断界面中下一个被操作元素位于当前确定元素的下方。

若上述方向被检测到处于303所示角度区域内，计算机则判断界面中下一个被操作元素位于当前确定元素的上方。

同理，若上述方向被检测到处于304所示角度区域内，计算机则判断界面中下一个被操作元素位于当前确定元素的左方。

图4所示为对图3所示手势的具体移动形体或及姿态变化的可能。当手势从401向402变化时，304所示的角度被检测出，用于102所示判断。当手势从401向403变化时，301所示的角度被检测出，用于102所示判断。

同时在手势的移动过程中，手势可以进行由404至405的姿态变化，以在103的下一个元素的确定过程中，同步执行下一个元素所对应的操作。

通过上述图示结合，可以看出本方法在对手势的界面反馈行为上进行了较好的优化，在计算过后，能主动为用户引导手势对界面的操作，同时兼具实用性与先进性。

根据本发明的示例性实施方式包括计算机可读介质，该计算机可读介质包括用于执行利用各种计算机实现的操作的程序命令。该计算机可读介质可以单独地或者组合地包括程序命令、文件数据和数据结构。该计算机可读介质中记录的程序命令是针对本发明特别设计和形成的，或者是计算机软件领域的普通技术人员已经知道的和已经使用的。

该计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁介质以及为了存储和执行程序命令而特别形成的诸如ROM、RAM和闪存的硬件设备。该程序命令的示例包括可以由计算机利用翻译器执行的高级语言代码以及由编译器形成的机器语言代码。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种基于手势趋势的图形界面响应方法，用于简化计算机设备的非触控式界面操作，所述方法包括：

A、确定手势所对应的界面元素；

B、判断手势的移动趋势；

C、确定手势所对应的下一个界面元素。

2.根据权利要求1所述的图形界面响应方法，其特征在于：所述步骤A中，对手势对应元素的确定，可以为当计算机设备初始检测到手势时，预先选定某特定界面元素为操作焦点，或者为当计算机设备在检测到手势的状态保持之后，选定所述步骤C所得到的下一个界面元素作为焦点。

3.根据权利要求1所述的方法，其特征还在于：所述步骤B中手势的移动趋势，包括且不限于在保持手势姿态下在立体空间中的全方向上的移动及在向第二手势姿态改变的过程中在立体空间内的全方向上的移动。

4.根据权利要求1所述的方法，其特征还在于：所述步骤B中，对手势移动趋势的判断，其参数包括但不限于手势在立体空间中的整体移动垂直于计算机设备的显示界面的二维空间所得到的映射的速度矢量及整体姿态变化的角速度。

5.根据权利要求1所述的方法，其特征还在于：所述步骤C中，对手势所应当对应的下一个界面元素的确定，包括对所述下一个界面元素的聚焦反馈及界面中用于提示手势在界面中相应位置的界面反馈元素的非用户自主变化。

6.根据权利要求5所述的界面元素，所述聚焦反馈包括但不限于所述界面元素的高亮或其所对应的具体应用的激活亦或者是其所指示的功能的执行。

7.根据权利要求1、5所述的方法，其特征还在于：所述非用户自主变化包括但不限于根据在步骤A中所述的界面元素及步骤C中所述的下一个界面元素的相对位置，经过计算后得到的移动路径所进行的线性移动。

8.根据权利要求1所述的方法，其特征还在于：对于该方法所描述的计算机设备，其检测手势趋势改变的方法为通过计算机设备所联接的一个或多个光学镜头，以普通CCD或CMOS感应器来获得图片流信息，通过图片帧序列的比对来获得。

9.根据权利要求8所述的计算机设备，其特征在于，其显示界面的载体与主板的物理联接方式包括但不限于高清媒体接口。

10.根据权利要求9所述的物理显示载体包括但不限于液晶屏幕、等离子屏幕、投影仪等。

11.一种计算机可读记录介质，该计算机可读记录介质上记录有用于执行根据权利要求1到8中的任意一项所述的方法的程序。