CN103164160A - 一种左右手交互装置及方法 - Google Patents

Abstract

本发明公开了一种左右手交互装置及方法，该装置包括分别与总线连接的检测单元、分析单元、匹配单元和反馈单元。所述检测单元用于检测触摸屏上被触摸区域的范围；所述分析单元用于接收所述检测单元的输入，并进一步分析触摸范围内的感应器阵列，以及分析触摸时的双手模型参数；所述匹配单元用于将所述分析单元的分析结果与特征库进行匹配，并判断出触摸来源的双手模型；所述反馈单元用于根据所述匹配单元的匹配和判断结果将相应的触发行为反馈至用户界面中。本发明通过左右手配合实现功能操作，取消了现有技术中的功能按键，极大地节约了屏幕空间，同时也最小化了用户交互时手指移动的距离，使得交互过程更加便捷流畅。

Description

一种左右手交互装置及方法

技术领域

本发明涉及人机交互技术领域，具体涉及一种左右手交互装置及方法。

背景技术

人们在操作手机或平板设备时，在屏幕上进行触摸操作的过程中，很多时候需要被迫点击屏幕之外的功能按键，导致整个交互过程并不流畅，效率低下。此外，在投影屏幕上展示内容时，经常需要在投影屏幕上进行评注以给其他参会人员进行提示，有时甚至需要走回电脑前面进行相关操作，无论在批注提示上还是内容操作上都十分麻烦，影响交互过程的流畅度。

现有技术中通过在屏幕中设置软按键来替代屏幕之外的功能按键，通过点击屏幕UI（User Interface）周边的软按键，进而扩展弹出相关选项，再点击相关的选项来实现原本手机或平板设备上功能按键的作用。然而在这种方式中，软按键占用了一定的UI空间，影响视线。如果软按键设计的太小，则难以点击到，如果软按键设计的太大，除了占用空间，还容易造成误操作。同时，软按键必须固定于一个位置，无法做到想用即用。

另外，通过在手机或平板设备中安装遥控应用，再使用WIFI等连接方式连接电脑，就能够控制投影屏上的电脑，进而遥控投影内容。这种方式依然是通过鼠标进行定位的方式，并且实际体验比鼠标还要差，进行评注等相关操作并不方便。

发明内容

本发明实施例提供一种左右手交互装置及方法，以解决现有的交互装置和方法操作不方便、流畅性差、效率低的技术问题。

为了解决上述技术问题，本发明实施例公开了如下技术方案：

第一方面，提供了一种左右手交互装置，该装置包括分别与总线连接的检测单元、分析单元、匹配单元和反馈单元；

所述检测单元用于检测触摸屏上被触摸区域的范围；

所述分析单元用于接收所述检测单元的输入，并进一步分析触摸范围内的感应器阵列，以及分析触摸时的双手模型参数；

所述匹配单元用于将所述分析单元的分析结果与特征库进行匹配，并判断出触摸来源的双手模型；

所述反馈单元用于根据所述匹配单元的匹配和判断结果将相应的触发行为反馈至用户界面中。

优选地，该装置进一步包括与所述总线连接的捕捉单元，用于捕捉与投影屏幕交互时用户的双手模型。

优选地，所述捕捉单元包括摄像设备和距离传感器。

优选地，所述特征库中包含双手十个手指触摸行为的具体参数，通过将分析单元得到的分析结果与特征库中的参数进行匹配来判断出触摸来源的双手模型。

第二方面，提供了一种基于触摸屏的左右手交互方法，该方法具体包括：

检测触摸屏上被触摸区域的轮廓、范围、以及触摸强度；

根据上述检测结果，进一步分析触摸范围内的感应器阵列，并分析出该触摸范围的面积、中心点坐标和方向角度；

将上述分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型；

根据匹配和判断的结果，将相应的触发行为调出，并且反馈到用户界面中。

优选地，通过阵列传感器的实时捕捉功能来检测触摸屏上被触摸区域的轮廓、范围、以及触摸强度。

优选地，进一步分析触摸范围内的感应器阵列，并分析出该触摸范围的面积、中心点坐标和方向角度的方法具体为：

利用触摸屏本身的触控感应器阵列，当感应器感应到手指接触时会产生相应的信号，把每一个感应器的感应信号做统计分析，能够得出感应器的分布，从而进一步推算出触摸范围的面积、中心点坐标和方向角度。

优选地，所述特征库中包含双手十个手指触摸行为的具体参数，通过将分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型。

第三方面，提供了一种基于投影屏幕的左右手交互方法，该方法具体包括：

通过摄像设备和距离传感器检测投影屏幕上被触摸区域的位置和触摸方式；

通过摄像设备和距离传感器捕捉触摸瞬间用户的双手模型；

根据捕捉到的双手模型进行进一步分析，获得具体的双手模型参数；

将上述分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型；

根据匹配和判断的结果，将相应的触发行为调出，并且反馈到用户界面中。

优选地，所述触摸方式包括：点击、滑动、长按、拖拽和双击。

优选地，根据捕捉到的双手模型进行进一步分析具体为：

通过所述摄像设备和距离传感器，基于深度和色差信息捕捉到双手的深度模型，通过深度模型获取方位和深度，进而计算出具体的双手模型参数，判断当前触摸的是左手还是右手。

优选地，所述具体的双手模型参数包括：双手的方位、姿势、角度、深度、以及层次关系。

本发明实施例中通过左右手配合实现功能操作，取消了现有技术中的功能按键，极大地节约了屏幕空间，同时也最小化了用户交互时手指移动的距离，使得交互过程更加便捷流畅。在会议场景下，人们可以自如地在投影屏幕前进行评注和常规操作，无需回到电脑面前进行操作，开创了电脑时代的交互新理念。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是依照本发明一种实施例的左右手交互装置的结构图；

图2是本发明提供的基于触摸屏的左右手交互方法的流程图；

图3是手指触控识别示意图；

图4是左右手触摸交互行为示意图；

图5是本发明提供的基于投影屏幕的左右手交互方法的流程图；

图6是左右手投影屏幕交互行为示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明提供了一种左右手交互装置，可用于左右手触摸交互行为，该装置包括分别与总线连接的检测单元、分析单元、匹配单元和反馈单元；

所述检测单元用于检测触摸屏上被触摸区域的范围；

所述分析单元用于接收所述检测单元的输入，并进一步分析触摸范围内的感应器阵列，以及分析触摸时的双手模型参数；

所述匹配单元用于将所述分析单元的分析结果与特征库进行匹配，并判断出触摸来源的双手模型；

所述反馈单元用于根据所述匹配单元的匹配和判断结果将相应的触发行为反馈至用户界面中。

其中，所述特征库中包含双手十个手指触摸行为的具体参数，每个手指的具体参数均不同，通过将分析单元得到的分析结果与特征库中的参数进行匹配来判断出触摸来源的双手模型。

本发明通过左右手配合实现功能操作，取消了现有技术中用于交互的功能按键，极大地节约了屏幕空间，同时也使得交互过程更加便捷流畅。

实施例2：

图1是依照本发明一种实施例的左右手交互装置的结构图，该装置可应用于触摸屏左右手交互行为，也可应用于投影屏幕的左右手交互行为。

该装置包括：检测单元11、分析单元12、匹配单元13、反馈单元14和捕捉单元15，以上几个单元通过总线相互连接。

所述检测单元11用于检测触摸屏上被触摸区域的范围，包括具体区域和区域轮廓；

所述分析单元12用于接收所述检测单元11的输入，并进一步分析触摸范围内的感应器阵列，以及分析触摸时的双手模型参数；

所述匹配单元13用于将所述分析单元12的分析结果与特征库进行匹配，并判断出触摸来源的双手模型；

所述反馈单元14用于根据所述匹配单元12的匹配和判断结果将相应的触发行为反馈至用户界面中。

所述捕捉单元15用于捕捉与投影屏幕交互时用户的双手模型。

其中，所述捕捉单元15包括摄像设备和距离传感器。

其中，所述特征库中包含双手十个手指触摸行为的具体参数，每个手指的具体参数均不同，通过将分析单元得到的分析结果与特征库中的参数进行匹配来判断出触摸来源的双手模型。

在实施例1的基础上，本实施例增加了捕捉单元15，用于捕捉与投影屏幕交互时用户的双手模型。在会议场景下，人们可以自如地在投影屏幕前进行评注和常规操作，无需回到电脑面前进行操作，使得基于投影屏幕的交互过程也十分便捷流畅。

实施例3：

图2是本发明提供的基于触摸屏的左右手交互方法的流程图，该方法具体包括：

S101、检测触摸屏上被触摸区域的轮廓、范围、以及触摸强度；

S102、根据上述检测结果，进一步分析触摸范围内的感应器阵列，并分析出该触摸范围的面积、中心点坐标和方向角度；

S103、将上述分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型；

S104、根据匹配和判断的结果，将相应的触发行为调出，并且反馈到用户界面中。

其中，所述特征库中包含双手十个手指触摸行为的具体参数，每个手指的具体参数均不同，通过将分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型，根据判断出的双手模型，系统将相应的触发行为调出，并且反馈到用户界面中，完成相关操作。

实施例4：

本实施例提供一种基于触摸屏的左右手交互方法流程，包括以下步骤：

S101、通过阵列传感器的实时捕捉，检测至触摸的具体区域，包括其轮廓和范围，以及触摸的强度。

S102、根据上述检测结果，进一步分析触摸范围内的感应器阵列，并分析出该触摸范围的面积、中心点坐标和方向角度。

图3是手指触控识别示意图，电容触摸屏在微观上，都是一个个感应器集成在屏幕上，形成方阵。当手指触控在某一区域，该区域覆盖到的感应器就可以感应到电容值的变化，进而获得感应器的排列，针对感应器排列的区域形状进行分析，可以识别出触摸的是左手还是右手，并且可以通过面积的大小和细节判断出是哪只手指。

利用触摸屏本身的触控感应器阵列，每一个感应器如果感应到手指接触了，就会相应的产生信号，把每一个感应器的感应信号做统计分析，即可以得出感应器的分布，从而进一步推算出触摸范围的面积、中心点坐标和方向角度。

S103、将上述分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型。

具体为：将分析得到的具体参数与已有的特征库中的参数区间进行匹配，特征库中的参数区间包括双手十个手指触摸行为的具体参数区间，每个手指的具体参数区间均有所差异，若得到的各个参数均属于某个区间，即可判断当前触摸具体来源于该区间的手指，从而判断出触摸来源的双手模型。

S104、根据匹配和判断的结果，将相应的触发行为调出，并且反馈到用户界面中。

系统可以判断出触摸指头为左手还是右手，食指还是拇指，这里的交互行为主要分为两类：左手拇指/其他手指。

当检测到当前触摸来自于左手拇指时，不同的动作会触发不同的行为，具体如下：

1）当检测到左手拇指向左滑动时，系统会识别并返回至上一页（Back）；

2）当检测到左手拇指向上滑动时，系统会识别并返回至首页（Home）；

3）当检测到左手拇指向下滑动时，系统会识别并打开选项列表（Menu）；

4）当检测到左手拇指向右滑动时，系统会识别并前进至下一页（Forward）；

5）当检测到左手拇指双击屏幕时，系统会识别并打开多任务菜单（Multi-Tasking）。

图4是左右手触摸交互行为示意图，当左手拇指进行相应的操作时，Menu等菜单会自动在右手拇指的位置弹出，如果没有检测到右手拇指，则在右半部区域弹出。

当检测到当前触摸来自于其他手指时，进行正常的触摸操作行为，例如：滑动、点击、多指触控等。

本实施例中通过左手来控制功能，这种取消功能按键的方法极大地节约了屏幕空间，同时也最小化了用户交互时手指移动的距离，使得交互过程更加便捷流畅。

实施例5：

图5是本发明提供的基于投影屏幕的左右手交互方法的流程图，该方法具体包括：

S201、通过摄像设备和距离传感器检测投影屏幕上被触摸区域的位置和触摸方式，所述触摸方式包括：点击、滑动、长按、拖拽和双击等；

S202、通过摄像设备和距离传感器捕捉触摸瞬间用户的双手模型；

S203、根据捕捉到的双手模型进行进一步分析，获得具体的双手模型参数，所述具体的双手模型参数包括：双手的方位、姿势、角度、深度、以及层次关系等；

S204、将上述分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型；

S205、根据匹配和判断的结果，将相应的触发行为调出，并且反馈到用户界面中。

其中，所述特征库中包含双手触摸行为的具体参数，通过将分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型，根据判断出的双手模型，系统将相应的触发行为调出，并且反馈到用户界面中，完成相关操作。

实施例6：

本实施例提供一种基于投影屏幕的左右手交互方法流程，包括以下步骤：

S201、通过摄像设备和距离传感器检测投影屏幕上被触摸区域的位置和触摸方式，所述触摸方式包括：点击、滑动、长按、拖拽和双击等。

S202、通过摄像设备和距离传感器捕捉触摸瞬间用户的双手模型。

S203、根据捕捉到的双手模型进行进一步分析，获得具体的双手模型参数，所述具体的双手模型参数包括：双手的方位、姿势、角度、深度、以及层次关系等。

其中，根据捕捉到的双手模型进行进一步分析具体为：

通过所述摄像设备和距离传感器，基于深度和色差信息捕捉到双手的深度模型，通过深度模型获取方位和深度，进而计算出具体的双手模型参数，判断当前触摸的是左手还是右手。

S204、将上述分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型。

具体为：将分析得到的具体参数与已有的特征库中的参数区间进行匹配，特征库中的参数区间包括双手触摸行为的具体参数区间，若得到的各个参数均属于某个区间，即可判断当前触摸具体来源于该区间的手指，从而判断出触摸来源的双手模型。

S205、根据匹配和判断的结果，将相应的触发行为调出，并且反馈到用户界面中。

图6是左右手投影屏幕交互行为示意图，所有的Menu和相关操作均在触摸点旁显示，易于交互和操作。

例如，基于投影屏幕的左右手触控交互的具体方式可以为：

左手交互行为如下：

1）单指单击：选择/打开等操作；

2）单指长按：弹出定制化Menu，包含相关操作;

3）单指滑动：一次选中多个内容，包括多个文档，多个文字等;

4）长按拖拽：将选中内容移动到合理的位置;

5）双指以上向左滑动：撤销，后退;

6）双击：多窗口切换;

7）双指靠近、拉远、旋转：缩小，放大，旋转。

右手交互行为如下：

8）单指滑动：使用默认/当前工具进行评注；

9）双指滑动：橡皮擦工具；

10）单指长按：Menu，可以换笔，换工具，保存，删除等。

本实施例中，在会议场景下，人们可以自如地在投影屏幕前进行评注和常规操作，无需回到电脑面前进行操作，使得基于投影屏幕的交互过程十分便捷流畅。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种左右手交互装置，其特征在于，该装置包括分别与总线连接的检测单元、分析单元、匹配单元和反馈单元；

所述检测单元用于检测触摸屏上被触摸区域的范围；

所述分析单元用于接收所述检测单元的输入，并进一步分析触摸范围内的感应器阵列，以及分析触摸时的双手模型参数；

所述匹配单元用于将所述分析单元的分析结果与特征库进行匹配，并判断出触摸来源的双手模型；

所述反馈单元用于根据所述匹配单元的匹配和判断结果将相应的触发行为反馈至用户界面中。

2.如权利要求1所述的交互装置，其特征在于，该装置进一步包括与所述总线连接的捕捉单元，用于捕捉与投影屏幕交互时用户的双手模型。

3.如权利要求2所述的交互装置，其特征在于，所述捕捉单元包括摄像设备和距离传感器。

4.如权利要求1-3中任一项所述的交互装置，其特征在于，所述特征库中包含双手十个手指触摸行为的具体参数，通过将分析单元得到的分析结果与特征库中的参数进行匹配来判断出触摸来源的双手模型。

5.一种基于触摸屏的左右手交互方法，其特征在于，该方法具体包括：

检测触摸屏上被触摸区域的轮廓、范围、以及触摸强度；

根据上述检测结果，进一步分析触摸范围内的感应器阵列，并分析出该触摸范围的面积、中心点坐标和方向角度；

将上述分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型；

根据匹配和判断的结果，将相应的触发行为调出，并且反馈到用户界面中。

6.如权利要求5所述的交互方法，其特征在于，通过阵列传感器的实时捕捉功能来检测触摸屏上被触摸区域的轮廓、范围、以及触摸强度。

7.如权利要求5所述的交互方法，其特征在于，进一步分析触摸范围内的感应器阵列，并分析出该触摸范围的面积、中心点坐标和方向角度的方法具体为：

利用触摸屏本身的触控感应器阵列，当感应器感应到手指接触时会产生相应的信号，把每一个感应器的感应信号做统计分析，能够得出感应器的分布，从而进一步推算出触摸范围的面积、中心点坐标和方向角度。

8.如权利要求5所述的交互方法，其特征在于，所述特征库中包含双手十个手指触摸行为的具体参数，通过将分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型。

9.一种基于投影屏幕的左右手交互方法，其特征在于，该方法具体包括：

通过摄像设备和距离传感器检测投影屏幕上被触摸区域的位置和触摸方式；

通过摄像设备和距离传感器捕捉触摸瞬间用户的双手模型；

根据捕捉到的双手模型进行进一步分析，获得具体的双手模型参数；

将上述分析得到的参数与已有的特征库中的参数进行匹配，判断出触摸来源的双手模型；

根据匹配和判断的结果，将相应的触发行为调出，并且反馈到用户界面中。

10.如权利要求9所述的交互方法，其特征在于，所述触摸方式包括：点击、滑动、长按、拖拽和双击。

11.如权利要求9所述的交互方法，其特征在于，根据捕捉到的双手模型进行进一步分析具体为：

通过所述摄像设备和距离传感器，基于深度和色差信息捕捉到双手的深度模型，通过深度模型获取方位和深度，进而计算出具体的双手模型参数，判断当前触摸的是左手还是右手。

12.如权利要求11所述的交互方法，其特征在于，所述具体的双手模型参数包括：双手的方位、姿势、角度、深度、以及层次关系。

Images