CN102789312A - 一种用户交互系统和方法 - Google Patents

Abstract

本发明实施方式公开了一种用户交互系统和方法。显示信号源，用于向用户提供交互界面；动作捕获单元，用于捕获用户浏览该交互界面做出的肢体空间移动信息；识别交互单元，用于确定对应于该用户肢体空间移动信息的交互操作命令，并将所述交互操作命令通过通信单元发送给显示信号源；显示信号源，进一步用于实时向用户提供对应于执行该交互操作命令后的交互结果界面。应用本发明实施方式以后，用户可以精确地通过符合人自然特征的交互方式对任意可交互界面进行交互，从而增强用户的交互体验，基于此可以衍生出大量的有意义的应用，使用户更自然地与数字信息世界进行交互。

Description

一种用户交互系统和方法

技术领域

本发明涉及电子应用(application)技术领域，特别地，涉及一种用户交互系统和方法。

背景技术

1959年美国学者B.Shackel首次提出了人机交互工程学的概念。20世纪90年代后期以来，随着高速处理芯片，多媒体技术和互联网技术的迅速发展和普及，人机交互的研究重点放在了智能化交互、多模态(多通道)-多媒体交互、虚拟交互以及人机协同交互等方面，也就是放在以人为在中心的人机交互技术方面。

随着社会的进步与信息爆炸时代的来临，人们越来越多依靠各式各样的消费电子设备(如移动终端、个人数字助理(PDA)等)获取各种信息。比如：打电话与别人沟通，浏览网页获取新闻和查看电子邮件等。

目前广泛应用的人机交互包括依靠传统的键盘鼠标等硬件设备，以及近几年逐渐流行起来的触摸屏等。键盘鼠标等传统人机交互设备经历了几十年的发展较为成熟，直到目前对基于图形用户界面的人机交互领域仍然十分重要。键盘用于精确的文本输入，鼠标用于方便点选交互界面上的按钮元素等操作。近年来流行起来的触摸屏可以看作是人机交互领域里的一次革新，特别是对于手持移动设备，其优势十分明显，得到迅速普及。相比用户通过移动鼠标进行点选操作，触摸操作更加直观明了，更符合用户的自然交互习惯。

发明内容

有鉴于此，本发明实施方式提出一种用户交互系统，以增加用户体验。

本发明实施方式还提出一种用户交互方法，以增强用户体验。

本发明技术方案如下：

一种用户交互系统，该系统包括显示信号源、动作捕获单元、识别交互单元和通信单元，其中：

显示信号源，用于向用户提供交互界面；

动作捕获单元，用于捕获用户浏览该交互界面做出的肢体空间移动信息；

识别交互单元，用于确定对应于该用户肢体空间移动信息的交互操作命令，并将所述交互操作命令通过通信单元发送给显示信号源；

所述显示信号源，进一步用于实时向用户提供对应于执行该交互操作命令后的交互结果界面。

所述显示信号源为移动终端、计算机或基于云计算的信息服务平台。

所述动作捕获单元和通信单元在物理上集成为便携式用户可佩戴整体。

所述识别交互单元和显示信号源在物理上集成为便携式用户可佩戴整体。

所述通信单元、识别交互单元和动作捕获单元在物理上集成为便携式用户可佩戴整体。

所述显示信号源，进一步用于在所述交互界面上显示对应于用户手的指针元素；

动作捕获单元，用于实时捕获用户响应于浏览该交互界面而做出的用户手位置、形态、移动轨迹信息；

识别交互单元，用于根据所述用户手位置、形态、移动轨迹信息，确定对应于该用户手位置、形态、移动轨迹信息的交互操作命令，并将所述用户手位置、形态、移动轨迹信息和该对应于该用户手位置、形态、移动轨迹信息的交互操作命令反馈给显示信号源；

显示信号源，进一步用于根据识别交互单元提供的用户手位置、形态、移动轨迹信息，实时地将指针的图像信号输出，从而实现交互界面上的指针元素的运动轨迹与用户手运动轨迹保持一致，并用于实时向用户提供对应于执行该对应于该用户手位置、形态、移动轨迹信息的交互操作命令后的交互结果界面。

一种用户交互方法，该方法包括：

向用户提供交互界面；

捕获用户浏览该交互界面做出的肢体空间移动信息；

确定对应于该用户肢体空间移动信息的交互操作命令，并将所述交互操作命令通过通信单元发送给显示信号源，显示信号源向用户实时提供对应于执行该交互操作命令后的虚拟交互结果界面。

所述捕获用户浏览该交互界面做出的肢体空间移动信息为：捕获用户浏览该交互界面而做出的精确定位操作和/或非精确定位操作。

所述精确定位操作包括：点击交互界面上的按钮或选择交互界面上的特定区域。

所述非精确定位操作包括：手悬停，手从右向左划动、手从左向右划动、手从上到下划动、手从下到上划动、两手分开或聚拢，摆手。

该方法进一步包括预先获取用户交互习惯的初始校正设定步骤。

从上述技术方案中可以看出，在本发明实施方式中，显示信号源向用户提供交互界面；动作捕获单元捕获用户的肢体动作；识别交互单元确定对应于该用户肢体动作的交互操作命令，并将交互操作命令发送给显示信号源；显示信号源，进一步用于实时向用户提供对应于执行该交互操作命令后的交互结果界面。由此可见，应用本发明实施方式以后，可实现对任何交互显示界面内容进行自然地触摸交互操作，极大地提高用户的交互体验，并且能够催生出一系列有意义的应用，从而极大地增强了用户体验。

另外，本发明实施方式可用于任意的显示设备以及交互界面，在交互界面上加入与用户手实时对应的指针的方案可以方便用户进行一系列精确触摸交互操作。通过针对于本发明所开发的交互程序接口或者在显示信号源处安装相应的交互驱动程序，本发明所提出的自然交互方案可以广泛应用于各种人机交互界面终端。

而且，本发明实施的人机交互方式非常自然，采用识别符合人性的基本肢体动作(比如手势)的交互模式，而且降低了用户对操作设备的学习成本。不仅于此，本发明实施方式符合人体自然交互操控与便携信息处理硬件设备的分体设计，使人能够更集中精力于其所关注的信息而不是硬件设备本身。

不仅于此，本发明实施方式可以应用于任何人机交互信息设备，其通用性将给人们带来极大便利。

附图说明

图1为根据本发明实施方式的用户交互系统结构示意图；

图2为根据本发明实施方式的用户交互方法流程示意图；

图3为根据本发明实施方式的手势触控交互示意图；

图4为根据本发明实施方式的用户佩戴和手势触控交互示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明实施方式再作进一步详细的说明。

在本发明实施方式中，针对现有技术下各种电子设备(诸如便携式电子设备)局限为采用物理触摸屏幕或键盘等作为交互手段的缺陷，由显示信号源向用户提供交互界面，并通过识别用户针对该界面做出的用户肢体空间移动信息实现对任意交互界面进行交互。

而且，本发明实施方式同时针对前述交互界面提出一种基于对人肢体动作(优选为人的手势)识别的人性化交互方案，此交互方案能够无缝融合前述交互界面与人体的肢体动作操控信息。通过对一些基本的、典型的操作识别过程进行优化处理，形成一个稳定的交互开发平台，供开发者开发各式各样应用。

还有，本发明实施方式提供了一种精确的交互解决方案。通过该交互方案，用户可以通过符合人体自然交互方式的触摸操作对任意可交互界面进行交互。

图1为根据本发明实施方式的用户交互系统结构示意图。

如图1所示，该系统包括：显示信号源101、动作捕获单元102、识别交互单元103和通信单元104，其中：

显示信号源101，用于向用户提供交互界面；

动作捕获单元102，用于捕获用户浏览该交互界面做出的肢体空间移动信息；

识别交互单元103，用于确定对应于该用户肢体空间移动信息的交互操作命令，并将所述交互操作命令通过通信单元104发送给显示信号源101；

显示信号源101，进一步用于实时向用户提供对应于执行该交互操作命令后的交互结果界面。

其中，显示信号源101可以是任意能够提供交互界面的装置。显示信号源101可以来自任意信息获取装置，比如移动终端、计算机，或者基于云计算的信息服务平台等。

显示信号源101可以通过其内置操作系统处理相应的交互处理命令完成某种运算(例如手机拨号，浏览网页等)，并通过有线或无线方式实时更新相应图像信号，并输出图像信号给用户。

其中，显示信号源101可以向用户展示交互界面。比如，当显示信号源101为笔记本电脑等设备时，交互界面可以直接呈现在笔记本电脑的屏幕上，或者交互界面被投影在一定范围大小的投影介质上。

优选地，显示信号源101与通信单元104之间的通信方式可以有多种具体实施形式，包括但是不局限于：无线宽带传输、wifi传输、蓝牙传输、红外传输、移动通信传输、USB传输或者有线传输等等。相应地，通信单元104具体可以为无线宽带传输单元、wifi传输单元、蓝牙传输单元、红外传输单元、移动通信传输单元、USB传输单元或者有线传输单元。

在具体实施中，为了便于适用于各种具体的应用场景，通信单元104、识别交互单元103、动作捕获单元102和显示信号源101中的一些模块或者全部可以集成为一个便携式或固定式的用户可佩戴整体。优选地，动作捕获单元102通常都集成到该用户可佩戴整体中。

比如：动作捕获单元102和通信单元104可以在物理上集成为一个便携式或固定式的用户可佩戴整体。且该可佩戴整体可以佩戴在胸前，甚至头部(例如眼镜)，等等，从而便于捕获人体动作。

可选地，识别交互单元103、动作捕获单元102和显示信号源101在物理上可以集成为一个便携式或固定式的用户可佩戴整体。该可佩戴整体可以佩戴在胸前，甚至头部(例如眼镜)，等等，从而便于捕获人体动作。

可选地，通信单元104、识别交互单元103和动作捕获单元102可以在物理上集成为一个便携式或固定式的用户可佩戴整体。该可佩戴整体可以佩戴在胸前，甚至头部(例如眼镜)，等等，从而便于捕获人体动作。

再可选地，通信单元104、识别交互单元103、动作捕获单元102和显示信号源104可以在物理上集成为一个便携式或固定式的用户可佩戴整体。该可佩戴整体可以佩戴在胸前，甚至头部(例如眼镜)，等等，从而便于捕获人体动作。

动作捕获单元102负责捕获用户肢体(优选为双手)的空间移动信息，并将此信号通过通信单元104传递给识别交互单元103。(或者不通过通信单元104，而是由动作捕获单元102直接传递给识别交互单元103)。用户肢体空间移动信息可以为多种形式。比如，动作捕获单元102优选为红外深度摄像传感装置，此时用户肢体空间移动信息为通过该红外深度摄像传感装置捕获的包含景深信息的图像信号。

识别交互单元103通过接收并分析来自动作捕获单元102的用户肢体空间移动的景深图像信息，通过软件算法分析理解出用户交互意图，并将此交互意图以特定的信息格式发送给显示信号源101，该信息格式通过确定的软件接口协议定义，从而使该交互方案可以适用于任意显示信号源所控制的可交互界面，就像USB鼠标可以应用于任意含USB接口并安装相应驱动程序的计算机一样。

在一个实施方式中，识别交互单元103首先根据接收到的实时图像信息分析得到用户肢体的实时位置信息。并存储一定时间长度的用户肢体(比如手)的历史位置信息供进一步的用户交互意图判断。所进一步识别的用户交互意图包括用户单手或双手的简单移动操作(默认)，单手或双手拖拽操作或单手或双手点击、停留、摆动操作，等等。

通信单元104负责模块之间的信息传输。这种信息传输方法既可以通过有线传输形式也可以通过无线传输形式，例如蓝牙、wifi、移动电话蜂窝网络等等。

在一个实施方式中，一个交互界面显示对应于一张图像的图像信号。可选地，一个交互界面也可以显示对应于多张图像的图像信号。

在一个实施方式中，显示信号源101，进一步用于在所述交互界面上显示对应于用户手的指针元素；动作捕获单元102，用于实时捕获用户响应于浏览该交互界面而做出的用户手位置、形态、移动轨迹信息；识别交互单元103，用于根据所述用户手位置、形态、移动轨迹信息，确定对应于该用户手位置、形态、移动轨迹信息的交互操作命令，并将所述用户手位置、形态、移动轨迹信息和该对应于该用户手位置、形态、移动轨迹信息的交互操作命令反馈给显示信号源101。此时：

显示信号源101，进一步用于根据识别交互单元102提供的用户手位置、形态、移动轨迹信息，实时地更新交互界面上指针的位置，从而实现交互界面上的指针元素的运动轨迹与用户手运动轨迹保持对应，并实时更新交互界面中的信息，向用户提供执行了对应于该用户手位置、形态、移动轨迹信息的交互操作命令后的交互结果界面。

图3为根据本发明实施方式的用户交互示意图。如图3所示，显示信号源将北京市的地图信息投影到一个类似于墙壁的屏幕(即交互界面)上，用户正面对该交互界面作出双手分开的动作。此时，该动作被用户胸前所带的动作捕获单元(图4用户胸前装置)捕获，经过交互识别单元对动作捕获单元捕获的图像信息的实时分析，确定出用户该动作对应于当前交互界面的交互意图为放大界面中的地图图像，将此交互意图通过约定信息格式传递给显示信号源，显示信号源执行相应交互命令并更新交互界面的显示输出。此时交互界面上对应于用户手的两个手型指针旁边出现两个箭头表明系统对用户手势操作的识别判断结果(系统识别出用户双手分开的手势)，给用户以操作反馈。与此同时，交互界面中的地图图像也按照用户的手势幅度及相对应的比例进行放大，从而完成整个交互过程。

当交互界面出现以后，用户可以通过各种肢体动作(比如，优选为通过手势)来触发交互过程。此时，动作捕获单元102，用于捕获用户的肢体动作。具体地，动作捕获单元102通过实时拍摄视场中景象捕获用户肢体动作，并将获取的包含景深信息图像数据实时传给识别交互单元103。然后，识别交互单元103可以通过一系列软件算法，分析得到用户肢体动作(优选为手势)轨迹，进而分析得到用户交互命令意图。

优选地，动作捕获单元和通信单元可以在物理上集成为便携式用户可佩戴整体，而且这个可佩戴整体被佩戴在用户的脖子、胸前或者类似于眼镜戴在鼻梁上，等等。而且，识别交互单元和显示信号源可以在物理上集成为便携式用户可佩戴整体，而且这个可佩戴整体被佩戴在用户的脖子、胸前或者类似于眼镜戴在鼻梁上，等等。

在一个实施方式中，通信单元、识别交互单元和动作捕获单元在物理上集成为便携式用户可佩戴整体，而且这个可佩戴整体被佩戴在用户的脖子、胸前或者类似于眼镜戴在鼻梁上，等等。

图4为根据本发明实施方式的用户佩戴和手势触控交互示意图。如图4所示，通信单元、识别交互单元和动作捕获单元在物理上集成为便携式用户可佩戴整体，而且这个可佩戴整体被佩戴在用户的脖子上，从而当用户作出肢体动作时，相应的肢体动作能够被动作捕获单元所捕获，以及被识别交互单元识别出对应的交互操作命令，并通过通信单元返回到显示信号源。

具体而言，识别交互单元103根据动作捕获单元102所提供的实时视场图像数据确定出进而分析得到用户肢体动作代表的交互操作意图，并将此交互意图转化为交互操作命令发送给显示信号源101。

比如，假如用户的手从右向左划过动作捕获单元102视场区域，动作捕获单元102实时记录并发送图像数据给识别交互单元103。识别交互单元103通过一系列软件算法从图像数据中分析得出用户手势轨迹为从右向左划动，再通过软件算法确定为某种交互命令(例如：返回上一页)，进而发送此交互命令数据流给显示信号源101，显示信号源101处理此命令数据流并给出反馈到用户。

在实际交互过程中，识别交互单元103可识别出一系列的交互命令。比如：“开始交互/确定/选择/点击”，“移动(上、下、左、右、前、后)”，“放大”，“缩小”，“旋转”，“退出/结束交互”等的手势动作，并实时转化为交互操作命令传送给显示信号源101，显示信号源101得到交互命令后进行相应执行处理，并且进而通过通信单元104向用户输出相应的交互后显示状态。

下面描述一个示范性的完整交互过程来更好地阐述本发明实施方式。

假如用户的手从右向左划过动作捕获单元102视场区域，而且预先设定“用户的手从右向左”这一肢体动作对应于“返回上一页”的交互操作命令。(可以在识别交互单元103中预先保存肢体动作和交互操作命令的对应关系)

首先，动作捕获单元102实时记录并发送图像数据给识别交互单元103。识别交互单元103通过一系列软件算法从图像数据中分析得出用户手势轨迹为从右向左划动，再通过软件算法确定该手势对应的是“返回上一页”的命令，进而发送此交互命令数据流给显示信号源101。显示信号源101得到交互命令后进行执行“返回上一页”的命令处理，并且进而通过通信单元104输出执行完“返回上一页”之后的显示状态。

优选地，识别交互单元103具备自学习能力以及一定的用户自定义扩展操作功能，用户可以按照自身的手势习惯训练提高系统的手势识别能力并可以根据用户自身喜好自定义各种操作的手势以及操作方式。用户交互识别软件中预设了很多参量，例如人的肤色信息，手臂的长度信息等等，初始情况下这些参量初始值基于统计平均以尽量满足大多数用户，通过软件算法中实现系统的自学习能力，也就是随着用户不断使用，软件能够根据用户自身特点修正其中一些参量使识别交互更倾向于针对特定用户特点，进而提高系统的手势识别能力。

此外，用户识别交互软件还应提供用户自定义操作接口，比如用户喜爱的特定手势轨迹代表某种用户自定义的操作命令，从而实现系统的个性化可定制特点。

更具体地，用户对交互界面的交互操作分为两类：一类是识别非精确定位操作，比如“翻页”，“前进”，“后退”等命令。另一类是实现精确定位操作，比如点击交互界面中的按钮或选择一个特定区域等操作。

对于非精确定位操作的识别，只需要记录分析手的移动轨迹信息即可。比如，非精确定位操作可以包括：例如手从右向左划动、手从左向右划动、手从上到下划动以及、手从下到上划动或，以及两手分开、聚拢、悬停、摆手等。

为了实现精确操作的识别，需要实时跟踪用户手的运动轨迹并对应于交互界面上的指针元素以确定用户在交互界面上的欲精确交互元素位置，由识别交互单元103分析确定用户手部轨迹意图得出交互命令，从而实现对界面的精确操作。

如图3所示，当用户手进入动作捕获单元102的探测范围时，动作捕获单元102开始捕获人手的位置形态及动作轨迹，并由显示信号源101在交互界面上显示对应于用户手的指针元素(即图3交互界面中的人手型指针)。当人手在动作捕获单元102的探测范围移动时，动作捕获单元102捕获用户手动作，产生对应于用户手动作的包含景深的图像数据，并将包含景深的图像数据传输给识别交互单元103，识别交互单元103根据图像数据实时定位跟踪用户手位置、形态、移动轨迹信息，并将计算结果实时反馈给显示信号源101，显示信号源101根据识别交互单元103提供的用户手位置、形态、移动轨迹信息，实时更新交互界面中指针(即图3交互界面中的虚拟人手)的位置形态，并实时地将指针的图像信号输出给虚拟显示界面，从而实现虚拟显示界面上的指针的运动轨迹(即图3交互界面中的人手型指针的运动轨迹)与用户手部运动保持一致。用户通过移动手将指针定位到交互界面上的可交互元素处，并做出交互动作(例如点击操作)，从而实现对交互界面可交互元素的精确交互操作。

在一个实施方式中，用户与显示信号源101的交互方法为虚拟触摸形式，如附图4所示。用户看到的显示信号源101所呈现的交互界面中存在对应于用户手的指针元素。用户通过移动手来控制交互界面中指针元素的移动。通过此方法可对交互界面进行精确交互操作(例如点选按钮操作，文本输入操作等等)。在用户移动手的过程中，动作捕获单元102将手的位置形态及空间移动信息实时采集捕获并传输给识别交互单元102以识别出用户的交互意图，识别交互单元102将识别的交互意图实时传输给显示信号源101，显示信号源101接收到由识别交互单元102传来的交互意图指令实时更新交互界面上对应于用户手的指针状态(包括位置，形态等)，并向用户实时提供交互反馈(包括界面中交互元素大小、颜色等的变化，指针形状的改变)并展现相应的交互操作结果(例如打开某一文档)。同时交互过程中可同时伴随相关声音反馈。

下面通过一个查看电子书的具体示例流程具体说明整个系统工作流程。

首先，开启显示信号源101。此时，用户前方出现交互界面，比如界面上有一个电子书应用的图标以及一个指针。

然后，用户移动自己的手使交互界面上的指针移动到电子书应用的图标上。动作捕获单元102持续采集用户手势操作过程的图像(例如以每秒30帧采集)，并传输给识别交互单元103，识别交互单元103通过一套稳定的冗余算法分析该图像，确定出与用户手势最佳匹配的用户操作意图(即交互操作命令)并转化为命令数据流，再通过有线或无线方式传输给显示信号源101，然后显示信号源101基于此命令数据流更新交互界面上的指针的位置。

接着，用户再做出点击动作，此点击动作由动作捕获单元102捕获并传送到识别交互单元103，识别交互单元103对该动作进行分析，得到用户打开电子书应用的交互操作命令并通过通信单元104将其传送给显示信号源101(或者不通过通信单元104，而是直接将交互操作命令传送给显示信号源101)，显示信号源101处理此交互操作命令，处理过程具体包括：打开电子书应用，实时更新显示信号并输出给用户。此时用户会看到电子书应用被打开。

如果用户想要进行翻页操作，这时用户只需用手从右向左挥摆一下(或者其它手势，只需要与预先设定的翻页操作对应关系保持一致即可)，与动作捕获单元102不断采集到用户手势操作过程的图像(例如以每秒30帧采集)，并传输给识别交互单元103，识别交互单元103通过一套稳定的冗余算法分析出用户的有效手势轨迹，进而得到与此手势轨迹最佳匹配的用户操作意图，然后转化为命令数据流，传输给显示信号源101(通过通信单元104或者不通过通信单元104)，显示信号源101接收并处理命令数据流后做出相应反应，显示信号展示翻到下一页电子书的过程并最终显示电子书的下一页。

最后，用户通过一个预设的手势关闭交互界面，例如摆手。

上述过程中，可以预先设定用户的手势与各个具体交互操作命令的对应关系。而且，这种对应关系优选是可以编辑的，从而可以方便增加新出现的交互操作命令，或者基于用户习惯更改对应于交互操作命令的手势。

再比如，下面以识别单手点击的用户交互意图来说明本发明的技术方案。

首先，用户单手(比如右手)抬起进入动作捕捉单元102的信号采集捕获范围。用户按照自己的习惯进行了一次向前的点击动作，假设整个点击动作用时0.5秒，动作捕捉单元102将采集到的用户手的移动的图像信息实时传递给识别交互单元103，识别交互单元103接受实时传来的图像信息数据，并存储了一定时间段的历史图像信息数据，假设存储的历史信息数据时长为1s。动作捕获单元102中的软件实时对过去一秒中的用户手的图像信息数据进行分析，得出在最近过去的一秒中，用户手的空间位移信息。经过逻辑算法判定出前0.5秒用户的手的移动轨迹符合简单的移动，后0.5秒用户手的整体移动轨迹代表用户做出点击动作的概率足够高(即该概率值符合某一预设临界判据)从而认定为一次点击操作。因此在这一时刻，识别交互单元103分析得到了一次点击交互，用户在过去一秒中前0.5秒为真实移动操作，而在0.5秒开始做了一次点击动作。将此分析得到的点击操作交互意图经过编译即时通过通信模块传输给显示信号源。值得注意的是，在此刻之前的0.5秒内，用户手的位置被识别为默认的移动操作。因此交互界面上对应用户手的指针在相应不断更新着位置。

显示信号源101接收并解码传来的点击交互意图，得到用户在交互界面上，对应于用户手的指针0.5秒之前所在的位置上，进行了一次点击操作这一意图。从而控制交互界面响应此交互操作。

当用户初次使用此交互方案时，优选经过特定的初始校正设定流程以使系统软件参数符合此用户的交互习惯。该初始校正设定流程可以包括：

首先通过交互显示界面指示用户伸出双手进入动作捕获单元探测区域，对用户双手进行图像采样识别，建立识别用户手的相关形状参数。然后通过交互显示界面指示用户定义手在交互操作过程中的空间范围，例如分别指示用户将手放在空间平面四个角点(左上角，右上角，左下角，右下角)，以及前后两点，通过图像采样分析后确定用户手进行交互操作的空间范围相关的参数值。

然后，交互识别处理单元通过分析动作捕获模块传来的校正设定过程用户手在各个点的相对位置信息以确定识别交互算法中尺度相关关键参数，并指示用户进行几次单手或双手的点击操作，拖拽操作从中提取相应交互意图判据相关的关键参数信息。至此初始校正设定流程结束，并保存为可调用信息文件进行存储。用户以后可以直接调用相应档案即可。

通过初始校正设定流程以确定识别交互算法中关键参数，从而使本交互方案能够良好的满足任意用户的交互习惯，为不同用户提供个性化的准确交互操作体验。

基于上述分析，本发明实施方式还提出了一种用户交互方法。

图2为根据本发明实施方式的用户交互方法流程示意图。

如图2所示，该方法包括：

步骤201：向用户提供交互界面。

步骤202：捕获用户浏览该交互界面做出的肢体空间移动信息。

步骤203：确定对应于该用户肢体空间移动信息的交互操作命令，并将所述交互操作命令通过通信单元发送给显示信号源，显示信号源向用户实时提供对应于执行该交互操作命令后的虚拟交互结果界面。

在一个实施方式中，捕获用户浏览该交互界面做出的肢体空间移动信息具体为：捕获用户在所述交互界面上的精确定位操作和/或非精确定位操作。其中，精确定位操作可以包括：点击交互界面上的按钮或选择交互界面上的特定区域，而非精确定位操作具体可以包括：手从右向左划动、手从左向右划动、手从上到下划动、手从下到上划动或两手分开、聚拢，以及其他一些特定规律的手势轨迹等。

优选地，该方法进一步包括预先获取用户交互习惯的初始校正设定步骤。包括：

首先通过交互显示界面指示用户伸出双手进入动作捕获单元探测区域，对用户双手进行图像采样识别，建立识别用户手的相关形状参数。然后通过交互显示界面指示用户定义手在交互操作过程中的空间范围，例如分别指示用户将手放在空间平面四个角点(左上角，右上角，左下角，右下角)，以及前后两点，通过图像采样分析后确定用户手进行交互操作的空间范围相关的参数值。

然后，交互识别处理单元通过分析动作捕获模块传来的校正设定过程用户手在各个点的相对位置信息以确定识别交互算法中尺度相关关键参数，并指示用户进行几次单手或双手的点击操作，拖拽操作从中提取相应交互意图判据相关的关键参数信息。至此初始校正设定流程结束，并保存为可调用信息文件进行存储。用户以后可以直接调用相应档案即可。

图3为根据本发明实施方式的手势触控交互示意图。由图3我们可以发现，用户可以将显示信号源提供的信号投射到任意的介质上，从而可以在任意的交互界面上实现交互控制，从而完全可以省略去现有技术中物理存在的键盘或者屏幕等输入输出设备。而且，通过交互界面上的指针与用户手的动作相对应实现对界面进行虚拟触摸的精确与非精确交互操作。

综上所述，在本发明实施方式中，提出了一种新颖的用户交互装置和方法。在本发明实施方式中，显示信号源向用户提供交互界面；动作捕获单元捕获用户的肢体动作；识别交互单元确定对应于该用户肢体动作的交互操作命令，并将所述交互操作命令发送给显示信号源，显示信号源进一步用于实时向用户提供对应于执行该交互操作命令后的交互结果界面。由此可见，应用本发明实施方式以后，可实现对任何交互显示界面内容进行自然地触摸交互操作，极大地提高用户的交互体验，并且能够催生出一系列有意义的应用，从而极大地增强了用户体验。

另外，本发明实施方式可用于任意的显示设备以及交互界面，在交互界面上加入与用户手实时对应指针的方案可以方便用户进行一系列精确触摸交互操作。通过针对于本发明所开发的交互程序接口或者在显示信号源处安装相应的交互驱动程序，本发明所提出的自然交互方案可以广泛应用于各种人机交互界面终端。

而且，这种交互方式非常自然，符合人性的基本手势交互模式，而且降低了用户对操作设备的学习成本。这种交互方式符合人体自然地交互操控与便携信息处理硬件设备的分体设计，使人能够更集中精力于其所关注的信息而不是硬件设备本身。

不仅于此，本发明实施方式可以应用与任何人机交互信息设备，其通用性将给人们带来极大便利。

以上所述，仅为本发明实施方式的较佳实施例而已，并非用于限定本发明实施方式的保护范围。凡在本发明实施方式的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施方式的保护范围之内。

Claims (12)

1.一种用户交互系统，其特征在于，该系统包括显示信号源、动作捕获单元、识别交互单元和通信单元，其中：

显示信号源，用于向用户提供交互界面；

动作捕获单元，用于捕获用户浏览该交互界面做出的肢体空间移动信息；

识别交互单元，用于确定对应于该用户肢体空间移动信息的交互操作命令，并将所述交互操作命令通过通信单元发送给显示信号源；

所述显示信号源，进一步用于实时向用户提供对应于执行该交互操作命令后的交互结果界面。

2.根据权利要求1所述的用户交互系统，其特征在于，所述显示信号源为移动终端、计算机或基于云计算的信息服务平台。

3.根据权利要求1或2中任一项所述的用户交互系统，其特征在于，所述动作捕获单元和通信单元在物理上集成为便携式用户可佩戴整体。

4.根据权利要求1或2中任一项所述的用户交互系统，其特征在于，所述识别交互单元和显示信号源在物理上集成为便携式用户可佩戴整体。

5.根据权利要求1或2中任一项所述的用户交互系统，其特征在于，所述通信单元、识别交互单元和动作捕获单元在物理上集成为便携式用户可佩戴整体。

6.根据权利要求1所述的用户交互系统，其特征在于，

所述显示信号源，进一步用于在所述交互界面上显示对应于用户手的指针元素；

动作捕获单元，用于实时捕获用户响应于浏览该交互界面而做出的用户手位置、形态、移动轨迹信息；

识别交互单元，用于根据所述用户手位置、形态、移动轨迹信息，确定对应于该用户手位置、形态、移动轨迹信息的交互操作命令，并将所述用户手位置、形态、移动轨迹信息和该对应于该用户手位置、形态、移动轨迹信息的交互操作命令反馈给显示信号源；

显示信号源，进一步用于根据识别交互单元提供的用户手位置、形态、移动轨迹信息，实时地将指针的图像信号输出，从而实现交互界面上的指针元素的运动轨迹与用户手运动轨迹保持一致，并用于实时向用户提供对应于执行该对应于该用户手位置、形态、移动轨迹信息的交互操作命令后的交互结果界面。

7.根据权利要求1所述的用户交互系统，其特征在于，

所述通信单元为通信单元为无线宽带传输单元、wifi传输单元、蓝牙传输单元、红外传输单元、移动通信传输单元、USB传输单元或有线传输单元。

8.一种用户交互方法，其特征在于，该方法包括：

向用户提供交互界面；

捕获用户浏览该交互界面做出的肢体空间移动信息；

确定对应于该用户肢体空间移动信息的交互操作命令，并将所述交互操作命令通过通信单元发送给显示信号源，显示信号源向用户实时提供对应于执行该交互操作命令后的交互结果界面。

9.根据权利要求8所述的用户交互方法，其特征在于，所述捕获用户浏览该交互界面做出的肢体空间移动信息为：捕获用户浏览该交互界面而做出的精确定位操作和/或非精确定位操作。

10.根据权利要求9所述的用户交互方法，其特征在于，所述精确定位操作包括：点击交互界面上的按钮或选择交互界面上的特定区域。

11.根据权利要求9所述的用户交互方法，其特征在于，所述非精确定位操作包括：手悬停、手从右向左划动、手从左向右划动、手从上到下划动、手从下到上划动或两手分开或聚拢，或摆手。

12.根据权利要求8所述的用户交互方法，其特征在于，该方法进一步包括预先获取用户交互习惯的初始校正设定步骤。

Images