CN102681651B - 一种用户交互系统和方法 - Google Patents

Abstract

本发明实施方式公开了一种用户交互系统和方法。信号源，用于向视网膜显示单元提供图像信号；视网膜显示单元，用于将信号源所提供的图像信号投影到用户视网膜，使用户在视觉上感觉出现虚拟界面，且所述图像信号被显示在所述虚拟界面上；摄像单元，用于捕获用户的肢体动作；识别交互单元，用于确定对应于该用户肢体动作的交互操作命令，并将所述交互操作命令发送给信号源。应用本发明实施方式以后，能够增强用户体验，将虚拟信息与现实实景融合在一起，给人提供增强现实的感官体验，而且基于此可以衍生出大量的有意义的应用，更进一步提高用户体验。

Description

一种用户交互系统和方法

技术领域

本发明涉及电子应用(application)技术领域，特别地，涉及一种用户交互系统和方法。

背景技术

随着社会的进步与信息爆炸时代的来临，人们越来越多的依靠各式各样的消费电子设备(如移动终端、个人数字助理(PDA)等)获取各种信息。比如：打电话与别人沟通，浏览网页获取新闻和查看电子邮件等。

目前人们主要通过传统的键盘和新兴起的触摸屏等输入输出设备与这些设备实现交互。首先，基于按键的操作并不符合人体自然习惯。而且，近来兴起的触摸屏虽然在一定程度上方便了人的输入操作，提高了一些用户体验，但其只能将人手固定于物理存在的二维屏幕平面上进行操作，这也不符合人最自然的操作习惯。

在目前的交互过程中，人们关心的信息都展现在物理存在的屏幕或键盘上，或者需要通过屏幕或键盘来向设备发出指令，然而无论是屏幕或键盘，都是一种硬件实体，必然会受设备物理尺寸的限制，需要占据一定的物理空间，且屏幕易受环境光线影响，操控起来并不方便，用户体验也受到很大的限制。

发明内容

有鉴于此，本发明实施方式提出一种用户交互系统，以增加用户体验。

本发明实施方式还提出一种用户交互方法，以增强用户体验。

本发明技术方案如下：

一种用户交互系统，该系统包括信号源、视网膜显示单元、摄像单元和识别交互单元，其中：

信号源，用于向视网膜显示单元提供图像信号；

视网膜显示单元，用于将信号源所提供的图像信号投影到用户视网膜，使用户在视觉上感觉出现虚拟界面，且所述图像信号被显示在所述虚拟界面上；

摄像单元，用于捕获用户的肢体动作；

识别交互单元，用于确定对应于该用户肢体动作的交互操作命令，并将所述交互操作命令发送给信号源。

所述信号源，进一步用于向视网膜显示单元实时提供对应于执行该交互操作命令后的图像信号。

所述视网膜显示单元为用户头戴的眼镜式显示器。

所述视网膜显示单元为直接视网膜投影装置。

所述信号源为移动终端、计算机或基于云计算的信息服务平台。

所述视网膜显示单元、摄像单元和识别交互单元在物理上集成为整体。

所述识别交互单元和信号源在物理上集成为整体，且所述视网膜显示单元和摄像单元在物理上集成为整体。

一种用户交互方法，该方法包括：

信号源向视网膜显示单元提供图像信号；

视网膜显示单元将信号源所提供的图像信号投影到用户视网膜，使用户在视觉上感觉出现虚拟界面，且所述图像信号被显示在所述虚拟界面上；

摄像单元捕获用户的肢体动作；

识别交互单元确定对应于该用户肢体动作的交互操作命令，并将所述交互操作命令发送给信号源。

该方法进一步包括：

信号源向视网膜显示单元实时提供对应于执行该交互操作命令后的图像信号。

所述识别交互单元捕获用户在所述虚拟界面上的肢体动作为：识别交互单元捕获用户在所述虚拟界面上的精确定位操作和/或非精确定位操作。

所述精确定位操作包括：点击虚拟界面上的按钮或选择虚拟界面上的特定区域。

所述非精确定位操作包括：手从右向左划动、手从左向右划动、手从上到下划动以及、手从下到上划动或两手分开或聚拢。

从上述技术方案中可以看出，在本发明实施方式中，信号源向视网膜显示单元提供图像信号；视网膜显示单元将信号源所提供的图像信号投影到用户视网膜，使用户在视觉上感觉出现虚拟界面，且所述图像信号被显示在所述虚拟界面上；摄像单元捕获用户的肢体动作；识别交互单元确定对应于该用户肢体动作的交互操作命令，并将所述交互操作命令发送给信号源。由此可见，应用本发明实施方式以后，无需物理存在的键盘或触摸屏，而是通过虚拟的界面实现了一种用户与硬件设备之间交互与获取信息的方式，从而极大地增强了用户体验。

而且，本发明实施的交互方式非常自然，符合人性的基本肢体动作(比如手势)交互模式，而且降低了用户对操作设备的学习成本。本发明实施方式符合人体自然地交互操控与便携信息处理硬件设备的分体设计，使人能够更集中精力于其所关注的信息而不是硬件设备本身。

另外，本发明实施方式的独特显示方式使其受环境影响较小，给人提供高品质的感官体验，并能够保护信息的私密性。本发明实施方式通过直接视网膜扫描投影显示方式可以将虚拟信息与现实实景融合在一起，给人提供增强现实的感官体验，从而基于此可以衍生出大量的有意义的应用，进一步极大地提高用户体验。

不仅于此，本发明实施方式可以应用与任何人机交互信息设备，其通用性将给人们带来极大便利。

附图说明

图1为根据本发明实施方式的用户交互系统结构示意图；

图2为根据本发明实施方式的用户交互方法流程示意图；

图3为根据本发明实施方式的手势触控交互示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明实施方式再作进一步详细的说明。

在本发明实施方式中，针对现有技术下各种电子设备(诸如便携式电子设备)采用物理屏幕或键盘等作为交互手段影响用户体验的缺陷，利用直接视网膜显示方式，使用户感觉前方一定距离出现虚拟的屏幕界面，关键信息可在屏幕界面中高亮显示，并通过识别用户针对该虚拟界面做出的肢体动作实现交互。

本发明实施方式使用视网膜直接扫描投影的方式产生虚拟屏幕界面，避免了采用物理键盘或屏幕导致的各种问题，而且还不会影响背景视场，其产生的虚拟屏幕界面可作为对现实实景的增强，能够广泛应用于增强现实(AugmentReality)技术。

而且，本发明实施方式同时针对前述虚拟界面提出一种基于对人肢体动作(优选为人的手势)识别的人性化交互方案，此交互方案能够无缝融合前述虚拟界面与人体的肢体动作操控信息。通过对一些基本的典型的操作识别进行优化处理，形成一个稳定的交互开发平台，供开发者开发各式各样应用。

图1为根据本发明实施方式的用户交互系统结构示意图。

如图1所示，该系统包括：信号源101、视网膜显示单元102、摄像单元103和识别交互单元104，其中：

信号源101，用于向视网膜显示单元102提供图像信号；

视网膜显示单元102，用于将信号源101所提供的图像信号投影到用户视网膜，使用户在视觉上感觉出现虚拟界面，且所述图像信号被显示在所述虚拟界面上；

摄像单元103，用于捕获用户的肢体动作；

识别交互单元104，用于确定对应于该用户肢体动作的交互操作命令，并将所述交互操作命令发送给信号源101。

其中，信号源101可以是任意的能提供图像信号的装置。信号源101可以来自任意的信息获取装置，比如移动终端、计算机，甚至是基于云计算的信息服务平台等。

信号源101可以通过其内置操作系统处理相应的交互处理命令完成某种运算(例如手机拨号，浏览网页等)，并通过有线或无线方式实时更新相应图像信号，并输出图像信号给视网膜显示单元102。

优选地，信号源101与视网膜显示单元102之间的通信方式可以有多种具体实施形式，包括但是不局限于：无线宽带传输、蓝牙传输、红外传输、移动通信传输或者有线传输等等。

视网膜显示单元102通过上述通讯方式从无线信号源101接收图像信号，对图像信号进行调制解码后，将显示图像直接投影到用户视网膜上，使用户感觉到前方出现一个虚拟的(优选为增广的屏幕)界面。用户感兴趣的信息将通过这个虚拟界面得以展现。

视网膜显示单元102可以通过多种方式产生这个虚拟界面。比如，视网膜显示单元102具体可以是用户头戴式眼镜式显示器。该用户头戴式眼镜式显示器有两个超微显示屏对应于人的左右眼，通过精密光学透镜放大超微显示屏上的图像，进而呈现于观看者眼中虚拟增广的屏幕图像。

此外，视网膜显示单元102还可以通过视网膜直接投影的方式产生虚拟界面。比如，视网膜显示单元102具体可以为直接视网膜投影装置。在这种方式中，利用人的视觉暂留原理，视网膜显示单元102(即直接视网膜投影装置)中的显示芯片接收来自信号源101的图像信号，进而对视网膜显示单元102中的微型激光发生器产生的红绿蓝激光进行调制，让低功率激光快速地按指定顺序在水平和垂直两个方向上循环扫描，撞击视网膜的一小块区域使其产生光感，使人们感觉到图像的存在，此种显示方式可以不影响背景视场，虚拟屏幕叠加在真实视场上，进而可以提供增强现实的感官体验。

当虚拟界面出现以后，用户可以通过各种肢体动作(比如，优选为通过手势)来触发交互过程。摄像单元，用于捕获用户的肢体动作。具体地，摄像单元103通过实时拍摄视场中景象捕获用户肢体动作，并将获取的包含景深信息图像数据实时传给识别交互单元104。然后，识别交互单元104可以通过一系列软件算法，分析得到用户肢体动作(优选为手势)轨迹，进而分析得到用户交互命令意图。

在一个优选的实施方式中，信号源101进一步用于向视网膜显示单元102实时提供对应于执行交互操作命令后的图像信号。

具体而言，识别交互单元104根据摄像单元103所提供的实时视场图像数据确定出进而分析得到用户肢体动作代表的交互操作意图，并将此交互意图转化为交互操作命令发送给信号源101。

比如，假如用户的手从右向左划过摄像单元103视场区域，摄像单元103实时记录并发送图像数据给识别交互单元104。识别交互单元104通过一系列软件算法从图像数据中分析得出用户手势轨迹为从右向左划动，再通过软件算法确定为某种交互命令(例如：返回上一页)，进而发送此交互命令数据流给信号源101，信号源101处理此命令数据流并给出反馈。

在实际交互过程中，识别交互单元104可识别出一系列的交互命令。比如：“开始交互/确定/选择/点击”，“移动(上、下、左、右、前、后)”，“放大”，“缩小”，“旋转”，“退出/结束交互”等的手势动作，并实时转化为交互操作命令传送给信号源101，信号源101得到交互命令后进行相应执行处理，并且进而控制视网膜显示单元102输出相应的交互后显示状态。

下面描述一个示范性的完整交互过程来更好地阐述本发明实施方式。

假如用户的手从右向左划过摄像单元103视场区域，而且预先设定“用户的手从右向左”这一肢体动作对应于“返回上一页”的交互操作命令。(可以在识别交互单元104中预先保存肢体动作和交互操作命令的对应关系)

首先，摄像单元103实时记录并发送图像数据给识别交互单元104。识别交互单元104通过一系列软件算法从图像数据中分析得出用户手势轨迹为从右向左划动，再通过软件算法确定该手势对应的是“返回上一页”的命令，进而发送此交互命令数据流给信号源101。信号源101得到交互命令后进行执行“返回上一页”的命令处理，并且进而控制视网膜显示单元102输出执行完“返回上一页”之后的显示状态。

优选地，识别交互单元104具备自学习能力以及一定的用户自定义扩展操作功能，用户可以按照自身的手势习惯训练提高系统的手势识别能力并可以根据用户自身喜好自定义各种操作的手势以及操作方式。用户交互识别软件中预设了很多参量，例如人的肤色信息，手臂的长度信息等等，初始情况下这些参量初始值基于统计平均以尽量满足大多数用户，通过软件算法中实现系统的自学习能力，也就是随着用户不断使用，软件能够根据用户自身特点修正其中一些参量使识别交互更倾向于针对特定用户特点，进而提高系统的手势识别能力。

此外，用户识别交互软件还应提供用户自定义操作接口，比如用户喜爱的特定手势轨迹代表某种用户自定义的操作命令，从而实现系统的个性化可定制特点。

更具体地，用户对虚拟界面的交互操作分为两类：一类是识别非精确定位操作，比如“翻页”，“前进”，“后退”等命令。另一类是实现精确定位操作，比如点击虚拟界面中的按钮或选择一个特定区域等操作。

对于非精确定位操作的识别，只需要记录分析手的移动轨迹信息即可。比如，非精确定位操作可以包括：例如手从右向左划动、手从左向右划动、手从上到下划动以及、手从下到上划动或，以及两手分开、聚拢等。

为了实现精确操作的识别，需要实时跟踪手的运动轨迹，并将该轨迹实时映射到虚拟界面上，与虚拟操作界面上的坐标值一一对应，从而实现对界面的精确操作。

在具体实施中，视网膜显示单元102、摄像单元103和识别交互单元104可以在物理上集成为一个整体。可选地，识别交互单元104和信号源101在物理上可以集成为整体，且所述视网膜显示单元102和摄像单元103在物理上集成为整体。

下面通过一个查看电子书的具体示例流程具体说明整个系统工作流程。

首先，开启信号源101，并将其与视网膜显示单元102有线或无线方式连通。此时，用户可以通过类似于眼镜装置的视网膜显示单元102感觉到前方出现虚拟交互界面，比如界面上有一个电子书应用的图标以及一个指针。

然后，用户移动自己的手使虚拟界面上的指针移动到电子书应用的图标上。与视网膜显示单元102集成在一起的摄像单元103持续采集用户手势操作过程的图像(例如以每秒30帧采集)，并传输给识别交互单元104，识别交互单元104通过一套稳定的冗余算法分析该图像，确定出与用户手势最佳匹配的用户操作意图(即交互操作命令)并转化为命令数据流，再通过有线或无线方式传输给信号源101，然后信号源101基于此命令数据流更新虚拟界面上的指针的位置。

接着，用户再做出点击动作，此点击动作由摄像单元103捕获并传送到识别交互单元104，识别交互单元104对该动作进行分析，得到用户打开电子书应用的交互操作命令并将其传送给信号源101，信号源101处理此交互操作命令，处理过程具体包括：打开电子书应用，并实时更新显示信号输出到视网膜显示单元102。此时用户会看到电子书应用被打开。

如果用户想要进行翻页操作，这时用户只需用手从右向左挥摆一下(或者其它手势，只需要与预先设定的翻页操作对应关系保持一致即可)，与视网膜显示单元102集成在一起的摄像单元103不断采集到用户手势操作过程的图像(例如以每秒30帧采集)，并传输给识别交互单元104，识别交互单元104通过一套稳定的冗余算法分析出用户的有效手势轨迹，进而得到与此手势轨迹最佳匹配的用户操作意图，然后转化为命令数据流，传输给信号源101，信号源101接收并处理命令数据流后做出相应反应，显示信号展示翻到下一页电子书的过程并最终显示电子书的下一页。

最后，用户通过一个预设的手势关闭交互界面。

上述过程中，可以预先设定用户的手势与各个具体交互操作命令的对应关系。而且，这种对应关系优选是可以编辑的，从而可以方便增加新出现的交互操作命令，或者基于用户习惯更改对应于交互操作命令的手势。

基于上述分析，本发明实施方式还提出了一种用户交互方法。

图2为根据本发明实施方式的用户交互方法流程示意图。图3为根据本发明实施方式的手势触控交互示意图。

如图2所示，该方法包括：

步骤201：信号源向视网膜显示单元提供图像信号。

步骤202：视网膜显示单元将信号源所提供的图像信号投影到用户视网膜，使用户在视觉上感觉出现虚拟界面，且所述图像信号被显示在所述虚拟界面上。

步骤203：摄像单元捕获用户的肢体动作。

步骤204：识别交互单元确定对应于该用户肢体动作的交互操作命令，并将所述交互操作命令发送给信号源。

该方法进一步包括，信号源收到从识别交互单元发送来的交互操作命令后，向视网膜显示单元实时提供对应于执行该交互操作命令后的图像信号。

在一个实施方式中，识别交互单元捕获用户在所述虚拟界面上的肢体动作具体为：识别交互单元捕获用户在所述虚拟界面上的精确定位操作和/或非精确定位操作。其中，精确定位操作可以包括：点击虚拟界面上的按钮或选择虚拟界面上的特定区域，而非精确定位操作具体可以包括：手从右向左划动、手从左向右划动、手从上到下划动、手从下到上划动或两手分开、聚拢，以及其他一些特定规律的手势轨迹等。

由图3我们可以发现，用户可以在虚拟的界面上实现触控交互，从而完全可以省略去现有技术中物理存在的键盘或者屏幕等输入输出设备。

综上所述，在本发明实施方式中，提出了一种新颖的用户交互装置和方法。在本发明实施方式中，信号源向视网膜显示单元提供图像信号；视网膜显示单元将信号源所提供的图像信号投影到用户视网膜，使用户在视觉上感觉出现虚拟界面，且所述图像信号被显示在所述虚拟界面上；摄像单元捕获用户的肢体动作；识别交互单元确定对应于该用户肢体动作的交互操作命令，并将所述交互操作命令发送给信号源。由此可见，应用本发明实施方式以后，无需物理存在的键盘或触摸屏，而是通过虚拟的界面实现了一种用户与硬件设备之间交互与获取信息的方式，从而极大地增强了用户体验。

而且，这种交互方式非常自然，符合人性的基本手势交互模式，而且降低了用户对操作设备的学习成本。这种交互方式符合人体自然地交互操控与便携信息处理硬件设备的分体设计，使人能够更集中精力于其所关注的信息而不是硬件设备本身。

另外，本发明实施方式的独特显示方式使其受环境影响较小，给人提供高品质的感官体验，并能够保护信息的私密性。本发明实施方式通过视网膜扫描投影显示方式可以将虚拟信息与现实实景融合在一起，给人提供增强现实的感官体验，从而基于此可以衍生出大量的有意义的应用，极大地提高用户体验。

不仅于此，本发明实施方式可以应用与任何人机交互信息设备，其通用性将给人们带来极大便利。

以上所述，仅为本发明实施方式的较佳实施例而已，并非用于限定本发明实施方式的保护范围。凡在本发明实施方式的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施方式的保护范围之内。

Claims (9)

1.一种用户交互系统，其特征在于，该系统包括信号源、视网膜显示单元、摄像单元和识别交互单元，其中：

信号源，用于向视网膜显示单元提供图像信号；

视网膜显示单元，用于将信号源所提供的图像信号投影到用户视网膜，使用户在视觉上感觉出现虚拟界面，且所述图像信号被显示在所述虚拟界面上；

摄像单元，用于捕获用户的肢体动作；捕获用户的肢体动作包括：捕获用户在所述虚拟界面上的精确定位操作和/或非精确定位操作；为了实现精确操作的识别，需要实时跟踪手的运动轨迹，并将该轨迹实时映射到虚拟界面上，与虚拟操作界面上的坐标值一一对应，从而实现对虚拟界面的精确操作；

识别交互单元，用于确定对应于该用户肢体动作的交互操作命令，并将所述交互操作命令发送给信号源；

所述信号源，进一步用于向视网膜显示单元实时提供对应于执行该交互操作命令后的图像信号；

识别交互单元的用户交互识别软件中预设参量，初始情况下这些参量初始值基于统计平均，随着用户不断使用，根据用户自身特点修正这些参量使识别交互更倾向于针对特定用户特点。

2.根据权利要求1所述的用户交互系统，其特征在于，所述视网膜显示单元为用户头戴的眼镜式显示器。

3.根据权利要求1所述的用户交互系统，其特征在于，所述视网膜显示单元为直接视网膜投影装置。

4.根据权利要求1所述的用户交互系统，其特征在于，所述信号源为移动终端、计算机或基于云计算的信息服务平台。

5.根据权利要求1或4中任一项所述的用户交互系统，其特征在于，所述视网膜显示单元、摄像单元和识别交互单元在物理上集成为整体。

6.根据权利要求1或4中任一项所述的用户交互系统，其特征在于，所述识别交互单元和信号源在物理上集成为整体，且所述视网膜显示单元和摄像单元在物理上集成为整体。

7.一种用户交互方法，其特征在于，该方法包括：

信号源向视网膜显示单元提供图像信号；

视网膜显示单元将信号源所提供的图像信号投影到用户视网膜，使用户在视觉上感觉出现虚拟界面，且所述图像信号被显示在所述虚拟界面上；

摄像单元捕获用户的肢体动作；

识别交互单元确定对应于该用户肢体动作的交互操作命令，并将所述交互操作命令发送给信号源；

其中捕获用户的肢体动作包括：捕获用户在所述虚拟界面上的精确定位操作和/或非精确定位操作；为了实现精确操作的识别，需要实时跟踪手的运动轨迹，并将该轨迹实时映射到虚拟界面上，与虚拟操作界面上的坐标值一一对应，从而实现对虚拟界面的精确操作；该方法进一步包括：

信号源向视网膜显示单元实时提供对应于执行该交互操作命令后的图像信号；

识别交互单元的用户交互识别软件中预设参量，初始情况下这些参量初始值基于统计平均，随着用户不断使用，根据用户自身特点修正这些参量使识别交互更倾向于针对特定用户特点。

8.根据权利要求7所述的用户交互方法，其特征在于，所述精确定位操作包括：点击虚拟界面上的按钮或选择虚拟界面上的特定区域。

9.根据权利要求7所述的用户交互方法，其特征在于，所述非精确定位操作包括：手从右向左划动、手从左向右划动、手从上到下划动、手从下到上划动或两手分开或聚拢。