CN102789313B - 一种用户交互系统和方法 - Google Patents

Abstract

本发明实施方式公开了一种用户交互系统和方法。信息运算处理单元，用于向三维立体显示单元提供三维立体界面显示信号；三维立体显示单元，用于根据三维立体界面显示信号向用户显示三维立体界面；动作捕获单元，用于捕获用户浏览该三维立体界面做出的肢体空间移动信息，并将肢体空间移动信息发送到信息运算处理单元。应用本发明实施方式以后，用户可以沉浸在一个私密和趣味性的虚拟信息交互空间中，并在此空间中进行自然的信息交互，从而增强用户的交互体验，基于此可以衍生出大量有意义的应用，使用户更自然地与数字信息世界进行交互。

Description

一种用户交互系统和方法

技术领域

本发明涉及电子应用(application)技术领域，特别地，涉及一种用户交互系统和方法。

背景技术

1959年美国学者B.Shackel首次提出了人机交互工程学的概念。20世纪90年代后期以来，随着高速处理芯片，多媒体技术和互联网技术的迅速发展和普及，人机交互的研究重点放在了智能化交互、多模态(多通道)-多媒体交互、虚拟交互以及人机协同交互等方面，也就是放在以人为在中心的人机交互技术方面。

随着社会的进步与信息爆炸时代的来临，人们越来越多依靠各式各样的消费电子设备(如移动终端、个人数字助理(PDA)等)获取各种信息。比如：打电话与别人沟通，浏览网页获取新闻和查看电子邮件等。目前广泛应用的人机交互包括依靠传统的键盘鼠标等硬件设备，以及近几年逐渐流行起来的触摸屏等。

人们对于现存的人机交互方式并不满足，人们期望新一代的人机交互能像人与人交互一样自然、准确和快捷。于是在20世纪90年代人机交互的研究进到了多模态阶段，称为人机自然交互(Human-Computer NatureInteraction，HCNI或Human-Machine Nature Interaction，HMNI)。

虚拟现实(virtual reality)技术是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三维空间内的事物，并与虚拟世界中的元素进行交互。虚拟现实技术具有超越现实的虚拟性。它是伴随多媒体技术发展起来的计算机新技术，它利用三维图形生成技术、多传感交互技术以及高分辨率显示技术，生成三维逼真的虚拟环境。

然而，如何将虚拟现实技术应用到用户交互的各种应用中，依然是一个巨大的挑战。

发明内容

有鉴于此，本发明实施方式提出一种用户交互系统，以增加用户体验。

本发明实施方式还提出一种用户交互方法，以增强用户体验。

本发明技术方案如下：

一种用户交互系统，该系统包括信息运算处理单元、三维立体显示单元和动作捕获单元，其中：

信息运算处理单元，用于向三维立体显示单元提供三维立体界面显示信号；

三维立体显示单元，用于根据所述三维立体界面显示信号向用户显示三维立体界面；

动作捕获单元，用于捕获用户浏览该三维立体界面做出的肢体空间移动信息，并将所述肢体空间移动信息发送到信息运算处理单元；

信息运算处理单元，进一步用于确定对应于该用户肢体空间移动信息的交互操作命令，并实时向三维立体显示单元提供对应于执行该交互操作命令后的三维立体界面显示信号。

所述信息运算处理单元为移动终端、计算机或基于云计算的信息服务平台。

该系统进一步包括佩戴于用户头部的视角感知单元；

视角感知单元，用于感测用户头部运动信息，并将所述用户头部运动信息发送到信息运算处理单元；

信息运算处理单元，进一步用于根据所述用户头部运动信息确定用户实时视角信息，并实时向三维立体显示单元提供基于该用户实时视角下的三维立体界面显示信号。

该系统进一步包括声音处理单元；

声音处理单元，用于捕获用户的语音输入信息，将所述语音输入信息发送到信息运算处理单元；以及向用户播放由信息运算处理单元提供的语音播放信息；

信息运算处理单元，进一步用于根据所述语音输入信息确定语音操作命令，并向三维立体显示单元提供执行该语音操作命令后的三维立体界面信号；以及向声音处理单元提供与所述三维立体界面显示信号相关的语音播放信息。

所述三维立体显示单元为头戴式设备。

所述三维立体显示单元和视角感知单元在物理上集成为便携式用户可佩戴整体。

所述三维立体显示单元、视角感知单元和声音处理单元在物理上集成为便携式用户可佩戴整体。

所述三维立体显示单元、视角感知单元和动作捕获单元在物理上集成为便携式用户可头戴设备或便携式可穿戴设备。

所述三维立体显示单元、视角感知单元、声音处理单元和动作捕获单元在物理上集成为便携式用户可头戴设备或便携式可穿戴设备。

所述动作捕获单元为便携式穿戴式设备，或固定于用户体外可捕获用户动作位置处。

所述信息运算处理单元，进一步用于在所述三维立体界面上显示对应于用户手的空间虚拟指针元素；

动作捕获单元，用于实时捕获用户响应于浏览该三维立体界面而做出的用户手位置形态信息；

信息运算处理单元，用于根据所述用户手位置形态信息，确定对应于该用户手位置形态信息的交互操作命令，并实时地输出空间虚拟指针元素的图像信号，从而实现三维立体界面上的空间虚拟指针元素的运动轨迹与用户手运动轨迹保持一致，并实时向用户提供执行该对应于用户手位置形态信息的交互操作命令后的三维立体界面显示信号。

一种用户交互方法，该方法包括：

提供三维立体界面显示信号；

根据所述三维立体界面显示信号向用户显示三维立体界面；

捕获用户浏览该三维立体界面做出的肢体空间移动信息；

确定对应于该用户肢体空间移动信息的交互操作命令，并实时提供对应于执行该交互操作命令后的三维立体界面显示信号。

所述捕获用户浏览该三维立体界面做出的肢体空间移动信息为：捕获用户浏览该三维立体界面而做出的精确定位操作和/或非精确定位操作。

所述精确定位操作包括：用户手移动控制空间虚拟指针元素在三维立体界面中的三维方向上自由移动；识别出用户手的两种不同状态以及状态变化时对应手的空间虚拟指针元素在该三维立体界面中的位置，其中所述手的两种状态包括握拳状态与只伸出食指的状态；点击三维立体界面的按钮；或选择三维立体界面上的特定区域。

所述非精确定位操作包括：手悬停、手从右向左划动、手从左向右划动、手从上到下划动、手从下到上划动或两手分开或聚拢，或摆手。

该方法进一步包括预先获取用户交互习惯的初始校正设定步骤。

该方法进一步包括：

感测用户头部运动信息；

根据所述用户头部运动信息确定用户实时视角；

实时提供该用户实时视角下的三维立体界面显示信号。

该方法进一步包括：

捕获用户的语音输入信息；

根据所述语音输入信息确定语音操作命令；

提供执行该语音操作命令后的三维立体界面信号。

从上述技术方案中可以看出，在本发明实施方式中，提出了一种新颖的用户交互系统和方法。应用本发明实施方式以后，用户可以沉浸在一个私密和趣味性的虚拟信息交互空间中，并在此空间中进行自然的信息交互。基于本发明实施方式开发的很多产品将会是具有市场竞争力的消费电子产品。本发明实施方式独特的自然交互解决方案将促进消费级虚拟现实与增强现实相关领域产品与应用的发展，极大地提高用户的交互体验，并且能够催生出一系列有意义的应用，从而极大地增强了用户体验。

而且，本发明实施方式提出了一个集成了语音交互、手势交互、自然视角变换等方式的自然交互解决方案。通过该解决方案用户可对三维立体虚拟信息自然交互空间界面中的元素进行自然的交互，以获取信息或进行娱乐，打造一种沉浸的、独特的、有吸引力的用户体验。

另外，本发明实施方式提出了一种自然交互技术的三维立体虚拟信息自然交互界面，该交互界面包含众多三维立体可进行自然交互的元素。在交互过程中，该界面被设计为通过声音、交互元素的光影变化等方式实时给用户提供交互反馈，增强用户的自然交互乐趣和体验。通过本发明实施方式所提出的解决方案，用户可以自然地用手控制上述三维立体虚拟信息自然交互界面中对应于用户手的虚拟指针，对三维立体虚拟信息自然交互界面进行自然交互。

还有，本发明实施方式可用于任意的显示设备以及交互界面，在交互界面上加入与用户手实时对应指针的方案可以方便用户进行一系列精确触摸交互操作。而且，这种交互方式非常自然，符合人性的基本手势交互模式，而且降低了用户对操作设备的学习成本。这种交互方式符合人体自然地交互操控与便携信息处理硬件设备的分体设计，使人能够更集中精力于其所关注的信息而不是硬件设备本身。

不仅于此，本发明实施方式可以应用与任何人机交互信息设备，其通用性将给人们带来极大便利。

附图说明

图1为根据本发明实施方式的用户交互系统结构示意图；

图2为根据本发明实施方式的用户交互方法流程示意图；

图3为根据本发明实施方式的三维立体虚拟信息自然交互界面示意图；

图4为根据本发明另一实施方式的三维立体虚拟信息自然交互界面示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明实施方式再作进一步详细的说明。

一般而言，用户需要通过特殊的交互设备才能进入虚拟环境中。

一个完整的虚拟现实系统可以由虚拟环境、以高性能计算机为核心的虚拟环境处理器、以头盔显示器为核心的视觉系统、以语音识别、声音合成与声音定位为核心的听觉系统、以方位跟踪器、数据手套和数据衣为主体的身体方位姿态跟踪设备，以及味觉、嗅觉、触觉与力觉反馈系统等功能单元构成。

在一个实施方式中，本发明实施方式提出了一套全新的、完整的消费级虚拟现实设备解决方案。通过该解决方案，用户可以借助一种头戴三维立体显示器及可提供自然交互的相关传感设备，实现用户通过第一人称视角完全地沉浸于一个全新的沉浸式三维立体人机自然交互界面，并与之进行包括语音、手势、以及头部视角的变化等自然的信息交互。

图1为根据本发明实施方式的用户交互系统结构示意图。

如图1所示，该系统包括信息运算处理单元101、三维立体显示单元102和动作捕获单元103，其中：

信息运算处理单元101，用于向三维立体显示单元102提供三维立体界面显示信号；

三维立体显示单元102，用于根据所述三维立体界面显示信号向用户显示三维立体界面；

动作捕获单元103，用于捕获用户浏览该三维立体界面做出的肢体空间移动信息，并将所述肢体空间移动信息发送到信息运算处理单元101；

信息运算处理单元101，进一步用于确定对应于该用户肢体空间移动信息的交互操作命令，并实时向三维立体显示单元102提供对应于执行该交互操作命令后的三维立体界面显示信号。

优选地，该系统进一步包括佩戴于用户头部的视角感知单元104。

视角感知单元104，用于感测用户头部运动信息，并将所述用户头部运动信息发送到信息运算处理单元101；

信息运算处理单元101，进一步用于根据所述用户头部运动信息确定用户实时视角，并实时向三维立体显示单元102提供基于该用户实时视角下的三维立体界面显示信号。

优选地，该系统进一步包括声音处理单元105。

声音处理单元105，用于捕获用户的语音输入信息，将所述语音输入信息发送到信息运算处理单元101；以及向用户播放由信息运算处理单元101提供的语音播放信息；

信息运算处理单元101，进一步用于根据所述语音输入信息确定语音操作命令，并向三维立体显示单元102提供执行该语音操作命令后的三维立体界面信号；以及向声音处理单元105提供与所述三维立体界面显示信号相关的语音播放信息。

其中，三维立体显示单元102具体可以实施为头戴式设备，比如优选为眼镜式三维立体显示设备。该眼镜式三维立体显示设备通过控制对应于左右眼的微显示器所显示画面的微小差异使用户双眼看到的画面形成视差，大脑会解读双眼的视差并藉以判断物体远近与产生立体视觉。

信息运算处理单元101可以是任意能够提供三维立体界面显示信号的装置。信息运算处理单元101可以来自任意信息获取装置，比如移动终端、计算机，或者基于云计算的信息服务平台等。

信息运算处理单元101可以通过其内置操作系统处理相应的交互处理命令完成某种运算(例如手机拨号，浏览网页等)，并通过有线或无线方式实时更新相应三维立体界面显示信号，并输出三维立体界面显示信号给三维立体显示单元102予以显示。

优选地，信息运算处理单元101与三维立体显示单元102之间的通信方式可以有多种具体实施形式，包括但是不局限于：无线宽带传输、wifi传输、蓝牙传输、红外传输、移动通信传输、USB传输或者有线传输等等。

相应地，信息运算处理单元101与动作捕获单元103、视角感知单元104或声音处理单元105之间的通信方式也可以有多种具体实施形式，包括但是不局限于：无线宽带传输、wifi传输、蓝牙传输、红外传输、移动通信传输、USB传输或者有线传输等等。

声音处理单元105可以包括阵列式声音采集传感器、扬声器模块及数据传输模块。声音处理单元105可以采用声音采集传感器捕获用户输入的语音信息，并将捕获的用户语音数据信息传输给信息运算处理单元101，以由信息运算处理单元101作出进一步识别处理；声音处理单元105还用于接收并处理来自信息运算处理单元101的各种语音信号，以向用户提供各种声音反馈。

具体地，动作捕获单元103可以包括光学深度传感器以及数据传输模块。通过光学深度传感器实时获得用户双手或单手的深度图像，并通过数据传输模块将这些深度图像实时传输给信息运算处理单元101，由信息运算处理单元101进行分析处理获得用户手势交互意图信息。

具体地，视角感知单元104可以包括陀螺仪、加速计、电子罗盘等微电子传感器及数据传输模块。视角感知单元104可以固定佩戴于用户头部，用于感测用户头部运动信息，并将相应的数据信息通过数据传输模块传输给信息运算处理单元101，由信息运算处理单元101进一步分析得到用户实时的视角方向及变化信息。

信息运算处理单元101实时接受由处理声音处理单元105、动作捕获单元103和视角感知单元104所实时提供的相关数据信息，并实时更新以提供三维立体界面显示信号给三维立体显示单元102。

信息运算处理单元101具备相应的运算能力，并能够与其他各个单元之间进行通讯。信息运算处理单元101接收并分析处理来自声音处理单元105、动作捕获单元103和视角感知单元104等单元的数据信息，实时分析用户交互意图，结合该系统专属的三维立体自然交互界面，利用三维图形生成技术实时渲染当前用户视角及自然交互操作下实时更新的三维立体虚拟环境，并转化为三维立体显示信号实时传输给三维立体显示单元102。

在具体实施中，为了便于适用于各种具体的应用场景，三维立体显示单元102可以是一个便携式头戴式设备；而视角感知单元104可以是一个便携式头戴式设备。

可选地，还可以将三维立体显示单元102与视角感知单元104集成为一个便携式头戴式设备。

可选地，可以将三维立体显示单元102，视角感知单元104，声音处理单元105集成为一个便携式头戴式设备或穿戴式设备。

可选地，可以将三维立体显示单元102，视角感知单元104，手势识别模块集成为一个便携式头戴式设备或穿戴式设备；

可选地，还可以将三维立体显示单元102，视角感知单元104，动作捕获单元103，声音处理单元105集成为一个便携式头戴式设备或穿戴式设备。

可选地，动作捕获单元103可以是一个便携式穿戴式设备，或固定于用户体外可捕获用户动作位置处。

动作捕获单元103可以佩戴在胸前，甚至头部(例如眼镜)，等等，从而便于捕获人体动作。

在一个实施方式中，当用户戴上三维立体显示单元102及视角感知单元104，并与信息运算处理单元101及其他单元相联接后，用户即可感觉进入了一个自然交互虚拟三维立体信息空间。

图3为根据本发明实施方式的三维立体虚拟信息自然交互界面示意图；图4为根据本发明另一实施方式的三维立体虚拟信息自然交互界面示意图。

该三维立体信息空间可以包含很多用户自定义设定的内容。例如可以包括用户的虚拟宠物，用户喜爱的新闻版面，用户的邮件等等。所有的虚拟环境均由信息运算处理单元101利用三维图形生成技术实时渲染得到，以三维立体动态形式呈现给用户。

当用户做出抬头或转头等变换视角的动作后，视角感知单元104中的传感器将实时获取处理相关数据信息，将用户实时的动作状态的量化测量结果传输给信息运算处理单元101，由信息运算处理单元101进一步分析处理得到用户实时的视角信息，得到的实时视角信息用于实时渲染新的视角状态下的三维虚拟环境，使用户做出抬头或转头等变换视角的动作时所看到的虚拟环境能够实时根据用户的视角变换做出相应的调整，从而让用户感觉到其在虚拟空间中能够自然的通过抬头转头等动作变换视角观看该虚拟空间相应视角方向的内容，另其在虚拟空间中的抬头转头的感受尽量接近于其在真实空间中做出相应动作的感受。

用户还可以通过语音对其看到的三维立体虚拟空间环境进行交互。例如当用户说“菜单”，该语音信号被声音处理单元105的阵列麦克风采集分析为数据信号，并传输给信息运算处理单元101进行分析，经过统计匹配分析算法分析得出用户的交互意图为打开交互菜单，这时信息运算处理单元101将控制三维立体虚拟空间交互界面执行该交互命令，用户视野中将出现一个交互菜单。

当用户的手进入动作捕获单元103的探测范围后，动作捕获单元103将实时捕获并传送用户手的深度图像序列给信息运算处理单元101，信息运算处理单元101通过一系列软件算法实时分析用户手的深度图像序列得到用户手的移动轨迹，进而分析判断用户的手势交互意图。

同时，用户视野中会有相应的虚拟指针对应于用户的手的运动和位置，给用户以相应的手势交互反馈。

示范性地，下面以用户抬起手、移动、做点击动作为例说明系统工作流程。

当用户抬起手进入动作捕获单元103的探测范围后，动作捕获单元103实时获取当前视场的深度图像序列并将其传输给信息运算处理单元101，信息运算处理单元101中的相应匹配识别算法实时分析接收到的深度图像序列，分析探测出用户的手后将其识别为有效特征跟踪对象，利用其深度图像数据实时分析获取其三维位置信息，这时用户视野中的三维立体虚拟空间环境中将出现一个虚拟指针与用户的手对应，用户就像控制自己的手一样控制该虚拟指针的移动。

优选地，用户视野左上方有一个虚拟按钮，用户用手控制该虚拟指针移动到该虚拟按钮处，这时虚拟指针形态发生变化，提示用户该位置可以进行点击操作。用户这时用手做一个点击动作或手的形态由只伸出食指状态变为握拳状态，信息运算处理单元101通过分析来自动作捕获单元103的用户手的深度图像序列分析出用户手的运动轨迹以及形态变化，并通过一系列冗余动作匹配算法分析判断得出用户的交互意图为点击、确认操作，这时信息运算处理单元101则控制该三维立体虚拟交互空间界面执行该交互意图，并将执行后该交互意图后的交互结果实时渲染呈现给用户。

本发明实施方式中，针对现有技术下各种电子设备(诸如便携式电子设备)局限为采用物理触摸屏幕或键盘等作为交互手段的缺陷，由信息运算处理单元101向三维立体显示单元102提供三维立体界面显示信号，并通过识别用户针对该三维立体界面做出的用户肢体空间移动信息实现交互。

而且，本发明实施方式同时针对前述三维立体界面提出一种基于对人肢体动作(优选为人的手势)识别的人性化交互方案，此交互方案能够无缝融合前述三维立体界面与人体的肢体动作操控信息。通过对一些基本的、典型的操作识别过程进行优化处理，形成一个稳定的交互开发平台，供开发者开发各式各样应用。

还有，本发明实施方式提供了一种精确的交互解决方案。通过该交互方案，用户可以通过符合人体自然交互方式的触摸操作对任意可交互界面进行交互。

在一个实施方式中，动作捕获单元103优选为红外深度摄像传感装置，此时用户肢体空间移动信息为通过该红外深度摄像传感装置捕获的包含景深信息的图像信号。

信息运算处理单元101通过接收并分析来自动作捕获单元103的用户肢体空间移动的景深图像信息，通过软件算法分析理解出用户交互意图(即交互操作命令)，并实时向三维立体显示单元提供对应于执行该交互操作命令后的三维立体界面显示信号。

在一个实施方式中，信息运算处理单元101首先根据接收到的实时图像信息分析得到用户肢体的实时位置信息。并存储一定时间长度的用户肢体(比如手)的历史位置信息供进一步的用户交互意图判断。所进一步识别的用户交互意图包括用户单手或双手的简单移动操作(默认)，单手或双手拖拽操作或单手或双手点击、停留、摆动操作，等等。

在一个实施方式中，信息运算处理单元101，进一步用于在所述三维立体界面上显示对应于用户手的空间虚拟指针元素；动作捕获单元103，用于实时捕获用户响应于浏览该三维立体界面而做出的用户手位置形态信息；

信息运算处理单元101，用于根据所述用户手位置形态信息，确定对应于该用户手位置形态信息的交互操作命令，并实时地输出空间虚拟指针元素的图像信号，从而实现三维立体界面上的空间虚拟指针元素的运动轨迹与用户手运动轨迹保持一致，并实时向用户提供执行该对应于用户手位置形态信息的交互操作命令后的三维立体界面显示信号。

比如，假如用户的手从右向左划过动作捕获单元103视场区域，动作捕获单元103实时记录并发送图像数据给信息运算处理单元101。信息运算处理单元101通过一系列软件算法从图像数据中分析得出用户手势轨迹为从右向左划动，再通过软件算法确定为某种交互命令(例如：返回上一页)，进而处理此命令数据流并给出反馈到用户。

在实际交互过程中，信息运算处理单元101可识别出一系列的交互命令。比如：“开始交互/确定/选择/点击”，“移动(上、下、左、右、前、后)”，“放大”，“缩小”，“旋转”，“退出/结束交互”等的手势动作，实时转化为交互操作命令并相应执行处理，并且进而向用户输出相应的交互后显示状态。

下面描述一个示范性的完整交互过程来更好地阐述本发明实施方式。

假如用户的手从右向左划过动作捕获单元103视场区域，而且预先设定“用户的手从右向左”这一肢体动作对应于“返回上一页”的交互操作命令。(可以在信息运算处理单元101中预先保存肢体动作和交互操作命令的对应关系)

首先，动作捕获单元103实时记录并发送图像数据给信息运算处理单元101。信息运算处理单元101通过一系列软件算法从图像数据中分析得出用户手势轨迹为从右向左划动，再通过软件算法确定该手势对应的是“返回上一页”的命令，进而执行“返回上一页”的命令处理，并且输出执行完“返回上一页”之后的显示状态。

优选地，信息运算处理单元101具备自学习能力以及一定的用户自定义扩展操作功能，用户可以按照自身的手势习惯训练提高系统的手势识别能力并可以根据用户自身喜好自定义各种操作的手势以及操作方式。用户交互识别软件中预设了很多参量，例如人的肤色信息，手臂的长度信息等等，初始情况下这些参量初始值基于统计平均以尽量满足大多数用户，通过软件算法中实现系统的自学习能力，也就是随着用户不断使用，软件能够根据用户自身特点修正其中一些参量使识别交互更倾向于针对特定用户特点，进而提高系统的手势识别能力。

此外，用户识别交互软件还应提供用户自定义操作接口，比如用户喜爱的特定手势轨迹代表某种用户自定义的操作命令，从而实现系统的个性化可定制特点。

更具体地，用户对三维立体界面的交互操作分为两类：一类是识别非精确定位操作，比如“翻页”，“前进”，“后退”等命令。另一类是实现精确定位操作，比如点击交互界面中的按钮或选择一个特定区域等操作。

精确定位操作可以包括：用户手移动控制空间虚拟指针元素在三维立体界面中的三维方向上自由移动；识别出用户手的两种不同状态以及状态变化时对应手的空间虚拟指针元素在该三维立体界面中的位置，其中所述手的两种状态包括握拳状态与只伸出食指的状态；点击三维立体界面的按钮；或选择三维立体界面上的特定区域。

对于非精确定位操作的识别，只需要记录分析手的移动轨迹信息即可。比如，非精确定位操作可以包括：例如手从右向左划动、手从左向右划动、手从上到下划动以及、手从下到上划动或，以及两手分开、聚拢等。

为了实现精确操作的识别，需要实时跟踪用户手的运动轨迹并对应于交互界面上的指针元素以确定用户在交互界面上的欲精确交互元素位置，由信息运算处理单元101分析确定用户手部轨迹意图得出交互命令，从而实现对界面的精确操作。

上述过程中，可以预先设定用户的手势与各个具体交互操作命令的对应关系。而且，这种对应关系优选是可以编辑的，从而可以方便增加新出现的交互操作命令，或者基于用户习惯更改对应于交互操作命令的手势。

再比如，下面以识别单手点击的用户交互意图来说明本发明的技术方案。

首先，用户单手(比如右手)抬起进入动作捕捉单元103的信号采集捕获范围。用户按照自己的习惯进行了一次向前的点击动作，假设整个点击动作用时0.5秒，动作捕捉单元103将采集到的用户手的移动的图像信息实时传递给信息运算处理单元101，信息运算处理单元101接受实时传来的图像信息数据，并存储了一定时间段的历史图像信息数据，假设存储的历史信息数据时长为1s。动作捕获单元103中的软件实时对过去一秒中的用户手的图像信息数据进行分析，得出在最近过去的一秒中，用户手的空间位移信息。经过逻辑算法判定出前0.5秒用户的手的移动轨迹符合简单的移动，后0.5秒用户手的整体移动轨迹代表用户做出点击动作的概率足够高(即该概率值符合某一预设临界判据)从而认定为一次点击操作。因此在这一时刻，信息运算处理单元101分析得到了一次点击交互，用户在过去一秒中前0.5秒为真实移动操作，而在0.5秒开始做了一次点击动作。将此分析得到的点击操作交互意图经过编译即时通过通信模块传输给显示信号源。值得注意的是，在此刻之前的0.5秒内，用户手的位置被识别为默认的移动操作。因此交互界面上对应用户手的指针在相应不断更新着位置。

当用户初次使用此交互方案时，优选经过特定的初始校正设定流程以使系统软件参数符合此用户的交互习惯。该初始校正设定流程可以包括：

首先通过三维交互显示界面指示用户伸出双手进入动作捕获单元探测区域，对用户双手进行图像采样识别，建立识别用户手的相关形状参数。然后通过交互显示界面指示用户定义手在交互操作过程中的空间范围，例如分别指示用户将手放在空间平面角点以及前后两点，通过图像采样分析后确定用户手进行交互操作的空间范围相关的参数值。

然后，信息运算处理单元101通过分析动作捕获单元103传来的校正设定过程用户手在各个点的相对位置信息以确定识别交互算法中尺度相关关键参数，并指示用户进行几次单手或双手的点击操作，拖拽操作从中提取相应交互意图判据相关的关键参数信息。至此初始校正设定流程结束，并保存为可调用信息文件进行存储。用户以后可以直接调用相应档案即可。

通过初始校正设定流程以确定识别交互算法中关键参数，从而使本交互方案能够良好的满足任意用户的交互习惯，为不同用户提供个性化的准确交互操作体验。

基于上述分析，本发明实施方式还提出了一种用户交互方法。

图2为根据本发明实施方式的用户交互方法流程示意图。

如图2所示，该方法包括：

步骤201：提供三维立体界面显示信号。

步骤202：根据所述三维立体界面显示信号向用户显示三维立体界面。

步骤203：确捕获用户浏览该三维立体界面做出的肢体空间移动信息。

步骤204：确定对应于该用户肢体空间移动信息的交互操作命令，并实时提供对应于执行该交互操作命令后的三维立体界面显示信号。

在一个实施方式中，捕获用户浏览该三维立体界面做出的肢体空间移动信息具体为：捕获用户在所述三维立体界面上的精确定位操作和/或非精确定位操作。其中，精确定位操作可以包括：点击三维立体界面上的按钮或选择交互界面上的特定区域，而非精确定位操作具体可以包括：手从右向左划动、手从左向右划动、手从上到下划动、手从下到上划动或两手分开、聚拢，以及其他一些特定规律的手势轨迹等。

优选地，该方法进一步包括预先获取用户交互习惯的初始校正设定步骤。包括：

首先通过三维立体界面指示用户伸出双手进入动作捕获单元探测区域，对用户双手进行图像采样识别，建立识别用户手的相关形状参数。然后通过三维立体界面指示用户定义手在交互操作过程中的空间范围，例如分别指示用户将手放在空间的各个角点(左上角，右上角，左下角，右下角，等等)，以及前后两点，通过图像采样分析后确定用户手进行交互操作的空间范围相关的参数值。

然后，信息运算处理单元通过分析动作捕获单元传来的校正设定过程用户手在各个点的相对位置信息以确定识别交互算法中尺度相关关键参数，并指示用户进行几次单手或双手的点击操作，拖拽操作从中提取相应交互意图判据相关的关键参数信息。至此初始校正设定流程结束，并保存为可调用信息文件进行存储。用户以后可以直接调用相应档案即可。

在一个实施方式中，该方法进一步包括：

感测用户头部运动信息；

根据所述用户头部运动信息确定用户实时视角；

实时提供基于该用户实时视角下的三维立体界面显示信号。

在另一个实施方式中，该方法进一步包括：

捕获用户的语音输入信息；

根据所述语音输入信息确定语音操作命令；

提供执行该语音操作命令后的三维立体界面信号。

综上所述，在本发明实施方式中，提出了一种新颖的用户交互装置和方法。在本发明实施方式中，信息运算处理单元向三维立体显示单元提供三维立体界面显示信号；三维立体显示单元根据所述三维立体界面显示信号向用户显示三维立体界面；动作捕获单元捕获用户浏览该三维立体界面做出的肢体空间移动信息，并将所述肢体空间移动信息发送到信息运算处理单元。

由此可见，应用本发明实施方式以后，用户可以沉浸在一个私密和趣味性的虚拟信息交互空间中，并在此空间中进行自然的信息交互。

基于本发明实施方式开发的很多产品将会是具有市场竞争力的消费电子产品。本发明实施方式独特的自然交互解决方案将促进消费级虚拟现实与增强现实相关领域产品与应用的发展，并极大地提高用户的交互体验，并且能够催生出一系列有意义的应用，从而极大地增强了用户体验。

而且，本发明实施方式提出了一个集成了语音交互、手势交互、自然视角变换等方式的自然交互解决方案。通过该解决方案用户可对三维立体虚拟信息自然交互空间界面中的元素进行自然的交互，以获取信息或进行娱乐，打造一种沉浸的、独特的、有吸引力的用户体验。

另外，本发明实施方式提出了一种自然交互技术的三维立体虚拟信息自然交互界面，该交互界面包含众多三维立体可进行自然交互的元素。在交互过程中，该界面被设计为通过声音、交互元素的光影变化等方式实时给用户提供交互反馈，增强用户的自然交互乐趣和体验。

通过本发明实施方式所提出的解决方案，用户可以自然地用手控制上述三维立体虚拟信息自然交互界面中对应于用户手的虚拟指针，对三维立体虚拟信息自然交互界面进行自然交互。

还有，本发明实施方式可用于任意的显示设备以及交互界面，在交互界面上加入与用户手实时对应指针的方案可以方便用户进行一系列精确触摸交互操作。

而且，这种交互方式非常自然，符合人性的基本手势交互模式，而且降低了用户对操作设备的学习成本。这种交互方式符合人体自然地交互操控与便携信息处理硬件设备的分体设计，使人能够更集中精力于其所关注的信息而不是硬件设备本身。

不仅于此，本发明实施方式可以应用与任何人机交互信息设备，其通用性将给人们带来极大便利。

以上所述，仅为本发明实施方式的较佳实施例而已，并非用于限定本发明实施方式的保护范围。凡在本发明实施方式的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施方式的保护范围之内。

Claims (11)

1.一种用户交互系统，其特征在于，该系统包括信息运算处理单元、三维立体显示单元和动作捕获单元，其中：

信息运算处理单元，用于向三维立体显示单元提供三维立体界面显示信号；

三维立体显示单元，用于根据所述三维立体界面显示信号向用户显示三维立体界面；

动作捕获单元，用于捕获用户浏览该三维立体界面做出的肢体空间移动信息，并将所述肢体空间移动信息发送到信息运算处理单元；

信息运算处理单元，进一步用于确定对应于该用户肢体空间移动信息的交互操作命令，并实时向三维立体显示单元提供对应于执行该交互操作命令后的三维立体界面显示信号；

所述信息运算处理单元，进一步用于在所述三维立体界面上显示对应于用户手的空间虚拟指针元素；

动作捕获单元，用于实时捕获用户响应于浏览该三维立体界面而做出的用户手位置形态信息；

信息运算处理单元，用于根据所述用户手位置形态信息，确定对应于该用户手位置形态信息的交互操作命令，并实时地输出空间虚拟指针元素的图像信号，从而实现三维立体界面上的空间虚拟指针元素的运动轨迹与用户手运动轨迹保持一致，并实时向用户提供执行该对应于用户手位置形态信息的交互操作命令后的三维立体界面显示信号；

该系统进一步包括佩戴于用户头部的视角感知单元；

视角感知单元，用于感测用户头部运动信息，并将所述用户头部运动信息发送到信息运算处理单元；

信息运算处理单元，进一步用于根据所述用户头部运动信息确定用户实时视角，并实时向三维立体显示单元提供基于该用户实时视角下的三维立体界面显示信号；

所述三维立体显示单元为头戴式设备；所述三维立体显示单元和视角感知单元在物理上集成为便携式用户可佩戴整体；所述动作捕获单元为便携式穿戴式设备，或固定于用户体外可捕获用户动作位置处。

2.根据权利要求1所述的用户交互系统，其特征在于，所述信息运算处理单元为移动终端、计算机或基于云计算的信息服务平台。

3.根据权利要求1所述的用户交互系统，其特征在于，该系统进一步包括声音处理单元；

声音处理单元，用于捕获用户的语音输入信息，将所述语音输入信息发送到信息运算处理单元；以及向用户播放由信息运算处理单元提供的语音播放信息；

信息运算处理单元，进一步用于根据所述语音输入信息确定语音操作命令，并向三维立体显示单元提供执行该语音操作命令后的三维立体界面信号；以及向声音处理单元提供与所述三维立体界面显示信号相关的语音播放信息。

4.根据权利要求3所述的用户交互系统，其特征在于，所述三维立体显示单元、视角感知单元和声音处理单元在物理上集成为便携式用户可佩戴整体。

5.根据权利要求3所述的用户交互系统，其特征在于，所述三维立体显示单元、视角感知单元、声音处理单元和动作捕获单元在物理上集成为便携式用户可头戴设备或便携式可穿戴设备。

6.一种用户交互方法，其特征在于，该方法包括：

信息运算处理单元向三维立体显示单元提供三维立体界面显示信号；

三维立体显示单元根据所述三维立体界面显示信号向用户显示三维立体界面；

动作捕获单元捕获用户浏览该三维立体界面做出的肢体空间移动信息；

信息运算处理单元确定对应于该用户肢体空间移动信息的交互操作命令，并实时提供对应于执行该交互操作命令后的三维立体界面显示信号；

信息运算处理单元在所述三维立体界面上显示对应于用户手的空间虚拟指针元素；

动作捕获单元实时捕获用户响应于浏览该三维立体界面而做出的用户手位置形态信息；

信息运算处理单元根据所述用户手位置形态信息，确定对应于该用户手位置形态信息的交互操作命令，并实时地输出空间虚拟指针元素的图像信号，从而实现三维立体界面上的空间虚拟指针元素的运动轨迹与用户手运动轨迹保持一致，并实时向用户提供执行该对应于用户手位置形态信息的交互操作命令后的三维立体界面显示信号；

视角感知单元感测用户头部运动信息，并将所述用户头部运动信息发送到信息运算处理单元；

信息运算处理单元根据所述用户头部运动信息确定用户实时视角，并实时向三维立体显示单元提供基于该用户实时视角下的三维立体界面显示信号；

所述三维立体显示单元为头戴式设备；所述三维立体显示单元和视角感知单元在物理上集成为便携式用户可佩戴整体；所述动作捕获单元为便携式穿戴式设备，或固定于用户体外可捕获用户动作位置处。

7.根据权利要求6所述的用户交互方法，其特征在于，所述捕获用户浏览该三维立体界面做出的肢体空间移动信息为：捕获用户浏览该三维立体界面而做出的精确定位操作和/或非精确定位操作。

8.根据权利要求7所述的用户交互方法，其特征在于，所述精确定位操作包括：

用户手移动控制空间虚拟指针元素在三维立体界面中的三维方向上自由移动；

识别出用户手的两种不同状态以及状态变化时对应手的空间虚拟指针元素在该三维立体界面中的位置，其中所述手的两种状态包括握拳状态与只伸出食指的状态；

点击三维立体界面的按钮；或

选择三维立体界面上的特定区域。

9.根据权利要求7所述的用户交互方法，其特征在于，所述非精确定位操作包括：手悬停、手从右向左划动、手从左向右划动、手从上到下划动、手从下到上划动或两手分开或聚拢，或摆手。

10.根据权利要求6所述的用户交互方法，其特征在于，该方法进一步包括预先获取用户交互习惯的初始校正设定步骤。

11.根据权利要求6所述的用户交互方法，其特征在于，该方法进一步包括：

捕获用户的语音输入信息；

根据所述语音输入信息确定语音操作命令；

提供执行该语音操作命令后的三维立体界面信号。