CN103793060A - 一种用户交互系统和方法 - Google Patents

Abstract

本发明实施方式公开了一种用户交互系统和方法。该系统包括界面显示模块、三维定位模块和运算处理模块，其中：界面显示模块，用于向用户提供交互界面；三维定位模块，用于捕获用户场景的三维定位信息，并将所述用户场景的三维定位信息发送到运算处理模块；运算处理模块，用于基于所述用户场景的三维定位信息计算用户眼睛与用户手相对于三维定位模块的三维空间相对位置，并基于所述三维空间相对位置以及所述三维定位模块与交互界面的相对位置关系，确定交互界面中的交互热点位置。

Description

一种用户交互系统和方法

技术领域

本发明涉及电子应用（application）技术领域，特别地，涉及一种用户交互系统和方法。

背景技术

1959年美国学者B.Shackel首次提出了人机交互工程学的概念。20世纪90年代后期以来，随着高速处理芯片，多媒体技术和互联网技术的迅速发展和普及，人机交互的研究重点放在了智能化交互、多模态（多通道）-多媒体交互、虚拟交互以及人机协同交互等方面，也就是放在以人为在中心的人机交互技术方面。

人们对于现存的人机交互方式并不满足，人们期望新一代的人机交互能像人与人交互一样自然、准确和快捷。在20世纪90年代人机交互的研究进到了多模态阶段，称为人机自然交互（Human-Computer NatureInteraction,HCNI或Human-Machine Nature Interaction,HMNI）。

用户交互界面（User Interface,UI）设计是指对软件的人机交互、操作逻辑、界面美观的整体设计。在人和机器互动获取信息、体验的过程中，有一个媒介，即可视化的人机交互界面，以及相应于该人机交互界面的交互设备及方法。举例来讲,触摸屏手机的出现把触摸交互方式带给了广大消费大众。与此同时，传统鼠标、键盘的交互界面迅速转向了适应于触摸交互方式的交互界面。以苹果的IOS以及Google的Android为例，用户可以通过触摸屏点击或拖动屏幕上显示的图标，以进行相应的交互操作。可以看到一种新的用户交互界面及交互方法需要相应硬件及软件的支持。

以目前主流智能手机、平板电脑为代表的平面触摸交互设备让人们可以通过触摸这种所见即所得的方式与平面图形交互界面进行交互。例如，用户可以直接点击界面中的方形应用图标以进入该应用程序；可以按住某个应用程序图标在屏幕上滑动以对该图标进行平移拖拽操作等等。随着3D显示技术以及一些传感器技术的不断进步和成熟，人机交互界面从平面图形交互界面到三维立体交互界面转变的时代已经到来，与此相对应的，人机交互方式也将变得更加便捷自然，例如空中手势，语音，甚至表情都可以作为人机交互的输入方式。

目前，微软配合旗下游戏主机Xbox发布的体感交互附件Kinect使人机交互向着自然体感交互的方式迈了很大的一步。通过Kinect，用户可以通过手势与电视中显示的交互界面进行自然地交互。交互界面中有一个圆形的图标代表用户的手的位置，用户可以通过移动手来移动交互界面中的圆形图标，当用户通过移动手将交互界面中的圆形图标移动到某一个应用图标上并停留一定的时间，这将触发一个类似于确认、进入、选择的交互命令，从而进入该应用程序。

通常来讲图形交互界面的交互热点位置处有指针元素（如window系统中的鼠标指针）表征，反馈给用户当前的交互热点位置。然而，在目前的人机交互中，难以确定交互热点位置。

发明内容

有鉴于此，本发明实施方式提出一种用户交互系统，以确定交互热点位置。

本发明实施方式还提出一种用户交互方法，以确定交互热点位置。

本发明技术方案如下：

一种用户交互系统，该系统包括界面显示模块、三维定位模块和运算处理模块，其中：

界面显示模块，用于向用户提供交互界面；

三维定位模块，用于捕获用户场景的三维定位信息，并将所述用户场景的三维定位信息发送到运算处理模块；

运算处理模块，用于基于所述用户场景的三维定位信息计算用户眼睛与用户手相对于三维定位模块的三维空间相对位置，并基于所述三维空间相对位置以及所述三维定位模块与交互界面的相对位置关系，确定所述交互界面中的交互热点位置。

所述交互界面为三维交互界面或二维交互界面。

所述交互界面为二维交互界面；

三维定位模块，用于捕获用户图像的时序列帧数据；

所述运算处理模块，用于对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；再根据三维定位模块与该二维交互界面的相对位置关系，计算得到用户的视线指向在该二维交互界面上的投影位置，即为所述交互热点位置。

所述交互界面为三维交互界面；

三维定位模块，用于捕获用户图像的时序列帧数据；

所述运算处理模块，用于对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；并基于用户眼睛与手在所述视线指向上的空间距离值，确定在视线指向上从三维交互界面前基准面交点处向内深入的第一距离值，在视线指向上该三维交互界面上该第一距离值处的位置即为所述交互热点位置。

三维定位模块，进一步用于捕获用户手的形态信息和/或运动信息；

运算处理模块，进一步用于基于所述用户手的形态信息和/或运动信息确定用户手的形态和/或运动轨迹，识别出具有预定特征的手的形态代表的交互手势操作和/或具有预定特征的手的运动轨迹代表的手势操作。

所述运算处理模块为移动终端、智能电视、计算机或基于云计算的信息服务平台。

所述界面显示模块包括：平面显示器、平面显示器阵列、投影仪、投影仪组、头戴式平面显示器、头戴式3D显示器、3D电视3D投影仪或3D全息显示装置。

所述三维定位模块包括：深度摄像传感器、深度摄像传感器与RGB摄像传感器的结合实体、超声波定位传感模块、热成像定位传感模块或电磁定位传感模块。

运算处理模块，进一步用于在交互界面上该交互热点位置处显示空间虚拟指针元素，所述空间虚拟指针元素在交互界面上的运动轨迹与用户浏览该交互界面做出的手势移动轨迹保持一致，而且所述空间虚拟指针元素在交互界面上的手势形态与用户浏览该交互界面做出的手势形态保持一致。

所述空间虚拟指针元素为手型点云形态、手型实体模型或手型透明轮廓。

一种用户交互方法，包括：

向用户提供交互界面；

三维定位模块捕获用户场景的三维定位信息；

基于所述用户场景的三维定位信息计算用户眼睛与用户手相对于三维定位模块的三维空间相对位置，并基于所述三维空间相对位置以及所述三维定位模块与交互界面的相对位置关系，确定所述交互界面中的交互热点位置。

交互界面为二维交互界面；该方法包括：

捕获用户图像的时序列帧数据；

对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；再根据三维定位模块与该二维交互界面的相对位置关系，计算得到用户的视线指向在该二维交互界面上的投影位置，即为所述交互热点位置。

交互界面为三维交互界面；该方法包括：

捕获用户图像的时序列帧数据；

对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；并基于用户眼睛与手在所述视线指向上的空间距离值，确定在视线指向上从三维交互界面前基准面交点处向内深入的第一距离值，视线指向上该三维交互界面上该第一距离值处的位置即为所述交互热点位置。

从上述技术方案中可以看出，在本发明实施方式中，该系统包括界面显示模块、三维定位模块和运算处理模块，其中：界面显示模块，用于向用户提供交互界面；三维定位模块，用于捕获用户图像的时序列帧数据，并将所述用户场景的三维定位信息发送到运算处理模块；运算处理模块，用于基于所述用户场景的三维定位信息计算用户眼睛与用户手相对于三维定位模块的三维空间相对位置，并基于所述三维空间相对位置以及所述三维定位模块与交互界面的相对位置关系，确定交互界面中的交互热点位置。

本发明实施方式揭露了一种用户交互系统以及通过空中手势对人机图形交互界面进行交互的方法。特别的，涉及一种确定图形交互界面中与用户手对应的交互热点位置的方式。通过本申请披露的方法，用户可以直接用空中手势与各种类型的图形交互界面进行自然方便准确的交互操作，提升用户的交互体验。

而且，本发明实施的交互方式非常自然，符合人性的基本肢体动作（比如手势）交互模式，而且降低了用户对操作设备的学习成本，符合人体自然地交互操控与便携信息处理硬件设备的分体设计，使人能够更集中精力于其所关注的信息而不是硬件设备本身。

而且，本发明实施方式还提出了一种自然交互技术的虚拟信息自然交互界面，该交互界面包含众多可进行自然交互的元素。通过本发明实施方式所提出的解决方案，用户可以自然地用手控制上述虚拟信息自然交互界面中对应于用户手的虚拟指针，对虚拟信息自然交互界面进行自然交互。

另外，本发明实施方式的独特显示方式使其受环境影响较小，给人提供高品质的感官体验，并能够保护信息的私密性。本发明实施方式通过直接视网膜扫描投影显示方式可以将虚拟信息与现实实景融合在一起，给人提供增强现实的感官体验，从而基于此可以衍生出大量的有意义的应用，进一步极大地提高用户体验。

不仅于此，本发明实施方式可以应用与任何人机交互信息设备，其通用性将给人们带来极大便利。

附图说明

图1为根据本发明实施方式的用户交互系统结构示意图；

图2为根据本发明实施方式的用户交互方法流程示意图；

图3为根据本发明实施方式的点云形式指针元素示意图；

图4为根据本发明实施方式的轮廓形式指针元素示意图；

图5为根据本发明实施方式的二维交互界面的热点位置确定示意图。

图6为根据本发明实施方式的三维交互界面的热点位置确定示意图。

图7为根据本发明实施方式的头戴式设备所实施的用户交互系统示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明实施方式再作进一步详细的说明。

为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。

在本发明实施方式中，针对现有技术下各种电子设备（诸如便携式电子设备）采用交互界面所导致的各种缺陷，提出了一种确定热点交互位置的用户交互解决方案。

用户与图形交互界面进行交互的过程中，图形交互界面中一般会存在相应的交互热点位置，例如windows的鼠标指针在屏幕交互界面中的位置，触摸屏上用户手接触到的界面中的位置等等，用户可以通过一些操作（例如移动鼠标）控制交互热点位置到交互界面中希望被交互的可交互元素（例如交互界面中的按钮）处，进行相应的交互操作（如点击选择等）。

在本发明实施方式中，揭露了一种用户交互系统以及通过空中手势对人机图形交互界面进行交互的方法。特别的，涉及一种确定图形交互界面中与用户手对应的交互热点位置的方式。通常来讲图形交互界面的交互热点位置处有指针元素（如window系统中的鼠标指针）表征，反馈给用户当前的交互热点位置。通过本申请披露的方法，用户可以直接用空中手势与各种类型的图形交互界面进行自然方便准确的交互操作，提升用户的交互体验。

在本发明实施方式中，可以使用多种方式产生实际的二维屏幕界面或虚拟三维屏幕界面，而且产生的虚拟三维屏幕界面还可作为对现实实景的增强，能够广泛应用于增强现实（Augment Reality）技术。

另外，本发明实施方式同时针对前述交互界面提出一种基于对人肢体动作（优选为人的手势）识别的人性化交互方案，此交互方案能够无缝融合前述虚拟三维界面与人体的肢体动作操控信息。类似地，通过对一些基本的典型的操作识别进行优化处理，形成一个稳定的交互开发平台，供开发者开发各式各样应用。

图1为根据本发明实施方式的用户交互系统结构示意图。

如图1所示，该系统包括界面显示模块101、三维定位模块102和运算处理模块103。

用于向用户提供交互界面；

三维定位模块102，用于捕获用户场景的三维定位信息，并将所述用户场景的三维定位信息发送到运算处理模块；

运算处理模块103，用于基于所述用户场景的三维定位信息计算用户眼睛与用户手相对于三维定位模块的三维空间相对位置，并基于所述三维空间相对位置以及所述三维定位模块与交互界面的相对位置关系，确定所述交互界面中的交互热点位置。

三维定位模块102用于获取定位用户眼睛和用于交互的手相对于图形交互界面的三维空间位置的相关数据。三维定位模块102既可以是一个整体的传感模块，也可以是分布式的传感模块组合。

优选的，三维定位模块102可以是一种深度图像传感器，这种传感器可以实时获得包含其视场范围内用户环境的三维位置坐标信息的图像帧数据。三维定位模块102还可以是其他形式的三维空间定位传感装置。例如：利用超声波技术的定位传感模块，热成像技术定位传感模块，电磁场技术定位传感模块等等。

在一个实施方式中：所述交互界面为三维交互界面或二维交互界面。

在一个实施方式中：所述交互界面为二维交互界面；

三维定位模块102，用于捕获用户图像的时序列帧数据；

所述运算处理模块103，用于对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；再根据三维定位模块102与该二维交互界面的相对位置关系，计算得到用户的视线指向在该二维交互界面上的投影位置，即为所述交互热点位置。

在一个实施方式中：所述交互界面为三维交互界面；三维定位模块102，用于捕获用户图像的时序列帧数据；

所述运算处理模块103，用于对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块102的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；并基于用户眼睛与手在所述视线指向上的空间距离值，确定在视线指向上从三维交互界面前基准面交点处向内深入的第一距离值，在视线指向上该三维交互界面上该第一距离值处的位置即为所述交互热点位置。

在一个实施方式中：

三维定位模块102，进一步用于捕获用户手的形态信息和/或运动信息；

运算处理模块103，进一步用于基于所述用户手的形态信息和/或运动信息确定用户手的形态和/或运动轨迹，识别出具有预定特征的手的形态代表的交互手势操作和/或具有预定特征的手的运动轨迹代表的手势操作。

在一个实施方式中：所述运算处理模块103为移动终端、智能电视、计算机或基于云计算的信息服务平台，等等。

在一个实施方式中：所述界面显示模块101包括：平面显示器、平面显示器阵列、投影仪、投影仪组、头戴式平面显示器、头戴式3D显示器、3D电视3D投影仪或3D全息显示装置，等等。

在一个实施方式中：所述三维定位模块102包括：深度摄像传感器、深度摄像传感器与RGB摄像传感器的结合实体、超声波定位传感模块、热成像定位传感模块或电磁定位传感模块，等等。

在一个实施方式中：

运算处理模块103，进一步用于在交互界面上该交互热点位置处显示空间虚拟指针元素，所述空间虚拟指针元素在交互界面上的运动轨迹与用户浏览该交互界面做出的手势移动轨迹保持一致，而且所述空间虚拟指针元素在交互界面上的手势形态与用户浏览该交互界面做出的手势形态保持一致。

在一个实施方式中：

所述空间虚拟指针元素为手型点云形态、手型实体模型或手型透明轮廓

具体地，运算处理模块103可以是具备计算能力的任意装置。比如移动终端、计算机，甚至是基于云计算的信息服务平台等。

运算处理模块103可以将交互界面上的交互热点位置处的空间点设置为交互点，当用户手移动到与该交互点之间的距离满足预先设定的距离门限值，而且手势形态满足预先设置的状态切换条件时，确定相对应的交互操作命令，并将执行该交互操作命令后的三维交互结果界面发送给界面显示模块101；界面显示模块101，进一步用于向用户显示所述交互结果界面。

在一个实施方式中，预先设置的状态切换条件可以包括：用户的一只手在状态一（例如手掌状态）下移动到某个特定位置，并转变为状态二（例如握拳状态），保持手在状态二下向特定的方向（如上、下、左、右、前、后、左前，右前等等）或沿特定轨迹（如：闭合轨迹，摆动轨迹）下移动。当满足了这种状态切换条件后，可以触发某种交互操作，实现特定的交互意图。

界面显示模块101可以接受运算处理模块103或其他交互信号提供源所提供的交互界面显示信号，并向用户交互界面。交互界面显示模块101还可以具备显示三维立体内容的能力，具体可以是3D电视、3D头戴式显示器、3D投影设备或3D全息显示装置，等等。

优选地，运算处理模块103与界面显示模块101之间的通信方式可以有多种具体实施形式，包括但是不局限于：无线宽带传输、蓝牙传输、红外传输、移动通信传输或者有线传输等等。

在一个实施方式中：界面显示模块101通过上述通讯方式从任意的三维信号提供源接收三维交互界面显示信号之后，对三维交互界面显示信号进行调制解码后，将三维交互界面显示图像直接投影到用户视网膜上，使用户感觉到前方出现一个虚拟的三维界面（优选为增广的屏幕）。用户感兴趣的信息将通过这个虚拟三维界面得以展现。

界面显示模块101可以通过多种方式产生这个虚拟三维界面。比如，界面显示模块101具体可以是用户头戴式眼镜式显示器。该用户头戴式眼镜式显示器有两个超微显示屏对应于人的左右眼，通过精密光学透镜放大超微显示屏上的图像，进而呈现于观看者眼中虚拟增广的屏幕图像。

此外，界面显示模块101还可以通过视网膜直接投影的方式产生虚拟三维界面。比如，界面显示模块101具体可以为直接视网膜投影装置。在这种方式中，利用人的视觉暂留原理，界面显示模块101（即直接视网膜投影装置）中的显示芯片接收三维交互界面显示信号，进而对界面显示模块101中的微型激光发生器产生的红绿蓝激光进行调制，让低功率激光快速地按指定顺序在水平和垂直两个方向上循环扫描，撞击视网膜的一小块区域使其产生光感，使人们感觉到三维图像的存在，此种显示方式可以不影响背景视场，三维虚拟屏幕叠加在真实视场上，进而可以提供增强现实的感官体验。

在一个实施方式中，当三维虚拟交互界面出现以后，用户浏览三维虚拟交互界面，并且通过手势来触发交互过程。

综上可知，本发明提出一种手势交互系统以及一种用来确定图形交互界面（GUI）中与用户人机交互操作的手对应的交互热点位置或与用户人机交互操作的手对应的指针元素在图形交互界面中的位置的方法。

具体来讲，本发明通过三维定位模块102定位得到用户眼睛的三维空间相对位置以及用户用来进行人机交互操作的手的三维空间相对位置，利用上述得到的三维空间相对位置以及三维定位传感器与用户所看到的图形交互界面的相对位置关系，通过一定的软件算法来确定图形交互界面（GUI）中与用户用来进行人机交互操作的手对应的交互热点位置，进而可以控制图形交互界面中用来对应用户进行交互操作的手的指针元素在图形交互界面上的位置。

界面显示模块101用于显示图形交互界面（Graphic User Interface）给用户，图形交互界面可以是2D平面的呈现形式，也可以是3D立体的呈现形式。界面显示模块101具体可以是平面显示器或平面显示器阵列，投影仪或投影仪组，头戴式平面显示器，头戴式3D显示器等等可以将图形交互界面信息显示给用户的设备，等等。

三维定位模块102用于获取定位目标物体相对于图形交互界面的三维空间位置的相关数据。在本申请中，目标物体包括用户的眼睛以及用户交互操作的手。用来定位用户的眼睛的三维定位模块102与用来定位用户用来进行交互操作的手的三维定位模块102可以是一个整体的传感模块，也可以是分布式的传感模块组合。

优选的，三维定位模块102可以是深度摄像传感器或深度摄像传感器与RGB摄像传感器的结合形式，还可以是其他形式的三维空间定位装置。例如：超声波定位传感模块，热成像定位传感模块，电磁定位传感模块等等。

运算处理模块103通过有线或无线的方式接收三维定位模块102得到的相关数据，并对接收到的数据进行算法处理，从而得到用户眼睛与用户用来进行交互操作的手的三维空间相对位置，利用上述得到的三维空间相对位置以及三维定位传感器与用户所看到的图形交互界面的相对位置关系，通过一定的软件算法来确定图形交互界面（GUI）中与用户用来进行人机交互操作的手对应的交互热点位置，进而可以控制图形交互界面中用来对应用户进行交互操作的手的指针元素在图形交互界面上的位置。

当图形交互界面是3D立体形式时，可以进一步通过用户用来进行交互操作的手与用户两个眼睛的三维空间相对位置的距离大小来控制3D图形交互界面中用来对应用户进行交互操作的手的指针元素在3D图形交互界面空间中的前后位置。

此外，如果三维定位模块102采集到的数据包括用户手的形态相关信息，运算处理模块103还可以基于这些数据分析用户的手的形态及运动轨迹，识别出一些具有特征的手的形态代表的交互手势操作以及具有一定特征的手的运动轨迹代表的手势操作，例如手的打开五指和并拢五指的状态，胜利V型手势，大拇指朝上等手势，以及手指尖的点击动作，画叉动作，对号动作，画圈动作，画三角动作等等手势操作，根据识别到的手势操作结果结合当前交互热点位置处对应的图形交互界面中的交互对象实施相应意义的交互操作意图，从而得到经过用户交互操作后的图形交互界面的反馈结果，运算处理模块103经过上述过程得到的运算结果通过有线或无线的方式发送给界面显示模块103。运算处理模块102具体可以是桌面电脑，移动智能终端，智能电视，云计算平台等等具备数据运算处理能力的设备。

界面显示模块103根据运算处理模块102的运算结果渲染出新的一帧图形交互界面的显示信号，并予以显示。

上述系统各个模块可以是全部集成在一起的整体装置，也可以是部分模块集成在一起部分独立的形式，还可以是全部独立的形式。模块之间通过有线或无线方式进行数据链接。例如一款智能电视、一体机，头戴式智能眼镜等形态的产品可以集成上述各个模块为一个整体。还例如一种头戴式智能眼镜式产品可以集成显示模块与三维定位传感模块为一体，通过有线或无线的方式与运算处理模块和交互界面渲染模块进行数据通信。

基于上述详细分析，本发明还提出了一种用户交互方法。

图2为根据本发明实施方式的用户交互方法流程示意图。

如图2所示，该方法包括：

步骤201：向用户提供交互界面；

步骤202：三维定位模块捕获用户场景的三维定位信息；

步骤203：基于所述用户场景的三维定位信息计算用户眼睛与用户手相对于三维定位模块的三维空间相对位置，并基于所述三维空间相对位置以及所述三维定位模块与交互界面的相对位置关系，确定所述交互界面中的交互热点位置。

在一个实施方式中：

交互界面为二维交互界面；该方法包括：

捕获用户图像的时序列帧数据；

对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；再根据三维定位模块与该二维交互界面的相对位置关系，计算得到用户的视线指向在该二维交互界面上的投影位置，即为所述交互热点位置。

在一个实施方式中：

交互界面为三维交互界面；该方法包括：

捕获用户图像的时序列帧数据：

对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；并基于用户眼睛与手在所述视线指向上的空间距离值，确定在视线指向上从三维交互界面前基准面交点处向内深入的第一距离值，视线指向上该三维交互界面上该第一距离值处的位置即为所述交互热点位置。

图3为根据本发明实施方式的点云形式指针元素示意图；图4为根据本发明实施方式的轮廓形式指针元素示意图。

在一个实施方式中，所述手势形态信息满足预先设置的状态切换条件包括：

该手势形态信息从第一状态切换到不同于该第一状态的第二状态，所述第一状态和第二状态都从手势状态组中选择，而且所述手势状态组包括：

单手握拳、单手掌心朝上手掌伸开、单手掌心朝下手掌伸开、单手伸出单个手指、单手伸出任意两个手指、单手伸出任意三个手指、单手伸出任意四个手指、双手握拳、双手掌心朝上手掌伸开、双手掌心朝下手掌伸开、双手伸出单个手指、双手伸出任意两个手指、双手伸出任意三个手指、双手伸出任意四个手指、双手伸出任意五个手指、双手伸出任意六个手指、双手伸出任意七个手指、双手伸出任意八个手指和双手伸出任意九个手指。

图5为根据本发明实施方式的二维交互界面的热点位置确定示意图。

如图5所示，桌上显示器形状的设备集成了界面显示模块和运算处理模块以及位于显示屏幕上方的一种深度图像传感器形式的三维定位模块。

界面显示模块呈现二维交互界面。当用户的眼睛和用于交互操作的手在深度图像传感器的传感范围内时，深度图像传感器即可获得包含目标物体的实时连续的时序列帧数据，并将该时序列帧数据发送给运算处理模块，运算处理模块通过对时序列帧数据进行一些预定处理以及模式识别算法分析，可以提取出用户眼睛以及用户用于交互操作的手在深度图像中的有效像素区域范围，进而通过有效像素区域范围在深度图像帧中的位置、有效像素区域像素的数据值以及深度图像传感器的视场角等信息，综合计算得到用户眼睛（比如两个眼睛的中点）的三维空间位置坐标（X1，Y1，Z1）以及用户用于交互操作的手相对深度图像传感器的三维空间位置坐标（X2，Y2，Z2）。

然后，根据得到的用户用于操作的手以及用户的眼睛的三维空间位置坐标，可以计算得到用户的视线指向（比如两个眼睛的中点与用户用于操作的手之间的直线），再计算得到用户的视线指向在图形交互界面上的投影位置，即图形交互界面中用户交互意图所对应的交互热点位置，也就是图形交互界面中对应用户用于交互操作的手的指针元素应该出现的位置。这时用户的手在前述视线指向方向做点击操作，通过对用户手的三维空间位置轨迹的分析，可以识别出用户点击操作的轨迹手势，从而得到用户的交互意图是点击交互热点位置处的可交互元素（图中黑色线条的片），从而执行用户的交互操作并对应的渲染计算生成新的图形反馈交互界面信号，新的交互界面显示信号传给显示模块，显示模块将新的图形交互界面显示给用户，从而实现了一个完整的用户手势交互过程。

此外，通过对图像帧序列数据分析还可以得到用户的手的形态信息，进而通过软件算法得到用户手的形态信息所代表的一些特定手势操作意图，例如手指聚拢状态，手指分开打开状态，大拇指朝上握拳或朝下握拳状态，V手势等等，这些手势结合定位得到的交互热点位置可用于用户与图形交互界面的手势交互过程。

图6为根据本发明实施方式的三维交互界面的热点位置确定示意图。

如图6所示，桌上显示器形状的设备集成了显示模块和运算处理模块以及位于显示屏幕上方的一种深度图像传感器形式的三维定位传感模块。

界面显示模块呈现三维交互界面。当用户的眼睛和用于交互操作的手在深度图像传感器的传感范围内时，深度图像传感器即可获得包含目标物体的实时连续的时序列帧数据，并将数据发送给运算处理模块，运算处理模块通过对时序列帧数据进行一些预定处理以及模式识别算法分析，可以提取出用户眼睛以及用户用于交互操作的手在深度图像中的有效像素区域范围，进而通过有效像素区域范围在深度图像帧中的位置、有效像素区域像素的数据值以及深度图像传感器的视场角等信息，综合计算得到用户眼睛（比如两个眼睛的中点）的三维空间位置坐标（X1，Y1，Z1）以及用户用于交互操作的手相对深度图像传感器的三维空间位置坐标（X2，Y2，Z2）。

然后，根据得到的用户用于操作的手以及用户的眼睛的三维空间相对位置，从而可以计算得到用户的视线指向（比如两个眼睛的中点到用户用于操作的手的直线）。可以利用用户眼睛（比如两个眼睛的中点）与用户用于交互操作的手的空间距离d的大小进一步精确确定三维交互界面空间中的三维交互热点位置。

示范性地，如图6所示，通过距离d来计算表示交互热点位置的指针元素在图形交互界面中视线指向方向上，自用户眼睛与用于交互的手连线的视线指向与三维交互界面前基准面交点处向内深入的距离d1的大小。例如，d1与d呈线性正比关系。此时，用户体验到的效果为：用户的手远离眼睛，则交互热点位置（指针元素所在位置）在图形交互界面中沿用户视线指向方向远离用户。通过上面方法就确定了图形交互界面中对应于用户用于交互操作的手的交互热点位置（或指针元素所在位置）的三维空间位置，从而与对应位置上的可交互元素进行相应的互动操作，例如抓取移动图形交互界面中某空间位置上的虚拟物体等等。

可以通过多种方式实施本发明实施方式。

图7为根据本发明实施方式的头戴式设备所实施的用户交互系统示意图。

如图7所示，展示了本专利方案以头戴式设备形式的一种实施方式。如图所示，用户戴的眼镜式设备中集成了显示模块和三维定位模块，通过显示模块用户在视场中将看到一个二维或三维立体的虚拟图形交互界面，三维定位模块102可以提供包含用于确定用户用于交互操作的手的相对三维空间坐标信息的相关数据给运算处理模块。

运算处理模块可以是与眼镜设备无线联接的云计算平台也可以是直接集成于眼镜式设备中的本地运算处理模块，还可以是与眼镜设备无线或有线联接的PC、智能手机等具备一定运算处理能力的设备。

运算处理模块通过一定的算法确定用户用于交互操作的手的三维空间相对位置，由于用户眼睛相对三维定位传感模块的相对位置也是已知固定的，从而根据上述确定的三维空间相对位置信息可以推算出用户视线指向方向在用户所看到的图形交互界面上的投影关系，进而利用上面两个示例中提到的方法确定交互热点位置，或对应指示交互热点的指针元素在图形交互界面中应在的位置，引导用户完成相应的交互操作。

综上所述，在本发明实施方式中，用户交互系统，包括界面显示模块、三维定位模块和运算处理模块，其中：界面显示模块，用于向用户提供交互界面；三维定位模块，用于捕获用户图像的时序列帧数据，并将所述用户场景的三维定位信息发送到运算处理模块；运算处理模块，用于基于所述用户场景的三维定位信息计算用户眼睛与用户手相对于三维定位模块的三维空间相对位置，并基于所述三维空间相对位置以及所述三维定位模块与交互界面的相对位置关系，确定所述交互界面中的交互热点位置。本发明实施方式揭露了一种用户交互系统以及通过空中手势对人机图形交互界面进行交互的方法。特别的，涉及一种确定图形交互界面中与用户手对应的交互热点位置的方式。通过本申请披露的方法，用户可以直接用空中手势与各种类型的图形交互界面进行自然方便准确的交互操作，提升用户的交互体验。

本发明实施方式通过交互界面与用户手势之间的交互，实现了一种用户与硬件设备之间交互与获取信息的方式，极大地增强了用户体验。

而且，本发明实施的交互方式非常自然，符合人性的基本肢体动作（比如手势）交互模式，而且降低了用户对操作设备的学习成本，符合人体自然地交互操控与便携信息处理硬件设备的分体设计，使人能够更集中精力于其所关注的信息而不是硬件设备本身。

而且，本发明实施方式还提出了一种自然交互技术的三维立体虚拟信息自然交互界面，该交互界面包含众多三维立体可进行自然交互的元素。通过本发明实施方式所提出的解决方案，用户可以自然地用手控制上述三维立体虚拟信息自然交互界面中对应于用户手的虚拟指针，对三维立体虚拟信息自然交互界面进行自然交互。

另外，本发明实施方式的独特显示方式使其受环境影响较小，给人提供高品质的感官体验，并能够保护信息的私密性。本发明实施方式通过直接视网膜扫描投影显示方式可以将三维虚拟信息与现实实景融合在一起，给人提供增强现实的感官体验，从而基于此可以衍生出大量的有意义的应用，进一步极大地提高用户体验。

不仅于此，本发明实施方式可以应用与任何人机交互信息设备，其通用性将给人们带来极大便利。

需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。

各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件（如专用处理器，如FPGA或ASIC）用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路（如包括通用处理器或其它可编程处理器）用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路（如由软件进行配置）来实现硬件模块，可以根据成本和时间上的考虑来决定。

本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本文所述方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施方式中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机（或CPU或MPU）读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。

用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

综上所述，在本发明实施方式中，本发明实施方式揭露了一种用户交互系统以及通过空中手势对人机图形交互界面进行交互的方法。用户可以直接用空中手势与各种类型的图形交互界面进行自然方便准确的交互操作，提升用户的交互体验。

以上所述，仅为本发明实施方式的较佳实施例而已，并非用于限定本发明实施方式的保护范围。凡在本发明实施方式的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施方式的保护范围之内。

Claims (13)

1.一种用户交互系统，其特征在于，该系统包括界面显示模块、三维定位模块和运算处理模块，其中：

界面显示模块，用于向用户提供交互界面；

三维定位模块，用于捕获用户场景的三维定位信息，并将所述用户场景的三维定位信息发送到运算处理模块；

运算处理模块，用于基于所述用户场景的三维定位信息计算用户眼睛与用户手相对于三维定位模块的三维空间相对位置，并基于所述三维空间相对位置以及所述三维定位模块与交互界面的相对位置关系，确定所述交互界面中的交互热点位置。

2.根据权利要求1所述的用户交互系统，其特征在于，所述交互界面为三维交互界面或二维交互界面。

3.根据权利要求1所述的用户交互系统，其特征在于，所述交互界面为二维交互界面；

三维定位模块，用于捕获用户图像的时序列帧数据；

所述运算处理模块，用于对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；再根据三维定位模块与该二维交互界面的相对位置关系，计算得到用户的视线指向在该二维交互界面上的投影位置，即为所述交互热点位置。

4.根据权利要求1所述的用户交互系统，其特征在于，所述交互界面为三维交互界面；

三维定位模块，用于捕获用户图像的时序列帧数据；

所述运算处理模块，用于对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；并基于用户眼睛与手在所述视线指向上的空间距离值，确定在视线指向上从三维交互界面前基准面交点处向内深入的第一距离值，在视线指向上该三维交互界面上该第一距离值处的位置即为所述交互热点位置。

5.根据权利要求1所述的用户交互系统，其特征在于，

三维定位模块，进一步用于捕获用户手的形态信息和/或运动信息；

运算处理模块，进一步用于基于所述用户手的形态信息和/或运动信息确定用户手的形态和/或运动轨迹，识别出具有预定特征的手的形态代表的交互手势操作和/或具有预定特征的手的运动轨迹代表的手势操作。

6.根据权利要求1所述的用户交互系统，其特征在于，所述运算处理模块为移动终端、智能电视、计算机或基于云计算的信息服务平台。

7.根据权利要求1所述的用户交互系统，其特征在于，所述界面显示模块包括：平面显示器、平面显示器阵列、投影仪、投影仪组、头戴式平面显示器、头戴式3D显示器、3D电视3D投影仪或3D全息显示装置。

8.根据权利要求1所述的用户交互系统，其特征在于，所述三维定位模块包括：深度摄像传感器、深度摄像传感器与RGB摄像传感器的结合实体、超声波定位传感模块、热成像定位传感模块或电磁定位传感模块。

9.根据权利要求1所述的用户交互系统，其特征在于，

运算处理模块，进一步用于在交互界面上该交互热点位置处显示空间虚拟指针元素，所述空间虚拟指针元素在交互界面上的运动轨迹与用户浏览该交互界面做出的手势移动轨迹保持一致，而且所述空间虚拟指针元素在交互界面上的手势形态与用户浏览该交互界面做出的手势形态保持一致。

10.根据权利要求9所述的用户交互系统，其特征在于，所述空间虚拟指针元素为手型点云形态、手型实体模型或手型透明轮廓。

11.一种用户交互方法，其特征在于，包括：

向用户提供交互界面；

三维定位模块捕获用户场景的三维定位信息；

基于所述用户场景的三维定位信息计算用户眼睛与用户手相对于三维定位模块的三维空间相对位置，并基于所述三维空间相对位置以及所述三维定位模块与交互界面的相对位置关系，确定所述交互界面中的交互热点位置。

12.根据权利要求11的用户交互方法，其特征在于，交互界面为二维交互界面；该方法包括：

捕获用户图像的时序列帧数据；

对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；再根据三维定位模块与该二维交互界面的相对位置关系，计算得到用户的视线指向在该二维交互界面上的投影位置，即为所述交互热点位置。

13.根据权利要求11的用户交互方法，其特征在于，所述交互界面为三维交互界面；该方法包括：

捕获用户图像的时序列帧数据；

对所述时序列帧数据进行模式识别分析，提取出用户眼睛及手的有效像素区域范围，并通过所述有效像素区域范围在所述时序列帧数据中的位置、有效像素区域像素的数据值，以及三维定位模块的视场角信息计算得到用户眼睛及手相对三维定位模块的三维空间位置坐标；并根据用户眼睛及手相对三维定位模块的三维空间位置坐标，计算得到用户的视线指向；并基于用户眼睛与手在所述视线指向上的空间距离值，确定在视线指向上从三维交互界面前基准面交点处向内深入的第一距离值，视线指向上该三维交互界面上该第一距离值处的位置即为所述交互热点位置。

Images