CN103336582A

CN103336582A - 一种运动信息控制人机交互方法

Info

Publication number: CN103336582A
Application number: CN2013103250589A
Authority: CN
Inventors: 黄通兵
Original assignee: 黄通兵
Current assignee: Beijing Qixin Yiwei Information Technology Co Ltd
Priority date: 2013-07-30
Filing date: 2013-07-30
Publication date: 2013-10-02

Abstract

本发明提供了一种运动信息控制人机交互方法，包括如下步骤：（1）检测与操作者在内容区域的至少一个运动或者运动组合对应到的至少一个坐标值或者坐标值组合；（2）检测与操作者在非内容区域的至少一个运动或者运动组合对应到的至少一个坐标值或者坐标值组合；（3）从至少一个检测到的非内容区域的坐标值生成控制信号；以及从所述控制信号产生命令；（4）根据检测到的内容区域至少一个坐标值或者坐标值组合执行命令。本发明方法脱离了传统的人机互动方法，实现通过运动信息对诸如计算机等受控设备的操控，能够简单、方便、且更快捷地输入使用者需要的指令。

Description

一种运动信息控制人机交互方法

技术领域

本发明涉及人机交互方法，具体涉及运动信息控制的人机交互方法。

背景技术

人机交互（Human-Computer Interaction,简写HCI）：是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程。

传统的人机交互功能主要依靠可输入输出的外部设备和相应的软件来完成。可供人机交互使用的设备主要有键盘显示、鼠标、各种模式识别设备等。与这些设备相应的软件就是操作系统提供人机交互功能的部分。人机交互部分的主要作用是控制有关设备的运行和理解并执行通过人机交互设备传来的有关的各种命令和要求。早期的人机交互设施是键盘显示装置。操作员通过键盘打入命令，操作系统接到命令后立即执行并将结果通过显示装置显示。打入的命令可以有不同方式，但每一条命令的解释是清楚的，唯一的。传统的人机交互方式的命令输入比较单一,通常依靠键盘和鼠标。

随着计算机技术的发展，操作命令也越来越多，功能也越来越强。随着模式识别，如语音识别、汉字识别等输入设备的发展，操作员和计算机在类似于自然语言或受限制的自然语言这一级上进行交互成为可能。此外，通过图形进行人机交互也吸引着人们去进行研究。这些人机交互可称为智能化的人机交互。这方面的研究工作正在积极开展。

CN102937872A公开了一种人与触摸屏设备的交互系统及交互方法,其通过全屏任意位置滑动或者通过全屏任意位置的单击实现人机互动,其将触摸屏分区,分为响应暂停、继续、快进、快退等功能。由于人眼的第一特征是感知信息，因此区分感知信息的动作与发出命令的动作是有必要的，划分内容区域与非内容区域很好的区分了感知信息的动作与发出命令的动作，最大限度的减少了误操作，使用户的操作步骤更加简洁，更加自由。

发明内容

针对上述不足，本发明提供一种运动信息控制人机交互方法，该方法克服了常规的鼠标或者键盘控制的人机交互方式，同时，将操作区域划分为内容区域和非内容区域，减少用户的误操作。

为实现上述目的，本发明采用如下技术方案：

一种运动信息控制人机交互方法，包括如下步骤：

（1）检测与操作者在内容区域的至少一个运动或者运动组合对应到的至少一个坐标值或者坐标值组合；

（2）检测与操作者在非内容区域的至少一个运动或者运动组合对应到的至少一个坐标值或者坐标值组合；

（3）从至少一个检测到的非内容区域的坐标值生成控制信号；以及从所述控制信号产生命令；

（4）根据检测到的内容区域至少一个坐标值或者坐标值组合执行命令。

进一步地，步骤1还包括坐标值矫正步骤。

进一步地，所述产生命令的方式包括在连续的序列中进行选择或者在多个离散选项中进行选择，所述离散选项是非内容区域坐标值的至少一个参数。

进一步地，所述内容区域和所述非内容区域没有交集。

进一步地，所述非内容区域位于内容区域之外。

进一步地，通过运动的至少一个参数，确定将这种运动控制信号分配至相应控制类型。

进一步地，所述控制类型包括操作焦点移动、鼠标移动、单击、双击、文字输入、窗口创建和/或关闭。

进一步地，所述参数为运动坐标、运动轨迹、速度、加速度、运动方向和/或停留时间。

进一步地，所述运动为眼睛的注视点运动、指点设备的指示点运动、头部运动、眼球运动、肢体运动、肌电流、语音信息和/或生物电。

进一步地，所述生物电为肌电流、肢体肌电流、面部肌电流、脑电和/或心电。

本发明方法脱离了传统的人机互动方法，实现通过运动信息对诸如计算机等受控设备的操控，能够简单、方便、且更快捷地输入使用者需要的指令。该方法简单、精确度高，容易升级。

具体实施方式

以下实施例用于进一步说明本发明，但不应理解为对本发明的限制。在不背离本发明精神和实质的前提下，对本发明所作的修饰或者替换，均属于本发明的范畴。

本发明中的运动信息包括头部运动、眼球运动、肢体运动、肌电流、语音信息和/或脑电波信息，单又不仅限于上述运动信息。

以眼球运动为例，眼动信号采集装置是指图像采集设备，更具需要配置红外光源，通过采集包括眼球以及瞳孔的红外图像，在软件的基础上进一步对图像进行处理，生成的用户坐标，实现信号的采集。该软件可以是内置于图像采集设备中，也可以安装在其他硬件设备中，例如台式计算机、笔记本电脑、手机、头戴式、穿戴式计算机、服务器或者是其他能够安装并运行软件的设备上。采集眼动信号技术需要通过摄像机拍摄眼球的图像，一般来说拍摄红外图像更有利于计算机识别，提取图像中的瞳孔中心坐标，另外可选择性提取一个或多个光源在瞳孔中的反光点建立辅助坐标——如普洱钦斑中心坐标、头动坐标等。建立瞳孔中心、普洱钦斑中心与被注视目标（例如显示装置中的图像、或实际物体组成的场景）之间一个数学映射关系式。通过该关系式，使用用户的瞳孔中心坐标（另可选择性加入普洱钦斑中心坐标、头动坐标）实时计算出“用户坐标”。比如，根据瞳孔中心和普洱钦斑中心的差异确定视线偏差的角度和方向，建立注视方向矢量，再以注视方向矢量在被注视目标平面的投影关系为所述映射关系式，由所述投影关系确定用户的注视点及注视点在该平面上的坐标。

本发明中,将眼睛注视区域区分为内容区域和非内容区域,二者之间不存在交集,例如非内容区域可以位于内容区域上、下、左、右的一侧或者多侧；或者内容区域位于中心区域，非内容区域环绕内容区域；特别地，眼睛注视区域即为内容区域，非内容区域隐藏于注视区域之外，以显示器为例，整个显示区域为内容区域，非内容区域可以预定义位于显示区域上、下、左、右的一侧或者多侧。

“用户坐标”主要是指以上通过图像处理分析直接得到的坐标，考虑到不同眼球、瞳孔等结构的差异，用户坐标可能不能真实反映眼睛的注视点，此时需要对用户坐标进行矫正，例如通过在显示装置中显示多个矫正位点，通过捕捉眼睛在不同矫正位点的用户坐标，对用户坐标进行矫正，从而得到能真实反映眼睛注视位点的矫正后的用户坐标，当该坐标落于屏幕中时，称之为显示坐标。矫正位点宜为5、9或16个，包括显示装置的四个角以及中心。

通过划分上述内容区域和非内容区域，当“用户坐标”位于内容区域时，在非内容区域即显示或者预置相关指令，并等待用户对非内容区域的相关指令进行选择，上述对内容区域和非内容区域的划分使得内容选择和指令操作分开，降低了信号采集的精度要求，减少了误操作。

当注视点发生改变时，用户坐标也在发生改变，通过时间和坐标位移，就可以得到相应的坐标移动轨迹、速度、加速度等信息，另外，注视点未发生改变，或者仅在某个区域内发生的移动，则可以得到该位点或区域的眼睛注视时间等信息，这一部分为信号分析加工的过程。这些信息可以通过相应的规则生成受控对象的控制指令，实现对受控对象的操控，这一部分是指令输出的过程。

信号采集还可进一步包括采集眨眼信息、头部运动信息、肌电流、语音信息、脑电波信息中的一种或多种，或者是一切其他按键开关等等产生的输入信号，这些信息可以单独实现受控对象的控制也可以结合眼动信号控制。

与本发明人机交互方法对应的系统一般包括眼动信号采集装置、存储器、处理器、输出接口（应用接口）等部分，信号采集装置实现上述的信号采集功能，可以是摄像头、摄像机等等，通过安装的软件对图像进行处理，生成的用户坐标，实现信号的采集，如上所述，软件可以是内置的也可以安装在具有处理功能的其他硬件上；存储器中内置预置规则，处理器根据用户坐标及显示坐标的变化，计算眼动轨迹信息、速度、加速度和/或某个点或某区域眼睛注视时间信息，根据存储器中的预置控制规则转化为受控装置的控制指令，通过应用接口发送指令到受控装置。

显示坐标可以直接对应鼠标的位置，通过非内容区域眼睛注视点的改变，实现鼠标移动、点击，文字输入，窗口创建、关闭等等。此外，矫正后非内容区域用户坐标如果落于显示坐标或者操作区域之外（显示屏外），例如在显示装置的上方，也可以通过预置规则生成相关指令，例如控制窗口的新建、关闭，撤销、重复、刷新、删除、弹出操作菜单等等操作。

另外，结合眨眼信息、头部运动信息、肌电流、语音信息、脑电波信息等进行控制，可以降低眼睛的疲劳，上述眨眼信息，头部运动信息，肌电流，语音信息和/或脑电波信息等运动信息的检测可以分为接触式检测和/或非接触式检测，例如肌电流、脑电波等运动信息的检测可以通过接触式检测的方式，语音信息可以通过非接触式检测的方法，眨眼信息和头部运动信息可以通过接触式或者非接触式检测方式。将通过眼睛控制鼠标落于某个操作界面上，通过语音来控制点击以及其他相关的命令，即可以通过眼睛控制鼠标位置和移动轨迹，通过语音实现与之相关的操作，例如当鼠标悬停在浏览器的某一标签栏上，通过语音输入“关闭”命令，则实现该标签的关闭。

上述肌电流可以是手指肌电流，例如通过某个或者几个手指的弯动，引起手掌或者手臂上的肌电流变化；也可以是肢体肌电流，例如通过手臂的弯曲或者腿部的弯曲引起的肌电流变化；也可以是面部肌电流，例如眨眼或者是嘴唇的动作引起的肌电流变化。

基于上述内容区域和非内容区域的划分，基于眼视方式的人机交互的流程如下：

首先，眼动信号采集装置检测操作者在内容区域的眼睛的注视时间以及眼睛视线在内容区域的坐标的坐标，即获得“用户坐标”,当检测到“用户坐标”不变或者发生微小变动时，根据“用户坐标”选中相应的内容；

其次，眼动信号采集装置检测操作者在非内容区域的眼睛的运动信息，例如，当检测到操作者在非内容区域眼睛视线往上移动或者向下移动时，根据预置规则，产生“返回上级菜单或者进入下级菜单”命令；当然非内容区域可以以隐含的方式设置,例如当用户以全屏方式观看电影时,此时整个屏幕为内容区域,而此时非内容区域分布于屏幕四周,当检测到操作者的视线离开内容区域而移动到屏幕外左上方时,则产生“暂停”命令,当检测到操作者的视线离开内容区域而进入右上方时,则产生“关闭”命令，当检测到操作者的视线离开内容区域而

最后,进入选中内容的上级菜单或者下级菜单。

本发明方法脱离了传统的人机互动方法，实现通过运动信息对诸如计算机等受控设备的操控，能够简单、方便、且更快捷地输入使用者需要的指令。该方法精确度高，容易升级。

Claims

1.一种运动信息控制人机交互方法，其特征在于包括如下步骤：

2.根据权利要求1所述的方法，步骤1还包括坐标值矫正步骤。

3.根据权利要求1所述的方法，所述产生命令的方式包括在连续的序列中进行选择或者在多个离散选项中进行选择，所述离散选项是非内容区域坐标值的至少一个参数。

4.根据权利要求1所述的方法，所述内容区域和所述非内容区域没有交集。

5.根据权利要求4所述的方法，所述非内容区域位于内容区域之外。

6.根据权利要求1-5之一所述的方法，通过运动的至少一个参数，确定将这种运动控制信号分配至相应控制类型。

7.根据权利要求6所述的方法，所述控制类型包括操作焦点移动、鼠标移动、单击、双击、文字输入、窗口创建和/或关闭。

8.根据权利要求6所述的方法，所述参数为运动坐标、运动轨迹、速度、加速度、运动方向和/或停留时间。

9.根据权利要求1-5之一所述的方法，所述运动为眼睛的注视点运动、指点设备的指示点运动、头部运动、眼球运动、肢体运动、肌电流、语音信息和/或生物电。

10.根据权利要求9所述的方法，所述生物电为肌电流、肢体肌电流、面部肌电流、脑电和/或心电。