CN108845754A

CN108845754A - 用于移动虚拟现实头戴显示器的无驻留文本输入方法

Info

Publication number: CN108845754A
Application number: CN201810711473.0A
Authority: CN
Inventors: 梁海宁; 徐温格; 岳勇
Original assignee: Xian Jiaotong Liverpool University
Current assignee: Xian Jiaotong Liverpool University
Priority date: 2018-07-03
Filing date: 2018-07-03
Publication date: 2018-11-20
Anticipated expiration: 2038-07-03
Also published as: CN108845754B

Abstract

本发明公开了一种用于移动虚拟现实头戴显示器的无驻留文本输入方法，包括：定位虚拟现实环境下的文字输入位置，并弹出虚拟键盘；利用头部转动控制虚拟光标移动到目标字符所在区域；根据已输入的字符搜索预存词典里与之最相近的推荐单词，所述推荐单词动态显示在当前输入的字符区域外侧；若存在目标单词，利用头部移动控制虚拟光标进入目标单词所在区域选择单词，否则继续输入字符。通过消除驻留时间，避免使用手或额外的输入设备，文本输入速度高，且错误率低。

Description

用于移动虚拟现实头戴显示器的无驻留文本输入方法

技术领域

本发明涉及虚拟现实的用户输入命令的技术领域，具体地涉及一种用于移动虚拟现实头戴显示器的无驻留文本输入方法。

背景技术

移动VR(Virtual Reality，虚拟现实)HMDs(head-mounted displays，头戴式显示器)允许用户通过智能设备与身临其境的虚拟环境进行交互，其传感器可以获取用户的输入命令。其面临的最大挑战之一是如何在VR系统中避免使用外围设备(如键盘和鼠标)，这种“附件约束”为沉浸式虚拟环境(IVE)中的文本输入带来了额外的困难。

针对这个问题，许多研究者提出了基于语音的文本输入技术。Bowman等人对基于语音的几种文本输入技术进行了比较，发现语音技术是IVE中文本输入速度最快的媒介，大约14WPM(Words per Minute)。基于语音的多模态文本输入系统SIFFER，可以达到23.6WPM的平均输入速率。然而，语音识别技术的一个主要限制是它的性能会受到嘈杂环境的影响。此外，当用户在公共环境中(如公交车上或图书馆里)使用语音技术输入密码或给朋友发消息时，隐私问题等安全隐患会大大提高。

另外，基于触摸屏的文本输入技术的研究结果显示，该技术可以实现相对不错的文本输入速度(例如，使用预测算法可以达到17-23WPM)。然而，由于用户在IVE中第一次按下触摸屏之前无法精确定位手的位置，所以键入过程可能需要更多的手部移动来选择目标字符。此外，使用智能手机作为移动VR HMD的显示器进行文本输入时，需要额外的触摸板，并且需要使用手，这在用户的手被占用的情况下是不可能实现的。

目前已经研究了几种虚拟环境(virtual environments，VE)下的空中打字技术，包括基于可穿戴手套的技术和动作捕捉技术。虽然这些技术能实现移动文本输入，部分技术也可以实现较快的文本输入速度，但是需要昂贵的传感器、相机或配有传感器的手套等设备。除此之外，其中大部分技术都需要大量学习过程，用户的活动位置可能被限制。

当前大多数移动VR HMDs使用头部转动进行操作，用户需要移动位于视图中间的光标来选择目标对象。Yu等人提出三种基于头部交互的文本输入技术：驻留，点击和头部动作(head gesture)，新手用户在经过6个模块的训练后，三种技术的文本输入速度分别为10.59WPM、15.58WPM和19.04WPM。其中，只有驻留技术不需要额外的设备，但即使有预测和误差校正算法，其文本输入速度(10.59WPM)也没有那么高。

无驻留技术允许用户在程序运行时即时输入文本。Kristensson和Vertanen指出，无驻留眼睛打字在理论上比现有技术快得多，其文本输入理论上最快的速度为46WPM。到目前为止，无驻留打字技术主要分为两大类：基于眼球动作(eye gesture)和基于选择。

EyeWrite是第一种基于眼球动作(eye gesture)的打字技术，其内容基于EdgeWrite的手势单笔划字母表。另一个眼睛打字技术EYE-S，用户在九个热区不断移动画出字母，专家用户可以达到6.8WPM。由于用户需要注视热区持续预定义的时间阈值，以确定序列起始点，所以该技术不是完全无驻留。这两种基于手势的技术都出现了低性能问题。

研究员们也提出了几种基于选择的无驻留打字技术。EyeK允许用户通过在激活区内外移动指针来选择字符，平均输入速度是6.03WPM。Filteryedping可以过滤用户无意触发的字母，并预测可能的单词。这种技术的平均文本输入速度可以达到14.75WPM。EyeSwipe允许用户浏览单词中的各个字符，使用“反向交叉”技术仔细选择单词的第一个字符，输入中出现转折时所在的字符和最后一个停止输入时字符。10个参与者经过30分钟训练之后文本输入速度可以达到11.7WPM。大多数基于选择的无驻留技术的一个常见缺点是，它们需要额外的肢体运动来打字(如内外移动)。当使用HMDs时，这种肢体运动会增加不适感。

对于眼球跟踪的新型VR HMDs，设备成本远远高于标准HMDs。例如，FEVO 0的价格是599美元，是Gear VR(76美元)的7倍。此外，一些研究表明，基于头部的打字速度与注视打字一样快，但错误率更低。最近的一篇论文论述了一种基于头部的驻留型文本输入技术，确保用户在6次训练之后可以达到平均10.59WPM的文本输入速度。但是，该技术中，用户对推荐区的单词自动校正技术的使用率只有5.31％。通过消除停顿时间和改进布局，在选择字母和推荐拼写校正字符时都可以提高用户打字速率。

许多研究也提出了圆形键盘布局，它需要较小的屏幕区域，更有利于界面交互。但是研究发现，现有的一些圆形键盘技术的文本输入速度很低，尤其是对于新手用户。如T-Cube提出了一种基于笔的文字输入，对于专家来说效率更快。另一个基于手写笔的技术，CIRRIN和其增强版提出环形布局的手势输入，虽然优化了圆周的字母顺序，但对用户来说实现快速了解布局可能并不容易。

另外，TUP是一种用于触控转盘的文本输入方法，该方法将字母映射到圆上。用户将手指放在字母上进行选择，在预测算法的帮助下，新手用户的文本输入速度可以达到6-7WPM。pEYEs使用圆形布局，第一层分成6个扇形区，每个扇形区包含5个字母，这些字母根据使用频率分组；第二层分成5个扇形区。用户首先在包含所需字符的扇形区内停留400ms，选中目标扇形区之后，用户需要在包含所需字母的区域再停留400ms进行字符选择。这种技术可以达到7.9WPM的文本输入速度。Topal等人开发了一种使用圆形键盘的快速凝视方法，字母放置在键盘布局的不同区域。为了选择一个字母，用户需要在目标字符上停留固定时间。为了选择由算法预测的单词，用户需要继续停留特定的时间。如果消除驻留时间，圆形布局的性能很可能会提高。

针对上述问题，对于不需要任何专用手持设备的HMDS的有效文本输入方法仍然没有得到充分研究，需要提出一种更高效的文本输入方法。既要摆脱“附件约束”的限制，又要考虑在公众场所使用的安全性问题，同时还要保证文本输入速度。

发明内容

针对上述存在的缺陷和不足，本发明的目的是提出了一种用于移动虚拟现实头戴显示器的无驻留文本输入方法。通过消除驻留时间，避免使用手或额外的输入设备，文本输入速度高，且错误率低。

本发明的技术方案是：

一种用于移动虚拟现实头戴显示器的无驻留文本输入方法，包括以下步骤：

S01：定位虚拟现实环境下的文字输入位置，并弹出虚拟键盘；

S02：利用头部转动控制虚拟光标移动到目标字符所在区域；

S03：根据已输入的字符搜索预存词典里与之最相近的推荐单词，所述推荐单词动态显示在当前输入的字符区域外侧；

S04：若存在目标单词，利用头部移动控制虚拟光标进入目标单词所在区域选择单词，否则继续输入字符。

优选的技术方案中，所述虚拟键盘为圆形键盘，所述圆形键盘有两个同心圆，外圈为字符区，内圈为重置区，用于重置选择并搜索下一个字符。

优选的技术方案中，所述字符区为1字符/扇形区，扇形区的英文字母按字母表顺序排列，字母排序的初始位置在外圈的上部。

优选的技术方案中，所述推荐单词伴随空格，选择完推荐单词后，尾部自动添加空格。

优选的技术方案中，当字符或者单词被选中时，所在区域的颜色进行变化。

优选的技术方案中，当字符或者单词输入完成后提供音频反馈。

与现有技术相比，本发明的优点是：

本发明充分利用了头部运动的优势，成本低、效率高且错误率低。随着头部运动，眼睛也随之运动，这有助于快速地视觉搜索。此外，利用头部运动消除手持式输入设备的需求，本发明对于大部分移动场景尤其有用。

本发明优化了键盘布局，提高了文本输入速度，不需要用户手持任何附加输入设备。使用圆形键盘进行文本输入，既不停顿，又不需要与移动HMDs手动交互。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明用于移动虚拟现实头戴显示器的无驻留文本输入方法的流程图；

图2为本发明一种键盘布局示意图；

图3为本发明另一种键盘布局示意图；

图4为本发明一种键盘布局的操作方法示意图；

图5为本发明另一种键盘布局的操作方法示意图；

图6为本发明三种键盘字母顺序示意图；

图7为本发明的动态候选词的显示位置示意图；

图8为本发明12种圆环键盘布局的平均总错误率和未修正错误率；

图9为本发明12种圆环键盘布局的整体TLX工作量；

图10为本发明增进版设计的8个实验模块的平均WPM；

图11为本发明增进版设计的8个实验模块的平均TER和平均NCER；

图12为本发明的“ring”输入说明。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明的移动虚拟现实头戴显示器以Samsung Gear VR为例进行说明。本研究使用Samsung Gear VR内置的惯性测量单元(IMU)传感器来进行选择文本的。

如图1所示，用于移动虚拟现实头戴显示器的无驻留文本输入方法，包括以下步骤：

1.选中VR环境下的文字输入位置：

使用Samsung Gear VR的射线实现定位，利用Gear VR右侧自带触屏板确认位置；

2.键盘在所选位置处弹出；

3.选择目标字符：

搜索目标字符所处的外圆区域，利用头部转动控制光标移动到目标字符所处的外圆区；

4.提供反馈：

当光标进入目标区域，该区域底部高亮显示即选定目标字符，并提供音频反馈(打字声音)；

5.在所选的文字输入位置显示输入的字符信息；

6.显示推荐单词：

本设计采用了一项开源的单词纠错算法，该算法可以根据已经输入的字符推荐一系列相似单词，本设计在这个算法基础上只推荐最接近的两个单词。只要用户选定一个字符，系统会立即搜索并推荐相似单词。

7.判定推荐单词是否提供目标词：

若推荐词包含目标词，则转动头部，移动光标进入推荐单词所在区域即可选定目标词。同时，推荐单词所处区域底色变化并且提供音频反馈(打字声音)以显示选择完毕；若无，则需继续输入目标词的下一个字符。

8.重复步骤1-7，进行下一个文本输入任务，直到任务结束。

本发明的键盘为圆形键盘，如图2、3所示，该圆形键盘有两个同心圆，外圈被划分为字母区；内圈为重置区，用于重置选择并搜索下一个字母；

将圆形键盘的外圆均分成若干个扇形区，将英文字母平均放置在每个扇形区内。

扇形区数量根据用户的偏好定制，相应地，每个扇形区的字母数量也可定制。

图2为单键键盘(28个扇形区，1字符/扇形区)，即1LPR(1letter per region)。该键盘使用go-and-hit选择方法，当光标进入字符区域时，该字符将被立即选择。

图3为双键键盘(14个扇形区，2字符/扇形区)，即2LPR(2letters per region)。当用户选中目标扇形区时，该区域的两个字符将被分开并放置两侧相邻的扇形区。向目标字符的方向转动头部，当光标选中该区域时即做出选择。

如图4、5所示，具体操作方法为，利用头部移动控制虚拟光标输入信息，即光标进入字母区触发选择，移动到内圆重置所选信息；所选字符显示在内圆重置区；选中字符所处区域的颜色变化提供视觉反馈，告知用户光标是否位于目标区域；所选字母的颜色会改变0.2秒，表示该字母已被选中。

字符输入完成后，提供一个简短的音频反馈(如打字声音)。

扇形区的英文字母按字母表顺序排列；字母排序的初始位置也可分为上、左和右，如图6所示。

中心圆的大小根据占据大圆的比例定制，实验中所使用的数据为大圆(占整个键盘的65％)、小圆(占整个键盘的55％)，增大中心圆(内圆)以减小错误率。

采用SymSpell拼写校正算法和包含一万个最常用英语单词的词典。最大搜索距离只有两个字母，因此选择更加精确。

根据已输入的字符搜索预存词典里与之最相近的单词，该技术只显示键入文本的最相似的两个单词的拼写提示。两个推荐单词动态显示在当前输入的字母区域外侧，如图7所示。若存在目标单词，利用头部移动控制光标进入目标单词所在区域选择单词；根据费茨定理(公式1)，在该实施例中，从当前字母区域到单词推荐区域的距离A总是小于从当前字母区域到空格区域的距离。关于宽度W，本发明设计的单词推荐区域比空格区域更宽，因此该布局中从单词区域获得空格字符的完成时间总是小于从空格区域获得空格字符的时间(除非光标在字母“A”区域)，如图7所示。

基于Fitts定律和Mackenzie公式分析完成时间：

MT＝a+blog2(A/W+1)(公式1)

其中MT是完成移动的平均时间，A和B是模型参数，A是从运动原点到目标中心的距离，W是沿轴运动测量的目标宽度。

推荐单词出现在光标边上，以更直观的提示用户推荐单词有哪两个。

推荐单词选择区域出现在最后一个输入的单词所在区域边上，用户以最短的距离完成对目标单词的选择，时间，精力代价均实现最小化。

拼写校正只在用户进入字母区域时起作用，当用户返回中心区域时，这些词就会消失。

推荐单词伴随空格，选择完推荐单词后，尾部自动添加空格，无需进入空格区域输入空格，直接进行下一个字符的输入。

动态显示推荐词不仅可以最小化眼球运动来检查单词，而且还可以最小化头部运动来选择单词。这是选择技术的扩展，不需要驻留时间和额外设备来选择单词。

本发明的设计原则为效率、易学性和易用性，具体如下：

效率原则：传统的推荐单词所处的位置是固定的，并且总是离用户所输入的字母一定距离，用户需要一直往该固定的单词推荐区域去确认是否出现目标单词，这样效率就会变低，同时还可能伴随晕眩的现象。为实现更高效的输入，我们将推荐单词区域设计在了当前所选字母的附近，同时还在光标附近增加了推荐单词的显示，这样的设计，使用户无需再像使用传统输入法时那样一直看向推荐单词的区域去确认推荐单词，同时，根据费茨定理(公式1)，该设计在选择推荐单词的时间上远快于传统的设计，大大提高了效率。

易学性原则：用户如何很好地学习一种新的键盘布局、如何减少新手用户的学习负担以快速过渡到专家用户是首要考虑的问题。在效率和易学性之间可能存在取舍关系，例如，基于手势输入技术可能比一些传统键盘的基于选择的更快，但它通常需要长时间训练达到这种水平。一些研究领域的工作表明，用户通常能够基于已有的经验来快速的熟悉一种新的事物。但在用户可能很难从传统QWERTY键盘布局联系到新的圆形布局，因此我们决定使用用户所熟悉的字母表的字符的顺序进行过渡，以让用户能够快速的熟悉新的键盘布局。

易用性原则：当前已有的HMDs均不能在无多余设备的情况下进行文字输入，我们的设计原则是不需要多余的设备，整个过程无需额外使用任何设备，用户可在任何时间，任何地点进行文字输入。这有助于提高其可用性。

本发明绘制的虚拟键盘，在虚拟环境中该键盘距离用户8米远以避免视差效应。并对半径为5、5.5和6米的键盘尺寸进行测试，根据参与者偏好，我们采用了5.5米半径的键盘尺寸。

评估两种不同布局的键盘、中心圆大小及字母起始位置三个独立变量，具体如下：

键盘布局：简称LPR，分为1LPR和2LPR；

中心圆大小：分为大圆(占整个键盘的65％)，小圆(占整个键盘的55％)；

字母起始位置：分为上、左、右；

对文本输入速度、错误率和工作量的影响分别如下：

文本输入速度：根据每分钟输入字符(words per minute，wpm)来测量文本输入速度，使用下面的公式：

其中，|S|表示所录入字符串的长度，T表示以秒为单位的任务完成时间。任务完成时间是指从使用摇杆选中第一个字母到目标字符串录入完毕所用的时间。

实验分析了LPR、中心圆大小和字母起始位置对WPM的影响。实验数据显示，“1LPR、左”的文本输入率明显比“2LPR、左”快(P＜0.01)；参与者使用“1LPR、大圆、上”比使用“2LPR、大圆、上”打字的速度明显更快(P＜0.01)；此外，参与者使用“1LPR、大圆、左”比使用“2LPR、大圆、左”打字的速度明显更快(P＜0.05)；另外，“1LPR、大圆、上”比“1LPR、小圆、上”的打字速度明显更块(P＜0.05)，“1LPR、小圆、左”有比“2LPR、小圆、左”的打字速度更块的趋势(P＜0.065)。

错误率：根据标准打字指标来计算错误率，其中总错误率(TER)＝未校正错误率(NCER)+校正错误率(CER)。未修正错误是指在最后所录入的文本中发现的错误，总错误包括未经修正的错误和已修正的错误。图8通过布局显示了TER和UCER。混合因子方差分析显示LPR(F1,60＝8.601，P＜0.01)和中心圆大小(F1,60＝3.739，P＝0.058)对TER有显著影响，字母表起始位置对TER没有显著影响。整体分析得知，“大圆、左”布局(M＝2.69％，±0.80％)比“小圆、左”布局(M＝0.66％，±0.19％)对NCER有显著影响的趋势(P＝0.055)。

工作量：图9显示了每个布局的总体工作量。混合因子方差分析显示，中心圆大小(F1,60＝0.003，P＝.956)、LPR(F1,60＝2.021，P＝.160)和字母起始位置(F2,60＝0.048，P＝.954)对总体工作量没有显著影响。

整体实验结果表明，1LPR具有较快的文本输入速度；较大的中心区域可以降低错误率；用户更喜欢从顶部开始的字母顺序。因此经评估证明，最终的最优布局是“1LPR、大圆、上”布局。

另外，我们对本发明进行了增进设计，添加了单词推荐区域，并对其增进版进行了性能测试研究。图10显示了8个实验模块的平均WPM，数据表明，平均速度从第一个模块实验的8.42WPM(±0.84)提高到最后一个实验模块的12.32WPM(±0.71)。

图11(a)显示了实验的平均TER。TER从第一个实验模块的7.20％(±1.37％)下降到最后一个实验模块的4.25％(±1.11％)。图11(b)显示NCER从第一个实验模块的2.89％(±0.73％)到最后一个实验模块的3.24％(±1.11％)。

在实验中，参与者所需输入的单词总数为2936个(不包括长度小于两个字母的单词)。在这些词中，2519个单词(再次排除长度小于两个字母的单词)是从单词推荐区域中选出，其中包括850个提前预测的单词和1669个最后自动改正的单词。单词推荐区域的被使用总数表明我们的单词推荐区域设计被充分使用(输入的单词中，有85.8％的单词是从单词推荐区域中选择的)。

本实施例以输入单词“ring”为例进行说明，如图12所示。假设用户已经完成输入“ri”，用户首先将头部向下转，移动光标到“n”所在的区域完成对“n”的输入，系统会提供颜色变化及一个简短的音频反馈(打字声音)。当光标进入到“n”所处的区域，系统会显示与已输入字符“rin”最相近的两个单词在靠近“n”所处的位置边上。用户发现目标单词“ring”在“n”左下方，用户利用头部转动控制光标移动至“ring”所处区域完成对单词“ring”的输入。当单词选择完毕，单词所在区域底部和单词将会改变颜色并且伴随一个简短的音频反馈(打字声音)。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims

1.一种用于移动虚拟现实头戴显示器的无驻留文本输入方法，其特征在于，包括以下步骤：

S02：利用头部转动控制虚拟光标移动到目标字符所在区域；

2.根据权利要求1所述的用于移动虚拟现实头戴显示器的无驻留文本输入方法，其特征在于，所述虚拟键盘为圆形键盘，所述圆形键盘有两个同心圆，外圈为字符区，内圈为重置区，用于重置选择并搜索下一个字符。

3.根据权利要求2所述的用于移动虚拟现实头戴显示器的无驻留文本输入方法，其特征在于，所述字符区为1字符/扇形区，扇形区的英文字母按字母表顺序排列，字母排序的初始位置在外圈的上部。

4.根据权利要求1所述的用于移动虚拟现实头戴显示器的无驻留文本输入方法，其特征在于，所述推荐单词伴随空格，选择完推荐单词后，尾部自动添加空格。

5.根据权利要求1所述的用于移动虚拟现实头戴显示器的无驻留文本输入方法，其特征在于，当字符或者单词被选中时，所在区域的颜色进行变化。

6.根据权利要求1所述的用于移动虚拟现实头戴显示器的无驻留文本输入方法，其特征在于，当字符或者单词输入完成后提供音频反馈。