CN107179876B - 基于虚拟现实系统的人机交互装置 - Google Patents

基于虚拟现实系统的人机交互装置 Download PDF

Info

Publication number
CN107179876B
CN107179876B CN201710524967.3A CN201710524967A CN107179876B CN 107179876 B CN107179876 B CN 107179876B CN 201710524967 A CN201710524967 A CN 201710524967A CN 107179876 B CN107179876 B CN 107179876B
Authority
CN
China
Prior art keywords
touch
point
touch panel
user
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710524967.3A
Other languages
English (en)
Other versions
CN107179876A (zh
Inventor
吴少乔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710524967.3A priority Critical patent/CN107179876B/zh
Publication of CN107179876A publication Critical patent/CN107179876A/zh
Application granted granted Critical
Publication of CN107179876B publication Critical patent/CN107179876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Abstract

本发明提供了一种基于虚拟现实系统的人机交互装置。人机交互装置包括头部佩戴单元、虚拟现实眼镜单元、用户交互单元以及控制处理单元；虚拟现实眼镜单元安装于头部佩戴单元上，以使用户在佩戴头部佩戴单元时能够通过虚拟现实眼镜单元观看到预定屏幕的当前显示内容；用户交互单元包括一块或多块触摸面板，一块或多块触摸面板用于检测来自外部的触摸操作，并将检测结果发送给控制处理单元；控制处理单元用于针对一块或多块触摸面板中的每一块，在该块触摸面板检测到来自外部的触摸操作时，基于该触摸操作的接触时间和触摸点位置，识别该触摸操作的类型和操作对象，以对该操作对象执行与该触摸操作的类型对应的指令。

Description

基于虚拟现实系统的人机交互装置
技术领域
本发明涉及虚拟现实技术，尤其涉及一种基于虚拟现实系统的人机交互装置。
背景技术
虚拟现实(VR，Virtual Reality)，是利用电脑模拟产生一个三度空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时，没有限制地观察三度空间内的实物。
关于虚拟现实的内容和应用，是一个“鸡与蛋”问题：如果VR/AR设备的保有量不高，开发者对开发VR/AR内容的应用也持谨慎态度，技术制约用户体验，用户体验则进一步制约用户量以及后续内容投入。
目前，比较主流的虚拟现实和增强现实人机交互方式，主要基于手势识别和跟踪、手套、手柄、玩具枪等。这些交互存在手需要长时间抬起或费用昂贵或难以适应日常互联网操作、输入等问题。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，本发明提供了一种基于虚拟现实系统的人机交互装置，以至少解决现有用于虚拟现实技术的交互方式存在手需要长时间抬起、费用昂贵或难以适应日常互联网操作、输入的问题。
根据本发明的一个方面，提供了一种基于虚拟现实系统的人机交互装置，所述基于虚拟现实系统的人机交互装置包括头部佩戴单元、虚拟现实眼镜单元、用户交互单元以及控制处理单元；所述虚拟现实眼镜单元安装于所述头部佩戴单元上，以使用户在佩戴所述头部佩戴单元时能够通过所述虚拟现实眼镜单元观看到预定屏幕的当前显示内容；所述用户交互单元包括一块或多块触摸面板，所述一块或多块触摸面板用于检测来自外部的触摸操作，并将检测结果发送给所述控制处理单元；所述控制处理单元用于针对所述一块或多块触摸面板中的每一块，在该块触摸面板检测到来自外部的触摸操作时，基于该触摸操作的接触时间和触摸点位置，识别该触摸操作的类型和操作对象，以对该操作对象执行与该触摸操作的类型对应的指令；其中，所述识别的操作对象为所述预定屏幕的当前显示内容中的一个或多个对象。
进一步地，所述一块或多块触摸面板中至少包含第一触摸面板；其中，所述第一触摸面板设于所述头部佩戴单元的与用户面部平行的外表面上，且所述第一触摸面板的触摸面的背面朝向用户面部；所述第一触摸面板与所述头部佩戴单元之间采用固定连接或可拆卸方式连接。
进一步地，所述一块或多块触摸面板中至少包含第三触摸面板和/或第四触摸面板；其中，所述第三触摸面板与所述头部佩戴单元活动连接，使得所述第三触摸面板能够移动到所述头部佩戴单元前方、与用户面部平行的预设位置，并使所述第三触摸面板的触摸面朝向用户面部；在所述一块或多块触摸面板中包含所述第四触摸面板的情况下，所述人机交互装置还包括用于佩戴在用户手臂上的手臂佩戴单元，所述第四触摸面板设于该手臂佩戴单元上；所述第四触摸面板的触摸面为柱曲面，所述第四触摸面板通过固定连接或可拆卸式连接的方式设于所述手臂佩戴单元外侧。
进一步地，所述控制处理单元被配置成：在相应触摸面板检测到触摸操作时，在该触摸操作的接触时间小于第一预设时间、且该触摸操作的触摸点位置在该接触时间内未超出第一预设区域的情况下，在该触摸操作结束接触之时将该触摸操作确定为点操作、并执行与确定的点操作对应的指令；其中，所述第一预设区域为以该触摸操作的触摸初始位置为中心、预设长度为半径的区域。
进一步地，所述控制处理单元被配置成：在相应触摸面板检测到触摸操作时，在该触摸操作的触摸点位置在所述第一预设时间内超出所述第一预定区域的情况下，在该触摸操作的触摸点位置超出所述第一预定区域之时将该触摸操作确定为划操作、并执行与确定的划操作对应的指令。
进一步地，所述控制处理单元被配置成：在相应触摸面板检测到触摸操作时，在该触摸操作的接触时间大于或等于所述第一预设时间、且该触摸操作的触摸点位置未超出所述第一预定区域的情况下，将该触摸操作确定为按操作。
进一步地，所述控制处理单元被配置成：在判定相应触摸面板检测到的触摸操作为按操作时，执行显示指令，所述显示指令用于在触摸点移动到相应位置时显示该位置的相关信息或将该位置对应的内容高亮显示。
进一步地，所述控制处理单元被配置成：按操作结束时，第二预设区域高亮显示第二预设时间，手指再次按下的初始触摸点在第二预设区域且再次满足按操作判定条件时，将该触摸操作确定为长按操作，所述第二预设区域为以按操作结束之时触摸点位置为中心、预定长度为半径的区域。
进一步地，所述控制处理单元被配置成：针对每个触摸面板检测到的触摸操作中的每个触摸点，根据如下公式，在虚拟屏幕上确定与该触摸点对应的操作点：a/c＝a1/c1；b1/d1＝b/d；其中，b和a分别表示该触摸点与该触摸面板上的第一参考点之间的水平距离和垂直距离，d和c分别表示该触摸面板水平方向上的长度和垂直方向上的长度；b1和a1分别表示虚拟屏幕上与该触摸点对应的操作点与虚拟屏幕上的第二参考点之间的水平距离和垂直距离，d1和c1分别表示虚拟屏幕水平方向上的长度和垂直方向上的长度；第一参考点为该触摸面板左下端点或右下端点，其中当触摸面板对着用户时为左下端点，当触摸面板背对着用户时为右下端点，以有触摸面的那一面为触摸面板的正面，第二参考点为虚拟屏幕的左下端点。
进一步地，所述控制处理单元被配置成：针对每个触摸面板检测到的触摸操作中的每个触摸点，根据如下公式，在观察区域上确定与该触摸点对应的操作点：对于水平视角：当α<180度时，当α等于任意角度时，γ/α＝b/d；对于垂直视角：/>或δ/β＝a/c；其中，α表示用户视线在水平方向上从观察区域最左端转到最右端所转过的角度，即水平视角，β表示用户视线在垂直方向上从观察区域最底端转到最顶端所转过的角度，即垂直视角，γ表示用户视线在水平方向上从观察区域最左端转到该触摸点对应的操作点所转过的角度，δ表示用户视线在垂直方向上从观察区域最底端转到该触摸点对应的操作点所转过的角度，b和a分别表示该触摸点与该触摸面板上的第一参考点之间的水平距离和垂直距离，c和d分别表示该触摸面板垂直方向上的长度和水平方向上的长度，第一参考点为该触摸面板左下端点或右下端点，其中当触摸面板对着用户时为左下端点，当触摸面板背对着用户时为右下端点，以有触摸面的那一面为触摸面板的正面。
进一步地，控制处理单元被配置成：设置两个变量A和B，并将A和B的初始值均设为0；实时检测手指是否离开触摸屏，并在手指离开触摸屏时将A的值赋为1；实时检测触摸点是否到达第一预设范围边界，并在触摸点到达第一预设范围边界时将B的值赋为1；实时判断是否满足停止条件，在满足任一停止条件时下达停止指令；所述停止条件包括以下三个条件：A的值变化；B的值变化；从手指按下之后经过第一预设时间；将从手指按下到停止的过程作为第一判定，当所述第一判定结束后：若A＝0且B＝0，判定为按操作或长按操作；若A＝1且B＝0，判定为点操作；若A＝0且B＝1，判定为划操作；若A＝1且B＝1，判定为无效或者划操作。
目前，在虚拟现实产业中，由于交互标准不统一，开发者开发的方式就不统一，其开发内容的受众受限；此外，交互方式不统一会使得用户体验不同平台的内容需要不同的学习成本。相对于此，本发明的基于虚拟现实系统的人机交互装置能够为虚拟现实产业提供一种可广泛使用的统一交互标准。
本发明的基于虚拟现实系统的人机交互装置，虚拟现实技术具备在人戴上虚拟现实眼睛之后实现在人面前塑造一块大的平面虚拟屏幕的能力，通过在虚拟现实头盔上实现触屏操作(即触摸操作)，使得虚拟现实不光具有3D沉浸式的体验，还能实现在这块大的虚拟屏幕上实现类似与触屏手机大致相当的多点绝对位置映射的触控方式，从而能够使得触屏手机上的平面应用可以完全移植到虚拟显示头盔上，具有广大的应用前景。
通过以上描述可知，本发明能够实现在虚拟现实头盔上的多点绝对位置映射触屏操作，以此为基础，使得虚拟现实能够引用手机触屏体验，实现平面触控相对应的内容的搬移，解决恶性循环的问题；而现有技术中的体感操作，尤其是需要抬起手的操作方式，容易疲劳，不适合长时间的体验，而长时间的操作是浏览互联网，与人线上交流等体验所必须的。此外，本发明的触摸面板的选取使得用户不易疲劳。本发明只在现有的虚拟现实头盔上添加一块触摸面板，价格低。另外，触屏操作的引用能让用户对虚拟现实头盔的体验有直观的感受，提高购买意愿。此外，改进的点、划、按的判定方式理论上没有误操作的可能，因为他们层次分明。而本发明触屏操作的引入，人们可以按照自己在移动设备上的习惯体验虚拟现实设备，市场保有率提升之后，关于沉浸感的内容得以施展，因此，触屏操作能够实现虚拟现实产业平稳过渡，同时，在真正的内容发展之后，由于触屏操作能够提供多样化，精细化的体验而依然不落伍。
本发明对传统的虚拟现实头盔的结构进行改变，通过在现有普通虚拟现实头盔上增加一块或多块触摸面板，触摸面板在与人面部平行的虚拟现实头盔的外部表面，使用这种方法，人们可以坐在桌子前，胳膊肘放在桌子上，小臂竖直向上，手放在触摸屏上，这是第一种姿势。可选的，触摸屏通过魔术贴粘合到虚拟现实头盔上，可以拆卸，触摸屏和虚拟现实头盔之间通过无线连接，使用这种办法，胳膊肘放在桌子上，小臂平行放在桌子上，同时触摸面面对使用者或者背对着使用者对应者两外两种方式，背对着使用者称为第二种姿势，面对使用者成为第三种姿势。
此外，在现有技术中，诸如触屏手机、平板电脑等电子设备中的触摸屏都是触摸面板与显示屏幕二合一的，而虚拟现实头盔技术中的触摸面板却是与显示屏幕分离的，因此，在触屏手机、平板电脑等设备中所采用现有的触屏操作(如点、划、按等操作)是不适用于本发明的基于虚拟现实系统的人机交互装置的。由此，通过本发明所提出的点、划、按、长按等操作，能够有效地实现在以上“触摸面板与显示屏幕分离”情况下的触摸操作，克服现有技术的不足。
通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：
图1是示出本发明的基于虚拟现实系统的人机交互装置佩戴在用户头部上的一个示例的示意图；
图2是在图1所示的基于虚拟现实系统的人机交互装置中示出内部结构的示意图；
图3是示出虚拟现实眼镜单元与用户眼镜关系的示意图；
图4是示出本发明的基于虚拟现实系统的人机交互装置的另一个示例的结构图；
图5A是示出具有第一触摸面板的人机交互装置的示例的结构示意图；
图5B是示出将图5A所示的人机交互装置佩戴在用户头部的正面视图；
图5C是示出将图5A所示的人机交互装置中的以触摸面板拆卸下来后放在桌面上操作的示意图；
图5D是图5C中用户面部的正面视图；
图6是示出具有第二触摸面板的人机交互装置的示例的结构示意图；
图7是示出具有第三触摸面板的人机交互装置的示例的结构示意图；
图8是示出具有第四触摸面板的人机交互装置的示例的结构示意图；
图9A是示出人机交互装置的其中一块触摸面板对应标识的一个示例的示意图；
图9B是示出人机交互装置的其中一块触摸面板对应标识的另一个示例的示意图；
图10A和图10B是两个示例性操作的流程图。
本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本发明实施例的理解。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
本发明的实施例提供了一种基于虚拟现实系统的人机交互装置，基于虚拟现实系统的人机交互装置包括头部佩戴单元、虚拟现实眼镜单元、用户交互单元以及控制处理单元；虚拟现实眼镜单元安装于头部佩戴单元上，以使用户在佩戴头部佩戴单元时能够通过虚拟现实眼镜单元观看到预定屏幕的当前显示内容；用户交互单元包括一块或多块触摸面板，一块或多块触摸面板用于检测来自外部的触摸操作，并将检测结果发送给控制处理单元；控制处理单元用于针对一块或多块触摸面板中的每一块，在该块触摸面板检测到来自外部的触摸操作时，基于该触摸操作的接触时间和触摸点位置，识别该触摸操作的类型和操作对象，以对该操作对象执行与该触摸操作的类型对应的指令；其中，识别的操作对象为预定屏幕的当前显示内容中的一个或多个对象。
图1和图2给出了本发明的基于虚拟现实系统的人机交互装置的一个示例。其中，图1示出了将本发明的基于虚拟现实系统的人机交互装置戴在用户头上的操作示意图，而图2示出了本发明的基于虚拟现实系统的人机交互装置的电路结构示意图。
如图1和图2所示，在该示例中，基于虚拟现实系统的人机交互装置包括头部佩戴单元1、虚拟现实眼镜单元2、用户交互单元3以及控制处理单元4。
虚拟现实眼镜单元2安装于头部佩戴单元1上，以使用户在佩戴头部佩戴单元1时能够通过虚拟现实眼镜单元2观看到预定屏幕的当前显示内容。预定屏幕例如是外部的移动设备(如智能手机等)的屏幕，或者也可以是本发明的人机交互装置中所设置的预定屏幕。
用户交互单元3包括一块或多块触摸面板，一块或多块触摸面板用于检测来自外部的触摸操作，并将检测结果(如触摸操作的触摸点数量、每个触摸点的实时位置、每个触摸点的接触时间等)发送给控制处理单元4。其中，上述一块或多块触摸面板中每块触摸面板的触摸面例如可以为平面、柱曲面和球面中的任一个或任几个的组合。
设定触摸面在人相对方向上的投影为一个矩形，将形态不一的触摸面舒展成一个矩形，矩形的宽为从触摸面顶端一个点沿着触摸面的表面向着正下方到达触摸面底端所走过的长度，矩形的长为触摸面左端一个点沿着触摸面表面向着正右方到达触摸面右端所走过的长度。
控制处理单元4用于针对一块或多块触摸面板中的每一块，在该块触摸面板检测到来自外部的触摸操作时，基于该触摸操作的接触时间和触摸点位置，识别该触摸操作的类型和操作对象，以对该操作对象执行与该触摸操作的类型对应的指令；其中，识别的操作对象为预定屏幕的当前显示内容中的一个或多个对象。
根据一个实现方式，预定屏幕可以是诸如手机、平板电脑或计算机等外部电子设备的屏幕。在该实现方式中，可以将该外部电子设备与控制处理单元4相连接，以通过控制处理单元4对该外部电子设备上对应的操作对象执行对应的指令。如图2所示，在图2中所示的预定屏幕来自外部电子设备的情况下，控制处理单元4可以通过诸如USB等有线方式与该外部电子设备进行连接，也可以通过诸如wifi、蓝牙等无线方式与该外部电子设备进行连接。其中，头部佩戴单元1内例如可以设置支撑部件(图中未示出)，该支撑部件可以设置在虚拟现实眼镜单元2的外侧。需要说明的是，虚拟现实眼镜单元2的外侧是指在用户佩戴上本发明的人机交互装置时虚拟现实眼镜单元2的距用户眼睛较远的一侧，而虚拟现实眼镜单元2的内侧是指在用户佩戴上本发明的人机交互装置时虚拟现实眼镜单元2的距用户眼睛较近的一侧，如图3所示。这样，在外部电子设备屏幕上播放的内容为适于VR模式观看的情况下，用户可以通过虚拟现实眼镜单元2观看该内容。此外，用于放置外部电子设备的支撑部件例如可以是托架等，如可以在头部佩戴单元1侧面开口以用于将手机等外部电子设备放入该托架之上，使得用户在佩戴上头部佩戴单元1时眼睛恰好能够通过虚拟现实眼镜单元2看到该外部电子设备的屏幕；或者，用于放置外部电子设备的支撑部件也可以是具有卡槽的支撑件，该支撑件设置在头部佩戴单元1上，其中的卡槽能够适于放置诸如手机等移动设备。通过该实现方式，用户可以通过在一块或多块触摸面板上进行触摸操作来实现与外部电子设备之间的交互，换句话说，当外部电子设备与控制处理单元4建立连接后，可以将一块或多块触摸面板作为该外部电子设备的输入设备使用，实现点击、划动、按、长按等触摸操作。
根据另一个实现方式，基于虚拟现实系统的人机交互装置除了包括上文所述的头部佩戴单元1、虚拟现实眼镜单元2、用户交互单元3以及控制处理单元4之外，还可以包括存储单元5和显示单元6，显示单元作为预定屏幕的示例。显示单元6例如是一块显示屏，可设置在虚拟现实眼镜单元2外侧。在该实现方式中，显示单元6可以连接控制处理单元4和存储单元(图4中未示出显示单元6与控制处理单元4和存储单元5之间的连接关系，单元4、5以及6之间的连接可以是有线连接，也可以是无线连接)。其中，存储单元5中可存储一个或多个可供控制处理单元4执行的应用，如视频播放应用、三维图像显示应用等；或者，也可以通过在存储单元5中安装预定操作系统，再在该操作系统中安装一个或多个应用，以供控制处理单元4调用并执行。此外，存储单元5中还可以存储诸如视频数据、图像数据等的数据。这样，显示单元6可用于显示控制处理单元4当前执行的应用所对应的当前显示界面，来作为显示单元6(即预定屏幕)的当前显示内容，如，控制处理单元4当前正在通过预存视频播放软件以适于VR播放的方式来播放存储单元5上的某个视频数据，用户在戴上头部佩戴单元1后，可以通过虚拟现实眼镜单元2来观看显示单元6上的当前显示内容。通过该实现方式，用户可以通过在一块或多块触摸面板上进行触摸操作来实现与上述基于虚拟现实系统的人机交互装置之间的交互，也即，能够通过在一块或多块触摸面板上的各种触摸操作来实现对上述基于虚拟现实系统的人机交互装置的控制，如：在多个界面中选择一个作为当前显示界面；在全景图像中选择部分区域作为当前显示界面中的内容；选择系统上的某个应用以执行；输入文本数据；等等。
根据一个实现方式，上述一块或多块触摸面板中例如可以至少包括第一触摸面板。如图5A所示，第一触摸面板例如可以设于头部佩戴单元1的与用户面部平行的外表面上，且第一触摸面板的触摸面的背面朝向用户面部。在该实现方式中，第一触摸面板设置在虚拟现实眼镜单元2以及预定屏幕之外，也就是说，从用户面部起向外依次设置(或放置)的是虚拟现实眼镜单元2、预定屏幕以及第一触摸面板。这样，用户能够采用如图1所示的方式来用手指在头部佩戴单元1的外侧、眼睛前方来进行触摸操作。
在一个例子中，第一触摸面板与头部佩戴单元1之间可以采用固定连接的方式进行连接。图5B示出了将图5A所示的具有第一触摸面板的人机交互装置戴在用户头部后的正面视图，在第一触摸面板固定在头部佩戴单元1上的情况下，第一触摸面板的触摸面是朝外的，也就是其背面是朝着用户眼睛方向的，用户在第一触摸面板上进行触摸操作时可参考图1进行。
在另一个例子中，第一触摸面板与头部佩戴单元1之间也可以采用可拆卸的方式进行连接。当第一触摸面板安装在头部佩戴单元1上时，用户将其戴在头部时的样子如图5B和图1所示；而当第一触摸面板从头部佩戴单元1上拆卸下后，用户将其佩戴在头部时的样子如图5C和图5D所示。
此外，根据一个实现方式，上述一块或多块触摸面板中例如可以至少包括第二触摸面板。如图6所示，第二触摸面板与头部佩戴单元1之间例如可以通过连接件固定连接，第二触摸面板设于头部佩戴单元前方、与用户面部平行的预设位置，且第二触摸面板的触摸面朝向用户面部。
根据另一个实现方式，上述一块或多块触摸面板中例如可以至少包括第三触摸面板。如图7所示，第三触摸面板与头部佩戴单元1之间例如为活动连接，使得第三触摸面板能够移动到头部佩戴单元前方、与用户面部平行的预设位置，并使第三触摸面板的触摸面朝向用户面部。其中，图7中虚线示例性地给出了第三触摸面板能够移动的其他位置。此外，第三触摸面板与头部佩戴单元1之间例如可以通过活动连接件进行连接，使得第三触摸面板相对于头部佩戴单元1的位置可调。
此外，根据一个实现方式，基于虚拟现实系统的人机交互装置除了包括上文所述的头部佩戴单元1、虚拟现实眼镜单元2、用户交互单元3和控制处理单元4(以及选择性地包括存储单元5和显示单元6)之外，还可以包括用于佩戴在用户手臂上的手臂佩戴单元。在该实现方式中，上述一块或多块触摸面板中例如可以至少包括第四触摸面板。如图8所示，第四触摸面板的触摸面例如为柱曲面，第四触摸面板可以通过固定连接或可拆卸式连接的方式设于手臂佩戴单元外侧。这样，如图8所示，用户可以将手臂佩戴单元佩戴在一只手臂上，另一只手在手臂佩戴单元表面上设置的第四触摸面板上进行触摸操作，以实现与人机交互装置之间的交互。在该实现方式中，通过将触摸面做成曲面，然后做成护臂的形式套在小臂(或手臂其他位置)上，用于应用交互(如程序的打开关闭、浏览互联网以及使用平面应用等)。
如上文所述，用户交互单元3可以包括一块或多块触摸面板。在一个例子中，假设用户交互单元3仅包括一块触摸面板，该触摸面板可以是上文所描述的第一至第四触摸面板中的任一个，或者可以是设置在其他位置的触摸面板(如设置在头部佩戴单元1的侧面，对应于用户耳朵附近的位置)。在另一个例子中，假设用户交互单元3包括两块触摸面板，这两块触摸面板中的一个例如可以是上文所描述的第一至第四触摸面板中的任一个，另一个例如可以是设置在其他位置的触摸面板(如设置在头部佩戴单元1的侧面，对应于用户耳朵附近的位置)。
其中，当用户交互单元3包括两块或两块以上的触摸面板时，这些触摸面板可以用于不同类型的操作。比如，设置在头部佩戴单元1前端(对应于用户面部的前方)的触摸面板的一部分功能可用于控制当前显示界面操作点的上下左右调控(如用户可通过手指在第一触摸面板上的上下划动、左右划动来控制当前显示界面对应操作点处的图标上下移动、左右移动等)；而设置在头部佩戴单元1侧端(对应于用户耳部的位置)的触摸面板的一部分功能可用于控制当前显示界面操作点的放大/缩小调控等(如用户可通过手指在“设置在头部佩戴单元1的侧面对应于用户耳朵附近的位置”的触摸面板上的前后划动来控制当前界面上、以操作点为中心的放大或缩小操作，比如，手指向前划动对应于放大操作，而手指向后划动对应于缩小操作)。
此外，在一个实现方式中，用户交互单元3中的全部或部分触摸面板上或其对应位置可以具有用以表示对应触摸面板上下方向的标识。该标识例如可以是设置在对应触摸面板下半部表面上的一个突出部(比如一个突出的横棱)，如图9A所示，这样，用户能够据此方便、准确地判断出触摸面板的上下方向，避免拿反(特别是在拆下触摸面板的情况下)。或者，如图9B所示，如第一触摸面板对应的标识也可以设置在头部佩戴单元1表面上，位于第一触摸面板下方(也可以是上方)。
根据一个实现方式，控制处理单元4例如可以被配置成：在相应触摸面板检测到触摸操作时，在该触摸操作的接触时间小于第一预设时间、且该触摸操作的触摸点位置在该接触时间内未超出第一预设区域的情况下，在该触摸操作结束接触之时将该触摸操作确定为点操作、并执行与确定的点操作对应的指令。其中，第一预设区域为以该触摸操作的触摸初始位置为中心、预设长度为半径的区域。预设长度、第一预设时间例如可以根据经验值设定，或者可以通过试验的方法确定。例如，第一预设时间例如比一个人手指正常点击触摸面这一过程手指停留在触摸面的时长略长，如可为0.2秒或可通过设置更改。第一预设区域对应的预设长度例如为0.5厘米或通过设置更改，通过第一预设区域能够防止手指正常抖动或手指正常转动引起的误操作。
在该实现方式中，可以在“点操作”判定成功时通过控制处理单元4下达点击指令，该点击指令例如与诸如手机触屏、平板触屏等设备中的单击操作控制的点击指令相同。
换句话说，当用户手指从触摸到相应触摸面板时开始，该手指在第一预设时间内未超出第一预设区域、并在第一预设时间内离开该触摸面板，则该手指的操作被判定成上述点操作，并在拿开手指(即手指离开触摸面板)的这一时刻下达点操作对应的指令(如点击指令等)，该指令对应的位置例如为手指一开始接触触摸面板时的位置。
其中，上文所述的“该触摸操作的触摸点位置在该接触时间内未超出第一预设区域”中，触摸操作的触摸点可以是一个，也可以是多个。
例如，当用户使用单个手指在相应触摸面板上进行上述点操作时，则该手指接触到触摸面板时初始的接触点即为触摸点；此外，在这种情况下的操作对象可以是系统UI上在该操作点位置对应的当前显示内容，例如该操作点恰好位于一个应用图标上，则当点操作对应的操作点在该应用图标区域上时，对该应用图标执行点击指令，以将该图标对应的应用打开；或者，若该操作点恰好位于一段文字中的某一处，则将距离该处最近的一个或多个文字作为操作对象，对该一个或多个文字所执行的点击指令可以是用于选择或高亮显示等。
又如，当用户使用多个手指(例如2个或3个等)同时在相应触摸面板上进行上述点操作时，触摸点为对应多个手指在开始接触触摸面板时的多个接触点；此时的操作点包括该多个触摸点。此时的点操作对应的指令例如可以为选择包含该多个操作点的最小连续文字区域。
此外，根据一个实现方式，控制处理单元4可以被配置成：在相应触摸面板检测到触摸操作时，在该触摸操作的触摸点位置在第一预设时间内超出第一预定区域的情况下，在该触摸操作的触摸点位置超出第一预定区域之时将该触摸操作确定为划操作、并执行与确定的划操作对应的指令。在该实现方式中，可以在“划操作”判定成功时通过控制处理单元4下达连续移动指令，例如将操作点对应的目标对象(如图标或文字等)进行连续移动，并在手指抬离触摸面板时结束移动。
换句话说，用户手指从触摸到相应触摸面板时开始，该手指对应触摸点在第一预设时间内超出第一预定区域，则该手指的操作被判定成上述划操作，并在该手指超出上述第一预定区域之时下达对应指令，如划操作开始指令。“划操作开始指令”例如可以用于根据触摸点划操作的路径来进行诸如移动、选择区域范围、手写输入文本等；当用户拿开手指(即手指离开触摸面板)时结束操作。可选地，例如可将触摸点的实时位置显示到屏幕中，比如以光标的形式。
根据另一个实现方式，控制处理单元4可以被配置成：在相应触摸面板检测到触摸操作时，在该触摸操作的接触时间大于或等于第一预设时间、且该触摸操作的触摸点位置未超出第一预定区域的情况下，将该触摸操作确定为按操作。
在该实现方式中，对于手而言，按操作既是手指相对于点操作更长时间地与触摸面板接触，对于终端来说判定过程与判定成功后均不下达操作指令，按操作的提出是为了方便显示触摸点在触摸面板上的位置，方便人们操作。
换句话说，手指从接触触摸面板开始，接触时间大于第一预设时间、且期间触摸点不离开该第一预设区域，在时间超出第一预设时间之时将该触摸操作判定为按操作。按操作判定成功后，手指可在触摸屏上任意移动，移动期间不下达指令，但可以以下达显示指令或用于将一片区域的亮度增加的高亮显示等。显示指令例如如下：按操作判定成功后，触摸点移动到一个操作点上可以显示一些信息或将触摸点高亮显示出来，与电脑鼠标指针悬停的功能一致。
值得注意的是按操作判定成功之后将手指对应位置或者说触摸点高亮显示出来是解决在虚拟现实触屏操作中触摸屏与显示屏不在同一显示位面引起操作不适的办法。
在一个例子中，控制处理单元4可以在判定相应触摸面板检测到的触摸操作为按操作时，执行显示指令，显示指令用于在触摸点移动到相应位置时显示该位置的相关信息或将该位置对应的内容高亮显示。
举例来说，假设系统UI当前显示的是一个视频播放界面，若用户手指按在了该屏幕中央，假设当前判定为按操作(换句话说，由于按压时间较长，没有触发点操作，也就没有暂停，也即没有误操作，时间够长，触发了按操作)；接下来，手指在触摸目标上右滑，由于按操作不下达操作指令，视频没有快进，期间触摸点实时显示在屏幕中，人能够知道触摸点在屏幕上的实时位置；接下来，将触摸点移到播放进度条上，由于按操作判定成功后能够下达显示指令，进度条显示出了当前触摸点所在进度条上具体位置对应的播放时长，人们依此能够知道自己将把视频播放进度调到哪个地方。
此外，根据一个实现方式，控制单元4可以被配置成：在按操作判定成功之后的某一时刻，手指拿开触摸面板，接下来第二预设区域高亮显示持续第二预设时间，手指再次按下，按下时触摸点不在第二预设区域内，接下来与上述点划按判定一致，如果在第二预设区域内，进行三个判定：1.关于点的判定；2、关于划的判定；3、如果该触摸操作的接触时间大于或等于第一预设时间、且该触摸操作的触摸点位置未超出第一预设区域的情况下，将该触摸操作确定为长按操作，并且在上述三个判定之一判定成功之时，第二预设区域消失。简而言之，每次手指按下时所做的判定是一致的，不同的是当初始触摸点在第二预设区域内且按操作又一次判定成功时，将按操作替换成长按操作。第二预设时间例如为0.5秒或可以通过设置更改。第二预设区域为以该触摸操作的触摸最终位置为中心、预设长度为半径的区域。对应的预设长度例如为0.75厘米或通过设置更改，通过第二预设区域能够让用户知道哪块区域长按能触发长按操作。
值得注意的是，第一预设区域与触摸点初始位置对应，第二预设区域与触摸点最终位置或者说手指离开触摸面板时触摸点的位置有关。
换句话说，长按操作是触摸点在按操作结束区域触发的第二次按操作。例如，可以通过长按一个应用图标；在长按操作判定成功后，当该触摸点移动时可以拖动图像。下面举出一个例子用于阐述上述操作体系在文本输入时的具体操作：
比如当前系统UI上显示虚拟键盘，用户打算输入专利的首字母“z”。一开始，手指与触摸面板分离，在不知道手指具体点击位置的情况下，凭感觉就近按下手指，按到了“s”，手指接触触摸面之后，不移动，且持续一定时间，即触摸点不超出第一预设区域，且存在时间达到了第一预设时间，触发按操作，由于按操作不下达指令，“s”没有输入，即没有误操作，之后，手指移动，触摸点位置实时地显示到了屏幕上，移动触摸点到“z”，拿开手指，这个时候开始第二预设区域会高亮持续显示第二预设时间，接下来快按，即在第一预设时间之内手指离开触摸屏，触发点操作，手指在离开触摸屏的这一时刻，下达点操作指令，“z”输入了，同时，第二预设区域提前消失，继续按下，满足按操作条件，继续移动，同理输入下一个字母。
上述内容描述了操作判定中点、划、按、长按的定义，下达的指令以及指令对应的功能，下面将进一步定量地规划点、划、按、长按的判定：
控制处理单元4可被配置执行如下处理：
设置两个变量A和B，并将A和B的初始值均设为0；
实时检测手指是否离开触摸屏，并在手指离开触摸屏时将A的值赋为1；
实时检测触摸点是否到达第一预设范围边界，并在触摸点到达第一预设范围边界时将B的值赋为1；
实时判断是否满足停止条件，在满足任一停止条件时下达停止指令。停止条件包括以下三个条件：A的值变化；B的值变化；从手指按下之后经过第一预设时间。这样，上述三个条件中的任一个满足时均下达停止指令。
将从手指按下到停止的过程称为第一判定；在停止时下达对应的指令。
根据这一过程的规则，当第一判定结束后，会出现以下几种情况；
A＝0,B＝0，说明手指在按下到经过第一预设时间，手指没有离开触摸屏且没有超出第一预设范围，按照定义，结果应该判定为按操作或者长按操作；
A＝1,B＝0，说明手指离开触摸屏时还未超出第一预设范围，并且手指拿开触摸屏时还未超过第一预设时间，按照定义，结果应该判定为点操作；
A＝0,B＝1，说明手指还未离开触摸屏时已经超出第一范围，并且超出第一预设范围时还未超过第一预设时间，按照定义，结果应该判定为划操作；
A＝1,B＝1，说明手指离开触摸屏时触摸点刚好在第一预设范围边界上，结果判定为无效或者划。
下面结合图10A和图10B来描述两个示例性操作。
参见图10A所示的第一流程图，手指按下之后，先判断初始触摸点在不在第二预设区域，产生第二预设区域的方法是按操作判定成功之后手指拿开，如果不存在第二预设区域，则判断结果为不在；判断结果为在，则进行点、划、按的判定，对于划操作来说，手指离开意味者结束，对于点操作来说，判定成功时同时结束，对于按操作来说，手指离开，按操作结束，同时将第二预设区域显示第二预设时间。
对于出现的第二预设区域，手指再次按下，初始触摸点在第二预设区域，进行同样的点、划、按的判定，不同的是，这三者判定成功之后第二预设区域会消失，同时将按操作替换成长按操作，对于长按操作来说，手指离开意味者结束。
参见图10B所示的第二流程图，第二流程图与第一流程图区别不大，将点、划、按的定性判定改为了定量判定，多出来一种情况：A＝1,B＝1，说明手指离开的同时触摸点在第二预设区域上，出于触摸点移动路径太短的考虑，可以将它判定为无效，但基于定义，也可以判定为划，与具体应用有关。
以下内容中的观察区域和虚拟屏幕的定义如下：
将人的双眼简化成一个观察点，人戴上虚拟现实头盔后，预定屏幕在人的眼前呈现出的可视区域称为观察区域，观察区域的形状类似于一个四棱锥，由水平视角和垂直视角确定。也就是说，在本发明的实施例中，将人的观察区域简化成一个四棱锥，由顶点发出的位于观察区域内的每一条射线都是唯一的，在本发明中，可以使得每一条射线上向外的第一操作点与触摸屏上的点一一对应。其中，第一操作点例如是每一条射线与虚拟屏幕的交点。
虚拟屏幕为人戴上头盔或者说眼镜，人眼前观察区域内人工生成的面区域，这块面可以是平面、柱曲面，这块面的投影是一块矩形，位于观察区域内的虚拟屏幕用于显示平面内容、平面应用。
下面会提到虚拟屏幕的左下端点，左下端点是虚拟屏幕舒展成的矩形的左下端点，可以想象，虚拟屏幕可以是多个平面拼接成的一块面区域，多个面不在同一平面，之间具有一定角度，同时也可以是曲面与平面的拼接。
值得注意的是，将观察区域的内容做成像分屏处理显示到预定屏幕上这个过程不在本专利的讨论范围之内。
根据一个实现方式，控制处理单元4可以被配置成：针对每个触摸面板检测到的触摸操作中的每个触摸点，根据如下公式，在虚拟屏幕上确定与该触摸点对应的操作点：
a/c＝a1/c1；
b1/d1＝b/d；
其中，b和a分别表示该触摸点与该触摸面板上的第一参考点之间的水平距离和垂直距离，d和c分别表示该触摸面板水平方向上的长度和垂直方向上的长度；b1和a1分别表示虚拟屏幕上与该触摸点对应的操作点与虚拟屏幕上的第二参考点之间的水平距离和垂直距离，d1和c1分别表示虚拟屏幕水平方向上的长度和垂直方向上的长度；第一参考点为该触摸面板左下端点或右下端点，其中当触摸面板对着用户时为左下端点，当触摸面板背对着用户时为右下端点，以有触摸面的那一面为触摸面板的正面，第二参考点为虚拟屏幕的左下端点。
根据另一个实现方式，控制处理单元4可以被配置成：针对每个触摸面板检测到的触摸操作中的每个触摸点，根据如下公式，在观察区域上确定与该触摸点对应的操作点，操作点在射线上，具体位置与具体应用有关，默认为第一个需要操作对象上的操作点：
对于水平视角：
当α<180度时:
当α等于任意角度时：
γ/α＝b/d；
对于垂直视角：
或
δ/β＝a/c.说明：水平视角小于180度时，两个公式都可以，大于180度时，使用后者；垂直视角由于本身不大于180度，两个公式都可以。
其中，α表示用户视线在水平方向上从观察区域最左端转到最右端所转过的角度，即水平视角，β表示用户视线在垂直方向上从观察区域最底端转到最顶端所转过的角度，即垂直视角，γ表示用户视线在水平方向上从观察区域最左端转到该触摸点对应的操作点所转过的角度，δ表示用户视线在垂直方向上从观察区域最底端转到该触摸点对应的操作点所转过的角度，b和a分别表示该触摸点与该触摸面板上的第一参考点之间的水平距离和垂直距离，c和d分别表示该触摸面板垂直方向上的长度和水平方向上的长度，第一参考点为该触摸面板左下端点或右下端点，其中当触摸面板对着用户时为左下端点，当触摸面板背对着用户时为右下端点，以有触摸面的那一面为触摸面板的正面。
下面举例来描述操作中触摸点与操作点的映射关系，该映射关系可以为以下两种映射方式中的任一种：平面相似映射以及空间角度映射。
触摸面板位于头显前端(即头部佩戴单元1)与人面部相对的面上，这个面可以是平面、柱曲面，它的投影为一个矩形，手指触摸形成的触摸点与手指所触摸的触摸面上的相对位置可以简化为一个点与一个矩形平面的关系。以使用者的观察角度为参照参考点始终为左下端点，以面对有触摸面的那一面为参照，触摸面面对用户时，参考点为左下端点，触摸面背对用户时，参考点为右下端点
对于如图1所示的姿势，以触摸面简化成的矩形平面的右下角端点为参考点，触摸点与参考点的水平距离为b，垂直距离为a，矩形平面垂直方向上的长度为c，水平方向上的长度为d。对于如图5C或图6所示的姿势，以触摸面简化成的矩形平面的左下角端点为参考点，触摸点与参考点的水平距离为b，垂直距离为a，矩形平面垂直方向上的长度为c，水平方向上的长度为d。参考角度不同，则对应的参考点不同，但是得到的长度意义一致，原因是对于图1所示姿势，使用者观察的方向与面对触摸面的方向相对，而对于图5C或图6的姿势，使用者观察的方向与面对触摸面的方向相同，换句话说，对于用户而言，始终以左下端点为参考点。
当图1姿势切换到图5C姿势时，需要改变参考点，用户通过设置改变。
平面相似映射：虚拟屏幕可以为平面、柱曲面，同理将虚拟屏幕的操作点与虚拟屏幕简化为一个点与矩形平面的关系，以这个矩形平面左下角端点为参考点，为第二参考点，操作点与参考点的水平距离为b1，操作点与参考点的垂直距离为a1，这个矩形平面在垂直方向上的长度为c1，在水平方向上的长度为d1，,
上述参数满足：a/c＝a1/c1；b1/d1＝b/d；。
空间角度映射：观察区域的水平视角为α，垂直视角为β。水平方向上，视线从最左端转到触摸点所在垂直线转过的角度为γ，垂直方向上，视线从最底端转到触摸点转过的角度为δ，由这两个角度确定由观察点向外的一条射线，方法即观察点从观察区域最左端向右转过γ，从观察区域最底端向上转过δ，这条射线上的一个操作点与触摸点对应，需要对应的操作点与具体的应用有关,默认为这条射线上向外第一个需要操作对象上的操作点，值得注意的是利用空间角度映射，头部转动时，操作点也会改变。
上述参数满足：
对于水平视角：
当α<180度时：
当α等于任意角度时：
γ/α＝b/d；
对于垂直视角：
或：
δ/β＝a/c.
说明：水平视角小于180度时，两个公式都可以，大于180度时，使用后者；垂直视角由于本身不大于180度，两个公式都可以。
在第一触摸面板与头部佩戴单元1之间采用可拆卸的方式连接的例子中，在第一触摸面板安装在头部佩戴单元1上的情况下，假设针对第一触摸面板上的每一点P来说与第一触摸面板上该点P对应的操作点记为第一操作点Q1；而在第一触摸面板从头部佩戴单元1上拆卸下后，与第一触摸面板上该点P对应的操作点记为第二操作点Q2。其中，所谓的操作点既可以是基于平面相似映射位于虚拟屏幕上的操作点，也可以是基于空间相似映射位于空间向外射线上的操作点。另外，第一操作点Q1与第二操作点Q2可以是相同的，在这种情况下，拆下第一触摸面板后用户手指的左右操作方向与未拆下第一触摸面板后用户手指的左右操作方向是相反的；或者，第一操作点Q1与第二操作点Q2可以是关于第一触摸面板的垂直中线对称的(即左右镜面对称)，这样，拆下第一触摸面板后用户手指的左右操作方向可以被校正为与未拆下第一触摸面板后用户手指的左右操作方向相同。由于位于观察区域内的虚拟屏幕可能有多个，如果直接利用空间角度映射，虚拟屏幕可能会因为占比太小而难以操作，以下的实现方式提出了利用焦点选取虚拟屏幕，选取了的虚拟屏幕做特殊处理使得虚拟屏幕易于操作的办法。
在一个实现方式中，假设人眼前的观察区域上分布显示多个虚拟屏幕。假设人头部所在三维坐标P0，射线方向向量射线方程/>其中t为时间，不同的t代表射线上不同的点，点的集合为射线；虚拟屏幕法向量/>中心坐标P1，虚拟屏幕宽高分别为L,H，虚拟屏幕所在平面方程为/>解两个方程组成的方程组得到/>射线与所在平面的交点/>若满足/>则认为射线(人眼视线)经过这个虚拟屏幕，以选择将这块虚拟屏幕与整块触摸面板实现平面相似映射，或者将该虚拟屏幕显示到最前端或最中间，或将该屏幕放大等等。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
附记：
附记1.基于虚拟现实系统的人机交互装置，其特征在于，所述基于虚拟现实系统的人机交互装置包括头部佩戴单元、虚拟现实眼镜单元、用户交互单元以及控制处理单元；
所述虚拟现实眼镜单元安装于所述头部佩戴单元上，以使用户在佩戴所述头部佩戴单元时能够通过所述虚拟现实眼镜单元观看到预定屏幕的当前显示内容；
所述用户交互单元包括一块或多块触摸面板，所述一块或多块触摸面板用于检测来自外部的触摸操作，并将检测结果发送给所述控制处理单元；
所述控制处理单元用于针对所述一块或多块触摸面板中的每一块，在该块触摸面板检测到来自外部的触摸操作时，基于该触摸操作的接触时间和触摸点位置，识别该触摸操作的类型和操作对象，以对该操作对象执行与该触摸操作的类型对应的指令；其中，所述识别的操作对象为所述预定屏幕的当前显示内容中的一个或多个对象。
附记2.根据附记1所述的基于虚拟现实系统的人机交互装置，其特征在于，所述一块或多块触摸面板中至少包含第一触摸面板；
其中，所述第一触摸面板设于所述头部佩戴单元的与用户面部平行的外表面上，且所述第一触摸面板的触摸面的背面朝向用户面部。
附记3.根据附记2所述的基于虚拟现实系统的人机交互装置，其特征在于，所述第一触摸面板与所述头部佩戴单元之间采用可拆卸方式连接。
附记4.根据附记1所述的基于虚拟现实系统的人机交互装置，其特征在于，所述一块或多块触摸面板中至少包含第二触摸面板；其中，所述第二触摸面板与所述头部佩戴单元固定连接，所述第二触摸面板设于所述头部佩戴单元前方、与用户面部平行的预设位置，且所述第二触摸面板的触摸面朝向用户面部。
附记5.根据附记1所述的基于虚拟现实系统的人机交互装置，其特征在于，所述一块或多块触摸面板中至少包含第三触摸面板；其中，所述第三触摸面板与所述头部佩戴单元活动连接，使得所述第三触摸面板能够移动到所述头部佩戴单元前方、与用户面部平行的预设位置，并使所述第三触摸面板的触摸面朝向用户面部。
附记6.根据附记1所述的基于虚拟现实系统的人机交互装置，其特征在于，所述一块或多块触摸面板中每块触摸面板的触摸面为平面、柱曲面和球面中的任一个或任几个的组合。
附记7.根据附记1所述的基于虚拟现实系统的人机交互装置，其特征在于，所述基于虚拟现实系统的人机交互装置还包括用于佩戴在用户手臂上的手臂佩戴单元；所述一块或多块触摸面板中至少包含第四触摸面板，所述第四触摸面板的触摸面为柱曲面，所述第四触摸面板通过固定连接或可拆卸式连接的方式设于所述手臂佩戴单元外侧。
附记8.根据附记1所述的基于虚拟现实系统的人机交互装置，其特征在于，所述预定屏幕为外部电子设备的屏幕，所述控制处理单元与该外部电子设备连接，以对该外部电子设备上对应的操作对象执行对应的指令。
附记9.根据附记1所述的基于虚拟现实系统的人机交互装置，其特征在于，所述基于虚拟现实系统的人机交互装置还包括存储单元和显示单元，其中，所述显示单元作为所述预定屏幕；所述存储单元上存储有一个或多个可供所述控制处理单元执行的应用，所述显示单元用于显示所述控制处理单元当前执行的应用所对应的当前显示界面，来作为所述预定屏幕的当前显示内容。
附记10.根据附记1所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：在相应触摸面板检测到触摸操作时，在该触摸操作的接触时间小于第一预设时间、且该触摸操作的触摸点位置在该接触时间内未超出第一预设区域的情况下，在该触摸操作结束接触之时将该触摸操作确定为点操作、并执行与确定的点操作对应的指令；其中，所述第一预设区域为以该触摸操作的触摸初始位置为中心、预设长度为半径的区域。
附记11.根据附记10所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：在相应触摸面板检测到触摸操作时，在该触摸操作的触摸点位置在所述第一预设时间内超出所述第一预定区域的情况下，在该触摸操作的触摸点位置超出所述第一预定区域之时将该触摸操作确定为划操作、并执行与确定的划操作对应的指令。
附记12.根据附记10或11所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：在相应触摸面板检测到触摸操作时，在该触摸操作的接触时间大于或等于所述第一预设时间、且该触摸操作的触摸点位置未超出所述第一预定区域的情况下，将该触摸操作确定为按操作。
附记13.根据附记12所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：在判定相应触摸面板检测到的触摸操作为按操作时，执行显示指令，所述显示指令用于在触摸点移动到相应位置时显示该位置的相关信息或将该位置对应的内容高亮显示。
附记14.根据附记10-13中任一项所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：按操作结束时，第二预设区域高亮显示第二预设时间，手指再次按下的初始触摸点在第二预设区域且再次满足按操作判定条件时，将该触摸操作确定为长按操作，所述第二预设区域为以该长按操作结束之时触摸点位置为中心、预定长度为半径的区域。
附记15.根据附记1所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：针对每个触摸面板检测到的触摸操作中的每个触摸点，根据如下公式，在虚拟屏幕上确定与该触摸点对应的操作点：a/c＝a1/c1；b1/d1＝b/d；其中，b和a分别表示该触摸点与该触摸面板上的第一参考点之间的水平距离和垂直距离，d和c分别表示该触摸面板水平方向上的长度和垂直方向上的长度；b1和a1分别表示虚拟屏幕上与该触摸点对应的操作点与虚拟屏幕上的第二参考点之间的水平距离和垂直距离，d1和c1分别表示虚拟屏幕水平方向上的长度和垂直方向上的长度；第一参考点为该触摸面板左下端点或右下端点，其中当触摸面板对着用户时为左下端点，当触摸面板背对着用户时为右下端点，以有触摸面的那一面为触摸面板的正面，第二参考点为虚拟屏幕的左下端点。
附记16.根据附记1所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：针对每个触摸面板检测到的触摸操作中的每个触摸点，根据如下公式，在观察区域上确定与该触摸点对应的操作点：
对于水平视角：当α<180度时，当α等于任意角度时，γ/α＝b/d；
对于垂直视角：或δ/β＝a/c；
其中，α表示用户视线在水平方向上从观察区域最左端转到最右端所转过的角度，即水平视角，β表示用户视线在垂直方向上从观察区域最底端转到最顶端所转过的角度，即垂直视角，γ表示用户视线在水平方向上从观察区域最左端转到该触摸点对应的操作点所转过的角度，δ表示用户视线在垂直方向上从观察区域最底端转到该触摸点对应的操作点所转过的角度，b和a分别表示该触摸点与该触摸面板上的第一参考点之间的水平距离和垂直距离，c和d分别表示该触摸面板垂直方向上的长度和水平方向上的长度，第一参考点为该触摸面板左下端点或右下端点，其中当触摸面板对着用户时为左下端点，当触摸面板背对着用户时为右下端点，以有触摸面的那一面为触摸面板的正面。
附记17.根据附记3所述的基于虚拟现实系统的人机交互装置，其特征在于，针对所述第一触摸面板上的每一点P：在所述第一触摸面板安装在所述头部佩戴单元上的情况下，将所述预定屏幕上与所述第一触摸面板上该点P对应的操作点记为第一操作点Q1；在所述第一触摸面板拆离所述头部佩戴单元的情况下，将所述预定屏幕上与所述第一触摸面板上该点P对应的操作点记为第二操作点Q2；其中，所述第一操作点Q1与所述第二操作点Q2关于所述第一触摸面板的垂直中线对称。
附记18.根据附记1-17中任一项所述的基于虚拟现实系统的人机交互装置，其特征在于，控制处理单元4被配置成：设置两个变量A和B，并将A和B的初始值均设为0；实时检测手指是否离开触摸屏，并在手指离开触摸屏时将A的值赋为1；实时检测触摸点是否到达第一预设范围边界，并在触摸点到达第一预设范围边界时将B的值赋为1；实时判断是否满足停止条件，在满足任一停止条件时下达停止指令；所述停止条件包括以下三个条件：A的值变化；B的值变化；从手指按下之后经过第一预设时间；将从手指按下到停止的过程作为第一判定，当所述第一判定结束后：若A＝0且B＝0，判定为按操作或长按操作；若A＝1且B＝0，判定为点操作；若A＝0且B＝1，判定为划操作；若A＝1且B＝1，判定为无效或者划操作。

Claims (8)

1.基于虚拟现实系统的人机交互装置，其特征在于，所述基于虚拟现实系统的人机交互装置包括头部佩戴单元、虚拟现实眼镜单元、用户交互单元以及控制处理单元；
所述虚拟现实眼镜单元安装于所述头部佩戴单元上，以使用户在佩戴所述头部佩戴单元时能够通过所述虚拟现实眼镜单元观看到预定屏幕的当前显示内容；
所述用户交互单元包括一块或多块触摸面板，所述一块或多块触摸面板用于检测来自外部的触摸操作，并将检测结果发送给所述控制处理单元；
所述控制处理单元用于针对所述一块或多块触摸面板中的每一块，在该块触摸面板检测到来自外部的触摸操作时，基于该触摸操作的接触时间和触摸点位置，识别该触摸操作的类型和操作对象，以对该操作对象执行与该触摸操作的类型对应的指令；其中，所述识别的操作对象为所述预定屏幕的当前显示内容中的一个或多个对象；
所述控制处理单元被配置成：
针对每个触摸面板检测到的触摸操作中的每个触摸点，根据如下公式，在观察区域上确定与该触摸点对应的操作点：
对于水平视角：当α<180度时，
当α等于任意角度时，γ/α＝b/d；
对于垂直视角：
或δ/β＝a/c；
其中，α表示用户视线在水平方向上从观察区域最左端转到最右端所转过的角度，即水平视角，β表示用户视线在垂直方向上从观察区域最底端转到最顶端所转过的角度，即垂直视角，γ表示用户视线在水平方向上从观察区域最左端转到该触摸点对应的操作点所转过的角度，δ表示用户视线在垂直方向上从观察区域最底端转到该触摸点对应的操作点所转过的角度，b和a分别表示该触摸点与该触摸面板上的第一参考点之间的水平距离和垂直距离，c和d分别表示该触摸面板垂直方向上的长度和水平方向上的长度，第一参考点为该触摸面板左下端点或右下端点，其中当触摸面板对着用户时为左下端点，当触摸面板背对着用户时为右下端点，以有触摸面的那一面为触摸面板的正面；
控制处理单元被配置成：
设置两个变量A和B，并将A和B的初始值均设为0；
实时检测手指是否离开触摸屏，并在手指离开触摸屏时将A的值赋为1；
实时检测触摸点是否到达第一预设范围边界，并在触摸点到达第一预设范围边界时将B的值赋为1；
实时判断是否满足停止条件，在满足任一停止条件时下达停止指令；
所述停止条件包括以下三个条件：A的值变化；B的值变化；从手指按下之后经过第一预设时间；
将从手指按下到停止的过程作为第一判定，当所述第一判定结束后：
若A＝0且B＝0，判定为按操作或长按操作；
若A＝1且B＝0，判定为点操作；
若A＝0且B＝1，判定为划操作；
若A＝1且B＝1，判定为无效或者划操作。
2.根据权利要求1所述的基于虚拟现实系统的人机交互装置，其特征在于，
所述一块或多块触摸面板中至少包含第一触摸面板；
其中，所述第一触摸面板设于所述头部佩戴单元的与用户面部平行的外表面上，且所述第一触摸面板的触摸面的背面朝向用户面部；
所述第一触摸面板与所述头部佩戴单元之间采用固定连接或可拆卸方式连接。
3.根据权利要求1所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：
在相应触摸面板检测到触摸操作时，在该触摸操作的接触时间小于第一预设时间、且该触摸操作的触摸点位置在该接触时间内未超出第一预设区域的情况下，在该触摸操作结束接触之时将该触摸操作确定为点操作、并执行与确定的点操作对应的指令；
其中，所述第一预设区域为以该触摸操作的触摸初始位置为中心、预设长度为半径的区域。
4.根据权利要求1-3中任一项所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：
在相应触摸面板检测到触摸操作时，在该触摸操作的触摸点位置在所述第一预设时间内超出所述第一预设区域的情况下，在该触摸操作的触摸点位置超出所述第一预设区域之时将该触摸操作确定为划操作、并执行与确定的划操作对应的指令。
5.根据权利要求1-3中任一项所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：
在相应触摸面板检测到触摸操作时，在该触摸操作的接触时间大于或等于所述第一预设时间、且该触摸操作的触摸点位置未超出所述第一预设区域的情况下，将该触摸操作确定为按操作。
6.根据权利要求5所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：
在判定相应触摸面板检测到的触摸操作为按操作时，执行显示指令，所述显示指令用于在触摸点移动到相应位置时显示该位置的相关信息或将该位置对应的内容高亮显示。
7.根据权利要求1-3中任一项所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：
按操作结束时，第二预设区域高亮显示第二预设时间，手指再次按下的初始触摸点在第二预设区域且再次满足按操作判定条件时，将该触摸操作确定为长按操作，所述第二预设区域为以该长按操作结束之时触摸点位置为中心、预定长度为半径的区域。
8.根据权利要求1-3中任一项所述的基于虚拟现实系统的人机交互装置，其特征在于，所述控制处理单元被配置成：
针对每个触摸面板检测到的触摸操作中的每个触摸点，根据如下公式，在虚拟屏幕上确定与该触摸点对应的操作点：
a/c＝a1/c1；
b1/d1＝b/d；
其中，b和a分别表示该触摸点与该触摸面板上的第一参考点之间的水平距离和垂直距离，d和c分别表示该触摸面板水平方向上的长度和垂直方向上的长度；b1和a1分别表示虚拟屏幕上与该触摸点对应的操作点与虚拟屏幕上的第二参考点之间的水平距离和垂直距离，d1和c1分别表示虚拟屏幕水平方向上的长度和垂直方向上的长度；第一参考点为该触摸面板左下端点或右下端点，其中当触摸面板对着用户时为左下端点，当触摸面板背对着用户时为右下端点，以有触摸面的那一面为触摸面板的正面，第二参考点为虚拟屏幕的左下端点。
CN201710524967.3A 2017-06-30 2017-06-30 基于虚拟现实系统的人机交互装置 Active CN107179876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710524967.3A CN107179876B (zh) 2017-06-30 2017-06-30 基于虚拟现实系统的人机交互装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710524967.3A CN107179876B (zh) 2017-06-30 2017-06-30 基于虚拟现实系统的人机交互装置

Publications (2)

Publication Number Publication Date
CN107179876A CN107179876A (zh) 2017-09-19
CN107179876B true CN107179876B (zh) 2023-08-25

Family

ID=59845128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710524967.3A Active CN107179876B (zh) 2017-06-30 2017-06-30 基于虚拟现实系统的人机交互装置

Country Status (1)

Country Link
CN (1) CN107179876B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107608457A (zh) * 2017-09-22 2018-01-19 北京小米移动软件有限公司 虚拟现实头盔及其控制方法和控制装置
CN109117136A (zh) * 2018-08-01 2019-01-01 北京广利核系统工程有限公司 仪控系统用人机接口装置及其控制方法
CN110362231B (zh) * 2019-07-12 2022-05-20 腾讯科技（深圳）有限公司 抬头触控设备、图像显示的方法及装置
CN110717993B (zh) * 2019-10-12 2021-04-02 西安维度视界科技有限公司 一种分体式ar眼镜系统的交互方法、系统及介质
CN112068757B (zh) * 2020-08-03 2022-04-08 北京理工大学 一种用于虚拟现实的目标选择方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368185A (zh) * 2011-09-23 2012-03-07 广东威创视讯科技股份有限公司 触摸点的识别方法及装置
CN102622140A (zh) * 2012-03-05 2012-08-01 安徽大学 一种摄像式多点触摸系统
CN105487229A (zh) * 2015-12-18 2016-04-13 济南中景电子科技有限公司 多通道交互虚拟现实眼镜
JP2016167217A (ja) * 2015-03-10 2016-09-15 株式会社コロプラ ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラム
CN106155284A (zh) * 2015-04-02 2016-11-23 联想(北京)有限公司 电子设备及信息处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779000B (zh) * 2012-05-03 2015-05-20 苏州触达信息技术有限公司 一种用户交互系统和方法
EP3098689B1 (en) * 2014-01-23 2019-04-03 Sony Corporation Image display device and image display method
CN106155383A (zh) * 2015-04-03 2016-11-23 上海乐相科技有限公司 一种头戴式智能眼镜屏幕控制方法及装置
CN106843719B (zh) * 2016-12-22 2020-09-08 北京小鸟看看科技有限公司 在虚拟屏幕中实现触摸屏应用的方法和系统、vr设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368185A (zh) * 2011-09-23 2012-03-07 广东威创视讯科技股份有限公司 触摸点的识别方法及装置
CN102622140A (zh) * 2012-03-05 2012-08-01 安徽大学 一种摄像式多点触摸系统
JP2016167217A (ja) * 2015-03-10 2016-09-15 株式会社コロプラ ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラム
CN106155284A (zh) * 2015-04-02 2016-11-23 联想(北京)有限公司 电子设备及信息处理方法
CN105487229A (zh) * 2015-12-18 2016-04-13 济南中景电子科技有限公司 多通道交互虚拟现实眼镜

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
动态视景生成软件平台技术研究;李潞洋 等;中国优秀硕士学位论文全文数据库信息科技辑(第08期);全文 *

Also Published As

Publication number Publication date
CN107179876A (zh) 2017-09-19

Similar Documents

Publication Publication Date Title
CN107179876B (zh) 基于虚拟现实系统的人机交互装置
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US20220084279A1 (en) Methods for manipulating objects in an environment
Gugenheimer et al. Facetouch: Enabling touch interaction in display fixed uis for mobile virtual reality
US20190250714A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
Wacker et al. Arpen: Mid-air object manipulation techniques for a bimanual ar system with pen & smartphone
CN107665042B (zh) 增强的虚拟触摸板和触摸屏
JP5515067B2 (ja) 操作入力装置および操作判定方法並びにプログラム
WO2012039140A1 (ja) 操作入力装置および方法ならびにプログラム
CN115443445A (zh) 用于可穿戴系统的手部手势输入
US9841821B2 (en) Methods for automatically assessing user handedness in computer systems and the utilization of such information
US20130343607A1 (en) Method for touchless control of a device
US20220229524A1 (en) Methods for interacting with objects in an environment
US9544556B2 (en) Projection control apparatus and projection control method
US20220317776A1 (en) Methods for manipulating objects in an environment
JP2014067388A (ja) アイコン操作装置
US10831265B2 (en) Systems and methods for gaze-informed target manipulation
CN108027655A (zh) 信息处理系统、信息处理设备、控制方法和程序
US20230316634A1 (en) Methods for displaying and repositioning objects in an environment
KR101708455B1 (ko) 핸드 플로트 입체 메뉴 시스템
Smith et al. Experimental Analysis of Single Mode Switching Techniques in Augmented Reality.
Takashima et al. Exploring boundless scroll by extending motor space
AU2015252151B2 (en) Enhanced virtual touchpad and touchscreen
TW201925989A (zh) 互動系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant