CN108304075B - 一种在增强现实设备进行人机交互的方法与设备 - Google Patents

一种在增强现实设备进行人机交互的方法与设备 Download PDF

Info

Publication number
CN108304075B
CN108304075B CN201810145496.XA CN201810145496A CN108304075B CN 108304075 B CN108304075 B CN 108304075B CN 201810145496 A CN201810145496 A CN 201810145496A CN 108304075 B CN108304075 B CN 108304075B
Authority
CN
China
Prior art keywords
touch
information
augmented reality
equipment
touch area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810145496.XA
Other languages
English (en)
Other versions
CN108304075A (zh
Inventor
谢炳龙
黄海峰
李佩易
张建伟
杨华
沈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liangfengtai Shanghai Information Technology Co ltd
Original Assignee
Liangfengtai Shanghai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liangfengtai Shanghai Information Technology Co ltd filed Critical Liangfengtai Shanghai Information Technology Co ltd
Publication of CN108304075A publication Critical patent/CN108304075A/zh
Application granted granted Critical
Publication of CN108304075B publication Critical patent/CN108304075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

本申请的目的是提供一种在增强现实设备端进行人机交互的方法，其中，具体包括：根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。本申请中增强现实头戴设备将虚拟内容呈现于所述触摸设备，基于触摸设备和虚拟内容的映射关系获取用户的操作指令，从而比较方便、快捷和精确地获取用户输入指令，提升了用户的使用体验。

Description

一种在增强现实设备进行人机交互的方法与设备
技术领域
本申请涉及通信领域，尤其涉及一种用于在增强现实设备进行人机交互的技术。
背景技术
随着科技的发展和不断拓新，增强现实技术广泛应用于越来越多的领域，诸如军事、工业、旅游、娱乐与艺术等领域。增强现实技术通过增强现实设备，将信息化图像呈现在人们的视野中，且这些增强信息将随时更新保持与所看到的景象同步。
现有的人机交互方式包括语音识别、手势识别、触摸板、按键、gaze(视线跟踪)以及显示屏和触摸屏合二为一的全屏触摸等多种。其中，显示屏和触摸屏合二为一的全屏触摸是比较自然的人机交互方式，是智能手机能够成功的重要因素之一。
现有增强现实设备的常见交互方式有语音识别、手势识别、触摸板、按键以及gaze(视线跟踪)等多种。但是，由于增强现实设备特殊的近眼显示方式，它缺乏类似于智能手机的显示屏和触摸屏合二为一的全屏触摸交互，这使得大量平时比较简单的工作，如输入数字字母、快速选择列表项等，在增强现实设备上利用常见的语音识别等交互方式往往比较难实现或者实现起来很不自然。
发明内容
本申请的一个目的是提供一种在增强现实设备进行人机交互的方法与设备。
根据本申请的一个方面，提供了一种在增强现实头戴设备端进行人机交互的方法，该方法包括：
根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；
根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
根据本申请的另一个方面，提供了一种在触摸设备端进行人机交互的方法，该方法包括：
获取用户在触摸设备的触摸区域的触摸操作信息；
将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。
根据本申请的又一个方面，提供了一种在增强现实头戴设备端进行人机交互的方法，其中，该方法包括：
将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；
根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
根据本申请的又一个方面，提供了一种在触摸设备端进行人机交互的方法，其中，该方法包括：
接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；
将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；
获取用户在所述触摸区域的触摸操作信息；
根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
根据本申请的一个方面，提供了一种在分体式增强现实设备端进行人机交互的方法，其中，所述分体式增强现实设备包括增强现实头戴设备和触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信，该方法包括：
所述增强现实头戴设备根据关于所述触摸设备的图像信息确定所述触摸设备的触摸区域信息；
所述增强现实头戴设备根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
所述触摸设备将用户在所述触摸区域的触摸操作信息发送至所述增强现实头戴设备；
所述增强现实头戴设备根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
根据本申请的另一个方面，提供了一种在分体式增强现实设备端进行人机交互的方法，其中，所述分体式增强现实设备包括增强现实头戴设备和触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信，该方法包括：
所述增强现实头戴设备将关于所述触摸设备的图像信息发送至所述触摸设备；
所述触摸设备接收所述图像信息，根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息，并将所述屏幕参考信息和交互界面信息发送至所述增强现实头戴设备；
所述增强现实头戴设备接收所述交互界面信息和所述屏幕参考信息，并根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
所述触摸设备获取用户在所述触摸区域的触摸操作信息，根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
根据本申请的一个方面，提供了一种进行人机交互的增强现实头戴设备，该设备包括：
确定模块，用于根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸区域信息与所述增强现实头戴设备分体设置并可通信；
呈现模块，用于根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
接收模块，用于接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；
执行模块，用于根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
根据本申请的另一个方面，提供了一种进行人机交互的触摸设备，该设备包括：
获取模块，用于获取用户在触摸设备的触摸区域的触摸操作信息；
发送模块，用于将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。根据本申请的又一个方面，提供了一种进行人机交互的增强现实头戴设备，其中，该设备包括：
发送模块，用于将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
接收模块，用于接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；
呈现模块，用于根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
根据本申请的又一个方面，提供了一种进行人机交互的触摸设备，其中，该设备包括：
接收模块，用于接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
确定模块，用于根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；
发送模块，用于将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；
获取模块，用于获取用户在所述触摸区域的触摸操作信息；
执行模块，用于根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
根据本申请的一个方面，提供了一种用于进行人机交互的分体式增强现实设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；
根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
根据本申请的一个方面，提供了一种用于进行人机交互的触摸设备，其中，该设备包括：
处理器；
触控板；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
获取用户在触摸设备的触摸区域的触摸操作信息；
将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。
根据本申请的一个方面，提供了一种用于进行人机交互的分体式增强现实设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；
根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
根据本申请的一个方面，提供了一种用于进行人机交互的触摸设备，其中，该设备包括：
处理器；
触控板；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；
将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；
获取用户在所述触摸区域的触摸操作信息；
根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
根据本申请的一个方面，提供了一种进行人机交互的分体式增强现实设备，其中，该分体式增强现实设备包括增强现实头戴设备与触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
其中，所述增强现实头戴设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；
根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作；
其中，所述触摸设备包括：
处理器；
触控板；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
获取用户在触摸设备的触摸区域的触摸操作信息；
将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。
根据本申请的另一个方面，提供了一种进行人机交互的分体式增强现实设备，其中，该分体式增强现实设备包括增强现实头戴设备与触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
其中，所述增强现实头戴设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；
根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
其中，所述触摸设备包括：
处理器；
触控板；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；
将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；
获取用户在所述触摸区域的触摸操作信息；
根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
根据本申请的一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行：
根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；
根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行：
获取用户在触摸设备的触摸区域的触摸操作信息；
将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。
根据本申请的又一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行：
将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；
根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
根据本申请的又一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行：
接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；
将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；
获取用户在所述触摸区域的触摸操作信息；
根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
与现有技术相比，本申请提供了一种适用于分体式增强现实设备进行人机交互的方法，该分体式增强现实设备包括增强现实头戴设备和触摸设备，增强现实头戴设备根据当前采集的关于触摸设备的图像，将虚拟内容呈现于所述触摸设备，基于触摸设备和虚拟内容的映射关系获取用户的操作指令，从而实现增强现实设备比较方便、快捷和精确的获取用户的输入指令，大大提高了人机交互的效率，而且，本申请中采用通过增强现实呈现虚拟内容的方式，不同于内容固定的实体键盘，该触摸设备上显示的内容更加灵活，用户操作比较简单、快捷，大大提升了用户的使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种在增强现实头戴设备端进行人机交互的方法流程图；
图2示出了摄像机的基本成像模型或基本针孔模型；
图3示出了一个三维点在世界坐标系与相机屏幕坐标系之间转换关系；
图4示出根据本申请另一个方面的一种在触摸设备端进行人机交互的方法流程图；
图5示出根据本申请一个方面的一种进行人机交互的增强现实头戴设备的设备示意图；
图6示出根据本申请另一个方面的一种进行人机交互的触摸设备的设备示意图；
图7示出根据本申请一个方面的一种在分体式增强现实设备端进行人机交互的系统方法图；
图8示出根据本申请另一个方面的一种在分体式增强现实设备端进行人机交互的系统方法图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了根据本申请的一个方面的一种在增强现实头戴设备端进行人机交互的方法，该方法包括步骤S11、步骤S12、步骤S13和步骤S14。在步骤S11中，增强现实头戴设备根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；在步骤S12中，增强现实头戴设备根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；在步骤S13中，增强现实头戴设备接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；在步骤S14中，增强现实头戴设备根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
具体而言，在步骤S11中，增强现实头戴设备根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。其中，分体式增强现实设备包括增强现实头戴设备与触摸设备，增强现实头戴设备包括但不限于增强现实头盔、增强现实眼镜等，触摸设备包括但不限于触摸板等，在此以增强现实眼镜为例阐述以下实施例，本领域技术人员应能理解，以下该等实施例同样适用于其他分体式增强现实设备如增强现实头盔等。而且，在分体式增强现实设备中，增强现实头戴设备与触摸设备分体设置且可通信，例如，增强现实眼镜与触摸板分体设置，其中，分体式增强现实眼镜为头戴部分，触摸板为手持部分，增强现实眼镜与触摸板通过有线或无线的方式建立通信连接，其中，触摸板包括该增强现实眼镜呈现交互界面信息的触摸区域。在一些实施例中，增强现实眼镜根据采集到的触摸板相关的图像帧，利用计算机视觉等技术确定触摸板的触摸区域信息，其中，触摸区域信息包括触摸区域相对于增强现实眼镜的位置信息等。在另一些实施例中，增强现实眼镜包括将采集到的图像帧呈现在屏幕上的不透视的增强现实眼镜，增强现实眼镜根据采集到的触摸板相关的图像帧，利用计算机视觉等技术确定触摸板的触摸区域信息，其中，触摸区域信息包括触摸区域在增强现实眼镜屏幕上的位置信息等。以下主要以增强现实眼镜的透视模式为例阐述以下实施例，本领域技术人员应能理解，该等实施例同样适用于不透视的增强现实眼镜等。
在步骤S12中，增强现实头戴设备根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。其中，交互界面信息包括用于呈现给用户、供用户输入交互指令的交互界面，例如，用于文字输入的输入界面、用于点击进行选择的选择界面等；触摸区域包括用于供增强现实眼镜呈现对应的交互界面信息的触摸板中的区域，而且，该区域具有识别用户触摸位置、面积和时长等信息的功能。在一些实施例中，增强现实眼镜根据触摸区域相对于增强现实眼镜的位置信息，利用计算机视觉算法确定交互界面呈现在触摸区域时在增强现实眼镜中显示的位置，增强现实眼镜将该交互界面呈现于触摸板的触摸区域。随后，增强现实眼镜根据视觉跟踪算法将该交互界面持续呈现于触摸区域。
在步骤S13中，增强现实头戴设备接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息。其中，该触摸操作信息包括触摸板识别的用户在触摸板上操作的位置、时间和面积等信息。在一些实施例中，触摸板识别用户在触摸板上操作的位置、时间和面积等触摸操作信息，将该触摸操作信息发送至增强现实头戴设备，增强现实头戴设备接收触摸设备上传的触摸操作信息。
在步骤S14中，增强现实头戴设备根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。例如，增强现实眼镜接收到触摸设备上传的触摸操作信息，并根据该触摸操作信息中用户的操作结合交互界面信息，如根据用户点击的位置确定该触摸区域位置在交互界面对应的位置，进而确定用户操作在交互界面对应的交互操作指令，随后，增强现实眼镜执行对应的人机交互操作。
例如，用户穿戴着增强现实眼镜，并手持触摸板，正在使用分体式增强现实设备，其中，增强现实眼镜与触摸板通过有线或无线的方式建立通信连接。增强现实眼镜检测到应用发送的交互信号信息，进入人机交互模式，其中，该交互信号信息可以是增强现实眼镜本地生成，也可以是云端发送至增强现实眼镜的，该交互信号信息包含“四选一”交互界面信息等。随后，增强现实眼镜根据存储的触摸板的图像进行图像识别，在当前采集的关于触摸板的图像帧中识别触摸板，利用计算机视觉算法计算该触摸板的触摸区域相对于增强现实眼镜的位置，并基于该触摸区域相对于的增强现实眼镜的位置信息计算该触摸区域在屏幕中的位置。增强现实眼镜将交互界面信息叠加显示在触摸区域在屏幕中的位置，呈现交互界面信息，如将选择项对应的交互界面呈现于触摸区域对应的位置，使得用户通过增强现实眼镜可以在触摸区域观察到该叠加显示的“四选一”交互界面，如将“A选项”叠加显示在触摸区域左上角，“B选项”叠加显示在触摸区域右上角，“C选项”叠加显示在触摸区域左下角，“D选项”叠加显示在触摸区域右下角。触摸板识别用户在触摸区域的触摸操作信息，如用户在触摸区域左下角的点击操作，并将该触摸操作信息发送至增强现实眼镜。增强现实眼镜根据接收到的用户在左下角点击的触摸操作信息，结合交互界面中左下角的“C选项”，执行“C选项”对应的人机交互指令。
又如，用户穿戴着增强现实眼镜，并手持触摸板，正在使用分体式增强现实设备，其中，增强现实眼镜与触摸板通过有线或无线的方式建立通信连接，增强现实眼镜包括不透视增强现实眼镜，该增强现实眼镜通过将采集到的实景画面呈现在屏幕上，将虚拟内容叠加到该实景画面上实现虚拟现实功能。增强现实眼镜根据存储的触摸板的图像进行图像识别，在当前采集的关于触摸板的图像帧中识别触摸板，利用计算机视觉算法计算该触摸板的触摸区域在增强现实眼镜屏幕中的位置。增强现实眼镜将交互界面信息叠加显示在触摸区域在屏幕中的位置，呈现交互界面信息，如将数字键对应的交互界面呈现于触摸区域对应的位置，使得用户通过增强现实眼镜可以在触摸区域观察到该叠加显示的数字键交互界面。触摸板识别用户在触摸区域的触摸操作信息，如用户在触摸区域的点击操作，并将该触摸操作信息发送至增强现实眼镜。增强现实眼镜根据接收到的用户击的触摸操作信息，结合交互界面执行对应的人机交互指令。
当然，本领域技术人员应能理解，上述触摸操作信息仅为举例，其他现有的或今后可能出现的触摸操作信息如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，所述增强现实头戴设备包括摄像装置；其中，该方法还包括步骤S15(未示出)，在步骤S15中，增强现实头戴设备通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；其中，在步骤S11中，增强现实头戴设备根据所述图像信息确定所述触摸设备的触摸区域信息。
例如，增强现实眼镜安装有摄像装置(如摄像头等)，并通过该摄像装置拍摄视野中的实景，利用计算机视觉算法将虚拟内容叠加显示在实景中。增强现实眼镜通过该摄像装置拍摄当前视野中的实景获得关于触摸板的一个或多个图像帧，并在该一个或多个图像帧中识别触摸板，计算触摸板中触摸区域相对于增强现实眼镜的位置信息。
当然，本领域技术人员应能理解，上述摄像装置仅为举例，其他现有的或今后可能出现的摄像装置如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
例如，我们可以假设，目标物本身有个三维坐标系(假设为世界坐标系)，眼镜实体摄像头有个三维坐标系，人眼和眼镜屏幕组成一个虚拟的相机坐标系，眼镜屏幕有个二维坐标系。目标物本身在世界坐标系中的坐标是已知的，首先将其转换到眼镜实体摄像头的三维坐标系下，转换矩阵通过识别跟踪算法得出。再根据标定参数的外参(已知)转换到人眼和眼镜屏幕组成的虚拟相机坐标系上，最后根据虚拟相机内参(已知)得到眼镜屏幕上的坐标。因此可以计算出目标物最终在眼镜屏幕中的位置。此处我们将目标物在世界坐标系下的坐标转换到眼镜上的实体相机坐标系(眼镜摄像头对应的坐标系)下，其中，该转换矩阵通过识别跟踪算法得出。其中，从世界坐标转换到图像坐标的具体摄像机模型如下：
1、理想模型
图2示出了摄像机的基本成像模型，通常称为基本针孔模型，由三维空间到平面的中心投影变换所给出。
如图2，Oc是摄像机中心，它到摄像机像平面π的距离为f，f称为摄像机的焦距。空间点Xc在平面π上的投影(或像)m是以点Oc为端点并经过点Xc的射线与平面π的交点,以点Oc为端点且垂直于像平面的射线称为光轴或主轴，主轴与像平面的交点p称为摄像机的主点。为了从代数上描述这种投影关系，需要建立摄像机坐标系和图像平面坐标系。在图像平面上，以主点p为像平面坐标系的坐标原点，以水平线与铅直线分别为x轴和y轴，建立图像坐标系o-xy。在空间中，以摄像机中心Oc为摄像机坐标系的坐标原点，建立摄像机坐标系O-xcyczc，如图2(b)所示。空间点Xc在摄像机坐标系中的齐次坐标记为Xc＝(xc,yc,zc,1)T，它的像点m在图像坐标系中的齐次坐标记m＝(x,y,1)T，称(Xc,m)为一组对。根据三角形相似原理，可推知空间点Xc与它的像点m满足下述关系：
Figure BDA0001578706910000161
转换成矩阵形式：
Figure BDA0001578706910000162
其中，Xc＝(xc,yc,zc,1)T，m＝(x,y,1)T分别是空间点和图像点的齐次坐标，是从空间到像平面的一个齐次线性变换。记P＝diag(f,f,1)(I,0),则上式可以表示为更简单形式：
m＝PXc (3)
注意：(3)是一个齐次等式，表示在相差一个非零常数因子的意义下相等。通常称矩阵P为摄像机矩阵。这就是基本成像模型的代数表示。
2、实际模型
上面讨论的是理论情况(主点就是图像坐标系的原点)，但实际情况中，
一、图像平面的坐标原点可能不在主点上；
二、用于计算机处理的图像通常都是用CCD摄像机所获取的数字图像，将图像平面的点进行数字离散化。
在以上推导的理想模型中，假设的图像坐标在两个轴上的尺度不相等，这样CCD摄像机数字离散化后的像素不是一个正方形，因此有必要引入非等量尺度因子；第三，一般摄像有扭曲参数的存在。
在以上三种条件的限制下，理想的中心投影模型可以对应改写为五个参数的模型：
Figure BDA0001578706910000163
同样，则摄像机的投影关系可以写成：
m＝K(I,0)Xc＝PXc (5)
其中：
Figure BDA0001578706910000171
是摄像机内参数矩阵，fx,fy称为CCD摄像机在u轴和v轴方向上的尺度因子，(u0,v0)T称为CCD摄像机的主点。s称为CCD摄像机的畸变因子或倾斜因子。摄像机的内部参数共有五个。
3、一般模型
我们一般描述一个三维点，由于相机可能一直在运动，所以我们并不是基于摄像机坐标系下对其描述，而是在世界坐标系下进行描述。世界坐标系与相机坐标系之间的关系可以用旋转矩阵和平移向量来描述，如图3所示。
令空间点在世界坐标系与摄像机坐标系的坐标分别为X＝(x,y,z,1)T，Xc＝(xc,yc,zc,1)T，则二者之间的关系：
Figure BDA0001578706910000172
将(6)带入(5)，得到：
Figure BDA0001578706910000173
其中，
Figure BDA0001578706910000174
表示摄像机中心在世界坐标系中的坐标，摄像机矩阵
Figure BDA0001578706910000175
Figure BDA0001578706910000176
Figure BDA0001578706910000177
为摄像机的外参数矩阵。其中，R＝(α,β,γ)是旋转矩阵，α,β,γ分别是绕摄像机坐标系x,y,z轴的旋转角度。
Figure BDA0001578706910000178
是平移矩阵,Tx,Ty,Tz分别是绕摄像机坐标系x,y,z轴的平移量，所以摄像机外参由6个参数组成(α,β,γ,Tx,Ty,Tz)。
在一些实施例中，在步骤S15中，当所述增强现实头戴设备进入交互模式，增强现实头戴设备通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。
例如，增强现实眼镜通过本地应用自动响应的交互指令，进入交互模式，如启动部分本地程序时，该程序自动响应的账号密码输入交互指令，增强现实眼镜接收到该交互指令，进入交互模式；又例如，增强现实眼镜接收到云端发送的交互指令，进入交互模式，如增强现实眼镜运行某软件，社交软件接收到云端发送的推送消息接收与否的交互指令，增强现实眼镜基于该交互指令，进入对应的交互模式；又例如，增强现实眼镜还可以根据用户的操作指令生成对应的交互信息，例如，增强现实眼镜通过识别用户手势、语音、用户在触摸触摸板上固定位置的按键等方式，进入人机交互模式，如用户想要通过增强现实眼镜进行远程通信，用户可以通过语音、特定手势等使增强现实眼镜进入远程通信的拨号交互界面；当然，用户还可以通过在触摸板上的触摸操作，激活对应的交互模式，例如，用户在触摸板左上角触摸一定时间，激活数字输入交互指令等，用户在触摸板右上角触摸一定时长，激活字符输入交互指令等，用户在触摸板右下角触摸一定时长，激活快速列表选择交互界面指令等。增强现实眼镜进入交互模式后，通过摄像头拍摄关于触摸板的图像，并基于该图像确定触摸板中触摸区域相对于智能眼镜的位置信息。
当然，本领域技术人员应能理解，上述交互模式仅为举例，其他现有的或今后可能出现的交互模式如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，步骤S15包括子步骤S151(未示出)和步骤S152(未示出)。在步骤S151中，当所述增强现实头戴设备进入交互模式，增强现实头戴设备向所述增强现实头戴设备对应的触摸设备发送激活定位参考指令，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；在步骤S152中，增强现实头戴设备通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述图像信息包括所述触摸设备中被激活的定位参考信息；其中，在步骤S11中，增强现实头戴设备根据所述图像信息中所述定位参考信息确定所述触摸设备的触摸区域信息。其中，激活定位参考指令包括用于激活触摸板上定位参考装置的指令。例如，触摸板上安装有对应的定位参考装置，当增强现实眼镜进入交互模式，增强现实眼镜向触摸板发送一个激活定位参考指令，触摸板接收该激活定位参考指令后激活对应的定位参考信息，增强现实眼镜通过摄像头拍摄包括该激活定位参考装置的图像，并基于该激活定位参考装置确定该触摸板中触摸区域相对于增强现实眼镜的位置信息等。
例如，触摸板上安装有可激活的定位参考装置，如具有标识作用的LED灯等。当增强现实眼镜进入交互模式，增强现实眼镜向触摸板发送一个激活LED灯的激活定位参考指令，触摸板接收该激活定位参考指令后激活该LED灯，增强现实眼镜的摄像头拍摄该激活LED灯后的关于触摸板的图像，并基于LED灯在触摸板上的位置等信息，计算触摸区域的位置。在一些实施例中，触摸板可以布置有多个不同颜色的LED灯，增强现实眼镜根据交互界面内容的不同，向触摸板发送不同的激活指令，如增强现实眼镜当前交互界面包括数字输入交互，增强现实眼镜向触摸板发送全黄灯激活指令等。
当然，本领域技术人员应能理解，上述激活定位参考指令仅为举例，其他现有的或今后可能出现的激活定位参考指令如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，在步骤S151中，当所述增强现实头戴设备进入交互模式，增强现实头戴设备确定所述增强现实头戴设备对应的触摸设备中的目标触摸区域，其中，所述目标触摸区域与当前交互模式的交互界面信息相匹配，所述触摸设备与所述增强现实头戴设备分体设置并可通信，随后，增强现实头戴设备向所述触摸设备发送与所述目标触摸区域相对应的激活定位参考指令。
例如，触摸板上触摸区域为正方形区域，在该区域内布置有多个LED灯。当增强现实眼镜进入交互模式，增强现实眼镜根据交互内容，确定触摸板上的目标触摸区域，例如，增强现实眼镜进入字符输入交互模式，该字符输入交互界面为长方形，则增强现实眼镜根据预设的触摸区域面积，计算出比较合理的该字符输入交互界面的长方形目标触摸区域，并向增强现实眼镜发送对应的激活对应长方形目标触摸区域的LED灯的指令，触摸板接收该指令，并激活对应的LED灯，其中，LED灯的激活指令包括增强现实眼镜根据交互界面信息确定的预设触摸区域对应的预设的LED灯的位置、颜色和数量，还包括增强现实眼镜根据交互界面信息实时确定的目标触摸区域对应的LED灯的位置、颜色和数量等。
当然，本领域技术人员应能理解，上述目标触摸区域仅为举例，其他现有的或今后可能出现的目标触摸区域如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，该方法还包括步骤S16(未示出)。在步骤S16中，增强现实头戴设备通过所述摄像装置重新拍摄关于所述触摸设备的图像信息，并根据重新拍摄的所述图像信息更新所述触摸设备的触摸区域信息；其中，在步骤S12中，增强现实头戴设备根据更新后的所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
例如，增强现实设备进入交互模式后，未接收到的触摸设备发送的用户的触摸操作信息等，或者增强现实眼镜检测采集的图像有变化(如用户运动导致的增强现实眼镜画面变动、用户调整触摸板位置等)，增强现实设备通过摄像头重新拍摄当前关于触摸板的画面，并利用计算机视觉算法，如视觉跟踪算法等计算触摸区域信息在增强现实眼镜屏幕上的屏幕参考位置，并将交互界面信息重新叠加在该屏幕参考位置。
在一些实施例中，在步骤S11中，增强现实头戴设备根据所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备对应的定位参考信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，并基于所述定位参考信息确定所述触摸设备的触摸区域信息。
例如，触摸板上安装有定位参考装置，如具有标识作用的LED灯、图案贴条等。增强现实眼镜根据获取的关于触摸板的图像帧信息，基于计算机视觉等技术确定触摸板上定位参考装置的位置信息，如，增强现实眼镜根据触摸板周围的LED灯或特定贴条图案识别图像帧中触摸板对应的LED灯或特定贴条图案的位置信息。随后，增强现实眼镜根据该定位参考装置的位置信息，根据已知的定位装置在触摸板上的物理尺寸以及与触摸区域的位置关系，确定触摸板上触摸区域的位置信息，其中，该触摸区域的位置信息包括该触摸区域相对于增强现实眼镜的位置关系；例如，我们利用触摸区域的坐标，结合识别和跟踪算法返回的转换矩阵，计算出触摸区域在眼镜摄像头三维坐标系下的坐标位置。
当然，本领域技术人员应能理解，上述定位参考信息仅为举例，其他现有的或今后可能出现的定位参考信息如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，在步骤S12中，增强现实头戴设备根据所述触摸区域信息确定所述触摸区域信息在所述增强现实头戴设备屏幕中的屏幕参考信息，并根据所述屏幕参考信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。其中，屏幕参考信息包括将交互界面信息叠加显示在触摸区域时该触摸区域在屏幕中的屏幕位置信息。
例如，人眼和眼镜屏幕组成一个虚拟的相机坐标系，我们将人的眼睛中心作为虚拟相机坐标系的原点，将触摸区域在眼镜实体摄像头三维坐标系下的坐标位置变换到人眼虚拟相机三维坐标系下，然后根据相机内参矩阵将人眼虚拟相机三维坐标系中的触摸区域的点坐标转换到眼镜屏幕二维坐标系中的触摸区域的像素点坐标形成屏幕参考信息。随后，增强现实眼镜按照屏幕参考信息的大小及形状呈现对应的交互界面信息，从而使得用户通过增强现实眼镜观察到交互界面信息叠加显示于触摸板的触摸区域。
当然，本领域技术人员应能理解，上述屏幕参考信息仅为举例，其他现有的或今后可能出现的屏幕参考信息如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，该方法还包括步骤S17(未示出)。在步骤S17中，增强现实头戴设备建立所述触摸区域与所述交互界面信息的映射关系；其中，在步骤S14中，增强现实头戴设备根据所述触摸操作信息、所述交互界面信息，以及所述触摸区域与所述交互界面信息的映射关系，确定对应的人机交互操作，并执行所述人机交互操作。在一些实施例中，触摸区域与交互界面信息的映射关系，可以是增强现实眼镜根据交互界面信息，实时获取的触摸板与交互界面中交互内容的映射关系；在另一些实施例中，触摸区域与交互界面信息的映射关系，可以是增强现实眼镜应用中交互界面需要输入的内容(如字母、数字、快速列表、选择框等)和触摸板预先匹配建立的映射关系。
例如，增强现实眼镜根据触摸板上触摸区域的大小及形状，与交互界面按照一定比例形成对应的映射关系，例如，交互界面包括在A、B、C、D中做选择的选择界面，交互界面为两条中线形成的四分区域，其中，左上角对应A选项，右上角对应B选项，左下角对应C选项，右下角对应D选项，增强现实眼镜根据存储的触摸区域的大小及形状，例如，触摸区域为10cm*10cm的正方形区域，则将该正方形区域按照两条中线分为四个5cm*5cm的正方形，其中，左上角正方形区域对应A选项，右上角正方形区域对应B选项，左下角正方形区域对应C选项，右下角正方形区域对应D选项。随后，增强现实眼镜根据用户的触摸操作信息制定对应的人机交互操作，例如，增强现实眼镜接收到触摸板发送的用户触摸左下角正方形区域的触摸操作信息，增强现实眼镜确定对应的人机交互操作为C选项对应的人机交互操作，并执行该人机交互操作。
又如，增强现实眼镜在设计阶段预先建立各交互界面与触摸板触摸区域的映射关系，如交互界面信息包括A、B、C、D的选择项交互界面，触摸板的左上角区域对应A选项、右上角区域对应B选项、左下角区域对应C选项、右下角区域对应D选项。增强现实眼镜接收到交互指令，其中，该交互指令包括A、B、C、D的选择项交互界面，增强现实眼镜调用预先建立的映射关系，根据用户的触摸操作信息和交互界面信息中各选项对应的交互指令，确定对应的人机交互指令，并执行对应的人机交互操作。
图4示出了根据本申请另一个方面的一种在触摸设备端进行人机交互的方法，其中，该方法包括步骤S21和步骤S22。在步骤S21中，触摸设备获取用户在触摸设备的触摸区域的触摸操作信息；在步骤S22中，触摸设备将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。例如，触摸设备记录用户的触摸操作，生成对应的触摸操作信息，其中，该触摸操作信息包括，用户在触摸区域触摸的位置、时长等信息。随后，触摸设备将该触摸操作信息发送至增强现实头戴设备。其中，该触摸板可以预先建立各交互界面对应的触摸区域，如数字键0-9对应着触摸板上的数字触摸区域，字符输入界面对应着触摸板上字符触摸区域，且数字触摸区域与字符触摸区域可以是分开的，也可以是部分重叠的，还可以是同一块触摸区域。
例如，用户穿戴着增强现实眼镜，并手持触摸板，正在使用分体式增强现实设备，其中，增强现实眼镜与触摸板通过有线或无线的方式建立通信连接。增强现实眼镜检测到应用发送的交互信号信息，进入人机交互模式。随后，增强现实眼镜根据存储的触摸板的图像进行图像识别，在当前采集的关于触摸板的图像帧中识别触摸板，利用计算机视觉算法计算该触摸板的触摸区域相对于增强现实眼镜的位置，并基于该触摸区域相对于增强现实眼镜的位置信息计算该触摸区域在屏幕中的位置。增强现实眼镜将交互界面信息叠加显示在触摸区域在屏幕中的位置信息，呈现交互界面信息，如将数字键对应的交互界面呈现于触摸区域对应的位置，使得用户通过增强现实眼镜可以在触摸区域观察到该叠加显示的交互界面。触摸板识别用户在触摸区域的触摸操作信息，并将该触摸操作信息发送至增强现实眼镜。增强现实眼镜根据接收到的触摸操作信息，结合交互界面中执行对应的人机交互指令。
在一些实施例中，该方法还包括步骤S231(未示出)和步骤S232(未示出)。在步骤S231中，触摸设备接收所述增强现实头戴设备发送的激活定位参考指令；在步骤S232中，触摸设备根据所述激活定位参考指令，激活所述触摸设备中的定位参考信息。
例如，触摸板上安装有可激活的定位参考装置，如具有标识作用的LED灯。当增强现实眼镜进入交互模式，增强现实眼镜向触摸板发送一个激活LED灯的激活定位参考指令，触摸板接收该激活定位参考指令后激活该LED灯。在一些实施例中，触摸板可以布置有多个不同颜色的LED灯，增强现实眼镜根据交互界面内容的不同，向触摸板发送不同的激活指令，触摸板接收该激活指令后激活对应的LED灯，如增强现实眼镜当前交互界面包括数字输入交互，增强现实眼镜向触摸板发送全黄灯激活指令，触摸板接收该全黄灯激活指令，激活黄色的LED灯。
在一些实施例中，在步骤S232中，触摸设备确定所述触摸设备中与所述激活定位参考指令相对应的目标触摸区域，并激活所述目标触摸区域在所述触摸设备中对应的定位参考信息。
例如，触摸板接收增强现实眼镜发送的激活定位参考指令，其中，该激活定位参考指令包含对应的目标触摸区域，触摸板根据该触摸区域确定对应的目标触摸区域，并激活该目标触摸区域对应的定位参考信息。例如，增强现实眼镜进入字符输入交互模式，该字符输入交互界面为长方形，则增强现实眼镜根据预设的触摸区域面积，计算出比较合理的该字符输入交互界面的长方形目标触摸区域，并向增强现实眼镜发送对应的激活对应长方形目标触摸区域的LED灯的指令，触摸板接收该指令，并激活对应的LED灯。
在一些实施例中，根据本申请的又一个方面，提供了一种在增强现实头戴设备端进行人机交互的方法，其中，该方法包括：
增强现实头戴设备将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
增强现实头戴设备接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；
增强现实头戴设备根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
在另一些实施例中，根据本申请的又一个方面，提供了一种在触摸设备端进行人机交互的方法，其中，该方法包括：
触摸设备接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
触摸设备根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；
触摸设备将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；
触摸设备获取用户在所述触摸区域的触摸操作信息；
触摸设备根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
例如，用户穿戴着增强现实眼镜，并手持触摸板，正在使用分体式增强现实设备，其中，增强现实眼镜与触摸板通过有线或无线的方式建立通信连接。增强现实眼镜检测到应用发送的交互信号信息，进入人机交互模式，其中，该交互信号信息可以是触摸板发送至增强现实眼镜，也可以是云端发送至增强现实眼镜的。随后，增强现实眼镜通过摄像头拍摄关于触摸板的图像信息，并将该图像信息发送至触摸板。随后，触摸板基于增强现实眼镜发送的图像信息在该一个或多个图像帧中识别触摸板，利用计算机视觉算法计算该触摸板的触摸区域相对于增强现实眼镜的位置，并基于该触摸区域相对于的增强现实眼镜的位置信息计算该触摸区域在屏幕中的屏幕参考信息。触摸板将该屏幕参考信息和交互界面信息发送至增强现实眼镜，增强现实眼镜基于接收到的屏幕参考信息将该交互界面信息叠加显示在触摸区域，呈现交互界面信息，如将选择项对应的交互界面呈现于触摸区域对应的位置，使得用户通过增强现实眼镜可以在触摸区域观察到该叠加显示交互界面。触摸板识别用户在触摸区域的触摸操作信息，并根据该触摸操作信息，结合交互界面确定对应的人机交互指令，随后，触摸板执行该人机交互指令。
图5示出了根据本申请的一个方面的一种进行人机交互的增强现实头戴设备，该设备包括确定模块11、呈现模块12、接收模块13和执行模块14。确定模块11，用于根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；呈现模块12，用于根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；接收模块13，用于接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息；执行模块14，用于根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
具体而言，确定模块11，用于根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。其中，分体式增强现实设备包括增强现实头戴设备与触摸设备，增强现实头戴设备包括但不限于增强现实头盔、增强现实眼镜等，触摸设备包括但不限于触摸板等，在此以增强现实眼镜为例阐述以下实施例，本领域技术人员应能理解，以下该等实施例同样适用于其他分体式增强现实设备如增强现实头盔等。而且，在分体式增强现实设备中，增强现实头戴设备与触摸设备分体设置且可通信，例如，增强现实眼镜与触摸板分体设置，其中，分体式增强现实眼镜为头戴部分，触摸板为手持部分，增强现实眼镜与触摸板通过有线或无线的方式建立通信连接，其中，触摸板包括该增强现实眼镜呈现交互界面信息的触摸区域。在一些实施例中，增强现实眼镜根据采集到的触摸板相关的图像帧，利用计算机视觉等技术确定触摸板的触摸区域信息，其中，触摸区域信息包括触摸区域相对于增强现实眼镜的位置信息等。在另一些实施例中，增强现实眼镜包括将采集到的图像帧呈现在屏幕上的不透视的增强现实眼镜，增强现实眼镜根据采集到的触摸板相关的图像帧，利用计算机视觉等技术确定触摸板的触摸区域信息，其中，触摸区域信息包括触摸区域在增强现实眼镜屏幕上的位置信息等。以下主要以增强现实眼镜的透视模式为例阐述以下实施例，本领域技术人员应能理解，该等实施例同样适用于不透视的增强现实眼镜等。
呈现模块12，用于根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。其中，交互界面信息包括用于呈现给用户、供用户输入交互指令的交互界面，例如，用于文字输入的输入界面、用于点击进行选择的选择界面等；触摸区域包括用于供增强现实眼镜呈现对应的交互界面信息的触摸板中的区域，而且，该区域具有识别用户触摸位置、面积和时长等信息的功能。在一些实施例中，增强现实眼镜根据触摸区域相对于增强现实眼镜的位置信息，利用计算机视觉算法确定交互界面呈现在触摸区域时在增强现实眼镜中显示的位置，增强现实眼镜将该交互界面呈现于触摸板的触摸区域。随后，增强现实眼镜根据视觉跟踪算法将该交互界面持续呈现于触摸区域。
接收模块13，用于接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息。其中，该触摸操作信息包括触摸板识别的用户在触摸板上操作的位置、时间和面积等信息。在一些实施例中，触摸板识别用户在触摸板上操作的位置、时间和面积等触摸操作信息，将该触摸操作信息发送至增强现实头戴设备，增强现实头戴设备接收触摸设备上传的触摸操作信息。
执行模块14，用于根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。例如，增强现实眼镜接收到触摸设备上传的触摸操作信息，并根据该触摸操作信息中用户的操作结合交互界面信息，如根据用户点击的位置确定该触摸区域位置在交互界面对应的位置，进而确定用户操作在交互界面对应的交互操作指令，随后，增强现实眼镜执行对应的人机交互操作。
例如，用户穿戴着增强现实眼镜，并手持触摸板，正在使用分体式增强现实设备，其中，增强现实眼镜与触摸板通过有线或无线的方式建立通信连接。增强现实眼镜检测到应用发送的交互信号信息，进入人机交互模式，其中，该交互信号信息可以是增强现实眼镜本地生成，也可以是云端发送至增强现实眼镜的，该交互信号信息包含“四选一”交互界面信息等。随后，增强现实眼镜根据存储的触摸板的图像进行图像识别，在当前采集的关于触摸板的图像帧中识别触摸板，利用计算机视觉算法计算该触摸板的触摸区域相对于增强现实眼镜的位置，并基于该触摸区域相对于的增强现实眼镜的位置信息计算该触摸区域在屏幕中的位置。增强现实眼镜将交互界面信息叠加显示在触摸区域在屏幕中的位置，呈现交互界面信息，如将选择项对应的交互界面呈现于触摸区域对应的位置，使得用户通过增强现实眼镜可以在触摸区域观察到该叠加显示的“四选一”交互界面，如将“A选项”叠加显示在触摸区域左上角，“B选项”叠加显示在触摸区域右上角，“C选项”叠加显示在触摸区域左下角，“D选项”叠加显示在触摸区域右下角。触摸板识别用户在触摸区域的触摸操作信息，如用户在触摸区域左下角的点击操作，并将该触摸操作信息发送至增强现实眼镜。增强现实眼镜根据接收到的用户在左下角点击的触摸操作信息，结合交互界面中左下角的“C选项”，执行“C选项”对应的人机交互指令。
又如，用户穿戴着增强现实眼镜，并手持触摸板，正在使用分体式增强现实设备，其中，增强现实眼镜与触摸板通过有线或无线的方式建立通信连接，增强现实眼镜包括不透视增强现实眼镜，该增强现实眼镜通过将采集到的实景画面呈现在屏幕上，将虚拟内容叠加到该实景画面上实现虚拟现实功能。增强现实眼镜根据存储的触摸板的图像进行图像识别，在当前采集的关于触摸板的图像帧中识别触摸板，利用计算机视觉算法计算该触摸板的触摸区域在增强现实眼镜屏幕中的位置。增强现实眼镜将交互界面信息叠加显示在触摸区域在屏幕中的位置，呈现交互界面信息，如将数字键对应的交互界面呈现于触摸区域对应的位置，使得用户通过增强现实眼镜可以在触摸区域观察到该叠加显示的数字键交互界面。触摸板识别用户在触摸区域的触摸操作信息，如用户在触摸区域的点击操作，并将该触摸操作信息发送至增强现实眼镜。增强现实眼镜根据接收到的用户击的触摸操作信息，结合交互界面执行对应的人机交互指令。
当然，本领域技术人员应能理解，上述触摸操作信息仅为举例，其他现有的或今后可能出现的触摸操作信息如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，所述增强现实头戴设备包括摄像装置；其中，该设备还包括拍摄模块15(未示出)。拍摄模块15，用于通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；其中，确定模块11，用于根据所述图像信息确定所述触摸设备的触摸区域信息。
例如，增强现实眼镜安装有摄像装置(如摄像头等)，并通过该摄像装置拍摄视野中的实景，利用计算机视觉算法将虚拟内容叠加显示在实景中。增强现实眼镜通过该摄像装置拍摄当前视野中的实景获得关于触摸板的一个或多个图像帧，并在该一个或多个图像帧中识别触摸板，计算触摸板中触摸区域相对于增强现实眼镜的位置信息。
当然，本领域技术人员应能理解，上述摄像装置仅为举例，其他现有的或今后可能出现的摄像装置如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
例如，我们可以假设，目标物本身有个三维坐标系(假设为世界坐标系)，眼镜实体摄像头有个三维坐标系，人眼和眼镜屏幕组成一个虚拟的相机坐标系，眼镜屏幕有个二维坐标系。目标物本身在世界坐标系中的坐标是已知的，首先将其转换到眼镜实体摄像头的三维坐标系下，转换矩阵通过识别跟踪算法得出。再根据标定参数的外参(已知)转换到人眼和眼镜屏幕组成的虚拟相机坐标系上，最后根据虚拟相机内参(已知)得到眼镜屏幕上的坐标。因此可以计算出目标物最终在眼镜屏幕中的位置。此处，我们将目标物在世界坐标系下的坐标转换到眼镜上的实体相机坐标系(眼镜摄像头对应的坐标系)下其中，该转换矩阵通过识别跟踪算法得出。其中，从世界坐标转换到图像坐标的具体摄像机模型如下：
1、理想模型
图2示出了摄像机的基本成像模型，通常称为基本针孔模型，由三维空间到平面的中心投影变换所给出。
如图2，Oc是摄像机中心，它到摄像机像平面π的距离为f，f称为摄像机的焦距。空间点Xc在平面π上的投影(或像)m是以点Oc为端点并经过点Xc的射线与平面π的交点,以点Oc为端点且垂直于像平面的射线称为光轴或主轴，主轴与像平面的交点p称为摄像机的主点。为了从代数上描述这种投影关系，需要建立摄像机坐标系和图像平面坐标系。在图像平面上，以主点p为像平面坐标系的坐标原点，以水平线与铅直线分别为x轴和y轴，建立图像坐标系o-xy。在空间中，以摄像机中心Oc为摄像机坐标系的坐标原点，建立摄像机坐标系O-xcyczc，如图2(b)所示。空间点Xc在摄像机坐标系中的齐次坐标记为Xc＝(xc,yc,zc,1)T，它的像点m在图像坐标系中的齐次坐标记m＝(x,y,1)T，称(Xc,m)为一组对。根据三角形相似原理，可推知空间点Xc与它的像点m满足下述关系：
Figure BDA0001578706910000291
转换成矩阵形式：
Figure BDA0001578706910000292
其中，Xc＝(xc,yc,zc,1)T，m＝(x,y,1)T分别是空间点和图像点的齐次坐标，是从空间到像平面的一个齐次线性变换。记P＝diag(f,f,1)(I,0),则上式可以表示为更简单形式：
m＝PXc (3)
注意：(3)是一个齐次等式，表示在相差一个非零常数因子的意义下相等。通常称矩阵P为摄像机矩阵。这就是基本成像模型的代数表示。
2、实际模型
上面讨论的是理论情况(主点就是图像坐标系的原点)，但实际情况中，
一、图像平面的坐标原点可能不在主点上；
二、用于计算机处理的图像通常都是用CCD摄像机所获取的数字图像，将图像平面的点进行数字离散化。
在以上推导的理想模型中，假设的图像坐标在两个轴上的尺度不相等，这样CCD摄像机数字离散化后的像素不是一个正方形，因此有必要引入非等量尺度因子；第三，一般摄像有扭曲参数的存在。
在以上三种条件的限制下，理想的中心投影模型可以对应改写为五个参数的模型：
Figure BDA0001578706910000301
同样，则摄像机的投影关系可以写成：
m＝K(I,0)Xc＝PXc (5)
其中：
Figure BDA0001578706910000302
是摄像机内参数矩阵，fx,fy称为CCD摄像机在u轴和v轴方向上的尺度因子，(u0,v0)T称为CCD摄像机的主点。s称为CCD摄像机的畸变因子或倾斜因子。摄像机的内部参数共有五个。
3、一般模型
我们一般描述一个三维点，由于相机可能一直在运动，所以我们并不是基于摄像机坐标系下对其描述，而是在世界坐标系下进行描述。世界坐标系与相机坐标系之间的关系可以用旋转矩阵和平移向量来描述，如图3所示。
令空间点在世界坐标系与摄像机坐标系的坐标分别为X＝(x,y,z,1)T，Xc＝(xc,yc,zc,1)T，则二者之间的关系：
Figure BDA0001578706910000303
将(6)带入(5)，得到：
Figure BDA0001578706910000304
其中，
Figure BDA0001578706910000311
表示摄像机中心在世界坐标系中的坐标，摄像机矩阵
Figure BDA0001578706910000312
Figure BDA0001578706910000313
Figure BDA0001578706910000314
为摄像机的外参数矩阵。其中，R＝(α,β,γ)是旋转矩阵，α,β,γ分别是绕摄像机坐标系x,y,z轴的旋转角度。
Figure BDA0001578706910000315
是平移矩阵,Tx,Ty,Tz分别是绕摄像机坐标系x,y,z轴的平移量，所以摄像机外参由6个参数组成(α,β,γ,Tx,Ty,Tz)。
在一些实施例中，拍摄模块15，当所述增强现实头戴设备进入交互模式，用于通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。
例如，增强现实眼镜通过本地应用自动响应的交互指令，进入交互模式，如启动部分本地程序时，该程序自动响应的账号密码输入交互指令，增强现实眼镜接收到该交互指令，进入交互模式；又例如，增强现实眼镜接收到云端发送的交互指令，进入交互模式，如增强现实眼镜运行某软件，社交软件接收到云端发送的推送消息接收与否的交互指令，增强现实眼镜基于该交互指令，进入对应的交互模式；又例如，增强现实眼镜还可以根据用户的操作指令生成对应的交互信息，例如，增强现实眼镜通过识别用户手势、语音、用户在触摸触摸板上固定位置的按键等方式，进入人机交互模式，如用户想要通过增强现实眼镜进行远程通信，用户可以通过语音、特定手势等使增强现实眼镜进入远程通信的拨号交互界面；当然，用户还可以通过在触摸板上的触摸操作，激活对应的交互模式，例如，用户在触摸板左上角触摸一定时间，激活数字输入交互指令等，用户在触摸板右上角触摸一定时长，激活字符输入交互指令等，用户在触摸板右下角触摸一定时长，激活快速列表选择交互界面指令等。增强现实眼镜进入交互模式后，通过摄像头拍摄关于触摸板的图像，并基于该图像确定触摸板中触摸区域相对于智能眼镜的位置信息。
当然，本领域技术人员应能理解，上述交互模式仅为举例，其他现有的或今后可能出现的交互模式如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，拍摄模块15包括激活单元151(未示出)和拍摄单元152(未示出)。激活单元151，当所述增强现实头戴设备进入交互模式，用于向所述增强现实头戴设备对应的触摸设备发送激活定位参考指令，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；拍摄单元152，用于通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述图像信息包括所述触摸设备中被激活的定位参考信息；其中，确定模块11，用于根据所述图像信息中所述定位参考信息确定所述触摸设备的触摸区域信息。其中，激活定位参考指令包括用于激活触摸板上定位参考装置的指令。例如，触摸板上安装有对应的定位参考装置，当增强现实眼镜进入交互模式，增强现实眼镜向触摸板发送一个激活定位参考指令，触摸板接收该激活定位参考指令后激活对应的定位参考信息，增强现实眼镜通过摄像头拍摄包括该激活定位参考装置的图像，并基于该激活定位参考装置确定该触摸板中触摸区域相对于增强现实眼镜的位置信息等。
例如，触摸板上安装有可激活的定位参考装置，如具有标识作用的LED灯等。当增强现实眼镜进入交互模式，增强现实眼镜向触摸板发送一个激活LED灯的激活定位参考指令，触摸板接收该激活定位参考指令后激活该LED灯，增强现实眼镜的摄像头拍摄该激活LED灯后的关于触摸板的图像，并基于LED灯在触摸板上的位置等信息，计算触摸区域的位置。在一些实施例中，触摸板可以布置有多个不同颜色的LED灯，增强现实眼镜根据交互界面内容的不同，向触摸板发送不同的激活指令，如增强现实眼镜当前交互界面包括数字输入交互，增强现实眼镜向触摸板发送全黄灯激活指令等。
当然，本领域技术人员应能理解，上述激活定位参考指令仅为举例，其他现有的或今后可能出现的激活定位参考指令如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，激活单元151，当所述增强现实头戴设备进入交互模式，用于确定所述增强现实头戴设备对应的触摸设备中的目标触摸区域，其中，所述目标触摸区域与当前交互模式的交互界面信息相匹配，所述触摸设备与所述增强现实头戴设备分体设置并可通信，随后，向所述触摸设备发送与所述目标触摸区域相对应的激活定位参考指令。
例如，触摸板上触摸区域为正方形区域，在该区域内布置有多个LED灯。当增强现实眼镜进入交互模式，增强现实眼镜根据交互内容，确定触摸板上的目标触摸区域，例如，增强现实眼镜进入字符输入交互模式，该字符输入交互界面为长方形，则增强现实眼镜根据预设的触摸区域面积，计算出比较合理的该字符输入交互界面的长方形目标触摸区域，并向增强现实眼镜发送对应的激活对应长方形目标触摸区域的LED灯的指令，触摸板接收该指令，并激活对应的LED灯，其中，LED灯的激活指令包括增强现实眼镜根据交互界面信息确定的预设触摸区域对应的预设的LED灯的位置、颜色和数量，还包括增强现实眼镜根据交互界面信息实时确定的目标触摸区域对应的LED灯的位置、颜色和数量等。
当然，本领域技术人员应能理解，上述目标触摸区域仅为举例，其他现有的或今后可能出现的目标触摸区域如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，该设备还包括重拍摄模块16(未示出)。重拍摄模块16，用于通过所述摄像装置重新拍摄关于所述触摸设备的图像信息，并根据重新拍摄的所述图像信息更新所述触摸设备的触摸区域信息；其中，呈现模块12，用于根据更新后的所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
例如，增强现实设备进入交互模式后，未接收到的触摸设备发送的用户的触摸操作信息等，或者增强现实眼镜检测采集的图像有变化(如用户运动导致的增强现实眼镜画面变动、用户调整触摸板位置等)，增强现实设备通过摄像头重新拍摄当前关于触摸板的画面，并利用计算机视觉算法，如视觉跟踪算法等计算触摸区域信息在增强现实眼镜屏幕上的屏幕参考位置，并将交互界面信息重新叠加在该屏幕参考位置。
在一些实施例中，确定模块11，用于根据所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备对应的定位参考信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，并基于所述定位参考信息确定所述触摸设备的触摸区域信息。
例如，触摸板上安装有定位参考装置，如具有标识作用的LED灯、图案贴条等。增强现实眼镜根据获取的关于触摸板的图像帧信息，基于计算机视觉等技术确定触摸板上定位参考装置的位置信息，如，增强现实眼镜根据触摸板周围的LED灯或特定贴条图案识别图像帧中触摸板对应的LED灯或特定贴条图案的位置信息。随后，增强现实眼镜根据该定位参考装置的位置信息，根据已知的定位装置在触摸板上的物理尺寸以及与触摸区域的位置关系，确定触摸板上触摸区域的位置信息，其中，该触摸区域的位置信息包括该触摸区域相对于增强现实眼镜的位置关系；例如，我们利用触摸区域的坐标，结合识别和跟踪算法返回的转换矩阵，计算出触摸区域在眼镜摄像头三维坐标系下的坐标位置。
当然，本领域技术人员应能理解，上述定位参考信息仅为举例，其他现有的或今后可能出现的定位参考信息如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，呈现模块12，用于根据所述触摸区域信息确定所述触摸区域信息在所述增强现实头戴设备屏幕中的屏幕参考信息，并根据所述屏幕参考信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。其中，屏幕参考信息包括将交互界面信息叠加显示在触摸区域时该触摸区域在屏幕中的屏幕位置信息。
例如，人眼和眼镜屏幕组成一个虚拟的相机坐标系，我们将人的眼睛中心作为虚拟相机坐标系的原点，将触摸区域在眼镜实体摄像头三维坐标系下的坐标位置变换到人眼虚拟相机三维坐标系下，然后根据相机内参矩阵将人眼虚拟相机三维坐标系中的触摸区域的点坐标转换到眼镜屏幕二维坐标系中的触摸区域的像素点坐标形成屏幕参考信息。随后，增强现实眼镜按照屏幕参考信息的大小及形状呈现对应的交互界面信息，从而使得用户通过增强现实眼镜观察到交互界面信息叠加显示于触摸板的触摸区域。
当然，本领域技术人员应能理解，上述屏幕参考信息仅为举例，其他现有的或今后可能出现的屏幕参考信息如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。
在一些实施例中，该设备还包括建立模块17(未示出)。建立模块17，用于建立所述触摸区域与所述交互界面信息的映射关系；其中，执行模块14，用于根据所述触摸操作信息、所述交互界面信息及所述触摸区域与所述交互界面信息的映射关系，确定对应的人机交互操作，并执行所述人机交互操作。在一些实施例中，触摸区域与交互界面信息的映射关系，可以是增强现实眼镜根据交互界面信息，实时获取的触摸板与交互界面中交互内容的映射关系；在另一些实施例中，触摸区域与交互界面信息的映射关系，可以是增强现实眼镜应用中交互界面需要输入的内容(如字母、数字、快速列表、选择框等)和触摸板预先匹配建立的映射关系。
例如，增强现实眼镜根据触摸板上触摸区域的大小及形状，与交互界面按照一定比例形成对应的映射关系，例如，交互界面包括在A、B、C、D中做选择的选择界面，交互界面为两条中线形成的四分区域，其中，左上角对应A选项，右上角对应B选项，左下角对应C选项，右下角对应D选项，增强现实眼镜根据存储的触摸区域的大小及形状，例如，触摸区域为10cm*10cm的正方形区域，则将该正方形区域按照两条中线分为四个5cm*5cm的正方形，其中，左上角正方形区域对应A选项，右上角正方形区域对应B选项，左下角正方形区域对应C选项，右下角正方形区域对应D选项。随后，增强现实眼镜根据用户的触摸操作信息制定对应的人机交互操作，例如，增强现实眼镜接收到触摸板发送的用户触摸左下角正方形区域的触摸操作信息，增强现实眼镜确定对应的人机交互操作为C选项对应的人机交互操作，并执行该人机交互操作。
又如，增强现实眼镜在设计阶段预先建立各交互界面与触摸板触摸区域的映射关系，如交互界面信息包括A、B、C、D的选择项交互界面，去触摸板的左上角区域对应A选项、右上角区域对应B选项、左下角区域对应C选项、右下角区域对应D选项。增强现实眼镜接收到交互指令，其中，该交互指令包括A、B、C、D的选择项交互界面，增强现实眼镜调用预先建立的映射关系，根据用户的触摸操作信息和交互界面信息中各选项对应的交互指令，确定对应的人机交互指令，并执行对应的人机交互操作。
图6示出了根据本申请另一个方面的一种进行人机交互的触摸设备，其中，该设备包括获取模块21和发送模块22。获取模块21，用于获取用户在触摸设备的触摸区域的触摸操作信息；发送模块22，用于将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。例如，触摸设备记录用户的触摸操作，生成对应的触摸操作信息，其中，该触摸操作信息包括，用户在触摸区域触摸的位置、时长等信息。随后，触摸设备将该触摸操作信息发送至增强现实头戴设备。其中，该触摸板可以预先建立各交互界面对应的触摸区域，如数字键0-9对应着触摸板上的数字触摸区域，字符输入界面对应着触摸板上字符触摸区域，且数字触摸区域与字符触摸区域可以是分开的，也可以是部分重叠的，还可以是同一块触摸区域。
例如，用户穿戴着增强现实眼镜，并手持触摸板，正在使用分体式增强现实设备，其中，增强现实眼镜与触摸板通过有线或无线的方式建立通信连接。增强现实眼镜检测到应用发送的交互信号信息，进入人机交互模式。随后，增强现实眼镜根据存储的触摸板的图像进行图像识别，在当前采集的关于触摸板的图像帧中识别触摸板，利用计算机视觉算法计算该触摸板的触摸区域相对于增强现实眼镜的位置，并基于该触摸区域相对于的增强现实眼镜的位置信息计算该触摸区域在屏幕中的位置。增强现实眼镜将交互界面信息叠加显示在触摸区域在屏幕中的位置信息，呈现交互界面信息，如将数字键对应的交互界面呈现于触摸区域对应的位置，使得用户通过增强现实眼镜可以在触摸区域观察到该叠加显示的交互界面。触摸板识别用户在触摸区域的触摸操作信息，并将该触摸操作信息发送至增强现实眼镜。增强现实眼镜根据接收到的触摸操作信息，结合交互界面中执行对应的人机交互指令。
在一些实施例中，该设备还包括接收模块231(未示出)和激活模块232(未示出)。接收模块231，用于接收所述增强现实头戴设备发送的激活定位参考指令；激活模块232，用于根据所述激活定位参考指令，激活所述触摸设备中的定位参考信息。
例如，触摸板上安装有可激活的定位参考装置，如具有标识作用的LED灯。当增强现实眼镜进入交互模式，增强现实眼镜向触摸板发送一个激活LED灯的激活定位参考指令，触摸板接收该激活定位参考指令后激活该LED灯。在一些实施例中，触摸板可以布置有多个不同颜色的LED灯，增强现实眼镜根据交互界面内容的不同，向触摸板发送不同的激活指令，触摸板接收该激活指令后激活对应的LED灯，如增强现实眼镜当前交互界面包括数字输入交互，增强现实眼镜向触摸板发送全黄灯激活指令，触摸板接收该全黄灯激活指令，激活黄色的LED灯。
在一些实施例中，激活模块232，用于确定所述触摸设备中与所述激活定位参考指令相对应的目标触摸区域，并激活所述目标触摸区域在所述触摸设备中对应的定位参考信息。
例如，触摸板接收增强现实眼镜发送的激活定位参考指令，其中，该激活定位参考指令包含对应的目标触摸区域，触摸板根据该触摸区域确定对应的目标触摸区域，并激活该目标触摸区域对应的定位参考信息。例如，增强现实眼镜进入字符输入交互模式，该字符输入交互界面为长方形，则增强现实眼镜根据预设的触摸区域面积，计算出比较合理的该字符输入交互界面的长方形目标触摸区域，并向增强现实眼镜发送对应的激活对应长方形目标触摸区域的LED灯的指令，触摸板接收该指令，并激活对应的LED灯。
在一些实施例中，根据本申请的又一个方面，提供了一种进行人机交互的增强现实头戴设备(未示出)，其中，该设备包括：
发送模块31，用于增强现实头戴设备将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
接收模块32，用于增强现实头戴设备接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；
呈现模块33，用于增强现实头戴设备根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
在另一些实施例中，根据本申请的又一个方面，提供了一种进行人机交互的触摸设备(未示出)，其中，该设备包括：
接收模块41，用于接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信；
确定模块42，用于根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；
发送模块43，用于将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；
获取模块44，用于获取用户在所述触摸区域的触摸操作信息；
执行模块45，用于根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
例如，用户穿戴着增强现实眼镜，并手持触摸板，正在使用分体式增强现实设备，其中，增强现实眼镜与触摸板通过有线或无线的方式建立通信连接。增强现实眼镜检测到应用发送的交互信号信息，进入人机交互模式，其中，该交互信号信息可以是触摸板发送至增强现实眼镜，也可以是云端发送至增强现实眼镜的。随后，增强现实眼镜通过摄像头拍摄关于触摸板的图像信息，并将该图像信息发送至触摸板。随后，触摸板基于增强现实眼镜发送的图像信息在该一个或多个图像帧中识别触摸板，利用计算机视觉算法计算该触摸板的触摸区域相对于增强现实眼镜的位置，并基于该触摸区域相对于的增强现实眼镜的位置信息计算该触摸区域在屏幕中的屏幕参考信息。触摸板将该屏幕参考信息和交互界面信息发送至增强现实眼镜，增强现实眼镜基于接收到的屏幕参考信息将该交互界面信息叠加显示在触摸区域，呈现交互界面信息，如将选择项对应的交互界面呈现于触摸区域对应的位置，使得用户通过增强现实眼镜可以在触摸区域观察到该叠加显示交互界面。触摸板识别用户在触摸区域的触摸操作信息，并根据该触摸操作信息，结合交互界面确定对应的人机交互指令，随后，触摸板执行该人机交互指令。
图7示出根据本申请一个方面的一种在分体式增强现实设备端进行人机交互的方法，其中，所述分体式增强现实设备包括增强现实头戴设备和触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信，该方法包括：
所述增强现实头戴设备根据关于所述触摸设备的图像信息确定所述触摸设备的触摸区域信息；
所述增强现实头戴设备根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
所述触摸设备将用户在所述触摸区域的触摸操作信息发送至所述增强现实头戴设备；
所述增强现实头戴设备根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
图8示出了根据本申请一个方面的一种在分体式增强现实设备端进行人机交互的方法，其中，所述分体式增强现实设备包括增强现实头戴设备和触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信，该方法包括：
所述增强现实头戴设备将关于所述触摸设备的图像信息发送至所述触摸设备；
所述触摸设备接收所述图像信息，根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息，并将所述屏幕参考信息和交互界面信息发送至所述增强现实头戴设备；
所述增强现实头戴设备接收所述交互界面信息和所述屏幕参考信息，并根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
所述触摸设备获取用户在所述触摸区域的触摸操作信息，根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (37)

1.一种在增强现实头戴设备端进行人机交互的方法，其中，该方法包括：
根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，所述增强现实头戴设备与所述触摸设备属于同一分体式增强现实设备；
根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息，其中，所述触摸操作信息包括所述触摸设备识别的用户操作在所述触摸区域内的位置；
根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作；
其中，所述根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作包括：确定所述用户操作在所述触摸区域内的位置在所述交互界面信息中对应的位置，再确定所述用户操作在所述交互界面信息对应的交互操作指令，执行对应的人机交互操作。
2.根据权利要求1所述的方法，其中，所述增强现实头戴设备包括摄像装置；
其中，所述方法还包括：
通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
其中，所述根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，包括：
根据所述图像信息确定所述触摸设备的触摸区域信息。
3.根据权利要求2所述的方法，其中，所述通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，包括：
当所述增强现实头戴设备进入交互模式，通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。
4.根据权利要求3所述的方法，其中，所述当所述增强现实头戴设备进入交互模式，通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，包括：
当所述增强现实头戴设备进入交互模式，向所述增强现实头戴设备对应的触摸设备发送激活定位参考指令，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述图像信息包括所述触摸设备中被激活的定位参考信息；
其中，所述根据所述图像信息确定所述触摸设备的触摸区域信息，包括：
根据所述图像信息中所述定位参考信息确定所述触摸设备的触摸区域信息。
5.根据权利要求4所述的方法，其中，所述当所述增强现实头戴设备进入交互模式，向所述增强现实头戴设备对应的触摸设备发送激活定位参考指令，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，包括：
当所述增强现实头戴设备进入交互模式，确定所述增强现实头戴设备对应的触摸设备中的目标触摸区域，其中，所述目标触摸区域与当前交互模式的交互界面信息相匹配，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
向所述触摸设备发送与所述目标触摸区域相对应的激活定位参考指令。
6.根据权利要求2所述的方法，其中，所述方法还包括：
通过所述摄像装置重新拍摄关于所述触摸设备的图像信息；
根据重新拍摄的所述图像信息更新所述触摸设备的触摸区域信息；
其中，所述根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域，包括：
根据更新后的所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
7.根据权利要求1所述的方法，其中，所述根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，包括：
根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备对应的定位参考信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
基于所述定位参考信息确定所述触摸设备的触摸区域信息。
8.根据权利要求1所述的方法，其中，所述根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域，包括：
根据所述触摸区域信息确定所述触摸区域信息在所述增强现实头戴设备屏幕中的屏幕参考信息；
根据所述屏幕参考信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
9.根据权利要求1所述的方法，其中，所述方法还包括：
建立所述触摸区域与所述交互界面信息的映射关系；
其中，所述根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作，包括：
根据所述触摸操作信息、所述交互界面信息，以及所述触摸区域与所述交互界面信息的映射关系，确定对应的人机交互操作；
执行所述人机交互操作。
10.一种在触摸设备端进行人机交互的方法，其中，该方法包括：
获取用户在触摸设备的触摸区域的触摸操作信息，其中，所述触摸操作信息包括所述触摸设备识别的用户操作在所述触摸区域内的位置；
将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，所述增强现实头戴设备与所述触摸设备属于同一分体式增强现实设备，所述增强现实头戴设备根据所述触摸操作信息及交互界面信息，执行对应的人机交互操作，所述根据所述触摸操作信息及交互界面信息，执行对应的人机交互操作包括：确定所述用户操作在所述触摸区域内的位置在所述交互界面信息中对应的位置，再确定所述用户操作在所述交互界面信息对应的交互操作指令，执行对应的人机交互操作。
11.根据权利要求10所述的方法，其中，所述方法还包括：
接收所述增强现实头戴设备发送的激活定位参考指令；
根据所述激活定位参考指令，激活所述触摸设备中的定位参考信息。
12.根据权利要求11所述的方法，其中，所述根据所述激活定位参考指令，激活所述触摸设备中的定位参考信息，包括：
确定所述触摸设备中与所述激活定位参考指令相对应的目标触摸区域；
激活所述目标触摸区域在所述触摸设备中对应的定位参考信息。
13.一种在增强现实头戴设备端进行人机交互的方法，其中，该方法包括：
将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信，所述增强现实头戴设备与所述触摸设备属于同一分体式增强现实设备；
接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；
根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域，所述触摸设备获取用户在所述触摸区域的触摸操作信息，根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作，所述触摸操作信息包括所述触摸设备识别的用户操作在所述触摸区域内的位置，所述根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作包括：确定所述用户操作在所述触摸区域内的位置在所述交互界面信息中对应的位置，再确定所述用户操作在所述交互界面信息对应的交互操作指令，执行对应的人机交互操作。
14.一种在触摸设备端进行人机交互的方法，其中，该方法包括：
接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信，所述增强现实头戴设备与所述触摸设备属于同一分体式增强现实设备；
根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；
获取用户在所述触摸区域的触摸操作信息，其中，所述触摸操作信息包括所述触摸设备识别的用户操作在所述触摸区域内的位置；
根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作；
其中，所述根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作包括：确定所述用户操作在所述触摸区域内的位置在所述交互界面信息中对应的位置，再确定所述用户操作在所述交互界面信息对应的交互操作指令，执行对应的人机交互操作。
15.一种进行人机交互的增强现实头戴设备，其中，该设备包括：
确定模块，用于根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备的触摸区域信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，所述增强现实头戴设备与所述触摸设备属于同一分体式增强现实设备；
呈现模块，用于根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
接收模块，用于接收所述触摸设备上传的用户在所述触摸区域的触摸操作信息，其中，所述触摸操作信息包括所述触摸设备识别的用户操作在所述触摸区域内的位置；
执行模块，用于根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作；
其中，所述根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作包括：确定所述用户操作在所述触摸区域内的位置在所述交互界面信息中对应的位置，再确定所述用户操作在所述交互界面信息对应的交互操作指令，执行对应的人机交互操作。
16.根据权利要求15所述的设备，其中，所述增强现实头戴设备包括摄像装置；
其中，所述设备还包括：
拍摄模块，用于通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
其中，所述确定模块用于：
根据所述图像信息确定所述触摸设备的触摸区域信息。
17.根据权利要求16所述的设备，其中，所述拍摄模块用于：
当所述增强现实头戴设备进入交互模式，通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信。
18.根据权利要求17所述的设备，其中，所述拍摄模块包括：
激活单元，当所述增强现实头戴设备进入交互模式，用于向所述增强现实头戴设备对应的触摸设备发送激活定位参考指令，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
拍摄单元，用于通过所述摄像装置拍摄关于所述增强现实头戴设备对应的触摸设备的图像信息，其中，所述图像信息包括所述触摸设备中被激活的定位参考信息；
其中，所述确定模块用于：
根据所述图像信息中所述定位参考信息确定所述触摸设备的触摸区域信息。
19.根据权利要求18所述的设备，其中，所述激活单元用于：
当所述增强现实头戴设备进入交互模式，确定所述增强现实头戴设备对应的触摸设备中的目标触摸区域，其中，所述目标触摸区域与当前交互模式的交互界面信息相匹配，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
向所述触摸设备发送与所述目标触摸区域相对应的激活定位参考指令。
20.根据权利要求16所述的设备，其中，所述设备还包括：
重拍摄模块，用于通过所述摄像装置重新拍摄关于所述触摸设备的图像信息；
更新模块，用于根据重新拍摄的所述图像信息更新所述触摸设备的触摸区域信息；
其中，所述呈现模块用于：
根据更新后的所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
21.根据权利要求15所述的设备，其中，所述确定模块用于：
根据关于所述增强现实头戴设备对应的触摸设备的图像信息确定所述触摸设备对应的定位参考信息，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信；
基于所述定位参考信息确定所述触摸设备的触摸区域信息。
22.根据权利要求15所述的设备，其中，所述呈现模块用于：
根据所述触摸区域信息确定所述触摸区域信息在所述增强现实头戴设备屏幕中的屏幕参考信息；
根据所述屏幕参考信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域。
23.根据权利要求15所述的设备，其中，所述设备还包括：
建立模块，用于建立所述触摸区域与所述交互界面信息的映射关系；
其中，所述执行模块用于：
根据所述触摸操作信息、所述交互界面信息，以及所述触摸区域与所述交互界面信息的映射关系，确定对应的人机交互操作；
执行所述人机交互操作。
24.一种进行人机交互的触摸设备，其中，该设备包括：
获取模块，用于获取用户在触摸设备的触摸区域的触摸操作信息，其中，所述触摸操作信息包括所述触摸设备识别的用户操作在所述触摸区域内的位置；
发送模块，用于将所述触摸操作信息发送至所述触摸设备对应的增强现实头戴设备，其中，所述触摸设备与所述增强现实头戴设备分体设置并可通信，所述增强现实头戴设备与所述触摸设备属于同一分体式增强现实设备，所述增强现实头戴设备根据所述触摸操作信息及交互界面信息，执行对应的人机交互操作，所述根据所述触摸操作信息及交互界面信息，执行对应的人机交互操作包括：确定所述用户操作在所述触摸区域内的位置在所述交互界面信息中对应的位置，再确定所述用户操作在所述交互界面信息对应的交互操作指令，执行对应的人机交互操作。
25.根据权利要求24所述的设备，其中，所述设备还包括：
接收模块，用于接收所述增强现实头戴设备发送的激活定位参考指令；
激活模块，用于根据所述激活定位参考指令，激活所述触摸设备中的定位参考信息。
26.根据权利要求25所述的设备，其中，所述激活模块用于：
确定所述触摸设备中与所述激活定位参考指令相对应的目标触摸区域；
激活所述目标触摸区域在所述触摸设备中对应的定位参考信息。
27.一种进行人机交互的增强现实头戴设备，其中，该设备包括：
发送模块，用于将关于所述增强现实头戴设备对应的触摸设备的图像信息发送至所述触摸设备，其中，所述触摸设备与所述增强现实设备分体设置并可通信，所述增强现实头戴设备与所述触摸设备属于同一分体式增强现实设备；
接收模块，用于接收所述触摸设备上传交互界面信息和所述触摸设备的触摸区域信息对应的屏幕参考信息；
呈现模块，用于根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域，所述触摸设备获取用户在所述触摸区域的触摸操作信息，根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作，所述触摸操作信息包括所述触摸设备识别的用户操作在所述触摸区域内的位置，所述根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作包括：确定所述用户操作在所述触摸区域内的位置在所述交互界面信息中对应的位置，再确定所述用户操作在所述交互界面信息对应的交互操作指令，执行对应的人机交互操作。
28.一种进行人机交互的触摸设备，其中，该设备包括：
接收模块，用于接收触摸设备对应的增强现实头戴设备发送的关于所述触摸设备的图像信息，其中，所述触摸设备与所述增强现实设备分体设置并可通信，所述增强现实头戴设备与所述触摸设备属于同一分体式增强现实设备；
确定模块，用于根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息；
发送模块，用于将交互界面信息和所述屏幕参考信息发送至所述增强现实头戴设备；
获取模块，用于获取用户在所述触摸区域的触摸操作信息，其中，所述触摸操作信息包括所述触摸设备识别的用户操作在所述触摸区域内的位置；
执行模块，用于根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作；
其中，所述根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作包括：确定所述用户操作在所述触摸区域内的位置在所述交互界面信息中对应的位置，再确定所述用户操作在所述交互界面信息对应的交互操作指令，执行对应的人机交互操作。
29.一种在分体式增强现实设备端进行人机交互的方法，其中，所述分体式增强现实设备包括增强现实头戴设备和触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信，该方法包括：
所述增强现实头戴设备根据关于所述触摸设备的图像信息确定所述触摸设备的触摸区域信息；
所述增强现实头戴设备根据所述触摸区域信息呈现交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
所述触摸设备将用户在所述触摸区域的触摸操作信息发送至所述增强现实头戴设备，其中，所述触摸操作信息包括所述触摸设备识别的用户操作在所述触摸区域内的位置；
所述增强现实头戴设备根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作；
其中，所述根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作包括：确定所述用户操作在所述触摸区域内的位置在所述交互界面信息中对应的位置，再确定所述用户操作在所述交互界面信息对应的交互操作指令，执行对应的人机交互操作。
30.一种在分体式增强现实设备端进行人机交互的方法，其中，所述分体式增强现实设备包括增强现实头戴设备和触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信，该方法包括：
所述增强现实头戴设备将关于所述触摸设备的图像信息发送至所述触摸设备；
所述触摸设备接收所述图像信息，根据所述图像信息确定所述触摸设备的触摸区域信息对应的屏幕参考信息，并将所述屏幕参考信息和交互界面信息发送至所述增强现实头戴设备；
所述增强现实头戴设备接收所述交互界面信息和所述屏幕参考信息，并根据所述屏幕参考信息呈现所述交互界面信息，其中，所述交互界面信息叠加于所述触摸设备的触摸区域；
所述触摸设备获取用户在所述触摸区域的触摸操作信息，根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作，其中，所述触摸操作信息包括所述触摸设备识别的用户操作在所述触摸区域内的位置，所述根据所述触摸操作信息及所述交互界面信息，执行对应的人机交互操作包括：确定所述用户操作在所述触摸区域内的位置在所述交互界面信息中对应的位置，再确定所述用户操作在所述交互界面信息对应的交互操作指令，执行对应的人机交互操作。
31.一种用于进行人机交互的增强现实头戴设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至9中任一项所述的方法。
32.一种用于进行人机交互的触摸设备，其中，该设备包括：
处理器；
触控板；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求10至12中任一项所述的方法。
33.一种用于进行人机交互的增强现实头戴设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求13所述的方法。
34.一种用于进行人机交互的触摸设备，其中，该设备包括：
处理器；
触控板；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求14所述的方法。
35.一种用于进行人机交互的分体式增强现实设备，其中，该分体式增强现实设备包括如权利要求31所述的增强现实头戴设备与如权利要求32所述的触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信。
36.一种用于进行人机交互的分体式增强现实设备，其中，该分体式增强现实设备包括如权利要求33所述的增强现实头戴设备与如权利要求34所述的触摸设备，所述触摸设备与所述增强现实头戴设备分体设置并可通信。
37.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至14中任一项所述的方法。
CN201810145496.XA 2018-02-11 2018-02-12 一种在增强现实设备进行人机交互的方法与设备 Active CN108304075B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810142346 2018-02-11
CN2018101423463 2018-02-11

Publications (2)

Publication Number Publication Date
CN108304075A CN108304075A (zh) 2018-07-20
CN108304075B true CN108304075B (zh) 2021-08-06

Family

ID=62865459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810145496.XA Active CN108304075B (zh) 2018-02-11 2018-02-12 一种在增强现实设备进行人机交互的方法与设备

Country Status (1)

Country Link
CN (1) CN108304075B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814719B (zh) * 2018-07-26 2024-04-26 亮风台（上海）信息科技有限公司 一种基于穿戴眼镜的显示信息的方法与设备
CN109582147B (zh) * 2018-08-08 2022-04-26 亮风台（上海）信息科技有限公司 一种用于呈现增强交互内容的方法以及用户设备
CN109284456B (zh) * 2018-08-30 2022-04-12 广东越维信息科技有限公司 网页控件在ar中的空间定位方法和ar系统
CN109656363B (zh) * 2018-09-04 2022-04-15 亮风台（上海）信息科技有限公司 一种用于设置增强交互内容的方法与设备
WO2020114395A1 (zh) 2018-12-03 2020-06-11 广东虚拟现实科技有限公司 虚拟画面的控制方法、终端设备及存储介质
CN110908508B (zh) * 2019-11-04 2021-12-03 广东虚拟现实科技有限公司 虚拟画面的控制方法、终端设备及存储介质
CN109801379B (zh) * 2019-01-21 2023-02-17 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
CN112416115B (zh) * 2019-08-23 2023-12-15 亮风台（上海）信息科技有限公司 一种用于控件交互界面中进行人机交互的方法与设备
CN111246014B (zh) * 2020-01-13 2021-04-06 维沃移动通信有限公司 通话方法、头戴式设备及介质
CN111368268B (zh) * 2020-02-28 2023-12-01 Oppo广东移动通信有限公司 用户识别方法、用户识别装置、存储介质与头戴式设备
CN111479148B (zh) * 2020-04-17 2022-02-08 Oppo广东移动通信有限公司 可穿戴设备、眼镜终端、处理终端、数据交互方法与介质
CN113238708B (zh) * 2021-05-17 2024-02-23 杭州灵伴科技有限公司 一种在头戴式显示设备中显示触控操作信息的方法、装置
CN113655927B (zh) * 2021-08-24 2024-04-26 亮风台（上海）信息科技有限公司 一种界面交互方法与设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
WO2014162825A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
CN107330943B (zh) * 2017-06-26 2023-07-21 乐融致新电子科技(天津)有限公司 一种定位标识匹配方法、装置及电子设备
CN107463258A (zh) * 2017-08-07 2017-12-12 北京铂石空间科技有限公司 头戴式显示设备、头戴式显示交互系统及显示交互方法
CN107526443A (zh) * 2017-09-29 2017-12-29 北京金山安全软件有限公司 一种增强现实方法、装置、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN108304075A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
CN109032348B (zh) 基于增强现实的智能制造方法与设备
US10192364B2 (en) Augmented reality product preview
EP3466070B1 (en) Method and device for obtaining image, and recording medium thereof
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
KR102595150B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
CN102959616B (zh) 自然交互的交互真实性增强
CN109947886B (zh) 图像处理方法、装置、电子设备及存储介质
CN108525298B (zh) 图像处理方法、装置、存储介质及电子设备
CN111932664A (zh) 图像渲染方法、装置、电子设备及存储介质
CN113741698B (zh) 一种确定和呈现目标标记信息的方法与设备
US20150187137A1 (en) Physical object discovery
US9268410B2 (en) Image processing device, image processing method, and program
US20230274508A1 (en) Method and System for Visualizing Overlays in Virtual Environments
EP3090424A1 (en) Assigning virtual user interface to physical object
CN102708355A (zh) 信息处理装置、信息处理方法及程序
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
US20220107704A1 (en) Virtual paintbrush implementing method and apparatus, and computer readable storage medium
CN110751735A (zh) 一种基于增强现实的远程指导的方法与设备
CN110728756A (zh) 一种基于增强现实的远程指导的方法与设备
CN109656363A (zh) 一种用于设置增强交互内容的方法与设备
JP2021136017A (ja) 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
CA3119609A1 (en) Augmented reality (ar) imprinting methods and systems
US10366495B2 (en) Multi-spectrum segmentation for computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder