CN108268123A - 基于头戴式显示设备的指令识别方法及装置 - Google Patents

基于头戴式显示设备的指令识别方法及装置 Download PDF

Info

Publication number
CN108268123A
CN108268123A CN201611263211.XA CN201611263211A CN108268123A CN 108268123 A CN108268123 A CN 108268123A CN 201611263211 A CN201611263211 A CN 201611263211A CN 108268123 A CN108268123 A CN 108268123A
Authority
CN
China
Prior art keywords
head
display apparatus
mounted display
peripheral hardware
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611263211.XA
Other languages
English (en)
Inventor
谢郑凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ideal Zhimei Technology Co.,Ltd.
Original Assignee
Chengdu Xunishijie Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xunishijie Technology Co Ltd filed Critical Chengdu Xunishijie Technology Co Ltd
Priority to CN201611263211.XA priority Critical patent/CN108268123A/zh
Publication of CN108268123A publication Critical patent/CN108268123A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于头戴式显示设备的指令识别方法，包括以下步骤：建立头戴式显示设备与手持式外设之间的通信连接；检测所述手持式外设的空间运动姿态；确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令。本发明同时提供一种基于头戴式显示设备的指令识别装置。本发明基于头戴式显示设备的指令识别方法及装置，能够使使用者在佩戴头戴式显示设备时，便捷地通过持握手持式外设对显示界面中的内容进行交互操作，显著地提升了头戴式显示设备使用者的操作体验。

Description

基于头戴式显示设备的指令识别方法及装置
技术领域
本发明涉及智能可穿戴设备与人机交互技术领域，尤其涉及一种基于头戴式显示设备的指令识别方法及装置。
背景技术
虚拟现实(Virtual Reality，VR)技术通过计算机系统模拟出虚拟的三维世界，借助显示系统和交互系统，向使用者提供视觉、听觉、触觉等感官的模拟体验，同时使用者能够与虚拟场景进行互动交互，带给使用者身临其境的感受。因此，交互技术是虚拟现实系统实现的关键性技术之一，决定了使用者如何在虚拟世界中与目标进行互动。
现有技术方案中，头戴式显示设备通过检测使用者的头部动作，控制显示内容切换、光标或锚点移动等，从而完成视角转换、菜单选择或内容输入等基础的交互操作。然而，基于头部运动检测的交互操作方式，用户操作的复杂度高，操作精度低，无法适用于要求高精度、低时延的交互操作场景中。因此，如何提升使用者在虚拟现实世界体验的真实感与操作效率，是虚拟现实交互技术发展过程中亟待解决的关键问题之一。
发明内容
本发明的目的是提供一种基于头戴式显示设备的指令识别方法及装置，配合手持式外设，降低头戴式显示设备使用者进行交互操作的复杂度，提高交互操作效率。
有鉴于此，本发明一方面提供一种基于头戴式显示设备的指令识别方法，包括以下步骤：建立头戴式显示设备与手持式外设之间的通信连接；检测所述手持式外设的空间运动姿态；确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令。
优选地，所述确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令的步骤之前，还包括：确定所述头戴式显示设备当前显示界面中的交互场景。
优选地，所述确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令的步骤，具体为：根据所述交互场景，确定在所述交互场景中，所述检测到的手持式外设的空间运动姿态对应的交互操作指令。
优选地，所述确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令的步骤之后，还包括：根据所述检测到的手持式外设的空间运动姿态对应的交互操作指令，对所述交互场景中的交互控件进行交互操作。
本发明另一方面提供一种基于头戴式显示设备的指令识别装置，包括：外设连接模块：用于建立头戴式显示设备与手持式外设之间的通信连接；运动检测模块：用于检测所述手持式外设的空间运动姿态；指令确定模块：用于确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令。
优选地，所述基于头戴式显示设备的指令识别装置，还包括：场景确定模块：用于确定所述头戴式显示设备当前显示界面中的交互场景。
优选地，所述指令确定模块，还用于：根据所述交互场景，确定在所述交互场景中，所述检测到的手持式外设的空间运动姿态对应的交互操作指令。
优选地，所述基于头戴式显示设备的指令识别装置，还包括：操作执行模块，用于根据所述检测到的手持式外设的空间运动姿态对应的交互操作指令，对所述交互场景中的交互控件进行交互操作。
本发明还提供一种头戴式显示设备，包括上述基于头戴式显示设备的指令识别装置。
本发明基于头戴式显示设备的指令识别方法及装置，将手持式外设与头戴式显示设备连接，根据头戴式显示设备当前显示的交互场景，通过检测手持式外设的空间运动姿态，确定对应于当前交互场景的交互操作指令，执行对应的交互操作，从而通过手持式外设与显示界面中的内容进行交互操作。使用者在佩戴头戴式显示设备时，可以便捷地通过手持式外设对显示界面中的内容进行交互操作，显著地提升了头戴式显示设备使用者的操作体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1示出了本发明一个实施例的基于头戴式显示设备的指令识别方法的流程示意图；
图2示出了本发明一个实施例的基于头戴式显示设备的指令识别装置的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
图1示出了本发明一个实施例的基于头戴式显示设备的指令识别方法的流程示意图。
根据本发明实施例的基于头戴式显示设备的指令识别方法，如图1所示，包括：步骤S101，建立头戴式显示设备与手持式外设之间的通信连接；步骤S102，检测所述手持式外设的空间运动姿态；步骤S103，确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令。
在上述技术方案中，头戴式显示设备可以向使用者呈现虚拟的360°全景图像，使用者佩戴头戴式显示设备时，通过头戴式显示设备的显示屏幕，使用者在某一时刻能够看到屏幕显示区域中显示的虚拟全景图像的部分区域，屏幕显示区域中显示的虚拟全景图像的部分区域经头戴式显示设备的光学系统放大后，与人类的自然视野范围相同或近似，从而令使用者感受身处虚拟场景环境的真实感。使用者通过控制指令可以控制显示屏幕中显示虚拟全景图像中的不同区域，从而浏览完整的虚拟全景图像，例如，使用者转动头部，根据使用者头部的转动方向与转动角度，调整显示屏幕中显示的虚拟全景图像的区域，结合听觉、触觉、动作等方面的交互体验，带给使用者置身虚拟环境中的沉浸感。
在上述技术方案中，优选地，所述步骤S101，具体地，建立头戴式显示设备与手持式外设之间的通信连接，优选地，通过蓝牙、WIFI等无线方式连接头戴式显示设备与手持式外设，例如手柄。同样地，也可以通过有线方式连接所述头戴式显示设备与所述手持式外设，此处不做限定。
在上述技术方案中，优选地，所述步骤S102，具体地，手持式外设内置IMU(Inertial Measurement Unit，惯性测量单元)，通过测量手持式外设的三轴姿态角(或角速率)以及加速度，确定手持式外设的空间姿态。
在上述技术方案中，优选地，所述步骤S103之前，还包括：确定所述头戴式显示设备当前显示界面中的交互场景。具体地，头戴式显示设备通过显示屏幕显示多种交互场景，根据所述交互场景中的图像特征或预设标识，确定头戴式显示设备当前显示界面中的交互场景。
在上述技术方案中，优选地，所述步骤S103，具体为：根据所述交互场景，确定在所述交互场景中，所述检测到的手持式外设的空间运动姿态对应的交互操作指令。具体地，手持式外设的同一种空间运动姿态，在不同的交互场景中可以对应不同的交互操作指令，根据头戴式显示设备当前显示的交互场景，确定在所述交互场景中，所述检测到的手持式外设的空间运动姿态对应的交互操作指令。例如，在内容输入交互场景中，手持式外设的一端指向当前场景界面对应内容输入指令，手持式外设的另一端指向当前场景界面对应内容擦除指令；在菜单选择交互场景中，手持式外设顺时针扭转对应打开菜单指令，手持式外设逆时针扭转对应关闭菜单指令；在应用程序管理交互场景中，投掷手持式外设对应删除应用程序指令；在浏览阅读交互场景中，手持式外设水平移动可对应翻页指令，手持式外设垂直移动对应参数(如亮度)调整指令。
在上述技术方案中，优选地，所述步骤S103之后，还包括：根据所述检测到的手持式外设的空间运动姿态对应的交互操作指令，对所述交互场景中的交互控件进行交互操作。
本发明实施例的基于头戴式显示设备的指令识别方法，将手持式外设与头戴式显示设备连接，根据头戴式显示设备当前显示的交互场景，通过检测手持式外设的空间运动姿态，确定对应于当前交互场景的交互操作指令，执行对应的交互操作，从而通过手持式外设与显示界面中的内容进行交互操作。本发明实施例的技术方案使头戴式显示设备的使用者在佩戴头戴式显示设备时，可以便捷地通过手持式外设对显示界面中的内容进行交互操作，显著地提升了头戴式显示设备使用者的操作体验。
实施例二
图2示出了本发明一个实施例的基于头戴式显示设备的指令识别装置的结构示意图。
根据本发明实施例的基于头戴式显示设备的指令识别装置200，如图2所示，包括：外设连接模块201：用于建立头戴式显示设备与手持式外设之间的通信连接；运动检测模块202：用于检测所述手持式外设的空间运动姿态；指令确定模块203：用于确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令。
在上述技术方案中，头戴式显示设备可以向使用者呈现虚拟的360°全景图像，使用者佩戴头戴式显示设备时，通过头戴式显示设备的显示屏幕，使用者在某一时刻能够看到屏幕显示区域中显示的虚拟全景图像的部分区域，屏幕显示区域中显示的虚拟全景图像的部分区域经头戴式显示设备的光学系统放大后，与人类的自然视野范围相同或近似，从而令使用者感受身处虚拟场景环境的真实感。使用者通过控制指令可以控制显示屏幕中显示虚拟全景图像中的不同区域，从而浏览完整的虚拟全景图像，例如，使用者转动头部，根据使用者头部的转动方向与转动角度，调整显示屏幕中显示的虚拟全景图像的区域，结合听觉、触觉、动作等方面的交互体验，带给使用者置身虚拟环境中的沉浸感。
在上述技术方案中，优选地，外设连接模块201，建立头戴式显示设备与手持式外设的通信连接，优选地，外设连接模块201通过蓝牙、WIFI等无线方式连接头戴式显示设备与手持式外设，例如手柄。同样地，外设连接模块201也可以通过有线方式连接所述头戴式显示设备与所述手持式外设，此处不做限定。
在上述技术方案中，优选地，所述基于头戴式显示设备的指令识别装置200，还包括：场景确定模块204：用于确定所述头戴式显示设备当前显示界面中的交互场景。具体地，头戴式显示设备通过显示屏幕显示多种交互场景，场景确定模块204根据所述交互场景中的图像特征或预设标识，确定头戴式显示设备当前显示界面中的交互场景。
在上述技术方案中，优选地，指令确定模块203，还用于：根据所述交互场景，确定在所述交互场景中，所述检测到的手持式外设的空间运动姿态对应的交互操作指令。具体地，手持式外设的同一种空间运动姿态，在不同的交互场景中可以对应不同的交互操作指令，指令确定模块203根据头戴式显示设备当前显示的交互场景，确定在所述交互场景中，所述检测到的手持式外设的空间运动姿态对应的交互操作指令。例如，在内容输入交互场景中，手持式外设的一端指向当前场景界面对应内容输入指令，手持式外设的另一端指向当前场景界面对应内容擦除指令；在菜单选择交互场景中，手持式外设顺时针扭转对应打开菜单指令，手持式外设逆时针扭转对应关闭菜单指令；在应用程序管理交互场景中，投掷手持式外设对应删除应用程序指令；在浏览阅读交互场景中，手持式外设水平移动可对应翻页指令，手持式外设垂直移动对应参数(如亮度)调整指令。
在上述技术方案中，优选地，所述基于头戴式显示设备的指令识别装置200，还包括：操作执行模块205，用于根据所述检测到的手持式外设的空间运动姿态对应的交互操作指令，对所述交互场景中的交互控件进行交互操作。
本发明实施例的基于头戴式显示设备的指令识别装置，将手持式外设与头戴式显示设备连接，根据头戴式显示设备当前显示的交互场景，通过检测手持式外设的空间运动姿态，确定对应于当前交互场景的交互操作指令，执行对应的交互操作，从而通过手持式外设与显示界面中的内容进行交互操作。本发明实施例的技术方案使头戴式显示设备的使用者在佩戴头戴式显示设备时，可以便捷地通过手持式外设对显示界面中的内容进行交互操作，显著地提升了头戴式显示设备使用者的操作体验。
再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (9)

1.一种基于头戴式显示设备的指令识别方法，其特征在于，包括以下步骤：
建立头戴式显示设备与手持式外设之间的通信连接；
检测所述手持式外设的空间运动姿态；
确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令。
2.根据权利要求1所述的基于头戴式显示设备的指令识别方法，其特征在于，所述确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令的步骤之前，还包括：
确定所述头戴式显示设备当前显示界面中的交互场景。
3.根据权利要求2所述的基于头戴式显示设备的指令识别方法，其特征在于，所述确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令的步骤，具体为：
根据所述交互场景，确定在所述交互场景中，所述检测到的手持式外设的空间运动姿态对应的交互操作指令。
4.根据权利要求3所述的基于头戴式显示设备的指令识别方法，其特征在于，所述确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令的步骤之后，还包括：
根据所述检测到的手持式外设的空间运动姿态对应的交互操作指令，对所述交互场景中的交互控件进行交互操作。
5.一种基于头戴式显示设备的指令识别装置，其特征在于，包括：
外设连接模块：用于建立头戴式显示设备与手持式外设之间的通信连接；
运动检测模块：用于检测所述手持式外设的空间运动姿态；
指令确定模块：用于确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令。
6.根据权利要求5所述的基于头戴式显示设备的指令识别装置，其特征在于，还包括：
场景确定模块：用于确定所述头戴式显示设备当前显示界面中的交互场景。
7.根据权利要求6所述的基于头戴式显示设备的指令识别装置，其特征在于，所述指令确定模块，还用于：根据所述交互场景，确定在所述交互场景中，所述检测到的手持式外设的空间运动姿态对应的交互操作指令。
8.根据权利要求7所述的基于头戴式显示设备的指令识别装置，其特征在于，还包括：
操作执行模块：用于根据所述检测到的手持式外设的空间运动姿态对应的交互操作指令，对所述交互场景中的交互控件进行交互操作。
9.一种头戴式显示设备，其特征在于，包括权利要求5至8中任一项所述的基于头戴式显示设备的指令识别装置。
CN201611263211.XA 2016-12-30 2016-12-30 基于头戴式显示设备的指令识别方法及装置 Pending CN108268123A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611263211.XA CN108268123A (zh) 2016-12-30 2016-12-30 基于头戴式显示设备的指令识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611263211.XA CN108268123A (zh) 2016-12-30 2016-12-30 基于头戴式显示设备的指令识别方法及装置

Publications (1)

Publication Number Publication Date
CN108268123A true CN108268123A (zh) 2018-07-10

Family

ID=62755310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611263211.XA Pending CN108268123A (zh) 2016-12-30 2016-12-30 基于头戴式显示设备的指令识别方法及装置

Country Status (1)

Country Link
CN (1) CN108268123A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109663351A (zh) * 2019-02-01 2019-04-23 天津欧普特科技发展有限公司 虚拟现实互动系统
CN111338476A (zh) * 2020-02-25 2020-06-26 上海唯二网络科技有限公司 通过头戴式vr显示设备实现人机交互的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007115167A (ja) * 2005-10-24 2007-05-10 Sanyo Electric Co Ltd 情報処理システム、および携帯情報端末
CN104704450A (zh) * 2012-10-10 2015-06-10 奥林巴斯株式会社 头戴式显示装置、锁定解除处理系统、程序、头戴式显示装置的控制方法及锁定解除处理系统的控制方法
CN105915252A (zh) * 2016-06-03 2016-08-31 中科新松有限公司 穿戴式智能通讯设备及交互方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007115167A (ja) * 2005-10-24 2007-05-10 Sanyo Electric Co Ltd 情報処理システム、および携帯情報端末
CN104704450A (zh) * 2012-10-10 2015-06-10 奥林巴斯株式会社 头戴式显示装置、锁定解除处理系统、程序、头戴式显示装置的控制方法及锁定解除处理系统的控制方法
CN105915252A (zh) * 2016-06-03 2016-08-31 中科新松有限公司 穿戴式智能通讯设备及交互方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109663351A (zh) * 2019-02-01 2019-04-23 天津欧普特科技发展有限公司 虚拟现实互动系统
CN109663351B (zh) * 2019-02-01 2023-03-31 天津欧普特科技发展有限公司 虚拟现实互动系统
CN111338476A (zh) * 2020-02-25 2020-06-26 上海唯二网络科技有限公司 通过头戴式vr显示设备实现人机交互的方法及装置

Similar Documents

Publication Publication Date Title
US9983687B1 (en) Gesture-controlled augmented reality experience using a mobile communications device
WO2019153824A1 (zh) 虚拟对象控制方法、装置、计算机设备及存储介质
JP2020115352A (ja) ヘッドマウントディスプレイにおけるメニューナビゲーション
JP6288084B2 (ja) 表示制御装置、表示制御方法および記録媒体
CN103759739B (zh) 一种多节点运动测量与分析系统
WO2016202017A1 (zh) 一种智能穿戴设备及智能穿戴设备的控制方法
WO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体
JP7382994B2 (ja) 仮想現実システム内の仮想コントローラの位置および向きの追跡
JP2014002748A (ja) 遠隔制御装置及びその制御方法
US20170269712A1 (en) Immersive virtual experience using a mobile communication device
JP6399692B2 (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
US11188144B2 (en) Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device
WO2014185808A1 (en) System and method for controlling multiple electronic devices
CN109407959B (zh) 虚拟场景中的虚拟对象控制方法、设备以及存储介质
CN110851095A (zh) 虚拟和增强现实中的多屏幕交互
CN112817453A (zh) 虚拟现实设备和虚拟现实场景中物体的视线跟随方法
KR20210064378A (ko) 관점 회전 방법 및 장치, 디바이스 및 저장 매체
CN108268123A (zh) 基于头戴式显示设备的指令识别方法及装置
WO2017134732A1 (ja) 入力装置、入力支援方法および入力支援プログラム
CN110058767A (zh) 界面操作方法、可穿戴终端及计算机可读存储介质
CN109828672A (zh) 一种用于确定智能设备的人机交互信息的方法与设备
CN110717993B (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
CN106774833A (zh) 虚拟现实交互方法及装置
WO2022163772A1 (ja) 情報処理方法、情報処理装置および不揮発性記憶媒体
CN109643182A (zh) 信息处理方法、装置、云处理设备及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200708

Address after: No.18 Xilin 1st Street, Chenghua District, Chengdu, Sichuan 610051

Applicant after: Chengdu Ideal Zhimei Technology Co.,Ltd.

Address before: Two Lu Tian Hua high tech Zone of Chengdu City, Sichuan province 610041 219 No. 2 Building 1 unit 1 floor No. 3

Applicant before: CHENGDU IDEALENS TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20180710

RJ01 Rejection of invention patent application after publication