CN108268124A - 基于头戴式显示设备的手势识别方法及装置 - Google Patents

基于头戴式显示设备的手势识别方法及装置 Download PDF

Info

Publication number
CN108268124A
CN108268124A CN201611263213.9A CN201611263213A CN108268124A CN 108268124 A CN108268124 A CN 108268124A CN 201611263213 A CN201611263213 A CN 201611263213A CN 108268124 A CN108268124 A CN 108268124A
Authority
CN
China
Prior art keywords
head
display apparatus
mounted display
gesture
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611263213.9A
Other languages
English (en)
Inventor
李小虎
徐梦瑶
谢郑凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ideal Zhimei Technology Co.,Ltd.
Original Assignee
Chengdu Xunishijie Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xunishijie Technology Co Ltd filed Critical Chengdu Xunishijie Technology Co Ltd
Priority to CN201611263213.9A priority Critical patent/CN108268124A/zh
Publication of CN108268124A publication Critical patent/CN108268124A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明提供一种基于头戴式显示设备的手势识别方法，包括以下步骤：建立头戴式显示设备与手持式外设之间的通信连接；通过所述手持式外设检测用户的手势动作；确定所述检测到的用户手势动作对应的交互操作指令。本发明同时提供一种基于头戴式显示设备的手势识别装置。本发明基于头戴式显示设备的手势识别方法及装置，能够使使用者在佩戴头戴式显示设备时，便捷地通过持握手持式外设对显示界面中的内容进行交互操作，显著地提升了头戴式显示设备使用者的操作体验。

Description

基于头戴式显示设备的手势识别方法及装置
技术领域
本发明涉及智能可穿戴设备与人机交互技术领域，尤其涉及一种基于头戴式显示设备的手势识别方法及装置。
背景技术
虚拟现实(Virtual Reality，VR)技术通过计算机系统模拟出虚拟的三维世界，借助显示系统和交互系统，向使用者提供视觉、听觉、触觉等感官的模拟体验，同时使用者能够与虚拟场景进行互动交互，带给使用者身临其境的感受。因此，交互技术是虚拟现实系统实现的关键性技术之一，决定了使用者如何在虚拟世界中与目标进行互动。
现有技术方案中，头戴式显示设备通过检测使用者的头部动作，控制显示内容切换、光标或锚点移动等，从而完成视角转换、菜单选择或内容输入等基础的交互操作。然而，基于头部运动检测的交互操作方式，用户操作的复杂度高，操作精度低，无法适用于要求高精度、低时延的交互操作场景中。
发明内容
本发明的目的是提供一种基于头戴式显示设备的手势识别方法及装置，配合手持式外设，降低头戴式显示设备使用者进行交互操作的复杂度，提高交互操作效率。
有鉴于此，本发明一方面提供一种基于头戴式显示设备的手势识别方法，包括以下步骤：建立头戴式显示设备与手持式外设之间的通信连接；通过所述手持式外设检测用户的手势动作；确定所述检测到的用户手势动作对应的交互操作指令。
优选地，所述确定所述检测到的用户手势动作对应的交互操作指令的步骤之前，还包括：建立用户手势动作与预设的交互操作指令的关联映射。
优选地，所述确定所述检测到的用户手势动作对应的交互操作指令的步骤，具体为：根据所述关联映射，确定通过所述手持式外设检测到的所述用户手势动作对应的交互操作指令。
优选地，所述确定所述检测到的用户手势动作对应的交互操作指令的步骤之后，还包括：根据所述检测到的用户手势动作对应的交互操作指令，对所述头戴式显示设备显示界面中的交互控件进行交互操作。
优选地，所述用户手势动作包括抓取动作、投掷动作和/或移动动作。
本发明另一方面提供一种基于头戴式显示设备的手势识别装置，包括：外设连接模块：用于建立头戴式显示设备与手持式外设之间的通信连接；动作检测模块：用于通过所述手持式外设检测用户的手势动作；指令确定模块：用于确定所述动作检测模块检测到的用户手势动作对应的交互操作指令。
优选地，所述基于头戴式显示设备的手势识别装置，还包括：关联映射模块，用于建立用户手势动作与预设的交互操作指令的关联映射。
优选地，所述指令确定模块，还用于：根据所述关联映射，确定所述动作检测模块检测到的所述用户手势动作对应的交互操作指令。
优选地，所述基于头戴式显示设备的手势识别装置，还包括：操作执行模块，用于根据所述检测到的用户手势动作对应的交互操作指令，对所述头戴式显示设备显示界面中的交互控件进行交互操作。
本发明还提供一种头戴式显示设备，包括上述基于头戴式显示设备的手势识别装置。
本发明基于头戴式显示设备的手势识别方法及装置，将手持式外设与头戴式显示设备连接，通过检测手持式外设检测用户的手势动作，通过用户手势动作与预设的交互操作指令的关联映射，执行对应的交互操作，从而通过手持式外设与显示界面中的内容进行交互操作。使用者在佩戴头戴式显示设备时，可以便捷地通过手持式外设对显示界面中的内容进行交互操作，显著地提升了头戴式显示设备使用者的操作体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1示出了本发明一个实施例的基于头戴式显示设备的手势识别方法的流程示意图；
图2示出了本发明一个实施例的基于头戴式显示设备的手势识别装置的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
图1示出了本发明一个实施例的基于头戴式显示设备的手势识别方法的流程示意图。
根据本发明实施例的基于头戴式显示设备的手势识别方法，如图1所示，包括：步骤S101，建立头戴式显示设备与手持式外设之间的通信连接；步骤S102，通过所述手持式外设检测用户的手势动作；步骤S103，确定所述检测到的用户手势动作对应的交互操作指令。
在上述技术方案中，头戴式显示设备可以向使用者呈现虚拟的360°全景图像，使用者佩戴头戴式显示设备时，通过头戴式显示设备的显示屏幕，使用者在某一时刻能够看到屏幕显示区域中显示的虚拟全景图像的部分区域，屏幕显示区域中显示的虚拟全景图像的部分区域经头戴式显示设备的光学系统放大后，与人类的自然视野范围相同或近似，从而令使用者感受身处虚拟场景环境的真实感。使用者通过控制指令可以控制显示屏幕中显示虚拟全景图像中的不同区域，从而浏览完整的虚拟全景图像，例如，使用者转动头部，根据使用者头部的转动方向与转动角度，调整显示屏幕中显示的虚拟全景图像的区域，结合听觉、触觉、动作等方面的交互体验，带给使用者置身虚拟环境中的沉浸感。
在上述技术方案中，优选地，所述步骤S101，具体地，建立头戴式显示设备与手持式外设之间的通信连接，优选地，通过蓝牙、WIFI等无线方式连接头戴式显示设备与手持式外设，例如手柄。同样地，也可以通过有线方式连接所述头戴式显示设备与所述手持式外设，此处不做限定。
在上述技术方案中，优选地，所述步骤S103之前，还包括：建立用户手势动作与预设的交互操作指令的关联映射。具体地，预先建立用户手势动作与预设的交互操作指令的关联映射表，通过用户手势动作与预设的交互操作指令的关联映射表，确定所述检测到的用户手势动作与预设的交互操作指令之间的关联映射关系。例如，所述用户手势动作与预设的交互操作指令的关联映射表中，一个用户手势动作对应于一个交互操作指令，或者，一组用户手势动作对应一个交互操作指令。
在上述技术方案中，优选地，所述步骤S103，具体为：根据所述关联映射，确定通过所述手持式外设检测到的所述用户手势动作对应的交互操作指令。具体地，获取通过手持式外设检测到的用户手势动作，根据所述用户手势动作与预设的交互操作指令的关联映射，确定所述检测到的用户手势动作对应的交互操作指令。
在上述技术方案中，优选地，所述步骤S103之后，还包括：根据所述检测到的用户手势动作对应的交互操作指令，对所述头戴式显示设备显示界面中的交互控件进行交互操作。
在上述技术方案中，优选地，所述用户手势动作，包括抓取动作、投掷动作和/或移动动作。
本发明实施例的基于头戴式显示设备的手势识别方法，将手持式外设与头戴式显示设备连接，通过检测手持式外设检测用户的手势动作，通过用户手势动作与预设的交互操作指令的关联映射，执行对应的交互操作，从而通过手持式外设与显示界面中的内容进行交互操作。本发明实施例的技术方案使头戴式显示设备的使用者在佩戴头戴式显示设备时，可以便捷地通过手持式外设对显示界面中的内容进行交互操作，显著地提升了头戴式显示设备使用者的操作体验。
实施例二
图2示出了本发明一个实施例的基于头戴式显示设备的手势识别装置的结构示意图。
根据本发明实施例的基于头戴式显示设备的手势识别装置200，如图2所示，包括：外设连接模块201：用于建立头戴式显示设备与手持式外设之间的通信连接；动作检测模块202：用于通过所述手持式外设检测用户的手势动作；指令确定模块203：用于确定所述动作检测模块检测到的用户手势动作对应的交互操作指令。
在上述技术方案中，头戴式显示设备可以向使用者呈现虚拟的360°全景图像，使用者佩戴头戴式显示设备时，通过头戴式显示设备的显示屏幕，使用者在某一时刻能够看到屏幕显示区域中显示的虚拟全景图像的部分区域，屏幕显示区域中显示的虚拟全景图像的部分区域经头戴式显示设备的光学系统放大后，与人类的自然视野范围相同或近似，从而令使用者感受身处虚拟场景环境的真实感。使用者通过控制指令可以控制显示屏幕中显示虚拟全景图像中的不同区域，从而浏览完整的虚拟全景图像，例如，使用者转动头部，根据使用者头部的转动方向与转动角度，调整显示屏幕中显示的虚拟全景图像的区域，结合听觉、触觉、动作等方面的交互体验，带给使用者置身虚拟环境中的沉浸感。
在上述技术方案中，优选地，外设连接模块201，建立头戴式显示设备与手持式外设的通信连接，优选地，外设连接模块201通过蓝牙、WIFI等无线方式连接头戴式显示设备与手持式外设，例如手柄。同样地，外设连接模块201也可以通过有线方式连接所述头戴式显示设备与所述手持式外设，此处不做限定。
在上述技术方案中，优选地，所述基于头戴式显示设备的手势识别装置200，还包括：关联映射模块204：用于建立用户手势动作与预设的交互操作指令的关联映射。具体地，关联映射模块204预先建立用户手势动作与预设的交互操作指令的关联映射表，通过用户手势动作与预设的交互操作指令的关联映射表，确定所述用户手势动作与预设的交互操作指令之间的关联映射关系。例如，所述用户手势动作与预设的交互操作指令的关联映射表中，一个用户手势动作对应于一个交互操作指令，或者，一组用户手势动作对应一个交互操作指令。
在上述技术方案中，优选地，指令确定模块203，还用于：根据所述关联映射，确定通过所述手持式外设检测到的所述用户手势动作对应的交互操作指令。具体地，指令确定模块203获取动作检测模块202通过手持式外设检测到的用户手势动作，通过所述用户手势动作与预设的交互操作指令的关联映射，确定动作检测模块202检测到的所述用户手势动作对应的交互操作指令。
在上述技术方案中，优选地，所述基于头戴式显示设备的手势识别装置200，还包括：操作执行模块205，用于根据所述动作检测模块202检测到的用户手势动作对应的交互操作指令，对所述头戴式显示设备显示界面中的交互控件进行交互操作。
在上述技术方案中，优选地，所述用户手势动作，包括抓取动作、投掷动作和/或移动动作。
本发明实施例的基于头戴式显示设备的手势识别装置，将手持式外设与头戴式显示设备连接，通过检测手持式外设检测用户的手势动作，通过用户手势动作与预设的交互操作指令的关联映射，执行对应的交互操作，从而通过手持式外设与显示界面中的内容进行交互操作。本发明实施例的技术方案使头戴式显示设备的使用者在佩戴头戴式显示设备时，可以便捷地通过手持式外设对显示界面中的内容进行交互操作，显著地提升了头戴式显示设备使用者的操作体验。
再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种基于头戴式显示设备的手势识别方法，其特征在于，包括以下步骤：
建立头戴式显示设备与手持式外设之间的通信连接；
通过所述手持式外设检测用户的手势动作；
确定所述检测到的用户手势动作对应的交互操作指令。
2.根据权利要求1所述的基于头戴式显示设备的手势识别方法，其特征在于，所述确定所述检测到的用户手势动作对应的交互操作指令的步骤之前，还包括：
建立用户手势动作与预设的交互操作指令的关联映射。
3.根据权利要求2所述的基于头戴式显示设备的手势识别方法，其特征在于，所述确定所述检测到的用户手势动作对应的交互操作指令的步骤，具体为：
根据所述关联映射，确定通过所述手持式外设检测到的所述用户手势动作对应的交互操作指令。
4.根据权利要求3所述的基于头戴式显示设备的手势识别方法，其特征在于，所述确定所述检测到的用户手势动作对应的交互操作指令的步骤之后，还包括：
根据所述检测到的用户手势动作对应的交互操作指令，对所述头戴式显示设备显示界面中的交互控件进行交互操作。
5.根据权利要求4所述的基于头戴式显示设备的手势识别方法，其特征在于，所述用户手势动作包括抓取动作、投掷动作和/或移动动作。
6.一种基于头戴式显示设备的手势识别装置，其特征在于，包括：
外设连接模块：用于建立头戴式显示设备与手持式外设之间的通信连接；
动作检测模块：用于通过所述手持式外设检测用户的手势动作；
指令确定模块：用于确定所述动作检测模块检测到的用户手势动作对应的交互操作指令。
7.根据权利要求6所述的基于头戴式显示设备的手势识别装置，其特征在于，还包括：
关联映射模块：用于建立用户手势动作与预设的交互操作指令的关联映射。
8.根据权利要求7所述的基于头戴式显示设备的手势识别装置，其特征在于，所述指令确定模块，还用于：根据所述关联映射，确定所述动作检测模块检测到的所述用户手势动作对应的交互操作指令。
9.根据权利要求8所述的基于头戴式显示设备的手势识别装置，其特征在于，还包括：
操作执行模块：用于根据所述检测到的用户手势动作对应的交互操作指令，对所述头戴式显示设备显示界面中的交互控件进行交互操作。
10.一种头戴式显示设备，其特征在于，包括权利要求6至9中任一项所述的基于头戴式显示设备的手势识别装置。
CN201611263213.9A 2016-12-30 2016-12-30 基于头戴式显示设备的手势识别方法及装置 Pending CN108268124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611263213.9A CN108268124A (zh) 2016-12-30 2016-12-30 基于头戴式显示设备的手势识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611263213.9A CN108268124A (zh) 2016-12-30 2016-12-30 基于头戴式显示设备的手势识别方法及装置

Publications (1)

Publication Number Publication Date
CN108268124A true CN108268124A (zh) 2018-07-10

Family

ID=62753915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611263213.9A Pending CN108268124A (zh) 2016-12-30 2016-12-30 基于头戴式显示设备的手势识别方法及装置

Country Status (1)

Country Link
CN (1) CN108268124A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204855942U (zh) * 2015-06-29 2015-12-09 深圳市虚拟现实科技有限公司 无线远程传输的头戴式显示设备
CN105892636A (zh) * 2015-11-20 2016-08-24 乐视致新电子科技（天津）有限公司 一种应用于头戴设备的控制方法及头戴设备
CN106095135A (zh) * 2016-06-08 2016-11-09 钟林 一种利用方位手势触摸操作智能眼镜的方法及装置
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
CN106293099A (zh) * 2016-08-19 2017-01-04 北京暴风魔镜科技有限公司 手势识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
CN204855942U (zh) * 2015-06-29 2015-12-09 深圳市虚拟现实科技有限公司 无线远程传输的头戴式显示设备
CN105892636A (zh) * 2015-11-20 2016-08-24 乐视致新电子科技（天津）有限公司 一种应用于头戴设备的控制方法及头戴设备
CN106095135A (zh) * 2016-06-08 2016-11-09 钟林 一种利用方位手势触摸操作智能眼镜的方法及装置
CN106293099A (zh) * 2016-08-19 2017-01-04 北京暴风魔镜科技有限公司 手势识别方法及系统

Similar Documents

Publication Publication Date Title
US11504620B2 (en) Method for controlling game character and electronic device and computer storage medium
JP6529659B2 (ja) 情報処理方法、端末及びコンピュータ記憶媒体
US9905052B2 (en) System and method for controlling immersiveness of head-worn displays
US20190129607A1 (en) Method and device for performing remote control
CN107213643B (zh) 游戏画面的显示控制方法及装置、存储介质、电子设备
CN106975219A (zh) 游戏画面的显示控制方法及装置、存储介质、电子设备
CN104159016B (zh) 云台控制系统、方法及装置
WO2017054453A1 (zh) 一种信息处理方法、终端及计算机存储介质
CN108355354A (zh) 信息处理方法、装置、终端和存储介质
WO2014188797A1 (ja) 表示制御装置、表示制御方法および記録媒体
RU2016130682A (ru) Использование второго экрана в качестве персонального проекционного дисплея на очках
CN107132981A (zh) 游戏画面的显示控制方法及装置、存储介质、电子设备
WO2017051592A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN107583271A (zh) 在游戏中选择目标的交互方法和装置
CA2810307A1 (en) Image recognition apparatus, operation determining method and computer readable medium
CN110362231B (zh) 抬头触控设备、图像显示的方法及装置
CN106873886B (zh) 一种立体显示的控制方法、装置和电子设备
CN106445118B (zh) 虚拟现实交互方法及装置
US10359906B2 (en) Haptic interface for population of a three-dimensional virtual environment
US10754446B2 (en) Information processing apparatus and information processing method
CN107203321A (zh) 游戏画面的显示控制方法及装置、存储介质、电子设备
US20230017694A1 (en) Method and apparatus for controlling interface display, device, and storage medium
JPWO2016042862A1 (ja) 制御装置、制御方法およびプログラム
WO2014185808A1 (en) System and method for controlling multiple electronic devices
CN106200916B (zh) 增强现实图像的控制方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200709

Address after: No.18 Xilin 1st Street, Chenghua District, Chengdu, Sichuan 610051

Applicant after: Chengdu Ideal Zhimei Technology Co.,Ltd.

Address before: Two Lu Tian Hua high tech Zone of Chengdu City, Sichuan province 610041 219 No. 2 Building 1 unit 1 floor No. 3

Applicant before: CHENGDU IDEALENS TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180710