CN105718038B - 一种用于近眼显示设备的手势姿态识别设备 - Google Patents

一种用于近眼显示设备的手势姿态识别设备 Download PDF

Info

Publication number
CN105718038B
CN105718038B CN201410738699.1A CN201410738699A CN105718038B CN 105718038 B CN105718038 B CN 105718038B CN 201410738699 A CN201410738699 A CN 201410738699A CN 105718038 B CN105718038 B CN 105718038B
Authority
CN
China
Prior art keywords
gesture
recognition equipment
gesture recognition
eye display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410738699.1A
Other languages
English (en)
Other versions
CN105718038A (zh
Inventor
覃政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING ANTUR TECHNOLOGY Co Ltd
Original Assignee
BEIJING ANTUR TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ANTUR TECHNOLOGY Co Ltd filed Critical BEIJING ANTUR TECHNOLOGY Co Ltd
Priority to CN201410738699.1A priority Critical patent/CN105718038B/zh
Publication of CN105718038A publication Critical patent/CN105718038A/zh
Application granted granted Critical
Publication of CN105718038B publication Critical patent/CN105718038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种用于近眼显示设备的手势姿态识别设备,所述设备包括呈长方体状的外壳、置于外壳内部的控制单元、通信接口单元和震动电机,至少三个分别位于所述长方体上表面三个顶角处的识别灯、以及支撑所述外壳的支撑座,其中,所述至少三个识别灯在所述控制单元的控制下分别发出的灯光,用于被所述近眼显示设备采集以确定所述手势姿态识别设备的姿态;所述通信接口单元用于在所述手势姿态识别设备和所述近眼显示器之间传送控制指令和数据;所述震动电机用于接收控制指令而产生震动;所述支撑座位于所述长方体状外壳的下表面的四个底角处,用于支撑所述外壳的放置。

Description

一种用于近眼显示设备的手势姿态识别设备
技术领域
本发明涉及一种手势姿态识别交互系统,特别涉及一种用于近眼显示设备的手势姿态识别设备以及包括该设备的交互系统。
背景技术
随着传感技术的发展,用手势对显示单元(电视、显示器等)进行控制已成为可能。具有手势识别功能的显示装置包括用于进行显示的显示单元,以及用于采集手势的图像采集单元(摄像头、相机等);通过对所采集的图像进行分析,即可确定用户要进行的操作。目前的手势识别技术中,大多都是用于识别使用者的手势,并不能确定手势设备的相对位置和姿态信息,从而导致手势识别失败或识别误差较大,特别是针对近眼显示领域,手势识别技术必须做到识别手势准确,否则影响使用者的视觉体验和交互作用的准确度。
基于上述现有技术的不足之处,因此需要开发出一种能够准确地实现用于近眼显示领域的手势识别的方法或系统。
发明内容
本发明的目的在于提供一种用于近眼显示设备的手势姿态识别设备,所述设备包括呈长方体状的外壳、置于外壳内部的控制单元、通信接口单元和震动电机,至少三个分别位于所述长方体上表面三个顶角处的识别灯、以及支撑所述外壳的支撑座,其中,所述至少三个识别灯在所述控制单元的控制下分别发出的灯光,用于被所述近眼显示设备采集以确定所述手势姿态识别设备的姿态;所述通信接口单元用于在所述手势姿态识别设备和所述近眼显示器之间传送控制指令和数据;所述震动电机用于接收控制指令而产生震动;所述支撑座位于所述长方体状外壳的下表面的四个底角处,用于支撑所述外壳的放置。
优选地,还包括至少四个分别置于四个底角处的所述支撑座内部的音频传感器,以分别感测来自所述手势姿态识别设备外部的音频源发出的音频或震动信号。
优选地,通过不同位置处的所述音频传感器感测的同一音频或震动信号计算所述各个音频传感器与所述音频源的位置,从而计算所述音频源相对于所述手势姿态识别设备的位置。
优选地,所述支撑座是金属制成的。
优选地,还包含位于所述外壳内部的姿态传感器。
优选地,还包括位于所述外壳上表面上的触摸屏,用于接收输入指令。
优选地,所述识别灯分别发出不同波段的光。
优选地,所述识别灯发出相同波段的光,所述摄像单元中还包括信号同步模块和第一时钟模块,且所示摄像单元根据所述第一时钟模块的频率同步拍摄图像序列;所述控制单元中还包括第二时钟模块并通过第二时钟模块控制指示灯的亮灭,其中所述信号同步模块用于同步的第一时钟模块和第二时钟模块。
优选地,所述近眼显示设备拍摄所述手势姿态识别设备的姿态图片连同其上至少三个识别灯的光斑位置,通过选取不在同一直线上的至少三个光斑位置连线得到三角形来确定所述手势姿态识别设备相对于所述近眼显示设备的姿态信息。
优选地,所述识别灯贯穿所述外壳的上表面和下表面。
通过本发明的一种用于近眼显示设备的手势识别交互系统可以准确地实现用于近眼显示领域的手势识别的方法,且本发明的手势姿态识别设备具有功能多、结构简单、操作方便、体验效果丰富等优点。
应当理解,前述大体的描述和后续详尽的描述均为示例性说明和解释,并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图,本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明,其中:
图1(a)示意性地示出根据本发明的包括近眼显示器与手势姿态识别设备的交互系统的第一种实施方式;
图1(b)示意性地示出根据本发明的手势姿态识别设备的放大结构图;
图1(c)示意性地示出本发明中包括近眼显示器与手势姿态识别设备的交互系统的第二种实施方式;
图2示意性示出了通过拍摄的图像确定近眼显示器与手势姿态识别设备相对位置的方法原理图。
图3示意性示出了利用本发明实现的虚拟输入操作的场景示意图。
具体实施方式
通过参考示范性实施例,本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而,本发明并不受限于以下所公开的示范性实施例;可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中,将参考附图描述本发明的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
本发明提供了一种与头戴式近眼显示器交互作用的手势姿态识别设备,以及包括近眼显示器与手势姿态识别设备的交互系统。
图1(a)示意性示出了根据本发明中一种包括近眼显示设备的手势姿态识别设备的交互系统100的第一种实施方式。该交互系统100包括近眼显示设备101、摄像单元102和手势姿态识别设备103。
近眼显示设备101,用于佩戴在使用者头部从而在使用者眼前呈现出动态交互图像,该动态交互图像中包含使用者使用手势姿态识别设备103产生的交互动作所触发显示的图像。
摄像单元102,用于拍摄手势姿态识别设备103并通过该拍摄的图像分析出手势姿态识别设备103相对于近眼显示设备101的具体位置。优选地,该摄像单元102可贴附在近眼显示设备101的前方外部,且采用150度的广角镜头,主要用于采集手势姿态识别设备103的位置图像。
手势姿态识别设备103,用于识别使用者的手势动作并反馈至近眼显示设备101。手势姿态识别设备103与近眼显示设备101之间的通信连接采用无线或有线方式,优选采用蓝牙、WiFi、NFC等无线连接方式。
根据本发明的一个实施例,图1(b)示意性地示出根据本发明的手势姿态识别设备的放大结构图。手势姿态识别设备103包括外壳103a、置于外壳103a内部的控制单元103g、通信接口单元103h、位于外壳103a顶角处的至少3个识别灯,即第一识别灯103b-1、第二识别灯103b-2和第三识别灯103b-3、内置的震动电机103e、和支撑座103c。
根据本发明的一个实施例,识别灯103b可以发出不同波段的光、也可以发出相同波段的光。当识别灯103b发出不同波段的光时,例如分别为红色的第一识别灯103b-1、绿色的第二识别灯103b-2、蓝色的第三识别灯103b-3,还可以包括红外的第四识别灯103b-4。识别灯主要用于定位整个手势姿态识别设备103相对于近眼显示设备的相对姿态信息和空间位置信息。根据本发明的一个实施例,识别灯103b贯穿外壳103a的上表面和下表面,则不管使用者以什么样的姿态握住手势姿态识别设备101,摄像单元102均能够拍摄到至少三个识别灯103b。
当识别灯103b发出相同波段的光时,此时所述摄像单元102中还包括信号同步模块和第一时钟模块,且所述摄像单元根据所述第一时钟模块的频率同步拍摄图像序列。所述控制单元中还包括第二时钟模块并通过第二时钟模块控制识别灯的亮灭,其中所述信号同步模块用于同步第一时钟模块和第二时钟模块,从而可以实现摄像单元102拍摄图像时记录下此时哪一个识别灯103b是灭掉的,并进一步识别出其他亮着的识别灯103b的位置。
通过分析摄像单元102拍摄到的含有至少3个识别灯103b的图像,可以获得三个识别灯103b在图像中的相对位置关系及其之间的三角关系,从而确定手势姿态识别设备103的姿态信息以及与近眼显示设备101之间的相对位置信息,其中相对位置关系由所述三角形占整幅图像的面积来确定,且姿态信息则由三角关系的边长或角度来确定。
支撑座103c位于外壳103a下表面的4个底角处,优选为金属材料制成,根据本发明的一个实施例,其内部设置有四个音频传感器103d,从而能够实现通过声音来确定声源的位置,其中的金属盘具有增强声波信号的作用。4个音频传感器103d可以分别感测来自所述手势姿态识别设备103外部的音频源发出的音频或震动信号。通过不同位置处的音频传感器103d(例如位于不同支撑座内的音频传感器103d)感测的同一音频或震动信号,可以计算所述各个音频传感器与所述音频源的位置,从而计算所述音频源相对于所述手势姿态识别设备的位置。
内置的震动电机103e,用于接收从所述近眼显示设备发来的指令而产生震动,通过震动的方式将信息反馈给使用者,例如击球动作反馈或键盘输入反馈。
可选地,还包括位于外壳103a上表面的触摸屏103f,用于用户输入或控制类操作的识别,且可以无需与摄像单元配合使用。通过滑屏的方式即可直接获取手势动作信息,具有简单和精准等优点。
图1(c)示意性示出了根据本发明中一种用于近眼显示设备的手势识别交互系统100的第二种实施方式。与第一种实施方式不同点在于,该实施方式有至少一个识别灯103b,并在手势姿态识别设备103的内部设置有惯性传感器103h(IMU)。
惯性传感器103h用于获取手势姿态识别设备103的姿态信息,而通过至少一个识别灯103b用于识别出相对于近眼显示设备101的位置关系,相对位置关系由拍摄图像中光斑的位置关系来确定。通过惯性传感器103h和一个识别灯103b即可确定手势姿态识别设备103的姿态信息以及与近眼显示设备101之间的相对位置信息,从而实现了与第一实施例中3个识别灯103b同样的目的。
如图2所示,示出了一张示例性的由摄像单元102拍摄的含有3个识别灯103b的图像200,通过该分析处理图像200中包含的信息即可确定近眼显示器101与手势姿态识别设备103相对位置关系和姿态信息。图像200中包含由3个识别灯103b产生的发光点或光斑,3个识别灯103b分别发出RGB三种颜色的光,即红绿蓝三色光。
3个识别灯103b的发光点的连线构成了一个三角形,通过该三角形的角度、边长和面积即可确定手势姿态识别设备103的相对位置和姿态信息,假如三角形为正三角,即表明手势姿态识别设备103表面正对着近眼显示器101,假如三角形不是正三角形,即表明手势姿态识别设备103表面与近眼显示器101存在一定的角度。从而实现根据图像200中的三角形的角度、边长和面积即可确定近眼显示器101与手势姿态识别设备103相对位置关系和姿态信息。
下面介绍两种具体应用的实施例,分别为虚拟乒乓球游戏和虚拟键盘输入。
实施例1为虚拟乒乓球游戏,当使用者的近眼显示设备101中开启一款乒乓球游戏时,此时的手势姿态识别设备103即相当于乒乓球拍,使用者手握手势姿态识别设备103即可做出击打乒乓球的动作。此时通过摄像单元102拍摄多个图像序列并捕获出识别灯103b的位置变化路径(相当于球拍路径)以及姿态信息变化(相当于球拍姿态),如果获取的该变化路径和姿态信息均与正确的击球动作路径一致,则可正确完成击打乒乓球的动作,同时将该击球路径信息和姿态信息返回至近眼显示设备101中并渲染出相对应的击球效果,且当准确击打到乒乓球时震动电机103e发出震动以表示击打成功,此时人手即可感觉到该震动触觉。
实施例2为虚拟键盘输入。图3示出了该虚拟键盘输入的场景示意图,如图3所示,首先将手势姿态识别设备放置于桌面301上,同时在使用者的近眼显示设备101中呈现出虚拟键盘302时,使用者即可观看到在手势姿态识别设备103所在桌面301的位置处虚拟出一个可输入的文本框303,且在手势姿态识别设备103所在位置靠近使用者一侧呈现出虚拟键盘302,此时使用者即可敲击位于桌面301上的虚拟键盘302,敲击后虚拟键盘的按键会变成不同的颜色以示区分,且敲击桌面301的声波信号会被4个音频传感器103d捕获,故可通过不同音频传感器103d获得声波信号的时间不同而计算得出使用者敲击桌面301的具体坐标,且同时利用震动电机103e发出震动以表示已经成功捕获到敲击时的声波信号。通过该坐标即可识别出使用者敲击的是哪一个按键,并同时显示到输入框或文本中。从而完成虚拟键盘输入的过程。
当然本发明中技术方案的实施例还包括很多其他应用,不仅仅局限于上述描述的几种实施例。通过本发明一种用于近眼显示设备的手势识别交互系统可以准确地实现用于近眼显示领域的手势识别的方法,且本发明的手势姿态识别设备具有功能多、结构简单、操作方便、体验效果丰富等优点。
所述附图仅为示意性的并且未按比例画出。虽然已经结合优选实施例对本发明进行了描述,但应当理解本发明的保护范围并不局限于这里所描述的实施例。
结合这里披露的本发明的说明和实践,本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的,本发明的真正范围和主旨均由权利要求所限定。

Claims (9)

1.一种用于近眼显示设备的手势姿态识别设备,所述设备包括呈长方体状的外壳、置于外壳内部的控制单元、通信接口单元和震动电机,至少三个分别位于所述长方体上表面三个顶角处的识别灯、以及支撑所述外壳的支撑座,其中,
所述至少三个识别灯在所述控制单元的控制下分别发出的灯光,用于被所述近眼显示设备采集以确定所述手势姿态识别设备的姿态;
其中所述近眼显示设备拍摄所述手势姿态识别设备的姿态图片连同其上至少三个识别灯的光斑位置,通过选取不在同一直线上的至少三个光斑位置连线得到三角形,和获得的至少三个识别灯的相对位置关系,来确定所述手势姿态识别设备相对于所述近眼显示设备的姿态信息,
其中,所述相对位置关系由所述三角形占姿态图片的面积确定,所述姿态信息由所述三角形的边长或角度确定;
所述通信接口单元用于在所述手势姿态识别设备和所述近眼显示器之间传送控制指令和数据;
所述震动电机用于接收控制指令而产生震动;
所述支撑座位于所述长方体状外壳的下表面的四个底角处,用于支撑所述外壳的放置;
所述近眼显示设备,用于佩戴在使用者头部从而在使用者眼前呈现出动态交互图像,所述动态交互图像中包含使用者使用手势姿态识别设备产生的交互动作所触发显示的图像;
在所述近眼显示设备的前方外部贴附摄像单元,所述摄像单元采用150度的广角镜头,用于拍摄手势姿态识别设备并通过所述拍摄的图像分析出手势姿态识别设备相对于近眼显示设备的具体位置。
2.如权利要求1所述的手势姿态识别设备,还包括至少四个分别置于四个底角处的所述支撑座内部的音频传感器,以分别感测来自所述手势姿态识别设备外部的音频源发出的音频或震动信号。
3.如权利要求2所述的手势姿态识别设备,其中通过不同位置处的所述音频传感器感测的同一音频或震动信号计算所述各个音频传感器与所述音频源的位置,从而计算所述音频源相对于所述手势姿态识别设备的位置。
4.如权利要求1所述的手势姿态识别设备,所述支撑座是金属制成的。
5.如权利要求1所述的手势姿态识别设备,还包含位于所述外壳内部的姿态传感器。
6.如权利要求1所述的手势姿态识别设备,还包括位于所述外壳上表面上的触摸屏,用于接收输入指令。
7.如权利要求1所述的手势姿态识别设备,所述识别灯分别发出不同波段的光。
8.如权利要求1所述的手势姿态识别设备,所述识别灯发出相同波段的光,所述摄像单元中还包括信号同步模块和第一时钟模块,且所示摄像单元根据所述第一时钟模块的频率同步拍摄图像序列;所述控制单元中还包括第二时钟模块并通过第二时钟模块控制指示灯的亮灭,其中所述信号同步模块用于同步的第一时钟模块和第二时钟模块。
9.如权利要求1所述的手势姿态识别设备,其中所述识别灯贯穿所述外壳的上表面和下表面。
CN201410738699.1A 2014-12-05 2014-12-05 一种用于近眼显示设备的手势姿态识别设备 Active CN105718038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410738699.1A CN105718038B (zh) 2014-12-05 2014-12-05 一种用于近眼显示设备的手势姿态识别设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410738699.1A CN105718038B (zh) 2014-12-05 2014-12-05 一种用于近眼显示设备的手势姿态识别设备

Publications (2)

Publication Number Publication Date
CN105718038A CN105718038A (zh) 2016-06-29
CN105718038B true CN105718038B (zh) 2018-10-19

Family

ID=56144147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410738699.1A Active CN105718038B (zh) 2014-12-05 2014-12-05 一种用于近眼显示设备的手势姿态识别设备

Country Status (1)

Country Link
CN (1) CN105718038B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007466A (zh) * 2019-04-30 2019-07-12 歌尔科技有限公司 一种ar眼镜及人机交互方法、系统、设备、计算机介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1848043A (zh) * 2005-04-04 2006-10-18 技嘉科技股份有限公司 虚拟键盘
CN101309731A (zh) * 2005-10-17 2008-11-19 转换注意力治疗技术有限公司 转移注意力治疗的设备、方法及交互式装置
CN102495674A (zh) * 2011-12-05 2012-06-13 无锡海森诺科技有限公司 一种红外人机交互方法及装置
CN103713737A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 用于智能眼镜的虚拟键盘系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010022882A2 (en) * 2008-08-25 2010-03-04 Universität Zürich Prorektorat Mnw Adjustable virtual reality system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1848043A (zh) * 2005-04-04 2006-10-18 技嘉科技股份有限公司 虚拟键盘
CN101309731A (zh) * 2005-10-17 2008-11-19 转换注意力治疗技术有限公司 转移注意力治疗的设备、方法及交互式装置
CN102495674A (zh) * 2011-12-05 2012-06-13 无锡海森诺科技有限公司 一种红外人机交互方法及装置
CN103713737A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 用于智能眼镜的虚拟键盘系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007466A (zh) * 2019-04-30 2019-07-12 歌尔科技有限公司 一种ar眼镜及人机交互方法、系统、设备、计算机介质

Also Published As

Publication number Publication date
CN105718038A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
US11670267B2 (en) Computer vision and mapping for audio applications
US10019849B2 (en) Personal electronic device with a display system
US20130100165A1 (en) Image processing apparatus, method for controlling the same, and program therefor
US10642564B2 (en) Display system, display device, information display method, and program
US9602584B2 (en) System with distributed process unit
JP6340301B2 (ja) ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
US20170221379A1 (en) Information terminal, motion evaluating system, motion evaluating method, and recording medium
US20170351325A1 (en) Information processing apparatus, information processing method, and computer program
WO2015037177A1 (en) Information processing apparatus method and program combining voice recognition with gaze detection
EP2645205A2 (en) Client Device
US10497277B2 (en) Feedback provision method, system, and analysis device
US20160189411A1 (en) Image display system, image display apparatus, image display method, and non-transitory storage medium encoded with computer readable program
JP2015166890A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US10440307B2 (en) Image processing device, image processing method and medium
US11284061B2 (en) User input device camera
CN108572728B (zh) 信息处理设备、信息处理方法和程序
CN104270623B (zh) 一种显示方法及电子设备
TWI530821B (zh) 頭戴式顯示系統及其操作方法
JP2016140017A (ja) 情報処理装置、表示装置、および情報処理方法
CN105718038B (zh) 一种用于近眼显示设备的手势姿态识别设备
JP5926773B2 (ja) 周辺装置、情報処理システム、および、周辺装置の接続方法
JP6733401B2 (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
JP2017032870A (ja) 画像投影装置及び画像表示システム
CN206282229U (zh) 一种用于头戴显示器的人机交互系统
JP2016062026A (ja) 作業工程学習支援システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20160629

Assignee: Google Inc.

Assignor: BEIJING ANTVR TECHNOLOGY Co.,Ltd.

Contract record no.: X2024990000126

Denomination of invention: A gesture and posture recognition device for near eye display devices

Granted publication date: 20181019

License type: Common License

Record date: 20240411