CN118092636A - 头戴式显示器、控制方法及其非暂态电脑可读取存储介质 - Google Patents
头戴式显示器、控制方法及其非暂态电脑可读取存储介质 Download PDFInfo
- Publication number
- CN118092636A CN118092636A CN202311421120.4A CN202311421120A CN118092636A CN 118092636 A CN118092636 A CN 118092636A CN 202311421120 A CN202311421120 A CN 202311421120A CN 118092636 A CN118092636 A CN 118092636A
- Authority
- CN
- China
- Prior art keywords
- gesture
- user
- head
- mounted display
- body part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005259 measurement Methods 0.000 claims abstract description 33
- 230000036544 posture Effects 0.000 claims description 15
- 210000001508 eye Anatomy 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 210000005252 bulbus oculi Anatomy 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 90
- 238000010586 diagram Methods 0.000 description 11
- 210000003811 finger Anatomy 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种头戴式显示器、控制方法及其非暂态电脑可读取存储介质。所述头戴式显示器基于多个即时影像,从多个姿态中决定一第一姿态。所述头戴式显示器基于对应至一使用者的一第一身体部位的多个惯性测量参数,产生对应所述使用者的多个手势中的一第一手势。所述头戴式显示器基于所述第一姿态及所述第一手势,产生对应多个输出事件中的一第一输出事件的一控制信号。本发明所提供的控制技术可提升在使用者穿戴头戴式显示器时使用者输入数据或是输入控制指令的效率。
Description
技术领域
本发明关于一种头戴式显示器、控制方法及其非暂态电脑可读取存储介质。具体而言,本发明关于一种能通过穿戴式装置及头戴式显示器的操作产生控制信号的头戴式显示器、控制方法及其非暂态电脑可读取存储介质。
背景技术
近年来,各种与虚拟现实(virtual reality)相关的技术快速的发展,各种头戴式显示器的技术及应用被相继的提出。
在现有技术中,在使用者穿戴内向外追踪定位(Inside-out)的头戴式显示器的情形下,使用者可通过操作手持控制器上的实体按键输入数据(例如:输入文字)或是进行对应的控制(例如:输入指令)。
然而,在这样的情形下,使用者操作控制器的手将无法进行其他的额外操作。此外,由于使用者需要操作手持控制器上的实体按键,因此通常让使用者难以快速的输入数据或是进行相应的控制。
有鉴于此,如何提供一种不需要使用者持有控制器,且能有效率的提供使用者进行操作以产生控制信号的控制技术,乃业界亟需努力的目标。
发明内容
本发明的一目的在于提供一种头戴式显示器。所述头戴式显示器包含一影像撷取器及一处理器,所述处理器耦接至所述影像撷取器。所述影像撷取器用以产生包含一穿戴式装置穿戴于一使用者的一第一身体部位的多个即时影像。所述处理器基于所述多个即时影像,从多个姿态中决定一第一姿态。所述处理器自所述穿戴式装置接收对应至所述第一身体部位的多个惯性测量参数。所述处理器基于所述多个惯性测量参数,产生对应所述使用者的多个手势中的一第一手势。所述处理器基于所述第一姿态及所述第一手势,产生对应多个输出事件中的一第一输出事件的一控制信号。
本发明的另一目的在于提供一种控制方法,所述控制方法用于一电子装置。所述控制方法包含下列步骤:分析包含一穿戴式装置穿戴于一使用者的一第一身体部位的多个即时影像以从多个姿态中决定一第一姿态;基于对应至所述使用者的所述第一身体部位的多个惯性测量参数,产生对应所述使用者的多个手势中的一第一手势;以及基于所述第一姿态及所述第一手势,产生对应多个输出事件中的一第一输出事件的一控制信号以控制操作于所述电子装置的一应用程序。
本发明的另一目的在于提供一种非暂态电脑可读取存储介质,所述非暂态电脑可读取存储介质存储一电脑程序,所述电脑程序包含多个程序指令,所述电脑程序在载入一电子装置后执行一控制方法,所述控制方法包含下列步骤:分析包含一穿戴式装置穿戴于一使用者的一第一身体部位的多个即时影像以从多个姿态中决定一第一姿态;基于对应至所述使用者的所述第一身体部位的多个惯性测量参数,产生对应所述使用者的多个手势中的一第一手势;以及基于所述第一姿态及所述第一手势,产生对应多个输出事件中的一第一输出事件的一控制信号以控制操作于所述电子装置的一应用程序。
在本发明的一实施方式中,其中决定所述第一姿态包含以下操作:比对对应所述使用者的一第二身体部位的一姿势追踪轨迹及所述多个姿态,以决定所述第一姿态。
在本发明的一实施方式中,其中所述姿势追踪轨迹由以下操作计算:分析所述多个即时影像,以产生对应至所述使用者的所述第二身体部位的多个空间位置,其中所述多个空间位置对应至多个时间区间;以及基于所述多个时间区间及所述多个空间位置,计算对应至所述使用者的所述第二身体部位的所述姿势追踪轨迹。
在本发明的一实施方式中,其中所述影像撷取器撷取的所述多个即时影像对应至一视野范围,且所述使用者的所述第二身体部位包含在所述视野范围中。
在本发明的一实施方式中,其中所述处理器更执行以下操作:判断所述多个姿态中是否具有对应所述姿势追踪轨迹的所述第一姿态;以及响应于具有对应所述姿势追踪轨迹的所述第一姿态,产生对应所述使用者的所述第一手势。
在本发明的一实施方式中,其中对应所述第一输出事件的所述控制信号用以控制操作于所述头戴式显示器的一应用程序,且所述第一输出事件对应至一密码输入操作或一模式切换操作其中至少一个。
在本发明的一实施方式中,其中所述影像撷取器撷取的所述多个即时影像对应至一视野范围,且所述使用者的一第二身体部位包含在所述视野范围中,其中所述多个即时影像被分析以产生对应所述使用者的所述第二身体部位的多个空间位置,且基于所述多个空间位置及对应于所述多个空间位置的多个时间区间,生成所述使用者的所述第二身体部位的一姿势追踪轨迹。
在本发明的一实施方式中,其中所述头戴式显示器更存储一输出事件查询表,所述输出事件查询表用以指示所述多个输出事件对应的所述多个姿态及所述多个手势,且所述处理器更执行以下操作:比对所述第一姿态及所述第一手势与所述输出事件查询表,以决定对应所述第一姿态及所述第一手势的所述第一输出事件;以及产生对应所述第一输出事件的所述控制信号。
在本发明的一实施方式中,其中所述头戴式显示器更包含:一眼球追踪器,用以产生对应所述使用者的一眼球轨迹;其中,所述处理器更执行以下操作:基于所述第一姿态、所述第一手势及所述眼球轨迹,产生对应所述多个输出事件中的所述第一输出事件的所述控制信号。
本发明所提供的控制技术(至少包含头戴式显示器、方法及其非暂态电脑可读取存储介质),通过分析对应至使用者一身体部位的即时影像及惯性测量参数,产生对应的姿态及手势。接着,本发明可基于对应的姿态及手势,产生对应输出事件的控制信号。由于本发明仅需要穿戴式装置及头戴式显示器的搭配操作,而不需要使用者手持控制器或是操作控制器上的实体按键。因此,本发明所提供的控制技术,可提升在使用者穿戴头戴式显示器时,使用者输入数据或是输入控制指令的效率。
以下结合附图阐述本发明的详细技术及实施方式,俾使本发明所属技术领域中具有通常知识者能理解所请求保护的发明的技术特征。
附图说明
图1示出了第一实施方式的控制信号产生系统的适用场景示意图;
图2A示出了某些实施方式的头戴式显示器的架构示意图;
图2B示出了某些实施方式的头戴式显示器的架构示意图;
图3示出了某些实施方式的穿戴式装置的架构示意图;
图4A示出了某些实施方式的姿态示意图;
图4B示出了某些实施方式的手势示意图;
图5示出了某些实施方式的输出事件查询表示意图;
图6示出了某些实施方式的操作时序图;以及
图7示出了第二实施方式的控制方法的部分流程图。
符号说明:
1:控制信号产生系统
2:头戴式显示器
3:穿戴式装置
C:使用者
21:收发接口
23:处理器
25:存储装置
27:影像撷取器
200:输出事件查询表
29:眼球追踪器
31:收发接口
33:处理器
35:惯性测量单元
PI:姿态示意图
P1、P2、P3、P4:姿态
GI:手势示意图
G1、G2、G3、G4:手势
E1、E2、E3、E4:输出事件
T1、T2、T3、T4:时间区间
600:时序图
700:控制方法
S701、S703、S705:步骤
具体实施方式
以下将通过实施方式来解释本发明所提供的一种头戴式显示器、控制方法及其非暂态电脑可读取存储介质。然而,所述多个实施方式并非用以限制本发明需在如所述多个实施方式所述的任何环境、应用或方式方能实施。因此,关于实施方式的说明仅为阐释本发明的目的,而非用以限制本发明的范围。应理解,在以下实施方式及附图中,与本发明非直接相关的元件已省略而未绘示,且各元件的尺寸以及元件间的尺寸比例仅为示例而已,而非用以限制本发明的范围。
先说明本实施方式的适用场景,其示意图示出于图1。如图1所示,于本发明的应用环境中,可由一使用者C使用一头戴式显示器2,且使用者C穿戴一穿戴式装置3于一身体部位(例如:使用者C穿戴一智能戒指于左手的食指上),以进行对应至头戴式显示器2的显示屏幕上的控制操作(例如:应用程序)。
于本发明的第一实施方式中,控制信号产生系统1包含了包含头戴式显示器2及穿戴式装置3,头戴式显示器2通讯连接至穿戴式装置3。
于本实施方式中,头戴式显示器2的架构示意图示出于图2A。头戴式显示器2包含一收发接口21、一处理器23及一存储装置25,处理器23耦接至收发接口21及存储装置25。
于某些实施方式中,如图2A所示,头戴式显示器2更包含一影像撷取器27,影像撷取器27耦接至处理器23。影像撷取器27可包含多个影像撷取单元(例如:多个深度相机镜头)用以撷取包含穿戴式装置3穿戴于使用者C的一第一身体部位的多个即时影像。
于某些实施方式中,影像撷取器27用以撷取对应一视野范围(Field Of View;FOV)的多个即时影像,其中使用者C穿戴穿戴式装置3的身体部位(例如:于某些实施方式所称的第二身体部位)包含在所述视野范围中。
此外,于本实施方式中,穿戴式装置3的架构示意图示出于图3。穿戴式装置3包含一收发接口31、一处理器33及一惯性测量单元35,处理器33耦接至收发接口31及惯性测量单元35。惯性测量单元35可用以侦测对应使用者C穿戴穿戴式装置3的身体部位(例如:于某些实施方式所称的第一身体部位)的所述多个惯性测量参数。
具体而言,惯性测量单元可持续的产生一序列的多个惯性测量参数(例如:以每秒10次的频率产生的惯性测量参数串流(stream)),且所述多个惯性测量参数各自可包含一加速度、一旋转量及一角加速度。于操作时,头戴式显示器2可定期的自穿戴式装置3接收所述多个惯性测量参数。
须说明的是,穿戴式装置3产生的所述多个惯性测量参数可对应至使用者C的身体部位(例如:手指等部位)。举例而言,使用者C可将穿戴式装置3穿戴于任何一个手指进行数据收集。为便于说明,于本实施方式中,将以使用者C将穿戴式装置3穿戴于食指进行说明。
须说明的是,收发接口21及收发接口31为可接收及传输数据的接口或本案所属技术领域中具有通常知识者所知悉的其他可接收及传输数据的接口,收发接口可通过例如:外部装置、外部网页、外部应用程序等等来源接收数据。处理器23及处理器33可为各种处理单元、中央处理单元(Central Processing Unit;CPU)、微处理器或本案所属技术领域中具有通常知识者所知悉的其他计算装置。存储装置25可为存储器、(Universal Serial Bus;USB)U盘、硬盘、光盘、随身盘或本案所属技术领域中具有通常知识者所知且具有相同功能的任何其他存储介质或电路。
需说明的是,图1仅方便作为示例,本发明并未限制控制信号产生系统1的内容。举例而言,本发明并未限制与头戴式显示器2所连线的穿戴式装置3的数目,头戴式显示器2可同时与多个穿戴式装置通过网络连接,视控制信号产生系统1的规模及实际需求而定。
于本实施方式中,处理器23基于所述多个即时影像,从多个姿态中决定一第一姿态。须说明的是,所述多个姿态可为预先定义的姿态,且所述多个姿态各自对应至使用者C的所述身体部位(即,欲分析的身体部位)的一种姿态。
为便于理解,请参考图4A的姿态示意图PI。如图4A所示,姿态示意图PI包含姿态为握拳的姿态P1、姿态为握拳且食指举起的姿态P2、姿态为握拳且中指及食指举起的姿态P3、姿态为手掌张开的姿态P4。
于某些实施方式中,处理器23可通过比对对应使用者C的一第二身体部位的一姿势追踪轨迹及所述多个姿态,以决定所述第一姿态。
具体而言,所述姿势追踪轨迹可由以下操作计算:处理器23分析所述多个即时影像,以产生对应至使用者C的所述第二身体部位的多个空间位置,其中所述多个空间位置对应至多个时间区间。接着,处理器23基于所述多个时间区间及所述多个空间位置,计算对应至使用者C的所述第二身体部位的所述姿势追踪轨迹。
于某些实施方式中,处理器23可通过生物力学中的人体骨架形态与力矩的分析技术,进行使用者C的所述第二身体部位的计算及分析。举例而言,处理器23可通过姿态检测演算法,以判断使用者C的手指骨架的角度和位置。当使用者C的手指骨架达到预定的角度和位置时,判断使用者C作出对应的动作。
在某些实施方式中,影像撷取器27撷取的所述多个即时影像对应至一视野范围,且所述使用者的所述第二身体部位包含在所述视野范围中。此外,所述多个即时影像被分析以产生对应所述使用者的所述第二身体部位的多个空间位置,且基于所述多个空间位置及对应于所述多个空间位置的多个时间区间,生成所述使用者的所述第二身体部位的一姿势追踪轨迹。
接着,在本实施方式中,处理器23自穿戴式装置3接收所述多个惯性测量参数。随后,处理器23基于所述多个惯性测量参数,产生对应使用者C的多个手势中的一第一手势。
在某些实施方式中,处理器23可将所述多个惯性测量参数输入至一卷积神经网络(例如,训练好的一卷积神经网络)以根据惯性测量产生对应于用户C的所述第一手势。
须说明的是,若以身体部位为手指为例,经训练完成的卷积神经网络可为一手势分类器。具体而言,所述卷积神经网络可用以分析所述多个惯性测量参数,并产生对应所述多个惯性测量参数的手势。于某些实施方式中,卷积神经网络可通过已标注的惯性测量参数数据训练(例如:对应手指的惯性测量参数)。
为便于理解,请参考图4B的手势示意图GI,图中以手呈现背部状态的移动为例说明。如图4B所示,手势GI包含往上移动的手势G1、往下移动的手势G2、往左移动的手势G3、往右移动的手势G4。
于某些实施方式中,处理器23会在所述多个惯性测量参数大于一预设值时(即,移动量大于一预设范围),才产生对应于用户C的所述第一手势。
最后,在本实施方式中,处理器23基于所述第一姿态及所述第一手势,产生对应多个输出事件中的一第一输出事件的一控制信号。举例而言,输出事件可以是切换模式的事件、选择选项的事件、输入数据的事件等等。
于某些实施方式中,如图2A及2B所示,头戴式显示器2更存储一输出事件查询表200,且输出事件查询表200用以指示所述多个输出事件对应的所述多个姿态及所述多个手势。
为便于理解,请参考图5示例的一种输出事件查询表200。在图5中,输出事件查询表200记录了输出事件E1对应至姿态P1及手势G3。输出事件E2对应至姿态P4及手势G4。输出事件E3对应至姿态P3及手势G4。输出事件E4对应至姿态P2及手势G2。
于某些实施方式中,处理器23可通过输出事件查询表200判断对应的输出事件。具体而言,处理器23比对所述第一姿态及所述第一手势与输出事件查询表200,以决定对应所述第一姿态及所述第一手势的所述第一输出事件。接着,处理器23产生对应所述第一输出事件的所述控制信号。
于某些实施方式中,为了节省运算资源及降低误判的发生,处理器23仅会在判断使用者C的姿态符合条件时,才进一步判断使用者C的手势。具体而言,处理器23先判断所述多个姿态中是否具有对应所述姿势追踪轨迹的所述第一姿态。
此外,当具有对应所述姿势追踪轨迹的所述第一姿态时,处理器23响应于具有对应所述姿势追踪轨迹的所述第一姿态,产生对应所述使用者的所述第一手势。
此外,当不具有对应所述姿势追踪轨迹的所述第一姿态时,处理器23响应于不具有对应所述姿势追踪轨迹的所述第一姿态,不产生对应所述使用者的所述第一手势。
于某些实施方式中,对应所述第一输出事件的所述控制信号用以控制操作于头戴式显示器2的一应用程序,且所述第一输出事件对应至一密码输入操作或一模式切换操作其中至少一个。
于某些实施方式中,为使输出事件的判断更精准,头戴式显示器2可更将使用者C的眼球动作加入作为判断条件之一。具体而言,如图2B所示,头戴式显示器2更包含一眼球追踪器29,眼球追踪器29用以产生对应使用者C的一眼球轨迹。于某些实施方式中,头戴式显示器2可基于所述第一姿态、所述第一手势及所述眼球轨迹,产生对应所述多个输出事件中的所述第一输出事件的所述控制信号。
举例而言,当处理器23通过分析所述第一姿态及所述第一手势产生输出事件E1且处理器23更分析所述眼球轨迹指示往右时(即,看向右方),处理器23可更将输出事件分为E1_1。此外,当处理器23更分析眼球轨迹指示往左时(即,看向左方),处理器23可更将输出事件分为E1_2。因此,可以区分出更多的输出事件的对应的控制信号。
于某些实施方式中,处理器23亦可设定当眼球轨迹与某一身体部位同方向(例如:看向手指所指的方向)时,产生对应的一输出事件。
为便于理解,以一实际实施范例说明,请参考图6的操作时序图600。于图6中,处理器23于时间区间T1时,判断使用者C的手呈现姿态P1且配合手势G3,因此处理器23于时间区间T1产生对应输出事件E1的控制信号。此外,处理器23于时间区间T2时,判断使用者C的手呈现姿态P2且配合手势G2,因此处理器23于时间区间T2产生对应输出事件E4的控制信号。
此外,处理器23于时间区间T3时,判断使用者C的手呈现姿态P3且配合手势G4,因此处理器23于时间区间T3产生对应输出事件E3的控制信号。此外,处理器23于时间区间T4时,判断使用者C的手呈现姿态P4且配合手势G4,因此处理器23于时间区间T4产生对应输出事件E2的控制信号。
由上述说明可知,本发明所提供的控制信号产生系统1,通过分析对应至使用者一身体部位的即时影像及惯性测量参数,产生对应的姿态及手势。接着,本发明可基于对应的姿态及手势,产生对应输出事件的控制信号。由于本发明仅需要穿戴式装置及头戴式显示器的搭配操作,而不需要使用者手持控制器或是操作控制器上的实体按键。因此,本发明所提供的控制信号产生系统1,可提升在使用者穿戴头戴式显示器时,使用者输入数据或是输入控制指令的效率。
本发明的第二实施方式为一控制方法,其流程图示出于图7。控制方法700适用于一电子装置,例如:第一实施方式所述的控制系统1中的头戴式显示器2。控制方法700通过步骤S701至步骤S705产生控制信号以控制操作于所述电子装置的一应用程序。
于步骤S701,由电子装置分析包含一穿戴式装置穿戴于一使用者的一第一身体部位的多个即时影像以从多个姿态中决定一第一姿态。接着,于步骤S703,由电子装置基于对应至所述使用者的所述第一身体部位的多个惯性测量参数,产生对应所述使用者的多个手势中的一第一手势。
最后,于步骤S705,由电子装置基于所述第一姿态及所述第一手势,产生对应多个输出事件中的一第一输出事件的一控制信号以控制操作于所述电子装置的一应用程序。
于某些实施方式中,其中分析所述多个即时影像的步骤更包含以下步骤:分析所述多个即时影像,以产生对应至所述使用者的一第二身体部位的多个空间位置,其中所述多个空间位置对应至多个时间区间;以及基于所述多个时间区间及所述多个空间位置,计算对应至所述使用者的所述第二身体部位的一姿势追踪轨迹。
于某些实施方式中,其中分析所述多个即时影像的步骤更包含以下步骤:比对所述使用者的所述第二身体部位的所述姿势追踪轨迹及所述多个姿态,以决定所述第一姿态。
于某些实施方式中,其中所述电子装置更包含一影像撷取器,用以撷取对应一视野范围的所述多个即时影像,其中所述使用者的所述第二身体部位包含在所述视野范围中。
于某些实施方式中,控制方法700更包含以下步骤:判断所述多个姿态中是否具有对应所述姿势追踪轨迹的所述第一姿态;以及响应于具有对应所述姿势追踪轨迹的所述第一姿态,产生对应所述使用者的所述第一手势。
于某些实施方式中,其中对应所述第一输出事件的所述控制信号用以控制操作于所述电子装置的所述应用程序,且所述第一输出事件对应至一密码输入操作或一模式切换操作其中至少一个。
于某些实施方式中,其中所述电子装置更包含:一影像撷取器,用以撷取对应至一视野范围的所述多个即时影像,其中所述使用者的一第二身体部位包含在所述视野范围中。此外,所述多个即时影像被分析以产生对应所述使用者的所述第二身体部位的多个空间位置,且基于所述多个空间位置及对应于所述多个空间位置的多个时间区间,生成所述使用者的所述第二身体部位的一姿势追踪轨迹。
于某些实施方式中,其中所述电子装置的更存储一输出事件查询表,所述输出事件查询表用以指示所述多个输出事件对应的所述多个姿态及所述多个手势,且控制方法700更包含以下步骤:比对所述第一姿态及所述第一手势与所述输出事件查询表,以决定对应所述第一姿态及所述第一手势的所述第一输出事件;以及产生对应所述第一输出事件的所述控制信号。
于某些实施方式中,其中所述电子装置更包含:一眼球追踪器,用以产生对应所述使用者的一眼球轨迹。其中,所述控制方法700更包含以下步骤:基于所述第一姿态、所述第一手势及所述眼球轨迹,产生对应所述多个输出事件中的所述第一输出事件的所述控制信号。
除了上述步骤,第二实施方式亦能执行第一实施方式所描述的控制信号产生系统1的所有操作及步骤,具有同样的功能,且达到同样的技术效果。本发明所属技术领域中具有通常知识者可直接了解第二实施方式如何基于上述第一实施方式以执行此等操作及步骤,具有同样的功能,并达到同样的技术效果,故不赘述。
第二实施方式所阐述的控制方法可由具有多个指令的一电脑程序实现。各电脑程序可为能被于网络上传输的档案,亦可被存储于一非暂态电脑可读取存储介质中。针对各电脑程序,在其所包含的所述多个指令被载入至一电子装置(例如:头戴式显示器2)之后,所述电脑程序执行第二实施方式所述的控制方法。所述非暂态电脑可读取存储介质可为一电子产品,例如:一只读存储器(read only memory;ROM)、一快闪存储器、一软盘、一硬盘、一光盘(compact disk;CD)、一U盘、一可由网络访问的数据库或本发明所属技术领域中具有通常知识者所知且具有相同功能的任何其他存储介质。
需说明的是,于本发明专利说明书及权利要求中,某些用语(包含:身体部位、姿态、手势、输出事件等等)前被冠以「第一」或「第二」,「第一」或「第二」仅用来区分不同的用语。例如:第一身体部位及第二身体部位中的「第一」及「第二」仅用来表示不同操作时所使用的不同身体部位。
综上所述,本发明所提供的控制技术(至少包含系统、方法及其非暂态电脑可读取存储介质),通过分析对应至使用者一身体部位的即时影像及惯性测量参数,产生对应的姿态及手势。接着,本发明可基于对应的姿态及手势,产生对应输出事件的控制信号。由于本发明仅需要穿戴式装置及头戴式显示器的搭配操作,而不需要使用者手持控制器或是操作控制器上的实体按键。因此,本发明所提供的控制技术,可提升在使用者穿戴头戴式显示器时,使用者输入数据或是输入控制指令的效率。
上述实施方式仅用来列举本发明的部分实施例,以及阐释本发明的技术特征,而非用来限制本发明的保护范畴及范围。任何本发明所属技术领域中具有通常知识者可轻易完成的改变或均等性的安排均属于本发明所主张的范围,而本发明的权利保护范围以权利要求为准。
Claims (11)
1.一种头戴式显示器,其特征在于,包含:
一影像撷取器,用以撷取包含一穿戴式装置穿戴于一使用者的一第一身体部位的多个即时影像;
一处理器,耦接至所述影像撷取器,且执行以下操作:
基于所述多个即时影像,从多个姿态中决定一第一姿态;
自所述穿戴式装置接收对应至所述第一身体部位的多个惯性测量参数;
基于所述多个惯性测量参数,产生对应所述使用者的多个手势中的一第一手势;以及
基于所述第一姿态及所述第一手势,产生对应多个输出事件中的一第一输出事件的一控制信号。
2.如权利要求1所述的头戴式显示器,其特征在于,其中决定所述第一姿态包含以下操作:
比对对应所述使用者的一第二身体部位的一姿势追踪轨迹及所述多个姿态,以决定所述第一姿态。
3.如权利要求2所述的头戴式显示器,其特征在于,其中所述姿势追踪轨迹由以下操作计算:
分析所述多个即时影像,以产生对应至所述使用者的所述第二身体部位的多个空间位置,其中所述多个空间位置对应至多个时间区间;以及
基于所述多个时间区间及所述多个空间位置,计算对应至所述使用者的所述第二身体部位的所述姿势追踪轨迹。
4.如权利要求2所述的头戴式显示器,其特征在于,其中所述影像撷取器撷取的所述多个即时影像对应至一视野范围,且所述使用者的所述第二身体部位包含在所述视野范围中。
5.如权利要求2所述的头戴式显示器,其特征在于,其中所述处理器更执行以下操作:
判断所述多个姿态中是否具有对应所述姿势追踪轨迹的所述第一姿态;以及
响应于具有对应所述姿势追踪轨迹的所述第一姿态,产生对应所述使用者的所述第一手势。
6.如权利要求1所述的头戴式显示器,其特征在于,其中对应所述第一输出事件的所述控制信号用以控制操作于所述头戴式显示器的一应用程序,且所述第一输出事件对应至一密码输入操作或一模式切换操作其中至少一个。
7.如权利要求1所述的头戴式显示器,其特征在于,其中所述影像撷取器撷取的所述多个即时影像对应至一视野范围,且所述使用者的一第二身体部位包含在所述视野范围中,其中所述多个即时影像被分析以产生对应所述使用者的所述第二身体部位的多个空间位置,且基于所述多个空间位置及对应于所述多个空间位置的多个时间区间,生成所述使用者的所述第二身体部位的一姿势追踪轨迹。
8.如权利要求1所述的头戴式显示器,其特征在于,其中所述头戴式显示器更存储一输出事件查询表,所述输出事件查询表用以指示所述多个输出事件对应的所述多个姿态及所述多个手势,且所述处理器更执行以下操作:
比对所述第一姿态及所述第一手势与所述输出事件查询表,以决定对应所述第一姿态及所述第一手势的所述第一输出事件;以及
产生对应所述第一输出事件的所述控制信号。
9.如权利要求1所述的头戴式显示器,其特征在于,其中所述头戴式显示器更包含:
一眼球追踪器,用以产生对应所述使用者的一眼球轨迹;
其中,所述处理器更执行以下操作:
基于所述第一姿态、所述第一手势及所述眼球轨迹,产生对应所述多个输出事件中的所述第一输出事件的所述控制信号。
10.一种控制方法,其特征在于,用于一电子装置,其中所述控制方法包含下列步骤:
分析包含一穿戴式装置穿戴于一使用者的一第一身体部位的多个即时影像以从多个姿态中决定一第一姿态;
基于对应至所述使用者的所述第一身体部位的多个惯性测量参数,产生对应所述使用者的多个手势中的一第一手势;以及
基于所述第一姿态及所述第一手势,产生对应多个输出事件中的一第一输出事件的一控制信号以控制操作于所述电子装置的一应用程序。
11.一种非暂态电脑可读取存储介质,其特征在于,所述非暂态电脑可读取存储介质存储一电脑程序,所述电脑程序包含多个程序指令,所述电脑程序在载入一电子装置后执行一控制方法,所述控制方法包含下列步骤:
分析包含一穿戴式装置穿戴于一使用者的一第一身体部位的多个即时影像以从多个姿态中决定一第一姿态;
基于对应至所述使用者的所述第一身体部位的多个惯性测量参数,产生对应所述使用者的多个手势中的一第一手势;以及
基于所述第一姿态及所述第一手势,产生对应多个输出事件中的一第一输出事件的一控制信号以控制操作于所述电子装置的一应用程序。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/058,876 | 2022-11-28 | ||
US18/058,876 US20240176143A1 (en) | 2022-11-28 | 2022-11-28 | Head-mounted display, controlling method and non-transitory computer readable storage medium thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118092636A true CN118092636A (zh) | 2024-05-28 |
Family
ID=91146635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311421120.4A Pending CN118092636A (zh) | 2022-11-28 | 2023-10-30 | 头戴式显示器、控制方法及其非暂态电脑可读取存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240176143A1 (zh) |
CN (1) | CN118092636A (zh) |
-
2022
- 2022-11-28 US US18/058,876 patent/US20240176143A1/en active Pending
-
2023
- 2023-10-30 CN CN202311421120.4A patent/CN118092636A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240176143A1 (en) | 2024-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105824431B (zh) | 信息输入装置与方法 | |
US9940507B2 (en) | Image processing device and method for moving gesture recognition using difference images | |
JP6524661B2 (ja) | 入力支援方法、入力支援プログラムおよび入力支援装置 | |
JP2019535055A (ja) | ジェスチャに基づく操作の実施 | |
JP2019537763A (ja) | ジェスチャベースインタラクションのための方法およびシステム | |
US11782514B2 (en) | Wearable device and control method thereof, gesture recognition method, and control system | |
CN112926423B (zh) | 捏合手势检测识别方法、装置及系统 | |
US9063573B2 (en) | Method and system for touch-free control of devices | |
TWI471815B (zh) | 手勢辨識裝置及方法 | |
WO2019178114A1 (en) | Gesture recognition system and method of using same | |
CN111625157B (zh) | 指尖关键点检测方法、装置、设备和可读存储介质 | |
CN113031840B (zh) | 腕戴设备的防误触发方法、装置、电子设备及存储介质 | |
EP4307096A1 (en) | Key function execution method, apparatus and device, and storage medium | |
KR20150106823A (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
KR102224932B1 (ko) | 비전 센서를 이용한 사용자 입력 처리 장치 및 사용자 입력 처리 방법 | |
KR20160079531A (ko) | 제스처 입력 처리 방법 및 장치 | |
Iannizzotto et al. | Hand tracking for human-computer interaction with graylevel visualglove: turning back to the simple way | |
CN118092636A (zh) | 头戴式显示器、控制方法及其非暂态电脑可读取存储介质 | |
Agarwal et al. | Gestglove: A wearable device with gesture based touchless interaction | |
US11782548B1 (en) | Speed adapted touch detection | |
US20230333664A1 (en) | Head-mounted display, tapping input signal generating method and non-transitory computer readable storage medium thereof | |
KR102346904B1 (ko) | 제스처 인식 장치 및 방법 | |
JP6481360B2 (ja) | 入力方法、入力プログラムおよび入力装置 | |
WO2018063699A1 (en) | Gesture experiences in multi-user environments | |
CN114415929A (zh) | 电子设备的控制方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |