CN116909384A - 头戴式显示器及点击输入信号产生方法 - Google Patents

头戴式显示器及点击输入信号产生方法 Download PDF

Info

Publication number
CN116909384A
CN116909384A CN202310394932.8A CN202310394932A CN116909384A CN 116909384 A CN116909384 A CN 116909384A CN 202310394932 A CN202310394932 A CN 202310394932A CN 116909384 A CN116909384 A CN 116909384A
Authority
CN
China
Prior art keywords
finger
click
fingers
mounted display
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310394932.8A
Other languages
English (en)
Inventor
赖朝祥
谢政翰
冯欣瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN116909384A publication Critical patent/CN116909384A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

一种头戴式显示器及点击输入信号产生方法。所述头戴式显示器基于多个即时影像,判断多个手指中是否具有一第一手指对应至一点击型态。响应于所述多个手指中具有所述第一手指对应至所述点击型态,所述头戴式显示器判断从一穿戴式装置接收的一感测信号是否符合所述第一手指的一点击手势。响应于所述感测信号符合所述第一手指的所述点击手势,所述头戴式显示器产生对应至所述第一手指的一点击输入信号。本发明所提供的点击输入信号产生技术,可提升使用者点击输入资料的正确性。

Description

头戴式显示器及点击输入信号产生方法
技术领域
本发明关于一种头戴式显示器、点击输入信号产生方法及其非暂态计算机可读存储介质。具体而言,本发明关于一种能通过头戴式显示器及穿戴式装置的判断操作正确产生点击输入信号的头戴式显示器、点击输入信号产生方法及其非暂态计算机可读存储介质。
背景技术
近年来,各种与虚拟现实(virtual reality)相关的技术快速的发展,各种头戴式显示器的技术及应用被相继的提出。
在现有技术中,在使用者穿戴内向外追踪定位(Inside-out)的头戴式显示器的情形下,使用者可通过操作手持控制器上的实体按键输入资料(例如:输入文字)或是手部追踪的方式输入资料。
然而,在操作手持控制器上的实体按键的情形下,使用者操作控制器的手将无法进行其他的额外操作。此外,由于使用者需要操作控制器上的实体按键,因此通常让使用者难以快速的输入资料。另外,使用手部追踪判断输入资料,难以精准的判断是用者是否有明确的执行输入的动作,因此容易发生误判的情形。
有鉴于此,如何提供一种不需要使用者持有控制器,且能正确的产生点击输入信号的技术,乃业界亟需努力的目标。
发明内容
本发明的一目的在于提供一种头戴式显示器。所述头戴式显示器包含一影像撷取器及一处理器,所述处理器耦接至所述影像撷取器。所述处理器基于所述多个即时影像,判断所述多个手指中是否具有一第一手指对应至一点击型态。所述处理器响应于所述多个手指中具有所述第一手指对应至所述点击型态,判断从一穿戴式装置接收的一感测信号是否符合所述第一手指的一点击手势。所述处理器响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的一点击输入信号。
本发明的另一目的在于提供一种点击输入信号产生方法,所述点击输入信号产生方法用于一电子装置。所述点击输入信号产生方法包含下列步骤:基于包含一使用者的多个手指的多个即时影像,判断所述多个手指中是否具有一第一手指对应至一点击型态;响应于所述多个手指中具有所述第一手指对应至所述点击型态,判断从一穿戴式装置接收的一感测信号是否符合所述第一手指的一点击手势;以及响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的一点击输入信号。
本发明的另一目的在于提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质储存一计算机程序,所述计算机程序包含多个程序指令,所述计算机程序在载入一电子装置后执行一点击输入信号产生方法,所述点击输入信号产生方法包含下列步骤:基于包含一使用者的多个手指的多个即时影像,判断所述多个手指中是否具有一第一手指对应至一点击型态;响应于所述多个手指中具有所述第一手指对应至所述点击型态,判断从一穿戴式装置接收的一感测信号是否符合所述第一手指的一点击手势;以及响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的一点击输入信号。
在本发明的一实施方式中,其中所述处理器还执行以下操作:基于所述多个即时影像,计算所述多个手指各个对应的一位移距离;以及基于所述多个位移距离,判断所述多个手指中是否具有所述第一手指对应至所述点击型态。
在本发明的一实施方式中,其中判断所述多个手指中是否具有所述第一手指对应至所述点击型态还包含以下操作:判断所述多个手指中是否具有所述第一手指对应的一时间区间的所述位移距离大于一位移阈值;以及响应于所述第一手指对应的所述时间区间的所述位移距离大于所述位移阈值,判断所述第一手指对应至所述点击型态。
在本发明的一实施方式中,其中所述处理器还执行以下操作:基于所述多个即时影像,计算所述多个手指各个对应的一手指位置;以及响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的所述手指位置的所述点击输入信号。
在本发明的一实施方式中,其中所述处理器还执行以下操作:基于所述多个即时影像,决定一虚拟平面位置;以及响应于所述多个手指位置位于所述虚拟平面位置上,判断所述多个手指中是否具有所述第一手指对应至所述点击型态。
在本发明的一实施方式中,其中所述虚拟平面位置对应至一实体空间中的一实体平面位置。
在本发明的一实施方式中,其中所述虚拟平面位置对应至一虚拟键盘,且所述点击输入信号包含所述虚拟键盘对应所述第一手指的所述手指位置的一输入操作。
在本发明的一实施方式中,其中所述穿戴式装置还包含一惯性测量单元,所述感测信号包含一惯性信号,且所述处理器还执行以下操作:比对所述惯性信号与多个手势惯性信号,以辨识所述惯性信号是否符合所述第一手指的所述点击手势。
在本发明的一实施方式中,其中所述穿戴式装置还包含一肌电图测量单元,所述感测信号包含一肌电图信号,且所述处理器还执行以下操作:比对所述肌电图信号与多个手势肌电图信号,以辨识所述肌电图信号是否符合所述第一手指的所述点击手势。
在本发明的一实施方式中,其中所述穿戴式装置还包含一红外线发光二极管,所述红外线发光二极管用以产生一红外线,且所述处理器还执行以下操作:基于所述多个即时影像及所述红外线,计算所述多个手指各个对应的一手指位置及一位移距离。
本发明所提供的点击输入信号产生技术(至少包含头戴式显示器、方法及其非暂态计算机可读存储介质),通过所述多个即时影像判断所述多个手指中是否具有一第一手指对应至一点击型态。接着,响应于所述多个手指中具有所述第一手指对应至所述点击型态,本发明所提供的点击输入信号产生技术判断从穿戴式装置接收的感测信号是否符合所述第一手指的一点击手势。最后,响应于所述感测信号符合所述第一手指的所述点击手势,本发明所提供的点击输入信号产生技术产生对应至所述第一手指的一点击输入信号。由于本发明仅需要穿戴式装置及头戴式显示器的搭配操作,因此不需要使用者手持装置或是操作控制器上的实体按键。此外,本发明所提供的点击输入信号产生技术,通过即时影像及感测信号的判断,可提升使用者点击输入资料的正确性。
以下结合附图阐述本发明的详细技术及实施方式,俾使本发明所属技术领域中具有通常知识者能理解所请求保护的发明的技术特征。
附图说明
图1是描绘第一实施方式的头戴式显示器的适用场景示意图;
图2是描绘某些实施方式的头戴式显示器的架构示意图;
图3A是描绘某些实施方式的穿戴式装置的架构示意图;
图3B是描绘某些实施方式的穿戴式装置的架构示意图;
图3C是描绘某些实施方式的穿戴式装置的架构示意图;
图3D是描绘某些实施方式的穿戴式装置的架构示意图;
图4是描绘某些实施方式的操作示意图;
图5是描绘某些实施方式的操作时序示意图;以及
图6是描绘第二实施方式的点击输入信号产生方法的部分流程图。
符号说明:
C:使用者
1:头戴式显示器
2:穿戴式装置
11:影像撷取器
13:处理器
21:惯性测量单元
23:收发接口
25:肌电图测量单元
27:红外线发光二极管
400:操作示意图
HD:手
VP:虚拟平面
D1:距离
D2:距离
T:大拇指
I:食指
M:中指
R:无名指
P:小拇指
TP:点击型态
TG:点击手势
500:操作时序示意图
T1、I1、R1、P1:时间区间
TMP1、TMP2:时间点
600:点击输入信号产生方法
S601、S603、S605:步骤
具体实施方式
以下将通过实施方式来解释本发明所提供的一种头戴式显示器、点击输入信号产生方法及其非暂态计算机可读存储介质。然而,这些实施方式并非用以限制本发明需在如这些实施方式所述的任何环境、应用或方式方能实施。因此,关于实施方式的说明仅为阐释本发明的目的,而非用以限制本发明的范围。应理解,在以下实施方式及附图中,与本发明非直接相关的元件已省略而未示出,且各元件的尺寸以及元件间的尺寸比例仅为例示而已,而非用以限制本发明的范围。
先说明本实施方式的适用场景,其示意图描绘于图1。如图1所示,于本发明的应用环境中,可由一使用者C使用一头戴式显示器1,且使用者C穿戴一或多个穿戴式装置2于手腕上(例如:智能手环),以进行对应至头戴式显示器1的输入操作(例如:虚拟键盘输入操作)。于本发明的第一实施方式中,头戴式显示器1通讯连接至穿戴式装置2。
须说明的是,图1仅方便作为例示,本发明并未限制与头戴式显示器1所连线的穿戴式装置2的数目,头戴式显示器1可同时与一或多个穿戴式装置通过网络连线,视装置的规模及使用者C的实际需求而定。
于本实施方式中,头戴式显示器1的架构示意图描绘于图2。如图2所示,头戴式显示器1包含一影像撷取器11及一处理器13,处理器13耦接至影像撷取器11。
须说明的是,影像撷取器11可包含多个影像撷取单元(例如:多个深度相机镜头),用以产生对应一视野范围(Field Of View;FOV)的多个即时影像。处理器13可为各种处理单元、中央处理单元(Central Processing Unit;CPU)、微处理器或本案所属技术领域中具有通常知识者所知悉的其他计算装置。
于本实施方式中,头戴式显示器1中的影像撷取器11用以撷取包含使用者C的多个手指的多个即时影像。
于本实施方式中,头戴式显示器1基于所述多个即时影像,判断使用者C的所述多个手指中是否具有一第一手指对应至一点击型态(pattern)。举例而言,头戴式显示器1可通过手部追踪(hand tracking)技术分析所述多个即时影像,以判断使用者C是否有至少一手指对应至点击的动作,其中所述点击型态用以指示使用者C执行了一有效点击的动作。
于某些实施方式中,处理器13可通过计算手指的位移距离以判断所述手指是否对应至点击型态。具体而言,处理器13基于所述多个即时影像,计算所述多个手指各个对应的一位移距离。接着,处理器13基于所述多个位移距离,判断所述多个手指中是否具有所述第一手指对应至所述点击型态。
于某些实施方式中,处理器13判断所述多个手指中是否具有所述第一手指对应的一时间区间(例如:0.3秒)的所述位移距离大于一位移阈值。接着,处理器13响应于所述第一手指对应的所述时间区间的所述位移距离大于所述位移阈值,判断所述第一手指对应至所述点击型态。
接着,于本实施方式中,为了更精确的判断使用者C的手部动作是点击手势而非其他手势,处理器13可还基于穿戴式装置2接收的感测信号进行手势分析。具体而言,处理器13响应于所述多个手指中具有所述第一手指对应至所述点击型态,判断从一穿戴式装置(例如:穿戴式装置2)接收的感测信号是否符合所述第一手指的一点击手势(gesture)。其中,所述点击手势用以指示使用者C执行了与点击操作相关的手势。
于本实施方式中,头戴式显示器1可从穿戴式装置2接收一感测信号。须说明的是,头戴式显示器1可基于一预定周期(例如:以每秒30次的固定频率),定期从穿戴式装置2接收感测信号。
于本实施方式中,穿戴式装置2产生的所述感测信号对应至使用者C的所述多个手指。举例而言,使用者C可将穿戴式装置2(例如:智能手环、智能手表等等)穿戴于手腕进行使用者C的手指部位的感测数据收集。
须说明的是,由于使用者C通过不同手指点击时,穿戴式装置2将会产生对应的感测信号(即,使用者C使用不同手指点击时,将产生不同数值的感测信号),处理器13可通过比对从穿戴式装置2接收的感测信号,辨识使用者C是使用哪个手指点击,且辨识感测信号是否对应至点击手势或是其他的手势(例如:弹手指的动作)。
举例而言,当使用者C正确点击时,其产生的感测信号通常包含按下手指后抬起手指的一连贯动作。因此,若穿戴式装置2感测到的感测信号仅有按下的单一动作时,处理器13判断使用者C仅是执行一单纯的放置动作。
于某些实施方式中,所述感测信号可包含一惯性信号。举例而言,如图3A所示,穿戴式装置2包含惯性测量单元21及收发接口23,收发接口23电性连接至惯性测量单元21。惯性测量单元21可用以侦测对应使用者C穿戴穿戴式装置2的手部的一惯性信号。收发接口23为可接收及传输资料的接口或本案所属技术领域中具有通常知识者所知悉的其他可接收及传输资料的接口。
于某些实施方式中,当穿戴式装置2包含惯性测量单元21时(例如:图3A),处理器13比对所述惯性信号与多个手势惯性信号(例如:已记录的各个手指的手势惯性信号),以辨识所述惯性信号是否符合所述第一手指的所述点击手势。
具体而言,惯性测量单元(Inertial measurement unit;IMU)可持续的产生一序列的多个惯性信号(例如:以每秒10次的频率产生的惯性测量参数串流(stream)),且所述多个惯性信号各个可包含一加速度、一旋转量及一角加速度。于操作时,头戴式显示器1可定期的从穿戴式装置2接收所述多个惯性信号。
于某些实施方式中,所述感测信号可包含一肌电图(Electromyography;EMG)信号。举例而言,如图3B所示,穿戴式装置2包含肌电图测量单元25及收发接口23,收发接口23电性连接至肌电图测量单元25。肌电图测量单元25可用以侦测对应使用者C穿戴穿戴式装置2的手部的一肌电图信号。
于某些实施方式中,当穿戴式装置2包含肌电图测量单元25时(例如:图3B),处理器13比对所述肌电图信号与多个手势肌电图信号(例如:已记录的各个手指的手势肌电图信号),以辨识所述肌电图信号是否符合所述第一手指的所述点击手势。
于某些实施方式中,为了更精准判断手指的位置及移动距离,头戴式显示器1可还通过穿戴式装置2上的红外线定位使用者C的手部各关节位置,且计算所述多个手指各个的手指位置及位移距离。举例而言,如图3C及3D图所示,穿戴式装置2可还包含红外线发光二极管27,且红外线发光二极管27用以产生一红外线。
最后,于本实施方式中,处理器13响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的一点击输入信号。
于某些实施方式中,点击输入信号是对应至第一手指的手指位置。具体而言,处理器13还基于所述多个即时影像,计算所述多个手指各个对应的一手指位置(例如:空间中的绝对坐标位置或是相对坐标位置)。接着,处理器13响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的所述手指位置的所述点击输入信号。
于某些实施方式中,为了节省运算资源及误判的发生,头戴式显示器1仅会在判断使用者C的手部位于一虚拟平面(virtual plane)上时,才执行对应的判断操作。具体而言,处理器13基于所述多个即时影像,决定一虚拟平面位置。接着,处理器13响应于所述多个手指位置位于所述虚拟平面位置上,判断所述多个手指中是否具有所述第一手指对应至所述点击型态。
须说明的是,处理器13可通过辨识所述多个即时影像中的一平面区块,决定所述虚拟平面位置。于某些实施方式中,所述虚拟平面位置对应至一实体空间中的一实体平面位置(例如:平整的桌面)。于某些实施方式中,使用者C需将双手放置在实体平面上以执行相应的输入操作(即,所述虚拟平面位置需对应至实体平面位置)。
为便于理解,请参考图4的操作示意图400,其例示了使用者C以右手执行操作的示意图。于本范例中,使用者C的右手指位于虚拟平面VP。
如图4所示,处理器13可计算使用者C手部HD的各个手指与虚拟平面VP的距离,并根据所述距离设定所述多个手指各个对应的位移阈值。举例而言,大拇指与虚拟平面VP的距离为D1,处理器13可设定大拇指的位移阈值为D1(即,当处理器13判断使用者C的大拇指位移距离超过D1时,处理器13判断大拇指对应至所述点击型态)。
又举例而言,食指与虚拟平面VP的距离为D2,处理器13可设定食指的位移阈值为D2(即,当处理器13判断使用者C的食指位移距离超过D2时,处理器13判断食指对应至所述点击型态)。
于某些实施方式中,虚拟平面位置对应至一虚拟键盘,且所述点击输入信号包含所述虚拟键盘对应所述第一手指的所述手指位置的一输入操作。举例而言,当处理器13判断使用者C执行点击的是大拇指,且大拇指的位置位于虚拟键盘的按键「S」,处理器13产生的所述点击输入信号将包含按键「S」的输入操作。
为便于理解,请参考图5的操作时序示意图500。如图5所示,其中操作时序示意图500的X轴分别对应至大拇指T、食指I、中指M、无名指R、小拇指P的判断操作时序,以及点击型态TP及点击手势TG的判断结果。
如图5所示,处理器13判断无名指R在时间区间R1的时间区间(例如:0.3秒)执行了对应的点击型态,且处理器13判断所述点击手势TG对应至点击(Tapping)手势T,而非其他手势O。因此,时间点TMP1对应的点击型态TP的判断结果为无名指R,点击手势TG的判断结果为点击手势T,且处理器13产生对应无名指R及其手指位置的点击输入信号。
此外,处理器13判断食指I在时间区间I1的时间区间执行了对应的点击型态,且处理器13判断所述点击手势TG对应至点击手势T,而非其他手势O。因此,时间点TMP2对应的点击型态TP的判断结果为食指I,点击手势TG的判断结果为点击手势T,且处理器13产生对应食指I及其手指位置的点击输入信号。
此外,由于大拇指T在时间区间T1的时间区间执行的动作幅度未超过位移阈值,处理器13判断大拇指T的位移非属于点击型态,因此处理器13不需进行进一步的判断。
此外,虽然小拇指P在时间区间P1的时间区间执行的动作幅度超过位移阈值,然而处理器13判断小拇指P的动作非属于点击手势(即,属于其他手势O),因此处理器13不需进行进一步的判断。
由上述说明可知,本发明所提供的头戴式显示器1,通过所述多个即时影像判断所述多个手指中是否具有一第一手指对应至一点击型态。接着,响应于所述多个手指中具有所述第一手指对应至所述点击型态,头戴式显示器1判断从穿戴式装置接收的感测信号是否符合所述第一手指的一点击手势。最后,响应于所述感测信号符合所述第一手指的所述点击手势,头戴式显示器1产生对应至所述第一手指的一点击输入信号。由于本公开仅需要穿戴式装置及头戴式显示器的搭配操作,因此不需要使用者手持装置或是操作控制器上的实体按键。此外,本发明所提供的头戴式显示器1,通过即时影像及感测信号的判断,提升使用者点击输入资料的正确性。
本发明的第二实施方式为一点击输入信号产生方法,其流程图描绘于图6。点击输入信号产生方法600适用于一电子装置,例如:第一实施方式所述的头戴式显示器1。点击输入信号产生方法600通过步骤S601至步骤S605产生点击输入信号。
于步骤S601,由电子装置基于包含一使用者的多个手指的多个即时影像,判断所述多个手指中是否具有一第一手指对应至一点击型态。接着,于步骤S603,由电子装置响应于所述多个手指中具有所述第一手指对应至所述点击型态,判断从一穿戴式装置接收的一感测信号是否符合所述第一手指的一点击手势。
最后,于步骤S605,由电子装置响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的一点击输入信号。
于某些实施方式中,点击输入信号产生方法600还包含以下步骤:基于所述多个即时影像,计算所述多个手指各个对应的一位移距离;以及基于所述多个位移距离,判断所述多个手指中是否具有所述第一手指对应至所述点击型态。
于某些实施方式中,其中判断所述多个手指中是否具有所述第一手指对应至所述点击型态还包含以下步骤:判断所述多个手指中是否具有所述第一手指对应的一时间区间的所述位移距离大于一位移阈值;以及响应于所述第一手指对应的所述时间区间的所述位移距离大于所述位移阈值,判断所述第一手指对应至所述点击型态。
于某些实施方式中,点击输入信号产生方法600还包含以下步骤:基于所述多个即时影像,计算所述多个手指各个对应的一手指位置;以及响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的所述手指位置的所述点击输入信号。
于某些实施方式中,点击输入信号产生方法600还包含以下步骤:基于所述多个即时影像,决定一虚拟平面位置;以及响应于所述多个手指位置位于所述虚拟平面位置上,判断所述多个手指中是否具有所述第一手指对应至所述点击型态。
于某些实施方式中,其中所述虚拟平面位置对应至一实体空间中的一实体平面位置。
于某些实施方式中,其中所述虚拟平面位置对应至一虚拟键盘,且所述点击输入信号包含所述虚拟键盘对应所述第一手指的所述手指位置的一输入操作。
于某些实施方式中,其中所述穿戴式装置还包含一惯性测量单元,所述感测信号包含一惯性信号,且所述点击输入信号产生方法600还包含以下步骤:比对所述惯性信号与多个手势惯性信号,以辨识所述惯性信号是否符合所述第一手指的所述点击手势。
于某些实施方式中,其中所述穿戴式装置还包含一肌电图测量单元,所述感测信号包含一肌电图信号,且所述点击输入信号产生方法600还包含以下步骤:比对所述肌电图信号与多个手势肌电图信号,以辨识所述肌电图信号是否符合所述第一手指的所述点击手势。
除了上述步骤,第二实施方式亦能执行第一实施方式所描述的头戴式显示器1的所有操作及步骤,具有同样的功能,且达到同样的技术效果。本发明所属技术领域中具有通常知识者可直接了解第二实施方式如何基于上述第一实施方式以执行这些操作及步骤,具有同样的功能,并达到同样的技术效果,故不赘述。
第二实施方式所阐述的追踪方法可由具有多个指令的一计算机程序实现。各计算机程序可为能被于网络上传输的档案,亦可被储存于一非暂态计算机可读存储介质中。针对各计算机程序,在其所包含的所述多个指令被载入至一电子装置(例如:头戴式显示器1)的后,所述计算机程序执行第二实施方式所述的点击输入信号产生方法。所述非暂态计算机可读存储介质可为一电子产品,例如:一只读存储器(read only memory;ROM)、一快闪存储器、一软盘、一硬盘、一光盘(compact disk;CD)、一随身盘、一可由网络存取的资料库或本发明所属技术领域中具有通常知识者所知且具有相同功能的任何其他存储介质。
需说明的是,于本发明专利说明书及权利要求中,某些用语(包含:手指等等)前被冠以「第一」,所述「第一」仅用来区分不同的用语。例如:第一手指中的「第一」仅用来表示所述多个手指中的一手指。
综上所述,本发明所提供的点击输入信号产生技术(至少包含头戴式显示器、方法及其非暂态计算机可读存储介质),通过所述多个即时影像判断所述多个手指中是否具有一第一手指对应至一点击型态。接着,响应于所述多个手指中具有所述第一手指对应至所述点击型态,本发明所提供的点击输入信号产生技术判断从穿戴式装置接收的感测信号是否符合所述第一手指的一点击手势。最后,响应于所述感测信号符合所述第一手指的所述点击手势,本发明所提供的点击输入信号产生技术产生对应至所述第一手指的一点击输入信号。由于本发明仅需要穿戴式装置及头戴式显示器的搭配操作,因此不需要使用者手持装置或是操作控制器上的实体按键。此外,本发明所提供的点击输入信号产生技术,通过即时影像及感测信号的判断,可提升使用者点击输入资料的正确性。
上述实施方式仅用来例举本发明的部分实施例,以及阐释本发明的技术特征,而非用来限制本发明的保护范畴及范围。任何本发明所属技术领域中具有通常知识者可轻易完成的改变或均等性的安排均属于本发明所主张的范围,而本发明的权利保护范围以权利要求为准。

Claims (12)

1.一种头戴式显示器,其特征在于,包含:
一影像撷取器,用以撷取包含一使用者的多个手指的多个即时影像;以及
一处理器,耦接至所述影像撷取器,且用以执行以下操作:
基于所述多个即时影像,判断所述多个手指中是否具有一第一手指对应至一点击型态;
响应于所述多个手指中具有所述第一手指对应至所述点击型态,判断从一穿戴式装置接收的一感测信号是否符合所述第一手指的一点击手势;以及
响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的一点击输入信号。
2.如权利要求1所述的头戴式显示器,其特征在于,其中所述处理器还执行以下操作:
基于所述多个即时影像,计算所述多个手指各个对应的一位移距离;以及
基于所述多个位移距离,判断所述多个手指中是否具有所述第一手指对应至所述点击型态。
3.如权利要求2所述的头戴式显示器,其特征在于,其中判断所述多个手指中是否具有所述第一手指对应至所述点击型态还包含以下操作:
判断所述多个手指中是否具有所述第一手指对应的一时间区间的所述位移距离大于一位移阈值;以及
响应于所述第一手指对应的所述时间区间的所述位移距离大于所述位移阈值,判断所述第一手指对应至所述点击型态。
4.如权利要求1所述的头戴式显示器,其特征在于,其中所述处理器还执行以下操作:
基于所述多个即时影像,计算所述多个手指各个对应的一手指位置;以及
响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的所述手指位置的所述点击输入信号。
5.如权利要求4所述的头戴式显示器,其特征在于,其中所述处理器还执行以下操作:
基于所述多个即时影像,决定一虚拟平面位置;以及
响应于所述多个手指位置位于所述虚拟平面位置上,判断所述多个手指中是否具有所述第一手指对应至所述点击型态。
6.如权利要求5所述的头戴式显示器,其特征在于,其中所述虚拟平面位置对应至一实体空间中的一实体平面位置。
7.如权利要求5所述的头戴式显示器,其特征在于,其中所述虚拟平面位置对应至一虚拟键盘,且所述点击输入信号包含所述虚拟键盘对应所述第一手指的所述手指位置的一输入操作。
8.如权利要求1所述的头戴式显示器,其特征在于,其中所述穿戴式装置还包含一惯性测量单元,所述感测信号包含一惯性信号,且所述处理器还执行以下操作:
比对所述惯性信号与多个手势惯性信号,以辨识所述惯性信号是否符合所述第一手指的所述点击手势。
9.如权利要求1所述的头戴式显示器,其特征在于,其中所述穿戴式装置还包含一肌电图测量单元,所述感测信号包含一肌电图信号,且所述处理器还执行以下操作:
比对所述肌电图信号与多个手势肌电图信号,以辨识所述肌电图信号是否符合所述第一手指的所述点击手势。
10.如权利要求1所述的头戴式显示器,其特征在于,其中所述穿戴式装置还包含一红外线发光二极管,所述红外线发光二极管用以产生一红外线,且所述处理器还执行以下操作:
基于所述多个即时影像及所述红外线,计算所述多个手指各个对应的一手指位置及一位移距离。
11.一种点击输入信号产生方法,其特征在于,用于一电子装置,所述点击输入信号方法包含下列步骤:
基于包含一使用者的多个手指的多个即时影像,判断所述多个手指中是否具有一第一手指对应至一点击型态;
响应于所述多个手指中具有所述第一手指对应至所述点击型态,判断从一穿戴式装置接收的一感测信号是否符合所述第一手指的一点击手势;以及
响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的一点击输入信号。
12.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质储存一计算机程序,所述计算机程序包含多个程序指令,所述计算机程序在载入一电子装置后执行一点击输入信号产生方法,所述点击输入信号产生方法包含下列步骤:
基于包含一使用者的多个手指的多个即时影像,判断所述多个手指中是否具有一第一手指对应至一点击型态;
响应于所述多个手指中具有所述第一手指对应至所述点击型态,判断从一穿戴式装置接收的一感测信号是否符合所述第一手指的一点击手势;以及
响应于所述感测信号符合所述第一手指的所述点击手势,产生对应至所述第一手指的一点击输入信号。
CN202310394932.8A 2022-04-13 2023-04-13 头戴式显示器及点击输入信号产生方法 Pending CN116909384A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263362888P 2022-04-13 2022-04-13
US63/362,888 2022-04-13

Publications (1)

Publication Number Publication Date
CN116909384A true CN116909384A (zh) 2023-10-20

Family

ID=88307799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310394932.8A Pending CN116909384A (zh) 2022-04-13 2023-04-13 头戴式显示器及点击输入信号产生方法

Country Status (3)

Country Link
US (1) US20230333664A1 (zh)
CN (1) CN116909384A (zh)
TW (1) TW202340927A (zh)

Also Published As

Publication number Publication date
TW202340927A (zh) 2023-10-16
US20230333664A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
CN105824431B (zh) 信息输入装置与方法
US8581856B2 (en) Touch sensitive display apparatus using sensor input
CN105159539B (zh) 可穿戴设备的触控响应方法、装置及可穿戴设备
KR101234111B1 (ko) 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
US9317130B2 (en) Visual feedback by identifying anatomical features of a hand
US8456436B2 (en) Input device and input method
CN103793057A (zh) 信息处理方法、装置及设备
CN103809733A (zh) 人机交互系统和方法
CN112926423A (zh) 捏合手势检测识别方法、装置及系统
TW201423612A (zh) 手勢辨識裝置及方法
CN107272892B (zh) 一种虚拟触控系统、方法及装置
CN108027648A (zh) 一种可穿戴设备的手势输入方法及可穿戴设备
CN107368820A (zh) 一种精细化手势识别方法、装置及设备
US20200348817A1 (en) Pen touch matching
CN205050078U (zh) 一种可穿戴设备
Choi et al. Bare-hand-based augmented reality interface on mobile phone
CN106598422B (zh) 混合操控方法及操控系统和电子设备
CN104246670A (zh) 图像控制装置、图像处理系统、以及计算机程序产品
CN116909384A (zh) 头戴式显示器及点击输入信号产生方法
Kim et al. Mo-Bi: Contextual mobile interfaces through bimanual posture sensing with Wrist-Worn devices
US20240176143A1 (en) Head-mounted display, controlling method and non-transitory computer readable storage medium thereof
TWI626423B (zh) 手觸偵測裝置、手觸偵測方法及應用其之智慧投影系統
US12073020B2 (en) Head-mounted display, unlocking method and non-transitory computer readable storage medium thereof
TWI697827B (zh) 控制系統及其控制方法
CN114415929A (zh) 电子设备的控制方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination