CN110780731A - 手指姿态检测装置、控制总成与校正方法 - Google Patents

手指姿态检测装置、控制总成与校正方法 Download PDF

Info

Publication number
CN110780731A
CN110780731A CN201910695567.8A CN201910695567A CN110780731A CN 110780731 A CN110780731 A CN 110780731A CN 201910695567 A CN201910695567 A CN 201910695567A CN 110780731 A CN110780731 A CN 110780731A
Authority
CN
China
Prior art keywords
finger
wearing
sensor
sensors
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910695567.8A
Other languages
English (en)
Other versions
CN110780731B (zh
Inventor
吴健民
黎焕欣
张立勋
谢天嘉
林子皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Priority to CN202310305862.4A priority Critical patent/CN116301385A/zh
Priority to CN202310305850.1A priority patent/CN116301384A/zh
Publication of CN110780731A publication Critical patent/CN110780731A/zh
Application granted granted Critical
Publication of CN110780731B publication Critical patent/CN110780731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开一种手指姿态检测装置、控制总成与校正方法，其中该手指姿态检测装置适用于一控制手把。控制手把包括一握持部，适合被一手部所握持并且在三度空间中移动。手指姿态检测装置包括一第一穿戴部、多个第二穿戴部以及多个第一传感器。第一穿戴部适于可拆卸地包围控制手把的握持部。握持部连接第一穿戴部时，握持部被定位在第一穿戴部的一侧。第二穿戴部各自独立地连接至第一穿戴部。当一力量施加在其中一个第二穿戴部时，相对应的第二穿戴部朝握持部移动。第一传感器分别配置于第二穿戴部，用于检测第二穿戴部相对于握持部的位置或移动。

Description

手指姿态检测装置、控制总成与校正方法
技术领域
本发明涉及一种手指姿态检测装置与方法，且特别是涉及一种适用于虚拟实境中的手指姿态检测装置、控制总成与校正方法。
背景技术
虚拟实境(Virtual Reality,VR)技术越来越普及，其输入装置较为常见的是控制手把。然而，传统的控制手把仅能提供点击物件或选择物件等简单的输入功能，而无法检测到手指的弯曲程度，所以无法应用于弹奏钢琴或敲击键盘等需要应用到手指姿态的虚拟环境。
发明内容
本发明提供一种手指姿态检测装置，能够检测使用者的手指状态。
本发明的手指姿态检测装置，适用于一控制手把。控制手把包括一握持部，适合被一手部所握持并且在三度空间中移动。手指姿态检测装置包括一第一穿戴部、多个第二穿戴部以及多个第一传感器。第一穿戴部适于可拆卸地包围控制手把的握持部。握持部连接第一穿戴部时，握持部被定位在第一穿戴部的一侧。第二穿戴部各自独立地连接至第一穿戴部。当一力量施加在其中一个第二穿戴部时，相对应的第二穿戴部朝握持部移动。第一传感器分别配置于第二穿戴部，用于检测第二穿戴部相对于握持部的位置或移动。
在本发明的一实施例中，上述的多个第二穿戴部分别被穿戴在手部的多个手指。各手指包括依序远离一指尖的一第一指节、一第二指节以及一第三指节。且第二穿戴部被穿戴于第三指节。
在本发明的一实施例中，上述的控制手把包括多个感应元件。感应元件配置于握持部，且感应元件与第一传感器与彼此感应以产生信号。
在本发明的一实施例中，上述的感应元件包括磁铁，且感应元件交替地以S磁极或N磁极分别朝向第一传感器。
在本发明的一实施例中，上述的手指姿态检测装置还包括一第二感应元件。第二感应元件朝第一传感器延伸且配置于第一穿戴部，以与第一传感器彼此感应以产生信号。第二穿戴部设置在第二感应元件与握持部之间。
在本发明的一实施例中，上述的手指姿态检测装置还包括控制模块以及第二传感器。控制模块配置于第一穿戴部。第一传感器感测到的信号搭配第二传感器感测到的信号计算出各个第一传感器相对于握持部的位置。
在本发明的一实施例中，当第一传感器检测到第二感应元件，第一传感器检测到的信号被校正。
在本发明的一实施例中，上述的第一传感器包括一惯性测量单元与一元件感测单元。当元件感测单元检测到第二感应元件，惯性测量单元检测到的对应到第二穿戴部与握持部的相对应位置的信号被校正。
本发明的手指姿态检测装置，适用于一控制手把。控制手把包括一握持部，适合被一手部所握持并且在三度空间中移动。握持部设置有多个传感器。手指姿态检测装置包括一第一穿戴部、多个第二穿戴部以及多个感应元件。第一穿戴部适于可拆卸地包围控制手把的握持部。握持部连接第一穿戴部时，握持部被定位在第一穿戴部的一侧。第二穿戴部各自独立地连接至第一穿戴部。当一力量施加在其中一个第二穿戴部时，相对应的第二穿戴部朝握持部移动。感应元件分别配置于第二穿戴部，提供对应感应元件的传感器检测第二穿戴部相对于握持部的位置或移动。
在本发明的一实施例中，第二穿戴部分别被穿戴在手部的多个手指。各手指包括依序远离一指尖的一第一指节、一第二指节以及一第三指节。第二穿戴部被穿戴于第三指节。
在本发明的一实施例中，感应元件包括磁铁。感应元件交替地以S磁极或N磁极分别朝向握持部。
本发明的控制总成应用于虚拟实境且包括控制手把以及上述的手指姿态检测装置。
在本发明的一实施例中，上述的控制手把包括一感应元件，且感应元件配置于握持部。
本发明的校正方法适用于一虚拟实境系统。虚拟实境系统将一使用者的一真实手部姿态映射至一虚拟手部姿态。虚拟手部姿态包括多个虚拟手指姿态及一虚拟手掌姿态。虚拟实境系统包括用于被该使用者的一手部握持的一控制手把、可拆卸地连接控制手把且被穿戴于手部的一手指姿态检测装置以及一计算机。手指姿态检测装置包括多个第一传感器以及一第二配件传感器。第一传感器分别位于手部的多个手指。第二配件传感器位于手部的一手掌。第一传感器包括一惯性测量单元(Inertial Measurement Unit，IMU)及一元件感测单元。第二配件传感器包括一惯性测量单元及一元件感测单元。校正方法包括以下步骤。通过计算机将各第一传感器的即时检测结果乘以一第一旋转矩阵及一第二旋转矩阵，以计算出各虚拟手指姿态。第一旋转矩阵为各第一传感器的坐标系与第二传感器的坐标系之间的转换矩阵。第二旋转矩阵为第二传感器的坐标系与控制手把的坐标系之间的转换矩阵。通过计算机将控制手把的即时检测结果直接作为虚拟手掌姿态。
在本发明的一实施例中，上述的校正方法还包括当各第一传感器的加速度计的即时读值与第二传感器的加速度计的即时读值之间的差值均小于一预设值，且相邻的第一传感器的元件感测单元的即时读值的差值均小于另一预设值时，通过计算机将虚拟手部姿态的虚拟手指姿态校正为手指相对于手掌伸直且并拢。
本发明的校正方法适用于一虚拟实境系统。虚拟实境系统包括用于被一使用者的一手部握持的一控制手把、可拆卸地连接控制手把且被穿戴于手部的一手指姿态检测装置以及一计算机。此校正方法包括以下步骤。通过计算机依照该手指姿态检测装置的初始检测结果计算出使用者的手部的一手指相对于手部的一手掌的一实际弯曲范围。实际弯曲范围具有一上界及一下界。通过计算机依照实际弯曲范围映射对应手指的一虚拟手指的一虚拟弯曲范围。当依照手指姿态检测装置的即时检测结果所计算出的手指的弯曲程度超过实际弯曲范围的上界时，以超过的弯曲程度更新实际弯曲范围的该上界。当依照手指姿态检测装置的即时检测结果所计算出的手指的弯曲程度超过实际弯曲范围的下界时，以超过的弯曲程度更新实际弯曲范围的下界。
基于上述，本发明的手指姿态检测装置可通过配置在第二穿戴部的第一传感器来检测对应的手指的姿态，进而在虚拟实境中进行更复杂的输入功能。本发明的校正方法通过第一传感器、第二配件传感器以及控制手把之间转换，能够通过计算机根据使用者的真实手部姿态即时校正虚拟手部姿态。此外，计算机能够根据手指姿态检测装置的即时检测结果更新手指的实际弯曲范围的上界与下界，进而根据新的弯曲范围推估并校正虚拟手部姿态。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附的附图作详细说明如下。
附图说明
图1A是本发明的一实施例的一种手指姿态检测装置穿戴于使用者的手部的示意图；
图1B是图1A省略使用者的手部的示意图；
图1C是图1A的手指姿态检测装置穿戴于使用者的手部的平面示意图；
图1D是图1A的手指姿态检测装置与控制手把的组配示意图；
图1E是用于包括图1A的手指姿态检测装置的一虚拟实境系统的一种校正方法流程图；
图2是手指的指节的示意图；
图3是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图；
图4是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图；
图5A是本发明另一实施例的一种手指姿态检测装置穿戴于使用者的手部的示意图；
图5B是用于包括图5A的手指姿态检测装置的一虚拟实境系统的一种校正方法流程图；
图6是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图。
符号说明
50：控制手把
52：握持部
54：第一感应元件
54b：传感器
100、100a、100b、100c、100d：手指姿态检测装置
110：第一穿戴部
112：套体
120：第二穿戴部
130、130a、130c、130d：第一传感器
130b：感应元件
140：第二传感器
140a：第二感应元件
150：控制模块
160：片状延伸部
170：弹性绳
171：可收紧机构
172：双转轴机构
173：可挠性元件
K1：第一指节
K2：第二指节
K3：第三指节
具体实施方式
图1A是本发明的一实施例的一种手指姿态检测装置穿戴于使用者的手部的示意图。图1B是图1A省略使用者的手部的示意图。图1C是图1A的手指姿态检测装置穿戴于使用者的手部的平面示意图。请参考图1A、图1B与图1C，本实施例的手指姿态检测装置应用于虚拟实境系统。虚拟实境系统包括控制手把50以及一计算机。控制手把50，适于被穿戴在一使用者的一手部，且可通过有线或无线的方式与计算机连接，以与计算机互相传递信号。此外，虚拟实境系统还包括一头戴式显示器，其适于被穿戴在使用者的一头部，且也可通过有线或无线的方式与计算机连接，以与计算机互相传递信号。
在本实施例中，控制手把50包括一握持部52，适于被使用者的手部所握持并且在三度空间中移动。本实施例的手指姿态检测装置100包括一第一穿戴部110、多个第二穿戴部120以及多个第一传感器130。第一穿戴部110适于可拆卸地连接并包围控制手把50的握持部52。当握持部52连接第一穿戴部110时，握持部52被定位在第一穿戴部110的一侧。第二穿戴部120各自独立地连接至第一穿戴部110。当一力量施加在其中一个第二穿戴部120时，相对应的第二穿戴部120朝握持部52移动。这些第一传感器130分别配置于这些第二穿戴部120，用于检测这些第二穿戴部120相对于握持部52的位置或移动。当使用者穿戴本实施例的手指姿态检测装置100时，第一穿戴部110被定位在使用者的手掌，而这些第二穿戴部120分别被穿戴在使用者的多个手指。
图2是手指的指节的示意图。请参考图1A与图2，在本实施例中，每个手指包括依序远离一指尖的一第一指节K1、一第二指节K2以及一第三指节K3。在本实施例中，这些第二穿戴部120分别被穿戴于多个手指，且对应每个手指的第三指节K3。
为更清楚说明本实施例的手指姿态检测装置100，图1B省略绘示使用者的手部。请参考图1A与图1B，在本实施例中，第一传感器130包括一惯性测量单元(InertialMeasurement Unit，IMU)及一元件感测单元(例如电子罗盘)。在其他实施例中，第一传感器也可以包括弯曲传感器、拉伸传感器或磁性元件，本发明对此不加以限制。
在本实施例中，第一传感器130配置在这些第二穿戴部120远离握持部52的一侧。也就是说，当使用者穿戴手指姿态检测装置100时，第一传感器130的位置分别对应个别手指的第三指节K3的外侧。在使用者穿戴手指姿态检测装置100的过程中，第一传感器130可检测各手指的第三指节K3的弯曲程度(姿态)，通过手指关节运动的估算，可以推导出各手指的姿态(即推算第一指节K1以及第二指节K2的弯曲程度)。需说明的是，手指关节运动主要实施的原理在于，当手指从张开状态向掌心方向弯曲时，各指节间的关节会分别向内旋转，且各关节之间会以相同旋转方向进行。个别指节的旋转角度与总旋转角度之间的关系，可通过统计方式获得。通过此统计结果，可以经由评估第三指节K3关节的旋转量大小，来推算出第一指节K1以及第二指节K2的旋转量。当然，在其他实施例中，第一传感器130也可以配置在第一指节K1或第二指节K2，并通过手指关节运动的估算，同样可以推导出各手指的姿态。
在本实施例中，如图1C所示，手指姿态检测装置100更包括一控制模块150及一第二传感器140。控制模块150配置于第一穿戴部110。第二传感器140包括一惯性测量单元(IMU)及一元件感测单元(例如电子罗盘)，且第二传感器140配置于第一穿戴部110并电连接至控制模块150。第一传感器130感测到的信号搭配第二传感器140感测到的信号计算出各第一传感器130相对于握持部52的位置。
如图1B所示，在本实施例中，控制手把50还可包括一第一感应元件54。第一感应元件54例如是电容传感器或压力传感器，且配置于握持部52。在其他实施例中，第一感应元件也可以是霍尔传感器、磁性元件、近接传感器或微型超音波传感器，本发明对此不加以限制。在本实施例中，第一传感器130与第一感应元件54彼此感应以产生信号。当第一传感器130包括惯性测量单元时，由于第一传感器130的惯性测量单元本身在操作过程中，会因为时间的累积而产生误差，导致惯性测量单元的数据(即检测结果)逐渐失真。在本实施例中，通过配置在控制手把50上的第一感应元件54，当使用者任一手指碰触到控制手把50对应的位置(即第一感应元件54)上时，则自动校正手指上的第一传感器130的惯性测量单元，使第一传感器130的惯性测量单元可以被快速地重新定位校准，以避免因操作时间过长导致第一传感器130的惯性测量单元因累积误差所产生的失真情况。此外，第一感应元件54除了可以用来即时校正惯性测量单元之外，也可提供使用者更丰富的操作体验，如按压对应的第一感应元件54(例如压力传感器)时，可以作为触发另一事件的机制。
图1D是图1A的手指姿态检测装置与控制手把的组配示意图。请参考图1A与图1D，控制手把50是另一种形式。手指姿态检测装置100包括符合控制手把50的握持部52的外型的一套体112，其可以与握持部52相套合。第一穿戴部110的两端分别可挠性地连接至套体112，使得第一穿戴部110可通过套体112与握持部52之间的套合而可拆卸地连接至控制手把50。在此情况下，第一感应元件54(例如磁铁、霍尔传感器、电容传感器或压力传感器等)可改配置在套体112的内侧。第一穿戴部110的一端以可调整长度的方式连接至套体112，以让使用者的手掌能被绑定在手指姿态检测装置100的第一穿戴部与控制手把50的握持部52之间，达到使用者放手时控制手把50不会脱离手掌的状态。将本实施例的手指姿态检测装置100应用于控制手把50，能够扩充此控制手把50的手指检测功能。
在本实施例中，如图1D所示，第一穿戴部110的下端通过一弹性绳170及被弹性绳170所穿过的一可收紧机构171，让使用者可依照其手掌大小来调节松紧度。可收紧机构171可包括一圆盘及具有容纳此圆盘的一梯形通道的一元件。除此之外，第一穿戴部110的上端可依序通过一双转轴机构172及一可挠性元件173来连接至套体112。双转轴机构172提供了额外的旋转机制(例如双旋转自由度)，可以适应因使用者不同的抓握情况所形成的不同手掌角度，使得第一穿戴部110可以更加服贴在手掌背侧的位置。除此之外，上述的组件配置也大幅提升了穿戴的舒适性以及稳固性，不会因为使用者动作过大导致大幅度的位置错动。
在本实施例中，第一穿戴部110可用弹性材料制成。当使用者将对应的四指(除了大拇指以外的四指)穿戴进第二穿戴部120时，通过具弹性的第一穿戴部110可将控制手把50依附在手上，因而提供不易掉落的功效。在使用手指姿态检测装置100的过程中，使用者无需长时间紧握控制手把50，且手指可以自由地进行其他的工作，例如。当手机响起时，使用者不需放下控制手把50，也能拿起手机来接听电话，或是可以拿起其他物件，因而大幅增加使用者手部的自由度。此外，具弹性的这些第二穿戴部120可分别被固定在使用者的这些第三指节K3上，故可将致动器(未绘示)置入各第二穿戴部120内，以提供使用者不同手指的个别触觉回馈感受(即只有与虚拟物件互动的手指，才会感受到对应的触觉回馈)。再者，在其他实施例中，第二穿戴部120内也可嵌入其他传感器，例如PPG(心率传感器)等传感器。由于这些第二穿戴部120可长时间贴附在第三指节K3上，在第二穿戴部120内的传感器可以有效地检测以及记录使用者的生理资讯。
图1E是用于包括图1A的手指姿态检测装置的一虚拟实境系统的一种校正方法流程图。此虚拟实境系统用于将使用者的一真实手部姿态(即使用者的即时手部姿态)映射至一虚拟手部姿态(即虚拟人物的即时手部姿态)。虚拟手部姿态包括多个虚拟手指姿态及一虚拟手掌姿态。虚拟手掌姿态是根据控制手把50的姿态来做依据，虚拟手指姿态是以个别手指上的第一传感器130(惯性测量单元)的姿态来做依据。请参考图1A、图1B与图1E，图1E所示的校正方法包括下列步骤。首先，计算机记录起始同步位置的姿态与虚拟手部姿态(这些姿态是根据四元数(quaternion)所映射出来的姿态)，并计算两者之间的旋转关系(即转换矩阵)。由于控制手把50的姿态与第一传感器130的姿态间存在着一个旋转关系，必须事先计算出此旋转关系，以校正虚拟手部姿态。之后，扫描每个手指上所装设的第一传感器130，并进行第一传感器130的坐标对齐。对齐第一传感器130的目的是为了让第一传感器130旋转时的参考点相同，以统一每个第一传感器130的姿态相对关系。进入游戏后，计算机会判断是虚拟手掌姿态(对应控制手把的四元数)的更新或是虚拟手指姿态(对应IMU的四元数)的更新，并相应地计算出第一旋转矩阵与第二旋转矩阵。详细来说，第一旋转矩阵为个别第一传感器130的坐标系与第二传感器140的坐标系之间的转换矩阵。第二旋转矩阵为第二传感器140的坐标系与控制手把50的坐标系之间的转换矩阵。当欲更新的姿态为非虚拟手掌时，即使用惯性测量单元的姿态来更新虚拟手指姿态，此时，计算机将各第一传感器130的即时检测结果(即姿态矩阵)乘以第一旋转矩阵及第二旋转矩阵，以计算出各虚拟手指姿态。或是，当欲更新的姿态为虚拟手掌时，即使用控制手把的姿态直接作为虚拟手掌的姿态。接着，计算机会根据新的虚拟手指姿态以及虚拟手掌姿态(即使用者的真实手部姿态)更新整个虚拟手部姿态。
在更新虚拟手部姿态后，如图1E所示，依照此校正方法，可通过计算机计算每个第一传感器130的加速度计的即时读值与第二配件传感器140的加速度计值的差值，以及相邻的两个第一传感器130的电子罗盘即时读值的差值。当各第一传感器130的加速度计的即时读值与第二配件传感器140的加速度计的即时读值之间的差值均小于一预设值，且相邻的第一传感器130的电子罗盘的即时读值的差值均小于另一预设值时，计算机会将虚拟手部姿态的虚拟手指姿态校正为手指相对于手掌伸直且并拢(如图1C所示)。
通过上述校正方法，可以避免因操作时间过长导致惯性测量单元因累积误差所产生的虚拟手指失真的情况。另外，通过图1E所示的校正方法，使用者在任何角度下只要将四指伸直，计算机就会根据真实手指姿态对虚拟手指姿态进行更新，以达到立即性的校正效果。
图3是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图。图3所示的手指姿态检测装置100a中与图1A、1B所示的手指姿态检测装置100类似，两者的不同处在于，手指姿态检测装置100a的第一传感器130a例如是弯曲传感器或拉伸传感器。在本实施例中，利用可检测弯曲或是拉伸的第一传感器130a，以感测各手指的第三指节K3的弯曲程度。利用第一传感器130a的特性，可以获得第三指节K3的弯曲程度，随后通过手指关节运动的估算，也可以推得各手指的姿态。
图4是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图。图4所示的手指姿态检测装置100b中与图1A、1B所示的手指姿态检测装置100类似，两者的不同处在于，本实施例的握持部52设置有多个传感器54b，手指姿态检测装置100b包括多个感应元件130b。这些感应元件130b分别配置在第二穿戴部120，且分别对应感应元件130b，用以检测第二穿戴部120相对于握持部52的位置或移动。当手指姿态检测装置100b穿戴于使用者的手部时，感应元件130b的位置对应各手指的第三指节K3的内侧。在本实施例中，传感器54b例如是霍尔传感器(Hall Sensor)且内嵌于握持部52。传感器54b与感应元件130b彼此感应以产生信号。利用霍尔传感器可感测磁力强弱的特性，可得到各手指的弯曲程度与磁力感测强度之间的转换关系。通过所获得的第三指节K3的弯曲程度，并通过手指关节运动的估算，进而推导出各手指的姿态。
进一步而言，第二穿戴部120内的多个感应元件130b交替排列。感应元件130b包括磁铁，且这些感应元件130b交替地以S磁极或N磁极分别朝向握持部52，使相邻的感应元件130b的磁铁极性交错。由于相邻手指上的感应元件130b的磁力线方向相反，对应的传感器54b(霍尔传感器)感测到的信号产生正反向的差异，能够避免手指位置错位导致感测错误。如此一来，当手指因错位而使非对应的霍尔传感器产生信号输出时，系统可以快速判断出不正确的手指靠近所产生的信号，进而达到除错的功能。
图5A是本发明另一实施例的一种手指姿态检测装置穿戴于使用者的手部的示意图。图5A所示的手指姿态检测装置100c中与图1A、图1B所示的手指姿态检测装置100类似，两者的不同处在于，本实施例的手指姿态检测装置100c还包括一片状延伸部160及一第二感应元件140a。第二感应元件140a朝第一传感器130c延伸且配置于第一穿戴部110，以与第一传感器130c彼此感应以产生信号。第二穿戴部120设置在第二感应元件140a与握持部(未绘示于图5A)之间。
在本实施例中，当使用者穿戴着手指姿态检测装置100c时，片状延伸部160的位置靠近使用者的手背，且适于作为第一传感器130c的感测参考位置。第一传感器130c例如是霍尔传感器，第二感应元件140a例如是磁性元件且配置在片状延伸部160。当第一传感器130c检测到第二感应元件140a时，第一传感器130c检测到的信号被校正。也就是说，当手指弯曲或伸直时，根据第三指节K3与片状延伸部160之间的距离，第一传感器130c得到不同的数值。同时，搭配各手指的第三指节K3的弯曲程度，进而推估出第一指节K1与第二指节K2的弯曲程度，最后得到各手指的姿态。在其他实施例中，第一传感器也可以是近接传感器(Proximity Sensor)或微型超音波传感器，利用光反射或超音波等方式检测第一传感器与第二配件传感器之间的距离，来获得各手指与参考位置之间的距离关系，进而检测各手指的弯曲姿态。
在其他实施例中，第一传感器可包括一惯性测量单元与一元件感测单元，当元件感测单元检测到第二感应元件时，惯性测量单元检测到的对应到第二穿戴部与握持部的相对应位置的信号被校正。
图5B是用于包括图5A的手指姿态检测装置的一虚拟实境系统的一种校正方法流程图。请参考图5A及图5B，此校正方法包括下列步骤。首先，通过虚拟实境系统的计算机，依照第一传感器130c的初始检测结果(例如磁力值、电阻值、电容值或其他数据等)计算出使用者的手指相对于手掌的一实际弯曲范围(例如角度范围)，其中实际弯曲范围具有一上界(例如最大角度值)及一下界(例如最小角度值)。此处，上界是第一传感器130c最靠近片状延伸部160的情况下所感测到的最大值(或最小值)，下界是指第一传感器130c最远离片状延伸部160的情况下所感测到的最小值(或最大值)。接着，计算机依照实际弯曲范围映射对应虚拟手指的虚拟弯曲范围。进入游戏后，根据使用者与虚拟物件之间的互动，计算机会不断地记录每根手指所检测到的即时检测结果(例如磁力值、电阻值、电容值或其他数据等)。当依照即时检测结果所计算出的手指的弯曲程度超过实际弯曲范围的上界时，以超过的弯曲程度更新实际弯曲范围的上界。当依照即时检测结果所计算出的手指的弯曲程度超过实际弯曲范围的下界时，以超过的弯曲程度更新实际弯曲范围的下界。接着，计算机将根据更新后的实际弯曲范围的上界与下界作为手指弯曲姿态的推估范围，进而同步校正虚拟手指姿态。
通过图5B所示的校正方法，可以针对不同人、不同手型以及不同的抓握方式，建立出不同的检测范围，进而更精确地推估并校正虚拟实境内的虚拟手指姿态。
图6是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图。图6所示的手指姿态检测装置100d中与图5A所示的手指姿态检测装置100c类似，两者的不同处在于，本实施例的手指姿态检测装置100d省略了片状延伸部160。第一传感器130d例如是霍尔传感器，配置在第二穿戴部120靠近握持部52的一侧，也就是说，当使用者穿戴本实施例的手指姿态检测装置100d时，第一传感器130d对应各手指的内侧。
在本实施例中，以感应元件54作为第一传感器130d的感测参考位置，当手指弯曲或伸直时，第一传感器130d根据与包括磁性元件的感应元件54之间的距离获得对应的感测数值。同时，根据各手指关节的弯曲运动关系，进而由第三指节K3的弯曲程度推导出第一指节K1与第二指节K2的弯曲程度，最后得到各手指的姿态。
综上所述，当本发明的手指姿态检测装置穿戴于使用者的手部时，第一传感器的位置对应使用者的手指的第三指节。因此，第一传感器可检测各手指的第三指节的姿态，并通过手指关节运动的估算，推导出各手指的姿态。通过本发明的手指姿态检测装置与控制手把的整合，能够检测出各手指的弯曲程度及姿态。据此，使用者能够在虚拟实境中进行更复杂的输入功能，进而带出更多元的虚拟实境互动，并让使用者以更自然的方式进行游戏。
本发明的校正方法能够改善惯性测量单元因长时间使用下的所产生的累积误差，使用者仅需将四根手指同时伸直并维持一小段时间，计算机即可以真实手指姿态更新虚拟手指姿态，达到立即校正的效果。
此外，本发明的校正方法通过计算机根据即时检测结果不断更新手指相对手掌的实际弯曲范围的上界与下界，以对虚拟手指姿态进行校正。此校正方法能够针对不同使用者的不同手型或是不同的抓握方式，建立不同的检测范围，进而更精确地映射出虚拟实境内的手指姿态。
虽然结合以上实施例公开了本发明，然而其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，可作些许的更动与润饰，故本发明的保护范围应当以附上的权利要求所界定的为准。

Claims (16)

1.一种手指姿态检测装置，适用于一控制手把，该控制手把包括握持部，适合被手部所握持并且在三度空间中移动，其特征在于，该手指姿态检测装置包括：
第一穿戴部，适于可拆卸地包围该控制手把的该握持部，当该握持部连接该第一穿戴部时，该握持部被定位在该第一穿戴部的一侧；
多个第二穿戴部，各自独立地连接至该第一穿戴部，且当一力量施加在其中一该第二穿戴部时，该相对应的第二穿戴部朝该握持部移动；以及
多个第一传感器，分别配置于该多个第二穿戴部，用于检测该多个第二穿戴部相对于该握持部的位置或移动。
2.如权利要求1所述的手指姿态检测装置，其中该多个第二穿戴部分别被穿戴在该手部的多个手指，各该手指包括依序远离指尖的第一指节、第二指节以及第三指节，且该多个第二穿戴部被穿戴于该些第三指节。
3.如权利要求1所述的手指姿态检测装置，其中该控制手把包括多个第一感应元件，该些第一感应元件配置于该握持部，且该些第一感应元件与该些第一传感器彼此感应以产生信号。
4.如权利要求3所述的手指姿态检测装置，其中该些第一感应元件包括磁铁，且该些第一感应元件交替地以S磁极或N磁极分别朝向该些第一传感器。
5.如权利要求4所述的手指姿态检测装置，还包括：
第二感应元件，朝该第一传感器延伸且配置于该第一穿戴部，以与该些第一传感器彼此感应以产生信号，该多个第二穿戴部设置在该第二感应元件与该握持部之间。
6.如权利要求5所述的手指姿态检测装置，当该第一传感器检测到该第二感应元件时，该第一传感器检测到的信号被校正。
7.如权利要求5所述的手指姿态检测装置，其中该第一传感器包括惯性测量单元与元件感测单元，当该元件感测单元检测到该第二感应元件，该惯性测量单元检测到的对应到该多个第二穿戴部与该握持部的相对应位置的信号被校正。
8.如权利要求1所述的手指姿态检测装置，还包括：
控制模块，配置于该第一穿戴部；以及
第二传感器，配置于该第一穿戴部并电连接至该控制模块，该些第一传感器感测到的信号搭配该第二传感器感测到的信号计算出各该第一传感器相对于该握持部的位置。
9.一种手指姿态检测装置，适用于一控制手把，该控制手把包括一握持部，适合被一手部所握持并且在三度空间中移动，其特征在于，该握持部设置有多个传感器，该手指姿态检测装置包括：
第一穿戴部，适于可拆卸地包围该控制手把的该握持部，该握持部连接该第一穿戴部时，该握持部被定位在该第一穿戴部的一侧；
多个第二穿戴部，各自独立地连接至该第一穿戴部，且当一力量施加在其中一该多个第二穿戴部时，该相对应的第二穿戴部朝该握持部移动；以及
多个感应元件，分别配置于该多个第二穿戴部，对应该多个感应元件的多个传感器检测多个第二穿戴部相对于握持部的位置或移动。
10.如权利要求9所述的手指姿态检测装置，其中该多个第二穿戴部分别被穿戴在该手部的多个手指，各该手指包括依序远离指尖的第一指节、第二指节以及第三指节，且该多个第二穿戴部被穿戴于该些第三指节。
11.如权利要求9所述的手指姿态检测装置，其中该些感应元件包括磁铁，且该些多个感应元件交替地以S磁极或N磁极分别朝向该握持部。
12.一种控制总成，应用于虚拟实境，其特征在于，该控制总成包括：
控制手把，包括握持部，适合被一手部所握持并且在三度空间中移动；以及
手指姿态检测装置，包括：
第一穿戴部，适于可拆卸地包围该控制手把的该握持部，该握持部连接该第一穿戴部时，该握持部被定位在该第一穿戴部的一侧；
多个第二穿戴部，各自独立地连接至该第一穿戴部，且当一力量施加在其中一该第二穿戴部时，该相对应的第二穿戴部朝该握持部移动；以及
多个第一传感器，分别配置于该多个第二穿戴部，用于检测该多个第二穿戴部相对于握持部的位置或移动。
13.如权利要求12所述的控制总成，其中该控制手把包括感应元件，且该感应元件配置于该握持部。
14.一种校正方法，适用于一虚拟实境系统，该虚拟实境系统将使用者的真实手部姿态映射至一虚拟手部姿态，该虚拟手部姿态包括多个虚拟手指姿态及一虚拟手掌姿态，该虚拟实境系统包括用于被该使用者的手部握持的控制手把、可拆卸地包围该控制手把且被穿戴于该手部的手指姿态检测装置以及计算机，该手指姿态检测装置包括多个第一传感器以及第二传感器，该些第一传感器分别位于该手部的多个手指，该第二传感器位于该手部的手掌，该些第一传感器包括惯性测量单元(Inertial Measurement Unit，IMU)及元件感测单元，该第二传感器包括惯性测量单元及元件感测单元，该校正方法包括：
通过该计算机将各该第一传感器的即时检测结果乘以第一旋转矩阵及第二旋转矩阵，以计算出各该虚拟手指姿态，其中该第一旋转矩阵为各该第一传感器的坐标系与该第二传感器的坐标系之间的转换矩阵，且该第二旋转矩阵为该第二传感器的坐标系与该控制手把的坐标系之间的转换矩阵；以及
通过该计算机将该控制手把的即时检测结果直接作为该虚拟手掌姿态。
15.如权利要求14所述的校正方法，还包括：
当各该第一传感器的加速度计的即时读值与该第二传感器的加速度计的即时读值之间的差值均小于一预设值，且相邻的该些第一传感器的该元件感测单元的即时读值的差值均小于另一预设值时，通过该计算机将该虚拟手部姿态的虚拟手指姿态校正为该些手指相对于该手掌伸直且并拢。
16.一种校正方法，适用于一虚拟实境系统，该虚拟实境系统包括用于被使用者的手部握持的控制手把、可拆卸地连接该控制手把且被穿戴于该手部的手指姿态检测装置以及计算机，该校正方法包括：
通过该计算机依照该手指姿态检测装置的初始检测结果计算出该使用者的该手部的手指相对于该手部的手掌的实际弯曲范围，其中该实际弯曲范围具有上界及下界；
当依照该手指姿态检测装置的即时检测结果所计算出的该手指的弯曲程度超过该实际弯曲范围的该上界时，以超过的弯曲程度更新该实际弯曲范围的该上界；以及
当依照该手指姿态检测装置的即时检测结果所计算出的该手指的弯曲程度超过该实际弯曲范围的该下界时，以超过的弯曲程度更新该实际弯曲范围的该下界。
CN201910695567.8A 2018-07-30 2019-07-30 手指姿态检测装置与控制总成 Active CN110780731B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310305862.4A CN116301385A (zh) 2018-07-30 2019-07-30 校正方法
CN202310305850.1A CN116301384A (zh) 2018-07-30 2019-07-30 校正方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862712183P 2018-07-30 2018-07-30
US62/712,183 2018-07-30
US201862774883P 2018-12-04 2018-12-04
US62/774,883 2018-12-04

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202310305862.4A Division CN116301385A (zh) 2018-07-30 2019-07-30 校正方法
CN202310305850.1A Division CN116301384A (zh) 2018-07-30 2019-07-30 校正方法

Publications (2)

Publication Number Publication Date
CN110780731A true CN110780731A (zh) 2020-02-11
CN110780731B CN110780731B (zh) 2023-06-09

Family

ID=69383962

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310305862.4A Pending CN116301385A (zh) 2018-07-30 2019-07-30 校正方法
CN201910695567.8A Active CN110780731B (zh) 2018-07-30 2019-07-30 手指姿态检测装置与控制总成
CN202310305850.1A Pending CN116301384A (zh) 2018-07-30 2019-07-30 校正方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310305862.4A Pending CN116301385A (zh) 2018-07-30 2019-07-30 校正方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310305850.1A Pending CN116301384A (zh) 2018-07-30 2019-07-30 校正方法

Country Status (3)

Country Link
US (2) US10901506B2 (zh)
CN (3) CN116301385A (zh)
TW (1) TWI724478B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764540A (zh) * 2021-01-15 2021-05-07 Oppo广东移动通信有限公司 设备的识别方法、装置、存储介质及电子设备
CN113571087A (zh) * 2020-04-29 2021-10-29 宏达国际电子股份有限公司 依据音频信号产生动作的方法及电子装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10422637B1 (en) * 2016-06-10 2019-09-24 Facebook Technologies, Llc Wave reflection deformation sensing apparatus
TWI724478B (zh) * 2018-07-30 2021-04-11 宏達國際電子股份有限公司 手指姿態偵測裝置、控制總成與校正方法
TWI760654B (zh) * 2018-11-12 2022-04-11 宏達國際電子股份有限公司 虛擬實境控制器
CN111709268B (zh) * 2020-04-24 2022-10-14 中国科学院软件研究所 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881118A (zh) * 2015-05-25 2015-09-02 清华大学 一种用于捕获人体上肢运动信息的穿戴系统
CN106264806A (zh) * 2016-08-16 2017-01-04 文浩 一种仿真机械手和控制方法
CN107943288A (zh) * 2017-11-16 2018-04-20 陈昭胜 智能穿戴装置、智能穿戴设备及控制方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5750717B1 (zh) 1971-02-19 1982-10-28
KR100812624B1 (ko) 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
KR101174450B1 (ko) 2007-09-14 2012-08-16 독립행정법인 산업기술종합연구소 버추얼 리얼리티 환경 생성 장치 및 콘트롤러 장치
US20120157263A1 (en) 2009-01-20 2012-06-21 Mark Sivak Multi-user smartglove for virtual environment-based rehabilitation
US9417693B2 (en) * 2014-12-08 2016-08-16 Rohit Seth Wearable wireless HMI device
US9678566B2 (en) 2015-06-03 2017-06-13 Oculus Vr, Llc Hand-held controllers for virtual reality system
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
US9999833B2 (en) 2015-06-11 2018-06-19 Oculus Vr, Llc Hand-held controllers with capacitive touch sensors for virtual-reality systems
US9870052B2 (en) 2015-06-11 2018-01-16 Oculus Vr, Llc Hand-held controller with pressure-sensing switch for virtual-reality systems
US10509469B2 (en) * 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US10712835B2 (en) * 2016-10-06 2020-07-14 Htc Corporation System and method for detecting hand gesture
US10579151B2 (en) * 2017-01-04 2020-03-03 Htc Corporation Controller for finger gesture recognition and method for recognizing finger gesture
CN106843482A (zh) * 2017-01-22 2017-06-13 无锡吾成互联科技有限公司 一种基于无线自组网模式的手势姿态检测装置
US10183217B2 (en) 2017-04-13 2019-01-22 Facebook Technologies, Llc Hand-held controller using segmented capacitive touch trigger
TWI724478B (zh) * 2018-07-30 2021-04-11 宏達國際電子股份有限公司 手指姿態偵測裝置、控制總成與校正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881118A (zh) * 2015-05-25 2015-09-02 清华大学 一种用于捕获人体上肢运动信息的穿戴系统
CN106264806A (zh) * 2016-08-16 2017-01-04 文浩 一种仿真机械手和控制方法
CN107943288A (zh) * 2017-11-16 2018-04-20 陈昭胜 智能穿戴装置、智能穿戴设备及控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113571087A (zh) * 2020-04-29 2021-10-29 宏达国际电子股份有限公司 依据音频信号产生动作的方法及电子装置
CN113571087B (zh) * 2020-04-29 2023-07-28 宏达国际电子股份有限公司 依据音频信号产生动作的方法及电子装置
CN112764540A (zh) * 2021-01-15 2021-05-07 Oppo广东移动通信有限公司 设备的识别方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20210089127A1 (en) 2021-03-25
US10901506B2 (en) 2021-01-26
CN110780731B (zh) 2023-06-09
TW202008145A (zh) 2020-02-16
TWI724478B (zh) 2021-04-11
CN116301384A (zh) 2023-06-23
US11226684B2 (en) 2022-01-18
CN116301385A (zh) 2023-06-23
US20200050268A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
CN110780731B (zh) 手指姿态检测装置与控制总成
CN111638801B (zh) 用于手势辨识的控制器及其手势辨识的方法
US9958942B2 (en) Data input device
CN206162394U (zh) 一种基于触感反馈的用于虚拟现实环境的动作捕捉系统
US20100103104A1 (en) Apparatus for user interface based on wearable computing environment and method thereof
JP2000132305A (ja) 操作入力装置
CN112041785A (zh) 跟踪手姿势的方法及其电子设备
US20220155866A1 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
KR101789696B1 (ko) 역감 전달 시스템
CN207087856U (zh) 一种基于触觉反馈的外骨骼
CN108687744A (zh) 一种基于触觉反馈的外骨骼
JPWO2020079853A1 (ja) 情報処理システム、コントローラ装置、情報処理装置、及びプログラム
US20230142242A1 (en) Device for Intuitive Dexterous Touch and Feel Interaction in Virtual Worlds
US11501552B2 (en) Control apparatus, information processing system, control method, and program
KR102162922B1 (ko) 촉각 피드백이 가능한 가상현실 기반의 손 재활 시스템
RU2670649C1 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
JP2021503645A (ja) スマートウェアラブル装置、スマートウェアラブル機器及び制御方法
JP2008276664A (ja) 検出装置
CN110209270A (zh) 一种数据手套、数据手套系统、校正方法及存储介质
WO2021207033A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
KR20160043632A (ko) 대칭적 동작을 기반으로 한 전자의수 및 그 제어방법
CN114327042B (zh) 检测手套、手势追踪方法、ar设备及按键方法
EP4299151A1 (en) Insert for a controller
Kim Sensors and Input Processing
JP2020091774A (ja) プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant