CN109997099A - 基于三维磁传感器的手指动作捕捉接口装置 - Google Patents

基于三维磁传感器的手指动作捕捉接口装置 Download PDF

Info

Publication number
CN109997099A
CN109997099A CN201880004571.9A CN201880004571A CN109997099A CN 109997099 A CN109997099 A CN 109997099A CN 201880004571 A CN201880004571 A CN 201880004571A CN 109997099 A CN109997099 A CN 109997099A
Authority
CN
China
Prior art keywords
mentioned
finger
magnetic sensor
connecting rod
fixing piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880004571.9A
Other languages
English (en)
Other versions
CN109997099B (zh
Inventor
金旻彻
赵才熙
李柱城
洛孔付
刘凡才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Syndicate Corp Real Sense Exchange Human Induction Research Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Syndicate Corp Real Sense Exchange Human Induction Research Group filed Critical Syndicate Corp Real Sense Exchange Human Induction Research Group
Publication of CN109997099A publication Critical patent/CN109997099A/zh
Application granted granted Critical
Publication of CN109997099B publication Critical patent/CN109997099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/02—Measuring direction or magnitude of magnetic fields or magnetic flux
    • G01R33/0206—Three-component magnetometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/02—Measuring direction or magnitude of magnetic fields or magnetic flux

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及基于三维磁传感器的手指动作捕捉接口装置，本发明包括：手背固定件；手指佩戴件；至少一个连杆件，配置于上述手背固定件与上述手指佩戴件之间，包括至少一个磁传感器；至少一个固定件，把上述多个连杆件之间加以连接；以及控制单元，接收至少一个上述磁传感器所检测的各自的磁力线的变化所对应的传感器坐标值，以所接收的上述传感器坐标值为基础提取各连杆件的俯仰(pitch)动作及偏航(yaw)动作，根据所提取的上述俯仰动作及偏航动作值计算使用者的手指位置。

Description

基于三维磁传感器的手指动作捕捉接口装置
技术领域
本发明涉及基于三维磁传感器的手指动作捕捉接口装置，更详细地说，该基于三维磁传感器的手指动作捕捉接口装置适用了采取低价型非接触三维磁传感器准确地检测、测量手指动作的四自由度机制而降低生产成本并且准确地测量动作测量。
背景技术
最近，低价的头戴式装置(HMD，Head Mounted Device)上市后，市场对虚拟现实的关心也日益增加。因此，正在进行与虚拟现实相关的各种研究。其结果，很多种类的硬件及软件产品正在发布。在各种研究领域中，用于跟踪使用者的手部动作的手部动作捕捉(handmotion capture)技术的目的是在任何环境下也能够很好地识别使用者的手并且凭此提供各种情况下的真实体验。手部动作捕捉还停留在研究阶段，正进行着各种尝试性研究。
已经介绍过多种技术来测量用户的手指动作并将其应用于虚拟现实。例如，在手指带上光学标记(marker)后利用相机跟踪的系统，或者利用弯曲传感器、电位计(potentionmeter)等形成手套及外骨骼后测量测量手指运动的技术。然而，现有方法中的光学标记需要外部相机系统并且还会出现诸如标记重叠及模糊之类的问题。而且，测量手指动作测量技术的价格高昂测量或者每个手指只能测量一到二自由度而无法准确地测量手指动作。另外，图像和红外传感器只能测量测量进入视野的动作并且由于手指之间的重叠问题而使得测量值不准确。
一方面，公开专利公报第10-2014-0051554号(专利文献1)公开了“利用惯性传感器的动作捕获系统”。上述利用惯性传感器的动作捕捉系统的特征在于包括：多个第一检测器件，安装于人体的上部；多个第二检测器件，安装于人体的下部；第一通信部，分别与多个第一检测器件相连接；第二通信部，分别与多个第二检测器件相连接；动作数据收集单元，收集从上述第一通信部与第二通信部发送的人体的动作数据；以及显示单元，显示上述动作数据收集单元所收集的人体的动作。上述多个第一检测器件至少安装于人体的脊椎中心附近、左上臂、右上臂、左下臂、右下臂、左手、右手、头部并以9轴检测关节动作。上述多个第二检测器件至少安装于人体骨盆、左大腿、右大腿、左小腿、右小腿、左脚、右脚部分并以9轴检测关节动作。
在如上所述的专利文献1中，各传感器节点仅将完成数据分析后收集的信息发送到输出设备后进行处理，不需要额外的外部工作站而在处理速度和成本方面发挥效益。然而，由于在第一传感器件及第二传感器件设置有地磁传感器、加速度计传感器、陀螺仪传感器而使得系统的制造成本相对较高，以9轴检测关节动作而使得运动捕捉过程相对复杂，，测量误差也会随着使用时间的增加而逐渐增加。
发明内容
本发明旨在解决上述问题，本发明的目的在于提供一种基于三维磁传感器的手指动作捕捉接口装置，其适用了采取低价型非接触三维磁传感器准确地测量手指动作的四自由度机制而降低生产成本并且准确地测量动作。
并且，本发明的再一目的在于提供一种基于三维磁传感器的手指动作捕捉接口装置，其在手指尖设置用于产生触感的激励器并且被跟踪的虚拟手指接触虚拟物体时产生振动，从而向现实世界中的用户提供如同触摸实际存在的对象般的触感。
为了实现上述目的，本发明的基于三维磁传感器的手指动作捕捉接口装置包括：手背固定件，在一侧形成有结合孔；第一连杆件，与上述手背固定件的结合孔进行机械结合，内部安装第一磁铁；第二连杆件，与上述第一连杆件相连接的一侧端部由第一球状关节部形成，在另一侧端部形成有第一齿轮，在上述第一球状关节部内部内置有第一磁传感器；第一固定件，通过与上述第二连杆件的第一齿轮相啮合的第二齿轮将上述第二连杆件固定于上述第一连杆件；第三连杆件，一侧端部以可进行枢转(pivot)运动的方式与上述第一固定件相结合；第四连杆件，在一侧端部的内部形成有第二球状关节部，在另一侧端部形成有第三齿轮，在上述第二球状关节部设置有第二磁传感器；第二固定件，通过与上述第四连杆件的第三齿轮相啮合的第四齿轮将上述第四连杆件结合于上述第三连杆件；第五连杆件，与上述第二固定件相结合，在内部安装第二磁铁；手指佩戴件，与上述第五连杆件相结合，形成有手指放置部；以及控制单元，接收上述第二连杆件的第一磁传感器和上述第四连杆件的第二磁传感器所检测的各自的磁力线的变化所对应的传感器坐标值，以所接收的上述传感器坐标值为基础提取各连杆件的俯仰(pitch)动作及偏航(yaw)的动作，根据所提取的上述俯仰动作及偏航动作值计算使用者的手指位置。
其中，手背固定件的结合孔可具有长孔形态。
并且，第一磁铁可构成一对，一对磁铁能够以使得从一侧磁铁的北(N)极流出的磁力线流入另一侧磁铁的南(S)极的形态配置，而上述一对磁铁各自的中心轴线可彼此相交成直角。
并且，第二连杆件的第一齿轮可与上述第一固定件的第二齿轮相啮合成为一个锥齿轮结构。
并且，第四连杆件的第三齿轮可与上述第二固定件的第四齿轮相啮合成为一个锥齿轮结构。
并且，第五连杆件的第二磁铁可构成一对，一对磁铁能够以使得从一侧磁铁的北极流出的磁力线流入另一侧磁铁的南极的形态配置，而上述一对磁铁各自的中心轴线可彼此相交成直角。
并且，手指佩戴件的手指放置部可由具有预设曲率的曲面形成。
并且，手指佩戴件的端部可设置有当被跟踪的虚拟手指接触虚拟物体时传递给予反馈的用于生成触感的激励器。
并且，控制单元从上述第二连杆件的第一磁传感器读取二自由度动作并且从上述第四连杆件的第二磁传感器读取二自由度动作而可接收四自由度动作。
并且，控制单元可将分别从上述第一磁传感器和上述第二磁传感器接收的磁力矢量值(Bx，By，Bz)变换为上述第二连杆件及上述第四连杆件各自的旋转运动，将其适用于正向运动学数式提取多关节外骨骼机制的形状后可计算上述手指佩戴件的位置与方向。
根据本发明再一实施例的基于三维磁传感器的手指动作捕捉接口装置包括：手背固定件；手指佩戴件；至少一个连杆件，配置于上述手背固定件与上述手指佩戴件之间，包括至少一个磁传感器；至少一个固定件，把上述多个连杆件之间加以连接；以及控制单元，接收至少一个上述磁传感器所检测的各自的磁力线的变化所对应的传感器坐标值，以所接收的上述传感器坐标值为基础提取各连杆件的俯仰动作及偏航动作，根据所提取的上述俯仰动作及偏航动作的值来计算使用者的手指位置。
本发明具有如下的效果，亦即，本发明适用了采取低价型非接触三维磁传感器准确地测量手指动作的四自由度机制而降低生产成本并且准确地测量动作测量。
附图说明
图1为示出本发明的基于三维磁传感器的手指动作捕捉接口装置的整体结构的图。
图2为示出本发明的基于三维磁传感器的手指动作捕捉接口装置的手背固定件的结构的图。
图3为示出本发明的基于三维磁传感器的手指动作捕捉接口装置的第一连杆件的结构的图。
图4为示出本发明的基于三维磁传感器的手指动作捕捉接口装置的第二连杆件的结构的图。
图5为示出本发明的基于三维磁传感器的手指动作捕捉接口装置的第三连杆件的结构的图。
图6为示出本发明的基于三维磁传感器的手指动作捕捉接口装置的第四连杆件的结构的图。
图7为示出本发明的基于三维磁传感器的手指动作捕捉接口装置的第五连杆件的结构的图。
图8为示出本发明的基于三维磁传感器的手指动作捕捉接口装置的手指佩戴件的结构的图。
图9为示出本发明的基于三维磁传感器的手指动作捕捉接口装置的第一固定件的结构的图。
图10为示出本发明的基于三维磁传感器的手指动作捕捉接口装置的第二固定件的结构的图。
图11为说明通过本发明的基于三维磁传感器的手指动作捕捉接口装置的锥齿轮所致关节动作的图。
图12为示出用于本发明的基于三维磁传感器的手指动作捕捉接口装置的磁场测量传感器与利用该磁场测量传感器的传感器坐标系的图。
图13为示出人的手指的基本结构的用来替代图形的照片。
图14为示出在本发明的基于三维磁传感器的手指动作捕捉接口装置的第一个关节和第四个关节设置的传感器及磁铁的配置的图。
图15为示出本发明的基于三维磁传感器的手指动作捕捉接口装置的各关节传感器的数据与多关节机制的动作之间的关联性的图。
具体实施方式
在本说明书及权利范围中使用的术语或词语不应被解释为限于普通或词典含义，发明人应该根据本发明的技术思想解释其含义和概念，其原理是可以适当地定义该术语的概念，以便以最佳方式解释其自身的发明。
在整个说明书中，当某个部分被称为“包括”某个结构要素时，这意味着它也可以包括其他结构要素，除非另外特别说明，否则不排除其他结构要素。此外，说明书中的“…部”、“…装置”、“组件”、“装备”等术语表示用于处理至少一个功能或操作的单元，其可以通过硬件，软件或硬件和软件的组合来实现。
以下参照附图详细说明本发明的实施例。
图1为示出本发明实施例的基于三维磁传感器的手指动作捕捉接口装置的整体结构的图。
参照图1，本发明的基于三维磁传感器的手指动作捕捉接口装置100包括手背固定件110、手指佩戴件170、至少一个连杆件、至少一个固定件以及控制单元195。在此情况下，至少一个连杆件与至少一个固定件可以配置成各种数量。
下面以至少一个连杆件由第一连杆件120、第二连杆件130、第三连杆件140、第四连杆件150以及第五连杆件160等5个连杆件构成并且至少一个固定件由第一固定件180及第二固定件190等2个固定件构成的情况为例来说明具体的工作原理。
根据本发明的基于三维磁传感器的手指动作捕捉接口装置100是一种在佩戴于使用者的手的状态下测量使用者的手指动作的手指动作捕捉接口装置，该装置包括手背固定件110、第一连杆件120、第二连杆件130、第一固定件180、第三连杆件140、第四连杆件150、第二固定件190、第五连杆件160、手指佩戴件170以及计算机系统195。
手背固定件110用于固定使用者的手背，在本体的一侧形成有用于与其他配件(这里为第一连杆件120)相结合的结合孔110h。其中，优选地，像这样形成于手背固定件110的结合孔110h具有如图2所示的长孔的形态。这是为了使与结合孔110h相结合的上述第一连杆件120的左右流动性变得更好。图2示出手背固定件110的结构，(A)部分为主视图、(B)部分为俯视图、(C)部分为侧视图。
第一连杆件120以能够移动的方式与手背固定件110进行机械结合，在本体的内部安装用于产生磁场的第一磁铁120m(参照图14)。其中，如图14所示，像这样设置于第一连杆件120的本体内部的第一磁铁120m由一对磁铁构成，一对磁铁以使得从一侧磁铁的北极流出的磁力线流入另一侧磁铁的南极的形态配置，上述一对磁铁各自的中心轴线彼此相交成直角。
其中，如上所述的一对磁铁设置成使它们的中心轴线彼此相交成直角，这是为了能够使第一磁传感器130s高效率地检测从一侧磁铁的北极流出并流入另一侧磁铁的南极的磁力线。
其中，在本实施例(图14)中，以如上所述的第一磁铁120m使用永久磁铁的情况为例进行了说明(示出)，但这并不限定于永久磁铁，根据情况，也可以使用电磁铁。图3示出如上所述的第一连杆件120的结构，(A)部分为主视图、(B)部分为俯视图、(C)部分为侧视图。
如图4所示，在第二连杆件130的本体的一侧端部形成有球状关节部130g而在本体的另一侧端部形成有能够传递旋转运动力的齿轮以便能够对第一连杆件120进行球状关节运动，如图14所示，在上述球状关节130g内部安装用于检测由上述第一连杆件120的第一磁铁120m产生的磁力线的第一磁传感器130s。图4示出如上所述的第二连杆件130的结构，(A)部分为主视图，(B)部分为俯视图，(C)部分为侧视图。
在第一固定件180本体的预设部位形成有与形成于第二连杆件130的端部的齿轮相啮合的齿轮，以使第二连杆件130相对于第一连杆件120能够进行球状关节动作的方式将第二连杆件130固定于第一连杆件120。其中，如图11所示，形成于上述第二连杆件130的端部的齿轮与形成于第一固定件180的齿轮相啮合成为一个锥齿轮结构。图9示出如上所述的第一固定件180的结构，(A)部分为主视图、(B)部分为俯视图、(C)部分为侧视图。其中，图11还说明根据锥齿轮的关节的动作，①的动作导致②的动作，③的动作导致④的动作。
第三连杆件140本体的一侧端部以能够进行枢转(pivot)运动的方式与上述第一固定件180相结合。图5示出这种第三连杆件140的结构，(A)部分为主视图、(B)部分为俯视图、(C)部分为侧视图。
如图6所示，在第四连杆件150本体的一侧端部形成有球状关节150g，在上述球状关节150g的内部安装用于检测磁力线(从后述的第五连杆件160的第二磁铁160m产生的磁力线)的第二磁传感器150s(参照图14)，在本体的另一侧端部形成有用于传递旋转运动力的齿轮。图6示出这样的第四连杆件150的结构，(A)部分为主视图、(B)部分为俯视图、(C)部分为侧视图。
在第二固定件190本体的预设部位形成有与形成于上述第四连杆件150的本体的端部的齿轮相啮合的齿轮，使上述第四连杆件150结合及固定于上述第三连杆件140。图10示出这样的第二固定件190的结构，(A)部分为主视图、(B)部分为俯视图、(C)部分为侧视图。
其中，形成于上述第四连杆件150的端部的齿轮与形成于上述第二固定件190的齿轮相啮合成为一个锥齿轮结构。
第五连杆件160结合于上述第二固定件190，如图14所示，在本体的内部安装用于产生磁场的第二磁铁160m。其中，设置于这种第五连杆件160的本体内部的第二磁铁160m构成一对磁铁，一对磁铁以使得从一侧磁铁的北(N)极流出的磁力线流入另一侧磁铁的南(S)极的形态配置，一对磁铁各自的中心轴线彼此相交成直角。
其中，如上所述的一对磁铁的其中心轴线彼此相交成直角，如之前所述的内容，是为了使第二磁传感器150s能够以高效率检测从一侧磁铁的北极流出并流入另一侧磁铁的南极的磁力线。其中，在本实施例(图14)中，以如上所述的第二磁铁160m使用永久磁铁的情况为例进行了说明(示出)，但这就如第一磁铁120m的情况一样，并不限定于永久磁铁，根据情况，也可以使用电磁铁。图7示出如上所述的第五连杆件160的结构，(A)部分为主视图、(B)部分为俯视图、(C)部分为侧视图。
手指佩戴件170与上述第五连杆件160相结合，如图8所示，其本体的一侧形成有使用者可以插入手指并放置的手指放置部170a。其中，这种手指佩戴件170的手指放置部170a形成具有预设曲率的曲面以便在手指的底面接触时能够自然地紧贴于手指的底面。并且，在上述手指佩戴件170的手指放置部170a的端部还可设置当被跟踪的虚拟手指接触虚拟物体时产生振动的用于生成触感的激励器(例如，振动激励器)。像这样，当设置了作为用于生成触感的激励器的振动激励器的情况下，当被跟踪的手指接触虚拟物体时，激励器将启动并产生振动，从而让现实世界中的用户体验到如同触摸实际存在的对象般的触感。图8示出如上所述的手指佩戴件170的结构，(A)部分为主视图、(B)部分为俯视图、(C)部分为侧视图。
计算机系统195接收上述第二连杆件的第一磁传感器和上述第四连杆件的第二磁传感器所检测的各自的磁力线变化所对应的传感器坐标值，以所接收的传感器坐标值为基础提取各连杆件的俯仰动作及偏航动作，根据所提取的俯仰动作及偏航动作值计算使用者的手指位置。其中，这种计算机系统195分别从设置于上述第二连杆件130的本体内部的第一磁传感器130s与设置于上述上述第四连杆件150的本体内部的第二磁传感器150s读取二自由度动作而可接收共四自由度的动作。并且，计算机系统195通过有线及无线网络传递传感器数据或已计算好的位置数据并且能够接收所需要的信息。
并且，上述计算机系统195将分别从上述第一磁传感器130s、第二磁传感器150s接收的磁力矢量值Bx，By，Bz变换为上述第二连杆件130及第四连杆件150各自的旋转动作，将其适用于正向运动学数式提取多关节外骨骼机制的形状后可计算上述手指佩戴件170的位置及方向。
接下来，对具有如上所述的结构的本发明基于三维磁传感器的手指动作捕捉接口装置100的结构及动作关系进行阐述说明。
图12为示出用于本发明的基于三维磁传感器的手指动作捕捉接口装置的磁场测量传感器与利用该磁场测量传感器的传感器坐标系的图。
参照图12，(A)部分示出用于本发明基于三维磁传感器的手指动作捕捉接口装置100的低价型非接触式三轴磁场测量传感器，(B)部分示出利用它的传感器坐标系。
如(A)部分所示的可测量位置的1美元以下的低成本非接触式三轴磁场测量传感器能以非接触方式通过如I2C(内部集成电路，Inter-Integrated Circuit)之类的高速串行通信以最高3.3KHz的速度获取三轴磁场强度。因此，实时测量性能优秀，从而能够进行高速捕捉。
从设置于第一连杆件120的内部的第一磁铁120m及设置于第五连杆件160的内部的第二磁铁160m分别产生的磁力线矢量的方向和大小则以(B)部分所示传感器坐标系的基准磁通量Bx、By、Bz的值被测量出来。若将传感器固定于中心并使磁铁在周围旋转的话，理论上可实现矢量的三自由度测量，但是，由于奇点问题而无法测量矢量轴方向(侧翻)的旋转。因此，本发明引进了在每一个关节设置一个传感器而总共使用2个传感器的能够测量四自由度旋转的多关节外骨骼机制。
假设人的手指基本上具有四自由度。如图13，在第1个关节可进行俯仰与偏航动作，之后的2个关节可分别进行俯仰动作。以此为基础，如果设计出可进行四自由度动作的机制就能做出把手指的四自由度全部予以捕捉的外骨骼。图13为示出人的手指的基本结构的用来替代图形的照片。
如果人的手指如同机器人关节一样地分别由个别的旋转关节组成的话就能简单地进行设计，但是人的手指在一个关节进行多种动作。于是，本发明的机制也为了在一个关节允许多种动作而采取了球状关节结构，为了测量关节的旋转动作而采用作为非接触型传感器的三维磁传感器。
本发明所使用的传感器为三维磁传感器，但是当磁力矢量朝向传感器时仅允许俯仰与偏航动作而无法测量磁力矢量方向的侧翻(Roll)动作。因此，必须将四自由度动作转换成共2个球状关节各自的俯仰动作和偏航动作。为此，本发明采用了锥齿轮结构，采用此结构的模型就是前面说明的图1的本发明基于三维磁传感器的手指动作捕捉接口装置100。
参照图1，第一个关节，亦即，插入第二连杆件130的第一磁传感器130s如实地将第二连杆件130的偏航动作读取为偏航动作。并且，第三个连杆(第三连杆件140)的俯仰动作则由于锥齿轮的结构而在第一个关节(第二连杆件130)转换为侧翻(Roll)动作，这仅仅是连杆结构上的侧翻动作而不是以磁力矢量为基准的倾侧运动，因此可以在磁传感器测量。并且，第三个连杆(第三连杆件140)的俯仰动作在第四个关节(第四连杆件150)以侧翻动作接收，最后，第四个关节(第四连杆件150)的俯仰动作如实地以俯仰接收。总而言之，以第三个连杆(第三连杆件140)为基准的前后多关节结合结构为对称结构，成为可接收共四自由度动作的机制。插入第一个关节与第四个关节的传感器及磁铁的配置如图14所示。
图15为示出各关节传感器的数据值与多关节机制的动作之间的关联性的图。
参照图15，从各传感器接收的磁通量Bx、By、Bz值可通过下列数学式变换为各连杆的俯仰动作及偏航动作。
第一个关节：
X≡-a(sinθ1)+c(cosθ1)
第四个关节：
X≡a(sinθ4)-c(cosθ4)
所提取的俯仰动作及偏航动作可以用DH标记法如下表示。可以利用DH参数并通过坐标转换及正向运动学算出机制的末端位置，亦即，手指的末端位置。
在上述表中，li(i＝1，..，7)的长度的数值。
如上所述，本发明的基于三维磁传感器的手指动作捕捉接口装置具有如下优点，亦即，适用了采取可检测手指动作的低价型非接触三维磁传感器准确地测量手指动作的四自由度机制而降低生产成本并且准确地测量动作测量。
并且，在手指尖设置用于生成触感的激励器(振动激励器)而在被跟踪的虚拟手指接触虚拟物体时产生振动，从而为现实世界中的用户提供如同触摸实际存在的对象般的触感。
以上，通过优选实施例详细说明了本发明，但是本发明并不限定于此，在不超过本发明的技术思想的范围内，可以进行多种变更、应用，这对本领域的普通技术人员来说是显而易见的。因此，本发明的真正保护范围应该由权利要求书阐释，在与其等同的范围内的所有技术思想应解释为属于本发明的权利范围。

Claims (11)

1.一种基于三维磁传感器的手指动作捕捉接口装置，其特征在于，包括：
手背固定件，在一侧形成有结合孔；
第一连杆件，与上述手背固定件的结合孔进行机械结合，内部安装第一磁铁；
第二连杆件，与上述第一连杆件相连接的一侧端部由第一球状关节部形成，在另一侧端部形成有第一齿轮，在上述第一球状关节部内部内置有第一磁传感器；
第一固定件，通过与上述第二连杆件的第一齿轮啮合的第二齿轮将上述第二连杆件固定于上述第一连杆件；
第三连杆件，一侧端部以能够进行枢转运动的方式与上述第一固定件相结合；
第四连杆件，在一侧端部的内部形成有第二球状关节部，在另一侧端部形成有第三齿轮，在上述第二球状关节部设置有第二磁传感器；
第二固定件，通过与上述第四连杆件的第三齿轮相啮合的第四齿轮将上述第四连杆件结合于上述第三连杆件；
第五连杆件，与上述第二固定件相结合，在内部安装第二磁铁；
手指佩戴件，与上述第五连杆件相结合，形成有手指放置部；以及
控制单元，接收上述第二连杆件的第一磁传感器和上述第四连杆件的第二磁传感器所检测的各自的磁力线的变化所对应的传感器坐标值，以所接收的上述传感器坐标值为基础提取各连杆件的俯仰动作及偏航动作，根据所提取的上述俯仰动作及偏航动作值计算使用者的手指位置。
2.根据权利要求1所述的基于三维磁传感器的手指动作捕捉接口装置，其特征在于，上述手背固定件的结合孔具有长孔形态。
3.根据权利要求1所述的基于三维磁传感器的手指动作捕捉接口装置，其特征在于，上述第一磁铁构成一对，一对磁铁以使得从一侧磁铁的北极流出的磁力线流入另一侧磁铁的南极的形态配置，上述一对磁铁各自的中心轴线彼此相交成直角。
4.根据权利要求1所述的基于三维磁传感器的手指动作捕捉接口装置，其特征在于，上述第二连杆件的第一齿轮与上述第一固定件的第二齿轮相啮合成一个锥齿轮结构。
5.根据权利要求1所述的基于三维磁传感器的手指动作捕捉接口装置，其特征在于，上述第四连杆件的第三齿轮与上述第二固定件的第四齿轮相啮合成一个锥齿轮结构。
6.根据权利要求1所述的基于三维磁传感器的手指动作捕捉接口装置，其特征在于，上述第五连杆件的第二磁铁构成一对，一对磁铁以使得从一侧磁铁的北极流出的磁力线流入另一侧磁铁的南极的形态配置，上述一对磁铁各自的中心轴线彼此相交成直角。
7.根据权利要求1所述的基于三维磁传感器的手指动作捕捉接口装置，其特征在于，上述手指佩戴件的手指放置部由具有预设曲率的曲面形成。
8.根据权利要求1所述的基于三维磁传感器的手指动作捕捉接口装置，其特征在于，在上述手指佩戴件的端部设置有当被跟踪的虚拟手指接触虚拟物体时传递给予反馈的用于生成触感的激励器。
9.根据权利要求1所述的基于三维磁传感器的手指动作捕捉接口装置，其特征在于，上述控制单元从上述第二连杆件的第一磁传感器读取二自由度动作并且从上述第四连杆件的第二磁传感器读取二自由度动作而接收四自由度动作。
10.根据权利要求1所述的基于三维磁传感器的手指动作捕捉接口装置，其特征在于，上述控制单元将分别从上述第一磁传感器和上述第二磁传感器接收的磁力矢量值(Bx，By，Bz)变换为上述第二连杆件及上述第四连杆件各自的旋转运动，将其适用于正向运动学数式提取多关节外骨骼机制的形状后计算上述手指佩戴件的位置与方向。
11.一种基于三维磁传感器的手指动作捕捉接口装置，其特征在于，包括：
手背固定件；
手指佩戴件；
至少一个连杆件，配置于上述手背固定件与上述手指佩戴件之间，包括至少一个磁传感器；
至少一个固定件，把上述多个连杆件之间加以连接；以及
控制单元，接收至少一个上述磁传感器所检测的各自的磁力线的变化所对应的传感器坐标值，以所接收的上述传感器坐标值为基础提取各连杆件的俯仰动作及偏航动作，根据所提取的上述俯仰动作及偏航动作的值来计算使用者的手指位置。
CN201880004571.9A 2017-08-18 2018-06-19 基于三维磁传感器的手指动作捕捉接口装置 Active CN109997099B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170104935A KR101971882B1 (ko) 2017-08-18 2017-08-18 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치
KR10-2017-0104935 2017-08-18
PCT/KR2018/006890 WO2019035546A1 (ko) 2017-08-18 2018-06-19 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치

Publications (2)

Publication Number Publication Date
CN109997099A true CN109997099A (zh) 2019-07-09
CN109997099B CN109997099B (zh) 2022-07-19

Family

ID=65361942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880004571.9A Active CN109997099B (zh) 2017-08-18 2018-06-19 基于三维磁传感器的手指动作捕捉接口装置

Country Status (4)

Country Link
US (1) US10901530B2 (zh)
KR (1) KR101971882B1 (zh)
CN (1) CN109997099B (zh)
WO (1) WO2019035546A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102269414B1 (ko) * 2019-03-07 2021-06-24 재단법인 실감교류인체감응솔루션연구단 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006020A (ko) * 2001-07-11 2003-01-23 삼성전자 주식회사 신체의 관절 각도를 이용한 정보 입력 장치 및 방법
US20130207890A1 (en) * 2010-10-22 2013-08-15 Joshua Michael Young Methods devices and systems for creating control signals
KR101571314B1 (ko) * 2015-02-24 2015-11-26 한국과학기술연구원 손가락 관절의 회전각 계측 장치
CN105653044A (zh) * 2016-03-14 2016-06-08 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
KR101764328B1 (ko) * 2016-06-09 2017-08-02 울산과학기술원 역감 전달 시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4986280A (en) * 1988-07-20 1991-01-22 Arthur D. Little, Inc. Hand position/measurement control system
JP3199130B2 (ja) * 1992-03-31 2001-08-13 パイオニア株式会社 ３次元座標入力装置
US6104379A (en) * 1996-12-11 2000-08-15 Virtual Technologies, Inc. Forearm-supported exoskeleton hand-tracking device
US6110130A (en) * 1997-04-21 2000-08-29 Virtual Technologies, Inc. Exoskeleton device for directly measuring fingertip position and inferring finger joint angle
JP3409160B2 (ja) * 2000-04-26 2003-05-26 独立行政法人産業技術総合研究所 把握データ入力装置
JP4142460B2 (ja) * 2003-01-31 2008-09-03 オリンパス株式会社 運動検出装置
KR100543710B1 (ko) * 2004-02-25 2006-01-20 삼성전자주식회사 동시에 발생되는 복수의 공간적 움직임으로부터 정보 완료신호를 인식하는 공간형 정보 입력 장치 및 방법
US8562049B2 (en) * 2009-09-22 2013-10-22 GM Global Technology Operations LLC Robotic finger assembly
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
US9104271B1 (en) * 2011-06-03 2015-08-11 Richard Adams Gloved human-machine interface
KR101427365B1 (ko) 2012-10-23 2014-08-07 이인택 관성 센서를 이용한 모션 캡쳐 시스템
KR101521560B1 (ko) 2013-09-03 2015-05-29 강순걸 핸드 햅틱 인터페이스 장치
KR101525226B1 (ko) * 2014-12-12 2015-06-04 영풍전자(주) 증강현실용 모션인식 장갑
JP6592416B2 (ja) * 2016-09-29 2019-10-16 マクセル株式会社 タスク実行順序決定システムおよびタスク実行方法
US20190005733A1 (en) * 2017-06-30 2019-01-03 Paul Alexander Wehner Extended reality controller and visualizer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006020A (ko) * 2001-07-11 2003-01-23 삼성전자 주식회사 신체의 관절 각도를 이용한 정보 입력 장치 및 방법
US20130207890A1 (en) * 2010-10-22 2013-08-15 Joshua Michael Young Methods devices and systems for creating control signals
KR101571314B1 (ko) * 2015-02-24 2015-11-26 한국과학기술연구원 손가락 관절의 회전각 계측 장치
CN105653044A (zh) * 2016-03-14 2016-06-08 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
KR101764328B1 (ko) * 2016-06-09 2017-08-02 울산과학기술원 역감 전달 시스템

Also Published As

Publication number Publication date
WO2019035546A1 (ko) 2019-02-21
CN109997099B (zh) 2022-07-19
US20200393916A1 (en) 2020-12-17
US10901530B2 (en) 2021-01-26
KR101971882B1 (ko) 2019-04-24
KR20190019693A (ko) 2019-02-27

Similar Documents

Publication Publication Date Title
Fang et al. 3D human gesture capturing and recognition by the IMMU-based data glove
CN106445130B (zh) 一种用于手势识别的动作捕捉手套及其校准方法
CN103226398B (zh) 基于微惯性传感器网络技术的数据手套
KR101214227B1 (ko) 동작 추적 방법.
Fang et al. Development of a wearable device for motion capturing based on magnetic and inertial measurement units
CN103417217B (zh) 关节活动度量测装置及其量测方法
EP2141632A2 (en) Motion capture apparatus and method
Fang et al. A novel data glove using inertial and magnetic sensors for motion capture and robotic arm-hand teleoperation
KR101080078B1 (ko) 통합센서 기반의 모션 캡쳐 시스템
CN108279773B (zh) 一种基于marg传感器和磁场定位技术的数据手套
CN110609621B (zh) 姿态标定方法及基于微传感器的人体运动捕获系统
CN106227368B (zh) 一种人体关节角度解算方法及装置
CN102177004A (zh) 自主系统和用于测定表征关节链运动信息的方法
Li et al. Real-time hand gesture tracking for human–computer interface based on multi-sensor data fusion
Mohammadi et al. Fingertip force estimation via inertial and magnetic sensors in deformable object manipulation
KR20120059824A (ko) 복합 센서를 이용한 실시간 모션 정보 획득 방법 및 시스템
CN112711332B (zh) 一种基于姿态坐标的人体动作捕捉方法
CN109997099A (zh) 基于三维磁传感器的手指动作捕捉接口装置
CN109343713B (zh) 一种基于惯性测量单元的人体动作映射方法
CN206270980U (zh) 一种用于手势识别的动作捕捉手套
Zhang et al. 3D upper limb motion modeling and estimation using wearable micro-sensors
KR20120037739A (ko) 손동작 기반 사용자 인터페이스 장치 및 그 방법
Liu et al. Physical sensor difference-based method and virtual sensor difference-based method for visual and quantitative estimation of lower limb 3D gait posture using accelerometers and magnetometers
JPH11325881A (ja) 関節角の計測方法及びその装置
CN206534641U (zh) 外骨骼服和躯体仿真系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211116

Address after: Seoul, South Kerean

Applicant after: KOREA INSTITUTE OF SCIENCE AND TECHNOLOGY

Address before: Seoul City, Korea

Applicant before: CENTER OF HUMAN-CENTERED INTERACTION FOR COEXISTENCE

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant