CN113758506A - 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法 - Google Patents
一种基于Leap Motion的拇指弹琴触键动作测量平台及方法 Download PDFInfo
- Publication number
- CN113758506A CN113758506A CN202111008491.0A CN202111008491A CN113758506A CN 113758506 A CN113758506 A CN 113758506A CN 202111008491 A CN202111008491 A CN 202111008491A CN 113758506 A CN113758506 A CN 113758506A
- Authority
- CN
- China
- Prior art keywords
- thumb
- piano
- touch key
- leap motion
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 121
- 210000003813 thumb Anatomy 0.000 title claims abstract description 111
- 230000009471 action Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 20
- 210000000811 metacarpophalangeal joint Anatomy 0.000 claims description 41
- 239000011521 glass Substances 0.000 claims description 36
- 238000005259 measurement Methods 0.000 claims description 30
- 210000003811 finger Anatomy 0.000 claims description 27
- 210000001503 joint Anatomy 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 14
- 210000004247 hand Anatomy 0.000 claims description 11
- 229910000831 Steel Inorganic materials 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 239000010959 steel Substances 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000002834 transmittance Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000005357 flat glass Substances 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000234314 Zingiber Species 0.000 description 1
- 235000006886 Zingiber officinale Nutrition 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical group [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 235000008397 ginger Nutrition 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
- G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开一种基于Leap Motion的拇指弹琴触键动作测量平台及方法，测量平台包括测量平台框架、上平台玻璃面、下平台玻璃面、触键限位结构和Leap Motion传感器，所述测量平台框架是由连接杆和角码相互连接组成的长方体框架结构，所述测量平台框架的顶部放置有所述上平台玻璃面，测量平台框架的底部设置有下平台玻璃面，所述下平台玻璃面的上表面放置有所述Leap Motion传感器，测量平台框架顶部其中两侧的连接杆相对称的设置有轨道，所述轨道内可活动的连接有触键限位结构。本发明基于Leap Motion的拇指弹琴触键动作测量平台，能够在十分贴近自然状态下进行拇指弹琴触键动作的采集，并对采集数据进行分析，得到拇指弹琴触键运动数据及规律。
Description
技术领域
本发明涉及运动技能学习与测量领域，特别是涉及一种基于Leap Motion的拇指弹琴触键动作测量平台及方法。
背景技术
钢琴弹奏技能作为一项专业的手部技能，需要学习者在钢琴老师的指导下经过大量的专业训练才能逐渐掌握，而弹琴时需要保持正确的手部姿态，从而可以保证手指触键力度和灵活性，以便弹奏出美妙的音色。因此如何对人手标准的弹琴触键动作进行有效测量和量化分析，成为弹琴技能训练与教学甚至将来机器人教学的基础部分。另外，人手拇指十分灵巧，结构复杂，其弹琴动作为复杂的三维运动，如何对拇指的弹琴触键动作进行捕捉和数据分析成为至关重要的一部分。
目前对人手动作的捕捉方法多种多样，例如使用数据手套[1,2]和在手部特征位置粘贴标志点并用相机进行动作识别[3,4]等。但是佩戴数据手套会影响人手正常情况下的弹琴动作，大大影响动作的自然性，造成测量数据的不准确性。在手部粘贴标志点，测量数据会受标志点粘贴情况的影响，对测量结果影响也较大。Leap Motion传感器作为专业手部信息捕获设备，可以直接识别人手关节和指尖特征点，不需要在人手佩戴任何东西，也不需要在人手上放置任何标志物，不会对人手弹琴触键动作产生影响。而且Leap Motion传感器能以200帧/秒的速度追踪双手，追踪精度可达0.01mm[5]，具有很高的识别精度。
因此对比多种人手动作捕捉方式，Leap Motion传感器凭借无接触式测量在拇指弹琴触键动作测量方面具有独特的优势，从而如何根据Leap Motion传感器的测量方式和人手弹琴动作习惯搭建测量平台，为拇指弹琴触键动作的测量提供十分接近现实的测量环境，并根据人手结构特点进行运动数据分析显得格外重要。
[1]朱颖,杨荻铠,邴林园,等.基于数据手套体感控制的机械手研究[J].电子设计工程,2021,29(12):61-66.
[2]赵裕沛,费飞,杨德华,等.面向手部康复应用的数据手套技术研究[J].仪器仪表学报,2017,38(10):2415-2421.
[3]CONTI R,MELI E,RIDOLFI A.A novel kinematic architecture forportable hand exoskeletons[J].Mechatronics(Oxford),2016,35:192-207.
[4]ZHAO W,CHAI J,XU Y Q.Combining marker-based mocap and RGB-D camerafor acquiring high-fidelity hand motion data:Acm Siggraph[C],2012:33-42.
[5]彭淼,陈国丽,姜瑜.基于Leap Motion体感传感器的手部位置信息获取方法研究[J].南方农机,2021,52(07):28-33.
发明内容
本发明的目的在于针对传统手部动作识别方法在人手弹琴触键动作测量中的局限性，利用Leap Motion传感器无接触、高精度测量特点，结合人手弹琴触键的姿态习惯和人手骨骼结构特点，提出一种基于Leap Motion的拇指弹琴触键动作测量平台及分析方法，从而能够在十分贴近自然的情况下采集拇指弹琴触键数据，并将拇指的三维空间运动转化为若干个二维空间的关节旋转运动，从而提高运动数据采集的有效性，减小拇指运动分析的复杂性。
本发明的目的是通过以下技术方案实现的：
一种基于Leap Motion的拇指弹琴触键动作测量平台，包括测量平台框架、上平台玻璃面、下平台玻璃面、触键限位结构和Leap Motion传感器，所述测量平台框架是由连接杆和角码相互连接组成的长方体框架结构，所述测量平台框架的顶部放置有所述上平台玻璃面，测量平台框架的底部放置有下平台玻璃面，所述下平台玻璃面的上表面放置有所述Leap Motion传感器，测量平台框架顶部其中两侧的连接杆相对称的设置有轨道，所述轨道内可活动的连接有触键限位结构。
进一步的，所述触键限位结构包括直角连接件、带孔螺钉、钢丝绳和紧定螺钉，所述直角连接件的一边通过紧定螺钉固定于所述轨道内，并通过紧定螺钉可以任意调节触键限位结构的前后位置，直角连接件的另一边通过带孔螺钉、钢丝绳与另一个直角连接件相互连接。
进一步的，所述上平台玻璃面由厚度为2mm的高透玻璃构成。
本发明还提供一种基于Leap Motion的拇指弹琴触键测量方法，包括以下步骤：
(1)人手保持弹琴时的标准动作要求，将除拇指外的四根手指放置在上平台玻璃面上，分别与上平台玻璃面上的琴键标记相对应；
(2)适当调整人手和Leap Motion传感器的位置，保证Leap Motion传感器可以直接识别到中指的掌指关节(MCP)和近侧指间关节(PIP)，避免Leap Motion传感器发出的光线透过上平台玻璃面时产生折射而对动作测量产生影响；
(3)除拇指外的四指在上平台玻璃面上保持位置和姿态不变，拇指进行抬指动作，模仿真实弹琴过程中的抬指蓄力动作；
(4)拇指进行落指动作，模仿真实弹琴过程中的落指触键动作；
(5)拇指接触到钢丝绳时，落指动作停止，根据正常弹琴习惯停留相应时间；
(6)不断重复步骤(3)到步骤(5)，进行若干次拇指弹琴触键动作采集；
(7)Leap Motion传感器实时识别中指的掌指关节(MCP)和近侧指间关节(PIP)特征点，以及拇指的掌腕关节(CMC)、掌指关节(MCP)、指间关节(IP)特征点和指尖点(TIP)，并记录这些特征点和指尖点的空间位置坐标。
本发明还提供一种基于Leap Motion的拇指弹琴触键动作分析方法，包括以下步骤：
(1)根据Leap Motion传感器的测量方式和人手弹琴动作习惯搭建拇指弹琴触键动作测量平台，用Leap Motion传感器捕捉并记录拇指关节特征点和指尖点的空间位置坐标；
(2)根据拇指结构特点，结合关节运动方式，在拇指掌腕关节(CMC)处建立跟随拇指近指节运动的动坐标系{T}和{D}，并建立Leap Motion输出坐标系{M}；
(3)根据Leap Motion输出坐标系{M}与动坐标系{T}和{D}的位置关系建立坐标系之间的旋转矩阵R；
(4)利用旋转矩阵R将拇指近指节的空间运动转化为水平面和铅锤平面内的转动以及绕拇指近指节的旋转运动；
(5)拇指掌指关节(MCP)与指间关节(IP)关节转动由向量乘法得到。
与现有技术相比，本发明的技术方案所带来的有益效果是：
(1)减少外部环境对动作测量的影响，保证较高的测量精度
测量平台利用Leap Motion传感器无接触测量的特点，无需在人手上粘贴任何标志物，也无需人手佩戴任何外部设备，避免了外部环境对人手弹琴动作的影响，保证了弹琴动作的自然性和连贯性，保证较高的测量精度。
(2)提供接近真实的弹琴环境，满足不同人手尺寸和不同弹琴习惯的动作测量要求
测量平台的上平台玻璃面距钢丝绳距离为9.5mm，符合钢琴琴键的标准下键深度要求，触键限位结构可以给钢琴弹奏者触感反馈，保证动作的规范性，同时钢丝绳的前后位置可以任意调节，从而适合不同人手尺寸和不同弹琴习惯的动作测量要求。
(3)以人手中指作为辅助定位，简化拇指近指节运动
拇指弹琴动作测量中，以人手中指近指节指向为辅助定位方向，从而可以消除动作测量过程中人手轻微抖动和变形对测量结果产生的影响，并将拇指近指节的运动转化为水平方向和铅锤方向的转动以及绕近指节的旋转运动，从而将拇指近指节的三维空间运动简化为三种形式的二维运动，大大减小拇指运动分析的困难性，方便对其运动进行定量分析。
(4)通过坐标系转化进行拇指关节运动分析
在拇指掌腕关节建立随拇指运动的动坐标系，利用旋转矩阵将Leap Motion传感器输出数据转化为拇指关节运动数据，并得出拇指关节转角数据，计算简便。
附图说明
图1是本发明的测量平台结构示意图；
图2是本发明的测量平台框架图；
图3是本发明的上平台玻璃面图；
图4是本发明的触键限位结构图；
图5是本发明的拇指弹琴触键测量方法图；
图6是本发明的Leap Motion输出坐标系{M}的建构图；
图7是本发明的掌腕关节坐标系{T}的建构图；
图8是本发明的掌腕关节坐标系{D}的建构图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，基于Leap Motion的拇指弹琴触键动作测量平台，主要包括五部分：测量平台框架1、上平台玻璃面2、下平台玻璃面3、触键限位结构4和Leap Motion传感器5。
如图2所示，测量平台框架1采用横截面为15×15mm的连接杆101并用螺栓102和90°角码103进行连接，保证测量时人手能够在Leap Motion传感器有效识别范围内。本实施例中测量平台框架1顶部的连接杆内设有轨道。本实施例使用的连接杆101为铝型材。
如图3所示，本实施例中上平台玻璃面2材质为高透玻璃，厚度为2mm，可减少LeapMotion传感器发出的光线的折射，增强Leap Motion传感器的识别精度，且上平台玻璃面上有钢琴琴键位置标记，可真实模拟钢琴琴键的位置，规范人手弹琴触键动作。
下平台玻璃面3为一整块亚克力板，为Leap Motion传感器提供平整的放置平面，减少测量时对Leap Motion传感器的影响。
如图4所示，触键限位结构用于限制拇指触键过程中的下落高度，并为拇指动作测量提供真实的触感反馈，该结构包括直角连接件401、紧定螺钉404、带孔螺钉402和钢丝绳403，钢丝绳403通过带孔螺钉402固定在直角连接件401上，紧定螺钉404用来将直角连接件401固定在测量平台框架的上层连接杆的轨道内，使得上平台玻璃面和钢丝绳之间的垂直距离为9.5mm，符合钢琴琴键的标准下键深度要求，并通过紧定螺钉可以任意调节钢丝绳的前后位置，满足不同人员的弹琴动作习惯需求。
Leap Motion传感器用于检测人手拇指和中指关节信息，记录人手关节特征点运动数据。
具体的，拇指弹琴触键测量方式如图5所示，触键动作测量包括以下步骤：
(1)将Leap Motion传感器放置在下平台玻璃面上；
(2)人手保持弹琴时的标准动作要求，将四根手指(非拇指)放置在上平台玻璃面上，分别与上平台玻璃面上的琴键标记相对应；
(3)适当调整人手和Leap Motion传感器的位置，保证Leap Motion传感器可以直接识别到中指的掌指关节(MCP)和近侧指间关节(PIP)，从而避免Leap Motion传感器发出的光线透过上平台玻璃时产生折射而对动作测量产生影响；
(4)四指(非拇指)在上平台玻璃面上保持位置和姿态不变，拇指进行抬指动作，模仿真实弹琴过程中的抬指蓄力动作；
(5)拇指进行落指动作，模仿真实弹琴过程中的落指触键动作；
(6)拇指接触到钢丝绳时，落指动作停止，根据正常弹琴习惯停留相应时间；
(7)不断重复步骤(4)到步骤(6)，进行多次拇指弹琴触键动作采集；
(8)Leap Motion传感器实时识别中指的掌指关节(MCP)和近侧指间关节(PIP)特征点，以及拇指的掌腕关节(CMC)、掌指关节(MCP)、指间关节(IP)特征点和指尖点(TIP)，并记录这些特征点和指尖点的空间位置坐标。
具体的，基于Leap Motion的拇指弹琴触键动作的分析方法如下：
1.Leap Motion输出坐标系{M}的建立；
如图6所示，根据Leap Motion传感器的特性建立Leap Motion输出坐标系{M}。其中，坐标轴ZM竖直向上，坐标轴YM位于水平面内且大致指向手的方向，坐标轴XM由右手定则确定。
2.掌腕关节坐标系{T}的建立；
如图7所示，在拇指的掌腕关节(CMC)处建立坐标系{T}，坐标系原点OT与CMC关节点重合，坐标轴ZT沿竖直方向且方向向上，坐标轴YT位于水平面内且其指向沿中指近指节方向，坐标轴XT由右手定则确定。
3.掌腕关节坐标系{D}的建立
如图8所示，在拇指的掌腕关节(CMC)处建立动坐标系{D}，坐标系原点OD与CMC关节点重合，坐标轴YD与拇指的近指节重合且指向拇指掌指关节(MCP)，坐标轴ZD与坐标轴YD垂直且位于同一铅垂面内，指向斜向上，坐标轴XD由右手定则确定。
4.拇指掌腕关节平面转动的分析
根据坐标系{M}和坐标系{T}的位置关系，将坐标系{M}下的Leap Motion输出数据转化为坐标系{T}中的坐标数据，转化公式如下：
式中，PT为坐标系{T}中的拇指特征点坐标，
为坐标系{T}到坐标系{M}的旋转矩阵，PM为坐标系{M}中的拇指特征点坐标，OT为坐标系{M}中的{T}系原点坐标。
根据坐标系{T}中的拇指特征点坐标PT，将拇指近指节三维运动在平面XTYT和平面YTZT中进行投影，进而得到水平面和铅锤面中拇指近指节运动规律。
5.拇指掌腕关节绕自身转动的分析
根据坐标系{M}和坐标系{D}的位置关系，将坐标系{M}下的Leap Motion输出数据转化为坐标系{D}中的坐标数据，转化公式如下：
式中，PD为坐标系{D}中的拇指特征点坐标，
为坐标系{D}到坐标系{M}的旋转矩阵，PM为坐标系{M}中的拇指特征点坐标，OD为坐标系{M}中的{D}系原点坐标。
根据坐标系{D}中的拇指特征点坐标PD，根据拇指所在平面的法向量的变化来检测拇指近指节绕其自身转动角度的大小，从而得到拇指近指节绕自身转动的运动规律。
6.掌指关节和指间关节运动分析
根据坐标系{T}中的数据PT，计算出拇指相邻两指节的长度向量
和
从而计算出拇指关节转角θ，计算公式如下：
综上，人手在弹琴过程中需要保持正确的手部姿态，以保证手指的触键力度和灵活性。而有丰富弹琴经验的钢琴弹奏人士手部动作十分细腻，且有着明显的运动规律。在人手的五根手指中，拇指具有很高的灵活性，其运动为复杂的三维空间运动，其弹琴触键动作采集和分析相比其余四根手指也更加复杂。因此对拇指弹琴触键动作的采集和分析在手部动作采集方面具有很强的代表性。
由于传统接触式测量对人手动作有着明显的影响，基于Leap Motion传感器等的无接触式测量成为目前弹琴动作最佳的测量方式。为了给测量者提供尽可能接近自然的弹琴环境，结合Leap Motion传感器的测量特点，本发明搭建了基于Leap Motion的拇指弹琴触键动作测量平台。该测量平台通过琴键位置标记可以有效地规范人手弹琴姿态，并通过设置可调整位置的触键限位结构，可根据人手尺寸不同任意调整限位结构的位置，给测试者真实的触键反馈，保证数据的有效性。通过对人手恰当的放置，保证Leap Motion传感器可以直接捕捉中指的掌指关节(MCP)和近侧指间关节(PIP)，以及拇指的掌腕关节(CMC)、掌指关节(MCP)、指间关节(IP)和指尖点(TIP)，避免Leap Motion传感器发出光线经过玻璃产生折射而对测量产生影响。
另外，针对拇指弹琴触键的复杂三维运动，在Leap Motion传感器和拇指掌腕关节(CMC)处设置坐标系{M}、{T}和{D}，经过坐标系的转化将拇指近指节的三维空间运动转化为水平面内、铅锤面内和绕自身的旋转运动，拇指掌指关节(MCP)和指间关节(IP)的运动可通过相邻指节向量进行分析，从而将拇指复杂的三维运动转化为若干个平面二维运动，大大减小了拇指运动分析的复杂性。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
Claims (5)
1.一种基于Leap Motion的拇指弹琴触键动作测量平台，其特征在于，包括测量平台框架、上平台玻璃面、下平台玻璃面、触键限位结构和Leap Motion传感器，所述测量平台框架是由连接杆和角码相互连接组成的长方体框架结构，所述测量平台框架的顶部放置有所述上平台玻璃面，上平台玻璃面上设有琴键标记；测量平台框架的底部设置有下平台玻璃面，所述下平台玻璃面的上表面放置有所述Leap Motion传感器，测量平台框架顶部其中两侧的连接杆相对称的设置有轨道，所述轨道内可活动的连接有触键限位结构。
2.根据权利要求所述一种基于Leap Motion的拇指弹琴触键动作测量平台，其特征在于，所述触键限位结构包括直角连接件、带孔螺钉、钢丝绳和紧定螺钉，所述直角连接件的一边通过紧定螺钉固定于所述轨道内，并能够通过紧定螺钉任意调节触键限位结构的前后位置，直角连接件的另一边通过带孔螺钉、钢丝绳与另一个直角连接件相互连接。
3.根据权利要求所述一种基于Leap Motion的拇指弹琴触键动作测量平台，其特征在于，所述上平台玻璃面由厚度为2mm的高透玻璃构成。
4.一种基于Leap Motion的拇指弹琴触键测量方法，基于权利要求1所述拇指弹琴触键动作测量平台，其特征在于，包括以下步骤：
(1)人手保持弹琴时的标准动作要求，将除拇指外的四根手指放置在上平台玻璃面上，分别与上平台玻璃面上的琴键标记相对应；
(2)调整人手和Leap Motion传感器的位置，保证Leap Motion传感器能够直接识别到中指的掌指关节(MCP)和近侧指间关节(PIP)，避免Leap Motion传感器发出的光线透过上平台玻璃面时产生折射而对动作测量产生影响；
(3)除拇指外的四指在上平台玻璃面上保持位置和姿态不变，拇指进行抬指动作，模仿真实弹琴过程中的抬指蓄力动作；
(4)拇指进行落指动作，模仿真实弹琴过程中的落指触键动作；
(5)拇指接触到钢丝绳时，落指动作停止，根据正常弹琴习惯停留相应时间；
(6)不断重复步骤(3)到步骤(5)，进行若干次拇指弹琴触键动作采集；
(7)Leap Motion传感器实时识别中指的掌指关节(MCP)和近侧指间关节(PIP)特征点，以及拇指的掌腕关节(CMC)、掌指关节(MCP)、指间关节(IP)特征点和指尖点(TIP)，并记录这些特征点和指尖点的空间位置坐标。
5.一种基于Leap Motion的拇指弹琴触键动作分析方法，基于权利要求1所述拇指弹琴触键动作测量平台，其特征在于，包括以下步骤：
(1)根据Leap Motion传感器的测量方式和人手弹琴动作习惯搭建拇指弹琴触键动作测量平台，用Leap Motion传感器捕捉并记录拇指关节特征点和指尖点的空间位置坐标；
(2)根据拇指结构特点，结合关节运动方式，在拇指掌腕关节(CMC)处建立跟随拇指近指节运动的动坐标系{T}和{D}，并建立Leap Motion输出坐标系{M}；
(3)根据Leap Motion输出坐标系{M}与动坐标系{T}和{D}的位置关系建立坐标系之间的旋转矩阵R；
(4)利用旋转矩阵R将拇指近指节的空间运动转化为水平面和铅锤平面内的转动以及绕拇指近指节的旋转运动；
(5)拇指掌指关节(MCP)与指间关节(IP)关节转动由向量乘法得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111008491.0A CN113758506B (zh) | 2021-08-31 | 2021-08-31 | 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111008491.0A CN113758506B (zh) | 2021-08-31 | 2021-08-31 | 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113758506A true CN113758506A (zh) | 2021-12-07 |
| CN113758506B CN113758506B (zh) | 2023-09-12 |
Family
ID=78791985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111008491.0A Active CN113758506B (zh) | 2021-08-31 | 2021-08-31 | 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113758506B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115240517A (zh) * | 2022-07-20 | 2022-10-25 | 常州国光数据通信有限公司 | 一种手键训练装置及辅助训练方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235641A (zh) * | 2013-03-17 | 2013-08-07 | 浙江大学 | 一种6维度感官交互的虚拟键盘乐器系统及其实现方法 |
| US20140267029A1 (en) * | 2013-03-15 | 2014-09-18 | Alok Govil | Method and system of enabling interaction between a user and an electronic device |
| KR20150032028A (ko) * | 2013-09-16 | 2015-03-25 | 유재천 | 3d 공간-터치 스크린 장치 및 이를 이용한 방법 |
| JP2017181850A (ja) * | 2016-03-31 | 2017-10-05 | 日本テレビ放送網株式会社 | 演奏装置、運指のモーションキャプチャ方法及び演奏支援システム。 |
| CN108492674A (zh) * | 2018-06-25 | 2018-09-04 | 郑州智谷工业技术有限公司 | 一种钢琴练习手型辅助矫正装置 |
| CN109350923A (zh) * | 2018-10-25 | 2019-02-19 | 北京机械设备研究所 | 一种基于vr及多体位传感器的上肢康复训练系统 |
| CN110394784A (zh) * | 2019-07-18 | 2019-11-01 | 天津大学 | 一种应用于钢琴教学的机械手欠驱动结构及设计方法 |
| CN112734946A (zh) * | 2021-03-31 | 2021-04-30 | 南京航空航天大学 | 一种声乐表演教学方法及系统 |
-
2021
- 2021-08-31 CN CN202111008491.0A patent/CN113758506B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140267029A1 (en) * | 2013-03-15 | 2014-09-18 | Alok Govil | Method and system of enabling interaction between a user and an electronic device |
| CN103235641A (zh) * | 2013-03-17 | 2013-08-07 | 浙江大学 | 一种6维度感官交互的虚拟键盘乐器系统及其实现方法 |
| KR20150032028A (ko) * | 2013-09-16 | 2015-03-25 | 유재천 | 3d 공간-터치 스크린 장치 및 이를 이용한 방법 |
| JP2017181850A (ja) * | 2016-03-31 | 2017-10-05 | 日本テレビ放送網株式会社 | 演奏装置、運指のモーションキャプチャ方法及び演奏支援システム。 |
| CN108492674A (zh) * | 2018-06-25 | 2018-09-04 | 郑州智谷工业技术有限公司 | 一种钢琴练习手型辅助矫正装置 |
| CN109350923A (zh) * | 2018-10-25 | 2019-02-19 | 北京机械设备研究所 | 一种基于vr及多体位传感器的上肢康复训练系统 |
| CN110394784A (zh) * | 2019-07-18 | 2019-11-01 | 天津大学 | 一种应用于钢琴教学的机械手欠驱动结构及设计方法 |
| CN112734946A (zh) * | 2021-03-31 | 2021-04-30 | 南京航空航天大学 | 一种声乐表演教学方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 李泽: "基于Leap motion 的钢琴弹奏手指运动曲线的测量与分析", 《电子测量与仪器学报》, pages 58 - 65 * |
| 陈番兴: "拇指弹琴触键动作测量与分析", 《电子测量与仪器学报》, pages 1 - 8 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115240517A (zh) * | 2022-07-20 | 2022-10-25 | 常州国光数据通信有限公司 | 一种手键训练装置及辅助训练方法 |
| CN115240517B (zh) * | 2022-07-20 | 2023-09-19 | 常州国光数据通信有限公司 | 一种手键训练装置及辅助训练方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113758506B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fahn et al. | Development of a data glove with reducing sensors based on magnetic induction | |
| CN105832343B (zh) | 多维视觉手功能康复定量评估系统和评估方法 | |
| CN201431466Y (zh) | 人体运动捕获三维再现系统 | |
| CN106371611A (zh) | 一种钢琴弹奏教学辅助装置 | |
| CN101579238A (zh) | 人体运动捕获三维再现系统及其方法 | |
| CN108109440A (zh) | 一种多人舞蹈教学互动投影方法及装置 | |
| CN113758506B (zh) | 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法 | |
| CN104424650A (zh) | 一种光学式人体运动捕捉中手臂信息补偿方法 | |
| CN203025989U (zh) | 一种基于动作识别的乐器模拟训练与评测系统 | |
| TW201121525A (en) | Training system and upper limb exercise function estimation for hemiplegic stroke patient. | |
| CN108538359A (zh) | 基于虚拟现实技术的腕关节运动能力评估训练系统 | |
| Zhao et al. | Quantitative evaluation of gymnastics based on multiple MEMS sensors | |
| Ferrario et al. | Three-dimensional analysis of hand and finger movements during piano playing | |
| CN112785721A (zh) | 基于LeapMotion手势识别的VR电工电子实验系统设计方法 | |
| CN110135303B (zh) | 一种舞蹈类非遗传承与交互学习的方法 | |
| CN109758154A (zh) | 一种运动状态确定方法、装置、设备及存储介质 | |
| Qi | Volleyball action extraction and dynamic recognition based on gait tactile sensor | |
| Wang | Basketball sports posture recognition based on neural computing and visual sensor | |
| CN108013880A (zh) | 一种人体肘关节前屈后伸绕瞬时动心运动的瞬时动心测量方法 | |
| CN102262822A (zh) | 基于触控面板的书法练习方法、书法练习装置及触控笔 | |
| CN116386136A (zh) | 基于人体骨骼关键点的动作评分方法、设备及介质 | |
| CN109102572A (zh) | 变电仿真vr系统中虚拟手骨骼比例推定方法 | |
| CN116048262A (zh) | 一种鲁棒于电极偏移的肌电手环手势识别方法 | |
| Ruiz-Malagón et al. | Validity and reliability of NOTCH® inertial sensors for measuring elbow joint angle during tennis forehand at different sampling frequencies | |
| CN114241602A (zh) | 一种基于深度学习的多目转动惯量测量和计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |