CN112998654B - 可分离视觉监督的伸手抓取运动学协调性测试分析系统 - Google Patents
可分离视觉监督的伸手抓取运动学协调性测试分析系统 Download PDFInfo
- Publication number
- CN112998654B CN112998654B CN202110200847.4A CN202110200847A CN112998654B CN 112998654 B CN112998654 B CN 112998654B CN 202110200847 A CN202110200847 A CN 202110200847A CN 112998654 B CN112998654 B CN 112998654B
- Authority
- CN
- China
- Prior art keywords
- motion
- hand
- mirror
- kinematics
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 38
- 238000004458 analytical method Methods 0.000 title claims description 36
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000008447 perception Effects 0.000 claims abstract description 6
- 210000003811 finger Anatomy 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 35
- 210000003813 thumb Anatomy 0.000 claims description 32
- 239000003550 marker Substances 0.000 claims description 27
- 210000001503 joint Anatomy 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000013178 mathematical model Methods 0.000 claims description 14
- 210000000282 nail Anatomy 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000036461 convulsion Effects 0.000 claims description 4
- 210000000811 metacarpophalangeal joint Anatomy 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 210000001142 back Anatomy 0.000 claims description 2
- 210000004905 finger nail Anatomy 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 2
- 210000000236 metacarpal bone Anatomy 0.000 claims 1
- 210000000623 ulna Anatomy 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 6
- 230000002232 neuromuscular Effects 0.000 abstract description 6
- 238000011156 evaluation Methods 0.000 abstract description 4
- 230000007659 motor function Effects 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 230000003902 lesion Effects 0.000 abstract description 3
- 210000000653 nervous system Anatomy 0.000 abstract description 3
- 230000001537 neural effect Effects 0.000 abstract description 3
- 238000011158 quantitative evaluation Methods 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 8
- 101150037263 PIP2 gene Proteins 0.000 description 5
- 101100262439 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) UBA2 gene Proteins 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 102100034871 C-C motif chemokine 8 Human genes 0.000 description 4
- 102100037922 Disco-interacting protein 2 homolog A Human genes 0.000 description 4
- 101000805876 Homo sapiens Disco-interacting protein 2 homolog A Proteins 0.000 description 4
- 101000955093 Homo sapiens WD repeat-containing protein 3 Proteins 0.000 description 4
- 101710091437 Major capsid protein 2 Proteins 0.000 description 4
- AEUKDPKXTPNBNY-XEYRWQBLSA-N mcp 2 Chemical compound C([C@@H](C(=O)N[C@@H](CS)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H]([C@@H](C)CC)C(=O)N[C@@H](CCCNC(N)=N)C(=O)NCC(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H]([C@@H](C)CC)C(=O)N[C@@H](CC=1NC=NC=1)C(=O)N1[C@@H](CCC1)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CS)C(=O)N[C@@H](CS)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCCNC(N)=N)C(O)=O)NC(=O)CNC(=O)[C@H](C)NC(=O)[C@H](CCCNC(N)=N)NC(=O)[C@H](CCCNC(N)=N)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](CC(C)C)NC(=O)[C@H]1N(CCC1)C(=O)[C@H](CC(C)C)NC(=O)[C@H](CS)NC(=O)[C@H](CC(C)C)NC(=O)[C@H](C)NC(=O)[C@H](CCCNC(N)=N)NC(=O)[C@H](CCCNC(N)=N)NC(=O)[C@H](CS)NC(=O)[C@H](C)NC(=O)[C@H](CS)NC(=O)[C@@H](NC(=O)[C@@H](N)C(C)C)C(C)C)C1=CC=CC=C1 AEUKDPKXTPNBNY-XEYRWQBLSA-N 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000003169 central nervous system Anatomy 0.000 description 3
- 210000005224 forefinger Anatomy 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 102100021943 C-C motif chemokine 2 Human genes 0.000 description 2
- 101710091439 Major capsid protein 1 Proteins 0.000 description 2
- 206010061296 Motor dysfunction Diseases 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000009916 joint effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 241000905957 Channa melasoma Species 0.000 description 1
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004973 motor coordination Effects 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
- A61B5/4023—Evaluating sense of balance
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Neurosurgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Neurology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本公开提供了一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,包括镜面系统、三维反光标记点系统、运动捕捉系统和分析系统,当手臂在镜面遮光一侧进行伸手抓取运动时,受试者的视线可在镜面折射作用下观察到一个虚拟目标物体,但受镜面遮挡无法观察到抓握手臂和手指的实时位姿。利用该镜面系统实现了对伸手抓握过程中视觉监督的剥离。同时,通过准确记录手指的运动学参数信息评估受试者的感知运动功能。对神经生理学测试、神经系统发育测评、手功能测试、多种神经肌肉病变的感知运动功能定量评估等都有重要的应用价值。
Description
技术领域
本公开属于协调性测试分析技术领域,具体涉及一种可分离视觉监督的伸手抓取运动学协调性测试分析系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
伸手抓取物体是日常生活中最常见也是最重要的行为之一。这一看似简单的动作是多种复杂感知运动控制机制联合作用的结果。起动作控制和信息处理核心作用的是中枢神经系统决策,因此通过对伸手抓取运动学协调性的考察可以窥见中枢神经系统的功能状态。
在伸手抓取的运动控制中,视觉对目标物体位置的观察与判断,以及对手的移动轨迹和姿态的调整起到了关键作用。中枢神经系统中的视觉皮层与感知运动区、主运动皮层区等都存在广泛密切的结构关联和功能通路,并形成了视觉-运动机制(VisuomotorMechanism),能有效协调手的复杂运动,使上肢及手的精细运动与所处的内外环境、任务目标等相适应。当对伸手抓取过程中的视觉信息进行干扰时,抓取手指间距会异常增大,其最大间距和目标外形之间的相关性消失,运动过程中指间距离图谱上出现众多个峰值,而不再像正常视觉条件下出现的单一峰值的典型图谱。这些现象说明,减弱伸手抓取过程中的视觉信息将对手的运动学协调性产生重要影响。这种影响在多种中枢性或外周性神经肌肉病变条件下会变得尤为突出,因为神经肌肉病变常伴随感知运动功能损伤,因此在伸手抓取过程中其手部运动控制更加依赖于视觉信息的补偿,而目前的测试系统无法将伸手抓取过程中的视觉信息剥离,进而无法使神经肌肉病变引发的功能障碍的特征凸显。
发明内容
本公开为了解决上述问题,提出了一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,本公开可以将伸手抓取过程中的视觉信息剥离,则可将神经肌肉病变引发的功能障碍的特征凸显,为诊断评估多种神经肌肉疾病提供客观准确的依据。
根据一些实施例,本公开采用如下技术方案:
一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,包括:镜面系统、三维反光标记点系统、运动捕捉系统和分析系统,其中:
所述镜面系统,包括平台和垂直设置于平台上的镜子,所述镜子上设置有多个标记点,且镜子的反光面和遮光面形成对称结构,镜子的反光面一侧用于设置实物;
所述三维反光标记点系统,包括设置于拇指、食指指尖的标记簇,粘贴在拇指、食指皮肤表面的标记点,手背标记簇以及手腕单一标记点,用于表征拇指和食指的运动轨迹;
所述运动捕捉系统,包括多个环绕平台设置的摄像机,被配置为获取真实目标位置、镜面位置、标记点在某个时刻的位置信息以及受试者抓取虚拟目标过程中手部标记簇的运动轨迹;
所述分析系统,被配置为对采集的手部标记簇的运动轨迹中各个点进行手部坐标系与镜面坐标系的转换,基于转换后的运动轨迹,建立拇指和食指抓取期间的三维数字运动学的数学模型;
提取转换后的运动轨迹中的初始位置和终止位置,利用最小波动轨迹模型,确定从初始位置和终止位置的最优运动轨迹,通过对比所述数学模型和最优运动轨迹,评估抓取运动学协调性。
作为可选择的实施方式,所述多个手部标记集,包括用于标记拇指和食指远端指骨的指甲标记簇,用于标记食指和拇指关节处标记点,用于标记沿第二掌骨的手背标记簇和用于标记尺骨茎突的手腕单一标记点。
作为进一步的限定,所述指甲标记簇包括基座,基座上通过连接件连接有三个非共线标记组成的簇,基座能够通过固定件固定在指甲上,其中,标记簇不是共线的,用于定义固定在其各自段上的局部三维坐标系,其中x、y和z轴从背部角度分别指向右端,上端和近端。
作为可选择的实施方式,食指和拇指关节处的单个标记点,用以确定以下关节位置:拇指的指间关节、掌指关节和食指的远端指间关节、近端指间关节和掌指关节。
作为可选择的实施方式,所述运动捕捉系统的捕捉频率一定。
作为可选择的实施方式,所述分析系统包括关节旋转中心位置识别模块,被配置为从固定在指甲上的标记簇指定一个参考坐标系,并观察相邻段上标记点的相对运动,其中参考坐标系的转换矩阵由固定在镜面坐标系上选定的坐标原点上的旋转矩阵定义,将转换逆矩阵应用于采集的运动标记数据,进行球面拟合,并计算关节中心的三维坐标系,得到镜面坐标下的关节中心位置。
作为可选择的实施方式,所述分析系统包括坐标系转换模块,被配置为定义手部坐标系和镜面坐标系,两坐标系的具有相同的原点,分别描述手部坐标系和镜面坐标系下的单位向量,并将手部坐标系的单位向量转换为其在镜面坐标系下的向量,确定两者的转换矩阵。
作为可选择的实施方式,所述分析系统包括数学模型构建模块,被配置为基于手指各关节的自由度、指骨节段长度、关节中心位置和节段坐标系,分别建立拇指和食指抓取期间的三维数字运动学的数学模型。
作为可选择的实施方式,所述分析系统包括运动轨迹分析模块,被配置为设运动以零速度和零加速度开始和结束,基于手部运动的起始位置坐标、终止位置坐标和运动时间,构建手部运动轨迹模型,使用动态优化理论确定产生最佳性能的唯一运动轨迹,对比获取的受试者运动轨迹和唯一运动轨迹,以评估受试者的感知运动能力。
作为进一步的限定,对比获取的受试者运动轨迹和唯一运动轨迹,以评估受试者的感知运动能力的具体过程包括:手在给定时间从初始位置移动到最终位置时,最佳性能的唯一运动轨迹为加加速度幅度的平方的时间积分最小化,将采集到的运动轨迹和唯一运动轨迹进行对比,确定受试者手部抓取动作的响应速度和运动轨迹准确性。
与现有技术相比,本公开的有益效果为:
本公开提供的测试分析系统,当受试者的手臂在镜面遮光一侧进行伸手抓取运动时,受试者的视线可在镜面折射作用下观察到一个虚拟目标物体,但受镜面遮挡无法观察到抓握手臂和手指的实时位姿,实现了对伸手抓握过程中视觉监督的剥离。
本公开通过准确记录手指的运动学参数信息评估受试者的感知运动功能。对神经生理学测试、神经系统发育测评、手功能测试、多种神经肌肉病变的感知运动功能定量评估等都有重要的应用价值。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。
图1是本实施例的测试分析系统结构图;
图2是本实施例的附在每个数字段上的坐标系和每个数字对应的关节中心;
图3(a)是本公开的食指矢状位图、图3(b)是本公开的参数化食指模型图;
图4是感知运动功能障碍患者和健康受试者的点对点运动轨迹对比图;
图5是本实施例测试试验流程图。
具体实施方式:
下面结合附图与实施例对本公开作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本公开提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本公开的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中,术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,只是为了便于叙述本公开各部件或元件结构关系而确定的关系词,并非特指本公开中任一部件或元件,不能理解为对本公开的限制。
本公开中,术语如“固接”、“相连”、“连接”等应做广义理解,表示可以是固定连接,也可以是一体地连接或可拆卸连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员,可以根据具体情况确定上述术语在本公开中的具体含义,不能理解为对本公开的限制。
正如背景技术中所述的,现有的测试系统,无法将伸手抓取过程中的视觉信息剥离开来。本实施例拟提供一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,该系统主要有一个精确标定的镜面系统、一组三维反光标记点系统、运动捕捉系统和分析系统。当手臂在镜面遮光一侧进行伸手抓取运动时,受试者的视线可在镜面折射作用下观察到一个虚拟目标物体,但受镜面遮挡无法观察到抓握手臂和手指的实时位姿。利用该镜面系统实现了对伸手抓握过程中视觉监督的剥离。分析系统通过准确记录手指的运动学参数信息评估受试者的感知运动功能。对神经生理学测试、神经系统发育测评、手功能测试、多种神经肌肉病变的感知运动功能定量评估等都有重要的应用价值。
本测试分析系统的关键点包括以下方面:
首先是镜面测试系统,镜面系统的关键是在镜子的反光面和遮光面形成对称结构,利用镜子的映射原理在镜面内形成虚拟目标,视线聚焦虚拟目标时手臂在遮光面一侧完成伸手抓取运动,此时视线无法观察到手臂,实现了对视线监督的剥离。该镜面系统还将配合光学式运动捕捉系统。多个摄像机环绕镜面系统排列,经过特殊设计的三维反光标记集粘贴于手指关键部位,用来精确识别其运动轨迹。抓取目标点、镜子的定位参考等均由反光标记点组成。当利用该系统进行伸手抓取运动时,手部实时位姿、抓取目标点和镜面位置等信息可以同步采集。
如图1所示,包括桌面、镜子、抓握实物和反光标记集,定制的平台带有中央狭缝,以容纳高分辨率镜子,并保持垂直位置。镜子用于分离视觉监督,以便在无运动手视觉反馈下执行伸手抓取任务。在配置镜子的情况下,抓握实物被放置在镜子的反光侧,受试者能够清楚地注视目标的镜面反射位置,指示受试者将镜面中反射的目标视为虚拟目标,受试者在运动手位姿不可见的情况下对虚拟目标的空间位置进行预判并完成伸手抓取任务。
图中,1为用于产生虚拟目标的真实抓握物体,2为实验台,3为放置镜子的中央狭缝,4为镜子反光面,5为镜子的高度,6为镜子局部标记点(M1,M2,M3(M3在M2的正后方)),7为抓取的虚拟目标,8为食指指甲标记簇,9为食指皮肤标记点,10为腕关节标记点,11为手背标记簇,12为拇指皮肤标记点,13为拇指指甲标记簇。
当然,在其他实施例中,镜子局部标记点的设置位置、个数等都可以随着具体测试环境和要求进行变换。
其次,是建立拇指和食指抓取期间的数学模型。本实施例中,通过利用手部标记集和运动捕捉系统来对拇指和食指数字运动学的进行全面精确测量。其次,通过建立拇指和食指抓取期间的数字运动学解模型,计算拇指和食指抓取过程中手指各节段的三维位置和方向。该数学模型使用较少的标记,本质上减少了被动运动误差的影响。
下面进行详细说明:
每个手指都建立了一个数学模型,手指关节由三个关节组成。假设食指在MCP2、PIP2和DIP2关节处分别有2个、1个和1个自由度,拇指在CMC1、MCP1和IP1关节处分别假定有3个、2个和1个自由度。已知和未知的运动学量被解析为食指模型。附着在手部{MC2}和食指远端指骨{DP2}的坐标系从标记数据中明确已知,并作为估计OMCP2和ODIP2的参考,如第一部分提到的方法一样。近端(LPP2)和中间(LMP2)指骨节段的长度也被预先估计。剩下的未知运动学量是关节中心位置OPIP2和节段坐标系{PP2}和{MP2}。
图2显示附在每个数字段上的坐标系和每个数字对应的关节中心,其中,14为远端指骨关节中心ODIP2,15为中指骨关节中心OPIP2,16为近端指骨OMCP2,17为拇指远端指骨关节中心OIP1,18为拇指近端指骨关节中心OMCP1。
根据刚体运动学和非平移关节性质可知,之前指定的段长LPP2和LMP2是不变的。
其余的系统方程指定了每个关节处的转动自由度,并被视为在公差范围内满足的约束条件,以相邻线段对齐坐标系间有序的(x-y-z)欧拉角来计算关节旋转角度。假设对齐的旋转轴对应于结构的弯曲/伸长(-x,+x)、外展/内收(-y,+y)和轴向旋转(+z视为顺时针)。因此,在O点处的关节自由度约束方程为:
解的参数化形式:将优化解的维数参数化为三个轴向旋转角,提高了解的收敛速度。
s'(θ)=[θoθL1θL2]
这些角度导出原始解向量s,按照惯例,zPP2和zMP2最初属于包含yDP2和a的平面,a是连接OMCP2和ODIP2的向量,一个已知的关于向量a的旋转量θ0明确了OPIP2,θL1和θL2对zPP2和zMP2的后续旋转完全确定了{PP2}和{MP2}。
使用优化工具箱中的约束优化例程fmioncon,使用Levenberg-Marquardt算法求解s'(θ),目标函数将参数化轴向旋转角二次最小化为:
其中i为角度指数,n=3为角度总数,解法和目标函数容差为0.05rad,小于全角范围[0,2π]的1%。约束容差为0.1,即单位向量所在区域[-1,1]的5%。迭代和函数评估的最大允许数量都是1000。这些公差值是人工选择的,以便于绝大多数解点收敛于分配给每个关节的假定自由度数。
在本实施例中,通过上述方法建立拇指和食指抓取期间的数学模型。需要注意的是,在建立数字运动学解模型期间,需要将所有手部三维标记位置数据转换为相对于附在镜面上的“全局”坐标系来表示。
具体的,手部模型的骨架被定义为一组由刚性段连接的关节,本实施例中,将关节的局部转换矩阵乘以“运动矩阵”,即该特定关节的旋转矩阵,代表模型的运动。本实施例中定向运动学处理的问题为计算手部坐标系相对镜面坐标系的相对方位。我们将手部坐标系定义为Oxyz,另外一个全局坐标系定义为OXYZ,两坐标系的具有相同的原点O,手部坐标系的x,y,z轴对应的单位向量分别为镜面坐标系X,Y,Z轴对应的单位向量分别为
该矩阵为方向余弦矩阵,很明显,它是由手部坐标系和镜面坐标系单位向量所有可能组合的角度的余弦组成。
组成矩阵的形式为:
以相同的方式,可以表示出:
最后,可用矩阵形式描述为:
最后,指示受试者配置手部标记集并完成伸手抓取任务,之后,需要对伸手抓取产生的运动轨迹信号进行分析,提取关键参数用于评估受试者感知运动功能。为此,提出了一种最小波动轨迹(Minimum-jerk trajectory)MJT模型,用来评估在平面多关节运动实验中观察到的定性特征和定量细节,并用于分析运动协调性,它是通过定义一个目标函数来数学建模的,使用动态优化理论确定产生最佳性能的唯一运动轨迹,然后与受试者实时运动轨迹进行对比,较小的差距表示良好的运动协调性。
具体的,利用运动捕捉系统实时获取受试者手部运动轨迹,“轨迹”是指手部运动在运动学方面的规划和控制,具体指的是手在空间中的构型,以及手从初始位置移动到最终位置时的移动速度。研究者认为运动控制的简单性是通过在体外空间规划手部轨迹来实现的,为了描述这种行为,提出了一个自发的手部运动组织数学模型,在这里介绍的工作中,我们使用了动态优化理论,动态优化需要定义一个描述运动目标的标准函数,该函数在数学上表示为性能指标的时间积分,取决于系统输入、输出和内部变量,建立了一组描述系统对其输入响应的微分方程。手在给定时间tf从初始位置移动到最终位置时,最小化目标的标准函数是加加速度幅度的平方的时间积分:
C是标准函数,x和y是随时间变化的手位置坐标。将找到x(t)和y(t)的数学表达式使得上述等式中的标准函数最小。
变分法和最优控制理论法被应用于寻找最小波动轨迹模型,将数学预测的轨迹模型与实验运动记录进行比较,分析受试者的运动轨迹相对于MJT模型的差距,以评估受试者的感知运动功能。该轨迹模型受制于由系统微分方程施加的动态约束和在终点或运动期间施加的代数约束。
无约束的点对点运动:已知根据上述等式中计算的x(t)和y(t)在时间上均为五阶多项式的最小加加速度轨迹,标准函数决定了运动轨迹的形式。一般来说,对于任何函数x(t),它在0≤t≤tf时间段内是可微分的,对任何性能表现指标在一区间内进行积分,可得到无约束运动函数:
当x(t)是欧拉-泊松方程的解时,可假设一个极值:
我们可以根据两个位置分量将这些项分离,得到:
假设运动以零速度和零加速度开始和结束,最终获得手部运动轨迹即MJT模型的表达式如下:
(xs,ys)表示起始位置坐标,(xf,yf)表示终止位置坐标,tf表示运动时间。
感知运动功能障碍患者和健康受试者的点对点运动轨迹如图4所示。19为原始运动学数据,20为患者和健康受试者的MJT模型,21为运动起始点,22为运动终止位置。
通过对比,可以分析处受试者的运动协调性。
以上,本实施例提出了一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,首先,通过利用手部标记集和运动捕捉系统,以确定拇指和食指运动学。在本实施例中,运动捕捉系统选用已有系统即可。
在本实施例中,使用较少的标记和全面的分析方法来实现对皮肤表面数字运动学的精确测量,在这项实施例中提出的方法包括坐标系校准以及估计三维数字运动学的解模型。其次,应用MJT模型分析手指运动协调性。
在具体测试时,可以采用如图5所示的流程。首先是测试前准备工作,包括系统标定,粘贴标记点和采集受试者基本信息,待受试者熟悉实验步骤后,开始正式实验。对于每一次“抓取”试验,实验者要求受试者在试验开始之前明确实验的具体操作流程和注意事项,受试者坐在实验要求的指定位置,并将右手的尺骨侧放在受试者指定的起始区域(镜面右侧)PC机给受试者发出“实验开始”指令,受试者用拇指和食指触及虚拟目标,并用双指轻轻捏住镜面呈现的虚拟目标,以自然的速度完成实验。由于运动手的视觉反馈被镜面剥离,因此受试者依靠触觉来找到起始区域,该区域具有明显不同的纹理,三个不相关的手指(中指,无名指和小指)呈弯曲状。经多次实验训练后,受试者总共进行10次(或其他次数)连续的可分离视觉监督下伸手抓取运动实验,每次试验之间间隔几秒钟的休息时间。
当然,如果有其他方案设置其他类型的运动捕捉系统获得相同抓握实物的实时运动学数据,或简单修改抓握实物的几何构造,或仅改变镜面操作系统的放置位置,应当视为与本公开为同以发明。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (9)
1.一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,其特征是:包括:镜面系统、三维反光标记点系统、运动捕捉系统和分析系统,其中:
所述镜面系统,包括平台和垂直设置于平台上的镜子,所述镜子上设置有多个标记点,且镜子的反光面和遮光面形成对称结构,镜子的反光面一侧用于设置实物;
所述三维反光标记点系统,包括设置于拇指、食指指尖的标记簇,粘贴在拇指、食指皮肤表面的标记点,手背标记簇以及手腕单一标记点,用于表征拇指和食指的运动轨迹;所述拇指、食指皮肤表面的标记点包括食指和拇指关节处标记点;
所述运动捕捉系统,包括多个环绕平台设置的摄像机,被配置为获取真实目标位置、镜面位置、标记点在某个时刻的位置信息以及受试者抓取虚拟目标过程中手部标记簇的运动轨迹;
所述分析系统,被配置为分析系统,被配置为对采集的手部标记簇的运动轨迹中各个点进行手部坐标系与镜面坐标系的转换,基于转换后的运动轨迹,建立拇指和食指抓取期间的三维数字运动学的数学模型;所述分析系统包括数学模型构建模块,被配置为基于手指各关节的自由度、指骨节段长度、关节中心位置和节段坐标系,分别建立拇指和食指抓取期间的三维数字运动学的数学模型;
提取转换后的运动轨迹中的初始位置和终止位置,利用最小波动轨迹模型,确定从初始位置和终止位置的最优运动轨迹,通过对比所述数学模型和最优运动轨迹,评估抓取运动学协调性。
2.如权利要求1所述的一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,其特征是:多个手部标记簇,包括用于标记拇指和食指远端指骨的指甲标记簇,用于标记食指和拇指关节处标记点,用于标记沿第二掌骨的手背标记簇和用于标记尺骨茎突的手腕单一标记点。
3.如权利要求2所述的一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,其特征是:所述指甲标记簇包括基座,基座上通过连接件连接有三个非共线标记组成的簇,基座能够通过固定件固定在指甲上,其中,标记簇不是共线的,用于定义固定在其各自段上的局部三维坐标系,其中x、y和z轴从背部角度分别指向右端,上端和近端。
4.如权利要求1所述的一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,其特征是:食指和拇指关节处的单个标记点,用以确定以下关节位置:拇指的指间关节、掌指关节和食指的远端指间关节、近端指间关节和掌指关节。
5.如权利要求1所述的一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,其特征是:所述运动捕捉系统的捕捉频率一定。
6.如权利要求1所述的一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,其特征是:所述分析系统包括关节旋转中心位置识别模块,被配置为从固定在指甲上的标记簇指定一个参考坐标系,并观察相邻段上标记点的相对运动,其中参考坐标系的转换矩阵由固定在镜面坐标系上选定的坐标原点上的旋转矩阵定义,将转换逆矩阵应用于采集的运动标记数据,进行球面拟合,并计算关节中心的三维坐标系,得到镜面坐标下的关节中心位置。
7.如权利要求1所述的一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,其特征是:所述分析系统包括坐标系转换模块,被配置为定义手部坐标系和镜面坐标系,两坐标系的具有相同的原点,分别描述手部坐标系和镜面坐标系下的单位向量,并将手部坐标系的单位向量转换为其在镜面坐标系下的向量,确定两者的转换矩阵。
8.如权利要求1所述的一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,其特征是:所述分析系统包括运动轨迹分析模块,被配置为设运动以零速度和零加速度开始和结束,基于手部运动的起始位置坐标、终止位置坐标和运动时间,构建手部运动轨迹模型,使用动态优化理论确定产生最优的唯一运动轨迹,对比获取的受试者运动轨迹和唯一运动轨迹,以评估受试者的感知运动能力。
9.如权利要求8所述的一种可分离视觉监督的伸手抓取运动学协调性测试分析系统,其特征是:对比获取的受试者运动轨迹和唯一运动轨迹,以评估受试者的感知运动能力的具体过程包括:手在给定时间从初始位置移动到最终位置时,最佳性能的唯一运动轨迹为加加速度幅度的平方的时间积分最小化,将采集到的运动轨迹和唯一运动轨迹进行对比,确定受试者手部抓取动作的响应速度和运动轨迹准确性。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110200847.4A CN112998654B (zh) | 2021-02-23 | 2021-02-23 | 可分离视觉监督的伸手抓取运动学协调性测试分析系统 |
AU2022201230A AU2022201230B2 (en) | 2021-02-23 | 2022-02-23 | Method and system for testing and analyzing reach-to-grasp kinematic coordination with and without visual supervision |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110200847.4A CN112998654B (zh) | 2021-02-23 | 2021-02-23 | 可分离视觉监督的伸手抓取运动学协调性测试分析系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112998654A CN112998654A (zh) | 2021-06-22 |
CN112998654B true CN112998654B (zh) | 2022-08-19 |
Family
ID=76407297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110200847.4A Active CN112998654B (zh) | 2021-02-23 | 2021-02-23 | 可分离视觉监督的伸手抓取运动学协调性测试分析系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112998654B (zh) |
AU (1) | AU2022201230B2 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105832343A (zh) * | 2016-05-22 | 2016-08-10 | 上海大学 | 多维视觉手功能康复定量评估系统和评估方法 |
CN106422203A (zh) * | 2016-11-23 | 2017-02-22 | 佛山科学技术学院 | 一种基于镜像疗法的光电多模态反馈的上肢康复训练方法 |
CN110211691A (zh) * | 2019-05-27 | 2019-09-06 | 山东大学 | 一种用于手指动力学协调性评估的抓握测试分析仪及方法 |
CN112089427A (zh) * | 2020-08-31 | 2020-12-18 | 南京麦澜德医疗科技有限公司 | 一种手指关节康复训练评估方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8834169B2 (en) * | 2005-08-31 | 2014-09-16 | The Regents Of The University Of California | Method and apparatus for automating arm and grasping movement training for rehabilitation of patients with motor impairment |
CN107378944B (zh) * | 2017-06-20 | 2020-12-25 | 东南大学 | 一种基于主成分分析法的多维表面肌电信号假手控制方法 |
-
2021
- 2021-02-23 CN CN202110200847.4A patent/CN112998654B/zh active Active
-
2022
- 2022-02-23 AU AU2022201230A patent/AU2022201230B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105832343A (zh) * | 2016-05-22 | 2016-08-10 | 上海大学 | 多维视觉手功能康复定量评估系统和评估方法 |
CN106422203A (zh) * | 2016-11-23 | 2017-02-22 | 佛山科学技术学院 | 一种基于镜像疗法的光电多模态反馈的上肢康复训练方法 |
CN110211691A (zh) * | 2019-05-27 | 2019-09-06 | 山东大学 | 一种用于手指动力学协调性评估的抓握测试分析仪及方法 |
CN112089427A (zh) * | 2020-08-31 | 2020-12-18 | 南京麦澜德医疗科技有限公司 | 一种手指关节康复训练评估方法及系统 |
Non-Patent Citations (4)
Title |
---|
"镜像疗法"作为一种康复治疗技术的新进展;丁力 等;《中国康复医学杂志》;20150515;全文 * |
Hand-oriented tasking assessment of fine movement control deficits in Alzheimer’s Disease;Jianhong Zhang 等;《IEEE》;20201019;全文 * |
Sensorimotor and Posterior Brain Activations During the Observation of Illusory Embodied Fake Hand Movement;Satoshi Shibuya 等;《Frontiers in Human Neuroscience》;20191015;全文 * |
抓握操作的多模式感知运动控制及在阿尔兹海默病早期诊断中的应用;林磊同;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20190915;正文第1.3-5.5部分 * |
Also Published As
Publication number | Publication date |
---|---|
CN112998654A (zh) | 2021-06-22 |
AU2022201230A1 (en) | 2022-09-08 |
AU2022201230B2 (en) | 2023-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Robertson et al. | Research methods in biomechanics | |
MEng | Development of finger-motion capturing device based on optical linear encoder | |
Braido et al. | Quantitative analysis of finger motion coordination in hand manipulative and gestic acts | |
CN108268129B (zh) | 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套 | |
Cerveri et al. | Finger kinematic modeling and real-time hand motion estimation | |
Fang et al. | A novel data glove using inertial and magnetic sensors for motion capture and robotic arm-hand teleoperation | |
Gabiccini et al. | A data-driven kinematic model of the human hand with soft-tissue artifact compensation mechanism for grasp synergy analysis | |
Chan et al. | Computational model of a primate arm: from hand position to joint angles, joint torques and muscle forces | |
CN207087856U (zh) | 一种基于触觉反馈的外骨骼 | |
CA2806642A1 (en) | Modelling of hand and arm position and orientation | |
JP2014054483A (ja) | 手の動作計測装置 | |
CN108687744A (zh) | 一种基于触觉反馈的外骨骼 | |
Tripathy et al. | Constrained Kalman filter for improving Kinect based measurements | |
CN113341564A (zh) | 一种计算机输入装置 | |
Liu et al. | A new IMMU-based data glove for hand motion capture with optimized sensor layout | |
Fernandes et al. | Grip pattern and finger coordination differences between pianists and non-pianists | |
Wolf et al. | Marker-based method for analyzing the three-dimensional upper body kinematics of violinists and violists: development and clinical feasibility | |
CN107256390B (zh) | 基于手各个部位在三维空间位置变化的手功能评价装置及方法 | |
JP2002000584A (ja) | 関節可動域検査訓練システム | |
Fang et al. | A real-time identification and tracking method for the musculoskeletal model of human arm | |
Li et al. | Design and validation of a multi-finger sensing device based on optical linear encoder | |
Rezzoug et al. | Prediction of fingers posture using artificial neural networks | |
CN112998654B (zh) | 可分离视觉监督的伸手抓取运动学协调性测试分析系统 | |
CN110675936A (zh) | 一种基于OpenPose和双目视觉的健体代偿评估方法和系统 | |
CN113657243B (zh) | 一种针对非接触式仿生学遥控手势性能影响的测试方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |