CN103777754B - 基于双目红外视觉的手部运动跟踪装置和方法 - Google Patents

基于双目红外视觉的手部运动跟踪装置和方法 Download PDF

Info

Publication number
CN103777754B
CN103777754B CN201410012107.8A CN201410012107A CN103777754B CN 103777754 B CN103777754 B CN 103777754B CN 201410012107 A CN201410012107 A CN 201410012107A CN 103777754 B CN103777754 B CN 103777754B
Authority
CN
China
Prior art keywords
arat
binocular
reference material
user
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410012107.8A
Other languages
English (en)
Other versions
CN103777754A (zh
Inventor
赵翠莲
林燕姿
范志坚
王洪
杨志高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201410012107.8A priority Critical patent/CN103777754B/zh
Publication of CN103777754A publication Critical patent/CN103777754A/zh
Application granted granted Critical
Publication of CN103777754B publication Critical patent/CN103777754B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及一种基于双目红外视觉的手部运动跟踪装置和方法,装置包括双目红外视觉模块,玻璃面板,计算机,ARAT标准物和用户操作组合台;所述玻璃面板通过固定块固定在所述用户操作组合台上,所述双目红外视觉模块置于玻璃面板的下方,通过视频USB传输线与所述计算机相连,所述双目红外视觉模块照射的玻璃面板上有棋盘格标识,棋盘格标识上方的空间为用户运动空间,所述ARAT标准物放置在玻璃面板上棋盘格标识的后方。方法包括系统初始化,ARAT评估跟踪,评估数据分析。本发明使用双目红外视觉模块实现对于用户手部运动的信息采集,用户不需要额外佩戴任何设备,具有抗可见光干扰,识别稳定,运算速度高等优点。

Description

基于双目红外视觉的手部运动跟踪装置和方法
技术领域
本发明涉及临床康复与信息处理技术,尤其涉及一种基于双目红外视觉的手部运动跟踪装置和方法。
背景技术
人类的手部主要负责运动功能中精细的活动和工作,但脑卒中患者多数伴有偏袒症状,其偏瘫侧手部功能的恢复效果普遍不理想,约70%的患者存在不同程度的运动功能障碍。对于脑卒中和脑外伤患者,生活质量的提高与其日常生活的能力密切相关,其中手部运动功能的恢复是最重要的,也是目前康复训练中急需解决的问题。传统的临床治疗方法为治疗师对患者进行一对一的康复训练,由于治疗师的缺乏以及居家重复性训练急需专业人员的指导与评估并调整训练治疗方案,因此信息化技术辅助康复治疗应运而生。
ARAT(Action Research Arm Test,上肢动作研究测试理论)作为最常用的上肢评估测试之一,主要针对上肢远端即手部的动作功能,是荷兰临床理疗师Lyle于1981年基于Caroll上肢功能测试发展而来的。ARAT与其它运动障碍评估方法相比,更关注患者全方位日常生活中的手功能,对抓握对象的类型与尺寸也进行了分类和量化,但其评价方法尚未数字化,仍然需要理疗师针对每个患者的评估过程进行人工的评价和打分。
手部运动的系统中大多采用红外图像跟踪的方法,此方法具有不受电磁干扰、不受可见光变化影响、跟踪稳定可靠等优点。如加拿大的PTI公司(Phoenix Technologies Inc.)的VisualEyez 运动捕捉系统,英国OMG公司(Oxford Metrics Group)的Vicon系统等皆为高精度室内大范围光学动作捕捉系统,但都需测试对象事先佩戴有相应的标志点,较为费时且系统构架庞大、价格较为昂贵。此外,也有研究者通过识别特别斑纹的手套来跟踪手部的运动(201010507844.7)。尽管这些装置系统都可以用来跟踪手部运动,但对于脑卒中偏瘫患者的康复训练来说,这些装置架构复杂且对患者运动存在一定的影响,因此不适合偏瘫患者训练使用时的要求。
发明内容
针对现有技术存在的缺陷,本发明的目的是提供一种基于双目红外视觉的手部运动跟踪装置和方法。针对临床居家手功能康复训练缺乏可量化的科学仪器,该装置可以用于手功能康复的数字化评估与训练,且不影响患者本身的抓握动作。
为达到上述目的,本发明采用下述的技术方案:
一种基于双目红外视觉的手部运动跟踪装置,包括双目红外视觉模块,玻璃面板,计算机,ARAT标准物和用户操作组合台;所述玻璃面板通过固定块固定在所述用户操作组合台上,所述双目红外视觉模块置于玻璃面板的下方,通过视频USB传输线与所述计算机相连,所述双目红外视觉模块照射的玻璃面板上有棋盘格标识,棋盘格标识上方的空间为用户运动空间,所述ARAT标准物放置在玻璃面板上棋盘格标识的后方。
进一步地,所述双目红外视觉模块包括第一CCD黑白图像传感器、第二CCD黑白图像传感器,第一红外LED、第二红外LED、第三红外LED,电控板;所述两个CCD黑白图像传感器和三组红外LED间隔排列集成在电控板上,并通过电控板进行运行控制,所述两个CCD黑白图像传感器把采集到的红外光信号转换成电信号并送入所述电控板进行图像缓存处理,最后通过视频USB传输线上传图像至所述计算机。
进一步地,所述ARAT标准物采用透红黑色外亚克力板制成。
一种基于双目红外视觉的手部运动跟踪方法,包括如下步骤:
1)系统初始化:系统启动后,双目红外视觉模块自动启动并进行初始化设置;根据所选定抓握ARAT标准物的模块号,从系统的ARAT标准物数据库中得到相应的标准物参数,包括该ARAT标准物的内切圆和外接圆尺寸,并将ARAT标准物放置在特定的位置,并对系统的抓握目标物参数进行初始化;
2)ARAT评估跟踪:在用户的ARAT评估训练过程中,使用双目红外视觉模块实时跟踪在玻璃面板上的用户手部运动,并将采集到的双目黑白图像上传至计算机;计算机通过对双目红外视觉模块采集到图像进行处理,利用双目视觉的视差原理对双目图像进行匹配计算,获取用户手部掌心的三维坐标和各个手指指尖的三维坐标;根据所选择的ARAT标准物的尺寸参数,用户的手部运动动作分成抓握和捏握两种状态,并选择相应的手部抓握动作算法:在抓握较大体积的ARAT标准物时,手掌和五指整体张开,其手部位位姿的核心参数为手掌球的球心三维位置和大小,计算得到手掌球的参数并与ARAT标准物的内切圆以及外接圆参数相比较;在捏握较小体积的ARAT标准物时,其手部位位姿的核心参数为拇指与特定手指指尖的距离,计算得到指尖的参数并与ARAT标准物的内切圆以及外接圆参数相比较;
3)评估数据分析:在本轮ARAT抓握训练结束后,若用户成功抓握ARAT标准物,判定其是否移动到达指定位置,若是,则本轮ARAT抓握项评分达到满分5分,并记录用户的本轮操作用时;若否,则根据ARAT标准物移动的距离从远到近依次给予本轮ARAT抓握项评分4到1分,并记录用户的本轮操作用时和移动距离;若用户在指定时间内仍未完成抓握,则本轮ARAT抓握项评分为0分,即不能完成该动作。
与现有技术相比,本发明具有如下突出的实质性特点和显著的优点:
本发明使用双目红外视觉模块实现对于用户手部运动的信息采集,用户不需要额外佩戴任何设备。本发明采用红外LED和CCD黑白图像传感器相配合采集手部运动图像,具有抗可见光干扰,识别稳定,运算速度高等优点;ARAT标准物的尺寸和形状均有规范的标准,当需要添加和更改测试物的尺寸和形状时,只需要维护更新ARAT标准物的库中数据即可,操作十分便捷。为了实现用户在抓握ARAT标准物时的准确高效跟踪,本发明还提出并设计了适合用户抓握不同尺寸的ARAT标准物时应用的不同手部位姿算法,实现手部抓握状态的准确跟踪。
附图说明
图1是本发明装置结构的主视图。
图2是本发明装置结构的俯视图。
图3是双目红外视觉模块的主视图。
图4是双目红外视觉模块的俯视图。
图5是ARAT标准物的示意图。
图6是本发明方法的流程图。
具体实施方式
以下结合附图对本发明实施例作进一步说明:
如图1和图2所示,一种基于双目红外视觉的手部运动跟踪装置,包括双目红外视觉模块1,玻璃面板3,计算机4,ARAT标准物5和用户操作组合台6;所述玻璃面板3通过固定块15固定在所述用户操作组合台6上,所述双目红外视觉模块1置于玻璃面板3的下方,通过视频USB传输线2与所述计算机4相连,所述双目红外视觉模块1照射的玻璃面板3上有棋盘格标识8,棋盘格标识8上方的空间为用户运动空间7,所述ARAT标准物5放置在玻璃面板3上棋盘格标识8的后方。
双目红外视觉模块1作为视觉输入设备,是实现手部运动跟踪的硬件基础,双目红外视觉模块1安装在玻璃面板3的下方,距离玻璃面板3的安装位置根据视觉捕捉范围确定,向上拍摄的范围覆盖整个用户运动空间7。双目红外视觉模块1透过厚度小于5mm的玻璃面板3捕捉到的用户在此平面上方的手部运动图像信息,并通过视频USB传输线2上传实时图像到计算机4,最后通过计算机4将得到的图像信息计算处理,实现用户抓握ARAT标准物5时手部运动状态的识别和跟踪。用户手部的活动空间限制在用户操作组合台6的玻璃面板3上方的用户运动空间7范围内,并根据玻璃面板3上的棋盘格标识8用户可以形象地观察到手部抓握的运动距离。
如图3和图4所示,所述双目红外视觉模块1包括第一CCD黑白图像传感器9、第二CCD黑白图像传感器10,第一红外LED11、第二红外LED12、第三红外LED13,电控板14;所述两个CCD黑白图像传感器9、10和三组红外LED11、12、13间隔排列集成在电控板14上,并通过电控板14进行运行控制,所述两个CCD黑白图像传感器9、10把采集到的红外光信号转换成电信号并送入所述电控板14进行图像缓存处理,最后通过视频USB传输线2上传图像至所述计算机4。
两个CCD黑白图像传感器9、10的位置相对固定并根据镜头的参数调整以满足视觉捕捉范围,三组红外LED11、12、13发射波长在800-1000nm的红外光,提供背光源照射目标物和背景,CCD黑白图像传感器接收经由红外LED照射的图像。电控板14包括有单片机、USB host控制器、高速RAM和FLASH数据存储,单片机负责控制整个双目红外视觉模块1的图像信息采集,通过USB host控制器用来控制USB总线接口与2个CCD黑白图像传感器9、10进行命令以及图像数据的交换,同时高速RAM用于图像数据缓冲,而FLASH可以用来保存图像数据。
如图5所示,本实施例中采用的ARAT标准物包括边长为10cm的立方体5-1、边长为7.5cm的立方体5-2、边长为5cm的立方体5-3、边长为2.5cm的立方体5-4,直径为7.5cm的球体5-5、直径为1.5cm的球体5-6、直径为6mm的球体5-7,10cm*2.5cm*1cm的长方体5-8,长10cm外直径为2.25cm的圆管5-9和长16cm直径为1cm的圆柱棒5-10。ARAT标准物5均采用透红外黑色亚克力板制成,从而使得红外光照射手部时不受ARAT标准物5的遮挡影响。
如图6所示,一种基于双目红外视觉的手部运动跟踪方法,包括如下步骤:
1)系统初始化:系统启动后,双目红外视觉模块1自动启动并进行初始化设置;根据所选定抓握ARAT标准物5的模块号,从系统的ARAT标准物5数据库中得到相应的标准物参数,包括该ARAT标准物5的内切圆和外接圆尺寸,并将ARAT标准物5放置在特定的位置,并对系统的抓握目标物参数进行初始化;
2)ARAT评估跟踪:用户先将手部放松放置于玻璃面板3的指定手部起始位置,然后听从指令开始移动手部去抓握特定位置上的ARAT标准物5;在用户的ARAT评估训练过程中,使用双目红外视觉模块1实时跟踪在玻璃面板3上的用户手部运动,并将采集到的双目黑白图像上传至计算机4;计算机4通过对双目红外视觉模块1采集到图像进行处理,利用双目视觉的视差原理对双目图像进行匹配计算,获取用户手部掌心的三维坐标和各个手指指尖的三维坐标;根据所选择的ARAT标准物5的尺寸参数,用户的手部运动动作分成抓握和捏握两种状态,并选择相应的手部抓握动作算法:在抓握较大体积的ARAT标准物时,手掌和五指整体张开,其手部位位姿的核心参数为手掌球的球心三维位置和大小,计算得到手掌球的参数并与ARAT标准物5的内切圆以及外接圆参数相比较;在捏握较小体积的ARAT标准物5时,其手部位位姿的核心参数为拇指与特定手指指尖的距离,计算得到指尖的参数并与ARAT标准物5的内切圆以及外接圆参数相比较;
3)评估数据分析:在本轮ARAT抓握训练结束后,若用户成功抓握ARAT标准物5,判定其是否移动到达指定位置,若是,则本轮ARAT抓握项评分达到满分5分,并记录用户的本轮操作用时;若否,则根据ARAT标准物5移动的距离从远到近依次给予本轮ARAT抓握项评分4到1分,并记录用户的本轮操作用时和移动距离;若用户在指定时间内仍未完成抓握,则本轮ARAT抓握项评分为0分,即不能完成该动作。

Claims (3)

1.一种基于双目红外视觉的手部运动跟踪装置,其特征在于,包括双目红外视觉模块(1),玻璃面板(3),计算机(4),ARAT标准物(5)和用户操作组合台(6);所述玻璃面板(3)通过固定块(15)固定在所述用户操作组合台(6)上,所述双目红外视觉模块(1)置于玻璃面板(3)的下方,通过视频USB传输线(2)与所述计算机(4)相连,所述双目红外视觉模块(1)照射的玻璃面板(3)上有棋盘格标识(8),棋盘格标识(8)上方的空间为用户运动空间(7),所述ARAT标准物(5)放置在玻璃面板(3)上棋盘格标识(8)的后方,所述双目红外视觉模块(1)包括第一CCD黑白图像传感器(9)、第二CCD黑白图像传感器(10),第一红外LED(11)、第二红外LED(12)、第三红外LED(13),电控板(14);所述两个CCD黑白图像传感器(9、10)和三组红外LED(11、12、13)间隔排列集成在电控板(14)上,并通过电控板(14)进行运行控制,所述两个CCD黑白图像传感器(9、10)把采集到的红外光信号转换成电信号并送入所述电控板(14)进行图像缓存处理,最后通过视频USB传输线(2)上传图像至所述计算机(4)。
2.根据权利要求1所述的基于双目红外视觉的手部运动跟踪装置,其特征在于,所述ARAT标准物(5)采用透红黑色外亚克力板制成。
3.一种利用权利要求1的基于双目红外视觉的手部运动跟踪装置实施手部运动跟踪方法,其特征在于,包括如下步骤:
1)系统初始化:系统启动后,双目红外视觉模块(1)自动启动并进行初始化设置;根据所选定抓握ARAT标准物(5)的模块号,从系统的ARAT标准物(5)数据库中得到相应的标准物参数,包括该ARAT标准物(5)的内切圆和外接圆尺寸,并将ARAT标准物(5)放置在特定的位置,并对系统的抓握目标物参数进行初始化;
2)ARAT评估跟踪:用户先将手部放松放置于玻璃面板(3)的指定手部起始位置,然后听从指令开始移动手部去抓握特定位置上的ARAT标准物(5);在用户的ARAT评估训练过程中,使用双目红外视觉模块(1)实时跟踪在玻璃面板(3)上的用户手部运动,并将采集到的双目黑白图像上传至计算机(4);计算机(4)通过对双目红外视觉模块(1)采集到图像进行处理,利用双目视觉的视差原理对双目图像进行匹配计算,获取用户手部掌心的三维坐标和各个手指指尖的三维坐标;根据所选择的ARAT标准物(5)的尺寸参数,用户的手部运动动作分成抓握和捏握两种状态,并选择相应的手部抓握动作算法:在抓握较大体积的ARAT标准物时,手掌和五指整体张开,其手部位位姿的核心参数为手掌球的球心三维位置和大小,计算得到手掌球的参数并与ARAT标准物(5)的内切圆以及外接圆参数相比较;在捏握较小体积的ARAT标准物(5)时,其手部位位姿的核心参数为拇指与特定手指指尖的距离,计算得到指尖的参数并与ARAT标准物(5)的内切圆以及外接圆参数相比较;
3)评估数据分析:在本轮ARAT抓握训练结束后,若用户成功抓握ARAT标准物(5),判定其是否移动到达指定位置,若是,则本轮ARAT抓握项评分达到满分5分,并记录用户的本轮操作用时;若否,则根据ARAT标准物(5)移动的距离从远到近依次给予本轮ARAT抓握项评分4到1分,并记录用户的本轮操作用时和移动距离;若用户在指定时间内仍未完成抓握,则本轮ARAT抓握项评分为0分,即不能完成该动作。
CN201410012107.8A 2014-01-10 2014-01-10 基于双目红外视觉的手部运动跟踪装置和方法 Expired - Fee Related CN103777754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410012107.8A CN103777754B (zh) 2014-01-10 2014-01-10 基于双目红外视觉的手部运动跟踪装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410012107.8A CN103777754B (zh) 2014-01-10 2014-01-10 基于双目红外视觉的手部运动跟踪装置和方法

Publications (2)

Publication Number Publication Date
CN103777754A CN103777754A (zh) 2014-05-07
CN103777754B true CN103777754B (zh) 2017-01-11

Family

ID=50570097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410012107.8A Expired - Fee Related CN103777754B (zh) 2014-01-10 2014-01-10 基于双目红外视觉的手部运动跟踪装置和方法

Country Status (1)

Country Link
CN (1) CN103777754B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105832343B (zh) * 2016-05-22 2020-04-03 上海大学 多维视觉手功能康复定量评估系统和评估方法
CN108874139B (zh) * 2018-06-20 2021-02-02 浙江工业大学 视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统
US11107239B2 (en) 2018-08-20 2021-08-31 Beijing Sensetime Technology Development Co., Ltd. Pose detection method and device, electronic device and storage medium
CN113807323B (zh) * 2021-11-01 2022-12-09 北京大学 基于图像识别的手功能精准评估系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807114A (zh) * 2010-04-02 2010-08-18 浙江大学 一种基于三维手势的自然交互方法
CN102184021A (zh) * 2011-05-27 2011-09-14 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
WO2012089576A1 (en) * 2010-12-30 2012-07-05 Danmarks Tekniske Universitet System and device with three-dimensional image display
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807114A (zh) * 2010-04-02 2010-08-18 浙江大学 一种基于三维手势的自然交互方法
WO2012089576A1 (en) * 2010-12-30 2012-07-05 Danmarks Tekniske Universitet System and device with three-dimensional image display
CN102184021A (zh) * 2011-05-27 2011-09-14 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
上肢动作研究量表在脑卒中患者中的信度;瓮长水等;《中国康复理论与实践》;20070930;第13卷(第9期);第868-869页 *
基于机器视觉的抓握状态模型及其适用性;林燕姿等;《计算机应用与软件》;20150831;第32卷(第8期);第166-169页 *

Also Published As

Publication number Publication date
CN103777754A (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
CN101853399B (zh) 利用计算机视觉技术进行盲道和人行横道实时检测的方法
CN101214168B (zh) 动物行为监测分析系统
CN103838378B (zh) 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN102631276B (zh) 康复训练机器人中的交互系统
CN103777754B (zh) 基于双目红外视觉的手部运动跟踪装置和方法
CN105832343B (zh) 多维视觉手功能康复定量评估系统和评估方法
CN102243687A (zh) 一种基于动作识别技术的体育教学辅助系统及其实现方法
CN104887238A (zh) 基于动作捕捉的手康复训练评估系统和方法
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN107145236A (zh) 一种基于腕部肌腱压力相关特性的手势识别方法及系统
CN105446485B (zh) 基于数据手套和位置跟踪仪的人手运动功能捕捉系统及方法
CN109199417A (zh) 一种用于运动康复治疗的增强现实方法及系统
CN108491830A (zh) 一种基于深度学习的施工现场人员制服穿着识别的方法
CN104856707B (zh) 基于机器视觉的压力传感数据手套及其抓握过程判断方法
CN109126045A (zh) 智能化运动分析和训练系统
CN102023707A (zh) 基于dsp-pc机器视觉系统的斑纹式数据手套
CN109997199A (zh) 基于深度学习的结核病检查方法
Wang et al. Humanoid robot control system based on AR-SSVEP
CN113974612A (zh) 一种卒中患者上肢运动功能自动化评估方法与系统
CN113807323B (zh) 基于图像识别的手功能精准评估系统及方法
CN108514510A (zh) 经络体表智能投影装置和标识方法
CN202604831U (zh) 一种肢体运动参数采集处理装置
Luo et al. A virtual reality system for arm and hand rehabilitation
CN206270984U (zh) 一种实时三维人体模型动作跟踪辅助装置
CN212846710U (zh) 一种自然人机交互设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170111

CF01 Termination of patent right due to non-payment of annual fee