CN1285504A - 一种人手运动图像三维实时检测方法 - Google Patents
一种人手运动图像三维实时检测方法 Download PDFInfo
- Publication number
- CN1285504A CN1285504A CN 00129552 CN00129552A CN1285504A CN 1285504 A CN1285504 A CN 1285504A CN 00129552 CN00129552 CN 00129552 CN 00129552 A CN00129552 A CN 00129552A CN 1285504 A CN1285504 A CN 1285504A
- Authority
- CN
- China
- Prior art keywords
- image
- monumented point
- human hand
- hand movement
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种人手运动图象三维实时检测方法,首先在被测者待测手的关节上粘贴标志点,使被测者的手按要求动作,从不同角度摄取人手运动过程图像,并将图象实时采集到计算机,对图象进行滤波,映射,非线性变换,模糊增强,对图像进行扫描,查找标志点,计算标志点的二维中心坐标,再进行三维重构,即可得到人手运动图象。本方法可以实时地检测记录人手作不同动作时空间运动轨迹,以研究人手运动规律及控制机理,或用于医学临床。
Description
本发明涉及一种人手运动图像三维实时检测方法，属于生物医学工程领域。
人手有20个自由度，是人体中运动最灵活的器官，其运动需要肌肉群、骨骼及精细控制程度比下肢等其他运动要复杂得多，人手是人日常生活和工作中与外界环境接触时最重要的操作器官，帕金森氏综合症、脑卒中、脑外伤等许多疾病对手的运动功能都有一定影响，因此在临床康复中常常把人手运动功能的训练作为某些疾病患者康复的重要手段。可见检测分析人手的运动特征，可以帮助临床医生进行疾病或康复进程评定，为临床提供准确科学的诊断和评价手段。
人手运动检测方法主要有三大类：一类是利用X光、CT、MRI等设备得到人手骨骼及各断层图象，这类方法检测成本较高，且一般只能检测手静止时的情况；第二类是利用测角仪检测关节角度的变化，如在虚拟现实中被广泛采用的数据手套，这类方法由于角度传感器的两端安置在骨节上，不仅与皮肤表面产生滑动引入误差，而且也影响人手的自然运动，即利用这类方法得到的数据误差较大；第三类方法是利用摄像系统，通过摄取人手运动过程，然后进行分析处理，这类方法的精度较高，是进行人手运动研究及相关疾病诊断的重要工具。
本发明的目的是提出一种人手运动图象三维实时检测方法，为目前临床普遍采用由医生目测进行人手运动功能诊断与评定提供一种科学手段。
本发明提出的一种人手运动图象三维实时检测方法，其特征在于包括以下步骤：
(1)在被测者待测手的关节上粘贴标志点，使被测者的手按要求动作；
(2)从不同角度摄取人手运动过程图像，并将图象实时采集到计算机；
(3)对图象用中值滤波法进行滤波，将滤波后的图象映射为模糊矩阵，对模糊矩阵作非线性变换，进行模糊增强，然后对增强后的图象作逆映射，得到模糊增强的图象；
(4)对上述图像进行扫描，根据图象灰度搜索出所有连通域；查找封闭连通域并获取封闭连通域的外轮廓最大尺寸；对封闭连通域外轮廓尺寸进行筛选得到与原粘贴标志点尺寸范围一致的标志点；
(5)对已经查找到标志点后的第1和第2幅运动过程图象，从起始标志点逐步外推查找动作后与原始标志点相对应的标志点，对第3幅以后的所有图象，在前两幅确定的标志点的一阶外推位置查找后续动作后与原始标志点相对应的标志点；
(6)根据上述查找的标志点的形状计算标志点的二维中心坐标；
(7)根据从不同角度摄取人手运动平面图像得到的同一个标志点的上述二维坐标，采用直接线性变换(缩写为DLT，Direct Linear Transformation)方法解出标志点三维空间坐标。
(8)按解剖顺序连接关节或末端上标志点的三维空间坐标即可得到人手运动棍图；按采样次序连接不同图象中同一标志点的三维空间坐标就得到关节的位移运动曲线；根据运动棍图中的每3个点决定的两条直线，可以计算出两条直线所夹的角度，即关节弯曲的角度。根据位移和角位移，利用微分方法即可得到其运动的速度和角速度、加速度和角加速度的变化规律。
利用本发明提出的方法可以实时地检测记录人手作不同动作时空间运动轨迹，并对其进行各种统计，以研究人手运动规律及控制机理，或在医学临床上定量评定人手运动功能及其康复程度。
附图说明：
图1人手对捏运动三维空间棍图，图中量钢均为毫米。
图2食指第2关节的角位移(标量)曲线。
图3食指第2关节角速度变化曲线
图4食指第2关节角加速度变化曲线
下面结合附图，详细介绍本发明的内容：
(1)实施例的标志点选用黑球，粘贴位置为拇指和食指尖，拇指和食指的各关节，并使被测者作拇指和食指对捏动作；
(2)从不同角度摄取人手运动过程图像，并将图像实时采集到计算机；
(3)对图像用中值滤波法进行滤波，将滤波后的图象映射为模糊矩阵，对模糊矩阵作非线性变换，进行模糊增强，然后对增强后的图象作逆映射，得到模糊增强的图象；
其具体增强过程如下：
将一幅L个灰度级M×N的图象表示为X=[lmn]，m=1、2、…M，n=1、2、…N(其中lmn为图象像素(m，n)的灰度级)，对应的模糊矩阵为
n=1、2、…N(其中μmn为lmn相对于某特定灰度级的隶属度)。取隶属度函数为：取
的模糊增强函数为：其中
为模糊增强的次数，μc为模糊增强的阈值，其对应的图象灰度值为lc。记模糊增强后矩阵对应的图象为X′=[lmn′]，m=1、2、…M，n=1、2、…N
其中lmn′为模糊增强后像素(m，n)的灰度级，则其中
由(1)、(2)两式即可完成图象的模糊增强。在算法的具体实现中，为减少计算量，事先将式(2)做成表格Table1、Table2如下：Tablel[i]=(int)(i×i/lc+0．5) i=0、1、2、…lcTable2[i]=(int)(L-1-(L-1-i)2/(L-1-lc)+0．5) i=lc+1、lc+2、…L-1
1)查找标志点：
逐点对图像进行扫描并与阈值作比较，若有满足阈值条件的连续点，则记录其参数行(行号)、列(起始点列号)和长(连续点数目)，这样的连续点就是“条”，并按
下面3个模板构造连通域。
模板1：若某“条”不与任何已有域相连，则认为该“条”属于新域，并建立一个新域存入该“条”参数(行、列、长)。
模板2：若某“条”只与一个已有域相连，则认为该“条”属于与其相连的域，并将该“条”加入其相连域。
模板3：若某“条”与多个已有域相连，则认为这些域为一个新域，将它们合并成一个域，其中各“条”按行、列顺序重组并将该“条”加入新域同时释放各原有域。
将扫描到的每一个“条”与上述3个模板进行比较，找到相符模板并按模板操作，即可实现任意形状连通域的自动检测。由于整个过程中始终保持域内各“条”按行、列顺序排列，因此作模板查找时，只需要与各域最后一行的“条”作比较，计算量很小。在算法的具体实现中，为进一步减少计算量和节省内存，对“条”的定义加了更严格的限制，只有那些长度超过最低限度的连续点才被认为是“条”。这样的限定可以避免图像出现“麻点”时，识别出过多的没意义的连通域。只要连通域外廓尺寸与已知标志点外廓大小匹配，即认为该连通域是标志点。
2)跟踪标志点：对第1和2幅图象，在起始标志点附近查找标志点；对第3幅图以后的图象，在前两幅图中标志点的一阶外推位置附近查找标志点，找出不同图象中的同一个标志点，即进行标志点跟踪。
3)根据标志点的形状计算标志点的几何中心坐标；
4)三维重构
根据从不同角度摄取人手运动平面图像得到的同一个标志点的二维坐标，采用直接线性变换(缩写为DLT，Direct Linear Transformation)方法解算出标志点三维空间坐标。其原理为：假设物方坐标(X，Y，Z)与像坐标(η，ζ)间映射关系为含若干待定系数的函数，根据一组已知的(X，Y，Z，η，ζ)即可求解出映射函数中各待定参数，从而得到(X，Y，Z)与(η，ζ)的映射关系，该步骤即为标定。采用多部相机，分别标定得到各自的物像映射函数，根据物方点(X，Y，Z)在各相机的像坐标(η，ζ)及已标定出的物像映射函数即可联立解出物方坐标(X，Y，Z)，即实现三维重构。
(1)按解剖顺序连接粘贴在关节或末端上标志点的三维空间坐标即可得到人手运动棍图，如依次连接食指尖、食指各关节上，以及拇指尖、拇指各关节上标志点的三维空间坐标，即得到图1的运动三维棍图；按采样次序连接食指尖标志点的三维空间坐标即可得到关节的空间位移运动曲线(见图1)；根据运动棍图中的每3个点决定的两条直线，可以计算出两条直线所夹的角度，如根据食指第1、2和3关节上标志点的坐标，可以计算出第2关节的角度，按采样的时间次序等间隔连接第2关节的角度，即得到图2第2关节角位移(标量)变化曲线。根据位移和角位移，利用微分方法即可得到其运动的速度和角速度、加速度和角加速度的变化规律，例如对图2第2关节角位移(标量)变化曲线作微分得到图3角速度变化曲线，对图2第2关节角速度变化曲线作微分得到图4角加速度变化曲线。
(2)对上述计算结果和曲线进行统计处理，即可得到人手在作不同典型动作时，不同指节的运动规律。通过对得到的不同计算结果和曲线进行各种各样的组合分析，可以定量地评定人手运动功能。
实施例中被测者为一健康男性，图1-图4为利用本发明提出的人手运动图像三维实时检测方法得到的结果。
Claims (1)
1、一种人手运动图象三维实时检测方法，其特征在于，该方法包括以下步骤：
(1)在被测者待测手的关节上粘贴标志点，使被测者的手按要求动作；
(2)从不同角度摄取人手运动过程图像，并将图象实时采集到计算机；
(3)对图象用中值滤波法进行滤波，将滤波后的图象映射为模糊矩阵，对模糊矩阵作非线性变换，进行模糊增强，然后对增强后的图象作逆映射，得到模糊增强的图象；
(4)对上述图像进行扫描，根据图象灰度搜索出所有连通域；查找封闭连通域并获取封闭连通域的外轮廓最大尺寸；对封闭连通域外轮廓尺寸进行筛选得到与原粘贴标志点尺寸范围一致的标志点；
(5)对已经查找到标志点后的第1和第2幅运动过程图象，从起始标志点逐步外推查找动作后与原始标志点相对应的标志点，对第3幅以后的所有图象，在前两幅确定的标志点的一阶外推位置查找后续动作后与原始标志点相对应的标志点；
(6)根据上述查找的标志点的形状计算标志点的二维中心坐标；
(7)根据从不同角度摄取人手运动平面图像得到的同一个标志点的上述二维坐标，采用直接线性变换方法解出标志点三维空间坐标。
(8)按解剖顺序连接关节或末端上标志点的三维空间坐标即可得到人手运动棍图；按采样次序连接不同图象中同一标志点的三维空间坐标就得到关节的位移运动曲线；根据运动棍图中的每3个点决定的两条直线，可以计算出两条直线所夹的角度，即关节弯曲的角度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 00129552 CN1123321C (zh) | 2000-10-09 | 2000-10-09 | 一种人手运动图像三维实时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 00129552 CN1123321C (zh) | 2000-10-09 | 2000-10-09 | 一种人手运动图像三维实时检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1285504A true CN1285504A (zh) | 2001-02-28 |
| CN1123321C CN1123321C (zh) | 2003-10-08 |
Family
ID=4593583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 00129552 Expired - Fee Related CN1123321C (zh) | 2000-10-09 | 2000-10-09 | 一种人手运动图像三维实时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1123321C (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008049370A1 (fr) * | 2006-10-23 | 2008-05-02 | Huawei Technologies Co., Ltd. | Procédé de réalisation de création d'une image tridimensionnelle et dispositif de terminal associé |
| CN100389377C (zh) * | 2003-06-23 | 2008-05-21 | 亚比恩科技私人有限公司 | 跟踪六个自由度的计算机输入装置 |
| CN100403313C (zh) * | 2006-09-14 | 2008-07-16 | 浙江大学 | 三维人体运动数据关键帧提取方法 |
| CN100409156C (zh) * | 2006-01-23 | 2008-08-06 | 宏达国际电子股份有限公司 | 移动判断装置 |
| CN101832756A (zh) * | 2009-03-10 | 2010-09-15 | 深圳迈瑞生物医疗电子股份有限公司 | 测量图像中目标位移以及应变与应变率成像的方法和装置 |
| CN102227616A (zh) * | 2009-05-27 | 2011-10-26 | 松下电器产业株式会社 | 行为识别装置 |
| CN104887238A (zh) * | 2015-06-10 | 2015-09-09 | 上海大学 | 基于动作捕捉的手康复训练评估系统和方法 |
| CN105824417A (zh) * | 2016-03-16 | 2016-08-03 | 成都电锯互动科技有限公司 | 一种采用虚拟现实技术的人与物的结合方法 |
| CN105945945A (zh) * | 2016-05-20 | 2016-09-21 | 哈尔滨工业大学 | 基于人手运动功能分析的手指模块划分方法 |
| CN109584423A (zh) * | 2018-12-13 | 2019-04-05 | 佛山单常科技有限公司 | 一种智能开锁系统 |
| CN109658627A (zh) * | 2018-12-13 | 2019-04-19 | 深圳桓轩科技有限公司 | 一种基于区块链的智能物流取件系统 |
| CN113255462A (zh) * | 2021-04-29 | 2021-08-13 | 深圳大学 | 步态评分方法、系统、计算机程序产品及可读存储介质 |
| CN113807323A (zh) * | 2021-11-01 | 2021-12-17 | 北京大学 | 基于图像识别的手功能精准评估系统及方法 |
| CN113838219A (zh) * | 2021-09-26 | 2021-12-24 | 琼台师范学院 | 基于人体动作捕捉的虚拟舞蹈训练方法及装置 |
-
2000
- 2000-10-09 CN CN 00129552 patent/CN1123321C/zh not_active Expired - Fee Related
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100389377C (zh) * | 2003-06-23 | 2008-05-21 | 亚比恩科技私人有限公司 | 跟踪六个自由度的计算机输入装置 |
| CN100409156C (zh) * | 2006-01-23 | 2008-08-06 | 宏达国际电子股份有限公司 | 移动判断装置 |
| CN100403313C (zh) * | 2006-09-14 | 2008-07-16 | 浙江大学 | 三维人体运动数据关键帧提取方法 |
| WO2008049370A1 (fr) * | 2006-10-23 | 2008-05-02 | Huawei Technologies Co., Ltd. | Procédé de réalisation de création d'une image tridimensionnelle et dispositif de terminal associé |
| CN101832756B (zh) * | 2009-03-10 | 2014-12-10 | 深圳迈瑞生物医疗电子股份有限公司 | 测量图像中目标位移以及应变与应变率成像的方法和装置 |
| CN101832756A (zh) * | 2009-03-10 | 2010-09-15 | 深圳迈瑞生物医疗电子股份有限公司 | 测量图像中目标位移以及应变与应变率成像的方法和装置 |
| CN102227616B (zh) * | 2009-05-27 | 2015-04-15 | 松下电器产业株式会社 | 行为识别装置 |
| US8682608B2 (en) | 2009-05-27 | 2014-03-25 | Panasonic Corporation | Behavior recognition apparatus |
| CN102227616A (zh) * | 2009-05-27 | 2011-10-26 | 松下电器产业株式会社 | 行为识别装置 |
| CN104887238A (zh) * | 2015-06-10 | 2015-09-09 | 上海大学 | 基于动作捕捉的手康复训练评估系统和方法 |
| CN105824417A (zh) * | 2016-03-16 | 2016-08-03 | 成都电锯互动科技有限公司 | 一种采用虚拟现实技术的人与物的结合方法 |
| CN105945945A (zh) * | 2016-05-20 | 2016-09-21 | 哈尔滨工业大学 | 基于人手运动功能分析的手指模块划分方法 |
| CN109584423A (zh) * | 2018-12-13 | 2019-04-05 | 佛山单常科技有限公司 | 一种智能开锁系统 |
| CN109658627A (zh) * | 2018-12-13 | 2019-04-19 | 深圳桓轩科技有限公司 | 一种基于区块链的智能物流取件系统 |
| CN113255462A (zh) * | 2021-04-29 | 2021-08-13 | 深圳大学 | 步态评分方法、系统、计算机程序产品及可读存储介质 |
| CN113838219A (zh) * | 2021-09-26 | 2021-12-24 | 琼台师范学院 | 基于人体动作捕捉的虚拟舞蹈训练方法及装置 |
| CN113838219B (zh) * | 2021-09-26 | 2023-09-12 | 琼台师范学院 | 基于人体动作捕捉的虚拟舞蹈训练方法及装置 |
| CN113807323A (zh) * | 2021-11-01 | 2021-12-17 | 北京大学 | 基于图像识别的手功能精准评估系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1123321C (zh) | 2003-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1123321C (zh) | 一种人手运动图像三维实时检测方法 | |
| CN111432733B (zh) | 用于确定超声探头的运动的设备和方法 | |
| CN106355598B (zh) | 一种腕部及手指关节活动度的自动测量方法 | |
| Yang et al. | Automatic 3-D imaging and measurement of human spines with a robotic ultrasound system | |
| CN104887238A (zh) | 基于动作捕捉的手康复训练评估系统和方法 | |
| CN111968222B (zh) | 一种人体组织非静止状态下三维超声重建方法 | |
| CN113543718A (zh) | 用于确定超声探头的包括前后方向性的运动的装置和方法 | |
| CN1766831A (zh) | 一种基于光学的运动捕获数据的骨骼运动提取方法 | |
| Patias | Medical imaging challenges photogrammetry | |
| CN1950849A (zh) | 药物动力学图像配准 | |
| CN112184898A (zh) | 一种基于动作识别的数字人体建模方法 | |
| Tagare et al. | Location and geometric description of carpal bones in CT images | |
| CN106709867A (zh) | 一种基于改进surf和改进互信息的医学图像配准方法 | |
| CN1286962A (zh) | 一种人体步态图像实时检测方法 | |
| CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 | |
| JP2005091085A (ja) | 非接触型関節角度計測システム | |
| Martin-Fernandez et al. | Articulated registration: Elastic registration based on a wire-model | |
| Zhou et al. | Recent progress in automatic processing of skeletal muscle morphology using ultrasound: a brief review | |
| CN113507890B (zh) | 基于ct图像的肘关节屈伸三维运动分析方法及装置 | |
| WO2019152566A1 (en) | Systems and methods for subject specific kinematic mapping | |
| CN115690045A (zh) | 基于曲面断层片的牙周炎治疗前后骨增量定量评估方法 | |
| CN1581233A (zh) | 一种用于虚拟手术的体绘制成像方法 | |
| CN110276762A (zh) | 一种多b值扩散加权腹部磁共振成像的呼吸运动全自动校正方法 | |
| Jin et al. | A novel dataglove calibration method | |
| Jackson et al. | Computer-assisted approaches for measuring, segmenting, and analyzing functional upper extremity movement: a narrative review of the current state, limitations, and future directions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C06 | Publication | ||
| PB01 | Publication | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C19 | Lapse of patent right due to non-payment of the annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |