CN102679964A - 步态参数测量系统及其数据处理装置和方法 - Google Patents
步态参数测量系统及其数据处理装置和方法 Download PDFInfo
- Publication number
- CN102679964A CN102679964A CN2012101916603A CN201210191660A CN102679964A CN 102679964 A CN102679964 A CN 102679964A CN 2012101916603 A CN2012101916603 A CN 2012101916603A CN 201210191660 A CN201210191660 A CN 201210191660A CN 102679964 A CN102679964 A CN 102679964A
- Authority
- CN
- China
- Prior art keywords
- gauge point
- data processing
- processing equipment
- video
- gait parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005021 gait Effects 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title abstract description 14
- 238000005259 measurement Methods 0.000 title abstract description 4
- 230000033001 locomotion Effects 0.000 claims abstract description 24
- 238000003672 processing method Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 230000001133 acceleration Effects 0.000 claims description 21
- 210000000629 knee joint Anatomy 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 5
- 244000188472 Ilex paraguariensis Species 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 11
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012113 quantitative test Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013150 knee replacement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011883 total knee arthroplasty Methods 0.000 description 2
- 208000006820 Arthralgia Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- QRZAKQDHEVVFRX-UHFFFAOYSA-N biphenyl-4-ylacetic acid Chemical compound C1=CC(CC(=O)O)=CC=C1C1=CC=CC=C1 QRZAKQDHEVVFRX-UHFFFAOYSA-N 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000008407 joint function Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 235000019557 luminance Nutrition 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种步态参数测量系统及其数据处理装置和方法，该方法包括：获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置；从所述两个视频采集装置输出的视频同步获取图像；结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置；根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；以及用标记点的三维坐标计算步态参数。该装置包括与上述步骤对应的五个模块。该系统包括该数据处理装置、标记点以及两个视频采集装置，标记点设置于被测者的腿部，两个视频采集装置分别与该数据处理装置连接，用于从被测者正面的两个不同位置分别捕捉被测者的步行场景。本系统和装置成本低，且能够实现便携化。
Description
技术领域
本发明涉及步态分析装置，特别涉及根据双路视频测量步态参数的步态参数测量系统，以及其数据处理装置和数据处理方法。
背景技术
全膝关节置换（TKR）是近代逐渐发展起来的一种治疗膝关节疾病的新技术，是用人工关节部件替代损坏的关节，消除膝关节疼痛，恢复膝关节功能的一种治疗方法。研究者能通过多种方法对其疗效进行评价，如KSS(美国膝关节协会评分)、HSS(美国特种外科医院膝关节评分)。但是这些评价方法主要是通过对患者的主客观感觉、疼痛状况及临床辅检结果进行评价，缺乏定量的指标。
步态分析是生物力学的特殊分支，是对人体行走时的肢体和关节活动进行运动学观察和动力学分析，提供一系列时间、几何、力学等参数值和曲线。而利用步态分析系统，通过收集步态数据来分析步态指标，可以对患者的术后疗效进行定量分析。步态分析将全膝关节置换康复治疗中沿用已久的定性分析和直观描述转换为客观、精确的定量评定。
步态的定量分析是对步态分析的基础参数(步速、步频、步长)、时相与周期、站立相力矩及下肢关节角度等多种步态指标进行定量分析，指导步态训练。主要包括运动学、动力学、动态肌电图、时间/空间参数分析。
基于运动学分析，英国Oxford Metrics的VICON，瑞典的SEICOM公司的SELSPOT，英国Charnwood Dynamic的CODA Motion，美国Motion Analysis公司相关产品都是较为成熟的步态分析系统。它们基本上都是由红外摄像系统和专用数据处理机以及计算机组成。将红外标记点贴在人体的待测部位上，通过摄像机接收由它发出并被红外标记点反射回来的红外线信号，再由专用的数据处理机生成人体的运动位置坐标，最后将人体运动位置信息输入计算机，计算相关的步态参数。由于这些成熟的系统使用红外摄像及专用数据处理机，成本很高，而且操作和维护比较复杂。
发明内容
以上成熟的步态分析系统是将摄像机采集到的全部视频序列存储到某个位置，采集结束后利用计算机进行计算分析，这样就会占据很大的存储空间，而且要采用昂贵的专用数据处理机。鉴于此，本发明要解决的技术问题是提供一种数据处理方法，该数据处理方法能够在数字信号处理器（DSP）运行，对视频采集装置输出的视频实时处理获得被测者的步态参数，从而使步态参数测量系统不必设置大容量的存储器来存储视频序列，以及不必设置昂贵的专用的数据处理机。
本发明数据处理方法，用于对两个视频采集装置输出的两路视频实时处理，获得被测者的步态参数，所述视频是从腿部设有标记点的被测者正面捕捉的步行场景序列，该数据处理方法包括：获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置；从所述两个视频采集装置输出的视频同步获取图像；结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置；根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；以及用标记点的三维坐标计算步态参数。
优选地，所述获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置还包括对两个图像坐标系中的标记点进行匹配。
优选地，所述结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置包括：根据上两帧图像中标记点的位置变化计算该标记点的运动矢量；根据标记点在上一帧图像中的位置及其运动矢量计算该标记点在当前图像中的估计位置；以及，在所述估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。
本发明还提供一种数据处理装置，用于对两个视频采集装置输出的两路视频实时处理，获得被测者的步态参数，所述视频是从腿部设有标记点的被测者正面捕捉的步行场景序列，该数据处理装置包括第一至第五五个模块，第一模块用于获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置； 第二模块用于从所述两个视频采集装置输出的视频同步获取图像； 第三模块用于结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置；第四模块用于根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；第五模块用于根据标记点的三维坐标计算步态参数。
优选地，所述第一模块还包括对两个图像坐标系中的标记点进行匹配，以便于计算三维坐标。
优选地，所述第三模块包括第一至第三三个子模块，第一子模块用于根据上两帧图像中标记点的位置变化计算该标记点的运动矢量；第二子模块用于根据标记点在上一帧图像中的位置及其运动矢量计算该标记点在当前图像中的估计位置；第三子模块用于在所述估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。
优选地，所述步态参数包括标记点处的速度和角度，所述数据处理装置是基于DSP的数据处理装置。
本发明还提供一种步态参数测量系统，它包括上述任意一项的数据处理装置、标记点以及两个视频采集装置；标记点设置于被测者的腿部；两个视频采集装置分别与所述数据处理装置连接，用于从被测者正面的两个不同位置分别捕捉被测者的步行场景并实时传送给所述数据处理装置，以实时计算被测者的步态参数。
优选地，该步态参数测量系统还包括加速度传感器和/或参数输出装置，加速度传感器设置于待测者的膝关节处，并与所述数据处理装置连接，用于获取行走时膝关节的转动加速度；参数输出装置与所述数据处理装置连接。
优选地，所述标记点为红外标记点，所述视频采集装置设置有滤光片以滤掉除红外光以外的有色光，所述加速度传感器为三轴加速度传感器。
本发明数据处理方法结合运动估计和块匹配搜索快速获取标记点在两路视频的各帧图像中的位置，根据双目成像原理计算标记点的三维坐标，进而计算步态参数，其计算方法简单，计算用时短，因而能够实时地完成视频处理，而不必先将全部视频存储下来再处理，并且能够在DSP上实现而不必采用昂贵的专用数据处理机。本发明数据处理装置和系统基于上述数据处理方法实现，因此能够有效降低成本和实现步态参数测量系统的便携化。
附图说明
图1为一个实施例步态参数测量系统的原理框图；
图2为一个实施例中数据处理方法的流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
图1示出了一个实施例步态参数测量系统的构成。如图1所示，本步态参数测量系统包括数据处理装置1、第一摄像机2和第二摄像机3（即，两个视频采集装置）、标记点4、加速度传感器5和参数输出装置6。第一摄像机2和第二摄像机3分别与数据处理装置1连接，用于从被测者正面的两个不同位置分别捕捉被测者的步行场景并实时传送给数据处理装置1，以实时计算被测者的步态参数（如速度、加速度等）。加速度传感器5与数据处理装置1连接，用于将感应到的加速度数据传送给数据处理装置1。参数输出装置6与数据处理装置1连接，用于将数据处理装置1处理后得到的待测者的步态参数输出，参数输出装置6可以是打印机、显示屏和数据传输接口中的至少一种，其中的数据传输接口可以采用各种常用的数据传输接口，如USB接口，或者也可以是光碟驱动器等。
在用本步态参数测量系统首次进行步态测量前，首先要搭设环境，对第一摄像机2和第二摄像机3进行定标，以及将标记点4和加速度传感器5设置在被测者的腿部。
搭设环境是布置一条人行通道（长度可以为2至3米），将第一摄像机2和第二摄像机3设置在人行通道尽头，迎面对着被测者，并且第一摄像机2和第二摄像机3以特定的距离、角度设置，使得被测者沿着人行通道行走时，行走场景位于第一摄像机2和第二摄像机3的视角范围，两个摄像机之间的距离是为了能够利用双目成像原理计算标记点的三维坐标。
摄像机定标是为了求解摄像机几何模型参数，这些参数决定了空间点的三维几何位置与其在图像中对应的相互关系。可以采用直接线性变换（DLT）原理对两个摄像机进行定标，具体通过设置6个已知空间未知的控制点，每个控制点根据DLT原理得到两个11元方程，6个控制点可以得到12个11元方程，利用最小二乘法求解方程组，得到包含摄像机的11个参数的矩阵。
可以采用粘附方式将标记点4设置在被测者的腿部。标记点4的数量可以灵活设置，但至少要有一个。例如，可以只在一条腿设置，也可以在两条腿均设置，可以只在膝关节处设置一个标记点，也可以在膝关节处、踝关节处、靠近腰处各设置一个标记点。在一个优选实施例中，在每条腿的膝关节处、踝关节处、靠近腰处各设置一个标记点，并且还在膝关节和踝关节之间（即小腿处）设置一个标记点，以及还在腰和膝关节之间（即大腿处）设置一个标记点，共十个标记点，左右两条腿的同部位的标记点呈对称分布。
数据处理装置1用于对第一摄像机2和第二摄像机3输出的两路视频实时处理，获得被测者的步态参数。图2示出了一个实施例中数据处理方法的流程图，数据处理装置1采用该数据处理方法。下面结合图2进行说明。
在步骤S100中，开始该处理流程。
在步骤S101中，获取标记点在与第一摄像机2和第二摄像机3（即，两个视频采集装置）对应的两个图像坐标系中的初始位置。该步骤也可以叫做初始化步骤，目的是为了提取静态的标记点位置，为后面的步骤（如，实时运动跟踪）提供初始条件。可以利用第一摄像机2和第二摄像机3拍摄被测者即将行走时的静态图像，设置数据处理装置1只捕捉并存储这一帧静态图像，对这帧静态图像进行分析处理，提取图像中的标记点位置信息，将该位置信息作为标记点在图像坐标系中的初始位置信息。
在一些实施例中，标记点采用红外标记点，并且在视频采集装置的镜头前加装了滤光片，滤光片能够滤掉除红外光以外的有色光，这样在视频采集装置采集到的图像中除了红外标记点的区域，其余区域亮度接近0，突出了红外标记点，有利于红外标记点的提取。例如，可以首先经过简单预处理定位出标记点的大致区域，再利用标记点的形状与大小信息准确地定位出标记点的中心位置信息，以此中心位置作为该图像中该标志点的位置。
在一些实施例中，设置有多个标记点，在获取各标记点在与第一摄像机2和第二摄像机3对应的两个图像坐标系中的初始位置后，还进行标记点的匹配，也就是将同一标记点在两个图像坐标系中的位置对应起来。标记点匹配的目的是为了在后续步骤中利用双目成像的原理重建出标记点的三维位置信息。由于标记点的布置是按一定规律布置的，而且即使是在步行途中，标记点的相对位置也相对不变化，这样针对两个摄像机采集到的两个图像，只要对得到的标记点的坐标行、列排序，就能得到各个标记点的相对位置，两个图像中相对应的两个位置的标记点就是匹配的标记点。可以理解地，在只有一个标记点时，则不需要进行标记点匹配。
在步骤S102中，从第一摄像机2和第二摄像机3输出的视频同步获取图像。
在步骤S103中，结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置。该步骤也可以叫做实时运动跟踪。
在得到了匹配的标记点位置后，就可以在此基础上进行实时运动跟踪。因为是实时跟踪，相邻帧的运动速度可以看作一致，这样就可以利用已知的位置信息来估计下一帧的位置。
在一些实施例中，通过以下方法确定标记点在同步获取的两个图像中的位置，实现实时运动跟踪：对于每个标记点而言，首先根据它在上两帧图像（这里用第n-2帧和第n-1帧表示）中的位置变化计算出该标记点的运动矢量，再将该标记点在上一帧图像（即第n-1帧）中的位置加上该运动矢量作为该标记点在当前图像（即第n帧）中的估计位置，然后在该估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。
在一些实施例中，采用块匹配算法来搜索图像中对应的位置。块匹配算法的基本思想为：将图像序列的每一帧划分为若干个相同的子块，为了在第k+1帧中找出第k帧第j个子块的最佳匹配块，我们在第k+1帧中某一给定区域内（搜索窗口），根据一定的匹配准则进行搜索，比如可以采用目前较常用的平均绝对误差准则（MAD）进行搜索，进而得到对应的匹配块，第j个子块与其匹配块之间的相对位移即为该块的匹配运动向量。块匹配方法根据搜索原理的不同分为不同的算法，优选采用三步搜索法（TSS）。三步搜索法具体包括：第一步，搜索步长等于或略大于最大搜索范围的一半，在周围距离步长的8个点处进行块匹配计算并比较；第二步，将步长减半，中心点移到上一步的最佳匹配点，重新在周围距离步长的8个点处进行块匹配计算并比较；第三步，在中心及周围8个点处找出最佳匹配点，若步长为1，搜索结束，否则重复第二步。
由于通过本方法能够实时地对第一摄像机2和第二摄像机3输出的视频进行处理，获得各标记点在图像中的位置，因此只需要存储每帧图像中每个标记点的位置，而不需要将整个视频帧全部保存下来，大大地节省了存储空间。
在步骤S104中，根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标。该步骤也可以叫做标记点的三维坐标重建。
按照双目成像的原理，只要一个点在两个摄像机分别成像，计算出该点在两个图像中的位置，就可以得到该点的空间信息。对于每个摄像机，物点、像点、投影中心是位于同一直线上，那么对于每个点而言，都可以得到一直线方程式。两个摄像机就可以得到两条直线，显然，两条直线的交点就是物点。通过得到的直线方程式，运用最小二乘法求解，可以得到物点的空间坐标（即三维坐标）。
在步骤S105中，用标记点的三维坐标计算步态参数。
这里的步态参数可以是标记点处的速度、角度等。例如，对于某个标记点，利用相邻两个处理周期得到的两个空间坐标，可以计算出该标记点的运动距离和运动方向，再结合周期还可以得到该标记点处的运动速度。对于在膝关节、大腿部和小腿部都设置标记点时，利用三个标记点的三维坐标，即可计算出膝关节处的角度。
此外，通过设置在待测者的关节处的加速度传感器5，可以获得待测者行走时该关节点的转动加速度。在一些实施例中，采用三轴加速度传感器，例如，可以采用Freescale Semiconductor公司的MMA7260三轴加速度传感器，可以粘附于膝关节处，测量人体行走时膝关节处的三个轴向加速度。可以理解地，在一些实施例中，可以不设置加速度传感器。
进一步还可以利用曲线形式表示待测者行走时各步态参数的变化。
可以通过显示屏实时显示步态参数及其变化曲线，或者通过打印机打印出来，也可以存储于存储介质中，或通过数据传输接口将它们传输到其它设备（如硬盘、电脑等）保存或进一步处理。
在步骤S106中，判断是否停止处理。如果“是”，则执行步骤S107，本次处理流程结束。如果“否”，则转到步骤S102，从第一摄像机2和第二摄像机3输出的视频同步获取新的图像，继续执行后序步骤。
根据本发明，数据处理装置用于对两个视频采集装置输出的两路视频实时处理，获得被测者的步态参数，其中的视频是从腿部设有标记点的被测者正面捕捉的步行场景序列。在一些实施例中，数据处理装置包括第一至第五五个模块，第一模块用于获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置； 第二模块用于从所述两个视频采集装置输出的视频同步获取图像； 第三模块用于结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置；第四模块用于根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；第五模块用于根据标记点的三维坐标计算步态参数。
在另外一些实施例中，第一模块还包括对两个图像坐标系中的标记点进行匹配，以便于计算三维坐标。
在另外一些实施例中，第三模块包括第一至第三三个子模块，第一子模块用于根据上两帧图像中标记点的位置变化计算该标记点的运动矢量；第二子模块用于根据标记点在上一帧图像中的位置及其运动矢量计算该标记点在当前图像中的估计位置；第三子模块用于在所述估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。
本领域技术人员可以理解，在模块的具体实现上，尤其是通过软件实现各个模块功能时，可以存在多种可选方案。例如，可以将第一模块中获取标记点在两个图像坐标系中的初始位置作为一个单独的模块，将第一模块中的标记点匹配作为另一个单独的模块，也可以将某两个或多个模块合并为一个模块。
在一些实施例中，步态参数包括标记点处的速度和角度。
由于本发明采用的数据处理算法简单，计算用时短，能够在DSP实现数据处理装置，例如，可以采用与合众达公司的SEED-VPM642开发板功能类似的DSP，SEED-VPM642是专为数字媒体应用的高性能32位定点处理器，可实时地实现多路数字视频运算，具有高速数据传输接口，SEED-VPM642可同时实现3路视频的输入，1路视频输出。在用DSP实现时，能够实现整个步态参数测量系统的便携化和降低系统成本。
本发明一些实施例通过两个摄像机采集贴有标记点的人体行走时的视频序列，同时结合设置于关节点处的三轴加速度传感器的数据，利用DSP处理视频序列和传感器数据，对人体步行实时地进行三维重建，并实时地计算出人体步行时步态参数，是一种独立于计算机的步态参数测量系统，能够运用到全膝关节置换术后的疗效评估，更好地指导全膝关节置换术后的康复。具体地，可以将做完TKR手术的人选做被测者，让其在搭设好的环境中行走，实时得到其步态参数。并选同年龄段的正常人做对比，来对比治疗的效果。每隔一段时间，可再对此患者进行步态参数测量，以此来评估康复的效果，以更好地指导康复。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据处理方法，用于对两个视频采集装置输出的两路视频实时处理，获得被测者的步态参数，所述视频是从腿部设有标记点的被测者正面捕捉的步行场景序列，其特征在于包括：
获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置；
从所述两个视频采集装置输出的视频同步获取图像；
结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置；
根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；以及
用标记点的三维坐标计算步态参数。
2.根据权利要求1所述的数据处理方法，其特征在于：所述获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置还包括对两个图像坐标系中的标记点进行匹配。
3.根据权利要求1所述的数据处理方法，其特征在于，所述结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置包括：
根据上两帧图像中标记点的位置变化计算该标记点的运动矢量；
根据标记点在上一帧图像中的位置及其运动矢量计算该标记点在当前图像中的估计位置；以及
在所述估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。
4.一种数据处理装置，用于对两个视频采集装置输出的两路视频实时处理，获得被测者的步态参数，所述视频是从腿部设有标记点的被测者正面捕捉的步行场景序列，其特征在于包括：
第一模块，用于获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置；
第二模块，用于从所述两个视频采集装置输出的视频同步获取图像；
第三模块，用于结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置；
第四模块，用于根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；以及
第五模块，用于根据标记点的三维坐标计算步态参数。
5. 根据权利要求4所述的数据处理装置，其特征在于：所述第一模块还包括对两个图像坐标系中的标记点进行匹配，以便于计算三维坐标。
6.根据权利要求4所述的数据处理装置，其特征在于，所述第三模块包括：
第一子模块，用于根据上两帧图像中标记点的位置变化计算该标记点的运动矢量；
第二子模块，用于根据标记点在上一帧图像中的位置及其运动矢量计算该标记点在当前图像中的估计位置；以及
第三子模块，用于在所述估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。
7.根据权利要求4-6任意一项所述的数据处理装置，其特征在于：所述步态参数包括标记点处的速度和角度，所述数据处理装置是基于DSP的数据处理装置。
8.一种步态参数测量系统，其特征在于包括：
权利要求4-7任意一项的数据处理装置；
标记点，设置于被测者的腿部；以及
两个视频采集装置，分别与所述数据处理装置连接，用于从被测者正面的两个不同位置分别捕捉被测者的步行场景并实时传送给所述数据处理装置，以实时计算被测者的步态参数。
9.根据权利要求8所述的步态参数测量系统，其特征在于，还包括：
加速度传感器，设置于待测者的膝关节处，并与所述数据处理装置连接，用于获取行走时膝关节的转动加速度；和/或
参数输出装置，与所述数据处理装置连接。
10.根据权利要求9所述的步态参数测量系统，其特征在于：所述标记点为红外标记点，所述视频采集装置设置有滤光片以滤掉除红外光以外的有色光，所述加速度传感器为三轴加速度传感器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210191660.3A CN102679964B (zh) | 2012-06-12 | 2012-06-12 | 步态参数测量系统及其数据处理装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210191660.3A CN102679964B (zh) | 2012-06-12 | 2012-06-12 | 步态参数测量系统及其数据处理装置和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102679964A true CN102679964A (zh) | 2012-09-19 |
| CN102679964B CN102679964B (zh) | 2014-08-20 |
Family
ID=46812251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210191660.3A Active CN102679964B (zh) | 2012-06-12 | 2012-06-12 | 步态参数测量系统及其数据处理装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102679964B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103340632A (zh) * | 2013-06-28 | 2013-10-09 | 北京航空航天大学 | 一种基于特征点空间位置的人体关节角度测量方法 |
| CN103405293A (zh) * | 2013-08-16 | 2013-11-27 | 北京中科创睿科技有限公司 | 一种智能关节组件及使用其的智能假肢 |
| ES2432228A1 (es) * | 2013-02-15 | 2013-12-02 | Asociación Instituto De Biomecánica De Valencia | Procedimiento e instalación para caracterizar el patrón de apoyo de un sujeto |
| CN105498100A (zh) * | 2015-12-31 | 2016-04-20 | 上海联影医疗科技有限公司 | 一种监测生理运动曲线和体表轮廓的方法及系统 |
| CN105987685A (zh) * | 2016-07-04 | 2016-10-05 | 西北农林科技大学 | 一种基于双目视觉的昆虫行为学研究辅助系统 |
| CN107811639A (zh) * | 2017-09-25 | 2018-03-20 | 天津大学 | 一种基于运动学数据确定步态站立中期的方法 |
| CN111462171A (zh) * | 2020-01-10 | 2020-07-28 | 北京伟景智能科技有限公司 | 一种标记点检测跟踪方法 |
| CN112165372A (zh) * | 2020-08-12 | 2021-01-01 | 国网江西省电力有限公司经济技术研究院 | 一种配电mimo电力线通信传输方法 |
| CN113164098A (zh) * | 2018-11-26 | 2021-07-23 | 林德拉有限责任公司 | 人类步态分析系统和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1286962A (zh) * | 2000-10-09 | 2001-03-14 | 清华大学 | 一种人体步态图像实时检测方法 |
| CN101520902A (zh) * | 2009-02-24 | 2009-09-02 | 上海大学 | 低成本动作捕捉与演示系统及方法 |
| CN101695445A (zh) * | 2009-10-29 | 2010-04-21 | 浙江大学 | 一种基于加速度传感器的步态身份识别方法 |
| US7752567B2 (en) * | 2002-07-08 | 2010-07-06 | Innovative Solutions And Support, Inc. | Method of system for verifying entry of manually adjustable data in a multi-parameter aircraft instrument display |
| EP2325608A1 (fr) * | 2009-11-20 | 2011-05-25 | Sagem Defense Securite | Système de navigation inertie/gnss |
-
2012
- 2012-06-12 CN CN201210191660.3A patent/CN102679964B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1286962A (zh) * | 2000-10-09 | 2001-03-14 | 清华大学 | 一种人体步态图像实时检测方法 |
| US7752567B2 (en) * | 2002-07-08 | 2010-07-06 | Innovative Solutions And Support, Inc. | Method of system for verifying entry of manually adjustable data in a multi-parameter aircraft instrument display |
| CN101520902A (zh) * | 2009-02-24 | 2009-09-02 | 上海大学 | 低成本动作捕捉与演示系统及方法 |
| CN101695445A (zh) * | 2009-10-29 | 2010-04-21 | 浙江大学 | 一种基于加速度传感器的步态身份识别方法 |
| EP2325608A1 (fr) * | 2009-11-20 | 2011-05-25 | Sagem Defense Securite | Système de navigation inertie/gnss |
Non-Patent Citations (1)
| Title |
|---|
| 马新娟: "《基于视频处理的下肢运动分析及实验研究》", 《硕士论文》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2432228A1 (es) * | 2013-02-15 | 2013-12-02 | Asociación Instituto De Biomecánica De Valencia | Procedimiento e instalación para caracterizar el patrón de apoyo de un sujeto |
| CN103340632A (zh) * | 2013-06-28 | 2013-10-09 | 北京航空航天大学 | 一种基于特征点空间位置的人体关节角度测量方法 |
| CN103405293A (zh) * | 2013-08-16 | 2013-11-27 | 北京中科创睿科技有限公司 | 一种智能关节组件及使用其的智能假肢 |
| CN105498100A (zh) * | 2015-12-31 | 2016-04-20 | 上海联影医疗科技有限公司 | 一种监测生理运动曲线和体表轮廓的方法及系统 |
| CN105498100B (zh) * | 2015-12-31 | 2018-09-07 | 上海联影医疗科技有限公司 | 一种监测生理运动曲线和体表轮廓的方法及系统 |
| CN105987685A (zh) * | 2016-07-04 | 2016-10-05 | 西北农林科技大学 | 一种基于双目视觉的昆虫行为学研究辅助系统 |
| CN107811639A (zh) * | 2017-09-25 | 2018-03-20 | 天津大学 | 一种基于运动学数据确定步态站立中期的方法 |
| CN107811639B (zh) * | 2017-09-25 | 2020-07-24 | 天津大学 | 一种基于运动学数据确定步态站立中期的方法 |
| CN113164098A (zh) * | 2018-11-26 | 2021-07-23 | 林德拉有限责任公司 | 人类步态分析系统和方法 |
| CN111462171A (zh) * | 2020-01-10 | 2020-07-28 | 北京伟景智能科技有限公司 | 一种标记点检测跟踪方法 |
| CN112165372A (zh) * | 2020-08-12 | 2021-01-01 | 国网江西省电力有限公司经济技术研究院 | 一种配电mimo电力线通信传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102679964B (zh) | 2014-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102679964B (zh) | 步态参数测量系统及其数据处理装置和方法 | |
| Colyer et al. | A review of the evolution of vision-based motion analysis and the integration of advanced computer vision methods towards developing a markerless system | |
| D’Antonio et al. | Validation of a 3D markerless system for gait analysis based on OpenPose and two RGB webcams | |
| Destelle et al. | Low-cost accurate skeleton tracking based on fusion of kinect and wearable inertial sensors | |
| Hanley et al. | Differences between motion capture and video analysis systems in calculating knee angles in elite-standard race walking | |
| US11039762B2 (en) | Joint movement analysis system and method; knee-joint dynamic evaluation method and system | |
| Harsted et al. | Concurrent validity of lower extremity kinematics and jump characteristics captured in pre-school children by a markerless 3D motion capture system | |
| Mortazavi et al. | Stability of Kinect for range of motion analysis in static stretching exercises | |
| Vafadar et al. | A novel dataset and deep learning-based approach for marker-less motion capture during gait | |
| Keller et al. | Clothing condition does not affect meaningful clinical interpretation in markerless motion capture | |
| CN111401340B (zh) | 目标对象的运动检测方法和装置 | |
| Vafadar et al. | Assessment of a novel deep learning-based marker-less motion capture system for gait study | |
| CN107256390B (zh) | 基于手各个部位在三维空间位置变化的手功能评价装置及方法 | |
| Liu et al. | Simple method integrating OpenPose and RGB-D camera for identifying 3D body landmark locations in various postures | |
| Stenum et al. | Clinical gait analysis using video-based pose estimation: multiple perspectives, clinical populations, and measuring change | |
| Sy et al. | Estimating lower body kinematics using a lie group constrained extended Kalman filter and reduced IMU count | |
| Lin et al. | Using hybrid sensoring method for motion capture in volleyball techniques training | |
| KR102310964B1 (ko) | 근골격계 증상을 진단하기 위한 전자 장치, 방법, 및 시스템 | |
| WO2023169465A1 (zh) | 基于多源信息融合的人体运动监测方法、装置 | |
| US20210267494A1 (en) | Analysis system and method of joint movement | |
| CN114052725B (zh) | 基于人体关键点检测的步态分析算法设定方法以及装置 | |
| Abd Shattar et al. | Experimental setup for markerless motion capture and landmarks detection using OpenPose during dynamic gait index measurement | |
| Amini et al. | An improved technique for increasing the accuracy of joint-to-ground distance tracking in kinect v2 for foot-off and foot contact detection | |
| Hellmers et al. | Validation of a motion capture suit for clinical gait analysis | |
| Kumarasiri et al. | Gait analysis using RGBD sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili of Tsinghua Patentee after: Tsinghua Shenzhen International Graduate School Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili of Tsinghua Patentee before: GRADUATE SCHOOL AT SHENZHEN, TSINGHUA University |
|
| CP01 | Change in the name or title of a patent holder |