CN104408718B - 一种基于双目视觉测量的步态数据处理方法 - Google Patents
一种基于双目视觉测量的步态数据处理方法 Download PDFInfo
- Publication number
- CN104408718B CN104408718B CN201410682712.6A CN201410682712A CN104408718B CN 104408718 B CN104408718 B CN 104408718B CN 201410682712 A CN201410682712 A CN 201410682712A CN 104408718 B CN104408718 B CN 104408718B
- Authority
- CN
- China
- Prior art keywords
- gait
- curve
- index point
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 171
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000007619 statistical method Methods 0.000 claims abstract description 6
- 210000003141 lower extremity Anatomy 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 210000000629 knee joint Anatomy 0.000 claims description 5
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 210000004394 hip joint Anatomy 0.000 claims description 3
- 238000000205 computational method Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000010187 selection method Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 230000000877 morphologic effect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 210000003414 extremity Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000035479 physiological effects, processes and functions Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 206010008190 Cerebrovascular accident Diseases 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000020339 Spinal injury Diseases 0.000 description 1
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003518 caustics Substances 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000000474 heel Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公布了一种基于双目视觉测量的步态数据处理方法与曲线生成方法。该方法包括：从两路摄像机输出数据中同步获取同一时刻的两幅步态图像；对采集到的图像进行处理，包括去噪、二值化和形态学处理；根据标志点布局的几何关系，确定同一时刻两幅图像中标志点的匹配关系，通过双目测量原理计算出标志点的三维坐标；结合标志点的几何关系以及前后两组数据判断标志点的三维坐标数据是否有效,并由计算出的标志点三维坐标在线计算步态参数；根据步态参数在一个步态周期内的变化规律实时分割出步态周期；采用统计方法实现步态曲线的在线生成，并利用实时步态数据对步态曲线进行调整，形成最终符合测试者特征的步态曲线。
Description
技术领域
本发明涉及计算机视觉和信号分析技术领域，具体涉及基于双目视觉测量的人体步态参数数据处理与曲线生成。
背景技术
目前，随着社会步入老龄化阶段，脑卒中等脑血管疾病发病率不断上升，这类患者往往伴随着不同程度的肢体运动障碍。而脊椎损伤和脑外伤也会导致运动机能障碍，比脑卒中患者更为严重。康复医学中，通常采用减重步行训练来帮助这类患者提高下肢架肌肉力量，恢复下肢行走功能。传统的步行康复训练由人工实施，理疗师体力消耗大，且训练具有一定的随意性，难以保证训练得到的步态符合正常人步态的生理特征。采用外骨骼式下肢康复训练机器人进行康复训练可以减轻治疗师的劳动强度，保证了训练效果。为了保证外骨骼式下肢康复训练机器人对患者有良好的训练效果，使患者训练后的步态接近正常人的生理步态，需要获得正常人行走过程中的步态特征。
步态分析是康复医学中对患者评价的一种有效手段，包括对肢体和关节的运动学和动力学分析。通过步态数据测试，可以精确地对步态进行定量分析，如对步速，步长，步态周期，关节角等。步态数据对下肢康复训练可以提供更为科学的指导，对步态训练机器人合理规划训练过程，完善步态发生与运动控制有着重要的意义。同时步态分析也为康复效果评估提供了新的手段。
目前，测试人体步态特征参数的方法大体可以分为以下几种：基于角度传感器的关节转角测量，基于超声三点定位法的关节运动轨迹测量以及基于光学运动捕捉法的人体步态获取。基于角度传感器的测量通过在被测者关节处安装角度传感器，从而可以测出测试者的转动角度。但该方法对安装精度要求较高，在传感器主轴与关节转轴不同轴时测量误差较大，因而不够实用。基于超声三点定位法的测量方法具有直观的优点。但受限于只能测试一个点的位置，实用性较差。光学运动捕捉方法具有检测对象运动范围大、采样率高以及非接触等优点。比如，上海大学王企远博士在人体髋关节、膝关节、踝关节、脚跟以及脚尖五个部位分别固定标志点，并基于加拿大NDI公司的Optotrak Certus主动式光学运动捕捉系统进行步态数据采集。目前光学运动捕捉主要采用专用的专用的视觉系统，如OptotrakCertus，VICON等，大多基于专用的红外发射装置和摄像机，设备复杂，维护成本较高，移动不便。此外，这些系统在采集时通常将数据存储器起来在采集后再进行处理，不便于实时观察数据的变化，不能直观反映数据的特点，需要后续处理才能的到当时的步态曲线。
发明内容
现有的专用光学采集系统用于步态采集，系统操作复杂，难以实现步态数据的在线实时处理，不能直观的显示步态数据的变化规律。本发明提供一种针对双目视觉测量的步态数据处理与曲线生成方法，该方法能实现对数据的在线实时处理，分割与拟合，同步显示出步态参数的变化过程，具有系统简单，实用性强的特点。
本发明提出一种基于双目视觉测量的步态数据处理方法，用于实时处理从两路摄像机采集的测试者在跑步带上运动时下肢侧面图像，从而得到测试者在步行过程中的步态参数，测试者下肢侧面布置有多个标志点以显示肢体的位置，包括以下步骤：
步骤S1：测试者下肢两个外侧面对称设置标志点，标志点个数为3个以上；
步骤S2：利用两路摄像机分别采集测试者下肢两个外侧面的步态图像，通过图像读取装置从两路摄像机采集的图像中同步获取同一时刻采集到的两幅步态图像；
步骤S3：对两幅步态图像进行二值化处理，得到相应的二值图像；
步骤S4：对得到的二值图像进行数学形态学的开运算，去除噪声点；
步骤S5：对去除噪声点后的二值图像进行连通域分析，消除非标志点的前景目标，得到前景仅包含标志点的二值图像；
步骤S6：对两幅仅包含标志点的二值图像中的标志点进行识别和匹配，通过双目立体视觉原理计算出每个标志点的三维坐标；
步骤S7：重复步骤S2到步骤S7获得多个时刻的标志点三维坐标数据，构建位置轨迹曲线、角度曲线；依据步态周期对轨迹曲线进行分割，计算得到单步态周期的步态参数。
优选的，包括步态参数曲线在线生成的步骤：
步骤S71：选取一组用于构建步态参数曲线的步态周期，对所选取的每一个步态周期中的步态参数进行函数拟合，获得相应的单步态周期步态曲线；
步骤S72：采用统计方法挑选单步态周期步态函数拟合曲线组成步态曲线库；
步骤S73：在步态曲线库中挑选相似性较高的步态曲线进行曲线平均，形成基准步态曲线；
步骤S74：对新的步态周期中的步态参数进行函数拟合，获得相应的单步态周期步态曲线，并利用该曲线对基准步态曲线在线调整，以获得最优步态曲线。
优选的，步骤S72中的挑选方法为计算所有曲线的互相关系数，并设定阈值A，选取互相关系数大于阈值A的曲线；再对选取的曲线计算拟合方差，并设定阈值B，选取拟合方差小于阈值B的曲线构成步态曲线库。
优选的，步态曲线库中的曲线采用高斯加权方法进行平均处理。
优选的，步骤S74对于新的步态曲线，通过计算得到的曲线互相关系数和拟合方差判断曲线是否能加入步态曲线库，对可加入步态曲线库的曲线采用高斯加权方法对基准曲线进行调整。
优选的，步骤S3还包括二值图像的滤波处理。
优选的，步骤S6中标志点识别和匹配包括以下步骤：
步骤S31：获取标志点在测试者下肢的区域中心作为标志点在图像坐标系中的原始坐标，对原始坐标进行聚类，并依据标志点在测试者下肢的几何约束关系对聚类结果进行约束，将分为同一类的原始坐标进行平均作为该标志点在图像坐标系中的坐标；
步骤S32：依据标志点在图像坐标系中的坐标及标志点的几何约束关系，对两幅二值图像中的标志点进行识别，并对两幅二值图像中相同位置的标志点进行匹配。
优选的，步骤S7在计算步态参数前，根据标志点的几何约束关系对数据的有效性进行判断，如步骤S5中得到的有效连通区域个数小于标志点的个数或不符合标志点的几何约束关系，则判断该次数据无效，用相邻帧采集数据的插值的结果代替无效的三维点坐标；对无效的数据用相邻帧采集数据的插值结果代替。
优选的，步骤S7中步态参数的计算方法为：进行分割的方法为：根据标志点的运动轨迹分割出步态周期；使用梯度下降法对得到多时刻标志点三维坐标数据按照态周期进行实时分割，并将分割出的所有周期归一化到同一个尺度上对标志点三维坐标数据进行平均，得到单步态周期的步态参数。
优选的，测试者下肢两个外侧面标志点的设置应覆盖髋关节、膝关节、踝关节。
本发明提出的一种基于双目视觉测量的步态数据处理方法，通过两路摄行头捕捉安装有标志点的人体下肢侧面图像，采用形态学运算和连通域分析准确的获得了标志点在运动图像中的位置，同时结合标志点在测试者下肢的几何约束关系对多余的和匹配错误的标志点进行修改。依据双目视觉原理计算出标志点的三维坐标，进而计算出所需的步态参数。这种方法较其他方法更加简单直接，便于对数据进行后续处理，可以在嵌入式处理器中运行不需要复杂的硬件。本方法不仅保证了数据的处理的实时性，保证了测量精度，同时也增强了数据的可靠性和可信度。其次，本发明中的步态曲线在线生成方法，对不同周期的步态参数进行归一化叠加实时拟合出参数的变化曲线，可以实时得到最优的步态曲线。这种方法方便对步态实时评价和分析，同时利用高斯分布，估计了最接近人体生理学步态的最优曲线，为后续的分析提供了较好的数据支持，方便对数据进行分析。
附图说明
图1：基于双目视觉测量的步态数据处理方法流程图。
图2：步态数据曲线自动生成方法流程图。
图3：步态数据处理系统实施方案模块图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。应当指出的是，所描述的实施例仅旨在便于本发明的理解，而对其不起任何限定作用。
本发明以人体的生理学步态参数的处理和分析为背景，研究了基于双目视觉测量的步态数据处理和曲线生成问题。涉及到图像中标志点的提取与匹配、图像处理、点的有效性判断、步态周期的分割、步态曲线的拟合与生成。
如图1所示，本实施例的流程包括以下步骤：
步骤S1：测试者下肢两个外侧面对称设置标志点。
为了获取人体下肢各关节的位置，一般采取在人体表面粘贴标志点的方法。可以采用与人体和背景颜色差别较大的颜色标志点；也可以采用发射或反射红外光的红外标志点，通过在摄像头上加装红外的滤光片消除背景的影响。标志点采用束带或粘贴的方式固定于人体表面。对于在跑步带上进行的测试，标志点一般固定在人体下肢的侧面，便于在跑步带垂直方向设置图像采集设备进行采集。
标志点的数量一般不少于三个，根据数据处理的精度要求和处理设备的性能可以灵活设置不同数量的标志点。根据标志点数量的不同，标志点可以布置在关节处或沿肢体轴线的其他位置，应覆盖髋关节、膝关节、踝关节。
本实施例采用红外标志点，该类标志点可以将可见光背景滤除，方便了标志点在图像中的提取。
步骤S2：利用两路摄像机分别采集测试者下肢两个外侧面的步态图像，通过图像读取装置从两路摄像机采集的图像中同步获取同一时刻采集到的两幅步态图像。
步骤S3：对两幅步态图像进行二值化处理，得到相应的二值图像。
对步骤S2中获取的两幅图像进行处理，将标志点从背景中提取出来，以获得标志点在图像坐标系中的坐标。考虑到环境光照的变化和其他因素的影响，根据图像的整体灰度范围，使用阈值自适应的方法对图像进行二值化处理，将标志点和背景区分开来，从而在图像中将标志点提取出来，作为对标志点图像的预处理。
为了实现对环境的适应性，通过以下步骤获得自适应的阈值。
步骤(1)：一个初始化阈值T，可以自己设置或者根据随机方法生成；
步骤(2)：根据阈值图每个像素数据P(n,m)分为对象像素数据G1与背景像素数据G2，(n为行，m为列)；
步骤(3)：G1的平均值是m1，G2的平均值是m2，计算新的阈值T’＝(m1+m2)/2；
步骤(4)：回到步骤(2)，用新的阈值继续分像素数据为对象与背景像素数据，继续步骤(2)～步骤(4)，直到计算出来的新阈值等于上一次阈值。
如果采用颜色块标志点，可通过颜色匹配中的色差法，设定一定的颜色阈值对图像进行二值化处理，该方法可以作为本实施例的等同替换。
步骤S4：对得到的二值图像进行数学形态学的开运算，去除噪声点。
对得到的二值图像做数学形态学的开运算，去除图像中的噪声和干扰。具体为：在对图像进行二值化处理后，会出现以下干扰：(1)图像中一些与标志点特性相似的环境背景不能在二值化过程中滤除；(2)图像中的一些随机噪声也会在二值化之后在图像中形成亮点；(3)单独的标志点在前述步骤的图像中也可能被分裂为两个或多个亮点，从而导致标志点的匹配错误。为了去除这些干扰，本发明采用了数学形态学的开运算的方法。在开运算中，通过腐蚀方法去除小的对象，通过膨胀方法还原所保留对象的形状。还原的精度取决于形状和结构矩阵之间的相似性。在本实施例中，采用阶数为5的结构矩阵。通过采用连续膨胀对开运算后的图像进行重构，消除图像前景边缘突起并填充空洞，能够准确地恢复腐蚀之后的标志点的形状。
步骤S5：对去除噪声点后的二值图像进行连通域分析，消除非标志点的前景目标，得到前景仅包含标志点的二值图像。
对图像进行连通域分析，消除非标志点的前景目标，得到前景仅包含标志点的图像。具体为：搜索图像中所有连通前景区域并分别标号，作为基准连通域。根据实施例中标志点的大小和形状，确认基准区域是否为标志点的图像，对大小和形状不符合条件的基准连通区域作为非标志点区域予以排除，得到所有标志点在图像中对应的连通区域，完成了图像中标志点的提取。分别计算这些区域的中心，得到各个标志点在图像坐标系中的坐标值。
在一些实施例中，标志点的形状为圆形。为了提高计算标志点坐标的精度，可以对提取到的连通区域分别进行圆形拟合后再求取中心位置坐标。
步骤S6：对两幅仅包含标志点的二值图像中的标志点进行识别和匹配，通过双目立体视觉原理计算出每个标志点的三维坐标。
对标志点进行识别与匹配。具体为：通过标志点在图像坐标系中的坐标和标志点在测试者下肢的几何约束关系，对两幅图像中的标志点进行识别和标号，获得两幅图像中标志点的对应关系。通过双目视觉测量的原理，得到标志点三维空间的坐标。
在匹配前，先对标志点的坐标数据进行有效性判断。如果在步骤S5中得到的有效连通区域个数小于标志点的个数或不符合几何约束条件，则判断该次数据无效。对无效的三维点坐标，采用相邻帧采集数据的插值结果代替。
为了消除标志点在图像中由于运动产生拖影造成的标志点匹配错误，对步骤S5中得到的坐标点进行聚类，并根据几何关系对聚类结果进行约束，对分为同一类的坐标点认为是一个标志点，对这些坐标点的坐标进行平均作为该标志点的坐标。
步骤S7：重复步骤S2到步骤S7获得多个时刻的标志点三维坐标数据，构建位置轨迹曲线、角度曲线；依据步态周期对轨迹曲线进行分割，计算得到单步态周期的步态参数。
本实施例还包括步态参数曲线在线生成的步骤，如图2所示，采用统计方法实现步态曲线的在线生成，并利用实时步态数据对步态曲线进行调整，形成最终符合测试者特征的步态曲线。包括以下步骤:
步骤S71：选取一组用于构建步态参数曲线的步态周期，对所选取的每一个步态周期中的步态参数进行函数拟合，获得相应的单步态周期步态曲线。
根据标志点的运动轨迹变化规律实时分割出步态周期。为了方便处理，将不同周期的参数序列归一化到相同长度的步态周期，得到单个周期的生理学步态参数曲线。对单个周期步态参数序列进行函数拟合，以便于存储和分析。
在跑步带上进行步态测试时，测试者躯干相对于地面没有位移，在一个步态周期中，测试者下肢会在跑步带仿效达到前后极限位置。选择合适的标志点，以标志点在跑步带方向坐标值达到局部极大值或极小值作为分割步态周期的的标准，可以达到较好的分割效果。
本实施例采用梯度下降法搜索标志点在沿跑步带方向坐标的极值,以这些极值点作为步态周期分割点。在梯度下降法中求函数的极大值时，沿梯度方向搜索，可以最快的达到极大值点。梯度下降法的迭代公式是：
其中表示沿这梯度负方向的单位向量，ρk表示搜索步长。从搜索点ak开始搜索，通过迭代公式计算出一个搜索序列，选择一定的收敛条件结束迭代，获得函数的极大值。通过对函数重复使用梯度下降法可以实时得到极值点，对步态数据进行实时周期分割。
为了对不同周期的参数曲线进行处理，首先将每个周期的曲线做时间长度上的归一化，即对每个周期上的曲线在时间上进行拉伸或压缩，使所有的周期长度都相同。由于各种步态参数的曲线形状有各自的特征，因此对不同的参数曲线采用不同的函数进行拟合。
本实施例中，采用谐波函数对髋关节角度周期曲线进行拟合，例如可以采用如下的函数形式：
其中，a1，a2，a3，ω1，ω2，ω3，是实常数系数。
类似地，采用高斯函数的组合对膝关节角度进行拟合，拟合函数表达式为如下形式：
其中a1，a2，a3，b1，b2，b3，c1，c2，c3为实常数系数，e为自然常数。
用同样的方法，可以将其他步态参数曲线拟合成参数化的函数。
步骤S72：采用统计方法挑选单步态周期步态函数拟合曲线组成步态曲线库。
采用统计方法挑选由步骤S71获得的单步态周期步态函数拟合曲线组成步态曲线库。对分割得到的单步态周期曲线之间的互相关性进行判断，结合曲线的拟合方差，对相关性较小和拟合误差较大曲线予以剔除，由互相关性较高和拟合方差较小的一组曲线组成步态曲线库。具体步骤是，首先求取所有曲线的互相关系数，将与其他曲线互相关系数小于一定阈值的曲线排除在曲线库之外。互相关系数表示两个时间序列的相关程度，其表达式为：
其中互相关函数
然后，对加入曲线库的曲线，计算其曲线拟合方差，若拟合方差超过一定阈值，将其从曲线库剔除。
步骤S73：在步态曲线库中挑选相似性较高的步态曲线进行曲线平均，形成基准步态曲线。
对步态曲线库中进行曲线平均，形成基准步态曲线。为了使获得的基准步态曲线尽量反映测试者步态在多数情况下的真实状态，曲线库中的曲线采用高斯加权方法进行平均处理：按照高斯模型，与其他曲线相关程度较高的曲线将被赋予较大的权值，与其他曲线相关程度较小的曲线将被赋予较小的权值。通过这样的的加权平均，最终得到基准曲线。
步骤S74：依据步骤S71的方法，获取的实时单步态周期步态曲线，并对基准步态曲线在线更新调整，以获得最优的参数曲线。在步骤S73中获得了曲线库的基准曲线后，使用步骤S71中的方法继续获取单步态周期曲线，采用曲线相关性和曲线拟合方差判断曲线是否能加入曲线库中。根据曲线与已有基准曲线的相关性，使用高斯加权方法对新加入库中的曲线赋予一定的权值与基准曲线进行平均，对基准曲线进行调整直到获得较优的步态曲线。
如图3所示，本实施例通过图像处理模块1、图像处理模块2、数据处理模块1、数据处理模块2四个模块依次处理两个摄像头采集上来的数据，四个模块具体描述如下：
图像处理模块1：该模块主要功能是从摄像机获取图像，对图像进行预处理，完成二值化和数学形态学运算。由于这些运算所需的计算量较大，为了保证处理的实时性，采用可编程逻辑门整列(FPGA)完成这些操作。
图像处理模块2：该模块主要完成图像的连通域分析和标志点的匹配，并计算出标识点的三维坐标。这些功能可由数字信号处理器(DSP)实现，例如可以采用TMS320C64x系列的DSP实现该功能。
数据处理模块1：该模块实现步态数据的计算和基本处理，存储相应的步态数据序列。可以由计算机软件实现。
数据处理模块2：该模块主要实现步态周期分割、步态曲线以及步态曲线库建立，最终完成最优步态曲线生成。该模块也可实现步态曲线数据的实时显示。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于双目视觉测量的步态数据处理方法，其特征在于，包括以下步骤：
步骤S1：测试者下肢两个外侧面对称设置标志点，标志点个数为3个以上；
步骤S2：利用两路摄像机分别采集测试者下肢两个外侧面的步态图像，通过图像读取装置从两路摄像机采集的图像中同步获取同一时刻采集到的两幅步态图像；
步骤S3：对两幅步态图像进行二值化处理，得到相应的二值图像；
步骤S4：对得到的二值图像进行数学形态学的开运算，去除噪声点；
步骤S5：对去除噪声点后的二值图像进行连通域分析，消除非标志点的前景目标，得到前景仅包含标志点的二值图像；
步骤S6：对两幅仅包含标志点的二值图像中的标志点进行识别和匹配，通过双目立体视觉原理计算出每个标志点的三维坐标；
步骤S7：重复步骤S2到步骤S7获得多个时刻的标志点三维坐标数据，构建位置轨迹曲线、角度曲线；依据步态周期对轨迹曲线进行分割，计算得到单步态周期的步态参数；
包括步态参数曲线在线生成的步骤：
步骤S71：选取一组用于构建步态参数曲线的步态周期，对所选取的每一个步态周期中的步态参数进行函数拟合，获得相应的单步态周期步态曲线；
步骤S72：采用统计方法挑选单步态周期步态函数拟合曲线组成步态曲线库；
步骤S73：在步态曲线库中挑选相似性较高的步态曲线进行曲线平均，形成基准步态曲线；
步骤S74：对新的步态周期中的步态参数进行函数拟合，获得相应的单步态周期步态曲线，并利用该曲线对基准步态曲线在线调整，以获得最优步态曲线；
所述步骤S72具体包括：求取所有曲线的互相关系数，将与其他曲线互相关系数小于一定阈值的曲线排除在曲线库之外，对分割得到的单步态周期曲线之间的互相关性进行判断，由互相关性较高和拟合方差较小的一组曲线组成步态曲线库。
2.如权利要求1所述的方法，其特征在于，步骤S72中的挑选方法为计算所有曲线的互相关系数，并设定阈值A，选取互相关系数大于阈值A的曲线；再对选取的曲线计算拟合方差，并设定阈值B，选取拟合方差小于阈值B的曲线构成步态曲线库。
3.如权利要求2所述的方法，其特征在于，步态曲线库中的曲线采用高斯加权方法进行平均处理。
4.如权利要求3所述的方法，其特征在于，步骤S74对于新的步态曲线，通过计算得到的曲线互相关系数和拟合方差判断曲线是否能加入步态曲线库，对可加入步态曲线库的曲线采用高斯加权方法对基准曲线进行调整。
5.如权利要求1-4中任一项所述的方法，其特征在于，步骤S3还包括二值图像的滤波处理。
6.如权利要求5所述的方法，其特征在于，步骤S6中标志点识别和匹配包括以下步骤：
步骤S31：获取标志点在测试者下肢的区域中心作为标志点在图像坐标系中的原始坐标，对原始坐标进行聚类，并依据标志点在测试者下肢的几何约束关系对聚类结果进行约束，将分为同一类的原始坐标进行平均作为该标志点在图像坐标系中的坐标；
步骤S32：依据标志点在图像坐标系中的坐标及标志点的几何约束关系，对两幅二值图像中的标志点进行识别，并对两幅二值图像中相同位置的标志点进行匹配。
7.如权利要求6所述的方法，其特征在于，步骤S7在计算步态参数前，根据标志点的几何约束关系对数据的有效性进行判断，如步骤S5中得到的有效连通区域个数小于标志点的个数或不符合标志点的几何约束关系，则判断该次数据无效，用相邻帧采集数据的插值的结果代替无效的三维点坐标；对无效的数据用相邻帧采集数据的插值结果代替。
8.如权利要求7所述的方法，其特征在于，步骤S7中步态参数的计算方法为：进行分割的方法为：根据标志点的运动轨迹分割出步态周期；使用梯度下降法对得到多时刻标志点三维坐标数据按照态周期进行实时分割，并将分割出的所有周期归一化到同一个尺度上对标志点三维坐标数据进行平均，得到单步态周期的步态参数。
9.如权利要求8所述的方法，其特征在于，测试者下肢两个外侧面标志点的设置应覆盖髋关节、膝关节、踝关节。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410682712.6A CN104408718B (zh) | 2014-11-24 | 2014-11-24 | 一种基于双目视觉测量的步态数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410682712.6A CN104408718B (zh) | 2014-11-24 | 2014-11-24 | 一种基于双目视觉测量的步态数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104408718A CN104408718A (zh) | 2015-03-11 |
| CN104408718B true CN104408718B (zh) | 2017-06-30 |
Family
ID=52646347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410682712.6A Active CN104408718B (zh) | 2014-11-24 | 2014-11-24 | 一种基于双目视觉测量的步态数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104408718B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108022248A (zh) * | 2016-11-03 | 2018-05-11 | 北京航空航天大学 | 一种基于视觉采集设备的下肢步态康复评估系统 |
| CN107179069B (zh) * | 2017-07-06 | 2019-09-06 | 哈尔滨工业大学 | 基于双目立体视觉的卫星太阳帆板挠性运动参数测量装置及方法 |
| CN107967687B (zh) * | 2017-12-21 | 2018-11-23 | 浙江大学 | 一种获取目标物行走姿态的方法与系统 |
| CN108846443B (zh) * | 2018-06-22 | 2020-04-03 | 成都新西旺自动化科技有限公司 | 一种基于海量图像的视觉对位算法筛选及参数优化方法 |
| CN110135011B (zh) * | 2019-04-24 | 2023-04-25 | 华南理工大学 | 一种基于视觉的柔性板振动形态可视化方法 |
| CN111814352B (zh) * | 2020-07-23 | 2022-07-01 | 上海工程技术大学 | 一种基于Python和傅立叶级数对文胸防震功能进行量化的方法 |
| CN112084980B (zh) * | 2020-09-14 | 2024-05-28 | 北京数衍科技有限公司 | 行人的脚步状态识别方法和装置 |
| CN112837337B (zh) * | 2021-02-04 | 2022-08-12 | 成都国翼电子技术有限公司 | 一种基于fpga的海量像素分块的连通区域识别方法及装置 |
| CN112998700B (zh) * | 2021-05-26 | 2021-09-24 | 北京欧应信息技术有限公司 | 用于辅助对象运动功能评估的设备、系统和方法 |
| CN113499173B (zh) * | 2021-07-09 | 2022-10-28 | 中国科学技术大学 | 基于实时实例分割的下肢假肢地形识别与运动预测系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1286962A (zh) * | 2000-10-09 | 2001-03-14 | 清华大学 | 一种人体步态图像实时检测方法 |
| CN101344965A (zh) * | 2008-09-04 | 2009-01-14 | 上海交通大学 | 基于双目摄像的跟踪系统 |
| CN103106659A (zh) * | 2013-01-28 | 2013-05-15 | 中国科学院上海微系统与信息技术研究所 | 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法 |
| CN103116354A (zh) * | 2013-01-30 | 2013-05-22 | 同济大学 | 一种双足机器人实时步态轨迹生成方法 |
| CN103198492A (zh) * | 2013-03-28 | 2013-07-10 | 沈阳航空航天大学 | 一种人体运动捕获方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003262075A1 (en) * | 2003-09-11 | 2005-04-06 | Cubic, Inc. | Three-dimensional measuring equipment |
-
2014
- 2014-11-24 CN CN201410682712.6A patent/CN104408718B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1286962A (zh) * | 2000-10-09 | 2001-03-14 | 清华大学 | 一种人体步态图像实时检测方法 |
| CN101344965A (zh) * | 2008-09-04 | 2009-01-14 | 上海交通大学 | 基于双目摄像的跟踪系统 |
| CN103106659A (zh) * | 2013-01-28 | 2013-05-15 | 中国科学院上海微系统与信息技术研究所 | 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法 |
| CN103116354A (zh) * | 2013-01-30 | 2013-05-22 | 同济大学 | 一种双足机器人实时步态轨迹生成方法 |
| CN103198492A (zh) * | 2013-03-28 | 2013-07-10 | 沈阳航空航天大学 | 一种人体运动捕获方法 |
Non-Patent Citations (1)
| Title |
|---|
| 步行康复训练机器人助行腿的步态规划与运动控制;王企远;《中国博士学位论文全文数据库 信息科技辑》;20111015;1-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104408718A (zh) | 2015-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104408718B (zh) | 一种基于双目视觉测量的步态数据处理方法 | |
| CN107174255B (zh) | 基于Kinect体感技术的三维步态信息采集与分析方法 | |
| CN107578019B (zh) | 一种视觉触觉融合的步态识别系统及识别方法 | |
| Chiari et al. | Human movement analysis using stereophotogrammetry: Part 2: Instrumental errors | |
| CN104598867B (zh) | 一种人体动作自动评估方法及舞蹈评分系统 | |
| CN114676956A (zh) | 基于多维数据融合的老人跌倒风险预警系统 | |
| CN101894278B (zh) | 基于变结构多模型的人体运动跟踪方法 | |
| CN110334573B (zh) | 一种基于密集连接卷积神经网络的人体运动状态判别方法 | |
| CN110276271A (zh) | 融合ippg和深度信息抗噪声干扰的非接触心率估计法 | |
| CN102679964B (zh) | 步态参数测量系统及其数据处理装置和方法 | |
| CN106210269A (zh) | 一种基于智能手机的人体动作识别系统及方法 | |
| CN110755085B (zh) | 基于关节活动度与运动协调性的运动功能评估方法及设备 | |
| CN106295544A (zh) | 一种基于Kinect的视角不变性步态识别方法 | |
| CN113239797B (zh) | 人体动作识别方法、装置及系统 | |
| CN114495267A (zh) | 基于多维数据融合的老人跌倒风险评估方法 | |
| CN112668549B (zh) | 行人姿态分析方法、系统、及终端、存储介质 | |
| CN106874874A (zh) | 一种运动状态的识别方法及装置 | |
| CN109559373B (zh) | 一种基于2d人体图像进行量体的方法及系统 | |
| CN113283373B (zh) | 一种用于增强深度相机检测肢体运动参数的方法 | |
| CN113658211A (zh) | 一种用户姿态的评估方法、装置以及处理设备 | |
| CN107802268B (zh) | 一种人体肘关节前屈后伸及前臂旋内旋外瞬时螺转轴测量方法 | |
| CN116226727A (zh) | 一种基于ai的运动识别系统 | |
| CN111401340A (zh) | 目标对象的运动检测方法和装置 | |
| CN114271814A (zh) | 一种基于Kinect的卒中风患者康复训练与评估方法及系统 | |
| CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |