CN112766142B - 足底压力图像处理方法、识别方法及步态分析系统 - Google Patents

足底压力图像处理方法、识别方法及步态分析系统 Download PDF

Info

Publication number
CN112766142B
CN112766142B CN202110053500.1A CN202110053500A CN112766142B CN 112766142 B CN112766142 B CN 112766142B CN 202110053500 A CN202110053500 A CN 202110053500A CN 112766142 B CN112766142 B CN 112766142B
Authority
CN
China
Prior art keywords
pressure
image
layer
sole
maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110053500.1A
Other languages
English (en)
Other versions
CN112766142A (zh
Inventor
邓斌
罗江涛
高天时
崔子健
王江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110053500.1A priority Critical patent/CN112766142B/zh
Publication of CN112766142A publication Critical patent/CN112766142A/zh
Application granted granted Critical
Publication of CN112766142B publication Critical patent/CN112766142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A61B5/1038—Measuring plantar pressure during gait
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供足底压力图像处理方法、识别方法及步态分析系统，图像处理方法在区域划分之前进行了压力最大帧选取、角度调整、图像切割，为自动区域划分，使划分的区域能在一定程度上反映足部解剖结构，而本申请中进行压力最大帧选取和角度调整，能够减小不同的足底压力图像中压力的分布差异的问题，给出统一的划分标准，COP轨迹部分不仅提供了全脚掌的轨迹，还提供了各个区域的轨迹，提取了行走过程足部不同解剖结构的受力特征，可以针对某个区域进行单独分析，为后期进一步分析研究奠定了基础。足底压力图像识别采用基于多任务学习方法构建的卷积神经网络实现，足底压力信号采集操作简便、精度高，在小样本情况下获取较高识别率。

Description

足底压力图像处理方法、识别方法及步态分析系统
技术领域
本发明涉及智能传感与生物工程领域，特别是一种基于压阻式压力感应步道的足底压力图像处理方法、识别方法及步态分析系统。
背景技术
行走是人最基本的运动方式之一，而步态是行走过程中特有的行为特征，能有效反映人体下肢结构、生理功能甚至精神状态等方面的信息。因此，步态分析对医疗、康复、假肢设计、体育训练等领域的研究具有重要价值和意义。
目前，主要有基于视频摄像系统、穿戴式压力采集系统和平板式压力采集系统的步态分析方法，其中平板式压力采集系统因为操作简便、空间分辨率较高等特点而被广泛关注。但是压力板采集的足底压力数据具有高维时空和非线性等特点，常规的基于统计学的分析方法提取特征不全面，难以充分反映行走过程的足底压力特征。
近年来，机器学习因为具有较强的自适应学习和非线性映射能力而被广泛应用于复杂数据的分析，为足底压力图像识别提供了技术支持。目前在足底压力图像识别中常采用的机器学习方法包括卷积神经网络和长短期记忆网络等，其实现与高识别率的获取依托于大量数据集，由于采集一个人的大量足底压力图像样本需要让他在压力板上反反复复地行走，实际生活中难以实现让某个人在一定区域内反复行走来采集大量足底压力图像样本。
发明内容
针对现有技术存在的不足，提出一种基于压阻式压力感应步道的足底压力图像处理方法、识别方法及步态分析系统。该系统一方面利用压阻式压力感应步道实时采集人体行走过程中的足底压力信号，另一方面在上位机中实现足底压力图像的特征提取和识别。在足底压力图像识别部分，用多任务学习方法改进卷积神经网络，在样本少的情况下能取得较高的识别率。足底压力图像处理方法，进行区域划分前采取了足底压力最大帧选取、角度调整、图像切割，然后实现自动区域划分，使划分出来的区域在一定程度上和足部不同的解剖结构相对应，为后期医学诊断提供基础。
本发明解决所述技术问题采用的技术方案是：
一种足底压力图像处理方法，该方法主要内容包括：
选取单次实验采集的足底压力图像中所有点的压力值相加的压力总和最大的一帧图像作为关键帧，关键帧即为压力最大帧，压力最大帧图像中足底与地面接触面积最大、压力分布最完整；
调整足底压力最大帧图像角度，使压力最大帧图像的轴线与水平线的夹角为零，以矫正由于部分实验者步行时的特殊姿态造成的足底压力分布在水平方向上的偏离；
切割足底压力最大帧图像，保留包含全脚掌压力分布的最小矩形区域，去除其余不包含压力信息的区域；
将最小矩形区域内的压力图像根据人体足部解剖结构和行走过程足底受力特征将足底压力区域由足跟到脚趾分为足跟、足弓、第一跖趾关节、第四五跖趾关节、第一趾骨、其余趾骨六个大小不同的区域；按照每个区域的行数和列数相对于最小矩形框的长宽比例进行自动划分，为6个大小不同的区域，每个区域对应不同的足部解剖结构；
计算全脚掌以及各区域的足底COP移动轨迹，反映人行走过程中的重心移动以及足部不同部位的受力状态变化。该图像处理方法能针对不同区域对不同部位进行特征提取，每个区域对应足底解剖结构，有助于为医生后期判断生理状态、膝关节是否有相关疾病、分析人在行走过程中的疲劳状态，提供数据参考。
一种足底压力图像识别方法，该方法包括：基于多任务学习构建CNN模型，该网络具有单输入双输出结构，能同时完成性别识别和体重范围识别这两项识别任务；两项任务共享尽量多的早期处理层(卷积层-池化层-批量归一化层-卷积层-池化层-批量归一化层)，同时具有单独的后期处理层(卷积层-池化层-批量归一化层-全连接层)和输出层，输出层分别输出两项任务的识别结果。CNN模型输入数据为50×50的足底压力最大帧图像，每张图像均具有两个属性不同的标签。两个标签分别是：性别标签{0,1}对应男或女，体重标签{0,1,2,3}对应体重范围50～59、60～69、70～79、80～89kg，输出是：性别识别率、体重范围识别率。
一种基于压阻式压力感应步道的步态分析系统，该分析系统内加载有上述的图像处理方法或者加载有上述的基于多任务学习的CNN模型。
该系统包括足底压力传感器1、数据采集模块2、USB数据传输模块3和上位机4；足底压力传感器1是由多块规格相同的压力板拼接而成的压力感应步道，实时采集人体行走过程中的足底压力信号；数据采集模块2接收足底压力传感器1输出的模拟信号，并实现放大、滤波、AD转换；USB数据传输模块3接收上位机4输出的控制信号，将转换后的足底压力数据上传至上位机4；上位机4中包括足底压力信号采集操作界面5、足底压力图像特征提取界面6和足底压力图像识别7；
足底压力信号采集操作界面5用于控制足底压力信号采集开始与停止、热力图显示、数据保存、数据显示；
足底压力图像特征提取界面6包含压力最大帧图像选取、图像角度调整、图像切割、自动区域划分、足底COP轨迹计算；
足底压力图像识别7采用基于多任务学习的CNN模型。
与现有技术相比，本发明的有益效果是：
1)针对现有技术中因为行走过程中足底与地面的接触面积以及不同部位所受的压力一直处在变化之中，使足底压力图像中足印的区域块变化无常，没有反映足部不同区域压力特征的统一规律，所以现有的足底压力区域划分方法主要是手动划分的问题。本发明采用了一种基于人体足部生物解剖结构和行走过程足底受力特征的能够自动进行区域划分的图像处理方法，行走过程步态周期主要分为4个支撑相：足跟触地阶段(足跟压力明显)、前足触地阶段(跖趾关节压力明显)、全足支撑阶段(足跟、足弓、跖趾关节、趾骨压力均较明显)、前足离地阶段(跖趾关节、趾骨压力较明显，尤其是第一跖趾关节、第四五跖趾关节、第一趾骨)，所以参考足部解剖结构的位置和分布，将足底压力区域由足跟到脚趾分为足跟、足弓、第一跖趾关节、第四五跖趾关节、第一趾骨、其余趾骨六个大小不同的区域，节省人力的同时能充分地体现足底压力的结构特征，并有效反映行走过程足部各结构受力特征。计算全脚掌以及各区域的COP移动轨迹，反映人体行走过程中的重心移动以及足部不同部位的受力状态变化。
2)本发明图像处理方法在区域划分之前进行了压力最大帧选取、角度调整、图像切割，为自动区域划分，使划分的区域能在一定程度上反映足部解剖结构，而本申请中进行压力最大帧选取和角度调整，能够减小不同的足底压力图像中压力的分布差异的问题，给出统一的划分标准。COP轨迹部分不仅提供了全脚掌的轨迹，还提供了各个区域的轨迹，可以针对某个区域进行单独分析，为后期进一步分析研究奠定了基础。
3)本发明申请最主要的一个创新点是用多任务学习方法来改进卷积神经网络，使得在足底压力图像样本少的情况下也能获取较高的识别率，并应用到足底压力图像识别这个领域，能够分析足底压力数据的高维时空和非线性特性。基于多任务学习方法构建了一种单输入双输出CNN模型，同时识别体重范围和性别两种特征，在样本容量小的情况下仍能获取较高识别率，多任务的网络结构在提升单任务性能的同时，获取对足底压力特征更加全面和准确的表达。该模型的搭建给出了具体的层结构设置、确定层间连接方式、不同层的参数设置、分支点的选取，获得一个单输入双输出的CNN，能共享尽量多的早期处理层，并在两个识别任务中均具有较快的收敛速度和较高准确率。
4)本发明设计的步态分析系统集足底压力采集、足底压力图像特征提取和足底压力图像识别于一体，可实时采集人体步行过程中的足底压力信号并完成足底压力图像分析，提高了小样本情况下的足底压力图像识别准确率，为步态分析提供了一种可行途径。
附图说明
图1是本发明的一种基于压阻式压力感应步道的步态分析系统整体结构图
图2是本发明的足底压力图像特征提取流程图
图3是本发明的足底COP轨迹计算流程图
图4是本发明的足底压力图像区域划分示意图
图5是本发明的采样操作界面示意图；
图6是本发明的足底压力图像特征提取操作界面示意图；
图7是本发明的CNN模型结构示意图。
图中：1、足底压力传感器；2、数据采集模块；3、USB数据传输模块；4、上位机；5、足底压力信号采集操作界面；6、足底压力图像特征提取界面；7、足底压力图像识别。
具体实施方式
下面结合附图对本发明作进一步说明，但并不以此作为本申请保护范围的限定。
本发明提供一种基于压阻式压力感应步道的足底压力图像处理方法、识别方法及步态分析系统，该系统结构如图1所示，主要包括足底压力传感器1、数据采集模块2、USB数据传输模块3和上位机4。足底压力传感器实时采集人体行走过程中的足底压力信号。数据采集模块接收足底压力传感器输出的模拟信号，并实现放大、滤波、AD转换等功能。USB数据传输模块接收上位机输出的控制信号，将转换后的足底压力数据上传至上位机。上位机4主要包括足底压力信号采集操作界面5、足底压力图像特征提取界面6，同时在上位机4中实现足底压力图像识别7。在上位机中实现足底压力图像特征提取和识别等功能。该系统的优势在于数据采集操作简便、精度高，基于多任务学习方法构建了CNN模型，提高小样本情况下的别率，除此之外还提取了足部不同解剖结构的压力特征。
以下对一种基于压阻式压力感应步道的足底压力图像处理方法、识别方法及步态分析系统的整体实现加以说明：
足底压力传感器1为多块压阻式压力测试板组成的压力感应步道。本实施例中采用6块压力测试板拼接而成的压力感应步道，每块压力板共50×50＝2500个感应点，单点传感器直径5mm，单点传感器量程为0～5kg，触发力100g，每7×7mm一个感应点。压力感应步道采样精度不低于16位，以不低于20Hz的频率实时采集人体行走过程中的足底压力。数据采集模块2采用AD7765芯片，含有24位模数转换器，输出数据速率可达156kHz，本系统将AD7765的转换率设置为16位，满足系统需求。USB数据传输模块3接收上位机4输出的控制信号，将转换后的足底压力数据上传至上位机4。
上位机4主要包括足底压力信号采集操作界面5、足底压力图像特征提取界面6、足底压力图像识别7。如图5所示，足底压力信号采集操作界面5主要用于控制信号采集开始与停止、热力图显示、数据保存、数据显示，采样操作界面5：包括采集控制界面、设置界面、特征界面、数据显示界面和帮助界面。采集控制界面中的开始与暂停按钮用于控制足底压力采集的开始与停止，打开文件与保存文件按钮用于原始数据加载和对采集的足底压力图像数据进行保存，端口设置按钮用于通道选择(步道由6块压力板组成，有6个通道，通过设置端口来选择显示哪一个通道的数据)；设置界面用于设置采样频率、热力图参数；特征界面主要输入并显示实验者性别、体重、身高等基本信息；数据显示界面用于将数据显示为压力值数字矩阵形式；帮助界面用于界面操作说明和指导。
足底压力图像特征提取界面6(参见图6)：打开文件按钮用于原始足底压力图像数据加载；保存文件按钮用于对处理后的数据进行保存及选择存储路径；帮助按钮用于界面操作说明和指导；压力图像处理下拉菜单包括6个选项，可以一项一项地勾选，查看每一步处理后的效果，也可以直接勾选“全选”，直接查看所有处理步骤完成后的效果等。如图6所示，足底压力图像特征提取界面6主要包括压力最大帧图像选取、图像角度调整、图像切割、自动区域划分、足底COP轨迹计算。
足底压力图像识别7采用基于多任务学习方法构建的CNN实现。
足底压力图像处理方法如图2和图3所示，主要内容为：
(1)选取足底压力图像关键帧
每次实验获得多帧足底压力图像，构成一组数据，在这一组数据中选取单次实验中足底压力图像中所有点的压力值相加的压力总和最大的一帧图像作为关键帧。在采集过程中，受设置的采样频率和人体步行周期的影响，每一步产生多张压力图像，由于人体步行周期不同阶段的足底接触面积不同以及步态不稳定等情况，存在差异大的足底压力数据。但是压力板受力总和最大时足底压力数据均具有最大的相似性且足底压力特征较明显，因此选取压力板所受压力最大时采集到的压力图像作为关键帧。每踩一步会产生多帧足底压力图像，每一帧规格都是50×50,计算每一帧图像压力(50×50所有点的压力值相加)，取压力最大的一帧为关键帧。
(2)调整足底压力图像角度
部分实验者行走时存在“外八字”或“内八字”等特殊姿态，使足底压力分布在水平方向上出现偏离，影响后续的数据处理，因此需要对足底压力图像进行角度调整。具体方法为搜索所有压力值不为零的像素点(这些点组合起来就是一个脚印)以及它们的横纵坐标，通过对像素点的一阶线性拟合计算压力图像的轴线，得到一条在脚印长轴方向上的轴线，此时所有的点大致均匀分布在轴线的两侧，这条轴线与水平方向有一定的夹角(锐角)，根据这个夹角对脚印进行旋转，最后使轴线与水平线的夹角为0，即根据轴线的斜率将压力图像旋转至水平方向，使最终的轴线斜率为零。
(3)足底压力图像切割
选取压力最大帧图像非零数据点的坐标范围，先找出所有压力值不为0的点的横纵坐标，最小的横坐标和最大的横坐标就是横坐标范围的下限和上限，最小的纵坐标和最大的纵坐标就是纵坐标范围的下限和上限，划定能够包含全脚掌压力数据的最小矩形框，去除最小矩形框以外的像素点，使后续的数据计算与特征提取更加准确，同时减小后续计算量。
(4)足底压力图像自动区域划分
结合人体足部生物解剖结构和足底受力特征将足底压力图像从足跟到脚趾自动划分为图4所示的第一趾骨(1)、其余趾骨(2)、第一跖趾关节(3)、第四五跖趾关节(4)、足弓(5)、足跟(6)六个大小不同的区域，分别记为第一区、第二区、第三区、第四区、第五区、第六区，符合医学研究中根据人体足部结构划分的足部受力分区情况以及人体步行周期不同阶段的足底受力特点，充分反映足底不同结构的受力特征。行走过程步态周期主要分为4个支撑相：足跟触地阶段(足跟压力明显)、前足触地阶段(跖趾关节压力明显)、全足支撑阶段(足跟、足弓、跖趾关节、趾骨压力均较明显)、前足离地阶段(跖趾关节、趾骨压力较明显，尤其是第一跖趾关节、第四五跖趾关节、第一趾骨)，所以参考足部解剖结构分布将足底压力区域由足跟到脚趾分为足跟、足弓、第一跖趾关节、第四五跖趾关节、第一趾骨、其余趾骨六个大小不同的区域。按照每个区域的行数和列数相对于最小矩形框的长宽比例进行划分，而不是按绝对行数和列数划分。因为不同的脚底压力区域大小形态不同，各个区域的绝对大小不同，但是一般情况下足部这六个区域的相对位置和大小比例相差较小。
具体分区方法为：
第一区(第一趾骨(1))和第二区(其余趾骨(2))描述脚趾部分受力情况，长度均为最小矩形框总长的1/6，宽度为总宽的1/2，横纵坐标划分为：
x1∈[(5(m-1)/6)+1，m-1]，y1∈[((n-1)/2)+1)，n-1]
x2∈[(5(m-1)/6)+1，m-1]，y2∈[0，(n-1)/2]
式中，m、n表示最小矩形框的总行数和总列数，x、y表示压力图像各点行数和列数索引。x1、y1代表第一趾骨(1)区域的横纵坐标范围，x2、y2代表其余趾骨(2)区域的横纵坐标范围。
图4展示的是左脚脚尖朝右的情况，这种情况下划分出的第一趾骨(1)、其余趾骨(2)就是脚尖，足跟(6)就是脚跟。如果是左脚脚尖朝左，就将脚印旋转180°再进行划分。脚尖朝向的判别方法是：先找出所有压力值不为0的点的横纵坐标，并找出所有横坐标的中值横坐标，再计算同一横坐标下最大纵坐标与最小纵坐标的差值，并找出这个差值的最大值，如果差值的最大值对应的横坐标在中值横坐标的右侧，那么判定脚尖朝右，否则脚尖朝左。人的脚印最宽的地方在前脚掌，找到脚印中最宽的一条线，如果这条线偏向脚印的右半区域，说明脚印右边是前脚掌，左边是脚跟。
第三区(第一跖趾关节(3))和第四区(第四五跖趾关节(4))描述前脚掌受力情况，长度均为最小矩形框总长的1/3，宽度为总宽的1/2，横纵坐标划分为：
x3∈[((m-1)/2)+1，(5(m-1)/6)]，y3∈[((n-1)/2)+1)，n-1]
x4∈[((m-1)/2)+1，(5(m-1)/6)]，y4∈[0，(n-1)/2]
第五区(足弓(5))描述足弓部分受力情况，长度为最小矩形框总长的1/6，宽度为总宽，横纵坐标划分为：
x5∈[((m-1)/3)+1，(m-1)/2]，y5∈[0，n-1]
第六区(足跟(6))描述足跟部分受力情况，长度为最小矩形框总长的1/3，宽度为总宽，横纵坐标划分为：
x6∈[0，(m-1)/3]，y6∈[0，n-1]
(5)计算足底COP移动轨迹
COP轨迹是人体在行走过程中足部和地面接触作用力位置、大小、分布以及力度顺序的综合结果，COP轨迹的变化与下肢关节周围肌肉的变化及整个身体重心运动相关联，间接反映了人体行走运动姿态。因此COP轨迹不仅是评估人行走能力、平衡能力的重要指标，同时也为研究下肢肌肉活动提供了方法。
COP轨迹的计算方法如图3所示，先按照公式(1)计算每一帧压力图像的COP，
Figure BDA0002899837280000081
其中，XC和YC表示COP的横纵坐标，Pi表示图像中任意一个像素点的压力值，xi和yi表示该点的横纵坐标。通过将每一帧图像计算出的COP相连接，得出实验者一步的COP移动轨迹。
首先读取所有帧的数据，读出的数据形式是行数为r,列数为50的数字矩阵，数字代表压力大小；然后计算数字矩阵包含的图像帧数，因为每50行*50列为一帧，所以图像帧数f＝r/50；e没有实际含义，用于计数，设置初始值e＝1表示从第一帧图像开始计算COP；读取出第e帧图像；读取出图像后根据COP计算公式，即公式(1)计算第e帧图像的COP；比较当前图像帧数e和总帧数f的大小，如果e>＝f不成立，表示当前图像不是最后一帧，令e＝e+1，读取下一帧图像并计算COP，如果e>＝f，表示当前图像是最后一帧图像，此时每一帧图像都已经完成COP计算，最后将每一帧图像计算出的COP依次连接，就得到了COP移动轨迹。
足底压力图像识别采用具有自适应学习和非线性映射能力的CNN实现。实验采集的数据是包含足底压力信息的原始图像，本发明选择CNN处理图像问题，能直接处理原始图像并自主学习一系列抽象特征，实现识别。但是普通CNN模型需要大量样本训练网络以获取高识别率，在目前仍缺乏大量足底压力图像样本的情况下，普通CNN不适用于足底压力图像识别。本申请将多任务学习用在CNN模型上，确定出能在性别识别和体重范围识别这两个任务上都取得较高识别率的结构，能有效提高小样本情况下的识别率。
本发明基于多任务学习构建了CNN模型的过程是：
(1)CNN模型的构建
基于多任务学习方法构建了具有单输入双输出结构的CNN模型，能够根据足底压力图像同时识别实验者的性别和体重范围，在提升单个任务性能的同时获得对足底压力特征更加完整和准确的表达。构建过程主要分为两部分：首先构建单任务CNN模型，通过调整结构及参数选取在性别识别和体重识别两个任务中均具有优良性能的结构；然后寻找合适的分支点，原则为共享尽量多的早期处理层，同时具有较快的收敛速度和高准确率。CNN模型包括共享层和两支分支，共享层包括卷积层C1-池化层P1-批量归一化层BN1-卷积层C2-池化层P2-批量归一化层BN2，每一支分支均包含卷积层-池化层-批量归一化层-全连接层。从功能上看，该CNN包括输入层、隐含层和输出层，隐含层又包括卷积层、最大池化层和批量归一化层。其具体结构如图7所示，各层详细参数见下表：
Figure BDA0002899837280000091
Figure BDA0002899837280000101
CNN输入的原始图像为50×50，足底压力传感器阵列为50×50，网络输入的图像直接为实际采集到的足底压力图像，每个图像具有两个标签，分别为性别标签和体重范围标签。
卷积操作原理为该层的卷积核与经上一层处理输出的特征图做卷积运算，激活函数作用于卷积结果与偏置项的和，得到该卷积层的特征图。表达式为：
Figure BDA0002899837280000102
其中，
Figure BDA0002899837280000103
表示第l层卷积层输出的第j个特征图，Mj表示第(l-1)层的特征图中与
Figure BDA0002899837280000104
相关联的特征图数量，t表示序号第t个，
Figure BDA0002899837280000105
表示第(l-1)层第t个特征图，
Figure BDA0002899837280000106
表示第(l-1)层第t个特征图与第l层第j个特征图相连对应的卷积核，
Figure BDA0002899837280000107
表示当前卷积层的第j个偏置项，f(·)为激活函数，本发明采用relu函数。
池化层不需要对网络参数进行训练，也不改变特征图的数量，仅缩小其尺寸。池化层的输出表达式为：
Figure BDA0002899837280000108
其中，
Figure BDA0002899837280000109
为权重值，一般情况下取1，down(·)为下采样函数，偏置项
Figure BDA00028998372800001010
一般为定值，本发明的池化操作选择最大池化。
批量归一化层主要用于降低训练过程中过拟合的风险，同时提高收敛速度。表达式为：
Figure BDA00028998372800001011
Figure BDA00028998372800001012
其中，μB、
Figure BDA00028998372800001013
表示该批数据的期望和方差，ε为防止式中分母为零而引进的一个极小值，γ和δ的引入实现缩放和平移处理，Ai表示池化层输出的特征图中第i个像素的值，实际意义还是表示压力大小，
Figure BDA00028998372800001014
表示经过归一化处理后第i个像素的值，
Figure BDA00028998372800001015
表示再经过线性变换(缩放和平移处理)后第i个像素的值。
经过隐藏层的特征提取与分类处理，在输出层输出网络识别的预测值，预测值与真实值之间的偏差采用经典的交叉熵损失函数计算。CNN参数按反向传播方式更新，以获取最小的网络损失，损失函数是关于各个卷积层权重和偏置的函数，根据损失函数沿负梯度方向更新每层权重与偏置项，更新公式如下：
Figure BDA0002899837280000111
Figure BDA0002899837280000112
其中，
Figure BDA0002899837280000113
表示更新前第l层第j个特征图与第(l-1)层第t个特征图相连对应的权重，
Figure BDA0002899837280000114
表示更新前第l层第j个特征图对应的偏置，
Figure BDA0002899837280000115
和
Figure BDA0002899837280000116
表示更新后的权重和偏置，η为学习率，s1表示任务一中的交叉熵损失函数，s2表示任务二中的交叉熵损失函数，综合了两个任务的学习的效率。
(2)训练数据集的建立与处理
本发明选取了不同性别和体重的10名参与者进行行走过程足底压力采集实验，每名参与者采集24组数据，每组数据包含多帧足底压力图像，选取每组数据的压力最大帧图像，共选取了240张足底压力最大帧图像，按照6:2:2的比例将图像数据划分为训练集、测试集和验证集，并通过旋转图像角度扩展数据集。每张图像均对应两个标签，性别标签{0，1}对应男或女，体重标签{0，1，2，3}对应体重范围50～59、60～69、70～79、80～89kg。
训练过程主要调整学习率和批大小，本发明将学习率预设为0.001，将批大小预设为32，通过设置不同参数值观测收敛后的训练准确率和测试准确率。最终选取学习率为0.01，批大小为64，此时性别识别准确率为91.15％，体重范围识别准确率为89.58％。
本发明未述及之处适用于现有技术。

Claims (3)

1.一种基于压阻式压力感应步道的步态分析系统，其特征在于，该系统包括足底压力传感器、数据采集模块、USB数据传输模块和上位机；足底压力传感器是由多块规格相同的压力板拼接而成的压力感应步道，实时采集人体行走过程中的足底压力信号；数据采集模块接收足底压力传感器输出的模拟信号，并实现放大、滤波、AD转换；USB数据传输模块接收上位机输出的控制信号，将转换后的足底压力数据上传至上位机；上位机中包括足底压力信号采集操作界面、足底压力图像特征提取界面和足底压力图像识别；
足底压力信号采集操作界面用于控制足底压力信号采集开始与停止、热力图显示、数据保存、数据显示；
足底压力图像特征提取界面包含压力最大帧图像选取、图像角度调整、图像切割、自动区域划分、足底COP轨迹计算；
足底压力图像识别采用基于多任务学习的CNN模型，CNN模型结构为单输入双输出，同时完成性别识别和体重范围识别这两项识别任务；
所述足底压力图像的处理方法是：
进行单次足底压力图像采集，获得多帧足底压力图像，确定每帧足底压力图像中所有点的压力值相加的压力总和，选取压力总和最大的一帧图像作为关键帧，关键帧即为压力最大帧；
调整足底压力最大帧图像角度，使压力最大帧图像的轴线与水平线的夹角为零，以矫正实验者步行时足底压力分布在水平方向上的偏离；
切割足底压力最大帧图像，保留包含全脚掌压力分布的最小矩形区域，去除其余不包含压力信息的区域；
将最小矩形区域内的压力图像根据人体足部解剖结构和行走过程足底受力特征将足底压力区域由足跟到脚趾分为足跟、足弓、第一跖趾关节、第四五跖趾关节、第一趾骨、其余趾骨六个大小不同的区域；按照每个区域的行数和列数相对于最小矩形区域的长宽比例进行自动划分，分为6个大小不同的区域，每个区域对应不同的足部解剖结构；
获得全脚掌以及各区域的足底COP移动轨迹；
调整足底压力最大帧图像角度的过程是：在压力最大帧图像中搜索所有压力值不为零的像素点以及它们的横纵坐标，通过对像素点横纵坐标的一阶线性拟合计算压力最大帧图像的轴线，根据轴线的斜率将压力最大帧图像旋转至水平方向，使最终的轴线斜率为零；
切割足底压力最大帧图像的具体过程是：选取压力最大帧图像非零数据点的坐标范围，先找出所有压力值不为0的点的横纵坐标，最小的横坐标和最大的横坐标就是横坐标范围的下限和上限，最小的纵坐标和最大的纵坐标就是纵坐标范围的下限和上限，划定能够包含全脚掌压力数据的最小矩形框，去除最小矩形框以外的像素点；
第一趾骨、其余趾骨、第一跖趾关节、第四五跖趾关节、足弓、足跟六个区域的划分坐标分别为：
x1∈[(5(m-1)/6)+1,m-1]，y1∈[((n-1)/2)+1),n-1]
x2∈[(5(m-1)/6)+1,m-1]，y2∈[0,(n-1)/2]
x3∈[((m-1)/2)+1,(5(m-1)/6)]，y3∈[((n-1)/2)+1),n-1]
x4∈[((m-1)/2)+1,(5(m-1)/6)]，y4∈[0,(n-1)/2]
x5∈[((m-1)/3)+1,(m-1)/2]，y5∈[0,n-1]
x6∈[0,(m-1)/3]，y6∈[0,n-1]
式中，m、n表示最小矩形区域的总行数和总列数，x、y表示压力最大帧图像各点行数和列数索引；x1、y1代表第一趾骨区域的横纵坐标范围，x2、y2代表其余趾骨区域的横纵坐标范围；x3、y3代表第一跖趾关节区域的横纵坐标范围；x4、y4代表第四五跖趾关节区域的横纵坐标范围；x5、y5代表足弓区域的横纵坐标范围；x6、y6代表足跟区域的横纵坐标范围；
在进行自动划分前需要判别脚尖朝向，脚尖朝向的判别过程是：找出所有压力值不为0的点的横纵坐标，并找出所有横坐标的中值横坐标，再计算同一横坐标下最大纵坐标与最小纵坐标的差值，并找出这个差值的最大值，如果差值的最大值对应的横坐标在中值横坐标的右侧，那么判定脚尖朝右，否则脚尖朝左；
左脚脚尖朝右的情况，这种情况下划分出的第一趾骨、其余趾骨就是脚尖，足跟就是脚跟，如果是左脚脚尖朝左，就将脚印旋转180°再进行划分。
2.根据权利要求1所述的基于压阻式压力感应步道的步态分析系统，其特征在于，所述多任务学习的CNN模型的两项任务共享早期处理层，同时具有单独的后期处理层和输出层，早期处理层为卷积层-池化层-批量归一化层-卷积层-池化层-批量归一化层，后期处理层为卷积层-池化层-批量归一化层-全连接层，输出层分别输出两项任务的识别结果；CNN模型输入数据为足底压力最大帧图像，每张图像均具有两个属性不同的标签，两个标签分别是：性别标签{0,1}对应男或女，体重标签{0,1,2,3}对应体重范围50～59、60～69、70～79、80～89kg，输出是：性别识别率、体重范围识别率；
在输出层输出网络识别的预测值，预测值与真实值之间的偏差采用经典的交叉熵损失函数计算，CNN参数按反向传播方式更新，以获取最小的网络损失，损失函数是关于各个卷积层权重和偏置的函数，根据损失函数沿负梯度方向更新每层权重与偏置项，更新公式如下：
Figure FDA0003911208280000031
Figure FDA0003911208280000032
其中，
Figure FDA0003911208280000033
表示更新前第l层第j个特征图与第(l-1)层第t个特征图相连对应的权重，
Figure FDA0003911208280000034
表示更新前第l层第j个特征图对应的偏置，
Figure FDA0003911208280000035
和
Figure FDA0003911208280000036
表示更新后的权重和偏置，η为学习率，s1表示任务一中的交叉熵损失函数，s2表示任务二中的交叉熵损失函数，综合了两个任务的学习的效率；
在样本容量小的情况下仍能获取较高识别率，多任务的网络结构在提升单任务性能的同时，获取对足底压力特征更加全面和准确的表达，能共享尽量多的早期处理层，并在两个识别任务中均具有较快的收敛速度和较高准确率；
CNN模型包括共享层和两支分支，两支分支结构相同，后期处理层中卷积层的卷积核为3×3核，卷积核个数为48，步长为1；后期处理层中池化层的卷积核为2×2核，卷积核个数为1，步长为2；后期处理层中全连接层的卷积核为1×1核，卷积核个数为2，步长为1；后期处理层中输出层的卷积核为1×1核，卷积核个数为1，步长为1。
3.根据权利要求1所述的基于压阻式压力感应步道的步态分析系统，其特征在于，足底压力传感器采用6块压力测试板拼接而成的压力感应步道，每块压力板共50×50＝2500个感应点，单点传感器直径5mm，单点传感器量程为0～5kg，触发力100g，每7×7mm一个感应点；压力感应步道采样精度不低于16位，以不低于20Hz的频率实时采集人体行走过程中的足底压力；数据采集模块采用AD7765芯片，含有24位模数转换器，输出数据速率可达156kHz，将AD7765的转换率设置为16位。
CN202110053500.1A 2021-01-15 2021-01-15 足底压力图像处理方法、识别方法及步态分析系统 Active CN112766142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110053500.1A CN112766142B (zh) 2021-01-15 2021-01-15 足底压力图像处理方法、识别方法及步态分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110053500.1A CN112766142B (zh) 2021-01-15 2021-01-15 足底压力图像处理方法、识别方法及步态分析系统

Publications (2)

Publication Number Publication Date
CN112766142A CN112766142A (zh) 2021-05-07
CN112766142B true CN112766142B (zh) 2022-12-20

Family

ID=75700824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110053500.1A Active CN112766142B (zh) 2021-01-15 2021-01-15 足底压力图像处理方法、识别方法及步态分析系统

Country Status (1)

Country Link
CN (1) CN112766142B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838117A (zh) * 2021-08-06 2021-12-24 公安部物证鉴定中心 基于足底压力的身高估算方法
CN113780223A (zh) * 2021-09-09 2021-12-10 北京信息科技大学 假肢的步态识别方法、装置及存储介质
CN113951870A (zh) * 2021-09-26 2022-01-21 中国科学院深圳先进技术研究院 一种基于大规模高密度压阻薄膜的足迹统计分析方法
CN114419474A (zh) * 2021-11-25 2022-04-29 山东师范大学 一种基于声表面波的竞走视频关键帧抓取方法及系统
CN114028775B (zh) * 2021-12-08 2022-10-14 福州大学 一种基于足底压力的踝关节运动意图识别方法及系统
CN114488896A (zh) * 2022-01-26 2022-05-13 杭州创恒电子技术开发有限公司 一种高精度足底压力图像采集装置
CN114869270B (zh) * 2022-03-07 2023-07-18 电子科技大学 一种基于小动物图像和足底压力数据融合的步态分析方法
CN115944289B (zh) * 2022-12-20 2024-07-02 北京工业大学 一种足底压力分布对称性特征检测装置及检测方法
CN117100250B (zh) * 2023-07-10 2024-05-28 北京华益精点生物技术有限公司 脚趾位置的确定方法、装置、电子设备及存储介质
CN117179741B (zh) * 2023-07-24 2024-05-28 北京华益精点生物技术有限公司 基于压力标记足底位置的方法及相关设备
CN117288570B (zh) * 2023-11-27 2024-02-09 深圳三思纵横科技股份有限公司 基于压力试验机自动过压控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012052044A1 (de) * 2010-10-22 2012-04-26 Corpus.E Ag Scanner-unterstützte auswahl von passendem schuhwerk mit individualisiertem fussbett
CN110334573A (zh) * 2019-04-09 2019-10-15 北京航空航天大学 一种基于密集连接卷积神经网络的人体运动状态判别方法
CN111191516A (zh) * 2019-12-05 2020-05-22 大连民族大学 样本可选择更新机制的目标跟踪方法、重新记忆有效样本的方法和距离估计方法
CN111407232A (zh) * 2020-03-31 2020-07-14 湖北民族大学 基于足底压力分布的足部运动特征提取方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105534526B (zh) * 2015-12-16 2018-11-16 哈尔滨工业大学深圳研究生院 一种测量足底压力的方法
TWM550125U (zh) * 2016-06-17 2017-10-11 亞東技術學院 穿戴式步態追蹤裝置
CN106887019B (zh) * 2017-02-23 2020-04-21 大连海事大学 一种足迹压力分布特征表示方法
CN109583273A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 一种海量足底压力数据的分析处理系统
CN108143420B (zh) * 2018-02-07 2019-06-25 北京林业大学 一种用于测量足压的鞋垫和检测足压的方法
CN111062263B (zh) * 2019-11-27 2023-11-03 杭州易现先进科技有限公司 手部姿态估计的方法、设备、计算机设备和存储介质
CN111507209A (zh) * 2020-03-31 2020-08-07 湖北民族大学 基于足底压力分布的步态识别方法及系统
CN111358471B (zh) * 2020-04-15 2023-04-28 青岛一小步科技有限公司 一种身体姿态检测装置及检测方法
CN111914616B (zh) * 2020-06-05 2024-04-16 华南理工大学 指静脉识别与防伪一体化方法、装置、存储介质和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012052044A1 (de) * 2010-10-22 2012-04-26 Corpus.E Ag Scanner-unterstützte auswahl von passendem schuhwerk mit individualisiertem fussbett
CN110334573A (zh) * 2019-04-09 2019-10-15 北京航空航天大学 一种基于密集连接卷积神经网络的人体运动状态判别方法
CN111191516A (zh) * 2019-12-05 2020-05-22 大连民族大学 样本可选择更新机制的目标跟踪方法、重新记忆有效样本的方法和距离估计方法
CN111407232A (zh) * 2020-03-31 2020-07-14 湖北民族大学 基于足底压力分布的足部运动特征提取方法及系统

Also Published As

Publication number Publication date
CN112766142A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112766142B (zh) 足底压力图像处理方法、识别方法及步态分析系统
CN110334573B (zh) 一种基于密集连接卷积神经网络的人体运动状态判别方法
CN111582108B (zh) 一种步态识别及意图感知的方法
CN110232412B (zh) 一种基于多模态深度学习的人体步态预测方法
CN111631719B (zh) 一种用于预测老年人跌倒风险的方法
CN109567812B (zh) 基于智能鞋垫的步态分析系统
CN113768471A (zh) 一种基于步态分析的帕金森疾病辅助诊断系统
CN111104902B (zh) 一种基于图卷积网络的偏瘫步态分类方法
CN117556324A (zh) 一种基于足底压力监测的人体姿态评估方法
Huang et al. Feature Selection, Construction, and Validation of a Lightweight Model for Foot Function Assessment During Gait With In-Shoe Motion Sensors
CN118072394A (zh) 一种基于步态识别的运动阻碍性疾病分类方法
CN117883074A (zh) 一种基于人体姿态视频的帕金森病步态量化分析方法
CN111820902B (zh) 一种基于活动度特征的踝关节韧带损伤智能决策系统
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN109431510A (zh) 一种基于人工智能计算的柔性步态监测装置
CN114098714B (zh) 基于机器视觉建立冻结步态识别模型的方法
CN115530814A (zh) 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法
CN115147768A (zh) 一种跌倒风险评估方法及系统
Zhao et al. Global joint information extraction convolution neural network for Parkinson’s disease diagnosis
CN115337003B (zh) 一种用于脑卒中患者的多维度下肢康复评定装置及评定方法
CN111276253A (zh) 一种基于生物力学的足部智能矫正定制方法及系统
Lai Optimization of Innovative Path of Physical Education Teaching in Colleges and Universities under Information Integration Technology
CN111681753B (zh) 一种基于支持向量机的康复运动模式识别及参数求解方法
CN110638455B (zh) 用于评估用户康复状态的服务器、系统、设备及介质
CN117771085A (zh) 一种基于多传感器融合的踝关节助力时机识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant