CN112107290A - 预测对象的多个步态周期的kam的系统、方法和软件应用程序 - Google Patents

预测对象的多个步态周期的kam的系统、方法和软件应用程序 Download PDF

Info

Publication number
CN112107290A
CN112107290A CN201910553043.5A CN201910553043A CN112107290A CN 112107290 A CN112107290 A CN 112107290A CN 201910553043 A CN201910553043 A CN 201910553043A CN 112107290 A CN112107290 A CN 112107290A
Authority
CN
China
Prior art keywords
subject
data
kam
subjects
gait cycles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910553043.5A
Other languages
English (en)
Other versions
CN112107290B (zh
Inventor
张子熙
陈皓敏
何其威
陈柔姗
章瀚文
蓝文丰
汪超
王四中
王硕瞳
魏小雨
A·马尔霍特拉
程隽钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Polytechnic University HKPU
Original Assignee
Hong Kong Polytechnic University HKPU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Polytechnic University HKPU filed Critical Hong Kong Polytechnic University HKPU
Publication of CN112107290A publication Critical patent/CN112107290A/zh
Application granted granted Critical
Publication of CN112107290B publication Critical patent/CN112107290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6829—Foot or ankle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本公开描述了一种预测对象的多个步态周期的KAM的系统、方法和软件应用程序。可附着到该对象至少一条腿的脚踝附近的至少一个传感器提供该多个步态周期的加速度计数据和陀螺仪数据。处理装置接收对象参数和来自该至少一个传感器的加速度计数据和陀螺仪数据，以用于通过神经网络来评估该对象的该多个步态周期的经预测KAM值。通过来自多个步态周期期间的测量值和其他参数来确定多个对象中的每个对象的KAM值以配置该神经网络。

Description

预测对象的多个步态周期的KAM的系统、方法和软件应用程序
技术领域
本公开发涉及一种预测型膝关节负荷系统和方法，特别地用于确定患有膝骨关节炎的患者的膝关节负荷。
背景技术
膝骨关节炎(膝OA)是一种常见的慢性骨科健康问题。膝OA的严重程度通常随着年龄而增加，从而对生活方式造成显著影响，包括对整体活动能力、就业问题、生活乐趣和经济压力的影响。
减少关节负荷(活动期间施加在承重或承荷关节上的力)可以有助于缓解膝骨关节炎。膝内敛运动(Knee adduction moment，KAM)是用于表征膝关节负荷的重要度量。目前，KAM只能通过利用复杂且昂贵的实验室设备和一系列繁琐的步骤在临床中通过对对象进行测量来确定。典型地，这种基于实验室的测量需要：多个相机，以用于跟踪必须与对象准确地适配的各种反射标记；和力板，并要对所得结果进行详细分析。这种临床测量对对象来说是不方便的，并且不能在实验室环境之外各种正常日常行走和其他活动期间，为对象提供用于减少关节负荷的反馈。
因此，需要一种可以在实验室环境之外测量或预测对象的KAM的系统，该系统解决或至少改善上述问题和缺点中的一些。
发明内容
本公开的第一方面提供一种用于预测对象的多个步态周期的膝内敛运动(KAM)的系统，该系统包括：至少一个传感器，其可附着到该对象的至少一条腿的脚踝附近且用于提供该多个步态周期的加速度计数据和陀螺仪数据；处理装置，其用于接收该对象的参数和来自该至少一个传感器的加速度计数据和陀螺仪数据，以用于通过神经网络来评估该对象的多个步态周期的经预测KAM，其中通过来自多个对象的多个步态周期期间的测量值和来自该多个对象的参数来确定所述多个对象的多个步态周期的KAM以配置该神经网络。
用于配置该神经网络的测量值包括：来自至少一个传感器的关于该多个对象的多个步态周期的加速度计数据和陀螺仪数据，和该多个对象的该多个步态周期的经测量KAM。该对象的参数和该多个对象的参数包括来自包括以下各项的组中的一个或多个参数：年龄、性别、体重、身高、膝宽、脚踝宽、以及腿标识。
根据该多个对象中的每个对象的在多个步态周期上的运动学信息以及相应的地面反作用力测量值来确定那个对象的经测量KAM。
可选地，该至少一个传感器是惯性测量单元传感器，其可布置靠近踝部分的水平并邻近脚踝并且被配置成在该对象的多个步态周期期间提供加速度计数据和陀螺仪数据。
优选地，所述传感器位于鞋的收纳袋中，该收纳袋被配置为使得传感器在步态周期期间保持在横向脚踝附近。
该系统进一步包括与该处理装置通信的便携式电子设备，用于在该对象的多个步态周期期间接收该经预测KAM并向该对象显示该经预测KAM。该处理装置进一步被配置为当该对象的多个步态周期期间的经预测KAM超过预确定阈值时，生成用于警告所述对象的信号。可选地，该处理装置被配置成用于从该至少一个传感器的加速度计数据和陀螺仪数据中提取多个在步态周期的脚跟着地部分和脚趾离开部分之间的数据段。
可选地，在该对象的下一个步态周期之前，从该神经网络输出该对象的一个步态周期的经预测KAM。
该神经网络被优化，以用于预测特定对象的除了第一多个步态周期之外的多个步态周期的KAM，其中通过利用以下各项来确定KAM而更新该神经网络：该特定对象的在该第一多个步态周期上的运动学信息及相应的地面反作用力测量值，和来自至少一个传感器的在该第一多个步态周期上的加速度计数据和陀螺仪数据。
本公开的另一方面提供一种训练神经网络以预测对象的多个步态周期的KAM的方法，该方法包括：存储多个对象中的每个对象的在多个步态周期上的经测量KAM和来自至少一个传感器的关于该多个对象中的每个对象的在该多个步态周期上的加速度计数据和陀螺仪数据，该至少一个传感器可附着到该多个对象中的每个对象的至少一条腿的脚踝附近；从该多个对象中的每个对象的多个步态周期的经存储的加速度计数据和陀螺仪数据来导出值；使用以下各项来训练神经网络一预确定数量的周期：关于该多个对象中的每个对象的多个步态周期的经导出值，该多个对象中的每个对象的多个步态周期的相应的经测量KAM和经预测KAM，以及该多个对象的参数，其中在一个或多个训练周期之后调整该神经网络以最小化经预测KAM和相应周期的经测量KAM之间的差的绝对值之和。
根据该多个对象中的每个对象的该多个步态周期上的运动学信息以及相应的地面反作用力测量值来确定那个对象的经测量KAM。
可选地，通过归一化和/或随机混洗来增加所述加速度计数据和陀螺仪数据的随机性。
该方法进一步包括根据来自该至少一个传感器的关于一个或多个其他对象的多个步态周期的加速度计数据和陀螺仪数据以及该一个或多个其他对象的多个步态周期的经测量KAM，和所述一个或多个其他对象的参数来校准该神经网络，其中该校准基于在训练和校准中使用的数据的平均值和标准偏差，并且来自该至少一个传感器的关于该一个或多个其他对象的该多个步态周期的加速度计数据和陀螺仪数据被标准化和/或随机改组。
本公开的再一方面提供一种可在一个或多个处理器上执行的软件应用程序，以用于预测对象的多个步态周期的KAM，该软件应用程序被配置以用于：在便携式电子设备上接收该对象的参数以及来自至少一个传感器的加速度计数据和陀螺仪数据，以用于通过神经网络来评估该对象的多个步态周期的经预测KAM，所述至少一个传感器可附着到所述对象的至少一条腿的脚踝附近；处理该加速度计数据和该陀螺仪数据，以从中提取多个数据段，该数据段包括在该对象的步态周期中的可能峰值KAM；将经提取的该多个数据段发送到可在位于远处的一个或多个处理器上操作的神经网络，该处理器被配置用于根据所接收的加速度计数据和陀螺仪数据和该对象的参数来生成经预测KAM，其中通过来自多个对象中的多个步态周期期间的测量值以及来自该多个对象的参数来确定该多个对象中的多个步态周期的KAM以配置该神经网络；输出该对象的多个步态周期的经预测KAM，以在该对象的步态周期期间在该便携式电子设备上显示。
本公开的又一方面提供一种可在便携式电子设备上执行的软件应用程序，用于预测对象的多个步态周期的KAM，该软件应用程序被配置以用于：接收该对象的参数以及来自至少一个传感器的加速度计数据和陀螺仪数据，以用于在便携式电子设备上通过神经网络来评估该对象的多个步态周期的经预测KAM，该至少一个传感器可附着到该对象的至少一条腿的脚踝附近；处理该加速度计数据和该陀螺仪数据，以从中提取多个数据段，该数据段包括在该对象的步态周期中的可能峰值KAM；在便携式电子设备的处理器上生成神经网络，通过来自多个对象的多个步态周期期间的测量值以及来该多个对象的参数来确定该多个对象的多个步态周期的KAM以配置所述神经网络；将经提取的该多个数据段发送到该神经网络，以根据经提取的该多个数据段而从该神经网络输出关于该对象的多个步态周期的经预测KAM到该便携式电子设备的显示器。
本公开的再一方面提供一种用于预测对象的多个步态周期的KAM的方法，该方法包括：从至少一个可附着在该对象的至少一条腿的脚踝附近的传感器提供关于多个步态周期的加速度计数据和陀螺仪数据；接收该对象的参数和来自该至少一个传感器的加速度计数据和陀螺仪数据，以通过神经网络来评估该对象的多个步态周期的经预测KAM，其中通过来自多个对象中的多个步态周期期间的测量值以及该多个对象的参数来确定该多个对象的该多个步态周期的KAM以配置该神经网络。
用于配置该神经网络的测量值包括：来自至少一个传感器的关于该多个对象的多个步态周期的加速度计数据和陀螺仪数据，和该多个对象的该多个步态周期的经测量KAM。该对象的参数和该多个对象的参数包括来自包括以下各项的组中的一个或多个参数：年龄、性别、体重、身高、膝宽、脚踝宽、以及腿标识。
根据该多个对象中的每个对象的在多个步态周期上的运动学信息以及相应的地面反作用力测量值来确定那个对象的经测量KAM。
可选地，该传感器是惯性测量单元传感器，其可布置靠近踝部分的水平并邻近脚踝并且被配置成在该对象的步态周期的阶段期间提供加速度计数据和陀螺仪数据。
该方法进一步包括：在便携式电子设备上接收并显示该对象的步态周期期间的经预测KAM。
该方法进一步包括：当关于该对象的步态周期中的经预测KAM超过预确定阈值时，生成用于警告该对象的信号。
可选地，在该对象的下一个步态周期之前，从所述神经网络输出该对象的一个步态周期的经预测KAM。
附图说明
通过考虑以下描述并参考附图中描绘的(多个)实施例，本公开的上述和其他特征、其性质和优点将变得显而易见，其中：-
图1描绘了本公开的实施例的示意性架构。
图2a描绘了根据图1中描绘的实施例的便携式电子设备上的应用程序的示例性界面。
图2b描绘了本公开的实施例的传感器的示例性位置。
图3a描绘了示例性流程图，该流程图列出了在将来自传感器的数据引入机器学习模型之前对该数据进行预处理的各个阶段。
图3b描绘了由传感器检测到的步态周期中的陀螺仪值变化的示例性表示。
图4描绘了示出使用XGBoost从系统中导出的经测量KAM和经预测KAM的曲线图。
图5a描绘了列出人工神经网络机器学习模型中的各个阶段的示意性流程图。
图5b描绘了图5a的人工神经网络的示例性架构。
图5c描绘了图5a的第二示例性机器学习算法的训练曲线图。
图5d描绘了图5a的第二示例性机器学习算法的迁移学习曲线。
图6a描绘了图5a至图5d的示例性人工神经网络的KAM的经测量结果和经预测结果的示例性结果。
图6b是图5a至图5d的示例性人工神经网络的KAM的实际结果和经预测结果的另一示例性表示。
具体实施方式
本公开提供了一种用于使用基于从被定位为靠近对象脚踝的传感器获得的数据的经训练机器学习模型来预测对象在行走期间的KAM(膝内敛运动)的方法和系统。有利的是，该预测KAM的系统和方法可以使对象实时或几乎实时地接收由行走和正在进行的其他活动引起的经预测KAM(甚至当在实验室之外时)，以使得对象可以对其步态模式进行细微的调整并由此减少KAM。
图1描绘了本公开的实施例的示意性架构10。
如下文更详细示出和讨论的，可以根据从位于对象脚踝附近的传感器12获得的数据来预测对象的KAM，并通过经训练的神经网络对其进行解释。
优选地，传感器12可以是惯性测量单元(IMU)，该惯性测量单元包括加速度计和陀螺仪，当对象正在行走或跑步时，该加速度计和陀螺仪在他/她的步态周期的各个位置期间提供数据。传感器12可以通过蓝牙或其他类似有线或无线通信连接可通信地连接到用户的便携式电子设备16，以进行数据传输。
由用户的便携式电子设备(例如移动电话16)从传感器12获得的数据接着可以经由电信网络传输到远程服务器20，在远程服务器处进一步处理该数据(如下面更详细描述的)。
可选地，在分开的布置(未示出)中，可以在便携式电子设备上对来自传感器的数据进行处理，在这种情况下，可以在便携式电子设备上进行下面详细描述的处理，而无需到远程服务器20的通信和来自远程服务器20的通信。
如所描绘，远程服务器20可以执行用于数据处理22的传感器数据校准和实时步态周期分割、机器学习模型24以及经由消息网关26到便携式电子设备16的实时消息传输(可选地使用诸如MQTT协议28或类似的无线通信协议)。
为便携式电子设备开发的软件应用程序可以具有三个主要功能模块：用于经由蓝牙14(或类似的无线协议)与(多个)传感器进行通信的蓝牙连接模块、用于可视化经预测KAM的传感器数据显示模块以及用于向便携式电子设备传输数据的服务器数据传输模块。
在所示的实施例中，从便携式电子设备到服务器的实时数据传输可以有利地使用MQTT(消息队列遥测传输)来执行。如本领域所知，MQTT是基于发布-订阅的协议，并且被设计用于机器之间的实时通信。应当理解的是，在不脱离本公开的情况下，可以利用其他协议或方法。
经处理的数据被输入到服务器20上(或者在可选实施例(未示出)中在便携式电子设备16上)的经训练机器学习模型中，以预测特定对象在其最近(多个)步态周期期间的KAM。经预测KAM然后可以通过应用程序或类似物而实时显示在用户的便携式电子设备处，可选地作为未经处理的值或作为图形表示。在一个或多个步态周期的经预测KAM超过预定阈值的情况下，可以向用户发出警报(例如，视觉、触觉、声音或用于警告用户的其他手段)。然后，该警报可以使用户能够细微地调整他们的行走，以减少下一个步态周期中的KAM。
软件应用程序可以以JavaScript编程语言实施，并且被配置成连接传感器、接收用户输入、向便携式电子设备16上的服务器发送数据并从该服务器接收数据。还应当理解的是，在不脱离本公开的范围的情况下，出于相同的目的，可以利用其他编程语言。
图2a描绘了示例性应用程序的示例性图形用户界面30，在此情况中，该示例性图形用户界面30被示出在诸如移动电话等便携式电子设备16上。对象的个人信息可以如多种数据输入字段32中所示的那样被指定。此类个人信息可以包括性别、身高、年龄、体重、脚踝和膝的信息(例如，脚踝宽和/或膝宽)、腿标识(指示右腿或左腿)等。脚踝信息和膝信息可以用于计算膝中心角度和下肢取向，这可能会影响KAM预测。对象的性别可能是影响KAM的另一潜在因素。根据以前的一项研究(韦伯斯特K.E.、麦克莱兰J.A.、帕拉佐洛S.E、圣马利亚L.J.和费勒J.A.(2012年)，Gender differences in the knee adduction momentafter anterior cruciate ligament reconstruction surgery[前交叉韧带重建手术后的膝内敛运动的性别差异]，《英国运动医学杂志》，第46卷(第5期)，第355-359页)，由于骨盆的大小因性别而不同，所以女性的KAM更高。另外，对象的身高与腿部长度具有相关性，并且因此与膝运动具有相关性。另外，对象的体重与地面反作用力(KAM计算中的重要因素)也具有相关性。
还可以包括各种操作控件34以订明对象可用的各种选项，包括扫描活动蓝牙设备、校准传感器、启动步态训练(启用传感器以收集数据并启动KAM预测)、停止步态训练(停用传感器并结束KAM预测)、各种操作设置等。经预测KAM在所示的GUI部分36中以图形方式向对象示出。
所存储信息
本公开所教导的神经网络的系统和方法一旦经训练，就可以用于通过仅使用在多个步态周期内针对对象收集的传感器数据而根据传感器测量数据来预测KAM，而无需参考任何经测量KAM。以这种方式，对象的传感器测量数据可以用于潜在地实时预测KAM，并呈现给对象，以允许他们动态地调整其步态，从而减少其后续(多个)步态周期的KAM。
在用于训练神经网络的训练方法中，本公开教导了使用经收集并用于临床测量KAM的临床数据；以及在相同时间序列中(即同时)针对具有相同步态周期的同一对象来收集的传感器数据。对同时收集的这两种类型的数据进行存储。然后，经训练的神经网络能够潜在实时地并且在没有临床经测量或经确定的KAM的情况下，在行走活动期间根据关于对象所获得的传感器数据来预测KAM。
众所周知，测量KAM(前平面中的外膝内敛运动)的标准方法是通过在实验室或临床环境中使用力板和相机运动捕获系统。
被诊断为膝骨关节炎的对象出于训练目的而提供常规测量的临床KAM以及传感器数据，并且其年龄范围为62.8±7.3岁、身高范围为1.62±0.078m、体重范围为66.9±14.6kg。他们的Kellgren&Lawrence(KL)等级(等级I至VI)基于X射线检查结果进行分类。所有对象都能够在没有帮助的情况下行走持续至少10分钟。排除标准包括剧烈体力活动的禁忌症、膝部手术史以及可能影响行走步态的其他损伤。
对于多个步态周期期间的这些对象中的每个对象，根据由力板提供的地面反作用力以及由相机运动捕获系统捕获并跟踪放置在骨骼界标上的反射标记的膝关节运动学来计算临床确定的KAM，其中标记集基于先前研究中描述的模型(参见舒尔P.B.、西尔德A.、舒尔茨R.、德拉戈J.L.、贝西尔T.F.、德尔普S.L.、和卡斯基M.R.(2013年))。
当对象在嵌有力板(例如，美国俄亥俄州哥伦布市的Bertec公司)的走道上在三种情况(即，正常行走、内八行走和外八行走)下以其偏好行走速度行走时，可以使用8相机运动捕获系统(例如，英国牛津的Oxford Metrics Group公司的Vicon)以200Hz(或其他适当的频率)来记录标记轨迹。行走前，可以进行15分钟的热身运动(即伸展下肢)，以帮助去除收集到的数据中的初始噪音。
来自三个轴的地面反作用力测量结果可以以1000Hz(或其他适当的频率)被采样并同步，例如使用Nexus(英国牛津的Oxford Metrics Group公司的Vicon)。应当理解的是，可以使用其他品牌的相机运动捕获系统和力板，并且可以使用其他软件。
在所描述的实施例中，包括经测量KAM和IMU传感器数据的测量结果是在步态周期期间从53个对象获得的，尽管可以理解的是，在不脱离本公开的情况下，附加的测量结果将提供更详细的库以在该库上训练用于预测KAM的算法。
图2b描绘了(多个)传感器的示例性位置，该(这些)传感器被定位为远离正在预测KAM的膝关节。在所描绘的视图中，可穿戴传感器12被定位在双脚(尽管只有一只脚可见)的外侧上靠近脚踝。优选地，传感器可以定位在每条腿的外侧踝骨水平处(优选地在外侧上，尽管已经确定也可以将传感器定位在内侧上)。
出于验证从大众市场传感器和研究级传感器获得的结果的目的，我们将每种传感器类型中的一个传感器定位在用户踝骨的每侧上；每条腿共有四个传感器。然而，在随后的试验中，KAM预测可以通过将任一(而不是两种)类型的传感器定位为靠近外侧踝骨水平(优选地在至少一条腿的外侧上或在每条腿的外侧上)来获得。传感器可以是用于捕获加速度数据和陀螺仪数据的商用惯性测量单元(IMU)传感器，其可以是基于研究的传感器(诸如具有增加的准确度和其他特征的可商购
Figure BDA0002106064790000091
慢速或快速IMU传感器)，或者是更便宜的大众市场IMU传感器(诸如Bosch BMI 160、iNEMO惯性模块(瑞士的STMicroelectronics公司)或SmartBondTM DA14583传感器(英国的戴乐格半导体公司))。
IMU传感器的竖直轴与胫骨的纵向轴线对齐，如图2b所示。每个传感器12可以在三个维度上测量物体的角速度和加速度，并且可以计算物体在3D空间中的取向。
为了验证从研究级IMU传感器提供的数据与从大众市场IMU传感器获得的数据是相当的，将这两个惯性测量单元(IMU)传感器放置在同一位置。在一个实验中，研究级IMU传感器是Noraxon传感器(范围：±24g，美国亚利桑那州)，并且大众市场IMU传感器是SmartBondTM DA14583传感器(英国的戴乐格半导体公司)。研究级传感器的无线加速度计在每个轴上以1000Hz捕获加速度数据，而大众市场IMU传感器以100Hz的频率或提供足够数据捕获的其他频率捕获加速度数据、陀螺仪数据。应当理解的是，其他传感器也可以用于相同的目的。
数据预处理
来自IMU传感器的加速度计数据和陀螺仪数据可以由低通滤波器进行滤波，以降低系统的高频噪声。在SmartBondTM DA14583IMU传感器的情况下，加速度计数据由40.5Hz的低通滤波器进行滤波，并且陀螺仪数据由39.9Hz的低通滤波器进行滤波，其中这两个低通滤波器都是SmartBondTM DA14583IMU传感器的内置滤波器。应当理解的是，其他(多个)低通滤波器也可以用于相同的目的。
(1)旋转矩阵
对于本领域技术人员已知的IMU传感器，在MEMS型加速度计和陀螺仪中存在许多误差项源和噪声源。
例如，当组合所有轴向数据时，包含轴未对准的轴向误差会在传感器融合中引入显著误差，这将使数据不准确。
当IMU传感器附着到对象的脚踝时，可能会导致轴向误差，角度起始位置不会为零，并且不同的对象从该起始位置开始将具有不同的旋转角度。这种误差会影响数据质量，并在模型训练期间添加误差。
为了去除这种轴向误差，在每次实验开始时，对象需要自然且静止地站立，并接着收集5至8秒的数据作为校准数据。具体而言，计算旋转矩阵以将IMU传感器平面转换成标准平面。标准平面由局部重力限定。生成旋转矩阵的一种简单方法是将其合成为三个基本旋转的序列。右手笛卡尔坐标系的x轴、y轴和z轴的旋转分别定义为滚动旋转、俯仰旋转和偏航旋转。因为这些旋转表示为绕轴旋转，所以它们的发生器很容易表达。
在三维分析中，旋转可以由单个旋转角度和围绕该旋转角度的单位矢量的方向来限定。因此，旋转矩阵可以通过以下公式计算：
Figure BDA0002106064790000101
(2)陀螺仪零点漂移
另一误差源是零点漂移，其指的是陀螺仪在没有任何旋转的情况下的平均输出，即与其真实值的偏差。
对于恒定偏差，零点漂移会导致角度误差，该角度误差在积分时随着时间线性增大，并且可以通过在陀螺仪完全静止时取长期输出的平均值、并且然后从输出中简单地减去该平均值进行补偿来获得。
(3)站立期分段(segment)
如本领域技术人员所理解的，KAM仅在腿与地面之间存在接触(即站立期)时存在。为了消除不必要的摇摆期部分(如果包含这些部分，可能会导致异常预测和额外的计算负担)，并且还为了向对象提供清晰且精确的反馈，实施了实时分割算法。
图3a描绘了示例性流程图50，该流程图列出了在将来自IMU传感器的数据引入机器学习模型之前对该数据进行预处理的阶段，特别是对于站立期分段。
步骤51：设置最小z轴陀螺仪值和站立期样本数的初始阈值；
在所描述的实施例中，最小z轴陀螺仪值的初始阈值是0，并且站立期样本数量的初始阈值是90。
步骤53：根据设置的阈值，提取由IMU传感器在粗略分段中收集的Z轴陀螺仪数据。
步骤55：标识对应于脚跟着地点和脚趾离地点的陀螺仪峰值的索引。
步骤57：提取脚跟着地点与脚趾离地点之间的站立期。
步骤59：记录最小值和该分段的样本数。
步骤61：通过前三个最小z轴陀螺仪值的平均值和前三个站立期样本数的平均值来更新阈值。
这实际上使得能够获得滑动窗口平均值作为基线，随后的信息可以对照该基线进行评估。更多细节将在下面讨论。
步骤63：基于从步骤55获得的索引而获得分段加速度数据和陀螺仪数据。
分段的站立期数据被馈送到一个或多个神经网络中以用于KAM预测。
图3b描绘了由IMU传感器检测到的步态周期中的陀螺仪值变化的示例性表示70。
附图标记71、73、75、77指示两个步态周期中的四个峰值。如本领域已知，峰值71和75指示脚跟着地，而峰值73和77表示对象步态周期的脚趾离地部分。附图标记71与73之间的分段78a以及附图标记75与77之间的分段78b是每个步态周期的站立期，并且其是对KAM计算有用的时期。数字73与75之间的分段78c是摆动期。结果，通过仅提取与站立期相关的数据并在最终预测中以0填充其他部分，使用该理论实施实时分割算法。
所采用的算法在该算法从陀螺仪数据中检测到脚趾离地点73、77之后(这代表站期的结束点)，立即将所有6轴IMU传感器数据(3轴加速度计数据和3轴陀螺仪数据)馈送到预测模块/经训练的神经网络中。
为了消除类似步态周期的可能噪声，以及为了适应不同人的不同行走速度，对算法进行了如下描述的限制和调整，其中“阈值_高”指示算法仅在数据大于它时(在步态周期开始时)才开始收集数据，而“阈值_低”意味着算法仅在数据下降到低于它时停止收集数据。“长度”是分段的点的数量。为了使算法更适配于不同的人，过去三个步态周期的平均值被设置为下一个步态周期的新阈值/参数。
Figure BDA0002106064790000121
Figure BDA0002106064790000122
Figure BDA0002106064790000123
长度_高(N)＝长度(N)×1.3 (4)
长度_低(N)＝长度(N)×0.7 (5)
将由基于IMU传感器数据的算法获得的站立期分段与使用力板和跑步机的站立期分段进行比较，以便评估仅在使用陀螺仪数据来确定站立期的情况下的准确度。
计算站立期与摆动期及站立期的组合的比率来进行评估。基于IMU传感器数据的分段方法的比率为54％，而关于基于力板的分段方法的比率为63％。因此，根据传感器数据而确定的54％的部分潜在地覆盖了KAM峰值所在的分段，这意味着基于传感器数据来分割站立期的方法具有可接受的准确度。
建模和机器学习
如所讨论的那样，对于实时的特定对象步态周期，KAM与经处理的传感器数据之间的关系能够使用经训练机器学习模型来预测。
在本公开中，机器学习模型分别基于XGBoost和人工神经网络(ANN)进行训练。本领域技术人员将理解，出于KAM预测的目的，可以基于所收集的数据来训练其他机器学习模型。
(1)XGBoost
XGBoost是可以用在机器学习中的梯度增强算法的有效实施方式。梯度增强寻求通过添加新的弱学习器来最小化所有弱学习器的残差。将多个学习器加在一起以进行最终预测，并且准确度高于单个学习器。XGBoost的特征在于快速的计算速度和良好的模型性能。
输入特征可以包括来自传感器的对象(多个)脚踝处的加速度和角速度、加速度和角速度的积分和导数以及对象的身高、一只或两只脚的脚踝宽。将数据集分为80％的训练数据集、10％的验证数据集和10％的测试数据集。参数通过网格搜索交叉验证来进行调节。对于一个特定对象，添加三分之一的对象数据用于训练模型，并且训练、验证和测试的所得到的r2分数分别为0.9951、0.9473和0.9061。
图4描绘了用于示出使用XGBoost从系统中导出的经临床测量KAM和经预测KAM的图表。如图所示，经测量KAM和经预测KAM的图案和标度是一致的。但是经预测KAM比经测量KAM曲线噪声要大一些。
(2)人工神经网络(ANN)
替代性地，还可以使用ANN，其目的是使用6轴IMU传感器数据(包括3轴加速度计数据和3轴陀螺仪数据)来预测KAM曲线。
KAM曲线包括并表示从“外八”、“内八”和“正常”配置收集的KAM。在这些配置中，峰值曲线形状以特有的方式变化。典型地，对于“外八”配置，第一峰值高于第二峰值，对于“内八”配置，第二峰值高于第一峰值，并且对于“正常”配置，这两个峰值大致相等。ANN用于捕获这种敏感性，以及这些点上的KAM。
图5a描绘了列出人工神经网络机器学习模型中的各个阶段的示意流程图100。
步骤101：根据IMU传感器数据来计算积分、导数和二阶导数。
步骤103：归一化(z分数)并随机混洗积分、导数和二阶导数数据；
归一化的目的是在训练模型的同时避免梯度消失的问题，并且随机混洗可以通过增强下一个样本的不确定性而给出更好的训练结果。
步骤105：通过使用平均绝对误差(MAE)作为训练评估器，对模型进行训练持续预定的周期；
该模型使用对象的个人信息(诸如年龄、性别、身高、体重、膝宽和脚踝宽)、IMU传感器数据和经测量KAM来进行训练。在所描述的实施例中，对该模型进行训练持续1000个周期(epoch)。该模型的架构将在下面讨论。本领域技术人员将理解，可以使用其他模型架构；并且可以使用其他数量的循环进行训练(1000个循环仅仅是示例性的)。
在步骤101至105之后，获得经训练的ANN并准备进行KAM的预测备。然而，还可以采取进一步的步骤107来重新训练ANN，以便提高其适应性/准确度，特别是在利用小的初始训练数据集的情况下。随着数据集大小的增加，则从附加的重新训练所预期的准确度方面的提高将不那么显著。
步骤107：基于新对象的个人信息、IMU传感器数据和经测量KAM对模型进行重新训练。
个人信息可以包括年龄、性别、身高、体重、膝宽和脚踝宽或其他相关对象参数。而且，新的对象的IMU传感器数据使用均值和标准差进行归一化，并进行随机混洗，以避免梯度消失的问题并增强不确定性。在步骤107之后，经训练的模型然后可以实时用于KAM预测。
图5b描绘了图5a的人工神经网络的示例性架构120。网络的输入分别是对象信息、6轴IMU点及其相应的积分、一阶导数和二阶导数。对象信息包括年龄、性别、身高、体重、膝宽和脚踝宽。来自人工神经网络的输出是随时间变化的KAM。
如图所示，使用10个完全连接的层，其中具有层1至层6中的256个神经元、层7至层8中的128个神经元和层9至层10中的64个神经元。通常，越深的层具有越少数量的神经元，以使映射更平滑。但这不是标准规则。ReLU(修正线性单元)用作激活函数，其是简单但非常有效的非线性激活函数。与归一化一起，其还有助于防止梯度消失的问题。其可以写为y＝max(o,x)。
如上所讨论的那样，用于训练ANN的输入数据包括曲线的积分和导数。步态周期中的每个点具有相应的一组IMU记录特征，包括记录的加速度和角速度的积分和导数(一阶导数和二阶导数)。使用梯形积分技术从每个步态周期开始直到该点来计算积分值。其旨在利用积分来捕获曲线的记忆。此外，针对每个点分别计算近似中心离散导数，使得：
X· t＝(Xt+1-Xt-1)/2Δt (7)
以同样的方式，还计算了近似中心离散二阶导数，使得：
x·· t＝(x· t+1-x· t-1)/2Δt (8)
在此情况中，Δt＝0.005秒，因为这是我们在200Hz的采样速率下能够捕获的最小可能时间。一阶导数捕获曲线的斜率，而二阶导数捕获曲率。
图5c描绘了图5a的第二示例性机器学习算法的训练曲线图。
该模型是在所有可用的训练数据上训练的，这包括使用包括VICON(用于测量KAM)以及研究级IMU传感器和大众市场IMU传感器两者的系统针对数据收集进行的所有试验，其中分别从研究级IMU传感器和大众市场IMU传感器收集的数据是同步的。记录了来自53个对象的735个步态周期。“rmspropoptimizer”用于训练具有0.001的学习率的模型。丢弃正则化用于除了具有0.02的丢弃值的最后一层之外的所有层。这意味着在每个epoch(周期)，随机选择的神经元中有2％被“关闭”。这种技术可以防止过度拟合，并且因此使得使网络更加广义。平均绝对误差(MAE)用于评估训练过程。已经发现r平方与MAE成比例。通用模型的MAE为0.004(小于平均KAM的20％)，并且在校准后减小到0.002(小于平均KAM的10％)。
通用模型首先用所有可用的训练数据进行训练，然后基于留一交叉验证(leave-one-out cross-validation)进行重新训练，这将在后面详细讨论。校准曲线在图5d中示出。该曲线对应于使用测试对象的数据的模型重新训练(MAE)。图5d中示出的曲线是这个过程的训练曲线。与训练通用模型时类似地，平均绝对误差(MAE)被用作训练评估器，并且该曲线示出了在我们保持增加周期(epoch)的同时MAE如何降低，直到获得满意的值。在重新训练模型时，目标是达到小于平均KAM的10％的平均绝对误差。
在一个示例性实施例中，利用53个对象在训练数据中进行留一交叉验证。这意味着在52个对象上训练通用模型，并使用剩余的1个对象(被称为“测试对象”)来校准和预测。应当理解的是，可以使用其他验证方法。
不同对象之间的步态周期可能差异很大。因此，即使在训练模型之后，为了利用对于模型来说是新的数据来预测新对象的KAM，特别是在预先存在的数据集的大小有限的情况下，可以通过模型的进一步“校准”或“调整”来增加准确度。在这种可选的进一步校准中，利用“测试”对象的一些数据重新训练(利用所有其他对象的数据的)经训练的模型。
模型的性能也可以通过使用训练中未使用的测试对象的一些数据来评估，并且因此，在活动期间对该对象的KAM进行实际预测之前，确定经预测值与经测量值之间的理论r2。正如预期的那样，随着数据集的大小增大，进一步校准的需要将会减少。
在该实施例中，可以用对象数据的1/3(需要针对其预测KAM)来重新训练通用模型持续1000个周期(epoch)，并使用数据的2/3来评估模型。这个比例可以由用户根据他们具有多少个体对象的数据来进行调整。关键是应有足够的数据在校准后来测试模型并计算理论r2。这种技术可以被视为迁移学习(transfer learning)的变体，并对所有对象重复。KAM预测的结果r2为0.956±0.031，而峰值r2为0.934。图6a中示出了对于一些示例试验的经预测KAM对经测量KAM随时间变化的示例。图6b中示出了来自所有对象的所有试验的经预测KAM和经测量KAM。
在XGBoost模型中，可以由神经网络确定各种参数的重要性，以便从参数中进行特征选择。XGBoost模型仅使用在任意一侧或两侧上的脚数据的1个特征(例如脚踝宽或膝宽)来预测用户的KAM。
本系统、方法和软件有利地使得能够使用从方便地装配为靠近对象脚踝的传感器接收的传感器数据来预测对象的KAM。以前，KAM只能从复杂的实验室环境(包括运动捕获系统和力板)中获得。使用现有技术很难在实验室环境之外获得KAM。有利地，预测可以被提供给对象的便携式电子设备或在其上执行；并且可以被配置成在对象进行其正常活动时实时向对象提供信息。
在示例性实施例中，当一个或多个步态周期的经预测KAM超过预定阈值时，该信息可以用于向用户发出警报，从而使得用户能够校正/调整他们的步态，优选在下一个步态周期之前。可选地，所使用的传感器可以是可商购的大众市场传感器，从而提供对象运动的加速度计数据和陀螺仪数据，以便由经训练的神经网络进行解读。
临床上，已经在实验室环境中证明，六周的步态重新训练计划可减少膝内敛运动，减轻疼痛，并改善患有内侧间室膝骨关节炎的个人的功能。《骨科研究杂志》，第31卷(第7期)，第1020-1025页)。

Claims (22)

1.一种用于预测对象的多个步态周期的膝内敛运动(KAM)的系统，所述系统包括：
至少一个传感器，其可附着到所述对象的至少一条腿的脚踝附近且用于提供所述多个步态周期的加速度计数据和陀螺仪数据；
处理装置，其用于接收所述对象的参数和来自所述至少一个传感器的加速度计数据和陀螺仪数据，以用于通过神经网络来评估所述对象的多个步态周期的经预测KAM，
其中通过来自多个对象的多个步态周期期间的测量值和来自所述多个对象的参数来确定所述多个对象的多个步态周期的KAM以配置所述神经网络。
2.根据权利要求1所述的系统，其中，用于配置所述神经网络的测量值包括：来自至少一个传感器的关于所述多个对象的多个步态周期的加速度计数据和陀螺仪数据，和所述多个对象的所述多个步态周期的经测量KAM。
3.根据权利要求2所述的系统，其中，所述对象的参数和所述多个对象的参数包括来自包括以下各项的组中的一个或多个参数：年龄、性别、体重、身高、膝宽、脚踝宽、以及腿标识。
4.根据权利要求2或权利要求3所述的系统，其中，根据所述多个对象中的每个对象的在多个步态周期上的运动学信息以及相应的地面反作用力测量值来确定那个对象的经测量KAM。
5.根据权利要求1所述的系统，其中，所述至少一个传感器是惯性测量单元传感器，其可布置靠近踝部分的水平并邻近脚踝并且被配置成在所述对象的多个步态周期期间提供加速度计数据和陀螺仪数据。
6.根据权利要求1所述的系统，进一步包括与所述处理装置通信的便携式电子设备，用于在所述对象的多个步态周期期间接收所述经预测KAM并向所述对象显示所述经预测KAM。
7.根据权利要求1所述的系统，其中，所述处理装置进一步被配置为：当所述对象的多个步态周期期间的经预测KAM超过预确定阈值时，生成用于警告所述对象的信号。
8.根据权利要求1所述的系统，其中，所述处理装置被配置成用于从所述至少一个传感器的加速度计数据和陀螺仪数据中提取多个在步态周期的脚跟着地部分和脚趾离开部分之间的数据段。
9.根据权利要求1所述的系统，其中，在所述对象的下一个步态周期之前，从所述神经网络输出所述对象的一个步态周期的经预测KAM。
10.根据权利要求1所述的系统，其中，所述神经网络被优化，以用于预测特定对象的除了第一多个步态周期之外的多个步态周期的KAM，其中通过利用以下各项来确定KAM而更新所述神经网络：所述特定对象的在所述第一多个步态周期上的运动学信息及相应的地面反作用力测量值，和来自至少一个传感器的在所述第一多个步态周期上的加速度计数据和陀螺仪数据。
11.一种训练神经网络以预测对象的多个步态周期的膝内敛运动(KAM)的方法，所述方法包括：
存储多个对象中的每个对象的在多个步态周期上的经测量KAM和来自至少一个传感器的关于所述多个对象中的每个对象的在所述多个步态周期上的加速度计数据和陀螺仪数据，所述至少一个传感器可附着到所述多个对象中的每个对象的至少一条腿的脚踝附近；
从所述多个对象中的每个对象的多个步态周期的经存储的加速度计数据和陀螺仪数据来导出值；
使用以下各项来训练神经网络一预确定数量的周期：关于所述多个对象中的每个对象的多个步态周期的经导出值，所述多个对象中的每个对象的多个步态周期的相应的经测量KAM和经预测KAM，以及所述多个对象的参数，其中在一个或多个训练周期之后调整所述神经网络以最小化经预测KAM和相应周期的经测量KAM之间的差的绝对值之和。
12.根据权利要求11所述的方法，其中，根据所述多个对象中的每个对象的所述多个步态周期上的运动学信息以及相应的地面反作用力测量值来确定那个对象的经测量KAM。
13.根据权利要求11所述的方法，其中，通过归一化和/或随机混洗来增加所述加速度计数据和陀螺仪数据的随机性。
14.根据权利要求13所述的方法，进一步包括根据来自所述至少一个传感器的关于一个或多个其他对象的多个步态周期的加速度计数据和陀螺仪数据以及所述一个或多个其他对象的多个步态周期的经测量KAM，和所述一个或多个其他对象的参数来校准所述神经网络，其中所述校准基于在训练和校准中使用的数据的平均值和标准偏差，并且来自所述至少一个传感器的关于所述一个或多个其他对象的所述多个步态周期的加速度计数据和陀螺仪数据被标准化和/或随机改组。
15.一种可在一个或多个处理器上执行的软件应用程序，以用于预测对象的多个步态周期的膝内敛运动(KAM)，该软件应用程序被配置以用于：
在便携式电子设备上接收所述对象的参数以及来自至少一个传感器的加速度计数据和陀螺仪数据，以用于通过神经网络来评估所述对象的多个步态周期的经预测KAM，所述至少一个传感器可附着到所述对象的至少一条腿的脚踝附近；
处理所述加速度计数据和所述陀螺仪数据，以从中提取多个数据段，所述数据段包括在所述对象的步态周期中的可能峰值KAM；
将经提取的所述多个数据段发送到可在位于远处的一个或多个处理器上操作的神经网络，所述处理器被配置用于根据所接收的加速度计数据和陀螺仪数据和所述对象的参数来生成经预测KAM，其中通过来自多个对象中的多个步态周期期间的测量值以及来自所述多个对象的参数来确定所述多个对象中的多个步态周期的KAM以配置所述神经网络；
输出所述对象的多个步态周期的经预测KAM，以在所述对象的步态周期期间在所述便携式电子设备上显示。
16.一种可在便携式电子设备上执行的软件应用程序，用于预测对象的多个步态周期的膝内敛运动(KAM)，该软件应用程序被配置以用于：
接收所述对象的参数以及来自至少一个传感器的加速度计数据和陀螺仪数据，以用于在便携式电子设备上通过神经网络来评估所述对象的多个步态周期的经预测KAM，所述至少一个传感器可附着到所述对象的至少一条腿的脚踝附近；
处理所述加速度计数据和所述陀螺仪数据，以从中提取多个数据段，所述数据段包括在所述对象的步态周期中的可能峰值KAM；
在便携式电子设备的处理器上生成神经网络，通过来自多个对象的多个步态周期期间的测量值以及来自所述多个对象的参数来确定所述多个对象的多个步态周期的KAM以配置所述神经网络；
将经提取的所述多个数据段发送到所述神经网络，以根据经提取的所述多个数据段而从所述神经网络输出关于所述对象的多个步态周期的经预测KAM到所述便携式电子设备的显示器。
17.一种用于预测对象的多个步态周期的膝内敛运动(KAM)的方法，所述方法包括：
从至少一个可附着在所述对象的至少一条腿的脚踝附近的传感器提供关于多个步态周期的加速度计数据和陀螺仪数据；
接收所述对象的参数和来自所述至少一个传感器的加速度计数据和陀螺仪数据，以通过神经网络来评估所述对象的多个步态周期的经预测KAM，
其中通过来自多个对象中的多个步态周期期间的测量值以及所述多个对象的参数来确定所述多个对象的所述多个步态周期的KAM以配置所述神经网络。
18.根据权利要求17所述的方法，其中，用于配置所述神经网络的测量值包括：来自至少一个传感器的关于所述多个对象的多个步态周期的加速度计数据和陀螺仪数据，和所述多个对象的所述多个步态周期的经测量KAM。
19.根据权利要求17所述的方法，其中，所述传感器是惯性测量单元传感器，其可布置靠近踝部分的水平并邻近脚踝并且被配置成在所述对象的步态周期的阶段期间提供加速度计数据和陀螺仪数据。
20.根据权利要求17所述的方法，进一步包括：在便携式电子设备上接收并显示所述对象的步态周期期间的经预测KAM。
21.根据权利要求17所述的方法，进一步包括：当关于所述对象的步态周期中的经预测KAM超过预确定阈值时，生成用于警告所述对象的信号。
22.根据权利要求17所述的方法，其中，在所述对象的下一个步态周期之前，从所述神经网络输出所述对象的一个步态周期的经预测KAM。
CN201910553043.5A 2019-06-20 2019-06-25 预测对象的多个步态周期的kam的系统、方法和软件应用程序 Active CN112107290B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/447,636 2019-06-20
US16/447,636 US11497452B2 (en) 2019-06-20 2019-06-20 Predictive knee joint loading system

Publications (2)

Publication Number Publication Date
CN112107290A true CN112107290A (zh) 2020-12-22
CN112107290B CN112107290B (zh) 2024-09-06

Family

ID=73796694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910553043.5A Active CN112107290B (zh) 2019-06-20 2019-06-25 预测对象的多个步态周期的kam的系统、方法和软件应用程序

Country Status (2)

Country Link
US (1) US11497452B2 (zh)
CN (1) CN112107290B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11963791B2 (en) * 2021-01-25 2024-04-23 University Of Maryland, College Park Training systems and methods for predicting knee adduction moment
WO2024105452A1 (en) * 2022-11-18 2024-05-23 4Iiii Innovations Inc. A method for switching between accelerometer and gyroscope to sense cadence on a bicycle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120277063A1 (en) * 2011-04-26 2012-11-01 Rehabtek Llc Apparatus and Method of Controlling Lower-Limb Joint Moments through Real-Time Feedback Training
US20170042467A1 (en) * 2014-04-25 2017-02-16 Massachusetts Institute Of Technology Feedback Method And Wearable Device To Monitor And Modulate Knee Adduction Moment
US20170216075A1 (en) * 2016-01-30 2017-08-03 Tokio Matsuzaki Mechanical Assisted Active Orthosis Using a Robotic Application
CN108135537A (zh) * 2015-07-31 2018-06-08 卡拉健康公司 用于治疗骨关节炎的系统、装置和方法
US20180235830A1 (en) * 2016-03-09 2018-08-23 John Rokosz Device and Method of Measuring Knee Abduction / Adduction Moment
CN108836346A (zh) * 2018-04-16 2018-11-20 大连理工大学 一种基于惯性传感器的人体步态分析方法和系统
US20190117156A1 (en) * 2017-10-24 2019-04-25 George Mason University Non-invasive wearable biomechanical and physiology monitor for injury prevention and rehabilitation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403821B2 (en) * 2000-02-17 2008-07-22 Neurodan A/S Method and implantable systems for neural sensing and nerve stimulation
US8444564B2 (en) * 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
US9470763B2 (en) * 2010-02-25 2016-10-18 James C. Solinsky Systems and methods for sensing balanced-action for improving mammal work-track efficiency
US9532732B2 (en) * 2010-05-03 2017-01-03 Emovi Inc. Method and system for knee joint evaluation and diagnostic aid in normal and pathologic state
US20130244211A1 (en) * 2012-03-15 2013-09-19 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for measuring, analyzing, and providing feedback for movement in multidimensional space
US20150045700A1 (en) * 2013-08-09 2015-02-12 University Of Washington Through Its Center For Commercialization Patient activity monitoring systems and associated methods
TWI615129B (zh) * 2016-02-19 2018-02-21 財團法人資訊工業策進會 步態分析系統及方法
CN105852866B (zh) * 2016-04-01 2018-08-21 浙江大学 用于膝关节内收力矩测量的可穿戴传感系统及测量方法
JP2017202236A (ja) * 2016-05-13 2017-11-16 花王株式会社 歩行分析方法及び歩行分析装置
US10892055B2 (en) * 2016-08-24 2021-01-12 Panasonic Intellectual Property Management Co., Ltd. Motor function estimation information generation apparatus, motor function estimation system, motor function estimation information generation method, motor function estimation method and storage medium
US11375924B2 (en) * 2016-11-29 2022-07-05 Nec Corporation Walking state measurement device, walking state measurement system, walking state measurement method, and storage medium for storing walking state measurement program
US20210369143A1 (en) * 2017-11-15 2021-12-02 Uti Limited Partnership Method and system utilizing pattern recognition for detecting atypical movements during physical activity
US20210186436A1 (en) * 2018-08-07 2021-06-24 NEC Corporator Joint disorder risk evaluation device, system, method, and program
US10842415B1 (en) * 2019-10-25 2020-11-24 Plethy, Inc. Devices, systems, and methods for monitoring and assessing gait, stability, and/or balance of a user

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120277063A1 (en) * 2011-04-26 2012-11-01 Rehabtek Llc Apparatus and Method of Controlling Lower-Limb Joint Moments through Real-Time Feedback Training
US20170042467A1 (en) * 2014-04-25 2017-02-16 Massachusetts Institute Of Technology Feedback Method And Wearable Device To Monitor And Modulate Knee Adduction Moment
CN108135537A (zh) * 2015-07-31 2018-06-08 卡拉健康公司 用于治疗骨关节炎的系统、装置和方法
US20170216075A1 (en) * 2016-01-30 2017-08-03 Tokio Matsuzaki Mechanical Assisted Active Orthosis Using a Robotic Application
US20180235830A1 (en) * 2016-03-09 2018-08-23 John Rokosz Device and Method of Measuring Knee Abduction / Adduction Moment
US20190117156A1 (en) * 2017-10-24 2019-04-25 George Mason University Non-invasive wearable biomechanical and physiology monitor for injury prevention and rehabilitation
CN108836346A (zh) * 2018-04-16 2018-11-20 大连理工大学 一种基于惯性传感器的人体步态分析方法和系统

Also Published As

Publication number Publication date
CN112107290B (zh) 2024-09-06
US11497452B2 (en) 2022-11-15
US20200397384A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
Cho et al. Evaluation of validity and reliability of inertial measurement unit-based gait analysis systems
Gujarathi et al. Gait analysis using imu sensor
Zhang et al. Accurate ambulatory gait analysis in walking and running using machine learning models
CN104757976B (zh) 一种基于多传感器融合的人体步态分析方法和系统
Watanabe et al. A preliminary test of measurement of joint angles and stride length with wireless inertial sensors for wearable gait evaluation system
Liu et al. Development of a wearable sensor system for quantitative gait analysis
Wang et al. Real-time estimation of knee adduction moment for gait retraining in patients with knee osteoarthritis
WO2014118767A1 (en) Classifying types of locomotion
EP2593009A1 (en) System and method for 3d gait assessment
Guo et al. Balance and knee extensibility evaluation of hemiplegic gait using an inertial body sensor network
Baroudi et al. Estimating walking speed in the wild
US12029550B2 (en) 3D human body joint angle prediction method and system using 2D image
CN112107290B (zh) 预测对象的多个步态周期的kam的系统、方法和软件应用程序
Perez et al. A smartphone-based system for clinical gait assessment
CN117731272A (zh) 一种融合足底压力鞋垫和多imu的步态分析方法及系统
CN116999057A (zh) 基于穿戴式传感器的偏瘫步态识别及偏瘫步态评估方法
Dolatabadi et al. A markerless motion tracking approach to understand changes in gait and balance: A case study
Zebin et al. Inertial sensing for gait analysis and the scope for sensor fusion
Nwanna Validation of an Accelerometry based method of human gait analysis
US20240023833A1 (en) Sensor-based walking aid adjustment system
Boutaayamou et al. Algorithm for temporal gait analysis using wireless foot-mounted accelerometers
Okkalidis et al. A review of foot pose and trajectory estimation methods using inertial and auxiliary sensors for kinematic gait analysis
Tan et al. Joint angle analysis with imu sensors for gait
Alcaraz et al. Mobile quantification and therapy course tracking for gait rehabilitation
Wada et al. Improvement research of shoe-type measurement device for a walking rehabilitation support system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: Hong-Kong

Address after: Hongkong China Hung Hom Kowloon Hong Kong Polytech University

Applicant after: The Hong Kong Polytechnic University

Address before: Hongkong China Hung Hom Kowloon Hong Kong Polytech University

Applicant before: The Hong Kong Polytechnic University

Country or region before: Hong-Kong

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant