CN117045237A - 基于姿态传感器的多模式感觉测试方法及系统 - Google Patents

基于姿态传感器的多模式感觉测试方法及系统 Download PDF

Info

Publication number
CN117045237A
CN117045237A CN202311018850.XA CN202311018850A CN117045237A CN 117045237 A CN117045237 A CN 117045237A CN 202311018850 A CN202311018850 A CN 202311018850A CN 117045237 A CN117045237 A CN 117045237A
Authority
CN
China
Prior art keywords
information
target object
state
motion
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311018850.XA
Other languages
English (en)
Inventor
曹现林
范会栓
蒋天裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Hengpin Medical Technology Co ltd
Original Assignee
Suzhou Hengpin Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Hengpin Medical Technology Co ltd filed Critical Suzhou Hengpin Medical Technology Co ltd
Priority to CN202311018850.XA priority Critical patent/CN117045237A/zh
Publication of CN117045237A publication Critical patent/CN117045237A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Psychiatry (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)

Abstract

本公开提供一种基于姿态传感器的多模式感觉测试方法及系统，包括通过所述穿戴式传感器获取目标对象的关节角度信息，通过非接触式传感器获取所述目标对象的动作信息，分别对关节角度信息和动作信息进行预处理后，将所述关节角度信息和所述动作信息进行融合，确定所述目标对象的姿态信息；根据所述目标对象的姿态信息，设定与所述姿态信息对应的姿态转移方程并对所述目标对象进行状态预测，确定状态预测值与与所述目标对象实际姿态信息的似然度，根据所述似然度为所述姿态信息分配粒子权重，确定状态估计值；基于所述状态估计值通过预先构建运动轨迹重建模型提取所述目标对象的运动特征点，根据所述状态估计值和所述运动特征点确定运动轨迹。

Description

基于姿态传感器的多模式感觉测试方法及系统
技术领域
本公开涉及传感器技术领域，尤其涉及一种基于姿态传感器的多模式感觉测试方法及系统。
背景技术
现有的人体深感觉测试设备如膝部深感觉测试设备，使用时将该设备绑缚在膝部，在关节位置有一个角度仪，测试时可以将角度仪拨到不同角度并固定，通过此功能达成对膝关节深感觉的测试。该设备存在的问题是在佩戴时需要绑缚4条固定条，非常繁琐。由于要固定牢靠，导致了腿部非常不适。并且由于人体肌肉的可伸缩性，使得其即使通过角度仪固定的角度误差非常大，从而导致测试数据的失准失去测试意义。
发明内容
本公开实施例提供一种基于姿态传感器的多模式感觉测试方法及系统，能够至少解决现有技术中部分问题，也即解决现有感觉测试设备用户体验不佳，且测量误差较大的问题。
本公开实施例的第一方面，
提供一种基于姿态传感器的多模式感觉测试方法，所述方法应用于基于姿态传感器的多模式感觉测试系统，所述系统包括穿戴式传感器和非接触式传感器，所述方法包括：
通过所述穿戴式传感器获取目标对象的关节角度信息，通过非接触式传感器获取所述目标对象的动作信息，分别对所述关节角度信息和所述动作信息进行预处理后，将所述关节角度信息和所述动作信息进行融合，确定所述目标对象的姿态信息；
根据所述目标对象的姿态信息，设定与所述姿态信息对应的姿态转移方程并对所述目标对象进行状态预测，确定状态预测值与与所述目标对象实际姿态信息的似然度，根据所述似然度为所述姿态信息分配粒子权重，确定状态估计值；
基于所述状态估计值通过预先构建运动轨迹重建模型提取所述目标对象的运动特征点，根据所述状态估计值和所述运动特征点确定运动轨迹，其中，所述运动轨迹重建模型基于神经网络构建，用于确定目标对象的运动轨迹。
在一种可选的实施方式中，
所述将所述关节角度信息和所述动作信息进行融合包括：
构建所述动作信息对应的动作状态方程，并计算所述动作状态方程对应的雅可比矩阵，确定所述动作信息对应的动作状态量；
基于所述动作状态量以及预先获取的非接触式传感器的第一传感误差值构建所述动作状态量对应的动作状态转移矩阵，基于所述关节角度信息以及预先获取的穿戴式传感器的第二传感误差值构建所述关节角度信息对应的角度状态转移矩阵；
基于所述目标对象的测试模式设置与所述测试模式对应的测试观测矩阵；
根据所述动作状态转移矩阵、所述角度状态转移矩阵以及所述测试观测矩阵，确定所述目标对象的姿态信息。
在一种可选的实施方式中，
所述确定所述动作信息对应的动作状态量如下公式所示：
w(t+Δt)＝w(t)+H(θ)·v(t)
其中，Jw表示雅可比矩阵，θ(t)表示关节角度信息，w(t)表示动作状态量，H(θ)表示姿态估计值，v(t)表示误差值；
所述构建所述动作状态量对应的动作状态转移矩阵如下公式所示：
x1(k)＝F(k-1)x1(k-1)+w(k-1)
z1(k)＝Hx1(k)+v(k)
其中，x1(k)表示动作状态转移矩阵，F(k-1)表示状态转移噪声，w(k-1)表示观测噪声；z1(k)表示状态转移矩阵对应的协方差；
所述构建所述关节角度信息对应的角度状态转移矩阵如下公式所示：
x2(k)＝F(k-1)x2(k-1)+w(k-1)
z2(k)＝Hx2(k)+v(k)
其中，x2(k)表示动作状态转移矩阵，F(k-1)表示状态转移噪声，w(k-1)表示观测噪声；z2(k)表示状态转移矩阵对应的协方差。
在一种可选的实施方式中，
所述设定与所述姿态信息对应的姿态转移方程并对所述目标对象进行状态预测，确定状态预测值与与所述目标对象实际姿态信息的似然度，根据所述似然度为所述姿态信息分配粒子权重，确定状态估计值包括：
根据所述姿态转移方程，以及所述目标对象在上一时刻的姿态信息以及状态转移误差，对所述目标对象进行状态预测；
基于所述似然度为为所述姿态信息分配粒子权重，根据所述粒子权重的大小对所述姿态信息进行重采样，保留粒子权重大于预设权重阈值的姿态信息，并对保留后的姿态信息的粒子权重进行加权平均，确定状态估计值。
在一种可选的实施方式中，
所述对所述目标对象进行状态预测如下公式所示：
yk＝f(yk-1，uk-1，wk-1)
其中，yk表示状态预测值，yk-1表示上一时刻的状态，uk-1表示上一时刻到当前时刻的控制输入，wk-1表示观测噪声。
在一种可选的实施方式中，
所述基于所述状态估计值通过预先构建运动轨迹重建模型提取所述目标对象的运动特征点，根据所述状态估计值和所述运动特征点确定运动轨迹包括：
根据所提取的所述目标对象的运动特征点，确定所述运动特征点的邻接矩阵，并基于所述运动特征点以及所述邻接矩阵拟合运动模型；
计算所述运动特征点与所述运动模型的特征距离，并将所述特征距离小于预设距离阈值的运动特征点作为内点，将所述特征距离大于预设距离阈值的运动特征点作为外点，重复计算所述特征距离，直至所述内点的数量不再变动确定最终运动模型；
基于所述最终运动模型通过点云配准算法，得到三维空间中运动轨迹。
本公开实施例的第二方面，
提供一种基于姿态传感器的多模式感觉测试设系统，包括穿戴式传感器和非接触式传感器，所述系统还包括：
第一单元，用于通过所述穿戴式传感器获取目标对象的关节角度信息，通过非接触式传感器获取所述目标对象的动作信息，分别对所述关节角度信息和所述动作信息进行预处理后，将所述关节角度信息和所述动作信息进行融合，确定所述目标对象的姿态信息；
第二单元，用于根据所述目标对象的姿态信息，设定与所述姿态信息对应的姿态转移方程并对所述目标对象进行状态预测，确定状态预测值与与所述目标对象实际姿态信息的似然度，根据所述似然度为所述姿态信息分配粒子权重，确定状态估计值；
第三单元，用于基于所述状态估计值通过预先构建运动轨迹重建模型提取所述目标对象的运动特征点，根据所述状态估计值和所述运动特征点确定运动轨迹，其中，所述运动轨迹重建模型基于神经网络构建，用于确定目标对象的运动轨迹。
本公开实施例的第三方面，
提供一种基于姿态传感器的多模式感觉测试设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本公开实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
附图说明
图1为本公开实施例基于姿态传感器的多模式感觉测试方法的流程示意图；
图2为本公开实施例基于姿态传感器的多模式感觉测试系统的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本公开实施例方法的流程示意图，如图1所示，所述方法包括：
S101.通过所述穿戴式传感器获取目标对象的关节角度信息，通过非接触式传感器获取所述目标对象的动作信息，分别对所述关节角度信息和所述动作信息进行预处理后，将所述关节角度信息和所述动作信息进行融合，确定所述目标对象的姿态信息；
S102.根据所述目标对象的姿态信息，设定与所述姿态信息对应的姿态转移方程并对所述目标对象进行状态预测，确定状态预测值与与所述目标对象实际姿态信息的似然度，根据所述似然度为所述姿态信息分配粒子权重，确定状态估计值；
S103.基于所述状态估计值通过预先构建运动轨迹重建模型提取所述目标对象的运动特征点，根据所述状态估计值和所述运动特征点确定运动轨迹。
姿态传感器是一种用于检测物体在三维空间中的方向和位置的传感器。传统上，姿态传感器使用加速度计和陀螺仪来测量物体的加速度和角速度，并计算出物体的姿态。然而，这种方法存在精度受限和漂移等问题。此外，传统的姿态传感器主要为穿戴式传感器，如膝部深感觉测试设备，使用时将该设备绑缚在膝部，在关节位置有一个角度仪，测试时可以将角度仪拨到不同角度并固定，通过此功能达成对膝关节深感觉的测试。该设备存在的问题是在佩戴时需要绑缚4条固定条，非常繁琐，由于要固定牢靠，导致了腿部非常不适，并且由于人体肌肉的可伸缩性，使得其即使通过角度仪固定的角度误差非常大，从而导致测试数据的失准进而失去测试意义。
在实际应用中，姿态传感器还包括非接触式传感器，例如毫米波雷达，通过发射和接收声波，可以测量物体相对于传感器的位置和姿态；视觉传感器，通过摄像头等视觉传感器，可以获取物体的图像信息，并通过计算机视觉算法推算出物体的姿态信息，目标对象不会有佩戴不适感，将其与穿戴式传感器配合，不仅可以提高用户体验，还能够综合两种传感器的数据提高数据精度。
示例性地，本申请的穿戴式传感器可以包括角度仪，用于实时获取关节角度信息，本申请的非接触式传感器可以包括视觉传感器，用于获取目标对象的动作信息，通过对图像进行图像分析，可以确定目标对象肢体移动的速度和加速度信息。
将关节角度信息和动作信息进行融合可以提高姿态估计的准确性和鲁棒性，得到更准确更全面的信息。
与现有技术相比，本专利训练部位更加丰富，除了可以应用在膝关节，还可以用于肘关节、踝关节、肩关节的深感觉测试。使用本发明，在测试过程中，受测者坐在椅子上将姿态传感器佩戴到小腿部位连接好服务器和三维测试软件，尽量使小腿垂直于地面。此时软件内显示小腿角度非常接近0度，但还是有误差，点击矫正按钮补偿该误差以在最大程度上降低后面测试数据的误差大小。此时可以选择测试模式，分为主动和被动两种模式。选择主动模式开始测试流程为操作者告诉受测者一个角度并填入第一个输入框内。受测者按照操作者的指令将小腿抬到尽量接近该角度的高度，在保持3秒钟不动后软件自动算出这3秒钟小腿角度的平均值自动填入到第二个输入框内，点击结束测试生成测试数据，该数据至少包括第一和第二角度的插值；选择被动模式开始测试流程为操作者让受测者将小腿抬到一个随机的高度并保持3秒钟不动，3秒钟后软件自动算出这3秒钟的小腿角度的平均值并自动填入到第一个输入框。数据生成后测试者将小腿回归原位，操作者点击再次获取角度并让测试者根据感觉将小腿抬到刚才抬到的角度，测试者再次将小腿根据感觉抬到上一次抬到的角度，保持3秒钟后软件自动算出这3秒钟的小腿角度的平均值并自动填入到第二个输入框。点击结束测试生成测试数据，该数据至少包括第一和第二角度的插值。
该发明主要通过使用姿态传感器实时获取关节角度，从而使测试数据的降到最小。测试者只需要穿戴测试部位的姿态传感器就可以在操作者的指示下进行深感觉测试，从而使测试流程变得非常便捷。由于不需要绑带等物体固定关节角度，所以在测试过程中不会对测试者造成任何的不适感。
本发明揭示了一种人体深感觉测试方法，该系统使用TCP网络传输协议保持通信，所述方法包括服务器1、姿态传感器2、微计算机(CPU等)3、操作界面4。
所述服务器1用以传递姿态传感器2的数据信息给微计算机3并储存到本地，该数据信息至少包括姿态传感器2的角度、速度、加速度，微计算机3接收到信息后将角度信息显示到操作界面4上。
本公开实施例可以包括如下步骤：
步骤①、测试者坐在椅子上双脚着地佩戴好测试关节的姿态传感器2，连接好服务器1
步骤②、测试者的任意肢体动作都会触发姿态传感器2的数据更新。
步骤③、操作界面4内虚拟人模仿测试者动作，操作界面上实时显示姿态传感器2的角度变化。
步骤④、在测试前要将姿态传感器2角度归零以保证较小的误差，将测试关节摆到起始点后操作者点击矫正按钮重置传感器。
步骤⑤、操作者根据需要选择对测试者的测试模式，点击开始测试按钮。
步骤⑥、主动模式下目标角度为操作者手动输入，被动模式下目标角度为测试者随机将关节摆到一个角度并保持3秒钟软件自动计算输入得到。
步骤⑦、在得到第一个角度后操作者点击获取第二个角度，测试者将关节摆到相应的角度并保持3秒钟软件自动计算得到。
在一种可选的实施方式中，
将所述关节角度信息和所述动作信息进行融合包括：
构建所述动作信息对应的动作状态方程，并计算所述动作状态方程对应的雅可比矩阵，确定所述动作信息对应的动作状态量；
基于所述动作状态量以及预先获取的非接触式传感器的第一传感误差值构建所述动作状态量对应的动作状态转移矩阵，基于所述关节角度信息以及预先获取的穿戴式传感器的第二传感误差值构建所述关节角度信息对应的角度状态转移矩阵；
基于所述目标对象的测试模式设置与所述测试模式对应的测试观测矩阵；
根据所述动作状态转移矩阵、所述角度状态转移矩阵以及所述测试观测矩阵，确定所述目标对象的姿态信息。
示例性地，动作信息包括加速度信息和角速度信息，而姿态估计需要用到角度信息，因此需要对动作信息进行积分。但是积分过程中可能会出现积分误差的累积，从而导致姿态估计的不稳定。为了解决这个问题，可以使用预积分技术，将动作信息在一段时间内进行积分，得到预测姿态，从而减小积分误差的影响。预积分技术通过将加速度信息和角速度信息的状态积分转换为对角度信息的积分，从而消除状态方程中的离散化误差，保持较高精度的同时，减少计算量。
通过将动作信息进行预积分，可以将动作信息转换为与关节角度信息统一维度的信息。
在一种可选的实施方式中，
所述将所述关节角度信息和所述动作信息进行融合包括：
构建所述动作信息对应的动作状态方程，并计算所述动作状态方程对应的雅可比矩阵，确定所述动作信息对应的动作状态量；
基于所述动作状态量以及预先获取的非接触式传感器的第一传感误差值构建所述动作状态量对应的动作状态转移矩阵，基于所述关节角度信息以及预先获取的穿戴式传感器的第二传感误差值构建所述关节角度信息对应的角度状态转移矩阵；
基于所述目标对象的测试模式设置与所述测试模式对应的测试观测矩阵；
根据所述动作状态转移矩阵、所述角度状态转移矩阵以及所述测试观测矩阵，确定所述目标对象的姿态信息。
在一种可选的实施方式中，
所述确定所述动作信息对应的动作状态量如下公式所示：
w(t+Δt)＝w(t)+H(θ)·v(t)
其中，Jw表示雅可比矩阵，θ(t)表示关节角度信息，w(t)表示动作状态量，H(θ)表示姿态估计值，v(t)表示误差值；
所述构建所述动作状态量对应的动作状态转移矩阵如下公式所示：
x1(k)＝F(k-1)x1(k-1)+w(k-1)
z1(k)＝Hx1(k)+v(k)
其中，x1(k)表示动作状态转移矩阵，F(k-1)表示状态转移噪声，w(k-1)表示观测噪声；z1(k)表示状态转移矩阵对应的协方差；
所述构建所述关节角度信息对应的角度状态转移矩阵如下公式所示：
x2(k)＝F(k-1)x2(k-1)+w(k-1)
z2(k)＝Hx2(k)+v(k)
其中，x2(k)表示动作状态转移矩阵，F(k-1)表示状态转移噪声，w(k-1)表示观测噪声；z2(k)表示状态转移矩阵对应的协方差。
在一种可选的实施方式中，
所述设定与所述姿态信息对应的姿态转移方程并对所述目标对象进行状态预测，确定状态预测值与与所述目标对象实际姿态信息的似然度，根据所述似然度为所述姿态信息分配粒子权重，确定状态估计值包括：
根据所述姿态转移方程，以及所述目标对象在上一时刻的姿态信息以及状态转移误差，对所述目标对象进行状态预测；
基于所述似然度为为所述姿态信息分配粒子权重，根据所述粒子权重的大小对所述姿态信息进行重采样，保留粒子权重大于预设权重阈值的姿态信息，并对保留后的姿态信息的粒子权重进行加权平均，确定状态估计值。
在一种可选的实施方式中，
所述对所述目标对象进行状态预测如下公式所示：
yk＝f(yk-1，uk-1，wk-1)
其中，yk表示状态预测值，yk-1表示上一时刻的状态，uk-1表示上一时刻到当前时刻的控制输入，wk-1表示观测噪声。
在一种可选的实施方式中，
所述基于所述状态估计值通过预先构建运动轨迹重建模型提取所述目标对象的运动特征点，根据所述状态估计值和所述运动特征点确定运动轨迹包括：
根据所提取的所述目标对象的运动特征点，确定所述运动特征点的邻接矩阵，并基于所述运动特征点以及所述邻接矩阵拟合运动模型；
计算所述运动特征点与所述运动模型的特征距离，并将所述特征距离小于预设距离阈值的运动特征点作为内点，将所述特征距离大于预设距离阈值的运动特征点作为外点，重复计算所述特征距离，直至所述内点的数量不再变动确定最终运动模型；
基于所述最终运动模型通过点云配准算法，得到三维空间中运动轨迹。
本公开实施例的第二方面，
提供一种基于姿态传感器的多模式感觉测试设系统，包括穿戴式传感器和非接触式传感器，图2为本公开实施例基于姿态传感器的多模式感觉测试系统的结构示意图，所述系统还包括：
第一单元，用于通过所述穿戴式传感器获取目标对象的关节角度信息，通过非接触式传感器获取所述目标对象的动作信息，分别对所述关节角度信息和所述动作信息进行预处理后，将所述关节角度信息和所述动作信息进行融合，确定所述目标对象的姿态信息；
第二单元，用于根据所述目标对象的姿态信息，设定与所述姿态信息对应的姿态转移方程并对所述目标对象进行状态预测，确定状态预测值与与所述目标对象实际姿态信息的似然度，根据所述似然度为所述姿态信息分配粒子权重，确定状态估计值；
第三单元，用于基于所述状态估计值通过预先构建运动轨迹重建模型提取所述目标对象的运动特征点，根据所述状态估计值和所述运动特征点确定运动轨迹，其中，所述运动轨迹重建模型基于神经网络构建，用于确定目标对象的运动轨迹。
本公开实施例的第三方面，
提供一种基于姿态传感器的多模式感觉测试设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本公开实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (9)

1.一种基于姿态传感器的多模式感觉测试方法，其特征在于，所述方法应用于基于姿态传感器的多模式感觉测试系统，所述系统包括穿戴式传感器和非接触式传感器，所述方法包括：
通过所述穿戴式传感器获取目标对象的关节角度信息，通过非接触式传感器获取所述目标对象的动作信息，分别对所述关节角度信息和所述动作信息进行预处理后，将所述关节角度信息和所述动作信息进行融合，确定所述目标对象的姿态信息；
根据所述目标对象的姿态信息，设定与所述姿态信息对应的姿态转移方程并对所述目标对象进行状态预测，确定状态预测值与与所述目标对象实际姿态信息的似然度，根据所述似然度为所述姿态信息分配粒子权重，确定状态估计值；
基于所述状态估计值通过预先构建运动轨迹重建模型提取所述目标对象的运动特征点，根据所述状态估计值和所述运动特征点确定运动轨迹，其中，所述运动轨迹重建模型基于神经网络构建，用于确定目标对象的运动轨迹。
2.根据权利要求1所述的方法，其特征在于，所述将所述关节角度信息和所述动作信息进行融合包括：
构建所述动作信息对应的动作状态方程，并计算所述动作状态方程对应的雅可比矩阵，确定所述动作信息对应的动作状态量；
基于所述动作状态量以及预先获取的非接触式传感器的第一传感误差值构建所述动作状态量对应的动作状态转移矩阵，基于所述关节角度信息以及预先获取的穿戴式传感器的第二传感误差值构建所述关节角度信息对应的角度状态转移矩阵；
基于所述目标对象的测试模式设置与所述测试模式对应的测试观测矩阵；
根据所述动作状态转移矩阵、所述角度状态转移矩阵以及所述测试观测矩阵，确定所述目标对象的姿态信息。
3.根据权利要求2所述的方法，其特征在于，
所述确定所述动作信息对应的动作状态量如下公式所示：
w(t+Δt)＝w(t)+H(θ)·v(t)
其中，Jw表示雅可比矩阵，θ(t)表示关节角度信息，w(t)表示动作状态量，H(θ)表示姿态估计值，v(t)表示误差值；
所述构建所述动作状态量对应的动作状态转移矩阵如下公式所示：
x1(k)＝F(k-1)x1(k-1)+w(k-1)
z1(k)＝Hx1(k)+v(k)
其中，x1(k)表示动作状态转移矩阵，F(k-1)表示状态转移噪声，w(k-1)表示观测噪声；z1(k)表示状态转移矩阵对应的协方差；
所述构建所述关节角度信息对应的角度状态转移矩阵如下公式所示：
x2(k)＝F(k-1)x2(k-1)+w(k-1)
z2(k)＝Hx2(k)+v(k)
其中，x2(k)表示动作状态转移矩阵，F(k-1)表示状态转移噪声，w(k-1)表示观测噪声；z2(k)表示状态转移矩阵对应的协方差。
4.根据权利要求1所述的方法，其特征在于，所述设定与所述姿态信息对应的姿态转移方程并对所述目标对象进行状态预测，确定状态预测值与与所述目标对象实际姿态信息的似然度，根据所述似然度为所述姿态信息分配粒子权重，确定状态估计值包括：
根据所述姿态转移方程，以及所述目标对象在上一时刻的姿态信息以及状态转移误差，对所述目标对象进行状态预测；
基于所述似然度为为所述姿态信息分配粒子权重，根据所述粒子权重的大小对所述姿态信息进行重采样，保留粒子权重大于预设权重阈值的姿态信息，并对保留后的姿态信息的粒子权重进行加权平均，确定状态估计值。
5.根据权利要求4所述的方法，其特征在于，
所述对所述目标对象进行状态预测如下公式所示：
yk＝f(yk-1，uk-1，wk-1)
其中，yk表示状态预测值，yk-1表示上一时刻的状态，uk-1表示上一时刻到当前时刻的控制输入，wk-1表示观测噪声。
6.根据权利要求1所述的方法，其特征在于，所述基于所述状态估计值通过预先构建运动轨迹重建模型提取所述目标对象的运动特征点，根据所述状态估计值和所述运动特征点确定运动轨迹包括：
根据所提取的所述目标对象的运动特征点，确定所述运动特征点的邻接矩阵，并基于所述运动特征点以及所述邻接矩阵拟合运动模型；
计算所述运动特征点与所述运动模型的特征距离，并将所述特征距离小于预设距离阈值的运动特征点作为内点，将所述特征距离大于预设距离阈值的运动特征点作为外点，重复计算所述特征距离，直至所述内点的数量不再变动确定最终运动模型；
基于所述最终运动模型通过点云配准算法，得到三维空间中运动轨迹。
7.一种基于姿态传感器的多模式感觉测试设系统，其特征在于，包括穿戴式传感器和非接触式传感器，所述系统还包括：
第一单元，用于通过所述穿戴式传感器获取目标对象的关节角度信息，通过非接触式传感器获取所述目标对象的动作信息，分别对所述关节角度信息和所述动作信息进行预处理后，将所述关节角度信息和所述动作信息进行融合，确定所述目标对象的姿态信息；
第二单元，用于根据所述目标对象的姿态信息，设定与所述姿态信息对应的姿态转移方程并对所述目标对象进行状态预测，确定状态预测值与与所述目标对象实际姿态信息的似然度，根据所述似然度为所述姿态信息分配粒子权重，确定状态估计值；
第三单元，用于基于所述状态估计值通过预先构建运动轨迹重建模型提取所述目标对象的运动特征点，根据所述状态估计值和所述运动特征点确定运动轨迹，其中，所述运动轨迹重建模型基于神经网络构建，用于确定目标对象的运动轨迹。
8.一种基于姿态传感器的多模式感觉测试设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
CN202311018850.XA 2023-08-14 2023-08-14 基于姿态传感器的多模式感觉测试方法及系统 Pending CN117045237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311018850.XA CN117045237A (zh) 2023-08-14 2023-08-14 基于姿态传感器的多模式感觉测试方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311018850.XA CN117045237A (zh) 2023-08-14 2023-08-14 基于姿态传感器的多模式感觉测试方法及系统

Publications (1)

Publication Number Publication Date
CN117045237A true CN117045237A (zh) 2023-11-14

Family

ID=88652868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311018850.XA Pending CN117045237A (zh) 2023-08-14 2023-08-14 基于姿态传感器的多模式感觉测试方法及系统

Country Status (1)

Country Link
CN (1) CN117045237A (zh)

Similar Documents

Publication Publication Date Title
US10621425B2 (en) Method of determining joint stress from sensor data
Roetenberg et al. Xsens MVN: Full 6DOF human motion tracking using miniature inertial sensors
CN107920782B (zh) 步行分析方法及步行分析系统
JP5657216B2 (ja) モーションキャプチャー装置及びモーションキャプチャー方法
KR101751760B1 (ko) 하지 관절 각도를 이용한 보행 인자 추정 방법
WO2018196227A1 (zh) 人体运动能力评价方法、装置及系统
Destelle et al. Low-cost accurate skeleton tracking based on fusion of kinect and wearable inertial sensors
Bonnet et al. Fast determination of the planar body segment inertial parameters using affordable sensors
CN110609621B (zh) 姿态标定方法及基于微传感器的人体运动捕获系统
Palani et al. Real-time joint angle estimation using mediapipe framework and inertial sensors
JPWO2019008689A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
US11694360B2 (en) Calibrating 3D motion capture system for skeletal alignment using x-ray data
JP2020000854A (ja) 走行又は歩行している個人の実時間の歩長と速度を計算する方法
CN115919250A (zh) 一种人体动态关节角测量系统
De Rosario et al. Correction of joint angles from Kinect for balance exercising and assessment
KR101788960B1 (ko) 관절 가동성 자동측정장치 및 이를 이용한 관절 가동성 자동측정방법
CN107847187B (zh) 用于对肢体的至少部分进行运动跟踪的装置和方法
US20200243198A1 (en) Method and apparatus for estimating human motion kinetics information
CN117045237A (zh) 基于姿态传感器的多模式感觉测试方法及系统
JP5435543B2 (ja) 人体の部位別の質量および重心の測定方法
CN116206358A (zh) 一种基于vio系统的下肢外骨骼运动模式预测方法及系统
Romantsova et al. Metrological parameters of information and measurement systems for the study of a kinematic portrait of a person
JP7482471B2 (ja) 学習モデルの生成方法
JP6643188B2 (ja) 移動運動解析装置及びシステム並びにプログラム
CN114224325A (zh) 利用惯性传感器计算关节力矩和角度的步态分析系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination