CN113869217A - 一种用于获取图像识别数据的方法和系统 - Google Patents

一种用于获取图像识别数据的方法和系统 Download PDF

Info

Publication number
CN113869217A
CN113869217A CN202111148127.4A CN202111148127A CN113869217A CN 113869217 A CN113869217 A CN 113869217A CN 202111148127 A CN202111148127 A CN 202111148127A CN 113869217 A CN113869217 A CN 113869217A
Authority
CN
China
Prior art keywords
data
feature point
target object
model
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111148127.4A
Other languages
English (en)
Inventor
张硕
张惠斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Plural Health Technology Co ltd
Original Assignee
Beijing Plural Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Plural Health Technology Co ltd filed Critical Beijing Plural Health Technology Co ltd
Priority to CN202111148127.4A priority Critical patent/CN113869217A/zh
Publication of CN113869217A publication Critical patent/CN113869217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于获取图像识别数据的方法及系统，其中方法包括：利用多铰链运动学模型对动态图像数据进行图像识别以获得与目标对象相关联的初始的特征点识别数据；基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型；将初始的定制动力学模型作为当前的定制动力学模型，并将初始的特征点识别数据作为当前的特征点识别数据；利用当前的定制动力学模型对目标对象进行运动姿态仿真，并根据运动姿态仿真的仿真结果生成与目标对象相关联的特征点仿真数据；确定特征点仿真数据与当前的特征点识别数据的匹配度，当匹配度大于或等于匹配阈值时，将当前的特征点识别数据作为目标对象的图像识别数据。

Description

一种用于获取图像识别数据的方法和系统
技术领域
本发明涉及图像识别技术领域，并且更具体地涉及一种用于获取图像识别数据的方法和系统、以及存储介质和电子设备。
背景技术
运动是人类和动物生命的基础，需要通过复杂的神经、肌肉、骨骼以及关节系统的相互作用而产生。这就决定了运动的研究需要多学科知识的融合，诸如医学、生物学、神经科学、力学和机器人技术等。人体运动学(kinesiology)作为康复医学的基础学科，是利用运动学(kinematics)和动力学(kinetics)的概念和方法，结合功能解剖学和神经肌肉生理等方面的知识研究人体运动动作和运动行为的一门学科。人体运动学以人体运动动作和运动行为为研究对象，探讨人体的运动功能及其变化规律，揭示人体运动产生、变化以及重新获得的机理，从而为运动功能的康复提供有效的指导意见。
康复医学是运用医学手段促进患者功能恢复的医学应用学科。运动疗法作为康复医学最重要的治疗手段之一，以运动或者力作为治疗因子，通过改善、代偿和替代的方法，提高功能障碍者的躯体、心理和社会机能，以达到恢复功能、提高生活质量和回归社会的目的。其各个环节都离不开人体运动学。
(1)运动学与康复评定：关节活动范围评定、肌力评定、肌张力评定等最重要的基础评定内容均涉及肌肉、关节和骨的运动。人体运动学介绍关节周围不同肌肉收缩所带来的不同方向运动的效应，可以有助于充分理解是因为肌肉收缩力的方向与关节中心点位置之间的变化，以及肌肉收缩的杠杆效应导致了不同的运动。
(2)运动学与运动疗法：运动治疗里很多方法的原理均来自于组织、系统的生物力学原理。比如①根据软骨的生物力学特性来理解关节松动和关节牵引的基本原则和目标；②根据肌肉运动方式来理解单纯肌力训练多采用开链训练(如脊髓损伤患者卧位训练肱二头肌)而功能性肌力训练多采用闭链训练(如脊髓损伤患者坐位支撑训练)，从而了解如何根据不同训练目的合理选择训练方法。
(3)运动学与作业治疗：作业治疗对治疗师的创造性思维能力要求很高，治疗师需要通过对作业活动的分析，发现患者完成日常生活活动或者娱乐、工作等活动受限的原因，从而制定个体化的作业计划，再进行相应的训练以达到提高患者日常生活活动能力和社会活动能力的目的。这就要求更高的运动分析能力:不仅仅是分析单块肌肉、一个关节的运动，还要分析复杂的日常生活活动和工作活动。
(4)运动学与假肢和矫形：充分理解人体运行学原理，比如通过对步行时下肢闭链运动的分析，可以更好理解髋、膝、踝关节角度与步行稳定性的关系，用于指导矫形器的选择和设计。
然而，在康复医学领域，现有技术对人体运动学的运用还存在诸多限制：
一、运动学应用的局限
运动学(kinematics)是从几何角度描述和研究物体位置随时间变化规律的一个力学分支。运动学不考虑物体本身的物理性质和施加在物体上的力，仅把物体以质点或刚体这种简化模型为基础，进一步研究弹性体、流体等变形体的运动，包括运动轨迹、位移、速度、加速度以及转动轨迹、角度、角速度、角加速度等运动特征。
①多侧重测量，无法辅助或指导设计方案，更无法预测发展和进行预后判断。无论是可穿戴的接触式采集还是视觉的非接触式采集，现有的运动学分析大多停留在数据采集层面，通过跟踪身体主要关节点的动态位置，进行相关时空特征计算——诸如位移、速度、加速度以及转动轨迹、角度、角速度、角加速度等——这只解决了测量问题，却无法进行有效指导。由测量结果分析而得到异常后，仍然需要医师凭借经验进行处方制订，无法利用测量结果来辅助或指导设计，更无法预测病情发展和预后判断。
②各测量点相对独立，未考虑各测量点间的结构性约束。运动学测量只是完成了数据的采集，但是在采集过程中并没有考虑关键点之间的逻辑关系，人体是由多关节、多骨骼串联的铰链结构，因而人体姿态是一个多纬度、高灵活性且拥有多结构性约束的复杂行为，更无法融合人体肌骨模型，考虑肌肉受力等等。
③测量只停留在数据收集，未从人体自身控制机制角度出发进行主动研究。了解人体自身控制机制，可以有效的开展康复治疗，是提高有效性的必要条件之一。人体是一个有数百块肌肉组成的复杂系统，随着大数据与云计算技术的快速发展，逐步构建真实人体肌骨模型并仿真人体各种运动正成为一种可能。
二、动力学应用局限
动力学(kinetics)是研究作用于物体的力与物体运动关系的力学分支。动力学主要考虑两类问题:通过已知物体的运动研究作用于物体的力；通过已知作用于物体上的力研究物体的运动。动力学应用主要集中在针式肌电(dEMG)和表面肌电(sEMG)。针式肌电信号(dEMG)是众多肌纤维中运动单元动作电位(MUAP)在时间和空间上的叠加。表面肌电信号(sEMG)是浅层肌肉EMG和神经干上电活动在皮肤表面的综合效应，能在一定程度上反映神经肌肉的活动。
①肌电检测(dEMG和sEMG)都属于有创或接触式检查，设备昂贵，操作费时费力。表面肌电存在不可消除的系统误差。无论是dEMG还是sEMG都属于接触式检查，需要将电极贴在身体表面的特定位置，操作复杂且费时费力，尤其是针式肌电dEMG属于有创检查，需要专业医师进行操作，且设备成本较高。虽然表面肌电sEMG在测量上是无创的，操作简单，但表面标记会产生固有的误差。在测量骨骼组件的运动时，存在与皮肤相对于骨骼的运动相关的误差。这可以减少，但不能消除。
②肌电检测(dEMG和sEMG)采集通道与范围有限，会限制被测者自由活动区域。且无法长时间持续采集。肌电检测的是单一或局部多个运动单元的电生理活动，通常只能同时检测人体几块骨骼肌信号(通常dEMG能同时检测2-4块，sEMG能同时检测8-16块)，通常无法对宏观运动的多组肌肉同时检测。此外接触式采集方式会干扰测试者自身行动，无法采集自然状态下的真实运动数据，导致测试结果有偏差。且接触式采集不适合长时间连续检测。
③肌电数据可视化程序较低，只能检测肌肉是否激活,却无法确定活动是由哪些肌肉引起。传统肌电数据往往以一维波形信号展示，可视化程度较低。且数据分析往往需要配套的专业工具，操作繁琐，报告可读性较低，只能检测肌肉是否激活,却无法确定活动是由哪些肌肉引起，不利于医师和患者理解和交流。
④由于人体结构的复杂性，有些部位肌电信号无法获得。由于人体结构的复杂性，部分变量无法通过测量直接获得，例如肌肉产生的力，以及运动过程中肌腱的拉伸和反冲等。
⑤肌电检测仅仅是一个采集过程，无法进行有效仿真和预测。少有的几种建模方法，以人口统计学的简化数据为依据，缺乏患者个体化数据，导致仿真和预测结果真实指导意义不大，往往仅用于演示。
由此可知，由于无法获取准确的图像识别数据，现有技术中存在对于如何获取准确的图像识别技术的技术方案的需求。
发明内容
鉴于以上问题，本发明在机器视觉基础上融合人体运动学(Kinesiology)的专业知识，从运动学(Kinematics)维度，将多维且高自由度的人体抽象为多关节链接而成的铰链结构，融合运动学专业指标以及人体结构性约束进行数据分析、数据校准与数据增强；从动力学(Kinetics)维度，建立人体肌肉、骨骼以及神经控制的力学模型，根据患者个性化姿态数据输入，反向输出骨骼、肌肉以及神经控制的多模态仿真结果，可视化作用力、肌肉负荷与姿态之间的关系，辅助医生、治疗师和患者进行病情沟通、病因讲解和方案制定。与此同时预测运动训练所引起的肌肉的功能适应性改变，模拟生物力学效果，辅助治疗方案的讲解、运动训练的执行，以及康复预后的判别。
本发明在计算机视觉与计算科学基础上，利用人体运动学(Kinesiology)的专业知识进行相应处理：
1)从运动学(Kinematics)角度出发，对传统机器视觉基于人体离散的、关联性的模型下的割裂式的识别人体关键点方案进行增强，融合人体自身铰链式的结构性约束，校准与解决关键点检测失败问题，提升动作检测的精准度和鲁棒性，为动作分析和评定提供精准的数据源，为非接触式的多模视觉方案落地提供有力的支撑；
2)从动力学(Kinetics)角度出发，赋予传统抽象的基于人体关键点的姿态检测、动作分析与评定以力学特征，构建完整的神经、肌肉、骨骼和关节的模型，并融合患者个体的各项指标(比如身高、体重、年龄、性别以及动作、肌力、关节活动度等)，反向输出骨骼、肌肉以及神经控制的多模态仿真结果，可视化作用力、肌肉负荷与姿态之间的关系，辅助医生、治疗师和患者进行病情沟通、病因讲解和方案制定。
与此同时预测运动训练所引起的肌肉的功能适应性改变，模拟生物力学效果，辅助治疗方案的讲解、运动训练的执行，以及康复预后的判别。
根据本发明的一个方面，提供一种用于获取图像识别数据的方法，所述方法包括：
步骤1，获取目标对象的动态图像数据和原始特征点数据，利用多铰链运动学模型对动态图像数据进行图像识别以根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据；
步骤2，获取目标对象的属性信息和初始动力学模型，基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型；
步骤3，将初始的定制动力学模型作为当前的定制动力学模型，并将初始的特征点识别数据作为当前的特征点识别数据；
步骤4，利用当前的定制动力学模型对目标对象进行运动姿态仿真，并根据运动姿态仿真的仿真结果生成与目标对象相关联的特征点仿真数据；
步骤5，确定特征点仿真数据与当前的特征点识别数据的匹配度，
当匹配度小于匹配阈值时，利用特征点仿真数据对当前的特征点识别数据进行校准，以生成经过校准的特征点识别数据，并基于经过校准的特征点识别数据对当前的定制动力学模型进行调整，以获得经过调整的定制动力学模型，将经过调整的定制动力学模型作为当前的定制动力学模型并且将经过校准的特征点识别数据作为当前的特征点识别数据，进行步骤4；
当匹配度大于或等于匹配阈值时，进行步骤6；
步骤6，将当前的特征点识别数据作为目标对象的图像识别数据。
优选地，其中获取目标对象的动态图像数据和原始特征点数据包括：
利用多个图像获取设备分别获取目标对象的动态图像，将每个图像获取设备所获取的动态图像转换为数据文件，从而得到与目标对象相关联的多个数据文件；
将与目标对象相关联的多个数据文件进行图像融合，以获取目标对象的动态图像数据；
对目标对象的动态图像数据进行机器视觉识别，以获得目标对象的原始特征点数据。
优选地，其中，多个图像获取设备中的每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取目标对象的动态图像；或者
每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取目标对象的动态图像。
优选地，其中利用多铰链运动学模型对动态图像数据进行图像识别以根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据，包括：
构建多铰链运动学模型，包括：
创建标准运动学模型为Mknmt＝{Bi,Jj|i∈(0,H-1],j∈(0,H]}，标准运动学模型Mknmt由H个特征点Jj和J-1节骨骼Bi组成；其中i为自然数并且1≤i≤H-1，j为自然数并且1≤j≤H；
其中，每节骨骼的长度为Lbone＝{li|i∈(0,H-1]}，其中多铰链运动学模型中的铰链关系为串联结构；
基于串联结构为特征点的位置信息进行约束，从而对标准运动学模型添加铰链约束，从而构建多铰链运动学模型：
Figure BDA0003286203160000071
其中u是二维位置信息；
或者
Figure BDA0003286203160000072
其中u是三维位置信息；
其中，u是当前特征点,POSu代表u的空间位置信息；在u是二维位置信息的情况下，u的格式是(x,y)；在u是三维位置信息的情况下，u的格式是(x,y,z)；
parent(u)是铰链关系约束下与当前特征点u处于串联关系的所有父级特征点所构成的特征点集合或者所有前序特征点所构成的特征点集合；
Rot(θv)是每个父级特征点或前序特征点的旋转矩阵，Trans(lv)是每个父级特征点或前序特征点的位移矩阵；其中v为自然数，1≤v≤H；
通过旋转矩阵Rot(θv)和位移矩阵Trans(lv)确定当前特征点u的位置信息，使得多铰链运动学模型能够对动态图像数据进行图像识别，并根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据
Figure BDA0003286203160000081
所述初始的特征点识别数据包括多个特征点
Figure BDA0003286203160000082
其中i为动态图像数据中的图像帧的序号，i为正整数并且0≤i≤T*fps，T是动态图像数据的时间长度并且单位为秒，fps是采集或获取动态图像数据的数据采集帧率并且单位是帧/秒，T*fps是动态图像数据所包括的图像帧的数量，其中k为特征点的序号，k为正整数并且0≤k≤K。
优选地，其中获取目标对象的属性信息和初始动力学模型，基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型，包括：
获取目标对象的属性信息，属性信息包括：基础数据、运动捕捉数据、压力数据、表面肌电sEMG数据以及影像数据；
构建用于标准人体肌肉骨骼形态与神经控制的初始动力学模型Mkntc＝{B,MU,N},其中B表示骨骼、MU表示肌肉，N表示神经控制；
计算
Figure BDA0003286203160000083
其中，M是n*n的对称正定矩阵，用于表示目标对象的内部质量与坐标矩阵，G是m*n维度的加速度约束雅克比矩阵，其中m是约束项，n是自由度，GT是G的转置矩阵，q是广义的人体动态坐标位置、u和
Figure BDA0003286203160000084
是速度信息、z是肌肉状态，q、u和z关于时间t的函数；λ是约束力的m个拉格朗日乘数组成的向量；f(t,q,u,z)是外部作用力fapplied与内部惯性力finertial的合力；
基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型：
M′kntc＝Modu×{B,MU,N}，其中Modu为
Modu＝s(SB×SMU×SN)
其中，s是整体的尺度调整系数并且范围是0≤s≤1；SB，SMU，SN分别代表骨骼、肌肉和神经调控的尺度调整矩阵。
优选地，其中利用特征点仿真数据对当前的特征点识别数据进行校准，以生成经过校准的特征点识别数据包括：
根据初始的定制动力学模型M′kntc进行逆运动学计算
Figure BDA0003286203160000091
Figure BDA0003286203160000092
得到模型预测的目标对象的特征点仿真数据
Figure BDA0003286203160000093
特征点仿真数据包括多个特征点
Figure BDA0003286203160000094
其中i为动态图像数据中的图像帧的序号，i为正整数并且0≤i≤T*fps，T是动态图像数据的时间长度并且单位为秒，fps是采集或获取动态图像数据的数据采集帧率并且单位是帧/秒，T*fps是动态图像数据所包括的图像帧的数量，其中k为特征点的序号，k为正整数并且0≤k≤K；
根据最小二乘法设置Loss函数，从旋转和位移的多个角度对当前的特征点识别数据中的每个特征点进行校准：
Figure BDA0003286203160000095
从而得到融合了内在运动学结构性约束的经过校准的特征点，将多个经过校准的特征点构成经过校准的特征点识别数据，其中j为自然数并且1≤j≤H，H为特征点的数量，
Figure BDA0003286203160000101
是当前的特征点识别数据中的特征点，
Figure BDA0003286203160000102
是特征点仿真数据中的特征点。
优选地，还包括，
通过逆运动学模型，获取目标对象的定制动力学模型的运动姿态输出结果，即特征点仿真数据
Figure BDA0003286203160000103
k∈(0,K])}；
Figure BDA0003286203160000104
为特征点仿真数据中的特征点中的特征点，其中i为动态图像数据中的图像帧的序号，i为正整数并且0≤i≤T*fps，T是动态图像数据的时间长度并且单位为秒，fps是采集或获取动态图像数据的数据采集帧率并且单位是帧/秒，T*fps是动态图像数据所包括的图像帧的数量，其中k为特征点的序号，k为正整数并且0≤k≤K，，其中j为自然数并且1≤j≤H，H为特征点的数量
进行角度特征、轨迹特征、速度特征以及周期状态的提取，以获得：
(1)角度特征：
Figure BDA0003286203160000105
其中i和t表示时间，即第i帧图像或第t帧图像；a表示需要提取的角度；选定a后，对应选择l,m和k三个相邻的特征点，每个特征点的坐标信息格式为(X,Y,Z)；
(2)轨迹特征：
Figure BDA0003286203160000106
轨迹特征存在多种变体，根据每个特征点的X,Y和Z三个维度的位置信息计算内部结构性约束相邻点的中心点轨迹信息；
(3)速度特征：
Figure BDA0003286203160000111
t∈(0,T*fps)
在
Figure BDA0003286203160000112
的公式中，t的默认值为1，即通过相邻的两帧来求解特征点的运动速度；
(4)周期特征：
对上述角度特征、轨迹特征和速度特征运用周期性算子，确定角度特征、轨迹特征、速度特征各自的周期特征PeriodAng,Periodtrj,Periodvel。
根据本发明的另一方面，提供一种用于获取图像识别数据的系统，所述系统包括：
识别装置，用于获取目标对象的动态图像数据和原始特征点数据，利用多铰链运动学模型对动态图像数据进行图像识别以根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据；
调整装置，用于获取目标对象的属性信息和初始动力学模型，基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型；
处理装置，用于将初始的定制动力学模型作为当前的定制动力学模型，并将初始的特征点识别数据作为当前的特征点识别数据；
仿真装置，用于利用当前的定制动力学模型对目标对象进行运动姿态仿真，并根据运动姿态仿真的仿真结果生成与目标对象相关联的特征点仿真数据；
确定装置，用于确定特征点仿真数据与当前的特征点识别数据的匹配度，当匹配度小于匹配阈值时，利用特征点仿真数据对当前的特征点识别数据进行校准，以生成经过校准的特征点识别数据，并基于经过校准的特征点识别数据对当前的定制动力学模型进行调整，以获得经过调整的定制动力学模型，将经过调整的定制动力学模型作为当前的定制动力学模型并且将经过校准的特征点识别数据作为当前的特征点识别数据；当匹配度大于或等于匹配阈值时，将当前的特征点识别数据作为目标对象的图像识别数据。
根据本发明的再一方面，提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于执行上述任一项所述的方法。
根据本发明的再一方面，提供一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述任一项所述的方法。
本发明技术方案的关键技术改进点主要有：
(1)融合运动学(Kinematics)结构性约束的计算机视觉姿态与动作检测新模式；
(2)基于运动学(Kinematics)连续采集数据驱动下的个性化动力学(Kinetics)建模；
(3)基于个性化动力学(Kinetics)建模计算的辅助可视化病因讲解、数字化方案仿真设计，以及运动训练预后疗效评估。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的获取图像识别数据的方法的流程图；
图2为根据本发明实施方式的特征点的对应位置的示意图；
图3为根据本发明实施方式的二维的运动学模型的示意图；
图4为根据本发明实施方式的从运动学到动力学的系统架构的示意图；
图5为根据本发明实施方式的示例性角度曲线的示意图；
图6为根据本发明实施方式的从动力学到运动学的系统架构的示意图；
图7为根据本发明实施方式的获取图像识别数据的系统的结构示意图。
具体实施方式
图1为根据本发明实施方式的获取图像识别数据的方法100的流程。方法100从步骤101处开始。
在步骤101，获取目标对象的动态图像数据和原始特征点数据，利用多铰链运动学模型对动态图像数据进行图像识别以根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据。其中获取目标对象的动态图像数据和原始特征点数据包括：利用多个图像获取设备分别获取目标对象的动态图像，将每个图像获取设备所获取的动态图像转换为数据文件，从而得到与目标对象相关联的多个数据文件；将与目标对象相关联的多个数据文件进行图像融合，以获取目标对象的动态图像数据；对目标对象的动态图像数据进行机器视觉识别，以获得目标对象的原始特征点数据。
其中，多个图像获取设备中的每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取目标对象的动态图像；或者每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取目标对象的动态图像。
其中利用多铰链运动学模型对动态图像数据进行图像识别以根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据，包括：
构建多铰链运动学模型，包括：
创建标准运动学模型为Mknmt＝{Bi,Jj|i∈(0,H-1],j∈(0,H]}，标准运动学模型Mknmt由H个特征点Jj和J-1节骨骼Bi组成；其中i为自然数并且1≤i≤H-1，j为自然数并且1≤j≤H；
其中，每节骨骼的长度为Lbone＝{li|i∈(0,H-1]}，其中多铰链运动学模型中的铰链关系为串联结构；
基于串联结构为特征点的位置信息进行约束，从而对标准运动学模型添加铰链约束，从而构建多铰链运动学模型：
Figure BDA0003286203160000141
其中u是二维位置信息；
或者
Figure BDA0003286203160000142
其中u是三维位置信息；
其中，u是当前特征点,POSu代表u的空间位置信息；在u是二维位置信息的情况下，u的格式是(x,y)；在u是三维位置信息的情况下，u的格式是(x,y,z)；
parent(u)是铰链关系约束下与当前特征点u处于串联关系的所有父级特征点所构成的特征点集合或者所有前序特征点所构成的特征点集合；
Rot(θv)是每个父级特征点或前序特征点的旋转矩阵，Trans(lv)是每个父级特征点或前序特征点的位移矩阵；其中v为自然数，1≤v≤H；
通过旋转矩阵Rot(θv)和位移矩阵Trans(lv)确定当前特征点u的位置信息，使得多铰链运动学模型能够对动态图像数据进行图像识别，并根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据
Figure BDA0003286203160000151
所述初始的特征点识别数据包括特征点
Figure BDA0003286203160000152
其中i为动态图像数据中的图像帧的序号，i为正整数并且0≤i≤T*fps，T是动态图像数据的时间长度并且单位为秒，fps是采集或获取动态图像数据的数据采集帧率并且单位是帧/秒，T*fps是动态图像数据所包括的图像帧的数量，其中k为特征点的序号，k为正整数并且0≤k≤K。
在步骤102，获取目标对象的属性信息和初始动力学模型，基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型。其中获取目标对象的属性信息和初始动力学模型，基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型，包括：
获取目标对象的属性信息，属性信息包括：基础数据、运动捕捉数据、压力数据、表面肌电sEMG数据以及影像数据；
构建用于标准人体肌肉骨骼形态与神经控制的初始动力学模型Mkntc＝{B,MU,N},其中B表示骨骼、MU表示肌肉，N表示神经控制；
计算
Figure BDA0003286203160000153
其中，M是n*n的对称正定矩阵，用于表示目标对象的内部质量与坐标矩阵，G是m*n维度的加速度约束雅克比矩阵，其中m是约束项，n是自由度，GT是G的转置矩阵，q是广义的人体动态坐标位置、u和
Figure BDA0003286203160000154
是速度信息、z是肌肉状态，q、u和z关于时间t的函数；λ是约束力的m个拉格朗日乘数组成的向量；f(t,q,u,z)是外部作用力fapplied与内部惯性力finertial的合力；
基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型：
M′kntc＝Modu×{B,MU,N}，其中Modu为
Modu＝s(SB×SMU×SN)
其中，s是整体的尺度调整系数并且范围是0≤s≤1；SB，SMU，SN分别代表骨骼、肌肉和神经调控的尺度调整矩阵。
在步骤103，将初始的定制动力学模型作为当前的定制动力学模型，并将初始的特征点识别数据作为当前的特征点识别数据。
在步骤104，利用当前的定制动力学模型对目标对象进行运动姿态仿真，并根据运动姿态仿真的仿真结果生成与目标对象相关联的特征点仿真数据。
在步骤105，确定特征点仿真数据与当前的特征点识别数据的匹配度。
在步骤106，确定匹配度是否小于匹配阈值？当匹配度小于匹配阈值时，则进行步骤107，利用特征点仿真数据对当前的特征点识别数据进行校准，以生成经过校准的特征点识别数据，并基于经过校准的特征点识别数据对当前的定制动力学模型进行调整，以获得经过调整的定制动力学模型，将经过调整的定制动力学模型作为当前的定制动力学模型并且将经过校准的特征点识别数据作为当前的特征点识别数据，随后进行步骤104。
其中利用特征点仿真数据对当前的特征点识别数据进行校准，以生成经过校准的特征点识别数据包括：
根据初始的定制动力学模型M′kntc进行逆运动学计算
Figure BDA0003286203160000161
Figure BDA0003286203160000162
得到模型预测的目标对象的特征点仿真数据
Figure BDA0003286203160000163
特征点仿真数据包括多个特征点
Figure BDA0003286203160000164
其中i为动态图像数据中的图像帧的序号，i为正整数并且0≤i≤T*fps，T是动态图像数据的时间长度并且单位为秒，fps是采集或获取动态图像数据的数据采集帧率并且单位是帧/秒，T*fps是动态图像数据所包括的图像帧的数量，其中k为特征点的序号，k为正整数并且0≤k≤K；
根据最小二乘法设置Loss函数，从旋转和位移的多个角度对当前的特征点识别数据中的每个特征点进行校准：
Figure BDA0003286203160000171
从而得到融合了内在运动学结构性约束的经过校准的特征点，将多个经过校准的特征点构成经过校准的特征点识别数据，其中j为自然数并且1≤j≤H，H为特征点的数量,
Figure BDA0003286203160000173
是当前的特征点识别数据中的特征点，
Figure BDA0003286203160000174
是特征点仿真数据中的特征点。
当匹配度大于或等于匹配阈值时，进行步骤108，步骤6，将当前的特征点识别数据作为目标对象的图像识别数据。
还包括，通过逆运动学模型，获取目标对象的定制动力学模型的运动姿态输出结果，即特征点仿真数据
Figure BDA0003286203160000172
为特征点仿真数据中的特征点，其中i为动态图像数据中的图像帧的序号，i为正整数并且0≤i≤T*fps，T是动态图像数据的时间长度并且单位为秒，fps是采集或获取动态图像数据的数据采集帧率并且单位是帧/秒，T*fps是动态图像数据所包括的图像帧的数量，其中k为特征点的序号，k为正整数并且0≤k≤K，，其中j为自然数并且1≤j≤H，H为特征点的数量
进行角度特征、轨迹特征、速度特征以及周期状态的提取，以获得：
(1)角度特征：
Figure BDA0003286203160000181
其中i和t表示时间，即第i帧图像或第t帧图像；a表示需要提取的角度；选定a后，对应选择l,m和k三个相邻的特征点，每个特征点的坐标信息格式为(X,Y,Z)；
(2)轨迹特征：
Figure BDA0003286203160000182
轨迹特征存在多种变体，根据每个特征点的X,Y和Z三个维度的位置信息计算内部结构性约束相邻点的中心点轨迹信息；
(3)速度特征：
Figure BDA0003286203160000183
t∈(0,T*fps)
在
Figure BDA0003286203160000184
的公式中，t的默认值为1，即通过相邻的两帧来求解特征点的运动速度；
(4)周期特征：
对上述角度特征、轨迹特征和速度特征运用周期性算子，确定角度特征、轨迹特征、速度特征各自的周期特征PeriodAng,Periodtrj,Periodvel。
本发明的整体框架主要由两部分组成：
第一部分：从运动学(Kinematics)到动力学(Kinetics)
图4为根据本发明实施方式的从运动学到动力学的系统架构的示意图。如图4所示，第一部分解决的问题是从运动学(Kinematics)角度出发，对传统机器视觉基于人体离散的、关联性的模型下的割裂式的识别人体关键点(或称为特征点)方案进行增强，融合人体自身铰链式的结构性约束，与此同时通过患者个人评定真实数据对标准动力学模型进行调制，模拟输出关键点数据，两方面进行对抗学习来校准与解决关键点检测失败问题，提升动作检测的精准度和鲁棒性，为动作分析和评定提供精准的数据源，为非接触式的多模视觉方案落地提供有力的支撑；
1)多铰链运动学模型(Kinematics)的建立与融合
传统的机器视觉方案是将采集的帧数据
Figure BDA0003286203160000191
其中i表示第i帧数据，范围从0到T*fps(T是视频采集时长，单位是秒s；fps是帧率，单位是帧/每秒，T*fps是总帧数)；m表示采集数据的方式或模态，常见的模态有RGB彩色模式、RGBD深度图模式、
gray灰度图模式、infrared红外成像模式等等。
其获得的特征点(或被称为关键点)信息为
Figure BDA0003286203160000192
Figure BDA0003286203160000193
其中K是模型提取的关键点总数(这里仅以COCO模型为例，K＝16，即提取人体17个关键点，如图2所示。本发明也支持其他姿态提取模型的输出结果)。
Figure BDA0003286203160000194
为原始特征点数据。
传统的视觉计算过程中，将整体像素
Figure BDA0003286203160000195
直接作为输入进行分析，通过深度神经网络(主要以卷积神经网络为主)逐步提取低维与高维特征来实现关键点(即人体主要关节点)提取。
对于像素化的数字表示，虽然能够很好的还原色彩与相关局部细节，但却丢失了重要的人体内在结构性约束，例如运动链(kineticchain)，即人体若干环节借助关节使之按照一定顺序衔接起来,其又分为开链(openkinematicchain,OKC)和闭链(closedkinematicchain,CKC)。
本发明将人体内在的结构性约束建模，融入到现有的数据分析流程中。假设：
人体运动学模型为Mknmt＝{Bi,Jj|i∈(0,J-1],j∈(0,J]}，即由J个关键点Jj，J-1节骨骼Bi组成。每个骨骼的长度为Lbone＝{li|i∈(0,J-1]}。由于人体铰链为串联结构(并联情况下，例如胯部、肩部等，看做是两条独立的串联)，因此整体的关键点位置约束
Figure BDA0003286203160000201
此时u是2D位置信息
Figure BDA0003286203160000202
此时u是3D位置信息
其中u是当前需要计算空间位置信息的关键点,POSu代表u的空间位置信息，对于2D信息来说格式是(x,y),对于3D信息来说格式是(x,y,z)。parent(u)是铰链约束下与当前关键点u串联的所有父关键点或者前序关键点的集合。Rot(θv)是每个前序关键点的旋转矩阵，Trans(lv)是每个前序关键点的位移矩阵，因为铰链结构的刚性特性，所以通过旋转矩阵Rot(θv)和位移矩阵Trans(lv)可以求解当前关键点的位置。
以右下肢为例，二维的运动学模型如图2所示。
将上述人体运动学的内在结构性约束集成到神经网络的输出层，作为先验知识对结果进行校准。从而输出正确的、符合人体内在结构性约束的关键点信息。
新的关键点信息
Figure BDA0003286203160000211
Figure BDA0003286203160000212
为初始的特征点识别数据或当前的特征点识别数据。
Figure BDA0003286203160000213
是当前的特征点识别数据中的特征点或初始的特征点识别数据中的特征点，
Figure BDA0003286203160000214
是特征点仿真数据中的特征点。
2)Kinematics对Kinetics进行个性化定制(Scale、modelmodified)
构建标准人体肌肉骨骼形态与神经控制力学模型Mkntc＝{B,MU,N},B表示骨骼、MU表示肌肉，N代表神经控制。构建力学模型，
Figure BDA0003286203160000215
其中M是一个n*n的对称正定矩阵，指代人体内部质量与坐标矩阵，G是一个m*n维度的加速度约束雅克比矩阵(m是约束项，n是自由度)。q是广义的人体动态坐标位置、u和
Figure BDA0003286203160000217
是速度信息、z是肌肉状态，这三者都是关于时间t的函数。λ是约束力的m个拉格朗日乘数组成的向量。f(t,q,u,z)是外部作用力fapplied与内部惯性力finertial的合力。
在标准模型基础上，根据患者自身的评定数据，主要包括基础信息(身高、体重)、运动捕捉数据、压力数据(足底压力)、表面肌电(sEMG)数据或其他影像类数据(比如超声、X光等等)，对标准模型进行个性化调制,
M′kntc＝Modu×{B,MU,N}，其中Modu为
Modu＝s(SB×SMU×SN)
其中s是整体的尺度调整系数范围是0～1。SB，SMU，SN分别代表骨骼、肌肉和神经调控的尺度调整矩阵。
Kinetics结果输出对Kinematics进行校准：(InverseKinematics)
根据上述个性化调制模型M′kntc，进行逆运动学问题计算
Figure BDA0003286203160000216
Figure BDA0003286203160000221
得到模型预测的人体关键点坐标信息
Figure BDA0003286203160000222
Figure BDA0003286203160000223
根据最小二乘法设置Loss函数，从旋转、位移等多个角度对原始检测关键点坐标信息进行校准，
Figure BDA0003286203160000224
从而得到融合了人体内在运动学结构性约束的精准关键点结果。,
Figure BDA0003286203160000225
是当前的特征点识别数据中的特征点，
Figure BDA0003286203160000226
是特征点仿真数据中的特征点。
整体框架的整体流程如图4所示(①-②-③-④的闭环代表的是逐步进行校准调优的过程)。如图4所示，该部分的关键在于上方①-②-③-④的闭环过程。
①上文提到根据患者病史和基本情况在标准模型基础上进行调制得到新的动力学模型M′kntc。
②通过逆运动学模型，可以获取到患者个性化模型后的运动姿态输出结果，即特征点仿真数据
Figure BDA0003286203160000227
在此基础上进行常规特征提取，角度Angle、轨迹Trajectory、速度Velocity(或者加速度)以及周期Period。计算方式如下：
(1)角度特征：
Figure BDA0003286203160000228
其中i表示时间，即第i帧图像。a表示需要提取的角度，例如膝关节夹角、踝关节夹角、髋关节夹角等，选定a后，对应选择l,m和k三个相邻关键点，每个关键点的坐标信息格式为(X,Y,Z)。
图5示出了左右髋关节、左右膝的角度曲线。
(2)轨迹特征：
Figure BDA0003286203160000231
轨迹特征会有很多变体，例如可根据各个关键点的X,Y,Z三个维度的位置信息计算内部结构性约束相邻点的中心点轨迹信息。
(3)速度特征：
Figure BDA0003286203160000232
t∈(0,T*fps)
t默认等于1，即通过前后两帧来求解关键点的运动速度。
(4)周期特征：
对上述三类特征运用周期性算子(包括但不仅限于傅里叶变换、ACF与PACF算子等)，寻找各自周期PeriodAng,Periodtrj,Periodvel
③上述融合了运动学约束的校准新节点
Figure BDA0003286203160000233
在利用内在的结构性约束对传统CV的算法进行输出优化，过滤明显识别错误的情况。但是对于时间维度上，动态运动过程中的异常识别依然无法进行有效校正，比如帕金森患者步态下肢膝关节的异常、踝关节的速度异常等。所以此处通过动力学仿真获得的角度、轨迹和速度的特征，以及各自的周期性，以各自周期为时间窗，与运动学校准结果
Figure BDA0003286203160000234
进行比较，滑动寻找异常点并进行矫正。
④矫正后的结果作为患者新的历史数据再次作为输入样本导入到动力学模型M′kntc中。
上述循环过程迭代的终止条件为
Figure BDA0003286203160000241
或迭代次数上限的经验值，nit＝6(这里以NVIDIA RTX3090为准建议，用户可根据自身硬件算力进行个性化调整)
上述过程借鉴了对抗学习的思路，通过动力学仿真输出来协助识别机器视觉检测的错误，反过来通过初步矫正后的机器视觉输出来重新更新动力学模型，以此反复，直到仿真校准与机器视觉检测结果趋于一致则停止。此时的结果认为是真实的、准确的、符合人体运动学约束的姿态信息。
第二部分：从动力学(Kinetics)到运动学(Kinematics)
图6为根据本发明实施方式的从动力学到运动学的系统架构的示意图。如图6所示，部分要解决的问题是从动力学(Kinetics)角度出发，赋予传统抽象的基于人体关键点的姿态检测、动作分析与评定以力学特征，构建完整的神经、肌肉、骨骼和关节的模型，并融合患者个体的各项指标(比如身高、体重、年龄、性别以及动作、肌力、关节活动度等)，反向输出骨骼、肌肉以及神经控制的多模态仿真结果，可视化作用力、肌肉负荷与姿态之间的关系，辅助医生、治疗师和患者进行病情沟通、病因讲解和方案制定。与此同时预测运动训练所引起的肌肉的功能适应性改变，模拟生物力学效果，辅助治疗方案的讲解、运动训练的执行，以及康复预后的判别。
根据第一部分调制后的人体肌肉骨骼形态与神经控制动力学模型，
M′kntc＝Modu×{B,MU,N}，其中Modu为
Modu＝s(SB×SMU×SN)
其中s是整体的尺度调整系数范围是0～1。SB，SMU，SN分别代表骨骼、肌肉和神经调控的尺度调整矩阵。
首先，直接进行动力学模型逆向运算获得当前运动姿态下对应的患者的骨骼
Figure BDA0003286203160000251
肌肉
Figure BDA0003286203160000252
力量
Figure BDA0003286203160000253
和神经控制
Figure BDA0003286203160000254
等多维度信息。
Figure BDA0003286203160000255
用于对当前状态进行多维度可视化展示，辅助医生、治疗师和患者进行病情沟通、病因讲解和方案制定。
其次，待确定治疗方案后，将方案(训练频次Efreq、训练时长Etime、训练部位Eparts、训练强度Eforce)以参数的形式重新输入到模型，
Figure BDA0003286203160000256
Figure BDA0003286203160000257
根据肌肉的功能适应性改变，模拟生物力学效果，可视化输出各个训练阶段后的仿真效果，即上文提到的骨骼、肌肉、力以及神经控制，
Figure BDA0003286203160000258
以及对应的模拟可视化姿态
Figure BDA0003286203160000259
基于上述输出结果，辅助治疗方案的讲解、运动训练的执行，以及康复预后的判别。
第一部分的主要目的是把动力学仿真模型的输出的运动学仿真结果与计算机视觉监测的运动学实测结果进行对抗学习，确保非接触视觉监测解决的准确性和个性化(因为动力学仿真的模型是个性化的)。
第二部分是在第一部分基础上，认为计算机视觉检测输出结果是正确的解决。此时再把最后正确的数据输入到动力学仿真模型，得到可视化的肌肉、骨骼、肌电等仿真模拟解决。相当于把之前只是基于机器视觉的关键点姿态检测数据维度丰富了，更利于医生进行可视化的病情讲解，病患沟通。这一部分的动力学就是传统的动力学仿真的作用，即可视化。
图7为根据本发明实施方式的获取图像识别数据的系统700的结构示意图。系统700包括：
识别装置701，用于获取目标对象的动态图像数据和原始特征点数据，利用多铰链运动学模型对动态图像数据进行图像识别以根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据；
调整装置702，用于获取目标对象的属性信息和初始动力学模型，基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型；
处理装置703，用于将初始的定制动力学模型作为当前的定制动力学模型，并将初始的特征点识别数据作为当前的特征点识别数据；
仿真装置704，用于利用当前的定制动力学模型对目标对象进行运动姿态仿真，并根据运动姿态仿真的仿真结果生成与目标对象相关联的特征点仿真数据；
确定装置705，用于确定特征点仿真数据与当前的特征点识别数据的匹配度，当匹配度小于匹配阈值时，利用特征点仿真数据对当前的特征点识别数据进行校准，以生成经过校准的特征点识别数据，并基于经过校准的特征点识别数据对当前的定制动力学模型进行调整，以获得经过调整的定制动力学模型，将经过调整的定制动力学模型作为当前的定制动力学模型并且将经过校准的特征点识别数据作为当前的特征点识别数据；当匹配度大于或等于匹配阈值时，将当前的特征点识别数据作为目标对象的图像识别数据。

Claims (10)

1.一种用于获取图像识别数据的方法，所述方法包括：
步骤1，获取目标对象的动态图像数据和原始特征点数据，利用多铰链运动学模型对动态图像数据进行图像识别以根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据；
步骤2，获取目标对象的属性信息和初始动力学模型，基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型；
步骤3，将初始的定制动力学模型作为当前的定制动力学模型，并将初始的特征点识别数据作为当前的特征点识别数据；
步骤4，利用当前的定制动力学模型对目标对象进行运动姿态仿真，并根据运动姿态仿真的仿真结果生成与目标对象相关联的特征点仿真数据；
步骤5，确定特征点仿真数据与当前的特征点识别数据的匹配度，
当匹配度小于匹配阈值时，利用特征点仿真数据对当前的特征点识别数据进行校准，以生成经过校准的特征点识别数据，并基于经过校准的特征点识别数据对当前的定制动力学模型进行调整，以获得经过调整的定制动力学模型，将经过调整的定制动力学模型作为当前的定制动力学模型并且将经过校准的特征点识别数据作为当前的特征点识别数据，进行步骤4；
当匹配度大于或等于匹配阈值时，进行步骤6；
步骤6，将当前的特征点识别数据作为目标对象的图像识别数据。
2.根据权利要求1所述的方法，其中获取目标对象的动态图像数据和原始特征点数据包括：
利用多个图像获取设备分别获取目标对象的动态图像，将每个图像获取设备所获取的动态图像转换为数据文件，从而得到与目标对象相关联的多个数据文件；
将与目标对象相关联的多个数据文件进行图像融合，以获取目标对象的动态图像数据；
对目标对象的动态图像数据进行机器视觉识别，以获得目标对象的原始特征点数据。
3.根据权利要求2所述的方法，其中，多个图像获取设备中的每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取目标对象的动态图像；或者
每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取目标对象的动态图像。
4.根据权利要求1所述的方法，其中利用多铰链运动学模型对动态图像数据进行图像识别以根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据，包括：
构建多铰链运动学模型，包括：
创建标准运动学模型为Mknmt＝{Bi,Jj|i∈(0,H-1],j∈(0,H]}，标准运动学模型Mknmt由H个特征点Jj和J-1节骨骼Bi组成；其中i为自然数并且1≤i≤H-1，j为自然数并且1≤j≤H；
其中，每节骨骼的长度为Lbone＝{li|i∈(0,H-1]}，其中多铰链运动学模型中的铰链关系为串联结构；
基于串联结构为特征点的位置信息进行约束，从而对标准运动学模型添加铰链约束，从而构建多铰链运动学模型：
Figure FDA0003286203150000031
其中u是二维位置信息；或者
Figure FDA0003286203150000032
其中u是三维位置信息；
其中，u是当前特征点,POSu代表u的空间位置信息；在u是二维位置信息的情况下，u的格式是(x,y)；在u是三维位置信息的情况下，u的格式是(x,y,z)；
parent(u)是铰链关系约束下与当前特征点u处于串联关系的所有父级特征点所构成的特征点集合或者所有前序特征点所构成的特征点集合；
Rot(θv)是每个父级特征点或前序特征点的旋转矩阵，Trans(lv)是每个父级特征点或前序特征点的位移矩阵；其中v为自然数，1≤v≤H；
通过旋转矩阵Rot(θv)和位移矩阵Trans(lv)确定当前特征点u的位置信息，使得多铰链运动学模型能够对动态图像数据进行图像识别，并根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据
Figure FDA0003286203150000033
所述初始的特征点识别数据包括多个特征点
Figure FDA0003286203150000034
其中i为动态图像数据中的图像帧的序号，i为正整数并且0≤i≤T*fps，T是动态图像数据的时间长度并且单位为秒，fps是采集或获取动态图像数据的数据采集帧率并且单位是帧/秒，T*fps是动态图像数据所包括的图像帧的数量，其中k为特征点的序号，k为正整数并且0≤k≤K。
5.根据权利要求1所述的方法，其中获取目标对象的属性信息和初始动力学模型，基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型，包括：
获取目标对象的属性信息，属性信息包括：基础数据、运动捕捉数据、压力数据、表面肌电sEMG数据以及影像数据；
构建用于标准人体肌肉骨骼形态与神经控制的初始动力学模型Mkntc＝{B,MU,N},其中B表示骨骼、MU表示肌肉，N表示神经控制；
计算
Figure FDA0003286203150000041
其中，M是n*n的对称正定矩阵，用于表示目标对象的内部质量与坐标矩阵，G是m*n维度的加速度约束雅克比矩阵，其中m是约束项，n是自由度，GT是G的转置矩阵，q是广义的人体动态坐标位置、u和
Figure FDA0003286203150000042
是速度信息、z是肌肉状态，q、u和z关于时间t的函数；λ是约束力的m个拉格朗日乘数组成的向量；f(t,q,u,z)是外部作用力fapplied与内部惯性力finertial的合力；
基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型：
M′kntc＝Modu×{B,MU,N}，其中Modu为
Modu＝s(SB×SMU×SN)
其中，s是整体的尺度调整系数并且范围是0≤s≤1；SB，SMU，SN分别代表骨骼、肌肉和神经调控的尺度调整矩阵。
6.根据权利要求1所述的方法，其中利用特征点仿真数据对当前的特征点识别数据进行校准，以生成经过校准的特征点识别数据包括：
根据初始的定制动力学模型M′kntc进行逆运动学计算
Figure FDA0003286203150000043
Figure FDA0003286203150000044
得到模型预测的目标对象的特征点仿真数据
Figure FDA0003286203150000051
特征点仿真数据包括多个特征点
Figure FDA0003286203150000052
其中i为动态图像数据中的图像帧的序号，i为正整数并且0≤i≤T*fps，T是动态图像数据的时间长度并且单位为秒，fps是采集或获取动态图像数据的数据采集帧率并且单位是帧/秒，T*fps是动态图像数据所包括的图像帧的数量，其中k为特征点的序号，k为正整数并且0≤k≤K；
根据最小二乘法设置Loss函数，从旋转和位移的多个角度对当前的特征点识别数据中的每个特征点进行校准：
Figure FDA0003286203150000053
从而得到融合了内在运动学结构性约束的经过校准的特征点，将多个经过校准的特征点构成经过校准的特征点识别数据，其中j为自然数并且1≤j≤H，H为特征点的数量,
Figure FDA0003286203150000054
是当前的特征点识别数据中的特征点，
Figure FDA0003286203150000055
是特征点仿真数据中的特征点。
7.根据权利要求1所述的方法，还包括，
通过逆运动学模型，获取目标对象的定制动力学模型的运动姿态输出结果，即特征点仿真数据
Figure FDA0003286203150000056
Figure FDA0003286203150000057
为特征点仿真数据中的特征点中的特征点，其中i为动态图像数据中的图像帧的序号，i为正整数并且0≤i≤T*fps，T是动态图像数据的时间长度并且单位为秒，fps是采集或获取动态图像数据的数据采集帧率并且单位是帧/秒，T*fps是动态图像数据所包括的图像帧的数量，其中k为特征点的序号，k为正整数并且0≤k≤K，，其中j为自然数并且1≤j≤H，H为特征点的数量
进行角度特征、轨迹特征、速度特征以及周期状态的提取，以获得：
(1)角度特征：
Figure FDA0003286203150000061
其中i和t表示时间，即第i帧图像或第t帧图像；a表示需要提取的角度；选定a后，对应选择l,m和k三个相邻的特征点，每个特征点的坐标信息格式为(X,Y,Z)；
(2)轨迹特征：
Figure FDA0003286203150000062
轨迹特征存在多种变体，根据每个特征点的X,Y和Z三个维度的位置信息计算内部结构性约束相邻点的中心点轨迹信息；
(3)速度特征：
Figure FDA0003286203150000063
t∈(0,T*fps)
在
Figure FDA0003286203150000064
的公式中，t的默认值为1，即通过相邻的两帧来求解特征点的运动速度；
(4)周期特征：
对上述角度特征、轨迹特征和速度特征运用周期性算子，确定角度特征、轨迹特征、速度特征各自的周期特征PeriodAng,Periodtrj,Periodvel。
8.一种用于获取图像识别数据的系统，所述系统包括：
识别装置，用于获取目标对象的动态图像数据和原始特征点数据，利用多铰链运动学模型对动态图像数据进行图像识别以根据图像识别的结果对原始特征点数据进行校正，从而获得与目标对象相关联的初始的特征点识别数据；
调整装置，用于获取目标对象的属性信息和初始动力学模型，基于属性信息对初始动力学模型进行定制化调整，从而获得与目标对象相关联的初始的定制动力学模型；
处理装置，用于将初始的定制动力学模型作为当前的定制动力学模型，并将初始的特征点识别数据作为当前的特征点识别数据；
仿真装置，用于利用当前的定制动力学模型对目标对象进行运动姿态仿真，并根据运动姿态仿真的仿真结果生成与目标对象相关联的特征点仿真数据；
确定装置，用于确定特征点仿真数据与当前的特征点识别数据的匹配度，当匹配度小于匹配阈值时，利用特征点仿真数据对当前的特征点识别数据进行校准，以生成经过校准的特征点识别数据，并基于经过校准的特征点识别数据对当前的定制动力学模型进行调整，以获得经过调整的定制动力学模型，将经过调整的定制动力学模型作为当前的定制动力学模型并且将经过校准的特征点识别数据作为当前的特征点识别数据；当匹配度大于或等于匹配阈值时，将当前的特征点识别数据作为目标对象的图像识别数据。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述权利要求1至7中任一项所述的方法。
CN202111148127.4A 2021-09-29 2021-09-29 一种用于获取图像识别数据的方法和系统 Pending CN113869217A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111148127.4A CN113869217A (zh) 2021-09-29 2021-09-29 一种用于获取图像识别数据的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111148127.4A CN113869217A (zh) 2021-09-29 2021-09-29 一种用于获取图像识别数据的方法和系统

Publications (1)

Publication Number Publication Date
CN113869217A true CN113869217A (zh) 2021-12-31

Family

ID=78992227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111148127.4A Pending CN113869217A (zh) 2021-09-29 2021-09-29 一种用于获取图像识别数据的方法和系统

Country Status (1)

Country Link
CN (1) CN113869217A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897080A (zh) * 2022-05-19 2022-08-12 重庆大学 一种基于元动作的机械产品全故障模式建立方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083955A (ja) * 2010-10-12 2012-04-26 Nippon Telegr & Teleph Corp <Ntt> 動作モデル学習装置、３次元姿勢推定装置、動作モデル学習方法、３次元姿勢推定方法およびプログラム
JP2013020578A (ja) * 2011-07-14 2013-01-31 Nippon Telegr & Teleph Corp <Ntt> ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
CN110570455A (zh) * 2019-07-22 2019-12-13 浙江工业大学 一种面向房间vr的全身三维姿态跟踪方法
WO2020010979A1 (zh) * 2018-07-10 2020-01-16 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
CN111881887A (zh) * 2020-08-21 2020-11-03 董秀园 基于多摄像头的运动姿态监测和指导方法及装置
CN112184898A (zh) * 2020-10-21 2021-01-05 安徽动感智能科技有限公司 一种基于动作识别的数字人体建模方法
JP2021105887A (ja) * 2019-12-26 2021-07-26 国立大学法人 東京大学 ３ｄポーズ取得方法及び装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083955A (ja) * 2010-10-12 2012-04-26 Nippon Telegr & Teleph Corp <Ntt> 動作モデル学習装置、３次元姿勢推定装置、動作モデル学習方法、３次元姿勢推定方法およびプログラム
JP2013020578A (ja) * 2011-07-14 2013-01-31 Nippon Telegr & Teleph Corp <Ntt> ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
WO2020010979A1 (zh) * 2018-07-10 2020-01-16 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
CN110570455A (zh) * 2019-07-22 2019-12-13 浙江工业大学 一种面向房间vr的全身三维姿态跟踪方法
JP2021105887A (ja) * 2019-12-26 2021-07-26 国立大学法人 東京大学 ３ｄポーズ取得方法及び装置
CN111881887A (zh) * 2020-08-21 2020-11-03 董秀园 基于多摄像头的运动姿态监测和指导方法及装置
CN112184898A (zh) * 2020-10-21 2021-01-05 安徽动感智能科技有限公司 一种基于动作识别的数字人体建模方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JEFFREY A. REINBOLT 等: ""Determination of patient-specific multi-joint kinematic models through two-level optimization"", 《JOURNAL OF BIOMECHANICS》, vol. 38, 1 March 2005 (2005-03-01), pages 621 - 626 *
刘桥: ""游泳运动员姿势识别校正方法研究与仿真"", 《计算机仿真》, vol. 34, no. 04, 15 April 2017 (2017-04-15), pages 227 - 230 *
罗坚，代建华著: "《人体步态三维建模和智能识别技术》", 30 June 2021, 西安：西安电子科学技术大学出版社, pages: 25 - 28 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897080A (zh) * 2022-05-19 2022-08-12 重庆大学 一种基于元动作的机械产品全故障模式建立方法
CN114897080B (zh) * 2022-05-19 2024-05-14 重庆大学 一种基于元动作的机械产品全故障模式建立方法

Similar Documents

Publication Publication Date Title
Durandau et al. Robust real-time musculoskeletal modeling driven by electromyograms
EP3659016B1 (en) Armband for tracking hand motion using electrical impedance measurement
US10004455B2 (en) Realtime biofeedback mechanism and data presentation for knee injury rehabilitation monitoring and a soft real time intelligent system thereof
Sartori et al. Neural data-driven musculoskeletal modeling for personalized neurorehabilitation technologies
JP5016687B2 (ja) 人体における筋力と関節モーメントとをリアルタイムでインタラクティブに視覚化する方法
Xiong et al. Intelligent prediction of human lower extremity joint moment: an artificial neural network approach
Zhang et al. Lower-limb joint torque prediction using LSTM neural networks and transfer learning
Pizzolato et al. Targeted achilles tendon training and rehabilitation using personalized and real-time multiscale models of the neuromusculoskeletal system
CN108720841A (zh) 基于云检测的可穿戴下肢运动矫正系统
Cunningham et al. Estimation of absolute states of human skeletal muscle via standard B-mode ultrasound imaging and deep convolutional neural networks
Triloka et al. Neural computing for walking gait pattern identification based on multi-sensor data fusion of lower limb muscles
Chèze et al. State of the art and current limits of musculo-skeletal models for clinical applications
Chèze Kinematic analysis of human movement
Nandy et al. A study on human gait dynamics: modeling and simulations on OpenSim platform
CN113869217A (zh) 一种用于获取图像识别数据的方法和系统
Zhang et al. Estimation of Joint Torque by EMG-Driven Neuromusculoskeletal Models and LSTM Networks
Xiang et al. Integrating an LSTM framework for predicting ankle joint biomechanics during gait using inertial sensors
Gonzalez-Islas et al. Human gait analysis based on automatic recognition: A review
Sartori et al. Electromyography‐driven modeling for simulating subject‐specific movement at the neuromusculoskeletal level
Cornish et al. Hip contact forces can be predicted with a neural network using only synthesised key points and electromyography in people with hip osteoarthritis
Bao et al. A global bibliometric and visualized analysis of gait analysis and artificial intelligence research from 1992 to 2022
Wang et al. Optimization of the sit-to-stand motion
Abraham et al. Ensemble of shape functions and support vector machines for the estimation of discrete arm muscle activation from external biceps 3D point clouds
Medved et al. Gait Analysis
ZANCANARO Comparison of knee loading during walking via musculoskeletal modelling using marker-based and IMU-based approaches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination